[第1の実施の形態]
図1は、本発明の第1の実施の形態の画像処理装置の構成を示す図である。第1の実施の形態の画像処理装置は、画像入力部1001、識別部1002、画像分離部1003、色情報算出部1004、圧縮部1005、フォーマット変換部1006、制御部1007及びHDD1008を備えている。
続いて、画像処理装置の動作について説明する。
画像入力部1001から出力された画像信号1010は、識別部1002において文字/非文字が識別され、文字を「1」、非文字を「0」とする識別信号1011に変換される。この識別処理には、既知の識別技術を用いることができる。
画像分離部1003には、画像信号1010と識別信号1011とが入力される。画像分離部1003は、識別信号1011を用いて、画像信号1010から文字画像を除去した分離画像信号1012を生成して出力する。
色情報算出部1004には、画像信号1010と識別信号1011とが入力される。色情報算出部1004は、識別情報1011を用いて、画像信号1010から文字領域の座標1013とその文字色情報1014とを生成して出力する。
圧縮部1005は識別信号1011と分離画像信号1012を1つの圧縮信号として圧縮して圧縮信号1015を出力する。即ち、文字を識別する信号(識別信号1011)と例えば写真が表された信号(分離画像信号1012)とが1つの圧縮信号1015に圧縮される。
フォーマット変換部1006は、入力される文字領域の座標1013とその文字色情報1014と圧縮信号1015とからXPSファイル1016を生成して出力する。生成されるXPSファイル1016では、文字色情報1014の色と文字領域の座標1013の示す範囲とがグラフィック描画コマンドで記述され、更に、圧縮信号1015が重ね合わされる。
HDD1008は、XPSファイル1016を格納する。
制御部1007は、画像処理装置を統括して制御する。
図24は、第1の実施の形態の画像処理装置による画像処理方法を説明するための図である。
図24(A)は、画像信号1010が表す画像を表現している。この画像の左上には写真画像を表す球体が描かれ、下には赤色の文字(AB)と黒色の文字(CD)とが描かれている。図24(B)に示す識別信号1011は、文字の部分のみが抽出されて、文字が「1」、非文字が「0」で表されている。なお、この識別信号1011には色の情報は含まれていない。分離画像信号1012には、写真画像のみが抽出されている。
図24(C)の右側は、圧縮信号1015が表す画像を表現している。即ち、識別信号1011と分離画像信号1012とが圧縮されて1つの圧縮信号1015となっている。この圧縮信号1015には、色情報は含まれていない。色情報は、色情報算出部1004で算出される文字領域座標信号1013と文字色情報1014とを用いて、図24(C)の左側の図で表現される。
フォーマット変換部1006は、この色情報をグラフィック描画コマンドで記述する。そして、この描画コマンドと圧縮信号1015を重ね合わせたXPSファイル1016を生成する。図24(D)には、生成されたXPSファイル1016の表す画像が表現されている。
次に、画像処理装置の各部の構成と動作について詳細に説明する。
図2は、識別部1002の構成を示す図である。識別部1002は、画像信号1010から文字領域を識別した識別信号1011を出力する。
D−FF(遅延フリップフロップ)は、画像信号1010を保持し1画素走査(1クロック)期間遅延したタイミングで出力する。従って、平均化部1002−1には、連続した3画素の画像信号が入力される。平均化部1002−1は、連続する3画素の平均値信号1002−6を算出する。次に、差分回路1002−2が3画素平均値と中心の画素値との差分(≒微分)を求める。そして差分回路1002−2は、差分がプラス、すなわち低濃度→高濃度に変化したときは、判定信号1002−7に「1」を出力し、差分がマイナスすなわち高濃度→低濃度に変化したときは、判定信号1002−7に「0」を出力する。
D−FF1002−5には、判定信号1002−7がクロックとしても入力される。このため、判定信号が変化した時に読み込まれた判定信号の値は、次に変化するまで保持される。すなわち、D−FF1002−5の出力1002−9は画像信号が低濃度→高濃度に変化して、次に高濃度→低濃度変化するまで「1」を保持し、画像信号が高濃度→低濃度に変化して、再び低濃度→高濃度変化するまで「0」を保持する。
レベル判定回路1002−3は閾値1002−8と平均値信号1002−6とを比較し、平均値信号1002−6が所定濃度以上であれば、レベル判定信号1002−10を「1」とし、それ以外のときはレベル判定信号1002−10を「0」とする。合成部1002−4は出力1002−9とレベル判定信号1002−10のANDを識別信号1011として出力する。
この識別部1002の動作によれば、文字の領域に入ったことを表す低濃度→高濃度への変化が検出されたときから、文字の領域から出たことを表す高濃度→低濃度への変化が検出されるまでの範囲内であって所定濃度以上のときに文字である(=「1」)として出力される。
図3は画像分離部1003の構成を示す図である。画像分離部1003は、識別信号1011を用いて、画像信号1010から文字画像を除去した分離画像信号1012を出力する。
D−FF1003−01には、識別信号1011の反転信号と同期信号CLKとのAND信号がクロックとして入力される。このため識別信号1011が非文字領域「0」を示す時、分離画像信号1012には、そのときの画像信号1010が取り込まれて出力される。識別信号1011が文字領域「1」を示す時、直前の非文字領域(例えば、背景を表す信号)の画素信号がD−FF1003−01に更新されずに保持され、そのまま分離画像信号1012として出力される。
図4は色情報算出部1004の構成を示す図である。色情報算出部1004は、識別情報1011を用いて、画像信号1010から文字領域の座標信号1013とその文字色情報1014とを生成して出力する。
連続画素探索部1004−1は、識別信号1011の連続した画素値(「1」=文字)を示す領域を既知のチェインアルゴリズムを用いて8方向探索して検出する。そして、連続した文字の領域を矩形の左上、右下座標で表現した文字領域座標信号1013を出力する。
図5は、文字領域座標信号1013の算出方法を説明する図である。
図5(A)に示すように、画素値(「1」=文字)が連続している識別信号を順次探索すると、a,b,c,dで示した4点に代表される座標値を得ることが出来る。識別信号の探索中に、X、Y座標の座標値のmin、maxを保持するようにして探索を実行すれば、a,b,c,d等を含む矩形の文字領域を示す最小値の座標(3,3)と最大値の座標(9,20)を得ることが出来る。このようにして、連続画素探索部1004−1は、文字領域座標1013に(3,3)−(9,20)を出力する。
領域平均部1004−2は、文字領域座標1013が表す領域内で、かつ識別信号1011が「1」(文字)を示す画像信号1010の画素値を平均し、その平均値を文字色情報1014として出力する。
図6は、識別信号1011、文字色情報1014、分離画像信号1012を生成する動作を説明するための図である。
図6(A)は、識別部1002による識別信号1011の生成を示している。画像信号1010で表される入力画像は、識別部1002で処理されて出力1002−9を生成する。出力1002−9は文字、写真についてエッジで囲まれる内部領域を表している。レベル判定信号1002−10は、所定濃度以上のレベルの領域を表している。合成部1002−4がこれらの両信号のAND演算を行って、識別信号1011を生成する。
図6(B)は、色情報算出部1004による文字色情報1014の算出内容を示している。色情報算出部1004は、画像信号1010と識別信号1011とから文字の領域について処理を行う。即ち、図に示すように各文字の領域を示す文字領域座標1013とその内部の文字色情報1014(本例では文字濃度値)を出力する。なお、図中の点線は理解のための補助情報である。
図6(C)は、画像分離部1003による分離画像信号1012の生成を示している。画像分離部1003は、画像信号1010と識別信号1011とから、文字領域を直前の非文字領域画素(本例では背景白)で塗り潰し、文字領域を除いた画像として出力する。なお、図中の点線は理解のための補助情報である。
次に圧縮部1005の動作について説明する。圧縮部1005は、米Microsoft(登録商標)から公開されているHD Photo(登録商標)を利用している。
(HD Photo Device Porting Kit 1.0:http://www.microsoft.com/japan/whdc/xps/hdphotodpk.mspx)
図7は、HD Photoの圧縮処理の構成を示す図である。HD Photoでは、JPEGと同じように、色変換、系列変換、量子化、エントロピー符号化等の手順で圧縮処理が実行される。
HD Photoは、JPEG等の多値圧縮ファイルに置き換わるものとして公開されているが、JPEGと異なりRGBやGray信号だけでなく、様々な入力信号・フォーマットに対応している。更に、αチャンネルと言われる透過画像もGray信号などと同様に圧縮・復号することができる。
αチャネルとは、一般の画像信号とは異なり画像と背景の重なりの関係を示す情報で、0→透過、255→不透明を表している。αチャネルが0の画素は画像でなく背景を表示し、αチャネルが255の画素は画像を表示し、その間の値は値によって背景・画像を合成して表示する。
圧縮部1005では識別信号1011の文字を示す信号「1」を0(透過)、非文字を示す信号「0」を255(不透明)としたαチャンネルに変換し、分離画像信号1012と共に、一つのHDPhotoのオブジェクトとして圧縮した圧縮信号1015を生成する。
図8は、フォーマット変換部1006での記述例である。それぞれの文字領域毎にその文字領域の色を表す文字色情報1014と、文字領域座標1013に基づく矩形領域とを描画コマンドによって表し、その上に圧縮信号1015を描画している。
図9は、上述の画像表現を説明するための図である。
画像を文字画像と非文字画像とに分割する。文字画像は、αチャンネルに変換する。即ち、文字の部分は透過した画像に変換する。そしてこの2つの画像を合成して圧縮する。一方、元の画像の文字の部分については、領域座標と色情報とから描画コマンドを用いて画像を生成する。そして、描画コマンドを用いて生成した画像を背景とし、圧縮された画像を描画することで原画像を表す。
従来の高圧縮ファイルの生成例を図10に示す。図10に示されるように、従来は複数の圧縮オブジェクトを組み合せて高圧縮ファイルを生成していた。本実施の形態では1つの圧縮オブジェクトと描画コマンドで高圧縮ファイルが生成されるので、ファイルの圧縮及び復号とも低コストに実現できる。
なお、本実施の形態では描画コマンドを用いて文字領域を矩形で表現したが、描画コマンドや文字領域の形状はこの形態に限定されるものではない。例えば、円、楕円などの文字領域を表す描画コマンドで記述されても良い。
また、本実施の形態では文字領域は領域内の平均値という単色表現で描画コマンドを記述したが、色の表現方法や色や濃度の算出方法もこの形態に限定されるものではない。
また、本実施の形態では各文字領域毎に逐一、領域情報と色情報を算出し描画コマンドを生成した例を示したが、この形態に限定されるものではない。
図11は、色情報算出部1004のバリエーションの構成を示す図である。
図11(A)に示す構成では、文字色が所定濃度以上であったときにのみ濃度比較器1004−3が「1」を出力する。そのため、所定濃度以上の文字についてのみ文字領域座標1013、文字色情報1014が生成されるので、フォーマット変換部1006は所定濃度以上の文字のみ描画コマンドを出力する。
従って、識別部1002で白抜き文字を文字として出力した場合に、白抜き文字は所定濃度以下(黒が255、白が0とした場合)のため、描画コマンドは生成されない。通常描画コマンドの記述の無い領域はデフォルトで白と取り決めることが多いため、この取り決めを採用した場合は、描画コマンドが無くても白抜き文字が再現できる。即ち、より高圧縮な高圧縮ファイルを生成することができる。
また、図11(B)に示す構成では、文字色が所定濃度以上であったときにのみ濃度比較器1004−3が「1」を出力し、文字色が所定彩度以下であったときにのみ彩度比較器1004−4が「1」を出力する。そのため、両者のAND信号の反転信号を生成する事で、黒文字以外は文字領域座標1013、文字色情報1014が出力される構成とすることができる。この出力に対してフォーマット変換部1006のXPSファイルの記述を全面黒の描画コマンドの上に、黒以外の文字領域の描画コマンド及び圧縮コードを記述することで、一般的な文書で最も多い、黒文字に関して個別に描画コマンドを生成する必要がなくなる。従って、より高圧縮な高圧縮ファイルを生成することができる。
図11(C)に示す構成では、最も指定される回数が多い文字色を色カウンタ1004−5で算出して、最大色1004−6として出力する。フォーマット変換部1006ではXPSファイルに、全面その最大色の描画コマンドを記述し、その上に、その文字色以外の描画コマンドを各領域毎に記述すれば、最も多い色文字に関して個別に描画コマンドを生成する必要がなくなる。従って、動的に高圧縮な高圧縮ファイルを提供することができる。
なお、色情報抽出部1004の構成を示す図11において不必要な描画コマンドを記載しない構成を示した。しかし、この形態に限定されず、フォーマット変換部1006で描画コマンドを発行しないように構成することもできる。
[第2の実施の形態]
図12は、本発明の第2の実施の形態の画像処理装置の構成を示す図である。第2の実施の形態では、グラデーション等の非単色の文字を扱っている点が第1の実施の形態と異なっている。従って、第1の実施の形態と同じ構成の部位には、同一の符号を付して詳細の説明は省略する。
第2の実施の形態の画像処理装置は、画像入力部1001、識別部1002、画像分離部2003、色情報算出部2004、圧縮部2005、フォーマット変換部2006、制御部2007及びHDD1008を備えている。
続いて、画像処理装置の動作について説明する。
画像入力部1001から出力された画像信号1010は、識別部1002において文字/非文字が識別され、文字を「255」、非文字を「0」とする識別信号1011に変換される。この識別処理には、既知の識別技術を用いることができる。
色情報算出部2004には、画像信号1010と識別信号1011とが入力される。色情報算出部2004は、識別情報1011を用いて、画像信号1010から文字領域の座標2013とその文字色情報2014とを生成して出力する。
画像分離部2003には、画像信号1010、識別信号1011、文字領域座標2013及び文字色情報2014が入力される。画像分離部1003は、識別信号1011を用いて、画像信号1010から非単色文字画像信号2012と、文字画像を除去した分離画像信号1012とを生成して分離出力する。
圧縮部2005は識別信号1011と分離画像信号1012を1つの圧縮信号として圧縮して第1の圧縮信号2015を生成する。即ち、文字を識別する信号(識別信号1011)と例えば写真が表された信号(分離画像信号1012)とが1つの圧縮信号2015に圧縮される。更に圧縮部2005は、非単色文字画像を圧縮した第2の圧縮信号2016を生成する。
フォーマット変換部2006は、入力される文字領域の座標2013、その文字色情報2014、第1の圧縮信号2015及び第2の圧縮信号2016とからXPSファイル2017を生成して出力する。生成されるXPSファイル2017では、文字色情報2014の色と、文字領域の座標2013の示す範囲とをグラフィック描画コマンドで記述した画像の上に、第2の圧縮信号2016及び第1の圧縮信号2015が重ね合わされる。
HDD1008は、XPSファイル2017を格納する。
制御部2007は、画像処理装置を統括して制御する。
図13は、色情報算出部2004の構成を示す図である。連続画素探索部2004−1は、第1の実施の形態と同様、連続した文字の領域情報である文字領域座標2013を生成する。領域平均部2004−2も第1の実施の形態と同様、文字領域内の文字画素に関する平均値2004−10を生成する。領域分散部2004−3は、文字領域内の文字画素に関する濃度分散値2004−11を生成する。
比較器2004−4は濃度分散値2004−11を所定の閾値と比較する。濃度分散値が所定の閾値よりも小さければ当該文字領域は単色表現可能と判断し、単色判定信号2004−12を「1」とする。それ以外は単色表現不可能として単色判定信号2004−12を「0」として出力する。
変換部2004−5は、単色判定信号2004−12が「1」であれば、平均値2004−10を文字色情報2014として出力し、「0」であれば特殊記号「¥z」を文字色情報2014として出力する。
図14は、画像分離部2003の構成を示す図である。分離画像信号1012は、第1の実施の形態と同様に、文字領域の情報を削除した情報として出力される。画像分割部2003−02は、文字色情報2014が特殊記号「¥z」の時のみ、入力画像信号1010から、文字領域座標2013の示す範囲の画像を切り出し、非単色文字画像信号2012として出力する。なお、非単色文字画像信号2012は、入力画像信号1010から切り出される画像であるため、入力画像によっては複数発生する。
圧縮部2005は、第1の実施の形態と同様に、識別信号1011と分離画像信号1012とを、一つのHDPhoto圧縮オブジェクトに圧縮して第1の圧縮信号2015として出力する。また、非単色文字画像信号2012は、各画像毎にHDPhoto圧縮オブジェクトに圧縮され、第2の圧縮信号2016として出力される。
フォーマット変換部2006は、文字色情報2014が特殊記号「¥z」でない時のみ、第1の実施の形態と同様、文字色情報2014、文字領域情報2013を描画コマンドで記述する。文字色情報2014が特殊記号「¥z」の時は、第2の圧縮信号2016を文字領域情報2013に従って記述する。第1の圧縮信号2015は第1の実施の形態と同様に記述し、一つのファイルとして扱う。
図15は、第2の実施の形態の画像処理装置による画像処理方法を説明するための図である。
青のべた文字、グラデーション文字及び非文字画像を含む画像信号1010から、識別部1002が識別信号1011を生成する。この識別信号1011には、色情報は含まれていないが、青のべた文字とグラデーション文字の形状の情報が含まれている。
色情報算出部2004は、画像信号1010と識別信号1011とから、青のべた文字及びグラデーション文字(非単色文字)の文字色情報2014、文字領域座標2014を算出する。図15では、青のべた文字については、文字色情報2014として青(0,0,255)が得られるが、グラデーション文字については、文字色情報2014として特殊文字「¥Z」を設定する。
画像分離部2003は、非文字画像を示す分離画像1012と非単色文字画像2012を生成する。ここで、非単色文字画像2012は、画像毎に2つ得られている。
圧縮部2005は、αチャンネルに変換した識別信号1011と分離画像1012とを一つの第1の圧縮信号2015としてHDphoto圧縮する。非単色文字画像2012は、それぞれ第2の圧縮信号2016としてHDphoto圧縮される。
図16は、フォーマット変換部2006での記述例である。図に示すように、フォーマット変換部2006は、単色のベクトル記述の文字色情報2014、文字領域座標2013及び非単色文字画像を圧縮した第2の圧縮信号2016の上に第1の圧縮信号2015を重ね合せて表現したファイルを生成する。従って、グラデーション文字等を表現することのできる、表現範囲が広い高圧縮ファイルを提供することが出来る。
図17は、第2の実施の形態のバリエーションを示す図である。
第2の実施形態では、図17(A)に示すように、透過画像+画像の圧縮、ベクトル記述及び部品画像の圧縮と3つの処理で構成して高圧縮化と高画質化を図っている。なお、画像としては、最初に記述しているものが、最前面にくる。
グラデーション文字に関しては、図17(B)に示すように非文字と同様に扱う構成を取ることができる。また、処理は複雑になるが、図17(C)に示すように非単色文字は、その文字の表現パターン(グラデーションやパターン等)を算出して、第1の実施の形態と同様に、ベクトル記述及び透過画像と画像の圧縮オブジェクトのみで構成することもできる。
さらに、図17(D)に示すように、非単色文字画像をバラバラにせず、まとめて透過画像と組み合せた一つの圧縮オブジェクトにして、2つの透過画像と画像の圧縮オブジェクトとベクトル記述で構成することも可能である。図17(D)では非文字画像の圧縮オブジェクトと非単色文字画像の圧縮オブジェクトが別々であるため、個々に圧縮率を調整することができ、図17(B)よりも画質と圧縮率の制御が容易になる。
また、本例では第1の圧縮信号と第2の圧縮信号を同一の圧縮方式で圧縮しているが、第1の圧縮信号は透過を扱える第1の圧縮方式、第2の圧縮信号は透過を扱えないが、第1よりも高圧縮な第2の圧縮方式というように、圧縮方式を使い分ける構成を取ることもできる。
[第3の実施の形態]
図18は、本発明の第3の実施の形態の画像処理装置の構成を示す図である。第3の実施の形態では、第1の実施の形態の画像処理装置に作成されたXPSファイルを変換する機能を付加している。従って、第1の実施の形態と同じ構成の部位には、同一の符号を付して詳細の説明は省略する。
画像処理装置は、第1の実施の形態の構成に加えクライアントPC3010及びファイル変換部3009を備えている。
クライアントPC3010は、HDD1008に格納されているXPSファイル1016を変換するための変換指示情報として変換領域座標3017、変換色情報3018を出力する。ファイル変換部3009は、変換指示情報3017、3018に従い、HDD1008に格納されているXPSファイル1016を修正XPSファイル3019に修正する。そして、制御部3007は、画像処理部を統括して制御する。
図19は、クライアントPC3010とファイル変換部3009の動作を説明するための図である。図19に示すようにクライアントPC3010のディスプレイには、高圧縮XPSファイル1016が表示されている。文字は黒で再現されている。
本第3の実施の形態では、説明を簡便にするため、同一行の文字を同一領域として算出したとして記述しているが、第1の実施の形態のように、各1文字単位で文字領域座標1013と文字色情報1014が生成されていても良い。
ユーザーが、「$100」は金額を表現しているため、黒色ではなく赤色に変更しようとする場合、ユーザーはマウスで画像をドラッグして変更したい文字の範囲を指定し変更したい色を指定する。この操作によって、クライアントPC3010は、変換領域座標3017を生成し、更に変更したい色である赤を変換色情報3018として生成する。
図21が変更前のXPSファイル1016の内容を表し、図22が変更後のXPSファイル1016の内容を表している。
図22に示すように、ファイル変換部3009は、図21のXPSファイルの圧縮画像を記述した位置(26行目)に、クライアントPC3010から受け取った変換領域座標3017と変換色情報3018に関する描画コマンドを挿入する。
この変換によって、XPSファイル1016のベクトル記述黒色:(0,0)−(600,100)の上に、赤色:(0,0)−(600,100)が上書き記述されるので、指定領域の文字色が簡単なコマンド記述の追加で修正することができる。
図20は、ファイル変換部3009の構成を示す図である。ファイル変換部には、最上位透過画像探索部3009−1及び記述挿入部3009−2が設けられている。
最上位透過画像探索部3009−1は、最上位の圧縮信号1015が記述されている行(図21のXPSファイルでは26行)を挿入行情報3009−10として出力する。記述挿入部3009−2は、変換領域座標3017及び変換色情報3018をXPSファイル1016の挿入行情報3009−10の行に挿入し、修正XPSファイル3019を出力する。
図10(B)に示した従来例では、文字色を修正する場合、多値画像の圧縮・復号を伴った修正が必要である。図10(A)(C)の場合、色毎にグループ化されているため、変えたい文字だけに再分割する必要が発生し、やはり圧縮・復号処理が必要となる。
これに対し、第3の実施の形態では上述のように、圧縮・復号が不要であり、非常に簡単に文字色を修正することができる。
第3の実施の形態では、たまたま元々の文字領域座標1013(0,0)−(600,100)と変換領域座標3017とが一致したが、このような場合、追記でなく該当する文字色情報1014を変換色情報3018に変更する構成が実現できるのも明らかである。
また、逆に、ユーザーのドラックで指示した変換領域座標が、例えば(50,20)−(600,90)の様に、XPSファイル1016の文字領域情報から多少ずれても、XPSファイルに保持されている文字領域座標1013を用いて、修正する構成を取ることも可能である。
また、本修正方法は、図17(A)だけでなく、図17(B)(C)(D)に示す様に、透過画像と画像を一つのオブジェクトとして画像の最前面に配置する高圧縮ファイルフォーマットに対して適用することができる。
図23は、本修正方法が適用できるファイルフォーマットを模式的に示す図である。
図23(A)に示すように、透過画像と画像とを一つのオブジェクトとして画像の最前面に配置する高圧縮ファイルフォーマットに対しては、そのオブジェクトの後面、即ち、XPSファイルでは圧縮信号が記述されている行に、修正文字色情報3017、3018を挿入して追加することで、簡易に文字色を修正することができる。
更に、本実施の形態では圧縮信号1015の記述直前に変換領域座標、変換色情報を挿入したが、修正目的を達成できるなら、本位置に限定されるものではない。例えば図22において、14行目に挿入する構成を取っても、14行目に記述した領域座標1013と変換領域座標3017とはオーバーラップしないため同様の効果を得ることが出来る。
また、本実施の形態ではマウスを用いてユーザーが直接変換領域座標3017、変換色情報3018を指示する構成を示したが、例えばクライアントPC上で既知のOCRを行い、特定のキーワードの文字領域の情報を変換領域座標3017、変換色情報3018として自動的に取得して、キーワードの色を変える構成を取ることもできる。
また、OCRを用いた色修正としてはキーワードだけでなく、OCRの認識精度が悪い箇所のみ色を着けるのに用いるなどの応用例も構成できる。
更には、本実施の形態では単純に色を変えたが、グラデーションやパターンを指示して、それに合わせて記述挿入部3009−2でグラデーションやパターンの記述を挿入すればやはり容易に修正できることは明らかである。
また、本実施の形態ではベクトル記述のみ挿入しているが、若干ファイルサイズは増加するものの、画像オブジェクトを挿入することも可能である。
本実施の形態では、XPSおよびHDPhotoを例に説明したが、同様の記述が許されるフォーマット、技術であれば本実施の形態に限定されるものではないし、識別技術や識別対象、具体的な記述方法、指示手段等も本実施の形態に限定されるものではない。
以上説明した第1乃至第3の実施の形態に係る画像処理装置によれば、一つの圧縮技術、圧縮コードだけで、高圧縮ファイルの提供を可能にする。
1つの圧縮コードで高圧縮画像ファイルが生成できるので、低コストで高圧縮な画像ファイルを提供できる。
1つの圧縮技術、圧縮コードで高圧縮画像ファイルが生成できるので、低コストで高圧縮な画像ファイルを提供できる。
図形などの描画コマンドと1つの圧縮コードで高圧縮画像ファイルが生成できるので、低コストで高圧縮な画像ファイルを提供できる。
色毎に座標情報と色の組み合わせが出力されるので簡単な描画コマンドと圧縮コードで低コストで高圧縮な画像ファイルが提供できる。
白抜き文字など、色の指定が不要と判断した描画コマンドが減るので低コストで高圧縮な画像ファイルを提供できる。
一般原稿で多い黒文字の色等を予め背景色として指定しておき、それ以外の色のみ描画コマンドを記述するので、描画コマンドが減るので低コストで高圧縮で、文字の色が一定の高画質な画像ファイルを提供できる。
グラデーション文字等の描画コマンド表現が難しい文字のみ圧縮コードで表現されるので、高画質で高圧縮な画像ファイルを提供できる。
描画コマンドで、簡単に色や座標を指定できるので、簡易な構成で高圧縮ファイルの文字色情報等を変更できる。
OCRと組み合せて、簡易な方法で色変更情報の生成、修正が行えるので利便性の高い高圧縮な画像ファイルを提供できる。
上述の各実施の形態の構成をとることにより、従来複数の圧縮技術、圧縮ファイルで構成されていた高圧縮ファイルが、一つの圧縮技術、一つの圧縮画像で構成されるので、ファイルサイズが削減されるとともに、処理コストが削減できる。
なお、以上説明した第3の実施の形態で説明したファイル変換部は、次のように表すことができる。
[付記1](透過圧縮画像を用いた高圧縮ファイルの簡易文字色修正)
第1の画像信号と第1の画像信号の透過率を指定する透過画像から構成される第1の圧縮コードと、少なくとも色図形を描画する第1の描画コマンドもしくは第2の圧縮コードとから構成され、
該第1の描画コマンドもしくは第2の圧縮コードの画像の上に該第1の圧縮コードの画像をオーバーライトする画像ファイルを変換する画像変換装置であって、
該第1の圧縮コードは該第1の画像信号及び該透過画像を同一の圧縮技術で圧縮し、
該画像変換装置は該画像ファイルの色変更指示情報を入力して該色変更指示情報を第2の描画コマンドに変換し、該第1の圧縮コードが表現する画像より下位に、該第2の描画コマンドが表現する画像を挿入する画像ファイルに変換することを特徴とする画像処理装置。
[付記2](OCRを用いた簡易文字色修正)
第1の画像信号と第1の画像信号の透過率を指定する透過画像から構成される第1の圧縮コードと、少なくとも色図形を描画する第1の描画コマンドもしくは第2の圧縮コードとから構成され、
該第1の描画コマンドもしくは第2の圧縮コードの画像の上に該第1の圧縮コードの画像をオーバーライトする画像ファイルを変換する画像変換装置であって、
該第1の圧縮コードは該第1の画像信号及び該透過画像を同一の圧縮技術で圧縮し、
該画像変換装置は該画像ファイルの色変更指示情報を入力して該色変更指示情報を第2の描画コマンドに変換し、該第1の圧縮コードが表現する画像より下位に、該第2の描画コマンドが表現する画像を挿入する画像ファイルに変換し、
該色変更指示情報は、OCRによって生成されることを特徴とする画像変換装置。
[第4の実施の形態]
図25は、本発明の第4の実施の形態の画像処理装置の構成を示す図である。第4の実施の形態の画像処理装置は、画像入力部4001、識別部4002、画像分離部4003、圧縮部4004、フォーマット変換部4005、制御部4006及びHDD4007を備えている。
続いて、画像処理装置の動作について説明する。
画像入力部4001から出力された画像信号4010は、識別部4002において文字/非文字が識別され、文字を「1」、非文字を「0」とする識別信号4011に変換される。この識別処理には、既知の識別技術を用いることができる。
画像分離部4003には、画像信号4010と識別信号4011とが入力される。画像分離部4003は、識別信号4011を用いて、画像信号4010を第1の画像信号4012と第2の画像信号4013に分離する。
圧縮部4004には、識別信号4011、第1の画像信号4012及び第2の画像信号4013が入力される。圧縮部4004は、識別信号4011を透過画像として、識別信号4011と第1の画像信号4012とを圧縮して第1の圧縮信号4014を出力する。更に、第2の画像信号4013を圧縮して第2の圧縮信号4015を出力する。なお、圧縮部4004は、透過画像と画像信号を同一圧縮コードに変換できる圧縮技術HDPhotoを備えている。
フォーマット変換部4005は、入力される第1の圧縮信号4014と第2の圧縮信号4015とからXPSファイル4016を生成して出力する。XPSファイル4016では、第2の圧縮信号4015の上に第1の圧縮信号4014が重ね合わされる。
HDD4007は、XPSファイル4016を格納する。
制御部4006は、画像処理装置を統括して制御する。
次に、画像処理装置の各部の構成と動作について詳細に説明する。
図26は、識別部4002の構成を示す図である。識別部4002は、画像信号4010から文字領域と非文字領域とを識別した識別信号4011を出力する。
D−FF(遅延フリップフロップ)は、画像信号4010を保持し1画素走査(1クロック)期間遅延したタイミングで出力する。従って、平均化部4002−1には、連続した3画素の画像信号が入力される。平均化部4002−1は、連続する3画素の平均値信号4002−6を算出する。次に、差分回路4002−2が3画素平均値と中心の画素値との差分(≒微分)を求める。そして差分回路4002−2は、差分がプラス、すなわち低濃度→高濃度に変化したときは、判定信号4002−7に「1」を出力し、差分がマイナスすなわち高濃度→低濃度に変化したときは、判定信号4002−7に「0」を出力する。
D−FF4002−5には、判定信号4002−7がクロックとしても入力される。このため、判定信号が変化した時に読み込まれた判定信号の値は、次に変化するまで保持される。すなわち、D−FF4002−5の出力4002−9は画像信号が低濃度→高濃度に変化して、次に高濃度→低濃度変化するまで「1」を保持し、画像信号が高濃度→低濃度に変化して、再び低濃度→高濃度変化するまで「0」を保持する。
レベル判定回路4002−3は閾値4002−8と平均値信号4002−6とを比較し、平均値信号4002−6が所定濃度以上であれば、レベル判定信号4002−10を「1」とし、それ以外のときはレベル判定信号4002−10を「0」とする。合成部4002−4は出力4002−9とレベル判定信号4002−10のANDを識別信号4011として出力する。
この識別部4002の動作によれば、文字の領域に入ったことを表す低濃度→高濃度への変化が検出されたときから、文字の領域から出たことを表す高濃度→低濃度への変化が検出されるまでの範囲内であって所定濃度以上のときに文字である識別信号(=「1」)が出力される。
図27は、画像分離部4003の構成を示す図である。画像分離部4003は、画像信号4010を識別信号4011を用いて第1の画像信号4012と第2の画像信号4013に分離する。
D−FF4003−01には識別信号4011と同期信号CLKとのAND信号がクロックとして入力される。このため識別信号4011が文字領域「1」を示す時、第1の画像信号4012には、そのときの画像信号4010が取り込まれて出力される。識別信号4011が非文字領域「0」を示す時、直前の文字領域(例えば、文字の内部を表す信号)の画素信号がD−FF4003−01に更新されずに保持され、そのまま第1の画像信号4012として出力される。
D−FF4003−02には、識別信号4011の反転信号と同期信号CLKとのAND信号がクロックとして入力される。このため識別信号4011が非文字領域「0」を示す時、第2の画像信号4013には、そのときの画像信号4010が取り込まれて出力される。識別信号4011が文字領域「1」を示す時、直前の非文字領域(例えば、背景を表す信号)の画素信号がD−FF1003−02に更新されずに保持され、そのまま第2の画像信号4013として出力される。
図28は、識別信号4011、第1の画像信号4012及び第2の画像信号4013を生成する動作を説明するための図である。
図28(A)は、識別部4002による識別信号4011の生成を示している。画像信号4010で表される入力画像は、識別部4002で処理されて出力4002−9を生成する。出力4002−9は文字、写真についてエッジで囲まれる内部領域を表している。レベル判定信号4002−10は、所定濃度以上のレベルの領域を表している。レベル判定信号4002−10では、非文字の薄いグラフィック(右下の円)は対象から除外されている。合成部4002−4がこれらの両信号のAND演算を行って、識別信号4011を生成する。この識別信号4011では、文字領域が抽出されている。
図28(B)は、画像分離部4003による文字信号である第1の画像信号4012の生成を示している。画像分離部4003は、画像信号4010と識別信号4011とから、文字領域を図の右方向に拡張して塗り潰した新たな領域を生成している。これは、抽出操作が左から右、上から下の方向に走査して行われるためである。また、文字でない、右下の丸の図形は削除されている。なお、図中の点線は理解のための補助情報である。
図28(C)は、画像分離部4003による非文字信号である第2の画像信号4013の生成を示している。非文字である背景及び右下の円が抽出されているのが判る。画像分離部4003は、画像信号4010と識別信号4011とから、文字領域を直前の非文字領域画素(本例では背景白)で塗り潰し、文字領域を除いた画像として出力する。なお、図中の点線は理解のための補助情報である。
図29は、HD Photoの圧縮処理の構成を示す図である。HD Photoでは、JPEGと同じように、色変換、系列変換、量子化、エントロピー符号化等の手順で圧縮処理が実行される。
HD Photoは、JPEG等の多値圧縮ファイルに置き換わるものとして公開されているが、JPEGと異なりRGBやGray信号だけでなく、様々な入力信号・フォーマットに対応している。更に、αチャンネルと言われる透過画像もGray信号などと同様に圧縮・復号することができる。
αチャネルとは、一般の画像信号とは異なり画像と背景の重なりの関係を示す情報で、画素値0→透過、255→不透明を表している。αチャネルが0の画素は画像でなく背景を表示し、αチャネルが255の画素は画像を表示し、その間の値は値によって背景・画像を合成して表示する。
図30は、αチャンネルを用いた画像合成方法を説明する図である。第1の画像信号4012を画像と定義する。識別信号4011の文字を示す信号「1」を255(不透明)、非文字を示す信号「0」を0(透過)としたαチャンネルに変換した画像を透過画像と定義する。そして、第2の画像信号4013を背景画像と定義する。
画像(第1の画像信号4012)の塗りつぶされた領域の内、透過画像の不透明領域に対応する部分を取り出した画像には、文字だけが抽出されている。この画像を不透明画像と定義する。更に、背景画像(第2の画像信号4013)の内、透過画像の透明領域に対応する部分を取り出した画像には、文字が除かれている。この画像を透明画像と定義する。そして、不透明画像と透明画像とを合成して原画像を再現することができる。
図31は、従来の文字画像と非文字画像とを分離して高圧縮ファイルを生成する方法を説明する図である。図31(A)(C)に示す方法では、圧縮した背景画像に圧縮した2値画像をオーバーライトしてファイルを生成する。図31(B)に示す方法では、2値の文字形状画像をマスクとして、文字の色を示す画像、背景画像を圧縮する。
図31に示すように、従来の圧縮技術では、文字と非文字それぞれに適した方式の圧縮を行うことで高圧縮ファイルを提供している。
本実施の形態では、図31(B)と同様に、透過画像を使って色文字を表す画像と背景画像とを用いる。しかしながら、図31(B)に示す方式ではマスク、背景画像、文字色画像を異なる方式で圧縮していたのに対し、本実施の形態では、圧縮部4004においてHDPhotoを利用した一種類の方式で圧縮する。
以下本実施の形態での圧縮方法を説明する。
図32は、HDPhotoのコード体系を示す図である。
HDPhotoのコード体系は図に示すように、16×16画素単位(MacroBlock)の符号を並べるSpatial mode、及び周波数レベル毎に情報を集めるFrequency modeのフォーマットをサポートしている。
ただし、これは最終的なコードを微小領域単位の情報毎に集めるか(Spatial mode)、周波数単位毎に集めるか(Frequency mode)の違いであり、いずれのモードにおいても、周波数を区分した単位で圧縮コードを生成している。
図33は、基本処理単位である16×16画素の周波数空間における周波数区分を表す図である。
圧縮コードを生成するための周波数は、直流成分DC、低周波成分LOWPASS、高周波成分HIGHPASS、及びFLEXBITSに区分されている。図33の左には、二次元平面での周波数区分を表し、図33の右には、bit深度での周波数区分を表している。なお、FLEXBITSは、(DCを除く周波数成分である)低周波成分と高周波成分との下位bit成分に割り付けられている。
ここで、本実施の形態における圧縮方法の基本的な考え方を説明する。
JPEGでは直交変換により周波数を分解して用いるが、基本処理単位である例えば8×8のブロックをそのまま用いて処理を行っている。これに対し、HDphotoでは、基本処理単位内で定義される周波数区分のデータを分離して取り扱うことが可能である。本実施の形態では、上述のHDphotoが備えている技術的特徴を利用する。
即ち、本実施の形態では圧縮対象によって使用する周波数区分を選択する。その結果、写真であれば階調度が確保されていれば解像度はそれほど重要ではないが、文字の場合は高解像度であることが重要である、といったニーズに対応した圧縮が可能となる。
図34は、圧縮部4004における第1の圧縮信号と第2の圧縮信号を生成する方法を説明するための図である。
圧縮部4004は、第1の画像信号4012の全周波数成分と、識別信号4011を透過画像(0→0、1→255)に変換した画像の全周波数成分とを用いて第1の圧縮信号4014を構成する。また、圧縮部4004は、背景画像に相当する第2の画像信号4013の直流成分DCと低周波成分LowPassを用いて第2の圧縮信号4015を構成する。
このように構成することによって、文字等は高解像度化し、背景は階調度を損なわずに低解像度化して圧縮効率を高めた高圧縮ファイルを提供することが出来る。
フォーマット変換部4005は、圧縮部4004で生成された第1の圧縮信号4014(第1の画像信号4012及び識別信号4011の圧縮)、第2の圧縮信号4015(第2の画像信号4013の圧縮)を一つのファイルに変換する。
図35は、フォーマット変換部4005が変換したXPSのフォーマット記述を示す図である。XPSのフォーマットは、第2の圧縮信号4015に第1の圧縮信号4014をオーバーライトする記述で表現される。
図36は、第1の圧縮信号4014と第2の圧縮信号4015を生成する他の方法を説明するための図である。
圧縮部4004は、第1の画像信号4012のDC成分と、識別信号4011を透過画像(0→0、1→255)に変換した画像の全周波数成分とを用いて第1の圧縮信号4014を構成する。また、圧縮部4004は、背景画像に相当する第2の画像信号4013の直流成分DCと低周波成分LowPassを用いて第2の圧縮信号4015を構成する。
図36に示す方法では、文字の色を示す第1の画像信号4012に割り当てる周波数範囲を最も小さくし、文字の形状情報を保持することになる透過画像(識別信号4011)に割り当てる周波数範囲を最も大きくする。この方法によれば、画像(第1の画像信号4012)、透過画像(識別信号4011)、背景画像(第2の画像信号4013)のそれぞれに最も適した情報量を用いて圧縮できるので、より高圧縮・高画質な高圧縮ファイルを提供することができる。
図37は、第1の圧縮信号4014と第2の圧縮信号4015を生成する更に他の方法を説明するための図である。
図37では、識別信号4011を透過画像(0:非文字→255:不透明、1:文字→0:透明)と、上述とは逆の特性に変換する。そして、圧縮部4004は、第2の画像信号4013の直流成分DCと低周波成分LowPassと、識別信号4011を透過画像(0→255、1→0)に変換した画像の全周波数成分とを用いて第1の圧縮信号4014を構成する。また、圧縮部4004は、背景画像に相当する第1の画像信号4012の直流成分DCを用いて第2の圧縮信号4015を構成する。
図37に示す方法では、図36に示す方法と同様に、画像(第2の画像信号4013)、透過画像(識別信号4011)、背景画像(第1の画像信号4012)のそれぞれに最も適した情報量を用いて圧縮できるので、より高圧縮・高画質な高圧縮ファイルを提供することができる。
本例ではFlexbitsを圧縮コードに含めない例を示したが、適宜Flexbitsを圧縮コードに含める構成を取ることもできる。
さらに、各周波数成分毎の圧縮処理には触れていないが、直流成分DC、低周波成分Lowpassなど各周波数ごとに画質を制御して高圧縮ファイルを生成できることは明らかである。
また、第1の圧縮信号、第2の圧縮信号は図32で示したSpatial mode、Frequency modeどちらのフォーマットを使用した場合でも所望の効果が得られる。
また本実施の形態ではHDPhoto及びXPSを利用した表現方法を例示したが、透過画像と画像信号を一つのオブジェクトとして圧縮でき、周波数単位で取り扱える技術及びそのオブジェクトを頁表現できる技術であれば、本例に限定されるものではなく、透過・不透明の数値の割付や識別方法、分離方法も本例に限定されない。
[第5の実施の形態]
図38は、本発明の第5の実施の形態の画像処理装置の構成を示す図である。第5の実施の形態では、第4の実施の形態の画像処理装置に作成されたXPSファイルを変換する機能が付加されている。また、圧縮部5004が図32で示した、Frequency modeで動作し、かつ、全ての周波数成分を保持している第1の圧縮コード5014、第2の圧縮コード5015を出力する点で第4の実施の形態と異なっている。従って、第4の実施の形態と同じ構成の部位には、同一の符号を付して詳細の説明は省略する。
なお、画像処理装置は、第4の実施の形態の構成に加えてファイル変換部5006を備えており、ファイル変換部5006は、画像ログサーバー5008及びクライアントPC5009と信号の授受を実行する。
以下第5の実施の形態に係る画像処理装置の特徴的な動作を順次説明する。
フォーマット変換部4005によって作成されたXPSファイル5016は、HDD5006に一旦格納される。ファイル変換部5007はXPSファイル5016を順次読み出し、送付先の転送能力に応じたファイルサイズ・画質をもつ変換圧縮コードA5017、変換圧縮コードB5018に変換して、それぞれ画像ログサーバー5008、クライアントPC5009に送付する。
ここで画像ログサーバー5008は、一般的に、画像の履歴を保存するために用いられるため、画質よりも圧縮率が優先される。クライアントPC5009は高圧縮ファイルをユーザーが直接閲覧する環境で使用されるため、実用的な画質とファイルサイズが求められる。
図39は、XPSファイル5016の詳細の構成を示す図である。XPSファイル5016は、各種オブジェクトと記述を階層管理したファイルとして構成されている。例えば、図35で示した画像オブジェクトの重ね条件は1.fpageファイルとして記述、格納されている。そして、具体的な画像ファイルは指定ディレクトリ内に格納されている。XPSファイル5016においては、画像の名前や画像の縦・横サイズ等に変更が無ければ、Imagesの位置に格納されている画像オブジェクトを入れ替えるだけで画像を変更することが可能である。
図40は、ファイル変換部5007の構成を示す図である。ファイル変換部5007は、XPSファイル5016を入力して、変換圧縮コードA5017、変換圧縮コードB5018を出力する。ファイル変換部5007は、この構成による簡易な変換でXPSファイルの画像サイズ・画質を変更することができる。
画像オブジェクト抽出部5007−1は、XPSファイル5016に記述されている第1の圧縮コード5014及び第2の圧縮コード5015を、圧縮コード5007−4として抽出する。
周波数コード削除部1−5007−2は、DC成分のみの圧縮コードである第1の変換圧縮コード5007−5を出力する。周波数コード削除部2−5007−3は、透過画像は全ての周波数、画像信号はDC成分のみ、背景画像はDC成分とLowpass成分のみとした第2の変換圧縮コード5007−6を出力する。
画像ファイル再構成部5007−7には、XPSファイル5016、第1の変換圧縮コード5007−5及び第2の変換圧縮コード5007−6が入力される。画像ファイル再構成部5007−7は、XPSファイル5016に記述されている第1の圧縮コード5014及び第2の圧縮コード5015(圧縮コード5007−4)を第1の変換圧縮コード5007−5に入れ替えて変換圧縮コードA5017として出力する。また、XPSファイル5016に記述されている第1の圧縮コード5014及び第2の圧縮コード5015(圧縮コード5007−4)を第2の変換圧縮コード5007−6に入れ替えて変換圧縮コードB5018として出力する。
図41は、ファイル変換部の変換方法を模式的に示す図である。
第1及び第2の圧縮コード5014,5015は、Frequency modeとして周波数単位でまとめてコード化されているので、不要な周波数成分を取り除く変換を簡易に行うことができる。XPSファイルでは画像オブジェクトは簡易に差し替えが可能であるため、簡単な構成で、ベースの高圧縮ファイルから、要求に応じて圧縮サイズ、画質を調整した高圧縮ファイルを再生成できるので、高圧縮ファイルの利便性が高まる。
しかもHDD5006の格納時点で高圧縮化されているため、非圧縮画像やJPEG画像から、要求に応じて高圧縮ファイルを生成するよりも、低コストで実現することが出来る。
なお、本例では全ての周波数情報を保持した高圧縮ファイルをベースとしたが、システムの最高要求画質、例えば第2の変換圧縮コード5007−6をベースとして、そこから任意の周波数情報を削除して再構成するシステムを構成することもできる。また、その場合HDD5006から直接クライアントPC5009に送付する構成を取ることもできる。
本例では最も簡易に構成できる方式としてFrequency modeで構成したが、復号・再圧縮する必要が無いという意味においては、Spatial modeで構成することも可能である。
また本例ではHDPhoto及びXPSを利用した表現方法を例に示したが、透過画像と画像信号を一つのオブジェクトとして圧縮でき、周波数単位で取り扱える技術及びそのオブジェクトを頁表現できる技術であれば、本例に限定されるものではなく、透過・不透明の数値の割付や識別方法、分離方法、削減方法も本例に限定されない。
なお、以上説明した第4、第5の実施の形態に係る画像処理装置は、次のように表すことができる。
[付記1](HDPhoto等で、背景画像等を高周波成分を除いたフォーマットで高圧縮ファイル化)
第1の画像信号と第2の画像信号と第1もしくは第2の画像信号の透過率を指定する透過画像を生成する画像生成手段と、
第1の画像と透過画像及び第2の画像から第1の圧縮コード及び第2の圧縮コードを出力する圧縮手段と、
第1の圧縮コード及び第2の圧縮コードを重ね合せて画像ファイルを生成する画像ファイル生成手段とを備え、
該圧縮手段は、第1及び第2の圧縮コードを同一の圧縮技術で圧縮し、
該圧縮手段は、直流成分、高周波成分に符号単位を分けて取り扱え、
該第1の画像もしくは第2の画像の内少なくとも一つは、高周波成分を除いた圧縮コードで構成されることを特徴とする画像処理装置。
[付記2](HDPhoto等で、透過画像は高周波成分を含んだフォーマットで高圧縮ファイル化)
第1の画像信号と第2の画像信号と第1もしくは第2の画像信号の透過率を指定する透過画像を生成する画像生成手段と、
第1の画像と透過画像及び第2の画像から第1の圧縮コード及び第2の圧縮コードを出力する圧縮手段と、
第1の圧縮コード及び第2の圧縮コードを重ね合せて画像ファイルを生成する画像ファイル生成手段とを備え、
該圧縮手段は、第1及び第2の圧縮コードを同一の圧縮技術で圧縮し、
該圧縮手段は、直流成分、高周波成分に符号単位を分けて取り扱え、
該透過画像は直流成分・高周波成分を含む圧縮コードで構成されることを特徴とする画像処理装置。
[付記3](具体的な各プレーンのフォーマット、透過画像と文字色を同一オブジェクト化)
第1の画像信号と第2の画像信号と第1もしくは第2の画像信号の透過率を指定する透過画像を生成する画像生成手段と、
第1の画像と透過画像及び第2の画像から第1の圧縮コード及び第2の圧縮コードを出力する圧縮手段と、
第1の圧縮コード及び第2の圧縮コードを重ね合せて画像ファイルを生成する画像ファイル生成手段とを備え、
該圧縮手段は、第1及び第2の圧縮コードを同一の圧縮技術で圧縮し、
該圧縮手段は、直流成分、低周波成分、高周波成分に符号単位を分けて取り扱え、
該第1の画像には文字等の高解像度が必要な情報を格納し、
該第1の画像は直流成分のみ、該第2の画像は直流成分と低周波成分、該透過画像は直流成分と低周波成分と高周波成分の圧縮コードで構成されることを特徴とする画像処理装置。
[付記4](具体的な各プレーンのフォーマット、透過画像と背景画像を同一オブジェクト化)
第1の画像信号と第2の画像信号と第1もしくは第2の画像信号の透過率を指定する透過画像を生成する画像生成手段と、
第1の画像と透過画像及び第2の画像から第1の圧縮コード及び第2の圧縮コードを出力する圧縮手段と、
第1の圧縮コード及び第2の圧縮コードを重ね合せて画像ファイルを生成する画像ファイル生成手段とを備え、
該圧縮手段は、第1及び第2の圧縮コードを同一の圧縮技術で圧縮し、
該圧縮手段は、直流成分、低周波成分、高周波成分に符号単位を分けて取り扱え、
該第2の画像には文字等の高解像度が必要な情報を格納し、
該第2の画像は直流成分のみ、該第1の画像は直流成分と低周波成分、該透過画像は直流成分と低周波成分と高周波成分の圧縮コードで構成されることを特徴とする画像処理装置。
[付記5](HDPhotoの周波数Type符号を用いた高圧縮ファイル化)
第1の画像信号と第2の画像信号と第1もしくは第2の画像信号の透過率を指定する透過画像を生成する画像生成手段と、
第1の画像と透過画像及び第2の画像から第1の圧縮コード及び第2の圧縮コードを出力する圧縮手段と、
第1の圧縮コード及び第2の圧縮コードを重ね合せて画像ファイルを生成する画像ファイル生成手段とを備え、
該圧縮手段は、第1及び第2の圧縮コードを同一の圧縮技術で圧縮し、
該圧縮手段は、直流成分、高周波成分に符号単位を分けて取り扱え、
該第1の画像もしくは第2の画像の内少なくとも一つは、高周波成分を除いた圧縮コードで構成され、
該第1及び第2の圧縮コードは周波数単位で情報をまとめた符号フォーマットであることを特徴とする画像処理装置。
[付記6](HDPhotoの高圧縮ファイルを、任意の圧縮率・画質調整)
第1の画像信号と第1の画像信号の透過率を指定する透過画像から構成される第1の圧縮コードと第2の画像信号から構成される第2の圧縮コードで、第2の圧縮コードの上に第1の圧縮コードを重ね合せて描画する構成となっている画像ファイルを変換する画像変換装置であって、
該第1の圧縮コードと第2の圧縮コードは同一の圧縮技術で圧縮され、
第1及び第2の圧縮コードは周波数単位で情報をまとめた符号フォーマットであり、
該画像変換装置は第1の圧縮コードの第1の画像信号及び透過画像、第2の圧縮コードの第2の画像信号に関して任意の周波数成分だけ取り出し該画像ファイルを再構成することを特徴とする画像変換装置。
なお、上述の各付記に記載した装置の作用効果は以下のとおりである。
[付記1の作用効果]
一種類の圧縮技術で高圧縮ファイルが生成され、かつその圧縮オブジェクトが、圧縮技術の特性を生かしたフォーマットで構成されるので、低コストで圧縮ファイルを実現することができる。
[付記2の作用効果]
一種類の圧縮技術で高圧縮ファイルが生成され、かつその圧縮オブジェクトが、圧縮技術の特性を生かしたフォーマットで構成されるので、低コストで圧縮ファイルを実現することができる。
[付記3の作用効果]
一種類の圧縮技術で高圧縮ファイルが生成され、文字の色情報は最も低解像度な情報で圧縮技術の特徴を生かしたフォーマットで構成されるので、低コストで圧縮ファイルを実現することができる。
[付記4の作用効果]
一種類の圧縮技術で高圧縮ファイルが生成され、文字の色情報は最も低解像度な情報で圧縮技術の特徴を生かしたフォーマットで構成されるので、低コストで圧縮ファイルを実現することができる。
[付記5の作用効果]
周波数単位で情報をまとめてコード表現されているので画像ファイルの表示に自由度がある。
[付記6の作用効果]
周波数単位で情報をまとめてコード表現されているので、一旦高圧縮化したファイルから簡易な変換で圧縮率・画質を再調整した高圧縮ファイルを提供できる。
また、上述の付記と実施の形態との対応関係は次のとおりである。
第4の実施の形態:付記1、2、3、4
第5の実施の形態:付記5、6
[第6の実施の形態]
図42は、本発明の第6の実施の形態の画像処理装置の構成を示す図である。第6の実施の形態の画像処理装置は、画像入力部6001、識別部6002、画像分離部6003、縮小部6004、圧縮部6005、フォーマット変換部6006、制御部6007及びHDD6008を備えている。
続いて、画像処理装置の動作について説明する。
画像入力部6001から出力された画像信号6010は、識別部6002において文字/非文字が識別され、文字を「1」、非文字を「0」とする識別信号6011に変換される。この識別処理には、既知の識別技術を用いることができる。
画像分離部6003には、画像信号6010と識別信号6011とが入力される。画像分離部6003は、識別信号6011を用いて、画像信号6010を第1の画像信号6012と第2の画像信号6013に分離する。
縮小部6004は、第2の画像信号6013を縮小し縮小画像信号6014を出力する。
圧縮部6005には、識別信号6011、第1の画像信号6012及び縮小画像信号6014が入力される。圧縮部6005は、識別信号6011を透過画像として、識別信号6011と第1の画像信号6012とを圧縮して第1の圧縮信号6015を出力する。更に、縮小画像信号6014を圧縮して第2の圧縮信号6016を出力する。なお、圧縮部6005は、透過画像と画像信号を同一圧縮コードに変換できる圧縮技術HDPhotoを備えている。
フォーマット変換部6006は、入力される第1の圧縮信号6015と第2の圧縮信号6016とからXPSファイル6017を生成して出力する。XPSファイル6017では、第2の圧縮信号6016の上に第1の圧縮信号6015が重ね合わされる。
HDD6008は、XPSファイル6017を格納する。
制御部6007は、画像処理装置を統括して制御する。
次に、画像処理装置の各部の構成と動作について詳細に説明する。
図43は、識別部6002の構成を示す図である。識別部6002は、画像信号6010から文字領域と非文字領域とを識別した識別信号6011を出力する。
D−FF(遅延フリップフロップ)は、画像信号6010を保持し1画素走査(1クロック)期間遅延したタイミングで出力する。従って、平均化部6002−1には、連続した3画素の画像信号が入力される。平均化部6002−1は、連続する3画素の平均値信号6002−6を算出する。次に、差分回路6002−2が3画素平均値と中心の画素値との差分(≒微分)を求める。そして差分回路6002−2は、差分がプラス、すなわち低濃度→高濃度に変化したときは、判定信号6002−7に「1」を出力し、差分がマイナスすなわち高濃度→低濃度に変化したときは、判定信号6002−7に「0」を出力する。
D−FF6002−5には、判定信号6002−7がクロックとしても入力される。このため、判定信号が変化した時に読み込まれた判定信号の値は、次に変化するまで保持される。すなわち、D−FF6002−5の出力6002−9は画像信号が低濃度→高濃度に変化して、次に高濃度→低濃度変化するまで「1」を保持し、画像信号が高濃度→低濃度に変化して、再び低濃度→高濃度変化するまで「0」を保持する。
レベル判定回路6002−3は閾値6002−8と平均値信号6002−6とを比較し、平均値信号6002−6が所定濃度以上であれば、レベル判定信号6002−10を「1」とし、それ以外のときはレベル判定信号6002−10を「0」とする。合成部6002−4は出力6002−9とレベル判定信号6002−10のANDを識別信号6011として出力する。
この識別部6002の動作によれば、文字の領域に入ったことを表す低濃度→高濃度への変化が検出されたときから、文字の領域から出たことを表す高濃度→低濃度への変化が検出されるまでの範囲内であって所定濃度以上のときに文字である識別信号(=「1」)が出力される。
図44は、画像分離部6003の構成を示す図である。画像分離部6003は、画像信号6010を識別信号6011を用いて第1の画像信号6012と第2の画像信号6013に分離する。
D−FF6003−01には識別信号6011と同期信号CLKとのAND信号がクロックとして入力される。このため識別信号6011が文字領域「1」を示す時、第1の画像信号6012には、そのときの画像信号6010が取り込まれて出力される。識別信号6011が非文字領域「0」を示す時、直前の文字領域(例えば、文字の内部を表す信号)の画素信号がD−FF6003−01に更新されずに保持され、そのまま第1の画像信号6012として出力される。
D−FF6003−02には、識別信号6011の反転信号と同期信号CLKとのAND信号がクロックとして入力される。このため識別信号6011が非文字領域「0」を示す時、第2の画像信号6013には、そのときの画像信号6010が取り込まれて出力される。識別信号6011が文字領域「1」を示す時、直前の非文字領域(例えば、背景を表す信号)の画素信号がD−FF1003−02に更新されずに保持され、そのまま第2の画像信号6013として出力される。
図45は、識別信号6011、第1の画像信号6012及び第2の画像信号6013を生成する動作を説明するための図である。
図45(A)は、識別部6002による識別信号6011の生成を示している。画像信号6010で表される入力画像は、識別部6002で処理されて出力6002−9を生成する。出力6002−9は文字、写真についてエッジで囲まれる内部領域を表している。レベル判定信号6002−10は、所定濃度以上のレベルの領域を表している。レベル判定信号6002−10では、非文字の薄いグラフィック(右下の円)は対象から除外されている。合成部6002−4がこれらの両信号のAND演算を行って、識別信号6011を生成する。この識別信号6011では、文字領域が抽出されている。
図45(B)は、画像分離部6003による文字信号である第1の画像信号6012の生成を示している。画像分離部6003は、画像信号6010と識別信号6011とから、文字領域を図の右方向に拡張して塗り潰した新たな領域を生成している。これは、抽出操作が左から右、上から下の方向に走査して行われるためである。また、文字でない、右下の丸の図形は削除されている。なお、図中の点線は理解のための補助情報である。
図45(C)は、画像分離部6003による非文字信号である第2の画像信号6013の生成を示している。非文字である背景及び右下の円が抽出されているのが判る。画像分離部6003は、画像信号6010と識別信号6011とから、文字領域を直前の非文字領域画素(本例では背景白)で塗り潰し、文字領域を除いた画像として出力する。なお、図中の点線は理解のための補助情報である。
図46は、HD Photoの圧縮処理の構成を示す図である。HD Photoでは、JPEGと同じように、色変換、系列変換、量子化、エントロピー符号化等の手順で圧縮処理が実行される。
HD Photoは、JPEG等の多値圧縮ファイルに置き換わるものとして公開されているが、JPEGと異なりRGBやGray信号だけでなく、様々な入力信号・フォーマットに対応している。更に、αチャンネルと言われる透過画像もGray信号などと同様に圧縮・復号することができる。
αチャネルとは、一般の画像信号とは異なり画像と背景の重なりの関係を示す情報で、画素値0→透過、255→不透明を表している。αチャネルが0の画素は画像でなく背景を表示し、αチャネルが255の画素は画像を表示し、その間の値は値によって背景・画像を合成して表示する。
図47は、αチャンネルを用いた画像合成方法を説明する図である。第1の画像信号6012を画像と定義する。識別信号6011の文字を示す信号「1」を255(不透明)、非文字を示す信号「0」を0(透過)としたαチャンネルに変換した画像を透過画像と定義する。そして、縮小画像信号6014を背景画像と定義する。
画像(第1の画像信号6012)の塗りつぶされた領域の内、透過画像の不透明領域に対応する部分を取り出した画像には、文字だけが抽出されている。この画像を不透明画像と定義する。更に、背景画像(縮小画像信号6014)の内、透過画像の透明領域に対応する部分を取り出した画像には、文字が除かれている。この画像を透明画像と定義する。そして、不透明画像と透明画像とを合成して原画像を再現することができる。
図48は、従来の文字画像と非文字画像とを分離して高圧縮ファイルを生成する方法を説明する図である。図48(A)(C)に示す方法では、圧縮した背景画像に圧縮した2値画像をオーバーライトしてファイルを生成する。図48(B)に示す方法では、2値の文字形状画像をマスクとして、文字の色を示す画像、背景画像を圧縮する。
図48に示すように、従来の圧縮技術では、文字と非文字それぞれに適した方式の圧縮を行うことで高圧縮ファイルを提供している。
本実施の形態では、図48(B)と同様に、透過画像を使って色文字を表す画像と背景画像とを用いる。しかしながら、図48(B)に示す方式ではマスク、背景画像、文字色画像を異なる方式で圧縮していたのに対し、本実施の形態では、圧縮部6005においてHDPhotoを利用した一種類の方式で圧縮する。
即ち、圧縮部6005は、第1の画像信号6012(文字の色を示す画像に相当)、縮小画像信号6014(背景画像に相当)、識別信号6011を透過画像(0→0、1→255変換)として、全て一つの圧縮方式で圧縮する点が従来と異なる。
フォーマット変換部6006は、圧縮部6005で生成された第1の圧縮信号6015(第1の画像信号6012及び識別信号6011の圧縮)、第2の圧縮信号6016(縮小画像信号6014の圧縮)を一つのファイルに変換する。
図49は、フォーマット変換部6006が変換したXPSのフォーマット記述を示す図である。XPSのフォーマットは、第2の圧縮信号6016に第1の圧縮信号6015をオーバーライトする記述で表現される。
図48に示した従来の方式は、何れも文字等は2値の高解像度で圧縮し、背景などは多値の低解像度に変換して圧縮することで高圧縮・高画質を実現している。
本実施の形態では、圧縮部6005において、図46に示したHDPhoto圧縮の前に第2の画像信号6013を縮小画像信号6014に低解像度化してから圧縮することで同様に高圧縮なファイルを提供している。
また、HDPhotoでは、画像信号とαチャネルの圧縮率を別々に設定できるので、画像信号(第1の画像信号6012)の圧縮設定を高圧縮に設定し、αチャネル(識別信号6011)の圧縮設定を可逆圧縮もしくは高画質に設定することでより効率よく、高圧縮・高画質な圧縮ファイルを提供できる。
本実施の形態では、識別信号6011と文字を抽出した第1の画像信号6012を1つの第1の圧縮信号6015として表現したが、図50に示すように識別信号の0:非文字→255、1:文字→0と透過信号に対する割付を反転して、識別信号6011と非文字画像である第2の画像信号6013の縮小画像6014を一つの第1の圧縮信号6015として表現することも可能である。
また、本実施の形態ではHDPhoto及びXPSを利用した表現方法を例に示したが、透過信号と画像信号を一つのオブジェクトとして圧縮できる技術及びそのオブジェクトを頁表現できる技術であれば、本実施の形態に限定されるものではなく、透過・不透明の数値の割付や識別方法、分離方法も本実施の形態に限定されない。
なお、以上説明した第6の実施の形態に係る画像処理装置は、次のように表すことができる。
[付記1](透過画像+画像、画像の合成での高圧縮ファイルに着目)
第1の画像信号と第2の画像信号と第1もしくは第2の画像信号の透過率を指定する透過画像を生成する画像生成手段と、
第1の画像と透過画像及び第2の画像から第1の圧縮コード及び第2の圧縮コードを出力する圧縮手段と、
第1の圧縮コード及び第2の圧縮コードを重ね合せて画像ファイルを生成する画像ファイル生成手段とを備え、
該圧縮手段は、第1及び第2の圧縮コードを同一の圧縮技術で圧縮することを特徴とする画像処理装置。
[付記2](透過画像を識別より生成する点に着目)
画像を入力する画像入力部と、
該画像を少なくとも1画素単位で識別する識別部と、
該画像と該識別信号を元に第1及び第2の画像に分離する画像分離部と、
第1の画像信号と該識別信号からなる第3の画像信号と第2の画像信号を圧縮し、第1及び第2の圧縮信号を出力する圧縮部とを備え、
該識別信号は該第1の圧縮信号では該第1の画像信号に対する透過率を表す信号として圧縮され、第1及び第2の圧縮信号は同一の圧縮技術をベースとした圧縮信号であることを特徴とする画像処理装置。
[付記3](透過画像を識別より生成し、透過を含まない画像を低解像度化で高圧縮)
画像を入力する画像入力部と、
該画像を少なくとも1画素単位で識別する識別部と、
該画像と該識別信号を元に第1及び第2の画像に分離する画像分離部と、
第1の画像信号と該識別信号からなる第3の画像信号と第2の画像信号を低解像度化して圧縮し、第1及び第2の圧縮信号を出力する圧縮部と
第1及び第2の圧縮信号を重ね合せて画像ファイルを生成する画像ファイル生成手段とを備え、
該識別信号は該第1の圧縮信号では該第1の画像信号に対する透過率を表す信号として圧縮され、第1及び第2の圧縮信号は同一の圧縮技術をベースとした圧縮信号であることを特徴とする画像処理装置。
[付記4](透過画像を可逆もしくは高画質圧縮で、トータルで高圧縮・高画質な
高圧縮ファイル)
第1の画像信号と第2の画像信号と第1もしくは第2の画像信号の透過率を指定する透過画像を生成する画像生成手段と、
第1の画像と透過画像及び第2の画像から第1の圧縮コード及び第2の圧縮コードを出力する圧縮手段と、
第1の圧縮コード及び第2の圧縮コードを重ね合せて画像ファイルを生成する画像ファイル生成手段とを備え、
該圧縮手段は、第1及び第2の圧縮コードを同一の圧縮技術で圧縮し、
第1の圧縮コードは透過画像より第1の画像の非可逆度合いを大きくすることを特徴とする画像処理装置。
なお、上述の各付記に記載した装置の作用効果は以下のとおりである。
[付記1の作用効果]
1つの圧縮技術で、高圧縮画像ファイルを生成できるので、作成時・表示時とも低コストの高圧縮処理を提供できる。
[付記2の作用効果]
1つの圧縮技術で、高圧縮画像ファイルを生成できるので、作成時・表示時とも低コストの高圧縮処理を提供できる。
[付記3の作用効果]
1つの圧縮技術で、高圧縮画像ファイルを生成できるので、作成時・表示時とも低コストの高圧縮処理を提供できる。
[付記4の作用効果]
1つの圧縮技術で、高圧縮画像ファイルを生成でき、透過画像の画質を高めて圧縮するので、高画質・高圧縮で低コストの高圧縮処理を提供できる。
また、上述の付記と実施の形態との対応関係は次のとおりである。
第6の実施の形態:付記1、2、3、4
なお、上述の各実施の形態の画像処理装置は、デジタル複合機(MFP:Multi Function Peripheral)に組み込んで構成することができる。
図51は、MFP1の外観斜視図である。
MFP1は、自動原稿搬送部Raと、画像読取部Rと、画像形成部Pと、排出トレイ8と、CPU801と、MEMORY802と、操作入力部803と、表示部804と、を備える。
自動原稿搬送部(ADF:Auto Document Feeder)Raは、トレイRtに載置される複数枚の原稿を、画像読取部Rによる所定の原稿読み取り位置へ向けて連続的に自動搬送する機能を有する。
画像読取部Rは、MFP1本体の上方に配置されており、自動原稿搬送部Aにより自動搬送されるシート原稿や、不図示の原稿載置台に載置されるシート原稿やブック原稿の画像をスキャンして読み取る機能を有する。
画像形成部Pは、画像読取部Rにて原稿から読み取られた画像やMFP1にて外部機器から受信した画像データ等に基づいて、給紙カセットKから供給されるシートに現像剤像を形成する機能を有する。
画像形成部Pにて画像が形成されたシートは、排出トレイ8上に排出される。
CPU801は、MFP1における各種処理を行う役割を有しており、またMEMORY802に格納されているプログラムを実行することにより種々の機能を実現する役割も有している。MEMORY802は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、VRAM(Video RAM)等から構成されることができ、MFP1において利用される種々の情報やプログラムを格納する役割を有している。
操作入力部803は、例えば、キーボード(Keyboard)、マウス(Mouse)、タッチパネル(touch panel)、タッチパッド(touchpad)、ペンタブレット(graphics tablet)等から構成されることができる。
表示部804は、例えば、LCD(Liquid crystal display)、EL(Electronic Luminescence)、PDP(Plasma Display Panel)、CRT(Cathode Ray Tube)等から構成されることができる。
また、いわゆるタッチパネルディスプレイによって、操作入力部803と表示部804の機能を実現するようにすることもできる。
本発明の実施の形態の画像処理装置の画像入力部は、画像読取部Rを用いて実現しても良い。
尚、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。