JP2011066734A - 画像処理装置 - Google Patents

Abstract

【課題】属性の異なる複数の領域を有するドキュメントのカラー化に有用な装置を提供する。
【解決手段】モノクロ画像をカラー画像に変換する画像処理装置は、少なくとも一つの属性には複数の手法が対応するように属性別に定められた複数のカラー化手法の中から、複数の属性のそれぞれに対して一つのカラー化手法を選択する選択部と、モノクロ画像を選択された複数のカラー化手法を適用してカラー化する処理部と、カラー化された画像が設定条件を満たすか否かを判定する判定部とを備える。選択部は、判定部が設定条件を満たさないと判定した場合に、複数の領域に対して適用するカラー化手法の組合せが変わるように、少なくとも一つの属性に対するカラー化手法の選択を変更する。処理部は、選択部によってカラー化手法の選択が変更された属性の領域についてカラー化をやり直す。
【選択図】図２

Description

本発明はモノクロ画像をカラー画像に変換する画像処理装置に関する。

カラードキュメントがモノクロ印刷されることはよくある。使用可能なプリンタがモノクロプリンタであったり、カラープリンタを使用する場合に印刷コストを削減するためにモノクロ印刷モードが指定されたりする状況は少なくない。モノクロ印刷では色は再現されないものの、元の色に応じた濃淡を有するグレースケール画像が印刷されるので、印刷物において元の色の違いをある程度は見分けることができる。

このようにカラードキュメントのモノクロ印刷が行われる一方で、逆にモノクロのドキュメントをカラー化（色付け）したいという要望がある。ドキュメントの見栄えを良くすることや情報を見易くすることがカラー化の目的として挙げられる。カラー画像は明度だけでなく色相および彩度の情報を含むので、カラー化によってドキュメント情報の視認性が高まる。例えば、手元にあるモノクロのドキュメントが元々はカラーであったものをモノクロに変換したものである場合において、元は全く異なる２つの色が極めて近い濃さ（明るさ）に変換されてしまい、そのために元の画像において色分けされていた部分の識別がモノクロ化によって困難になっていることがある。このとき、カラー化されることにより、元々は色分けされていた部分が元の色ではないにしても再び色分けされるので、これら部分の識別が容易になる。

カラー化の手法に関しては、モノクロ画像の画素ごとに濃度に応じて予め定められた色を割り当てる方法（特許文献１）、および図形や文字といった領域ごとに隣接する領域の色が異なるように色づけする方法（特許文献２）が知られている。また、白黒写真における被写体を判断して色を決める方法が提案されている（特許文献３）。さらに、モノクロ画像と絵柄が似通ったカラー画像を参照して自動的に着色するソフトウェアが実用化されている（例えば、非特許文献１）。

特開平１０−３２４０２５号公報 特開２００５−５１５１０号公報 特開２００６−３５０４０７号公報

自動着色ソフトウェア「はいから」（ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｒｅｃｕｒｓｉｏｎ．ｊｐ／ｍｉｔｏｕ１５）

文字領域、図形領域および写真領域といった属性の異なる複数の領域が混在するドキュメントのカラー化に際しては、属性に応じてカラー化の手法を切り替えるのが望ましい。例えば、文字および図形（表、グラフ、絵、模様など）については比較的に処理の簡単な濃度に応じた色分けをし、写真（自然画像）については画像認識技術を用いて違和感の生じない自然な着色をするのがよい。

しかし、属性ごとに好ましい手法を用いてカラー化をすることによって、ドキュメントが視覚による情報の読み取りの上で不都合なものになってしまう場合があった。不都合には、情報の欠落、読み取りが困難であること、および見辛いことが含まれる。例えば、文字とその周囲とが同じ色になれば文字情報が失われ、似た色になれば文字の判読が難しい。隣接したグラフの領域に、色相のコントラストの弱い配色部分が生じると、その部分は見辛い。

本発明は、このような事情に鑑み、属性の異なる複数の領域を有するドキュメントのカラー化に有用な装置の提供を目的としている。

上記目的を達成する装置は、属性の異なる複数の領域を有するモノクロ画像をカラー画像に変換する画像処理装置であって、少なくとも一つの属性には複数の手法が対応するように属性別に定められた複数のカラー化手法の中から、前記複数の属性のそれぞれに対して一つのカラー化手法を選択する選択部と、前記モノクロ画像を選択された複数のカラー化手法を適用してカラー化する処理部と、カラー化された画像が設定条件を満たすか否かを判定する判定部とを備える。この画像処理装置において、前記選択部は、前記判定部が前記設定条件を満たさないと判定した場合に、前記複数の領域に対して適用するカラー化手法の組合せが変わるように、少なくとも一つの属性に対するカラー化手法の選択を変更する。また、前記処理部は、前記選択部によってカラー化手法の選択が変更された属性の領域についてカラー化をやり直す。

本発明によれば、属性の異なる複数の領域を有するモノクロ画像を領域ごとにその属性に応じた手法を適用してカラー化することができ、設定条件を満たす品質のカラー画像を得ることができる。

本発明の実施形態に係る画像処理装置を有したカラー画像生成システムのハードウェア構成を示す図である。 カラー画像生成システムの機能構成を示す図である。 複数の属性に適用するカラー化手法の組合せを示す図である。 画像処理装置の動作の概要を示すフローチャートである。 画像処理装置が実行するカラー化処理のフローチャートである。 画像処理装置が実行する見易さ判定処理の第１例のフローチャートである。 文字領域と図形領域とが混在する画像のカラー化の例を示す図である。 見易さ判定処理の第２例のフローチャートである。 文字領域と写真領域とが混在する画像のカラー化の例を示す図である。 見易さ判定処理の第３例のフローチャートである。

モノクロ画像にカラー化する画像処理は、例えば図１に示されるカラー画像生成システム１によって行われる。カラー画像生成システム１は、多機能周辺機器（ＭＦＰ：Multifunction Peripherals）と呼ばれる情報機器である複合機２と、画像処理装置３としてのデータ処理サーバとを備える。複合機２および画像処理装置３は、有線または無線の通信路を含むネットワーク４を介した相互のアクセスおよび相互のデータ交換が可能である。なお、実施の形態としては、複合機２と画像処理装置３とが別体の機器である図示のシステム構成に限らず、画像処理装置３のもつ画像処理機能を複合機２に組み込んだ形態でもよい。

複合機２は、画像入力装置であるイメージスキャナ２２、画像出力装置であるカラープリンタ２３および給紙装置２４を備える。イメージスキャナ２２はユーザがセットした原稿８を画像読取り位置へ自動搬送し、原稿８に記録された画像を画素に細分化して光学的に読み取る。イメージスキャナ２２の下方に配置されたカラープリンタ２３は、コピー、ネットワークプリンティングまたはファクシミリ受信といったジョブの実行に際して、給紙装置２４から供給される用紙上に電子写真プロセスによって画像を形成する。画像の形成された用紙はプリント出力として排出口２３ａから排出される。給紙装置２４は多段式の用紙ストッカを備え、ジョブの指定に応じたサイズの用紙を選択的にカラープリンタ２３に供給する。

カラー画像生成システム１において、ユーザが複合機２の操作パネル２８を操作してモノクロ画像をカラー化するコピージョブを指定したとき、イメージスキャナ２２が読み取ったモノクロ画像は画像処理装置３へ送られる。画像処理装置３によってモノクロ画像に対応するカラー画像が生成され、複合機２へ入力される。そして、カラープリンタ２３によってカラー画像が印刷される。以下では説明の便宜のため、原稿８の画像を文字領域・図形領域・写真領域といった属性の異なる複数の領域を有するモノクロ画像とする。ただし、実際上は単一属性のモノクロ画像（例えば情報が文字のみで表されるテキスト文書）も画像処理装置３によるカラー化の対象となり得る。なお、ここでいうモノクロ画像とは、無彩色または有彩色の濃淡で情報を表す２値または多値の画像であり、カラー画像をモノクロ化したグレースケール画像に限られない。

図２のように画像処理装置３には、イメージスキャナ２２の画像データ読取部２２５からグレーデータＤ１が入力される。グレーデータＤ１は原稿８から読み取ったモノクロ画像の各画素の明るさに応じた画素値を示す。このグレーデータＤ１が画像処理装置３によってカラー画像データＤ２ｂに変換されてカラープリンタ２３に送られる。画像処理装置３は、前処理部３１、カラー化手法選択部３２、カラー化処理部３３、見易さ判定部３４および後処理部３５を備える。これらの要素は、本実施形態においてはプログラムとそれを実行する図示しないコンピュータとで実現される。

前処理部３１は、グレーデータＤ１に対してノイズ除去および領域区分のための属性判別を含む前処理をする。前処理部３１による処理を受けたグレーデータＤ１ｂがカラー化処理部３３へ送られる。また、前処理部３１からカラー化手法選択部３２へ属性判別の結果を示す属性データＤ３が送られる。画像に含まれる文字、図形、写真といった情報の属性を判別して画像を複数の領域に区分する技術はデジタル複写機やスキャナに応用される公知技術であるので、ここでは属性判別の方法の詳しい説明を省略する。

カラー化手法選択部３２は、属性別に定められた複数のカラー化手法の中から、属性データＤ３が示す複数の属性のそれぞれに対して一つのカラー化手法を選択する。予め定められている属性とカラー化手法との対応においては、後述のように複数の属性のうち少なくとも一つの属性には複数のカラー化手法が選択肢として対応づけられている。すなわち、複数の属性についての選択の組合せを変更することができる。見易さ判定部３４から選択変更を求める判定データＤ５が入力されると、カラー化手法選択部３２は判定データＤ５が示す属性について既に選択したカラー化手法以外のカラー化手法を選択し、それによって複数の属性についての選択の組合せを変更する。カラー化手法選択部３２による選択の結果を示す選択データＤ４がカラー化処理部３３に与えられる。

カラー化処理部３３は、グレーデータＤ１ｂに対してカラー化処理を施し、それによってグレーデータＤ１ｂをカラーデータＤ２に変換する。カラー化処理に際して、カラー化処理部３３は、グレーデータＤ１ｂに付随する領域区分情報が示す複数の領域のそれぞれに対して、選択データＤ４が示す当該領域の属性に該当するカラー化手法を適用する。これにより、１つのモノクロ画像に対して複数のカラー化手法が適用される。生成されたカラーデータＤ２はいったん見易さ判定部３４へ送られる。見易さ判定部３４から画像出力を許可する判定データＤ５ｂが入力されると、カラー化処理部３３はカラーデータＤ２を後処理部３５に引き渡す。判定データＤ５ｂが入力されず、代わりにカラー化手法選択部３２から選択を変更した旨と変更内容を示す選択データＤ４が入力されると、カラー化処理部３３はカラー化手法の選択が変更された属性の領域についてカラー化をやり直す。そうして得られたカラーデータＤ２は見易さ判定部３４へ送られる。判定データＤ５ｂが入力されるまで、カラー化のやり直しが繰り返される。

見易さ判定部３４は、カラー化された画像としてのカラーデータＤ２が設定条件を満たすか否かを判定する。設定条件は、視覚による情報の判読の容易性（見易さ）の観点から定められた、カラー化の結果の良否を決める基準である。カラーデータＤ２は複数のカラー化手法を適用して生成されるので、画像全体を一つの手法でカラー化する場合には生じない判読困難な部分の生じるおそれがある。例えば、属性の異なる領域の境界を形成する隣接した画素が同色になれば、境界が部分的に消失する。設定条件は、このような判読困難な部分の許容量の上限に相当する。見易さ判定部３４は、判定の結果に応じて上述の判定データＤ５または判定データＤ５ｂを出力する。カラーデータＤ２が設定条件を満たさない場合にカラー化手法選択部３２に判定データＤ５が与えられ、設定条件を満たす場合にカラー化処理部３３に判定データＤ５ｂが与えられる。

そして、後処理部３５は、入力されたカラーデータＤ２に対して色むらを低減するスムージングを含む所定の後処理を施し、それにより得られたカラー画像データＤ２ｂをカラープリンタ２３へ送る。カラー画像データＤ２ｂは、カラープリンタ２３の色変換部２３５によってＲＧＢのカラー画像データＤ２ｂが減法混色に適したＣＭＹＫデータに変換される。そして、プリントエンジン２３６によってシアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、およびブラック（Ｋ）の色材を用いてＣＭＹＫデータが用紙９に印刷される。

図３は画像処理装置３において適用可能なカラー化の手法の組合せを示す。本実施形態において組合せは６通りである。各組合せにおいて「文字」「図形」および「写真」の三つの属性に一つずつカラー化の手法が対応する。属性「文字」には二つの手法Ａ，Ｂのいずれかが対応し、属性「図形」には三つの手法Ａ，Ｂ，Ｃのいずれかが対応し、属性「写真」には一つの手法Ｄが対応する。図において各組合せに対応する手法が丸印で示されている。

手法Ａおよび手法Ｂは、予め濃度（明るさ）の値ごとに色を割り当てておき、元画像の画素の濃度に応じた色をカラー画像の画素の色とする方法である。元画像の明暗がカラー画像に反映されるように、最大濃度には黒が割り当てられ、最小濃度には白が割り当てられ、他の濃度には所定明度の有彩色が割り当てられる。手法Ａと手法Ｂとの違いは、濃度範囲の中間付近の濃度に対応する色が手法Ａでは赤系とされているのに対して手法Ｂでは緑系とされている点である。すなわち、最大から最小までの濃度変化に対して、手法Ａによれば黒、青、赤、黄、白の順の色相変化が対応するのに対して、手法Ｂによれば黒、青、緑、黄、白の順の色相変化が対応する。

手法Ｃは、濃度で区分される部分ごとに隣接する部分と異なる色を割り当てる方法である。通常、割り当て可能な色の数は３以上とされ、色の分布に極端な偏りが生じないように割り当て可能な色が均等に使用される。

写真領域の適用される手法Ｄは、多数のサンプル画像を準備しておいて、写真領域の画像に内容が類似するカラー画像を検索し、抽出したカラー画像の配色に似せて色づけをする方法である。手法Ｄによれば、被写体の実際の色に近い自然な色づけが可能である。なお、手法Ｄの他にも、画像認識技術によって被写体を識別し、各種物体のカラーサンプルから色を選ぶ手法がある。この手法を手法Ｄに代えてまたは手法Ｄとともに写真に対応する選択肢としてもよい。

カラー化に適用可能な手法の組合せが複数であるので、組合せが単一である場合と比べて、見易さの良好なカラー画像の得られる確率が大きい。また、全ての組合せをそれぞれ適用して複数のカラー画像を生成し、それらの中で最も良好なカラー画像を出力画像として採用することもできる。

次にフローチャートを参照して画像処理装置３の動作を説明する。

図４のように、画像処理装置３は複合機２からのモノクロ画像の入力を受け付ける（＃１）。前処理部３１が属性判別を行い、それによってモノクロ画像がどのような属性の領域で構成されるかを把握する（＃２）。カラー化手法選択部３２がカラー化に適用する手法の組合せを選択する（＃３）。このとき、最初の選択であれば、例えば図３に示される組合せ１が選択される。選択された組合せの手法を適用してカラー化処理部３３がグレーデータＤ１ｂをカラーデータＤ２に変換するカラー化処理を実行する（＃４）。

カラー化処理ルーチンの内容は図５に示される。図５のように、カラー化処理において、モノクロ画像が有する属性の異なる複数の領域のそれぞれに対して、選択された組合せにおける当該領域の属性に該当するカラー化手法が適用される。属性別にカラー化が行われ（＃４１〜＃４４）、カラー化された複数の領域が一つの画像に合成される（＃４５）。

図４に戻って、カラー化処理の結果を判定する見易さ判定処理を見易さ判定部３４が行う（＃５）。見易さが基準を満たすときには、すなわちカラーデータＤ２が設定条件を満たすという判定がなされたときには、画像処理装置３はカラーデータＤ２に後処理を加えたカラー画像データＤ２ｂを複合機２へ出力する（＃６、＃７）。

一方、見易さ判定処理において「見易さが基準を満たさない」と見易さ判定部３４が判定したとき、続いて見易さ判定部３４は手法の組合せの変更が可能か否かをチェックする（＃８）。既に全ての組合せが適用されていて組合せの変更ができない場合は、全ての組合せをそれぞれ適用して得られた複数のカラーデータＤ２の中で最も基準に近いものを、出力すべき画像として見易さ判定部３４が選択する（＃８）。これに対して、適用されていない組合せがある場合は、カラー化手法選択部３２が組合せの選択を変更する（＃８、＃１０）。組合せの選択が変更されると、再びカラー化処理（＃４）および見易さ判定処理（＃５）が行われる。

図６は見易さ判定処理の第１例を示す。第１例では、カラー化の前と後とにおける属性の一致の度合が設定条件とされ、情報の欠落の防止に主眼が置かれている。まず、見易さ判定部３５は、カラー化処理部３１によってカラー化された画像について各画素の属性を判別する（＃５１）。続いて見易さ判定部３５は、カラー化された画像における属性判別の結果とカラー化される前の入力画像について前処理部３１が行った属性判別の結果とを照合する（＃５２）。照合において見易さ判定部３５は属性の一致する画素の数を把握する。そして、見易さ判定部３５は、一致画素数が画像の解像度で決まる総画素数に応じた閾値以上である場合に「基準を満たす」と判定し（＃５３、＃５４）、閾値未満である場合に「基準を満たさない」と判定する（＃５３、＃５５）。

閾値として、例えば総画素数の８５〜９５％に相当する値を選定することができる。ただし、これに限らず、属性判別の精度を勘案して適宜最適化するのが望ましい。閾値を大きくするほど、画像処理装置３が出力するカラー画像の品質は高まる。

図７は適用する手法の組合せを変更してカラー化をやり直す過程の一例を示している。図７における左側部分には、カラー化の対象であるグレースケール画像Ｇ１、組合せ１の手法でグレースケール画像Ｇ１をカラー化したカラー画像Ｇ２１、および組合せ２の手法でグレースケール画像Ｇ１をカラー化したカラー画像Ｇ２２がこの順に上から下へ並べて描かれている。そして、これら画像Ｇ１，Ｇ２１，Ｇ２２のそれぞれの右側に、該当する画像に対する属性判別の結果が模式的に描かれている。属性判別の結果では、図中の黒い部分が判別された属性に該当する部分である。

例示のグレースケール画像Ｇ１は棒グラフを表している。属性判別の結果のとおり、グレースケール画像Ｇ１は文字領域と図形領域とを有する。文字領域には、グラフの縦軸の指標を表す文字列「売上」、および４本の棒のそれぞれの長さに応じた計４個の数値「１６」「２９」「９」「１９」が該当する。図形領域には、縦軸、横軸および４本の棒が該当する。例示では上記４個の数値がそれぞれに対応する棒に重なっているので、図形領域は棒に重なった数値を除いた領域になっている。このことが図７では白抜きの文字の形で現われている。

カラー化に適用する組合せ１の手法とは、図３に示したとおり、文字については手法Ａであり、図形については手法Ｃである。組合せ１の手法により得られた例示のカラー画像Ｇ２１では、文字領域の色が一律に青となり、図形領域に属する４本の棒の色が左から順に赤、朱、緑、青となっている。つまり、図形領域の一部が文字領域と同色の青になっている。なお、ここでいう同色は実質的に区別できないほどに近い色を含む。

カラー画像Ｇ２１に対する属性判別の結果には、グレースケール画像Ｇ１に対する属性判別の結果と異なる部分がある。図７中では異なる部分が破線の円で囲まれている。文字領域に注目すると、上記４個の数値のうちの一つの数値「１９」が文字領域に含まれていない。図形領域に注目すると、数値「１９」が図形領域に含まれている。すなわち、数値「１９」に該当する画素の属性が正しく判別されず、その結果として数値「１９」という情報の欠落が生じている。属性が正しく判別されない原因は、数値「１９」とその周辺の図形領域とが同じ色に色づけされたことにある。

適正なカラー画像を得るため、カラー化に適用する手法の組合せが変更される。変更前の組合せ１では文字と図形とに関する問題が生じたので、三つの属性（文字、図形、写真）のうちの文字と図形とに関して手法が変わらなければ変更の意味がない。図３に示した組合せ２〜６のいずれもが、組合せ１とは文字または図形の手法が異なる組合せであるので、変更における選択肢となる。図７の例示では組合せ１から組合せ２へ変更されている。組合せ２においては、文字および図形に共に手法Ａが対応する。

組合せ２の手法により得られた例示のカラー画像Ｇ２２では、文字領域の色はカラー画像Ｇ２１と同様に一律に青となり、図形領域に属する４本の棒の色が左から順に赤、橙、ベージュ、黄となっている。つまり、図形領域のどの部分も文字領域とは異なる色に色づけされている。それゆえ、カラー画像Ｇ２２に対する属性判別の結果は、グレースケール画像Ｇ１に対する属性判別の結果と同様である。情報の欠落はカラー画像Ｇ２２にはないといえる。

図８は見易さ判定処理の第２例を示す。第２例では、カラー化の後における領域境界の明瞭な部分の割合が設定条件とされ、情報の欠落の防止および情報の明瞭化に主眼が置かれている。領域境界とは、属性の異なる領域どうしの境界である。明瞭な部分とは、隣接する領域の色の違いが顕著な部分である。色の違いは、例えばＬ^*ａ^*ｂ^*表色系の色空間での色差として数値化することができる。一定値以上の色差を顕著な色の違いとみなすことができる。

まず、見易さ判定部３５は、前処理部３１によって判別されたモノクロ画像の属性を参照する（＃５１ｂ）。続いて見易さ判定部３５は、カラー化された画像における領域境界（厳密にはモノクロ画像の領域境界に対応する部位）の隣接画素間の色差を判別し、領域境界における一定値以上の色差が隣接画素との間にある画素の数をカウントする（＃５２ｂ）。そして、見易さ判定部３５は、カウント画素数が領域境界の総画素数に対する割合で決まる閾値以上である場合に「基準を満たす」と判定し（＃５３ｂ、＃５４ｂ）、閾値未満である場合に「基準を満たさない」と判定する（＃５３ｂ、＃５５ｂ）。

閾値として、例えば領域境界の総画素数の７０〜８０％に相当する値を選定することができる。ただし、これに限らず、色差の判別の基準と合わせて適宜最適化するのが望ましい。カラー画像からの情報の判読に実質的に支障のない範囲内で閾値が小さいほど、「基準を満たす」との判定が得られ易い。

色差を判別する画素を間引いてもよい。すなわち、領域境界に該当する画素の全てではなく、Ｎ×Ｎ個の画素ブロックから１画素を選んで判別の対象とすることができる。Ｎの値は境界に係る領域の大きさに応じて算出することができる。例えば、注目する領域が５０×５０画素サイズの矩形に内接する場合に、矩形領域をＭ分割した１区画を間引き単位尾の画素ブロックとする。この場合のＮは５０／Ｍである。また、文字の可読性の低下の防止を優先するように、文字属性が関係する領域境界のみで色差を判別してもよい。色差の計算は、隣接する画素どうしの色に基づく計算に限らず、同一属性の周辺画素の色の平均値または中央値に基づくものでもよい。

図９（Ａ）〜（Ｃ）は文字領域と写真領域とが混在する画像のカラー化の例を示す。図９（Ａ）に示されるグレースケール画像Ｇ１１が、本例におけるカラー化の対象である。図９（Ｂ）は組合せ１の手法でグレースケール画像Ｇ１１をカラー化したカラー画像Ｇ３１を示し、図９（Ｃ）は組合せ４の手法でグレースケール画像Ｇ１１をカラー化したカラー画像Ｇ３２を示している。

グレースケール画像Ｇ１１は、夕暮れどきの空を遠方の山並みとともに撮影した写真である。ただし、グレースケール画像Ｇ１１の左上部分に写真の題名を表す文字列「夕日影」が合成されており、グレースケール画像Ｇ１１は写真領域と文字領域とを有する。文字列「夕日影」が文字領域に該当し、文字列「夕日影」以外が写真領域に該当する。図中の破線の円は文字列「夕日影」の位置を示している。グレースケール画像Ｇ１１において、文字列「夕日影」は写真中の空（そら）の部分に配置されており、文字列「夕日影」に該当する画素の濃度値は濃度範囲の中央付近の値である。

グレースケール画像Ｇ１１のカラー化に際して、写真領域には手法Ｄが適用される（図３参照）。ここでは、グレースケール画像Ｇ１１の写真領域に対して手法Ｄによって自然な色づけがなされたものとする。すなわち、グレースケール画像Ｇ１１に類似する日没または日出時の撮影画像を参照して、空が赤系の色に色づけされたとする。

一方、文字領域に対しては手法Ａまたは手法Ｂを適用することができる。手法Ａは上述したとおり中濃度に赤系の色を割り当てる。このため、手法Ａを適用した図９（Ｂ）のカラー画像Ｇ３１では、空の色と文字列「夕日影」の色とが同系色となっている。カラー画像Ｇ３１における文字列「夕日影」は目立たず識別し難い。これに対して、手法Ｂは中濃度に緑系の色を割り当てる。手法Ｂを適用した図９（Ｃ）のカラー画像Ｇ３２では、空の色と文字列「夕日影」の色との違いが顕著である。カラー画像Ｇ３１における文字列「夕日影」は比較的に目立って識別し易い。つまり、図９の例のグレースケール画像Ｇ１１のカラー化においては、図３の組合せ１〜６のうち、手法Ａと手法Ｄとを含む組合せ１よりも、手法Ｂと手法Ｄとを含む組合せ４の方が適している。

図３の組合せ１〜６の選択を変更するとき、見易さの判定結果が変わらないような変更を省略することができる。例えば、図９のグレースケール画像Ｇ１１のカラー化において、最初に組合せ１を選択し、見易さの判定で基準を満たさず、組合せ１から他の組合せに選択を変更する場合には、組合せ２，３を選択肢から除外してもよい。何故なら、組合せ２，３は文字と写真とについては組合せ１と同様に手法Ａと手法Ｄとを適用するものであって、組合せ２，３を適用しても見易さの判定結果が変わらないと推定できるからである。なお、文字、図形、および写真の三つの属性を有する画像のカラー化においては、組合せ１〜６の選択を変更すれば見易さの判定結果が変わる可能性があるので、組合せ１〜６のうちの未選択のものを全て選択肢とするのがよい。

図１０は図４の見易さ判定処理の第３例を示す。第３例では、カラー化の後における領域境界が同色系となる割合が設定条件とされ、似た色が連続することで色相のコントラストが弱まり隣接する領域が同色系となり、境界が判別しにくくなることを防止する。同色系か否かは、画素の色を幾つかの代表的な色（これを規定色という）に分類することで決めることができる。同じ規定色に分類される色相が同色系とみなされる。

まず、見易さ判定部３５は、前処理部３１によって判別されたモノクロ画像の属性を参照する（＃５１ｃ）。次に見易さ判定部３５は、カラー化された画像における領域境界（厳密にはモノクロ画像の領域境界に対応する部位）の画素の色を予め設定された赤、青、緑、黄、白、黒の規定色の中の最も近い色に分類する（＃５１ｄ）。分類の方法は、色空間での規定色と画素の色との距離、色相差または明度差を計算する方法でもよいし、予め用意した分類テーブルを参照する方法でもよい。続いて見易さ判定部３５は、領域境界における色の分類が隣接画素と同じである画素の数をカウントする（＃５２ｃ）。そして、見易さ判定部３５は、カウント画素数が領域境界の総画素数に対する割合で決まる閾値以下である場合に「基準を満たす」と判定し（＃５３ｃ、＃５４ｃ）、閾値未満である場合に「基準を満たさない」と判定する（＃５３ｃ、＃５５ｃ）。

閾値として、例えば領域境界の総画素数の２０〜３０％に相当する値を選定することができる。ただし、これに限らず、仕様として適宜最適化するのが望ましい。

以上の実施形態では、属性を文字、図形および写真の三つとしたが、これに限らない。例えば、背景を加えて属性を四つとしてもよい。背景領域のカラー化の手法としては、濃度に応じて色を割り当てる手法Ａ，Ｂまたはそれに類する方法、および初期設定色またはユーザが指定した色に色づけする方法がある。

上述の実施形態において、カラー化の結果が設定条件を満たすか否かを判定する代わりに、全ての組合せ１〜６のそれぞれを適用してカラー化を行い、それらの結果を比較し、最も良好なカラー画像を出力するようにしてもよい。

人間の知覚における見易さには色だけでなく文字や模様の細かさも関係するので、画像の空間周波数を算出し、高周波領域の解析を行うことで文字や模様の細かさを含めた条件を見易さの判定の基準として設定してもよい。細かさの判定基準を色の判定基準と合わせて用いることで、より人間の知覚に近い判定が可能となる。

モノクロ画像とそれをカラー化した画像とに対して光学文字認識（ＯＣＲ）を行い、抽出されたテキストが一致しているか（あるいは一致している文字数が閾値以下であるか）どうかを見易さの判定の設定条件としてもよい。

Ｄ１ グレーデータ（モノクロ画像）
Ｄ２ｂ カラー画像データ（カラー画像）
３ 画像処理装置
３２ カラー化手法選択部（選択部）
３３ カラー化処理部（処理部）
３４ 見易さ判定部（判定部）

Claims (6)

1. 属性の異なる複数の領域を有するモノクロ画像をカラー画像に変換する画像処理装置であって、
   少なくとも一つの属性には複数の手法が対応するように属性別に定められた複数のカラー化手法の中から、前記複数の属性のそれぞれに対して一つのカラー化手法を選択する選択部と、
   前記モノクロ画像を選択された複数のカラー化手法を適用してカラー化する処理部と、
   カラー化された画像が設定条件を満たすか否かを判定する判定部とを備え、
   前記選択部は、前記判定部が前記設定条件を満たさないと判定した場合に、前記複数の領域に対して適用するカラー化手法の組合せが変わるように、少なくとも一つの属性に対するカラー化手法の選択を変更し、
   前記処理部は、前記選択部によってカラー化手法の選択が変更された属性の領域についてカラー化をやり直す
   ことを特徴とする画像処理装置。
2. カラー化された画像が設定条件を満たすか、または前記複数の領域に対して適用するカラー化手法の組合せを変えることができなくなるまで、前記判定部による判定と前記選択部による選択の変更と前記処理部によるカラー化のやり直しとを繰り返す
   請求項１記載の画像処理装置。
3. 前記判定部は、前記処理部によってカラー化された前記画像の各画素の属性を判別し、属性の判別結果と前記モノクロ画像の各画素の属性との一致の度合を前記設定条件として前記判定を行う
   請求項１または２記載の画像処理装置。
4. 前記判定部は、前記モノクロ画像における前記複数の領域について、前記処理部がカラー化した前記画像における領域境界の隣接画素間の色差を算出し、前記領域境界における一定値以上の色差が隣接画素との間にある画素の割合を前記設定条件として前記判定を行う
   請求項１または２記載の画像処理装置。
5. 前記判定部は、前記モノクロ画像における前記複数の領域について、前記処理部がカラー化した前記画像における領域境界の画素の色を分類し、前記領域境界における色の分類が隣接画素と同一である画素の割合を前記設定条件として前記判定を行う
   請求項１または２記載の画像処理装置。
6. 属性の異なる複数の領域を有するモノクロ画像をカラー画像に変換する画像処理装置が有するコンピュータのためのコンピュータプログラムであって、
   前記コンピュータによって実行されたときに、
   少なくとも一つの属性には複数の手法が対応するように属性別に定められた複数のカラー化手法の中から、前記複数の属性のそれぞれに対して一つのカラー化手法を選択する選択部と、
   前記モノクロ画像を選択された複数のカラー化手法を適用してカラー化する処理部と、
   カラー化された画像が設定条件を満たすか否かを判定する判定部と、を前記コンピュータに実現させ、
   前記選択部に、前記判定部が前記設定条件を満たさないと判定した場合に、前記複数の領域に対して適用するカラー化手法の組合せが変わるように、少なくとも一つの属性に対するカラー化手法の選択を変更させ、
   前記処理部に、前記選択部によってカラー化手法の選択が変更された属性の領域についてカラー化をやり直させる
   ことを特徴とするコンピュータプログラム。

Images