本発明に基づいた実施の形態における画像形成装置について、以下、図を参照しながら説明する。以下に説明する実施の形態において、個数、量などに言及する場合、特に記載がある場合を除き、本発明の範囲は必ずしもその個数、量などに限定されない。同一の部品、相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。また、各実施の形態における構成を適宜組み合わせて用いることは当初から予定されていることである。
<第1実施形態>
[概要]
情報化社会の今日、多くの消費者を獲得するために広告は企業にとって必要不可欠な手段である。また、広告としてテキスト広告を表示する場合がある。テキスト広告は、広告を載せたい企業にとってバナー広告(画像で表現する広告、ディスプレイ広告)よりも安価であるという利点がある。一方で、近年、駅や病院などで、案内や広告を表示させるサイネージが増加している。
サイネージは、人(視認者ともいう。)が任意の位置から見ることを想定した文字サイズで文字を表示する。しかし、人とサイネージの距離は不定である。例えば、近くから見ることを想定した画像(文字)を、サイネージから遠い人は見難い。一方で、遠くから見ることを想定した画像(文字)を、サイネージから近い人は見難い。
そこで、近くから見ることを想定した画像(以下、「近距離画像」ともいう。)と、遠くから見ることを想定した画像(以下、「遠距離画像」ともいう。)とを合成するスーパーハイブリッドの手法が採用された画像処理装置が提案されている。スーパーハイブリッドの手法は、例えば、特許5385487号公報等に記載されている。また、一般的に、視認者は、コントラスト感度が最大となる空間周波数の画像を視認しやすい。該空間周波数になるように画像に対してフィルターをかけることで、人間は該画像を視認しやすくなる。
図1は、近距離画像の一例を示す。また、図2は、遠距離画像の一例を示す。近距離画像は、「A〜Z」等のアルファベットが羅列された画像である。また、遠距離画像は、「かな」という文字の画像である。また、遠距離画像を構成する1つの文字は、近距離画像を構成する1つの文字よりも大きい。
画像処理装置が、遠距離画像と近距離画像とを合成する場合には、画像処理装置は、空間周波数における高周波成分の画像を、近距離画像から抽出すると共に、空間周波数における低周波成分の画像を、遠距離画像から抽出する。以下では、「空間周波数における高周波成分の画像」を、「高周波画像」といい、「空間周波数における低周波成分の画像」を、「低周波画像」という。図3は、高周波画像の一例である。図4は、低周波画像の一例である。図3に示す高周波画像は、「A」、「B」、「C」などの各文字のエッジが明確となる画像である。一方、図4に示す低周波画像は、「か」、「な」の各文字のエッジがぼやけた画像となる。
比較例の画像処理装置は、高周波画像と、低周波画像との合成位置を鑑みずに、該高周波画像と、該低周波画像とを合成する。図5は比較例の画像処理装置が、高周波画像と低周波画像とを合成することにより生成した合成画像の一例である。図5に示すように、箇所Aについては、低周波画像の「か」の文字のエッジ部分と、高周波画像とが重畳されていない。したがって、視認者は、箇所Aについては視認しやすい。しかし、箇所Bについては、低周波画像の「か」の文字のエッジ部分と、高周波画像とが重畳されている。したがって、視認者は、箇所Bについては視認し難い。
このように、比較例の画像処理装置では、高周波画像と、低周波画像との合成位置を鑑みていないことから、合成画像において、視認者が視認し難い箇所が生成されてしまう。
一方、本実施形態の画像処理装置は、高周波画像と、低周波画像との合成位置を鑑みて、該高周波画像と、該低周波画像とを合成する。本実施の形態の画像処理装置は、図2の遠距離画像から、該遠距離画像のエッジ部分を示す画像を抽出する。図6は、該エッジ部分を示すエッジ画像の一例である。このエッジについては、画像の濃度が変化している部分であることから、「濃度変化部分」ともいう。本実施形態の画像処理装置は、該エッジ画像と、近距離画像とに基づいて、合成位置を決定する。該合成位置は、エッジ画像と、近距離画像との重畳度合いが小さくなる位置である。本実施形態の画像処理装置は、決定された合成位置で高周波画像と低周波画像とを合成する。
図7は本実施形態の画像処理装置が、高周波画像と低周波画像とを合成することにより生成した合成画像の一例である。図7に示すように、本実施形態の画像処理装置は、低周波画像のエッジ部分と、高周波画像とが重畳されている箇所の大きさ(例えば、面積)は、比較例の画像処理装置よりも小さい。したがって、本実施形態の画像処理装置が生成する合成画像は、比較例の画像処理装置が生成する合成画像よりも視認者が視認しやすい画像となる。
図8は、合成画像が印刷された用紙を、視認者Xが遠距離から視認した場合と、視認者Xが近距離から視認した場合を示す図である。図8に示すように、視認者Xが合成画像を遠距離から視認した場合には、「かな」という文字を視認できる。一方、視認者Xが合成画像を近距離から視認した場合には、「ABC・・・」等の文字を視認できる。
[本実施形態の画像処理装置のハードウェア構成例]
図9は、画像処理装置100のハードウェア構成を示した図である。図9を参照して、画像処理装置100は、プログラムを実行するCPU(Central Processing Unit)401と、データを不揮発的に格納するROM(Read Only Memory)402と、データを揮発的に格納するRAM(Random Access Memory)403と、フラッシュメモリ404と、通信IF(Interface)405とを備える。
フラッシュメモリ404は、不揮発性の半導体メモリである。フラッシュメモリ404は、CPU401が実行するオペレーティングシステムおよび各種のプログラム、各種のコンテンツおよびデータを格納している。また、フラッシュメモリ404は、画像処理装置100が生成したデータ、画像処理装置100の外部装置から取得したデータ等の各種データを揮発的に格納する。
CPU401と、ROM402と、RAM403と、フラッシュメモリ404と、通信IF405とは、相互にデータバスによって接続されている。
画像処理装置100における処理は、各ハードウェアおよびCPU401、ROM402、およびRAM403等により実行される。このようなソフトウェアは、フラッシュメモリ404等に予め記憶されている場合がある。また、ソフトウェアは、メモリカード等の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、画像処理装置100の読取装置によりその記憶媒体から読み取られて、あるいは、通信IF405を介してダウンロードされた後、フラッシュメモリ404に一旦格納される。そのソフトウェアは、CPU401によってフラッシュメモリ404から読み出され、さらにフラッシュメモリ404に実行可能なプログラムの形式で格納される。CPU401は、そのプログラムを実行する。
なお、記憶媒体としては、DVD-ROM、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、光カード、マスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記憶媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
また、画像処理装置100は、たとえば、汎用コンピュータで実現されてもよいし、画像処理装置100専用のコンピュータで実現されてもよい。汎用コンピュータは、たとえば、PC(personal computer)としてもよく、タブレットとしてもよく、スマートフォンとしてもよい。
また、本実施形態では、画像処理装置100が適用された画像形成装置および表示装置が開示される。画像形成装置のハードウェア構成は、例えば、図7に示すハードウェア構成に対して、画像形成部が適用されたものである。画像形成部は、記録媒体(例えば、用紙)に対して、画像を形成する。画像形成部は、例えば、感光体等により構成される。また、表示装置のハードウェア構成は、例えば、図7に示すハードウェア構成に対して、表示部が適用されたものである。表示部は、種々の画像(後述の合成画像)を表示する。表示部は、典型的には、モニター等である。
[画像形成装置300の機能構成例]
図10は、本実施形態の画像形成装置300の機能構成例を示す図である。本実施形態の画像形成装置300は、画像処理装置100と、画像形成部200とを含む。画像形成装置300に対しては、ユーザーなどにより第1画像データ501と、第2画像データ502とが入力される。第1画像データ501は、第1画像に係る画像データであり、近距離画像に係る画像データである。また、第2画像データ502は、第2画像に係る画像データであり、遠距離画像に係る画像データである。第1画像データ501と、第2画像データ502との入力については、例えば、ユーザーがネットワーク(特に図示せず)および通信IF108を介して、画像形成装置300に対して送信するようにしてもよい。画像形成装置300は、該送信された第1画像データ501と、第2画像データ502の入力を受付ける。また、ユーザーが記憶媒体に第1画像データ501と、第2画像データ502とを格納させて、該記憶媒体を画像形成装置300に接続させるようにしてもよい。画像形成装置300は、該接続された記憶媒体からの第1画像データ501および第2画像データ502の入力を受付ける。
画像処理装置100は、該第1画像データ501および第2画像データ502から、合成画像データ550を生成し、出力する。画像形成部200は、該合成画像データ550に基づいた合成画像を記録媒体に対して形成し、該合成画像が形成された記録媒体を出力結果565として出力する。記録媒体は、例えば、用紙、シートなどをいう。
なお、本実施の形態においては、「画像データ」を、単に、「画像」という場合がある。例えば、第1画像データ501を、「第1画像」ともいい、第2画像データ502を、「第1画像」ともいい、合成画像データ550を、「合成画像」ともいう。また、「画像」については、「画像データに係る画像」という場合もあり、「画像データ」について、「画像に係る画像データ」という場合もある。
[画像処理装置100の処理]
図11は、本実施形態の画像処理装置100の画像(画像データ)の流れを示す図である。図11に示すように画像処理装置100は、第1画像データ501から高周波成分を抽出する。第1画像データ501に係る画像は、例えば、図1に示す画像である。また、第1画像データ501から抽出された高周波成分に係る画像(高周波画像)は、図3に示す図である。
また、画像処理装置100は、第2画像データ502から低周波成分を抽出する。第2画像データ502に係る画像は、例えば、図2に示す画像である。また、第2画像データ502から抽出された低周波成分に係る画像(低周波画像)は、図4に示す図である。
画像処理装置100は、第1画像データ501からエッジ部分を抽出する。該抽出されたエッジ部分に係る画像(エッジ画像)は、図6に示す図である。画像処理装置100は、エッジ画像と、高周波画像とエッジ画像とから、合成位置を決定する。そして、画像処理装置100は、高周波画像(高周波画像データ521)と低周波画像(低周波画像データ522)との合成位置が、決定された合成位置となるように、高周波画像と低周波画像とを合成する。これにより、図7に示す合成画像(合成画像データ550)が生成される。
[画像処理装置100の機能構成例]
図12は、本実施形態の画像処理装置100の機能構成例を示す図である。画像処理装置100は、入力部102と、判別部104と、高周波画像抽出部106と、決定部108と、エッジ部分抽出部110と、低周波画像抽出部112と、合成部114との機能を有する。本開示において、高周波画像抽出部106は、「第1抽出部」に対応する。本開示において、低周波画像抽出部112は、「第2抽出部」に対応する。本開示において、エッジ部分抽出部110は、「第3抽出部」に対応する。
まず、入力部102は、画像形成装置300に入力された第1画像データ501(第1画像)と、画像形成装置300に入力された第2画像データ502と入力する。
次に、判別部104は、入力された第1画像データ501と第2画像データ502とのうち、どちらが近距離用画像データ511であり、どちらが遠距離用画像データ512であるかを判別する。図1および図2に示すように、一般的に、大きい文字は、視認者Xが遠距離から視認した場合に視認しやすく、小さい文字は、視認者Xが近距離から視認した場合に視認しやすい。そこで判別部104は、文字のサイズが小さい方の画像を近距離用画像(近距離用画像データ511に係る画像)と判定し、文字のサイズが大きい方の画像を遠距離用画像(遠距離用画像データ512に係る画像)と判定する。
例えば、判別部104は、第1画像データ501および第2画像データ502のそれぞれを解析することにより、第1画像データ501に係る第1画像を構成する1以上の文字それぞれのサイズの第1平均値と、第2画像データ502に係る第2画像を構成する1以上の文字それぞれのサイズの第2平均値とを取得する。「文字のサイズ」は、典型的には、文字の面積である。判別部104は、第1平均値と第2平均値とを比較して、第1平均値が第2平均値よりも大きいと判断した場合には、第1平均値に対応する第1画像データ501を遠距離用画像データとして判別し、第2平均値に対応する第2画像データ502を近距離用画像として判別する。また、判別部104は、第1平均値と第2平均値とを比較して、第2平均値が第1平均値よりも大きいと判断した場合には、第1平均値に対応する第1画像データ501を近距離用画像データとして判別し、第2平均値に対応する第2画像データ502を遠距離用画像として判別する。
なお、変形例として、判別部104は、第1画像データ501に係る画像を構成する全ての文字のうちのサイズの合計値である第1合計値と、第2画像データ502に係る画像を構成する全ての文字のサイズの合計値である第2合計値とを取得する構成を採用してもよい。
このような構成を採用した場合において、判別部104は、第1合計値と第2合計値とを比較して、第1合計値が第2合計値よりも大きいと判断した場合には、第1合計値に対応する第1画像データ501を遠距離用画像データとして判別し、第2合計値に対応する第2画像データ502を近距離用画像として判別する。また、判別部104は、第1合計値と第2合計値とを比較して、第2合計値が第1合計値よりも大きいと判断した場合には、第1合計値に対応する第1画像データ501を近距離用画像データとして判別し、第2合計値に対応する第2画像データ502を遠距離用画像として判別する。
また、変形例として、判別部104は、第1画像データ501に係る画像を構成する全ての文字のうち第1の代表的な文字のサイズと、第2画像データ502に係る画像を構成する全ての文字のサイズのうち第2の代表的な文字のサイズとを取得する構成を採用してもよい。
このような構成を採用した場合において、判別部104は、第1の代表的な文字のサイズと、第2の代表的な文字のサイズとを比較して、第1の代表的な文字のサイズが、第2の代表的な文字のサイズよりも大きいと判断した場合には、第1の代表的な文字のサイズに対応する第1画像データ501を遠距離用画像データとして判別し、第2の代表的な文字のサイズに対応する第2画像データ502を近距離用画像として判別する。また、判別部104は、第1の代表的な文字のサイズと、第2の代表的な文字のサイズとを比較して、第2の代表的な文字のサイズが、第1の代表的な文字のサイズよりも大きいと判断した場合には、第2の代表的な文字のサイズに対応する第2画像データ502を遠距離用画像データとして判別し、第1の代表的な文字のサイズに対応する第1画像データ501を近距離用画像として判別する。
図12の例では、判別部104は、第1画像データ501が近距離用画像データ511であると判別し、第2画像データ502が遠距離用画像データ512であると判別した場合を示す。近距離用画像データ511に係る画像は、図1に示す画像であり、遠距離用画像データ512に係る画像は、図2に示す画像である。
近距離用画像データ511は、高周波画像抽出部106と、決定部108とに入力される。高周波画像抽出部106は、近距離用画像データ511の高周波成分の画像データである高周波画像データ521を抽出する。高周波画像抽出部106は、例えば、高周波成分の画像データを抽出するフィルターを、近距離用画像データ511に適用することにより、高周波画像データ521を抽出する。高周波画像データ521に係る画像は、図3の画像である。
遠距離用画像データ512は、エッジ部分抽出部110と、低周波画像抽出部112とに入力される。エッジ部分抽出部110は、遠距離用画像データ512からエッジ部分に係るエッジ画像データ515を抽出する。エッジ画像データ515に係る画像は、図6に示す図である。低周波画像抽出部112は、例えば、低周波成分の画像データを抽出するフィルターに対して、遠距離用画像データ512を通過させることにより、低周波画像データ522を抽出する。
決定部108は、エッジ画像データ515と、近距離用画像データ511とに基づいて、高周波画像と、低周波画像との合成位置を決定する。ここで、合成位置とは、高周波画像と、低周波画像とが記録媒体に形成された場合に、遠距離用画像のエッジ部分と、高周波画像との重畳度合いが小さくなるような位置である。また、合成位置は、高周波画像を基準とした低周波画像の位置としてもよい。また、合成位置は、低周波画像を基準とした高周波画像の位置としてもよい。また、合成位置は、高周波画像と低周波画像との相対的な位置としてもよい。決定部108は、決定した合成位置を示す合成位置情報を合成部114に対して出力する。
合成部114は、高周波画像と低周波画像との合成位置が、決定部108からの合成位置情報に基づく合成位置となるように、高周波画像に係る高周波画像データ521と、低周波画像に係る低周波画像データ522とを合成することにより、合成画像データ550を生成する。合成部114は、該合成された合成画像データ550を出力する。
[決定部の処理]
次に、決定部108の処理を説明する。図13は、決定部108の機能構成例を示す図である。決定部108は、判断部1082と、加算部1084と、移動部1088と、抽出部1091と、位置決定部1093と、閾値記憶部1085と、第1画素値記憶部1086と、第2画素値記憶部1087との機能を有する。閾値記憶部1085には、後述する閾値Thが予め記憶されている。また、第1画素値記憶部1086は、加算部1084により加算された画素値が記憶される。閾値記憶部1085および第1画素値記憶部1086は、例えば、ROM402により構成される。
図12にも示したように、近距離用画像データ511は、決定部108に入力される。近距離用画像データ511が、決定部108の判断部1082に入力されると、判断部1082は、例えば、近距離用画像データ511をヒストグラムに変換する。判断部1082は、該変換されたヒストグラムに基づいて、近距離用画像データ511に係る近距離用画像の全ての画素の第1色画素の数を計数する。ここで、「第1色画素」は、近距離用画像の全ての画素のうち色を有する画素である。本実施の形態では、色とは、例えば、RGBのうちの少なくとも1つの色、およびRGBのうちの少なくとも2つが任意の割合で混合された色(例えば、黒色)をいう。また、近距離用画像において、例えば、白色の画素を「第1非色画素」という。
判断部1082は、近距離用画像の第1色画素の総数が、閾値Thより大きいか否かを判断する。ここで、閾値Thは、例えば、近距離用画像の画素数の総数を所定の数(例えば、2)で除算した値である。なお、閾値Thは他の数であってもよい。
決定部108は、近距離用画像の第1色画素の総数が、閾値Th以上であると判断した場合とは、近距離用画像の第1色画素の総数が比較的多いということである。この場合には、決定部108は、第1の手法により、合成位置を決定する。以下に第1の手法を説明する。決定部108は、近距離用画像に対して、エッジ画像を重畳させて、重畳度合いを計数する。重畳度合いは、例えば、近距離用画像と、エッジ画像とが重畳している画素の数である。決定部108は、重畳度合いを計数した場合には、近距離用画像を基準としたときの、エッジ画像位置(X座標、Y座標)も取得する。決定部108は、重畳度合いと、該重畳度合いを計数したときのエッジ画像位置とを対応づけて所定の記憶領域(例えば、RAM403)に記憶させる。
決定部108は、近距離用画像に対して、X座標およびY座標のいずれかの方向に1画素ずらしてエッジ画像を重畳させて再び重畳度合いを計数すると共に該重畳度合いが計数されたときのエッジ画像位置を取得し、重畳度合いとエッジ画像位置とを対応づけて所定の記憶領域に記憶させる。これにより、決定部108は、近距離用画像と、エッジ画像との全ての重畳パターンについて、重畳度合いとエッジ画像位置とを記憶領域に記憶させることができる。その後、決定部108は、記憶された全ての重畳度合いから最小の重畳度合いを抽出すると共に、該最小の重畳度合いに対応するエッジ画像位置を抽出する。このエッジ画像位置が、高周波画像と低周波画像との重畳度合いが最も小さい合成位置となる。決定部108は、該合成位置を出力する。
次に、決定部108が、近距離用画像の第1色画素の総数が、閾値Th未満であると判断した場合を説明する。この場合には、決定部108は、第2の手法により、合成位置を決定する。この第2の手法では、第1の手法と比較して、決定部108の演算量を削減することができる。以下に第2の手法を説明する。
第2の手法では、決定部108は、ラベルマトリックス560を用いて、合成位置を決定する。図14は、ラベルマトリックス560の一例を示す図である。決定部108は、ラベルマトリックス560を、近距離用画像に対して適用することにより、画素値情報を生成する。画素値情報は、高周波画像と低周波画像との重畳度合いが最も小さい合成位置を決定する際に、決定部108の演算量を少なくするための情報である。
なお、変形例として、決定部108は、ラベルマトリックス560を固定して、近距離用画像を移動することにより、画素値情報を生成するようにしてもよい。つまり、決定部108は、ラベルマトリックス560と近距離用画像との相対的位置を移動することにより、画素値情報を生成するようにしてもよい。
ラベルマトリックス560は、複数のセルから構成される。図14の例では、X軸方向に5個のセル、およびY軸方向に7個のセルが定められており、つまり、5×7の35個のセルから構成される。1つのセルについては、近距離用画像のうちの1つの画素に対応する。
また、図14の35個のセルそれぞれには、識別番号が割り振られている。図14の例では、括弧書きに識別番号が記載されている。図14の例では、左上から順番に、1,2,3,...、34,35の識別番号が割り振られている。また、ラベルマトリックス560は、中心セルが定められている。中心セルは、5×7の35個のセルのうちの中心に位置するセルである。図14の例では、中心セルは、太線で囲ったセルであり、識別番号が「18」のセルである。
以下では、ラベルマトリックス560のセルを、「セル識別番号」で表現する。例えば、識別番号が、「18」のセルについては、「セル18」と表現する。また、ラベルマトリックス560の各々のセルに対して、画素値が対応付けられている。画素値は、加算部1084により、近距離用画像の画素に対して加算され得る画素値である。図14の例では、例えば、セル18(中心セルという。)の画素値は、最も多い値である「4」が規定されている。また、中心セルから遠いほど、画素値は小さくなるように規定されている。例えば、中心セルに隣接する第1隣接セル(セル12、セル13、セル14、セル17、セル19、セル22、セル23、セル24)については、画素値「4」よりも小さい「3」という画素値が規定されている。
さらに、該第1隣接セルに隣接する第2隣接セル(セル6、セル7、セル8、セル9、セル10、セル11、セル15、セル16、セル20、セル21、セル25、セル26、セル27、セル28、セル29、セル30)については、画素値「3」よりも小さい「2」という画素値が規定されている。
さらに、第2隣接セルに隣接する第3隣接セル(セル1、セル2、セル3、セル4、セル5,セル31、セル32、セル33、セル34、セル35)については、画素値「2」よりも小さい「1」という画素値が規定されている。
本実施形態では、加算部1084は、近距離用画像(近距離用画像データ511)の複数の画素のうちの1の画素を注目画素として、該注目画素と、ラベルマトリックス560の中心セルが一致するようにラベルマトリックス560を適用する。加算部1084は、注目画素が第1色画素であると判断した場合には、該注目画素に対して画素値を加算する。
図15は、近距離用画像に対して、ラベルマトリックス560を適用した場合を模試的に示した図である。図15の例では説明を簡単にするために、近距離用画像を13画素×13画素の画像であるとする。また、図15の例では説明を簡単にするために、近距離用画像の(3、10)という座標の画素と、(3、11)という座標の画素のみが第1色画素であるとし、それ以外の画素は、第1色画素ではない画素(以下「非第1色画素」)であるとする。図15では、第1色画素は、ハッチングを付加した画素であり、非第1色画素は、ハッチングを付加しない画素である。また、図15では、適用されたラベルマトリックス560の枠と、ラベルマトリックス560の中心セルとを太線で示す。
図15(A)に示すように、加算部1084は、近距離用画像の初期の画素を注目画素として、該注目画素と、ラベルマトリックス560の中心セルが一致するようにラベルマトリックス560を適用する。ここで、初期の画素は、例えば、近距離用画像の(1、1)とする。加算部1084は、注目画素が第1色画素であるか否かを判断する。加算部1084は、注目画素が第1色画素であると判断した場合には、該注目画素に対して、画素値を加算する。一方、加算部1084は、注目画素が第1色画素ではないと判断した場合には、該注目画素に対して、画素値を加算しない。換言すれば、加算部1084は、画素値が加算されていないことを示す情報(以下、「ヌル情報」ともいう)を、該注目画素(第1色画素ではない画素)に対して生成する。図15(A)の例では、注目画素は、第1色画素ではないことから、画素値を加算しない。以下では、加算部1084による「注目画素が第1色画素であるか否かの判断処理」、および「注目画素が色画素であるか否かを判断すると判断された場合には画素値を加算する加算処理」をまとめて、「画素処理」という。
次に、X座標方向に注目画素の座標を「1」増加させる。つまり、次の注目画素は、(2、1)となる。加算部1084は、この注目画素に対して、「画素処理」を実行する。また、注目画素のX座標の値が最大値となった場合には、X座標の値を初期値(本実施形態では、「1」)に戻すとともに、Y座標の値を「1」増加させる。つまり、加算部1084は、図15の例では、注目画素の座標を(1、1)、(1、2)・・・(1、13)、(2、1)、(2、2)、(2、3)・・・(2、13)、(3、1)、(3、2)、(3、3)・・・(13、12)、(13、13)の順番でずらしていき、それぞれの注目画素(169個の画素)に対して、画素処理を実行する。また、近距離画像の各画素は、画素処理が実行される前は、画素値が格納されていない。
図15(B)は、注目画素を(9、5)とした場合における近距離用画像に対してラベルマトリックス560が適用された場合を示す図である。図15(B)の例では、注目画素は、第1色画素ではないことから、画素値を加算しない。
図15(C)は、注目画素を(3、10)とした場合における近距離用画像に対してラベルマトリックス560が適用された場合を示す図である。図15(C)に示すように、注目画素511Fとされている(3、10)は、第1色画素であることから、加算部1084は、加算処理を実行する。図15(C)に示すように、加算部1084は、注目画素511Fに対して、第1画素値として「4」を加算する。
また、加算部1084は、注目画素511Fに隣接する第1隣接画素に対して、第2画素値として「3」を加算する。図15(C)での第1隣接画素の座標は、(2、11)、(3、11)、(4、11)、(2、10)、(4、10)、(2、9)、(3、9)、(4、9)の8つの画素である。第2画素値は、第1画素値よりも小さい値である。
また、加算部1084は、第1隣接画素に隣接する第2隣接画素に対して、第3画素値として「2」を加算する。図15(C)での第2隣接画素の座標は、(1、12)、(2、12)、(3、12)、(4、12)、(5、12)、(1、11)、(5、11)、(1、10)、(5、10)、(1、9)、(5、9)、(1、8)、(2、2)、(3、8)、(4、8)、(5、8)である。第3画素値は、第2画素値よりも小さい値である。
また、加算部1084は、第2隣接画素に隣接する第3隣接画素に対して、第4画素値として「1」を加算する。図15(C)での第3隣接画素の座標は、(1、13)、(2、13)、(3、13)、(4、13)、(5、13)、(1、7)、(2、7)、(3、7)、(4、7)、(5、7)である。第4画素値は、第3画素値よりも小さい値である。
加算部1084により加算された画素値と、該画素値が加算された画素の座標とが対応づけられて第1画素値記憶部1086に記憶される。図15(C)の例では、座標(1、13)、座標(2、13)、座標(3、13)、座標(4、13)、座標(5、13)、座標(1、7)、座標(2、7)、座標(3、7)、座標(4、7)、および座標(5、7)それぞれと、該それぞれの座標に対応する画素値「1」とが対応付けられて第1画素値記憶部1086に記憶される。
また、図15(C)の例では、座標(1、12)、座標(2、12)、座標(3、12)、座標(4、12)、座標(5、12)、座標(1、11)、座標(5、11)、座標(1、10)、座標(5、10)、座標(1、9)、座標(5、9)、座標(1、8)、座標(2、2)、座標(3、8)、座標(4、8)、および座標(5、8)それぞれと、該それぞれの座標に対応する画素値「2」とが対応付けられて第1画素値記憶部1086に記憶される。
また、図15(C)の例では、座標(2、11)、座標(3、11)、座標(4、11)、座標(2、10)、座標(4、10)、座標(2、9)、座標(3、9)、および座標(4、9)それぞれと、該それぞれの座標に対応する画素値「3」とが対応付けられて第1画素値記憶部1086に記憶される。
また、図15(C)の例では、座標(3、10)と、該座標に対応する画素値「4」とが対応付けられて第1画素値記憶部1086に記憶される。
次に、加算部1084は、X座標方向に注目画素の座標を「1」増加させることにより、図15(D)に示すように、注目画素を(4、10)とする。図15(D)の場合には、加算部1084は、注目画素(4、10)の画素値でありかつ第1画素値記憶部1086に記憶されている画素値(=3)に対して、第1画素値として「4」を加算する。
また、加算部1084は、注目画素(3、5)に隣接する第1隣接画素に対して、第2画素値として「3」を加算する。図15(D)での第1隣接画素の座標は、(3、11)、(4、11)、(5、11)、(3、10)、(5、10)、(3、9)、(4、9)、(5、9)の8つの画素である。また、図15(C)の加算処理により、例えば、(5、11)の画素については、既に画素値「2」が加算されている。したがって、図15(D)の加算処理により、該画素値「2」に対して、「3」が加算される。
また、加算部1084は、第1隣接画素に隣接する第2隣接画素に対して、第3画素値として「2」を加算する。図15(D)での第2隣接画素の座標は、(2、12)、(3、12)、(4、12)、(5、12)、(6、12)、(2、11)、(6、11)、(2、10)、(6、10)、(2、9)、(6、9)、(2、8)、(3、2)、(4、8)、(5、8)、(6、8)である。また、図15(C)の加算処理により、例えば、(5、12)の画素については、既に画素値「2」が加算されている。したがって、図15(D)の加算処理により、該画素値「2」に対して、「2」が加算される。
また、加算部1084は、第2隣接画素に隣接する第3隣接画素に対して、第4画素値として「1」を加算する。図15(C)での第3隣接画素の座標は、(2、13)、(3、13)、(4、13)、(5、13)、(6、13)、(2、7)、(3、7)、(4、7)、(5、7)、(6、7)である。また、図15(C)の加算処理により、例えば、(5、13)の画素については、既に画素値「1」が加算されている。したがって、図15(D)の加算処理により、該画素値「1」に対して、「1」が加算される。
図15(D)は、図15(D)に示す加算処理を実行する前の状態(演算前の状態)を示す図である。図15(E)は、図15(D)に示す加算処理を実行した後の状態(演算後の状態)を示す図である。
図15(E)の例では、座標(1、7)、座標(1、13)、座標(6、7)、および座標(6、13)それぞれと、該それぞれの座標に対応する画素値「1」とが対応付けられて第1画素値記憶部1086に記憶される。
また、図15(E)の例では、座標(2、13)、座標(3、13)、座標(4、13)、座標(5、13)、座標(1、12)、座標(6、12)、座標(1、11)、座標(6、11)、座標(1、10)、座標(6、10)、座標(1、9)、座標(6、9)、座標(1、8)、座標(6、8)、座標(2、7)、座標(3、7)、座標(4、7)、座標(5、7)それぞれと、該それぞれの座標に対応する画素値「2」とが対応付けられて第1画素値記憶部1086に記憶される。
また、図15(E)の例では、座標(2、12)、座標(3、12)、座標(4、12)、座標(5、12)、座標(2、8)、座標(3、8)、座標(4、8)、座標(5、8)それぞれと、該それぞれの座標に対応する画素値「4」とが対応付けられて第1画素値記憶部1086に記憶される。
また、図15(E)の例では、座標(2、11)、座標(5、11)、座標(2、10)、座標(5、10)、座標(2、9)、座標(5、9)それぞれと、該それぞれの座標に対応する画素値「5」とが対応付けられて第1画素値記憶部1086に記憶される。
また、図15(E)の例では、座標(3、11)、座標(4、11)、座標(3、9)、座標(4、9)それぞれと、該それぞれの座標に対応する画素値「6」とが対応付けられて第1画素値記憶部1086に記憶される。
また、図15(E)の例では、座標(3、10)、および座標(4、10)それぞれと、該それぞれの座標に対応する画素値「7」とが対応付けられて第1画素値記憶部1086に記憶される。
加算部1084は、近距離用画像の全ての画素(169個の画素)それぞれが注目画素となるように、ラベルマトリックス560を適用して、画素処理を実行する。近距離用画像の全ての画素(169個の画素)に対して画素処理が終了した後の第1画素値記憶部1086に記憶されている情報を「画素値情報」という。近距離用画像が、図15(A)に示す例である場合には、画素値情報は、図15(E)に示す情報となる。
また、画素値情報において、画素値が加算されていない箇所(例えば、座標(8,6)など、画素値が「0」である箇所)については、ヌル情報が記憶される。
次に、移動部1088は、画素値情報の画素とエッジ画像の画素とを一致させるように、画素値情報とエッジ画像との相対的位置を1画素ずつずらす(移動させる)。本実施形態では、移動部1088は、画素値情報を基準として、エッジ画像を1画素ずつずらす。なお、変形例として、移動部1088は、エッジ画像を基準として、画素値情報を1画素ずつずらすようにしてもよい。つまり、移動部1088は、エッジ画像と画素値情報との相対的位置を1画素ずつずらすようにしてもよい。
図16は、エッジ画像の一例である。なお、図16のエッジ画像は、例えば、図6のエッジ画像の一部の画像である。また、図16の例では、説明を簡単にするために、エッジ画像は、20画素×20画素の画像であるとする。また、図16の例では説明を簡単にするために、(9、1)、(10、2)、(11、3)、(12、4)、(13、5)、(14、6)、(14、7)、(15、7)、(16、8)、(17、9)、(18、10)、(19、11)、および(20、12)の座標が色を有する第2色画素であるとする。また、他の座標は、色を有さない「第2非色画素」であるとする。図16の例では、第2色画素は、ハッチングを付加した画素である。第2非色画素は、ハッチングを付加していない画素である。また、エッジ画像の全ての第2色画素のうち、任意の画素を「基準画素」と決定する。図16の例では、座標(9、1)の画素を、基準画素とする。
本実施形態では、画素値情報の全ての画素それぞれと、エッジ画像の基準画素が一致するように、移動部1088は、画素値情報を基準として(画素値情報をずらさずに)、エッジ画像を1画素ずつずらす。例えば、画素値情報の座標(1、1)と、エッジ画像の基準画素が一致するようにエッジ画素を適用する。抽出部1091は、エッジ画像の全ての画素のうち色を有する第2色画素と一致する画素値情報の全ての画素の画素値を抽出する。また、抽出部1091は、ヌル情報が生成されている画素からは、画素値を抽出しない。
なお、変形例として、エッジ画像を基準として(エッジ画像をずらさずに)、画素値情報を1画素ずつずらすようにしてもよい。
図17(A)は、最初に、移動部1088が、画素値情報の座標(1、1)と、エッジ画像の基準画素とが一致するようにエッジ画素を適用した場合を示す図である。抽出部1091は、エッジ画像の全ての画素のうち色を有する第2色画素と一致する画素値情報の全ての画素の画素値を抽出する。図17(A)の例では、画素値情報の座標(6、7)の画素と、エッジ画像の第2色画素とが一致し、抽出部1091は、該一致する第2色画素に対応する画素値である「1」を抽出する。また、抽出部1091は、画素値情報において画素値が記憶されていない座標(ヌル情報が記憶されている座標)からは何ら画素値を抽出しない。
抽出部1091は、該抽出した画素値の合計値を算出する。図17(A)の例では、合計値は、「1」である。抽出部1091は、算出した合計値「1」と、基準画素の座標(1、1)とを対応づけて、第2画素値記憶部1087に記憶する。また、抽出部1091が算出した画素値の合計値が重畳度合いとなる。
以下では、抽出部1091による「基準画素が第2色画素であるか否かの判断処理」、および「基準画素が第2色画素であるか否かを判断すると判断された場合には画素を抽出し、合計値を算出する処理」をまとめて、「抽出処理」という。
移動部1088は、X座標方向に基準画素の座標を「1」増加させる。つまり、次の基準画素は、(2、1)となる。加算部1084は、この基準画素に対して、「抽出処理」を実行する。また、基準画素のX座標の値が最大値(図17の例では、13)となった場合には、X座標の値を初期値(本実施形態では、「1」)に戻すとともに、Y座標の値を「1」増加させる。つまり、加算部1084は、図15の例では、基準画素の座標を(1、1)、(1、2)・・・(1、13)、(2、1)、(2、2)、(2、3)・・・(2、13)、(3、1)、(3、2)、(3、3)・・・(13、12)、(13、13)の順番でずらしていき、画素値情報の全ての画素(169個の画素)に対して、エッジ画像の基準画素を適用することにより、抽出処理を実行する。
図17(B)は、基準画素を(1、5)とした場合における画素値情報に対してエッジ画像が適用された場合を示す図である。図17(B)の例では、画素値情報の座標(3、7)の画素と、エッジ画像の第2色画素とが一致し、抽出部1091は、該一致する第2色画素に対応する画素値である「2」を抽出する。また、図17(B)の例では、画素値情報の座標(4、8)の画素と、エッジ画像の第2色画素とが一致し、抽出部1091は、該一致する第2色画素に対応する画素値である「4」を抽出する。また、図17(B)の例では、画素値情報の座標(5、9)の画素と、エッジ画像の第2色画素とが一致し、抽出部1091は、該一致する第2色画素に対応する画素値である「5」を抽出する。また、図17(B)の例では、画素値情報の座標(6、10)の画素と、エッジ画像の第2色画素とが一致し、抽出部1091は、該一致する第2色画素に対応する画素値である「2」を抽出する。また、図17(B)の例では、画素値情報の座標(6、11)の画素と、エッジ画像の第2色画素とが一致し、抽出部1091は、該一致する第2色画素に対応する画素値である「2」を抽出する。
図17(B)の場合において、抽出部1091は、抽出した画素値の合計値として、「15」を算出する。抽出部1091は、算出した合計値「15」(=重畳度合い)と、基準画素の座標(1、5)とを対応づけて、第2画素値記憶部1087に記憶する。
図17(C)は、基準画素を(1、2)とした場合における画素値情報に対してエッジ画像が適用された場合を示す図である。図17(C)の例では、画素値が規定されている画素と一致するエッジ画像の画素が存在しない。したがって、抽出部1091は、合計値「0」(=重畳度合い)と、基準画素の座標(2、1)とを対応づけて第2画素値記憶部1087に記憶する。
このように、抽出部1091は、画素値情報の全ての画素(169個の画素)を基準画素として、抽出処理を実行し、169個の画素の座標と、該座標が基準画素であったときの画素値の合計値とを対応づけて第2画素値記憶部1087に記憶させる。画素値情報の全ての画素(169個の画素)について、抽出部1091による抽出処理が終了した後において第2画素値記憶部1087に記憶されている情報を「画素値合計情報」という。
位置決定部1093は、該画素値合計情報に基づいて、合成位置を決定する。位置決定部1093は、抽出部1091により抽出された画素値情報の全ての画素の画素値の合計値が最も小さい位置(本実施形態ではエッジ画像の基準位置)を合成位置として決定する。例えば、図17で説明した例では、図17(C)の例で示すように、エッジ画像の基準位置が、(2、1)であるときに、画素値の合計値が「0」となる。したがって、位置決定部1093は、画素値の合計値が最も小さい「0」であるときの位置(2、1)を合成位置として決定する。該決定された合成位置を示す合成位置情報を、位置決定部1093は、合成部114に対して出力する。
次に、画素値情報の思想を説明する。図15等の例では、近距離画像の画素の座標は、図15(A)等に示すように、(3、10)、および(4、10)である。しかし、本実施形態の画素値情報は、この画素の座標から幅を持たせて、画素値が規定されている。つまり、図15(E)の画素値情報は、近距離画像の画素の座標である(3、10)および(4、10)には、「高い画素値(=7)」が規定されているが、近距離画像の画素の座標の周辺の画素に対しても低い画素値(1、2、4、5、6などの画素値)が規定されている。一方で、本実施形態のエッジ画像は、図6および図16等に示すように、エッジ箇所の幅が狭い画像である。また、エッジ画像の抽出元の遠距離用画像に対応する低周波画像が、重畳対象の画像となる。低周波画像は、図4に示した通り、エッジ箇所の幅が広い画像である。
そこで、低周波画像のエッジ箇所の幅が広いことに鑑みて、本実施形態の画像処理装置100は、近距離画像の画素の座標から幅を持たせて画素値が規定された画素値情報を生成する。
[画像処理装置100のフローチャート]
図18は、画像処理装置100のフローチャートを示す図である。図18を用いて、画像処理装置100の処理を説明する。
まず、ステップS2において入力部102に第1画像(第1画像データ501)と第2画像(第2画像データ502)とが入力される。次に、ステップS4において、判別部104は、第1画像と第2画像とのうち、いずれが近距離用画像であり、いずれが遠距離用画像であるかを判別する。
次に、画像処理装置100は、ステップS6の処理と、ステップS8の処理と、ステップS10とを実行する。ステップS6においては、高周波画像抽出部106は、近距離用画像(近距離用画像データ511に係る画像)から高周波画像(高周波画像データ521に係る画像)を抽出する。ステップS8においては、低周波画像抽出部112は、遠距離用画像(遠距離用画像データ512に係る画像)から低周波画像(低周波画像データ522に係る画像)を抽出する。ステップS10において、決定部108は、合成位置を決定する。ステップS10の詳細は、図19で説明する。
ステップS6の処理と、ステップS8の処理と、ステップS10とが終了すると、ステップS12において、合成部114は、ステップS10で決定された合成位置で高周波画像と低周波画像とを合成する。次に、ステップS14において、画像形成部200(図10参照)は、該合成により生成された合成画像を記録媒体に形成する(合成画像データ550に基づいた画像を記録媒体に形成する)。
図19は、S10の合成位置決定処理のフローチャートである。まず、ステップS102において、判断部1082は、近距離用画像の第1色画素の総数が、閾値Th未満であるか否かを判断する。判断部1082が、第1色画素の総数が、閾値Th未満であると判断した場合には(S102でNO)、処理は、ステップS104に進む。
ステップS104において、加算部1084は、近距離用画像の最初の注目画素(図15(A)の例では、(1、1)の画素)と、ラベルマトリックス560(図14参照)の中心セルが一致するようにラベルマトリックス560を適用する。次に、ステップS106において、加算部1084は、注目画素が第1色画素であるか否かを判断する。加算部1084は、注目画素が第1色画素であると判断した場合には(S106でYES)、処理はステップS108に進む。ステップS108においては、加算部1084は、該注目画素および該注目画素の周辺画素に対して、ラベルマトリックス560で規定されている画素値(図15(C)の説明など参照)を加算して、第1画素値記憶部1086に記憶する。周辺画素は、第1隣接画素、第2隣接画素、第3隣接画素、および第4隣接画素をまとめた画素である。ステップS108の処理が終了すると、ステップS110に進む。一方、ステップS106において、NOと判断された場合には、ステップS108の処理は実行されずに処理はステップS110に進む。
ステップS110において、加算部1084は、近距離用画像の全ての画素に対してラベルマトリックス560を適用したか否かを判断する。ステップS110において、NOと判断された場合には、ステップS112において、加算部1084は、近距離用画像の次の注目画素と、ラベルマトリックスの中心セルとが一致するように、該ラベルマトリックス560をX座標またはY座標方向に1画素分、移動させる。そして、処理はステップS106に戻る。
また、ステップS110において、加算部1084は、近距離用画像の全ての画素に対してラベルマトリックス560を適用したと判断した場合には(ステップS110でYES)、処理は、ステップS114に進む。ステップS110でYESと判断された場合というのは、画素値情報が完成した場合ということである。
ステップS114において、移動部1088は、画素値情報の最初の座標(図17(A)に示すように、(1、1))にエッジ画像を適用する。
次に、ステップS116において、抽出部1091は、エッジ画像の第2色画素と一致する画素の画素値を画素値情報から全て抽出する。ステップS116では、さらに、抽出部1091は、該全ての画素値の合計値を算出し、該合計値と、エッジ画像の位置とを対応づけて第2画素値記憶部1087に記憶させる。次に、ステップS118において、抽出部1091は、画素値情報の全ての画素に対してエッジ画像を適用したか否かを判断する。ステップS118において、NOと判断された場合には、ステップS120において、移動部1088は、画素値情報の次の位置に、エッジ画像の全体をX軸方向またはY軸方向に1画素分、移動して、エッジ画像を適用する。その後、ステップS116の処理において、抽出部1091は、画素値の合計値と、エッジ画像の位置とを記憶する。ステップS118でYESと判断された場合には、ステップS122において、位置決定部1093は、抽出部1091により抽出された画素値情報の全ての画素の画素値の合計値が最も小さい位置(本実施形態ではエッジ画像の基準位置)を合成位置として決定する。
一方、ステップS102において、近距離用画像の第1色画素の数が閾値Th以上であると判断された場合には、ステップS124に進む。ステップS124においては、決定部108は、近距離用画像を基準として、エッジ画像を1画素ずつずらし重畳度合いが最も位置を合成位置として決定する。
次に、遠距離用画像が他の画像である場合を説明する。図20は、遠距離用画像の他の例を示す図である。図20の例では、遠距離用画像として「αβ」が示されている。図21は、エッジ部分抽出部110が、図20の遠距離用画像から抽出したエッジ画像の一例である。図22は、比較例の画像処理装置が、低周波画像と高周波画像とを合成した合成画像の一例である。図23は、本実施形態の画像処理装置が、低周波画像と高周波画像とを合成した合成画像の一例である。
[小括]
(1) 本実施形態の画像処理装置100では、図12等に示すように、入力部102に第1画像(近距離用画像)と第2画像(遠距離用画像)とが入力される。高周波画像抽出部106(第1抽出部)は、第1画像(近距離用画像)から高周波画像を抽出する。低周波画像抽出部112(第2抽出部)は、第2画像(遠距離用画像)から低周波画像を抽出する。エッジ部分抽出部110(第3抽出部)は、遠距離用画像からエッジ部分を抽出する。決定部108は、第1画像(近距離用画像)とエッジ画像(エッジ画像データ515に係る画像)との重畳度合いが小さくなるような高周波画像と低周波画像との合成位置を決定する(図17(C)等参照)。合成部114は、決定部108により決定された合成位置で高周波画像と低周波画像とを合成することにより合成画像を生成する(図7参照)。
したがって、本実施形態の画像処理装置100は、従来の画像処理装置により生成される合成画像と比較して低周波画像と高周波画像との重畳度合いが低減された合成画像を生成することができる。よって、本実施形態の画像処理装置100は、視認者が視認し易い合成画像を生成することができる。
(2) また、判別部104は、入力部102に2つの画像が入力された場合に、2つの画像のそれぞれを構成する文字のサイズのうち、該文字のサイズが大きい方の画像を第2画像と判別し、該文字のサイズが小さい方の画像を第1画像と判別する。また、高周波画像抽出部106は、判別部104が判別した画像(第1画像(近距離用画像))から、高周波画像を抽出する。また、低周波画像抽出部112は、判別部104が判別した画像(第2画像(遠距離用画像))から、低周波画像を抽出する、
したがって、このような構成によれば、ユーザーは、2つの画像のうちいずれの画像を近距離用画像とし、いずれの画像を遠距離用画像とするかを決定する必要がない。したがって、ユーザーの利便性を向上させることができる。
なお、変形例として、判別部104は、2つの画像のそれぞれを構成する文字のサイズのうち、該文字のサイズが小さい方の画像を第2画像と判別し、該文字のサイズが大きい方の画像を第1画像と判別するようにしてもよい。つまり、判別部104は、2つの画像のそれぞれを構成する文字のサイズに基づいて、第1画像と第2画像とを判別するようにしてもよい。
(3) また、図16および図17等で説明したように、決定部108の移動部1088は、遠距離用画像全体のエッジ部分を予め定められた画素分ずらす処理を複数回実行することにより、合成位置を決定する。したがって、決定部108は、遠距離用画像全体のエッジ部分と、近距離用画像との重畳度合いが小さくなるような合成位置を決定することができる。
なお、本実施形態では、予め定められた画素は、「1画素」であるとして説明した。しかしながら、変形例として、予め定められた画素は、「1画素」以外の画素数としてもよい。予め定められた画素は、「2画素」または「3画素」としてもよい。
(4) また、図13に示すように、決定部108のうちの判断部1082は、近距離用画像(対象画像)の第1色画素の総数が、閾値Thより小さいか否かを判断する(図19のステップS102)。判断部1082が、近距離用画像(対象画像)の第1色画素の総数が、閾値Thより小さいと判断した場合には(ステップS102でYES)、加算部1084は、以下の処理により、ラベルマトリックス560を用いて画素値情報を生成する(完成させる)。図15で説明したように、加算部1084は、ラベルマトリックス560を移動させることにより、近距離用画像の全ての画素のそれぞれが、第1色画素であるか否かを順次判断する。本実施形態では、加算部1084は、近距離用画像の全ての画素のうち1つの画素を注目画素とし、該注目画素と、ラベルマトリックス560の中心セルが一致するようにラベルマトリックス560を適用する。加算部1084は、第1色画素であると判断された画素(注目画素)に第1画素値(図14の例では、「4」)を加算し、第1色画素であると判断された画素に隣接する画素(第1隣接画素)に第1画素値よりも小さい第2画素値(図1の例では、「3」)を加算する。さらに、加算部1084は、第1色画素ではないと判断された画素には画素値を加算しない。換言すれば、加算部1084は、画素値が加算されていないことを示す「ヌル情報」を生成する。図15(E)は、完成した画素値情報を示しているが、数値が格納されていない画素が、「ヌル情報」に対応する。
そして、図17に示すように、移動部1088は、画素値情報の画素とエッジ部分の画素とを一致させるように、画素値情報とエッジ部分との相対的位置を1画素ずつ移動させる。図17の例では、移動部1088は、画素値情報を基準として、エッジ部分を1画素ずつ移動させる。抽出部1091は、エッジ部分の位置(相対的位置)が1画素ずつ移動される毎に、エッジ部分の全ての画素のうち色を有する第2色画素と一致する画素値情報の全ての画素の画素値を抽出する。例えば、図17(B)の例では、抽出部1091は、画素値として、「2」、「4」、「5」、「2」、「2」を抽出する。位置決定部1093は、抽出部1091により抽出された画素値情報の全ての画素の画素値の合計値が最も小さいエッジ部分の位置(相対的位置)を合成位置として決定する。図17の例では、図17(C)の場合が画素値の合計値が最も小さいことから、図17(C)に示すエッジ部分の位置が合成位置として決定される。
ここで、抽出部1091は、ヌル情報が生成されている画素からは、画素値を抽出しない。例えば、加算部1084による画素値情報の生成の際には、第1色画素ではない画素に対して、ヌル情報ではなく画素値として「0」を加算する構成(以下、「比較例の構成」という。)も考えられる。しかしながら、このような構成であれば、例えば、図17(B)の例では、位置決定部1093は、抽出された画素値である「2」、「4」、「5」、「2」、および「2」の合計値のみならず、(1、5)、(2,6)、(7、11)、(8、12)、(9、13)それぞれの画素値である「0」の加算も行う必要があり、位置決定部1093の演算量が増大してしまう。
そこで、本実施形態では、加算部1084は、画素値情報の生成の際には、第1色画素ではない画素に対して、ヌル情報を生成する。したがって、例えば、図17(B)の例では、位置決定部1093は、抽出された画素値である「2」、「4」、「5」、「2」、および「2」の合計値を算出すればよく、(1、5)、(2,6)、(7、11)、(8、12)、(9、13)それぞれの画素値である「0」の加算を行う必要はない。したがって、本実施形態では、第1画像(近距離用画像)の第1色画像の総数が少ない場合には、画素値情報の生成の際には、第1色画素ではない画素に対して、ヌル情報を生成することにより、比較例の構成よりも演算量が低減できる。
<第2実施形態>
図24は、第2実施形態の画像処理装置100Aの機能構成例を示す図である。第1実施形態の画像処理装置100の機能構成例を示す図12の例では、エッジ部分抽出部110によるエッジ画像(エッジ画像データ515に係る画像)の抽出元は、遠距離用画像であるとして説明した。
第2実施形態では、エッジ部分抽出部110によるエッジ画像(エッジ画像データ515に係る画像)の抽出元は、低周波画像(低周波画像データ522に係る画像)である。図24に示すように、判別部104により判別された遠距離用画像データ512は、エッジ部分抽出部110には入力されない。また、図24に示すように、低周波画像データ522がエッジ部分抽出部110に入力される。エッジ部分抽出部110は、低周波画像(低周波画像データ522に係る画像)から、エッジ画像(エッジ画像データ515に係る画像)を抽出する。また、第2実施形態の決定部108は、低周波画像全体のエッジ部分を予め定められた画素分ずらす処理を複数回実行することにより、合成位置を決定する。
このような第2実施形態の画像処理装置100Aは、第1実施形態の画像処理装置と同様の効果を奏する。
<第3実施形態>
図25は、第3実施形態の画像処理装置100Bの機能構成例を示す図である。第1実施形態の画像処理装置100の機能構成例を示す図12の例では、決定部108は、近距離用画像(近距離用画像データ511に係る画像)を用いて合成位置を決定するとして説明した。
第3実施形態では、決定部108は、高周波画像(高周波画像データ521に係る画像)を用いて合成位置を決定する。図25に示すように、判別部104により判別された近距離用画像データ511は、決定部108には入力されない。また、図25に示すように、高周波画像データ521が決定部108に入力される。決定部108は、高周波画像データ521とエッジ画像データ515とに基づいて、合成位置を決定する。また、本変形例では、判断部1082は、高周波画像(対象画像)の全ての画素のうち色を有する第1色画素の総数が予め定められた閾値よりも小さいか否かを判断する。
このような第3実施形態の画像処理装置100Bは、第1実施形態の画像処理装置と同様の効果を奏する。
<第4実施形態>
図26は、第4実施形態の画像処理装置100Cの機能構成例を示す図である。図26に示すように、低周波画像データ522がエッジ部分抽出部110に入力される。エッジ部分抽出部110は、低周波画像(低周波画像データ522に係る画像)から、エッジ画像(エッジ画像データ515に係る画像)を抽出する。また、第2実施形態の決定部108は、低周波画像全体のエッジ部分を予め定められた画素分ずらす処理を複数回実行することにより、合成位置を決定する。
また、図26に示すように、第4実施形態の画像処理装置100Cの決定部108は、高周波画像(高周波画像データ521に係る画像)を用いて合成位置を決定する。図26に示すように、判別部104により判別された近距離用画像データ511は、決定部108には入力されない。また、図26に示すように、高周波画像データ521が決定部108に入力される。決定部108は、高周波画像データ521とエッジ画像データ515とに基づいて、合成位置を決定する。
このような第4実施形態の画像処理装置100Cは、第1実施形態の画像処理装置と同様の効果を奏する。
<第5実施形態>
第5実施形態の画像処理装置は、第1画像および第2画像のうち少なくとも一方がカラー画像である場合であっても適切に第1画像および第2画像を合成する。図27は、第5実施形態の画像処理装置100Eの機能構成例を示す図である。
画像処理装置100Eは、分割部120を有するとともに、決定部108が、決定部1090に代替されている。決定部1090は、R画像用重畳度合い算出部1082Rと、G画像用重畳度合い算出部1082Gと、B画像用重畳度合い算出部1082Bと、位置決定部1093とを含む。
判別部104により判断された近距離用画像データ511および遠距離用画像データ512は、分割部120に入力される。分割部120は、近距離用画像データ511および遠距離用画像データ512を複数の色成分で分割する。本実施形態では、複数の色成分をRGB成分とする。つまり、分割部120は、近距離用画像データ511および遠距離用画像データ512のそれぞれを、R成分とG成分とB成分とに分割する。
R成分の近距離用画像データを近距離用R画像データ511Rとし、R成分の遠距離用画像データを遠距離用R画像データ512Rとし、G成分の近距離用画像データを近距離用G画像データ511Gとし、G成分の遠距離用画像データを遠距離用G画像データ512Gとし、B成分の近距離用画像データを近距離用R画像データ511Bとし、B成分の遠距離用画像データを遠距離用R画像データ512Bとする。
近距離用R画像データ511Rは、R画像用重畳度合い算出部1082Rに入力される。遠距離用R画像データ512Rは、R画像用エッジ部分抽出部110Rに入力される。R画像用エッジ部分抽出部110Rは、遠距離用R画像データ512Rから、R画像のエッジ画像(R画像のエッジ画像データ515Rに係る画像)を抽出する。R画像のエッジ画像(R画像のエッジ画像データ515Rに係る画像)は、R画像用重畳度合い算出部1082Rに入力される。R画像用重畳度合い算出部1082Rは、近距離用R画像データ511Rと、R画像のエッジ画像データ515Rとに基づいて、R画像用の重畳度合いを算出する。
ここで、R画像用重畳度合い算出部1082Rは、図13で説明した決定部108の各構成のうち、位置決定部1093以外の各構成部(つまり、判断部1082と、加算部1084と、移動部1088と、抽出部1091と、閾値記憶部1085と、第1画素値記憶部1086と、第2画素値記憶部1087を含む。R画像用重畳度合い算出部1082Rは、R画像の近距離用画像とR画像のエッジ部分とのR成分の重畳度合いの最小値を算出する。例えば、図13に示している「近距離用画像データ511」が、「近距離用R画像データ511R」に代替され、図13に示している「エッジ画像データ515」が、「R画像のエッジ画像データ515R」に代替されて、R成分の重畳度合いの最小値が算出される。
同様に、G画像用重畳度合い算出部1082Bは、G画像の近距離用画像とG画像のエッジ部分とのG成分の重畳度合いの最小値を算出する。また、B画像用重畳度合い算出部1082Bは、B画像の近距離用画像とB画像のエッジ部分とのB成分の重畳度合いの最小値を算出する。
R成分の重畳度合いの最小値および該最小値に対応する合成位置と、G成分の重畳度合いの最小値および該最小値に対応する合成位置と、B成分の重畳度合いの最小値および該最小値に対応する合成位置とが位置決定部1093に入力される。位置決定部1093は、R成分の重畳度合いの最小値、G成分の重畳度合いの最小値、およびB成分の重畳度合いの最小値から、最も小さい値を判別する。その後、位置決定部1093は、最も小さい値である重畳度合いの最小値に対応する合成位置を、高周波画像と低周波画像との合成位置として決定する。換言すれば、決定部1090は、高周波画像とエッジ部分との重畳度合いを、RGB成分のそれぞれにおける重畳度合いのうち最も小さい重畳度合いとして、合成位置を決定する。
本実施形態の画像処理装置100Eは、複数の色成分(RGB成分)毎に重畳度合いを算出し、該重畳度合いのうち最少となる重畳度合いに対応する合成位置を、高周波画像と低周波画像との合成位置として決定する。したがって、本実施形態の画像処理装置100Eは、近距離用画像と遠距離用画像とうち少なくとも一方がカラー画像であっても、低周波画像と高周波画像との重畳度合いが低減された合成画像(カラーの合成画像)を生成することができる。
<第6実施形態>
第1実施形態では、判別部104は、2つの画像のそれぞれを構成する文字のサイズのうち、該文字のサイズが小さい方の画像を近距離用画像と判別し、該文字のサイズが大きい方の画像を遠距離用画像と判別する。本実施形態では、判別部104は、2つの画像のそれぞれの周波数変化成分のうち、該周波数変化成分が大きい方の画像を近距離用画像と判別し、該周波数変化成分が小さい方の画像を遠距離用画像と判別する。
前述したように、一般的に、大きい文字は、視認者Xが遠距離から視認した場合に視認しやすく、小さい文字は、視認者Xが近距離から視認した場合に視認しやすい。例えば、図1に示すように、小さい文字が多数存在する場合には、該小さい文字数分、周波数が変化する箇所(エッジの箇所)が存在することになる。したがって、判別部104は、周波数変化成分が大きい画像を第1画像(近距離用画像)と判別する。また、図2に示すように、大きい文字が少数存在する場合には、該大きい文字数分、周波数が変化する箇所(エッジの箇所)が存在することになる。したがって、判別部104は、周波数変化成分が小さい画像を第2画像(遠距離用画像)と判別する。
本実施形態の画像処理装置は、入力部102に入力された2つの画像のそれぞれの周波数変化成分に基づいて、近距離用画像と遠距離用画像とを判別する。このような構成を有する本実施形態の画像処理装置は、第1実施形態の画像処理装置と同様の効果を奏する。
なお、変形例として、判別部104は、2つの画像のそれぞれを構成する文字の周波数変化成分のうち、周波数変化成分が小さい方の画像を第1画像と判別し、周波数変化成分が大きい方の画像を第2画像と判別するようにしてもよい。つまり、判別部104は、2つの画像の周波数変化成分に基づいて、第1画像と第2画像とを判別するようにしてもよい。
<第7実施形態>
前述の実施形態の決定部108は、遠距離用画像全体のエッジ部分および低周波画像全体のエッジ部分のいずれか一方を予め定められた画素分ずらす処理を複数回実行することにより、合成位置を決定するとして説明した。
本実施形態の決定部108は、遠距離用画像を構成する文字列のエッジ部分を予め定められた画素分ずらす処理を複数回実行することにより、合成位置を決定する。例えば、遠距離用画像が、図20に示す「αβ」の文字がそれぞれ3列分存在する画像である場合に、決定部108は、1列目の「αβ」のエッジ画像を予め定められた画素分ずらす処理を複数回実行することにより、近距離用画像と、1列目の「αβ」である遠距離用画像との合成位置を決定する。そして、合成部114は、決定された合成位置で、近距離用画像と、1列目の「αβ」である遠距離用画像とを合成する。
また、決定部108は、2列目の「αβ」のエッジ画像を予め定められた画素分ずらす処理を複数回実行することにより、近距離用画像と、2列目の「αβ」である遠距離用画像との合成位置を決定する。そして、合成部114は、決定された合成位置で、近距離用画像と、2列目の「αβ」である遠距離用画像とを合成する。
また、決定部108は、3列目の「αβ」のエッジ画像を予め定められた画素分ずらす処理を複数回実行することにより、近距離用画像と、3列目の「αβ」である遠距離用画像との合成位置を決定する。そして、合成部114は、決定された合成位置で、近距離用画像と、3列目の「αβ」である遠距離用画像とを合成する。
本実施形態の画像処理装置は、遠距離用画像が複数列の文字から構成されている場合であっても、複数列の文字それぞれの合成位置を決定することができる。したがって、本実施形態の画像処理装置は、遠距離用画像が複数列の文字から構成されている場合であっても、重畳度合いが小さい合成位置を該文字列ごとに決定することができる。よって、前述の実施形態と比較して、近距離用画像と遠距離用画像との重畳度合いをより低減させることができる合成画像を生成することができる。
<第8実施形態>
本実施形態の決定部108は、遠距離用画像を構成する文字のエッジ部分を予め定められた画素分ずらす処理を複数回実行することにより、合成位置を決定する。例えば、遠距離用画像が、図20に示す「αβ」という2文字である場合には、決定部108は、「α」のエッジ画像を予め定められた画素分ずらす処理を複数回実行することにより、近距離用画像と、「α」である遠距離用画像との合成位置を決定する。そして、合成部114は、決定された合成位置で、近距離用画像と、「α」である遠距離用画像とを合成する。
また、決定部108は、「β」のエッジ画像を予め定められた画素分ずらす処理を複数回実行することにより、近距離用画像と、「β」である遠距離用画像との合成位置を決定する。そして、合成部114は、決定された合成位置で、近距離用画像と、「β」である遠距離用画像とを合成する。
本実施形態の画像処理装置は、遠距離用画像が複数の文字から構成されている場合であっても、重畳度合いが小さい合成位置を該文字ごとに決定することができる。したがって、前述の実施形態と比較して、近距離用画像と遠距離用画像との重畳度合いをより低減させることができる合成画像を生成することができる。
<第9実施形態>
前述の実施形態では、画像処理装置100は、画像形成装置300に適用されるとして説明した。しかしながら、画像処理装置100は、他の装置に適用するようにしてもよい。本実施形態では、画像処理装置100が、表示装置に適用される例を説明する。
図28は、画像処理装置100が、表示装置600に適用される例を示す図である。画像処理装置100により生成された合成画像(合成画像データ550に係る画像)は、表示部602に入力される。表示部602は、例えば、モニターである。表示部602は、合成画像データ550に基づいた画像を表示する。表示部602は、例えば、図7および図23に示す合成画像を表示する。
本実施形態の画像処理装置100は、表示装置600に適用されることにより、視認者が視認し易い合成画像を表示することができる。該表示装置600は、例えば、サイネージとして適用される。
<変形例>
本実施形態では、判別部104が、近距離用画像と遠距離用画像とを判別するとして説明した。しかしながら、画像処理装置は、判別部104を備えないようにしてもよい。このような構成によれば、ユーザーが2つの画像データを画像処理装置に入力する場合に、該2つの画像データのうち近距離用画像データと遠距離用画像データとを画像処理装置が判別可能とする構成とする。例えば、ユーザーから2つの画像が入力される場合において近距離用画像については、該近距離用画像を画像処理装置が判別可能な情報を入力させ、遠距離用画像については、該遠距離用画像を画像処理装置が判別可能な情報を入力させる構成とする。このような構成が採用された画像処理装置であれば、判別部104の処理負担を軽減させることができる。
また、今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。