JP2019129357A - 画像処理装置 - Google Patents

Abstract

【課題】 写真画像などのグレースケールオブジェクトが含まれているグレースケール画像であっても、適切な画像合成が行われるようにする。【解決手段】 重複領域特定部２２は、２つのグレースケール画像のそれぞれにおけるオブジェクトの特徴点を検出し、検出した特徴点に基づいて、２つのグレースケール画像の重複領域を特定する。差分演算部２３は、その重複領域における各ライン位置について、２つのグレースケール画像のうちの一方のグレースケール画像のラインと２つのグレースケール画像のうちの他方のグレースケール画像のラインとの間のライン濃度分布の差分値を計算する。結合ライン特定部２４は、そのライン濃度分布差分値が最も小さいライン位置のラインを結合ラインとして特定する。合成処理部２５は、２つのグレースケール画像を、特定された結合ラインにおいて結合して１つの合成画像を生成する。【選択図】 図１

Description

本発明は、画像処理装置に関するものである。

ある画像処理装置は、（ａ）第１画像と第２画像との重複領域を特定し、（ｂ１）重複領域が写真領域であれば、第１画像と第２画像との合成を行わず、（ｂ２）重複領域が写真領域ではなければ、接合線候補において画素の濃度差が所定値以上である画素を黒画素とし、黒画素の数が最も少ない接合線候補を接合線として、第１画像と第２画像との合成を行う（例えば特許文献１参照）。

特開平１１−２４３４８３号公報

上述のように、上述の画像処理装置では、第１画像および第２画像に含まれるオブジェクトが、２値画像のオブジェクト（文字、線画など）のみであれば、第１画像および第２画像が合成されるが、第１画像および第２画像に写真画像などのグレースケールオブジェクトが含まれている場合には、第１画像および第２画像が合成されない。

本発明は、上記の問題に鑑みてなされたものであり、写真画像などのグレースケールオブジェクトが含まれているグレースケール画像であっても、適切な画像合成を行う画像処理装置を得ることを目的とする。

本発明に係る画像処理装置は、２つのグレースケール画像のそれぞれにおけるオブジェクトの特徴点を検出し、検出した前記特徴点に基づいて、前記２つのグレースケール画像の重複領域を特定する重複領域特定部と、前記重複領域における各ライン位置について、前記２つのグレースケール画像のうちの一方のグレースケール画像のラインと前記２つのグレースケール画像のうちの他方のグレースケール画像のラインとの間のライン濃度分布の差分値を計算する差分演算部と、前記ライン濃度分布差分値が最も小さいライン位置のラインを結合ラインとして特定する結合ライン特定部と、前記２つのグレースケール画像を、特定された前記結合ラインにおいて結合して１つの合成画像を生成する合成処理部とを備える。

本発明によれば、写真画像などのグレースケールオブジェクトが含まれているグレースケール画像であっても、適切な画像合成を行う画像処理装置が得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る画像形成装置の構成を示すブロック図である。 図２は、図１における画像処理装置１３の動作について説明するフローチャートである。 図３は、２つのグレースケール画像と合成画像との関係を説明する図である。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像形成装置の構成を示すブロック図である。図１に示す画像形成装置１は、複写機である。ただし、画像形成装置１は、複合機などでもよい。この画像形成装置１は、印刷装置１１と、画像読取装置１２と、画像処理装置１３と、メモリー１４と、表示装置１５と、入力装置１６とを備える。

印刷装置１１は、出力デバイスの一例であって、画像処理装置１３による各種画像処理後の画像データに基づいて原稿画像（例えば、後述の合成画像）を電子写真プロセスで印刷する内部装置である。

また、画像読取装置１２は、原稿から原稿画像を光学的に読み取り、原稿画像の画像データを生成する内部装置である。

また、画像処理装置１３は、画像読取装置１２などで生成された画像データに対して、色調整、色変換などの画像処理を行う。

さらに、画像処理装置１３は、互いに一部が重複する２つの原画像を１つの合成画像に合成する。

また、メモリー１４は、フラッシュメモリーなどの、書き換え可能な不揮発性の記憶装置であり、各種データを記憶している。表示装置１５は、例えば画像内の色を調整するための色調整画面などの、各種画面をユーザーに対して表示する。入力装置１６は、ユーザー操作を検出する。例えば、表示装置１５および入力装置１６は、画像形成装置１の操作パネルに設けられ、表示装置１５としては、液晶ディスプレイなどが使用され、入力装置１６としては、タッチパネル、ハードキーなどが使用される。

画像処理装置１３は、ＡＳＩＣ（Application Specific Integrated Circuit）やマイクロコンピューターで実現され、制御部２１、重複領域特定部２２、差分演算部２３、結合ライン特定部２４、および合成処理部２５を備える。

制御部２１は、印刷装置１１、画像読取装置１２などの内部装置を制御して、２つのグレースケール画像を原画像として取得したり、それらの合成画像を印刷したりする。

例えば、画像読取装置１２が、１つの原稿から２回の画像読取でその２つのグレースケール画像を読み取ると、制御部２１は、画像読取装置１２からその２つのグレースケール画像を取得する。

重複領域特定部２２は、２つのグレースケール画像のそれぞれにおけるオブジェクトの特徴点を検出し、検出した特徴点に基づいて、その２つのグレースケール画像の重複領域を特定する。

具体的には、重複領域特定部２２は、（ａ）２つのグレースケール画像における一方のグレースケール画像および他方のグレースケール画像のそれぞれにおいて、オブジェクトの複数の頂点を特徴点として検出し、（ｂ）検出した複数の頂点の配列パターンが互いに一致する共通特徴点を特定し、（ｃ）その共通特徴点（複数の頂点のいずれか１つ）から一方のグレースケール画像の終端ラインまでの距離とその共通特徴点から他方のグレースケール画像の先端ラインまでの距離との和を重複領域の幅とし、（ｄ）上述の一方のグレースケール画像の終端ラインからその幅の範囲、および上述の他方のグレースケール画像の先端ラインからその幅の範囲を、重複領域とする。

例えば、２つのグレースケール画像に含まれている文字、線画などのベタ画像オブジェクトにおける屈曲点が上述の特徴点として検出されるようにしてもよいし、所定値以上の濃度差のあるエッジの屈曲点が上述の特徴点として検出されるようにしてもよい。また、例えば、その屈曲点の距離、屈曲点から延びる線状のオブジェクトまたはエッジの方向などが第１画像および第２画像の間で互いに一致する屈曲点が共通特徴点として特定される。

差分演算部２３は、上述の重複領域における各ライン位置について、上述の２つのグレースケール画像のうちの一方のグレースケール画像のラインとその２つのグレースケール画像のうちの他方のグレースケール画像のラインとの間のライン濃度分布の差分値を計算する。

具体的には、差分演算部２３は、（ａ）各ライン位置のライン内の各画素位置について、一方のグレースケール画像のラインの画素値Ｐ１（１），・・・，Ｐ１（Ｎ）（Ｎは１ラインの画素数）と他方のグレースケール画像のラインの画素値Ｐ２（１），・・・，Ｐ２（Ｎ）との差分ｄｉｆｆ（１），・・・，ｄｉｆｆ（Ｎ）（ｄｉｆｆ（ｉ）＝Ｐ１（ｉ）−Ｐ２（ｉ））を計算し、（ｂ）ライン内のすべての画素位置について計算された差分ｄｉｆｆ（１），・・・，ｄｉｆｆ（Ｎ）の合計値または平均値を上述の差分値として計算する。

ここで、差分演算部２３は、写真などのグレースケールオブジェクトが重複領域に含まれているか否かを特定することなく、上述の処理を行う。つまり、２つのグレースケール画像はグレースケールオブジェクトを含んでいてもよく、２つのグレースケール画像はグレースケールオブジェクトを含んでいても合成される。

結合ライン特定部２４は、上述のライン濃度分布の差分値が最も小さいライン位置のラインを結合ラインとして特定する。

合成処理部２５は、上述の２つのグレースケール画像を、特定された結合ラインにおいて結合して１つの合成画像を生成する。

次に、上記画像処理装置１３の動作について説明する。図２は、図１における画像処理装置１３の動作について説明するフローチャートである。図３は、２つのグレースケール画像と合成画像との関係を説明する図である。

まず、制御部２１は、例えば画像読取装置１２を使用して、図３に示すような２つのグレースケール画像１０１，１０２（以下、第１画像および第２画像ともいう）を取得する（ステップＳ１）。

図３におけるグレースケール画像１０１は、オブジェクト１１１−１を含み、グレースケール画像１０２は、オブジェクト１１１−２を含んでいる。

次に、重複領域特定部２２は、２つのグレースケール画像１０１，１０２のそれぞれにおけるオブジェクトの特徴点を検出し（ステップＳ２）、検出した特徴点に基づいて、その２つのグレースケール画像の重複領域を特定する（ステップＳ３）。

図３に示す例では、グレースケール画像１０１において、オブジェクト１１１−１の特徴点１２１，１２２，１２３が検出され、グレースケール画像１０２において、オブジェクト１１１−２の特徴点１３１〜１３６が検出される。そして、グレースケール画像１０１の特徴点１２１，１２３とグレースケール画像１０２の特徴点１３１，１３６とが共通特徴点として特定され、重複領域１４１が特定される。

そして、差分演算部２３は、重複領域１４１の先端ライン位置から終端ライン位置まで順番に注目ライン位置を選択し（ステップＳ４）、現時点の注目ライン位置における第１画像１０１のラインの画素値と現時点の注目ライン位置における第２画像１０２のラインの画素値との差分を主走査方向に沿って順番に計算し、すべての画素値の差分の合計値または平均値をライン濃度分布差分値として計算する（ステップＳ５）。

ライン濃度分布差分値の計算後、差分演算部２３は、現時点の注目ライン位置が重複領域１４１の終端ライン位置であるか否かを判定し（ステップＳ６）、現時点の注目ライン位置が重複領域１４１の終端ライン位置ではなければ、ステップＳ４に戻り、次の注目ライン位置（つまり、現時点の注目ライン位置の、副走査方向における次の注目ライン位置）を選択し、同様にライン濃度分布差分値を計算する。

一方、現時点の注目ライン位置が重複領域１４１の終端ライン位置である場合、結合ライン特定部２４は、重複領域１４１のすべてのライン位置のうち、ライン濃度分布差分値が最も小さいライン位置を特定し、第１画像１０１および第２画像１０２におけるそのライン位置のラインを結合ラインとして特定する（ステップＳ７）。

そして、合成処理部２５は、上述の第１画像１０１および第２画像１０２を、特定された結合ラインにおいて結合して、例えば図３に示すような１つの合成画像を生成する（ステップＳ８）。つまり、合成処理部２５は、第１画像１０１の先端ラインから結合ライン（あるいは結合ラインの１つ前のライン）までの部分を抽出し、第１画像１０１の結合ライン（あるいは結合ラインの１つ後のライン）から終端ラインまでの部分を抽出し、抽出した２つの部分画像を連続させることで、第１画像１０１および第２画像１０２を合成し、合成画像１０３を生成する。生成された合成画像１０３は、印刷されたり、画像ファイルとして保存されたり出力されたりする。

以上のように、上記実施の形態によれば、重複領域特定部２２は、２つのグレースケール画像のそれぞれにおけるオブジェクトの特徴点を検出し、検出した特徴点に基づいて、２つのグレースケール画像の重複領域を特定する。差分演算部２３は、その重複領域における各ライン位置について、２つのグレースケール画像のうちの一方のグレースケール画像のラインと２つのグレースケール画像のうちの他方のグレースケール画像のラインとの間のライン濃度分布の差分値を計算する。結合ライン特定部２４は、そのライン濃度分布差分値が最も小さいライン位置のラインを結合ラインとして特定する。合成処理部２５は、２つのグレースケール画像を、特定された結合ラインにおいて結合して１つの合成画像を生成する。

これにより、写真画像などのグレースケールオブジェクトが含まれているグレースケール画像であっても、適切な画像合成が行われる。

つまり、重複領域に文字だけではなく写真画像などが存在しても、ライン濃度分布の差が小さいラインで結合されるため、合成画像における結合部分の画質が低くなりにくい。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

本発明は、例えば、スキャナー、コピー機、複合機などに適用可能である。

１２ 画像読取装置
１３ 画像処理装置
２２ 重複領域特定部
２３ 差分演算部
２４ 結合ライン特定部
２５ 合成処理部

Claims (5)

1. ２つのグレースケール画像のそれぞれにおけるオブジェクトの特徴点を検出し、検出した前記特徴点に基づいて、前記２つのグレースケール画像の重複領域を特定する重複領域特定部と、
   前記重複領域における各ライン位置について、前記２つのグレースケール画像のうちの一方のグレースケール画像のラインと前記２つのグレースケール画像のうちの他方のグレースケール画像のラインとの間のライン濃度分布の差分値を計算する差分演算部と、
   前記ライン濃度分布差分値が最も小さいライン位置のラインを結合ラインとして特定する結合ライン特定部と、
   前記２つのグレースケール画像を、特定された前記結合ラインにおいて結合して１つの合成画像を生成する合成処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記差分演算部は、（ａ）前記ライン位置のライン内の各画素位置について、前記一方のグレースケール画像のラインの画素値と前記他方のグレースケール画像のラインの画素値との差分を計算し、（ｂ）前記ライン内のすべての画素位置について計算された差分の合計値または平均値を前記差分値として計算することを特徴とする請求項１記載の画像処理装置。
3. 前記重複領域特定部は、（ａ）前記一方のグレースケール画像および前記他方のグレースケール画像のそれぞれにおいて、前記オブジェクトの複数の頂点を前記特徴点として検出し、（ｂ）検出した前記複数の頂点の配列パターンが互いに一致する共通特徴点を特定し、（ｃ）前記共通特徴点から前記一方のグレースケール画像の終端ラインまでの距離と前記共通特徴点から前記他方のグレースケール画像の先端ラインまでの距離との和を前記重複領域の幅とし、（ｄ）前記一方のグレースケール画像の終端ラインから前記幅の範囲、および前記他方のグレースケール画像の先端ラインから前記幅の範囲を、前記重複領域とすることを特徴とする請求項１または請求項２記載の画像処理装置。
4. １つの原稿から２回の画像読取で前記２つのグレースケール画像を読み取る画像読取装置をさらに備えることを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
5. 前記２つのグレースケール画像は、グレースケールオブジェクトを含んでいることを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。