JP2017069877A

JP2017069877A - 画像処理装置

Info

Publication number: JP2017069877A
Application number: JP2015196272A
Authority: JP
Inventors: 正隆竹村; Masataka Takemura
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2015-10-01
Filing date: 2015-10-01
Publication date: 2017-04-06
Also published as: CN107018282A; US10325353B2; EP3151165B1; CN107018282B; EP3151165A1; US20170098297A1

Abstract

【課題】ページ画像内の複数の矩形オブジェクトがそれぞれ互いに異なる傾き角で傾いていても、すべての矩形オブジェクトの向きを一定の向きに補正する。
【解決手段】エッジ検出部３２は、複数の矩形オブジェクトを含むページ画像において注目ラインごとに複数の矩形オブジェクトのエッジを検索し、注目ラインにおける画素ごとの濃度変化に基づいて、注目ライン上の複数の矩形オブジェクトのエッジを検出する。矩形オブジェクト検出部３３は、検出されたエッジに基づいて複数の矩形オブジェクトを検出し、複数の矩形オブジェクトのそれぞれの位置、サイズおよび傾き角を特定する。配列処理部３４は、特定された位置、サイズおよび傾き角により指定される複数の矩形オブジェクトの領域を、対応する傾き角に応じた角度だけそれぞれ回転させる。
【選択図】図１

Description

本発明は、画像処理装置に関するものである。

ある画像処理装置は、画像読取で得られたページ画像を回転してページ画像の傾きを補正している（例えば特許文献１参照）。

特開２００９−１６４８１０号公報

しかしながら、上述の装置では、ページ画像の傾きは補正できるものの、ページ画像内の複数のオブジェクトがそれぞれ互いに異なる傾き角で傾いている場合、すべてのオブジェクトの向きを一定の向きに補正することは困難である。

本発明は、上記の問題に鑑みてなされたものであり、ページ画像内の複数の矩形オブジェクトがそれぞれ互いに異なる傾き角で傾いていても、すべての矩形オブジェクトの向きを一定の向きに補正することができる画像処理装置を得ることを目的とする。

本発明に係る画像処理装置は、複数の矩形オブジェクトを含むページ画像において注目ラインごとに前記複数の矩形オブジェクトのエッジを検索し、前記注目ラインにおける画素ごとの濃度変化に基づいて、前記注目ライン上の前記複数の矩形オブジェクトのエッジを検出するエッジ検出部と、検出された前記エッジに基づいて前記複数の矩形オブジェクトを検出し、前記複数の矩形オブジェクトのそれぞれの位置、サイズおよび傾き角を特定する矩形オブジェクト検出部と、特定された前記位置、前記サイズおよび前記傾きにより指定される前記複数の矩形オブジェクトの領域を、対応する前記傾き角に応じた角度だけそれぞれ回転させる配列処理部とを備える。

本発明によれば、ページ画像内の複数の矩形オブジェクトがそれぞれ互いに異なる傾き角で傾いていても、すべての矩形オブジェクトの向きを一定の向きに補正することができる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る画像処理装置を含む画像形成装置の構成例を示すブロック図である。図２は、ページ画像の一例を示す図である。図３は、図２に示すページ画像において検出されるエッジについて説明する図である。図４は、検出されたエッジの位置から検出される矩形エッジの辺の例を示す図である。図５は、矩形オブジェクトの傾き角を説明する図である。図６は、図１における画像処理装置１４の動作について説明するフローチャートである。図７は、実施の形態２に係る画像処理装置１４によって整列された矩形オブジェクト１１１〜１１４（図２）の一例を示す図である。図８は、一部が互いに重なっている２つの矩形オブジェクトの一例を示す図である。図９は、図８に示す矩形オブジェクトの回転について説明する図である。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像処理装置を含む画像形成装置の構成例を示すブロック図である。図１に示す画像形成装置１は、複写機であるが、スキャナー、複合機などでもよい。

この画像形成装置１は、印刷装置１１と、画像読取装置１２と、記憶装置１３と、画像処理装置１４と、表示装置１５と、入力装置１６とを備える。

印刷装置１１は、画像処理装置１４による各種画像処理後の画像データに基づいて原稿画像を、例えばＣＭＹＫ（シアン・マゼンタ・イエロー・ブラック）色のトナーを使用して電子写真プロセスで印刷する内部装置である。

また、画像読取装置１２は、原稿から原稿画像を光学的に読み取り、原稿画像の画像データをＲＧＢデータとして生成する内部装置である。

また、記憶装置１３は、フラッシュメモリーなどの、書き換え可能な不揮発性の記憶装置であり、各種データやプログラムを記憶している。記憶装置１３には、レイアウトデータ２１が格納されている。

また、画像処理装置１４は、画像読取装置１２などで生成された画像データに対して、各種画像処理を行う。

画像処理装置１４は、ＡＳＩＣ（Application Specific Integrated Circuit）やコンピューターで実現され、制御部３１、エッジ検出部３２、矩形オブジェクト検出部３３、および配列処理部３４を有する。

制御部３１は、画像読取装置１２などの内部装置を制御する処理部であって、画像読取装置１２に原稿画像の読取を実行させ、画像読取装置１２から原稿画像（所定サイズのページ画像）の画像データを取得し、その原稿画像に対する画像処理を、エッジ検出部３２、矩形オブジェクト検出部３３、および配列処理部３４とともに実行する。

ここでは、ページ画像は、複数の矩形オブジェクトを含み、ページ画像の背景は白色となっている。例えば、画像読取装置１２の原稿台に、複数の写真や複数の名刺を載置して画像読取を行うことで、このようなページ画像が得られる。

矩形オブジェクトは、例えば、写真（つまり写真画像を現像された所定サイズの物理媒体）や名刺から読み取られた画像である。

制御部３１は、上述のページ画像において、１ラインずつ、あるいは所定ラインおきに順番に、注目ラインを選択していき、エッジ検出部３２は、注目ラインごとに複数の矩形オブジェクトのエッジを検索し、注目ラインにおける画素ごとの濃度変化（例えば輝度値の変化）に基づいて、注目ライン上の複数の矩形オブジェクトのエッジを検出する。

矩形オブジェクト検出部３３は、検出されたエッジに基づいて複数の矩形オブジェクトを検出し、複数の矩形オブジェクトのそれぞれの位置、サイズおよび傾き角を特定する。

この実施の形態では、矩形オブジェクト検出部３３は、注目ラインごとに、（ａ）検出されたエッジの数から、注目ラインに存在する矩形オブジェクトの数を特定し、エッジの順番および位置に基づいて、エッジの属する矩形オブジェクトを特定し、（ｂ）矩形オブジェクトごとに、その矩形オブジェクトに属するエッジの位置に基づいて、矩形オブジェクトのそれぞれの位置、サイズおよび傾き角の特定を試みる。

図２は、ページ画像の一例を示す図である。図３は、図２に示すページ画像において検出されるエッジについて説明する図である。図４は、検出されたエッジの位置から検出される矩形エッジの辺の例を示す図である。

図２に示すページ画像１０１は、主走査方向に２つ、副走査方向に２つ配列された４つの矩形オブジェクト１１１〜１１４を含んでいる。

注目ラインにおいて、１つの矩形オブジェクトにつき２つのエッジ（背景から矩形オブジェクトへの立ち上がりエッジおよび矩形オブジェクトから背景への立ち下がりエッジ）が存在する。図３では、矩形オブジェクト１１１および矩形オブジェクト１１２について、注目ライン上で検出される立ち上がりエッジを黒丸で示しており、注目ライン上で検出される立ち下がりエッジを白丸で示している。

したがって、現時点の注目ラインにおいて検出された矩形オブジェクトの数が１つ前の注目ラインにおいて検出された矩形オブジェクトの数と同じである場合には、（２×ｉ−１）番目のエッジと第（２×ｉ）番目のエッジはｉ番目の矩形オブジェクトに属する（ｉ＝１，２，・・・）。

一方、現時点の注目ラインにおいて検出された矩形オブジェクトの数が１つ前の注目ラインにおいて検出された矩形オブジェクトの数とは異なる場合（つまり、検出されたエッジの数が異なる場合）、矩形オブジェクト検出部３３は、１つ前の注目ラインにおいて検出されている各矩形オブジェクトについて、１つ前の注目ラインまでに検出されたエッジの位置から、現時点の注目ライン上でのエッジの位置を予測し、現時点の注目ライン上で検出されたエッジのうち、予測された位置に最も近いエッジを、その矩形オブジェクトに属するエッジとして特定する。そして、矩形オブジェクトの数が増加している場合には、検出されたエッジのうちの残りのエッジ（つまり、１つ前の注目ラインにおいて検出されている矩形オブジェクトに属していないエッジ）が、新たな矩形オブジェクトに属するエッジと判定される。

また、１つ前の注目ラインにおいて検出されたエッジの数がゼロ、つまり、検出された矩形オブジェクトの数がゼロであり、現時点の注目ラインにおいて検出された矩形オブジェクトの数が１以上である場合、現時点の注目ラインにおいて検出された矩形オブジェクトは、１つ前の注目ラインまでに検出された矩形オブジェクトとは別の矩形オブジェクトとして特定される。

矩形オブジェクトには４つの辺（つまり直線状のエッジ）が存在する。したがって、１つの辺上で検出された複数のエッジは直線状に配列するため、少なくとも２つのエッジの位置に基づいて辺を通る直線が図４に示すようにして特定される。したがって、各矩形オブジェクトについて、その矩形オブジェクトに属するエッジに基づいて、辺を通る直線が特定される。

そして、辺と辺との交点（つまり、ある辺を通る直線と別の辺を通る直線との交点）が矩形オブジェクトの頂点であるので、４つの辺が特定され、４つの頂点が特定されれば、矩形オブジェクトの位置、サイズおよび傾き角が特定できる。

図５は、矩形オブジェクトの傾き角を説明する図である。例えば図５に示すように、矩形オブジェクトの上辺と主走査方向との間の角度が傾き角として特定される。

配列処理部３４は、特定された位置、サイズおよび傾き角により指定される複数の矩形オブジェクトの領域を、対応する傾き角に応じた角度だけそれぞれ回転させる。

次に、上記画像処理装置１４の動作について説明する。図６は、図１における画像処理装置１４の動作について説明するフローチャートである。

制御部３１は、ページ画像を取得し、注目ラインを順番に選択していく（ステップＳ１）。

エッジ検出部３２は、注目ラインごとに複数の矩形オブジェクトのエッジを検索し、注目ラインにおける画素ごとの濃度変化に基づいて、注目ライン上の複数の矩形オブジェクトのエッジを検出する（ステップＳ２）。

矩形オブジェクト検出部３３は、注目ライン上で検出されたエッジ（上述の２つのエッジ）の属する矩形オブジェクトを特定し、その特定した矩形オブジェクトと検出されたエッジとを関連付けて保持する（ステップＳ３）。

ここで、矩形オブジェクト検出部３３は、各矩形オブジェクトについて、その矩形オブジェクトについて現時点までの検出されたエッジに基づいて、矩形オブジェクトの４辺が特定できるか否かを判定し（ステップＳ４）、４辺が特定できる矩形オブジェクトについては、矩形オブジェクトの位置、サイズ、および傾き角を特定する（ステップＳ５）。なお、位置、サイズおよび傾き角が既に特定されている矩形オブジェクトについては、ステップS４，Ｓ５の処理をスキップしてもよい。

そして、制御部３１は、注目ラインがページ画像の最後に到達したか否かを判定し（ステップＳ６）、注目ラインがページ画像の最後に到達していなければ、次の注目ラインを選択し（ステップＳ１）、エッジ検出部３２および矩形オブジェクト検出部３３に、上述の処理（ステップＳ２〜Ｓ５）を実行させる。

注目ラインがページ画像の最後に到達した場合、配列処理部３４は、矩形オブジェクト検出部３３により位置、サイズ、および傾き角が特定された矩形オブジェクトについて、矩形オブジェクトの領域をその矩形オブジェクトの傾き角だけ回転させ（つまり、傾き角がゼロになるように回転させ）、矩形オブジェクトの上辺を主走査方向に対して平行にする（ステップＳ７）。

以上のように、上記実施の形態１によれば、エッジ検出部３２は、複数の矩形オブジェクトを含むページ画像において注目ラインごとに複数の矩形オブジェクトのエッジを検索し、注目ラインにおける画素ごとの濃度変化に基づいて、注目ライン上の複数の矩形オブジェクトのエッジを検出する。矩形オブジェクト検出部３３は、検出されたエッジに基づいて複数の矩形オブジェクトを検出し、複数の矩形オブジェクトのそれぞれの位置、サイズおよび傾き角を特定する。配列処理部３４は、特定された位置、サイズおよび傾き角により指定される複数の矩形オブジェクトの領域を、対応する傾き角に応じた角度だけそれぞれ回転させる。

これにより、ページ画像内の複数の矩形オブジェクトがそれぞれ互いに異なる傾き角で傾いていても、すべての矩形オブジェクトの向きが一定の向きに補正される。また、注目ラインの濃度分布に基づいて矩形オブジェクトを検出しているので、比較的簡単な処理で矩形オブジェクトを検出することができる。

実施の形態２．

実施の形態２では、配列処理部３４は、主走査方向および副走査方向において配列されている矩形オブジェクトの数を特定し、特定した数に基づいて、主走査方向および副走査方向において等間隔に、複数の矩形オブジェクトを配置する。

図７は、実施の形態２に係る画像処理装置１４によって整列された矩形オブジェクト１１１〜１１４（図２）の一例を示す図である。図７では、整列前の矩形オブジェクト１１１〜１１４が破線で示されており、整列後の矩形オブジェクト１１１〜１１４が実線で示されている。図７に示すように、実施の形態２では、矩形オブジェクト１１１〜１１４は、必要に応じて回転されるとともに、主走査方向および副走査方向のそれぞれにおいて同一間隔で配置される。

実施の形態２に係る画像処理装置１４のその他の構成および動作については実施の形態１のものと同様であるので、その説明を省略する。

実施の形態３．

図８は、一部が互いに重なっている２つの矩形オブジェクトの一例を示す図である。図９は、図８に示す矩形オブジェクトの回転について説明する図である。

実施の形態３では、矩形オブジェクト検出部３３は、例えば図８に示すように、複数の矩形オブジェクトのうちの２つの矩形オブジェクト２０１，２０２の一部が互いに重なっている場合、２つの矩形オブジェクト２０１，２０２を互いに分離し、分離後の２つの矩形オブジェクト２０１，２０２の少なくとも一方を、欠損部分を外挿補間することで矩形に成形する。また、配列処理部３４は、その２つの矩形オブジェクト２０１，２０２の領域を回転させる際の回転中心を、図９に示すように、２つの矩形オブジェクト２０１，２０２の領域が回転後に互いに重ならないように、２つの矩形オブジェクト２０１，２０２の領域の４頂点からそれぞれ選択し、選択した頂点２１１，２１２を中心にして、各矩形オブジェクト２０１，２０２を回転する。

なお、２つの矩形オブジェクト２０１，２０２が重なっていることは、例えば、矩形オブジェクト２０１の辺を通る直線と矩形オブジェクト２０２の辺を通る直線との交差によって検出される。

実施の形態３に係る画像処理装置１４のその他の構成および動作については実施の形態１のものと同様であるので、その説明を省略する。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

例えば、上記実施の形態において、矩形オブジェクトの頂点は、直線または曲線で面取りされていてもよい。その場合、４辺を通る直線の交点が、矩形オブジェクトの領域の頂点とみなされて、その矩形オブジェクトの領域の回転が実行される。

本発明は、例えば、画像形成装置に適用可能である。

１４画像処理装置
３２エッジ検出部
３３矩形オブジェクト検出部
３４配列処理部

Claims

複数の矩形オブジェクトを含むページ画像において注目ラインごとに前記複数の矩形オブジェクトのエッジを検索し、前記注目ラインにおける画素ごとの濃度変化に基づいて、前記注目ライン上の前記複数の矩形オブジェクトのエッジを検出するエッジ検出部と、
検出された前記エッジに基づいて前記複数の矩形オブジェクトを検出し、前記複数の矩形オブジェクトのそれぞれの位置、サイズおよび傾き角を特定する矩形オブジェクト検出部と、
特定された前記位置、前記サイズおよび前記傾き角により指定される前記複数の矩形オブジェクトの領域を、対応する前記傾き角に応じた角度だけそれぞれ回転させる配列処理部と、
を備えることを特徴とする画像処理装置。
前記配列処理部は、主走査方向および副走査方向において配列されている前記矩形オブジェクトの数を特定し、特定した前記数に基づいて、主走査方向および副走査方向において等間隔に、前記複数の矩形オブジェクトを配置することを特徴とする請求項１記載の画像処理装置。
前記矩形オブジェクト検出部は、前記注目ラインごとに、（ａ）検出された前記エッジの数から、前記注目ラインに存在する前記矩形オブジェクトの数を特定し、前記エッジの順番および位置に基づいて、前記エッジの属する前記矩形オブジェクトを特定し、（ｂ）前記矩形オブジェクトごとに、その矩形オブジェクトに属する前記エッジの位置に基づいて、前記矩形オブジェクトのそれぞれの位置、サイズおよび傾き角の特定を試みることを特徴とする請求項１記載の画像処理装置。
前記矩形オブジェクト検出部は、前記複数の矩形オブジェクトのうちの２つの矩形オブジェクトの一部が互いに重なっている場合、前記２つの矩形オブジェクトを互いに分離し、分離後の前記２つの矩形オブジェクトの少なくとも一方を矩形に成形することを特徴とする請求項１記載の画像処理装置。
前記配列処理部は、前記２つの矩形オブジェクトの領域を回転させる際の回転中心を、前記２つの矩形オブジェクトの領域が回転後に互いに重ならないように、前記２つの矩形オブジェクトの領域の４頂点からそれぞれ選択することを特徴とする請求項４記載の画像処理装置。