JP2022178533A - 画像処理装置 - Google Patents

Abstract

【課題】 対象画像における異常を正しく検出する画像処理装置を得る。【解決手段】 異常検出部１２は、（ａ）対象画像に対してフィルター処理を行うことで得られる第１特徴マップおよび基準画像に対してフィルター処理を行うことで得られる第２特徴マップを生成し、（ｂ）第１特徴マップ内のオブジェクトと第２特徴マップ内のオブジェクトとのずれに基づいて補正量を導出し、（ｃ）その補正量で対象画像または基準画像を補正してから対象画像を基準画像と比較して対象画像内の異常を検出する。【選択図】 図１

Description

本発明は、画像処理装置に関するものである。

ある画像検査装置は、基準画像の印刷物をスキャンして得られる対象画像と基準画像とを比較して両者の差分に基づいて対象画像を検査している（例えば特許文献１参照）。

その際、その印刷物にはトンボなどの位置合わせ用のマーカーが印刷され、そのマーカーに基づいて、対象画像と基準画像との位置合わせが行われ、両者の差分が生成される。

特開２０１６－２０６６９１号公報

しかしながら、上述のように、対象画像と基準画像との位置合わせのためにマーカーを使用する場合、対象画像と基準画像との差分を導出する際に、マーカーの部分を除外してその差分を導出する必要があるが、基準画像において、マーカーの近傍にマーカーに類似するオブジェクトが含まれている場合、正しく位置合わせが行われず、対象画像における異常が正しく検出されない可能性がある。

本発明は、上記の問題に鑑みてなされたものであり、対象画像における異常を正しく検出する画像処理装置を得ることを目的とする。

本発明に係る画像処理装置は、対象画像を基準画像と比較して前記対象画像内の異常を検出する画像処理装置であり、（ａ）前記対象画像に対してフィルター処理を行うことで得られる第１特徴マップおよび前記基準画像に対して前記フィルター処理を行うことで得られる第２特徴マップを生成し、（ｂ）前記第１特徴マップ内のオブジェクトと前記第２特徴マップ内のオブジェクトとのずれに基づいて補正量を導出し、（ｃ）前記補正量で前記対象画像または前記基準画像を補正してから前記対象画像を前記基準画像と比較して前記対象画像内の異常を検出する異常検出部を備える。

本発明によれば、対象画像における異常を正しく検出する画像処理装置が得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図２は、複数のオブジェクト種別の特徴マップの例を示す図である。 図３は、特徴マップ内のオブジェクトの座標差分について説明する図である。 図４は、特徴マップ内のオブジェクトについての回転角度に基づく除外について説明する図である。 図５は、特徴マップ内のオブジェクトの類似度について説明する図である。 図６は、対象画像の特徴マップと基準画像の特徴マップの差分画像の例を示す図である。 図７は、差分画像に基づく異常の検出について説明する図である。 図８は、特徴量と異常原因との対応関係について説明する図である。 図９は、図１に示す画像処理装置の動作について説明するフローチャートである。 図１０は、図９におけるオブジェクト類似度特定処理について説明するフローチャートである。 図１１は、基準画像および対応する対象画像の一例を示す図である。 図１２は、図１１に示す基準画像および対象画像に対応する差分画像を示す図である。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、パーソナルコンピューター、サーバーなどといった情報処理装置、またはデジタルカメラ、画像形成装置（スキャナー、複合機など）などといった電子機器であり、演算処理装置１、記憶装置２、通信装置３、表示装置４、入力装置５、内部装置６などを備える。

演算処理装置１は、コンピューターを備え、そのコンピューターで画像処理プログラムを実行して、各種処理部として動作する。具体的には、そのコンピューターは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備え、ＲＯＭや記憶装置２に記憶されたプログラムをＲＡＭにロードし、ＣＰＵで実行することで所定の処理部として動作する。また、演算処理装置１は、特定の処理部として機能するＡＳＩＣ（Application Specific Integrated Circuit）を備えていてもよい。

記憶装置２は、フラッシュメモリーなどといった不揮発性の記憶装置であって、後述の処理に必要な画像処理プログラムやデータを記憶している。画像処理プログラムは、例えば非一時的でコンピューター読取可能な記録媒体に記憶され、その記録媒体から当該記憶装置２にインストールされる。

通信装置３は、外部装置とデータ通信を行う装置であり、例えばネットワークインターフェイス、周辺機器インターフェイスなどである。表示装置４は、ユーザーに対して各種情報を表示する装置であり、例えば、液晶ディスプレイなどのディスプレイパネルなどである。入力装置５は、ユーザー操作を検出する装置であり、例えば、キーボード、タッチパネルなどである。

内部装置６は、当該画像処理装置の所定の機能を実行する装置である。例えば、当該画像処理装置が画像形成装置である場合には、内部装置６は、原稿から原稿画像を光学的に読み取る画像読取装置や、プリント用紙に画像をプリントするプリント装置などである。

そして、ここでは、演算処理装置１は、上述の処理部としての対象画像取得部１１および異常検出部１２として動作する。

対象画像取得部１１は、記憶装置２、通信装置３、内部装置６などから対象画像（画像データ）を取得しＲＡＭなどに記憶する。なお、対象画像は、例えば、基準画像を印刷して得られた印刷物をスキャンして得られたものである。

異常検出部１２は、（ａ）対象画像に対してフィルター処理を行うことで得られる第１特徴マップおよび基準画像に対して同一のフィルター処理を行うことで得られる第２特徴マップを生成し、（ｂ）第１特徴マップ内のオブジェクトと第２特徴マップ内のオブジェクトとのずれ（後述の座標差分および角度差分）に基づいて補正量を導出し、（ｃ）その補正量で対象画像または基準画像を補正してから対象画像を基準画像と比較して対象画像内の異常を検出する。

具体的には、異常検出部１２は、複数のオブジェクト種別に対応する複数のフィルター処理で、複数の第１特徴マップおよび複数の第２特徴マップをそれぞれ生成し、オブジェクト種別ごとに、第１特徴マップ内のオブジェクトと第２特徴マップ内のオブジェクトとのずれを導出し、導出したずれに基づいて（対象画像または基準画像全体についての）補正量を導出する。

なお、このフィルター処理としては、例えば、２次微分フィルター、ガボールフィルターなどが使用される。

図２は、複数のオブジェクト種別の特徴マップの例を示す図である。例えば図２に示すように、複数のオブジェクト種別は、縦線、横線、点などを含み、基準画像および対象画像についてそれぞれ、各オブジェクト種別の特徴マップが得られる。例えば、縦線についてのフィルター処理には、横方向の１次元の２次微分フィルターが使用され、横線についてのフィルター処理には、縦方向の１次元の２次微分フィルターが使用され、点についてのフィルター処理には、横方向の１次元の２次微分フィルターおよび縦方向の１次元の２次微分フィルターが使用される。

さらに、この実施の形態では、第１特徴マップと第２特徴マップとの間で互いに対応するオブジェクトの各対についての座標差分および角度差分に基づいて、補正量が導出される。

図３は、特徴マップ内のオブジェクトの座標差分について説明する図である。座標差分については、例えば図３に示すように、基準画像および対象画像の特徴マップにおける、互いに対応するオブジェクトｉを含む矩形領域（例えばオブジェクトの外接矩形など）が特定され、その矩形領域の対角線上の２頂点Ｐ１１ｉ，Ｐ１２ｉ，Ｐ２１ｉ，Ｐ２２ｉの横方向（Ｘ軸方向）および縦方向（Ｙ軸方向）の座標値Ｘ１１ｉ，Ｘ１２ｉ，Ｘ２１ｉ，Ｘ２２ｉ，Ｙ１１ｉ，Ｙ１２ｉ，Ｙ２１ｉ，Ｙ２２ｉ）が特定され、すべてのオブジェクトｉの対についての座標差分の平均値が、基準画像と対象画像との位置ずれ（ΔＸ，ΔＹ）として計算される。

同様に、角度差分についても、互いに対応するオブジェクトｉの対ごとの角度差分が特定され、すべてのオブジェクトｉの対についての角度差分の平均値が、基準画像と対象画像との角度ずれΔθとして計算される。例えば、印刷物からの対象画像のスキャン時に、印刷物のスキューにとって角度ずれが発生することがある。

その際、単独で回転してしまっているオブジェクトが、角度ずれの計算から除外される。図４は、特徴マップ内の各オブジェクトについての回転角度に基づく除外について説明する図である。例えば図４に示すように、各オブジェクトについての角度差分（回転角度）の平均値θａｖから所定偏差（ここでは、例えば分散の３倍値）以上の角度差分を有するオブジェクトが角度ずれの計算から除外される。

さらに、異常検出部１２は、第１特徴マップ内のオブジェクトと第２特徴マップ内のオブジェクトとの類似度を導出し、その類似度が所定閾値未満であるオブジェクトを除外して上述の補正量を導出する。

図５は、特徴マップ内のオブジェクトの類似度について説明する図である。例えば図５に示すように、各オブジェクトの類似度が導出され、各オブジェクトの形状が完全に一致する場合、類似度が１となり、類似するほど類似度が１に近くなり、各オブジェクトの形状が完全に異なる場合、類似度が０となる。この類似度は、既存の所定の方法によって導出される。例えば、この類似度や上述の特徴マップの導出には、ＯｐｅｎＣＶ（Open Source Computer Vision Library）などのオープンソースのライブラリーを使用できる。

また、上述の角度差分については、オブジェクトｉを所定角度ずつ回転させ、類似度が所定閾値以上となったときの回転角度が当該オブジェクトｉの角度差分とされる。

図６は、対象画像の特徴マップと基準画像の特徴マップの差分画像の例を示す図である。図７は、差分画像に基づく異常の検出について説明する図である。例えば図６に示すように、異常検出部１２は、（ａ）オブジェクト種別ごとに、その補正量で第１特徴マップまたは第２特徴マップを補正してから、第１特徴マップと第２特徴マップとの差分画像を生成し、（ｂ）上述の複数のオブジェクト種別についての差分画像に基づいて、対象画像内の異常を検出する。ここで、この異常は、例えば図７に示すように、差分画像内のオブジェクト（以下、異常オブジェクトという）として検出される。

したがって、基準画像にないオブジェクトが対象画像において出現したり、対象画像のオブジェクトが、（一部または全部）欠損したり、肥大したりした場合に、異常オブジェクトが検出される。さらに、差分画像に対して色ムラ解析を行い、例えば図７に示すように、色ムラを異常として検出するようにしてもよい。色ムラ解析では、例えば、差分画像の前端の画素値の中央値を基準として、各画素の画素値の、中央値から偏位を特定し、差分画像における全画素の偏位の総和をムラレベル（後述の特徴量）として導出し、ムラレベルの値が所定閾値以上である場合、色ムラの異常と判定される。

さらに、異常検出部１２は、検出された異常の特徴量に基づいて、その異常の原因を特定する。図８は、特徴量と異常原因との対応関係について説明する図である。

例えば、異常の特徴量は、異常オブジェクトの面積、向き、成長方向、異常オブジェクト部分の濃度、異常オブジェクト部分のエッジ強度、異常オブジェクト部分の色、異常オブジェクトの周期、異常オブジェクトの数などを含み、各特徴量の値域と異常原因との対応関係に基づいて、異常の特徴量の値から異常原因が特定される。また、例えば図８に示すように、複数の特徴量のそれぞれの値の組み合わせに基づいて、異常原因が特定されるようにしてもよい。なお、この対応関係は、テーブルなどとして予め当該画像処理装置に記憶されている。

例えば、異常オブジェクトの向きは、異常オブジェクトの長手方向の向きであり、成長方向は、特定の時間間隔で得られた異常オブジェクトの形状から特定される異常オブジェクトの成長方向であり、異常オブジェクト部分の濃度は、対象画像における異常オブジェクト部分の濃度の平均値または中央値、対象画像における異常オブジェクト以外の部分の平均値または中央値とオブジェクト部分の濃度の平均値または中央値との差分値であり、異常オブジェクト部分のエッジ強度は、対象画像における異常オブジェクト部分のエッジの濃度勾配であり、異常オブジェクト部分の色は、対象画像における異常オブジェクト部分の色であり、異常オブジェクトの周期は、複数の異常オブジェクトの空間周期であり、異常オブジェクトの数は、各オブジェクト種別の異常オブジェクトの数である。

なお、検出された異常についての所定の異常対応処理が実行されるようにしてもよい。異常対応処理は、例えば、検出された各異常の報知（異常に対応する不具合箇所の特定やメンテナンスなどを行う作業者に対する、通信装置でのメッセージ送信や表示装置４でのメッセージ表示などによる報知）、検出された各異常について、その異常に対応する不具合箇所の特定、メンテナンス動作などである。

次に、図１に示す画像処理装置の動作について説明する。図９は、図１に示す画像処理装置の動作について説明するフローチャートである。

まず、対象画像取得部１１は、対象画像の画像データを取得するとともに、予め記憶されている基準画像の画像データを読み出す（ステップＳ１）。なお、対象画像および基準画像の画像データが記憶装置２などに予め記憶されている場合には、単に対象画像および基準画像の画像データが記憶装置２などから読み出される。

次に、異常検出部１２は、対象画像および基準画像について、所定のフィルター処理を行い、１または複数のオブジェクト種別（縦線、横線、点など）の特徴マップ（フィルター処理された画像）を生成する（ステップＳ２）。なお、対象画像および基準画像の特徴マップの画像データが記憶装置２などに予め記憶されている場合には、単に特徴マップの画像データが記憶装置２などから読み出される。

異常検出部１２は、オブジェクト類似度特定処理を行う（ステップＳ３）。オブジェクト類似度特定処理では、基準画像の特徴マップ内のオブジェクトと、それに対応する対象画像の特徴マップ内のオブジェクトとを特定し、両者の類似度を特定するとともに、基準画像と対象画像との間の位置ずれおよび角度ずれを補正量として特定する。

そして、異常検出部１２は、位置ずれおよび角度ずれが解消されるように、基準画像および対象画像の少なくとも一方の位置および角度を補正し（ステップＳ４）、補正後の基準画像および対象画像の差分画像を生成し、その差分画像から異常オブジェクトを検出し、その異常オブジェクトの特徴量に基づいて、異常原因を特定する（ステップＳ５）。なお、この特徴量は、既存のオープンソースのライブラリーを使用して導出してもよい。

ここで、オブジェクト類似度特定処理（ステップＳ３）の詳細について説明する。図１０は、図９におけるオブジェクト類似度特定処理について説明するフローチャートである。

まず、異常検出部１２は、あるオブジェクト種別についての対象画像および基準画像の特徴マップを注目特徴マップとして選択する（ステップＳ１１）。

次に、異常検出部１２は、基準画像の注目特徴マップにおけるオブジェクトＸｉ（ｉ＝１，・・・，Ｍ、Ｍは当該注目特徴マップにおけるオブジェクトＸｉの数である）を選択し（ステップＳ１２）、対象画像の注目特徴マップにおけるオブジェクトＹｊ（ｊ＝１，・・・，Ｎ、Ｎは当該注目特徴マップにおけるオブジェクトＹｊの数である）を選択する（ステップＳ１３）。なお、オブジェクトＹｊは、例えば、対象画像において、基準画像におけるＸｉの位置と同一の位置から近い順に選択される。

そして、異常検出部１２は、選択したオブジェクトＸｉ，Ｙｊの類似度を計算し（ステップＳ１４）、その類似度が所定閾値以上であるか否かを判定する（ステップＳ１５）。

類似度が所定閾値以上である場合、異常検出部１２は、現時点のオブジェクトＸｉと現時点のオブジェクトＹｊとが互いに対応すると判定し、両者の座標差分（Ｘ軸方向の差分ΔＸｉおよびＹ軸方向の差分ΔＹｉ）および両者の回転角（角度差分）をＲＡＭなどに記憶する（ステップＳ１６）。

一方、類似度が所定閾値以上ではない場合、異常検出部１２は、現時点の回転角が所定上限値を超えているかを判定し、現時点の回転角が所定上限値を超えていない場合、所定角度だけオブジェクトＹｊを回転する（ステップＳ１８）。なお、オブジェクトＹｊの回転角は、オブジェクトＹｊが選択された際にゼロにセットされ、ステップＳ１８において、所定角度ずつ増加させられる。そして、ステップＳ１４に戻り、異常検出部１２は、現時点のオブジェクトＸｉと回転後のオブジェクトＹｊとの類似度を計算し、計算した類似度が所定閾値以上であるか否かを判定する。ここで、現時点の回転角が所定上限値を超えている場合、異常検出部１２は、現時点のオブジェクトＹｊが現時点のオブジェクトＸｉに対応しないと判定し、ステップＳ１３に戻り、次のオブジェクトＹｊを選択し、そのオブジェクトＹｊについて同様の処理を実行する。

このようにして、選択したオブジェクトＸｉに対応するオブジェクトＹｊが探索され決定され、両者間の座標差分および角度差分が記憶される。

そして、異常検出部１２は、基準画像の注目特徴マップにおけるすべてのオブジェクトＸｉを処理したか否かを判定し（ステップＳ１９）、未処理（未選択）のオブジェクトＸｉがあれば、ステップＳ１２に戻り、次のオブジェクトＸｉを選択して、ステップＳ１３以降の処理を同様に実行する。

このようにして、基準画像および対象画像の注目特徴マップにおいて、すべての対応するオブジェクトＸｉ，Ｙｊが特定され、両者間の類似度、座標差分、および角度差分が特定され、記憶される。

現時点の注目特徴マップにおけるすべてのオブジェクトＸｉが処理されたと判定した場合、異常検出部１２は、すべてのオブジェクト種別の特徴マップを処理したか否かを判定し（ステップＳ２０）、未処理（未選択）のオブジェクト種別があれば、ステップＳ１１に戻り、次のオブジェクト種別を選択して、ステップＳ１２以降の処理を同様に実行する。

このようにして、すべてのオブジェクト種別の特徴マップについて、上述の座標差分および角度差分が特定され記憶される。

そして、異常検出部１２は、記憶されている座標差分の平均値を、対象画像と基準画像との間の位置ずれとして座標Ｘ，Ｙごとに計算し、記憶されている角度差分の平均値を、対象画像と基準画像との間の角度ずれとして計算する（ステップＳ２１）。

このとき、類似度が所定閾値より低いオブジェクトの座標差分および角度差分は、位置ずれおよび角度ずれの計算から除外される。また、上述のように、あるオブジェクトの角度差分が、そのオブジェクトが含まれる特徴マップ内の角度差分の平均値から所定値以上離れている場合、そのオブジェクトも位置ずれおよび角度ずれの計算から除外される。

このようにして、位置ずれおよび角度ずれが計算され、その位置ずれおよび角度ずれが補正量とされる。

ここで、具体例について説明する。図１１は、基準画像および対応する対象画像の一例を示す図である。この基準画像および対象画像は、Ａ４サイズの画像解像度３００ｄｐｉの画像であって、３５０７×２４８０ピクセルの画像であり、両者の実際の位置ずれは、Ｘ座標において１０ｐｘ、Ｙ座標において５０ｐｘであり、角度ずれは、２．５度である。この対象画像には、１つの点の異常オブジェクトが含まれている。

図１２は、図１１に示す基準画像および対象画像に対応する差分画像を示す図である。図１２に示すように、上述の処理によって得られた差分画像では、点について１つの異常オブジェクトが含まれており、異常オブジェクトが、他のオブジェクト（基準画像内のオブジェクト）から良好に区別されて検出されている。

また、この具体例では、類似度の閾値を０．８５に設定しており、閾値が０．８５未満であるオブジェクトは、位置ずれおよび角度ずれの計算から除外されている。これにより、位置ずれの誤差はＸ座標およびＹ座標ともにゼロピクセルとなっており、角度ずれの誤差は、０．１度となっている。他方、閾値を設けない場合（つまり、類似度に基づく除外を行わない場合）においては位置ずれの誤差はＸ座標およびＹ座標ともに２ピクセルとなり、角度ずれの誤差は、０．８度となるため、類似度に基づく除外を行うことで、補正量（位置ずれおよび角度ずれ）の誤差が小さくなっている。

以上のように、上記実施の形態によれば、異常検出部１２は、（ａ）対象画像に対してフィルター処理を行うことで得られる第１特徴マップおよび基準画像に対してフィルター処理を行うことで得られる第２特徴マップを生成し、（ｂ）第１特徴マップ内のオブジェクトと第２特徴マップ内のオブジェクトとのずれに基づいて補正量を導出し、（ｃ）その補正量で対象画像または基準画像を補正してから対象画像を基準画像と比較して対象画像内の異常を検出する。

これにより、対象画像と基準画像との位置合わせのためにマーカーを使用することなく、両者間のずれが正確に特定され、ひいては、対象画像における異常が正しく検出される。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

本発明は、例えば、画像形成装置などの異常の検出に適用可能である。

１２ 異常検出部

Claims (5)

1. 対象画像を基準画像と比較して前記対象画像内の異常を検出する画像処理装置において、
   （ａ）前記対象画像に対してフィルター処理を行うことで得られる第１特徴マップおよび前記基準画像に対して前記フィルター処理を行うことで得られる第２特徴マップを生成し、（ｂ）前記第１特徴マップ内のオブジェクトと前記第２特徴マップ内のオブジェクトとのずれに基づいて補正量を導出し、（ｃ）前記補正量で前記対象画像または前記基準画像を補正してから前記対象画像を前記基準画像と比較して前記対象画像内の異常を検出する異常検出部を備えること、
   を特徴とする画像処理装置。
2. 前記異常検出部は、複数のオブジェクト種別に対応するフィルター処理で、複数の前記第１特徴マップおよび複数の前記第２特徴マップを生成し、前記オブジェクト種別ごとに、前記第１特徴マップ内のオブジェクトと前記第２特徴マップ内のオブジェクトとのずれを導出し、導出した前記ずれに基づいて前記補正量を導出することを特徴とする請求項１記載の画像処理装置。
3. 前記異常検出部は、（ａ）前記オブジェクト種別ごとに、前記補正量で前記第１特徴マップまたは前記第２特徴マップを補正してから、前記第１特徴マップと前記第２特徴マップとの差分画像を生成し、（ｂ）前記複数のオブジェクト種別についての前記差分画像に基づいて、前記対象画像内の異常を検出することを特徴とする請求項２記載の画像処理装置。
4. 前記異常検出部は、前記第１特徴マップ内のオブジェクトと前記第２特徴マップ内のオブジェクトとの類似度が所定閾値未満であるオブジェクトを除外して前記補正量を導出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
5. 前記異常検出部は、検出された前記異常の特徴量に基づいて、前記異常の原因を特定することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。

Images