JP2022103692A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】 本来１つの異常が複数の異常として検出された場合における計算コストや処理時間を抑制する。【解決手段】 異常検出部１２は、対象画像に含まれている異常を検出し、異常統合処理部１３は、検出された異常のうちの特定の異常を統合する。そして、異常統合処理部１３は、（ａ）検出された異常のうちのある異常の種別と別の異常の種別とが同一である場合、当該ある異常の位置と当該別の異常の位置との対応関係に基づいて、当該ある異常と当該別の異常とを統合するか否かを判定し、（ｂ）当該ある異常と当該別の異常とを統合すると判定した場合に、当該ある異常と当該別の異常とを統合する。【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関するものである。

ある画像処理装置は、複合機、プリンターなどといった画像形成装置により出力されるプリント生成物などに生じている意図せぬ筋、点、ムラなどといった異常を、プリント生成物をスキャンして得られた画像に基づいて検出し、異常ごとに発生原因を推定している（例えば特許文献１参照）。

特開２０１７－２２３８９２号公報

上述の異常を検出する際に、本来１つの異常であるが、対象画像において現れる異常の画像が不連続な部分を有すると、複数の異常として検出されることがある。例えば、断続的な筋異常の場合、本来１つの異常であるにも拘わらず、複数の筋異常として検出されることがある。

このように、本来１つの異常が複数の異常として検出されると、検出された異常のそれぞれに対して発生原因の推定などの後段処理が行われるため、余計な計算コストが掛かるとともに処理時間が長くなってしまう。また、手作業で、そのような本来１つの異常であるにも拘わらず複数の異常として検出されているものを発見し統合することもできるが、手間や時間がかかってしまい現実的ではない。

本発明は、上記の問題に鑑みてなされたものであり、本来１つの異常が複数の異常として検出された場合における計算コストや処理時間を抑制する画像処理装置、画像処理方法、および画像処理プログラムを得ることを目的とする。

本発明に係る画像処理装置は、対象画像に含まれている異常を検出する異常検出部と、検出された前記異常のうちの特定の異常を統合する異常統合処理部とを備える。そして、前記異常統合処理部は、（ａ）検出された前記異常のうちのある異常の種別と別の異常の種別とが同一である場合、前記ある異常の位置と前記別の異常の位置との対応関係に基づいて、前記ある異常と前記別の異常とを統合するか否かを判定し、（ｂ）前記ある異常と前記別の異常とを統合すると判定した場合に、前記ある異常と前記別の異常とを統合する。

本発明に係る画像処理方法は、対象画像に含まれている異常を検出する異常検出ステップと、検出された前記異常のうちの特定の異常を統合する異常統合ステップとを備える。そして、前記異常統合ステップでは、（ａ）検出された前記異常のうちのある異常の種別と別の異常の種別とが同一である場合、前記ある異常の位置と前記別の異常の位置との対応関係に基づいて、前記ある異常と前記別の異常とを統合するか否かを判定し、（ｂ）前記ある異常と前記別の異常とを統合すると判定した場合に、前記ある異常と前記別の異常とを統合する。

本発明に係る画像処理プログラムは、コンピューターを、上述の異常検出部、および上述の異常統合処理部として機能させる。

本発明によれば、本来１つの異常が複数の異常として検出された場合における計算コストや処理時間を抑制する画像処理装置、画像処理方法、および画像処理プログラムが得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作について説明するフローチャートである。 図３は、図２における異常統合処理（ステップＳ３）について説明するフローチャートである。 図４は、図２における異常統合処理（ステップＳ３）の一例について説明する図である。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、パーソナルコンピューター、サーバーなどといった情報処理装置、またはデジタルカメラ、画像形成装置（スキャナー、複合機など）などといった電子機器であり、演算処理装置１、記憶装置２、通信装置３、表示装置４、入力装置５、内部装置６などを備える。

演算処理装置１は、コンピューターを備え、そのコンピューターで画像処理プログラムを実行して、各種処理部として動作する。具体的には、そのコンピューターは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備え、ＲＯＭや記憶装置２に記憶されたプログラムをＲＡＭにロードし、ＣＰＵで実行することで所定の処理部として動作する。また、演算処理装置１は、特定の処理部として機能するＡＳＩＣ（Application Specific Integrated Circuit）を備えていてもよい。

記憶装置２は、フラッシュメモリーなどといった不揮発性の記憶装置であって、後述の処理に必要な画像処理プログラムやデータを記憶している。画像処理プログラムは、例えば非一時的でコンピューター読取可能な記録媒体に記憶され、その記録媒体から当該記憶装置２にインストールされる。

通信装置３は、外部装置とデータ通信を行う装置であり、例えばネットワークインターフェイス、周辺機器インターフェイスなどである。表示装置４は、ユーザーに対して各種情報を表示する装置であり、例えば、液晶ディスプレイなどのディスプレイパネルなどである。入力装置５は、ユーザー操作を検出する装置であり、例えば、キーボード、タッチパネルなどである。

内部装置６は、当該画像処理装置の所定の機能を実行する装置である。例えば、当該画像処理装置が画像形成装置である場合には、内部装置６は、原稿から原稿画像を光学的に読み取る画像読取装置や、プリント用紙に画像をプリントするプリント装置などである。

そして、ここでは、演算処理装置１は、上述の処理部としての、対象画像取得部１１、異常検出部１２、異常統合処理部１３、および異常対応処理部１４として動作する。

対象画像取得部１１は、記憶装置２、通信装置３、内部装置６などから対象画像（画像データ）を取得しＲＡＭなどに記憶する。

異常検出部１２は、既存の方法で、取得された対象画像に含まれている異常を検出する。この実施の形態では、異常検出部１２は、例えばフィルター（２次微分フィルター、ガボールフィルターなど）で異常を検出してその異常の特徴情報を生成する。つまり、フィルターを入力画像に適用して得られた特徴量（フィルター出力）に基づいて異常が検出される。

特徴情報は、異常の位置およびサイズ（後述の検出領域の位置およびサイズ）と、異常の種別（筋、帯、点など）と、異常の検出時のフィルターの出力値に対応する異常度と、色情報とを含む。例えば異常の周辺と異常との濃度差が大きい場合、異常度が大きくなる。なお、異常の種別としては、筋（縦筋や横筋）、帯（縦帯や横帯）、点、紋などがある。

異常統合処理部１３は、検出された異常のうち、後述の所定の統合条件を満たす特定の複数の異常を１つの異常に統合し置き換える。

具体的には、異常統合処理部１３は、（ａ）検出された異常のうちのある異常の種別と別の異常の種別とが同一である場合、当該ある異常の位置と当該別の異常の位置との対応関係に基づいて、当該ある異常と当該別の異常とを統合するか否かを判定し、（ｂ）当該ある異常と当該別の異常とを統合すると判定した場合に、当該ある異常と当該別の異常とを１つの異常に統合する。なお、統合で得られた異常の種別は、当該ある異常および当該別の異常の種別と同一に設定される。

この実施の形態では、異常統合処理部１３は、当該ある異常の検出領域と当該別の異常の検出領域との間の距離に基づいて、当該ある異常と当該別の異常とを統合するか否かを判定する。具体的には、当該距離が所定閾値以下である場合には、両者は統合されるが、そうではない場合には、両者は統合されない。

なお、検出領域は、異常を含む矩形領域であって、異常検出部１２により特定される。

また、この実施の形態では、異常統合処理部１３は、当該ある異常および当該別の異常の種別が所定の種別（向きによって形状が変化する異常の種別。例えば筋など）である場合、（ａ）当該ある異常の検出領域と当該別の異常の検出領域との間の距離、並びに（ｂ）当該ある異常の向きおよび当該別の異常の向きに基づいて、当該ある異常と当該別の異常とを統合するか否かを判定する。具体的には、当該距離が所定閾値以下であり、かつ両者の向きの差（角度差）が所定閾値以下である場合には、両者は統合されるが、そうではない場合には、両者は統合されない。また、種別の異なる異常については、両者間の距離や両者の向きが上述の条件を満たしていても統合されない。

さらに、この実施の形態では、異常統合処理部１３は、当該ある異常および当該別の異常を統合した場合、当該ある異常および当該別の異常を統合して得られる異常の色情報（異常箇所の色値）を、当該ある異常の色情報および当該別の異常の色情報に基づいて設定する。

例えば、統合で得られる異常の色情報（色値）は、当該ある異常の検出領域および当該別の異常の検出領域に対応する重み係数に基づく重み付け平均値とされる。

さらに、この実施の形態では、異常統合処理部１３は、当該ある異常および当該別の異常を統合した場合、当該ある異常および当該別の異常を統合して得られる異常の異常度を、当該ある異常の異常度および当該別の異常の異常度に基づいて設定する。

例えば、統合で得られる異常の異常度は、当該ある異常の異常度および当該別の異常の異常度のうちの最大値とされる。

なお、統合後で得られた異常についても、統合条件を満たす他の異常がある場合には、さらに、両者の統合が実行される。したがって、それぞれ統合条件を満たす３個以上の異常が配列されている場合、その３個以上の異常が１つの異常に統合される。

異常対応処理部１４は、検出された異常についての所定の異常対応処理を実行する。つまり、検出された異常のうち、１つの異常に統合された元々の複数の異常については、異常対応処理は実行されず、統合によって得られた１つの異常について異常対応処理が実行される。異常対応処理は、検出された各異常の報知（異常に対応する不具合箇所の特定やメンテナンスなどを行う作業者に対する、通信装置でのメッセージ送信や表示装置４でのメッセージ表示などによる報知）、検出された各異常について、その異常に対応する不具合箇所の特定、メンテナンス動作などである。

次に、図１に示す画像処理装置の動作について説明する。図２は、図１に示す画像処理装置の動作について説明するフローチャートである。

まず、対象画像取得部１１は、対象画像（画像データ）を取得する（ステップＳ１）。次に、異常検出部１２は、取得された対象画像に含まれている異常を検出し、検出した異常の特徴情報（位置およびサイズ情報、種別、異常度、色情報など）を生成しＲＡＭなどに記憶する（ステップＳ２）。

次に、異常統合処理部１３は、検出された異常における特定の異常を統合する異常統合処理を実行する（ステップＳ３）。

異常対応処理部１４は、検出された異常（異常統合処理後の異常を含む）についての所定の異常対応処理を実行する（ステップＳ４）。

ここで、ステップＳ３の異常統合処理について説明する。図３は、図２における異常統合処理（ステップＳ３）について説明するフローチャートである。図４は、図２における異常統合処理（ステップＳ３）の一例について説明する図である。

異常統合処理部１３は、まず、検出された異常のうちの、同一種別の２つの異常を１つの組として特定する（ステップＳ１１）。

ここで、異常統合処理部１３は、少なくとも１つの組を特定したか否かを判定し（ステップＳ１２）、少なくとも１つの組を特定した場合には、特定した異常の組から１つの組を選択し（ステップＳ１３）、選択した組の２つの異常が上述の統合条件を満たすか否かを判定する（ステップＳ１４）。

選択した組の２つの異常が上述の統合条件を満たす場合、異常統合処理部１３は、選択した組の２つの異常を１つの異常に統合する（ステップＳ１５）。なお、選択した組の２つの異常が上述の統合条件を満たさない場合には、異常統合処理部１３は、選択した組の２つの異常を１つの異常に統合しない。

その際、異常統合処理部１３は、選択した組の２つの異常の検出領域の外接矩形を、統合で得られた異常の検出領域とし、選択した組の２つの異常の異常度に基づいて上述のように統合で得られた異常の異常度を設定し、選択した組の２つの異常の色情報に基づいて上述のように統合で得られた異常の色情報を設定する。また、異常統合処理部１３は、統合で得られた異常と、検出された異常における他の同一種別の異常との組を追加的に特定する。

そして、異常統合処理部１３は、未選択の組があるか否かを判定し（ステップＳ１６）、未選択の組がある場合には、ステップＳ１３に戻り、次の組を選択し、ステップＳ１４以降の処理を同様に実行する。未選択の組がない場合には、異常統合処理部１３は、異常統合処理を終了する。

このようにして、検出された異常において、統合条件を満たす特定の異常が統合される。なお、ステップＳ１２において上述の組が１つも特定されなかった場合には、異常統合処理部１３は、ただちに異常統合処理を終了する。

例えば図４に示すように、本来１つの断続的な筋異常が複数の筋異常として検出された場合でも、異常統合処理によって、その複数の筋異常が１つの筋異常に統合される。

以上のように、上記実施の形態によれば、異常検出部１２は、対象画像に含まれている異常を検出し、異常統合処理部１３は、検出された異常のうちの特定の異常を統合する。そして、異常統合処理部１３は、（ａ）検出された異常のうちのある異常の種別と別の異常の種別とが同一である場合、当該ある異常の位置と当該別の異常の位置との対応関係に基づいて、当該ある異常と当該別の異常とを統合するか否かを判定し、（ｂ）当該ある異常と当該別の異常とを統合すると判定した場合に、当該ある異常と当該別の異常とを統合する。

これにより、本来１つの異常が複数の異常として検出された場合でも、その複数の異常が１つの異常に統合されるため、各異常に対して実行される異常対応処理が減るため、計算コストや処理時間が抑制される。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

例えば、上記実施の形態において、上述の距離の閾値は、異常の種別に応じて別々に設定されていてもよい。

本発明は、例えば、異常検出に適用可能である。

１ 演算処理装置（コンピューターの一例）
１２ 異常検出部
１３ 異常統合処理部

Claims (7)

1. 対象画像に含まれている異常を検出する異常検出部と、
   検出された前記異常のうちの特定の異常を統合する異常統合処理部とを備え、
   前記異常統合処理部は、（ａ）検出された前記異常のうちのある異常の種別と別の異常の種別とが同一である場合、前記ある異常の位置と前記別の異常の位置との対応関係に基づいて、前記ある異常と前記別の異常とを統合するか否かを判定し、（ｂ）前記ある異常と前記別の異常とを統合すると判定した場合に、前記ある異常と前記別の異常とを統合すること、
   を特徴とする画像処理装置。
2. 前記異常統合処理部は、前記ある異常の検出領域と前記別の異常の検出領域との間の距離に基づいて、前記ある異常と前記別の異常とを統合するか否かを判定することを特徴とする請求項１記載の画像処理装置。
3. 前記異常統合処理部は、前記ある異常および前記別の異常の種別が所定の種別である場合、（ａ）前記ある異常の検出領域と前記別の異常の検出領域との間の距離、並びに（ｂ）前記ある異常の向きおよび前記別の異常の向きに基づいて、前記ある異常と前記別の異常とを統合するか否かを判定することを特徴とする請求項１記載の画像処理装置。
4. 前記異常統合処理部は、前記ある異常および前記別の異常を統合した場合、前記ある異常および前記別の異常を統合して得られる異常の色情報を、前記ある異常の色情報および前記別の異常の色情報に基づいて設定することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
5. 前記異常検出部は、フィルターで前記異常を検出して前記異常の特徴情報を生成し、
   前記特徴情報は、前記異常の種別と、前記異常の検出時の前記フィルターの出力値に対応する異常度とを含み、
   前記異常統合処理部は、前記ある異常および前記別の異常を統合した場合、前記ある異常および前記別の異常を統合して得られる異常の異常度を、前記ある異常の異常度および前記別の異常の異常度に基づいて設定すること、
   を特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。
6. 対象画像に含まれている異常を検出する異常検出ステップと、
   検出された前記異常のうちの特定の異常を統合する異常統合ステップとを備え、
   前記異常統合ステップでは、（ａ）検出された前記異常のうちのある異常の種別と別の異常の種別とが同一である場合、前記ある異常の位置と前記別の異常の位置との対応関係に基づいて、前記ある異常と前記別の異常とを統合するか否かを判定し、（ｂ）前記ある異常と前記別の異常とを統合すると判定した場合に、前記ある異常と前記別の異常とを統合すること、
   を特徴とする画像処理方法。
7. コンピューターを、対象画像に含まれている異常を検出する異常検出部、および検出された前記異常のうちの特定の異常を統合する異常統合処理部として機能させ、
   前記異常統合処理部は、（ａ）検出された前記異常のうちのある異常の種別と別の異常の種別とが同一である場合、前記ある異常の位置と前記別の異常の位置との対応関係に基づいて、前記ある異常と前記別の異常とを統合するか否かを判定し、（ｂ）前記ある異常と前記別の異常とを統合すると判定した場合に、前記ある異常と前記別の異常とを統合すること、
   を特徴とする画像処理プログラム。

Images