JP2021152889A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】基準画像登録における設定作業の簡略化を図ることができる画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置は、対象画像における対象物と比較照合する初期マスタ画像を保持し、照合値を算出し、照合値が第一閾値以上であって且つ第二閾値以下となる対象画像を、マスタ画像の候補画像としてユーザに提示する。画像処理装置は、候補画像ごとにマスタ画像として登録するか否かをユーザに選択させ、選択された候補画像をマスタ画像として登録する。【選択図】図５

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来、製造現場では、人や機械が部品を組み立てて、新たな部品や製品を生産する組立工程が多く存在する。その完成品に対して、正しく組み立てが行われたかどうかを検査する検査工程において、不良品流出の防止・工数削減のため、カメラ画像とマスタ画像の照合（テンプレートマッチング）により検査を行うシステムが、多くの現場で導入されている。

また、検査対象である部品の位置や向きにばらつきがあり、画像の見え方が一定でない部品の検査に対応するために、複数のマスタ画像を用いて照合を行うマルチマスタ方式を採用する検査システムがある。

特許文献１では、画像処理による外観検査のためのパラメータの修正作業を容易にすることを目的とし、画像テンプレートの種類ごとに検査項目を分類し、画像テンプレートに関連付けて検査項目を表示装置の画面に一覧表示させる逆引き部を備える検査システムが開示されている。

特許文献２では、停止箇所における対象物の特定画像を基準画像として記憶し、基準画像と取得画像とを比較して工程が正常に行われているか否かを判断する技術が提案されている。

特許文献３では、テンプレート内に、テンプレートと画像との照合の不実施領域、或いは当該テンプレート内の第１の照合領域とは、異なる照合を行う第２の領域を設定し、不実施領域を除外した照合処理、或いは第１と第２の領域を用いた照合処理に基づいて、テンプレートマッチングを実行する技術が提案されている。

特許文献４では、物品照合部が、照合対象物品を撮影した画像と、物品情報記憶部に記憶された各物品の全体画像情報とに基づいて第１の照合を行い、複数の物品の候補が抽出された場合、その抽出された複数の物品の候補の部分特徴情報に含まれる属性情報と、部分特徴情報に含まれる位置情報に対応する照合対象物品の画像の一部とを比較することによって第２の照合を行う技術が提案されている。

特許文献５では、自然発生的な複数の画像の中から、認識対象画像と類似する類似画像を検索し、検索された類似画像に付随する情報の中から、認識対象画像の認識結果の候補となり得る複数のキーワードを抽出し、抽出された複数のキーワードを解析することにより、認識対象画像の認識結果として尤もらしいものを特定し、特定されたキーワードを認識対象画像の認識結果として出力する技術が提案されている。

しかしながら、上記従来のシステムでは、複数のテンプレート画像（マスタ画像）を用いてテンプレートマッチングを行っているが、ばらつきの大きい検査対象に対して複数のマスタ画像を登録するのに手間がかかる。つまり、検査対象の見え方のばらつきが大きいほど、マスタ画像登録や閾値調整等の設定作業に多くの手間と時間がかかる。

本発明は、上記課題に鑑みてなされたものであり、基準画像登録における設定作業の簡略化を図ることができる画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決し、目的を達成するために、本発明に係る画像処理装置は、検査対象となる対象物が映る対象画像と、予め登録される基準画像との比較照合に基づいて、前記対象物が正常か否かを判定する判定手段を備える画像処理装置であって、前記対象画像を繰り返し取得する画像取得手段と、前記対象画像における対象物と比較照合する初期基準画像を保持する保持手段と、前記対象画像と前記初期基準画像とが一致する度合いを示す照合値を算出する照合値算出手段と、前記算出された照合値が所定の第一閾値以上であって且つ所定の第二閾値以下となる前記対象画像を、前記基準画像の候補画像として抽出する抽出手段と、前記候補画像をユーザに提示する提示手段と、候補画像ごとに前記基準画像として登録するか否かを前記ユーザに選択させる操作手段と、選択された候補画像を前記基準画像として登録する登録手段と、を備える。

本発明によれば、マスタ画像登録における設定作業の簡略化を図ることができる、という効果を奏する。

図１は、実施形態に係る画像処理装置が適用された画像処理システムの全体構成の一例を示す図である。 図２は、実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図３は、実施形態に係る画像処理装置の機能ブロックの構成例を示すブロック図である。 図４は、実施形態に係る画像処理装置の初期マスタ作成処理の流れの一例を示すフローチャートである。 図５は、実施形態に係る画像処理装置のマスタ自動追加処理の流れの一例を示すフローチャートである。 図６は、実施形態に係る画像処理装置のマッチング判定処理の流れの一例を示すフローチャートである。 図７は、実施形態に係る画像処理装置に表示される検査画面の一例を示す図である。 図８は、実施形態に係る画像処理装置に表示されるマスタ候補振り分け画面の一例を示す図である。 図９は、実施形態に係る画像処理装置のヒット数の順位の一例を示す図である。 図１０は、実施形態に係る画像処理装置に表示されるユニット組立検査画面の一例を示す図である。 図１１は、実施形態に係る画像処理装置に表示される電子基板組立検査画面の一例を示す図である。 図１２は、実施形態に係る画像処理装置に表示されるプレス部品検査画面の一例を示す図である。 図１３は、実施形態に係る画像処理装置に表示される梱包数検査画面の一例を示す図である。 図１４（ａ）及び図１４（ｂ）は、実施形態に係る画像処理装置に表示される箱破れ検査画面の一例を示す図である。 図１５（ａ）は、ラベル印字検査に関するマスタ画像の一例を示す図、図１５（ｂ）は、実施形態に係る画像処理装置に表示されるラベル印字検査画面の一例を示す図である。 図１６は、グリス塗布検査について説明する図である。 図１７は、グリスの画像例を示す図である。 図１８は、背景画像をマスタ画像として登録する場合を説明する図である。 図１９は、検査画面の一例を示す図である。

以下、本発明に係る画像処理装置及び画像処理方法の実施形態を図面を参照して詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

図１は、実施形態に係る画像処理装置が適用された画像処理システムの全体構成の一例を示す図である。図１に示すように、本実施形態に係る画像処理装置が適用された画像処理システム１は、カメラ２ａ〜２ｄと、画像処理装置３と、ハブ４と、を含む。

カメラ２ａ〜２ｄは、被写体から光を電気信号に変換することによって被写体を撮像（撮影）し、複数のフレーム（画像データ）で構成された動画（例えば、１０［ＦＰＳ］、２５［ＦＰＳ］等）を生成するビデオカメラである。例えば、カメラ２ａ〜２ｄは、製品を生産する生産設備または生産ライン等で検査対象となる部品や半製品を撮像して画像データを生成する。なお、カメラ２ａ〜２ｄを区別なく呼称する場合、または総称する場合、単に「カメラ２」というものとする。また、図１では、画像処理システム１は、４台のカメラ２を含む構成となっているが、これに限定されるものではなく、他の台数のカメラ２を含む構成であってもよい。

画像処理装置３は、各カメラ２によって撮像された映像データに基づいて画像処理を実行する画像処理装置として機能するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）またワークステーション等である。

ハブ４は、カメラ２ａ〜２ｄを画像処理装置３と接続するためのＥｔｈｅｒｎｅｔ（登録商標）規格に対応した集線装置である。ハブ４は、例えば、Ｅｔｈｅｒｎｅｔ規格に対応している場合、カメラ２ａ〜２ｄと、画像処理装置３とはＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルによりデータ通信が行われる。この場合、カメラ２ａ〜２ｄ及び画像処理装置３は、ＴＣＰ／ＩＰのプロトコルにより通信するためのＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレスを有し、かつプライベートＩＰアドレス等のＩＰアドレスが割り当てられている。なお、図１に示すハブ４は、ＴＣＰ／ＩＰのプロトコルによる通信を中継する例を示したが、これに限定されるものではない。例えば、画像処理装置３側にＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）端子またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートを有し、複数のカメラ２がＶＧＡケーブルまたはＵＳＢケーブルを介してハブ４に集線されて画像処理装置３に接続される形態等であってもよい。

また、各カメラ２は、ハブ４を介して画像処理装置３に接続される構成について説明したが、これに限定されるものではなく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、専用回線またはインターネット等のネットワークを介して画像処理装置３と通信する構成としてもよい。

なお、上述したように、カメラ２の台数に限定はないが、以下の説明では、図１に示したように、カメラ２が４台接続された構成を例として説明する。

図２は、実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図２に示すように、画像処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、外部記憶装置１０４と、ディスプレイ１０５と、ネットワークＩ／Ｆ１０６と、キーボード１０７と、マウス１０８と、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１０９と、外部機器Ｉ／Ｆ１１１と、スピーカ１１２と、を備えている。

ＣＰＵ１０１は、画像処理装置３全体の動作を制御する装置である。ＲＯＭ１０２は、画像処理装置３用のＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）およびファームウェア等のプログラムを記憶している不揮発性記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される揮発性記憶装置である。

外部記憶装置１０４は、カメラ２から受信した画像データ、基準画像データ、および設定情報等の各種データを記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。

ディスプレイ１０５は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または画像処理装置３による画像処理を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ１０５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。なお、ディスプレイ１０５は、例えば、画像処理装置３の本体に対して、ＶＧＡケーブルまたはＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル等によって接続されたり、または、Ｅｔｈｅｒｎｅｔケーブルによって接続される。ディスプレイ１０５は、例えば、図７に示すように、検査画面４００を表示する。検査画面４００は、複数の画像が表示されるマルチカメラ表示領域４０１（４０１Ａ，４０１Ｂ，４０１Ｃ，４０１Ｄ）、各種設定ボタン類が配置された設定領域４０２、正常（ＯＫ）か異常（ＮＧ）かの判定結果が表示される判定結果表示領域４０３とで構成される。

ネットワークＩ／Ｆ１０６は、ハブ４に接続してデータ通信するためのインターフェースである。ネットワークＩ／Ｆ１０６は、例えば、ＴＣＰ／ＩＰのプロトコルで通信可能にするＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。具体的には、画像処理装置３は、カメラ２から、ネットワークＩ／Ｆ１０６を介して、映像データを受信する。

キーボード１０７は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の設定等を行う入力装置である。マウス１０８は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の設定等を行うための入力装置である。

ＤＶＤドライブ１０９は、着脱自在な記憶媒体の一例としてのＤＶＤ１１０に対するデータの読み出し、書き込みおよび削除を制御する装置である。

外部機器Ｉ／Ｆ１１１は、例えば、外部機器等と接続してデータ通信をするためのインターフェースである。外部機器Ｉ／Ｆ１１１は、例えば、ＴＣＰ／ＩＰのプロトコルで通信可能にするＮＩＣ、または、ＵＳＢインターフェースカードである。具体的には、画像処理装置３は、外部機器と、外部機器Ｉ／Ｆ１１１を介してデータ通信を行う。

スピーカ１１２は、後述する作業時間等に対する異常判定において異常と判定された場合等に音声で通知する音声出力装置である。

上述のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、ディスプレイ１０５、ネットワークＩ／Ｆ１０６、キーボード１０７、マウス１０８、ＤＶＤドライブ１０９、外部機器Ｉ／Ｆ１１１、及びスピーカ１１２は、アドレスバスおよびデータバス等のバス１１３によって互いに通信可能に接続されている。なお、ディスプレイ１０５が、Ｅｔｈｅｒｎｅｔケーブルによって接続される場合には、ネットワークＩ／Ｆ１０６に接続されることになり、この場合、ＴＣＰ／ＩＰ等のプロトコルによりデータ通信が行われる。

図３は、実施形態に係る画像処理装置の機能ブロックの構成例を示すブロック図である。なお、図３においては、説明を簡略化するため、ハブ４の図示を省略して説明する。

図３に示すように、画像処理装置３は、映像受信部３０１と、検知枠設定部３０２と、マスタ設定部３０３と、マスタ自動追加部３０４と、判定部３０５と、設定データ保持部３０６と、判定データ出力部３０７と、を備える。

映像受信部３０１は、ハブ４を介して、各カメラ２から画像データを取得する機能部である。映像受信部３０１は、画像取得手段の一例である。映像受信部３０１は、検査対象となる対象物が映る対象画像を繰り返し取得して外部記憶装置１０５等に画像データとして記憶させる機能を有する。映像受信部３０１は、図２に示すネットワークＩ／Ｆ１０６によって実現される。

検知枠設定部３０２は、画像データに対応する画像内に検知枠４２０を設定する機能部である。検知枠４２０とは、図１０〜図１５（ｂ）に示すように、検査対象となる対象物が映る対象画像から対象物（画像領域）を切り出して認識する画像領域である。検知枠を設定することで、画像全体ではなく画像の一部のみを検知の対象とする。検知枠設定部３０２は、対象画像に複数の対象物が写っている場合は、対象物ごとに検知枠を設定する機能を有する。また、検知枠設定部３０２は、設定した検知枠に対応する検知枠情報を外部記憶装置１０４に保持させる機能を有する。検知枠情報は、例えば、対象画像における検知枠の縦横サイズ、位置等が含まれる。

マスタ設定部３０３は、検知枠ごとにマスタ画像を設定する機能部である。マスタ画像は、対象画像における対象物と比較照合する基準画像である。本実施形態では、検査対象である部品の位置や向きにばらつきがあり、画像の見え方が一定でない部品の検査に対応するために、複数のマスタ画像を用いて比較照合が行われる。マスタ設定部３０３は、設定したマスタ画像に対応するマスタ画像情報を外部記憶装置１０４に保持させる機能を有する。

マスタ自動追加部３０４は、初期マスタ画像（初期基準画像）に基づいて自動でマスタ画像を追加する機能部である。初期マスタ画像は、複数のマスタ画像における基準となるものである。マスタ自動追加部３０４は、対象画像と初期マスタ画像とによるテンプレートマッチングに基づいて、対象画像と初期マスタ画像とが一致する度合いを示す照合値を算出する機能を有する。マスタ自動追加部３０４は、照合値算出手段の一例である。照合値は、例えば画像の類似度であり、２つの画像を比較照合した際に、どれだけ２枚の画像が似ているかを表した数値のことである。画像類似度値を算出する方法の一つとして、例えばヒストグラムを利用して画像の類似度値を計算する方法がある。

また、マスタ自動追加部３０４は、算出した照合値が第一閾値以上であって且つ第二閾値以下となる対象画像を、マスタ画像の候補画像として抽出する機能を有する。マスタ自動追加部３０４は、抽出手段の一例である。第一閾値は、照合値の下限値を設定するものである。第二閾値は、照合値の上限値を設定するものであり、第一閾値よりも高く設定されている。第一閾値及び第二閾値は、外部記憶装置１０４等に保持されている。マスタ自動追加部３０４は、抽出したマスタ画像の候補画像を外部記憶装置１０４に一時的に保持させる。

また、マスタ自動追加部３０４は、ユーザに対して、複数のマスタ画像の候補画像のなかからマスタ画像として登録するものを選択させる機能を有する。具体的には、マスタ自動追加部３０４は、外部記憶装置１０４等から複数の候補画像を読み出してディスプレイ１０５に一覧表示する。ディスプレイ１０５は、提示手段の一例である。このように、画像処理装置３がマスタ画像の候補を自動で提示する処理を、設定の「半自動化」と呼ぶ。マスタ自動追加部３０４は、図８に示すように、ディスプレイ１０５に表示された振り分け画面４１０上の候補画像の一覧に対して、マウス１０８やキーボード１０７の操作に応じて、候補画像ごとにマスタ画像として登録するものと、登録しないものとを振り分ける。図示例では、複数の候補画像のそれぞれに対応するナンバーが画面中央に縦方向に配列されている。ユーザは、マウスのポインタ４１１で所望のナンバーをドラッグし、画面の左右に配置された「使う」領域４１２、「使わない」領域４１３のいずれかに移動してドロップすることで、当該ナンバーに対応する候補画像をマスタ画像として登録するか、非登録にする。ここで「使う」領域４１２は、マスタ画像として登録を行う候補画像が振り分けられる領域であり、例えばＮｏ．５，４の候補画像がマスタ画像として選択されたことを示す。一方、「使わない」領域４１３は、マスタ画像として登録を行わない候補画像が振り分けられる領域であり、例えばＮｏ．８の候補画像についてはマスタ画像として登録を行わないことを示す。マウス１０８やキーボード１０７は、操作手段の一例である。登録する候補画像は、新たなマスタ画像として登録され、対象画像との比較照合に利用される。一方、登録しない候補画像は、画像データごと廃棄される。マスタ自動追加部３０４は、登録手段の一例である。

判定部３０５は、対象画像とマスタ画像とによるテンプレートマッチングに基づいて、対象物が正常か、異常かの判定を行う機能部である。判定部３０５は、判定手段の一例である。

また、判定部３０５は、対象物が正常判定される度に、当該判定に用いられたマスタ画像の使用履歴を外部記憶装置１０４に保持させる。外部記憶装置１０４は、記憶手段の一例である。マスタ画像の使用履歴４０５は、図９に示すように、外部記憶装置１０４に保持されたマスタ画像（例えば、図示のＭ３，Ｍ５，Ｍ１等）ごとに紐づけて、当該外部記憶装置１０４に保持される。判定部３０５は、登録された複数のマスタ画像の中から使用履歴４０５の多い順にマスタ画像を取得して対象物の判定を行う機能を有する。具体的には、判定部３０５は、例えば、外部記憶装置１０４に保持されている複数のマスタ画像を使用履歴４０５の多い順に並べかえて、最も使用履歴４０５の多いマスタ画像から対象物の判定を行う。

設定データ保持部３０６は、上述した検知枠情報、マスタ画像情報、マスタ画像の使用履歴情報等を保持する機能部である。設定データ保持部３０６は、保持手段の一例である。設定データ保持部３０６は、図２に示す外部記憶装置１０４によって実現される。

判定データ出力部３０７は、判定結果データを出力する機能部である。判定データ出力部３０７は、ディスプレイ１０５の表示制御を行い、判定部３０５で対象物が正常であると判定された場合、図１４（ａ）に示すように、例えばディスプレイ１０５に表示されている検知枠に対応させた状態で「ＯＫ」等のディスプレイ表示を行う。一方、判定データ出力部３０７は、判定部３０５で対象物が異常であると判定された場合、図１４（ｂ）に示すように、例えば当該検知枠に対応させた状態で「ＮＧ」等のディスプレイ表示を行う。

なお、図３に示した各機能部の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。

また、図３に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

また、図３に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

図４は、実施形態に係る画像処理装置の初期マスタ作成処理の流れの一例を示すフローチャートである。

ステップＳ１０１では、映像受信部３０１は、各カメラ２から画像データを取得する。画像データは、対象画像として外部記憶装置１０４に一時記憶される。なお、映像受信部３０１は、カメラ２からのリアルタイム画像からのみでなく、動画ファイルを読み込み、コマ送りやスクロールしながら最適な画像を選び、画像データとして取得することもできる。このように動画ファイルから画像データを取得するのは、自動設備の検査用途を想定し、リアルタイム画像で検査対象を最適な場所で止めることが難しい時に、一連の動画ファイルを撮り、読み込んだ動画ファイルから静止画を選び、基準画像の設定をするためである。

ステップＳ１０２では、検知枠設定部３０２は、ステップＳ１０１で取得された画像データに基づいて検知枠を作成する。検知枠に対応する検知枠情報は、外部記憶装置１０４に記憶される。

ステップＳ１０３では、マスタ設定部３０３は、検知枠ごとに初期マスタ画像を作成し、本処理を終了する。初期マスタ画像及び初期マスタ画像に対応する画像情報は、検知枠ごとに外部記憶装置１０４に記憶される。

図５は、実施形態に係る画像処理装置のマスタ自動追加処理の流れの一例を示すフローチャートである。

ステップＳ２０１では、映像受信部３０１は、各カメラ２から画像データを取得する。画像データは、対象画像として外部記憶装置１０４に一時記憶される。

ステップＳ２０２では、マスタ自動追加部３０４は、対象画像と初期マスタ画像とによるテンプレートマッチング処理を行う。マスタ自動追加部３０４は、対象画像と初期マスタ画像とによるテンプレートマッチングに基づいて照合値を算出する。

ステップＳ２０３では、マスタ自動追加部３０４は、ステップＳ２０２で算出した照合値を、閾値の上限値および下限値と比較する。この判定の結果、照合値が閾値の上限値以下かつ下限値以上である場合は（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０４へ進む。一方、照合値が閾値の上限値を超える場合、または、照合値が閾値の下限値未満である場合（ステップＳ２０３：Ｎｏ）、マスタ自動追加部３０４は、算出した照合値を破棄してステップＳ２０１へ戻る。

ステップＳ２０４では、マスタ自動追加部３０４は、照合値が閾値の上限値以下かつ下限値以上である対象画像を抽出し、マスタ候補として追加する。マスタ候補は、マスタ画像の候補画像として外部記憶装置１０４に保持される。

ステップＳ２０５では、マスタ自動追加部３０４は、一定回数繰り返し処理を行った否か判定し、一定回数に達していない場合には（ステップＳ２０５：Ｎｏ）、ステップＳ２０１に戻る。一方、一定回数に達した場合には（ステップＳ２０５：Ｙｅｓ）、本処理を終了する。繰り返し回数は、例えば、候補画像として必要な回数が設定される。

図６は、実施形態に係る画像処理装置のマッチング判定処理の流れの一例を示すフローチャートである。

ステップＳ３０１では、映像受信部３０１は、各カメラ２から画像データを取得する。画像データは、対象画像として外部記憶装置１０４に一時記憶される。

ステップＳ３０２では、判定部３０５は、判定トリガがＯＮになったか否かを判定する。判定トリガがＯＮになった場合は（ステップＳ３０２：Ｙｅｓ）、ステップＳ３０３に進む。一方、判定トリガがＯＮになっていない場合は（ステップＳ３０２：Ｎｏ）、ステップＳ３０１に戻る。判定トリガは、例えば抜取検査のように、全数検査ではなく、任意のタイミングで判定を行うために設定されたものである。

ステップＳ３０３では、判定部３０５は、対象画像と、複数のマスタ画像におけるＮ（変数）番目のマスタ画像とによるテンプレートマッチングに基づいて照合値を算出する。ここでＮ＝自然数であり、例えば、複数のマスタ画像を順に並べてときの任意の順番である。複数のマスタ画像が使用頻度の多い順に並んでいる場合、Ｎ＝１では、使用頻度が最も多いマスタ画像を意味する。

ステップＳ３０４では、判定部３０５は、照合値が閾値以上か否かを判定する。この閾値は、例えば、上述した閾値の下限値である。この判定の結果、照合値が閾値以上の場合（ステップＳ３０４：Ｙｅｓ）、ステップＳ３０５へ進む。一方、照合値が閾値未満の場合（ステップＳ３０４：Ｎｏ）、ステップＳ３０６へ進む。

ステップＳ３０５では、判定部３０５は、例えばディスプレイ１０５に表示されている検知枠に対応させた状態で「ＯＫ」等のディスプレイ表示を行い、本処理を終了する。

ステップＳ３０６では、判定部３０５は、変数Ｎに１を加算し、Ｎ＝Ｎ＋１とする。

ステップＳ３０７では、判定部３０５は、変数Ｎがマスタ画像の数より多いか否かを判定する。変数Ｎがマスタ画像の数以下である場合は（ステップＳ３０７：Ｎｏ）、ステップＳ３０３へ戻る。一方、変数Ｎがマスタ画像の数より多い場合は（ステップＳ３０７：Ｙｅｓ）、ステップＳ３０８へ進む。ここで、マスタ画像の数は、マスタ画像として登録されているものであって、外部記憶装置１０４に記憶されているマスタ画像の数である。

ステップＳ３０８では、判定部３０５は、例えばディスプレイ１０５に表示されている検知枠に対応させた状態で「ＮＧ」等のディスプレイ表示を行い、本処理を終了する。

以上のように、本実施形態の画像処理装置３は、対象画像における対象物と比較照合する初期マスタ画像を保持し、対象画像と初期マスタ画像とによるテンプレートマッチングに基づいて照合値を算出し、照合値が第一閾値以上であって且つ第二閾値以下となる対象画像を、マスタ画像の候補画像としてユーザに提示する。画像処理装置３は、候補画像ごとにマスタ画像として登録するか否かをユーザに選択させ、選択された候補画像をマスタ画像として登録する。

上記構成により、従来、複数のマスタ画像の全てに対して、例えばユーザがマウスのドラッグ操作で検知枠を指定する必要があったが、ユーザは１度のみ初期マスタ画像を登録した後は、マスタ画像の候補を登録するかしないかの選択作業を行うことで、マスタ画像の登録を容易に行うことができ、マスタ画像登録における設定作業の簡略化を図ることができる。

また、本実施形態の画像処理装置３は、対象物が正常判定される度に、当該判定に用いられたマスタ画像の使用履歴４０５を外部記憶装置１０４に記録し、判定部３０５が、登録された複数のマスタ画像の中から使用履歴４０５の多い順にマスタ画像を取得して対象物の判定を行う。マスタ画像の登録数が多くなると、テンプレートマッチング処理に時間がかかることから、使用履歴４０５の多いマスタ画像から順に対象画像と比較照合させることで、対象物が正常か否かの判定を早期に実施する確率を高くすることができ、当該処理の高速化を図ることができる。この結果、対象物を正常か否か判定するための判定時間の短縮を図ることができる。

なお、本実施形態においては、対象画像と初期マスタ画像とによるテンプレートマッチングに基づいて、照合値を算出するようにしたが、これに限るものではなく、対象画像と初期マスタ画像との画素数の違いに基づいて照合値を算出するようにしてもよい。また、照合値は、機械学習結果から得られる値を用いるようにしてもよい。

また、本実施形態においては、検査対象となる対象物が映る対象画像と、予め登録される基準画像との比較照合に基づいて、対象物が正常か否かを判定するようにしたが、これに限るものではない。ここで、図１６はグリス塗布検査について説明する図である。図１６（ａ）に示すように、グリス塗布検査においては、検査対象となる対象物５００に対して、グリス塗布シリンダー（ディスペンサー）６００によるグリス塗布の状態を、カメラ２で撮影した画像データに基づいて検査する。

図１６（ｂ）はグリス塗布前の対象物５００が映る対象画像を示し、図１６（ｃ）はグリス塗布後の対象物５００が映る対象画像を示すものである。通常の検査対象となる対象物は、製品に組み付けられたネジなど、毎回同じものが組み付いているべきなので、ネジそのものがマスタ画像になる。一方、図１６（ｃ）に示すグリス５０１のような粘性のある半液体のものの場合は、形が毎回一定ではなくなる。

図１７は、グリス５０１の画像例を示す図である。図１７に示すように、グリス５０１の形は毎回一定ではないため、そのあらゆる形状を全てマスタ画像として登録しようとすると、マスタ画像の数が莫大な量になってしまう。

図１８は、背景画像をマスタ画像として登録する場合を説明する図である。そこで、図１８に示すように、設定データ保持部３０６は、初期基準画像に対応する背景画像を基準背景画像として保持し、グリスそのものではなく、グリスが無い背景画像をマスタ画像として登録するようにしてもよい。この場合、マスタ自動追加部３０４は、例えば対象画像と基準背景画像とによるテンプレートマッチングに基づいて、対象画像と基準背景画像とが一致する度合いを示す照合値を算出する。そして、判定部３０５は、対象画像と基準背景画像との照合値が所定の閾値以下となる場合、対象物が正常であると判定する。

図１９は、検査画面の一例を示す図である。図１９に示すように、判定部３０５は、グリスが塗布されて背景画像がグリスで隠されている場合、ＯＫとして判定する。なお、判定部３０５は、背景画像のままである場合、ＮＧとして判定する。こうすることにより、マスタ画像の数を制限することができる。

１ 画像処理システム
２ａ〜２ｄ カメラ
３ 画像処理装置
４ ハブ
３０１ 映像受信部
３０２ 検知枠設定部
３０３ マスタ設定部
３０４ マスタ自動追加部
３０５ 判定部
３０６ 設定データ保持部
３０７ 判定データ出力部

特開２００９−２１７３６８号公報 特開２０１８−１０３６８号公報 特許第５５６８２７７号公報 特許第５８６９９８８号公報 特許第５２０００１５号公報

Claims (5)

1. 検査対象となる対象物が映る対象画像と、予め登録される基準画像との比較照合に基づいて、前記対象物が正常か否かを判定する判定手段を備える画像処理装置であって、
   前記対象画像を繰り返し取得する画像取得手段と、
   前記対象画像における対象物と比較照合する初期基準画像を保持する保持手段と、
   前記対象画像と前記初期基準画像とが一致する度合いを示す照合値を算出する照合値算出手段と、
   前記算出された照合値が所定の第一閾値以上であって且つ所定の第二閾値以下となる前記対象画像を、前記基準画像の候補画像として抽出する抽出手段と、
   前記候補画像をユーザに提示する提示手段と、
   候補画像ごとに前記基準画像として登録するか否かを前記ユーザに選択させる操作手段と、
   選択された候補画像を前記基準画像として登録する登録手段と、
   を備えることを特徴とする画像処理装置。
2. 前記照合値算出手段は、前記対象画像と前記初期基準画像とによるテンプレートマッチングに基づいて、前記照合値を算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記対象物が正常判定される度に、当該判定に用いられた前記基準画像の使用履歴を記録する記憶手段をさらに備え、
   前記判定手段は、
   前記登録手段に登録された複数の基準画像の中から前記使用履歴の多い順に前記基準画像を取得して前記対象物の判定を行う、
   請求項１または２に記載の画像処理装置。
4. 前記保持手段は、
   前記初期基準画像に対応する背景画像を基準背景画像として保持し、
   前記照合値算出手段は、
   前記対象画像と前記基準背景画像とが一致する度合いを示す照合値を算出し、
   前記判定手段は、
   前記対象画像と前記基準背景画像との照合値が所定の閾値以下となる場合、前記対象物が正常であると判定する、
   ことを特徴とする請求項１ないし３の何れか一項に記載の画像処理装置。
5. 検査対象となる対象物が映る対象画像と、予め登録される基準画像との比較照合に基づいて、前記対象物が正常か否かを判定する判定手段を備える画像処理装置で実行される画像処理方法であって、
   前記対象画像を繰り返し取得する画像取得工程と、
   前記対象画像における対象物と比較照合する初期基準画像を記憶手段に保持する保持工程と、
   前記対象画像と前記初期基準画像とが一致する度合いを示す照合値を算出する照合値算出工程と、
   前記算出された照合値が所定の第一閾値以上であって且つ所定の第二閾値以下となる前記対象画像を、前記基準画像の候補画像として抽出する抽出工程と、
   前記候補画像をユーザに提示手段で提示する提示工程と、
   候補画像ごとに前記基準画像として登録するか否かを操作手段で前記ユーザに選択させる操作工程と、
   選択された候補画像を前記基準画像として前記記憶手段に登録する登録手段と、
   を備えることを特徴とする画像処理方法。

Images