JP2013182395A - 対象物検査装置、対象物検査方法及び対象物検査プログラム - Google Patents

Abstract

【課題】周囲の明るさが不安定であっても高精度に対象物の検査ができるようにする。
【解決手段】検査対象物であるドアの現画像を撮像するカメラ２００と、現画像と対比させる参照画像を記憶する参照画像記憶部３７０と、現画像と参照画像の座標系を合致させる基本座標系作成部３１０と、検査対象物が備える照合対象物の探索領域を記憶する探索領域記憶部３８０と、探索領域を照合対象物に設定する探索領域設定部３２０と、現画像と参照画像の照合対象物を探索領域内で照合する照合部３３０と、照合対象物の類似度を算出する類似度算出部３４０と、を有し、照合部３３０は、現画像と参照画像の探索領域内で、照合対象物同士を照合する対象物照合及び照合対象物の周辺同士を照合する周辺照合の少なくともいずれか一方の照合を行い、類似度算出部３４０は、対象物照合及び周辺照合の少なくともいずれか一方の照合を行った結果から、照合対象物の類似度を算出する。
【選択図】図２

Description

本発明は、周囲の明るさが不安定であっても高精度に対象物の検査ができる対象物検査装置、対象物検査方法及び対象物検査プログラムに関する。

生産現場で生産される製品には均一な生産品質を確保することが求められる。このため、検査工程においては、作業員の目視による外観検査や、画像処理技術を応用した外観検査が行われる。

最近では、熟練した作業員の人員が不足する一方で、検査作業の効率化、生産コストの削減が求められているため、製品の外観検査は、画像処理装置を用いて行うことが多くなった。

画像処理装置を用いて製品の外観検査を行う場合、画像処理にとっては不利となる、明るさが不安定な作業現場の環境下で、いかに速く、正確に、製品の外観を検査できるか、ということが重要になる。

明るさが不安定な作業現場で精度の高い検査ができる画像処理装置としては、下記特許文献１に示す技術がある。特許文献１に記載されている技術は、一様な照明変化はなくてもスペクトルムラがあるときに、そのスペクトルムラを欠陥と誤検出してしまうことを防止している。

特開２００９−２１１４５５号公報

上記特許文献１に開示されているように、近年では、画像処理技術は格段な進歩を遂げており、ある程度の照度変化やスペクトルムラがあっても高精度な検査が可能である。

しかし、この技術を持ってしても高精度な検査が困難な製品がある。たとえば、取り付けられているねじの色が背景の色と同色の製品、ねじ又はボルトを取り付ける穴を有しており背景の色が黒系の製品である。このような製品としては、たとえば、自動車に装着するドア、フード、トランクなどの部品が例示できる。

これらの部品では、背景となるドア、フード、トランクと検査対象となる穴やねじがほぼ同色であり、また、自動車の生産現場は周囲の明るさが不安定（天候、時間帯、季節によって大きく異なる）であるので、上記の引用文献１に記載されている技術を適用しても高精度な検査は難しい。

本発明は、このような従来の技術の問題点を解消するために成されたものであり、周囲の明るさが不安定であっても高精度に対象物の検査ができる対象物検査装置、対象物検査方法及び対象物検査プログラムの提供を目的とする。

上記目的を達成するための本発明に係る対象物検査装置は、カメラ、参照画像記憶部、基本座標系作成部、探索領域記憶部、探索領域設定部、照合部及び類似度算出部を有する。

カメラは、検査対象物の現画像を撮像する。参照画像記憶部は、前記現画像と対比させる参照画像を記憶する。基本座標系作成部は、前記現画像と前記参照画像の座標系を合致させる。探索領域記憶部は、前記検査対象物が備える照合対象物の探索領域を記憶する。探索領域設定部は、前記探索領域を前記照合対象物に設定する。照合部は、前記現画像と前記参照画像の照合対象物を探索領域内で照合する。類似度算出部は、前記照合対象物の類似度を算出する。前記照合部は、前記現画像と前記参照画像の前記探索領域内で、照合対象物同士を照合する対象物照合及び前記照合対象物の周辺同士を照合する周辺照合の少なくともいずれか一方の照合を行い、前記類似度算出部は、前記対象物照合及び前記周辺照合の少なくともいずれか一方の照合を行った結果から、照合対象物の類似度を算出する。

上記目的を達成するための本発明に係る対象物検査方法は、検査対象物の現画像を撮像する撮像段階と、前記現画像と対比させる参照画像と前記現画像との座標系を合致させる基本座標系作成段階と、前記検査対象物が備える照合対象物の探索領域を前記照合対象物に設定する探索領域設定段階と、前記現画像と前記参照画像の照合対象物を探索領域内で照合する照合段階と、前記照合対象物の類似度を算出する類似度算出段階と、を含み、前記照合段階では、前記現画像と前記参照画像の前記探索領域内で、照合対象物同士を照合する対象物照合及び前記照合対象物の周辺同士を照合する周辺照合の少なくともいずれか一方の照合を行い、前記類似度算出段階では、前記対象物照合及び前記周辺照合の少なくともいずれか一方の照合を行った結果から、照合対象物の類似度を算出する。

上記目的を達成するための本発明に係る対象物検査プログラムは、コンピュータを、カメラが撮像した検査対象物の現画像に対比させる参照画像を記憶する参照画像記憶部と、前記現画像と前記参照画像の座標系を合致させる基本座標系作成部と、前記検査対象物が備える照合対象物の探索領域を記憶する探索領域記憶部と、前記探索領域を前記照合対象物に設定する探索領域設定部と、前記現画像と前記参照画像の前記探索領域内で、前記照合対象物同士を照合する対象物照合及び前記照合対象物の周辺同士を照合する周辺照合の少なくともいずれか一方の照合を行い、前記現画像と前記参照画像の照合対象物を照合する照合部と、前記対象物照合及び前記周辺照合の少なくともいずれか一方の照合を行った結果から、照合対象物の類似度を算出する類似度算出部と、として機能させる。

本発明によれば、対象物照合と周辺照合を用いて照合対象物を照合するので、周囲の明るさが不安定であっても高精度に対象物の検査ができる。

本実施形態に係る対象物検査装置を構成するカメラ、ＰＣ、照明の設置状態を示す図である。 図１に示したＰＣの具体的な構成を示すブロック図である。 本実施形態に係る対象物検査装置が行う対象物照合と周辺照合の説明に供する図である。 本実施形態に係る対象物検査装置が行う組合せ照合の説明に供する図である。 本実施形態に係る対象物検査装置が行う組合せ照合の説明に供する図である。 本実施形態に係る対象物検査装置のメイン動作フローチャートである。 図６に示したメイン動作フローチャートのステップＳ１０の処理を示すサブルーチン動作フローチャートである。 図６に示したメイン動作フローチャートのステップＳ２０の処理を示すサブルーチン動作フローチャートである。 図６に示したメイン動作フローチャートのステップＳ３０の処理を示すサブルーチン動作フローチャートである。 図６に示したメイン動作フローチャートのステップＳ３０の処理を示すサブルーチン動作フローチャートである。 本実施形態に係る対象物検査装置の処理手順の模試図である。 閾値を変化させたときのボルトの照合正答率の相違を示す図である。 閾値を変化させたときの穴の照合正答率の相違を示す図である。 周囲の明るさが変化したときの従来技術と本発明における照合正答率の相違を示す図ある。

次に、本実施形態に係る対象物検査装置、対象物検査方法及び対象物検査プログラムについて説明する。

［対象物検査装置の設置状態］
図１は、本実施形態に係る対象物検査装置を構成するカメラ、ＰＣ、照明の設置状態を示す図である。

検査工程には本実施形態に係る対象物検査装置１００が設置される。対象物検査装置１００は、検査対象物となるドアＷの現画像を撮像するカメラ２００と、カメラ２００で撮像した現画像に対して照合のための画像処理を行うＰＣ（パーソナルコンピュータ）３００と、ドアの内側を照らす２台の照明４００を備える。

カメラ２００はドアの搬送方向（図示Ａ方向）に対して垂直な方向に光軸が向くように配置される。照明４００はカメラ２００を挟んでドアの搬送方向（図示Ａ方向）に沿って２台並べられる。ＰＣ３００は、カメラ２００の後方に配置され、カメラ２００で撮像されたドアＷの現画像や照合結果を表示するディスプレイ（図示せず）を備える。

［対象物検査装置の構成及び概略の動作］
図２は、図１に示したＰＣ３００の具体的な構成を示すブロック図である。

ＰＣ３００は、演算を司る部分として、基本座標系作成部３１０、探索領域設定部３２０、照合部３３０、類似度算出部３４０を有する。表示を司る部分として表示部３５０を有する。情報の記憶を司る部分として、車種情報記憶部３６０、参照画像記憶部３７０、探索領域記憶部３８０、閾値記憶部３９０を有する。

ＰＣ３００は、コンピュータの一般的な構成要素であるＲＡＭ、ＲＯＭ、ＣＰＵを備える。基本座標系作成部３１０、探索領域設定部３２０、照合部３３０、類似度算出部３４０は、ＲＡＭやＲＯＭに記憶させた対象物検査プログラムとＣＰＵの演算機能とによって形成される。車種情報記憶部３６０、参照画像記憶部３７０、探索領域記憶部３８０、閾値記憶部３９０は、ＲＡＭやＲＯＭに形成させても良く、現在一般的に用いられているＨＤＤなどの外部記憶装置に形成させても良い。

下記のように、対象物検査装置１００は、対象物検査プログラムを実行することによって後述する対象物検査方法を実施し、ドアに存在するべき部品の欠品検査、誤取り付け検査を実施する。

カメラ２００はＰＣ３００の基本座標系作成部３１０に接続される。

カメラ２００とＰＣ３００とで本実施形態に係る対象物検査装置１００が構成される。

本実施形態で検査対象物として例示する自動車の部品はドアである。ただし、本発明はドア以外の、たとえばフードやトランクなどの開閉部品、その他、自動車の部品以外の製品に対しても適用することができる。

車種情報記憶部３６０は自動車の車種及び仕様の情報を記憶する。たとえば、現在検査しようとしているドアの適用車種、塗装色、取り付けられるモジュールなどの車種及び仕様の情報である。

参照画像記憶部３７０はカメラ２００よって撮像されているドアの現画像と対比させるための参照画像を記憶する。参照画像は、車種情報記憶部３６０が記憶するすべての車種及び仕様の数だけ用意される。

基本座標系作成部３１０は、カメラ２００によって撮像したドアの現画像と、生産管理を行う上位のコンピュータ（図示せず）が出力した車種及び仕様の情報とを入力する。入力した車種及び仕様の情報を車種情報記憶部３６０に記憶されている車種及び仕様の情報と照合し、参照画像記憶部３７０に記憶されている、車種及び仕様の情報に合致する参照画像を取り出す。

基本座標系作成部３１０は、ドアの現画像に含まれる複数の穴の位置を検出する。また、参照画像記憶部３７０から取り出した参照画像に含まれる、現画像から検出した複数の穴に対応する複数の穴の位置を検出する。

基本座標系作成部３１０は、ドアの現画像に含まれる複数の穴の位置が検出できたときには、現画像から検出した複数の穴の位置を参照画像から検出した複数の穴の位置に合致させる座標変換を行って、現画像が有する座標系と参照画像が有する座標系とを一致させる。

また、基本座標系作成部３１０は、ドアの現画像から複数の穴の位置が検出できなかったときには、ドアの現画像に含まれる複数のボルトなどの突起物の位置を検出する。また、参照画像記憶部３７０から取り出した参照画像に含まれる、前記複数の突起物に対応する複数の突起物の位置を検出する。

基本座標系作成部３１０は、現画像から検出した複数の突起物の位置を参照画像から検出した複数の突起物の位置に合致させる座標変換を行って、現画像が有する座標系と参照画像が有する座標系とを一致させる。

探索領域記憶部３８０は、検査対象物が備える照合対象物の探索領域を記憶する。探索領域は、参照画像と同様に、車種情報記憶部３６０が記憶するすべての車種及び仕様の数だけ用意される。

探索領域設定部３２０は、探索領域を照合対象物に設定する。図３に示すように、探索領域は照合物対象の周囲を囲むように設定する。探索領域は照合物対象の周囲を囲むできるだけ狭い領域に設定することが好ましい。照合対象物をより短時間で検出するためである。探索領域は照合物対象の大きさより２回り位大きい範囲に設定する。

照合部３３０は、現画像と参照画像の照合対象物を探索領域内で照合する。照合部３３０は、図３に示すように、現画像と参照画像の探索領域内で、照合対象物同士を照合する対象物照合及び照合対象物の周辺同士を照合する周辺照合の少なくともいずれか一方の照合を行う。対象物照合を行うと、ドアに取り付けられているボルトやナット、その他の部品の有無や相違を検査することができる。しかし、ドアに開口されるべき穴が開けられているか開けられていないかは、対象物が無い（穴だから）ので対象物照合では確実に検出することは難しい。このため、探索領域内で照合対象物を除く領域で周辺照合を行って、穴の存在を検出しやすくする。照合対象物の照合には、高い照合正答率が得られるのであれば、対象物照合と周辺照合の両方を用いても良いし、どちらか一方だけを用いてもよい。

照合部３３０は、対象物照合を行うときに用いる閾値の大きさと周辺照合を行うときに用いる閾値の大きさを変える。具体的には、対象物照合を行うときに用いる閾値の大きさよりも周辺照合を行うときに用いる閾値の大きさの方を大きくする。これは、照合対象物を取り巻く周辺の背景画像から照合対象物である穴の画像の境界をエッジとして抽出しやすくするためである。

類似度算出部３４０は、照合部３３０で照合された照合対象物の類似度を算出する。類似度算出部３４０は、対象物照合と周辺照合を行った結果から、照合対象物の類似度を算出する。類似度には、上限の規定値（たとえば類似度９０％）と下限の規定値（たとえば類似度１０％）とを設ける。

類似度算出部３４０は、検査対象物が備えるすべての照合対象物に対して対象物照合、周辺照合を行った結果、照合対象物の類似度が上限の類似度を超えているときには高類似度の照合対象物とし、そこには取り付けられるべき部品が取り付けられていると判断する。

一方、類似度算出部３４０は、照合対象物の類似度が下限の類似度に達しない時には、そこには間違った部品が取り付けられているか、またはまったく部品が取り付けられていないと判断する。

類似度算出部３４０は、上記の判断を照合部３３０に報告する。

照合部３３０は、照合対象物の類似度が上限の規定値と下限の規定値の間にあるときには、明確な判断ができない。このため、図４に示すように、類似度が上限の規定値と下限の規定値の間にある照合対象物（たとえばｏｂ１）と、当該照合対象物の周囲にある、類似度が上限の規定値以上である、少なくとも２つ以上の照合対象物（ｏｂ２、ｏｂ３）とを一体化する。つまり少なくとも３つの照合対象物（ｏｂ１、ｏｂ２、ｏｂ３）を一体化して１つの照合対象物とする。

そして、照合部３３０は、一体化した複数の照合対象物（ｏｂ１、ｏｂ２、ｏｂ３）を現画像と参照画像において照合する組合せ照合を実施する。照合部３３０は、組合せ照合を行うときには、一体化した複数の照合対象物を、現画像と参照画像において、それぞれの照合対象物の相互の位置関係（図４では、相互間の距離ｄ１、ｄ２、ｄ３）を用いて照合する。照合の結果、照合の類似度が高ければ、類似度が上限の規定値と下限の規定値の間にある照合対象物（ｏｂ１）には、取り付けられるべき部品が取り付けられていると判断する。位置関係は距離によって特定できるので処理に負担がかからない。

なお、照合部３３０が行う対象物照合、周辺照合、組合せ照合の詳細な処理については後述する。

照合部３３０は、照合の結果、最終的に得られた判断結果を表示部３５０に出力し、表示部３５０はその判断結果を表示する。なお、表示部３５０は、カメラ３００で撮像されている現画像、参照画像記憶部３７０から取り出した参照画像、照合部３３０が照合を行っているときの画像など、各種の画像を表示する。

［対象物検査装置の詳細な動作］
図６から図１０は、本実施形態に係る対象物検査装置１００の動作フローチャートである。これらの動作フローチャートは、対象物検査装置１００が対象物検査プログラムを実行することによって処理される。また、これらの動作フローチャートの処理手順は、対象物検査方法を示すものでもある。以下に、これらの動作フローチャートを図２から図５及び図１１を参照しながら説明する。

図６は、本実施形態に係る対象物検査装置のメイン動作フローチャートである。

対象物検査装置１００は、カメラ２００によって撮像されたドアの現画像の座標系と、現画像と対比させるドアの参照画像の座標系とを合致させるための基本座標系を作成する（Ｓ１０）。ステップＳ１０の基本座標系を作成する処理の詳細は、図７のサブルーチン動作フローチャートに基づいて説明する。

次に、対象物検査装置１００は、検査対象物であるドアが備える、たとえば、ボルト、穴（ねじ穴など）、ホールシール、コネクタなどの照合対象物の探索領域を、すべての照合対象物に設定する（Ｓ２０）。ステップＳ２０の探索領域を設定する処理の詳細は、図８のサブルーチン動作フローチャートに基づいて説明する。

最後に、対象物検査装置１００は、現画像と参照画像の照合対象物を探索領域内で照合する。照合は、現画像と参照画像の探索領域内で、照合対象物同士を照合する対象物照合、照合対象物の周辺同士を照合する周辺照合を用いて行う。対象物照合、周辺照合を行った結果から、照合対象物の類似度を算出し、その類似度を用いてドアに取り付けられるべき部品が取り付けられているか、開けられるべき穴が開口されているかなどを判断する（Ｓ３０）。

図７は、図６に示したメイン動作フローチャートのステップＳ１０の処理を示すサブルーチン動作フローチャートである。この動作フローチャートは、図６のステップＳ１０の「基本座標系を作成」する処理の詳細な手順を示す。

まず、基本座標作成部３１０は、現画像を撮像し検査対象物が備える２箇所の穴を検出する。現画像はカメラ２００で撮像する。検査対象物は自動車のドアである。現画像はドアの内側の画像である。現画像に含まれる２箇所の穴を検出する。２箇所のどの穴を検出するのかはあらかじめ定めておく（Ｓ１１）。

次に、現画像に含まれる２箇所の穴の検出が成功したか否かの判断がされる（Ｓ１２）。２箇所の穴の検出が成功しなかったときには（Ｓ１２：ＮＯ）、次に、検査対象物が備える２箇所のボルトを検出する。２箇所のどのボルトを検出するのかはあらかじめ定めておく（Ｓ１３）。

２箇所の穴の検出が成功したとき、または２箇所のボルトの検出が成功したときには、現画像で検出した、２箇所の穴の位置または２箇所のボルトの位置に、図２に示した参照画像記憶部３７０から取り出した参照画像に含まれる、２箇所の穴の位置または２箇所のボルトの位置を一致させるための基本座標系を作成する。通常は、現画像と参照画像における２箇所の穴の位置または２箇所のボルトの位置は一致しない。このため、現画像の座標系に参照画像の座標系を一致させるため、検査対象物の基本座標系を作成する。（Ｓ１４）。

以上の処理では、図１１に示すように、現画像を取得し、２箇所の穴を検出し、穴の検出が成功したときには、参照画像の座標系を現画像の座標系と一致させるための基本座標系を作成する。穴の検出が失敗したときには、２箇所のボルトを検出し、参照画像の座標系を現画像の座標系と一致させるための基本座標系を作成する。

図８は、図６に示したメイン動作フローチャートのステップＳ２０の処理を示すサブルーチン動作フローチャートである。この動作フローチャートは、図６のステップＳ２０の「探索領域を設定」する処理の詳細な手順を示す。

探索領域設定部３２０は、参照画像における照合対象物の位置を取得する。ドアの内側の照合対象物としては、たとえば、ボルト、２５箇所、穴、数箇所、ホールシール、コネクタなどが例示できる。参照画像にはこれらの照合対象物が含まれている。探索領域設定部３２０は、これらのすべての照合対象物の位置を取得する（Ｓ２１）。

探索領域設定部３２０は、前述した手順で作成された基本座標系を用いて、参照画像に含まれるすべての照合対象物の位置を座標変換する。座標変換後の照合対象物の位置はカメラ２００が撮像した現画像に含まれる照合対象物の位置に一致するはずである（Ｓ２２）。

探索領域設定部３２０は、探索領域記憶部３８０から各照合対象物の探索領域を取得する。探索領域は照合対象物ごとに設定されている。また、照合対象物は、車種及び仕様ごとに分けて記憶されているので、探索領域設定部３２０は、該当する照合対象物の探索領域を探索領域記憶部３８０から取得する（Ｓ２３）。

探索領域設定部３２０は、取得した探索領域を現画像における各照合対象物に設定する（Ｓ２４）。これにより、車種及び仕様ごとの照合が可能になる。

以上の処理では、図１１に示すように、取得した現画像に対して探索領域を設定する。このように探索領域を設定すると、照合対象物の探索は探索領域内でのみ行えば良いので、探索範囲を最小化でき、探索に要する時間を短縮することができる。実験では、従来のように探索領域を設けない場合と本願発明のように探索領域を設けた場合とを比較すると、探索に要する時間は本発明では従来の１００分の１に短縮した。

図９及び図１０は、図６に示したメイン動作フローチャートのステップＳ３０の処理を示すサブルーチン動作フローチャートである。この動作フローチャートは、図６のステップＳ３０の「照合処理」の詳細な手順を示す。

照合部３３０は、設定した探索領域内において、対象物照合、周辺照合を用いて、現画像と参照画像の照合対象物同士を照合する。この照合により、現画像の中に、参照画像にあらかじめ用意されている照合対象物と同じもの、または近いものがあるかを検出する。本実施形態では、照合する手法として１つの照合対象物に対して対象物照合及び周辺照合の少なくともいずれかを用いる。

対象物照合は、図３に示すように、ある定められた閾値Γを用いて探索領域の中から照合対象物を探し出す。しかし、照合対象物の一部が遮蔽されているとき、照合対象物と背景の色が同一であるときには、照合対象物を探し出すことができないときがある。このため、本実施形態では周辺照合も併用している。

周辺照合は、探索領域から照合対象物を除いた背景だけを照合する。図３に示すように、ある定められた閾値Γ´を用いて探索領域の背景のみを照合し、結果的に照合対象物を探し出す。周辺照合を行うときに用いる閾値Γ´の大きさは対象照合を行うときに用いる閾値Γよりも大きい。背景を照合するときには閾値を大きくした方が照合対象物を探しやすくなるからである。

以上のように、対象照合、周辺照合を用いて、現画像と参照画像の照合対象物同士を照合する（Ｓ３１）。

次に、類似度算出部３４０は照合類似度を算出する。照合類似度は照合対象物ごとに算出する。現画像の照合対象物が参照画像の照合対象物と同一に近い場合には類似度が大きくなり、そうでない場合には類似度が小さくなる。類似度は、たとえば、現画像の照合対象物の形状と参照画像の照合対象物の形状との同一具合、現画像の照合対象物のエッジの座標が参照画像の照合対象物のエッジの座標をどの程度の割合共有しているかによって計ることができる。類似度を算出する手法は従来から用いられているものを使用する（Ｓ３２）。

照合部３３０は照合対象物の類似度がどの程度であるかを判断する（Ｓ３３）。照合対象物の類似度が下限規定値以下であれば、類似度が極端に低いので、その場所には本来取り付けられる部品とは異なる部品がついているか、または部品がついていないと判断する。

照合対象物の類似度が上限規定値以上であれば、類似度が非常に高いので、その場所には本来取り付けられる部品がついているものと判断する。照合対象物の類似度が上限の規定値と下限の規定値の間にあるときには、類似しているとも類似していないとも言えないので、明確な判断ができないと判断する。

照合部３３０は、照合対象物の類似度が下限規定値以下であれば、表示部３５０にその照合対象物を、図１１に示すように太枠で表示する。照合対象物の類似度が上限規定値以上であれば、表示部３５０にその照合対象物を、図１１に示すように細枠で表示する。検査工程の作業者は、表示部３５０の表示を見て、異なる部品がついているか、または部品がついていないかを把握する（Ｓ３４）。

照合部３３０は、照合対象物の類似度が上限の規定値と下限の規定値の間にあるときには（Ｓ３３）、明確な判断ができないので、図１０の動作フローチャートに進み、図４に示すように、類似度が上限の規定値と下限の規定値の間にある照合対象物（たとえばｏｂ１）の近くにある、類似度が上限の規定値以上である少なくとも２つ以上の照合対象物（ｏｂ２、ｏｂ３）を選択する（Ｓ３５）。

次に、照合部３３０は、選択した複数の照合対象物全体を組合せ照合により照合する。図４の例では、３つの照合対象物（ｏｂ１、ｏｂ２、ｏｂ３）を一体化して１つの照合対象物とし、一体化した複数の照合対象物（ｏｂ１、ｏｂ２、ｏｂ３）を、現画像と参照画像において照合する。なお、上記の場合、照合対象物ｏｂ２、ｏｂ３の類似度は上限の規定値以上である。類似度が上限の規定値と下限の規定値の間にある照合対象物が組合せ照合を行うために選択する、上限の規定値以上の類似度を呈する照合対象物の数は２箇所以上である。また、組合せ照合は、一体化した複数の照合対象物、上記の例では、ｏｂ１、ｏｂ２、ｏｂ３のそれぞれの距離ｄ１、ｄ２、ｄ３に基づいて行う。

組合せ照合を行うことによって類似度が上限の規定値と下限の規定値の間にある照合対象物の照合結果を補完できるのは、次のような原理に基づく。

組合せ照合とは、複数の照合対象物を組み合わせて一体化して照合する方法である。２つ以上の照合対象物の画像を組み合わせて１つの画像として考え、１つの画像の全体の類似度を算出して総合評価する。

図４に示すように、照合対象物を含んだ画像サイズをそれぞれＮ１、Ｎ２、Ｎ３とする。また、それらの類似度をｓ１（ｘ１、ｙ１）、ｓ２（ｘ２、ｙ２）、ｓ３（ｘ３、ｙ３）とすると、組み合わせた画像のサイズＮは、
Ｎ＝Ｎ１＋Ｎ２＋Ｎ３となる。

したがって、全体の類似度Ｓは、
Ｓ＝｛Ｎ１ｓ１（ｘ１、ｙ１）＋Ｎ２ｓ２（ｘ２、ｙ２）
＋Ｎ３ｓ３（ｘ３、ｙ３）｝／Ｎとなる。

この原理を用いることによって、複数の照合対象物に対して照合評価を与えることが可能になる。上記の組み合わせ照合の定式化は単純である。しかし、どのような画像対の組み合わせも当てはまるわけではない。上記の例では、３つの画像の組み合わせに対して１つの照合評価値Ｓを与えることになる。これを統計学的にみると、３つの画像は、同一の母集団からの標本とみなせる場合にのみ、代表値としての照合評価値を１つ付与させることができる。これが組合せ照合の条件となる（Ｓ３６）。

次に、照合部３３０は、選択した複数の照合対象物全体の照合類似度を算出する。この類似度が規定値以上であれば、複数の照合対象物全体が類似していると判断し、類似度が上限の規定値と下限の規定値の間にある照合対象物（上記の例ではｏｂ１）には取り付けられるべき部品が取り付けられていると判断し、その結果を表示部３５０に表示させる。

なお、組合せ照合をしても、第１の照合評価で誤りであるという報告をされた照合対象物で、類似度が低いためにはじかれてしまった照合対象物が存在する場合がある。その照合対象物に対しては再度の評価を行うことによって類似度を回復させ、より高精度な照合を実現する。これをリカバリ識別と称する。

以上のように、本実施形態に係る対象物検査装置１００は、対象物照合及び周辺照合で個々の照合対象物を照合し、その照合の結果が怪しいと判断された時には、複数の照合対象物を一体として照合する。このような手順を踏んで照合対象物の照合を行うので、周囲の明るさが不安定であっても高精度に対象物の検査ができる。具体的には、ドアとそのドアに取り付けられている部品の色が同色であっても、部品の照合を高精度で行うことができ、また、ドアに開口された穴を黒系の塗色のドアで照合する場合、部品の一部を遮るようなものが存在しても、きわめて高精度に部品の欠品検査を行うことができる。

図１２は、本実施形態に係る対象物検査方法を用いて、閾値を変化させたときのボルトの照合正答率を示す図である。また、図１３は、閾値を変化させたときの穴の照合正答率を示す図である。

実験では、ボルトを照合する際には対象物照合と周辺照合とを用い、穴を照合する際に周辺照合を用いた。対象物照合をする際には閾値Γを用い、周辺照合をする際には閾値Γ´を用いた。図１２に示すように照合対象物がボルトの場合には、閾値Γと閾値Γ´を用いて行った対象物照合と周辺照合のいずれにも照合正答率の差は見られない。しかし、照合対象物が穴の場合には、閾値Γ´を用いた周辺照合の方が閾値Γを用いた対象物照合よりも照合正答率が高い。このため、本実施形態では、照合対象物がボルトの場合には対象物照合と周辺照合とを用い、照合対象物が穴の場合には周辺照合を用いている。

本実施形態のように、対象物照合と周辺照合を照合対象物の種類によって使い分け、対象物照合と周辺照合とで異なる閾値を用いることによって照合正答率を良くできることが判る。

図１４は、周囲の明るさが変化したときの従来技術と本発明における照合正答率の相違を示す図である。

このグラフを見ると明らかであるが、従来の手法では、周囲の明るさが暗くなるにしたがって、穴、ボルトの正答率が落ちている。特に穴の照合正答率の落ち込みが大きい。本発明の手法では、穴、ボルトともに、明るさには無関係と言えるくらいに安定した照合正答率が得られている。

このように、本発明に係る対象物検査装置、対象物検査方法及び対象物検査プログラムを用いることによって照合の信頼性が確実に向上することが判る。

１００ 対象物検査装置、
２００ カメラ、
３００ ＰＣ（パーソナルコンピュータ）、
３１０ 基本座標系作成部、
３２０ 探索領域設定部、
３３０ 照合部、
３４０ 類似度算出部、
３５０ 表示部、
３６０ 車種情報記憶部、
３７０ 参照画像記憶部、
３８０ 探索領域記憶部、
３９０ 閾値記憶部、
４００ 照明。

Claims (13)

1. 検査対象物の現画像を撮像するカメラと、
   前記現画像と対比させる参照画像を記憶する参照画像記憶部と、
   前記現画像と前記参照画像の座標系を合致させる基本座標系作成部と、
   前記検査対象物が備える照合対象物の探索領域を記憶する探索領域記憶部と、
   前記探索領域を前記照合対象物に設定する探索領域設定部と、
   前記現画像と前記参照画像の照合対象物を探索領域内で照合する照合部と、
   前記照合対象物の類似度を算出する類似度算出部と、を有し、
   前記照合部は、前記現画像と前記参照画像の前記探索領域内で、照合対象物同士を照合する対象物照合及び前記照合対象物の周辺同士を照合する周辺照合の少なくともいずれか一方の照合を行い、
   前記類似度算出部は、前記対象物照合及び前記周辺照合の少なくともいずれか一方の照合を行った結果から、照合対象物の類似度を算出することを特徴とする対象物検査装置。
2. 前記照合部は、前記検査対象物が備えるすべての照合対象物に対して前記対象物照合及び前記周辺照合の少なくともいずれか一方の照合を行った結果、類似度が上限の規定値と下限の規定値の間にある照合対象物があったときには、さらに、当該類似度が上限の規定値と下限の規定値の間にある照合対象物と、当該照合対象物の周囲にある、類似度が上限の規定値以上の少なくとも２つ以上の照合対象物とを一体化し、当該一体化した複数の照合対象物を前記現画像と前記参照画像において照合する組合せ照合を行うことを特徴とする請求項１に記載の対象物検査装置。
3. 前記照合部は、前記対象物照合を行うときに用いる閾値の大きさと前記周辺照合を行うときに用いる閾値の大きさを変えることを特徴とする請求項１または２に記載の対象物検査装置。
4. 前記対象物照合を行うときに用いる閾値の大きさよりも前記周辺照合を行うときに用いる閾値の大きさの方が大きいことを特徴とする請求項３に記載の対象物検査装置。
5. 前記照合部は、前記組合せ照合を行うときには、一体化した複数の照合対象物を、前記現画像と前記参照画像において、それぞれの照合対象物の相互の位置関係を用いて照合することを特徴とする請求項２に記載の対象物検査装置。
6. 前記検査対象物は自動車の部品であり、
   前記自動車の車種及び仕様の情報を記憶する車種情報記憶部をさらに有し、
   前記参照画像記憶部が記憶する参照画像と前記探索領域記憶部が記憶する探索領域は、前記自動車の車種及び仕様ごとに記憶することを特徴とする請求項１から５のいずれかに記載の対象物検査装置。
7. 前記基本座標系作成部は、
   前記現画像に含まれる複数の穴の位置を前記参照画像に含まれる前記複数の穴に該当する複数の穴の位置と合致させる座標変換を行うことによって前記現画像と前記参照画像の座標系を合致させることを特徴とする請求項１から６のいずれかに記載の対象物検査装置。
8. 前記基本座標系作成部は、
   前記現画像に含まれる複数の突起物の位置を前記参照画像に含まれる前記複数の突起物に該当する複数の突起物の位置と合致させる座標変換を行うことによって前記現画像と前記参照画像の座標系を合致させることを特徴とする請求項１から６のいずれかに記載の対象物検査装置。
9. 検査対象物の現画像を撮像する撮像段階と、
   前記現画像と対比させる参照画像と前記現画像との座標系を合致させる基本座標系作成段階と、
   前記検査対象物が備える照合対象物の探索領域を前記照合対象物に設定する探索領域設定段階と、
   前記現画像と前記参照画像の照合対象物を探索領域内で照合する照合段階と、
   前記照合対象物の類似度を算出する類似度算出段階と、を含み、
   前記照合段階では、前記現画像と前記参照画像の前記探索領域内で、照合対象物同士を照合する対象物照合及び前記照合対象物の周辺同士を照合する周辺照合の少なくともいずれか一方の照合を行い、
   前記類似度算出段階では、前記対象物照合及び前記周辺照合の少なくともいずれか一方の照合を行った結果から、照合対象物の類似度を算出することを特徴とする対象物検査方法。
10. 前記照合段階では、さらに、
    前記検査対象物が備えるすべての照合対象物に対して前記対象物照合と前記周辺照合を行った結果、類似度が上限の規定値と下限の規定値の間にある照合対象物があったときには、
    当該類似度が上限の規定値と下限の規定値の間にある照合対象物と、当該照合対象物の周囲にある、類似度が上限の規定値以上の少なくとも２つ以上の照合対象物とを一体化する段階と、
    当該一体化した複数の照合対象物を前記現画像と前記参照画像において照合する組合せ照合を行う段階とを含むことを特徴とする請求項９に記載の対象物検査方法。
11. 前記基本座標系作成段階では、
    前記現画像に含まれる複数の穴の位置を前記参照画像に含まれる前記複数の穴に該当する複数の穴の位置と合致させる座標変換を行うことによって前記現画像と前記参照画像の座標系を合致させることを特徴とする請求項９または１０に記載の対象物検査方法。
12. 前記基本座標系作成段階では、
    前記現画像に含まれる複数の突起物の位置を前記参照画像に含まれる前記複数の突起物に該当する複数の突起物の位置と合致させる座標変換を行うことによって前記現画像と前記参照画像の座標系を合致させることを特徴とする請求項９または１０に記載の対象物検査方法。
13. コンピュータを、
    カメラが撮像した検査対象物の現画像に対比させる参照画像を記憶する参照画像記憶部と、
    前記現画像と前記参照画像の座標系を合致させる基本座標系作成部と、
    前記検査対象物が備える照合対象物の探索領域を記憶する探索領域記憶部と、
    前記探索領域を前記照合対象物に設定する探索領域設定部と、
    前記現画像と前記参照画像の前記探索領域内で、前記照合対象物同士を照合する対象物照合及び前記照合対象物の周辺同士を照合する周辺照合の少なくともいずれか一方の照合を行い、前記現画像と前記参照画像の照合対象物を照合する照合部と、
    前記対象物照合及び前記周辺照合の少なくともいずれか一方の照合を行った結果から、照合対象物の類似度を算出する類似度算出部と、
    として機能させるための対象物検査プログラム。