JP2009128261A - 外観検査方法および装置 - Google Patents

Abstract

【課題】検査対象物の各部分とカメラとの距離の相違に基づく遠近歪みを、検査対象物の外面形状に基づき精密に補正することができ、複数の画像を結合して１枚の平面画像に展開した場合でも、画像周辺の歪みを補正してパターンマッチング処理の誤差を大幅に低減でき、これにより精度の高い外観検査ができる外観検査方法および装置を提供する。
【解決手段】検査対象物１の検査表面の３次元形状データ６とＣＣＤカメラとの相対位置を予め入力するデータ入力ステップＳ１と、検査表面の全体を少なくとも一部を重複させて複数のＣＣＤカメラ１４で撮像して複数の画像４を取得する撮像ステップＳ２と、各画像の歪みを３次元形状データを基に補正して平面に展開し少なくとも一部が重複した複数の平面画像５を作成する画像補正ステップＳ３と、複数の平面画像の重複部分を結合して１枚の外面画像８を作成する画像結合ステップＳ４と、を有し、外面画像８により検査対象物の外観検査を行う。
【選択図】図３

Description

本発明は、検査対象物とカメラとの距離の相違に基づく遠近歪みを補正する検査対象物の外観検査方法および装置に関する。

缶、瓶、ボトル容器、キャップのような検査対象物の外観検査において、外面に貼付けられたラベル等の貼り間違い（異種ラベル）、上下ズレ、めくれ、汚れ、破れ、割れなどの項目を検査する必要がある。

この外観検査を効率よく行うために、従来は検査対象物の全周を複数のカメラで撮像し、撮像した複数の画像を結合することで外観表面検査を行っていた。
しかし、かかる従来の手段では、検査対象物の画像は、カメラに近い部分では大きく、遠い所では小さくなり、いわゆる遠近歪みが生じる。そのため複数の画像を結合して１枚の平面画像に展開した場合、画像周辺の歪みの分だけパターンマッチング処理に誤差が生じ、精度の高い検査が行えない問題点があった。

このような問題点を解決するために、例えば特許文献１が既に開示されている。

特許文献１の「画像歪補正方法及び装置」は、歪補正対象物が変形し、３次元のコンピュータ支援設計（ＣＡＤ）データと異なった場合及びＣＡＤデータがなくとも幾何学的に曲面及び凹凸のある物体をカメラ撮像平面展開する際の歪みを補正することを目的とする。

この目的のため、特許文献１の画像歪補正装置は、図８に示すように、画像を取込む手段２で撮像した画像データを記憶する手段３，該手段で撮像した画像から正方格子模様の格子点座標を抽出する手段４，抽出した格子点座標を用いて座標変換式を計算する手段５で算出した座標変換式により原画像の変換後の座標を計算する手段６，該手段で算出した座標により原画像の座標を変換する手段７，画像データの欠落を補間する手段８からなる。

特開平１１−１４４０５０号公報、「画像歪補正方法及び装置」

上述した特許文献１の手段は、単一のカメラで撮像した画像を対象としているため、複数のカメラで撮像した複数の画像を結合して１枚の平面画像に展開する場合、画像周辺の歪みによるパターンマッチング処理の誤差は解消できない問題点があった。

また、特許文献１の手段は、ＣＡＤデータがない場合を前提としているため、ＣＡＤデータが利用できる場合に、歪補正処理が複雑になりすぎる問題点があった。

本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、検査対象物の各部分とカメラとの距離の相違に基づく遠近歪みを、検査対象物の外面形状に基づき精密に補正することができ、複数の画像を結合して１枚の平面画像に展開した場合でも、画像周辺の歪みを補正してパターンマッチング処理の誤差を大幅に低減でき、これにより精度の高い外観検査ができる外観検査方法および装置を提供することにある。

本発明によれば、検査対象物の検査表面の３次元形状データとＣＣＤカメラとの相対位置を予め入力するデータ入力ステップと、
前記検査表面の全体を、少なくとも一部を重複させて複数のＣＣＤカメラで撮像して複数の画像を取得する撮像ステップと、
前記各画像の歪みを前記３次元形状データを基に補正して平面に展開し、少なくとも一部が重複した複数の平面画像を作成する画像補正ステップと、
前記複数の平面画像の重複部分を結合して１枚の外面画像を作成する画像結合ステップと、を有し、
該外面画像により検査対象物の外観検査を行う、ことを特徴とする検査対象物の外観検査方法が提供される。

本発明の好ましい実施形態によれば、前記画像補正ステップにおいて、画像上の任意の位置Ｐの検査対象物に対する画像倍率ｎを、検査対象物の前記３次元形状データとＣＣＤカメラとの相対位置から求め、画像中心から離れた位置Ｐの画像位置を画像中心の画像倍率に合わせて補正する。

また、ＣＣＤカメラのレンズ中心を３次元座標軸ｘｙｚの原点Ｏ、該原点ＯからＣＣＤまでの鉛直距離をｈ、検査対象物の検査表面上の座標をＰ（ｘ，ｙ，ｚ）とするとき、
点ＰのＣＣＤ上の画像位置Ｑ（ｘ１，ｙ１）のｘ，ｙ方向の画像倍率ｎ_ｘ１，ｎ_ｙ１を下記の式（１）（２）で求める。
ｎ_ｘ１＝ｘ１／ｘ＝ｈ／ｚ・・・（１）
ｎ_ｙ１＝ｙ１／ｙ＝ｈ／ｚ・・・（２）

また、ＣＣＤカメラのレンズ中心を３次元座標軸ｘｙｚの原点Ｏ、該原点ＯからＣＣＤまでの鉛直距離をｈ、検査対象物の検査表面上の座標をＰ（ｘ，ｙ，ｚ）とするとき、
検査対象物の検査表面が半径Ｒの円筒面であり、該円筒面のｘｚ平面上の中心軸座標を（０，ｚ３）、点Ｐの円筒面中心からの角度をθとするとき、
点ＰのＣＣＤ上の画像位置Ｑ（ｘ１，ｙ１）のｘ，ｙ方向の画像倍率ｎ_ｘ１，ｎ_ｙ１を下記の式（１１）（１２）で求める。
ｎ_ｘ１＝ｘ１／ｘ＝ｈ／ｚ＝ｈ／（ｚ３−Ｒ・ｃｏｓθ）・・・（１１）
ｎ_ｙ１＝ｙ１／ｙ＝ｈ／ｚ＝ｈ／（ｚ３−Ｒ）・・・（１２）

また、本発明によれば、検査対象物の検査表面の３次元形状データとＣＣＤカメラとの相対位置を予め入力するデータ入力装置と、
前記検査表面の全体を、少なくとも一部を重複させて撮像し複数の画像を取得する複数のＣＣＤカメラと、
前記各画像から１枚の外面画像を作成する画像処理装置とを備え、
該画像処理装置により、前記各画像を前記３次元形状データを基に補正して平面に展開し、少なくとも一部が重複した複数の平面画像を作成する画像補正ステップと、
前記複数の平面画像の重複部分を結合して１枚の外面画像を作成する画像結合ステップと、を実行し、
該外面画像により検査対象物の外観検査を行うことを特徴とする検査対象物の外観検査装置が提供される。

上記本発明の方法と装置によれば、複数のＣＣＤカメラで撮像した各画像の歪みを検査表面の３次元形状データを基に補正して平面に展開し複数の平面画像を作成するので、検査対象物の各部分とＣＣＤカメラとの距離の相違に基づく遠近歪みを、検査対象物の外面形状に基づき精密に補正することができる。
従って、補正した複数の平面画像の重複部分を結合して１枚の平面画像に展開した場合でも、画像周辺の歪みが除去されているので、検査対象物の向きに関係なく精度良くパターンマッチングすることができ、微小な欠陥を容易に検出できる。
これにより、パターンマッチング処理の誤差を大幅に低減でき、精度の高い外観検査ができる。

以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明による検査対象物の外観検査装置の全体構成図である。この図において、本発明の外観検査装置１０は、データ入力装置１２、複数のＣＣＤカメラ１４、および画像処理装置１６を備える。

データ入力装置１２は、例えばキーボード、ＦＤドライブ、ＣＤドライブ等であり、画像処理装置１６の記憶装置に、検査対象物１の検査表面の３次元形状データと検査対象物１のＣＣＤカメラとの相対位置を予め入力する。
複数（この例では４台）のＣＣＤカメラ１４は、検査対象物１の検査表面の全体を、少なくとも一部を重複させて撮像し、複数の画像４を取得する。複数の画像４は、同時に撮像するのが好ましいが、時間をずらして撮像してもよい。
画像処理装置１６は、例えばコンピュータ（ＰＣ）であり、各画像４から１枚の外面画像を作成する。画像処理装置１６は、後述する画像補正ステップ及び画像結合ステップを実行する。

この例において、検査対象物１は、缶、瓶、ボトル容器、キャップのような鉛直軸を中心とする回転体であり、円筒面を検査表面に有する。すなわちこの図は、検査対象物１を上方から見た状態を示している。
なお、本発明において、検査対象物１は、回転体に限定されず、任意の形状を有する容器等に適用することができる。

図２は、図１と同様の構成における従来例を示す図である。
図２（Ａ）において、検査対象物１は円柱であり、周方向に等ピッチで縦線（円柱の軸に平行な線）が記載されているものとする。
この図は４台のＣＣＤカメラで検査対象物１を４方向から撮像する状態を示している。２は仮想上のカメラ視点、３は仮想上のＣＣＤ面、４はＣＣＤ上の画像である。
この場合、撮像対象物１の撮像された任意の場所がＣＣＤカメラに近い所では大きく、遠い所では小さくなる歪み（「遠近歪み」と呼ぶ）が生じる。すなわち、円柱表面の縦線の間隔が、ＣＣＤカメラに近い所では広く、遠い所では狭くなる。

図２（Ｂ）は４方向から撮像した４枚の画像を補正せずにパターンマッチング等で結合した平面画像５を示している。上述した各画像４の周辺部の遠近歪みがそのまま残っているため、遠近歪みの分だけパターンマッチング等の処理に誤差が生じ、精度の良い検査が行えない。

図３は、本発明による検査対象物の外観検査方法の全体フロー図である。
この図において、本発明の外観検査方法は、データ入力ステップＳ１、撮像ステップＳ２、画像補正ステップＳ３、画像結合ステップＳ４、および外観検査ステップＳ５を有する。

データ入力ステップＳ１では、データ入力装置１２により検査対象物１の検査表面の３次元形状データ６と検査対象物１のＣＣＤカメラ１４との相対位置を画像処理装置１６の記憶装置に予め入力する。
３次元形状データ６は、例えば、任意の点を原点として検査対象物１の検査表面の形状である。

撮像ステップＳ２では、検査表面の全体を、少なくとも一部を重複させて複数（この例で４台）のＣＣＤカメラ１４で撮像して複数の画像４を取得する。複数の画像４は、同時に撮像するのが好ましいが、時間をずらして撮像してもよい。取得した各画像４は、画像処理装置１６の記憶装置に入力される。

画像補正ステップＳ３では、各画像４の遠近歪みを３次元形状データ６を基に補正して平面に展開し、少なくとも一部が重複した複数の平面画像７を作成する。なお、同時に、レンズ固有の歪みを補正するのが好ましい。
この画像補正ステップＳ３において、画像４上の任意の位置Ｐの検査対象物１に対する画像倍率ｎを、検査対象物１の３次元形状データ６とＣＣＤカメラ１４との相対位置から求め、画像中心から離れた位置Ｐの画像位置を画像中心の画像倍率に合わせて補正する。

図４は、検査対象物１が任意の形状である場合の画像補正ステップＳ３の説明図である。
この図において、ＣＣＤカメラ１４のレンズ中心を３次元座標軸ｘｙｚの原点Ｏ、原点ＯからＣＣＤ１４ａまでの鉛直距離をｈ、検査対象物１の検査表面（３次元形状データ６）上の座標をＰ（ｘ，ｙ，ｚ）とする。

点ＰのＣＣＤ１４ａ上の画像位置Ｑ（ｘ１，ｙ１）のｘ，ｙ方向の画像倍率ｎ_ｘ１，ｎ_ｙ１は下記の式（１）（２）で求めることができる。
ｎ_ｘ１＝ｘ１／ｘ＝ｈ／ｚ・・・（１）
ｎ_ｙ１＝ｙ１／ｘ＝ｈ／ｚ・・・（２）

また、ＣＣＤカメラ１４のレンズ中心からの画角をαとすると、以下の関係が成り立つ。
ｘ＝ｚ・ｔａｎα・・・（３）
ｙ＝ｚ・ｔａｎα・・・（４）
ｘ１＝ｈ・ｔａｎα・・・（５）
ｙ１＝ｈ・ｔａｎα・・・（６）

従って、式（１）〜（６）を用いて、画像中心の画像倍率と、画像上の任意の位置Ｐ（ｘ，ｙ，ｚ）の検査対象物１に対する画像倍率ｎ_ｘ１，ｎ_ｙ１を、検査対象物の３次元形状データとＣＣＤカメラ１４との相対位置から求め、画像中心から離れた位置Ｐの画像位置を画像中心の画像倍率に合わせて補正することができる。

図５は、検査対象物１が円筒面である場合の画像補正ステップＳ３の説明図である。この図において、（Ａ）はｘｚ平面、（Ｂ）はｙｚ平面を示している。
また、ＣＣＤカメラ１４のレンズ中心を３次元座標軸ｘｙｚの原点Ｏ、原点ＯからＣＣＤ１４ａまでの鉛直距離をｈ、検査対象物１の検査表面上の座標をＰ（ｘ，ｙ，ｚ）とする。

検査対象物１の検査表面が半径Ｒの円筒面であり、円筒面のｘｚ平面上の中心軸座標を（０，ｚ３）、点Ｐの円筒面中心からの角度をθとする。

点ＰのＣＣＤ上の画像位置Ｑ（ｘ１，ｙ１）のｘ，ｙ方向の画像倍率ｎ_ｘ１，ｎ_ｙ１は下記の式（１１）（１２）（１３）で求めることができる。
ｎ_ｘ１＝ｘ１／ｘ＝ｈ／ｚ＝ｈ／（ｚ３−Ｒ・ｃｏｓθ）・・・（１１）
ｎ_ｙ１＝ｙ１／ｙ＝ｈ／ｚ＝ｈ／（ｚ３−Ｒ）・・・（１２）
画像の中心において、
ｎ_ｘ１＝ｎ_ｙ１＝ｈ／ｚ２＝ｈ／（ｚ３−Ｒ）・・・（１３）

また、ＣＣＤカメラ１４のレンズ中心からの画角をαとすると、以下の関係が成り立つ。
ｘ＝Ｒ・ｓｉｎθ＝ｚ・ｔａｎα・・・（１４）
ｙ＝ｚ・ｔａｎα・・・（１５）
ｘ１＝ｈ・ｔａｎα・・・（１６）
ｙ１＝ｈ・ｔａｎα・・・（１７）

従って、式（１１）〜（１７）を用いて、画像中心の画像倍率と、画像上の任意の位置Ｐ（ｘ，ｙ，ｚ）の検査対象物１に対する画像倍率ｎ_ｘ１，ｎ_ｙ１を、検査対象物１の３次元形状データとＣＣＤカメラ１４との相対位置から求め、画像中心から離れた位置Ｐの画像位置を画像中心の画像倍率に合わせて補正することができる。

画像結合ステップＳ４では、複数の平面画像７の重複部分をパターンマッチング等の処理により結合して１枚の外面画像８を作成する。

外観検査ステップＳ５では、合成された１枚の外面画像８により検査対象物１の外観検査（ラベル等の貼り間違い（異種ラベル）、上下ズレ、めくれ、汚れ、破れ、割れなど）を行う。
この外観検査は、検査員による目視検査でもよく、或いは、正常な外面画像８と画像処理により比較し、相違点を画像表示または警告するようにしてもよい。

図６は、周方向及び軸方向に等ピッチで直線７が記載された円柱を４台のＣＣＤカメラ１４で４方向から撮像した画像４を示している。
この図に示すように、ＣＣＤカメラ１４で撮像した画像４の直線９は、鉛直線はほぼ直線を維持しているが、水平線は画像中心から離れるほど歪みが大きくなっていることがわかる。すなわち、遠近歪みにより、画像は近いものは大きく、遠いものは小さく見える。

図７（Ａ）は、４枚の画像４を補正せずにパターンマッチングで結合した従来の平面画像５を示している。この図では、各画像４の周辺部の遠近歪み（例えば円で囲む部分）がそのまま残っているため精度の良い検査が行えないことがわかる。

図７（Ｂ）は、本発明の画像補正ステップＳ３により、画像中心から離れた位置の画像位置を画像中心の画像倍率に合わせて補正し、次いで画像結合ステップＳ４により４枚の平面画像５の重複部分をパターンマッチング処理により結合して１枚の外面画像８にしたものである。
この図では、図８（Ａ）の歪み部分（例えば円で囲む部分）がなくなり、歪みのない合成された１枚の外面画像８が得られていることがわかる。

上述したように、本発明の方法と装置によれば、複数のＣＣＤカメラ１４で撮像した各画像４の歪みを検査表面の３次元形状データ６を基に補正して平面に展開し複数の平面画像７を作成するので、検査対象物１の各部分とカメラ１４との距離の相違に基づく遠近歪みを、検査対象物１の外面形状に基づき精密に補正することができる。
従って、補正した複数の平面画像７の重複部分を結合して１枚の平面画像８に展開した場合でも、画像周辺の歪みが除去されているので、検査対象物の向きに関係なく精度良くパターンマッチングすることができ、微小な欠陥を容易に検出できる。
これにより、パターンマッチング処理の誤差を大幅に低減でき、精度の高い外観検査ができる。

なお、本発明は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。

本発明による検査対象物の外観検査装置の全体構成図である。 図１と同様の構成における従来例を示す図である。 本発明による検査対象物の外観検査方法の全体フロー図である。 検査対象物が任意の形状である場合の画像補正ステップＳ３の説明図である。 検査対象物が円筒面である場合の画像補正ステップＳ３の説明図である。 周方向及び軸方向に等ピッチで直線が記載された円柱を４台のＣＣＤカメラで４方向から撮像した画像を示す図である。 ４枚の画像を結合した従来例（Ａ）と本発明の例（Ｂ）である。 特許文献１の画像歪補正装置の模式図である。

符号の説明

１ 検査対象物、２ 仮想上のカメラ視点、
３ 仮想上のＣＣＤ面、４ ＣＣＤ上の画像（画像）、
５ 平面画像、６ ３次元形状データ、
７ 平面画像、８ 外面画像、９ 直線、
１０ 外観検査装置、１２ データ入力装置、
１４ ＣＣＤカメラ、１４ａ ＣＣＤ、
１６ 画像処理装置（コンピュータ、ＰＣ）

Claims (5)

1. 検査対象物の検査表面の３次元形状データとＣＣＤカメラとの相対位置を予め入力するデータ入力ステップと、
   前記検査表面の全体を、少なくとも一部を重複させて複数のＣＣＤカメラで撮像して複数の画像を取得する撮像ステップと、
   前記各画像の歪みを前記３次元形状データを基に補正して平面に展開し、少なくとも一部が重複した複数の平面画像を作成する画像補正ステップと、
   前記複数の平面画像の重複部分を結合して１枚の外面画像を作成する画像結合ステップと、を有し、
   該外面画像により検査対象物の外観検査を行う、ことを特徴とする検査対象物の外観検査方法。
2. 前記画像補正ステップにおいて、画像上の任意の位置Ｐの検査対象物に対する画像倍率ｎを、検査対象物の前記３次元形状データとＣＣＤカメラとの相対位置から求め、画像中心から離れた位置Ｐの画像位置を画像中心の画像倍率に合わせて補正する、ことを特徴とする請求項１に記載の検査対象物の外観検査方法。
3. ＣＣＤカメラのレンズ中心を３次元座標軸ｘｙｚの原点Ｏ、該原点ＯからＣＣＤまでの鉛直距離をｈ、検査対象物の検査表面上の座標をＰ（ｘ，ｙ，ｚ）とするとき、
   点ＰのＣＣＤ上の画像位置Ｑ（ｘ１，ｙ１）のｘ，ｙ方向の画像倍率ｎ_ｘ１，ｎ_ｙ１を下記の式（１）（２）で求める、
   ｎ_ｘ１＝ｘ１／ｘ＝ｈ／ｚ・・・（１）
   ｎ_ｙ１＝ｙ１／ｙ＝ｈ／ｚ・・・（１）
   ことを特徴とする請求項２に記載の検査対象物の外観検査方法。
4. ＣＣＤカメラのレンズ中心を３次元座標軸ｘｙｚの原点Ｏ、該原点ＯからＣＣＤまでの鉛直距離をｈ、検査対象物の検査表面上の座標をＰ（ｘ，ｙ，ｚ）とするとき、
   検査対象物の検査表面が半径Ｒの円筒面であり、該円筒面のｘｚ平面上の中心軸座標を（０，ｚ３）、点Ｐの円筒面中心からの角度をθとするとき、
   点ＰのＣＣＤ上の画像位置Ｑ（ｘ１，ｙ１）のｘ，ｙ方向の画像倍率ｎ_ｘ１，ｎ_ｙ１を下記の式（１１）（１２）で求める、
   ｎ_ｘ１＝ｘ１／ｘ＝ｈ／ｚ＝ｈ／（ｚ３−Ｒ・ｃｏｓθ）・・・（１１）
   ｎ_ｙ１＝ｙ１／ｙ＝ｈ／ｚ＝ｈ／（ｚ３−Ｒ）・・・（１２）
   ことを特徴とする請求項２に記載の検査対象物の外観検査方法。
5. 検査対象物の検査表面の３次元形状データとＣＣＤカメラとの相対位置を予め入力するデータ入力装置と、
   前記検査表面の全体を、少なくとも一部を重複させて撮像し複数の画像を取得する複数のＣＣＤカメラと、
   前記各画像から１枚の外面画像を作成する画像処理装置とを備え、
   該画像処理装置により、前記各画像を前記３次元形状データを基に補正して平面に展開し、少なくとも一部が重複した複数の平面画像を作成する画像補正ステップと、
   前記複数の平面画像の重複部分を結合して１枚の外面画像を作成する画像結合ステップと、を実行し、
   該外面画像により検査対象物の外観検査を行うことを特徴とする検査対象物の外観検査装置。

Images