JP2021156629A - 補正プログラム、補正方法、および情報処理装置 - Google Patents

Abstract

【課題】検査対象物の検査精度を向上させる。【解決手段】一実施形態に係る補正プログラムは、撮影画像に写る第１の検査対象物の検査対象部位が写る画像領域に含まれる所定領域の輝度を、参照画像に含まれる第２の検査対象物の検査対象部位が写る画像領域に含まれる所定領域の輝度に整合させるように、撮影画像の輝度を補正する、処理をコンピュータに実行させる。【選択図】図６

Description

本発明は、補正プログラム、補正方法、および情報処理装置に関する。

例えば、部品や製品などの製造現場では、製造した部品や製品などの不良を判定する検査が行われている。こうした部品や製品などの検査対象物の検査は、検査対象物の数や種類が膨大であることがあり、人手で検査することが難しいことがある。そのため、画像解析により検査対象物を検査する試みが成されている。

これに関し、画像検査に関連する技術が知られている（例えば、特許文献１および特許文献２）。

特開２００１−４３３６６号公報 特開２００９−２５８９６８号公報

しかしながら、検査対象物を撮影する際の撮影条件によって、同じ検査対象物を撮影したとしても撮影画像にばらつきが生じることがある。その結果、検査精度が低下してしまうことがある。

１つの側面では、本発明は、検査対象物の検査精度を向上させることを目的とする。

本発明の一つの態様の補正プログラムは、撮影画像に写る第１の検査対象物の検査対象部位が写る画像領域に含まれる所定領域の輝度を、参照画像に含まれる第２の検査対象物の検査対象部位が写る画像領域に含まれる所定領域の輝度に整合させるように、撮影画像の輝度を補正する、処理をコンピュータに実行させる。

検査対象物の検査精度を向上させることができる。

実施形態に係る検査システムを例示する図である。 検査対象物の撮影画像を例示する図である。 実施形態に係る情報処理装置のブロック構成を例示する図である。 実施形態に係る検査対象物の写る撮影画像の検査処理の動作フローを例示する図である。 実施形態に係る参照画像情報を例示する図である。 実施形態に係る検査対象物の写る撮影画像の補正を例示する図である。 実施形態に係る出力情報を例示する図である。 実施形態に係る情報処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。

以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。

図１は、実施形態に係る検査システム１００を例示する図である。検査システム１００は、例えば、情報処理装置１０１、撮影装置１０２、照明装置１０３、設置台１０５などを含む。検査システム１００は、例えば、検査対象物１１０を検査するためのシステムである。

情報処理装置１０１は、例えば、撮影装置１０２と有線または無線で通信接続されていてよい。情報処理装置１０１は、例えば、パーソナルコンピュータ（ＰＣ）、モバイルＰＣ、タブレット端末、または、撮影装置１０２とネットワークを介して接続されるサーバコンピュータなどの画像処理機能を備えるコンピュータであってよい。

撮影装置１０２は、例えば、カメラなどの画像を撮影する装置である。撮影装置１０２は、例えば、設置台１０５に設置された検査対象物１１０を撮影する。また、照明装置１０３は、例えば、設置台１０５に設置された検査対象物１１０を照らすように配置されたＬＥＤ（Light Emitting Diode）などの照明である。撮影装置１０２は、例えば、撮影した検査対象物１１０が写る撮影画像を情報処理装置１０１に送信してよい。設置台１０５は、例えば、検査対象物１１０が設置される台であり、一例ではベルトコンベアなどの製造ラインであってよい。

検査対象物１１０は、例えば、部品、製品、製造物、および成形物などであってよい。検査対象物１１０は、例えば、圧着端子およびワイヤーハーネスなどを含む。以下では、検査対象物１１０が圧着端子である場合を例に説明を行う。しかしながら、実施形態はこれに限定されるものではなく、その他の部品、製品、製造物、および成形物などにも実施形態は適用することができる。

検査対象物１１０が圧着端子である場合、例えば、端子と電線の接合部において電線が歪んでいたり、端子と電線との圧着位置がズレていたり、電線の一部が接合部から飛び出していたりなどの不良がないかの検査が行われる。こうした検査を、画像解析を用いて行う場合、検査対象物１１０を撮影した画像において、検査対象物１１０の検査対象とする部位（以下、検査対象部位と呼ぶことがある）が写る画像領域が均一な撮影条件で撮影されていることが望まれる。しかしながら、実際には撮影条件を均一に揃えることは難しい。

例えば、検査対象物１１０をできるだけ均一な向きで設置台１０５に並べ、撮影装置１０２の位置を固定して撮影を行ったとしても、検査対象物１１０の向きや撮影装置１０２と検査対象物１１０との間の撮影距離には若干のばらつきが生じてしまうことがある。或いは、例えば、設置台１０５が製造ラインであり、複数の製造ラインで検査対象物１１０を搬送して撮影する場合に、ライン間での照明装置１０３の差、および撮影装置１０２の設置位置の差に起因して、撮影条件に差が生じてしまうことがある。更には、太陽光などの外光の影響によっても撮影条件に差が生じ得る。

そして、例えば、検査対象物１１０が、金属の部材や鏡面加工が施された部材などの反射の強い部材を含む場合、僅かな向きや距離などの違いでも、撮影装置１０２のレンズに入る検査対象物１１０からの反射光に差が生じ得る。その結果、撮影画像における検査対象物１１０の写りが大きく変化してしまうことがある。

図２は、検査対象物１１０の撮影画像を例示する図である。図２には、検査対象物１１０として同じ圧着端子の２つの撮影画像が示されている。また、図２（ａ）では、圧着端子において検査対象部位が写る画像領域として（１）〜（４）の４つの画像領域が示されている。例えば、（１）および（３）などに示される端子と電線との接合部を含む領域では、端子と電線との圧着位置がズレていないかや、電線の一部が接合部から飛び出していないかなどが検査される。また、（２）および（４）などの電線が写る領域では電線のゆがみなどが検査される。こうした検査を画像解析で行う場合、検査対象とする（１）〜（４）のそれぞれの画像領域が均一な撮影条件で撮影されていることが望まれる。

しかしながら、上述のように、検査対象物１１０が、例えば、反射の強い部材を含む場合、僅かな向きなどの違いでも検査対象物１１０からの反射光の向きに差が生じ、撮影画像における検査対象物１１０の写りが大きく変化してしまうことがある。例えば、図２（ａ）の（１）の領域２０１では、金属部材の反射が強くでているが、図２（ｂ）に示す検査対象物１１０の同じ領域２０１と大きく画像の輝度に差がでている。そして、このように輝度差がでやすい領域２０１において、撮影画像の検査対象物１１０の写りにばらつきが生じた状態で検査を行うと、検査精度が低下してしまうことがある。

そこで、以下で述べる実施形態では、撮影画像に写る検査対象物１１０の検査対象部位が写る画像領域に輝度差が生じやすい領域が含まれる場合、その輝度差が生じやすい領域を含む所定領域の輝度が検査に適した値となるように、撮影画像を補正する。例えば、実施形態では、検査に用いるのに適した好ましい撮影条件下で検査対象物１１０が撮影されている参照画像を用意する。参照画像は、例えば、不良の検査を実行した場合に、検査結果を正しく判定できる好ましい輝度範囲に、輝度差が生じやすい領域を含む所定領域の輝度が収まっている撮影画像であってよい。そして、実施形態では、撮影画像において検査対象物１１０の検査対象部位が写る画像領域に含まれる所定領域の輝度が、参照画像におけるその所定領域の輝度と整合するように、撮影画像を補正する。ここで、整合するように補正するとは、例えば、撮影画像における所定領域を代表する代表輝度が、参照画像における所定領域を代表する代表輝度に所定の誤差範囲内で一致するように、撮影画像を補正することであってよい。また、所定領域を代表する代表輝度は、例えば、所定領域の輝度の平均値、中央値、最頻値、最小値、最大値などの統計値であってよい。このように補正を行うことにより、撮影画像に写る検査対象物１１０の検査対象部位が写る画像領域において輝度差が生じやすい領域の輝度を、検査に適した値に補正することができる。そのため、輝度差が生じやすい領域を含む検査対象部位の検査精度を高めることができる。

なお、輝度差が生じやすい領域は、一例では、同じ種別の複数の検査対象物１１０を撮影して得た複数の撮影画像を比較した際に、検査対象部位が写る領域内で輝度変化が所定の条件を満たして大きい領域として特定することができる。輝度変化が所定の条件を満たして大きい領域は、例えば、検査対象部位が写る領域内で輝度変化が最大の画素を含む領域であってよい。また、輝度変化が所定の条件を満たして大きい領域は、例えば、検査対象部位が写る領域内において、撮影画像間の輝度の分散が所定の閾値以上である領域であってもよい。

そして、このように特定される撮影画像間での輝度変化が大きい領域は、例えば、金属や鏡面加工が施された部材などの反射の強い部材を含む領域というように、実際には画像に写る検査対象物１１０内で特定の構造を有する領域である。そのため、撮影画像に写る検査対象物１１０に対して、輝度変化が大きい領域を含む所定領域の位置を設定することができる。なお、所定領域は、撮影画像間での輝度差が生じやすい領域を含んでいる。そのため、検査対象物１１０によっては、所定領域内に写る検査対象物１１０の構造の特徴に基づいて、例えば、テンプレートマッチングなどにより撮影画像から所定領域を直接抽出することが難しいこともある。しかしながら、所定領域は、撮影画像に写る検査対象物１１０に対して、相対的に定まった領域に位置する。そのため、例えば、テンプレートマッチングや、エッジ検出で検出した検査対象物１１０の他の部位の特徴的な構造を起点として、その相対的な位置から撮影画像内で所定領域の位置を特定することができる。以上のように、実施形態では、例えば、撮影画像から特定した所定領域の輝度を、参照画像におけるその所定領域の輝度に整合させるように、撮影画像を補正してよい。以下、実施形態を更に詳細に説明する。

図３は、実施形態に係る情報処理装置１０１のブロック構成を例示する図である。情報処理装置１０１は、例えば、制御部３０１、記憶部３０２、および通信部３０３を含む。制御部３０１は、情報処理装置１０１の各部を制御してよい。制御部３０１は、例えば、補正部３１１などを含み、またその他の機能部を含んでもよい。記憶部３０２は、例えば、後述する参照画像情報５００および出力情報７００などの情報を記憶している。通信部３０３は、例えば、制御部３０１の指示に従って他の装置と通信する。通信部３０３は、例えば、撮影装置１０２と通信し、撮影装置１０２で撮影された検査対象物１１０の写る撮影画像を取得してよい。これらの各部の詳細および記憶部３０２に格納されている情報の詳細については後述する。

続いて、実施形態に係る検査対象物１１０の写る撮影画像の補正について説明する。図４は、実施形態に係る検査対象物１１０の写る撮影画像の検査処理の動作フローを例示する図である。例えば、制御部３０１は、検査対象物１１０の写る撮影画像の検査処理の実行指示が入力されると、図４の動作フローを開始してよい。なお、検査処理の実行指示は、例えば、撮影画像に写る検査対象物１１０の型番などの検査対象物１１０の種別を示す情報を含んでよい。

ステップ４０１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ４０１と表記する）において制御部３０１は、撮影画像に写る検査対象物１１０と型番などの種別が一致する参照画像を、参照画像情報５００から読み出す。なお、一例では、制御部３０１は、撮影画像と、参照画像情報５００から読み出した参照画像とをグレースケールに変換してから以降の処理にかけてよい。

図５は、実施形態に係る参照画像情報５００を例示する図である。参照画像情報５００には、検査対象物１１０の種別と、参照画像と、検査対象部位画像と、判定アルゴリズムとが対応づけて登録されている。種別には、型番などの検査対象物１１０の種別を表す情報が登録されていてよい。参照画像は、例えば、判定アルゴリズムで不良の検査を実行した場合に、検査結果が正しく判定できる好ましい撮影条件で検査対象物１１０が撮影されている画像であってよい。

検査対象部位画像は、例えば、検査対象物１１０の検査する対象の部位が写る画像領域として、参照画像から抽出された画像であってよい。図２の（１）〜（４）で例示したように、検査対象物１１０は、複数の検査対象部位を含み得、この場合、参照画像情報５００には複数の検査対象部位のそれぞれと対応する検査対象部位画像が登録されてよい。また、判定アルゴリズムは、検査対象部位画像と対応づけて登録されており、対応する検査対象部位画像に写る検査対象物１１０の領域に不良があるか否かを判定するために用いるアルゴリズムを指定する情報である。

そして、制御部３０１は、Ｓ４０１において検査処理の実行指示で指定された種別と対応づけられた参照画像を参照画像情報５００から読み出してよい。

Ｓ４０２において制御部３０１は、検査対象の撮影画像に写る検査対象物１１０の向きを補正する。

図６は、実施形態に係る検査対象物１１０の写る撮影画像の補正を例示する図である。図６（ａ）は、実施形態に係る撮影画像の向きの補正を例示する図である。向きの補正では、制御部３０１は、参照画像に写る検査対象物１１０の向きと、撮影画像に写る検査対象物１１０の向きとが整合するように、撮影画像の向きを補正する。一例では、制御部３０１は、参照画像に写る検査対象物１１０の向きと、撮影画像に写る検査対象物１１０の向きとを所定の許容範囲内で一致させるように、撮影画像の向きを補正してよい。

例えば、制御部３０１は、参照画像をエッジ検出処理にかけてエッジ画像を生成する。エッジ検出処理は、例えば、ソーベル法およびガウスのラプラシアン法などの既知の手法を用いて実行することができる。そして、制御部３０１は、例えば、得られたエッジ画像から所定の長さ以上の直線領域を抽出するなどして、参照画像に写る検査対象物１１０の長手方向を特定する。同様に、制御部３０１は、撮影画像についてもエッジ検出処理を行い、得られたエッジ画像から所定の長さ以上の直線領域を抽出するなどして、撮影画像に写る検査対象物１１０の長手方向を特定する。そして、制御部３０１は、撮影画像に写る検査対象物１１０の長手方向の向きが、参照画像に写る検査対象物１１０の長手方向の向きと整合するように、撮影画像を回転させる。一例では、制御部３０１は、参照画像に写る検査対象物１１０の向きと撮影画像に写る検査対象物１１０の向きとの差が、検査精度に与える影響が許容範囲内に抑えられるように、向きを一致させてよい。

上述のように、例えば、撮影の際に設置台１０５に検査対象物１１０の向きをできるだけ揃えて並べたとしても、参照画像に写る検査対象物１１０と、検査対象の撮影画像に写る検査対象物１１０との向きには僅かにズレが生じてしまう。そして、向きのズレに起因して検査精度が低下してしまうことがある。そのため、図６（ａ）で述べたように、参照画像に写る検査対象物１１０と、検査対象の撮影画像に写る検査対象物１１０との向きを揃えることで、検査精度を高めることができる。

続く、Ｓ４０３において制御部３０１は、検査対象の撮影画像に写る検査対象物１１０の縮尺を補正する。図６（ｂ）は、実施形態に係る撮影画像の縮尺の補正を例示する図である。縮尺の補正では、制御部３０１は、参照画像に写る検査対象物１１０のサイズと撮影画像に写る検査対象物１１０のサイズが整合するように、撮影画像の縮尺を変更することで撮影画像を補正する。

例えば、制御部３０１は、参照画像をエッジ検出処理にかけて生成したエッジ画像において所定の特徴を有する検査対象物１１０の短手方向のエッジを２か所特定する。同様に、撮影画像のエッジ画像からも同じ所定の特徴を有する検査対象物１１０の短手方向のエッジを２か所特定する。図２では、参照画像と撮影画像とのそれぞれにおいて検査対象物１１０の端部に位置する短手方向に延びる２本のエッジが抽出されている。そして、制御部３０１は、撮影画像における抽出された２本のエッジ間の距離が、参照画像における抽出された２本のエッジ間の距離と所定の誤差範囲内で一致するように、撮影画像の縮尺を変更してよい。なお、縮尺の補正に用いる２か所のエッジには、例えば、種別ごとの検査対象物１１０の形状に応じて、部品の同じ部位を高い確度で抽出できる箇所が選ばれてよい。一例では、エッジは検査対象物１１０の端部であってよい。また、別の例では、エッジは、画像中の検査対象物１１０に含まれる特徴的な構造を有する領域をテンプレートマッチングなどの技術で特定し、その領域内で検出したエッジであってもよい。

なお、図６（ｂ）の例では、短手方向の２つのエッジを用いているが、長手方向のエッジを用いて縮尺の補正が実行されてもよい。また、縮尺の補正に用いるエッジの数は２か所に限定されるものではなく、制御部３０１は、３以上の複数のエッジを抽出し、抽出した複数のエッジが参照画像と撮影画像との間で最もよく重なる縮尺に、撮影画像の縮尺を補正してもよい。或いは、制御部３０１は、例えば、複数回にわたって縮尺の変更倍率を決定し、得られた複数の変更倍率を代表する代表値で撮影画像の縮尺を補正してもよい。例えば、制御部３０１は、短手方向のエッジを用いて決定した縮尺の変更倍率と、長手方向のエッジを用いて決定した縮尺の変更倍率とを代表する代表値の倍率で撮影画像の縮尺を補正してもよい。変更倍率を代表する代表値は、例えば、平均値、最頻値、中央値などの統計値であってよい。

上述のように、例えば、撮影装置１０２の撮影位置を設置台１０５に対して固定して検査対象物１１０の撮影を行ったとしても、設置台１０５に置いた際の位置や向きの差に応じて撮影装置１０２に写る検査対象物１１０のサイズに差がでることがある。また、例えば、設置台１０５が検査対象物１１０を搬送するラインであり、複数のラインで検査対象物１１０を撮影する場合、異なるラインで撮影された撮影画像間で写っている検査対象物１１０のサイズに差がでてしまうことがある。そのため、図６（ｂ）で述べたように、参照画像に写る検査対象物１１０のサイズと、撮影画像に写る検査対象物１１０のサイズとを揃えることで、検査精度を高めることができる。

続いて、Ｓ４０４において制御部３０１は、撮影画像に写る検査対象物１１０の所定領域の輝度が、参照画像に写る検査対象物１１０の所定領域の輝度と整合するように、撮影画像の輝度を補正する。図６（ｃ）は、実施形態に係る撮影画像の輝度の補正を例示する図である。輝度の補正では、制御部３０１は、撮影画像に写る検査対象物１１０の所定領域６０１の輝度を表す値を求める。所定領域は、例えば、検査対象部位において輝度差が生じやすい領域を含む。図６（ｃ）では、検査対象物１１０の上面の左端の領域が、輝度差がでやすい所定領域６０１であるものとする。この場合に制御部３０１は、一例では、参照画像において所定領域６０１の画素の輝度を代表する代表輝度を求める。代表輝度は、一例では、所定領域６０１に含まれる複数の画素の輝度の平均値、中央値、最頻値などの統計値であってよい。また、同様に、制御部３０１は、撮影画像において所定領域６０１に含まれる画素の輝度を代表する代表輝度を求める。そして、制御部３０１は、撮影画像から求めた代表輝度が、参照画像から求めた代表輝度と所定の誤差範囲内で一致するように、撮影画像の輝度を補正する。それにより、検査対象物１１０が、輝度差が生じやすい領域を含む場合にも、輝度差が生じやすい領域の輝度を検査において好ましい範囲に収めることができる。そのため、検査精度を高めることができる。

続く、Ｓ４０５において制御部３０１は、以上の処理で補正された撮影画像に写る検査対象物１１０から検査対象部位の画像領域を抽出する。図６（ｄ）は、実施形態に係る撮影画像からの検査対象部位の画像領域の抽出を例示する図である。制御部３０１は、例えば、参照画像情報５００に登録されている検査対象部位画像を用いて、テンプレートマッチングなどにより、撮影画像に写る検査対象物１１０から検査対象部位の画像領域を抽出してよい。

例えば、検査対象物１１０が圧着端子などのように、複雑で微細な構造を含む場合、圧着端子に不良がなく正常に動作する同じ種別の圧着端子同士で画像を比較したとしても、画像に写る検査対象物１１０の様々な箇所で差異が検出されてしまうことがある。この様な状況で、画像に写る検査対象物１１０の全体を比較して不良の検出を実行しようとしても、様々な箇所で生じる微細な構造の差異により、検査対象部位における正常および不良を見分けるための差異が埋もれてしまい、検査精度が低下してしまうことがある。そこで、Ｓ４０５では制御部３０１は、検査対象部位の写る画像領域を抽出してから不良の検査を行っている。それにより、検査対象部位に集中して画像の変化を捉えることができ、検査精度を高めることができる。

Ｓ４０６において制御部３０１は、検査対象部位の写る画像領域として抽出された画像に対して、不良の有無を判定する。なお、画像からの不良の有無の判定は、既知の手法を用いて実行することができる。一例では、制御部３０１は、検査対象部位の画像から不良の有無の判定するように機械学習された学習済みモデルを用いて、検査対象部位における不良の有無を判定してよい。

不良が含まれていない場合（Ｓ４０６が正常）、フローはＳ４０７に進み、制御部３０１は、検査対象物１１０の検査対象部位が正常であることを示す情報を出力し、本動作フローは終了する。一方、不良が含まれている場合（Ｓ４０６が不良）、フローはＳ４０８に進み、制御部３０１は、検査対象物１１０の検査対象部位に不良が含まれていることを示す情報を出力し、本動作フローは終了する。なお、Ｓ４０７およびＳ４０８における情報の出力は、例えば、表示装置の表示画面に判定結果を表示させることであってよい。また、別の実施形態では、Ｓ４０７およびＳ４０８における情報の出力は、撮影画像と対応づけて、撮影画像に写る検査対象物１１０の各検査対象部位の判定結果を含むレコードを、判定結果を格納するファイルなどの出力情報７００に出力することであってもよい。

図７は、実施形態に係る出力情報７００を例示する図である。出力情報７００には、例えば、識別子、撮影画像、検査対象部位、検査対象部位画像、判定結果などの情報を含むレコードが登録されていてよい。識別子は、例えば、個々の検査対象物１１０を識別するための識別子である。撮影画像は、レコードの識別子で識別される検査対象物１１０を撮影した画像である。検査対象部位は、検査対象物１１０のうちの検査対象とする部位を示す情報であり、検査対象部位画像は、レコードの識別子で識別される検査対象物１１０の撮影画像から抽出された検査対象部位の画像である。また、判定結果は、レコードの識別子で識別される検査対象物１１０の撮影画像から抽出された検査対象部位の画像に対する不良の有無の判定結果である。そのため、ユーザは、例えば、出力情報７００を参照することで、識別子で識別される検査対象物１１０に不良が存在するか否か、および不良がある場合にはどの部位にどのような不良があるかなどを知ることができる。なお、図７の出力情報７００は、例えば、表示装置の表示画面に表示されてもよい。

以上で述べたように、実施形態に係る撮影画像の補正を行うことで、撮影画像に写る検査対象物１１０の不良の有無の判定精度を向上させることができる。

例えば、実施形態では制御部３０１は、Ｓ４０４の処理で述べたように、撮影条件に応じて輝度差が生じやすい所定領域６０１の代表輝度が参照画像における所定領域６０１の代表輝度と整合するように、撮影画像の輝度を補正する。そのため、撮影した際に輝度差が生じやすい検査対象部位の輝度を、検査に適した値に補正することができ、検査対象物１１０の検査精度を高めることができる。

また、実施形態では制御部３０１は、Ｓ４０２の処理で述べたように、撮影画像に写る検査対象物１１０の向きが参照画像に写る検査対象物１１０の向きと整合するように、撮影画像の向きを補正する。そのため、撮影画像に写る検査対象物１１０の向きを揃えてから不良の有無の判定を実行することができ、検査精度を高めることができる。

また、実施形態では制御部３０１は、Ｓ４０３の処理で述べたように、撮影画像に写る検査対象物１１０のサイズが、参照画像に写る検査対象物１１０のサイズと整合するように、撮影画像の縮尺を補正する。そのため、撮影画像に写る検査対象物１１０のサイズを揃えてから不良の有無の判定を実行することができ、検査精度を高めることができる。

また、実施形態では制御部３０１は、Ｓ４０５の処理で述べたように、撮影画像に写る検査対象物１１０の検査対象部位の画像領域を抽出してから不良の有無の判定を実行している。そのため、検査対象物１１０の全体における様々な構造の差に起因して、検査対象部位の検査精度が低下してしまうことを抑制することができる。

また、上述の実施形態では、参照画像に合わせて撮影画像を補正しているため、その後のＳ４０６の判定において、撮影画像に写る検査対象物１１０の状態を均一にして判定アルゴリズムに入力することができ、不良の検出精度を向上させることができる。

なお、上述の実施形態では、種別として型番を例示し、参照画像と、検査対象物とが同じ部品である場合を例に説明を行った。しかしながら、実施形態はこれに限定されるものでは無い。例えば、別の実施形態では、形状が似ている異なる部品に対して実施形態が適用されてもよい。例えば、圧着端子などの部品である場合、部品の種類が非常に豊富であり、形状の類似している部品も多数含まれている。そのような非常に豊富な種類の全てに対して、個別に参照画像情報５００のレコードを登録すれば、種類ごとに用意された参照画像を用いて撮影画像の補正を行ことができるため、補正を高精度に行うことができる効果が期待できる。しかしながら、全ての種類に対して個別に参照画像情報５００のレコードを登録するのは作業負荷が大きい。そのため、別の実施形態では、形状の似ている異なる複数の種類の部品に対して、それらの複数の種類の部品を代表する１つの参照画像が参照画像情報５００に登録されてよい。そして、制御部３０１は、それらの複数の種類の部品を撮影した撮影画像を、複数の種類の部品を代表する１つの参照画像を用いて補正してよい。

また、同様に、不良を検出するための判定アルゴリズムについても、形状が似ている異なる種類の部品に対して、１つの判定アルゴリズムを用いて不良の検出が行われてもよい。例えば、種類の異なる全ての検査対象物１１０に対して個別に判定アルゴリズムを作成すれば、種類ごとに適した判定を行うことができるため、不良を高精度に判定することができる。しかしながら、このように、全ての種類の部品に対して個別に判定アルゴリズムを作成することは、非常に手間がかかる。上述の実施形態では、補正により判定アルゴリズムに入力する際の撮影画像に写る検査対象物１１０の状態を均一にできるため、異なる種類の部品に対しても同じ判定アルゴリズムを用いて不良を検査することが可能になる。その結果、判定アルゴリズムを作成する作業負担を軽減することができる。

また、更に、上述の実施形態では、Ｓ４０３の処理で参照画像に写る検査対象物１１０のサイズに合わせて、撮影画像に写る検査対象物１１０のサイズを補正している。そのため、実施形態によれば、例えば、参照画像に写る検査対象物１１０と、サイズが実際には異なるが形状が似ている検査対象物１１０を撮影した撮影画像に対して、同じ判定アルゴリズを用いて検査を実行することも可能となる。

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。例えば、上述の実施形態では、撮影画像に写る検査対象物１１０の向き、縮尺、および輝度を補正し、検査対象部位を抽出して検査を実行することで、検査精度を向上させる例が示されているが、実施形態はこれに限定されるものではない。別の実施形態ではこれらの一部の処理は実行されなくてもよく、例えば、図４のＳ４０２〜Ｓ４０５のうちの一部の処理は実行されなくてもよい。

また、上述の実施形態では、撮影画像の輝度の補正に、撮影画像に写る検査対象物１１０の１つの所定領域を用いている。しかしながら、実施形態はこれに限定されるものではない。例えば、検査対象物１１０が、輝度差が生じやすい領域が含まれた複数の検査対象部位を含む場合、それらの検査対象部位が写る画像領域ごとに所定領域を設定し、個別に撮影画像を補正してもよい。それにより、輝度差が生じやすい領域における輝度変化の生じ方が、検査対象部位ごとに異なる場合にも、検査対象部位ごとに検査に適した撮影画像を生成することができ、検査精度を向上させることができる。

また、上述の実施形態では、画像に写る検査対象物１１０の向きやサイズを特定するための一例として、検査対象物１１０の長手方向のエッジや、検査対象物１１０の端部の短手方向のエッジを用いる例を述べている。しかしながら、実施形態はこれに限定されるものではない。例えば、別の実施形態では、検査対象物１１０の向きやサイズの特定に利用可能なその他の位置のエッジが利用されてもよい。

また、上述の実施形態では、参照画像に写る検査対象物１１０に関する向き、サイズ、所定領域の輝度などの情報を、図４の動作フローにおいて取得する例を述べているが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、参照画像に写る検査対象物１１０に関する向き、サイズ、所定領域の輝度などの情報を予め参照画像情報５００に格納しておくこともできる。それにより、図４の検査対象物１１０の写る撮影画像の検査処理の際に、参照画像に対する処理を軽減することができる。

図８は、実施形態に係る情報処理装置１０１を実現するためのコンピュータ８００のハードウェア構成を例示する図である。図８の情報処理装置１０１を実現するためのハードウェア構成は、例えば、プロセッサ８０１、メモリ８０２、記憶装置８０３、読取装置８０４、通信インタフェース８０６、および入出力インタフェース８０７を備える。なお、プロセッサ８０１、メモリ８０２、記憶装置８０３、読取装置８０４、通信インタフェース８０６、入出力インタフェース８０７は、例えば、バス８０８を介して互いに接続されている。

プロセッサ８０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ８０１は、メモリ８０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部３０１の一部または全部の機能を提供する。例えば、情報処理装置１０１のプロセッサ８０１は、記憶装置８０３に格納されているプログラムを読み出して実行することで、補正部３１１として動作する。

メモリ８０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置８０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

読取装置８０４は、プロセッサ８０１の指示に従って着脱可能記憶媒体８０５にアクセスする。着脱可能記憶媒体８０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Universal Serial Bus）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、Blu-ray Disc等（Blu-rayは登録商標）である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

記憶部３０２は、例えばメモリ８０２、記憶装置８０３、および着脱可能記憶媒体８０５を含んでいる。例えば、情報処理装置１０１の記憶装置８０３には、参照画像情報５００、および出力情報７００が格納されている。

通信インタフェース８０６は、プロセッサ８０１の指示に従って、他の装置と通信する。一例では、通信インタフェース８０６は、有線または無線通信で撮影装置１０２などの他の装置とデータを送受信してよい。通信インタフェース８０６は、上述の通信部の一例である。

入出力インタフェース８０７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、およびスピーカなどの音声装置である。

実施形態に係る補正プログラムを含むプログラムは、例えば、下記の形態で情報処理装置１０１に提供される。
（１）記憶装置８０３に予めインストールされている。
（２）着脱可能記憶媒体８０５により提供される。
（３）プログラムサーバなどのサーバから提供される。

なお、図８を参照して述べた情報処理装置１０１を実現するためのコンピュータ８００のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の制御部３０１の一部または全部の機能がＦＰＧＡ、ＳｏＣ、ＡＳＩＣ、およびＰＬＤなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。ＡＳＩＣは、Application Specific Integrated Circuitの略称である。ＰＬＤは、Programmable Logic Deviceの略称である。

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

以上の実施形態に関し、更に以下の付記を開示する。
［付記１］
撮影画像に写る第１の検査対象物の検査対象部位が写る画像領域に含まれる所定領域の輝度を、参照画像に含まれる第２の検査対象物の前記検査対象部位が写る画像領域に含まれる前記所定領域の輝度に整合させるように、前記撮影画像の輝度を補正する、
処理をコンピュータに実行させる、補正プログラム。
［付記２］
前記所定領域は、前記検査対象部位が写る画像領域において撮影条件の違いに応じた輝度の変化が所定の条件を満たして大きい領域を含むように設定されている、付記１に記載の補正プログラム。
［付記３］
前記補正する処理は、更に、
前記撮影画像に写る前記第１の検査対象物から第１のエッジを検出し、
前記第１のエッジの向きを、前記参照画像に写る前記第２の検査対象物から検出された第２のエッジの向きに整合させるように、前記撮影画像を回転させる、
処理を含む、付記１または２に記載の補正プログラム。
［付記４］
前記補正する処理は、更に、
前記撮影画像に写る前記第１の検査対象物から第３のエッジおよび第４のエッジを検出し、
前記撮影画像から検出された前記第１の検査対象物の前記第３のエッジおよび前記第４のエッジの間の距離を、前記参照画像に写る前記第２の検査対象物から検出された第５のエッジと第６のエッジとの間の距離に整合させるように、前記撮影画像の縮尺を変更する、
処理を含む、付記１から３のいずれかに記載の補正プログラム。
［付記５］
前記補正する処理により補正された前記撮影画像から、前記検査対象部位が写る画像領域を抽出し、
前記検査対象部位が写る画像領域を所定の判定アルゴリズムに入力して前記第１の検査対象物の前記検査対象部位に不良があるかを検査する、
処理を更にコンピュータに実行させる、付記１から４のいずれかに記載の補正プログラム。
［付記６］
前記第１の検査対象物と、前記第２の検査対象物とは異なる種類の部品であることを特徴とする、付記１から５のいずれかに記載の補正プログラム。
［付記７］
撮影画像に写る第１の検査対象物の検査対象部位が写る画像領域に含まれる所定領域の輝度を、参照画像に含まれる第２の検査対象物の前記検査対象部位が写る画像領域に含まれる前記所定領域の輝度に整合させるように、前記撮影画像の輝度を補正する、
ことを含む、コンピュータが実行する補正方法。
補正方法。
［付記８］
撮影画像に写る第１の検査対象物の検査対象部位が写る画像領域に含まれる所定領域の輝度を、参照画像に含まれる第２の検査対象物の前記検査対象部位が写る画像領域に含まれる前記所定領域の輝度に整合させるように、前記撮影画像の輝度を補正する補正部、
を含む、情報処理装置。

１００ 検査システム
１０１ 情報処理装置
１０２ 撮影装置
１０３ 照明装置
１０５ 設置台
１１０ 検査対象物
２０１ 領域
３０１ 制御部
３０２ 記憶部
３０３ 通信部
３１１ 補正部
５００ 参照画像情報
６０１ 所定領域
７００ 出力情報
８００ コンピュータ
８０１ プロセッサ
８０２ メモリ
８０３ 記憶装置
８０４ 読取装置
８０５ 着脱可能記憶媒体
８０６ 通信インタフェース
８０７ 入出力インタフェース
８０８ バス

Claims (7)

1. 撮影画像に写る第１の検査対象物の検査対象部位が写る画像領域に含まれる所定領域の輝度を、参照画像に含まれる第２の検査対象物の前記検査対象部位が写る画像領域に含まれる前記所定領域の輝度に整合させるように、前記撮影画像の輝度を補正する、
   処理をコンピュータに実行させる、補正プログラム。
2. 前記所定領域は、前記検査対象部位が写る画像領域において撮影条件の違いに応じた輝度の変化が所定の条件を満たして大きい領域を含むように設定されている、請求項１に記載の補正プログラム。
3. 前記補正する処理は、更に、
   前記撮影画像に写る前記第１の検査対象物から第１のエッジを検出し、
   前記第１のエッジの向きを、前記参照画像に写る前記第２の検査対象物から検出された第２のエッジの向きに整合させるように、前記撮影画像を回転させる、
   処理を含む、請求項１または２に記載の補正プログラム。
4. 前記補正する処理は、更に、
   前記撮影画像に写る前記第１の検査対象物から第３のエッジおよび第４のエッジを検出し、
   前記撮影画像から検出された前記第１の検査対象物の前記第３のエッジおよび前記第４のエッジの間の距離を、前記参照画像に写る前記第２の検査対象物から検出された第５のエッジと第６のエッジとの間の距離に整合させるように、前記撮影画像の縮尺を変更する、
   処理を含む、請求項１から３のいずれか１項に記載の補正プログラム。
5. 前記補正する処理により補正された前記撮影画像から、前記検査対象部位が写る画像領域を抽出し、
   前記検査対象部位が写る画像領域を所定の判定アルゴリズムに入力して前記第１の検査対象物の前記検査対象部位に不良があるかを検査する、
   処理を更にコンピュータに実行させる、請求項１から４のいずれか１項に記載の補正プログラム。
6. 撮影画像に写る第１の検査対象物の検査対象部位が写る画像領域に含まれる所定領域の輝度を、参照画像に含まれる第２の検査対象物の前記検査対象部位が写る画像領域に含まれる前記所定領域の輝度に整合させるように、前記撮影画像の輝度を補正する、
   ことを含む、コンピュータが実行する補正方法。
   補正方法。
7. 撮影画像に写る第１の検査対象物の検査対象部位が写る画像領域に含まれる所定領域の輝度を、参照画像に含まれる第２の検査対象物の前記検査対象部位が写る画像領域に含まれる前記所定領域の輝度に整合させるように、前記撮影画像の輝度を補正する補正部、
   を含む、情報処理装置。
   
   

Images