JP2018072900A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】開示の技術は、画像センサ列に対し検査対象が一定速度で移動していない場合であっても、検査対象画像と見本画像との位置合わせを精度良く実行することを目的とする。【解決手段】画像処理装置は、画像センサ列の撮像範囲に対し検査対象を通過させることにより、同一の検査対象について異なるタイミングで撮像した第１画像および第２画像を取得し、第１画像および第２画像のそれぞれの特徴点を抽出し、抽出した特徴点の特徴量に基づき、前記第１画像の特徴点と前記第２画像の特徴点とをそれぞれ対応付けし、３点以上対応付けられた第１画像の特徴点と第２画像の特徴点のそれぞれの座標に応じて、二次の拘束条件に基づく第２画像の特徴点から第１画像の特徴点への変換式を推定し、推定した変換式に基づき第２画像を第１画像に対応する第３画像に変換する。【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。

建築物や車両等の外観における点検は、目視に頼る部分が大きいため、点検時の負荷が大きくなる。点検の負荷軽減のため、画像処理に基づく異常検出が注目されている。

異常検出の方法として、例えば、点検対象の画像を撮りためて見本画像とし、見本画像に対する検査対象画像の位置合わせを行い比較する技術がある。位置合わせの技術としては、例えば非特許文献１に、見本画像と検査対象画像との特徴点をそれぞれ抽出し、対応する特徴点同士の座標変換を行うホモグラフィ行列を推定することにより、一方の画像を他方の画像に位置合わせする技術が開示されている。

特開２００２−１０９５１８号公報 特開２００７−２４８３６４号公報

「画像特徴に基づくイメージモザイキング」電子情報通信学会論文誌 Vol. J82-D-II No.10、1999年10月、pp.1581-1589

しかしながら、検査対象の画像をラインセンサのように画像センサがアレイ状に配置された画像センサ列で撮像する場合、画像センサ列に対し検査対象を移動させる場合がある。検査対象が一定速度で移動していなければ、画像センサ列で撮像するタイミングによって検査対象の移動速度が異なるため、撮像された画像に歪が生じる。画像に生じた歪により、位置合わせの精度は低下する。

開示の技術は、画像センサ列に対し検査対象が一定速度で移動していない場合であっても、見本画像との位置合わせを精度良く実行することを目的とする。

上述した課題を解決し、目的を達成するため、画像処理装置は、画像センサ列の撮像範囲に対し検査対象を通過させることにより、同一の検査対象について異なるタイミングで撮像した第１画像および第２画像を取得し、第１画像および第２画像のそれぞれの特徴点を抽出し、抽出した特徴点の特徴量に基づき、前記第１画像の特徴点と前記第２画像の特徴点とをそれぞれ対応付けし、３点以上対応付けられた第１画像の特徴点と第２画像の特徴点のそれぞれの座標に応じて、二次の拘束条件に基づく第２画像の特徴点から第１画像の特徴点への変換式を推定し、推定した変換式に基づき第２画像を第１画像に対応する第３画像に変換する。

本件の開示する画像処理装置、画像処理方法および画像処理プログラムの一つの態様によれば、画像センサ列に対し検査対象が一定速度で移動していない場合であっても、見本画像との位置合わせを精度良く実行することができるという効果を奏する。

図１は、第１の実施形態における、画像処理装置の利用形態の一例を示す機能ブロック図である。 図２は、対象物の通過速度と撮像結果との関係を示す図である。 図３は、見本画像と検査対象画像との位置合わせを示す図である。 図４は、画像処理装置のハードウェアブロック図の一例である。 図５は、画像処理装置の機能ブロック図である。 図６は、画像処理装置による画像位置合わせ処理フローである。 図７は、他の実施形態における、画像処理装置の機能ブロック図である。 図８は本実施形態に対応する画像処理装置の画像位置合わせ処理フローである。 図９は本実施形態における画像分割イメージの一例である。 図１０は本実施形態における画像分割イメージの他の例である。 図１１は、画像処理システムの機能ブロック図である。 図１２は、画像処理システムの処理フローである。 図１３は、画像処理システムの他の実施形態の機能ブロック図である。 図１４は、画像処理システムの処理フローである。

以下、本発明の実施形態について具体的に説明する。

（第１の実施形態）
図１は、第１の実施形態における、画像処理装置の利用形態の一例を示すブロック図である。図１のブロック図において、画像処理装置３は、ラインセンサ２、通信網５、通信端末６に接続されている。ラインセンサ２と画像処理装置３を含むシステムを画像処理システムの構成としてもよいし、画像処理装置３がラインセンサ２を含む構成としてもよい。

ラインセンサ２は本実施例において、受像素子が一列以上並んだ画像センサ列による、一次元的に画像を撮影する撮像素子を示す。ラインセンサ２は、受像素子の並ぶ方向に対し受像領域を垂直方向に通過する対象物１を一定のタイミングで撮像し、画像処理装置３に送信する。画像処理装置３は、受信した撮像画像を１つの検査対象画像につなぎ合わせる。画像処理装置３は、つなぎ合わせた検査対象画像に対し、あらかじめ記録した見本画像との位置合わせ処理を実行する。画像処理装置３は、位置合わせ処理結果をディスプレイに表示してもよいし、通信網５を介して通信端末６に送信してもよい。

図２は、対象物の通過速度と撮像結果との関係を示す図である。対象物１がラインセンサ２を一定速度で通過する場合、画像１１の通り対象物１と同一形状で取り込むことが出来る。一方、対象物１がラインセンサ２を通過する速度が変化した場合、画像１２の通り対象物１に対し形状が歪む。見本画像を撮るときと検査対象画像を撮るときに対象物１の速度変化が異なる場合、対象物１の形状の歪み方が異なる。よって検査対象画像と見本画像との比較において、移動速度の影響を受けて画像が歪むことは、画像位置合わせ処理における誤差要因となる。

図３は、見本画像と検査対象画像との位置合わせを示す図である。本実施例において見本画像４１の頂点Ｘと、検査対象画像４２の頂点Ｙは、ホモグラフィ行列ＨによりＹ＝ＨＸで表すことが出来ると想定する。

２つの画像の位置合わせには、まず見本画像４１と検査対象画像４２のそれぞれから特徴点を抽出する。抽出した各特徴点について特徴量を算出し、算出した特徴量に応じて、２つの画像の特徴点を対応付ける。特徴点の抽出および特徴量の算出には、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量算出やＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴量算出など、画像を複数ブロックに分割し、あるブロックから周辺ブロックへの輝度変化をベクトル換算し特徴量とする既存技術を活用してもよい。

２つの画像について対応付けた特徴点に基づき、ホモグラフィ行列Ｈを推定する。従来のホモグラフィ行列Ｈは２つの画像が線形変換可能であることを前提としているため、ホモグラフィ行列Ｈは一次式となる。したがって、検査対象画像４２のようにラインセンサ２で取り込んだ画像に歪が生じた場合、ホモグラフィ行列Ｈをかけることによって位置合わせを行うことができない。

そこで、本実施例では、検査対象画像４２の撮像時には、ラインセンサ２を通過する対象物１の加速度が一定であると仮定し、ホモグラフィ行列Ｈを用いた２画像間の変換式を（数１）の通り設定する。（数１）において変数ｙに係る式が二次式となっているのは、等加速度運動が時間の二次式で表現できるためである。
（数１）

（数１）に示す通り、ホモグラフィ行列Ｈはｈ１からｈ９までの変数を有し、行列Ｘ、Ｙはｋ１からｋ６までの変数を有する。ホモグラフィ行列は定数倍の自由度があるため、全ての変数を求めるには、少なくとも７点の対応する特徴点が必要となる。

また、ホモグラフィ行列Ｈを（数２）の通り設定することもできる。（数２）の通りｘ方向にも等加速度運動していると仮定することにより、ラインセンサ２を通過する対象物１の動きをより汎用化することが出来る。
（数２）

（数２）に示す通り、ホモグラフィ行列Ｈはｈ１からｈ９までの変数を有し、行列Ｘ、Ｙはｋ１からｋ１２までの変数を有する。ホモグラフィ行列は定数倍の自由度があるため、全ての変数を求めるには、少なくとも１０点の対応する特徴点が必要となる。すなわち、二次の拘束条件に用いる変数の数によって必要な特徴点の数が決定する。

（数１）または（数２）の拘束条件に基づき各変数を算出することにより、等加速度運動で対象物１の速度が変化している区間においては、ラインセンサ２により取り込んだ検査対象画像４２と見本画像４１との画像位置合わせ処理を精度よく行うことが出来る。

図４は、画像処理装置のハードウェアブロック図の一例である。画像処理装置３は、通信部２１、表示部２２、ＣＰＵ２４、記憶部２５、インタフェース２６を有する。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略であり、演算処理装置を示す。インタフェースは、外部装置と信号を送受信するための端子を示す。通信部２１、表示部２２、ＣＰＵ２４、記憶部２５、インタフェース２６は、バス２３により互いに電気的に接続されている。

通信部２１は、画像処理装置３による画像位置合わせ処理結果を外部に送信する場合の、通信ネットワークとのインタフェースである。通信部２１は、通信に必要な変復調処理やアナログデジタル変換処理等を行ってもよい。

表示部２２は、画像処理装置３による画像位置合わせ処理結果を視覚的に表示するための装置である。表示部２２は、外部に接続されたディスプレイ等の画像表示装置に対し、描画信号を送信するためのインタフェースとして機能してもよい。

ＣＰＵ２４は、記憶部２５に記憶されたプログラムを実行するための演算処理装置である。ＣＰＵ２４に要求される機能の一部は、ＧＰＵ（Ｇｕｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）により実行してもよい。

記憶部２５は、画像処理プログラム２７、見本画像２８、検査対象画像２９を記憶する。画像処理装置３は、記憶部２５から画像処理プログラム２７を読出し、ＣＰＵ２４に実行させることにより、画像処理装置３の機能を実現することが出来る。画像処理装置３は画像位置合わせ処理において、見本画像２８および検査対象画像２９を読み出す。画像処理装置３は、画像位置合わせ処理結果を記憶部２５に書き込む。

インタフェース２６は、外部装置との信号をやり取りするためのインタフェースである。本実施例において画像処理装置３は、インタフェース２６を介してラインセンサ２と接続されている。画像処理装置３は、インタフェース２６を介してラインセンサ２から受信した画像データを検査対象画像２９として記憶部２５に書き込む。

以上の通り画像処理装置３は、記憶部に記憶した画像処理プログラム２７を実行することにより、画像処理装置としての機能を実現することが出来る。

図５は、画像処理装置の機能ブロック図である。画像処理装置３ａは、特徴点抽出部３１、特徴点対応付け部３２、画像変換式推定部３３、位置合わせ画像生成部３４を有する。画像処理装置３ａにおける各機能ブロックは、ＣＰＵ２４が画像処理プログラム２７を実行することにより実現される。

特徴点抽出部３１は、見本画像２８および検査対象画像２９を受信し、それぞれの画像の特徴点を抽出する。特徴点対応付け部３２は、特徴点抽出部３１により抽出した特徴点をそれぞれ、特徴点ごとの特徴量に基づき対応付ける。

例えば図３において、見本画像４１と検査対象画像４２では、三角形の各頂点が特徴点として対応付けられる。特徴点の対応付けは、各特徴点を対応付けするための特徴量間の閾値を設定し、２つの特徴量の差分が閾値以下になった場合に、２つの特徴点が対応していると判定してもよい。特徴点の抽出および特徴量の算出技術には、前述の通りＳＩＦＴ特徴量抽出技術やＳＵＲＦ特徴量抽出技術などがある。

画像変換式推定部３３は、特徴点対応付け部３２により対応付けされた特徴点および前述の（数１）または（数２）に基づき行列式を立て、（数１）または（数２）における係数を算出する。画像変換式推定部３３は、算出した係数に基づき、見本画像から検査対象画像への画像変換式を推定する。

位置合わせ画像生成部３４は、画像変換式推定部３３により推定された画像変換式に基づき、見本画像または検査対象画像のいずれか一方を他方の画像に位置合わせ演算する。

以上の通り画像処理装置３ａは、検査対象画像に歪がある場合でも、抽出した特徴点に基づき、見本画像と検査対象画像との位置合わせを実現することが出来る。

図６は、画像処理装置による画像位置合わせ処理フローである。画像位置合わせ処理は、記憶部２５に記憶された画像処理プログラム２７を読出し、ＣＰＵ２４に実行させることにより実現する。

画像処理装置３ａは、見本画像および検査対象画像の２枚の画像から特徴点を抽出する（ステップＳ１１）。画像処理装置３ａは、抽出した特徴点に基づき、各特徴点の対応付けを行う（ステップＳ１２）。画像処理装置３ａは、等加速度運動を仮定した前述の画像変換式に基づき、画像変換式の各係数を算出し、算出した各係数に基づき画像変換式を推定する（ステップＳ１３）。画像処理装置３ａは、推定した画像変換式に基づき、見本画像または検査対象画像のいずれか一方を他方に位置合わせするように画像変換する（ステップＳ１４）。

以上の通り画像処理装置３ａは、検査対象画像の取り込み速度が一定でない場合であっても、等加速度運動を行うと仮定した画像変換式を立てることにより、画像位置合わせ処理を実現することが出来る。

（第２の実施形態）
図７は、他の実施形態における、画像処理装置の機能ブロック図である。画像処理装置３ｂは、特徴点抽出部３１、特徴点対応付け部３２、分割部５１、画像変換式推定部５２、位置合わせ分割画像生成部５３、および位置合わせ全体画像生成部５４を有する。

特徴点抽出部３１は、見本画像２８および検査対象画像２９を受信し、それぞれの画像の特徴点を抽出する。

特徴点対応付け部３２は、特徴点抽出部３１により抽出した特徴点をそれぞれ、特徴点ごとの特徴量に基づき対応付ける。例えば図３において、見本画像４１と検査対象画像４２では、三角形の各頂点が特徴点として対応付けられる。特徴点の対応付けは、各特徴点を対応付けするための特徴量間の閾値を設定し、２つの特徴量の差分が閾値以下の場合に、２つの特徴点を対応付けられると推定してもよい。

分割部５１は、検査対象画像２９を所定の間隔で分割する。分割条件は、１つの分割領域に所定数以上の特徴点が含まれるようにしてもよいし、等加速度で変化している領域と仮定できるほど十分に小さく分割してもよい。分割処理の詳細については後述する。

画像変換式推定部５２は、分割部５１により分割されたそれぞれの領域について、特徴点対応付け部３２により対応付けされた特徴点および前述の（数１）または（数２）に基づき行列式を立て、（数１）または（数２）における係数を算出する。画像変換式推定部５２は、算出した係数に基づき、見本画像から検査対象画像への画像変換式を推定する。

位置合わせ分割画像生成部５３は、画像変換式推定部５２により推定された画像変換式に基づき、分割された検査対象画像をそれぞれ、見本画像に位置合わせ演算する。

位置合わせ全体画像生成部５４は、位置合わせ分割画像生成部５３により見本画像に位置合わせ演算された、分割された検査対象画像を結合させ、見本画像に対応する１つの検査対象画像を生成する。

以上の通り画像処理装置３ｂは、検査対象画像の歪の原因となる加速度が一定でない場合であっても、加速度が一定と仮定できるまで画像を分割することにより、抽出した特徴点に基づき、見本画像と検査対象画像との位置合わせを実現することが出来る。

図８は本実施形態に対応する画像処理装置の画像位置合わせ処理フローである。図８において、画像処理装置３ｂは、見本画像および検査対象画像の画像入力を受信する（ステップＳ２１）。画像処理装置３ｂは、受信した見本画像および検査対象画像のそれぞれについて、特徴点の抽出処理をおこなう（ステップＳ２２）。画像処理装置３ｂは、抽出した特徴点についてそれぞれ、特徴点の対応付けを行う（ステップＳ２３）。画像処理装置３ｂは、検査対象画像を所定条件で分割する（ステップＳ２４）。

画像処理装置３ｂは、検査対象画像の分割数に応じて、ステップＳ２６、Ｓ２７の処理を繰り返す（ステップＳ２５）。画像処理装置３ｂは、分割後のそれぞれの分割画像について、画像変換式の推定を行う（ステップＳ２６）。画像処理装置３ｂは、推定した画像変換式に基づき、それぞれの分割画像を見本画像に位置合わせした、位置合わせ画像を生成する（ステップＳ２７）。

画像処理装置３ｂは、分割画像ごとに生成した位置合わせ画像を結合させ、全体の位置合わせ画像を生成する（ステップＳ２８）。

以上の通り画像処理装置３ｂは、検査対象画像の歪の原因となる加速度が一定でない場合であっても、加速度が一定と仮定できるまで画像を分割することにより、抽出した特徴点に基づき、見本画像と検査対象画像との位置合わせを実現することが出来る。

図９は本実施形態における画像分割イメージの一例である。図９において、検査対象画像は時間方向に一定間隔ＢＬで分割された、分割画像６１−６５を有する。それぞれの分割画像には、特徴点ＣＰＡが含まれている。

見本画像は検査対象画像の特徴点ＣＰＡに対応する、特徴点ＣＰＢを有する。画像処理装置３ｂは、検査対象画像の各分割画像における特徴点ＣＰＡに対応する特徴点ＣＰＢが、対応する見本画像の分割領域に全て含まれるように見本画像の分割幅を決定する。

画像処理装置３ｂは、検査対象画像の分割画像６１−６５と、見本画像の分割画像７１−７５とをそれぞれ対応付け、画像変換式の推定を行う。画像処理装置３ｂは、推定した画像変換式に基づき、それぞれの分割画像に対し、画像位置合わせ処理を行う。

検査対象画像の分割幅ＢＬは、検査対象画像の読み取り時における加速度変化が無視できるほど十分に小さくする必要がある。一方、分割幅ＢＬを小さくするほど分割数は増えるため、画像位置合わせ処理の処理負荷が大きくなる。また、分割後の分割画像６１−６５にそれぞれ含まれる特徴点ＣＰＡの数が少ないと、画像変換式の推定において係数の演算が出来なくなる可能性がある。前述の通り、（数１）では７点、（数２）では１０点の特徴点が係数の算出には必要となる。したがって、適用する画像変換式の推定に必要な特徴点の数が含まれるだけ十分大きく分割幅ＢＬを設定すると共に、加速度変化が無視できるほど分割幅ＢＬを小さくすることが望ましい。

図１０は本実施形態における画像分割イメージの他の例である。図１０において、検査対象画像は時間方向に不定間隔ＢＬ１−ＢＬ４で分割された、分割画像６６−６９を有する。それぞれの分割画像には、特徴点ＣＰＡが含まれている。

見本画像は検査対象画像の特徴点ＣＰＡに対応する、特徴点ＣＰＢを有する。画像処理装置３ｂは、検査対象画像の各分割画像における特徴点ＣＰＡに対応する特徴点ＣＰＢが、対応する見本画像の分割領域に全て含まれるように見本画像の分割幅を決定する。

画像処理装置３ｂは、検査対象画像の分割画像６６−６９と、見本画像の分割画像７６−７９とをそれぞれ対応付け、画像変換式の推定を行う。画像処理装置３ｂは、推定した画像変換式に基づき、それぞれの分割画像に対し、画像位置合わせ処理を行う。

前述の通り、（数１）では７点、（数２）では１０点の特徴点が係数の算出には必要となる。本実施形態では各分割画像に必要な特徴点の最小値をあらかじめ設定し、各分割画像に含まれる特徴点の数が最小値以上になるように分割幅ＢＬ１−ＢＬ４を設定する。分割画像生成の際に各分割画像に含まれる特徴点の数を最小値以上に設定することにより、画像変換式が推定可能になる。

（第３の実施形態）
図１１は、画像処理システムの機能ブロック図である。画像処理システム８１ａは、撮像部２ａ、画像処理装置３ｃを有する。

撮像部２ａは検査対象の画像を撮像し画像処理装置３ｃに送信するための装置である。撮像部２ａは例えば前述のラインセンサ２である。本実施形態において、撮像部２ａから取得される画像は、撮像対象物の移動速度が一定でない等の理由により歪んでいる場合がある。

画像処理装置３ｃは、ＣＰＵ２４ａ、記憶部２５、表示部２２を有する。ＣＰＵ２４ａは、記憶部２５に記憶されたプログラムを実行することにより、画像位置合わせ部８２および比較部８３を機能的に実現する。画像位置合わせ部８２は、記憶部２５から読み出した見本画像と、撮像部２ａから受信した検査対象画像との画像位置合わせ処理を実行する。画像位置合わせ部８２による画像位置合わせ処理は、前述のいずれの実施形態も含む処理である。画像位置合わせ部８２は、画像位置合わせ処理した検査対象画像を比較部８３に出力する。比較部８３は、画像位置合わせ処理後の検査対象画像と、記憶部２５から読み出した見本画像とを差分処理し、２つの画像の差分画像を生成する。比較部８３による差分画像の生成処理は、ＣＰＵ２４ａにプログラムを実行させることにより実現してもよいし、画像処理用にＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置を別途実装し、差分画像生成処理を実行させてもよい。比較部８３は生成された差分画像を表示部２２に出力する。比較部８３における差分画像生成技術については、例えば、「周辺増分符号相関画像に基づくロバスト物体検出及び分離」電子情報通信学会論文誌Vol. J84-D-II No.12、2001年12月、pp.2585-2594に開示がある。

表示部２２は、入力された画像データを表示する表示装置である。表示部２２は、比較部８３により生成された差分画像を表示する。

以上の構成により、画像処理システム８１ａは、撮像部２ａにより取得される検査対象画像に歪がある場合であっても、本実施形態に基づく画像位置合わせ処理を実行することにより、精度良く見本画像と検査対象画像との比較処理を行い、比較結果を表示することが出来る。

図１２は、画像処理システムの処理フローである。画像処理システム８１ａにおいて、撮像部２ａにより撮像された検査対象画像は、画像処理装置３ｃに入力される（ステップＳ３１）。画像処理装置３ｃは、入力された検査対象画像と、記憶部２５に記憶された見本画像との画像位置合わせ処理を実行する（ステップＳ３２）。画像処理装置３ｃは、画像位置合わせ処理後の検査対象画像と見本画像との差分処理を行い、差分画像を生成する（ステップＳ３３）。画像処理装置３ｃは、生成された差分画像を表示部２２に表示する（ステップＳ３４）。

以上の処理により画像処理システム８１ａは、撮像部２ａにより取得される検査対象画像に歪がある場合であっても、精度良く見本画像と検査対象画像との比較処理を行い、比較結果を表示することが出来る。

（第４の実施形態）
図１３は、画像処理システムの他の実施形態の機能ブロック図である。図１３において、画像処理システム８１ｂは、撮像部２ａ、画像処理装置３ｄを有する。撮像部２ａは、検査対象の画像を撮像し画像処理装置３ｄに送信するための装置である。撮像部２ａは例えば前述のラインセンサである。本実施形態において、撮像部２ａから取得される画像は、撮像対象物の移動速度が一定でない等の理由により歪んでいる場合がある。

画像処理装置３ｄは、ＣＰＵ２４ｂ、記憶部２５、通知部８５を有する。ＣＰＵ２４ｂは、記憶部２５に記憶されたプログラムを実行することにより、画像位置合わせ部８２、比較部８３、および異常判定部８４を機能的に実現する。画像位置合わせ部８２は、記憶部２５から読み出した見本画像と、撮像部２ａから受信した検査対象画像との画像位置合わせ処理を実行する。画像位置合わせ部８２による画像位置合わせ処理は、前述のいずれの実施形態も含む処理である。画像位置合わせ部８２は、画像位置合わせ処理した検査対象画像を比較部８３に出力する。比較部８３は、画像位置合わせ処理後の検査対象画像と、記憶部２５から読み出した見本画像とを差分処理し、２つの画像の差分画像を生成する。比較部８３による差分画像の生成処理は、ＣＰＵ２４ｂにプログラムを実行させることにより実現してもよいし、画像処理用にＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置を別途実装し、差分画像生成処理を実行させてもよい。比較部８３は生成された差分画像を異常判定部８４に出力する。

異常判定部８４は、比較部８３により生成された差分画像に基づき、異常判定処理を実行する。異常判定処理は、例えば差分画像を複数の領域に分割し、分割領域ごとに、あらかじめ設定した閾値との大小関係を比較し、ある領域の差分画像における値が閾値以上である場合に、異常状態であると判定し、判定結果を出力する。ここで差分画像の値とは、例えば特定の色情報について設定された値である。差分画像から特定の色情報に関する値を抽出し、閾値と比較することにより、異常判定を行うことが出来る。

通知部８５は、異常判定部８４から入力された異常判定結果をユーザーに通知する。通知部８５は、例えばディスプレイであり、異常判定結果をテキストメッセージとして画面に表示してもよい。また通知部８５は、差分画像に対し異常判定部８４により異常判定部分がマーキングされた差分画像を表示してもよい。例えば画像処理装置３ｄはネットワークに接続されており、通知部８５を介して他の装置に異常判定結果を送信してもよい。

以上の構成により、画像処理システム８１ｂは、撮像部２ａにより取得される検査対象画像に歪がある場合であっても、本実施形態に基づく画像位置合わせ処理を実行することにより、精度良く検査対象画像の異常判定処理を行い、判定結果をユーザーに通知することが出来る。

図１４は、画像処理システムの処理フローである。画像処理システム８１ｂにおいて、撮像部２ａにより撮像された検査対象画像は、画像処理装置３ｄに入力される（ステップＳ４１）。画像処理装置３ｄは、入力された検査対象画像と、記憶部２５に記憶された見本画像との画像位置合わせ処理を実行する（ステップＳ４２）。画像処理装置３ｄは、画像位置合わせ処理後の検査対象画像と見本画像との差分処理を行い、差分画像を生成する（ステップＳ４３）。画像処理装置３ｄは、生成された差分画像とあらかじめ設定した閾値との比較結果に基づき、異常状態を判定する（ステップＳ４４）。画像処理装置３ｄは、比較結果に基づき異常状態と判定した場合には（ステップＳ４５：ＹＥＳ）、ユーザーに通知する（ステップＳ４６）。画像処理装置３ｄは、異常状態と判定されない場合には（ステップＳ４５：ＮＯ）、ユーザーに通知することなく、異常判定処理を終了する（ステップＳ４７）。

以上の処理により画像処理システム８１ｂは、撮像部２ａにより取得される検査対象画像に歪がある場合であっても、本実施形態に基づく画像位置合わせ処理を実行することにより、精度良く検査対象画像の異常判定処理を行い、判定結果をユーザーに通知することが出来る。

なお、前述した画像位置合わせ処理をコンピュータに実行させるコンピュータプログラム、およびそのプログラムを記録した、非一時的なコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、非一時的なコンピュータ読み取り可能な記録媒体は、例えばＳＤメモリカードなどのメモリカードである。なお、前記コンピュータプログラムは、前記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

１：対象物
２：ラインセンサ
３：画像処理装置
２１：通信部
２２：表示部
２４：ＣＰＵ
２５：記憶部
２６：インタフェース
２７：画像処理プログラム
２８：見本画像
２９：検査対象画像

Claims (10)

1. 画像処理装置の画像処理プログラムであって、前記画像処理装置に、
   画像センサ列の撮像範囲に対し検査対象を通過させることにより、同一の検査対象について異なるタイミングで撮像した第１画像および第２画像を取得し、
   前記第１画像および前記第２画像のそれぞれの特徴点を抽出し、
   抽出した前記特徴点の特徴量に基づき、前記第１画像の特徴点と前記第２画像の特徴点とをそれぞれ対応付けし、
   ３点以上対応づけられた前記第１画像の前記特徴点と前記第２画像の前記特徴点のそれぞれの座標に応じて、二次の拘束条件に基づく前記第２画像の前記特徴点から前記第１画像の前記特徴点への変換式を推定し、
   推定した前記変換式に基づき前記第２画像を前記第１画像に対応する第３画像に変換する
   処理を実行させる、画像処理プログラム。
2. 前記推定は、前記画像センサ列に対し垂直方向には二次の拘束条件に基づくと共に、前記画像センサ列に対し水平方向には一次の拘束条件に基づく変換式を推定することを含む、請求項１に記載の画像処理プログラム。
3. 前記抽出は、前記第１画像と前記第２画像を通過速度の変化の度合いに応じた所定の区間に分割し、分割したそれぞれの前記区間に含まれる特徴点を抽出することを含む、請求項１に記載の画像処理プログラム。
4. 前記分割は、前記第１画像を等間隔に分割し、前記第１画像の各分割画像の特徴点に対応する特徴点が分割領域内に含まれるように前記第２画像を分割することを含む、請求項３に記載の画像処理プログラム。
5. 前記分割は、前記第１画像のそれぞれの分割領域に前記所定数以上の特徴点が含まれるように前記第１画像を分割し、前記第１画像の各分割画像の特徴点に対応する特徴点が分割領域内に含まれるように前記第２画像を分割することを含む、請求項３に記載の画像処理プログラム。
6. 前記所定数は、前記変換式に含まれる係数の数に基づき決定する、請求項１に記載の画像処理プログラム。
7. 前記第１画像と前記第３画像との差分画像を生成し、
   前記差分画像を表示部に表示する
   処理をさらに実行させる、請求項１に記載の画像処理プログラム。
8. 前記第１画像と前記第３画像との差分画像を生成し、
   前記差分画像および閾値に基づき前記差分画像の異常状態を検知し、
   前記異常状態を検知した場合に通知信号を出力する
   処理をさらに実行させる、請求項１に記載の画像処理プログラム。
9. 画像処理装置の画像処理方法であって、前記画像処理装置が、
   画像センサ列の撮像範囲に対し検査対象を通過させることにより、同一の検査対象について異なるタイミングで撮像した第１画像および第２画像を取得し、
   前記第１画像および前記第２画像のそれぞれの特徴点を抽出し、
   抽出した前記特徴点の特徴量に基づき、前記第１画像の特徴点と前記第２画像の特徴点とをそれぞれ対応付けし、
   3点以上対応付けられた前記第１画像の前記特徴点と前記第２画像の前記特徴点のそれぞれの座標に応じて、二次の拘束条件に基づく前記第２画像の前記特徴点から前記第１画像の前記特徴点への変換式を推定し、
   推定した前記変換式に基づき前記第２画像を前記第１画像に対応する第３画像に変換する
   処理を実行する、画像処理方法。
10. 画像センサ列の撮像範囲に対し検査対象を通過させることにより、同一の検査対象について異なるタイミングで撮像した第１画像および第２画像から、それぞれの特徴点を抽出する特徴点抽出部と、
    抽出した前記特徴点の特徴量に基づき、前記第１画像の特徴点と前記第２画像の特徴点とをそれぞれ対応付けする特徴点対応付け部と、
    ３点以上対応付けられた前記第１画像の前記特徴点と前記第２画像の前記特徴点のそれぞれの座標に応じて、二次の拘束条件に基づく前記第２画像の前記特徴点から前記第１画像の前記特徴点への変換式を推定する画像変換式推定部と、
    推定した前記変換式に基づき前記第２画像を前記第１画像に対応する第３画像に変換する位置合わせ画像生成部と
    を有する画像処理装置。
    
    

Images