JP2019003430A - 画像処理装置 - Google Patents

Abstract

【課題】例えば、パターン領域と非パターン領域とを含む処理対象面に所定の画像処理を実行することが可能な不都合の少ない新規な構成の画像処理装置を得る。【解決手段】本開示の画像処理装置にあっては、例えば、第一方向に延びた複数の単位形状が第二方向に並んだ繰り返しパターンが設けられているパターン領域と、当該パターン領域と隣接し繰り返しパターンが設けられていない非パターン領域と、を有した表面の撮影画像に基づいて所定の画像処理を実行する画像処理装置であって、撮影画像から、第一方向に延びてそれぞれ単位形状に対応した帯状領域を検出する帯状領域検出部と、帯状領域に基づいて非パターン領域に対応して帯状領域と並んだ補填領域を決定する補填領域決定部と、帯状領域および補填領域に基づいて処理領域を決定する処理領域決定部と、処理領域に所定の処理を実行する処理実行部と、を備える。【選択図】図３

Description

本開示は、画像処理装置に関する。

従来、画像処理装置として、良品画像と撮影画像とを比較して異常を検出する画像検査装置が、知られている（例えば、特許文献１）。

特開２０１４−３８４２５号公報

画像検査装置に限らず、処理対象面に、一方向に単位形状が繰り返し形成されているパターン領域と、当該パターン領域に隣接して当該繰り返しパターンが形成されていない非パターン領域とが設けられているような場合にあっても、より精度良くあるいはより効率良く所定の処理を実行することが可能な画像処理装置が得られれば、有益である。

そこで、本開示の課題の一つは、例えば、処理対象面にパターン領域と非パターン領域とが含まれている場合にあっても所定の画像処理を実行することが可能な不都合の少ない新規な構成の画像処理装置を得ることである。

本開示の画像処理装置にあっては、例えば、第一方向に延びた複数の単位形状が上記第一方向と交差した第二方向に並んだ繰り返しパターンが設けられているパターン領域と、当該パターン領域と隣接し上記繰り返しパターンが設けられていない非パターン領域と、を有した表面の撮影画像に基づいて所定の画像処理を実行する画像処理装置であって、上記撮影画像から、上記第一方向に延びてそれぞれ上記単位形状に対応した帯状領域を検出する帯状領域検出部と、上記帯状領域に基づいて上記非パターン領域に対応して上記帯状領域と並んだ補填領域を決定する補填領域決定部と、上記帯状領域および上記補填領域に基づいて処理領域を決定する処理領域決定部と、上記処理領域に所定の処理を実行する処理実行部と、を備える。

図１は、実施形態の検査システムの概略構成を示す例示的かつ模式的な平面図である。 図２は、実施形態の検査システムの概略構成を示す例示的かつ模式的な側面図である。 図３は、実施形態の画像処理装置の概略構成を示す例示的かつ模式的なブロック図である。 図４は、実施形態の画像処理装置において得られた撮影画像を示す例示的かつ模式的な説明図である。 図５は、検査対象面の撮影画像において、実施形態の画像処理装置によって検出された境界線を示す、例示的かつ模式的な説明図である。 図６は、実施形態の画像処理装置において撮影画像から取得された帯状領域および処理領域を示す例示的かつ模式的な説明図である。 図７は、図６の一部の拡大図である。 図８は、実施形態の画像処理装置において得られた図４とは別の撮影画像を示す例示的かつ模式的な説明図である。 図９は、検査対象面のうちパターン領域と非パターン領域とを有した部位の撮影画像において、実施形態の画像処理装置が非パターン領域において境界線を補填するアルゴリズムを示す例示的かつ模式的な説明図である。 図１０は、図９の一部の拡大図である。 図１１は、検査対象面のうちパターン領域と非パターン領域とを有した部位の撮影画像において、実施形態の画像処理装置が非パターン領域において境界線を補填する別のアルゴリズムを示す例示的かつ模式的な説明図である。 図１２は、検査対象面のうちパターン領域と非パターン領域とを有した部位の撮影画像において、実施形態の画像処理装置によって検出あるいは設定された境界線を示す、例示的かつ模式的な説明図である。 図１３は、実施形態の画像処理装置において撮影画像から取得された帯状領域、補填領域、および処理領域を示す例示的かつ模式的な説明図である。 図１４は、実施形態の画像処理装置による画像データの取得から異常検出までの演算処理の手順を示す例示的かつ模式的なフローチャートである。

以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成や制御、ならびに当該構成や制御によってもたらされる作用および結果（効果）は、一例である。本発明は、以下の実施形態および変形例に開示される構成や制御以外によっても実現可能である。また、本発明は、基本的な構成や制御によって得られる派生的な効果も含む種々の効果を得ることが可能である。

（検査システムの構成）
以下、画像処理システムが検査システムとして構成された実施形態について説明する。図１は、検査システム１の概略構成を示す平面図、図２は、検査システム１の概略構成を示す側面図である。図１，２において、中心軸Ａｘは、検査対象物２の回転対称形状の中心であるとともに検査対象物２の回転の中心軸であり、方向Ｒは、中心軸Ａｘの径方向（外方）であり、方向Ｃは、中心軸Ａｘの周方向（反時計回り方向）であり、方向Ｚは中心軸Ａｘの軸方向である。

検査システム１は、検査対象物２の画像を取得するセンサ１０を有している。センサ１０は、一例としては、複数の撮像素子が一列に配置されたラインセンサである。センサ１０では、複数の撮像素子が、当該センサ１０の長手方向に沿って配置されている。

検査システム１では、検査対象物２が不図示の搬送機構によって搬送されることにより、検査対象面２ａがセンサ１０の長手方向と交差する方向に移動する。検査対象面２ａは、表面の一例である。

図１，２に示されるように、本実施形態では、一例として、検査対象物２はタイヤであり、検査対象面２ａはタイヤの側面である。不図示の搬送機構は、検査対象物２を中心軸Ａｘ（タイヤの回転中心）回りに回転させる（搬送する）。これにより、検査対象面２ａは周方向（図１の反時計回り方向、方向Ｃ）に回転する。なお、本実施形態の検査システム１では、センサ１０が固定され、検査対象物２が移動するが、これには限定されず、検査対象物２が固定され、センサ１０が移動してもよいし、検査対象物２およびセンサ１０の双方が移動してもよい。

センサ１０は、図１に示されるように、複数の撮像素子が検査対象物２の中心軸Ａｘの径方向（方向Ｒ）に沿って並ぶ姿勢で、配置されている。また、センサ１０は、図２に示されるように、検査対象面２ａから中心軸Ａｘの軸方向（方向Ｚ）に間隔をあけて離れた位置で、検査対象面２ａと略平行に配置されている。

センサ１０は、各時刻において、移動する検査対象面２ａの異なる位置を撮影し、１次元の画像データを取得する。各時刻において、検査対象物２は、検査精度や解像度等に影響の無い速度で動いてもよいし、ステップ的に止まってもよい。本実施形態では、径方向（方向Ｒ）は主走査方向であり、周方向（ただし方向Ｃの反対方向）は、副走査方向である。

画像処理装置１００（図３）は、複数の１次元の画像データに基づいて、２次元の画像データを取得し（作成し）、当該２次元の画像データについて、画像処理に基づく異常検査を実行する。すなわち、本実施形態では、画像処理装置１００は、画像検査装置として機能する。

（画像処理装置の概略構成）
図３は、画像処理装置１００の概略構成を示すブロック図である。図３に示されるように、画像処理装置１００は、演算処理部１１０や、主記憶部１２０、参照データ記憶部１３０等を有している。演算処理部１１０は、例えば、central processing unit（ＣＰＵ）やコントローラ等であり、主記憶部１２０は、例えば、read only memory（ＲＯＭ）や、random access memory（ＲＡＭ）等であり、参照データ記憶部１３０は、例えば、hard disk drive（ＨＤＤ）や、solid state drive（ＳＳＤ）、フラッシュメモリ等である。参照データ記憶部１３０は、補助記憶装置の一例である。また、参照データ記憶部１３０は、データベースの一例である。

演算処理部１１０による演算処理や制御は、ソフトウエアによって実行されてもよいし、ハードウエアによって実行されてもよい。また、演算処理部１１０による演算処理や制御には、ソフトウエアによる演算処理や制御とハードウエアによる演算処理や制御とが含まれてもよい。ソフトウエアによる処理の場合にあっては、演算処理部１１０は、ＲＯＭや、ＨＤＤ、ＳＳＤ、フラッシュメモリ等に記憶されたプログラム（アプリケーション）を読み出して実行する。演算処理部１１０は、プログラムにしたがって動作することにより、演算処理部１１０に含まれる各部、すなわち、画像データ取得部１１１や、処理対象決定部１１２、異常検出部１１３等として、機能する。この場合、プログラムには、上記各部に対応するモジュールが含まれる。

プログラムは、それぞれインストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭや、ＦＤ、ＣＤ−Ｒ、ＤＶＤ、ＵＳＢメモリ等の、コンピュータで読み取り可能な記録媒体に記録されて提供されうる。また、プログラムは、通信ネットワークに接続されたコンピュータの記憶部に記憶され、ネットワーク経由でダウンロードされることによって導入されうる。また、プログラムは、ＲＯＭ等に予め組み込まれてもよい。

また、演算処理部１１０の全部あるいは一部がハードウエアによって構成される場合、演算処理部１１０には、例えば、field programmable gate array（ＦＰＧＡ）や、application specific integrated circuit（ＡＳＩＣ）等が含まれうる。

画像データ取得部１１１は、センサ１０から、検査対象物２の検査対象面２ａを撮影した２次元の画像データを取得する。２次元の画像データは、画像データ取得部１１１が作成してもよいし、センサ１０が生成してもよい。

なお、以下では、撮影された検査対象面２ａの２次元の画像データ（撮影画像）は、検査画像と称され、検査画像との比較対象である２次元のマスタ画像データは、参照画像と称される。参照画像は、検査システム１において取得された、検査対象物２の基準品（良品、参照品）の画像データである。検査システム１は、参照画像を取得した場合と同じ条件で、検査画像を取得する。

処理対象決定部１１２は、参照画像と検査画像との比較に基づく異常検査において、検査画像における比較単位としての処理領域を決定するとともに、参照画像の処理領域と検査画像の処理領域との対応付けを決定する。処理領域の詳細については、後述する。なお、検査画像の処理領域は、一例としては、予め決定され、参照データ記憶部１３０に記憶されているが、これには限定されず、例えば、検査画像の状態等に応じて、検査画像および参照画像の処理領域が設定されてもよい。その場合、演算処理部１１０は、参照データ記憶部１３０に記憶された参照画像から、当該参照画像の処理領域を取得する。

異常検出部１１３は、参照画像と検査画像とを、互いに対応付けられた処理領域毎に比較することにより、検査画像における異常を検出する。異常検出部１１３は、処理実行部の一例である。

（繰り返しパターン）
図４は、検査画像Ｉｍの一例を示す図である。図中、方向Ｘおよび方向Ｙは、検査画像Ｉｍおよび参照画像（不図示）に共通の２次元の画素の配列方向である。方向Ｘは方向Ｒ（主走査方向）に対応し、方向Ｙは方向Ｃの反対方向（副走査方向）に対応している。方向Ｘは、第一方向の一例であり、方向Ｙは、第二方向の一例である。

図４に示されるように、検査対象面２ａは、方向Ｙに略一定のピッチで繰り返し配置された複数の単位形状Ｓｕを有している。単位形状Ｓｕは、一例として、凸条（凸部）であり、方向Ｘの後方（径方向内方、図４の左方）の端部Ｅｉと方向Ｘの前方（径方向外方、図４の右方）の端部Ｅｏとの間で、方向Ｙにおける略一定の幅で、帯状に細長く延びている。単位形状Ｓｕは、方向Ｘの前方かつ方向Ｙの後方（図４の右上方）に向けて凸に湾曲した状態で延びている。単位形状Ｓｕの中心線（不図示）の曲率半径は、端部Ｅｏに近付くにつれて小さくなっている。端部Ｅｉは、一端の一例であり、端部Ｅｏは、他端の一例である。また、複数の単位形状Ｓｕは、繰り返しパターンの一例である。繰り返しパターンは、セレーションと称されうる。

単位形状ＳｕのＹ方向の両側には、凹溝Ｇが設けられている。凹溝Ｇは、端部Ｅｉと端部Ｅｏとの間で、単位形状Ｓｕに沿って延びている。検査対象面２ａには、複数の凹溝Ｇが、方向Ｙに単位形状Ｓｕと略同じピッチで繰り返し配置されている。

参照画像および検査画像Ｉｍにおいて、凹溝Ｇは黒い（暗い）影となって輝度値の低い領域として検出され、単位形状Ｓｕは凹溝Ｇと隣接した当該凹溝Ｇよりも輝度値の高い領域として検出される。なお、複数の単位形状Ｓｕや凹溝Ｇの繰り返し方向は、方向Ｙには限定されず、方向Ｘや、その他の方向であってもよい。

（処理領域決定部）
図５は、検査対象面２ａのうち繰り返しパターンが形成された部位の検査画像Ｉｍにおいて検出された境界線Ｌｂを示す図であり、図６は、図５の検査画像Ｉｍから取得された帯状領域および処理領域の一例を示す図であり、図７は、図６の一部の拡大図である。

図３に示されるように、処理対象決定部１１２は、帯状領域検出部１１２ａや、補填領域決定部１２ｂ、処理領域決定部１１２ｃ、位置合わせマーク検出部１１２ｄ、対応付け部１１２ｅ等を有している。

帯状領域検出部１１２ａは、単位形状Ｓｕに対応した帯状領域Ａｂ（図６）を検出する。帯状領域検出部１１２ａは、まず、検査画像Ｉｍから、帯状領域Ａｂの境界線Ｌｂを検出する。境界線Ｌｂは、例えば、検査画像Ｉｍの輝度値に基づいて、図５中に破線で示されるように、線状に延びる凹溝Ｇの中心線として、検出されうる。

また、帯状領域検出部１１２ａは、端部Ｅｉおよび端部Ｅｏを検出する。端部Ｅｉおよび端部Ｅｏは、例えば、図５中に一点鎖線で示されるように、複数の境界線Ｌｂの方向Ｘの端部同士を方向Ｙに結ぶ端辺Ｌｅｉ，Ｌｅｏとして、検出されうる。端辺Ｌｅｉは、第一端部の一例であり、端辺Ｌｅｏは、第二端部の一例である。

次に、帯状領域検出部１１２ａは、境界線Ｌｂおよび端部Ｅｉ，Ｅｏ（端辺Ｌｅｉ，Ｌｅｏ）の検出結果に基づいて、帯状領域Ａｂを決定する。図４，５の例の場合にあっては、帯状領域検出部１１２ａは、例えば、図６に示されるように、方向Ｙに隣り合う二つの境界線Ｌｂと端辺Ｌｅｉ，Ｌｅｏとで囲まれた湾曲した帯状領域を、帯状領域Ａｂとして決定する。

補填領域決定部１１２ｂは、繰り返しパターンの非形成領域において、帯状領域Ａｂに対応した補填領域Ａｓ（図１３）を決定する。補填領域決定部１１２ｂの作動については後述する。

処理領域決定部１１２ｃは、帯状領域Ａｂを方向Ｘに分割して、処理領域Ａｃを決定する。処理領域決定部１１２ｃは、例えば、図５に示されるように、端部Ｅｉと端部Ｅｏとの間を等分割する分割線Ｌｐを設定する。なお、図５の例では、分割線Ｌｐの数は６本であるが、当該分割線Ｌｐの本数、すなわち、帯状領域Ａｂにおける処理領域Ａｃの分割数は、これには限定されない。なお、処理領域Ａｃは、処理区画や、処理単位とも称されうる。

次に、処理領域決定部１１２ｃは、帯状領域Ａｂを分割線Ｌｐで分割した処理領域Ａｃを決定する。処理領域Ａｃは、参照画像と検査画像Ｉｍとの比較の単位となる領域である。

この場合、図７に示されるように、処理領域決定部１１２ｃは、処理領域Ａｃを、境界線Ｌｂと分割線Ｌｐ（または端辺Ｌｅｉ，Ｌｅｏ）との交点ｐｃを有した、図７中に実線で示される四角形Ｆｃとして決定してもよい。境界線Ｌｂの曲率が比較的大きく、直線に近い場合にあっては、このような取り扱いをしても検出精度にはほぼ影響がない場合がある。また、処理領域Ａｃを四角形とした場合、処理領域Ａｃを湾曲した領域とした場合に比べて、異常検出部１１３等における演算の負荷が軽減されうる。なお、処理領域Ａｃは、四角形に替えて三角形に設定されてもよい。この場合、例えば、四角形の領域が対角線でさらに分割されればよい。

位置合わせマーク検出部１１２ｄは、検査画像Ｉｍの輝度値に基づいて、図４に示されるようなマーク画像Ｉｍｍ（位置合わせマーク）を検出する。ここで、マーク画像Ｉｍｍは、参照画像にも含まれている。よって、対応付け部１１２ｅは、マーク画像Ｉｍｍに対する処理領域Ａｃの相対的な位置に基づいて、参照画像における処理領域Ａｃと、検査画像Ｉｍにおける処理領域Ａｃと、を対応付けることができる。

（異常検出部）
異常検出部１１３は、参照画像の処理領域と検査画像Ｉｍの処理領域Ａｃとの比較に基づいて、検査画像Ｉｍにおける異常を検出する。ここで、検査対象物２が例えばタイヤ等のゴム製品のように可撓性を有している場合にあっては、センサ１０と検査対象面２ａとの距離が変化するなどにより、参照画像と検査画像Ｉｍとで、大きさが異なったり、歪みが生じていたりする虞がある。そこで、異常検出部１１３は、処理領域Ａｃ毎に座標変換による位置合わせ、すなわち、座標変換に基づいて画像を変形した上で、参照画像の処理領域と検査画像Ｉｍの処理領域Ａｃとを比較する。

この場合において、異常検出部１１３は、参照画像の処理領域を検査画像Ｉｍの処理領域Ａｃに重なるように座標変換した変形画像と、検査画像Ｉｍの処理領域Ａｃとを比較するのが好適である。検査画像Ｉｍは、参照画像と比べると異常が含まれている確率が高い。このため、検査画像Ｉｍを座標変換した場合、当該異常が、処理領域Ａｃの境界に影響を及ぼし、座標変換によって適切に変形できない虞があるからである。

具体的に、異常検出部１１３は、まずは、参照画像の処理領域の座標と検査画像Ｉｍの処理領域の座標とを比較して、検査画像Ｉｍの処理領域Ａｃと重なるような座標変換の係数を取得する。ここで、比較する座標は、例えば処理領域のコーナー（検査画像Ｉｍでは交点ｐｃ）の座標であり、座標変換は、例えば射影変換等である。処理領域が三角形に設定される場合にあっては、座標変換としては、アフィン変換を用いてもよい。

次に、異常検出部１１３は、取得した座標変換係数を用いて、参照画像の処理領域を座標変換（例えば射影変換）することにより、変形画像を得る。変形画像は、検査画像Ｉｍの処理領域Ａｃとは、同じ形状および画素分布を有し、各画素における輝度値が異なる画像である。変形画像は、変形済処理領域の一例である。

そして、異常検出部１１３は、変形画像と、検査画像Ｉｍの処理領域Ａｃとを比較することにより、処理領域Ａｃにおける異常の有無、すなわち、所定の条件を超えた差異の有無を検出する。

（繰り返しパターンの非形成領域）
図８は、検査画像Ｉｍの一例を示す図である。図８の例では、検査対象面２ａには、繰り返しパターンが設けられているパターン領域Ａｐと、繰り返しパターンが設けられていない非パターン領域Ａｎとが含まれている。図８から明らかとなるように、パターン領域Ａｐには、繰り返しパターンの単位形状Ｓｕおよび凹溝Ｇが含まれているが、非パターン領域Ａｎには、単位形状Ｓｕおよび凹溝Ｇは含まれていない。このため、帯状領域検出部１１２ａは、非パターン領域Ａｎでは、凹溝Ｇまたは単位形状Ｓｕに基づく帯状領域Ａｂを検出することができない。

（補填領域の決定）
補填領域決定部１１２ｂは、非パターン領域Ａｎにおいて、帯状領域Ａｂと連なるとともに帯状領域Ａｂと並ぶ補填領域Ａｓ（図１３）を決定する。

図９は、非パターン領域Ａｎにおいて境界線Ｌｂｓを補填するアルゴリズムの一例を示す説明図であり、図１０は、図９の一部の拡大図である。また、図１２は、パターン領域Ａｐにおいて検出された境界線Ｌｂｄと、非パターン領域Ａｎにおいて設定された（補填された）境界線Ｌｂｓと、を示す説明図である。図９，１０の例では、補填領域決定部１１２ｂは、まずは、非パターン領域Ａｎ１における境界線Ｌｂｓ（Ｌｂ１）を、方向Ｙに間隔をあけて隣接したパターン領域Ａｐ１で検出された境界線Ｌｂｄ（Ｌｂ０）、すなわち図９，１０では上側に位置されている境界線Ｌｂｄ（Ｌｂ０）に基づいて、補填する。図９，１０の例では、点ｐ１は、非パターン領域Ａｎ１よりも図９の左側に位置されているパターン領域Ａｐで検出された境界線Ｌｂｄ（Ｌｂ１）の右側の端点である。また、点ｐ２は、非パターン領域Ａｎ１よりも図９の右側に位置されているパターン領域Ａｐで検出された境界線Ｌｂｄ（Ｌｂ１）の左側の端点である。補填領域決定部１１２ｂは、点ｐ１と点ｐ２との間において、例えば、境界線Ｌｂ０と点ｐ１との間の方向Ｙにおける距離ｄ１と、境界線Ｌｂ０と点ｐ２との間の方向Ｙにおける距離ｄ２とが、同じ値であった場合には、点ｐ１と点ｐ２との間の境界線Ｌｂｓ（Ｌｂ１）を、例えば、境界線Ｌｂ０からの方向Ｙにおける距離ｄ（＝ｄ１＝ｄ２）が一定になる線として、取得することができる。あるいは、補填領域決定部１１２ｂは、例えば、距離ｄ１と距離ｄ２とが異なる値であった場合には、境界線Ｌｂ０からの補填される境界線Ｌｂｓ（Ｌｂ１）までの方向Ｙの距離ｄが、点ｐ１から点ｐ２にかけて、距離ｄ１から距離ｄ２に徐々に変化する線、例えば線形的に変化する線として、取得することができる。このようなアルゴリズムにより、補填領域決定部１１２ｂは、非パターン領域Ａｎに、パターン領域Ａｐで検出された境界線Ｌｂｄと連なるとともに、当該境界線Ｌｂｄと並んだ境界線Ｌｂｓを、設定することができる。換言すれば、補填領域決定部１１２ｂは、パターン領域Ａｐで検出された境界線Ｌｂｄに基づいて、非パターン領域Ａｎにおいて、境界線Ｌｂｓを補填することができる。パターン領域Ａｐ１は、第一パターン領域の一例であり、非パターン領域Ａｎ１は、第一非パターン領域の一例である。

補填領域決定部１１２ｂは、上記と同様のアルゴリズムを順次実施することにより、非パターン領域Ａｎにおいて、境界線Ｌｂｓを順次補填することができる。具体的には、例えば、補填領域決定部１１２ｂは、図１２の上側の境界線Ｌｂｄ，Ｌｂｓから、図１２の下側に間隔をあけて隣接した境界線Ｌｂｓを設定することによりパターン領域Ａｐと非パターン領域Ａｎとに渡る一連の境界線Ｌｂを設定し、同様のアルゴリズムを繰り返すことにより、図１２の上側から下側にかけて、順次、パターン領域Ａｐと非パターン領域Ａｎとに跨る一連の境界線Ｌｂを設定することができる。なお、補填領域決定部１１２ｂが境界線Ｌｂｓを順次補填する方向は上側からには限定されず、補填領域決定部１１２ｂは、下側からあるいは上側および下側の両方から境界線Ｌｂｓを補填してもよい。

図１１は、非パターン領域Ａｎにおいて境界線Ｌｂｓを補填するアルゴリズムの別の一例を示す説明図である。図１１の例では、補填領域決定部１１２ｂは、非パターン領域Ａｎ２における境界線Ｌｂｓ（Ｌｂ２）を、当該非パターン領域Ａｎ２と方向Ｘに隣接したパターン領域Ａｐ２で検出された境界線Ｌｂｄ（Ｌｂ２）に基づいて、補填する。この場合、補填領域決定部１１２ｂは、境界線Ｌｂｓを、例えば、境界線Ｌｂｄを用いた曲線当てはめ（例えば、曲線回帰、内挿、外挿、最小二乗法等）や、補間（例えば、ラグランジュ補間、ニュートン補間、スプライン補間等）により、設定することができる。このようなアルゴリズムによっても、補填領域決定部１１２ｂは、非パターン領域Ａｎに、パターン領域Ａｐで検出された境界線Ｌｂｄと連なるとともに、当該境界線Ｌｂｄと並んだ境界線Ｌｂｓを、設定することができる。換言すれば、補填領域決定部１１２ｂは、パターン領域Ａｐで検出された境界線Ｌｂｄに基づいて、非パターン領域Ａｎにおいて、境界線Ｌｂｓを補填することができる。パターン領域Ａｐ２は、第二パターン領域の一例であり、非パターン領域Ａｎ２は、第二非パターン領域の一例である。

図１３は、図８の検査画像Ｉｍから取得された帯状領域および処理領域の一例を示す図である。補填領域決定部１１２ｂは、処理領域決定部１１２ｃがパターン領域Ａｐで検出された境界線Ｌｂのみに基づいて処理領域Ａｃを決定した場合と同様に、パターン領域Ａｐで検出された境界線Ｌｂｄと非パターン領域Ａｎで補填された境界線Ｌｂｓとを含む境界線Ｌｂに基づいて帯状領域Ａｂおよび補填領域Ａｓを決定することができる。補填領域Ａｓは、補填された二つの境界線Ｌｂｓによって挟まれた領域であるとともに、検出された境界線Ｌｂｄによって挟まれた帯状領域Ａｂと隣接し、連なり、かつ並んだ領域である。この場合、処理領域決定部１１２ｃは、図１３に示されるように、帯状領域Ａｂと補填領域Ａｓとが帯状に連なった領域を方向Ｘに分割して、処理領域Ａｃを決定する。

（演算処理のフロー）
図１４は、演算処理部１１０による異常検出までの演算処理の手順を示すフローチャートである。

図８に示されるように、演算処理部１１０は、画像データ取得部１１１として機能し、センサ１０で取得された画像データに基づく検査画像Ｉｍを取得する（Ｓ１０）。

次に、演算処理部１１０は、帯状領域検出部１１２ａとして機能し、複数の単位形状Ｓｕおよび凹溝Ｇが方向Ｙに繰り返された繰り返しパターンの領域から、例えば、凹溝Ｇの中心線として、帯状領域Ａｂの境界線Ｌｂを検出する（Ｓ１１）。

次に、帯状領域検出部１１２ａは、繰り返しパターンのパターン領域Ａｐにおいて、二つの境界線Ｌｂと端辺Ｌｅｉ，Ｌｅｏとで囲まれた帯状領域Ａｂを検出する（Ｓ１２）。

次に、補填領域決定部１１２ｂは、繰り返しパターンの非パターン領域Ａｎにおいて、補填領域Ａｓを決定する（Ｓ１３）。

次に、演算処理部１１０は、処理領域決定部１１２ｃとして機能し、帯状領域Ａｂおよび補填領域Ａｓを分割線Ｌｐによって分割した複数の処理領域Ａｃを決定する（Ｓ１４）。

次に、演算処理部１１０は、位置合わせマーク検出部１１２ｄとして機能し、位置合わせ用のマーク画像Ｉｍｍ（位置合わせマーク）を検出する（Ｓ１５）。

次に、演算処理部１１０は、対応付け部１１２ｅとして機能し、マーク画像Ｉｍｍとの相対的な位置に基づいて、検査画像Ｉｍの処理領域Ａｃと参照画像の処理領域との対応付けを決定する（Ｓ１６）。

次に、演算処理部１１０は、異常検出部１１３として機能し、座標変換および画像比較により、処理領域毎に、検査画像Ｉｍ中の異常を検出する、すなわち所定の処理を実行する（Ｓ１７）。なお、演算処理部１１０は、所定の異常が検出された場合には音声出力や映像表示が行われるよう、不図示のディスプレイやスピーカ等の出力部を制御してもよい。

以上、説明したように、本実施形態では、帯状領域検出部１１２ａが、検査画像Ｉｍから複数の帯状領域Ａｂを検出し、処理領域決定部１１２ｃが、帯状領域Ａｂが分割された複数の処理領域Ａｃを決定し、異常検出部１１３（処理実行部）が、検査画像Ｉｍと参照画像とを、処理領域毎に比較することにより、異常を検出する（所定の処理を実行する）。このような構成によれば、例えば、繰り返しパターンを含む検査対象面２ａに撓みや歪みが生じやすいような場合にあっても、検査画像Ｉｍと参照画像とを、帯状領域Ａｂを分割した処理領域Ａｃ毎に位置合わせして比較することができるため、異常をより精度良く検出することができる。

また、本実施形態では、異常検出部１１３は、例えば、検査画像Ｉｍの処理領域Ａｃおよび参照画像の処理領域のうち一方を他方と形状が合うように座標変換した変換画像（変形済処理領域）と、他方とを比較することにより、異常を検出する。このような構成によれば、例えば、座標変換によって、検査画像Ｉｍと参照画像との対応する画素同士を比較することができるため、異常をより精度良く検出することができる。

また、本実施形態では、異常検出部１１３は、例えば、参照画像の処理領域が検査画像Ｉｍの処理領域Ａｃと形状が合うように座標変換された変換画像（変形済処理領域）と、検査画像Ｉｍの処理領域Ａｃとを比較する。このような構成によれば、例えば、検査画像Ｉｍの処理領域Ａｃを座標変換した場合に比べて、検査画像Ｉｍに含まれている異常の影響を受け難くなる分、異常をより精度良く検出することができる。

また、本実施形態では、位置合わせマーク検出部１１２ｄは、検査画像Ｉｍから、繰り返しパターンとは外れて設定されたマーク画像Ｉｍｍ（位置合わせマーク）を検出し、対応付け部１１２ｅは、マーク画像Ｉｍｍに対する相対的な位置に基づいて、検査画像Ｉｍの処理領域Ａｃを、参照画像の処理領域と対応付ける。このような構成によれば、例えば、マーク画像Ｉｍｍに基づいて、検査画像Ｉｍの処理領域Ａｃと参照画像の処理領域との位置決めを、より容易にあるいはより精度良く行えるため、異常をより迅速にあるいはより精度良く検出することができる。

また、本実施形態では、処理領域は、例えば、四角形である。このような構成によれば、処理領域が湾曲している場合に比べて、異常検出部１１３における演算負荷を低減することができる。

また、本実施形態では、補填領域決定部１１２ｂは、帯状領域Ａｂに基づいて非パターン領域Ａｎに対応して帯状領域Ａｂと並んだ補填領域Ａｓを決定し、処理領域決定部１１２ｃは、帯状領域Ａｂおよび補填領域Ａｓに基づいて処理領域Ａｃを決定する。このような構成によれば、上述した効果に加えて、パターン領域Ａｐと非パターン領域Ａｎとを含む検査対象面２ａにおいて、パターン領域Ａｐに対応したアルゴリズムによって、比較的容易にあるいは比較的迅速に異常検査が行われうる。

また、本実施形態では、パターン領域Ａｐは、パターン領域Ａｐ１（第一パターン領域）を含み、非パターン領域Ａｎは、パターン領域Ａｐ１と方向Ｙ（第二方向）に隣接した非パターン領域Ａｎ１（第一非パターン領域）を含み、補填領域決定部１１２ｂは、非パターン領域Ａｎ１に対応した補填領域Ａｓを、パターン領域Ａｐ１内の単位形状Ｓｕに対応した帯状領域Ａｂに基づいて決定する。このような構成によれば、非パターン領域Ａｎ１と方向Ｙに隣接したパターン領域Ａｐ１において検出された帯状領域Ａｂ（境界線Ｌｂ０）に基づいて、より容易にあるいはより迅速に、補填領域Ａｓ（境界線Ｌｂｓ）を決定することができる。

また、本実施形態では、パターン領域Ａｐは、パターン領域Ａｐ２（第二パターン領域）を含み、非パターン領域Ａｎは、パターン領域Ａｐ２と方向Ｘ（第一方向）に隣接した非パターン領域Ａｎ２（第二非パターン領域）を含み、補填領域決定部１１２ｂは、非パターン領域Ａｎ２に対応した補填領域Ａｓを、パターン領域Ａｐ２内の単位形状Ｓｕに対応した帯状領域Ａｂに基づいて決定する。このような構成によれば、非パターン領域Ａｎ２と方向Ｘに隣接したパターン領域Ａｐ２において検出された帯状領域Ａｂ（境界線Ｌｂｄ）に基づいて、より容易にあるいはより迅速に、補填領域Ａｓ（境界線Ｌｂｓ）を決定することができる。

以上、本発明の実施形態を例示したが、上記実施形態はあくまで一例である。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、実施形態の構成や形状は、部分的に他の構成や形状と入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、角度、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、材質等）は、適宜に変更して実施することができる。

例えば、上記実施形態では、処理実行部が異常検出部１１３であって、処理領域毎の撮影画像と参照画像との比較結果に基づいて異常を検出したが、処理実行部はこれには限定されず、例えば、処理対象面に、処理領域毎に、処理領域の長手方向に沿った中心線を描くなど、処理領域の端点や端辺等に基づいて検査対象物に異常検査とは異なる何らかの処理を実行してもよい。

また、帯状領域Ａｂは、凹溝Ｇに対応した境界線Ｌｂによって区分されるのに替えて、明るい部分の中心線を境界線Ｌｂとして区分されてもよい。すなわち、帯状領域Ａｂは、単位形状Ｓｕとは一致せず、単位形状Ｓｕに対してずれた領域や、隣接する単位形状Ｓｕを跨った領域として検出されてもよい。ただし、これらの場合においても、帯状領域Ａｂは、単位形状Ｓｕと対応しており、帯状領域Ａｂのピッチは、単位形状Ｓｕが繰り返されるピッチと略同じになる。帯状領域Ａｂにおける処理領域Ａｃの分割数は、１であってもよい。換言すれば、帯状領域Ａｂが処理領域Ａｃであってもよい。

また、境界線Ｌｂｓひいては補填領域Ａｓは、方向Ｙに隣接した境界線Ｌｂおよび方向Ｘに隣接した境界線Ｌｂの双方に基づいて、すなわち検出されたパターン領域Ａｐ１およびパターン領域Ａｐ２の双方に基づいて、決定されてもよい。

２ａ…検査対象面（表面）、１００…画像処理装置、１１２ａ…帯状領域検出部、１１２ｂ…補填領域決定部、１１２ｃ…処理領域決定部、１１３…異常検出部、Ａｂ…帯状領域、Ａｃ…処理領域、Ａｎ…非パターン領域、Ａｎ１…（第一）非パターン領域、Ａｎ２…（第二）非パターン領域、Ａｐ…パターン領域、Ａｐ１…（第一）パターン領域、Ａｐ２…（第二）パターン領域、Ｓｕ…単位形状、Ｘ…方向（第一方向）、Ｙ…方向（第二方向）。

Claims (6)

1. 第一方向に延びた複数の単位形状が前記第一方向と交差した第二方向に並んだ繰り返しパターンが設けられているパターン領域と、当該パターン領域と隣接し前記繰り返しパターンが設けられていない非パターン領域と、を有した表面の撮影画像に基づいて所定の画像処理を実行する画像処理装置であって、
   前記撮影画像から、前記第一方向に延びてそれぞれ前記単位形状に対応した帯状領域を検出する帯状領域検出部と、
   前記帯状領域に基づいて前記非パターン領域に対応して前記帯状領域と並んだ補填領域を決定する補填領域決定部と、
   前記帯状領域および前記補填領域に基づいて処理領域を決定する処理領域決定部と、
   前記処理領域に所定の処理を実行する処理実行部と、
   を備えた、画像処理装置。
2. 前記パターン領域は、第一パターン領域を含み、前記非パターン領域は、前記第一パターン領域と前記第二方向に隣接した第一非パターン領域を含み、
   前記補填領域決定部は、前記第一非パターン領域に対応した前記補填領域を、当該第一パターン領域内の前記単位形状に対応した前記帯状領域に基づいて決定する、請求項１に記載の画像処理装置。
3. 前記パターン領域は、第二パターン領域を含み、前記非パターン領域は、前記第二パターン領域と前記第一方向に隣接した第二非パターン領域を含み、
   前記補填領域決定部は、前記第二非パターン領域に対応した前記補填領域を、当該第二パターン領域内の前記単位形状に対応した前記帯状領域に基づいて決定する、請求項１に記載の画像処理装置。
4. 前記処理領域決定部は、前記帯状領域、前記帯状領域と前記補填領域とが前記第一方向に連なった領域、または前記補填領域を、前記第一方向において、複数の前記処理領域に分割する、請求項１〜３のうちいずれか一つに記載の画像処理装置。
5. 前記処理実行部は、前記撮影画像と参照画像とを、前記処理領域毎に比較して前記撮影画像における異常を検出する異常検出部であり、
   前記異常検出部は、前記撮影画像の処理領域および前記参照画像の処理領域のうち一方を他方と形状が合うように座標変換した変形済処理領域と、他方とを比較することにより、異常を検出する、請求項１〜４のうちいずれか一つに記載の画像処理装置。
6. 前記処理実行部は、前記撮影画像と参照画像とを、前記処理領域毎に比較して前記撮影画像における異常を検出する異常検出部であり、
   前記異常検出部は、前記参照画像の処理領域を前記撮影画像の処理領域と形状が合うように座標変換した変形済処理領域と、前記撮影画像の処理領域とを比較することにより、異常を検出する、請求項１〜４のうちいずれか一つに記載の画像処理装置。