JP2019027826A - 欠陥検査方法及び欠陥検査装置 - Google Patents

Abstract

【課題】物品の欠陥を検査するとき、種々の欠陥を効率よく識別する。【解決手段】物品の欠陥を検査するとき、識別器の学習のために、検査対象物品とは別の物品の、欠陥を含んだ欠陥画像及び欠陥の無い無欠陥画像を取得し、前記欠陥画像及び前記無欠陥画像を用いて前記識別器に前記欠陥の像及び前記欠陥ではない非欠陥の像を学習させる。学習した前記識別器に、前記検査対象物品の検査画像を区分けした切り出し検査画像それぞれが欠陥を含むか否かを識別させ、前記識別器の識別結果を用いて、前記検査対象物品の欠陥の有無を判定する。前記識別器に前記欠陥を学習させるとき、前記欠陥画像から前記欠陥画像中の前記欠陥が画像中の異なる位置に来るように、切り出し領域を変更して作成した複数の切り出し欠陥画像を、前記識別器に学習用画像として提供する。【選択図】図７

Description

本発明は、物品の検査画像における欠陥の像を識別器が識別することにより、物品の欠陥を検査する欠陥検査方法及び欠陥検査装置に関する。

従来より、製造されたタイヤ全数に対して、タイヤの外面と内面を検査員が手で触りあるいは目視により欠陥の有無を判断する検査が行われている。この検査では、タイヤ部位と発生要因毎に欠陥の規定寸法を定義して欠陥の有無の判定が行われる。欠陥の定量化ができないものは限度見本を作り，限度見本との比較により欠陥の有無が判定される。検査員が、欠陥がなく合格品と判定するタイヤの中には、欠陥に類似するが、規定寸法を満たさない等の理由から欠陥とは判断されない「擬似欠陥」が含まれる。

近年、検査員による検査負担の軽減のために、タイヤ外面や内面の全範囲の撮像及び欠陥の像の識別を自動化することが望まれている。
例えば、タイヤ外面のトレッド（タイヤ接地面）表面上に発生する厚さ０．４ｍｍ、面積１００ｍｍ^２程度を有する凸型楕円形状の薄広面状欠陥の有無判定を行うために，画像処理によるトレッドパターンと呼ばれるタイヤ溝部を除去した外面特徴抽出手法が提案されている（非特許文献１）。
また、タイヤ内面を対象とし、ＬＥＤ照明とエリアカメラを撮像手段として用い、照明環境と画像処理システムをそれぞれ工夫することによって、タイヤ内面に存在する周期的パターンの模様を認識して除外し，欠陥を検出する手法が提案されている（非特許文献２）。

舟橋琢磨、外、「自動車用タイヤ外面部における薄広面状欠陥検査装置の開発」、精密工学会誌, 2014, 80.12: 1200-1205. 輿水大和、外、「自動車用タイヤの外観検査技術」. SSII2010 第16 回画像センシングシンポジウム, DS2-08, 2010.

上述の欠陥の判定では、画像中の背景模様や特定の種類の欠陥に応じて一品一様に対応させた欠陥識別アルゴリズムを作成して、特定の種類の欠陥を精度よく識別することはできるが、検査員が行うように種々の欠陥を効率よく識別することは難しい。さらには、擬似欠陥を識別することも難しい。
特定の種類の欠陥を対象とせず、種々の欠陥の識別を行うことは、タイヤに限られず、一般の物品の検査工程においても重要である。

そこで、本発明は、従来のように、物品の表面に形成された特定の種類の欠陥を識別するのではなく、種々の欠陥を効率よく識別することができる物品の欠陥検査方法及び欠陥検査装置を提供することを目的とする。

本発明の一態様は、物品の検査画像における欠陥の像を識別器が識別することにより、物品の欠陥を検査する欠陥検査方法である。当該欠陥検査方法は、
識別器の学習のために、検査対象物品とは別の物品の、欠陥の像を含んだ欠陥画像及び
欠陥の像の無い無欠陥画像を取得するステップと、
前記欠陥画像及び前記無欠陥画像を用いて前記識別器に前記欠陥の像及び前記欠陥ではない非欠陥の像を学習させるステップと、
学習した前記識別器に、前記検査対象物品の検査画像を区分けした切り出し検査画像それぞれが欠陥の像を含むか否かを識別させるステップと、
前記識別器の識別結果を用いて、前記検査対象物品の欠陥の有無を判定するステップと、を備える。
前記識別器に前記欠陥の像及び前記非欠陥の像を学習させるとき、前記欠陥画像から前記欠陥画像中の前記欠陥の像が画像中の異なる位置に来るように、切り出し領域を変更して作成した複数の切り出し欠陥画像を、前記識別器に学習用画像として提供する。

前記切り出し欠陥画像は、前記欠陥の像の画像内の位置が、前記切り出し欠陥画像の中心画素位置にある１つの画像と、前記切り出し欠陥画像の中心画素位置に対して、所定の距離、上下方向及び左右方向に離れた位置にある複数の画像と、を含む、ことが好ましい。

前記切り出し検査画像は、前記検査画像の全ての領域が漏れることなく切り出し領域を変えて切り出した画像であり、
前記切り出し検査画像のそれぞれにおける前記切り出し領域は、前記切り出し検査画像の少なくとも１つにおける前記切り出し領域と重なっている、ことが好ましい。

前記切り出し欠陥画像と前記切り出し検査画像の画像サイズは同じであり、
前記切り出し検査画像のそれぞれにおける前記切り出し領域は、前記切り出し検査画像の少なくとも１つにおける前記切り出し領域に対して上下方向あるいは左右方向に所定の距離、移動した領域であり、
前記切り出し検査画像における前記切り出し領域の移動距離は、前記切り出し欠陥画像及び前記切り出し検査画像の上下方向及び左右方向のいずれにおいても、前記切り出し欠陥画像における前記欠陥の像の互いに最も遠く離れた位置の変動量と同じかそれ以下である、ことが好ましい。

前記切り出し欠陥画像は、前記欠陥の像の画像内の位置が、前記切り出し欠陥画像の中心画素位置にある１つの画像と、前記切り出し欠陥画像の中心画素位置に対して、所定の距離の整数倍、上下方向及び左右方向に離れた位置にある複数の画像と、を含み、
前記整数倍における整数と、前記所定の距離と、を調整することにより、前記切り出しだし欠陥画像の総数を調整する、ことが好ましい。

前記切り出し欠陥画像は、前記欠陥の像の画像内の位置が、前記切り出し欠陥画像の中心画素位置にある１つの画像と、前記切り出し欠陥画像の中心画素位置に対して、所定の距離の整数倍、上下方向及び左右方向に離れた位置にある複数の画像と、を含み、
前記切り出し検査画像における前記切り出し領域の前記移動距離は、前記切り出し欠陥画像における前記所定の距離より大きい、ことが好ましい。

前記識別器に前記欠陥の像及び前記非欠陥の像を学習させる前記学習用画像は、前記切り出し欠陥画像の他に、欠陥の像の無い、前記切り出し欠陥画像の画像サイズと同じ大きさの複数の無欠陥画像を含み、
前記切り出し検査画像のうち、前記識別器による識別結果と、予め定めた検査規格から判断される規格準拠判断結果とが異なる画像は、前記規格準拠判断結果とともに、前記学習用画像として前記識別器の学習のために、前記識別器に提供される、ことが好ましい。

前記欠陥画像内の欠陥の像の大きさに応じて、前記切り出し欠陥画像の画素数を変更せずに前記切り出し領域の大きさを調整する、あるいは、前記切り出し欠陥画像の画素数を変更して前記切り出し領域の大きさを調整する、ことが好ましい。

本発明の他の一態様は、物品の検査画像における欠陥の像を識別器が識別することにより、物品の欠陥を検査する欠陥検査方法である。当該欠陥検査方法は、
前記識別器群の学習のために、検査対象物品とは別の物品の、欠陥の像を含んだ欠陥画像及び欠陥の像の無い無欠陥画像を取得するステップと、
前記欠陥画像及び前記無欠陥画像を用いて前記識別器群に前記欠陥の像及び前記欠陥ではない非欠陥の像を学習させるステップと、
学習した前記識別器群に、前記検査対象物品の検査画像を区分けした切り出し検査画像それぞれが欠陥の像を含むか否かを識別させるステップと、
前記識別器群の識別結果を用いて、前記検査対象物品の欠陥の有無を判定するステップと、を備え、
前記識別器群は、前記切り出し検査画像内に、欠陥の可能性がある欠陥候補の像有り、あるいは、欠陥候補の像無しの識別をする第１識別器と、前記第１識別器により、欠陥候補の像有りと識別された切り出し検査画像内に、欠陥の像に類似するが欠陥の像として分類されない擬似欠陥の像が有る、あるいは、欠陥の像が有る、を識別する第２識別器とを備え、前記欠陥候補は、前記欠陥及び、前記擬似欠陥を含み、
前記第１識別器を学習させるための学習用画像は、欠陥候補の像を含む画像と、前記欠陥候補の像を含まない画像とを含み、
前記第２識別器を学習させるための学習用画像は、擬似欠陥の像を含む画像と、欠陥の像を含む画像とを含む。

発明のさらに他の一態様は、物品の検査画像における欠陥の像を識別器が識別することにより、物品の欠陥を検査する欠陥検査装置である。当該欠陥検査装置は、
提供された画像を用いて前記画像内の欠陥の像を識別する識別器と、
前記識別器の学習のために、検査対象物品とは別の物品の欠陥の像を含んだ欠陥画像及び欠陥の像の無い無欠陥画像を取得する画像取得部と、
前記欠陥画像及び前記無欠陥画像を用いて前記識別器に前記欠陥の像及び前記欠陥ではない非欠陥の像を学習させる第１処理部と、
学習した前記識別器に、前記検査対象物品の検査画像を区分けした切り出し検査画像それぞれから、前記切り出し検査画像が欠陥の像を含むか否かを識別させる第２処理部と、
前記識別器の識別結果を用いて、前記検査対象物品の欠陥の有無を判定する第３処理部と、を備える。
前記第１処理部は、前記欠陥画像から前記欠陥画像中の前記欠陥の像が画像中の異なる位置に来るように、切り出し領域を変更して作成した複数の切り出し欠陥画像を、前記識別器に学習用画像として提供する。

発明のさらに他の一態様は、物品の検査画像における欠陥の像を識別器が識別することにより、物品の欠陥を検査する欠陥検査装置である。当該欠陥検査装置は、
提供された画像を用いて前記画像内の欠陥の像を識別する識別器群と、
前記識別器群の学習のために、検査対象物品とは別の物品の欠陥の像を含んだ欠陥画像及び欠陥の像の無い無欠陥画像を取得する画像取得部と、
前記欠陥画像及び前記無欠陥画像を用いて前記識別器群に前記欠陥の像及び前記欠陥ではない非欠陥の像を学習させる第１処理部と、
学習した前記識別器群に、前記検査対象物品の検査画像から区分けした切り出し検査画像それぞれから、前記切り出し検査画像が欠陥の像を含むか否かを識別させる第２処理部と、
前記識別器の識別結果を用いて、前記検査対象物品の欠陥の有無を判定する第３処理部と、を備える。
前記識別器群は、少なくとも第１識別器と第２識別器を含み、
前記第１識別器は、前記切り出し検査画像内に、欠陥の可能性がある欠陥候補の像有り、あるいは、欠陥候補の像無しの識別をし、
前記第２識別器は、前記第１識別器により、欠陥候補の像有りと識別された切り出し検査画像内に、欠陥の像に類似するが欠陥の像として分類されない擬似欠陥の像が有る、あるいは、欠陥の像がある、と識別し、前記欠陥候補は、前記欠陥及び、前記擬似欠陥を含み、
前記第１識別器を学習させるための学習用画像は、欠陥候補の像を含む画像と、欠陥候補の像を含まない画像とを含み、
前記第２識別器を学習させるための学習用画像は、擬似欠陥の像を含む画像と、欠陥の像を含む画像とを含む。

上述の欠陥検査方法及び欠陥検査装置によれば、物品の種々の欠陥を効率よく識別することができる。

一実施形態であるタイヤの欠陥を検査する欠陥検査システムの構成を示すブロック図である。 （ａ），（ｂ）は、タイヤの内面の計測を行う計測装置の一例を説明する図である。 タイヤの内面の計測する部分の例を説明する図である。 （ａ）〜（ｃ）は、欠陥の像がない画像の例を示す図である。 （ａ）〜（ｃ）は、欠陥の像として分類されない擬似欠陥の像を有する画像の例を示す図である。 （ａ）〜（ｃ）は、欠陥の像を有する画像の例を示す図である。 欠陥検査装置が行う一実施形態の欠陥検査方法のフローを説明する図である。 （ａ）〜（ｄ）は、切り出し欠陥画像を模式的に説明する図である。 一実施形態における検査画像と切り出し検査画像の関係を説明する図である。 一実施形態における識別器の構成を説明する図である。

以下、本発明の欠陥検査方法及び欠陥検査装置を詳細に説明する。図１は、一実施形態であるタイヤの欠陥を検査する欠陥検査システム１０の構成を示すブロック図である。欠陥検査システム１０では、タイヤを検査対象物品としているが、検査対象物品は、タイヤに限定されず、製造直後のいかなる物品であってもよい。

欠陥検査システム１０は、計測装置１２と、欠陥検査装置２０と、を備える。計測装置１２は、タイヤＴの表面の形状を計測してデータを取得する。欠陥検査装置２０は、取得したデータを用いて、タイヤＴの検査画像から、タイヤＴに欠陥があるか否かを判定する。

図２（ａ），（ｂ）は、タイヤＴの内面の計測を行う計測装置１２の一例を説明する図である。タイヤＴの内面とは、タイヤＴと装着されるリムによって囲まれるタイヤ空洞領域に面する面であり、一般的にインナーライナが設けられている面をいう。

計測装置１２は、カメラ１４、光源１６、及びミラ１８ａ〜１８ｄを主に備える。
計測装置１２では、例えば、光切断法が用いられる。光切断法は、光源１６からタイヤＴの内面にスリット光を照射し、所定の角度に傾けたカメラ１４でタイヤＴの内面のスリット光を撮像することで、タイヤＴの内面の表面形状を計測する。さらに、タイヤＴをタイヤ回転軸の回りにタイヤ周方向に回転させてタイヤＴの内面の表面形状を連続的に計測することで、タイヤＴの内面の全周の計測データを得る。

図２（ａ）は、タイヤＴの内面のうち、サイドウォール部分に対応する内面を計測する場合の例を示す図である。この場合、光源１６から出射されるスリット光をミラ１８ａで光の方向を変えてサイドウォール部分に対応する内面にスリット光を当射する。内面に当射されたスリット光の像を、ミラ１８ｂ、１８ｃを介してカメラ１４で撮像する。ミラ１８ｂは、スリット光の光路中に位置しないように、ミラ１８ｂとスリット光の光路は、互いにタイヤ周方向にずれている。

図２（ｂ）は、タイヤＴの内面のうち、トレッド部分に対応する内面を計測する場合の例を示す図である。この場合、光源１６から出射されるスリット光をトレッド部分に対応する内面にスリット光を照射する。照射したスリット光の像を、ミラ１８ｄを介してカメラ１４で撮像する。このとき、光源１６がカメラ１４の撮像視野内に入らないように、光源１６とミラ１８ｄの位置が互いにタイヤ周方向にずれている。
計測により得られる計測データは、欠陥検査装置２０に送られる。

タイヤＴの内面の計測では、一例として以下の寸法が設定される。例えば、欠陥の最小縦横寸法は０．５ｍｍ、凹凸方向の最小寸法は０．１ｍｍとした場合、この欠陥の形状が画像内に反映されるように、タイヤ幅方向とタイヤ周方向の画像の解像度が例えば約０．１ｍｍとなるようにカメラ１４の解像度及びタイヤ回転速度を設定する。凹凸方向の解像度はカメラ１４の解像度及びカメラ１４とスリット光の角度で定まり，例えば約０．０２ｍｍとなるように設定する。この場合、タイヤＴの内面全周の計測を行うと、タイヤＴの内面を撮像した後述する部分Ａ〜Ｃ（図３参照）毎に、タイヤ周方向に約２００００．タイヤ幅方向に約１５００画素の画像が得られる。

欠陥検査装置２０は、タイヤの検査画像における欠陥の像あるいは無欠陥の像を識別器が識別することにより、タイヤの欠陥の有無を判定する装置である。欠陥検査装置２０は、ＣＰＵ２２，ＧＰＵ（Graphics Processing Unit）２３、及びメモリ２４を有するコンピュータである処理装置２０ａと、ＣＰＵ２６及びメモリ２８を有するコンピュータである処理装置２０ｂで構成される。処理装置２０ａは、後述する欠陥の像あるいは非欠陥の像を識別器３８に学習をさせる機能を有し、処理装置２０ｂは、欠陥の像及び非欠陥の像を学習した識別器３８を再生して、タイヤの検査画像からタイヤの欠陥の有無を検査する機能を有する。処理装置２０ａは、ディスプレイ４０及びマウス・キーボード等の入力操作系４４と接続されている。処理装置２０ｂは、ディスプレイ４２及びマウス・キーボード等の入力操作系４６と接続されている。
メモリ２４及びメモリ２８には、複数のプログラムが記憶されている。コンピュータが、プログラムの１つをメモリ２４から呼び出して起動することにより、画像取得部３０、第１処理部３２、及び識別器３８を形成して処理装置２０ａを構成する。コンピュータが、プログラムの１つをメモリ２８から呼び出して起動することにより、第２処理部３４、第３処理部３６、及び識別器３８を形成して処理装置２０ｂを構成する。処理装置２０ｂで形成される識別器３８は、処理装置２０ａで欠陥の像及び非欠陥の像を学習した識別器が再生される。
すなわち、画像取得部３０、第１処理部３２、第２処理部３４、第３処理部３６、及び識別器３８はプログラムによって形成されるモジュールであり、これらの部分の機能は、実質的にＣＰＵ２２，２６及びＧＰＵ２３で司られる。一実施形態によれば、２つのコンピュータにより欠陥検査装置２０が構成されるが、１つのコンピュータを用いて欠陥検査装置２０を構成してもよい。また、一実施形態によれば、画像取得部３０、第１処理部３２、第２処理部３４、第３処理部３６、及び識別器３８の一部は、ハードウェア、例えばＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路で構成することができる。

識別器３８は、第２処理部３４から提供された画像を用いて画像内の欠陥の像あるいは非欠陥の像を識別する部分で、公知の機械学習手法が用いられる。欠陥及び非欠陥の像の学習は、第１処理部３２から提供される学習用画像と、この学習用画像における欠陥の像の有無の結果の情報と、を用いて行われる。識別器３８は、例えば、ニューラルネットワークを利用して欠陥及び非欠陥の像を学習するユニットである。識別器３８は、例えば、画像認識で広く応用されている畳み込みニューラルネットワーク（Convolutional Neural Network）が好適に用いられる。

画像取得部３０は、識別器３８の学習のために、検査対象タイヤとは別のタイヤの欠陥の像を含んだ欠陥画像及び欠陥の像の無い無欠陥画像を取得する。
具体的には、画像取得部３０は、計測装置１２の計測により得られるタイヤＴの計測データを用いて、タイヤＴの内面の画像を生成する。図３は、タイヤＴの内面の計測する部分の例を説明する図である。図３に示すように、タイヤＴの内面は、トレッド部に対応する部分Ａと、サイドウォールに対応する部分Ｂ，Ｃに分けて計測される。タイヤＴの内面の計測では、部分Ａと、部分Ｂあるいは部分Ｃとが一部が重なる部分Ｄ，Ｅができるように計測される。

ここで、画像取得部３０が取得した画像は、タイヤＴの内面に沿った、タイヤ幅方向をｘ方向とし、タイヤ周方向をｙ方向としたＸＹ直交座標系で位置が表され、その位置における凹凸方向（高さ方向）の値を画素値で表した画像である。

画像取得部３０は、取得した画像にフィルタ処理を施す。生成した画像は、タイヤＴの内面の湾曲した形状の成分（湾曲成分）を含んでいるので、画像から湾曲成分を予め除去しておくことが好ましい。識別器３８は、タイヤＴの内面上の微小な凹凸形状である欠陥の像及び欠陥ではない非欠陥の像を学習して、供給された検査画像中の欠陥の像を識別するので、湾曲成分が学習用画像及び検査画像中に含まれるのは凹凸形状である欠陥の像の識別の精度の点で好ましくない。このため、画像取得部３０は、フィルタ処理を画像に施して上記湾曲成分を除去する。

画像取得部３０で行うフィルタ処理では、たとえば、画像にメディアンフィルタ及び平均フィルタを施して、湾曲成分の画像を抽出し、この画像の画素値を、フィルタ処理前の画像の画素値から減算することにより、湾曲成分の除去した値を得る。湾曲成分を除去するフィルタ処理は、必ずしも欠陥の像の識別において必須ではないが、学習用画像として、あるいは欠陥の像の検査のための検査画像として、フィルタ処理を行った画像を用いることが、精度の高い欠陥の検査を行う点から好ましい。

こうして、画像取得部３０は、識別器３８の学習のために、検査対象のタイヤとは別のタイヤの、欠陥の像を含んだ欠陥画像及び欠陥の像の無い無欠陥画像を取得する。このような画像の例が、図４〜図６に示されている。
図４（ａ）〜（ｃ）は、欠陥の像がない画像の例を示す図であり、図５（ａ）〜（ｃ）は、欠陥の像に類似するが欠陥の像として分類されない擬似欠陥の像を有する画像の例を示す図であり、図６（ａ）〜（ｃ）は、欠陥の像を有する画像の例を示す図である。
このような画像が、後述するような学習用画像となる切り出し欠陥画像や、識別器３８による欠陥の像を検査するための切り出し検査画像として生成される。
処理装置２０ａの第１処理部３２、及び、処理装置２０ｂの第２処理部３４及び第３処理部３６は、識別器３８による欠陥及び非欠陥の像の学習及び識別のために画像を準備し、あるいは、欠陥の像の識別結果を纏める部分である。

図７は、欠陥検査装置２０が行う一実施形態の欠陥検査方法を説明する図である。第１処理部３２、第２処理部３４、第３処理部３６、及び識別器３８の機能を説明しながら、図７に示す一実施形態の欠陥検査方法を説明する。

画像取得部３０は、上述したフィルタ処理を用いて、識別器３８の学習のために、検査対象のタイヤとは別のタイヤの、欠陥の像を含んだ欠陥画像及び欠陥の像の無い無欠陥画像を取得する（ステップＳＴ１０）。
次に、第１処理部３２は、取得した欠陥画像及び無欠陥画像を用いて識別器３８に欠陥の像及び欠陥ではない非欠陥の像を学習させる（ステップＳＴ１２）。
第１処理部３２は、具体的には、欠陥画像から欠陥画像中の欠陥の像が画像中の異なる位置に来るように、切り出し領域を変更して作成した複数の切り出し欠陥画像を、識別器３８に学習用画像として提供する。ここで、提供される学習用画像は、例えば２５６×２５６画素数で例えば２５６階調値のグレースケールの画像である。

第１処理部３２において、欠陥画像から欠陥画像中の欠陥の像が画像中の異なる位置に来るように、切り出し領域を変更して複数の切り出し欠陥画像を作成するのは、欠陥の像が画像中の所定の位置にあるものと識別器３８が学習することを防止するためである。また、欠陥の発生確率は低く、欠陥画像の総数は少ないが、学習用画像として用いられる切り出し欠陥画像の総数を増やすことにより、無欠陥画像から作成される切り出し無欠陥画像の数に近づけることができ、精度の高い欠陥の像の識別を可能にする。

一実施形態によれば、切り出し欠陥画像は、欠陥の像の画像内の位置（欠陥の像の中心位置）が、切り出し欠陥画像の中心画素位置にある１つの画像と、切り出し欠陥画像の中心画素位置に対して、所定の距離、上下方向及び左右方向に離れた位置にある複数の画像と、を含むことが好ましい。一実施形態によれば、画素数で表した基準距離の整数倍の距離を上記所定の距離とすることが好ましい。例えば、５画素数に相当する基準距離の１倍、２倍、３倍、・・・、８倍の距離それぞれを上記所定の距離とする。基準距離の整数倍の整数の総数をスライド数といい、上記１倍、２倍、３倍、・・・、８倍の場合、スライド数は８となる。したがって、複数の切り出し欠陥画像では、同じ欠陥の像が複数の位置に存在することになる。例えば、スライド数が８である場合、左右方向に、切り出し欠陥画像の中心画素位置を除いて１６箇所に同じ欠陥の像が移動し、さらに、上下方向に、切り出し欠陥画像の中心画素位置を除いて１６箇所に同じ欠陥の像が移動するので、１つの欠陥画像から合計１７×１７個の切り出し欠陥画像が生成される。

図８（ａ）〜（ｄ）は、切り出し欠陥画像を模式的に説明する図である。図８（ａ）には、欠陥画像５０中の欠陥の像５２（欠陥の像５２の中心）が切り出し欠陥画像の中心画素位置に来るように、切り出し領域５４を配置した例を示している。図８（ｂ），（ｃ）には、欠陥の像５２（欠陥の像５２の中心）が切り出し欠陥画像の右下の位置に来るように、図８（ａ）に示す切り出し領域５４に比べて切り出し領域５４ａを左上側に移動した例を示している。したがって、複数の切り出し欠陥画像において、欠陥の像５２の位置は、図８（ｄ）に示すように、切り出し欠陥画像５４の中心画素位置から上記所定の距離、上下方向及び左右方向に移動した切り出し欠陥画像を作成することができる。

例えば、欠陥画像内に合計で１０個の欠陥の像がある場合、この欠陥の像を５画素数に相当する基準距離の１倍、２倍、３倍、・・・、８倍の距離のそれぞれを上記所定の距離とすることにより、合計２８９０個の切り出し欠陥画像を作成することができる。
したがって、一実施形態によれば、基準距離の設定あるいは上記所定の距離と、上記スライド数（整数倍の整数の総数）とを調整することにより、切り出しだし欠陥画像の総数を調整することが好ましい。このように切り出し欠陥画像の数を増やすことができるので、発生頻度が低く欠陥の総数が少ない場合でも、切り出し欠陥画像の総数を切り出し無欠陥画像の総数に近づけるように調整することができる。

識別器３８に提供された切り出し欠陥画像及び切り出し無欠陥画像と、欠陥の有無の情報を用いて、識別器３８は欠陥及び非欠陥の像を学習する。こうして処理装置２０ａにおいて学習した識別器３８は、処理装置２０ｂにおいて再生される。処理装置２０ｂにおいて、第２処理部３４は、切り出し検査画像を提供し、識別器３８は、切り出し検査画像内の欠陥の像の有無を識別する（ステップＳＴ１４）。
処理装置２０ｂにおいて、第２処理部３４は、画像取得部３２で取得される検査画像から切り出し検査画像を生成する。切り出し検査画像は、タイヤの内面全体をカバーする検査画像の全ての領域が漏れることなく切り出し領域を変えて切り出した画像である。検査画像は、画像取得部３０で検査対象のタイヤＴの内面を計測して得られた画像である。このとき、一実施形態によれば、検査画像内で、切り出し検査画像のそれぞれにおける切り出し領域は、切り出し検査画像の少なくとも１つにおける切り出し領域と重なっているように、第２処理部３４は切り出し検査画像を生成することが好ましい。これにより、検査画像の欠陥の像を漏れなく検査することができる。図９は、一実施形態における検査画像と切り出し検査画像の関係を説明する図である。図９に示すように、検査画像６０から切り出し検査画像のそれぞれを生成するための切り出し領域６２は、検査画像６０内で、切り出し検査画像の少なくとも１つにおける切り出し領域６２ａ，６２ｂと重なっている。

また、一実施形態によれば、図９に示すように、第１処理部３２で生成する切り出し欠陥画像と第２処理部３４で生成する切り出し検査画像の画像サイズは同じであり、切り出し検査画像のそれぞれにおける切り出し領域６２は、切り出し検査画像の少なくとも１つにおける切り出し領域６２ａ，６２ｂに対して上下方向あるいは左右方向に所定の距離、移動した領域である。この場合、切り出し検査画像における切り出し領域６２の移動距離は、切り出し欠陥画像及び切り出し検査画像の上下方向及び左右方向のいずれにおいても、切り出し欠陥画像における欠陥の像５２の互いに最も遠く離れた位置の変動量（基準距離×（２×スライド数））と同じかそれ以下であることが好ましい。これにより、検査画像のいかなる位置にある欠陥の像でも、切り出し欠陥画像における欠陥の像の位置の移動範囲内に対応した、切り出し検査画像の対応範囲内に入るので、欠陥の像の識別を精度よく行なうことができる。

一実施形態によれば、第２処理部３４が生成する切り出し検査画像における切り出し領域６２の移動距離は、第１処理部３２が生成する切り出し欠陥画像における所定の距離（基準距離の整数倍の距離）より大きいことが好ましい。所定の距離は上述の例では基準距離の８倍の距離が最大であるので、切り出し領域６２の移動距離は、基準距離の８倍よりも大きいことが好ましい。これにより、切り出し検査画像の数を抑えることができるので欠陥の検査の時間を短縮することができる。

第３処理部３６は、識別器３８の切り出し検査画像の欠陥の像の有無の識別結果を用いて、検査対象のタイヤＴの内面における欠陥の有無を判定する（ステップＳＴ１６）。欠陥の像の有無の識別に用いた切り出し検査画像は、検査画像６０内で、他の切り出し検査画像と部分的に重なっているので、この重なりを考慮して、第３処理部３６は、欠陥の数をカウントする。タイヤＴの内面全周において、１つでも欠陥があれば、タイヤＴは欠陥ありと判定される。
このような欠陥の検査結果（欠陥の有無と欠陥の数）は、ディスプレイ２６に送られて、ディスプレイ２６に表示される。必要に応じて、欠陥の位置の情報も表示される。また、第３処理部３６は、切り出し検査画像をタイヤＴの内面全周の画像に統合する。統合した画像の中で欠陥の像ありと識別された切り出し検査画像の領域は枠で囲まれて、ディスプレイ２６に表示される。

以上、欠陥検査装置２０は、識別器３８に欠陥及び非欠陥の像の学習をさせるために、欠陥画像から欠陥画像中の欠陥の像が画像中の異なる位置に来るように、切り出し領域５４を変更して作成した複数の切り出し欠陥画像を、識別器３８に学習用画像として提供する。これにより、欠陥の像が切り出し検査画像のどの位置にあっても、種々の欠陥の像を効率よく識別することができる。
上記実施形態では、検査対象をタイヤＴの内面としたが、サイドウォールやトレッド部等のタイヤＴの外側の表面を検査対象とすることもできる。

なお、識別器３８において、識別器３８に供給される切り出し検査画像のうち、識別器３８による識別結果と、予め定めた検査規格から判断される規格準拠判断結果とが異なる画像は、規格準拠判断結果とともに、学習用画像として識別器３８の学習のために、識別器３８に提供されることが好ましい。このような学習を、識別器３８にさせることにより欠陥の像の識別の精度を高めることができる。
また、検査対象の欠陥の像の大きさは種々ある。このため、一実施形態によれば、欠陥画像内の欠陥の像の大きさに応じて、画像を拡縮することが好ましい。この場合、例えば、学習用画像として用いる切り出し欠陥画像の画素数を変更せずに切り出し領域の大きさを調整する（解像度を変更する）ことが好ましい。他の一実施形態によれば、学習用画像として用いる切り出し欠陥画像の画素数を変更して切り出し領域の大きさを調整する（解像度を変更しない）ことも好ましい。これにより、欠陥の像の識別の精度を高めることができる。切り出し領域５４の大きさや、切り出し欠陥画像の画素数の変更は、入力操作系２８を通して行われる。

従来、検査員によるタイヤＴの内面の検査において、欠陥無しと判断される場合であっても、タイヤＴの内面には、背景模様の表面凹凸（インナーライナゴムに形成された、加硫工程で生タイヤの内面を内側から押し付けるブラダーの凹凸模様）以外に、凹凸形状が存在するが欠陥として識別されないもの、および，欠陥と同等の特徴を有するが寸法が規格以下のため欠陥に該当しないもの、すなわち、欠陥とは分類されないが、凹凸形状を有する擬似欠陥が存在する。この擬似欠陥は、識別器３８において、欠陥の像として識別されないように構成されることが好ましい。

したがって、識別器３８に提供される、欠陥及び非欠陥の像の学習に用いる学習用画像には、欠陥の像及び擬似欠陥の像がない画像と擬似欠陥の像はあるが欠陥の像がない画像が、切り出し無欠陥画像として含まれ、欠陥の像がある画像が切り出し欠陥画像として含まれる。

図１０は、一実施形態における識別器３８の構成を説明する図である。
図１０に示す一実施形態によれば、識別器３８を、第１識別器３８ａと第２識別器３８ｂで構成し、第１識別器３８ａと第２識別器３８ｂの識別対象を異ならせる。
具体的には、第１識別器３８ａは、切り出し検査画像内に、欠陥候補の像有り、あるいは、欠陥候補の像無しの識別をする。欠陥候補の像ありには、擬似欠陥の像が含まれる。第２識別器３８ｂは、第１識別器３８ａにより、欠陥候補の像有りと識別された切り出し検査画像内に、欠陥の像に類似するが欠陥の像として分類されない擬似欠陥の像が有る、あるいは、欠陥の像が有る、を識別する。

ここで、第１処理部３２は、図１０に示すように、第１識別器３８ａを学習させるための学習用画像として、欠陥候補の像を含む画像と、欠陥候補の像を含まない画像を第１識別器３８ａに提供する。欠陥候補の像には、欠陥の像の他に、擬似欠陥の像が含まれる。なお、第１識別器３８ａは、第１識別器３８ａによる欠陥候補の像無しの識別結果以外の識別結果を欠陥候補の像有りとして扱う。

第１処理部３２は、図１０に示すように、第２識別器３８ｂを学習させるための学習用画像として、擬似欠陥の像を含む画像と、欠陥の像を含む画像を第２識別器３８ｂに提供する。学習した第２識別器３８ｂは、第１学習器３８ａで識別された欠陥候補の像を、欠陥の像と、擬似欠陥の像とに識別する。

このように、従来の検査員による、欠陥として扱われない擬似欠陥を含む欠陥の検査に対応させて、識別器３８は欠陥の識別を行うので、欠陥検査装置２０は、従来の検査員による検査と同様の検査を行うことができる。

このような欠陥の像の検査に関して実験を行って以下のような効果を得ることができた。
擬似欠陥の像はあるが欠陥の像はない学習用画像、擬似欠陥の像も欠陥の像もない学習用画像、欠陥の像がある学習用画像を、スライド数を設定して切り出し画像を生成することにより１０万枚以上用意した。
用意した学習用画像を、擬似欠陥の像はあるが欠陥の像はない学習用画像と擬似欠陥の像も欠陥の像もない学習用画像を欠陥なし、欠陥の像がある学習用画像を欠陥あり、として学習させた識別器３８を作成した。学習用画像とは別に作成した欠陥の像を含んだ検査画像を識別器３８に提供して、識別結果から得られる欠陥の像の検出率を検出率１として求めた。検出率１は、検出器３８による一段方式の検出率である。
一方、用意した学習用画像を、擬似欠陥の像も欠陥の像もない学習用画像を欠陥候補なし、擬似欠陥の像はあるが欠陥の像はない学習用画像と欠陥の像がある学習用画像を欠陥候補あり、として学習させた第１識別器３８ａを作成した（図１０参照）。さらに、擬似欠陥の像はあるが欠陥の像はない学習用画像を欠陥なし、欠陥の像がある学習用画像を欠陥あり、として学習させた第２識別器３８ｂを作成した（図１０参照）。学習用画像とは別に作成した欠陥の像を含んだ検査画像を第１識別器３８ａ、第２識別器３８ｂに提供して、第１識別器３８ａ及び第２識別器３８ｂによる識別結果から得られる欠陥の像の検出率を検出率２として求めた。検出率２は、第１検出器３８ａと第２検出器３８ｂによる二段方式の検出率である。
検出率１は高いが、検出率２は検出率１よりもさらに１４％上昇した。なお検出率とは、本来欠陥等として検出すべき検査画像の総数のうち、欠陥として正しく検出できた検査画像の数の比率をいう。

このように、識別器３８を用いて、あるいは第１識別器３８ａ及び第２識別器３８ｂを用いて、特定の種類に限定されない欠陥の像を効率よく識別することができることがわかる。また、タイヤＴの内面に形成される凹凸模様があっても、欠陥の有無を精度よく識別することができる。タイヤのような形状変動要素が大きい物品の欠陥の検査において、本実施形態の手法は有効である。さらに、従来の欠陥の識別では，欠陥と擬似欠陥を識別することは困難であったが，本実施形態では，欠陥の像と擬似欠陥の像も識別することができる。特に、図１０に示すような２つの識別器を用いた構成では、欠陥の像の誤認識率を低くすることができる。このため上述の実施形態は、タイヤを含む物品の欠陥の検査の自動化に適する。

以上、本発明の欠陥検査方法及び欠陥検査装置について詳細に説明したが、本発明は上記実施形態及び実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 欠陥検査システム
１２ 計測装置
１４ カメラ
１６ 光源
１８ａ〜１８ｄ ミラ
２０ 欠陥監査装置
２０ａ，２０ｂ 処理装置
２２，２６ ＣＰＵ
２３ ＧＰＵ
２４，２８ メモリ
３０ 画像取得部
３２ 第１処理部
３４ 第２処理部
３６ 第３処理部
３８ 識別器
３８ａ 第１識別器
３８ｂ 第２識別器
４０，４２ ディスプレイ
４４，４６ 入力操作系
５０ 欠陥画像
５２ 欠陥の像
５４，５４ａ，６２，６２ａ，６２ｂ 切り出し領域
６０ 検査画像

Claims (11)

1. 物品の検査画像における欠陥の像を識別器が識別することにより、物品の欠陥を検査する欠陥検査方法であって、
   識別器の学習のために、検査対象物品とは別の物品の、欠陥の像を含んだ欠陥画像及び欠陥の像の無い無欠陥画像を取得するステップと、
   前記欠陥画像及び前記無欠陥画像を用いて前記識別器に前記欠陥の像及び前記欠陥ではない非欠陥の像を学習させるステップと、
   学習した前記識別器に、前記検査対象物品の検査画像を区分けした切り出し検査画像それぞれが欠陥の像を含むか否かを識別させるステップと、
   前記識別器の識別結果を用いて、前記検査対象物品の欠陥の有無を判定するステップと、を備え、
   前記識別器に前記欠陥の像及び前記非欠陥の像を学習させるとき、前記欠陥画像から前記欠陥画像中の前記欠陥の像が画像中の異なる位置に来るように、切り出し領域を変更して作成した複数の切り出し欠陥画像を、前記識別器に学習用画像として提供する、ことを特徴とする欠陥検査方法。
2. 前記切り出し欠陥画像は、前記欠陥の像の画像内の位置が、前記切り出し欠陥画像の中心画素位置にある１つの画像と、前記切り出し欠陥画像の中心画素位置に対して、所定の距離、上下方向及び左右方向に離れた位置にある複数の画像と、を含む、請求項１に記載の欠陥検査方法。
3. 前記切り出し検査画像は、前記検査画像の全ての領域が漏れることなく切り出し領域を変えて切り出した画像であり、
   前記切り出し検査画像のそれぞれにおける前記切り出し領域は、前記切り出し検査画像の少なくとも１つにおける前記切り出し領域と重なっている、請求項１または２に記載の欠陥検査方法。
4. 前記切り出し欠陥画像と前記切り出し検査画像の画像サイズは同じであり、
   前記切り出し検査画像のそれぞれにおける前記切り出し領域は、前記切り出し検査画像の少なくとも１つにおける前記切り出し領域に対して上下方向あるいは左右方向に所定の距離、移動した領域であり、
   前記切り出し検査画像における前記切り出し領域の移動距離は、前記切り出し欠陥画像及び前記切り出し検査画像の上下方向及び左右方向のいずれにおいても、前記切り出し欠陥画像における前記欠陥の像の互いに最も遠く離れた位置の変動量と同じかそれ以下である、請求項３に記載の欠陥検査方法。
5. 前記切り出し欠陥画像は、前記欠陥の像の画像内の位置が、前記切り出し欠陥画像の中心画素位置にある１つの画像と、前記切り出し欠陥画像の中心画素位置に対して、所定の距離の整数倍、上下方向及び左右方向に離れた位置にある複数の画像と、を含み、
   前記整数倍における整数と、前記所定の距離と、を調整することにより、前記切り出しだし欠陥画像の総数を調整する、請求項１〜４のいずれか１項に記載の欠陥検査方法。
6. 前記切り出し欠陥画像は、前記欠陥の像の画像内の位置が、前記切り出し欠陥画像の中心画素位置にある１つの画像と、前記切り出し欠陥画像の中心画素位置に対して、所定の距離の整数倍、上下方向及び左右方向に離れた位置にある複数の画像と、を含み、
   前記切り出し検査画像における前記切り出し領域の前記移動距離は、前記切り出し欠陥画像における前記所定の距離より大きい、請求項１〜４のいずれか１項に記載の欠陥検査方法。
7. 前記識別器に前記欠陥の像及び前記非欠陥の像を学習させる前記学習用画像は、前記切り出し欠陥画像の他に、欠陥の像の無い、前記切り出し欠陥画像の画像サイズと同じ大きさの複数の無欠陥画像を含み、
   前記切り出し検査画像のうち、前記識別器による識別結果と、予め定めた検査規格から判断される規格準拠判断結果とが異なる画像は、前記規格準拠判断結果とともに、前記学習用画像として前記識別器の学習のために、前記識別器に提供される、請求項１〜６のいずれか１項に記載の欠陥検査方法。
8. 前記欠陥画像内の欠陥の像の大きさに応じて、前記切り出し欠陥画像の画素数を変更せずに前記切り出し領域の大きさを調整する、あるいは、前記切り出し欠陥画像の画素数を変更して前記切り出し領域の大きさを調整する、請求項１〜７のいずれか１項に記載の欠陥検査方法。
9. 物品の検査画像における欠陥の像を識別器群が識別することにより、物品の欠陥を検査する欠陥検査方法であって、
   前記識別器群の学習のために、検査対象物品とは別の物品の、欠陥の像を含んだ欠陥画像及び欠陥の像の無い無欠陥画像を取得するステップと、
   前記欠陥画像及び前記無欠陥画像を用いて前記識別器群に前記欠陥の像及び前記欠陥ではない非欠陥の像を学習させるステップと、
   学習した前記識別器群に、前記検査対象物品の検査画像を区分けした切り出し検査画像それぞれが欠陥の像を含むか否かを識別させるステップと、
   前記識別器群の識別結果を用いて、前記検査対象物品の欠陥の有無を判定するステップと、を備え、
   前記識別器群は、前記切り出し検査画像内に、欠陥の可能性がある欠陥候補の像有り、あるいは、欠陥候補の像無しの識別をする第１識別器と、前記第１識別器により、欠陥候補の像有りと識別された切り出し検査画像内に、欠陥の像に類似するが欠陥の像として分類されない擬似欠陥の像が有る、あるいは、欠陥の像が有る、を識別する第２識別器とを備え、前記欠陥候補は、前記欠陥及び、前記擬似欠陥を含み、
   前記第１識別器を学習させるための学習用画像は、欠陥候補の像を含む画像と、前記欠陥候補の像を含まない画像とを含み、
   前記第２識別器を学習させるための学習用画像は、擬似欠陥の像を含む画像と、欠陥の像を含む画像とを含む、ことを特徴とする欠陥検査方法。
10. 物品の検査画像における欠陥の像を識別器が識別することにより、物品の欠陥を検査する欠陥検査装置であって、
    提供された画像を用いて前記画像内の欠陥の像を識別する識別器と、
    前記識別器の学習のために、検査対象物品とは別の物品の欠陥の像を含んだ欠陥画像及び欠陥の像の無い無欠陥画像を取得する画像取得部と、
    前記欠陥画像及び前記無欠陥画像を用いて前記識別器に前記欠陥の像及び前記欠陥ではない非欠陥の像を学習させる第１処理部と、
    学習した前記識別器に、前記検査対象物品の検査画像を区分けした切り出し検査画像それぞれから、前記切り出し検査画像が欠陥の像を含むか否かを識別させる第２処理部と、
    前記識別器の識別結果を用いて、前記検査対象物品の欠陥の有無を判定する第３処理部と、を備え、
    前記第１処理部は、前記欠陥画像から前記欠陥画像中の前記欠陥の像が画像中の異なる位置に来るように、切り出し領域を変更して作成した複数の切り出し欠陥画像を、前記識別器に学習用画像として提供する、ことを特徴とする欠陥検査装置。
11. 物品の検査画像における欠陥の像を識別器群が識別することにより、物品の欠陥を検査する欠陥検査装置であって、
    提供された画像を用いて前記画像内の欠陥の像を識別する識別器群と、
    前記識別器群の学習のために、検査対象物品とは別の物品の欠陥の像を含んだ欠陥画像及び欠陥の像の無い無欠陥画像を取得する画像取得部と、
    前記欠陥画像及び前記無欠陥画像を用いて前記識別器群に前記欠陥の像及び前記欠陥ではない非欠陥の像を学習させる第１処理部と、
    学習した前記識別器群に、前記検査対象物品の検査画像から区分けした切り出し検査画像それぞれから、前記切り出し検査画像が欠陥の像を含むか否かを識別させる第２処理部と、
    前記識別器の識別結果を用いて、前記検査対象物品の欠陥の有無を判定する第３処理部と、を備え、
    前記識別器群は、少なくとも第１識別器と第２識別器を含み、
    前記第１識別器は、前記切り出し検査画像内に、欠陥の可能性がある欠陥候補の像有り、あるいは、欠陥候補の像無しの識別をし、
    前記第２識別器は、前記第１識別器により、欠陥候補の像有りと識別された切り出し検査画像内に、欠陥の像に類似するが欠陥の像として分類されない擬似欠陥の像が有る、あるいは、欠陥の像がある、と識別し、前記欠陥候補は、前記欠陥及び、前記擬似欠陥を含み、
    前記第１識別器を学習させるための学習用画像は、欠陥候補の像を含む画像と、欠陥候補の像を含まない画像とを含み、
    前記第２識別器を学習させるための学習用画像は、擬似欠陥の像を含む画像と、欠陥の像を含む画像とを含む、ことを特徴とする欠陥検査装置。

Images