JP2021015099A - 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム - Google Patents
検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム Download PDFInfo
- Publication number
- JP2021015099A JP2021015099A JP2019131324A JP2019131324A JP2021015099A JP 2021015099 A JP2021015099 A JP 2021015099A JP 2019131324 A JP2019131324 A JP 2019131324A JP 2019131324 A JP2019131324 A JP 2019131324A JP 2021015099 A JP2021015099 A JP 2021015099A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- block
- complementary
- coordinates
- identification step
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 391
- 238000007689 inspection Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004590 computer program Methods 0.000 title claims description 3
- 230000000295 complement effect Effects 0.000 claims abstract description 207
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims abstract description 31
- 239000000463 material Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract 1
- 238000013500 data storage Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 11
- 230000002950 deficient Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
【課題】ＡＩ技術を用いた高精度の欠陥検出方法を提供する。【解決手段】分割するステップと、検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、少なくとも一つの有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、ＡＩ処理を実施して欠陥の有無を検出し、欠陥の座標とその確率を特定する欠陥特定ステップと、座標変換ステップと、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる処理対象ブロックを特定するステップと、第１補完ブロック形成ステップと、第２補完ブロック形成ステップと、を備え、欠陥特定ステップは、主欠陥特定ステップと、第１の補完的な欠陥特定ステップと、第２の補完的な欠陥特定ステップと、を含み、座標変換ステップは、特定された欠陥の座標を原画像の原座標に変換する。【選択図】図１
Description
本発明は検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラムに関する。
工業製品、例えばオーリングではその表面に小さな傷、凹凸その他の変形（以下、欠陥と総称する）があるとその性能が著しく低下する。
そこで従来では、オーリングを出荷する前に、画像処理技術を利用してその欠陥を検出していた。
画像処理の一例として、ディープラーニングによりニューラルネットワークに学習させる機能を適用した所謂ＡＩ処理装置を用いるものがある。
欠陥の検査の精度を上げるため、検査対象を撮影した画像は複数のブロックに分割されて、ブロックごとに欠陥の有無が検査される。
本願発明に関連する技術を示す先行文献として特許文献１及び特許文献２を参照されたい。
そこで従来では、オーリングを出荷する前に、画像処理技術を利用してその欠陥を検出していた。
画像処理の一例として、ディープラーニングによりニューラルネットワークに学習させる機能を適用した所謂ＡＩ処理装置を用いるものがある。
欠陥の検査の精度を上げるため、検査対象を撮影した画像は複数のブロックに分割されて、ブロックごとに欠陥の有無が検査される。
本願発明に関連する技術を示す先行文献として特許文献１及び特許文献２を参照されたい。
検査対象の撮影画像を複数のブロックに分割し、分割されたブロックごとにＡＩ処理することで、欠陥の検査に高い精度が確保される。
しかし、自動車に使用されるオーリングなどの精密部品は人命に関わるため、高精度な欠陥検出手法が求められている。
しかし、自動車に使用されるオーリングなどの精密部品は人命に関わるため、高精度な欠陥検出手法が求められている。
この発明は、かかる課題に対応するものであり、その第１の局面は次のように規定される。即ち。
背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成する第１補完ブロック形成ステップと、
記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する第２補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出方法。
背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成する第１補完ブロック形成ステップと、
記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する第２補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出方法。
このように規定される第１の局面の欠陥検索方法によれば、欠陥特定ステップにおいて、処理対象ブロックに対する主欠陥特定ステップに加えて、補完ブロックを利用して補完的な欠陥特定ステップが実行される。その結果、有効領域に対する欠陥検査が、補完的な欠陥特定ステップを実行した数だけ、多く実行されたこととなる。処理対象ブロックに含まれる有効領域は、第１補完ブロックや第２補完ブロックでは、ブロック全体において相対的に異なる位置に存在するので、ＡＩ処理においては、異なる対象となるからである。
有効領域に映り込んでいる検査対象品の部分に欠陥があったとき、ＡＩ処理装置への入力態様が異なる（ブロックにおける相対的な位置が異なる）と、その確率に変化が生じる。この場合、最も高い確率の欠陥を採用することができる（第２の局面）。
なお、各ブロックにおいて特定された欠陥の座標は、原画像における原座標（絶対座標）に変換され、その座標が重複するものは同じ欠陥を指すものと考えられる。第２の局面では、各ブロックで検出された欠陥の座標が原座標において重複したとき、最も確率が高いものを採用することとした。
なお、各ブロックにおいて特定された欠陥の座標は、原画像における原座標（絶対座標）に変換され、その座標が重複するものは同じ欠陥を指すものと考えられる。第２の局面では、各ブロックで検出された欠陥の座標が原座標において重複したとき、最も確率が高いものを採用することとした。
他方、各ブロックで検出された欠陥の座標が原座標において重複したとき、重複したもののアンド集合又はオア集合を作成して、それを欠陥の座標とすることができる（第３の局面）。なお、アンド集合は、各ブロックにおいて特定された欠陥の座標の集合体に対応する原座標の座標の集合体の重複部分を指す。アンド集合では、各ブロックにおいて欠陥として特定されたもののなかで最も高い確率のもの（欠陥）を採用することができる。
オア集合は、各ブロックにおいて特定された欠陥の座標の集合体に対応する原座標の集合体の外郭で規定される。その確率は、各ブロックにおける欠陥の確率の平均を採用することができる。
オア集合は、各ブロックにおいて特定された欠陥の座標の集合体に対応する原座標の集合体の外郭で規定される。その確率は、各ブロックにおける欠陥の確率の平均を採用することができる。
この発明の第４の局面は次の様に規定される。
第１〜第３のいずれかに規定の方法において、前記第１補完ブロック形成ステップでは前記第１補完ブロックを回転させる、前記第２補完ブロック形成ステップでは前記第２補完ブロックを回転させる。
このように規定される第４の局面の欠陥検査方法によれば、各補完ブロックに含まれる有効領域は、処理対象ブロックとの比較において、ブロックにおける相対的な位置に変化がつけられたことに加えて、補完ブロックを回転することにより、ＡＩ処理装置への入力態様に更に変化を与えられる。
第１〜第３のいずれかに規定の方法において、前記第１補完ブロック形成ステップでは前記第１補完ブロックを回転させる、前記第２補完ブロック形成ステップでは前記第２補完ブロックを回転させる。
このように規定される第４の局面の欠陥検査方法によれば、各補完ブロックに含まれる有効領域は、処理対象ブロックとの比較において、ブロックにおける相対的な位置に変化がつけられたことに加えて、補完ブロックを回転することにより、ＡＩ処理装置への入力態様に更に変化を与えられる。
なお、処理対象ブロックが２×２の領域からなるときは、例えば横方向（ｍ側）へ１つの領域分偏移させた第１補完ブロックを時計方向へ９０度回転させ、縦方向（ｎ側）へ１つの領域分偏移させた第２補完ブロックを同じく２７０度回転させ、横縦側へそれぞれ１つの領域分偏移させた第３補完ブロックは同じく１８０度回転させ、それぞれのブロックに対して欠陥特定処理を実行する（第５の局面）。これにより、ブロックに含まれる有効領域をＡＩ処理装置へ入力する際の態様に均一かつ規則的な変化を与えることができる。
各補完ブロックを回転するときの回転中心は特に限定されるものではないが、ブロックの中心とすることが好ましい。
各補完ブロックを回転するときの回転中心は特に限定されるものではないが、ブロックの中心とすることが好ましい。
以上を敷衍して、第６の局面は次のように規定される。即ち、
背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出方法。
背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出方法。
この発明は装置の発明として次のように規定することもできる。
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
前記処理対象ブロック特定部は、
前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定部と、
前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成し、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する補完ブロック形成部と、を備え、
前記欠陥特定部は、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を実行し、
前記座標変換部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出装置。
このように規定される第７の局面の発明によれば、第１の局面に規定の発明と同じ効果が得られる。
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
前記処理対象ブロック特定部は、
前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定部と、
前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成し、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する補完ブロック形成部と、を備え、
前記欠陥特定部は、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を実行し、
前記座標変換部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出装置。
このように規定される第７の局面の発明によれば、第１の局面に規定の発明と同じ効果が得られる。
この発明の第８の局面は次のように規定される。即ち、
第７の局面に規定の装置において、前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択する。
このように規定される第８の局面の発明によれば、第２の局面の発明と同じ効果が得られる。
第７の局面に規定の装置において、前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択する。
このように規定される第８の局面の発明によれば、第２の局面の発明と同じ効果が得られる。
この発明の第９の局面は次のように規定される。即ち、
第７の局面に規定の装置において、前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成する。
このように規定される第９の局面の発明によれば、第３の局面の発明と同じ効果が得られる。
第７の局面に規定の装置において、前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成する。
このように規定される第９の局面の発明によれば、第３の局面の発明と同じ効果が得られる。
この発明の第１０の局面は次のように規定される。即ち、
第７〜９のいずれかの局面に規定の装置において、前記補完ブロック形成部は、前記第１補完ブロック及び前記第２補完ブロックを回転させる。
このように規定される第１０の局面の発明によれば、第４の局面の発明と同じ効果が得られる。
第７〜９のいずれかの局面に規定の装置において、前記補完ブロック形成部は、前記第１補完ブロック及び前記第２補完ブロックを回転させる。
このように規定される第１０の局面の発明によれば、第４の局面の発明と同じ効果が得られる。
この発明の第１１の局面は次のように規定される。即ち、
第１０の局面に規定の装置において、処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部は、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
前記欠陥特定部は、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定する。
このように規定される第１１の局面の発明によれば、第５の局面の発明と同じ効果が得られる。
第１０の局面に規定の装置において、処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部は、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
前記欠陥特定部は、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定する。
このように規定される第１１の局面の発明によれば、第５の局面の発明と同じ効果が得られる。
この発明の第１２の局面は次のように規定される。即ち、
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
前記処理対象ブロック特定部は、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定部と、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成部と、を備え、
前記欠陥特定部は、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を実行し、
前記座標変換部は、前記主欠陥特定ステップ、及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出装置。
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
前記処理対象ブロック特定部は、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定部と、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成部と、を備え、
前記欠陥特定部は、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を実行し、
前記座標変換部は、前記主欠陥特定ステップ、及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出装置。
この発明はプログラムの発明として次のように規定することもできる。
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
前記主処理対象ブロック特定部に、前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定させ、
前記補完ブロック形成部に、前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成させ、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成させ、
前記欠陥特定部に
前記処理対象ブロックにおける欠陥の座標とその確率を特定させ、
前記第１補完ブロックにおける欠陥の座標とその確率を特定させ、
前記第２補完ブロックにおける欠陥の座標とその確率を特定させ、
前記座標変換部に、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる。
コンピュータ用のプログラム。 このように規定される第１３の局面の発明によれば、第１の局面に規定の発明と同じ効果が得られる。
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
前記主処理対象ブロック特定部に、前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定させ、
前記補完ブロック形成部に、前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成させ、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成させ、
前記欠陥特定部に
前記処理対象ブロックにおける欠陥の座標とその確率を特定させ、
前記第１補完ブロックにおける欠陥の座標とその確率を特定させ、
前記第２補完ブロックにおける欠陥の座標とその確率を特定させ、
前記座標変換部に、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる。
コンピュータ用のプログラム。 このように規定される第１３の局面の発明によれば、第１の局面に規定の発明と同じ効果が得られる。
この発明の第１４の局面は次のように規定される。即ち、
第１３の局面に規定のプログラムにおいて、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択させる。
このように規定される第１４の局面の発明によれば、第２の局面の発明と同じ効果が得られる。
第１３の局面に規定のプログラムにおいて、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択させる。
このように規定される第１４の局面の発明によれば、第２の局面の発明と同じ効果が得られる。
この発明の第１５の局面は次のように規定される。即ち、
第７の局面に規定のプログラムおいて、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成させる。
このように規定される第１５の局面の発明によれば、第３の局面の発明と同じ効果が得られる。
第７の局面に規定のプログラムおいて、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成させる。
このように規定される第１５の局面の発明によれば、第３の局面の発明と同じ効果が得られる。
この発明の第１６の局面は次のように規定される。即ち、
第１３〜１５のいずれかの局面に規定のプログラムにおいて、前記補完ブロック形成部に、前記第１補完ブロック及び前記第２補完ブロックを回転させる。
このように規定される第１６の局面の発明によれば、第４の局面の発明と同じ効果が得られる。
第１３〜１５のいずれかの局面に規定のプログラムにおいて、前記補完ブロック形成部に、前記第１補完ブロック及び前記第２補完ブロックを回転させる。
このように規定される第１６の局面の発明によれば、第４の局面の発明と同じ効果が得られる。
この発明の第１７の局面は次のように規定される。即ち、
第１６の局面に規定のプログラムにおいて、処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部に、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
前記欠陥特定部に、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定させる。
このように規定される第１７の局面の発明によれば、第５の局面の発明と同じ効果が得られる。
第１６の局面に規定のプログラムにおいて、処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部に、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
前記欠陥特定部に、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定させる。
このように規定される第１７の局面の発明によれば、第５の局面の発明と同じ効果が得られる。
この発明の第１８の局面は次のように規定される。即ち、
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
前記主処理対象ブロック特定部に前記処理対象ブロックを特定させ、
前記補完ブロック形成部に、前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成させ
前記欠陥特定部に
前記処理対象ブロックにおける欠陥の座標とその確率を特定させ、
前記補完ブロックにおける欠陥の座標とその確率を特定させ、
前記座標変換部に、前記主欠陥特定ブロック及び前記補完ブロックについてそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる、
コンピュータ用のプログラム。
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
前記主処理対象ブロック特定部に前記処理対象ブロックを特定させ、
前記補完ブロック形成部に、前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成させ
前記欠陥特定部に
前記処理対象ブロックにおける欠陥の座標とその確率を特定させ、
前記補完ブロックにおける欠陥の座標とその確率を特定させ、
前記座標変換部に、前記主欠陥特定ブロック及び前記補完ブロックについてそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる、
コンピュータ用のプログラム。
以下、本発明を実施形態に基づき更に詳細に説明する。
図１は実施の形態の欠陥検出装置１の機能を示すブロック図である。
この欠陥検出装置１のカメラ３は例えばＣＣＤデバイスを備え、検査対象をその背景とともに撮影する。
撮影された画像（原画像）は原画像保存部４に保存され、原画像分割部５により原画像は複数の領域に分割される。領域の大きさや形状は任意に選択できるが、グリッド（格子）状にすることが好ましい。
有効領域特定部７では、検査対象が映り込んでいる領域にフラグをたててこれを有効領域とする。換言すれば、背景のみの領域を不活性化して後の画像処理の対象としないようにする。
図１は実施の形態の欠陥検出装置１の機能を示すブロック図である。
この欠陥検出装置１のカメラ３は例えばＣＣＤデバイスを備え、検査対象をその背景とともに撮影する。
撮影された画像（原画像）は原画像保存部４に保存され、原画像分割部５により原画像は複数の領域に分割される。領域の大きさや形状は任意に選択できるが、グリッド（格子）状にすることが好ましい。
有効領域特定部７では、検査対象が映り込んでいる領域にフラグをたててこれを有効領域とする。換言すれば、背景のみの領域を不活性化して後の画像処理の対象としないようにする。
処理対象ブロック特定部８の主処理対象ブロック特定部９は、例えば縦（２）×横（２）の４つの領域の塊のように、原画像から複数の領域（相互に連続したもの）を選択し、少なくとも１つの有効領域が含まれるものを処理対象ブロックとする。なお、処理対象ブロック特定部９で特定された処理対象ブロックに基づき、補完ブロック形成部１０は、所定のルールに基づき補完ブロックを形成する。処理対象ブロックと補完ブロックとは領域の数およびその並び方において同一とすることが好ましいが、領域の数や並び方に変化をつけることもできる。
欠陥特定部１３はＡＩ処理部１３１を含む。処理対象ブロック特定部９で特定された処理対象ブロック及び補完ブロック形成部１０で形成された各ブロックが欠陥特定部１３のＡＩ処理部１３１へ入力される。ＡＩ処理部１３１は汎用的なニューラルネットワーク用いており、欠陥の有無の判断のため、十分な教師データが読み込まれているものとする。
この例では、ＡＩ処理部としてドスパラ社製のＢＴＯ Ｃｏｒｅ−ｉ９−９９４０Ｘ、メモリ６４ＧＢを用い、ＡＩ用のソフトウエアとしてテクムズ社のＤＥＥＰＳ ＡＩ Ｉｎｓｐｅｃｔｉｏｎを用いた。ブロック単位で欠陥の無い教師データが５０００枚、欠陥のある１０００枚の教師データが読み込まれるものとする。その他、ＧＰＵとして Nvidia社製 ＧｅＦｏｒｃｅ ＲＴＸ ２０８０ Ｔｉ を用いている。
欠陥特定部１３はＡＩ処理部１３１を含む。処理対象ブロック特定部９で特定された処理対象ブロック及び補完ブロック形成部１０で形成された各ブロックが欠陥特定部１３のＡＩ処理部１３１へ入力される。ＡＩ処理部１３１は汎用的なニューラルネットワーク用いており、欠陥の有無の判断のため、十分な教師データが読み込まれているものとする。
この例では、ＡＩ処理部としてドスパラ社製のＢＴＯ Ｃｏｒｅ−ｉ９−９９４０Ｘ、メモリ６４ＧＢを用い、ＡＩ用のソフトウエアとしてテクムズ社のＤＥＥＰＳ ＡＩ Ｉｎｓｐｅｃｔｉｏｎを用いた。ブロック単位で欠陥の無い教師データが５０００枚、欠陥のある１０００枚の教師データが読み込まれるものとする。その他、ＧＰＵとして Nvidia社製 ＧｅＦｏｒｃｅ ＲＴＸ ２０８０ Ｔｉ を用いている。
欠陥特定部１３１へ入力されたブロックの画像、即ち処理対象ブロックの画像及びその補完ブロックの画像がＡＩ処理部１３１で処理されて、欠陥が検出されたとき（所定の確率より高いもの）は、その欠陥の座標とその確率がブロックデータ保存部１５の欠陥座標保存部１５１と欠陥の確率保存部１５３にそれぞれ保存される。
ブロックデータ保存部１５に保存される欠陥の座標は、ブロック毎に定められた座標である。そこで、座標変換部１７は、原画像の原座標保存部１１に保存されている原座標と処理対象ブロック特定部９によるブロック特定のルール及び補完ブロック形成のルールを参照して、ブロックデータ保存部１５の欠陥座標保存部１５１に保存されている欠陥の座標を原画像の原座標に対応つける。このようにして原座標に変換された欠陥の座標は原画像データ保存部２１の欠陥座標保存部２１１に保存される。それとともに、欠陥の確率がブロックデータ保存部１５の欠陥の確率保存部１５３から原画像データ保存部２１の欠陥の確率保存部２１３にコピーされる。
原画像の全域をカバーするように主処理対象ブロックを特定して、さらにそれらの補完ブロックを形成して、各ブロックにつきＡＩ処理を実行し、原画像の全域において欠陥の座標とその確率を特定し、原画像データ保存部２１に保存する。
原画像データ保存部２１においては、各ブロックにおいて特定された欠陥の座標が重複して保存される。換言すれば、各ブロックのデータが原座標に変換されて、それぞれ保存されている。
原画像データ保存部２１においては、各ブロックにおいて特定された欠陥の座標が重複して保存される。換言すれば、各ブロックのデータが原座標に変換されて、それぞれ保存されている。
検査結果作成部２３は、原画像データ保存部２１に蓄積されたデータを参照して検査対象品の検査結果を作成する。
検査結果として、例えば所定の確率以上の欠陥が存在したときは、検査対象品はＮＧとして、例えば製造ラインから除去する。
検査結果として、例えば所定の確率以上の欠陥が存在したときは、検査対象品はＮＧとして、例えば製造ラインから除去する。
次に、図２を参照して、製造ラインを流れるオーリングを検査対象の例として、欠陥検出装置１の動作を説明する。
ステップ１では、カメラ３により、オーリング１００を撮影する。このとき、背景は白色など明るい色として、黒色のオーリング１００とのコントラストを大きくしておくことが好ましい。
この撮影によりオーリング１００とその背景の原画像が得られ、原画像保存部４に保存される。
撮影された画像（原画像）の例を図３に示す。
ステップ１では、カメラ３により、オーリング１００を撮影する。このとき、背景は白色など明るい色として、黒色のオーリング１００とのコントラストを大きくしておくことが好ましい。
この撮影によりオーリング１００とその背景の原画像が得られ、原画像保存部４に保存される。
撮影された画像（原画像）の例を図３に示す。
ステップ３では、原画像保存部４に保存された原画像が原画像分解部５により、図３に示すように点線で示すグリッドより１００個の領域（ｍ０，ｎ０）〜（ｍ９，ｎ９）に分割される。ここで、分割とは、画像処理対象を構成する領域を指定することをいう。
なお、原画像の座標（原座標）は、例えば領域（ｍ０、ｎ０）の左上端を原点として、画素に応じて付されて、原画像の原座標保存部１１に保存される。
なお、原画像の座標（原座標）は、例えば領域（ｍ０、ｎ０）の左上端を原点として、画素に応じて付されて、原画像の原座標保存部１１に保存される。
ステップ５では、有効領域特定部７が、領域ごとにオーリング１００が映り込んでいるか否かを判断する。オーリング１００が映り込んでいる領域が有効領域となる。
図４の例では有効領域にマークした。例えば、領域（ｍ４，ｎ１）、領域（ｍ２，ｎ２）……が有効領域である。
ステップ７では、処理対象ブロック特定部８の主処理対象ブロック特定部９が処理対象ブロックを特定する。この例では、図５に示すように、原画像の左端上から、順次、図示右方向に４つの領域からなるブロックを特定する。図面上、各ブロックに数１，２，３…を付してある。
図４の例では有効領域にマークした。例えば、領域（ｍ４，ｎ１）、領域（ｍ２，ｎ２）……が有効領域である。
ステップ７では、処理対象ブロック特定部８の主処理対象ブロック特定部９が処理対象ブロックを特定する。この例では、図５に示すように、原画像の左端上から、順次、図示右方向に４つの領域からなるブロックを特定する。図面上、各ブロックに数１，２，３…を付してある。
ここで処理対象となるブロックは、有効領域を少なくとも１つ含むブロックである。
したがって、ステップ７において、主処理対象ブロック特定部９により有効領域を少なくとも１つ含むブロックが処理対象ブロックとして特定される。図５の例において数値をふったブロックでは、ブロック３、６が該当する。
これにより、処理対象の数を削減できる。
更にステップ８では、補完ブロック形成部１０により補完ブロックが形成れる。図６に補完ブロックの例を示す。図６において、第１補完ブロックは、処理対象ブロック３をｍ方向（図示右方向）へ１領域分偏移させたものである。同じく第２補完ブロック２は、処理対象ブロック３をｎ方向（図示下方向）へ１領域分偏移させたものである。第３補完ブロック３は、処理対象ブロック３をｍ、ｎ方向へそれぞれ１領域分偏移させたものである。
したがって、ステップ７において、主処理対象ブロック特定部９により有効領域を少なくとも１つ含むブロックが処理対象ブロックとして特定される。図５の例において数値をふったブロックでは、ブロック３、６が該当する。
これにより、処理対象の数を削減できる。
更にステップ８では、補完ブロック形成部１０により補完ブロックが形成れる。図６に補完ブロックの例を示す。図６において、第１補完ブロックは、処理対象ブロック３をｍ方向（図示右方向）へ１領域分偏移させたものである。同じく第２補完ブロック２は、処理対象ブロック３をｎ方向（図示下方向）へ１領域分偏移させたものである。第３補完ブロック３は、処理対象ブロック３をｍ、ｎ方向へそれぞれ１領域分偏移させたものである。
ステップ９では、ステップ７で特定された処理対象ブロック３と補完ブロック形成部１０により形成された第１〜３補完ブロックとが、欠陥特定部１３のＡＩ処理部１３１においてＡＩ処理される。
なお、この例では、第１補完ブロックには、有効領域が含まれていないので、ＡＩ処理を省略可能である。
換言すれば、このステップ９では、オーリング１００が映り込んだ有効領域を含む処理対象ブロックが特定されたことをトリガとして、当該処理対象ブロックを基準にしてＡＩ処理が計４回実行される。そして、ＡＩ処理されるブロックは、当初処理対象として特定された処理対象ブロックに加え、これを基準にして加工形成したものである。図６の例では、基準となるブロック（処理対象ブロック）から、ｍ方向、ｎ方向へそれぞれ１単位の領域偏移するようにこれを加工形成して補完ブロックとしている。
ステップ７で特定された処理対象ブロックがＰ領域（ｍ方向、３≦Ｐ）×Ｑ領域（ｎ方向、３≦Ｑ）から構成されるときは、ｍ方向、ｎ方向へそれぞれ２単位以上の領域分を偏移させて補完ブロックを形成することもできる。
なお、この例では、第１補完ブロックには、有効領域が含まれていないので、ＡＩ処理を省略可能である。
換言すれば、このステップ９では、オーリング１００が映り込んだ有効領域を含む処理対象ブロックが特定されたことをトリガとして、当該処理対象ブロックを基準にしてＡＩ処理が計４回実行される。そして、ＡＩ処理されるブロックは、当初処理対象として特定された処理対象ブロックに加え、これを基準にして加工形成したものである。図６の例では、基準となるブロック（処理対象ブロック）から、ｍ方向、ｎ方向へそれぞれ１単位の領域偏移するようにこれを加工形成して補完ブロックとしている。
ステップ７で特定された処理対象ブロックがＰ領域（ｍ方向、３≦Ｐ）×Ｑ領域（ｎ方向、３≦Ｑ）から構成されるときは、ｍ方向、ｎ方向へそれぞれ２単位以上の領域分を偏移させて補完ブロックを形成することもできる。
加工形成された補完ブロックに更に加工を加えることもできる。例えば、補完ブロックを所定のピッチで回転させる。回転の角度（ピッチ）は、３６０度を補完ブロック数+１で除した角度であり、回転中心は補完ブロックの中心点とすることが好ましいが、特にこれに限定されるわけでない。
図７の例では、補完ブロックを各補完ブロックの中心点を中心にして回転させて回転補完ブロックを形成している。回転角度のピッチは時計周り方向で９０度である。
なお、第１補完ブロック１は、これに有効領域が含まれていないので、回転対象から外すことができる。
このようにして得られた回転補完ブロックはステップ９においてＡＩ処理される。
図７の例では、補完ブロックを各補完ブロックの中心点を中心にして回転させて回転補完ブロックを形成している。回転角度のピッチは時計周り方向で９０度である。
なお、第１補完ブロック１は、これに有効領域が含まれていないので、回転対象から外すことができる。
このようにして得られた回転補完ブロックはステップ９においてＡＩ処理される。
ＡＩ処理の結果はブロックごとにブロックデータ保存部１５に保存される（ステップ１１）。より具体的には、欠陥の確率が所定値（例えば８０％）以上のものを欠陥と判定して、処理対象となったブロックの座標を欠陥座標保存部１５１に保存し、それにリンクして、欠陥の確率が欠陥の確率保存部１５３に保存される。
ブロックデータ保存部１５の欠陥座標保存部１５１に保存されている欠陥の座標は、各ブロックの独自の座標である。例えば、処理対象ブロックであれば領域（ｍ４，ｎ０）の左上端部を原点として処理対象ブロックの座標は規定され、第２補完ブロックであれば領域（ｍ４，ｎ１）の左上端部を原点として補完ブロックの座標が規定される。
そこで、ステップ１３において、各ブロックで特定された欠陥の座標を統合するため、各ブロックの座標を原画像の原座標（（ｍ０，ｎ０）の左上端を原点とする））に変換する。
これにより、各ブロックにおいて欠陥があると特定された座標は、ブロック毎に原座標に変換されて、原画像データ保存部２１の欠陥座標保存部２１１に保存される。
なお、欠陥の確率保存部１５３に保存されていた各欠陥の確率は、これがリンクされた欠陥座標が原座標に変換されたとき、当該リンクを維持して原画像データ保存部２１１の欠陥の確率保存部２１３に保存される。
そこで、ステップ１３において、各ブロックで特定された欠陥の座標を統合するため、各ブロックの座標を原画像の原座標（（ｍ０，ｎ０）の左上端を原点とする））に変換する。
これにより、各ブロックにおいて欠陥があると特定された座標は、ブロック毎に原座標に変換されて、原画像データ保存部２１の欠陥座標保存部２１１に保存される。
なお、欠陥の確率保存部１５３に保存されていた各欠陥の確率は、これがリンクされた欠陥座標が原座標に変換されたとき、当該リンクを維持して原画像データ保存部２１１の欠陥の確率保存部２１３に保存される。
なお、上記のようにブロックの座標を原画像の座標に変換する際、座標変換部１７は原画像の原座標保存部１７の座標に関するデータと、処理対象ブロック特定部８によるブロックの特定ルールとを参照する。なお、補完ブロックについては、補完ブロック形成部１０による補完ブロック形成のルールが参照される。
検査結果作成部２３は原画像データ保存部２１１の欠陥座標保存部２１１に保存されている欠陥座標と、同じく欠陥の確率保存部２１３に保存されている欠陥座標の確率とに基づき、欠陥有無及びその確率や欠陥の位置を特定し、検査結果として出力する。
ここに、原画像データ保存部２１には各ブロックからのデータが独立して保存されているので、原座標データからみたとき、一つのブロックからのデータでは欠陥有りと判定された座標が他のブロックからのデータでは欠陥無し、と判定されることがある。
このような場合、安全率を高める見地から、当該座標には欠陥ありと判定することができる。換言すれば、原座標の各座標に対応する各ブロックからのデータにおいて、欠陥として最も高い確率を採用する。
勿論、各ブロックからのデータにリンクされた確率の平均を演算して、欠陥の有無を判定することもできる。
更には、各ブロックからのデータにおいてすべて欠陥有りと判定された座標のみ欠陥ありとすることもできるし（アンド集合）、各ブロックからのデータのひとつでも欠陥ありと判定された座標を欠陥あり（オア集合）とすることもできる。
このように、検査結果作成部２３は、検査対象や検査目的に応じて、任意のルールに従って、検査の結果を作成することができる。
ここに、原画像データ保存部２１には各ブロックからのデータが独立して保存されているので、原座標データからみたとき、一つのブロックからのデータでは欠陥有りと判定された座標が他のブロックからのデータでは欠陥無し、と判定されることがある。
このような場合、安全率を高める見地から、当該座標には欠陥ありと判定することができる。換言すれば、原座標の各座標に対応する各ブロックからのデータにおいて、欠陥として最も高い確率を採用する。
勿論、各ブロックからのデータにリンクされた確率の平均を演算して、欠陥の有無を判定することもできる。
更には、各ブロックからのデータにおいてすべて欠陥有りと判定された座標のみ欠陥ありとすることもできるし（アンド集合）、各ブロックからのデータのひとつでも欠陥ありと判定された座標を欠陥あり（オア集合）とすることもできる。
このように、検査結果作成部２３は、検査対象や検査目的に応じて、任意のルールに従って、検査の結果を作成することができる。
この欠陥検査装置１のハード構成を図８に示す。
演算部３００はＣＰＵ３０１、ＲＯＭ３０３及びＲＡＭ３０５を備え、システム全体の制御をつかさどる。それとともに、原画像分割部５、有効領域特定部７、処理対象ブロック特定部８、欠陥特定部１３、座標変換部１７及び検査結果作成部２３として機能する。ＲＯＭ３０３は、演算部３００を制御する制御プログラム等が格納された図示しない不揮発性メモリを含む。ＲＡＭ３０５は、キーボード等の入力装置３３０を介して利用者により予め設定された各種設定値を読み出し可能に格納したり、ＣＰＵ３０１に対してワーキングエリアを提供したりする。演算部３００を制御する制御プログラムはＲＯＭ３０３に限らずＲＡＭ３０５や第１記憶装置３１１及び第２記憶装置３１３に格納されていてもよい。
ＣＰＵ３０１はニュートラルネットワーク処理に適したものが好ましく、ＲＯＭ３０３若しくは第１及び第２記憶装置３１１，３１３はディープラーニング時に用いる大量のデータを保存できる容量を持つものとする。
演算部３００はＣＰＵ３０１、ＲＯＭ３０３及びＲＡＭ３０５を備え、システム全体の制御をつかさどる。それとともに、原画像分割部５、有効領域特定部７、処理対象ブロック特定部８、欠陥特定部１３、座標変換部１７及び検査結果作成部２３として機能する。ＲＯＭ３０３は、演算部３００を制御する制御プログラム等が格納された図示しない不揮発性メモリを含む。ＲＡＭ３０５は、キーボード等の入力装置３３０を介して利用者により予め設定された各種設定値を読み出し可能に格納したり、ＣＰＵ３０１に対してワーキングエリアを提供したりする。演算部３００を制御する制御プログラムはＲＯＭ３０３に限らずＲＡＭ３０５や第１記憶装置３１１及び第２記憶装置３１３に格納されていてもよい。
ＣＰＵ３０１はニュートラルネットワーク処理に適したものが好ましく、ＲＯＭ３０３若しくは第１及び第２記憶装置３１１，３１３はディープラーニング時に用いる大量のデータを保存できる容量を持つものとする。
第１記憶装置３１１は原画像保存４、原画像の原座標保存部１１として機能する。第２記憶装置３１３はブロックデータ保存部１５及び原画像データ保存部２１として機能する。
これら第１及び第２の記憶装置３１１，３１３はハードメモリやフラッシュメモリなど、サーバシステムのメモリ装置の一部の領域を利用することが好ましい。
なお、データを一時的に保存する、いわゆるバッファメモリには、演算部のＲＡＭの一部領域を利用できる。
出力装置３２０はディスプレイや音声出力装置であり、入力装置３３０は音声入力部や、ディスプレイに重ねて配置されるタッチパネル式のキーボートやマウスなどが該当する。また、入力装置３３０はＡＩ処理のための教師データ（画像データ）を入力できるものとする。
カメラ３には汎用的はＣＣＤカメラを用いることができる。その解像度や焦点深度などのカメラのスペックは任意に設定可能である。
コンピュータを構成する各装置はシステムバス３４０で連結されている。
これら第１及び第２の記憶装置３１１，３１３はハードメモリやフラッシュメモリなど、サーバシステムのメモリ装置の一部の領域を利用することが好ましい。
なお、データを一時的に保存する、いわゆるバッファメモリには、演算部のＲＡＭの一部領域を利用できる。
出力装置３２０はディスプレイや音声出力装置であり、入力装置３３０は音声入力部や、ディスプレイに重ねて配置されるタッチパネル式のキーボートやマウスなどが該当する。また、入力装置３３０はＡＩ処理のための教師データ（画像データ）を入力できるものとする。
カメラ３には汎用的はＣＣＤカメラを用いることができる。その解像度や焦点深度などのカメラのスペックは任意に設定可能である。
コンピュータを構成する各装置はシステムバス３４０で連結されている。
本発明の効果を確認するため、下記の実験を行った。
検査対象：ゴム製品（長径約４cm）
カメラの解像度：２０４８ｘ１５３６
グリッドの数（ｍ＝１３、ｎ＝１０）
処理対象ブロック：（ｍ＝２、ｎ＝２）
補完ブロック：図６のように３つを形成
教師データの数 （正＝５，０００、誤＝１，０００）
ＡＩソフト：テクムズ社 ＤＥＥＰＳ ＡＩ Ｉｎｓｐｅｃｔｉｏｎ
ＰＣ：ドスパラ社製ＢＴＯパソコン（Ｃｏｒｅ−ｉ９−９９４０Ｘ，メモリ６４ＧＢ，ＧＰＵ：Ｎｖｉｄｉａ社製 ＧｅＦｏｒｃｅ ＲＴＸ ２０８０Ｔｉ）
検査対象： 正常品２２枚、異常品７４枚
欠陥の見落としや誤って欠陥と判断した、いわゆる精度は９７．９２％であった。
他方、上記実験において、補完ブロックを形成しないときの精度は９４．７９％であった。
検査対象：ゴム製品（長径約４cm）
カメラの解像度：２０４８ｘ１５３６
グリッドの数（ｍ＝１３、ｎ＝１０）
処理対象ブロック：（ｍ＝２、ｎ＝２）
補完ブロック：図６のように３つを形成
教師データの数 （正＝５，０００、誤＝１，０００）
ＡＩソフト：テクムズ社 ＤＥＥＰＳ ＡＩ Ｉｎｓｐｅｃｔｉｏｎ
ＰＣ：ドスパラ社製ＢＴＯパソコン（Ｃｏｒｅ−ｉ９−９９４０Ｘ，メモリ６４ＧＢ，ＧＰＵ：Ｎｖｉｄｉａ社製 ＧｅＦｏｒｃｅ ＲＴＸ ２０８０Ｔｉ）
検査対象： 正常品２２枚、異常品７４枚
欠陥の見落としや誤って欠陥と判断した、いわゆる精度は９７．９２％であった。
他方、上記実験において、補完ブロックを形成しないときの精度は９４．７９％であった。
以上の結果を踏まえ、本発明は次のように敷衍することができる。
背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する。
検査対象品の欠陥検出方法。
背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する。
検査対象品の欠陥検出方法。
この発明は、上記発明の実施形態の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。
１…欠陥検出装置
３…カメラ
５…原画像分割部
７…有効領域特定部
８…処理対象ブロック特定部
９…主処理対象ブロック特定部
１０…ブロック加工形成部
１３…欠陥特定部
１５…ブロックデータ保存部
２１…原画像データ保存部
２３…検査結果作成
１３１…ＡＩ処理部
３…カメラ
５…原画像分割部
７…有効領域特定部
８…処理対象ブロック特定部
９…主処理対象ブロック特定部
１０…ブロック加工形成部
１３…欠陥特定部
１５…ブロックデータ保存部
２１…原画像データ保存部
２３…検査結果作成
１３１…ＡＩ処理部
Claims (18)
- 背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成する第１補完ブロック形成ステップと、
記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する第２補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出方法。 - 前記検査結果作成ステップでは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換され欠陥において、確率の最も高いものを選択する、請求項１に記載の方法。
- 前記検査結果作成ステップでは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成する、請求項１に記載の方法。
- 前記第１補完ブロック形成ステップでは前記第１補完ブロックを回転させ、前記第２補完ブロック形成ステップでは前記第２補完ブロックを回転させる請求項１〜３のいずれかに記載の方法。
- 前記処理対象ブロック特定ステップにおいて、ｍ、ｎ＝２のとき、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、それぞれ得られた回転補完ブロックに対して前記欠陥特定ステップを実行する、請求項４に記載の方法。
- 背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出方法。 - 背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
前記処理対象ブロック特定部は、
前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定部と、
前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成し、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する補完ブロック形成部と、を備え、
前記欠陥特定部は、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を実行し、
前記座標変換部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出装置。 - 前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択する、請求項７に記載の装置。
- 前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成する、請求項７に記載の装置。
- 前記補完ブロック形成部は、前記第１補完ブロック及び前記第２補完ブロックを回転させる、請求項７〜９のいずれかに記載の装置。
- 処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部は、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
前記欠陥特定部は、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定する、請求項１０に記載の装置。 - 背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
前記処理対象ブロック特定部は、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定部と、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成部と、を備え、
前記欠陥特定部は、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を実行し、
前記座標変換部は、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出装置。 - 背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
前記主処理対象ブロック特定部に、前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定させ、
前記補完ブロック形成部に、前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成させ、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成させ、
前記欠陥特定部に
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を実行させ、
前記座標変換部に、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる、コンピュータプログラム。 - 前記検査結果作成部に、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択させる、請求項１３に記載のプログラム。
- 前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥において、欠陥座標のアンド集合若しくはオア集合を作成させる、請求項１３に記載のプログラム。
- 前記補完ブロック形成部に、前記第１補完ブロック及び前記第２補完ブロックを回転させる、請求項１３〜１５に記載のプログラム。
- 処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部に、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
前記欠陥特定部に、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定させる、
請求項１６に記載のプログラム。 - 背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
前記主処理対象ブロック特定部に前記処理対象ブロックを特定させ、
前記補完ブロック形成部に、前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成させ
前記欠陥特定部に
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を実行させ、
前記座標変換部に、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる、
コンピュータ用のプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019131324A JP6703672B1 (ja) | 2019-07-16 | 2019-07-16 | 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム |
| PCT/JP2020/027584 WO2021010430A1 (ja) | 2019-07-16 | 2020-07-16 | 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019131324A JP6703672B1 (ja) | 2019-07-16 | 2019-07-16 | 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6703672B1 JP6703672B1 (ja) | 2020-06-03 |
| JP2021015099A true JP2021015099A (ja) | 2021-02-12 |
Family
ID=70858131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019131324A Expired - Fee Related JP6703672B1 (ja) | 2019-07-16 | 2019-07-16 | 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6703672B1 (ja) |
| WO (1) | WO2021010430A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631197B (zh) * | 2022-12-21 | 2023-03-17 | 中科慧远视觉技术(北京)有限公司 | 一种图像处理方法、装置、介质、设备及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08152309A (ja) * | 1994-11-30 | 1996-06-11 | Dainippon Screen Mfg Co Ltd | パターン欠陥検査装置 |
| JP2005339180A (ja) * | 2004-05-26 | 2005-12-08 | Matsushita Electric Works Ltd | 画像処理方法 |
| JP4657869B2 (ja) * | 2005-09-27 | 2011-03-23 | シャープ株式会社 | 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体 |
| WO2013118305A1 (ja) * | 2012-02-10 | 2013-08-15 | シャープ株式会社 | 画像生成装置、画像生成方法、および画像生成プログラムを記録したコンピュータ読取り可能な記録媒体 |
| JP2017166929A (ja) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | シート状の被検査体の欠陥検査装置、欠陥検査方法及び欠陥検査システム |
| JP2019114927A (ja) * | 2017-12-22 | 2019-07-11 | ブラザー工業株式会社 | 画像処理装置、コンピュータプログラム、および、画像処理方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010139317A (ja) * | 2008-12-10 | 2010-06-24 | Mitsubishi Materials Corp | 軸物工具表面の欠陥検査方法および装置 |
| WO2018235266A1 (ja) * | 2017-06-23 | 2018-12-27 | 株式会社Ｒｉｓｔ | 検査装置、検査方法及び検査プログラム |
| JP6939186B2 (ja) * | 2017-07-25 | 2021-09-22 | 住友電気工業株式会社 | 判定装置、判定方法および判定プログラム |
-
2019
- 2019-07-16 JP JP2019131324A patent/JP6703672B1/ja not_active Expired - Fee Related
-
2020
- 2020-07-16 WO PCT/JP2020/027584 patent/WO2021010430A1/ja active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08152309A (ja) * | 1994-11-30 | 1996-06-11 | Dainippon Screen Mfg Co Ltd | パターン欠陥検査装置 |
| JP2005339180A (ja) * | 2004-05-26 | 2005-12-08 | Matsushita Electric Works Ltd | 画像処理方法 |
| JP4657869B2 (ja) * | 2005-09-27 | 2011-03-23 | シャープ株式会社 | 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体 |
| WO2013118305A1 (ja) * | 2012-02-10 | 2013-08-15 | シャープ株式会社 | 画像生成装置、画像生成方法、および画像生成プログラムを記録したコンピュータ読取り可能な記録媒体 |
| JP2017166929A (ja) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | シート状の被検査体の欠陥検査装置、欠陥検査方法及び欠陥検査システム |
| JP2019114927A (ja) * | 2017-12-22 | 2019-07-11 | ブラザー工業株式会社 | 画像処理装置、コンピュータプログラム、および、画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6703672B1 (ja) | 2020-06-03 |
| WO2021010430A1 (ja) | 2021-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019117065A1 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
| EP3742113B1 (en) | System and method for marking images for three-dimensional image generation | |
| KR20230124713A (ko) | 결함 검출 방법, 장치 및 시스템 | |
| JP2018511874A (ja) | ３次元モデリング方法及び装置 | |
| CN111951376A (zh) | 融合结构光和光度学的三维对象重建方法及终端设备 | |
| JP2016110290A (ja) | 情報処理装置及び情報処理方法 | |
| CN113469971B (zh) | 一种图像匹配方法及检测装置、存储介质 | |
| WO2021010430A1 (ja) | 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム | |
| CN110763706A (zh) | 分析晶体缺陷的系统和方法 | |
| CN115482186A (zh) | 瑕疵检测方法、电子设备及存储介质 | |
| TW201911230A (zh) | 監控方法、計算裝置及電腦可讀存儲介質 | |
| JP2002140694A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
| Akhyar et al. | A beneficial dual transformation approach for deep learning networks used in steel surface defect detection | |
| CN117372424A (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
| CN107256540A (zh) | 图像修复方法、装置及三维重建系统 | |
| WO2022254854A1 (ja) | ３次元計測装置 | |
| CN107480710B (zh) | 特征点匹配结果处理方法和装置 | |
| CN112894154B (zh) | 激光打标方法及装置 | |
| CN115546016A (zh) | Pcb的2d和3d图像的采集和处理方法及相关装置 | |
| Song et al. | Automatic calibration method based on improved camera calibration template | |
| US20200387354A1 (en) | Two-dimensional data matching method, device and logic circuit | |
| CN111428546B (zh) | 图像中人体标记方法、装置、电子设备及存储介质 | |
| JP5949002B2 (ja) | 画像マッチング方法、およびこの方法を用いた画像マッチング装置およびプログラム | |
| CN112634439A (zh) | 一种3d信息展示方法及装置 | |
| CN111127422B (zh) | 图像标注方法、装置、系统及主机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191225 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6703672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |