JP2023016347A - 異常検査システム、異常検査方法及びプログラム - Google Patents

異常検査システム、異常検査方法及びプログラム Download PDF

Info

Publication number
JP2023016347A
JP2023016347A JP2021120603A JP2021120603A JP2023016347A JP 2023016347 A JP2023016347 A JP 2023016347A JP 2021120603 A JP2021120603 A JP 2021120603A JP 2021120603 A JP2021120603 A JP 2021120603A JP 2023016347 A JP2023016347 A JP 2023016347A
Authority
JP
Japan
Prior art keywords
abnormality
inspection
image
image data
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021120603A
Other languages
English (en)
Inventor
晃裕 梶野
Akihiro Kajino
遥 田井
Haruka TAI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021120603A priority Critical patent/JP2023016347A/ja
Priority to US17/850,151 priority patent/US20230028335A1/en
Priority to CN202210793218.1A priority patent/CN115700749A/zh
Publication of JP2023016347A publication Critical patent/JP2023016347A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00Testing of machine parts
    • G01M13/02Gearings; Transmission mechanisms
    • G01M13/025Test-benches with rotational drive means and loading means; Load or drive simulation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4188Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by CIM planning or realisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】部品の異常を正確に検出することが可能な異常検査システム、異常検査方法及びプログラムを提供すること。【解決手段】一実施形態にかかる異常検査システムS1は、連続した複数の撮像データのそれぞれ異なる領域に部品の同一箇所が含まれるように、部品の撮像データを取得する画像取得部244と、連続する複数の撮像データにおける異常の有無を検出し、複数の撮像データ全てにおいて異常が検出された場合に部品が異常であると判定する判定部245を備える。【選択図】図3A

Description

本発明は異常検査システム、異常検査方法及びプログラムに関する。
工業用部品は、その生産工程において低品質な部品の出荷を防ぐため、チェックがなされる必要がある。例えば、特許文献1には、機械学習によって学習された学習済みモデルを用いて、部品の仕様分類を判定する技術が記載されている。
特開2020-149578号公報
一例として、部品を検査する検査装置は、部品を撮影し、その撮像データを解析することで部品表面の異常を判定することができる。しかしながら、検査装置は、液滴やブラシ跡といった、実質的には部品の異常とはいえない部品表面の箇所についても異常であると誤検出する可能性があった。
本発明は、このような問題を解決するためのものであり、部品の異常を正確に検出することが可能な異常検査システム、異常検査方法及びプログラムを提供するものである。
本発明の例示的な一態様に係る異常検査システムは、連続した複数の撮像データのそれぞれ異なる領域に部品の同一箇所が含まれるように、部品の撮像データを取得する取得部と、連続する複数の撮像データにおける異常の有無を検出し、複数の撮像データ全てにおいて異常が検出された場合に部品が異常であると判定する判定部を備える。異常検査システムは、部品の同一箇所が異なる状態で撮影された複数の撮像データに関する検出結果で部品の異常を判定するため、1の撮像データに関する検出結果に基づいて判定する場合と比較して、部品の異常を正確に検出することができる。
また、上記異常検査システムにおいて、判定部は、部品の撮像データを教師データとして用いることで学習された第1学習モデルに、連続する複数の撮像データを入力することで異常の有無を検出しても良い。異常検査システムは、学習済の学習モデルで異常を検出するため、異常の有無をより高精度に判定できる。
また、上記異常検査システムにおいて、判定部は、取得部により取得された1の撮像データを第1学習モデルに入力し、1の撮像データにおいて異常が検出されたことを第1学習モデルの出力結果から判定したときに、1の撮像データと連続して撮像された他の撮像データを第1学習モデルに入力することで、複数の撮像データ全てにおける異常の有無を検出しても良い。異常検査システムは、最初に1の撮像データを用いて第1学習モデルで判定を実行した結果、異常がない場合にはその撮像データについてこれ以上の処理を実行しないため、不要な処理を抑制し、検査をより効率的なものとすることができる。
また、上記異常検査システムにおいて、第1学習モデルは、部品の外観上の異常の種別を出力結果とするモデルであり、判定部は、連続する複数の撮像データにおける第1学習モデルの出力結果が示す部品の外観上の異常の種別に応じて、部品の異常の有無を判定しても良い。異常検査システムは、外観上異常がある部品であっても、部品の実質的な品質に異常がない部品を異常であると誤検出することを抑制することができる。つまり、異常検査システムは、過検出を抑制することができる。
また、上記異常検査システムにおいて、判定部は、部品の撮像データを教師データとして用いることで学習された、第1学習モデルと異なる第2学習モデルに、取得部により取得された撮像データを入力することで異常の疑いの有無を判定し、異常の疑いがあると判定された撮像データを含む連続する複数の撮像データを第1学習モデルに入力することで異常の有無を判定しても良い。異常検査システムは、2種類の異なる学習モデルを用いて部品の異常を判定するため、異常の検査の精度を高めることができる。
また、上記異常検査システムにおいて、判定部は、取得部により取得された1の撮像データを第2学習モデルに入力し、1の撮像データにおいて外観上の異常が検出されたことを第2学習モデルの出力結果から判定したときに、1の撮像データと連続して撮像された他の撮像データを第2学習モデルに入力し、他の撮像データにおいても外観上の異常が検出された場合に、異常の疑いがあることを判定しても良い。異常検査システムは、最初に1の撮像データを用いて第2学習モデルで判定を実行した結果、異常がない場合にはその撮像データについてこれ以上の処理を実行しないため、不要な処理を抑制し、検査をより効率的なものとすることができる。
また、上記異常検査システムにおいて、部品の同一箇所が、少なくとも連続した3つの撮像データに含まれるように、取得部は部品の撮像データを取得しても良い。異常検査システムは、部品の同一箇所が画像中の異なる場所に分散された3つ以上の撮像データを用いた検出結果で部品の異常を判定する。したがって、検査において、光の照射度合いといった画像の特性に伴うノイズを抑制することができるため、カム部の異常をより正確に検出することができる。
また、上記異常検査システムにおいて、取得部は、部品を軸支して回転させる回転機構によって部品が回転された状態で、部品の曲面部の撮像データを取得しても良い。これにより、異常検査システムは、部品の連続した撮像データを効率的に取得することができるため、検査全体にかかる時間を短縮することができる。
本発明の例示的な一態様に係る異常検査方法は、連続した複数の撮像データのそれぞれ異なる領域に部品の同一箇所が含まれるように、部品の撮像データを取得する取得ステップと、連続する複数の撮像データにおける異常の有無を検出し、複数の撮像データ全てにおいて異常が検出された場合に部品が異常であると判定する判定ステップを異常検査システムが実行するものである。これにより、異常検査システムは、部品の同一箇所が異なる状態で撮影された複数の撮像データに関する検出結果で部品の異常を判定するため、1の撮像データに関する検出結果に基づいて判定する場合と比較して、部品の異常を正確に検出することができる。
本発明の例示的な一態様に係るプログラムは、連続した複数の撮像データのそれぞれ異なる領域に部品の同一箇所が含まれるように、部品の撮像データを取得する取得ステップと、連続する複数の撮像データにおける異常の有無を検出し、複数の撮像データ全てにおいて異常が検出された場合に部品が異常であると判定する判定ステップをコンピュータに実行させるものである。これにより、コンピュータは、部品の同一箇所が異なる状態で撮影された複数の撮像データに関する検出結果で部品の異常を判定するため、部品の異常を正確に検出することができる。
本発明により、部品の異常を正確に検出することが可能な異常検査システム、異常検査方法及びプログラムを提供することができる。
実施の形態1にかかる異常検査システムの一例を示すブロック図である。 実施の形態1にかかる異常検査システムの検査装置の一例を示す詳細図である。 実施の形態1にかかる検査対象部品の一例を示す図である。 実施の形態1にかかるカム部、カム部検査用照明及びカム部検査用カメラの位置関係の一例を示す模式図である。 実施の形態1において、タイミング(1)で撮影されたカム部の画像を示す図である。 実施の形態1において、タイミング(2)で撮影されたカム部の画像を示す図である。 実施の形態1において、タイミング(3)で撮影されたカム部の画像を示す図である。 実施の形態1において、実際に撮影されたカム部表面の鋳巣を示す画像である。 実施の形態1において、実際に撮影されたカム部表面の液滴を示す画像である。 実施の形態1にかかる制御部の一例を示すブロック図である。 実施の形態1にかかる検査部と学習モデルとの関係を示す模式図である。 実施の形態1にかかる画像切り取りの例を示す模式図である。 実施の形態1にかかる異常検査システムが、カム部の検査を実行するときの処理例を示すフローチャートである。 実施の形態1にかかる異常検査システムが、カム部の検査を実行するときの処理例を示すフローチャートである。 実施の形態1にかかる異常検査システムが、カム部の検査を実行するときの処理例を示すフローチャートである。
実施の形態1
以下、図面を参照して本発明の実施の形態について説明する。
<異常検査システム>
図1は、実施の形態にかかる異常検査システムを説明するための図である。図1に示すように、本実施の形態にかかる異常検査システムS1は、検査装置10及び情報処理装置20を備える。本実施の形態にかかる異常検査システムS1は、ユーザが情報処理装置20を操作することにより、検査対象部品の表面を検査装置10のカメラで撮像させて、その表面に異常があるか否かを情報処理装置20で検査させるものである。この例において、検査対象部品はカムシャフトである。以下、検査装置10及び情報処理装置20の詳細について説明する。
検査装置10は、カム部検査用照明11、カム部検査用カメラ12、ジャーナル部検査用照明13、ジャーナル部検査用カメラ14、回転モータ15を有する。
図2Aは、検査装置10の一例を示す詳細図であり、この図を用いて、検査装置10の各構成要素を説明する。カム部検査用照明11としては、検査対象部品Wのフロント側にカム部検査用照明11A、そのリア側にカム部検査用照明11Bが設けられており、情報処理装置20は、検査対象部品Wのカム部を検査する際に、それぞれの照明を点灯させる。カム部検査用カメラ12としては、検査対象部品Wのフロント側からリア側にかけて、カム部検査用カメラ12A-12Dが設けられている。各カム部検査用カメラ12は、情報処理装置20の制御により、カム部検査用照明11が光を照射したカム部の領域を連続して複数回撮影することによって、カム部の撮像データ(画像)を撮影する。
ジャーナル部検査用照明13は、情報処理装置20の制御によって、検査対象部品Wのジャーナル部検査がなされる際に点灯される。ジャーナル部検査用カメラ14としては、検査対象部品Wのフロント側からリア側にかけて、ジャーナル部検査用カメラ14A-14Dが設けられている。各ジャーナル部検査用カメラ14は、情報処理装置20の制御により、ジャーナル部検査用照明13が光を照射したジャーナル部の領域を連続して複数回撮影することによってジャーナル部の撮像データを撮影する。なお、カム部検査用カメラ12及びジャーナル部検査用カメラ14は、カメラの撮像素子が面状(すなわち、縦横に複数の撮像素子がある)となるように設けられる、いわゆるエリアカメラである。
図2Bは、検査対象部品Wとしてのカムシャフトを拡大した図である。このカムシャフトは、8個のカム部C1-C8と、4個のジャーナル部J1-J4を有する。カム部検査用照明11は、カム部C1-C8に光を照射し、カム部検査用カメラ12は、その照射された領域を撮影する。ジャーナル部検査用照明13は、ジャーナル部J1-J4に光を照射し、ジャーナル部検査用カメラ14は、その照射された領域を撮影する。
図2Cは、カム部C1、カム部検査用照明11A及びカム部検査用カメラ12Aの位置関係の一例を示す模式図である。カム部検査用照明11A及びカム部検査用カメラ12Aは、それぞれの照明及びカメラの正面部が同一線上に配置され、その延長線上にカム部C1が配置されている。つまり、カム部検査用照明11A及びカム部検査用カメラ12Aは、カム部C1に対して同じ姿勢(同位相)となるように配置されている。カム部検査用照明11Aは、カム部C1に対して光を照射する。カム部検査用カメラ12Aは、カム部の回転方向を撮影するための画角としてθを有し、カム部において撮影領域RCを撮影する。カム部C1だけでなく、他のカム部に対しても、カム部検査用照明11A及びカム部検査用カメラ12Aは同様の位置関係で配置され、同様にカム部の所定の撮影領域を撮影することができる。また、カム部検査用照明11B及びカム部検査用カメラ12Bも、各カム部に対して、それぞれカム部検査用照明11A及びカム部検査用カメラ12Aと同じ位置関係で配置され、同様にカム部の所定の撮影領域を撮影することができる。
図2Aに戻り、説明を続ける。回転モータ15は、検査対象部品Wのフロント側に設けられたクランプFCとリア側に設けられたクランプRCとともに、検査対象部品Wのシャフトを軸支して回転させる回転機構を構成する。ユーザが検査対象部品Wの両端をクランプFCとクランプRCで固定させることにより、検査対象部品Wを回転可能な状態とした後で、回転モータ15は情報処理装置20の制御によって検査対象部品Wを回転させる。
詳細には、情報処理装置20は、検査対象部品Wのカム部の検査を実行する際に回転モータ15を回転させ、カム部検査用照明11が点灯した状態で検査対象部品Wが1回転する間に、カム部検査用カメラ12を制御して、カム部を連続して複数回撮影させる。これにより、カム部検査用カメラ12は、1回の撮影毎にカム部の異なる領域を撮影することになる。なお、情報処理装置20は、カム部検査用カメラ12が複数回の撮影をすることで検査対象部品Wのカム部の表面全体を撮影するように、カム部検査用カメラ12の撮影間隔並びに撮影回数(撮影時間)、及び回転モータ15の回転速度といった撮影に関するパラメータを決定する。
以上に示したカム部の撮影後、情報処理装置20は、カム部検査用照明11を消灯させ、代わりにジャーナル部検査用照明13を点灯させる。そして、情報処理装置20は、回転モータ15を回転させ、検査対象部品Wが1回転する間に、ジャーナル部検査用カメラ14を制御して、ジャーナル部を連続して複数回撮影させる。これにより、ジャーナル部検査用カメラ14は、1回の撮影毎にジャーナル部の異なる領域を撮影することになる。
この実施の形態において、情報処理装置20は、カム部検査用カメラ12の連続した撮影において、カム部の同一箇所が連続した3つの撮像データに映るように、上述の撮影に関するパラメータを決定する。
図2D-2Fは、連続したタイミング(1)~(3)でそれぞれ撮影されたカム部の画像を示す。各画像は、図2Cに示すように光が照射された領域RCが撮影されたものである。図2Dで示すタイミング(1)において、カム部の所定の箇所SPは画像IMの上端部に位置する。このとき、カム部は下方向に回転している。そのため、タイミング(1)から時間が経過したタイミング(2)では、図2Eに示す通り、所定の箇所SPは画像IMの下方向に移動する。図2Eでは、所定の箇所SPは、画像IMの中央部の領域に位置する。さらにタイミング(2)から時間が経過したタイミング(3)では、図2Fに示す通り、所定の箇所SPは画像IMのさらに下方向に移動する。図2Fでは、所定の箇所SPは、画像IMの下端部に位置する。
このようにカム部検査用カメラ12がカム部を撮影する場合、撮影対象であるカム部表面が曲面を構成する。そのため、図2D-2Fでは、カム部検査用照明11から所定の箇所SPに照射され、所定の箇所SPで反射されてカム部検査用カメラ12に入射する光の状態が、それぞれ異なる。これに伴い、出願人は以下のような課題を発見した。
図2Gは、実際に撮影された、カム部表面に鋳巣がある領域RCの画像である。鋳巣は、カム部表面に生じた欠陥(実質的な異常)の一例である。図2Gの上段、中段、下段の画像は、それぞれ図2D-2Fに示したタイミング(1)、(2)、(3)に対応する。図2Gの通り、各タイミングにおいて、鋳巣は明確な状態で撮像されている。これは、鋳巣がカム部表面においてある程度の深さを有する空洞を形成するため、撮影場所が異なっても、鋳巣以外の箇所とは異なる光の反射をするためである。
図2Hは、実際に撮影された、カム部表面に液滴(例えば洗浄液)がある領域RCの画像である。液滴は、カム部表面に生じた、外観上の異常であるが実質的な異常ではない事象(以下、偽異常とも記載)の一例である。図2Fの上段、中段、下段の画像も、それぞれ図2D-2Fに示したタイミング(1)、(2)、(3)に対応する。図2Fを参照すると、タイミング(2)において撮影された画像(すなわち、図2Cにおいて、カム部検査用カメラ12の正面に液滴がある場合の画像)では、液滴はほとんど認識できない状態で撮像されている。しかしながら、タイミング(1)及び(3)において撮影された画像では、液滴が認識できる状態で撮像されている。これは、カム部検査用照明11、カム部検査用カメラ12及び領域RCの位置関係によって、画像の上端部及び下端部に対応するカム部表面の領域が、光が当たりにくい陰の領域となることが理由である。そのため、タイミング(1)及び(3)では、液滴は図2Gに示した鋳巣と類似した形状及び明暗部を有する模様として撮影される。つまり、画像の上端部及び下端部に液滴が映った画像を用いて検査を行うことで、過検出がなされる可能性がある。
なお、鋳巣以外の欠陥として、カム部表面にキズが存在する場合が考えられる。このような場合にも、そのキズは撮影タイミングを問わず、明確な状態で撮像される。一方、液滴以外の偽異常として、カム部表面にブラシによるバリ取りの跡が存在する場合が考えられる。この模様は、図2Hの通り、タイミング(2)においてはほとんど認識できない状態で撮像されるが、タイミング(1)及び(3)においては、線状のキズと類似した形状及び明暗部を有する模様として撮影され得る。この場合も、画像の上端部及び下端部にバリ取りの跡が映った画像を用いて検査を行うと、過検出がなされる可能性がある。
後述の通り、本発明では、このような過検出を抑制するように情報処理装置20の検査が行われる。情報処理装置20は、以上のようにして得られたカム部及びジャーナル部の画像を取得し、後述の処理を実行することで各画像に異常が存在するか否かを判定する。特に、この実施の形態では、カム部の異常を検出する判定処理について説明する。
次に、情報処理装置20について説明する。情報処理装置20は、DB(Database)21、表示パネル22、入力部23及び制御部24を有する。
DB21には、検査に必要な3種類の学習モデルが格納されている。この学習モデルは、ディープラーニング等の機械学習により、事前に画像を教師データとして学習がなされたAI(Artificial Intelligence)モデルである。この学習モデルの詳細については後述する。また、DB21には、後述の検査部における判定に用いられる全ての閾値が格納されている。
DB21は、例えばフラッシュメモリ、メモリーカード、HDD(Hard Disk Drive)、光ディスクドライブ等の記憶装置で構成されているが、記憶装置の種類はこれに限られない。また、DB21は情報処理装置20の外部に設けられてもよく、この場合、情報処理装置20は図示しない情報送受信部を介してDB21へ接続し、DB21に格納されたデータを取得してもよい。
表示パネル22は、情報処理装置20の異常の有無の判定結果をユーザが見られるようにするためのインターフェイスである。入力部23は、ユーザが情報処理装置20に対して、検査の開始や検査の設定に関する指示を入力するインターフェイスである。
制御部24は、カム部検査用照明11、カム部検査用カメラ12、ジャーナル部検査用照明13、ジャーナル部検査用カメラ14及び回転モータ15を上述の通り制御して、検査対象部品Wのカム部及びジャーナル部を撮影させる。そして、制御部24は、カム部検査用カメラ12及びジャーナル部検査用カメラ14から、それぞれ撮像された画像を取得し、以下に示す通り、検査を実行する。
図3Aは、制御部24の構成を説明するためのブロック図である。制御部24は、メモリ241、I/O(Input/Output)部242及び情報処理部243を備える。以下、制御部24の各部について説明する。
メモリ241は、揮発性メモリや不揮発性メモリ、またはそれらの組み合わせで構成される。メモリ241は、1個に限られず、複数設けられてもよい。なお、揮発性メモリは、例えば、DRAM (Dynamic Random Access Memory)、SRAM (Static Random Access Memory)等のRAM (Random Access Memory)であってもよい。不揮発性メモリは、例えば、PROM (Programmable ROM)、EPROM (Erasable Programmable Read Only Memory)、フラッシュメモリであってもよい。
このメモリ241は、1以上の命令を格納するために使用される。ここで、1以上の命令は、ソフトウェアモジュール群としてメモリ241に格納される。情報処理部243は、1以上の命令をメモリ241から読み出して実行することで、以下の処理を行うことができる。
I/O部242は、制御部24の外部と情報の入出力を実行するハードウェアインタフェースである。この実施形態では、制御部24はカム部検査用照明11、カム部検査用カメラ12、ジャーナル部検査用照明13、ジャーナル部検査用カメラ14及び回転モータ15に接続されており、これらとI/O部242を介して情報の入出力を適宜行う。
情報処理部243は、画像を解析するための任意のプロセッサ等で構成される。この例では、プロセッサとして、画像処理に有用なGPU(Graphics Processing Unit)が情報処理部243に含まれている。ただし、情報処理部243は、プロセッサとして、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、FPGA(Field-Programmable Gate Array)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)を有しても良い。なお、上述のメモリ241は、情報処理部243の外部に設けられるものに加えて、情報処理部243に内蔵されているものを含んでも良い。
情報処理部243は、メモリ241からソフトウェア(コンピュータプログラム)を読み出して実行することで、画像取得部244及び判定部245等の機能を実現する。判定部245は、さらに細分化された第1検査部246及び第2検査部247の機能に分けることができる。
画像取得部244は、I/O部242を介して、カム部検査用カメラ12及びジャーナル部検査用カメラ14から、撮影された画像を取得する。取得したカム部の画像は、第1検査部246に出力される。
図3Bは、第1検査部246並びに第2検査部247、及び、DB21に格納されており、第1検査部246並びに第2検査部247がそれぞれアクセスして検査に用いる2種類の学習モデルを示したものである。以下、図3Bを参照しながら、各検査部について詳細に説明する。
第1検査部246は、カム部検査用カメラ12が撮影したカム部の画像(第1撮像データ)を第1学習モデルM1に対して入力し、第1学習モデルM1から出力された結果に基づいて、カム部に異常の疑いがあるか否かを判定する。
ここで、第1学習モデルM1は、カム部の画像が教師データとして用いられて学習されたものであり、画像が入力されたときの出力結果として、カム部の外観上の異常の有無に関する計算値を出力結果とするモデルである。詳細な例として、第1学習モデルM1は、入力された画像に関してセマンティックセグメンテーション処理を実行することで、その画像における第1の判定値を算出して出力する。この第1の判定値は、画像に映されたカム部の正常度を表すものであり、大きい値であるほど、画像におけるカム部の表面がクリーンな状態であることを示し、小さい値であるほど、その表面に打痕等のキズ、又は鋳巣(shrinkage cavity)等の欠陥に似ている模様が映っていることを示す。第1検査部246は、算出された第1の判定値とDB21に格納された閾値TH1とを比較し、第1の判定値が閾値TH1以下となる画像を、カム部に外観上の異常がある画像と判定する。一方、第1検査部246は、第1の判定値が閾値TH1よりも大きい画像を、カム部に外観上の異常がない画像と判定する。
なお、第1学習モデルM1は、画像を複数の区画に分割し、その区画毎に第1の判定値を算出しても良い。この場合、第1検査部246は、画像の少なくとも1つの区画における第1の判定値が閾値TH1以下である場合に、カム部に外観上の異常がある画像と判定しても良い。又は、第1検査部246は、画像において複数の閾値以上の数の区画における第1の判定値が閾値TH1以下である場合に、カム部に外観上の異常がある画像と判定しても良い。
外観上の異常とは、カム部の表面がクリーンな状態でないことをいい、例えば、表面に線や丸などの模様があることや、表面に明度が異なる箇所がある(例えば周囲と比べて暗い箇所がある)ことを視認できることを示す。カム部表面に丸などの模様がある場合や、表面に暗い箇所がある場合、表面に鋳巣が生じている可能性があり、表面に線の模様がある場合、表面にキズが生じている可能性がある。キズや鋳巣は、検査対象部品Wの欠陥(実質的な異常)を意味するものである。しかしながら、カム部表面に丸などの模様があっても、その模様は表面上の液滴由来の可能性もある。また、面に線の模様があっても、その模様は、バリ取り用のブラシの跡、検査対象部品Wのチェック跡、又は砥石加工の際に生じた砥石目である可能性もある。これらの模様は、検査対象部品Wの製造段階による加工によって自然に生じるものであり、検査対象部品Wの欠陥ではない。そのため、このような偽異常の模様を有する画像を異常検査システムが異常と判定してしまうという、過検出の問題が生じる可能性がある。
この実施形態では、入力対象である1枚の画像においてカム部に外観上の異常があると判定された場合、第1検査部246は、その1枚の画像と連続して撮像された2枚の画像を第1学習モデルM1に入力する。ここで、第1検査部246は、1枚の画像において外観上の異常があると判定された領域が画像のどの場所にあるかを判定し、その場所に応じて、その外観上の異常が映っている他の2枚の画像を、第1学習モデルM1に入力する画像として選択する。
この例では、画像全体の領域を上下方向に3分の1ずつ分割する領域として、上領域、中央領域及び下領域を定義する。そして、図2D-2Fで示した通り、カム部の回転方向が、画面の上から下に向かう方向であるとする。この場合に、外観上の異常が映る箇所が画像の上領域であるとすると、第1検査部246は、判定対象の画像の撮影タイミングの直後及びさらにその直後に撮影された画像を選択する。また、外観上の異常が映る箇所が画像の中央領域であるとすると、第1検査部246は、判定対象の画像の撮影タイミングの直前及び直後に撮影された画像を選択する。そして、外観上の異常が映る箇所が画像の下領域であるとすると、第1検査部246は、判定対象の画像の撮影タイミングの直前及びさらにその直前に撮影された画像を選択する。
第1検査部246は、この2枚の画像について算出された第1の判定値とDB21に格納された閾値TH1とを比較する。上述と同様、第1学習モデルM1は、各画像を複数の区画に分割し、その区画毎に第1の判定値を算出しても良い。そして、2枚の画像ともに第1の判定値が閾値TH1以下となる場合(すなわち、2枚の画像の両方ともに外観上の異常が検出された場合)に、第1検査部246は、最初に判定した画像に異常の疑いがあることを判定する。異常の疑いがあると判定された画像は、第2検査部247による再度の検査の対象となる。この再度の検査によって画像に欠陥が映っていると判定された場合に、はじめて検査対象部品Wが異常と判定されることになる。なお、異常の疑いがないと判定された画像は、第2検査部247による検査の対象外となる。
第2検査部247は、異常の疑いがあると判定されたカム部の画像(第2撮像データ)全体を第2学習モデルM2に対して入力する。なお、第1学習モデルM1が、画像を複数の区画に分割し、その区画毎に第1の判定値を算出するモデルである場合に、第2検査部247は、第1の判定値が閾値TH1以下である画像の区画を切り取って、その切り取った区画の画像だけを第2学習モデルM2に対して入力しても良い。
図3Cは、第2検査部247が画像を切り取る処理の一例を示した図である。カム部検査用カメラ12が撮影したオリジナルの画像IMにおいて、異常の疑いがある模様DAが存在することにより、第1検査部246は画像IMの区画DAにおける第1の判定値が閾値TH1以下であると判定する。このとき、第2検査部247は、画像IMから区画DAを切り取り、区画DAの画像だけを第2学習モデルM2に対して入力することができる。
第2学習モデルM2は、以上のようにして入力された画像に基づいた計算結果を出力する。第2検査部247は、第2学習モデルM2からの出力結果に基づいて、カム部に異常があるか否かを判定する。
ここで、第2学習モデルM2は、第1学習モデルM1と異なる種類のAIモデルである。第2学習モデルM2は、カム部の画像が教師データとして用いられて学習されたものであり、画像が入力されたときの出力結果として、カム部の外観上の異常の種別に関する計算値を出力結果とするモデルである。詳細には、第2学習モデルM2は、入力された画像に関してクラシフィケーション処理を実行し、入力画像における第2の判定値を算出して出力する。この第2の判定値は、入力画像と、上述に記載の偽異常の模様との一致率であり、入力画像と偽異常の模様との内積を計算した場合の余弦値(cosθ)のことをいう。第2学習モデルM2は、モデル化された偽異常の模様の種類数だけ、第2の判定値を算出する。この第2の判定値が大きい値(1に近い値)であるほど、画像におけるカム部表面の模様は偽異常の模様(例えば、液滴、バリ取り用のブラシの跡、チェック跡又は砥石目の少なくともいずれかの模様)と類似し、実質的な異常がないことを示す。その一方、第2の判定値が小さい値であるほど、そのカム部表面の模様は偽異常の模様と類似していないため、その模様はキズや鋳巣等の欠陥である可能性が高いと考えられる。
第2検査部247は、算出された第2の判定値とDB21に格納された閾値TH2とを比較する。なお、閾値TH2も、モデル化された偽異常の模様の種類数だけ設定されることになる。第2検査部247は、全ての偽異常の模様の種類において、第2の判定値が閾値TH2以下となる画像を、カム部に異常がある画像と判定する。一方、第2検査部247は、少なくともいずれか1種類の偽異常の模様において、第2の判定値が閾値TH2よりも大きくなる画像を、カム部に異常がない画像と判定する。
なお、第2検査部247が、撮影されたオリジナルの画像の一部を切り取った区画の画像だけを第2学習モデルM2に対して入力した場合、第2学習モデルM2は、その区画に関して上述のクラシフィケーション処理を実行し、その区画における第2の判定値を算出して出力する。
なお、この実施形態では、入力対象である1枚の画像においてカム部に異常があると判定された場合、第2検査部247は、その1枚の画像と連続して撮像された2枚の画像を選択して、第2学習モデルM2に入力する。選択される2枚の画像は、第1検査部246が選択する2枚の画像と同じものである。入力対象である1枚の画像が切り取られた区画の画像である場合、第2検査部247は、第1検査部246が選択した2枚の画像から、第1の判定値が閾値TH1以下である区画を切り取り、切り取ることによって得られた2枚の区画の画像を第2学習モデルM2に入力する。第2検査部247は、2枚の区画の画像に関して、算出された第2の判定値とDB21に格納された閾値TH2とを比較する。この2枚の画像の両方ともに、全ての偽異常の模様の種類において、第2の判定値が閾値TH2以下となった場合(すなわち、入力された2枚の画像の両方ともに異常が検出された場合)に、第2検査部247は、カム部に異常があることを判定する。
第1検査部246及び第2検査部247は、各カム部検査用カメラ12が撮影した画像毎に、上述の処理を実行する。そして、第2検査部247においてカム部に異常があると1回も判定されなかった場合には、第2検査部247は、撮影された検査対象であるカム部に異常がないと判定する。一方、カム部に異常があると判定された画像が1回でもある場合には、第2検査部247は、カム部に異常があると判定する。ただし、第2検査部247は、カム部に異常があると判定された回数が所定の複数の閾値数以上である場合に、カム部に異常があると判定しても良い。第2検査部247は、検査対象であるカム部に異常があると判定した場合に、検査対象部品Wに異常があると判定する。
第2検査部247は、以上の判定結果を情報処理装置20の表示パネル22に表示させることができる。なお、第2検査部247は、異常があると判定したカム部を、そのカム部を撮影したカム部検査用カメラ12及びその撮影方向を特定することにより判別し、判別した結果を表示パネル22に表示しても良い。
なお、図示されないが、判定部245は、ジャーナル部検査用カメラ14が取得したジャーナル部の画像を用いてジャーナル部の検査を実行する検査部の機能を更に備えていても良い。
図4A-4Cは、異常検査システムS1がカム部の検査を実行する処理の一例を示したフローチャートであり、以下、図4A-4Cを参照して、この処理を説明する。なお、各処理の詳細については上述の通りであり、適宜説明を省略している。
まず、ユーザが入力部23を操作することにより、情報処理装置20は、検査対象部品Wのカム部の検査を検査装置10に実行させる。この検査がなされることにより、画像取得部244は、カム部検査用カメラ12が撮影した全ての画像を読み込む(ステップS11)。
第1検査部246は、読み込んだ画像の中から1枚の画像を第1学習モデルM1に対して入力する。そして、第1学習モデルM1が算出した第1の判定値が閾値TH1以下となるか否かを判定する(ステップS12)。
第1の判定値が閾値TH1以下である場合に(ステップS12のYes)、第1検査部246は、入力された画像と連続して撮像された2枚の画像を第1学習モデルM1に入力する。この2枚の画像の選定方法は、上述の通りである。そして、第1検査部246は、この2枚の画像について算出された第1の判定値と閾値TH1とを比較し、2枚の画像とも、第1の判定値が閾値TH1以下となるか否かを判定する(ステップS13)。
2枚の画像ともに第1の判定値が閾値TH1以下となる場合(ステップS13のYes)、第1検査部246は、当初判定対象となった画像に異常の疑いがあると判定する。この判定結果に応じて、第2検査部247は、当初判定対象となった画像において、第1の判定値が閾値TH1以下となる区画を切り取る(ステップS14)。そして、第2検査部247は、その切り取った区画の画像を第2学習モデルM2に対して入力する。第2検査部247は、全ての偽異常の模様の種類に関して、第2学習モデルM2が算出した第2の判定値が閾値TH2以下となるか否かを判定する(ステップS15)。
全ての偽異常の模様の種類に関して、第2の判定値が閾値TH2以下となる場合(ステップS15のYes)、第2検査部247は、入力された画像と連続して撮像された2枚の画像を第2学習モデルM2に入力する。この2枚の画像の選定方法は、上述の通りである。そして、第2検査部247は、この2枚の画像について算出された第2の判定値と閾値TH2とを比較し、2枚の画像とも、全ての偽異常の模様の種類に関して、第2の判定値が閾値TH2以下となるか否かを判定する(ステップS16)。
全ての偽異常の模様の種類に関して、2枚の画像ともに第2の判定値が閾値TH2以下となる場合(ステップS16のYes)、第2検査部247は、その画像の判定結果に基づいて、カム部に異常があると判定し、異常検査システムS1は検査処理を終了する(ステップS17)。
一方、ステップS12において、第1の判定値が閾値TH1よりも大きい場合(ステップS12のNo)、第1検査部246は、検査対象の画像が正常である(異常がない)と判定する(ステップS18)。ステップS13において、2枚の画像の少なくともいずれかにおいて、第1の判定値が閾値TH1よりも大きい場合(ステップS13のNo)にも同様の判定がなされる。
また、ステップS14において、少なくともいずれか1種類の偽異常の模様において、第2の判定値が閾値TH2よりも大きい場合にも(ステップS15のNo)、第2検査部247は、検査対象の画像が正常であると判定する(ステップS18)。ステップS16において、2枚の画像の少なくともいずれかにおいて、少なくともいずれか1種類の偽異常の模様につき、第2の判定値が閾値TH2よりも大きい場合(ステップS16のNo)にも同様の判定がなされる。
その後、第1検査部246は、ステップS11で読み込んだ全ての画像について、以上に示した判定が終了したか否かを判定する(ステップS19)。判定が終了していない画像がある場合には(ステップS19のNo)、第3検査部248は、ステップS12に戻り、未判定の画像について処理を実行する。一方、全ての画像について判定が終了した場合には(ステップS19のYes)、第1検査部246は、カム部が正常であると判定し、異常検査システムS1は検査処理を終了する(ステップS20)。
なお、以上に示したフローでは、情報処理装置20が、1つの画像について第1検査部246及び第2検査部247による検査を実行し、それを各画像について順番に実行する内容を説明した。ただし、情報処理装置20は、複数の画像(例えば読み込んだ全ての画像)について、第1検査部246による検査をまとめて実行し、その中で第1の判定値が閾値TH1以下となる画像について、第2検査部247による検査を実行するようにしても良い。
以上の説明で示したように、異常検査システムS1の画像取得部244は、連続した複数の画像のそれぞれ異なる領域に部品の同一箇所が含まれるように、カム部の画像を取得する。そして、第2検査部247(判定部245)は、連続する複数の画像における異常の有無を検出し、複数の画像全てにおいて異常が検出された場合にカム部が異常であると判定する。
図2G、2Hで示したように、カム部表面に偽異常の模様が生じた場合には、画像撮影時にその模様がある位置によって、異常検査システム側で鋳巣等の欠陥であると誤判定する(過検出)可能性がある。そして、このような過検出を抑制するために学習モデルを学習させた場合、学習モデルは逆に欠陥部位を偽異常であると誤判定してしまう可能性がある。
本発明に係る異常検査システムS1は、カム部の同一箇所が異なる状態で撮影された複数の画像に関する検出結果でカム部の異常を判定する。そのため、例えば1枚の画像の上端又は下端に偽異常の模様がある場合でも、他の画像においてその模様が画像中央に撮影されている場合には、異常検査システムS1はその画像に基づいて、偽異常の模様が異常ではないと判定することができる。したがって、異常検査システムS1は、カム部の異常を正確に検出することができる。また、曲面であるカム部の画像検査において、精度が高いが高価であるラインカメラを使わずとも、比較的安価なエリアカメラによって、前後の画像においてカム部の撮影領域が重複するように連続して画像を撮影することで、このような効果を奏することができる。そのため、異常検査システムS1の構成をより安価にすることもできる。
また、第2検査部247は、カム部の画像を教師データとして用いることで学習された 第2学習モデルM2に、連続する複数の画像を入力することで異常の有無を検出しても良い。異常検査システムは、学習済の学習モデルで異常を検出するため、異常の有無をより高精度に判定できる。
また、第2検査部247は、1枚の画像を第2学習モデルM2に入力し、その画像において異常が検出されたことを第2学習モデルM2の出力結果から判定したときに、その画像と連続して撮像された他の画像を第2学習モデルM2に入力することで、複数の画像全てにおける異常の有無を検出しても良い。異常検査システムS1は、最初に1枚の画像を用いて判定を実行した結果、異常がない場合にはその画像についてこれ以上の処理を実行しないため、不要な処理を抑制し、検査をより効率的なものとすることができる。
また、第2学習モデルM2は、カム部の外観上の異常の種別を出力結果とするモデルであり、第2検査部247は、連続する複数の画像における第2学習モデルM2の出力結果が示すカム部の外観上の異常の種別に応じて、カム部の異常の有無を判定しても良い。これにより、異常検査システムS1は、カム部に外観上異常があっても、カム部の実質的な品質に異常がないものを異常であると誤検出することを抑制することができる。
また、第1検査部246は、画像取得部244により取得された画像を第1学習モデルM1に入力することで、画像における異常の疑いの有無を判定し、第2検査部247は、異常の疑いがあると判定された画像を含む連続する画像を第2学習モデルM2に入力することで異常の有無を判定しても良い。異常検査システムS1は、2種類の異なる学習モデルを用いて部品の異常を判定するため、異常の検査の精度を高めることができる。
また、第1検査部246は、1枚の画像を第1学習モデルM1に入力し、その画像において外観上の異常が検出されたことを第1学習モデルM1の出力結果から判定したときに、その画像と連続して撮像された他の画像を第1学習モデルM1に入力する。そして、他の画像においても外観上の異常が検出された場合に、カム部に異常の疑いがあることを判定しても良い。異常検査システムは、最初に1枚の画像を用いて第1学習モデルM1で判定を実行した結果、異常がない場合にはその撮像データについてこれ以上の処理を実行しないため、不要な処理を抑制し、検査をより効率的なものとすることができる。また、第1検査部246が複数の画像を第1学習モデルM1に入力して異常の疑いを判定することで、異常の疑いと判定される画像(すなわち、第2検査部247の検査対象となる画像)を減らすことができる。第2学習モデルM2は精度が高い反面、入力画像1枚当たりの推論時間が第1学習モデルM1よりもかなり長くなるため、第2検査部247の検査対象となる画像を減らすことで、検査全体に掛かる時間を抑制することができる。
また、画像取得部244は、カム部の同一箇所が、少なくとも連続した3枚の画像に含まれるようにカム部の画像を取得しても良い。異常検査システムS1は、カム部の同一箇所が画像中の異なる場所に分散された3つ以上の画像を用いた検出結果でカム部の異常を判定する。したがって、検査において、光の照射度合いといった画像の特性に伴うノイズを抑制することができるため、カム部の異常をより正確に検出することができる。
また、画像取得部244は、カム部(検査対象部品W)を軸支して回転させる回転機構によってカム部が回転された状態で、カム部の曲面部の画像を取得しても良い。これにより、異常検査システムS1は、カム部の連続した画像を効率的に取得することができるため、検査全体にかかる時間を短縮することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、実施の形態では、第1検査部246及び第2検査部247による2段階のカム部の検査がなされることを説明したが、カム部の検査として3段階以上の検査がなされても良い。例えば、第1検査部246による検査の前後のいずれかに、第2検査部247によるものではない検査がさらになされても良い。
検査において、カム部はその表面全体が撮影されて検査されるのではなく、その一部の表面だけが撮影されて検査対象となっても良い。これはジャーナル部でも同様である。また、検査に用いられるカム部検査用カメラ12やジャーナル部検査用カメラ14の少なくともいずれかは、エリアカメラでなく、ラインカメラ等、別の種類のカメラでも良い。
実施の形態において、第1検査部246のステップS13の処理、第2検査部247のステップS16の処理のいずれか片方のみが実行されても良い。また、ステップS13又はS16において、追加で判定対象となる画像は、2枚ではなく、1枚であっても良い。例えば、ステップS13において、外観上の異常が映る箇所が画像の上領域であるとすると、第1検査部246は、判定対象の画像の撮影タイミングの直後に撮影された画像を追加で選択しても良い。同様に、外観上の異常が映る箇所が画像の下領域であるとすると、第1検査部246は、判定対象の画像の撮影タイミングの直前に撮影された画像を追加で選択しても良い。いずれの場合も、新たに選択される画像では、外観上の異常が映る箇所が画像の中央領域と想定されるため、外観上の異常が偽異常の模様である場合に、第1検査部246でそのことを正確に判定し易くなる。これにより、全体の検査をより効率的に実行することができる。
また、情報処理装置20は、カム部検査用カメラ12の連続した撮影において、カム部の同一箇所が連続した2枚、又は4枚以上の画像に映るように、上述の撮影に関する各種パラメータを決定しても良い。この場合も、ステップS13又はS16において追加で判定対象となる画像として、直前の判定対象となった画像と連続して撮影された1枚以上の画像が選択されても良い。このときに、第1検査部246又は第2検査部247は、直前の判定対象となった画像において外観上の異常があると判定された領域が含まれる全ての画像を選択しても良いし、そのうちの一部の画像を選択しても良い。例えば、第1検査部246は、ステップS12の判定対象に係る画像において、外観上の異常があると判定された領域が画像のどの場所にあるかを判定する。そして、その画像と比較して、その領域が画像の中心(過検出が避けられる撮影領域)にさらに近づいて映るような1枚以上の画像を選択しても良い。第2検査部247も、同様の処理を実行することができる。
第1検査部246及び第2検査部247による検査が実行される対象は、カム部のような形状ではなく、ジャーナル部等、真円の断面形状を有する部分であっても良い。そして、検査対象部品はカムシャフトでなく、その他の種類の部品であっても良い。この場合であっても、異常検査システムS1は、その部品の曲面又は平面を連続して撮影し、連続して撮影された画像に対して、実施の形態に記載した検査を実行することができる。
実施の形態では、検査対象部品Wが回転し、異常検査システムS1のカメラが回転中の検査対象部品Wを連続して撮影することで、画像を取得していた。しかしながら、画像を取得する方法はこれに限られない。例えば、検査対象部品が平面部を有し、異常検査システムS1の照明がその平面部に光を照射した状態でカメラがその平面部を連続して撮影する場合、撮影時に動くのは検査対象部品側であっても良いし、カメラ側であっても良い。このように、部品表面の同一箇所が含まれた画像が連続して撮影される状態となる際に、撮影時に動くのは、検査対象部品とカメラ(撮影部)のいずれの側であっても良い。いずれの場合でも、検査対象部品とカメラの位置関係が、撮影時に相対的に変化し続ける状態となるため、異常検査システムS1は、部品表面の同一箇所が含まれた画像を容易に連続して撮影することができる。
異常検査システムS1のカメラ、照明並びに検査対象部品の位置関係、及び検査対象部品の特性(例えば撮影領域が曲面であるか平面であるか、また曲面である場合はその曲率の値)によっては、画像における偽異常の模様の映り度合いが、図2Gに示したものと異なる場合がある。このような場合であっても、第1検査部246又は第2検査部247の少なくともいずれかは、ステップS13又はS16において、事前にDB21に格納された過検出が避けられる撮影領域の情報に基づき、外観上の異常があると判定された領域がその撮影領域に位置する画像を選択しても良い。このようにしても、本発明に係る課題を解決することができる。
異常検査システムS1において、実施の形態に記載の通りに検査対象部品Wのカム部の異常の有無が判定された場合に、ユーザは、実際のカム部の異常の有無、又は画像に映ったカム部の模様の種類(例えば、欠陥を示す模様、又は偽異常を示す模様の種類)を、入力部23によって情報処理装置20に入力しても良い。これにより、第1検査部246及び第2検査部247は、そのようにしてフィードバックされたデータに基づいて、第1学習モデルM1及び第2学習モデルM2の少なくともいずれかを修正することができる。
以上に説明したように、上述の実施形態における異常検査システムが有する1又は複数のプロセッサは、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む1又は複数のプログラムを実行する。この処理により、各実施の形態に記載された処理が実現できる。
プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disk(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。また、プログラムは、例えばアプリケーションとしての形態をとることもできる。
以上、実施の形態を参照して本発明を説明したが、本発明は上記によって限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
S1 異常検査システム
10 検査装置
11 カム部検査用照明 12 カム部検査用カメラ
13 ジャーナル部検査用照明 14 ジャーナル部検査用カメラ
15 回転モータ
20 情報処理装置
21 DB 22 表示パネル
23 入力部 24 制御部
241 メモリ 242 I/O部
243 情報処理部 244 画像取得部
245 判定部 246 第1検査部
247 第2検査部
M1 第1学習モデル M2 第2学習モデル

Claims (10)

  1. 連続した複数の撮像データのそれぞれ異なる領域に部品の同一箇所が含まれるように、前記部品の撮像データを取得する取得部と、
    連続する前記複数の撮像データにおける異常の有無を検出し、前記複数の撮像データ全てにおいて異常が検出された場合に前記部品が異常であると判定する判定部と、を備える
    異常検査システム。
  2. 前記判定部は、前記部品の撮像データを教師データとして用いることで学習された第1学習モデルに、連続する前記複数の撮像データを入力することで異常の有無を検出する、
    請求項1に記載の異常検査システム。
  3. 前記判定部は、前記取得部により取得された1の撮像データを前記第1学習モデルに入力し、前記1の撮像データにおいて異常が検出されたことを前記第1学習モデルの出力結果から判定したときに、前記1の撮像データと連続して撮像された他の撮像データを前記第1学習モデルに入力することで、前記複数の撮像データ全てにおける異常の有無を検出する、
    請求項2に記載の異常検査システム。
  4. 前記第1学習モデルは、前記部品の外観上の異常の種別を出力結果とするモデルであり、前記判定部は、連続する前記複数の撮像データにおける前記第1学習モデルの出力結果が示す前記部品の外観上の異常の種別に応じて、前記部品の異常の有無を判定する、
    請求項3に記載の異常検査システム。
  5. 前記判定部は、前記部品の撮像データを教師データとして用いることで学習された、前記第1学習モデルと異なる第2学習モデルに、前記取得部により取得された前記撮像データを入力することで異常の疑いの有無を判定し、異常の疑いがあると判定された撮像データを含む連続する前記複数の撮像データを前記第1学習モデルに入力することで異常の有無を判定する、
    請求項2乃至4のいずれか1項に記載の異常検査システム。
  6. 前記判定部は、前記取得部により取得された1の撮像データを前記第2学習モデルに入力し、前記1の撮像データにおいて外観上の異常が検出されたことを前記第2学習モデルの出力結果から判定したときに、前記1の撮像データと連続して撮像された他の撮像データを前記第2学習モデルに入力し、前記他の撮像データにおいても外観上の異常が検出された場合に、異常の疑いがあることを判定する、
    請求項5に記載の異常検査システム。
  7. 前記部品の同一箇所が、少なくとも連続した3つの撮像データに含まれるように、前記取得部は前記部品の撮像データを取得する、
    請求項1乃至6のいずれか1項に記載の異常検査システム。
  8. 前記取得部は、前記部品を軸支して回転させる回転機構によって前記部品が回転された状態で撮影された前記部品の曲面部の撮像データを取得する、
    請求項1乃至7のいずれか1項に記載の異常検査システム。
  9. 連続した複数の撮像データのそれぞれ異なる領域に部品の同一箇所が含まれるように、前記部品の撮像データを取得する取得ステップと、
    連続する前記複数の撮像データにおける異常の有無を検出し、前記複数の撮像データ全てにおいて異常が検出された場合に前記部品が異常であると判定する判定ステップと、
    を異常検査システムが実行する異常検査方法。
  10. 連続した複数の撮像データのそれぞれ異なる領域に部品の同一箇所が含まれるように、前記部品の撮像データを取得する取得ステップと、
    連続する前記複数の撮像データにおける異常の有無を検出し、前記複数の撮像データ全てにおいて異常が検出された場合に前記部品が異常であると判定する判定ステップと、
    をコンピュータに実行させるプログラム。
JP2021120603A 2021-07-21 2021-07-21 異常検査システム、異常検査方法及びプログラム Pending JP2023016347A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021120603A JP2023016347A (ja) 2021-07-21 2021-07-21 異常検査システム、異常検査方法及びプログラム
US17/850,151 US20230028335A1 (en) 2021-07-21 2022-06-27 Abnormality inspection system, abnormality inspection method and program
CN202210793218.1A CN115700749A (zh) 2021-07-21 2022-07-05 异常检查系统、异常检查方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021120603A JP2023016347A (ja) 2021-07-21 2021-07-21 異常検査システム、異常検査方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023016347A true JP2023016347A (ja) 2023-02-02

Family

ID=84976049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021120603A Pending JP2023016347A (ja) 2021-07-21 2021-07-21 異常検査システム、異常検査方法及びプログラム

Country Status (3)

Country Link
US (1) US20230028335A1 (ja)
JP (1) JP2023016347A (ja)
CN (1) CN115700749A (ja)

Also Published As

Publication number Publication date
US20230028335A1 (en) 2023-01-26
CN115700749A (zh) 2023-02-07

Similar Documents

Publication Publication Date Title
JP5443435B2 (ja) タイヤの欠陥検出方法
TWI626440B (zh) 缺陷檢測裝置、缺陷檢測方法及程式產品
JP6486050B2 (ja) 検査装置および検査方法
JP2904069B2 (ja) 球状物の外観検査方法及びその検査装置
TWI603072B (zh) 偵測晶圓上之缺陷
JP2019032268A (ja) 表面欠陥判定方法および表面欠陥検査装置
JP2009097922A (ja) 外観検査方法及び外観検査装置
JP2006284471A (ja) パターン検査方法及びパターン検査装置並びにパターン検査用プログラム
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
JP7151426B2 (ja) 管ガラス検査方法、学習方法及び管ガラス検査装置
CN113748311A (zh) 涡轮发动机叶片缺陷自动检测系统的训练方法
JP2023016347A (ja) 異常検査システム、異常検査方法及びプログラム
KR20160097651A (ko) 유효화 영상처리기법을 이용한 시료의 패턴 검사 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2008249413A (ja) 欠陥検出方法および装置
JP5195096B2 (ja) 画像処理検査方法及び画像処理検査システム
JP2023016346A (ja) 異常検査システム、異常検査方法及びプログラム
JP2004108828A (ja) 画像入力方法、画像入力装置及び表面欠陥検査装置
JP2023137057A (ja) 欠陥予測モデルの生成方法、びん外観検査方法、およびびん外観検査装置
JP2001099625A (ja) パターン検査装置およびパターン検査方法
JP2022155038A (ja) 外観判定装置、外観判定方法、およびプログラム
KR102114013B1 (ko) 디스플레이 결함 검출 장치 및 방법
TWI493177B (zh) 一種檢測具週期性結構光學薄膜的瑕疵檢測方法及其檢測裝置
JP6688629B2 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP5231779B2 (ja) 外観検査装置
JP2001183309A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240604