JP2020198471A - システムの制御方法、及びシステム - Google Patents

システムの制御方法、及びシステム Download PDF

Info

Publication number
JP2020198471A
JP2020198471A JP2019101750A JP2019101750A JP2020198471A JP 2020198471 A JP2020198471 A JP 2020198471A JP 2019101750 A JP2019101750 A JP 2019101750A JP 2019101750 A JP2019101750 A JP 2019101750A JP 2020198471 A JP2020198471 A JP 2020198471A
Authority
JP
Japan
Prior art keywords
work
image data
imaging
image pickup
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019101750A
Other languages
English (en)
Other versions
JP7267841B2 (ja
Inventor
武 大屋
Takeshi Oya
武 大屋
悟 新谷
Satoru Shintani
悟 新谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019101750A priority Critical patent/JP7267841B2/ja
Priority to PCT/JP2020/020449 priority patent/WO2020241540A1/ja
Publication of JP2020198471A publication Critical patent/JP2020198471A/ja
Priority to US17/533,907 priority patent/US20220084182A1/en
Application granted granted Critical
Publication of JP7267841B2 publication Critical patent/JP7267841B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32193—Ann, neural base quality management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Textile Engineering (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】 画像データにおけるワークに関する推定の精度を向上させることができる。【解決手段】 一形態に係るシステムの制御方法は、撮像装置と、画像データが入力される学習モデルを有する処理装置と、を備え、第１の撮像条件に設定された撮像装置によって、第１のワークを撮像することで第１の画像データを得る工程と、第１の画像データを教師データとして用いて、学習モデルによる機械学習を行う工程と、第１の撮像条件に設定された撮像装置によって、第２の画像データを得る工程と、第２の画像データを、学習済の学習モデルに入力し、第２の画像データから第２のワークに関する推定を行う工程と、推定の精度が所定の値よりも低い場合に、第１の撮像条件とは異なる第２の撮像条件に設定された撮像装置によって、第３の画像データを得る工程、および、第３の画像データを教師データとして用いて、学習モデルによる機械学習を行う工程を行う。【選択図】 図５

Description

本発明はシステムの制御方法、及びシステムに関する。
工場内で生産される製品（ワーク）を認識するシステムが知られている。例えば、ワークの外観検査において、欠陥の有無を判定するために、撮像装置により取得された画像データから、人間の目視ではなく、機械が欠陥を認識する検査システムが挙げられる。特許文献１には、撮像装置がワークを撮像し、撮像装置により得られた画像データが人工知能によって構成された処理装置に入力されて欠陥検査を行う検査システムが開示されている。
特開２０１８−１６４２７２号公報
特許文献１に記載された検査システムのように、人工知能を用いて検査を行う場合には、学習済モデルの生成が行われる。例えば、工場内で生産されるワークの外観検査において、生産ラインを流れているワークを検査することがあるが、ワークは高速に移動しているため、シャッタースピードが遅すぎると画像データに表示されるワークがぶれる場合がある。このような画像データをもとに学習済モデルを作成すると、人工知能によるワークの認識精度が低下する可能性がある。ワークの認識精度とは、例えば、欠陥の有無の判別精度である。一方で、シャッタースピードを速くして画像データを得ることが考えられるが、所定の光量が必要になる等の撮影場所が制限される場合がある。特許文献１ではこのような学習済モデルの生成のための画像データを得る際の撮像条件によるワークの認識精度の低下に関して検討されていない。
本発明に係るシステムの制御方法の一側面は、撮像装置と、前記撮像装置により撮像した画像データが入力される学習モデルを有する処理装置と、を備えるシステムの制御方法であって、第１の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら第１のワークを撮像することで、第１の画像データを得る工程と、前記第１の画像データを教師データとして用いて、前記学習モデルによる機械学習を行う工程と、前記第１の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら前記第１のワークとは別の第２のワークを撮像することで、第２の画像データを得る工程と、前記第２の画像データを、学習済の前記学習モデルに入力し、前記第２の画像データから前記第２のワークに関する推定を行う工程と、前記推定の精度が所定の値よりも低い場合に、前記第１の撮像条件とは異なる第２の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら第３のワークを撮像することで、第３の画像データを得る工程、および、前記第３の画像データを教師データとして用いて、前記学習モデルによる機械学習を行う工程を行う。
本発明に係るシステムの一側面は、撮像装置と、前記撮像装置により撮像した画像データが入力される学習モデルを有する処理装置と、を備えるシステムであって、前記処理装置は、第１の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら第１のワークを撮像することで得られた第１の画像データを教師データとして用いて前記学習モデルによる機械学習を行い、前記第１の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら前記第１のワークとは別の第２のワークを撮像することで得られた第２の画像データを学習済の前記学習モデルに入力し、前記第２の画像データから前記第２のワークに関する推定を行い、前記推定の精度が所定の値よりも低い場合に、前記第１の撮像条件とは異なる第２の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら第３のワークを撮像することで得られた第３の画像データを教師データとして用いて、前記学習モデルによる機械学習を行う工程を行う。
本発明に係るシステムの制御方法及びシステムによれば、画像データにおけるワークに関する推定の精度を向上させることができる。
システムの概要を示す図である。 システムの処理フローを示す図である。 システムで利用する学習モデルについて説明する図である。 学習済モデルの生成方法の概念を示す図である。 学習済モデルの生成方法の処理フローを示す図である。
以下に示す実施形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。なお、各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略する。
図１は、システムの一例としての検査システムの基本的構成を示したものである。本実施形態に係るシステムは、検査システムのほかにも、種々のシステムに採用することができる。種々のシステムとしては、例えば、画像データに特定のものが存在するか否かを特定するシステムや、配送センターの自動振り分けシステム等が挙げられる。
以下、図２に示す処理フローとともに、本実施形態に係る検査システムを説明する。
（撮像装置）
まず、センサ１０を用いて所定の範囲におけるワーク（対象物）の有無を検知する（図２：Ｓ１）。センサ１０は、例えば、生産ライン上で高速で移動するワークを検知するためのセンサであり、例えば赤外線センサを用いる。センサ１０により、所定の範囲においてワークが検知されると、センサ１０からトリガ生成回路２０に対して信号が出力される。トリガ生成回路２０は、センサ１０からの信号に基づき撮像トリガ信号を生成する（図２：Ｓ２）。
トリガ生成回路２０は、例えばＦＰＧＡ（Ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのロジック回路から構成されている。トリガ生成回路２０は、センサ１０から入力された信号に対してハードウエア処理をし、ハードウエア処理された撮像のためのトリガ信号が撮像装置３０に伝達される。そして、撮像装置３０がワークを撮像する（図２：Ｓ３）。
本実施形態によれば、トリガ生成回路２０はロジック回路により構成されており、ハードウエア処理により並列処理がなされる。そして、トリガ生成回路２０からの信号を、ソフトウエア処理を介することなく、撮像装置３０に入力している。したがって、逐次処理を行うソフトウエア処理と比較して、無駄な遅延が生じにくい。トリガ生成回路２０から、撮像装置３０へのトリガ信号の伝達は有線で行うことが好ましい。
撮像装置３０は、レンズ部と、撮像素子と、撮像素子から出力される信号を処理する信号処理部と、信号処理部により生成された画像データを出力する出力部と、トリガ信号が入力される入力部と、を有する。
入力部にトリガ信号が入力されると、撮像装置３０は撮像を開始する。レンズ部は、撮像装置から取り外し可能に設けられており、対象物の大きさや、撮影シーンに応じて、適切なレンズ部を選択することができる。信号処理部は、撮像素子から出力される信号から画像データを生成する。出力部は、信号処理部で生成された画像データを出力する。
撮像素子は、光電変換部がアレイ状に配置された素子であって、例えば、ＣＭＯＳセンサである。撮像素子は、各行で露光期間の開始と終了が異なるローリングシャッタ形式の撮像素子でもよいし、全行一括で露光期間の開始と終了が同時であるグローバル電子シャッター形式の撮像素子でもよい。
グローバル電子シャッター形式の本実施形態では、生産ラインで製造される製品（ワーク）の欠陥検査に用いることを想定している。そのため、ワークが高速で移動していることから、より精度の高い撮影を行うために、グローバル電子シャッター形式の撮像素子を用いることが好ましい。
（処理装置４０）
撮像装置３０から出力された画像データは、処理装置４０に入力されて画像データの推定が行われる（図２：Ｓ４）。処理装置４０では、画像データの対象物に関する推定が行われる。ここで、画像データの対象物に関する推定は、システムの用途に応じた処理を行う。以下では推定の処理として、撮像対象としてのワークが欠陥を有するかどうかを判定する外観検査処理を説明する。この他にも例えば、画像データに特定のものが存在するか否かを特定するシステムの場合は、特定する処理が推定の処理に相当する。また、自動振り分けシステムの場合は、ワークのサイズにより判別する処理が推定の処理に相当する。撮像装置３０から処理装置４０への画像データの伝送は、有線で行うことが好ましい。
処理装置４０は、学習済モデルを有しており、学習済モデルを用いてワークに欠陥があるか否かを判断する。ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４２はデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵ４２で処理を行うことが有効である。そこで本実施形態では、処理装置４０における処理にはＣＰＵ４１に加えてＧＰＵ４２を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ４１とＧＰＵ４２が協同して演算を行うことで学習を行う。なお、処理装置４０の処理はＣＰＵ４１またはＧＰＵ４２のみにより演算が行われても良い。
ＣＰＵ４１とＧＰＵ４２のそれぞれは、メモリを有しており、これらのメモリには、撮像装置から出力された画像データが保持される。上記のとおり、トリガ生成回路２０により、撮像装置３０には、同時刻にトリガ信号が入力されるため、ＣＰＵ４１とＧＰＵ４２のメモリには、同時刻の画像データが保持されることになる。なお、処理装置４０がＣＰＵ４１のメモリ及びＧＰＵ４２の主メモリとは異なるメモリを備えていてもよい。この場合は、画像データが主メモリに保持される。そして、必要に応じて、主メモリに保持された画像データがＣＰＵ４１のメモリ及びＧＰＵ４２のメモリに書き込まれる。
ＧＰＵ４２は、メモリに保持された画像データにアクセスし、並列的に画像データを処理する。ＧＰＵ４２は、学習済のモデルを用いて、ワークに欠陥があるか否かを判断する。ＧＰＵ４２は、ＣＰＵ４１よりも定型的な膨大な計算処理を行うのに適しており、ＧＰＵ４２は、ワークの画像データから欠陥の有無を判定する処理を速く行うことができる。
処理装置４０は、撮像装置３０により取得された画像データに基づき、画像データの領域に欠陥が有るか否かを判定する（図２：Ｓ５）。処理装置４０により行われた判定結果は、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）５０に出力される、ワークに欠陥があるという最終判定結果の場合、ＰＬＣ５０は、ロボット６０に動作制御用の信号を入力する。ロボット６０は、ワークの移動動作を切り替え、欠陥があると判定されたワークを生産ラインから移動させる（図２：Ｓ６）。
処理装置４０から、ＰＬＣ５０へ判定結果を出力する際には、高速の信号伝送は要求されていない。そのため、Ｅｔｈｅｒｎｅｔなどの汎用規格の有線や無線などを使って、信号転送を行うことができる。
（学習済モデル４３０）
図３は、処理装置４０のＧＰＵ４２で行われるワークの欠陥判定を行うＡＩを説明するための図である。
図３（Ａ）は、学習フェーズの概念図である。学習モデル４２０は、欠陥判定のアルゴリズムを有し、学習モデル４２０に対して、教師データを入力する。教師データは、良品のワーク、第１の欠陥を含むワーク、第１の欠陥とは異なる第２の欠陥を含むワークなどをそれぞれ生産ラインに流して撮像した画像データである。つまり、教師データとして、Ｌ枚の良品画像４１１、Ｍ枚の第１の欠陥画像４１２、Ｎ枚の第２の欠陥画像４１３、などを入力する。ＡＩにより、学習モデル４２０のアルゴリズムを、より精度の高いアルゴリズムとなるように学習させたものが学習済モデル４３０である。
機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどを利用してもよい。またニューラルネットワークを利用して、学習するための特徴量、結合重みづけ係数を自ら生成する深層学習（ディープラーニング）であってもよい。たとえば、深層学習のモデルとして、ＣＮＮモデル（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ）を用いてもよい。
図３（Ｂ）は、推定フェーズの概念図である。学習フェーズにより構築した学習済モデル４３０に対して、ワーク画像４４０を入力すると、欠陥有無の判定結果４５０が出力される。この学習済モデル４３０を用いた処理はＧＰＵ４２によって実行される。ワーク画像４４０とは、具体的には、生産ラインにワークを流して撮像装置３０で撮像した画像データである。
次に、図４及び図５を参照しながら、学習済データの生成方法について説明する。
教師データの生成に使用されるワークは前述の通り、良品のワーク、第１の欠陥を含むワーク、第２の欠陥を含むワーク等を撮像した画像データである。
本実施形態では、第１の撮像条件と第２の撮像条件とでシャッタースピードを変えている。具体的には、あるシャッタースピードで前述のワークを撮影した画像データを教師データとして用いて学習済モデルを作成する工程を、学習済モデルにおける推定の精度が所定の精度以上となるまで、シャッタースピードを変えながら繰り返し行っている。例えば、図４（ｂ）に示すように、シャッタースピードが遅すぎるとワークにおける欠陥がぼけるため欠陥の有無を判別することができない。したがって、これらの画像データを教師モデルとして学習モデルに入力しても、構築された学習済モデルで欠陥の有無を認識しにくい。一方で、シャッタースピードを速くしすぎると、図４（ｃ）に示すように欠陥の判定を行うことはできるものの、照明の光量を多くする必要が出てきて汎用性が低下する。例えば、暗所における検査が必要な場合において利用することができない等の撮影場所での制限が課される。また、一定以上の光量が必要となるため、高価な照明が必要とされる可能性がある。本実施形態では、ある撮像条件でこれらのワークを撮像した画像データを教師データとして用いた学習済モデルを生成する。この学習済モデルの精度を判定して精度が所定の値よりも低い場合には撮像条件を変えて撮像した画像データを教師データとして用いて学習済モデルを生成する。そして精度が所定の値以上となるまで教師データを生成から精度の判定を繰り返し行い、精度が所定の値以上である学習済モデルを検査システムに使用する。これにより、画像データのワークに関する推定の処理の精度を高くすることができる。
以下で、学習済モデル４３０の生成方法について具体的に説明する。
まず、撮像装置のシャッタースピードを所定のシャッタースピード（第１のシャッタースピード）に設定する（図５：Ｓ１）。第１のシャッタースピードはできるだけ遅くすることが好ましい。前述の通り、シャッタースピードが速い場合は汎用性が低下する。第１のシャッタースピードで生成した教師データに基づく学習済モデルが精度を判定するステップＳ４において、所定の精度であると判定された場合に、過剰性能となる場合がある。第１のシャッタースピードを遅くしておくことで、過剰性能となることを防ぐことができる。例えば第１のシャッタースピードを８ｍｓ以上２０ｍｓ以下に設定する。
次に、ワークが搭載された生産ラインを動かし、ワークと撮像装置の相対位置とを変化させながら複数のワークを撮影して画像データを作成し、画像データを教師データとして学習済モデルを作成する。このとき、複数のワークとして欠陥１を含むワークおよび良品のワークを少なくとも用いる。複数のワークとして、欠陥１とは異なる欠陥２を含むワーク等を用いることにより、良否判定の精度を向上させることができる。
教師データとして、ワークのＸＹ座標を変えて撮像した画像データ、ワークを回転させて撮像した画像データをさらに用いてもよい。これらの画像データを教師データとして学習モデルに入力することにより、ワークが所定の位置からずれている場合にも精度を下げることなく良否判定を行うことができる。
次に、第１のシャッタースピードに設定した撮像装置で、複数のワークを撮影する。そして、得られた画像データから良否判定を行い、学習済モデルが所定の精度となっているかどうかを判定する（図５：Ｓ４）。
ステップＳ４において精度を判定した結果、所定の精度よりも低い場合は、ステップＳ１に戻り、シャッタースピードを調整する。なお、ステップＳ１に戻ってワークを撮影する場合に、第１のシャッタースピードで撮影したワークと同じワークを使ってもよいし、異なるワークを使ってもよい。ステップＳ４において精度を判定した結果、所定の精度以上の場合は学習済モデルとして、撮像装置のシャッタースピードを該当のシャッタースピードに設定し、構築された学習済モデルを用いて複数のワークの認識処理を行う。ステップＳ４において精度を判定した結果、所定の精度よりも低い場合は、シャッタースピードを第２のシャッタースピードに変更し、所定の精度以上となるまでステップＳ１からステップＳ４を繰り返し行う。
本実施形態では、教師データとして、一定の認識精度を保つことができるシャッタースピードで撮像された画像データを教師データとして入力して学習済モデルを構築している。したがって、ワークの認識処理の精度を高くすることができる。
なお、第１の撮像条件と第２の撮像条件は、シャッタースピードを変えたもののほかに公知の条件を変更したものであってもよい。
なお、図１では、処理装置４０で学習済モデルの生成を行うが、生成された学習済モデルを処理装置４０に入力してもよい。例えば、撮像装置で撮像した画像データを情報端末に伝達し、情報端末で学習済モデルの生成を行い、所定の精度以上の学習済モデルを処理装置４０に入力してもよい。情報端末とは、例えば、パソコン等のコンピュータである。
３０ 撮像装置
４０ 処理装置

Claims (20)

  1. 撮像装置と、前記撮像装置により撮像した画像データが入力される学習モデルを有する処理装置と、を備えるシステムの制御方法であって、
    第１の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら第１のワークを撮像することで、第１の画像データを得る工程と、
    前記第１の画像データを教師データとして用いて、前記学習モデルによる機械学習を行う工程と、
    前記第１の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら前記第１のワークとは別の第２のワークを撮像することで、第２の画像データを得る工程と、
    前記第２の画像データを、学習済の前記学習モデルに入力し、前記第２の画像データから前記第２のワークに関する推定を行う工程と、
    前記推定の精度が所定の値よりも低い場合に、前記第１の撮像条件とは異なる第２の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら第３のワークを撮像することで、第３の画像データを得る工程、および、前記第３の画像データを教師データとして用いて、前記学習モデルによる機械学習を行う工程を行う、
    ことを特徴とするシステムの制御方法。
  2. 前記撮像装置は、グローバル電子シャッター形式の撮像素子を含むことを特徴とする請求項１に記載の制御方法。
  3. 前記撮像条件は、シャッタースピードであることを特徴とする請求項１又は２に記載の制御方法。
  4. 前記第１の撮像条件におけるシャッタースピードは、前記第２の撮像条件におけるシャッタースピードよりも遅いことを特徴とする請求項３に記載の制御方法。
  5. 前記推定を行う工程において、前記学習モデルは、入力された前記画像データのワークが欠陥を有するか否かを出力することを特徴とする請求項１乃至４のいずれか１項に記載の制御方法。
  6. 前記教師データとして、良品のワークの画像データ、及び欠陥を含むワークの画像データを用いることを特徴とする請求項５に記載の制御方法。
  7. 前記欠陥を含むワークの画像データとして、第１の欠陥を含むワークの画像データと、第１の欠陥とは異なる第２の欠陥を含むワークの画像データと、を用いることを特徴とする請求項６に記載の制御方法。
  8. 前記第２の撮像条件に設定された前記撮像装置によって、前記学習モデルによる機械学習を行う工程の後に、
    前記第２の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら前記第３のワークとは別の第４のワークを撮像することで第４の画像データを得る工程と、
    前記第４の画像データを、学習済の前記学習モデルに入力し、前記第４の画像データから前記第４のワークに関する推定を行う工程を備えることを特徴とする請求項１乃至７のいずれか１項に記載の制御方法。
  9. 前記処理装置は、ＧＰＵを備え、
    前記ＧＰＵにより前記推定を行うことを特徴とする請求項１乃至８のいずれか１項に記載の制御方法。
  10. 前記ＧＰＵはメモリを備え、
    前記メモリには前記撮像装置から出力された前記画像データが保持されることを特徴とする請求項９に記載の制御方法。
  11. 前記システムは、センサと、前記撮像装置に撮像トリガ信号を伝達するトリガ生成回路と、を備え、
    前記第１の画像データを得る工程において、所定の範囲内における前記第１のワークを前記センサが検知すると、前記センサから前記トリガ生成回路に信号が出力され、
    前記撮像装置は、前記信号に基づき出力された前記撮像トリガ信号に基づき前記第１のワークを撮像することを特徴とする請求項１乃至１０のいずれか１項に記載の制御方法。
  12. 前記トリガ生成回路は、ロジック回路により構成され、ソフトウエア処理を介することなく前記撮像装置に前記トリガ信号を伝達することを特徴とする請求項１１に記載の制御方法。
  13. 前記学習モデルは、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、又はニューラルネットワークを用いることを特徴とする請求項１乃至１２のいずれか１項に記載の制御方法。
  14. 撮像装置と、前記撮像装置により撮像した画像データが入力される学習モデルを有する処理装置と、を備えるシステムであって、
    前記処理装置は、
    第１の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら第１のワークを撮像することで得られた第１の画像データを教師データとして用いて前記学習モデルによる機械学習を行い、
    前記第１の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら前記第１のワークとは別の第２のワークを撮像することで得られた第２の画像データを学習済の前記学習モデルに入力し、前記第２の画像データから前記第２のワークに関する推定を行い、
    前記推定の精度が所定の値よりも低い場合に、前記第１の撮像条件とは異なる第２の撮像条件に設定された前記撮像装置によって、前記撮像装置に対する相対位置を変化させながら第３のワークを撮像することで得られた第３の画像データを教師データとして用いて、前記学習モデルによる機械学習を行う工程を行う、
    ことを特徴とするシステム。
  15. 前記撮像条件は、シャッタースピードであることを特徴とする請求項１４に記載のシステム。
  16. 前記システムは、センサと、前記撮像装置に撮像トリガ信号を伝達するトリガ生成回路と、を備え、
    前記センサは、所定の範囲内に前記第１のワークがあることを検知すると前記トリガ生成回路に信号を出力し、
    前記撮像装置は、前記信号に基づき出力される前記トリガ生成回路からの前記撮像トリガ信号に基づき前記第１のワークを撮像することを特徴とする請求項１４又は１５に記載のシステム。
  17. 前記学習済の学習モデルは、入力された前記画像データのワークが欠陥を有するか否かを出力することを特徴とする請求項１６に記載のシステム。
  18. 前記システムは、ロボットを備え、
    前記学習済の学習モデルによって欠陥を有すると判断されたワークを移動させることを特徴とする請求項１７に記載のシステム。
  19. 前記システムは、前記学習済の学習モデルから、前記画像データのワークが欠陥を有する否かが伝達されるＰＬＣを備え、
    前記処理装置と前記ＰＬＣとは無線で接続され、
    前記センサと前記トリガ生成回路とは有線で接続されることを特徴とする請求項１７又は１８に記載のシステム。
  20. 前記システムは、前記学習済の学習モデルから、前記画像データのワークが欠陥を有する否かが伝達されるＰＬＣを備え、
    前記処理装置から前記ＰＬＣへの信号の転送速度は、前記センサから前記トリガ生成回路への信号の転送速度よりも遅いことを特徴とする請求項１７又は１８に記載のシステム。
JP2019101750A 2019-05-30 2019-05-30 システムの制御方法、及びシステム Active JP7267841B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019101750A JP7267841B2 (ja) 2019-05-30 2019-05-30 システムの制御方法、及びシステム
PCT/JP2020/020449 WO2020241540A1 (ja) 2019-05-30 2020-05-25 システムの制御方法、及びシステム
US17/533,907 US20220084182A1 (en) 2019-05-30 2021-11-23 Control method for controlling system and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019101750A JP7267841B2 (ja) 2019-05-30 2019-05-30 システムの制御方法、及びシステム

Publications (2)

Publication Number Publication Date
JP2020198471A true JP2020198471A (ja) 2020-12-10
JP7267841B2 JP7267841B2 (ja) 2023-05-02

Family

ID=73553494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019101750A Active JP7267841B2 (ja) 2019-05-30 2019-05-30 システムの制御方法、及びシステム

Country Status (3)

Country Link
US (1) US20220084182A1 (ja)
JP (1) JP7267841B2 (ja)
WO (1) WO2020241540A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024283A1 (ja) * 2022-07-29 2024-02-01 株式会社Ｊｖｃケンウッド 画像認識支援装置、方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793333B (zh) * 2021-11-15 2022-02-18 常州微亿智造科技有限公司 应用于工业质检的缺陷图片生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012252507A (ja) * 2011-06-02 2012-12-20 Panasonic Corp 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
JP2018097731A (ja) * 2016-12-15 2018-06-21 株式会社Ｆｕｊｉ 画像処理システム及び画像処理方法
JP2018137275A (ja) * 2017-02-20 2018-08-30 株式会社日立ハイテクノロジーズ 試料観察装置および試料観察方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545949B2 (en) * 2004-06-09 2009-06-09 Cognex Technology And Investment Corporation Method for setting parameters of a vision detector using production line information
US9092841B2 (en) * 2004-06-09 2015-07-28 Cognex Technology And Investment Llc Method and apparatus for visual detection and inspection of objects
US8891852B2 (en) * 2004-06-09 2014-11-18 Cognex Technology And Investment Corporation Method and apparatus for configuring and testing a machine vision detector
JP4556993B2 (ja) * 2007-12-07 2010-10-06 セイコーエプソン株式会社 状態検査システム
IT1403978B1 (it) * 2011-02-15 2013-11-08 Datalogic Automation Srl Metodo di acquisizione di immagini
WO2016168378A1 (en) * 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
JP6815764B2 (ja) * 2016-06-28 2021-01-20 株式会社日立製作所 溶接監視システム
JP2019203691A (ja) * 2016-11-11 2019-11-28 オムロン株式会社 照明装置
US20180211373A1 (en) * 2017-01-20 2018-07-26 Aquifi, Inc. Systems and methods for defect detection
JP7166767B2 (ja) * 2017-05-25 2022-11-08 キヤノン株式会社 機器、製造方法、およびシステム
JP6967373B2 (ja) * 2017-05-31 2021-11-17 株式会社キーエンス 画像検査装置
US20200334801A1 (en) * 2017-12-06 2020-10-22 Nec Corporation Learning device, inspection system, learning method, inspection method, and program
JP7090446B2 (ja) * 2018-03-22 2022-06-24 株式会社キーエンス 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012252507A (ja) * 2011-06-02 2012-12-20 Panasonic Corp 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
JP2018097731A (ja) * 2016-12-15 2018-06-21 株式会社Ｆｕｊｉ 画像処理システム及び画像処理方法
JP2018137275A (ja) * 2017-02-20 2018-08-30 株式会社日立ハイテクノロジーズ 試料観察装置および試料観察方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024283A1 (ja) * 2022-07-29 2024-02-01 株式会社Ｊｖｃケンウッド 画像認識支援装置、方法及びプログラム

Also Published As

Publication number Publication date
JP7267841B2 (ja) 2023-05-02
WO2020241540A1 (ja) 2020-12-03
US20220084182A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
CN111007073B (zh) 一种増材制造过程中零件缺陷在线检测的方法及检测系统
JP7476145B2 (ja) 画像処理方法および撮影装置
EP3539732B1 (en) Appearance inspection system, setting device, image processing device, inspection method, and program
WO2020241540A1 (ja) システムの制御方法、及びシステム
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
JP7294768B2 (ja) 画像処理システム
JP2008296330A (ja) ロボットシミュレーション装置
JP2018120373A (ja) 産業機器用の画像認識装置及び画像認識方法
WO2020230750A1 (ja) 撮像システム
US11080836B2 (en) Appearance inspection system, image processing device, imaging device, and inspection method
CN105245770A (zh) 相机控制设备
JP6703279B2 (ja) 異常検知装置、異常検知方法、及び異常検知プログラム
CN112082999A (zh) 一种工业产品缺陷检测方法和工业智能相机
CN117080139B (zh) 基于真空吸附技术的晶圆传送控制方法及传送控制系统
CN112424718A (zh) 控制系统以及控制装置
JPWO2020137151A1 (ja) 学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備
Abdelhedi et al. Design of automatic vision-based inspection system for monitoring in an olive oil bottling line
US20220284567A1 (en) Teacher data generation method, trained learning model, and system
JP2011174896A (ja) 撮像装置及び撮像方法
KR20130061567A (ko) 무정지 검사를 위한 로봇 시스템 및 그 방법
KR101041524B1 (ko) 최적 불량인식 방법
Jian et al. Deep Learning Model for Determining Defects of Vision Inspection Machine Using Only a Few Samples.
JP2019176424A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、および、撮像装置の制御方法
WO2020213194A1 (ja) 表示制御システム、および、表示制御方法
JP6540261B2 (ja) 高速度撮像システム及び高速度撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230420

R151 Written notification of patent or utility model registration

Ref document number: 7267841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151