JP2019152557A - 画像検査装置、画像検査方法及び画像検査プログラム - Google Patents

画像検査装置、画像検査方法及び画像検査プログラム Download PDF

Info

Publication number
JP2019152557A
JP2019152557A JP2018038540A JP2018038540A JP2019152557A JP 2019152557 A JP2019152557 A JP 2019152557A JP 2018038540 A JP2018038540 A JP 2018038540A JP 2018038540 A JP2018038540 A JP 2018038540A JP 2019152557 A JP2019152557 A JP 2019152557A
Authority
JP
Japan
Prior art keywords
inspection object
image
unit
defect
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018038540A
Other languages
English (en)
Other versions
JP7073785B2 (ja
Inventor
伸悟 稲積
Shingo Inazumi
伸悟 稲積
加藤　豊
Yutaka Kato
豊 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018038540A priority Critical patent/JP7073785B2/ja
Priority to CN201811503408.5A priority patent/CN110231346A/zh
Priority to EP18212346.3A priority patent/EP3537136A1/en
Priority to US16/219,958 priority patent/US11080843B2/en
Publication of JP2019152557A publication Critical patent/JP2019152557A/ja
Application granted granted Critical
Publication of JP7073785B2 publication Critical patent/JP7073785B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518—Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37208—Vision, visual inspection of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40609—Camera to monitor end effector as well as object to be handled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80—Management or planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】多品種少量生産にも対応可能でありながら、画像検査に要する時間をより短縮可能にする。【解決手段】検査対象物を画像で検査する画像検査装置であって、検査対象物を撮像する１つ以上の撮像部と、検査対象物に光を照射する照明部と、撮像部、検査対象物、照明部のうち、少なくとも２つについて、互いの相対的な位置関係を変化させるための移動部を含む、撮像条件の制御部と、撮像部が第１の撮像条件で撮像した画像を解析して、検査対象物から欠陥の候補を探索する探索部と、撮像部が撮像した画像を解析して検査対象物の欠陥の有無を判定する判定部と、を備え、制御部は、探索部が検査対象物から欠陥の候補を索出すると、探索部が欠陥の候補を索出した部位が第１の撮像条件よりも明瞭な第２の撮像条件で写るように撮像条件を制御し、判定部は、撮像部が第２の撮像条件で撮影した画像を解析して検査対象物の欠陥の有無を判定する。【選択図】図１

Description

本発明は、画像検査装置、画像検査方法及び画像検査プログラムに関する。
近年、生産ラインでは検査の自動化や省力化のために、画像で製品の外観検査を行う画像検査装置が広く利用されている（例えば、特許文献１を参照）。外観検査の種類や手法には様々なものが存在するが、基本的な構成は、画像センサを内蔵した撮像装置で検査対象物を撮像し、得られた画像から検査領域となる部分を抽出し、その検査領域の部分の画像の特徴を解析・評価することで、目的の検査（例えば、良／不良の判定、仕分け、情報取得など）を行うというものである。
この種の画像検査装置において、検査対象物の外観を検査するには、検査対象物を様々な方向から撮像する必要がある。また、近年では、多品種少量生産での生産効率向上のニーズが強いため、生産ラインを流れる検査対象物で撮像する部位も検査対象物の形状等に応じて適宜変更することが求められる。そこで、最近では、このような外観検査を可能とするべく、検査対象物の撮像において、撮像装置の位置や向きを検査対象物の形状等に応じてロボットアームで調整する試みがなされている。
特開２０１３−１９１０６４号公報
画像検査に用いる撮像装置が固定されている場合、生産ラインを流れる検査対象物で撮像できる部位は自ずと定まる。よって、画像検査において検査対象物の撮像に要する時間は基本的に不変である。一方、生産ラインを流れる検査対象物の撮像を、ロボットアームに取り付けた撮像装置で行う場合、撮像に要する時間はロボットアームの動作速度や撮像装置の移動回数に応じて変動する。したがって、ロボットアームに取り付けた撮像装置を効率的に移動させて撮像を行えば、固定された撮像装置を使って検査対象物を撮像する場合に比べて、多品種少量生産にも対応可能であり且つ検査対象物の撮像に要する時間も短縮できる可能性がある。しかし、検査対象物には、修復不能な傷等の欠陥の他に、例えば、単なる異物の付着といった容易に除去可能なものも存在し得る為、生産ラインにおける画像検査では、画像に映る欠陥の種別を画像解析で判別することが求められる。このような画像解析を行うには、高解像度の画像を用いる必要があるため、検査対象物の外観の画像解析をロボットアームに取り付けた撮像装置で隅々まで行おうとすれば、撮像装置の移動回数の増大や、画像解析に要する演算処理の増大が見込まれる。
そこで、本願は、多品種少量生産にも対応可能でありながら、画像検査に要する時間をより短縮可能にする技術を開示する。
上記課題を解決するため、本発明では、第１の撮像条件で撮像した画像を解析して欠陥の候補が索出されると、欠陥の候補を索出した部位を第１の撮像条件より明瞭な第２の撮像条件で写した画像を解析して欠陥の有無を判定することにした。
詳細には、本発明は、検査対象物を画像で検査する画像検査装置であって、前記検査対
象物を撮像する１つ以上の撮像部と、前記検査対象物に光を照射する照明部と、前記撮像部、前記検査対象物、前記照明部のうち、少なくとも２つについて、互いの相対的な位置関係を変化させるための移動部を含む、撮像条件の制御部と、前記撮像部が第１の撮像条件で撮像した画像を解析して、前記検査対象物から欠陥の候補を探索する探索部と、前記撮像部が撮像した画像を解析して前記検査対象物の欠陥の有無を判定する判定部と、を備え、前記制御部は、前記探索部が前記検査対象物から欠陥の候補を索出すると、前記探索部が欠陥の候補を索出した部位が前記第１の撮像条件よりも明瞭な第２の撮像条件で写るように撮像条件を制御し、前記判定部は、前記撮像部が前記第２の撮像条件で撮影した画像を解析して前記検査対象物の欠陥の有無を判定する。
ここで、検査対象物とは、画像検査装置による画像検査の対象となる物体であり、例えば、生産ラインで生産された工業製品、市場から回収された工業製品、工業製品の部品、収穫された農産物や漁獲された水産物、その他の各種物体が挙げられる。
また、撮像条件とは、撮像部によって撮像された検査対象物の画像の解析において、当該検査対象物の欠陥の有無の判定に影響を及ぼし得るものであり、例えば、検査対象物と撮像部との相対的な距離や向き、撮像部に備わる撮像素子の設定状態、撮像部に備わるレンズの状態、その他、検査対象物の写り具合に影響を与える可能性のある各種のものが挙げられる。例えば、検査対象物に欠陥がある場合、当該欠陥が存在する部位と撮像部との相対的な距離が近付くにつれて、当該欠陥が画像に大きく写り込むことになるため、該欠陥が画像に明瞭に写り込み、画像検査で当該欠陥の有無が誤って判定される可能性が低下する。
また、欠陥の候補とは、第１の撮像条件で撮像された検査対象物の画像において、欠陥の可能性があるものをいい、例えば、画像検査後の経時的な変化によって将来欠陥になり得るものを意図する概念ではない。
上記の画像検査装置では、まず、欠陥の存在が疑われる欠陥の候補の探索が行われ、欠陥の候補が索出された場合に、欠陥の候補が索出された部位における欠陥の有無の判定が行われる。欠陥の候補の探索は、欠陥の有無の判定よりも簡易な処理であるため、画像を分析するために高度な計算能力が要求されない。そして、上記の画像検査装置では、欠陥の候補の探索よりも高度な計算能力が要求される欠陥の有無の判定は、欠陥の候補が索出されない部位については省略されるため、欠陥の有無の判定を検査対象物全体に渡って行う場合に比較すると、検査対象物の画像検査に要する時間が短縮可能となる。
なお、前記探索部は、前記撮像部が第１の解像度で撮影した画像を解析して、前記検査対象物から欠陥の候補を探索し、前記制御部は、前記探索部が前記検査対象物から欠陥の候補を索出すると、前記探索部が欠陥の候補を索出した部位が前記第１の解像度よりも高解像度の第２の解像度で写るように、前記検査対象物に対する前記撮像部の相対位置、または、前記撮像部の視野を変更するものであってもよい。
ここで、解像度とは、撮像部が撮影した画像における検査対象物の像の精細さを定量的に表したものであり、例えば、撮像部が有する撮像素子自体の画素数、検査対象物と撮像部との相対的な距離や向き、撮像部に備わるレンズの状態、その他各種の条件に応じて変化するものである。
欠陥の候補を索出した部位が第１の解像度より高解像度の第２の解像度で写っていれば、欠陥の判定において、当該第２の解像度の画像から欠陥の形状等を特定することが可能となるため、欠陥を正しく判定することが可能となる。
また、前記探索部は、前記制御部が前記撮像部を第１の位置へ移動することによって前記第１の解像度で写った前記検査対象物の画像を解析して、前記検査対象物から欠陥の候補を探索し、前記制御部は、前記探索部が前記検査対象物から欠陥の候補を索出すると、前記探索部が欠陥の候補を索出した部位が前記第２の解像度で写るように、前記撮像部の位置を前記第１の位置よりも前記検査対象物に近い第２の位置へ移動するものであってもよい。
ここで、第１の位置とは、検査対象物に対する撮像部の相対的な位置関係をいい、上述した第１の撮像条件の一例である。また、第２の位置とは、検査対象物に対する撮像部の相対的な位置関係であって、撮像部が第１の位置で検査対象物を撮像する場合よりも欠陥の候補の部位が明瞭に写る位置関係をいい、上述した第２の撮像条件の一例である。
探索部が欠陥の候補の探索に用いる画像を取得する際の位置関係である第１の位置よりも、判定部が欠陥の有無の判定に用いる画像を取得する際の位置関係である第２の位置の方が、検査対象物に対する撮像部の位置がより近ければ、第１の位置で撮像された画像よりも第２の位置で撮像された画像の方が、欠陥の候補の部位がより明瞭に写るため、欠陥を正しく判定することが可能となる。
また、前記探索部は、前記検査対象物から欠陥の候補を索出すると、前記欠陥の候補の位置を含む前記欠陥の候補の特徴量を算出し、前記制御部は、前記探索部が前記検査対象物から欠陥の候補を索出すると、前記探索部が算出した前記特徴量に基づいて、前記探索部が欠陥の候補を索出した部位が前記第２の撮像条件で写るように、前記撮像部の光軸と前記検査対象物との相対角度、前記照明部と前記検査対象物との相対位置、前記照明部の光軸と前記検査対象物との相対角度のうち、少なくとも１つを変更するものであってもよい。
ここで、欠陥の候補の特徴量とは、第１の撮像条件で撮像された画像において、当該欠陥の候補に関する特徴を定量的に示した値であり、例えば、欠陥の候補の位置が含まれる。このような特徴量は、例えば、欠陥の無い良品の検査対象物を写した基準画像に対する差分から得ることが可能である。第１の撮像条件で撮像された画像からこのような特徴量が取得されれば、第２の撮像条件における撮像部と照明部と検査対象物との相対的な位置関係を適切に決定することが可能となる。
また、前記探索部は、第１の撮像部が前記第１の撮像条件で撮像した画像を解析して、前記検査対象物から欠陥の候補を探索し、前記制御部は、前記探索部が前記検査対象物から欠陥の候補を索出すると、前記探索部が欠陥の候補を索出した部位が、前記第１の撮像部とは異なる第２の撮像部の画像に前記第２の撮像条件で写るように撮像条件を制御するものであってもよい。第２の撮像条件で検査対象物を撮像する撮像部が、第１の撮像条件で検査対象物を撮像する撮像部と別々に用意されていれば、検査の更なる高速化が可能である。
また、前記制御部は、前記探索部が前記検査対象物から欠陥の候補を複数索出すると、前記探索部が索出した複数の欠陥の候補のうち欠陥の度合いを示す値が大きい候補の部位から優先して前記第２の撮像条件で写るように撮影条件を制御するものであってもよい。
ここで、欠陥の度合いを示す値とは、第１の撮像条件で撮像された画像において、当該欠陥の候補が欠陥である可能性の大きさを定量的に示した値であり、例えば、欠陥の無い良品の検査対象物を写した基準画像に対する差分から得ることが可能である。欠陥の度合いを示す値が大きい候補の部位から優先して第２の撮像条件で撮像され、その画像を用いた欠陥の判定が行われれば、欠陥である可能性が高い部位から優先して欠陥の判定が行わ
れることになるため、欠陥の有無の判定が効率的に行われる。
また、前記判定部は、前記探索部が索出した複数の欠陥の候補のうち少なくとも何れかが写る画像で欠陥が有った場合、他の欠陥の候補が写る画像の解析を省略するものであってもよい。検査対象物に少なくとも１つの欠陥の存在が認められる場合に、他の欠陥の候補の部位における解析が省略されれば、当該検査対象物の検査を速やかに終えることができる。
また、本発明は、方法及びプログラムの側面から捉えることもできる。例えば、本発明は、検査対象物を画像で検査する画像検査方法であって、前記検査対象物を撮像する撮像部が第１の撮像条件で撮像した画像を解析して、前記検査対象物から欠陥の候補を探索する探索工程と、前記探索工程で前記検査対象物から欠陥の候補が索出されると、前記探索工程で欠陥の候補が索出された部位が前記第１の撮像条件よりも明瞭な第２の撮像条件で写るように、前記撮像部、前記検査対象物、前記検査対象物に光を照射する照明部のうち、少なくとも２つについて、互いの相対的な位置関係を変化させるための移動部を含む、撮像条件の制御部が、撮像条件を制御する制御工程と、前記撮像部が前記第２の撮像条件で撮影した画像を解析して前記検査対象物の欠陥の有無を判定する判定工程と、を有するものであってもよい。
上記の画像検査装置、画像検査方法及び画像検査プログラムであれば、多品種少量生産にも対応可能でありながら、画像検査に要する時間をより短縮可能である。
実施形態に係る画像検査装置によって実現される動作の一例を示した概要図である。 画像検査装置の全体構成の一例を示した図である。 画像検査装置において実現される処理フローの一例を示した図である。 カメラと照明と欠陥との位置関係の一例を示した図である。 欠陥の一例を示した図である。
＜適用例＞
図１は、実施形態に係る画像検査装置１によって実現される動作の一例を示した概要図である。画像検査装置１は、主な構成として、例えば、図１に示すように、カメラ２（本願でいう「撮像部」の一例である）とロボットアーム３（本願でいう「移動部」の一例である）とを備える。カメラ２は、検査対象物４の検査に用いる画像を取得する。ロボットアーム３は、アームの先端にカメラ２が装着された産業用のロボットアームであり、図示しない制御装置から送られる制御信号に従って作動する。したがって、カメラ２は、ロボットアーム３が作動することにより、検査対象物４に対し適宜の位置へ相対移動することが可能である。なお、検査対象物４を照らす照明は、カメラ２と一体化されていてもよいし、或いはカメラ２と別体でロボットアーム３の先端に装着されていてもよい。
カメラ２が検査対象物４を撮像して得た画像のデータは、画像検査装置１に設けられた図示しない画像処理ユニットへ送られる。画像処理ユニットでは、カメラ２から送られた画像のデータを使った検査対象物４の画像解析が行われる。画像処理ユニットによって欠陥６の有無の確認が行われた検査対象物４は、次工程へ送られる。画像処理ユニットによって有無の確認が行われる欠陥６としては、例えば、検査対象物４への物品類の衝突によって生じる打痕といった凹凸状の欠陥、塗装等の表面処理における不具合によって生じる色彩の欠陥、異物の付着、その他各種の欠陥が挙げられる。これらの欠陥６には、処置が
容易なものもあれば、修復不能なものもある。例えば、画像を使った検査対象物４の外観検査で検出された欠陥６が単なる異物の付着であれば、欠陥６は、当該異物の除去によって解消できる。よって、画像検査装置１で検査された検査対象物４の送り先は、欠陥６の有無や欠陥６の種類に応じて切り替わってもよい。
このように構成される画像検査装置１では、例えば、カメラ２の視野に検査対象物４全体が入る位置にロボットアーム３でカメラ２が配置された状態で検査対象物４の撮像が行われる。そして、カメラ２の視野に検査対象物４全体が入る位置で撮像された画像で欠陥６の存在が疑われる欠陥候補７が索出されると、欠陥候補７の部位がより明瞭に写るようにカメラ２がロボットアーム３によって移動され、欠陥候補７の部位が再び撮影される。そして、欠陥候補７の部位を写した画像で画像検査装置１の検査が行われ、欠陥６の有無の判定が行われる。
欠陥６には、上述したように様々な形態が挙げられる。よって、欠陥６の有無を判定する処理には、画像に写る欠陥６の形状や色、テクスチャ、凹凸などの３次元形状といった各種特徴を用いた画像分析を行う必要がある。したがって、欠陥６の有無を判定する処理には、欠陥６を写した画像に、欠陥６の形状等の特徴を抽出できるだけの十分な解像度が要求される。また、このような解像度の画像を分析するために高度な計算能力が要求される。このため、欠陥６の有無の判定を検査対象物４全体に渡って行う場合、欠陥６の形状等の特徴を抽出できるだけの十分な解像度の画像を得るために、検査対象物４を様々な視点で撮影した多数の画像が必要となる。また、これらの画像を全て解析するために多大な計算能力が必要となる。
この点、本実施形態の画像検査装置１では、上記のように、まず、欠陥６の存在が疑われる欠陥候補７の探索が行われ、欠陥候補７が索出された場合に、欠陥候補７が索出された部位における欠陥６の有無の判定が行われる。欠陥候補７の探索は、欠陥６の形状等の特徴が抽出不要なため、欠陥６の有無の判定に用いる画像よりも低解像度であり、画像を分析するために高度な計算能力が要求されない。そして、画像検査装置１では、欠陥候補７の探索よりも高解像度で高度な計算能力が要求される欠陥６の有無の判定は、欠陥候補７が索出されない部位については省略されるため、欠陥６の有無の判定を検査対象物４全体に渡って行う場合に比較すると、検査対象物４の画像検査に要する時間が短縮可能となる。
なお、画像検査装置１は、欠陥候補７の探索を、カメラ２を検査対象物４全体が視野に入る位置にして撮影された画像ではなく、例えば、検査対象物４の一部が写る画像で行ってもよい。また、画像検査装置１は、欠陥候補７の部位を写した画像による欠陥６の有無の判定を、ロボットアーム３によるカメラ２の移動でより明瞭に写った画像ではなく、例えば、カメラ２の視野の変更によってより明瞭に写った画像で行ってもよい。
画像検査装置１では、例えば、位相シフト法やその他各種の３次元計測法を適用することができる。画像検査装置１は、例えば、自動車やその他各種の工業製品を生産する生産ラインで用いられるＦＡ機器の一つとして用いることができる。
＜実施形態＞
以下、画像検査装置１について詳細に説明する。図２は、画像検査装置１の全体構成の一例を示した図である。画像検査装置１は、上述したカメラ２とロボットアーム３の他、カメラ２から送られた画像データの処理を司る画像処理ユニット８、カメラ２やロボットアーム３の制御を司るＰＬＣ９（本願でいう「制御部」の一例である）、ＰＬＣ９の命令に沿ってロボットアーム３を作動させるロボットコントローラ１０を備える（ＰＬＣ：Programmable Logic Controller）。画像処理ユニット８としては、例えば、ＣＰＵ（中央
演算処理装置）、メモリ、補助記憶装置（ハードディスクドライブやソリッドステートドライブなど）、入力装置（キーボード、マウス、タッチパネルなど）を有する汎用のコンピュータ、或いは、画像処理専用の装置を適用できる。ＰＬＣ９とロボットコントローラ１０も同様である。
カメラ２は、ｍ×ｎ個の受光素子をマトリクス状に配列した撮像素子を有し、カラー又はモノクロの静止画像あるいは動画像を画像処理ユニット８に取り込むデバイスである。ただし、可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたセンサを用いればよい。
カメラ２には、照明２Ｌが併設される。照明２Ｌは、検査対象物４を照らす照明手段である。照明２Ｌは、例えば、単一の光源を有する照明手段であってもよいし、或いは、相異なる波長の照明光（赤色光，緑色光，青色光）をそれぞれ任意の強度で発光可能な複数の光源を有する照明手段であってもよい。単一又は複数の各光源は、可視光、紫外光、赤外光などの様々な波長の光を放つものであってもよいし、或いは、特定の波長の光を放つものであってもよい。また、照明２Ｌは、何らの形状パターンも有しない光を照らす照明手段であってもよいし、或いは、所定の形状のパターンを有する光を照らす照明手段であってもよい。
ロボットアーム３は、いわゆる多関節ロボットであり、第１関節３Ｋ１を介してベース３Ｂに連結される第１アーム３Ａ１と、第２関節３Ｋ２を介して第１アーム３Ａ１の先端部に連結される第２アーム３Ａ２とを備える。カメラ２と照明２Ｌは、第３関節３Ｋ３を介して第２アーム３Ａ２の先端に設けられる。ロボットアーム３には、各関節の軸を中心に各アームを回動させるためのモータ等の駆動機構が内蔵されており、ロボットコントローラ１０から送られる命令に従って動作する。
画像処理ユニット８では、メモリに展開されたコンピュータプログラム（本願でいう「画像検査プログラム」の一例である）をＣＰＵが実行することにより、探索部８Ａ（本願でいう「探索部」の一例である）、判定部８Ｂ（本願でいう「判定部」の一例である）が実現される。探索部８Ａは、カメラ２が撮影した検査対象物４の画像を解析し、検査対象物４から欠陥候補７を探索する画像解析を主に司る。判定部８Ｂは、カメラ２が撮像した検査対象物４の画像を解析し、検査対象物４の欠陥６の有無を判定する処理を主に司る。
なお、画像検査装置１には、操作ユニット１１と表示ユニット１２と搬送ユニット１３が設けられている。操作ユニット１１は、画像検査装置１を取り扱うオペレータが操作しやすい適当な箇所に配置される入力装置であり、オペレータが画像検査装置１に対して行う各種操作を受け付ける。操作ユニット１１は、表示ユニット１２と一体のタッチパネルであってもよいし、汎用のコンピュータに一般利用されるキーボードであってもよいし、或いは、専用に設計された入力装置であってもよい。また、表示ユニット１２は、画像検査装置１を取り扱うオペレータから見えやすい適当な箇所に配置される表示装置であり、画像検査装置１の各部の状態表示や、カメラ２で取得された画像の表示、画像処理ユニット８で索出された欠陥候補７の表示、欠陥６の有無の判定結果の表示を行う。搬送ユニット１３は、検査対象物４をセットするテーブルや搬送機構を備えており、ＰＬＣ９から送られる命令にしたがって検査対象物４を搬送する。
以下、画像検査装置１において実現される処理フローについて説明する。
図３は、画像検査装置１において実現される処理フローの一例を示した図である。画像検査装置１で画像検査が開始されると、ＰＬＣ９は、カメラ２が検査対象物４全体を視野に入れる位置となるようにロボットアーム３を作動させる（Ｓ１０１）。本ステップＳ１
０１においてＰＬＣ９がロボットアーム３に移動させるカメラ２の位置は、検査対象物４の種類毎に予め規定された位置であってもよいし、或いは、カメラ２の画像における検査対象物４の写り具合を解析しながら特定した位置であってもよい。また、ＰＬＣ９は、検査対象物４全体が１枚の画像に収まる位置にカメラ２を移動するのではなく、検査対象物４全体が複数の画像の組み合わせによって確認できる幾つかの位置にカメラ２を移動させてもよい。
ＰＬＣ９の制御によってカメラ２が検査対象物４全体を視野に入れる位置に移動されると、ＰＬＣ９は、カメラ２に検査対象物４を撮像させる（Ｓ１０２）。カメラ２が検査対象物４を撮像する際には、照明２Ｌが検査対象物４を照らす。照明２Ｌが点灯するタイミングや照度は、ＰＬＣ９の指示に従う。本ステップＳ１０２の撮像時におけるカメラ２と検査対象物４との相対的な位置関係は、本願でいう「第１の撮像条件」の一例である。
ＰＬＣ９の制御によって検査対象物４全体がカメラ２に撮像されると、探索部８Ａは、ステップＳ１０２においてカメラ２によって取得された画像のデータを解析する（Ｓ１０３）。そして、探索部８Ａは、検査対象物４が写る画像から欠陥候補７を探索する。探索部８Ａは、欠陥候補７の探索を、例えば、以下のような方法で実行する。
例えば、カメラ２で取得された画像に写る検査対象物４に欠陥６が無い場合、欠陥６の無い良品の検査対象物４を写した基準画像とカメラ２の画像とを比較しても差分は生じない。一方、カメラ２で取得された画像に写る検査対象物４に欠陥６がある場合、欠陥６の無い良品の検査対象物４を写した基準画像とカメラ２の画像とを比較すると差分が生じる。そこで、本ステップＳ１０３の解析においては、例えば、検査対象物４を写した画像に空間フィルタをかけて、画像上の変化のある部分を抽出する。画像上の変化のある部分を抽出する際の空間フィルタとしては、例えば、ＬＯＧ（Laplacian Of Gaussian）を用い
ることが可能である。そして、例えば、予め探索部８Ａの記憶装置等に格納しておいたモデル画像と、ステップＳ１０２で取得した検査対象物４の画像との差分を求める。そして、当該差分が予め定められた値より大きい箇所を欠陥候補７とする。
このような処理によって検査対象物４の画像から欠陥候補７が索出されると、ＰＬＣ９は、ステップＳ１０３で索出された欠陥候補７がより明瞭に写るように、ロボットアーム３でカメラ２を移動させてカメラ２を欠陥候補７へ近づける（Ｓ１０４）。本ステップＳ１０４においてＰＬＣ９がロボットアーム３に移動させるカメラ２の位置は、検査対象物４における欠陥候補７の位置毎に予め規定された位置であってもよいし、或いは、欠陥候補７がカメラ２の視野の中に適当な大きさで入る位置をカメラ２の画像の解析結果から特定した位置であってもよい。カメラ２を移動する際のロボットアーム３の動きは、ＰＬＣ９から命令を受けたロボットコントローラ１０が、カメラ２を移動元から移動先へ移動させる上で最も適切な各関節の動きを決定し、決定した動きに則った制御量の信号をロボットアーム３の各モータへ送ることにより実現される。
ＰＬＣ９の制御によってカメラ２が欠陥候補７に近い位置へ移動すると、ＰＬＣ９は、カメラ２に検査対象物４を撮像させる（Ｓ１０５）。カメラ２が検査対象物４を撮像する際には、ステップＳ１０２の時と同様、照明２Ｌが検査対象物４を照らす。本ステップＳ１０５では、カメラ２が欠陥候補７により近い位置へ移動しているため、検査対象物４を撮像したカメラ２の画像には、ステップＳ１０２でカメラ２によって取得された検査対象物４の画像よりも欠陥候補７がより明瞭に写ることになる。本ステップＳ１０５の撮像時におけるカメラ２と検査対象物４との相対的な位置関係は、本願でいう「第２の撮像条件」の一例である。
ＰＬＣ９の制御によって欠陥候補７の部位がカメラ２に撮像されると、判定部８Ｂは、
ステップＳ１０５においてカメラ２によって取得された画像のデータを解析する（Ｓ１０６）。そして、判定部８Ｂは、カメラ２によって撮像された検査対象物４の画像を解析し、検査対象物４の画像に写る欠陥候補７の部位における欠陥６の有無を判定する。判定部８Ｂは、欠陥６の有無の判定を、以下のような方法で実行する。
すなわち、判定部８Ｂは、欠陥候補７の部位における画像の特徴量を算出し、欠陥候補７が欠陥６であるか否かを判定する。特徴量としては、例えば、円形度、周囲長、或いはフェレ径（射影幅）などの２値ブロブ解析が可能な特徴量が挙げられる。判定部８Ｂは、このような特徴量を基に、欠陥候補７が欠陥６であるか否かの判定を行う。
カメラ２の撮像素子の各画素に受光される検査対象物４からの反射光の光量は、色彩の欠陥や凹凸の欠陥、異物が付着している箇所に対応する画素については、その周囲の画素に比べて差が生じる。そこで、本ステップＳ１０６の解析においては、例えば、照明２Ｌによって照明されてカメラ２の撮像素子の各画素に受光された検査対象物４からの反射光の光量を画素毎に比較することにより、検査対象物４に欠陥６が生じているか否かを検出してもよい。また、欠陥６の種類の判別においては、例えば、照明２Ｌの照明光の色彩を切り替えながら撮像して得た複数枚の画像を基にすることで、欠陥６が色彩欠陥であるか否かや、欠陥６が凹凸欠陥であるか否か等の判別が行われてもよい。欠陥６の判定に用いられる指標としては、画素毎における光量の比較や照明光の色彩の切替の他、例えば、検査対象物４の画像内における特定色の位置や大きさといったものも挙げられる。
ステップＳ１０５で撮像された画像に欠陥６が写っていると、判定部８Ｂは、ステップＳ１０６で肯定判定を行う。ステップＳ１０６で判定部８Ｂが肯定判定を行うと、ＰＬＣ９は、検査対象物４の検査を終了させる。ＰＬＣ９によって検査対象物４の検査が終了されると、検査対象物４は、検査結果に応じた所定の箇所へ移送される。また、ステップＳ１０５で撮像された画像に欠陥６が写っていないと、判定部８Ｂは、ステップＳ１０６で否定判定を行う。
また、ステップＳ１０６で判定部８Ｂが否定判定を行うと、ＰＬＣ９は、他の欠陥候補７の有無の判定を行う（Ｓ１０７）。ＰＬＣ９は、他に欠陥候補７が無い場合、画像検査装置１における検査対象物４の検査では検査対象物４に異常が無いとの判定結果を下す（Ｓ１０８）。また、ＰＬＣ９は、他に欠陥候補７が有る場合、当該他の欠陥候補７が明瞭に写るようにステップＳ１０４の処理を実行する。これにより、ステップＳ１０３で索出された全ての欠陥候補７の部位について、欠陥６の有無の判定が行われる。
上記実施形態の画像検査装置１では、まず、欠陥６の存在が疑われる欠陥候補７の探索がステップＳ１０２の画像を用いて行われ、欠陥候補７が索出された場合に、欠陥候補７が索出された部位における欠陥６の有無の判定がステップＳ１０５の画像を用いて行われる。そして、ステップＳ１０５ではステップＳ１０２に比べてカメラ２が欠陥候補７により近い位置へ移動しているため、ステップＳ１０５においてカメラ２が撮影した画像に写る検査対象物４の解像度（本願でいう「第２の解像度」の一例である）は、ステップＳ１０２においてカメラ２が撮影した画像に写る検査対象物４の解像度（本願でいう「第１の解像度」の一例である）よりも高解像度であり、欠陥候補７がより明瞭に写ることになる。そして、ステップＳ１０２の画像を分析して行われる欠陥候補７の探索には、ステップＳ１０５の画像を用いて行われる欠陥６の判定に必要な高度な計算能力が要求されない。よって、上記実施形態の画像検査装置１であれば、ステップＳ１０３で行われる欠陥候補７の探索よりも高度な計算能力が要求されるステップＳ１０６の欠陥６の有無の判定処理は、欠陥候補７が索出されない部位に対しては省略されることになるため、欠陥６の有無の判定を検査対象物４全体に渡って行う場合に比較すると、検査対象物４の画像検査に要する時間が短縮されることになる。
また、上記実施形態の画像検査装置１では、ロボットアーム３の先端に設けられたカメラ２で検査対象物４の外観を検査しているため、検査対象物４の形態に合わせてカメラ２を検査対象物４で適宜の位置に動かすことができる。よって、上記実施形態の画像検査装置１であれば、例えば、様々な多品種少量生産にも対応可能でありながら、画像検査に要する時間を短縮することができる。
なお、ステップＳ１０３では、欠陥候補７の特徴量、或いは、欠陥６の度合いを示す値が算出されるようにしてもよい。
欠陥候補７の特徴量としては、例えば、欠陥候補７の位置が挙げられる。ステップＳ１０３で欠陥候補７の位置が算出されれば、ステップＳ１０４において、欠陥候補７へカメラ２が近付くようにロボットアーム３を動かす際、カメラ２の移動先となる目標位置の決定に用いることができる。欠陥候補７の位置は、例えば、欠陥候補７が欠陥の無い良品の検査対象物を写した基準画像に対する差分から索出されたものであれば、画像上における当該差分の生じた位置を基に、欠陥候補７の位置を特定することができる。ステップＳ１０３で欠陥候補７の位置が算出されれば、ステップＳ１０４でカメラ２を移動する際のロボットアーム３の動きを決定するに際し、欠陥候補７が明瞭に写る位置へカメラ２を移動させる上で最も適切な各関節の動きを速やかに決定し、決定した動きに則った制御量をロボットアーム３のモータへ送ることが可能となる。
また、欠陥候補７の特徴量として欠陥候補７の位置が算出されれば、カメラ２の移動先のみならず、例えば、カメラ２の光軸と検査対象物４との相対角度、照明２Ｌと検査対象物４との相対位置、照明２Ｌの光軸と検査対象物４との相対角度の決定に用いることもできる。カメラ２が欠陥候補７へ近づいても、カメラ２が欠陥候補７を斜めから写す場合、欠陥候補７の部位はカメラ２の画像に明瞭には写らない。この点、ステップＳ１０３で欠陥候補７の位置が算出されれば、欠陥候補７が明瞭に写るように、例えば、欠陥候補７の位置における法線方向とカメラ２の光軸とを一致させることが可能となる。
また、ステップＳ１０３で欠陥候補７の位置が算出されれば、欠陥候補７が明瞭に写るように、例えば、カメラ２と照明２Ｌとを結ぶ仮想直線を２等分する位置を通り、当該仮想直線に直交する他の仮想直線上に欠陥候補７が位置するようにカメラ２や照明２Ｌの位置を決定することができる。図４は、カメラ２と照明２Ｌと欠陥６との位置関係の一例を示した図である。検査対象物４の材質や欠陥６の形状によっては、カメラ２の光軸を欠陥６の部位の法線に対して斜めにした方が欠陥６が明瞭に写る場合がある。よって、ステップＳ１０４でカメラ２の移動先を決定する際には、例えば、図４に示されるように、照明２Ｌに照明された欠陥６がカメラ２に明瞭に写り込むよう、カメラ２と照明２Ｌとを結ぶ仮想直線を２等分する位置を通り、当該仮想直線に直交する他の仮想直線上に欠陥候補７が位置するようにカメラ２と照明２Ｌを移動してもよい。
また、欠陥６の度合いを示す値としては、例えば、ステップＳ１０２で撮像した画像に写る欠陥候補７におけるモデル画像と検査対象物４の画像との差分値が挙げられる。差分値は、例えば、画像上における差分の生じた領域の画素数等に比例する。ステップＳ１０３で欠陥６の度合いを示す値が算出されれば、ステップＳ１０３で欠陥候補７が複数箇所から索出された場合に、欠陥６の度合いを示す値が大きい欠陥候補７から優先してステップＳ１０４以降の処理を実行することが可能となる。欠陥６の度合いを示す値が大きい欠陥候補７から優先してステップＳ１０４以降の処理が実行されれば、欠陥６が実在する可能性の高い欠陥候補７から優先して欠陥６の有無の判定が行われることになるため、検査対象物４の画像検査が効率的に行われる。この場合、例えば、検査対象物４に少なくとも１つの欠陥６の存在が認められる場合に、他の欠陥候補７の部位における欠陥６の有無の
判定を省略し、検査対象物４の検査を速やかに終えることも可能となる。
また、上記実施形態では、ステップＳ１０２における撮像時よりもステップＳ１０５における撮像時の方が近付くようにカメラ２の位置を動かすことで、欠陥候補７の部位を明瞭に写していたが、例えば、カメラ２に備わる撮像素子の設定状態の変更や、カメラ２に備わるフォーカスレンズの位置といったレンズの状態、その他の手段により、欠陥候補７の部位を明瞭に写すようにしてもよい。
また、上記実施形態では、１つのカメラ２でステップＳ１０２の撮像とステップＳ１０５の撮像を行っていたが、例えば、各ステップで別々のカメラ２を用いてもよい。この場合、ステップＳ１０２の撮像とステップＳ１０５の撮像を別々のカメラ２で同時に行うことも可能となるため、検査対象物４の検査をより高速化可能である。
図５は、欠陥６の一例を示した図である。例えば、検査対象物４にはシボ加工など、加飾のために微細な凹凸加工が施される場合がある。一方、欠陥６には、上述したように、傷や打痕と呼ばれるものがある。傷や打痕は、欠陥６の表面についた微細な凹みと言える。つまり、シボ加工の凹凸と欠陥６の凹みは、本質的には似たような物理的性質を持っている。相違点があるとすれば、凸凹の大きさや、形状、均一性、周期性である。このため、例えば、低級の画像処理（例えばＬＯＧ）で傷や打痕を検知できるように閾値を設定すると、シボ加工の一部が欠陥と誤検出されることがある。両者を判別するには、形状等の特徴を用いて分析を行う必要がある。しかし、そのためには、十分な解像度の画像を取得する必要があり、また、高度な計算能力が必要となる。よって、このような処理を、検査対象物４を写した画像を使って検査対象物４の全域に対して行うと、多大な計算能力や時間が必要となる。また、このような誤検出が生じないように閾値を設定すると、欠陥が検出されない可能性が高まる。
この点、上記実施形態の画像検査装置１では、形状等の特徴を用いた分析が行われるステップＳ１０６については、検査対象物４の全ての領域ではなく、欠陥候補７の部位に対して行われるので、例えば、ステップＳ１０２の画像を用いて行われる欠陥候補７の探索において、欠陥６が見落とされないように閾値を設定することにより、欠陥６の存在しない部位が欠陥候補７となった場合であっても、検査対象物４の全ての領域に対し形状等の特徴を用いた分析を行う場合に比べて、多大な計算能力や時間を要しない。したがって、欠陥６の有無の判定を検査対象物４全体に渡って行う場合に比較すると、検査対象物４の画像検査に要する時間が短縮されることになる。
＜コンピュータが読み取り可能な記録媒体＞
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの処理を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク（ブルーレイは登録商標）、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＳＳＤ、ＲＯＭ（リードオンリーメモリ）等がある。
なお、上記実施形態及び変形例は、本発明の実施形態の一例であり、本願で開示する発明の技術的範囲を上記実施形態及び変形例に限定するものではない。
１・・画像検査装置：２・・カメラ：２Ｌ・・照明：３・・ロボットアーム：３Ｋ１・・第１関節：３Ｋ２・・第２関節：３Ｋ３・・第３関節：３Ｂ・・ベース：３Ａ１・・第１アーム：３Ａ２・・第２アーム：４・・検査対象物：５・・撮像範囲：６・・欠陥：７・・欠陥候補：８・・画像処理ユニット：８Ａ・・探索部：８Ｂ・・判定部：９・・ＰＬＣ：１０・・ロボットコントローラ：１１・・操作ユニット：１２・・表示ユニット：１３・・搬送ユニット

Claims (9)

  1. 検査対象物を画像で検査する画像検査装置であって、
    前記検査対象物を撮像する１つ以上の撮像部と、
    前記検査対象物に光を照射する照明部と、
    前記撮像部、前記検査対象物、前記照明部のうち、少なくとも２つについて、互いの相対的な位置関係を変化させるための移動部を含む、撮像条件の制御部と、
    前記撮像部が第１の撮像条件で撮像した画像を解析して、前記検査対象物から欠陥の候補を探索する探索部と、
    前記撮像部が撮像した画像を解析して前記検査対象物の欠陥の有無を判定する判定部と、を備え、
    前記制御部は、前記探索部が前記検査対象物から欠陥の候補を索出すると、前記探索部が欠陥の候補を索出した部位が前記第１の撮像条件よりも明瞭な第２の撮像条件で写るように撮像条件を制御し、
    前記判定部は、前記撮像部が前記第２の撮像条件で撮影した画像を解析して前記検査対象物の欠陥の有無を判定する、
    画像検査装置。
  2. 前記探索部は、前記撮像部が第１の解像度で撮影した画像を解析して、前記検査対象物から欠陥の候補を探索し、
    前記制御部は、前記探索部が前記検査対象物から欠陥の候補を索出すると、前記探索部が欠陥の候補を索出した部位が前記第１の解像度よりも高解像度の第２の解像度で写るように、前記検査対象物に対する前記撮像部の相対位置、または、前記撮像部の視野を変更する、
    請求項１に記載の画像検査装置。
  3. 前記探索部は、前記制御部が前記撮像部を第１の位置へ移動することによって前記第１の解像度で写った前記検査対象物の画像を解析して、前記検査対象物から欠陥の候補を探索し、
    前記制御部は、前記探索部が前記検査対象物から欠陥の候補を索出すると、前記探索部が欠陥の候補を索出した部位が前記第２の解像度で写るように、前記撮像部の位置を前記第１の位置よりも前記検査対象物に近い第２の位置へ移動する、
    請求項２に記載の画像検査装置。
  4. 前記探索部は、前記検査対象物から欠陥の候補を索出すると、前記欠陥の候補の位置を含む前記欠陥の候補の特徴量を算出し、
    前記制御部は、前記探索部が前記検査対象物から欠陥の候補を索出すると、前記探索部が算出した前記特徴量に基づいて、前記探索部が欠陥の候補を索出した部位が前記第２の撮像条件で写るように、前記撮像部の光軸と前記検査対象物との相対角度、前記照明部と前記検査対象物との相対位置、前記照明部の光軸と前記検査対象物との相対角度のうち、少なくとも１つを変更する、
    請求項１に記載の画像検査装置。
  5. 前記探索部は、第１の撮像部が前記第１の撮像条件で撮像した画像を解析して、前記検査対象物から欠陥の候補を探索し、
    前記制御部は、前記探索部が前記検査対象物から欠陥の候補を索出すると、前記探索部が欠陥の候補を索出した部位が、前記第１の撮像部とは異なる第２の撮像部の画像に前記第２の撮像条件で写るように撮像条件を制御する、
    請求項１、２、４の何れか一項に記載の画像検査装置。
  6. 前記制御部は、前記探索部が前記検査対象物から欠陥の候補を複数索出すると、前記探索部が索出した複数の欠陥の候補のうち欠陥の度合いを示す値が大きい候補の部位から優先して前記第２の撮像条件で写るように撮影条件を制御する、
    請求項１から５の何れか一項に記載の画像検査装置。
  7. 前記判定部は、前記探索部が索出した複数の欠陥の候補のうち少なくとも何れかが写る画像で欠陥が有った場合、他の欠陥の候補が写る画像の解析を省略する、
    請求項６に記載の画像検査装置。
  8. 検査対象物を画像で検査する画像検査方法であって、
    前記検査対象物を撮像する撮像部が第１の撮像条件で撮像した画像を解析して、前記検査対象物から欠陥の候補を探索する探索工程と、
    前記探索工程で前記検査対象物から欠陥の候補が索出されると、前記探索工程で欠陥の候補が索出された部位が前記第１の撮像条件よりも明瞭な第２の撮像条件で写るように、前記撮像部、前記検査対象物、前記検査対象物に光を照射する照明部のうち、少なくとも２つについて、互いの相対的な位置関係を変化させるための移動部を含む、撮像条件の制御部が、撮像条件を制御する制御工程と、
    前記撮像部が前記第２の撮像条件で撮影した画像を解析して前記検査対象物の欠陥の有無を判定する判定工程と、を有する、
    画像検査方法。
  9. 検査対象物を画像で検査する画像検査プログラムであって、
    コンピュータに、
    前記検査対象物を撮像する撮像部が第１の撮像条件で撮像した画像を解析して、前記検査対象物から欠陥の候補を探索する探索工程と、
    前記探索工程で前記検査対象物から欠陥の候補が索出されると、前記探索工程で欠陥の候補が索出された部位が前記第１の撮像条件よりも明瞭な第２の撮像条件で写るように、前記撮像部、前記検査対象物、前記検査対象物に光を照射する照明部のうち、少なくとも２つについて、互いの相対的な位置関係を変化させるための移動部を含む、撮像条件の制御部が、撮像条件を制御する制御工程と、
    前記撮像部が前記第２の撮像条件で撮影した画像を解析して前記検査対象物の欠陥の有無を判定する判定工程と、を実行させる、
    画像検査プログラム。
JP2018038540A 2018-03-05 2018-03-05 画像検査装置、画像検査方法及び画像検査プログラム Active JP7073785B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018038540A JP7073785B2 (ja) 2018-03-05 2018-03-05 画像検査装置、画像検査方法及び画像検査プログラム
CN201811503408.5A CN110231346A (zh) 2018-03-05 2018-12-10 图像检查装置、图像检查方法以及图像检查程序
EP18212346.3A EP3537136A1 (en) 2018-03-05 2018-12-13 Image inspecting apparatus, image inspecting method and image inspecting program
US16/219,958 US11080843B2 (en) 2018-03-05 2018-12-14 Image inspecting apparatus, image inspecting method and image inspecting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018038540A JP7073785B2 (ja) 2018-03-05 2018-03-05 画像検査装置、画像検査方法及び画像検査プログラム

Publications (2)

Publication Number Publication Date
JP2019152557A true JP2019152557A (ja) 2019-09-12
JP7073785B2 JP7073785B2 (ja) 2022-05-24

Family

ID=64665440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018038540A Active JP7073785B2 (ja) 2018-03-05 2018-03-05 画像検査装置、画像検査方法及び画像検査プログラム

Country Status (4)

Country Link
US (1) US11080843B2 (ja)
EP (1) EP3537136A1 (ja)
JP (1) JP7073785B2 (ja)
CN (1) CN110231346A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135163A (ja) * 2020-02-27 2021-09-13 株式会社サキコーポレーション 検査装置
JP7511024B2 (ja) 2020-04-07 2024-07-04 カール・ツァイス・エスエムティー・ゲーエムベーハー Ｅｕｖリソグラフィ用マスクを検査するためのシステムおよび方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7073785B2 (ja) * 2018-03-05 2022-05-24 オムロン株式会社 画像検査装置、画像検査方法及び画像検査プログラム
CN108550080A (zh) * 2018-03-16 2018-09-18 阿里巴巴集团控股有限公司 物品定损方法及装置
JP7388352B2 (ja) * 2018-07-13 2023-11-29 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
KR20220070313A (ko) * 2019-09-30 2022-05-30 무사시 오토 파츠 캐나다 인크. Ａｉ 육안 검사 시스템 및 방법
JP7168962B2 (ja) * 2019-10-07 2022-11-10 株式会社神戸製鋼所 基板表面欠陥検査方法
JP6860098B1 (ja) * 2020-02-10 2021-04-14 オムロン株式会社 画像検査装置および画像検査プログラム、照明設定装置
IT202000004783A1 (it) * 2020-03-06 2021-09-06 Geico Spa Metodo e sistemi per la rilevazione e classificazione di difetti su superfici
US11494892B2 (en) 2020-08-21 2022-11-08 Abb Schweiz Ag Surface defect detection system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1582863A1 (en) * 2004-03-30 2005-10-05 General Electric Company Multi-resolution inspection system and method of operating same
JP2007155412A (ja) * 2005-12-01 2007-06-21 Nippon Mini Computer System Kk 外観検査装置及び外観検査方法
JP2008139202A (ja) * 2006-12-04 2008-06-19 Tokyo Electron Ltd 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム
JP2009014357A (ja) * 2007-06-29 2009-01-22 Kanto Auto Works Ltd 表面検査装置及び表面検査方法
JP2009162563A (ja) * 2007-12-28 2009-07-23 Canon It Solutions Inc デバイス外観検査装置及び方法、プログラム
JP2017135437A (ja) * 2016-01-25 2017-08-03 株式会社ディスコ 撮像装置
WO2017171651A1 (en) * 2016-03-30 2017-10-05 Agency For Science, Technology And Research System and method for imaging a surface defect on an object

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166811A (en) * 1999-08-12 2000-12-26 Perceptron, Inc. Robot-based gauging system for determining three-dimensional measurement data
DE102004007829B4 (de) * 2004-02-18 2007-04-05 Isra Vision Systems Ag Verfahren zur Bestimmung von zu inspizierenden Bereichen
JP2008055569A (ja) * 2006-08-31 2008-03-13 Sanyo Electric Co Ltd 点検ロボット
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
WO2009044785A1 (ja) * 2007-10-03 2009-04-09 Kabushiki Kaisha Toshiba 目視検査装置および目視検査方法
JP4933601B2 (ja) * 2009-08-18 2012-05-16 株式会社ニューフレアテクノロジー 検査装置および検査方法
JP5953842B2 (ja) 2012-03-14 2016-07-20 オムロン株式会社 画像検査方法および検査領域設定方法
JP5997039B2 (ja) * 2012-12-26 2016-09-21 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
JP5948262B2 (ja) * 2013-01-30 2016-07-06 株式会社日立ハイテクノロジーズ 欠陥観察方法および欠陥観察装置
EP2999956B1 (en) * 2013-05-23 2021-06-30 Rina Consulting - Centro Sviluppo Materiali S.p.A. Method for the surface inspection of long products and apparatus suitable for carrying out such a method
JP6578118B2 (ja) * 2014-04-04 2019-09-18 株式会社ニューフレアテクノロジー 撮像装置、検査装置および検査方法
JP6370177B2 (ja) * 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
JP6493163B2 (ja) * 2015-11-06 2019-04-03 オムロン株式会社 粗密探索方法および画像処理装置
US10269108B2 (en) * 2017-09-01 2019-04-23 Midea Group Co., Ltd. Methods and systems for improved quality inspection of products using a robot
JP6939501B2 (ja) * 2017-12-15 2021-09-22 オムロン株式会社 画像処理システム、画像処理プログラム、および画像処理方法
JP7073785B2 (ja) * 2018-03-05 2022-05-24 オムロン株式会社 画像検査装置、画像検査方法及び画像検査プログラム
JP6958444B2 (ja) * 2018-03-13 2021-11-02 オムロン株式会社 コントローラおよび画像処理システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1582863A1 (en) * 2004-03-30 2005-10-05 General Electric Company Multi-resolution inspection system and method of operating same
JP2005292136A (ja) * 2004-03-30 2005-10-20 General Electric Co <Ge> 多重解像度検査システム及びその動作方法
JP2007155412A (ja) * 2005-12-01 2007-06-21 Nippon Mini Computer System Kk 外観検査装置及び外観検査方法
JP2008139202A (ja) * 2006-12-04 2008-06-19 Tokyo Electron Ltd 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム
JP2009014357A (ja) * 2007-06-29 2009-01-22 Kanto Auto Works Ltd 表面検査装置及び表面検査方法
JP2009162563A (ja) * 2007-12-28 2009-07-23 Canon It Solutions Inc デバイス外観検査装置及び方法、プログラム
JP2017135437A (ja) * 2016-01-25 2017-08-03 株式会社ディスコ 撮像装置
WO2017171651A1 (en) * 2016-03-30 2017-10-05 Agency For Science, Technology And Research System and method for imaging a surface defect on an object

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135163A (ja) * 2020-02-27 2021-09-13 株式会社サキコーポレーション 検査装置
JP7437188B2 (ja) 2020-02-27 2024-02-22 株式会社サキコーポレーション 検査装置
JP7511024B2 (ja) 2020-04-07 2024-07-04 カール・ツァイス・エスエムティー・ゲーエムベーハー Ｅｕｖリソグラフィ用マスクを検査するためのシステムおよび方法

Also Published As

Publication number Publication date
US11080843B2 (en) 2021-08-03
CN110231346A (zh) 2019-09-13
JP7073785B2 (ja) 2022-05-24
EP3537136A1 (en) 2019-09-11
US20190272630A1 (en) 2019-09-05

Similar Documents

Publication Publication Date Title
JP7073785B2 (ja) 画像検査装置、画像検査方法及び画像検査プログラム
US8050486B2 (en) System and method for identifying a feature of a workpiece
JP3560694B2 (ja) レンズ検査のシステムと方法
US8179524B2 (en) Hard disk inspection apparatus
CN110231352B (zh) 图像检查装置、图像检查方法以及图像检查记录介质
US9863888B2 (en) Multispectral imaging system and method for detecting foreign object debris
US20100053790A1 (en) Hard disk inspection apparatus and method, as well as program
JP6635712B2 (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
CN110274910B (zh) 图像检查装置、图像检查方法以及计算机可读记录介质
JP2017040600A (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
CN112730419A (zh) 外观瑕疵检测装置
JP4906609B2 (ja) 撮像装置および方法
JP2007278915A (ja) 工具欠陥検査装置と工具欠陥検査方法
Feng et al. Image processing of the grinding wheel surface
JP6031751B2 (ja) ガラス基板検査装置及びガラス基板製造方法
JP7299388B2 (ja) 鉄管外表面の欠陥判定装置
CN112730421A (zh) 外观瑕疵检测装置
JP4998722B2 (ja) 画像処理によるワーク欠陥検査方法
Perng et al. A novel vision system for CRT panel auto-inspection
JP2017146248A (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP2017026400A (ja) 検査装置、および物品の製造方法
JP2018059883A (ja) 表面検査装置及び表面検査方法
JP2008191017A (ja) 板状体の欠陥検出方法
TW202117303A (zh) 自動缺陷檢測系統及檢測方法
JP2020190457A (ja) ウエハ検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R150 Certificate of patent or registration of utility model

Ref document number: 7073785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150