JP2021144000A - 検査システム、検査装置、及び検査プログラム - Google Patents

検査システム、検査装置、及び検査プログラム Download PDF

Info

Publication number
JP2021144000A
JP2021144000A JP2020044419A JP2020044419A JP2021144000A JP 2021144000 A JP2021144000 A JP 2021144000A JP 2020044419 A JP2020044419 A JP 2020044419A JP 2020044419 A JP2020044419 A JP 2020044419A JP 2021144000 A JP2021144000 A JP 2021144000A
Authority
JP
Japan
Prior art keywords
image
determination
inspection
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020044419A
Other languages
English (en)
Inventor
貴子 大西
Takako Onishi
貴子 大西
功 中西
Isao Nakanishi
功 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2020044419A priority Critical patent/JP2021144000A/ja
Priority to CN202080097994.7A priority patent/CN115210559A/zh
Priority to DE112020006893.5T priority patent/DE112020006893T5/de
Priority to PCT/JP2020/047024 priority patent/WO2021181793A1/ja
Publication of JP2021144000A publication Critical patent/JP2021144000A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/60Specific applications or type of materials
    • G01N2223/646Specific applications or type of materials flaws, defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】不良品判定画像だけでなく良品判定画像も保存する場合に、有用な良品判定画像を可及的に保存し、かつ記憶容量および検査サイクルタイムへの影響を可及的に低減することのできる技術を提供する。【解決手段】検査システム1は、被検体を撮像する撮像部103と、撮像部により撮像された被検体が写る画像を記憶する記憶部20と、画像に写る被検体が不良品か否かを判定する第1判定部104と、第1判定部による判定結果と、記憶部に記憶されている被検体に関する第1情報と、に基づいて、記憶部に画像を記憶させるか否かを判定する第2判定部106と、を備える。【選択図】図2

Description

本開示は、検査システム、検査装置、及び検査プログラムに関する。
可視光やX線をワークに照射してワークが写る画像を生成し、画像に写るワークが不良
品か否かを自動的に識別する検査技術が開発されている。また、例えば文献1-2では、
識別された画像を効率的に蓄積する技術が開示されている。
不良品を識別するための識別器を生成するために、教師データとして不良品が写る画像(以降、不良品判定画像という)を記憶装置に保存しておくことが考えられる。このような場合、不良品判定画像だけでは識別器のパラメータの設定を適切に行うことが困難と考えられる。また、識別器が良品と識別して出荷された製品が実は不良品であった場合、良品が写る画像(以降、良品判定画像という)が記憶装置に保存されていないため、不良品判定画像と良品判定画像とを比較することにより誤識別の要因を検証することは困難と考えられる。
そこで、不良品判定画像だけでなく良品判定画像も保存することが考えられる。しかし、製品のほとんどが良品であるようなケースではこのように不良品判定画像と良品判定画像とを記憶装置に保存する場合、膨大な保存容量が記憶装置に必要となることが考えられる。
国際公開第02/023480号 特開2012−173017号公報
特許文献1では、良品判定画像は非可逆圧縮形式で、不良品判定画像は可逆圧縮形式でサーバに保存されている。このような技術によれば、良品判定画像のデータ量は削減されるため大量の画像を保存することができる。しかしながら、非可逆圧縮形式で保存された良品判定画像に写るワークの形状から撮像時の形状を再現する再現性は低下することが考えられる。よって、非可逆圧縮形式で保存された画像を教師データとして識別器のパラメータを正確にチューニングすることは困難と考えられる。また、特徴の少ないほぼ同一の良品判定画像が大量に保存されることが想定される。このような場合、保存された画像の有用性は低下するものと考えられる。
また、特許文献2では、欠陥の特徴量に応じて重要度が計算され、計算された重要度に従って画像をデータベースに転送する技術が開示されている。このような技術の場合、ネットワーク通信負荷や保存データ量が削減可能となると考えられる。また、有用な画像をデータベースに残すことが可能と考えられる。しかしながら、特許文献2に開示される技術の場合、重要度の判定処理が複雑になると検査機の処理負荷が増大することが考えられる。その結果、検査のサイクルタイムが長くなることが考えられる。そこで、検査機における判定処理の処理負荷を軽減するために、判定処理が検査機とは別のサーバで実行されることが考えられる。しかしながら、このような場合、検査機がサーバから判定処理の結果を得るまでは画像を検査機のメモリ上に保持し続ける必要があると考えられる。また、サーバから判定処理の結果を得るまで検査機において次のワークの検査を開始できないこ
とが考えられる。よって、検査のサイクルタイムの短縮は困難と考えられる。
本発明は、一側面では、このような実情に鑑みてなされたものであり、その目的は、不良品判定画像だけでなく良品判定画像も保存する場合に、有用な良品判定画像を可及的に保存し、かつ記憶容量および検査サイクルタイムへの影響を可及的に低減することのできる技術を提供することである。
すなわち本発明の一側面に係る検査システムは、被検体を撮像する撮像部と、前記撮像部により撮像された前記被検体が写る画像を記憶する記憶部と、前記画像に写る前記被検体が不良品か否かを判定する第1判定部と、前記第1判定部による判定結果と、前記記憶部に記憶されている前記被検体に関する第1情報と、に基づいて、前記記憶部に前記画像を記憶させるか否かを判定する第2判定部と、を備える、検査システムである。
ここで、第1情報は、検査装置単独では判断が困難な過去の情報、又は生産ラインのリアルタイムな情報を含む。また、第1情報は、過去に良品と判定された被検体の情報、及び過去に不良品と判定された被検体の情報のうちの少なくとも何れか一方の情報を含む。また、第1情報は、計測情報及び画像情報を含む。
当該構成によれば、記憶部に記憶させる画像を第2判定部によって判定して選別している。よって、画像が良品判定画像として有用であるか否かを判定する情報が第1情報に含まれている場合、有用な良品判定画像を記憶部に記憶させることができる。同様にして、画像が不良品判定画像として有用であるか否かを判定する情報が第1情報に含まれている場合、有用な不良品判定画像も選別して記憶部に記憶させることができる。また、記憶部の記憶容量へ及ぼす影響は低減される。また、当該構成が、検査機とサーバとを有する検査システムの場合、第2判定部による判定処理の少なくとも一部の処理をサーバにおいて実行すると、検査機における判定処理の負荷は低減される。よって、検査サイクルタイムへの影響は低減される。
上記一側面に係る検査システムにおいて、前記第2判定部は、前記第1判定部により前記被検体が良品と判定された場合、前記第1情報に基づいて前記記憶部に前記画像を記憶させるか否かを判定してもよい。
当該構成によれば、記憶部に記憶させる良品判定画像を第2判定部によって判定して選別している。よって、画像が良品判定画像として有用であるか否かを判定する情報が第1情報に含まれている場合、有用な良品判定画像を記憶部に記憶させることができる。
上記一側面に係る検査システムにおいて、前記第2判定部は、前記記憶部に記憶されている過去に検査された前記被検体に関する第1情報に基づいて前記記憶部に前記画像を記憶させるか否かを判定する判定アルゴリズムを有してもよい。
当該構成によれば、判定アルゴリズムが、画像が有用であるか否かを判定するアルゴリズムである場合、有用な画像を記憶部に記憶させることができる。
上記一側面に係る検査システムにおいて、前記第1情報は、前記第1判定部において過去に不良品と判定され、前記記憶部に記憶されている前記被検体に関する第2情報の分布と、前記第1情報の分布と、を区切る判定基準を含み、前記判定アルゴリズムは、判定対象の前記被検体に関する第3情報と前記判定基準との差分が所定値以下の場合に前記記憶部に前記画像を記憶させることを含んでもよい。
当該構成によれば、不良品判定画像に近い良品判定画像を記憶部に多く記憶させることができる。よって、記憶部に記憶される不良品判定画像及び良品判定画像を教師データとする識別器が生成され、第1判定部において識別器により画像に写る被検体が不良品か否かが識別される場合、不良品と良品との境界近傍の画像のサンプル数が多いため、識別器の精度は向上する。よって、不良品判定画像と良品判定画像とを判定する第1判定部の判定精度は向上する。また、識別器が良品と識別して出荷された製品が実は不良品であった場合、不良品判定画像に近い良品判定画像を確認することで、誤識別の要因を容易に検証することができる。このような構成は、有用な良品判定画像を記憶部に記憶させることができるといえる。
上記一側面に係る検査システムにおいて、前記判定アルゴリズムは、判定対象の前記被検体に関する第3情報が前記第1情報の分布の外れ値であるか否かを判定し、前記第3情報が前記外れ値である場合に、前記記憶部に前記画像を記憶させることを含んでもよい。
当該構成によれば、発生頻度の低い標準的ではない良品判定画像を記憶部に記憶させることができる。よって、発生頻度が高く標準的な良品判定画像からでは得ることが困難な希少な情報を多く得ることが可能となる。そして、希少な情報を画像に写る被検体が不良品か否かを判定することに役立てることで、第1判定部の検査精度を向上させることができる。
上記一側面に係る検査システムにおいて、前記判定アルゴリズムは、判定対象の前記被検体に関する第3情報が、前記第1情報の分布の中でサンプル数が第2所定値未満の領域に属する場合に、前記記憶部に前記画像を記憶させることを含んでもよい。
当該構成によれば、サンプル数の少ない良品画像を記憶部に記憶させることができる。よって、サンプル数の多い良品画像からでは得ることが困難な希少な情報を多く得ることが可能となる。そして、希少な情報を画像に写る被検体が不良品か否かを判定することに役立てることで、第1判定部の検査精度を向上させることができる。
上記一側面に係る検査システムにおいて、前記判定アルゴリズムは、前記画像と、過去に不良品と判定された前記被検体、あるいは過去に前記第1判定部により不良品か否かの判定において誤判定された前記被検体が写る第2画像と、の類似度を判定し、前記画像と前記第2画像とが類似していると判定された場合に、前記記憶部に前記画像を記憶させることを含んでもよい。
当該構成によれば、例外的に発生した画像を記憶部に記憶させることができる。そして、記憶させた第2画像と類似する画像を、画像に写る被検体が不良品か否かを判定することに役立てることで、第1判定部の検査精度を向上させることができる。
上記一側面に係る検査システムにおいて、前記判定アルゴリズムは、前記画像と、過去に良品と判定された前記被検体の検査に関する前記第1情報から推定される第3画像と、の類似度を判定し、前記画像と前記第3画像とが類似していないと判定された場合に、前記記憶部に前記画像を記憶させることを含んでもよい。
当該構成によれば、第1情報から推定される第3画像と類似していない例外的な画像を記憶部に記憶させることができる。そして、記憶させた第3画像と類似していない画像を、画像に写る被検体が不良品か否かを判定することに役立てることで、第1判定部の検査精度を向上させることができる。
上記一側面に係る検査システムにおいて、前記判定アルゴリズムを更新する判定アルゴ
リズム更新部を更に備えてもよい。
当該構成によれば、第2判定部による判定の精度を向上させることができる。また、判定アルゴリズムを含む第2判定部が検査機に設けられ、判定アルゴリズム更新部が検査機とは別のサーバに設けられる場合、検査機における判定アルゴリズムを更新する処理負荷は低減される。よって、判定アルゴリズムを更新する処理が実行されることで検査サイクルタイムに及ぼされる影響は低減される。
上記一側面に係る検査システムにおいて、前記記憶部により記憶される前記画像の記憶形式を設定する記憶形式設定部を更に備えてもよい。
当該構成によれば、良品判定画像の記憶形式を目的に応じて高品質あるいは低品質に設定することができる。よって、記憶部に記憶される画像のデータ量を削減することができる。よって、記憶部の記憶容量へ及ぼす影響は低減される。
上記一側面に係る検査システムにおいて、前記記憶部により記憶された前記画像を前記記憶部から削除する画像削除部を更に備えてもよい。
当該構成によれば、記憶部に記憶されている画像のデータ量を削減することができる。よって、記憶部の記憶容量へ及ぼす影響は低減される。
また、本発明は、一側面においては装置の側面から捉えることができる。すなわち、本発明の一側面に係る検査装置は、被検体を撮像する撮像部と、前記撮像部により撮像された前記被検体が写る画像に写る前記被検体が不良品か否かを判定する第1判定部と、前記第1判定部による判定結果と、前記被検体に関する第1情報と、に基づいて、前記画像の保存の要否を判定する第2判定部と、を備える。
また、本発明は、一側面においてはプログラムの側面から捉えることができる。すなわち、本発明の一側面に係る検査プログラムは、被検体を撮像する撮像ステップと、前記撮像ステップにおいて撮像された前記被検体が写る画像を記憶部に記憶する記憶ステップと、前記画像に写る前記被検体が不良品か否かを判定する第1判定ステップと、前記第1判定ステップにおける判定結果と、前記記憶部に記憶されている前記被検体に関する第1情報と、に基づいて、前記記憶部に前記画像を記憶させるか否かを判定する第2判定ステップと、を含む、検査プログラムである。
本開示によれば、不良品判定画像だけでなく良品判定画像も保存する場合に、有用な良品判定画像を可及的に保存し、かつ記憶容量および検査サイクルタイムへの影響を可及的に低減することのできる技術を提供することができる。
図1は、実施形態に係る検査システムの適用例を例示している。 図2は、実施形態に係る検査システムの概要を例示している。 図3は、検査機において実行される検査の処理フローの概要を示している。 図4は、画像保存要否判定部が、良品と判定されたワークが写る画像の保存が必要か否かを判定する場合の条件を図示している。 図5は、検査機とサーバによって実現される処理のフローチャートの一例を示している。 図6は、検査機とサーバによって実現される処理のフローチャートの別例を示している。 図7は、第1変形例に係る検査システムの概要を例示している。 図8は、第1変形例に係る検査機とサーバによって実現される処理のフローチャートの一例を示している。 図9は、第2変形例に係る検査システムの概要を例示している。 図10は、第2変形例に係る検査機において実行される検査の処理フローの概要を示している。 図11は、第2変形例に係る検査機とサーバによって実現される処理のフローチャートの一例を示している。 図12は、第2変形例に係る検査機とサーバによって実現される処理のフローチャートの一例を示している。
§1 適用例
図1は、本実施形態に係る検査システム1の適用例を例示している。検査システム1は、検査機10と、サーバ20と、を備える。検査機10と、サーバ20とは、ネットワーク(N)によって相互に接続される。
検査機10では、検査対象のワークを撮像し、撮像された画像に写るワークが不良品であるか否かの判定が行われる。そして、検査機10は、ワークが不良品である場合に撮像された不良品判定画像を保存する決定を行う。また、検査機10では、ワークが不良品ではない場合であっても、撮像された良品判定画像を所定条件下で保存する決定を行う。
サーバ20には、検査機10において保存することが決定された画像が実際に保存される。また、サーバ20には、検査機10において実行された検査の結果情報も保存される。
このような検査システム1によれば、良品判定画像を選別して保存できる。よって、検査のために有用な良品判定画像を保存することができる。よって、検査機10又はサーバ20の記憶容量へ及ぼす影響は低減される。また、検査機10におけるワークが不良品であるか否かの判定処理の少なくとも一部の処理がサーバ20において実行される場合、検査機10における判定処理の負荷は低減される。よって、検査サイクルタイムへの影響は低減される。
§2 構成例
[システム概要]
図2は、本実施形態に係る検査システム1の概要を例示している。検査システム1は、検査機10と、サーバ20と、目視端末30と、を備える。検査機10と、サーバ20と、目視端末30とは、ネットワーク(N)によって相互に接続される。ネットワークは、例えばインターネット等の世界規模の公衆通信網であるWAN(Wide Area Network)、又はLAN(Local Area Network)を含む。また、ネットワークには、携帯電話等の電話通信網、WiFi(登録商標)等の無線通信網が含まれてもよい。
検査機10では、検査対象のワークを撮像し、撮像された画像に写るワークが不良品であるか否かの判定が行われる。そして、検査機10は、ワークが不良品と判定された場合に撮像された画像を保存する決定を行う。また、検査機10では、ワークが良品と判定された場合であっても、所定条件下で撮像された画像を保存する決定を行う。
サーバ20には、検査機10において保存することが決定された画像が実際に保存される。また、サーバ20には、検査機10において実行された検査の結果情報も保存される
目視端末30では、不良品であると判定されたワークが実際に不良品であるか否かをユーザに確認させるために、サーバ20に保存されている不良品判定画像が表示される。
[検査機10の構成]
次に、各装置のハードウエア構成及び機能構成を説明する。検査機10は、CPU等のプロセッサ、RAMやROM等の主記憶装置、EPROM、ハードディスクドライブ等の補助記憶装置、撮像装置、及びNIC(Network Interface Card)や無線回路等の通信モジュールを有する。補助記憶装置には、オペレーティングシステム(OS)、各種プログラム、各種テーブル形式の情報等が格納されている。そして補助記憶装置に格納されたプログラムが主記憶装置の作業領域にロードされて実行されることで、後述する各構成部等が制御され所定の目的に合致した各機能を実現することができる。なお、補助記憶装置には、ワーク情報101が保存されている。ワーク情報101は、検査対象のワークのロット・品番・ベンダ等の情報を含む。
また、検査機10は、制御部102を備える。制御部102は、CPU等のプロセッサ、記憶装置、及び通信モジュールを含んで構成される。制御部102は、後述する各機能構成部の制御を行う。
また、検査機10は、撮像部103を備える。撮像部103は、撮像装置を含んで構成される。撮像装置は、例えば可視光やX線をワークへ照射する。そして、ワークにおいて反射した可視光やX線を集め、ワークに関する画像を生成する。生成された画像は、例えばワークが写る一般的な2次元画像を含む。また、生成された画像は、例えばワークの高さ方向のプロファイル、又は被検体の3次元画像などデータ量が多い画像も含む。
また、検査機10は、検査部104を備える。検査部104は、撮像部103により撮像された画像からワークを識別する。そして、識別されたワークが不良品か否かの判定を行う。ワークの識別及びワークが不良品であるか否かの判定には、例えば所定の画像処理による欠陥抽出手法が用いられる。なお、検査部104は、本開示の「第1判定部」の一例である。
また、検査機10は、画像保存部105を備える。画像保存部105は、通信モジュールを含んで構成される。画像保存部105は、保存することが判定された画像をサーバ20へ送信する。
また、検査機10は、画像保存要否判定部106を備える。画像保存要否判定部106は、撮像部103により撮像された画像を保存するか否かを判定する(詳細は後述する)。なお、画像保存要否判定部106は、本開示の「第2判定部」の一例である。
また、検査機10の記憶装置には、画像保存履歴107が保存される。画像保存履歴107は、過去に検査したワークの検査結果情報を含む。また、画像保存履歴107は、画像保存したか否かの記録情報を含む。
[サーバ20の構成]
サーバ20は、CPU等のプロセッサ、RAMやROM等の主記憶装置、EPROM、ハードディスクドライブ等の補助記憶装置、及びNIC(Network Interface Card)や無線回路等の通信モジュールを有するコンピュータである。補助記憶装置には、オペレーティングシステム(OS)、各種プログラム、各種テーブル形式の情報等が格納されている。そして補助記憶装置に格納されたプログラムが主記憶装置の作
業領域にロードされて実行されることで、各構成部等が制御され所定の目的に合致した各機能を実現することができる。
また、サーバ20の補助記憶装置には、検査結果201が保存される。検査結果201は、検査機10における検査においてワークが不良品あるいは良品と判定された場合の情報を含む。また、検査結果201は、検査機10において一旦不良品と判定されたワークが写る不良品判定画像を目視により判定した結果情報を含む。また、検査結果201は、検査における所定の計測値、検査機10のID(Identification)、ワーク情報を含む。また、検査結果201は、不良品か否かの検査工程とは別の検査工程の検査結果も含む。また、これらの検査結果201は、ワークが不良品であるか否かに関わらず保存される。
また、サーバ20の補助記憶装置には、画像202が保存される。画像202は、検査機10の画像保存部105から送信された不良品判定画像及び良品判定画像を含む。なお、検査結果201及び画像202が保存されるサーバ20の補助記憶装置は、本開示の「記憶部」の一例である。
[目視端末30の構成]
目視端末30は、CPU等のプロセッサ、RAMやROM等の主記憶装置、EPROM、ハードディスクドライブ等の補助記憶装置、表示装置、通信モジュールを有するコンピュータである。補助記憶装置には、オペレーティングシステム(OS)、各種プログラム、各種テーブル形式の情報等が格納されている。そして補助記憶装置に格納されたプログラムが主記憶装置の作業領域にロードされて実行されることで、各構成部等が制御され所定の目的に合致した各機能を実現することができる。
目視端末30は、目視検査部301を備える。目視検査部301は、表示装置を含んで構成される。目視検査部301は、検査機10で不良品と判定された不良品判定画像を表示装置に表示する。ユーザは、表示装置に表示される不良品判定画像を目視することにより、画像に写るワークが実際に不良品であるか否かを確認することができる。
また、目視端末30は、画像読出し部302を備える。画像読出し部302は、通信モジュールを含んで構成される。画像読出し部302は、サーバ20から不良品判定画像を取得する。そして、取得した不良品判定画像を目視検査部301に入力する。
(検査機10における検査の処理フロー)
図3は、検査機10において実行される検査の処理フローの概要を示している。
(S101)
ステップS101では、撮像部103が検査対象のワークを撮像する。
(S102)
ステップS102では、検査部104が、ステップS101において撮像された画像からワークを識別する。ここで、サーバ20に保存されている不良品判定画像及び良品判定画像(後述する)を教師データとする識別器が予め生成されており、当該識別器によりワークは識別される。そして、検査部104は識別されたワークが不良品であるか否かを判定する。
(S103)
ステップS103では、ステップS102においてワークが不良品であると判定された場合、画像保存部105が、ワークが写る不良品判定画像をサーバ20へ送信する。
(S104)
ステップS104では、ステップS102においてワークが良品と判定された場合、画像保存要否判定部106が良品と判定されたワークが写る画像の保存が必要か否かを判定する(詳細は後述する)。そして、画像の保存が必要と判定された場合、ステップS103へ進む。
(S105)
ステップS105では、制御部102が検査結果情報をサーバ20へ送信する。
(S106)
ステップS106では、制御部102が、検査結果情報を画像保存履歴として記憶装置に保存する。また、制御部102は、画像を保存したか否かに関する記録を画像保存履歴として記憶装置に保存する。また、制御部102は、画像保存履歴がすでに記憶装置に保存されている場合は、保存されている記憶装置を更新する。
図4は、ステップS104において画像保存要否判定部106が、良品と判定されたワークが写る画像の保存が必要か否かを判定する場合の条件を図示している。画像保存要否判定部106は、例えば以下の5通りの判定条件を有し、これらの判定条件のうち何れか一つが当てはまる場合に良品判定画像の保存が必要と判定する。
(1)過去に不良品と判定されたワークの検査において計測された計測値の分布(本発明の「第1情報のうちの計測情報」の一例)と、過去に良品と判定されたワークの検査において計測された計測値の分布(本発明の「第2情報」の一例)とを区切る判定基準と、検査対象のワークの検査において計測された計測値(本発明の「第3情報」の一例)と、の差分が規定値(本発明の「第1所定値」の一例)以下である場合
(2)検査において計測された計測値(本発明の「第1情報のうちの計測情報」の一例)が、過去に良品と判定されたワークの検査における計測値の分布(本発明の「第1情報のうちの計測情報」の一例)の端N%に属する(本発明の「外れ値」の一例)場合
(3)過去に良品と判定されたワークの検査における計測値の分布(本発明の「第1情報のうちの計測情報」の一例)をN領域に分けた時に、検査において計測された計測値(本発明の「第3情報」の一例)が、サンプリング数が規定値(本発明の「第2所定値」の一例)に満たない領域に属する場合
(4)検査対象のワークが写る画像と、過去に不良品と判定されたワーク、あるいは過去に誤判定されたワークが写る画像(本発明の「第2画像」の一例)とが類似している場合
(5)検査対象のワークが写る画像と、過去に良品と判定されたワークの検査における計測値(本発明の「第1情報」の一例)から推定される画像(本発明の「第3画像」の一例)と、が類似していない場合
上記の(1)の条件を課すことにより、不良品に近いグレーゾーンの良品が写る画像が保存される。
また、(2)の条件を課すことにより、良品である場合の計測値の分布の外れ値に相当するワークとして画像が保存される。
また、(3)の条件を課すことにより、過去に良品と判定されたワークの検査における計測値の分布からみてサンプリング数が少ない領域の画像が保存される。
また、(4)の条件を課すことにより、イレギュラーな画像が保存される。なお、誤判
定されたワークとは、検査機10がステップS102において不良と判定したが、目視端末30に表示された画像をユーザが目視で検査することにより良品であると確認されたワークである。また、画像の類似度判定には、公知の機械学習手法が利用される。
また、(5)の条件を課すことにより、イレギュラーな画像が保存される。なお、画像の類似度判定には、例えば公知の機械学習手法が利用される。
又は、画像保存要否判定部106は、上記の(1)−(5)の条件以外にも、過去の検査情報やワークの生産ラインのリアルタイムな情報(本発明の「第1情報」の一例)を利用し、単体の検査機10における情報のみでは判断が困難な良品判定画像について、保存が必要か否かを判定してもよい。このような保存判定に利用される本発明の「第1情報」の一例としては、複数の計測項目毎の計測値の分布情報が挙げられる。また、本発明の「第1情報」の一例としては、複数の計測項目の組み合わせ(AND/OR)による分布情報が挙げられる。また、本発明の「第1情報」の一例としては、複数の計測項目の組み合わせ(AND/OR)による分布と、目視結果との関係性の情報が挙げられる。また、本発明の「第1情報」の一例としては、過去のワークの生産状況を考慮した分布情報(1週間/1ヶ月/半年/1年/3年ごとの分布等)が挙げられる。また、本発明の「第1情報」の一例としては、ワークの生産ライン毎及び検査機10毎の分布情報が挙げられる。また、本発明の「第1情報」の一例としては、ワークの生産ロットが切り替え直後か否か、あるいは生産ロットの切り替えから一定期間たった後か否かの情報が挙げられる。また、本発明の「第1情報」の一例としては、ワークの生産ラインの4M変動の変化(他の設備からの得た情報を含む)があった直後か否か、あるいは4M変動がない時か否かの情報が挙げられる。また、本発明の「第1情報」の一例としては、サーバ20の補助記憶装置に保存されている過去に撮像されたワークが写る画像、又は当該画像から抽出した特徴量(上述の(4)の類似度の判定に用いる)が挙げられる。
(検査システム1の処理フロー)
次に、検査機10とサーバ20によって実現される処理の一例を説明する。図5は、検査機10とサーバ20によって実現される処理のフローチャートの一例を示している。図5に示される例は、検査対象のワークが不良品と判定される場合のフローチャートを例示している。
(S1001)
ステップS1001では、検査機10の撮像部103が検査対象のワークを撮像する。
(S1002)
ステップS1002では、検査機10の検査部104が、ステップS1001において撮像された画像からワークを識別する。そして、検査部104は、識別されたワークが不良品であると判定する。
(S1003)
ステップS1003では、検査機10の画像保存部105が、ステップS1002において不良品であると判定されたワークが写る不良品判定画像をサーバ20へ送信する。そして、サーバ20においては、不良品判定画像が検査機10から受信される。そして、サーバ20の記憶装置に不良品判定画像が保存される。
(S1004)
ステップS1004では、検査機10の制御部102がサーバ20に検査結果情報を送信する。そして、サーバ20においては、検査結果情報が検査機10から受信される。そして、サーバ20においては、検査結果情報が記憶装置に保存される。
(S1005)
ステップS1005では、検査機10の制御部102が検査結果情報を画像保存履歴として記憶装置に保存する。また、制御部102は、画像を保存したことに関する記録を画像保存履歴として記憶装置に保存する。また、制御部102は、画像保存履歴がすでに記憶装置に保存されている場合は、保存されている画像保存履歴を更新する。
また、図6は、検査機10とサーバ20によって実現される処理のフローチャートの別例を示している。図6に示される例は、検査対象のワークが良品と判定される場合のフローチャートを例示している。
(S1101)
ステップS1101では、検査機10の撮像部103が検査対象のワークを撮像する。
(S1102)
ステップS1102では、検査機10の検査部104が、ステップS1101において撮像された画像からワークを識別する。そして、検査部104は、識別されたワークを良品と判定する。
(S1103)
ステップS1103では、検査機10の画像保存要否判定部106が、ステップS1102において良品と判定されたワークが写る画像の保存が必要か否かを判定する。判定条件には、図4に示されるような条件のうちの少なくとも何れかひとつが適用される。ここでは、画像保存要否判定部106が画像の保存が必要と判定したものとする。
(S1104)
ステップS1104では、検査機10の画像保存部105が、ステップS1102において良品と判定されたワークが写る良品判定画像をサーバ20へ送信する。そして、サーバ20においては、良品判定画像が検査機10から受信される。そして、サーバ20の記憶装置に良品判定画像が保存される。
その後、上述したステップS1004−ステップS1005の処理が実行される。すなわち、検査機10の制御部102がサーバ20に検査結果情報を送信し、サーバ20においては検査結果情報が記憶装置に保存される。また、検査機10の制御部102が検査結果情報、及び画像を保存したことに関する記録を画像保存履歴として記憶装置に保存する。また、制御部102は、画像保存履歴がすでに記憶装置に保存されている場合は、保存されている画像保存履歴を更新する。
[作用・効果]
上記のような検査システム1によれば、サーバ20の記憶装置に記憶させる良品判定画像を検査部104は選別している(ステップS104)。ここで、検査部104がサーバ20の記憶装置へ記憶させるか否かの条件の一つとして、(1)過去に不良品と判定されたワークの検査において計測された計測値の分布、及び過去に良品と判定されたワークの検査において計測された計測値の分布を区切る判定基準と、検査対象のワークの検査において計測された計測値と、の差分が規定値以下であることが示されている。このような条件が課されることにより、不良品判定画像に近い良品判定画像を記憶装置に多く記憶させることができる。よって、不良品と良品との境界近傍の画像のサンプル数が多く記憶されるため、これらの画像を教師データとする識別器であって、ステップS102において撮像画像に写るワークが不良品か否かを判定する時に使用される識別器の精度は向上する。また、識別器が良品と識別して出荷された製品が実は不良品であった場合、不良品判定画
像に近い良品判定画像を確認することで、誤識別の要因を容易に検証することができる。このような検査システム1は、有用な良品判定画像をサーバ20の記憶装置に記憶させているといえる。
また、検査部104がサーバ20の記憶装置へ記憶させるか否かの条件の一つとして、(2)検査において計測された計測値が、過去に良品と判定されたワークの検査における計測値の分布の端N%に属することが示されている。このような条件が課されることにより、サンプル数の少ない良品判定画像をサーバ20の記憶装置に記憶させることができる。よって、サンプル数の多い良品判定画像からでは得ることが困難な希少な情報を多く得ることが可能となる。そして、このような情報をステップS102におけるワークの不良品か否かの判定に役立てることで、検査精度を向上させることができる。
また、検査部104がサーバ20の記憶装置へ記憶させるか否かの条件の一つとして、(3)過去に良品と判定されたワークの検査における計測値の分布をN領域に分けた時に、検査において計測された計測値が、サンプリング数が規定値に満たない領域に属する場合が示されている。このような条件が課されることにより、サンプル数の少ない良品判定画像をサーバ20の記憶装置に記憶させることができる。よって、サンプル数の多い良品判定画像からでは得ることが困難な希少な情報を多く得ることが可能となる。そして、このような情報をステップS102におけるワークの不良品か否かの判定に役立てることで、検査精度を向上させることができる。
また、検査部104がサーバ20の記憶装置へ記憶させるか否かの条件の一つとして、(4)検査対象のワークが写る画像と、過去に不良品と判定されたワーク、あるいは過去に誤判定されたワークが写る画像とが類似している場合が示されている。このような条件が課されることにより、誤判定されやすい良品判定画像を記憶装置に多く記憶させることができる。よって、これらの画像を教師データとする識別器であって、ステップS102において撮像画像に写るワークが不良品か否かを判定する時に使用される識別器の精度は向上する。
また、検査部104がサーバ20の記憶装置へ記憶させるか否かの条件の一つとして、(5)検査対象のワークが写る画像と、過去に良品と判定されたワークの検査における計測値から推定される画像と、が類似していない場合が示されている。このような条件が課されることにより、過去のデータから得ることが困難な希少な情報を多く得ることが可能となる。そして、このような情報をステップS102におけるワークの不良品か否かの判定に役立てることで、検査精度を向上させることができる。
また、上記のような検査システム1によれば、不良品判定画像及び良品判定画像は、サーバ20の記憶装置に保存される。よって、検査機10の記憶装置の記憶容量へ及ぼす影響は低減される。
なお、上記の実施形態において、S102でワークが不良品であると判定された場合、サーバ20の補助記憶装置に保存する不良品画像を選別してもよい。このような判定処理が実行されることにより、検査精度を向上させるための有益な不良品画像が優先的に保存される。
また、上記の実施形態において、サーバ20の補助記憶装置に保存されている検査結果201及び画像202の情報のうちの少なくとも一部が検査機10の記憶装置に保存されていてもよい。
§3 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
<3.1>
[システム概要]
図7は、変形例に係る検査システム1Aの概要を例示している。検査システム1Aは、複数の検査機10Aと、サーバ20Aと、目視端末30と、を備える。複数の検査機10Aと、サーバ20Aと、目視端末30とは、ネットワーク(N)によって相互に接続される。
変形例に係る検査システム1Aでは、サーバ20Aにおいて、複数の検査機10A、及び複数の生産ラインに関するデータが保存される。そして、検査機10Aの画像保存要否判定部106Aが良品判定画像を保存するか否かを判定する際に使用する判定アルゴリズムを更新するか否かの判断が当該データに基づいて実行される。
より詳細には、サーバ20Aの記憶装置には工程情報204が保存される。工程情報204は、例えば複数の検査機10A、及び複数の生産ラインに関するデータである。すなわち、工程情報204は、各ワークの生産時の情報、印刷機ID、マウンタID、オペレータID、及び保全作業履歴などを含む。
また、サーバ20Aは、判定アルゴリズム更新部205を備える。判定アルゴリズム更新部205は、図4に示される判定条件を含む判定アルゴリズムを工程情報204に基づいて更新するか否かを判断する。そして、判定アルゴリズムを更新する必要があると判定された場合、判定アルゴリズム更新部205が実際に判定アルゴリズムの更新を行う。なお、判定アルゴリズムの更新処理は、例えば統計値の算出・画像類似度算出エンジンのための機械学習といった負荷が比較的重い処理を含む。
ここで、判定アルゴリズム更新部205が、判定アルゴリズムの更新が必要であると判断する場合は、例えば過去に良品と判定されたワークの検査における計測値の分布が前回の判定アルゴリズムの更新時から変動している場合である。このような場合、判定アルゴリズム更新部205は、検査対象のワークの計測値がどの範囲であれば保存するかを示すパラメータを更新する。
また、更新が必要であると判断される場合は、例えばワークの生産ロットが切り替わった直後の場合である。また、例えば保全作業の直後、あるいはワークに搭載する部品を別メーカの製品に切り替えた直後の場合も更新が必要であると判断される。このような場合、判定アルゴリズム更新部205は、所定期間に良品判定画像をすべて保存するように判定アルゴリズムを更新する。又は、判定アルゴリズム更新部205は、良品判定画像のサンプリング率をあげるように判定アルゴリズムを更新する。
また、例えば画像保存要否判定部106Aが、(4)検査対象のワークが写る画像と、過去に不良品と判定されたワーク、あるいは過去に誤判定されたワークが写る画像とが類似している場合、又は(5)検査対象のワークが写る画像と、過去に良品と判定されたワークの検査における計測値から推定される画像と、が類似していない場合に、良品判定画像を保存すると判定する判定アルゴリズムを使用する場合、(4)又は(5)における類似度判定を行う機械学習手法が更新された場合に、判定アルゴリズムの更新が必要であると判断される。このような場合、判定アルゴリズム更新部205は、判定アルゴリズムに
含まれる既存の機械学習手法を新たな機械学習手法に置き換える処理を行う。
また、変形例に係る検査システム1Aにおいては、画像保存履歴203がサーバ20Aの記憶装置に保存される。よって、複数の検査機10Aにおける検査結果情報、及び画像を保存したことに関する記録情報はサーバ20Aに集約される。
(検査システム1Aの処理フロー)
次に、検査機10Aとサーバ20Aによって実現される処理の一例を説明する。図8は、検査機10Aとサーバ20Aによって実現される処理のフローチャートの一例を示している。
(S2001)
ステップS1001では、検査対象のワークの検査前に判定アルゴリズムの更新の要否を検査機10Aの画像保存要否判定部106Aがサーバ20Aの判定アルゴリズム更新部205に問い合わせる。
(S2002)
ステップS2002では、ステップS2001において検査機10Aの画像保存要否判定部106Aからの問い合わせを判定アルゴリズム更新部205が受信すると、判定アルゴリズム更新部205が判定アルゴリズムの更新が必要か否かを判定する。
(S2003)
ステップS2003では、ステップS2002において判定アルゴリズムの更新が必要と判定された場合、判定アルゴリズム更新部205が判定アルゴリズムの更新を行う。そして、更新された判定アルゴリズムは、サーバ20Aの判定アルゴリズム更新部205から検査機10Aの画像保存要否判定部106Aに送信される。一方、ステップS2002において判定アルゴリズムの更新が必要ではないと判定された場合、更新が不要であることを示す信号がサーバ20Aの判定アルゴリズム更新部205から検査機10Aの画像保存要否判定部106Aに送信される。
上記のような処理が実行された後、検査対象のワークの検査が実行される。すなわち、ステップS1001あるいはステップS1101以降の処理が実行される。なお、検査システム1Aでは、検査機10の画像保存履歴107に相当する画像保存履歴203がサーバ20Aの記憶装置に保存される。よって、ステップS1005において、検査機10Aの制御部102が、検査結果情報、及び画像を保存したことに関する記録をサーバ20Aに送信する。そして、サーバ20Aにおいて、受信した情報は画像保存履歴203として記憶装置に保存される。
[作用・効果]
上記のような検査システム1Aによれば、検査機10Aにおいて撮像画像を保存するか否かの判定を行う(ステップS104)際に使用される判定アルゴリズムが、サーバ20Aにおいて更新され得る。よって、ステップS104における判定の精度を向上させることができる。
また、上記のような検査システム1Aによれば、処理負荷が比較的重い判定アルゴリズムの更新は、サーバ20Aにおいて実行されている。そして、更新された判定アルゴリズムは検査機10Aに送信され、検査機10Aにおいて撮像画像を保存するか否かの判定に使用されている。よって、検査機10Aにおける判定処理(ステップS104)の負荷は低減される。よって、検査サイクルタイムへの影響は低減される。
<3.2>
[システム概要]
図9は、変形例に係る検査システム1Bの概要を例示している。検査システム1Bは、複数の検査機10Bと、サーバ20Bと、目視端末30と、を備える。複数の検査機10Bと、サーバ20Bと、目視端末30とは、ネットワーク(N)によって相互に接続される。
変形例に係る検査システム1Bでは、検査機10Bにおける画像保存要否判定部106Bは、検査対象のワークが写る画像を保存するか否かを判定する場合に、検査プログラムのチューニング用に当該画像が必要か否かを判定する。また、画像保存要否判定部106Bは、検査対象のワークが写る画像を保存するか否かを判定する場合に、ワークのトレーサビリティを高めるために、画像を長期保存するか否かを判定する。また、画像保存要否判定部106Bは、目視作業者の判定作業を支援する目的で、目視端末30の表示装置に良品例を表示するために良品画像を保存するか否かを判定する。
そして、検査機10Bは、保存品質判定部108を備える。保存品質判定部108は、画像保存要否判定部106Bによって画像が検査プログラムのチューニング用に必要であると判定された場合、画像を可逆フォーマットで保存することを決定する。このような判断により、画像は高品質でサーバ20Bの記憶装置に保存されることになる。また、保存品質判定部108は、画像保存要否判定部106Bによって画像を長期保存すると判定された場合、画像を非可逆フォーマットで保存することを決定する。このような判断により、画像は低品質で長期間にわたってサーバ20Bの記憶装置に保存されることになる。また、目視端末30の表示装置に表示される良品画像は、低品質であっても目視作業者の判定作業に及ぼす影響は小さいと考えられる。そこで、画像保存要否判定部106Bによって目視作業者の支援目的で画像を保存すると判定された場合、保存品質判定部108は画像を非可逆フォーマットで保存することを決定する。このような判断により、画像は低品質でサーバ20Bの記憶装置に保存されることになる。なお、保存品質判定部108は、本発明の「記憶形式設定部」の一例である。
また、サーバ20Bは、画像削除要否判定部207を備える。画像削除要否判定部207は、サーバ20Bの記憶装置に保存されているワークが写る画像を削除するか否かの判定を行う。そして、不要と判定された画像を画像削除要否判定部207は削除する。なお、画像削除要否判定部207は、本発明の「画像削除部」の一例である。
より詳細には、複数の検査機10Bから画像がサーバ20Bに収集された結果、適量を超えて類似度の高い画像が重複して記憶装置に保存されている場合、画像削除要否判定部207は該画像を削除する。又は、最新の画像を優先的に保存するために、画像削除要否判定部207は最新画像と入れ替えで古い画像を削除する。又は、ワークのトレーサビリティを高めるために長期保存していた画像が、所定期間を経過した場合に、画像削除要否判定部207は当該画像を削除する。又は、検査機10Bの設定が変更となった場合、変更以前の撮像条件により撮像された画像を画像削除要否判定部207は削除する。又は、すでに採用していないメーカのワークが写った画像を画像削除要否判定部207は削除する。
さらに、画像削除要否判定部207は、画像保存時の第1情報に加えて、下記のような保存時以降の情報を加味して画像を削除するか否かを判定してもよい。ここで、保存時以降の情報は、例えばサーバ20の補助記憶装置に保存される画像202が目視端末30の目視検査部301により目視端末の表示装置に表示され、表示された画像をユーザが目視確認した結果情報を含む。また、保存時以降の情報は、例えばサーバ20に保存する良品画像の選別(S104)時点までのワークの生産状況を考慮した分布情報を含む。また、
保存時以降の情報は、例えばワークの生産ライン毎、又は検査機10B毎の所定の分布情報を含む。また、保存時以降の情報は、例えばワークの生産ロットの分布情報を含む。また、保存時以降の情報は、例えば対象の部品の生産状況の情報(使用されなくなった部品のデータは削除対象にする)を含む。
(検査機10Bにおける検査の処理フロー)
図10は、検査機10Bにおいて実行される検査の処理フローの概要を示している。図10に示される処理フローは、図3に示される検査機10の処理フローに加えて、追加の処理が実行される。すなわち、ステップS102において撮像画像に写るワークが不良品と判定された場合、あるいはステップS102においてワークが良品と判定されたが、ステップS104において画像保存要否判定部106Bが画像の保存が必要と判定した場合、ステップS301の処理として保存品質判定部108が画像の保存品質を決定する。その後、ステップS105以降の処理が実行される。なお、検査システム1Bでは、画像保存履歴203は、検査機10Bからサーバ20Bに送信され、サーバ20Bの記憶装置に保存される(S106B)。
(検査システム1Bの処理フロー1)
次に、検査機10Bとサーバ20Bによって実現される処理の一例を説明する。図11は、検査機10Bとサーバ20Bによって実現される処理のフローチャートの一例を示している。図11に示される例は、検査対象のワークが不良品と判定される場合のフローチャートを例示している。
(S3001)
ステップS3001では、検査機10Bの撮像部103が検査対象のワークを撮像する。
(S3002)
ステップS3002では、検査機10Bの検査部104が、ステップS3001において撮像された画像からワークを識別する。そして、検査部104は、識別されたワークが不良品であると判定する。
(S3003)
ステップS3003では、ステップS3002において不良品と判定されたワークが写る不良品判定画像の保存品質を保存品質判定部108が決定する。
(S3004)
ステップS3004では、検査機10Bの画像保存部105が、ステップS3003において保存品質が決定された不良品判定画像を保存品質情報と共にサーバ20Bへ送信する。そして、サーバ20Bにおいては、不良品判定画像及び保存品質情報が検査機10から受信される。そして、サーバ20Bの記憶装置に不良品判定画像が、検査機10Bの保存品質判定部108が決定したフォーマットで保存される。
(S3005)
ステップS3005では、サーバ20Bの補助記憶装置に保存されるワークが写る画像を削除する必要があるか否かを画像削除要否判定部207が判定する。そして、画像を削除する必要があると判定された場合、画像削除要否判定部207は不要な画像を削除する。本ステップでは、画像削除要否判定部207は画像を削除する必要があると判定したものとし、不要な画像が削除される例を示している。
(S3006)
ステップS3006においては、検査機10Bの制御部102がサーバ20Bに検査結果情報を送信する。そして、サーバ20Bにおいては、検査結果情報がサーバ20Bの記憶装置に保存される。
(S3007)
ステップS3007においては、検査機10Bの制御部102が検査結果情報、及び画像を保存したことに関する記録情報をサーバ20Bに送信する。そして、サーバ20Bにおいては、検査結果情報及び画像を保存したことに関する記録情報は、画像保存履歴203として補助記憶装置に保存される。
(検査システム1Bの処理フロー2)
また、図12は、検査機10Bとサーバ20Bによって実現される処理のフローチャートの一例を示している。図12に示される例は、検査対象のワークが良品と判定される場合のフローチャートを例示している。
(S3101)
ステップS3101では、検査機10Bの撮像部103が検査対象のワークを撮像する。
(S3102)
ステップS3102では、検査機10Bの検査部104が、ステップS3101において撮像された画像からワークを識別する。そして、検査部104は、識別されたワークが良品と判定する。
(S3103)
ステップS3103では、検査機10Bの画像保存要否判定部106Bが、ステップS1102において良品と判定されたワークが写る画像の保存が必要か否かを判定する。ここでは、画像保存要否判定部が画像の保存が必要と判定したものとする。
(S3104)
ステップS3104では、ステップS3102において良品と判定されたワークが写る良品判定画像の保存品質を保存品質判定部108が決定する。
(S3105)
ステップS3105では、検査機10Bの画像保存部105が、ステップS3103において良品と判定されたワークが写る良品判定画像をサーバ20Bへ送信する。そして、サーバ20Bにおいては、良品判定画像が検査機10Bから受信される。そして、サーバ20Bの補助記憶装置に良品判定画像が保存される。
その後、上述したステップS3005−ステップS3007の処理と同様の処理が実行される。すなわち、サーバ20Bにおいては、画像削除要否判定部207が記憶装置に保存されるワークが写る画像を削除する必要があるか否かを判定する。そして、画像を削除する必要があると判定された場合、画像削除要否判定部207は判定した画像を削除する。また、検査機10Bの制御部102がサーバ20Bに検査結果情報を送信し、サーバ20Bにおいては検査結果情報が記憶装置に保存される。また、検査機10Bの制御部102が検査結果情報、及び画像を保存したことに関する記録情報をサーバ20Bに送信する。そして、サーバ20Bにおいては、検査結果情報及び画像を保存したことに関する記録情報は、画像保存履歴203として記憶装置に保存される。
[作用・効果]
上記のような検査システム1Bによれば、検査対象のワークが写る画像を保存するか否かを判定する場合に、検査プログラムのチューニング用に当該画像が必要か否かを画像保存要否判定部106Bが判定している。そして、検査プログラムのチューニング用に当該画像が必要と判定された場合に、画像を可逆フォーマットで保存することを決定している。このような判断により、画像は高品質でサーバ20Bの記憶装置に保存されることになる。よって、検査プログラムのチューニングの精度は向上する。
また、画像保存要否判定部106Bは、検査対象のワークが写る画像を保存するか否かを判定する場合に、ワークのトレーサビリティを高めるために、画像を長期保存するか否かを判定する。そして、画像を長期保存する必要があると判定された場合に、画像を非可逆フォーマットで保存することを決定している。このような判断により、画像は低品質で長期間にわたってサーバ20Bの記憶装置に保存されることになるが、保存される画像のデータ量の増大は抑制される。よって、サーバ20の記憶装置に及ぼす影響は低減される。
また、画像保存要否判定部106Bが目視作業者の支援目的で画像を保存すると判定した場合、保存品質判定部108は画像を非可逆フォーマットで保存することを決定している。このような判断により、画像は低品質でサーバ20Bの記憶装置に保存される。よって、サーバ20Bの記憶装置に保存されるデータ量の増大は抑制される。よって、サーバ20Bの記憶装置に及ぼす影響は低減される。
また、上記のような検査システム1Bによれば、適量を超えて類似度の高い画像が重複して記憶装置に保存されている場合、画像削除要否判定部207は該画像を削除している。又は、最新の画像を優先的に保存するために、画像削除要否判定部207は最新画像と入れ替えで古い画像を削除している。又は、ワークのトレーサビリティを高めるために長期保存していた画像が、所定期間を経過した場合に、画像削除要否判定部207は当該画像を削除している。又は、検査機10Bの設定が変更となった場合、変更以前の撮像条件により撮像された画像を画像削除要否判定部207は削除している。又は、すでに採用していないメーカのワークが写った画像を画像削除要否判定部207は削除している。よって、記憶装置に記憶されている画像のデータ量を削減することができる。よって、サーバ20Bの記憶装置の記憶容量へ及ぼす影響は低減される。
以上で開示した実施形態や変形例はそれぞれ組み合わせる事ができる。
1、1A、1B :検査システム
10、10A、10B :検査機
20、20A、20B :サーバ
30 :目視端末
101 :ワーク情報
102 :制御部
103 :撮像部
104 :検査部
105 :画像保存部
106、106A、106B :画像保存要否判定部
107、203 :画像保存履歴
108 :保存品質判定部
201 :検査結果
202 :画像
204 :工程情報
205 :判定アルゴリズム更新部
207 :画像削除要否判定部
301 :目視検査部
302 :画像読出し部

Claims (13)

  1. 被検体を撮像する撮像部と、
    前記撮像部により撮像された前記被検体が写る画像を記憶する記憶部と、
    前記画像に写る前記被検体が不良品か否かを判定する第1判定部と、
    前記第1判定部による判定結果と、前記記憶部に記憶されている前記被検体に関する第1情報と、に基づいて、前記記憶部に前記画像を記憶させるか否かを判定する第2判定部と、を備える、
    検査システム。
  2. 前記第2判定部は、前記第1判定部により前記被検体が良品と判定された場合、前記第1情報に基づいて前記記憶部に前記画像を記憶させるか否かを判定する、
    請求項1に記載の検査システム。
  3. 前記第2判定部は、前記記憶部に記憶されている過去に検査された前記被検体に関する第1情報に基づいて前記記憶部に前記画像を記憶させるか否かを判定する判定アルゴリズムを有する、
    請求項1又は2に記載の検査システム。
  4. 前記第1情報は、前記第1判定部において過去に不良品と判定され、前記記憶部に記憶されている前記被検体に関する第2情報の分布と、前記第1情報の分布と、を区切る判定基準を含み、
    前記判定アルゴリズムは、判定対象の前記被検体に関する第3情報と前記判定基準との差分が所定値以下の場合に前記記憶部に前記画像を記憶させることを含む、
    請求項3に記載の検査システム。
  5. 前記判定アルゴリズムは、判定対象の前記被検体に関する第3情報が前記第1情報の分布の外れ値であるか否かを判定し、前記第3情報が前記外れ値である場合に、前記記憶部に前記画像を記憶させることを含む、
    請求項3に記載の検査システム。
  6. 前記判定アルゴリズムは、判定対象の前記被検体に関する第3情報が、前記第1情報の分布の中でサンプル数が第2所定値未満の領域に属する場合に、前記記憶部に前記画像を記憶させることを含む、
    請求項3に記載の検査システム。
  7. 前記判定アルゴリズムは、前記画像と、過去に不良品と判定された前記被検体、あるいは過去に前記第1判定部により不良品か否かの判定において誤判定された前記被検体が写る第2画像と、の類似度を判定し、前記画像と前記第2画像とが類似していると判定された場合に、前記記憶部に前記画像を記憶させることを含む、
    請求項3に記載の検査システム。
  8. 前記判定アルゴリズムは、前記画像と、過去に良品と判定された前記被検体の検査に関する前記第1情報から推定される第3画像と、の類似度を判定し、前記画像と前記第3画像とが類似していないと判定された場合に、前記記憶部に前記画像を記憶させることを含む、
    請求項3に記載の検査システム。
  9. 前記判定アルゴリズムを更新する判定アルゴリズム更新部を更に備える、
    請求項3から8のうちいずれか一項に記載の検査システム。
  10. 前記記憶部により記憶される前記画像の記憶形式を設定する記憶形式設定部を更に備える、
    請求項1から9のうちいずれか一項に記載の検査システム。
  11. 前記記憶部により記憶された前記画像を前記記憶部から削除する画像削除部を更に備える、
    請求項1から10のうちいずれか一項に記載の検査システム。
  12. 被検体を撮像する撮像部と、
    前記撮像部により撮像された前記被検体が写る画像に写る前記被検体が不良品か否かを判定する第1判定部と、
    前記第1判定部による判定結果と、前記被検体に関する第1情報と、に基づいて、前記画像の保存の要否を判定する第2判定部と、を備える、
    検査装置。
  13. 被検体を撮像する撮像ステップと、
    前記撮像ステップにおいて撮像された前記被検体が写る画像を記憶部に記憶する記憶ステップと、
    前記画像に写る前記被検体が不良品か否かを判定する第1判定ステップと、
    前記第1判定ステップにおける判定結果と、前記記憶部に記憶されている前記被検体に関する第1情報と、に基づいて、前記記憶部に前記画像を記憶させるか否かを判定する第2判定ステップと、を含む、
    検査プログラム。
JP2020044419A 2020-03-13 2020-03-13 検査システム、検査装置、及び検査プログラム Pending JP2021144000A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020044419A JP2021144000A (ja) 2020-03-13 2020-03-13 検査システム、検査装置、及び検査プログラム
CN202080097994.7A CN115210559A (zh) 2020-03-13 2020-12-16 检查系统、检查装置以及检查程序
DE112020006893.5T DE112020006893T5 (de) 2020-03-13 2020-12-16 Prüfsystem, Prüfvorrichtung und Prüfprogramm
PCT/JP2020/047024 WO2021181793A1 (ja) 2020-03-13 2020-12-16 検査システム、検査装置、及び検査プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020044419A JP2021144000A (ja) 2020-03-13 2020-03-13 検査システム、検査装置、及び検査プログラム

Publications (1)

Publication Number Publication Date
JP2021144000A true JP2021144000A (ja) 2021-09-24

Family

ID=77671608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020044419A Pending JP2021144000A (ja) 2020-03-13 2020-03-13 検査システム、検査装置、及び検査プログラム

Country Status (4)

Country Link
JP (1) JP2021144000A (ja)
CN (1) CN115210559A (ja)
DE (1) DE112020006893T5 (ja)
WO (1) WO2021181793A1 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3484601B2 (ja) * 1997-08-27 2004-01-06 オムロン株式会社 画像処理装置
JP2001307100A (ja) * 2000-04-24 2001-11-02 Toshiba Corp 検査方法および検査装置
AU2001286261A1 (en) 2000-09-18 2002-03-26 Olympus Optical Co., Ltd. System and method for managing image data file
JP2010230452A (ja) * 2009-03-26 2010-10-14 Panasonic Electric Works Co Ltd 欠陥検査方法および欠陥検査システム
JP2012173017A (ja) 2011-02-18 2012-09-10 Hitachi High-Technologies Corp 欠陥分類装置
JP2013140041A (ja) * 2011-12-28 2013-07-18 Keyence Corp 外観検査装置、外観検査方法及びコンピュータプログラム
JP7024239B2 (ja) * 2017-07-25 2022-02-24 オムロン株式会社 画像処理システム、画像処理装置および画像処理プログラム
US10789703B2 (en) * 2018-03-19 2020-09-29 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
JP2019212073A (ja) * 2018-06-06 2019-12-12 アズビル株式会社 画像判別装置および方法

Also Published As

Publication number Publication date
WO2021181793A1 (ja) 2021-09-16
CN115210559A (zh) 2022-10-18
DE112020006893T5 (de) 2023-01-05

Similar Documents

Publication Publication Date Title
JP4014379B2 (ja) 欠陥レビュー装置及び方法
EP1324022B1 (en) Apparatus for inspecting wafer surface and method for inspecting wafer surface
WO2010076882A1 (ja) 画像分類基準更新方法、プログラムおよび画像分類装置
KR101784919B1 (ko) 텍스트 이미지의 트리밍 방법
US11430108B2 (en) Defect offset correction
JP5010207B2 (ja) パターン検査装置及び半導体検査システム
JP2007093304A (ja) 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体
US9869645B2 (en) System for non-destructive testing and method for processing data generated therein
CN111899231B (zh) 显示面板缺陷检测方法、装置、设备及存储介质
CN112381765A (zh) 基于人工智能的设备检测方法、装置、设备及存储介质
JP5071231B2 (ja) 部品実装基板の外観検査用画像の保存方法および復元方法、ならびに画像保存処理装置
WO2021181793A1 (ja) 検査システム、検査装置、及び検査プログラム
CN115937101A (zh) 质量检测方法、装置、设备及存储介质
US20220270232A1 (en) Apparatus for adjusting parameter related to defect detection for image processing for image processing, method for information processing, and program
WO2022134305A1 (zh) 晶圆缺陷检测方法和装置、设备及存储介质
CN113379726A (zh) 线路检测方法、装置、设备及计算机可读存储介质
US7646892B2 (en) Image inspecting apparatus, image inspecting method, control program and computer-readable storage medium
KR100779312B1 (ko) 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법
JP2000028539A (ja) 欠陥検出方法
JP2013205320A (ja) 検査条件決定方法、検査方法および検査装置
JP2021086382A (ja) 学習装置、検出装置、学習方法、及び学習プログラム
JPH08124977A (ja) 半導体装置不良解析システム
CN114841971A (zh) 金属块凹坑缺陷检测方法、系统及装置
CN112052727B (zh) 一种基于大数据的人像识别分析系统及方法
CN114897801A (zh) Aoi缺陷检测方法、装置和设备及计算机介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240528