JP2021515927A - 照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体 - Google Patents

照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体 Download PDF

Info

Publication number
JP2021515927A
JP2021515927A JP2020543594A JP2020543594A JP2021515927A JP 2021515927 A JP2021515927 A JP 2021515927A JP 2020543594 A JP2020543594 A JP 2020543594A JP 2020543594 A JP2020543594 A JP 2020543594A JP 2021515927 A JP2021515927 A JP 2021515927A
Authority
JP
Japan
Prior art keywords
lighting
image
parameters
parameter
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020543594A
Other languages
English (en)
Other versions
JP7028333B2 (ja
Inventor
洋介 成瀬
洋介 成瀬
真嗣 栗田
真嗣 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of JP2021515927A publication Critical patent/JP2021515927A/ja
Application granted granted Critical
Publication of JP7028333B2 publication Critical patent/JP7028333B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Manufacturing & Machinery (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

【課題】【解決手段】本発明は、対象を検査する際の照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体に関する。この方法は、対象を撮像する際の照明条件を規定する照明パラメータを変更できる光源によって照明し、複数のそのような照明パラメータでイメージセンサによって対応するラベルデータを有する対象を撮像し、複数の撮像画像を取得することと、撮像画像及び対応する照明パラメータを関連付けることによって得られた画像データセットに基づいて対象の推定画像を生成することと、推定画像及び対応するラベルデータを機械学習モデルの学習に適用し、機械学習モデルの推定結果とラベルデータとの比較結果に基づいて、照明条件を設定することと、を含む。したがって、操作が簡略化される。

Description

本発明は、工業用検出中の照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体に関する。
生産現場での製品の外観検査は、人と機械の入れ替えが最も少ない分野の一つであり、今後の人員削減のための自動化は、解決しなければならない重要な技術的課題である。近年、深層学習に代表される人工知能や機械学習技術の発達に伴い、検査自動化技術が飛躍的に向上している。しかしながら、外観検査やマシンビジョン等において、検査システム構築時における最も煩わしいフローは、照明の最適設計を含めたイメージングシステムの設計である。オペレーターが照明の最適設計を手動で行う場合、ワークの個体差に対応するために、対象として決定されたワークを変更し、手動調整ベースでの照明の最適化と検査アルゴリズムの調整を同時に交互に繰り返し実行して、予期される検出パフォーマンスを達成する必要があり、非常に時間がかかるという問題が存在する。さらに、照明がオペレーターによって容易に監視できるように調整されている場合、最適なチェック精度が常に達成されるとは限らないという問題も存在する。
これらの問題を解決する従来技術として、撮像画像に基づいて評価基準を算出し、それを最大化／最小化する結像及び照明パラメータを繰り返し算出する方法が存在する（特許文献１）。しかしながら、この方法によれば、現在撮像されている１つのワークの撮像画像に基づいて算出された評価値の最適化を実施することしかできず、複数のワーク間の差異の学習などの機械学習に基づく認識器（recognizer）の最適化を実施できない場合がある。
さらに、多数の組み合わせの結像及び照明パラメータが存在する可能性があり、同時に結像条件及び照明条件の変更、結像及び最適化を実行すると、相対的に長い時間がかかる場合があるという問題も存在する。
さらに、上記の問題は、生産現場での製品の外観検査中だけでなく、照明を当てた対象の撮像画像を入力として使用でき、機械学習によってさまざまな判定を行う他の判定装置（顔認識システムなど）にも存在する。
特許文献１：ＥＰ２８８７０５５Ａ１
本発明は、前述の問題の少なくとも一部またはすべてを解決するために採用される。
本発明は、機械学習ベースでの検査アルゴリズムのパラメータが照明の設計パラメータを含むという条件下で検査アルゴリズムのパラメータを最適化する方法を開示する。したがって、使用者は、検査アルゴリズムの損失値（判定条件下での正確率）を最大化する方法で、照明の最適化と検査アルゴリズムの最適化を同時に直接行うことができる。
（１）本発明の一態様によれば、画像を含む学習データを使用することにより生成された機械学習モデルを含む検査モジュールを使用して対象を検査する方法において、対象を撮像するとき、照明条件を規定する照明パラメータを変更できる光源によって対象を照明し、複数のそのような照明パラメータでイメージセンサによって対象を撮像し、複数の照明パラメータに対応する複数の撮像画像を取得し、対象は既知のラベルデータを有することと、撮像した画像と撮像した画像に対応する照明パラメータを関連付けることによって得られた画像データセットに基づいて、可変照明パラメータで対象を照明中の対象の推定画像を生成することと、対象の可変照明パラメータに対応する推定画像及び対応するラベルデータを機械学習モデルの学習に適用し、機械学習モデルの推定結果と対象のラベルデータの比較結果に基づいて、照明パラメータと検査アルゴリズムパラメータの両方を同時に最適化することで、機械学習モデルの照明条件と検査アルゴリズムパラメータの両方を同時に設定することを含む、ことを特徴とする対象を検査する際の照明条件を設定する方法を開示する。
したがって、機械学習モデルの推定結果と対象のラベルデータとの比較結果に基づいて、検査モジュールを使用して対象を検査する際に採用する照明条件を設定し、機械学習モデルの照明パラメータと検査アルゴリズムパラメータの最適化を同時に実行でき、操作が簡略化される。
（２）前述の方法において、可変照明パラメータで照明中の対象の推定画像の操作は、複数の種類の対象に対して、複数の対応するそのような画像データセットを準備することと、複数の画像データセットに基づいて、可変照明パラメータによる照明中に複数の種類の対象にそれぞれ対応する複数のそのような推定画像を生成することと、を含む。
したがって、この方法では、異なる種類の対象に最適な照明条件を設定することができ、検出モデルの汎用性を改善することができる。
（３）本発明の別の態様によれば、対象を検査する際の照明条件を設定する方法であって、画像を含む学習データを使用することにより生成された機械学習モデルを含む検査モジュールを使用して対象を検査する方法において、対象を撮像する際の照明条件を規定する照明パラメータを変更できる光源によって対象を照明し、複数の照明パラメータでイメージセンサによって対象を撮像し、複数の照明パラメータに対応する複数の撮像画像を取得し、対象は対応するラベルデータを有することと、撮像画像と撮像された画像に対応する照明パラメータを関連付けることによって得られた画像データセットに基づいて、可変照明パラメータで対象を照明中の推定画像を生成することと、可変照明パラメータに対応する推定画像を、既に学習を実行した機械学習モデルに適用することと、機械学習モデルの推定結果と対象のラベルデータの比較結果に基づき、検査モジュールを使用して対象を確認するときに採用する照明条件を、照明パラメータのみの最適化結果に応じて設定することと、を含む、ことを特徴とする方法を開示する。
前述の方法では、最初に検査アルゴリズムパラメータを決定し、次に推定画像により検査照明パラメータを決定する方法で、機械学習モデルの学習中のシステム演算量を削減し、システム負荷を低減し、照明パラメータの設定操作を簡略化することができる。
（４）前述の方法において、既に学習を実行した機械学習モデルに対して、可変照明パラメータに対応する推定画像を適用する操作は、対象の推定画像及び対応するラベルデータを含む学習データを、機械学習モデルの追加学習に適用し、機械学習モデルの検査アルゴリズムパラメータの一部または全てを更新することと、機械学習モデルの推定結果がラベルデータと一致するように、機械学習モデルの照明パラメータと検査アルゴリズムパラメータの一部または全ての両方を最適化することと、を含み、ここでラベルデータは対象の検査特徴を表す。
この方法により、方法の第２ステップで検査アルゴリズムパラメータ及び検査照明パラメータの一部または全てを同時に最適化するので、機械学習モデルはより良い学習結果を得ることができる。
（５）前述の方法において、照明条件を設定するとき、照明パラメータを決定するために機械学習モデルに適用される推定画像の数は、機械学習モデルの学習に適用される撮影画像の数よりも少ない。
したがって、学習時間を短縮することができる。
（６）前述の方法において、照明パラメータは、光源の発光位置と発光強度（luminous intensity）を含む。
したがって、光源の発光位置と発光強度の両方を変更して、照明パラメータを変更することができる。
（７）前述の方法において、検査モジュールを使用して対象を検査する際の照明条件の設定の操作は、前述比較結果を表す損失関数を最小化する、前述損失関数を最小化する照明パラメータを選択することを含み、前記選択は、所定の範囲の照明パラメータについて、損失関数の損失平均を最小化する照明パラメータを選択することを含む。
ここで、所定の範囲の照明パラメータを考慮することで、対象を確認する際の環境変化に対するロバスト性を向上させることができる。
（８）前述の方法において、可変照明パラメータで照明中の対象の推定画像を生成する操作は、画像データセットに含まれる照明パラメータに対応する撮像画像の加重線形重畳和（weighted linear superposition sum）に基づいて、可変照明パラメータで対象が照明されるときの対象の推定画像を生成することを含み、ここで、前記加重は、可変照明パラメータ及び撮像画像の照明パラメータの両方に従って決定される。
したがって、線形照明（linear lighting）条件下での対象の推定画像をシミュレーションすることができる。
（９）前述の方法において、可変照明パラメータで照明中の対象の推定画像を生成する操作は、画像データセットに基づき、可変照明パラメータに関する非線形推定関数を使用して、可変照明パラメータで対象を照明する際の対象の推定画像を生成することを含む。
したがって、非線形照明条件下での対象の推定画像をシミュレーションし、検査モジュールの汎用性を向上させることができる。
（１０）本発明の他の態様によれば、前述した各方法に対応し、対象を検査する際の照明条件を設定する様々な装置がさらに開示され、前述した各方法と同じ効果を達成することができる。
（１１）本発明の別の態様によれば、対象を検査する際の照明条件を設定するシステムがさらに開示される。システムは、処理部を含んでも良く、前述した任意の方法を実行するように構成することができる。
（１２）本発明の別の態様によれば、前述した任意の方法を実行するために実行されるプログラムがさらに開示される。
（１３）本発明の別の態様によれば、前述する方法を実行するために実行されるプログラムが記憶される記憶媒体がさらに開示される。
システム、プログラム、及び記憶媒体も、前述の各方法と同じ効果を達成することができる。
本発明の２つの効果を実質的に列挙する。まず、設計時間を短縮し、体系的な設計を得ることができ、パフォーマンスがスタッフのスキルに依存することで表れる個別化されたスキルを回避することができる。次に、パフォーマンスの観点から、撮像システム全体及び画像処理システム全体の直接の最適化は、例えば、検査アルゴリズムに好適な照明設計や、そのような照明に最も適した検査アルゴリズム等、検査の精度（合格／不合格の製品判定または測定値）の角度のみから実現することができる。
本明細書で説明される図面は、本発明のさらなる理解を提供するために使用され、本発明の一部を構成する。本発明の概略的な実施形態及びその説明は、本発明を説明するために使用され、本発明に対する不適切な限定を構成しない。
本発明の実施形態に係る検査システムのシステム構成例の概略図である。 本発明の実施形態に係る欠陥検査装置のハードウェア構成の概略図である。 本発明の実施形態による欠陥検査装置の機能モジュールの概略図である。 図４の（ａ）と（ｂ）は、それぞれ、本発明の実施形態による照明条件の設定方法における機械学習モデルの学習段階及び検査段階のフローチャートである。 本発明の実施形態による照明条件の設定方法のフローチャートである。 図５のステップを詳細に示すフローチャートである。 図５のステップを詳細に示すフローチャートである。 図５に示される照明条件の設定方法の概略フローチャートである。 図８の（ａ）と（ｂ）は、本発明の別の実施形態による照明条件を設定する方法における機械学習モデルの学習段階及び検査段階のフローチャートである。 図９の（ａ）及び（ｂ）は、それぞれ、図８に示す照明条件の設定方法の一変化例における機械学習モデルの学習段階及び検査段階のフローチャートである。 本発明の別の実施態様による照明条件の設定方法のフローチャートである。 本発明の別の実施形態による照明条件の設定方法のフローチャートである。 図１２の（ａ）と（ｂ）は、本発明の実施形態による照明条件の設定方法を説明する照明モデルの概略図である。 線形照明モデルの一例を示す概略図である。 線形輝度関数の一例を示す概略図である。
当業者が本発明をよりよく理解できるように、本発明の実施形態を、本発明の図面と組み合わせて、以下に明確かつ完全に説明する。明らかに、説明される実施形態は、実施形態の全てではなく、本発明の実施形態の一部にすぎない。本発明の実施形態に基づいて当業者によって創造的な努力なしに得られる他の全ての実施形態は、本発明の保護範囲に含まれるものとする。
本発明では、可変照明パラメータを有する複数の光源によって対象を照明する。照明パラメータは、例えば、光源の発光位置、発光強度及び色度（ｃｈｒｏｍａｔｉｃｉｔｙ）を含んでも良い。照明条件下で、イメージセンサ（例えば、カメラ）により対象を撮像し、撮像画像を取得する。撮像画像を処理して生成された推定画像によって機械学習モデルを訓練して、対象を検査する機能を機械学習モデルに付与する。撮像画像または推定画像を照明パラメータに事前に関連付けることができるため、機械学習モデルの訓練過程において照明パラメータと検査アルゴリズムパラメータを同時に調整することができる。ここで、「検査アルゴリズムパラメータ」とは、機械学習モデルで対象を検査する際の検査アルゴリズムのパラメータをいう。したがって、学習用の撮像画像を取得するために、照明パラメータ及び照明パラメータにより純粋に照明を調整する場合と比較して、本発明の対象を検査する方法では、操作が簡略化され、システム負荷が低減される。
本発明の実施形態について、図面を参照して詳細に説明する。図面中、同一または対応する部分には同一の符号を付し、重複する説明は省略することに留意することが重要である。
まず、本発明の実施形態に係る検査システム１のシステム構成例について説明する。実施形態に係る検査システム１は、被検査対象を撮像して生成した撮像画像に基づいて、被検査対象を検査する。被検査対象は、生産ラインのワークであっても良い。検査は、例えば、ワークの外観検査または外観測定であっても良い。
図１は、実施形態に係る検査システム１のシステム構成例の概略図である。図１を参照すると、検査システム１は、撮像により取得した入力画像、例えばベルトコンベア２上を搬送される被検査対象、すなわちワーク４に対して画像解析処理を実行し、これにより、ワーク４の外観検査または外観測定が完了する。以下の説明では、画像解析処理の代表例として、ワーク４の表面に欠陥の有無を確認する応用例を説明する。ただし、これらに限定されるものではなく、検査システムは、欠陥の種類の特定や、外観形状の測定等にも適用できる。
ベルトコンベア２の上部には、結像手段としてのカメラ１０２が設けられており、カメラ１０２のイメージングビュー６は、ベルトコンベア２を含む所定の領域を形成する。カメラ１０２の結像により生成された画像データ（以下「入力画像」という）は、欠陥検査装置１００に送信される。カメラ１０２の結像は、周期やイベントに応じて実行される。
欠陥検査装置１００は、学習器を備えてもよく、学習器は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ））エンジンを備えてもよい。ＣＮＮエンジンを介して、入力画像に基づき各レベルの特徴検出画像を生成する。生成した１枚または複数枚の特徴検出画像に基づき、対象ワークに欠陥があるか否かを判定する。あるいは、欠陥の大きさ、位置等を検出することもできる。
欠陥検査装置１００は、上位層ネットワーク８を介して、プログラマブルロジックコントローラ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ（ＰＬＣ））１０、データベース装置１２等と接続されている。欠陥検査装置１００における検出結果は、ＰＬＣ１０及び／またはデータベース装置１２に送信されても良い。ＰＬＣ１０及びデータベース装置１２に加え、任意の装置が上位層ネットワーク８に接続されても良いことに留意することが重要である。
欠陥検査装置１００には、処理状況や検出結果等を表示するディスプレイ１０４や、ユーザの操作を受け付ける入力部としてのキーボード１０６やマウス１０８が接続されていても良い。
次に、本発明の実施形態に係る検査システム１０に含まれる欠陥検査装置１００のハードウェア構成について説明する。
図２は、実施形態に係る欠陥検査装置１００のハードウェア構成の概略図である。欠陥検査装置１００は、本発明における「対象を検査する際の照明条件を設定するためのシステム」の一例であってよい。図２を参照すると、一例として、欠陥検査装置１００は、汎用コンピュータアーキテクチャによって形成された汎用コンピュータに従って実現されても良い。欠陥検査装置１００は、プロセッサ１１０、メインメモリ１１２、カメラインターフェース１１４、入力インターフェース１１６、ディスプレイインターフェース１１８、通信インターフェース１２０及びメモリ１３０を含む。通常、これらの部材は内部バス１２２を介して接続され、それによって互いに通信する。
プロセッサ１１０は、メインメモリ１１２のメモリ１３０に格納されたプログラムを実行することにより、以下に説明する機能及び処理を実現する。メインメモリ１１２は、不揮発性メモリで構成され、プロセッサ１１０のプログラム実行に必要なワーキングメモリの機能を実現する。
カメラインターフェース１１４は、カメラ１０２と接続され、カメラ１０２の結像により得られた入力画像を取得する。カメラインターフェース１１４は、さらに、カメラ１０２に結像タイミング等を指示しても良い。
入力インターフェース１１６は、キーボード１０６やマウス１０８等の入力部と接続されており、入力部等に対する使用者の操作により表される指示を受信する。
ディスプレイインターフェース１１８は、ディスプレイ１０４に接続されており、プロセッサ１１０のプログラム実行により生成された各種処理結果をディスプレイ１０４に出力する。
通信インターフェース１２０は、上位層ネットワーク８を介して、ＰＬＣ１０、データベース装置１２等との通信処理を担当する。
画像処理プログラム１３２やオペレーティングシステム（ＯＳ）１３４等のコンピュータが欠陥検査装置１００の機能を実現するプログラムは、メモリ１３０に格納される。以下で言及する画像検出処理を実行するように構成された学習器パラメータ１３６、カメラ１０２で撮像した入力画像（すなわち、撮像画像１３８）及び撮像画像１３８に基づき取得した推定画像１４０を、さらにメモリ１３０に格納しても良い。学習器パラメータ１３６は、例えば、照明パラメータや検査アルゴリズムパラメータ等の機械学習モデルの学習段階及び検査段階に適用される様々なパラメータを含んでも良い。
メモリ１３０に格納された画像処理プログラム１３２は、デジタルバーサタイルディスク（ＤＶＤ）などの光記録媒体や、ユニバーサルシリアルバス（ＵＳＢ）メモリなどの半導体記録媒体を介して欠陥検査装置１００にインストールしても良い。あるいは、画像処理プログラム１３２は、ネットワーク上のサーバ装置等からさらにダウンロードしても良い。
このような汎用コンピュータでの実現時には、ＯＳ１３４が提供するソフトウェアモジュール内の必要なソフトウェアモジュールを所定の順序及び／または機会に応じて呼び出すことで処理を行い、実施形態に応じた機能の一部を実現することができる。つまり、実施形態に係る画像処理プログラム１３２は、実施形態に係る機能を実現するソフトウェアモジュールを全て含むものではなく、ＯＳと協働して必要な機能を提供するものであっても良い。
実施形態に係る画像処理プログラム１３２は、さらに、他のプログラムの一部と組み込まれて提供されてもよい。このような状況下では、画像処理プログラム１３２は、組み合わされる他のプログラムに含まれるモジュールを含まず、他のプログラムと連携して処理を実行する。したがって、実施形態に係る画像処理プログラム１３２は、他のプログラムに組み合わせる方法をさらに採用しても良い。
図２は、汎用コンピュータにより欠陥検査装置１００を実現する例を示している。。ただし、これに限定されず、機能の一部または全てを専用回路（例えば、特定用途向け集積回路（ＡＳＩＣ）やフィールドプログラマブルゲートアレイ（ＦＰＧＡ））により実現することもできる。また、ネットワークに接続された外部機器が処理の一部を担うこともできる。
図３は、本発明の実施態様による欠陥検査装置１００の機能モジュールの概略図である。図３に示すように、欠陥検査装置１００は、画像生成部１４１と、設定部１４２と、検査部１４３と、撮像部１４４と、記憶部１４５とを含んでも良い。
欠陥検査装置１００の画像生成部１４１、設定部１４２及び検査部１４３は、１つまたは複数の汎用プロセッサにより実現されても良い。ただし、これらに限定されるものではない。一部または全ての機能は、専用回路（例えば、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））を介して実現しても良い。また、ネットワークに接続された外部機器もこれらの部分の処理の一部を担うこともできる。
ここで、撮像部１４４は、本発明における「取得ユニット」の一具体例である。他の例として、欠陥検査装置１００は撮像部１４３を備えていなくてもよく、ワーク４の撮像画像を外部から受信することもできる。画像生成部１４１は、本発明における「生成ユニット」の一具体例であり、設定部１４２は、本発明における「設定ユニット」の一具体例である。撮像部１４４、画像生成部１４１と設定部１４２の組み合わせが、本発明における「対象を検査する際の照明条件を設定する手段」の一具体例である。
加えて、検査部１４３は、本発明における「検査モジュール」の一具体例である。学習器１４３１は、本発明における「機械学習モデル」の実施形態の具体例であり、検査部１４３は、ワーク４の最終的な検査結果を出力する。例えば、学習器１４３１が画像から抽出された特徴を生成するように構成されたＣＮＮであるという条件下で、検査部１４３は、例えば、学習器１４３１により抽出された特徴に判定基準を適用して最終的な検査結果を生成する判定装置をさらに含んでもよい。
画像生成部１４１は、撮像部１４４の撮像により得られた撮像画像に基づいて、可変照明パラメータ（所定の照明パラメータが可変の）による照明条件下でのワーク４の推定画像を生成するように構成されている。つまり、推定画像は実際に撮影されたものではなく、撮像用の照明パラメータをシミュレーションして、シミュレーション照明パラメータを用いた照明条件下でワーク４の推定を行った画像である。
設定部１４２は、ワーク４の可変照明パラメータに対応する推定画像及び対応するラベルデータを学習器１４３１の学習に適用し、学習器１４３１の推定結果とワークのラベルデータとの比較結果に基づいて、既に学習を実行した学習器１４３１により検査部１４３がワーク４を検査する際に用いる照明パラメータを設定する。設定方法の詳細は後述する。
ここで、「ラベルデータ」は、ワーク４の検査特徴を表すように構成されている。例えば、ラベルデータは、ワーク４が合格品か不合格品かを表すデータであっても良いし、ワーク４の外観特徴（例えば、傷やサイズ等）を表すデータであっても良い。ラベルデータの内容は、ワーク４に予想される検査特徴が表される限り、特に限定されない。
検査部１４３は、ベルトコンベア２上のワーク４を検査する。検査部１４３は、学習器１４３１を含んでも良く、これにより訓練された機械学習モデルを通じてワーク４を検査する。
撮像部１４４は、イメージセンサを介してワーク４を撮像する。イメージセンサは、例えば、１つまたは複数のカメラであっても良く、さらに、絞りサイズやシャッター速度等の撮像パラメータは可変である。
記憶部１４５は、欠陥検査装置１００の作業に必要なプログラムやデータを記憶するように構成されている。欠陥検査装置１００は、記憶部１４５を備えていなくても良い。
以下、図４を参照して、本発明の実施態様に係る照明条件の設定方法についてまとめる。図４の（ａ）及び（ｂ）は、それぞれ、本発明の実施形態による照明条件の設定方法における機械学習モデルの学習段階及び検査段階のフローチャートである。
図４（ａ）に示すように、ステップＳ４１０において、撮像部１４４は、ワークを撮像する。ワークは、異なる照明パラメータを用いた照明の条件下で何度も撮像され、それにより、ワークに関する複数の撮像画像が取得される。これらの撮像画像は、それぞれ一組の照明パラメータに対応し、例えば、各組の照明パラメータは、オンにされる光源及びオンにされる光源の輝度等のパラメータを含んでいても良い。
ステップＳ４１２において、学習器１４３１は、これらの撮像画像に基づいて得られた推定画像をもとに学習を行う（推定画像の取得方法については、図５〜図７を参照して詳しく後述する）。各推定画像は関連付けられた可変照明パラメータを有するため、学習により、評価関数を最適化して最適な照明パラメータ及び検査アルゴリズムパラメータを得ることができる。つまり、検査部１４３が出力する検査結果の正確率を最適化するために、最適な照明パラメータ及び検査アルゴリズムパラメータが選択される。ここで、「照明パラメータ」とは、検査部１４３がワークを検査する際に使用する照明パラメータであり、「検査アルゴリズムパラメータ」とは、検査部１４３がワークを検査する際に使用する検査アルゴリズムのパラメータを指す。
図４の（ｂ）に示すように、ステップＳ４２０では、ステップＳ４１２で取得した最適化された照明パラメータで照明を行い、撮像部１４４がワーク４を撮像して撮像画像を取得する。ステップＳ４２２において、学習器１４３１は、これらの画像により、ワーク４の欠陥を確認する。
図４に示す照明条件の設定方法では、検査照明パラメータと検査アルゴリズムパラメータを同時に調整する。つまり、照明パラメータは、調整が必要なアルゴリズムパラメータに同等に追加されるため、労働時間を短縮し、労働者への依存を軽減することができる。また、システム全体の計算負荷を軽減し、検査効率を向上させることができる。
図５は、図４の（ａ）に示す照明条件の設定方法をさらに詳しく説明した後の照明条件の設定方法のフローチャートである。図６Ａの（ａ）及び図６Ｂの（ａ）は、図５のステップＳ５４の詳細なフローチャートであり、図６Ａの（ｂ）及び図６Ｂの（ｂ）は、図５のステップＳ５６の詳細なフローチャートである。図６Ｂの（ｃ）は、図４の（ｂ）に示す検査段階に対応する概略フローチャートである。図７は、図５に示す照明条件の設定方法の概略フローチャートである。以下、図５から図７を参照しながら、本発明の実施形態に係る照明条件の設定方法の各ステップについて詳細に説明する。以下、説明の便宜上、「照明シミュレータ」の概念を紹介する。
本発明では、検査アルゴリズムは、学習器１４３１により実現される。学習器１４３１の訓練評価基準は、通常、損失値と呼ばれ、合格／不合格の製品判定問題に関する場合、合格／不合格（ＰＡＳＳ／ＦＡＩＬ）の正確率は、交差エントロピー（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ）等によって表される。検査内容がワーク４の長さ等の測定の回帰問題である場合、エラー発生分布を多次元正規分布でモデル化し、その対数尤度関数を損失値とする。
通常の条件下では、機械学習ベースの検査アルゴリズムの学習中に、複数の教師データ（ｔｅａｃｈｅｒ ｄａｔａ）（判定問題の場合は合格／不合格、回帰問題の場合は正確率）及び学習サンプル画像を事前に入力し、損失値を最小化するようにパラメータの最適化を実行する。ここで、損失値は、これらの学習サンプル画像が正確に推定されているかどうかの基準である。
現状では、前述した照明の最適化を実施する場合、これらの学習サンプル画像は、必要性に応じて設定された様々な照明条件での撮影画像をコンピュータで再現する必要がある。したがって、本発明では「照明シミュレータ」を導入し、照明パラメータ（例えば、強度、位置、入射角等のパラメータのセット）が提供されると、この照明条件下での撮像画像を算出する。
照明シミュレータは次のように定義される。照明パラメータベクトルがθLで、そのような照明の下で撮像した撮像画像ベクトルがｕである場合、式（１）に示すように、照明シミュレータは関数ｆとして定義される。
Figure 2021515927
関数の具体的な定義は、照明モデルに応じて異なる式を採用している。この関数は、特定のワークについてのみ撮像画像を生成する関数であることに留意することが重要である。複数のワークを処理する場合、ワークを個別に識別する指標ｉが下付き文字として採用され、fiとして標記される。
照明シミュレータ関数fiは、照明モデル
Figure 2021515927
 を順次変化させて得たＮ枚の撮像画像
Figure 2021515927
 を訓練画像として採用し、パラメータを推定する。以下、照明シミュレータの具体例におけるパラメータ推定方法に説明する。
図５を参照すると、ステップＳ５０では、撮像部１４４がワークを撮像する。ステップＳ５０は、例えば、ステップＳ４１０と同様であってよい。最適化の準備段階として、全てのワーク（1≦ｉ≦Ｍ）について、それぞれ照明シミュレータfiを算出するように構成された撮像画像ｕｊ（1≦ｊ≦N）を撮像し、それぞれの照明パラメータを取得する。
ここで、各光源の照明パラメータを変更しても良く、例えば、各光源の発光位置及び／または発光強度を変更して、ワーク４に異なる照明を提供してもよい。さらに、ワーク４は対応する既知のラベルデータを有し、ラベルデータはワーク４の検査特徴を表すように構成される。例えば、ラベルデータは、ワーク４が良品か不良品かを表すデータであっても良いし、ワーク４の外観特徴（例えば、傷やサイズ等）を表すデータであっても良い。ラベルデータの内容は、ワーク４の予期される検査特徴が表されていれば特に限定されない。
ステップＳ５２において、画像生成部１４１は、撮像画像と対応する照明パラメータとを関連付けて画像データセットを取得する。画像データセットは、例えば、対応する撮像パラメータ（例えば、絞りサイズ及びシャッタースピード等）をさらに含んでも良い。画像データセットは、例えば、記憶部１４５に記憶されても良い。
ステップＳ５４において、画像生成部１４１は、画像データセットに基づいて、可変照明パラメータで照明する条件下における各ワークの推定画像を生成する。
具体的には、図６Ａの（ａ）及び図６Ｂの（ａ）に示すように、ステップＳ５４０において、各ワークの照明シミュレータfiは、初期シミュレータパラメータに基づいて初期推定画像を生成する。そして、画像生成部１４１は、初期推定画像とワークの撮像画像とを比較する。
ステップＳ５４２では、差分に基づいてシミュレータパラメータθSを調整し、最終的に最適化されたシミュレータパラメータを得る。例えば、線形モデル等の単純な照明シミュレータモデルの場合、初期シミュレータパラメータは必要ではない。シミュレータパラメータは、照明条件を定義する照明パラメータとは異なることに注意が必要である。そのような最適化プロセスは、機械学習の方法で完了することができる。ステップＳ５４４において、照明シミュレータは、最適化された照明シミュレータパラメータθSに基づいて、可変照明パラメータでの照明中の推定画像を生成する。
図５に戻り、ステップＳ５６では、学習器１４３１は、推定画像に基づいて学習を実行し、ワークを検査する際に採用する照明パラメータを取得する。具体的には、図６Ａの（ｂ）及び図６Ｂの（ｂ）を参照する。
図６Ａの（ｂ）及び図６Ｂの（ｂ）では、ステップＳ４５０において、推定画像を学習器１４３１に入力して学習する。
外観チェック中における、機械学習ベースの検査アルゴリズムの損失関数は通常L(u,v|θD)として標記し、ここで、θDは検査アルゴリズムのパラメータベクトルである。例えば、検査アルゴリズムには、深層学習中の接続線の全ての加重が含まれる。また、ｕは撮像画像、ｖは画像のラベルであり、通常の条件下では、学習用のデータセットを
Figure 2021515927
 と表すと、式（２）により最適な学習パラメータ
Figure 2021515927
 が算出される。
Figure 2021515927
学習器１４３１では、ワークのサンプルセットに対応する照明シミュレータセットを
Figure 2021515927
 と表すと、撮像画像ｕがシミュレータ画像f(θL)に置き換えられ、式（３）に示す関係が得られる。
Figure 2021515927
公式により、最適な照明と検査アルゴリズムのパラメータを式（４）で計算することができる。
Figure 2021515927
ただし、式の最適化を実行する場合、通常の条件下では、物理的な制約条件（例えば、負の輝度は意味をなさない）のために、照明パラメータベクトルの値は特定の範囲で変化し、そのような有効範囲においてパラメータ値の最適化を行う。なお、θLの算出方法については、図１１、図１２と併せて後述する。
ステップＳ５６２において、学習器１４３１は、ワーク４の推定画像及び対応するラベルデータを含む学習用データにより学習を行い、推定結果を得る。ステップＳ５６４では、式（４）に基づいて学習器１４３１の検査アルゴリズムパラメータを最適化し、学習器１４３１の推定結果をラベルデータと一致させる。
図７に示すように、例えば、学習器１４３１がニューラルネットワークを用いて深層学習を実行する場合、ニューラルネットワークの出力をラベルデータと一致させることにより、検査アルゴリズムパラメータと照明パラメータを同時に最適化し、これにより、既に学習を実行し、最適な照明パラメータを有するニューラルネットワークを得ることができる。既に学習した学習器１４３１は、照明パラメータを選択して、ワーク４の試験結果の正確率を上げることができる。
さらに、破線枠内の工程は必ずしも実行しなければならないわけではない。例えば、照明モデルの種類によっては、破線枠内の処理を実行しない場合がある。このような場合、推定画像ではなく、複数の照明パラメータでイメージセンサによって撮像した対象の画像を機械学習に直接使用する。
図５〜図７を参照すると、本発明の実施形態における照明パラメータの設定方法では、検査照明パラメータ及び検査アルゴリズムパラメータが同時に最適化されるため、労働時間が短縮され得る。また、評価基準の直接の最適化は、精度検査（合否判定や測定値）の観点のみから実施できる。さらに、例えば、検査アルゴリズムのための優れた照明設計及びそのような照明に最も適した検査アルゴリズム等の全体としての目的のための撮像システム及び画像処理システムの直接最適化を実現することができる。
また、照明条件の設定方法には、照明シミュレータを導入し、また、ワークの多数の画像を撮像する必要がないため、撮像時間を節約し、労働時間を短縮し、労働者への依存を軽減することができる。
また、図５、図６Ａ、図６Ｂを参照すると、本発明の実施形態に係る照明パラメータの設定方法では、複数の種類のワーク４に対応する複数の画像データセットを用意しても良い。したがって、複数の画像データセットに基づいて、可変照明パラメータによる照明時の各種類のワーク４にそれぞれ対応する複数の種類の推定画像を生成することができる。
したがって、検査部１４３の汎用性を向上させることができ、ワークの種類ごとに撮像や照明パラメータの設定等を行う必要がない。
図８の（ａ）及び（ｂ）は、それぞれ、本発明の別の実施形態による照明条件の設定方法における機械学習モデルの学習段階及び検査段階のフローチャートである。この方法の原理を最初に以下に説明する。
通常の条件下では、機械学習ベースの検査アルゴリズムの学習には、多数の訓練画像が必要である。この問題は、深層学習などの多数のパラメータを使用する方法で特に顕著であり、この方法ではＭ＊Ｎ画像を取得する必要があるという問題がある。Ｍの値が非常に大きい場合、多数の画像を取り込む必要がある。
この問題の解決策として、多数の訓練画像を必要とする検査アルゴリズムに対してのみ、固定の撮影条件で取得した訓練画像から、事前に検査アルゴリズムパラメータを算出することが考えられる。換言すると、θLとθDは最適解を算出するために同時に変更されず、θDを算出した後に、いくつかのワークサンプルの照明シミュレータによってθLを算出する。通常の条件下では、照明パラメータの数が比較的少ないため、この方法は妥当と考えられる。
具体的には、
Figure 2021515927
 と
Figure 2021515927
 の２つのデータセットを用意し、２段階の最適化のために、最適な照明パラメータを式（５）と式（６）で算出する。
Figure 2021515927
Figure 2021515927
上述した方法では、Ｍ1＞Ｍ2と設定し、学習に必要な撮影画像数をＭ×ＮからＭ1+Ｍ2×Ｎに削減することができる。前述の方法では、既存の固定の検査アルゴリズムパラメータも使用することができ、照明パラメータのみを算出することができる。
ここで、図８を参照して、その方法のフローを詳細に説明する。図８の（ａ）に示すように、ステップＳ８１０では、Ｍ1個のワークを固定照明パラメータで撮像し、Ｍ1枚の撮像画像を取得する。ステップＳ８１２において、学習器１４３１は、Ｍ1枚の撮像画像による学習を実行して、検査アルゴリズムパラメータを最適化する。ステップＳ８１４では、Ｍ1ワーク中のＭ2ワークをＮタイプの照明パラメータの下で撮像し、Ｍ2×Ｎ枚の撮像画像を取得する。
ステップＳ８１６では、Ｍ2＊Ｎ枚の撮像画像とこれらの撮像画像に対応する照明パラメータとを関連付けることにより取得した画像データセットに基づいて、可変照明パラメータで照明中のワーク４の推定画像を生成する。これらの推定画像を、既に学習を実行した学習器１４３１に使用する。学習器１４３１の推定結果とラベルデータとの比較結果に基づいて、検査部１４３がワーク４を検査する際の照明条件を設定する。一比較例として、例えば、学習器１４３１が、Ｎ個の照明パラメータの下でワーク画像をテスト画像を入力として使用して学習を実行した後、ワーク４を検査するときに照明パラメータとして、学習器１４３１の推定結果の正確率が最大となる照明パラメータを選択する。
図８の（ａ）に示す学習段階の後、図８の（ｂ）に示すように、ステップＳ８２０において、検査照明パラメータの下でワークを撮像し、撮像画像を取得する。ステップＳ８２２において、検査部１４３は、撮像画像を解析して、ワークの検出結果を取得する。
図８で説明した検査方法によれば、機械学習モデルの学習時のシステム演算量を削減でき、システム負荷を軽減できる。また、照明パラメータの設定操作を簡略化することができる。
また、任意に、前述の方法では、学習に必要な撮像画像の数も減らすことができる。これにより、労働時間を削減し、パラメータ最適化手順を簡略化することができる。
図８を参照して説明した照明条件の設定方法には、様々な変化例があり得る。以下、図９を参照して、その変化例について詳細に説明する。図９の（ａ）及び（ｂ）は、それぞれ、図８に示す照明条件の設定方法の一変化例における機械学習モデルの学習段階及び検査段階のフローチャートである。図９において、図８と同一または類似のステップには同一または類似の符号を付し、重複する説明は省略する。
ステップＳ９１６の学習時には、式（７）及び式（８）に示すように、θLの他に、検査アルゴリズムパラメータの一部（θ´Dとして記録）も変数値に設定され、再調整される。したがって、いくつかのワークサンプルの照明シミュレータによってのみ追加学習を実行することができ、別の側面から言えば、照明に最も適した学習器を形成できないという問題は局所的に解決され得る。
Figure 2021515927
Figure 2021515927
同様に、学習に必要な撮像画像の数を減らすことができ、また、ある程度照明に最適な学習器を形成することができる。
また、図９を参照して説明した検査方法において、ステップＳ９１６の学習中に、検査アルゴリズムの全てのパラメータを再度調整しても良い。このような条件の下で、ステップＳ８１２の学習は、事前学習機能を有する。
図１０は、本発明の別の実施形態による検査方法のフローチャートである。図１０の検査方法によれば、照明及び撮像システムの小さな変化に対するロバスト性が改善され得る。
同一の検査を生産ラインで並行して行うと、照明を含めた撮像システム全体と全く同じ複製を製造することは困難である。一般的な条件下では、カメラや照明の取り付け位置のずれ等により、個体差が生じる場合がある
本発明の方法により算出された最適な照明パラメータを、撮影環境とは異なる複製環境に適用すると、撮像システムの個体差により性能が損なわれる場合がある。この問題を回避するために、照明パラメータにノイズを加えた後で、平均化を行う評価関数により、小さな変化に対して安定したパラメータを算出することができる。具体的には、前述の損失関数Ｌは、式（９）で定義されたに置き換えられる。これにより、照明パラメータと検査アルゴリズムパラメータを算出する。
Figure 2021515927
ここで、εは自由に分布するノイズベクトルである。通常の条件下では、センターゼロの多変量正規分布、範囲内一様分布などを利用することができる。これは、深層学習中の入力画像の「拡張」の概念を照明パラメータに直接適用したものである。
ここで、図１０を参照して方法のフローを詳細に説明する。図１０に示すように、ステップＳ１０１０では、ワークを撮像して撮像画像を取得する。このステップは、Ｓ４１０、Ｓ５０、及びＳ８１０を参照することができる。ステップＳ１０１２では、撮像画像に基づいて得られた推定画像を学習器１４３１に入力し、さらに照明の変化条件を入力して学習する。ここでいう「照明の変化条件」には、環境の小さな変化が含まれていても良いし、光源やイメージセンサの小さな変化がさらに含まれていても良い。ステップＳ１０１４では、所定の範囲内の照明パラメータに対する学習器１４３１の損失関数の損失平均を最小化し、最適化された照明パラメータを取得する。ここで、照明パラメータは、損失関数の変数である。
図１０を参照して説明した検査方法では、環境への影響を考慮しているため、照明パラメータの小さな変化に対するロバスト性が向上し、検査システム全体の性能が向上する。
図１１は、本発明の別の実施形態による検査方法のフローチャートである。図１１を参照して説明した検査方法によれば、２つの評価関数に基づいて、ワークの変化に対するロバスト性を向上させることができる。
ワークの変化に対する検査性能のロバスト性を確保するために、通常の条件下では、ワークのサンプル画像を追加したり、強化技術を適用してサンプル画像を追加したりする修正が存在する。
前述の照明を含む最適化方法において、ワークサンプル画像を追加することは、照明シミュレータの例数を増やすことに等しい。そのため、純粋にサンプル画像を撮像する場合と比較して煩わしいという問題があり、これを簡単に解決する方法として、評価関数に関する方法が考えられる。
本発明によれば、検査アルゴリズムの正確率（損失値）を直接最大化できるという利点がある。一方で、撮像画像を直接目視評価するための基準は含まれていないので、照明パラメータが、対象の欠陥を検査する実際の照明の照明パラメータに変更されたか、または特定のワーク構成に最適化された異常な照明パラメータに変更されたかを区別することはできない。目視で検査画像の良し悪しを評価すると、検査アルゴリズムのパフォーマンスが直接最大化されない場合があるが、評価は人間の感情と経験の先験的知識に基づいて行われるため、堅牢性を確保するという利点を達成できる。したがって、式（１０）に示すように、最適化を行うために、人間ベース（ｈｕｍａｎ−ｂａｓｅｄ）の主観的な能力評価基準（ｓｕｂｊｅｃｔｉｖｅ ｆａｃｕｌｔｙ ｅｖａｌｕａｔｉｏｎ ｒｅｆｅｒｅｎｃｅ）h(u)（たとえば、領域内のコントラスト）を損失関数に追加することができる。
Figure 2021515927
ここで、λは、検査アルゴリズムのパフォーマンス（損失値）と能力評価基準に付加する必要がある、１つの重要性を決定するバランスパラメータである。
ここで、図１１を参照して方法のフローを詳細に説明する。図１１に示すように、ステップＳ１１００では、ワークを撮像し、撮像画像を取得する。このステップは、Ｓ４１０、Ｓ５０、Ｓ８１０を参照することができる。ステップＳ１１１２では、撮像画像に基づいて得た推定画像を学習器１４３１に入力し、さらに評価基準を入力して学習する。ここでいう「評価基準」には、人間の感情や経験に関する先験的知識に基づく前述の評価基準が含むことができ、また、画像分析等のための既存の数学的アルゴリズムに基づく評価基準を含むこともできる。ステップＳ１１１４では、学習器１４３１の損失関数を最小化して、最適化された検査照明パラメータを取得する。
この方法を適用する方法として、次のように変形させることができる。例えば、θDが計算された後にθLを算出する簡略された方法では、各パラメータを算出するステップで、異なるλ値または能力評価基準h(u)を採用する。例えば、θDは正確率（λ＝０）のみに基づいて算出し、θLについては能力評価基準の加重を大きくする（λは相対的に大きな値を設定する）等を採用してもよい。
図１１を参照して説明した検査方法では、環境への影響を考慮しているため、ワークの違いに対するロバスト性が向上し、検査システム全体の性能が向上する。
以下、照明シミュレータの具体的な構成例について説明する。通常の条件下では、照明は光の遠視野モード、つまり平行光に基づいて分割する際の強度分布を表す連続関数（角度スペクトルともいう）によって一意に定義される。連続関数の分解能（ｒｅｓｏｌｕｔｉｏｎ）の上限は、ワークのサイズとイメージングシステムの開口部によって決定され、相対的に小さなワークは相対的に低い角度分解能を有さない場合があるため、相対的に高い空間周波数を有する成分は無視することができる。ただし、そのような場合でも、照明モデルには大きな自由度があり、モデリングには特定のパラメータモデルが必要である。
照明調整パラメータベクトルが特定の照明条件下でのパラメータ化を表す特定の制約条件を表す関数に従い、照明モデルは、線形モデルと非線形モデルに分けることができる。線形モデルのモデルパラメータは比較的簡単に推定できるが、照明の自由度は限られる。
以上、図１に示す検査システムを用いて、本発明の内容を説明したが、本発明の内容はこれに限定されるものではない。例えば、本発明の原理は、照明条件及び撮像画像を設定する必要がある他の様々な状況にも適用することができる。例えば、本発明の原理は、人の顔を対象として、人の顔を照明して画像を撮像し、撮像画像を入力として使用して、機械学習によって人の顔を認識する顔認識システムにも適用することができる。
顔認識システムの場合、照明パラメータを変更できる光源を使用して顔を照明し、カメラで様々な照明条件下における顔の画像を撮像する。ここで、既知のラベルデータが顔に割り当てられる場合、例えば、ラベルデータは人の名前であっても良い。次に、前述した「照明シミュレータ」に基づいて顔の推定画像を生成することができる。そして、これらの顔の推定画像とラベルデータは、顔認識システムの機械学習モデルの学習に使用され、この機械学習モデルの推定結果と顔のラベルデータとの比較結果に基づいて、機械学習モデルの照明パラメータと検査アルゴリズムパラメータを同時に最適化することにより、照明条件と検査アルゴリズムパラメータの両方を設定する。ここで、検査アルゴリズムパラメータとは、機械学習モデルが顔認識に使用されるときに使用される検査パラメータを指す。
以下、図１２の（ａ）及び（ｂ）を参照して、本発明の実施形態による照明条件の設定方法における照明モデルの概略図について説明する。
図１２の（ａ）は、線形照明モデルの例を示す。線形照明モデルでは、画像データセットに含まれ、照明パラメータに対応する撮像画像の線形重畳和に基づいて可変照明パラメータによる照明中のワーク４の推定画像を生成することができる。以下、詳細に説明する。
図１２の（ａ）には、３つの光源の状態が示されている。光源Ｌ１、光源Ｌ２及び光源Ｌ３は、異なる発光位置でワーク４を照明する。ただし、必要に応じて、光源の数を２つ以上にする必要がある。例えば、以下では、Ｎ個の光源の状態について説明する。一言で言えば、線形モデルはＮ個の固定照明の強度を調整する。ｉ番目（１≦ｉ≦Ｎ）の照明の強度がｗiの場合、照明パラメータベクトルを式（１１）で表すことができる。
Figure 2021515927
照明の遠視野モードがψ(θ,φ)の場合、線形モデルの具体的な公式は式（１２）のようになる。
Figure 2021515927
公式では、ψi(θ,φ)がｉ番目の照明の遠視野モードであり、これは放射基底関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ（ＲＢＦ））ネットワークに相当するモデルである。定義によれば、この関数は照明パラメータに対して線形であり、重ね合わせの原理により確立される線形システムである。
この関係は、撮像画像についても適用される。例えば、図１３に示すように、ｉ番目の照明（ｗi＝１）のみが点灯し、他の照明（ｗj=0,ｊ≠i）が消灯している場合の画像は、ｕiとして記録され、照明パラメータの推定画像は、式（１３）に従って計算することができる。
Figure 2021515927
ここで、通常、Ａは経度マトリックスである。また、実際の環境では、発光強度によって光源の指向性が変化するという非線形現象が発生することもあるが、その変化は非常に小さいと考えられる。さらに、ピクセルの飽和と擬似線形性（ｆａｌｓｅ ｌｉｎｅａｒｉｔｙ）により、非線形の線形関数g(x)が適用され、g(x)がベクトルの各要素に対して演算を実行する一般的な条件下で、式（１４）に示すモデルを得ることができる。線形輝度関数の例は図１４のように示される。
Figure 2021515927
この状態で、照明シミュレータのパラメータがマトリックスＡになると、Ａの推定（すなわち学習）が線形システムの検証の問題となり、簡単な実現のために、独立した基準を１回利用することにより、Ｎ回の測定が実行される。
具体的には、測定中、各照明の輝度は線形性が成り立つ範囲内にあると仮定し、測定に用いたＮ個の基本ベクトルを
Figure 2021515927
 に設定すると、以下の式（１５）及び式（１６）が成り立つ。
Figure 2021515927
Figure 2021515927
ここで、niは、撮像中に相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ））センサで生成される追加のノイズであり、通常は正規分布を形成し、その分布はイメージングシステムの信号対ノイズ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ（ＳＮ））比によって決定される。Ａが比較式に従って算出される場合、様々な方法が存在する。例えば、最良線形不偏推定量（Ｂｅｓｔ Ｌｉｎｅａｒ Ｕｎｂｉａｓｅｄ Ｅｓｔｉｍａｔｅ（ＢＬＵＥ））として決定される最尤（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ（ＭＬ））推定や、ＡとＮの両方が既知であるガウス分布条件下での最小平均二乗誤差（Ｍｉｎｉｍｕｍ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ（ＭＭＳＥ））推定等である。通常の状況では、このような条件下でのＡの統計的特性は不明であるため、以下ではＭＬ推定が採用される。Ａの推定値が
Figure 2021515927
 の場合、式（１７）に従って算出することができる。
Figure 2021515927
このとき、推定誤差は以下の通りとなる。
Figure 2021515927
ここで、σは加法性ノイズの標準偏差、λはＸの特異値、Ｐは画像のピクセル数である。ＨＳは、マトリックスに対するヒルベルト＝シュミットの内積またはノルムを表す。この公式より、Ｘの特異値が大きいほど、推定誤差の総量は少なく、等価的には、システムのＳＮ比が純粋に増加していることが分かる。Ｘの特異値の合計が決定されている場合で（合計信号パワーが制約される）、λが全て同じ値の場合、推定誤差は低くなり、正規直交基底を用いると、観測用の照明パラメータベクトルが最も効果的であることが示される。上記の内容を踏まえ、照明モデルの３つの測定モードを以下に示す。
（１）標準ベース
最も純粋なモードの標準ベースが採用される場合、測定用の照明パラメータは式（１９）で表すことができる。
Figure 2021515927
これは正規直交基底であるため、前述の説明の意味するところに従って、最良の推定を行うことができる。ただし、画像の光量は均一ではなく、ノイズや暗電流の影響を受ける場合がある。
（２）線形独立と条件
測定用の照明パラメータとして、線形独立性を有する多数のモードが考えられる。したがって、特定の条件が追加された場合に、条件を満たすものを選択することができる。例えば、特定範囲内の輝度が一定値以上であること等の条件を追加して基底を算出してもよい。前述した内容の通り、基底を標準の正規直交基底に変更すると最も良いパフォーマンスを示すが、輝度が負の値になることはないという制限に基づいて算出されるため、直交性または標準直交性を実現することは困難である。
（３）冗長ベース
測定用の基数は、常に照明の数Ｎに等しいとは限らず、Ｎより大きい値になる場合もある。Ｎよりも大きいと、ＳＮ比を高くすることができ、より正確な推定ができるという利点がある。このような条件下では、Ｘの逆行マトリックスが存在しないため、代わりに式（２０）に示す推定が実行される。
Figure 2021515927
ここで、Ｘ+はＸのムーア−ペンローズの疑似逆行列である。同様に、このような条件下で推定パフォーマンスを最大化するため、Ｘの識別値（ｄｉｓｔｉｎｇｕｉｓｈｅｄ ｖａｌｕｅ）の２乗をそれぞれ同じ値に変更する。したがって、擬似直交基底（Ｐｓｅｕｄｏ Ｏｒｔｈｏｇｏｎａｌ Ｂａｓｅｓ（ＰＯＢ））最適化技術が開示される。例えば、「Ｐｓｅｕｄｏ Ｏｒｔｈｏｇｏｎａｌ Ｂａｓｅｓ Ｇｉｖｅ ｔｈｅ Ｏｐｔｉｍａｌ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ Ｃａｐａｂｉｌｉｔｙ ｉｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｌｅａｒｎｉｎｇ」（Ｍａｓａｓｈｉ Ｓｕｇｉｙａｍａ ａｎｄ Ｈｉｄｅｍｉｔｓｕ Ｏｇａｗａ、ｈｔｔｐ：／／ｗｗｗ．ｍｓ．ｋ．ｕ−ｔｏｋｙｏ．ａｃ．ｊｐ／１９９９／ＳＰＩＥ９９．ｐｄｆ、１９９９）を参照することができる。
前述の内容の通り、別の条件を追加して基底を算出することもできる。
線形照明モデルの例は、図１２の（ａ）を参照して上記で説明され、非線形照明モデルの例は、図１２の（ｂ）を参照して以下で説明される。非線形照明モデルの下で、可変照明パラメータで対象を照明中のワーク４の推定画像は、画像データセットに基づき照明パラメータに関する非線形推定関数によって生成され得る。
図１２の（ｂ）では、１つの光源のみの状態を示す。光源Ｌ４は、異なる発光位置でワーク４を照明することができる。ただし、必要に応じて、光源の数を２個以上にする必要があり、例えば、Ｎ個の光源の条件について説明する。
前述の線形モデルを適用することができない場合は、非線形モデルを使用する。純粋な例を示す。入射角と輝度が調整可能なＮ個の照明を使用する場合において、光の量がｗi（１≦ｉ≦Ｎ）で入射角が(θi,φi)のとき、パラメータベクトルは式（２１）で表すことができる。
Figure 2021515927
このとき、遠視野モードは式（２２）で示され、パラメータベクトルに対して線形性は有さない。
Figure 2021515927
このような状況下では、一般的な数学モデルを定義することは困難であるが、最近提案されている深層学習ベースの画像生成方法、即ち、ジェネレーティブアドバーサリネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ））やオートエンコーダー（Ａｕｔｏ Ｅｎｃｏｄｅｒ（ＡＥ））等の画像生成モデルシステムを利用しても良い。
特定の制限条件下で使用される簡略化されたモデルの具体例を以下に示す。拡散散乱光のみをモデル化した条件下でのランバートモード（Ｌａｍｂｅｒｔ ｍｏｄｅ）により実現した場合、任意の照明は、３つの基底関数によって線形結合の方法で表すことができる。モードはほぼ線形であるが、パラメータ化された照明条件に従って基底の混合係数を計算するプロセスは非線形であるため、非線形照明シミュレータに属する。具体的には、モードは、式（２３）から式（２６）として定義され得る。
Figure 2021515927
Figure 2021515927
Figure 2021515927
Figure 2021515927
ここで、ＢはＰ×３マトリックス（Ｐは画像のピクセル数）、Ｃは３×Ｑマトリックス、d(θL)は照明パラメータに関する非線形Ｑ次元の列ベクトルであり、
Figure 2021515927
 は任意の球面上のサンプリングポイント列であり、ＨＥＡＬＰｉｘ等の球面上で可能な限り等間隔に分布する。サンプリングポイントの数Ｑは、照明パラメータの立体角範囲を完全な分解能でカバーするように設定されている。ｌqは、球面座標
Figure 2021515927
 からワークを照明するときの光源方向ベクトルである。公式は、数学的に、照明パラメータが非線形マッピングｄを介してＱ次元の高次元空間にマッピングされ、ピクセルの輝度値が線形マッピングを介して空間に従って算出され、直接次の意味に変更されることを意味する。
まず、入力された照明パラメータに従って、各照明が標準偏差σのガウス分布の角度範囲を有し、入射角が離散化され、球面上にサンプリングされた各点の値として表されるという仮説を立てることができる。次に、マトリックスＣを介して、各サンプリングポイント（対応する入射角）におけるランバートモデルの３つの基底関数の混合係数（照明方向ベクトル）を算出し、マトリックスＢにより表される基底関数が混合される。最後に、線形関数ｇが適用される。
マトリックスＢは、ワークに依存するマトリックスであるため、照明パラメータで測定した撮像画像セットを少なくとも３回以上変化させることでマトリックスＢを推定する。マトリックスＣは、キャリブレーションとして算出することができる。
ソフトウェア機能ユニットの形で実現され、独立した製品として販売または使用される場合、対象またはその一部が検査する際の照明条件を設定する装置とシステムは、コンピュータ可読記憶媒体に記憶することができる。この理解に基づいて、本発明が課題を解決する手段は、本質的に、または従来技術に寄与する部分は、または課題を解決する手段の全てまたは一部は、ソフトウェア製品の形で実現することができ、コンピュータソフトウェア製品は、本発明の実施形態による方法のステップの全てまたは一部をコンピュータ機器（パソコン、サーバー、ネットワーク機器等）に実行させるためのいくつかの命令を含む記憶媒体に格納される。前述の記憶媒体は、ＵＳＢディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、リムーバブルハードディスク、磁気ディスク、または光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。さらに、サーバーやクラウドからダウンロードされるデータストリームを含むこともできる。
以上は、本発明の好ましい実施形態にすぎず、当業者は、本発明の原理から逸脱することなく、いくつかの改善及び修正を行うことができることに留意されたい。これらの改善及び修正は、本発明の保護の範囲内であると見なされるべきである。
１：検査システム
２：ベルトコンベヤー
４：ワーク
６：イメージングビュー
８：上位層ネットワーク
１０：ＰＬＣ
１２：データベース装置
１００：欠陥検査装置
１０２：カメラ
１０４：ディスプレイ
１０６：キーボード
１０８：マウス
１１０：プロセッサ
１１２：メインメモリ
１１４：カメラインターフェース
１１６：入力インターフェース
１１８：ディスプレイインターフェース
１２０：通信インターフェース
１２２：内部バス
１３０：メモリ
１３２：画像処理プログラム
１３４：ＯＳ
１３６：学習器パラメータ
１３８：撮像画像
１４０：推定画像
１４１：画像生成部
１４２：設定部
１４３：検査部
１４４：撮像部
１４５：記憶部
１４３１：学習器
本発明は、工業用検出中の照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体に関する。
生産現場での製品の外観検査は、人と機械の入れ替えが最も少ない分野の一つであり、今後の人員削減のための自動化は、解決しなければならない重要な技術的課題である。近年、深層学習に代表される人工知能や機械学習技術の発達に伴い、検査自動化技術が飛躍的に向上している。しかしながら、外観検査やマシンビジョン等において、検査システム構築時における最も煩わしいフローは、照明の最適設計を含めたイメージングシステムの設計である。オペレーターが照明の最適設計を手動で行う場合、ワークの個体差に対応するために、対象として決定されたワークを変更し、手動調整ベースでの照明の最適化と検査アルゴリズムの調整を同時に交互に繰り返し実行して、予期される検出パフォーマンスを達成する必要があり、非常に時間がかかるという問題が存在する。さらに、照明がオペレーターによって容易に監視できるように調整されている場合、最適なチェック精度が常に達成されるとは限らないという問題も存在する。
これらの問題を解決する従来技術として、撮像画像に基づいて評価基準を算出し、それを最大化／最小化する結像及び照明パラメータを繰り返し算出する方法が存在する（特許文献１）。しかしながら、この方法によれば、現在撮像されている１つのワークの撮像画像に基づいて算出された評価値の最適化を実施することしかできず、複数のワーク間の差異の学習などの機械学習に基づく認識器（recognizer）の最適化を実施できない場合がある。
さらに、多数の組み合わせの結像及び照明パラメータが存在する可能性があり、同時に結像条件及び照明条件の変更、結像及び最適化を実行すると、相対的に長い時間がかかる場合があるという問題も存在する。
さらに、上記の問題は、生産現場での製品の外観検査中だけでなく、照明を当てた対象の撮像画像を入力として使用でき、機械学習によってさまざまな判定を行う他の判定装置（顔認識システムなど）にも存在する。
特許文献１：ＥＰ２８８７０５５Ａ１
本発明は、前述の問題の少なくとも一部またはすべてを解決するために採用される。
本発明は、機械学習ベースでの検査アルゴリズムのパラメータが照明の設計パラメータを含むという条件下で検査アルゴリズムのパラメータを最適化する方法を開示する。したがって、使用者は、検査アルゴリズムの損失値（判定条件下での正確率）を最大化する方法で、照明の最適化と検査アルゴリズムの最適化を同時に直接行うことができる。
（１）本発明の一態様によれば、画像を含む学習データを使用することにより生成された機械学習モデルを含む検査モジュールを使用して対象を検査する方法において、対象を撮像するとき、照明条件を規定する照明パラメータを変更できる光源によって対象を照明し、複数のそのような照明パラメータでイメージセンサによって対象を撮像し、複数の照明パラメータに対応する複数の撮像画像を取得し、対象は既知のラベルデータを有することと、撮像した画像と撮像した画像に対応する照明パラメータを関連付けることによって得られた画像データセットに基づいて、可変照明パラメータで対象を照明中の対象の推定画像を生成することと、対象の可変照明パラメータに対応する推定画像及び対応するラベルデータを機械学習モデルの学習に適用し、機械学習モデルの推定結果と対象のラベルデータの比較結果に基づいて、照明パラメータと検査アルゴリズムパラメータの両方を同時に最適化することで、機械学習モデルの照明条件と検査アルゴリズムパラメータの両方を同時に設定することを含む、ことを特徴とする対象を検査する際の照明条件を設定する方法を開示する。
したがって、機械学習モデルの推定結果と対象のラベルデータとの比較結果に基づいて、検査モジュールを使用して対象を検査する際に採用する照明条件を設定し、機械学習モデルの照明パラメータと検査アルゴリズムパラメータの最適化を同時に実行でき、操作が簡略化される。
（２）前述の方法において、可変照明パラメータで照明中の対象の推定画像の操作は、複数の種類の対象に対して、複数の対応するそのような画像データセットを準備することと、複数の画像データセットに基づいて、可変照明パラメータによる照明中に複数の種類の対象にそれぞれ対応する複数のそのような推定画像を生成することと、を含む。
したがって、この方法では、異なる種類の対象に最適な照明条件を設定することができ、検出モデルの汎用性を改善することができる。
（３）本発明の別の態様によれば、対象を検査する際の照明条件を設定する方法であって、画像を含む学習データを使用することにより生成された機械学習モデルを含む検査モジュールを使用して対象を検査する方法において、対象を撮像する際の照明条件を規定する照明パラメータを変更できる光源によって対象を照明し、複数の照明パラメータでイメージセンサによって対象を撮像し、複数の照明パラメータに対応する複数の撮像画像を取得し、対象は対応するラベルデータを有することと、撮像画像と撮像された画像に対応する照明パラメータを関連付けることによって得られた画像データセットに基づいて、可変照明パラメータで対象を照明中の推定画像を生成することと、可変照明パラメータに対応する推定画像を、既に学習を実行した機械学習モデルに適用することと、機械学習モデルの推定結果と対象のラベルデータの比較結果に基づき、検査モジュールを使用して対象を確認するときに採用する照明条件を、照明パラメータのみの最適化結果に応じて設定することと、を含む、ことを特徴とする方法を開示する。
前述の方法では、最初に検査アルゴリズムパラメータを決定し、次に推定画像により検査照明パラメータを決定する方法で、機械学習モデルの学習中のシステム演算量を削減し、システム負荷を低減し、照明パラメータの設定操作を簡略化することができる。
（４）前述の方法において、既に学習を実行した機械学習モデルに対して、可変照明パラメータに対応する推定画像を適用する操作は、対象の推定画像及び対応するラベルデータを含む学習データを、機械学習モデルの追加学習に適用し、機械学習モデルの検査アルゴリズムパラメータの一部または全てを更新することと、機械学習モデルの推定結果がラベルデータと一致するように、機械学習モデルの照明パラメータと検査アルゴリズムパラメータの一部または全ての両方を最適化することと、を含み、ここでラベルデータは対象の検査特徴を表す。
この方法により、方法の第２ステップで検査アルゴリズムパラメータ及び検査照明パラメータの一部または全てを同時に最適化するので、機械学習モデルはより良い学習結果を得ることができる。
（５）前述の方法において、照明条件を設定するとき、照明パラメータを決定するために機械学習モデルに適用される推定画像の数は、機械学習モデルの学習に適用される撮影画像の数よりも少ない。
したがって、学習時間を短縮することができる。
（６）前述の方法において、照明パラメータは、光源の発光位置と発光強度（luminous intensity）を含む。
したがって、光源の発光位置と発光強度の両方を変更して、照明パラメータを変更することができる。
（７）前述の方法において、検査モジュールを使用して対象を検査する際の照明条件の設定の操作は、前述比較結果を表す損失関数を最小化する、前述損失関数を最小化する照明パラメータを選択することを含み、前記選択は、所定の範囲の照明パラメータについて、損失関数の損失平均を最小化する照明パラメータを選択することを含む。
ここで、所定の範囲の照明パラメータを考慮することで、対象を確認する際の環境変化に対するロバスト性を向上させることができる。
（８）前述の方法において、可変照明パラメータで照明中の対象の推定画像を生成する操作は、画像データセットに含まれる照明パラメータに対応する撮像画像の加重線形重畳和（weighted linear superposition sum）に基づいて、可変照明パラメータで対象が照明されるときの対象の推定画像を生成することを含み、ここで、前記加重は、可変照明パラメータ及び撮像画像の照明パラメータの両方に従って決定される。
したがって、線形照明（linear lighting）条件下での対象の推定画像をシミュレーションすることができる。
（９）前述の方法において、可変照明パラメータで照明中の対象の推定画像を生成する操作は、画像データセットに基づき、可変照明パラメータに関する非線形推定関数を使用して、可変照明パラメータで対象を照明する際の対象の推定画像を生成することを含む。
したがって、非線形照明条件下での対象の推定画像をシミュレーションし、検査モジュールの汎用性を向上させることができる。
（１０）本発明の他の態様によれば、前述した各方法に対応し、対象を検査する際の照明条件を設定する様々な装置がさらに開示され、前述した各方法と同じ効果を達成することができる。
（１１）本発明の別の態様によれば、対象を検査する際の照明条件を設定するシステムがさらに開示される。システムは、処理部を含んでも良く、前述した任意の方法を実行するように構成することができる。
（１２）本発明の別の態様によれば、前述した任意の方法を実行するために実行されるプログラムがさらに開示される。
（１３）本発明の別の態様によれば、前述する方法を実行するために実行されるプログラムが記憶される記憶媒体がさらに開示される。
システム、プログラム、及び記憶媒体も、前述の各方法と同じ効果を達成することができる。
本発明の２つの効果を実質的に列挙する。まず、設計時間を短縮し、体系的な設計を得ることができ、パフォーマンスがスタッフのスキルに依存することで表れる個別化されたスキルを回避することができる。次に、パフォーマンスの観点から、撮像システム全体及び画像処理システム全体の直接の最適化は、例えば、検査アルゴリズムに好適な照明設計や、そのような照明に最も適した検査アルゴリズム等、検査の精度（合格／不合格の製品判定または測定値）の角度のみから実現することができる。
本明細書で説明される図面は、本発明のさらなる理解を提供するために使用され、本発明の一部を構成する。本発明の概略的な実施形態及びその説明は、本発明を説明するために使用され、本発明に対する不適切な限定を構成しない。
本発明の実施形態に係る検査システムのシステム構成例の概略図である。 本発明の実施形態に係る欠陥検査装置のハードウェア構成の概略図である。 本発明の実施形態による欠陥検査装置の機能モジュールの概略図である。 図４の（ａ）と（ｂ）は、それぞれ、本発明の実施形態による照明条件の設定方法における機械学習モデルの学習段階及び検査段階のフローチャートである。 本発明の実施形態による照明条件の設定方法のフローチャートである。 図５のステップを詳細に示すフローチャートである。 図５のステップを詳細に示すフローチャートである。 図５に示される照明条件の設定方法の概略フローチャートである。 図８の（ａ）と（ｂ）は、本発明の別の実施形態による照明条件を設定する方法における機械学習モデルの学習段階及び検査段階のフローチャートである。 図９の（ａ）及び（ｂ）は、それぞれ、図８に示す照明条件の設定方法の一変化例における機械学習モデルの学習段階及び検査段階のフローチャートである。 本発明の別の実施態様による照明条件の設定方法のフローチャートである。 本発明の別の実施形態による照明条件の設定方法のフローチャートである。 図１２の（ａ）と（ｂ）は、本発明の実施形態による照明条件の設定方法を説明する照明モデルの概略図である。 線形照明モデルの一例を示す概略図である。 線形輝度関数の一例を示す概略図である。
当業者が本発明をよりよく理解できるように、本発明の実施形態を、本発明の図面と組み合わせて、以下に明確かつ完全に説明する。明らかに、説明される実施形態は、実施形態の全てではなく、本発明の実施形態の一部にすぎない。本発明の実施形態に基づいて当業者によって創造的な努力なしに得られる他の全ての実施形態は、本発明の保護範囲に含まれるものとする。
本発明では、可変照明パラメータを有する複数の光源によって対象を照明する。照明パラメータは、例えば、光源の発光位置、発光強度及び色度（ｃｈｒｏｍａｔｉｃｉｔｙ）を含んでも良い。照明条件下で、イメージセンサ（例えば、カメラ）により対象を撮像し、撮像画像を取得する。撮像画像を処理して生成された推定画像によって機械学習モデルを訓練して、対象を検査する機能を機械学習モデルに付与する。撮像画像または推定画像を照明パラメータに事前に関連付けることができるため、機械学習モデルの訓練過程において照明パラメータと検査アルゴリズムパラメータを同時に調整することができる。ここで、「検査アルゴリズムパラメータ」とは、機械学習モデルで対象を検査する際の検査アルゴリズムのパラメータをいう。したがって、学習用の撮像画像を取得するために、照明パラメータ及び照明パラメータにより純粋に照明を調整する場合と比較して、本発明の対象を検査する方法では、操作が簡略化され、システム負荷が低減される。
本発明の実施形態について、図面を参照して詳細に説明する。図面中、同一または対応する部分には同一の符号を付し、重複する説明は省略することに留意することが重要である。
まず、本発明の実施形態に係る検査システム１のシステム構成例について説明する。実施形態に係る検査システム１は、被検査対象を撮像して生成した撮像画像に基づいて、被検査対象を検査する。被検査対象は、生産ラインのワークであっても良い。検査は、例えば、ワークの外観検査または外観測定であっても良い。
図１は、実施形態に係る検査システム１のシステム構成例の概略図である。図１を参照すると、検査システム１は、撮像により取得した入力画像、例えばベルトコンベア２上を搬送される被検査対象、すなわちワーク４に対して画像解析処理を実行し、これにより、ワーク４の外観検査または外観測定が完了する。以下の説明では、画像解析処理の代表例として、ワーク４の表面に欠陥の有無を確認する応用例を説明する。ただし、これらに限定されるものではなく、検査システムは、欠陥の種類の特定や、外観形状の測定等にも適用できる。
ベルトコンベア２の上部には、結像手段としてのカメラ１０２が設けられており、カメラ１０２のイメージングビュー６は、ベルトコンベア２を含む所定の領域を形成する。カメラ１０２の結像により生成された画像データ（以下「入力画像」という）は、欠陥検査装置１００に送信される。カメラ１０２の結像は、周期やイベントに応じて実行される。
欠陥検査装置１００は、学習器を備えてもよく、学習器は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ））エンジンを備えてもよい。ＣＮＮエンジンを介して、入力画像に基づき各レベルの特徴検出画像を生成する。生成した１枚または複数枚の特徴検出画像に基づき、対象ワークに欠陥があるか否かを判定する。あるいは、欠陥の大きさ、位置等を検出することもできる。
欠陥検査装置１００は、上位層ネットワーク８を介して、プログラマブルロジックコントローラ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ（ＰＬＣ））１０、データベース装置１２等と接続されている。欠陥検査装置１００における検出結果は、ＰＬＣ１０及び／またはデータベース装置１２に送信されても良い。ＰＬＣ１０及びデータベース装置１２に加え、任意の装置が上位層ネットワーク８に接続されても良いことに留意することが重要である。
欠陥検査装置１００には、処理状況や検出結果等を表示するディスプレイ１０４や、ユーザの操作を受け付ける入力部としてのキーボード１０６やマウス１０８が接続されていても良い。
次に、本発明の実施形態に係る検査システム１に含まれる欠陥検査装置１００のハードウェア構成について説明する。
図２は、実施形態に係る欠陥検査装置１００のハードウェア構成の概略図である。欠陥検査装置１００は、本発明における「対象を検査する際の照明条件を設定するためのシステム」の一例であってよい。図２を参照すると、一例として、欠陥検査装置１００は、汎用コンピュータアーキテクチャによって形成された汎用コンピュータに従って実現されても良い。欠陥検査装置１００は、プロセッサ１１０、メインメモリ１１２、カメラインターフェース１１４、入力インターフェース１１６、ディスプレイインターフェース１１８、通信インターフェース１２０及びメモリ１３０を含む。通常、これらの部材は内部バス１２２を介して接続され、それによって互いに通信する。
プロセッサ１１０は、メインメモリ１１２のメモリ１３０に格納されたプログラムを実行することにより、以下に説明する機能及び処理を実現する。メインメモリ１１２は、不揮発性メモリで構成され、プロセッサ１１０のプログラム実行に必要なワーキングメモリの機能を実現する。
カメラインターフェース１１４は、カメラ１０２と接続され、カメラ１０２の結像により得られた入力画像を取得する。カメラインターフェース１１４は、さらに、カメラ１０２に結像タイミング等を指示しても良い。
入力インターフェース１１６は、キーボード１０６やマウス１０８等の入力部と接続されており、入力部等に対する使用者の操作により表される指示を受信する。
ディスプレイインターフェース１１８は、ディスプレイ１０４に接続されており、プロセッサ１１０のプログラム実行により生成された各種処理結果をディスプレイ１０４に出力する。
通信インターフェース１２０は、上位層ネットワーク８を介して、ＰＬＣ１０、データベース装置１２等との通信処理を担当する。
画像処理プログラム１３２やオペレーティングシステム（ＯＳ）１３４等のコンピュータが欠陥検査装置１００の機能を実現するプログラムは、メモリ１３０に格納される。以下で言及する画像検出処理を実行するように構成された学習器パラメータ１３６、カメラ１０２で撮像した入力画像（すなわち、撮像画像１３８）及び撮像画像１３８に基づき取得した推定画像１４０を、さらにメモリ１３０に格納しても良い。学習器パラメータ１３６は、例えば、照明パラメータや検査アルゴリズムパラメータ等の機械学習モデルの学習段階及び検査段階に適用される様々なパラメータを含んでも良い。
メモリ１３０に格納された画像処理プログラム１３２は、デジタルバーサタイルディスク（ＤＶＤ）などの光記録媒体や、ユニバーサルシリアルバス（ＵＳＢ）メモリなどの半導体記録媒体を介して欠陥検査装置１００にインストールしても良い。あるいは、画像処理プログラム１３２は、ネットワーク上のサーバ装置等からさらにダウンロードしても良い。
このような汎用コンピュータでの実現時には、ＯＳ１３４が提供するソフトウェアモジュール内の必要なソフトウェアモジュールを所定の順序及び／または機会に応じて呼び出すことで処理を行い、実施形態に応じた機能の一部を実現することができる。つまり、実施形態に係る画像処理プログラム１３２は、実施形態に係る機能を実現するソフトウェアモジュールを全て含むものではなく、ＯＳと協働して必要な機能を提供するものであっても良い。
実施形態に係る画像処理プログラム１３２は、さらに、他のプログラムの一部と組み込まれて提供されてもよい。このような状況下では、画像処理プログラム１３２は、組み合わされる他のプログラムに含まれるモジュールを含まず、他のプログラムと連携して処理を実行する。したがって、実施形態に係る画像処理プログラム１３２は、他のプログラムに組み合わせる方法をさらに採用しても良い。
図２は、汎用コンピュータにより欠陥検査装置１００を実現する例を示している。。ただし、これに限定されず、機能の一部または全てを専用回路（例えば、特定用途向け集積回路（ＡＳＩＣ）やフィールドプログラマブルゲートアレイ（ＦＰＧＡ））により実現することもできる。また、ネットワークに接続された外部機器が処理の一部を担うこともできる。
図３は、本発明の実施態様による欠陥検査装置１００の機能モジュールの概略図である。図３に示すように、欠陥検査装置１００は、画像生成部１４１と、設定部１４２と、検査部１４３と、撮像部１４４と、記憶部１４５とを含んでも良い。
欠陥検査装置１００の画像生成部１４１、設定部１４２及び検査部１４３は、１つまたは複数の汎用プロセッサにより実現されても良い。ただし、これらに限定されるものではない。一部または全ての機能は、専用回路（例えば、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））を介して実現しても良い。また、ネットワークに接続された外部機器もこれらの部分の処理の一部を担うこともできる。
ここで、撮像部１４４は、本発明における「取得ユニット」の一具体例である。他の例として、欠陥検査装置１００は撮像部１４３を備えていなくてもよく、ワーク４の撮像画像を外部から受信することもできる。画像生成部１４１は、本発明における「生成ユニット」の一具体例であり、設定部１４２は、本発明における「設定ユニット」の一具体例である。撮像部１４４、画像生成部１４１と設定部１４２の組み合わせが、本発明における「対象を検査する際の照明条件を設定する手段」の一具体例である。
加えて、検査部１４３は、本発明における「検査モジュール」の一具体例である。学習器１４３１は、本発明における「機械学習モデル」の実施形態の具体例であり、検査部１４３は、ワーク４の最終的な検査結果を出力する。例えば、学習器１４３１が画像から抽出された特徴を生成するように構成されたＣＮＮであるという条件下で、検査部１４３は、例えば、学習器１４３１により抽出された特徴に判定基準を適用して最終的な検査結果を生成する判定装置をさらに含んでもよい。
画像生成部１４１は、撮像部１４４の撮像により得られた撮像画像に基づいて、可変照明パラメータ（所定の照明パラメータが可変の）による照明条件下でのワーク４の推定画像を生成するように構成されている。つまり、推定画像は実際に撮影されたものではなく、撮像用の照明パラメータをシミュレーションして、シミュレーション照明パラメータを用いた照明条件下でワーク４の推定を行った画像である。
設定部１４２は、ワーク４の可変照明パラメータに対応する推定画像及び対応するラベルデータを学習器１４３１の学習に適用し、学習器１４３１の推定結果とワークのラベルデータとの比較結果に基づいて、既に学習を実行した学習器１４３１により検査部１４３がワーク４を検査する際に用いる照明パラメータを設定する。設定方法の詳細は後述する。
ここで、「ラベルデータ」は、ワーク４の検査特徴を表すように構成されている。例えば、ラベルデータは、ワーク４が合格品か不合格品かを表すデータであっても良いし、ワーク４の外観特徴（例えば、傷やサイズ等）を表すデータであっても良い。ラベルデータの内容は、ワーク４に予想される検査特徴が表される限り、特に限定されない。
検査部１４３は、ベルトコンベア２上のワーク４を検査する。検査部１４３は、学習器１４３１を含んでも良く、これにより訓練された機械学習モデルを通じてワーク４を検査する。
撮像部１４４は、イメージセンサを介してワーク４を撮像する。イメージセンサは、例えば、１つまたは複数のカメラであっても良く、さらに、絞りサイズやシャッター速度等の撮像パラメータは可変である。
記憶部１４５は、欠陥検査装置１００の作業に必要なプログラムやデータを記憶するように構成されている。欠陥検査装置１００は、記憶部１４５を備えていなくても良い。
以下、図４を参照して、本発明の実施態様に係る照明条件の設定方法についてまとめる。図４の（ａ）及び（ｂ）は、それぞれ、本発明の実施形態による照明条件の設定方法における機械学習モデルの学習段階及び検査段階のフローチャートである。
図４（ａ）に示すように、ステップＳ４１０において、撮像部１４４は、ワークを撮像する。ワークは、異なる照明パラメータを用いた照明の条件下で何度も撮像され、それにより、ワークに関する複数の撮像画像が取得される。これらの撮像画像は、それぞれ一組の照明パラメータに対応し、例えば、各組の照明パラメータは、オンにされる光源及びオンにされる光源の輝度等のパラメータを含んでいても良い。
ステップＳ４１２において、学習器１４３１は、これらの撮像画像に基づいて得られた推定画像をもとに学習を行う（推定画像の取得方法については、図５〜図７を参照して詳しく後述する）。各推定画像は関連付けられた可変照明パラメータを有するため、学習により、評価関数を最適化して最適な照明パラメータ及び検査アルゴリズムパラメータを得ることができる。つまり、検査部１４３が出力する検査結果の正確率を最適化するために、最適な照明パラメータ及び検査アルゴリズムパラメータが選択される。ここで、「照明パラメータ」とは、検査部１４３がワークを検査する際に使用する照明パラメータであり、「検査アルゴリズムパラメータ」とは、検査部１４３がワークを検査する際に使用する検査アルゴリズムのパラメータを指す。
図４の（ｂ）に示すように、ステップＳ４２０では、ステップＳ４１２で取得した最適化された照明パラメータで照明を行い、撮像部１４４がワーク４を撮像して撮像画像を取得する。ステップＳ４２２において、学習器１４３１は、これらの画像により、ワーク４の欠陥を確認する。
図４に示す照明条件の設定方法では、検査照明パラメータと検査アルゴリズムパラメータを同時に調整する。つまり、照明パラメータは、調整が必要なアルゴリズムパラメータに同等に追加されるため、労働時間を短縮し、労働者への依存を軽減することができる。また、システム全体の計算負荷を軽減し、検査効率を向上させることができる。
図５は、図４の（ａ）に示す照明条件の設定方法をさらに詳しく説明した後の照明条件の設定方法のフローチャートである。図６Ａの（ａ）及び図６Ｂの（ａ）は、図５のステップＳ５４の詳細なフローチャートであり、図６Ａの（ｂ）及び図６Ｂの（ｂ）は、図５のステップＳ５６の詳細なフローチャートである。図６Ｂの（ｃ）は、図４の（ｂ）に示す検査段階に対応する概略フローチャートである。図７は、図５に示す照明条件の設定方法の概略フローチャートである。以下、図５から図７を参照しながら、本発明の実施形態に係る照明条件の設定方法の各ステップについて詳細に説明する。以下、説明の便宜上、「照明シミュレータ」の概念を紹介する。
本発明では、検査アルゴリズムは、学習器１４３１により実現される。学習器１４３１の訓練評価基準は、通常、損失値と呼ばれ、合格／不合格の製品判定問題に関する場合、合格／不合格（ＰＡＳＳ／ＦＡＩＬ）の正確率は、交差エントロピー（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ）等によって表される。検査内容がワーク４の長さ等の測定の回帰問題である場合、エラー発生分布を多次元正規分布でモデル化し、その対数尤度関数を損失値とする。
通常の条件下では、機械学習ベースの検査アルゴリズムの学習中に、複数の教師データ（ｔｅａｃｈｅｒ ｄａｔａ）（判定問題の場合は合格／不合格、回帰問題の場合は正確率）及び学習サンプル画像を事前に入力し、損失値を最小化するようにパラメータの最適化を実行する。ここで、損失値は、これらの学習サンプル画像が正確に推定されているかどうかの基準である。
現状では、前述した照明の最適化を実施する場合、これらの学習サンプル画像は、必要性に応じて設定された様々な照明条件での撮影画像をコンピュータで再現する必要がある。したがって、本発明では「照明シミュレータ」を導入し、照明パラメータ（例えば、強度、位置、入射角等のパラメータのセット）が提供されると、この照明条件下での撮像画像を算出する。
照明シミュレータは次のように定義される。照明パラメータベクトルがθLで、そのような照明の下で撮像した撮像画像ベクトルがｕである場合、式（１）に示すように、照明シミュレータは関数ｆとして定義される。
Figure 2021515927
関数の具体的な定義は、照明モデルに応じて異なる式を採用している。この関数は、特定のワークについてのみ撮像画像を生成する関数であることに留意することが重要である。複数のワークを処理する場合、ワークを個別に識別する指標ｉが下付き文字として採用され、fiとして標記される。
照明シミュレータ関数fiは、照明モデル
Figure 2021515927
 を順次変化させて得たＮ枚の撮像画像
Figure 2021515927
 を訓練画像として採用し、パラメータを推定する。以下、照明シミュレータの具体例におけるパラメータ推定方法に説明する。
図５を参照すると、ステップＳ５０では、撮像部１４４がワークを撮像する。ステップＳ５０は、例えば、ステップＳ４１０と同様であってよい。最適化の準備段階として、全てのワーク（1≦ｉ≦Ｍ）について、それぞれ照明シミュレータfiを算出するように構成された撮像画像ｕｊ（1≦ｊ≦N）を撮像し、それぞれの照明パラメータを取得する。
ここで、各光源の照明パラメータを変更しても良く、例えば、各光源の発光位置及び／または発光強度を変更して、ワーク４に異なる照明を提供してもよい。さらに、ワーク４は対応する既知のラベルデータを有し、ラベルデータはワーク４の検査特徴を表すように構成される。例えば、ラベルデータは、ワーク４が良品か不良品かを表すデータであっても良いし、ワーク４の外観特徴（例えば、傷やサイズ等）を表すデータであっても良い。ラベルデータの内容は、ワーク４の予期される検査特徴が表されていれば特に限定されない。
ステップＳ５２において、画像生成部１４１は、撮像画像と対応する照明パラメータとを関連付けて画像データセットを取得する。画像データセットは、例えば、対応する撮像パラメータ（例えば、絞りサイズ及びシャッタースピード等）をさらに含んでも良い。画像データセットは、例えば、記憶部１４５に記憶されても良い。
ステップＳ５４において、画像生成部１４１は、画像データセットに基づいて、可変照明パラメータで照明する条件下における各ワークの推定画像を生成する。
具体的には、図６Ａの（ａ）及び図６Ｂの（ａ）に示すように、ステップＳ５４０において、各ワークの照明シミュレータfiは、初期シミュレータパラメータに基づいて初期推定画像を生成する。そして、画像生成部１４１は、初期推定画像とワークの撮像画像とを比較する。
ステップＳ５４２では、差分に基づいてシミュレータパラメータθSを調整し、最終的に最適化されたシミュレータパラメータを得る。例えば、線形モデル等の単純な照明シミュレータモデルの場合、初期シミュレータパラメータは必要ではない。シミュレータパラメータは、照明条件を定義する照明パラメータとは異なることに注意が必要である。そのような最適化プロセスは、機械学習の方法で完了することができる。ステップＳ５４４において、照明シミュレータは、最適化された照明シミュレータパラメータθSに基づいて、可変照明パラメータでの照明中の推定画像を生成する。
図５に戻り、ステップＳ５６では、学習器１４３１は、推定画像に基づいて学習を実行し、ワークを検査する際に採用する照明パラメータを取得する。具体的には、図６Ａの（ｂ）及び図６Ｂの（ｂ）を参照する。
図６Ａの（ｂ）及び図６Ｂの（ｂ）では、ステップＳ５６０において、推定画像を学習器１４３１に入力して学習する。
外観チェック中における、機械学習ベースの検査アルゴリズムの損失関数は通常L(u,v|θD)として標記し、ここで、θDは検査アルゴリズムのパラメータベクトルである。例えば、検査アルゴリズムには、深層学習中の接続線の全ての加重が含まれる。また、ｕは撮像画像、ｖは画像のラベルであり、通常の条件下では、学習用のデータセットを
Figure 2021515927
 と表すと、式（２）により最適な学習パラメータ
Figure 2021515927
 が算出される。
Figure 2021515927
学習器１４３１では、ワークのサンプルセットに対応する照明シミュレータセットを
Figure 2021515927
 と表すと、撮像画像ｕがシミュレータ画像f(θL)に置き換えられ、式（３）に示す関係が得られる。
Figure 2021515927
公式により、最適な照明と検査アルゴリズムのパラメータを式（４）で計算することができる。
Figure 2021515927
ただし、式の最適化を実行する場合、通常の条件下では、物理的な制約条件（例えば、負の輝度は意味をなさない）のために、照明パラメータベクトルの値は特定の範囲で変化し、そのような有効範囲においてパラメータ値の最適化を行う。なお、θLの算出方法については、図１１、図１２と併せて後述する。
ステップＳ５６２において、学習器１４３１は、ワーク４の推定画像及び対応するラベルデータを含む学習用データにより学習を行い、推定結果を得る。ステップＳ５６４では、式（４）に基づいて学習器１４３１の検査アルゴリズムパラメータを最適化し、学習器１４３１の推定結果をラベルデータと一致させる。
図７に示すように、例えば、学習器１４３１がニューラルネットワークを用いて深層学習を実行する場合、ニューラルネットワークの出力をラベルデータと一致させることにより、検査アルゴリズムパラメータと照明パラメータを同時に最適化し、これにより、既に学習を実行し、最適な照明パラメータを有するニューラルネットワークを得ることができる。既に学習した学習器１４３１は、照明パラメータを選択して、ワーク４の試験結果の正確率を上げることができる。
さらに、破線枠内の工程は必ずしも実行しなければならないわけではない。例えば、照明モデルの種類によっては、破線枠内の処理を実行しない場合がある。このような場合、推定画像ではなく、複数の照明パラメータでイメージセンサによって撮像した対象の画像を機械学習に直接使用する。
図５〜図７を参照すると、本発明の実施形態における照明パラメータの設定方法では、検査照明パラメータ及び検査アルゴリズムパラメータが同時に最適化されるため、労働時間が短縮され得る。また、評価基準の直接の最適化は、精度検査（合否判定や測定値）の観点のみから実施できる。さらに、例えば、検査アルゴリズムのための優れた照明設計及びそのような照明に最も適した検査アルゴリズム等の全体としての目的のための撮像システム及び画像処理システムの直接最適化を実現することができる。
また、照明条件の設定方法には、照明シミュレータを導入し、また、ワークの多数の画像を撮像する必要がないため、撮像時間を節約し、労働時間を短縮し、労働者への依存を軽減することができる。
また、図５、図６Ａ、図６Ｂを参照すると、本発明の実施形態に係る照明パラメータの設定方法では、複数の種類のワーク４に対応する複数の画像データセットを用意しても良い。したがって、複数の画像データセットに基づいて、可変照明パラメータによる照明時の各種類のワーク４にそれぞれ対応する複数の種類の推定画像を生成することができる。
したがって、検査部１４３の汎用性を向上させることができ、ワークの種類ごとに撮像や照明パラメータの設定等を行う必要がない。
図８の（ａ）及び（ｂ）は、それぞれ、本発明の別の実施形態による照明条件の設定方法における機械学習モデルの学習段階及び検査段階のフローチャートである。この方法の原理を最初に以下に説明する。
通常の条件下では、機械学習ベースの検査アルゴリズムの学習には、多数の訓練画像が必要である。この問題は、深層学習などの多数のパラメータを使用する方法で特に顕著であり、この方法ではＭ＊Ｎ画像を取得する必要があるという問題がある。Ｍの値が非常に大きい場合、多数の画像を取り込む必要がある。
この問題の解決策として、多数の訓練画像を必要とする検査アルゴリズムに対してのみ、固定の撮影条件で取得した訓練画像から、事前に検査アルゴリズムパラメータを算出することが考えられる。換言すると、θLとθDは最適解を算出するために同時に変更されず、θDを算出した後に、いくつかのワークサンプルの照明シミュレータによってθLを算出する。通常の条件下では、照明パラメータの数が比較的少ないため、この方法は妥当と考えられる。
具体的には、
Figure 2021515927
 と
Figure 2021515927
 の２つのデータセットを用意し、２段階の最適化のために、最適な照明パラメータを式（５）と式（６）で算出する。
Figure 2021515927
Figure 2021515927
上述した方法では、Ｍ1＞Ｍ2と設定し、学習に必要な撮影画像数をＭ×ＮからＭ1+Ｍ2×Ｎに削減することができる。前述の方法では、既存の固定の検査アルゴリズムパラメータも使用することができ、照明パラメータのみを算出することができる。
ここで、図８を参照して、その方法のフローを詳細に説明する。図８の（ａ）に示すように、ステップＳ８１０では、Ｍ1個のワークを固定照明パラメータで撮像し、Ｍ1枚の撮像画像を取得する。ステップＳ８１２において、学習器１４３１は、Ｍ1枚の撮像画像による学習を実行して、検査アルゴリズムパラメータを最適化する。ステップＳ８１４では、Ｍ1ワーク中のＭ2ワークをＮタイプの照明パラメータの下で撮像し、Ｍ2×Ｎ枚の撮像画像を取得する。
ステップＳ８１６では、Ｍ2＊Ｎ枚の撮像画像とこれらの撮像画像に対応する照明パラメータとを関連付けることにより取得した画像データセットに基づいて、可変照明パラメータで照明中のワーク４の推定画像を生成する。これらの推定画像を、既に学習を実行した学習器１４３１に使用する。学習器１４３１の推定結果とラベルデータとの比較結果に基づいて、検査部１４３がワーク４を検査する際の照明条件を設定する。一比較例として、例えば、学習器１４３１が、Ｎ個の照明パラメータの下でワーク画像をテスト画像を入力として使用して学習を実行した後、ワーク４を検査するときに照明パラメータとして、学習器１４３１の推定結果の正確率が最大となる照明パラメータを選択する。
図８の（ａ）に示す学習段階の後、図８の（ｂ）に示すように、ステップＳ８２０において、検査照明パラメータの下でワークを撮像し、撮像画像を取得する。ステップＳ８２２において、検査部１４３は、撮像画像を解析して、ワークの検出結果を取得する。
図８で説明した検査方法によれば、機械学習モデルの学習時のシステム演算量を削減でき、システム負荷を軽減できる。また、照明パラメータの設定操作を簡略化することができる。
また、任意に、前述の方法では、学習に必要な撮像画像の数も減らすことができる。これにより、労働時間を削減し、パラメータ最適化手順を簡略化することができる。
図８を参照して説明した照明条件の設定方法には、様々な変化例があり得る。以下、図９を参照して、その変化例について詳細に説明する。図９の（ａ）及び（ｂ）は、それぞれ、図８に示す照明条件の設定方法の一変化例における機械学習モデルの学習段階及び検査段階のフローチャートである。図９において、図８と同一または類似のステップには同一または類似の符号を付し、重複する説明は省略する。
ステップＳ９１６の学習時には、式（７）及び式（８）に示すように、θLの他に、検査アルゴリズムパラメータの一部（θ´Dとして記録）も変数値に設定され、再調整される。したがって、いくつかのワークサンプルの照明シミュレータによってのみ追加学習を実行することができ、別の側面から言えば、照明に最も適した学習器を形成できないという問題は局所的に解決され得る。
Figure 2021515927
Figure 2021515927
同様に、学習に必要な撮像画像の数を減らすことができ、また、ある程度照明に最適な学習器を形成することができる。
また、図９を参照して説明した検査方法において、ステップＳ９１６の学習中に、検査アルゴリズムの全てのパラメータを再度調整しても良い。このような条件の下で、ステップＳ８１２の学習は、事前学習機能を有する。
図１０は、本発明の別の実施形態による検査方法のフローチャートである。図１０の検査方法によれば、照明及び撮像システムの小さな変化に対するロバスト性が改善され得る。
同一の検査を生産ラインで並行して行うと、照明を含めた撮像システム全体と全く同じ複製を製造することは困難である。一般的な条件下では、カメラや照明の取り付け位置のずれ等により、個体差が生じる場合がある。
本発明の方法により算出された最適な照明パラメータを、撮影環境とは異なる複製環境に適用すると、撮像システムの個体差により性能が損なわれる場合がある。この問題を回避するために、照明パラメータにノイズを加えた後で、平均化を行う評価関数により、小さな変化に対して安定したパラメータを算出することができる。具体的には、前述の損失関数Ｌは、式（９）で定義されたに置き換えられる。これにより、照明パラメータと検査アルゴリズムパラメータを算出する。
Figure 2021515927
ここで、εは自由に分布するノイズベクトルである。通常の条件下では、センターゼロの多変量正規分布、範囲内一様分布などを利用することができる。これは、深層学習中の入力画像の「拡張」の概念を照明パラメータに直接適用したものである。
ここで、図１０を参照して方法のフローを詳細に説明する。図１０に示すように、ステップＳ１０１０では、ワークを撮像して撮像画像を取得する。このステップは、Ｓ４１０、Ｓ５０、及びＳ８１０を参照することができる。ステップＳ１０１２では、撮像画像に基づいて得られた推定画像を学習器１４３１に入力し、さらに照明の変化条件を入力して学習する。ここでいう「照明の変化条件」には、環境の小さな変化が含まれていても良いし、光源やイメージセンサの小さな変化がさらに含まれていても良い。ステップＳ１０１４では、所定の範囲内の照明パラメータに対する学習器１４３１の損失関数の損失平均を最小化し、最適化された照明パラメータを取得する。ここで、照明パラメータは、損失関数の変数である。
図１０を参照して説明した検査方法では、環境への影響を考慮しているため、照明パラメータの小さな変化に対するロバスト性が向上し、検査システム全体の性能が向上する。
図１１は、本発明の別の実施形態による検査方法のフローチャートである。図１１を参照して説明した検査方法によれば、２つの評価関数に基づいて、ワークの変化に対するロバスト性を向上させることができる。
ワークの変化に対する検査性能のロバスト性を確保するために、通常の条件下では、ワークのサンプル画像を追加したり、強化技術を適用してサンプル画像を追加したりする修正が存在する。
前述の照明を含む最適化方法において、ワークサンプル画像を追加することは、照明シミュレータの例数を増やすことに等しい。そのため、純粋にサンプル画像を撮像する場合と比較して煩わしいという問題があり、これを簡単に解決する方法として、評価関数に関する方法が考えられる。
本発明によれば、検査アルゴリズムの正確率（損失値）を直接最大化できるという利点がある。一方で、撮像画像を直接目視評価するための基準は含まれていないので、照明パラメータが、対象の欠陥を検査する実際の照明の照明パラメータに変更されたか、または特定のワーク構成に最適化された異常な照明パラメータに変更されたかを区別することはできない。目視で検査画像の良し悪しを評価すると、検査アルゴリズムのパフォーマンスが直接最大化されない場合があるが、評価は人間の感情と経験の先験的知識に基づいて行われるため、堅牢性を確保するという利点を達成できる。したがって、式（１０）に示すように、最適化を行うために、人間ベース（ｈｕｍａｎ−ｂａｓｅｄ）の主観的な能力評価基準（ｓｕｂｊｅｃｔｉｖｅ ｆａｃｕｌｔｙ ｅｖａｌｕａｔｉｏｎ ｒｅｆｅｒｅｎｃｅ）h(u)（たとえば、領域内のコントラスト）を損失関数に追加することができる。
Figure 2021515927
ここで、λは、検査アルゴリズムのパフォーマンス（損失値）と能力評価基準に付加する必要がある、１つの重要性を決定するバランスパラメータである。
ここで、図１１を参照して方法のフローを詳細に説明する。図１１に示すように、ステップＳ１１００では、ワークを撮像し、撮像画像を取得する。このステップは、Ｓ４１０、Ｓ５０、Ｓ８１０を参照することができる。ステップＳ１１１２では、撮像画像に基づいて得た推定画像を学習器１４３１に入力し、さらに評価基準を入力して学習する。ここでいう「評価基準」には、人間の感情や経験に関する先験的知識に基づく前述の評価基準が含むことができ、また、画像分析等のための既存の数学的アルゴリズムに基づく評価基準を含むこともできる。ステップＳ１１１４では、学習器１４３１の損失関数を最小化して、最適化された検査照明パラメータを取得する。
この方法を適用する方法として、次のように変形させることができる。例えば、θDが計算された後にθLを算出する簡略された方法では、各パラメータを算出するステップで、異なるλ値または能力評価基準h(u)を採用する。例えば、θDは正確率（λ＝０）のみに基づいて算出し、θLについては能力評価基準の加重を大きくする（λは相対的に大きな値を設定する）等を採用してもよい。
図１１を参照して説明した検査方法では、環境への影響を考慮しているため、ワークの違いに対するロバスト性が向上し、検査システム全体の性能が向上する。
以下、照明シミュレータの具体的な構成例について説明する。通常の条件下では、照明は光の遠視野モード、つまり平行光に基づいて分割する際の強度分布を表す連続関数（角度スペクトルともいう）によって一意に定義される。連続関数の分解能（ｒｅｓｏｌｕｔｉｏｎ）の上限は、ワークのサイズとイメージングシステムの開口部によって決定され、相対的に小さなワークは相対的に低い角度分解能を有さない場合があるため、相対的に高い空間周波数を有する成分は無視することができる。ただし、そのような場合でも、照明モデルには大きな自由度があり、モデリングには特定のパラメータモデルが必要である。
照明調整パラメータベクトルが特定の照明条件下でのパラメータ化を表す特定の制約条件を表す関数に従い、照明モデルは、線形モデルと非線形モデルに分けることができる。線形モデルのモデルパラメータは比較的簡単に推定できるが、照明の自由度は限られる。
以上、図１に示す検査システムを用いて、本発明の内容を説明したが、本発明の内容はこれに限定されるものではない。例えば、本発明の原理は、照明条件及び撮像画像を設定する必要がある他の様々な状況にも適用することができる。例えば、本発明の原理は、人の顔を対象として、人の顔を照明して画像を撮像し、撮像画像を入力として使用して、機械学習によって人の顔を認識する顔認識システムにも適用することができる。
顔認識システムの場合、照明パラメータを変更できる光源を使用して顔を照明し、カメラで様々な照明条件下における顔の画像を撮像する。ここで、既知のラベルデータが顔に割り当てられる場合、例えば、ラベルデータは人の名前であっても良い。次に、前述した「照明シミュレータ」に基づいて顔の推定画像を生成することができる。そして、これらの顔の推定画像とラベルデータは、顔認識システムの機械学習モデルの学習に使用され、この機械学習モデルの推定結果と顔のラベルデータとの比較結果に基づいて、機械学習モデルの照明パラメータと検査アルゴリズムパラメータを同時に最適化することにより、照明条件と検査アルゴリズムパラメータの両方を設定する。ここで、検査アルゴリズムパラメータとは、機械学習モデルが顔認識に使用されるときに使用される検査パラメータを指す。
以下、図１２の（ａ）及び（ｂ）を参照して、本発明の実施形態による照明条件の設定方法における照明モデルの概略図について説明する。
図１２の（ａ）は、線形照明モデルの例を示す。線形照明モデルでは、画像データセットに含まれ、照明パラメータに対応する撮像画像の線形重畳和に基づいて可変照明パラメータによる照明中のワーク４の推定画像を生成することができる。以下、詳細に説明する。
図１２の（ａ）には、３つの光源の状態が示されている。光源Ｌ１、光源Ｌ２及び光源Ｌ３は、異なる発光位置でワーク４を照明する。ただし、必要に応じて、光源の数を２つ以上にする必要がある。例えば、以下では、Ｎ個の光源の状態について説明する。一言で言えば、線形モデルはＮ個の固定照明の強度を調整する。ｉ番目（１≦ｉ≦Ｎ）の照明の強度がｗiの場合、照明パラメータベクトルを式（１１）で表すことができる。
Figure 2021515927
照明の遠視野モードがψ(θ,φ)の場合、線形モデルの具体的な公式は式（１２）のようになる。
Figure 2021515927
公式では、ψi(θ,φ)がｉ番目の照明の遠視野モードであり、これは放射基底関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ（ＲＢＦ））ネットワークに相当するモデルである。定義によれば、この関数は照明パラメータに対して線形であり、重ね合わせの原理により確立される線形システムである。
この関係は、撮像画像についても適用される。例えば、図１３に示すように、ｉ番目の照明（ｗi＝１）のみが点灯し、他の照明（ｗj=0,ｊ≠i）が消灯している場合の画像は、ｕiとして記録され、照明パラメータの推定画像は、式（１３）に従って計算することができる。
Figure 2021515927
ここで、通常、Ａは経度マトリックスである。また、実際の環境では、発光強度によって光源の指向性が変化するという非線形現象が発生することもあるが、その変化は非常に小さいと考えられる。さらに、ピクセルの飽和と擬似線形性（ｆａｌｓｅ ｌｉｎｅａｒｉｔｙ）により、非線形の線形関数g(x)が適用され、g(x)がベクトルの各要素に対して演算を実行する一般的な条件下で、式（１４）に示すモデルを得ることができる。線形輝度関数の例は図１４のように示される。
Figure 2021515927
この状態で、照明シミュレータのパラメータがマトリックスＡになると、Ａの推定（すなわち学習）が線形システムの検証の問題となり、簡単な実現のために、独立した基準を１回利用することにより、Ｎ回の測定が実行される。
具体的には、測定中、各照明の輝度は線形性が成り立つ範囲内にあると仮定し、測定に用いたＮ個の基本ベクトルを
Figure 2021515927
 に設定すると、以下の式（１５）及び式（１６）が成り立つ。
Figure 2021515927
Figure 2021515927
ここで、niは、撮像中に相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ））センサで生成される追加のノイズであり、通常は正規分布を形成し、その分布はイメージングシステムの信号対ノイズ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ（ＳＮ））比によって決定される。Ａが比較式に従って算出される場合、様々な方法が存在する。例えば、最良線形不偏推定量（Ｂｅｓｔ Ｌｉｎｅａｒ Ｕｎｂｉａｓｅｄ Ｅｓｔｉｍａｔｅ（ＢＬＵＥ））として決定される最尤（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ（ＭＬ））推定や、ＡとＮの両方が既知であるガウス分布条件下での最小平均二乗誤差（Ｍｉｎｉｍｕｍ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ（ＭＭＳＥ））推定等である。通常の状況では、このような条件下でのＡの統計的特性は不明であるため、以下ではＭＬ推定が採用される。Ａの推定値が
Figure 2021515927
 の場合、式（１７）に従って算出することができる。
Figure 2021515927
このとき、推定誤差は以下の通りとなる。
Figure 2021515927
ここで、σは加法性ノイズの標準偏差、λはＸの特異値、Ｐは画像のピクセル数である。ＨＳは、マトリックスに対するヒルベルト＝シュミットの内積またはノルムを表す。この公式より、Ｘの特異値が大きいほど、推定誤差の総量は少なく、等価的には、システムのＳＮ比が純粋に増加していることが分かる。Ｘの特異値の合計が決定されている場合で（合計信号パワーが制約される）、λが全て同じ値の場合、推定誤差は低くなり、正規直交基底を用いると、観測用の照明パラメータベクトルが最も効果的であることが示される。上記の内容を踏まえ、照明モデルの３つの測定モードを以下に示す。
（１）標準ベース
最も純粋なモードの標準ベースが採用される場合、測定用の照明パラメータは式（１９）で表すことができる。
Figure 2021515927
これは正規直交基底であるため、前述の説明の意味するところに従って、最良の推定を行うことができる。ただし、画像の光量は均一ではなく、ノイズや暗電流の影響を受ける場合がある。
（２）線形独立と条件
測定用の照明パラメータとして、線形独立性を有する多数のモードが考えられる。したがって、特定の条件が追加された場合に、条件を満たすものを選択することができる。例えば、特定範囲内の輝度が一定値以上であること等の条件を追加して基底を算出してもよい。前述した内容の通り、基底を標準の正規直交基底に変更すると最も良いパフォーマンスを示すが、輝度が負の値になることはないという制限に基づいて算出されるため、直交性または標準直交性を実現することは困難である。
（３）冗長ベース
測定用の基数は、常に照明の数Ｎに等しいとは限らず、Ｎより大きい値になる場合もある。Ｎよりも大きいと、ＳＮ比を高くすることができ、より正確な推定ができるという利点がある。このような条件下では、Ｘの逆行マトリックスが存在しないため、代わりに式（２０）に示す推定が実行される。
Figure 2021515927
ここで、Ｘ+はＸのムーア−ペンローズの疑似逆行列である。同様に、このような条件下で推定パフォーマンスを最大化するため、Ｘの識別値（ｄｉｓｔｉｎｇｕｉｓｈｅｄ ｖａｌｕｅ）の２乗をそれぞれ同じ値に変更する。したがって、擬似直交基底（Ｐｓｅｕｄｏ Ｏｒｔｈｏｇｏｎａｌ Ｂａｓｅｓ（ＰＯＢ））最適化技術が開示される。例えば、「Ｐｓｅｕｄｏ Ｏｒｔｈｏｇｏｎａｌ Ｂａｓｅｓ Ｇｉｖｅ ｔｈｅ Ｏｐｔｉｍａｌ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ Ｃａｐａｂｉｌｉｔｙ ｉｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｌｅａｒｎｉｎｇ」（Ｍａｓａｓｈｉ Ｓｕｇｉｙａｍａ ａｎｄ Ｈｉｄｅｍｉｔｓｕ Ｏｇａｗａ、ｈｔｔｐ：／／ｗｗｗ．ｍｓ．ｋ．ｕ−ｔｏｋｙｏ．ａｃ．ｊｐ／１９９９／ＳＰＩＥ９９．ｐｄｆ、１９９９）を参照することができる。
前述の内容の通り、別の条件を追加して基底を算出することもできる。
線形照明モデルの例は、図１２の（ａ）を参照して上記で説明され、非線形照明モデルの例は、図１２の（ｂ）を参照して以下で説明される。非線形照明モデルの下で、可変照明パラメータで対象を照明中のワーク４の推定画像は、画像データセットに基づき照明パラメータに関する非線形推定関数によって生成され得る。
図１２の（ｂ）では、１つの光源のみの状態を示す。光源Ｌ４は、異なる発光位置でワーク４を照明することができる。ただし、必要に応じて、光源の数を２個以上にする必要があり、例えば、Ｎ個の光源の条件について説明する。
前述の線形モデルを適用することができない場合は、非線形モデルを使用する。純粋な例を示す。入射角と輝度が調整可能なＮ個の照明を使用する場合において、光の量がｗi（１≦ｉ≦Ｎ）で入射角が(θi,φi)のとき、パラメータベクトルは式（２１）で表すことができる。
Figure 2021515927
このとき、遠視野モードは式（２２）で示され、パラメータベクトルに対して線形性は有さない。
Figure 2021515927
このような状況下では、一般的な数学モデルを定義することは困難であるが、最近提案されている深層学習ベースの画像生成方法、即ち、ジェネレーティブアドバーサリネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ））やオートエンコーダー（Ａｕｔｏ Ｅｎｃｏｄｅｒ（ＡＥ））等の画像生成モデルシステムを利用しても良い。
特定の制限条件下で使用される簡略化されたモデルの具体例を以下に示す。拡散散乱光のみをモデル化した条件下でのランバートモード（Ｌａｍｂｅｒｔ ｍｏｄｅ）により実現した場合、任意の照明は、３つの基底関数によって線形結合の方法で表すことができる。モードはほぼ線形であるが、パラメータ化された照明条件に従って基底の混合係数を計算するプロセスは非線形であるため、非線形照明シミュレータに属する。具体的には、モードは、式（２３）から式（２６）として定義され得る。
Figure 2021515927
Figure 2021515927
Figure 2021515927
Figure 2021515927
ここで、ＢはＰ×３マトリックス（Ｐは画像のピクセル数）、Ｃは３×Ｑマトリックス、d(θL)は照明パラメータに関する非線形Ｑ次元の列ベクトルであり、
Figure 2021515927
 は任意の球面上のサンプリングポイント列であり、ＨＥＡＬＰｉｘ等の球面上で可能な限り等間隔に分布する。サンプリングポイントの数Ｑは、照明パラメータの立体角範囲を完全な分解能でカバーするように設定されている。ｌqは、球面座標
Figure 2021515927
 からワークを照明するときの光源方向ベクトルである。公式は、数学的に、照明パラメータが非線形マッピングｄを介してＱ次元の高次元空間にマッピングされ、ピクセルの輝度値が線形マッピングを介して空間に従って算出され、直接次の意味に変更されることを意味する。
まず、入力された照明パラメータに従って、各照明が標準偏差σのガウス分布の角度範囲を有し、入射角が離散化され、球面上にサンプリングされた各点の値として表されるという仮説を立てることができる。次に、マトリックスＣを介して、各サンプリングポイント（対応する入射角）におけるランバートモデルの３つの基底関数の混合係数（照明方向ベクトル）を算出し、マトリックスＢにより表される基底関数が混合される。最後に、線形関数ｇが適用される。
マトリックスＢは、ワークに依存するマトリックスであるため、照明パラメータで測定した撮像画像セットを少なくとも３回以上変化させることでマトリックスＢを推定する。マトリックスＣは、キャリブレーションとして算出することができる。
ソフトウェア機能ユニットの形で実現され、独立した製品として販売または使用される場合、対象またはその一部が検査する際の照明条件を設定する装置とシステムは、コンピュータ可読記憶媒体に記憶することができる。この理解に基づいて、本発明が課題を解決する手段は、本質的に、または従来技術に寄与する部分は、または課題を解決する手段の全てまたは一部は、ソフトウェア製品の形で実現することができ、コンピュータソフトウェア製品は、本発明の実施形態による方法のステップの全てまたは一部をコンピュータ機器（パソコン、サーバー、ネットワーク機器等）に実行させるためのいくつかの命令を含む記憶媒体に格納される。前述の記憶媒体は、ＵＳＢディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、リムーバブルハードディスク、磁気ディスク、または光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。さらに、サーバーやクラウドからダウンロードされるデータストリームを含むこともできる。
以上は、本発明の好ましい実施形態にすぎず、当業者は、本発明の原理から逸脱することなく、いくつかの改善及び修正を行うことができることに留意されたい。これらの改善及び修正は、本発明の保護の範囲内であると見なされるべきである。
１：検査システム
２：ベルトコンベヤー
４：ワーク
６：イメージングビュー
８：上位層ネットワーク
１０：ＰＬＣ
１２：データベース装置
１００：欠陥検査装置
１０２：カメラ
１０４：ディスプレイ
１０６：キーボード
１０８：マウス
１１０：プロセッサ
１１２：メインメモリ
１１４：カメラインターフェース
１１６：入力インターフェース
１１８：ディスプレイインターフェース
１２０：通信インターフェース
１２２：内部バス
１３０：メモリ
１３２：画像処理プログラム
１３４：ＯＳ
１３６：学習器パラメータ
１３８：撮像画像
１４０：推定画像
１４１：画像生成部
１４２：設定部
１４３：検査部
１４４：撮像部
１４５：記憶部
１４３１：学習器

Claims (20)

  1. 検査モジュールは、対象を検査するために使用する機械学習モデルを含み、前記機械学習モデルは、画像を含む学習データを使用することによって生成される方法において、
    前記対象が撮像される際の照明条件を規定する照明パラメータを変更できる光源によって前記対象を照明し、複数の照明パラメータでイメージセンサによって前記対象を撮像し、前記複数の照明パラメータに対応する撮像画像を取得し、前記対象は既知のラベルデータを有することと、
    前記撮像画像と、前記撮像画像に対応する前記照明パラメータを関連付けることによって得られた画像データセットに基づいて、可変照明パラメータで前記対象が照明されるときの前記対象の推定画像を生成することと、
    前記対象の前記可変照明パラメータに対応する前記推定画像と対応する前記ラベルデータを、前記機械学習モデルの学習に適用し、前記機械学習モデルの推定結果と前記対象の前記ラベルデータの比較結果に基づいて、前記照明パラメータと検査アルゴリズムパラメータの両方を同時に最適化することで、前記機械学習モデルの前記照明条件と前記検査アルゴリズムパラメータの両方を設定することと、
    を含むことを特徴とする対象を検査する際の照明条件を設定する方法。
  2. 可変照明パラメータで前記対象が照明されるときの前記対象の推定画像を生成することは、
    複数の種類の対象に対応する複数の画像データセットを準備することと、
    前記複数の画像データセットに基づいて、前記可変照明パラメータで前記複数の種類の対象が照明されるときの前記複数の種類の対象にそれぞれ対応する複数の推定画像を生成することと、を含む請求項１に記載の方法。
  3. 検査モジュールは、対象を検査するために使用する機械学習モデルを含み、前記機械学習モデルは、画像を含む学習データを使用することによって生成される方法において、
    前記対象が撮像される際の照明条件を規定する照明パラメータを変更できる光源によって前記対象を照明し、複数の照明パラメータでイメージセンサによって前記対象を撮像し、前記複数の照明パラメータに対応する複数の撮像画像を取得し、前記対象は対応するラベルデータを有することと、
    前記撮像画像と、前記撮像画像に対応する前記照明パラメータとを関連付けることによって得られた画像データセットに基づいて、可変照明パラメータで前記対象が照明されるときの前記対象の推定画像を生成することと、
    前記可変照明パラメータに対応する前記推定画像を、既に学習を実行した前記機械学習モデルに適用し、前記機械学習モデルの推定結果と前記対象の前記ラベルデータとの比較結果に基づいて、前記照明パラメータのみの最適化結果に従い、前記照明条件を設定することと、
    を含むことを特徴とする対象を検査する際の照明条件を設定する方法。
  4. 前記可変照明パラメータに対応する前記推定画像を、既に学習を実行した前記機械学習モデルに適用することは、
    前記対象の前記推定画像及び対応する前記ラベルデータを含む学習データを、前記機械学習モデルの追加学習に適用し、前記機械学習モデルの検査アルゴリズムパラメータの一部または全てを更新することと、
    前記機械学習モデルの前記推定結果が前記ラベルデータと一致するように、前記機械学習モデルの前記照明パラメータと前記検査アルゴリズムパラメータの一部または全ての両方を最適化することと、を含み、
    前記ラベルデータは前記対象の検査特徴を表す、請求項３に記載の方法。
  5. 前記照明条件を設定するとき、前記照明パラメータを決定するために前記機械学習モデルに適用される前記推定画像の数は、前記機械学習モデルの学習に適用される前記撮像画像の数よりも少ない、請求項３または４に記載の方法。
  6. 前記照明パラメータは、前記光源の発光位置と発光強度を含む、請求項１または３に記載の方法。
  7. 前記検査モジュールを使用して前記対象を検査する際の照明条件の設定は、
    前記比較結果を表す損失関数を最小化する前記照明パラメータを選択することを含み、前記選択することは、所定の範囲の前記照明パラメータについて、前記損失関数の損失平均を最小化する前記照明パラメータを選択することを含む。
    請求項１または３に記載の方法。
  8. 可変照明パラメータで前記対象が照明されるときの前記対象の推定画像を生成することは、
    前記画像データセットに含まれる前記照明パラメータに対応する前記撮像画像の加重線形重畳和に基づいて、前記可変照明パラメータで前記対象が照明されるときの前記対象の前記推定画像を生成することを含み、その加重は、前記可変照明パラメータと前記撮像画像の前記照明パラメータの両方に従って決定される、請求項１または３に記載の方法。
  9. 可変照明パラメータで前記対象が照明されるときの前記対象の推定画像を生成することは、
    前記画像データセットに基づき、前記可変照明パラメータに関する非線形推定関数を使用して、前記可変照明パラメータで前記対象が照明されるときの前記対象の前記推定画像を生成することを含む、請求項１または３に記載の方法。
  10. 検査モジュールは、対象を検査するために使用する機械学習モデルを含み、前記機械学習モデルは、画像を含む学習データを使用することによって生成される装置において、
    前記対象に関する撮像画像を取得する取得ユニットであって、前記対象を撮像する際の照明条件を規定する照明パラメータを変更することができる光源によって前記対象を照明し、複数の照明パラメータでイメージセンサによって前記対象を撮像し、前記複数の照明パラメータに対応する前記撮像画像を取得し、前記対象は既知のラベルデータを有する取得ユニットと、
    前記撮像画像と、前記撮像画像に対応する前記照明パラメータを関連付けることによって得られた画像データセットに基づいて、可変照明パラメータで前記対象が照明されるときの前記対象の推定画像を生成する生成ユニットと、
    前記対象の前記可変照明パラメータに対応する前記推定画像と対応する前記ラベルデータを、前記機械学習モデルの学習に適用し、前記機械学習モデルの推定結果と前記対象の前記ラベルデータの比較結果に基づいて、前記照明パラメータと検査アルゴリズムパラメータの両方を同時に最適化することで、前記機械学習モデルの前記照明条件と前記検査アルゴリズムパラメータの両方を設定する設定ユニットと、
    を含むことを特徴とする対象を検査する際の照明条件を設定する装置。
  11. 前記生成ユニットは、
    複数の種類の対象に対応する複数の画像データセットを準備し、
    前記複数の画像データセットに基づいて、前記可変照明パラメータで前記複数の種類の対象が照明されるときの前記複数の種類の対象にそれぞれ対応する複数の推定画像を生成する、請求項１０に記載の装置。
  12. 検査モジュールは、対象を検査するために使用する機械学習モデルを含み、前記機械学習モデルは、画像を含む学習データを使用することによって生成される装置において、
    前記対象に関する撮像画像を取得する取得ユニットであって、前記対象を撮像する際の照明条件を規定する照明パラメータを変更することができる光源によって前記対象を照明し、複数の照明パラメータでイメージセンサによって前記対象を撮像し、前記複数の照明パラメータに対応する前記撮像画像を取得し、前記対象は対応するラベルデータを有する取得ユニットと、
    前記撮像画像と、前記撮像画像に対応する前記照明パラメータを関連付けることによって得られた画像データセットに基づいて、可変照明パラメータで前記対象が照明されるときの前記対象の推定画像を生成する生成ユニットと、
    前記可変照明パラメータに対応する前記推定画像を、既に学習を実行した前記機械学習モデルに適用し、前記機械学習モデルの推定結果と前記対象の前記ラベルデータとの比較結果に基づいて、前記照明パラメータのみの最適化結果に従い、前記照明条件を設定する設定ユニットと、
    を含むことを特徴とする対象を検査する際の照明条件を設定する装置。
  13. 前記設定ユニットは、
    前記対象の前記推定画像及び対応する前記ラベルデータを含む学習データを、前記機械学習モデルの追加学習に適用し、前記機械学習モデルの検査アルゴリズムパラメータの一部または全てを更新し、
    前記機械学習モデルの前記推定結果が前記ラベルデータと一致するように、前記機械学習モデルの前記照明パラメータと前記検査アルゴリズムパラメータの一部または全ての両方を最適化し、
    前記ラベルデータは前記対象の検査特徴を表す、
    請求項１２に記載の装置。
  14. 前記照明パラメータは、前記光源の発光位置と発光強度を含む、請求項１０または１２に記載の装置。
  15. 前記設定ユニットは、前記比較結果を表す損失関数を最小化する前記照明パラメータを選択し、前記選択は、所定の範囲の前記照明パラメータについて、前記損失関数の損失平均を最小化する前記照明パラメータを選択することを含む、請求項１０または１２に記載の装置。
  16. 前記生成ユニットは、
    前記画像データセットに含まれる前記照明パラメータに対応する前記撮像画像の加重線形重畳和に基づいて、前記可変照明パラメータで前記対象が照明されるときの前記対象の前記推定画像を生成し、その加重は、前記可変照明パラメータと前記撮像画像の前記照明パラメータの両方に従って決定される、請求項１０または１２に記載の装置。
  17. 前記生成ユニットは、前記画像データセットに基づき、前記可変照明パラメータに関する非線形推定関数を使用して、前記可変照明パラメータで前記対象が照明されるときの前記対象の前記推定画像を生成する、請求項１０または１２に記載の装置。
  18. 請求項１から９のいずれか一項に記載の方法を実行する処理部を備えることを特徴とする、対象を検査する際の照明条件を設定するシステム。
  19. 実行されると、請求項１から９のいずれか一項に記載の方法を実行することを特徴とするプログラム。
  20. プログラムを記憶し、プログラムが実行されると、請求項１から９のいずれか一項に記載の方法を実行することを特徴とする、記憶媒体。

JP2020543594A 2018-03-05 2018-03-05 照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体 Active JP7028333B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2018/051393 WO2019171121A1 (en) 2018-03-05 2018-03-05 Method, device, system and program for setting lighting condition and storage medium

Publications (2)

Publication Number Publication Date
JP2021515927A true JP2021515927A (ja) 2021-06-24
JP7028333B2 JP7028333B2 (ja) 2022-03-02

Family

ID=62111127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020543594A Active JP7028333B2 (ja) 2018-03-05 2018-03-05 照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体

Country Status (5)

Country Link
US (1) US11240441B2 (ja)
EP (1) EP3762794A1 (ja)
JP (1) JP7028333B2 (ja)
CN (1) CN111727412B (ja)
WO (1) WO2019171121A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090036A1 (ja) * 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
WO2023166937A1 (ja) * 2022-03-02 2023-09-07 オムロン株式会社 ワークの傷検出のシミュレーションを実行する装置、当該シミュレーションを実行する方法、および、当該シミュレーションを実現するプログラム
WO2024080087A1 (ja) * 2022-10-11 2024-04-18 株式会社日立製作所 検査条件決定システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7131617B2 (ja) * 2018-03-06 2022-09-06 オムロン株式会社 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
JP7006567B2 (ja) * 2018-11-09 2022-01-24 オムロン株式会社 撮影方法及び撮影装置
IT201900005536A1 (it) * 2019-04-10 2020-10-10 Doss Visual Solution S R L Metodo di acquisizione immagini per una macchina di ispezione ottica
JP7437918B2 (ja) * 2019-11-20 2024-02-26 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7281500B2 (ja) * 2021-05-17 2023-05-25 東亜建設工業株式会社 画像データの取得方法および取得システム
KR102710265B1 (ko) * 2021-05-24 2024-09-27 에이아이루덴스 주식회사 딥러닝을 통한 광학 환경 제공 시스템 및 제공 방법
US20240281948A1 (en) * 2021-06-18 2024-08-22 Mitsubishi Electric Corporation Image processing device, and image processing method
CN113916906B (zh) * 2021-09-03 2024-01-09 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备
US20240155247A1 (en) * 2022-11-04 2024-05-09 UnitX, Inc. Inspection camera controller sequence
CN116819991B (zh) * 2023-02-21 2024-09-13 中节能绿建环保科技有限公司 智能楼宇监控系统及其监控方法
CN118574287B (zh) * 2024-07-31 2024-10-01 国网湖北省电力有限公司电力科学研究院 夜间施工照明的智能优化控制方法、系统以及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012101320A (ja) * 2010-11-10 2012-05-31 Canon Inc 画像生成装置、画像生成方法、およびプログラム
JP2014199584A (ja) * 2013-03-29 2014-10-23 キヤノン株式会社 画像処理装置および画像処理方法
WO2015188275A1 (en) * 2014-06-10 2015-12-17 Sightline Innovation Inc. System and method for network based application development and implementation
JP2016006627A (ja) * 2014-05-28 2016-01-14 ソニー株式会社 画像処理装置と画像処理方法
JP2016062225A (ja) * 2014-09-17 2016-04-25 大日本印刷株式会社 画像生成装置、画像検出システム及び画像生成方法
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343336A (ja) 2000-05-31 2001-12-14 Nidek Co Ltd 欠陥検査方法及び欠陥検査装置
US7167583B1 (en) * 2000-06-28 2007-01-23 Landrex Technologies Co., Ltd. Image processing system for use with inspection systems
US7113633B2 (en) * 2001-07-02 2006-09-26 Photoinaphoto.Com, Inc. System and method for discovering and categorizing attributes of a digital image
US7590276B2 (en) * 2004-12-20 2009-09-15 Mitutoyo Corporation System and method for programming interrupting operations during moving image acquisition sequences in a vision system
JP5260183B2 (ja) * 2008-08-25 2013-08-14 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP5506273B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
CN101872491B (zh) * 2010-05-21 2011-12-28 清华大学 基于光度立体的自由视角重光照方法和系统
JP5525336B2 (ja) * 2010-06-08 2014-06-18 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
EP2887055B1 (en) 2013-12-17 2016-05-11 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Method and apparatus for detection of visible defects
CA2889778A1 (en) * 2014-04-28 2015-10-28 Modest Tree Media Inc. Virtual interactive learning environment
US9443195B2 (en) * 2014-11-26 2016-09-13 Sense Labs, Inc. Assisted labeling of devices with disaggregation
CN107430677B (zh) * 2015-03-20 2022-04-12 英特尔公司 基于对二进制卷积神经网络特征进行提升的目标识别
US9904849B2 (en) * 2015-08-26 2018-02-27 Digitalglobe, Inc. System for simplified generation of systems for broad area geospatial object detection
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
US10068385B2 (en) * 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
EP3408848A4 (en) * 2016-01-29 2019-08-28 Pointivo Inc. SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION
US9996771B2 (en) * 2016-02-15 2018-06-12 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
US20170278308A1 (en) * 2016-03-23 2017-09-28 Intel Corporation Image modification and enhancement using 3-dimensional object model based recognition
EP3306528B1 (en) * 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
US11176423B2 (en) * 2016-10-24 2021-11-16 International Business Machines Corporation Edge-based adaptive machine learning for object recognition
US10529137B1 (en) * 2016-11-29 2020-01-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods for augmenting images
CN106651795A (zh) * 2016-12-03 2017-05-10 北京联合大学 一种利用光照估计来校正图像颜色的方法
US20200057831A1 (en) * 2017-02-23 2020-02-20 Siemens Mobility GmbH Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation
CN107464244A (zh) * 2017-03-09 2017-12-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于神经网络的图像光照估计方法
US10019654B1 (en) * 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
CN107395960A (zh) * 2017-07-07 2017-11-24 珠海市魅族科技有限公司 拍照方法及装置、计算机装置和计算机可读存储介质
JP6705777B2 (ja) * 2017-07-10 2020-06-03 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
US10579869B1 (en) * 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US10354139B1 (en) * 2017-09-07 2019-07-16 X Development Llc Generating and utilizing spatial affordances for an object in robotics applications
CN107635095A (zh) * 2017-09-20 2018-01-26 广东欧珀移动通信有限公司 拍摄照片的方法、装置、存储介质及拍摄设备
US10467501B2 (en) * 2017-10-30 2019-11-05 Sap Se Computer vision architecture with machine learned image recognition models
US10346721B2 (en) * 2017-11-01 2019-07-09 Salesforce.Com, Inc. Training a neural network using augmented training datasets
JP6955211B2 (ja) * 2017-12-14 2021-10-27 オムロン株式会社 識別装置、識別方法及びプログラム
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012101320A (ja) * 2010-11-10 2012-05-31 Canon Inc 画像生成装置、画像生成方法、およびプログラム
JP2014199584A (ja) * 2013-03-29 2014-10-23 キヤノン株式会社 画像処理装置および画像処理方法
JP2016006627A (ja) * 2014-05-28 2016-01-14 ソニー株式会社 画像処理装置と画像処理方法
WO2015188275A1 (en) * 2014-06-10 2015-12-17 Sightline Innovation Inc. System and method for network based application development and implementation
JP2016062225A (ja) * 2014-09-17 2016-04-25 大日本印刷株式会社 画像生成装置、画像検出システム及び画像生成方法
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
STEPHEN J. SCHMUGGE ET AL.: ""Crack Segmentation by Leveraging Multiple Frames of Varying Illumination"", 2017 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV), JPN6021044396, 24 March 2017 (2017-03-24), US, pages 1045 - 1053, ISSN: 0004685076 *
中川 邦宏、尺長 健: ""基準姿勢仮想部分空間法による任意姿勢・任意照明の顔画像認識"", 電子情報通信学会技術研究報告, vol. 100, no. 701, JPN6021044400, 8 March 2001 (2001-03-08), JP, pages 95 - 102, ISSN: 0004685073 *
松尾 賢治、外２名: ""仮想部分空間による照明変動を抑制した顔画像認識"", 電子情報通信学会技術研究報告, vol. 104, no. 125, JPN6021044399, 11 June 2004 (2004-06-11), JP, pages 25 - 30, ISSN: 0004685074 *
片山 隼多、外６名: ""画像検査システムの評価のための模擬検査画像生成の検討"", 第２３回 画像センシングシンポジウム ＳＳＩＩ２０１７, JPN6021044398, 7 June 2017 (2017-06-07), JP, pages 1 - 4, ISSN: 0004685075 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090036A1 (ja) * 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
WO2023166937A1 (ja) * 2022-03-02 2023-09-07 オムロン株式会社 ワークの傷検出のシミュレーションを実行する装置、当該シミュレーションを実行する方法、および、当該シミュレーションを実現するプログラム
WO2024080087A1 (ja) * 2022-10-11 2024-04-18 株式会社日立製作所 検査条件決定システム

Also Published As

Publication number Publication date
US20200412932A1 (en) 2020-12-31
WO2019171121A1 (en) 2019-09-12
CN111727412B (zh) 2023-07-14
US11240441B2 (en) 2022-02-01
JP7028333B2 (ja) 2022-03-02
CN111727412A (zh) 2020-09-29
EP3762794A1 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
JP7028333B2 (ja) 照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体
JP7006567B2 (ja) 撮影方法及び撮影装置
CN108734690B (zh) 一种视觉缺陷检测设备及其检测方法
Lopez et al. Deep single image camera calibration with radial distortion
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN106910192B (zh) 一种基于卷积神经网络的图像融合效果评估方法
CN106920224B (zh) 一种评估拼接图像清晰度的方法
JP7131617B2 (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
CN106920215B (zh) 一种全景图像配准效果的检测方法
CN106355195B (zh) 用于测量图像清晰度值的系统及其方法
CN110307903B (zh) 一种家禽特定部位无接触温度动态测量的方法
CN112884721B (zh) 一种异常检测方法、系统及计算机可读存储介质
CN116958021A (zh) 基于人工智能的产品缺陷识别方法、相关装置和介质
CN116843756A (zh) 一种基于计算机视觉的望远镜位姿监测方法
CN117078608B (zh) 一种基于双掩码引导的高反光皮革表面缺陷检测方法
CN113327295A (zh) 一种基于级联全卷积神经网络的机器人快速抓取方法
CN114913086B (zh) 基于生成对抗网络的人脸图像质量增强方法
CN115953347A (zh) 一种单视角下工业缺陷检测方法及系统
CN107529056B (zh) 镜头亮度响应度测试方法、装置及系统
CN111241725B (zh) 基于条件生成对抗网络的结构响应重构方法
Del Campo et al. Radial basis function neural network for the evaluation of image color quality shown on liquid crystal displays
Hirasawa et al. BRDF Estimation with Simple Measurement and Data-driven Model
CN112149578B (zh) 基于人脸三维模型的人脸皮肤材质计算方法、装置及设备
CN113658183B (zh) 工件质检方法、装置及计算机设备
TWI792291B (zh) 光學參數自動設定方法及應用其之自動光學檢測系統

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220131

R150 Certificate of patent or registration of utility model

Ref document number: 7028333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150