JP2021140739A - プログラム、学習済みモデルの生成方法、情報処理方法及び情報処理装置 - Google Patents

プログラム、学習済みモデルの生成方法、情報処理方法及び情報処理装置 Download PDF

Info

Publication number
JP2021140739A
JP2021140739A JP2020179620A JP2020179620A JP2021140739A JP 2021140739 A JP2021140739 A JP 2021140739A JP 2020179620 A JP2020179620 A JP 2020179620A JP 2020179620 A JP2020179620 A JP 2020179620A JP 2021140739 A JP2021140739 A JP 2021140739A
Authority
JP
Japan
Prior art keywords
image
abnormality
learning
degree
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020179620A
Other languages
English (en)
Other versions
JP7289427B2 (ja
Inventor
昌則 坂田
Masanori Sakata
昌則 坂田
正一郎 安部
Shoichiro Abe
正一郎 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pros Cons
Pros Cons Inc
Original Assignee
Pros Cons
Pros Cons Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pros Cons, Pros Cons Inc filed Critical Pros Cons
Publication of JP2021140739A publication Critical patent/JP2021140739A/ja
Application granted granted Critical
Publication of JP7289427B2 publication Critical patent/JP7289427B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

【課題】学習及び運用が容易となるプログラム等を提供すること。【解決手段】一つの側面にプログラムは、学習モードまたは運用モードのいずれかの選択を受け付け、学習モードが選択された場合に、検査対象物を含む学習用の画像を取得し、教師なし学習により生成する第１学習モデルのハイパーパラメータの設定を受け付け、受け付けた前記ハイパーパラメータに基づき、取得した前記学習用の画像を入力した場合に前記学習用の画像に対応する再構成画像を出力する前記第１学習モデルを生成し、検査対象物を含む検査用の画像を取得し、前記検査用の画像を検証するための異常度の閾値の設定を受け付け、取得した前記検査用の画像と、学習済みの前記第１学習モデルが出力した再構成画像との異常度を算出し、算出した前記異常度と、受け付けた前記異常度の閾値とに基づき、検出した異常画像を表示する処理をコンピュータに実行させる。【選択図】図１

Description

本発明は、プログラム、学習済みモデルの生成方法、情報処理方法及び情報処理装置に関する。
近年、検査対象物の外観検査工程においては、カメラで検査対象物の画像を撮像し、当該画像を処理することで検査を行うことが広く行われている（特許文献１参照）。
特開２０１９−０９５２１７号公報
しかしながら、特許文献１に係る技術では、学習、運用までに手間と期間を要するという問題がある。
一つの側面では、学習及び運用が容易となるプログラム等を提供することにある。
一つの側面にプログラムは、学習モードまたは運用モードのいずれかの選択を受け付け、学習モードが選択された場合に、検査対象物を含む学習用の画像を取得し、教師なし学習により生成する第１学習モデルのハイパーパラメータの設定を受け付け、受け付けた前記ハイパーパラメータに基づき、取得した前記学習用の画像を入力した場合に前記学習用の画像に対応する再構成画像を出力する前記第１学習モデルを生成し、検査対象物を含む検査用の画像を取得し、前記検査用の画像を検証するための異常度の閾値の設定を受け付け、取得した前記検査用の画像と、学習済みの前記第１学習モデルが出力した再構成画像との異常度を算出し、算出した前記異常度と、受け付けた前記異常度の閾値とに基づき、検出した異常画像を表示する処理をコンピュータに実行させる。
一つの側面では、学習及び運用が容易となる。
外観検査システムの概要を示す説明図である。 コンピュータの構成例を示すブロック図である。 学習モデル管理ＤＢのレコードレイアウトの一例を示す説明図である。 外観検査システムの処理動作を示す機能ブロック図である。 良品学習モデルを生成する処理を説明する説明図である。 外観検査システムのメニューを示す説明図である。 学習モードでの素材作成画面の一例を示す説明図である。 学習モードでの学習画面の一例を示す説明図である。 学習モードでの検証画面の一例を示す説明図である。 良品学習モデルを生成する際の処理手順を示すフローチャートである。 検査用の画像に基づいて検証処理を実行する際の処理手順を示すフローチャートである。 運用モード画面の一例を示す説明図である。 運用モードで異常を検出する際の処理手順を示すフローチャートである。 小片画像に基づいて異常を検出する際の処理手順を示すフローチャートである。 小片画像サイズごとに良品学習モデルを生成する際の処理手順を示すフローチャートである。 実施形態３のコンピュータの構成例を示すブロック図である。 異常検出モデルを用いて異常の有無を検出した検出結果を出力する説明図である。 誤判定画像の収集画面の一例を示す説明図である。 異常検出モデルの生成処理の処理手順の一例を示すフローチャートである。 実施形態４のコンピュータの構成例を示すブロック図である。 画像枚数ＤＢのレコードレイアウトの一例を示す説明図である。 小片画像の最大枚数を取得する際の処理手順を示すフローチャートである。 異常検出モデルを用いて検査対象物の異常を検出する処理の概要を説明する説明図である。 検証モードで検査対象物の異常を検出する画面の一例を示す説明図である。 運用モードで検査対象物の異常を検出する画面の一例を示す説明図である。 異常検出モデルを用いて検査対象物の異常を検出する際の処理手順を示すフローチャートである。 良品学習モデルと異常検出モデルとを併用して検査対象物の異常を検出する検証モード画面の一例を示す説明図である。 良品学習モデルと異常検出モデルとを併用して検査対象物の異常を検出する運用モード画面の一例を示す説明図である。 良品学習モデルと異常検出モデルとを併用して検査対象物の異常を検出する際の処理手順を示すフローチャートである。 良品学習モデルと異常検出モデルとを併用して検査対象物の異常を検出する際の処理手順を示すフローチャートである。 検査対象物を含む画像を検証する際の処理手順を示すフローチャートである。 見落とし画像を用いて異常検出モデルを学習させる際の処理手順を示すフローチャートである。 変形例１の検査対象物の異常を検出する検証モード画面の一例を示す説明図である。
以下、本発明をその実施形態を示す図面に基づいて詳述する。
（実施形態１）
実施形態１は、検査対象物を含む画像に基づき、人工知能（ＡＩ：Artificial Intelligence）により外観検査を行って該検査対象物の異常を検出する形態に関する。検査対象物は、金属、食品、日用品、医療、電子デバイス等の業界の生産物、製品または部品である。検査対象物は、例えば、ベアリング、ネジ、商品容器、ガラス瓶、半導体パッケージ、プリント基板等である。外観検査は、検査対象物の傷、汚れ、異物等の外観上の欠陥を検出することである。例えば、ベアリングの欠けや異物、商品容器のラベル違い、電子デバイス部品の形状違いや微細な曲がり等の外観上の欠陥を外観検査により検出することができる。
図１は、外観検査システムの概要を示す説明図である。本実施形態のシステムは、情報処理装置１及び撮像装置２を含み、各装置はインターネット、イーサネット（登録商標）またはＵＳＢ（Universal Serial Bus）接続等のネットワークＮを介して情報の送受信を行う。
情報処理装置１は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置である。情報処理装置１は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。本実施形態において、情報処理装置１はパーソナルコンピュータであるものとし、以下では簡潔のためコンピュータ１と読み替える。
撮像装置２は、検査対象物を撮像して画像を生成する。本実施形態の撮像装置２は、無線通信部を含む。無線通信部は、通信に関する処理を行うための無線通信モジュールであり、ネットワークＮを介して、コンピュータ１等と撮像画像の送受信を行う。なお、撮像装置２の代わりに、撮影可能なパーソナルコンピュータ、スマートフォン、または検査対象物を撮影可能な移動型の監視ロボット等であっても良い。
本実施形態に係るコンピュータ１は、学習モードの選択を受け付けた場合、検査対象物を含む学習用の画像を撮像装置２から取得する。コンピュータ１は、教師なし学習により生成する良品学習モデル（第１学習モデル）のハイパーパラメータの設定を受け付ける。コンピュータ１は、受け付けたハイパーパラメータに基づき、取得した学習用の画像を入力した場合に該画像に対応する再構成画像を出力する良品学習モデルを生成する。なお、良品学習モデルに関しては後述する。
コンピュータ１は、検査対象物を含む検査用の画像を撮像装置２から取得し、検査用の画像を検証するための異常度の閾値の設定を受け付ける。コンピュータ１は、取得した検査用の画像と、学習済みの良品学習モデルが出力した再構成画像との異常度を算出する。コンピュータ１は、算出した異常度と、受け付けた異常度の閾値とに基づき、検査対象物の異常を検出する。コンピュータ１は、検出した異常を示す異常画像を表示する。
コンピュータ１は、運用モードの選択を受け付けた場合、検査対象物を含む運用の画像を撮像装置２から取得する。コンピュータ１は、学習済みの良品学習モデルの選択を受け付ける。コンピュータ１は、取得した運用の画像と、良品学習モデルが出力した再構成画像との異常度を算出する。コンピュータ１は、算出した異常度に基づいて検査対象物の異常の有無を検出する。
図２は、コンピュータ１の構成例を示すブロック図である。コンピュータ１は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６及び大容量記憶部１７を含む。各構成はバスＢで接続されている。
制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部１２に記憶された制御プログラム１Ｐを読み出して実行することにより、コンピュータ１に係る種々の情報処理、制御処理等を行う。なお、図２では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。
記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、撮像装置２等との間で情報の送受信を行う。
入力部１４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部１１へ出力する。表示部１５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。
読取部１６は、ＣＤ（Compact Disc）−ＲＯＭ又はＤＶＤ（Digital Versatile Disc）−ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１７に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。
大容量記憶部１７は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部１７は、良品学習モデル１７１及び学習モデル管理ＤＢ（データベース：database）１７２を含む。良品学習モデル１７１は、深層生成モデルの一種であり、データの分布をモデリングしてそこから新しいデータを生成する学習済みモデルである。学習モデル管理ＤＢ１７２は、学習済みモデルのファイル等を記憶している。
なお、本実施形態において記憶部１２及び大容量記憶部１７は一体の記憶装置として構成されていても良い。また、大容量記憶部１７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部１７はコンピュータ１に接続された外部記憶装置であっても良い。
なお、本実施形態では、コンピュータ１は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させても良く、または仮想マシンにより構成されていても良い。
図３は、学習モデル管理ＤＢ１７２のレコードレイアウトの一例を示す説明図である。学習モデル管理ＤＢ１７２は、モデルＩＤ列、学習モデルファイル列、生成日時列、テンプレート画像列及び備考列を含む。モデルＩＤ列は、各学習済みモデルのファイルを識別するために、一意に特定される学習済みモデルのファイルのＩＤを記憶している。
学習モデルファイル列は、学習済みモデルのファイル、または学習済みモデルのファイルの保管場所を記憶している。生成日時列は、学習済みモデルのファイルを生成した日時情報を記憶している。テンプレート画像列は、検査対象物を含む画像を切り出す領域を示すための参照用の画像を記憶している。備考列は、学習済みモデルのファイルに対する説明情報を記憶している。
なお、本実施形態では、学習モデルを学習モデル管理ＤＢ１７２で管理した例を説明したが、これに限るものではない。例えば、学習モデルごとに学習モデルファイルそのものをコンピュータ１の記憶部１２または大容量記憶部１７に管理しても良い。この場合、一意に特定されるファイル名に基づいて学習モデルが特定される。また、学習モデルに対応するテンプレート画像が学習モデルファイルと同じ保管場所で保管されても良い。
なお、上述した各ＤＢの記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であっても良い。
図４は、外観検査システムの処理動作を示す機能ブロック図である。外観検査システムは、学習モード及び運用モードを含む。学習モードは、検査対象物を含む異常なしの良品画像に基づき、教師なし学習により良品学習モデル１７１を生成するモードである。運用モードは、検査対象物を含む運用の画像と、学習済みの良品学習モデル１７１が出力した再構成画像との異常度に基づいて異常を検出するモードである。
先に、学習モードで良品学習モデル１７１を生成する処理を説明する。コンピュータ１は学習モードの選択を受け付けた場合、コンピュータ１は、検査対象物を含む学習用の画像（正常画像）を撮像装置２から取得する。なお、学習用の画像が予め大容量記憶部１７に記憶されても良く、または外部装置から転送されても良い。
コンピュータ１は、テンプレート画像に基づいて、学習モデルに学習させる画像を作成する。なお、テンプレート画像が未登録（未作成）である場合、コンピュータ１はテンプレート画像を登録（作成）する。具体的には、コンピュータ１は、検査対象物の領域の指定を受け付ける。例えばコンピュータ１は、マウスカーソルを使って長方形の選択範囲が表示されている画像の上に、ドラッグによる検査対象物の領域の選択を受け付ける。コンピュータ１は、選択された検査対象物の領域に基づいてテンプレート画像を登録する。
コンピュータ１は、登録済みのテンプレート画像の選択を受け付ける。コンピュータ１は、選択されたテンプレート画像に基づき、例えばテンプレートマッチング(Template Matching)手法を用いて、撮像装置２から取得された学習用の画像中の検査対象物を認識する。テンプレートマッチング手法は、入力画像中からテンプレート画像（部分画像）と最も類似する特定のパターンを探索する処理であり、例えばＳＳＤ(Sum of Squared Difference)、ＳＡＤ(Sum of Absolute Difference)またはＮＣＣ（Normalized Cross Correlation）である。
コンピュータ１は、学習用の画像から検査対象物を認識した画像を切り出して所定の学習用画像フォルダに記憶する。学習用画像フォルダは、例えば予め決められた画像フォルダであっても良く、またはユーザ（オペレーター）が指定した画像フォルダであっても良い。
また、テンプレート画像に基づき、動画から学習モデルに学習させる画像を作成することができる。具体的には、コンピュータ１は、検査対象物を含む動画ファイルの選択を受け付ける。コンピュータ１は、テンプレート画像に基づき、例えばＣＮＮ（Convolution Neural Network）を用いた物体検出アルゴリズムを利用し、選択された動画中に含まれた検査対象物を認識する。コンピュータ１は、検査対象物を認識した複数の画像を動画から切り出して上述した所定の学習用画像フォルダに記憶する。
なお、物体検出アルゴリズムに関しては、ＣＮＮの代わりに、ＲＣＮＮ（Regions with Convolutional Neural Network）、テンプレートマッチング（例えば、ＳＳＤ、ＳＡＤ）等の物体検出アルゴリズムを使用しても良い。
コンピュータ１は、教師なし学習により生成する良品学習モデル１７１のハイパーパラメータの設定を受け付ける。ハイパーパラメータは、機械学習アルゴリズムの挙動を制御するパラメータであり、ＲＧＢ（Red Green Blue）/白黒、Ｄｅｐｔｈ、Ｃｈａｎｎｅｌ及びＥｐｏｃｈを含む。ＲＧＢ/白黒は、画像に対する色モードを設定するパラメータである。色モードは、ＲＧＢカラー及びグレースケール（モノクロ）を含む。
Ｄｅｐｔｈは、学習モデルのエンコーダまたはデコーダの階層数を設定するパラメータである。Ｃｈａｎｎｅｌは、１階層あたりのニューロン数（フィルタ数）を設定するパラメータである。階層数またはＣｈａｎｎｅｌ数を増やすと学習率が上がるが、学習に時間を要する。Ｅｐｏｃｈは、一つの訓練データを何回繰り返して学習させるかの回数を設定するパラメータである。
コンピュータ１は、設定された良品学習モデル１７１のハイパーパラメータに基づき、所定の学習用画像フォルダに記憶された画像を用いて良品学習モデル１７１を生成する。
図５は、良品学習モデル１７１を生成する処理を説明する説明図である。良品学習モデル１７１は、ディープラーニングにより構築され、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。良品学習モデル１７１は、例えばオートエンコーダ（Auto Encoder）、ＶＡＥ（変分オートエンコーダ：Variational Auto Encoder）、Ｕ-Ｎｅｔ（Convolutional Networks for Biomedical Image Segmentation）、ＧＡＮ（敵対的生成ネットワーク：Generative Adversarial Networks）等である。検査対象物の異常画像（不良品画像）が無い、または異常画像が少ない場合、教師なし学習により正常画像（良品画像）のみを学習することができる。
以下では、良品学習モデル１７１の例としてＶＡＥを用いて説明する。良品学習モデル１７１は、正常な学習データ（検査対象物を含む正常画像）を学習した確立密度推定器であり、正常な初期学習データの確率密度の特徴を学習したモデルである。確率密度推定による異常検出は、正常なトラフィックを基に正常な通信パターンの発生確率を学習し、発生確率の低い通信を異常として検知する。このため、ＶＡＥによれば、すべての悪性状態を知らずとも異常検出が可能である。
ＶＡＥは、復元誤差(Reconstruction Error)をもとに、エンコーダ（符号化器：Ｅｎｃｏｄｅｒ）とデコーダ（復号化器：Ｄｅｃｏｄｅｒ）それぞれの重みを調整して、潜在変数ｚ（凝縮された特徴）を求めている。具体的には、ＶＡＥは、潜在変数ｚを求めるのに確率分布を用いる。確率分布の推定と生成にそれぞれ用いるエンコーダとデコーダにニューラルネットワークを用い、確率的勾配降下法等の最適化手法によってパラメータを更新する。
ＶＡＥは、目的関数となる対数尤度関数の変分下限(ＥＬＢＯ：Evidence Lower Bound)を最大にするようなパラメータを求め、潜在空間上で多様体学習を行う。エンコーダの入力画像とデコーダの出力画像（再構成画像）が等しくなるように訓練することにより、良品学習モデル１７１が生成される。
ＶＡＥは、通常以下の式（１）で表される損失関数を用いて学習する。
Figure 2021140739
ただし、DVAE(x)、AVAE(x)、MVAE(x)それぞれは、次の式（２）、（３）、（４）で表される。
Figure 2021140739
Figure 2021140739
Figure 2021140739
ＶＡＥは、パラメータθで表現される生成モデルpθ(x)に対してモデルエビデンスの下限（ＥＬＢＯ）を最大化することで学習を行うモデルである。ＶＡＥは、入力xを潜在変数zに変換するエンコーダ及び潜在変数zから入力の再構成を行うデコーダから構成される。変分事後分布qφ(z|x)及び条件付き確率pθ(x|z)は、共に分散共分散行列が対角行列となっている多変量正規分布としてモデル化される。エンコーダは入力xを受け取った後、変分事後分布qφ(z|x)における平均ベクトルμzと標準偏差ベクトルσzの二つの要素の出力を行う。変分事後分布qφ(z|x)のモンテカルロサンプリングを行う代わりに潜在変数zの最大事後確率推定μzが異常検知において使用される。
iとjは、それぞれデータxと潜在変数ｚの要素の番号を示す。ＶＡＥは、損失関数LVAE(x) = DVAE(x) + AVAE(x) + MVAE(x)と３つの項から構成されている。１つ目のDVAE(x)は、与えられたデータの中から頻度の高い特徴を学習し、頻度の少ない特徴を無視する性質を持つ項である。２つ目のAVAE(x)は、与えられたデータの中の特徴の複雑さに応じて調整する性質を持つ項である。３つ目のMVAE(x)は、直接的に再現誤差を表す項である。
本実施形態でのＶＡＥは、非正規化異常度を用いた異常検知アルゴリズムに基づいて構築される。非正規化異常度は、深層生成モデルにおける異常度、即ち負の対数数度から正規化項を取り除いたものである。非正規化異常度は、データが潜在的に含有する複雑さに対して堅牢であり、画像内における各部分の出現頻度に依存することなく評価を行える。
正規化項DVAE(x)及び正規化定数の対数AVAE(x)は、対象部位自体の出現パターン（クラスタ）の頻度及び複雑さを表す持つ項であるため、異常度の算出に使用されない。このように、DVAE(x)及びAVAE(x)を取り除き、MVAE(x)のみを使用して異常度を算出する。非正規化の損失関数は以下の式（５）で表される。
Figure 2021140739
よって、ＶＡＥによる異常検知におけるピクセルごとの異常度式は、以下の式（６）で表される。
Figure 2021140739
xは、入力画像を表す項である。xiは、画素値を表す項である。μは、xに対応する再構成画像を表す項である。μxiは、条件付き確率pθ(x|z)における平均ベクトルを表す項である。μzは、変分事後分布qφ(z|x)における平均ベクトルを表す項である。σは、xが属するグループの不確かさ及び複雑さを表す項である。σxiは、条件付き確率pθ(x|z)における標準偏差ベクトルを表す項である。式（６）のように、ｘとμの差分（絶対距離）ではなく、σで除すことで、画像が持つ本質的な不確かさ及び複雑さに対して堅牢な異常度が計算される。
コンピュータ１は、上記の非正規化異常度を用いた異常検知アルゴリズムに基づいて良品学習モデル１７１を生成する。コンピュータ１は、生成した良品学習モデル１７１を学習モデル管理ＤＢ１７２に記憶する。具体的には、コンピュータ１はモデルＩＤを割り振って、学習済みモデルのファイル、生成日時、テンプレート画像及び備考を一つのレコードとして学習モデル管理ＤＢ１７２に記憶する。
続いて、図４に戻り、学習モードで検査用の画像に基づいて検証処理を説明する。コンピュータ１は、検査対象物を含む検査用の画像を撮像装置２から取得する。なお、検査用の画像が予め大容量記憶部１７に記憶されても良く、または外部装置から転送されても良い。コンピュータ１はテンプレート画像に基づき、検査用の画像を切り出して所定の検証画像フォルダに記憶する。
コンピュータ１は、検査用の画像を検証するための異常度の閾値の設定を受け付ける。異常度は、実際の画像（入力画像）と再構成画像（出力画像）とのずれの度合いである。異常度の閾値は、例えば「１〜１００」または「１〜３００」等の値に設定される。
コンピュータ１は、切り出した画像を学習済みの良品学習モデル１７１に入力し、該画像に対応する再構成画像を出力させる。良品学習モデル１７１に画像を入力した場合、DVAE(x)とAVAE(x)をLVAE(x)から消去することにより、良品学習モデル１７１は、「頻繁さ」と「複雑さ」を該画像から消去した再構成画像を出力する。これにより、再構成画像に対し、同じ閾値でピクセルごとの異常を検出することができる。
コンピュータ１は、切り出した画像と、該画像に対応する再構成画像との異常度に基づいて異常を検出する。先ず、コンピュータ１は切り出した画像と再構成画像との各ピクセルの異常度を式（６）で表される異常度式に従って算出する。具体的には、コンピュータ１は、再構成画像の画素値（μxi）と切り出した画像の画素値（xi）との差分を算出する。コンピュータ１は、算出した差分を標準偏差ベクトル（σxi）で除すことにより異常度を算出する。次に、コンピュータ１は、算出した各ピクセルの異常度が閾値（例えば、５０）を超えたか否かを判定する。コンピュータ１は、各ピクセルの異常度のうち少なくとも１つが閾値を超えたと判定した場合、異常として検出する。
なお、上述したピクセルごとの異常度による異常判定処理に限るものではない。例えば、上記の閾値を超えた画像の領域のうち、コンピュータ１は該領域の面積が所定の面積閾値（第２異常度閾値）を超えたと判定した場合、異常として検出しても良い。例えばコンピュータ１は、異常度が第１異常度閾値（例えば、５０）を超えたピクセル数を集計し、集計したピクセル数が第２異常度閾値（例えば、３０ピクセル）を超えたか否かを判定する。コンピュータ１は、異常度が第１異常度閾値を超えたピクセル数が第２異常度閾値を超えたと判定した場合、異常として検出する。
また、異常と判断された検査対象物のどの部位（部分）に異常点があるかの情報を異常度マップ（ヒートマップ）として提示することができる。異常度マップは、異常箇所を可視化するヒートマップである。例えば、異常度は１〜１００に正規化されており対数で色付けし、ヒートマップで色が濃い部分が異常と認識されている。コンピュータ１は、算出した各ピクセルの異常度に基づいて、画像の異常度マップを生成する。
コンピュータ１は、良品学習モデル１７１の名称、異常度の閾値、及び生成した画像の異常度マップを表示する。なお、画像の異常度マップの生成処理は必須ではない。例えば画像の異常度マップが生成されない場合、コンピュータ１は、良品学習モデル１７１の名称、異常度の閾値及び異常画像を表示しても良い。または、コンピュータ１は、異常を示すアラートアイコン等を用いて、異常箇所を異常画像上で明示しても良い。
なお、上述した異常検出処理に限るものではない。例えば、コンピュータ１はＳＳＤを用いて、入力画像と該入力画像に対応する再構成画像との類似度を算出する。コンピュータ１は、算出した類似度が所定の類似度の閾値（例えば、８０％）以下であると判定した場合、異常として検出しても良い。なお、画像の明度または輝度の差分により異常を検出しても良い。例えばコンピュータ１は、ピクセルごとに入力画像と該入力画像に対応する再構成画像との輝度の差分を算出する。コンピュータ１は、算出した輝度の差分が所定の差分閾値以上であると判定した場合、異常として検出する。
図６は、外観検査システムのメニューを示す説明図である。学習モードボタン１０ａは、学習モード画面に遷移するためのボタンである。運用モードボタン１０ｂは、運用モード画面に遷移するためのボタンである。コンピュータ１は、学習モードボタン１０ａのタッチ（クリック）操作を受け付けた場合、コンピュータ１は学習モード画面（図７）に遷移する。コンピュータ１は、運用モードボタン１０ｂのタッチ操作を受け付けた場合、コンピュータ１は運用モード画面（図１２）に遷移する。
図７は、学習モードでの素材作成画面の一例を示す説明図である。素材作成画面は、素材作成タブ１１ａ、学習タブ１１ｂ、検証タブ１１ｃ、切り出し画像選択ボタン１１ｄ、画像フォルダ選択ボタン１１ｅ、動画ファイル選択ボタン１１ｆ、精度しきい値入力欄１１ｇ、学習用画像フォルダ選択ボタン１１ｈ、作成ボタン１１ｉ及び画像一覧欄１１ｊを含む。
素材作成タブ１１ａは、学習モードでの素材作成画面（本画面）を表示するタブである。学習タブ１１ｂは、学習モードでの学習画面（図８）を表示するタブである。検証タブ１１ｃは、学習モードでの検証画面（図９）を表示タブである。切り出し画像選択ボタン１１ｄは、テンプレート画像を選択するボタンである。画像フォルダ選択ボタン１１ｅは、検査対象物を含む画像を保存した画像フォルダを選択するボタンである。動画ファイル選択ボタン１１ｆは、検査対象物を含む動画を選択するボタンである。
精度しきい値入力欄１１ｇは、動画から検査対象物を認識する認識精度の閾値を入力するテキストフィールドである。学習用画像フォルダ選択ボタン１１ｈは、テンプレート画像に基づいて切り出された学習用の画像を記憶するためのフォルダを選択するボタンである。作成ボタン１１ｉは、良品学習モデル１７１を生成するボタンである。画像一覧欄１１ｊは、学習用画像フォルダに出力された画像を表示する表示欄である。
コンピュータ１は、素材作成タブ１１ａのタッチ操作を受け付けた場合、素材作成画面を表示する。コンピュータ１は、学習タブ１１ｂのタッチ操作を受け付けた場合、学習画面を表示する。コンピュータ１は、検証タブ１１ｃのタッチ操作を受け付けた場合、検証画面を表示する。
コンピュータ１は、切り出し画像選択ボタン１１ｄのタッチ操作を受け付けた場合、検査対象物を含むテンプレート画像の選択を受け付ける。コンピュータ１は、画像フォルダ選択ボタン１１ｅのタッチ操作を受け付けた場合、検査対象物を含む画像を記憶したフォルダの選択を受け付ける。コンピュータ１は、動画ファイル選択ボタン１１ｆのタッチ操作を受け付けた場合、対象物を含む動画ファイルの選択を受け付ける。コンピュータ１は、学習用画像フォルダ選択ボタン１１ｈのタッチ操作を受け付けた場合、テンプレート画像に基づいて切り出された学習用の画像を記憶するためのフォルダの選択を受け付ける。
コンピュータ１は、作成ボタン１１ｉのタッチ操作を受け付けた場合、切り出し画像選択ボタン１１ｄにより選択されたテンプレート画像に基づき、画像フォルダ選択ボタン１１ｅにより選択された画像フォルダに記憶された学習用の画像を切り出す。コンピュータ１は切り出した画像を、学習用画像フォルダ選択ボタン１１ｈにより選択された学習用画像フォルダに記憶する。コンピュータ１は、学習用画像フォルダに記憶された画像を画像一覧欄１１ｊに表示する。
動画ファイル選択ボタン１１ｆにより動画ファイルが選択された場合、コンピュータ１は、テンプレート画像と、精度しきい値入力欄１１ｇにより入力された閾値とに基づき、選択された動画ファイルから検査対象物を認識した複数の画像を切り出す。コンピュータ１は切り出した画像を、学習用画像フォルダ選択ボタン１１ｈにより選択された学習用画像フォルダに記憶する。コンピュータ１は、学習用画像フォルダに記憶された画像を画像一覧欄１１ｊに表示する。
図８は、学習モードでの学習画面の一例を示す説明図である。なお、素材作成タブ１１ａ、学習タブ１１ｂ、検証タブ１１ｃについては、図７と同様であるため、説明を省略する。学習画面は、学習画像フォルダ選択ボタン１２ａ、色モード設定ラジオボタン１２ｂ、Ｄｅｐｔｈ入力欄１２ｃ、Ｃｈａｎｎｅｌ選択ボタン１２ｄ、Ｅｐｏｃｈ入力欄１２ｅ、ＡＩモデル保存フォルダ選択ボタン１２ｆ、学習ボタン１２ｇ及び学習情報表示欄１２ｈを含む。
学習画像フォルダ選択ボタン１２ａは、学習用の画像を記憶した画像フォルダを選択するボタンである。画像フォルダは、学習用の異常のない正常な検査対象物の画像が記憶されている。色モード設定ラジオボタン１２ｂは、学習用の画像に対するＲＧＢカラーモードかグレースケールモードかの設定を受け付けるボタンである。Ｄｅｐｔｈ入力欄１２ｃは、学習モデルのエンコーダまたはデコーダの階層数を入力するテキストフィールドである。学習モデルの階層数は、例えば「１〜４」の数値に設定される。
Ｃｈａｎｎｅｌ選択ボタン１２ｄは、チャンネル数（１階層あたりのニューロン数）を選択するボタンである。Ｅｐｏｃｈ入力欄１２ｅは、学習させる回数を入力するテキストフィールドである。学習させる回数は、例えば「１〜１００」の数値に設定される。なお、本実施形態では、ハイパーパラメータの例として、Ｄｅｐｔｈ、Ｃｈａｎｎｅｌ及びＥｐｏｃｈを挙げたが、これに限るものではない。例えば、学習係数、フィルタ数またはユニット数を設定できるようにしても良い。
ＡＩモデル保存フォルダ選択ボタン１２ｆは、学習を実行させて生成される学習済みモデルのファイルを記憶するためのフォルダを選択するボタンである。学習ボタン１２ｇは、設定されたパラメータに基づいて学習モデルを生成するボタンである。学習情報表示欄１２ｈは、画面操作の説明情報、学習モデルの学習（生成）進捗状況等の学習情報を表示する表示欄である。
コンピュータ１は、学習画像フォルダ選択ボタン１２ａのタッチ操作を受け付けた場合、学習用の画像を記憶した画像フォルダの選択を受け付ける。コンピュータ１は、ＡＩモデル保存フォルダ選択ボタン１２ｆのタッチ操作を受け付けた場合、ＡＩモデル保存フォルダの選択を受け付ける。
コンピュータ１は、学習ボタン１２ｇのタッチ操作を受け付けた場合、色モード設定ラジオボタン１２ｂにより色モードの選択、Ｄｅｐｔｈ入力欄１２ｃにより階層数の入力、Ｃｈａｎｎｅｌ選択ボタン１２ｄによりチャンネル数の選択、及びＥｐｏｃｈ入力欄１２ｅにより学習させる回数の入力を受け付ける。コンピュータ１は、受け付けた色モード、階層数、チャネル数及び学習させる回数に基づき、学習画像フォルダ選択ボタン１２ａにより選択された画像を用いて良品学習モデル１７１を生成する。
コンピュータ１は、生成した良品学習モデル１７１のファイルを、ＡＩモデル保存フォルダ選択ボタン１２ｆにより選択されたフォルダに記憶する。コンピュータ１は、生成した良品学習モデル１７１のファイルを学習モデル管理ＤＢ１７２に記憶する。また、学習の進捗状況等が学習情報表示欄１２ｈに表示される。
図９は、学習モードでの検証画面の一例を示す説明図である。なお、素材作成タブ１１ａ、学習タブ１１ｂ、検証タブ１１ｃについては、図７と同様であるため、説明を省略する。検証画面は、ＡＩモデルファイル選択ボタン１３ａ、検証画像フォルダ選択ボタン１３ｂ、異常度しきい値入力欄１３ｃ、検証結果保存フォルダ選択ボタン１３ｄ、検証ボタン１３ｅ及び検証情報表示欄１３ｆを含む。
ＡＩモデルファイル選択ボタン１３ａは、学習済みの良品学習モデル１７１ファイルの選択を受け付けるボタンである。検証画像フォルダ選択ボタン１３ｂは、検査対象物を含む検査用の画像を記憶した画像フォルダを選択するボタンである。異常度しきい値入力欄１３ｃは、異常度の閾値を入力するテキストフィールドである。
検証結果保存フォルダ選択ボタン１３ｄは、検証結果を保存するフォルダを選択するボタンである。検証ボタン１３ｅは、検査用の画像を検証するボタンである。検証情報表示欄１３ｆは、画面操作の説明情報、検証結果等の検証情報を表示する表示欄である。
コンピュータ１は、ＡＩモデルファイル選択ボタン１３ａのタッチ操作を受け付けた場合、学習済みの良品学習モデル１７１のファイルを大容量記憶部１７の学習モデル管理ＤＢ１７２から取得する。例えばコンピュータ１は、取得した学習済みの良品学習モデル１７１（複数可）をリストボックス（図示せず）に表示する。コンピュータ１は、ユーザによる良品学習モデル１７１の選択を受け付ける。
コンピュータ１は、検証画像フォルダ選択ボタン１３ｂのタッチ操作を受け付けた場合、検査用の画像を記憶した画像フォルダの選択を受け付ける。コンピュータ１は、検証結果保存フォルダ選択ボタン１３ｄのタッチ操作を受け付けた場合、検証結果を記憶するフォルダの選択を受け付ける。
コンピュータ１は、検証ボタン１３ｅのタッチ操作を受け付けた場合、検証画像フォルダ選択ボタン１３ｂにより選択された画像を、ＡＩモデルファイル選択ボタン１３ａにより選択された良品学習モデル１７１に入力し、該画像に対応する再構成画像を出力させる。コンピュータ１は、選択された画像と、該画像に対応する再構成画像との異常度を算出する。コンピュータ１は、算出した異常度と、異常度しきい値入力欄１３ｃにより入力された異常度の閾値とに基づいて異常を検出する。コンピュータ１は、検出した異常画像を、検証結果保存フォルダ選択ボタン１３ｄにより選択されたフォルダに記憶し、検証情報表示欄１３ｆに表示する。
図１０は、良品学習モデル１７１を生成する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、学習モードの選択を入力部１４により受け付ける（ステップＳ１１１）。制御部１１は、通信部１３を介して、検査対象物を含む学習用の画像（正常画像）を撮像装置２から取得する（ステップＳ１１２）。制御部１１は、入力部１４を介して、検査対象物を含むテンプレート画像の選択を受け付ける（ステップＳ１１３）。
制御部１１は、取得したテンプレート画像に基づき、撮像装置２から取得された学習用の画像を切り出して所定の学習用画像フォルダに記憶する（ステップＳ１１４）。具体的には、制御部１１は選択されたテンプレート画像に基づき、例えばＳＳＤを用いて学習用の画像から検査対象物を認識する。制御部１１は、検査対象物を認識した画像を学習用の画像から切り出して所定の学習用画像フォルダに記憶する。制御部１１は入力部１４を介して、ＲＧＢ/白黒、Ｄｅｐｔｈ、Ｃｈａｎｎｅｌ及びＥｐｏｃｈを含む良品学習モデル１７１のハイパーパラメータの設定を受け付ける（ステップＳ１１５）。
制御部１１は、設定されたハイパーパラメータに基づき、画像を入力した場合に該画像に対応する再構成画像を出力する良品学習モデル１７１を生成する（ステップＳ１１６）。制御部１１はモデルＩＤを割り振って、生成した良品学習モデル１７１のファイル、生成日時、テンプレート画像及び備考を一つのレコードとして学習モデル管理ＤＢ１７２に記憶し（ステップＳ１１７）、処理を終了する。
図１１は、検査用の画像に基づいて検証処理を実行する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、通信部１３を介して、検査対象物を含む検査用の画像を撮像装置２から取得する（ステップＳ１２１）。制御部１１は、入力部１４を介して、学習済みの良品学習モデル１７１の選択を受け付ける（ステップＳ１２２）。具体的には、制御部１１は、ＡＩモデルファイル選択ボタンのタッチ操作を受け付けた場合、学習済みの良品学習モデル１７１のファイルを大容量記憶部１７の学習モデル管理ＤＢ１７２から取得する。制御部１１は、取得した学習済みの良品学習モデル１７１を表示する。制御部１１は、ユーザによる良品学習モデル１７１の選択を受け付ける。
制御部１１は、入力部１４を介して、検査用の画像を検証するための異常度の閾値の設定を受け付ける（ステップＳ１２３）。制御部１１は、選択された良品学習モデル１７１に対応するテンプレート画像に基づき、検査用の画像を切り出して所定の検証結果保存フォルダに記憶する（ステップＳ１２４）。制御部１１は、切り出した画像を学習済みの良品学習モデル１７１のエンコーダに入力する（ステップＳ１２５）。制御部１１は、良品学習モデル１７１のデコーダから該画像の再構成画像を出力させる（ステップＳ１２６）。
制御部１１は、切り出した画像と、該画像に対応する再構成画像との各ピクセルの異常度を式（６）で表される異常度式に従って算出する（ステップＳ１２７）。制御部１１は、算出した各ピクセルの異常度のうち少なくとも１つが閾値（例えば、５０）を超えたか否かを判定する（ステップＳ１２８）。制御部１１は、各ピクセルの異常度のうち少なくとも１つが閾値を超えたと判定した場合（ステップＳ１２８でＹＥＳ）、算出した各ピクセルの異常度に基づいて、検査用の画像の異常度マップ（ヒートマップ）を生成する（ステップＳ１２９）。例えば、制御部１１はヒートマップライブラリを利用し、異常と判断された検査対象物のどの部位（部分）に異常点があるかの情報を色の濃さで示すヒートマップを生成する。例えば、色が濃くなればなるほど、異常度が高いことを示す。
制御部１１は、良品学習モデル１７１の名称、異常度の閾値及び生成した画像の異常度マップを含む検証結果を表示部１５により表示し（ステップＳ１３０）、処理を終了する。なお、制御部１１は、異常度マップ（ヒートマップ）と、該異常度マップ上で異常点を示す色の濃さに対応する異常度の数値とを同時に表示しても良い。制御部１１は、すべてのピクセルの異常度が閾値を超えないと判定した場合（ステップＳ１２８でＮＯ）、制御部１１は異常なしの検証結果を表示部１５により表示し（ステップＳ１３１）、処理を終了する。
続いて、図４に戻り、運用モードで異常を検出する処理を説明する。コンピュータ１は運用モードの選択を受け付けた場合、コンピュータ１は、検査対象物を含む運用の画像を撮像装置２から取得する。コンピュータ１は、学習済みの良品学習モデル１７１の選択を受け付け、選択された良品学習モデル１７１に対応するテンプレート画像に基づき、撮像装置２から取得された運用の画像を切り出して所定の運用画像フォルダに記憶する。
コンピュータ１は、切り出した画像を良品学習モデル１７１に入力し、該画像に対応する再構成画像を出力させる。コンピュータ１は、切り出した画像と該画像に対応する再構成画像との各ピクセルの異常度を算出する。なお、異常度の算出処理に関しては、上述した算出処理と同様であるため、説明を省略する。
コンピュータ１は、算出した各ピクセルの異常度のうち少なくとも１つが閾値を超えたか否かを判定する。コンピュータ１は、算出した各ピクセルの異常度のうち少なくとも１つが閾値を超えた判定した場合、異常を検出した検出結果を出力する。なお、コンピュータ１は、算出した各ピクセルの異常度に基づいて異常度マップを生成し、生成した異常度マップと、該異常度マップ上で異常を表す色に対応付けられた異常度とを同時に出力しても良い。コンピュータ１は、すべてのピクセルの異常度が閾値を超えないと判定した場合、異常なしの検出結果を出力する。
図１２は、運用モード画面の一例を示す説明図である。運用モード画面は、ＡＩモデルファイル選択ボタン１４ａ、監視対象フォルダ選択ボタン１４ｂ、監視カメラ選択ボタン１４ｃ、ログファイル選択ボタン１４ｄ、運用ボタン１４ｅ及び運用情報表示欄１４ｆを含む。
ＡＩモデルファイル選択ボタン１４ａは、学習済みの良品学習モデル１７１のファイルを選択するボタンである。監視対象フォルダ選択ボタン１４ｂは、運用の画像を記憶したフォルダを選択するボタンである。監視カメラ選択ボタン１４ｃは、監視用の撮像装置２を選択するボタンである。ログファイル選択ボタン１４ｄは、検査対象物の異常を検出したログデータを記憶するためのログファイルを選択するボタンである。運用ボタン１４ｅは、検査対象物の異常の有無を検出するボタンである。運用情報表示欄１４ｆは、異常の有無、異常画像等の運用情報を表示する表示欄である。
コンピュータ１は、ＡＩモデルファイル選択ボタン１４ａのタッチ操作を受け付けた場合、学習済みの良品学習モデル１７１のファイルを大容量記憶部１７の学習モデル管理Ｄ
Ｂ１７２から取得する。例えばコンピュータ１は、取得した学習済みの良品学習モデル１７１（複数可）をリストボックス（図示せず）に表示する。コンピュータ１は、ユーザによる良品学習モデル１７１の選択を受け付ける。
コンピュータ１は、監視対象フォルダ選択ボタン１４ｂのタッチ操作を受け付けた場合、運用の画像を記憶したフォルダの選択を受け付ける。コンピュータ１は、監視カメラ選択ボタン１４ｃのタッチ操作を受け付けた場合、監視用の撮像装置２の選択を受け付ける。コンピュータ１は、ログファイル選択ボタン１４ｄのタッチ操作を受け付けた場合、ログファイルの選択を受け付ける。
コンピュータ１は、運用ボタン１４ｅのタッチ操作を受け付けた場合、監視対象フォルダ選択ボタン１４ｂにより選択された監視対象フォルダに記憶された運用の画像を、ＡＩモデルファイル選択ボタン１４ａにより選択された良品学習モデル１７１に入力し、該運用の画像に対応する再構成画像を出力させる。コンピュータ１は、運用の画像と該運用画像に対応する再構成画像との異常度を算出する。
コンピュータ１は、算出した異常度に基づいて検査対象物の異常の有無を検出する。コンピュータ１は、検出した異常の有無を運用情報表示欄１４ｆに表示する。コンピュータ１は、検査対象物の異常を検出したログデータを、ログファイル選択ボタン１４ｄにより選択されたログファイルに出力する。
なお、上述した異常検出処理は、予め監視対象フォルダに記憶された運用の画像に基づいて異常を検出したが、これに限るものではない。例えば、撮像装置２によりリアルタイムで撮像した動画に基づいて異常を検出しても良い。
具体的には、コンピュータ１は、監視カメラ選択ボタン１４ｃにより選択された撮像装置２から、検査対象物を含む動画をリアルタイムで取得する。コンピュータ１は、ＡＩモデルファイル選択ボタン１４ａにより選択された良品学習モデル１７１に対応するテンプレート画像に基づき、例えばＣＮＮを用いた物体検出アルゴリズムを利用し、選択された動画中に含まれた検査対象物を認識する。
コンピュータ１は、検査対象物を認識した複数の画像を動画から切り出して記憶部１２または所定の画像フォルダに記憶する。コンピュータ１は、切り出した画像を良品学習モデル１７１に入力し、該画像に対応する再構成画像を出力させる。コンピュータ１は、切り出した画像と、該画像に対応する再構成画像との異常度に基づいて異常を検出する。その後、異常の表示及びログデータの出力処理に関しては、上述した処理と同様であるため、説明を省略する。
図１３は、運用モードで異常を検出する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、運用モードの選択を入力部１４により受け付ける（ステップＳ１４１）。制御部１１は、入力部１４を介して、学習済みの良品学習モデル１７１の選択を受け付ける（ステップＳ１４２）。制御部１１は、監視用の撮像装置２の選択を入力部１４により受け付ける（ステップＳ１４３）。制御部１１は、通信部１３を介して、検査対象物を含む運用の画像を選択された撮像装置２から取得する（ステップＳ１４４）。
制御部１１は、選択された良品学習モデル１７１に対応するテンプレート画像に基づき、運用の画像を切り出して所定の運用画像保存フォルダに記憶する（ステップＳ１４５）。制御部１１は、切り出した画像を学習済みの良品学習モデル１７１のエンコーダに入力する（ステップＳ１４６）。制御部１１は、良品学習モデル１７１のデコーダから該画像に対応する再構成画像を出力させる（ステップＳ１４７）。
制御部１１は、切り出した画像と該画像に対応する再構成画像との各ピクセルの異常度を式（６）で表される異常度式に従って算出する（ステップＳ１４８）。制御部１１は、算出した各ピクセルの異常度のうち少なくとも１つが閾値（例えば、５０）を超えたか否かを判定する（ステップＳ１４９）。
制御部１１は、算出した各ピクセルの異常度のうち少なくとも１つが閾値を超えたと判定した場合（ステップＳ１４９でＹＥＳ）、制御部１１は、良品学習モデル１７１の名称、異常度の閾値及び異常画像を含む検出結果を表示部１５により表示する（ステップＳ１５０）。制御部１１は、検査対象物の異常を検出したログデータをログファイルに記憶（出力）し（ステップＳ１５１）、処理を終了する。制御部１１は、すべてのピクセルの異常度が閾値を超えないと判定した場合（ステップＳ１４９でＮＯ）、制御部１１は異常なしの検出結果を表示部１５により表示し（ステップＳ１５２）、処理を終了する。
本実施形態によると、検査対象物を含む画像に基づいて教師なし学習により生成した良品学習モデル１７１から、該画像に対応する再構成画像を出力することが可能となる。
本実施形態によると、検査対象物を含む画像と、良品学習モデル１７１が出力した該画像の再構成画像との異常度に基づいて異常の有無を検出することが可能となる。
本実施形態によると、少量の良品画像のみで学習が可能であるため、不良品の定義が不明確な場合に異常の有無を検出することが可能となる。
本実施形態によると、学習モードと運用モードとを提供することにより、学習及び運用が容易となる。
（実施形態２）
実施形態２は、検査対象物を含む画像を複数の小片画像に分割し、分割した複数の小片画像に基づいて検査対象物の異常を検出する形態に関する。なお、実施形態１と重複する内容については説明を省略する。
コンピュータ１は、検査対象物を含む画像を相互にオーバーラップする複数の小片画像（例えば、１０×１０ピクセル）に分割する。具体的には、コンピュータ１は、画像内で小片画像同士が一部重複するようにスライドさせながら小片画像を複数抽出する。例えば画像の中に所定座標（例えば、１０，１０）を小片画像の中心点とし、コンピュータ１は該小片画像を所定サイズ（例えば、１０×１０）で切り出す（トリミング）。コンピュータ１は、該中心点を横に所定のピクセル単位（例えば、２０ピクセル）でスライドして第２中心点を取得する。コンピュータ１は、取得した第２中心点に基づき、上述した処理で切り出した小片画像と一部重複するよう小片画像を同様のサイズで切り出す。コンピュータ１は、横方向に沿って複数の小片画像を抽出した後に、最初の中心点に戻る。コンピュータ１は、該中心点を縦に同じのピクセル単位でスライドして次の中心点を取得する。コンピュータ１は取得した中心点に基づき、上述した処理と同様に横方向に沿って、小片画像同士が一部重複するよう小片画像を同様のサイズで切り出す。このようにして、画像を相互にオーバーラップする複数の小片画像に分割することができる。
コンピュータ１は、実施形態１で生成した学習済みの良品学習モデル１７１に、分割した複数の小片画像を良品学習モデル１７１のエンコーダに入力し、良品学習モデル１７１のデコーダからそれぞれの小片画像に対応する再構成画像を出力させる。コンピュータ１は、分割した複数の小片画像と、それぞれの小片画像に対応する再構成画像との各ピクセルの異常度を、小片画像ごとに実施形態１での式（６）で表される異常度式に従って算出する。
コンピュータ１は、各ピクセルの異常度を足し込み、異常度が足し込まれた回数を集計する。コンピュータ１は、画像全体で集計した回数で除し、ピクセルごとに平均異常度を算出する。その後、コンピュータ１は、算出した平均異常度と所定の異常度の閾値とを比較し、実施形態１と同様処理で検査対象物の異常の有無を検出する。
図１４は、小片画像に基づいて異常を検出する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、検査対象物を含む画像を通信部１３により撮像装置２から取得する（ステップＳ１６１）。制御部１１は、取得した画像を相互にオーバーラップする複数の小片画像（例えば、１０×１０ピクセル）に分割する（ステップＳ１６２）。
コンピュータ１は、実施形態１で生成した学習済みの良品学習モデル１７１に、分割した複数の小片画像を良品学習モデル１７１のエンコーダに入力し（ステップＳ１６３）、良品学習モデル１７１のデコーダからそれぞれの小片画像に対応する再構成画像を出力させる（ステップＳ１６４）。制御部１１は、分割した複数の小片画像と、それぞれの小片画像に対応する再構成画像との各ピクセルの異常度を、小片画像ごとに実施形態１での式（６）で表される異常度式に従って算出する（ステップＳ１６５）。
制御部１１は、ピクセルごとに平均異常度を算出する（ステップＳ１６６）。具体的には、制御部１１は各ピクセルの異常度を足し込み、異常度が足し込まれた回数を集計する。制御部１１は画像全体で集計した回数で除し、ピクセルごとに平均異常度を算出する。制御部１１は、算出した各ピクセルの平均異常度のうち少なくとも１つが異常度の閾値を超えたか否かを判定する（ステップＳ１６７）。
制御部１１は、各ピクセルの平均異常度のうち少なくとも１つが閾値を超えたと判定した場合（ステップＳ１６７でＹＥＳ）、制御部１１は、異常画像を含む検出結果を表示部１５により表示し（ステップＳ１６８）、処理を終了する。制御部１１は、すべてのピクセルの平均異常度が閾値を超えないと判定した場合（ステップＳ１６７でＮＯ）、制御部１１は異常なしの検出結果を表示部１５により表示し（ステップＳ１６９）、処理を終了する。
なお、上述した異常検出処理に限るものではない。コンピュータ１は、分割した複数の小片画像を良品学習モデル１７１のエンコーダに入力し、良品学習モデル１７１のデコーダからそれぞれの小片画像に対応する再構成画像を出力させる。コンピュータ１は、出力させた複数の再構成画像を結合して結合画像を生成する。なお、コンピュータ１は結合画像の生成処理を行った場合、小片画像の重なり部分の明度を、平均値を用いて算出しても良い。コンピュータ１は、生成した結合画像と分割元の画像との各ピクセルの異常度を実施形態１の式（６）で表される異常度式に従って算出する。その後、実施形態１と同様に、コンピュータ１は、算出した各ピクセルの異常度に基づいて検査対象物の異常を検出する。
本実施形態によると、検査対象物を含む画像を小片画像に分割することで計算収束性が良くなるため、複数の小片画像の再構成化の並列計算処理時間を短縮することが可能となる。
＜実施形態２の変形例１＞
実施形態２の変形例１は、異なる小片画像のサイズごとに、検査対象物を含む画像を複数の小片画像に分割し、分割した複数の小片画像に基づいて検査対象物の異常を検出する形態に関する。なお、既に説明した事項については重複する説明を省略する。
検査対象物の異常（欠陥）のサイズに応じて、小片画像のサイズを決める場合がある。異常のサイズに応じて画像を複数の小片画像に分割することにより、異常を検出することが容易になる。例えば検査対象物の画像に対し、予め１０×１０ピクセル、１５×１５ピクセル、２０×２０ピクセルである小片画像のサイズが決められても良い。
図１５は、小片画像サイズごとに良品学習モデル１７１を生成する際の処理手順を示すフローチャートである。なお、図１０と重複する内容については同一の符号を付して説明を省略する。コンピュータ１の制御部１１は、ステップＳ２１〜２５（図１０のステップＳ１１１〜Ｓ１１５）処理を実行する。制御部１１は、小片画像のサイズを複数特定する（ステップＳ２６）。例えば、制御部１１は入力部１４を介して、ユーザによる小片画像のサイズの入力を受け付けることにより、小片画像のサイズを複数特定する。
制御部１１は、特定した小片画像の複数のサイズ中から、１つの小片画像のサイズを取得する（ステップＳ２７）。制御部１１は、取得した小片画像のサイズで、検査対象物を含む画像を相互にオーバーラップする複数の小片画像に分割する（ステップＳ２８）。制御部１１は、分割した小片画像に基づき、教師なし学習により良品学習モデル１７１を生成する（ステップＳ２９）。なお、良品学習モデル１７１の生成処理に関しては、実施形態１と同様であるため、説明を省略する。制御部１１は、生成した良品学習モデル１７１を大容量記憶部１７の学習モデル管理ＤＢ１７２に記憶する（ステップＳ３０）。
制御部１１は、特定した小片画像の複数のサイズ中に、該小片画像のサイズが最後のサイズであるか否かを判定する（ステップＳ３１）。制御部１１は、該小片画像のサイズが最後のサイズでないと判定した場合（ステップＳ３１でＮＯ）、制御部１１はステップＳ２７処理に戻る。制御部１１は、該小片画像のサイズが最後のサイズであると判定した場合（ステップＳ３１でＹＥＳ）、制御部１１は処理を終了する。
続いて、運用モードで上記処理により生成した学習済みの良品学習モデル１７１を用いる例を説明する。コンピュータ１の制御部１１は、検査対象物を含む運用の画像を撮像装置２から取得する。制御部１１は、小片画像のサイズの入力を入力部１４により受け付ける。制御部１１は、受け付けた小片画像のサイズで、取得した運用の画像を相互にオーバーラップする複数の小片画像に分割する。制御部１１は、分割した複数の小片画像を、該小片画像のサイズに対応する良品学習モデル１７１のエンコーダに入力し、該良品学習モデル１７１のデコーダからそれぞれの小片画像の再構成画像を出力させる。その後の異常検出処理に関しては、実施形態２と同様であるため、説明を省略する。
本変形例１によると、異なる小片画像のサイズごとに良品学習モデル１７１で学習させることにより、異常検出の精度を高めることが可能となる。
（実施形態３）
実施形態３は、収集された異常画像に基づいて第２学習モデルを生成し、生成した第２学習モデルを用いて検査対象物の異常を検出する形態に関する。なお、実施形態１〜２と重複する内容については説明を省略する。
図１６は、実施形態３のコンピュータ１の構成例を示すブロック図である。なお、図２と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、異常検出モデル１７３（第２学習モデル）が記憶されている。異常検出モデル１７３は、検査対象物を含む画像に基づいて異常の有無を検出する検出器であり、機械学習により生成された学習済みモデルである。
教師なし異常検出での実運用で、正常または異常を誤判定した画像が存在している。例えば、画像を異常画像として判定したが、実際に該画像が正常画像である場合がある。また、例えば画像を正常画像として判定したが、実際に該画像が異常画像である場合がある。これらの誤判定画像の特徴量に対して学習することにより、異常検出モデル１７３を構築することができる。コンピュータ１は、異常検出モデル１７３を用いて、検査対象物を含む画像を入力した場合に該画像に対応する異常情報を出力する。
図１７は、異常検出モデル１７３を用いて異常の有無を検出した検出結果を出力する説明図である。異常検出モデル１７３は、ディープラーニングにより構築され、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。異常検出モデル１７３は、検査対象物を含む画像を入力とし、検査対象物に対する異常の有無を検出した検出結果を出力とするニューラルネットワークを構築（生成）済みの検出器である。
コンピュータ１は、異常検出モデル１７３として、画像内における検査対象物の特徴量を学習するディープラーニングを行うことで異常検出モデル１７３を構築（生成）する。例えば、異常検出モデル１７３はＣＮＮ（Convolution Neural Network）であり、検査対象物を含む画像の入力を受け付ける入力層と、異常の有無を検出した検出結果を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。
入力層は、画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、画像が検査対象物に対する異常の有無を予測する。予測結果は、複数のニューロンを有する出力層に出力される。
なお、検査対象物を含む画像は、交互に連結されたコンボリューション層とプーリング層とを通過して特徴量が抽出された後に、入力層に入力されても良い。なお、ＣＮＮの代わりに、ＲＣＮＮ、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤまたはＹＯＬＯ（You Only Look Once）等の、任意の物体検出アルゴリズムを使用しても良い。
コンピュータ１は、検査対象物を含む画像（例えば、正常画像、異常画像）と、各画像における異常の有無とが対応付けられた訓練データ（教師データ）の組み合わせを用いて学習を行う。訓練データは、検査対象物を含む画像に対し、異常の有無がラベル付けされたデータである。なお、訓練データの生成処理に関しては後述する。
コンピュータ１は、訓練データである画像を入力層に入力し、中間層での演算処理を経て、出力層から異常の有無を示す検出結果を取得する。なお、出力層から出力される検出結果は異常の有無を離散的に示す値（例えば「０」又は「１」の値）であっても良く、連続的な確率値（例えば「０」から「１」までの範囲の値）であっても良い。
制御部１１は、出力層から出力された検出結果を、訓練データにおいて画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数等である。パラメータの最適化の方法は特に限定されないが、例えばコンピュータ１は、誤差逆伝播法を用いて各種パラメータの最適化を行う。
コンピュータ１は、訓練データに含まれる各画像について上記の処理を行い、異常検出モデル１７３を生成する。これにより、例えばコンピュータ１は当該訓練データを用いて異常検出モデル１７３の学習を行うことで、検査対象物に対する異常の有無を検出可能なモデルを構築することができる。
コンピュータ１は検査対象物を含む画像を取得した場合、取得した画像を異常検出モデル１７３に入力する。コンピュータ１は、異常検出モデル１７３の中間層にて画像の特徴量を抽出する演算処理を行い、抽出した特徴量を異常検出モデル１７３の出力層に入力して、検査対象物に対する異常の有無を示す検出結果を出力として取得する。
コンピュータ１は、異常検出モデル１７３の出力層から出力した検出結果に基づき、検査対象物に対する異常の有無を判断する。例えば、異常の確率値（例えば、０．９５）が所定閾値（例えば、０．８５）以上である場合、コンピュータ１は異常を検出したと判断しても良い。
図１８は、誤判定画像の収集画面の一例を示す説明図である。図１８Ａは、誤判定の異常画像の収集画面の一例を示す説明図である。誤判定の異常画像の収集画面は、画像表示欄１５ａ、ＯＫボタン１５ｂ及びＮＧボタン１５ｃを含む。画像表示欄１５ａは、実施形態１〜２でのＡＩにより判定された異常画像を表示する表示欄である。ＯＫボタン１５ｂは、ＡＩにより判定された異常画像に対し、正しく異常と判断された判断結果をユーザ（オペレーター）から受け付けるボタンである。ＮＧボタン１５ｃは、ＡＩにより判定された異常画像に対し、誤って異常と判断された判断結果をユーザから受け付けるボタンである。
図１８Ｂは、誤判定の正常画像の収集画面の一例を示す説明図である。画像表示欄１５ａは、実施形態１〜２でのＡＩにより判定された正常画像を表示する表示欄である。ＯＫボタン１５ｂは、ＡＩにより判定された正常画像に対し、正しく正常と判断された判断結果をユーザから受け付けるボタンである。ＮＧボタン１５ｃは、ＡＩにより判定された正常画像に対し、誤って正常と判断された判断結果をユーザから受け付けるボタンである。
なお、ＯＫボタン１５ｂ及びＮＧボタン１５ｃのタッチ操作に応じる処理に関しては、図１９で説明する。
図１９は、異常検出モデル１７３の生成処理の処理手順の一例を示すフローチャートである。図１９に基づき、機械学習によって異常検出モデル１７３を生成する処理の処理内容について説明する。
コンピュータ１の制御部１１は、複数の異常画像を通信部１３により撮像装置２または外部装置から取得する（ステップＳ１８１）。なお、異常画像が予め大容量記憶部１７に記憶されても良い。制御部１１は、複数の異常画像から一つの異常画像を取得し、取得した該異常画像に対し、ユーザによるＮＧボタン１５ｃのタッチ操作（図１８）を受け付けたか否かを判定する（ステップＳ１８２）。
制御部１１は、ＮＧボタン１５ｃのタッチ操作を受け付けたと判定した場合（ステップＳ１８２でＹＥＳ）、誤って異常と判断され、該異常画像に対して正常であることを示すデータを付与した第１訓練データを生成する（ステップＳ１８４）。制御部１１は、後述するステップＳ１８６処理に遷移する。制御部１１は、ＮＧボタン１５ｃのタッチ操作を受け付けていないと判定した場合（ステップＳ１８２でＮＯ）、ＯＫボタン１５ｂのタッチ操作（図１８）を受け付けたか否かを判定する（ステップＳ１８３）。
制御部１１は、ＯＫボタン１５ｂのタッチ操作を受け付けたと判定した場合（ステップＳ１８３でＹＥＳ）、正しく異常と判断され、該異常画像に対して異常であることを示すデータを付与した第３訓練データを生成する（ステップＳ１８５）。制御部１１は、ＯＫボタン１５ｂのタッチ操作を受け付けていないと判定した場合（ステップＳ１８３でＮＯ）、制御部１１はステップＳ１８２処理に戻る。
制御部１１は、該異常画像が複数の異常画像中の最後の異常画像であるか否かを判定する（ステップＳ１８６）。制御部１１は、該異常画像が最後の異常画像でないと判定した場合（ステップＳ１８６でＮＯ）、制御部１１はステップＳ１８２処理に戻る。制御部１１は、該異常画像が最後の異常画像であると判定した場合（ステップＳ１８６でＹＥＳ）、複数の正常画像を通信部１３により撮像装置２または外部装置から取得する（ステップＳ１８７）。
制御部１１は、複数の正常画像から一つの正常画像を取得し、取得した該正常画像に対し、ユーザによるＮＧボタン１５ｃのタッチ操作を受け付けたか否かを判定する（ステップＳ１８８）。制御部１１は、ＮＧボタン１５ｃのタッチ操作を受け付けたと判定した場合（ステップＳ１８８でＹＥＳ）、誤って正常と判断され、該正常画像に対して異常であることを示すデータを付与した第２訓練データを生成する（ステップＳ１９０）。制御部１１は、後述するステップＳ１９２処理に遷移する。
制御部１１は、ＮＧボタン１５ｃのタッチ操作を受け付けていないと判定した場合（ステップＳ１８８でＮＯ）、ＯＫボタン１５ｂのタッチ操作を受け付けたか否かを判定する（ステップＳ１８９）。制御部１１は、ＯＫボタン１５ｂのタッチ操作を受け付けたと判定した場合（ステップＳ１８９でＹＥＳ）、正しく正常と判断され、該正常画像に対して正常であることを示すデータを付与した第４訓練データを生成する（ステップＳ１９１）。制御部１１は、ＯＫボタン１５ｂのタッチ操作を受け付けていないと判定した場合（ステップＳ１８９でＮＯ）、制御部１１はステップＳ１８８処理に戻る。
制御部１１は、該正常画像が複数の正常画像中の最後の正常画像であるか否かを判定する（ステップＳ１９２）。制御部１１は、該正常画像が最後の正常画像でないと判定した場合（ステップＳ１９２でＮＯ）、制御部１１はステップＳ１８８処理に遷移する。制御部１１は、該正常画像が最後の正常画像であると判定した場合（ステップＳ１９２でＹＥＳ）、制御部１１は生成した複数の第１訓練データ、第２訓練データ、第３訓練データ及び第４訓練データの組み合わせを用いて、画像を入力した場合に該画像に対する異常情報を検出（出力）する異常検出モデル１７３を生成する（ステップＳ１９３）。
具体的には、制御部１１は、訓練データである画像をニューラルネットワークの入力層に入力し、該画像に対応する異常の有無を検出した検出結果を出力層から取得する。制御部１１は、取得した検出結果を訓練データの正解値（画像に対してラベル付けられた情報）と比較し、出力層から出力される検出結果が正解値に近づくよう、中間層での演算処理に用いるパラメータ（重み等）を最適化する。制御部１１は、生成した異常検出モデル１７３を大容量記憶部１７の学習モデル管理ＤＢ１７２に記憶し（ステップＳ１９４）、一連の処理を終了する。
コンピュータ１は、実施形態１で構築された学習済みの良品学習モデル１７１（第１学習モデル）、または本実施形態で構築された異常検出モデル１７３（第２学習モデル）の少なくとも一方の選択を受け付ける。良品学習モデル１７１が選択された場合、コンピュータ１は、実施形態１または２での異常検出処理に基づいて検査対象物の異常を検出する。異常検出モデル１７３が選択された場合、コンピュータ１は、本実施形態での異常検出処理に基づいて検査対象物の異常を検出する。
本実施形態によると、収集された正常画像及び異常画像に基づいて異常検出モデル１７３を生成し、生成した異常検出モデル１７３を用いて検査対象物の異常を検出することが可能となる。
本実施形態によると、収集された正常画像及び異常画像に基づき、教師あり学習により異常検出モデル１７３を構築することが可能となる。
本実施形態によると、教師なし学習により構築された学習済みモデルと、教師あり学習により構築された学習済みモデルとを併用することで、異常の検出精度を高めることが可能となる。
（実施形態４）
実施形態４は、コンピュータ１のハードウェア構成、良品学習モデル１７１のハイパーパラメータ、または小片画像のサイズの少なくとも１つに応じて、良品学習モデル１７１に同時入力する小片画像の最大枚数を決定する形態に関する。なお、実施形態１〜３と重複する内容については説明を省略する。
コンピュータ１のハードウェア構成、良品学習モデル１７１のハイパーパラメータ、または小片画像のサイズによって、複数の小片画像に基づく異常検出処理の場合、良品学習モデル１７１に同時入力する枚数に応じて演算処理能力（例えば、処理速度等）の差が生じる。同時に処理する画像枚数が多いほど、メモリ使用率が高くなり、ＧＰＵの処理速度が低下する。コンピュータ１に処理能力を最大限に発揮させるために、良品学習モデル１７１に対する処理可能な小片画像の最大枚数を決定する必要がある。
ハードウェア構成は、ＧＰＵ（プロセッサ）、メモリ、ハードディスク等のスペックである。なお、本実施形態では、ＧＰＵの例を説明したが、ＣＰＵ、ＭＰＵ等にも同様に適用される。良品学習モデル１７１のハイパーパラメータは、Ｄｅｐｔｈ（モデルの階層数）、Ｃｈａｎｎｅｌ数（チャンネル数）、Ｅｐｏｃｈ（学習させる回数）等を含む。
図２０は、実施形態４のコンピュータ１の構成例を示すブロック図である。なお、図１６と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、画像枚数ＤＢ１７４が記憶されている。画像枚数ＤＢ１７４は、コンピュータ１のハードウェア構成、良品学習モデル１７１のハイパーパラメータ及び小片画像のサイズに基づいて、良品学習モデル１７１に同時入力する画像の最大枚数を記憶している。
なお、画像枚数ＤＢ１７４に記憶された小片画像の最大枚数については、例えばＧＰＵの負荷テストを通じて決定されても良い。
図２１は、画像枚数ＤＢ１７４のレコードレイアウトの一例を示す説明図である。画像枚数ＤＢ１７４は、ＧＰＵ列、ハイパーパラメータ列、画像サイズ及び画像枚数列を含む。ＧＰＵ列は、ＣＵＤＡ（Compute Unified Device Architecture）コア数列、コアブロック列、メモリ量列及びメモリブロック列を含む。ＣＵＤＡコア数列は、ＧＰＵのＣＵＤＡコア数を記憶している。コアブロック列は、ＧＰＵのコアブロックを記憶している。メモリ量列は、ＧＰＵのメモリ容量を記憶している。メモリブロック列は、ＧＰＵのメモリブロックを記憶している。
ハイパーパラメータ列は、Ｄｅｐｔｈ列、Ｃｈａｎｎｅｌ数列及びＥｐｏｃｈ列を含む。Ｄｅｐｔｈ列は、学習モデルの階層数を記憶している。Ｃｈａｎｎｅｌ数列は、学習モデルのチャンネル数を記憶している。Ｅｐｏｃｈ列は、学習させる回数を記憶している。画像サイズ列は、小片画像のサイズ（例えば、５０×５０ピクセル）を記憶している。画像枚数列は、良品学習モデル１７１に同時入力する小片画像の最大枚数を記憶している。
図２２は、小片画像の最大枚数を取得する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、システム情報取得ＡＰＩ（Application Programming Interface）を利用してハードウェア構成を取得する（ステップＳ１１）。例えばＧＰＵのＣＵＤＡコア数、コアブロック、メモリ量、メモリブロック等が取得される。制御部１１は、学習済みの良品学習モデル１７１のハイパーパラメータを取得する（ステップＳ１２）。例えばＤｅｐｔｈ、Ｃｈａｎｎｅｌ数、Ｅｐｏｃｈ等が取得される。
制御部１１は、小片画像のサイズの入力を入力部１４により受け付ける（ステップＳ１３）。制御部１１は、取得したコンピュータ１のハードウェア構成、良品学習モデル１７１のハイパーパラメータ、及び受け付けた小片画像のサイズに基づき、大容量記憶部１７の画像枚数ＤＢ１７４を照合して、小片画像の最大枚数を取得する（ステップＳ１４）。制御部１１は、検査対象物を含む画像を通信部１３により撮像装置２から取得する（ステップＳ１５）。制御部１１は実施形態２での小片画像分割処理と同様に、取得した小片画像の最大枚数に基づき、取得した検査対象物の画像を相互にオーバーラップする複数の小片画像に分割する（ステップＳ１６）。その後、実施形態２と同様に、制御部１１は分割した複数の小片画像に基づいて検査対象物の異常を検出する。
なお、図２２では、コンピュータ１のハードウェア構成、良品学習モデル１７１のハイパーパラメータ、及び小片画像のサイズに応じて、良品学習モデル１７１に同時入力する小片画像の最大枚数を決定する処理の例を説明したが、これに限るものではない。ハードウェア構成、ハイパーパラメータまたは小片画像のサイズの少なくとも１つに応じて、小片画像の最大枚数を決定しても良い。
なお、小片画像の最大枚数の決定処理に関しては、上述した処理に限るものではない。例えば、ハードウェア構成、ハイパーパラメータまたは小片画像のサイズに基づいて作成した数式（アルゴリズム）を用いて、小片画像の最大枚数を求めても良い。
本実施形態によると、コンピュータ１のハードウェア構成、良品学習モデル１７１のハイパーパラメータ、または小片画像のサイズの少なくとも１つに応じて、良品学習モデル１７１に同時入力する小片画像の最大枚数を決定することが可能となる。
本実施形態によると、小片画像の最大枚数に基づいて学習または運用処理を行った場合、コンピュータ１が処理能力を最大限に発揮することが可能となる。
（実施形態５）
実施形態５は、教師あり学習により生成する異常検出モデル１７３（第２学習モデル）を用いて検査対象物の異常の有無を検出する形態に関する。なお、実施形態１〜４と重複する内容については説明を省略する。
なお、本実施形態のコンピュータの構成に関しては、実施形態３のコンピュータの構成と同様であるため、説明を省略する。
本実施形態での異常検出モデル１７３は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。異常検出モデル１７３は、検査対象物を含む画像が入力された場合に、異常が写っていると推定する領域と、その領域に異常が写っている確信度（確率）とを示す情報を出力する学習モデルである。検査対象物の異常は、検査対象物の傷、汚れ、異物等の外観上の欠陥等であり、例えば「打痕」、「汚れ」または「傷」等である。
図２３は、異常検出モデル１７３を用いて検査対象物の異常を検出する処理の概要を説明する説明図である。本実施の形態の異常検出モデル１７３は、ＲＣＮＮを用いて推定を行う。異常検出モデル１７３は、領域候補抽出部７３ａと、分類部７３ｂとを含む。異常検出モデル１７３に、検査対象物を含む画像が入力される。領域候補抽出部７３ａは、画像から様々なサイズの領域候補を抽出する。
分類部７３ｂは、図示を省略するニューラルネットワークを含む。ニューラルネットワークは、コンボリューション層、プーリング層および全結合層を含む。分類部７３ｂは、領域候補抽出部７３ａから抽出された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、領域候補の画素情報を圧縮しながら最終的に領域候補の特徴量を抽出する。分類部７３ｂは、バックプロパゲーションによりパラメータが学習された全結合層により、抽出した領域候補の特徴量に基づいて領域候補に映っている被写体が異常であるか否かを分類する。
異常検出モデル１７３は、領域候補の抽出と分類とを繰り返すことにより、検査対象物の異常の有無を示す情報を出力する。
コンピュータ１は、検査対象物を含む画像と、該画像に対応する検査対象物の異常の有無を示す情報とが対応付けられた訓練データの組み合わせを用いて学習を行う。訓練データは、画像に対し、該画像に対応する異常箇所を示す情報がラベル付けされたデータである。ラベルは、例えば「打痕」、「汚れ」または「傷」等である。
学習の際には、異常情報を格納するデータベースに存在する大量の過去の異常検出データを訓練データとして利用しても良く、または、実施形態１での異常検出結果により判断された見落とし画像を用いて作成された訓練データを利用しても良い。見落とし画像は、実施形態１の異常検出処理で良品学習モデル１７１に基づいて画像から検査対象物の異常が検出されていないが、検査員の検査（例えば、目視検査）により該検査対象物の異常を検出した画像である。コンピュータ１は、取得した見落とし画像と、検査員から入力された該見落とし画像に対応する検査対象物の異常有りを示す情報とを訓練データとして、異常検出モデル１７３の学習を行う。
具体的には、コンピュータ１は、良品学習モデル１７１に基づいて検査対象物の異常を検出していない見落とし画像を取得する。コンピュータ１は、取得した見落とし画像に対し、該見落とし画像に対応する検査対象物の異常有りを示す情報（例えば、「打痕」、「汚れ」または「傷」等の異常ラベル）を設定する設定入力を受け付ける。コンピュータ１は、取得した見落とし画像と、受け付けた該見落とし画像に対応する検査対象物の異常有りを示す情報とが対応付けられた訓練データを作成する。見落とし画像を訓練データとすることにより、本システムを継続するほど異常検出モデル１７３がアップデートされ、より正確な異常検出を行うことができるようになる。
コンピュータ１は、訓練データである画像を領域候補抽出部７３ａに入力し、分類部７３ｂでの演算処理を経て、該画像に対応する検査対象物の異常の有無を示す情報を取得する。コンピュータ１は、分類部７３ｂから出力された検査対象物の異常の有無を示す情報を、訓練データにおいて画像に対しラベル付けされた情報、すなわち正解値と比較し、分類部７３ｂからの出力値が正解値に近づくように、分類部７３ｂ（コンボリューション層、プーリング層および全結合層）での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えばコンピュータ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。
コンピュータ１は、訓練データに含まれる各画像について上記の処理を行い、異常検出モデル１７３を生成する。コンピュータ１は、生成した異常検出モデル１７３を学習モデル管理ＤＢ１７２に記憶する。学習モデル管理ＤＢ１７２にこれにより、例えばコンピュータ１は当該訓練データを用いて異常検出モデル１７３の学習を行うことで、画像に対応する検査対象物の異常の有無を示す情報を出力可能なモデルを構築することができる。コンピュータ１は画像を取得した場合、異常検出モデル１７３を用いて該画像に対応する検査対象物の異常の有無を示す情報を出力する。
異常検出モデル１７３は、所定の閾値よりも高い確信度で異常が写っていると分類された領域候補について、領域の範囲、および、異常が写っている確信度を出力する。図２３に示す例では、所定の打痕異常の閾値（例えば、０．８０）よりも高い０．８７の確信度で打痕異常が写っている領域と、所定の汚れ異常の閾値（例えば、０．８５）よりも高い０．９２の確信度で汚れ異常が写っている領域とが検出されている。
なお、ＲＣＮＮの代わりに、ＣＮＮ、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮまたはＳＳＤ、ＹＯＬＯ等の、任意の物体検出アルゴリズムを使用しても良い。その他、Ｕ−Ｎｅｔ等のセグメンテーションネットワークを用いても良い。
図２４は、検証モードで検査対象物の異常を検出する画面の一例を示す説明図である。該画面は、ＡＩモデル選択ボタン１６ａ、検証画像フォルダ選択ボタン１６ｂ、ラベル名選択コンボボックス１６ｃ、確信度閾値入力欄１６ｄ、更新ボタン１６ｅ、確信度表示欄１６ｆ、保存フォルダ選択ボタン１６ｇ、検証ボタン１６ｈ、異常種類タブ１６ｉ及び検出結果表示欄１６ｊを含む。
ＡＩモデル選択ボタン１６ａは、学習済みの異常検出モデル１７３ファイルの選択を受け付けるボタンである。検証画像フォルダ選択ボタン１６ｂは、検査対象物を含む画像を記憶した画像フォルダを選択するボタンである。ラベル名選択コンボボックス１６ｃは、画像に対しラベル付けされたラベルの名称の選択を受け付けるコンボボックスである。確信度閾値入力欄１６ｄは、各種の異常の確信度の閾値の入力を受け付けるテキストフィールドである。更新ボタン１６ｅは、各種の異常の確信度の閾値を更新するボタンである。
確信度表示欄１６ｆは、設定された各種の異常の確信度の閾値を表示する表示欄である。保存フォルダ選択ボタン１６ｇは、検証結果を保存するフォルダを選択するボタンである。検証ボタン１６ｈは、検査対象物を含む画像を検証するボタンである。異常種類タブ１６ｉは、異常の種類（例えば、打痕、汚れまたは傷）または異常検出なしを切り替えるためのタブである。図示のように、異常種類タブ１６ｉは、「打痕」タブ、「汚れ」タブ、「傷」タブ及び「検出なし」タブを含む。検出結果表示欄１６ｊは、検査対象物の異常の有無を検出する検出結果を表示する表示欄である。
コンピュータ１は、ＡＩモデル選択ボタン１６ａのタッチ操作を受け付けた場合、学習済みの異常検出モデル１７３のファイルを学習モデル管理ＤＢ１７２から取得する。例えばコンピュータ１は、取得した学習済みの異常検出モデル１７３（複数可）をリストボックス（図示せず）に表示する。コンピュータ１は、ユーザによる異常検出モデル１７３の選択を受け付ける。コンピュータ１は、検証画像フォルダ選択ボタン１６ｂのタッチ操作を受け付けた場合、検証画像を記憶した画像フォルダの選択を受け付ける。
コンピュータ１は、ラベル名選択コンボボックス１６ｃの選択操作を受け付けた場合、該当する異常のラベル名の選択を受け付ける。コンピュータ１は、確信度閾値入力欄１６ｄの入力操作を受け付けた場合、ラベル名選択コンボボックス１６ｃにより選択された異常のラベル名に対応する確信度の閾値の入力を受け付ける。コンピュータ１は、更新ボタン１６ｅのタッチ操作を受け付けた場合、確信度閾値入力欄１６ｄにより入力された異常の確信度の閾値を、ラベル名選択コンボボックス１６ｃにより選択された異常のラベル名に対応付けて更新する。コンピュータ１は、更新した各種の異常の確信度の閾値を記憶部１２または大容量記憶部１７に記憶し、記憶した各種の異常の確信度の閾値を確信度表示欄１６ｆに表示する。
コンピュータ１は、保存フォルダ選択ボタン１６ｇのタッチ操作を受け付けた場合、検証結果を記憶するフォルダの選択を受け付ける。コンピュータ１は、検証ボタン１６ｈのタッチ操作を受け付けた場合、各種の異常の確信度の閾値に基づいて検査対象物の異常の有無を検出する。具体的には、コンピュータ１は、検証画像フォルダ選択ボタン１６ｂにより選択された画像を、ＡＩモデル選択ボタン１６ａにより選択された異常検出モデル１７３に入力し、設定された各種の異常の確信度の閾値よりも高い確信度で異常が写っていると分類された領域候補について、領域の範囲、および、異常が写っている確信度を出力させる。
コンピュータ１は、検出した異常画像を、保存フォルダ選択ボタン１６ｇにより選択されたフォルダに記憶する。コンピュータ１は、異常種類タブ１６ｉに示されている分類情報（例えば、打痕、汚れ、傷及び検出なし）に基づき、単一または複数の画像に対して分類する。コンピュータ１は、分類した各画像の検出結果を、該当する異常種類タブ１６ｉに対応する検出結果表示欄１６ｊに表示する。
具体的には、コンピュータ１は、検査対象物の異常を検出した画像に対し、それぞれの画像と合わせて、異常が写っている領域の範囲（座標）、異常の種類及び確信度等を、異常種類に応じて該当する異常種類タブ１６ｉ（「打痕」タブ、「汚れ」タブまたは「傷」タブ）に対応する検出結果表示欄１６ｊに表示する。コンピュータ１は、検査対象物の異常を検出していない画像に対し、「検出なし」タブである異常種類タブ１６ｉに対応する検出結果表示欄１６ｊに、それぞれの画像と合わせて、異常を検出していない検出結果を表示する。
図２５は、運用モードで検査対象物の異常を検出する画面の一例を示す説明図である。なお、図２４と重複する内容については同一の符号を付して説明を省略する。該画面は、監視方法選択ラジオボタン１７ａ、監視フォルダ選択ボタン１７ｂ、カメラ選択コンボボックス１７ｃ、解像度選択コンボボックス１７ｄ、ログファイル選択ボタン１７ｅ及び運用ボタン１７ｆを含む。
監視方法選択ラジオボタン１７ａは、「フォルダ監視」または「カメラ監視」を選択するラジオボタンである。監視フォルダ選択ボタン１７ｂは、運用の画像を記憶したフォルダを選択するボタンである。コンピュータ１は、監視フォルダ選択ボタン１７ｂのタッチ操作を受け付けた場合、運用の画像を記憶したフォルダの選択を受け付ける。
カメラ選択コンボボックス１７ｃは、接続された監視用の撮像装置２を選択するコンボボックスである。解像度選択コンボボックス１７ｄは、選択された監視用の撮像装置２の解像度度の選択を受け付けるコンボボックスである。コンピュータ１は、カメラ選択コンボボックス１７ｃの選択操作を受け付けた場合、監視用の撮像装置２の選択を受け付ける。コンピュータ１は、解像度選択コンボボックス１７ｄの選択操作を受け付けた場合、カメラ選択コンボボックス１７ｃにより選択された監視用の撮像装置２に対応する解像度の選択を受け付ける。
ログファイル選択ボタン１７ｅは、検査対象物の異常を検出したログデータを記憶するためのログファイルを選択するボタンである。コンピュータ１は、ログファイル選択ボタン１７ｅのタッチ操作を受け付けた場合、ログファイルの選択を受け付ける。
運用ボタン１７ｆは、検査対象物の異常の有無を検出するボタンである。コンピュータ１は、運用ボタン１７ｆのタッチ操作を受け付けた場合、運用の画像を取得する。具体的には、コンピュータ１は、監視方法選択ラジオボタン１７ａにより選択された監視方法が「フォルダ監視」である場合、監視フォルダ選択ボタン１７ｂにより選択された監視対象フォルダに記憶された運用の画像を取得する。コンピュータ１は、監視方法選択ラジオボタン１７ａにより選択された監視方法が「カメラ監視」である場合、カメラ選択コンボボックス１７ｃにより選択された監視用の撮像装置２によりリアルタイムで撮像した動画を取得する。
コンピュータ１は、取得した運用の画像を、ＡＩモデル選択ボタン１６ａにより選択された学習済みの異常検出モデル１７３に入力し、該運用の画像に対応する検査対象物の異常の有無を示す情報を出力させる。コンピュータ１は、運用の画像と合わせて、異常検出モデル１７３から出力された検査対象物の異常の有無を示す情報を検出結果表示欄１６ｊに表示する。
図２６は、異常検出モデル１７３を用いて検査対象物の異常を検出する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、検査対象物を含む画像を通信部１３または入力部１４により取得する（ステップＳ２１）。制御部１１は、各種の異常の確信度の閾値の設定を入力部１４により受け付ける（ステップＳ２２）。なお、予め設定された異常の確信度の閾値が記憶部１２または大容量記憶部１７に記憶されている場合、制御部１１は、各種の異常の確信度の閾値を記憶部１２または大容量記憶部１７から取得する。
制御部１１は、受け付けた各種の異常の確信度の閾値に基づき、取得した画像を異常検出モデル１７３に入力して該画像に対応する検査対象物の異常の有無を示す情報を検出結果として出力する（ステップＳ２３）。制御部１１は、該画像及び検出結果を表示部１５により表示し（ステップＳ２４）、処理を終了する。
本実施形態によると、教師あり学習により生成する異常検出モデル１７３を用いて検査対象物の異常を検出することが可能となる。
本実施形態によると、各種の異常の確信度の閾値を設定することにより、検査対象物に対して各種の異常の検出精度を調整することが可能となる。
（実施形態６）
実施形態６は、良品学習モデル１７１（第１学習モデル）と異常検出モデル１７３（第２学習モデル）とを併用して検査対象物の異常を検出する形態に関する。なお、実施形態１〜５と重複する内容については説明を省略する。
コンピュータ１は、検査対象物を含む画像を取得する。先ず、コンピュータ１は、良品学習モデル１７１に基づいて該画像に対応する検査対象物の異常の有無を示す第１検出結果を検出する。具体的には、コンピュータ１は、画像を検証するための異常度の閾値及び面積閾値の設定を受け付ける。コンピュータ１は、検査対象物の領域に基づいて作成されたテンプレート画像と、取得した画像との一致度の閾値の設定を受け付ける。
コンピュータ１は、例えばＳＳＤ、ＳＡＤまたはＮＣＣ等のテンプレートマッチング手法を用いて、テンプレート画像と取得した画像との一致度を算出する。コンピュータ１は、算出した一致度が、受け付けた一致度の閾値を超えたか否かを判定する。コンピュータ１は、算出した一致度が一致度の閾値を超えたと判定した場合、後述する異常検出処理を実行する。なお、一致度の判定処理は必須ではない。コンピュータ１は、上述した一致度の判定処理を実行せず、取得したすべての画像に対して異常検出処理を実行しても良い。
コンピュータ１は、取得した画像を学習済みの良品学習モデル１７１に入力して該画像に対応する再構成画像を出力する。コンピュータ１は、取得した画像と、良品学習モデル１７１が出力した再構成画像との各ピクセルの異常度を算出する。なお、異常度の算出処理に関しては、実施形態１と同様であるため、説明を省略する。コンピュータ１は、算出した各ピクセルの異常度が、受け付けた異常度の閾値（例えば、５０）を超えたか否かを判定する。
コンピュータ１は、算出した各ピクセルの異常度が閾値を超えた該画像の領域のうち、異常度が異常度の閾値を超えたピクセル数を集計する。コンピュータ１は、集計したピクセル数（領域の面積）が、受け付けた面積閾値（例えば、３０ピクセル）を超えたか否かを判定する。コンピュータ１は、該領域の面積が面積閾値を超えたと判定した場合、異常として検出する。
コンピュータ１は、上述した処理を実行することにより、検査対象物の異常の有無を示す第１検出結果を検出する。第１検出結果には異常が写っている領域の範囲等が含まれる。
次に、コンピュータ１は、学習済みの異常検出モデル１７３を用いて検査対象物の異常の有無を示す第２検出結果を検出する。具体的には、コンピュータ１は、実施形態５で学習させた異常検出モデル１７３に、取得した画像を入力して該画像に対応する検査対象物の異常の有無を示す第２検出結果を検出する。第２検出結果には、異常が写っていると分類された領域候補の範囲、異常が写っている確信度及び種類等が含まれる。
コンピュータ１は、第１検出結果から異常を検出したと判定した場合、画像の各ピクセルの異常度に基づいて、該画像の異常度マップを生成する。コンピュータ１は、検出した第１検出結果及び第２検出結果を、生成した該画像の異常度マップと共に表示する。コンピュータ１は、第１検出結果から異常を検出していないと判定した場合、検出した第１検出結果及び第２検出結果を該画像と共に表示する。
図２７は、良品学習モデル１７１と異常検出モデル１７３とを併用して検査対象物の異常を検出する検証モード画面の一例を示す説明図である。該検証モード画面は、良品学習モデル設定入力欄１８ａ、異常検出モデル設定入力欄１８ｂ、良品フォルダ選択ボタン１８ｃ、不良品フォルダ選択ボタン１８ｄ、保存フォルダ選択ボタン１８ｅ、検証ボタン１８ｆ、分類タブ１８ｇ及び検証結果表示欄１８ｈを含む。
良品学習モデル設定入力欄１８ａは、学習済みの良品学習モデル１７１ファイルの選択、異常度の閾値及び面積閾値の入力を受け付ける設定入力欄である。異常検出モデル設定入力欄１８ｂは、学習済みの異常検出モデル１７３ファイルの選択、及び各種の異常の確信度の閾値の入力を受け付ける設定入力欄である。良品フォルダ選択ボタン１８ｃは、検査対象物を含む良品画像を記憶したフォルダを選択するボタンである。不良品フォルダ選択ボタン１８ｄは、検査対象物を含む不良品画像を記憶したフォルダを選択するボタンである。保存フォルダ選択ボタン１８ｅは、検証結果を保存するフォルダを選択するボタンである。検証ボタン１８ｆは、画像を検証するボタンである。
分類タブ１８ｇは、第１検出結果と第２検出結果との対比関係からなる分類情報を切り替えるためのタブである。図示のように、分類情報は、「良品-良品判定」、「良品-不良品判定」、「不良品-良品判定」及び「不良品-不良品判定」を含む。「良品-良品判定」分類は、第１検出結果と第２検出結果の両方が良品（異常なし）である。「良品-不良品判定」分類は、第１検出結果が良品であり、且つ、第２検出結果が不良品（異常有り）である。「不良品-良品判定」分類は、第１検出結果が不良品であり、且つ、第２検出結果が良品である。「不良品-不良品判定」分類は、第１検出結果と第２検出結果の両方が不良品である。検証結果表示欄１８ｈは、第１検出結果及び第２検出結果を表示する表示欄である。
コンピュータ１は、良品学習モデル設定入力欄１８ａの設定操作を受け付けた場合、学習済みの良品学習モデル１７１ファイルの選択、異常度の閾値及び面積閾値の入力を受け付ける。コンピュータ１は、異常検出モデル設定入力欄１８ｂの設定操作を受け付けた場合、学習済みの異常検出モデル１７３ファイルの選択、及び各種の異常の確信度の閾値の入力を受け付ける。
コンピュータ１は、良品フォルダ選択ボタン１８ｃのタッチ操作を受け付けた場合、良品と判断された良品画像を記憶したフォルダの選択を受け付ける。コンピュータ１は、不良品フォルダ選択ボタン１８ｄのタッチ操作を受け付けた場合、不良品と判断された不良品画像を記憶したフォルダの選択を受け付ける。なお、良品画像及び不良品画像は、別々のフォルダに記憶されているが、これに限らず、同一のフォルダに記憶されても良い。コンピュータ１は、保存フォルダ選択ボタン１８ｅのタッチ操作を受け付けた場合、検証結果を記憶するフォルダの選択を受け付ける。
コンピュータ１は、検証ボタン１８ｆのタッチ操作を受け付けた場合、良品フォルダ選択ボタン１８ｃにより選択されたフォルダに記憶された良品画像、及び不良品フォルダ選択ボタン１８ｄにより選択されたフォルダに記憶された不良品画像を取得する。コンピュータ１は、良品学習モデル設定入力欄１８ａにより選択された学習済みの良品学習モデル１７１に、取得した良品画像及び不良品画像を含む検査用の画像を入力して各検査用の画像に対応する再構成画像を出力する。
コンピュータ１は、それぞれの検査用の画像と、良品学習モデル１７１が出力したそれぞれの検査用の画像に対応する再構成画像との異常度を算出する。コンピュータ１は、算出した異常度に基づき、それぞれの検査用の画像に対応する検査対象物の異常の有無を示す第１検出結果を検出する。
コンピュータ１は、異常検出モデル設定入力欄１８ｂにより選択された異常検出モデル１７３に、それぞれの検査用の画像を入力してそれぞれの検査用の画像に対応する検査対象物の異常の有無を示す第２検出結果を検出する。コンピュータ１は、保存フォルダ選択ボタン１８ｅにより選択されたフォルダに、検出した第１検出結果及び第２検出結果を記憶する。コンピュータ１は、「良品-良品判定」、「良品-不良品判定」、「不良品-良品判定」及び「不良品-不良品判定」を含む分類情報に基づき、第１検出結果及び第２検出結果に応じて複数の検査用の画像を分類する。
「良品-良品判定」に分類された検査用の画像に対し、コンピュータ１は、「良品-良品判定」である分類タブ１８ｇに対応する検証結果表示欄１８ｈに各検査用の画像を表示する。「不良品-良品判定」に分類された検査用の画像に対し、コンピュータ１は、それぞれの検査用の画像の各ピクセルの異常度に基づいて、それぞれの検査用の画像の異常度マップを生成する。コンピュータ１は、「不良品-良品判定」である分類タブ１８ｇに対応する検証結果表示欄１８ｈに、それぞれの検査用の画像の異常度マップと合わせて、それぞれの検査用の画像に対応する異常箇所を示す第１検出結果をアンカーボックスで表示する。
「良品-不良品判定」に分類された検査用の画像に対し、コンピュータ１は、「良品-不良品判定」である分類タブ１８ｇに対応する検証結果表示欄１８ｈに、それぞれの検査用の画像と合わせて、それぞれの検査用の画像に対応する異常箇所を示す第２検出結果を異常の種類に対応した色分けにより表示する。例えば、「打痕」異常が検出された場合、「打痕」の確信度等を含む第２検出結果を「打痕」の箇所に黄色のアンカーボックスで画像と重ねて表示しても良い。または、「汚れ」異常が検出された場合、「汚れ」の確信度等を含む第２検出結果を「汚れ」の箇所に青のアンカーボックスで画像と重ねて表示しても良い。
「不良品-不良品判定」に分類された検査用の画像に対し、コンピュータ１は、それぞれの検査用の画像の各ピクセルの異常度に基づいて、それぞれの検査用の画像の異常度マップを生成する。コンピュータ１は、「不良品-不良品判定」である分類タブ１８ｇに対応する検証結果表示欄１８ｈに、生成したそれぞれの検査用の画像の異常度マップと合わせて、それぞれの検査用の画像に対応する異常箇所を示す第１検出結果及び第２検出結果を異常の種類に対応した色分けにより表示する。例えばコンピュータ１は、検査用の画像に対応する異常箇所を示す第１検出結果（例えば、未知不良）を赤のアンカーボックスで異常度マップと重ねて表示しても良い。または、コンピュータ１は、検査用の画像に対応する異常箇所を示す第２検出結果（例えば、打痕異常の確信度）を黄色のアンカーボックスで異常度マップと重ねて表示しても良い。
図２８は、良品学習モデル１７１と異常検出モデル１７３とを併用して検査対象物の異常を検出する運用モード画面の一例を示す説明図である。なお、図２５及び図２７と重複する内容については同一の符号を付して説明を省略する。該運用モード画面は、良品学習モデル設定入力欄１９ａ及び運用ボタン１９ｂを含む。
良品学習モデル設定入力欄１９ａは、学習済みの良品学習モデル１７１ファイルの選択、検査対象物の領域に基づいて作成されたテンプレート画像と運用の画像との一致度の閾値、異常度の閾値及び面積閾値の入力を受け付ける設定入力欄である。コンピュータ１は、良品学習モデル設定入力欄１９ａの設定操作を受け付けた場合、学習済みの良品学習モデル１７１ファイルの選択、一致度の閾値、異常度の閾値及び面積閾値の入力を受け付ける。
運用ボタン１９ｂは、検査対象物の異常の有無を検出するボタンである。コンピュータ１は、運用ボタン１９ｂのタッチ操作を受け付けた場合、検査対象物を含む運用の画像を取得する。具体的には、コンピュータ１は、監視方法選択ラジオボタン１７ａにより選択された監視方法が「フォルダ監視」である場合、監視フォルダ選択ボタン１７ｂにより選択された監視対象フォルダに記憶された運用の画像を取得する。コンピュータ１は、監視方法選択ラジオボタン１７ａにより選択された監視方法が「カメラ監視」である場合、カメラ選択コンボボックス１７ｃにより選択された監視用の撮像装置２によりリアルタイムで撮像した動画を取得する。
コンピュータ１は、良品学習モデル設定入力欄１９ａにより選択された学習済みの良品学習モデル１７１に、取得した運用の画像を入力して該運用の画像に対応する再構成画像を出力する。コンピュータ１は、取得した運用の画像と、良品学習モデル１７１が出力した該運用の画像に対応する再構成画像との異常度を算出する。コンピュータ１は、算出した異常度に基づいて検査対象物の異常の有無を示す第１検出結果を検出する。コンピュータ１は、異常検出モデル設定入力欄１８ｂにより選択された異常検出モデル１７３に、取得した運用の画像を入力して該運用の画像に対応する検査対象物の異常の有無を示す第２検出結果を検出する。
コンピュータ１は、第１検出結果から検査対象物の異常を検出したと判定した場合、該運用の画像の各ピクセルの異常度に基づいて運用の画像の異常度マップを生成する。コンピュータ１は、生成した運用の画像の異常度マップと合わせて第１検出結果及び第２検出結果を検証結果表示欄１８ｈに表示する。コンピュータ１は、第１検出結果から検査対象物の異常を検出していないと判定した場合、該運用の画像と合わせて第１検出結果及び第２検出結果を検証結果表示欄１８ｈに表示する。
図２９及び図３０は、良品学習モデル１７１と異常検出モデル１７３とを併用して検査対象物の異常を検出する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、検査対象物を含む画像を取得する（ステップＳ３１）。例えば、検査対象物を含む画像が記憶部１２または大容量記憶部１７に記憶されている場合、制御部１１は記憶部１２または大容量記憶部１７から画像を取得する。
制御部１１は、画像を検証するための異常度の閾値及び面積閾値の設定を入力部１４により受け付ける（ステップＳ３２）。制御部１１は、各種の異常の確信度の閾値の設定を入力部１４により受け付ける（ステップＳ３３）。制御部１１は、検査対象物の領域に基づいて作成されたテンプレート画像と、取得した画像との一致度の閾値の設定を入力部１４により受け付ける（ステップＳ３４）。
制御部１１は、ＳＳＤ等のテンプレートマッチング手法を用いて、テンプレート画像と取得した画像との一致度を算出する（ステップＳ３５）。制御部１１は、算出した一致度が、受け付けた一致度の閾値を超えたか否かを判定する（ステップＳ３６）。制御部１１は、算出した一致度が一致度の閾値を超えていないと判定した場合（ステップＳ３６でＮＯ）、ステップＳ３１の処理に戻る。制御部１１は、算出した一致度が一致度の閾値を超えたと判定した場合（ステップＳ３６でＹＥＳ）、取得した画像を学習済みの良品学習モデル１７１に入力して該画像に対応する再構成画像を出力する（ステップＳ３７）。
制御部１１は、取得した画像と、良品学習モデル１７１が出力した再構成画像との各ピクセルの異常度を算出する（ステップＳ３８）。制御部１１は、算出した各ピクセルの異常度が異常度の閾値（例えば、５０）を超えた該画像の領域のうち、異常度が閾値を超えたピクセル数を集計する（ステップＳ３９）。制御部１１は、集計したピクセル数（領域の面積）が、受け付けた面積閾値（例えば、３０ピクセル）を超えたか否かを判定する（ステップＳ４０）。
制御部１１は、該領域の面積が面積閾値を超えたと判定した場合（ステップＳ４０でＹＥＳ）、異常ありと判定し（ステップＳ４１）、後述するステップＳ４３の処理に遷移する。制御部１１は、該領域の面積が面積の閾値を超えていないと判定した場合（ステップＳ４０でＮＯ）、異常なしと判定する（ステップＳ４２）。制御部１１は、異常の判定結果に基づいて第１検出結果を検出する（ステップＳ４３）。第１検出結果には、異常が写っている領域の範囲等が含まれている。
制御部１１は、ステップＳ３１の処理で取得した画像を異常検出モデル１７３に入力する（ステップＳ４４）。制御部１１は、受け付けた各種の異常の確信度の閾値に基づき、学習済みの異常検出モデル１７３を用いて検査対象物の異常の有無を示す第２検出結果を検出する（ステップＳ４５）。第２検出結果には、異常が写っていると分類された領域候補の範囲、および、異常が写っている確信度等が含まれている。
制御部１１は、検出した第１検出結果から検査対象物の異常を検出したか否かを判定する（ステップＳ４６）。制御部１１は、第１検出結果から異常を検出したと判定した場合（ステップＳ４６でＹＥＳ）、画像の各ピクセルの異常度に基づいて該画像の異常度マップを生成する（ステップＳ４７）。制御部１１は、生成した画像の異常度マップと、検出した第１検出結果及び第２検出結果とを表示部１５により表示し（ステップＳ４８）、処理を終了する。制御部１１は、第１検出結果から異常を検出していないと判定した場合（ステップＳ４６でＮＯ）、該画像と、検出した第１検出結果及び第２検出結果とを表示部１５により表示し（ステップＳ４９）、処理を終了する。なお、第１検出結果から異常が検出されていない場合、制御部１１は、画像の異常度マップと、検出した第１検出結果及び第２検出結果とを表示しても良い。
図３１は、検査対象物を含む画像を検証する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、検査対象物を含む複数の画像を記憶部１２または大容量記憶部１７から取得する（ステップＳ６１）。制御部１１は入力部１４を介して、学習済みの良品学習モデル１７１の選択を受け付ける（ステップＳ６２）。具体的には、制御部１１は、ＡＩモデルファイル選択ボタンのタッチ操作を受け付けた場合、学習済みの良品学習モデル１７１のファイルを大容量記憶部１７の学習モデル管理ＤＢ１７２から取得する。制御部１１は、取得した学習済みの良品学習モデル１７１を表示する。制御部１１は、ユーザによる良品学習モデル１７１の選択を受け付ける。制御部１１は入力部１４を介して、異常検出モデル１７３の選択を受け付ける（ステップＳ６３）。
制御部１１は、選択された良品学習モデル１７１に基づき、取得したそれぞれの画像に対応する検査対象物の異常の有無を示す第１検出結果を検出する（ステップＳ６４）。制御部１１は、選択された異常検出モデル１７３に基づき、取得したそれぞれの画像に対応する検査対象物の異常の有無を示す第２検出結果を検出する（ステップＳ６５）。なお、第１検出結果及び第２検出結果の検出処理に関しては、上述した処理と同様であるため、説明を省略する。
制御部１１は、「良品-良品判定」、「良品-不良品判定」、「不良品-良品判定」及び「不良品-不良品判定」を含む分類情報に基づき、第１検出結果及び第２検出結果に応じて複数の画像を分類する（ステップＳ６６）。制御部１１は、分類情報に基づいて作成された分類タブ（例えば、「良品-良品判定」タブ、「良品-不良品判定」タブ、「不良品-良品判定」タブまたは「不良品-不良品判定」タブ）の選択を入力部１４により受け付ける（ステップＳ６７）。なお、ユーザによる分類タブの選択に限るものではない。例えば「良品-不良品判定」タブをディフォルトタブとして設定しても良い。
制御部１１は、選択された分類タブに応じて、分類した画像から該当する単一または複数の画像を取得する（ステップＳ６８）。制御部１１は、選択された分類タブが「不良品−良品判定」または「不良品−不良品判定」であるか否かを判定する（ステップＳ６９）。制御部１１は、選択された分類タブが「不良品−良品判定」または「不良品−不良品判定」であると判定した場合（ステップＳ６９でＹＥＳ）、該分類に応じて取得したそれぞれの画像の各ピクセルの異常度に基づいて、それぞれの画像の異常度マップを生成する（ステップＳ７０）。
制御部１１は、選択された分類タブが「不良品−不良品判定」であるか否かを判定する（ステップＳ７１）。制御部１１は、分類タブが「不良品−不良品判定」であると判定した場合（ステップＳ７１でＹＥＳ）、「不良品-不良品判定」分類に対応するそれぞれの画像の異常度マップと、検出した第１検出結果及び第２検出結果とを表示部１５により表示し（ステップＳ７２）、処理を終了する。制御部１１は、分類タブが「不良品−不良品判定」でないと判定した場合（ステップＳ７１でＮＯ）、「不良品-良品判定」分類に対応するそれぞれの画像の異常度マップと、検出した第１検出結果とを表示部１５により表示し（ステップＳ７３）、処理を終了する。
制御部１１は、選択された分類タブが「不良品−良品判定」または「不良品−不良品判定」以外であると判定した場合（ステップＳ６９でＮＯ）、選択された分類タブが「良品−不良品判定」であるか否かを判定する（ステップＳ７４）。制御部１１は、選択された分類タブが「良品−不良品判定」であると判定した場合（ステップＳ７４でＹＥＳ）、「良品-不良品判定」分類に対応するそれぞれの画像と、検出した第２検出結果とを表示部１５により表示し（ステップＳ７５）、処理を終了する。制御部１１は、選択された分類タブが「良品−不良品判定」でないと判定した場合（ステップＳ７４でＮＯ）、「良品-良品判定」分類に対応するそれぞれの画像を表示部１５により表示し（ステップＳ７６）、処理を終了する。
図３２は、見落とし画像を用いて異常検出モデル１７３を学習させる際の処理手順を示すフローチャートである。見落とし画像は、良品学習モデル１７１に基づいて画像から検査対象物の異常が検出されていないが、検査員の検査（例えば、目視検査）により該検査対象物の異常を検出した画像である。
コンピュータ１の制御部１１は、検証対象となる複数の画像を記憶部１２または大容量記憶部１７から取得する（ステップＳ８１）。制御部１１は、良品学習モデル１７１に基づいて、取得したそれぞれの画像に対応する検査対象物の異常の有無を示す第１検出結果を検出する（ステップＳ８２）。制御部１１は、検証対象となる複数の画像から一つの画像を取得する（ステップＳ８３）。
制御部１１は、取得した画像に対応する第１検出結果から異常を検出したか否かを判定する（ステップＳ８４）。制御部１１は、異常を検出したと判定した場合（ステップＳ８４でＹＥＳ）、ステップＳ８３の処理に戻り、次の画像を取得する。制御部１１は、異常を検出していないと判定した場合（ステップＳ８４でＮＯ）、検査員により該画像が見落とし画像であるか否かの判断結果の入力を入力部１４により受け付ける（ステップＳ８５）。なお、検査員が該画像に対して記憶部１２または大容量記憶部１７（フォルダ）に手動で振り分けても良い。
制御部１１は、検査員から入力された判断結果に基づき、該画像が見落とし画像であるか否かを判定する（ステップＳ８６）。制御部１１は、該画像が見落とし画像でないと判定した場合（ステップＳ８６でＮＯ）、ステップＳ８３の処理に戻る。制御部１１は、該画像が見落とし画像であると判定した場合（ステップＳ８６でＹＥＳ）、検査員により該見落とし画像に対応する検査対象物の異常有りを示す情報の入力を入力部１４により受け付ける（ステップＳ８７）。異常有りを示す情報は、異常の種類（例えば、打痕、汚れまたは傷）、及び異常が写っている領域の範囲（座標）等を含む。
制御部１１は、検証対象となる複数の画像中で該画像が最後であるか否かを判定する（ステップＳ８８）。制御部１１は、該画像が最後でないと判定した場合（ステップＳ８８でＮＯ）、ステップＳ８３の処理に戻る。制御部１１は、該画像が最後であると判定した場合（ステップＳ８８でＹＥＳ）、該画像と、受け付けた該画像に対応する検査対象物の異常有りを示す情報とが対応付けられた訓練データを作成する（ステップＳ８９）。
制御部１１は、作成した訓練データを用いて異常検出モデル１７３を学習（再学習）させる（ステップＳ９０）。なお、異常検出モデル１７３の学習処理に関しては、実施形態５での異常検出モデル１７３の学習処理と同様であるため、説明を省略する。制御部１１は、学習させた異常検出モデル１７３を用いて大容量記憶部１７の学習モデル管理ＤＢ１７２を更新し（ステップＳ９１）、処理を終了する。
なお、見落とし画像を用いて異常検出モデル１７３を学習させる処理のほか、過検出画像を用いて異常検出モデル１７３を学習させることができる。過検出画像は、実施形態１の異常検出処理で良品学習モデル１７１に基づいて画像から検査対象物の異常が検出されたが、検査員の検査（例えば、目視検査）により該検査対象物の異常を検出していない画像である。コンピュータ１は、取得した過検出画像と、検査員から入力された過検出画像に対応する検査対象物の正常を示す情報とを訓練データとして、異常検出モデル１７３の学習を行う。
具体的には、コンピュータ１は、良品学習モデル１７１に基づいて検査対象物の異常を検出した過検出画像を取得する。コンピュータ１は、取得した過検出画像に対し、該過検出画像に対応する検査対象物の正常を示す情報（例えば、「正常」または「異常なし」等のラベル）を設定する設定入力を受け付ける。コンピュータ１は、取得した過検出画像と、受け付けた該過検出画像に対応する検査対象物の正常を示す情報とが対応付けられた訓練データを作成する。過検出画像を訓練データとすることにより、本システムを継続するほど異常検出モデル１７３がアップデートされ、より正確な異常検出を行うことができるようになる。
また、上述した処理のほか、異常検出モデル１７３に基づいて検査対象物の異常を検出した過検出画像を用いて、良品学習モデル１７１を学習させることができる。具体的には、コンピュータ１は、異常検出モデル１７３に基づいて異常を検出した過検出画像を取得する。コンピュータ１は、例えばオートエンコーダまたはＶＡＥ等を用いて、取得した過検出画像を正常画像として良品学習モデル１７１を学習させる。なお、良品学習モデル１７１の学習処理に関しては、実施形態１と同様であるため、説明を省略する。このような学習処理を実行することにより、過検出となった異常箇所を正常とみなすようにして検出精度を高めることが可能となる。
更にまた、コンピュータ１は、異常検出モデル１７３に基づいて検査対象物の異常の検出処理を実行した後に、良品学習モデル１７１に基づいて異常の検出処理を実行しても良い。このような処理順序に従い、異常検出モデル１７３が検出していない異常を、正常画像に基づいて学習させた良品学習モデル１７１に基づいて検出することが可能となる。
本実施形態によると、良品学習モデル１７１と異常検出モデル１７３とを併用して検査対象物の異常の有無を検出することにより、画像検査重要所見の見落としを防ぐことが可能となる。
＜変形例１＞
図３３は、変形例１の検査対象物の異常を検出する検証モード画面の一例を示す説明図である。なお、図２７と重複する内容については同一の符号を付して説明を省略する。該検証モード画面は、分類タブ１８ｇ、グラフ表示欄１８ｉ及び良品・不良品チェックボックス１８ｊを含む。
分類タブ１８ｇは、第１検出結果と第２検出結果との対比関係からなる分類情報を切り替えるためのタブである。図示のように、分類情報は、良品-ＯＫ判定、不良品-ＮＧ判定、過検出及び未検出を含む。
良品-ＯＫ判定は、画像に対応する検査対象物に対し、実際に良品でありＯＫ（正）と判断された分類である。第１検出結果がＯＫであり、且つ、第２検出結果がＯＫであると判断された場合、該画像が「良品-ＯＫ判定」に分類される。不良品-ＮＧ判定は、画像に対応する検査対象物に対し、実際に不良品でありＮＧ（誤）と判断された分類である。第１検出結果または第２検出結果のいずれか一方あるいは両方ともにＮＧであると判断された場合、該画像が「不良品-ＮＧ」に分類される。
過検出は、画像に対応する検査対象物に対し、実際に良品であるがＮＧと判断された分類である。第１検出結果または第２検出結果のいずれか一方あるいは両方ともにＮＧであると判断されたが、検査員によりＯＫと判断された場合、該画像が「過検出」に分類される。未検出は、画像に対応する検査対象物に対し、実際に不良品であるが不良品として検出されていない分類である。第１検出結果と第２検出結果の両方から不良品として検出されていないが、検査員により不良品として判断された場合、該画像が「未検出」に分類される。
グラフ表示欄１８ｉは、良品画像または不良品画像の分布を示すグラフを表示する表示欄である。良品・不良品チェックボックス１８ｊは、集計対象となる良品画像または不良品画像の選択を受け付けるチェックボックスである。
コンピュータ１は、検証ボタン１８ｆのタッチ操作を受け付けた場合、良品フォルダ選択ボタン１８ｃにより選択されたフォルダに記憶された良品画像、及び不良品フォルダ選択ボタン１８ｄにより選択されたフォルダに記憶された不良品画像を取得する。コンピュータ１は、取得した良品画像及び不良品画像を含む検査用の画像に対応する検査対象物の異常の有無を示す第１検出結果及び第２検出結果を検出する。なお、第１検出結果及び第２検出結果の検出処理に関しては、上述した処理と同様であるため、説明を省略する。
コンピュータ１は、良品-ＯＫ判定、不良品-ＮＧ判定、過検出及び未検出を含む分類情報に基づき、第１検出結果及び第２検出結果に応じて複数の検査用の画像を分類する。コンピュータ１は、それぞれの検査用の画像の各ピクセルの異常度に基づいて、それぞれの検査用の画像の異常度マップを生成する。コンピュータ１は、該当する分類タブ１８ｇに対応する検証結果表示欄１８ｈに、該分類に分類したそれぞれの検査用の画像の異常度マップと合わせて第１検出結果及び第２検出結果を表示する。なお、異常度マップに限定せず、検査用の画像と合わせて第１検出結果及び第２検出結果が表示されても良い。
具体的には、第１検出結果から異常が検出された場合、例えばコンピュータ１は、検査用の画像に対応する異常箇所を示す第１検出結果（例えば、未知不良）を赤のアンカーボックスで異常度マップと重ねて表示しても良い。または、コンピュータ１は、各ピクセルの異常度が閾値を超えた該画像の領域に対して任意の閉曲線（両端が一致している連続曲線）で表示しても良い。
第２検出結果から異常が検出された場合、コンピュータ１は、それぞれの検査用の画像の異常度マップと合わせて、それぞれの検査用の画像に対応する異常箇所を示す第２検出結果を異常の種類に対応した色分けにより表示する。例えば、「打痕」異常が検出された場合、「打痕」の確信度等を含む第２検出結果を「打痕」の箇所に黄色のアンカーボックスで画像と重ねて表示しても良い。または、「汚れ」異常が検出された場合、「汚れ」の確信度等を含む第２検出結果を「汚れ」の箇所に青のアンカーボックスで画像と重ねて表示しても良い。
また、第１検出結果と第２検出結果との対比を示す情報をテキスト形式で表示することができる。例えば、検出結果の正誤を示す「ＯＫ」または「ＮＧ」ラベルを画像と共に画面に表示しても良い。図示のように、コンピュータ１は、第１検出結果と第２検出結果の両方が誤である場合、第１検出結果を示す「ＮＧ」と第２検出結果を示す「ＮＧ」とを対比して表示する。コンピュータ１は、第１検出結果が正であり、且つ、第２検出結果が誤である場合、第１検出結果を示す「ＮＧ」と第２検出結果を示す「ＯＫ」とを対比して表示する。
コンピュータ１は、第１検出結果及び第２検出結果に基づいて良品画像または不良品画像の分布を示すフラフを生成する。グラフは、異常度の分布グラフ及び異常度を超えた面積の分布グラフを含む。異常度の分布グラフは、良品-ＯＫ判定、不良品-ＮＧ判定、過検出及び未検出を含む分類ごとに、異常度に基づいて良品画像または不良品画像の分布を示すグラフである。面積の分布グラフは、良品-ＯＫ判定、不良品-ＮＧ判定、過検出及び未検出を含む分類ごとに、異常度を超えた面積に基づいて良品画像または不良品画像の分布を示すグラフである。
図３３では、異常度の分布グラフを例示している。コンピュータ１は、異常度の分布の集計対象となる良品画像または不良品画像の選択を良品・不良品チェックボックス１８ｊにより受け付ける。コンピュータ１は、検出した第１検出結果及び第２検出結果に基づき、受け付けた良品画像または不良品画像に対して異常度の分布を示すヒストグラムを生成する。
図示のように、ヒストグラムの横軸は異常度の値（Anomaly Value）を示し、縦軸は画像の枚数（Count）を示す。コンピュータ１は、設定された異常度の閾値（Threshold）に応じて、良品・不良品チェックボックス１８ｊにより受け付けた不良品画像に基づいて、良品-ＯＫ判定、不良品-ＮＧ判定、過検出及び未検出を含む分類情報に応じて各分類に分類すべき不良品画像の枚数を集計する。コンピュータ１は、分類ごとに集計した不良品画像の枚数に基づいてヒストグラムを生成する。コンピュータ１は、生成したヒストグラムをグラフ表示欄１８ｉに表示する。図示のように、例えば第１検出結果がＯＫと判定され（異常度の閾値以下）、且つ、第２検出結果がＮＧと判定された場合、ヒストグラムには右上りのハッチングで示されている。例えば第１検出結果がＯＫまたはＮＧと判定され、且つ、第２検出結果がＯＫと判定された場合、ヒストグラムには右下りのハッチングで示されている。例えば第１検出結果と第２検出結果の両方がＯＫと判定された場合、ヒストグラムにはハッチングなしで示されている。
なお、図３３では異常度の分布グラフを例示しているが、異常度を超えた面積に基づいて良品画像または不良品画像の分布グラフにも適用することができる。この場合、コンピュータ１は、異常度の閾値の代わりに、設定された面積閾値に基づいてヒストグラム生成しても良い。
なお、コンピュータ１は、第１検出結果及び第２検出結果に基づき、過検出率または未検出率を算出して画面に表示しても良い（図示なし）。具体的には、コンピュータ１は、良品画像枚数及び過検出画像枚数それぞれを集計し、集計した良品画像枚数と過検出画像枚数とに基づいて過検出率を算出する。コンピュータ１は、不良品画像枚数及び未検出画像枚数それぞれを集計し、集計した不良品画像枚数と未検出画像枚数とに基づいて未検出率を算出する。コンピュータ１は、算出した過検出率及び未検出率を画面に表示する。
本変形例によると、異なる分類情報（良品-ＯＫ判定、不良品-ＮＧ判定、過検出及び未検出）に応じて、第１検出結果及び第２検出結果を表示することが可能となる。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
１ 情報処理装置（コンピュータ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ 読取部
１７ 大容量記憶部
１７１ 良品学習モデル
１７２ 学習モデル管理ＤＢ
１７３ 異常検出モデル
１７４ 画像枚数参照ＤＢ
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム
２ 撮像装置

Claims (27)

  1. 学習モードまたは運用モードのいずれかの選択を受け付け、
    学習モードが選択された場合に、検査対象物を含む学習用の画像を取得し、
    教師なし学習により生成する第１学習モデルのハイパーパラメータの設定を受け付け、
    受け付けた前記ハイパーパラメータに基づき、取得した前記学習用の画像を入力した場合に前記学習用の画像に対応する再構成画像を出力する前記第１学習モデルを生成し、
    検査対象物を含む検査用の画像を取得し、
    前記検査用の画像を検証するための異常度の閾値の設定を受け付け、
    取得した前記検査用の画像と、学習済みの前記第１学習モデルが出力した再構成画像との異常度を算出し、
    算出した前記異常度と、受け付けた前記異常度の閾値とに基づき、検出した異常画像を表示する
    処理をコンピュータに実行させるプログラム。
  2. 検査対象物を含む画像を相互にオーバーラップする複数の小片画像に分割し、
    分割した前記複数の小片画像を前記第１学習モデルのエンコーダに入力し、前記第１学習モデルのデコーダからそれぞれの小片画像の再構成画像を出力させる
    処理を実行させる請求項１に記載のプログラム。
  3. 前記小片画像のサイズを複数特定し、
    特定した前記小片画像のサイズごとに、画像を入力した場合に前記画像に対応する再構成画像を出力する第１学習モデルを生成する
    処理を実行させる請求項２に記載のプログラム。
  4. 前記コンピュータのハードウェア構成、前記第１学習モデルのハイパーパラメータ、または前記小片画像のサイズの少なくとも１つに応じて、前記第１学習モデルに同時入力する小片画像の最大枚数を決定する
    処理を実行させる請求項２又は３に記載のプログラム。
  5. 検査対象物を含む画像と前記画像に対応する再構成画像との各ピクセルの異常度を算出し、
    算出した前記異常度に基づいて異常を検出する
    処理を実行させる請求項１から４までのいずれかひとつに記載のプログラム。
  6. 各ピクセルの異常度のうち少なくとも１つが前記異常度の閾値を超えたと判定した場合、異常として検出する
    処理を実行させる請求項１から５までのいずれかひとつに記載のプログラム。
  7. 検査対象物の領域に基づいて作成されたテンプレート画像の選択を受け付け、
    選択された前記テンプレート画像に基づき、検査対象物を認識した画像を前記画像から切り出して所定の画像フォルダに記憶し、
    記憶した画像を前記第１学習モデルに入力する
    処理を実行させる請求項１から６までのいずれかひとつに記載のプログラム。
  8. 検査対象物の領域に基づいて作成されたテンプレート画像の選択を受け付け、
    検査対象物を含む動画を取得し、
    選択された前記テンプレート画像に基づき、前記検査対象物を認識した複数の画像を前記動画から切り出して所定の画像フォルダに記憶し、
    記憶した画像を前記第１学習モデルに入力する
    処理を実行させる請求項１から７までのいずれかひとつに記載のプログラム。
  9. 前記第１学習モデルの名称、異常度の閾値、及び前記第１学習モデルに基づいて検出した異常画像を表示する
    処理を実行させる請求項１から８までのいずれかひとつに記載のプログラム。
  10. 運用モードの選択を受け付けた場合に、
    学習済みの前記第１学習モデル、及び検査対象物を含む運用の画像が記憶されるフォルダの選択を受け付ける
    処理を実行させる請求項１から９までのいずれかひとつに記載のプログラム。
  11. 前記フォルダに記憶された運用の画像と、前記第１学習モデルが出力した再構成画像との異常度に基づいて前記検査対象物の異常の有無を検出し、
    検出した異常の有無を出力する
    処理を実行させる請求項１０に記載のプログラム。
  12. 前記検査対象物の異常を検出したログデータを記憶する
    処理を実行させる請求項１０又は１１に記載のプログラム。
  13. 異常画像が正しいか否かの入力を受け付け、
    正しくないと入力された場合、前記異常画像に対して正常であることを示すデータを付与した第１訓練データを生成し、
    正常画像が正しいか否かの入力を受け付け、
    正しくないと入力された場合、前記正常画像に対して異常であることを示すデータを付与した第２訓練データを生成し、
    生成した前記第１訓練データと前記第２訓練データとの組み合わせに基づき、画像を入力した場合に該画像に対応する異常情報を出力する第２学習モデルを生成する
    処理を実行させる請求項１から１２までのいずれかひとつに記載のプログラム。
  14. 学習済みの前記第１学習モデル又は前記第２学習モデルの少なくとも一方の選択を受け付け、
    受け付けた学習モデルを用いて検査対象物を含む画像の異常を検出する
    処理を実行させる請求項１３に記載のプログラム。
  15. 前記検査用の画像の内、前記異常画像として検出されていない前記検査用の画像を取得し、
    取得した前記検査用の画像に対し、異常有りを示す情報の入力を受け付け、
    前記検査用の画像と、受け付けた前記異常有りを示す情報とが対応付けられた訓練データの組み合わせを複数取得し、
    取得した前記訓練データの複数の組み合わせに基づき、検査用の画像を入力した場合に前記検査対象物の異常の有無を示す情報を出力する第２学習モデルを生成する
    処理を実行させる請求項１から１２までのいずれかひとつに記載のプログラム。
  16. 検査対象物を含む第１学習用の画像を取得し、
    教師なし学習により生成する第１学習モデルのハイパーパラメータの設定を受け付け、
    受け付けた前記ハイパーパラメータに基づき、取得した前記第１学習用の画像を入力した場合に前記第１学習用の画像に対応する再構成画像を出力する前記第１学習モデルを生成し、
    検査対象物を含む第２学習用の画像を取得し、
    前記第２学習用の画像と、検査対象物の異常の有無を示す情報とが対応付けられた訓練データの組み合わせを複数取得し、
    取得した前記訓練データの複数の組み合わせに基づき、前記第２学習用の画像を入力した場合に前記検査対象物の異常の有無を示す情報を出力する第２学習モデルを生成する
    処理をコンピュータに実行させることを特徴とする学習済みモデルの生成方法。
  17. 前記第１学習モデルに前記第１学習用の画像を入力して前記第１学習用の画像に対応する再構成画像を出力し、
    前記第１学習用の画像の内、前記第１学習用の画像と前記再構成画像との異常度に基づいて異常画像として検出されていない前記第１学習用の画像を取得し、
    取得した前記画像に対し、異常有りを示す情報の入力を受け付け、
    前記画像と、受け付けた前記異常有りを示す情報とが対応付けられた訓練データの組み合わせを複数取得し、
    取得した前記訓練データの複数の組み合わせに基づき、画像を入力した場合に前記検査対象物の異常の有無を示す情報を出力する前記第２学習モデルを生成する
    処理を実行させる請求項１６に記載の学習済みモデルの生成方法。
  18. 前記第１学習モデルに前記第１学習用の画像を入力して前記第１学習用の画像に対応する再構成画像を出力し、
    前記第１学習用の画像の内、前記第１学習用の画像と前記再構成画像との異常度に基づいて異常画像として検出された前記第１学習用の画像を取得し、
    取得した前記画像に対し、正常を示す情報の入力を受け付け、
    前記画像と、受け付けた前記正常を示す情報とが対応付けられた訓練データの組み合わせを複数取得し、
    取得した前記訓練データの複数の組み合わせに基づき、画像を入力した場合に前記検査対象物の異常の有無を示す情報を出力する前記第２学習モデルを生成する
    処理を実行させる請求項１６又は１７に記載の学習済みモデルの生成方法。
  19. 検査対象物を含む画像を取得し、
    前記画像を検証するための異常度の閾値の設定を受け付け、
    前記画像を入力した場合に前記画像に対応する再構成画像を出力する学習済みの第１学習モデルに、取得した前記画像を入力して前記画像に対応する再構成画像を出力し、
    取得した前記画像と、前記第１学習モデルが出力した再構成画像との異常度を算出し、
    算出した前記異常度と、受け付けた前記異常度の閾値とに基づき、前記検査対象物の異常の有無を示す第１検出結果を検出し、
    前記画像を入力した場合に前記検査対象物の異常の有無を示す情報を出力する学習済みの第２学習モデルに、前記画像を入力して前記検査対象物の異常の有無を示す第２検出結果を検出し、
    検出した前記第１検出結果及び前記第２検出結果を前記画像と共に表示する
    処理をコンピュータに実行させるプログラム。
  20. 前記画像の内、前記異常度に基づいて異常画像として検出されていない前記画像を取得し、
    取得した前記画像に対し、異常有りを示す情報の入力を受け付け、
    前記画像と、受け付けた前記異常有りを示す情報とが対応付けられた訓練データの組み合わせを複数取得し、
    取得した前記訓練データの複数の組み合わせに基づき、画像を入力した場合に前記検査対象物の異常の有無を示す情報を出力する前記第２学習モデルを生成する
    処理を実行させる請求項１９に記載のプログラム。
  21. 前記画像の各ピクセルの異常度に基づいて生成された前記画像の異常度マップと合わせて、前記第１検出結果と前記第２検出結果とに基づき、前記画像に対応する異常箇所を示す情報を異常の種類に対応した色分けにより表示する
    処理を実行させる請求項１９又は２０に記載のプログラム。
  22. 前記第１検出結果と前記第２検出結果との対比関係からなる分類情報に基づき、複数の前記画像を分類し、
    前記分類情報ごとに、それぞれの前記画像の異常度マップと合わせて、それぞれの前記画像に対応する異常箇所を示す情報を表示する
    処理を実行させる請求項２１に記載のプログラム。
  23. 前記画像を検証するための面積閾値の設定を受け付け、
    前記画像と、前記第１学習モデルが出力した再構成画像との異常度が前記異常度の閾値を超えた前記画像の領域のうち、該領域の面積が、受け付けた前記面積閾値を超えたと判定した場合に、前記検査対象物の異常として検出する
    処理を実行させる請求項１９から２２までのいずれかひとつに記載のプログラム。
  24. 前記検査対象物の異常を示す各種の異常確信度の閾値の設定を受け付け、
    受け付けた各種の異常確信度の閾値に基づき、前記第２学習モデルを用いて前記第２検出結果を検出する
    処理を実行させる請求項１９から２３までのいずれかひとつに記載のプログラム。
  25. 検査対象物の領域に基づいて作成されたテンプレート画像と前記画像との一致度の閾値の設定を受け付け、
    前記テンプレート画像と前記画像との一致度が、受け付けた前記一致度の閾値を超えたと判定した場合に、前記画像に対応する検査対象物に対して異常の有無を検出する
    処理を実行させる請求項１９から２４までのいずれかひとつに記載のプログラム。
  26. 学習モードまたは運用モードのいずれかの選択を受け付け、
    学習モードが選択された場合に、検査対象物を含む学習用の画像を取得し、
    教師なし学習により生成する第１学習モデルのハイパーパラメータの設定を受け付け、
    受け付けた前記ハイパーパラメータに基づき、取得した前記学習用の画像を入力した場合に前記学習用の画像に対応する再構成画像を出力する前記第１学習モデルを生成し、
    検査対象物を含む検査用の画像を取得し、
    前記検査用の画像を検証するための異常度の閾値の設定を受け付け、
    取得した前記検査用の画像と、学習済みの前記第１学習モデルが出力した再構成画像との異常度を算出し、
    算出した前記異常度と、受け付けた前記異常度の閾値とに基づき、検出した異常画像を表示する
    処理を実行させる情報処理方法。
  27. 学習モードまたは運用モードのいずれかの選択を受け付ける第１受付部と、
    学習モードが選択された場合に、検査対象物を含む学習用の画像を取得する第１取得部と、
    教師なし学習により生成する第１学習モデルのハイパーパラメータの設定を受け付ける第２受付部と、
    受け付けた前記ハイパーパラメータに基づき、取得した前記学習用の画像を入力した場合に前記学習用の画像に対応する再構成画像を出力する前記第１学習モデルを生成する生成部と、
    検査対象物を含む検査用の画像を取得する第２取得部と、
    前記検査用の画像を検証するための異常度の閾値の設定を受け付ける第３受付部と、
    取得した前記検査用の画像と、学習済みの前記第１学習モデルが出力した再構成画像との異常度を算出する算出部と、
    算出した前記異常度と、受け付けた前記異常度の閾値とに基づき、検出した異常画像を表示する表示部
    を備える情報処理装置。
JP2020179620A 2020-02-28 2020-10-27 プログラム、情報処理方法及び情報処理装置 Active JP7289427B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020033782 2020-02-28
JP2020033782 2020-02-28

Publications (2)

Publication Number Publication Date
JP2021140739A true JP2021140739A (ja) 2021-09-16
JP7289427B2 JP7289427B2 (ja) 2023-06-12

Family

ID=77668821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020179620A Active JP7289427B2 (ja) 2020-02-28 2020-10-27 プログラム、情報処理方法及び情報処理装置

Country Status (1)

Country Link
JP (1) JP7289427B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114619591A (zh) * 2022-05-16 2022-06-14 河南源宏高分子新材料有限公司 一种高分子材料再生过程中的分拣工艺
JP7233592B1 (ja) 2021-10-22 2023-03-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2023106157A1 (ja) * 2021-12-10 2023-06-15 東京エレクトロン株式会社 基板検査方法、基板検査プログラム、及び基板検査装置
WO2023136032A1 (ja) * 2022-01-14 2023-07-20 富士フイルム株式会社 情報処理装置、方法及びプログラム
JP7323841B1 (ja) * 2022-11-30 2023-08-09 株式会社エクサウィザーズ 異常検出方法、異常検出システム及びプログラム
WO2023175831A1 (ja) * 2022-03-17 2023-09-21 株式会社Fuji 画像確認装置および画像確認方法
WO2023223884A1 (ja) * 2022-05-16 2023-11-23 ブラザー工業株式会社 コンピュータプログラム、および、検査装置
WO2023248444A1 (ja) * 2022-06-23 2023-12-28 日本電信電話株式会社 学習装置、学習方法、および、学習プログラム
WO2024009868A1 (ja) * 2022-07-05 2024-01-11 三菱電機株式会社 外観検査システム、外観検査方法、学習装置および推論装置
WO2024024263A1 (ja) * 2022-07-29 2024-02-01 株式会社日立産機システム 検査装置及び方法
JP7445154B2 (ja) 2022-03-23 2024-03-07 ダイキン工業株式会社 フィン検査システム、フィン検査方法、及びプログラム
JP7446697B2 (ja) 2022-07-12 2024-03-11 本田技研工業株式会社 教師データ作成方法及び作成装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145791A (ja) * 2010-01-13 2011-07-28 Hitachi Ltd 識別器学習画像生成プログラム、方法、及びシステム
JP2011145179A (ja) * 2010-01-15 2011-07-28 Panasonic Corp 官能検査装置及び官能検査方法
JP2017117139A (ja) * 2015-12-24 2017-06-29 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、プログラム
JP2018005773A (ja) * 2016-07-07 2018-01-11 株式会社リコー 異常判定装置及び異常判定方法
JP2018120300A (ja) * 2017-01-23 2018-08-02 株式会社リコー 情報処理装置、情報処理方法およびプログラム
WO2019040214A1 (en) * 2017-08-22 2019-02-28 Northrop Grumman Systems Corporation SYSTEM AND METHOD FOR DISTRIBUTIVE LEARNING AND WEIGHT DISTRIBUTION IN A NEURONAL NETWORK
JP2019125351A (ja) * 2017-11-28 2019-07-25 南京地平綫机器人技術有限公司 畳み込みニューラルネットワークの畳み込み層における演算を実行する方法及び装置
WO2019180848A1 (ja) * 2018-03-20 2019-09-26 株式会社島津製作所 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Ｂｌｕｅ Ｔａｇ株式会社 部品の検査方法及び検査システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145791A (ja) * 2010-01-13 2011-07-28 Hitachi Ltd 識別器学習画像生成プログラム、方法、及びシステム
JP2011145179A (ja) * 2010-01-15 2011-07-28 Panasonic Corp 官能検査装置及び官能検査方法
JP2017117139A (ja) * 2015-12-24 2017-06-29 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、プログラム
JP2018005773A (ja) * 2016-07-07 2018-01-11 株式会社リコー 異常判定装置及び異常判定方法
JP2018120300A (ja) * 2017-01-23 2018-08-02 株式会社リコー 情報処理装置、情報処理方法およびプログラム
WO2019040214A1 (en) * 2017-08-22 2019-02-28 Northrop Grumman Systems Corporation SYSTEM AND METHOD FOR DISTRIBUTIVE LEARNING AND WEIGHT DISTRIBUTION IN A NEURONAL NETWORK
JP2019125351A (ja) * 2017-11-28 2019-07-25 南京地平綫机器人技術有限公司 畳み込みニューラルネットワークの畳み込み層における演算を実行する方法及び装置
WO2019180848A1 (ja) * 2018-03-20 2019-09-26 株式会社島津製作所 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Ｂｌｕｅ Ｔａｇ株式会社 部品の検査方法及び検査システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NORBERT PREINING(アクセリア株式会社): ""畳み込みニューラルネットワーク"", [ONLINE], JPN7023000918, 14 June 2017 (2017-06-14), ISSN: 0005006115 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7479528B2 (ja) 2021-10-22 2024-05-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7233592B1 (ja) 2021-10-22 2023-03-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2023068323A1 (ja) * 2021-10-22 2023-04-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2023063228A (ja) * 2021-10-22 2023-05-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2023106157A1 (ja) * 2021-12-10 2023-06-15 東京エレクトロン株式会社 基板検査方法、基板検査プログラム、及び基板検査装置
WO2023136032A1 (ja) * 2022-01-14 2023-07-20 富士フイルム株式会社 情報処理装置、方法及びプログラム
WO2023175831A1 (ja) * 2022-03-17 2023-09-21 株式会社Fuji 画像確認装置および画像確認方法
JP7445154B2 (ja) 2022-03-23 2024-03-07 ダイキン工業株式会社 フィン検査システム、フィン検査方法、及びプログラム
CN114619591A (zh) * 2022-05-16 2022-06-14 河南源宏高分子新材料有限公司 一种高分子材料再生过程中的分拣工艺
WO2023223884A1 (ja) * 2022-05-16 2023-11-23 ブラザー工業株式会社 コンピュータプログラム、および、検査装置
CN114619591B (zh) * 2022-05-16 2022-08-26 河南源宏高分子新材料有限公司 一种高分子材料再生过程中的分拣工艺
WO2023248444A1 (ja) * 2022-06-23 2023-12-28 日本電信電話株式会社 学習装置、学習方法、および、学習プログラム
WO2024009868A1 (ja) * 2022-07-05 2024-01-11 三菱電機株式会社 外観検査システム、外観検査方法、学習装置および推論装置
JP7446697B2 (ja) 2022-07-12 2024-03-11 本田技研工業株式会社 教師データ作成方法及び作成装置
WO2024024263A1 (ja) * 2022-07-29 2024-02-01 株式会社日立産機システム 検査装置及び方法
JP7323841B1 (ja) * 2022-11-30 2023-08-09 株式会社エクサウィザーズ 異常検出方法、異常検出システム及びプログラム

Also Published As

Publication number Publication date
JP7289427B2 (ja) 2023-06-12

Similar Documents

Publication Publication Date Title
JP7289427B2 (ja) プログラム、情報処理方法及び情報処理装置
Hou et al. Deep features based on a DCNN model for classifying imbalanced weld flaw types
KR101811270B1 (ko) 화물을 검사하는 방법 및 그 시스템
CN111860565A (zh) 用于训练用于测量技术中的质量检查的分类器的工作流程
Naresh et al. Early detection of lung cancer using neural network techniques
CN116150676A (zh) 基于人工智能的设备故障诊断与识别方法及装置
Al‐Tahhan et al. Accurate automatic detection of acute lymphatic leukemia using a refined simple classification
CN111758117A (zh) 检查系统、识别系统以及学习数据生成装置
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
Devereux et al. A new approach for crack detection and sizing in nuclear reactor cores
US11727052B2 (en) Inspection systems and methods including image retrieval module
KR102455875B1 (ko) 골 연령 판독 방법 및 장치
CN117115147A (zh) 一种基于机器视觉的纺织品检测方法及系统
Zhuang et al. An interpretable multi-task system for clinically applicable COVID-19 diagnosis using CXR
JP2024500470A (ja) 医療画像における病変分析方法
Iakovidou et al. Knowledge-based fusion for image tampering localization
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
Liang et al. Figure-ground image segmentation using genetic programming and feature selection
JP2024508852A (ja) 医療画像における病変分析方法
US20220171982A1 (en) System and method for processing facility image data
JP7321452B2 (ja) プログラム、情報処理装置、情報処理方法及び学習済みモデルの生成方法
Ghashghaei et al. Grayscale image statistics of COVID-19 patient CT scans characterize lung condition with machine and deep learning
Bi et al. CASA-Net: a context-aware correlation convolutional network for scale-adaptive crack detection
CN112861689A (zh) 一种基于nas技术的坐标识别模型的搜索方法及装置
Marques et al. Detection of covid-19 in computed tomography images using deep learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220601

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230502

R150 Certificate of patent or registration of utility model

Ref document number: 7289427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150