JP2020077158A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2020077158A
JP2020077158A JP2018209651A JP2018209651A JP2020077158A JP 2020077158 A JP2020077158 A JP 2020077158A JP 2018209651 A JP2018209651 A JP 2018209651A JP 2018209651 A JP2018209651 A JP 2018209651A JP 2020077158 A JP2020077158 A JP 2020077158A
Authority
JP
Japan
Prior art keywords
image data
class
teacher
unknown
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018209651A
Other languages
English (en)
Other versions
JP7123306B2 (ja
Inventor
池田 泰之
Yasuyuki Ikeda
泰之 池田
真嗣 栗田
Masashi Kurita
真嗣 栗田
藤枝 紫朗
Shiro Fujieda
紫朗 藤枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018209651A priority Critical patent/JP7123306B2/ja
Publication of JP2020077158A publication Critical patent/JP2020077158A/ja
Application granted granted Critical
Publication of JP7123306B2 publication Critical patent/JP7123306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

【課題】教示者間のラベル付けの判断のばらつきを考慮して、未知の画像データを実用上十分な精度でクラス分類する。【解決手段】画像処理装置は、既知の画像データ31と既知の画像データ31が分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データ70をクラス別に分類するための分類器40A,40B,40Cを教示者毎に生成し、教示者毎に生成された分類器40A,40B,40Cを用いて未知の画像データ70の分類結果41A,41B,41Cを教示者毎に出力し、教示者毎の分類結果41A,41B,41Cの重み付き多数決に基づいて、未知の画像データ70をクラス別に分類する分類結果80を得る。【選択図】図4

Description

本発明は画像処理装置及び画像処理方法に関わる。
工業製品の製造分野においては、画像処理技術を応用した外観検査により、製品の欠陥の有無や程度を評価する検査方法が実用化されている。この種の検査方法の分野においては、機械学習の応用により検査精度を高める試みが検討されている。例えば、良品が分類されるクラスと不良品が分類されるクラスとを予め設定し、検査対象となる製品を撮影して得られる既知の画像データとその画像データが分類されるクラスとの組み合わせを教師付き学習することにより、製品の良否判定の基準を学習するアルゴリズムが知られている。このような画像データのクラス分類は、ラベル付けと呼ばれており、正しいラベル付けがなされた必要十分な量の画像データを用いて機械学習することにより、未知の画像データを高い精度でクラス分類できるものと期待されている。ところが、ラベル付けの判断は、ラベル付けを行う者(以下、「教示者」と呼ぶ)の主観的判断にある程度依存しているため、画像データによっては、教示者間でラベル付けの判断が分かれることがあり得る。このような事情に鑑み、特許文献1は、良否判定が困難なものを「不明」として分類し、再検証する手法を提案している。
特開2015−137919号公報
しかし、「不明」の判定基準も教示者毎に異なり得るため、教示者間でラベル付けの判断が分かれてしまうことに変わりはない。
そこで、本発明は、このような問題を解決し、教示者間のラベル付けの判断のばらつきを考慮して未知の画像データを実用上十分な精度でクラス分類する画像処理装置及び画像処理方法を提案することを課題とする。
上述の課題を解決するため、本発明に関わる画像処理装置は、既知の画像データと既知の画像データが分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データをクラス別に分類するための分類器を教示者毎に生成する手段と、教示者毎に生成された分類器を用いて、未知の画像データの分類結果を教示者毎に出力する手段と、教示者毎の分類結果の重み付き多数決に基づいて、未知の画像データをクラス別に分類する手段を備える。教示者毎の分類結果の重み付き多数決により、未知の画像データを実用上十分な精度でクラス分類することができる。
本発明に関わる画像処理装置は、既知の画像データと既知の画像データが分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データをクラス別に分類するための分類器を教示者毎に生成する手段と、教示者毎に生成された分類器を用いて、未知の画像データが特定のクラスに所属する確率を示すスコアを教示者毎に算出する手段と、教示者毎に算出されたスコアの重み付け和と閾値との比較に基づいて未知の画像データが特定のクラスに属するか否かを判定する手段を備える。教示者毎に算出されたスコアの重み付け和と閾値との比較により、未知の画像データを実用上十分な精度でクラス分類することができる。
分類器を生成する手段は、教示者の熟練度に応じた重み付けで上述の対応関係を学習してもよい。例えば、熟練度の高い教示者の重み付けを相対的に重くし、熟練度の浅い教示者の重み付けを相対的に軽くしてもよい。これにより、熟練度の高い教示者のラベル付けが相対的に高く評価されるため、未知の画像データを高い信頼性でクラス分類することができる。
未知の画像データが特定のクラスに属するか否かを判定する手段は、教示者毎に算出されたスコアの最大値と最小値との間の範囲を教示者間でクラス分類の判断が分かれる範囲として判定してもよい。これにより、教示者間でクラス分類の判断が分かれる範囲を特定することができる。
教師付き学習は、例えば、ニューラルネットワークの学習アルゴリズムに基づくものでもよい。ニューラルネットワークは、分類器の機械学習に好適である。
本発明に関わる画像処理装置は、複数の既知の画像データのうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、複数の既知の画像データのうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データをクラス別に分類するための分類器を生成する手段と、分類器を用いて未知の画像データの分類結果を教示者毎に出力する手段と、教示者毎の分類結果の重み付き多数決に基づいて未知の画像データをクラス別に分類する手段を備える。このような事前学習及び転移学習によれば、各教示者のラベル付けを個別に学習するよりも、分類器の学習時間を短縮できる。また、教示者毎の分類結果の重み付き多数決により、未知の画像データを実用上十分な精度でクラス分類することができる。
本発明に関わる画像処理装置は、複数の既知の画像データのうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、複数の既知の画像データのうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データをクラス別に分類するための分類器を生成する手段と、分類器を用いて未知の画像データが特定のクラスに所属する確率を示すスコアを教示者毎に算出する手段と、教示者毎に算出されたスコアの重み付け和と閾値との比較に基づいて、未知の画像データが特定のクラスに属するか否かを判定する手段を備える。このような事前学習及び転移学習によれば、各教示者のラベル付けを個別に学習するよりも、分類器の学習時間を短縮できる。また、教示者毎に算出されたスコアの重み付け和と閾値との比較により、未知の画像データを実用上十分な精度でクラス分類することができる。
分類器を生成する手段は、教示者間に共通する撮影条件下で撮影される画像データのクラス別の分類を事前学習し、教示者間で異なる撮影条件下で撮影される画像データのクラス別の分類を転移学習してもよい。共通する撮影条件下で被検査対象を撮影する環境下では、画像データのクラス別の分類が教示者間で一致するものと考えられ、また、異なる撮影条件下で被検査対象を撮影する環境下では、画像データのクラス別の分類も教示者間で一致しないものと考えられる。このため、撮影条件の異同に基づいて事前学習をするのか、或いは転移学習をするのかを決定することができる。
本発明に関わる画像処理方法は、コンピュータシステムが、既知の画像データと既知の画像データが分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データをクラス別に分類するための分類器を教示者毎に生成するステップと、分類器を用いて、未知の画像データの分類結果を教示者毎に出力するステップと、教示者毎の分類結果の重み付き多数決に基づいて、未知の画像データをクラス別に分類するステップを実行する。教示者毎の分類結果の重み付き多数決により、未知の画像データを実用上十分な精度でクラス分類することができる。
本発明に関わる画像処理方法は、コンピュータシステムが、既知の画像データと既知の画像データが分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データをクラス別に分類するための分類器を教示者毎に生成するステップと、教示者毎に生成された分類器を用いて、未知の画像データが特定のクラスに所属する確率を示すスコアを教示者毎に算出するステップと、教示者毎に算出されたスコアの重み付け和と閾値との比較に基づいて未知の画像データが特定のクラスに属するか否かを判定するステップを実行する。教示者毎に算出されたスコアの重み付け和と閾値との比較により、未知の画像データを実用上十分な精度でクラス分類することができる。
本発明に関わる画像処理方法は、コンピュータシステムが、複数の既知の画像データのうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、複数の既知の画像データのうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データをクラス別に分類するための分類器を生成するステップと、分類器を用いて未知の画像データの分類結果を教示者毎に出力するステップと、教示者毎の分類結果の重み付き多数決に基づいて、未知の画像データをクラス別に分類するステップを実行する。このような事前学習及び転移学習によれば、各教示者のラベル付けを個別に学習するよりも、分類器の学習時間を短縮できる。また、教示者毎の分類結果の重み付き多数決により、未知の画像データを実用上十分な精度でクラス分類することができる。
本発明に関わる画像処理方法は、コンピュータシステムが、複数の既知の画像データのうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、複数の既知の画像データのうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データをクラス別に分類するための分類器を生成するステップと、分類器を用いて未知の画像データが特定のクラスに所属する確率を示すスコアを教示者毎に算出するステップと、教示者毎に算出されたスコアの重み付け和と閾値との比較に基づいて未知の画像データが特定のクラスに属するか否かを判定するステップを実行する。このような事前学習及び転移学習によれば、各教示者のラベル付けを個別に学習するよりも、分類器の学習時間を短縮できる。また、教示者毎に算出されたスコアの重み付け和と閾値との比較により、未知の画像データを実用上十分な精度でクラス分類することができる。
本発明によれば、教示者間のラベル付けの判断のばらつきを考慮して、未知の画像データを実用上十分な精度でクラス分類することができる。
本実施形態に関わる教師付き学習に用いられる学習データの一例を示す説明図である。 本実施形態に関わる画像処理方法の処理の流れの一例を示すフローチャートである。 本実施形態に関わる画像処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に関わる第1の画像処理方法の処理の流れの一例を示す説明図である。 本実施形態に関わる第1の画像処理方法の処理の流れの一例を示すフローチャートである。 本実施形態に関わる第2の画像処理方法の処理の流れの一例を示す説明図である。 本実施形態に関わる第2の画像処理方法の処理の流れの一例を示すフローチャートである。 本実施形態に関わる第2の画像処理方法の判定処理の一例を示す説明図である。 本実施形態に関わる分類器の事前学習の一例を示す説明図である。 本実施形態に関わる分類器の転移学習の一例を示す説明図である。 本実施形態に関わる第3の画像処理方法の処理の流れの一例を示す説明図である。 本実施形態に関わる第3の画像処理方法の処理の流れの一例を示すフローチャートである。 本実施形態に関わる第4の画像処理方法の処理の流れの一例を示す説明図である。 本実施形態に関わる第4の画像処理方法の処理の流れの一例を示すフローチャートである。
以下、本発明の一側面に関わる実施形態を図面に基づいて説明する。本発明の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更又は改良され得るととともに、本発明には、その等価物も含まれる。なお、同一符号は、同一の構成要素を示すものとし、重複する説明は省略する。
[適用例]
まず、図1乃至図2を参照しながら、本発明の適用例について説明する。
本発明の実施形態では、良品が分類されるクラスと不良品が分類されるクラスとを予め設定し、検査対象となる製品を撮影して得られる既知の画像データとその画像データが分類されるクラスとの対応関係を教師付き学習することにより、未知の画像データをクラス別に分類するための2クラス分類器を生成する。このような教師付き学習では、学習に用いられる画像データから特徴(例えば、エッジ、色ヒストグラム、方向性特徴、ウェーブレット係数など)が特徴量ベクトルとして抽出され、この抽出された特徴と、教示者によりラベル付けされたクラスとの対応関係が学習される。
教師付き学習は、例えば、ニューラルネットワークの学習アルゴリズムに基づいてもよい。この種のニューラルネットワークとして、画像認識に優れている畳み込みニューラルネットワークを用いてもよい。分類器は、このような機械学習による学習済みモデルから構成されてもよい。分類器は、学習済みモデルの複製物又は蒸留物を含んでもよい。学習済みモデルの複製物は、モデルの内部構造を複製したもののみならず、学習が完了した学習済みの学習モジュール又は当該学習済みの学習モジュールの複製物に対して追加学習を行ったものを含む。蒸留物は、いわゆる蒸留によって得られる学習済みモデルを意味する。蒸留は、学習済みモデルの機能を保つように、学習済みモデルと構造が異なる他の学習モデルを学習させ、学習済みの当該他の学習済みモデルを得ることを含む。ここで、当該他の学習済みモデル(蒸留物)は、その基礎となった学習済みモデルよりも内部構造が単純であり、よりディプロイに適したものでもよい。
図1は、このような教師付き学習に用いられる学習データ30の一例を示している。学習データ30は、既知の画像データ31とラベル32とを組み合わせたものである。図1に示す例では、既知の画像データ31は、10枚あり、それぞれの画像データ31を区別するときは、31A〜31Jのように、31に続けてA〜Jの何れかのアルファベットを付した符号を用いるものとする。また、図1に示す例では、既知の画像データ31をラベル付けする教示者は、3人存在し、これらの教示者を区別するときは、教示者A、教示者B、又は教示者Cと呼ぶ。また、ラベル32の「良」は、「良品」としてラベル付けされることを意味し、ラベル32の「不」は、「不良品」としてラベル付けされることを意味している。例えば、既知の画像データ31Aは、教示者A、教示者B及び教示者Cの全員によって、「良品」としてラベル付けされている。また、例えば、既知の画像データ31Bは、教示者A及び教示者Bによって「良品」としてラベル付けされ、教示者Cによって「不良品」としてラベル付けされている。このように、画像データ31によっては、教示者間でラベル付けの判断が一致することもあれば、異なることもあり得る。
図2は、本実施形態に関わる画像処理方法の処理の流れの一例を示すフローチャートである。
ステップ201において、画像処理装置は、学習データ30を用いて、各教示者のラベル付けを教師付き学習することにより、未知の画像データをクラス別に分類するための分類器を生成する。ステップ201で生成される分類器は、未知の画像データの分類結果を教示者毎に区別して出力してもよく、或いは、未知の画像データが特定のクラスに所属する確率を示すスコアを教示者毎に区別して算出してもよい。ステップ201では、画像処理装置は、教示者毎に対応付けられる分類器を生成してもよい。この場合、分類器と教示者とは一対一に対応しており、分類器の数は教示者の人数に一致する。また、ステップ201で生成される分類器の数は1つでもよい。この場合、分類器と教示者とは一対多の関係にあり、分類器の数は、教示者の人数に関わらず1つである。
ステップ202において、画像処理装置は、分類器に未知の画像データを入力し、分類器から出力を得る。分類器からの出力は、未知の画像データの分類結果でもよく、この分類結果は、教示者毎に区別されて出力される。また、分類器からの出力は、未知の画像データが特定のクラスに所属する確率を示すスコアでもよく、このスコアは、教示者毎に区別されて出力される。
ステップ203において、画像処理装置は、分類器からの出力を総合的に評価して、未知の画像データをクラス別に分類する。この総合的な評価では、教示者毎の分類結果の重み付き多数決に基づいて未知の画像データをクラス別に分類してもよく、或いは、教示者毎に算出されたスコアの重み付け和と閾値との比較に基づいて、未知の画像データが特定のクラスに属するか否かを判定してもよい。画像処理装置は、教示者の熟練度に応じて重み付けの軽重を設定してもよい。例えば、熟練度の高い教示者の重み付けを相対的に重くし、熟練度の浅い教示者の重み付けを相対的に軽くしてもよい。これにより、熟練度の高い教示者のラベル付けが相対的に高く評価されるため、未知の画像データを高い信頼性でクラス分類することができる。また、全ての教示者の重み付けを同じにしてもよい。これにより、単純多数決の原理により、未知の画像データを実用的に十分な信頼性でクラス分類することができる。
本発明の実施形態によれば、教示者間のラベル付けの判断のばらつきを考慮して未知の画像データを実用上十分な精度でクラス分類することができる。
[ハードウェア構成]
次に、図3を参照しながら、本実施形態に関わる画像処理装置10のハードウェア構成の一例について説明する。
画像処理装置10は、そのハードウェア資源として、プロセッサ11と、メインメモリ12と、カメラインタフェース13と、入出力インタフェース14と、ディスプレイインタフェース15と、通信インタフェース16と、記憶装置17とを備えるコンピュータシステムである。
記憶装置17は、ディスク媒体(例えば、磁気記録媒体又は光磁気記録媒体)又は半導体メモリ(例えば、揮発性メモリ又は不揮発性メモリ)などのコンピュータ読み取り可能な記録媒体である。このような記録媒体は、例えば、非一過性の記録媒体と呼ぶこともできる。記憶装置17には、ソフトウェアプログラム(画像処理プログラム20及びオペレーティングシステム21)が記憶されている。画像処理プログラム20は、本実施形態に関わる画像処理方法をプロセッサ11に実行させるためのコンピュータプログラムである。これらのソフトウェアプログラムは、記憶装置17からメインメモリ12に読み込まれ、プロセッサ11により解釈及び実行されることにより、本実施形態に関わる画像処理方法が実行される。記憶装置17には、上述の学習データ30と、学習データ30を用いた教師付き学習により生成された分類器40とが記憶されている。この分類器40は、未知の画像データの分類結果を教示者毎に区別して出力してもよく、或いは、未知の画像データが特定のクラスに所属する確率を示すスコアを教示者毎に区別して算出してもよい。分類器40が教示者毎に対応付けられて生成される場合には、分類器40と教示者とは一対一に対応しており、分類器40の数は教示者の人数に一致する。分類器40の数は1つでもよく、この場合、分類器40と教示者とは一対多の関係にある。
カメラインタフェース13には、カメラ51が接続されている。カメラ51は、例えば、カラー画像を撮影するイメージセンサを備えてもよい。カメラ51は、画像処理装置10に内蔵されているものでもよく、或いは画像処理装置10に外付けされるものでもよい。カメラ51は、被検査対象を撮影する。カメラ51により撮影された被検査対象の画像データは、例えば、分類器40を生成する学習段階において、既知の画像データ31として用いることができる。分類器40が生成された後においては、カメラ51により撮影された被検査対象の画像データを未知の画像データとして分類器40に入力し、これをクラス別に分類することもできる。
なお、被検査対象は、例えば、生産ライン上をベルトコンベヤで搬送される仕掛け品又は部品などのワークでもよい。画像処理装置10は、生産ライン上に設置されていてもよく、或いは生産ラインとは異なる場所に設置されていてもよい。画像処理装置10が生産ラインとは異なる場所に設置されている場合には、画像処理装置10は、生産ラインに設置されているカメラによる被検査対象の撮影により得られた画像データを、通信インタフェース16を通じて有線又は無線のネットワークから受信してもよい。
入出力インタフェース14には、入力デバイス52と出力デバイス53とが接続されている。入力デバイス52は、教示者による各種設定(例えば、既知の画像データ31のラベル付け)の入力を受け付けるデバイスである。入力デバイス52は、例えば、キーボード、マウス、タッチパッドなどである。出力デバイス53は、各種処理結果(例えば、未知の画像データのクラス分類の結果、未知の画像データが特定のクラスに所属する確率を示すスコアの算出結果、又は教示者間でクラス分類の判断が分かれる範囲の判定結果)などを出力するデバイスである。出力デバイス53は、例えば、プリンタである。
ディスプレイインタフェース15には、ディスプレイ54が接続されている。ディスプレイ54は、例えば、教示者が既知の画像データ31をラベル付けするため画面を表示したり、或いは上述の各種処理結果を表示したりする。
[第1の画像処理方法]
次に、図4及び図5を参照しながら、本実施形態に関わる第1の画像処理方法について説明する。
図4は第1の画像処理方法の処理の流れの一例を示す説明図である。
分類器40Aは、教示者Aによりラベル付けされた既知の画像データ31の教師付き学習により生成されたものである。同様に、分類器40Bは、教示者Bによりラベル付けされた既知の画像データ31の教師付き学習により生成されたものである。また同様に、分類器40Cは、教示者Cによりラベル付けされた既知の画像データ31の教師付き学習により生成されたものである。分類器40は、分類器40A,40B,40Cを総称するものであり、それぞれの分類器40A,40B,40Cを区別しないときは、分類器40と呼ぶものとする。
画像処理装置10は、教示者毎に生成された分類器40A,40B,40Cを用いて、未知の画像データ70の分類結果41A,41B,41Cを教示者毎に区別して出力する。教示者A、教示者B、及び教示者Cによる既知の画像データ31のラベル付けは、完全には一致していないため、分類器40A,40B,40Cのモデルパラメータもまた完全には一致していない。このため、同一の未知の画像データ70の分類結果が分類器40間で異なることがある。例えば、分類器40Aによる未知の画像データ70の分類結果41Aが、「良品」のクラス分類を示すのに対し、分類器40Bによる未知の画像データ70の分類結果41Bが、「不良品」のクラス分類を示す場合がある。
未知の画像データ70のクラス分類の結果のばらつきを考慮に入れるため、画像処理装置10は、教示者毎の分類結果41A,41B,41Cの重み付き多数決に基づいて、未知の画像データ70をクラス別に分類する分類結果80を得る。分類結果41A,41B,41Cのそれぞれの重み付けは、異なる値でもよく、或いは同じ値でもよい。例えば、教示者A,B,Cの熟練度に応じて分類結果41A,41B,41Cのそれぞれの重み付けを変えてもよい。これにより、教示者間のラベル付けの判断のばらつきを考慮に入れて、未知の画像データ70を高い信頼性でクラス分類することができる。
図5は第1の画像処理方法の処理の流れの一例を示すフローチャートである。
ステップ501において、画像処理装置10は、既知の画像データ31とその画像データ31が分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データ70をクラス別に分類するための分類器40を教示者毎に生成する。
ステップ502において、画像処理装置10は、教示者毎に生成された分類器40を用いて、未知の画像データ70の分類結果を教示者毎に出力する。
ステップ503において、画像処理装置10は、教示者毎の分類結果の重み付き多数決に基づいて、未知の画像データ70をクラス別に分類する。
[第2の画像処理方法]
次に、図6及び図7を参照しながら、本実施形態に関わる第2の画像処理方法について説明する。
図6は第2の画像処理方法の処理の流れの一例を示す説明図である。
画像処理装置10は、教示者毎に生成された分類器40A,40B,40Cを用いて、未知の画像データ70が特定のクラスに所属する確率を示すスコア42A,42B,42Cを教示者毎に算出する。特定のクラスは、例えば、不良品として分類されるクラスでもよく、この場合、スコアは、欠陥(例えば、キズ、打痕、汚れなど)の度合いを定量的に示す値でもよい。教示者A、教示者B、及び教示者Cによる既知の画像データ31のラベル付けは、完全には一致していないため、分類器40A,40B,40Cのモデルパラメータもまた完全には一致していない。このため、未知の画像データ70が特定のクラスに所属する確率を示すスコア42A,42B,42Cが異なることがある。例えば、スコア42Aが0.7であるのに対し、スコア42Bが0.6である場合がある。
未知の画像データ70が特定のクラスに所属する確率のばらつきを考慮に入れるため、画像処理装置10は、教示者毎に算出されたスコア42A,42B,42Cの重み付け和と閾値との比較に基づいて未知の画像データ70が特定のクラスに属するか否かの判定結果90を得る。例えば、画像処理装置10は、スコア42A,42B,42Cの重み付け和が閾値を超えている場合には、未知の画像データ70が特定のクラスに属するものと判定する。一方、画像処理装置10は、スコア42A,42B,42Cの重み付け和が閾値以下である場合には、未知の画像データ70が特定のクラスに属さないものと判定する。スコア42A,42B,42Cのそれぞれの重み付けは、異なる値でもよく、或いは同じ値でもよい。例えば、教示者A,B,Cの熟練度に応じてスコア42A,42B,42Cのそれぞれの重み付けを変えてもよい。これにより、教示者間のラベル付けの判断のばらつきを考慮に入れて、未知の画像データ70を高い信頼性でクラス分類することができる。
図7は第2の画像処理方法の処理の流れの一例を示すフローチャートである。
ステップ701において、画像処理装置10は、既知の画像データ31とその画像データ31が分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データ70をクラス別に分類するための分類器40を教示者毎に生成する。画像処理装置10は、教示者の熟練度に応じた重み付けで対応関係(既知の画像データ31とその画像データ31が分類されるクラスとして教示者により教示されたクラスとの対応関係)を学習してもよい。
ステップ702において、画像処理装置10は、教示者毎に生成された分類器40を用いて、未知の画像データ70が特定のクラスに所属する確率を示すスコア42A,42B,42Cを教示者毎に算出する。
ステップ703において、画像処理装置10は、教示者毎に算出されたスコア42A,42B,42Cの重み付け和と閾値との比較に基づいて未知の画像データ70が特定のクラスに属するか否かを判定する。
なお、ステップ703の判定処理では、図8に示すように、画像処理装置10は、教示者毎に算出されたスコア42A,42B,42Cの中の最大値と最小値との間の範囲を、教示者間でクラス分類の判断が分かれる範囲として判定してもよい。例えば、図8に示す例では、スコア42A,42B,42Cの中の最大値は、スコア42Aであり、スコア42A,42B,42Cの中の最小値は、スコア42Bであるから、スコア42Aとスコア42Bとの間の範囲が、教示者間でクラス分類の判断が分かれる範囲として判定される。これにより、教示者間でクラス分類の判断が分かれる範囲を特定することができる。
[第3の画像処理方法]
次に、図9乃至図12を参照しながら、本実施形態に関わる第3の画像処理方法について説明する。
上述の第1及び第2の画像処理方法においては、分類器40と教示者とは一対一に対応しており、分類器40の数は教示者の人数に一致する。これに対し、第3の画像処理方法においては、分類器40と教示者とは一対多の関係にあり、分類器40の数は、教示者の人数に関わらず1つである。分類器40は、未知の画像データ70の分類結果を教示者毎に区別して出力する。第3の画像処理方法では、例えば、畳み込みニューラルネットワークのアルゴリズムに基づいて分類器40を生成する。
図1に示す例では、10枚の画像データ31のうち、6枚の画像データ31A,31D,31E,31F,31H,31Iについては、教示者間のラベル付けが一致しており、残りの4枚の画像データ31B,31C,31G,31Jについては、教示者間のラベル付けが一致していない。図9に示すように、画像処理装置10は、複数の既知の画像データ31のうちクラス別の分類が教示者間で一致している画像データ31A,31D,31E,31F,31H,31Iとその画像データが分類されるクラスとの対応関係を事前学習する。事前学習により得られた分類器40のモデルパラメータを初期値として、今度は、図10に示すように、画像処理装置10は、複数の既知の画像データ31のうちクラス別の分類が教示者間で異なる画像データ31B,31C,31G,31Jとその画像データが分類されるクラスとの対応関係を転移学習する。画像処理装置10は、事前学習及び転移学習を通じて、未知の画像データ70をクラス別に分類するための分類器40を生成する。このようにして生成された分類器40は、上述の各分類器40A,40B,40Cの分類機能を備えている。このような事前学習及び転移学習によれば、各教示者のラベル付けを個別に学習するよりも、分類器40の学習時間を短縮できるという利点を有する。
画像処理装置10は、教示者間に共通する撮影条件下で撮影される画像データ31のクラス別の分類を事前学習し、教示者間で異なる撮影条件下で撮影される画像データ31のクラス別の分類を転移学習してもよい。これは、共通する撮影条件下で被検査対象を撮影する環境下では、画像データのクラス別の分類が教示者間で一致するものと考えられ、また、異なる撮影条件下で被検査対象を撮影する環境下では、画像データのクラス別の分類も教示者間で一致しないものと考えられるためである。ここで、共通する撮影条件は、例えば、同一光源を用いて同一の作業現場で同一の作業工程を行うという撮影条件を含んでもよい。異なる撮影条件は、例えば、光源、作業現場、及び作業工程のうち何れかが異なるという撮影条件を含んでもよい。例えば、各作業現場又は各作業工程において共通して使用できる分類器を事前学習により予め生成しておき、作業現場毎又は作業工程毎に異なる撮影条件に合致する分類器を転移学習により生成することもできる。
なお、図9及び図10において、中間層は、畳み込み層及びプーリング層を総称するものである。畳み込みニューラルネットワークは、畳み込み処理とプーリング処理とを交互に行ってもよく、或いは、数回の畳み込み処理とそれに続く1回のプーリング処理とを一つの処理単位とし、この処理単位を複数回繰り返し行ってもよい。全結合層は、複数の中間層を通じて抽出された特徴から重み付き和を計算する。
図11に示すように、画像処理装置10は、上述の事前学習及び転移学習を通じて生成された分類器40を用いて、未知の画像データ70の分類結果41A,41B,41Cを教示者毎に区別して出力する。分類器40による未知の画像データ70の分類結果41Aは、分類器40Aによる未知の画像データ70の分類結果41Aと同じである。同様に、分類器40による未知の画像データ70の分類結果41Bは、分類器40Bによる未知の画像データ70の分類結果41Bと同じである。また同様に、分類器40による未知の画像データ70の分類結果41Cは、分類器40Cによる未知の画像データ70の分類結果41Cと同じである。
未知の画像データ70のクラス分類の結果のばらつきを考慮に入れるため、画像処理装置10は、教示者毎の分類結果41A,41B,41Cの重み付き多数決に基づいて、未知の画像データ70をクラス別に分類する分類結果80を得る。分類結果41A,41B,41Cのそれぞれの重み付けは、異なる値でもよく、或いは同じ値でもよい。例えば、教示者A,B,Cの熟練度に応じて分類結果41A,41B,41Cのそれぞれの重み付けを変えてもよい。これにより、教示者間のラベル付けの判断のばらつきを考慮に入れて、未知の画像データ70を高い信頼性でクラス分類することができる。
図12は第3の画像処理方法の処理の流れの一例を示すフローチャートである。
ステップ1201において、画像処理装置10は、複数の既知の画像データ31のうちクラス別の分類が教示者間で一致している画像データ31A,31D,31E,31F,31H,31Iとその画像データが分類されるクラスとの対応関係を事前学習し、複数の既知の画像データ31のうちクラス別の分類が教示者間で異なる画像データ31B,31C,31G,31Jとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データ70をクラス別に分類するための分類器40を生成する。
ステップ1201において、画像処理装置10は、教示者間に共通する撮影条件下で撮影される画像データ31のクラス別の分類を事前学習し、教示者間で異なる撮影条件下で撮影される画像データ31のクラス別の分類を転移学習してもよい。
ステップ1202において、画像処理装置10は、分類器40を用いて、未知の画像データ70の分類結果41A,41B,41Cを教示者毎に出力する。
ステップ1203において、画像処理装置10は、教示者毎の分類結果41A,41B,41Cの重み付き多数決に基づいて未知の画像データ70をクラス別に分類する。
[第4の画像処理方法]
次に、図13及び図14を参照しながら、本実施形態に関わる第4の画像処理方法について説明する。
第4の画像処理方法においても、第3の画像処理方法と同様に、事前学習及び転移学習を通じて分類器40を生成する。画像処理装置10は、分類器40を用いて、未知の画像データ70が特定のクラスに所属する確率を示すスコア42A,42B,42Cを教示者毎に区別して算出する。特定のクラスは、例えば、不良品として分類されるクラスでもよく、この場合、スコアは、欠陥の度合いを定量的に示す値でもよい。分類器40による算出結果であるスコア42Aは、分類器40Aによる算出結果であるスコア42Aと同じである。同様に、分類器40による算出結果であるスコア42Bは、分類器40Bによる算出結果であるスコア42Bと同じである。また同様に、分類器40による算出結果であるスコア42Cは、分類器40Cによる算出結果であるスコア42Cと同じである。
教示者A、教示者B、及び教示者Cによる既知の画像データ31のラベル付けは、完全には一致していないため、分類器40A,40B,40Cのモデルパラメータもまた完全には一致していない。このため、未知の画像データ70が特定のクラスに所属する確率を示すスコア42A,42B,42Cが異なることがある。例えば、スコア42Aが0.7であるのに対し、スコア42Bが0.6である場合がある。
未知の画像データ70が特定のクラスに所属する確率のばらつきを考慮に入れるため、画像処理装置10は、教示者毎に算出されたスコア42A,42B,42Cの重み付け和と閾値との比較に基づいて未知の画像データ70が特定のクラスに属するか否かの判定結果90を得る。例えば、画像処理装置10は、スコア42A,42B,42Cの重み付け和が閾値を超えている場合には、未知の画像データ70が特定のクラスに属するものと判定する。一方、画像処理装置10は、スコア42A,42B,42Cの重み付け和が閾値以下である場合には、未知の画像データ70が特定のクラスに属さないものと判定する。スコア42A,42B,42Cのそれぞれの重み付けは、異なる値でもよく、或いは同じ値でもよい。例えば、教示者A,B,Cの熟練度に応じてスコア42A,42B,42Cのそれぞれの重み付けを変えてもよい。これにより、教示者間のラベル付けの判断のばらつきを考慮に入れて、未知の画像データ70を高い信頼性でクラス分類することができる。
図14は第4の画像処理方法の処理の流れの一例を示すフローチャートである。
ステップ1401において、画像処理装置10は、複数の既知の画像データ31のうちクラス別の分類が教示者間で一致している画像データ31A,31D,31E,31F,31H,31Iとその画像データが分類されるクラスとの対応関係を事前学習し、複数の既知の画像データ31のうちクラス別の分類が教示者間で異なる画像データ31B,31C,31G,31Jとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データ70をクラス別に分類するための分類器40を生成する。
ステップ1401において、画像処理装置10は、教示者間に共通する撮影条件下で撮影される画像データ31のクラス別の分類を事前学習し、教示者間で異なる撮影条件下で撮影される画像データ31のクラス別の分類を転移学習してもよい。
ステップ1402において、画像処理装置10は、分類器40を用いて、未知の画像データ70が特定のクラスに所属する確率を示すスコアスコア42A,42B,42Cを教示者毎に算出する。
ステップ1403において、画像処理装置10は、教示者毎に算出されたスコア42A,42B,42Cの重み付け和と閾値との比較に基づいて未知の画像データ70が特定のクラスに属するか否かを判定する。
画像処理装置10は、上述の画像処理方法(図2のステップ201〜203、図5のステップ501〜503、図7のステップ701〜703、図12のステップ1201〜1203、図14のステップ1401〜1403)を実行する手段として機能し、斯かる手段は、必ずしも、画像処理装置10のハードウェア資源と画像処理プログラム20との協働によって実現される必要はなく、例えば、画像処理装置10の専用のハードウェア資源(例えば、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートアレイ(FPGA)など)を用いて実現されてもよい。画像処理プログラム20は、上述の画像処理方法の各ステップ201〜203,501〜503,701〜703,1201〜1203,1401〜1403を実行するソフトウェアモジュールを備えてもよい。
また、上述の説明では、本発明の実施形態として、2クラス分類器を例示したが、多クラス分類器にも適用可能である。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
(付記1)
既知の画像データ31と既知の画像データ31が分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データ70をクラス別に分類するための分類器40A,40B,40Cを教示者毎に生成する手段501と、
教示者毎に生成された分類器40A,40B,40Cを用いて、未知の画像データ70の分類結果41A,41B,41Cを教示者毎に出力する手段502と、
教示者毎の分類結果41A,41B,41Cの重み付き多数決に基づいて、未知の画像データ70をクラス別に分類する手段503と、
を備える画像処理装置10。
(付記2)
既知の画像データ31と既知の画像データ31が分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データ70をクラス別に分類するための分類器40A,40B,40Cを教示者毎に生成する手段701と、
教示者毎に生成された分類器40A,40B,40Cを用いて、未知の画像データ70が特定のクラスに所属する確率を示すスコア42A,42B,42Cを教示者毎に算出する手段702と、
教示者毎に算出されたスコア42A,42B,42Cの重み付け和と閾値との比較に基づいて、未知の画像データ70が特定のクラスに属するか否かを判定する手段703と、
を備える画像処理装置10。
(付記3)
付記2に記載の画像処理装置10であって、
生成する手段701は、教示者の熟練度に応じた重み付けで対応関係を学習する、画像処理装置10。
(付記4)
付記2又は3に記載の画像処理装置10であって、
判定する手段703は、教示者毎に算出されたスコア42A,42B,42Cの最大値と最小値との間の範囲を教示者間でクラス分類の判断が分かれる範囲として判定する、画像処理装置10。
(付記5)
付記1乃至4のうち何れか1項に記載の画像処理装置10であって、
教師付き学習は、ニューラルネットワークの学習アルゴリズムに基づいている、画像処理装置10。
(付記6)
複数の既知の画像データ31のうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、複数の既知の画像データ31のうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データ70をクラス別に分類するための分類器40を生成する手段1201と、
分類器40を用いて、未知の画像データ70の分類結果41A,41B,41Cを教示者毎に出力する手段1202と、
教示者毎の分類結果41A,41B,41Cの重み付き多数決に基づいて、未知の画像データ70をクラス別に分類する手段1203と、
を備える画像処理装置10。
(付記7)
複数の既知の画像データ31のうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、複数の既知の画像データ31のうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データ70をクラス別に分類するための分類器40を生成する手段1401と、
分類器40を用いて、未知の画像データ70が特定のクラスに所属する確率を示すスコア42A,42B,42Cを教示者毎に算出する手段1402と、
教示者毎に算出されたスコア42A,42B,42Cの重み付け和と閾値との比較に基づいて未知の画像データ70が特定のクラスに属するか否かを判定する手段1403と、
を備える画像処理装置10。
(付記8)
付記6又は7に記載の画像処理装置10であって、
生成する手段1201,1401は、教示者間に共通する撮影条件下で撮影される画像データ31のクラス別の分類を事前学習し、教示者間で異なる撮影条件下で撮影される画像データ31のクラス別の分類を転移学習する、画像処理装置10。
(付記9)
コンピュータシステムが、
既知の画像データ31と既知の画像データ31が分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データ70をクラス別に分類するための分類器40A,40B,40Cを教示者毎に生成するステップ501と、
教示者毎に生成された分類器40A,40B,40Cを用いて、未知の画像データ70の分類結果41A,41B,41Cを教示者毎に出力するステップ502と、
教示者毎の分類結果41A,41B,41Cの重み付き多数決に基づいて、未知の画像データ70をクラス別に分類するステップ503と、
を実行する画像処理方法。
(付記10)
コンピュータシステムが、
既知の画像データ31と既知の画像データ31が分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データ70をクラス別に分類するための分類器40A,40B,40Cを教示者毎に生成するステップ701と、
教示者毎に生成された分類器40A,40B,40Cを用いて、未知の画像データ70が特定のクラスに所属する確率を示すスコア42A,42B,42Cを教示者毎に算出するステップ702と、
教示者毎に算出されたスコア42A,42B,42Cの重み付け和と閾値との比較に基づいて未知の画像データ70が特定のクラスに属するか否かを判定するステップ703と、
を実行する画像処理方法。
(付記11)
コンピュータシステムが、
複数の既知の画像データ31のうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、複数の既知の画像データ31のうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データ70をクラス別に分類するための分類器40を生成するステップ1201と、
分類器40を用いて、未知の画像データ70の分類結果41A,41B,41Cを教示者毎に出力するステップ1202と、
教示者毎の分類結果41A,41B,41Cの重み付き多数決に基づいて、未知の画像データ70をクラス別に分類するステップ1203と、
を実行する画像処理方法。
(付記12)
コンピュータシステムが、
複数の既知の画像データ31のうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、複数の既知の画像データ31のうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データ70をクラス別に分類するための分類器40を生成するステップ1401と、
分類器40を用いて、未知の画像データ70が特定のクラスに所属する確率を示すスコア42A,42B,42Cを教示者毎に算出するステップ1402と、
教示者毎に算出されたスコア42A,42B,42Cの重み付け和と閾値との比較に基づいて未知の画像データ70が特定のクラスに属するか否かを判定するステップ1403と、
を実行する画像処理方法。
(付記13)
コンピュータシステムに、
付記9乃至12に記載の画像処理方法を実行させるための画像処理プログラム20。
10…画像処理装置 11…プロセッサ 12…メインメモリ 13…カメラインタフェース 14…入出力インタフェース 15…ディスプレイインタフェース 16…通信インタフェース 17…記憶装置 20…画像処理プログラム 21…オペレーティングシステム 30…学習データ 31…画像データ 32…ラベル 40…分類器 51…カメラ 52…入力インタフェース 53…出力インタフェース 54…ディスプレイ 70…画像データ

Claims (12)

  1. 既知の画像データと前記既知の画像データが分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データをクラス別に分類するための分類器を教示者毎に生成する手段と、
    前記教示者毎に生成された分類器を用いて前記未知の画像データの分類結果を教示者毎に出力する手段と、
    前記教示者毎の分類結果の重み付き多数決に基づいて前記未知の画像データをクラス別に分類する手段と、
    を備える画像処理装置。
  2. 既知の画像データと前記既知の画像データが分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データをクラス別に分類するための分類器を教示者毎に生成する手段と、
    前記教示者毎に生成された分類器を用いて前記未知の画像データが特定のクラスに所属する確率を示すスコアを教示者毎に算出する手段と、
    前記教示者毎に算出された前記スコアの重み付け和と閾値との比較に基づいて前記未知の画像データが前記特定のクラスに属するか否かを判定する手段と、
    を備える画像処理装置。
  3. 請求項2に記載の画像処理装置であって、
    前記生成する手段は、前記教示者の熟練度に応じた重み付けで前記対応関係を学習する、画像処理装置。
  4. 請求項2又は3に記載の画像処理装置であって、
    前記判定する手段は、教示者毎に算出された前記スコアの最大値と最小値との間の範囲を教示者間でクラス分類の判断が分かれる範囲として判定する、画像処理装置。
  5. 請求項1乃至4のうち何れか1項に記載の画像処理装置であって、
    前記教師付き学習は、ニューラルネットワークの学習アルゴリズムに基づいている、画像処理装置。
  6. 複数の既知の画像データのうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、前記複数の既知の画像データのうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データをクラス別に分類するための分類器を生成する手段と、
    前記分類器を用いて前記未知の画像データの分類結果を教示者毎に出力する手段と、
    前記教示者毎の分類結果の重み付き多数決に基づいて、前記未知の画像データをクラス別に分類する手段と、
    を備える画像処理装置。
  7. 複数の既知の画像データのうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、前記複数の既知の画像データのうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データをクラス別に分類するための分類器を生成する手段と、
    前記分類器を用いて前記未知の画像データが特定のクラスに所属する確率を示すスコアを教示者毎に算出する手段と、
    教示者毎に算出された前記スコアの重み付け和と閾値との比較に基づいて前記未知の画像データが前記特定のクラスに属するか否かを判定する手段と、
    を備える画像処理装置。
  8. 請求項6又は7に記載の画像処理装置であって、
    前記生成する手段は、教示者間に共通する撮影条件下で撮影される画像データのクラス別の分類を事前学習し、教示者間で異なる撮影条件下で撮影される画像データのクラス別の分類を転移学習する、画像処理装置。
  9. コンピュータシステムが、
    既知の画像データと前記既知の画像データが分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データをクラス別に分類するための分類器を教示者毎に生成するステップと、
    前記分類器を用いて、前記未知の画像データの分類結果を教示者毎に出力するステップと、
    前記教示者毎の分類結果の重み付き多数決に基づいて前記未知の画像データをクラス別に分類するステップと、
    を実行する画像処理方法。
  10. コンピュータシステムが、
    既知の画像データと前記既知の画像データが分類されるクラスとして教示者により教示されたクラスとの対応関係を教師付き学習することにより、未知の画像データをクラス別に分類するための分類器を教示者毎に生成するステップと、
    前記教示者毎に生成された分類器を用いて前記未知の画像データが特定のクラスに所属する確率を示すスコアを教示者毎に算出するステップと、
    教示者毎に算出された前記スコアの重み付け和と閾値との比較に基づいて前記未知の画像データが前記特定のクラスに属するか否かを判定するステップと、
    を実行する画像処理方法。
  11. コンピュータシステムが、
    複数の既知の画像データのうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、前記複数の既知の画像データのうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データをクラス別に分類するための分類器を生成するステップと、
    前記分類器を用いて前記未知の画像データの分類結果を教示者毎に出力するステップと、
    前記教示者毎の分類結果の重み付き多数決に基づいて前記未知の画像データをクラス別に分類するステップと、
    を実行する画像処理方法。
  12. コンピュータシステムが、
    複数の既知の画像データのうちクラス別の分類が教示者間で一致している画像データとその画像データが分類されるクラスとの対応関係を事前学習し、前記複数の既知の画像データのうちクラス別の分類が教示者間で異なる画像データとその画像データが分類されるクラスとの対応関係を転移学習することにより、未知の画像データをクラス別に分類するための分類器を生成するステップと、
    前記分類器を用いて前記未知の画像データが特定のクラスに所属する確率を示すスコアを教示者毎に算出するステップと、
    教示者毎に算出された前記スコアの重み付け和と閾値との比較に基づいて前記未知の画像データが前記特定のクラスに属するか否かを判定するステップと、
    を実行する画像処理方法。
JP2018209651A 2018-11-07 2018-11-07 画像処理装置及び画像処理方法 Active JP7123306B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018209651A JP7123306B2 (ja) 2018-11-07 2018-11-07 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209651A JP7123306B2 (ja) 2018-11-07 2018-11-07 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2020077158A true JP2020077158A (ja) 2020-05-21
JP7123306B2 JP7123306B2 (ja) 2022-08-23

Family

ID=70725083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209651A Active JP7123306B2 (ja) 2018-11-07 2018-11-07 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP7123306B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102341236B1 (ko) * 2021-03-22 2021-12-20 미소에이스 주식회사 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법
WO2023032549A1 (ja) * 2021-09-01 2023-03-09 株式会社エフ・シー・シー 欠陥検査装置、欠陥検査方法および予測モデル生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110064A (ja) * 2007-10-26 2009-05-21 Toshiba Corp 分類モデル学習装置および分類モデル学習方法
JP2010122746A (ja) * 2008-11-17 2010-06-03 Secom Co Ltd 画像監視装置
JP2010272053A (ja) * 2009-05-25 2010-12-02 Victor Co Of Japan Ltd データ分類器作成装置、データ分類装置、データ分類器作成方法、データ分類方法、データ分類器作成プログラム、データ分類プログラム
JP2015079308A (ja) * 2013-10-15 2015-04-23 国立大学法人広島大学 認識システム
JP2018112996A (ja) * 2017-01-13 2018-07-19 キヤノン株式会社 映像認識装置、映像認識方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110064A (ja) * 2007-10-26 2009-05-21 Toshiba Corp 分類モデル学習装置および分類モデル学習方法
JP2010122746A (ja) * 2008-11-17 2010-06-03 Secom Co Ltd 画像監視装置
JP2010272053A (ja) * 2009-05-25 2010-12-02 Victor Co Of Japan Ltd データ分類器作成装置、データ分類装置、データ分類器作成方法、データ分類方法、データ分類器作成プログラム、データ分類プログラム
JP2015079308A (ja) * 2013-10-15 2015-04-23 国立大学法人広島大学 認識システム
JP2018112996A (ja) * 2017-01-13 2018-07-19 キヤノン株式会社 映像認識装置、映像認識方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102341236B1 (ko) * 2021-03-22 2021-12-20 미소에이스 주식회사 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법
WO2023032549A1 (ja) * 2021-09-01 2023-03-09 株式会社エフ・シー・シー 欠陥検査装置、欠陥検査方法および予測モデル生成方法
JP2023035643A (ja) * 2021-09-01 2023-03-13 株式会社エフ・シー・シー 欠陥検査装置、欠陥検査方法および予測モデル生成方法

Also Published As

Publication number Publication date
JP7123306B2 (ja) 2022-08-23

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
EP3502966B1 (en) Data generation apparatus, data generation method, and data generation program
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
US20210089895A1 (en) Device and method for generating a counterfactual data sample for a neural network
JP6584250B2 (ja) 画像分類方法、分類器の構成方法および画像分類装置
CN109060817B (zh) 人工智能复检系统及其方法
CN110648305B (zh) 工业图像检测方法、系统与计算机可读记录介质
CN109543760A (zh) 基于图像滤镜算法的对抗样本检测方法
JP2018026122A5 (ja)
Ribeiro et al. An adaptable deep learning system for optical character verification in retail food packaging
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
JP7123306B2 (ja) 画像処理装置及び画像処理方法
KR20210067606A (ko) 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
US11393182B2 (en) Data band selection using machine learning
EP3696771A1 (en) System for processing an input instance, method, and medium
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
CN113627538A (zh) 训练非对称生成对抗网络产生图像的方法及电子装置
CN114692887A (zh) 半监督学习系统及半监督学习方法
WO2023282043A1 (ja) 検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備
CN111651433B (zh) 一种样本数据清洗方法及系统
Huang et al. Quality control on manufacturing computer keyboards using multilevel deep neural networks
TWI745767B (zh) 光學檢測二次圖像分類方法
WO2022185474A1 (ja) 学習装置、学習方法、検査装置、検査方法、及び、記録媒体
CN117275076B (zh) 基于特征的人脸质量评估模型的构建方法及应用
TWI834426B (zh) Pcb缺陷檢測模型的評估方法、評估裝置及訓練方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220724

R150 Certificate of patent or registration of utility model

Ref document number: 7123306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150