JP2019212073A - 画像判別装置および方法 - Google Patents

Abstract

【課題】教師データをより的確かつスムーズに追加することができる学習型の画像判別装置および方法を提供することを目的とする。【解決手段】画像判別装置１は、学習により予め構築した分類器によって、判別対象の画像を判別する分類学習器１１と、判別結果を判別対象の画像とともに表示装置４に提示する判別結果提示部１２１と、判別結果に基づいて、判別対象の画像を教師画像とするか否かの判定を行う判定部１３と、判別対象の画像を教師画像とすると判定されたとき、判別対象の画像を教師画像として選択する教師画像選択部１５０と、教師画像に付与するラベルの選択操作を受け付けるラベル選択部１５１と、ラベル選択部１５１によって選択されたラベルを付した教師画像を新たな教師データとして記憶部１６に追加して記憶させる教師データ収集部１５と、新たな教師データを用いて再学習して分類器を再構築する学習部１１１とを備える。【選択図】 図１

Description

本発明は、画像判別装置および方法に関し、特に学習型画像判別装置の教師データを収集する技術に関する。

従来から、検査対象の撮像画像に含まれるキズ、汚れ、文字などの特徴を判別するために、学習型画像判別装置が利用されている（例えば、特許文献１参照）。このような学習型画像判別装置は、教師画像とラベルとの組み合わせからなる教師データを複数用意する必要がある（例えば、特許文献２参照）。

また、従来から、学習型画像判別装置における学習で用いる教師データの収集と、学習によって構築された分類器を用いた画像の判別とはそれぞれ独立に行われている（例えば、特許文献３参照）。例えば、特許文献３に記載の学習型画像判別装置では、教師データは作業者が画像の切り取り位置やラベルの指定を行って作成される。そして、学習型画像判別装置は、作成された教師データを用いて学習を行った後に判別処理を行う。特に、学習型画像判別装置による判別処理は、検査対象が写っているライブ映像などの連続的なスナップショットまたは静止画像のスナップショットに対して自動的に行われる。

また、従来から、教師データを追加して学習することで学習型画像判別装置の判別精度が向上することが知られている。例えば、判別結果が不適切である場合には、ラベルを修正した教師データを追加したうえで、学習型画像判別装置において再学習を行うことが望ましい。また、特定のラベルの教師データ数が少ない場合、その特定のラベルの教師データを追加したうえで、学習型画像判別装置において再学習を行うことが望ましい。

また、学習型画像判別装置の判別精度を向上させるための教師データの追加作業は、ライブ映像などを用いた入力データの判別処理後に即座に行われることが望ましい。

特許第５１６８２１５号公報 特開第２００６−２９２６１５号公報 特開第２０００−２００３５６号公報

しかし、従来の学習型画像判別装置では、ライブ映像などによる入力データの判別処理から教師データの収集処理への移行が煩雑となる場合があった。そのため、検査対象の動きによって判別結果が変化するような場合には、教師データを得る機会を逃してしまうことや、各ラベルの教師データの数に偏りが生じてしまうことがあった。また、判別処理から教師データの収集処理への移行に時間がかかってしまうと、作業者において、各画像データのどの箇所を切り取り、どのラベルを付与すべきかが分からなくなる恐れがあった。

本発明は、上述した課題を解決するためになされたものであり、教師データをより的確かつスムーズに追加することができる学習型の画像判別装置および方法を提供することを目的とする。

上述した課題を解決するために、本発明に係る画像判別装置は、ラベルが付与された画像からなる教師データを記憶する記憶部と、学習により予め構築した分類器によって、判別対象の画像を判別する分類学習器と、前記分類学習器による判別結果を前記判別対象の画像とともに表示装置に提示する判別結果提示部と、前記判別結果に基づいて、前記判別対象の画像を教師画像とするか否かの判定を行う判定部と、前記判定部により、前記判別対象の画像を教師画像とすると判定されたとき、前記判別対象の画像を教師画像として選択する教師画像選択部と、前記教師画像に付与するラベルを選択する操作を受け付けるラベル選択部と、前記ラベル選択部によって選択されたラベルを付した前記教師画像を新たな教師データとして前記記憶部に追加して記憶させる教師データ収集部と、前記記憶部に記憶されている前記新たな教師データを用いて再学習して前記分類器を再構築する学習部とを備えることを特徴とする。

また、本発明に係る画像判別装置において、前記判別結果は、前記分類学習器によって判別された前記判別対象の画像を判別する分類クラスに対応する判別ラベルと、判別の正確度を示す判別確度とが含まれていてもよい。

また、本発明に係る画像判別装置において、前記判定部は、前記判別結果提示部によって提示された前記判別確度が予め設定されたしきい値以下である場合に、前記判別対象の画像を前記教師画像とする判定を行ってもよい。

また、本発明に係る画像判別装置において、前記判定部は、前記判別結果提示部によって前記判別結果の一部として提示された前記判別結果に含まれる判別ラベルと同一のラベルを含む前記教師データの数が予め設定されたしきい値以下である場合に、前記判別対象の画像を前記教師画像とする判定を行ってもよい。

また、本発明に係る画像判別装置において、前記判別結果提示部は、複数の前記判別結果を提示し、前記判定部は、前記判別結果提示部によって提示された複数の前記判別結果に含まれる特定の判別ラベルの数と、その他の判別ラベルの数との割合が、予め設定されたしきい値以下である場合に、前記判別対象の画像を前記教師画像とする判定を行い、前記教師画像選択部は、前記判別結果として前記特定の判別ラベルが付与されている前記判別対象の画像を前記教師画像として選択してもよい。

また、本発明に係る画像判別装置において、カメラから前記判別対象の映像を取得する映像取得部と、前記判別対象の映像を前記表示装置を介して表示する映像表示部と、をさらに備え、前記判別結果提示部は、前記映像表示部によって表示された前記判別対象の映像に重ねて前記判別結果を提示してもよい。

また、本発明に係る画像判別装置において、前記判定部による、前記判別対象の画像を前記教師画像とする判定に応じて、前記映像表示部が前記表示装置を介して表示している前記判別対象の映像のスナップショットを取得するスナップショット取得部をさらに備え、前記教師画像選択部は、前記スナップショットに含まれる前記判別対象の画像を前記教師画像として選択してもよい。

また、本発明に係る画像判別方法は、記憶部に記憶されているラベルが付与された画像からなる教師データを学習して予め構築した分類器によって、判別対象の画像を判別する判別ステップと、前記判別ステップでの判別結果を前記判別対象の画像とともに表示装置に提示する判別結果提示ステップと、前記判別結果に基づいて、前記判別対象の画像を、新たな教師画像とするか否かの判定を行う判定ステップと、前記判定ステップで、前記判別対象の画像を教師画像とすると判定したときに、前記判別対象の画像を教師画像として選択する教師画像選択ステップと、前記教師画像に付与するラベルを選択する操作を受け付けるラベル選択ステップと、前記ラベル選択ステップで選択されたラベルを付した前記教師画像を新たな教師データとして前記記憶部に追加して記憶させる教師データ追加ステップと、前記記憶部に記憶されている前記新たな教師データを用いて再学習して前記分類器を再構築する学習ステップとを備えることを特徴とする。

本発明によれば、分類学習器による判別対象の画像の判別結果に基づいて、その判別対象の画像を新たに追加する教師データの教師画像とすべきか否かを判定するので、教師データをより的確かつスムーズに追加することができる。

図１は、本発明の実施の形態に係る画像判別装置の構成を示すブロック図である。 図２は、本発明の実施の形態に係る画像判別装置のハードウェア構成を示すブロック図である。 図３は、本発明の実施の形態に係る画像判別装置の動作を説明するフローチャートである。 図４は、本発明の教師データ収集処理のフローチャートである。 図５は、本発明の実施の形態に係る表示部による判別結果の表示例である。 図６は、本発明の実施の形態に係る表示部による教師データ設定画面の表示例である。

以下、本発明の好適な実施の形態について、図１から図６を参照して詳細に説明する。
［実施の形態］
図１は、本発明の実施の形態に係る画像判別装置１の構成を示すブロック図である。
画像判別装置１は、カメラ２によって撮影され、表示装置４に表示された検査対象３の映像に基づいて、例えば、検査対象３に含まれる欠陥などの判別を行い、判別結果を表示装置４に表示する。

カメラ２は、画像判別装置１に接続されており、予め設定された検査領域に存在する検査対象３の光学像を撮像する。より詳細には、カメラ２は、ディジタルビデオカメラなどによって構成され、２次元ＣＣＤなどのイメージセンサを用い、受光面（図示しない）に結像された光学像を電気信号に変換する。カメラ２は、所定のフレームレートで連続的に画像入力を行い、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）により画像データを圧縮する。

検査対象３は、例えば、ウェハなどの製品であり、キズや汚れなどの外観における欠陥など、すなわち判別対象を含んでいる場合がある。検査対象３は、例えば、カメラ２の前に設けられた検査領域において一定の速度で所定の方向へ移動し、その様子がカメラ２によって撮影される。

表示装置４は、液晶ディスプレイなどによって構成される。表示装置４によって、画像判別装置１が備える後述する表示部１２の各機能が実現される。また、表示装置４は、後述する入力装置１０８による入力結果が表示されたり、検査対象３の映像やスナップショットおよびラベル情報などが表示される。また。表示装置４は、画像判別装置１の各種機能に応じて入力装置１０８による各種操作を行うための操作キーを画像表示する。

画像判別装置１は、映像取得部１０、分類学習器１１、表示部１２、判定部１３、スナップショット取得部１４、教師データ収集部１５、および記憶部１６を備える。

映像取得部１０は、検査対象３の映像をカメラ２から取得する。映像取得部１０は、取得した映像の輝度補正やノイズの除去などの画像処理を必要に応じて行う。なお、映像取得部１０が取得した映像は、所定のフレームに分割されている静止画像（以下、「画像」という。）により構成される。映像取得部１０によって取得された検査対象３の映像は、記憶部１６に記憶される。

分類学習器１１は、教師データ取得部１１０、学習部１１１、および判別部１１２を備える。分類学習器１１は、予め設定されたラベルが付与された画像からなる教師データを学習して予め構築した分類器によって、未知の検査対象３の画像における欠陥の有無や種類などの判別を行う。また、分類学習器１１は、後述する教師データ収集部１５によって収集され追加された教師データを用いて再学習して再構築した分類器によって、未知の検査対象３の画像の判別を行う。なお、検査対象３の画像には、その一部の画像領域に欠陥などの特徴部分である判別対象の画像が含まれる。

教師データ取得部１１０は、記憶部１６に予め記憶されている後述する教師データを取得する。また、教師データ取得部１１０は、後述する教師データ収集部１５によって収集されて追加された新たな教師データを記憶部１６から取得する。教師データは、検査対象３に含まれる判別対象の画像（以下、「教師画像」という。）と予め定められているラベルとの組み合わせからなる学習用のデータである。検査対象３の画像は、映像取得部１０によって取得された映像を構成するフレームごとの静止画像データである。教師データ取得部１１０によって取得された教師データは、学習部１１１に入力される。

学習部１１１は、教師データ取得部１１０によって取得された教師データを学習してその特徴量を抽出する。特に、学習部１１１は、記憶部１６に記憶されている新たな教師データを用いて再学習し、分類器を再構築する。

学習部１１１としては、よく知られている畳み込みニューラルネットワーク、多層パーセプトロン、再帰型ニューラルネットワーク、残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ：ＲｅｓＮｅｔ）、変分オートエンコーダ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ：ＶＡＥ）、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ：ＧＡＮ）、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ：ＣａｐｓＮｅｔ）などのニューラルネットワークモデルを用いてもよい。

学習部１１１は、教師あり学習を行い、入力教師信号である判別対象の画像の特徴を学習し、出力教師信号であるラベルとの誤差が減少するように、上記ニューラルネットワークなどのパラメータ値を更新する。学習部１１１は、学習により抽出した教師データの特徴量を、例えば、学習部１１１の所定の領域に保持する。学習部１１１によって抽出された教師データの特徴量、すなわちニューラルネットワークのパラメータの最終的な更新値により検査対象３（判別対象）の画像を判別する分類器が構築される。

判別部１１２は、学習部１１１が学習により抽出した教師データの特徴量、すなわちニューラルネットワークのパラメータの最終的な更新値により検査対象３の画像を判別する分類器を構築する。より詳細には、判別部１１２は、学習部１１１が保持しているニューラルネットワークなどのパラメータ値を読み込んで分類器を構築し、未知の検査対象３の画像を入力として、欠陥の有無や種類を判別する。

判別部１１２による判別結果は、表示装置４の所定の画面に表示される。また、判別結果は、記憶部１６に記憶される。判別結果には、判別対象の画像の分類クラスに対応するラベル（判別ラベル）、および判別の正確度を示す判別確度が含まれる。なお、本実施の形態では、予め定義された各分類クラスと各ラベルとは対応するものとする。

表示部１２は、ライブ映像表示部１２０、判別結果提示部１２１、スナップショット表示部１２２、およびラベル情報提示部１２３を備える。表示部１２は各機能に応じた情報を加工して表示装置４の画面に表示する。

ライブ映像表示部１２０は、映像取得部１０によってカメラ２から取得された検査対象３の映像を表示装置４の所定の画面に表示する。より詳細には、ライブ映像表示部１２０は、検査対象３のリアルタイムの映像を、表示装置４における所定のタブの画面に表示する。

判別結果提示部１２１は、分類学習器１１の判別部１１２による判別結果を、ライブ映像表示部１２０が表示装置４の画面に表示している検査対象３の映像に重畳して表示する。より詳細には、判別結果提示部１２１は、検査対象３に含まれる判別対象の画像と、その判別対象の分類クラスに対応するラベルと、判別確度とを含む情報を提示する。例えば、検査対象３の欠陥の画像と、その欠陥が「ラベル１：汚れ」であり、判別の確度が「９０％」であることを示す情報とが提示される。

判別結果提示部１２１は、例えば、検査対象３に含まれている欠陥などの判別対象を含む画像領域をハイライト表示して、その領域の近辺に数字および文字情報によりラベルおよび判別確度を提示してもよい。より詳細には、判別結果提示部１２１は、分類学習器１１の判別部１１２による判別結果を取得して、表示装置４の画面に表示されている判別対象の画像を特定し、判別ラベルおよび判別確度を表示する。判別結果提示部１２１は、例えば、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）などによりハイライト表示や文字表示の設定を行えばよい。

スナップショット表示部１２２は、後述するスナップショット取得部１４が撮影した検査対象３のライブ映像のスナップショットを、表示装置４の予め定められた画面の領域に表示する。複数のスナップショットが撮影された場合には、スナップショット表示部１２２は、それら複数のスナップショットを表示装置４の画面にリスト表示する。スナップショットには、複数の判別対象の画像が含まれる場合がある。

ラベル情報提示部１２３は、予め設定されているラベル情報を表示装置４の所定の画面に提示する。より具体的には、ラベル情報提示部１２３は、上記スナップショットに含まれる判別対象の画像（後述する教師画像）に対して作業者が画面上でラベルの選択操作が可能な形態でラベルをリスト表示する。例えば、スナップショットに含まれる検査対象３の欠陥などの判別対象を示す領域に隣接して、ラジオボタンやチェックボックスなどをＣＳＳで装飾したラベルリストを設けてもよい。

判定部１３は、分類学習器１１が備える判別部１１２による判別結果に基づいて、後述する教師データ収集部１５に新たな教師データを収集させるか否かの判定を行う。より詳細には、判定部１３は、判別部１１２による判別結果に基づいて、判別対象の画像を教師画像とすべきか否かの判定を行う。

判定部１３は、判別部１１２による判別確度が予め定められているしきい値以下であること、教師データの数が予め定められているしきい値以下であること、および判別部１１２による複数の判別結果に示された特定のラベルの数の割合が予め定められているしきい値以下であることの基準に基づいて判定を行う。

判定部１３が上記基準に基づいて、判別対象の画像を教師画像とする判定、すなわち新たに追加する教師データを収集する判定を行うことで、分類学習器１１による判別モードから教師データ収集部１５による教師データの収集モード（教師データ収集処理）へと切り替わる。

判定部１３は、上記３つの基準を組み合わせて適用してもよく、また、上記３つの基準のうちの一部を適用して教師データの収集モードへ切り替える判定を行ってもよい。判定部１３による判定を示す情報はスナップショット取得部１４および教師データ収集部１５に送出される。

スナップショット取得部１４は、判定部１３による教師データの収集モードへの切り替え判定があった場合に、ライブ映像表示部１２０が表示装置４を介して表示中の検査対象３の映像におけるスナップショットを撮影する。スナップショット取得部１４は、一定の時間間隔（例えば数秒ごと）で映像をキャプチャして複数の静止画像であるスナップショットを取得してもよい。

スナップショット取得部１４によって撮影されるスナップショットは、ライブ映像で表示されている判別対象の画像が含まれる検査対象３の画像である。取得されたスナップショットは、スナップショット表示部１２２によって表示装置４の所定の画面に表示される。また、検査対象３の画像に複数の判別対象が含まれる場合には、スナップショットには複数の判別対象の画像が含まれる。

教師データ収集部１５は、教師画像選択部１５０とラベル選択部１５１とを備える。教師データ収集部１５は、検査対象３の映像のスナップショットに含まれる欠陥などを示す判別対象の画像を教師画像として選択し、さらにその教師画像に対するラベルを選択する操作を受け付けて新たな教師データを生成する。生成された新たな教師データは、記憶部１６に追加して記憶される。

教師画像選択部１５０は、判定部１３により判別対象の画像を教師画像とすべき判定がなされた場合に、スナップショット取得部１４によって取得された判別対象の画像を教師画像として選択する。より詳細には、教師画像選択部１５０は、スナップショット表示部１２２が表示装置４の画面に表示する検査対象３のスナップショットから欠陥などを示す判別対象の画像領域を切り取り、教師画像として選択する。例えば、教師画像選択部１５０は、予め記憶部１６に記憶されている検査対象３の良品画像との画像差分を行って、スナップショットに含まれる欠陥などの判別対象を検出してもよい。

また、教師画像選択部１５０は、スナップショットの検査対象３の画像に含まれる判別対象を、予め設定された領域サイズに切り取る。教師画像選択部１５０は、選択した教師画像を表示装置４における予め設定された教師データ設定タブの画面領域内に表示させる。

ラベル選択部１５１は、教師画像選択部１５０によって選択された教師画像に対するラベルの選択操作を受け付ける。より詳細には、ラベル選択部１５１は、ラベル情報提示部１２３によって表示装置４の教師データ設定タブにおける所定の画面領域に表示されたラベルリストの中から、入力装置などを介して作業者によるラベル選択の操作入力を受け付ける。

記憶部１６は、判定部１３によって用いられる判定の基準およびしきい値、予め設定されているラベルに関する情報、教師データに関する情報などを記憶する。教師データに関する情報としては、ラベルごとの教師画像の数などが挙げられる。

［画像判別装置のハードウェア構成］
次に、本実施の形態に係る画像判別装置１のハードウェア構成について、図２を参照して説明する。

図２に示すように、画像判別装置１は、バス１０１を介して接続されるＣＰＵ１０３と主記憶装置１０４とを有する演算装置１０２、通信制御装置１０５、外部記憶装置１０６、表示装置１０７、入力装置１０８、カメラ１０９等を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。

ＣＰＵ１０３と主記憶装置１０４とは、演算装置１０２を構成する。主記憶装置１０４には、ＣＰＵ１０３が各種制御や演算を行うためのプログラムが予め格納されている。

通信制御装置１０５は、画像判別装置１と各種外部電子機器との間をネットワーク接続するための制御装置である。本実施の形態では、画像判別装置１は、ネットワークを介して図示しない管理サーバなどに接続されていてもよい。

外部記憶装置１０６は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。外部記憶装置１０６には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。外部記憶装置１０６は、映像記憶部１０６ａ、教師データ設定情報記憶部１０６ｂ、判定基準記憶部１０６ｃ、教師データ記憶部１０６ｄ、プログラム格納部１０６ｅ、図示しないその他の格納装置で、例えば、この外部記憶装置１０６内に格納されているプログラムやデータなどをバックアップするための格納装置などを有することができる。外部記憶装置１０６は、図１で説明した記憶部１６を実現する。

映像記憶部１０６ａは、図１で説明した映像取得部１０によって取得された検査対象３の映像を記憶する。
教師データ設定情報記憶部１０６ｂは、予め設定されたラベルの情報を記憶する。
判定基準記憶部１０６ｃは、図１で説明した判定部１３による判定基準およびしきい値を記憶している。判定基準記憶部１０６ｃは、ネットワークＮＷを介して接続された外部サーバに設けられていてもよい。

教師データ記憶部１０６ｄは、図１で説明した分類学習器１１によって用いられる教師データを記憶する。また、教師データ記憶部１０６ｄには、教師データ収集部１５によって収集された教師データが蓄積される。教師データ記憶部１０６ｄには、各ラベルと教師画像とが関連付けられた教師データが記憶されている。教師データ記憶部１０６ｄは、ネットワークＮＷを介して接続された外部サーバに設けられていてもよい。

プログラム格納部１０６ｅには、本実施の形態における学習処理、判別処理、教師データ収集処理、教師データ収集モードへの切り替え判定処理、表示処理など画像判別に必要な処理を実行するための各種プログラムが格納されている。

表示装置１０７は、図１で説明した表示装置４に対応する。
入力装置１０８は、キーボード、マウス、タッチパネルなどにより構成される。入力装置１０８は、作業者のキー入力、アイコンなどのクリック、タッチパネルのタッチ位置に対応した機能や操作の入力を受け付ける。
カメラ１０９は、図１で説明したカメラ２に対応する。

［画像判別装置の動作］
次に、上述した構成を有する画像判別装置１の動作について、図３のフローチャートを参照して説明する。まず、画像判別装置１の映像取得部１０は、カメラ２によって撮影された検査対象３の映像を取得する（ステップＳ１）。取得された映像は、ライブ映像表示部１２０によりリアルタイムの検査対象３の映像として表示装置４の所定の画面に表示される。

次に、分類学習器１１は、予め学習して構築した分類器を用いて、検査対象３の映像を構成するフレームごとの画像を入力として、欠陥の有無や種類の判別処理を行う。その後、判別結果提示部１２１は、分類学習器１１による判別結果を、ライブ映像表示部１２０が表示装置４の画面に表示する映像に重ねて表示する（ステップＳ２）。

より具体的には、図５に示すように、表示装置４に表示されているタブＴ１の画面領域ａ１には、映像取得部１０によって取得された検査対象３のライブ映像が表示されている。また、分類学習器１１の判別部１１２による判別結果は、各判別対象の画像がハイライト表示された領域の下に、判別ラベルの名称と判別確度とが文字情報として表示される。例えば、画面領域ａ１の左側に位置する判別対象に対しては、ラベル名称「ラベル１」および判別確度「５０％」という判別結果が、その判別対象をハイライト表示で示す画像とともに表示されている。

次に、判定部１３は、判別結果の判別確度がしきい値以下のラベルが存在する場合には（ステップＳ３：ＹＥＳ）、教師データ収集部１５による教師データ収集処理に移行する（ステップＳ４）。

より詳細には、判定部１３は、記憶部１６から判別確度のしきい値（例えば、５０％）を読み込んで、判別結果のうち、判別確度が５０％以下のラベルが存在するか否かを判定する。図５の表示例では、画面領域ａ１の左側の判別対象の画像に対する判別結果が、ステップＳ３における判別確度のしきい値以下となっている。このような判定基準を設けることで、判別確度の低いラベルの教師データを追加することができる。

一方、判別確度がしきい値以下となったラベルが存在しない場合において（ステップＳ３：ＮＯ）、判定部１３が、判別結果のラベルのうち、教師データの数がしきい値以下のラベルが存在すると判定した場合（ステップＳ６：ＹＥＳ）、教師データ収集部１５による教師データ収集処理に移行する（ステップＳ４）。

より詳細には、判定部１３は、記憶部１６からしきい値（例えば、判別結果として表示されているラベル以外のラベルの教師データの平均数×７０％）を読み込む。また、判定部１３は、記憶部１６からラベルごとの教師データの数を取得する。判定部１３は、画面領域ａ１において、しきい値以下のラベルと同じラベルを示す判別対象の画像が判別されたか否かを判定する。このような判定基準を設けることにより、教師データの数が少ないラベルが存在する場合に、そのラベルの教師データを追加することができる。

一方、判別結果において、教師データの数がしきい値以下であるラベルが表示されていない場合において（ステップＳ６：ＮＯ）、複数の判別結果における特定のラベルの割合がしきい値以下であると判定部１３が判定した場合（ステップＳ７：ＹＥＳ）、教師データ収集部１５による教師データ収集処理に移行する（ステップＳ４）。

より詳細には、判定部１３は、記憶部１６からしきい値（例えば、複数の判別結果として表示されている特定のラベルの数と、そのラベル以外のラベルの数との割合が１０％）を読み込む。判定部１３は、画面領域ａ１において、しきい値以下に該当する特定のラベルが存在するか否かを判定する。このような判定基準を設けることで、複数の判別結果のうち、一部の判別結果が他の判別結果と異なる場合に、教師データの追加を行うことができる。

例えば、「ラベル１」の判別結果が多数表示されている中に、１つだけ「ラベル２」を示す判別結果が混ざっているような場合に、「ラベル２」と判別された判別対象の画像を切り取って教師データとして追加する。検査結果が出たその場で、「ラベル２」の切り取り場所とラベルの種類を指定できるので、多数の「ラベル１」と混乱することによる作業ミスを防ぐことができる。

一方、複数提示された判別結果において、しきい値以下となる特定のラベルが存在しない場合（ステップＳ７：ＮＯ）、処理は終了する。この場合、例えば、作業者におけるマニュアルモードにより教師データを収集する構成を採用してもよい。例えば、作業者からの画面操作を、図５に示すアイコンＩ１から受け付けて、検査対象３の映像におけるスナップショットの撮影を行ったり、マウス操作などによる判別対象の画像領域の切り取り、およびラベルの選択などを行う構成としてもよい。

［教師データ収集処理］
ここで、教師データ収集処理（ステップＳ４）について、図４を参照して説明する。
判定部１３が、それぞれの判定基準に基づいて教師データ収集処理に移行する判定を行うと（ステップＳ３：ＹＥＳ、ステップＳ６：ＹＥＳ、ステップＳ７：ＹＥＳ）、スナップショット取得部１４は、検査対象３のライブ映像におけるスナップショットを撮影する（ステップＳ４００）。スナップショット取得部１４は、一定の時間間隔で複数のスナップショットを撮影する。また、撮影されたスナップショットは記憶部１６に一時的に記憶される。

このように、判定部１３による判定の直後に検査対象３のライブ映像におけるスナップショットが取得されることで、教師データとして追加すべき判別対象を含む画像を撮り逃すことを防止できる。

次に、表示部１２は、表示装置４において教師データ設定用のタブを表示させる（ステップＳ４０１）。例えば、図６に示すようにタブＴ２の画面領域ａ１が表示される。次に、スナップショット表示部１２２は、ステップＳ４００で撮影した判別対象を含むスナップショットを表示装置４の所定の画面領域にリスト表示する（ステップＳ４０２）。

具体的には、図６に示すように、表示装置４における左側の画面領域ａ２に複数のスナップショットがリスト表示される。スナップショットは、撮影された時刻順に画面領域ａ２の上から順にリスト表示されてもよい。

次に、教師画像選択部１５０は、リスト表示されている判別対象の画像を含むスナップショットを選択して教師データ設定用のタブＴ２の画面領域ａ１に表示させる（ステップＳ４０３）。教師画像選択部１５０は、例えば、画面領域ａ２にリスト表示されているスナップショットの最も上に位置するスナップショットを選択してタブＴ２の画面領域ａ１に表示させてもよい。

次に、教師画像選択部１５０は、選択されたスナップショットから検査対象３に含まれる判別対象の画像を切り取る（ステップＳ４０４）。具体的には、図６に示すように、タブＴ２の画面領域ａ１に表示されているスナップショットに含まれる判別対象が破線で示す領域で切り取られ、画面領域ａ１内における画面領域ａ３に表示される。この切り取り画像が教師データを構成する教師画像となる。画面領域ａ３は、教師データを指定するダイアログを構成する。

なお、図３で説明したステップＳ７において、判定部１３が、判別結果における特定ラベルの割合がしきい値以下であると判定した場合の上記ステップＳ４０４の処理について、教師画像選択部１５０は、割合が少ない方の特定ラベルの判別対象の画像を切り取って画面領域ａ３に表示させてもよい。また、表示させる判別対象の切り取り画像は複数であってもよい。

次に、ラベル情報提示部１２３は、ステップＳ４０４で切り取られた検査対象３に含まれる判別対象の画像（教師画像）とともに、予め設定されているラベルをリスト表示する（ステップＳ４０５）。具体的には、ラベル情報提示部１２３は、記憶部１６からラベル情報を読み出して、図６に示すように、表示装置４の画面領域ａ３内にリスト表示する。例えば、教師画像の横に、「ラベル１」、「ラベル２」、および「ラベル３」がそれぞれ選択可能な形態でリスト表示される。また、初期選択として、判別結果に応じた「ラベル１」が選択されて表示される。

次に、ラベル選択部１５１は、教師画像に対するラベルの選択を受け付ける（ステップＳ４０６）。より具体的には、作業者による画面上での操作入力、例えば、図６に示すアイコン「ＯＫ」のクリックに対応する操作信号を受け付けることで、ラベル選択部１５１は教師画像に対するラベルの選択を受け付ける。また、ラベル選択部１５１は、作業者の操作入力に応じて変更された正しいラベルの選択を受け付ける。

その後、教師データ収集部１５は、教師画像とラベルとの組み合わせからなる新たな教師データを記憶部１６に追加して記憶する（ステップＳ４０７）。
次に、図３に示すように、分類学習器１１においてステップＳ４０７で新たに追加された教師データを用いた再学習が行われる（ステップＳ５）。これにより、判別結果が不適切である場合において教師データを追加したうえで再学習するので、判別の確度を向上させることが可能となる。

その後、分類学習器１１は、再学習により再構築された分類器を用いて、未知の判別対象の画像をより高い判別確度で判別する。

以上説明したように、本実施の形態によれば、画像判別装置１は、検査対象３の画像による判別結果に基づいて、教師データを追加するか否かの判定を行う。また追加すべきと判定された場合には、画像判別装置１は、判別対象の画像のスナップショットを撮影し、判別対象の切り取り画像を教師画像として作成し、教師画像に対する正しいラベル選択を受け付けて教師データを収集する。

そのため、検査対象３のライブ映像による判別と教師データの収集との切り替えをスムーズに行い、より的確に教師データを追加することができる。その結果として、教師データ収集時の作業ミスを防ぐことができる。

例えば、検査対象３の動きによって判別結果が変化する場合でも、教師データを得ることができる。また、各ラベルの教師データの数に偏りが生じた際に、教師データの数を均一化させることができる。さらに、判定部１３による３つの判定基準を組み合わせて採用することにより、より適切かつ確実に教師データを追加することが可能となる。

以上、本発明の画像判別装置および画像判別方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

１…画像判別装置、２、１０９…カメラ、３…検査対象、４、１０７…表示装置、１０…映像取得部、１１…分類学習器、１２…表示部、１３…判定部、１４…スナップショット取得部、１５…教師データ収集部、１６…記憶部、１０１…バス、１０２…演算装置、１０３…ＣＰＵ、１０４…主記憶装置、１０５…通信制御装置、１０６…外部記憶装置、１０６ａ…映像記憶部、１０６ｂ…教師データ設定情報記憶部、１０６ｃ…判定基準記憶部、１０６ｄ…教師データ記憶部、１０６ｅ…プログラム格納部、１０８…入力装置、１１０…教師データ取得部、１１１…学習部、１１２…判別部、１２０…ライブ映像表示部、１２１…判別結果提示部、１２２…スナップショット表示部、１２３…ラベル情報提示部、１５０…教師画像選択部、１５１…ラベル選択部。

Claims (8)

1. ラベルが付与された画像からなる教師データを記憶する記憶部と、
   学習により予め構築した分類器によって、判別対象の画像を判別する分類学習器と、
   前記分類学習器による判別結果を前記判別対象の画像とともに表示装置に提示する判別結果提示部と、
   前記判別結果に基づいて、前記判別対象の画像を教師画像とするか否かの判定を行う判定部と、
   前記判定部により、前記判別対象の画像を教師画像とすると判定されたとき、前記判別対象の画像を教師画像として選択する教師画像選択部と、
   前記教師画像に付与するラベルを選択する操作を受け付けるラベル選択部と、
   前記ラベル選択部によって選択されたラベルを付した前記教師画像を新たな教師データとして前記記憶部に追加して記憶させる教師データ収集部と、
   前記記憶部に記憶されている前記新たな教師データを用いて再学習して前記分類器を再構築する学習部と
   を備えることを特徴とする画像判別装置。
2. 請求項１に記載の画像判別装置において、
   前記判別結果は、前記分類学習器によって判別された前記判別対象の画像を判別する分類クラスに対応する判別ラベルと、判別の正確度を示す判別確度とが含まれることを特徴とする画像判別装置。
3. 請求項２に記載の画像判別装置において、
   前記判定部は、前記判別結果提示部によって提示された前記判別確度が予め設定されたしきい値以下である場合に、前記判別対象の画像を前記教師画像とする判定を行うことを特徴とする画像判別装置。
4. 請求項２または請求項３に記載の画像判別装置において、
   前記判定部は、前記判別結果提示部によって前記判別結果の一部として提示された前記判別結果に含まれる判別ラベルと同一のラベルを含む前記教師データの数が予め設定されたしきい値以下である場合に、前記判別対象の画像を前記教師画像とする判定を行うこと特徴とする画像判別装置。
5. 請求項２から４のいずれか１項に記載の画像判別装置において、
   前記判別結果提示部は、複数の前記判別結果を提示し、
   前記判定部は、前記判別結果提示部によって提示された複数の前記判別結果に含まれる特定の判別ラベルの数と、その他の判別ラベルの数との割合が、予め設定されたしきい値以下である場合に、前記判別対象の画像を前記教師画像とする判定を行い、
   前記教師画像選択部は、前記判別結果として前記特定の判別ラベルが付与されている前記判別対象の画像を前記教師画像として選択する
   ことを特徴とする画像判別装置。
6. 請求項１から５のいずれか１項に記載の画像判別装置において、
   カメラから前記判別対象の映像を取得する映像取得部と、
   前記判別対象の映像を前記表示装置を介して表示する映像表示部と、
   をさらに備え、
   前記判別結果提示部は、前記映像表示部によって表示された前記判別対象の映像に重ねて前記判別結果を提示する
   ことを特徴とする画像判別装置。
7. 請求項６に記載の画像判別装置において、
   前記判定部による、前記判別対象の画像を前記教師画像とする判定に応じて、前記映像表示部が前記表示装置を介して表示している前記判別対象の映像のスナップショットを取得するスナップショット取得部をさらに備え、
   前記教師画像選択部は、前記スナップショットに含まれる前記判別対象の画像を前記教師画像として選択する
   ことを特徴とする画像判別装置。
8. 記憶部に記憶されているラベルが付与された画像からなる教師データを学習して予め構築した分類器によって、判別対象の画像を判別する判別ステップと、
   前記判別ステップでの判別結果を前記判別対象の画像とともに表示装置に提示する判別結果提示ステップと、
   前記判別結果に基づいて、前記判別対象の画像を、新たな教師画像とするか否かの判定を行う判定ステップと、
   前記判定ステップで、前記判別対象の画像を教師画像とすると判定したときに、前記判別対象の画像を教師画像として選択する教師画像選択ステップと、
   前記教師画像に付与するラベルを選択する操作を受け付けるラベル選択ステップと、
   前記ラベル選択ステップで選択されたラベルを付した前記教師画像を新たな教師データとして前記記憶部に追加して記憶させる教師データ追加ステップと、
   前記記憶部に記憶されている前記新たな教師データを用いて再学習して前記分類器を再構築する学習ステップと
   を備えることを特徴とする画像判別方法。

Images