JP2022045256A - 教師データ作成支援装置、教師データ作成支援システムおよび教師データ作成支援方法 - Google Patents

Abstract

【課題】使用者の負担を軽減しつつ正確な教師データを作成することが可能な教師データ作成支援装置、教師データ作成支援システムおよび教師データ作成支援方法を提供する。
【解決手段】教師データに付与されるべきラベルが予め用意された学習モデルを用いて第１のラベルとして推定部３２により推定される。推定された第１のラベルが提示部３３により提示される。教師データに付与されるべきラベルが第２のラベルとして受付部３４により受け付けられる。あるいは、第１のラベルと第２のラベルとが異なるか否かが判定部により判定される。第１のラベルと第２のラベルとが異なると判定された場合に報知部により報知が行われる。使用者による指示に応答して、第１のラベルと異なる第２のラベルが付与部により教師データに付与される。
【選択図】図２

Description

本発明は、教師データ作成支援装置、教師データ作成支援システムおよび教師データ作成支援方法に関する。

教師あり学習において用いられる教師データは、物体または文字等を示す画像データに正解を示すラベルが付与されることにより生成される。付与されたラベルが正確でない場合、教師あり学習の精度が低下する。したがって、正確なラベルの付与（ラベリング）を行うことが求められる。

例えば、特許文献１に記載されたデータラベリング作業検査方法においては、１つのイメージデータに関するラベリング情報が複数の作業者により提出される。各作業者により提出されたラベリング情報が比較され、全てのラベリング情報が一致すると判断されない場合、再作業が要請される。

特開２０１９－９６３１９号公報

高精度の教師あり学習を行うためには、大量の教師データを作成することが必要となる。しかしながら、大量の教師データにラベリングを行う場合、長時間の作業を要するため、集中力の低下または疲労等により作業者の判断にブレが生じることがある。そのため、大量の教師データに正確なラベリングを行うことは困難である。

本発明の目的は、使用者の負担を軽減しつつ正確な教師データを作成することが可能な教師データ作成支援装置、教師データ作成支援システムおよび教師データ作成支援方法を提供することである。

（１）第１の発明に係る教師データ作成支援装置は、教師データへのラベルの付与を支援する教師データ作成支援装置であって、教師データに付与されるべきラベルを予め用意された学習モデルを用いて第１のラベルとして推定する推定部と、推定部により推定された第１のラベルを提示する提示部と、教師データに付与されるべきラベルを第２のラベルとして受け付ける受付部とを備える。

この教師データ作成支援装置においては、教師データに付与されるべきラベルとして学習モデルを用いて推定部により推定された第１のラベルが提示部により提示される。そのため、使用者は、教師データに付与されるべき第２のラベルを受付部に指定する際に、提示部により提示された第１のラベルを参照することができる。また、使用者は、集中力の低下または疲労等により誤った指定を行った場合でも、容易に誤りに気付くことができる。これにより、使用者の負担を軽減しつつ正確な教師データを作成することが可能になる。

（２）推定部は、推定された第１のラベルの信頼度を評価し、提示部は、推定部により評価された信頼度をさらに提示してもよい。この場合、使用者は、第１のラベルの信頼度が低い教師データについてのみ指定すべき第２のラベルを念入りに判断すればよい。これにより、使用者の負担をより軽減することができる。

（３）推定部は、複数の教師データにそれぞれ付与されるべき複数の第１のラベルを推定するとともに、推定された各第１のラベルの信頼度を評価し、提示部は、推定部により推定された複数の第１のラベルを信頼度の順序で提示してもよい。この場合、使用者は、念入りに判断して第２のラベルを指定すべき複数の教師データの群を容易に認識することができる。これにより、使用者の負担をさらに低減することができる。

（４）教師データは画像を示す画像データを含み、提示部は、第１のラベルと対応するように教師データに基づく画像をさらに提示してもよい。この場合、使用者は、画像を示す教師データと、教師データについて推定された第１のラベルとの対応関係を容易に認識することができる。

（５）第２の発明に係る教師データ作成支援装置は、教師データへのラベルの付与を支援する教師データ作成支援装置であって、教師データに付与されるべきラベルを予め用意された学習モデルを用いて第１のラベルとして推定する推定部と、教師データに付与されるべきラベルを第２のラベルとして受け付ける受付部と、第１のラベルと第２のラベルとが異なるか否かを判定する判定部と、判定部により第１のラベルと第２のラベルとが異なると判定された場合に報知を行う報知部と、使用者による指示に応答して、第１のラベルと異なる第２のラベルを教師データに付与する付与部とを備える。

この教師データ作成支援装置においては、教師データに付与されるべきラベルとして指定された第２のラベルが学習モデルを用いて推定部により推定された第１のラベルと異なると判定部により判定された場合には、報知部により報知が行われる。そのため、使用者は、集中力の低下または疲労等により誤った指定を行った場合でも、容易に誤りに気付くことができる。また、使用者が指定に誤りがないと判断した場合には、第１のラベルと異なる第２のラベルが付与部により教師データに付与される。これにより、使用者の負担を軽減しつつ正確な教師データを作成することが可能になる。

（６）教師データ作成支援装置は、判定部により第１のラベルと第２のラベルとが異なると判定された場合に判定の根拠を示す提示部をさらに備えてもよい。この場合、使用者は、提示された根拠を考慮して、付与すべき第２のラベルについて再度の判断を行うことができる。これにより、使用者の負担をより低減することができる。

（７）教師データは画像を示す画像データを含み、提示部は、教師データに基づく画像の部分を視認可能に示すことにより判定の根拠を示してもよい。この構成によれば、使用者は、付与すべき第２のラベルについて再度の判断を行う場合において、考慮すべき画像の部分を容易に認識することができる。

（８）提示部は、教師データに基づく画像を提示し、受付部は、提示部により提示された画像を示す教師データについて第２のラベルを受け付けてもよい。この場合、使用者は、第２のラベルを指定すべき教師データを容易に認識することができる。

（９）推定部は第１のラベルを第１のスコアとして推定し、受付部は、第２のラベルを第２のスコアとして受け付け、判定部は、第１のスコアと第２のスコアとの差が予め定められたしきい値以上である場合に第１のラベルと第２のラベルとが異なると判定してもよい。この構成によれば、学習モデルが回帰問題を学習することにより構築された場合でも、第１のラベルと第２のラベルとが異なるか否かを容易に判定することができる。

（１０）教師データ作成支援装置は、使用者による指示に応答して、第２のラベルと、当該第２のラベルに対応する教師データに基づいて学習モデルを更新する更新部をさらに備えてもよい。これにより、教師データに付与すべき第１のラベルをより正確に推定することが可能になる。

（１１）第３の発明に係る教師データ作成支援システムは、第１の発明に係る教師データ作成支援装置と、教師データ作成支援装置の提示部により提示される第１のラベルを表示する表示装置とを備える。

この教師データ作成支援システムにおいては、上記の教師データ作成支援装置の提示部により提示された第１のラベルが表示装置に表示される。そのため、使用者は、教師データに付与されるべき第２のラベルを指定する際に、表示装置に表示された第１のラベルを参照することができる。また、使用者は、集中力の低下または疲労等により誤った指定を行った場合でも、容易に誤りに気付くことができる。これにより、使用者の負担を軽減しつつ正確な教師データを作成することが可能になる。

（１２）第４の発明に係る教師データ作成支援システムは、第２の発明に係る教師データ作成支援装置と、教師データ作成支援装置の提示部により提示される判定の根拠を表示する表示装置とを備える。

この教師データ作成支援システムにおいては、上記の教師データ作成支援装置の提示部により提示された教師データに基づく画像の部分が判定の根拠として視認可能に表示装置に表示される。これにより、使用者の負担を軽減しつつ正確な教師データを作成することが可能になる。また、使用者は、付与すべき第２のラベルについて再度の判断を行う場合において、考慮すべき画像の部分を容易に認識することができる。

（１３）第５の発明に係る教師データ作成支援方法は、教師データへのラベルの付与を支援する教師データ作成支援方法であって、教師データに付与されるべきラベルを予め用意された学習モデルを用いて第１のラベルとして推定するステップと、推定された第１のラベルを提示するステップと、教師データに付与されるべきラベルを第２のラベルとして受け付けるステップとを含む。

この教師データ作成支援方法によれば、教師データに付与されるべきラベルとして学習モデルを用いて推定された第１のラベルが提示される。そのため、使用者は、教師データに付与されるべき第２のラベルを指定する際に、提示された第１のラベルを参照することができる。また、使用者は、集中力の低下または疲労等により誤った指定を行った場合でも、容易に誤りに気付くことができる。これにより、使用者の負担を軽減しつつ正確な教師データを作成することが可能になる。

（１４）第６の発明に係る教師データ作成支援方法は、教師データへのラベルの付与を支援する教師データ作成支援方法であって、教師データに付与されるべきラベルを予め用意された学習モデルを用いて第１のラベルとして推定するステップと、教師データに付与されるべきラベルを第２のラベルとして受け付けるステップと、第１のラベルと第２のラベルとが異なるか否かを判定するステップと、第１のラベルと第２のラベルとが異なると判定された場合に報知を行うステップと、使用者による指示に応答して、第１のラベルと異なる第２のラベルを教師データに付与するステップとを含む。

この教師データ作成支援方法によれば、教師データに付与されるべきラベルとして指定された第２のラベルが学習モデルを用いて推定された第１のラベルと異なると判定された場合には、報知が行われる。そのため、使用者は、集中力の低下または疲労等により誤った指定を行った場合でも、容易に誤りに気付くことができる。また、使用者が指定に誤りがないと判断した場合には、第１のラベルと異なる第２のラベルが教師データに付与される。これにより、使用者の負担を軽減しつつ正確な教師データを作成することが可能になる。

本発明によれば、使用者の負担を軽減しつつ正確な教師データを作成することが可能な教師データ作成支援装置、教師データ作成支援システムおよび教師データ作成支援方法を提供することができる。

本発明の第１の実施の形態に係る支援システムの構成を示す図である。 図１の支援装置の構成を示す図である。 図２の表示装置に表示されるラベル指定画面の一例を示す図である。 図２の表示装置に表示されるラベル指定画面の他の例を示す図である。 図２の支援装置による支援処理を示すフローチャートである。 本発明の第２の実施の形態に係る支援装置の構成を示す図である。 図６の表示装置に表示されるラベル指定画面の一例を示す図である。 図６の表示装置に表示される報知画面の一例を示す図である。 図６の支援装置による支援処理を示すフローチャートである

以下、本発明の実施の形態に係る教師データ作成支援装置、教師データ作成支援システムおよび教師データ作成支援方法について図面を用いて説明する。以下の説明では、教師データ作成支援装置を支援装置と略記し、教師データ作成支援システムを支援システムと略記し、教師データ作成支援方法を支援方法と略記する。

［１］第１の実施の形態
（１）支援システムの構成
図１は、本発明の第１の実施の形態に係る支援システムの構成を示す図である。図１に示すように、支援システム１００は、処理装置１０および検査装置２０を含む。処理装置１０は、ＣＰＵ（中央演算処理装置）１１、ＲＡＭ（ランダムアクセスメモリ）１２、ＲＯＭ（リードオンリメモリ）１３、記憶装置１４、操作部１５、表示装置１６および入出力Ｉ／Ｆ（インターフェイス）１７により構成される。ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、記憶装置１４、操作部１５、表示装置１６および入出力Ｉ／Ｆ１７はバス１８に接続される。

ＲＡＭ１２は、ＣＰＵ１１の作業領域として用いられる。ＲＯＭ１３にはシステムプログラムが記憶される。記憶装置１４は、ハードディスクまたは半導体メモリ等の記憶媒体を含み、教師データ作成支援プログラム（以下、支援プログラムと略記する。）を記憶する。支援プログラムは、ＲＯＭ１３または他の外部記憶装置に記憶されてもよい。また、記憶装置１４は、予め用意された学習モデルを記憶する。

ＣＰＵ１１、ＲＡＭ１２およびＲＯＭ１３により、教師データ作成支援処理（以下、支援処理と略記する。）を実行するための支援装置３０が構成される。支援処理においては、学習モデルに基づいて、教師データへのラベルの付与（ラベリング）が支援される。支援装置３０および支援処理の詳細については後述する。

操作部１５は、キーボード、マウスまたはタッチパネル等の入力デバイスである。使用者は、操作部１５を操作することにより、後述する教師データに付与すべきラベルの指定を支援装置３０に行うことができる。表示装置１６は、液晶表示装置等の表示デバイスであり、教師データに基づく画像等を表示する。入出力Ｉ／Ｆ１７は、検査装置２０に接続される。

検査装置２０は、例えば基板検査装置であり、検査対象の複数の基板を順次撮像することにより、複数の基板の画像をそれぞれ示す複数の画像データを生成する。生成された各画像データには、固有の識別番号等が付与される。また、検査装置２０は、生成された各画像データを教師データとして支援装置３０に与える。なお、基板とは、半導体基板、液晶表示装置もしくは有機ＥＬ（Electro Luminescence）表示装置等のＦＰＤ（Flat Panel Display）用基板、光ディスク用基板、磁気ディスク用基板、光磁気ディスク用基板、フォトマスク用基板、セラミック基板または太陽電池用基板等をいう。

図２は、図１の支援装置３０の構成を示す図である。図２に示すように、支援装置３０は、機能部として、取得部３１、推定部３２、提示部３３、受付部３４および付与部３５を含む。図１のＣＰＵ１１がＲＯＭ１３または記憶装置１４等に記憶された支援プログラムを実行することにより、支援装置３０の機能部が実現される。支援装置３０の機能部の一部または全てが電子回路等のハードウエアにより実現されてもよい。

取得部３１は、複数の基板の画像を示すそれぞれ示す複数の教師データを検査装置２０から順次取得する。推定部３２は、記憶装置１４に記憶された学習モデルを用いて、取得部３１により取得された複数の教師データにそれぞれ付与されるべき複数のラベルを推定する。本例では、ラベルは、教師データが示す画像における基板が正常または異常であることをそれぞれ示す「ＯＫ」または「ＮＧ」を含む。また、推定部３２は、記憶装置１４に記憶された学習モデルに基づいて、推定された各ラベルの信頼度（確率）を評価する。

提示部３３は、推定部３２により推定された複数のラベルと、教師データに基づく画像とを対応するように表示装置１６に表示させる。また、提示部３３は、推定部３２により評価された各ラベルの信頼度を当該ラベルと対応するように表示装置１６に表示させることができる。さらに、提示部３３は、操作部１５からの指示に基づいて、表示装置１６に表示される複数のラベルの順序を信頼度の昇順または降順にすることができる。

受付部３４は、取得部３１により取得された各教師データに付与されるべきラベルを操作部１５から受け付ける。使用者は、表示装置１６に表示されるラベル指定画面において、学習モデルによる複数のラベルおよび信頼度を視認しつつ、操作部１５を操作することにより各教師データに付与されるべきラベルを受付部３４に指定することができる。付与部３５は、各教師データについて受付部３４により受け付けられたラベルを当該教師データに付与する。

（２）表示装置による表示
図３は、図２の表示装置１６に表示されるラベル指定画面の一例を示す図である。図３に示すように、ラベル指定画面４０は、選択画像表示領域４１、画像選択領域４２、画像リスト表示領域４３、基本情報表示領域４４およびラベル情報表示領域４５を含む。本例では、選択画像表示領域４１は、全体画像表示部４１ａ、拡大画像表示部４１ｂおよび推定ラベル表示部４１ｃを含む。

全体画像表示部４１ａには、選択中の教師データに基づいて、図２の検査装置２０により撮像された部分の全体を示す全体画像が表示される。使用者は、全体画像表示部４１ａに表示された画像を視認することにより、ラベルを指定すべき選択中の教師データを容易に認識することができる。拡大画像表示部４１ｂには、全体画像の任意の部分が拡大された拡大画像が表示される。本例では、全体画像表示部４１ａにおける点線の矩形で囲まれた画像の部分が拡大画像表示部４１ｂに拡大表示される。

推定ラベル表示部４１ｃには、選択中の教師データについて図２の推定部３２により推定されたラベルが表示される。使用者は、選択画像表示領域４１を視認することにより、画像を示す教師データと、教師データについて推定されたラベルとの対応関係を容易に認識することができる。選択画像表示領域４１には、選択中の教師データについて推定部３２により評価された信頼度がさらに表示されてもよい。

画像選択領域４２には、作業対象の教師データを選択するための操作ボタン４２ａ，４２ｂが表示される。使用者は、図２の操作部１５を用いて操作ボタン４２ａまたは操作ボタン４２ｂを操作することにより、所望の教師データを選択することができる。選択された教師データに対応する画像が選択画像表示領域４１に表示される。また、画像選択領域４２には、選択された教師データの識別番号および作業の進捗度がさらに表示される。図３の例では、２３８０の教師データのうち識別番号「１１１５」の教師データが選択されており、作業の進捗度は４７％である。

画像リスト表示領域４３には、図２の取得部３１により取得された複数の教師データにそれぞれ基づく複数のサムネイル画像が識別番号の順で並ぶように表示される。また、選択中の教師データに対応するサムネイル画像は、カーソル４３ａまたは強調表示等により識別可能に表示される。画像リスト表示領域４３には、各教師データについて推定部３２により評価された信頼度がサムネイル画像に対応するようにさらに表示されてもよい。使用者は、操作部１５を用いて任意のサムネイル画像を選択することによっても、作業対象の教師データを選択することができる。

基本情報表示領域４４には、選択中の教師データの作成日時等を示す基本情報が表示される。ラベル情報表示領域４５には、ラベル「ＯＫ」および「ＮＧ」にそれぞれ対応するチェックボックス４５ａ，４５ｂが表示される。使用者は、操作部１５を用いてチェックボックス４５ａ，４５ｂのいずれかを操作することにより、選択中の教師データに付与すべきラベルを指示することができる。なお、ラベル情報表示領域４５には、チェックボックス４５ａ，４５ｂに代えて、同様の機能を有するプルダウンメニュー等が表示されてもよい。

また、ラベル情報表示領域４５には、推定部３２により推定された各ラベルの総数を示す表４５ｃが表示される。図３の例では、「ＯＫ」であると推定されたラベルの総数は１７６３であり、「ＮＧ」であると推定されたラベルの総数は６１７である。使用者は、教師データに付与すべきラベルを指示する際に、表４５ｃに表示された各ラベルの総数を参照することができる。

図４は、図２の表示装置１６に表示されるラベル指定画面４０の他の例を示す図である。図４の例では、取得部３１により取得された複数の教師データにそれぞれ基づく複数のサムネイル画像が推定部３２により評価された信頼度の降順で画像リスト表示領域４３に表示される。複数のサムネイル画像は、信頼度の昇順で画像リスト表示領域４３に表示されてもよい。使用者は、操作部１５を用いて所定の操作を行うことにより、画像リスト表示領域４３の表示態様を図３の例と、図４の例とで切り替えることができる。

推定されたラベルの信頼度が高い教師データについては、使用者は容易に正確なラベルを指定することが可能である。そのため、使用者は推定されたラベルの信頼度が低い教師データについてのみ指定すべきラベルを念入りに判断すればよい。したがって、図３の例においても、使用者は、信頼度を視認することにより、念入りに判断してラベルを指定すべき教師データを容易に認識することができる。これにより、使用者の負担を低減することができる。

また、図４の例では、複数の教師データにそれぞれ対応する複数のサムネイル画像が信頼度の順序で並ぶように画像リスト表示領域４３に表示される。そのため、使用者は、念入りに判断してラベルを指定すべき複数の教師データの群を容易に認識することができる。したがって、使用者の負担をさらに低減することができる。図４の例では、画像リスト表示領域４３には、各サムネイル画像に対応する識別番号がさらに表示されてもよい。

（３）支援処理
図５は、図２の支援装置３０による支援処理を示すフローチャートである。図５の支援処理は、図１のＣＰＵ１１がＲＯＭ１３または記憶装置１４等に記憶された支援プログラムをＲＡＭ１２上で実行することにより行われる。以下、図２の支援装置３０、図３または図４のラベル指定画面４０、および図５のフローチャートを用いて支援処理を説明する。

まず、取得部３１は、複数の教師データを検査装置２０から順次取得する（ステップＳ１）。次に、推定部３２は、ステップＳ１で取得された各教師データに付与されるべきラベルを学習モデルに基づいて推定する（ステップＳ２）。また、推定部３２は、ステップＳ２で推定された各ラベルの信頼度を学習モデルに基づいて評価する（ステップＳ３）。これにより、表示装置１６にラベル指定画面４０が表示される。

続いて、提示部３３は、ステップＳ１で取得された複数の教師データにそれぞれ対応する複数のサムネイル画像を表示装置１６におけるラベル指定画面４０の画像リスト表示領域４３に表示させる（ステップＳ４）。本例の初期設定では、複数のサムネイル画像は識別番号の順で並ぶように表示される。画像リスト表示領域４３には、識別番号およびステップＳ３で評価されたラベルの信頼度が対応するサムネイル画像に対応するようにさらに表示されてもよい。

その後、提示部３３は、サムネイル画像の配置の順序の変更が指示されたか否かを判定する（ステップＳ５）。順序の変更が指示されない場合、提示部３３はステップＳ７に進む。順序の変更が指示された場合、提示部３３は、サムネイル画像の配置の順序を変更し（ステップＳ６）、ステップＳ７に進む。ステップＳ６が実行されるごとに、サムネイル画像の配置の順序が識別番号の順序とステップＳ３で評価された信頼度の順序とで切り替わる。

ステップＳ７で、提示部３３は、いずれかの教師データが選択されたか否かを判定する（ステップＳ７）。教師データが選択されない場合、提示部３３はステップＳ１１に進む。教師データが選択された場合、提示部３３は、選択された教師データに基づく画像および当該教師データについてステップＳ２で推定されたラベルを表示装置１６におけるラベル指定画面４０の選択画像表示領域４１に表示させる（ステップＳ８）。選択画像表示領域４１には、選択された教師データについてステップＳ３で評価されたラベルの信頼度がさらに表示されてもよい。

次に、受付部３４は、ステップＳ７で選択された教師データについて、ラベルの指定が受け付けられたか否かを判定する（ステップＳ９）。ラベルの指定が受け付けられない場合、受付部３４はステップＳ１１に進む。ラベルの指定が受け付けられた場合、付与部３５は、受け付けられたラベルをステップＳ７で選択された教師データに付与し（ステップＳ１０）、ステップＳ１１に進む。

ステップＳ１１で、付与部３５は、終了が指示されたか否かを判定する（ステップＳ１１）。使用者は、操作部１５を用いて所定の操作を行うことにより終了または続行を指示することができる。終了が指示されていない場合、付与部３５はステップＳ５に戻る。したがって、ラベルが付与されていない教師データが残っている場合、または一度付与されたラベルを変更する場合、使用者は、続行を指示することとなる。終了が指示された場合、付与部３５は支援処理を終了する。

（４）効果
本実施の形態に係る支援装置３０においては、学習モデルを用いて推定部３２により推定された教師データに付与されるべきラベルが提示部３３により提示される。そのため、使用者は、教師データに付与されるべきラベルを受付部３４に指定する際に、提示部３３により提示されたラベルを参照することができる。また、使用者は、集中力の低下または疲労等により誤った指定を行った場合でも、容易に誤りに気付くことができる。これにより、使用者の負担を軽減しつつ正確な教師データを作成することが可能になる。

［２］第２の実施の形態
（１）支援システムの構成
第２の実施の形態に係る支援装置３０について、第１の実施の形態に係る支援装置３０と異なる点を説明する。図６は、本発明の第２の実施の形態に係る支援装置３０の構成を示す図である。図２に示すように、支援装置３０は、取得部３１、推定部３２、提示部３３、受付部３４および付与部３５に加えて、判定部３６、報知部３７および更新部３８を機能部としてさらに含む。図１のＣＰＵ１１がＲＯＭ１３または記憶装置１４等に記憶された支援プログラムを実行することにより、支援装置３０の機能部が実現される。支援装置３０の機能部の一部または全てが電子回路等のハードウエアにより実現されてもよい。

判定部３６は、推定部３２により推定されたラベルと、受付部３４により受け付けられたラベルとが異なるか否かを判定する。報知部３７は、判定部３６によりラベルが異なると判定された場合に報知を行う。本例では、受付部３４により受け付けられたラベルが推定部３２により推定されたラベルと異なる旨の文章が表示装置１６に表示されることにより報知が行われる。使用者は、報知を認識することにより、指定したラベルが正しいか否かを再度判断する機会を得ることができる。

報知は表示装置１６を用いて行われるが、実施の形態はこれに限定されない。例えば、支援システム１００が音声出力装置を含む場合には、受付部３４により受け付けられたラベルが推定部３２により推定されたラベルと異なる旨の内容を示す音声、またはブザー等の警告音が出力されることにより報知が行われてもよい。あるいは、支援システム１００がランプ等の表示灯を含む場合には、表示灯が点灯、消灯または点滅されることにより報知が行われてもよい。

提示部３３は、判定部３６によりラベルが異なると判定された場合に、判定の根拠を提示する。この場合、使用者は、提示された根拠を考慮して、付与すべきラベルについて再度の判断を行うことができる。本例では、教師データに基づく画像の部分が視認可能に表示装置１６に表示されることにより、判定部３６による判定の根拠が提示される。この構成によれば、使用者は、付与すべきラベルについて再度の判断を行う場合において、考慮すべき画像の部分を容易に認識することができる。

報知部３７により報知が行われた場合、使用者は、指示したラベルが正しいか否かを再度判断する。その結果、使用者は、指示したラベルは誤りであると判断した場合には、教師データに付与されるべきラベルを受付部３４に再度指示することができる。一方、使用者は、指定したラベルは正しいと判断した場合には、操作部１５を操作することにより、指定したラベルを付与することを付与部３５に指示することができる。

付与部３５は、受付部３４により受け付けられたラベルが推定部３２により推定されたラベルと異なる場合でも、使用者による指示に応答して、受付部３４により受け付けられたラベルを教師データに付与する。更新部３８は、使用者による指示に応答して、受付部３４により受け付けられたラベルと、当該ラベルに対応する教師データとに基づいて、記憶装置１４に記憶された学習モデルを更新する。これにより、以降の支援処理において、推定部３２は教師データについてより正確なラベルを推定することが可能になる。

（２）表示装置による表示
図７は、図６の表示装置１６に表示されるラベル指定画面４０の一例を示す図である。図７のラベル指定画面４０が図３のラベル指定画面４０と異なるのは以下の点である。本実施の形態においては、図６の推定部３２により推定されたラベルおよび評価された信頼度がラベル指定画面４０に表示されない。そのため、選択画像表示領域４１には、推定ラベル表示部４１ｃが表示されない。また、ラベル情報表示領域４５には、表４５ｃが表示されない。

ラベル指定画面４０において、使用者は、各教師データを順次選択し、選択された教師データについて付与すべきラベルを指定する。ここで、指定されたラベルが推定部３２により推定されたラベルと異なると判定された場合には、その旨を提示する報知画面が表示装置１６に表示される。

図８は、図６の表示装置１６に表示される報知画面の一例を示す図である。図８に示すように、報知画面５０は、文章表示領域５１、画像表示領域５２、再指定ボタン５３および付与ボタン５４を含む。文章表示領域５１には、例えば推定されたラベルとは異なるラベルが指定されたことを示す文章、および使用者に再度の判断を促す文章が表示される。

画像表示領域５２には、推定されたラベルとは異なるラベルが指定された教師データに基づく画像が表示される。画像においては、指定されたラベルが推定されたラベルとは異なると判定された根拠となる部分が視認可能に示される。本例では、Ｇｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）等により画像の該当部分にマーキング５２ａが付されることにより、根拠となる部分が視認可能に示される。また、画像表示領域５２には、教師データの識別番号、推定されたラベルおよび信頼度、ならびに指定されたラベルがさらに表示される。

使用者は、再度の判断の結果、自己の判断に誤りがあると考えた場合には、図６の操作部１５を用いて再指定ボタン５３を操作することによりラベルの再指定を指示する。この場合、表示装置１６に図７のラベル指定画面４０が再度表示される。これにより、判断対象の教師データについて、付与すべきラベルを再度指定することができる。

一方、使用者は、再度の判断の結果、自己の判断に誤りがないと考えた場合には、操作部１５を用いて付与ボタン５４を操作することによりラベルの付与を指示する。これにより、指定されたラベルが推定されたラベルとは異なる場合でも、指定されたラベルが教師データに付与される。また、指定されたラベルと教師データとに基づいて、図６の記憶装置１４に記憶された学習モデルが更新される。

（３）支援処理
図９は、図６の支援装置３０による支援処理を示すフローチャートである。図９の支援処理は、図１のＣＰＵ１１がＲＯＭ１３または記憶装置１４等に記憶された支援プログラムをＲＡＭ１２上で実行することにより行われる。以下、図６の支援装置３０、図７のラベル指定画面４０、図８の報知画面５０および図９のフローチャートを用いて支援処理を説明する。

まず、取得部３１は、複数の教師データを検査装置２０から順次取得する（ステップＳ３１）。これにより、表示装置１６にラベル指定画面４０が表示される。次に、推定部３２は、いずれかの教師データが選択されたか否かを判定する（ステップＳ３２）。教師データが選択されない場合、推定部３２はステップＳ４３に進む。教師データが選択された場合、推定部３２は、選択された教師データに付与されるべきラベルを学習モデルに基づいて推定する（ステップＳ３３）。また、推定部３２は、ステップＳ３３で推定されたラベルの信頼度を学習モデルに基づいて評価する（ステップＳ３４）。

続いて、受付部３４は、ステップＳ３２で選択された教師データについて、ラベルの指定が受け付けられたか否かを判定する（ステップＳ３５）。ラベルの指定が受け付けられない場合、受付部３４はステップＳ４３に進む。ラベルの指定が受け付けられた場合、判定部３６は、ステップＳ３５で受け付けられたラベルと、ステップＳ３３で推定されたラベルとが異なるか否かを判定する（ステップＳ３６）。なお、ステップＳ３３，Ｓ３４は、ステップＳ３５とステップＳ３６との間に実行されてもよい。

ラベルが異ならない場合、付与部３５は、受け付けられたラベルをステップＳ３２で選択された教師データに付与し（ステップＳ３７）、ステップＳ４３に進む。ラベルが異なる場合、報知部３７は、表示装置１６に報知画面５０を表示することにより報知を行う（ステップＳ３８）。報知画面５０には、ステップＳ３３で推定されたラベルおよびステップＳ３４で評価された信頼度がさらに表示されてもよい。

その後、受付部３４は、ラベルの再指定が指示されたか否かを判定する（ステップＳ３９）。ラベルの再指定が指示された場合、受付部３４はステップＳ３２に戻る。この場合、表示装置１６にラベル指定画面４０が再度表示される。これにより、使用者は任意の教師データを選択し、選択された教師データについてラベルの再指定を行うことができる。

ラベルの再指定が指示されない場合、付与部３５は、ラベルの付与が指示されたか否かを判定する（ステップＳ４０）。ラベルの付与が指示されない場合、付与部３５はステップＳ３９に戻る。ラベルの再指定が指示されるか、ラベルの付与が指示されるまでステップＳ３９，Ｓ４０の処理が繰り返される。

ラベルの付与が指示された場合、付与部３５は、ステップＳ３５で受け付けられたラベルと、ステップＳ３３で推定されたラベルとが異なる場合でも、ステップＳ３５で受け付けられたラベルを教師データに付与する（ステップＳ４１）。また、更新部３８は、ステップＳ４１でラベルが付与された教師データと、当該ラベルとに基づいて学習モデルを更新する（ステップＳ４２）。

最後に、付与部３５は、終了が指示されたか否かを判定する（ステップＳ４３）。使用者は、操作部１５を用いて所定の操作を行うことにより終了または続行を指示することができる。終了が指示されていない場合、付与部３５はステップＳ３２に戻る。したがって、ラベルが付与されていない教師データが残っている場合、または一度付与されたラベルを変更する場合、使用者は、続行を指示することとなる。終了が指示された場合、付与部３５は支援処理を終了する。

（４）効果
本実施の形態に係る支援装置３０においては、使用者により指定されたラベルが学習モデルを用いて推定部３２により推定されたラベルと異なると判定部３６により判定された場合には、報知部３７により報知が行われる。そのため、使用者は、集中力の低下または疲労等により誤った指定を行った場合でも、容易に誤りに気付くことができる。また、使用者が指定に誤りがないと判断した場合には、推定されたラベルと異なるラベルが付与部３５により教師データに付与される。これにより、使用者の負担を軽減しつつ正確な教師データを作成することが可能になる。

［３］他の実施の形態
（１）上記実施の形態において、支援システム１００は、基板を検査するための検査装置２０を含み、基板の画像を示す教師データの作成の支援に用いられるが、実施の形態はこれに限定されない。支援システム１００は、他の教師データの作成の支援に用いられてもよい。また、教師データは画像を示す画像データを含むが、実施の形態はこれに限定されない。教師データは、例えば音声を再生する音声データであってもよい。

（２）上記実施の形態において、教師データが２種類に分類され、分類された教師データの各々にラベル「ＯＫ」または「ＮＧ」が付与されるが、実施の形態はこれに限定されない。教師データは、３種類以上に分類され、分類された教師データの各々にラベルが付与されてもよい。

また、第２の実施の形態において、学習モデルは分類問題を学習することにより構築されるが、実施の形態はこれに限定されない。学習モデルは回帰問題を学習することにより構築されてもよい。この場合、推定部３２は第１のラベルを第１のスコアとして推定し、受付部３４は第２のラベルを第２のスコアとして受け付ける。また、判定部３６は、第１のスコアと第２のスコアとの差が予め定められたしきい値以上である場合に第１のラベルと第２のラベルとが異なると判定する。

（３）上記実施の形態において、推定部３２は推定されたラベルの信頼度を評価するが、実施の形態はこれに限定されない。推定部３２は推定されたラベルの信頼度を評価しなくてもよい。この場合、第１の実施の形態においては、複数のサムネイル画像は、信頼度の順序ではなく、例えば識別番号の順序で画像リスト表示領域４３に表示される。

（４）第２の実施の形態において、提示部３３は、ラベルが異なると判定された場合、画像の部分を提示することにより判定の根拠を提示するが、実施の形態はこれに限定されない。提示部３３は、文章または音声等により判定の根拠を提示してもよい。あるいは、提示部３３は、判定の根拠を提示しなくてもよい。

（５）第２の実施の形態において、使用者により指定されたラベルと、当該ラベルが指定されたラベルに対応する教師データとに基づいて学習モデルが更新されるが、実施の形態はこれに限定されない。学習モデルは更新されなくてもよい。この場合、支援装置３０は更新部３８を含まない。

［４］請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各要素との対応の例について説明するが、本発明は下記の例に限定されない。請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。

上記実施の形態においては、支援装置３０が教師データ作成支援装置の例であり、推定部３２が推定部の例であり、提示部３３が提示部の例であり、受付部３４が受付部の例であり、判定部３６が判定部の例である。報知部３７が報知部の例であり、更新部３８が更新部の例であり、表示装置１６が表示装置の例であり、支援システム１００が教師データ作成支援システムの例である。

１０…処理装置，１１…ＣＰＵ，１２…ＲＡＭ，１３…ＲＯＭ，１４…記憶装置，１５…操作部，１６…表示装置，１７…入出力Ｉ／Ｆ，１８…バス，２０…検査装置，３０…支援装置，３１…取得部，３２…推定部，３３…提示部，３４…受付部，３５…付与部，３６…判定部，３７…報知部，３８…更新部，４０…ラベル指定画面，４１…選択画像表示領域，４１ａ…全体画像表示部，４１ｂ…拡大画像表示部，４１ｃ…推定ラベル表示部，４２…画像選択領域，４２ａ，４２ｂ…操作ボタン，４３…画像リスト表示領域，４３ａ…カーソル，４４…基本情報表示領域，４５…ラベル情報表示領域，４５ａ，４５ｂ…チェックボックス，４５ｃ…表，５０…報知画面，５１…文章表示領域，５２…画像表示領域，５２ａ…マーキング，５３…再指定ボタン，５４…付与ボタン，１００…支援システム

Claims (14)

1. 教師データへのラベルの付与を支援する教師データ作成支援装置であって、
   前記教師データに付与されるべきラベルを予め用意された学習モデルを用いて第１のラベルとして推定する推定部と、
   前記推定部により推定された前記第１のラベルを提示する提示部と、
   前記教師データに付与されるべきラベルを第２のラベルとして受け付ける受付部とを備える、教師データ作成支援装置。
2. 前記推定部は、推定された前記第１のラベルの信頼度を評価し、
   前記提示部は、前記推定部により評価された前記信頼度をさらに提示する、請求項１記載の教師データ作成支援装置。
3. 前記推定部は、複数の前記教師データにそれぞれ付与されるべき複数の前記第１のラベルを推定するとともに、推定された各第１のラベルの前記信頼度を評価し、
   前記提示部は、前記推定部により推定された複数の前記第１のラベルを前記信頼度の順序で提示する、請求項２記載の教師データ作成支援装置。
4. 前記教師データは画像を示す画像データを含み、
   前記提示部は、前記第１のラベルと対応するように前記教師データに基づく画像をさらに提示する、請求項１～３のいずれか一項に記載の教師データ作成支援装置。
5. 教師データへのラベルの付与を支援する教師データ作成支援装置であって、
   前記教師データに付与されるべきラベルを予め用意された学習モデルを用いて第１のラベルとして推定する推定部と、
   前記教師データに付与されるべきラベルを第２のラベルとして受け付ける受付部と、
   前記第１のラベルと前記第２のラベルとが異なるか否かを判定する判定部と、
   前記判定部により前記第１のラベルと前記第２のラベルとが異なると判定された場合に報知を行う報知部と、
   使用者による指示に応答して、前記第１のラベルと異なる前記第２のラベルを前記教師データに付与する付与部とを備える、教師データ作成支援装置。
6. 前記判定部により前記第１のラベルと前記第２のラベルとが異なると判定された場合に判定の根拠を示す提示部をさらに備える、請求項５記載の教師データ作成支援装置。
7. 前記教師データは画像を示す画像データを含み、
   前記提示部は、前記教師データに基づく画像の部分を視認可能に示すことにより前記判定の根拠を示す、請求項６記載の教師データ作成支援装置。
8. 前記提示部は、前記教師データに基づく画像を提示し、
   前記受付部は、前記提示部により提示された画像を示す前記教師データについて前記第２のラベルを受け付ける、請求項７記載の教師データ作成支援装置。
9. 前記推定部は前記第１のラベルを第１のスコアとして推定し、
   前記受付部は、前記第２のラベルを第２のスコアとして受け付け、
   前記判定部は、前記第１のスコアと前記第２のスコアとの差が予め定められたしきい値以上である場合に前記第１のラベルと前記第２のラベルとが異なると判定する、請求項５～７のいずれか一項に記載の教師データ作成支援装置。
10. 使用者による指示に応答して、前記第２のラベルと、当該第２のラベルに対応する前記教師データに基づいて学習モデルを更新する更新部をさらに備える、請求項１～９のいずれか一項に記載の教師データ作成支援装置。
11. 請求項１～４のいずれか一項に記載の教師データ作成支援装置と、
    前記教師データ作成支援装置の前記提示部により提示される前記第１のラベルを表示する表示装置とを備える、教師データ作成支援システム。
12. 請求項６～８のいずれか一項に記載の教師データ作成支援装置と、
    前記教師データ作成支援装置の前記提示部により提示される前記判定の根拠を表示する表示装置とを備える、教師データ作成支援システム。
13. 教師データへのラベルの付与を支援する教師データ作成支援方法であって、
    前記教師データに付与されるべきラベルを予め用意された学習モデルを用いて第１のラベルとして推定するステップと、
    推定された前記第１のラベルを提示するステップと、
    前記教師データに付与されるべきラベルを第２のラベルとして受け付けるステップとを含む、教師データ作成支援方法。
14. 教師データへのラベルの付与を支援する教師データ作成支援方法であって、
    前記教師データに付与されるべきラベルを予め用意された学習モデルを用いて第１のラベルとして推定するステップと、
    前記教師データに付与されるべきラベルを第２のラベルとして受け付けるステップと、
    前記第１のラベルと前記第２のラベルとが異なるか否かを判定するステップと、
    前記第１のラベルと前記第２のラベルとが異なると判定された場合に報知を行うステップと、
    使用者による指示に応答して、前記第１のラベルと異なる前記第２のラベルを前記教師データに付与するステップとを含む、教師データ作成支援方法。

Images