JP2021111279A

JP2021111279A - ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置

Info

Publication number: JP2021111279A
Application number: JP2020004662A
Authority: JP
Inventors: 佑介林; Yusuke Hayashi
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2020-01-15
Filing date: 2020-01-15
Publication date: 2021-08-02
Anticipated expiration: 2040-01-15
Also published as: JP7422548B2

Abstract

【課題】ラベルノイズを効率的に検出する。【解決手段】画像分類における学習対象の画像となる学習画像と、学習画像に対応する教師ラベルと、を含む画像データセットを用いて、教師ラベルのノイズを検出するラベルノイズ検出装置において実行されるラベルノイズ検出プログラムであって、画像データセットを用いて、学習モデルの学習を行い（ステップＳ１）、学習済みの学習モデルを用いて学習画像をクラス分類し、クラス分類の結果に基づいて学習画像に付される出力ラベル及び尤度を取得し、出力ラベル、尤度及び教師ラベルに基づいて、教師ラベルが付け間違いであるか否かを判定し、教師ラベルの付け間違いであると判定された学習画像を含む画像データセットを、ラベルノイズデータセットとして抽出する（ステップＳ２）こと、を実行する。【選択図】図４

Description

本開示は、ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置に関する。

画像分類の学習で用いられる学習画像には、正解となる教師ラベルが付されている。教師ラベルは、アノテーション作業によって学習画像に付されるが、このとき、学習画像に誤った教師ラベルが付与される場合がある。学習画像に付与された誤った教師ラベルはラベルノイズと呼ばれる。ラベルノイズを含む学習データを用いて学習を行うと、画像分類の学習精度が低下する可能性がある。

ここで、画像分類の学習に関する装置として、例えば、特許文献１に示す情報処理装置が知られている。特許文献１の情報処理装置は、学習データの特徴量に基づいて、学習データが属するクラスを特定し、特定したクラスとクラスに対する信頼度とに応じた位置に学習データの画像が配置された、学習データの分布図を表示している。

特開２０１８−１４２０９７号公報

特許文献１の情報処理装置は、信頼度に応じた位置に学習データの画像を配置するものの、ラベルノイズを検出するものではない。

本開示は、ラベルノイズを効率的に検出することができるラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置を提供することを目的とする。

態様の１つに係るラベルノイズ検出プログラムは、画像分類における学習対象の画像となる学習画像と、前記学習画像に対応する教師ラベルと、を含む画像データセットを用いて、前記教師ラベルのノイズを検出するラベルノイズ検出装置において実行されるラベルノイズ検出プログラムであって、前記画像データセットを用いて、学習モデルの学習を行い、学習済みの前記学習モデルを用いて前記学習画像をクラス分類し、クラス分類の結果に基づいて前記学習画像に付される出力ラベル及び尤度を取得し、前記出力ラベル、前記尤度及び前記教師ラベルに基づいて、前記教師ラベルが付け間違いであるか否かを判定し、前記教師ラベルの付け間違いであると判定された前記学習画像を含む前記画像データセットを、ラベルノイズデータセットとして抽出すること、を実行する。

態様の１つに係るラベルノイズ検出方法は、画像分類における学習対象の画像となる学習画像と、前記学習画像に対応する教師ラベルと、を含む画像データセットを用いて、前記教師ラベルのノイズを検出するラベルノイズ検出方法であって、前記画像データセットを用いて、学習モデルの学習を行い、学習済みの前記学習モデルを用いて前記学習画像をクラス分類し、クラス分類の結果に基づいて前記学習画像に付される出力ラベル及び尤度を取得し、前記出力ラベル、前記尤度及び前記教師ラベルに基づいて、前記教師ラベルが付け間違いであるか否かを判定し、前記教師ラベルの付け間違いであると判定された前記学習画像を含む前記画像データセットを、ラベルノイズデータセットとして抽出すること、を実行する。

態様の１つに係るラベルノイズ検出装置は、画像分類における学習対象の画像となる学習画像と、前記学習画像に対応する教師ラベルと、を含む画像データセットを用いて、前記教師ラベルのノイズを検出するラベルノイズ検出装置であって、前記画像データセットを用いて、学習モデルの学習を行い、学習済みの前記学習モデルを用いて前記学習画像をクラス分類し、クラス分類の結果に基づいて前記学習画像に付される出力ラベル及び尤度を取得し、前記出力ラベル、前記尤度及び前記教師ラベルに基づいて、前記教師ラベルが付け間違いであるか否かを判定し、前記教師ラベルの付け間違いであると判定された前記学習画像を含む前記画像データセットを、ラベルノイズデータセットとして抽出すること、を実行する処理部を備える。

本開示によれば、ラベルノイズを効率的に検出することができる。

図１は、実施形態に係るラベルノイズ検出装置の概要を示す図である。図２は、画像データセットにおいて教師ラベルが付された学習画像の一例を示す図である。図３は、画像データセットにおいて出力ラベルが付された学習画像の一例を示す図である。図４は、ラベルノイズ検出装置のラベルノイズ検出に関する処理の一例を示す図である。図５は、画像分類された画像データセットの表示の一例を示す図である。

本開示に係る実施形態を、図面を参照しつつ詳細に説明する。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。また、本開示に係る実施形態を説明する上で密接に関連しない事項は、説明及び図示を省略することがある。なお、以下の実施形態により本開示が限定されるものではない。また、以下の実施形態には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。

（実施形態）
図１は、実施形態に係るラベルノイズ検出装置の概要を示す図である。ラベルノイズ検出装置１は、画像データセットＤに含まれるラベルノイズを検出し、検出したラベルノイズを修正する装置となっている。ラベルノイズ検出装置１は、ＣＮＮ（Convolutional Neural Network）等の学習モデルを用いた画像分類を実行して、ラベルノイズを検出している。画像分類とは、画像のクラス分類（クラス推論）を実行することで、何れのクラスであるかを判別して、画像が示すクラスを識別するための識別子（ラベル）を付すことで、画像をラベルごとに分類することである。なお、ラベルノイズ検出装置１は、学習モデルを用いた画像分類に特に限定されず、学習モデルを用いた画像分類により物体を検知する物体検知に適用してもよい。ここで、ラベルノイズ検出装置１の説明に先立ち、図２を参照して、画像データセットＤについて説明する。

図２は、画像データセットにおいて教師ラベルが付された学習画像の一例を示す図である。画像データセットＤは、画像分類における学習対象の画像となる学習画像Ｇと、学習画像Ｇに対応する教師ラベルＴとを含んでいる。また、画像データセットＤは、教師ラベルＴが付された学習画像Ｇを複数枚含んだものとなっている。教師ラベルＴは、学習画像Ｇに含まれる物体を識別するラベルであり、正しい（正解の）ラベルである。図２に示すように、画像データセットＤの一例として、学習画像Ｇに含まれる物体は、車であり、正しい教師ラベルＴは、車である。教師ラベルＴは、学習画像Ｇに対して、人的なアノテーション作業によって付される。教師ラベルＴは、誤ったラベルが付される場合がある。学習画像Ｇに付与された誤った教師ラベルＴはラベルノイズとなる。ラベルノイズを含む画像データセットＤは、ラベルノイズデータセットＤｎとなる。図２に示すように、ラベルノイズデータセットＤｎの一例として、学習画像Ｇに含まれる物体は、車であり、誤った教師ラベルＴは、人である。

図１を参照して、ラベルノイズ検出装置１について説明する。ラベルノイズ検出装置１は、入力部３と、出力部４と、制御部（処理部）５と、記憶部６とを備えている。

入力部３は、キーボード、マウス等の操作入力デバイスと、マイク等の音声入力デバイスとを含んで構成されている。入力部３は、操作者によって入力操作が行われることで入力信号を生成し、入力信号を制御部５へ向けて出力する。

出力部４は、ディスプレイ等の表示デバイスと、スピーカ等の音声出力デバイスとを含んで構成されている。出力部４は、制御部５において処理された処理結果としての出力信号を受信する。出力部４は、出力信号に基づいて、表示デバイスに表示画面を表示したり、音声出力デバイスから音声を出力したりする。

記憶部６は、プログラム及びデータを記憶する。また、記憶部６は、制御部５の処理結果を一時的に記憶する作業領域としても利用してもよい。記憶部６は、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含んでよい。また、記憶部６は、複数の種類の記憶デバイスを含んでよい。また、記憶部６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。

記憶部６は、プログラムとして、ラベルノイズ検出プログラムＰを含む。ラベルノイズ検出プログラムＰは、ラベルノイズを検出するためのプログラムである。また、記憶部６は、データとして、上記の画像データセットＤを含む。画像データセットＤは、アノテーション済みのデータであり、一例として、図２に示す画像データセットＤとなっている。

制御部５は、ラベルノイズ検出装置１の動作を統括的に制御して各種の機能を実現する。制御部５は、例えば、ＣＰＵ（Central Processing Unit）等の集積回路を含んでいる。具体的に、制御部５は、記憶部６に記憶されているプログラムに含まれる命令を実行することによって各種機能を実現する。制御部５は、例えば、ラベルノイズ検出プログラムＰを実行することにより、画像データセットＤに含まれるラベルノイズデータセットＤｎを検出する。

次に、図３及び図４を参照して、画像データセットＤを用いたラベルノイズ検出装置１のラベルノイズ検出に関する処理について説明する。図３は、画像データセットにおいて出力ラベルが付された学習画像の一例を示す図である。図４は、ラベルノイズ検出装置のラベルノイズ検出に関する処理の一例を示す図である。

なお、本実施形態のラベルノイズ検出では、教師ラベルＴが車である場合を正とし、教師ラベルＴが車でない場合を誤として、２クラスに分類する場合を例にして説明する。

先ず、制御部５は、アノテーション済みの画像データセットＤを用いて、学習モデルの学習を実行する（ステップＳ１）。学習モデルの学習では、浅い学習を実行する。つまり、画像データセットＤには、ラベルノイズデータセットＤｎが含まれていることから、ラベルノイズに過剰にフィッティングしないように、浅い学習を実行する。なお、浅い学習としては、例えば、学習回数が一回である。

また、制御部５は、学習モデルの学習において、学習モデルに含まれる損失関数の値が最小となるように学習を行っている。損失関数としては、平均絶対誤差（ＭＡＥ：Mean Absolute Error）が適用される。

制御部５は、ステップＳ１の実行後、ラベルノイズデータセットＤｎを抽出して選定する（ステップＳ２）。具体的に、制御部５は、ステップＳ２において、ステップＳ１での学習済みの学習モデルを用いて、学習画像Ｇを画像分類（クラス分類）する。制御部５は、画像分類の結果として、学習画像Ｇに付される出力ラベルＯ及び尤度を取得する。ここで、図３を参照して、画像分類によって取得された、出力ラベルＯが付された学習画像Ｇについて説明する。

図３に示すように、学習画像Ｇには、学習済みの学習モデルによる画像分類の結果として付された出力ラベルＯと尤度とが対応付けられる。学習画像Ｇに含まれる物体は、車であり、出力ラベルＯは、車である。このため、図３では、学習画像Ｇに対して正しい出力ラベルＯが付されたものとなっている。また、学習画像Ｇには、出力ラベルＯに対する尤度ｉが対応付けられている。尤度ｉとは、出力ラベルＯのもっともらしさ（確からしさ）の度合いである。

制御部５は、画像分類の実行後、画像データセットＤの学習画像Ｇに付されている教師ラベルＴ（図２参照）と、画像分類によって学習画像Ｇに付された出力ラベルＯ（図３参照）とを比較して、ラベルが一致するか否かを判定する。制御部５は、判定の結果、教師ラベルＴと出力ラベルＯとが一致する場合、ラベルノイズがない、つまりクリーンであると判定する。一方で、制御部５は、判定の結果、教師ラベルＴと出力ラベルＯとが一致していない場合、ラベルノイズがある、つまり教師ラベルＴが付け間違いであると判定する。そして、制御部５は、ラベルノイズがあると判定された画像データセットＤを、ラベルノイズデータセットＤｎとして抽出する。

制御部５は、抽出したラベルノイズデータセットＤｎの中から、尤度に基づいて、所定のラベルノイズデータセットＤｎを選定する。尤度に基づくラベルノイズデータセットＤｎの選定としては、一例として、しきい値を用いた選定を行っている。制御部５は、ラベルノイズデータセットＤｎの学習画像Ｇに付された尤度ｉが、予め規定した尤度ｉのしきい値以上であるか否かを判定する。制御部５は、尤度ｉがしきい値以上となるラベルノイズデータセットＤｎを選定する。一方で、制御部５は、尤度ｉがしきい値よりも小さいラベルノイズデータセットＤｎを選定しない。

なお、尤度に基づくラベルノイズデータセットＤｎの選定は、上記の選定に特に限定されない。尤度に基づくラベルノイズデータセットＤｎの選定としては、他の一例として、尤度の高い順から選定してもよい。制御部５は、ラベルノイズデータセットＤｎの学習画像Ｇに付された尤度ｉの高い順から、所定の数のラベルノイズデータセットＤｎを選定する。所定の数は、任意であるが、例えば、後述する出力ラベルＯの付け替えにおいて、アノテーション作業が可能な数である。

制御部５は、ステップＳ２の実行後、選定したラベルノイズデータセットＤｎの出力ラベルＯを付け替える（ステップＳ３）。具体的に、制御部５は、ステップＳ２の実行後、出力部４に、選定したラベルノイズデータセットＤｎの情報を出力する。操作者は、出力されたラベルノイズデータセットＤｎの情報に基づいて、付け替える正しい出力ラベルＯの情報を、入力部３を介して入力する。制御部５は、入力部３から入力された入力情報に基づいて、ラベルノイズデータセットＤｎの出力ラベルＯを付け替える。

制御部５は、ステップＳ３の実行後、付け替え後のラベルノイズデータセットＤｎを、新たな画像データセットＤとして更新する（ステップＳ４）。制御部５は、ステップＳ４を実行することで、付け替え後の出力ラベルＯを、教師ラベルＴとして設定する。制御部５は、ステップＳ４の実行後、ラベルノイズの除去が完了したか否かを判定する（ステップＳ５）。制御部５は、ステップＳ５における判定として、例えば、ステップＳ２において、ラベルノイズデータセットＤｎの抽出がされなかった場合、ラベルノイズの除去が完了したと判定してもよい。また、制御部５は、ステップＳ５における判定として、例えば、ステップＳ２において抽出されるラベルノイズデータセットＤｎの尤度ｉがしきい値よりも小さい場合、ラベルノイズの除去が完了したと判定してもよい。ラベルノイズの除去が完了したか否かの判定は、特に限定されない。

制御部５は、ステップＳ５において、ラベルノイズの除去が完了したと判定する（ステップＳ５：Ｙｅｓ）と、ラベルノイズ検出に関する処理を終了する。一方で、制御部５は、ステップＳ５において、ラベルノイズの除去が完了していないと判定する（ステップＳ５：Ｎｏ）と、再び、ステップＳ１に進み、更新後の画像データセットＤを用いたラベルノイズ検出に関する処理を実行する。このため、制御部５は、ラベルノイズの除去が完了するまで、ステップＳ１からステップＳ５を繰り返し実行する。

ここで、制御部５は、ステップＳ２において画像分類された画像データセットＤを、図５に示すようなヒストグラム分布として出力部４に表示してもよい。図５は、画像分類された画像データセットの表示の一例を示す図である。図５は、その横軸が尤度（クラス尤度）となっており、その縦軸が学習画像Ｇの枚数となっている。図５の横軸において、尤度は、例えば、０から１の間で、０．１毎に刻まれており、１０等分に分けられている。なお、図５の横軸に尤度の分割数及び間隔は、上記に特に限定されない。また、図５では、画像分類された画像データセットＤとして、ｃａｒ＿クリーンの画像データセットＤ、Ｐｅｄ＿クリーンの画像データセットＤ、及びＰｅｄ＿ノイズの画像データセットＤを含む。ｃａｒ＿クリーンの画像データセットＤは、教師ラベルＴと出力ラベルＯとが車で一致した画像データセットＤである。Ｐｅｄ＿クリーンの画像データセットＤは、教師ラベルＴと出力ラベルＯとが人で一致した画像データセットＤである。Ｐｅｄ＿ノイズの画像データセットＤは、教師ラベルＴと出力ラベルＯとが人で一致しない画像データセットＤ（ラベルノイズデータセットＤｎ）である。

制御部５は、ステップＳ１における学習後の学習モデルにより、ラベルノイズデータセットＤｎを含む画像データセットＤを画像分類する。制御部５は、画像分類の結果に基づき、尤度ｉに対応付けて学習画像Ｇの枚数を積算することで、図５に示すようなヒストグラム分布を、出力部４に表示する。図５に示すように、浅い学習を行った学習モデルを用いた画像分類では、ラベルノイズデータセットＤｎ（Ｐｅｄ＿ノイズの画像データセットＤ）の出力ラベルＯが高い尤度（例えば、１）で付される。

以上のように、実施形態に係るラベルノイズ検出では、図２に示す教師ラベルＴと、図３に示す出力ラベルＯ及び尤度ｉとに基づいて、画像データセットＤの中から、ラベルノイズデータセットＤｎを抽出することができる。この実施形態によれば、画像データセットＤの中から、ラベルノイズを効率的に検出することができる。

また、実施形態に係るラベルノイズ検出では、ラベルノイズデータセットＤｎの抽出後、学習画像Ｇに付された尤度ｉが、予め規定した尤度ｉのしきい値以上であるか否かを判定し、しきい値以上となる学習画像Ｇに対応付けられた教師ラベルＴを含むラベルノイズデータセットＤｎを選定する。この実施形態によれば、ラベルノイズデータセットＤｎの抽出数が多い場合であっても、尤度ｉの高いラベルノイズデータセットＤｎを選定することができる。よって、ステップＳ３における出力ラベルＯの付け替え作業を軽減することができる。

また、実施形態に係るラベルノイズ検出では、ラベルノイズデータセットＤｎの抽出後、学習画像Ｇに付された尤度ｉの高い順から、所定の数となる学習画像Ｇに対応付けられた教師ラベルＴを含むラベルノイズデータセットＤｎを選定する。この実施形態によれば、ラベルノイズデータセットＤｎの抽出数が多い場合であっても、尤度ｉの高い順から所定の数だけラベルノイズデータセットＤｎを選定することができる。よって、ステップＳ３における出力ラベルＯの付け替え作業を軽減することができる。

また、実施形態に係るラベルノイズ検出では、選定したラベルノイズデータセットＤｎの教師ラベルＴを、ラベルノイズ検出装置１に入力された入力情報に基づく出力ラベルＯに付け替える。この実施形態によれば、付け替え後の出力ラベルＯを、正しい教師ラベルＴとして更新することができるため、ラベルノイズが浄化された画像データセットＤにすることができる。

また、実施形態に係るラベルノイズ検出では、教師ラベルＴの出力ラベルＯへの付け替え後の学習画像Ｇを含む画像データセットＤを用いて、学習モデルの学習を行うことから、出力ラベルＯに付け替えることまでを、繰り返し実行する。この実施形態によれば、繰り返し回数を重ねるごとにラベルノイズを浄化することができるため、ラベルノイズがより浄化された画像データセットＤにすることができる。

また、実施形態に係るラベルノイズ検出では、学習モデルの学習において、学習モデルに含まれる損失関数の値が最小となるように学習を行っており、損失関数は、平均絶対誤差（ＭＡＥ：Mean Absolute Error）である。この実施形態によれば、損失関数としてＭＡＥを用いることにより、ラベルノイズの浄化を効率よく行うことができる。

１ラベルノイズ検出装置
３入力部
４出力部
５制御部
６記憶部
Ｐラベルノイズ検出プログラム
Ｄ画像データセット
Ｄｎラベルノイズデータセット
Ｇ学習画像
Ｔ教師ラベル
Ｏ出力ラベル
ｉ尤度

Claims

画像分類における学習対象の画像となる学習画像と、前記学習画像に対応する教師ラベルと、を含む画像データセットを用いて、前記教師ラベルのノイズを検出するラベルノイズ検出装置において実行されるラベルノイズ検出プログラムであって、
前記画像データセットを用いて、学習モデルの学習を行い、
学習済みの前記学習モデルを用いて前記学習画像をクラス分類し、クラス分類の結果に基づいて前記学習画像に付される出力ラベル及び尤度を取得し、
前記出力ラベル、前記尤度及び前記教師ラベルに基づいて、前記教師ラベルが付け間違いであるか否かを判定し、前記教師ラベルの付け間違いであると判定された前記学習画像を含む前記画像データセットを、ラベルノイズデータセットとして抽出すること、を実行するラベルノイズ検出プログラム。
前記ラベルノイズデータセットの抽出後、前記学習画像に付された前記尤度が、予め規定した前記尤度のしきい値以上であるか否かを判定し、前記しきい値以上となる前記学習画像に対応付けられた前記教師ラベルを含む前記ラベルノイズデータセットを選定することを、さらに実行する請求項１に記載のラベルノイズ検出プログラム。
前記ラベルノイズデータセットの抽出後、前記学習画像に付された前記尤度の高い順から、所定の数となる前記学習画像に対応付けられた前記教師ラベルを含む前記ラベルノイズデータセットを選定することを、さらに実行する請求項１に記載のラベルノイズ検出プログラム。
選定した前記ラベルノイズデータセットの前記教師ラベルを、前記ラベルノイズ検出装置に入力された入力情報に基づく前記出力ラベルに付け替えることを、さらに実行する請求項２または３に記載のラベルノイズ検出プログラム。
前記教師ラベルの前記出力ラベルへの付け替え後の前記学習画像を含む前記画像データセットを用いて、前記学習モデルの学習を行うことから、前記出力ラベルに付け替えることまでを、繰り返し実行する請求項４に記載のラベルノイズ検出プログラム。
前記学習モデルの学習において、前記学習モデルに含まれる損失関数の値が最小となるように学習を行っており、前記損失関数は、平均絶対誤差（ＭＡＥ：Mean Absolute Error）である請求項１から５のいずれか１項に記載のラベルノイズ検出プログラム。
画像分類における学習対象の画像となる学習画像と、前記学習画像に対応する教師ラベルと、を含む画像データセットを用いて、前記教師ラベルのノイズを検出するラベルノイズ検出方法であって、
前記画像データセットを用いて、学習モデルの学習を行い、
学習済みの前記学習モデルを用いて前記学習画像をクラス分類し、クラス分類の結果に基づいて前記学習画像に付される出力ラベル及び尤度を取得し、
前記出力ラベル、前記尤度及び前記教師ラベルに基づいて、前記教師ラベルが付け間違いであるか否かを判定し、前記教師ラベルの付け間違いであると判定された前記学習画像を含む前記画像データセットを、ラベルノイズデータセットとして抽出すること、を実行するラベルノイズ検出方法。
画像分類における学習対象の画像となる学習画像と、前記学習画像に対応する教師ラベルと、を含む画像データセットを用いて、前記教師ラベルのノイズを検出するラベルノイズ検出装置であって、
前記画像データセットを用いて、学習モデルの学習を行い、
学習済みの前記学習モデルを用いて前記学習画像をクラス分類し、クラス分類の結果に基づいて前記学習画像に付される出力ラベル及び尤度を取得し、
前記出力ラベル、前記尤度及び前記教師ラベルに基づいて、前記教師ラベルが付け間違いであるか否かを判定し、前記教師ラベルの付け間違いであると判定された前記学習画像を含む前記画像データセットを、ラベルノイズデータセットとして抽出すること、を実行する処理部を備えるラベルノイズ検出装置。