JP2015129988A - データ処理装置 - Google Patents

Abstract

【課題】教師データが適切であるかどうかを再確認する利用者の負担が大きいこと。
【解決手段】データ処理装置は、記憶部と機械学習部と分類部とユーザインターフェイス部とを有する。記憶部は、それぞれがコンテンツと該コンテンツの属するカテゴリを表すラベルとを有する複数の教師データを記憶する。機械学習部は、複数の教師データを使用して分類モデルを生成する。分類部は、分類モデルを使用して複数の教師データのコンテンツが属するカテゴリを決定する。ユーザインターフェイス部は、教師データのコンテンツおよびラベルと分類部が決定したコンテンツが属するカテゴリとを表示部に表示する。
【選択図】図１

Description

本発明は、機械学習に使用する教師データを利用者が作成する作業を支援するデータ処理装置、データ処理方法、およびプログラムに関する。

映像監視、映像解析などの分野では、データ処理装置を使用して、画像データなどのコンテンツを幾つかのカテゴリに機械的に分類することが行われている。例えば、プリント配線基板などの基板の製造工程において、欠陥を有する基板を撮像した画像データを解析して、欠陥の種別に応じたカテゴリに分類することが、本発明に関連する第１の関連技術として提案されている（例えば特許文献１参照）。このような分類を行わせるためには、データ処理装置を学習させる必要がある。そして、データ処理装置を学習させるには、入力となる画像データなどのコンテンツと、出力となるカテゴリの種類を示す入出力ペアの事例である教師データが必要になる。

教師データの生成は、基本的に人手で行われる。しかし、適切な教師データを作成するには多くの時間と労力を必要とする。このため、人手による教師データの作成を支援する装置やシステムが幾つか提案されている。例えば、上記欠陥の種別に応じたカテゴリへの分類に必要な教師データの作成に関して、プリント配線基板の欠陥画像をディスプレイに表示し、この表示した欠陥画像が属すると利用者が考えるカテゴリの入力をキーボードおよびマウスから受け付けることが、本発明に関連する第２の関連技術として提案されている（例えば特許文献２参照）。より詳細には、上記第２の関連技術では、欠陥の大きさや検査対象上の撮像位置に基づいて欠陥画像が配列表示される。表示される欠陥画像には、既にカテゴリが付与されている欠陥画像と未だカテゴリが付与されていない欠陥画像とがあり、カテゴリが付与されている欠陥画像の外枠はそのカテゴリに応じた色で表示される。さらに、カテゴリに属する欠陥画像の特徴量の統計値、検査の際に得られたデータ、画像処理済みの画像、分類対象の欠陥画像に類似する画像や非類似の画像、分類対象となる欠陥画像において特徴量の算出が行われる領域等が、操作者の操作に応じて適宜表示される。

特開２０１１−１５８３７３号公報 特開２００３−３１７０８２号公報

学習に使用する教師データが適切でないと、学習が正しく行われず、データ処理装置の分類精度が低下する。しかるに、人手で生成する教師データには、ごく一部ではあるが、人的ミスにより適切でない教師データが混入する可能性がある。そして、適切でない教師データが一旦混入してしまうと、それを事後的に発見するのは容易でない。

例えば、上記第２の関連技術に示されるように、既にカテゴリが付与されている欠陥画像をその属するカテゴリの識別表示を付与してディスプレイに表示し、操作者が当該欠陥画像に対して付与されているカテゴリが正しいかどうかを再確認することが考えられる。しかしながら、このような方法で数多くの教師データの中から適切でない教師データを発見するには、利用者は多くの時間と労力を必要とする。

本発明の目的は、上述した課題、すなわち、教師データが適切であるかどうかを再確認する利用者の負担が大きい、という課題を解決するデータ処理装置を提供することにある。

本発明の第１の観点に係るデータ処理装置は、
それぞれがコンテンツと該コンテンツの属するカテゴリを表すラベルとを有する複数の教師データを記憶する記憶部と、
上記複数の教師データを使用して分類モデルを生成する機械学習部と、
上記分類モデルを使用して上記複数の教師データの上記コンテンツが属するカテゴリを決定する分類部と、
上記教師データの上記コンテンツおよび上記ラベルと上記分類部が決定した上記コンテンツが属するカテゴリとを表示部に表示するユーザインターフェイス部と
を有する。

本発明の第２の観点に係るデータ処理方法は、
それぞれがコンテンツと該コンテンツの属するカテゴリを表すラベルとを有する複数の教師データを記憶する記憶部を有するデータ処理装置が実行するデータ処理方法であって、
上記複数の教師データを使用して分類モデルを生成し、
上記分類モデルを使用して上記複数の教師データの上記コンテンツが属するカテゴリを決定し、
上記教師データの上記コンテンツおよび上記ラベルと上記分類部が決定した上記コンテンツが属するカテゴリとを表示部に表示する。

本発明の第３の観点に係るプログラムは、
それぞれがコンテンツと該コンテンツの属するカテゴリを表すラベルとを有する複数の教師データを記憶する記憶部を有するコンピュータを、
上記複数の教師データを使用して分類モデルを生成する機械学習部と、
上記分類モデルを使用して上記複数の教師データの上記コンテンツが属するカテゴリを決定する分類部と、
上記教師データの上記コンテンツおよび上記ラベルと上記分類部が決定した上記コンテンツが属するカテゴリとを表示部に表示するユーザインターフェイス部と
して機能させる。

本発明は上述した構成を有するため、教師データが適切であるかどうかを再確認する利用者の負担を軽減することができる。

本発明の第１の実施形態のブロック図である。 本発明の第１の実施形態における教師データの構成例を示す図である。 本発明の第１の実施形態における分類結果の構成例を示す図である。 本発明の第１の実施形態における機械学習部の動作の一例を示すフローチャートである。 本発明の第１の実施形態における分類部の動作の一例を示すフローチャートである。 本発明の第１の実施形態におけるユーザインターフェイス部の動作の一例を示すフローチャートである。 本発明の第１の実施形態における分類結果表示画面の一例を示す図である。 本発明の第２の実施形態のブロック図である。 本発明の第２の実施形態における教師データの構成例を示す図である。 本発明の第２の実施形態における分類結果の構成例を示す図である。 本発明の第２の実施形態における教師データ生成部の動作の一例を示すフローチャートである。 本発明の第２の実施形態における教師データ生成画面の一例を示す図である。 本発明の第２の実施形態における教師データの自動修正動作の一例を示すフローチャートである。 本発明の第２の実施形態における自動修正前の教師データ一例を示す図である。 本発明の第２の実施形態における自動修正後の教師データの一例を示す図である。 本発明の第３の実施形態のブロック図である。 本発明の第３の実施形態におけるユーザインターフェイス部の動作の一例を示すフローチャートである。 本発明の第４の実施形態のブロック図である。 本発明の第４の実施形態における分類結果の構成例を示す図である。 本発明の第４の実施形態における分類部の動作の一例を示すフローチャートである。 本発明の第４の実施形態におけるユーザインターフェイス部の動作の一例を示すフローチャートである。 本発明の第５の実施形態のブロック図である。 本発明の第５の実施形態におけるユーザインターフェイス部の動作の一例を示すフローチャートである。 本発明の第６の実施形態のブロック図である。 本発明の第５の実施形態におけるユーザインターフェイス部の早送り動作の一例を示すフローチャートである。 本発明の第５の実施形態におけるユーザインターフェイス部の巻き戻し動作の一例を示すフローチャートである。 本発明の第６の実施形態のブロック図である。 本発明の第６の実施形態におけるユーザインターフェイス部の動作の一例を示すフローチャートである。 本発明の第６の実施形態において確信度から最大表示時間を決定するテーブルの一例を示す図である。

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態にかかるデータ処理装置１００は、機械学習に使用する教師データの適否を利用者が確認する作業を支援する機能を有している。

このデータ処理装置１００は、主な機能部として、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１１０、操作入力部１２０、画面表示部１３０、記憶部１４０、および演算処理部１５０を有する。

通信Ｉ／Ｆ部１１０は、専用のデータ通信回路からなり、図示しない通信回線を介して接続された各種装置との間でデータ通信を行う機能を有している。

操作入力部１２０は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１５０に出力する機能を有している。

画面表示部１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置からなり、演算処理部１５０からの指示に応じて、教師データやその分類結果などの各種情報を画面表示する機能を有している。

記憶部１４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部１５０での各種処理に必要な処理情報やプログラム１４１を記憶する機能を有している。プログラム１４１は、演算処理部１５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部１４０に保存される。記憶部１４０で記憶される主な処理情報として、複数の教師データ１４２、分類モデル１４３、および分類結果１４４がある。

教師データ１４２は、機械学習に使用するデータである。図２は、教師データ１４２の構成例である。個々の教師データ１４２は、ＩＤ１４２１と、コンテンツ１４２２と、ラベル１４２３との組から構成されている。ＩＤ１４２１は、コンテンツ１４２２の識別情報である。コンテンツ１４２２は、画像データ、音声データ、テキストデータ、或いはそれらの任意の組み合わせであってよい。ラベル１４２３は、コンテンツ１４２２が属するカテゴリを示す。カテゴリの種類は、２種類であってもよいし、３種類以上であってもよい。例えば、データ処理装置１００を映像監視に適用し、図示しない監視カメラで撮像された映像の各フレーム画像から侵入物を検知する場合、コンテンツ１４２２をフレーム画像、ＩＤ１４２１を当該フレーム画像を一意に識別するフレーム番号あるいは時刻情報、ラベル１４２３を、異常がない（侵入物が映っていない）ことを表すカテゴリと、異常がある（侵入物が映っている）ことを表すカテゴリとの２種類とすることができる。

教師データ１４２は、通信Ｉ／Ｆ部１１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部１４０に保存されたものであってよい。或いは通信Ｉ／Ｆ部１１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれたＩＤ１４２１を有するコンテンツ１４２２に対して、操作入力部１２０を通じて利用者がラベル１４２３を入力して生成したものであってもよい。

分類モデル１４３は、複数の教師データ１４２を使用して生成した分類モデルである。分類モデルとは、コンテンツがどのカテゴリに属するのが適当であるかを数学的にモデル化したものである。分類モデルは、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やニューラルネットワークを用いて実現可能である。

分類結果１４４は、教師データ１４２のコンテンツ１４２２が属するカテゴリを分類モデル１４３を使用して分類した結果の情報である。図３は、分類結果１４４の構成例である。個々の分類結果１４４は、ＩＤ１４４１と、コンテンツ１４４２と、ラベル１４４３と、分類カテゴリ１４４４との組から構成されている。個々の分類結果１４４は、個々の教師データ１４２に１対１に対応している。個々の分類結果１４４中のＩＤ１４４１、コンテンツ１４４２、およびラベル１４４３は、対応する教師データ１４２中のＩＤ１４２１、コンテンツ１４２２、およびラベル１４２３と同一である。個々の分類結果１４４中の分類カテゴリ１４４４は、対応する教師データ１４２中のコンテンツ１４２２の属するカテゴリを分類モデル１４３を使用して決定した結果のカテゴリである。なお、分類結果１４４中のＩＤ１４４１をキーに、教師データ１４２からコンテンツ１４４２と同じコンテンツ１４２２、およびラベル１４４３と同じラベル１４２３を検索できるため、分類結果１４４中のコンテンツ１４４２とラベル１４４３とを省略してもよい。

演算処理部１５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部１４０からプログラム１４１を読み込んで実行することにより、上記ハードウェアとプログラム１４１とを協働させて各種処理部を実現する機能を有している。演算処理部１５０で実現される主な処理部として、機械学習部１５１と、分類部１５２と、ユーザインターフェイス部１５３とがある。

機械学習部１５１は、記憶部１４０から複数の教師データ１４２を読み込み、この複数の教師データ１４２中のコンテンツ１４２２とラベル１４２３を使用して分類モデル１４３を生成（学習）し、この生成した分類モデル１４３を記憶部１４０に保存する機能を有する。

分類部１５２は、記憶部１４０から複数の教師データ１４２と分類モデル１４３とを読み込み、分類モデル１４３を使用して、複数の教師データ１４２中のコンテンツ１４２２が属するカテゴリを決定し、決定したカテゴリを含む分類結果１４４を記憶部１４０に保存する機能を有する。

ユーザインターフェイス部１５３は、記憶部１４０から複数の分類結果１４４を読み込み、それらの分類結果１４４中のＩＤ１４２１、コンテンツ１４２２、ラベル１４４３、および分類カテゴリ１４４４を画面表示部１３０に表示する機能を有する。

次に、図４乃至図７を参照して、本実施形態にかかるデータ処理装置１００の動作を説明する。

まず、機械学習部１５１の処理例を示す図４のフローチャートを参照して、本実施形態にかかるデータ処理装置１００の機械学習の動作を説明する。

データ処理装置１００の演算処理部１５０における機械学習部１５１は、起動されると、先ず記憶部１４０から複数の教師データ１４２を読み込む（ステップＳ１０１）。次に機械学習部１５１は、読み込んだ各々の教師データ１４２のコンテンツ１４２２とラベル１４２３とを使用して分類モデル１４３を生成するための機械学習を実行する（ステップＳ１０２）。最後に機械学習部１５１は、機械学習によって生成した分類モデル１４３を記憶部１４３に保存する（ステップＳ１０３）。

次に、分類部１５２の処理例を示す図５のフローチャートを参照して、本実施形態にかかるデータ処理装置１００の分類動作を説明する。

データ処理装置１００の演算処理部１５０における分類部１５２は、起動されると、先ず記憶部１４０から分類モデル１４３を読み込む（ステップＳ１１１）。次に分類部１５２は、記憶部１４０から未だ分類処理の対象としていない教師データ１４２を１つ読み込み（ステップＳ１１２）、その教師データ１４２中のコンテンツ１４４２が属するカテゴリを分類モデル１４３を使用して決定し（ステップＳ１１３）、この決定したカテゴリを含む分類結果１４４を記憶部１４０に保存する（ステップＳ１１４）。

次に分類部１５２は、未だ分類処理の対象としていない教師データ１４２が記憶部１４０に存在するか否かを確認し（ステップＳ１１５）、未処理の教師データ１４２が残っていれば、ステップＳ１１２の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未処理の教師データ１４２が残っていなければ、分類部１５２は分類処理を終了する。

次に、ユーザインターフェイス部１５３の処理例を示す図６のフローチャートを参照して、本実施形態にかかるデータ処理装置１００の分類結果表示動作を説明する。

データ処理装置１００のユーザインターフェイス部１５３は、起動されると、先ず記憶部１４０から未だ表示処理の対象としていない分類結果１４４を１つ読み込み（ステップＳ１２１）、その分類結果１４４のＩＤ１４４１、コンテンツ１４４２、ラベル１４４３、および分類カテゴリ１４４４を画面表示部１３０に表示する（ステップＳ１２２）。そして、ユーザインターフェイス部１５３は、操作入力部１２０から確認結果が入力されるのを待ち合わせる（ステップＳ１２３）。

図７は、画面表示部１３０の分類結果表示画面１３１の一例を示す。この例の分類結果表示画面１３１は、画面の中央部分にコンテンツ１４４２を表示し、その左側に、ＩＤ１４４１、ラベル１４４３、分類カテゴリ１４４４を表示している。また、右側に、修正無しの入力ボタン１３２と、修正用のカテゴリの入力ボタン１３３とを表示している。

利用者は、画面表示部１３０に表示されたコンテンツ１４４２を確認し、そのコンテンツ１４４２のカテゴリが、画面表示部１３０に表示されているラベル１４４３が表すカテゴリと同じである現状で問題無いかどうかを確認し、問題が無ければ、操作入力部１２０を操作して訂正無しを示す入力ボタン１３２を入力する。他方、コンテンツ１４４２のカテゴリが、画面表示部１３０に表示されているラベル１４４３が表すカテゴリでは間違っていると判断した場合、正しいカテゴリ１３３を操作入力部１２０を操作して入力する。画面表示部１３０には、コンテンツ１４４２を機械的に分類した分類カテゴリ１４４４が表示されている。このため、利用者は、表示されている分類カテゴリ１４４４を１つの判断材料として、表示されているコンテンツ１４４２のカテゴリがラベル１４４３が表すカテゴリで問題無いかどうかを判断でき、またそのコンテンツ１４４２の属する正しいカテゴリを判断することができる。

ユーザインターフェイス部１５３は、操作入力部１２０から確認結果が入力されると（ステップＳ１２３でＹｅｓ）、修正無しの入力か、修正有りの入力かを判断する（ステップＳ１２４）。そして、修正有りの入力であれば、即ち画面表示部１３０に表示したラベル１４４３が表すカテゴリと相違するカテゴリが入力ボタン１３３によって利用者から入力されると（ステップＳ１２４でＹｅｓ）、画面表示部１３０に表示しているＩＤ１４４１と同一のＩＤをＩＤ１４２１として有する教師データ１４２を記憶部１４０から検索し、この検索した教師データ１４２中のラベル１４４３の値を利用者から入力されたカテゴリで更新する（ステップＳ１２５）。そして、ステップＳ１２６の処理へ進む。他方、利用者からラベルの修正指示が行われなかった場合（ステップＳ１２４でＮｏ）、ステップＳ１２５の処理をスキップして、ステップＳ１２６の処理へ進む。

ユーザインターフェイス部１５３は、ステップＳ１２６では、未だ利用者による確認がされていない分類結果１４４が記憶部１４０に存在するか否かを確認する。そして、未確認の分類結果１４４が残っていれば、ステップＳ１２１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未確認の分類結果１４４が残っていなければ、ユーザインターフェイス部１５３は分類結果表示処理を終了する。

このように本実施形態によれば、教師データが適切であるかどうかを再確認する利用者の負担を軽減することができる。その理由は以下の通りである。

分類モデル１４３の生成に使用した複数の教師データ１４２の中に正しくない教師データがごく一部存在する場合、その複数の教師データ１４２を使用して生成した分類モデル１４３は、上記正しくない教師データ１４２のコンテンツ１４２２を、その教師データ１４２のラベル１４４３が表すカテゴリとは異なるカテゴリに分類する傾向がある。そのため、画面表示部１３０に表示される分類部１５２による分類カテゴリ１４４４と相違しているラベル１４４３を有する教師データのコンテンツ１４４２に特に注目して、その適否を人手で判断することにより、適切でない教師データ１４２を効率良く発見することが可能になる。

また本実施形態によれば、利用者は、適切でないと判断した教師データ１４２のラベル１４４３をその確認時に修正することができる。その理由は、ユーザインターフェイス部１５３は、表示した教師データのラベルに対する修正を操作入力部１２０から受け付け、受け付けた修正に応じて記憶部１４０の教師データ１４２のラベル１４２３を修正するためである。

[第２の実施形態]
図８を参照すると、本発明の第２の実施形態にかかるデータ処理装置２００は、本発明の第１の実施形態にかかるデータ処理装置１００の有する機能に加えて、機械学習に使用する教師データを利用者が作成する作業を支援する機能を有している。

このデータ処理装置２００は、主な機能部として、通信Ｉ／Ｆ部２１０、操作入力部２２０、画面表示部２３０、記憶部２４０、および演算処理部２５０を有する。このうち、通信Ｉ／Ｆ部２１０、操作入力部２２０、画面表示部２３０は、本発明の第１の実施形態にかかるデータ処理装置１００の通信Ｉ／Ｆ部１１０、操作入力部１２０、画面表示部１３０と同様の機能を有する。

記憶部２４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部２５０での各種処理に必要な処理情報やプログラム２４１を記憶する機能を有している。プログラム２４１は、演算処理部２５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部２１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部２４０に保存される。記憶部２４０で記憶される主な処理情報として、複数の教師データ２４２、分類モデル２４３、および分類結果２４４がある。

教師データ２４２は、機械学習に使用するデータである。図９は、教師データ２４２の構成例である。個々の教師データ２４２は、ＩＤ２４２１と、コンテンツ２４２２と、ラベル２４２３との組から構成されている。コンテンツ２４２２は、監視カメラのフレーム画像である。ＩＤ１４２１は、コンテンツ２４２２を構成するフレーム画像の識別子である。本実施形態では、ＩＤ１４２１は、フレームの時刻情報を使用する。ラベル２４２３は、当該教師データ２４２の有効性とコンテンツ２４２２が属するカテゴリとを表す。本実施形態では、ラベル２４２３は、−１、０、＋１の３つの値の何れかをとる。−１は、教師データ２４２が有効であり、且つそのカテゴリは異常がない（侵入物が映っていない）ことを表すカテゴリであることを表している。＋１は、教師データ２４２は有効であり、且つそのカテゴリは異常がある（侵入物が映っている）ことを表すカテゴリであることを表している。０は、教師データ２４２は無効であることを表している。

分類モデル２４３は、複数の教師データ２４２のうち、ラベル２４２３が−１あるいは＋１になっている教師データ、すなわち有効な教師データを使用して生成した分類モデルである。

分類結果２４４は、教師データ２４２のコンテンツ２４２２が属するカテゴリを分類モデル２４３を使用して分類した結果の情報である。図１０は、分類結果２４４の構成例である。個々の分類結果２４４は、ＩＤ２４４１と、コンテンツ２４４２と、ラベル２４４３と、分類カテゴリ２４４４との組から構成されている。個々の分類結果２４４は、有効な個々の教師データ２４２に１対１に対応している。個々の分類結果２４４中のＩＤ２４４１、コンテンツ２４４２、およびラベル２４４３は、対応する教師データ２４２中のＩＤ２４２１、コンテンツ２４２２、およびラベル２４２３と同一である。個々の分類結果２４４中の分類カテゴリ２４４４は、対応する教師データ２４２中のコンテンツ２４２２の属するカテゴリを分類モデル２４３を使用して決定した結果のカテゴリである。なお、分類結果２４４中のＩＤ２４４１をキーに、教師データ２４２からコンテンツ２４４２と同じコンテンツ２４２２、およびラベル２４４３と同じラベル２４２３を検索できるため、分類結果２４４中のコンテンツ２４４２とラベル２４４３とを省略してもよい。

演算処理部２５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部２４０からプログラム２４１を読み込んで実行することにより、上記ハードウェアとプログラム２４１とを協働させて各種処理部を実現する機能を有している。演算処理部２５０で実現される主な処理部として、機械学習部２５１と、分類部２５２と、ユーザインターフェイス部２５３と、教師データ生成部２５４とがある。

教師データ生成部２５４は、複数の教師データ２４２を生成する機能を有する。具体的には、教師データ生成部２５４は、監視カメラの映像データを記憶する図示しない映像サーバから通信Ｉ／Ｆ部２１０を通じて、監視カメラの映像の各フレーム画像を入力してフレーム順に画面表示部２３０に表示する機能と、画面表示部２３０に表示した各フレーム画像が属するカテゴリの入力を操作入力部２２０から受け付ける機能と、フレーム画像であるコンテンツ２４２２とそのＩＤ２４２１と上記受け付けた入力のカテゴリを表すラベル２４２３とを有する教師データ２４２を生成して記憶部２４０に保存する機能とを有する。さらに教師データ生成部２５４は、上記教師データ２４２の生成では、記憶部２４０に保存した複数の教師データ２４２中から、互いに時間的に隣接するフレーム画像を有し、ラベルの値が一方は−１で他方は＋１になっている教師データのペアを検出し、この教師データのペアを無効にする機能を有する。

機械学習部２５１は、ラベル２４２３が０でない（即ち有効な）複数の教師データ２４２を記憶部２４０から読み込み、この複数の教師データ２４２中のコンテンツ２４２２とラベル２４２３を使用して分類モデル２４３を生成（学習）し、この生成した分類モデル２４３を記憶部２４０に保存する機能を有する。

分類部２５２は、ラベル２４２３が０でない（即ち有効な）複数の教師データ２４２と分類モデル２４３とを記憶部２４０から読み込み、分類モデル２４３を使用して、上記複数の教師データ２４２中のコンテンツ２４２２が属するカテゴリを決定し、決定したカテゴリを含む分類結果２４４を記憶部２４０に保存する機能を有する。

ユーザインターフェイス部２５３は、記憶部２４０から複数の分類結果２４４を読み込み、それらの分類結果２４４中のＩＤ２４２１、コンテンツ２４２２、ラベル２４４３、および分類カテゴリ２４４４を画面表示部２３０に表示する機能を有する。

次に、図１１乃至図１５を参照して、本実施形態にかかるデータ処理装置２００の動作を説明する。

まず、教師データ生成部２５４の処理例を示す図１１のフローチャートを参照して、本実施形態にかかるデータ処理装置２００の教師データの生成動作を説明する。

データ処理装置２００の演算処理部２５０における教師データ生成部２５４は、起動されると、先ず通信Ｉ／Ｆ部２１０を通じて図示しない映像サーバと通信し、教師データの生成に使用する映像ソースを選択する（ステップＳ２０１）。次に、教師データ生成部２５４は、上記選択した映像ソースの最初のフレーム画像を通信Ｉ／Ｆ部２１０を通じて映像サーバから取得し、画面表示部２３０に表示する（ステップＳ２０２）。そして、教師データ生成部２５４は、操作入力部２２０から当該フレーム画像が属するカテゴリが入力されるのを待ち合わせる（ステップＳ２０３）。

図１２は、画面表示部２３０の教師データ生成画面２３１の一例を示す。この例の教師データ生成画面２３１は、画面の中央部分にフレーム画像であるコンテンツ２４２２を表示し、その左側に、ＩＤ２４２１を表示している。また、右側に、カテゴリ毎の入力ボタン２３２を表示している。

利用者は、画面表示部２３０に表示されたコンテンツ２４２２を確認し、そのコンテンツ２４２２のカテゴリを判断して入力ボタン２３２の何れかを操作する。具体的には、表示されているコンテンツ２４２２のフレーム画像が、異常無し（侵入者無し）であれば、異常無しのカテゴリに対応する入力ボタン２３２を操作し、異常有り（侵入者有り）であれば、異常有りのカテゴリに対応する入力ボタン２３２を操作する。

教師データ生成部２５４は、操作入力部２２０からカテゴリが入力されると（ステップＳ２０３でＹｅｓ）、画面表示部２３０に表示されているＩＤ２４２１と、コンテンツ２４２２と、入力されたカテゴリに対応するラベル２４２３とから構成される教師データ２４２を生成し、記憶部２４０に保存する（ステップＳ２０４）。次に教師データ生成部２５４は、未だ利用者に表示していない次のフレーム画像が存在するか否かを確認する（ステップＳ２０５）。そして、未表示のフレーム画像が残っていれば、ステップＳ２０２の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未表示のフレーム画像が残っていなければ、教師データ生成部２５４は、教師データの自動修正を行う（ステップＳ２０６）。

図１３は、ステップＳ２０６の詳細を示すフローチャートである。先ず、教師データ生成部２５４は、複数の教師データ２４２のＩＤ２４２１のうち、最も過去の時刻を示すＩＤ２４２１を内部変数ｉに設定し（ステップＳ２１１）、ＩＤ＝ｉを有する教師データ２４２と、ＩＤ＝ｉを有するフレーム画像の次のフレーム画像をコンテンツ２４２２とする教師データ２４２とのペアに注目する（ステップＳ２１２）。次に教師データ生成部２５４は、当該ペアの教師データ２４２のラベル２４２３が一方は−１で、他方は＋１になっているか否か、即ちお互いに異なるカテゴリに属する教師データのペアであるか否かを判断する（ステップＳ２１３）。若し、互いに異なるカテゴリに属する教師データのペアであれば、教師データ生成部２５４は、当該ペアの教師データ２４２のラベル２４２３を０に更新することにより、当該ペアの教師データ２４２の双方を無効にする（ステップＳ２１４）。そして、ステップＳ２１５の処理へ進む。他方、当該ペアの教師データ２４２のラベルが一方は−１で、他方は＋１になっていなければ、ステップＳ２１４の処理をスキップし、ステップＳ２１５の処理へ進む。

教師データ生成部２５４は、ステップＳ２１５において、内部変数ｉが示すＩＤを一つ後ろのフレーム画像のＩＤに更新する。そして教師データ生成部２５４は、更新後のＩＤ＝ｉを有するフレーム画像の次のフレーム画像をコンテンツ２４２２とする教師データ２４２が存在するか否かを確認し（ステップＳ２１６）、存在すれば、ステップＳ２１２の処理に戻って、上述した処理と同様の処理を繰り返す。他方、存在しなければ、自動修正を終了する。

図１４は自動修正前の教師データ２４２の一例を示し、図１５は自動修正後の教師データ２４２の一例を示す。図１４と図１５では、教師データ２４２中のコンテンツは図示を省略している。図１４を参照すると、ＩＤ＝00:00:1811を有する教師データのラベルは−１、直後のＩＤ＝00:00:1812を有する教師データのラベルは＋１になっている。これは、ＩＤ＝00:00:1811のフレーム画像には異常は無いが（侵入者が存在しないが）、直後のＩＤ＝00:00:1812のフレーム画像には異常が有る（侵入者が存在する）と、利用者が判断したことを意味する。教師データ生成部２５４は、ステップＳ２０６の教師データの自動修正では、上記のような互いに異なるカテゴリに属する教師データのペアを検出し、図１５に示すように、それらのラベルを０に変更することで、それらの教師データを無効にする。

次に、本実施形態にかかるデータ処理装置２００の機械学習の動作を、第１の実施形態における機械学習部１５１の処理例を示す図４のフローチャートを借用して、説明する。

データ処理装置２００の演算処理部２５０における機械学習部２５１は、起動されると、先ず記憶部２４０から複数の教師データ２４２を読み込む（ステップＳ１０１）。但し、本実施形態では、ラベル２４２３が−１あるいは＋１になっている教師データ２４２を読み込み、ラベル２４２３が０になっている教師データ２４２は読み込まない。その後、機械学習部２５１は、第１の実施形態における機械学習部１５１と同様の処理を行う（ステップＳ１０２〜Ｓ１０３）。

次に、本実施形態にかかるデータ処理装置１００の分類動作を、第１の実施形態における分類部１５２の処理例を示す図５のフローチャートを借用して説明する。

データ処理装置２００の演算処理部２５０における分類部２５２は、起動されると、先ず記憶部２４０から分類モデル２４３を読み込む（ステップＳ１１１）。次に分類部２５２は、記憶部２４０から未だ分類処理の対象としていない教師データ２４２を１つ読み込む（ステップＳ１１２）。但し、本実施形態では、ラベル２４２３が−１あるいは＋１になっている教師データ２４２を読み込み、ラベル２４２３が０になっている教師データ２４２は読み込まない。その後、分類部２５２は、第１の実施形態における分類部１５２と同様の処理を行う（ステップＳ１１３〜Ｓ１１５）。

本実施形態におけるデータ処理装置２００のユーザインターフェイス部２５３による分類結果表示動作は、第１の実施形態におけるデータ処理装置１００のユーザインターフェイス部１５３による分類結果表示動作と同じである。

このように本実施形態によれば、第１の実施形態と同様の効果が得られると共に、以下のような効果が得られる。

監視カメラで撮像された映像（動画）のフレーム画像を時刻順に利用者に表示し、利用者が表示されたフレーム画像を確認し、異常の有無（侵入者の有無）をカテゴリとして入力する場合、異常の有無が反転する場面では、利用者の判断が曖昧になる傾向がある。その理由は、侵入者が存在しない場面から侵入者が存在する場面へ或いはその逆方向に、フレーム画像が明確に切り替わることはあまりなく、そのどちらであるかを判断するのが難しい１以上のフレーム画像を経て切り替わることが多いためである。この結果、そのような利用者の判断が曖昧になるフレーム画像について利用者が入力したカテゴリを設定した教師データは、適切でない可能性が高い。そこで、本実施形態では、そのような切り替わり場面の教師データを自動的に検出して無効にすることにより、より適切な教師データを生成し得るようにしている。そして、上記のような判断の困難な教師データを利用者による再確認前に教師データから除外しておくことにより、利用者が再確認しなければならない教師データの総数を削減でき、教師データが適切であるかどうかを再確認する利用者の負担をより一層軽減することができる

なお、本実施形態では、ラベルの値が−１から＋１へ或いはその逆へ変化した前後１フレームの教師データを無効にしているが、前後２フレーム、前後３フレーム、…、前後ｍフレームを無効にしてもよい。また、ラベルの値が変化したペアの教師データのフレーム時刻をｔとｔ＋ａとするとき、予め設定された閾値をＴとして、ｔ＋ａ−Ｔからｔ＋ａまでの時間帯に属するフレーム時刻を有する教師データと、ｔからｔ＋Ｔまでの時間帯に属するフレーム時刻を有する教師データとを無効にするようにしてもよい。

[第３の実施形態]
図１６を参照すると、本発明の第３の実施形態にかかるデータ処理装置３００は、複数の教師データのうち、ラベルが表すカテゴリと分類部が決定したカテゴリとが相違する教師データに限定して、利用者に再確認させる点で、本発明の第１の実施形態にかかるデータ処理装置１００と相違する。

このデータ処理装置３００は、主な機能部として、通信Ｉ／Ｆ部３１０、操作入力部３２０、画面表示部３３０、記憶部３４０、および演算処理部３５０を有する。このうち、通信Ｉ／Ｆ部３１０、操作入力部３２０、画面表示部３３０は、本発明の第１の実施形態にかかるデータ処理装置１００の通信Ｉ／Ｆ部１１０、操作入力部１２０、画面表示部１３０と同様の機能を有する。

記憶部３４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部３５０での各種処理に必要な処理情報やプログラム３４１を記憶する機能を有している。プログラム３４１は、演算処理部３５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部３１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部３４０に保存される。記憶部３４０で記憶される主な処理情報として、複数の教師データ３４２、分類モデル３４３、および分類結果３４４がある。これら複数の教師データ３４２、分類モデル３４３、および分類結果３４４は、本発明の第１の実施形態にかかるデータ処理装置１００の複数の教師データ１４２、分類モデル１４３、および分類結果１４４と同じである。

演算処理部３５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部３４０からプログラム３４１を読み込んで実行することにより、上記ハードウェアとプログラム３４１とを協働させて各種処理部を実現する機能を有している。演算処理部３５０で実現される主な処理部として、機械学習部３５１と、分類部３５２と、ユーザインターフェイス部３５３とがある。このうち、機械学習部３５１と分類部３５２とは、本発明の第１の実施形態にかかるデータ処理装置１００の機械学習部１５１と分類部１５２と同様の機能を有する。

ユーザインターフェイス部３５３は、記憶部３４０から複数の分類結果３４４を読み込み、それらの分類結果３４４中のＩＤ（１４２１）、コンテンツ（１４２２）、ラベル（１４４３）、および分類カテゴリ（１４４４）を画面表示部３３０に表示する機能を有する。但し、ユーザインターフェイス部３５３は、記憶部３４０に記憶された複数の教師データ３４２のうち、ラベル（１４４３）が表すカテゴリと分類部３５２が決定した分類カテゴリ（１４４４）とが相違する教師データに限定して、利用者に再確認を行わせる。

次に、本実施形態にかかるデータ処理装置３００の動作を説明する。本実施形態にかかるデータ処理装置３００の機械学習の動作と分類動作とは、第１の実施形態にかかるデータ処理装置１００の機械学習の動作と分類動作と同じである。以下では、本実施形態におけるデータ処理装置３００のユーザインターフェイス部３５３による分類結果表示動作を、図１７のフローチャートを参照して説明する。

データ処理装置３００のユーザインターフェイス部３５３は、起動されると、先ず記憶部３４０から未だ表示処理の対象としていない分類結果３４４を１つ読み込む（ステップＳ３０１）。次にユーザインターフェイス部３５３は、その分類結果３４４のラベル（１４４３）が表すカテゴリと分類カテゴリ（１４４４）とが相違するか否かを判定する（ステップＳ３０２）。若し、両者のカテゴリが相違していなければ、ユーザインターフェイス部３５３は、分類結果の表示（ステップＳ３０３）、利用者からの確認結果の入力（ステップＳ３０４）、修正入力の有無の判定（ステップＳ３０５）、教師データのラベルの修正（ステップＳ３０６）といった第１の実施形態におけるステップＳ１２２〜Ｓ１２５と同様の処理を行った後、ステップＳ３０７の処理へ進む。他方、両者のカテゴリが一致していれば、ユーザインターフェイス部３５３は、ステップＳ３０３〜Ｓ３０６の処理をスキップし、ステップＳ３０７の処理へ進む。

ユーザインターフェイス部３５３は、ステップＳ３０７では、未だ利用者による確認がされていない分類結果３４４が記憶部３４０に存在するか否かを確認する。そして、未確認の分類結果３４４が残っていれば、ステップＳ３０１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未確認の分類結果３４４が残っていなければ、ユーザインターフェイス部３５３は分類結果表示処理を終了する。

このように本実施形態によれば、教師データが適切であるかどうかを再確認する利用者の負担を軽減することができる。その理由は以下の通りである。

分類モデル３４３の生成に使用した複数の教師データ３４２の中に正しくない教師データがごく一部存在する場合、その複数の教師データ３４２を使用して生成した分類モデル３４３は、上記正しくない教師データ３４２のコンテンツ（１４２２）を、その教師データ３４２のラベル（１４４３）が表すカテゴリとは異なるカテゴリに分類する傾向がある。そのため、分類部１５２による分類カテゴリ（１４４４）と相違しているラベル（１４４３）を有する教師データに限定して、そのコンテンツに対するラベルの適否を利用者に判断することにより、適切でない教師データ３４２を効率良く発見することが可能になる。

[第４の実施形態]
図１８を参照すると、本発明の第４の実施形態にかかるデータ処理装置４００は、複数の教師データのうち、分類部が決定したカテゴリの確信度が予め定められた閾値以下の教師データに限定して、利用者に再確認させる点で、本発明の第１の実施形態にかかるデータ処理装置１００と相違する。

このデータ処理装置４００は、主な機能部として、通信Ｉ／Ｆ部４１０、操作入力部４２０、画面表示部４３０、記憶部４４０、および演算処理部４５０を有する。このうち、通信Ｉ／Ｆ部４１０、操作入力部４２０、画面表示部４３０は、本発明の第１の実施形態にかかるデータ処理装置１００の通信Ｉ／Ｆ部１１０、操作入力部１２０、画面表示部１３０と同様の機能を有する。

記憶部４４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部４５０での各種処理に必要な処理情報やプログラム４４１を記憶する機能を有している。プログラム４４１は、演算処理部４５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部４１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部４４０に保存される。記憶部４４０で記憶される主な処理情報として、複数の教師データ４４２、分類モデル４４３、および分類結果４４４がある。これら複数の教師データ４４２、および分類モデル４４３は、本発明の第１の実施形態にかかるデータ処理装置１００の複数の教師データ１４２、および分類モデル１４３と同じである。

分類結果４４４は、教師データ４４２のコンテンツ（１４２２）が属するカテゴリを分類モデル４４３を使用して分類した結果の情報である。図１９は、分類結果４４４の構成例である。個々の分類結果４４４は、ＩＤ４４４１と、コンテンツ４４４２と、ラベル４４４３と、分類カテゴリ４４４４と、確信度４４４５との組から構成されている。個々の分類結果４４４は、個々の教師データ４４２に１対１に対応している。個々の分類結果４４４中のＩＤ４４４１、コンテンツ４４４２、およびラベル４４４３は、対応する教師データ４４２中のＩＤ（１４２１）、コンテンツ（１４２２）、およびラベル（１４２３）と同一である。個々の分類結果４４４中の分類カテゴリ４４４４は、対応する教師データ４４２中のコンテンツ（１４２２）の属するカテゴリを分類モデル４４３を使用して決定した結果のカテゴリである。

個々の分類結果４４４中の確信度４４４５は、同じ分類結果４４４中の分類カテゴリ４４４４の確信度である。例えば、分類モデル４４３がＳＶＭの場合、確信度４４４５は、“ｐｒｏｂａｂｉｌｉｔｙ ｅｓｔｉｍａｔｅｓ”に相当する。本実施形態では、確信度４４４５は０から１までの値をとり、１により近い値ほど分類カテゴリ４４４４の精度がより高くなり、０により近い値ほど分類カテゴリ４４４４の精度がより低くなるものとする。例えば、分類カテゴリ４４４４が異常無しを表す−１であり、確信度が１であれば、コンテンツ４４４２は１００％の確率で異常無しのカテゴリに属することを示す。また、分類カテゴリ４４４４が異常有りを表す＋１であり、確信度が１であれば、コンテンツ４４４２は１００％の確率で異常有りのカテゴリに属することを示す。また、分類カテゴリ４４４４が異常無しを表す−１あるいは異常有りを表す＋１であり、確信度が０であれば、コンテンツ４４４２は異常無しのカテゴリに属する確率と異常有りのカテゴリに属する確率とが半々であることを示す。ここでは、分類カテゴリ４４４４とその確信度４４４５とを別々のものとして扱ったが、両者を一体にしてもよい。例えば、コンテンツ４４４２が８０％の確率で異常無しのカテゴリに属するならば、分類カテゴリ４４４４の値を−０．８と表記し、１００％の確率で異常有りのカテゴリに属するならば、分類カテゴリ４４４４の値を＋１．０と表記し、半々の確率であるならば、分類カテゴリ４４４４の値を０と表記してもよい。なお、分類結果４４４中のＩＤ４４４１をキーに、教師データ４４２からコンテンツ４４４２と同じコンテンツ（１４２２）、およびラベル４４４３と同じラベル（１４２３）を検索できるため、分類結果４４４中のコンテンツ４４４２とラベル４４４３とを省略してもよい。

演算処理部４５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部４４０からプログラム４４１を読み込んで実行することにより、上記ハードウェアとプログラム４４１とを協働させて各種処理部を実現する機能を有している。演算処理部４５０で実現される主な処理部として、機械学習部４５１と、分類部４５２と、ユーザインターフェイス部４５３とがある。このうち、機械学習部４５１は、本発明の第１の実施形態にかかるデータ処理装置１００の機械学習部１５１と同様の機能を有する。

分類部４５２は、記憶部４４０から複数の教師データ４４２と分類モデル４４３とを読み込み、分類モデル４４３を使用して、複数の教師データ４４２中のコンテンツ（１４２２）が属するカテゴリおよびその確信度を決定し、決定したカテゴリおよび確信度を含む分類結果４４４を記憶部４４０に保存する機能を有する。

ユーザインターフェイス部４５３は、記憶部４４０から複数の分類結果４４４を読み込み、それらの分類結果４４４中のＩＤ４４２１、コンテンツ４４２２、ラベル４４４３、および分類カテゴリ４４４４を画面表示部４３０に表示する機能を有する。但し、ユーザインターフェイス部４５３は、上記表示では、複数の分類結果４４４のうち、確信度４４４５が閾値α以下の教師データに限定して、利用者に再確認を行わせる。閾値αは、予め定められている。閾値αは、固定値であっても良いし、操作入力部４２０から変更可能な可変値であってもよい。例えば、確信度４４４５が、０から１までの値をとり、０に近い値ほどコンテンツ４４２２が分類カテゴリ４４４４で示されるカテゴリに分類される確率が低くなる場合、閾値αは０から１の範囲で設定することができる。このとき、閾値αを０により近い値に設定すればするほど、再確認の対象とする教師データの総数をより限定することができるが、その反面、適切でない教師データの確認漏れが生じやすい。従って、利用者による負担の軽減と教師データの精度とのトレードオフにより閾値αの値が決定される。

次に、本実施形態にかかるデータ処理装置４００の動作を説明する。本実施形態にかかるデータ処理装置４００の機械学習の動作は、第１の実施形態にかかるデータ処理装置１００の機械学習の動作と同じである。以下では、本実施形態におけるデータ処理装置４００の分類部４５２による分類動作とユーザインターフェイス部４５３による分類結果表示動作を説明する。

まず、分類部４５２の処理例を示す図２０のフローチャートを参照して、本実施形態にかかるデータ処理装置４００の分類動作を説明する。

データ処理装置４００の演算処理部４５０における分類部４５２は、起動されると、先ず記憶部４４０から分類モデル４４３を読み込む（ステップＳ４０１）。次に分類部４５２は、記憶部４４０から未だ分類処理の対象としていない教師データ４４２を１つ読み込み（ステップＳ４０２）、その教師データ４４２中のコンテンツ（１４４２）が属するカテゴリおよびその確信度を分類モデル４４３を使用して決定し（ステップＳ４０３）、この決定したカテゴリおよび確信度を含む分類結果４４４を記憶部４４０に保存する（ステップＳ４０４）。次に分類部４５２は、未だ分類処理の対象としていない教師データ４４２が記憶部４４０に存在するか否かを確認し（ステップＳ４０５）、未処理の教師データ４４２が残っていれば、ステップＳ４０１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未処理の教師データ４４２が残っていなければ、分類部４５２は分類処理を終了する。

次に、ユーザインターフェイス部４５３の処理例を示す図２１のフローチャートを参照して、本実施形態にかかるデータ処理装置４００の分類結果表示動作を説明する。

データ処理装置４００のユーザインターフェイス部４５３は、起動されると、先ず記憶部４４０から未だ表示処理の対象としていない分類結果４４４を１つ読み込む（ステップＳ４１１）。次にユーザインターフェイス部４５３は、その分類結果４４４の確信度４４４５が閾値α以下か否かを判定する（ステップＳ４１２）。若し、確信度４４４５が閾値α以下であるならば、ユーザインターフェイス部４５３は、分類結果の表示（ステップＳ４１３）、利用者からの確認結果の入力（ステップＳ４１４）、修正入力の有無の判定（ステップＳ４１５）、教師データのラベルの修正（ステップＳ４１６）といった第１の実施形態におけるステップＳ１２２〜Ｓ１２５と同様の処理を行った後、ステップＳ４１７の処理へ進む。他方、確信度４４４５が閾値α以下でなければ、ユーザインターフェイス部４５３は、ステップＳ４１３〜Ｓ４１６の処理をスキップし、ステップＳ４１７の処理へ進む。

ユーザインターフェイス部４５３は、ステップＳ４１７では、未だ利用者による確認がされていない分類結果４４４が記憶部４４０に存在するか否かを確認する。そして、未確認の分類結果４４４が残っていれば、ステップＳ４１１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未確認の分類結果４４４が残っていなければ、ユーザインターフェイス部４５３は分類結果表示処理を終了する。

このように本実施形態によれば、複数の教師データ４４２の中から適切でない教師データを効率良く発見することができる。その理由は以下の通りである。

分類モデル４４３の生成に使用した複数の教師データ４４２の中に正しくない教師データがごく一部存在する場合、その複数の教師データ４４２を使用して生成した分類モデル４４３は、上記正しくない教師データ４４２のコンテンツ（１４２２）を、その教師データ４４２のラベル（１４４３）が表すカテゴリとは異なるカテゴリに分類し、その際の確信度４４４５はそれほど高くない傾向がある。他方、明らかに正しい教師データ４４２のコンテンツ（１４２２）は、その教師データ４４２のラベル（１４４３）が表すカテゴリと同じカテゴリに分類し、その際の確信度は高くなる傾向がある。そのため、複数の分類結果４４４のうち、確信度４４４５が閾値α以下の分類結果４４４に限定して画面表示部４３０に表示すると、ラベル（１４４３）が表すカテゴリが分類カテゴリ４４４４と相違する教師データ４４２にかかる分類結果４４４を確実に利用者に再確認させることができると共に、再確認させる分類結果４４４の総数を抑えることができる。これにより、利用者は、画面表示部４３０に表示される分類カテゴリ４４４４と相違しているラベル４４４３を有する教師データのコンテンツ４４４２に特に注目して、その適否を判断する作業がより効率良く行うことが可能になる。

[第５の実施形態]
図２２を参照すると、本発明の第５の実施形態にかかるデータ処理装置５００は、複数の教師データのうち、分類部が決定したカテゴリの確信度が予め定められた閾値以下の教師データを自動的に無効にする点で、本発明の第４の実施形態にかかるデータ処理装置４００と相違する。

このデータ処理装置５００は、主な機能部として、通信Ｉ／Ｆ部５１０、操作入力部５２０、画面表示部５３０、記憶部５４０、および演算処理部５５０を有する。このうち、通信Ｉ／Ｆ部５１０、操作入力部５２０、画面表示部５３０は、本発明の第４の実施形態にかかるデータ処理装置４００の通信Ｉ／Ｆ部４１０、操作入力部４２０、画面表示部４３０と同様の機能を有する。

記憶部５４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部５５０での各種処理に必要な処理情報やプログラム５４１を記憶する機能を有している。プログラム５４１は、演算処理部５５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部５１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部５４０に保存される。記憶部５４０で記憶される主な処理情報として、複数の教師データ５４２、分類モデル５４３、および分類結果５４４がある。これら複数の教師データ５４２、分類モデル５４３、および分類結果５４４は、本発明の第４の実施形態にかかるデータ処理装置４００の複数の教師データ４４２、分類モデル４４３、および分類結果４４４と同じである。

演算処理部５５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部５４０からプログラム５４１を読み込んで実行することにより、上記ハードウェアとプログラム５４１とを協働させて各種処理部を実現する機能を有している。演算処理部５５０で実現される主な処理部として、機械学習部５５１と、分類部５５２と、ユーザインターフェイス部５５３とがある。このうち、機械学習部５５１と分類部５５２は、本発明の第４の実施形態にかかるデータ処理装置４００の機械学習部４５１と分類部４５２と同様の機能を有する。

ユーザインターフェイス部５５３は、記憶部５４０から複数の分類結果５４４を読み込み、それらの分類結果５４４中のＩＤ（４４２１）、コンテンツ（４４２２）、ラベル（４４４３）、および分類カテゴリ（４４４４）を画面表示部５３０に表示する機能を有する。但し、ユーザインターフェイス部５５３は、上記表示では、複数の分類結果５４４のうち、確信度（４４４５）が閾値β以下の分類結果５４４は表示せず、且つ対応する教師データを無効にする。閾値βは、予め定められている。閾値βは、固定値であっても良いし、操作入力部５２０から変更可能な可変値であってもよい。例えば、確信度（４４４５）が、０から１までの値をとり、０に近い値ほどコンテンツ（４４２２）が分類カテゴリ（４４４４）で示されるカテゴリに分類される確率が低くなる場合、閾値βは０から１の範囲で設定することができる。このとき、閾値βを１により近い値に設定すればするほど、無効化される教師データの総数が増加し、その分だけ利用者が再確認しなければならない教師データの数は減少するが、その反面、分類モデルの再学習に利用できる教師データの数が減少する。他方、閾値βを０により近い値に設定すればするほど、無効化される教師データの総数が減少し、その分だけ分類モデルの再学習に利用できる教師データの数が増加するが、その反面、利用者が再確認しなければならない教師データの数が増えて負荷が増加する。閾値βは、以上のことを考慮して、事前に決定される。

次に、本実施形態にかかるデータ処理装置５００の動作を説明する。本実施形態にかかるデータ処理装置５００の機械学習の動作と分類動作は、第４の実施形態にかかるデータ処理装置４００の機械学習の動作と分類動作に同じである。以下では、本実施形態におけるデータ処理装置５００のユーザインターフェイス部５５３による分類結果表示動作を、ユーザインターフェイス部５５３の処理例を示す図２３のフローチャートを参照して、説明する。

データ処理装置５００のユーザインターフェイス部５５３は、起動されると、先ず記憶部５４０から未だ表示処理の対象としていない分類結果５４４を１つ読み込む（ステップＳ５０１）。次にユーザインターフェイス部５５３は、その分類結果５４４の確信度（４４４５）が閾値β以下か否かを判定する（ステップＳ５０２）。若し、確信度（４４４５）が閾値β以下でなければ、ユーザインターフェイス部５５３は、分類結果の表示（ステップＳ５０３）、利用者からの確認結果の入力（ステップＳ５０４）、修正入力の有無の判定（ステップＳ５０５）、教師データのラベルの修正（ステップＳ５０６）といった第４の実施形態におけるステップＳ４１３〜Ｓ４１６と同様の処理を行った後、ステップＳ５０８の処理へ進む。他方、確信度（４４４５）が閾値β以下であれば、ユーザインターフェイス部５５３は、当該分類結果５４４に対応する教師データ５４２を無効にし（ステップＳ５０７）、ステップＳ４１３〜Ｓ４１６の処理をスキップしてステップＳ４１７の処理へ進む。ステップＳ５０７の無効化では、ユーザインターフェイス部５５３は、分類結果５４４中のＩＤ（４４４１）と同じＩＤを有する教師データ５４２を記憶部５４０から検索し、この検索した教師データ５４２のラベルの値を無効を示す値に変更するか、教師データ５４２自体を削除することによって、教師データ５４２の無効化を行う。

ユーザインターフェイス部５５３は、ステップＳ５０８では、未だ利用者による確認がされていない分類結果５４４が記憶部５４０に存在するか否かを確認する。そして、未確認の分類結果５４４が残っていれば、ステップＳ５０１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未確認の分類結果５４４が残っていなければ、ユーザインターフェイス部５５３は分類結果表示処理を終了する。

このように本実施形態によれば、教師データが適切であるかどうかを再確認する利用者の負担を軽減することができる。その理由は以下の通りである。

分類モデル５４３の生成に使用した複数の教師データ５４２の中に利用者がカテゴリの判断に苦慮して生成した教師データ５４２がごく少数存在する場合、それら複数の教師データ５４２を使用して生成した分類モデル５４３は、上記判断に苦慮した教師データ５４２のコンテンツ（１４２２）を、その教師データ５４２のラベル（１４４３）が表すカテゴリと同一または異なるカテゴリに分類し、その際の確信度（４４４５）はそれほど高くない傾向がある。そのような確信度がそれほど高くない教師データを利用者が再確認してそのカテゴリを決定する作業は、利用者の負担を増加させる原因になる。また、確信度が閾値以下の教師データは、教師データとして間違っている可能性が高いため、そのまま使用を続けることは適切でない。そのため、本実施形態では、確信度（４４４５）が閾値β以下の教師データは利用者に再確認させずに無効にすることで、教師データが適切であるかどうかを再確認する利用者の負担を軽減しつつ、教師データの精度を高めている。

[第６の実施形態]
図２４を参照すると、本発明の第６の実施形態にかかるデータ処理装置６００は、利用者による教師データの再確認時、再確認の対象とする教師データを、カテゴリの確信度が予め定められた閾値以下の他の教師データに早送りあるいは巻き戻しする機能を有する点で、本発明の第４の実施形態にかかるデータ処理装置４００と相違する。

このデータ処理装置６００は、主な機能部として、通信Ｉ／Ｆ部６１０、操作入力部６２０、画面表示部６３０、記憶部６４０、および演算処理部６５０を有する。このうち、通信Ｉ／Ｆ部６１０、操作入力部６２０、画面表示部６３０は、本発明の第４の実施形態にかかるデータ処理装置４００の通信Ｉ／Ｆ部４１０、操作入力部４２０、画面表示部４３０と同様の機能を有する。

記憶部６４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部６５０での各種処理に必要な処理情報やプログラム６４１を記憶する機能を有している。プログラム６４１は、演算処理部６５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部６１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部６４０に保存される。記憶部６４０で記憶される主な処理情報として、複数の教師データ６４２、分類モデル６４３、および分類結果６４４がある。これら複数の教師データ６４２、分類モデル６４３、および分類結果６４４は、本発明の第４の実施形態にかかるデータ処理装置４００の複数の教師データ４４２、分類モデル４４３、および分類結果４４４と同じである。

演算処理部６５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部６４０からプログラム６４１を読み込んで実行することにより、上記ハードウェアとプログラム６４１とを協働させて各種処理部を実現する機能を有している。演算処理部６５０で実現される主な処理部として、機械学習部６５１と、分類部６５２と、ユーザインターフェイス部６５３とがある。このうち、機械学習部６５１と分類部６５２は、本発明の第４の実施形態にかかるデータ処理装置４００の機械学習部４５１と分類部４５２と同様の機能を有する。

ユーザインターフェイス部６５３は、記憶部６４０から複数の分類結果６４４を読み込み、それらの分類結果６４４中のＩＤ（４４２１）、コンテンツ（４４２２）、ラベル（４４４３）、および分類カテゴリ（４４４４）を画面表示部６３０に表示する機能を有する。

また、ユーザインターフェイス部６５３は、上記表示中に、操作入力部６２０を通じて利用者から早送り指示が入力されると、現在表示中の分類結果６４４より後方に位置する他の分類結果６４４であって、その分類カテゴリの確信度（４４４５）が予め設定された閾値γ以下の分類結果６４４を記憶部６４０から検索し、画面表示部６３０の表示画面を切り替え、上記検索した分類結果６４４中のＩＤ（４４２１）、コンテンツ（４４２２）、ラベル（４４４３）、および分類カテゴリ（４４４４）を画面表示部６３０に表示する早送り機能を有する。

また、ユーザインターフェイス部６５３は、上記表示中に、操作入力部６２０を通じて利用者から巻き戻し指示が入力されると、現在表示中の分類結果６４４より前方に位置する他の分類結果６４４であって、その分類カテゴリの確信度（４４４５）が予め設定された閾値γ以下の分類結果６４４を記憶部６４０から検索し、画面表示部６３０の表示画面を切り替え、上記検索した分類結果６４４中のＩＤ（４４２１）、コンテンツ（４４２２）、ラベル（４４４３）、および分類カテゴリ（４４４４）を画面表示部６３０に表示する早送り機能を有する。

上記閾値γは、予め定められている。閾値γは、固定値であっても良いし、操作入力部７２０から変更可能な可変値であってもよい。例えば、確信度（４４４５）が、０から１までの値をとり、０に近い値ほどコンテンツ（４４２２）が分類カテゴリ（４４４４）で示されるカテゴリに分類される確率が低くなる場合、閾値γは０から１の範囲で設定することができる。このとき、閾値γを０により近い値に設定すればするほど、早送りあるいは巻き戻しできる教師データの総数をより限定することができるが、その反面、適切でない教師データの確認漏れが生じやすい。従って、利用者による負担の軽減と教師データの精度とのトレードオフにより閾値γの値が決定される。

ここで、分類結果６４４より後方とは、当該分類結果６４４中のＩＤ（４４２１）より値の大きなＩＤを有する分類結果を意味し、分類結果６４４より前方とは、その逆で、当該分類結果６４４中のＩＤ（４４２１）より値の小さなＩＤを有する分類結果を意味する。例えば、コンテンツとしてフレーム画像を使用し、ＩＤとしてフレーム画像の時刻情報を使用する場合、後方は時間的に後を意味し、前方は時間的に前を意味する。

また、起点とする分類結果６４４の後方あるいは前方に、条件を満足する複数の分類結果が存在する場合には、起点とする分類結果６４４のＩＤ（４４２１）との差が最も小さいＩＤを有する分類結果６４４を早送り先あるいは巻き戻し先とする。

次に、本実施形態にかかるデータ処理装置６００の動作を説明する。本実施形態にかかるデータ処理装置６００の機械学習の動作と分類動作は、第４の実施形態にかかるデータ処理装置４００の機械学習の動作と分類動作に同じである。また本実施形態におけるデータ処理装置６００のユーザインターフェイス部６５３による分類結果表示動作のうち、早送りおよび巻き戻し動作以外の動作は、第４の実施形態にかかるデータ処理装置４００の分類結果表示動作と同じである。以下では、本実施形態におけるデータ処理装置６００のユーザインターフェイス部６５３による早送りおよび巻き戻し動作を説明する。

まず、ユーザインターフェイス部６５３の早送り処理の一例を示す図２５のフローチャートを参照して、本実施形態におけるデータ処理装置６００のユーザインターフェイス部６５３による早送り動作を説明する。

データ処理装置６００のユーザインターフェイス部６５３は、操作入力部６２０から早送りの指示を入力すると、画面表示部６３０に現在表示している分類結果６４４中のＩＤ（４４４１）を内部の変数ｉに設定する（ステップＳ６０１）。次にユーザインターフェイス部６５３は、内部変数ｉに設定されたＩＤより値の大きいＩＤを有し、分類カテゴリ（４４４４）の確信度（４４４５）が閾値γ以下の他の分類結果４４４を記憶部６４０から検索する（ステップＳ６０２）。

次にユーザインターフェイス部６５３は、上記の検索に成功したか否かを確認し（ステップＳ６０３）、失敗していれば、再確認する次の分類結果が存在しない旨のメッセージを画面表示部６３０に表示し（ステップＳ６０４）、早送り動作を終了する。他方、上記の検索に成功していれば、ユーザインターフェイス部６５３は、検索された他の分類結果の個数が２以上か否かを判定する（ステップＳ６０５）。２以上の他の分類結果が検索されていれば、ユーザインターフェイス部６５３は、その中から内部変数ｉに設定されたＩＤとの差が最も小さいＩＤを有する１つの分類結果４４４を再確認の対象とすべく表示画面を切り替える（ステップＳ６０６）。即ち、ユーザインターフェイス部６５３は、当該分類結果４４４のＩＤ（４４４１）、コンテンツ（４４４２）、ラベル（４４４３）、分類カテゴリ（４４４５）を画面表示部６３０の分類結果表示画面に表示する（ステップＳ６０６）。また、検索された分類結果４４４が１つであれば、その分類結果４４４のＩＤ（４４４１）、コンテンツ（４４４２）、ラベル（４４４３）、分類カテゴリ（４４４５）を画面表示部６３０の分類結果表示画面に表示する（ステップＳ６０７）。そして、早送り動作を終了する。

次に、ユーザインターフェイス部６５３の巻き戻し処理の一例を示す図２６のフローチャートを参照して、本実施形態におけるデータ処理装置６００のユーザインターフェイス部６５３による巻き戻し動作を説明する。

データ処理装置６００のユーザインターフェイス部６５３は、操作入力部６２０から巻き戻しの指示を入力すると、画面表示部６３０に現在表示している分類結果６４４中のＩＤ（４４４１）を内部の変数ｉに設定する（ステップＳ６１１）。次にユーザインターフェイス部６５３は、内部変数ｉに設定されたＩＤより値の小さいＩＤを有し、分類カテゴリ（４４４４）の確信度（４４４５）が閾値γ以下の他の分類結果４４４を記憶部６４０から検索する（ステップＳ６１２）。

次にユーザインターフェイス部６５３は、上記の検索に成功したか否かを確認し（ステップＳ６１３）、失敗していれば、再確認する次の分類結果が存在しない旨のメッセージを画面表示部６３０に表示し（ステップＳ６１４）、巻き戻し動作を終了する。他方、上記の検索に成功していれば、ユーザインターフェイス部６５３は、検索された他の分類結果の個数が２以上か否かを判定する（ステップＳ６１５）。２以上の他の分類結果が検索されていれば、ユーザインターフェイス部６５３は、その中から内部変数ｉに設定されたＩＤとの差が最も小さいＩＤを有する１つの分類結果４４４を再確認の対象とすべく表示画面を切り替える（ステップＳ６１６）。即ち、ユーザインターフェイス部６５３は、当該分類結果４４４のＩＤ（４４４１）、コンテンツ（４４４２）、ラベル（４４４３）、分類カテゴリ（４４４５）を画面表示部６３０の分類結果表示画面に表示する（ステップＳ６１６）。また、検索された分類結果４４４が１つであれば、その分類結果４４４のＩＤ（４４４１）、コンテンツ（４４４２）、ラベル（４４４３）、分類カテゴリ（４４４５）を画面表示部６３０の分類結果表示画面に表示する（ステップＳ６１７）。そして、巻き戻し動作を終了する。

このように本実施形態によれば、教師データが適切であるかどうかを再確認する利用者の負担を軽減することができる。その理由は以下の通りである。

分類モデル６４３の生成に使用した複数の教師データ６４２の中に、利用者がカテゴリの判断に苦慮して生成した教師データ６４２と明確に判断できた教師データ６４２とが存在するとする。この場合、それら複数の教師データ６４２を使用して生成した分類モデル６４３は、上記判断に苦慮した教師データ６４２のコンテンツを、その教師データ６４２のラベルが表すカテゴリと同一または異なるカテゴリに分類し、その際の確信度はそれほど高くない傾向がある。また、上記分類モデル６４３は、上記明確に判断できた教師データ６４２のコンテンツを、その教師データ６４２のラベルが表すカテゴリと同一カテゴリに分類し、その際の確信度は高くなる傾向がある。また、利用者が明確に判断できた教師データ６４２は適切でない可能性が低い傾向があり、逆に判断に苦慮した教師データ６４２は適切でない可能性が高い傾向がある。以上のことから、適切でない可能性の高い教師データ６４２に的を絞って再確認作業を行えば、適切でない教師データを見逃さずに利用者の負担を軽減することができる。本実施形態では、早送り機能および巻き戻し機能を有するため、利用者は、確信度が閾値γ以下の教師データ６４２に限定して再確認する作業を効率良く実施することができる。

[第７の実施形態]
図２７を参照すると、本発明の第７の実施形態にかかるデータ処理装置７００は、利用者による教師データの再確認時、所定時間に亘って教師データを表示した時点で確認結果の入力が無いときは、修正無しの確認入力があったものとみなして次の教師データの再確認工程へ処理を進める機能を有する点で、本発明の第４の実施形態にかかるデータ処理装置４００と相違する。

このデータ処理装置７００は、主な機能部として、通信Ｉ／Ｆ部７１０、操作入力部７２０、画面表示部７３０、記憶部７４０、および演算処理部７５０を有する。このうち、通信Ｉ／Ｆ部７１０、操作入力部７２０、画面表示部７３０は、本発明の第４の実施形態にかかるデータ処理装置４００の通信Ｉ／Ｆ部４１０、操作入力部４２０、画面表示部４３０と同様の機能を有する。

記憶部７４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部７５０での各種処理に必要な処理情報やプログラム７４１を記憶する機能を有している。プログラム７４１は、演算処理部７５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部７１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部７４０に保存される。記憶部７４０で記憶される主な処理情報として、複数の教師データ７４２、分類モデル７４３、および分類結果７４４がある。これら複数の教師データ７４２、分類モデル７４３、および分類結果７４４は、本発明の第４の実施形態にかかるデータ処理装置４００の複数の教師データ４４２、分類モデル４４３、および分類結果４４４と同じである。

演算処理部７５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部７４０からプログラム７４１を読み込んで実行することにより、上記ハードウェアとプログラム７４１とを協働させて各種処理部を実現する機能を有している。演算処理部７５０で実現される主な処理部として、機械学習部７５１と、分類部７５２と、ユーザインターフェイス部７５３とがある。このうち、機械学習部７５１と分類部７５２は、本発明の第４の実施形態にかかるデータ処理装置４００の機械学習部４５１と分類部４５２と同様の機能を有する。

ユーザインターフェイス部７５３は、記憶部７４０から複数の分類結果７４４を読み込み、それらの分類結果７４４中のＩＤ（４４２１）、コンテンツ（４４２２）、ラベル（４４４３）、および分類カテゴリ（４４４４）を画面表示部７３０に表示する機能と、上記表示したラベルに対する修正入力を操作入力部７２０から受け付けて該当する教師データ７４２のラベルを修正する機能とを有する。

また、ユーザインターフェイス部７５３は、上記表示と上記修正では、或る教師データのコンテンツおよびラベルと分類部７５２が決定した分類カテゴリとを画面表示部７３０に所定時間に亘って表示した時点で修正入力を操作入力部７２０から受け付けていない場合、修正不要と判断し、記憶部７４０に記憶された他の教師データのコンテンツおよびラベルと分類部７５２が決定した分類カテゴリとを画面表示部７３０に表示する機能を有する。

また、ユーザインターフェイス部７５３は、上記表示では、教師データのコンテンツおよびラベルと分類カテゴリとを画面表示部７３０に表示する上記所定時間を、上記分類カテゴリの確信度に応じて決定する機能を有する。具体的には、ユーザインターフェイス部７５３は、上記所定時間の決定では、確信度がより低いほどより長い上記所定時間を決定する。一番長い時間は無限長であってよい。その場合、ユーザインターフェイス部７５３は、利用者からの確認入力を待ち続ける。一番短い時間は０であってよい。その場合、ユーザインターフェイス部７５３は、当該教師データの利用者による再確認作業を省略する（スキップする）。

次に、本実施形態にかかるデータ処理装置７００の動作を説明する。本実施形態にかかるデータ処理装置７００の機械学習の動作と分類動作は、第４の実施形態にかかるデータ処理装置４００の機械学習の動作と分類動作に同じである。以下では、本実施形態におけるデータ処理装置７００のユーザインターフェイス部７５３による分類結果表示動作を、ユーザインターフェイス部７５３の処理例を示す図２８のフローチャートを参照して、説明する。

データ処理装置７００のユーザインターフェイス部７５３は、起動されると、先ず記憶部７４０から未だ表示処理の対象としていない分類結果７４４を１つ読み込む（ステップＳ７０１）。次にユーザインターフェイス部７５３は、その分類結果７４４の確信度（４４４５）に基づいて、当該分類結果を利用者に再確認させるための最大表示時間を決定する（ステップＳ７０２）。

図２９は、確信度から最大表示時間を決定するテーブルの一例を示す。この例では、確信度が０以上、０．２未満の場合、最大表示時間は０である。また、確信度が０．８以上、１．０以下の場合、最大表示時間は無限大である。また、確信度が０．２以上、０．８未満の場合、最大表示時間は、Ｔ×確信度で算出される。ここで、Ｔは予め定められた一定時間である。ユーザインターフェイス部７５３は図２９に示すテーブルを保持し、このテーブルを参照して、分類結果７４４毎にその最大表示時間を決定する。

ユーザインターフェイス部７５３は、最大表示時間を決定すると、次に、決定した最大表示時間が０か否かを判定する（ステップＳ７０３）。最大表示時間が０でなければ、ユーザインターフェイス部７５３は、その分類結果７４４のＩＤ、コンテンツ、ラベル、および分類カテゴリを画面表示部７３０に表示する（ステップＳ７０４）。そして、ユーザインターフェイス部７５３は、操作入力部７２０から確認結果が入力されるか、最大表示時間が経過するのを待ち合わせる（ステップＳ７０５、Ｓ７０６）。

ユーザインターフェイス部７５３は、操作入力部７２０から確認結果が入力されると（ステップＳ７０５でＹｅｓ）、修正無しの入力か、修正有りの入力かを判断する（ステップＳ７０７）。そして、修正有りの入力であれば、画面表示部７３０に表示しているＩＤと同一のＩＤを有する教師データ７４２を記憶部７４０から検索し、この検索した教師データ７４２中のラベルの値を利用者から入力されたカテゴリで更新する（ステップＳ７０８）。そして、ステップＳ７０９の処理へ進む。また、利用者からラベルの修正指示が行われなかった場合（ステップＳ７０７で修正無し）、ステップＳ７０８の処理をスキップして、ステップＳ７０９の処理へ進む。他方、ユーザインターフェイス部７５３は、操作入力部７２０から確認結果が入力されるよりも前に最大表示時間が経過すると（ステップＳ７０６でＹｅｓ）、利用者から修正無しの確認入力があったものとみなし、ステップＳ７０９の処理へ進む。

ユーザインターフェイス部７５３は、ステップＳ７０９では、未だ利用者による確認がされていない分類結果７４４が記憶部７４０に存在するか否かを確認する。そして、未確認の分類結果７４４が残っていれば、ステップＳ７０１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未確認の分類結果７４４が残っていなければ、ユーザインターフェイス部７５３は分類結果表示処理を終了する。

このように本実施形態によれば、本発明の第１の実施形態と同様の理由により、教師データが適切であるかどうかを再確認する利用者の負担を軽減することができる。

また本実施形態によれば、利用者による教師データの再確認時、所定時間に亘って教師データを表示した時点で確認結果の入力が無いときは、修正無しの確認入力があったものとみなして次の教師データの再確認工程へ処理を進めるため、修正を必要としないときの利用者の作業量を軽減することができる。

また本実施形態によれば、上記所定時間を分類カテゴリの確信度に基づいて決定しているため、判断に時間がかかりそうな場面では再確認時間を長くし、短時間で判断できそうな場面では再確認時間を短くするといった制御が可能になる。

［その他の実施形態］
以上、本発明を幾つかの実施形態を挙げて説明したが、本発明は以上の実施形態に限定されず、その他各種の付加変更が可能である。例えば、以下のような実施形態も本発明に含まれる。

上述した実施形態では、教師データの作成に必要なラベルをキーボードやマウスを使って入力したが、以下のような入力形態であってもよい。

タッチ操作を検出して検出情報を出力するタッチパネル部を使用し、タッチパネル部の検出情報からフリックの方向を検出し、検出したフリックの方向によってコンテンツが属するカテゴリを表すラベルを決定し、表示部に表示したコンテンツと上記決定したラベルとを有する教師データを生成する。

あるいは振れを検出する検出情報を出力する加速度センサ部を使用し、加速度センサ部の検出情報から振れの方向を検出し、検出した振れの方向によってコンテンツが属するカテゴリを表すラベルを決定し、表示部に表示したコンテンツと上記ラベルとを有する教師データを生成する。

あるいは傾きを検出する検出情報を出力する傾きセンサ部を使用し、傾きセンサ部の検出情報から傾きの方向を検出し、検出した傾きの方向によってコンテンツが属するカテゴリを表すラベルを決定し、表示部に表示したコンテンツと上記ラベルとを有する教師データを生成する。

あるいはタッチ操作を検出して検出情報を出力するタッチパネル部を使用し、タッチパネル部の検出情報からジェスチャの種類を検出し、検出したジェスチャの種類によってコンテンツが属するカテゴリを表すラベルを決定し、表示部に表示したコンテンツと上記ラベルとを有する教師データを生成する。

本発明は、映像監視、映像解析などの分野における教師データの作成に利用できる。

１００…データ処理装置
１１０…通信Ｉ／Ｆ部
１２０…操作入力部
１３０…画面表示部
１４０…記憶部
１４１…プログラム
１４２…教師データ
１４３…分類モデル
１４４…分類結果
１５０…演算処理部
１５１…機械学習部
１５２…分類部
１５３…ユーザインターフェイス部

Claims (25)

1. それぞれがコンテンツと該コンテンツの属するカテゴリを表すラベルとを有する複数の教師データを記憶する記憶部と、
   前記複数の教師データを使用して分類モデルを生成する機械学習部と、
   前記分類モデルを使用して前記複数の教師データの前記コンテンツが属するカテゴリを決定する分類部と、
   前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを表示部に表示するユーザインターフェイス部と
   を有するデータ処理装置。
2. 前記ユーザインターフェイス部は、前記表示した前記教師データの前記ラベルに対する修正入力を受け付け、該受け付けた前記修正入力に応じて前記教師データの前記ラベルを修正する
   請求項１に記載のデータ処理装置。
3. 前記ユーザインターフェイス部は、前記表示では、前記記憶部に記憶された前記複数の教師データのうち、前記ラベルが表す前記カテゴリと前記分類部が決定した前記カテゴリとが相違する教師データに限定して、前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示する
   請求項１に記載のデータ処理装置。
4. 前記分類部は、前記決定では、前記複数の教師データの前記コンテンツが属するカテゴリを決定すると共に、前記教師データが前記決定した前記カテゴリに属する確信度を算出し、
   前記ユーザインターフェイス部は、前記表示では、前記記憶部に記憶された前記複数の教師データのうち、前記分類部が決定した前記カテゴリの前記確信度が閾値以下の教師データに限定して、前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示する
   請求項１に記載のデータ処理装置。
5. 前記分類部は、前記決定では、前記複数の教師データの前記コンテンツが属するカテゴリを決定すると共に、前記教師データが前記決定した前記カテゴリに属する確信度を算出し、
   前記ユーザインターフェイス部は、前記表示では、前記記憶部に記憶された前記複数の教師データのうち、前記分類部が決定した前記カテゴリの前記確信度が閾値以下の教師データを無効にする
   請求項１に記載のデータ処理装置。
6. 前記分類部は、前記決定では、前記複数の教師データの前記コンテンツが属するカテゴリを決定すると共に、前記教師データが前記決定した前記カテゴリに属する確信度を算出し、
   前記ユーザインターフェイス部は、前記表示では、一の前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示している際に早送り指示または巻き戻し指示を入力すると、前記記憶部に記憶された他の前記教師データのうち、前記分類部が決定した前記カテゴリの前記確信度が閾値以下の一の教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示する
   請求項１に記載のデータ処理装置。
7. 前記ユーザインターフェイス部は、前記表示と前記修正では、一の前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に所定時間に亘って表示した時点で前記修正入力を前記入力部から受け付けていない場合、修正不要と判断し、前記記憶部に記憶された他の一の前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示する
   請求項２に記載のデータ処理装置。
8. 前記分類部は、前記決定では、前記複数の教師データの前記コンテンツが属するカテゴリを決定すると共に、前記教師データが前記決定した前記カテゴリに属する確信度を算出し、
   前記ユーザインターフェイス部は、前記表示では、前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示する前記所定時間を、前記確信度に応じて決定する
   請求項７に記載のデータ処理装置。
9. 前記ユーザインターフェイス部は、前記所定時間の決定では、前記確信度がより低いほどより長い前記所定時間を決定する
   請求項８に記載のデータ処理装置。
10. 前記複数の教師データを生成する教師データ生成部を有し、
    前記教師データ生成部は、動画の各フレーム画像を入力してフレーム順に前記表示部に表示し、前記表示部に表示した前記各フレーム画像が属する前記カテゴリの入力を入力部から受け付け、前記フレーム画像である前記コンテンツと前記受け付けた入力の前記カテゴリを表す前記ラベルとを有する前記教師データを生成して前記記憶部に保存する
    請求項１に記載のデータ処理装置。
11. 前記教師データ生成部は、前記教師データの生成では、前記記憶部に保存した前記教師データ中から、一の前記カテゴリを表すラベルを有する一の前記教師データと、該一の前記教師データ中の前記コンテンツを表す前記フレーム画像の直後の前記フレーム画像を前記コンテンツとして有し、前記一の前記教師データの前記ラベルが表す前記カテゴリと相違するカテゴリを表す前記ラベルを有する他の一の前記教師データとを検出し、前記検出した前記一の前記教師データおよび前記他の一の前記教師データを無効にする
    請求項１０に記載のデータ処理装置。
12. 前記教師データ生成部は、前記教師データの生成では、前記記憶部に保存した前記教師データ中から、一の前記カテゴリを表すラベルを有する一の前記教師データと、該一の前記教師データ中の前記コンテンツを表す前記フレーム画像の直後の前記フレーム画像を前記コンテンツとして有し、前記一の前記教師データの前記ラベルが表す前記カテゴリと相違するカテゴリを表す前記ラベルを有する他の一の前記教師データとを検出し、予め設定された閾値をＴ時間とするとき、前記検出した前記他の一の前記教師データの前記フレーム画像の時刻から前記Ｔ時間だけ過去に溯った時刻までの時間帯に属する前記フレーム画像を前記コンテンツとする前記教師データと、前記検出した前記一の前記教師データの前記フレーム画像の時刻から前記Ｔ時間が経過するまでの時間帯に属する前記フレーム画像を前記コンテンツとする前記教師データとを無効にする
    請求項１０に記載のデータ処理装置。
13. それぞれがコンテンツと該コンテンツの属するカテゴリを表すラベルとを有する複数の教師データを記憶する記憶部を有するデータ処理装置が実行するデータ処理方法であって、
    前記複数の教師データを使用して分類モデルを生成し、
    前記分類モデルを使用して前記複数の教師データの前記コンテンツが属するカテゴリを決定し、
    前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを表示部に表示する
    データ処理方法。
14. 前記表示した前記教師データの前記ラベルに対する修正入力を受け付け、該受け付けた前記修正入力に応じて前記教師データの前記ラベルを修正する
    請求項１３に記載のデータ処理方法。
15. 前記表示では、前記記憶部に記憶された前記複数の教師データのうち、前記ラベルが表す前記カテゴリと前記分類部が決定した前記カテゴリとが相違する教師データに限定して、前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示する
    請求項１３に記載のデータ処理方法。
16. 前記カテゴリの決定では、前記複数の教師データの前記コンテンツが属するカテゴリを決定すると共に、前記教師データが前記決定した前記カテゴリに属する確信度を算出し、
    前記表示では、前記記憶部に記憶された前記複数の教師データのうち、前記分類部が決定した前記カテゴリの前記確信度が閾値以下の教師データに限定して、前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示する
    請求項１３に記載のデータ処理方法。
17. 前記カテゴリの決定では、前記複数の教師データの前記コンテンツが属するカテゴリを決定すると共に、前記教師データが前記決定した前記カテゴリに属する確信度を算出し、
    前記表示では、前記記憶部に記憶された前記複数の教師データのうち、前記分類部が決定した前記カテゴリの前記確信度が閾値以下の教師データを無効にする
    請求項１３に記載のデータ処理方法。
18. 前記カテゴリの決定では、前記複数の教師データの前記コンテンツが属するカテゴリを決定すると共に、前記教師データが前記決定した前記カテゴリに属する確信度を算出し、
    前記表示では、一の前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示している際に早送り指示または巻き戻し指示を入力すると、前記記憶部に記憶された他の前記教師データのうち、前記分類部が決定した前記カテゴリの前記確信度が閾値以下の一の教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示する
    請求項１３に記載のデータ処理方法。
19. 前記表示と前記修正では、一の前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に所定時間に亘って表示した時点で前記修正入力を前記入力部から受け付けていない場合、修正不要と判断し、前記記憶部に記憶された他の一の前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示する
    請求項１４に記載のデータ処理方法。
20. 前記カテゴリの決定では、前記複数の教師データの前記コンテンツが属するカテゴリを決定すると共に、前記教師データが前記決定した前記カテゴリに属する確信度を算出し、
    前記表示では、前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを前記表示部に表示する前記所定時間を、前記確信度に応じて決定する
    請求項１９に記載のデータ処理方法。
21. 前記所定時間の決定では、前記確信度がより低いほどより長い前記所定時間を決定する
    請求項２０に記載のデータ処理方法。
22. 前記複数の教師データを生成し、
    前記教師データの生成では、動画の各フレーム画像を入力してフレーム順に前記表示部に表示し、前記表示部に表示した前記各フレーム画像が属する前記カテゴリの入力を入力部から受け付け、前記フレーム画像である前記コンテンツと前記受け付けた入力の前記カテゴリを表す前記ラベルとを有する前記教師データを生成して前記記憶部に保存する
    請求項１３に記載のデータ処理方法。
23. 前記教師データの生成では、前記記憶部に保存した前記教師データ中から、一の前記カテゴリを表すラベルを有する一の前記教師データと、該一の前記教師データ中の前記コンテンツを表す前記フレーム画像の直後の前記フレーム画像を前記コンテンツとして有し、前記一の前記教師データの前記ラベルが表す前記カテゴリと相違するカテゴリを表す前記ラベルを有する他の一の前記教師データとを検出し、前記検出した前記一の前記教師データおよび前記他の一の前記教師データを無効にする
    請求項２２に記載のデータ処理方法。
24. 前記教師データの生成では、前記記憶部に保存した前記教師データ中から、一の前記カテゴリを表すラベルを有する一の前記教師データと、該一の前記教師データ中の前記コンテンツを表す前記フレーム画像の直後の前記フレーム画像を前記コンテンツとして有し、前記一の前記教師データの前記ラベルが表す前記カテゴリと相違するカテゴリを表す前記ラベルを有する他の一の前記教師データとを検出し、予め設定された閾値をＴ時間とするとき、前記検出した前記他の一の前記教師データの前記フレーム画像の時刻から前記Ｔ時間だけ過去に溯った時刻までの時間帯に属する前記フレーム画像を前記コンテンツとする前記教師データと、前記検出した前記一の前記教師データの前記フレーム画像の時刻から前記Ｔ時間が経過するまでの時間帯に属する前記フレーム画像を前記コンテンツとする前記教師データとを無効にする
    請求項２２に記載のデータ処理方法。
25. それぞれがコンテンツと該コンテンツの属するカテゴリを表すラベルとを有する複数の教師データを記憶する記憶部を有するコンピュータを、
    前記複数の教師データを使用して分類モデルを生成する機械学習部と、
    前記分類モデルを使用して前記複数の教師データの前記コンテンツが属するカテゴリを決定する分類部と、
    前記教師データの前記コンテンツおよび前記ラベルと前記分類部が決定した前記コンテンツが属するカテゴリとを表示部に表示するユーザインターフェイス部と
    して機能させるためのプログラム。

Images