JP2021064280A - 情報処理装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 新しいクラスが含まれる時系列データにおいても、既存の検知モデルとそのモデルの学習時からの変更情報とに基づいて、新しいクラスへのラベル付与作業を支援する技術を提供する。【解決手段】 複数の動作で表される時系列データに対して、各動作にラベルを付与する情報処理装置であって、時系列データの動作の変更に関する動作変更情報を取得する第１の取得部と、時系列データを取得する第２の取得部と、時系列データを入力すると、該時系列データに含まれる動作のラベルを出力する学習済みモデルを用いて、時系列データに含まれる動作を検知する検知部と、動作の変更によって生じた新たにラベルを付与すべきラベル付与区間を、検知部の検知結果と動作変更情報に基づいて推定する推定部とを備える。【選択図】 図２

Description

本発明は、機械学習を用いて時系列データを分析する技術に関するものである。

近年、機械学習を用いた認識技術が盛んに開発されている。このような機械学習を用いた技術では、学習に用いる十分な量の学習用データを予め用意する必要がある。例えば、クラス分類の学習用データは、画像に対して分類クラスを人手で付与することによって生成される。このようにして生成された学習用データを用いて機械学習における学習処理を行うことで、モデルが生成される。機械学習を用いた認識技術では、新たなデータをモデルに入力することで認識結果を得る。

認識対象のデータが映像（時系列データ）である場合、例えば、システムのユーザは映像を再生しながら目視でそのシーンがどのクラスに分類されるかのラベルを付与することになるため、学習用データの生成には多くのコストを要する。また、学習用データを増やしてモデルを更新する場合においても、同様に新たなデータに対してユーザがラベルを付与する必要がある。

これに対し、特許文献１には、特定の期間においてラベル付きデータとラベルなしデータの描写内容の変化の程度から、ラベルなしデータにラベルを自動的に付与する方法が開示されている。

特開２０１６−７６０７３号公報

ここで、特許文献１に開示された技術は、既知の検知モデルが検知可能なクラスに対してラベルを付与できる技術である。このため、特許文献１に開示された技術では、既知の検知モデルが検知することができない新しいクラスの学習用データを生成する場合には、適当なラベル付与を行うことができない。例えば、人間が料理をしているシーンを撮影した映像に対して、「材料を切る」、「材料を炒める」、「皿に盛り付ける」のような３つの動作を検知できる検知モデルがあるとする。このモデルでは、新たに撮影した映像に対して、上記の３つの動作が表れた場合は、検知結果に基づいてラベルを付与することができるが、例えば、新たに「材料をかくはんする」動作が表れた場合は、この検知モデルではラベルを付与することができない。このため、「材料をかくはんする」動作を検知可能なモデルを生成したい場合には、ユーザが新たにラベルを付与する必要があり、依然として多くのコストを要する、という課題は残る。

本発明は以上の課題を鑑みてなされたものであり、新しいクラスが含まれる時系列データにおいても、既存の検知モデルとそのモデルの学習時からの変更情報とに基づいて、新しいクラスへのラベル付与作業を支援する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
複数の動作で表される時系列データに対して、各動作にラベルを付与する情報処理装置であって、
前記時系列データの動作の変更に関する動作変更情報を取得する第１の取得手段と、
前記時系列データを取得する第２の取得手段と、
前記時系列データを入力すると、該時系列データに含まれる動作のラベルを出力する学習済みモデルを用いて、前記時系列データに含まれる動作を検知する検知手段と、
前記動作の変更によって生じた新たにラベルを付与すべきラベル付与区間を、前記検知手段の検知結果と前記動作変更情報に基づいて推定する推定手段とを備える。

本発明によれば、時系列データに対して機械学習による認識処理を行う場合に、新しいクラスが含まれる時系列データにおいても、既存の検知モデルとそのモデルの学習時からの変更情報とに基づいて、新しいクラスへのラベル付与作業を支援することができる。

実施形態における変更前後の時系列データの構造例を示す図。 第１の実施形態の情報処理装置のモジュール構成を示す図。 動作変更情報の具体的例を示す図。 第１の実施形態におけるラベル付与区間推定プロセスのフローチャート。 第１の実施形態におけるユーザインタフェースの例を示す図。 第２の実施形態における、適合度を算出するプロセスの模式図。 第２の実施形態における、情報処理装置のモジュール構成を示す図。 第２の実施形態における、学習データ生成プロセスのフローチャート。 第２の実施形態におけるユーザインタフェースの例を示す図。 第３の実施形態における、学習データ生成プロセスのフローチャート。 第３の実施形態における、検知結果の補正プロセスのフローチャート。 第３の実施形態におけるユーザインタフェースの例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
以下の実施形態では一例として、生産現場において、作業者が所定の動作群を反復して行う様子を、撮像装置で撮影して得た時系列データを扱う。この時系列データに対して機械学習による動作検知処理を行う場合において、動作群の一部の動作に変更が生じても、変更後の動作群に対してラベルを付与する方法を説明する。本実施形態では、動作群として「工程」を、時系列データとして「映像」を扱う。工程は図１（Ａ）のように作業者が行う所定の複数の動作から構成される動作群である。横軸を時間とし、例えば、動作１（１０１）、動作２（１０２）、動作３（１０３）、動作４（１０４）の４つの動作が順番に作業者によって実行される。作業者は工程の最後の動作を終えると、工程の最初の動作に戻る。動作検知処理とは、入力された映像に対してどの動作を行っているかを出力する処理であり、事前に学習データから生成された検知モデル（学習済みモデル）によって行われる。本実施形態では、動作検知処理としてはニューラルネットワーク、特に畳み込みニューラルネットワークを用いるが、畳み込みニューラルネットワークに限らず他のモデルでもよく、さらに、ニューラルネットワークに限らず従来の他の機械学習技術でもよい。動作変更とは、工程を構成する一部の動作を追加、削除する組み合わせである。図１（Ｂ）はその一例であり、動作１（１０１）、動作２（１０２）、新動作１（１０５）、動作４（１０４）のように、図１Ａの動作３（１０３）が、図１Ｂでは新動作１（１０５）に変更された場面である。ここで、動作変更前に学習した学習済みの検知モデル（以下、動作変更前モデルと呼称する）は事前の学習によって保持しているものとする。なお、本実施形態では、「区間」とは、検知された各動作の開始点および終了点までの間であり、「ラベル」とは、この区間情報とこの区間中にどの動作を行っているかの分類を併せて持つ情報である。

本第１の実施形態によれば、動作変更前モデルと動作変更情報に基づいて、動作変更後の映像に対しても動作検知およびラベル付与を行うことができる。

図２は、本第１の実施形態に係る情報処理装置２００のモジュール構成を示す図である。図示において、制御部２５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するため、並びに、ワークエリアとしても使用するメモリで構成される。操作部２６１は、ユーザからの指示入力を受け付けるものであり、代表的には、キーボード、マウス、或いはタッチパネルである。表示部２６２は、画像や各種メニューを始め、各種情報をユーザに提示する。時系列データ記憶部２０２は、ハードディスクなどの記憶装置であり、ローカル、ネットワーク上のファイルサーバの種類は問わない。また、時系列データ記憶部２０２以外のモジュールは、制御部２５０におけるＣＰＵが対応するプログラムを実行することで実現しても構わない。

時系列データ取得部２０１は、生産現場で撮影した映像を時系列データ記憶部２０２から、時系列データとして取得する。動作検知実行部２０３は、時系列データ取得部２０１から検知対象とする映像を抽出し、動作変更前の検知モデルに入力することで動作検知処理を実行する。

動作変更情報取得部２０４は、動作変更前後の各種情報を取得する。ここで、動作変更前とは保持している検知モデルを生成したときの工程であり、動作変更後とは一部の動作に追加、削除が生じた工程である。動作変更情報取得部２０４が取得する情報を図３に示す。動作順序３０１では、変更前後の工程を構成する動作を行う順序情報を保持する。動作名３０２では、変更前後の工程を構成する動作名を保持する。標準動作時間３０３では、過去のデータやユーザの入力等に基づいて設定される各動作の標準的な動作時間を保持する。変更情報３０４では、各動作の変更ステータス「追加、削除」を保持する。工程を構成する一部の動作に変更が生じており、工程が変更されたことと同義である。

ラベル付与区間推定部２０５は、動作検知実行部２０３が出力する検知結果と動作変更情報取得部２０４が取得した動作変更情報に基づいて、動作変更後の新しい動作区間を推定する。図３の例では、動作順序「３」の動作の動作区間を推定する。

ラベル表示部２０６は、動作検知実行部２０３およびラベル付与区間推定部２０５で得られる区間をユーザに提示する。

修正操作入力部２０７は、ラベル付与区間推定部２０５が出力する推定区間の長さの修正をユーザから受け付ける。

以下、上記のように構成された本実施形態における情報処理装置２００の動作について、図４に例示するフローチャートに沿って説明する。

Ｓ４０１にて、時系列データ取得部２０１は、時系列データ記憶部２０２から映像を取得する。Ｓ４０２にて、動作検知実行部２０３は、Ｓ４０１で取得した映像を動作変更前モデルに入力することで動作検知処理を実行する。動作検知実行部２０３は、動作変更前モデル生成時に定義された各動作が映像中から検出された区間を表す情報を、検知処理結果として出力する。図３の例では、「動作１」を行っている区間に「動作１」という検知処理結果が得られる。

Ｓ４０３にて、動作変更情報取得部２０４は、動作変更前モデル生成時からの変更情報（図３および図３の説明を参照）を取得する。Ｓ４０４にて、ラベル付与区間推定部２０５は、動作変更後に追加された動作の区間を推定する。

以下、図１（Ａ）の工程が、図１（Ｂ）のように変更した例を用いて説明する。動作変更後の工程で撮影された映像に対するＳ４０２の検知結果は、動作１（１０１）、動作２（１０２）、動作４（１０４）の区間が含まれるが、新動作１（１０５）の区間は動作変更前にはない動作のために含まれない。また、動作変更情報によって動作変更前にない映像が入力される区間が、動作２（１０２）と動作４（１０４）の間であるという情報は既知である。そのため、動作２（１０２）として推定された区間の終了フレームと、動作４（１０４）として推定された区間の開始フレームの間の区間を新動作１（１０５）の区間として推定できる。ここで、新しい動作（図１の例では「新動作１」）が定義されている前後の動作区間（図１の例では「動作２」、「動作４」）が検知結果として出力されなかった場合は「ラベル付与区間なし」とする。新しくラベルを付与する区間を推定できないからである。また、ここでは任意の動作が新しい動作に置き換わった例で説明したが、変更前の動作群に変化はなく、任意の動作間に新しい動作が追加された場合においても同様に、直前の動作の終了フレームと直後の動作の開始フレームから推定できる。

Ｓ４０５にて、制御部２５０、Ｓ４０４で推定したラベル付与区間が存在するかしないかを判定し、存在すればＳ４０６に進み、存在しなければＳ４０８までスキップする。

Ｓ４０６にて、ラベル表示部２０６がＳ４０４で推定したラベル付与区間を表示部２６２に表示し、ユーザに提示する。図５のグラフィカルユーザインタフェース（ＧＵＩ）５００は、この一例である。フレーム表示部５０１は、現在のフレーム画像を表示する領域である。動作定義表示部５０２は、編集対象動作の開始フレームおよび終了フレームの定義を表示する領域である。後退ボタン５０３は、現在のフレームを後退させる。前進ボタン５０４、現在のフレームを前進させる。ラベル確定ボタン５０５は、編集中のラベルを確定させる。ラベルスキップボタン５０６は、編集中のラベルを不採用として次のラベルへスキップする。なお、これらのボタンへの操作は、操作部２６１を介して受け付けられる。タイムライン表示部５０７は、ラベルを時系列で表示する領域である。タイムライン現在位置表示部５０８は、フレーム表示部５０１に表示されている現在フレームの位置を表す。各動作ラベル（動作１ラベル５０９、動作２ラベル５１０、新動作１ラベル５１１、動作４ラベル５１２）は、タイムライン表示部５０７に表示される。標準動作定義表示部５１３は、動作変更情報取得部２０４によって取得された情報を表示する。また、編集作業を行うラベルはクリック操作等で指定でき、編集中のラベルは新動作１ラベル５１１のように枠線の変化によって示される。

Ｓ４０７にて、修正操作入力部２０７がＳ４０６で表示されたラベルの修正操作をユーザから受け付ける。具体的には以下のような操作を行う。ユーザはフレーム表示部５０１に表示されている画像が、動作定義表示部５０２に表示されている画像に一致しているかを確認する。この作業のために、ユーザは後退ボタン５０３、または前進ボタン５０４を押下して、タイムライン現在位置表示部５０８をフレーム単位で後退または前進させる。この操作によって、フレーム表示部５０１に表示されるフレームの画像が変化し、動作定義表示部５０２と一致するかを確認することができる。ここで、ラベル付与区間（新動作１ラベル５１１）は修正を要すると判断された場合は、例えば、ユーザは新動作１のラベル５１１を選択し、ドラッグ操作等によって開始点または終了点をフレーム単位で調整することで、動作定義表示部５０２と一致させる。このとき、例えば、新動作１のラベル５１１の開始点を動作２のラベル５１０側に１フレーム伸ばすと、動作２のラベル５１０は自動で１フレーム縮む。ラベル付与区間推定結果が正しく編集不要、または編集完了時は、ラベル確定ボタン５０５を押下することによって確定させる。確定操作後は、ユーザインタフェース画面５００は推定した次のラベル付与区間を表示する。また、ユーザがユーザインタフェース画面５００によってラベルを確認した結果、ラベル付与区間として適切ではないと判断した場合は、ラベルスキップボタン５０６を押下し、「ラベル付与区間なし」と変更して、次のラベル付与区間を表示してもよい。

Ｓ４０８にて、制御部２５０は、次に表示するラベル付与区間が存在するかを判定し、存在すれば処理をＳ４０５に戻り、存在しなければプロセスを終了する。

以上に説明した処理を情報処理装置２００においてコンピュータプログラムとして実行することで、新しい動作に対する検知処理およびラベル付与を、既存の検知モデルとそのモデルの学習時との変更情報に基づいて行うことができる。

本実施形態によれば、映像中で動作が行われるタイミングが不定期であっても、工程の動作が所定の順序で行われているという制約内であれば、新しい動作を検知することができる。例えば、作業者が工程の最後の動作を終えて工程の最初の動作を行う間に、休憩や部品交換等の動作を行った場合を考える。このような学習データに含まれていない動作が含まれていても、動作変更前モデルでは変更なし動作を検知することができるため、動作順序情報に基づいて新しい動作を検知することが可能となる。標準動作時間の情報だけしか使わないとすると、休憩などの動作を行っている場合には、新しくラベルを付与すべき動作がいつから開始されたか、推定を誤ってしまう。

本実施形態において、工程を構成する動作間の区切りにおいて間隙があってもよい。この場合、間隙の標準動作時間３０３も保持しておく必要がある。こうすることで、ラベル付けの対象となる動作区間を限定したい場面においても、新しい動作に対する検知処理およびラベル付与を行うことができる。

本実施形態において、入力する時系列データは映像以外のセンサ信号（例えば、ＲＦＩＤ）等でもよい。この場合、例えば、フレーム表示部５０１は、グラフのような時系列データを可視化するような表示を行うことになる。

本実施形態のＳ４０７において、推定したラベル付与区間をユーザが確認、修正を行っていたが、この操作は省略してもよい。つまり、ユーザ操作は介さずラベル付与区間を決定することでユーザ負荷をさらに軽減することができる。

［第２の実施形態］
次に第２の実施形態を説明する。なお、上記の第１の実施形態と同一構成部分については同じ参照符号を付し、その説明は省略する。第１の実施形態では、新しい動作に対する検知処理およびラベル付与を、動作変更前モデルとそのモデルの学習時からの変更情報とに基づいて行うことができた。しかし、動作変更が複数行われる場面を想定すると、既存の検知モデルが検知可能な動作が少なくなってしまうため、動作変更後の検知モデル（以下、動作変更後モデルと呼称する）を生成できることが望ましい場面がある。本実施形態では、ラベル付与区間推定部２０５で推定された区間を新たに学習データとして、再度学習処理を行うことで既存の検知モデルを更新する。新しい動作について学習データを生成し、検知モデルを更新することで、学習のためのラベル付与に係るコストを削減することができる。

本第２の実施形態では、推定したラベル付与区間が標準動作時間３０３で構成される標準的な工程と比較して、どの程度差があるかを評価する指標をラベル付与区間の「適合度」と呼称する。具体的には、図６のように推定した工程６０１と標準的な工程６０２を比較するとき、まず各動作のラベルを動作順序に並べたラベル群の始端を揃える。次に、適合度を算出する推定した新動作１のラベル６０３と、標準動作時間の新動作１のラベル６０４の両ラベルのいずれかが含まれる区間の長さと、両ラベルとも含まれる区間の長さを求める。両ラベルのいずれかが含まれる区間の長さのうち、両ラベルとも含まれる区間の長さの割合を工程に対する適合度として定める。次に、同様の計算を動作ラベル単体に対しても行う。新動作１のラベル６０３と、標準動作時間の新動作１のラベル６０４の始端を揃え、両ラベルのいずれかが含まれる区間の長さのうち、両ラベルとも含まれる区間の長さの割合を動作に対する適合度として定める。例えば、標準動作時間の新動作１のラベル６０４が１２秒で設定されているとき、推定した新動作１のラベル６０３が１８秒だったとすると、動作に対する適合度は６６．６％となる。最後に、工程に対する適合度と、動作に対する適合度を平均した値を最終的な適合度と定める。

図７は、本実施形態に係る情報処理装置２００のモジュール構成を示す図である。

適合度評価部７０１は、ラベル付与区間推定部２０５が推定したラベル付与区間の適合度を評価する。

適合度表示部７０２は、適合度評価部７０１が評価した適合度をユーザに表示する。なお、適合度表示部７０２はラベル表示部２０６に構成されてもよい。

学習処理実行部７０３は、動作検知実行部２０３で検知された動作変更なし区間のラベル、ラベル付与区間推定部２０５で推定された動作変更あり区間のラベル、および時系列データ取得部２０１から取得されたこれら区間に対する映像を用いて学習処理を行う。こうすることで、動作変更後モデルが生成される。

以下、上記のように構成された本実施形態における情報処理装置２００の動作について、図８に例示するフローチャートに沿って説明する。フローチャート内のＳ４０１からＳ４０５、Ｓ４０７、Ｓ４０８は、第１の実施形態の図４で説明した各ステップと同様である。ここでは、第１の実施形態とは異なるＳ８０１からＳ８０４について説明する。

Ｓ８０１にて、適合度評価部７０１は、Ｓ４０４で推定したラベル付与区間の適合度を評価する。

Ｓ８０２にて、適合度表示部７０２がＳ８０１で評価した適合度をユーザに旨、表示部２６２に表示する。例えば、図９のユーザインタフェース５００を表示する。このユーザインタフェース５００には適合度９０１をラベルと併せて表示する。ここで、適合度は動作変更あり区間のラベル（新動作１のラベル５１１）についてだけではなく、動作変更なし区間のラベル（動作１ラベルの５０９、動作２のラベル５１０、動作４のラベル５１２）についても評価して表示してよい。また、Ｓ８０１で算出した適合度を、閾値を与えることで高いか低いかを判定して、その結果をユーザに表示してもよい。例えば、閾値を０．９０としたとき、適合度が０．９５であれば新動作１のラベル５１１の適合度が高いと判断する。逆に適合度が０．８０であれば新動作１のラベル５１１は適合度が低いと判断する。

Ｓ８０３にて、学習処理実行部７０３は、まずＳ４０２の検知結果から生成された動作変更なし区間のラベル、およびＳ４０７で確定した動作変更あり区間のラベルから動作変更後の学習データを生成する。そして、これら区間に対応する映像を用いて学習処理を行う。

Ｓ８０４にて、制御部２５０は、動作変更前モデルをＳ８０３が生成した動作変更後モデルに更新する。

以上より、本第２の実施形態によって、動作変更前モデルとそのモデルの学習時からの変更情報とに基づいて、新しい動作に対する検知処理およびラベル付与だけでなく、効率的に動作変更後の検知モデルを生成することができる。

本第２の実施形態によれば、新しい動作が２つ以上連続しても情報処理装置の運用を継続することができる。新しい動作間の境界を標準動作時間等で仮推定し、ユーザがその境界のみを数回修正して学習処理を行えば、小さいユーザ負荷で対応することができる。

本第２の実施形態のＳ８０２において、評価した適合度に応じてラベル表示方法を調整するようなユーザインタフェースにしてもよい。例えば、適合度が高いと判断されたラベルは濃い色で表示し、低いと判断されたラベルは薄い色で表示する。こうすることで、ユーザに適合度の度合いを視覚的に提示することができる。

本第２の実施形態のＳ８０２において、適合度が低いと判断したらユーザ判断を待つことなく、学習データとして不採用としてＳ４０８までスキップしてもよい。こうすることで、ユーザ負荷をさらに軽減するようにできる。

また、第２の実施形態では、Ｓ８０３おいて、動作変更なし区間のラベルとして、Ｓ８０２の検知結果から生成されたラベルを用いたが、動作変更前の学習データを保持していればそのデータと併せて学習データとしても本発明の実施は可能である。こうすることで、動作変更なし区間に対しては汎用的な検知モデルを生成することができる。

［第３の実施形態］
次に、第３の実施形態を説明する。なお、第１および第２の実施形態と同一構成部分に同参照符号を付し、その説明は省略する。第１および第２の実施形態では、修正操作入力部２０７による操作は、動作変更あり区間のラベルに対してのみ行っていた。しかし、工程の一部の動作変更が動作変更なし区間の検知に影響を与える可能性がある。特に、動作変更あり区間の直近の動作についてはその境界部の動作の傾向も変化しやすい。本第３の実施形態では、適合度評価部７０１で動作変更なし区間に対しても適合度を評価し、適合度が低いと判断された場合は標準動作時間３０３の情報に基づいて補正を行う。

以下、上記のように構成された本実施形態における情報処理装置２００の動作について、図１０および図１１に例示するフローチャートに沿って説明する。フローチャート内のＳ４０１〜Ｓ４０５、Ｓ４０７、Ｓ４０８、及び、Ｓ８０１〜Ｓ８０４は第２の実施形態の図８で説明した各ステップと同様である。ここでは、図１０に追加されたＳ１００１の検知結果補正処理の詳細を、図１１のＳ１１０１〜Ｓ１１０５を参照して説明する。

Ｓ１１０１にて、制御部２５０は、Ｓ４０２で検知した結果に対して、Ｓ８０１で評価した適合度を、Ｓ８０２と同様に、閾値を与えることで高いか低いかを判定する。

Ｓ１１０２にて、制御部２５０は、Ｓ４０２で検知した結果を標準動作時間３０３の情報に基づいて補正を行う。具体的には、例えば、検知結果のラベルの長さが、標準動作時間よりも閾値以上に小さい場合は、標準動作時間の長さまで大きくするように補正する。 Ｓ１１０３にて、制御部２５０は、Ｓ４０４で推定したラベル付与区間に対して、Ｓ８０１で評価した適合度が、Ｓ１１０２で行った補正処理によって向上したか低下したかを判定する。ラベル付与区間の適合度が向上したと判断したと判定した場合は、この補正処理の結果を採用する。

Ｓ１１０４にて、制御部２５０は、Ｓ１１０３でラベル付与区間の適合度が低下したと判断した場合に補正処理の結果を不採用とし、検知結果のラベルを元に戻す。

Ｓ１１０５にて、制御部２５０は、次に補正する検知結果が存在するかを判定する。存在すると判定した場合。制御部２５０は処理をＳ１１０１に戻り、存在しないと判定した場合は本プロセスを終了する。

以上より、本第３の実施形態によって、一部の動作変更が動作変更なし区間の検知結果に影響を与える場合においても、その区間を補正して適当なラベルを付与することができる。

本第３の実施形態のＳ８０２において、図１２のユーザインタフェースのように、適合度表示部７０２で検知結果補正後のラベルをユーザに提示するようなユーザインタフェース画面５００にしてもよい。例えば、補正ラベル表示ボタン１２０１を押下することで、検知結果補正前ラベルと検知結果補正後ラベルの表示を切り替えられるような機能を追加する。こうすることで、ユーザは検知結果の補正による効果を視覚的に確認することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０１…時系列データ取得部、２０２…時系列データ記憶部、２０３…動作検知実行部、２０４…動作変更情報取得部、２０５…ラベル付与区間推定部、２０６…ラベル表示部、２０７…修正操作入力部

Claims (10)

1. 複数の動作で表される時系列データに対して、各動作にラベルを付与する情報処理装置であって、
   前記時系列データの動作の変更に関する動作変更情報を取得する第１の取得手段と、
   前記時系列データを取得する第２の取得手段と、
   前記時系列データを入力すると、該時系列データに含まれる動作のラベルを出力する学習済みモデルを用いて、前記時系列データに含まれる動作を検知する検知手段と、
   前記動作の変更によって生じた新たにラベルを付与すべきラベル付与区間を、前記検知手段の検知結果と前記動作変更情報に基づいて推定する推定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記動作変更情報は、少なくとも動作変更前後の各動作が行われる所定の順序、あるいは、各動作が行われる標準的な動作時間の少なくともいずれかを含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記ラベル付与区間、前記検知手段による検知結果、及び、前記動作変更情報の少なくとも１つを表示する表示手段を更に有することを特徴とする請求項１に記載の情報処理装置。
4. 前記ラベル付与区間および前記検知手段の検知結果による各動作の推定区間の修正する修正手段を有し、
   前記修正手段は前記ラベル付与区間の長さを、ユーザからの指示に従って修正する
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記ラベル付与区間および前記検知手段の検知結果に基づいて、学習処理を実行して動作変更後の検知モデルを生成する学習手段を更に有することを特徴とする請求項１に記載の情報処理装置。
6. 前記検知手段の検知結果と前記動作変更情報に基づいて、前記ラベル付与区間の適合度を、所定の閾値と比較することで評価する評価手段を更に有し、
   前記適合度が高いと判断された区間をラベル付与区間として採用することを特徴とする請求項５に記載の情報処理装置。
7. 前記評価手段により得た適合度を表示する表示手段を更に有することを特徴とする請求項６に記載の情報処理装置。
8. 前記評価手段により得た適合度に基づいて、前記検知手段の検知結果の補正する手段を更にすることを特徴とする請求項６に記載の情報処理装置。
9. 複数の動作で表される時系列データに対して、各動作にラベルを付与する情報処理装置の制御方法であって、
   前記時系列データの動作の変更に関する動作変更情報を取得する第１の取得工程と、
   前記時系列データを取得する第２の取得工程と、
   前記時系列データを入力すると、該時系列データに含まれる動作のラベルを出力する学習済みモデルを用いて、前記時系列データに含まれる動作を検知する検知工程と、
   前記動作の変更によって生じた新たにラベルを付与すべきラベル付与区間を、前記検知工程の検知結果と前記動作変更情報に基づいて推定する推定工程と、
   を備えることを特徴とする情報処理装置の制御方法。
10. コンピュータが読み込み実行することで、前記コンピュータに、請求項９に記載の方法の各工程を実行させるためのプログラム。

Images