JP2020021421A - データ分割装置、データ分割方法およびプログラム - Google Patents

Abstract

【課題】時系列データの分割の適切さを評価することができるデータ分割装置、データ分割方法およびプログラムを提供する。【解決手段】実施形態のデータ分割装置は、動作体が複数の行動を順次行うことに伴って取得されるセンサ信号の時系列データを、行動ごとのデータ区間に分割するデータ分割装置であって、分割時刻推定部と、特徴量算出部と、評価部と、を備える。分割時刻推定部は、前記時系列データにおける１以上の分割時刻を推定する。特徴量算出部は、推定された前記分割時刻によって区切られる各データ区間の特徴量を算出する。評価部は、前記特徴量の遷移の尤もらしさを表す遷移尤度に基づいて、推定された前記分割時刻の適切さを評価する。【選択図】図１

Description

本発明の実施形態は、データ分割装置、データ分割方法およびプログラムに関する。

人間やロボットなどの動作体の行動分析を行う場合、動作体が複数の行動を順次行うことに伴って取得されるセンサ信号の時系列データを行動ごとに分割し、各データ区間から特徴量を抽出して個々の行動を識別する方法が有効である。しかしこの方法は、時系列データの分割に誤りがあると識別精度が低下する。このため、分割によって得られた各データ区間に対応する行動を識別するのに先立って、その分割が適切に行われたかどうかを評価できるようにすることが望まれる。

特許第４２５７４２１号公報 特開２０１６−８１１２１号公報

本発明が解決しようとする課題は、時系列データの分割の適切さを評価することができるデータ分割装置、データ分割方法およびプログラムを提供することである。

実施形態のデータ分割装置は、動作体が複数の行動を順次行うことに伴って取得されるセンサ信号の時系列データを、行動ごとのデータ区間に分割するデータ分割装置であって、分割時刻推定部と、特徴量算出部と、評価部と、を備える。分割時刻推定部は、前記時系列データにおける１以上の分割時刻を推定する。特徴量算出部は、推定された前記分割時刻によって区切られる各データ区間の特徴量を算出する。評価部は、前記特徴量の遷移の尤もらしさを表す遷移尤度に基づいて、推定された前記分割時刻の適切さを評価する。

第１実施形態のデータ分割装置の機能的な構成例を示すブロック図。 データ区間の特徴量を算出する方法の具体例を説明する図。 分割時刻の適切さを評価する方法の具体例を説明する図。 第１実施形態のデータ分割装置による処理手順を示すフローチャート。 第２実施形態のデータ分割装置の機能的な構成例を示すブロック図。 第２実施形態のデータ分割装置による処理の具体例を説明する図。 第３実施形態のデータ分割装置の機能的な構成例を示すブロック図。 ＵＩ画面の一例を示す図。 第３実施形態のデータ分割装置による処理手順を示すフローチャート。 第３実施形態の変形例を説明するブロック図。 データ分割装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照して、本発明に係るデータ分割装置、データ分割方法およびプログラムの実施形態を詳細に説明する。実施形態のデータ分割装置は、動作体が複数の行動を順次行うことに伴って取得されるセンサ信号の時系列データを、行動ごとのデータ区間に分割するものであり、特に、分割の適切さを評価する機能を持つ。ここで「行動」とは、意味的に１つにまとめることができる動作の単位をいい、例えば、外部の行動識別器による識別の対象となる動作単位である。「動作体」は主に人間を想定するが、人間のほかにもロボットや特定の動物など、行動識別の対象となり得る様々な動作の主体を含む。

＜第１実施形態＞
図１は、第１実施形態のデータ分割装置の機能的な構成例を示すブロック図である。本実施形態のデータ分割装置は、図１に示すように、取得部１と、データバッファ２と、分割時刻推定部３と、特徴量算出部４と、評価部５と、出力部６とを備える。

取得部１は、動作体が複数の行動を順次行ったときの動きを捉えたセンサ信号の時系列データを取得する。ここでは、動作体を撮影するカメラがデータ分割装置に接続されており、取得部１が、このカメラにより撮影された動作体の映像データを、センサ信号の時系列データとして取得する場合を例に挙げて説明する。

カメラは、動作体の全身あるいは行動を表す部位やその一部を撮影できるように設置され、動作体が複数の行動を順次行っている様子を動画（映像）として撮影する。カメラは、例えば、可視光動画を撮影するカメラ、赤外光動画を撮影するカメラ、深度動画を撮影するカメラなどである。複数のカメラがデータ分割装置に接続され、取得部１がこれら複数のカメラにより撮影された複数の映像データ、あるいは複数の映像データを合成（加工、編集）して得られる映像データを取得してもよい。また、取得部１は、カメラにより撮影されて外部のストレージデバイスに格納された映像データを、このストレージデバイスから取得するようにしてもよい。

なお、取得部１が取得するセンサ信号の時系列データは、カメラにより撮影された動作体の映像データに限らない。例えば、動作体の動きを捉える加速度センサが出力する加速度信号の時系列データや、動作体の位置を示す位置情報の時系列データなどであってもよい。位置情報は、例えばＧＰＳセンサが出力するＧＰＳ信号であってもよいし、例えば店舗内に設置したビーコンと動作体が保持する受信機との通信強度を利用して推定される位置情報であってもよい。また、種類が異なる複数のセンサ信号の時系列データを取得部１が取得する構成であってもよい。

取得部１が取得した時系列データは、データバッファ２に格納される。データバッファ２は、本実施形態のデータ分割装置による時系列データに対する処理が終了するまで、その時系列データを保持する。

分割時刻推定部３は、データバッファ２から時系列データを取り出し、例えば事前に学習された回帰モデルを用いて、この時系列データを行動ごとのデータ区間に分割するための１以上の分割時刻を推定する。例えばカメラで撮影された動作体の映像データを時系列データとする場合、分割時刻推定部３は、映像データを構成するフレーム画像から動作体の特徴的な関節（例えば、手首、肘、肩、首、足首など）が位置する座標を推定し、この座標の映像データにおける軌跡情報に基づいて、分割時刻を推定することができる。

具体的には、映像データのある時刻ｔｘの前後の固定長さの時刻範囲の軌跡情報を入力として、時刻ｔｘが分割時刻であるかどうかの確信度を回帰する回帰モデルを、映像データのすべての時刻に適用して分割時刻を推定することができる。また、時刻ｔｘの前後の固定長さの時刻範囲の軌跡情報を入力とし、この時刻範囲の中に分割時刻が存在するかどうかの確信度を回帰する回帰モデルと、その分割時刻と時刻ｔｘとの間の時刻差を回帰する回帰モデルとの２つのモデルを用いて分割時刻を推定してもよい。

映像データ（時系列データ）を過剰に分割することを防ぐために、映像データのすべての時刻に対して上述の回帰モデルを適用した後に、分割時刻として推定された２つの時刻の差が予め定めた時刻差よりも短い場合は、これらの２つの時刻を統合して１つの分割時刻としてもよい。この場合、例えば２つの分割時刻のうち、上述の回帰モデルが出力する確信度が高い時刻を分割時刻とするなど、予め定めた規則に従って分割時刻として採用する時刻を選択すればよい。

なお、取得部１が取得したセンサ信号の時系列データにおける分割時刻を推定する方法は、上述の例に限らない。時系列データが映像データである場合、上述の関節座標の軌跡だけでなく、関節座標の速度や加速度の時間的な変化（履歴）を併せて、回帰モデルの入力として利用してもよい。また、映像データを構成するフレーム画像の動作体が映る範囲の輝度値の履歴を回帰モデルの入力として利用してもよい。

また、時系列データが加速度信号の時系列データである場合、加速度信号の時間的な変化（履歴）や、加速度信号の履歴を積算して求めた位置の軌跡を回帰モデルの入力として利用してもよい。また、時系列データが動作体の位置情報の時系列データである場合、その位置の軌跡を回帰モデルの入力として利用してもよい。また、上述の方法を複数組み合わせて、時系列データにおける分割時刻を推定してもよい。

分割時刻推定部３が推定した分割時刻の情報は、特徴量算出部４に渡される。

特徴量算出部４は、データバッファ２から時系列データを取り出し、この時系列データを分割時刻推定部３により推定された分割時刻で区切ることで得られる各データ区間の特徴量を算出する。

具体的には、特徴量算出部４は、分割時刻推定部３により推定された分割時刻のうち最も古い時刻を第１終了時刻とし、時系列データの開始時刻からこの第１終了時刻までの間のデータ区間を第１データ区間とする。次に、特徴量算出部４は、分割時刻推定部３により推定された分割時刻のうち２番目に古い時刻を第２終了時刻とし、第１終了時刻からこの第２終了時刻までの間のデータ区間を第２データ区間とする。以降、同様にして分割時刻により区切られるデータ区間を順次特定し、分割時刻推定部３により推定された分割時刻のうち最新の時刻から時系列データの終了時刻までの間のデータ区間を最後のデータ区間とする。なお、分割時刻推定部３により推定された分割時刻が１つであった場合は、時系列データの開始時刻からその分割時刻までのデータ区間と、その分割時刻から時系列データの終了時刻までのデータ区間との２つのデータ区間が得られる。

特徴量算出部４は、以上のようにして得られた各データ区間の特徴量を、例えば予め用意された特徴量算出モデルを用いて算出する。この特徴量の算出方法としては、例えば以下の方法を用いることができる。まず、各データ区間を予め定めた数の部分に等分割し、部分ごとに、上述の分割時刻の推定に用いた関節座標や動作体の位置などの値（以下、これを「要素値」と呼ぶ）を平均化する。そして、各データ区間のそれぞれにおいて、そのデータ区間を構成する各部分から求めた要素値の平均値を連結したものを、そのデータ区間の特徴量として算出する。

図２は、この特徴量の算出方法を説明する図である。分割時刻ｔ_０と分割時刻ｔ_１の間のデータ区間の特徴量と、分割時刻ｔ_１と分割時刻ｔ_２の間のデータ区間の特徴量とを算出する場合、例えば図２に示すように、各データ区間をそれぞれ３等分し、それぞれの部分ごとに要素値の平均値を求める。そして、それぞれのデータ区間について、そのデータ区間を構成する３つの部分で求めた要素値の平均値を連結し、そのデータ区間の特徴量とする。図２の例で示すように、分割時刻ｔ_０と分割時刻ｔ_１の間のデータ区間と、分割時刻ｔ_１と分割時刻ｔ_２の間のデータ区間は、互いに長さが異なっているが、ともに３つの部分に等分割されているため、同じ次元数の特徴量が算出されることが分かる。なお、データ区間の特徴量を算出する方法はこの例に限らず、行動の大まかな特徴を表す特徴量を算出することが可能な様々な方法を適用することができる。

特徴量算出部４が算出した各データ区間の特徴量の情報は、評価部５に渡される。

評価部５は、特徴量算出部４により算出された各データ区間の特徴量の遷移の尤もらしさを表す遷移尤度に基づいて、分割時刻推定部３により推定された分割時刻の適切さを評価する。具体的には、評価部５は、例えば予め用意された評価モデルを用いて、分割時刻のそれぞれについて、その分割時刻の前後のデータ区間から各々算出された特徴量間の遷移尤度を求める。そして、得られた遷移尤度すべての積を分割尤度とし、この分割尤度が所定の閾値以上であれば分割時刻が適切、閾値未満であれば分割時刻が不適切と判断する。

ここでの評価モデルとしては、例えば、第１特徴量からこの第１特徴量に後続する第２特徴量を推定するように学習された推定モデルを用いることができる。この場合、評価部５は、この推定モデルを用いて、ある分割時刻の直前のデータ区間（第１データ区間）の特徴量（第１特徴量）から、その分割時刻の直後のデータ区間（第２データ区間）の特徴量（第２特徴量）を推定する。そして、この推定モデルを用いて推定した第２特徴量と、実際に特徴量算出部４により算出された第２データ区間の特徴量である第２特徴量との距離に基づいて、遷移尤度を算出することができる。

分割時刻推定部３により推定された分割時刻が尤もらしい場合、その分割時刻の直後の第２データ区間から算出される第２特徴量と、推定モデルが出力する第２特徴量との差が小さくなる。一方、分割時刻推定部３により推定された分割時刻が誤っている場合は、その分割時刻の直後の第２データ区間から算出される第２特徴量と、推定モデルが出力する第２特徴量との差が大きくなる。したがって、これらの差を表す特徴量間の距離に基づいて、分割時刻によって区切られる２つのデータ区間における特徴量間の遷移尤度を算出し、それぞれの分割時刻に対して算出された遷移尤度を積算することで得られる分割尤度に基づいて、分割時刻の適切さを評価することができる。

図３は、この分割時刻の評価方法を説明する図である。ここでは、時刻ｔ_０から時刻ｔ_４の間の動作体の動きを捉えた時系列データＴＤに対し、時刻ｔ_１，ｔ_２，ｔ_３の３つの分割時刻が推定されたものとする。この場合、特徴量算出部４は、時刻ｔ_０から時刻ｔ_１までのデータ区間ＤＳ_１から特徴量Ｆ_１を算出し、時刻ｔ_１から時刻ｔ_２までのデータ区間ＤＳ_２から特徴量Ｆ_２を算出し、時刻ｔ_２から時刻ｔ_３までのデータ区間ＤＳ_３から特徴量Ｆ_３を算出し、時刻ｔ_３から時刻ｔ_４までのデータ区間ＤＳ_４から特徴量Ｆ_４を算出する。そして、評価部５は、特徴量Ｆ_１と特徴量Ｆ_２間の遷移尤度Ｌ_１−２、特徴量Ｆ_２と特徴量Ｆ_３間の遷移尤度Ｌ_２−３、特徴量Ｆ_３と特徴量Ｆ_４間の遷移尤度Ｌ_３−４をそれぞれ算出し、これらを積算して分割尤度ＬＤを算出する。そして、分割尤度ＬＤが所定の閾値以上であれば、推定された分割時刻ｔ_１，ｔ_２，ｔ_３は適切であると判断し、分割尤度ＬＤが所定の閾値未満であれば、推定された分割時刻ｔ_１，ｔ_２，ｔ_３は適切でないと判断する。

なお、以上の例では、隣接する２つのデータ区間の特徴量間の遷移尤度を算出しているが、隣接する３つ以上のデータ区間の特徴量間の遷移尤度を算出してもよい。この場合、評価モデルとしては、先行する２つ以上の特徴量の系列から次の特徴量を推定する推定モデルを用いればよい。また、特徴量の遷移尤度は、必ずしも隣接するデータ区間の特徴量の遷移に対してだけでなく、間に１つ以上のデータ区間を介して離れた位置にあるデータ区間同士の特徴量の遷移に対して算出してもよい。また、以上の例では、分割時刻ごとに算出した遷移尤度すべてを積算して求めた分割尤度が所定の閾値以上か否かにより分割時刻の適切さを評価しているが、遷移尤度に基づいて分割時刻の適切さを評価する方法であれば、他の方法を用いてもよい。

分割時刻推定部３により推定された分割時刻に対する評価部５による評価結果は、出力部６に渡される。

出力部６は、分割時刻推定部３により推定された分割時刻が評価部５によって適切であると判断された場合に、データバッファ２が保持する時系列データと分割時刻の情報、あるいは、データバッファ２が保持する時系列データを分割時刻で区切ったデータ区間ごとのデータを、外部の行動識別器などに出力する。なお、出力部６は、時系列データやデータ区間ごとのデータの代わりに、あるいはこれらのデータとともに、特徴量算出部４により算出されたデータ区間ごとの特徴量を、外部の行動識別器などに出力してもよい。

ここで、図４を参照して、本実施形態のデータ分割装置による一連の動作の流れを説明する。図４は、本実施形態のデータ分割装置による処理手順を示すフローチャートである。

本実施形態のデータ分割装置の動作が開始されると、まず、取得部１が、動作体が複数の行動を順次行ったときの動きを捉えたセンサ信号の時系列データを取得する（ステップＳ１０１）。そして、分割時刻推定部３が、ステップＳ１０１で取得された時系列データにおける１以上の分割時刻を推定する（ステップＳ１０２）。

次に、特徴量算出部４が、ステップＳ１０２で推定された分割時刻によって区切られる各データ区間それぞれの特徴量を算出する（ステップＳ１０３）。そして、評価部５が、ステップＳ１０３で算出された特徴量間の遷移尤度を算出し（ステップＳ１０４）、その遷移尤度に基づいて分割尤度を算出する（ステップＳ１０５）。そして、評価部５は、ステップＳ１０５で算出した分割尤度が所定の閾値以上であるか否かを判定する（ステップＳ１０６）。

ここで、分割尤度が閾値以上であれば（ステップＳ１０６：Ｙｅｓ）、評価部５は、ステップＳ１０２で推定された分割時刻が適切であると判断する。この場合、出力部６が、ステップＳ１０１で取得された時系列データとステップＳ１０２で推定された分割時刻の情報、あるいは、ステップＳ１０１で取得された時系列データをステップＳ１０２で推定された分割時刻で区切ったデータ区間ごとのデータを、外部の行動識別器に出力し（ステップＳ１０７）、データ分割装置による一連の動作が終了する。

一方、分割尤度が閾値未満であれば（ステップＳ１０６：Ｎｏ）、評価部５は、ステップＳ１０２で推定された分割時刻が適切でないと判断する。この場合、分割時刻の推定結果が破棄されて（ステップＳ１０８）、データ分割装置による一連の動作が終了する。なお、分割時刻が適切でないと判断された場合、ステップＳ１０２に戻って分割時刻の推定をやり直してもよい。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態のデータ分割装置は、動作体が複数の行動を順次行うことに伴って取得されるセンサ信号の時系列データにおける１以上の分割時刻を推定し、推定した分割時刻によって区切られる各データ区間の特徴量を算出し、算出した特徴量間の遷移尤度に基づいて、推定した分割時刻の適切さを評価するようにしている。したがって、本実施形態のデータ分割装置によれば、分割時刻によって区切られる時系列データのデータ区間ごとに行動識別などを行うのに先立って、その分割時刻が適切であるか否かを判断することができ、不適切なデータ分割に起因した識別精度の低下などを未然に防止することができる。

特に、本実施形態のデータ分割装置は、推定した分割時刻によって区切られる各データ区間の特徴量間の遷移尤度に基づいて分割時刻の適切さを評価するようにしているので、動作体の動作の局所的な変化のみに依存せず、行動としてまとまりのある一連の動作をその前後関係に基づいて適切に判断し区切ることができ、行動識別に優位な分割時刻の推定を行うことができる。また、分割時刻の推定は動作体の特定の行動に依存しないため、未知の行動に対しても分割時刻を推定して、その適切さを評価することができる。

＜第２実施形態＞
次に、第２実施形態について説明する。本実施形態は、予め定めた複数の行動粒度ごとに、上述の第１実施形態と同様の処理を行うようにしたものである。ここで「行動粒度」とは、識別の対象となる動作単位（行動）の細かさをいう。

例えばレストランにおける人間の行動を想定した場合、「順番を待つ」、「食事をとる」、「退店する」といった比較的大きな動作のまとまりと、「食べ物を口に運ぶ」、「飲み物を飲む」といった比較的小さな動作のまとまりがあるが、これらの行動のデータ区間は同時に区切ることができない。なぜなら、行動粒度が大きい「食事をとる」という行動が、「食べ物を口に運ぶ」、「飲み物を飲む」といった行動粒度が小さい行動を複数含みうるためである。このように行動粒度が異なる行動を識別の対象とする場合、それぞれの行動粒度に対応する時系列データの分割を矛盾なく行うために、本実施形態では、それぞれの行動粒度ごとに、上述の第１実施形態と同様の処理を行う。以下では、上述の第１実施形態と同様の説明は適宜省略し、第１実施形態との相違点についてのみ説明する。

図５は、第２実施形態のデータ分割装置の機能的な構成例を示すブロック図である。本実施形態のデータ分割装置は、図５に示すように、予め定めた複数の行動粒度（行動粒度Ａ、行動粒度Ｂ、行動粒度Ｃ・・・）ごとに、分割時刻推定部３、特徴量算出部４および評価部５を備える。行動粒度の設定は、例えば、ユーザが事前に行動粒度ごとのデータ区間の平均的な長さや代表的な行動内容などを登録することで行うことができる。

本実施形態の分割時刻推定部３は、取得部１が取得したセンサ信号の時系列データに対し、対応する行動粒度のデータ区間を区切る分割時刻を推定する。例えば、大きな行動粒度に対応する分割時刻推定部３は、「順番を待つ」という行動を示すデータ区間と「テーブルへ移動する」という行動を示すデータ区間とを区切る分割時刻などを推定する。また、小さな行動粒度に対応する分割時刻推定部３は、例えば、「待ち名簿に名前を書く」、「タバコを吸う」、「友人と話す」、「呼びかけに反応する」、「歩く」といった各行動を示すデータ区間を区切る分割時刻を推定する。これらの分割時刻の推定は、上述の第１実施形態と同様の方法を用いることができる。

本実施形態の特徴量算出部４は、対応する行動粒度のデータ区間の特徴量を、上述の第１実施形態と同様の方法により算出する。また、本実施形態の評価部５は、対応する行動粒度の分割時刻の適切さを、上述の第１実施形態と同様の方法により評価する。なお、評価部５による分割時刻の適切さの評価は、行動粒度ごとに独立して行ってもよいが、異なる行動粒度のデータ区間の特徴量との関係を利用してもよい。例えば、上述の例であれば、「順番を待つ」という行動を示すデータ区間と「テーブルへ移動する」という行動を示すデータ区間とを区切る分割時刻と、「呼びかけに反応する」という行動を示すデータ区間と「歩く」という行動を示すデータ区間とを区切る分割時刻とは近いことが望ましいため、これらの分割時刻にズレが生じている場合には、どちらか一方または双方の遷移尤度を低くすることが考えられる。

図６は、本実施形態のデータ分割装置による処理の具体例を説明する図であり、大小２つの行動粒度ごとに時系列データＴＤを分割して各データ区間から特徴量を算出するまでの処理を示している。

ここでは、時刻ｔ_０から時刻ｔ_４の間の動作体の動きを捉えた時系列データＴＤに対し、大きい行動粒度に対応する分割時刻推定部３が、図６（ａ）に示すように、時刻ｔ_１，ｔ_２，ｔ_３の３つの分割時刻を推定したとする。この場合、大きい行動粒度に対応する特徴量算出部４は、時刻ｔ_０から時刻ｔ_１までのデータ区間ＤＳ_１から特徴量Ｆ_１を算出し、時刻ｔ_１から時刻ｔ_２までのデータ区間ＤＳ_２から特徴量Ｆ_２を算出し、時刻ｔ_２から時刻ｔ_３までのデータ区間ＤＳ_３から特徴量Ｆ_３を算出し、時刻ｔ_３から時刻ｔ_４までのデータ区間ＤＳ_４から特徴量Ｆ_４を算出する。大きい行動粒度に対応する評価部５は、図示を省略するが、特徴量Ｆ_１と特徴量Ｆ_２間の遷移尤度Ｌ_１−２、特徴量Ｆ_２と特徴量Ｆ_３間の遷移尤度Ｌ_２−３、特徴量Ｆ_３と特徴量Ｆ_４間の遷移尤度Ｌ_３−４をそれぞれ算出し、これらを積算して分割尤度ＬＤを算出する。そして、分割尤度ＬＤが所定の閾値以上であれば、推定された分割時刻ｔ_１，ｔ_２，ｔ_３は適切であると判断し、分割尤度ＬＤが所定の閾値未満であれば、推定された分割時刻ｔ_１，ｔ_２，ｔ_３は適切でないと判断する。

一方、小さい行動粒度に対応する分割時刻推定部３は、同じ時系列データＴＤに対して、図６（ｂ）に示すように、時刻ｔ_１１，ｔ_１２，ｔ_１３，ｔ_１４，ｔ_１５，ｔ_１６，ｔ_１７，ｔ_１８，ｔ_１９，ｔ_２０，ｔ_２１の１１個の分割時刻を推定したとする。この場合、小さい行動粒度に対応する特徴量算出部４は、これら１１個の分割時刻によって区切られる１２個のデータ区間ＤＳ_１１，ＤＳ_１２，ＤＳ_１３，ＤＳ_１４，ＤＳ_１５，ＤＳ_１６，ＤＳ_１７，ＤＳ_１８，ＤＳ_１９，ＤＳ_２０，ＤＳ_２１，ＤＳ_２２から、特徴量Ｆ_１１，Ｆ_１２，Ｆ_１３，Ｆ_１４，Ｆ_１５，Ｆ_１６，Ｆ_１７，Ｆ_１８，Ｆ_１９，Ｆ_２０，Ｆ_２１，Ｆ_２２をそれぞれ算出する。小さい行動粒度に対応する評価部５は、図示を省略するが、これらの特徴量間の遷移尤度Ｌ_{１１−１２}，Ｌ_{１２−１３}，Ｌ_{１３−１４}，Ｌ_{１４−１５}，Ｌ_{１６−１７}，Ｌ_{１８−１９}，Ｌ_{１９−２０}，Ｌ_{２１−２２}をそれぞれ算出し、これらを積算して分割尤度ＬＤを算出する。そして、分割尤度ＬＤが所定の閾値以上であれば、推定された分割時刻ｔ_１１，ｔ_１２，ｔ_１３，ｔ_１４，ｔ_１５，ｔ_１６，ｔ_１７，ｔ_１８，ｔ_１９，ｔ_２０，ｔ_２１は適切であると判断し、分割尤度ＬＤが所定の閾値未満であれば、推定された分割時刻ｔ_１１，ｔ_１２，ｔ_１３，ｔ_１４，ｔ_１５，ｔ_１６，ｔ_１７，ｔ_１８，ｔ_１９，ｔ_２０，ｔ_２１は適切でないと判断する。

以上説明したように、本実施形態によれば、予め定めた複数の行動粒度ごとに、センサ信号の時系列データにおける分割時刻を推定し、推定した分割時刻の適切さを評価するようにしているので、行動粒度が異なる行動を識別の対象とする場合であっても、それぞれの行動粒度に対応する時系列データの分割を矛盾なく行って、行動粒度ごとに推定された分割時刻の適切さを評価することができる。

＜第３実施形態＞
次に、第３実施形態について説明する。本実施形態は、分割時刻推定部３が推定した分割時刻が評価部５によって適切であると評価された場合に、その分割時刻を時系列データとともに可視化して表示するとともに、その分割時刻を修正するユーザ操作があった場合に、そのユーザ操作を分割時刻の推定に反映させる機能をデータ分割装置に付加したものである。以下では、上述の第２実施形態と同様の説明は適宜省略し、第２実施形態との相違点についてのみ説明する。

図７は、第３実施形態のデータ分割装置の機能的な構成例を示すブロック図である。本実施形態のデータ分割装置は、図７に示すように、上述の第２実施形態の構成に加えて、表示制御部７をさらに備える。

表示制御部７は、分割時刻推定部３が推定した分割時刻が評価部５によって適切であると評価された場合に、その分割時刻を時系列データとともに可視化した可視情報を所定の表示装置に表示させる。例えば、表示制御部７は、分割時刻推定部３が推定した分割時刻が評価部５によって適切であると評価された場合に、図８に示すようなＵＩ（ユーザインタフェース）画面２０を表示装置に表示させる。この図８に示すＵＩ画面２０は、カメラにより撮影された映像データを時系列データとした場合の例であり、映像データの時刻に対応する時間軸２１に沿って、映像データの数フレームおきのサムネイル画像２２と、分割時刻推定部３が推定した分割時刻を指し示すポインタ２３とを表示する。外部の行動識別器により分割時刻によって区切られるデータ区間ごとの行動が識別されている場合は、識別された行動の内容を併せて表示してもよい。なお、図８のＵＩ画面２０は、上述の第２実施形態で説明したように、複数の行動粒度ごとに分割時刻が推定された例を示している。

このＵＩ画面２０上に表示されるポインタ２３は、時間軸２１に沿った方向に移動可能であり、ユーザがこのＵＩ画面２０上でポインタ２３を移動する操作を行うことにより、分割時刻推定部３が推定した分割時刻を修正することができる。ＵＩ画面２０上でこのようなユーザ操作が行われた場合は、表示制御部７によってそのユーザ操作が受け付けられ、対応する分割時刻がユーザ操作に応じて変更される。

また、ＵＩ画面２０上で分割時刻を修正するユーザ操作が行われた場合、分割時刻推定部３は、修正後の時刻を分割時刻として推定し易くなるように、分割時刻を推定するためのパラメータを調整する。例えば、分割時刻推定部３は、修正後の時刻が分割時刻であるかどうかの確信度が高くなるように、分割時刻の推定に用いる上述の回帰モデルのパラメータを調整する。

なお、以上のようなパラメータ調整を行った後、分割時刻の推定、特徴量の算出、分割時刻の適切さの評価を再度行い、適切と評価された分割時刻を指し示すポインタ２３を再度ＵＩ画面２０上で表示してもよい。

ここで、図９を参照して、本実施形態のデータ分割装置による一連の動作の流れを説明する。図９は、本実施形態のデータ分割装置による処理手順を示すフローチャートである。なお、図９のステップＳ２０１からステップＳ２０６までの処理は図４のステップＳ１０１からステップＳ１０６までの処理と同様であり、図９のステップＳ２１１およびステップＳ２１２の処理は図４のステップＳ１０７およびステップＳ１０８の処理と同様であるため、これらの処理の説明は省略する。

本実施形態では、ステップＳ２０５で算出した分割尤度が所定の閾値以上であると判定された場合に（ステップＳ２０６：Ｙｅｓ）、表示制御部７が、図８に示したようなＵＩ画面２０を表示装置に表示させる（ステップＳ２０７）。そして、このＵＩ画面２０上でユーザが分割時刻を修正する操作（例えば、ＵＩ画面２０上のいずれかのポインタ２３を時間軸２１に沿って移動させる操作）を行った場合は（ステップＳ２０８：Ｙｅｓ）、そのユーザ操作に応じて、分割時刻推定部３による分割時刻の推定結果が修正される（ステップＳ２０９）。また、分割時刻推定部３が、修正後の時刻を分割時刻として推定し易くなるように、分割時刻を推定する回帰モデルのパラメータを調整する（ステップＳ２１０）。その後、ステップＳ２１１に進んで外部の行動識別器にデータが出力され、一連の処理が終了する。また、表示装置に表示したＵＩ画面２０上で分割時刻を修正するユーザ操作が行われない場合は（ステップＳ２０８：Ｎｏ）、そのままステップＳ２１１に進んで外部の行動識別器にデータが出力され、一連の処理が終了する。

以上説明したように、本実施形態によれば、分割時刻推定部３が推定した分割時刻が評価部５によって適切であると評価された場合に、その分割時刻を時系列データとともに可視化して表示するようにしているので、適切と評価された分割時刻の妥当性をユーザに確認させることができる。

また、本実施形態によれば、評価部５によって適切であると評価された分割時刻を修正するユーザ操作が行われた場合に、修正後の時刻を分割時刻として推定し易くなるように分割時刻を推定するためのパラメータを調整するようにしているので、分割時刻推定部３による分割時刻の推定精度を高めることができる。

以上、第２実施形態に表示制御部７を加えた場合を説明したが、図１０に示すように、第１実施形態に表示制御部７を加えてもよく、第１実施形態のように単一の粒度を対象とする場合も同様の手順で、評価部５によって適切であると評価された分割時刻を時系列データとともに可視化して表示装置に表示させることができる。この場合は、ＵＩ画面２０上には、単一の粒度の分割時刻を指し示すポインタ２３のみ表示され、ポインタ２３を移動するユーザ操作が行われた場合は、分割時刻推定部３が推定した分割時刻の修正や、分割時刻の推定に用いる回帰モデルのパラメータ調整などが行われる。

＜補足説明＞
上述した各実施形態のデータ分割装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することが可能である。すなわち、上述のデータ分割装置における取得部１、分割時刻推定部３、特徴量算出部４、評価部５、出力部６、表示制御部７などの各部の機能は、汎用のコンピュータ装置に搭載された１以上のプロセッサにプログラムを実行させることにより実現することができる。このとき、データ分割装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。

図１１は、上述した各実施形態のデータ分割装置のハードウェア構成例を示すブロック図である。データ分割装置は、例えば図１１に示すように、ＣＰＵ（Central Processing Unit）などのプロセッサ１０１と、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリ１０２と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などのストレージデバイス１０３と、動作体を撮影するカメラ１０６や液晶パネルなどの表示装置１０７といった機器を接続するための機器Ｉ／Ｆ１０４と、装置外部と通信を行う通信Ｉ／Ｆ１０５とが、バス１０８を介して接続された、一般的なコンピュータとしてのハードウェア構成を有する。

データ分割装置が図１１のようなハードウェア構成を有する場合、例えば、プロセッサ１０１がメモリ１０２を利用して、ストレージデバイス１０３などに格納されたプログラムを読み出して実行することにより、上述の各部（取得部１、分割時刻推定部３、特徴量算出部４、評価部５、出力部６、表示制御部７など）の機能をメモリ１０２上で実現することができる。また、メモリ１０２やストレージデバイス１０３の一部の領域を利用して、上述のデータバッファ２の機能を実現することができる。

なお、上述した各実施形態のデータ分割装置の各部の機能は、その一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェア（汎用のプロセッサではなく専用のプロセッサ）により実現することもできる。また、複数のプロセッサを用いて上述した各部の機能を実現する構成であってもよい。

また、上述した各実施形態のデータ分割装置は、複数台のコンピュータ装置を用い、上述の各部の機能を複数台のコンピュータ装置に分散して実現したデータ分割システムとして構成してもよい。また、上述した各実施形態のデータ分割装置は、クラウドシステム上で動作する仮想マシンであってもよい。

以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 取得部
２ データバッファ
３ 分割時刻推定部
４ 特徴量算出部
５ 評価部
６ 出力部
７ 表示制御部
２０ ＵＩ画面
２１ 時間軸
２２ サムネイル画像
２３ ポインタ

Claims (8)

1. 動作体が複数の行動を順次行うことに伴って取得されるセンサ信号の時系列データを、行動ごとのデータ区間に分割するデータ分割装置であって、
   前記時系列データにおける１以上の分割時刻を推定する分割時刻推定部と、
   推定された前記分割時刻によって区切られる各データ区間の特徴量を算出する特徴量算出部と、
   前記特徴量の遷移の尤もらしさを表す遷移尤度に基づいて、推定された前記分割時刻の適切さを評価する評価部と、
   を備えるデータ分割装置。
2. 前記分割時刻推定部は、事前に学習された回帰モデルを用いて前記分割時刻を推定する
   請求項１に記載のデータ分割装置。
3. 前記評価部は、
   第１特徴量から該第１特徴量に後続する第２特徴量を推定するように学習された推定モデルを用いて、前記分割時刻の前の第１データ区間の特徴量から前記分割時刻の後の第２データ区間の特徴量を推定し、
   推定した特徴量と実際の前記第２データ区間の特徴量との距離に基づいて、前記遷移尤度を算出する
   請求項１または２に記載のデータ分割装置。
4. 識別すべき行動の粒度ごとに、前記分割時刻推定部と、前記特徴量算出部と、前記評価部と、を備える
   請求項１乃至３のいずれか一項に記載のデータ分割装置。
5. 推定された前記分割時刻が適切であると評価された場合に、推定された前記分割時刻を前記時系列データとともに可視化した可視情報を表示装置に表示させる表示制御部をさらに備える
   請求項１乃至４のいずれか一項に記載のデータ分割装置。
6. 前記分割時刻推定部は、前記可視情報として表示された前記分割時刻を修正するユーザ操作があった場合に、該ユーザ操作に応じて前記分割時刻を推定するためのパラメータを調整する
   請求項５に記載のデータ分割装置。
7. 動作体が複数の行動を順次行うことに伴って取得されるセンサ信号の時系列データを、行動ごとのデータ区間に分割するデータ分割方法であって、
   前記時系列データにおける１以上の分割時刻を推定するステップと、
   推定された前記分割時刻によって区切られる各データ区間の特徴量を算出するステップと、
   前記特徴量の遷移の尤もらしさを表す遷移尤度に基づいて、推定された前記分割時刻の適切さを評価するステップと、
   を含むデータ分割方法。
8. コンピュータを、動作体が複数の行動を順次行うことに伴って取得されるセンサ信号の時系列データを、行動ごとのデータ区間に分割するデータ分割装置として機能させるためのプログラムであって、
   前記コンピュータに、
   前記時系列データにおける１以上の分割時刻を推定する機能と、
   推定された前記分割時刻によって区切られる各データ区間の特徴量を算出する機能と、
   前記特徴量の遷移の尤もらしさを表す遷移尤度に基づいて、推定された前記分割時刻の適切さを評価する機能と、
   を実現させるプログラム。

Images