JP2021189892A - 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム - Google Patents
行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム Download PDFInfo
- Publication number
- JP2021189892A JP2021189892A JP2020096207A JP2020096207A JP2021189892A JP 2021189892 A JP2021189892 A JP 2021189892A JP 2020096207 A JP2020096207 A JP 2020096207A JP 2020096207 A JP2020096207 A JP 2020096207A JP 2021189892 A JP2021189892 A JP 2021189892A
- Authority
- JP
- Japan
- Prior art keywords
- action
- learned
- hidden
- supervised
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 16
- 230000007704 transition Effects 0.000 claims abstract description 51
- 230000033001 locomotion Effects 0.000 claims description 55
- 238000010276 construction Methods 0.000 claims description 30
- 230000006399 behavior Effects 0.000 claims description 25
- 239000006185 dispersion Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】行動区間推定モデルを効率的に構築する。【解決手段】第２隠れマルコフモデルは、人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の動作を組み合わせて定まる行動を状態とする。第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、複数の第１隠れマルコフモデルの動作の種類ごとの観測確率を教師なし学習で学習する。学習した観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、第１隠れマルコフモデルの動作の遷移確率を第２教師ありデータを使用した教師あり学習で学習する。学習した観測確率及び遷移確率を使用して行動の区間を推定するモデルである隠れセミマルコフモデルを構築する。【選択図】図１５
Description
本開示は、行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラムに関する。
ディープラーニング技術の発展により通常のRGBカメラで撮影した人の映像から姿勢を高精度に認識できるようになり、この認識情報を利用して人の行動を推定する様々な研究開発が行われている。当該状況下において、人の映像から検出した姿勢の時系列データから指定した行動が発生した時間区間を推定する取り組みが行われている。
山本龍一、酒向慎司、北村正、「隠れセミマルコフモデルと線形動的システムを組み合わせた音楽音響信号と楽譜の実時間アライメント手法」、研究報告音楽情報科学（MUS）、2012年
Shun-ZhengYu、「Hidden semi-Markov models」、Artificial Intelligence、Volume 174、Issue 2、2010年2月、215-243頁
若林啓、三浦孝夫、「階層型隠れマルコフモデルの高速パラメータ推定」、電子情報通信学会論文誌、2011年
"映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer」を開発"、［ｏｎｌｉｎｅ］、２０１９年１１月２５日、富士通株式会社、［２０２０年１月１６日検索］、インターネット（ＵＲＬ：ｈｔｔｐｓ：／／ｐｒ．ｆｕｊｉｔｓｕ．ｃｏｍ／ｊｐ／ｎｅｗｓ／２０１９／１１／２５．ｈｔｍｌ）
行動の時間区間を推定するモデルを学習させる際の教師ありデータの教師情報を作成するコストが高い。
本開示は、１つの側面として、行動区間推定モデルを効率的に構築することを目的とする。
１つの実施形態では、隠れセミマルコフモデルは、人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む。隠れセミマルコフモデルにおいて、複数の第１隠れマルコフモデルの動作の種類ごとの観測確率を教師なし学習で学習する。学習した観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、第１隠れマルコフモデルの動作の遷移確率を第２教師ありデータを使用した教師あり学習で学習する。学習した観測確率及び遷移確率を使用して行動の区間を推定するモデルである隠れセミマルコフモデルを構築する。
本開示は、１つの側面として、行動区間推定モデルを効率的に構築することができる。
本実施形態では、人の行動が発生した時間区間を推定する行動区間推定モデルの一例として、図１に例示するような隠れセミマルコフモデル（以下、ＨＳＭＭ（Hidden semi-Markov model）という。）を構築する。ＨＳＭＭは、隠れマルコフモデル（以下、ＨＭＭ（Hidden Markov model）という。）のパラメータに加え、状態毎の継続時間の確率分布をパラメータとしてもつ。
本実施形態のＨＳＭＭは、人の動作の各々を状態とする複数の第１ＨＭＭの各々であって、かつ、各々が複数の動作を組み合わせて定まる行動を状態とする第２ＨＭＭを含む。ｍ１、ｍ２、ｍ３は動作の一例であり、ａ１、ａ２、ａ３は行動の一例である。行動は、複数の動作の組合せであり、動作は、複数の姿勢の組合せである。
パラメータを設定することで構築されたＨＳＭＭに人の姿勢を検知することで生成された時系列センサデータが与えられると、ＨＳＭＭは最適な行動の時間区間（以下、行動区間という。）を推定する。ｄ１、ｄ２、ｄ３は行動区間の一例である。
ＨＭＭのパラメータには、観測確率及び遷移確率が存在する。Ｏ１、…、Ｏ８は観測確率の一例であり、遷移確率は状態をつなぐ矢印に対応する確率である。観測確率とは、各状態において、ある特徴が観測される確率であり、遷移確率とは、ある状態から別の状態に遷移する確率である。遷移の順番が定まっている場合は、遷移確率は不要である。なお、動作の数、行動の数、即ち、第１ＨＭＭの数は例示であり、図１に例示される数に限定されない。
図２は、本実施形態の行動区間推定モデル構築装置１０の機能ブロック図の一例である。行動区間推定モデル構築装置１０は、観測確率学習部１１、遷移確率学習部１２、構築部１３を有する。観測確率学習部１１は、以下に説明するように、教師なしデータで行動区間推定モデルの一例であるＨＳＭＭの観測確率を学習する。
本実施形態では、ある作業目標を達成するための限定された行動を対象とする。このような行動は、例えば、工場のラインで行われる定型作業での行動であり、以下の性質を有する。
性質１：作業を構成する各行動の違いは、限定された複数の動作の組合せの違いである。
性質２：同じ作業を行う際に観測される複数の姿勢は類似している。
性質１：作業を構成する各行動の違いは、限定された複数の動作の組合せの違いである。
性質２：同じ作業を行う際に観測される複数の姿勢は類似している。
本実施形態では、性質１に基づいて、全ての行動が１つの動作群に含まれる動作で構成される。図３に例示するように、動作群には、例えば、３つの動作ｍ１１、ｍ１２、ｍ１３が含まれている。
例えば、動作ｍ１１は「腕を上げる」、動作ｍ１２は「腕を降ろす」、動作ｍ１３は「腕を前に伸ばす」であってよい。動作群に含まれる動作の数は図３の例に限定されない。また、各行動に含まれる動作の数も図３の例に限定されない。
図３のＨＭＭにおいて、破線矢印に対応する各動作の観測確率は行動には依存しないため、行動区間の教師なしデータで学習することができる。学習は、例えば、機械学習、ニューラルネットワーク、ディープラーニングなどを使用して行う。
詳細には、観測確率の教師なし学習に使用するモデルは混合ガウス分布（以下、ＧＭＭ（Gaussian Mixture Model）という。）であってよい。各観測は動作のうちの１つの動作が確率的に選択され、その動作についてのガウス分布により生成されると仮定する。これは、観測の時系列的な依存関係を使用しない教師あり学習とは異なる仮定である。学習したＧＭＭの各ガウス分布のパラメータを各動作における観測確率の確率分布であるガウス分布に割り当てる。
遷移確率学習部１２は、以下に説明するように、教師情報をもつ学習データ（以下、教師ありデータという。）で、第１ＨＭＭの動作の遷移確率を学習する。教師情報は、姿勢の時系列データに対して各行動が発生している時間区間の正解を与える情報である。学習は、例えば、最尤推定やＥＭアルゴリズム（Expectation-Maximization algorithm）などを使用して行う（その他の機械学習、ニューラルネットワーク、ディープラーニングなどの方式を使用してもよい）。
教師ありデータの生成には、時間及び労力がかかる。したがって、本実施形態では、観測確率学習部１１で学習した観測確率を固定し、既存の教師ありデータから遷移確率を学習する。
詳細には、図４に例示するように、第１教師ありデータの一例である既存の教師ありデータのデータを種データＳＤとし、種データＳＤにノイズを付加し、オーバーサンプリングすることでデータを水増しする。上記性質２によれば、同じ作業の姿勢は類似しているため、ノイズを付加することで、図５に例示するように実際の観測毎のばらつきに類似したばらつきをもつデータを生成することができる。ノイズは、例えば、ランダムノイズであってよい。
種データＳＤの教師情報ＴＩを、水増ししたデータの各々に共通に適用することで教師ありデータを水増しする。第２教師ありデータの一例である水増しした教師ありデータを使用して、第１ＨＭＭの複数の動作の遷移確率を教師あり学習で学習する。
オーバーサンプリングでは、各時刻の観測サンプルに所定の範囲のノイズを生成して付加する。ノイズを生成する際に、当該観測サンプルを生成した確率が高い動作を特定し、当該動作のサンプル群と別の動作のサンプル群との特徴空間内での広がり方の関係を考慮して適切な大きさのノイズを生成して付加する。これにより、より適切な教師ありデータを生成することができる。
例えば、特定した動作のサンプル群の共分散の定数倍の共分散の多変量ガウス分布から生成したノイズを付加してもよい。また、特定した動作のサンプル群から最も中心距離が近い動作のサンプル群までの中心距離ｄを算出し、特徴空間の各軸方向の標準偏差がｄの定数倍となる等方性のガウス分布（共分散行列が対角行列である）から生成したノイズを付加してもよい。
各動作のサンプル群に含まれるサンプルの散らばり、即ち、特徴空間内での広がりには差がある。即ち、散らばりが非常に小さい動作もあるし、非常に大きい動作もある。全ての動作について一律の範囲のランダムノイズを使用した場合、ある動作のサンプル群が散らばりの大きいサンプルを含むと、ランダムノイズによるばらつかせ方が相対的に小さい。一方、ある動作のサンプル群が散らばりの小さいサンプルを含むと、ランダムノイズによるばらつかせ方が相対的に大きい
図６は、動作ｍ３１、動作ｍ３２、及び動作ｍ３３のサンプル群を例示する。図７は、動作ｍ３２のサンプル群にランダムノイズを付加した状態を例示する。図７では、ランダムノイズの範囲が大きいため、元の動作ｍ３２から離れているサンプルが多い。このような場合にも、上記したように、ある動作のサンプル群と別の動作のサンプル群との特徴空間内での広がり方の関係を考慮して適切な大きさのノイズを付加することで、より適切な教師ありデータを水増しすることができる。
構築部１３は、観測確率学習部１１で学習した観測確率、及び遷移確率学習部１２で学習した状態遷移確率を使用して、図１に例示するようなＨＳＭＭを構築する。Ｏ１、Ｏ２、…、Ｏ８は、観測確率学習部１１で学習した観測確率を表し、行動ａ１、ａ２、ａ３の各々に含まれる動作ｍ１、ｍ２、及びｍ３間の矢印は、遷移確率学習部１２で学習した状態遷移確率に対応する。ｄ１、ｄ２、ｄ３は、各行動の継続時間を表し、継続時間の確率分布は、教師情報の行動の継続時間から決定される。例えば、継続時間の確率分布は、一定範囲の一様分布であってよい。構築したＨＳＭＭに、センサで人の姿勢を検知して生成したセンサデータを適用して、各行動の時間区間である行動区間を推定する。推定についての詳細は、後述する。
本実施形態の行動区間推定モデル構築装置１０は、以下の特徴を有する。
１．第１ＨＭＭの全行動で共通な動作の観測確率は教師なし学習で学習する。
２．第１ＨＭＭの動作間の遷移確率は、教師あり種データから水増しした教師ありデータを使用して、教師あり学習で学習する。
１．第１ＨＭＭの全行動で共通な動作の観測確率は教師なし学習で学習する。
２．第１ＨＭＭの動作間の遷移確率は、教師あり種データから水増しした教師ありデータを使用して、教師あり学習で学習する。
行動区間推定モデル構築装置１０は、一例として、図８に示すように、ＣＰＵ（Central Processing Unit）５１、一次記憶装置５２、二次記憶装置５３、及び、外部インターフェイス５４を含む。ＣＰＵ５１は、ハードウェアであるプロセッサの一例である。ＣＰＵ５１、一次記憶装置５２、二次記憶装置５３、及び、外部インターフェイス５４は、バス５９を介して相互に接続されている。ＣＰＵ５１は、単一のプロセッサであってもよいし、複数のプロセッサであってもよい。また、ＣＰＵ５１に代えて、例えば、ＧＰＵ（Graphics Processing Unit）が使用されてもよい。
一次記憶装置５２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶装置５３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。
二次記憶装置５３は、プログラム格納領域５３Ａ及びデータ格納領域５３Ｂを含む。プログラム格納領域５３Ａは、一例として、行動区間推定モデル構築プログラムなどのプログラムを記憶している。データ格納領域５３Ｂは、一例として、教師ありデータ、教師なしデータ、学習した観測確率、及び遷移確率などを記憶する。
ＣＰＵ５１は、プログラム格納領域５３Ａから行動区間推定モデル構築プログラムを読み出して一次記憶装置５２に展開する。ＣＰＵ５１は、行動区間推定モデル構築プログラムをロードして実行することで、図２の観測確率学習部１１、遷移確率学習部１２、及び、構築部１３として動作する。
なお、行動区間推定モデル構築プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶装置５２に展開されてもよい。また、行動区間推定モデル生成プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶装置５２に展開されてもよい。
外部インターフェイス５４には外部装置が接続され、外部インターフェイス５４は、外部装置とＣＰＵ５１との間の各種情報の送受信を司る。図８では、外部インターフェイス５４に、ディスプレイ５５Ａ及び外部記憶装置５５Ｂが接続されている例を示している。外部記憶装置５５Ｂには、例えば、教師ありデータ、教師なしデータ、及び、構築したＨＳＭＭなどを記憶する。ディスプレイ５５Ａは、例えば、構築したＨＳＭＭモデルを視認可能に表示する。
行動区間推定モデル構築装置１０は、例えば、パーソナルコンピュータ、サーバ、及び、クラウド上のコンピュータなどであってよい。
図９に、行動区間推定モデル構築処理の流れを例示する。ＣＰＵ５１は、ステップ１０１で、後述するように、学習データから人の姿勢の連鎖である運動を表す特徴ベクトルを抽出する。ＣＰＵ５１は、ステップ１０２で、ステップ１０１で抽出した特徴ベクトルのクラスタリング（ＧＭＭのパラメータ推定）により、要素となる動作に分類し、各動作の観測確率を教師なし学習で学習する。
ＣＰＵ５１は、ステップ１０３で、教師あり種データにノイズを付加し、オーバーサンプリングして生成したデータに教師あり種データの教師情報を付与することで、教師ありデータを水増しする。ＣＰＵ５１は、ステップ１０４で、教師ありデータについて、教師情報で与えられた各行動の時間区間毎に特徴ベクトルを振り分ける。
ＣＰＵ５１は、ステップ１０５で、ステップ１０４で振り分けた時間区間内の特徴ベクトルの系列を観測データとして、ステップ１０３で水増しした教師ありデータを使用し、第１ＨＭＭの動作の遷移確率を教師あり学習で学習する。
ＣＰＵ５１は、ステップ１０６で、各行動の継続時間の確率分布として、教師情報で与えられた各行動の継続時間に対して所定の範囲の一様分布を設定する。ＣＰＵ５１は、ステップ１０２で学習した観測確率及びステップ１０５で学習した遷移確率を使用して、ＨＳＭＭを構築する。ステップ１０６の設定で一定時間継続後に教師情報で与えられた各行動の順番に第２ＨＭＭの行動が遷移するＨＳＭＭを構築する。構築したＨＳＭＭは、例えば、データ格納領域５３Ｂに格納されてもよい。
図１０は、図９のステップ１０１の特徴ベクトル抽出処理の詳細を例示する。ＣＰＵ５１は、ステップ１５１で、学習に使用するデータから人を検出し、追跡することで、人の姿勢情報を取得する。ＣＰＵ５１は、ステップ１５２で、ステップ１５１で取得した姿勢情報が複数人の姿勢情報を含む場合、姿勢情報の時系列データから分析対象とする姿勢情報の時系列データを取得する。分析対象とする姿勢情報は、人を囲むバウンディングボックスの大きさ、及び時間などから選択する。
ＣＰＵ５１は、ステップ１５３で、ステップ１５２で取得した姿勢情報の時系列データから身体の各部位についての運動情報の時系列データを取得する。運動情報の時系列とは、例えば、各部位の曲げの程度、曲げの速度などであってよい。各部位とは、例えば、肘、膝などであってよい。
ＣＰＵ５１は、ステップ１５４で、スライディングタイムウィンドウにより一定の時間間隔毎にウィンドウ内のステップ１５３の運動情報を時間方向で平均化して特徴ベクトルを算出する。
図１１に、本実施形態で構築したＨＳＭＭを使用した行動区間推定処理の流れを例示する。図８の行動区間推定モデル構築装置１０は、構築したＨＳＭＭをデータ格納領域５３Ｂに格納することで行動区間推定装置として機能してもよい。
ＣＰＵ５１は、ステップ２０１で、センサで人の姿勢を検知することにより生成されたセンサデータから特徴ベクトルを抽出する。センサは、人の姿勢を検知するデバイスであり、例えば、カメラ、赤外線センサ、モーションキャプチャデバイスなどであってよい。図１１のステップ２０１は、図１０のステップ１０１と同様であるため、詳細な説明は省略する。
ＣＰＵ５１は、ステップ２０２で、ステップ２０１で抽出した特徴ベクトルの系列を観測データとして、行動区間推定モデル構築処理で構築したＨＳＭＭと照合して各行動状態の継続時間を推定する。ＣＰＵ５１は、ステップ２０３で、ステップ２０２で推定した各行動状態の継続時間から各行動の時間区間を推定する。
例えば、映像を入力として、映像における特定の行動を認識するような技術では、基本動作認識、要素行動認識、及び上位行動認識を行う。映像における特定の行動とは、要素行動の組合せで、さらに複雑な上位行動であり、基本動作認識とは、フレーム毎の姿勢認識であり、要素行動認識とは、時間的空間的認識を行い、ある程度の時間長における単純行動を認識することである。上位行動認識とは、ある程度の時間長における複雑行動の認識である。当該技術において、本実施形態の行動区間推定モデル構築処理及び構築した行動区間推定モデルを適用し、行動区間を推定することができる。
関連技術では、行動に含まれる動作が特に限定されないＨＳＭＭが使用され得る。当該関連技術では、図１２に例示するように、例えば、以下の動作が存在すると仮定する。
（１）腕を上げる、（２）腕を降ろす、（３）腕を前に伸ばす、（４）両手を身体の前で近づける、（５）前に移動する、（６）横に移動する、（７）しゃがむ、（８）立つ
（１）腕を上げる、（２）腕を降ろす、（３）腕を前に伸ばす、（４）両手を身体の前で近づける、（５）前に移動する、（６）横に移動する、（７）しゃがむ、（８）立つ
行動の例は、例えば、以下の通りである。
行動ａ３１：（１）腕を上げる→（３）腕を前に伸ばす→（１）腕を上げる→（４）両手を身体の前で近づける→（７）しゃがむ、
行動ａ３２：（７）しゃがむ→（４）両手を身体の前で近づける→（８）立つ→（５）前に移動する→（３）腕を前に伸ばす、など
行動ａ３１：（１）腕を上げる→（３）腕を前に伸ばす→（１）腕を上げる→（４）両手を身体の前で近づける→（７）しゃがむ、
行動ａ３２：（７）しゃがむ→（４）両手を身体の前で近づける→（８）立つ→（５）前に移動する→（３）腕を前に伸ばす、など
上記のように、一般的な行動の動作、即ち、推定する行動が制限されない複数の動作をＨＭＭが含む場合、動作の観測確率を１つの単純な確率分布で表すことは困難である。この問題に対処するために、階層型隠れマルコフモデルを使用する技術が存在する。階層型隠れマルコフモデルは、図１３に例示するように、上位階層ＨＭＭが複数の下位階層ＨＭＭを状態として含む。行動ａ５１、ａ５２、及びａ５３は、下位階層ＨＭＭの例である。下位階層ＨＭＭの各々は、動作を状態として含み、ｍ５１、ｍ５２、ｍ５３、ｍ６１、ｍ６２、ｍ６３、ｍ７１、ｍ７２、及びｍ７３は、動作の例である。
階層型ＨＭＭでは、図１４に例示するように、教師情報ＴＩＬをもつ学習データＬＤを使用して、各行動の動作の観測確率及び遷移確率を教師あり学習で学習する。図１４では、行動ａ５１の観測確率ｐ１１、遷移確率ｐ２１、行動ａ５２の観測確率ｐ１２、遷移確率ｐ２２、行動ａ５３の観測確率ｐ１３、遷移確率ｐ２３を例示する。しかしながら、階層型ＨＭＭでは、パラメータの数が多く、パラメータの自由度が高いため、パラメータの学習のために教師ありデータを多数使用する。教師ありデータの教師情報を作成するには、時間及び労力を要する。
一方、本開示では、図１５に例示するように、ＨＳＭＭの行動に対応する第１ＨＭＭの各々で共通の観測確率ｐ１は教師なしデータＬＤＮを使用して教師なし学習で学習する。学習した観測確率ｐ１を固定して、第１ＨＭＭの各々の動作の遷移確率ｐ２１Ｄ、ｐ２２Ｄ、ｐ２３Ｄを教師ありデータを使用して教師あり学習で学習する。本開示では、既存の教師ありデータＬＤＤにノイズを付加しオーバーサンプリングし生成したデータに、教師ありデータＬＤＤの教師情報ＴＩＬを付加することで、教師ありデータを水増しして教師あり学習に使用する。したがって、本実施形態では、既存の教師ありデータが少ない場合でも、行動区間推定モデルを効率的に構築することができる。
本実施形態では、隠れセミマルコフモデルは、人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む。隠れセミマルコフモデルにおいて、複数の第１隠れマルコフモデルの動作の種類ごとの観測確率を教師なし学習で学習する。学習した観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、第１隠れマルコフモデルの動作の遷移確率を第２教師ありデータを使用した教師あり学習で学習する。学習した観測確率及び遷移確率を使用して行動の区間を推定するモデルである隠れセミマルコフモデルを構築する。
本開示によれば、行動区間推定モデルを効率的に構築することができる。即ち、例えば、工場での定型作業のように決まった順序で動作を行う複数の行動について、発生する順序に制約があるという条件の下で各行動の時間区間を正確に推定することができる。
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習する観測確率学習部と、
前記観測確率学習部にて学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習する遷移確率学習部と、
前記観測確率学習部で学習した前記観測確率及び前記遷移確率学習部で学習した前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する構築部と、
を含む行動区間推定モデル構築装置。
（付記２）
前記遷移確率学習部は、前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
付記１の行動区間推定モデル構築装置。
（付記３）
前記ノイズはランダムノイズである、
付記２の行動区間推定モデル構築装置。
（付記４）
前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
付記２の行動区間推定モデル構築装置。
（付記５）
コンピュータが、
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習し、
学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習し、
学習した前記観測確率及び前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する、
行動区間推定モデル構築方法。
（付記６）
前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
付記５の行動区間推定モデル構築方法。
（付記７）
前記ノイズはランダムノイズである、
付記６の行動区間推定モデル構築方法。
（付記８）
前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
付記６の行動区間推定モデル構築方法。
（付記９）
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習し、
学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習し、
学習した前記観測確率及び前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する、
処理をコンピュータに実行させる行動区間推定モデル構築プログラム。
（付記１０）
前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
付記９の行動区間推定モデル構築プログラム。
（付記１１）
前記ノイズはランダムノイズである、
付記１０の行動区間推定モデル構築プログラム。
（付記１２）
前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
付記１０の行動区間推定モデル構築プログラム。
（付記１）
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習する観測確率学習部と、
前記観測確率学習部にて学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習する遷移確率学習部と、
前記観測確率学習部で学習した前記観測確率及び前記遷移確率学習部で学習した前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する構築部と、
を含む行動区間推定モデル構築装置。
（付記２）
前記遷移確率学習部は、前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
付記１の行動区間推定モデル構築装置。
（付記３）
前記ノイズはランダムノイズである、
付記２の行動区間推定モデル構築装置。
（付記４）
前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
付記２の行動区間推定モデル構築装置。
（付記５）
コンピュータが、
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習し、
学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習し、
学習した前記観測確率及び前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する、
行動区間推定モデル構築方法。
（付記６）
前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
付記５の行動区間推定モデル構築方法。
（付記７）
前記ノイズはランダムノイズである、
付記６の行動区間推定モデル構築方法。
（付記８）
前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
付記６の行動区間推定モデル構築方法。
（付記９）
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習し、
学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習し、
学習した前記観測確率及び前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する、
処理をコンピュータに実行させる行動区間推定モデル構築プログラム。
（付記１０）
前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
付記９の行動区間推定モデル構築プログラム。
（付記１１）
前記ノイズはランダムノイズである、
付記１０の行動区間推定モデル構築プログラム。
（付記１２）
前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
付記１０の行動区間推定モデル構築プログラム。
１０ 行動区間推定モデル構築装置
１１ 観測確率学習部
１２ 遷移確率学習部
１３ 構築部
５１ ＣＰＵ
５２ 一次記憶装置
５３ 二次記憶装置
１１ 観測確率学習部
１２ 遷移確率学習部
１３ 構築部
５１ ＣＰＵ
５２ 一次記憶装置
５３ 二次記憶装置
Claims (6)
- 人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習する観測確率学習部と、
前記観測確率学習部にて学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習する遷移確率学習部と、
前記観測確率学習部で学習した前記観測確率及び前記遷移確率学習部で学習した前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する構築部と、
を含む行動区間推定モデル構築装置。 - 前記遷移確率学習部は、前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
請求項１に記載の行動区間推定モデル構築装置。 - 前記ノイズはランダムノイズである、
請求項２に記載の行動区間推定モデル構築装置。 - 前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
請求項２に記載の行動区間推定モデル構築装置。 - コンピュータが、
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習し、
学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習し、
学習した前記観測確率及び前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する、
行動区間推定モデル構築方法。 - 人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習し、
学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習し、
学習した前記観測確率及び前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する、
処理をコンピュータに実行させる行動区間推定モデル構築プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020096207A JP7472658B2 (ja) | 2020-06-02 | 2020-06-02 | 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020096207A JP7472658B2 (ja) | 2020-06-02 | 2020-06-02 | 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021189892A true JP2021189892A (ja) | 2021-12-13 |
| JP7472658B2 JP7472658B2 (ja) | 2024-04-23 |
Family
ID=78849906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020096207A Active JP7472658B2 (ja) | 2020-06-02 | 2020-06-02 | 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7472658B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110758399A (zh) * | 2018-07-27 | 2020-02-07 | 通用汽车环球科技运作有限责任公司 | 用于预测实体行为的系统和方法 |
| CN117289600A (zh) * | 2023-08-30 | 2023-12-26 | 淮阴工学院 | 一种转移概率部分未知的模糊半马尔科夫跳变系统的非周期采样控制方法 |
| WO2024047716A1 (ja) * | 2022-08-29 | 2024-03-07 | 富士通株式会社 | 機械学習プログラム、機械学習方法および情報処理装置 |
| WO2024047715A1 (ja) * | 2022-08-29 | 2024-03-07 | 富士通株式会社 | 機械学習プログラム、機械学習方法および情報処理装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6908286B2 (ja) | 2016-09-06 | 2021-07-21 | 国立大学法人電気通信大学 | 情報処理装置、情報処理方法およびプログラム |
| JP7124404B2 (ja) | 2018-04-12 | 2022-08-24 | 富士通株式会社 | 機械学習プログラム、機械学習方法および機械学習装置 |
-
2020
- 2020-06-02 JP JP2020096207A patent/JP7472658B2/ja active Active
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110758399A (zh) * | 2018-07-27 | 2020-02-07 | 通用汽车环球科技运作有限责任公司 | 用于预测实体行为的系统和方法 |
| CN110758399B (zh) * | 2018-07-27 | 2023-04-18 | 通用汽车环球科技运作有限责任公司 | 用于预测实体行为的系统和方法 |
| WO2024047716A1 (ja) * | 2022-08-29 | 2024-03-07 | 富士通株式会社 | 機械学習プログラム、機械学習方法および情報処理装置 |
| WO2024047715A1 (ja) * | 2022-08-29 | 2024-03-07 | 富士通株式会社 | 機械学習プログラム、機械学習方法および情報処理装置 |
| CN117289600A (zh) * | 2023-08-30 | 2023-12-26 | 淮阴工学院 | 一种转移概率部分未知的模糊半马尔科夫跳变系统的非周期采样控制方法 |
| CN117289600B (zh) * | 2023-08-30 | 2024-07-23 | 淮阴工学院 | 一种转移概率部分未知的模糊半马尔科夫跳变系统的非周期采样控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7472658B2 (ja) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7472658B2 (ja) | 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム | |
| US9852326B2 (en) | Facial expression capture for character animation | |
| JP4201012B2 (ja) | データ処理装置、データ処理方法、およびプログラム | |
| KR102239714B1 (ko) | 신경망 학습 방법 및 장치, 데이터 처리 장치 | |
| US7783585B2 (en) | Data processing device, data processing method, and program | |
| JP5520886B2 (ja) | 行動モデル学習装置、方法、及びプログラム | |
| Chatzis et al. | A quantum-statistical approach toward robot learning by demonstration | |
| Sadoughi et al. | Meaningful head movements driven by emotional synthetic speech | |
| KR20210136706A (ko) | 전자 장치 및 이의 제어 방법 | |
| JP5361615B2 (ja) | 行動制御学習方法、行動制御学習装置、行動制御学習プログラム | |
| Rosa-Pujazón et al. | Fast-gesture recognition and classification using Kinect: an application for a virtual reality drumkit | |
| Goutsu et al. | Classification of multi-class daily human motion using discriminative body parts and sentence descriptions | |
| Spaulding et al. | Frustratingly easy personalization for real-time affect interpretation of facial expression | |
| WO2022162782A1 (ja) | 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム | |
| Vrigkas et al. | Human activity recognition using robust adaptive privileged probabilistic learning | |
| WO2022162780A1 (ja) | 部分行動区間推定モデル構築装置、部分行動区間推定モデル構築方法及び部分行動区間推定モデル構築プログラム | |
| JP2008046864A (ja) | 顔画像認識装置及び顔画像認識プログラム | |
| WO2022162781A1 (ja) | 行動系列判定装置、行動系列判定方法、及び行動系列判定プログラム | |
| JP7428233B2 (ja) | クラスタリング装置、クラスタリング方法、および、クラスタリングプログラム | |
| CN112434629B (zh) | 一种在线时序动作检测方法及设备 | |
| KR20230113012A (ko) | 동영상 딥페이크 탐지를 위한 페이크 비디오 검증 방법 및 이를 수행하는 전자 장치 | |
| Berlier et al. | Augmenting simulation data with sensor effects for improved domain transfer | |
| JP2022148878A (ja) | プログラム、情報処理装置、及び方法 | |
| JP2007280057A (ja) | データ処理装置、データ処理方法、およびプログラム | |
| JP2005056340A (ja) | 情報処理装置および方法、プログラム格納媒体、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7472658 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |