JP2018073081A - 動作特定装置、動作特定方法及び動作特定プログラム - Google Patents
動作特定装置、動作特定方法及び動作特定プログラム Download PDFInfo
- Publication number
- JP2018073081A JP2018073081A JP2016211434A JP2016211434A JP2018073081A JP 2018073081 A JP2018073081 A JP 2018073081A JP 2016211434 A JP2016211434 A JP 2016211434A JP 2016211434 A JP2016211434 A JP 2016211434A JP 2018073081 A JP2018073081 A JP 2018073081A
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- input
- probability
- motion
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
この発明は、動体の動作を適切に特定可能とすることを目的とする。
動体の動作を表す波形データを入力データとして、前記入力データのスペクトルである一次スペクトルを計算し、計算された一次スペクトルのスペクトルである二次スペクトルを入力スペクトルとして計算する入力スペクトル計算部と、
前記入力スペクトル計算部によって計算された入力スペクトルから前記動体の動作の種別を特定する動作特定部と
を備える。
複数の対象種別それぞれについて、その対象種別の動作を表す波形データを学習データとし、各学習データを対象として、対象の学習データのスペクトルである一次スペクトルを計算し、計算された一次スペクトルのスペクトルである二次スペクトルを学習スペクトルとして計算する学習スペクトル計算部と、
前記学習スペクトル計算部によって計算された各学習データについての学習スペクトルから、対象種別毎の二次スペクトルの発生確率を表す確率モデルを生成するモデル生成部と
を備え、
前記動作特定部は、前記モデル生成部によって生成された確率モデルに基づき、前記入力スペクトルから前記動体の動作の種別を特定する。
前記動作特定部は、前記複数の対象種別それぞれについて、前記各波形データの入力スペクトルが得られる確率を合算した合算確率を計算して、前記合算確率が最も高い対象種別を、前記動体の動作の種別として特定する。
前記モデル生成部は、前記学習スペクトルから対象種別毎の二次スペクトルの発生確率を表す確率モデルを全体モデルとして生成するとともに、前記動作特定部によって前記全体モデルに基づき特定の動体の動作の種別が基準数以上特定されると、前記特定の動体についての前記入力スペクトルから前記特定の動体についての二次スペクトルの発生確率を表す確率モデルを個別モデルとして生成する。
コンピュータが、動体の動作を表す波形データを入力データとして、前記入力データのスペクトルである一次スペクトルを計算し、計算された一次スペクトルのスペクトルである二次スペクトルを入力スペクトルとして計算し、
コンピュータが、前記入力スペクトルから前記動体の動作の種別を特定する。
動体の動作を表す波形データを入力データとして、前記入力データのスペクトルである一次スペクトルを計算し、計算された一次スペクトルのスペクトルである二次スペクトルを入力スペクトルとして計算する入力スペクトル計算処理と、
前記入力スペクトル計算処理によって計算された入力スペクトルから前記動体の動作の種別を特定する動作特定処理と
をコンピュータに実行させる。
***構成の説明***
図1を参照して、実施の形態1に係る動作特定装置10の構成を説明する。
動作特定装置10は、コンピュータである。
動作特定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
ストレージ13には、学習スペクトル計算部21と、モデル生成部22と、入力スペクトル計算部23と、動作特定部24との機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、学習スペクトル計算部21と、モデル生成部22と、入力スペクトル計算部23と、動作特定部24との機能が実現される。
また、ストレージ13は、全体モデル31を記憶する。全体モデル31は、動体の動作を特定するための確率モデルである。
動作特定装置10は、クラウドシステムとして構築することができる。
図2から図16を参照して、実施の形態1に係る動作特定装置10の動作を説明する。
実施の形態1に係る動作特定装置10の動作は、実施の形態1に係る動作特定方法に相当する。また、実施の形態1に係る動作特定装置10の動作は、実施の形態1に係る動作特定プログラムの処理に相当する。
実施の形態1に係る動作特定装置10の動作は、全体学習処理と、特定処理とに大別される。
<全体学習処理の概要>
学習スペクトル計算部21は、複数の対象種別それぞれについて、その対象種別の動作を表す波形データを学習データとする。学習スペクトル計算部21は、各学習データを対象として、対象の学習データのスペクトルである一次スペクトルを計算し、計算された一次スペクトルのスペクトルである二次スペクトルを学習スペクトルとして計算する。そして、モデル生成部22は、学習スペクトル計算部21によって計算された各学習データについての学習スペクトルから、対象種別毎の二次スペクトルの発生確率を表す確率モデルを生成する。
(ステップS101:学習データ受付処理)
学習スペクトル計算部21は、複数の学習データを受け付ける。複数の学習データは、複数の対象種別それぞれについて、その対象種別の動作を複数の動体それぞれが行った結果を表す波形データである。対象種別は、動体の対象とする動作の種別である。学習データは、一定時間(例えば、10秒)以上の時間の動体の動作を表すものとする。
実施の形態1では、動体は人である。そのため、対象種別は、歩く、走る、階段を上るといった人の動作の種別である。つまり、実施の形態1では、複数の学習データは、歩く、走る、階段を上るといった動作の種別それぞれについて、その種別の動作を複数の人それぞれが行った結果を表す波形データである。なお、動体は、人に限らず、犬、猫といった動物であってもよい。また、動体は、動物に限らず、車両、船といった乗り物であってもよいし、生産設備といった機械であってもよい。
実施の形態1では、学習データは、加速度を示すデータであるとする。そのため、実施の形態1では、学習データは、人が加速度センサを備えたウェアラブル端末を装着した状態で、対象種別の動作を行って計測された加速度を示す波形データである。なお、学習データは、加速度を示すデータに限らず、動体の移動量を示すデータであってもよい。
ステップS102からステップS107の処理を学習スペクトル計算処理と呼ぶ。学習スペクトル計算処理では、学習データから学習スペクトルが計算される。
学習スペクトル計算部21は、対象とする学習データから、時系列に基準時間分ずつ波形データを切り出す。基準時間は、後述する処理においてスペクトルを計算することが可能な時間以上の時間である。スペクトルを計算するためには、波形が確認できる長さのデータが必要になる。実施の形態1では、基準時間は、4秒とする。
具体的には、図3に示すように、学習スペクトル計算部21は、学習データの先頭から、一定時間(ここでは、1秒)ずつずらしながら、基準時間分の波形データを順に切り出す。つまり、10秒分の学習データから7個の波形データが切り出される。これにより、少ない量の学習データを有効に利用することができる。
学習スペクトル計算部21は、対象の波形データをプリエンファシスフィルタに入力して、波形データを補正する。図4に示すように、プリエンファシスフィルタでは、波形データの平均値が0になるように補正されるとともに、波形データの高い周波数成分が強調されるように補正される。
なお、重力により常に下向きの力が加わるため、加速度を表す波形データの平均値は0にならないが、プリエンファシスフィルタを通すことにより、平均値が0になる。
学習スペクトル計算部21は、ステップS103で補正された波形データをハミング窓フィルタに入力して、波形データを補正する。図5に示すように、ハミング窓フィルタでは、波形データの両端の値が概ね0になるように滑らかに補正される。
後述する処理においてスペクトルを計算する際、波形データの両端の値が一致していないと、正しいスペクトルが得られない。ハミング窓フィルタを通すことにより、波形データの両端の値が概ね0になり、一致する。
学習スペクトル計算部21は、ステップS104で補正された波形データを離散フーリエ変換して、波形データのスペクトルである一次スペクトルを計算する。実施の形態1では、学習スペクトル計算部21は、38次元の一次スペクトルを計算する。なお、一次スペクトルの次元数はこれに限らず、他の次元でもよい。但し、ある程度適切に周波数成分が現れる程度の次元数にする必要がある。
図6の(A)(B)に示すように、波形データのスペクトルを計算すると、波形データの周波数が得られる。つまり、図6の(A)では、波形データは1秒間に10回振幅しているため、スペクトルでは10Hzにピークがくる。同様に、図6の(B)では、波形データは1秒間に3回振幅しているため、スペクトルでは3Hzにピークがくる。また、図6の(C)に示すように、図6の(A)(B)の波形データを合成した波形データのスペクトルを計算すると、10Hzと3Hzとにピークがくる。つまり、合成された波形は、スペクトルを計算することにより周波数成分に分解される。
具体例としては、図7に示すように、人が歩いている場合の波形データから一次スペクトルを計算すると、2Hzと8Hzにピークがくる。2Hzのピークは、1秒間に2歩移動した、つまり左右の足を動かしたことを表していると推測される。また、8Hzのピークは、骨格の揺れ等を表していると推測される。また、人が階段を下っている場合の一次スペクトルは、図8の(A)に示すようになり、歩いている場合よりも振動のリズムに幅がある。また、人がキーボードを打っている場合の一次スペクトルは、図8の(B)に示すようになり、短い周期の振動が多くなる。
学習スペクトル計算部21は、ステップS105で計算された一次スペクトルを丸めて次元数を落とす。実施の形態1では、学習スペクトル計算部21は、38次元の一次スペクトルを12次元に丸める。
具体的には、図9に示すように、学習スペクトル計算部21は、38次元の一次スペクトルの両端の値を除外して36次元にする。学習スペクトル計算部21は、36次元の一次スペクトルについて、先頭から3点毎にグループ分けする。そして、学習スペクトル計算部21は、各グループについて3点の値の和を計算し、計算された値の対数(log10)を計算する。これにより、12次元に丸められた一次スペクトルが計算される。
12次元に丸めることにより、動作の種別に応じたスペクトルの特徴が抽出される。
学習スペクトル計算部21は、ステップS106で丸められた一次スペクトルを離散コサイン変換して、一次スペクトルのスペクトルである二次スペクトルを学習スペクトルとして計算する。
図10の(A)(B)に示すように、波形データのスペクトルを計算すると、一次スペクトルの周波数が得られる。図10の(A)では、9Hzにピークがきて、図10の(B)では、5Hzにピークがきている。また、図10の(C)に示すように、図10の(A)(B)の波形データを合成した波形データのスペクトルを計算すると、9Hzと5Hzとにピークがくる。つまり、合成された波形は、スペクトルを計算することにより周波数成分に分解される。
具体例としては、図7の(B)に示す一次スペクトルのスペクトルを計算すると、図11の(A)のようになる。図7の(B)に示す一次スペクトルは、最初と最後とが3目盛以上の値になっているため、周波数の低い大きな波の一部を構成しているとみなされる。その結果、図11の(A)に示すように、最初の値が最大となる。このままでは、他の値の変化が分かりづらいので、最初の値を除いた残りの部分を拡大すると図11の(B)のようになる。同様に、図8の(A)に示す一次スペクトルのスペクトルを計算し、最初の値を除いた部分を拡大すると、図12の(A)のようになり、図8の(B)に示す一次スペクトルのスペクトルを計算し、最初の値を除いた部分を拡大すると、図12の(B)のようになる。
一次スペクトルのままでは、人によってグラフが左右にずれる。具体的には、図7の例では、1秒間に2歩移動するため、2Hzにピークがきていた。しかし、人によっては1秒間に3歩移動するかもしれないし、1秒間に1.5歩移動するかもしれない。これに伴い、骨格の揺れの回数も変わる。そのため、同じ歩くという動作の場合、波形は同じような形状でも、人によってグラフが左右にずれてしまう。一次スペクトルのスペクトルを計算すると、この左右のずれが吸収され、左右にずれたグラフが同じものとなる。
隠れマルコフモデルは、複数の状態の間の遷移確率と、各状態における確率分布とで表される。ここでは、各状態は、各対象種別が表す動作を分類したそれぞれの状態になる。具体例としては、歩くという動作は、歩き始めの加速時の動作と、一定速度で歩いている動作と等に分類される。この加速時の動作と、一定速度で歩いている動作とが、歩くという動作における状態である。そして、ここでは、二次スペクトルの波形は、同じ動作であっても人によって少しずつ異なるため、各状態における確率分布を、離散的な確率分布ではなく正規分布により表す。
隠れマルコフモデルにより確率モデルを生成する方法には、Baum−Welchアルゴリズムがある。しかし、Baum−Welchアルゴリズムは、原則として、各状態における確率分布が離散的な確率分布である場合に適用される。そこで、ここでは、モデル生成部22は、非特許文献1:http://www.seas.ucla.edu/spapl/weichu/htkbook/に記載された、各状態の確率分布が正規分布により表された場合に対してBaum−Welchアルゴリズムを応用した方法により、確率モデルを生成する。この方法は、既知のものであるため、詳細な説明は省略し、概要のみ説明する。
モデル生成部22は、ストレージ13から全体モデル31を読み出して、全体モデル31に基づき、ステップS107で計算された学習スペクトルが発生する発生確率を計算する。具体的には、モデル生成部22は、各状態について、その状態における正規分布を用いて、学習スペクトルが発生する発生確率を計算する。
なお、ストレージ13には、正規分布の平均及び分散を固定値に、状態間の遷移確率は同じ確率に初期化された全体モデル31が事前に記憶されているものとする。初めて全体学習処理が実行される場合には、この初期化された全体モデル31が読み出される。
モデル生成部22は、ステップS108で計算された発生確率に基づき、全体モデル31における状態間の遷移確率を更新する。
例えば、2つの状態X,Yがある場合に、状態Xについての発生確率が状態Yについての発生確率よりも非常に高い場合には、状態Xから状態Xへの遷移確率が高くなり、状態Xから状態Yへの遷移確率が低くなる。また、状態Yから状態Xへの遷移確率が高くなり、状態Yから状態Yへの遷移確率が低くなる。
モデル生成部22は、ステップS109で更新された遷移確率に基づき、各状態における正規分布を更新する。つまり、モデル生成部22は、更新された遷移確率で各状態に遷移したとして、各状態における正規分布を学習スペクトルを考慮して更新する。
図14に示すように、12次元グラフ上に学習スペクトルがプロットされ、各次元の一方の正規分布が状態1に対応し、他方の正規分布が状態2に対応している。図14では、図示を容易にするため、12次元ある学習スペクトルを2次元ずつ分けて6個の2次元グラフにより表している。
ステップS108では、新たにプロットされた点の位置から、各状態における学習スペクトルが発生する発生確率が計算される。ステップS109では、計算された発生確率から、遷移確率が更新される。そして、ステップS110では、更新された遷移確率と、プロットされた点の位置、点の出現順とから、各状態における正規分布の平均及び分散が更新される。
モデル生成部22は、ステップS109からステップS110で更新された確率モデルに基づき、ステップS107で計算された学習スペクトルが発生する発生確率を各状態について計算する。モデル生成部22は、各状態について計算された発生確率の合計と、ステップS108で各状態について計算された発生確率の合計との差が基準値以下であれば、対象の波形データについての処理を終了する。一方、差が基準値よりも大きい場合には、処理をステップS109に戻して、確率モデルを更新する。処理をステップS109に戻した場合、ステップS109では、ステップS111で計算された発生確率に基づき、状態間の遷移確率を更新する。
なお基準値とは、動作特定装置10の操作者が計算された発生確率の合計と前回の発生確率の合計との差異がそれ以上の向上が見込めない数値として、予め定める数値であり、モデル生成部22が用いるように設定される数値である。例えば、0.001と定める。
<特定処理の概要>
入力スペクトル計算部23は、動体の動作を表す波形データを入力データとして、入力データのスペクトルである一次スペクトルを計算し、計算された一次スペクトルのスペクトルである二次スペクトルを入力スペクトルとして計算する。動作特定部24は、モデル生成部22によって生成された確率モデルである全体モデル31に基づき、入力スペクトル計算部23によって計算された入力スペクトルから動体の動作の種別を特定する。
(ステップS201:入力データ受付処理)
入力スペクトル計算部23は、入力データを受け付ける。入力データは、動作の種別を特定する対象の動体の動作を表す波形データである。入力データは、一定時間(例えば、5.5秒)以上の時間の動作を表すものとする。
実施の形態1では、入力データは、学習データと同じ、加速度を示すデータであるとする。そのため、実施の形態1では、入力データは、対象の動体である人が加速度センサを備えたウェアラブル端末を装着した状態で計測された加速度を示す波形データである。なお、学習データが加速度を示すデータではなく、他の種別のデータである場合、入力データも学習データと同じ他の種別のデータであることが、動作の種別を特定する上で望ましい。
(ステップS202:データ切り出し処理)
入力スペクトル計算部23は、ステップS201で受け付けられた入力データから、時系列に基準時間分ずつ波形データを切り出す。基準時間は、後述する処理においてスペクトルを計算することが可能な時間以上の時間である。スペクトルを計算するためには、波形が確認できる長さのデータが必要になる。実施の形態1では、基準時間は、4秒とする。
具体的には、入力スペクトル計算部23は、入力データの先頭から、1フレームずつずらしながら、基準時間分の波形データを順に切り出す。
ステップS203では、入力スペクトル計算部23は、対象の波形データをプリエンファシスフィルタに入力して、波形データを補正する。ステップS204では、入力スペクトル計算部23は、ステップS203で補正された波形データをハミング窓フィルタに入力して、波形データを補正する。ステップS205では、入力スペクトル計算部23は、ステップS204で補正された波形データを離散フーリエ変換して、波形データのスペクトルである38次元の一次スペクトルを計算する。ステップS206では、入力スペクトル計算部23は、ステップS205で計算された一次スペクトルを丸めて次元数を12次元に落とす。ステップS207では、入力スペクトル計算部23は、ステップS206で丸められた一次スペクトルを離散コサイン変換して、一次スペクトルのスペクトルである二次スペクトルを入力スペクトルとして計算する。
動作特定部24は、ストレージ13から全体モデル31を読み出して、全体モデル31に基づき、複数の対象種別それぞれについてステップS207で計算された入力スペクトルが得られる確率を計算する。
具体的には、動作特定部24は、複数の対象種別それぞれの各状態について、その状態における正規分布を用いて、入力スペクトルが発生する発生確率を計算する。
動作特定部24は、複数の対象種別それぞれについて、各波形データについてステップS208で計算された発生確率と、状態間の遷移確率とから、合計確率を計算する。
具体例としては、図16に示すように、ある対象種別について状態1と状態2との2つの状態があり、状態1から状態1への遷移確率が0.9、状態1から状態2への遷移確率が0.1、状態2から状態1への遷移確率が0.9、状態2から状態2への遷移確率が0.1であったとする。また、ステップS202で3つの波形データが切り出され、1つ目の波形データについての入力スペクトルの発生確率は、状態1が0.2で状態2が0.4、2つ目の波形データについての入力スペクトルの発生確率は、状態1が0.3で状態2が0.3、3つ目の波形データについての入力スペクトルの発生確率は、状態1が0.4で状態2が0.3であったとする。
この場合、1つ目の波形データが状態1、2つ目の波形データが状態1、3つ目の波形データが状態1であった確率は、0.2×0.9×0.3×0.9×0.4=0.01944となる。また、1つ目の波形データが状態1、2つ目の波形データが状態1、3つ目の波形データが状態2であった確率は、0.2×0.9×0.3×0.1×0.3=0.00162となる。このように、動作特定部24は、全ての遷移パターンについての確率を計算する。そして、動作特定部24は、計算された確率を合計して合計確率を計算する。
動作特定部24は、ステップS209で計算された合計確率が最も高い対象種別を、動体の動作の種別として特定する。
以上のように、実施の形態1に係る動作特定装置10は、動作を表す波形データのスペクトルのスペクトル、つまり二次スペクトルを用いて動作の種別を特定する。動作を表す波形データのスペクトルのスペクトルは、適切に動体の動作を表す場合が多い。そのため、少ない学習量で適切に動体の動作を特定することが可能である。
特に、二次スペクトルは、同じ動作の種別における人(例えば体型、体格、年齢、性別による差異)によるグラフの差異を吸収している。そのため、動作を表す波形データのスペクトルのスペクトルを用いることにより、精度よく人の動作の種別を特定することが可能である。また人に限らず、動物、動体等の大きさ、性格、性能等による差異を吸収することができる。
動作特定装置10をクラウドシステムとして構築する場合、学習データを収集しやすくなる。また学習データが多く収集できることにより、学習スペクトルの精度向上が見込まれる。また学習データが多く収集できることにより、データベースの拡張が必要になった場合にもクラウトシステムであれば、容易に実現することができる。
<変形例1>
実施の形態1では、学習データ及び入力データを、加速度を示すデータであるとした。しかし、学習データ及び入力データは、動体の移動量を示すデータであってもよい。具体例としては、学習データ及び入力データは、動画データにおける動体の移動量が抽出されたデータであってもよい。例えば、学習データ及び入力データは、動画データに含まれるある動体の部位の移動を表した波形データであってもよい。また、学習データ及び入力データは、位置情報に基づき特定された動体の移動を表した波形データであってもよい。
入力データが動画データにおける動体の移動量が抽出されたデータの場合、カメラで撮影された動画データ中の動体の動作の種別を特定するといったことが可能である。
実施の形態1では、隠れマルコフモデルに基づき全体モデル31が生成された。しかし、隠れマルコフモデルでなく、ベイズの定理等に基づく他のモデルに基づき全体モデル31が生成されてもよい。
実施の形態1では、動作特定装置10の各機能構成要素の機能がソフトウェアで実現された。しかし、変形例3として、動作特定装置10の各機能構成要素の機能はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
各機能構成要素の機能がハードウェアで実現される場合、動作特定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、処理回路15を備える。処理回路15は、動作特定装置10の学習スペクトル計算部21と、モデル生成部22と、入力スペクトル計算部23と、動作特定部24との機能とメモリ12とストレージ13との機能とを実現する専用の電子回路である。
学習スペクトル計算部21と、モデル生成部22と、入力スペクトル計算部23と、動作特定部24との機能を1つの処理回路15で実現してもよいし、学習スペクトル計算部21と、モデル生成部22と、入力スペクトル計算部23と、動作特定部24との機能を複数の処理回路15に分散させて実現してもよい。
変形例4として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、動作特定装置10の各機能構成要素のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
実施の形態2は、動体毎に個別モデル32を生成し、個別モデル32に基づき動作を特定する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明する。
図18を参照して、実施の形態2に係る動作特定装置10の構成を説明する。
動作特定装置10は、ストレージ13に動体毎に個別モデル32が記憶されている点が図1に示す動作特定装置10と異なる。個別モデル32は、対象の動体の動作を特定するための確率モデルである。
図19を参照して、実施の形態2に係る動作特定装置10の動作を説明する。
実施の形態2に係る動作特定装置10の動作は、実施の形態2に係る動作特定方法に相当する。また、実施の形態2に係る動作特定装置10の動作は、実施の形態2に係る動作特定プログラムの処理に相当する。
実施の形態2に係る動作特定装置10の動作は、全体学習処理と、特定処理とに加え、個別学習処理を含む。
<個別学習処理の概要>
モデル生成部22は、動作特定部24によって個別モデル32に基づき特定の動体の特定の動作の種別が特定されると、特定の動体についての入力スペクトルから特定の動体の特定の動作の種別について、二次スペクトルの発生確率を表す確率モデルを個別モデルとして生成する。
個別学習処理は、図15のステップS210で動体の動作の種別が特定されると実行される。ここでは、動体Xについて、動作の種別Yであると特定されたとして説明する。
モデル生成部22は、動体Xについての個別モデル32におけるステップS210で特定された動作の種別Yについての個別モデル32をストレージ13から読み出す。モデル生成部22は、ステップS208で計算された発生確率に基づき、読み出された個別モデル32における状態間の遷移確率を更新する。遷移確率を更新する方法は、ステップS109と同じである。
なお、モデル生成部22は、ストレージ13に対象の個別モデル32が存在しない場合には、図2に示す全体学習処理と同様の処理にて、個別モデル32を生成し、ストレージ13に書き込む。
モデル生成部22は、ステップS301で更新された遷移確率に基づき、各状態における正規分布を更新する。正規分布の更新方法は、ステップS110と同じである。
モデル生成部22は、ステップS301からステップS302で更新された確率モデルに基づき、ステップS107で計算された学習スペクトルが発生する発生確率を各状態について計算する。モデル生成部22は、各状態について計算された発生確率の合計と、ステップS108で各状態について計算された発生確率の合計との差が基準値以下であれば、対象の波形データについての処理を終了する。
特定処理では、図15のステップS208からステップS209の処理において、対象の動体についての個別モデル32がストレージ13に存在する場合には、全体モデル31に代えて対象の動体についての個別モデル32を用いる。
但し、ある程度個別モデル32についての学習が済むまでは全体モデル31を用いてもよい。具体例としては、ステップS210で対象の動体に対して閾値回数以上、動作の種別が特定されるまでは全体モデル31を用いてもよい。
以上のように、実施の形態2に係る動作特定装置10は、全体モデル31を用いて特定された動作の種別と、動作の種別を特定する際に用いられた入力データとを用いて、対象の動体についての個別モデル32を生成する。個別モデル32は、動体毎の確率モデルであるため、対象の動体の動作がより適切に表されている。そのため、適切に動体の動作を特定することができる。
実施の形態3は、対象種別にない動作を特定する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明する。
図15と、図20から図21を参照して、実施の形態3に係る動作特定装置10の動作を説明する。
実施の形態3に係る動作特定装置10の動作は、実施の形態3に係る動作特定方法に相当する。また、実施の形態3に係る動作特定装置10の動作は、実施の形態3に係る動作特定プログラムの処理に相当する。
なお基準確率とは、動作特定装置10の操作者が予め定める数値であり、所定の回数とは、例えば30回である。
異常な動作とは、対象種別として定義されていない別の動作、あるいは、対象種別として定義された動作をしているにも関わらず、動作が通常と異なっている状態である。具体例としては、工事現場の作業員の動作の種別を特定している場合であれば、異常な動作とは、工事現場の作業以外の動作と、怪我をしている、あるいは、工具が壊れたといった環境変化に対応した状態における工事現場の作業の動作と、漫然作業と等である。
以上のように、実施の形態3に係る動作特定装置10は、全ての対象種別についての合計確率が基準確率よりも低い場合には、動体の動作の種別を対象種別とは異なる種別と特定する。つまり、いずれの対象種別の動作でもない可能性が高い場合には、いずれの対象種別の動作でもないと特定する。これにより、誤って特定された動作の種別を用いて、誤った判断がされるといった可能性を低くすることが可能である。
実施の形態4は、実施の形態1〜3で説明した方法を、他の方法と組み合わせて動体の動作の種別、あるいは、対象の種類等を特定する点が実施の形態1〜3と異なる。実施の形態4では、この異なる点を説明する。
具体例としては、図22に示すように、動画データを入力としてディープラーニングを行い、動体の動作の種別を特定する。また、動画データに含まれるある動体の部位の移動を表した波形データを入力として、実施の形態1〜3で説明した動体の動作の種別を特定する方法により、動体の動作の種別を特定する。そして、2つの方法による特定結果を統合して、最終的に動作の種別を特定する。具体例としては、確度の高い方の特定結果が採用されてもよい。
また、入力データの二次スペクトルをディープラーニングの入力の1つとして用いてもよい。これにより、ディープラーニングの特定精度を高めることが可能になる。
以上のように、実施の形態4に係る動作特定装置10は、実施の形態1〜3で説明した方法を、ディープラーニングといった他の方法と組み合わせて、動作の種別等を特定する。これにより、適切に動作を特定することが可能である。
Claims (10)
- 動体の動作を表す波形データを入力データとして、前記入力データのスペクトルである一次スペクトルを計算し、計算された一次スペクトルのスペクトルである二次スペクトルを入力スペクトルとして計算する入力スペクトル計算部と、
前記入力スペクトル計算部によって計算された入力スペクトルから前記動体の動作の種別を特定する動作特定部と
を備える動作特定装置。 - 前記動作特定装置は、さらに、
複数の対象種別それぞれについて、その対象種別の動作を表す波形データを学習データとし、各学習データを対象として、対象の学習データのスペクトルである一次スペクトルを計算し、計算された一次スペクトルのスペクトルである二次スペクトルを学習スペクトルとして計算する学習スペクトル計算部と、
前記学習スペクトル計算部によって計算された各学習データについての学習スペクトルから、対象種別毎の二次スペクトルの発生確率を表す確率モデルを生成するモデル生成部と
を備え、
前記動作特定部は、前記モデル生成部によって生成された確率モデルに基づき、前記入力スペクトルから前記動体の動作の種別を特定する
請求項1に記載の動作特定装置。 - 前記動作特定部は、前記確率モデルに基づき、前記複数の対象種別それぞれについて前記入力スペクトルが得られる確率を計算して、前記入力スペクトルが得られる確率が最も高い対象種別を、前記動体の動作の種別として特定する
請求項2に記載の動作特定装置。 - 前記入力スペクトル計算部は、前記入力データから切り出された各波形データの入力スペクトルを計算し、
前記動作特定部は、前記複数の対象種別それぞれについて、前記各波形データの入力スペクトルが得られる確率を合算した合算確率を計算して、前記合算確率が最も高い対象種別を、前記動体の動作の種別として特定する
請求項3に記載の動作特定装置。 - 前記動作特定部は、全ての対象種別について前記合算確率が基準確率より低い場合には、前記動体の動作の種別を前記対象種別とは異なる種別と特定する
請求項4に記載の動作特定装置。 - 前記動作特定部は、全ての対象種別について前記合算確率が基準確率より低く、かつ、前記各波形データの入力スペクトルの分散が第1基準値よりも小さい場合には、前記動体の動作の種別を異常な動作の種別と特定し、全ての対象種別について前記合算確率が基準確率より低く、かつ、前記各波形データの入力スペクトルの分散が第2基準値よりも大きい場合には、前記動体の動作の種別を前記対象種別から他の対象種別へ移り変わる中間動作の種別と特定する
請求項5に記載の動作特定装置。 - 前記学習スペクトル計算部は、複数の対象種別それぞれについて、複数の動体の波形データを学習データとして、各学習データについての学習スペクトルを計算し、
前記モデル生成部は、前記学習スペクトルから対象種別毎の二次スペクトルの発生確率を表す確率モデルを全体モデルとして生成するとともに、前記動作特定部によって前記全体モデルに基づき特定の動体の動作の種別が基準数以上特定されると、前記特定の動体についての前記入力スペクトルから前記特定の動体についての二次スペクトルの発生確率を表す確率モデルを個別モデルとして生成する
請求項2から6までのいずれか1項に記載の動作特定装置。 - 前記動作特定部は、前記個別モデルが生成された場合には、前記特定の動体の前記特定の動作について前記入力スペクトルが得られる確率を、前記個別モデルに基づき計算する
請求項7に記載の動作特定装置。 - コンピュータが、動体の動作を表す波形データを入力データとして、前記入力データのスペクトルである一次スペクトルを計算し、計算された一次スペクトルのスペクトルである二次スペクトルを入力スペクトルとして計算し、
コンピュータが、前記入力スペクトルから前記動体の動作の種別を特定する動作特定方法。 - 動体の動作を表す波形データを入力データとして、前記入力データのスペクトルである一次スペクトルを計算し、計算された一次スペクトルのスペクトルである二次スペクトルを入力スペクトルとして計算する入力スペクトル計算処理と、
前記入力スペクトル計算処理によって計算された入力スペクトルから前記動体の動作の種別を特定する動作特定処理と
をコンピュータに実行させる動作特定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016211434A JP6258442B1 (ja) | 2016-10-28 | 2016-10-28 | 動作特定装置、動作特定方法及び動作特定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016211434A JP6258442B1 (ja) | 2016-10-28 | 2016-10-28 | 動作特定装置、動作特定方法及び動作特定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6258442B1 JP6258442B1 (ja) | 2018-01-10 |
JP2018073081A true JP2018073081A (ja) | 2018-05-10 |
Family
ID=60940233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016211434A Active JP6258442B1 (ja) | 2016-10-28 | 2016-10-28 | 動作特定装置、動作特定方法及び動作特定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6258442B1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09185716A (ja) * | 1995-11-02 | 1997-07-15 | Yamaha Corp | 動作判定方法および動作判定装置 |
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
JP2006268639A (ja) * | 2005-03-25 | 2006-10-05 | Yamaguchi Univ | 対象物の動作を認識する方法、対象物の動作の認識装置、動作の認識による入力装置及び対象物の動作の認識のためのプログラムを記録した記録媒体 |
JP2008287340A (ja) * | 2007-05-15 | 2008-11-27 | Tokai Univ | 発話内容識別装置及び個人識別装置 |
JP2011176535A (ja) * | 2010-02-24 | 2011-09-08 | Yamaha Corp | 信号処理装置 |
JP2013232208A (ja) * | 2007-08-20 | 2013-11-14 | Qualcomm Inc | 高度な語彙外単語の拒否のための方法、デバイス、コンピュータ可読記録媒体、および装置 |
WO2014147785A1 (ja) * | 2013-03-21 | 2014-09-25 | 富士通株式会社 | 動作検知装置,動作検知方法,プログラム及び記録媒体 |
JP2016039999A (ja) * | 2011-03-31 | 2016-03-24 | クアルコム,インコーポレイテッド | 携帯デバイスの位置を推論するデバイス、方法、および装置 |
-
2016
- 2016-10-28 JP JP2016211434A patent/JP6258442B1/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09185716A (ja) * | 1995-11-02 | 1997-07-15 | Yamaha Corp | 動作判定方法および動作判定装置 |
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
JP2006268639A (ja) * | 2005-03-25 | 2006-10-05 | Yamaguchi Univ | 対象物の動作を認識する方法、対象物の動作の認識装置、動作の認識による入力装置及び対象物の動作の認識のためのプログラムを記録した記録媒体 |
JP2008287340A (ja) * | 2007-05-15 | 2008-11-27 | Tokai Univ | 発話内容識別装置及び個人識別装置 |
JP2013232208A (ja) * | 2007-08-20 | 2013-11-14 | Qualcomm Inc | 高度な語彙外単語の拒否のための方法、デバイス、コンピュータ可読記録媒体、および装置 |
JP2011176535A (ja) * | 2010-02-24 | 2011-09-08 | Yamaha Corp | 信号処理装置 |
JP2016039999A (ja) * | 2011-03-31 | 2016-03-24 | クアルコム,インコーポレイテッド | 携帯デバイスの位置を推論するデバイス、方法、および装置 |
WO2014147785A1 (ja) * | 2013-03-21 | 2014-09-25 | 富士通株式会社 | 動作検知装置,動作検知方法,プログラム及び記録媒体 |
Non-Patent Citations (1)
Title |
---|
和井田将広, 外3名: ""呼吸音検出アルゴリズムの為の音響特徴量の抽出"", 日本音響学会 2014年 春季研究発表会講演論文集, JPN6017035161, 12 March 2014 (2014-03-12), pages 805 - 808, ISSN: 0003641586 * |
Also Published As
Publication number | Publication date |
---|---|
JP6258442B1 (ja) | 2018-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875510B (zh) | 图像处理的方法、装置、系统及计算机存储介质 | |
US10757125B2 (en) | Anomaly detection method and recording medium | |
US11234890B2 (en) | Method and apparatus for recognizing gait task | |
EP2958049A2 (en) | Method and apparatus for extracting feature regions from point cloud | |
US20170032276A1 (en) | Data fusion and classification with imbalanced datasets | |
JP5166102B2 (ja) | 画像処理装置及びその方法 | |
JP2016184424A5 (ja) | ||
JP6397385B2 (ja) | 学習装置、探索装置、方法、及びプログラム | |
Janko et al. | A new frontier for activity recognition: The Sussex-Huawei locomotion challenge | |
US10417487B2 (en) | Pattern recognition apparatus, pattern recognition method, and storage medium | |
JP5509153B2 (ja) | 歩容解析方法、歩容解析装置及びそのプログラム | |
US11604999B2 (en) | Learning device, learning method, and computer program product | |
US20220142850A1 (en) | Method and apparatus for recognizing gait task | |
US9459103B2 (en) | Non-transitory computer readable medium storing program, movement situation determining method, and movement situation determining device | |
JP6258442B1 (ja) | 動作特定装置、動作特定方法及び動作特定プログラム | |
JP6236135B1 (ja) | 動作特定装置、動作特定方法及び動作特定プログラム | |
JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
US20170168666A1 (en) | Extracting skill-level-based command execution patterns from catia command log | |
US20220309321A1 (en) | Quantization method, quantization device, and recording medium | |
CN115267667A (zh) | 井下高精度定位修正方法、装置、设备及存储介质 | |
JP2009204434A (ja) | 目標検出装置、目標検出方法及び目標検出プログラム | |
JP5809663B2 (ja) | 分類精度推定装置、分類精度推定方法、およびプログラム | |
US10304181B2 (en) | Method, apparatus for attitude estimating, and non-transitory computer-readable storage medium | |
JP5824429B2 (ja) | スパムアカウントスコア算出装置、スパムアカウントスコア算出方法、及びプログラム | |
JPWO2009151002A1 (ja) | パターン識別方法、装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6258442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |