JP2019219836A - 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 - Google Patents
映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 Download PDFInfo
- Publication number
- JP2019219836A JP2019219836A JP2018115828A JP2018115828A JP2019219836A JP 2019219836 A JP2019219836 A JP 2019219836A JP 2018115828 A JP2018115828 A JP 2018115828A JP 2018115828 A JP2018115828 A JP 2018115828A JP 2019219836 A JP2019219836 A JP 2019219836A
- Authority
- JP
- Japan
- Prior art keywords
- skeleton
- displacement
- predetermined period
- person
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
しかしながら、人物の行動によっては(例えば激しい動きの場合)、骨格同士の軌跡の重なりが多く、表示された移動軌跡は、ユーザにとって視覚的に見づらいものとなる。
これに対し、本願の発明者は、人物の行動に応じて、ユーザが注目したい骨格の移動軌跡は異なるのではないか、と考えた。
人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルと、
映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
骨格設定テーブルを用いて、行動推定手段によって認識された行動に対応する1つ以上の骨格を特定する骨格特定手段と、
骨格特定手段によって特定された骨格について、骨格認識手段によって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
してコンピュータを機能させることを特徴とする。
骨格変位描写手段は、映像データに、第2の所定期間の時系列の骨格位置の変位を軌跡として重畳的に描写する
ようにコンピュータを機能させることも好ましい。
行動推定手段の第1の所定期間は、推定前時点t-n〜推定時点tであり、
骨格変位描写手段の第2の所定期間は、
推定後時点t+1〜t+kであるか、又は、
推定前時点t-m〜推定時点t〜推定後時点t+kである
ようにコンピュータを機能させることも好ましい。
人物の行動毎に、第1の所定期間における各骨格位置の変位量を時系列に並べた第1の骨格変位テーブルを更に有し、
行動推定手段は、行動毎の第1の骨格変位テーブルを用いて、第1の所定期間の時系列の骨格変位に類似する行動を検索する
ようにコンピュータを機能させることも好ましい。
人物の行動毎に、第2の所定期間における各骨格位置の変位量を時系列に並べた第2の骨格変位テーブルを更に有し、
骨格設定テーブルは、推定された当該行動における第2の骨格変位テーブルを用いて、所定ルールに基づく時系列の変位量となる骨格を設定する
ようにコンピュータを機能させることも好ましい。
骨格設定テーブルの所定ルールは、ユーザによって予め設定されたものである
ようにコンピュータを機能させることも好ましい。
骨格設定テーブルの所定ルールは、所定期間の変位量が所定条件よりも大きい骨格、又は、所定期間の変位量が所定条件よりも小さい骨格を設定する
ようにコンピュータを機能させることも好ましい。
人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルと、
映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
骨格設定テーブルを用いて、行動推定手段によって認識された行動に対応する1つ以上の骨格を特定する骨格特定手段と、
骨格特定手段によって特定された骨格について、骨格認識手段によって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
を有することを特徴とする。
装置は、人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルを有し、
装置は、
映像データから、複数の骨格位置を時系列に抽出する第1のステップと、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する第2のステップと、
骨格設定テーブルを用いて、第2のステップによって認識された行動に対応する1つ以上の骨格を特定する第3のステップと、
第3のステップによって特定された骨格について、第1のステップによって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する第4のステップと
を実行することを特徴とする。
認識装置1は、カメラを搭載したスマートフォンや携帯端末であってもよく、人物を撮影した映像データを入力する。また、認識装置1は、携帯電話網又は無線LANのようなアクセスネットワークを介して映像データを受信するものであってもよい。
勿論、認識装置1は、スマートフォン等に限られず、例えば固定設置されたWebカメラであってもよい。また、Webカメラによって撮影された映像データがSDカードに記録され、その記録された映像データを認識装置1へ入力するものであってもよい。
尚、以下では、認識装置1は、カメラを搭載するスマートフォンとして説明するが、例えばインターネットに接続されたサーバとして機能するものであってもよい。
骨格認識部11は、映像データから、人物の複数の骨格位置を時系列に抽出する。骨格を抽出する映像データは、2次元に基づくものであって、一般的なWebカメラで撮影したものであってもよい。抽出された骨格位置は、行動推定部12へ出力される。
図2によれば、映像データに1人の人物が映り込んでいる。OpenPoseの場合、18個の各骨格位置(Nose, Neck, RShoulder, RElbow,・・・)の2次元座標点及び信頼度が、各フレームで結び付けられている。
行動推定部12は、第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する。具体的には、行動推定部12は、映像データの時系列の骨格位置の変位量に「行動」を対応付けた教師データに基づいて、深層学習の学習モデルを予め構築したものである。
そして、行動推定部12は、学習モデルを用いて、映像データの時系列の骨格位置から、「行動」を認識する。行動推定部12は、例えば「蹴る」「座る」「踊る」のような人物の行動を、人物の時系列の骨格位置から認識する。
図3によれば、骨格認識部11及び行動推定部12の両方とも、例えばOpenPoseによって構成されたものであってもよい。OpenPoseの場合、クラス分類によって、行動毎にスコアが算出される。即ち、「映像データ」を入力することによって、最も高いスコアとなる「行動」を推定することができる。
第1の骨格変位テーブル121は、人物の「行動」毎に、当該行動を特定可能な第1の所定期間における各骨格位置の変位量を時系列に並べたものである。図4によれば、例えば3次元(x,y,z)座標における前時刻からの変位量が表されている。
図4によれば、第1の所定期間は、推定前時点t-n〜推定時点tである([t-n]は、推定時点tよりも任意のn時間前の時点)。
行動推定部12は、映像データにおける推定時点tまでの行動毎の各骨格位置の変位量の変化から、第1の骨格変位テーブル121を用いて、第1の所定期間の時系列の骨格変位に類似する最も類似する「行動」を選択する。勿論、1つの行動に限られず、類似度が高い順に複数の行動が選択されてもよい。
行動「座る」の場合、全体の骨格位置の変位量が比較的小さいことが理解できる。
行動「踊る」の場合、骨格8「右ヒップ(Hip)」の位置の変位量が比較的大きいことが理解できる。
骨格設定テーブル10は、人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けたものである。
前述した図1によれば、骨格設定テーブル10には、人物の行動毎に、以下のように、骨格番号が対応付けられている。
行動「蹴る」−>骨格番号10「右足首」
行動「座る」−>骨格番号4 「右手首」
行動「踊る」−>骨格番号0 「鼻」
骨格特定部13は、骨格設定テーブル10を用いて、行動推定部12によって認識された行動に対応する1つ以上の骨格を特定する。
例えば行動推定部12によって行動「蹴る」と推定された場合、骨格設定テーブル10を用いて、骨格番号10「右足首」が選択される。
骨格変位描写部14は、骨格特定部13によって特定された骨格について、骨格認識部11によって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する。
また、骨格変位描写部14は、映像データに、骨格位置の時系列の変位を軌跡として重畳的に描写する。
(1)推定後時点t+1〜t+k ([t+k]は、推定時点tよりも任意のk時間後の時点)
この場合、推定前時点t-n〜推定時点tで「行動」を推定し、その行動から特定される骨格番号について、推定後時点t+1〜時点t+kでその骨格位置の変位の軌跡を描写する。即ち、行動が推定された後段階から骨格位置の変位を描写する。
(2)推定前時点t-m〜推定時点t〜推定後時点t+k
この場合、推定前時点t-n〜推定時点tで「行動」を推定し、その行動から特定される骨格番号について、過去に遡った推定前時点t-m〜推定後時点t+kでその骨格位置の変位の軌跡を描写する。即ち、行動が推定される前段階から骨格位置の変位を描写する([t-m]は、推定時点tよりも任意のm時間前の時点)。
(2)推定後時点t+1〜t+3の間で、骨格10「右足首」の位置の軌跡が記録されていく。骨格10「右足首」の軌跡の描写は、徐々に更新されるものであってもよいし、任意の時点t+4で表示されるものであってもよい。
図5によれば、骨格位置の変位は、2次元画像で描写されているが、勿論、3次元画像であってもよい。
骨格設定テーブル10は、特定された当該行動における第2の骨格変位テーブル101を用いて、所定ルールに基づく時系列の変位量となる骨格を設定する
[第2の骨格変位テーブル101]
第2の骨格変位テーブル101は、人物の行動毎に、第2の所定期間における各骨格位置の変位量を時系列に並べたものである。
第2の骨格変位テーブル101は、過去の統計データであって、行動毎に、経過時間に応じて各骨格位置の変位量を表したものである。図6によれば、行動「蹴る」「座る」「踊る」それぞれについて、経過時間に応じて、その人物の各骨格位置の変位量が記録されている。
[所定ルール]
所定ルールは、所定期間の変位量が所定条件よりも大きい骨格、又は、所定期間の変位量が所定条件よりも小さい骨格を設定する。
図6によれば、所定ルールとして、例えば「所定期間内の変位量が最も大きい骨格」と定義されているとする。
行動「蹴る」の場合、所定期間内の変位量が最も大きい骨格10「右足首」が登録される。
行動「座る」の場合、所定期間内の変位量が最も大きい骨格4「右手首」が登録される。
行動「踊る」の場合、所定期間内の変位量が最も大きい骨格0「鼻」が登録される。
このように、所定ルールに応じて骨格設定テーブル10が登録される。
例えば行動の推定時点t以降となる推定後時点t+1〜t+2であってもよい。
例えば行動の推定前時点t-1〜t+2であってもよい。
即ち、第2の骨格変位テーブル101における推定前時点t-n〜推定時点tの各骨格位置の変位量の数値は、第1の骨格変位テーブルと全く同じものであってもよい。
尚、第2の骨格変位テーブル101は、図6と同様である。
(ユーザA)
「蹴る」:第1の所定期間の変位量が最も大きい骨格
「座る」:第1の所定期間の変位量が最も小さい骨格
「踊る」:第2の所定期間の変位量が最も大きい骨格
(ユーザB)
「蹴る」:第1の所定期間の変位量が最も小さい骨格
「座る」:第1の所定期間の変位量が最も大きい骨格
「踊る」:第2の所定期間の変位量が最も大きい骨格
尚、所定期間も任意に設定することができる。これによって、短い時間内で激しい行動や静かな行動に基づく骨格番号を検出するだけでなく、長い時間で激しい行動や静かな行動に基づく骨格番号を検出することもできる。
また、ユーザBによれば、行動「蹴る」が推定された場合、第1の所定期間の変位量が最も小さい骨格1「首」が選択される。この場合、骨格1「首」の変位の軌跡が描写される。
また、本発明によれば、推定された行動に応じた骨格位置を、所定ルールに基づいて自動的に特定することができる。即ち、ユーザが注目すべき骨格位置の変位の軌跡を、所定ルールに応じて描写することができる。
10 骨格設定テーブル
101 第2の骨格変位テーブル
11 骨格認識部
12 行動推定部
121 第1の骨格変位テーブル
13 骨格特定部
14 骨格変位描写部
Claims (9)
- 映像データから人物の骨格位置の変位の軌跡を描写するようにコンピュータを機能させるプログラムであって、
人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルと、
前記映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
前記骨格設定テーブルを用いて、前記行動推定手段によって認識された行動に対応する1つ以上の骨格を特定する骨格特定手段と、
前記骨格特定手段によって特定された骨格について、前記骨格認識手段によって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
してコンピュータを機能させることを特徴とするプログラム。 - 前記骨格変位描写手段は、前記映像データに、第2の所定期間の時系列の骨格位置の変位を軌跡として重畳的に描写する
ようにコンピュータを機能させることを特徴とする請求項1に記載のプログラム。 - 前記行動推定手段の第1の所定期間は、推定前時点t-n〜推定時点tであり、
前記骨格変位描写手段の第2の所定期間は、
推定後時点t+1〜t+kであるか、又は、
推定前時点t-m〜推定時点t〜推定後時点t+kである
ようにコンピュータを機能させることを特徴とする請求項1又は2に記載のプログラム。 - 人物の行動毎に、第1の所定期間における各骨格位置の変位量を時系列に並べた第1の骨格変位テーブルを更に有し、
前記行動推定手段は、行動毎の第1の骨格変位テーブルを用いて、第1の所定期間の時系列の骨格変位に類似する行動を検索する
ようにコンピュータを機能させることを特徴とする請求項3に記載のプログラム。 - 人物の行動毎に、第2の所定期間における各骨格位置の変位量を時系列に並べた第2の骨格変位テーブルを更に有し、
前記骨格設定テーブルは、推定された当該行動における第2の骨格変位テーブルを用いて、所定ルールに基づく時系列の変位量となる骨格を設定する
ようにコンピュータを機能させることを特徴とする請求項3又は4に記載のプログラム。 - 前記骨格設定テーブルの前記所定ルールは、ユーザによって予め設定されたものである
ようにコンピュータを機能させることを特徴とする請求項5に記載のプログラム。 - 前記骨格設定テーブルの前記所定ルールは、所定期間の変位量が所定条件よりも大きい骨格、又は、所定期間の変位量が所定条件よりも小さい骨格を設定する
ようにコンピュータを機能させることを特徴とする請求項6に記載のプログラム。 - 映像データから人物の骨格位置の変位の軌跡を描写する装置であって、
人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルと、
前記映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
前記骨格設定テーブルを用いて、前記行動推定手段によって認識された行動に対応する1つ以上の骨格を特定する骨格特定手段と、
前記骨格特定手段によって特定された骨格について、前記骨格認識手段によって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
を有することを特徴とする装置。 - 映像データから人物の骨格位置の変位の軌跡を描写する装置の骨格軌跡描写方法であって、
前記装置は、人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルを有し、
前記装置は、
前記映像データから、複数の骨格位置を時系列に抽出する第1のステップと、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する第2のステップと、
前記骨格設定テーブルを用いて、第2のステップによって認識された行動に対応する1つ以上の骨格を特定する第3のステップと、
第3のステップによって特定された骨格について、第1のステップによって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する第4のステップと
を実行することを特徴とする装置の骨格軌跡描写方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018115828A JP6906273B2 (ja) | 2018-06-19 | 2018-06-19 | 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018115828A JP6906273B2 (ja) | 2018-06-19 | 2018-06-19 | 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019219836A true JP2019219836A (ja) | 2019-12-26 |
JP6906273B2 JP6906273B2 (ja) | 2021-07-21 |
Family
ID=69096588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018115828A Active JP6906273B2 (ja) | 2018-06-19 | 2018-06-19 | 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6906273B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112183317A (zh) * | 2020-09-27 | 2021-01-05 | 武汉大学 | 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法 |
WO2021130978A1 (ja) * | 2019-12-26 | 2021-07-01 | 三菱電機株式会社 | 動作分析システムおよび動作分析プログラム |
WO2023079783A1 (ja) * | 2021-11-05 | 2023-05-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 行動認識方法、行動認識装置、及び行動認識プログラム |
WO2023089691A1 (ja) * | 2021-11-17 | 2023-05-25 | 日本電気株式会社 | 行動分類装置、行動分類方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012066026A (ja) * | 2010-09-27 | 2012-04-05 | Sony Corp | 情報処理装置及び方法、並びにプログラム |
JP2014155693A (ja) * | 2012-12-28 | 2014-08-28 | Toshiba Corp | 動作情報処理装置及びプログラム |
WO2018087853A1 (ja) * | 2016-11-09 | 2018-05-17 | 株式会社システムフレンド | 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム |
-
2018
- 2018-06-19 JP JP2018115828A patent/JP6906273B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012066026A (ja) * | 2010-09-27 | 2012-04-05 | Sony Corp | 情報処理装置及び方法、並びにプログラム |
JP2014155693A (ja) * | 2012-12-28 | 2014-08-28 | Toshiba Corp | 動作情報処理装置及びプログラム |
WO2018087853A1 (ja) * | 2016-11-09 | 2018-05-17 | 株式会社システムフレンド | 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021130978A1 (ja) * | 2019-12-26 | 2021-07-01 | 三菱電機株式会社 | 動作分析システムおよび動作分析プログラム |
CN112183317A (zh) * | 2020-09-27 | 2021-01-05 | 武汉大学 | 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法 |
WO2023079783A1 (ja) * | 2021-11-05 | 2023-05-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 行動認識方法、行動認識装置、及び行動認識プログラム |
WO2023089691A1 (ja) * | 2021-11-17 | 2023-05-25 | 日本電気株式会社 | 行動分類装置、行動分類方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6906273B2 (ja) | 2021-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6906273B2 (ja) | 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 | |
Raheja et al. | Robust gesture recognition using Kinect: A comparison between DTW and HMM | |
US20190392587A1 (en) | System for predicting articulated object feature location | |
Guyon et al. | Chalearn gesture challenge: Design and first results | |
Tivatansakul et al. | Emotional healthcare system: Emotion detection by facial expressions using Japanese database | |
García-Bautista et al. | Mexican sign language recognition using kinect and data time warping algorithm | |
CN110688929B (zh) | 一种人体骨架关节点定位方法及装置 | |
Zhao | A concise tutorial on human motion tracking and recognition with Microsoft Kinect | |
Turabzadeh et al. | Real-time emotional state detection from facial expression on embedded devices | |
Suk et al. | Real-time facial expression recognition on smartphones | |
Pham et al. | Human action recognition using dynamic time warping and voting algorithm | |
Narasimhaswamy et al. | Whose hands are these? hand detection and hand-body association in the wild | |
Bhuyan et al. | Trajectory guided recognition of hand gestures having only global motions | |
Amaliya et al. | Study on hand keypoint framework for sign language recognition | |
Jiang et al. | independent hand gesture recognition with Kinect | |
Tiwari et al. | Sign language recognition through kinect based depth images and neural network | |
Alugupally et al. | Analysis of landmarks in recognition of face expressions | |
Kushwaha et al. | Multiview human activity recognition system based on spatiotemporal template for video surveillance system | |
JP2021026744A (ja) | 情報処理装置、画像認識方法及び学習モデル生成方法 | |
CN112005197A (zh) | 信息处理装置、信息处理方法和程序 | |
JP2017097549A (ja) | 画像処理装置、方法、及びプログラム | |
Desai | Segmentation and recognition of fingers using Microsoft Kinect | |
Shah et al. | Eyeris: a virtual eye to aid the visually impaired | |
Saykol et al. | Posture labeling based gesture classification for Turkish sign language using depth values | |
KR20180082825A (ko) | 모션 인식에 따른 그래픽 효과 발생 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200616 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6906273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |