JP2011186576A - 動作認識装置 - Google Patents
動作認識装置 Download PDFInfo
- Publication number
- JP2011186576A JP2011186576A JP2010048664A JP2010048664A JP2011186576A JP 2011186576 A JP2011186576 A JP 2011186576A JP 2010048664 A JP2010048664 A JP 2010048664A JP 2010048664 A JP2010048664 A JP 2010048664A JP 2011186576 A JP2011186576 A JP 2011186576A
- Authority
- JP
- Japan
- Prior art keywords
- region
- motion
- human body
- unit
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】人体の各部位についての幾何学的構造による拘束条件と人体の複数の部位の共起動作に関する共起状態遷移パターンおよび共起タイミング構造パターンを含む共起動作モデルとを記憶する記憶部と、連続して入力される複数の画像データに基づいて、拘束条件にしたがって特定される、人体の各部位に対応する部位領域毎に、部位領域の移動方向を示す領域代表動きベクトルを算出する領域代表動きベクトル算出部と、複数の領域代表動きベクトルによる動作軌跡から、記憶部に格納された共起動作モデルに基づいて共起動作を認識する動作認識部とを有する。
【選択図】図1
Description
人体の各部位についての幾何学的構造による拘束条件と人体の複数の部位の共起動作に関する共起状態遷移パターンおよび共起タイミング構造パターンを含む共起動作モデルとを記憶する記憶部と、
連続して入力される複数の画像データに基づいて、前記拘束条件にしたがって特定される、人体の各部位に対応する部位領域毎に、該部位領域の移動方向を示す領域代表動きベクトルを算出する領域代表動きベクトル算出部と、
複数の前記領域代表動きベクトルによる動作軌跡から、前記記憶部に格納された共起動作モデルに基づいて共起動作を認識する動作認識部と、
を有する構成である。
本実施形態の動作認識装置の構成を説明する。図1は本実施形態の動作認識装置の一構成例を示すブロック図である。
・Aの動作軌跡のダイナミクス関数={ FA(θ,dθ/dt,t+τ)}= VectorFA(θ,dθ/dt,τ)・・・式(1)
・Bの動作軌跡のダイナミクス関数={ FB(θ,dθ/dt,t+τ)}= VectorFB(θ,dθ/dt,τ)・・・式(2)
とする。
・位相差がないときの共起動作軌跡類似度S= VectorFA(θ,dθ/dt,0)・ VectorFB(θ,dθ/dt,0)/(|VectorFA(θ,dθ/dt,0)|×|VectorFB(θ,dθ/dt,0)|)
・・・・・式(3)
・位相差があるときの共起動作軌跡類似度S= MAX τ {VectorFA(θ,dθ/dt,0)・ VectorFB(θ,dθ/dt,τ)/(|VectorFA(θ,dθ/dt,0 )|×|VectorFB(θ,dθ/dt,τ )|)}・・・・・式(4)
となる。すなわち、τをずらしながら最大応答を示す相関値を出す。なお、式(3)および式(4)の分子における「・」記号は、ベクトルの内積を意味する。
=G(t)・・・(t>τ)
図12(a)に示したように、一般的には、位相差が大きくなれば、すなわち時間がずれて何も共起しなければ共起性の確率は下がっていく。また、図12(b)および図12(c)に示したように、ポーズがない場合とある場合とで共起性に関する曲線の低減の仕方が異なってくる。上記共起動作軌跡類似度の式にG(t)をたたみ込み積分することにより、共起性低減曲線を反映することができる。どちらにしろ、学習処理により、τやG(t)を求める必要がある。
共起動作注視度(共起動作継続時間)V=MAX{ HistAB(θ,dθ/dt)}・・・式(5)
共起動作方向Θ=MAX{ θ| HistAB(θ,dθ/dt)}・・・式(6)
を算出する。
さらに、
共起動作強度Power=MAX{ Aの最大dθ/dt値,Bの最大dθ/dt値 }・・式(7)
を算出する。
Sは動作軌跡のパターンの類似性に関するものであり、Sだけでも類似性を判定することが可能であるが、短い周期の何気ない仕草を検出してしまう可能性がある。そのため、Sの他に共起動作継続時間と共起動作強度を評価に用いることにより、よりロバストな、共起動作パターンの認識をすることができる。
PointingLikelihood(T) ≧Threshold(PointingLikelihood)
ならば、その動作が指示動作である可能性が高いと判定し、動作認識出力部12は共起動作方向を出力する。
本実施形態の動作認識装置の構成を説明する。図16は本実施形態の動作認識装置の一構成例を示すブロック図である。第1の実施形態と同様な構成については同一の符号を付し、その詳細な説明を省略する。
・例示動作:両手を同時に反対方向に引き延ばす→大きさを表す(会話の中で事象を強調するために補助的に用いる)・・・万国共通
・感情表示動作:両手を閉じながら頭部につける(詳細には目に手を同時につける)→悲しさを表す(悲しいときの感情表出)・・・眠いときにも表出される
のように、ライブラリ化を行う。
4 特徴抽出部
6 安定特徴点追跡部
8 領域代表ベクトル算出部
10 動作認識部
11、15 情報処理部
12 動作認識出力部
13 記憶部
14 人体領域構造モデル
16 共起動作モデル
18 輝度ベース領域分割部
Claims (4)
- 人体の各部位についての幾何学的構造による拘束条件と人体の複数の部位の共起動作に関する共起状態遷移パターンおよび共起タイミング構造パターンを含む共起動作モデルとを記憶する記憶部と、
連続して入力される複数の画像データに基づいて、前記拘束条件にしたがって特定される、人体の各部位に対応する部位領域毎に、該部位領域の移動方向を示す領域代表動きベクトルを算出する領域代表動きベクトル算出部と、
複数の前記領域代表動きベクトルによる動作軌跡から、前記記憶部に格納された共起動作モデルに基づいて共起動作を認識する動作認識部と、
を有する動作認識装置。 - 請求項1記載の動作認識装置において、
前記記憶部は、前記人体の複数の部位の動きについて時間経過に伴う類似度、前記人体の複数の部位の動作継続時間に対応する時間である共起動作継続時間、および前記人体の複数の部位の動作速度に対応する値である共起動作強度に基づく共起動作尤度の分布に対して、共起動作か否かの判定基準となる境界の情報を記憶し、
前記動作認識部は、前記複数の領域代表動きベクトルによる動作軌跡から前記共起動作尤度を算出し、算出した共起動作尤度が前記境界によって分類される領域のうち、どの領域にあるかにより、共起動作を認識する、動作認識装置。 - 請求項1または2記載の動作認識装置において、
前記連続して入力される複数の画像データのそれぞれの画像において安定的な特徴点を抽出する特徴抽出部と、
前記連続して入力される画像データの画像変化に対して、前記特徴点を前記拘束条件にしたがって追跡することで前記部位領域を特定し、該部位領域毎に前記特徴点の移動方向を示す動きベクトルを求める特徴点追跡部と、をさらに有し、
前記領域代表動きベクトル算出部は、前記部位領域毎に、該部位領域に含まれる特徴点の前記動きベクトルから前記領域代表動きベクトルを算出する、動作認識装置。 - 前記請求項3記載の動作認識装置において、
前記連続して入力される画像データのそれぞれの画像に対して、輝度に基づく領域分割を行うことで前記部位領域を特定し、前記部位領域の重心位置の移動方向を示すベクトルである重心位置ベクトルを算出する輝度ベース領域分割部をさらに有し、
前記領域代表動きベクトル算出部は、前記部位領域毎の前記重心位置ベクトルと前記部位領域毎の前記動きベクトルとから前記領域代表動きベクトルを算出する、動作認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010048664A JP5598751B2 (ja) | 2010-03-05 | 2010-03-05 | 動作認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010048664A JP5598751B2 (ja) | 2010-03-05 | 2010-03-05 | 動作認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011186576A true JP2011186576A (ja) | 2011-09-22 |
JP5598751B2 JP5598751B2 (ja) | 2014-10-01 |
Family
ID=44792789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010048664A Active JP5598751B2 (ja) | 2010-03-05 | 2010-03-05 | 動作認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5598751B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013092876A (ja) * | 2011-10-25 | 2013-05-16 | Nippon Telegr & Teleph Corp <Ntt> | 姿勢推定装置、姿勢推定方法及び姿勢推定プログラム |
JP2013200628A (ja) * | 2012-03-23 | 2013-10-03 | Mitsubishi Electric Corp | 映像信号記録再生装置及び監視方法 |
JP2014157558A (ja) * | 2013-02-18 | 2014-08-28 | Casio Comput Co Ltd | 被写体追跡装置、被写体追跡方法及びプログラム |
JP2016119059A (ja) * | 2014-12-22 | 2016-06-30 | キヤノンイメージングシステムズ株式会社 | 画像処理装置および画像処理方法 |
WO2016104156A1 (ja) * | 2014-12-22 | 2016-06-30 | キヤノンイメージングシステムズ株式会社 | 画像処理方法 |
EP3236366A1 (en) | 2016-04-19 | 2017-10-25 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2018077807A (ja) * | 2016-11-11 | 2018-05-17 | Kddi株式会社 | 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法 |
JP6440887B1 (ja) * | 2018-05-28 | 2018-12-19 | 株式会社ゴールドウイン | 身体形状の変化に対応した衣服の設計を支援する装置、方法及びプログラム |
CN111160078A (zh) * | 2018-12-06 | 2020-05-15 | 北方工业大学 | 一种基于视频图像的人体交互行为识别方法、系统及装置 |
JP2021507434A (ja) * | 2017-12-13 | 2021-02-22 | ヒューマニシング オートノミー リミテッド | 歩行者の意図を予測するためのシステムおよび方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000172163A (ja) * | 1998-09-28 | 2000-06-23 | Matsushita Electric Ind Co Ltd | 手動作分節方法および装置 |
JP2007316882A (ja) * | 2006-05-25 | 2007-12-06 | Mitsubishi Electric Corp | 遠隔操作装置及び方法 |
-
2010
- 2010-03-05 JP JP2010048664A patent/JP5598751B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000172163A (ja) * | 1998-09-28 | 2000-06-23 | Matsushita Electric Ind Co Ltd | 手動作分節方法および装置 |
JP2007316882A (ja) * | 2006-05-25 | 2007-12-06 | Mitsubishi Electric Corp | 遠隔操作装置及び方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013092876A (ja) * | 2011-10-25 | 2013-05-16 | Nippon Telegr & Teleph Corp <Ntt> | 姿勢推定装置、姿勢推定方法及び姿勢推定プログラム |
JP2013200628A (ja) * | 2012-03-23 | 2013-10-03 | Mitsubishi Electric Corp | 映像信号記録再生装置及び監視方法 |
JP2014157558A (ja) * | 2013-02-18 | 2014-08-28 | Casio Comput Co Ltd | 被写体追跡装置、被写体追跡方法及びプログラム |
JP2016119059A (ja) * | 2014-12-22 | 2016-06-30 | キヤノンイメージングシステムズ株式会社 | 画像処理装置および画像処理方法 |
WO2016104156A1 (ja) * | 2014-12-22 | 2016-06-30 | キヤノンイメージングシステムズ株式会社 | 画像処理方法 |
US10007846B2 (en) | 2014-12-22 | 2018-06-26 | Canon Imaging Systems Inc. | Image processing method |
US10664523B2 (en) | 2016-04-19 | 2020-05-26 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
EP3236366A1 (en) | 2016-04-19 | 2017-10-25 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2018077807A (ja) * | 2016-11-11 | 2018-05-17 | Kddi株式会社 | 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法 |
JP2021507434A (ja) * | 2017-12-13 | 2021-02-22 | ヒューマニシング オートノミー リミテッド | 歩行者の意図を予測するためのシステムおよび方法 |
JP2019207459A (ja) * | 2018-05-28 | 2019-12-05 | 株式会社ゴールドウイン | 身体形状の変化に対応した衣服の設計を支援する装置、方法及びプログラム |
JP6440887B1 (ja) * | 2018-05-28 | 2018-12-19 | 株式会社ゴールドウイン | 身体形状の変化に対応した衣服の設計を支援する装置、方法及びプログラム |
CN111160078A (zh) * | 2018-12-06 | 2020-05-15 | 北方工业大学 | 一种基于视频图像的人体交互行为识别方法、系统及装置 |
CN111160078B (zh) * | 2018-12-06 | 2023-06-23 | 北方工业大学 | 一种基于视频图像的人体交互行为识别方法、系统及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5598751B2 (ja) | 2014-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5598751B2 (ja) | 動作認識装置 | |
Kamal et al. | A hybrid feature extraction approach for human detection, tracking and activity recognition using depth sensors | |
Choi et al. | A general framework for tracking multiple people from a moving camera | |
Wang et al. | Video analysis of human dynamics—a survey | |
Tran et al. | 3-D posture and gesture recognition for interactivity in smart spaces | |
Del Rincón et al. | Tracking human position and lower body parts using Kalman and particle filters constrained by human biomechanics | |
Singh et al. | Action recognition in cluttered dynamic scenes using pose-specific part models | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
TW201832182A (zh) | 動作學習裝置、技能判別裝置以及技能判別系統 | |
Ogata et al. | High-speed human motion recognition based on a motion history image and an eigenspace | |
Li et al. | Robust multiperson detection and tracking for mobile service and social robots | |
Krzeszowski et al. | Gait recognition based on marker-less 3D motion capture | |
Krzeszowski et al. | View independent human gait recognition using markerless 3D human motion capture | |
Celestino et al. | 2D Image head pose estimation via latent space regression under occlusion settings | |
Weinrich et al. | Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots | |
JPH09179988A (ja) | 手振り認識装置 | |
Jain et al. | Gestarlite: An on-device pointing finger based gestural interface for smartphones and video see-through head-mounts | |
Quach et al. | Depth-based 3D hand pose tracking | |
Masoud | Tracking and analysis of articulated motion with an application to human motion | |
Raskin et al. | 3D Human Body-Part Tracking and Action Classification Using A Hierarchical Body Model. | |
Mesbahi et al. | Hand gesture recognition based on various deep learning YOLO models | |
Kim et al. | Integrated in-vehicle monitoring system using 3D human pose estimation and seat belt segmentation | |
Noriega et al. | Multicues 3D Monocular Upper Body Tracking Using Constrained Belief Propagation. | |
Lablack et al. | Analysis of human behaviour in front of a target scene | |
Yu et al. | Connectivity Based Human Body Modeling from Monocular Camera. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140206 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5598751 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |