JP2013045351A - 動作認識装置および動作認識方法 - Google Patents
動作認識装置および動作認識方法 Download PDFInfo
- Publication number
- JP2013045351A JP2013045351A JP2011183832A JP2011183832A JP2013045351A JP 2013045351 A JP2013045351 A JP 2013045351A JP 2011183832 A JP2011183832 A JP 2011183832A JP 2011183832 A JP2011183832 A JP 2011183832A JP 2013045351 A JP2013045351 A JP 2013045351A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- tool
- motion
- unit
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims description 62
- 230000033001 locomotion Effects 0.000 claims description 156
- 230000008569 process Effects 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】撮像した画像を入力する画像入力手段と、前記画像入力手段より入力された画像より、人体の手を認識するパーツ認識手段と、前記画像より、道具の存在領域と当該道具の種類とを認識する道具認識手段と、前記人体の手が、前記道具を把持しているかどうかを判定する把持状態判定手段と、前記把持状態判定手段の判定結果を用いて、前記パーツ認識手段に認識された人体の手の一方を主パーツとし、前記主パーツに前記道具の種類に応じた主動作認識手段を対応させるとともに、前記認識された人体の他方の手を副パーツとし、前記副パーツに前記道具の種類に応じた副動作認識手段を対応させる認識機能選択手段と、前記認識機能選択手段、道具認識手段、把持状態判定手段、および認識機能選択手段の結果を記憶する状態記憶手段とを設ける。
【選択図】図6
Description
本発明は前述の問題点に鑑み、対象人物がいずれの手で道具を把持していても、その把持している道具の種類に応じて正しく動作認識を行うことができるようにすることを目的とする。
(第1の実施形態:通常の使用。表示装置あり)
(動作認識システムの概要)
本実施形態に係る動作認識装置は、人体の手(使用者自身の手)、および道具を動画より検出し、道具を把持している方の手と、把持していない方の手のそれぞれに対応する動作認識機能を割り当てて動作認識を行い、その結果を情報機器に送信する。
本実施形態の動作認識システム400は図4に示すように構成されている。すなわち、画像入力部301と、パーツ認識部302と、道具認識部303と、把持状態判定部304と、認識機能選択部305と、状態記憶部306と、主動作認識部307と、副動作認識部308と、認識結果表示部409から構成されている。
まず、k番目の肌色領域内部から基準点Aを選択する(S701)。例えば、肌色領域の重心を基準点Aとすることができる。
次に、基準点Aの隣接点のひとつを比較対象点A’として選択する(S702)。続いて、S702において選択した点は他の点とのoptical flowベクトルの類似度を既に確認済みかどうか判定する(S703)。既に確認済みの点には対応する記憶領域に確認したことを示すフラグが付与されているものとする。確認済みであったらS704へ進み、確認済みでなかったらS705へ進む。
図8に示した画像800においては、右手で筆記具を把持している状態を示している。点線で示した矩形領域811は、パーツ認識部302によって検出された手の領域を示している。また、点線で示した矩形領域812は道具認識部303によって検出された道具の領域を示している。また、1点鎖線で示した矩形領域820は、矩形領域811および矩形領域812を包含した画像領域を示す。
評価値λ=領域910の面積/(矩形領域811∨矩形領域812)の面積・・・(1)
道具認識部303によって特定されている、筆記具120のある領域内において、筆記具120の先端を検知する。筆記具120の先端の検知をするためには、まず、筆記具120のある領域内において、Harris Corner Detector 等によりコーナー点を検出する。
まず、画像中の筆記具120の先端の位置を複数フレームに渡って追跡することによって軌跡を算出する。次に、得られた軌跡の形状を判定する。そして、得られた軌跡の形状と、軌跡の画像中の文字列に対する相対位置とから、動作の分類を行う。また、副動作認識の方法としては、例えば、非特許文献4に記載の方法のように、特徴点群の数フレームの軌跡を特徴として用いて、予め学習した特定の動作を認識する方法がある。
以上が、本実施形態にかかる動作認識システムに関する構成部分である。
続いて、図10に示したフローチャートを用いて、本実施形態の動作認識システム400が行う処理について説明する。なお、図10のフローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のRAMやROMなどのメモリに格納され、不図示のCPUなどにより読み出され、実行される。
次に、S101において得られた画像から、パーツ認識部302によって手を検出する(S102)。続いて、道具認識部303によって、道具の種類と存在領域を検出する(S103)。
以上のステップにより、左右それぞれの手の主パーツと副パーツへの割り当て、および道具に応じた主動作認識部307と副動作認識部308の選択が完了した。
以上の処理を行うことによって、動作認識の対象となる人物が把持する道具の種類と、把持状態に応じて適切な動作認識が可能となる。
(動作認識システムの概要)
図11を用いて本実施形態の概要を説明する。本実施形態では、図12に示す構成の動作認識システム1200を用いる。携帯機器1110は情報機器160の記憶装置にあるデータを参照するための端末とする。動作認識システム1200は、携帯機器1110を使用している際の動作認識により情報機器160の機器制御を行う装置である。
図12に示す構成の動作認識システム1200について、第1の実施形態の動作認識システム400と異なる部分を以下で説明する。
主動作認識部307および副動作認識部308は、図5のテーブル500に示した主動作と副動作の対応テーブルに加えて、図13のテーブル1300に示す、主動作と副動作の対応テーブルも保持している。そして、道具認識部303によって認識された道具の種類に応じて、適切なテーブルを選択する。
以上が、本実施形態に係る動作認識システムの構成である。
本実施形態の処理手順の一例を図14のフローチャートに示す。図14のフローチャートにおいて、第1の実施形態で説明した図10のフローチャートの処理と共通する処理ステップに関する説明は省略し、本実施形態のみに関係する処理ステップに関して説明をする。
続いて、S207において、機器制御部1210は、S206において送信されてきた情報に基づいて所定の機器制御を行う。
以上の処理によって、動作認識の対象となる人物が携帯機器1110を把持し、使用途中で携帯機器1110を把持する手を変えた場合でも適切な動作認識が可能となる。
(動作認識システムの概要)
本実施形態に係る動作認識システム1200は、使用する道具を筆記具120から携帯機器に持ち替えた際に、携帯機器に対応する動作認識機能を割り当てて動作認識を行い、その結果を情報機器に送信する装置である。
本実施形態においては、第2の実施形態の動作認識システム1200と同じ構成の動作認識装置を用いる。
(動作認識システムの処理)
本実施形態の処理手順の一例を図16のフローチャートに示す。第1の実施形態および第2の実施形態と共通する処理ステップに関する説明は省略し、本実施形態のみに関係する処理ステップに関して説明する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (14)
- 撮像した画像を入力する画像入力手段と、
前記画像入力手段より入力された画像より、人体の手を認識するパーツ認識手段と、
前記画像より、道具の存在領域と当該道具の種類とを認識する道具認識手段と、
前記人体の手が、前記道具を把持しているかどうかを判定する把持状態判定手段と、
前記把持状態判定手段の判定結果を用いて、前記パーツ認識手段に認識された人体の手の一方を主パーツとし、前記主パーツに前記道具の種類に応じた主動作認識手段を対応させるとともに、前記認識された人体の他方の手を副パーツとし、前記副パーツに前記道具の種類に応じた副動作認識手段を対応させる認識機能選択手段と、
前記認識機能選択手段、道具認識手段、把持状態判定手段、および認識機能選択手段の結果を記憶する状態記憶手段とを有し、
前記主動作認識手段は、前記主パーツによる動作と前記道具の種類とを用いて動作を認識し、主動作に対応する制御命令を出力し、
前記副動作認識手段は、前記副パーツによる動作と前記道具の種類とを用いて動作を認識し、副動作に対応する制御命令を出力することを特徴とする動作認識装置。 - 前記人体の一方の手は前記動作認識装置の使用者自身の右手であり、前記他方の手は前記動作認識装置の使用者自身の左手であることを特徴とする請求項1に記載の動作認識装置。
- 前記認識機能選択手段は、前記把持状態判定手段によって道具が把持されていると判定された一方の手を主パーツとして選択し、他方の手を副パーツとして選択することを特徴とする記請求項1または2に記載の動作認識装置。
- 前記認識機能選択手段は、前記状態記憶手段に記憶されている情報にもとづいて、主パーツと副パーツとを選択することを特徴とする請求項1〜3の何れか1項に記載の動作認識装置。
- 前記把持状態判定手段は、前記パーツ認識手段によって認識された人体の手が存在する領域と、前記道具認識手段によって認識された道具が存在する領域との重なりが一定の割合を超えている場合に、前記認識された道具を前記人体の手が把持していると判定することを特徴とする請求項1〜4の何れか1項に記載の動作認識装置。
- 前記把持状態判定手段は、前記パーツ認識手段によって認識された人体の手が存在する領域、および前記道具認識手段によって認識された道具が存在する領域の双方を含む領域内の画像特徴量を用いて、前記認識された道具を前記人体の手が把持しているか否かを判定することを特徴とする請求項1〜5の何れか1項に記載の動作認識装置。
- 前記画像入力手段は、当該動作認識装置の使用者の身体の一部に装着されていることを特徴とする請求項1〜6の何れか1項に記載の動作認識装置。
- 前記画像入力手段は、当該動作認識装置の使用者の身体以外の場所に設置されていることを特徴とする請求項1〜6の何れか1項に記載の動作認識装置。
- 前記動作認識装置は、前記主動作認識手段と前記副動作認識手段の出力を伝達する認識結果伝達手段を備えることを特徴とする請求項1〜8の何れか1項に記載の動作認識装置。
- 前記認識結果伝達手段は、前記主動作認識手段と前記副動作認識手段の出力を表示する認識結果表示装置を有することを特徴とする請求項9に記載の動作認識装置。
- 前記認識結果伝達手段は、前記主動作認識手段と前記副動作認識手段の出力を情報機器に送信する認識結果通信手段と、
前記認識結果通信手段の出力に基づいて、情報機器を制御する機器制御手段とを有することを特徴とする請求項9に記載の動作認識装置。 - 撮像した画像を入力する画像入力工程と、
前記画像入力工程おいて入力された画像より、人体の手を認識するパーツ認識工程と、
前記画像より、道具の存在領域と当該道具の種類とを認識する道具認識工程と、
前記人体の手が、前記道具を把持しているかどうかを判定する把持判定工程と、
前記把持判定工程の判定結果を用いて、前記パーツ認識工程に認識された人体の手の一方を主パーツとし、前記主パーツに前記道具の種類に応じた主動作認識手段を対応させるとともに、前記認識された人体の他方の手を副パーツとし、前記副パーツに前記道具の種類に応じた副動作認識手段を対応させる認識機能選択工程と、
前記認識機能選択工程、道具認識工程、把持判定工程、および認識機能選択工程の結果を記憶する状態記憶工程とを有し、
前記主動作認識手段は、前記主パーツによる動作と前記道具の種類とを用いて動作を認識し、主動作に対応する制御命令を出力し、
前記副動作認識手段は、前記副パーツによる動作と前記道具の種類とを用いて動作を認識し、副動作に対応する制御命令を出力することを特徴とする動作認識方法。 - 撮像した画像を入力する画像入力工程と、
前記画像入力工程おいて入力された画像より、人体の手を認識するパーツ認識工程と、
前記画像より、道具の存在領域と当該道具の種類とを認識する道具認識工程と、
前記人体の手が、前記道具を把持しているかどうかを判定する把持判定工程と、
前記把持判定工程の判定結果を用いて、前記パーツ認識工程に認識された人体の手の一方を主パーツとし、前記主パーツに前記道具の種類に応じた主動作認識手段を対応させるとともに、前記認識された人体の他方の手を副パーツとし、前記副パーツに前記道具の種類に応じた副動作認識手段を対応させる認識機能選択工程と、
前記認識機能選択工程、道具認識工程、把持判定工程、および認識機能選択工程の結果を記憶する状態記憶工程とをコンピュータに実行させ、
前記主動作認識手段は、前記主パーツによる動作と前記道具の種類とを用いて動作を認識し、主動作に対応する制御命令を出力し、
前記副動作認識手段は、前記副パーツによる動作と前記道具の種類とを用いて動作を認識し、副動作に対応する制御命令を出力するようコンピュータを動作させることを特徴とするプログラム。 - 請求項13に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011183832A JP5904730B2 (ja) | 2011-08-25 | 2011-08-25 | 動作認識装置および動作認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011183832A JP5904730B2 (ja) | 2011-08-25 | 2011-08-25 | 動作認識装置および動作認識方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013045351A true JP2013045351A (ja) | 2013-03-04 |
JP2013045351A5 JP2013045351A5 (ja) | 2014-10-02 |
JP5904730B2 JP5904730B2 (ja) | 2016-04-20 |
Family
ID=48009192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011183832A Expired - Fee Related JP5904730B2 (ja) | 2011-08-25 | 2011-08-25 | 動作認識装置および動作認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5904730B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016148033A1 (ja) * | 2015-03-13 | 2016-09-22 | バルミューダ株式会社 | 照明装置 |
CN109508698A (zh) * | 2018-12-19 | 2019-03-22 | 中山大学 | 一种基于二叉树的人体行为识别方法 |
WO2022097310A1 (ja) * | 2020-11-06 | 2022-05-12 | オムロン株式会社 | 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体 |
US11443558B2 (en) | 2019-11-12 | 2022-09-13 | Omron Corporation | Hand-eye, body part motion recognition and chronologically aligned display of recognized body parts |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07175587A (ja) * | 1993-10-28 | 1995-07-14 | Hitachi Ltd | 情報処理装置 |
JP2004280376A (ja) * | 2003-03-14 | 2004-10-07 | Japan Science & Technology Agency | 被写体の行動認識方法及び装置 |
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
US20100201808A1 (en) * | 2009-02-09 | 2010-08-12 | Microsoft Corporation | Camera based motion sensing system |
-
2011
- 2011-08-25 JP JP2011183832A patent/JP5904730B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07175587A (ja) * | 1993-10-28 | 1995-07-14 | Hitachi Ltd | 情報処理装置 |
JP2004280376A (ja) * | 2003-03-14 | 2004-10-07 | Japan Science & Technology Agency | 被写体の行動認識方法及び装置 |
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
US20100201808A1 (en) * | 2009-02-09 | 2010-08-12 | Microsoft Corporation | Camera based motion sensing system |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016148033A1 (ja) * | 2015-03-13 | 2016-09-22 | バルミューダ株式会社 | 照明装置 |
CN109508698A (zh) * | 2018-12-19 | 2019-03-22 | 中山大学 | 一种基于二叉树的人体行为识别方法 |
CN109508698B (zh) * | 2018-12-19 | 2023-01-10 | 中山大学 | 一种基于二叉树的人体行为识别方法 |
US11443558B2 (en) | 2019-11-12 | 2022-09-13 | Omron Corporation | Hand-eye, body part motion recognition and chronologically aligned display of recognized body parts |
WO2022097310A1 (ja) * | 2020-11-06 | 2022-05-12 | オムロン株式会社 | 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP5904730B2 (ja) | 2016-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8525876B2 (en) | Real-time embedded vision-based human hand detection | |
JP6007497B2 (ja) | 画像投影装置ならびに画像投影制御装置およびプログラム | |
US20110115892A1 (en) | Real-time embedded visible spectrum light vision-based human finger detection and tracking method | |
KR101844390B1 (ko) | 사용자 인터페이스 제어를 위한 시스템 및 기법 | |
WO2017185575A1 (zh) | 一种触摸屏轨迹识别方法及装置 | |
WO2020078017A1 (zh) | 用于识别空中手写的方法、装置、设备以及计算机可读存储介质 | |
JP6039248B2 (ja) | 情報処理装置およびその制御方法 | |
KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
CN104350509A (zh) | 快速姿势检测器 | |
JP2011253292A (ja) | 情報処理装置および方法、並びにプログラム | |
CN109074224A (zh) | 用于在字符串中插入字符的方法以及相应的数字设备 | |
US20140325351A1 (en) | Electronic device and handwritten data processing method | |
JP5904730B2 (ja) | 動作認識装置および動作認識方法 | |
US11397320B2 (en) | Information processing apparatus, information processing system, and non-transitory computer readable medium | |
WO2017114002A1 (zh) | 一维手写文字输入设备和一维手写文字输入方法 | |
CN109074223A (zh) | 用于在字符串中进行字符插入的方法和系统 | |
JP2010134876A (ja) | 情報処理装置及び情報処理方法 | |
CN104714650B (zh) | 一种信息输入方法和装置 | |
JP6055065B1 (ja) | 文字認識プログラム、文字認識装置 | |
JP2016099643A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2017191426A (ja) | 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体 | |
KR101100240B1 (ko) | 멀티모달 상호작용을 이용한 로봇의 물체 학습 시스템 및 방법 | |
JP2014228945A (ja) | 領域指定装置 | |
JP5897726B2 (ja) | ユーザインタフェース装置、ユーザインタフェース方法、プログラム及びコンピュータ可読情報記憶媒体 | |
CN114360047A (zh) | 举手手势识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140819 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140819 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160315 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5904730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |