JP2014048882A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP2014048882A JP2014048882A JP2012191128A JP2012191128A JP2014048882A JP 2014048882 A JP2014048882 A JP 2014048882A JP 2012191128 A JP2012191128 A JP 2012191128A JP 2012191128 A JP2012191128 A JP 2012191128A JP 2014048882 A JP2014048882 A JP 2014048882A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image data
- motion
- feature point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title description 4
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000002123 temporal effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 5
- 210000003128 head Anatomy 0.000 description 41
- 230000002093 peripheral effect Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 230000004886 head movement Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
ウェアラブルディスプレイに装着されたカメラの画像のみで、動いている物体に対するユーザの動作を認識することが可能な画像認識装置を提供する。
【解決手段】
本発明にかかる画像認識装置は、ユーザの視野方向の画像データを取得し、画像データ中の第一の領域から特徴点を抽出し、抽出した特徴点と記憶部に記憶されている物体の特徴点とを対応付けることによって第一の物体を認識し、第一の物体に対応する特徴点のうち第一の物体に対応する特徴点が画像中心方向に移動しているときの位置変動量を複数の画像データから算出し、算出した位置変動量から第一の物体の移動速度を算出し、第一の物体が画像中心部に達すると、第一の物体に対応する特徴点の位置変動量を取得時間が異なる複数の画像データから算出し、第一の物体の移動速度と位置変動量とに基づいてユーザの動作に要する時間を推定し、推定された時間に基づいてユーザの動作を判定する。
【選択図】図1
Description
図3は、実施例1にかかる物体認識部4の物体認識処理のフローチャートである。まず、物体認識部4は、取得部3から画像データ(フレーム)を取得して該画像データ(フレーム)から特徴点を抽出する(ステップS101)。なお、本発明において画像データ(フレーム)から抽出される特徴点は通常複数であることに留意されたい。
図5は、移動推定部5による物体の移動速度及び方向の推定処理のフローチャートである。まず、移動推定部5は、物体認識部4が認識した物体の特徴点のうち、推定処理に用いるものを複数選出する(ステップS201)。なお、推定処理に用いる特徴点の数は複数(例えば、4点)であればよく、特徴点の選択基準及び数はシステム管理者等が推定処理の精度や処理の重さ等を勘案して適宜設定することができる。
図6は、注視判定部6による注視対象の判定処理のフローチャートである。まず、注視判定部6は、移動推定部5が算出した、物体が画像データ内の周辺領域内及び中間領域内を移動しているときの該物体の動きベクトルの方向が画像中心方向を向いているか判定する(ステップS301)。具体例としては、注視判定部6は、フレームtにおいて、フレームtにおける物体の位置がフレームt−1における該物体の位置よりも画像の中心に近い場合、該動きベクトルの方向が画像中心方向に向かっていると判定する。ここで、本実施例では画像データの中間領域を、画像の両端から5分の1〜5分の2の領域とした場合について説明する。
図7は、動作量算出部7による物体の動作量算出処理のフローチャートである。まず、動作量算出部7は、注視判定部6がユーザの注視対象として判定した物体(以下、注視対象物体と呼称する)の各特徴点のうち、動作量算出に用いるものを複数選出する(ステップS401)。なお、動作量算出処理に用いる特徴点は複数であればよく、特徴点の選択基準及び数はシステム管理者等が適宜設定することができる。
図8は、動作判定部8によるユーザの動作判定処理のフローチャートである。まず、動作判定部8は、動作量算出部7が算出した注視対象物体の動きベクトル(x´´、y´´)を、メモリ14に格納する(ステップS501)。次に、動作判定部8は、移動推定部5が算出した注視対象物体の平均速度Pと、利用者と注視対象物体との位置関係が不変な状態における所定のフレーム数(例えば、30フレーム)Fsを用いて、判定に必要なフレーム数Fを求める(ステップS502)。
例えば、Fsが30フレーム、k(定数)を1.0、平均速度Pを1.0(画素/フレーム)とすると、必要なフレーム数Fは25フレームとなる。
図10は、動作判定部8による第二のユーザの動作判定処理のフローチャートである。動作判定部8は、物体の移動速度に応じた所定のフレーム数を算出することなく、ユーザ動作の往路の開始および終了を検出し、その間の動きベクトルの累積値または平均を用いてユーザの動作を判定することもできる。なお、以降の説明では動きベクトルの累積値を用いた場合について説明する。
2 記憶部
3 取得部
4 物体認識部
5 移動推定部
6 注視判定部
7 動作量算出部
8 動作判定部
9 表示部
10 CPU
11 不揮発メモリ
12 入力インタフェース
13 出力インタフェース
14 メモリ
15 バス
100 撮像装置
200 表示装置
300 HMD
Claims (6)
- ユーザの視野方向の画像データを取得する取得部と、
前記画像データ中の第一の領域から特徴点を抽出し、抽出した特徴点と前記記憶部に記憶されている物体の特徴点を対応付けることによって、前記画像データに含まれる第一の物体を認識する物体認識部と、
前記第一の物体に対応する特徴点のうち、前記第一の物体に対応する特徴点が画像中心方向に移動しているときの位置変動量を、取得時間が異なる複数の前記画像データから算出し、該位置変動量から、前記第一の物体の移動速度を算出する移動推定部と、
取得時間が異なる複数の前記画像データ間における前記第一の物体の位置変動量から求められた該第一の物体の挙動と、前記第一の領域の内側に位置し、前記画像データの中心点を含む第二の領域に前記物体が所定の時間継続して存在するか否か、とに応じて、前記第一の物体がユーザの注視対象物体か否か判定する注視判定部と、
前記第一の物体がユーザの注視対象物体であると判定されたとき、前記第一の物体に対応する特徴点の位置変動量を、取得時間が異なる複数の前記画像データから算出する動作量算出部と、
前記第一の物体の移動速度と前記位置変動量とに基づいて、前記ユーザの動作に要する時間を推定し、推定された時間に基づいて前記ユーザの動作を判定する動作判定部と、
を含むことを特徴とする画像処理装置。 - 前記移動推定部は、前記第一の物体に対応する特徴点のうち、前記第一の物体に対応する特徴点が前記画像データ中の中心点を含む第二の領域の外側を画像中心方向に移動しているときの該特徴点の位置変動量と移動方向とに基づいて前記第一の物体の移動速度を推定することを特徴とする、請求項1に記載の画像処理装置。
- 前記注視対象物体の移動速度に対応付けられたユーザ動作対応テーブルと記憶した記憶部を備え、
前記動作判定部は、前記第一の物体の移動速度と移動方向とに基づいて前記ユーザ動作対応テーブルを選択し、選択された前記ユーザ動作対応テーブルを参照して前記第一の物体の移動速度と移動方向と前記動きベクトルの時間平均とに基づいて前記ユーザの動作を判定することを特徴とする、請求項1または2のいずれか1項に記載の画像処理装置。 - 前記動作量算出部は、取得時間が異なるフレーム間の前記動きベクトルを所定量蓄積することで動きベクトルの時間変化パターンを生成し、
前記記憶部には、前記ユーザの動作と動きベクトルとを対応付けたモデル時間変化パターンが、物体の移動方向及び物体の移動速度ごとに予め格納されており、
前記動作判定部は、前記第一の物体の移動速度と移動方向とに基づいて前記モデル時間変化パターンを選択し、前記動きベクトルの時間変化パターンとの類似度を比較することにより、前記ユーザの動作を判定する
ことを特徴とする、請求項1乃至3のいずれか1項に記載の画像処理装置。 - ユーザの視野方向の画像データを取得し、
前記画像データ中の第一の領域から特徴点を抽出し、抽出した特徴点と前記記憶部に記憶されている物体の特徴点を対応付けることによって、前記画像データに含まれる第一の物体を認識し、
前記第一の物体に対応する特徴点のうち、前記第一の物体に対応する特徴点が画像中心方向に移動しているときの位置変動量を、取得時間が異なる複数の前記画像データから算出し、該位置変動量から、前記第一の物体の移動速度を算出し、
取得時間が異なる複数の前記画像データ間における前記第一の物体の位置変動量から求められた該第一の物体の挙動と、前記第一の領域の内側に位置し、前記画像データの中心点を含む第二の領域に前記物体が所定の時間継続して存在するか否かとに応じて、前記第一の物体がユーザの注視対象物体か否か判定し、
前記第一の物体がユーザの注視対象物体であると判定されたとき、前記第一の物体に対応する特徴点の位置変動量を、取得時間が異なる複数の前記画像データから算出し、
前記第一の物体の移動速度と前記位置変動量とに基づいて、前記ユーザの動作に要する時間を推定し、推定された時間に基づいて前記ユーザの動作を判定する
ことを特徴とする画像処理方法。 - ユーザの視野方向の画像データを取得し、
前記画像データ中の第一の領域から特徴点を抽出し、抽出した特徴点と前記記憶部に記憶されている物体の特徴点を対応付けることによって、前記画像データに含まれる第一の物体を認識し、
前記第一の物体に対応する特徴点のうち、前記第一の物体に対応する特徴点が画像中心方向に移動しているときの特徴点の位置変動量を、取得時間が異なる複数の前記画像データから算出し、該位置変動量から、前記第一の物体の移動速度を算出し、
取得時間が異なる複数の前記画像データ間における前記第一の物体の位置変動量から求められた該第一の物体の挙動と、前記第一の領域の内側に位置し、前記画像データの中心点を含む所定の領域に前記物体が所定の時間継続して存在するか否かとに応じて、前記第一の物体がユーザの注視対象物体か否か判定し、
前記第一の物体がユーザの注視対象物体であると判定されたとき、前記第一の物体に対応する特徴点の位置変動量を、取得時間が異なる複数の前記画像データから算出し、
前記第一の物体の移動速度と前記位置変動量とに基づいて、前記ユーザの動作に要する時間を推定し、推定された時間に基づいて前記ユーザの動作を判定する
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012191128A JP6015250B2 (ja) | 2012-08-31 | 2012-08-31 | 画像処理装置、画像処理方法及び画像処理プログラム |
US13/946,546 US9542003B2 (en) | 2012-08-31 | 2013-07-19 | Image processing device, image processing method, and a computer-readable non-transitory medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012191128A JP6015250B2 (ja) | 2012-08-31 | 2012-08-31 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014048882A true JP2014048882A (ja) | 2014-03-17 |
JP6015250B2 JP6015250B2 (ja) | 2016-10-26 |
Family
ID=50187664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012191128A Expired - Fee Related JP6015250B2 (ja) | 2012-08-31 | 2012-08-31 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9542003B2 (ja) |
JP (1) | JP6015250B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108573241A (zh) * | 2018-04-25 | 2018-09-25 | 江西理工大学 | 一种基于融合特征的视频行为识别方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103581235B (zh) * | 2012-07-27 | 2016-02-24 | 腾讯科技(深圳)有限公司 | 一种闪屏推送方法及服务器 |
TWI479430B (zh) * | 2012-10-08 | 2015-04-01 | Pixart Imaging Inc | 以自然影像進行的手勢辨識方法 |
JP6062251B2 (ja) * | 2013-01-11 | 2017-01-18 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、携帯端末、およびサーバ |
IL308285A (en) | 2013-03-11 | 2024-01-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
NZ712192A (en) | 2013-03-15 | 2018-11-30 | Magic Leap Inc | Display system and method |
US10620900B2 (en) * | 2014-09-30 | 2020-04-14 | Pcms Holdings, Inc. | Reputation sharing system using augmented reality systems |
CN106033601B (zh) * | 2015-03-09 | 2019-01-18 | 株式会社理光 | 检测异常情形的方法和装置 |
US9874932B2 (en) * | 2015-04-09 | 2018-01-23 | Microsoft Technology Licensing, Llc | Avoidance of color breakup in late-stage re-projection |
US10963063B2 (en) * | 2015-12-18 | 2021-03-30 | Sony Corporation | Information processing apparatus, information processing method, and program |
CN106354258B (zh) * | 2016-08-30 | 2019-04-05 | 上海乐相科技有限公司 | 一种虚拟现实设备的画面显示方法及装置 |
JP6948787B2 (ja) * | 2016-12-09 | 2021-10-13 | キヤノン株式会社 | 情報処理装置、方法およびプログラム |
US11107183B2 (en) * | 2017-06-09 | 2021-08-31 | Sony Interactive Entertainment Inc. | Adaptive mesh skinning in a foveated rendering system |
GB2565302B (en) * | 2017-08-08 | 2022-04-13 | Sony Interactive Entertainment Inc | Head-mountable apparatus and methods |
GB2574882B (en) * | 2018-06-22 | 2020-08-12 | Sony Interactive Entertainment Inc | Method and system for displaying a virtual object |
US11170565B2 (en) | 2018-08-31 | 2021-11-09 | Magic Leap, Inc. | Spatially-resolved dynamic dimming for augmented reality device |
CN113544570A (zh) | 2019-01-11 | 2021-10-22 | 奇跃公司 | 各种深度处的虚拟内容的时间复用显示 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002048513A (ja) * | 2000-05-26 | 2002-02-15 | Honda Motor Co Ltd | 位置検出装置、位置検出方法、及び位置検出プログラム |
JP2003198886A (ja) * | 2001-12-28 | 2003-07-11 | Sony Corp | 情報処理システム |
WO2010143377A1 (ja) * | 2009-06-08 | 2010-12-16 | パナソニック株式会社 | 注視対象判定装置及び注視対象判定方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2688526B2 (ja) | 1989-09-25 | 1997-12-10 | 日本電信電話株式会社 | 注視方向予測装置 |
JP3165053B2 (ja) | 1997-01-30 | 2001-05-14 | 日本電気アイシーマイコンシステム株式会社 | 積分回路 |
US6236736B1 (en) * | 1997-02-07 | 2001-05-22 | Ncr Corporation | Method and apparatus for detecting movement patterns at a self-service checkout terminal |
JP3735086B2 (ja) | 2002-06-20 | 2006-01-11 | ウエストユニティス株式会社 | 作業誘導システム |
JP4824793B2 (ja) | 2009-07-06 | 2011-11-30 | 東芝テック株式会社 | ウエアラブル端末装置及びプログラム |
JP5780142B2 (ja) | 2011-12-07 | 2015-09-16 | 富士通株式会社 | 画像処理装置、画像処理方法 |
-
2012
- 2012-08-31 JP JP2012191128A patent/JP6015250B2/ja not_active Expired - Fee Related
-
2013
- 2013-07-19 US US13/946,546 patent/US9542003B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002048513A (ja) * | 2000-05-26 | 2002-02-15 | Honda Motor Co Ltd | 位置検出装置、位置検出方法、及び位置検出プログラム |
JP2003198886A (ja) * | 2001-12-28 | 2003-07-11 | Sony Corp | 情報処理システム |
WO2010143377A1 (ja) * | 2009-06-08 | 2010-12-16 | パナソニック株式会社 | 注視対象判定装置及び注視対象判定方法 |
Non-Patent Citations (1)
Title |
---|
JPN6016021479; 小泉敬寛, 外2名: '"個人視点映像を用いた体験の記録と想起の支援"' 画像ラボ 第22巻, 第11号, 20111110, p.1-6, 日本工業出版株式会社 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108573241A (zh) * | 2018-04-25 | 2018-09-25 | 江西理工大学 | 一种基于融合特征的视频行为识别方法 |
Also Published As
Publication number | Publication date |
---|---|
US20140064557A1 (en) | 2014-03-06 |
JP6015250B2 (ja) | 2016-10-26 |
US9542003B2 (en) | 2017-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6015250B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN106415445B (zh) | 用于观看者关注区域估计的技术 | |
JP7191714B2 (ja) | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 | |
US10082879B2 (en) | Head mounted display device and control method | |
US10671156B2 (en) | Electronic apparatus operated by head movement and operation method thereof | |
US8942434B1 (en) | Conflict resolution for pupil detection | |
KR101606628B1 (ko) | 포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체 | |
JP5780142B2 (ja) | 画像処理装置、画像処理方法 | |
US20170255260A1 (en) | Information processing apparatus, information processing method, and program | |
JP6075110B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2018205819A (ja) | 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法 | |
US20150153834A1 (en) | Motion input apparatus and motion input method | |
JP2017102598A (ja) | 認識装置、認識方法および認識プログラム | |
US20160140762A1 (en) | Image processing device and image processing method | |
Neto et al. | Real-time head pose estimation for mobile devices | |
JP6011154B2 (ja) | 画像処理装置、画像処理方法 | |
US11340706B2 (en) | Gesture recognition based on depth information and computer vision | |
KR101844367B1 (ko) | 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치 | |
Hong et al. | Challenges of eye tracking systems for mobile XR glasses | |
JP2016162234A (ja) | 注目領域検出装置、注目領域検出方法及びプログラム | |
JP6287527B2 (ja) | 情報処理装置、方法及びプログラム | |
CN108509853A (zh) | 一种基于摄像头视觉信息的手势识别方法 | |
JP2017169685A (ja) | 視線推定装置及び視線推定方法 | |
TWI596542B (zh) | Image display method | |
JP2023130230A (ja) | Ar表示装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150512 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6015250 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |