JP2011054118A5 - 情報処理装置、表示制御方法及び表示制御プログラム - Google Patents

情報処理装置、表示制御方法及び表示制御プログラム Download PDF

Info

Publication number
JP2011054118A5
JP2011054118A5 JP2009204958A JP2009204958A JP2011054118A5 JP 2011054118 A5 JP2011054118 A5 JP 2011054118A5 JP 2009204958 A JP2009204958 A JP 2009204958A JP 2009204958 A JP2009204958 A JP 2009204958A JP 2011054118 A5 JP2011054118 A5 JP 2011054118A5
Authority
JP
Japan
Prior art keywords
operator
coordinate system
operation means
display
recognition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009204958A
Other languages
English (en)
Other versions
JP5614014B2 (ja
JP2011054118A (ja
Filing date
Publication date
Priority claimed from JP2009204958A external-priority patent/JP5614014B2/ja
Priority to JP2009204958A priority Critical patent/JP5614014B2/ja
Application filed filed Critical
Priority to US12/806,966 priority patent/US9342142B2/en
Priority to CN2010102667064A priority patent/CN102012778A/zh
Publication of JP2011054118A publication Critical patent/JP2011054118A/ja
Publication of JP2011054118A5 publication Critical patent/JP2011054118A5/ja
Publication of JP5614014B2 publication Critical patent/JP5614014B2/ja
Application granted granted Critical
Priority to US15/095,308 priority patent/US9830004B2/en
Priority to US15/784,314 priority patent/US10606380B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、情報処理装置、表示制御方法及び表示制御プログラムに関し、例えば、複数の操作者が同時に操作し得るGUI(Graphical User Interface)を実装する表示制御装置に適用して好適なものである。
本発明は以上の点を考慮してなされたもので、同時に操作する操作者の数に依らず良好な操作性を得ることのできる情報処理装置、表示制御方法及び表示制御プログラムを提案しようとするものである。
かかる課題を解決するため本発明においては、認識部で認識される、操作者の位置と、当該操作者の操作手段の位置と、に基づいて当該操作者の操作手段に対応する表示情報の表示位置を算出する算出部と、算出部が算出した表示位置に、表示情報を表示させる制御部とを設けるようにした。
れにより、例えば複数の操作者が存在する場合に、各操作者の位置と各操作者の操作手段の位置とに基づいて操作者ごとに算出された、各々の操作手段に対応する表示位置に、各々の操作手段により操作される表示情報を表示することができる。
本発明によれば、例えば複数の操作者が存在する場合に、各操作者の位置と各操作者の操作手段の位置とに基づいて操作者ごとに算出された、各々の操作手段に対応する表示位置に、各々の操作手段により操作される表示情報を表示することができる。かくして、同時に操作する操作者の数に依らず良好な操作性を得ることのできる情報処理装置、表示制御方法及び表示制御プログラムを実現できる。
ゆえに、CPU111は、操作者Aの中心位置から見て遠い方の端と操作者Aの位置までの長さ|by|+1を、操作者Aの上下方向の操作範囲ly/2で割り、この結果を、上下方向のスケーリングの割合syとする。このときこのsyは、次式(8)で表される。
このようにしてポインタPoの位置を算出した後、CPU111は、次のステップSP8に移る。ステップSP8においてCPU111は、GUI画面130上の、ステップSPで算出した位置にポインタPoを表示させ、再びステップSP3に戻る。

Claims (11)

  1. 認識部で認識される、操作者の位置と、当該操作者の操作手段の位置と、に基づいて当該操作者の操作手段に対応する表示情報の表示位置を算出する算出部と、
    上記算出部が算出した上記表示位置に、上記表示情報を表示させる制御部と
    を具える情報処理装置。
  2. 上記算出部は、
    画面に設定される画面座標系での上記操作者の位置に基づいて操作者座標系の原点を定め、当該操作者座標系の原点からの上記操作手段の位置に所定の関数を乗ずることで、当該操作手段に対応する表示情報の上記画面座標系での表示位置を算出する
    請求項1に記載の情報処理装置。
  3. 上記認識部は、
    カメラ画像から上記操作者の位置と上記操作手段の位置とを認識し、
    上記算出部は、
    上記画面座標系と同一座標系として設定された上記カメラ画像の画像座標系での上記操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの上記操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での表示位置を算出する
    請求項に記載の情報処理装置。
  4. さらに上記操作手段の操作範囲を判別する判別部を具え、
    上記算出部は、
    上記判別部により判別された操作範囲と上記画面のサイズとに基づく関数を、上記操作者座標系の原点からの上記操作手段の位置に乗じる
    請求項に記載の情報処理装置。
  5. 上記操作手段の位置は、上記操作者の手の位置であり
    上記認識部は、
    上記カメラ画像から上記操作者の体の大きさを認識し、
    上記判別部は、
    上記認識部により認識された上記操作者の体の大きさをもとに、上記操作者の位置から手が届く範囲を推定して、当該範囲を上記操作手段の操作範囲とする
    請求項に記載の情報処理装置。
  6. 上記認識部は、
    上記カメラ画像から上記操作者の顔を認識し、
    上記判別部は、
    上記認識部により認識された上記操作者の顔から当該操作者の年齢を推定して、当該年齢をもとに、当該顔の大きさから体の大きさを推定する
    請求項に記載の情報処理装置。
  7. 上記認識部は、
    上記カメラ画像から上記操作手段によるジェスチャ操作を認識し、
    上記判別部は、
    上記認識部により上記操作範囲を指定する為のジェスチャ操作が認識されると、当該ジェスチャ操作により示された範囲を上記操作範囲とする
    請求項に記載の情報処理装置。
  8. 上記画面座標系は、上下左右方向にくわえて奥行き方向を有する3次元座標系であり、
    上記認識部は、
    カメラ画像から上記操作者の位置及び体の大きさと、上記操作手段の位置とにくわえて、当該操作者の位置から当該操作手段までの距離を認識し、
    上記算出部は、
    上記画像座標系での上記操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの上記操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での上下左右方向の表示位置を算出すると共に、上記操作者の位置から上記操作手段までの距離に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での奥行き方向の表示位置を算出し、
    上記判別部は、
    上記認識部により認識された上記操作者の体の大きさをもとに上記操作者の位置から手が届く上下左右方向の範囲と奥行き方向の範囲を推定して、当該範囲を上記操作手段の操作範囲とする
    請求項に記載の情報処理装置。
  9. 上記認識部は、
    カメラ画像から上記操作者の腕の長さを認識し、
    上記判別部は、
    上記操作範囲の奥行き方向の範囲を、腕の長さ/√2の範囲とする
    請求項に記載の情報処理装置。
  10. 情報処理装置が、
    認識部で認識される、操作者の位置と、当該操作者の操作手段の位置と、に基づいて当該操作者の操作手段に対応する表示情報の表示位置を算出し、
    算出した上記表示位置に、上記表示情報を表示させる
    表示制御方法。
  11. コンピュータに、
    認識部で認識される、操作者の位置と、当該操作者の操作手段の位置と、に基づいて当該操作者の操作手段に対応する表示情報の表示位置を算出する算出ステップと、
    上記算出ステップで算出した上記表示位置に、上記表示情報を表示させる表示ステップと
    を実行させるための表示制御プログラム。
JP2009204958A 2009-09-04 2009-09-04 情報処理装置、表示制御方法及び表示制御プログラム Expired - Fee Related JP5614014B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009204958A JP5614014B2 (ja) 2009-09-04 2009-09-04 情報処理装置、表示制御方法及び表示制御プログラム
US12/806,966 US9342142B2 (en) 2009-09-04 2010-08-25 Display control apparatus, display control method, and display control program
CN2010102667064A CN102012778A (zh) 2009-09-04 2010-08-27 显示控制设备、显示控制方法以及显示控制程序
US15/095,308 US9830004B2 (en) 2009-09-04 2016-04-11 Display control apparatus, display control method, and display control program
US15/784,314 US10606380B2 (en) 2009-09-04 2017-10-16 Display control apparatus, display control method, and display control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009204958A JP5614014B2 (ja) 2009-09-04 2009-09-04 情報処理装置、表示制御方法及び表示制御プログラム

Publications (3)

Publication Number Publication Date
JP2011054118A JP2011054118A (ja) 2011-03-17
JP2011054118A5 true JP2011054118A5 (ja) 2012-10-11
JP5614014B2 JP5614014B2 (ja) 2014-10-29

Family

ID=43647353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009204958A Expired - Fee Related JP5614014B2 (ja) 2009-09-04 2009-09-04 情報処理装置、表示制御方法及び表示制御プログラム

Country Status (3)

Country Link
US (3) US9342142B2 (ja)
JP (1) JP5614014B2 (ja)
CN (1) CN102012778A (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
US20140049465A1 (en) * 2011-03-28 2014-02-20 Jamie Douglas Tremaine Gesture operated control for medical information systems
US9189825B2 (en) * 2011-04-12 2015-11-17 Lg Electronics Inc. Electronic device and method for displaying stereoscopic image
JP5769277B2 (ja) * 2011-04-27 2015-08-26 Necソリューションイノベータ株式会社 入力装置、入力方法及びプログラム
WO2012147960A1 (ja) 2011-04-28 2012-11-01 Necシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
JP5298161B2 (ja) * 2011-06-13 2013-09-25 シャープ株式会社 操作装置及び画像形成装置
US11048333B2 (en) * 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
DE102011112618A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Interaktion mit einem dreidimensionalen virtuellen Szenario
CN102999152B (zh) * 2011-09-09 2016-06-29 康佳集团股份有限公司 一种手势动作识别方法和系统
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
TWI437467B (zh) 2011-10-11 2014-05-11 Ind Tech Res Inst 顯示控制裝置及顯示控制方法
JP2013097593A (ja) * 2011-11-01 2013-05-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
US9164579B2 (en) * 2011-11-15 2015-10-20 Lg Electronics Inc. Electronic device for granting authority based on context awareness information
US8847881B2 (en) * 2011-11-18 2014-09-30 Sony Corporation Gesture and voice recognition for control of a device
EP2788839A4 (en) * 2011-12-06 2015-12-16 Thomson Licensing METHOD AND SYSTEM FOR RESPONDING TO USER GESTURES FOR SELECTION OF OBJECTS DISPLAYED IN THREE DIMENSIONS
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
JP2013207356A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5994328B2 (ja) 2012-03-29 2016-09-21 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
TWI454966B (zh) * 2012-04-24 2014-10-01 Wistron Corp 手勢控制方法及手勢控制裝置
US8994650B2 (en) 2012-04-27 2015-03-31 Qualcomm Incorporated Processing image input to communicate a command to a remote display device
JP5713959B2 (ja) * 2012-05-23 2015-05-07 株式会社東芝 電子機器、方法、およびプログラム
JP2013246515A (ja) * 2012-05-23 2013-12-09 Toshiba Corp 情報処理装置、情報処理方法、およびプログラム
TW201405443A (zh) 2012-07-17 2014-02-01 Wistron Corp 手勢輸入系統及方法
TWI475496B (zh) * 2012-10-16 2015-03-01 Wistron Corp 手勢控制裝置及於手勢控制裝置中設定及取消手勢操作區域之方法
US9672413B2 (en) 2012-11-06 2017-06-06 Sony Corporation Setting operation area for input according to face position
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
TWI488092B (zh) 2012-12-07 2015-06-11 Pixart Imaging Inc 光學式觸控裝置及其操作方法
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
JP2014137627A (ja) * 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
SE536902C2 (sv) * 2013-01-22 2014-10-21 Crunchfish Ab Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
CN104063041B (zh) * 2013-03-21 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
JP5787238B2 (ja) * 2013-04-10 2015-09-30 コニカミノルタ株式会社 制御装置及び操作制御方法並びに操作制御プログラム
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
CN103399629B (zh) * 2013-06-29 2017-09-19 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9134764B2 (en) * 2013-12-20 2015-09-15 Sony Corporation Apparatus and method for controlling a display based on a manner of holding the apparatus
KR102215072B1 (ko) * 2014-01-03 2021-02-10 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US20150309681A1 (en) * 2014-04-23 2015-10-29 Google Inc. Depth-based mode switching for touchless gestural interfaces
CN104317385A (zh) * 2014-06-26 2015-01-28 青岛海信电器股份有限公司 一种手势识别方法和系统
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
CN105491209A (zh) * 2014-09-16 2016-04-13 洪永川 一种智能终端系统
CN105407371A (zh) * 2014-09-16 2016-03-16 洪永川 一种电视系统
CN105491426A (zh) * 2014-09-16 2016-04-13 洪永川 一种手势遥控电视系统
CN105407262A (zh) * 2014-09-16 2016-03-16 洪永川 一种摄像头
CN105487646A (zh) * 2014-09-16 2016-04-13 洪永川 一种手势遥控智能终端系统
CN105404387A (zh) * 2014-09-16 2016-03-16 洪永川 手势遥控智能终端系统
CN105491425A (zh) * 2014-09-16 2016-04-13 洪永川 识别手势及遥控电视的方法
CN105630142A (zh) * 2014-11-07 2016-06-01 中兴通讯股份有限公司 一种发布和传递识别信息的方法和装置及信息识别系统
US9836130B2 (en) 2014-12-26 2017-12-05 Nextedge Technology K.K. Operation input device, operation input method, and program
US11061540B2 (en) * 2015-01-21 2021-07-13 Logmein, Inc. Remote support service with smart whiteboard
CN108369477B (zh) * 2015-12-22 2021-10-29 索尼公司 信息处理装置、信息处理方法和程序
US10537814B2 (en) * 2015-12-27 2020-01-21 Liwei Xu Screen coding methods and camera based game controller for video shoot game
JP6233471B2 (ja) * 2016-08-22 2017-11-22 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2019054037A1 (ja) * 2017-09-12 2019-03-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6340464B1 (ja) * 2017-09-27 2018-06-06 株式会社Cygames プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
JP2019164440A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置及び情報処理方法
JP7186999B2 (ja) * 2018-05-16 2022-12-12 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN109520415A (zh) * 2018-09-18 2019-03-26 武汉移动互联工业技术研究院有限公司 通过摄像头实现六自由度传感的方法及系统
US20200167005A1 (en) * 2018-11-28 2020-05-28 Seiko Epson Corporation Recognition device and recognition method
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
CN111949134A (zh) * 2020-08-28 2020-11-17 深圳Tcl数字技术有限公司 人机交互方法、设备及计算机可读存储介质
TWI813907B (zh) * 2020-09-30 2023-09-01 優派國際股份有限公司 觸控顯示裝置及其操作方法
CN112731030A (zh) * 2020-12-23 2021-04-30 深圳市优必选科技股份有限公司 一种电子元器件的检测方法、装置、终端设备及存储介质
CN114911384B (zh) * 2022-05-07 2023-05-12 青岛海信智慧生活科技股份有限公司 镜子显示器及其远程控制方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4272711B2 (ja) * 1995-05-15 2009-06-03 キヤノン株式会社 画像生成方法及び装置
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JP2000267800A (ja) * 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
JP2007072564A (ja) * 2005-09-05 2007-03-22 Sony Computer Entertainment Inc マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム
JP4241763B2 (ja) * 2006-05-29 2009-03-18 株式会社東芝 人物認識装置及びその方法
US8060841B2 (en) * 2007-03-19 2011-11-15 Navisense Method and device for touchless media searching
US8233677B2 (en) * 2007-07-04 2012-07-31 Sanyo Electric Co., Ltd. Image sensing apparatus and image file data structure
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090201249A1 (en) * 2007-12-07 2009-08-13 Sony Corporation Input apparatus, control apparatus, control system, and handheld apparatus
JP5412812B2 (ja) 2007-12-07 2014-02-12 ソニー株式会社 入力装置、制御装置、制御システム、及びハンドヘルド装置
US8126221B2 (en) * 2008-02-14 2012-02-28 Ecole Polytechnique Federale De Lausanne (Epfl) Interactive device and method for transmitting commands from a user
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
CN101344816B (zh) * 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation

Similar Documents

Publication Publication Date Title
JP2011054118A5 (ja) 情報処理装置、表示制御方法及び表示制御プログラム
US10013795B2 (en) Operation support method, operation support program, and operation support system
JP5936155B2 (ja) 3次元ユーザインタフェース装置及び3次元操作方法
JP5871345B2 (ja) 3次元ユーザインタフェース装置及び3次元操作方法
JP5921835B2 (ja) 入力装置
US20210112181A1 (en) Image processing device, image processing method, and recording medium
CN106020436A (zh) 图像分析装置及图像分析方法
US20170140552A1 (en) Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same
EP3742405A2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
JP2013161267A5 (ja)
JP2013218597A5 (ja)
TWI496094B (zh) 手勢辨識模組及手勢辨識方法
JP6174547B2 (ja) 分布図表示装置及び方法
US20150339859A1 (en) Apparatus and method for navigating through volume image
JP2014512607A5 (ja)
JP2017191492A5 (ja)
JP2020068513A5 (ja) 画像処理装置およびその制御方法、プログラム
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020126208A5 (ja)
KR20110087407A (ko) 카메라 시뮬레이션 시스템 및 이를 이용한 위치 감지 방법
JP5863984B2 (ja) ユーザインタフェース装置及びユーザインタフェース方法
KR101535738B1 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
KR101542671B1 (ko) 공간 터치 방법 및 공간 터치 장치
JP2013092888A (ja) データ処理装置
JP2013167938A (ja) 情報入力装置