JP2011175439A5 - - Google Patents

Download PDF

Info

Publication number
JP2011175439A5
JP2011175439A5 JP2010038777A JP2010038777A JP2011175439A5 JP 2011175439 A5 JP2011175439 A5 JP 2011175439A5 JP 2010038777 A JP2010038777 A JP 2010038777A JP 2010038777 A JP2010038777 A JP 2010038777A JP 2011175439 A5 JP2011175439 A5 JP 2011175439A5
Authority
JP
Japan
Prior art keywords
virtual object
image processing
processing apparatus
notification signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010038777A
Other languages
English (en)
Other versions
JP2011175439A (ja
JP5499762B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from JP2010038777A external-priority patent/JP5499762B2/ja
Priority to JP2010038777A priority Critical patent/JP5499762B2/ja
Priority to US13/023,319 priority patent/US8773466B2/en
Priority to EP11154077.9A priority patent/EP2360567B1/en
Priority to KR1020110013654A priority patent/KR20110097639A/ko
Priority to CN201110041277.5A priority patent/CN102193625B/zh
Publication of JP2011175439A publication Critical patent/JP2011175439A/ja
Publication of JP2011175439A5 publication Critical patent/JP2011175439A5/ja
Publication of JP5499762B2 publication Critical patent/JP5499762B2/ja
Application granted granted Critical
Priority to US14/293,391 priority patent/US9746672B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

る実施形態によれば、実空間を撮影した入力画像を取得する入力画像取得部と、操作開始を表す第1のユーザ入力が検出された場合に、上記入力画像に映る操作子であって、仮想オブジェクトの操作のために用いられる当該操作子についての認識の結果に応じて算出される画面上の表示位置に上記仮想オブジェクトを表示させる表示制御部と、上記第1のユーザ入力が検出された場合に、上記仮想オブジェクトと共通する仮想オブジェクトを表示する他の装置へ操作開始を通知するための第1の通知信号を送信する通信部と、を備える画像処理装置が提供される。
また、上記第1の通知信号は、上記仮想オブジェクトを識別するための識別データ又は上記表示位置を表す位置データを含んでもよい。
また、上記第2の通知信号は、上記表示位置を表す位置データを含んでもよい。
また、上記表示制御部は、上記通信部により他の装置から上記第1の通知信号が受信された場合にも、上記入力画像に映る上記操作子を用いて操作される上記仮想オブジェクトを上記画面に表示させてもよい。
また、上記通信部により受信された上記第1の通知信号が自装置が表示すべき仮想オブジェクトに関連しない場合には、上記操作子の認識行わなくてもよい。
また、上記通信部は、上記第1のユーザ入力が検出された後、上記操作子の認識の結果において上記操作子が上記仮想オブジェクトに接したと判定された場合に、上記他の装置へ上記第1の通知信号を送信してもよい。
また、上記第1の通知信号は、上記仮想オブジェクトを識別するための識別データ又は上記表示位置を表す位置データを含み、上記仮想オブジェクトと共通する仮想オブジェクトを表示する他の装置へ上記情報処理装置を介して転送されてもよい。
また、上記画像処理装置は、上記操作子を表す操作子画像を記憶している記憶部上記記憶部に記憶されている上記操作子画像を用いて、上記入力画像に映る上記操作子を認識する画像認識部と、をさらに備えてもよい。
また、別の実施形態によれば、画像処理装置における画像処理方法であって、実空間を撮影した入力画像を取得するステップと、操作開始を表す第1のユーザ入力を検出するステップと、上記画像処理装置が操作しようとする仮想オブジェクトと共通する仮想オブジェクトを表示する他の装置へ操作開始を通知するための第1の通知信号を送信するステップと、上記入力画像に映る操作子であって、上記仮想オブジェクトの操作のために用いられる当該操作子についての認識の結果に応じて算出される画面上の表示位置に上記仮想オブジェクトを表示させるステップと、を含む画像処理方法が提供される。
また、別の実施形態によれば、画像処理装置を制御するコンピュータを、実空間を撮影した入力画像を取得する入力画像取得部と、操作開始を表す第1のユーザ入力が検出された場合に、上記入力画像に映る操作子であって、仮想オブジェクトの操作のために用いられる当該操作子についての認識の結果に応じて算出される画面上の表示位置に上記仮想オブジェクトを表示させる表示制御部と、上記第1のユーザ入力が検出された場合に、上記仮想オブジェクトと共通する仮想オブジェクトを表示する他の装置へ操作開始を通知するための第1の通知信号を送信する通信部と、として機能させるための、プログラムが提供される。
また、別の実施形態によれば、2つ以上の画像処理装置を含む画像処理システムであって、各画像処理装置は、実空間を撮影した入力画像を取得する入力画像取得部と、操作開始を表す第1のユーザ入力が検出された場合に、上記入力画像に映る操作子であって、仮想オブジェクトの操作のために用いられる当該操作子についての認識の結果に応じて算出される画面上の表示位置に上記仮想オブジェクトを表示させる表示制御部と、上記第1のユーザ入力が検出された場合に、上記仮想オブジェクトと共通する仮想オブジェクトを表示する他の装置へ操作開始を通知するための第1の通知信号を送信する通信部と、をそれぞれ備え、上記操作子は、上記通信部により他の装置から上記第1の通知信号が受信された場合にも、上記入力画像内で認識される、画像処理システムが提供される。

Claims (13)

  1. 実空間を撮影した入力画像を取得する入力画像取得部と;
    操作開始を表す第1のユーザ入力が検出された場合に、前記入力画像に映る操作子であって、仮想オブジェクトの操作のために用いられる当該操作子についての認識の結果に応じて算出される画面上の表示位置に前記仮想オブジェクトを表示させる表示制御部と;
    前記第1のユーザ入力が検出された場合に、前記仮想オブジェクトと共通する仮想オブジェクトを表示する他の装置へ操作開始を通知するための第1の通知信号を送信する通信部と;
    を備える画像処理装置。
  2. 前記第1の通知信号は、前記仮想オブジェクトを識別するための識別データ又は前記表示位置を表す位置データを含む、請求項1に記載の画像処理装置。
  3. 前記通信部は、操作終了を表す第2のユーザ入力が検出された場合に、前記他の装置へ操作終了を通知するための第2の通知信号を送信する、請求項1又は請求項2に記載の画像処理装置。
  4. 前記第2の通知信号は、前記表示位置を表す位置データを含む、請求項3に記載の画像処理装置。
  5. 前記表示制御部は、前記通信部により他の装置から前記第1の通知信号が受信された場合にも、前記入力画像に映る前記操作子を用いて操作される前記仮想オブジェクトを前記画面に表示させる、請求項1〜4のいずれか1項に記載の画像処理装置。
  6. 記通信部により受信された前記第1の通知信号が自装置が表示すべき仮想オブジェクトに関連しない場合には、前記操作子の認識行わない、請求項5に記載の画像処理装置。
  7. 前記通信部は、前記第1のユーザ入力が検出された後、前記操作子の認識の結果において前記操作子が前記仮想オブジェクトに接したと判定された場合に、前記他の装置へ前記第1の通知信号を送信する、請求項1に記載の画像処理装置。
  8. 前記通信部は、前記第1の通知信号を、共通する仮想オブジェクトを表示する一群の装置を管理する情報処理装置へ送信する、請求項1に記載の画像処理装置。
  9. 前記第1の通知信号は、前記仮想オブジェクトを識別するための識別データ又は前記表示位置を表す位置データを含み、前記仮想オブジェクトと共通する仮想オブジェクトを表示する他の装置へ前記情報処理装置を介して転送される、請求項8に記載の画像処理装置。
  10. 前記画像処理装置は、
    前記操作子を表す操作子画像を記憶している記憶部
    前記記憶部に記憶されている前記操作子画像を用いて、前記入力画像に映る前記操作子を認識する画像認識部と、
    をさらに備える、請求項1〜9のいずれか1項に記載の画像処理装置。
  11. 画像処理装置における画像処理方法であって:
    実空間を撮影した入力画像を取得するステップと;
    操作開始を表す第1のユーザ入力を検出するステップと;
    前記画像処理装置が操作しようとする仮想オブジェクトと共通する仮想オブジェクトを表示する他の装置へ操作開始を通知するための第1の通知信号を送信するステップと;
    前記入力画像に映る操作子であって、前記仮想オブジェクトの操作のために用いられる当該操作子についての認識の結果に応じて算出される画面上の表示位置に前記仮想オブジェクトを表示させるステップと;
    を含む画像処理方法。
  12. 画像処理装置を制御するコンピュータを:
    実空間を撮影した入力画像を取得する入力画像取得部と;
    操作開始を表す第1のユーザ入力が検出された場合に、前記入力画像に映る操作子であって、仮想オブジェクトの操作のために用いられる当該操作子についての認識の結果に応じて算出される画面上の表示位置に前記仮想オブジェクトを表示させる表示制御部と;
    前記第1のユーザ入力が検出された場合に、前記仮想オブジェクトと共通する仮想オブジェクトを表示する他の装置へ操作開始を通知するための第1の通知信号を送信する通信部と;
    として機能させるための、プログラム。
  13. 2つ以上の画像処理装置を含む画像処理システムであって、
    各画像処理装置は:
    実空間を撮影した入力画像を取得する入力画像取得部と;
    操作開始を表す第1のユーザ入力が検出された場合に、前記入力画像に映る操作子であって、仮想オブジェクトの操作のために用いられる当該操作子についての認識の結果に応じて算出される画面上の表示位置に前記仮想オブジェクトを表示させる表示制御部と;
    前記第1のユーザ入力が検出された場合に、前記仮想オブジェクトと共通する仮想オブジェクトを表示する他の装置へ操作開始を通知するための第1の通知信号を送信する通信部と;
    をそれぞれ備え、
    前記操作子は、前記通信部により他の装置から前記第1の通知信号が受信された場合にも、前記入力画像内で認識される、
    画像処理システム。
JP2010038777A 2010-02-24 2010-02-24 画像処理装置、画像処理方法、プログラム及び画像処理システム Expired - Fee Related JP5499762B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010038777A JP5499762B2 (ja) 2010-02-24 2010-02-24 画像処理装置、画像処理方法、プログラム及び画像処理システム
US13/023,319 US8773466B2 (en) 2010-02-24 2011-02-08 Image processing apparatus, image processing method, program, and image processing system
EP11154077.9A EP2360567B1 (en) 2010-02-24 2011-02-10 Image processing apparatus, image processing method, program, and image processing system
KR1020110013654A KR20110097639A (ko) 2010-02-24 2011-02-16 화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템
CN201110041277.5A CN102193625B (zh) 2010-02-24 2011-02-17 图像处理设备、图像处理方法、程序以及图像处理系统
US14/293,391 US9746672B2 (en) 2010-02-24 2014-06-02 Image processing apparatus, image processing method, program, and image processing system for displaying a virtual object shared among multiple users

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010038777A JP5499762B2 (ja) 2010-02-24 2010-02-24 画像処理装置、画像処理方法、プログラム及び画像処理システム

Publications (3)

Publication Number Publication Date
JP2011175439A JP2011175439A (ja) 2011-09-08
JP2011175439A5 true JP2011175439A5 (ja) 2013-02-28
JP5499762B2 JP5499762B2 (ja) 2014-05-21

Family

ID=44202161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010038777A Expired - Fee Related JP5499762B2 (ja) 2010-02-24 2010-02-24 画像処理装置、画像処理方法、プログラム及び画像処理システム

Country Status (5)

Country Link
US (2) US8773466B2 (ja)
EP (1) EP2360567B1 (ja)
JP (1) JP5499762B2 (ja)
KR (1) KR20110097639A (ja)
CN (1) CN102193625B (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
JP5185320B2 (ja) * 2010-05-19 2013-04-17 株式会社バンダイ ゲーム装置
US9146398B2 (en) * 2011-07-12 2015-09-29 Microsoft Technology Licensing, Llc Providing electronic communications in a physical world
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
CN106603688B (zh) * 2011-08-27 2020-05-05 中兴通讯股份有限公司 访问增强现实用户上下文的方法
CN102508546B (zh) * 2011-10-31 2014-04-09 冠捷显示科技(厦门)有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
EP2608153A1 (en) 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
JP5477399B2 (ja) * 2012-01-30 2014-04-23 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム、並びに情報処理システム
US9691241B1 (en) 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
US9696547B2 (en) * 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
JP6125785B2 (ja) * 2012-09-27 2017-05-10 京セラ株式会社 表示装置および制御方法
JP6159069B2 (ja) * 2012-09-27 2017-07-05 京セラ株式会社 表示装置
JP6112815B2 (ja) * 2012-09-27 2017-04-12 京セラ株式会社 表示装置、制御システムおよび制御プログラム
US10341642B2 (en) 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects
WO2014054317A1 (ja) * 2012-10-05 2014-04-10 Necソフト株式会社 ユーザインタフェース装置及びユーザインタフェース方法
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102560629B1 (ko) 2013-03-15 2023-07-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
EP2977924A1 (en) * 2013-03-19 2016-01-27 NEC Solution Innovators, Ltd. Three-dimensional unlocking device, three-dimensional unlocking method and program
JP5813030B2 (ja) * 2013-03-22 2015-11-17 キヤノン株式会社 複合現実提示システム、仮想現実提示システム
JP2014187559A (ja) * 2013-03-25 2014-10-02 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
KR101670808B1 (ko) * 2013-09-03 2016-10-31 삼성전자주식회사 알림을 제공하는 방법 및 그 전자 장치
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN106415447B (zh) * 2014-06-30 2019-08-06 索尼公司 信息处理装置、信息处理方法和图像处理系统
JP2016033759A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
WO2016148142A1 (ja) * 2015-03-16 2016-09-22 シャープ株式会社 表示データ処理装置、表示装置、および、プログラム
US10423234B2 (en) * 2015-03-27 2019-09-24 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment
TWM508350U (zh) * 2015-04-24 2015-09-11 Aten Int Co Ltd 遊戲錄製裝置
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
JP6627352B2 (ja) * 2015-09-15 2020-01-08 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
US10133532B2 (en) * 2015-09-25 2018-11-20 Seiko Epson Corporation Display system, display device, information display method, and program
JP6240135B2 (ja) * 2015-10-26 2017-11-29 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
JP6304305B2 (ja) * 2016-05-25 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2018116377A1 (ja) * 2016-12-20 2018-06-28 株式会社キッズプレート 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム
CN107038746B (zh) * 2017-03-27 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
JP6229089B1 (ja) 2017-04-26 2017-11-08 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
JP2017208820A (ja) * 2017-06-06 2017-11-24 京セラ株式会社 発注システム
CN108355347B (zh) * 2018-03-05 2021-04-06 网易(杭州)网络有限公司 交互控制方法、装置、电子设备及存储介质
CN108536295B (zh) * 2018-03-30 2021-08-10 腾讯科技(深圳)有限公司 虚拟场景中的对象控制方法、装置及计算机设备
CN108543309B (zh) * 2018-04-03 2020-03-10 网易(杭州)网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
CN108919951B (zh) * 2018-06-28 2020-11-20 联想(北京)有限公司 一种信息交互方法及装置
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
JP7262973B2 (ja) * 2018-10-31 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2020110659A1 (ja) 2018-11-27 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022517207A (ja) 2019-01-11 2022-03-07 マジック リープ, インコーポレイテッド 種々の深度における仮想コンテンツの時間多重化された表示
JP2020173656A (ja) * 2019-04-11 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP2020204989A (ja) * 2019-06-19 2020-12-24 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
JP7116220B2 (ja) * 2019-10-02 2022-08-09 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP7401245B2 (ja) * 2019-10-08 2023-12-19 キヤノン株式会社 画像合成装置、画像合成装置の制御方法およびプログラム
US11741159B2 (en) * 2019-10-29 2023-08-29 Shmuel Ur Innovation Ltd Digital media authentication
CN111061575A (zh) * 2019-11-27 2020-04-24 Oppo广东移动通信有限公司 数据处理方法、装置、用户设备及增强现实系统
JP7333532B2 (ja) * 2021-02-04 2023-08-25 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法
JP7139471B2 (ja) * 2021-02-04 2022-09-20 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0959444A4 (en) * 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
JP2002247602A (ja) 2001-02-15 2002-08-30 Mixed Reality Systems Laboratory Inc 画像生成装置及びその制御方法並びにそのコンピュータプログラム
JP3584230B2 (ja) * 2001-09-28 2004-11-04 キヤノン株式会社 映像体験システム、情報処理方法およびプログラム
JP4054585B2 (ja) * 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
US7352358B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to acoustical tracking
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7843470B2 (en) * 2005-01-31 2010-11-30 Canon Kabushiki Kaisha System, image processing apparatus, and information processing method
CA2826925C (en) * 2005-02-22 2017-01-24 Mako Surgical Corp. Haptic guidance system and method
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP5297113B2 (ja) 2008-08-06 2013-09-25 日本電子材料株式会社 コンタクトプローブの製造方法
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation

Similar Documents

Publication Publication Date Title
JP2011175439A5 (ja)
JP2017059062A5 (ja)
JP2011227875A5 (ja) 情報処理システム、情報処理方法及びプログラム
MY173040A (en) Information processing apparatus, system, vacant space guidance method and program
EP2360567A3 (en) Image processing apparatus, image processing method, program, and image processing system
JP2007116270A5 (ja)
JP2013105454A5 (ja)
JP2015153073A5 (ja)
EP2717123A3 (en) Input method and apparatus of portable device
EP2431905A3 (en) Image information processing apparatus, image information processing system, and computer-readable storage medium for computer program
JP2011155595A5 (ja)
JP2015156889A5 (ja)
JP2015153293A5 (ja) 情報処理装置とネットワークカメラを有するシステム、情報処理装置及びそのログイン方法
JP2014178968A5 (ja)
JP2013232181A5 (ja)
EP2770435A3 (en) Computer program and control device to monitor the status of a printer
JP2014179922A5 (ja) 表示制御装置、表示制御方法、およびプログラム
JP2013038668A5 (ja)
JP2012014406A5 (ja)
JP2011150609A5 (ja) 投影制御装置及び投影制御方法、並びに投影制御用コンピュータプログラム
JP2014023127A5 (ja)
JP2016197466A5 (ja) 要求処理システム、電子機器およびプログラム
JP2010113618A5 (ja)
JP6270488B2 (ja) オペレータ監視制御装置およびオペレータ監視制御方法
JP2013105203A5 (ja) 情報処理装置およびその制御方法