JP2013105285A5 - - Google Patents

Download PDF

Info

Publication number
JP2013105285A5
JP2013105285A5 JP2011248098A JP2011248098A JP2013105285A5 JP 2013105285 A5 JP2013105285 A5 JP 2013105285A5 JP 2011248098 A JP2011248098 A JP 2011248098A JP 2011248098 A JP2011248098 A JP 2011248098A JP 2013105285 A5 JP2013105285 A5 JP 2013105285A5
Authority
JP
Japan
Prior art keywords
information processing
processing apparatus
virtual object
real
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011248098A
Other languages
English (en)
Other versions
JP5838747B2 (ja
JP2013105285A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from JP2011248098A external-priority patent/JP5838747B2/ja
Priority to JP2011248098A priority Critical patent/JP5838747B2/ja
Priority to KR1020147010544A priority patent/KR20140088866A/ko
Priority to EP12847414.5A priority patent/EP2777026B1/en
Priority to BR112014010681A priority patent/BR112014010681A2/pt
Priority to CN201280053969.4A priority patent/CN103907139B/zh
Priority to US14/342,974 priority patent/US9497389B2/en
Priority to PCT/JP2012/006336 priority patent/WO2013069196A1/en
Priority to RU2014117669/08A priority patent/RU2014117669A/ru
Priority to TW101138680A priority patent/TW201324435A/zh
Publication of JP2013105285A publication Critical patent/JP2013105285A/ja
Priority to IN3352CHN2014 priority patent/IN2014CN03352A/en
Publication of JP2013105285A5 publication Critical patent/JP2013105285A5/ja
Publication of JP5838747B2 publication Critical patent/JP5838747B2/ja
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

(画像取得部120)
画像取得部120は、撮像部102(又は他の撮像装置)を用いて撮像された実空間を映す入力画像を取得する。入力画像は、仮想オブジェクトobj_vが配置される実空間内の場所又は物体が映された画像である。画像取得部120は、取得した入力画像を、画像認識部125及び表示制御部150aへ供給する。例えば、撮像部102(又は他の撮像装置)が実空間を連続的に撮像している場合には、画像取得部120は、連続的に入力画像を取得することができる。
次に画像認識部125は、この認識によりマーカ(仮想オブジェクトobj_vが関連づけられた実オブジェクトobj_r)が検出されたか否かを判断する(S215)。ステップS215の判断において、マーカが検出されたと判断された場合には、オブジェクトデータ取得部130は、このマーカに対応づけられたオブジェクトデータを取得する(S220)。
そして、認識ノイズ推定部140は、マーカ位置にノイズが含まれるか否かを判断する(S235)。ステップS235の判断において、ノイズが含まれると判断された場合には、補正部145は、仮想オブジェクトobj_vとマーカの基準点との間の距離を算出する(S240)。そして、視覚効果情報生成部147は、ノイズ及び距離に応じて仮想オブジェクトobj_vの視覚効果情報を生成する(S245)。そして表示制御部150bは、仮想オブジェクトobj_vを画像に重畳して表示させる(S250)。このとき表示制御部150bは、視覚効果情報生成部147により視覚効果情報が生成された場合には、生成された視覚効果情報に従って仮想オブジェクトobj_vを画像に重畳することができる。
(表示制御部150c)
表示制御部150cは、補正部145により仮想オブジェクトobj_vの位置が補正された場合には、補正後の位置に仮想オブジェクトobj_vを表示させることができる。また表示制御部150cは、視覚効果情報生成部147により視覚効果情報が生成された場合には、生成された視覚効果情報に従って仮想オブジェクトobj_vを表示させることができる。従ってこの場合、基準点RPからの距離が遠い仮想オブジェクトobj_vほど実オブジェクトobj_rへの追従が遅くなり、さらに基準点RPからの距離が遠い仮想オブジェクトobj_vほど多くの残像が表示される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
入力画像に映る実オブジェクトを認識する認識部と、
前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて算出される、前記実オブジェクトと前記仮想オブジェクトとの間の距離に基づき、前記仮想オブジェクトの表示を変化させる表示制御部と、
を備える、情報処理装置。
(2)
前記情報は、仮想空間上の前記仮想オブジェクトの配置を定義する情報であり、
前記表示制御部は、前記実オブジェクトの位置及び姿勢に基づき、前記仮想空間を前記実オブジェクトが存在する実空間に対応づけて前記仮想オブジェクトを表示させる、
前記(1)に記載の情報処理装置。
(3)
前記距離は、前記実オブジェクトの基準点と前記仮想オブジェクトとの間の距離である、
記(2)に記載の情報処理装置。
(4)
前記仮想オブジェクトの位置又は姿勢を、前記距離に基づいて補正する補正部、
をさらに備え、
前記表示制御部は、補正後の前記位置又は前記姿勢に基づいて前記仮想オブジェクトを表示させることにより、前記仮想オブジェクトの表示を変化させる、
前記(1)〜(3)のいずれかに記載の情報処理装置。
(5)
前記表示制御部は、前記実オブジェクトの位置又は姿勢に前記仮想オブジェクトの表示が追従するように前記仮想オブジェクトを表示させ、
前記補正部は、前記距離に基づいて、前記仮想オブジェクトの前記実オブジェクトへの追従のペースが変化するように前記位置又は前記姿勢を補正する、
記(4)に記載の情報処理装置。
(6)
前記補正部は、前記距離が遠いほど前記追従のペースを遅くする、
前記(5)に記載の情報処理装置。
(7)
前記表示制御部は、前記距離に基づいて、前記仮想オブジェクトの残像を表示させる、
前記(1)〜(6)のいずれかに記載の情報処理装置。
(8)
前記表示制御部は、前記距離が遠いほど多くの前記残像を表示させる、
前記(7)に記載の情報処理装置。
(9)
前記補正部は、前記仮想オブジェクトの回転成分を補正する、
前記(4)〜(6)のいずれかに記載の情報処理装置。
(10)
前記基準点の位置情報に含まれるノイズの性質を推定する推定部、
をさらに備え、
前記表示制御部は、推定された前記性質に基づいて、前記仮想オブジェクトの表示を変化させる、
前記(3)に記載の情報処理装置。
(11)
前記表示制御部は、複数の前記仮想オブジェクトに対する前記実空間上の代表点と前記基準点との間の前記距離に応じて、複数の前記仮想オブジェクトの表示を変化させる、
前記(3)に記載の情報処理装置。
(12)
前記表示制御部は、複数の前記仮想オブジェクトに位相関係が設定されているとき、前記代表点を用いる、
前記(11)に記載の情報処理装置。
(13)
前記基準点は、前記実オブジェクトの重心とする、
前記(3)に記載の情報処理装置。
(14)
前記基準点は、前記入力画像に基づいて判定される、位置変動の小さい点とする、
前記(3)に記載の情報処理装置。
(15)
前記推定部は、前記入力画像を解析することにより前記ノイズの性質を推定する、
前記(10)に記載の情報処理装置。
(16)
前記推定部は、前記入力画像の周波数成分を解析することにより、前記ノイズの性質を推定する、
前記(15)に記載の情報処理装置。
(17)
入力画像に映る実オブジェクトを認識することと、
前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて、前記実オブジェクトと前記仮想オブジェクトとの間の距離を算出することと、
前記距離に基づき、前記仮想オブジェクトの表示を変化させることと、
を含む、情報処理方法。
(18)
コンピュータを、
入力画像に映る実オブジェクトを認識する認識部と、
前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて算出される、前記実オブジェクトと前記仮想オブジェクトとの間の距離に基づき、前記仮想オブジェクトの表示を変化させる表示制御部と、
を備える、情報処理装置として機能させるためのプログラム。

Claims (18)

  1. 入力画像に映る実オブジェクトを認識する認識部と、
    前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて算出される、前記実オブジェクトと前記仮想オブジェクトとの間の距離に基づき、前記仮想オブジェクトの表示を変化させる表示制御部と、
    を備える、情報処理装置。
  2. 前記情報は、仮想空間上の前記仮想オブジェクトの配置を定義する情報であり、
    前記表示制御部は、前記実オブジェクトの位置及び姿勢に基づき、前記仮想空間を前記実オブジェクトが存在する実空間に対応づけて前記仮想オブジェクトを表示させる、
    請求項1に記載の情報処理装置。
  3. 前記距離は、前記実オブジェクトの基準点と前記仮想オブジェクトとの間の距離である、
    請求項に記載の情報処理装置。
  4. 前記仮想オブジェクトの位置又は姿勢を、前記距離に基づいて補正する補正部、
    をさらに備え、
    前記表示制御部は、補正後の前記位置又は前記姿勢に基づいて前記仮想オブジェクトを表示させることにより、前記仮想オブジェクトの表示を変化させる、
    請求項1〜3のいずれか一項に記載の情報処理装置。
  5. 前記表示制御部は、前記実オブジェクトの位置又は姿勢に前記仮想オブジェクトの表示が追従するように前記仮想オブジェクトを表示させ、
    前記補正部は、前記距離に基づいて、前記仮想オブジェクトの前記実オブジェクトへの追従のペースが変化するように前記位置又は前記姿勢を補正する、
    請求項に記載の情報処理装置。
  6. 前記補正部は、前記距離が遠いほど前記追従のペースを遅くする、
    請求項に記載の情報処理装置。
  7. 前記表示制御部は、前記距離に基づいて、前記仮想オブジェクトの残像を表示させる、
    請求項1〜6のいずれか一項に記載の情報処理装置。
  8. 前記表示制御部は、前記距離が遠いほど多くの前記残像を表示させる、
    請求項7に記載の情報処理装置。
  9. 前記補正部は、前記仮想オブジェクトの回転成分を補正する、
    請求項4〜6のいずれか一項に記載の情報処理装置。
  10. 前記基準点の位置情報に含まれるノイズの性質を推定する推定部、
    をさらに備え、
    前記表示制御部は、推定された前記性質に基づいて、前記仮想オブジェクトの表示を変化させる、
    請求項に記載の情報処理装置。
  11. 前記表示制御部は、複数の前記仮想オブジェクトに対する前記実空間上の代表点と前記基準点との間の前記距離に応じて、複数の前記仮想オブジェクトの表示を変化させる、
    請求項3に記載の情報処理装置。
  12. 前記表示制御部は、複数の前記仮想オブジェクトに位相関係が設定されているとき、前記代表点を用いる、
    請求項11に記載の情報処理装置。
  13. 前記基準点は、前記実オブジェクトの重心とする、
    請求項3に記載の情報処理装置。
  14. 前記基準点は、前記入力画像に基づいて判定される、位置変動の小さい点とする、
    請求項3に記載の情報処理装置。
  15. 前記推定部は、前記入力画像を解析することにより前記ノイズの性質を推定する、
    請求項10に記載の情報処理装置。
  16. 前記推定部は、前記入力画像の周波数成分を解析することにより、前記ノイズの性質を推定する、
    請求項15に記載の情報処理装置。
  17. 入力画像に映る実オブジェクトを認識することと、
    前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて、前記実オブジェクトと前記仮想オブジェクトとの間の距離を算出することと、
    前記距離に基づき、前記仮想オブジェクトの表示を変化させることと、
    を含む、情報処理方法。
  18. コンピュータを、
    入力画像に映る実オブジェクトを認識する認識部と、
    前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて算出される、前記実オブジェクトと前記仮想オブジェクトとの間の距離に基づき、前記仮想オブジェクトの表示を変化させる表示制御部と、
    を備える、情報処理装置として機能させるためのプログラム。
JP2011248098A 2011-11-11 2011-11-11 情報処理装置、情報処理方法、及びプログラム Active JP5838747B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2011248098A JP5838747B2 (ja) 2011-11-11 2011-11-11 情報処理装置、情報処理方法、及びプログラム
PCT/JP2012/006336 WO2013069196A1 (en) 2011-11-11 2012-10-03 Information processing device, information processing method, and program
EP12847414.5A EP2777026B1 (en) 2011-11-11 2012-10-03 Information processing device, information processing method, and program
BR112014010681A BR112014010681A2 (pt) 2011-11-11 2012-10-03 aparelho e método de processamento de informação, e, mídia legível por computador não temporária
CN201280053969.4A CN103907139B (zh) 2011-11-11 2012-10-03 信息处理装置、信息处理方法和程序
US14/342,974 US9497389B2 (en) 2011-11-11 2012-10-03 Information processing device, information processing method, and program for reduction of noise effects on a reference point
KR1020147010544A KR20140088866A (ko) 2011-11-11 2012-10-03 정보 처리 장치, 정보 처리 방법, 및 프로그램
RU2014117669/08A RU2014117669A (ru) 2011-11-11 2012-10-03 Устройство обработки информации, способ обработки информации и программа
TW101138680A TW201324435A (zh) 2011-11-11 2012-10-19 資訊處理裝置,資訊處理方法及程式
IN3352CHN2014 IN2014CN03352A (ja) 2011-11-11 2014-05-02

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011248098A JP5838747B2 (ja) 2011-11-11 2011-11-11 情報処理装置、情報処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2013105285A JP2013105285A (ja) 2013-05-30
JP2013105285A5 true JP2013105285A5 (ja) 2014-12-18
JP5838747B2 JP5838747B2 (ja) 2016-01-06

Family

ID=48288994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011248098A Active JP5838747B2 (ja) 2011-11-11 2011-11-11 情報処理装置、情報処理方法、及びプログラム

Country Status (10)

Country Link
US (1) US9497389B2 (ja)
EP (1) EP2777026B1 (ja)
JP (1) JP5838747B2 (ja)
KR (1) KR20140088866A (ja)
CN (1) CN103907139B (ja)
BR (1) BR112014010681A2 (ja)
IN (1) IN2014CN03352A (ja)
RU (1) RU2014117669A (ja)
TW (1) TW201324435A (ja)
WO (1) WO2013069196A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014202490A1 (de) * 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
US10026226B1 (en) 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US9646418B1 (en) * 2014-06-10 2017-05-09 Ripple Inc Biasing a rendering location of an augmented reality object
US12008697B2 (en) 2014-06-10 2024-06-11 Ripple, Inc. Of Delaware Dynamic location based digital element
US9619940B1 (en) 2014-06-10 2017-04-11 Ripple Inc Spatial filtering trace location
JP6417797B2 (ja) * 2014-09-03 2018-11-07 株式会社リコー 情報端末装置、情報処理方法、システムおよびプログラム
JP6665572B2 (ja) 2016-02-16 2020-03-13 富士通株式会社 制御プログラム、制御方法およびコンピュータ
CN106340215B (zh) * 2016-11-09 2019-01-04 快创科技(大连)有限公司 基于ar增强现实和自适应识别的乐器辅助学习体验系统
JP6816492B2 (ja) * 2016-12-14 2021-01-20 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
EP3591623A4 (en) * 2017-03-29 2020-11-04 Rakuten, Inc. DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROCESS AND PROGRAM
US11514689B2 (en) * 2017-03-29 2022-11-29 Engemma Oy Gemological object recognition
JP6836979B2 (ja) * 2017-09-29 2021-03-03 株式会社Nttドコモ 映像表示システム
WO2019087513A1 (ja) * 2017-10-31 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2019116689A1 (ja) * 2017-12-15 2019-06-20 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN108446400A (zh) 2018-03-29 2018-08-24 京东方科技集团股份有限公司 增强现实装置、服务器、增强现实系统和共享方法
US10812736B2 (en) * 2018-12-24 2020-10-20 Polarr, Inc. Detected object based image and video effects selection
US11308652B2 (en) 2019-02-25 2022-04-19 Apple Inc. Rendering objects to match camera noise

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847364B1 (en) * 1999-12-23 2005-01-25 Intel Corporation Methods and apparatus for creating three-dimensional motion illusion in a graphics processing system
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP4032776B2 (ja) 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
US20030179308A1 (en) * 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
CN100416336C (zh) * 2003-06-12 2008-09-03 美国西门子医疗解决公司 校准真实和虚拟视图
JP4726194B2 (ja) * 2005-04-01 2011-07-20 キヤノン株式会社 キャリブレーション方法及び装置
JP5063023B2 (ja) * 2006-03-31 2012-10-31 キヤノン株式会社 位置姿勢補正装置、位置姿勢補正方法
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
JP5244012B2 (ja) * 2009-03-31 2013-07-24 株式会社エヌ・ティ・ティ・ドコモ 端末装置、拡張現実感システム及び端末画面表示方法
GB2470073B (en) * 2009-05-08 2011-08-24 Sony Comp Entertainment Europe Entertainment device, system and method
JP5573238B2 (ja) * 2010-03-04 2014-08-20 ソニー株式会社 情報処理装置、情報処理法方法およびプログラム
CN101893935B (zh) * 2010-07-14 2012-01-11 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球系统构建方法
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device

Similar Documents

Publication Publication Date Title
JP2013105285A5 (ja)
JP5528151B2 (ja) 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム
JP5838747B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10839544B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable storage medium
US9652861B2 (en) Estimating device and estimation method
JP2013101528A5 (ja)
JP2018049591A5 (ja) 画像処理装置、画像処理方法及びプログラム
RU2016101616A (ru) Вычислительное устройство, способ и вычислительная система
EP2549352A3 (en) Information processing apparatus, information processing method, and program
JP2014106543A5 (ja)
JP2013218597A5 (ja)
JP2013164696A5 (ja)
JP2010040037A5 (ja)
EP2497551A3 (en) Information processing program, information processing apparatus, information processing system, and information processing method
JP2016085637A5 (ja)
JP2011146796A5 (ja)
JP2013178636A5 (ja)
JP2014116912A5 (ja)
JP2017129567A5 (ja)
JP2008261755A5 (ja)
JP2013123528A5 (ja) 画像診断支援装置、画像診断支援方法、画像診断支援プログラム
JP2013228930A5 (ja)
JP2016514865A5 (ja)
JP2013246743A5 (ja) 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
JP2014140154A5 (ja)