JP2016033800A5 - - Google Patents

Download PDF

Info

Publication number
JP2016033800A5
JP2016033800A5 JP2014157180A JP2014157180A JP2016033800A5 JP 2016033800 A5 JP2016033800 A5 JP 2016033800A5 JP 2014157180 A JP2014157180 A JP 2014157180A JP 2014157180 A JP2014157180 A JP 2014157180A JP 2016033800 A5 JP2016033800 A5 JP 2016033800A5
Authority
JP
Japan
Prior art keywords
virtual object
image
information processing
state
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014157180A
Other languages
Japanese (ja)
Other versions
JP6164177B2 (en
JP2016033800A (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2014157180A priority Critical patent/JP6164177B2/en
Priority claimed from JP2014157180A external-priority patent/JP6164177B2/en
Publication of JP2016033800A publication Critical patent/JP2016033800A/en
Publication of JP2016033800A5 publication Critical patent/JP2016033800A5/ja
Application granted granted Critical
Publication of JP6164177B2 publication Critical patent/JP6164177B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、仮想オブジェクトの受け渡しに応じて、現実物体の存在をユーザに認識させることが可能な仕組みを提供することを目的とする。 The invention, in accordance with the delivery of virtual objects, and an object thereof is to provide a mechanism capable Rukoto to recognize the existence of the physical object to the user.

本発明の情報処理装置は、表示装置において現実物体に仮想オブジェクトの画像を重畳して表示することが可能な情報処理装置であり、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置であって、ユーザの身体の一部を検出する検出手段と、前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御手段と、を備えることを特徴とする。 The information processing apparatus of the present invention, there is provided an information processing apparatus capable of displaying superimposed images of the virtual object to the current real object in the display device, storage means for storing a position on the three-dimensional space of the virtual object And image generation means for generating an image of a virtual object to be displayed on the display device according to a position and orientation of a user who has experienced using the display device and a position of the virtual object in a three-dimensional space; an information processing apparatus comprising an output means for outputting an image of a virtual object generated by the image generating unit on the display device, and a detection means for detecting a part of your body Yu chromatography the said detecting means in the case where the part of the state of the detected pre-Symbol body showing the delivery operation of the virtual object, the display state of the image of the virtual object, the virtual object Display control means for recognizable behenate rather control to change the display state of the presence of the physical object which overlaps with the image, in that it comprises the features.

本発明によれば、仮想オブジェクトの受け渡しに応じて、現実物体の存在をユーザに認識させることが可能な仕組みを提供することができる。 According to the present invention, it is possible to provide in accordance with the delivery of virtual objects, a mechanism that can be Rukoto to recognize the existence of the physical object to the user.

また、ＨＭＤ１０１の位置を人の位置であるものとし、手の検出数の代わりに、視界内にＨＭＤ１０１が存在するかを特定して、当該特定されたＨＭＤの数を条件としてもよい。 Alternatively, the position of the HMD 101 may be a person's position, and instead of the number of detected hands, whether the HMD 101 exists in the field of view may be specified, and the number of the specified HMD may be used as a condition.

Claims (15)

表示装置において現実物体に仮想オブジェクトの画像を重畳して表示することが可能な情報処理装置であり、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置であって、
ユーザの身体の一部を検出する検出手段と、
前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus capable of displaying superimposed images of the virtual object to the current real object in the display device, storage means for storing a position on the three-dimensional space of the virtual object, using the display device Image generating means for generating an image of a virtual object to be displayed on the display device in accordance with the position and orientation of the user who is experiencing and the position of the virtual object in the three-dimensional space, and the virtual generated by the image generating means Output means for outputting an image of an object to the display device, and an information processing device comprising:
And detection means for detecting a part of your body Yu over The,
Recognized when part of the state indicates a transfer operation of the virtual object, the display state of the image of the virtual object, the presence of a real object that overlaps with the image of the virtual object before Symbol body detected by the detection means and display control means for behenate rather than control to change the display state as possible,
The information processing apparatus comprising: a. 前記表示制御手段は、前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記仮想オブジェクトが移動している場合、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１に記載の情報処理装置。The display control means displays the image of the virtual object when the state of the part of the body detected by the detection means indicates the delivery operation of the virtual object, and the virtual object is moving. The information processing apparatus according to claim 1, wherein the state is controlled to change to a display state in which the presence of a real object that overlaps the image of the virtual object can be recognized. 前記表示制御手段は、前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記仮想オブジェクトと前記表示装置が接近した場合に、前記仮想オブジェクトの表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１又は２に記載の情報処理装置。 Wherein the display control unit, in a case where part of the state of the body detected by the detection means indicates a transfer operation of the virtual object, the case where the virtual object and the display device approaches, the virtual the display state of the object, the information processing apparatus according to claim 1 or 2, characterized in that there recognizable behenate rather control to change display state of the physical object which overlaps with the image of the virtual object. 前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合とは、前記身体の一部の数が所定の数に達した場合であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 Wherein the case where part of the state of the body detected by the detection means indicates the transfer operation of the virtual object, wherein the number portion of the body member is a case has reached the number of the constant Tokoro The information processing apparatus according to any one of claims 1 to 3 . 前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態とは、前記仮想オブジェクトの画像を透過させた状態であって、
前記オブジェクトの透過率を、前記検出手段で検出された前記身体の一部の数に応じて決定する透過率決定手段と、
を備え、
前記表示制御手段は、前記検出手段で検出した前記身体の一部の状態が、前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像を、前記透過率決定手段で決定された透過率に従って透過した状態とすることを特徴とする請求項４に記載の情報処理装置。 The display state capable of recognizing the presence of a real object that overlaps the image of the virtual object is a state in which the image of the virtual object is transmitted,
Transmittance determining means for determining the transmittance of the object according to the number of parts of the body detected by the detecting means;
With
The display control means, when the state of the part of the body detected by the detection means indicates the delivery operation of the virtual object, the image of the virtual object is determined by the transmittance determined by the transmittance determination means. the information processing apparatus according to claim 4, characterized in that one is spent permeable follow. 前記検出手段は、ユーザの身体の一部としてユーザの手を検出することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。The information processing apparatus according to claim 1, wherein the detection unit detects a user's hand as a part of the user's body. 前記表示制御手段は、前記検出手段で検出された前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記表示装置と前記仮想オブジェクトとの距離が所定の距離範囲内の場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。 Wherein the display control unit, said part of the state of said detected body in detecting means in a case that shows the delivering operation of the virtual object, the display device within the distance range distance is predetermined and the virtual object case, the display state of the image of the virtual object, according to claim 1 to 6, characterized in that said to behenate rather controlled to change the recognizable display state of the presence of the physical object which overlaps with the image of the virtual object The information processing apparatus according to any one of claims. 前記表示制御手段は、前記検出手段で検出された前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記検出手段で検出した身体の一部の位置と前記仮想オブジェクトの位置との距離が所定の距離範囲内である場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。 The display control means is a case where the state of the body part detected by the detection means indicates a delivery operation of the virtual object, and the position of the body part detected by the detection means and the virtual object If the distance between the position of the is within a predetermined distance range, the virtual display state of the object image, the virtual object image overlaps real object recognizable display state changes to behenate rather control the presence of The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. 前記表示制御手段は、前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記仮想オブジェクトが、複数の前記表示装置にそれぞれ設置された複数の撮像装置の視野内にある場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。 The display control means is a case where the state of the part of the body detected by the detection means indicates a delivery operation of the virtual object, wherein the virtual object is installed in a plurality of display devices respectively. If within the field of view of the imaging device, the display state of the image of the virtual object, characterized in that it behenate rather controls to change the presence of a real object that overlaps with the image of the virtual object to the recognizable display state The information processing apparatus according to any one of claims 1 to 8. 前記表示制御手段は、前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記仮想オブジェクトが表示状態を変更すべきと記憶されたオブジェクトである場合に、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。 The display control means is an object stored when the state of the part of the body detected by the detection means indicates a delivery operation of the virtual object and the virtual object is to be changed in display state. If the information processing apparatus according to any one of claims 1 to 9, characterized in that the control be behenate rather change the recognizable display state of the presence of the physical object which overlaps with the image of the virtual object. 表示装置において現実物体に仮想オブジェクトの画像を重畳して表示することが可能な情報処理装置であり、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置の制御方法であって、
ユーザの身体の一部を検出する検出工程と、
前記検出工程で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御工程と、
を備えることを特徴とする情報処理装置の制御方法。 An information processing apparatus capable of displaying superimposed images of the virtual object to the current real object in the display device, storage means for storing a position on the three-dimensional space of the virtual object, using the display device Image generating means for generating an image of a virtual object to be displayed on the display device in accordance with the position and orientation of the user who is experiencing and the position of the virtual object in the three-dimensional space, and the virtual generated by the image generating means Output means for outputting an image of an object to the display device, and a control method for an information processing device comprising:
A detection step of detecting a part of your body Yu over The,
Recognized when part of the state indicates a transfer operation of the virtual object, the display state of the image of the virtual object, the presence of a real object that overlaps with the image of the virtual object before Symbol body detected by the detection step and a display control step of behenate rather than control to change the display state as possible,
Control method for an information processing apparatus comprising: a. 表示装置において現実物体に仮想オブジェクトの画像を重畳して表示することが可能な情報処理装置であり、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置で実行が可能なプログラムであって、
前記情報処理装置を、
ユーザの身体の一部を検出する検出手段と、
前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御手段として機能させることを特徴とする情報処理装置のプログラム。 An information processing apparatus capable of displaying superimposed images of the virtual object to the current real object in the display device, storage means for storing a position on the three-dimensional space of the virtual object, using the display device Image generating means for generating an image of a virtual object to be displayed on the display device in accordance with the position and orientation of the user who is experiencing and the position of the virtual object in the three-dimensional space, and the virtual generated by the image generating means An output unit that outputs an image of an object to the display device, and a program that can be executed by an information processing device,
The information processing apparatus;
And detection means for detecting a part of your body Yu over The,
Recognized when part of the state indicates a transfer operation of the virtual object, the display state of the image of the virtual object, the presence of a real object that overlaps with the image of the virtual object before Symbol body detected by the detection means program of the information processing apparatus, characterized in that to function as a display control means for behenate rather controlled to change the display state as possible. 現実物体に仮想オブジェクトの画像を重畳して表示することが可能な表示装置と、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置と、を含む情報処理システムであって、
ユーザの身体の一部を検出する検出手段と、
前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御手段と、
を備えることを特徴とする情報処理システム。 A display device capable of displaying an image of a virtual object superimposed on a real object, storage means for storing the position of the virtual object in a three-dimensional space , and a user who has experienced using the display device Image generating means for generating an image of a virtual object to be displayed on the display device according to the position and orientation of the virtual object in a three-dimensional space, and the image of the virtual object generated by the image generating means An information processing system comprising: an output means for outputting to the apparatus ;
And detection means for detecting a part of your body Yu over The,
Recognized when part of the state indicates a transfer operation of the virtual object, the display state of the image of the virtual object, the presence of a real object that overlaps with the image of the virtual object before Symbol body detected by the detection means and display control means for behenate rather than control to change the display state as possible,
The information processing system characterized by obtaining Bei a. 現実物体に仮想オブジェクトの画像を重畳して表示することが可能な表示装置と、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置と、を含む情報処理システムの制御方法であって、A display device capable of displaying an image of a virtual object superimposed on a real object, storage means for storing the position of the virtual object in a three-dimensional space, and a user who has experienced using the display device Image generating means for generating an image of a virtual object to be displayed on the display device according to the position and orientation of the virtual object in a three-dimensional space, and the image of the virtual object generated by the image generating means An information processing apparatus comprising: an output unit that outputs to the apparatus;
ユーザの身体の一部を検出する検出工程と、A detection step of detecting a part of the user's body;
前記検出工程で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御工程と、When the state of the part of the body detected in the detection step indicates the delivery operation of the virtual object, the display state of the image of the virtual object can recognize the presence of a real object that overlaps the image of the virtual object A display control process for controlling to change to the display state;
を含むことを特徴とする情報処理システムの制御方法。A method for controlling an information processing system comprising: 現実物体に仮想オブジェクトの画像を重畳して表示することが可能な表示装置と、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置と、を含む情報処理システムを制御するプログラムであって、A display device capable of displaying an image of a virtual object superimposed on a real object, storage means for storing the position of the virtual object in a three-dimensional space, and a user who has experienced using the display device Image generating means for generating an image of a virtual object to be displayed on the display device according to the position and orientation of the virtual object in a three-dimensional space, and the image of the virtual object generated by the image generating means An information processing apparatus comprising: an output means for outputting to an apparatus; and a program for controlling an information processing system comprising:
前記情報処理システムを、The information processing system;
ユーザの身体の一部を検出する検出手段と、Detecting means for detecting a part of the user's body;
前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御手段として機能させることを特徴とする情報処理システムのプログラム。When the state of the part of the body detected by the detection means indicates the delivery operation of the virtual object, the display state of the image of the virtual object can recognize the presence of a real object that overlaps the image of the virtual object A program for an information processing system, which functions as display control means for controlling to change to a display state.
JP2014157180A 2014-07-31 2014-07-31 Information processing apparatus, information processing system, control method thereof, and program Active JP6164177B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014157180A JP6164177B2 (en) 2014-07-31 2014-07-31 Information processing apparatus, information processing system, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014157180A JP6164177B2 (en) 2014-07-31 2014-07-31 Information processing apparatus, information processing system, control method thereof, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017121689A Division JP6376251B2 (en) 2017-06-21 2017-06-21 Information processing apparatus, information processing system, control method thereof, and program

Publications (3)

Publication Number Publication Date
JP2016033800A JP2016033800A (en) 2016-03-10
JP2016033800A5 true JP2016033800A5 (en) 2016-09-23
JP6164177B2 JP6164177B2 (en) 2017-07-19

Family

ID=55452649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014157180A Active JP6164177B2 (en) 2014-07-31 2014-07-31 Information processing apparatus, information processing system, control method thereof, and program

Country Status (1)

Country Link
JP (1) JP6164177B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021079615A1 (en) * 2019-10-21 2021-04-29 ソニー株式会社 Information processing device, information processing system, information processing method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3517639B2 (en) * 2000-09-27 2004-04-12 キヤノン株式会社 Mixed reality presentation apparatus and method, and storage medium
JP2005128877A (en) * 2003-10-24 2005-05-19 Canon Inc Complex sense of reality providing system and method, information processing device and method, and computer program
JP5055402B2 (en) * 2010-05-17 2012-10-24 株式会社エヌ・ティ・ティ・ドコモ Object display device, object display system, and object display method
JP2012058838A (en) * 2010-09-06 2012-03-22 Sony Corp Image processor, program, and image processing method
US9619911B2 (en) * 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties

Similar Documents

Publication Publication Date Title
JP2015201217A5 (en)
JP2017059062A5 (en)
JP2018534687A5 (en)
JP2014137396A5 (en)
JP2017054201A5 (en)
JP2015156889A5 (en)
JP2011175439A5 (en)
EP2778853A3 (en) Object control method and apparatus of user device
EP2497548A3 (en) Information processing program, information processing apparatus, information processing system, and information processing method
JP2019501747A5 (en)
JP2016081476A5 (en)
JP2018109835A5 (en)
JP2019039988A5 (en)
JP2016091192A5 (en)
JP2018073172A5 (en)
EP2613243A3 (en) Display apparatus and controlling method thereof
JP2011192075A5 (en)
JP2017526096A5 (en)
JP2018075259A5 (en)
JP2016057814A5 (en)
JP2018010496A5 (en)
JP2019009816A5 (en)
JP2017103787A5 (en)
JP6428020B2 (en) GUI device
KR102183857B1 (en) Method for controlling wearable computing device and system thereof