JP2019032713A5 - - Google Patents

Download PDF

Info

Publication number
JP2019032713A5
JP2019032713A5 JP2017153553A JP2017153553A JP2019032713A5 JP 2019032713 A5 JP2019032713 A5 JP 2019032713A5 JP 2017153553 A JP2017153553 A JP 2017153553A JP 2017153553 A JP2017153553 A JP 2017153553A JP 2019032713 A5 JP2019032713 A5 JP 2019032713A5
Authority
JP
Japan
Prior art keywords
information processing
virtual space
operation menu
dimensional pointer
generation means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017153553A
Other languages
Japanese (ja)
Other versions
JP7210131B2 (en
JP2019032713A (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2017153553A priority Critical patent/JP7210131B2/en
Priority claimed from JP2017153553A external-priority patent/JP7210131B2/en
Publication of JP2019032713A publication Critical patent/JP2019032713A/en
Publication of JP2019032713A5 publication Critical patent/JP2019032713A5/ja
Priority to JP2022009944A priority patent/JP2022058753A/en
Application granted granted Critical
Publication of JP7210131B2 publication Critical patent/JP7210131B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明の情報処理装置は、仮想空間における三次元ポインタの位置姿勢とオブジェクトの形状および位置姿勢とに基づいて、前記三次元ポインタが前記オブジェクトを指しているかを判定する判定手段と、前記三次元ポインタが前記オブジェクトを指していると判定された場合、前記オブジェクトに関わる操作メニューを生成し、前記三次元ポインタが前記オブジェクトを指し示していないと判定された場合、アプリケーション操作に関わる操作メニューを生成する第１の生成手段と、前記第１の生成手段により生成された操作メニューと仮想空間に係るデータとに基づいて仮想空間画像を生成する第２の生成手段と、前記第２の生成手段により生成された前記仮想空間画像と現実空間画像とを重畳し、複合現実画像を生成する第３の生成手段と、前記第３の生成手段により生成された前記複合現実画像を出力する出力手段と、を有する。 The information processing apparatus of the present invention includes a determination means for determining whether or not the three-dimensional pointer points to the object based on the position and orientation of the three-dimensional pointer in the virtual space and the shape and position and orientation of the object, and the three-dimensional object. If the pointer is determined to be pointing to the object, and generates an operation menu relating to the object, if the three-dimensional pointer is determined not to point to the object, and generates an operation menu relating to the application operation Generated by the first generation means, the second generation means for generating a virtual space image based on the operation menu generated by the first generation means and the data related to the virtual space, and the second generation means. A third generation means for superimposing the virtual space image and the real space image to generate the mixed reality image, and an output means for outputting the mixed reality image generated by the third generation means. Have.

Claims (15)

仮想空間における三次元ポインタの位置姿勢とオブジェクトの形状および位置姿勢とに基づいて、前記三次元ポインタが前記オブジェクトを指しているかを判定する判定手段と、
前記三次元ポインタが前記オブジェクトを指していると判定された場合、前記オブジェクトに関わる操作メニューを生成し、前記三次元ポインタが前記オブジェクトを指し示していないと判定された場合、アプリケーション操作に関わる操作メニューを生成する第１の生成手段と、
前記第１の生成手段により生成された操作メニューと仮想空間に係るデータとに基づいて仮想空間画像を生成する第２の生成手段と、
前記第２の生成手段により生成された前記仮想空間画像と現実空間画像とを重畳し、複合現実画像を生成する第３の生成手段と、
前記第３の生成手段により生成された前記複合現実画像を出力する出力手段と、
を有する情報処理装置。 A determination means for determining whether the three-dimensional pointer points to the object based on the position / orientation of the three-dimensional pointer and the shape and position / orientation of the object in the virtual space.
If the three-dimensional pointer is determined to be pointing to the object, and generates an operation menu relating to the object, if the three-dimensional pointer is determined not to point to the object, an operation menu relating to the application operation With the first generation means to generate
A second generation means for generating a virtual space image based on the operation menu generated by the first generation means and data related to the virtual space, and
A third generation means for generating a mixed reality image by superimposing the virtual space image and the real space image generated by the second generation means,
An output means for outputting the mixed reality image generated by the third generation means, and
Information processing device with. 仮想空間における三次元ポインタの位置姿勢とオブジェクトの形状および位置姿勢とに基づいて、前記三次元ポインタが前記オブジェクトを指しているかを判定する判定手段と、
前記三次元ポインタが前記オブジェクトを指していると判定された場合、前記オブジェクトに関わる操作メニューを生成し、前記三次元ポインタが前記オブジェクトを指し示していないと判定された場合、アプリケーション操作に関わる操作メニューを生成する第１の生成手段と、
前記第１の生成手段により生成された操作メニューと仮想空間に係るデータとに基づいて仮想空間画像を生成する第２の生成手段と、
前記第２の生成手段により生成された前記仮想空間画像を出力する出力手段と、
を有する情報処理装置。 A determination means for determining whether the three-dimensional pointer points to the object based on the position / orientation of the three-dimensional pointer and the shape and position / orientation of the object in the virtual space.
If the three-dimensional pointer is determined to be pointing to the object, and generates an operation menu relating to the object, if the three-dimensional pointer is determined not to point to the object, an operation menu relating to the application operation With the first generation means to generate
A second generation means for generating a virtual space image based on the operation menu generated by the first generation means and data related to the virtual space, and
An output means for outputting the virtual space image generated by the second generation means, and
Information processing device with. ユーザの位置姿勢を取得する取得手段を更に有し、
前記第２の生成手段は、前記第１の生成手段により生成された操作メニューと前記取得手段により取得された前記ユーザの位置姿勢と前記仮想空間に係るデータとに基づいて前記仮想空間画像を生成する請求項１又は２記載の情報処理装置。 Further having an acquisition means for acquiring the position and posture of the user,
The second generation means generates the virtual space image based on the operation menu generated by the first generation means , the position / orientation of the user acquired by the acquisition means, and the data related to the virtual space. The information processing apparatus according to claim 1 or 2. 前記第１の生成手段は、前記三次元ポインタがオブジェクトを指している場合であって、前記オブジェクトの種類が現実モデルである場合、現実モデルに対して操作を行う操作メニューを生成し、前記三次元ポインタがオブジェクトを指している場合であって、前記オブジェクトの種類が仮想物体である場合、仮想物体に対して操作を行う操作メニューを生成する請求項１乃至３何れか１項記載の情報処理装置。 The first generation means generates an operation menu for performing an operation on a real model when the three-dimensional pointer points to an object and the type of the object is a real model, and the tertiary generation means. The information processing according to any one of claims 1 to 3, wherein when the original pointer points to an object and the type of the object is a virtual object , an operation menu for performing an operation on the virtual object is generated. apparatus. モードを選択する選択手段を更に有し、
前記第１の生成手段は、前記三次元ポインタがオブジェクトを指している場合であって、前記オブジェクトの種類が現実モデルである場合、前記現実モデルに対して前記選択手段によって選択されたモードに応じた操作を行う操作メニューを生成する請求項４記載の情報処理装置。 It also has a selection means to select the mode,
When the three-dimensional pointer points to an object and the type of the object is a reality model, the first generation means depends on the mode selected by the selection means for the reality model. The information processing apparatus according to claim 4, wherein an operation menu for performing the operation is generated. 前記モードが操作編集モードの場合、前記第１の生成手段は、前記現実モデルに対して操作を行う操作メニューを生成する請求項５記載の情報処理装置。 The information processing device according to claim 5, wherein when the mode is an operation edit mode, the first generation means generates an operation menu for performing an operation on the reality model. 前記モードが追加編集モードの場合、前記第１の生成手段は、前記現実モデルに対して追加操作を行う操作メニューを生成する請求項５記載の情報処理装置。 The information processing device according to claim 5, wherein when the mode is an additional editing mode, the first generation means generates an operation menu for performing an additional operation on the reality model. 前記第１の生成手段は、前記三次元ポインタがオブジェクトを指している場合、前記オブジェクトの属性に応じて生成するオブジェクトに関わる操作メニューを変更する請求項１乃至４何れか１項記載の情報処理装置。 The information processing according to any one of claims 1 to 4, wherein when the three-dimensional pointer points to an object, the first generation means changes an operation menu related to the object to be generated according to the attribute of the object. apparatus. 前記出力手段は、前記複合現実画像を頭部装着型表示装置に出力する請求項１記載の情報処理装置。 The information processing device according to claim 1, wherein the output means outputs the mixed reality image to a head-mounted display device. 前記出力手段は、前記複合現実画像をビデオシースルー型の表示装置に出力する請求項１記載の情報処理装置。 The information processing device according to claim 1, wherein the output means outputs the mixed reality image to a video see-through type display device. 前記出力手段は、前記仮想空間画像を頭部装着型表示装置に出力する請求項２記載の情報処理装置。 The information processing device according to claim 2, wherein the output means outputs the virtual space image to a head-mounted display device. 前記出力手段は、前記仮想空間画像を光学シースルー型の表示装置に出力する請求項２記載の情報処理装置。 The information processing device according to claim 2, wherein the output means outputs the virtual space image to an optical see-through type display device. 情報処理装置が実行する情報処理方法であって、
仮想空間における三次元ポインタの位置姿勢とオブジェクトの形状および位置姿勢とに基づいて、前記三次元ポインタが前記オブジェクトを指しているかを判定する判定工程と、
前記三次元ポインタが前記オブジェクトを指していると判定された場合、前記オブジェクトに関わる操作メニューを生成し、前記三次元ポインタが前記オブジェクトを指し示していないと判定された場合、アプリケーション操作に関わる操作メニューを生成する第１の生成工程と、
前記第１の生成工程により生成された操作メニューと仮想空間に係るデータとに基づいて仮想空間画像を生成する第２の生成工程と、
前記第２の生成工程により生成された前記仮想空間画像と現実空間画像とを重畳し、複合現実画像を生成する第３の生成工程と、
前記第３の生成工程により生成された前記複合現実画像を出力する出力工程と、
を含む情報処理方法。 It is an information processing method executed by an information processing device.
A determination step of determining whether the three-dimensional pointer points to the object based on the position / orientation of the three-dimensional pointer and the shape and position / orientation of the object in the virtual space.
If the three-dimensional pointer is determined to be pointing to the object, and generates an operation menu relating to the object, if the three-dimensional pointer is determined not to point to the object, an operation menu relating to the application operation The first generation step to generate
A second generation step of generating a virtual space image based on the operation menu generated by the first generation step and data related to the virtual space, and
A third generation step of superimposing the virtual space image and the real space image generated by the second generation step to generate a mixed reality image, and
An output step of outputting the mixed reality image generated by the third generation step, and
Information processing methods including. 情報処理装置が実行する情報処理方法であって、
仮想空間における三次元ポインタの位置姿勢とオブジェクトの形状および位置姿勢とに基づいて、前記三次元ポインタが前記オブジェクトを指しているかを判定する判定工程と、
前記三次元ポインタが前記オブジェクトを指していると判定された場合、前記オブジェクトに関わる操作メニューを生成し、前記三次元ポインタが前記オブジェクトを指し示していないと判定された場合、アプリケーション操作に関わる操作メニューを生成する第１の生成工程と、
前記第１の生成工程により生成された操作メニューと仮想空間に係るデータとに基づいて仮想空間画像を生成する第２の生成工程と、
前記第２の生成工程により生成された前記仮想空間画像を出力する出力工程と、
を含む情報処理方法。 It is an information processing method executed by an information processing device.
A determination step of determining whether the three-dimensional pointer points to the object based on the position / orientation of the three-dimensional pointer and the shape and position / orientation of the object in the virtual space.
If the three-dimensional pointer is determined to be pointing to the object, and generates an operation menu relating to the object, if the three-dimensional pointer is determined not to point to the object, an operation menu relating to the application operation The first generation step to generate
A second generation step of generating a virtual space image based on the operation menu generated by the first generation step and data related to the virtual space, and
An output step of outputting the virtual space image generated by the second generation step, and
Information processing methods including. コンピュータを、請求項１乃至１２何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the information processing apparatus according to any one of claims 1 to 12.
JP2017153553A 2017-08-08 2017-08-08 Information processing device, information processing method and program Active JP7210131B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017153553A JP7210131B2 (en) 2017-08-08 2017-08-08 Information processing device, information processing method and program
JP2022009944A JP2022058753A (en) 2017-08-08 2022-01-26 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017153553A JP7210131B2 (en) 2017-08-08 2017-08-08 Information processing device, information processing method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022009944A Division JP2022058753A (en) 2017-08-08 2022-01-26 Information processing apparatus, information processing method, and program

Publications (3)

Publication Number Publication Date
JP2019032713A JP2019032713A (en) 2019-02-28
JP2019032713A5 true JP2019032713A5 (en) 2020-09-10
JP7210131B2 JP7210131B2 (en) 2023-01-23

Family

ID=65523449

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017153553A Active JP7210131B2 (en) 2017-08-08 2017-08-08 Information processing device, information processing method and program
JP2022009944A Pending JP2022058753A (en) 2017-08-08 2022-01-26 Information processing apparatus, information processing method, and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022009944A Pending JP2022058753A (en) 2017-08-08 2022-01-26 Information processing apparatus, information processing method, and program

Country Status (1)

Country Link
JP (2) JP7210131B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7419003B2 (en) 2019-09-12 2024-01-22 株式会社日立システムズ Information display device, information display method, and information display system
JP7016438B1 (en) 2021-03-29 2022-02-18 グリー株式会社 Information processing systems, information processing methods and computer programs

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0447368A (en) * 1990-06-12 1992-02-17 Nippon Kensetsu Computer Kk Computer design support system
JP2002175114A (en) * 2000-12-07 2002-06-21 Nissin Electric Co Ltd Method for dynamically changing popup menu
JP2002049298A (en) * 2001-08-17 2002-02-15 Ohbayashi Corp Program and method for predicting wind environment
JP2003175114A (en) * 2001-12-11 2003-06-24 Unitika Ltd Sterilization antiseptic cotton
JP4343637B2 (en) * 2003-09-30 2009-10-14 キヤノン株式会社 Operation instruction method and apparatus
JP2006048145A (en) * 2004-07-30 2006-02-16 Japan Research Institute Ltd Business modeling support method and business modeling support program
WO2010075456A1 (en) * 2008-12-22 2010-07-01 Intelligent Spatial Technologies, Inc. System and method for initiating actions and providing feedback by pointing at object of interest
JP4911438B2 (en) * 2009-12-16 2012-04-04 横河電機株式会社 Operation monitoring device
JP5143856B2 (en) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント 3D image display device and 3D image display method
WO2012020497A1 (en) * 2010-08-12 2012-02-16 富士通株式会社 Information processing device and information processing program
JP2013084096A (en) * 2011-10-07 2013-05-09 Sharp Corp Information processing apparatus
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
JP6684559B2 (en) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント Program and image generation device

Similar Documents

Publication Publication Date Title
US11678004B2 (en) Recording remote expert sessions
JP6493395B2 (en) Image processing apparatus and image processing method
JP6022732B2 (en) Content creation tool
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
US20180350145A1 (en) Augmented Reality Devices and Methods Thereof for Rendering Virtual Objects
JP6013642B2 (en) Campaign optimization for experience content datasets
JP2016512363A5 (en)
JP2011028309A5 (en)
US20150185825A1 (en) Assigning a virtual user interface to a physical object
JP2013235373A5 (en)
JP7208549B2 (en) VIRTUAL SPACE CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROGRAM
JP2006127158A (en) Image processing method and image processor
JP6190035B2 (en) Content delivery segmentation
CN110573992B (en) Editing augmented reality experiences using augmented reality and virtual reality
US20150088474A1 (en) Virtual simulation
CN108257205B (en) Three-dimensional model construction method, device and system
KR20160097430A (en) Apparatus and methdo for generating animation
KR101523328B1 (en) Method of providing pose-library for three-dimensional animation character, apparatus performing the same and storage media storing the same
US11074747B2 (en) Computer-aided techniques for designing detailed three-dimensional objects
JP2019032713A5 (en)
JP2022058753A (en) Information processing apparatus, information processing method, and program
JP2013008257A (en) Image composition program
CN113678173A (en) Method and apparatus for graph-based placement of virtual objects
JP2017084215A (en) Information processing system, control method thereof, and program
JP2015121892A (en) Image processing apparatus, and image processing method