JP2022058753A - Information processing apparatus, information processing method, and program - Google Patents

Information processing apparatus, information processing method, and program Download PDF

Info

Publication number
JP2022058753A
JP2022058753A JP2022009944A JP2022009944A JP2022058753A JP 2022058753 A JP2022058753 A JP 2022058753A JP 2022009944 A JP2022009944 A JP 2022009944A JP 2022009944 A JP2022009944 A JP 2022009944A JP 2022058753 A JP2022058753 A JP 2022058753A
Authority
JP
Japan
Prior art keywords
menu
information processing
virtual space
dimensional pointer
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022009944A
Other languages
Japanese (ja)
Inventor
奈緒子 小形
Naoko Ogata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022009944A priority Critical patent/JP2022058753A/en
Publication of JP2022058753A publication Critical patent/JP2022058753A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an information processing apparatus, a method therefor, and a program therefor which generates a menu that can properly be displayed in response to an experience state.
SOLUTION: In an information processing system, an information processing apparatus 1000 connected to a display device mounted on a head of a user for displaying an image of a virtual space has an object selection determination unit 1060 for, based on a positional attitude of a three-dimensional pointer and a positional attitude of an object in the virtual space, determining whether or not the three-dimensional pointer points the object, and a menu generating unit for, if the three-dimensional pointer points the object, setting an object operation menu at a position based on the position from which the object is pointed in a direction opposed to a visual line direction based on a positional attitude of the display device and for, if the three-dimensional pointer does not point the object, setting an application operation menu for an application independent of the object at a position ahead of the object in a direction opposed to the visual line direction.
SELECTED DRAWING: Figure 1
COPYRIGHT: (C)2022,JPO&INPIT

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method and a program.

近年、現実空間と仮想空間とのつなぎ目のない結合を目的とした、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）システムの研究が盛んに行われている。これらのシステムの提示を行う画像表示装置は、例えば頭部装着型ディスプレイ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ：ＨＭＤ）を用いることができる。ＭＲシステムの研究が盛んになるにつれ、仮想物体の移動や複製、表示非表示の制御等、ＭＲにおいて求められる操作は多種多様となっている。操作を行うためのメニューをＨＭＤに表示する方法として適切なものが求められる。
特許文献１の方法では、視線により選択されたオブジェクトを基点としてメニューを表示し、更に、選択したメニューが次階層のメニューを持つ場合、次階層が前階層を覆わないように表示する。 In recent years, research on mixed reality (MR) systems has been actively conducted for the purpose of seamless connection between real space and virtual space. As the image display device for presenting these systems, for example, a head-mounted display (HMD) can be used. As research on MR systems has become more active, there are a wide variety of operations required for MR, such as movement and duplication of virtual objects and control of display / non-display. An appropriate method for displaying a menu for performing an operation on the HMD is required.
In the method of Patent Document 1, the menu is displayed with the object selected by the line of sight as the base point, and when the selected menu has the menu of the next layer, the next layer is displayed so as not to cover the previous layer.

特開２０１７－５８９７１号公報Japanese Unexamined Patent Publication No. 2017-58971

しかしながら、特許文献１の方法では、オブジェクトに対して行う操作が増えるほど、メニュー階層が深くなり、視認性が低下する課題があった。更に、仮想物体に依らない操作にはそれに適した形式のメニュー表示が必要であり、仮想物体に対してと、仮想物体以外に対してと、の操作メニューを適切に切り替える必要がある課題があった。 However, the method of Patent Document 1 has a problem that the menu hierarchy becomes deeper and the visibility is lowered as the number of operations performed on the object increases. Furthermore, operations that do not depend on virtual objects require a menu display in a format suitable for them, and there is a problem that it is necessary to appropriately switch the operation menu between virtual objects and non-virtual objects. rice field.

本発明の情報処理装置は、ユーザの頭部に装着されて仮想空間の画像を表示する表示装置と接続された情報処理装置であって、前記表示装置の位置姿勢を取得する第１の取得手段と、前記ユーザの操作に基づいて前記仮想空間における位置を指定するための三次元ポインタの位置姿勢を取得する第２の取得手段と、前記仮想空間において、前記三次元ポインタの位置姿勢とオブジェクトの位置姿勢とに基づいて、前記三次元ポインタが前記オブジェクトを指しているかを判定する判定手段と、前記三次元ポインタが前記オブジェクトを指していると判定された場合、当該三次元ポインタが当該オブジェクトを指している位置に基づく位置に、前記表示装置の位置姿勢に基づく視線方向に対向する向きで、当該オブジェクトを対象とするオブジェクト操作メニューを設定し、前記三次元ポインタが前記オブジェクトを指していないと判定された場合、当該オブジェクトより手前の位置に、前記視線方向に対向する向きで、当該オブジェクトによらないアプリケーションを対象とするアプリケーション操作メニューを設定する設定手段と、前記設定手段により設定された操作メニューと前記仮想空間に係るデータとに基づいて仮想空間画像を前記表示装置に表示させる表示制御手段と、を有する。 The information processing device of the present invention is an information processing device attached to a user's head and connected to a display device that displays an image of a virtual space, and is a first acquisition means for acquiring the position and orientation of the display device. A second acquisition means for acquiring the position / orientation of the three-dimensional pointer for designating the position in the virtual space based on the operation of the user, and the position / orientation of the three-dimensional pointer and the object in the virtual space. A determination means for determining whether the three-dimensional pointer points to the object based on the position and orientation, and when it is determined that the three-dimensional pointer points to the object, the three-dimensional pointer points to the object. An object operation menu for the object is set at a position based on the pointing position in a direction facing the line-of-sight direction based on the position and orientation of the display device, and the three-dimensional pointer does not point to the object. If it is determined, a setting means for setting an application operation menu for an application that does not depend on the object in a position facing the line-of-sight direction at a position in front of the object, and an operation set by the setting means. It has a display control means for displaying a virtual space image on the display device based on a menu and data related to the virtual space.

本発明によれば、体験状況に応じて適切に表示可能なメニューを生成することができる。 According to the present invention, it is possible to generate a menu that can be appropriately displayed according to the experience situation.

実施形態１の情報処理システムを構成する各装置の機能構成を示す図である。It is a figure which shows the functional structure of each apparatus which constitutes the information processing system of Embodiment 1. FIG. 情報処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of an information processing apparatus. 実施形態１の情報処理の一例を示すフローチャートである。It is a flowchart which shows an example of the information processing of Embodiment 1. FIG. オブジェクトメニューとアプリケーションメニューとの表示位置を示す図である。It is a figure which shows the display position of an object menu and an application menu. 実施形態２の情報処理システムを構成する各装置の機能構成を示す図である。It is a figure which shows the functional structure of each apparatus which constitutes the information processing system of Embodiment 2. 実施形態２の情報処理の一例を示すフローチャートである。It is a flowchart which shows an example of the information processing of Embodiment 2.

以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜実施形態１＞
図１は、情報処理システムを構成する各装置の機能構成の一例を示す図である。情報システムは、情報処理装置１０００と、ＨＭＤ１２００と、画像表示装置１３００と、操作入力装置１４００と、を含む。ＨＭＤ１２００は、頭部装着型表示装置の一例である。
情報処理装置１０００は、撮像画像取得部１０１０、位置姿勢計測部１０２０、視錐台算出部１０３０、仮想データ保持部１０４０、三次元ポインタ位置姿勢取得部１０５０、オブジェクト選択判定部１０６０、モード選択部１０７０を機能構成として含む。更に、情報処理装置１０００は、メニュー形式保持部１０８０、メニュー操作受取部１０９０、メニュー形式決定部１１００、メニュー生成部１１１０、メニュー実行部１１２０、仮想空間生成部１１３０、複合現実画像生成部１１４０を機能構成として含む。
ＨＭＤ１２００は、画像撮像部１２１０、画像表示部１２２０、画角保持部１２３０を機能構成として含む。ここで、情報処理装置１０００とＨＭＤ１２００とはデータ通信が可能なように接続されている。情報処理装置１０００とＨＭＤ１２００との間の接続は、有線、無線の何れであってもよい。 <Embodiment 1>
FIG. 1 is a diagram showing an example of a functional configuration of each device constituting an information processing system. The information system includes an information processing device 1000, an HMD 1200, an image display device 1300, and an operation input device 1400. The HMD1200 is an example of a head-mounted display device.
The information processing apparatus 1000 includes a captured image acquisition unit 1010, a position / orientation measurement unit 1020, a viewing frustum calculation unit 1030, a virtual data holding unit 1040, a three-dimensional pointer position / orientation acquisition unit 1050, an object selection determination unit 1060, and a mode selection unit 1070. Is included as a functional configuration. Further, the information processing apparatus 1000 functions as a menu format holding unit 1080, a menu operation receiving unit 1090, a menu format determining unit 1100, a menu generation unit 1110, a menu execution unit 1120, a virtual space generation unit 1130, and a mixed reality image generation unit 1140. Included as a configuration.
The HMD 1200 includes an image imaging unit 1210, an image display unit 1220, and an angle of view holding unit 1230 as functional configurations. Here, the information processing apparatus 1000 and the HMD 1200 are connected so that data communication can be performed. The connection between the information processing apparatus 1000 and the HMD 1200 may be either wired or wireless.

先ず、情報処理装置１０００について説明する。
図２は、情報処理装置１０００のハードウェア構成の一例を示す図である。ＣＰＵ２０１０は、バス２０００を介して接続する各デバイスを統括的に制御する。ＣＰＵ２０１０は、読み出し専用メモリ（ＲＯＭ）２０２０に記憶されたプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）のプログラム、本実施形態に係る各処理プログラム、デバイスドライバのプログラム等はＲＯＭ２０２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）２０３０に一時記憶され、ＣＰＵ２０１０によって適宜実行される。また、入力Ｉ／Ｆ２０４０は、外部の装置（表示装置や操作装置等）から情報処理装置１０００で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ２０５０は、外部の装置（表示装置）へ表示装置が処理可能な形式で出力信号として出力する。
ＣＰＵ２０１０がＲＯＭ２０２０に記憶されたプログラムに基づき処理を実行することによって、図１や後述する図５の情報処理装置１０００の機能構成、及び後述する図３及び図６のフローチャートの処理が実現される。
ＨＭＤ１２００も少なくともＣＰＵやＲＯＭ等のメモリを有し、ＨＭＤ１２００のＣＰＵがＨＭＤ１２００のメモリに記憶されているプログラムに基づき処理を実行することによって、図１や後述する図５のＨＭＤ１２００の機能構成等が実現される。 First, the information processing apparatus 1000 will be described.
FIG. 2 is a diagram showing an example of the hardware configuration of the information processing apparatus 1000. The CPU 2010 comprehensively controls each device connected via the bus 2000. The CPU 2010 reads and executes the program stored in the read-only memory (ROM) 2020. The operating system (OS) program, each processing program according to the present embodiment, the device driver program, and the like are stored in the ROM 2020, temporarily stored in the random access memory (RAM) 2030, and appropriately executed by the CPU 2010. Further, the input I / F 2040 is input as an input signal from an external device (display device, operating device, etc.) in a format that can be processed by the information processing device 1000. Further, the output I / F 2050 is output as an output signal to an external device (display device) in a format that can be processed by the display device.
By the CPU 2010 executing the process based on the program stored in the ROM 2020, the functional configuration of the information processing apparatus 1000 of FIG. 1 and FIG. 5 described later, and the process of the flowcharts of FIGS. 3 and 6 described later are realized.
The HMD1200 also has at least a memory such as a CPU and a ROM, and the CPU of the HMD1200 executes processing based on a program stored in the memory of the HMD1200, thereby realizing the functional configuration of the HMD1200 of FIG. 1 and FIG. Will be done.

撮像画像取得部１０１０は、画像撮像部１２１０により撮像された現実空間の画像（現実空間画像）を取得し、位置姿勢計測部１０２０、複合現実画像生成部１１４０に入力する。
位置姿勢計測部１０２０は、撮像画像取得部１０１０により取得された現実空間画像を用いて画像処理を行い、画像中の点や線等の特徴的な情報（特徴情報）を抽出することで位置姿勢を計測する。位置姿勢計測部１０２０は、位置姿勢情報を視錐台算出部１０３０及び複合現実画像生成部１１４０に入力する。本実施形態では、画像処理による位置姿勢計測を説明するが、位置姿勢計測部１０２０は、赤外光を用いて位置姿勢を計測してもよいし、超音波を用いて位置姿勢を計測してもよいし、磁気センサを用いて位置姿勢を計測してもよい。更に位置姿勢計測部１０２０は、奥行きセンサを用いて位置姿勢を計測してもよいし、機械的に位置姿勢を計測してもよい。
視錐台算出部１０３０は、画角保持部１２３０により得られたＨＭＤの画角情報と位置姿勢計測部１０２０により得られたＨＭＤ位置とに基づき、左目右目各々の視錐台を算出する。視錐台を算出するための技術については既知の事実であるので、これについての詳細な説明は省略する。視錐台算出部１０３０は、算出結果をアプリケーションメニュー位置姿勢算出部１１１５に入力する。
仮想データ保持部１０４０は、仮想空間を構成する仮想物体に係るデータ（形状情報や位置姿勢情報）や仮想空間中に照射する光源に係るデータ等、仮想空間のデータを保持し、オブジェクト選択判定部１０６０及び仮想空間生成部１１３０に入力する。 The captured image acquisition unit 1010 acquires an image of the real space (real space image) captured by the image imaging unit 1210 and inputs it to the position / posture measurement unit 1020 and the mixed reality image generation unit 1140.
The position / posture measuring unit 1020 performs image processing using the real space image acquired by the captured image acquisition unit 1010, and extracts characteristic information (characteristic information) such as points and lines in the image to obtain the position / attitude. To measure. The position / attitude measurement unit 1020 inputs the position / attitude information to the view frustum calculation unit 1030 and the mixed reality image generation unit 1140. In the present embodiment, the position / posture measurement by image processing will be described, but the position / posture measuring unit 1020 may measure the position / posture using infrared light, or may measure the position / posture using ultrasonic waves. Alternatively, the position and orientation may be measured using a magnetic sensor. Further, the position / posture measuring unit 1020 may measure the position / posture using the depth sensor, or may measure the position / posture mechanically.
The viewing frustum calculation unit 1030 calculates the viewing frustum for each of the left eye and the right eye based on the angle of view information of the HMD obtained by the angle of view holding unit 1230 and the HMD position obtained by the position / orientation measuring unit 1020. Since the technique for calculating the view frustum is a known fact, a detailed description thereof will be omitted. The viewing frustum calculation unit 1030 inputs the calculation result to the application menu position / orientation calculation unit 1115.
The virtual data holding unit 1040 holds virtual space data such as data related to virtual objects constituting the virtual space (shape information and position / orientation information) and data related to a light source irradiating into the virtual space, and is an object selection determination unit. Input to 1060 and virtual space generation unit 1130.

三次元ポインタ位置姿勢取得部１０５０は、仮想物体を選択するための三次元ポインタの位置姿勢を取得し、オブジェクト選択判定部１０６０に入力する。三次元ポインタはユーザが仮想物体を選択するために使用するツールである。本実施形態において、ユーザが任意に動かすことのできるレーザー形状の仮想物体とするが、これに限定されない。即ち、注視点を三次元ポインタとして使用する方法であってもよいし、仮想空間で位置姿勢取得可能な、例えば、手のようなユーザの身体の一部を三次元ポインタとして使用してもよい。
オブジェクト選択判定部１０６０は、仮想データ保持部１０４０で保持されている仮想空間データのうち仮想物体の形状情報及び位置姿勢情報を取得する。更に、オブジェクト選択判定部１０６０は、三次元ポインタ位置姿勢取得部１０５０により取得された三次元ポインタの位置姿勢から三次元ポインタが仮想物体と交差しているか否かを判定する。交差している場合、オブジェクト選択判定部１０６０は、仮想物体を選択していると見做し、選択している仮想物体情報をメニュー形式決定部１１００に入力する。更に、オブジェクト選択判定部１０６０は、仮想物体と三次元ポインタとの交点情報をオブジェクトメニュー位置姿勢算出部１１１３に入力する。
モード選択部１０７０は、複数のモードからモードを選択する。本実施形態では仮想物体を操作する操作編集モードとユーザが寸法線や断面等の追加を行う追加編集モードとの場合を説明するが、これに限定されない。即ち、仮想物体の干渉判定を行う干渉判定モードや複合現実空間の体験記録をとる記録モードであってもよい。モード選択部１０７０は、選択したモード情報をオブジェクトメニュー項目設定部１１１４に入力する。 The three-dimensional pointer position / orientation acquisition unit 1050 acquires the position / orientation of the three-dimensional pointer for selecting a virtual object, and inputs the position / orientation to the object selection determination unit 1060. A 3D pointer is a tool that a user uses to select a virtual object. In the present embodiment, it is a laser-shaped virtual object that can be arbitrarily moved by the user, but the present invention is not limited to this. That is, a method of using the gazing point as a three-dimensional pointer may be used, or a part of the user's body such as a hand, which can acquire the position and posture in the virtual space, may be used as the three-dimensional pointer. ..
The object selection determination unit 1060 acquires the shape information and the position / orientation information of the virtual object among the virtual space data held by the virtual data holding unit 1040. Further, the object selection determination unit 1060 determines whether or not the three-dimensional pointer intersects the virtual object from the position / orientation of the three-dimensional pointer acquired by the three-dimensional pointer position / orientation acquisition unit 1050. When they intersect, the object selection determination unit 1060 considers that a virtual object is selected, and inputs the selected virtual object information to the menu format determination unit 1100. Further, the object selection determination unit 1060 inputs the intersection information between the virtual object and the three-dimensional pointer into the object menu position / orientation calculation unit 1113.
The mode selection unit 1070 selects a mode from a plurality of modes. In the present embodiment, the case of the operation edit mode for operating the virtual object and the additional edit mode for adding the dimension line, the cross section, etc. by the user will be described, but the present invention is not limited to this. That is, it may be an interference determination mode for determining interference of a virtual object or a recording mode for recording an experience in a mixed reality space. The mode selection unit 1070 inputs the selected mode information to the object menu item setting unit 1114.

メニュー形式保持部１０８０は、仮想物体選択時に表示される仮想物体に関わる操作メニュー(オブジェクトメニュー)と仮想物体に依らないアプリケーション操作に関わるメニュー(アプリケーションメニュー)との二つのメニュー形式を保持する。メニュー形式保持部１０８０は、メニュー形式をメニュー形式決定部１１００に入力する。本実施形態では、ユーザの視界の固定位置に表示されるアプリケーションメニューと、選択した仮想物体の位置に表示されるオブジェクトメニューと、の二つのメニュー形式を説明する。アプリケーションメニューとは、例えば、モード選択や編集操作を元に戻す操作、干渉判定の開始停止制御等を含むメニューを指す。また、オブジェクトメニューとは、選択した仮想物体に対して行う、例えば、仮想物体の移動や表示非表示の制御を含むメニューを指す。本実施形態では、アプリケーションメニューの表示位置を視界の固定位置に表示させる場合を説明するが、これに限定されない。即ち、アプリケーションメニューの表示位置を仮想空間中に固定するメニューとしてもよいし、ユーザにより表示位置を指定させるメニューとしてもよい。更に、アプリケーションメニューの表示位置を視界に固定させるか仮想空間中に固定するかを切り替えることの出来るメニューであってもよい。
メニュー操作受取部１０９０は、操作入力装置１４００から入力されたイベントを受け取り、メニュー形式決定部１１００、メニュー実行部１１２０にメニュー操作を促す。
メニュー形式決定部１１００は、メニュー操作受取部１０９０からメニュー表示操作を受け取ったタイミングでオブジェクト選択判定部１０６０の判定に応じて、メニュー形式保持部１０８０に保持されているメニュー形式のうち適切なメニュー形式を採用する。メニュー形式決定部１１００は、採用したメニュー形式をメニュー生成部１１１０に入力する。本実施形態では、三次元ポインタが仮想物体を選択しているか否かによってメニュー形式を決定する例を説明するが、これに限定されない。即ち、メニュー形式決定部１１００は、操作入力装置１４００から入力されたイベントの違いによってメニュー形式を決定してもよい。 The menu format holding unit 1080 holds two menu formats, that is, an operation menu (object menu) related to a virtual object displayed at the time of selecting a virtual object and a menu (application menu) related to an application operation that does not depend on the virtual object. The menu format holding unit 1080 inputs the menu format to the menu format determining unit 1100. In the present embodiment, two menu formats, an application menu displayed at a fixed position in the user's field of view and an object menu displayed at the position of the selected virtual object, will be described. The application menu refers to a menu including, for example, an operation of undoing a mode selection or editing operation, a start / stop control of interference determination, and the like. Further, the object menu refers to a menu including, for example, control of movement and display / non-display of the virtual object, which is performed on the selected virtual object. In the present embodiment, a case where the display position of the application menu is displayed at a fixed position in the field of view will be described, but the present invention is not limited to this. That is, it may be a menu that fixes the display position of the application menu in the virtual space, or it may be a menu that allows the user to specify the display position. Further, the menu may be a menu that can switch whether the display position of the application menu is fixed in the field of view or fixed in the virtual space.
The menu operation receiving unit 1090 receives the event input from the operation input device 1400, and prompts the menu format determination unit 1100 and the menu execution unit 1120 to operate the menu.
The menu format determination unit 1100 responds to the determination of the object selection determination unit 1060 at the timing when the menu display operation is received from the menu operation receiving unit 1090, and is an appropriate menu format among the menu formats held in the menu format holding unit 1080. Is adopted. The menu format determination unit 1100 inputs the adopted menu format to the menu generation unit 1110. In the present embodiment, an example in which the menu format is determined depending on whether or not the three-dimensional pointer selects a virtual object will be described, but the present invention is not limited to this. That is, the menu format determination unit 1100 may determine the menu format according to the difference in the events input from the operation input device 1400.

メニュー生成部１１１０は、オブジェクトメニュー生成部１１１１とアプリケーションメニュー生成部１１１２とで構成されている。メニュー生成部１１１０は、メニュー形式決定部１１００により決定されたメニュー形式に基づき、オブジェクトメニューを生成するか、アプリケーションメニューを生成するかを決定する。メニュー生成部１１１０は、生成したメニューを仮想空間生成部１１３０に入力する。
オブジェクトメニュー生成部１１１１は、オブジェクトメニュー位置姿勢算出部１１１３とオブジェクトメニュー項目設定部１１１４とで構成されている。オブジェクトメニュー生成部１１１１は、オブジェクトメニュー位置姿勢算出部１１１３により算出された位置に、オブジェクトメニュー項目設定部１１１４で設定されたメニュー項目を表示するようメニューを生成する。オブジェクトメニュー生成部１１１１は、生成したメニューをメニュー生成部１１１０に入力する。
オブジェクトメニュー位置姿勢算出部１１１３は、オブジェクト選択判定部１０６０により取得した三次元ポインタと選択された仮想物体との交点とに基づいてメニューの位置姿勢を算出する。
オブジェクトメニュー項目設定部１１１４は、モード選択部１０７０により選択されたモードに基づき、仮想物体の操作を行うためのメニュー項目を設定する。
アプリケーションメニュー生成部１１１２は、アプリケーションメニュー位置姿勢算出部１１１５とアプリケーションメニュー項目設定部１１１６とで構成されている。アプリケーションメニュー生成部１１１２は、アプリケーションメニュー位置姿勢算出部１１１５により算出された位置に、アプリケーションメニュー項目設定部１１１６で設定されたメニュー項目を表示するよう生成する。アプリケーションメニュー生成部１１１２は、生成したメニューをメニュー生成部１１１０に入力する。
アプリケーションメニュー位置姿勢算出部１１１５は、視錐台算出部１０３０により算出された視錐台情報に基づき、メニューの位置姿勢を算出する。
アプリケーションメニュー項目設定部１１１６は、仮想物体に依らないアプリケーションに関わる操作を行うためのメニュー項目を設定する。 The menu generation unit 1110 is composed of an object menu generation unit 1111 and an application menu generation unit 1112. The menu generation unit 1110 determines whether to generate an object menu or an application menu based on the menu format determined by the menu format determination unit 1100. The menu generation unit 1110 inputs the generated menu to the virtual space generation unit 1130.
The object menu generation unit 1111 is composed of an object menu position / orientation calculation unit 1113 and an object menu item setting unit 1114. The object menu generation unit 1111 generates a menu so as to display the menu item set by the object menu item setting unit 1114 at the position calculated by the object menu position / orientation calculation unit 1113. The object menu generation unit 1111 inputs the generated menu to the menu generation unit 1110.
The object menu position / orientation calculation unit 1113 calculates the position / orientation of the menu based on the intersection of the three-dimensional pointer acquired by the object selection determination unit 1060 and the selected virtual object.
The object menu item setting unit 1114 sets menu items for operating the virtual object based on the mode selected by the mode selection unit 1070.
The application menu generation unit 1112 is composed of an application menu position / orientation calculation unit 1115 and an application menu item setting unit 1116. The application menu generation unit 1112 is generated so as to display the menu item set by the application menu item setting unit 1116 at the position calculated by the application menu position / orientation calculation unit 1115. The application menu generation unit 1112 inputs the generated menu to the menu generation unit 1110.
The application menu position / orientation calculation unit 1115 calculates the position / orientation of the menu based on the view frustum information calculated by the view frustum calculation unit 1030.
The application menu item setting unit 1116 sets menu items for performing operations related to applications that do not depend on virtual objects.

メニュー実行部１１２０は、メニュー操作受取部１０９０により受け取ったメニュー実行イベントと選択されたメニュー項目とに基づき、機能を実行する。
仮想空間生成部１１３０は、仮想データ保持部１０４０で保持された仮想データとメニュー生成部１１１０で生成されたメニューとを基に仮想空間を生成し、複合現実画像生成部１１４０に入力する。
複合現実画像生成部１１４０は、仮想空間生成部１１３０で生成された仮想空間と位置姿勢計測部１０２０の計測結果とに基づいて仮想空間画像を生成する。更に、複合現実画像生成部１１４０は、仮想空間画像を撮像画像取得部１０１０で取得された現実空間画像に重畳し、複合現実空間の画像（複合現実画像）を生成する。なお、所定の位置から見える仮想空間を生成するための技術については既知の事実であるので、これについての詳細な説明は省略する。その後に、複合現実画像生成部１１４０は、生成した複合現実画像をＨＭＤ１２００の画像表示部１２２０に対して出力する。また、複合現実画像生成部１１４０は、画像表示装置１３００に同時に表示してもよい。ＨＭＤに限ったことではなく表示できる装置であればよく、タブレット・スマートフォン等の表示端末であってもよい。 The menu execution unit 1120 executes a function based on the menu execution event received by the menu operation receiving unit 1090 and the selected menu item.
The virtual space generation unit 1130 generates a virtual space based on the virtual data held by the virtual data holding unit 1040 and the menu generated by the menu generation unit 1110, and inputs the virtual space to the mixed reality image generation unit 1140.
The mixed reality image generation unit 1140 generates a virtual space image based on the virtual space generated by the virtual space generation unit 1130 and the measurement result of the position / attitude measurement unit 1020. Further, the mixed reality image generation unit 1140 superimposes the virtual space image on the real space image acquired by the captured image acquisition unit 1010, and generates an image of the mixed reality space (mixed reality image). Since the technique for generating a virtual space that can be seen from a predetermined position is a known fact, a detailed description of this will be omitted. After that, the mixed reality image generation unit 1140 outputs the generated mixed reality image to the image display unit 1220 of the HMD 1200. Further, the mixed reality image generation unit 1140 may be simultaneously displayed on the image display device 1300. The device is not limited to the HMD, and may be a display terminal such as a tablet or a smartphone as long as it can display.

次に、ＨＭＤ１２００について説明する。
ＨＭＤ１２００は、液晶画面等で構成される表示装置で、夫々右目用と左目用とが設けられており、夫々はＨＭＤ１２００を頭部に装着したユーザの右目、左目の眼前に位置するように、ＨＭＤに取り付けられている。また、左右の画面には夫々視差のついた画像がステレオ表示される。
画像撮像部１２１０は、ＨＭＤ１２００に映る現実空間を撮像し、撮像画像を現実空間画像として情報処理装置１０００に入力する。
画像表示部１２２０は、情報処理装置１０００で生成された複合現実画像を表示する。
画角保持部１２３０は、ＨＭＤの表示画角情報を保持している。表示画角情報を視錐台算出部１０３０に入力する。
本実施形態においてＨＭＤ１２００は、撮像装置により撮像された画像に基づいて生成された複合現実画像を表示装置に表示するビデオシースルー型のＨＭＤであることとして説明する。しかしながら、ＨＭＤ１２００は、現実空間を透過して観察することが可能な表示媒体に仮想空間画像を重畳して表示する光学シースルー型のＨＭＤを用いてもよい。 Next, the HMD1200 will be described.
The HMD1200 is a display device composed of a liquid crystal screen or the like, and is provided for the right eye and the left eye, respectively, and the HMD is located in front of the right eye and the left eye of the user who wears the HMD1200 on the head, respectively. It is attached to. In addition, images with parallax are displayed in stereo on the left and right screens.
The image imaging unit 1210 captures an image of the real space reflected in the HMD 1200, and inputs the captured image as a real space image to the information processing apparatus 1000.
The image display unit 1220 displays a mixed reality image generated by the information processing apparatus 1000.
The angle of view holding unit 1230 holds the display angle of view information of the HMD. The display angle information is input to the viewing frustum calculation unit 1030.
In the present embodiment, the HMD 1200 will be described as a video see-through type HMD that displays a mixed reality image generated based on an image captured by the image pickup device on the display device. However, the HMD 1200 may use an optical see-through type HMD that superimposes and displays a virtual space image on a display medium that can be observed through the real space.

操作入力装置１４００は、情報処理装置に対して、ユーザの操作を入力することができる装置である。操作入力装置１４００は、メニューの表示、操作、実行を行う場合に利用される。操作入力装置１４００は、このような目的が達成されるのであれば、いかなる入力装置であってもよく、例えばマウスであってもよいし、キーボードやコントローラ等のボタン型装置であってもよい。また、操作入力装置１４００は、ユーザのジェスチャを認識することによって入力する装置であってもよいし、ユーザの声を認識することによって入力する装置であってもよい。 The operation input device 1400 is a device capable of inputting a user's operation to the information processing device. The operation input device 1400 is used to display, operate, and execute a menu. The operation input device 1400 may be any input device, for example, a mouse, or a button-type device such as a keyboard or a controller, as long as such an object is achieved. Further, the operation input device 1400 may be a device that inputs by recognizing the gesture of the user, or may be a device that inputs by recognizing the voice of the user.

図３は、情報処理装置１０００が、複合現実空間画像を生成し、ＨＭＤ１２００又は画像表示装置１３００に対して出力する情報処理の一例を示すフローチャートである。
Ｓ３０００において、位置姿勢計測部１０２０は、画像撮像部１２１０から現実空間画像を取得し、画像から位置姿勢を計測する。そして、位置姿勢計測部１０２０は、Ｓ３１００に処理を移す。
Ｓ３１００において、メニュー操作受取部１０９０は、操作入力装置１４００からの入力情報を参照し、メニューを表示する操作が入力されているかどうか調べる。メニュー操作受取部１０９０は、メニューを表示する操作が入力されている場合は、Ｓ３２００に処理を移し、メニューを表示する操作が入力されていない場合は、Ｓ３５００に処理を移す。
Ｓ３２００において、三次元ポインタ位置姿勢取得部１０５０は、三次元ポインタの位置を取得する。そして、三次元ポインタ位置姿勢取得部１０５０は、Ｓ３３００に処理を移す。 FIG. 3 is a flowchart showing an example of information processing in which the information processing apparatus 1000 generates a mixed reality space image and outputs it to the HMD 1200 or the image display apparatus 1300.
In S3000, the position / posture measuring unit 1020 acquires a real space image from the image capturing unit 1210 and measures the position / posture from the image. Then, the position / posture measuring unit 1020 shifts the processing to S3100.
In S3100, the menu operation receiving unit 1090 refers to the input information from the operation input device 1400 and checks whether or not the operation for displaying the menu is input. The menu operation receiving unit 1090 shifts the process to S3200 when the operation for displaying the menu is input, and shifts the process to S3500 when the operation for displaying the menu is not input.
In S3200, the three-dimensional pointer position / orientation acquisition unit 1050 acquires the position of the three-dimensional pointer. Then, the three-dimensional pointer position / orientation acquisition unit 1050 shifts the processing to S3300.

Ｓ３３００において、オブジェクト選択判定部１０６０は、仮想データ保持部１０４０の仮想物体の位置姿勢情報及び形状情報とＳ３２００において取得した三次元ポインタの位置姿勢情報とから仮想物体が選択されているか否かを判定する。仮想物体はオブジェクトの一例である。オブジェクト選択判定部１０６０は、選択されているか否かを三次元ポインタと仮想物体との干渉の有無により判定する。干渉判定をするための技術については既知の事実であるので、これについての詳細な説明は省略する。何れかの仮想物体と三次元ポインタとが干渉している場合、オブジェクト選択判定部１０６０は、仮想物体と三次元ポインタとの交点情報を保存する。更にメニュー形式決定部１１００は、表示するメニュー形式をオブジェクトメニューとし、Ｓ３３１０に処理を移す。仮想物体の何れにおいても三次元ポインタが干渉していない場合、メニュー形式決定部１１００は、表示するメニュー形式をアプリケーションメニューとし、Ｓ３３２０に処理を移す。
Ｓ３３１０において、オブジェクトメニュー項目設定部１１１４は、モード選択部１０７０において選択されているモードに応じて、仮想物体の操作に関わるメニュー項目を設定する。仮想物体の操作に関わるメニューは、仮想物体用のメニューの一例である。モードが操作編集モードの場合、オブジェクトメニュー項目設定部１１１４は、選択した仮想物体に対して直接操作を行うためのメニュー項目を設定する。例えば、オブジェクトメニュー項目設定部１１１４は、仮想物体の移動、表示非表示、削除、複製等を行うメニュー項目を設定する。モードが追加編集モードの場合、オブジェクトメニュー項目設定部１１１４は、選択した仮想物体に対して追加操作を行うためのメニュー項目を設定する。例えば、オブジェクトメニュー項目設定部１１１４は、寸法線の追加、断面の追加、メモの追加等を行うメニュー項目を設定する。本実施形態では、上記メニュー項目を用いて説明を行うが、これに限定されない。そして、オブジェクトメニュー項目設定部１１１４は、Ｓ３３１１に処理を移す。
Ｓ３３２０において、アプリケーションメニュー項目設定部１１１６は、モード選択メニューを含むアプリケーションメニュー項目を設定する。そして、アプリケーションメニュー項目設定部１１１６は、Ｓ３３２１に処理を移す。 In S3300, the object selection determination unit 1060 determines whether or not the virtual object is selected from the position / orientation information and shape information of the virtual object of the virtual data holding unit 1040 and the position / orientation information of the three-dimensional pointer acquired in S3200. do. A virtual object is an example of an object. The object selection determination unit 1060 determines whether or not the object is selected based on the presence or absence of interference between the three-dimensional pointer and the virtual object. Since the technique for determining interference is a known fact, a detailed description thereof will be omitted. When any of the virtual objects and the three-dimensional pointer interfere with each other, the object selection determination unit 1060 stores the intersection information between the virtual object and the three-dimensional pointer. Further, the menu format determination unit 1100 sets the menu format to be displayed as an object menu and shifts the processing to S3310. When the three-dimensional pointer does not interfere with any of the virtual objects, the menu format determination unit 1100 sets the menu format to be displayed as the application menu and transfers the processing to S3320.
In S3310, the object menu item setting unit 1114 sets menu items related to the operation of the virtual object according to the mode selected by the mode selection unit 1070. The menu related to the operation of the virtual object is an example of the menu for the virtual object. When the mode is the operation edit mode, the object menu item setting unit 1114 sets a menu item for directly performing an operation on the selected virtual object. For example, the object menu item setting unit 1114 sets menu items for moving, displaying / hiding, deleting, duplicating, and the like of virtual objects. When the mode is the additional edit mode, the object menu item setting unit 1114 sets a menu item for performing an additional operation on the selected virtual object. For example, the object menu item setting unit 1114 sets menu items for adding dimension lines, cross sections, memos, and the like. In the present embodiment, the description will be given using the above menu items, but the present embodiment is not limited thereto. Then, the object menu item setting unit 1114 shifts the processing to S3311.
In S3320, the application menu item setting unit 1116 sets the application menu item including the mode selection menu. Then, the application menu item setting unit 1116 shifts the processing to S3321.

Ｓ３３１１及びＳ３３２１の処理は、図４を用いながら説明を行う。
図４は、オブジェクトメニューとアプリケーションメニューとの表示位置について示した図である。図４（Ａ）は、メニュー表示前におけるユーザ４０００が仮想空間を体験している様子を示した図である。ユーザ４０００は三次元ポインタ４０１０を把持し、仮想物体４０２０により構成された仮想空間を体験する。図４（Ｂ）は、ユーザ４０００がオブジェクトメニュー４１００を表示した様子を示した図である。図４（Ｃ）は、ユーザ４０００がアプリケーションメニュー４２００を表示した様子を示した図である。図４（Ｄ）は、視錐台から見たアプリケーションメニュー４２００の配置を示した図である。
Ｓ３３１１において、オブジェクトメニュー位置姿勢算出部１１１３は、オブジェクト選択判定部１０６０において得られた、三次元ポインタ４０１０と仮想物体４０２０との交点情報を取得する。オブジェクトメニュー位置姿勢算出部１１１３は、交点を基準とした位置に、三次元ポインタ４０１０で選択しやすいよう縦一列のオブジェクトメニュー４１００を、位置姿勢計測部１０２０において計測された視線方向に垂直になるよう位置姿勢を算出する。本実施形態では、縦一列に表示するメニューを用いて説明するが、これに限定されない。即ち、オブジェクトメニュー位置姿勢算出部１１１３は、横一列に表示してもよいし、円形に表示してもよいし、格子状に表示してもよい。そして、オブジェクトメニュー位置姿勢算出部１１１３は、Ｓ３４００に処理を移す。 The processing of S3311 and S3321 will be described with reference to FIG.
FIG. 4 is a diagram showing the display positions of the object menu and the application menu. FIG. 4A is a diagram showing how the user 4000 is experiencing the virtual space before the menu is displayed. The user 4000 grasps the three-dimensional pointer 4010 and experiences the virtual space composed of the virtual object 4020. FIG. 4B is a diagram showing a state in which the user 4000 displays the object menu 4100. FIG. 4C is a diagram showing a state in which the user 4000 displays the application menu 4200. FIG. 4D is a diagram showing the arrangement of the application menu 4200 as seen from the view frustum.
In S3311, the object menu position / orientation calculation unit 1113 acquires the intersection information between the three-dimensional pointer 4010 and the virtual object 4020 obtained by the object selection determination unit 1060. The object menu position / orientation calculation unit 1113 arranges the object menu 4100 in a vertical row at the position based on the intersection so that the object menu 4100 in a vertical row is perpendicular to the line-of-sight direction measured by the position / attitude measurement unit 1020. Calculate the position and posture. In the present embodiment, the description will be made using a menu displayed in a vertical row, but the present invention is not limited to this. That is, the object menu position / orientation calculation unit 1113 may be displayed in a horizontal row, may be displayed in a circle, or may be displayed in a grid pattern. Then, the object menu position / orientation calculation unit 1113 shifts the processing to S3400.

Ｓ３３２１において、アプリケーションメニュー位置姿勢算出部１１１５は、視錐台算出部１０３０において得られた左目の視錐台４２１０と右目の視錐台４２２０との情報から重複領域４２３０を算出する。アプリケーションメニュー位置姿勢算出部１１１５は、重複領域の視線方向にｘの奥行位置に、視線方向に対して垂直になるようなメニュー表示面４２４０を算出する。アプリケーションメニュー位置姿勢算出部１１１５は、メニュー表示面４２４０において横方向は中心位置に、縦方向は視界をふさがない中心位置より下方、かつ、ＨＭＤのレンズ歪みの影響を受けない特定位置に表示されるよう、位置姿勢を算出する。そして、アプリケーションメニュー位置姿勢算出部１１１５は、Ｓ３４００に処理を移す。本実施形態では、メニューの奥行位置を一定とするが、これに限定されない。即ち、アプリケーションメニュー位置姿勢算出部１１１５は、メニューを視認しやすいよう、仮想物体位置より常に視線に対して手前方向にメニューが表示されるようにメニュー表示面４２４０を動的に算出する。このことにより、メニューと仮想物体とが重なり合わないようにしてもよい。また、アプリケーションメニュー位置姿勢算出部１１１５は、ユーザによって奥行方向を任意に変更できてもよいし、メニューと仮想物体とが重なり合っているとき、メニューより視線に対して手前方向に存在する仮想物体をレンダリングしなくてもよい。更に、アプリケーションメニュー位置姿勢算出部１１１５は、メニューより視線に対して手前方向に存在する仮想物体は半透明表示してもよいし、ワイヤー表示してもよい。また、本実施形態ではメニュー表示面４２４０に対してのメニュー位置をシステムで固定したが、これに限定されない。即ち、アプリケーションメニュー位置姿勢算出部１１１５は、仮想物体の位置に基づき、メニューによって仮想物体が隠される領域が最小になるような位置に表示されてもよいし、ユーザが任意で変更できてもよい。更に、情報処理装置１０００は、これらの表示方法を保持し、切り替えるアプリケーションメニュー表示切替部をもってもよい。
本実施形態は、Ｓ３３１１及びＳ３３２１において、ユーザの視線方向に垂直にメニューを表示するための位置姿勢算出方法を説明したが、これに限定されない。即ち、ユーザに視認しやすい向きで表示されればよく、視線方向に垂直以外の特定の向きであってもよいし、ユーザが任意で設定できてもよい。 In S3321, the application menu position / orientation calculation unit 1115 calculates the overlapping region 4230 from the information of the left eye frustum 4210 and the right eye frustum 4220 obtained by the view frustum calculation unit 1030. The application menu position / orientation calculation unit 1115 calculates the menu display surface 4240 so as to be perpendicular to the line-of-sight direction at the depth position of x in the line-of-sight direction of the overlapping region. The application menu position / orientation calculation unit 1115 is displayed on the menu display surface 4240 in the horizontal direction at the center position, in the vertical direction below the center position that does not block the view, and at a specific position that is not affected by the lens distortion of the HMD. So, calculate the position and posture. Then, the application menu position / orientation calculation unit 1115 shifts the processing to S3400. In the present embodiment, the depth position of the menu is fixed, but the depth position is not limited to this. That is, the application menu position / orientation calculation unit 1115 dynamically calculates the menu display surface 4240 so that the menu is always displayed in the front direction with respect to the line of sight from the virtual object position so that the menu can be easily visually recognized. This may prevent the menu and the virtual object from overlapping each other. Further, the application menu position / orientation calculation unit 1115 may arbitrarily change the depth direction by the user, and when the menu and the virtual object overlap, the virtual object existing in the front direction with respect to the line of sight from the menu can be selected. It does not have to be rendered. Further, the application menu position / orientation calculation unit 1115 may display the virtual object existing in the front direction with respect to the line of sight from the menu semi-transparently or by wire. Further, in the present embodiment, the menu position with respect to the menu display surface 4240 is fixed by the system, but the present invention is not limited to this. That is, the application menu position / orientation calculation unit 1115 may be displayed at a position where the area where the virtual object is hidden by the menu is minimized based on the position of the virtual object, or may be arbitrarily changed by the user. .. Further, the information processing apparatus 1000 may have an application menu display switching unit for holding and switching these display methods.
In S3311 and S3321, the present embodiment has described a position / posture calculation method for displaying a menu perpendicular to the line-of-sight direction of the user, but the present embodiment is not limited thereto. That is, it may be displayed in a direction that is easy for the user to see, may be a specific direction other than perpendicular to the line-of-sight direction, or may be arbitrarily set by the user.

Ｓ３４００において、メニュー生成部１１１０は、メニュー形式決定部１１００で決定されたメニュー形式に基づき、オブジェクトメニュー又はアプリケーションメニューを生成する。即ち、メニュー形式がオブジェクトメニューであった場合は、メニュー生成部１１１０は、オブジェクトメニュー位置姿勢算出部１１１３で算出された位置に、オブジェクトメニュー項目設定部１１１４で設定されたメニュー項目を設定し、オブジェクトメニューを生成する。一方、メニュー形式がアプリケーションメニューであった場合は、メニュー生成部１１１０は、アプリケーションメニュー位置姿勢算出部１１１５で算出された位置に、アプリケーションメニュー項目設定部１１１６で設定されたメニュー項目を設定し、アプリケーションメニューを生成する。そして、メニュー生成部１１１０は、Ｓ３５００に処理を移す。Ｓ３３１０、Ｓ３３１１、Ｓ３４００は、第１の生成の処理の一例である。また、Ｓ３３２０、Ｓ３３２１、Ｓ３４００も、第１の生成の処理の一例である。
Ｓ３５００において、仮想空間生成部１１３０は、仮想データ保持部１０４０で保持されている仮想空間に係るデータと、メニュー生成部１１１０において生成したメニューと、を用いて仮想空間を生成する。そして、仮想空間生成部１１３０は、Ｓ３６００に処理を移す。
Ｓ３６００において、複合現実画像生成部１１４０は、仮想空間生成部１１３０で生成された仮想空間と位置姿勢計測部１０２０の位置姿勢とに基づいて、仮想空間画像を生成する。更に、複合現実画像生成部１１４０は、仮想空間画像を撮像画像取得部１０１０で取得された現実空間画像に重畳し、複合現実画像を生成する。複合現実画像生成部１１４０は、生成した複合現実画像を、ＨＭＤの画像表示部又は画像表示装置に対して出力する。そして、複合現実画像生成部１１４０は、Ｓ３７００に処理を移す。Ｓ３５００とＳ３６００の一部は、第２の生成の処理の一例である。また、Ｓ３６００の一部は、第３の生成の処理の一例である。
Ｓ３７００において、ＣＰＵ２０１０は、ユーザによって本処理の終了指示が入力された、若しくは本処理を終了する条件が満たされた場合、本処理を終了する。一方、ＣＰＵ２０１０は、本処理の終了指示が入力されておらず、本処理を終了する条件も満たされていない場合は、処理をＳ３０００に戻す。 In S3400, the menu generation unit 1110 generates an object menu or an application menu based on the menu format determined by the menu format determination unit 1100. That is, when the menu format is an object menu, the menu generation unit 1110 sets the menu item set by the object menu item setting unit 1114 at the position calculated by the object menu position / orientation calculation unit 1113, and sets the object. Generate a menu. On the other hand, when the menu format is the application menu, the menu generation unit 1110 sets the menu item set by the application menu item setting unit 1116 at the position calculated by the application menu position / orientation calculation unit 1115, and applies the application. Generate a menu. Then, the menu generation unit 1110 shifts the processing to S3500. S3310, S3311, and S3400 are examples of the first generation process. Further, S3320, S3321, and S3400 are also examples of the first generation processing.
In S3500, the virtual space generation unit 1130 generates a virtual space by using the data related to the virtual space held by the virtual data holding unit 1040 and the menu generated by the menu generation unit 1110. Then, the virtual space generation unit 1130 shifts the processing to S3600.
In S3600, the mixed reality image generation unit 1140 generates a virtual space image based on the virtual space generated by the virtual space generation unit 1130 and the position / orientation of the position / orientation measurement unit 1020. Further, the mixed reality image generation unit 1140 superimposes the virtual space image on the real space image acquired by the captured image acquisition unit 1010 to generate the mixed reality image. The composite reality image generation unit 1140 outputs the generated composite reality image to the image display unit or the image display device of the HMD. Then, the mixed reality image generation unit 1140 shifts the processing to S3700. A part of S3500 and S3600 is an example of the process of the second generation. Further, a part of S3600 is an example of the process of the third generation.
In S3700, the CPU 2010 ends the main process when the user inputs the end instruction of the main process or the condition for terminating the main process is satisfied. On the other hand, if the end instruction of the main process is not input and the condition for terminating the main process is not satisfied, the CPU 2010 returns the process to S3000.

本実施形態によれば、仮想物体の操作を行うか、仮想物体に依らないアプリケーションに関わる操作を行うかを識別し、識別結果によって異なるメニュー形式でメニューを表示する。更に、選択されたモードによってメニュー項目を変更することにより、体験状況に応じて適切にメニューを表示することができる。 According to the present embodiment, it is identified whether to operate a virtual object or an operation related to an application that does not depend on the virtual object, and a menu is displayed in a different menu format depending on the identification result. Further, by changing the menu item according to the selected mode, the menu can be displayed appropriately according to the experience situation.

（変形例１）
上記実施形態では、撮像画像に仮想画像を合成した画像を表示させるＭＲシステムに適用した例を説明した。しかしながらこれに限定されない。例えば、本実施形態は仮想画像のみを表示させるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）システムに適用することができる。その場合には、上記実施形態においては、複合現実画像生成部１１４０は、撮像画像取得部１０１０で取得された現実空間画像に仮想画像を重畳することなく、仮想空間画像そのままを表示装置に表示させるように機能すればよい。そしてそのようなＶＲシステムにおいて、センサを用いて位置姿勢を計測する場合には、撮像画像取得部１０１０はなくてもよい。 (Modification 1)
In the above embodiment, an example applied to an MR system for displaying an image obtained by synthesizing a virtual image with a captured image has been described. However, it is not limited to this. For example, this embodiment can be applied to a VR (Virtual Reality) system that displays only a virtual image. In that case, in the above embodiment, the mixed reality image generation unit 1140 causes the display device to display the virtual space image as it is without superimposing the virtual image on the real space image acquired by the captured image acquisition unit 1010. It should work like this. In such a VR system, when the position and orientation are measured by using a sensor, the captured image acquisition unit 1010 may not be necessary.

＜実施形態２＞
実施形態１では、仮想物体に依らないアプリケーションに対する操作と仮想物体に対する操作とをメニューの表示形式を切り替えることにより実現したが、本実施形態では、現実空間を三次元再構成したモデル（現実モデル）に対する操作を加えた場合を示す。以下では、仮想空間を構成する仮想物体と現実モデルとを総称してオブジェクトと呼ぶ。
図５は、実施形態２の情報処理システムを構成する各装置の機能構成の一例を示す図である。図１と同じ構成要素には同じ参照番号を付けており、その説明は省略する。
現実モデル生成部５０１０は、撮像画像取得部１０１０で取られた現実空間画像を基に現実モデルを生成する。現実モデルの生成方法にはSurreal Vision社のKinectFusionが考えられる。KinectFusionはKinectを使ったリアルタイム三次元再構成であり、先ずデプスカメラを使った点群の作成を行う。次に、ICP(Iterative Closest Point)によるカメラ位置姿勢推定、三次元オブジェクト生成、レンダリングの流れで三次元再構成を行う。本実施形態ではKinectFusionを用いて説明するが、これに限定されない。現実モデル生成部５０１０は、生成した現実モデルデータをデータ保持部５０２０に入力する。
データ保持部５０２０は、仮想空間を構成する仮想物体に係るデータ（形状情報や位置姿勢情報）や仮想空間中に照射する光源に係るデータ等、仮想空間のデータと現実モデル生成部により生成された現実モデルデータとを保持する。データ保持部５０２０は、仮想空間データと現実モデルデータとを仮想空間生成部１１３０、オブジェクト選択判定部１０６０に入力する。
オブジェクト識別部５０３０は、オブジェクト選択判定部１０６０によって選択されたと見なされたオブジェクトが仮想物体であるか現実モデルであるかを識別する。オブジェクト識別部５０３０は、識別結果をメニュー形式決定部５０４０に入力する。オブジェクト識別部５０３０は、オブジェクト選択判定部１０６０でオブジェクトが選択されていないと判定された場合は、識別することなく、選択されていない旨をメニュー形式決定部５０４０に入力する。 <Embodiment 2>
In the first embodiment, the operation for the application that does not depend on the virtual object and the operation for the virtual object are realized by switching the display format of the menu, but in the present embodiment, the model (reality model) in which the real space is three-dimensionally reconstructed. The case where the operation for is added is shown. In the following, the virtual objects that make up the virtual space and the real model are collectively referred to as objects.
FIG. 5 is a diagram showing an example of a functional configuration of each device constituting the information processing system of the second embodiment. The same reference numbers as those in FIG. 1 are assigned, and the description thereof will be omitted.
The reality model generation unit 5010 generates a reality model based on the reality space image taken by the captured image acquisition unit 1010. Kinect Fusion from Surreal Vision can be considered as a method of generating a real model. KinectFusion is a real-time 3D reconstruction using Kinect, and first creates a point cloud using a depth camera. Next, 3D reconstruction is performed in the flow of camera position / orientation estimation by ICP (Iterative Closest Point), 3D object generation, and rendering. In this embodiment, Kinect Fusion will be used, but the present embodiment is not limited to this. The reality model generation unit 5010 inputs the generated reality model data to the data holding unit 5020.
The data holding unit 5020 is generated by the virtual space data and the actual model generation unit, such as data related to virtual objects constituting the virtual space (shape information and position / orientation information) and data related to a light source irradiating in the virtual space. Holds the actual model data. The data holding unit 5020 inputs the virtual space data and the real model data to the virtual space generation unit 1130 and the object selection determination unit 1060.
The object identification unit 5030 identifies whether the object considered to be selected by the object selection determination unit 1060 is a virtual object or a real model. The object identification unit 5030 inputs the identification result to the menu format determination unit 5040. When the object identification unit 5030 determines that the object is not selected by the object selection determination unit 1060, the object identification unit 5030 inputs to the menu format determination unit 5040 that the object is not selected without identifying the object.

メニュー形式決定部５０４０は、メニュー操作受取部１０９０からメニュー表示操作を受け取ったタイミングでオブジェクト識別部５０３０の入力に応じて、メニュー形式保持部１０８０に保持されているメニュー形式のうち適切なメニュー形式に切り替える。メニュー形式決定部５０４０は、切り替えたメニュー形式をメニュー生成部１１１０に入力する。
オブジェクトメニュー生成部５０５０は、オブジェクトメニュー位置姿勢算出部１１１３とオブジェクトメニュー項目設定部５０５１とで構成されている。オブジェクトメニュー生成部５０５０は、オブジェクトメニュー位置姿勢算出部１１１３で算出された位置に、オブジェクトメニュー項目設定部５０５１で設定されたメニュー項目を表示するよう生成する。また、オブジェクトメニュー生成部５０５０は、メニュー形式決定部５０４０で決定されたメニュー形式に基づき選択されたオブジェクトが仮想物体であるか現実モデルであるかを認識できるよう異なる配色を用いてメニューを生成する。オブジェクトメニュー生成部５０５０は、生成した結果をメニュー生成部１１１０に入力する。本実施形態では、選択されたオブジェクトが仮想物体であるか現実モデルであるかをユーザが認識するためにメニューの配色を変えた場合を説明するが、これに限定されない。オブジェクトメニュー生成部５０５０は、メニューの形状を変えてもよいし、メニュー中に表示するメニュー名を変えてもよい。
オブジェクトメニュー項目設定部５０５１は、モード選択部１０７０により選択されたモードを取得する。更に、オブジェクトメニュー項目設定部５０５１は、オブジェクト識別部の識別結果によりオブジェクトが選択されているか否かを取得する。オブジェクトメニュー項目設定部５０５１は、選択モード及びオブジェクト識別結果及び選択されているオブジェクトが仮想物体であるか現実モデルであるかに基づき、メニュー項目を設定する。 The menu format determination unit 5040 selects an appropriate menu format among the menu formats held in the menu format holding unit 1080 in response to the input of the object identification unit 5030 at the timing when the menu display operation is received from the menu operation receiving unit 1090. Switch. The menu format determination unit 5040 inputs the switched menu format to the menu generation unit 1110.
The object menu generation unit 5050 is composed of an object menu position / orientation calculation unit 1113 and an object menu item setting unit 5051. The object menu generation unit 5050 is generated so as to display the menu item set by the object menu item setting unit 5051 at the position calculated by the object menu position / orientation calculation unit 1113. Further, the object menu generation unit 5050 generates a menu using a different color scheme so that the object selected based on the menu format determined by the menu format determination unit 5040 can be recognized as a virtual object or a real model. .. The object menu generation unit 5050 inputs the generated result to the menu generation unit 1110. In the present embodiment, a case where the color scheme of the menu is changed in order for the user to recognize whether the selected object is a virtual object or a real model will be described, but the present invention is not limited to this. The object menu generation unit 5050 may change the shape of the menu or may change the name of the menu displayed in the menu.
The object menu item setting unit 5051 acquires the mode selected by the mode selection unit 1070. Further, the object menu item setting unit 5051 acquires whether or not an object is selected based on the identification result of the object identification unit. The object menu item setting unit 5051 sets menu items based on the selection mode, the object identification result, and whether the selected object is a virtual object or a real model.

図６は、情報処理装置１０００が、複合現実空間画像を生成し、ＨＭＤ１２００又は画像表示装置１３００に対して出力するために行う処理のフローチャートである。図３と同じ構成要素には同じ参照番号を付けており、その説明は省略する。
Ｓ６１００において、オブジェクト識別部５０３０は、オブジェクト選択判定部１０６０により選択されたオブジェクトの種類が現実モデルであるか仮想物体であるかを識別する。オブジェクト識別部５０３０は、選択しているオブジェクトが現実モデルの場合は、Ｓ６１１０に処理を移し、仮想物体が選択されていた場合は、Ｓ３３１０に処理を移す。
Ｓ６１１０において、オブジェクトメニュー項目設定部５０５１は、モード選択部１０７０により選択されているモードに応じて現実モデル操作に関わる操作メニュー項目を設定する。現実モデル操作に関わる操作メニューは、現実モデルに対して操作を行う操作メニューの一例である。オブジェクトメニュー項目設定部５０５１は、モードが操作編集モードの場合、選択した現実モデルに対して操作を行うためのメニュー項目を設定する。オブジェクトメニュー項目設定部５０５１が設定するメニュー項目は、選択した現実モデルに対して重ね合わせる仮想物体を選択する操作のメニュー項目であってもよいし、干渉判定対象にする操作や同様の形状の仮想物体を複製する操作のメニュー項目であってもよい。また、オブジェクトメニュー項目設定部５０５１が設定するメニュー項目は、色の変更やテクスチャの貼付等マテリアルを変更する操作のメニュー項目であってもよい。オブジェクトメニュー項目設定部５０５１は、モードが追加編集モードの場合、選択した現実モデルに対して追加操作を行うメニューを設定する。オブジェクトメニュー項目設定部５０５１は、寸法線の追加、メモの追加等を行うメニュー項目を設定する。そして、オブジェクトメニュー項目設定部５０５１は、Ｓ６１１１に処理を移す。
Ｓ６１１１において、オブジェクトメニュー生成部５０５０は、選択されたオブジェクトが現実モデルであることを示すメニュー配色を設定する。そして、オブジェクトメニュー生成部５０５０は、Ｓ３３１１に処理を移す。
Ｓ６１２０において、オブジェクトメニュー生成部５０５０は、選択されたオブジェクトが仮想物体であることを示すメニュー配色を設定する。そして、オブジェクトメニュー生成部５０５０は、Ｓ３３１１に処理を移す。 FIG. 6 is a flowchart of processing performed by the information processing apparatus 1000 to generate a mixed reality space image and output it to the HMD 1200 or the image display apparatus 1300. The same reference numbers are assigned to the same components as in FIG. 3, and the description thereof will be omitted.
In S6100, the object identification unit 5030 identifies whether the type of the object selected by the object selection determination unit 1060 is a real model or a virtual object. If the selected object is a real model, the object identification unit 5030 transfers the process to S6110, and if the virtual object is selected, the object identification unit 5030 transfers the process to S3310.
In S6110, the object menu item setting unit 5051 sets operation menu items related to the actual model operation according to the mode selected by the mode selection unit 1070. The operation menu related to the operation of the real model is an example of the operation menu for operating the real model. When the mode is the operation edit mode, the object menu item setting unit 5051 sets a menu item for performing an operation on the selected real model. The menu item set by the object menu item setting unit 5051 may be a menu item for an operation of selecting a virtual object to be superimposed on the selected real model, an operation for interference determination, or a virtual object having the same shape. It may be a menu item of the operation of duplicating an object. Further, the menu item set by the object menu item setting unit 5051 may be a menu item for an operation of changing a material such as changing a color or pasting a texture. When the mode is the additional editing mode, the object menu item setting unit 5051 sets a menu for performing an additional operation on the selected real model. The object menu item setting unit 5051 sets menu items for adding dimension lines, adding memos, and the like. Then, the object menu item setting unit 5051 shifts the processing to S6111.
In S6111, the object menu generation unit 5050 sets a menu color scheme indicating that the selected object is a real model. Then, the object menu generation unit 5050 shifts the processing to S3311.
In S6120, the object menu generation unit 5050 sets a menu color scheme indicating that the selected object is a virtual object. Then, the object menu generation unit 5050 shifts the processing to S3311.

本実施形態によれば、実施形態１に加え、オブジェクトが仮想物体であるか現実モデルかによって異なるメニュー項目を設定することで階層を浅くすることができる。更に、メニューから選択したオブジェクトを識別可能にすることで視認性が向上し、体験状況に応じて適切にメニューを表示することができる。 According to the present embodiment, in addition to the first embodiment, the hierarchy can be made shallow by setting different menu items depending on whether the object is a virtual object or a real model. Further, by making the object selected from the menu identifiable, the visibility is improved, and the menu can be displayed appropriately according to the experience situation.

（変形例１）
上記実施形態では、撮像画像に仮想空間画像を合成した画像を表示させるＭＲシステムに適用した例を説明した。しかしながらこれに限定されない。例えば、本実施形態は現実モデルのみをレンダリングした画像を表示させるシステムに適用することができる。その場合には、上記実施形態において、仮想空間生成部１１３０は、現実モデルのみにより構成された仮想空間を生成すればよい。
（変形例２）
上記実施形態では、選択したオブジェクトが仮想物体であるか現実モデルであるかを識別することにより、設定するメニュー項目を変更する例を説明した。しかしながらこれに限定されない。例えば、仮想物体に属性を不図示のオブジェクト属性保持部に持たせ、その属性を不図示のオブジェクト属性判定部に識別することにより、設定するメニュー項目を変更してもよい。 (Modification 1)
In the above embodiment, an example applied to an MR system for displaying an image obtained by synthesizing a virtual space image with an captured image has been described. However, it is not limited to this. For example, the present embodiment can be applied to a system that displays a rendered image of only a real model. In that case, in the above embodiment, the virtual space generation unit 1130 may generate a virtual space composed only of the real model.
(Modification 2)
In the above embodiment, an example of changing the menu item to be set by identifying whether the selected object is a virtual object or a real model has been described. However, it is not limited to this. For example, the menu item to be set may be changed by giving the virtual object an attribute to the object attribute holding unit (not shown) and identifying the attribute in the object attribute determination unit (not shown).

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 <Other embodiments>
The present invention supplies a system or device via a network or storage medium a program that realizes one or more of the functions of the above-described embodiment. It can also be realized by a process in which one or more processors in the computer of the system or apparatus reads and executes a program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
図１や図５の情報処理装置１０００の機能構成の一部又は全てはハードウェア構成として情報処理装置１０００に実装してもよい。
上述した各実施形態によれば、体験状況に応じて適切に表示可能なメニューを生成することができる。 Although an example of the embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment.
A part or all of the functional configurations of the information processing apparatus 1000 of FIGS. 1 and 5 may be mounted on the information processing apparatus 1000 as a hardware configuration.
According to each of the above-described embodiments, it is possible to generate a menu that can be appropriately displayed according to the experience situation.

１０００ 情報処理装置
２０１０ ＣＰＵ 1000 Information processing device 2010 CPU

Claims (12)

ユーザの頭部に装着されて仮想空間の画像を表示する表示装置と接続された情報処理装置であって、
前記表示装置の位置姿勢を取得する第１の取得手段と、
前記ユーザの操作に基づいて前記仮想空間における位置を指定するための三次元ポインタの位置姿勢を取得する第２の取得手段と、
前記仮想空間において、前記三次元ポインタの位置姿勢とオブジェクトの位置姿勢とに基づいて、前記三次元ポインタが前記オブジェクトを指しているかを判定する判定手段と、
前記三次元ポインタが前記オブジェクトを指していると判定された場合、当該三次元ポインタが当該オブジェクトを指している位置に基づく位置に、前記表示装置の位置姿勢に基づく視線方向に対向する向きで、当該オブジェクトを対象とするオブジェクト操作メニューを設定し、前記三次元ポインタが前記オブジェクトを指していないと判定された場合、当該オブジェクトより手前の位置に、前記視線方向に対向する向きで、当該オブジェクトによらないアプリケーションを対象とするアプリケーション操作メニューを設定する設定手段と、
前記設定手段により設定された操作メニューと前記仮想空間に係るデータとに基づいて仮想空間画像を前記表示装置に表示させる表示制御手段と、
を有する情報処理装置。 An information processing device that is attached to the user's head and connected to a display device that displays an image of virtual space.
A first acquisition means for acquiring the position and orientation of the display device, and
A second acquisition means for acquiring the position and orientation of the three-dimensional pointer for designating a position in the virtual space based on the user's operation, and
In the virtual space, a determination means for determining whether or not the three-dimensional pointer points to the object based on the position and orientation of the three-dimensional pointer and the position and orientation of the object.
When it is determined that the three-dimensional pointer points to the object, the position based on the position where the three-dimensional pointer points to the object is opposed to the line-of-sight direction based on the position and orientation of the display device. When the object operation menu for the object is set and it is determined that the three-dimensional pointer does not point to the object, the object is set to a position in front of the object and facing the line-of-sight direction. Setting means for setting application operation menus for applications that do not depend on
A display control means for displaying a virtual space image on the display device based on the operation menu set by the setting means and the data related to the virtual space, and
Information processing device with. 前記設定手段は、前記アプリケーション操作メニューを前記ユーザの左目の視錐台と右目の視錐台との重複領域内に設定する請求項１記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the setting means sets the application operation menu in an overlapping area between the left-eye and right-eye viewing frustums of the user. 前記設定手段は、前記アプリケーション操作メニューを前記重複領域内において、横方向は中心位置に設定し、縦方向は中心より下方に設定する請求項２記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the setting means sets the application operation menu at the center position in the horizontal direction and below the center in the vertical direction in the overlapping area. 前記設定手段は、前記オブジェクト操作メニュー及び前記アプリケーション操作メニューを、前記視線方向に対してメニュー面が垂直となるように設定する請求項１乃至３何れか１項記載の情報処理装置。 The information processing device according to claim 1, wherein the setting means sets the object operation menu and the application operation menu so that the menu surface is perpendicular to the line-of-sight direction. 前記三次元ポインタはレーザーを用いて前記仮想空間における位置を指定し、前記判定手段は、前記レーザーと前記オブジェクトとが交差しているかに基づいて、当該三次元ポインタが当該オブジェクトを指しているかを判定する請求項１乃至４何れか１項記載の情報処理装置。 The three-dimensional pointer uses a laser to specify a position in the virtual space, and the determination means determines whether the three-dimensional pointer points to the object based on whether the laser and the object intersect. The information processing apparatus according to any one of claims 1 to 4. 前記設定手段は、前記三次元ポインタがオブジェクトを指している場合であって、当該オブジェクトの種類が現実モデルである場合、現実モデルに対して操作を行う操作メニューを設定し、前記三次元ポインタがオブジェクトを指している場合であって、当該オブジェクトの種類が仮想物体である場合、仮想物体に対して操作を行う操作メニューを設定する請求項１乃至５何れか１項記載の情報処理装置。 When the three-dimensional pointer points to an object and the type of the object is a real model, the setting means sets an operation menu for performing an operation on the real model, and the three-dimensional pointer sets the operation menu. The information processing apparatus according to any one of claims 1 to 5, which sets an operation menu for performing an operation on a virtual object when the object is pointed to and the type of the object is a virtual object. モードを選択する選択手段を更に有し、
前記設定手段は、前記三次元ポインタがオブジェクトを指している場合、当該オブジェクトに対して前記選択手段によって選択されたモードに応じた操作を行う操作メニューを設定する請求項１乃至６何れか１項記載の情報処理装置。 It also has a selection means to select the mode,
3. The information processing device described. 前記設定手段は、前記三次元ポインタがオブジェクトを指している場合、当該オブジェクトの属性に応じて設定する前記オブジェクト操作メニューを変更する請求項１乃至７何れか１項記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 7, wherein the setting means changes the object operation menu to be set according to the attribute of the object when the three-dimensional pointer points to the object. 前記仮想空間画像と現実空間画像とを重畳し、複合現実画像を生成する生成手段を更に有し、
前記表示制御手段は、前記複合現実画像を前記表示装置に表示させる請求項１乃至８何れか１項記載の情報処理装置。 Further having a generation means for generating a mixed reality image by superimposing the virtual space image and the real space image.
The information processing device according to any one of claims 1 to 8, wherein the display control means displays the mixed reality image on the display device. 前記仮想空間に係るデータは、当該仮想空間における仮想物体の形状情報または位置姿勢情報、もしくは当該仮想空間における光源の情報を含む請求項１乃至９何れか１項記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 9, wherein the data related to the virtual space includes shape information or position / orientation information of a virtual object in the virtual space, or information of a light source in the virtual space. ユーザの頭部に装着されて仮想空間の画像を表示する表示装置と接続された情報処理装置が実行する情報処理方法であって、
前記表示装置の位置姿勢を取得する第１の取得工程と、
前記ユーザの操作に基づいて前記仮想空間における位置を指定するための三次元ポインタの位置姿勢を取得する第２の取得工程と、
前記仮想空間において、前記三次元ポインタの位置姿勢とオブジェクトの位置姿勢とに基づいて、前記三次元ポインタが前記オブジェクトを指しているかを判定する判定工程と、
前記三次元ポインタが前記オブジェクトを指していると判定された場合、当該三次元ポインタが当該オブジェクトを指している位置に基づく位置に、前記表示装置の位置姿勢に基づく視線方向に対向する向きで、当該オブジェクトを対象とするオブジェクト操作メニューを設定し、前記三次元ポインタが前記オブジェクトを指していないと判定された場合、当該オブジェクトより手前の位置に、前記視線方向に対向する向きで、当該オブジェクトによらないアプリケーションを対象とするアプリケーション操作メニューを設定する設定工程と、
前記設定工程において設定された操作メニューと前記仮想空間に係るデータとに基づいて仮想空間画像を前記表示装置に表示させる表示制御工程と、
を含む情報処理方法。 It is an information processing method executed by an information processing device connected to a display device that is attached to the user's head and displays an image of virtual space.
The first acquisition step of acquiring the position and orientation of the display device, and
A second acquisition step of acquiring the position and orientation of the three-dimensional pointer for designating a position in the virtual space based on the user's operation, and
A determination step of determining whether or not the three-dimensional pointer points to the object based on the position and orientation of the three-dimensional pointer and the position and orientation of the object in the virtual space.
When it is determined that the three-dimensional pointer points to the object, the position based on the position where the three-dimensional pointer points to the object is opposed to the line-of-sight direction based on the position and orientation of the display device. When the object operation menu for the object is set and it is determined that the three-dimensional pointer does not point to the object, the object is set to a position in front of the object and facing the line-of-sight direction. The setting process for setting the application operation menu for applications that do not depend on it, and
A display control step of displaying a virtual space image on the display device based on the operation menu set in the setting step and the data related to the virtual space, and
Information processing methods including. コンピュータを、請求項１乃至１０何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。 A program for making a computer function as each means of the information processing apparatus according to any one of claims 1 to 10.
JP2022009944A 2017-08-08 2022-01-26 Information processing apparatus, information processing method, and program Pending JP2022058753A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022009944A JP2022058753A (en) 2017-08-08 2022-01-26 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017153553A JP7210131B2 (en) 2017-08-08 2017-08-08 Information processing device, information processing method and program
JP2022009944A JP2022058753A (en) 2017-08-08 2022-01-26 Information processing apparatus, information processing method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017153553A Division JP7210131B2 (en) 2017-08-08 2017-08-08 Information processing device, information processing method and program

Publications (1)

Publication Number Publication Date
JP2022058753A true JP2022058753A (en) 2022-04-12

Family

ID=65523449

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017153553A Active JP7210131B2 (en) 2017-08-08 2017-08-08 Information processing device, information processing method and program
JP2022009944A Pending JP2022058753A (en) 2017-08-08 2022-01-26 Information processing apparatus, information processing method, and program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017153553A Active JP7210131B2 (en) 2017-08-08 2017-08-08 Information processing device, information processing method and program

Country Status (1)

Country Link
JP (2) JP7210131B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7419003B2 (en) 2019-09-12 2024-01-22 株式会社日立システムズ Information display device, information display method, and information display system
JP7016438B1 (en) 2021-03-29 2022-02-18 グリー株式会社 Information processing systems, information processing methods and computer programs

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0447368A (en) * 1990-06-12 1992-02-17 Nippon Kensetsu Computer Kk Computer design support system
JP2002049298A (en) * 2001-08-17 2002-02-15 Ohbayashi Corp Program and method for predicting wind environment
JP2002175114A (en) * 2000-12-07 2002-06-21 Nissin Electric Co Ltd Method for dynamically changing popup menu
JP2005107963A (en) * 2003-09-30 2005-04-21 Canon Inc Method and device for operating three-dimensional cg
JP2006048145A (en) * 2004-07-30 2006-02-16 Japan Research Institute Ltd Business modeling support method and business modeling support program
JP2011128777A (en) * 2009-12-16 2011-06-30 Yokogawa Electric Corp Operation monitoring apparatus
JP2011228859A (en) * 2010-04-16 2011-11-10 Sony Computer Entertainment Inc Three-dimensional image display apparatus and three-dimensional image display method
WO2012020497A1 (en) * 2010-08-12 2012-02-16 富士通株式会社 Information processing device and information processing program
JP2012513642A (en) * 2008-12-22 2012-06-14 インテリジェント スペイシャル テクノロジーズ，インク． System and method for initiating actions and providing feedback by specifying objects of interest
JP2013084096A (en) * 2011-10-07 2013-05-09 Sharp Corp Information processing apparatus
JP2016507805A (en) * 2012-12-13 2016-03-10 マイクロソフト テクノロジー ライセンシング，エルエルシー Direct interaction system for mixed reality environments
JP2017058971A (en) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント Program and image formation device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003175114A (en) * 2001-12-11 2003-06-24 Unitika Ltd Sterilization antiseptic cotton

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0447368A (en) * 1990-06-12 1992-02-17 Nippon Kensetsu Computer Kk Computer design support system
JP2002175114A (en) * 2000-12-07 2002-06-21 Nissin Electric Co Ltd Method for dynamically changing popup menu
JP2002049298A (en) * 2001-08-17 2002-02-15 Ohbayashi Corp Program and method for predicting wind environment
JP2005107963A (en) * 2003-09-30 2005-04-21 Canon Inc Method and device for operating three-dimensional cg
JP2006048145A (en) * 2004-07-30 2006-02-16 Japan Research Institute Ltd Business modeling support method and business modeling support program
JP2012513642A (en) * 2008-12-22 2012-06-14 インテリジェント スペイシャル テクノロジーズ，インク． System and method for initiating actions and providing feedback by specifying objects of interest
JP2011128777A (en) * 2009-12-16 2011-06-30 Yokogawa Electric Corp Operation monitoring apparatus
JP2011228859A (en) * 2010-04-16 2011-11-10 Sony Computer Entertainment Inc Three-dimensional image display apparatus and three-dimensional image display method
WO2012020497A1 (en) * 2010-08-12 2012-02-16 富士通株式会社 Information processing device and information processing program
JP2013084096A (en) * 2011-10-07 2013-05-09 Sharp Corp Information processing apparatus
JP2016507805A (en) * 2012-12-13 2016-03-10 マイクロソフト テクノロジー ライセンシング，エルエルシー Direct interaction system for mixed reality environments
JP2017058971A (en) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント Program and image formation device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
猪股 志夫, "速攻解決 ＡＵＴＯＣＡＤ ＬＴ逆引きリファレンス", vol. 初版, JPN6023007577, 15 June 2015 (2015-06-15), pages 84 - 85, ISSN: 0005001483 *

Also Published As

Publication number Publication date
JP2019032713A (en) 2019-02-28
JP7210131B2 (en) 2023-01-23

Similar Documents

Publication Publication Date Title
AU2022200841B2 (en) Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
JP5845211B2 (en) Image processing apparatus and image processing method
CN110022470B (en) Method and system for training object detection algorithm using composite image and storage medium
JP4739002B2 (en) Image processing method and image processing apparatus
EP3712840A1 (en) Method and system for generating an image of a subject in a scene
JP5871345B2 (en) 3D user interface device and 3D operation method
WO2014016987A1 (en) Three-dimensional user-interface device, and three-dimensional operation method
JP2008040832A (en) Mixed sense of reality presentation system and control method for it
JP7182920B2 (en) Image processing device, image processing method and program
JP7005224B2 (en) Information processing equipment, systems, image processing methods, computer programs, and storage media
JP2022058753A (en) Information processing apparatus, information processing method, and program
JP2012053631A (en) Information processor and information processing method
JP2019008623A (en) Information processing apparatus, information processing apparatus control method, computer program, and storage medium
JP2017016577A (en) Information processor, and control method, and program, for the same
CN110956695A (en) Information processing apparatus, information processing method, and storage medium
JP2013168120A (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and program
JP6726016B2 (en) Information processing device and information processing method
JP2019144958A (en) Image processing device, image processing method, and program
JP6929037B2 (en) Information processing equipment, information processing methods, programs
JP6562371B1 (en) Display device, display processing device, and display processing program
JP2018142273A (en) Information processing apparatus, method for controlling information processing apparatus, and program
WO2023181634A1 (en) Information processing device, information processing method, and recording medium
JP2016038632A (en) Image processing apparatus and image processing method
CN117707332A (en) Information processing apparatus, control method, and non-transitory computer storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230725