JP2021033887A - Input reception and input display method in three-dimensional space, program, input reception and input display device in three-dimensional space - Google Patents
Input reception and input display method in three-dimensional space, program, input reception and input display device in three-dimensional space Download PDFInfo
- Publication number
- JP2021033887A JP2021033887A JP2019156219A JP2019156219A JP2021033887A JP 2021033887 A JP2021033887 A JP 2021033887A JP 2019156219 A JP2019156219 A JP 2019156219A JP 2019156219 A JP2019156219 A JP 2019156219A JP 2021033887 A JP2021033887 A JP 2021033887A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional space
- input
- dimensional
- image
- dimensional structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000002910 structure generation Methods 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Abstract
Description
本発明は、３次元空間における入力受付および入力表示方法、プログラム、および３次元空間における入力受付および入力表示装置に関する。 The present invention relates to an input reception and input display method in a three-dimensional space, a program, and an input reception and input display device in a three-dimensional space.
３次元モデルにテキストデータが埋め込まれた３次元データを作成する方法として、３次元モデルのうちユーザにより指定された指定部分の位置データに、テキストデータをリンクさせる方法が知られている（特許文献１）。 As a method of creating 3D data in which text data is embedded in a 3D model, a method of linking text data to the position data of a designated portion of the 3D model specified by a user is known (Patent Document). 1).
しかしながら、図１１に引用して示すように、特許文献１において、前記テキストデータ（図中、「テキスト」として示されている部分）は、３次元空間の画像（図中、「画面」として示されている部分）上に、２次元的に入力および表示される（特許文献１ 図４）。このため、特許文献１において、前記テキストデータは、前記３次元モデルにリンクしているものの、３次元空間における入力とは言い難かった。 However, as shown by quoting FIG. 11, in Patent Document 1, the text data (the portion shown as "text" in the figure) is shown as an image in three-dimensional space (in the figure, shown as "screen"). (Patent Document 1 FIG. 4) is input and displayed two-dimensionally on the portion). Therefore, in Patent Document 1, although the text data is linked to the three-dimensional model, it cannot be said that the text data is input in the three-dimensional space.
本発明は、上記事情に鑑み、３次元空間における入力受付および入力表示を可能にするシステムを提供する。 In view of the above circumstances, the present invention provides a system that enables input reception and input display in a three-dimensional space.
前記目的を達成するために、本発明の３次元空間における入力受付および入力表示方法は、３次元空間出力工程、２次元構造生成工程、およびユーザ入力受付工程を含み、
前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される。
In order to achieve the above object, the input reception and input display method in the three-dimensional space of the present invention includes a three-dimensional space output step, a two-dimensional structure generation step, and a user input reception step.
In the three-dimensional space output step, an image of the three-dimensional space displayed on the image display unit is output.
In the two-dimensional structure generation step, a two-dimensional structure for receiving an input to the three-dimensional space is generated in the three-dimensional space.
The user input receiving process receives input to the three-dimensional space by the user, and receives input to the three-dimensional space.
At the reception of input to the three-dimensional space, the input contents to the three-dimensional space are input based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure. Linked to the three-dimensional space position of the two-dimensional structure,
The three-dimensional space output step outputs an image of the three-dimensional space so that the input content to the three-dimensional space is displayed at the associated three-dimensional space position.
Each of the above steps is carried out by a computer.
本発明のプログラムは、前記本発明の方法をコンピュータ上で実行可能である。 The program of the present invention can execute the method of the present invention on a computer.
本発明の３次元空間における入力受付および入力表示装置は、３次元空間出力手段、２次元構造生成手段、およびユーザ入力受付手段を含み、
前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する。
The input receiving and input display device in the three-dimensional space of the present invention includes a three-dimensional space output means, a two-dimensional structure generating means, and a user input receiving means.
The three-dimensional space output means outputs an image in the three-dimensional space displayed on the image display unit, and outputs the image in the three-dimensional space.
The two-dimensional structure generating means generates a two-dimensional structure in the three-dimensional space for receiving an input to the three-dimensional space.
The user input receiving means receives input to the three-dimensional space by the user, and receives input to the three-dimensional space.
At the reception of input to the three-dimensional space, the input contents to the three-dimensional space are input based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure. Linked to the three-dimensional space position of the two-dimensional structure,
The three-dimensional space output means outputs an image of the three-dimensional space so that the input content to the three-dimensional space is displayed at the associated three-dimensional space position.
本発明によれば、３次元空間における入力受付および入力表示を可能にするシステムを提供することができる。 According to the present invention, it is possible to provide a system that enables input reception and input display in a three-dimensional space.
本発明によれば、前述のように、３次元空間の画像における２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけする。これにより、前記３次元空間における、オブジェクト（例えば、特許文献１における「３次元モデル」等）が存在する領域以外の領域に対しても、入力受付および入力表示をすることができる。 According to the present invention, as described above, based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure, the input content to the three-dimensional space is input to the above two. It is associated with the three-dimensional space position of the dimensional structure. As a result, input reception and input display can be performed even in an area other than the area in which the object (for example, "three-dimensional model" in Patent Document 1) exists in the three-dimensional space.
本発明において、「ユーザ」は、本発明の入力受付および入力表示装置（「入力受付表示装置」ともいう。）のユーザである。前記ユーザは、１人でもよいし、複数でもよい。 In the present invention, the "user" is a user of the input reception and input display device (also referred to as "input reception display device") of the present invention. The user may be one person or a plurality of users.
本発明の実施形態について、図を用いて説明する。本発明は、下記の実施形態によって何ら限定および制限されない。以下の各図において、同一部分には、同一符号を付している。各実施形態の説明は、特に言及がない限り、互いの説明を援用できる。 An embodiment of the present invention will be described with reference to the drawings. The present invention is not limited or limited by the following embodiments. In each of the following figures, the same parts are designated by the same reference numerals. Unless otherwise specified, the explanations of the respective embodiments can be referred to each other's explanations.
［実施形態１］
図１は、本実施形態の入力受付表示装置１０の一例の構成を示すブロック図である。入力受付表示装置１０は、３次元空間出力手段１１、２次元構造生成手段１２、およびユーザ入力受付手段１３を含む。
[Embodiment 1]
FIG. 1 is a block diagram showing a configuration of an example of the input reception display device 10 of the present embodiment. The input reception display device 10 includes a three-dimensional space output means 11, a two-dimensional structure generation means 12, and a user input reception means 13.
入力受付表示装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、有線または無線の通信回線網を介して接続可能な装置（システム）であってもよい。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、電話回線、ＬＡＮ（Local Area Network）、ＷｉＦｉ（Wireless Fidelity）等があげられる。入力受付表示装置１０は、例えば、システムとしてサーバーに組み込まれていてもよい。また、入力受付表示装置１０は、例えば、本発明のプログラムがインストールされたコンピュータであってもよい。 The input reception display device 10 may be, for example, one device including the above-mentioned parts, or may be a device (system) in which each part can be connected via a wired or wireless communication network. The communication network is not particularly limited, and a known network can be used. For example, it may be wired or wireless. Examples of the communication line network include an Internet line, a telephone line, a LAN (Local Area Network), WiFi (Wireless Fidelity), and the like. The input reception display device 10 may be incorporated in the server as a system, for example. Further, the input reception display device 10 may be, for example, a computer in which the program of the present invention is installed.
本実施形態において、入力受付表示装置１０は、パーソナルコンピュータ（ＰＣ）である。ただし、これには制限されず、入力受付表示装置１０は、例えば、スマートフォン、タブレット端末、およびウェアラブル端末等の携帯端末、ならびにゲーム機等でもよい。 In the present embodiment, the input reception display device 10 is a personal computer (PC). However, the present invention is not limited to this, and the input reception display device 10 may be, for example, a mobile terminal such as a smartphone, a tablet terminal, and a wearable terminal, a game machine, or the like.
さらに、図２に、入力受付表示装置１０のハードウエア構成のブロック図を例示する。入力受付表示装置１０は、例えば、ＣＰＵ（中央処理装置）１０１、メモリ１０２、バス１０３、通信デバイス１０４、記憶装置１０５等を有する。入力受付表示装置１０の各部は、例えば、それぞれのインターフェイス（Ｉ／Ｆ）により、バス１０３を介して、接続されている。 Further, FIG. 2 illustrates a block diagram of the hardware configuration of the input reception display device 10. The input reception display device 10 includes, for example, a CPU (central processing unit) 101, a memory 102, a bus 103, a communication device 104, a storage device 105, and the like. Each part of the input reception display device 10 is connected via the bus 103 by, for example, each interface (I / F).
ＣＰＵ１０１は、入力受付表示装置１０の全体の制御を担う。入力受付表示装置１０において、ＣＰＵ１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的に、入力受付表示装置１０は、例えば、ＣＰＵ１０１が、３次元空間出力手段１１、２次元構造生成手段１２、およびユーザ入力受付手段１３として機能する。 The CPU 101 is responsible for controlling the entire input reception display device 10. In the input reception display device 10, for example, the program of the present invention and other programs are executed by the CPU 101, and various information is read and written. Specifically, in the input reception display device 10, for example, the CPU 101 functions as a three-dimensional space output means 11, a two-dimensional structure generation means 12, and a user input reception means 13.
バス１０３は、例えば、ＣＰＵ１０１、メモリ１０２等のそれぞれの機能部間を接続する。バス１０３は、例えば、外部機器とも接続できる。前記外部機器は、例えば、画像表示装置、入力装置、ならびにスピーカー等の音声出力装置等があげられる。前記画像表示装置、および前記入力装置については、後述する。入力受付表示装置１０は、バス１０３に接続された通信デバイス１０４により、通信回線網に接続でき、通信回線網を介して、前記外部機器と接続することもできる。 The bus 103 connects, for example, between the functional units of the CPU 101, the memory 102, and the like. The bus 103 can also be connected to, for example, an external device. Examples of the external device include an image display device, an input device, and an audio output device such as a speaker. The image display device and the input device will be described later. The input reception display device 10 can be connected to the communication network by the communication device 104 connected to the bus 103, and can also be connected to the external device via the communication network.
メモリ１０２は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム１０６を、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、プログラム１０６を実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。 The memory 102 includes, for example, a main memory, and the main memory is also referred to as a main storage device. When the CPU 101 performs processing, for example, the memory 102 reads various operation programs 106 such as the program of the present invention stored in the auxiliary storage device described later, and the CPU 101 receives data from the memory 102. , Program 106 is executed. The main memory is, for example, a RAM (random access memory). The memory 102 further includes, for example, a ROM (read-only memory).
記憶装置１０５は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。記憶装置１０５は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０５は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）も例示できる。記憶装置１０５には、例えば、前述のように、動作プログラム１０６が格納される。また、記憶装置１０５は、例えば、後述する、３次元空間の情報等が格納されてもよい。 The storage device 105 is also referred to as a so-called auxiliary storage device with respect to the main memory (main storage device), for example. The storage device 105 includes, for example, a storage medium and a drive for reading and writing to the storage medium. The storage medium is not particularly limited, and may be an internal type or an external type, and examples thereof include HD (hard disk), CD-ROM, CD-R, CD-RW, MO, DVD, flash memory, and memory card. The drive is not particularly limited. As the storage device 105, for example, a hard disk drive (HDD) in which a storage medium and a drive are integrated can be exemplified. For example, as described above, the operation program 106 is stored in the storage device 105. Further, the storage device 105 may store, for example, information in a three-dimensional space, which will be described later.
入力受付表示装置１０において、メモリ１０２および記憶装置１０５は、ユーザからのアクセス情報およびログ情報、ならびに、外部データベース（図示せず）から取得した情報を記憶することも可能である。 In the input reception display device 10, the memory 102 and the storage device 105 can also store access information and log information from the user, as well as information acquired from an external database (not shown).
３次元空間出力手段１１は、画像表示部に表示される、３次元空間の画像を出力する。前記画像表示部は、例えば、ディスプレイ（液晶ディスプレイ、有機ＥＬディスプレイ等）、タッチパネル、スクリーン等があげられる。前記画像表示部は、入力受付表示装置１０に内蔵されたものでもよいし（図示せず）、外部接続された前記画像表示装置でもよい。３次元空間出力手段１１は、例えば、前記３次元空間の画像の情報を、バス１０３を介して、前記画像表示部に出力する。 The three-dimensional space output means 11 outputs an image of the three-dimensional space displayed on the image display unit. Examples of the image display unit include a display (liquid crystal display, organic EL display, etc.), a touch panel, a screen, and the like. The image display unit may be built in the input reception display device 10 (not shown), or may be an externally connected image display device. The three-dimensional space output means 11 outputs, for example, the information of the image in the three-dimensional space to the image display unit via the bus 103.
前記３次元空間は、例えば、Ｘ座標、Ｙ座標、Ｚ座標（それぞれ、例えば、幅、奥行き、高さ）の３つの値によって定義される空間である。前記３次元空間は、特に制限されず、具体的には、例えば、仮想現実空間、ゲーム空間、シミュレーション（性能試験等）、訓練（運転の訓練、手術の訓練等）、および設計・描画用の空間、ならびに３次元カメラにより取得された画像空間等があげられる。 The three-dimensional space is, for example, a space defined by three values of X coordinate, Y coordinate, and Z coordinate (for example, width, depth, and height, respectively). The three-dimensional space is not particularly limited, and specifically, for example, a virtual reality space, a game space, a simulation (performance test, etc.), a training (driving training, a surgical training, etc.), and a design / drawing. Examples include space and image space acquired by a three-dimensional camera.
前記３次元空間は、固定のもの（静止しているもの、動きのあるもの）でもよいし、ユーザの入力等に基づき変化してもよい。後者の場合、例えば、３次元空間制御部（例えば、ＣＰＵ）により、前記３次元空間の制御を行うことができる。 The three-dimensional space may be fixed (stationary or moving), or may be changed based on user input or the like. In the latter case, for example, the three-dimensional space control unit (for example, CPU) can control the three-dimensional space.
前記３次元空間の画像は、２次元画像である。前記２次元画像は、例えば、疑似的な３次元表示（立体視テレビ、ＶＲ（Virtual Reality）ゴーグル等）のための画像を含む。前記３次元空間の画像は、後述するように、表示位置の情報を含む。 The image in the three-dimensional space is a two-dimensional image. The two-dimensional image includes, for example, an image for a pseudo three-dimensional display (stereoscopic television, VR (Virtual Reality) goggles, etc.). The image in the three-dimensional space includes information on the display position, as will be described later.
３次元空間出力手段１１は、例えば、前記出力において、前記３次元空間の情報から、前記画像表示部に表示される、前記３次元空間の画像を算出し、これを出力する。前記３次元空間の情報は、特に制限されず、例えば、前記３次元空間に含まれるオブジェクトの情報（色、形等の情報、位置情報等）、ならびに、後述する、２次元構造の情報、および、ユーザによる前記３次元空間への入力内容等があげられる。前記オブジェクトは、特に制限されず、例えば、「物」ということもできる。前記「物」は、具体的には、例えば、前記仮想現実空間における構造物、前記設計用の空間における設計されたモデル、前記ゲーム空間におけるキャラクター等でもよい。なお、前記ユーザによる前記３次元空間への入力内容は、前記オブジェクトでもよいし、前記オブジェクトでなくてもよい。 For example, in the output, the three-dimensional space output means 11 calculates an image of the three-dimensional space to be displayed on the image display unit from the information of the three-dimensional space, and outputs the image. The information in the three-dimensional space is not particularly limited, and for example, information on objects included in the three-dimensional space (information such as color and shape, position information, etc.), information on a two-dimensional structure described later, and information on a two-dimensional structure, which will be described later, and , Input contents to the three-dimensional space by the user and the like. The object is not particularly limited, and may be referred to as, for example, an "object". Specifically, the "object" may be, for example, a structure in the virtual reality space, a model designed in the design space, a character in the game space, or the like. The input content to the three-dimensional space by the user may or may not be the object.
前記３次元空間の画像の算出は、例えば、前記３次元空間を仮想的に撮像する仮想的なカメラの設定情報（位置、角度、ズーム、遠近感、および視野角等）に基づき、行うことができる。前記仮想的なカメラの設定情報は、例えば、前記ユーザの入力に応じて、決定できる。 The calculation of the image in the three-dimensional space can be performed based on, for example, the setting information (position, angle, zoom, perspective, viewing angle, etc.) of a virtual camera that virtually captures the three-dimensional space. it can. The setting information of the virtual camera can be determined, for example, according to the input of the user.
図３（Ａ）は、前記画像表示部に表示される、前記３次元空間の画像の一例を示す図である。図３（Ａ）に示された３次元空間の画像１００から、前記３次元空間に、前記オブジェクトが含まれていることがわかる（図中、左側および右側）。また、図中、白色の領域には、「地面」の前記オブジェクトが存在している。 FIG. 3A is a diagram showing an example of an image in the three-dimensional space displayed on the image display unit. From the image 100 in the three-dimensional space shown in FIG. 3 (A), it can be seen that the object is included in the three-dimensional space (left side and right side in the figure). Further, in the figure, the object on the "ground" exists in the white area.
３次元空間出力手段１１は、例えば、１つの３次元空間について、複数のそれぞれ異なる前記３次元空間の画像を出力することができる。すなわち、例えば、１人のユーザに対し、前記仮想的なカメラの設定情報に応じて、異なる前記３次元空間の画像を出力してもよいし、１つの３次元空間を（例えば、同時に）共有する複数のユーザに対し、それぞれ異なる前記３次元空間の画像を出力してもよい。 The three-dimensional space output means 11 can output a plurality of different images of the three-dimensional space for one three-dimensional space, for example. That is, for example, different images of the three-dimensional space may be output to one user according to the setting information of the virtual camera, or one three-dimensional space may be shared (for example, at the same time). You may output different images of the three-dimensional space to a plurality of users.
２次元構造生成手段１２は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成する。「前記３次元空間への入力を受付するための」とは、例えば、前記３次元空間への入力を受付することを主な目的として、という意味である。前記２次元構造は、例えば、前記３次元空間に含まれる前記オブジェクトとは異なるものである。また、前記２次元構造は、例えば、前記３次元空間への入力を受付する間、一時的に生成される。 The two-dimensional structure generating means 12 generates a two-dimensional structure for receiving an input to the three-dimensional space in the three-dimensional space. "For accepting input to the three-dimensional space" means, for example, that the main purpose is to accept input to the three-dimensional space. The two-dimensional structure is different from, for example, the object included in the three-dimensional space. Further, the two-dimensional structure is temporarily generated, for example, while receiving an input to the three-dimensional space.
図３（Ｂ）は、前記２次元構造の一例を示す図である。図３（Ｂ）において、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造Ｐが生成されたことがわかる。 FIG. 3B is a diagram showing an example of the two-dimensional structure. In FIG. 3B, it can be seen that the two-dimensional structure P for receiving the input to the three-dimensional space is generated in the three-dimensional space.
前記２次元構造の形状は、特に制限されず、例えば、図３（Ｂ）に示すように、平面でもよいし、曲面でもよい。前記曲面は、特に制限されず、例えば、球、円柱、二次曲面等の全部または一部、波状構造、ランダムな曲面等があげられる。前記２次元構造の形状および大きさは、例えば、前記ユーザの入力に応じて設定および変更することができる。なお、前記２次元構造は、後述する、ユーザによる前記３次元空間への入力を妨げない範囲で、３次元的な構造（例えば、立体的な装飾等）を有していてもよい。 The shape of the two-dimensional structure is not particularly limited, and may be a flat surface or a curved surface, for example, as shown in FIG. 3 (B). The curved surface is not particularly limited, and examples thereof include all or a part of a sphere, a cylinder, a quadric surface, a wavy structure, a random curved surface, and the like. The shape and size of the two-dimensional structure can be set and changed, for example, according to the input of the user. The two-dimensional structure may have a three-dimensional structure (for example, three-dimensional decoration or the like) as long as the input to the three-dimensional space by the user is not hindered, which will be described later.
また、前記２次元構造は、図３（Ｂ）に示すように、透過性を有してもよい。前記「透過性を有する」とは、透明でもよいし、半透明でもよい。前記透過性を有することで、例えば、３次元空間の画像１００において、手前側にある前記２次元構造により、奥側にある前記オブジェクト等が表示されなくなるのを防ぐことができる。また、前記２次元構造は、図３（Ｂ）に示すように、所定の間隔で引かれたグリッド線を含んでもよい。前記グリッド線を含むことで、例えば、前記２次元構造の位置および形状等をわかりやすくすることができる。 Further, the two-dimensional structure may have transparency as shown in FIG. 3 (B). The term "transparent" may be transparent or translucent. By having the transparency, for example, in the image 100 in the three-dimensional space, it is possible to prevent the object or the like on the back side from being displayed due to the two-dimensional structure on the front side. Further, as shown in FIG. 3B, the two-dimensional structure may include grid lines drawn at predetermined intervals. By including the grid lines, for example, the position and shape of the two-dimensional structure can be easily understood.
なお、図３（Ｂ）の例では、２次元構造Ｐと前記オブジェクトとが交わる部分において、２次元構造Ｐが非表示（非生成）になっている。これにより、例えば、前記３次元空間における、前記オブジェクトが存在する位置には、後述するユーザによる入力ができないようにすることができる。このため、前記オブジェクトの内部に前記入力がされることによる違和感の発生や、入力したにも関わらず前記オブジェクトに遮られて入力内容が表示されない等の問題の発生を防ぐことができる。ただし、これには制限されず、２次元構造Ｐと前記オブジェクトとが交わる部分において、２次元構造Ｐが表示（生成）されてもよい。 In the example of FIG. 3B, the two-dimensional structure P is hidden (non-generated) at the intersection of the two-dimensional structure P and the object. Thereby, for example, it is possible to prevent the user, which will be described later, from inputting to the position where the object exists in the three-dimensional space. Therefore, it is possible to prevent the occurrence of a sense of incongruity due to the input being made inside the object, and the occurrence of problems such as the input being blocked by the object and the input content not being displayed. However, the present invention is not limited to this, and the two-dimensional structure P may be displayed (generated) at the intersection of the two-dimensional structure P and the object.
また、図４（Ａ）に示すように、２次元構造Ｐと前記オブジェクトとが交わる場合、前記オブジェクトの表面を迂回するようにして２次元構造Ｐが表示（生成）されてもよい。図４（Ａ）において、２次元構造Ｐと三角錐型のオブジェクト（図中、中央）とが交わり、且つ、これらの交線（図中、点線で示す線）が閉じており、且つ、２次元構造Ｐ面からの前記オブジェクトの高さｈが所定値以下となっているため、前記オブジェクトの表面を迂回するようにして２次元構造Ｐが表示されている。図４（Ｂ）は、図４（Ａ）に示す前記３次元空間において、前記三角錐型のオブジェクトを前記地面に水平な方向から見た場合の、前記三角錐型のオブジェクトの断面図（概略図）であり、前記オブジェクトの高さｈを示している。一方、図４（Ａ）において、２次元構造Ｐと図中左側および右側の２つの前記オブジェクトとは、交わっているが、いずれも交線が閉じていないため、２次元構造Ｐは、前記オブジェクトの表面を迂回していない。 Further, as shown in FIG. 4A, when the two-dimensional structure P intersects with the object, the two-dimensional structure P may be displayed (generated) so as to bypass the surface of the object. In FIG. 4A, the two-dimensional structure P intersects the triangular pyramid-shaped object (center in the figure), and these intersection lines (dotted lines in the figure) are closed and 2 Since the height h of the object from the plane of the dimensional structure P is equal to or less than a predetermined value, the two-dimensional structure P is displayed so as to bypass the surface of the object. FIG. 4 (B) is a cross-sectional view (approximately) of the triangular pyramidal object when the triangular pyramidal object is viewed from a direction horizontal to the ground in the three-dimensional space shown in FIG. 4 (A). (Fig.), Which shows the height h of the object. On the other hand, in FIG. 4 (A), the two-dimensional structure P and the two objects on the left and right sides in the figure intersect, but since the lines of intersection are not closed, the two-dimensional structure P is the object. Does not bypass the surface of.
２次元構造生成手段１２は、例えば、さらに、前記ユーザの入力に応じて、前記２次元構造を移動および回転させてもよい。２次元構造生成手段１２は、例えば、前記２次元構造のおおまかな３次元空間位置を決定した後、前記２次元構造を回転させてもよい。前記３次元空間位置については、後述する。前記回転の回転軸、および回転中心は、特に制限されず、例えば、前記２次元構造上にあってもよい。具体的には、２次元構造生成手段１２は、例えば、まず、前記３次元空間の任意の３次元空間位置に、仮の前記２次元構造を生成する。つぎに、前記仮の前記２次元構造を、前記ユーザの入力に応じて、前記３次元空間の画像における奥行き方向に移動させ、前記仮の前記２次元構造のおおまかな３次元空間位置を決定する。その後、前記仮の前記２次元構造を、前記ユーザの入力に応じて、回転させ（例えば、前記地面に対して垂直な状態の前記仮の前記２次元構造を傾ける、前記地面に対して垂直な軸を中心にして回転させる等）、前記回転後の前記仮の前記２次元構造の３次元空間位置を、前記２次元構造の３次元空間位置として決定する。 The two-dimensional structure generating means 12 may further move and rotate the two-dimensional structure in response to the input of the user, for example. The two-dimensional structure generating means 12 may, for example, rotate the two-dimensional structure after determining a rough three-dimensional spatial position of the two-dimensional structure. The three-dimensional spatial position will be described later. The rotation axis and the rotation center of the rotation are not particularly limited, and may be, for example, on the two-dimensional structure. Specifically, for example, the two-dimensional structure generating means 12 first generates the temporary two-dimensional structure at an arbitrary three-dimensional space position in the three-dimensional space. Next, the temporary two-dimensional structure is moved in the depth direction in the image of the three-dimensional space in response to the input of the user, and a rough three-dimensional space position of the temporary two-dimensional structure is determined. .. Then, the temporary two-dimensional structure is rotated in response to the input of the user (for example, the temporary two-dimensional structure in a state perpendicular to the ground is tilted, and is perpendicular to the ground. The three-dimensional space position of the temporary two-dimensional structure after the rotation is determined as the three-dimensional space position of the two-dimensional structure.
ユーザ入力受付手段１３は、ユーザによる前記３次元空間への入力を受付する。前記ユーザによる前記入力は、例えば、タッチパネル、マウス、キーボード、およびコントローラ等の入力部により行うことができる。前記入力部は、入力受付表示装置１０に内蔵されたものでもよいし（図示せず）、外部接続された前記入力装置でもよい。 The user input receiving means 13 receives an input to the three-dimensional space by the user. The input by the user can be performed by, for example, an input unit such as a touch panel, a mouse, a keyboard, and a controller. The input unit may be built in the input reception display device 10 (not shown), or may be the externally connected input device.
前記３次元空間への入力において、例えば、前記ユーザは、前記３次元空間の画像を見ながら、前記３次元空間の画像における任意の前記２次元構造の表示位置に、前記３次元空間への入力をすることができる。 In the input to the three-dimensional space, for example, the user inputs to the three-dimensional space at an arbitrary display position of the two-dimensional structure in the image of the three-dimensional space while viewing the image of the three-dimensional space. Can be done.
前記ユーザによる前記３次元空間への入力は、具体的には、例えば、前記入力装置がマウスである場合、前記マウスを操作することにより、前記３次元空間の画像上に表示されたカーソルを動かすことで、前記３次元空間の画像上に線を入力することができる。図３（Ｃ）は、前記３次元空間への入力の一例を示す図である。図３（Ｃ）において、３次元空間の画像１００における、２次元構造Ｐが表示されている領域に、入力内容として、丸印等を示す線が入力されている。また、前記入力装置がキーボードである場合、前記キーボードを操作することにより、前記３次元空間の画像上における入力位置の決定、文字の入力等をすることができる。図５（Ａ）は、前記３次元空間への入力の別の一例を示す図である。図５（Ａ）において、３次元空間の画像１００における、２次元構造Ｐが表示されている領域に、入力内容として、「ＮＧ！」および「ＯＫ」の文字が入力されている。 Specifically, for input to the three-dimensional space by the user, for example, when the input device is a mouse, the cursor displayed on the image of the three-dimensional space is moved by operating the mouse. This makes it possible to input a line on the image in the three-dimensional space. FIG. 3C is a diagram showing an example of input to the three-dimensional space. In FIG. 3C, a line indicating a circle or the like is input as an input content in the area where the two-dimensional structure P is displayed in the image 100 in the three-dimensional space. When the input device is a keyboard, the input position on the image in the three-dimensional space can be determined, characters can be input, and the like by operating the keyboard. FIG. 5A is a diagram showing another example of input to the three-dimensional space. In FIG. 5A, the characters “NG!” And “OK” are input as input contents in the area where the two-dimensional structure P is displayed in the image 100 in the three-dimensional space.
ユーザ入力受付手段１３は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけする。 The user input receiving means 13 receives the input to the three-dimensional space based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure. The input content to the space is associated with the three-dimensional space position of the two-dimensional structure.
前記「３次元空間の画像における表示位置」とは、前記３次元空間の画像において表示される位置であり、例えば、図６に示すように、３次元空間の画像１００における、縦方向および横方向の位置（座標ともいう。）である。図６において、図中、左右方向が、ｘ方向であり、上下方向が、ｙ方向であり、３次元空間の画像１００における四隅の座標が、それぞれ、（０，０）、（ｘｎ，０）、（０，ｙｎ）、（ｘｎ，ｙｎ）となっている。前記「３次元空間位置」とは、前記３次元空間における位置であり、例えば、前記３次元空間における、幅方向、奥行き方向、および高さ方向の位置（座標ともいう。）である。図６において、前記３次元空間の画像における表示位置（ｘ１，ｙ１）に対して、例えば、前記３次元空間位置（Ｘ１，Ｙ１，Ｚ１）が対応している。 The "display position in the image of the three-dimensional space" is a position displayed in the image of the three-dimensional space, and for example, as shown in FIG. 6, in the image 100 of the three-dimensional space, the vertical direction and the horizontal direction. Position (also called coordinates). In FIG. 6, in the figure, the horizontal direction is the x direction, the vertical direction is the y direction, and the coordinates of the four corners of the image 100 in the three-dimensional space are (0, 0) and (xn, 0), respectively. , (0, yn), (xn, yn). The "three-dimensional space position" is a position in the three-dimensional space, and is, for example, a position (also referred to as a coordinate) in the width direction, the depth direction, and the height direction in the three-dimensional space. In FIG. 6, for example, the three-dimensional space position (X1, Y1, Z1) corresponds to the display position (x1, y1) in the three-dimensional space image.
図７は、３次元空間の画像１００における２次元構造Ｐの表示位置と、２次元構造Ｐの３次元空間位置との対応関係を示す概略図である。図７は、前記３次元空間における前記仮想的なカメラの位置（図中、人の目の絵で示す）を通り、３次元空間の画像１００および２次元構造Ｐに交わる面で、前記３次元空間を切断した、概略断面図である。図７（Ａ）において、３次元空間の画像１００における２次元構造Ｐの表示位置と、２次元構造Ｐの３次元空間位置とは、１対１の対応関係を有している（例えば、図中、「Ａ（ｘ１，ｙ１）」と「Ａ’（Ｘ１，Ｙ１，Ｚ１）」との対応関係、および「Ｂ（ｘ２，ｙ２）」と「Ｂ’（Ｘ２，Ｙ２，Ｚ２）」との対応関係）。なお、前記対応関係は、例えば、前述の、前記仮想的なカメラの設定情報の変更（例えば、位置の変更）等に応じて、適宜、変更される。 FIG. 7 is a schematic view showing the correspondence between the display position of the two-dimensional structure P in the image 100 in the three-dimensional space and the three-dimensional space position of the two-dimensional structure P. FIG. 7 is a plane that passes through the position of the virtual camera in the three-dimensional space (shown by a picture of the human eye in the figure) and intersects the image 100 and the two-dimensional structure P in the three-dimensional space. It is a schematic cross-sectional view which cut the space. In FIG. 7A, the display position of the two-dimensional structure P in the image 100 in the three-dimensional space and the three-dimensional space position of the two-dimensional structure P have a one-to-one correspondence (for example, FIG. Among them, the correspondence between "A (x1, y1)" and "A'(X1, Y1, Z1)", and the correspondence between "B (x2, y2)" and "B'(X2, Y2, Z2)". Correspondence). The correspondence is appropriately changed in response to, for example, the above-mentioned change in the setting information of the virtual camera (for example, change in position).
前記対応関係は、例えば、図６（Ｂ）に示すように、１対複数の対応関係でもよい。この場合も、前記ユーザによる入力、および既定の設定等により、２次元構造Ｐの複数の前記３次元空間位置のうち、いずれかを対応させることができる。図６（Ｂ）において、３次元空間の画像１００における２次元構造Ｐの表示位置（図中、「Ａ」で示す）に対し、手前側の２次元構造Ｐの３次元空間位置（図中、「Ａ’’」で示す）が対応している。すなわち、ユーザ入力受付手段１３は、例えば、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置に、複数の前記２次元構造の前記３次元空間位置が対応する場合に、いずれかの前記２次元構造の前記３次元空間位置を選択し、前記選択された前記２次元構造の前記３次元空間位置に、前記３次元空間への入力内容を紐づけすることができる。 The correspondence may be, for example, one-to-many correspondence as shown in FIG. 6 (B). Also in this case, any one of the plurality of the three-dimensional spatial positions of the two-dimensional structure P can be associated with the input by the user, the default setting, and the like. In FIG. 6B, the three-dimensional space position of the two-dimensional structure P on the front side with respect to the display position of the two-dimensional structure P in the image 100 in the three-dimensional space (indicated by “A” in the figure) (in the figure, (Indicated by "A" ") corresponds. That is, the user input receiving means 13 is, for example, in accepting input to the three-dimensional space, at the display position of the two-dimensional structure in the image of the three-dimensional space, and the three-dimensional space position of the plurality of the two-dimensional structures. Corresponds, the three-dimensional space position of any of the two-dimensional structures is selected, and the input content to the three-dimensional space is associated with the three-dimensional space position of the selected two-dimensional structure. can do.
ユーザ入力受付手段１３は、具体的には、例えば、第１のユーザ入力受付手段１３１、第２のユーザ入力受付手段１３２、および第３のユーザ入力受付手段１３２のいずれかでもよい。第１のユーザ入力受付手段１３１、第２のユーザ入力受付手段１３２、および第３のユーザ入力受付手段１３２は、例えば、前記ユーザの入力に応じて、いずれかが実行されてもよい。 Specifically, the user input receiving means 13 may be any one of, for example, the first user input receiving means 131, the second user input receiving means 132, and the third user input receiving means 132. Any of the first user input receiving means 131, the second user input receiving means 132, and the third user input receiving means 132 may be executed, for example, in response to the input of the user.
第１のユーザ入力受付手段１３１は、例えば、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけする。 The first user input receiving means 131 sets the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure, for example, in receiving the input to the three-dimensional space. Based on this, the input content to the three-dimensional space is associated with the three-dimensional space position of the two-dimensional structure so as to be a mapping.
「前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけする」とは、例えば、図３（Ｃ）に示すように、前記入力内容（図中、丸印等を示す線）を構成する点について、それぞれ、３次元空間の画像１００における表示位置を取得し、前記表示位置に対応する２次元構造Ｐの前記３次元空間位置に、前記入力内容を構成する点を、それぞれ、紐づけすることをいう。 "The input content to the three-dimensional space is linked to the three-dimensional space position of the two-dimensional structure so as to be a mapping" means, for example, as shown in FIG. 3C, the input content. Regarding the points constituting (lines indicating circles and the like in the figure), the display positions in the image 100 in the three-dimensional space are acquired, and the three-dimensional space positions of the two-dimensional structure P corresponding to the display positions are set to the three-dimensional space positions. It means associating the points constituting the input contents with each other.
これにより、例えば、ユーザは、前記３次元空間における、前記オブジェクトが存在する領域以外の領域に対しても、２次元構造Ｐをキャンバスのようにして、自由に入力をすることができる。 Thereby, for example, the user can freely input the two-dimensional structure P into the area other than the area where the object exists in the three-dimensional space as if it were a canvas.
第２のユーザ入力受付手段１３２は、例えば、前記３次元空間への入力の受付において、さらに、前記３次元空間への入力内容に、中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定する。 The second user input receiving means 132, for example, in accepting input to the three-dimensional space, further sets a center point in the input content to the three-dimensional space, and sets the center point in the input content to the three-dimensional space, and the second user input receiving means 132 in the image of the three-dimensional space. Based on the display position of the dimensional structure and the three-dimensional space position of the two-dimensional structure, the center point is associated with the three-dimensional space position of the two-dimensional structure, and the input contents to the three-dimensional space are linked. Is set to follow the arbitrary display direction of the image in the three-dimensional space by rotating around the center point.
前記中心点は、特に制限されず、前記３次元空間の画像における、任意の１点とすることができる。 The center point is not particularly limited and may be any one point in the image in the three-dimensional space.
前記中心点は、例えば、図８に示すように、一連の前記入力内容（図中、「ＮＧ！」の文字）を含む仮想的な四角形における、重心Ｑとすることができる。ただし、これには制限されず、前記中心点は、例えば、前記一連の前記入力内容を含む仮想的な図形における、任意の１点（四角形の四隅のいずれか等）でもよいし、前記入力内容の書き始めの点等でもよいし、ユーザの入力により決定してもよい。また、前記中心点は、前記入力内容の入力よりも前に、設定されてもよい。前記一連の前記入力内容は、ユーザの入力等により、適宜設定できる。 As shown in FIG. 8, the center point can be, for example, the center of gravity Q in a virtual quadrangle including a series of the input contents (characters “NG!” In the figure). However, the present invention is not limited to this, and the center point may be, for example, any one point (any of the four corners of the quadrangle, etc.) in the virtual figure including the series of input contents, or the input contents. It may be the point at the beginning of writing, or it may be determined by the input of the user. Further, the center point may be set before the input of the input contents. The series of input contents can be appropriately set by user input or the like.
「前記中心点を、前記２次元構造の前記３次元空間位置に紐づけする」とは、例えば、前記中心点について、前記３次元空間の画像における表示位置を取得し、前記表示位置に対応する前記２次元構造の前記３次元空間位置に、紐づけすることをいう。 "Associating the center point with the three-dimensional space position of the two-dimensional structure" means, for example, acquiring the display position in the image of the three-dimensional space for the center point and corresponding to the display position. It means associating with the three-dimensional space position of the two-dimensional structure.
「前記中心点を中心に回転する」とは、前記中心点を中心にして前記入力内容の正面の向きが変わればよく、特に制限されない。なお、前述のように、前記３次元空間の画像は、２次元画像である。そして、前記入力内容も、前記３次元空間の画像上に存在する２次元画像とみなすことができる。このため、前記「入力内容の正面の向き」とは、例えば、前記入力内容の２次元画像の正面の向きということもできる。 The phrase "rotate around the center point" is not particularly limited as long as the front direction of the input content changes around the center point. As described above, the image in the three-dimensional space is a two-dimensional image. Then, the input content can also be regarded as a two-dimensional image existing on the image in the three-dimensional space. Therefore, the "front orientation of the input content" can be, for example, the front orientation of the two-dimensional image of the input content.
「前記３次元空間への入力内容が、前記３次元空間の画像の任意の表示方向に対して追随して表示される」とは、例えば、前記入力内容を含む前記３次元空間の画像を、任意の複数の表示方向に表示させた場合に、それぞれの前記表示方向に対して、前記入力内容が正面を向いて表示されることをいう。 "The input content to the three-dimensional space is displayed following an arbitrary display direction of the image in the three-dimensional space" means, for example, an image of the three-dimensional space including the input content. It means that when the display is performed in any plurality of display directions, the input contents are displayed facing the front in each of the display directions.
具体的には、例えば、図５（Ａ）に示すように、前記入力内容として、「ＮＧ！」および「ＯＫ」の文字が入力された場合、前記入力内容を含む前記３次元空間の画像を、図５（Ｃ）に示すように、図５（Ａ）における図中上方向を新たな表示方向として表示させても、前記新たな表示方向に対して、前記入力内容が正面を向いて表示される。 Specifically, for example, as shown in FIG. 5A, when the characters "NG!" And "OK" are input as the input contents, the image of the three-dimensional space including the input contents is displayed. , As shown in FIG. 5 (C), even if the upper direction in the figure in FIG. 5 (A) is displayed as a new display direction, the input content is displayed facing the front with respect to the new display direction. Will be done.
これにより、例えば、前記入力内容を含む前記３次元空間の画像の表示方向を変えた場合でも、前記表示方向に対して、前記入力内容が正面を向いて表示される。このため、前記入力内容が文字等であっても、任意の複数の表示方向から、前記入力内容を把握することができる。 As a result, for example, even when the display direction of the image in the three-dimensional space including the input content is changed, the input content is displayed facing the front with respect to the display direction. Therefore, even if the input content is a character or the like, the input content can be grasped from any plurality of display directions.
第３のユーザ入力受付手段１３２は、例えば、前記３次元空間への入力の受付において、さらに、前記受付された前記３次元空間への入力内容に、中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する。 The third user input receiving means 132, for example, in accepting input to the three-dimensional space, further sets a center point in the received input content to the three-dimensional space, and has the two-dimensional structure. Based on the three-dimensional space position, the center point is associated with the three-dimensional space position of the two-dimensional structure, and the input content to the three-dimensional space is rotated around the center point. Set so that it is displayed on the surface of the two-dimensional structure.
前記中心点は、例えば、前述のものと同様である。また、「前記中心点を、前記２次元構造の前記３次元空間位置に紐づけする」、および「前記中心点を中心に回転する」とは、例えば、前述と同様である。 The center point is, for example, the same as that described above. Further, "associating the center point with the three-dimensional space position of the two-dimensional structure" and "rotating around the center point" are, for example, the same as described above.
「前記２次元構造の面上」とは、例えば、前記２次元構造の面が、曲面である場合、前記２次元構造に接する平面上でもよいし、前記曲面上でもよい。 The term "on the surface of the two-dimensional structure" means, for example, when the surface of the two-dimensional structure is a curved surface, it may be on a plane in contact with the two-dimensional structure or on the curved surface.
従来、例えば、前記３次元空間における、前記３次元空間の画像が含まれる仮想的な面に対し、平行でない面を正面方向として、入力を行うことは困難であった。また、第１のユーザ入力受付手段１３１によれば、例えば、前述のように、前記２次元構造をキャンバスのようにして、自由に入力をすることができるが、前記２次元構造が、前記３次元空間の画像が含まれる仮想的な面に対し、大きく角度をもっている場合、一連の前記入力内容が、前記２次元構造上に、間延びして紐づけられる可能性がある。 Conventionally, for example, it has been difficult to input in the three-dimensional space with a surface that is not parallel to the virtual surface including the image of the three-dimensional space as the front direction. Further, according to the first user input receiving means 131, for example, as described above, the two-dimensional structure can be freely input by making the two-dimensional structure like a canvas, but the two-dimensional structure is the above three. When there is a large angle with respect to the virtual surface containing the image of the dimensional space, the series of input contents may be extended and associated with the two-dimensional structure.
第３のユーザ入力受付手段１３２によれば、前述のように、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する。このため、例えば、前記２次元構造が、前記３次元空間の画像における奥行き方向に伸長している場合等であっても、前記入力内容が、前記奥行き方向に間延びすることを防ぐことができる。このため、前記入力内容が文字等であっても、見やすくすることができる。 According to the third user input receiving means 132, as described above, the center point is associated with the three-dimensional space position of the two-dimensional structure, and the input content to the three-dimensional space is the said. It is set so that it is rotated around the center point and displayed on the surface of the two-dimensional structure. Therefore, for example, even when the two-dimensional structure extends in the depth direction in the image of the three-dimensional space, it is possible to prevent the input content from extending in the depth direction. Therefore, even if the input content is characters or the like, it can be easily seen.
そして、３次元空間出力手段１１は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する。 Then, the three-dimensional space output means 11 outputs an image of the three-dimensional space so that the input content to the three-dimensional space is displayed at the associated three-dimensional space position.
３次元空間出力手段１１は、前記２次元構造についても、出力してもよいし、出力しなくてもよい。図５（Ａ）は、前者の場合における、前記出力された前記３次元空間の画像の一例を示し、図５（Ｂ）は、後者の場合における、前記出力された前記３次元空間の画像の一例を示す。 The three-dimensional space output means 11 may or may not output the two-dimensional structure. FIG. 5 (A) shows an example of the output image of the three-dimensional space in the former case, and FIG. 5 (B) shows the output image of the three-dimensional space in the latter case. An example is shown.
３次元空間出力手段１１は、例えば、図９に示すように、前記３次元空間への入力内容が、前記２次元構造面からの厚みを有して表示されるように、前記３次元空間の画像を出力してもよい。これにより、例えば、第１のユーザ入力受付手段１３１や第３のユーザ入力受付手段１３２により前記３次元空間への入力内容を受付した場合において、前記３次元空間の画像の表示方向（前記仮想的なカメラが位置する方向）が、前記２次元構造面に対して平行に近い方向（例えば、図中、矢印で示す方向）であっても、前記入力内容の表示が消えたり目立たなくなったりすることを防ぐことができる。 The three-dimensional space output means 11 is, for example, as shown in FIG. 9, so that the input content to the three-dimensional space is displayed with a thickness from the two-dimensional structural surface. An image may be output. As a result, for example, when the input content to the three-dimensional space is received by the first user input receiving means 131 or the third user input receiving means 132, the display direction of the image in the three-dimensional space (the virtual). Even if the direction in which the camera is located) is close to parallel to the two-dimensional structural surface (for example, the direction indicated by the arrow in the figure), the display of the input contents disappears or becomes inconspicuous. Can be prevented.
入力受付表示装置１０は、さらに、記憶手段を含み、前記記憶手段は、前記３次元空間への入力内容と、前記紐づけられた前記３次元空間位置とを記憶してもよい。前記記憶手段は、例えば、記憶装置１０５等があげられる。これにより、前記３次元空間への入力内容と、前記紐づけられた前記３次元空間位置とを記憶することができる。 The input reception display device 10 further includes a storage means, and the storage means may store the input contents to the three-dimensional space and the associated three-dimensional space position. Examples of the storage means include a storage device 105 and the like. As a result, the input content to the three-dimensional space and the associated three-dimensional space position can be stored.
つぎに、本実施形態の入力受付表示方法における処理の一例を、図１のブロック図、図１０のフローチャートに基づき説明する。本実施形態の入力受付表示方法は、３次元空間出力工程（Ａ１）、２次元構造生成工程（Ａ２）、およびユーザ入力受付工程（Ａ３）、３次元空間出力工程（Ａ１’）を含み、例えば、図１の入力受付表示装置１０を用いて、次のように実施できる。なお、本実施形態の入力受付表示方法は、図１の入力受付表示装置１０の使用には限定されない。 Next, an example of the processing in the input reception display method of the present embodiment will be described based on the block diagram of FIG. 1 and the flowchart of FIG. The input reception display method of the present embodiment includes, for example, a three-dimensional space output step (A1), a two-dimensional structure generation step (A2), a user input reception step (A3), and a three-dimensional space output step (A1'). , The input reception display device 10 of FIG. 1 can be used as follows. The input reception display method of the present embodiment is not limited to the use of the input reception display device 10 of FIG.
まず、３次元空間出力手段１１により、画像表示部に表示される、３次元空間の画像を出力する（工程（Ａ１））。図３（Ａ）は、前記工程（Ａ１）において、３次元空間の画像１００が出力され、この３次元空間の画像１００が表示された状態の一例を示す図である。 First, the three-dimensional space output means 11 outputs an image of the three-dimensional space displayed on the image display unit (step (A1)). FIG. 3A is a diagram showing an example of a state in which an image 100 in a three-dimensional space is output in the step (A1) and the image 100 in the three-dimensional space is displayed.
つぎに、２次元構造生成手段１２により、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造Ｐを生成する（工程（Ａ２））。図３（Ｂ）は、前記工程（Ａ２）において、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造Ｐが生成され、この２次元構造Ｐを含む３次元空間の画像１００が表示された状態の一例を示す図である。 Next, the two-dimensional structure generating means 12 generates a two-dimensional structure P for receiving input to the three-dimensional space in the three-dimensional space (step (A2)). In FIG. 3B, in the step (A2), a two-dimensional structure P for receiving an input to the three-dimensional space is generated in the three-dimensional space, and the three-dimensional space including the two-dimensional structure P is included. It is a figure which shows an example of the state which the image 100 of is displayed.
つぎに、ユーザ入力受付手段１３により、ユーザによる前記３次元空間への入力を受付する（工程（Ａ３））。前記工程（Ａ３）において、３次元空間の画像１００における２次元構造Ｐの表示位置と、２次元構造Ｐの３次元空間位置とに基づき、前記３次元空間への入力内容を、２次元構造Ｐの前記３次元空間位置に紐づけする。 Next, the user input receiving means 13 accepts the input to the three-dimensional space by the user (step (A3)). In the step (A3), based on the display position of the two-dimensional structure P in the image 100 of the three-dimensional space and the three-dimensional space position of the two-dimensional structure P, the input content to the three-dimensional space is input to the two-dimensional structure P. It is linked to the three-dimensional space position of.
つぎに、３次元空間出力手段１１により、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、３次元空間の画像１００を出力する（工程（Ａ１’）） Next, the three-dimensional space output means 11 outputs the image 100 of the three-dimensional space so that the input content to the three-dimensional space is displayed at the associated three-dimensional space position (step (step (step). A1')))
前記工程（Ａ３）および前記工程（Ａ１’）は、例えば、この順番で行ってもよいし、並行して行ってもよい。 The step (A3) and the step (A1') may be performed in this order or in parallel, for example.
図３（Ｃ）および（Ｄ）ならびに図５（Ａ）および（Ｂ）は、前記工程（Ａ３）および工程（Ａ１’）において、ユーザによる前記３次元空間への入力を受付し、この入力内容を含む３次元空間の画像１００が表示された状態の一例を示す図である。 3 (C) and (D) and FIGS. 5 (A) and 5 (B) receive input to the three-dimensional space by the user in the steps (A3) and (A1'), and the input contents thereof. It is a figure which shows an example of the state which the image 100 of the three-dimensional space including is displayed.
なお、図３（Ｄ）および図５（Ｂ）に示すように、前記工程（Ａ３）において、前記３次元空間への入力を受付した後、または、工程（Ａ１’）において、３次元空間の画像１００を出力した後、２次元構造Ｐを消してもよい。 As shown in FIGS. 3D and 5B, after receiving the input to the three-dimensional space in the step (A3), or in the step (A1'), the three-dimensional space After outputting the image 100, the two-dimensional structure P may be erased.
その後、例えば、ユーザによる入力に応じて、処理を終了する（ＥＮＤ）。 After that, for example, the process ends (END) in response to an input by the user.
前記工程（Ａ２）〜前記工程（Ａ１’）は、例えば、繰り返し行うことができる。これにより、例えば、２次元構造Ｐの位置を変えて、複数の入力をすることができる。 The steps (A2) to (A1') can be repeated, for example. Thereby, for example, a plurality of inputs can be made by changing the position of the two-dimensional structure P.
すなわち、前記工程（Ａ２）〜前記工程（Ａ１’）の後、２回目の前記工程（Ａ２）において、２次元構造生成手段１２により、前記３次元空間に、前記３次元空間への入力を受付するための新たな２次元構造Ｐ’を生成する。図３（Ｅ）は、２回目の前記工程（Ａ２）において、前記３次元空間に、前記３次元空間への入力を受付するための新たな２次元構造Ｐ’が生成され、この新たな２次元構造Ｐ’を含む３次元空間の画像１００が表示された状態の一例を示す図である。 That is, after the step (A2) to the step (A1'), in the second step (A2), the two-dimensional structure generating means 12 receives the input to the three-dimensional space in the three-dimensional space. Create a new two-dimensional structure P'for this. In FIG. 3 (E), in the second step (A2), a new two-dimensional structure P'for receiving an input to the three-dimensional space is generated in the three-dimensional space, and the new two It is a figure which shows an example of the state in which the image 100 of the three-dimensional space including the dimensional structure P'is displayed.
つぎに、２回目の前記工程（Ａ２）の後、２回目の前記工程（Ａ３）において、ユーザ入力受付手段１３により、ユーザによる新たな前記３次元空間への入力を受付する。図３（Ｆ）は、２回目の前記工程（Ａ３）において、ユーザによる新たな前記３次元空間への入力（図中、太い矢印）を受付し、この入力内容を含む３次元空間の画像１００が表示された状態の一例を示す図である。 Next, after the second step (A2), in the second step (A3), the user input receiving means 13 receives the input to the new three-dimensional space by the user. FIG. 3 (F) receives an input (thick arrow in the figure) to the new three-dimensional space by the user in the second step (A3), and the image 100 of the three-dimensional space including the input content is received. It is a figure which shows an example of the state which is displayed.
そして、２回目の前記工程（Ａ３）の後、２回目の前記工程（Ａ１’）において、３次元空間出力手段１１により、前記新たな前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、３次元空間の画像１００を出力する。 Then, after the second step (A3), in the second step (A1'), the input content to the new three-dimensional space is linked by the three-dimensional space output means 11. The image 100 in the three-dimensional space is output so as to be displayed at the three-dimensional space position.
［実施形態２］
本実施形態のプログラムは、前述の入力受付表示方法を、コンピュータ上で実行可能なプログラムである。本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等があげられる。
[Embodiment 2]
The program of this embodiment is a program that can execute the above-mentioned input reception display method on a computer. The program of this embodiment may be recorded on a computer-readable recording medium, for example. The recording medium is not particularly limited, and examples thereof include a random access memory (RAM), a read-only memory (ROM), a hard disk (HD), and an optical disk.
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。 Although the present invention has been described above with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the structure and details of the present invention within the scope of the present invention.
上記の実施形態の一部又は全部は、以下の付記のようにも記載しうるが、以下には限定されない。 Some or all of the above embodiments may also be described, but not limited to:
（付記１）
３次元空間出力工程、２次元構造生成工程、およびユーザ入力受付工程を含み、
前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される、
３次元空間における入力受付および入力表示方法。
（付記２）
前記ユーザ入力受付工程は、第１のユーザ入力受付工程、第２のユーザ入力受付工程、および第３のユーザ入力受付工程からなる群から選択される少なくとも一つを含み、
前記第１のユーザ入力受付工程は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけし、
前記第２のユーザ入力受付工程は、前記３次元空間への入力の受付において、さらに、前記３次元空間への入力内容に、中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定し、
前記第３のユーザ入力受付工程は、前記３次元空間への入力の受付において、さらに、前記受付された前記３次元空間への入力内容に、中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する、
付記１記載の方法。
（付記３）
前記ユーザ入力受付工程は、前記ユーザの入力に応じて、前記第１のユーザ入力受付工程、前記第２のユーザ入力受付工程、および前記第３のユーザ入力受付工程のいずれかを実行する、付記２記載の方法。
（付記４）
前記２次元構造生成工程は、さらに、前記ユーザの入力に応じて、前記２次元構造の移動、および回転の少なくとも一方を行う、付記１から３のいずれかに記載の方法。
（付記５）
前記２次元構造が、平面である、付記１から４のいずれかに記載の方法。
（付記６）
前記２次元構造が、透過性を有する、付記１から５のいずれかに記載の方法。
（付記７）
前記ユーザ入力受付工程は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置に、複数の前記２次元構造の前記３次元空間位置が対応する場合に、いずれかの前記２次元構造の前記３次元空間位置を選択し、前記選択された前記２次元構造の前記３次元空間位置に、前記３次元空間への入力内容を紐づけする、付記１から６のいずれかに記載の方法。
（付記８）
前記２次元構造生成工程は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わる場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記１から７のいずれかに記載の方法。
（付記９）
前記２次元構造生成工程は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わり、且つ、これらの交線が閉じており、且つ、前記２次元構造面からの前記オブジェクトの高さが所定値以下である場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記８記載の方法。
（付記１０）
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記２次元構造面からの厚みを有して表示されるように、前記３次元空間の画像を出力する、付記１から９のいずれかに記載の方法。
（付記１１）
さらに、記憶工程を含み、
前記記憶工程は、前記３次元空間への入力内容と前記紐づけられた前記３次元空間位置とを記憶する、付記１から１０のいずれかに記載の方法。
（付記１２）
付記１から１１のいずれかに記載の方法をコンピュータ上で実行可能である、プログラム。
（付記１３）
３次元空間出力手段、２次元構造生成手段、およびユーザ入力受付手段を含み、
前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する、
３次元空間における入力受付および入力表示装置。
（付記１４）
前記ユーザ入力受付手段は、第１のユーザ入力受付手段、第２のユーザ入力受付手段、および第３のユーザ入力受付手段からなる群から選択される少なくとも一つを含み、
前記第１のユーザ入力受付手段は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけし、
前記第２のユーザ入力受付手段は、前記３次元空間への入力の受付において、さらに、前記３次元空間への入力内容に、中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定し、
前記第３のユーザ入力受付手段は、前記３次元空間への入力の受付において、さらに、前記受付された前記３次元空間への入力内容に、中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する、
付記１３記載の装置。
（付記１５）
前記ユーザ入力受付手段は、前記ユーザの入力に応じて、前記第１のユーザ入力受付手段、前記第２のユーザ入力受付手段、および前記第３のユーザ入力受付手段のいずれかが実行される、付記１４記載の装置。
（付記１６）
前記２次元構造生成手段は、さらに、前記ユーザの入力に応じて、前記２次元構造を移動、および回転の少なくとも一方を行う、付記１３から１５のいずれかに記載の装置。
（付記１７）
前記２次元構造が、平面である、付記１３から１６のいずれかに記載の装置。
（付記１８）
前記２次元構造が、透過性を有する、付記１３から１７のいずれかに記載の装置。
（付記１９）
前記ユーザ入力受付手段は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置に、複数の前記２次元構造の前記３次元空間位置が対応する場合に、いずれかの前記２次元構造の前記３次元空間位置を選択し、前記選択された前記２次元構造の前記３次元空間位置に、前記３次元空間への入力内容を紐づけする、付記１３から１８のいずれかに記載の装置。
（付記２０）
前記２次元構造生成手段は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わる場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記１３から１９のいずれかに記載の装置。
（付記２１）
前記２次元構造生成手段は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わり、且つ、これらの交線が閉じており、且つ、前記２次元構造面からの前記オブジェクトの高さが所定値以下である場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記２０記載の装置。
（付記２２）
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記２次元構造面からの厚みを有して表示されるように、前記３次元空間の画像を出力する、付記１３から２１のいずれかに記載の装置。
（付記２３）
さらに、記憶手段を含み、
前記記憶手段は、前記３次元空間への入力内容と前記紐づけられた前記３次元空間位置とを記憶する、付記１３から２２のいずれかに記載の装置。
(Appendix 1)
Including 3D spatial output process, 2D structure generation process, and user input reception process
In the three-dimensional space output step, an image of the three-dimensional space displayed on the image display unit is output.
In the two-dimensional structure generation step, a two-dimensional structure for receiving an input to the three-dimensional space is generated in the three-dimensional space.
The user input receiving process receives input to the three-dimensional space by the user, and receives input to the three-dimensional space.
At the reception of input to the three-dimensional space, the input contents to the three-dimensional space are input based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure. Linked to the three-dimensional space position of the two-dimensional structure,
The three-dimensional space output step outputs an image of the three-dimensional space so that the input content to the three-dimensional space is displayed at the associated three-dimensional space position.
Each of the above steps is performed by a computer.
Input reception and input display method in three-dimensional space.
(Appendix 2)
The user input reception process includes at least one selected from the group consisting of a first user input reception process, a second user input reception process, and a third user input reception process.
The first user input reception step is based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure in the reception of input to the three-dimensional space. The input contents to the three-dimensional space are linked to the three-dimensional space position of the two-dimensional structure so as to be a mapping.
In the second user input reception step, in the reception of input to the three-dimensional space, a center point is set in the input content to the three-dimensional space, and the two-dimensional structure in the image of the three-dimensional space. The center point is associated with the three-dimensional space position of the two-dimensional structure based on the display position of and the three-dimensional space position of the two-dimensional structure, and the input content to the three-dimensional space is By rotating around the center point, it is set so that the image in the three-dimensional space is displayed following an arbitrary display direction.
In the third user input reception step, in the reception of input to the three-dimensional space, a center point is set in the received input content to the three-dimensional space, and the third of the two-dimensional structure. Based on the dimensional space position, the center point is associated with the three-dimensional space position of the two-dimensional structure, and the input content to the three-dimensional space is rotated around the center point to form the two-dimensional structure. Set to be displayed on the surface of the structure,
The method described in Appendix 1.
(Appendix 3)
The user input receiving process executes any one of the first user input receiving process, the second user input receiving process, and the third user input receiving process in response to the user's input. 2 The method described.
(Appendix 4)
The method according to any one of Supplementary note 1 to 3, wherein the two-dimensional structure generation step further performs at least one of the movement and rotation of the two-dimensional structure in response to the input of the user.
(Appendix 5)
The method according to any one of Appendix 1 to 4, wherein the two-dimensional structure is a plane.
(Appendix 6)
The method according to any one of Appendix 1 to 5, wherein the two-dimensional structure has transparency.
(Appendix 7)
In the user input reception step, when the display position of the two-dimensional structure in the image of the three-dimensional space corresponds to the display position of the two-dimensional structure in the reception of input to the three-dimensional space, the three-dimensional space positions of the plurality of the two-dimensional structures correspond to each other. The three-dimensional space position of any of the two-dimensional structures is selected, and the input content to the three-dimensional space is associated with the three-dimensional space position of the selected two-dimensional structure. The method according to any one of 6 to 6.
(Appendix 8)
In the two-dimensional structure generation step, when the two-dimensional structure intersects with an object included in the three-dimensional space, the two-dimensional structure is generated so as to bypass the surface of the object. The method described in Crab.
(Appendix 9)
In the two-dimensional structure generation step, the two-dimensional structure intersects the object included in the three-dimensional space, these intersection lines are closed, and the height of the object from the two-dimensional structural surface. 8 is a method according to Appendix 8, wherein when is equal to or less than a predetermined value, the two-dimensional structure is generated so as to bypass the surface of the object.
(Appendix 10)
The three-dimensional space output step outputs an image of the three-dimensional space so that the input content to the three-dimensional space is displayed with a thickness from the two-dimensional structural surface. The method described in any of.
(Appendix 11)
In addition, it includes a storage process
The method according to any one of Appendix 1 to 10, wherein the storage step stores the input content to the three-dimensional space and the associated three-dimensional space position.
(Appendix 12)
A program capable of executing the method according to any one of Supplementary notes 1 to 11 on a computer.
(Appendix 13)
Includes 3D spatial output means, 2D structure generation means, and user input receiving means
The three-dimensional space output means outputs an image in the three-dimensional space displayed on the image display unit, and outputs the image in the three-dimensional space.
The two-dimensional structure generating means generates a two-dimensional structure in the three-dimensional space for receiving an input to the three-dimensional space.
The user input receiving means receives input to the three-dimensional space by the user, and receives input to the three-dimensional space.
At the reception of input to the three-dimensional space, the input contents to the three-dimensional space are input based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure. Linked to the three-dimensional space position of the two-dimensional structure,
The three-dimensional space output means outputs an image of the three-dimensional space so that the input content to the three-dimensional space is displayed at the associated three-dimensional space position.
Input reception and input display device in three-dimensional space.
(Appendix 14)
The user input receiving means includes at least one selected from the group consisting of a first user input receiving means, a second user input receiving means, and a third user input receiving means.
The first user input receiving means receives an input to the three-dimensional space based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure. The input contents to the three-dimensional space are linked to the three-dimensional space position of the two-dimensional structure so as to be a mapping.
In the reception of input to the three-dimensional space, the second user input receiving means further sets a center point in the input content to the three-dimensional space, and sets the center point in the input content to the three-dimensional space, and the two-dimensional structure in the image of the three-dimensional space. The center point is associated with the three-dimensional space position of the two-dimensional structure based on the display position of and the three-dimensional space position of the two-dimensional structure, and the input content to the three-dimensional space is By rotating around the center point, it is set so that the image in the three-dimensional space is displayed following an arbitrary display direction.
In the reception of the input to the three-dimensional space, the third user input receiving means further sets a center point in the received input contents to the three-dimensional space, and sets the center point in the received input contents to the three-dimensional space, and the third user input receiving means has the two-dimensional structure. Based on the dimensional space position, the center point is associated with the three-dimensional space position of the two-dimensional structure, and the input content to the three-dimensional space is rotated around the center point to form the two-dimensional structure. Set to be displayed on the surface of the structure,
The device according to Appendix 13.
(Appendix 15)
In the user input receiving means, any one of the first user input receiving means, the second user input receiving means, and the third user input receiving means is executed in response to the input of the user. The device according to Appendix 14.
(Appendix 16)
The device according to any one of Appendix 13 to 15, wherein the two-dimensional structure generating means further moves and rotates the two-dimensional structure in response to an input from the user.
(Appendix 17)
The device according to any one of Appendix 13 to 16, wherein the two-dimensional structure is a plane.
(Appendix 18)
The device according to any one of Appendix 13 to 17, wherein the two-dimensional structure has transparency.
(Appendix 19)
In the case where the user input receiving means receives the input to the three-dimensional space, the three-dimensional space positions of the plurality of the two-dimensional structures correspond to the display positions of the two-dimensional structures in the image of the three-dimensional space. The three-dimensional space position of any of the two-dimensional structures is selected, and the input content to the three-dimensional space is linked to the three-dimensional space position of the selected two-dimensional structure. The device according to any one of 18 to 18.
(Appendix 20)
The two-dimensional structure generating means generates the two-dimensional structure so as to bypass the surface of the object when the two-dimensional structure intersects with the object included in the three-dimensional space. The device described in Crab.
(Appendix 21)
In the two-dimensional structure generating means, the two-dimensional structure intersects with an object included in the three-dimensional space, these intersections are closed, and the height of the object from the two-dimensional structural surface. The apparatus according to Appendix 20, wherein when is equal to or less than a predetermined value, the two-dimensional structure is generated so as to bypass the surface of the object.
(Appendix 22)
The three-dimensional space output means outputs an image of the three-dimensional space so that the input content to the three-dimensional space is displayed with a thickness from the two-dimensional structural surface. The device according to any of the above.
(Appendix 23)
In addition, including storage means
The device according to any one of Appendix 13 to 22, wherein the storage means stores the input content to the three-dimensional space and the associated three-dimensional space position.
本発明によれば、３次元空間における入力受付および入力表示を可能にするシステムを提供することができる。 According to the present invention, it is possible to provide a system that enables input reception and input display in a three-dimensional space.
１０ 入力受付表示装置
１１ ３次元空間出力手段
１２ ２次元構造生成手段
１３ ユーザ入力受付手段
10 Input reception display device 11 Three-dimensional space output means 12 Two-dimensional structure generation means 13 User input reception means
Claims (10)
前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される、
３次元空間における入力受付および入力表示方法。 Including 3D spatial output process, 2D structure generation process, and user input reception process
In the three-dimensional space output step, an image of the three-dimensional space displayed on the image display unit is output.
In the two-dimensional structure generation step, a two-dimensional structure for receiving an input to the three-dimensional space is generated in the three-dimensional space.
The user input receiving process receives input to the three-dimensional space by the user, and receives input to the three-dimensional space.
At the reception of input to the three-dimensional space, the input contents to the three-dimensional space are input based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure. Linked to the three-dimensional space position of the two-dimensional structure,
The three-dimensional space output step outputs an image of the three-dimensional space so that the input content to the three-dimensional space is displayed at the associated three-dimensional space position.
Each of the above steps is performed by a computer.
Input reception and input display method in three-dimensional space.
前記第１のユーザ入力受付工程は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけし、
前記第２のユーザ入力受付工程は、前記３次元空間への入力の受付において、さらに、前記３次元空間への入力内容に、中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定し、
前記第３のユーザ入力受付工程は、前記３次元空間への入力の受付において、さらに、前記受付された前記３次元空間への入力内容に、中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する、
請求項１記載の方法。 The user input reception process includes at least one selected from the group consisting of a first user input reception process, a second user input reception process, and a third user input reception process.
The first user input reception step is based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure in the reception of input to the three-dimensional space. The input contents to the three-dimensional space are linked to the three-dimensional space position of the two-dimensional structure so as to be a mapping.
In the second user input reception step, in the reception of input to the three-dimensional space, a center point is set in the input content to the three-dimensional space, and the two-dimensional structure in the image of the three-dimensional space. The center point is associated with the three-dimensional space position of the two-dimensional structure based on the display position of and the three-dimensional space position of the two-dimensional structure, and the input content to the three-dimensional space is By rotating around the center point, it is set so that the image in the three-dimensional space is displayed following an arbitrary display direction.
In the third user input reception step, in the reception of input to the three-dimensional space, a center point is set in the received input content to the three-dimensional space, and the third of the two-dimensional structure. Based on the dimensional space position, the center point is associated with the three-dimensional space position of the two-dimensional structure, and the input content to the three-dimensional space is rotated around the center point to form the two-dimensional structure. Set to be displayed on the surface of the structure,
The method according to claim 1.
前記記憶工程は、前記３次元空間への入力内容と前記紐づけられた前記３次元空間位置とを記憶する、請求項１から７のいずれか一項に記載の方法。 In addition, it includes a storage process
The method according to any one of claims 1 to 7, wherein the storage step stores the input content to the three-dimensional space and the associated three-dimensional space position.
前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する、
３次元空間における入力受付および入力表示装置。
Includes 3D spatial output means, 2D structure generation means, and user input receiving means
The three-dimensional space output means outputs an image in the three-dimensional space displayed on the image display unit, and outputs the image in the three-dimensional space.
The two-dimensional structure generating means generates a two-dimensional structure in the three-dimensional space for receiving an input to the three-dimensional space.
The user input receiving means receives input to the three-dimensional space by the user, and receives input to the three-dimensional space.
At the reception of input to the three-dimensional space, the input contents to the three-dimensional space are input based on the display position of the two-dimensional structure in the image of the three-dimensional space and the three-dimensional space position of the two-dimensional structure. Linked to the three-dimensional space position of the two-dimensional structure,
The three-dimensional space output means outputs an image of the three-dimensional space so that the input content to the three-dimensional space is displayed at the associated three-dimensional space position.
Input reception and input display device in three-dimensional space.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019156219A JP2021033887A (en) | 2019-08-29 | 2019-08-29 | Input reception and input display method in three-dimensional space, program, input reception and input display device in three-dimensional space |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019156219A JP2021033887A (en) | 2019-08-29 | 2019-08-29 | Input reception and input display method in three-dimensional space, program, input reception and input display device in three-dimensional space |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021033887A true JP2021033887A (en) | 2021-03-01 |
Family
ID=74678788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019156219A Pending JP2021033887A (en) | 2019-08-29 | 2019-08-29 | Input reception and input display method in three-dimensional space, program, input reception and input display device in three-dimensional space |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021033887A (en) |
-
2019
- 2019-08-29 JP JP2019156219A patent/JP2021033887A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018188499A1 (en) | Image processing method and device, video processing method and device, virtual reality device and storage medium | |
| JP6436628B2 (en) | System and method for navigating a three-dimensional environment using a multi-input interface | |
| US9911221B2 (en) | Animated page turning | |
| US8610714B2 (en) | Systems, methods, and computer-readable media for manipulating graphical objects | |
| JP7008733B2 (en) | Shadow generation for inserted image content | |
| JP5299173B2 (en) | Image processing apparatus, image processing method, and program | |
| US7382374B2 (en) | Computerized method and computer system for positioning a pointer | |
| US9576393B1 (en) | Dynamic rendering of soft shadows for interface elements | |
| KR20120009564A (en) | Apparatus and method for generating 3 dimentional mouse pointer | |
| US11430192B2 (en) | Placement and manipulation of objects in augmented reality environment | |
| WO2020092195A1 (en) | Generating and modifying representations of objects in an augmented-reality or virtual-reality scene | |
| US9754398B1 (en) | Animation curve reduction for mobile application user interface objects | |
| JP2012190428A (en) | Stereoscopic image visual effect processing method | |
| GB2558027A (en) | Quadrangulated layered depth images | |
| US9401044B1 (en) | Method for conformal visualization | |
| KR20190127367A (en) | Method of providing virtual exhibition space for efficient data management | |
| JP2020532022A (en) | Sphere light field rendering method in all viewing angles | |
| WO2017002483A1 (en) | Program, information processing device, depth definition method, and recording medium | |
| KR101428577B1 (en) | Method of providing a 3d earth globes based on natural user interface using motion-recognition infrared camera | |
| JP2021033887A (en) | Input reception and input display method in three-dimensional space, program, input reception and input display device in three-dimensional space | |
| WO2017188119A1 (en) | Program, information processing device, degree of influence derivation method, image generation method, and recording medium | |
| Harish et al. | Designing perspectively correct multiplanar displays | |
| JP2014203413A (en) | House computer graphics device, and program | |
| JP2018151872A (en) | Drawing program, drawing method and drawing device | |
| Zheng et al. | Interactive Design and Optics-Based Visualization of Arbitrary Non-Euclidean Kaleidoscopic Orbifolds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220828 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |