JP2017134492A - Image creation device, image creation method and image creation program - Google Patents

Image creation device, image creation method and image creation program Download PDF

Info

Publication number
JP2017134492A
JP2017134492A JP2016012312A JP2016012312A JP2017134492A JP 2017134492 A JP2017134492 A JP 2017134492A JP 2016012312 A JP2016012312 A JP 2016012312A JP 2016012312 A JP2016012312 A JP 2016012312A JP 2017134492 A JP2017134492 A JP 2017134492A
Authority
JP
Japan
Prior art keywords
display target
image
target objects
virtual reality
reality space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016012312A
Other languages
Japanese (ja)
Inventor
多一郎 白石
Taichiro Shiraishi
多一郎 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2016012312A priority Critical patent/JP2017134492A/en
Publication of JP2017134492A publication Critical patent/JP2017134492A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To display a plurality of objects (for example, retrieval results) so that a relative relation among the objects is made clear.SOLUTION: An image creation device comprises: a virtual reality space definition unit that defines a virtual reality space including a plurality of display target objects; a field-of-view specification unit that specifies a field of view of a user in the virtual reality space on the basis of a reference viewing line of the user mounting a head-mounted display; a parameter value evaluation unit that evaluates a parameter value associated with each of the plurality of display target objects; an object arrangement determination unit that determines an arrangement position in the virtual reality space of the plurality of display target objects on the basis of a result of the evaluation so that an interval of the plurality of display target objects in the reference viewing direction becomes an interval in accordance with the parameter value; and an image creation unit that creates an image having the plurality of display target objects arranged in the field of view according to the arrangement position.SELECTED DRAWING: Figure 4

Description

本発明は、画像生成装置、画像生成方法、及び画像生成プログラムに関する。   The present invention relates to an image generation apparatus, an image generation method, and an image generation program.

従来、検索結果を表示する際に、検索キーワードと関連性の高いものから低いものへ順に画面の上下方向に並べて表示することが行われている(例えば特許文献1参照)。   2. Description of the Related Art Conventionally, when displaying a search result, the search keyword is displayed in the vertical direction of the screen in order from the one having high relevance to the search keyword (see, for example, Patent Document 1).

特許第4954043号公報Japanese Patent No. 4954043

従来の技術では、表示されるオブジェクト(例えば検索結果)の順位が分かるのみであった。   In the prior art, only the order of displayed objects (for example, search results) is known.

本発明は、上記の点に鑑みてなされたものであり、その目的の1つは、複数のオブジェクト(例えば検索結果)を、それらオブジェクトの中の相対的な位置関係が分かるような形で表示することにある。   The present invention has been made in view of the above points, and one of its purposes is to display a plurality of objects (for example, search results) so that the relative positional relationship among these objects can be understood. There is to do.

上述した課題を解決するために、本発明の一態様は、ヘッドマウントディスプレイを装着したユーザに仮想現実空間を提供するための画像生成装置であって、複数の表示対象オブジェクトを含む前記仮想現実空間を定義する仮想現実空間定義部と、前記ヘッドマウントディスプレイを装着した前記ユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定する視界特定部と、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するパラメータ値評価部と、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するオブジェクト配置決定部と、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成する画像生成部と、を備える画像生成装置である。   In order to solve the above-described problem, one aspect of the present invention is an image generation apparatus for providing a virtual reality space to a user wearing a head-mounted display, the virtual reality space including a plurality of display target objects. A virtual reality space defining unit that defines the visual field, a visual field identifying unit that identifies the visual field of the user in the virtual reality space based on the reference visual line of the user wearing the head mounted display, and the plurality of display target objects A parameter value evaluation unit that evaluates a parameter value associated with each of the plurality of display target objects in the direction of the reference line of sight based on a result of the evaluation, so that an interval according to the parameter value , An object for determining an arrangement position of the plurality of display target objects in the virtual reality space And transfected arrangement determination unit, the plurality of display target objects is an image generating apparatus comprising an image generating unit, a generating an image disposed on said viewing according to the arrangement position.

また、本発明の他の一態様は、コンピュータが実行する画像生成方法であって、複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、を含む画像生成方法である。   Another aspect of the present invention is an image generation method executed by a computer, based on a step of defining a virtual reality space including a plurality of display target objects and a reference line of sight of a user wearing a head mounted display. Determining the field of view of the user in the virtual reality space, evaluating the parameter values respectively associated with the plurality of display target objects, and the direction of the reference line of sight based on the result of the evaluation Determining an arrangement position of the plurality of display target objects in the virtual reality space such that an interval between the plurality of display target objects is an interval according to the parameter value, and the plurality of display target objects according to the arrangement position Generating an image in which a display target object is arranged in the field of view An image generation method comprising.

また、本発明の他の一態様は、コンピュータに、複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、を実行させるための画像生成プログラムである。   According to another aspect of the present invention, a virtual reality space including a plurality of display target objects is defined in a computer, and a reference gaze of a user wearing a head mounted display is used in the virtual reality space. Identifying the user's field of view; evaluating a parameter value associated with each of the plurality of display target objects; and based on a result of the evaluation, the plurality of display target objects in the direction of the reference line of sight Determining an arrangement position of the plurality of display target objects in the virtual reality space so that the interval corresponds to the parameter value, and arranging the plurality of display target objects in the field of view according to the arrangement position Generating an image being processed, and generating an image Is a program.

本発明によれば、複数のオブジェクト(例えば検索結果)を、それらオブジェクトの中の相対的な位置関係が分かるような形で表示することができる。   According to the present invention, a plurality of objects (for example, search results) can be displayed in such a way that the relative positional relationship among these objects can be understood.

本発明の一実施形態に係る画像表示システム100のハードウェア構成図である。1 is a hardware configuration diagram of an image display system 100 according to an embodiment of the present invention. 本発明の一実施形態に係る画像生成装置200の機能的な構成を示すブロック図である。It is a block diagram which shows the functional structure of the image generation apparatus 200 which concerns on one Embodiment of this invention. 検索結果の一例である。It is an example of a search result. 画像生成部235によって生成される検索結果画像の一例である。4 is an example of a search result image generated by an image generation unit 235. 立体視表現された表示対象オブジェクトを模式的に表す図である。It is a figure which represents typically the display target object expressed by stereoscopic vision. 本発明の一実施形態に係る画像生成装置200の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image generation apparatus 200 which concerns on one Embodiment of this invention.

[本発明の実施形態の説明]
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。
[Description of Embodiment of the Present Invention]
First, the contents of the embodiment of the present invention will be listed and described. One embodiment of the present invention has the following configuration.

(項目1)ヘッドマウントディスプレイを装着したユーザに仮想現実空間を提供するための画像生成装置であって、複数の表示対象オブジェクトを含む前記仮想現実空間を定義する仮想現実空間定義部と、前記ヘッドマウントディスプレイを装着した前記ユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定する視界特定部と、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するパラメータ値評価部と、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するオブジェクト配置決定部と、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成する画像生成部と、を備える画像生成装置。   (Item 1) An image generation apparatus for providing a virtual reality space to a user wearing a head-mounted display, the virtual reality space defining unit defining the virtual reality space including a plurality of display target objects, and the head Based on a reference line of sight of the user wearing the mount display, a field identification unit that identifies the field of view of the user in the virtual reality space, and a parameter value that evaluates a parameter value associated with each of the plurality of display target objects Based on the evaluation unit and the result of the evaluation, the virtual reality space of the plurality of display target objects is set such that an interval between the plurality of display target objects in the direction of the reference line of sight is an interval according to the parameter value. An object placement determination unit for determining the placement position in the Image generating apparatus and an image generation section that generates an image of the plurality of display target objects are disposed in the field of view.

(項目2)前記オブジェクト配置決定部は、第1の表示対象オブジェクトに対応する前記パラメータ値と第2の表示対象オブジェクトに対応する前記パラメータ値との差が大きいほど、前記画像における前記第1の表示対象オブジェクトと前記第2の表示対象オブジェクトとの間隔が大きくなるように、各表示対象オブジェクトの配置位置を決定する、項目1に記載の画像生成装置。   (Item 2) The object placement determination unit increases the difference between the parameter value corresponding to the first display target object and the parameter value corresponding to the second display target object. Item 2. The image generating device according to Item 1, wherein an arrangement position of each display target object is determined so that a distance between the display target object and the second display target object is increased.

(項目3)前記オブジェクト配置決定部は、前記画像における前記第1の表示対象オブジェクトと前記第2の表示対象オブジェクトとの間隔が、前記第1の表示対象オブジェクトに対応する前記パラメータ値と前記第2の表示対象オブジェクトに対応する前記パラメータ値との差に比例するように、各表示対象オブジェクトの配置位置を決定する、項目2に記載の画像生成装置。   (Item 3) The object placement determination unit is configured such that an interval between the first display target object and the second display target object in the image is the parameter value corresponding to the first display target object and the first display target object. Item 3. The image generating device according to Item 2, wherein an arrangement position of each display target object is determined so as to be proportional to a difference from the parameter value corresponding to two display target objects.

(項目4)前記複数の表示対象オブジェクトは、前記パラメータ値の大小の順に配置される、項目1から3のいずれか1項に記載の画像生成装置。   (Item 4) The image generation device according to any one of Items 1 to 3, wherein the plurality of display target objects are arranged in order of the parameter value.

(項目5)前記画像生成部は、前記複数の表示対象オブジェクトを立体視で表現するための右眼用画像と左眼用画像を生成する、項目1から4のいずれか1項に記載の画像生成装置。   (Item 5) The image according to any one of Items 1 to 4, wherein the image generation unit generates a right-eye image and a left-eye image for stereoscopically expressing the plurality of display target objects. Generator.

(項目6)前記右眼用画像と左眼用画像における各表示対象オブジェクトの輻輳角は、当該表示対象オブジェクトに対応する前記パラメータ値に基づいて設定される、項目5に記載の画像生成装置。   (Item 6) The image generation device according to item 5, wherein a convergence angle of each display target object in the right eye image and the left eye image is set based on the parameter value corresponding to the display target object.

(項目7)前記各表示対象オブジェクトは、検索により抽出された個々の要素を表し、前記パラメータ値は、前記個々の要素に付随する検索スコアである、項目1から6のいずれか1項に記載の画像生成装置。
(項目8)前記各表示対象オブジェクトは、コンピュータゲームにおいてユーザが所有しているアイテム、又はコンピュータのデータファイルを表し、前記パラメータ値は、前記アイテム又はデータファイルの属性に基づく、項目1から6のいずれか1項に記載の画像生成装置。
(Item 7) The display object according to any one of items 1 to 6, wherein each display target object represents an individual element extracted by a search, and the parameter value is a search score associated with the individual element. Image generation device.
(Item 8) Each of the display target objects represents an item owned by a user in a computer game or a computer data file, and the parameter value is based on an attribute of the item or data file. The image generation apparatus according to any one of the above.

(項目9)コンピュータが実行する画像生成方法であって、複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、を含む画像生成方法。   (Item 9) An image generation method executed by a computer, wherein a virtual reality space including a plurality of display target objects is defined, and based on a reference line of sight of a user wearing a head mounted display, the virtual reality space Identifying the user's field of view, evaluating the parameter values respectively associated with the plurality of display target objects, and based on the result of the evaluation, the plurality of display target objects in the direction of the reference line of sight Determining an arrangement position of the plurality of display target objects in the virtual reality space so that the interval of the plurality of display target objects corresponds to the parameter value, and the plurality of display target objects in the field of view according to the arrangement position Generating a placed image, and generating the image Law.

(項目10)コンピュータに、複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、を実行させるための画像生成プログラム。   (Item 10) Identifying the field of view of the user in the virtual reality space based on the step of defining a virtual reality space including a plurality of display target objects in the computer and the reference line of sight of the user wearing the head mounted display A step of evaluating parameter values respectively associated with the plurality of display target objects, and an interval between the plurality of display target objects in the direction of the reference line of sight according to the parameter value based on the result of the evaluation Determining an arrangement position of the plurality of display target objects in the virtual reality space so as to have an interval, and generating an image in which the plurality of display target objects are arranged in the field of view according to the arrangement position And an image generation program for executing the steps.

[本発明の実施形態の詳細]
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
[Details of the embodiment of the present invention]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明の一実施形態に係る画像表示システム100のハードウェア構成図である。画像表示システム100は、画像生成装置200と、画像表示装置120とを備える。画像生成装置200と画像表示装置120は、一例として有線ケーブル150によって電気的に接続され、相互に通信可能である。有線ケーブル150に代えて、無線接続が用いられてもよい。   FIG. 1 is a hardware configuration diagram of an image display system 100 according to an embodiment of the present invention. The image display system 100 includes an image generation device 200 and an image display device 120. As an example, the image generation device 200 and the image display device 120 are electrically connected by a wired cable 150 and can communicate with each other. Instead of the wired cable 150, a wireless connection may be used.

画像生成装置200は、画像表示装置120に表示される画像を生成するための装置である。画像生成装置200は、プロセッサ202と、メモリ204と、ユーザ入力インターフェイス206と、通信インターフェイス208とを少なくとも備える。画像生成装置200は、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、タブレット端末等として実現することが可能である。   The image generation device 200 is a device for generating an image displayed on the image display device 120. The image generation apparatus 200 includes at least a processor 202, a memory 204, a user input interface 206, and a communication interface 208. The image generation device 200 can be realized as, for example, a personal computer, a game console, a smartphone, a tablet terminal, or the like.

メモリ204には、少なくともオペレーティングシステムと画像生成プログラムとが格納されている。オペレーティングシステムは、画像生成装置200の全体的な動作を制御するためのコンピュータプログラムである。画像生成プログラムは、画像生成装置200が後述する画像生成処理の各機能を実現するためのコンピュータプログラムである。メモリ204はまた、画像生成装置200の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ204の具体例は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク、フラッシュメモリ、光ディスク等である。   The memory 204 stores at least an operating system and an image generation program. The operating system is a computer program for controlling the overall operation of the image generation apparatus 200. The image generation program is a computer program for the image generation apparatus 200 to realize each function of image generation processing described later. The memory 204 can also store data generated by the operation of the image generating apparatus 200 temporarily or permanently. Specific examples of the memory 204 include a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk, a flash memory, and an optical disk.

プロセッサ202は、メモリ204に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ202がメモリ204に格納された画像生成プログラムを実行することによって、後述する画像生成処理の各機能が実現される。プロセッサ202は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)を含む。   The processor 202 is configured to read a program stored in the memory 204 and execute processing according to the program. When the processor 202 executes an image generation program stored in the memory 204, each function of image generation processing described later is realized. The processor 202 includes a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).

ユーザ入力インターフェイス206は、画像表示システム100のユーザから画像生成装置200を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス206の具体例は、キーボード、マウス、タッチパッド、音声入力用マイク、ゲームコントローラ等である。   The user input interface 206 is configured to receive an input for operating the image generating apparatus 200 from a user of the image display system 100. Specific examples of the user input interface 206 include a keyboard, a mouse, a touch pad, a voice input microphone, and a game controller.

通信インターフェイス208は、ネットワークを介して他の装置と通信するためのネットワークインターフェイスである。例えば、通信インターフェイス208は、画像生成装置200がインターネット170を介して検索エンジン(サーバ)180やウェブサーバ190と通信することを可能にする。   The communication interface 208 is a network interface for communicating with other devices via a network. For example, the communication interface 208 enables the image generation apparatus 200 to communicate with the search engine (server) 180 and the web server 190 via the Internet 170.

画像表示装置120は、画像生成装置200において生成された画像を視覚的な情報としてユーザ160に提供するための装置である。例えば、画像表示装置120は、図1に示されるようなヘッドマウントディスプレイ(Head Mounted Display:以下HMDと称する)として構成されてよい。あるいは、画像表示装置120は、HMDではない通常の据置型ディスプレイとして構成されてもよい。画像表示装置(例えばHMD)120は、3次元(立体視)画像を表示可能なディスプレイであってもよい。   The image display device 120 is a device for providing the user 160 with the image generated by the image generation device 200 as visual information. For example, the image display device 120 may be configured as a head mounted display (hereinafter referred to as HMD) as shown in FIG. Alternatively, the image display device 120 may be configured as a normal stationary display that is not an HMD. The image display device (for example, HMD) 120 may be a display capable of displaying a three-dimensional (stereoscopic) image.

画像表示装置120がHMDである場合、図示されるように、HMD120は、ユーザ160の視界を覆うようにしてユーザ160の頭に装着される。HMD120は、HMD120を装着したユーザ160の眼前に配置されたディスプレイ122を備える。ディスプレイ122には、画像生成装置200から送られた画像が表示される。ディスプレイ122は、例えば、非透過型ディスプレイとして構成することとしてよい。この場合、HMD120の外界の光景はユーザ160の視界から遮断され、ユーザ160の目にはディスプレイ122に映し出された画像だけが届けられる。HMD120のディスプレイ122に表示される画像の一例は、コンピュータグラフィックスによる仮想現実空間(例えばコ
ンピュータゲームで作り出される世界)を表す画像である。ディスプレイ122として非透過型ディスプレイを適用したHMD120は、このような仮想現実空間画像によって、ユーザ160にコンピュータグラフィックスによる仮想現実空間へ入り込んだような感覚(没入感)を体験させることができる。
When the image display device 120 is an HMD, the HMD 120 is mounted on the head of the user 160 so as to cover the field of view of the user 160 as illustrated. The HMD 120 includes a display 122 arranged in front of the user 160 wearing the HMD 120. The display 122 displays an image sent from the image generation apparatus 200. The display 122 may be configured as a non-transmissive display, for example. In this case, the external scene of the HMD 120 is blocked from the view of the user 160 and only the image displayed on the display 122 is delivered to the eyes of the user 160. An example of an image displayed on the display 122 of the HMD 120 is an image representing a virtual reality space (for example, a world created by a computer game) by computer graphics. The HMD 120 to which a non-transmissive display is applied as the display 122 can allow the user 160 to experience a feeling (immersive feeling) as if entering the virtual reality space by computer graphics by using such a virtual reality space image.

HMD120はまた、HMD120を装着したユーザ160の頭がどちらの方向を向いているかを検知するためのセンサ126(例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせ)を備えてもよい。センサ126は、HMD120の向きや動きに応じた値(磁気、角速度、又は加速度の値)を出力する。センサ126からの出力値を適宜の方法で加工することで、HMD120を装着したユーザ160の頭の向きが算出される。検知されたユーザ160の頭の向きは、ユーザ160が頭を動かした際にその動きに追従するようにディスプレイ122の表示画像を変化させるのに利用することとしてよい。例えば、ユーザ160が頭を右(又は左、上、下)に向けると、ディスプレイ122には、仮想現実空間においてユーザの右(又は左、上、下)方向にある仮想的光景が映し出されるのであってよい。これにより、ユーザ160が体感する仮想現実空間への没入感を更に高めることができる。HMD120は更に、仮想現実空間に関連する音声を出力するための不図示のスピーカ(ヘッドホン)を備えてもよい。   The HMD 120 also includes a sensor 126 (for example, a magnetic sensor, an angular velocity sensor, an acceleration sensor, or a combination thereof) for detecting which direction the head of the user 160 wearing the HMD 120 is facing. May be. The sensor 126 outputs a value (magnetism, angular velocity, or acceleration value) corresponding to the direction and movement of the HMD 120. The direction of the head of the user 160 wearing the HMD 120 is calculated by processing the output value from the sensor 126 by an appropriate method. The detected head orientation of the user 160 may be used to change the display image of the display 122 so as to follow the movement when the user 160 moves the head. For example, when the user 160 turns his head to the right (or left, up, down), the display 122 displays a virtual scene in the right (or left, up, down) direction of the user in the virtual reality space. It may be. Thereby, the feeling of immersion in the virtual reality space experienced by the user 160 can be further enhanced. The HMD 120 may further include a speaker (headphones) (not shown) for outputting sound related to the virtual reality space.

HMD120は更に、ユーザ160の視線を検出するためのアイトラッキングデバイス(Eye Tracking Device:以下ETDと称する)124を備えてもよい。例えば、ETD124は、赤外線光源と赤外線カメラとを備える。赤外線光源は、HMD120を装着したユーザ160の目に向けて赤外線を照射する。赤外線カメラは、赤外線で照射されたユーザ160の目の画像を撮像する。赤外線はユーザ160の目の表面で反射されるが、瞳と瞳以外の部分とで赤外線の反射率が異なる。赤外線カメラで撮像されたユーザ160の目の画像には、赤外線の反射率の違いが画像の明暗となって現れる。この明暗に基づいて、ユーザ160の目の画像において瞳が識別され、更に、識別された瞳の位置に基づいて、ユーザ160の視線の方向が検出される。   The HMD 120 may further include an eye tracking device (hereinafter referred to as ETD) 124 for detecting the line of sight of the user 160. For example, the ETD 124 includes an infrared light source and an infrared camera. The infrared light source irradiates infrared rays toward the eyes of the user 160 wearing the HMD 120. The infrared camera captures an image of the eyes of the user 160 irradiated with infrared rays. Infrared rays are reflected on the surface of the eyes of the user 160, but the reflectance of the infrared rays differs between the pupil and a portion other than the pupil. In the image of the eyes of the user 160 captured by the infrared camera, the difference in infrared reflectance appears as the brightness of the image. Based on this contrast, the pupil is identified in the image of the eyes of the user 160, and the direction of the line of sight of the user 160 is detected based on the position of the identified pupil.

図2は、本発明の一実施形態に係る画像生成装置200の機能的な構成を示すブロック図である。画像生成装置200は、記憶部220及び処理部230を有する。処理部230は更に、検索要求部231と、検索結果取得部232と、検索スコア評価部233と、オブジェクト配置決定部234と、画像生成部235と、画像出力部236と、仮想現実空間定義部237と、視界特定部238とを含む。記憶部220は、図1に示されたメモリ204に対応する。処理部230及び処理部230に含まれる各部231〜238は、図1に示されたプロセッサ202がメモリ204内の画像生成プログラムを読み出して実行することによって実現される、本発明に係る画像生成処理の機能を表す。   FIG. 2 is a block diagram illustrating a functional configuration of the image generation apparatus 200 according to an embodiment of the present invention. The image generation device 200 includes a storage unit 220 and a processing unit 230. The processing unit 230 further includes a search request unit 231, a search result acquisition unit 232, a search score evaluation unit 233, an object arrangement determination unit 234, an image generation unit 235, an image output unit 236, and a virtual reality space definition unit. 237 and a field of view specifying unit 238. The storage unit 220 corresponds to the memory 204 shown in FIG. The processing unit 230 and the units 231 to 238 included in the processing unit 230 are realized by the processor 202 illustrated in FIG. 1 reading out and executing the image generation program in the memory 204. Represents the function of.

記憶部220には、仮想現実空間構成情報223が記憶されている。仮想現実空間構成情報223は、仮想現実空間を表す画像を生成するのに必要な、仮想現実空間内に存在する様々なオブジェクト(表示対象オブジェクトを含む)の配置位置、形状、色などに関するデータである。仮想現実空間定義部237は、記憶部220に記憶された仮想現実空間構成情報223を処理することによって、表示対象オブジェクトを含む仮想現実空間を構築する。   The storage unit 220 stores virtual reality space configuration information 223. The virtual reality space configuration information 223 is data relating to arrangement positions, shapes, colors, and the like of various objects (including display target objects) existing in the virtual reality space, which are necessary for generating an image representing the virtual reality space. is there. The virtual reality space definition unit 237 processes the virtual reality space configuration information 223 stored in the storage unit 220 to construct a virtual reality space including the display target object.

視界特定部238は、ユーザ160の基準視線に基づいて、仮想現実空間におけるユーザ160の視界を特定する。ユーザ160の基準視線は、HMD120のETD124によって検出されたユーザ160の視線、又はHMD120のセンサ126によって検知されたユーザ160の頭の向きのいずれかである。   The visual field specifying unit 238 specifies the visual field of the user 160 in the virtual reality space based on the reference visual line of the user 160. The reference line of sight of the user 160 is either the line of sight of the user 160 detected by the ETD 124 of the HMD 120 or the head direction of the user 160 detected by the sensor 126 of the HMD 120.

検索要求部231は、ユーザ160からの入力に基づく検索要求を検索エンジン180へ送信するように構成される。ユーザ160からの入力は、ユーザ入力インターフェイス206を介して与えられる。例えば、ユーザ160は、キーボードを用いて検索キーワードを打ち込む、あるいはマイクに向かって検索キーワードを発声する等の方法により、どのような検索を行いたいかを画像生成装置200に指示する。検索要求部231は、ユーザ160から入力された検索キーワードを含む検索要求を、通信インターフェイス208を介して検索エンジン180へ送信する。   The search request unit 231 is configured to transmit a search request based on an input from the user 160 to the search engine 180. Input from the user 160 is provided via the user input interface 206. For example, the user 160 instructs the image generation apparatus 200 what kind of search is desired by a method such as inputting a search keyword using a keyboard or uttering the search keyword into a microphone. The search request unit 231 transmits a search request including a search keyword input from the user 160 to the search engine 180 via the communication interface 208.

検索結果取得部232は、検索エンジン180から検索結果を取得するように構成される。検索結果は、検索要求部231が送信した検索要求に対して検索エンジン180が返す情報であり、検索キーワードに関連する、即ち、検索キーワードに対する適合性あるいは一致度が高いことが期待される、複数のアイテムを含む。図3に検索結果の一例を示す。図3において、検索結果300は、検索キーワードに関連するアイテムとしてアイテム1、アイテム2、アイテム3、…、アイテムNを含む。「アイテム」は、例えば、検索キーワードに関連するコンテンツを含んでいるウェブページを特定するためのURL(Uniform Resource Locator)や、当該ウェブページに関する簡易説明などを含むものであってよい。別の例として、検索要求が画像を検索の対象とするものである場合には、「アイテム」は、検索キーワードとの関連度が高い画像のサムネール画像(縮小画像)であってもよい。   The search result acquisition unit 232 is configured to acquire a search result from the search engine 180. The search result is information returned by the search engine 180 in response to the search request transmitted by the search request unit 231, and is related to the search keyword, that is, a plurality of items that are expected to have high suitability or matching degree with respect to the search keyword. Includes items. FIG. 3 shows an example of the search result. 3, the search result 300 includes item 1, item 2, item 3,..., Item N as items related to the search keyword. The “item” may include, for example, a URL (Uniform Resource Locator) for specifying a web page that includes content related to the search keyword, a simple explanation about the web page, and the like. As another example, when the search request is for an image as a search target, the “item” may be a thumbnail image (reduced image) of an image having a high degree of association with the search keyword.

検索結果300は、更に、複数のアイテムのそれぞれに紐付けられた検索スコアSCを含む。検索スコアSCは、当該検索スコアに対応するアイテムと検索キーワードとの関連性の度合いを数値として表す。例えば、検索スコアSCは、数値が大きいほどアイテムと検索キーワードとの関連性が高いことを示すのであってよい。図3の例では、アイテム1の検索スコアSC1は0.85であり、アイテム2の検索スコアSC2は0.79であり、アイテム3の検索スコアSC3は0.67である。この場合、アイテム1はアイテム2よりも検索キーワードとの関連性が高く、アイテム2はアイテム3よりも検索キーワードとの関連性が高い。   The search result 300 further includes a search score SC associated with each of the plurality of items. The search score SC represents the degree of relevance between the item corresponding to the search score and the search keyword as a numerical value. For example, the search score SC may indicate that the larger the numerical value, the higher the relationship between the item and the search keyword. In the example of FIG. 3, the search score SC1 of item 1 is 0.85, the search score SC2 of item 2 is 0.79, and the search score SC3 of item 3 is 0.67. In this case, item 1 is more relevant to the search keyword than item 2, and item 2 is more relevant to the search keyword than item 3.

検索スコア評価部233は、検索結果に含まれる検索スコアを評価するように構成される。具体的には、検索スコア評価部233は、検索エンジン180から取得された検索結果に含まれる複数のアイテムのそれぞれについて検索スコアSCの大小を比較し、この比較に基づいて各アイテムを検索スコアSCの大小順(例えば降順)に並べ替える。更に、検索スコア評価部233は、並べ替え後の複数のアイテムにおける隣り合うアイテムの各ペアについて、検索スコアSCの差を計算する。検索エンジン180から、既に各アイテムが検索スコアSCの大小順に並んだ検索結果が提供される場合、アイテムを並べ替える処理はもちろん不要である。前掲の図3の例は、そのような並べ替え不要の例示的な検索結果300を表している。この例示的な検索結果300に対しては、アイテム1とアイテム2との検索スコアの差ΔSC12(=SC1−SC2)は0.06、アイテム2とアイテム32との検索スコアの差ΔSC23(=SC2−SC3)は0.12とそれぞれ計算され、他のペアについても同様に検索スコアの差が計算される。 The search score evaluation unit 233 is configured to evaluate a search score included in the search result. Specifically, the search score evaluation unit 233 compares the size of the search score SC for each of the plurality of items included in the search result acquired from the search engine 180, and determines each item based on this comparison as the search score SC. Sort in ascending order (eg descending order). Further, the search score evaluation unit 233 calculates a difference in the search score SC for each pair of adjacent items in the plurality of items after the rearrangement. When the search engine 180 provides a search result in which each item is already arranged in order of the search score SC, the process of rearranging the items is of course unnecessary. The example of FIG. 3 above represents an exemplary search result 300 that does not require such sorting. For this exemplary search result 300, the search score difference ΔSC 12 (= SC1−SC2) between item 1 and item 2 is 0.06, and the search score difference ΔSC 23 between item 2 and item 32 ( = SC2-SC3) is calculated as 0.12, and the difference in search score is calculated in the same manner for the other pairs.

オブジェクト配置決定部234は、検索スコア評価部233による検索スコアの評価結果に基づいて、検索結果をユーザ160に提示する際の各アイテム(表示対象オブジェクト)の配置位置を決定するように構成される。アイテムの配置位置については後述する。   The object arrangement determination unit 234 is configured to determine the arrangement position of each item (display target object) when the search result is presented to the user 160 based on the evaluation result of the search score by the search score evaluation unit 233. . The arrangement position of the items will be described later.

画像生成部235は、オブジェクト配置決定部234によって決定された各アイテムの配置位置に基づいて検索結果画像を生成するように構成される。検索結果画像は、複数の表示対象オブジェクトを含む。表示対象オブジェクトは、検索エンジン180から検索結果として提供された個々のアイテムを表す画像要素である。検索結果画像において、各表示対象オブジェクトは、オブジェクト配置決定部234によって決定された配置位置に従って配置される。例えば、検索結果画像は、仮想現実空間におけるユーザ160の視界内に表示対象オブジェクトが配置されている画像であってよい。生成された検索結果画像は、画像出力部236を介して画像表示装置120へ出力され、画像表示装置120に表示される。   The image generation unit 235 is configured to generate a search result image based on the arrangement position of each item determined by the object arrangement determination unit 234. The search result image includes a plurality of display target objects. The display target object is an image element that represents an individual item provided as a search result from the search engine 180. In the search result image, each display target object is arranged according to the arrangement position determined by the object arrangement determination unit 234. For example, the search result image may be an image in which a display target object is arranged in the field of view of the user 160 in the virtual reality space. The generated search result image is output to the image display device 120 via the image output unit 236 and displayed on the image display device 120.

図4は、画像生成部235によって生成される検索結果画像の一例を示す。図4において、検索結果画像400は、表示対象オブジェクトOBJ1、OBJ2、及びOBJ3を含む。表示対象オブジェクトOBJ1、OBJ2、OBJ3は、それぞれ図3のアイテム1、2、3に対応するものである。説明の簡略化のため、検索結果画像400は3つの表示対象オブジェクトのみを含むように描かれているが、検索結果画像400には、任意の数の表示対象オブジェクト(例えば、検索結果300に含まれる全てのアイテム1乃至Nに対応するN個の表示対象オブジェクト)が含まれてよいことはもちろんである。   FIG. 4 shows an example of a search result image generated by the image generation unit 235. In FIG. 4, the search result image 400 includes display target objects OBJ1, OBJ2, and OBJ3. The display target objects OBJ1, OBJ2, and OBJ3 correspond to items 1, 2, and 3 in FIG. For simplification of explanation, the search result image 400 is drawn to include only three display target objects. However, the search result image 400 includes any number of display target objects (for example, included in the search result 300). Of course, N display target objects corresponding to all items 1 to N) may be included.

検索結果画像400内の表示対象オブジェクトOBJ1、OBJ2、OBJ3は、画像の奥行き方向410に並べられている。前述したように、図3の例のアイテム1、2、3は、この順に大きな検索スコアSCを有する。表示対象オブジェクトOBJ1、OBJ2、OBJ3の並び順は、この検索スコアSCの大小関係に基づく。例えば、図示されるように、表示対象オブジェクトOBJ1は、対応するアイテム1の検索スコアSC1が一番大きい値であるため、奥行き方向410の一番手前に配置される。また、表示対象オブジェクトOBJ2は、対応するアイテム2の検索スコアSC2が二番目に大きい値であるため、奥行き方向410の手前から二番目に配置され、表示対象オブジェクトOBJ3は、対応するアイテム3の検索スコアSC3が(これら3つのアイテムの中では)一番小さい値であるため、奥行き方向410の一番奥に配置される。   The display target objects OBJ1, OBJ2, and OBJ3 in the search result image 400 are arranged in the depth direction 410 of the image. As described above, items 1, 2, and 3 in the example of FIG. 3 have a large search score SC in this order. The arrangement order of the display target objects OBJ1, OBJ2, and OBJ3 is based on the magnitude relationship of the search score SC. For example, as illustrated, the display target object OBJ1 is arranged at the forefront in the depth direction 410 because the search score SC1 of the corresponding item 1 has the largest value. The display target object OBJ2 is arranged second from the front in the depth direction 410 because the search score SC2 of the corresponding item 2 is the second largest value, and the display target object OBJ3 is searched for the corresponding item 3 Since the score SC3 is the smallest value (among these three items), the score SC3 is arranged at the innermost position in the depth direction 410.

更に、検索結果画像400内の表示対象オブジェクトOBJ1、OBJ2、OBJ3は、画像の奥行き方向410の並びにおいて、各表示対象オブジェクト間の間隔が検索スコアSCに基づいて調整される。例えば、隣り合う2つの表示対象オブジェクトは、当該2つの表示対象オブジェクトに対応する検索スコアの差ΔSCに応じた間隔に配置される。図4の例を参照すると、表示対象オブジェクトOBJ1と表示対象オブジェクトOBJ2との間隔d12は、表示対象オブジェクトOBJ2と表示対象オブジェクトOBJ3との間隔d23よりも狭く設定されている。これは、図3に例示した検索スコアSCの値の例において、アイテム1とアイテム2との検索スコアの差ΔSC12が、アイテム2とアイテム3との検索スコアの差ΔSC23よりも小さいことに基づく。換言すれば、検索結果画像400の隣り合う2つの表示対象オブジェクトは、検索スコアの差ΔSCが大きいほど、広い間隔で配置されている。これの特別な場合の例として、2つの表示対象オブジェクトは、検索スコアの差ΔSCに比例した間隔で配置されるのであってもよい。例えば図3の検索スコアSCの例では、表示対象オブジェクトOBJ2と表示対象オブジェクトOBJ3との間隔d23は、表示対象オブジェクトOBJ1と表示対象オブジェクトOBJ2との間隔d12の2倍(=ΔSC23/ΔSC12=0.12/0.06)に設定されることとしてよい。 Further, the display target objects OBJ1, OBJ2, and OBJ3 in the search result image 400 are adjusted in the arrangement in the depth direction 410 of the image based on the search score SC. For example, two adjacent display target objects are arranged at intervals according to the search score difference ΔSC corresponding to the two display target objects. Referring to the example of FIG. 4, the distance d 12 between the display target object OBJ1 the display target object OBJ2 is set smaller than the interval d 23 of the display target object OBJ3 the display target object OBJ2. This is because the search score difference ΔSC 12 between the item 1 and the item 2 in the example of the search score SC illustrated in FIG. 3 is smaller than the search score difference ΔSC 23 between the item 2 and the item 3. Based. In other words, the two display target objects adjacent to each other in the search result image 400 are arranged at wider intervals as the search score difference ΔSC is larger. As an example of this special case, the two display target objects may be arranged at an interval proportional to the search score difference ΔSC. In the example of search score SC of FIG. 3, for example, distance d 23 between the display target object OBJ3 the display target object OBJ2 is twice (= ΔSC 23 / ΔSC distance d 12 between the display target object OBJ2 the display target object OBJ1 12 = 0.12 / 0.06).

図4の検索結果画像400は、表示対象オブジェクトOBJ1、OBJ2、OBJ3が仮想現実空間内に配置されている画像であってもよい。例えば、検索結果画像400は仮想現実空間においてユーザ160が見ている(即ち視認可能な)領域である視界を表し、この仮想現実空間のユーザ視界内に、各表示対象オブジェクトOBJ1、OBJ2、OBJ3が、上述した順序及び間隔でユーザの基準視線方向(図中の奥行き方向410)に沿って並んでいるのであってもよい。   The search result image 400 in FIG. 4 may be an image in which the display target objects OBJ1, OBJ2, and OBJ3 are arranged in the virtual reality space. For example, the search result image 400 represents a field of view that is an area that the user 160 is viewing (that is, visible) in the virtual reality space, and the display target objects OBJ1, OBJ2, and OBJ3 are included in the user field of the virtual reality space. They may be arranged along the user's reference line-of-sight direction (depth direction 410 in the drawing) in the order and interval described above.

このように、検索結果画像400において、検索結果に含まれる個々のアイテムに対応する各表示対象オブジェクトが、検索スコアに応じた間隔に配置される。即ち、検索結果画像400における隣り合った2つの表示対象オブジェクトの間隔は、検索キーワードとの関連性の度合いを反映している。これにより、ユーザ160は、検索結果画像400内の表示対象オブジェクトの間隔から、検索結果の複数のアイテムが検索キーワードとの関連度に関してどのように分布しているかを視覚的に把握することができる。例えば、図4の例では、アイテム1とアイテム2は検索キーワードとの関連性が比較的高いが、この2つのアイテムに比べて、アイテム3は検索キーワードとの関連性がかなり小さい、といったような判断をユーザ160が行うことが可能である。   As described above, in the search result image 400, the display target objects corresponding to individual items included in the search result are arranged at intervals according to the search score. That is, the interval between two adjacent display target objects in the search result image 400 reflects the degree of relevance with the search keyword. Thereby, the user 160 can visually grasp how a plurality of items of the search result are distributed in relation to the search keyword from the interval of the display target objects in the search result image 400. . For example, in the example of FIG. 4, item 1 and item 2 have a relatively high relevance to the search keyword, but item 3 has a relatively low relevance to the search keyword compared to these two items. A determination can be made by the user 160.

検索結果画像400の表示対象オブジェクトOBJ1、OBJ2、OBJ3は、更に、3次元(立体視)画像として表現されてもよい。この場合、検索結果画像400は右眼用画像と左眼用画像からなる。図5は、立体視表現された表示対象オブジェクトを模式的に表す。図5において、右眼用画像510Rはユーザ160の右眼520Rに対して表示される右眼用オブジェクト530Rを含み、左眼用画像510Lはユーザ160の左眼520Lに対して表示される左眼用オブジェクト530Lを含む。右眼用オブジェクト530R及び左眼用オブジェクト530Lは、例えば表示対象オブジェクトOBJ1、OBJ2、OBJ3のいずれかに対応する。ユーザ160の右眼視線540Rと左眼視線540Lは、交点ISにおいて輻輳角θで交差する。これにより、ユーザ160は、ディスプレイ面550から距離Dだけ手前(又は奥)に位置する交点ISに、オブジェクト530が存在しているような知覚を得る。   The display target objects OBJ1, OBJ2, and OBJ3 of the search result image 400 may be further expressed as a three-dimensional (stereoscopic) image. In this case, the search result image 400 includes an image for the right eye and an image for the left eye. FIG. 5 schematically shows a display target object that is stereoscopically represented. In FIG. 5, the right-eye image 510 </ b> R includes a right-eye object 530 </ b> R displayed for the right eye 520 </ b> R of the user 160, and the left-eye image 510 </ b> L is the left eye displayed for the left eye 520 </ b> L of the user 160. Object 530L. The right eye object 530R and the left eye object 530L correspond to, for example, any of the display target objects OBJ1, OBJ2, and OBJ3. The right eye line of sight 540R and the left eye line of sight 540L of the user 160 intersect at the convergence angle θ at the intersection IS. Thereby, the user 160 obtains the perception that the object 530 exists at the intersection IS located at the front (or back) by the distance D from the display surface 550.

右眼用オブジェクト530Rと左眼用オブジェクト530Lによって作られる輻輳角θが適宜の角度となるように右眼用画像510Rと左眼用画像510Lを生成することによって、ユーザ160が視認するオブジェクト530の奥行き方向の位置を任意に調整することが可能である。例えば、輻輳角θは、検索スコアSCに応じた角度に設定されることとしてよい。一例として、大きい検索スコアSC1を持つ表示対象オブジェクトOBJ1の輻輳角θを、小さい検索スコアSC2を持つ表示対象オブジェクトOBJ2の輻輳角θよりも大きく設定することで、検索キーワードとの関連性の高い表示対象オブジェクトOBJ1を検索キーワードとの関連性の低い表示対象オブジェクトOBJ2よりも手前に視認させることができる。なお、輻輳角による立体視効果に加えて、両眼視差による立体視効果が得られるように、右眼用オブジェクト530Rと左眼用オブジェクト530Lが、それぞれ異なる視点から眺めた画像として描かれることとしてもよい。 By generating the right-eye image 510R and the left-eye image 510L so that the convergence angle θ created by the right-eye object 530R and the left-eye object 530L is an appropriate angle, the object 530 that the user 160 visually recognizes is displayed. It is possible to arbitrarily adjust the position in the depth direction. For example, the convergence angle θ may be set to an angle corresponding to the search score SC. As an example, the convergence angle theta 1 of display target objects OBJ1 with large search score SC1, by setting larger than the convergence angle theta 2 of the display target object OBJ2 with small search score SC2, of relevance to the search terms The high display target object OBJ1 can be viewed in front of the display target object OBJ2 having a low relevance to the search keyword. Note that the right-eye object 530R and the left-eye object 530L are drawn as images viewed from different viewpoints so that a stereoscopic effect due to binocular parallax can be obtained in addition to the stereoscopic effect due to the convergence angle. Also good.

図6は、本発明の一実施形態に係る画像生成装置200の動作を示すフローチャートである。   FIG. 6 is a flowchart showing the operation of the image generation apparatus 200 according to an embodiment of the present invention.

まずステップS101において、検索要求部231が、検索キーワードを含む検索要求を検索エンジン180へ送信する。次にステップS102において、検索結果取得部232が、検索エンジン180から検索キーワードに対応した検索結果を取得する。検索結果は、検索キーワードに関連した複数のアイテムと、複数のアイテムのそれぞれに紐付けられた検索スコアとを含む。   First, in step S <b> 101, the search request unit 231 transmits a search request including a search keyword to the search engine 180. Next, in step S <b> 102, the search result acquisition unit 232 acquires a search result corresponding to the search keyword from the search engine 180. The search result includes a plurality of items related to the search keyword and a search score associated with each of the plurality of items.

次にステップS103において、検索スコア評価部233が、検索スコアの大小比較に基づいて、検索キーワードに関連するものとして検索エンジン180から提供された複数のアイテムを並べ替える。このステップS103は、検索スコアの大小順にアイテムが並んだ検索結果が検索エンジン180から提供される場合には、省略されてよい。次にステップS104において、検索スコア評価部233が、検索スコアの大小順で隣り合っている任意の2つのアイテムについて検索スコアの差を計算する。   Next, in step S103, the search score evaluation unit 233 sorts a plurality of items provided from the search engine 180 as related to the search keyword based on the comparison of the search scores. This step S103 may be omitted when the search engine 180 provides a search result in which items are arranged in the order of the search score. Next, in step S104, the search score evaluation unit 233 calculates the difference between the search scores for any two items that are adjacent to each other in the order of the search score.

次にステップS105において、オブジェクト配置決定部234が、ステップS104で計算された検索スコアの差に基づいて、検索結果に含まれる複数のアイテムを表す各表示対象オブジェクトの配置位置を決定する。例えば、図4に示されるように、オブジェクト配置決定部234は、隣り合うアイテムの検索スコアの差が大きいほど、表示対象オブジェクトの間隔が広くなるように配置位置を決定するのであってよい。オブジェクト配置決定部234は、更に、表示対象オブジェクトの間隔を、検索スコアの差に比例するように設定してもよい。また、画像表示装置120にHMDが適用される場合の一例として、オブジェクト配置決定部234は、仮想現実空間におけるユーザ160の基準視線の方向に沿って、複数の表示対象オブジェクトを並べて配置することとしてよい。例えば、表示対象オブジェクトは、仮想現実空間におけるユーザ160の視界の中心方向(即ちユーザ160から見た奥行き方向410)に、検索スコアに応じた間隔で並べられるのであってよい。この場合、視界特定部238が、HMD120のセンサ126からの出力、又はHMD120のETD124からの出力に基づいて、仮想現実空間内においてユーザ160の視認可能な領域である視界を特定し、オブジェクト配置決定部234が、この視界内において各表示対象オブジェクトをユーザ160の基準視線方向に沿って、検索スコアに応じた間隔で配置する。   Next, in step S105, the object arrangement determination unit 234 determines the arrangement position of each display target object representing a plurality of items included in the search result, based on the difference between the search scores calculated in step S104. For example, as illustrated in FIG. 4, the object arrangement determination unit 234 may determine the arrangement position so that the interval between the display target objects becomes wider as the difference between the search scores of adjacent items is larger. The object arrangement determining unit 234 may further set the interval between the display target objects so as to be proportional to the difference in the search score. In addition, as an example when the HMD is applied to the image display device 120, the object arrangement determination unit 234 arranges a plurality of display target objects side by side along the direction of the reference line of sight of the user 160 in the virtual reality space. Good. For example, the display target objects may be arranged in the center direction of the field of view of the user 160 in the virtual reality space (that is, the depth direction 410 viewed from the user 160) at intervals according to the search score. In this case, the visual field identification unit 238 identifies the visual field that is a visible area of the user 160 in the virtual reality space based on the output from the sensor 126 of the HMD 120 or the output from the ETD 124 of the HMD 120, and determines the object arrangement. The unit 234 arranges each display target object in the field of view along the reference gaze direction of the user 160 at intervals according to the search score.

次にステップS106において、画像生成部235が、各表示対象オブジェクトがステップS105で決定された配置位置に配置されている検索結果画像を生成する。例えば、図4の検索結果画像400のように、各表示対象オブジェクトは、検索スコアの大小順、且つ隣り合う表示対象オブジェクトの検索スコアの差に応じた間隔でユーザ160の基準視線方向(図4の奥行き方向410)に並べられて、仮想現実空間内のユーザの視界に配置される。画像生成部235は、手前あるいは奥に配置された表示対象オブジェクトが、輻輳角又は両眼視差による立体視効果を有するように視認されるべく、右眼用画像と左眼用画像からなる検索結果画像を生成することとしてよい。また、画像生成部235は、手前に配置された表示対象オブジェクトが大きく及び/又は明るく視認され、奥に配置された表示対象オブジェクトが小さく及び/又は暗く視認されるように、各表示対象オブジェクトの大きさ及び/又は明るさを調整してもよい。   Next, in step S106, the image generation unit 235 generates a search result image in which each display target object is arranged at the arrangement position determined in step S105. For example, like the search result image 400 in FIG. 4, each display target object has a reference gaze direction of the user 160 (FIG. 4) at intervals corresponding to the search score difference and the search score difference between adjacent display target objects. Are arranged in the visual field of the user in the virtual reality space. The image generation unit 235 performs a search result including a right-eye image and a left-eye image so that a display target object arranged in front or behind has a stereoscopic effect due to a convergence angle or binocular parallax. An image may be generated. The image generation unit 235 also displays each display target object so that the display target object arranged in the foreground is visually recognized as large and / or bright and the display target object disposed in the back is viewed as small and / or dark. The size and / or brightness may be adjusted.

上記実施形態では、検索キーワードに対する検索結果画像を生成する画像生成装置200を例示したが、本発明はそのような画像生成装置に限定されるものではない。例えば、コンピュータゲームにおいてユーザ(プレイヤ)が所有しているアイテムをソートして表示する場合に、アイテムの何らかの属性(例えばレアリティ(レア度、希少度))に関する数値に応じた間隔で、アイテムを奥行き方向に配列して表示することとしてよい。また、コンピュータの各種データファイル(例えば文書ファイルや画像ファイル等)を、それらの何らかの属性(例えば、ファイルサイズ、作成日時、更新日時等)に関する数値に応じた間隔で奥行き方向に配列して表示することとしてもよい。   In the above embodiment, the image generation apparatus 200 that generates the search result image for the search keyword is exemplified, but the present invention is not limited to such an image generation apparatus. For example, when sorting and displaying items owned by a user (player) in a computer game, the depth of the item is set at an interval according to a numerical value related to some attribute of the item (for example, rarity (rareness, rarity)). It is good also as arranging and displaying in a direction. Various computer data files (for example, document files and image files) are arranged and displayed in the depth direction at intervals according to numerical values related to some of their attributes (for example, file size, creation date, update date, etc.). It is good as well.

以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。   As mentioned above, although embodiment of this invention was described, this invention is not limited to this, A various change is possible within the range which does not deviate from the summary.

100 画像表示システム
120 画像表示装置
150 有線ケーブル
170 インターネット
180 検索エンジン
200 画像生成装置
202 プロセッサ
204 メモリ
206 ユーザ入力インターフェイス
208 通信インターフェイス
220 記憶部
230 処理部
231 検索要求部
232 検索結果取得部
233 検索スコア評価部
234 オブジェクト配置決定部
235 画像生成部
236 画像出力部
237 仮想現実空間定義部
238 視界特定部
DESCRIPTION OF SYMBOLS 100 Image display system 120 Image display apparatus 150 Wired cable 170 Internet 180 Search engine 200 Image generation apparatus 202 Processor 204 Memory 206 User input interface 208 Communication interface 220 Storage part 230 Processing part 231 Search request part 232 Search result acquisition part 233 Search score evaluation Unit 234 object placement determination unit 235 image generation unit 236 image output unit 237 virtual reality space definition unit 238 view identification unit

Claims (10)

ヘッドマウントディスプレイを装着したユーザに仮想現実空間を提供するための画像生成装置であって、
複数の表示対象オブジェクトを含む前記仮想現実空間を定義する仮想現実空間定義部と、
前記ヘッドマウントディスプレイを装着した前記ユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定する視界特定部と、
前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するパラメータ値評価部と、
前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するオブジェクト配置決定部と、
前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成する画像生成部と、
を備える画像生成装置。
An image generation device for providing a virtual reality space to a user wearing a head mounted display,
A virtual reality space defining unit that defines the virtual reality space including a plurality of display target objects;
Based on the reference line of sight of the user wearing the head-mounted display, a field of view identifying unit that identifies the field of view of the user in the virtual reality space;
A parameter value evaluation unit that evaluates a parameter value associated with each of the plurality of display target objects;
Based on the result of the evaluation, the arrangement positions of the plurality of display target objects in the virtual reality space so that the interval between the plurality of display target objects in the direction of the reference line of sight is an interval according to the parameter value. An object placement determination unit for determining
An image generation unit configured to generate an image in which the plurality of display target objects are arranged in the field of view according to the arrangement position;
An image generation apparatus comprising:
前記オブジェクト配置決定部は、第1の表示対象オブジェクトに対応する前記パラメータ値と第2の表示対象オブジェクトに対応する前記パラメータ値との差が大きいほど、前記画像における前記第1の表示対象オブジェクトと前記第2の表示対象オブジェクトとの間隔が大きくなるように、各表示対象オブジェクトの配置位置を決定する、請求項1に記載の画像生成装置。   The object placement determination unit increases the difference between the parameter value corresponding to the first display target object and the parameter value corresponding to the second display target object, and the first display target object in the image. The image generation apparatus according to claim 1, wherein an arrangement position of each display target object is determined so that an interval with the second display target object is increased. 前記オブジェクト配置決定部は、前記画像における前記第1の表示対象オブジェクトと前記第2の表示対象オブジェクトとの間隔が、前記第1の表示対象オブジェクトに対応する前記パラメータ値と前記第2の表示対象オブジェクトに対応する前記パラメータ値との差に比例するように、各表示対象オブジェクトの配置位置を決定する、請求項2に記載の画像生成装置。   The object placement determination unit is configured such that an interval between the first display target object and the second display target object in the image is equal to the parameter value corresponding to the first display target object and the second display target. The image generation apparatus according to claim 2, wherein an arrangement position of each display target object is determined so as to be proportional to a difference from the parameter value corresponding to the object. 前記複数の表示対象オブジェクトは、前記パラメータ値の大小の順に配置される、請求項1から3のいずれか1項に記載の画像生成装置。   The image generating apparatus according to claim 1, wherein the plurality of display target objects are arranged in order of the parameter value. 前記画像生成部は、前記複数の表示対象オブジェクトを立体視で表現するための右眼用画像と左眼用画像を生成する、請求項1から4のいずれか1項に記載の画像生成装置。   5. The image generation device according to claim 1, wherein the image generation unit generates a right-eye image and a left-eye image for stereoscopically expressing the plurality of display target objects. 6. 前記右眼用画像と左眼用画像における各表示対象オブジェクトの輻輳角は、当該表示対象オブジェクトに対応する前記パラメータ値に基づいて設定される、請求項5に記載の画像生成装置。   The image generation apparatus according to claim 5, wherein a convergence angle of each display target object in the right-eye image and the left-eye image is set based on the parameter value corresponding to the display target object. 前記各表示対象オブジェクトは、検索により抽出された個々の要素を表し、
前記パラメータ値は、前記個々の要素に付随する検索スコアである、
請求項1から6のいずれか1項に記載の画像生成装置。
Each display target object represents an individual element extracted by the search,
The parameter value is a search score associated with the individual element.
The image generation apparatus according to claim 1.
前記各表示対象オブジェクトは、コンピュータゲームにおいてユーザが所有しているアイテム、又はコンピュータのデータファイルを表し、
前記パラメータ値は、前記アイテム又はデータファイルの属性に基づく、
請求項1から6のいずれか1項に記載の画像生成装置。
Each display target object represents an item owned by a user in a computer game, or a data file of a computer,
The parameter value is based on an attribute of the item or data file,
The image generation apparatus according to claim 1.
コンピュータが実行する画像生成方法であって、
複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、
ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、
前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、
前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、
前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、
を含む画像生成方法。
An image generation method executed by a computer,
Defining a virtual reality space including a plurality of display target objects;
Identifying the user's field of view in the virtual reality space based on the reference line of sight of the user wearing the head mounted display;
Evaluating parameter values respectively associated with the plurality of display target objects;
Based on the result of the evaluation, the arrangement positions of the plurality of display target objects in the virtual reality space so that the interval between the plurality of display target objects in the direction of the reference line of sight is an interval according to the parameter value. A step of determining
Generating an image in which the plurality of display target objects are arranged in the field of view according to the arrangement position;
An image generation method including:
コンピュータに、
複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、
ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、
前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、
前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、
前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、
を実行させるための画像生成プログラム。
On the computer,
Defining a virtual reality space including a plurality of display target objects;
Identifying the user's field of view in the virtual reality space based on the reference line of sight of the user wearing the head mounted display;
Evaluating parameter values respectively associated with the plurality of display target objects;
Based on the result of the evaluation, the arrangement positions of the plurality of display target objects in the virtual reality space so that the interval between the plurality of display target objects in the direction of the reference line of sight is an interval according to the parameter value. A step of determining
Generating an image in which the plurality of display target objects are arranged in the field of view according to the arrangement position;
An image generation program for executing
JP2016012312A 2016-01-26 2016-01-26 Image creation device, image creation method and image creation program Pending JP2017134492A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016012312A JP2017134492A (en) 2016-01-26 2016-01-26 Image creation device, image creation method and image creation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016012312A JP2017134492A (en) 2016-01-26 2016-01-26 Image creation device, image creation method and image creation program

Publications (1)

Publication Number Publication Date
JP2017134492A true JP2017134492A (en) 2017-08-03

Family

ID=59502702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016012312A Pending JP2017134492A (en) 2016-01-26 2016-01-26 Image creation device, image creation method and image creation program

Country Status (1)

Country Link
JP (1) JP2017134492A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021089489A (en) * 2019-12-02 2021-06-10 富士フイルムビジネスイノベーション株式会社 Information processing apparatus and information processing program
CN116459137A (en) * 2023-04-21 2023-07-21 广州视景医疗软件有限公司 Eye adjustment training method, system, medium and equipment based on virtual reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021089489A (en) * 2019-12-02 2021-06-10 富士フイルムビジネスイノベーション株式会社 Information processing apparatus and information processing program
CN116459137A (en) * 2023-04-21 2023-07-21 广州视景医疗软件有限公司 Eye adjustment training method, system, medium and equipment based on virtual reality

Similar Documents

Publication Publication Date Title
JP5996814B1 (en) Method and program for providing image of virtual space to head mounted display
KR102666960B1 (en) Visual aura around field of view
CN107683497B (en) Information processing apparatus, information processing method, and program
CN112926428B (en) Method and system for training object detection algorithm using composite image and storage medium
JP6017664B1 (en) Information processing method and information processing program
US20180321798A1 (en) Information processing apparatus and operation reception method
US9858707B2 (en) 3D video reconstruction system
CN114402589A (en) Smart stylus beam and secondary probability input for element mapping in 2D and 3D graphical user interfaces
US11422626B2 (en) Information processing device, and information processing method, for outputting sensory stimulation to a user
US11709370B2 (en) Presentation of an enriched view of a physical setting
WO2016203111A1 (en) Mediated reality
JP2017138832A (en) Method and program for providing virtual space
WO2020142328A1 (en) Image bounding shape using 3d environment representation
US20180151001A1 (en) Information processing method and system for executing the information processing method
JP2021530816A (en) Methods and devices for angle detection
JP2017207898A (en) Visual field information collection method and program making computer execute visual field information collection method
WO2017042070A1 (en) A gazed virtual object identification module, a system for implementing gaze translucency, and a related method
KR101980297B1 (en) apparatus, method and program for processing 3D VR video
CN111602103B (en) Configuring a target implementer for a synthetic reality environment
US11650709B2 (en) 3D models for displayed 2D elements
US11416975B2 (en) Information processing apparatus
JP2017134492A (en) Image creation device, image creation method and image creation program
US20180158242A1 (en) Information processing method and program for executing the information processing method on computer
JP2019032713A (en) Information processing device, information processing method, and program
US9218104B2 (en) Image processing device, image processing method, and computer program product