JP2017134492A - Image creation device, image creation method and image creation program - Google Patents
Image creation device, image creation method and image creation program Download PDFInfo
- Publication number
- JP2017134492A JP2017134492A JP2016012312A JP2016012312A JP2017134492A JP 2017134492 A JP2017134492 A JP 2017134492A JP 2016012312 A JP2016012312 A JP 2016012312A JP 2016012312 A JP2016012312 A JP 2016012312A JP 2017134492 A JP2017134492 A JP 2017134492A
- Authority
- JP
- Japan
- Prior art keywords
- display target
- image
- target objects
- virtual reality
- reality space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像生成装置、画像生成方法、及び画像生成プログラムに関する。 The present invention relates to an image generation apparatus, an image generation method, and an image generation program.
従来、検索結果を表示する際に、検索キーワードと関連性の高いものから低いものへ順に画面の上下方向に並べて表示することが行われている(例えば特許文献1参照)。 2. Description of the Related Art Conventionally, when displaying a search result, the search keyword is displayed in the vertical direction of the screen in order from the one having high relevance to the search keyword (see, for example, Patent Document 1).
従来の技術では、表示されるオブジェクト(例えば検索結果)の順位が分かるのみであった。 In the prior art, only the order of displayed objects (for example, search results) is known.
本発明は、上記の点に鑑みてなされたものであり、その目的の1つは、複数のオブジェクト(例えば検索結果)を、それらオブジェクトの中の相対的な位置関係が分かるような形で表示することにある。 The present invention has been made in view of the above points, and one of its purposes is to display a plurality of objects (for example, search results) so that the relative positional relationship among these objects can be understood. There is to do.
上述した課題を解決するために、本発明の一態様は、ヘッドマウントディスプレイを装着したユーザに仮想現実空間を提供するための画像生成装置であって、複数の表示対象オブジェクトを含む前記仮想現実空間を定義する仮想現実空間定義部と、前記ヘッドマウントディスプレイを装着した前記ユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定する視界特定部と、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するパラメータ値評価部と、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するオブジェクト配置決定部と、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成する画像生成部と、を備える画像生成装置である。 In order to solve the above-described problem, one aspect of the present invention is an image generation apparatus for providing a virtual reality space to a user wearing a head-mounted display, the virtual reality space including a plurality of display target objects. A virtual reality space defining unit that defines the visual field, a visual field identifying unit that identifies the visual field of the user in the virtual reality space based on the reference visual line of the user wearing the head mounted display, and the plurality of display target objects A parameter value evaluation unit that evaluates a parameter value associated with each of the plurality of display target objects in the direction of the reference line of sight based on a result of the evaluation, so that an interval according to the parameter value , An object for determining an arrangement position of the plurality of display target objects in the virtual reality space And transfected arrangement determination unit, the plurality of display target objects is an image generating apparatus comprising an image generating unit, a generating an image disposed on said viewing according to the arrangement position.
また、本発明の他の一態様は、コンピュータが実行する画像生成方法であって、複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、を含む画像生成方法である。 Another aspect of the present invention is an image generation method executed by a computer, based on a step of defining a virtual reality space including a plurality of display target objects and a reference line of sight of a user wearing a head mounted display. Determining the field of view of the user in the virtual reality space, evaluating the parameter values respectively associated with the plurality of display target objects, and the direction of the reference line of sight based on the result of the evaluation Determining an arrangement position of the plurality of display target objects in the virtual reality space such that an interval between the plurality of display target objects is an interval according to the parameter value, and the plurality of display target objects according to the arrangement position Generating an image in which a display target object is arranged in the field of view An image generation method comprising.
また、本発明の他の一態様は、コンピュータに、複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、を実行させるための画像生成プログラムである。 According to another aspect of the present invention, a virtual reality space including a plurality of display target objects is defined in a computer, and a reference gaze of a user wearing a head mounted display is used in the virtual reality space. Identifying the user's field of view; evaluating a parameter value associated with each of the plurality of display target objects; and based on a result of the evaluation, the plurality of display target objects in the direction of the reference line of sight Determining an arrangement position of the plurality of display target objects in the virtual reality space so that the interval corresponds to the parameter value, and arranging the plurality of display target objects in the field of view according to the arrangement position Generating an image being processed, and generating an image Is a program.
本発明によれば、複数のオブジェクト(例えば検索結果)を、それらオブジェクトの中の相対的な位置関係が分かるような形で表示することができる。 According to the present invention, a plurality of objects (for example, search results) can be displayed in such a way that the relative positional relationship among these objects can be understood.
[本発明の実施形態の説明]
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。
[Description of Embodiment of the Present Invention]
First, the contents of the embodiment of the present invention will be listed and described. One embodiment of the present invention has the following configuration.
(項目1)ヘッドマウントディスプレイを装着したユーザに仮想現実空間を提供するための画像生成装置であって、複数の表示対象オブジェクトを含む前記仮想現実空間を定義する仮想現実空間定義部と、前記ヘッドマウントディスプレイを装着した前記ユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定する視界特定部と、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するパラメータ値評価部と、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するオブジェクト配置決定部と、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成する画像生成部と、を備える画像生成装置。 (Item 1) An image generation apparatus for providing a virtual reality space to a user wearing a head-mounted display, the virtual reality space defining unit defining the virtual reality space including a plurality of display target objects, and the head Based on a reference line of sight of the user wearing the mount display, a field identification unit that identifies the field of view of the user in the virtual reality space, and a parameter value that evaluates a parameter value associated with each of the plurality of display target objects Based on the evaluation unit and the result of the evaluation, the virtual reality space of the plurality of display target objects is set such that an interval between the plurality of display target objects in the direction of the reference line of sight is an interval according to the parameter value. An object placement determination unit for determining the placement position in the Image generating apparatus and an image generation section that generates an image of the plurality of display target objects are disposed in the field of view.
(項目2)前記オブジェクト配置決定部は、第1の表示対象オブジェクトに対応する前記パラメータ値と第2の表示対象オブジェクトに対応する前記パラメータ値との差が大きいほど、前記画像における前記第1の表示対象オブジェクトと前記第2の表示対象オブジェクトとの間隔が大きくなるように、各表示対象オブジェクトの配置位置を決定する、項目1に記載の画像生成装置。 (Item 2) The object placement determination unit increases the difference between the parameter value corresponding to the first display target object and the parameter value corresponding to the second display target object. Item 2. The image generating device according to Item 1, wherein an arrangement position of each display target object is determined so that a distance between the display target object and the second display target object is increased.
(項目3)前記オブジェクト配置決定部は、前記画像における前記第1の表示対象オブジェクトと前記第2の表示対象オブジェクトとの間隔が、前記第1の表示対象オブジェクトに対応する前記パラメータ値と前記第2の表示対象オブジェクトに対応する前記パラメータ値との差に比例するように、各表示対象オブジェクトの配置位置を決定する、項目2に記載の画像生成装置。 (Item 3) The object placement determination unit is configured such that an interval between the first display target object and the second display target object in the image is the parameter value corresponding to the first display target object and the first display target object. Item 3. The image generating device according to Item 2, wherein an arrangement position of each display target object is determined so as to be proportional to a difference from the parameter value corresponding to two display target objects.
(項目4)前記複数の表示対象オブジェクトは、前記パラメータ値の大小の順に配置される、項目1から3のいずれか1項に記載の画像生成装置。 (Item 4) The image generation device according to any one of Items 1 to 3, wherein the plurality of display target objects are arranged in order of the parameter value.
(項目5)前記画像生成部は、前記複数の表示対象オブジェクトを立体視で表現するための右眼用画像と左眼用画像を生成する、項目1から4のいずれか1項に記載の画像生成装置。 (Item 5) The image according to any one of Items 1 to 4, wherein the image generation unit generates a right-eye image and a left-eye image for stereoscopically expressing the plurality of display target objects. Generator.
(項目6)前記右眼用画像と左眼用画像における各表示対象オブジェクトの輻輳角は、当該表示対象オブジェクトに対応する前記パラメータ値に基づいて設定される、項目5に記載の画像生成装置。 (Item 6) The image generation device according to item 5, wherein a convergence angle of each display target object in the right eye image and the left eye image is set based on the parameter value corresponding to the display target object.
(項目7)前記各表示対象オブジェクトは、検索により抽出された個々の要素を表し、前記パラメータ値は、前記個々の要素に付随する検索スコアである、項目1から6のいずれか1項に記載の画像生成装置。
(項目8)前記各表示対象オブジェクトは、コンピュータゲームにおいてユーザが所有しているアイテム、又はコンピュータのデータファイルを表し、前記パラメータ値は、前記アイテム又はデータファイルの属性に基づく、項目1から6のいずれか1項に記載の画像生成装置。
(Item 7) The display object according to any one of items 1 to 6, wherein each display target object represents an individual element extracted by a search, and the parameter value is a search score associated with the individual element. Image generation device.
(Item 8) Each of the display target objects represents an item owned by a user in a computer game or a computer data file, and the parameter value is based on an attribute of the item or data file. The image generation apparatus according to any one of the above.
(項目9)コンピュータが実行する画像生成方法であって、複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、を含む画像生成方法。 (Item 9) An image generation method executed by a computer, wherein a virtual reality space including a plurality of display target objects is defined, and based on a reference line of sight of a user wearing a head mounted display, the virtual reality space Identifying the user's field of view, evaluating the parameter values respectively associated with the plurality of display target objects, and based on the result of the evaluation, the plurality of display target objects in the direction of the reference line of sight Determining an arrangement position of the plurality of display target objects in the virtual reality space so that the interval of the plurality of display target objects corresponds to the parameter value, and the plurality of display target objects in the field of view according to the arrangement position Generating a placed image, and generating the image Law.
(項目10)コンピュータに、複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、を実行させるための画像生成プログラム。 (Item 10) Identifying the field of view of the user in the virtual reality space based on the step of defining a virtual reality space including a plurality of display target objects in the computer and the reference line of sight of the user wearing the head mounted display A step of evaluating parameter values respectively associated with the plurality of display target objects, and an interval between the plurality of display target objects in the direction of the reference line of sight according to the parameter value based on the result of the evaluation Determining an arrangement position of the plurality of display target objects in the virtual reality space so as to have an interval, and generating an image in which the plurality of display target objects are arranged in the field of view according to the arrangement position And an image generation program for executing the steps.
[本発明の実施形態の詳細]
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
[Details of the embodiment of the present invention]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の一実施形態に係る画像表示システム100のハードウェア構成図である。画像表示システム100は、画像生成装置200と、画像表示装置120とを備える。画像生成装置200と画像表示装置120は、一例として有線ケーブル150によって電気的に接続され、相互に通信可能である。有線ケーブル150に代えて、無線接続が用いられてもよい。
FIG. 1 is a hardware configuration diagram of an
画像生成装置200は、画像表示装置120に表示される画像を生成するための装置である。画像生成装置200は、プロセッサ202と、メモリ204と、ユーザ入力インターフェイス206と、通信インターフェイス208とを少なくとも備える。画像生成装置200は、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、タブレット端末等として実現することが可能である。
The
メモリ204には、少なくともオペレーティングシステムと画像生成プログラムとが格納されている。オペレーティングシステムは、画像生成装置200の全体的な動作を制御するためのコンピュータプログラムである。画像生成プログラムは、画像生成装置200が後述する画像生成処理の各機能を実現するためのコンピュータプログラムである。メモリ204はまた、画像生成装置200の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ204の具体例は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク、フラッシュメモリ、光ディスク等である。
The
プロセッサ202は、メモリ204に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ202がメモリ204に格納された画像生成プログラムを実行することによって、後述する画像生成処理の各機能が実現される。プロセッサ202は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)を含む。
The
ユーザ入力インターフェイス206は、画像表示システム100のユーザから画像生成装置200を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス206の具体例は、キーボード、マウス、タッチパッド、音声入力用マイク、ゲームコントローラ等である。
The user input interface 206 is configured to receive an input for operating the
通信インターフェイス208は、ネットワークを介して他の装置と通信するためのネットワークインターフェイスである。例えば、通信インターフェイス208は、画像生成装置200がインターネット170を介して検索エンジン(サーバ)180やウェブサーバ190と通信することを可能にする。
The
画像表示装置120は、画像生成装置200において生成された画像を視覚的な情報としてユーザ160に提供するための装置である。例えば、画像表示装置120は、図1に示されるようなヘッドマウントディスプレイ(Head Mounted Display:以下HMDと称する)として構成されてよい。あるいは、画像表示装置120は、HMDではない通常の据置型ディスプレイとして構成されてもよい。画像表示装置(例えばHMD)120は、3次元(立体視)画像を表示可能なディスプレイであってもよい。
The
画像表示装置120がHMDである場合、図示されるように、HMD120は、ユーザ160の視界を覆うようにしてユーザ160の頭に装着される。HMD120は、HMD120を装着したユーザ160の眼前に配置されたディスプレイ122を備える。ディスプレイ122には、画像生成装置200から送られた画像が表示される。ディスプレイ122は、例えば、非透過型ディスプレイとして構成することとしてよい。この場合、HMD120の外界の光景はユーザ160の視界から遮断され、ユーザ160の目にはディスプレイ122に映し出された画像だけが届けられる。HMD120のディスプレイ122に表示される画像の一例は、コンピュータグラフィックスによる仮想現実空間(例えばコ
ンピュータゲームで作り出される世界)を表す画像である。ディスプレイ122として非透過型ディスプレイを適用したHMD120は、このような仮想現実空間画像によって、ユーザ160にコンピュータグラフィックスによる仮想現実空間へ入り込んだような感覚(没入感)を体験させることができる。
When the
HMD120はまた、HMD120を装着したユーザ160の頭がどちらの方向を向いているかを検知するためのセンサ126(例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせ)を備えてもよい。センサ126は、HMD120の向きや動きに応じた値(磁気、角速度、又は加速度の値)を出力する。センサ126からの出力値を適宜の方法で加工することで、HMD120を装着したユーザ160の頭の向きが算出される。検知されたユーザ160の頭の向きは、ユーザ160が頭を動かした際にその動きに追従するようにディスプレイ122の表示画像を変化させるのに利用することとしてよい。例えば、ユーザ160が頭を右(又は左、上、下)に向けると、ディスプレイ122には、仮想現実空間においてユーザの右(又は左、上、下)方向にある仮想的光景が映し出されるのであってよい。これにより、ユーザ160が体感する仮想現実空間への没入感を更に高めることができる。HMD120は更に、仮想現実空間に関連する音声を出力するための不図示のスピーカ(ヘッドホン)を備えてもよい。
The
HMD120は更に、ユーザ160の視線を検出するためのアイトラッキングデバイス(Eye Tracking Device:以下ETDと称する)124を備えてもよい。例えば、ETD124は、赤外線光源と赤外線カメラとを備える。赤外線光源は、HMD120を装着したユーザ160の目に向けて赤外線を照射する。赤外線カメラは、赤外線で照射されたユーザ160の目の画像を撮像する。赤外線はユーザ160の目の表面で反射されるが、瞳と瞳以外の部分とで赤外線の反射率が異なる。赤外線カメラで撮像されたユーザ160の目の画像には、赤外線の反射率の違いが画像の明暗となって現れる。この明暗に基づいて、ユーザ160の目の画像において瞳が識別され、更に、識別された瞳の位置に基づいて、ユーザ160の視線の方向が検出される。
The
図2は、本発明の一実施形態に係る画像生成装置200の機能的な構成を示すブロック図である。画像生成装置200は、記憶部220及び処理部230を有する。処理部230は更に、検索要求部231と、検索結果取得部232と、検索スコア評価部233と、オブジェクト配置決定部234と、画像生成部235と、画像出力部236と、仮想現実空間定義部237と、視界特定部238とを含む。記憶部220は、図1に示されたメモリ204に対応する。処理部230及び処理部230に含まれる各部231〜238は、図1に示されたプロセッサ202がメモリ204内の画像生成プログラムを読み出して実行することによって実現される、本発明に係る画像生成処理の機能を表す。
FIG. 2 is a block diagram illustrating a functional configuration of the
記憶部220には、仮想現実空間構成情報223が記憶されている。仮想現実空間構成情報223は、仮想現実空間を表す画像を生成するのに必要な、仮想現実空間内に存在する様々なオブジェクト(表示対象オブジェクトを含む)の配置位置、形状、色などに関するデータである。仮想現実空間定義部237は、記憶部220に記憶された仮想現実空間構成情報223を処理することによって、表示対象オブジェクトを含む仮想現実空間を構築する。
The
視界特定部238は、ユーザ160の基準視線に基づいて、仮想現実空間におけるユーザ160の視界を特定する。ユーザ160の基準視線は、HMD120のETD124によって検出されたユーザ160の視線、又はHMD120のセンサ126によって検知されたユーザ160の頭の向きのいずれかである。
The visual
検索要求部231は、ユーザ160からの入力に基づく検索要求を検索エンジン180へ送信するように構成される。ユーザ160からの入力は、ユーザ入力インターフェイス206を介して与えられる。例えば、ユーザ160は、キーボードを用いて検索キーワードを打ち込む、あるいはマイクに向かって検索キーワードを発声する等の方法により、どのような検索を行いたいかを画像生成装置200に指示する。検索要求部231は、ユーザ160から入力された検索キーワードを含む検索要求を、通信インターフェイス208を介して検索エンジン180へ送信する。
The
検索結果取得部232は、検索エンジン180から検索結果を取得するように構成される。検索結果は、検索要求部231が送信した検索要求に対して検索エンジン180が返す情報であり、検索キーワードに関連する、即ち、検索キーワードに対する適合性あるいは一致度が高いことが期待される、複数のアイテムを含む。図3に検索結果の一例を示す。図3において、検索結果300は、検索キーワードに関連するアイテムとしてアイテム1、アイテム2、アイテム3、…、アイテムNを含む。「アイテム」は、例えば、検索キーワードに関連するコンテンツを含んでいるウェブページを特定するためのURL(Uniform Resource Locator)や、当該ウェブページに関する簡易説明などを含むものであってよい。別の例として、検索要求が画像を検索の対象とするものである場合には、「アイテム」は、検索キーワードとの関連度が高い画像のサムネール画像(縮小画像)であってもよい。
The search
検索結果300は、更に、複数のアイテムのそれぞれに紐付けられた検索スコアSCを含む。検索スコアSCは、当該検索スコアに対応するアイテムと検索キーワードとの関連性の度合いを数値として表す。例えば、検索スコアSCは、数値が大きいほどアイテムと検索キーワードとの関連性が高いことを示すのであってよい。図3の例では、アイテム1の検索スコアSC1は0.85であり、アイテム2の検索スコアSC2は0.79であり、アイテム3の検索スコアSC3は0.67である。この場合、アイテム1はアイテム2よりも検索キーワードとの関連性が高く、アイテム2はアイテム3よりも検索キーワードとの関連性が高い。
The
検索スコア評価部233は、検索結果に含まれる検索スコアを評価するように構成される。具体的には、検索スコア評価部233は、検索エンジン180から取得された検索結果に含まれる複数のアイテムのそれぞれについて検索スコアSCの大小を比較し、この比較に基づいて各アイテムを検索スコアSCの大小順(例えば降順)に並べ替える。更に、検索スコア評価部233は、並べ替え後の複数のアイテムにおける隣り合うアイテムの各ペアについて、検索スコアSCの差を計算する。検索エンジン180から、既に各アイテムが検索スコアSCの大小順に並んだ検索結果が提供される場合、アイテムを並べ替える処理はもちろん不要である。前掲の図3の例は、そのような並べ替え不要の例示的な検索結果300を表している。この例示的な検索結果300に対しては、アイテム1とアイテム2との検索スコアの差ΔSC12(=SC1−SC2)は0.06、アイテム2とアイテム32との検索スコアの差ΔSC23(=SC2−SC3)は0.12とそれぞれ計算され、他のペアについても同様に検索スコアの差が計算される。
The search
オブジェクト配置決定部234は、検索スコア評価部233による検索スコアの評価結果に基づいて、検索結果をユーザ160に提示する際の各アイテム(表示対象オブジェクト)の配置位置を決定するように構成される。アイテムの配置位置については後述する。
The object
画像生成部235は、オブジェクト配置決定部234によって決定された各アイテムの配置位置に基づいて検索結果画像を生成するように構成される。検索結果画像は、複数の表示対象オブジェクトを含む。表示対象オブジェクトは、検索エンジン180から検索結果として提供された個々のアイテムを表す画像要素である。検索結果画像において、各表示対象オブジェクトは、オブジェクト配置決定部234によって決定された配置位置に従って配置される。例えば、検索結果画像は、仮想現実空間におけるユーザ160の視界内に表示対象オブジェクトが配置されている画像であってよい。生成された検索結果画像は、画像出力部236を介して画像表示装置120へ出力され、画像表示装置120に表示される。
The
図4は、画像生成部235によって生成される検索結果画像の一例を示す。図4において、検索結果画像400は、表示対象オブジェクトOBJ1、OBJ2、及びOBJ3を含む。表示対象オブジェクトOBJ1、OBJ2、OBJ3は、それぞれ図3のアイテム1、2、3に対応するものである。説明の簡略化のため、検索結果画像400は3つの表示対象オブジェクトのみを含むように描かれているが、検索結果画像400には、任意の数の表示対象オブジェクト(例えば、検索結果300に含まれる全てのアイテム1乃至Nに対応するN個の表示対象オブジェクト)が含まれてよいことはもちろんである。
FIG. 4 shows an example of a search result image generated by the
検索結果画像400内の表示対象オブジェクトOBJ1、OBJ2、OBJ3は、画像の奥行き方向410に並べられている。前述したように、図3の例のアイテム1、2、3は、この順に大きな検索スコアSCを有する。表示対象オブジェクトOBJ1、OBJ2、OBJ3の並び順は、この検索スコアSCの大小関係に基づく。例えば、図示されるように、表示対象オブジェクトOBJ1は、対応するアイテム1の検索スコアSC1が一番大きい値であるため、奥行き方向410の一番手前に配置される。また、表示対象オブジェクトOBJ2は、対応するアイテム2の検索スコアSC2が二番目に大きい値であるため、奥行き方向410の手前から二番目に配置され、表示対象オブジェクトOBJ3は、対応するアイテム3の検索スコアSC3が(これら3つのアイテムの中では)一番小さい値であるため、奥行き方向410の一番奥に配置される。
The display target objects OBJ1, OBJ2, and OBJ3 in the
更に、検索結果画像400内の表示対象オブジェクトOBJ1、OBJ2、OBJ3は、画像の奥行き方向410の並びにおいて、各表示対象オブジェクト間の間隔が検索スコアSCに基づいて調整される。例えば、隣り合う2つの表示対象オブジェクトは、当該2つの表示対象オブジェクトに対応する検索スコアの差ΔSCに応じた間隔に配置される。図4の例を参照すると、表示対象オブジェクトOBJ1と表示対象オブジェクトOBJ2との間隔d12は、表示対象オブジェクトOBJ2と表示対象オブジェクトOBJ3との間隔d23よりも狭く設定されている。これは、図3に例示した検索スコアSCの値の例において、アイテム1とアイテム2との検索スコアの差ΔSC12が、アイテム2とアイテム3との検索スコアの差ΔSC23よりも小さいことに基づく。換言すれば、検索結果画像400の隣り合う2つの表示対象オブジェクトは、検索スコアの差ΔSCが大きいほど、広い間隔で配置されている。これの特別な場合の例として、2つの表示対象オブジェクトは、検索スコアの差ΔSCに比例した間隔で配置されるのであってもよい。例えば図3の検索スコアSCの例では、表示対象オブジェクトOBJ2と表示対象オブジェクトOBJ3との間隔d23は、表示対象オブジェクトOBJ1と表示対象オブジェクトOBJ2との間隔d12の2倍(=ΔSC23/ΔSC12=0.12/0.06)に設定されることとしてよい。
Further, the display target objects OBJ1, OBJ2, and OBJ3 in the
図4の検索結果画像400は、表示対象オブジェクトOBJ1、OBJ2、OBJ3が仮想現実空間内に配置されている画像であってもよい。例えば、検索結果画像400は仮想現実空間においてユーザ160が見ている(即ち視認可能な)領域である視界を表し、この仮想現実空間のユーザ視界内に、各表示対象オブジェクトOBJ1、OBJ2、OBJ3が、上述した順序及び間隔でユーザの基準視線方向(図中の奥行き方向410)に沿って並んでいるのであってもよい。
The
このように、検索結果画像400において、検索結果に含まれる個々のアイテムに対応する各表示対象オブジェクトが、検索スコアに応じた間隔に配置される。即ち、検索結果画像400における隣り合った2つの表示対象オブジェクトの間隔は、検索キーワードとの関連性の度合いを反映している。これにより、ユーザ160は、検索結果画像400内の表示対象オブジェクトの間隔から、検索結果の複数のアイテムが検索キーワードとの関連度に関してどのように分布しているかを視覚的に把握することができる。例えば、図4の例では、アイテム1とアイテム2は検索キーワードとの関連性が比較的高いが、この2つのアイテムに比べて、アイテム3は検索キーワードとの関連性がかなり小さい、といったような判断をユーザ160が行うことが可能である。
As described above, in the
検索結果画像400の表示対象オブジェクトOBJ1、OBJ2、OBJ3は、更に、3次元(立体視)画像として表現されてもよい。この場合、検索結果画像400は右眼用画像と左眼用画像からなる。図5は、立体視表現された表示対象オブジェクトを模式的に表す。図5において、右眼用画像510Rはユーザ160の右眼520Rに対して表示される右眼用オブジェクト530Rを含み、左眼用画像510Lはユーザ160の左眼520Lに対して表示される左眼用オブジェクト530Lを含む。右眼用オブジェクト530R及び左眼用オブジェクト530Lは、例えば表示対象オブジェクトOBJ1、OBJ2、OBJ3のいずれかに対応する。ユーザ160の右眼視線540Rと左眼視線540Lは、交点ISにおいて輻輳角θで交差する。これにより、ユーザ160は、ディスプレイ面550から距離Dだけ手前(又は奥)に位置する交点ISに、オブジェクト530が存在しているような知覚を得る。
The display target objects OBJ1, OBJ2, and OBJ3 of the
右眼用オブジェクト530Rと左眼用オブジェクト530Lによって作られる輻輳角θが適宜の角度となるように右眼用画像510Rと左眼用画像510Lを生成することによって、ユーザ160が視認するオブジェクト530の奥行き方向の位置を任意に調整することが可能である。例えば、輻輳角θは、検索スコアSCに応じた角度に設定されることとしてよい。一例として、大きい検索スコアSC1を持つ表示対象オブジェクトOBJ1の輻輳角θ1を、小さい検索スコアSC2を持つ表示対象オブジェクトOBJ2の輻輳角θ2よりも大きく設定することで、検索キーワードとの関連性の高い表示対象オブジェクトOBJ1を検索キーワードとの関連性の低い表示対象オブジェクトOBJ2よりも手前に視認させることができる。なお、輻輳角による立体視効果に加えて、両眼視差による立体視効果が得られるように、右眼用オブジェクト530Rと左眼用オブジェクト530Lが、それぞれ異なる視点から眺めた画像として描かれることとしてもよい。
By generating the right-
図6は、本発明の一実施形態に係る画像生成装置200の動作を示すフローチャートである。
FIG. 6 is a flowchart showing the operation of the
まずステップS101において、検索要求部231が、検索キーワードを含む検索要求を検索エンジン180へ送信する。次にステップS102において、検索結果取得部232が、検索エンジン180から検索キーワードに対応した検索結果を取得する。検索結果は、検索キーワードに関連した複数のアイテムと、複数のアイテムのそれぞれに紐付けられた検索スコアとを含む。
First, in step S <b> 101, the
次にステップS103において、検索スコア評価部233が、検索スコアの大小比較に基づいて、検索キーワードに関連するものとして検索エンジン180から提供された複数のアイテムを並べ替える。このステップS103は、検索スコアの大小順にアイテムが並んだ検索結果が検索エンジン180から提供される場合には、省略されてよい。次にステップS104において、検索スコア評価部233が、検索スコアの大小順で隣り合っている任意の2つのアイテムについて検索スコアの差を計算する。
Next, in step S103, the search
次にステップS105において、オブジェクト配置決定部234が、ステップS104で計算された検索スコアの差に基づいて、検索結果に含まれる複数のアイテムを表す各表示対象オブジェクトの配置位置を決定する。例えば、図4に示されるように、オブジェクト配置決定部234は、隣り合うアイテムの検索スコアの差が大きいほど、表示対象オブジェクトの間隔が広くなるように配置位置を決定するのであってよい。オブジェクト配置決定部234は、更に、表示対象オブジェクトの間隔を、検索スコアの差に比例するように設定してもよい。また、画像表示装置120にHMDが適用される場合の一例として、オブジェクト配置決定部234は、仮想現実空間におけるユーザ160の基準視線の方向に沿って、複数の表示対象オブジェクトを並べて配置することとしてよい。例えば、表示対象オブジェクトは、仮想現実空間におけるユーザ160の視界の中心方向(即ちユーザ160から見た奥行き方向410)に、検索スコアに応じた間隔で並べられるのであってよい。この場合、視界特定部238が、HMD120のセンサ126からの出力、又はHMD120のETD124からの出力に基づいて、仮想現実空間内においてユーザ160の視認可能な領域である視界を特定し、オブジェクト配置決定部234が、この視界内において各表示対象オブジェクトをユーザ160の基準視線方向に沿って、検索スコアに応じた間隔で配置する。
Next, in step S105, the object
次にステップS106において、画像生成部235が、各表示対象オブジェクトがステップS105で決定された配置位置に配置されている検索結果画像を生成する。例えば、図4の検索結果画像400のように、各表示対象オブジェクトは、検索スコアの大小順、且つ隣り合う表示対象オブジェクトの検索スコアの差に応じた間隔でユーザ160の基準視線方向(図4の奥行き方向410)に並べられて、仮想現実空間内のユーザの視界に配置される。画像生成部235は、手前あるいは奥に配置された表示対象オブジェクトが、輻輳角又は両眼視差による立体視効果を有するように視認されるべく、右眼用画像と左眼用画像からなる検索結果画像を生成することとしてよい。また、画像生成部235は、手前に配置された表示対象オブジェクトが大きく及び/又は明るく視認され、奥に配置された表示対象オブジェクトが小さく及び/又は暗く視認されるように、各表示対象オブジェクトの大きさ及び/又は明るさを調整してもよい。
Next, in step S106, the
上記実施形態では、検索キーワードに対する検索結果画像を生成する画像生成装置200を例示したが、本発明はそのような画像生成装置に限定されるものではない。例えば、コンピュータゲームにおいてユーザ(プレイヤ)が所有しているアイテムをソートして表示する場合に、アイテムの何らかの属性(例えばレアリティ(レア度、希少度))に関する数値に応じた間隔で、アイテムを奥行き方向に配列して表示することとしてよい。また、コンピュータの各種データファイル(例えば文書ファイルや画像ファイル等)を、それらの何らかの属性(例えば、ファイルサイズ、作成日時、更新日時等)に関する数値に応じた間隔で奥行き方向に配列して表示することとしてもよい。
In the above embodiment, the
以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。 As mentioned above, although embodiment of this invention was described, this invention is not limited to this, A various change is possible within the range which does not deviate from the summary.
100 画像表示システム
120 画像表示装置
150 有線ケーブル
170 インターネット
180 検索エンジン
200 画像生成装置
202 プロセッサ
204 メモリ
206 ユーザ入力インターフェイス
208 通信インターフェイス
220 記憶部
230 処理部
231 検索要求部
232 検索結果取得部
233 検索スコア評価部
234 オブジェクト配置決定部
235 画像生成部
236 画像出力部
237 仮想現実空間定義部
238 視界特定部
DESCRIPTION OF
Claims (10)
複数の表示対象オブジェクトを含む前記仮想現実空間を定義する仮想現実空間定義部と、
前記ヘッドマウントディスプレイを装着した前記ユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定する視界特定部と、
前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するパラメータ値評価部と、
前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するオブジェクト配置決定部と、
前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成する画像生成部と、
を備える画像生成装置。 An image generation device for providing a virtual reality space to a user wearing a head mounted display,
A virtual reality space defining unit that defines the virtual reality space including a plurality of display target objects;
Based on the reference line of sight of the user wearing the head-mounted display, a field of view identifying unit that identifies the field of view of the user in the virtual reality space;
A parameter value evaluation unit that evaluates a parameter value associated with each of the plurality of display target objects;
Based on the result of the evaluation, the arrangement positions of the plurality of display target objects in the virtual reality space so that the interval between the plurality of display target objects in the direction of the reference line of sight is an interval according to the parameter value. An object placement determination unit for determining
An image generation unit configured to generate an image in which the plurality of display target objects are arranged in the field of view according to the arrangement position;
An image generation apparatus comprising:
前記パラメータ値は、前記個々の要素に付随する検索スコアである、
請求項1から6のいずれか1項に記載の画像生成装置。 Each display target object represents an individual element extracted by the search,
The parameter value is a search score associated with the individual element.
The image generation apparatus according to claim 1.
前記パラメータ値は、前記アイテム又はデータファイルの属性に基づく、
請求項1から6のいずれか1項に記載の画像生成装置。 Each display target object represents an item owned by a user in a computer game, or a data file of a computer,
The parameter value is based on an attribute of the item or data file,
The image generation apparatus according to claim 1.
複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、
ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、
前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、
前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、
前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、
を含む画像生成方法。 An image generation method executed by a computer,
Defining a virtual reality space including a plurality of display target objects;
Identifying the user's field of view in the virtual reality space based on the reference line of sight of the user wearing the head mounted display;
Evaluating parameter values respectively associated with the plurality of display target objects;
Based on the result of the evaluation, the arrangement positions of the plurality of display target objects in the virtual reality space so that the interval between the plurality of display target objects in the direction of the reference line of sight is an interval according to the parameter value. A step of determining
Generating an image in which the plurality of display target objects are arranged in the field of view according to the arrangement position;
An image generation method including:
複数の表示対象オブジェクトを含む仮想現実空間を定義するステップと、
ヘッドマウントディスプレイを装着したユーザの基準視線に基づいて、前記仮想現実空間内における前記ユーザの視界を特定するステップと、
前記複数の表示対象オブジェクトにそれぞれ関連付けられたパラメータ値を評価するステップと、
前記評価の結果に基づいて、前記基準視線の方向における前記複数の表示対象オブジェクトの間隔が前記パラメータ値に応じた間隔となるように、前記複数の表示対象オブジェクトの前記仮想現実空間内の配置位置を決定するステップと、
前記配置位置に従って前記複数の表示対象オブジェクトが前記視界に配置されている画像を生成するステップと、
を実行させるための画像生成プログラム。 On the computer,
Defining a virtual reality space including a plurality of display target objects;
Identifying the user's field of view in the virtual reality space based on the reference line of sight of the user wearing the head mounted display;
Evaluating parameter values respectively associated with the plurality of display target objects;
Based on the result of the evaluation, the arrangement positions of the plurality of display target objects in the virtual reality space so that the interval between the plurality of display target objects in the direction of the reference line of sight is an interval according to the parameter value. A step of determining
Generating an image in which the plurality of display target objects are arranged in the field of view according to the arrangement position;
An image generation program for executing
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016012312A JP2017134492A (en) | 2016-01-26 | 2016-01-26 | Image creation device, image creation method and image creation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016012312A JP2017134492A (en) | 2016-01-26 | 2016-01-26 | Image creation device, image creation method and image creation program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017134492A true JP2017134492A (en) | 2017-08-03 |
Family
ID=59502702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016012312A Pending JP2017134492A (en) | 2016-01-26 | 2016-01-26 | Image creation device, image creation method and image creation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017134492A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021089489A (en) * | 2019-12-02 | 2021-06-10 | 富士フイルムビジネスイノベーション株式会社 | Information processing apparatus and information processing program |
CN116459137A (en) * | 2023-04-21 | 2023-07-21 | 广州视景医疗软件有限公司 | Eye adjustment training method, system, medium and equipment based on virtual reality |
-
2016
- 2016-01-26 JP JP2016012312A patent/JP2017134492A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021089489A (en) * | 2019-12-02 | 2021-06-10 | 富士フイルムビジネスイノベーション株式会社 | Information processing apparatus and information processing program |
CN116459137A (en) * | 2023-04-21 | 2023-07-21 | 广州视景医疗软件有限公司 | Eye adjustment training method, system, medium and equipment based on virtual reality |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5996814B1 (en) | Method and program for providing image of virtual space to head mounted display | |
KR102666960B1 (en) | Visual aura around field of view | |
CN107683497B (en) | Information processing apparatus, information processing method, and program | |
CN112926428B (en) | Method and system for training object detection algorithm using composite image and storage medium | |
JP6017664B1 (en) | Information processing method and information processing program | |
US20180321798A1 (en) | Information processing apparatus and operation reception method | |
US9858707B2 (en) | 3D video reconstruction system | |
CN114402589A (en) | Smart stylus beam and secondary probability input for element mapping in 2D and 3D graphical user interfaces | |
US11422626B2 (en) | Information processing device, and information processing method, for outputting sensory stimulation to a user | |
US11709370B2 (en) | Presentation of an enriched view of a physical setting | |
WO2016203111A1 (en) | Mediated reality | |
JP2017138832A (en) | Method and program for providing virtual space | |
WO2020142328A1 (en) | Image bounding shape using 3d environment representation | |
US20180151001A1 (en) | Information processing method and system for executing the information processing method | |
JP2021530816A (en) | Methods and devices for angle detection | |
JP2017207898A (en) | Visual field information collection method and program making computer execute visual field information collection method | |
WO2017042070A1 (en) | A gazed virtual object identification module, a system for implementing gaze translucency, and a related method | |
KR101980297B1 (en) | apparatus, method and program for processing 3D VR video | |
CN111602103B (en) | Configuring a target implementer for a synthetic reality environment | |
US11650709B2 (en) | 3D models for displayed 2D elements | |
US11416975B2 (en) | Information processing apparatus | |
JP2017134492A (en) | Image creation device, image creation method and image creation program | |
US20180158242A1 (en) | Information processing method and program for executing the information processing method on computer | |
JP2019032713A (en) | Information processing device, information processing method, and program | |
US9218104B2 (en) | Image processing device, image processing method, and computer program product |