JP2017086542A - Image change system, method, and program - Google Patents

Image change system, method, and program Download PDF

Info

Publication number
JP2017086542A
JP2017086542A JP2015221332A JP2015221332A JP2017086542A JP 2017086542 A JP2017086542 A JP 2017086542A JP 2015221332 A JP2015221332 A JP 2015221332A JP 2015221332 A JP2015221332 A JP 2015221332A JP 2017086542 A JP2017086542 A JP 2017086542A
Authority
JP
Japan
Prior art keywords
image
display mode
change
information
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015221332A
Other languages
Japanese (ja)
Other versions
JP2017086542A5 (en
Inventor
篤 猪俣
Atsushi Inomata
篤 猪俣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2015221332A priority Critical patent/JP2017086542A/en
Publication of JP2017086542A publication Critical patent/JP2017086542A/en
Publication of JP2017086542A5 publication Critical patent/JP2017086542A5/ja
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To generate an improvisational effect by involving a contingent element in the formation of an image in a virtual space.SOLUTION: Generated sound detection means 802 detects a generated sound of an object moving in a real space. Position detection means 801 detects the position of the object in the real space based on the detected sound. Timing acquisition means 803 acquires generation timing information on the generated sound based on the detected sound. Table search means 804 outputs a display mode corresponding to the generated sound of the object. Position designation means 805 designates the position in a virtual real space corresponding to the position of the object in the real space. Change mode information output means 806 supplies change mode information to image output means 807 based on the position information and the timing information in the virtual real space so as to replace the display mode in the vicinity region of a corresponding position in the virtual real space with a display mode corresponding to the generated sound.SELECTED DRAWING: Figure 8A

Description

本発明は、画像変更システム、方法、及びプログラムに関する。   The present invention relates to an image change system, method, and program.

従来より、仮想現実(VR:Virtual Reality)空間内にオブジェクトを出現させ、仮想現実空間内においてゲームを進行させるようにしたゲームシステムが知られている。当該ゲームシステムは、例えば、頭部装着型ディスプレイ(HMD:Head Mounted Display)と、プレイヤーの視点の位置姿勢を検出するための位置姿勢センサと、CG(Computer Graphics;コンピュータグラフィックス)映像生成手段を備えている。そして、生成されたCG映像をHMDに表示することにより、プレイヤーはあたかも仮想のCG空間の中に没入しているような感覚を得ることができる。   2. Description of the Related Art Conventionally, a game system is known in which an object appears in a virtual reality (VR) space and a game is advanced in the virtual reality space. The game system includes, for example, a head mounted display (HMD), a position and orientation sensor for detecting the position and orientation of a player's viewpoint, and CG (Computer Graphics) image generation means. I have. Then, by displaying the generated CG video on the HMD, the player can feel as if they are immersed in the virtual CG space.

なお、位置姿勢センサとしては、例えば、磁気方式による位置姿勢センサなどが用いられ、これをHMDに取り付けることによってセンサの3次元位置(X,Y,Z)と姿勢(Pitch,Yaw,Roll)をリアルタイムで検出している。   As the position / orientation sensor, for example, a magnetic position / orientation sensor or the like is used. By attaching this to the HMD, the three-dimensional position (X, Y, Z) and orientation (Pitch, Yaw, Roll) of the sensor can be obtained. It is detected in real time.

上記のような従来のVR技術を利用したゲームにおいては、ゲームの進行は所定のプログラムに基づいて行われ、仮想現実空間内における画像の生成に偶然的な要素を関与させることはできなかった。
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、仮想空間内における画像の生成に偶然的な要素を関与させ、即興的な効果を生じさせるようにした画像変更システム、制御方法、及びプログラムを提供することにある。
In a game using the conventional VR technology as described above, the progress of the game is performed based on a predetermined program, and it has not been possible to cause an accidental factor to generate an image in the virtual reality space.
The present invention has been made in view of the above points, and an object of the present invention is to create an improvisational effect by involving an accidental element in generating an image in a virtual space. To provide a change system, a control method, and a program.

上述した課題を解決するための本発明の基本的態様は、ヘッドマウントディスプレイに画像を出力することによって提供される仮想空間内で、前記画像を変更するための画像変更システムであって、前記画像を前記ヘッドマウントディスプレイに出力する画像出力手段と、前記仮想空間内の位置を指定する位置指定手段と、タイミングを指定するタイミング指定手段と、前記指定されたタイミングで、前記指定された位置近傍の表示態様の変更情報を出力する表示態様変更情報出力手段と、を備え、前記表示態様変更情報出力手段の出力に基づいて前記仮想空間内の画像を変更させることを特徴とする画像変更システムに係るものである。   A basic aspect of the present invention for solving the above-described problem is an image change system for changing the image in a virtual space provided by outputting the image to a head-mounted display, wherein the image is changed. Image output means for outputting to the head mounted display, position designation means for designating a position in the virtual space, timing designation means for designating timing, and the vicinity of the designated position at the designated timing. A display mode change information output unit that outputs display mode change information, and changes an image in the virtual space based on an output of the display mode change information output unit. Is.

本発明によれば、仮想空間内における画像の生成に偶然的な要素を関与させることにより即興的な効果を生じさせることができ、エンタテイメント性の向上を図ることができる。   ADVANTAGE OF THE INVENTION According to this invention, an impromptu effect can be produced by making a chance element participate in the production | generation of the image in virtual space, and the improvement of entertainment property can be aimed at.

図1は、本発明の一実施形態に係る画像変更システム1の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of an image change system 1 according to an embodiment of the present invention. 図2は、本発明の一実施形態を含む全体システムのハードウェア構成の概要を示す概念図である。FIG. 2 is a conceptual diagram showing an outline of the hardware configuration of the entire system including one embodiment of the present invention. 図3は、画像生成装置200の基本機能の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of basic functions of the image generation apparatus 200. 図4は、ユーザの頭の動きを模式的に示す模式図である。FIG. 4 is a schematic diagram schematically showing the movement of the user's head. 図5Aは、画像変更システムによる表示態様の変更が実施される前の画面表示の模式図である。FIG. 5A is a schematic diagram of a screen display before the display mode is changed by the image change system. 図5Bは、画像変更システムによる表示態様の変更が実施された後の画面表示の模式図である。FIG. 5B is a schematic diagram of the screen display after the display mode is changed by the image change system. 図6は、画像変更システムの第1実施形態の基本機能の構成を示すブロック図である。FIG. 6 is a block diagram showing a configuration of basic functions of the first embodiment of the image change system. 図7Aは、画像変更システムの第2実施形態の基本機能の構成を示すブロック図である。FIG. 7A is a block diagram showing a configuration of basic functions of the second embodiment of the image change system. 図7Bは、画像変更システムの第2実施形態を用いて現実空間内のオブジェクトの位置情報や表示態様変更の指示情報を取得するための手法の一例を示す模式図である。FIG. 7B is a schematic diagram illustrating an example of a method for acquiring position information of an object in the real space and display mode change instruction information using the second embodiment of the image change system. 図8Aは、画像変更システムの第3実施形態の基本機能の構成を示すブロック図である。FIG. 8A is a block diagram showing a configuration of basic functions of the third embodiment of the image change system. 図8Bは、画像変更システムの第3実施形態を用いて現実空間内のオブジェクトの位置情報や表示態様変更の指示情報を取得するための手法の一例を示す模式図である。FIG. 8B is a schematic diagram illustrating an example of a technique for acquiring position information of an object in the real space and display mode change instruction information using the third embodiment of the image change system.

[本発明の実施形態の説明]
本発明の実施の形態の概要を例示的に列挙すると以下のとおりである。
〔形態1〕
ヘッドマウントディスプレイに画像を出力することによって提供される仮想空間内で、前記画像を変更するための画像変更システムであって、
前記画像を前記ヘッドマウントディスプレイに出力する画像出力手段と、
前記仮想空間内の位置を指定する位置指定手段と、
タイミングを指定するタイミング指定手段と、
前記指定されたタイミングで、前記指定された位置近傍の表示態様の変更情報を出力する表示態様変更情報出力手段と、
を備え、前記表示態様変更情報出力手段の出力に基づいて前記仮想空間内の画像を変更させることを特徴とする画像変更システム。
本形態1によれば、仮想空間内における画像の生成に偶然的な要素を関与させることにより即興的な効果を生じさせることができ、エンタテイメント性の向上を図ることができる。
[Description of Embodiment of the Present Invention]
The outline of the embodiment of the present invention is listed as an example as follows.
[Form 1]
An image change system for changing the image in a virtual space provided by outputting the image to a head mounted display,
Image output means for outputting the image to the head mounted display;
Position specifying means for specifying a position in the virtual space;
Timing designation means for designating timing;
Display mode change information output means for outputting change information of the display mode in the vicinity of the specified position at the specified timing;
And changing the image in the virtual space based on the output of the display mode change information output means.
According to the first embodiment, an impromptu effect can be produced by involving an accidental element in the generation of an image in the virtual space, and the entertainment property can be improved.

〔形態2〕
形態1に記載の画像変更システムにおいて、前記表示態様の変更がオブジェクト及び/又はアクションの変更であることを特徴とする画像変更システム。
本形態2によれば、表示態様の変更にリアリティを付与することができる。
[Form 2]
2. The image change system according to claim 1, wherein the display mode change is an object and / or action change.
According to the second embodiment, the reality can be given to the change of the display mode.

〔形態3〕
形態1又は2に記載の画像変更システムにおいて、前記位置指定手段は、前記仮想空間内の位置をランダムに指定し、前記タイミング指定手段はタイミングをランダムに指定することを特徴とする画像変更システム。
本形態3によれば、偶然的な要素の関与の度合いを高めることができ、即興的な効果を増大させることができる。
[Form 3]
3. The image changing system according to claim 1, wherein the position specifying unit specifies a position in the virtual space at random, and the timing specifying unit specifies a timing at random.
According to the third embodiment, the degree of accidental elemental involvement can be increased, and improvisational effects can be increased.

〔形態4〕
形態1〜3のいずれかに記載の画像変更システムにおいて、前記表示態様変更情報出力手段は、予め用意された複数の表示態様の中から1つをランダムに選択して出力することを特徴とする画像変更システム。
本形態4によれば、偶然的な要素の関与の度合いを高めることができるとともに、表示態様の変更のための構成を簡素化することができる。
[Form 4]
In the image change system according to any one of forms 1 to 3, the display mode change information output unit randomly selects and outputs one of a plurality of display modes prepared in advance. Image change system.
According to the fourth embodiment, it is possible to increase the degree of accidental element involvement and simplify the configuration for changing the display mode.

〔形態5〕
形態1又は2に記載の画像変更システムにおいて、前記位置指定手段は、現実空間内の位置情報に基づいて仮想空間内の位置を指定することを特徴とする画像変更システム。
本形態5によれば、現実空間と仮想空間との対応関係を有効に利用することができる。
[Form 5]
3. The image change system according to claim 1, wherein the position specifying unit specifies a position in the virtual space based on position information in the real space.
According to the fifth embodiment, the correspondence between the real space and the virtual space can be used effectively.

〔形態6〕
形態5に記載の画像変更システムにおいて、前記表示態様変更情報出力手段は、予め用意された複数の表示態様の中から選択された表示態様の情報に基づいて前記指定された位置近傍の表示態様の変更情報を出力することを特徴とする画像変更システム。
本形態6によれば、表示態様の変更のための構成を簡素化することができる。
[Form 6]
In the image change system according to mode 5, the display mode change information output unit is configured to display a display mode in the vicinity of the designated position based on information on a display mode selected from a plurality of display modes prepared in advance. An image change system characterized by outputting change information.
According to the sixth embodiment, the configuration for changing the display mode can be simplified.

〔形態7〕
形態6に記載の画像変更システムにおいて、前記予め用意された複数の表示態様の中から選択された表示態様は、前記1又は複数のオブジェクトとともに移動する選択デバイスにより指定されることを特徴とする画像変更システム。
本形態7によれば、表示態様の変更を確実に行うことができる。
[Form 7]
The image change system according to claim 6, wherein a display mode selected from the plurality of display modes prepared in advance is specified by a selection device that moves together with the one or more objects. Change system.
According to the seventh embodiment, the display mode can be changed reliably.

〔形態8〕
形態5に記載の画像変更システムにおいて、前記予め用意された複数の表示態様の中から選択された表示態様は、前記1又は複数のオブジェクトのジェスチャにより指定されることを特徴とする画像変更システム。
本形態8によれば、表示態様の変更を簡便に行うことができる。
[Form 8]
6. The image change system according to claim 5, wherein a display mode selected from the plurality of display modes prepared in advance is specified by a gesture of the one or more objects.
According to the present embodiment 8, the display mode can be changed easily.

〔形態9〕
形態8に記載の画像変更システムにおいて、前記現実空間内の位置情報は、前記現実空間内を移動する1又は複数のオブジェクトの発生する音を集音手段により収集することにより取得された音源位置の情報であり、前記表示態様変更情報出力手段は、前記1又は複数のオブジェクトの発生する音を解析し該解析結果に基づいて前記指定された位置近傍の表示態様の変更情報を出力することを特徴とする画像変更システム。
本形態9によれば、オブジェクトの発生する音を利用して多様な表示態様の変更を実現することができる。
[Form 9]
In the image change system according to the eighth aspect, the position information in the real space includes the sound source position acquired by collecting sounds generated by one or more objects moving in the real space by a sound collecting unit. The display mode change information output means analyzes the sound generated by the one or more objects, and outputs the display mode change information in the vicinity of the designated position based on the analysis result. Image change system.
According to the ninth embodiment, various display modes can be changed using the sound generated by the object.

〔形態10〕
形態1〜9のいずれかに記載の画像変更システムにおいて、前記仮想空間は仮想現実(Virtual Reality)空間であることを特徴とする画像変更システム。
本形態10によれば、VR空間における表示態様の変更を即興的かつ簡便に実施することができる。
[Form 10]
The image change system according to any one of Embodiments 1 to 9, wherein the virtual space is a virtual reality space.
According to the tenth embodiment, it is possible to improvise and easily change the display mode in the VR space.

本発明の他の実施の形態は、上記各システムと略同様の内容を有する方法、及び、該方法をコンピュータにより実現するためのプログラムに係るものである。
そして、前記方法、及び、プログラムにおいても、前記システムと同様の作用効果を奏するものである。
Another embodiment of the present invention relates to a method having substantially the same contents as the above-described systems and a program for realizing the method by a computer.
The method and the program also have the same operational effects as the system.

以下、本発明に係る実施の一形態を図面に基づいて詳細に説明する。なお、本発明は、以下において説明する実施の形態に限定されるべきではなく、特許請求の範囲の記載に基き解釈されるべきである。また、当業者であれば、他の類似する実施形態を使用することができること、また、本発明から逸脱することなく適宜形態の変更又は追加を行うことができることに留意すべきである。   Hereinafter, an embodiment according to the present invention will be described in detail with reference to the drawings. In addition, this invention should not be limited to embodiment described below, and should be interpreted based on description of a claim. In addition, it should be noted that those skilled in the art can use other similar embodiments, and can make changes or additions as appropriate without departing from the present invention.

〔システムの構成の概要〕
図1は、本発明の実施の一形態に係る画像変更システム1の構成を示すブロック図である。システム1は、位置指定手段2とタイミング指定手段3と表示態様変更情報出力手段4と画像出力手段5を具備している。システム1の各構成要素2〜5の果たす機能の詳細については、以下において詳述する。
[Overview of system configuration]
FIG. 1 is a block diagram showing a configuration of an image change system 1 according to an embodiment of the present invention. The system 1 includes a position designation unit 2, a timing designation unit 3, a display mode change information output unit 4, and an image output unit 5. Details of the functions performed by the components 2 to 5 of the system 1 will be described in detail below.

〔全体システムのハードウェア構成の概要〕
図2は、本発明の一実施形態を含む全体システムのハードウェア構成の概要を示す概念図であり、全体システム100のハードウェア構成として、HMD120と、画像生成装置200とを含むものである。HMD120と画像生成装置200は、一例として有線ケーブル150によって電気的に接続され、相互に通信可能である。有線ケーブル150に代えて、無線接続が用いられてもよい。
[Overview of overall system hardware configuration]
FIG. 2 is a conceptual diagram showing an overview of the hardware configuration of the entire system including an embodiment of the present invention. The hardware configuration of the entire system 100 includes an HMD 120 and an image generation apparatus 200. For example, the HMD 120 and the image generation apparatus 200 are electrically connected by a wired cable 150 and can communicate with each other. Instead of the wired cable 150, a wireless connection may be used.

HMD120は、ユーザ101の頭に装着されて利用される表示デバイスである。HMD120は、ディスプレイ122と、センサ126とを備える。HMD120は更に、不図示のスピーカ(ヘッドホン)を備えてもよい。   The HMD 120 is a display device that is used by being worn on the head of the user 101. The HMD 120 includes a display 122 and a sensor 126. The HMD 120 may further include a speaker (headphone) (not shown).

ディスプレイ122は、HMD120を装着したユーザ101の視界に画像を提示するように構成される。例えば、ディスプレイ122は、非透過型ディスプレイとして構成することができる。この場合、HMD120の外界の光景はユーザ101の視界から遮断され、ユーザ101の目にはディスプレイ122に映し出された画像だけが届けられる。ディスプレイ122には、例えば、コンピュータグラフィックスを用いて生成した画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想現実の空間、例えば、コンピュータゲームで作り出される世界を画像化した仮想現実空間画像である。   The display 122 is configured to present an image to the field of view of the user 101 wearing the HMD 120. For example, the display 122 can be configured as a non-transmissive display. In this case, the external scene of the HMD 120 is blocked from the view of the user 101, and only the image displayed on the display 122 is delivered to the user's 101 eye. For example, an image generated using computer graphics is displayed on the display 122. An example of an image by computer graphics is a virtual reality space image obtained by imaging a virtual reality space, for example, a world created by a computer game.

センサ126は、HMD120を装着したユーザ101の頭がどちらの方向を向いているかを検知するためのセンサである。センサ126としては、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせが用いられてよい。センサ126が磁気センサ、角速度センサ、又は加速度センサである場合、センサ126はHMD120に内蔵されて、HMD120の向きや動きに応じた値(磁気、角速度、又は加速度の値)を出力する。センサ126からの出力値を適宜の方法で加工することで、HMD120を装着したユーザ101の頭の向きが算出される。ユーザ101の頭の向きは、ユーザ101が頭を動かした際にその動きに追従するようにディスプレイ122の表示画像を変化させるのに利用することができる。例えば、ユーザ101が頭を右(又は左、上、下)に向けると、ディスプレイ122には、仮想現実空間においてユーザの右(又は左、上、下)方向にある仮想的光景が映し出されることになる。   The sensor 126 is a sensor for detecting in which direction the head of the user 101 wearing the HMD 120 is facing. As the sensor 126, for example, any one of a magnetic sensor, an angular velocity sensor, an acceleration sensor, or a combination thereof may be used. When the sensor 126 is a magnetic sensor, an angular velocity sensor, or an acceleration sensor, the sensor 126 is built in the HMD 120 and outputs a value (magnetism, angular velocity, or acceleration value) corresponding to the direction or movement of the HMD 120. By processing the output value from the sensor 126 by an appropriate method, the head orientation of the user 101 wearing the HMD 120 is calculated. The orientation of the head of the user 101 can be used to change the display image of the display 122 so as to follow the movement when the user 101 moves the head. For example, when the user 101 turns his head to the right (or left, up, down), the display 122 displays a virtual scene in the right (or left, up, down) direction of the user in the virtual reality space. become.

なおセンサ126として、HMD120の外部に設けられたセンサを適用することとしてもよい。例えば、センサ126は、HMD120とは別体の、室内の固定位置に設置された赤外線センサであってよい。この赤外線センサを用いて、HMD120の表面に設けられた赤外線反射マーカーを検知することにより、HMD120を装着したユーザ101の頭の向きを特定することができる。   Note that a sensor provided outside the HMD 120 may be applied as the sensor 126. For example, the sensor 126 may be an infrared sensor installed at a fixed position in the room that is separate from the HMD 120. By using this infrared sensor to detect an infrared reflective marker provided on the surface of the HMD 120, the orientation of the head of the user 101 wearing the HMD 120 can be specified.

画像生成装置200は、HMD120に表示される画像を生成するためのシステムである。画像生成装置200は、ハードウェア構成として、プロセッサ202と、メモリ204と、ユーザ入力インターフェイス206と、通信インターフェイス208とを少なくとも備える。画像生成装置200は、専用の装置であってもよいが、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、PDA(Personal Digital Assistant)、タブレット端末等として実現することが可能である。   The image generation apparatus 200 is a system for generating an image displayed on the HMD 120. The image generation apparatus 200 includes at least a processor 202, a memory 204, a user input interface 206, and a communication interface 208 as hardware configurations. The image generation apparatus 200 may be a dedicated apparatus, but can be realized as, for example, a personal computer, a game console, a smartphone, a PDA (Personal Digital Assistant), a tablet terminal, or the like.

メモリ204には、少なくともオペレーティングシステムと画像生成用プログラムとが格納されている。オペレーティングシステムは、画像生成装置200の全体的な動作を制御するためのコンピュータプログラムである。メモリ204はまた、画像生成装置200の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ204の具体例は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク、フラッシュメモリ、光ディスク等である。   The memory 204 stores at least an operating system and an image generation program. The operating system is a computer program for controlling the overall operation of the image generation apparatus 200. The memory 204 can also store data generated by the operation of the image generating apparatus 200 temporarily or permanently. Specific examples of the memory 204 include a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk, a flash memory, and an optical disk.

プロセッサ202は、メモリ204に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ202がメモリ204に格納されたプログラムを実行することによって、画面生成が行われる。プロセッサ202は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)を含む。   The processor 202 is configured to read a program stored in the memory 204 and execute processing according to the program. Screen generation is performed by the processor 202 executing a program stored in the memory 204. The processor 202 includes a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).

ユーザ入力インターフェイス206は、画像表示システム100のユーザから画像生成装置200を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス206の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。   The user input interface 206 is configured to receive an input for operating the image generating apparatus 200 from a user of the image display system 100. Specific examples of the user input interface 206 are a game controller, a touch pad, a mouse, a keyboard, and the like.

通信インターフェイス208は、ネットワークを介して他の装置と通信するためのネットワークインターフェイスである。   The communication interface 208 is a network interface for communicating with other devices via a network.

なお、画像生成用プログラムは、SNSプラットフォームとは独立したプログラムとして構築してもよいし、SNSプラットフォーム上で提供されるプログラムとすることもできる。プログラムが、SNSプラットフォーム上で提供されるプログラムの場合には、プログラム(アプリケーションソフトウェア)がサーバに実装されており、該サーバが、各ユーザの入力操作に応じて画像生成のための演算処理やデータ処理を実行することになる。したがって、このようなケースにおいては、メモリ204に画像生成用プログラムを格納しておく必要はない。   The image generation program may be constructed as a program independent of the SNS platform, or may be a program provided on the SNS platform. When the program is a program provided on the SNS platform, the program (application software) is mounted on a server, and the server performs arithmetic processing and data for image generation in accordance with each user's input operation. Processing will be executed. Therefore, in such a case, it is not necessary to store the image generation program in the memory 204.

〔画像生成装置の基本的動作〕
次に、画像生成装置200の基本的動作について説明する。なお、以下の説明においては、仮想空間を仮想現実(VR)空間とするが、あくまで例示であって、仮想空間はVR空間に限られるものではない点に留意されたい。
[Basic operation of image generation device]
Next, the basic operation of the image generation apparatus 200 will be described. In the following description, the virtual space is a virtual reality (VR) space. However, it should be noted that the virtual space is merely an example and the virtual space is not limited to the VR space.

図3は、画像生成装置200の基本機能の構成を示すブロック図であり、図2に示されたプロセッサ202がメモリ204内の画像生成プログラムを読み出して実行することによって実現される画像生成処理の機能を表す。   FIG. 3 is a block diagram showing the configuration of the basic functions of the image generation apparatus 200. Image generation processing realized by the processor 202 shown in FIG. 2 reading and executing the image generation program in the memory 204 is shown. Represents a function.

画像生成部231は、HMD120に表示するための画像を生成する。例えば、画像生成部231は、記憶部220から所定のデータを取得し、取得したデータに基づいてコンピュータグラフィックス処理によって画像を生成する。一例として、画像生成部231は、HMD120を装着した第2ユーザ101がコンピュータゲームによる仮想現実空間を認識することができるような仮想現実空間画像を生成する。仮想現実空間画像は、ユーザが仮想現実空間内で目にすることのできる光景を表す。例えば、画像生成部231によって生成される仮想現実空間画像は、コンピュータゲーム内に登場するキャラクタ、建物や木などの風景、室内の家具や壁の内装、地面に落ちているアイテム、ユーザが操作しているアバター(自分自身)の体の一部(手や足)やアバターが手で持っている物体(銃や剣)等の様々なオブジェクトを含む。仮想現実空間を構成するこのような各オブジェクトの配置位置、形状、色など、仮想現実空間画像を生成するのに必要なデータは、仮想現実空間構成情報221として記憶部220に格納されている。画像生成部231bは、記憶部220から取得した仮想現実空間構成情報221に基づいて、このようなコンピュータゲームの仮想現実空間画像を生成する。   The image generation unit 231 generates an image to be displayed on the HMD 120. For example, the image generation unit 231 acquires predetermined data from the storage unit 220 and generates an image by computer graphics processing based on the acquired data. As an example, the image generation unit 231 generates a virtual reality space image that allows the second user 101 wearing the HMD 120 to recognize a virtual reality space based on a computer game. The virtual reality space image represents a scene that the user can see in the virtual reality space. For example, the virtual reality space image generated by the image generation unit 231 includes characters appearing in a computer game, landscapes such as buildings and trees, interior furniture and wall interiors, items falling on the ground, and user operations. It includes various objects such as a body part (hand or foot) of an avatar (self) and an object (gun or sword) held by the avatar. Data necessary for generating a virtual reality space image, such as the arrangement position, shape, and color of each object constituting the virtual reality space, is stored in the storage unit 220 as virtual reality space configuration information 221. The image generation unit 231b generates a virtual reality space image of such a computer game based on the virtual reality space configuration information 221 acquired from the storage unit 220.

また、画像生成部231は、センサ126からの出力値に基づいて画像を変化させている。例えば、画像生成部231が生成する画像は、仮想現実空間内におけるユーザの視界が、センサ126からの出力値が示すユーザ101の頭の動きに追従して移り変わっていく様子を表す画像であってよい。一例として、図4は、ユーザの頭の動きを模式的に示す。図示されるように、ユーザ101の頭の中心とHMD120の中心(ディスプレイ122の画面中心)とを結ぶ軸をZ軸、ユーザ101の頭の中心と頭頂部とを結ぶ軸をY軸、ユーザ101の頭の中心を通りY軸及びZ軸に直交する軸をX軸にとる。センサ126が例えば角速度センサである場合、センサ126からはX軸回りのピッチ角、Y軸回りのヨー角、及びZ軸回りのロール角のそれぞれの角速度の値が出力される。画像生成部231は、これらの角速度の出力値、即ちユーザ101の頭の向きに基づいて、仮想現実空間画像を変化させる。例えば、ユーザ101が頭を右に向けた場合、Y軸回りのヨー角が変化する。画像生成部231は、Y軸の角速度値の変化に合わせて、仮想現実空間内でユーザの右方向にある光景が映し出されるように、仮想現実空間画像を変化させる。同様に、ユーザ101が頭を右に傾けた場合、Z軸回りのロール角が変化する。画像生成部231は、Z軸の角速度値の変化に合わせて、仮想現実空間内におけるユーザの視界が右に傾くように、仮想現実空間画像を変化させる。   The image generation unit 231 changes the image based on the output value from the sensor 126. For example, the image generated by the image generation unit 231 is an image representing a state in which the user's field of view in the virtual reality space changes following the movement of the head of the user 101 indicated by the output value from the sensor 126. Good. As an example, FIG. 4 schematically illustrates the movement of the user's head. As shown in the figure, the axis connecting the center of the head of the user 101 and the center of the HMD 120 (the center of the screen of the display 122) is the Z axis, the axis connecting the center of the head of the user 101 and the top is the Y axis, and the user 101 An axis that passes through the center of the head and is orthogonal to the Y axis and the Z axis is taken as the X axis. When the sensor 126 is, for example, an angular velocity sensor, the sensor 126 outputs angular velocity values of the pitch angle around the X axis, the yaw angle around the Y axis, and the roll angle around the Z axis. The image generation unit 231 changes the virtual reality space image based on the output values of these angular velocities, that is, the head direction of the user 101. For example, when the user 101 turns his head to the right, the yaw angle around the Y axis changes. The image generation unit 231 changes the virtual reality space image so that a scene in the right direction of the user is projected in the virtual reality space in accordance with the change in the angular velocity value of the Y axis. Similarly, when the user 101 tilts his / her head to the right, the roll angle around the Z axis changes. The image generation unit 231 changes the virtual reality space image so that the user's field of view in the virtual reality space is tilted to the right in accordance with the change in the angular velocity value of the Z axis.

また、画像生成部231は、ユーザの位置に基づいて画像を変化させている。例えば、ユーザが仮想現実空間内を歩き回る場合、画像生成部231が生成する画像は、仮想現実空間内でユーザが現在立っている位置から見える光景を表す画像であってよい。一例として、仮想現実空間内におけるユーザの経時的な位置情報が記憶部220に記憶される。画像生成部231は、記憶部220から仮想現実空間内におけるユーザの直前の位置情報を取得する。またゲームコントローラなどのユーザ入力インターフェイス206からは、ユーザが仮想現実空間内を歩き回るための操作入力として、ユーザの移動方向及び移動速度の指示が入力される。画像生成部231は、記憶部220から取得したユーザの直前の位置情報と、ユーザ入力インターフェイス206から入力されたユーザの移動方向及び移動速度の情報とに基づいて、仮想現実空間内におけるユーザの現在位置を算出する。算出したユーザの現在位置に基づいて、画像生成部231は、仮想現実空間内をユーザが歩くのに合わせてユーザの視界が移り変わるように、仮想現実空間画像を変化させる。   The image generation unit 231 changes the image based on the position of the user. For example, when the user walks around in the virtual reality space, the image generated by the image generation unit 231 may be an image representing a sight seen from a position where the user is currently standing in the virtual reality space. As an example, the user's temporal position information in the virtual reality space is stored in the storage unit 220. The image generation unit 231 acquires position information immediately before the user in the virtual reality space from the storage unit 220. Also, from the user input interface 206 such as a game controller, an instruction of the user's moving direction and moving speed is input as an operation input for the user to walk around in the virtual reality space. Based on the position information immediately before the user acquired from the storage unit 220 and the information on the moving direction and moving speed of the user input from the user input interface 206, the image generating unit 231 displays the current user's position in the virtual reality space. Calculate the position. Based on the calculated current position of the user, the image generation unit 231 changes the virtual reality space image so that the user's field of view changes as the user walks in the virtual reality space.

このようにして、画像生成部231では、仮想現実空間内におけるユーザの位置と頭の向きに応じた仮想現実空間画像が生成される。生成された仮想現実空間画像は、画像出力部239を介してHMD120へ出力されて、ディスプレイ122に表示される。これによりユーザは、仮想現実空間において、現在自分が立っている場所から頭を向けた方向に存在する仮想的光景を見ることができる。   In this way, the image generation unit 231 generates a virtual reality space image corresponding to the user's position and head orientation in the virtual reality space. The generated virtual reality space image is output to the HMD 120 via the image output unit 239 and displayed on the display 122. As a result, the user can see a virtual scene in the virtual reality space that is present in the direction of the head from the place where the user is currently standing.

〔画像変更システム〕
画像変更システムについて詳細を説明するに当たり、画像生成装置に画像変更システムを適用した場合の表示態様例について、図5A及び図5Bを用いて説明する。
[Image change system]
In describing the details of the image change system, a display mode example when the image change system is applied to the image generation apparatus will be described with reference to FIGS. 5A and 5B.

図5Aは、画像変更システムによる表示態様の変更が実施される前の画面表示の模式図、図5Bは、画像変更システムによる表示態様の変更が実施された後の画面表示の模式図である。両図を比較すれば明らかなように、図5Aに示されるような仮想現実空間内の指定された位置501の近傍を表す破線領域502の表示態様が、画像変更システムの作用により、図5Bにおいては領域502’のように変更されている。このように、画像変更システムは、指定されたタイミングで仮想現実空間内の指定された位置近傍にあるオブジェクト及び/又はアクションを適宜変更し、当該位置近傍の表示態様を変更するという機能を有するものである。   FIG. 5A is a schematic diagram of screen display before the display mode is changed by the image change system, and FIG. 5B is a schematic diagram of screen display after the display mode is changed by the image change system. As apparent from the comparison between the two figures, the display mode of the broken line region 502 representing the vicinity of the designated position 501 in the virtual reality space as shown in FIG. Is changed to a region 502 ′. As described above, the image change system has a function of appropriately changing an object and / or an action in the vicinity of a specified position in the virtual reality space at a specified timing and changing a display mode in the vicinity of the position. It is.

次に、上記のような機能を有する画像変更システムを3つのタイプに大別し、以下、それらをそれぞれ第1、第2、第3実施形態として説明する。   Next, the image change systems having the functions as described above are roughly divided into three types, which will be described as first, second, and third embodiments, respectively.

<第1実施形態>
図6は、画像変更システムの第1実施形態の基本機能の構成を示すブロック図である。図6に示される手段601〜607と図1に示される手段2〜4との対応関係は以下のとおりである。図1の位置指定手段2に相当するものは、図6の乱数発生手段601、サンプル手段602、テーブルサーチ手段603である。また、図1のタイミング指定手段3に相当するものは、図6の乱数発生手段601、サンプル手段602、テーブルサーチ手段605、加算手段607である。更に、図1の表示態様変更情報出力手段4に相当するものは、図6の乱数発生手段601、サンプル手段602、テーブルサーチ手段604、変更態様情報出力手段606である。
<First Embodiment>
FIG. 6 is a block diagram showing a configuration of basic functions of the first embodiment of the image change system. The correspondence between the means 601 to 607 shown in FIG. 6 and the means 2 to 4 shown in FIG. 1 is as follows. 1 corresponds to the random number generation means 601, the sampling means 602, and the table search means 603 shown in FIG. 1 corresponds to the random number generation means 601, the sampling means 602, the table search means 605, and the addition means 607 in FIG. Furthermore, what corresponds to the display mode change information output unit 4 in FIG. 1 is the random number generation unit 601, the sample unit 602, the table search unit 604, and the change mode information output unit 606 in FIG.

上記各手段601〜607の有する機能について以下説明する。乱数発生手段601は、一定範囲の乱数を発生させ、サンプリング手段602は、乱数発生手段601が発生させた乱数の中から任意の乱数を抽出するものである。テーブルサーチ手段603〜605は、抽出された乱数をテーブルの読み出しアドレスとして用い、仮想現実空間内の位置が記憶されている位置テーブル(不図示)、変更後の表示態様が記憶されている変更態様テーブル(不図示)、前回のタイミング時刻からの経過時間値が記憶されているタイミングテーブル(不図示)から該当するアドレスに格納されているデータを取得する。   The functions of the respective means 601 to 607 will be described below. The random number generation unit 601 generates a random number within a certain range, and the sampling unit 602 extracts an arbitrary random number from the random numbers generated by the random number generation unit 601. The table search means 603 to 605 use the extracted random number as a table read address, a position table (not shown) in which the position in the virtual reality space is stored, and a change mode in which the changed display mode is stored Data stored in the corresponding address is acquired from a table (not shown) and a timing table (not shown) in which the elapsed time value from the previous timing time is stored.

テーブルサーチ手段603から出力された位置情報(指定位置情報)とテーブルサーチ手段604から出力された変更後の表示態様の情報に基づいて、変更態様情報出力手段606が変更指定位置近傍の変更後の表示態様の情報を取得する。そして、タイミングテーブル(不図示)から読み出された経過時間値に前回のタイミング時刻値を加算して、タイミング情報を発生すべき時刻の情報を算出し、タイミング情報を発生すべき時刻が到来したときに、変更態様情報出力手段606は、前記取得した指定位置近傍の変更後の表示態様の情報を画像出力手段608に供給する。画像出力手段608は、画像情報を画像生成部231(図3参照)に供給する。   Based on the position information (designated position information) output from the table search unit 603 and the display mode information after the change output from the table search unit 604, the change mode information output unit 606 changes the vicinity of the change designated position. Information on the display mode is acquired. Then, the previous timing time value is added to the elapsed time value read from the timing table (not shown) to calculate the time information at which timing information should be generated, and the time at which timing information should be generated has arrived Sometimes, the change mode information output unit 606 supplies the acquired display mode information in the vicinity of the specified position to the image output unit 608. The image output unit 608 supplies the image information to the image generation unit 231 (see FIG. 3).

これにより、例えば、図5Aの領域501、502の表示態様が図5Bの領域501’、502’のように変更され、画像生成部231により図5Bに示されるような画像が生成され、画像出力部239を経てHMD120のディスプレイ122に表示される。   Thereby, for example, the display mode of the areas 501 and 502 in FIG. 5A is changed to the areas 501 ′ and 502 ′ in FIG. 5B, and the image generation unit 231 generates an image as shown in FIG. It is displayed on the display 122 of the HMD 120 via the unit 239.

<第2実施形態>
図7Aは、画像変更システムの第2実施形態の基本機能の構成を示すブロック図である。図7Aに示される手段701〜706と図1に示される手段2〜4との対応関係は以下のとおりである。図1の位置指定手段2に相当するものは、図7Aの位置検出手段701、位置指定手段705である。また、図1のタイミング指定手段3に相当するものは、図7Aのタイミング取得手段703である。更に、図1の表示態様変更情報出力手段4に相当するものは、図7Aの選択信号検出手段702、テーブルサーチ手段704、変更態様情報出力手段706である。
Second Embodiment
FIG. 7A is a block diagram showing a configuration of basic functions of the second embodiment of the image change system. The correspondence between the means 701 to 706 shown in FIG. 7A and the means 2 to 4 shown in FIG. 1 is as follows. The positions corresponding to the position specifying means 2 in FIG. 1 are the position detecting means 701 and the position specifying means 705 in FIG. 7A. Further, the timing acquisition means 703 in FIG. 7A corresponds to the timing designation means 3 in FIG. Further, the display mode change information output unit 4 in FIG. 1 corresponds to the selection signal detection unit 702, the table search unit 704, and the change mode information output unit 706 in FIG. 7A.

上記各手段701〜706の中、特に破線内に示される手段701〜703の有する機能に関し、図7Bを使用して以下説明する。図7Bは、図7Aに示される画像変更システムの第2実施形態を用いて現実空間内のオブジェクトの位置情報や表示態様変更の指示情報を取得するための手法の一例を示す模式図である。図7Bにおいては、現実空間内(例えば、スタジオ内)を移動するオブジェクト711、712に、選択操作内容に対応した点滅パターンで発光する選択デバイス721、722を保持させてデジタルビデオカメラ731、732で撮像し、撮像されたシーンを解析して選択デバイス721、722の位置情報を取得するとともに、その点滅パターンから選択操作内容の情報を取得するようにしている。また、点滅パターンの発生時点をタイミング取得手段703で取得し、タイミング情報として使用している。なお、必要に応じて、各デバイスごとの固有のIDを点滅パターンに含めることもできる。   Among the above-mentioned means 701 to 706, the functions of the means 701 to 703 shown in broken lines will be described below with reference to FIG. 7B. FIG. 7B is a schematic diagram illustrating an example of a technique for acquiring position information of an object in the real space and display mode change instruction information using the second embodiment of the image change system illustrated in FIG. 7A. 7B, the objects 711 and 712 moving in the real space (for example, in the studio) are held by the digital video cameras 731 and 732 by holding the selection devices 721 and 722 that emit light in a blinking pattern corresponding to the selection operation content. The captured image is analyzed, the captured scene is analyzed to acquire the position information of the selection devices 721 and 722, and the information of the selection operation content is acquired from the blinking pattern. Further, the timing of the blinking pattern is acquired by the timing acquisition means 703 and used as timing information. If necessary, a unique ID for each device can be included in the blinking pattern.

表示態様変更の指示情報は、例えば、点滅パターンと表示態様変更の指示情報との対応関係を予めテーブルに格納しておき、取得された点滅パターンを用いてテーブルのアドレス指定を行い、当該アドレスで指定される領域に格納されている内容(表示態様変更の指示情報)を読み出すことにより取得することができる。   The display mode change instruction information includes, for example, the correspondence relationship between the flashing pattern and the display mode change instruction information stored in a table in advance, and the address of the table is designated using the acquired flashing pattern. It can be acquired by reading the content (display mode change instruction information) stored in the designated area.

なお、オブジェクト711、712は、典型的には人物であるが、ランダムに移動するロボット等であってもよい。スタジオ内にモニターを設け、ユーザが視認している仮想的光景を視認できるようにしてもよい。オブジェクトや選択デバイスの数、デジタルビデオカメラの個数等は、図示のものに限られるものではなく、適宜設定することができる。また、図7Bに示される選択デバイス721、722は可視光を発生するものであるが、選択デバイスから赤外光を発生させ、それを赤外デジタルビデオカメラで撮像するように構成してもよい。   The objects 711 and 712 are typically people, but may be robots that move randomly. A monitor may be provided in the studio so that a virtual scene viewed by the user can be viewed. The number of objects and selection devices, the number of digital video cameras, and the like are not limited to those shown in the drawings, and can be set as appropriate. Although the selection devices 721 and 722 shown in FIG. 7B generate visible light, infrared light may be generated from the selection device and captured by an infrared digital video camera. .

また、選択デバイスを使用せず、オブジェクト711、712のジェスチャを検出することにより選択操作内容の情報を取得こともできる。この場合、表示態様変更の指示情報は、例えば、ジェスチャと表示態様変更の指示情報との対応関係を予めテーブルに格納しておき、検出されたジェスチャを用いてテーブルのアドレス指定を行い、当該アドレスで指定される領域に格納されている内容(表示態様変更の指示情報)を読み出すことにより取得することができる。この場合は、ジェスチャの検出時点をタイミング取得手段703で取得し、タイミング情報として使用している。   Further, information on the selection operation content can be acquired by detecting gestures of the objects 711 and 712 without using the selection device. In this case, the display mode change instruction information includes, for example, the correspondence relationship between the gesture and the display mode change instruction information stored in a table in advance, and the address of the table is specified using the detected gesture, and the address It can be obtained by reading the content (display mode change instruction information) stored in the area specified by. In this case, the gesture detection time is acquired by the timing acquisition unit 703 and used as timing information.

さらに、超音波を利用した次のような構成(不図示)を採用することもできる。即ち、例えば、スタジオの天井に超音波センサを所定間隔でメッシュ状に配置し、スタジオ内を移動するオブジェクトに、選択操作内容に対応したパターンで超音波を発生する選択デバイスを保持させるようにする。選択デバイスから発信された超音波は、天井に配置された超音波センサのいくつかで受信され、伝播遅延時間の差から三角測距の原理で選択デバイスの位置が算出されるとともに、パターン情報から選択操作内容の情報が取得される。なお、必要に応じて、各デバイスごとの固有のIDをパターンに含めることもできる。   Further, the following configuration (not shown) using ultrasonic waves may be employed. That is, for example, ultrasonic sensors are arranged in a mesh pattern at a predetermined interval on the ceiling of a studio, and an object moving in the studio is made to hold a selection device that generates ultrasonic waves in a pattern corresponding to the selection operation content. . The ultrasonic waves transmitted from the selected device are received by some of the ultrasonic sensors placed on the ceiling, the position of the selected device is calculated from the difference in propagation delay time based on the principle of triangulation, and from the pattern information Information on the selection operation content is acquired. If necessary, a unique ID for each device can be included in the pattern.

<第3実施形態>
図8Aは、画像変更システムの第3実施形態の基本機能の構成を示すブロック図である。図8Aに示される手段801〜806と図1に示される手段2〜4との対応関係は以下のとおりである。図1の位置指定手段2に相当するものは、図7Aの位置検出手段801、位置指定手段805である。また、図1のタイミング指定手段3に相当するものは、図8Aのタイミング取得手段803である。更に、図1の表示態様変更情報出力手段4に相当するものは、図7Aの発生音検出手段802、テーブルサーチ手段804、変更態様情報出力手段806である。
<Third Embodiment>
FIG. 8A is a block diagram showing a configuration of basic functions of the third embodiment of the image change system. The correspondence relationship between the means 801 to 806 shown in FIG. 8A and the means 2 to 4 shown in FIG. 1 is as follows. The position detection unit 801 and the position specification unit 805 in FIG. 7A correspond to the position specification unit 2 in FIG. Further, the timing acquisition means 803 in FIG. 8A corresponds to the timing designation means 3 in FIG. Further, the equivalent to the display mode change information output unit 4 of FIG. 1 is the generated sound detection unit 802, the table search unit 804, and the change mode information output unit 806 of FIG. 7A.

上記各手段801〜806の中、特に破線内に示される手段801〜803の有する機能に関し、図8Bを使用して以下説明する。図8Bは、図8Aに示される画像変更システムの第3実施形態を用いて現実空間内のオブジェクトの位置情報や表示態様変更の指示情報を取得するための手法の一例を示す模式図である。図8Bにおいては、現実空間内(例えば、スタジオ内)を移動するオブジェクト811、812(例えば、人物)が発生する音(音声)831、832を、現実空間内(例えば、スタジオ内)に配置した複数の集音手段821〜824(例えば、マイクロフォン)で収集して、オブジェクト811、812の位置(音源位置)を取得するとともに、発生音831、832の解析結果を利用して表示態様の変更指示情報を取得するようにしている。また、音の発生時点をタイミング取得手段803で取得し、タイミング情報として使用している。   The functions of the means 801 to 806, particularly the means 801 to 803 shown within the broken line, will be described below with reference to FIG. 8B. FIG. 8B is a schematic diagram illustrating an example of a method for acquiring position information of an object in the real space and display mode change instruction information using the third embodiment of the image change system illustrated in FIG. 8A. In FIG. 8B, sounds (sounds) 831 and 832 generated by objects 811 and 812 (for example, a person) moving in the real space (for example, a studio) are arranged in the real space (for example, the studio). Collected by a plurality of sound collecting means 821 to 824 (for example, microphones) to acquire the positions (sound source positions) of the objects 811 and 812, and use the analysis results of the generated sounds 831 and 832 to instruct to change the display mode I try to get information. Also, the timing of sound generation is acquired by the timing acquisition means 803 and used as timing information.

発生音831、832の解析には、例えば、音声認識技術を使用することができる。表示態様変更の指示情報は、例えば、音声と表示態様変更の指示情報との対応関係を予めテーブルに格納しておき、解析された音声情報を用いてテーブルのアドレス指定を行い、当該アドレスで指定される領域に格納されている内容(表示態様変更の指示情報)を読み出すことにより取得することができる。   For the analysis of the generated sounds 831 and 832, for example, a voice recognition technique can be used. For the display mode change instruction information, for example, the correspondence relationship between the voice and the display mode change instruction information is stored in a table in advance, the address of the table is specified using the analyzed voice information, and the address is specified by the address. It can be acquired by reading out the contents (instruction information for changing the display mode) stored in the area.

オブジェクトの数、集音手段の配置や個数等は、図示のものに限られるものではなく、適宜設定することができる。例えば、集音手段をHMD120に設けるように構成してもよい。また、スタジオ内にモニターを設け、ユーザが視認している仮想的光景を視認できるようにしてもよい。   The number of objects, the arrangement and number of sound collecting means are not limited to those shown in the figure, and can be set as appropriate. For example, the sound collecting means may be provided in the HMD 120. Further, a monitor may be provided in the studio so that a virtual scene viewed by the user can be viewed.

以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱し
ない範囲内において様々な変更が可能である。例えば、所定の条件を満たした場合、例えば、ゲームの進行が特定の段階に至った場合にのみタイミング情報の出力を許容して表示態様の変更を可能にしてもよい。
As mentioned above, although embodiment of this invention was described, this invention is not limited to this, A various change is possible within the range which does not deviate from the summary. For example, when a predetermined condition is satisfied, for example, only when the progress of the game reaches a specific stage, the output of the timing information may be allowed and the display mode may be changed.

また、前記システムを構成する各手段は、専用のハードウェアであってもよいが、コンピュータがプログラムを実行することにより各処理段階ごとに実現される仮想的手段(所謂、機能現手段)であってもよい。   Each means constituting the system may be dedicated hardware, but is a virtual means (so-called function present means) realized at each processing stage by the computer executing the program. May be.

さらに、前記システムは、各処理が複数のコンピュータ等によって分散処理されるようなシステムとしても構成できる。 Furthermore, the system can be configured as a system in which each process is distributedly processed by a plurality of computers or the like.

1 画像変更システム
2 位置指定手段
3 タイミング指定手段
4 表示態様変更情報出力手段
5、608、707、807 画像出力手段
120 ヘッドマウントディスプレイ(HMD)
122 ディスプレイ
126 センサ
150 有線ケーブル
200 画像生成装置
202 プロセッサ
204 メモリ
206 ユーザ入力インターフェイス
208 通信インターフェイス
220 記憶部
221 仮想現実空間構成情報
230 処理部
231 画像生成部
239 画像出力部
501、502、501’、502’ 領域
601 乱数発生手段
602 サンプル手段
603,604、605、704、804 テーブルサーチ手段
606、706、806 変更態様情報出力手段
607 加算手段
703、803 タイミング取得手段
705、805 位置指定手段
711、712、811、812 オブジェクト
721、722 選択デバイス
731、732 デジタルビデオカメラ
821〜824 集音手段
831、832 発生音
DESCRIPTION OF SYMBOLS 1 Image change system 2 Position designation means 3 Timing designation means 4 Display mode change information output means 5,608,707,807 Image output means 120 Head mounted display (HMD)
122 Display 126 Sensor 150 Wired Cable 200 Image Generation Device 202 Processor 204 Memory 206 User Input Interface 208 Communication Interface 220 Storage Unit 221 Virtual Reality Space Configuration Information 230 Processing Unit 231 Image Generation Unit 239 Image Output Units 501, 502, 501 ′, 502 'Area 601 Random number generation means 602 Sample means 603, 604, 605, 704, 804 Table search means 606, 706, 806 Change mode information output means 607 Addition means 703, 803 Timing acquisition means 705, 805 Position designation means 711, 712, 811, 812 Object 721, 722 Selection device 731, 732 Digital video camera 821-824 Sound collection means 831, 832 Generated sound

Claims (21)

ヘッドマウントディスプレイに画像を出力することによって提供される仮想空間内で、前記画像を変更するための画像変更システムであって、
前記画像を前記ヘッドマウントディスプレイに出力する画像出力手段と、
前記仮想空間内の位置を指定する位置指定手段と、
タイミングを指定するタイミング指定手段と、
前記指定されたタイミングで、前記指定された位置近傍の表示態様の変更情報を出力する表示態様変更情報出力手段と、
を備え、前記表示態様変更情報出力手段の出力に基づいて前記仮想空間内の画像を変更させることを特徴とする画像変更システム。
An image change system for changing the image in a virtual space provided by outputting the image to a head mounted display,
Image output means for outputting the image to the head mounted display;
Position specifying means for specifying a position in the virtual space;
Timing designation means for designating timing;
Display mode change information output means for outputting change information of the display mode in the vicinity of the specified position at the specified timing;
And changing the image in the virtual space based on the output of the display mode change information output means.
請求項1に記載の画像変更システムにおいて、前記表示態様の変更がオブジェクト及び/又はアクションの変更であることを特徴とする画像変更システム。   The image change system according to claim 1, wherein the change in the display mode is a change in an object and / or an action. 請求項1又は2に記載の画像変更システムにおいて、前記位置指定手段は、前記仮想空間内の位置をランダムに指定し、前記タイミング指定手段はタイミングをランダムに指定することを特徴とする画像変更システム。   3. The image change system according to claim 1, wherein the position specifying unit specifies a position in the virtual space at random, and the timing specifying unit specifies a timing at random. . 請求項1〜3のいずれか1項に記載の画像変更システムにおいて、前記表示態様変更情報出力手段は、予め用意された複数の表示態様の中から1つをランダムに選択して出力することを特徴とする画像変更システム。   The image change system according to any one of claims 1 to 3, wherein the display mode change information output unit randomly selects and outputs one of a plurality of display modes prepared in advance. A featured image change system. 請求項1又は2に記載の画像変更システムにおいて、前記位置指定手段は、現実空間内を移動する1又は複数のオブジェクトの現実空間内の位置情報に基づいて仮想空間内の位置を指定することを特徴とする画像変更システム。   3. The image changing system according to claim 1, wherein the position specifying unit specifies a position in the virtual space based on position information in the real space of one or more objects moving in the real space. A featured image change system. 請求項5に記載の画像変更システムにおいて、前記表示態様変更情報出力手段は、予め用意された複数の表示態様の中から選択された表示態様の情報に基づいて前記指定された位置近傍の表示態様の変更情報を出力することを特徴とする画像変更システム。   6. The image change system according to claim 5, wherein the display mode change information output means is a display mode in the vicinity of the designated position based on display mode information selected from a plurality of display modes prepared in advance. An image change system characterized in that the change information is output. 請求項6に記載の画像変更システムにおいて、前記予め用意された複数の表示態様の中から選択された表示態様は、前記1又は複数のオブジェクトとともに移動する選択デバイスにより指定されることを特徴とする画像変更システム。   7. The image change system according to claim 6, wherein a display mode selected from the plurality of display modes prepared in advance is specified by a selection device that moves together with the one or more objects. Image change system. 請求項6に記載の画像変更システムにおいて、前記予め用意された複数の表示態様の中から選択された表示態様は、前記1又は複数のオブジェクトのジェスチャにより指定されることを特徴とする画像変更システム。   7. The image change system according to claim 6, wherein a display mode selected from the plurality of display modes prepared in advance is specified by a gesture of the one or more objects. . 請求項5に記載の画像変更システムにおいて、前記現実空間内の位置情報は、前記現実空間内を移動する1又は複数のオブジェクトの発生する音を集音手段により収集することにより取得された音源位置の情報であり、前記表示態様変更情報出力手段は、前記1又は複数のオブジェクトの発生する音を解析し該解析結果に基づいて前記指定された位置近傍の表示態様の変更情報を出力することを特徴とする画像変更システム。   6. The image change system according to claim 5, wherein the position information in the real space is a sound source position acquired by collecting sounds generated by one or more objects moving in the real space by sound collecting means. The display mode change information output means analyzes the sound generated by the one or more objects, and outputs the display mode change information in the vicinity of the designated position based on the analysis result. A featured image change system. 請求項1〜9のいずれか1項に記載の画像変更システムにおいて、前記仮想空間は仮想現実(Virtual Reality)空間であることを特徴とする画像変更システム。   The image change system according to claim 1, wherein the virtual space is a virtual reality space. 仮想空間内で画像を変更するための画像変更方法であって、
コンピュータが仮想空間内の位置を指定するステップと、
コンピュータがタイミングを指定するステップと、
コンピュータが前記指定されたタイミングで、前記指定された位置近傍の表示態様の変更情報を出力するステップと、
を備え、前記各ステップに基づいて前記仮想空間内の画像を変更させることを特徴とする画像変更方法。
An image changing method for changing an image in a virtual space,
A computer specifying a location in virtual space;
A step for the computer to specify the timing;
A computer outputting change information of a display mode in the vicinity of the designated position at the designated timing;
And changing the image in the virtual space based on the steps.
請求項11に記載の画像変更方法において、前記表示態様の変更が前記指定された位置近傍のオブジェクト及び/又はアクションの変更であることを特徴とする画像変更方法。   12. The image changing method according to claim 11, wherein the change of the display mode is a change of an object and / or an action in the vicinity of the designated position. 請求項11又は12に記載の画像変更方法において、前記仮想空間内の位置及びタイミングがランダムに指定されることを特徴とする画像変更方法。   13. The image changing method according to claim 11, wherein a position and timing in the virtual space are specified at random. 請求項11〜13のいずれか1項に記載の画像変更方法において、前記表示態様の変更情報を出力するステップで、予め用意された複数の表示態様の中から1つがランダムに選択されて出力されることを特徴とする画像変更方法。   14. The image changing method according to claim 11, wherein in the step of outputting the display mode change information, one of a plurality of display modes prepared in advance is randomly selected and output. An image changing method characterized by that. 請求項11又は12に記載の画像変更方法において、現実空間内を移動する1又は複数のオブジェクトの現実空間内の位置情報に基づいて仮想空間内の位置が指定されることを特徴とする画像変更方法。   13. The image changing method according to claim 11 or 12, wherein a position in the virtual space is designated based on position information in the real space of one or more objects moving in the real space. Method. 請求項15に記載の画像変更方法において、予め用意された複数の表示態様の中から選択された表示態様の情報に基づいて前記指定された位置近傍の表示態様の変更情報が出力されることを特徴とする画像変更方法。   16. The image changing method according to claim 15, wherein the display mode change information in the vicinity of the designated position is output based on display mode information selected from a plurality of display modes prepared in advance. An image change method as a feature. 請求項16に記載の画像変更方法において、前記表示態様の変更情報を出力するステップで、前記予め用意された複数の表示態様の中から選択された表示態様は、前記1又は複数のオブジェクトとともに移動する選択デバイスにより指定されることを特徴とする画像変更方法。   17. The image change method according to claim 16, wherein the display mode selected from the plurality of display modes prepared in advance is moved together with the one or more objects in the step of outputting the display mode change information. An image changing method characterized by being specified by a selection device. 請求項16に記載の画像変更方法において、前記予め用意された複数の表示態様の中から選択された表示態様は、前記1又は複数のオブジェクトのジェスチャにより指定されることを特徴とする画像変更方法。   17. The image changing method according to claim 16, wherein a display mode selected from the plurality of display modes prepared in advance is specified by a gesture of the one or more objects. . 請求項18に記載の画像変更方法において、前記現実空間内の位置情報は、前記現実空間内を移動する1又は複数のオブジェクトの発生する音を集音手段により収集することにより取得された音源位置の情報であり、前記1又は複数のオブジェクトの発生する音が解析され該解析結果に基づいて前記指定された位置近傍の表示態様の変更情報が出力されることを特徴とする画像変更方法。   19. The image change method according to claim 18, wherein the position information in the real space is a sound source position acquired by collecting sounds generated by one or more objects moving in the real space by a sound collecting means. The image changing method is characterized in that the sound generated by the one or more objects is analyzed, and the display mode change information in the vicinity of the designated position is output based on the analysis result. 請求項11〜19のいずれか1項に記載の画像変更方法において、前記仮想空間は仮想現実(Virtual Reality)空間であることを特徴とする画像変更方法。   The image changing method according to any one of claims 11 to 19, wherein the virtual space is a virtual reality space. コンピュータに請求項11〜20のいずれか1項に記載の方法を実行させるためのプログラム。   The program for making a computer perform the method of any one of Claims 11-20.
JP2015221332A 2015-11-11 2015-11-11 Image change system, method, and program Pending JP2017086542A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015221332A JP2017086542A (en) 2015-11-11 2015-11-11 Image change system, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015221332A JP2017086542A (en) 2015-11-11 2015-11-11 Image change system, method, and program

Publications (2)

Publication Number Publication Date
JP2017086542A true JP2017086542A (en) 2017-05-25
JP2017086542A5 JP2017086542A5 (en) 2018-09-06

Family

ID=58766841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015221332A Pending JP2017086542A (en) 2015-11-11 2015-11-11 Image change system, method, and program

Country Status (1)

Country Link
JP (1) JP2017086542A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839563B2 (en) 2017-12-20 2020-11-17 Samsung Electronics Co., Ltd. Method and apparatus for processing image interaction
JPWO2019235245A1 (en) * 2018-06-07 2021-06-24 ソニーセミコンダクタソリューションズ株式会社 Information processing equipment, information processing methods, and information processing systems
JP7299371B1 (en) 2022-03-31 2023-06-27 Kddi株式会社 Information processing device and information processing method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353248A (en) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk Composite reality feeling device and composite reality feeling presenting method
JP2008067863A (en) * 2006-09-13 2008-03-27 Konami Digital Entertainment:Kk Game device, game processing method, and program
JP2010046151A (en) * 2008-08-19 2010-03-04 Chubu Electric Power Co Inc Game device and control method for the same
JP2015008966A (en) * 2013-06-28 2015-01-19 株式会社バンダイナムコゲームス Program and computer system
JP2015073720A (en) * 2013-10-09 2015-04-20 株式会社 ディー・エヌ・エー Server device, electronic game device, and electronic game program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353248A (en) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk Composite reality feeling device and composite reality feeling presenting method
JP2008067863A (en) * 2006-09-13 2008-03-27 Konami Digital Entertainment:Kk Game device, game processing method, and program
JP2010046151A (en) * 2008-08-19 2010-03-04 Chubu Electric Power Co Inc Game device and control method for the same
JP2015008966A (en) * 2013-06-28 2015-01-19 株式会社バンダイナムコゲームス Program and computer system
JP2015073720A (en) * 2013-10-09 2015-04-20 株式会社 ディー・エヌ・エー Server device, electronic game device, and electronic game program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"もっとFlashを極めたい人に送る ActionScript 3 テクニカルバイブル", WEB CREATORS VOL.94, vol. 通巻94号, JPN6019025782, 1 October 2009 (2009-10-01), JP, pages 078 - 081, ISSN: 0004187752 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839563B2 (en) 2017-12-20 2020-11-17 Samsung Electronics Co., Ltd. Method and apparatus for processing image interaction
JPWO2019235245A1 (en) * 2018-06-07 2021-06-24 ソニーセミコンダクタソリューションズ株式会社 Information processing equipment, information processing methods, and information processing systems
JP7414715B2 (en) 2018-06-07 2024-01-16 ソニーセミコンダクタソリューションズ株式会社 Information processing device, information processing method, and information processing system
JP7299371B1 (en) 2022-03-31 2023-06-27 Kddi株式会社 Information processing device and information processing method
JP2023151115A (en) * 2022-03-31 2023-10-16 Kddi株式会社 Information processing device and information processing method
JP7522265B2 (en) 2022-03-31 2024-07-24 Kddi株式会社 Information processing device and information processing method

Similar Documents

Publication Publication Date Title
TWI732194B (en) Method and system for eye tracking with prediction and late update to gpu for fast foveated rendering in an hmd environment and non-transitory computer-readable medium
US10671239B2 (en) Three dimensional digital content editing in virtual reality
JP6276882B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
US9933851B2 (en) Systems and methods for interacting with virtual objects using sensory feedback
JP6263252B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP6392911B2 (en) Information processing method, computer, and program for causing computer to execute information processing method
JP2010253277A (en) Method and system for controlling movements of objects in video game
JP2010257461A (en) Method and system for creating shared game space for networked game
US11189057B2 (en) Provision of virtual reality content
JP6290467B1 (en) Information processing method, apparatus, and program causing computer to execute information processing method
US20220147138A1 (en) Image generation apparatus and information presentation method
WO2021261346A1 (en) Information processing device, method, and program, and information processing system
JP2018194889A (en) Information processing method, computer and program
JP2017086542A (en) Image change system, method, and program
JP2018125003A (en) Information processing method, apparatus, and program for implementing that information processing method in computer
JP2019032844A (en) Information processing method, device, and program for causing computer to execute the method
WO2018100906A1 (en) Application control program, application control method, and application control system
JP2019168962A (en) Program, information processing device, and information processing method
JP2019133309A (en) Program, information processor and information processing method
JP6458179B1 (en) Program, information processing apparatus, and method
JP7192151B2 (en) Program, information processing device, and information processing method
JP6554139B2 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP6382928B2 (en) Method executed by computer to control display of image in virtual space, program for causing computer to realize the method, and computer apparatus
JP2022169526A (en) Application control program, application control method, and application control system
JP2018092635A (en) Information processing method, device, and program for implementing that information processing method on computer

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180724

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190705

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200107