JP2007307098A - Virtual space generator and method - Google Patents

Virtual space generator and method Download PDF

Info

Publication number
JP2007307098A
JP2007307098A JP2006138487A JP2006138487A JP2007307098A JP 2007307098 A JP2007307098 A JP 2007307098A JP 2006138487 A JP2006138487 A JP 2006138487A JP 2006138487 A JP2006138487 A JP 2006138487A JP 2007307098 A JP2007307098 A JP 2007307098A
Authority
JP
Japan
Prior art keywords
user
virtual space
audio
data
blower fan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006138487A
Other languages
Japanese (ja)
Inventor
Takayuki Kosaka
崇之 小坂
Michimitsu Hattori
進実 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanazawa Institute of Technology (KIT)
Original Assignee
Kanazawa Institute of Technology (KIT)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanazawa Institute of Technology (KIT) filed Critical Kanazawa Institute of Technology (KIT)
Priority to JP2006138487A priority Critical patent/JP2007307098A/en
Publication of JP2007307098A publication Critical patent/JP2007307098A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a virtual space generation technique which enhances the virtual reality. <P>SOLUTION: An environment supply part 10 provides a user 200 with environmental data containing at least one of voices and images. Blow fans 22 are arranged surrounding the user 200. A wind pressure control part 24 controls the number of revolutions of the blow fans according to the environtal data supplied to the user 200 from the environment supply part 10. For example, the wind pressure control part 24 refers to voice data to be reproduced by the environment supply part 10 and controls the number of revolutions of the blow fans according to the volume of the voice given by the voice data. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、ゲーム、ホームシアター、バーチャルリアリティなど、利用者に対して仮想空間を提供する仮想空間生成装置に関する。   The present invention relates to a virtual space generation device that provides a virtual space to a user, such as a game, a home theater, or a virtual reality.

近年、テレビの大型化や、DVD、高機能なゲーム機器の急激な普及にともない、家庭で映画やゲームを臨場感豊かに楽しむことが可能なホームシアターなどへの関心が高まっている。こうしたホームシアターやゲームに代表されるような仮想空間生成装置においては、リアルな映像に加えて、以下のような付加的な機能を提供することにより、より臨場感を高める試みがなされている。   In recent years, with the enlargement of televisions and the rapid spread of DVDs and high-performance game machines, there has been an increasing interest in home theaters that allow users to enjoy movies and games with a sense of realism at home. In such virtual space generation devices represented by home theaters and games, in addition to real images, attempts are made to enhance the sense of reality by providing the following additional functions.

たとえば、5.1chのサラウンドシステムを用いた立体音響や、利用者に対して振動を与える振動ユニットは、利用者に対して、より高い臨場感を提供するものである。また、遊技施設におけるアトラクションなどのエンターテイメントの分野では、映像に併せて客席が動くものや、ヘッドアクショントラッカーを内蔵し、ゲーム内の仮想空間を全方位見渡せるヘッドマウントディスプレイも実用化されている。   For example, stereophonic sound using a 5.1ch surround system and a vibration unit that applies vibration to the user provide a higher sense of realism to the user. Also, in the field of entertainment such as attractions in amusement facilities, a head-mounted display that can move the audience seats in accordance with the video and a head action tracker and can look around the virtual space in the game in all directions has been put into practical use.

さらに、こうした仮想空間生成装置に、送風用のファンを設けることにより、提供される仮想空間と同期して利用者に風圧を与え、よりリアルな環境を提供するこころみがなされている(たとえば、特許文献1〜3参照)。
特開2000−78430号公報 特開2003−67107号公報 特開平6−210065号公報
Furthermore, by providing a fan for blowing air in such a virtual space generation device, it is possible to apply a wind pressure to the user in synchronization with the provided virtual space to provide a more realistic environment (for example, patents). References 1-3).
JP 2000-78430 A JP 2003-67107 A JP-A-6-210065

本発明はこうした背景からなされたものであり、その統括的な目的は、利用者に風圧を与えることにより、臨場感の高い仮想空間生成技術を提供することにある。   The present invention has been made from such a background, and a general purpose thereof is to provide a virtual space generation technology with a high sense of presence by giving wind pressure to a user.

本発明のある態様は、利用者に対して、音声および映像の少なくとも一方を含む環境データを提供することにより、仮想空間を生成する仮想空間生成装置に関する。この仮想空間生成装置は、利用者に対して、環境データを提供する環境提供部と、利用者の想定位置の周囲に配置された少なくとも1つの送風用ファンと、環境提供部により利用者に提供される環境データに応じて、送風用ファンの回転数を制御する制御部と、を備える。   An aspect of the present invention relates to a virtual space generation device that generates a virtual space by providing environmental data including at least one of audio and video to a user. The virtual space generation device is provided to the user by an environment providing unit that provides environment data to the user, at least one blower fan disposed around the assumed position of the user, and the environment providing unit. A control unit that controls the rotational speed of the blower fan according to the environmental data.

「仮想空間生成装置」は、ホームシアター、ゲーム機器、バーチャルリアリティなどを含み、映像や音声を利用して利用者(被験者)に対して、ある空間を視聴させ、あるいは疑似体験させることが可能な装置をいう。
この態様によると、音声や映像など、あらかじめ用意された環境データをもとに、送風用ファンの回転数を制御し、利用者に与える風圧を制御することができるため、風圧の制御用に別途データを用意する必要がなくなり、仮想空間を再生するためのデータ容量を削減するとともに、臨場感の高い環境再生が可能となる。
The “virtual space generation device” includes a home theater, a game device, a virtual reality, and the like, and is a device that allows a user (subject) to view or simulate a space using video and audio. Say.
According to this aspect, since the rotation speed of the blower fan can be controlled on the basis of environmental data prepared in advance such as sound and video, the wind pressure applied to the user can be controlled. There is no need to prepare data, the data capacity for reproducing the virtual space can be reduced, and environment reproduction with a high presence can be realized.

環境データは音声データを含んでもよい。制御部は、環境提供部により再生すべき音声データを参照し、当該音声データが示す音量に応じて、送風用ファンの回転数を制御してもよい。
利用者が受ける風圧を、音量に対応付けることにより、音量が大きくなるほど、風圧を大きくすることができ、臨場感を高めることができる。
The environmental data may include audio data. The control unit may refer to the audio data to be reproduced by the environment providing unit and control the rotation speed of the blower fan according to the volume indicated by the audio data.
By associating the wind pressure received by the user with the volume, the wind pressure can be increased as the volume increases, and the sense of reality can be enhanced.

制御部は、音声データが示す音量が所定のしきい値を超えたとき、送風用ファンを回転せしめてもよい。この場合、映画などのコンテンツにおいて、台詞やバックミュージックなどの通常の音量で再生される音声によって風圧が変化するのを防止することができる。   The control unit may rotate the blower fan when the volume indicated by the audio data exceeds a predetermined threshold value. In this case, in a content such as a movie, it is possible to prevent the wind pressure from being changed by sound reproduced at a normal volume such as dialogue or back music.

制御部は、音声データが示す音量を量子化し、送風用ファンの回転数を段階的に切り換えてもよい。   The control unit may quantize the volume indicated by the audio data and switch the rotational speed of the blower fan in a stepwise manner.

制御部は、音声データにもとづいて生成されるオーディオ時間波形の絶対値を取得し、取得した絶対値をウェーブレット変換し、その結果得られた階段状の関数に応じて、送風用ファンの回転数を段階的に切り換えてもよい。   The control unit acquires the absolute value of the audio time waveform generated based on the audio data, wavelet transforms the acquired absolute value, and according to the step function obtained as a result, the rotation speed of the fan for blowing May be switched in stages.

送風用ファンは複数であって、利用者に対して異なる方向から送風可能に配置されており、環境提供部により再生される音声は、方向性を有するマルチチャンネル音声信号として用意されていてもよい。制御部は、複数の送風用ファンを、それぞれマルチチャンネル音声信号のいずれかに対応付け、各送風用ファンの回転数を、対応付けられたチャンネルの音声データに応じて制御してもよい。
この場合、5.1ch、7.1chなどのマルチチャンネルの音声情報を有する映画などのコンテンツを再生する際に、複数の送風用ファンの回転数を各チャンネルに対応させることにより、各送風用ファンからの風圧を好適に制御することができ、臨場感を高めることができる。
There are a plurality of fans for blowing, and the fans are arranged so as to be blown from different directions, and the sound reproduced by the environment providing unit may be prepared as a multi-channel sound signal having directionality. . The control unit may associate each of the plurality of blower fans with one of the multi-channel audio signals, and may control the number of rotations of each of the blower fans according to the sound data of the associated channel.
In this case, when reproducing contents such as movies having multi-channel audio information such as 5.1ch and 7.1ch, by rotating the rotation speeds of a plurality of blower fans to each channel, each blower fan The wind pressure from the can be suitably controlled, and the presence can be enhanced.

本発明の別の態様も、仮想空間生成装置に関する。この仮想空間生成装置は、利用者に対して、異なる方向から音声データを提供する複数のスピーカを含むスピーカシステムと、複数のスピーカごとに近接して設けられた複数の送風用ファンと、複数の送風用ファンのそれぞれの回転数を、近接するスピーカからの出力音量に従って制御する制御部と、を備える。この態様によれば、音声の伝搬方向と風の方向とが一致するため、臨場感の高い仮想空間を提供することができる。   Another aspect of the present invention also relates to a virtual space generation device. The virtual space generation device includes a speaker system including a plurality of speakers that provide audio data from different directions to a user, a plurality of blower fans provided close to each of the plurality of speakers, and a plurality of fans. A control unit that controls the number of rotations of each of the blower fans in accordance with an output sound volume from an adjacent speaker. According to this aspect, since the sound propagation direction and the wind direction coincide with each other, it is possible to provide a virtual space with high presence.

本発明の別の態様は、利用者に対して、音声および映像の少なくとも一方を含む環境データを提供することにより、仮想空間を生成する仮想空間生成方法に関する。この仮想空間提供方法は、利用者に対して、環境データを提供するステップと、環境データにもとづき、利用者の周囲に配置された少なくとも1つの送風用ファンの回転数を制御するステップと、を備える。   Another aspect of the present invention relates to a virtual space generation method for generating a virtual space by providing environmental data including at least one of audio and video to a user. The virtual space providing method includes a step of providing environmental data to a user, and a step of controlling the rotation speed of at least one blower fan arranged around the user based on the environmental data. Prepare.

この態様によると、音声や映像など、あらかじめ用意された環境データをもとに、送風用ファンの回転数を制御し、利用者に与える風圧を制御することができるため、風圧の制御用に別途データを用意する必要がなくなり、仮想空間を再生するためのデータ容量を削減するとともに、臨場感の高い環境再生が可能となる。   According to this aspect, since the rotation speed of the blower fan can be controlled on the basis of environmental data prepared in advance such as sound and video, the wind pressure applied to the user can be controlled. There is no need to prepare data, the data capacity for reproducing the virtual space can be reduced, and environment reproduction with a high presence can be realized.

なお、以上の構成要素の任意の組み合わせ、本発明の表現を、方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   Note that any combination of the above-described components and the expression of the present invention converted between a method, an apparatus, a system, a recording medium, a computer program, and the like are also effective as an aspect of the present invention.

本発明によれば、臨場感を高めた仮想空間生成技術を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the virtual space production | generation technique which raised the realism can be provided.

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。   The present invention will be described below based on preferred embodiments with reference to the drawings. The same or equivalent components, members, and processes shown in the drawings are denoted by the same reference numerals, and repeated descriptions are omitted as appropriate. The embodiments do not limit the invention but are exemplifications, and all features and combinations thereof described in the embodiments are not necessarily essential to the invention.

(第1の実施の形態)
図1は、第1の実施の形態に係る仮想空間生成装置100の構成を示す図である。仮想空間生成装置100は、家庭用のゲーム機器、映画視聴装置、あるいは遊技施設における遊技装置として利用することができる。仮想空間生成装置100は、中央に利用者200が位置するように構成される。本実施の形態に係る仮想空間生成装置100は、再生装置2、環境提供部10と、環境風再現装置20の3つのユニットを含んで構成される。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration of a virtual space generation device 100 according to the first embodiment. The virtual space generation device 100 can be used as a home game machine, a movie viewing device, or a game device in a game facility. The virtual space generation device 100 is configured such that the user 200 is located in the center. The virtual space generation device 100 according to the present embodiment is configured to include three units of a playback device 2, an environment providing unit 10, and an environmental wind reproduction device 20.

再生装置2は、DVD(Digital Versatile Disc)プレイヤやテレビチューナ、ゲーム機器などであって、利用者200に提供すべき映像データや音声データを生成する。   The playback device 2 is a DVD (Digital Versatile Disc) player, a TV tuner, a game machine, or the like, and generates video data and audio data to be provided to the user 200.

環境提供部10は、利用者200に対して、音声および映像の少なくとも一方を含む環境データを提供するものである。本実施の形態において、環境提供部10は、音声と映像の両方の環境データを提供して、仮想空間を再現するものとする。環境提供部10は、たとえば、ヘッドマウントディスプレイ(Head Mount Display、以下、単にHMDという)12と、音声再生部14と、を含む。HMD12は、利用者200の頭部に固定され、利用者200の眼前に設けられたディスプレイに、映像を表示することにより、利用者200に環境データとしての映像情報を提供する。HMD12に換えて、スクリーン上に映像を投影するプロジェクタや、プラズマディスプレイや液晶ディスプレイなどを、映像表示手段として用いてもよい。   The environment providing unit 10 provides environment data including at least one of audio and video to the user 200. In the present embodiment, it is assumed that the environment providing unit 10 reproduces the virtual space by providing both audio and video environment data. The environment providing unit 10 includes, for example, a head mounted display (hereinafter referred to simply as HMD) 12 and an audio reproducing unit 14. The HMD 12 is fixed to the head of the user 200 and displays video on a display provided in front of the user 200 to provide the user 200 with video information as environmental data. Instead of the HMD 12, a projector that projects an image on a screen, a plasma display, a liquid crystal display, or the like may be used as the image display means.

また、音声再生部14は、ヘッドホンなどであって、利用者200の頭部に固定され、利用者200の耳に、環境データとしての音声情報を与えることにより、臨場感を高めるために設けられる。HMD12、音声再生部14は、いずれも再生装置2に接続されており、再生装置2により生成された映像データおよび音声データがそれぞれ入力されている。   The sound reproducing unit 14 is a headphone or the like, and is fixed to the head of the user 200, and is provided to enhance the sense of reality by giving sound information as environmental data to the user 200's ear. . Both the HMD 12 and the audio playback unit 14 are connected to the playback device 2, and video data and audio data generated by the playback device 2 are input thereto.

仮想空間生成装置100には、必要に応じて、コントローラ30、センサ32が設けられる。コントローラ30は、利用者200が仮想空間生成装置100を操作し、あるいは視点を切り替えたり、仮想空間生成装置100により提供される仮想空間内を移動するために用いられるインターフェースである。センサ32は、利用者200の一部、たとえば頭部に装着され、利用者200の位置や動きを検出するために設けられる。仮想空間生成装置100は、コントローラ30、センサ32により得られる情報に応じて、提供する仮想空間を制御してもよい。   The virtual space generation device 100 is provided with a controller 30 and a sensor 32 as necessary. The controller 30 is an interface used for the user 200 to operate the virtual space generation device 100, switch the viewpoint, or move in the virtual space provided by the virtual space generation device 100. The sensor 32 is attached to a part of the user 200, for example, the head, and is provided to detect the position and movement of the user 200. The virtual space generation device 100 may control the virtual space to be provided according to information obtained by the controller 30 and the sensor 32.

本実施の形態に係る仮想空間生成装置100は、映像および音声を含む環境データに加えて、利用者200に対して、環境風を提供することにより、さらに臨場感を高めることが可能となっている。環境風の提供のために、本実施の形態に係る仮想空間生成装置100は、環境風再現装置(ウィンドサラウンドシステム)20を備える。   The virtual space generation device 100 according to the present embodiment can further enhance the sense of reality by providing an environmental wind to the user 200 in addition to environmental data including video and audio. Yes. In order to provide an environmental wind, the virtual space generation device 100 according to the present embodiment includes an environmental wind reproduction device (wind surround system) 20.

環境風再現装置20は、複数の送風用ファン22と、風圧制御部24と、を含む。
送風用ファン22は、利用者200に対して、少なくとも異なる3方向から送風、すなわち風圧を印加できるように、利用者200の想定位置の周囲に複数個、配置される。好ましくは、送風用ファン22は、利用者200の視点付近の高さに配置されていることが望ましく、利用者200が位置する地面と平行であって、かつ利用者200の視点を含む平面の上下20cmの範囲に配置されるのが望ましい。なぜなら、利用者200の頭部は、衣類に覆われていないため露出部分が多く、また、人間は頭髪に風を受けると、体感的に風圧を感知しやすいためである。送風用ファン22は、単相であると複相であるとを問わず、様々なモータのロータに、ファンを取り付けることにより構成することができる。
The environmental wind reproduction device 20 includes a plurality of blower fans 22 and a wind pressure control unit 24.
A plurality of the blower fans 22 are arranged around the assumed position of the user 200 so that the blower, that is, the wind pressure, can be applied to the user 200 from at least three different directions. Preferably, the blower fan 22 is desirably disposed at a height near the viewpoint of the user 200, and is a plane that is parallel to the ground on which the user 200 is located and includes the viewpoint of the user 200. It is desirable to arrange in the range of 20 cm above and below. This is because the head of the user 200 is not covered with clothing, so there are many exposed parts, and when a person receives wind on his hair, he or she can easily sense the wind pressure. The blower fan 22 can be configured by attaching a fan to the rotors of various motors, regardless of whether they are single-phase or multi-phase.

風圧制御部24は、複数の送風用ファン22の回転数を制御することによって、利用者200に対して印加する風圧を調節する。風圧制御部24は、パルス幅変調(Pulse Width Modulation)方式によって、送風用ファン22の回転数を制御してもよいし、リニア駆動してもよい。風圧制御部24は、あらかじめ用意された環境風再生用のデータに応じて、各送風用ファン22の回転数を制御してもよいし、あるいは、環境提供部10により提供される環境データ、すなわち映像データや音声データを、環境風再生用のデータに変換して、回転数を制御してもよい。この点については、後述の第2、第3の実施の形態において詳細に説明する。
また、仮想空間生成装置100が、利用者が2人以上存在するゲーム機器に使用されるような場合には、一方の利用者の操作に応じて、他方の利用者側の仮想空間生成装置100の送風用ファン22の回転数を制御しても良い。たとえば、一方の利用者側にエアフロセンサ(風量計)を設ける。この利用者がエアフロセンサに対して息を吹き込んで風圧を与えると、与えられた風圧に応じて、他方の利用者の送風用ファン22の回転数が制御され、風圧が与えられるように構成することも可能である。
The wind pressure control unit 24 adjusts the wind pressure applied to the user 200 by controlling the rotational speed of the plurality of blower fans 22. The wind pressure control unit 24 may control the rotational speed of the blower fan 22 by a pulse width modulation method, or may perform linear driving. The wind pressure control unit 24 may control the rotational speed of each blower fan 22 according to environmental wind regeneration data prepared in advance, or environmental data provided by the environment providing unit 10, that is, Video data and audio data may be converted into environmental reproduction data to control the rotation speed. This point will be described in detail in second and third embodiments described later.
In addition, when the virtual space generation device 100 is used in a game machine having two or more users, the virtual space generation device 100 on the other user side is operated according to the operation of one user. The rotational speed of the blower fan 22 may be controlled. For example, an airflow sensor (an air flow meter) is provided on one user side. When the user blows into the airflow sensor and applies the wind pressure, the rotational speed of the blower fan 22 of the other user is controlled according to the applied wind pressure, and the wind pressure is applied. It is also possible.

図2は、環境風再現装置20の構成を示す図であって、利用者200の頭上から望んだ送風用ファン22の配置を示す図である。本実施の形態において、送風用ファン22は16個設けられおり、利用者200の想定位置を中心とした同一円心上に、等角度、すなわち22.5度間隔にて配置される。送風用ファン22は、いずれも利用者200に対向して設けられる。もっとも送風用ファン22の個数および配置形態はこれに限定されるものではない。風はベクトル的な合成が可能であるため、3つ以上の送風用ファンを異なる向きに配置することにより、利用者200に対して、任意の方向の風を再現することが可能となる。たとえば、3つの送風用ファン22を同一平面上に120度間隔に配置し、それぞれの風圧を適切に制御することにより、利用者200は、360度すべての方向から吹く風を体感することが可能となる。利用者200と各送風用ファン22の距離rは、送風用ファン22から得られる風圧に応じて決定すればよい。さらに、距離rは、利用者200の動作を妨げないように決定するのが好ましく、これらの観点から、r=0.5〜1.5mの範囲に、たとえば0.8〜1m程度に設定するのが好ましい。   FIG. 2 is a diagram illustrating the configuration of the environmental wind reproduction device 20, and is a diagram illustrating the arrangement of the blower fans 22 desired from the overhead of the user 200. In the present embodiment, sixteen fans 22 are provided and arranged at the same angle, that is, at an interval of 22.5 degrees on the same circle centered on the assumed position of the user 200. All the fans 22 for ventilation are provided facing the user 200. However, the number and arrangement of the blower fans 22 are not limited to this. Since the wind can be combined in a vector manner, it is possible to reproduce the wind in an arbitrary direction for the user 200 by arranging three or more fans for blowing in different directions. For example, by arranging three blower fans 22 on the same plane at intervals of 120 degrees and appropriately controlling the respective wind pressures, the user 200 can experience the wind blowing from all directions of 360 degrees. It becomes. The distance r between the user 200 and each blower fan 22 may be determined according to the wind pressure obtained from the blower fan 22. Furthermore, it is preferable to determine the distance r so as not to hinder the operation of the user 200. From these viewpoints, the distance r is set in a range of r = 0.5 to 1.5 m, for example, about 0.8 to 1 m. Is preferred.

また、環境風再現装置20は、図2に示す同一平面上に配置された複数の送風用ファン22に加えて、利用者200の上方、下方のいずれか一方あるいは両方に配置された送風用ファン22をさらに備えてもよい。なお、上方、下方に送風用ファン22を設ける場合、すべての送風用ファン22を利用者200を中心とした同一球面上に配置するのが望ましい。この場合、利用者200に対して、本仮想空間生成装置100の設置面と垂直方向となるZ軸方向の成分を含む風圧を印加可能となるため、上方から吹き下ろす風や、下方から吹き上げる風を再現することができ、より臨場感を高めることが可能となる。   In addition to the plurality of blower fans 22 arranged on the same plane as shown in FIG. 2, the environmental wind reproduction device 20 is also provided with a blower fan arranged at one or both of the upper side and the lower side of the user 200. 22 may be further provided. In addition, when providing the fan 22 for ventilation in the upper direction and the downward direction, it is desirable to arrange | position all the fans 22 for ventilation on the same spherical surface centering on the user 200. FIG. In this case, wind pressure including a component in the Z-axis direction that is perpendicular to the installation surface of the virtual space generation device 100 can be applied to the user 200, so that wind that blows down from above or wind that blows from below Can be reproduced, and a sense of reality can be further enhanced.

以上のように構成された仮想空間生成装置100の動作について説明する。仮想空間生成装置100が映画などの再生に使用される場合、HMD12および音声再生部14には、再生装置2としてDVD(Digital Versatile Disc)プレイヤなどが接続され、利用者200がコントローラ30によって映画の再生を指示すると、HMD12に映像が表示されるとともに、音声再生部14からは音声が出力される。   The operation of the virtual space generation device 100 configured as described above will be described. When the virtual space generation device 100 is used for playback of a movie or the like, a DVD (Digital Versatile Disc) player or the like is connected to the HMD 12 and the audio playback unit 14 as the playback device 2. When reproduction is instructed, video is displayed on the HMD 12 and audio is output from the audio reproduction unit 14.

仮想空間生成装置100の環境風再現装置20は、環境提供部10により提供される映像、音声などの環境データに同期して、利用者200に対して風圧を与える。たとえば、利用者200が体感する仮想空間において、爆発が起こった場合には、送風用ファン22を強く回転させることにより、爆風を再現する。このとき、爆発が起こった方向に配置される送風用ファン22を駆動することにより、利用者200はあたかもその方向に実際に爆発が起こったかのような臨場感を味わうことができる。また、利用者200が視聴する映像において、風が吹いている場合には、風向に応じて、駆動する送風用ファン22を選択し、風量に応じて回転数を制御することにより、環境風を再現することができる。   The environmental wind reproduction device 20 of the virtual space generation device 100 applies wind pressure to the user 200 in synchronization with environmental data such as video and audio provided by the environment providing unit 10. For example, when an explosion occurs in the virtual space experienced by the user 200, the blast is reproduced by strongly rotating the blower fan 22. At this time, by driving the blower fan 22 arranged in the direction in which the explosion occurred, the user 200 can feel a sense of reality as if an explosion actually occurred in that direction. Also, in the video that the user 200 views, when the wind is blowing, the air blowing fan 22 to be driven is selected according to the wind direction, and the rotational speed is controlled according to the air volume, thereby changing the environmental wind. Can be reproduced.

上述したように、各送風用ファン22の回転数を制御するためのデータは、映像、音声とともにディスクなどに保存されていてもよい。この場合、映画などのコンテンツ制作者が、映像、音声により再現される仮想空間に適した風向、風量に関するデータを作成する必要があるが、各場面に応じて最適な風量、風向を再現することができるため、臨場感の高い仮想空間を提供することができる。   As described above, the data for controlling the rotational speed of each blower fan 22 may be stored on a disk together with video and audio. In this case, content producers such as movies need to create data on the wind direction and air volume suitable for the virtual space reproduced by video and audio. However, it is necessary to reproduce the optimal air volume and wind direction according to each scene. Therefore, it is possible to provide a highly realistic virtual space.

また、現在普及しているようなDVDに記録された映画などのコンテンツであって、風に関するデータを含まないコンテンツにもとづいて仮想空間を再現する場合には、映像データ、音声データに基づいて、風量や風向を制御してもよい。これについては、第3の実施の形態において後述する。   Also, when reproducing a virtual space based on content that does not include wind-related content such as a movie recorded on a DVD that is currently popular, based on video data and audio data, The air volume and direction may be controlled. This will be described later in the third embodiment.

仮想空間生成装置100がゲーム機器などに接続されて使用される場合には、環境風再現装置20により利用者200に与えられる風量、風向は、ゲーム機器における演算処理結果により得られるデータにもとづいてもよい。   When the virtual space generation device 100 is used connected to a game device or the like, the air volume and the wind direction given to the user 200 by the environmental wind reproduction device 20 are based on the data obtained from the calculation processing result in the game device. Also good.

このように、本実施の形態に係る仮想空間生成装置100によれば、映像や音声などの環境データに加えて、利用者200に対し環境風を与えることにより、より臨場感を高めることができる。本実施の形態では、利用者200の周囲に、異なる向きから送風可能な複数の送風用ファン22が設けられるため、利用者200は前後、左右など異なる方向からの環境風を体感することができる。また、各送風用ファン22の回転数を風圧制御部24によって制御することにより、利用者200が受ける風圧を、場面に応じて切り換えることができ、臨場感を高めることができる。   As described above, according to the virtual space generation device 100 according to the present embodiment, in addition to environmental data such as video and audio, by giving an environmental wind to the user 200, it is possible to further enhance the sense of reality. . In the present embodiment, a plurality of blowing fans 22 capable of blowing air from different directions are provided around the user 200, so that the user 200 can experience environmental winds from different directions such as front and rear, left and right. . Further, by controlling the rotational speed of each blower fan 22 by the wind pressure control unit 24, the wind pressure received by the user 200 can be switched according to the scene, and the presence can be enhanced.

(第2の実施の形態)
第2の実施の形態では、第1の実施の形態で説明した仮想空間生成装置100の環境風再現装置20において、送風用ファン22の回転数、すなわち風圧を制御するデータを提供する技術について説明する。
(Second Embodiment)
In the second embodiment, in the environmental wind reproduction device 20 of the virtual space generation device 100 described in the first embodiment, a technique for providing data for controlling the rotational speed of the blower fan 22, that is, the wind pressure is described. To do.

近年、文化遺産などの破壊、風化が社会問題となる中、こうした価値のある景観、建造物を、電子的に保存する試みがなされている。これは、保存対象をビデオカメラ等により記録したり、3次元的に測定し、解析することにより、電子的にアーカイブするものである。アーカイブされたデータは、コンピュータグラフィクス技術を利用して、大画面の表示装置やHMDなどの映像表示手段によって、仮想的に再現される。   In recent years, attempts have been made to electronically preserve such valuable landscapes and buildings as the destruction and weathering of cultural heritage have become a social issue. In this method, an object to be stored is recorded by a video camera or the like, or three-dimensionally measured and analyzed to be archived electronically. The archived data is virtually reproduced by a video display means such as a large screen display device or HMD using computer graphics technology.

本実施の形態で説明する技術は、映像情報に加えて、その環境において聴覚される音や、風、気温などを保存することにより、保存対象をより忠実にアーカイブすることを目的とするものである。たとえば、第1の実施の形態で説明した仮想空間生成装置100を利用することにより、映像、音、風をパラメータとして、保存対象を仮想的に再現することが可能となる。以下で説明する環境風測定装置300は、図1に示すように利用者200の周囲に配置された複数の送風用ファン22を備える環境風再現装置20おいて、取得した各方向の風量にもとづいて、送風用ファン22の回転数を制御することを前提として、環境風を取得し、そのデータを保存するものである。すなわち、本実施の形態に係る環境風測定装置300と、第1の実施の形態で説明した仮想空間生成装置100は、環境風を記録する記録装置と、記録された風を再生する再生装置として、一対のシステムを構成する。   The technology described in this embodiment is intended to archive the object to be stored more faithfully by storing sound, wind, temperature, and the like heard in the environment in addition to video information. is there. For example, by using the virtual space generation device 100 described in the first embodiment, it is possible to virtually reproduce a storage target using video, sound, and wind as parameters. The environmental wind measuring apparatus 300 described below is based on the acquired air volume in each direction in the environmental wind reproduction apparatus 20 including a plurality of blower fans 22 arranged around the user 200 as shown in FIG. On the premise that the rotational speed of the blower fan 22 is controlled, the environmental wind is acquired and the data is stored. That is, the environmental wind measuring apparatus 300 according to the present embodiment and the virtual space generation apparatus 100 described in the first embodiment are a recording apparatus that records the environmental wind and a playback apparatus that reproduces the recorded wind. A pair of systems is configured.

図3は、第2の実施の形態に係る環境風測定装置300の構成図である。環境風測定装置300は、6つの風量計40a〜40fと、記録装置42と、を備える。風量計は、気体の流量や風速を測定することが可能なデバイスであり、エアフロメータ(エアフロセンサ)など、さまざまな方式のものが市販されている。以下、風量計はエアフロセンサであるとして説明する。   FIG. 3 is a configuration diagram of the environmental wind measuring apparatus 300 according to the second embodiment. The environmental wind measuring device 300 includes six anemometers 40a to 40f and a recording device 42. An anemometer is a device capable of measuring a gas flow rate and a wind speed, and various types of devices such as an air flow meter (air flow sensor) are commercially available. In the following description, it is assumed that the air flow meter is an airflow sensor.

6つのエアフロセンサ40a〜40fは、互いに直交するX軸、Y軸、Z軸それぞれの正方向および負方向に向けて配置される。具体的には、エアフロセンサ40aは、X軸正方向に向かう風、エアフロセンサ40bは、X軸負方向に向かう風、エアフロセンサ40cは、Y軸正方向に向かう風、エアフロセンサ40dは、Y軸負方向に向かう風、エアフロセンサ40eは、Z軸正方向に向かう風、エアフロセンサ40fは、Z軸負方向に向かう風を検出する。各エアフロセンサ40は、それぞれに流れ込む風の風量に応じたデータを出力する。記録装置42は、エアフロセンサ40により取得された各方向の風量を、電子データとして保存する。なお、エアフロセンサ40a〜40fの配置はこれに限定されるものではなく、環境風測定装置300としてX軸、Y軸、Z軸それぞれの正負方向に吹く風の風量を検出できればよい。   The six airflow sensors 40a to 40f are arranged in the positive and negative directions of the X axis, the Y axis, and the Z axis that are orthogonal to each other. Specifically, the airflow sensor 40a is a wind toward the X-axis positive direction, the airflow sensor 40b is a wind toward the X-axis negative direction, the airflow sensor 40c is a wind toward the Y-axis positive direction, and the airflow sensor 40d is Y The wind toward the negative axis direction, the airflow sensor 40e detects the wind toward the positive Z-axis direction, and the airflow sensor 40f detects the wind toward the negative Z-axis direction. Each airflow sensor 40 outputs data corresponding to the amount of wind flowing into the airflow sensor 40. The recording device 42 stores the air volume in each direction acquired by the airflow sensor 40 as electronic data. Note that the arrangement of the airflow sensors 40a to 40f is not limited to this, and it is sufficient that the environmental wind measuring device 300 can detect the amount of wind blown in the positive and negative directions of the X axis, the Y axis, and the Z axis.

環境風測定装置300によって取得、保存されるデータは、X軸、Y軸、Z軸の正、負方向の風量に対応したものであり、これらをベクトル的に合成することにより、測定した環境風の向きおよび風量を知ることができる。環境風測定装置300によって、デジタル的に保存すべき現実の環境において、複数の環境風を測定することにより、異なる位置における風量、風向を保存することができる。   The data acquired and stored by the environmental wind measuring device 300 corresponds to the air volume in the positive and negative directions of the X-axis, Y-axis, and Z-axis. You can know the direction and airflow. By measuring a plurality of environmental winds in an actual environment to be digitally stored by the environmental wind measuring apparatus 300, the air volume and the wind direction at different positions can be stored.

環境風測定装置300により取得されたデータは、図1に示すような仮想空間生成装置100によって再生される。仮想空間生成装置100のHMD12は、仮想空間における利用者200の位置する座標、向きに存在する建造物や景色が表示されている。HMD12に表示される映像は、利用者200が、コントローラ30によって移動を指示し、あるいは視点方向の切り替えがセンサ32によって検出されるたびに更新される。   Data acquired by the environmental wind measuring apparatus 300 is reproduced by the virtual space generating apparatus 100 as shown in FIG. The HMD 12 of the virtual space generation device 100 displays the buildings and scenery existing in the coordinates and orientation of the user 200 in the virtual space. The video displayed on the HMD 12 is updated every time the user 200 instructs the controller 30 to move or the viewpoint 32 is detected by the sensor 32.

環境風再現装置20は、仮想空間内における利用者200の位置、向きに応じて、図3の環境風測定装置300により取得した電子データにもとづいて、必要な風量、風向が得られるように、送風用ファン22を選択し、その回転数を制御する。   The environmental wind reproduction device 20 can obtain the necessary air volume and direction based on the electronic data acquired by the environmental wind measurement device 300 of FIG. 3 according to the position and orientation of the user 200 in the virtual space. The fan 22 for ventilation is selected and the rotation speed is controlled.

本実施の形態に係る環境風測定装置300によれば、仮想空間生成装置100によって再生される映像や音声とともに、再生すべき環境風を、取得、保存することができ、後に利用者200に対して仮想空間を提供する際に、実際に測定した環境風を利用者200に与えることができるため、臨場感を高めることができる。   According to the environmental wind measuring apparatus 300 according to the present embodiment, it is possible to acquire and store the environmental wind to be reproduced together with the video and audio reproduced by the virtual space generation apparatus 100, and later to the user 200. Thus, when the virtual space is provided, the actually measured environmental wind can be given to the user 200, so that a sense of reality can be enhanced.

(第3の実施の形態)
第3の実施の形態は、仮想空間生成装置の環境風再現装置において、送風用ファン22の回転数を、映像データや音声データなどの環境データに応じて制御する技術について説明する。
(Third embodiment)
The third embodiment describes a technique for controlling the rotational speed of the blower fan 22 in accordance with environmental data such as video data and audio data in the environmental wind reproduction device of the virtual space generation device.

第3の実施の形態に係る仮想空間生成装置100は、図1に示す仮想空間生成装置100と同様に構成することができる。仮想空間生成装置100は、利用者200に対して、音声および映像の少なくとも一方を含む環境データと、風圧を提供することにより、仮想空間を提供する点で、図1の仮想空間生成装置100と共通する。仮想空間生成装置100は、利用者200に対して、環境データを提供する環境提供部10と、環境風再現装置20と、を備える。   The virtual space generation device 100 according to the third embodiment can be configured similarly to the virtual space generation device 100 illustrated in FIG. The virtual space generation device 100 provides the virtual space by providing environment data including at least one of audio and video and wind pressure to the user 200 in that the virtual space generation device 100 and the virtual space generation device 100 of FIG. Common. The virtual space generation device 100 includes an environment providing unit 10 that provides environment data to a user 200 and an environment wind reproduction device 20.

環境風再現装置20は、送風用ファン22と、風圧制御部24と、含む。第1の構成例においては、送風用ファン22は、利用者200の周囲に少なくとも1つ設けられていればよい。風圧制御部24は、風圧制御部24は、環境提供部10により利用者200に提供される環境データに応じて、送風用ファン22の回転数を制御する。   The environmental wind reproduction device 20 includes a blower fan 22 and a wind pressure control unit 24. In the first configuration example, at least one blower fan 22 may be provided around the user 200. The wind pressure control unit 24 controls the rotational speed of the blower fan 22 according to the environmental data provided to the user 200 by the environment providing unit 10.

ある実施例において、風圧制御部24は、環境提供部10の音声再生部14により再生すべき音声データAUDを参照し、音声データAUDが示す音量に応じて、送風用ファン22の回転数を制御してもよい。図4は、第3の実施の形態に係る風圧制御部24の構成例を示す図である。風圧制御部24は、音声データ入力部50と、音声データ解析部52と、回転制御部54と、を備える。   In an embodiment, the wind pressure control unit 24 refers to the audio data AUD to be reproduced by the audio reproduction unit 14 of the environment providing unit 10 and controls the rotation speed of the blower fan 22 according to the volume indicated by the audio data AUD. May be. FIG. 4 is a diagram illustrating a configuration example of the wind pressure control unit 24 according to the third embodiment. The wind pressure control unit 24 includes an audio data input unit 50, an audio data analysis unit 52, and a rotation control unit 54.

音声データ入力部50は、環境提供部10の音声再生部14から出力される音声データAUDを取得し、音声データ解析部52へと出力する。音声データ解析部52は入力された音声データAUDを解析して、送風用ファン22の回転数、すなわち利用者200に与えるべき風圧を設定する。音声データ解析部52は、設定した回転数を、回転制御部54に指示する。回転制御部54は、送風用ファン22を指示された回転数で駆動する。   The audio data input unit 50 acquires the audio data AUD output from the audio reproduction unit 14 of the environment providing unit 10 and outputs it to the audio data analysis unit 52. The sound data analysis unit 52 analyzes the input sound data AUD and sets the rotation speed of the blower fan 22, that is, the wind pressure to be given to the user 200. The audio data analysis unit 52 instructs the rotation control unit 54 on the set number of rotations. The rotation control unit 54 drives the blower fan 22 at the instructed rotational speed.

音声データ解析部52における音声データAUDにもとづく送風用ファン22の回転数の設定方法について説明する。図5(a)〜(c)は、風圧制御部24が送風用ファン22の回転数の設定する様子を示す波形図である。この例では、風圧制御部24は、音声データAUDを量子化し、送風用ファンの回転数を段階的に切り換える。図5(a)は、音声再生部14から再生される音声波形を、同図(b)は、同図(a)の絶対値を、同図(c)は同図(b)の波形をウェーブレット変換した波形を、示す。   A method for setting the rotational speed of the blower fan 22 based on the audio data AUD in the audio data analysis unit 52 will be described. FIGS. 5A to 5C are waveform diagrams showing how the wind pressure control unit 24 sets the rotation speed of the blower fan 22. In this example, the wind pressure control unit 24 quantizes the audio data AUD and switches the rotational speed of the blower fan in stages. 5A shows the audio waveform reproduced from the audio reproducing unit 14, FIG. 5B shows the absolute value of FIG. 5A, and FIG. 5C shows the waveform of FIG. The wavelet transformed waveform is shown.

音声データ解析部52は、図5(b)に示すように、図5(a)に示す入力された音声データAUDの時間波形データの絶対値を取得する。次いで、得られた絶対値をウェーブレット変換し、平滑化するとともに量子化する。図5(c)は、マザーウェーブレットとして、Haar関数を利用した場合を示すが、これに限定されるものではなく、他の関数を利用してもよい。また、ウェーブレット変換を用いずに、図5(b)に示す絶対値をフィルタにより平滑化した後に、量子化してもよい。図5(c)に示す量子化されたデータに応じて、回転制御部54は、送風用ファン22の回転数を設定する。送風用ファン22は、量子化されたデータにもとづいて、PWM駆動する際のパルス幅を設定してもよい。この例では、送風用ファン22の回転数を段階的に切り換える場合について説明したが、連続的に切り換えてもよい。この場合、図(b)に示す絶対値をフィルタにより平滑化したデータにもとづいて、送風用ファン22をリニア駆動すればよい。   As shown in FIG. 5B, the voice data analysis unit 52 acquires the absolute value of the time waveform data of the input voice data AUD shown in FIG. Next, the obtained absolute value is wavelet transformed, smoothed and quantized. FIG. 5C shows the case where the Haar function is used as the mother wavelet, but the present invention is not limited to this, and other functions may be used. Further, the absolute values shown in FIG. 5B may be quantized after being smoothed by a filter without using the wavelet transform. In accordance with the quantized data shown in FIG. 5C, the rotation control unit 54 sets the rotation speed of the blower fan 22. The blower fan 22 may set a pulse width for PWM driving based on the quantized data. In this example, the case where the rotational speed of the blower fan 22 is switched stepwise has been described, but it may be switched continuously. In this case, the blower fan 22 may be linearly driven based on the data obtained by smoothing the absolute value shown in FIG.

本実施の形態において、音声データ解析部52は、音声データAUDが示す音量が所定のしきい値を超えたとき、送風用ファン22を回転させてもよい。この場合、利用者200が映画などを視聴する場合に、映像のバックで小音量にて流れるバックグラウンドミュージックや通常の音量の台詞などによって、送風用ファン22が回転するのを防止することができる。爆風にともなう爆発音や、強風にともなう風の音など、風が発生するシーンでは、比較的大きな音声が発生する傾向があるため、しきい値を設けて送風用ファン22の回転の有無を変更する処理は有効である。   In the present embodiment, the sound data analysis unit 52 may rotate the blower fan 22 when the sound volume indicated by the sound data AUD exceeds a predetermined threshold value. In this case, when the user 200 watches a movie or the like, it is possible to prevent the blower fan 22 from rotating due to background music that flows at a low volume in the back of the video or a normal volume dialogue. . Since there is a tendency for relatively loud sound to occur in scenes where wind is generated, such as explosion sounds associated with blasts or wind sounds associated with strong winds, a process for changing the presence or absence of rotation of the blower fan 22 by providing a threshold value Is valid.

このように、予め用意された音声信号にもとづいて送風用ファン22の回転数を制御することにより、風圧の制御用に別途データを用意する必要がなくなり、仮想空間を再生するためのデータ容量を削減するとともに、臨場感の高い環境再生が可能となる。また、経験的に、大きな風圧が発生するシーンでは、大きな音声が再生される場合が多いため、音声と風圧を関連づけることにより、臨場感の高い仮想空間を生成することができる。   In this way, by controlling the rotation speed of the blower fan 22 based on the audio signal prepared in advance, it is not necessary to prepare additional data for controlling the wind pressure, and the data capacity for reproducing the virtual space can be reduced. In addition to the reduction, it is possible to reproduce the environment with a high sense of reality. Further, empirically, in a scene where a large wind pressure is generated, a large sound is often reproduced. Therefore, a virtual space with a high sense of realism can be generated by associating the sound with the wind pressure.

音声データ解析部52における処理は、音声データAUDの種類に応じて変更してもよい。たとえば、音声再生部14から出力される音声が、モノラル信号などである場合、1つのオーディオ信号の振幅に応じて、送風用ファン22の回転数を制御することになる。   The processing in the audio data analysis unit 52 may be changed according to the type of the audio data AUD. For example, when the sound output from the sound reproducing unit 14 is a monaural signal or the like, the rotational speed of the blower fan 22 is controlled according to the amplitude of one audio signal.

また、より臨場感の高い仮想空間を生成するために、以下のような制御を実行してもよい。たとえば、仮想空間生成装置100によって、利用者200に、「通常」の状態、「吹雪」の状態、「雨」の状態、「砂浜」の状態など、異なる状態、あるいはフィールドが提供されるとする。この場合に、各状態に応じて、風量や風向に対するパラメータを予め決定しておき、送風用ファン22の回転数を制御しても良い。   Further, in order to generate a virtual space with higher presence, the following control may be executed. For example, it is assumed that the virtual space generation device 100 provides the user 200 with different states or fields such as a “normal” state, a “snowstorm” state, a “rain” state, and a “sand beach” state. . In this case, parameters for the air volume and direction may be determined in advance according to each state, and the rotational speed of the blower fan 22 may be controlled.

図6は、状態に応じたパラメータの設定例を示す図である。この設定例では、音声データを解析して得られた風量に対して、状態ごとに設定された倍率(風圧倍率)を乗じて、最終的な風圧を設定する。また、状態毎に、風向を設定しておき、設定された風向が得られるように、複数の送風用ファン22を駆動する。図6の例では、「通常」の状態では、風圧は発生させない。「砂浜」の状態では、音声データを解析して得られた風量に0.8を乗じた風量が得られるように、送風用ファン22の回転数を低減する。また、「砂浜」の状態では、風向は固定されている。「雨」や「吹雪」の状態では、風向が全方向に指定され、すべての送風用ファン22が駆動される。また、「吹雪」の状態では、風圧倍率が高く設定される。
このように、仮想空間で生成される状態やフィールドに応じて、風圧を調節するパラメータや、風向を設定するパラメータを設定しておくことにより、音量のみをパラメータとして風量を設定した場合に比べて、より臨場感を高めることが可能となる。
FIG. 6 is a diagram illustrating an example of setting parameters according to the state. In this setting example, the final wind pressure is set by multiplying the air volume obtained by analyzing the audio data by the magnification (wind pressure magnification) set for each state. Further, a wind direction is set for each state, and the plurality of blower fans 22 are driven so that the set wind direction can be obtained. In the example of FIG. 6, no wind pressure is generated in the “normal” state. In the “sand beach” state, the rotational speed of the blower fan 22 is reduced so as to obtain an air volume obtained by multiplying the air volume obtained by analyzing the audio data by 0.8. In the “sand beach” state, the wind direction is fixed. In the “rain” or “snowstorm” state, the wind direction is specified in all directions, and all the blower fans 22 are driven. Further, in the “snowstorm” state, the wind pressure magnification is set high.
In this way, by setting the parameter for adjusting the wind pressure and the parameter for setting the wind direction according to the state and field generated in the virtual space, compared with the case where the air volume is set with only the volume as the parameter, , It becomes possible to enhance the presence.

環境提供部10の音声再生部14が5.1チャンネルや7.1チャンネルなどのマルチチャンネルとして知られる音声再生を行う場合、利用者200は前後左右などの様々な方向からの音声を知覚することができ、さらに臨場感の高い環境が提供される。この場合、図1の環境提供部10は、音声再生部14に換えて、複数のスピーカを備えて構成するのが望ましい。この場合、利用者200の周囲に配置されたスピーカからは、利用者200に対して異なる方向から音声が出力される。   When the audio reproduction unit 14 of the environment providing unit 10 performs audio reproduction known as multi-channel such as 5.1 channel or 7.1 channel, the user 200 perceives audio from various directions such as front and rear, left and right. Can provide a more realistic environment. In this case, it is desirable that the environment providing unit 10 in FIG. 1 includes a plurality of speakers instead of the sound reproducing unit 14. In this case, sound is output from different directions to the user 200 from the speakers arranged around the user 200.

風圧制御部24は、利用者200の周囲に設けられた複数の送風用ファン22を、それぞれ複数のスピーカのいずれかに対応付ける。対応付けは、利用者200からみた送風用ファン22の方向と、スピーカの方向とが、一致するように行うのが好ましい。たとえば、5.1チャンネルの音声を再生するマルチチャンネル音響システムの場合、利用者200からみて左前、正面、右前に配置される送風用ファン22を、レフト、センター、ライトスピーカそれぞれに対応付ける。同様に、利用者200からみて右後方、左後方に配置される送風用ファン22を、サラウンドライト、サラウンドレフトの各スピーカに対応付ける。風圧制御部24の音声データ解析部52は、各送風用ファン22の回転数を、対応付けられたスピーカから再生すべき音声データに応じて制御する。各送風用ファン22の回転数は、上述したように各チャンネルごとの音量にもとづいて設定すればよい。   The wind pressure control unit 24 associates the plurality of blower fans 22 provided around the user 200 with each of the plurality of speakers. The association is preferably performed so that the direction of the blower fan 22 viewed from the user 200 and the direction of the speaker coincide with each other. For example, in the case of a multi-channel sound system that reproduces 5.1-channel sound, the blower fan 22 disposed on the left front, front, and right front as viewed from the user 200 is associated with each of the left, center, and right speakers. Similarly, the blower fan 22 disposed on the right rear side and the left rear side as viewed from the user 200 is associated with the surround right speaker and the surround left speaker. The sound data analysis unit 52 of the wind pressure control unit 24 controls the rotation speed of each blower fan 22 according to sound data to be reproduced from the associated speaker. The rotational speed of each blower fan 22 may be set based on the volume of each channel as described above.

このように、マルチチャンネルの音声再生を行う場合に、音声情報の方向性を、送風用ファン22の制御に利用することにより、さらに臨場感の高い仮想空間を提供することが可能となる。たとえば、仮想空間内において、利用者200の右前方向で爆発が起こった場合、フロントライトのスピーカから爆発音が再生される。この場合、フロントライトのスピーカに対応付けられた送風用ファン22、すなわち、利用者200の右前に配置される送風用ファン22が、音量に応じた回転数で回転することになる。その結果、利用者200は、右前方向から、すなわち爆発が発生した方向から風圧を受けることになるため、臨場感を高めることができる。   As described above, when multi-channel audio reproduction is performed, it is possible to provide a virtual space with a higher sense of presence by using the directionality of the audio information for the control of the blower fan 22. For example, in the virtual space, when an explosion occurs in the right front direction of the user 200, an explosion sound is reproduced from the speaker of the front light. In this case, the blower fan 22 associated with the front light speaker, that is, the blower fan 22 disposed in front of the user 200 rotates at a rotational speed corresponding to the sound volume. As a result, the user 200 receives the wind pressure from the front right direction, that is, from the direction in which the explosion occurred, so that the sense of reality can be enhanced.

なお、仮想空間生成装置100は、音声再生部14として、必ずしもマルチチャンネル対応のスピーカを備えている必要はなく、音声再生部14により再生される音声データとして、マルチチャンネルのものが用意されていれば、複数の送風用ファン22を、各チャンネルに対応付けることにより同様の処理を行うことが可能である。   Note that the virtual space generation device 100 does not necessarily include a multi-channel speaker as the audio reproduction unit 14, and multi-channel audio data is prepared as audio data to be reproduced by the audio reproduction unit 14. For example, the same processing can be performed by associating a plurality of blower fans 22 with each channel.

第3の実施の形態では、風圧制御部24は、環境データとしての音声データにもとづいて、送風用ファン22の回転数を制御する場合について説明したが、本発明はこれには限定されない。たとえば、風圧制御部24は、環境データとしての映像データにもとづいて送風用ファン22の回転数を制御してもよい。映像データにもとづいて回転数を制御する場合、映像データの複数のフレームを比較し、画像の動きの大きさを取得し、取得したデータにもとづいて回転数を制御してもよい。   In the third embodiment, the case where the wind pressure control unit 24 controls the rotation speed of the blower fan 22 based on sound data as environment data has been described, but the present invention is not limited to this. For example, the wind pressure control unit 24 may control the rotational speed of the blower fan 22 based on video data as environmental data. When controlling the rotation speed based on the video data, a plurality of frames of the video data may be compared to acquire the magnitude of the motion of the image, and the rotation speed may be controlled based on the acquired data.

以上、実施の形態を説明した。実施の形態は例示であり、さまざまな変形例が可能であり、そうした変形例も本発明に含まれることは当業者に理解されるところである。   The embodiment has been described above. The embodiments are exemplifications, and various modifications are possible, and those skilled in the art will understand that such modifications are also included in the present invention.

第1の実施の形態に係る仮想空間生成装置の構成を示す図である。It is a figure which shows the structure of the virtual space production | generation apparatus which concerns on 1st Embodiment. 環境風再現装置の構成を示す図であって、利用者の頭上から望んだ送風用ファンの配置を示す図である。It is a figure which shows the structure of an environmental wind reproduction apparatus, Comprising: It is a figure which shows arrangement | positioning of the fan for ventilation desired from the user's overhead. 第2の実施の形態に係る環境風測定装置の構成図である。It is a block diagram of the environmental wind measuring apparatus which concerns on 2nd Embodiment. 第3の実施の形態に係る風圧制御部の構成例を示す図である。It is a figure which shows the structural example of the wind pressure control part which concerns on 3rd Embodiment. 図5(a)〜(c)は、風圧制御部が送風用ファンの回転数の設定する様子を示す波形図である。FIGS. 5A to 5C are waveform diagrams showing how the wind pressure control unit sets the rotational speed of the blower fan. 状態に応じた風に関するパラメータの設定例を示す図である。It is a figure which shows the example of a setting of the parameter regarding the wind according to a state.

符号の説明Explanation of symbols

10 環境提供部、 12 HMD、 14 音声再生部、 20 環境風再現装置、 22 送風用ファン、 24 風圧制御部、 26 送風用ファン、 30 コントローラ、 32 センサ、 40 エアフロセンサ、 42 記録装置、 50 音声データ入力部、 52 音声データ解析部、 54 回転制御部、 100 仮想空間生成装置、 200 利用者、 300 環境風測定装置。   DESCRIPTION OF SYMBOLS 10 Environment provision part, 12 HMD, 14 Sound reproduction part, 20 Environmental wind reproduction apparatus, 22 Blower fan, 24 Wind pressure control part, 26 Blower fan, 30 Controller, 32 sensor, 40 Airflow sensor, 42 Recording apparatus, 50 Sound Data input unit, 52 voice data analysis unit, 54 rotation control unit, 100 virtual space generation device, 200 user, 300 environmental wind measurement device.

Claims (9)

利用者に対して、音声および映像の少なくとも一方を含む環境データを提供する環境提供部と、
前記利用者の想定位置の周囲に配置された少なくとも1つの送風用ファンと、
前記環境提供部により前記利用者に提供される前記環境データに応じて、前記送風用ファンの回転数を制御する制御部と、
を備えることを特徴とする仮想空間生成装置。
An environment providing unit that provides environmental data including at least one of audio and video to a user;
At least one blower fan disposed around an assumed position of the user;
A control unit for controlling the rotational speed of the blower fan according to the environmental data provided to the user by the environment providing unit;
A virtual space generation device comprising:
前記環境データは音声データを含み、
前記制御部は、前記環境提供部により再生すべき音声データを参照し、当該音声データが示す音量に応じて、前記送風用ファンの回転数を制御することを特徴とする請求項1に記載の仮想空間生成装置。
The environmental data includes audio data,
The said control part refers to the audio | voice data which should be reproduced | regenerated by the said environment provision part, and controls the rotation speed of the said fan for ventilation according to the sound volume which the said audio | voice data show. Virtual space generation device.
前記制御部は、前記音声データが示す音量が所定のしきい値を超えたとき、前記送風用ファンを回転せしめることを特徴とする請求項2に記載の仮想空間生成装置。   The virtual space generation device according to claim 2, wherein the control unit rotates the blower fan when a sound volume indicated by the audio data exceeds a predetermined threshold value. 前記制御部は、前記音声データが示す音量を量子化し、前記送風用ファンの回転数を段階的に切り換えることを特徴とする請求項2に記載の仮想空間生成装置。   The virtual space generation device according to claim 2, wherein the control unit quantizes the volume indicated by the audio data and switches the rotation speed of the blower fan in a stepwise manner. 前記制御部は、前記音声データにもとづいて生成される音声時間波形の絶対値を取得し、取得した絶対値をウェーブレット変換し、その結果得られた階段状の関数に応じて、前記送風用ファンの回転数を段階的に切り換えることを特徴とする請求項4に記載の仮想空間生成装置。   The control unit acquires an absolute value of an audio time waveform generated based on the audio data, wavelet transforms the acquired absolute value, and the fan for blowing according to a stepped function obtained as a result The virtual space generation device according to claim 4, wherein the rotation speed of the virtual space is switched stepwise. 前記送風用ファンは複数であって、前記利用者に対して異なる方向から送風可能に配置されており、
前記環境提供部により再生される音声は、方向性を有するマルチチャンネル音声信号として用意されており、
前記制御部は、複数の送風用ファンを、それぞれ前記マルチチャンネル音声信号のいずれかのチャンネルに対応付け、各送風用ファンの回転数を、対応付けられたチャンネルの音声データに応じて制御することを特徴とする請求項1に記載の仮想空間生成装置。
There are a plurality of the fans for blowing, and the fans are arranged so as to blow air from different directions,
The audio reproduced by the environment providing unit is prepared as a multi-channel audio signal having directionality,
The control unit associates a plurality of blower fans with any one of the channels of the multi-channel audio signal, and controls the rotation speed of each blower fan according to the audio data of the associated channel. The virtual space generation device according to claim 1.
利用者に対して、異なる方向から音声データを提供する複数のスピーカを含むスピーカシステムと、
前記複数のスピーカごとに近接して配置された複数の送風用ファンと、
前記複数の送風用ファンのそれぞれの回転数を、近接するスピーカからの出力音量に従って制御する制御部と、
を備えることを特徴とする仮想空間生成装置。
A speaker system including a plurality of speakers for providing audio data from different directions to a user;
A plurality of blower fans arranged close to each of the plurality of speakers;
A control unit that controls the number of rotations of each of the plurality of fans for blowing according to an output volume from an adjacent speaker;
A virtual space generation device comprising:
利用者に対して音声を出力する際、音量に応じた風量を演算により導出し、導出された風量にもとづいて、送風装置を制御することにより、その送風装置から利用者に対して、音量に応じた送風を行うことを特徴とする仮想空間生成装置。   When outputting sound to the user, the air volume corresponding to the sound volume is derived by calculation, and the air blower is controlled based on the derived air volume, so that the sound volume is adjusted from the air blower to the user. A virtual space generation apparatus characterized by performing a corresponding blow. 利用者に対して、音声および映像の少なくとも一方を含む環境データを提供するステップと、
前記環境データにもとづき、前記利用者の想定位置の周囲に配置された少なくとも1つの送風用ファンの回転数を制御するステップと、
を備えることを特徴とする仮想空間再生方法。
Providing environmental data including at least one of audio and video to a user;
Controlling the number of rotations of at least one blower fan arranged around the assumed position of the user based on the environmental data;
A virtual space reproduction method comprising:
JP2006138487A 2006-05-18 2006-05-18 Virtual space generator and method Pending JP2007307098A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006138487A JP2007307098A (en) 2006-05-18 2006-05-18 Virtual space generator and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006138487A JP2007307098A (en) 2006-05-18 2006-05-18 Virtual space generator and method

Publications (1)

Publication Number Publication Date
JP2007307098A true JP2007307098A (en) 2007-11-29

Family

ID=38840505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006138487A Pending JP2007307098A (en) 2006-05-18 2006-05-18 Virtual space generator and method

Country Status (1)

Country Link
JP (1) JP2007307098A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6245567B1 (en) * 2017-06-08 2017-12-13 裕 橋本 Virtual reality experience system
JP2018126341A (en) * 2017-02-08 2018-08-16 株式会社バンダイナムコエンターテインメント Simulation system and program
WO2018229996A1 (en) * 2017-06-16 2018-12-20 株式会社ハシラス Vr amusement ride apparatus
KR20190013204A (en) * 2017-08-01 2019-02-11 주식회사 유니브이알 Wind Simulation System based on Air Blending Phenomenon for Experience of Virtual Reality
US20220154964A1 (en) * 2020-11-16 2022-05-19 Mumarba LLC Artificial Breeze System

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05200163A (en) * 1992-01-29 1993-08-10 Mitsubishi Electric Corp Vehicle-simulation amusing apparatus
JPH10117309A (en) * 1996-10-08 1998-05-06 Yuu:Kk Video display device
JP2004306822A (en) * 2003-04-08 2004-11-04 Denso Corp Acoustic interlocking air-conditioner
JP2006352424A (en) * 2005-06-15 2006-12-28 Mitsubishi Electric Corp Image display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05200163A (en) * 1992-01-29 1993-08-10 Mitsubishi Electric Corp Vehicle-simulation amusing apparatus
JPH10117309A (en) * 1996-10-08 1998-05-06 Yuu:Kk Video display device
JP2004306822A (en) * 2003-04-08 2004-11-04 Denso Corp Acoustic interlocking air-conditioner
JP2006352424A (en) * 2005-06-15 2006-12-28 Mitsubishi Electric Corp Image display device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018126341A (en) * 2017-02-08 2018-08-16 株式会社バンダイナムコエンターテインメント Simulation system and program
JP6245567B1 (en) * 2017-06-08 2017-12-13 裕 橋本 Virtual reality experience system
JP2018202025A (en) * 2017-06-08 2018-12-27 裕 橋本 Virtual reality experience system
WO2018229996A1 (en) * 2017-06-16 2018-12-20 株式会社ハシラス Vr amusement ride apparatus
JPWO2018229996A1 (en) * 2017-06-16 2019-06-27 株式会社ハシラス Boarding device for VR amusement
KR20190013204A (en) * 2017-08-01 2019-02-11 주식회사 유니브이알 Wind Simulation System based on Air Blending Phenomenon for Experience of Virtual Reality
KR101980845B1 (en) * 2017-08-01 2019-05-21 주식회사 유니브이알 Wind Simulation System based on Air Blending Phenomenon for Experience of Virtual Reality
US20220154964A1 (en) * 2020-11-16 2022-05-19 Mumarba LLC Artificial Breeze System

Similar Documents

Publication Publication Date Title
US10819969B2 (en) Method and apparatus for generating media presentation content with environmentally modified audio components
US5990405A (en) System and method for generating and controlling a simulated musical concert experience
US5689570A (en) Sound reproducing array processor system
JP6959943B2 (en) Methods and Devices for Generating Virtual Reality or Augmented Reality Presentations Using 3D Audio Positioning
JP5992210B2 (en) Information processing program, information processing apparatus, information processing system, and information processing method
US6154553A (en) Sound bubble structures for sound reproducing arrays
US20070025560A1 (en) Audio processing method and sound field reproducing system
EP0710380A1 (en) An audio controlled computer-generated virtual environment
JP6246922B2 (en) Acoustic signal processing method
JP2022521244A (en) Hybrid speakers and converters
JP2007134939A (en) Speaker system and video display device
US11395089B2 (en) Mixing audio based on a pose of a user
JP2007307098A (en) Virtual space generator and method
WO2019098022A1 (en) Signal processing device and method, and program
JP2002171460A (en) Reproducing device
US5812675A (en) Sound reproducing array processor system
JP2007307097A (en) Virtual space generator, environmental wind measuring device and environmental wind recording/reproduction method
JP6646116B2 (en) Video / audio processing program and game device
JP6721399B2 (en) VR karaoke
JP2004081357A (en) Bodily feeling experiencing video/sound system
US10499178B2 (en) Systems and methods for achieving multi-dimensional audio fidelity
JPH0686400A (en) Sound image localization device
EP0885545A1 (en) Sound reproducing array processor system
KR100602040B1 (en) peripheral device automatic control system to be operated DVD player
Hughes Defining an Audio Production Pipeline for Mixed Reality

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120110