JP2007307098A - Virtual space generator and method - Google Patents
Virtual space generator and method Download PDFInfo
- Publication number
- JP2007307098A JP2007307098A JP2006138487A JP2006138487A JP2007307098A JP 2007307098 A JP2007307098 A JP 2007307098A JP 2006138487 A JP2006138487 A JP 2006138487A JP 2006138487 A JP2006138487 A JP 2006138487A JP 2007307098 A JP2007307098 A JP 2007307098A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- audio
- data
- blower fan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、ゲーム、ホームシアター、バーチャルリアリティなど、利用者に対して仮想空間を提供する仮想空間生成装置に関する。 The present invention relates to a virtual space generation device that provides a virtual space to a user, such as a game, a home theater, or a virtual reality.
近年、テレビの大型化や、DVD、高機能なゲーム機器の急激な普及にともない、家庭で映画やゲームを臨場感豊かに楽しむことが可能なホームシアターなどへの関心が高まっている。こうしたホームシアターやゲームに代表されるような仮想空間生成装置においては、リアルな映像に加えて、以下のような付加的な機能を提供することにより、より臨場感を高める試みがなされている。 In recent years, with the enlargement of televisions and the rapid spread of DVDs and high-performance game machines, there has been an increasing interest in home theaters that allow users to enjoy movies and games with a sense of realism at home. In such virtual space generation devices represented by home theaters and games, in addition to real images, attempts are made to enhance the sense of reality by providing the following additional functions.
たとえば、5.1chのサラウンドシステムを用いた立体音響や、利用者に対して振動を与える振動ユニットは、利用者に対して、より高い臨場感を提供するものである。また、遊技施設におけるアトラクションなどのエンターテイメントの分野では、映像に併せて客席が動くものや、ヘッドアクショントラッカーを内蔵し、ゲーム内の仮想空間を全方位見渡せるヘッドマウントディスプレイも実用化されている。 For example, stereophonic sound using a 5.1ch surround system and a vibration unit that applies vibration to the user provide a higher sense of realism to the user. Also, in the field of entertainment such as attractions in amusement facilities, a head-mounted display that can move the audience seats in accordance with the video and a head action tracker and can look around the virtual space in the game in all directions has been put into practical use.
さらに、こうした仮想空間生成装置に、送風用のファンを設けることにより、提供される仮想空間と同期して利用者に風圧を与え、よりリアルな環境を提供するこころみがなされている(たとえば、特許文献1〜3参照)。
本発明はこうした背景からなされたものであり、その統括的な目的は、利用者に風圧を与えることにより、臨場感の高い仮想空間生成技術を提供することにある。 The present invention has been made from such a background, and a general purpose thereof is to provide a virtual space generation technology with a high sense of presence by giving wind pressure to a user.
本発明のある態様は、利用者に対して、音声および映像の少なくとも一方を含む環境データを提供することにより、仮想空間を生成する仮想空間生成装置に関する。この仮想空間生成装置は、利用者に対して、環境データを提供する環境提供部と、利用者の想定位置の周囲に配置された少なくとも1つの送風用ファンと、環境提供部により利用者に提供される環境データに応じて、送風用ファンの回転数を制御する制御部と、を備える。 An aspect of the present invention relates to a virtual space generation device that generates a virtual space by providing environmental data including at least one of audio and video to a user. The virtual space generation device is provided to the user by an environment providing unit that provides environment data to the user, at least one blower fan disposed around the assumed position of the user, and the environment providing unit. A control unit that controls the rotational speed of the blower fan according to the environmental data.
「仮想空間生成装置」は、ホームシアター、ゲーム機器、バーチャルリアリティなどを含み、映像や音声を利用して利用者(被験者)に対して、ある空間を視聴させ、あるいは疑似体験させることが可能な装置をいう。
この態様によると、音声や映像など、あらかじめ用意された環境データをもとに、送風用ファンの回転数を制御し、利用者に与える風圧を制御することができるため、風圧の制御用に別途データを用意する必要がなくなり、仮想空間を再生するためのデータ容量を削減するとともに、臨場感の高い環境再生が可能となる。
The “virtual space generation device” includes a home theater, a game device, a virtual reality, and the like, and is a device that allows a user (subject) to view or simulate a space using video and audio. Say.
According to this aspect, since the rotation speed of the blower fan can be controlled on the basis of environmental data prepared in advance such as sound and video, the wind pressure applied to the user can be controlled. There is no need to prepare data, the data capacity for reproducing the virtual space can be reduced, and environment reproduction with a high presence can be realized.
環境データは音声データを含んでもよい。制御部は、環境提供部により再生すべき音声データを参照し、当該音声データが示す音量に応じて、送風用ファンの回転数を制御してもよい。
利用者が受ける風圧を、音量に対応付けることにより、音量が大きくなるほど、風圧を大きくすることができ、臨場感を高めることができる。
The environmental data may include audio data. The control unit may refer to the audio data to be reproduced by the environment providing unit and control the rotation speed of the blower fan according to the volume indicated by the audio data.
By associating the wind pressure received by the user with the volume, the wind pressure can be increased as the volume increases, and the sense of reality can be enhanced.
制御部は、音声データが示す音量が所定のしきい値を超えたとき、送風用ファンを回転せしめてもよい。この場合、映画などのコンテンツにおいて、台詞やバックミュージックなどの通常の音量で再生される音声によって風圧が変化するのを防止することができる。 The control unit may rotate the blower fan when the volume indicated by the audio data exceeds a predetermined threshold value. In this case, in a content such as a movie, it is possible to prevent the wind pressure from being changed by sound reproduced at a normal volume such as dialogue or back music.
制御部は、音声データが示す音量を量子化し、送風用ファンの回転数を段階的に切り換えてもよい。 The control unit may quantize the volume indicated by the audio data and switch the rotational speed of the blower fan in a stepwise manner.
制御部は、音声データにもとづいて生成されるオーディオ時間波形の絶対値を取得し、取得した絶対値をウェーブレット変換し、その結果得られた階段状の関数に応じて、送風用ファンの回転数を段階的に切り換えてもよい。 The control unit acquires the absolute value of the audio time waveform generated based on the audio data, wavelet transforms the acquired absolute value, and according to the step function obtained as a result, the rotation speed of the fan for blowing May be switched in stages.
送風用ファンは複数であって、利用者に対して異なる方向から送風可能に配置されており、環境提供部により再生される音声は、方向性を有するマルチチャンネル音声信号として用意されていてもよい。制御部は、複数の送風用ファンを、それぞれマルチチャンネル音声信号のいずれかに対応付け、各送風用ファンの回転数を、対応付けられたチャンネルの音声データに応じて制御してもよい。
この場合、5.1ch、7.1chなどのマルチチャンネルの音声情報を有する映画などのコンテンツを再生する際に、複数の送風用ファンの回転数を各チャンネルに対応させることにより、各送風用ファンからの風圧を好適に制御することができ、臨場感を高めることができる。
There are a plurality of fans for blowing, and the fans are arranged so as to be blown from different directions, and the sound reproduced by the environment providing unit may be prepared as a multi-channel sound signal having directionality. . The control unit may associate each of the plurality of blower fans with one of the multi-channel audio signals, and may control the number of rotations of each of the blower fans according to the sound data of the associated channel.
In this case, when reproducing contents such as movies having multi-channel audio information such as 5.1ch and 7.1ch, by rotating the rotation speeds of a plurality of blower fans to each channel, each blower fan The wind pressure from the can be suitably controlled, and the presence can be enhanced.
本発明の別の態様も、仮想空間生成装置に関する。この仮想空間生成装置は、利用者に対して、異なる方向から音声データを提供する複数のスピーカを含むスピーカシステムと、複数のスピーカごとに近接して設けられた複数の送風用ファンと、複数の送風用ファンのそれぞれの回転数を、近接するスピーカからの出力音量に従って制御する制御部と、を備える。この態様によれば、音声の伝搬方向と風の方向とが一致するため、臨場感の高い仮想空間を提供することができる。 Another aspect of the present invention also relates to a virtual space generation device. The virtual space generation device includes a speaker system including a plurality of speakers that provide audio data from different directions to a user, a plurality of blower fans provided close to each of the plurality of speakers, and a plurality of fans. A control unit that controls the number of rotations of each of the blower fans in accordance with an output sound volume from an adjacent speaker. According to this aspect, since the sound propagation direction and the wind direction coincide with each other, it is possible to provide a virtual space with high presence.
本発明の別の態様は、利用者に対して、音声および映像の少なくとも一方を含む環境データを提供することにより、仮想空間を生成する仮想空間生成方法に関する。この仮想空間提供方法は、利用者に対して、環境データを提供するステップと、環境データにもとづき、利用者の周囲に配置された少なくとも1つの送風用ファンの回転数を制御するステップと、を備える。 Another aspect of the present invention relates to a virtual space generation method for generating a virtual space by providing environmental data including at least one of audio and video to a user. The virtual space providing method includes a step of providing environmental data to a user, and a step of controlling the rotation speed of at least one blower fan arranged around the user based on the environmental data. Prepare.
この態様によると、音声や映像など、あらかじめ用意された環境データをもとに、送風用ファンの回転数を制御し、利用者に与える風圧を制御することができるため、風圧の制御用に別途データを用意する必要がなくなり、仮想空間を再生するためのデータ容量を削減するとともに、臨場感の高い環境再生が可能となる。 According to this aspect, since the rotation speed of the blower fan can be controlled on the basis of environmental data prepared in advance such as sound and video, the wind pressure applied to the user can be controlled. There is no need to prepare data, the data capacity for reproducing the virtual space can be reduced, and environment reproduction with a high presence can be realized.
なお、以上の構成要素の任意の組み合わせ、本発明の表現を、方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 Note that any combination of the above-described components and the expression of the present invention converted between a method, an apparatus, a system, a recording medium, a computer program, and the like are also effective as an aspect of the present invention.
本発明によれば、臨場感を高めた仮想空間生成技術を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the virtual space production | generation technique which raised the realism can be provided.
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。 The present invention will be described below based on preferred embodiments with reference to the drawings. The same or equivalent components, members, and processes shown in the drawings are denoted by the same reference numerals, and repeated descriptions are omitted as appropriate. The embodiments do not limit the invention but are exemplifications, and all features and combinations thereof described in the embodiments are not necessarily essential to the invention.
(第1の実施の形態)
図1は、第1の実施の形態に係る仮想空間生成装置100の構成を示す図である。仮想空間生成装置100は、家庭用のゲーム機器、映画視聴装置、あるいは遊技施設における遊技装置として利用することができる。仮想空間生成装置100は、中央に利用者200が位置するように構成される。本実施の形態に係る仮想空間生成装置100は、再生装置2、環境提供部10と、環境風再現装置20の3つのユニットを含んで構成される。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration of a virtual
再生装置2は、DVD(Digital Versatile Disc)プレイヤやテレビチューナ、ゲーム機器などであって、利用者200に提供すべき映像データや音声データを生成する。
The playback device 2 is a DVD (Digital Versatile Disc) player, a TV tuner, a game machine, or the like, and generates video data and audio data to be provided to the
環境提供部10は、利用者200に対して、音声および映像の少なくとも一方を含む環境データを提供するものである。本実施の形態において、環境提供部10は、音声と映像の両方の環境データを提供して、仮想空間を再現するものとする。環境提供部10は、たとえば、ヘッドマウントディスプレイ(Head Mount Display、以下、単にHMDという)12と、音声再生部14と、を含む。HMD12は、利用者200の頭部に固定され、利用者200の眼前に設けられたディスプレイに、映像を表示することにより、利用者200に環境データとしての映像情報を提供する。HMD12に換えて、スクリーン上に映像を投影するプロジェクタや、プラズマディスプレイや液晶ディスプレイなどを、映像表示手段として用いてもよい。
The
また、音声再生部14は、ヘッドホンなどであって、利用者200の頭部に固定され、利用者200の耳に、環境データとしての音声情報を与えることにより、臨場感を高めるために設けられる。HMD12、音声再生部14は、いずれも再生装置2に接続されており、再生装置2により生成された映像データおよび音声データがそれぞれ入力されている。
The
仮想空間生成装置100には、必要に応じて、コントローラ30、センサ32が設けられる。コントローラ30は、利用者200が仮想空間生成装置100を操作し、あるいは視点を切り替えたり、仮想空間生成装置100により提供される仮想空間内を移動するために用いられるインターフェースである。センサ32は、利用者200の一部、たとえば頭部に装着され、利用者200の位置や動きを検出するために設けられる。仮想空間生成装置100は、コントローラ30、センサ32により得られる情報に応じて、提供する仮想空間を制御してもよい。
The virtual
本実施の形態に係る仮想空間生成装置100は、映像および音声を含む環境データに加えて、利用者200に対して、環境風を提供することにより、さらに臨場感を高めることが可能となっている。環境風の提供のために、本実施の形態に係る仮想空間生成装置100は、環境風再現装置(ウィンドサラウンドシステム)20を備える。
The virtual
環境風再現装置20は、複数の送風用ファン22と、風圧制御部24と、を含む。
送風用ファン22は、利用者200に対して、少なくとも異なる3方向から送風、すなわち風圧を印加できるように、利用者200の想定位置の周囲に複数個、配置される。好ましくは、送風用ファン22は、利用者200の視点付近の高さに配置されていることが望ましく、利用者200が位置する地面と平行であって、かつ利用者200の視点を含む平面の上下20cmの範囲に配置されるのが望ましい。なぜなら、利用者200の頭部は、衣類に覆われていないため露出部分が多く、また、人間は頭髪に風を受けると、体感的に風圧を感知しやすいためである。送風用ファン22は、単相であると複相であるとを問わず、様々なモータのロータに、ファンを取り付けることにより構成することができる。
The environmental
A plurality of the
風圧制御部24は、複数の送風用ファン22の回転数を制御することによって、利用者200に対して印加する風圧を調節する。風圧制御部24は、パルス幅変調(Pulse Width Modulation)方式によって、送風用ファン22の回転数を制御してもよいし、リニア駆動してもよい。風圧制御部24は、あらかじめ用意された環境風再生用のデータに応じて、各送風用ファン22の回転数を制御してもよいし、あるいは、環境提供部10により提供される環境データ、すなわち映像データや音声データを、環境風再生用のデータに変換して、回転数を制御してもよい。この点については、後述の第2、第3の実施の形態において詳細に説明する。
また、仮想空間生成装置100が、利用者が2人以上存在するゲーム機器に使用されるような場合には、一方の利用者の操作に応じて、他方の利用者側の仮想空間生成装置100の送風用ファン22の回転数を制御しても良い。たとえば、一方の利用者側にエアフロセンサ(風量計)を設ける。この利用者がエアフロセンサに対して息を吹き込んで風圧を与えると、与えられた風圧に応じて、他方の利用者の送風用ファン22の回転数が制御され、風圧が与えられるように構成することも可能である。
The wind
In addition, when the virtual
図2は、環境風再現装置20の構成を示す図であって、利用者200の頭上から望んだ送風用ファン22の配置を示す図である。本実施の形態において、送風用ファン22は16個設けられおり、利用者200の想定位置を中心とした同一円心上に、等角度、すなわち22.5度間隔にて配置される。送風用ファン22は、いずれも利用者200に対向して設けられる。もっとも送風用ファン22の個数および配置形態はこれに限定されるものではない。風はベクトル的な合成が可能であるため、3つ以上の送風用ファンを異なる向きに配置することにより、利用者200に対して、任意の方向の風を再現することが可能となる。たとえば、3つの送風用ファン22を同一平面上に120度間隔に配置し、それぞれの風圧を適切に制御することにより、利用者200は、360度すべての方向から吹く風を体感することが可能となる。利用者200と各送風用ファン22の距離rは、送風用ファン22から得られる風圧に応じて決定すればよい。さらに、距離rは、利用者200の動作を妨げないように決定するのが好ましく、これらの観点から、r=0.5〜1.5mの範囲に、たとえば0.8〜1m程度に設定するのが好ましい。
FIG. 2 is a diagram illustrating the configuration of the environmental
また、環境風再現装置20は、図2に示す同一平面上に配置された複数の送風用ファン22に加えて、利用者200の上方、下方のいずれか一方あるいは両方に配置された送風用ファン22をさらに備えてもよい。なお、上方、下方に送風用ファン22を設ける場合、すべての送風用ファン22を利用者200を中心とした同一球面上に配置するのが望ましい。この場合、利用者200に対して、本仮想空間生成装置100の設置面と垂直方向となるZ軸方向の成分を含む風圧を印加可能となるため、上方から吹き下ろす風や、下方から吹き上げる風を再現することができ、より臨場感を高めることが可能となる。
In addition to the plurality of
以上のように構成された仮想空間生成装置100の動作について説明する。仮想空間生成装置100が映画などの再生に使用される場合、HMD12および音声再生部14には、再生装置2としてDVD(Digital Versatile Disc)プレイヤなどが接続され、利用者200がコントローラ30によって映画の再生を指示すると、HMD12に映像が表示されるとともに、音声再生部14からは音声が出力される。
The operation of the virtual
仮想空間生成装置100の環境風再現装置20は、環境提供部10により提供される映像、音声などの環境データに同期して、利用者200に対して風圧を与える。たとえば、利用者200が体感する仮想空間において、爆発が起こった場合には、送風用ファン22を強く回転させることにより、爆風を再現する。このとき、爆発が起こった方向に配置される送風用ファン22を駆動することにより、利用者200はあたかもその方向に実際に爆発が起こったかのような臨場感を味わうことができる。また、利用者200が視聴する映像において、風が吹いている場合には、風向に応じて、駆動する送風用ファン22を選択し、風量に応じて回転数を制御することにより、環境風を再現することができる。
The environmental
上述したように、各送風用ファン22の回転数を制御するためのデータは、映像、音声とともにディスクなどに保存されていてもよい。この場合、映画などのコンテンツ制作者が、映像、音声により再現される仮想空間に適した風向、風量に関するデータを作成する必要があるが、各場面に応じて最適な風量、風向を再現することができるため、臨場感の高い仮想空間を提供することができる。
As described above, the data for controlling the rotational speed of each
また、現在普及しているようなDVDに記録された映画などのコンテンツであって、風に関するデータを含まないコンテンツにもとづいて仮想空間を再現する場合には、映像データ、音声データに基づいて、風量や風向を制御してもよい。これについては、第3の実施の形態において後述する。 Also, when reproducing a virtual space based on content that does not include wind-related content such as a movie recorded on a DVD that is currently popular, based on video data and audio data, The air volume and direction may be controlled. This will be described later in the third embodiment.
仮想空間生成装置100がゲーム機器などに接続されて使用される場合には、環境風再現装置20により利用者200に与えられる風量、風向は、ゲーム機器における演算処理結果により得られるデータにもとづいてもよい。
When the virtual
このように、本実施の形態に係る仮想空間生成装置100によれば、映像や音声などの環境データに加えて、利用者200に対し環境風を与えることにより、より臨場感を高めることができる。本実施の形態では、利用者200の周囲に、異なる向きから送風可能な複数の送風用ファン22が設けられるため、利用者200は前後、左右など異なる方向からの環境風を体感することができる。また、各送風用ファン22の回転数を風圧制御部24によって制御することにより、利用者200が受ける風圧を、場面に応じて切り換えることができ、臨場感を高めることができる。
As described above, according to the virtual
(第2の実施の形態)
第2の実施の形態では、第1の実施の形態で説明した仮想空間生成装置100の環境風再現装置20において、送風用ファン22の回転数、すなわち風圧を制御するデータを提供する技術について説明する。
(Second Embodiment)
In the second embodiment, in the environmental
近年、文化遺産などの破壊、風化が社会問題となる中、こうした価値のある景観、建造物を、電子的に保存する試みがなされている。これは、保存対象をビデオカメラ等により記録したり、3次元的に測定し、解析することにより、電子的にアーカイブするものである。アーカイブされたデータは、コンピュータグラフィクス技術を利用して、大画面の表示装置やHMDなどの映像表示手段によって、仮想的に再現される。 In recent years, attempts have been made to electronically preserve such valuable landscapes and buildings as the destruction and weathering of cultural heritage have become a social issue. In this method, an object to be stored is recorded by a video camera or the like, or three-dimensionally measured and analyzed to be archived electronically. The archived data is virtually reproduced by a video display means such as a large screen display device or HMD using computer graphics technology.
本実施の形態で説明する技術は、映像情報に加えて、その環境において聴覚される音や、風、気温などを保存することにより、保存対象をより忠実にアーカイブすることを目的とするものである。たとえば、第1の実施の形態で説明した仮想空間生成装置100を利用することにより、映像、音、風をパラメータとして、保存対象を仮想的に再現することが可能となる。以下で説明する環境風測定装置300は、図1に示すように利用者200の周囲に配置された複数の送風用ファン22を備える環境風再現装置20おいて、取得した各方向の風量にもとづいて、送風用ファン22の回転数を制御することを前提として、環境風を取得し、そのデータを保存するものである。すなわち、本実施の形態に係る環境風測定装置300と、第1の実施の形態で説明した仮想空間生成装置100は、環境風を記録する記録装置と、記録された風を再生する再生装置として、一対のシステムを構成する。
The technology described in this embodiment is intended to archive the object to be stored more faithfully by storing sound, wind, temperature, and the like heard in the environment in addition to video information. is there. For example, by using the virtual
図3は、第2の実施の形態に係る環境風測定装置300の構成図である。環境風測定装置300は、6つの風量計40a〜40fと、記録装置42と、を備える。風量計は、気体の流量や風速を測定することが可能なデバイスであり、エアフロメータ(エアフロセンサ)など、さまざまな方式のものが市販されている。以下、風量計はエアフロセンサであるとして説明する。
FIG. 3 is a configuration diagram of the environmental
6つのエアフロセンサ40a〜40fは、互いに直交するX軸、Y軸、Z軸それぞれの正方向および負方向に向けて配置される。具体的には、エアフロセンサ40aは、X軸正方向に向かう風、エアフロセンサ40bは、X軸負方向に向かう風、エアフロセンサ40cは、Y軸正方向に向かう風、エアフロセンサ40dは、Y軸負方向に向かう風、エアフロセンサ40eは、Z軸正方向に向かう風、エアフロセンサ40fは、Z軸負方向に向かう風を検出する。各エアフロセンサ40は、それぞれに流れ込む風の風量に応じたデータを出力する。記録装置42は、エアフロセンサ40により取得された各方向の風量を、電子データとして保存する。なお、エアフロセンサ40a〜40fの配置はこれに限定されるものではなく、環境風測定装置300としてX軸、Y軸、Z軸それぞれの正負方向に吹く風の風量を検出できればよい。
The six
環境風測定装置300によって取得、保存されるデータは、X軸、Y軸、Z軸の正、負方向の風量に対応したものであり、これらをベクトル的に合成することにより、測定した環境風の向きおよび風量を知ることができる。環境風測定装置300によって、デジタル的に保存すべき現実の環境において、複数の環境風を測定することにより、異なる位置における風量、風向を保存することができる。
The data acquired and stored by the environmental
環境風測定装置300により取得されたデータは、図1に示すような仮想空間生成装置100によって再生される。仮想空間生成装置100のHMD12は、仮想空間における利用者200の位置する座標、向きに存在する建造物や景色が表示されている。HMD12に表示される映像は、利用者200が、コントローラ30によって移動を指示し、あるいは視点方向の切り替えがセンサ32によって検出されるたびに更新される。
Data acquired by the environmental
環境風再現装置20は、仮想空間内における利用者200の位置、向きに応じて、図3の環境風測定装置300により取得した電子データにもとづいて、必要な風量、風向が得られるように、送風用ファン22を選択し、その回転数を制御する。
The environmental
本実施の形態に係る環境風測定装置300によれば、仮想空間生成装置100によって再生される映像や音声とともに、再生すべき環境風を、取得、保存することができ、後に利用者200に対して仮想空間を提供する際に、実際に測定した環境風を利用者200に与えることができるため、臨場感を高めることができる。
According to the environmental
(第3の実施の形態)
第3の実施の形態は、仮想空間生成装置の環境風再現装置において、送風用ファン22の回転数を、映像データや音声データなどの環境データに応じて制御する技術について説明する。
(Third embodiment)
The third embodiment describes a technique for controlling the rotational speed of the
第3の実施の形態に係る仮想空間生成装置100は、図1に示す仮想空間生成装置100と同様に構成することができる。仮想空間生成装置100は、利用者200に対して、音声および映像の少なくとも一方を含む環境データと、風圧を提供することにより、仮想空間を提供する点で、図1の仮想空間生成装置100と共通する。仮想空間生成装置100は、利用者200に対して、環境データを提供する環境提供部10と、環境風再現装置20と、を備える。
The virtual
環境風再現装置20は、送風用ファン22と、風圧制御部24と、含む。第1の構成例においては、送風用ファン22は、利用者200の周囲に少なくとも1つ設けられていればよい。風圧制御部24は、風圧制御部24は、環境提供部10により利用者200に提供される環境データに応じて、送風用ファン22の回転数を制御する。
The environmental
ある実施例において、風圧制御部24は、環境提供部10の音声再生部14により再生すべき音声データAUDを参照し、音声データAUDが示す音量に応じて、送風用ファン22の回転数を制御してもよい。図4は、第3の実施の形態に係る風圧制御部24の構成例を示す図である。風圧制御部24は、音声データ入力部50と、音声データ解析部52と、回転制御部54と、を備える。
In an embodiment, the wind
音声データ入力部50は、環境提供部10の音声再生部14から出力される音声データAUDを取得し、音声データ解析部52へと出力する。音声データ解析部52は入力された音声データAUDを解析して、送風用ファン22の回転数、すなわち利用者200に与えるべき風圧を設定する。音声データ解析部52は、設定した回転数を、回転制御部54に指示する。回転制御部54は、送風用ファン22を指示された回転数で駆動する。
The audio data input unit 50 acquires the audio data AUD output from the
音声データ解析部52における音声データAUDにもとづく送風用ファン22の回転数の設定方法について説明する。図5(a)〜(c)は、風圧制御部24が送風用ファン22の回転数の設定する様子を示す波形図である。この例では、風圧制御部24は、音声データAUDを量子化し、送風用ファンの回転数を段階的に切り換える。図5(a)は、音声再生部14から再生される音声波形を、同図(b)は、同図(a)の絶対値を、同図(c)は同図(b)の波形をウェーブレット変換した波形を、示す。
A method for setting the rotational speed of the
音声データ解析部52は、図5(b)に示すように、図5(a)に示す入力された音声データAUDの時間波形データの絶対値を取得する。次いで、得られた絶対値をウェーブレット変換し、平滑化するとともに量子化する。図5(c)は、マザーウェーブレットとして、Haar関数を利用した場合を示すが、これに限定されるものではなく、他の関数を利用してもよい。また、ウェーブレット変換を用いずに、図5(b)に示す絶対値をフィルタにより平滑化した後に、量子化してもよい。図5(c)に示す量子化されたデータに応じて、回転制御部54は、送風用ファン22の回転数を設定する。送風用ファン22は、量子化されたデータにもとづいて、PWM駆動する際のパルス幅を設定してもよい。この例では、送風用ファン22の回転数を段階的に切り換える場合について説明したが、連続的に切り換えてもよい。この場合、図(b)に示す絶対値をフィルタにより平滑化したデータにもとづいて、送風用ファン22をリニア駆動すればよい。
As shown in FIG. 5B, the voice data analysis unit 52 acquires the absolute value of the time waveform data of the input voice data AUD shown in FIG. Next, the obtained absolute value is wavelet transformed, smoothed and quantized. FIG. 5C shows the case where the Haar function is used as the mother wavelet, but the present invention is not limited to this, and other functions may be used. Further, the absolute values shown in FIG. 5B may be quantized after being smoothed by a filter without using the wavelet transform. In accordance with the quantized data shown in FIG. 5C, the
本実施の形態において、音声データ解析部52は、音声データAUDが示す音量が所定のしきい値を超えたとき、送風用ファン22を回転させてもよい。この場合、利用者200が映画などを視聴する場合に、映像のバックで小音量にて流れるバックグラウンドミュージックや通常の音量の台詞などによって、送風用ファン22が回転するのを防止することができる。爆風にともなう爆発音や、強風にともなう風の音など、風が発生するシーンでは、比較的大きな音声が発生する傾向があるため、しきい値を設けて送風用ファン22の回転の有無を変更する処理は有効である。
In the present embodiment, the sound data analysis unit 52 may rotate the
このように、予め用意された音声信号にもとづいて送風用ファン22の回転数を制御することにより、風圧の制御用に別途データを用意する必要がなくなり、仮想空間を再生するためのデータ容量を削減するとともに、臨場感の高い環境再生が可能となる。また、経験的に、大きな風圧が発生するシーンでは、大きな音声が再生される場合が多いため、音声と風圧を関連づけることにより、臨場感の高い仮想空間を生成することができる。
In this way, by controlling the rotation speed of the
音声データ解析部52における処理は、音声データAUDの種類に応じて変更してもよい。たとえば、音声再生部14から出力される音声が、モノラル信号などである場合、1つのオーディオ信号の振幅に応じて、送風用ファン22の回転数を制御することになる。
The processing in the audio data analysis unit 52 may be changed according to the type of the audio data AUD. For example, when the sound output from the
また、より臨場感の高い仮想空間を生成するために、以下のような制御を実行してもよい。たとえば、仮想空間生成装置100によって、利用者200に、「通常」の状態、「吹雪」の状態、「雨」の状態、「砂浜」の状態など、異なる状態、あるいはフィールドが提供されるとする。この場合に、各状態に応じて、風量や風向に対するパラメータを予め決定しておき、送風用ファン22の回転数を制御しても良い。
Further, in order to generate a virtual space with higher presence, the following control may be executed. For example, it is assumed that the virtual
図6は、状態に応じたパラメータの設定例を示す図である。この設定例では、音声データを解析して得られた風量に対して、状態ごとに設定された倍率(風圧倍率)を乗じて、最終的な風圧を設定する。また、状態毎に、風向を設定しておき、設定された風向が得られるように、複数の送風用ファン22を駆動する。図6の例では、「通常」の状態では、風圧は発生させない。「砂浜」の状態では、音声データを解析して得られた風量に0.8を乗じた風量が得られるように、送風用ファン22の回転数を低減する。また、「砂浜」の状態では、風向は固定されている。「雨」や「吹雪」の状態では、風向が全方向に指定され、すべての送風用ファン22が駆動される。また、「吹雪」の状態では、風圧倍率が高く設定される。
このように、仮想空間で生成される状態やフィールドに応じて、風圧を調節するパラメータや、風向を設定するパラメータを設定しておくことにより、音量のみをパラメータとして風量を設定した場合に比べて、より臨場感を高めることが可能となる。
FIG. 6 is a diagram illustrating an example of setting parameters according to the state. In this setting example, the final wind pressure is set by multiplying the air volume obtained by analyzing the audio data by the magnification (wind pressure magnification) set for each state. Further, a wind direction is set for each state, and the plurality of
In this way, by setting the parameter for adjusting the wind pressure and the parameter for setting the wind direction according to the state and field generated in the virtual space, compared with the case where the air volume is set with only the volume as the parameter, , It becomes possible to enhance the presence.
環境提供部10の音声再生部14が5.1チャンネルや7.1チャンネルなどのマルチチャンネルとして知られる音声再生を行う場合、利用者200は前後左右などの様々な方向からの音声を知覚することができ、さらに臨場感の高い環境が提供される。この場合、図1の環境提供部10は、音声再生部14に換えて、複数のスピーカを備えて構成するのが望ましい。この場合、利用者200の周囲に配置されたスピーカからは、利用者200に対して異なる方向から音声が出力される。
When the
風圧制御部24は、利用者200の周囲に設けられた複数の送風用ファン22を、それぞれ複数のスピーカのいずれかに対応付ける。対応付けは、利用者200からみた送風用ファン22の方向と、スピーカの方向とが、一致するように行うのが好ましい。たとえば、5.1チャンネルの音声を再生するマルチチャンネル音響システムの場合、利用者200からみて左前、正面、右前に配置される送風用ファン22を、レフト、センター、ライトスピーカそれぞれに対応付ける。同様に、利用者200からみて右後方、左後方に配置される送風用ファン22を、サラウンドライト、サラウンドレフトの各スピーカに対応付ける。風圧制御部24の音声データ解析部52は、各送風用ファン22の回転数を、対応付けられたスピーカから再生すべき音声データに応じて制御する。各送風用ファン22の回転数は、上述したように各チャンネルごとの音量にもとづいて設定すればよい。
The wind
このように、マルチチャンネルの音声再生を行う場合に、音声情報の方向性を、送風用ファン22の制御に利用することにより、さらに臨場感の高い仮想空間を提供することが可能となる。たとえば、仮想空間内において、利用者200の右前方向で爆発が起こった場合、フロントライトのスピーカから爆発音が再生される。この場合、フロントライトのスピーカに対応付けられた送風用ファン22、すなわち、利用者200の右前に配置される送風用ファン22が、音量に応じた回転数で回転することになる。その結果、利用者200は、右前方向から、すなわち爆発が発生した方向から風圧を受けることになるため、臨場感を高めることができる。
As described above, when multi-channel audio reproduction is performed, it is possible to provide a virtual space with a higher sense of presence by using the directionality of the audio information for the control of the
なお、仮想空間生成装置100は、音声再生部14として、必ずしもマルチチャンネル対応のスピーカを備えている必要はなく、音声再生部14により再生される音声データとして、マルチチャンネルのものが用意されていれば、複数の送風用ファン22を、各チャンネルに対応付けることにより同様の処理を行うことが可能である。
Note that the virtual
第3の実施の形態では、風圧制御部24は、環境データとしての音声データにもとづいて、送風用ファン22の回転数を制御する場合について説明したが、本発明はこれには限定されない。たとえば、風圧制御部24は、環境データとしての映像データにもとづいて送風用ファン22の回転数を制御してもよい。映像データにもとづいて回転数を制御する場合、映像データの複数のフレームを比較し、画像の動きの大きさを取得し、取得したデータにもとづいて回転数を制御してもよい。
In the third embodiment, the case where the wind
以上、実施の形態を説明した。実施の形態は例示であり、さまざまな変形例が可能であり、そうした変形例も本発明に含まれることは当業者に理解されるところである。 The embodiment has been described above. The embodiments are exemplifications, and various modifications are possible, and those skilled in the art will understand that such modifications are also included in the present invention.
10 環境提供部、 12 HMD、 14 音声再生部、 20 環境風再現装置、 22 送風用ファン、 24 風圧制御部、 26 送風用ファン、 30 コントローラ、 32 センサ、 40 エアフロセンサ、 42 記録装置、 50 音声データ入力部、 52 音声データ解析部、 54 回転制御部、 100 仮想空間生成装置、 200 利用者、 300 環境風測定装置。
DESCRIPTION OF
Claims (9)
前記利用者の想定位置の周囲に配置された少なくとも1つの送風用ファンと、
前記環境提供部により前記利用者に提供される前記環境データに応じて、前記送風用ファンの回転数を制御する制御部と、
を備えることを特徴とする仮想空間生成装置。 An environment providing unit that provides environmental data including at least one of audio and video to a user;
At least one blower fan disposed around an assumed position of the user;
A control unit for controlling the rotational speed of the blower fan according to the environmental data provided to the user by the environment providing unit;
A virtual space generation device comprising:
前記制御部は、前記環境提供部により再生すべき音声データを参照し、当該音声データが示す音量に応じて、前記送風用ファンの回転数を制御することを特徴とする請求項1に記載の仮想空間生成装置。 The environmental data includes audio data,
The said control part refers to the audio | voice data which should be reproduced | regenerated by the said environment provision part, and controls the rotation speed of the said fan for ventilation according to the sound volume which the said audio | voice data show. Virtual space generation device.
前記環境提供部により再生される音声は、方向性を有するマルチチャンネル音声信号として用意されており、
前記制御部は、複数の送風用ファンを、それぞれ前記マルチチャンネル音声信号のいずれかのチャンネルに対応付け、各送風用ファンの回転数を、対応付けられたチャンネルの音声データに応じて制御することを特徴とする請求項1に記載の仮想空間生成装置。 There are a plurality of the fans for blowing, and the fans are arranged so as to blow air from different directions,
The audio reproduced by the environment providing unit is prepared as a multi-channel audio signal having directionality,
The control unit associates a plurality of blower fans with any one of the channels of the multi-channel audio signal, and controls the rotation speed of each blower fan according to the audio data of the associated channel. The virtual space generation device according to claim 1.
前記複数のスピーカごとに近接して配置された複数の送風用ファンと、
前記複数の送風用ファンのそれぞれの回転数を、近接するスピーカからの出力音量に従って制御する制御部と、
を備えることを特徴とする仮想空間生成装置。 A speaker system including a plurality of speakers for providing audio data from different directions to a user;
A plurality of blower fans arranged close to each of the plurality of speakers;
A control unit that controls the number of rotations of each of the plurality of fans for blowing according to an output volume from an adjacent speaker;
A virtual space generation device comprising:
前記環境データにもとづき、前記利用者の想定位置の周囲に配置された少なくとも1つの送風用ファンの回転数を制御するステップと、
を備えることを特徴とする仮想空間再生方法。 Providing environmental data including at least one of audio and video to a user;
Controlling the number of rotations of at least one blower fan arranged around the assumed position of the user based on the environmental data;
A virtual space reproduction method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006138487A JP2007307098A (en) | 2006-05-18 | 2006-05-18 | Virtual space generator and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006138487A JP2007307098A (en) | 2006-05-18 | 2006-05-18 | Virtual space generator and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007307098A true JP2007307098A (en) | 2007-11-29 |
Family
ID=38840505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006138487A Pending JP2007307098A (en) | 2006-05-18 | 2006-05-18 | Virtual space generator and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007307098A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6245567B1 (en) * | 2017-06-08 | 2017-12-13 | 裕 橋本 | Virtual reality experience system |
JP2018126341A (en) * | 2017-02-08 | 2018-08-16 | 株式会社バンダイナムコエンターテインメント | Simulation system and program |
WO2018229996A1 (en) * | 2017-06-16 | 2018-12-20 | 株式会社ハシラス | Vr amusement ride apparatus |
KR20190013204A (en) * | 2017-08-01 | 2019-02-11 | 주식회사 유니브이알 | Wind Simulation System based on Air Blending Phenomenon for Experience of Virtual Reality |
US20220154964A1 (en) * | 2020-11-16 | 2022-05-19 | Mumarba LLC | Artificial Breeze System |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05200163A (en) * | 1992-01-29 | 1993-08-10 | Mitsubishi Electric Corp | Vehicle-simulation amusing apparatus |
JPH10117309A (en) * | 1996-10-08 | 1998-05-06 | Yuu:Kk | Video display device |
JP2004306822A (en) * | 2003-04-08 | 2004-11-04 | Denso Corp | Acoustic interlocking air-conditioner |
JP2006352424A (en) * | 2005-06-15 | 2006-12-28 | Mitsubishi Electric Corp | Image display device |
-
2006
- 2006-05-18 JP JP2006138487A patent/JP2007307098A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05200163A (en) * | 1992-01-29 | 1993-08-10 | Mitsubishi Electric Corp | Vehicle-simulation amusing apparatus |
JPH10117309A (en) * | 1996-10-08 | 1998-05-06 | Yuu:Kk | Video display device |
JP2004306822A (en) * | 2003-04-08 | 2004-11-04 | Denso Corp | Acoustic interlocking air-conditioner |
JP2006352424A (en) * | 2005-06-15 | 2006-12-28 | Mitsubishi Electric Corp | Image display device |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018126341A (en) * | 2017-02-08 | 2018-08-16 | 株式会社バンダイナムコエンターテインメント | Simulation system and program |
JP6245567B1 (en) * | 2017-06-08 | 2017-12-13 | 裕 橋本 | Virtual reality experience system |
JP2018202025A (en) * | 2017-06-08 | 2018-12-27 | 裕 橋本 | Virtual reality experience system |
WO2018229996A1 (en) * | 2017-06-16 | 2018-12-20 | 株式会社ハシラス | Vr amusement ride apparatus |
JPWO2018229996A1 (en) * | 2017-06-16 | 2019-06-27 | 株式会社ハシラス | Boarding device for VR amusement |
KR20190013204A (en) * | 2017-08-01 | 2019-02-11 | 주식회사 유니브이알 | Wind Simulation System based on Air Blending Phenomenon for Experience of Virtual Reality |
KR101980845B1 (en) * | 2017-08-01 | 2019-05-21 | 주식회사 유니브이알 | Wind Simulation System based on Air Blending Phenomenon for Experience of Virtual Reality |
US20220154964A1 (en) * | 2020-11-16 | 2022-05-19 | Mumarba LLC | Artificial Breeze System |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10819969B2 (en) | Method and apparatus for generating media presentation content with environmentally modified audio components | |
US5990405A (en) | System and method for generating and controlling a simulated musical concert experience | |
US5689570A (en) | Sound reproducing array processor system | |
JP6959943B2 (en) | Methods and Devices for Generating Virtual Reality or Augmented Reality Presentations Using 3D Audio Positioning | |
JP5992210B2 (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
US6154553A (en) | Sound bubble structures for sound reproducing arrays | |
US20070025560A1 (en) | Audio processing method and sound field reproducing system | |
EP0710380A1 (en) | An audio controlled computer-generated virtual environment | |
JP6246922B2 (en) | Acoustic signal processing method | |
JP2022521244A (en) | Hybrid speakers and converters | |
JP2007134939A (en) | Speaker system and video display device | |
US11395089B2 (en) | Mixing audio based on a pose of a user | |
JP2007307098A (en) | Virtual space generator and method | |
WO2019098022A1 (en) | Signal processing device and method, and program | |
JP2002171460A (en) | Reproducing device | |
US5812675A (en) | Sound reproducing array processor system | |
JP2007307097A (en) | Virtual space generator, environmental wind measuring device and environmental wind recording/reproduction method | |
JP6646116B2 (en) | Video / audio processing program and game device | |
JP6721399B2 (en) | VR karaoke | |
JP2004081357A (en) | Bodily feeling experiencing video/sound system | |
US10499178B2 (en) | Systems and methods for achieving multi-dimensional audio fidelity | |
JPH0686400A (en) | Sound image localization device | |
EP0885545A1 (en) | Sound reproducing array processor system | |
KR100602040B1 (en) | peripheral device automatic control system to be operated DVD player | |
Hughes | Defining an Audio Production Pipeline for Mixed Reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120110 |