JP2016201817A - Information processing system, control method thereof, and program; and information processing device, control method thereof, and program - Google Patents

Information processing system, control method thereof, and program; and information processing device, control method thereof, and program Download PDF

Info

Publication number
JP2016201817A
JP2016201817A JP2016134810A JP2016134810A JP2016201817A JP 2016201817 A JP2016201817 A JP 2016201817A JP 2016134810 A JP2016134810 A JP 2016134810A JP 2016134810 A JP2016134810 A JP 2016134810A JP 2016201817 A JP2016201817 A JP 2016201817A
Authority
JP
Japan
Prior art keywords
position
user
voice
means
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016134810A
Other languages
Japanese (ja)
Other versions
JP6323505B2 (en
Inventor
幸大 鬼丸
Yukihiro Onimaru
幸大 鬼丸
Original Assignee
キヤノンマーケティングジャパン株式会社
Canon Marketing Japan Inc
キヤノンItソリューションズ株式会社
Canon It Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013266203 priority Critical
Priority to JP2013266203 priority
Priority to JP2014174718 priority
Priority to JP2014174718 priority
Application filed by キヤノンマーケティングジャパン株式会社, Canon Marketing Japan Inc, キヤノンItソリューションズ株式会社, Canon It Solutions Inc filed Critical キヤノンマーケティングジャパン株式会社
Publication of JP2016201817A publication Critical patent/JP2016201817A/en
Application granted granted Critical
Publication of JP6323505B2 publication Critical patent/JP6323505B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a mechanism capable of reproducing a voice uttered by a user in consideration of a virtual-space position which is specified according to a real-space position of the user.SOLUTION: An information processing system specifies, on the basis of the real-space position of a user who has uttered a voice and the real-space position of a user different from the user, each of the positions in a virtual space; determines parameters (sound volume and the like) for reproducing the voice on the basis of the specified positions in the virtual space; and reproduces the voice to the user different from the user who has uttered the voice, by using the parameters.SELECTED DRAWING: Figure 9

Description

本発明は、複合現実感(Mixed Reality)技術に関し、特に現実空間上のユーザの位置に応じて特定される仮想空間上の位置を考慮して、ユーザが発した音声を再生することの可能な情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラムに関する。 The present invention relates to a mixed reality (Mixed Reality) technique, such especially considering the position on the virtual space specified according to a user's position on the real space, possible to reproduce the sound generated by a user the information processing system, a control method, and program, and an information processing apparatus, a control method, and a program.

従来、ヘッドマウントディスプレイ(以下、HMDという。)やスマートフォンで撮影した現実の世界(以下、現実空間という。)の画像に、コンピュータで生成された仮想の世界(以下、仮想空間という。)の画像を重畳させて、HMDやスマートフォンの画面に表示する技術が存在する。 Traditional, head-mounted display (hereinafter, HMD that.) And of the photographed reality in the smartphone world in the image of (hereinafter referred to as the real space.), A virtual world generated by the computer image of (hereinafter referred to as the virtual space.) by superimposing the, techniques exist to be displayed on the screen of the HMD and smartphones. この技術は例えば、複合現実感(Mixed Reality、以下、MRという。)技術や拡張現実感(Augmented Reality)技術などである。 This technique is for example, a mixed reality (Mixed Reality, hereinafter, MR referred.) Technology and Augmented Reality (Augmented Reality) technique, and the like.

このMR技術を用いて、複数の拠点にいるユーザが同一の仮想空間を閲覧する仕組みが考えられている。 Using this MR technology, users at multiple sites is considered a mechanism to view the same virtual space. これは、同一の仮想空間を拠点ごとに用意し、MR技術を用いて当該仮想空間を同時に閲覧するものである。 This allows the same virtual space prepared for each site, in which at the same time viewing the virtual space using the MR technique. この仕組みにおいて他拠点のユーザとコミュニケーションを行う場合には、音声チャットや電話会議等の音声通信を用いる。 When performing user and communication other sites in this mechanism uses voice communication such as voice chat or teleconferencing. ところが、複数のユーザの音声が他拠点のユーザに対して一斉に送信される場合、この音声を受信したユーザには複数の音声が一斉に再生されることになるので、当該ユーザは再生された音声が誰の音声なのかを聞き分けることが難しいという問題がある。 However, if the voice of a plurality of users are transmitted simultaneously to the user of the other base, since the user receiving the voice so that the plurality of sound are reproduced simultaneously, the user is played there is a problem that it is difficult to discern whether the voice is whose voice are.

そこで下記の特許文献1では、ユーザごとの位置を仮想空間上にあらかじめ設定しておき、発話者と他のユーザとの位置関係に応じた聞こえ方で、他のユーザに音声を再生する仕組みが開示されている。 Therefore, in the following Patent Document 1, set in advance the position of each user in the virtual space, in the way heard in accordance with the positional relationship between the speaker and the other user, a mechanism for reproducing audio to other users It has been disclosed. 更には、誰から誰に話しかけているのかを検出し、話しかけている相手に対しては音量を大きくして再生する。 Furthermore, it is detected whether or not the Who from're talking to who, against are talking partner to play to increase the volume. この従来技術によれば、発話した音声を聞き分けることが容易となり、会話の内容を把握しやすくすることができる。 According to this prior art, it is easy to discern the voice uttered, it is possible to easily recognize the contents of the conversation.

特開2001−274912号公報 JP 2001-274912 JP

ところで、MR技術では、HMDを装着したユーザが仮想空間を自由に歩き回ることができる。 By the way, in the MR technology, the user wearing the HMD can roam freely in the virtual space. これを実現するためにMR技術では、HMDを装着したユーザの現実空間における位置及び姿勢を取得し、取得した位置及び姿勢から仮想空間における位置及び姿勢を特定し、特定した位置及び姿勢から見た仮想空間をユーザに提示している。 The MR technique in order to achieve this, obtains the position and orientation in physical space of the user who wears the HMD, to identify the position and orientation in the virtual space from the acquired position and orientation, as seen from the specified position and orientation It presents a virtual space to the user. これにより、ユーザは自由な位置から仮想空間を閲覧することができる。 Thus, the user can view the virtual space from a free position. これは、複数の拠点の各ユーザがMR技術を用いて同一の仮想空間を閲覧する場合も同様である。 This is also the case where each user of the plurality of locations to view the same virtual space by using MR techniques.

つまり、MR技術を用いると、仮想空間におけるユーザの位置は現実空間におけるユーザの動作に応じて変化してしまう。 In other words, the use of MR technology, the position of the user in the virtual space varies in response to a user operation in real space. そのため、複数の拠点の各ユーザがMR技術を用いて同一の仮想空間を閲覧する場合に特許文献1の仕組みを利用したとしても、あらかじめ設定された仮想空間上のユーザの位置と、仮想空間上の現在のユーザの位置との間にずれが生じてしまう問題がある。 Therefore, even if each user of the plurality of bases using the mechanism of Patent Document 1 when viewing the same virtual space using MR technology, the position of the user in the virtual space that is set in advance, the virtual space on there is a problem that deviation occurs between the position of the current user.

更に、ユーザが現実空間を自由に移動できるということは、特許文献1のように仮想空間上のユーザ間の距離は等間隔ではない。 Furthermore, the user is that can move freely physical space, the distance between the user in the virtual space as in Patent Document 1 is not at regular intervals. 現実空間では発話者との距離に応じて音声の聞こえ方、すなわち音量が変化するはずであるから、どの音声も均一な音量で再生するとユーザに違和感を生じさせてしまう問題もある。 How hear the voice in accordance with the distance between the speaker in the real space, that since volume should change, there is any audio even it would cause discomfort to the user to play at a uniform volume problem.

そこで本発明の目的は、現実空間上のユーザの位置に応じて特定される仮想空間上の位置を考慮して、ユーザが発した音声を再生することの可能な仕組みを提供することである。 It is an object of the present invention, in consideration of the position on the virtual space specified according to a user's position on the real space, it is to provide a possible mechanism for reproducing the sound generated by a user.

上記の目的を達成するために本発明の情報処理システムは、ユーザが発した音声を示す音声データを取得する音声取得手段と、前記音声を発したユーザの現実空間上の位置と、当該ユーザとは異なるユーザの現実空間上の位置とを取得する位置取得手段と、前記位置取得手段で取得した現実空間上のそれぞれの位置に基づいて、前記音声を発したユーザの仮想空間上の位置と、当該ユーザとは異なるユーザの仮想空間上の位置とを特定する位置特定手段と、前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音声取得手段で取得した音声データを再生する際のパラメータを決定するパラメータ決定手段と、前記音声を発したユーザとは異なるユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて The information processing system of the present invention to achieve the above object, a voice acquisition means for acquiring speech data representing a speech generated by a user, the position on the real space of the user having issued the voice, and the user and is different from the position acquiring means for acquiring the position on the real space of the user, based on the respective position on the real space acquired by the position acquisition means, the position in the virtual space of the user having issued the voice, a position specifying means for specifying a position in the virtual space of the different users from the user, based on the respective positions in the virtual space identified by the position specifying means, reproducing the audio data acquired by the voice acquisition means and parameter determining means for determining a parameter for, for different users from the user having issued the voice, by using the parameter determined by said parameter determining means 記音声取得手段で取得した音声データを再生する音声再生手段とを備えることを特徴とする。 Serial characterized in that it comprises a sound reproducing means for reproducing the audio data acquired by the voice acquisition means.

本発明によれば、現実空間上のユーザの位置に応じて特定される仮想空間上の位置を考慮して、ユーザが発した音声を再生することの可能な効果を奏する。 According to the present invention, in consideration of the position on the virtual space specified according to a user's position on the real space exhibits the possible effect of reproducing audio generated by a user.

本発明の実施形態における遠隔MRシステムのシステム構成の一例を示す図である。 It is a diagram illustrating an example of a system configuration of the remote MR system in the embodiment of the present invention. 各拠点に構成されるMRシステムのシステム構成の一例を示す図である。 Is a diagram illustrating an example of a system configuration of the MR system configured to each site. 情報処理装置101、サーバ装置102のハードウェア構成の一例を示す図である。 The information processing apparatus 101 is a diagram showing an example of a hardware configuration of the server device 102. 情報処理装置101、サーバ装置102の機能構成の一例を示す図である。 The information processing apparatus 101 is a diagram showing an example of the functional configuration of the server device 102. 遠隔MRシステムで同一の仮想空間を閲覧している様子の一例を示す図である。 Remote MR system is a diagram illustrating an example of a state in which viewing the same virtual space. 情報処理装置101が取得したユーザの位置及び姿勢と、ユーザが発した音声とをサーバ装置102に送信する処理のフローチャートの一例を示す図である。 It shows the position and orientation of the user information processing apparatus 101 acquires, an example of a flowchart of a process for transmitting a voice generated by a user to the server apparatus 102. 位置姿勢音声テーブル700のテーブル構成の一例を示す図である。 It is a diagram showing an example of a table configuration of a position and orientation speech table 700. 他の拠点の情報処理装置101から送信されたユーザの音声の音量を決定する処理のフローチャートの一例を示す図である。 Is a diagram illustrating an example of a flowchart of a process for determining the volume of voice of the user transmitted from the information processing apparatus 101 of the other bases. 仮想空間上に設定された音源から発した音声の音量が減衰しない範囲と、当該音源と当該音声を聞くユーザとの距離の一例を示す図である。 A range in which the volume of the sound emitted from the set in the virtual space sound source is not attenuated, a diagram illustrating an example of a distance between the user to listen to the sound source and the sound. 仮想空間におけるユーザ間の距離や音量を減少させる割合を算出するための式の一例を示す図である。 Is a diagram illustrating an example of a formula for calculating the percentage of reducing the distance or volume between users in the virtual space. 遠隔MRシステムで同一の仮想空間を閲覧している様子の一例を示す図である。 Remote MR system is a diagram illustrating an example of a state in which viewing the same virtual space. 遠隔MRシステムで同一の仮想空間を閲覧している様子の一例を示す図である。 Remote MR system is a diagram illustrating an example of a state in which viewing the same virtual space. 第2の実施形態における、他の拠点の情報処理装置101から送信されたユーザの音声の音量を決定する処理のフローチャートの一例を示す図である。 In the second embodiment, showing an example of a flowchart of a process for determining the volume of voice of the user transmitted from the information processing apparatus 101 of the other bases. 仮想音源設定処理のフローチャートの一例を示す図である。 Is a diagram illustrating an example of a flowchart of the virtual sound source setting process. 発声したユーザの位置及び姿勢に応じて、当該ユーザの前方に音源が設定される場合の一例を示す図である。 Depending on the utterance to the position and posture of the user and is a diagram showing an example of a case where a sound source in front of the user is set. 音量バランス調整処理のフローチャートの一例を示す図である。 Is a diagram illustrating an example of a flowchart of the sound volume balance adjustment process. 右耳側と左耳側に再生する音声の音量を算出するための式の一例を示す図である。 It is a diagram illustrating an example of a formula for calculating the volume of the sound to play in the right ear side and the left ear side.

以下、図面を参照しながら、本発明の実施形態の一例について説明する。 Hereinafter, with reference to the drawings to describe an example embodiment of the present invention.

図1は、本発明の実施形態における遠隔MRシステムのシステム構成の一例を示す図である。 Figure 1 is a diagram illustrating an example of a system configuration of the remote MR system in the embodiment of the present invention. 図1に示す遠隔MRシステムは、MR技術を用いて、複数の拠点のユーザに同一の仮想空間を閲覧させるシステムである。 Remote MR system shown in Figure 1, using MR technology, a system for viewing the same virtual space to a user of a plurality of locations. 遠隔MRシステムは、情報処理装置101にHMD103とヘッドセット104とが相互にデータ通信可能に接続される複数のMRシステムと、サーバ装置102とを含む。 The remote MR system includes a plurality of MR system in the information processing apparatus 101 and HMD103 headset 104 is connected to each other to allow data communication, and a server device 102. 情報処理装置101とHMD103との接続は、有線接続であってもよいし、無線接続であってもよい。 Connection between the information processing apparatus 101 and HMD103 may be a wired connection may be a wireless connection. また、本実施形態では、2つの拠点である拠点A及び拠点BにMRシステムがそれぞれ構築されている。 Further, in the present embodiment, MR system station A and station B are two locations are constructed respectively. 尚、図1のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。 The configuration of the various terminals connected to the system of Figure 1 is one example, there are various configuration example depending on the application and purpose. また、拠点間の距離は問わない。 In addition, no limitation on the distance between the base. 本発明のMRシステムが異なる場所で動作できればよい。 MR system of the invention may if operating at different locations.

情報処理装置101は、汎用的なコンピュータである。 The information processing apparatus 101 is a general-purpose computer. 情報処理装置101は、HMD103で撮影(撮像)された現実空間の画像(以下、現実空間画像という。)と、情報処理装置101で生成された仮想空間の画像(以下、仮想空間画像という。)とを重畳した画像(以下、複合現実画像という。)を生成し、HMD103に送信する。 The information processing apparatus 101 includes an image of the physical space captured by the HMD 103 (imaging) (hereinafter, the real space image of.), The image of the virtual space generated by the information processing apparatus 101 (hereinafter, referred to as virtual space image.) image superimposed bets (hereinafter, referred to as MR images.), and transmits to the HMD 103. 尚、MR技術に関しては従来技術を用いるため、詳細な説明は省略する。 Since the use of the prior art with respect to MR techniques, detailed description thereof will be omitted. また、情報処理装置101は、パーソナルコンピュータであってもよいし、サーバのような大型のコンピュータであってもよい。 The information processing apparatus 101 may be a personal computer, or a large computer such as a server. 更には、携帯電話やタブレット端末といった携帯端末であってもよい。 Furthermore, it may be a portable terminal such as a cellular phone and tablet devices. コンピュータの種類は特に問わない。 Kind of computer is not particularly limited. また、拠点ごとに情報処理装置101を設置せず、1台の情報処理装置101で処理してもよい。 Also, without installing the information processing apparatus 101 to each site may be processed by the information processing apparatus 101 of one. すなわち、1台の情報処理装置101が本実施形態における拠点Aと拠点BのMRシステムを構築してもよい。 That is, the information processing apparatus 101 of one may be constructed MR system of the site A and the site B in the present embodiment.

HMD103は、ヘッドマウントディスプレイである。 HMD103 is a head-mounted display. HMD103は、ユーザの頭部に装着する装置であり、右目用と左目用のビデオカメラと、右目用と左目用のディスプレイを備えている。 HMD103 is a device to be attached to user's head is provided with a right eye and a video camera for the left eye, the right eye and a display for the left eye. HMD103は、HMD103のビデオカメラで撮影された現実空間画像を情報処理装置101に送信する。 HMD103 transmits the real space image captured by the video camera HMD103 to the information processing apparatus 101. そして、情報処理装置101から送信されてきた複合現実画像を受信し、ディスプレイに表示する。 Then, receiving a mixed reality image transmitted from the information processing apparatus 101, and displays on the display. HMD103では、右目用と左目用のディスプレイを設けているので、視差によって立体感を得ることができる。 In HMD 103, since there is provided a right eye and a display for the left eye, it is possible to obtain a stereoscopic effect by the parallax. 尚、HMD103で撮影する現実空間画像とHMD103で表示する複合現実画像は、動画(映像)が望ましいが、所定の間隔で撮影された画像であってもよい。 Incidentally, the mixed reality image displayed by the real space image and HMD103 shooting in HMD103 is moving (video) is desired, it may be a captured image at a predetermined interval.

ヘッドセット104は、マイクロフォン(以下、マイクという。)とヘッドフォンから成る装置である。 Headset 104 includes a microphone is a device consisting of a headphone (hereinafter, referred to. Microphone) and. ユーザは前述したHMD103とヘッドセット104とを装着し、MRシステムを利用する。 The user wearing a HMD103 headset 104 as described above, utilizes the MR system. ヘッドセット104は、マイクでユーザが発した音声を取得し、音声データとして情報処理装置101に送信する。 Headset 104 acquires the voice generated by a user by a microphone, to the information processing apparatus 101 as speech data. また、情報処理装置101から送信された当該ユーザとは異なるユーザ(他のユーザ)の音声データをヘッドフォンで再生する。 Also, playing with headphones audio data of different users (other users) and the user transmitted from the information processing apparatus 101. 尚、音声を発したユーザに当該ユーザ自身の音声データを再生してもよい。 It is also possible to reproduce the user's own voice data to the user that originated the voice. また、音声データは、本実施例においては2チャンネル(ステレオ)であるものとして説明を行う。 Further, audio data will be described as being a 2-channel (stereo) in this embodiment.

尚、本実施形態ではHMD103とヘッドセット104とが別々の装置であるが、これらが1つの装置であってもよい。 Although the HMD103 headset 104 in this embodiment is a separate apparatus, it may be a single device. すなわち、HMD103がマイクとヘッドフォンを備えていてもよい。 That, HMD 103 may be provided with a microphone and headphones. また、ヘッドセット104のマイクとヘッドフォンが別々の装置であってもよい。 Further, microphone and headphone headset 104 may be a separate device. すなわち、マイクが各拠点の居室内に設置されており、これによってユーザの音声を収集する。 That is, the microphone is installed in the room of each site, thereby collecting the voice of the user. そして、ユーザはヘッドフォンを装着するような形態であってもよい。 The user may be in a form such that the headphones. 更には、ヘッドフォンの代わりにスピーカーを用いてもよい。 Furthermore, it may be used for speaker instead of headphones. このスピーカーは、ステレオ音源を再生可能なスピーカーであることが望ましい。 The speaker, it is desirable that a renewable speaker stereo sound source.

サーバ装置102は、各拠点に設置される情報処理装置101を管理するサーバである。 Server device 102 is a server that manages the information processing apparatus 101 installed in each site. サーバ装置102は、情報処理装置101から送信された情報を他の情報処理装置101に送信する。 Server device 102 transmits the information transmitted from the information processing apparatus 101 to another information processing apparatus 101. つまり、サーバ装置102は、いわゆる中継役である。 That is, the server apparatus 102 is a so-called relay role. 本実施形態では、サーバ装置102が中継を行うものとして説明を行うが、各拠点の情報処理装置101同士が相互に通信する形態であってもよい。 In this embodiment, the server apparatus 102 will be described as performing a relay, the information processing apparatus 101 of the respective bases may be in the form of communicating with each other. この場合にはサーバ装置102は不要となる。 Server apparatus 102 in this case is unnecessary.

図2は、各拠点のMRシステムのシステム構成の一例を示す図である。 Figure 2 is a diagram showing an example of a system configuration of the MR system at each site. 前述した通り、情報処理装置101にはHMD103とヘッドセット104とが通信可能に接続されている。 As described above, the HMD103 headset 104 is communicatively connected to the information processing apparatus 101. 更に、情報処理装置101には赤外線カメラ202が接続されている。 Moreover, the infrared camera 202 is connected to the information processing apparatus 101. 赤外線カメラ202は、赤外線を用いた光学式のセンサである。 Infrared camera 202 is an optical sensor using infrared rays. 赤外線カメラ202は、現実空間に赤外線を照射し、現実空間の物体で反射した赤外線を撮影することにより、現実空間における物体の位置及び姿勢を特定する。 Infrared camera 202 is irradiated with infrared rays in the real space, by taking the infrared rays reflected by the object in real space, identifying the position and orientation of an object in the real space. この赤外線カメラ202を用いて、現実空間におけるHMD103(すなわちユーザ)の位置及び姿勢(向きや傾き、視線の方向等)を特定する。 Using this infrared camera 202, identifies the position and orientation of HMD103 in real space (or user) (orientation and inclination, the direction of the line of sight, etc.). HMD103には、オプティカルマーカ201という赤外線を反射する物体を備えており、赤外線カメラ202はこのオプティカルマーカ201で反射した赤外線を撮影することで、HMD103の位置及び姿勢を特定できるようになっている。 The HMD 103, provided with an object that reflects infrared of optical markers 201, infrared camera 202 by capturing the infrared rays reflected by the optical marker 201, and to be able to identify the position and orientation of the HMD 103. ユーザがどのような位置や姿勢であっても、当該ユーザが装着するHMD103のオプティカルマーカ201を撮影または検知できるように、MRシステムでは赤外線カメラ202を複数台設置することが望ましい。 Even the user is any position or posture, as capture or detect the optical marker 201 HMD103 which the user wears, it is desirable to install a plurality of infrared cameras 202 in the MR system. また、位置及び姿勢を特定可能なHMD103は、赤外線カメラ202の撮影範囲に存在するHMD103である。 Further, HMD 103 capable of specifying the position and orientation are HMD 103 present in the shooting range of the infrared camera 202.

尚、本実施形態においては、現実空間におけるHMD103の位置及び姿勢を特定するために、赤外線カメラ202を用いるが、HMD103の現実空間における位置及び姿勢を特定できるのであれば、これに限らない。 In the present embodiment, in order to determine the position and orientation of the HMD 103 in the real space, but using the infrared camera 202, as long as it can specify the position and orientation in physical space of the HMD 103, not limited thereto. 例えば、磁気センサを用いてもよいし、HMD103が撮影した画像を解析して位置及び姿勢を特定してもよい。 For example, one may use the magnetic sensor may identify the position and orientation by analyzing the image HMD103 have taken.

図3は、情報処理装置101とサーバ装置102とHMD103の各ハードウェア構成の一例を示す図である。 Figure 3 is a diagram showing an example of each hardware configuration of the information processing apparatus 101 and the server apparatus 102 and HMD 103.

まず、情報処理装置101及びサーバ装置102は、CPU301、ROM302、RAM303、システムバス304、入力コントローラ305、ビデオコントローラ306、メモリコントローラ307、通信I/Fコントローラ308、メディアコントローラ309、汎用バス310、入力デバイス311、外部メモリ312等を備える。 First, the information processing apparatus 101 and the server apparatus 102, CPU 301, ROM 302, RAM 303, system bus 304, input controller 305, video controller 306, a memory controller 307, a communication I / F controller 308, a media controller 309, the general purpose bus 310, input comprising devices 311, an external memory 312 or the like. 尚、サーバ装置102は、前述した通り、HMD103とヘッドセット104と赤外線カメラ202とは接続されていない。 Note that the server device 102, as described above, the HMD103 and the headset 104 and the infrared camera 202 is not connected.

CPU301は、システムバス304に接続される各デバイスやコントローラを統括的に制御する。 CPU301 performs overall control of each device and controller connected to the system bus 304.

また、ROM302あるいは外部メモリ312には、CPU301の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。 Further, the ROM302 or the external memory 312, and BIOS (Basic Input / OutputSystem) and the operating system is a control program of the CPU 301, various programs to be described later necessary to implement a function of executing various devices is stored there. RAM303は、CPU301の主メモリ、ワークエリア等として機能する。 RAM303, the main memory of CPU301, functions as a work area, and the like.

CPU301は、処理の実行に際して必要なプログラム等をRAM303にロードして、プログラムを実行することで各種動作を実現するものである。 CPU301 is to load the required program or the like in RAM303 upon execution of processing, and realizes various operations by executing a program.

また、入力コントローラ(入力C)305は、キーボードやマウス等のポインティングデバイス(入力デバイス311)からの入力を制御する。 Also, input controller (Input C) 305 controls input from a pointing device such as a keyboard and a mouse (input device 311).

情報処理装置101のビデオコントローラ(VC)306は、HMD103が備える右目・左目ディスプレイ322等の表示器への表示を制御する。 Video controller (VC) 306 of the information processing apparatus 101 controls display on a display device such as a right-eye display 322 provided in the HMD 103. 右目・左目ディスプレイ322に対しては、例えば外部出力端子(例えば、Digital Visual Interface)を用いて出力される。 For right-eye display 322, for example, an external output terminal (e.g., Digital Visual Interface) output using. また、右目・左目ディスプレイ322は、右目用のディスプレイと左目用のディスプレイとから構成されている。 Also, right-eye display 322 is composed of a display and a display for the left eye for the right eye. 一方、サーバ装置102のビデオコントローラ306は、液晶ディスプレイ等の表示器への表示を制御する(不図示)。 On the other hand, the video controller of the server apparatus 102 306, controls the display on the display device such as a liquid crystal display (not shown).

メモリコントローラ(MC)307は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク(HD)やフレキシブルディスク(FD)或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ312へのアクセスを制御する。 Memory controller (MC) 307, the boot program, browser software, various applications, font data, user files, edit files, hard disk for storing various types of data, and the like (HD) or a flexible disk (FD) or adapter to the PCMCIA card slot controls access to the external memory 312 such as a card type memory which is connected through a.

通信I/Fコントローラ(通信I/FC)308は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。 Communication I / F controller (communication I / FC) 308, via a network, which is connected to and communicates with an external device, and executes a communication control process with the network. 例えば、TCP/IPを用いたインターネット通信等が可能である。 For example, it is possible Internet communication or the like using TCP / IP. 特に、情報処理装置101の通信I/Fコントローラ308は、赤外線カメラ202との通信も制御する。 In particular, the communication I / F controller 308 of the information processing apparatus 101 also controls the communication with the infrared camera 202.

情報処理装置101のメディアコントローラ309は、ヘッドセット104のヘッドフォンへ音声データを出力するため、及びヘッドセット104のマイクから音声を入力するために使用される。 Media controller 309 of the information processing apparatus 101 for outputting audio data to the headphone of the head set 104, and is used from the microphone of the headset 104 to input voice. ヘッドフォンやマイクに対する音声や音声データの入出力は、例えば外部出力端子(例えば、ステレオミニプラグ)を用いて行われる。 Input and output of audio and audio data to the headphone and microphone, for example, an external output terminal (e.g., a stereo mini plug) is carried out using a. サーバ装置102のメディアコントローラ309も同様の機能を有するが、本実施形態では用いない。 Has a media controller 309 a similar function of the server device 102, it is not used in this embodiment.

情報処理装置101の汎用バス310は、情報処理装置101に接続されるHMD103の右目・左目ビデオカメラ321で撮影した画像を取り込むために使用される。 General-purpose bus 310 of the information processing apparatus 101 is used to capture the images taken by the right eye, the left eye video camera 321 of HMD103 connected to the information processing apparatus 101. 右目・左目ビデオカメラ321からは、外部入力端子(例えば、IEEE1394端子)を用いて入力される。 From right-eye video camera 321 is input with the external input terminal (e.g., IEEE1394 terminals). また、右目・左目ビデオカメラ321は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。 Also, right-eye video camera 321 is constituted by a video camera and a video camera for the left eye for the right eye.

尚、CPU301は、例えばRAM303内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ上での表示を可能としている。 Incidentally, CPU 301, for example by executing rasterizes an outline font to a display information area in RAM 303, thereby making it possible to display on the display. また、CPU301は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。 Further, CPU 301 allows the user instruction with the mouse cursor (not shown) on the display.

本発明の情報処理装置101、サーバ装置102が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ312に記録されており、必要に応じてRAM303にロードされることによりCPU301によって実行されるものである。 The information processing apparatus 101 of the present invention, executed by CPU301 by server device 102 and various programs used to execute various processes described later are loaded and stored in the external memory 312, the RAM303 optionally it is intended to be. さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ312に格納されている。 Furthermore, the definition file and various information tables program according to the present invention is used is stored in the external memory 312.

図4は、情報処理装置101とサーバ装置102の機能構成を示す機能構成図である。 Figure 4 is a functional block diagram showing a functional configuration of the information processing apparatus 101 and the server device 102. 尚、図4の情報処理装置101とサーバ装置102の機能構成は一例であり、用途や目的に応じて様々な構成例がある。 The function configuration of the information processing apparatus 101 and the server device 102 of FIG. 4 is an example, there are various configuration example depending on the application and purpose.

情報処理装置101は機能部として、通信制御部411と、位置姿勢特定部412と、仮想音源設定部413と、仮想距離測定部414と、音量決定部415と、音量バランス調整部416と、仮想空間画像生成部417と、複合現実画像生成部418と、音声再生部419とを備える。 As the information processing apparatus 101 function unit, a communication control unit 411, the position and orientation specifying unit 412, a virtual sound source setting unit 413, a virtual distance measuring section 414, a sound volume determination section 415, a sound volume balance adjustment unit 416, a virtual It includes a spatial image generation unit 417, a mixed reality image generation unit 418, an audio playback unit 419.

通信制御部411は、サーバ装置102、HMD103、ヘッドセット104、赤外線カメラ202等の装置と情報の送受信を行うための機能部である。 The communication control unit 411, server device 102, HMD 103, the headset 104 is a functional unit for transmitting and receiving apparatus and information such as an infrared camera 202. 位置姿勢特定部412は、現実空間におけるユーザの位置及び姿勢を含む情報であって赤外線カメラ202から取得した情報(以下、赤外線情報という。)に基づいて、仮想空間におけるユーザの位置及び姿勢を特定するための機能部である。 Position posture identifying section 412, information acquired from the infrared camera 202 is information including the position and orientation of the user in the real space based on (hereinafter, referred to as infrared information.) Specifying the position and orientation of the user in the virtual space it is a functional unit for.

仮想音源設定部413は、仮想空間上に仮想的な音源(以下、仮想音源という。)を設定するための機能部である。 Virtual sound source setting unit 413, virtual sound sources in the virtual space is a functional unit for setting (hereinafter referred to as the virtual sound sources.). 当該音源は、情報処理装置101が取得した音声データを再生するための仮想的な音源である。 The sound source is a virtual sound sources for reproducing audio data processing apparatus 101 has obtained. 仮想距離測定部414は、仮想音源設定部413で設定された音源と位置姿勢特定部412で特定された位置との距離を測定(算出)するための機能部である。 Virtual distance measuring unit 414 is a functional portion for measuring a distance between a specific position by the position and orientation identifying unit 412 and the sound source set by the virtual sound source setting portion 413 (calculated).

音量決定部415は、仮想距離測定部414で測定された距離に応じてユーザに再生する音声データの音量を決定するための機能部である。 Volume determination section 415 is a functional unit for determining the volume of the audio data to be reproduced to the user in accordance with the distance measured by the virtual distance measuring section 414. 音量バランス調整部416は、音量決定部415で決定された音量で音声データを再生する際に、左右のチャンネルの音量を調整し、ある方向から音声が聞こえてくるようにするための機能部である。 Volume balance adjustment unit 416, when reproducing the audio data at the volume determined by the volume determination section 415, to adjust the volume of the left and right channels, a functional unit for the certain direction as voice heard is there. 本実施形態では、2チャンネルの音声データを元に説明を行うが、これに限らない。 In the present embodiment, a description based on the two-channel audio data is not limited thereto.

仮想空間画像生成部417は、位置姿勢特定部412で特定された仮想空間上の位置及び姿勢に基づいて、仮想空間上に仮想的なカメラ(以下、仮想カメラという。)を設定し、当該仮想カメラから見た仮想空間を撮影し、仮想空間画像を生成するための機能部である。 Virtual space image generation unit 417, based on the position and orientation of the virtual space specified by the position and orientation specifying unit 412 sets a virtual camera (hereinafter, referred to as a virtual camera.) In the virtual space, the virtual taking a virtual space viewed from the camera, it is a functional unit for generating a virtual space image.

複合現実画像生成部418は、通信制御部411を通じてHMD103の右目・左目ビデオカメラから取得した現実空間画像と、仮想空間画像生成部417で生成した仮想空間画像とを重畳して、複合現実画像を生成するための機能部である。 Mixed reality image generation unit 418, a physical space image acquired through the communication control unit 411 from HMD103 right eye-left eye video camera, by superimposing a virtual space image generated by the virtual space image generation unit 417, a mixed reality image generating a functional unit for.

音声再生部419は、音量決定部415と音量バランス調整部416で調整された音声データを、通信制御部411を通じてヘッドセット104のヘッドフォンに再生するための機能部である。 Audio reproduction unit 419 is a functional unit for reproducing the audio data adjusted by the volume determining unit 415 and the volume balance adjustment unit 416, through the communication control unit 411 to the headphone of the head set 104.

サーバ装置102は機能部として、通信制御部421、位置姿勢情報管理部422、音声情報管理部423を備える。 Server device 102 as functional units, comprises a communication control unit 421, the position and orientation information management unit 422, an audio information management unit 423.

通信制御部421は、情報処理装置101等の装置と情報の送受信を行うための機能部である。 The communication control unit 421 is a functional unit for transmitting and receiving apparatus and information such as the information processing apparatus 101. 位置姿勢情報管理部422は、情報処理装置101から送信されたユーザの位置及び姿勢を情報処理装置101に接続されたHMD103と関連づけて管理しておくための機能部である。 Position and orientation information managing unit 422 is a functional part for keeping managed in association with HMD103 connected the position and posture of the user which is transmitted to the information processing apparatus 101 from the information processing apparatus 101.

音声情報管理部423は、情報処理装置101から送信されたユーザの音声データを情報処理装置101に接続されたHMD103と関連づけて管理しておくための機能部である。 Speech information managing unit 423 is a functional part for keeping managed in association with HMD103 connected voice data of the user transmitted from the information processing apparatus 101 to the information processing apparatus 101.

図5は、本実施形態における遠隔MRシステムで同一の仮想空間を閲覧している様子の一例を示す図である。 Figure 5 is a diagram illustrating an example of a state that viewing the same virtual space remote MR system according to the present embodiment. 本実施形態では、この2つの拠点を基に説明を行う。 In the present embodiment, a description based on the two bases.

図1で前述した通り、本実施形態では2つの拠点で同一の仮想空間を閲覧している。 As described above in FIG. 1, in the present embodiment are viewing the same virtual space in two locations. 1つはユーザAがいる拠点Aであり、もう1つはユーザBがいる拠点Bである。 One is the station A there is a user A, the other is a base B there is a user B. 各拠点におけるMRシステムが同一の仮想空間をMR技術によって提供される。 MR system at each site is provided with the same virtual space by the MR technique. 尚、本実施形態では、閲覧する仮想空間は同一であるが、当該仮想空間は拠点ごとの情報処理装置101にそれぞれ用意されているものとして説明を行う。 In the present embodiment, although the virtual space to view is the same, the virtual space may be described as being provided respectively to the information processing apparatus 101 of each site. すなわち、仮想空間の大きさやその仮想空間に配置される3次元モデル、更に当該3次元モデルを配置する位置等を各拠点の情報処理装置101に記憶させておき、これを各拠点のユーザが同時に閲覧するということである。 That is, three-dimensional model arranged in the size and the virtual space of the virtual space, may be stored position such that further placing the 3-D model to the information processing apparatus 101 for each site, which a user of each site simultaneously is that view.

図5の500は、ユーザA501が拠点AでMR技術を体験している様子を示す平面図である。 500 of FIG. 5 is a plan view showing a state where a user A501 is experiencing the MR technology bases A. ユーザA501は、前述したHMD103とヘッドセット104とをユーザA501の頭部に装着し、情報処理装置101から送信される複合現実画像を、HMD103の右目・左目ディスプレイ322を通じて閲覧している。 User A501 is equipped with the HMD 103 and the headset 104 as described above on the head of the user A501, a mixed reality image transmitted from the information processing apparatus 101, are retrieved through the right-eye display 322 of HMD 103. ユーザA501が閲覧する複合現実画像には、拠点BにいるユーザB511を示す3次元モデル(ユーザB502)と、閲覧対象の2つの3次元モデル504とが表示されている。 The mixed reality image user A501 is browsed, the three-dimensional model showing the user B511 which are based in B (user B 502), and two three-dimensional model 504 of the browsing object is displayed. ユーザB511は、拠点Aにはいないので3次元モデルとしてユーザB502が表現されている。 User B511, the user B502 is represented as a three-dimensional model because it does not in the site A. ユーザB502を表示するためには、ユーザB511のいる拠点Bに設置された赤外線カメラ202から取得した位置及び姿勢を利用してユーザB511の3次元モデルを生成し、これを表示すればよい。 To view the user B502 uses the position and orientation acquired from the infrared camera 202 installed in station B who is the user B 511 to generate a three-dimensional model of the user B 511, it may be displayed this. またユーザA501は、ユーザB502の方向503を向いている。 The user A501 is oriented 503 user B 502. そのため、ユーザA501がHMD103を通じて閲覧している複合現実画像は、図5の520に示す複合現実画像となる。 Therefore, MR images user A501 is browsing through HMD103 is a mixed reality image shown in 520 of FIG.

一方、図5の510はユーザB511が拠点BでMR技術を体験している様子を示す平面図である。 On the other hand, 510 of FIG. 5 is a plan view showing a state where a user B511 is experiencing the MR technology bases B. ユーザB511も、前述したHMD103とヘッドセット104とを装着し、情報処理装置101から送信される複合現実画像を、HMD103の右目・左目ディスプレイ322を通じて閲覧している。 User B511 also mounted the HMD 103 and the headset 104 as described above, the mixed reality image transmitted from the information processing apparatus 101, are retrieved through the right-eye display 322 of HMD 103. ユーザB511が閲覧する複合現実画像には、拠点AにいるユーザA501を示す3次元モデル(ユーザA512)と、閲覧対象の2つの3次元モデル504とが表示されている。 The mixed reality image user B511 are browsed, the three-dimensional model showing the user A501 that are based in A (user A512), and two three-dimensional model 504 of the browsing object is displayed. ユーザA501は、拠点Bにはいないので3次元モデルとしてユーザA512が表現されている。 User A501, the user A512 is represented as a three-dimensional model because it does not in the base B. ユーザA512を表示するためには、ユーザA501のいる拠点Aに設定された赤外線カメラ202から取得した位置及び姿勢を利用してユーザA501の3次元モデルを生成し、これを表示すればよい。 To view the user A512 uses the position and orientation acquired from the infrared camera 202 set in the station A who is the user A501 generates a 3-dimensional model of the user A501, it may be displayed this. またユーザB511は、ユーザA512の方向513を向いている。 Also, the user B511 is oriented 513 of user A512. そのため、ユーザB511がHMD103を通じて閲覧している複合現実画像は、図5の530に示す複合現実画像となる。 Therefore, MR images user B511 is browsing through HMD103 is a mixed reality image shown in 530 of FIG.

次に、情報処理装置101が取得したユーザの位置及び姿勢と、ユーザが発した音声とをサーバ装置102に送信する処理の流れについて、図6のフローチャートを用いて説明する。 Then, the position and orientation of a user by the information processing apparatus 101 is acquired, the flow of processing for transmitting a voice generated by a user to the server apparatus 102 will be described with reference to the flowchart of FIG.

まず、ステップS601では、情報処理装置101のCPU301は、情報処理装置101に接続されたHMD103の右目・左目ビデオカメラ321で撮像した現実空間画像をHMD103から受信(取得)する。 First, in step S601, CPU 301 of the information processing apparatus 101 receives the real space image captured by the right eye, the left eye video camera 321 of the HMD 103 connected to the information processing apparatus 101 from the HMD 103 (acquisition) to.

ステップS602では、情報処理装置101のCPU301は、情報処理装置101に接続された赤外線カメラ202が特定した赤外線情報であって、ユーザが装着するHMD103の現実空間上の位置及び姿勢を含む赤外線情報を受信(取得)する(位置取得手段)。 In step S602, CPU 301 of the information processing apparatus 101 is an infrared information IR camera 202 connected to the information processing apparatus 101 has identified, the infrared information including the position and orientation of the physical space of HMD103 worn by the user receiving (acquiring) (position acquisition unit). そして、ステップS603では、情報処理装置101のCPU301は、ステップS602で受信した赤外線情報に基づいて、ユーザが装着するHMD103の仮想空間上における位置と姿勢を特定(取得)する(位置特定手段)。 In step S603, CPU 301 of the information processing apparatus 101, based on the infrared information received in step S602, identifies the position and orientation in a virtual space of HMD103 worn by the user (acquired) to (position specifying unit). 現実空間と仮想空間はあらかじめ位置合わせ(対応付け)がなされている。 Real and virtual spaces has been pre-aligned (correspondence) is. そのため、現実空間における位置及び姿勢がわかればそれに対応する仮想空間における位置及び姿勢も特定できる。 Therefore, also it is specified position and orientation in the virtual space corresponding thereto Knowing the position and orientation in real space. 赤外線情報を用いたHMD103の位置と姿勢の特定方法は、従来技術であるため詳細な説明は省略する。 Method of identifying the position and orientation of HMD103 using an infrared information, detailed explanation therefor is prior art will be omitted.

ステップS604では、情報処理装置101のCPU301は、ステップS603で特定した位置及び姿勢を示す情報(以下、位置姿勢情報という。)をサーバ装置102に送信する。 In step S604, CPU 301 of the information processing apparatus 101, information indicating the specified position and orientation in step S603 transmits (hereinafter, referred to as position and orientation information.) To the server device 102. ステップS605では、サーバ装置102のCPU301は、情報処理装置101から送信された位置姿勢情報を受信する。 In step S605, CPU 301 of server device 102 receives the position and orientation information transmitted from the information processing apparatus 101. そして、ステップS606では、サーバ装置102のCPU301は、ステップS605で受信した位置姿勢情報を、当該位置姿勢情報を送信してきた情報処理装置101に接続されているHMD103と関連づけて一時記憶する。 In step S606, CPU 301 of server device 102, the position and orientation information received in step S605, and temporarily stored in association with the position and orientation information is connected to the information processing apparatus 101 which has transmitted the HMD 103. より具体的には、HMD103を識別するHMD番号を特定し、当該特定したHMD番号を持つ位置姿勢音声テーブル700(図7参照)のレコードの位置姿勢情報702に、受信した位置姿勢情報を格納する。 More specifically, to identify the HMD number identifying the HMD 103, the position and orientation information 702 records the position and orientation speech table 700 having the specified HMD number (see FIG. 7), and stores the position and orientation information received . HMD番号はHMD103を一意に識別するための識別番号である。 HMD number is an identification number for uniquely identifying the HMD 103. 特に図示しないが、情報処理装置101と情報処理装置101に接続されるHMD103のHMD番号とを関連づけるテーブルをあらかじめ保持しておけば、HMD番号を特定することが可能である。 Although not shown particularly, be previously holds a table that associates the HMD number of HMD103 connected to the information processing apparatus 101 and the information processing apparatus 101, it is possible to identify the HMD number.

位置姿勢音声テーブル700は、サーバ装置102の外部メモリ312等に記憶され、HMD番号701と、位置姿勢情報702と、音声データ703とを含む。 Position and orientation speech table 700 includes stored in the external memory 312 of the server device 102 or the like, the HMD number 701, the position and orientation information 702, the audio data 703. HMD番号701は、HMD103ごとに一意に割り振られた識別番号を示す。 HMD number 701 indicates an identification number uniquely assigned to each HMD 103. HMD番号701には、前述したステップS605で受信した位置姿勢情報や、後述するステップS609で受信する音声の情報を送信してきた情報処理装置101に接続されているHMD103の識別番号を格納する。 The HMD number 701, stores a position and orientation information received in step S605 described above, the identification number of HMD103 connected to the information processing apparatus 101 which has transmitted the information of the speech to be received in step S609 to be described later. 位置姿勢情報702は、HMD103の位置及び姿勢を示す情報が格納される。 Position and orientation information 702, information indicating the position and orientation of HMD103 is stored. より具体的には、HMD103の仮想空間上の座標と、HMD103の向きを示すベクトル情報とが格納される。 More specifically, the coordinates in the virtual space of the HMD 103, and the vector information indicating the orientation of the HMD 103 is stored. 音声データ703は、HMD103を装着するユーザが発した音声の波形データ(以下、音声データという。)を一時保存した場所を示すファイルパスを格納する。 Audio data 703 is audio waveform data generated by a user to attach the HMD103 stores a file path indicating a location where temporarily stored (hereinafter, referred to. Audio data).

図6に説明を戻す。 Figure 6 description returns. ステップS604の処理が完了したら、ステップS607では、情報処理装置101のCPU301は、HMD103を装着するユーザが更に装着しているヘッドセット104のマイクから当該ユーザの音声を受信(取得)する(音声取得手段)。 When the process of step S604 is completed, in step S607, CPU 301 of the information processing apparatus 101 receives the voice of the user from the microphone of the headset 104 that the user is further mounted for mounting the HMD 103 (acquisition) to (voice acquisition means). このとき、音声をサンプリングしデジタルデータへ量子化およびそのデジタルデータの圧縮処理を実行し音声データを作成する。 At this time, creating the voice data performs a compression process of quantization and the digital data by sampling the speech to digital data.

そして、ステップS608では、情報処理装置101のCPU301は、ステップS607で作成した音声データをサーバ装置102に送信する。 In step S608, CPU 301 of the information processing apparatus 101 transmits the audio data created in step S607 to the server device 102. ステップS609では、サーバ装置102のCPU301は、情報処理装置101から送信された音声データを受信し、ステップS610では、サーバ装置102のCPU301は、受信した音声データを、当該音声データを送信してきた情報処理装置101に接続されているHMD103と関連づけて一時記憶する。 Information In step S609, CPU 301 of server device 102 receives the audio data transmitted from the information processing apparatus 101, in step S610, CPU 301 of server device 102, the received audio data, has transmitted the voice data and temporarily stores in association with HMD103 connected to the processing unit 101. より具体的には、音声データを送信してきた情報処理装置101に接続されているHMD103を特定し、HMD103のHMD番号701のレコードの音声データ703に、受信した音声データを一時記憶した場所のファイルパスを格納する。 More specifically, to identify the HMD 103 connected to the information processing apparatus 101 that has transmitted the voice data, to record the audio data 703 of the HMD number 701 of HMD 103, the location of the file temporarily stores audio data received to store the path.

以上により、情報処理装置101からサーバ装置102に対して、情報処理装置101に接続されたHMD103の位置及び姿勢や、HMD103を装着するユーザの音声データがサーバ装置102に送信される。 Thus, the server device 102 from the information processing apparatus 101, the position and posture and the HMD103 connected to the information processing apparatus 101, the user of the audio data attached to HMD103 is transmitted to the server device 102. この一連の処理は、MRシステムが動作している間は繰り返し実行されるため、リアルタイムに情報がサーバ装置102に送信される。 This series of processes, while the MR system is operating to be repeatedly executed, information in real time is transmitted to the server device 102.

次に、他の拠点の情報処理装置101から送信されたユーザの音声の音量を決定する処理の流れについて、図8のフローチャートを用いて説明する。 Next, the flow of processing for determining the volume of voice of the user transmitted from the information processing apparatus 101 of another hub, will be described with reference to the flowchart of FIG.

まず、ステップS801では、サーバ装置102のCPU301は、位置姿勢音声テーブル700の位置姿勢情報702及び音声データ703に格納された位置姿勢情報及び音声データを情報処理装置101に送信する。 First, in step S801, CPU 301 of server device 102 transmits the position and orientation information and audio data stored in the position and orientation information 702 and audio data 703 of the position and orientation speech table 700 to the information processing apparatus 101. 送信する位置姿勢情報及び音声データは、これらを送信する情報処理装置101に接続されているHMD103とは異なるHMD103(すなわち、音声を発したユーザのHMD103。以下、他のHMD103という。)に関連する位置姿勢情報及び音声データである。 Position and orientation information and audio data transmission is different from the HMD 103 connected to the information processing apparatus 101 to send these HMD 103 (i.e., the user of the HMD 103. Hereinafter emitted sound, other HMD 103 that.) Related to the position and orientation information and audio data. すなわち、拠点Bの情報処理装置101に位置姿勢情報及び音声データを送信する場合には、拠点AのHMD103に関連する位置姿勢情報及び音声データを送信する。 That is, when transmitting the position and orientation information and audio data to the information processing apparatus 101 of the site B sends the position and orientation information and audio data associated with HMD103 bases A. 前述した通り、情報処理装置101ごとに、情報処理装置101に接続されるHMD103のHMD番号を関連づけて管理しているので、送信先の情報処理装置101を特定し、当該特定した情報処理装置101に関連するHMD番号701以外のレコードの位置姿勢情報及び音声データを送信すればよい。 As described above, each information processing apparatus 101, since the management in association with HMD number of HMD103 connected to the information processing apparatus 101 identifies the destination of the information processing apparatus 101, the specified information processing apparatus 101 it may transmit the position and orientation information and audio data records except HMD number 701 associated with.

ステップS802では、情報処理装置101のCPU301は、サーバ装置102から送信された他のHMD103の位置姿勢情報及び音声データを受信する。 In step S802, CPU 301 of the information processing apparatus 101 receives the other position and orientation information and audio data HMD103 transmitted from the server device 102. すなわち、音声を発したユーザの仮想空間上の位置及び姿勢と、当該ユーザが発した音声を示す音声データとを取得する。 That is, to acquire the voice data indicating the position and orientation of the virtual space of the user that originated the voice, the voice which the user uttered.

ステップS803では、情報処理装置101のCPU301は、後述するステップS804乃至ステップS808の処理を、他のHMD103の数だけ繰り返し実行する。 In step S803, CPU 301 of the information processing apparatus 101, the processing of steps S804 through step S808 described below is repeatedly executed by the number of other HMD 103. 他のHMDの数は、他の拠点の情報処理装置101と通信してカウントしてもよいし、あらかじめ情報処理装置101に記憶させておいてもよい。 The number of other HMD may be counted in communication with the information processing apparatus 101 of another hub, it may be stored in advance in the information processing apparatus 101. または、サーバ装置102から取得するような形態であってもよい。 Or it may be in the form as obtained from the server device 102.

ステップS804では、情報処理装置101のCPU301は、ステップS802で受信した他のHMD103の位置姿勢情報702を取得する。 In step S804, CPU 301 of the information processing apparatus 101 acquires position and orientation information 702 other HMD103 received in step S802.

ステップS805では、情報処理装置101のCPU301は、ステップS804で取得した位置姿勢情報702(すなわち、音声を発したユーザの位置及び姿勢)に基づいて、仮想空間上に仮想音源を設定する。 In step S805, CPU 301 of the information processing apparatus 101, based on the position and orientation information 702 acquired in step S804 (i.e., the position and posture of the user who issued the sound), set the virtual sound source in the virtual space. すなわち、位置姿勢情報702が示す仮想空間上の位置には、位置姿勢情報702に対応するHMD103が存在するはずである。 That is, the position in the virtual space indicated by the position and orientation information 702, there should be HMD103 corresponding to the position and orientation information 702. そのHMD103を装着するユーザが音声を発した場合には、この音声の音源は位置姿勢情報702が示す位置に相当する。 If the user issues a speech for mounting the HMD 103, a sound source of the sound corresponding to the position indicated by the position and orientation information 702. よって、ステップS805では取得した位置姿勢情報702に基づいて、仮想空間上に仮想音源を設定している。 Therefore, on the basis of the position and orientation information 702 acquired in step S805, the are set virtual sound sources in the virtual space. 位置姿勢情報702が示す位置でなくとも、音声を聞くユーザに違和感のない位置であればよい。 Not be the position indicated by the position and orientation information 702, may be in a position with no discomfort to the user to listen to the voice.

ステップS806では、情報処理装置101のCPU301は、ステップS805で設定した仮想音源から、情報処理装置101に接続されているHMD103の位置姿勢情報が示す仮想空間上の位置までの距離を計測する。 In step S806, CPU 301 of the information processing apparatus 101, from the virtual sound source set in step S805, the measuring the distance to a location in the virtual space indicated by the position and orientation information of HMD103 connected to the information processing apparatus 101. 情報処理装置101に接続されているHMD103の位置姿勢情報(すなわち、音声を発したユーザとは異なるユーザの仮想空間上の位置及び姿勢)は、前述したステップS602及びステップS603で取得及び特定しているので、これを用いる。 Position and orientation information of HMD103 connected to the information processing apparatus 101 (i.e., a different position and orientation in the virtual space of the users user uttered voice) is obtained and identified, in step S602 and step S603 described above because there, use it. そして、ステップS807では、情報処理装置101のCPU301は、他のHMD103を装着するユーザが発した音声を示す音声データを再生する際の音量(パラメータ)をステップS806で計測した距離に応じて決定する(パラメータ決定手段)。 In step S807, CPU 301 of the information processing apparatus 101 is determined according volume in reproducing sound data indicating a sound generated by a user to attach the other HMD103 (parameter) to the distance measured in step S806 (parameter determining means).

音量の算出方法について、図9と図10とを用いて具体的に説明する。 The method for calculating the volume, will be specifically described with reference to FIGS. 9 and 10. 図9に示す図では、ユーザBがユーザAの発した音声を聞く場合を想定している。 In the diagram shown in FIG. 9, it is assumed that hear the user B has issued the user A. すなわち、図5の拠点AでユーザA501が発した音声を拠点BでユーザB511が聞く場合である。 That is, when the user B511 hear the user A501 emitted at site A in Fig. 5 at site B.

音声の音量の算出方法の一例として、仮想音源の位置座標からの距離に比例して音量を減少させる方法がある。 As an example of the method for calculating the sound volume, there is a method of reducing the volume in proportion to the distance from the position coordinates of the virtual sound source.

仮想音源の位置(以下、音源位置という。)をユーザA512の仮想空間上の位置である図9の901とする。 Position of the virtual sound source (hereinafter, referred to as the sound source position.) It is 901 in FIG. 9 is a position in the virtual space of the user A512. この座標をA=[Ax Ay Az]とする。 The coordinate A = a [Ax Ay Az]. また、ステップS603で特定されたユーザB511の仮想空間上の座標をU=[Ux Uy Uz]とした場合に、音源位置901とユーザB511との距離902であるLは図10の式1によって求められる。 Also, the coordinates in the virtual space of the user B511 identified in step S603 in the case of the U = [Ux Uy Uz], L is the distance 902 between the sound source position 901 and the user B511 is determined by equation 1 in FIG. 10 It is.

音源位置901から発せられるユーザAの音声が元の音量で聞こえる音源からの距離903をr1とする。 Voice of the user A emitted from a sound source position 901 and the distance 903 from the sound source heard in the original volume r1. また、音源位置901から発せられる音声が聞こえなくなる音源からの距離をr2とした場合、ユーザB511に再生する元の音量に対する音量の割合pは図10の式2、式3、式4によって求められる。 Further, when the distance from the sound source no longer hear the sound emitted from a sound source position 901 and r2, Formula 2, Formula 3 volume ratio p is 10 the to the original volume to be played to the user B 511, given by equation 4 . r1<L<r2の場合には図10の式2、L<r1の場合には式3、L>r2の場合には式4を用いる。 r1 <In the case of L <r2 in the case of formula 2, L <r1 in FIG. 10 wherein 3, L> in the case of r2 is using equation 4. こうして求めた割合pで音量を調節する。 To adjust the volume thus determined proportion p.

また、他の音量の算出方法の一例として、点音源における音圧レベル(dB)の減衰を利用した方法を説明する。 As an example of a method of calculating the other volume, a method utilizing the attenuation of the sound pressure level at the point sound source (dB).

上記r1地点における音圧レベルをLp1(dB)とし、音源位置901からユーザB511までの距離を式1で求めたLを使用した場合、ユーザB511に再生する音圧レベルのLp2(dB)は図10の式5によって求められる。 The sound pressure level in the r1 point and Lp1 (dB), and the distance from the sound source position 901 until the user B 511 using L calculated by the equation 1, the sound pressure level to be played to the user B 511 Lp2 (dB) Fig. It is determined by the formula 5 of 10.

そして、音声が聞こえなくなる音圧レベルをLp3(dB)と設定した場合、ユーザB511に再生する元の音量に対する割合pは図10の式6、式7、式8によって求められる。 Then, if you set the sound level will not hear the voice Lp3 and (dB), the ratio p of the original sound to be played to the user B511 Formula 6, Formula 7 in FIG. 10, given by Equation 8. Lp2>Lp3の場合には図10の式6、Lp2>Lp1の場合には図10の式7、Lp2<Lp3の場合には図10の式8を用いる。 Lp2> In the case of Lp3 in the case of formula 7, Lp2 <Lp3 of FIG. 10 in the case of formula 6, Lp2> Lp1 of Figure 10 using equation 8 of FIG. 10. こうして求めた割合pで音量を調節し、最終的な音量とする。 To adjust the volume thus determined percentage p, the final volume. 尚、仮想音源からの距離に応じた音量の決定方法はこれらに限らない。 Incidentally, the method of determining the volume corresponding to the distance from the virtual sound source is not limited thereto.

また、前述したように居室内にマイクを設置し、ユーザはヘッドフォンを装着するような場合、ユーザとマイクとの距離によって音量の減衰が発生する。 Further, a microphone is placed in a room as described above, the user if such as the headphones, the attenuation of the volume generated by the distance between the user and the microphone. すなわち、マイクを通じて取得した音声データは音量が減衰している。 That is, the audio data acquired through a microphone is sound is attenuated. そのため、ステップS807で音量を決定する際には、減衰した音量を補った後に上述した音量の決定を行うことが望ましい。 Therefore, in determining the volume at step S807, it is desirable to perform the determination of the volume described above after supplemented with volume attenuated.

更には、ユーザが装着するヘッドセット104のマイクで取得した音声データを、当該ユーザと同一拠点にいる他のユーザにはこの音声データを再生しなくてもよい。 Furthermore, the audio data acquired by the microphone of the headset 104 worn by the user, to other users in the user in the same site may not reproduce the audio data. そのため、ステップS807でこの音声データについては音量を0にしてしまってもよい。 Therefore, it may be accidentally the volume to 0 for this audio data in step S807. または、後述するステップS813で再生しないことも考えられる。 Or, also conceivable not to play in step S813 to be described later. 更には、ステップS801音声データを送信しないことも考えられる。 Furthermore, it is conceivable to not send step S801 audio data. 前述した同一拠点であるか否かは、HMD103ごとにどの拠点の情報処理装置101と接続されているのかを示す属性情報を情報処理装置101ごと、またはサーバ装置102で保持しておき、この属性情報を用いて同一拠点か否かを判定すればよい。 Whether the same base as described above, holds the attribute information indicating what is connected to the information processing apparatus 101 of any sites each information processing apparatus 101 or the server device 102 for each HMD 103, the attribute it may be determined whether the same site by using the information.

ステップS808では、情報処理装置101のCPU301は、ステップS807で音量を決定した音声データの左右の音量のバランスを調整する。 In step S808, CPU 301 of the information processing apparatus 101 adjusts the balance of the volume of the left and right audio data to determine the volume at step S807. すなわち、音像定位を変化(調整)させる。 That causes changes the sound image localization (adjustment). 音声データは、ステレオで録音されており、左チャンネルと右チャンネルの2チャンネルで構成されている。 Audio data, stereo has been recorded in, is composed of two channels of the left and right channels. この左右のチャンネルの音量を調整することで、あたかも正面以外の場所から音声が聞こえてくるようになる。 By adjusting the volume of the left and right channels, if it were made from a location other than the front to come hear the voice. この仕組みを用いて、ステップS603で特定した位置及び姿勢とステップS805で設定した仮想音源との位置関係によって、左右のチャンネルの音量を調整する。 Using this mechanism, the positional relationship between the virtual sound source set at a specific position and orientation and step S805 in step S603, to adjust the volume of the left and right channels. 例えば、特定した位置及び姿勢に対して仮想音源が右側にあれば、右側から聞こえてくるように調整し、特定した位置及び姿勢に対して仮想音源が左側にあれば、左側から聞こえてくるように調整する。 For example, if the virtual sound source is on the right side with respect to the specified position and orientation, and adjust as heard from the right side, if the virtual sound source is on the left side with respect to the specified position and orientation, so that heard from the left to adjust to.

他のHMD103の数だけステップS804乃至ステップS808の処理が終了したら、ループを抜けてステップS809に進める。 When the processing of only steps S804 to Step S808 the number of other HMD103 is completed, it proceeds to step S809 to exit the loop. ステップS809では、情報処理装置101のCPU301は、他のHMD103を装着するユーザの発声状態を示す3次元モデルを生成し、これを仮想空間に配置する。 In step S809, CPU 301 of the information processing apparatus 101 generates a three-dimensional model showing the voicing state of the user mounting the other HMD 103, places it in the virtual space. 例えば図5の発声状態バー531に示すような3次元モデルを生成し、仮想空間上の当該発声を行ったユーザの近傍に表示させる。 For example to produce a three-dimensional model shown in voicing state bar 531 in FIG. 5, is displayed near the user who made the utterance in the virtual space. 発声状態バー531は、音量の割合を示す。 Voicing state bar 531, shows the percentage of volume. すなわち、ステップS807で算出した音量の割合pに応じてバーの長さを変える。 In other words, changing the length of the bar in accordance with the ratio p of the volume calculated in step S807. 図5に示す発声状態バー531は、割合pが「1」の場合を示す。 Voicing state bar 531 shown in FIG. 5 shows a case where the ratio p is "1". 一方、図11に示す発声状態バー531は、割合pが「0.6」の場合を示す。 Meanwhile, voicing state bar 531 shown in FIG. 11 shows a case where the ratio p is "0.6".

図11を説明する。 Figure 11 will be described. 図11は、図5と同様に拠点Aと拠点Bにおいて同一の仮想空間を共有している図である。 Figure 11 is a diagram that share the same virtual space at the site A and the site B in the same manner as FIG. 図5と同様の箇所については同じ符号を付している。 Are denoted by the same reference numerals refer to like portions as FIG.

図5と異なる点について説明する。 Figure 5 differs will be explained. 1100と1110に示す通り、ユーザAとユーザBとの仮想空間上の距離が図5よりも離れていることがわかる。 As shown in 1100 and 1110, it is understood that the distance in the virtual space of the users A and B are separated by more than 5. また、ユーザA501はユーザB502の方向である方向1101を向いており、ユーザB511はユーザA512の方向である方向1111を向いている。 The user A501 is oriented 1101 is the direction of the user B 502, user B511 are oriented 1111 is the direction of the user A512. この状態で各ユーザが閲覧している複合現実画像は、1120と1130に示す通りである。 MR images each user in this state is browsing is shown in 1120 and 1130. 図5よりも遠くにユーザA512とユーザB502が配置されていることがわかる。 It can be seen that user A512 and user B502 is arranged farther than FIG. すなわち、音声を発したユーザAとユーザBとの仮想空間上における距離が離れているので、現実空間と同様に音量を下げる。 That is, the distance is away in a virtual space of the users A and B that originated the voice, like the real space down the volume. その音量を下げた割合、すなわちステップS807で算出した割合pに応じて、発声状態バー531の長さを変える。 Ratio was lowered its volume, namely according to the ratio p calculated in step S807, changing the length of the voicing state bar 531. 図11では、図5よりも離れているので発声状態バー531が短くなっていることがわかる。 In Figure 11, it can be seen that voicing state bar 531 so apart than 5 is shorter. こうして音量の割合を表示することで、万が一声が聞こえない場合であっても、他のユーザが何か喋っていることをユーザに認識させることが可能となる。 Thus, by displaying the percentage of volume, even if the chance voices not heard, it becomes possible to recognize the user to other users are talking something.

ステップS810では、情報処理装置101のCPU301は、ステップS603で特定した位置及び姿勢や、ステップS802で受信した他のHMDの位置姿勢情報に基づいて、仮想空間画像を生成する。 In step S810, CPU 301 of the information processing apparatus 101, or a particular position and orientation in step S603, based on the position and orientation information of another HMD received in step S802, the generating a virtual space image. より具体的には、ステップS802で受信した他のHMDの位置姿勢情報を用いて他のユーザを示す3次元モデルを生成して、仮想空間に配置する。 More specifically, to generate a three-dimensional model showing the other user using the position and orientation information of another HMD received in step S802, the placing in the virtual space. そして、ステップS603で特定した位置及び姿勢が示す仮想空間上の位置と向きで仮想カメラを設置し、当該仮想カメラから見た仮想空間を撮像して、仮想空間画像を生成する。 Then, a virtual camera is placed at a position and orientation in the virtual space shown by the specified position and orientation in step S603, by imaging the virtual space viewed from the virtual camera to generate a virtual space image.

ステップS811では、情報処理装置101のCPU301は、ステップS601で取得した現実空間画像とステップS810で生成した仮想空間画像とを重畳させて、複合現実画像を生成する。 In step S811, CPU 301 of the information processing apparatus 101 superimposes the virtual space image generated in the real space image and step S810 acquired in step S601, it generates a mixed reality image. そして、ステップS812では、情報処理装置101のCPU301は、ステップS811で生成した複合現実画像を情報処理装置101に接続されたHMD103に送信する。 In step S812, CPU 301 of the information processing apparatus 101 transmits the mixed reality image generated in step S811 to HMD103 connected to the information processing apparatus 101. HMD103はこれを受信すると、右目・左目ディスプレイ322に表示し、ユーザに対して複合現実画像を提示する。 HMD103 Upon receiving this, the display on the right-eye display 322 presents the mixed reality image to the user.

ステップS813では、情報処理装置101のCPU301は、ステップS807で決定した音量、及びステップS808で調整したバランスで音声データを再生する(音声再生手段)。 In step S813, CPU 301 of the information processing apparatus 101, the volume determined in step S807, and reproduces the audio data in balance adjusted in step S808 (audio playback means). すなわち、音声を発したユーザとは異なるユーザに対して、ステップS807及びステップS808で決定された音量で、ステップS802で取得した音声データを再生する。 That is, for different users and user originated the voice, at the volume determined in step S807 and step S808, reproduces the audio data acquired in step S802. 再生すると、情報処理装置101に接続されたヘッドセット104のヘッドフォンに送信され、ユーザの耳に他のHMD103を装着したユーザの声が再生される。 When play is sent to the headphone of the head set 104 connected to the information processing apparatus 101, the voice of the user who wears the other HMD103 the user's ear is reproduced. ここで、左右のチャンネルが調整されている場合には、仮想空間上に設定された音源との位置関係に応じた聞こえ方で音声が再生される。 Here, when the left and right channels are adjusted, the sound is reproduced by way heard in accordance with the positional relationship between the sound source set in the virtual space.

図12を説明する。 Figure 12 will be described. 図12も図5と同様に拠点Aと拠点Bにおいて同一の仮想空間を共有している図である。 Figure 12 is also a diagram that share the same virtual space in the same manner as station A and station B and FIG. 図12についても図5と同様の箇所については同じ符号を付している。 Are denoted by the same reference numerals refer to like portions as in FIG. 5 also FIG.

図5と異なる点について説明する。 Figure 5 differs will be explained. 1200と1210に示す通り、ユーザAとユーザBの位置は同じだが、ユーザA501は3次元モデル504の方向1201を向いている。 As shown in 1200 and 1210, the position of the user A and user B but the same, the user A501 is oriented 1201 of the three-dimensional model 504. ユーザB511は図5と同様にユーザA512の方向1211を向いている。 User B511 is oriented 1211 users A512 similarly to FIG. この状態で各ユーザが閲覧している複合現実画像は、1220と1230に示す通りである。 MR images each user in this state is browsing is shown in 1220 and 1230. ユーザA501はユーザA501から見て左側にある3次元モデル504を見ているので、ユーザB502がユーザA501から見て右側に存在している。 The user A501 Since sees a three-dimensional model 504 on the left side viewed from the user A501, user B502 is present on the right side as seen from the user A501. この状態でユーザB511が発声すると、音量は図5の場合と変わらないが左右のチャンネルごとに音量が調整され、ユーザA501から見て右側からユーザB511の音声が聞こえてくるように感じる。 When in this state the user B511 utters, sound volume is the same as that in the case of FIG. 5 is adjusted volume for each left and right channels, feel like heard the voice of the user B511 from the right as viewed from the user A 501. このようにすることで、たとえ離れた拠点で同一の仮想空間を共有する場合であっても、現実空間と同様の体験をユーザに提供することが可能となる。 By doing so, even when sharing the same virtual space even distant locations, it is possible to provide a similar experience real space to the user.

次に、第2の実施形態について説明を行う。 Next, a description will be given of a second embodiment. 前述した実施形態では、音声を発したユーザの仮想空間上の位置に仮想音源を設定していた。 In the above-described embodiment, it has been set a virtual sound source position on the virtual space of the user that originated the voice. しかしながら、ユーザがどの向きに対して音声を発したのかによって、当該ユーザとは異なるユーザの聞こえ方は変わるはずである。 However, depending on whether the user has issued a speech for any orientation, it should change the way hear the different users with the user. そこで、第2の実施形態ではユーザの向きに応じて音源を設定する仕組みについて説明する。 Therefore, in the second embodiment will be described about how to configure the sound source according to the user's orientation.

第2の実施形態は、前述した実施形態の変形例であるので、共通する部分の説明は省略する。 The second embodiment is the modification of the embodiment described above, a description of common portions will be omitted. 以下、前述した実施形態と異なる部分について説明を行う。 Hereinafter, a description is given of parts different from the embodiment described above.

まず、第2の実施形態における、他の拠点の情報処理装置101から送信されたユーザの音声の音量を決定する処理の流れについて、図13に示すフローチャートを用いて説明する。 First, in the second embodiment, the flow of processing for determining the volume of voice of the user transmitted from the information processing apparatus 101 of another hub, with reference to the flowchart shown in FIG. 13. 尚、図13は前述した図8の変形例である。 Incidentally, FIG. 13 is a modification of FIG. 8 described above. そのため、図8と共通する部分については、説明を省略する。 Therefore, the portions common to FIG. 8 will be omitted.

ステップS1301では、情報処理装置101のCPU301は、ステップS804で取得した位置姿勢情報702に基づいて、仮想空間上に仮想音源を設定する処理を実行する。 In step S1301, CPU 301 of the information processing apparatus 101, based on the position and orientation information 702 acquired in step S804, the executing the process of configuring a virtual sound source in the virtual space. 仮想音源設定処理の詳細は、後述する図14に示す。 Virtual sound source setting details of the process, shown in FIG. 14 to be described later.

ステップS1302では、情報処理装置101のCPU301は、ステップS807で音量を決定した音声データの左右の音量のバランスを調整する処理を実行する。 In step S1302, CPU 301 of the information processing apparatus 101 executes the process of adjusting the balance of sound volume of the left and right audio data to determine the volume at step S807. 音量バランス調整処理の詳細は、後述する図16に示す。 Details of volume balance adjustment process, shown in FIG. 16 to be described later.

次に、仮想音源設定処理の詳細について、図14に示すフローチャートを用いて説明する。 Next, details of the virtual sound source setting process will be described with reference to the flowchart shown in FIG. 14.

ステップS1401では、情報処理装置101のCPU301は、他のHMD103の仮想空間上における位置姿勢情報を取得する。 In step S1401, CPU 301 of the information processing apparatus 101 acquires position and orientation information on the virtual space of another HMD 103. 前述したステップS802で他のHMD103の位置姿勢情報を受信しているので、これを取得する。 Since receiving the position and orientation information of the other HMD103 in step S802 described above, to get this.

ステップS1402では、情報処理装置101のCPU301は、ステップS1401で取得した位置姿勢情報を用いて、仮想音源を設定する位置を特定する。 In step S1402, CPU 301 of the information processing apparatus 101, by using the acquired position and orientation information in step S1401, specifies the position to set the virtual sound source. 仮想音源を設定する位置は、音声を発したユーザの仮想空間上における位置から、当該ユーザが向いている方向(前方)に所定距離だけ離れた位置である。 Position to set the virtual sound source, the position on the virtual space of the user that originated the voice, a position separated by a predetermined distance in the direction (forward) to which the user is facing. 本実施形態では、この所定距離をDメートルとする。 In the present embodiment, this predetermined distance D meters. すなわち、音声を発したユーザの仮想空間上における位置から前方Dメートル離れた位置を仮想音源の位置とする。 That is, the position apart forward D meters from a position on the virtual space of the user that originated the voice and the position of the virtual sound source. 図15は、発声したユーザの位置及び姿勢に応じて、当該ユーザの前方に音源が設定される場合の一例を示す図である。 15, according to the position and orientation of the user who has uttered a diagram showing an example of a case where a sound source in front of the user is set. 前述した図9と共通する部分については、同じ番号を振ってある。 The parts common to FIG. 9 described above, the and swept the same number. ステップS1402では、音声を発したユーザの前方に仮想音源を設定するため、ユーザA512が1501に示す方向を向いていた場合には、例えば仮想音源は1502に示す位置となる。 In step S1402, in order to set the virtual sound source in front of the user that originated the voice, when was facing the direction shown in the user A512 is 1501, for example, virtual sound source is the position shown in 1502. こうすると、ユーザB511と仮想音源との距離が離れるので、前述したステップS807の処理により、ユーザB511に再生する音声データの音量が小さくなる。 In this way, since the distance is the distance between the user B511 virtual sound source, the processing of step S807 described above, the volume of the audio data to be reproduced to the user B511 is reduced.

ステップS1403では、情報処理装置101のCPU301は、ステップS1402で特定した仮想空間上の位置を仮想音源として設定する。 In step S1403, CPU 301 of the information processing apparatus 101 sets the position of the virtual space specified in step S1402 as a virtual sound source. すなわち、音声を発したユーザの姿勢(向き)を考慮した仮想音源から当該ユーザの音声データを再生する。 That is, to reproduce the voice data of the user from the virtual sound source in consideration of attitude of the user who issued the voice (orientation). こうすれば、音声を発したユーザと当該ユーザとは異なるユーザとの距離だけでなく、音声を発した方向によって音声の聞こえ方を調整することができる。 This makes it possible to adjust the way hear the audio by different, not only the distance between the user, the direction in which originated the voice between the user and the user having issued voice.

次に、音量バランス調整処理の詳細について、図16に示すフローチャートを用いて説明する。 Next, details of the sound volume balance adjustment processing will be described with reference to the flowchart shown in FIG. 16.

ステップS1601では、情報処理装置101のCPU301は、情報処理装置101に接続されたHMD103を装着するユーザの左耳の位置を仮想空間上で特定する。 In step S1601, CPU 301 of the information processing apparatus 101 identifies the position of the user's left ear mounting a HMD103 connected to the information processing apparatus 101 in a virtual space. ステップS603で特定した、HMD103の仮想空間における位置及び姿勢と、あらかじめ記憶されたHMD103から左耳までの距離とを用いて、仮想空間におけるユーザの左耳の位置を特定する。 Identified in Step S603, the position and orientation in the virtual space of the HMD 103, the HMD 103 stored in advance by using the distance to the left ear, to identify the position of the user's left ear in the virtual space.

ステップS1602では、情報処理装置101のCPU301は、ステップS1301で設定された仮想音源の位置から、ステップS1601で特定された左耳の位置までの仮想空間上における距離を算出する。 In step S1602, CPU 301 of the information processing apparatus 101, the set position of the virtual sound source in step S1301, calculates a distance in a virtual space to the position of the left ear specified in step S1601. 本実施形態では、この距離をdLとする。 In the present embodiment, this distance dL.

ステップS1603では、情報処理装置101のCPU301は、情報処理装置101に接続されたHMD103を装着するユーザの右耳の位置を仮想空間上で特定する。 In step S1603, CPU 301 of the information processing apparatus 101 identifies the position of the user's right ear mounting a HMD103 connected to the information processing apparatus 101 in a virtual space. ステップS603で特定した、HMD103の仮想空間における位置及び姿勢と、あらかじめ記憶されたHMD103から右耳までの距離とを用いて、仮想空間におけるユーザの右耳の位置を特定する。 Identified in Step S603, the position and orientation in the virtual space of the HMD 103, by using the distance to the right ear from the HMD 103 stored in advance, to identify the position of the user's right ear in the virtual space.

ステップS1604では、情報処理装置101のCPU301は、ステップS1301で設定された仮想音源の位置から、ステップS1603で特定された右耳の位置までの仮想空間上における距離を算出する。 In step S1604, CPU 301 of the information processing apparatus 101, the set position of the virtual sound source in step S1301, calculates a distance in a virtual space to the position of the right ear specified in step S1603. 本実施形態では、この距離をdRとする。 In the present embodiment, this distance dR.

ステップS1605では、情報処理装置101のCPU301は、ステップS1602及びステップS1604で算出したそれぞれの距離を比較し、dL>dRであるか否かを判定する。 In step S1605, CPU 301 of the information processing apparatus 101 compares the respective distances calculated in step S1602 and step S1604, determines whether or not dL> dR. すなわち、右耳の方が仮想音源に近いか否かを判定する。 That is, it is determined whether or not the person of the right ear is close to the virtual sound source. dL>dRであると判定した場合には、ステップS1606に処理を進める。 If it is determined that dL> dR advances the process to step S1606. dL>dRでない、つまりdL<dRであると判定した場合には、ステップS1607に処理を進める。 dL> not dR, that is, if it is determined that dL <dR, the flow advances to step S1607. ステップS1605はdL<dRであるか否かを判定してもよい。 Step S1605 may be judged whether or not dL <dR. この場合には、dL<dRであるならステップS1607に処理を進め、dL<dRでないならステップS1606に処理を進める。 In this case, the process proceeds to step S1607 if it is dL <dR, the process proceeds to step S1606 if not dL <dR.

ステップS1606では、情報処理装置101のCPU301は、ステップS807で音量を決定した音声データのチャンネルのうち、右チャンネルの音量が左チャンネルの音量よりも大きくなるように調整する。 In step S1606, CPU 301 of the information processing apparatus 101, among the channels of the audio data to determine the volume at step S807, the volume of the right channel is adjusted to be larger than the volume of the left channel. ステップS1606における右チャンネルと左チャンネルの音量の算出方法の一例を図17に示す。 An example of a volume calculation method of the right and left channels at step S1606 shown in FIG. 17. ステップS807で決定した音量をVとした場合、左チャンネルの音量(vL)は、図17の式9によって求められる。 If the volume determined in step S807 and is V, the left channel volume (vL) is determined by Equation 9 in Figure 17. 一方、右チャンネルの音量(vR)は図17の式10によって求められる。 On the other hand, the right channel volume (vR) is determined by equation 10 in Figure 17. 式9及び式10に示す通り、ステップS1606では左チャンネルの音量を小さくすることで、右チャンネルの音量が左チャンネルの音量よりも大きくなるように調整している。 As shown in Equation 9 and Equation 10, by reducing the volume of the left channel in step S1606, the volume of the right channel is adjusted to be larger than the volume of the left channel. 尚、本実施形態における右チャンネルと左チャンネルの音量の調整方法はあくまで一例である。 The adjustment method of the volume of the right and left channels in the present embodiment is merely an example.

ステップS1607では、情報処理装置101のCPU301は、ステップS807で音量を決定した音声データのチャンネルのうち、左チャンネルの音量が右チャンネルの音量よりも大きくなるように調整する。 In step S1607, CPU 301 of the information processing apparatus 101, among the channels of the audio data to determine the volume at step S807, is adjusted such that the volume of the left channel is greater than the volume of the right channel. ステップS1607における右チャンネルと左チャンネルの音量の算出方法の一例を図17に示す。 An example of a volume calculation method of the right and left channels at step S1607 shown in FIG. 17. ステップS807で決定した音量をVとした場合、左チャンネルの音量(vL)は、図17の式11によって求められる。 If the volume determined in step S807 and is V, the left channel volume (vL) is determined by the equation 11 of FIG. 17. 一方、右チャンネルの音量(vR)は図17の式12によって求められる。 On the other hand, the right channel volume (vR) is determined by equation 12 in Figure 17. 式11及び式12に示す通り、ステップS1607では右チャンネルの音量を小さくすることで、左チャンネルの音量が右チャンネルの音量よりも大きくなるように調整している。 As shown in Equation 11 and Equation 12, by reducing the volume of the right channel in step S1607, the volume of the left channel is adjusted to be larger than the volume of the right channel. 尚、本実施形態における右チャンネルと左チャンネルの音量の調整方法はあくまで一例である。 The adjustment method of the volume of the right and left channels in the present embodiment is merely an example. 以上のようにして、音声データの右チャンネルと左チャンネルの音量を調整し、音声が聞こえてくる方向を制御する。 As described above, to adjust the volume of the right and left channels of audio data, to control the direction in which the voice is heard.

以上説明したように、本実施形態によれば、現実空間上のユーザの位置に応じて特定される仮想空間上の位置を考慮して、ユーザが発した音声を再生することの可能な効果を奏する。 As described above, according to this embodiment, in consideration of the position on the virtual space specified according to a user's position on the real space, the possible effect of reproducing audio generated by a user unlikely to.

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。 The present invention is, for example, a system, device, method, embodied as a program or a storage medium, specifically, may be applied to a system constituted by a plurality of devices, 1 it may be applied to One of consisting equipment device.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。 The present invention include those of the software program for realizing the functions of the foregoing embodiments, the system or apparatus directly or to supply remotely. そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 And also included in the present invention if also achieved by reading and executing the program code with a computer is the supply of the system or the apparatus.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。 Therefore, in order to realize the functional processing of the present invention by a computer, the program code itself installed in the computer also realizes the present invention. つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 That is, the present invention includes the computer program itself for implementing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In this case, as long as the functions of the program, an object code, a program executed by an interpreter, it may be in the form and script data supplied with the OS.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。 As the recording medium for supplying the program are a floppy disk, a hard disk, an optical disk, MO, CD-ROM, CD-R, and the like CD-RW. また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。 Further, there is a magnetic tape, a nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), etc. as well.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。 As for the method of supplying the program, it is connected to a website on the Internet using a browser of a client computer. そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 Then, the file containing the computer program itself or a compressed automatic installation function from the web site can be downloaded to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。 Further, the program code constituting the program of the present invention is divided into a plurality of files, it can be also realized by downloading the respective files from different websites. つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 In other words, WWW servers that allow to download program files for realizing the functional processing of the present invention on a computer also falls within the scope of the present invention.

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。 Furthermore, to encrypt the program of the present invention is distributed to users and stored in a storage medium such as a CD-ROM, a user who satisfies a predetermined condition, download key information via the Internet decoding the encryption from the web site make. そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 Then, it is possible to realize by executing the encrypted program is installed on a computer by using the downloaded key information.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。 The computer that executes the readout program realizes the functions of the embodiments described above. その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Other, based on the instructions of the program, the OS running on the computer performs a part or all of the actual processing so that the functions of the foregoing embodiments can be implemented by this processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。 Furthermore, the program read out from the recording medium is written in a memory provided in a function expansion unit connected to a function expansion board inserted into a computer or a computer. その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Then, on the basis of the instructions of the program, it performs part or all of the CPU such as the actual processing of the function expansion board or function expansion unit of the foregoing embodiments can be implemented by this processing.

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。 Incidentally, the above-described embodiment is merely illustrate concrete examples of implementing the present invention, in which technical scope of the present invention should not be limitedly interpreted. 即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 That is, the present invention is its technical idea or without departing from the essential characteristics thereof, can be implemented in various forms.

101 情報処理装置102 サーバ装置103 HMD 101 information processing apparatus 102 server apparatus 103 HMD
104 ヘッドセット201 オプティカルマーカ202 赤外線カメラ301 CPU 104 Headset 201 Optical marker 202 infrared camera 301 CPU
302 ROM 302 ROM
303 RAM 303 RAM
304 システムバス305 入力コントローラ306 ビデオコントローラ307 メモリコントローラ308 通信I/Fコントローラ309 メディアコントローラ310 汎用バス311 入力デバイス312 外部メモリ 304 The system bus 305 input controller 306 the video controller 307 memory controller 308 communication I / F controller 309 media controller 310 general-purpose bus 311 input device 312 external memory

本発明は、 仮想空間を閲覧するユーザが現実空間で発した音を、当該ユーザと同一の場所に存在する他のユーザに対して適切に制御して再生することの可能な情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラムに関する。 The present invention is a sound generated by a user in the real space to view a virtual space, that of an information processing system for reproducing by appropriately controlling for other users existing in the same location and the user, the control method, and program, and an information processing apparatus, a control method, and a program.

発明の目的は、 仮想空間を閲覧するユーザが現実空間で発した音を、当該ユーザと同一の場所に存在する他のユーザに対して適切に制御して再生することの可能な仕組みを提供することである。 An object of the present invention, provides a possible mechanism for the user to view the virtual space sound emitted in the real space, to play properly controlled with respect to other users in the same location as the user It is to be.

上記の目的を達成するために本発明の情報処理システムは、 複数のユーザが仮想空間を閲覧するための情報処理システムであって、ユーザが発したを示すデータを取得する音データ取得手段と、 前記複数のユーザの前記仮想空間におけるそれぞれの置を取得する位置取得手段と、 前記位置取得手段で取得した仮想空間上のそれぞれの位置を用いて決定される、音データの再生に関するパラメータを用いて前記音データ取得手段で取得した音データを再生する音データ再生手段とを備え、前記音データ再生手段は、現実空間において前記音を発したユーザと同一の場所に存在する他のユーザに対しては、前記音データ取得手段で取得した音データを再生しないことを特徴とする。 The information processing system of the present invention to achieve the above object, an information processing system for multiple users to view the virtual space, sound data acquisition means for acquiring sound data indicating a sound generated by a user If the position acquiring means for acquiring respective position in the virtual space of the plurality of users, the position obtaining unit Ru is determined using the positions in the virtual space obtained in the parameters relating to the reproduction of the sound data using, and a sound data reproducing means for reproducing sound data obtained by the sound data obtaining unit, the sound data reproducing means, other that exists in the same location and the user having issued the sound in real space for users, characterized in that it does not reproduce the sound data acquired by the sound data acquisition means. また、本発明の情報処理システムは、複数のユーザが仮想空間を閲覧するための情報処理システムであって、ユーザが発した音を示す音データを取得する音データ取得手段と、前記複数のユーザの前記仮想空間におけるそれぞれの位置を取得する位置取得手段と、前記位置取得手段で取得した仮想空間上のそれぞれの位置を用いて決定される、音データの再生に関するパラメータを用いて、前記音データ取得手段で取得した音データを再生する音データ再生手段とを備え、前記音データ再生手段は、現実空間において前記音を発したユーザと同一の場所に存在する他のユーザに対しては、前記音データ取得手段で取得した音データを、現在の音量よりも小さな音量で再生することを特徴とする。 The information processing system of the present invention is an information processing system for multiple users to view the virtual space, and sound data acquisition means for acquiring sound data indicating a sound generated by a user, the plurality of users above using the position acquisition means for acquiring a respective position in the virtual space are determined using the respective position in the virtual space obtained by said position obtaining unit, a parameter relating to the reproduction of the sound data, the sound data and a sound data reproducing means for reproducing sound data obtained by the obtaining unit, the sound data reproducing means, for other users existing in the same location as the user having issued the sound in real space, the the sound data obtained by the sound data acquisition means, characterized in that play a smaller volume than the current volume.

本発明によれば、 仮想空間を閲覧するユーザが現実空間で発した音を、当該ユーザと同一の場所に存在する他のユーザに対して適切に制御して再生することが可能となる According to the present invention, the sound generated by a user in the real space to view a virtual space, it is possible to play properly controlled with respect to other users that are present in the same location and the user.

Claims (10)

  1. ユーザが発した音声を示す音声データを取得する音声取得手段と、 A voice acquiring means for acquiring speech data representing a speech generated by a user,
    前記音声を発したユーザの現実空間上の位置と、当該ユーザとは異なるユーザの現実空間上の位置とを取得する位置取得手段と、 And position on the real space of the user having issued the voice, a position acquiring means for acquiring the position on the physical space of the different users from the user,
    前記位置取得手段で取得した現実空間上のそれぞれの位置に基づいて、前記音声を発したユーザの仮想空間上の位置と、当該ユーザとは異なるユーザの仮想空間上の位置とを特定する位置特定手段と、 Based on the respective position on the real space acquired by the position acquisition unit, a position on the virtual space of the user having issued the voice, localization of specifying a position on the virtual space of the different user and the user and means,
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音声取得手段で取得した音声データを再生する際のパラメータを決定するパラメータ決定手段と、 And parameter determining means for determining a parameter for reproducing audio data on the basis of the respective position in the virtual space, acquired by the voice acquisition means identified by said position specifying means,
    前記音声を発したユーザとは異なるユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音声取得手段で取得した音声データを再生する音声再生手段と を備えることを特徴とする情報処理システム。 Information, characterized in that for different user than the user having issued the voice, and a voice reproducing means for reproducing the audio data acquired by the voice acquisition unit using the parameter determined by said parameter determining means processing system.
  2. 前記パラメータ決定手段は、前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音声取得手段で取得した音声データを再生する際のパラメータとして音量を決定し、 Said parameter determining means determines, based on the respective positions in the virtual space identified by the position specifying means, the volume determined as a parameter in reproducing audio data acquired by the voice acquisition means,
    前記音声再生手段は、前記音声を発したユーザとは異なるユーザに対して、前記パラメータ決定手段で決定された音量で、前記音声取得手段で取得した音声データを再生することを特徴とする請求項1に記載の情報処理システム。 Claim wherein the sound reproduction means, for different users from the user having issued the voice, with the volume determined by said parameter determining means, characterized in that for reproducing audio data acquired by the voice acquisition means the information processing system according to 1.
  3. 前記パラメータ決定手段は、前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音声取得手段で取得した音声データを再生する際のパラメータとして、音声データを構成するチャンネルごとの音量を決定し、 It said parameter determining means determines, based on the respective positions in the virtual space identified by the position specifying means, as a parameter in reproducing audio data acquired by the voice acquisition means, the volume of each channel constituting the audio data to determine,
    前記音声再生手段は、前記音声を発したユーザとは異なるユーザに対して、前記パラメータ決定手段で決定されたチャンネルごとの音量で、前記音声取得手段で取得した音声データを再生することを特徴とする請求項1または2に記載の情報処理システム。 The sound reproducing means, for different users from the user having issued the voice, with the volume of each channel determined by the parameter determining means, and characterized in that for reproducing audio data acquired by the voice acquisition means the information processing system according to claim 1 or 2.
  4. 前記パラメータ決定手段は、前記位置特定手段で特定した、音声を発したユーザの仮想空間上の位置から、当該ユーザとは異なるユーザの仮想空間上の位置までの距離を用いて、前記音声取得手段で取得した音声データを再生する際のパラメータを決定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。 It said parameter determining means determines, identified by the position identification means, from a position on the virtual space of the user that originated the voice, by using the distance to the position in the virtual space of the different users from the user, the voice acquisition unit the information processing system according to any one of claims 1 to 3, characterized in that determining the parameters of the time of reproducing the acquired speech data in.
  5. 前記位置取得手段は、更に前記音声を発したユーザの現実空間上の向きと、当該ユーザとは異なるユーザの現実空間上の向きとを取得し、 The position acquiring unit acquires further and orientation of the physical space of the user having issued the voice, and orientation of the physical space of the different users from the user,
    前記位置特定手段は、更に前記位置取得手段で取得した現実空間上のそれぞれの向きに基づいて、前記音声を発したユーザの仮想空間上の向きと、当該ユーザとは異なるユーザの仮想空間上の向きとを特定し、 It said position specifying means, based on the further respective orientations on real space acquired by the position acquisition unit, and the direction in the virtual space of the user who issued the voice, in the virtual space of the different user and the user to identify and orientation,
    前記パラメータ決定手段は、前記位置特定手段で特定した仮想空間上のそれぞれの位置及び向きを用いて、音声を発したユーザの仮想空間上の位置の前方から、当該ユーザとは異なるユーザの仮想空間上の位置までの距離を用いて、前記音声取得手段で取得した音声データを再生する際のパラメータを決定することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理システム。 It said parameter determining means determines, using the respective position and orientation of the virtual space that is specified by the position specifying means, from a forward position in the virtual space of the user who originated the voice, the virtual space of the different user and the user with the distance to the upper position, the information processing system according to any one of claims 1 to 4, characterized in that determining the parameter for reproducing audio data acquired by the voice acquisition means.
  6. 情報処理システムの音声取得手段が、ユーザが発した音声を示す音声データを取得する音声取得ステップと、 Sound acquisition unit of the information processing system, a sound acquisition step of acquiring speech data representing a speech generated by a user,
    前記情報処理システムの位置取得手段が、前記音声を発したユーザの現実空間上の位置と、当該ユーザとは異なるユーザの現実空間上の位置とを取得する位置取得ステップと、 Position obtaining unit of the information processing system, a position on real space of the user having issued the voice, a position acquisition step of acquiring the position on the physical space of the different users from the user,
    前記情報処理システムの位置特定手段が、前記位置取得ステップで取得した現実空間上のそれぞれの位置に基づいて、前記音声を発したユーザの仮想空間上の位置と、当該ユーザとは異なるユーザの仮想空間上の位置とを特定する位置特定ステップと、 Position specifying means of the information processing system, based on the respective positions on the physical space obtained by the position obtaining step, the position on the virtual space of the user having issued the voice, virtual different users with the user a position specifying step of specifying a spatial position,
    前記情報処理システムのパラメータ決定手段が、前記位置特定ステップで特定した仮想空間上のそれぞれの位置に基づいて、前記音声取得ステップで取得した音声データを再生する際のパラメータを決定するパラメータ決定ステップと、 Parameter determining means of the information processing system, on the basis of the respective position in the virtual space that is specified by the position specifying step, a parameter determining step of determining a parameter for reproducing audio data acquired by the sound acquisition step ,
    前記情報処理システムの音声再生手段が、前記音声を発したユーザとは異なるユーザに対して、前記パラメータ決定ステップで決定されたパラメータを用いて前記音声取得ステップで取得した音声データを再生する音声再生ステップと を備えることを特徴とする情報処理システムの制御方法。 Audio playback sound reproduction means of the information processing system, for different user than the user having issued the sound, reproduces the audio data acquired by the sound acquisition step using the parameter determined by the parameter determining step control method for an information processing system, comprising the steps.
  7. 情報処理システムを、 An information processing system,
    ユーザが発した音声を示す音声データを取得する音声取得手段と、 A voice acquiring means for acquiring speech data representing a speech generated by a user,
    前記音声を発したユーザの現実空間上の位置と、当該ユーザとは異なるユーザの現実空間上の位置とを取得する位置取得手段と、 And position on the real space of the user having issued the voice, a position acquiring means for acquiring the position on the physical space of the different users from the user,
    前記位置取得手段で取得した現実空間上のそれぞれの位置に基づいて、前記音声を発したユーザの仮想空間上の位置と、当該ユーザとは異なるユーザの仮想空間上の位置とを特定する位置特定手段と、 Based on the respective position on the real space acquired by the position acquisition unit, a position on the virtual space of the user having issued the voice, localization of specifying a position on the virtual space of the different user and the user and means,
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音声取得手段で取得した音声データを再生する際のパラメータを決定するパラメータ決定手段と、 And parameter determining means for determining a parameter for reproducing audio data on the basis of the respective position in the virtual space, acquired by the voice acquisition means identified by said position specifying means,
    前記音声を発したユーザとは異なるユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音声取得手段で取得した音声データを再生する音声再生手段 として機能させることを特徴とするプログラム。 For different users from the user having issued the voice, a program for causing to function as a sound reproducing means for reproducing the audio data acquired by the voice acquisition unit using the parameter determined by said parameter determining means .
  8. ユーザが発した音声を示す音声データを取得する音声取得手段と、 A voice acquiring means for acquiring speech data representing a speech generated by a user,
    前記音声を発したユーザの現実空間上の位置と、当該ユーザとは異なるユーザの現実空間上の位置とを取得する位置取得手段と、 And position on the real space of the user having issued the voice, a position acquiring means for acquiring the position on the physical space of the different users from the user,
    前記位置取得手段で取得した現実空間上のそれぞれの位置に基づいて、前記音声を発したユーザの仮想空間上の位置と、当該ユーザとは異なるユーザの仮想空間上の位置とを特定する位置特定手段と、 Based on the respective position on the real space acquired by the position acquisition unit, a position on the virtual space of the user having issued the voice, localization of specifying a position on the virtual space of the different user and the user and means,
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音声取得手段で取得した音声データを再生する際のパラメータを決定するパラメータ決定手段と、 And parameter determining means for determining a parameter for reproducing audio data on the basis of the respective position in the virtual space, acquired by the voice acquisition means identified by said position specifying means,
    前記音声を発したユーザとは異なるユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音声取得手段で取得した音声データを再生する音声再生手段と を備えることを特徴とする情報処理装置。 Information, characterized in that for different user than the user having issued the voice, and a voice reproducing means for reproducing the audio data acquired by the voice acquisition unit using the parameter determined by said parameter determining means processing apparatus.
  9. 情報処理装置の音声取得手段が、ユーザが発した音声を示す音声データを取得する音声取得ステップと、 Sound acquisition unit of the information processing apparatus, a voice acquisition step of acquiring speech data representing a speech generated by a user,
    前記情報処理装置の位置取得手段が、前記音声を発したユーザの現実空間上の位置と、当該ユーザとは異なるユーザの現実空間上の位置とを取得する位置取得ステップと、 Position obtaining unit of the information processing apparatus, a position on real space of the user having issued the voice, a position acquisition step of acquiring the position on the physical space of the different users from the user,
    前記情報処理装置の位置特定手段が、前記位置取得ステップで取得した現実空間上のそれぞれの位置に基づいて、前記音声を発したユーザの仮想空間上の位置と、当該ユーザとは異なるユーザの仮想空間上の位置とを特定する位置特定ステップと、 Position specifying means of the information processing apparatus, based on the respective positions on the physical space obtained by the position obtaining step, the position on the virtual space of the user having issued the voice, virtual different users with the user a position specifying step of specifying a spatial position,
    前記情報処理装置のパラメータ決定手段が、前記位置特定ステップで特定した仮想空間上のそれぞれの位置に基づいて、前記音声取得ステップで取得した音声データを再生する際のパラメータを決定するパラメータ決定ステップと、 Parameter determining means of the information processing apparatus, based on the respective position in the virtual space that is specified by the position specifying step, a parameter determining step of determining a parameter for reproducing audio data acquired by the sound acquisition step ,
    前記情報処理装置の音声再生手段が、前記音声を発したユーザとは異なるユーザに対して、前記パラメータ決定ステップで決定されたパラメータを用いて前記音声取得ステップで取得した音声データを再生する音声再生ステップと を備えることを特徴とする情報処理装置の制御方法。 Audio playback sound reproduction means of the information processing apparatus, for different users from the user having issued the sound, reproduces the audio data acquired by the sound acquisition step using the parameter determined by the parameter determining step a method of controlling an information processing apparatus, characterized in that it comprises a step.
  10. 情報処理装置を、 An information processing apparatus,
    ユーザが発した音声を示す音声データを取得する音声取得手段と、 A voice acquiring means for acquiring speech data representing a speech generated by a user,
    前記音声を発したユーザの現実空間上の位置と、当該ユーザとは異なるユーザの現実空間上の位置とを取得する位置取得手段と、 And position on the real space of the user having issued the voice, a position acquiring means for acquiring the position on the physical space of the different users from the user,
    前記位置取得手段で取得した現実空間上のそれぞれの位置に基づいて、前記音声を発したユーザの仮想空間上の位置と、当該ユーザとは異なるユーザの仮想空間上の位置とを特定する位置特定手段と、 Based on the respective position on the real space acquired by the position acquisition unit, a position on the virtual space of the user having issued the voice, localization of specifying a position on the virtual space of the different user and the user and means,
    前記位置特定手段で特定した仮想空間上のそれぞれの位置に基づいて、前記音声取得手段で取得した音声データを再生する際のパラメータを決定するパラメータ決定手段と、 And parameter determining means for determining a parameter for reproducing audio data on the basis of the respective position in the virtual space, acquired by the voice acquisition means identified by said position specifying means,
    前記音声を発したユーザとは異なるユーザに対して、前記パラメータ決定手段で決定されたパラメータを用いて前記音声取得手段で取得した音声データを再生する音声再生手段 として機能させることを特徴とするプログラム。 For different users from the user having issued the voice, a program for causing to function as a sound reproducing means for reproducing the audio data acquired by the voice acquisition unit using the parameter determined by said parameter determining means .
JP2016134810A 2013-12-25 2016-07-07 The information processing system, a control method, and program, and an information processing apparatus, a control method, and program Active JP6323505B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013266203 2013-12-25
JP2013266203 2013-12-25
JP2014174718 2014-08-29
JP2014174718 2014-08-29

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014244272 Division 2014-12-02

Publications (2)

Publication Number Publication Date
JP2016201817A true JP2016201817A (en) 2016-12-01
JP6323505B2 JP6323505B2 (en) 2018-05-16

Family

ID=55649375

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014244272A Active JP5971316B2 (en) 2013-12-25 2014-12-02 The information processing system, a control method, and program, and an information processing apparatus, a control method, and program
JP2016134810A Active JP6323505B2 (en) 2013-12-25 2016-07-07 The information processing system, a control method, and program, and an information processing apparatus, a control method, and program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014244272A Active JP5971316B2 (en) 2013-12-25 2014-12-02 The information processing system, a control method, and program, and an information processing apparatus, a control method, and program

Country Status (1)

Country Link
JP (2) JP5971316B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081644A (en) * 2016-11-18 2018-05-24 株式会社バンダイナムコエンターテインメント Simulation system and program
WO2018174500A1 (en) * 2017-03-20 2018-09-27 주식회사 라이커스게임 System and program for implementing augmented reality three-dimensional sound reflecting real-life sound
KR101963244B1 (en) * 2017-03-20 2019-03-28 ㈜라이커스게임 System for implementing augmented reality 3-dimensional sound with real sound and program for the same

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659691A (en) * 1993-09-23 1997-08-19 Virtual Universe Corporation Virtual reality network with selective distribution and updating of data to reduce bandwidth requirements
JP2005032078A (en) * 2003-07-08 2005-02-03 Nri & Ncc Co Ltd Communication program and communication method
US20050265535A1 (en) * 2004-05-26 2005-12-01 Yasusi Kanada Voice communication system
JP2006254167A (en) * 2005-03-11 2006-09-21 Hitachi Ltd Voice conference system, conference terminal, and voice server
JP2009093478A (en) * 2007-10-10 2009-04-30 Yahoo Japan Corp Virtual space broadcasting apparatus
US20100083116A1 (en) * 2008-10-01 2010-04-01 Yusuke Akifusa Information processing method and information processing device implementing user interface suitable for user operation
JP2010082336A (en) * 2008-10-01 2010-04-15 Nintendo Co Ltd Information processing program and information processing device
US20120110479A1 (en) * 2010-10-28 2012-05-03 Kabushiki Kaisha Square Enix (Also Trading As Square Enix Co., Ltd) Party chat system, program for party chat system and information recording medium
JP2012216073A (en) * 2011-03-31 2012-11-08 Konami Digital Entertainment Co Ltd Image processor, image processor control method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274147A (en) * 2003-03-05 2004-09-30 Hitachi Communication Technologies Ltd Sound field fixed multi-point talking system
JP4992591B2 (en) * 2007-07-25 2012-08-08 日本電気株式会社 Communication system and a communication terminal
JP2011066467A (en) * 2009-09-15 2011-03-31 Brother Industries Ltd Television conference terminal apparatus, method for controlling voice of the same, and voice control program
WO2011158493A1 (en) * 2010-06-15 2011-12-22 パナソニック株式会社 Voice communication system, voice communication method and voice communication device
JP2013175929A (en) * 2012-02-24 2013-09-05 Nikon Corp Information output device and information output method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659691A (en) * 1993-09-23 1997-08-19 Virtual Universe Corporation Virtual reality network with selective distribution and updating of data to reduce bandwidth requirements
JP2005182843A (en) * 1993-09-23 2005-07-07 Virtual Universe Corp Operation method of virtual reality circuit
JP2005032078A (en) * 2003-07-08 2005-02-03 Nri & Ncc Co Ltd Communication program and communication method
US20050265535A1 (en) * 2004-05-26 2005-12-01 Yasusi Kanada Voice communication system
JP2005341092A (en) * 2004-05-26 2005-12-08 Hitachi Ltd Voice communication system
JP2006254167A (en) * 2005-03-11 2006-09-21 Hitachi Ltd Voice conference system, conference terminal, and voice server
JP2009093478A (en) * 2007-10-10 2009-04-30 Yahoo Japan Corp Virtual space broadcasting apparatus
US20100083116A1 (en) * 2008-10-01 2010-04-01 Yusuke Akifusa Information processing method and information processing device implementing user interface suitable for user operation
JP2010082336A (en) * 2008-10-01 2010-04-15 Nintendo Co Ltd Information processing program and information processing device
US20120110479A1 (en) * 2010-10-28 2012-05-03 Kabushiki Kaisha Square Enix (Also Trading As Square Enix Co., Ltd) Party chat system, program for party chat system and information recording medium
JP2012090843A (en) * 2010-10-28 2012-05-17 Square Enix Co Ltd Party chat system, program for party chat system, and information recording medium
JP2012216073A (en) * 2011-03-31 2012-11-08 Konami Digital Entertainment Co Ltd Image processor, image processor control method, and program

Also Published As

Publication number Publication date
JP5971316B2 (en) 2016-08-17
JP2016048534A (en) 2016-04-07
JP6323505B2 (en) 2018-05-16

Similar Documents

Publication Publication Date Title
US7634073B2 (en) Voice communication system
EP2323425B1 (en) Method and device for generating audio signals
US20020075286A1 (en) Image generating system and method and storage medium
US8836771B2 (en) Apparatus, systems and methods for shared viewing experience using head mounted displays
KR101656172B1 (en) Enhanced communication between remote participants using augmented and virtual reality
US20130321566A1 (en) Audio source positioning using a camera
US9940969B2 (en) Audio/video methods and systems
EP2926570B1 (en) Image generation for collaborative sound systems
US9570113B2 (en) Automatic generation of video and directional audio from spherical content
CN104995681B (en) Analysis of the auxiliary video data to generate multichannel audio
US9431021B1 (en) Device grouping for audio based interactivity
KR20090035575A (en) Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
US9131305B2 (en) Configurable three-dimensional sound system
CN105325014A (en) Sound field adaptation based upon user tracking
US20130176403A1 (en) Heads up display (HUD) sensor system
US20120183161A1 (en) Determining individualized head-related transfer functions
US8867886B2 (en) Surround video playback
JP2015029241A (en) Directivity control system and voice output control method
JP2014017776A (en) Image generation device and image generation method
CN103905809B (en) The information processing apparatus and a recording medium
US20120307048A1 (en) Sensor-based placement of sound in video recording
US9646650B2 (en) Automatically syncing recordings between two or more content recording devices
Harma et al. Techniques and applications of wearable augmented reality audio
US9756449B2 (en) Method and device for processing sound data for spatial sound reproduction
US20110299707A1 (en) Virtual spatial sound scape

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180326

R150 Certificate of patent or registration of utility model

Ref document number: 6323505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150