JP2017079457A - Portable information terminal, information processing apparatus, and program - Google Patents
Portable information terminal, information processing apparatus, and program Download PDFInfo
- Publication number
- JP2017079457A JP2017079457A JP2015229972A JP2015229972A JP2017079457A JP 2017079457 A JP2017079457 A JP 2017079457A JP 2015229972 A JP2015229972 A JP 2015229972A JP 2015229972 A JP2015229972 A JP 2015229972A JP 2017079457 A JP2017079457 A JP 2017079457A
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- information
- terminal
- listener
- portable information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 26
- 230000004807 localization Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Abstract
Description
本発明は、携帯情報端末、情報処理装置、及びプログラムに係り、特に、音源を再生する携帯情報端末、情報処理装置、及びプログラムに関する。 The present invention relates to a portable information terminal, an information processing apparatus, and a program, and more particularly, to a portable information terminal, an information processing apparatus, and a program that reproduce a sound source.
従来より、立体音響技術は、あくまでも頭部を固定した状態での聴取を前提としている。 Conventionally, stereophonic technology is premised on listening with the head fixed.
様々な種類の立体音響技術があるが、ほぼ全てが聴取者の頭部回転に対応する事なく、聴取者の固定された頭部の周囲に音源を定位させる方式である（例えば、特許文献１）。 There are various types of stereophonic techniques, but almost all of them are a method of localizing a sound source around the fixed head of the listener without corresponding to the listener's head rotation (for example, Patent Document 1). ).
上述した従来の方式では、例えば聴取者が後ろを向くといった動作には対応出来ず、想定した効果を得る事は難しい。 In the conventional method described above, for example, it is not possible to cope with an operation in which the listener turns backward, and it is difficult to obtain an expected effect.
本発明は、上記の事情を鑑みてなされたもので、聴取者の向きに応じた音源を再生することができる携帯情報端末、情報処理装置、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a portable information terminal, an information processing apparatus, and a program that can reproduce a sound source according to the orientation of a listener.
上記の目的を達成するために第１の発明に係る携帯情報端末は、自端末の方向情報を検出するセンサと、聴取者が自端末を携帯しているときに、複数の方向に対応して用意された複数の音源情報のうち、前記センサによって検出された方向情報から求められる、現在の自端末の方向に対応する音源情報を再生するように制御する再生制御部と、を含んで構成されている。 In order to achieve the above object, a portable information terminal according to a first aspect of the invention corresponds to a sensor that detects direction information of its own terminal and a plurality of directions when a listener is carrying the own terminal. A reproduction control unit for controlling to reproduce sound source information corresponding to the current direction of the terminal, which is obtained from the direction information detected by the sensor among the plurality of sound source information prepared. ing.
第２の発明に係る情報処理装置は、聴取者が携帯情報端末を携帯しているときに、複数の方向に対する複数の音源情報のうち、前記携帯情報端末の方向情報を検出するセンサによって検出された方向情報から求められる、現在の前記携帯情報端末の方向に対応する音源情報を再生するように制御する再生制御部を含んで構成されている。 The information processing apparatus according to the second invention is detected by a sensor that detects direction information of the portable information terminal among a plurality of sound source information for a plurality of directions when the listener carries the portable information terminal. A reproduction control unit that performs control so as to reproduce sound source information corresponding to the current direction of the portable information terminal obtained from the direction information.
第３の発明に係るプログラムは、コンピュータを、聴取者が携帯情報端末を携帯しているときに、複数の方向に対する複数の音源情報のうち、携帯情報端末の方向情報を検出するセンサによって検出された方向情報から求められる、現在の携帯情報端末の方向に対応する音源情報を再生するように制御する再生制御部として機能させるためのプログラムである。 The program according to the third invention is detected by a sensor that detects direction information of a portable information terminal among a plurality of sound source information for a plurality of directions when a listener carries the portable information terminal. This is a program for functioning as a reproduction control unit for controlling to reproduce sound source information corresponding to the current direction of the portable information terminal, obtained from the obtained direction information.
第４の発明に係る情報処理装置は、聴取者が向いている方向情報の入力を受け付ける入力部と、複数の方向に対応して用意された複数の音源情報のうち、前記入力部によって受け付けた方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御する再生制御部と、を含んで構成されている。 An information processing apparatus according to a fourth invention is received by the input unit among an input unit that receives input of direction information facing a listener and a plurality of sound source information prepared corresponding to a plurality of directions. And a reproduction control unit that performs control so as to reproduce sound source information corresponding to the current direction of the listener obtained from the direction information.
第５の発明に係る情報処理装置は、聴取者が向いている方向情報が入力されたときに、複数の方向に対する複数の音源情報のうち、前記聴取者の方向情報から求められる、現在の前記聴取者の方向に対応する音源情報を再生するように制御する再生制御部を含んで構成されている。 An information processing apparatus according to a fifth aspect of the present invention is the information processing device according to the present invention, wherein the current information obtained from the direction information of the listener among the plurality of sound source information for a plurality of directions when the direction information toward the listener is input. The reproduction control unit is configured to control to reproduce the sound source information corresponding to the direction of the listener.
第６の発明に係るプログラムは、コンピュータを、聴取者が向いている方向情報が入力されたときに、複数の方向に対応して用意された複数の音源情報のうち、前記聴取者の方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御する再生制御部として機能させるためのプログラムである。 According to a sixth aspect of the present invention, there is provided a program that stores information about the listener's direction among a plurality of sound source information prepared corresponding to a plurality of directions when the direction information that the listener is facing is input. Is a program for functioning as a reproduction control unit that controls to reproduce sound source information corresponding to the current listener direction.
上記のプログラムは、記憶媒体に格納して提供することができる。 The above program can be provided by being stored in a storage medium.
以上説明したように、本発明の携帯情報端末、情報処理装置、及びプログラムによれば、聴取者が携帯情報端末を携帯しているときに、センサによって検出された自端末の方向情報から求められる、現在の携帯情報端末の方向に対応する音源情報を再生するように制御することにより、携帯情報端末を持つ聴取者の向きに応じた音源を再生することができる、という効果が得られる。またパノラマ映像等の再生に於いても、携帯情報端末に表示される視覚情報と同期した音が得られる為、仮想現実の効果を最大限に発揮する事が可能となる。 As described above, according to the portable information terminal, information processing apparatus, and program of the present invention, when the listener is carrying the portable information terminal, it is obtained from the direction information of the own terminal detected by the sensor. By controlling to reproduce sound source information corresponding to the current direction of the portable information terminal, it is possible to reproduce the sound source according to the direction of the listener having the portable information terminal. Further, in the reproduction of a panoramic image or the like, since a sound synchronized with visual information displayed on the portable information terminal can be obtained, it is possible to maximize the effect of virtual reality.
また、本発明の情報処理装置及びプログラムによれば、聴取者の方向情報が入力されるときに、入力された方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御することにより、聴取者の向きに応じた音源を再生することができる、という効果が得られる。 Further, according to the information processing apparatus and program of the present invention, when the listener's direction information is input, the sound source information corresponding to the current listener's direction, which is obtained from the input direction information, is reproduced. By controlling in this way, it is possible to reproduce the sound source according to the direction of the listener.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜本発明の実施の形態の概要＞
全方位音源、若しくは多方向音源を収録し、任意の聴取角に対応する音源を選択して聴取する方法について説明する。
<Outline of Embodiment of the Present Invention>
A method for recording an omnidirectional sound source or a multi-directional sound source and selecting a sound source corresponding to an arbitrary listening angle will be described.
聴取したい全ての方向の音源を予め収録、若しくはリアルタイム収録し、聴取者が携帯情報端末を携帯しているときに、携帯情報端末の向きを、聴取者の身体の向きや頭部方向等として、ジャイロセンサ等で検知する事により、その方向の音源及び音場を選択的に聴取可能とする。 Record the sound source in all directions you want to listen in advance, or record in real time, and when the listener is carrying the portable information terminal, the direction of the portable information terminal as the direction of the listener's body, head direction, etc. By detecting with a gyro sensor or the like, the sound source and sound field in that direction can be selectively heard.
これにより、選択した聴取角に指向性マイクを向けているかの様な聴取体験が可能となる。 This enables a listening experience as if the directional microphone is pointed at the selected listening angle.
＜第１の実施の形態＞
＜システム構成＞
図１に示すように、本発明の実施の形態に係る携帯情報端末１０は、携帯情報端末１０の角速度を検出するジャイロセンサ１２と、制御部１４と、スピーカ又はヘッドホンである音源出力部１６とを備えている。
<First Embodiment>
<System configuration>
As shown in FIG. 1, a portable information terminal 10 according to an embodiment of the present invention includes a gyro sensor 12 that detects an angular velocity of the portable information terminal 10, a control unit 14, and a sound source output unit 16 that is a speaker or headphones. It has.
携帯情報端末１０は、携帯電話、スマートフォン、頭部装着ディスプレイ、ウェアラブル端末、メガネ型端末、時計型端末、あるいはノート型・ブック型コンピュータ端末等からなる。なお、携帯情報端末１０を、スマートフォンを一例として以下、説明する。携帯情報端末１０は、インターネットなどのネットワークに接続されている。 The portable information terminal 10 includes a mobile phone, a smartphone, a head-mounted display, a wearable terminal, a glasses-type terminal, a clock-type terminal, or a notebook / book-type computer terminal. The portable information terminal 10 will be described below using a smartphone as an example. The portable information terminal 10 is connected to a network such as the Internet.
制御部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤやフラッシュメモリ等を備えたコンピュータで構成されており、ＨＤＤやフラッシュメモリ等には、Ｗｅｂサーバ（図示省略）が提供するサイトからダウンロードし、かつ、インストールした、後述する各種処理ルーチンを含む音源再生アプリケーションソフトが記憶されている。制御部１４は、機能的には次に示すように構成されている。制御部１４は、方向算出部２０、音源記憶部２４、及び再生制御部２６を備えている。 The control unit 14 includes a CPU, a ROM, a RAM, and a computer including an HDD, a flash memory, and the like. The HDD, the flash memory, and the like are downloaded from a site provided by a Web server (not shown), and The installed sound source reproduction application software including various processing routines to be described later is stored. The control unit 14 is functionally configured as follows. The control unit 14 includes a direction calculation unit 20, a sound source storage unit 24, and a reproduction control unit 26.
方向算出部２０は、ジャイロセンサ１２によって検出された水平面の回転角速度を積算することにより、水平面における自端末の基準方向からの角度変化を、自端末の方向として算出する。例えば、音源再生アプリケーションソフトが起動されたときを基準方向として、音源再生アプリケーションソフトが起動されたときから現時点までに検出された水平面の回転角速度を積算することにより、当該基準方向からの自端末の角度変化を算出する。 The direction calculation unit 20 calculates the angle change from the reference direction of the own terminal on the horizontal plane as the direction of the own terminal by integrating the rotational angular velocities of the horizontal plane detected by the gyro sensor 12. For example, when the sound source playback application software is started, the rotation direction velocity of the horizontal plane detected from the time when the sound source playback application software is started to the present time is integrated, so that Calculate the angle change.
音源記憶部２４には、複数の方向に対応する複数の音源情報からなるマルチ音源が記憶されている。例えば、mp4、mov等の動画や、aac、aif、wav等の音データとして記憶されている。 The sound source storage unit 24 stores a multi sound source including a plurality of sound source information corresponding to a plurality of directions. For example, it is stored as moving images such as mp4 and mov, and sound data such as aac, aif and wav.
図２に示すように、複数の発音源は、２次元の仮想空間上において、聴取者の仮想位置を中心とし、半径を所定距離とした円周（図２の聴取軌道を参照）上に配置され、複数の方向に対応している。 As shown in FIG. 2, a plurality of sound sources are arranged in a two-dimensional virtual space on the circumference (refer to the listening trajectory in FIG. 2) centered on the virtual position of the listener and having a predetermined radius. And correspond to multiple directions.
また、後述するように、仮想聴取点と、発音源の配置位置との距離と定位に応じた音量と音場で、再生するように制御する。例えば、仮想聴取点が、発音源の配置位置から離れる程、音は聴こえなくなる。 Further, as will be described later, control is performed so that playback is performed at a volume and a sound field corresponding to the distance and localization between the virtual listening point and the position of the sound source. For example, as the virtual listening point moves away from the position of the sound source, the sound cannot be heard.
この場合の、音量が最小になる地点から発音源までの距離を音源の最大距離とする。音源の最大距離の設定により、聴取範囲の制御が可能となり、目的に応じた立体感を得る事が出来る。図３（Ａ）、（Ｂ）、（Ｃ）にその例を示す。 In this case, the distance from the point where the volume is minimized to the sound source is defined as the maximum distance of the sound source. By setting the maximum distance of the sound source, it is possible to control the listening range and obtain a stereoscopic effect according to the purpose. Examples are shown in FIGS. 3A, 3B, and 3C.
図３（Ａ）では、音源の最大距離と、聴取者の仮想位置と発音源の距離が一致するように、音源の最大距離が設定されている例を示している。 FIG. 3A shows an example in which the maximum distance of the sound source is set so that the maximum distance of the sound source matches the distance between the virtual position of the listener and the sound source.
図３（Ｂ）では、音源の最大距離が、聴取者の仮想位置と発音源の距離より短くなるように、音源の最大距離が設定されている例を示している。この例では、別の方向の発音源との重なりを防ぐことができる。 FIG. 3B shows an example in which the maximum distance of the sound source is set so that the maximum distance of the sound source is shorter than the distance between the virtual position of the listener and the sound source. In this example, overlapping with the sound source in another direction can be prevented.
図３（Ｃ）では、音源の最大距離が、聴取者の仮想位置と発音源の距離より長くなるように、音源の最大距離が設定されている例を示す。この例では、方向間の自然な表現と立体感が得られる。 FIG. 3C shows an example in which the maximum distance of the sound source is set so that the maximum distance of the sound source is longer than the distance between the virtual position of the listener and the sound source. In this example, natural expression and stereoscopic effect between directions can be obtained.
また、仮想現実空間をよりリアルに構築する為には、どの方向を向いても明確な音源の定位が得られるよう予め全ての方向に対して頭部伝達関数(Head-Related Transfer Function, HRTF)を畳み込んだ発音源を用意しておく。線形時不変システムでは伝達関数Ｈ（ｆ）は以下の式で表される。 Also, in order to construct a virtual reality space more realistically, the head-related transfer function (HRTF) for all directions is obtained in advance so that a clear sound source localization can be obtained in any direction. Prepare a sound source that is folded. In a linear time-invariant system, the transfer function H (f) is expressed by the following equation.
また、以下の式に示すように、周波数領域に於いて発音源Ｓ（ω）に頭部伝達関数HRTFL(d,e,a,ω)とHRTFR(d,e,a,ω)を掛ける事により、左耳用の信号ＸL(ω)と右耳用の信号ＸR(ω)が得られる。 Further, as shown in the following equation, the head related transfer functions HRTF L (d, e, a, ω) and HRTF R (d, e, a, ω) are applied to the sound source S (ω) in the frequency domain. By multiplying, a signal X L (ω) for the left ear and a signal X R (ω) for the right ear are obtained.
ただし、ωは角周波数を表し、d、e、aは発音源の位置（距離、仰角、水平角）を表す。同様に、時間領域に於いてはベクトルＳ（ｔ）と頭部インパルス応答を畳み込む事により左耳用の信号ＸL(ｔ)と右耳用の信号XR(ｔ)が得られる。 Here, ω represents an angular frequency, and d, e, and a represent the position of the sound source (distance, elevation angle, horizontal angle). Similarly, in the time domain, the signal S L (t) for the left ear and the signal X R (t) for the right ear are obtained by convolving the vector S (t) with the head impulse response.
上記のようにして得られた全方位音源を、全方向に対して収録しておく事で、より自然で臨場感のある仮想現実音空間を構築する事が出来、頭部回転などにより携帯情報端末１０がどの方向を向いても、明瞭な音像定位を実現する事が可能となる。 By recording the omnidirectional sound source obtained as described above in all directions, a more natural and realistic virtual reality sound space can be constructed. A clear sound image localization can be realized regardless of which direction the terminal 10 faces.
再生制御部２６は、方向算出部２０によって算出された現在の自端末の方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。例えば、聴取角内の発音源の位置を仮想聴取点として決定し、聴取角内の発音源の音のみが聴こえるよう、音量や音場を制御する。 The reproduction control unit 26 determines a virtual listening point within the listening angle corresponding to the current direction of the terminal calculated by the direction calculating unit 20, and determines the distance between the virtual listening point and the arrangement positions of the plurality of sound sources, The volume and sound field of each sound source are controlled according to the localization. For example, the position of the sound source within the listening angle is determined as a virtual listening point, and the volume and sound field are controlled so that only the sound of the sound source within the listening angle can be heard.
なお、図４（Ａ）に示すように、ステレオ音源等、２つの発音源間での聴取がメインの場合には、聴取点から両発音源までの距離が短い程クリアに聴こえるので、両発音源を結んだ線上に仮想聴取点を決定するのが望ましい。この場合には、仮想聴取点の軌道となる円周の半径と、聴取者の仮想位置と発音源の距離の比は、１対√２になる。また、仮想空間における発音源の配位位置は円周上ではない位置となる。または、図４（Ｂ）に示すように、発音源間を結んだ線を聴取軌道として設定する事も効果的である。 As shown in FIG. 4 (A), when the main listening is between two sound sources such as a stereo sound source, the shorter the distance from the listening point to both sound sources, the clearer the sound is heard. It is desirable to determine a virtual listening point on the line connecting the sources. In this case, the ratio of the radius of the circumference that is the trajectory of the virtual listening point and the distance between the virtual position of the listener and the sound source is 1 to √2. In addition, the coordinate position of the sound source in the virtual space is not on the circumference. Alternatively, as shown in FIG. 4B, it is also effective to set a line connecting sound sources as a listening trajectory.
再生制御部２６は、聴取角に応じて各発音源の音量や音場を制御し、音源出力部１６へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。 The reproduction control unit 26 controls the volume and sound field of each sound source in accordance with the listening angle, and passes it to the sound source output unit 16. At this time, as the distance between the virtual listening point and the position of the sound source is longer, reproduction data is generated so that the reproduction is performed at a lower volume.
ここで、発音源から音源の最大距離に至るまでの間で音量を減衰させる際に、ロールオフ係数を設定する事により、目的に応じた音量減衰を得る事が出来る。図５にその例を示す。 Here, when the volume is attenuated from the sound source to the maximum distance of the sound source, the volume attenuation according to the purpose can be obtained by setting the roll-off coefficient. An example is shown in FIG.
例えば、発音源から離れるほど聴こえなくなるように音量を減衰させるロールオフ係数（図５の直線Ａを参照）、発音源から少し離れると急に聴こえなくなるように音量を減衰させるロールオフ係数（図５の曲線Ｂを参照）、発音源から離れていくと自然に聴こえなくなるように音量を減衰させるロールオフ係数（図５の曲線Ｃを参照）、及び発音源から離れていくと急に聴こえなくなるように音量を減衰させるロールオフ係数（図５の曲線Ｄを参照）等を設定することができる。これにより、特にパノラマ映像等の視覚情報との整合が図れる。 For example, a roll-off coefficient that attenuates the volume so that the sound cannot be heard as it goes away from the sound source (see a straight line A in FIG. 5), and a roll-off coefficient that attenuates the sound so that the sound cannot be heard suddenly a little away from the sound source (see FIG. 5). 5), a roll-off coefficient (see curve C in FIG. 5) that attenuates the volume so that it cannot be heard naturally when moving away from the sound source, and suddenly becomes unheard when moving away from the sound source. A roll-off coefficient (see curve D in FIG. 5) for attenuating the volume can be set. Thereby, it is possible to achieve alignment with visual information such as a panoramic video.
＜携帯情報端末の作用＞ <Operation of portable information terminal>
次に、本発明の第１の実施の形態に係る携帯情報端末１０の作用について説明する。 Next, the operation of the portable information terminal 10 according to the first embodiment of the present invention will be described.
まず、聴取者が、携帯情報端末１０を手に携帯し、携帯情報端末１０を操作して、音源再生アプリケーションを起動すると、携帯情報端末１０は、図６に示す再生制御処理ルーチンを実行する。 First, when the listener carries the portable information terminal 10 and operates the portable information terminal 10 to activate the sound source reproduction application, the portable information terminal 10 executes a reproduction control processing routine shown in FIG.
まず、ステップＳ１００において、ジャイロセンサ１２によって検出された水平面の回転角速度を取得する。聴取者が携帯情報端末１０を手に携帯したまま、向きを変えると、それに応じた水平面の回転角速度がジャイロセンサ１２によって検出される。そして、ステップＳ１０２において、上記ステップＳ１００で現時点までに取得された水平面の回転角速度を積算することにより、水平面における自端末の基準方向からの角度変化を、自端末の方向として算出する。 First, in step S100, the rotational angular velocity of the horizontal plane detected by the gyro sensor 12 is acquired. When the listener changes the direction while carrying the portable information terminal 10 in his / her hand, the rotational angular velocity of the horizontal plane corresponding to the change is detected by the gyro sensor 12. In step S102, by integrating the rotational angular velocities of the horizontal plane acquired up to the present time in step S100, the angle change from the reference direction of the own terminal on the horizontal plane is calculated as the direction of the own terminal.
そして、ステップＳ１０４において、上記ステップＳ１０２で算出された自端末の方向に基づいて、仮想聴取点の位置を決定し、複数の発音源の各々に対して、当該発音源の配位位置と仮想聴取点の位置との間の距離と定位を算出し、聴取角内の音のみが聴こえるよう、各発音源の音量と音場を制御する。 In step S104, the position of the virtual listening point is determined based on the direction of the terminal calculated in step S102, and the position of the sound source and the virtual listening position are determined for each of the plurality of sound sources. The distance between the positions of the points and the localization are calculated, and the volume and sound field of each sound source are controlled so that only the sound within the listening angle can be heard.
ステップＳ１０６では、上記ステップＳ１０４で算出された、各発音源の仮想聴取点からの距離と定位に応じた音量と音場で、音源を再生するように、音源出力部１６に受け渡し、ステップＳ１０８において、終了指示があったか否かを判定し、終了指示がない場合には、上記ステップＳ１００へ戻り、一方、終了指示があった場合には、再生制御処理ルーチンを終了する。 In step S106, the sound source is transferred to the sound source output unit 16 so that the sound source is reproduced with the sound volume and sound field corresponding to the distance from the virtual listening point of each sound source calculated in step S104 and the localization, and in step S108. It is determined whether or not there is an end instruction. If there is no end instruction, the process returns to step S100. On the other hand, if there is an end instruction, the reproduction control processing routine is ended.
以上説明したように、本発明の第１の実施の形態に係る携帯情報端末によれば、聴取者が携帯情報端末を手に携帯しているときに、ジャイロセンサによって検出された携帯情報端末の回転角速度から求められる、現在の携帯情報端末の方向に対応する各発音源の音量と音場を制御することにより、聴取者は携帯情報端末の向きに応じた音源を選択聴取することができる。 As described above, according to the portable information terminal according to the first embodiment of the present invention, the portable information terminal detected by the gyro sensor when the listener is carrying the portable information terminal. By controlling the volume and sound field of each sound source corresponding to the current direction of the portable information terminal obtained from the rotation angular velocity, the listener can selectively listen to the sound source corresponding to the direction of the portable information terminal.
また、任意の自端末方向の先にある発音源を選択して聴取可能にする為には、仮想聴取点を選択音源に近づける必要がある。ジャイロセンサの検出によって得られた回転角速度に対して、発音源の近くを通る聴取軌道を設定する事により、仮想聴取点と各発音源との距離に差が生まれる為、仮想聴取点から近い距離の音源のみを選択聴取する事が可能となる。 Further, in order to select a sound source in the direction of an arbitrary terminal and enable listening, it is necessary to make the virtual listening point close to the selected sound source. By setting the listening trajectory that passes near the sound source with respect to the rotational angular velocity obtained by the detection of the gyro sensor, a difference is generated in the distance between the virtual listening point and each sound source. It is possible to select and listen to only the sound source.
また、各発音源上を結ぶ聴取軌道を設定する事により、選択発音源と同じ位置にある仮想聴取点では、距離による遅延が無くなり、音源をよりクリアに聴取する事が可能となる。これにより、あたかも自端末方向の先にある発音場所で聴取しているような効果を得る事が出来る。 In addition, by setting a listening trajectory connecting each sound source, there is no delay due to distance at the virtual listening point at the same position as the selected sound source, and the sound source can be heard more clearly. As a result, it is possible to obtain an effect as if listening at a pronunciation place ahead of the terminal.
また、ジャイロセンサの検出によって得られた回転角速度に対して、発音源近くを通る聴取軌道上を、仮想聴取点が移動する事により、シームレスな音像定位が可能となる。これにより、全方位の中心に聴取者の仮想位置があるのに対し、仮想聴取点が、自端末方向の発音源に近くなり、その他の発音源との距離が、その発音源の最大距離を超える為、自端末方向の発音源のみを選択聴取する事が可能となる。 In addition, the virtual listening point moves on the listening trajectory passing near the sound source with respect to the rotational angular velocity obtained by the detection of the gyro sensor, thereby enabling seamless sound image localization. As a result, while the listener's virtual position is at the center of all directions, the virtual listening point is close to the sound source in the direction of the terminal, and the distance from other sound sources is the maximum distance of the sound source. Therefore, it is possible to select and listen only to the sound source in the direction of the own terminal.
＜第２の実施の形態＞
次に、第２の実施の形態に係る携帯情報端末について説明する。なお、第２の実施の形態に係る携帯情報端末の構成は、第１の実施の形態と同様であるため、説明を省略する。
<Second Embodiment>
Next, a portable information terminal according to the second embodiment will be described. Note that the configuration of the portable information terminal according to the second embodiment is the same as that of the first embodiment, and a description thereof will be omitted.
第２の実施の形態では、３次元の仮想空間に、複数の発音源が配置されている点が、第１の実施の形態と異なっている。 The second embodiment is different from the first embodiment in that a plurality of sound sources are arranged in a three-dimensional virtual space.
第２の実施の形態に係る携帯情報端末の方向算出部２０は、ジャイロセンサ１２によって検出された３軸の回転角速度を積算することにより、３次元における自端末の基準方向からの角度変化を、自端末の方向として算出する。 The direction calculation unit 20 of the portable information terminal according to the second embodiment integrates the three-axis rotational angular velocities detected by the gyro sensor 12, thereby changing the angle change from the reference direction of the terminal in three dimensions. Calculate as direction of own terminal.
音源記憶部２４には、複数の方向に対応する複数の音源情報からなるマルチ音源が記憶されている。図７に示すように、例えば、複数の発音源は、３次元の仮想空間上において、聴取者の仮想位置を中心とし、半径を所定距離とした球面上に配置され、複数の方向に対応している。 The sound source storage unit 24 stores a multi sound source including a plurality of sound source information corresponding to a plurality of directions. As shown in FIG. 7, for example, in the three-dimensional virtual space, a plurality of sound sources are arranged on a spherical surface centered on the virtual position of the listener and having a radius of a predetermined distance, and correspond to a plurality of directions. ing.
また、上記の第１の実施の形態と同様に、図８に示すように、複数の発音源の各々では、音源の最大距離が設定されている。 Similarly to the first embodiment, as shown in FIG. 8, the maximum distance of the sound source is set for each of the plurality of sound sources.
再生制御部２６は、方向算出部２０によって算出された現在の自端末の方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。例えば、聴取角内の発音源の位置を仮想聴取点として決定し、聴取角内の発音源の音のみが聴こえるよう、音量や音場を制御する。 The reproduction control unit 26 determines a virtual listening point within the listening angle corresponding to the current direction of the terminal calculated by the direction calculating unit 20, and determines the distance between the virtual listening point and the arrangement positions of the plurality of sound sources, The volume and sound field of each sound source are controlled according to the localization. For example, the position of the sound source within the listening angle is determined as a virtual listening point, and the volume and sound field are controlled so that only the sound of the sound source within the listening angle can be heard.
再生制御部２６は、聴取角に応じて各発音源の音量や音場を制御し、音源出力部１６へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。 The reproduction control unit 26 controls the volume and sound field of each sound source in accordance with the listening angle, and passes it to the sound source output unit 16. At this time, as the distance between the virtual listening point and the position of the sound source is longer, reproduction data is generated so that the reproduction is performed at a lower volume.
なお、第２の実施の形態に係る携帯情報端末の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。 Note that other configurations and operations of the portable information terminal according to the second embodiment are the same as those of the first embodiment, and thus description thereof is omitted.
以上説明したように、本発明の第２の実施の形態に係る携帯情報端末によれば、聴取者が携帯情報端末を手に携帯しているときに、ジャイロセンサによって検出された携帯情報端末の回転角速度から求められる、３次元における現在の携帯情報端末の方向に対応する各発音源の音量と音場を制御することにより、聴取者は携帯情報端末の向きに応じた音源を選択聴取することができる。 As described above, according to the portable information terminal according to the second embodiment of the present invention, the portable information terminal detected by the gyro sensor when the listener is carrying the portable information terminal. By controlling the volume and sound field of each sound source corresponding to the current direction of the portable information terminal in three dimensions, which is obtained from the rotational angular velocity, the listener can selectively listen to the sound source according to the direction of the portable information terminal. Can do.
また、全方位に対応する事が可能な為、例えば３６０度パノラマ映像等に取り入れる事で、視聴者の視覚と聴覚を融合する事が可能である。この場合には、携帯情報端末の表示画面に相当する、見える窓内の発音源を選択して聴取することが可能となる（図９（Ｂ）参照）。また、視覚の中心にある発音源をクローズアップして聴くという、新しい聴取体験を可能とする。 In addition, since it is possible to deal with all directions, it is possible to fuse the viewer's vision and hearing by incorporating it into a 360-degree panoramic image, for example. In this case, it is possible to select and listen to the sound source in the visible window corresponding to the display screen of the portable information terminal (see FIG. 9B). Also, it enables a new listening experience by listening closely to the pronunciation source at the center of vision.
また、頭部回転や携帯情報端末の回転によって聴きたい発音源をアクティブ聴取出来る為、予め多言語を収録し、頭部回転や携帯情報端末の回転により言語を選択するといった使い方も可能である（図９（Ａ）参照）。また、前を向いた時と後ろを向いた時で、別のアーティストの演奏をクローズアップ聴取したり、様々な新しい聴取形態が可能となる。 In addition, since the sound source to be listened to can be actively listened to by rotating the head or rotating the portable information terminal, it is possible to record multiple languages in advance and select the language by rotating the head or rotating the portable information terminal ( (See FIG. 9A). In addition, when facing forward and backward, it is possible to listen to another artist's performance close-up and various new listening modes.
＜第３の実施の形態＞
次に、第３の実施の形態に係る再生システムについて説明する。なお、第１の実施の形態と同様となる部分については、同一符号を付して、説明を省略する。
<Third Embodiment>
Next, a playback system according to the third embodiment will be described. In addition, about the part which becomes the same as that of 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第３の実施の形態では、再生制御をサーバ側で行っている点が、第１の実施の形態と異なっている。 The third embodiment is different from the first embodiment in that reproduction control is performed on the server side.
図１０に示すように、第３の実施の形態に係る再生システム３００は、携帯情報端末２１０と、サーバ２２０とを備えている。携帯情報端末２１０とサーバ２２０とはネットワーク２３０を介して接続されている。 As shown in FIG. 10, the reproduction system 300 according to the third embodiment includes a portable information terminal 210 and a server 220. The portable information terminal 210 and the server 220 are connected via a network 230.
携帯情報端末２１０は、ジャイロセンサ１２と、通信部２１４と、音源出力部１６とを備えている。 The portable information terminal 210 includes the gyro sensor 12, the communication unit 214, and the sound source output unit 16.
通信部２１４は、ジャイロセンサ１２によって逐次検出された回転角速度をサーバ２２０へ送信すると共に、サーバ２２０から受信した再生データを、音源出力部１６により出力する。 The communication unit 214 transmits the rotational angular velocity sequentially detected by the gyro sensor 12 to the server 220 and outputs the reproduction data received from the server 220 by the sound source output unit 16.
サーバ２２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤやフラッシュメモリ等を備えたコンピュータで構成されている。サーバ２２０は、機能的には次に示すように構成されている。サーバ２２０は、通信部２２２、方向算出部２２４、音源記憶部２４、及び再生制御部２２６を備えている。 The server 220 includes a computer having a CPU, ROM, RAM, HDD, flash memory, and the like. The server 220 is functionally configured as follows. The server 220 includes a communication unit 222, a direction calculation unit 224, a sound source storage unit 24, and a playback control unit 226.
通信部２２２は、携帯情報端末２１０から送信された回転角速度を受信し、方向算出部２２４へ受け渡す。また、通信部２２２は、再生制御部２２６から出力された再生データを、携帯情報端末２１０へ送信する。 The communication unit 222 receives the rotation angular velocity transmitted from the portable information terminal 210 and passes it to the direction calculation unit 224. Further, the communication unit 222 transmits the reproduction data output from the reproduction control unit 226 to the portable information terminal 210.
方向算出部２２４は、通信部２２２によって受信した回転角速度を積算することにより、自端末の基準方向からの角度変化を、携帯情報端末２１０の方向として算出する。 The direction calculation unit 224 calculates the angle change from the reference direction of the own terminal as the direction of the portable information terminal 210 by integrating the rotation angular velocities received by the communication unit 222.
再生制御部２２６は、方向算出部２２４によって算出された現在の携帯情報端末２１０の方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。 The reproduction control unit 226 determines a virtual listening point within the listening angle corresponding to the current direction of the portable information terminal 210 calculated by the direction calculating unit 224, and determines the virtual listening point and the arrangement positions of the plurality of sound sources. The volume and sound field of each sound source are controlled according to the distance and localization.
再生制御部２２６は、聴取角に応じて各発音源の音量や音場を制御し、通信部２２２へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。 The reproduction control unit 226 controls the volume and sound field of each sound source in accordance with the listening angle, and delivers the sound to the communication unit 222. At this time, as the distance between the virtual listening point and the position of the sound source is longer, reproduction data is generated so that the reproduction is performed at a lower volume.
＜再生システムの作用＞
次に、本発明の第３の実施の形態に係る再生システム３００の作用について説明する。
<Operation of playback system>
Next, the operation of the reproduction system 300 according to the third embodiment of the present invention will be described.
まず、聴取者が、携帯情報端末２１０を手に携帯し、音源再生アプリケーションを起動すると、携帯情報端末２１０は、ジャイロセンサ１２によって逐次検出された回転角速度をサーバ２２０へ送信する。 First, when the listener carries the portable information terminal 210 and activates the sound source reproduction application, the portable information terminal 210 transmits the rotational angular velocity sequentially detected by the gyro sensor 12 to the server 220.
サーバ２２０は、携帯情報端末２１０から受信した回転角速度を取得すると、現時点までに取得された回転角速度を積算することにより、携帯情報端末２１０の基準方向からの角度変化を、携帯情報端末２１０の方向として算出する。 When the server 220 obtains the rotational angular velocity received from the portable information terminal 210, the server 220 integrates the rotational angular velocity obtained up to the present time, thereby calculating the angle change from the reference direction of the portable information terminal 210 to the direction of the portable information terminal 210. Calculate as
そして、サーバ２２０は、算出された携帯情報端末２１０の方向に基づいて、仮想聴取点の位置を決定し、複数の発音源の各々に対して、当該発音源の配位位置と仮想聴取点の位置との間の距離や定位を算出し、各発音源の音量や音場を制御した上で音源を再生するように再生データを生成し、携帯情報端末２１０へ送信する。 Then, the server 220 determines the position of the virtual listening point based on the calculated direction of the portable information terminal 210, and for each of the plurality of sound sources, the coordinate position of the sound source and the virtual listening point are determined. The distance to the position and the localization are calculated, reproduction data is generated so as to reproduce the sound source after controlling the volume and sound field of each sound source, and transmitted to the portable information terminal 210.
そして、携帯情報端末２１０は、サーバ２２０から受信した再生データを、音源出力部１６により出力する。 Then, the portable information terminal 210 outputs the reproduction data received from the server 220 by using the sound source output unit 16.
以上説明したように、本発明の第３の実施の形態に係る再生システムによれば、聴取者が携帯情報端末を手に携帯しているときに、ジャイロセンサによって検出された携帯情報端末の回転角速度から求められる、現在の携帯情報端末の方向に対応する各発音源の音量と音場を制御した再生データを生成し、サーバから携帯情報端末へ送信することにより、聴取者は、携帯情報端末の向きに応じた音源を選択聴取することができる。 As described above, according to the playback system of the third embodiment of the present invention, the rotation of the portable information terminal detected by the gyro sensor when the listener is carrying the portable information terminal in hand. By generating reproduction data obtained by controlling the volume and sound field of each sound source corresponding to the current direction of the portable information terminal obtained from the angular velocity, and transmitting it from the server to the portable information terminal, the listener can The sound source can be selected and listened according to the direction of the.
なお、上記の第１の実施の形態と第２の実施の形態では、発音源が聴取者の仮想位置を中心とした円周上や球面上に配置されている場合を例に説明したが、これに限定されるものではなく、円周上や球面上ではない位置に発音源が配置されていてもよい。 In the first embodiment and the second embodiment described above, the case where the sound source is arranged on the circumference or the spherical surface around the virtual position of the listener has been described as an example. However, the present invention is not limited to this, and the sound source may be arranged at a position other than the circumference or the spherical surface.
また、上記の第１の実施の形態〜第３の実施の形態では、聴取者が携帯情報端末を手に携帯している場合を例に説明したがこれに限定されるものではなく、携帯情報端末がメガネ型端末や時計型端末のように聴取者に取り付けられることにより携帯している場合であってもよい。 Moreover, in said 1st Embodiment-3rd Embodiment, although the case where the listener carried the portable information terminal in the hand was demonstrated to the example, it is not limited to this, Portable information The terminal may be carried by being attached to a listener like a glasses-type terminal or a clock-type terminal.
また、ジャイロセンサを用いる場合を例に説明したが、これに限定されるものではなく、携帯情報端末の方向情報が得られれば、他のセンサを用いてもよい。例えば、方位センサを用いて、携帯情報端末の方向情報として方角を検出してもよい。この場合には、各方角に対応して発音源を用意すればよい。 Moreover, although the case where the gyro sensor was used was demonstrated to the example, it is not limited to this, You may use another sensor if the direction information of a portable information terminal is obtained. For example, a direction may be detected as direction information of the portable information terminal using an orientation sensor. In this case, a sound source may be prepared corresponding to each direction.
＜第４の実施の形態＞
次に、第４の実施の形態に係る再生システムについて説明する。なお、第１の実施の形態〜第３の実施の形態と同様となる部分については、同一符号を付して、説明を省略する。
<Fourth embodiment>
Next, a reproduction system according to the fourth embodiment will be described. In addition, about the part similar to 1st Embodiment-3rd Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第４の実施の形態では、聴取者が仮想的に向いている方向を入力操作で受け付けている点が、第３の実施の形態と異なっている。 The fourth embodiment is different from the third embodiment in that the direction in which the listener is facing virtually is received by an input operation.
図１１に示すように、第４の実施の形態に係る再生システム４００は、情報処理装置４１０と、サーバ４２０とを備えている。情報処理装置４１０とサーバ４２０とはネットワーク２３０を介して接続されている。 As shown in FIG. 11, the reproduction system 400 according to the fourth embodiment includes an information processing device 410 and a server 420. The information processing apparatus 410 and the server 420 are connected via a network 230.
情報処理装置４１０は、入力部４１２と、通信部４１４と、音源出力部１６とを備えている。 The information processing apparatus 410 includes an input unit 412, a communication unit 414, and a sound source output unit 16.
入力部４１２は、ユーザのマウス操作、キーボード操作、又はジョイスティック操作などにより聴取者が仮想的に向いている方向情報を受け付ける。 The input unit 412 receives direction information in which the listener is facing virtually by a user's mouse operation, keyboard operation, joystick operation, or the like.
通信部４１４は、入力部４１２により受け付けた方向情報をサーバ４２０へ送信すると共に、サーバ４２０から受信した再生データを、音源出力部１６により出力する。 The communication unit 414 transmits the direction information received by the input unit 412 to the server 420 and outputs the reproduction data received from the server 420 by the sound source output unit 16.
サーバ４２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤやフラッシュメモリ等を備えたコンピュータで構成されている。サーバ４２０は、機能的には次に示すように構成されている。サーバ４２０は、通信部４２２、方向算出部４２４、音源記憶部２４、及び再生制御部２２６を備えている。 The server 420 is configured by a computer including a CPU, a ROM, a RAM, an HDD, a flash memory, and the like. The server 420 is functionally configured as follows. The server 420 includes a communication unit 422, a direction calculation unit 424, a sound source storage unit 24, and a reproduction control unit 226.
通信部４２２は、情報処理装置４１０から送信された方向情報を受信し、方向算出部４２４へ受け渡す。また、通信部４２２は、再生制御部２２６から出力された再生データを、情報処理装置４１０へ送信する。 The communication unit 422 receives the direction information transmitted from the information processing apparatus 410 and passes it to the direction calculation unit 424. Further, the communication unit 422 transmits the reproduction data output from the reproduction control unit 226 to the information processing apparatus 410.
方向算出部４２４は、通信部４２２によって受信した方向情報に基づいて、聴取者の仮想的な方向を算出する。 The direction calculation unit 424 calculates the virtual direction of the listener based on the direction information received by the communication unit 422.
再生制御部２２６は、方向算出部４２４によって算出された現在の聴取者の仮想的な方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。 The reproduction control unit 226 determines a virtual listening point within the listening angle corresponding to the virtual direction of the current listener calculated by the direction calculating unit 424, and determines the virtual listening point and the arrangement positions of the plurality of sound sources. The sound volume and sound field of each sound source are controlled according to the distance and localization.
再生制御部２２６は、聴取角に応じて各発音源の音量や音場を制御し、通信部４２２へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。 The playback control unit 226 controls the volume and sound field of each sound source in accordance with the listening angle, and passes it to the communication unit 422. At this time, as the distance between the virtual listening point and the position of the sound source is longer, reproduction data is generated so that the reproduction is performed at a lower volume.
＜再生システムの作用＞
次に、本発明の第４の実施の形態に係る再生システム４００の作用について説明する。
<Operation of playback system>
Next, the operation of the reproduction system 400 according to the fourth embodiment of the present invention will be described.
まず、聴取者が、マウス操作、キーボード操作、又はジョイスティック操作などにより、情報処理装置４１０に、聴取者の仮想的な向きを示す方向情報を入力すると、情報処理装置４１０は、受け付けた方向情報をサーバ４２０へ送信する。 First, when the listener inputs direction information indicating the virtual orientation of the listener to the information processing apparatus 410 by mouse operation, keyboard operation, joystick operation, or the like, the information processing apparatus 410 displays the received direction information. Send to server 420.
サーバ４２０は、情報処理装置４１０から受信した方向情報を取得すると、聴取者の仮想的な方向を算出する。 When the server 420 acquires the direction information received from the information processing apparatus 410, the server 420 calculates a virtual direction of the listener.
そして、サーバ４２０は、算出された聴取者の仮想的な方向に基づいて、仮想聴取点の位置を決定し、複数の発音源の各々に対して、当該発音源の配位位置と仮想聴取点の位置との間の距離や定位を算出し、各発音源の音量や音場を制御した上で音源を再生するように再生データを生成し、情報処理装置４１０へ送信する。 Then, the server 420 determines the position of the virtual listening point based on the calculated virtual direction of the listener, and for each of the plurality of sound sources, the coordinate position of the sound source and the virtual listening point The reproduction data is generated so as to reproduce the sound source after controlling the volume and sound field of each sound source, and transmitted to the information processing apparatus 410.
そして、情報処理装置４１０は、サーバ４２０から受信した再生データを、音源出力部１６により出力する。 Then, the information processing apparatus 410 outputs the reproduction data received from the server 420 by the sound source output unit 16.
以上説明したように、本発明の第４の実施の形態に係る再生システムによれば、聴取者の方向情報が入力されるときに、入力された方向情報から求められる、現在の聴取者の方向に対応する各発音源の音量と音場を制御した再生データを生成し、サーバから情報処理装置へ送信することにより、聴取者は、入力した向きに応じた音源を選択聴取することができる。 As described above, according to the playback system according to the fourth embodiment of the present invention, when the listener's direction information is input, the current listener's direction obtained from the input direction information. By generating reproduction data in which the sound volume and sound field of each sound source corresponding to is generated and transmitting the reproduction data from the server to the information processing apparatus, the listener can selectively listen to the sound source corresponding to the input direction.
なお、上記第４の実施の形態において、サーバ４２０を用いずに、情報処理装置４１０が、方向算出部４２４、再生制御部２２６、及び音源記憶部２４を備えているように構成してもよい。 In the fourth embodiment, the information processing apparatus 410 may be configured to include the direction calculation unit 424, the playback control unit 226, and the sound source storage unit 24 without using the server 420. .
１０ 携帯情報端末
１２ ジャイロセンサ
１４ 制御部
１６ 音源出力部
２０ 方向算出部
２４ 音源記憶部
２６ 再生制御部
２１０ 携帯情報端末
２１４、４１４ 通信部
２２０、４２０ サーバ
２２２、４２２ 通信部
２２４、４２４ 方向算出部
２２６ 再生制御部
２３０ ネットワーク
３００、４００ 再生システム
４１０ 情報処理装置
４１２ 入力部
DESCRIPTION OF SYMBOLS 10 Portable information terminal 12 Gyro sensor 14 Control part 16 Sound source output part 20 Direction calculation part 24 Sound source memory | storage part 26 Playback control part 210 Portable information terminal 214, 414 Communication part 220, 420 Server 222, 422 Communication part 224, 424 Direction calculation part 226 Playback control unit 230 Network 300, 400 Playback system 410 Information processing device 412 Input unit
Claims (9)
聴取者が自端末を携帯しているときに、複数の方向に対応して用意された複数の音源情報のうち、前記センサによって検出された方向情報から求められる、現在の自端末の方向に対応する音源情報を再生するように制御する再生制御部と、
を含む携帯情報端末。 A sensor that detects direction information of the terminal itself;
Corresponds to the current direction of the terminal, which is obtained from the direction information detected by the sensor among the plurality of sound source information prepared for the plurality of directions when the listener carries the terminal. A playback control unit for controlling to play sound source information to be played,
Mobile information terminal including
前記再生制御部は、現在の自端末の方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の自端末の方向に対応する音源情報を再生するように制御する請求項１記載の携帯情報端末。 On the two-dimensional virtual space, the plurality of sound source information is arranged on the virtual space,
The reproduction control unit determines a virtual listening point corresponding to the current direction of the terminal, and determines the current listening terminal according to the distance and localization between the virtual listening point and the arrangement positions of the plurality of sound source information. The portable information terminal according to claim 1, wherein control is performed so as to reproduce sound source information corresponding to a direction.
前記再生制御部は、現在の自端末の方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の自端末の方向に対応する音源情報を再生するように制御する請求項１記載の携帯情報端末。 On the three-dimensional virtual space, the plurality of sound source information is arranged on the virtual space,
The reproduction control unit determines a virtual listening point corresponding to the current direction of the terminal, and determines the current listening terminal according to the distance and localization between the virtual listening point and the arrangement positions of the plurality of sound source information. The portable information terminal according to claim 1, wherein control is performed so as to reproduce sound source information corresponding to a direction.
前記センサは、角速度を検出するジャイロセンサであって、
前記方向算出部は、前記ジャイロセンサによって検出された角速度に基づいて、基準方向に対する自端末の方向の角度を算出し、
前記再生制御部は、前記方向算出部によって算出された前記自端末の方向の角度に対応する音源情報を再生するように制御する請求項１〜請求項３の何れか１項記載の携帯情報端末。 It further includes a direction calculation unit,
The sensor is a gyro sensor that detects angular velocity,
The direction calculation unit calculates an angle of the direction of the terminal with respect to a reference direction based on the angular velocity detected by the gyro sensor,
The portable information terminal according to any one of claims 1 to 3, wherein the reproduction control unit performs control so as to reproduce sound source information corresponding to an angle of the direction of the terminal calculated by the direction calculation unit. .
を含む情報処理装置。 When the listener is carrying a portable information terminal, the current portable information is obtained from direction information detected by a sensor that detects direction information of the portable information terminal among a plurality of sound source information for a plurality of directions. An information processing apparatus including a reproduction control unit that controls to reproduce sound source information corresponding to a direction of an information terminal.
複数の方向に対応して用意された複数の音源情報のうち、前記入力部によって受け付けた方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御する再生制御部と、
を含む情報処理装置。 An input unit that accepts input of direction information that the listener is facing;
A reproduction control unit that controls to reproduce sound source information corresponding to the current listener direction obtained from the direction information received by the input unit among a plurality of sound source information prepared corresponding to a plurality of directions. When,
An information processing apparatus including:
を含む情報処理装置。 When the direction information that the listener is facing is input, the sound source information corresponding to the current direction of the listener, which is obtained from the direction information of the listener among the plurality of sound source information for a plurality of directions, is reproduced. An information processing apparatus including a reproduction control unit that controls the operation.
聴取者が携帯情報端末を携帯しているときに、複数の方向に対する複数の音源情報のうち、前記携帯情報端末の方向情報を検出するセンサによって検出された方向情報から求められる、現在の前記携帯情報端末の方向に対応する音源情報を再生するように制御する再生制御部
として機能させるためのプログラム。 Computer
When the listener is carrying a portable information terminal, the current portable information is obtained from direction information detected by a sensor that detects direction information of the portable information terminal among a plurality of sound source information for a plurality of directions. A program for functioning as a reproduction control unit that controls to reproduce sound source information corresponding to the direction of the information terminal.
聴取者が向いている方向情報が入力されたときに、複数の方向に対応して用意された複数の音源情報のうち、前記聴取者の方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御する再生制御部
として機能させるためのプログラム。 Computer
Corresponds to the current listener direction obtained from the listener's direction information among a plurality of sound source information prepared corresponding to a plurality of directions when the direction information toward the listener is input. A program for functioning as a playback controller that controls playback of sound source information.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015205889 | 2015-10-19 | ||
| JP2015205889 | 2015-10-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017079457A true JP2017079457A (en) | 2017-04-27 |
| JP6651231B2 JP6651231B2 (en) | 2020-02-19 |
Family
ID=58666266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015229972A Active JP6651231B2 (en) | 2015-10-19 | 2015-11-25 | Portable information terminal, information processing device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6651231B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107071539A (en) * | 2017-05-08 | 2017-08-18 | 深圳小辣椒虚拟现实技术有限责任公司 | Information resources synchronous display method and system in terminal based on VR equipment |
| CN108777743A (en) * | 2018-05-24 | 2018-11-09 | 柳州智视科技有限公司 | A method of the real-time change vedio color based on gyroscope |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0993700A (en) * | 1995-09-28 | 1997-04-04 | Sony Corp | Video and audio signal reproducing device |
| JP2013101248A (en) * | 2011-11-09 | 2013-05-23 | Sony Corp | Voice control device, voice control method, and program |
| JP2013207759A (en) * | 2012-03-29 | 2013-10-07 | Fujitsu Ltd | Portable terminal, sound source position control method, and sound source position control program |
-
2015
- 2015-11-25 JP JP2015229972A patent/JP6651231B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0993700A (en) * | 1995-09-28 | 1997-04-04 | Sony Corp | Video and audio signal reproducing device |
| JP2013101248A (en) * | 2011-11-09 | 2013-05-23 | Sony Corp | Voice control device, voice control method, and program |
| JP2013207759A (en) * | 2012-03-29 | 2013-10-07 | Fujitsu Ltd | Portable terminal, sound source position control method, and sound source position control program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107071539A (en) * | 2017-05-08 | 2017-08-18 | 深圳小辣椒虚拟现实技术有限责任公司 | Information resources synchronous display method and system in terminal based on VR equipment |
| CN107071539B (en) * | 2017-05-08 | 2020-04-17 | 深圳小辣椒科技有限责任公司 | Terminal information resource synchronous display method and system based on VR equipment |
| CN108777743A (en) * | 2018-05-24 | 2018-11-09 | 柳州智视科技有限公司 | A method of the real-time change vedio color based on gyroscope |
| CN108777743B (en) * | 2018-05-24 | 2020-07-31 | 柳州智视科技有限公司 | Method for changing video color in real time based on gyroscope |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6651231B2 (en) | 2020-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6610258B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2018196469A1 (en) | Method and apparatus for processing audio data of sound field | |
| JP4916547B2 (en) | Method for transmitting binaural information to a user and binaural sound system | |
| JP2020509492A (en) | Recording virtual and real objects in mixed reality devices | |
| EP2942980A1 (en) | Real-time control of an acoustic environment | |
| US7526378B2 (en) | Mobile information system and device | |
| JP2021508426A (en) | Bidirectional extension or virtual reality device | |
| GB2542609A (en) | Differential headtracking apparatus | |
| EP3422744B1 (en) | An apparatus and associated methods | |
| CN111050271B (en) | Method and apparatus for processing audio signal | |
| CN111492342B (en) | Audio scene processing | |
| US11069137B2 (en) | Rendering captions for media content | |
| JP2017028390A (en) | Virtual reality space voice communication method, program, recording medium having recorded program, and device | |
| Sodnik et al. | Spatial auditory human-computer interfaces | |
| US20230396923A1 (en) | Index scheming for filter parameters | |
| CN112272817A (en) | Method and apparatus for providing audio content in immersive reality | |
| KR102656969B1 (en) | Discord Audio Visual Capture System | |
| JP2008299135A (en) | Speech synthesis device, speech synthesis method and program for speech synthesis | |
| JP6651231B2 (en) | Portable information terminal, information processing device, and program | |
| US11696085B2 (en) | Apparatus, method and computer program for providing notifications | |
| US20220171593A1 (en) | An apparatus, method, computer program or system for indicating audibility of audio content rendered in a virtual space | |
| JP6431225B1 (en) | AUDIO PROCESSING DEVICE, VIDEO / AUDIO PROCESSING DEVICE, VIDEO / AUDIO DISTRIBUTION SERVER, AND PROGRAM THEREOF | |
| JP6056466B2 (en) | Audio reproducing apparatus and method in virtual space, and program | |
| EP3968143A1 (en) | Audio processing | |
| Cater et al. | The potential of spatialised audio for location based services on mobile devices: Mediascapes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20160112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160128 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180618 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190905 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6651231 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |