JP2010045432A - Speaker array device, data structure, and optical disk - Google Patents

Speaker array device, data structure, and optical disk Download PDF

Info

Publication number
JP2010045432A
JP2010045432A JP2008206026A JP2008206026A JP2010045432A JP 2010045432 A JP2010045432 A JP 2010045432A JP 2008206026 A JP2008206026 A JP 2008206026A JP 2008206026 A JP2008206026 A JP 2008206026A JP 2010045432 A JP2010045432 A JP 2010045432A
Authority
JP
Japan
Prior art keywords
sound
control information
speaker array
listening position
sound beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008206026A
Other languages
Japanese (ja)
Other versions
JP5621188B2 (en
Inventor
Keiji Matsumoto
圭史 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2008206026A priority Critical patent/JP5621188B2/en
Publication of JP2010045432A publication Critical patent/JP2010045432A/en
Application granted granted Critical
Publication of JP5621188B2 publication Critical patent/JP5621188B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a speaker array device which can freely express object movement or the like and enables a listener to surely feel a change in sound regardless of a listening environment or the listener, a data structure that is read by the speaker array device, and an optical disk with the data structure recorded thereon. <P>SOLUTION: The speaker array device 1 emits sound that expresses object movement or the like as a sound beam on the basis of a sound signal input from a signal inputting part 51 and focal position information being control information, and further changes the focal position and the sound emitting direction of the sound beam to move the sound beam. Since the listener can be made to feel as if a sound source actually moves in this way, it is possible to provide a device that can emit sound having presence more than in the conventional manner. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、音声ビームを移動させて音源の移動を表現するスピーカアレイ装置、このスピーカアレイ装置に読み込ませるデータ構造、及びこのデータ構造が記録された光ディスクに関する。   The present invention relates to a speaker array device that expresses the movement of a sound source by moving an audio beam, a data structure that is read by the speaker array device, and an optical disk on which the data structure is recorded.

従来、聴取者の聴取位置や設置環境に応じて適正に音声ビームが放音されるように、その設定を容易かつ短時間で行うことができるスピーカアレイ装置が提案させている。
特開2006−13711号公報
2. Description of the Related Art Conventionally, a speaker array apparatus that can be set easily and in a short time so as to appropriately emit a sound beam according to a listener's listening position and installation environment has been proposed.
JP 2006-13711 A

従来のスピーカアレイ装置では、音声ビームの設定を完了して、サラウンド音声を含むコンテンツを再生すると、飛行機や車などの物体が移動する音などを体験できる。   In the conventional speaker array device, when the setting of the sound beam is completed and the content including the surround sound is reproduced, the sound of moving objects such as an airplane and a car can be experienced.

しかし、従来のスピーカアレイ装置は、固定式のサラウンドシステムをシミュレートしたものである。つまり、従来のスピーカアレイ装置で再生される音声は、放音方向や焦点位置が固定された音声ビームによるものであり、物体の移動時の音などはファントムによるものである。そのため、仮想スピーカ間において音の移動は表現できるが、仮想スピーカよりも外側において音の移動は表現できなかった。また、前記のように、物体の移動時の音などはファントムにより表現するので、聴取環境や聴取者によっては、途中で一瞬音が途切れたり、非連続的な音の変化に聞こえてしまったりする場合があった。   However, the conventional speaker array apparatus simulates a fixed surround system. In other words, the sound reproduced by the conventional speaker array apparatus is based on the sound beam whose sound emitting direction and focus position are fixed, and the sound when the object is moved is based on the phantom. Therefore, although the movement of sound can be expressed between virtual speakers, the movement of sound cannot be expressed outside the virtual speakers. In addition, as described above, sounds such as moving objects are represented by phantoms, so depending on the listening environment and listener, the sound may be interrupted for a moment or may be heard as a discontinuous change in sound. There was a case.

そこで、本発明は、物体の移動などを自由に表現でき、また、聴取環境や聴取者によらず、音の変化を確実に感じさせることができるスピーカアレイ装置、このスピーカアレイ装置に読み込ませるデータ構造、及びこのデータ構造が記録された光ディスクを提供することを目的とする。   Accordingly, the present invention provides a speaker array device that can freely express the movement of an object and the like, and can reliably sense a change in sound regardless of the listening environment or listener, and data to be read by the speaker array device. An object is to provide a structure and an optical disc on which the data structure is recorded.

この発明は、上記の課題を解決するための手段として、以下の構成を備えている。   The present invention has the following configuration as means for solving the above problems.

(1)スピーカアレイ装置は、複数のスピーカユニットが配列されたスピーカアレイと、前記複数のスピーカユニットに音声信号を供給し、前記複数のスピーカユニットの放音タイミングを制御して、前記スピーカアレイから音声ビームを放音させる信号処理手段を備えている。また、前記音声ビームを移動制御するビーム制御情報に基づいて前記信号処理手段を制御して、前記音声ビームを移動させるとともに、聴取位置との距離に応じて前記音声ビームの状態を変化させるビーム制御手段を備えている。   (1) The speaker array apparatus supplies a sound signal to the speaker array in which a plurality of speaker units are arranged, and the sound output timing of the plurality of speaker units, and controls the sound emission timing of the plurality of speaker units. Signal processing means for emitting a sound beam is provided. Also, beam control is performed to control the signal processing means based on beam control information for moving and controlling the sound beam to move the sound beam and to change the state of the sound beam according to the distance from the listening position. Means.

この構成においては、スピーカアレイ装置は、スピーカの配置を気にせずに自由に音声ビームを移動させることが可能であり、物体の移動などを自由に表現できる。例えば、映像コンテンツにおける移動物の音声をビーム化して、この音声ビームを移動させながら放音することで、移動物(音源)が実際に移動している聴感を聴取者に与えることができる。また、スピーカアレイ装置は、聴取位置との距離に応じて音声ビームの状態を変化させる。例えば、音声ビームの音量・音声ビームのビーム幅・音声ビームの本数などを聴取位置との距離に応じて変化させる。このように、聴取位置との距離に応じて音声ビームの状態を変化させることで、聴取者に対して音の移動を明確に感じさせることができる。   In this configuration, the speaker array apparatus can freely move the sound beam without worrying about the arrangement of the speakers, and can freely express the movement of the object. For example, by converting the sound of a moving object in video content into a beam and emitting sound while moving the sound beam, it is possible to give the listener a sense of the actual movement of the moving object (sound source). The speaker array device changes the state of the sound beam according to the distance from the listening position. For example, the volume of the sound beam, the beam width of the sound beam, the number of sound beams, and the like are changed according to the distance from the listening position. In this way, by changing the state of the sound beam according to the distance from the listening position, the listener can clearly feel the movement of the sound.

(2)前記ビーム制御情報が入力される入力手段を備え、
前記ビーム制御手段は、前記入力手段から入力されたビーム制御情報に基づいて前記信号処理手段を制御することを特徴とする。
(2) comprising an input means for inputting the beam control information;
The beam control means controls the signal processing means based on beam control information input from the input means.

この構成においては、音声ビームを移動させたり状態を変化させたりするための情報を作成して入力手段から入力することで、例えばコンテンツに含まれる特定のチャンネルの音声信号をビーム化して所望の位置に移動させることができる。   In this configuration, information for moving the sound beam or changing the state is created and input from the input means, for example, the sound signal of a specific channel included in the content is converted into a beam and the desired position is obtained. Can be moved to.

(3)前記信号処理手段は、前記ビーム制御情報及び前記音声信号を含むコンテンツのデータが前記入力手段から入力されると、前記コンテンツのデータから前記ビーム制御情報を抽出して前記ビーム制御手段に出力する。   (3) When the content data including the beam control information and the audio signal is input from the input unit, the signal processing unit extracts the beam control information from the content data and sends the content data to the beam control unit. Output.

この構成においては、ビーム制御情報及び音声信号が一つのコンテンツとしてセットで入力されるので、音声信号とビーム制御情報との対応関係を明確にすることができ、音声ビームの制御を容易に行うことができる。   In this configuration, since the beam control information and the audio signal are input as one set as a set, the correspondence between the audio signal and the beam control information can be clarified, and the audio beam can be easily controlled. Can do.

(4)前記ビーム制御情報は、前記音声ビームの移動制御情報及び聴取位置との距離に応じた音量の制御情報を含み、
前記ビーム制御手段は、前記音声ビームの状態として、前記音声ビームの音量を変化させることを特徴とする。
(4) The beam control information includes movement control information of the sound beam and volume control information according to a distance from the listening position,
The beam control means changes the volume of the sound beam as the state of the sound beam.

この構成においては、スピーカアレイ装置は、音声ビームを移動させるとともに、音声ビームの音量を変化させる。例えば、聴取位置との距離が近いほど音量を小さくすることで、音声ビームの存在や移動状態を聴取者に明確に感じさせることができる。   In this configuration, the speaker array apparatus moves the sound beam and changes the volume of the sound beam. For example, by reducing the volume as the distance from the listening position is shorter, the presence or movement state of the sound beam can be clearly felt by the listener.

(5)前記ビーム制御情報は、前記音声ビームの移動制御情報及び前記音声ビームと聴取位置との距離に応じた音声ビームの焦点距離の制御情報を含み、
前記ビーム制御手段は、前記音声ビームの状態として、前記音声ビームの焦点距離を変化させることを特徴とする。
(5) The beam control information includes movement control information of the sound beam and control information of a focal length of the sound beam according to a distance between the sound beam and a listening position.
The beam control means changes the focal length of the sound beam as the state of the sound beam.

この構成においては、スピーカアレイ装置は、音声ビームを移動させるときに、音声ビームの焦点距離を変化させる。これにより、音声ビームの移動に応じて、音声ビームの幅が変化するので、聴取位置に聞こえる音声ビームの音量を変化させることができ、音声ビームの存在や移動状態を聴取者に明確に感じさせることができる。   In this configuration, the speaker array device changes the focal length of the sound beam when moving the sound beam. As a result, the width of the sound beam changes according to the movement of the sound beam, so that the volume of the sound beam that can be heard at the listening position can be changed, and the listener can clearly feel the presence and movement state of the sound beam. be able to.

(6)前記ビーム制御情報は、前記音声ビームの移動制御情報及び前記音声ビームと聴取位置との距離に応じた音声ビームの本数の制御情報を含み、
前記ビーム制御手段は、前記音声ビームの状態として、前記音声ビームの本数を変化させることを特徴とする。
(6) The beam control information includes movement control information of the sound beam and control information of the number of sound beams according to a distance between the sound beam and a listening position.
The beam control means changes the number of the sound beams as the state of the sound beams.

この構成においては、スピーカアレイ装置は、音声ビームの本数を聴取位置との距離に応じて変化させる。例えば、聴取位置との距離が一定距離以上の位置では音声ビームを2本に設定し、聴取位置との距離が一定距離未満の位置では音声ビームを1本に設定する。音声ビームの本数の増減により、聴取位置に聞こえる音声ビームの音量が変化するので、音声ビームが移動していることを聴取者に明確に感じさせることができる。   In this configuration, the speaker array apparatus changes the number of sound beams according to the distance from the listening position. For example, two sound beams are set at a position where the distance from the listening position is equal to or greater than a certain distance, and one sound beam is set at a position where the distance from the listening position is less than the certain distance. Since the volume of the sound beam that can be heard at the listening position changes due to the increase or decrease in the number of sound beams, the listener can clearly feel that the sound beam is moving.

(7)前記ビーム制御手段は、前記入力手段から複数の音声信号及びビーム制御情報が入力された場合、前記ビーム制御情報に基づいて複数の音声ビームを同時に移動させることを特徴とする。   (7) The beam control means is configured to simultaneously move a plurality of sound beams based on the beam control information when a plurality of sound signals and beam control information are input from the input means.

この構成においては、スピーカアレイ装置は、複数の音声ビームを同時に移動させるので、複数の物体の移動を音声により表現できる。これにより、その場所にいるようなリアルな聴感を聴取者に感じさせることができる。   In this configuration, since the speaker array apparatus moves a plurality of sound beams simultaneously, the movement of a plurality of objects can be expressed by sound. Thereby, it is possible to make the listener feel a realistic sensation of being in the place.

(8)(1)乃至(7)のいずれかに記載のスピーカアレイ装置の前記信号処理手段に供給される音声信号と、前記ビーム制御手段に音声ビームの焦点位置及び状態を設定させるビーム制御情報と、を含むことを特徴とする。   (8) An audio signal supplied to the signal processing unit of the speaker array device according to any one of (1) to (7), and beam control information for causing the beam control unit to set a focal position and a state of the audio beam. It is characterized by including these.

この構成においては、スピーカアレイ装置は、上記のような構造のデータを読み込むことで、音声ビームを移動させるとともに、聴取位置との距離に応じて前記音声ビームの状態を変化させることができる。   In this configuration, the speaker array apparatus can read the data having the above-described structure to move the sound beam and change the state of the sound beam according to the distance from the listening position.

(9)光ディスクは、(8)に記載のデータ構造が記録されたことを特徴とする。   (9) An optical disc is characterized in that the data structure described in (8) is recorded.

この構成においては、光ディスクには、スピーカアレイ装置の信号処理手段に供給される音声信号と、ビーム制御手段に音声ビームの焦点位置及び状態を設定させるためのビーム制御情報と、を含むデータ構造が記録されている。したがって、この光ディスクを再生装置で再生して、読み出したデータをスピーカアレイ装置に出力することで、スピーカアレイ装置に音声ビームを移動させることができる。   In this configuration, the optical disk has a data structure including an audio signal supplied to the signal processing unit of the speaker array device and beam control information for causing the beam control unit to set the focal position and state of the audio beam. It is recorded. Therefore, by reproducing the optical disk with a reproducing apparatus and outputting the read data to the speaker array apparatus, the sound beam can be moved to the speaker array apparatus.

本発明のスピーカアレイ装置は、物体の移動などを表現する音声を音声ビームとして放音し、その音声ビームの焦点位置や放音方向を変化させる。また、音声ビームを移動させながら、音声ビームの音量・音声ビームのビーム幅・音声ビームの本数など、音声ビームの状態を聴取位置との距離に応じて変化させる。そのため、音の移動が明確になり、音源が移動しているように聴取者に確実に感じさせることができる。   The speaker array apparatus of the present invention emits sound representing movement of an object as an audio beam, and changes the focal position and direction of the sound beam. In addition, while moving the sound beam, the state of the sound beam, such as the volume of the sound beam, the beam width of the sound beam, and the number of sound beams, is changed according to the distance from the listening position. Therefore, the movement of the sound becomes clear, and the listener can feel as if the sound source is moving.

図1は、本発明の実施形態に係るスピーカアレイ装置の概略構成を示すブロック図である。   FIG. 1 is a block diagram showing a schematic configuration of a speaker array apparatus according to an embodiment of the present invention.

また、以下の説明では、スピーカアレイ装置は、5chサラウンドシステムとして、5chの音声ビームを放音させることができる。5chサラウンドシステムにおいて、フロントの左チャンネルをL(Left)ch、フロントの右チャンネルをR(Right)ch、センタ(中央)チャンネルをC(Center)ch、リアの左チャンネルをSL(Surround Left)ch、及びリアの右チャンネルをSR(Surround Right)chと称する。   In the following description, the speaker array device can emit a sound beam of 5ch as a 5ch surround system. In a 5-channel surround system, the front left channel is L (Left) ch, the front right channel is R (Right) ch, the center (center) channel is C (Center) ch, and the rear left channel is SL (Surround Left) ch The rear right channel is referred to as SR (Surround Right) ch.

スピーカアレイ装置1は、信号入力部51、音声処理部55と遅延処理部57からなる音声信号処理部53、D/Aコンバータ61−1〜61−N、パワーアンプ63−1〜63−N、スピーカユニット66−1〜66−Nから成るスピーカアレイ65、赤外線受信部67、リモートコントローラ(以下、リモコンと称する。)68、操作部69、記憶部71、及び制御部75を備えている。   The speaker array apparatus 1 includes a signal input unit 51, an audio signal processing unit 53 including an audio processing unit 55 and a delay processing unit 57, D / A converters 61-1 to 61-N, power amplifiers 63-1 to 63-N, A speaker array 65 including speaker units 66-1 to 66 -N, an infrared receiving unit 67, a remote controller (hereinafter referred to as a remote controller) 68, an operation unit 69, a storage unit 71, and a control unit 75 are provided.

信号入力部51は、スピーカアレイ装置1の外部に接続された音声信号出力機器2から供給(出力)された音声信号を入力するインタフェースである。入力された信号は音声処理部55へ出力される。なお、音声信号出力機器2としては、CDプレーヤ・DVDプレーヤ・ブルーレイ(登録商標)ディスクプレーヤといった光ディスク再生装置やテレビモニタ(テレビ受像機)などの音声信号を出力する機器が好適である。また、光ディスク再生装置が再生する光ディスク(CD・DVD・BD)には、音声信号と、この音声信号から生成する音声ビームを移動制御するビーム制御情報と、を含むコンテンツが記録されているものとする。そして、光ディスク再生装置は、音声信号とビーム制御情報と、を含むコンテンツのデータを出力するものとする。また、テレビ受像機は、音声信号とビーム制御情報を含むコンテンツのデータを出力するものとする。   The signal input unit 51 is an interface for inputting an audio signal supplied (output) from the audio signal output device 2 connected to the outside of the speaker array device 1. The input signal is output to the sound processing unit 55. The audio signal output device 2 is preferably a device that outputs an audio signal, such as an optical disk playback device such as a CD player, a DVD player, or a Blu-ray (registered trademark) disc player, or a television monitor (television receiver). Also, the optical disc (CD / DVD / BD) played by the optical disc playback apparatus is recorded with content including an audio signal and beam control information for moving and controlling an audio beam generated from the audio signal. To do. Then, the optical disc playback apparatus outputs content data including an audio signal and beam control information. The television receiver outputs content data including an audio signal and beam control information.

音声処理部55は、信号入力部51から入力された音声信号をデコードしたり、聴取者Uが選択した音響効果を付加したりして遅延処理部57に出力する。   The audio processing unit 55 decodes the audio signal input from the signal input unit 51 or adds the acoustic effect selected by the listener U and outputs the decoded audio signal to the delay processing unit 57.

遅延処理部57は、制御部75から指示があった場合、音声処理部55から送られてきた音声信号に対して、その指示された時間分、音声信号を出力するタイミングを遅延させたり音声信号のゲインを設定したりして、各スピーカユニット66−1〜66−Nに音声信号を分配する。これにより、スピーカアレイ65から音声ビームを放音させる。また、遅延処理部57は、制御部75から遅延の指示が無い場合には遅延処理を行わずにそのまま音声信号を各スピーカユニット66−1〜66−Nに分配する。   When instructed by the control unit 75, the delay processing unit 57 delays the timing of outputting the audio signal by the instructed time with respect to the audio signal sent from the audio processing unit 55, or the audio signal. And the audio signal is distributed to each of the speaker units 66-1 to 66 -N. Thereby, the sound beam is emitted from the speaker array 65. In addition, when there is no delay instruction from the control unit 75, the delay processing unit 57 directly distributes the audio signal to the speaker units 66-1 to 66-N without performing the delay process.

スピーカアレイ65から出力された複数の音声ビームが聴取者Uの聴取位置Lに到達するまでの経路長は、チャンネル毎に異なる。例えば、Cchは、聴取位置Lに直接到達するので経路長は短い。一方、リアチャンネル(SLch、SRch)は、部屋の壁に2回反射してから聴取位置Lに到達するので、経路長は長くなる。そこで、遅延処理部57では、チャンネル毎に遅延時間を設定して、スピーカアレイ65から出力する複数の音声ビームが同時に聴取位置Lへ到達するように出力タイミングを調整している。また、遅延処理部57は、スピーカアレイ65から複数の音声ビームが出力されるように、チャンネル毎・スピーカユニット毎に音声の放音タイミングを調整して出力する。   The path length until the plurality of sound beams output from the speaker array 65 reach the listening position L of the listener U is different for each channel. For example, since Cch reaches the listening position L directly, the path length is short. On the other hand, since the rear channels (SLch, SRch) reach the listening position L after being reflected twice on the wall of the room, the path length becomes long. Therefore, the delay processing unit 57 sets a delay time for each channel and adjusts the output timing so that a plurality of sound beams output from the speaker array 65 reach the listening position L at the same time. The delay processing unit 57 adjusts and outputs the sound emission timing for each channel and each speaker unit so that a plurality of sound beams are output from the speaker array 65.

D/Aコンバータ61−1〜61−Nは、遅延処理部57が出力したデジタル音声信号をアナログ音声信号に変換して出力する。   The D / A converters 61-1 to 61-N convert the digital audio signal output from the delay processing unit 57 into an analog audio signal and output the analog audio signal.

パワーアンプ63−1〜63−Nは、D/Aコンバータ61−1〜61−Nが出力したアナログ音声信号を増幅して出力する。   The power amplifiers 63-1 to 63-N amplify and output the analog audio signals output from the D / A converters 61-1 to 61-N.

スピーカアレイ65は、スピーカユニット66−1〜66−Nを1つのパネルに、マトリックス状・ライン状・ハニカム状など所定の配列で配置されたものである。スピーカユニット66−1〜66−Nは、パワーアンプ63−1〜63−Nが増幅した音声信号を音声に変換して放音する。なお、スピーカユニット66−1〜66−Nの総称やスピーカユニット単体の呼称をスピーカユニット66と称する。   The speaker array 65 is configured by arranging the speaker units 66-1 to 66 -N on a single panel in a predetermined arrangement such as a matrix, a line, or a honeycomb. The speaker units 66-1 to 66-N convert sound signals amplified by the power amplifiers 63-1 to 63-N into sound and emit the sound. The generic name of the speaker units 66-1 to 66 -N and the name of the speaker unit alone are referred to as the speaker unit 66.

赤外線受信部67は、ユーザの操作に応じてリモコン68から出力された赤外線信号を受信し、その赤外線信号を電気信号に変換して制御部75に出力する。   The infrared receiving unit 67 receives an infrared signal output from the remote control 68 according to a user operation, converts the infrared signal into an electrical signal, and outputs the electrical signal to the control unit 75.

リモコン68は、ユーザがスピーカアレイ装置1に対して所望の設定操作を行うための入力装置である。リモコン68は、ユーザからのスピーカアレイ装置1に対する設定操作等を受け付けて、その操作に応じた赤外線信号を赤外線受信部67へ出力する。また、リモコン68は、聴取者Uの聴取位置Lを算出するために、不図示のマイクを備えており、スピーカアレイ装置1は周知の三角測量法等により聴取位置を算出する。   The remote control 68 is an input device for the user to perform a desired setting operation on the speaker array device 1. The remote controller 68 receives a setting operation or the like for the speaker array device 1 from the user, and outputs an infrared signal corresponding to the operation to the infrared receiving unit 67. The remote controller 68 includes a microphone (not shown) for calculating the listening position L of the listener U, and the speaker array apparatus 1 calculates the listening position by a known triangulation method or the like.

操作部69は、ユーザからのスピーカアレイ装置1に対する設定操作等を受け付けて、その操作に応じた信号を制御部75に出力する。   The operation unit 69 receives a setting operation or the like for the speaker array device 1 from the user, and outputs a signal corresponding to the operation to the control unit 75.

記憶部71は、スピーカユニットの設定パターン等を記憶している。制御部75はリモコン68や操作部69で受け付けた操作に応じたデータを読み出す。また、記憶部71は、音声の遅延時間情報や、制御部75から出力された聴取位置情報等を記憶する。   The storage unit 71 stores a setting pattern of the speaker unit and the like. The control unit 75 reads data corresponding to the operation received by the remote control 68 or the operation unit 69. The storage unit 71 stores audio delay time information, listening position information output from the control unit 75, and the like.

制御部(ビーム制御手段)75は、スピーカアレイ装置1の各部を制御したり演算を行ったりする。また、制御部75は、聴取位置Lの算出処理が設定された場合には、聴取位置Lを算出して、その位置情報を記憶部71に記憶させる。また、制御部75は、操作部69の操作により聴取位置Lの位置情報が入力された場合には、その位置情報を記憶部71に記憶させる。   The control unit (beam control means) 75 controls each part of the speaker array device 1 and performs calculations. In addition, when the calculation process of the listening position L is set, the control unit 75 calculates the listening position L and stores the position information in the storage unit 71. In addition, when the position information of the listening position L is input by the operation of the operation unit 69, the control unit 75 stores the position information in the storage unit 71.

聴取位置の算出処理を行う場合には、聴取者Uは、聴取位置Lにおいてリモコン68を保持する。そして、リモコン68を操作して聴取位置の算出処理を設定する。スピーカアレイ装置1は、この処理が設定されると、スピーカアレイ65の2つの異なるスピーカユニット66から所定の間隔でテスト音を放音する。リモコン68は不図示のマイクでテスト音を収音し、信号をスピーカアレイ装置1に出力する。制御部75は、2つのテスト音を放音してから収音するまでの時間に基づいて、周知の三角測量法を用いて聴取位置を算出する。   When performing the listening position calculation process, the listener U holds the remote control 68 at the listening position L. Then, the listening position calculation process is set by operating the remote controller 68. When this processing is set, the speaker array apparatus 1 emits test sounds at predetermined intervals from two different speaker units 66 of the speaker array 65. The remote control 68 collects a test sound with a microphone (not shown) and outputs a signal to the speaker array device 1. The control unit 75 calculates the listening position using a well-known triangulation method based on the time from when the two test sounds are emitted until the sound is collected.

図2は、スピーカアレイにおけるスピーカユニットの配置を示す図と、スピーカアレイによる音声ビームの放音原理を説明するための図である。図2(A)はマトリックス状にスピーカを配置した一例、図2(B)はハニカム状にスピーカユニットを4列配置した一例、図2(C)はハニカム状にスピーカユニットを3列配置した一例、図2(D)はスピーカアレイによる音声ビームの放音原理を説明するための図である。   FIG. 2 is a diagram showing the arrangement of speaker units in the speaker array, and a diagram for explaining the principle of sound beam sound emission by the speaker array. 2A is an example in which speakers are arranged in a matrix, FIG. 2B is an example in which four rows of speaker units are arranged in a honeycomb, and FIG. 2C is an example in which three rows of speaker units are arranged in a honeycomb. FIG. 2D is a diagram for explaining the sound beam emission principle of the speaker array.

スピーカアレイ65は、図2に示すように、1つのパネルにおいて複数の小型スピーカユニット66をマトリックス状・ハニカム状・ライン状といった所定の配列で配置された構成である。   As shown in FIG. 2, the speaker array 65 has a configuration in which a plurality of small speaker units 66 are arranged in a predetermined arrangement such as a matrix, honeycomb, or line in one panel.

このようなスピーカアレイ65において、図2(D)に示すように、各スピーカユニットに同じ音声信号を入力し、各スピーカユニットSPa〜SPeが放音した音声が空間上に設定した焦点Fに到達する時刻が一致するように、各スピーカユニットの音声の放音タイミングを調整する。これにより、各スピーカユニットSPa〜SPeを、あたかもスピーカユニットSPa’・SPb’・SPc’・SPd’・SPeを、焦点Fを中心とする円周上に所定の間隔で配置して、同時に同じ音声信号を放音したかのように、重ね合わせの原理によってその焦点方向に強い指向性を有する音声ビームを放音することができる。   In such a speaker array 65, as shown in FIG. 2D, the same audio signal is input to each speaker unit, and the sound emitted from each speaker unit SPa to SPe reaches the focal point F set in space. The sound emission timing of the sound of each speaker unit is adjusted so that the times to be matched match. As a result, the speaker units SPa to SPe are arranged as if the speaker units SPa ′, SPb ′, SPc ′, SPd ′, and SPe are arranged on the circumference centered on the focal point F at the same time, and at the same time, A sound beam having a strong directivity in the focal direction can be emitted by the principle of superposition as if a signal was emitted.

次に、音声ビームの特性について説明する。図3は、スピーカアレイから放音する音声ビームの特性を説明するための図である。図3(A)、図3(B)に示すように、聴取者Uの方向に音声ビームBを放音するように設定した場合、焦点Sの位置が聴取者Uに近い方が、聴取者Uには音声が大きく聞こえる。これは、音声ビームBは、焦点Sから離れるほど拡散して音量が小さくなるからである。そのため、図3(C)に示すように、聴取者Uの耳の付近が焦点Sとなるように音声ビームBをスピーカアレイ65から放音させると、聴取者Uには最も音量が大きく聞こえる。   Next, the characteristics of the sound beam will be described. FIG. 3 is a diagram for explaining the characteristics of the sound beam emitted from the speaker array. As shown in FIGS. 3 (A) and 3 (B), when the sound beam B is set to be emitted in the direction of the listener U, the listener whose position of the focal point S is closer to the listener U is the listener. U can hear loud sound. This is because the sound beam B diffuses away from the focal point S and decreases in volume. Therefore, as shown in FIG. 3C, when the sound beam B is emitted from the speaker array 65 so that the vicinity of the ear of the listener U becomes the focal point S, the listener U can hear the loudest sound.

また、図3(D)に示すように、聴取者Uと異なる方向に音声ビームBを放音するように設定した場合、音声ビームBは聴取者Uの耳の付近は通過しない。しかし、音声ビームBからは音漏れが発生するため、聴取者Uには音量の小さな音が聞こえ、音声ビームBが聴取者Uに近いほど、音声の音量が大きく聞こえる。なお、この場合、聴取者Uには、音声ビームBの軌道から聴取者Uに最も近い位置付近から漏れ出した音が聞こえる。また、図3(A)、図3(B)に基づいて説明したように、焦点Sが聴取者Uから離れるほど音声ビームBは拡散して、聴取者Uには小さな音量に聞こえる。同様に、聴取者Uと異なる方向に音声ビームBを放音する場合でも、焦点Sが聴取者Uから離れるほど、聴取者Uには漏れ音が小さく聞こえる。また、焦点Sが聴取者Uに近づくほど、聴取者Uには漏れ音が大きく聞こえる。   Further, as shown in FIG. 3D, when the sound beam B is set to emit in a direction different from the listener U, the sound beam B does not pass near the ear of the listener U. However, since sound leakage occurs from the sound beam B, the listener U can hear a sound with a low sound volume, and the sound sound volume increases as the sound beam B approaches the listener U. In this case, the listener U can hear the sound leaked from the vicinity of the position closest to the listener U from the trajectory of the sound beam B. Further, as described with reference to FIGS. 3A and 3B, the sound beam B diffuses as the focal point S moves away from the listener U, and the listener U can hear a low volume. Similarly, even when the sound beam B is emitted in a direction different from that of the listener U, as the focal point S moves away from the listener U, the listener U can hear less leaking sound. In addition, the closer the focal point S is to the listener U, the louder the listener U can hear the leaking sound.

次に、本発明のスピーカアレイ装置の特徴を説明する。図4は、音声ビームの移動の様子を説明するための図である。   Next, features of the speaker array device of the present invention will be described. FIG. 4 is a diagram for explaining the movement of the sound beam.

図4(A)は、音声ビームを一定速度で移動させた場合の概念図、図4(B)は、音声ビームの移動速度を変化させながら移動させた場合の概念図、図4(C)は、音声ビームと聴取位置との距離に応じて音声ビームの音量を変化させた場合の概念図、図4(D)は、聴取位置との距離に応じて音声ビームの焦点距離を変化させた場合の概念図である。   4A is a conceptual diagram when the sound beam is moved at a constant speed, FIG. 4B is a conceptual diagram when the sound beam is moved while changing the moving speed, and FIG. 4C. Fig. 4D is a conceptual diagram when the volume of the sound beam is changed according to the distance between the sound beam and the listening position, and Fig. 4D shows the focal length of the sound beam changed according to the distance from the listening position. It is a conceptual diagram in the case.

本発明のスピーカアレイ装置は、焦点位置の制御情報に基づいて、図4に示すように音声ビームの焦点を移動させながら音声ビームを放音(出射)させることができる。すなわち、聴取位置とは異なる方向にも音声ビームを放音させることができる。   The speaker array apparatus according to the present invention can emit (emits) the sound beam while moving the focus of the sound beam as shown in FIG. 4 based on the control information of the focal position. That is, the sound beam can be emitted in a direction different from the listening position.

音声信号出力機器2は、前記のように、音声信号と、この音声信号をビーム化した際に制御するためのビーム制御情報と、を含むコンテンツのデータを出力する。スピーカアレイ装置1は、音声信号出力機器2が出力したコンテンツのデータが信号入力部51に入力されると、音声信号処理部53の音声処理部55は、コンテンツのデータからビーム制御情報を分離・抽出して制御部75に出力する。制御部75は、このビーム制御情報に基づいて、各スピーカユニット66から音声信号を出力するタイミング(遅延量)を計算する。そして、制御部75は、計算で求めた各スピーカユニット66の遅延量を遅延処理部57に出力する。遅延処理部57は、制御部75が出力した遅延量に基づいて各スピーカユニット66から出力する音声信号を遅延させて、スピーカアレイ65から音声ビームを放音(出射)させる。スピーカアレイ装置1では、この処理を連続的に行うことで、音声ビームを移動させることができる。   As described above, the audio signal output device 2 outputs content data including an audio signal and beam control information for controlling when the audio signal is converted into a beam. When the content data output from the audio signal output device 2 is input to the signal input unit 51, the audio processing unit 55 of the audio signal processing unit 53 separates the beam control information from the content data. Extract and output to the controller 75. Based on this beam control information, the controller 75 calculates the timing (delay amount) at which the audio signal is output from each speaker unit 66. Then, the control unit 75 outputs the delay amount of each speaker unit 66 obtained by calculation to the delay processing unit 57. The delay processing unit 57 delays the audio signal output from each speaker unit 66 based on the delay amount output by the control unit 75, and emits (emits) an audio beam from the speaker array 65. In the speaker array device 1, the sound beam can be moved by continuously performing this process.

スピーカアレイ装置1の制御部75は、音声信号の制御情報(ビーム制御情報)を随時読み出して音声ビームの焦点位置を計算する。そのため、スピーカアレイ装置1は、制御情報における焦点位置の単位時間毎の変化量が一定の場合には、図4(A)に示すように一定速度で音声ビームの焦点を移動させる。また、スピーカアレイ装置1は、制御情報における焦点位置の単位時間毎の変化量が変化する場合には、図4(B)に示すように速度を変化させて音声ビームの焦点を移動させる。図4(A),(B)に示したように焦点位置を移動させた場合、聴取者には、最初は聴取位置から音声ビームの焦点が離れているので、漏れ音が聞こえる。このときには、聴取者には漏れ音は小さな音量で聞こえる。そして、音声ビームの焦点が聴取位置に近づくにつれて、聴取者に聞こえる音の音量は徐々に大きくなる。また、音声ビームが聴取位置の近くを通過するときには、音声ビームの拡散音が聞こえるので、聴取者には音声ビームの音量が最も大きく聞こえる。一方、音声ビームの焦点が聴取位置から離れるにつれて、聴取者に聞こえる漏れ音の音量は徐々に小さくなる。このように、音声ビームの焦点位置が移動するので、聴取者には、音源が実際に移動しているのと同様に聞こえるように感じさせることができる。   The controller 75 of the speaker array apparatus 1 reads out the control information (beam control information) of the audio signal as needed and calculates the focal position of the audio beam. Therefore, when the amount of change in the focal position per unit time in the control information is constant, the speaker array apparatus 1 moves the focal point of the sound beam at a constant speed as shown in FIG. In addition, when the amount of change of the focal position per unit time in the control information changes, the speaker array apparatus 1 moves the focal point of the sound beam by changing the speed as shown in FIG. When the focus position is moved as shown in FIGS. 4A and 4B, the listener can hear a leak sound because the focus of the sound beam is initially away from the listening position. At this time, the listener can hear the leakage sound at a low volume. Then, as the focal point of the sound beam approaches the listening position, the volume of the sound heard by the listener gradually increases. Further, when the sound beam passes near the listening position, the sound beam diffused sound is heard, so that the listener can hear the loudest sound volume. On the other hand, as the focal point of the sound beam moves away from the listening position, the volume of the leaking sound that can be heard by the listener gradually decreases. Thus, since the focal position of the sound beam moves, the listener can feel that the sound source can be heard as if the sound source is actually moving.

また、制御情報に1/f揺らぎを加えるようにすることで、違和感の無い自然な移動を演出できる。   Further, by adding 1 / f fluctuation to the control information, it is possible to produce a natural movement without a sense of incongruity.

次に、スピーカアレイ装置1は、複数の音声ビームを同時に移動させることができる。例えば、信号入力部51から2つのビーム制御情報と2つの音声信号を含むコンテンツのデータが入力された場合には、制御部75は、音声信号処理部53から出力されたそれぞれの制御情報(焦点位置情報)に基づいて、音声信号が音声ビームとしてスピーカアレイ65から放音されるように各スピーカユニット66の遅延量を計算する。そして、制御部75は、各スピーカユニット66の遅延量を遅延処理部57に出力して、スピーカアレイ65から2つの音声ビームを放音(出射)させる。   Next, the speaker array apparatus 1 can move a plurality of sound beams simultaneously. For example, when content data including two beam control information and two audio signals is input from the signal input unit 51, the control unit 75 controls each control information (focus point) output from the audio signal processing unit 53. Based on the position information), the delay amount of each speaker unit 66 is calculated so that the audio signal is emitted from the speaker array 65 as an audio beam. Then, the control unit 75 outputs the delay amount of each speaker unit 66 to the delay processing unit 57 and emits (emits) two sound beams from the speaker array 65.

なお、スピーカアレイ装置1では、3つ以上の音声ビームを同時に移動させることも当然可能である。また、このとき、各音声ビームのソースは、同じにしても、それぞれ異なるようにしても良い。   In the speaker array device 1, it is naturally possible to simultaneously move three or more sound beams. At this time, the source of each sound beam may be the same or different.

次に、スピーカアレイ装置1では、音声ビームを移動させるとともに、その音量を変化させることができる。これは、音の移動を明確にするためである。   Next, in the speaker array device 1, the sound beam can be moved and the volume of the sound beam can be changed. This is to clarify the movement of sound.

例えば、図4(C)に示すように、音声ビームの音量と、音声ビームの焦点から聴取位置までの距離と、を反比例するように設定すると良い。この場合には、スピーカアレイ装置1に予め聴取位置の情報を記憶させておき、音声信号と焦点位置情報が入力されると、聴取位置情報と焦点位置情報とに基づいて音声ビームの音量を設定するように構成すると良い。聴取位置から離れた位置において音声ビームの音量をある程度上げておき、聴取位置に音声ビームの焦点が近づくにつれて音量を下げることで、音の移動を最初から明確にすることができる。   For example, as shown in FIG. 4C, the volume of the sound beam and the distance from the focus of the sound beam to the listening position may be set to be inversely proportional. In this case, information on the listening position is stored in the speaker array device 1 in advance, and when the audio signal and the focal position information are input, the volume of the audio beam is set based on the listening position information and the focal position information. It is good to constitute so that. The movement of the sound can be clarified from the beginning by increasing the volume of the sound beam to some extent at a position away from the listening position and decreasing the volume as the focus of the sound beam approaches the listening position.

また、音声ビームの音量を制御する方法としては、聴取位置に対する音声ビームの角度を求めて、この角度の絶対値が小さくなるほど音量を下げるように制御しても良い。   As a method for controlling the sound beam volume, the sound beam angle with respect to the listening position may be obtained, and the sound volume may be controlled to decrease as the absolute value of this angle decreases.

なお、図4(C)では、音量の大きさを音声ビームの線の太さで表しており、太線を音量大、細線を音量小としている。   Note that in FIG. 4C, the volume level is represented by the thickness of the line of the audio beam, the thick line is the volume level, and the thin line is the volume level.

上記の場合には、音声信号出力機器2が出力するコンテンツのデータには、音声信号と、ビーム制御情報として、音声ビームの移動制御情報及び聴取位置との距離に応じた音量の制御情報を含むように構成すると良い。スピーカアレイ装置1の制御部75は、記憶部71から読み出した聴取位置情報と、上記のビーム制御情報と、に基づいて、図4(C)に示したように、聴取位置との距離に応じて音声ビームの音量が変化するように、音声信号処理部53を制御する。   In the above case, the content data output by the audio signal output device 2 includes audio signal movement control information and sound volume control information corresponding to the distance between the listening position and beam control information. It is better to configure as follows. Based on the listening position information read from the storage unit 71 and the beam control information, the control unit 75 of the speaker array device 1 responds to the distance to the listening position as shown in FIG. Then, the audio signal processing unit 53 is controlled so that the volume of the audio beam changes.

次に、スピーカアレイ装置1では、音声ビームを移動させるとともに、その音声ビームの焦点のスポット径(幅)、または焦点の聴取位置との距離を変化させることができる。   Next, the speaker array device 1 can move the sound beam and change the focal spot diameter (width) of the sound beam or the distance from the focus listening position.

図4(D)は、聴取位置との距離に応じて音声ビームのスポット径を変化させた場合の概念図である。図4(D)には、容易に理解できるように、本来ならスピーカアレイ65の放音面と平行に音声ビームの焦点を移動させる場合を示している。   FIG. 4D is a conceptual diagram when the spot diameter of the sound beam is changed according to the distance from the listening position. FIG. 4D shows a case where the focal point of the sound beam is moved in parallel with the sound emitting surface of the speaker array 65 so that it can be easily understood.

図に示す点線矢印の方向に音源が移動していると聴取者に感じさせたい場合、聴取位置から音声ビームまでの距離と音声ビームの焦点距離が反比例するようにすると良い。ここで、音声ビームの焦点距離は、音声ビームの焦点から聴取位置までの距離のことである。例えば、音声ビームが聴取位置に近づくにつれて、焦点距離を大きくなるので、聴取位置に最も近い位置での音声ビームのスポット径は大きくなる。このとき、スポット径が大きくなるほど、聴取位置からの焦点距離は遠くなる。このようにすることで、スポット径が大きくなるほど音が拡散するので、聴取者には音量が小さく聞こえるようになる。したがって、音声ビームが聴取者から離れるほど焦点距離は小さくなり、音声ビームの焦点のスポット径が小さくなるので、聴取位置ではその音が十分聞こえる。また、音声ビームが聴取者に近づくほど焦点距離は大きくなるが、聴取者には、その音がよく聞こえるので、音の存在(移動)を明確にすることができる。   In order to make the listener feel that the sound source is moving in the direction of the dotted arrow shown in the figure, the distance from the listening position to the sound beam and the focal length of the sound beam are preferably inversely proportional. Here, the focal length of the sound beam is the distance from the focus of the sound beam to the listening position. For example, since the focal length increases as the sound beam approaches the listening position, the spot diameter of the sound beam at the position closest to the listening position increases. At this time, the focal length from the listening position increases as the spot diameter increases. By doing so, the sound spreads as the spot diameter increases, so that the listener can hear the sound at a low volume. Therefore, the farther the sound beam is from the listener, the smaller the focal length becomes, and the smaller the spot diameter of the focus of the sound beam, so that the sound can be sufficiently heard at the listening position. Further, the focal distance increases as the sound beam approaches the listener, but the sound can be heard well by the listener, so that the presence (movement) of the sound can be clarified.

また、上記の制御とは逆に、聴取位置からの距離と音声ビームの焦点のスポット径が比例するようにしても良い。すなわち、音声ビームが聴取位置に近づくにつれて、焦点距離を小さくして焦点のスポット径を小さくするように制御することも可能である。この場合には、聴取位置から音声ビームが離れるほど、その音が小さくなり、また、聴取位置に音声ビームが近づくほど、その音が大きくなる。そのため、聴取者に、その音源が突然現れた(突然音が聞こえた)という聴感を与えることができ、恐怖映画の演出などに有効である。   In contrast to the above control, the distance from the listening position and the spot diameter of the focal point of the sound beam may be proportional. That is, as the sound beam approaches the listening position, it is possible to control so that the focal length is reduced and the focal spot diameter is reduced. In this case, the sound becomes smaller as the sound beam moves away from the listening position, and the sound becomes louder as the sound beam approaches the listening position. Therefore, the listener can be given an audible feeling that the sound source suddenly appeared (sudden sound was heard), which is effective for producing a horror movie.

また、1/f揺らぎを加えながら音声ビームの焦点距離を変化させることで、違和感の無い自然な移動を演出できる。   Further, by changing the focal length of the sound beam while adding 1 / f fluctuation, it is possible to produce a natural movement without a sense of incongruity.

上記の場合には、音声信号出力機器2が出力するコンテンツのデータには、音声信号と、ビーム制御情報として、音声ビームの移動制御情報及び聴取位置に対する焦点距離の制御情報を含むように構成すると良い。スピーカアレイ装置1の制御部75は、記憶部71から読み出した聴取位置情報と、上記のビーム制御情報と、に基づいて、図4(D)に示したように、聴取位置との距離に応じて音声ビームの焦点距離(焦点のスポット径)が変化するように、音声信号処理部53を制御する。   In the above case, if the content data output by the audio signal output device 2 is configured to include the audio signal and the movement control information of the audio beam and the control information of the focal length with respect to the listening position as beam control information. good. Based on the listening position information read from the storage unit 71 and the beam control information, the control unit 75 of the speaker array device 1 responds to the distance from the listening position as shown in FIG. Then, the audio signal processing unit 53 is controlled so that the focal length (spot diameter of the focal point) of the audio beam changes.

また、聴取位置における音声ビームの幅(スポットの幅)を変化させることができる。図5は、聴取位置における音声ビームの幅の変化の様子を示す図である。図5には、一例として(A)→(B)→(C)→(D)の順に、音声ビームの焦点がスピーカアレイ装置1から聴取者の方向に徐々に移動する様子を示している。音声ビームの焦点を上記のように移動させると、聴取者の聴取位置では、音声ビームの焦点との距離に比例して音声ビームの幅を変化させることができる。そのため、聴取位置から音声ビームの焦点が離れるほど、聴取位置での音声ビームの幅が広くなり、聴取者に聞こえる音が小さくなる。また、聴取位置に音声ビームが近づくほど、聴取位置での音声ビームの幅が狭くなり、聴取者に聞こえる音が大きくなる。したがって、このように音声ビームの焦点位置が移動させることで、聴取者に、音源が実際に移動しているのと同様に聞こえるように感じさせることができる。   In addition, the width of the sound beam (spot width) at the listening position can be changed. FIG. 5 is a diagram illustrating a change in the width of the sound beam at the listening position. FIG. 5 shows an example in which the focal point of the sound beam gradually moves from the speaker array device 1 toward the listener in the order of (A) → (B) → (C) → (D). When the focus of the sound beam is moved as described above, the width of the sound beam can be changed in proportion to the distance from the focus of the sound beam at the listener's listening position. Therefore, the farther the focus of the sound beam is from the listening position, the wider the width of the sound beam at the listening position, and the smaller the sound that can be heard by the listener. Also, the closer the sound beam is to the listening position, the narrower the width of the sound beam at the listening position and the greater the sound that can be heard by the listener. Therefore, by moving the focal position of the sound beam in this way, it is possible to make the listener feel that the sound source can be heard as if the sound source is actually moving.

なお、図5には、音声ビームの焦点が聴取者から一定距離離れたところまで移動している状態(図5(D))までを示したが、引き続き、聴取位置における音声ビームの幅が徐々に広がるように制御すれば良い。すなわち、音声ビームの焦点は無限遠まで移動し、さらに音声が拡散していくように、音声ビームを制御すればよい。   Although FIG. 5 shows a state where the focal point of the sound beam has moved to a position away from the listener (FIG. 5D), the width of the sound beam at the listening position gradually increases. It may be controlled to spread. That is, the sound beam may be controlled so that the focal point of the sound beam moves to infinity and the sound is further diffused.

次に、スピーカアレイ装置1では、音声ビームを移動させるとともに、その音声ビームの本数(数量)を変化させることができる。   Next, the speaker array apparatus 1 can move the sound beams and change the number (quantity) of the sound beams.

図6は、音声ビームの移動と音声ビームの本数の関係を示す図である。同図では、境界線を1点鎖線で表している。図6(A)に示すように、音声ビームが聴取位置からある距離よりも離れた場合には、音声ビーム数を2本とする。また、音声ビームが聴取位置からある距離よりも近くなった場合には、図6(B)に示すように、音声ビーム数を1本にする。この場合には、音声ビームが聴取者からある程度離れていても、音声ビームが2本なので音量が大きくなり、その音が聞こえる。また、音声ビームが近づくと、音声ビームは1本になるが、やはりその音は聞こえるので、その音の存在(移動)を明確にすることができる。   FIG. 6 is a diagram illustrating the relationship between the movement of the sound beam and the number of sound beams. In the figure, the boundary line is represented by a one-dot chain line. As shown in FIG. 6A, when the sound beam is more than a certain distance from the listening position, the number of sound beams is two. When the sound beam is closer than a certain distance from the listening position, the number of sound beams is set to one as shown in FIG. In this case, even if the sound beam is separated from the listener to some extent, the volume is increased because there are two sound beams, and the sound can be heard. Further, when the sound beam approaches, the number of sound beams becomes one. However, since the sound can be heard, the presence (movement) of the sound can be clarified.

また、上記の制御とは逆に、音声ビームが聴取位置からある距離よりも離れた場合には、音声ビーム数を1本とし、音声ビームが聴取位置からある距離よりも近くなった場合には、音声ビーム数を2本にすると良い。この場合には、聴取位置から音声ビームが離れるほど、その音が小さくなり、また、聴取位置に音声ビームが近づくほど、その音が大きくなる。そのため、聴取者に、その音源が突然現れた(突然音が聞こえた)という聴感を与えることができる。   Contrary to the above control, when the sound beam is more than a certain distance from the listening position, the number of sound beams is one, and when the sound beam is closer than the certain distance from the listening position. The number of sound beams should be two. In this case, the sound becomes smaller as the sound beam moves away from the listening position, and the sound becomes louder as the sound beam approaches the listening position. Therefore, it is possible to give the listener that the sound source suddenly appeared (suddenly a sound was heard).

なお、音声ビームを複数にする場合、各音声ビームの焦点は所定の間隔にして設けるのが良い。また、境界線はその環境に応じて設定すると良い。   When a plurality of sound beams are used, the focus of each sound beam is preferably provided at a predetermined interval. In addition, the boundary line may be set according to the environment.

上記の場合には、音声信号出力機器2が出力するコンテンツのデータには、音声信号と、ビーム制御情報として、音声ビームの移動制御情報及び聴取位置との距離に応じた音声ビームの本数の制御情報を含むように構成すると良い。スピーカアレイ装置1の制御部75は、記憶部71から読み出した聴取位置情報と、上記のビーム制御情報と、に基づいて、図6に示したように、聴取位置との距離に応じて音声ビームの本数が変化するように、音声信号処理部53を制御する。   In the above case, the content data output by the audio signal output device 2 includes, as the audio signal and the beam control information, the movement control information of the audio beam and the control of the number of audio beams according to the distance between the listening positions. It may be configured to include information. Based on the listening position information read from the storage unit 71 and the beam control information described above, the control unit 75 of the speaker array device 1 generates an audio beam according to the distance from the listening position as shown in FIG. The audio signal processing unit 53 is controlled so that the number of

なお、ビーム制御情報は、上記のものに限るものではなく、例えば、音声ビームの移動制御情報に加えて聴取位置との距離に応じた音量の制御情報と、聴取位置に対する焦点距離の制御情報と、を含むように構成しても良い。この場合には、音声ビームを移動させる際に、音声ビームと聴取位置との距離に応じて、音声ビームの音量と焦点距離が変化させることができる。   Note that the beam control information is not limited to the above-described one. For example, in addition to the sound beam movement control information, the volume control information according to the distance from the listening position, and the focal length control information with respect to the listening position , May be included. In this case, when moving the sound beam, the volume and the focal length of the sound beam can be changed according to the distance between the sound beam and the listening position.

このように、音声ビームの状態を変化させる制御情報として、複数の制御情報をビーム制御情報が含むように構成しても良い。   As described above, the beam control information may include a plurality of pieces of control information as control information for changing the state of the sound beam.

次に、スピーカアレイ装置1を実際のサラウンドシステムとして使用する場合の構成について説明する。   Next, a configuration when the speaker array device 1 is used as an actual surround system will be described.

図7は、本発明のスピーカアレイ装置を用いたサラウンドシステムの概略の配置図である。本発明のスピーカアレイ装置をサラウンドシステムに用いる場合には、複数の形態が考えられる。   FIG. 7 is a schematic layout diagram of a surround system using the speaker array device of the present invention. When the speaker array device of the present invention is used in a surround system, a plurality of forms can be considered.

例えば、図7(A)に示すように、従来の5chサラウンドシステムにスピーカアレイ装置1を追加するように構成することが可能である。この場合には、5chサラウンドシステムには、スピーカアレイ装置1を追加する前と同様に、5チャンネルのサラウンドサウンドを再生させる。一方、スピーカアレイ装置1には、物体の移動時の音声を再生する装置として使用する。これにより、聴取者は、モニタに映像コンテンツを表示させた場合などに、従来と同様にサラウンドサウンドを楽しむことができる。さらに、映像コンテンツにおいて顕著に移動する物体の移動音を、ファントムではなく音声ビームの焦点の移動により、実際に音源が移動しているような聴感を楽しむことができる。   For example, as shown in FIG. 7A, it is possible to add a speaker array device 1 to a conventional 5-channel surround system. In this case, a 5-channel surround sound is reproduced in the 5-channel surround system as before the speaker array device 1 is added. On the other hand, the speaker array device 1 is used as a device for reproducing sound during movement of an object. As a result, the listener can enjoy the surround sound in the same manner as in the past when the video content is displayed on the monitor. Furthermore, the moving sound of the object that moves remarkably in the video content can be enjoyed as if the sound source is actually moving by moving the focal point of the sound beam instead of the phantom.

また、図7(B)に示すように、従来の5chサラウンドシステムのセンタスピーカとしてスピーカアレイ装置1を追加するように構成することが可能である。この場合には、スピーカアレイ装置1に、5chサラウンドシステムのセンタスピーカとして音声を放音させるととともに、物体の移動時の音声を音声ビームの焦点の移動により表現させる。これにより、聴取者は、図7(A)の構成と同様に、映像コンテンツやサラウンドサウンドを楽しむことができる。また、サラウンドシステムのスピーカ数を1つではあるが削減できる。   Further, as shown in FIG. 7B, the speaker array device 1 can be added as a center speaker of a conventional 5-channel surround system. In this case, the speaker array device 1 is caused to emit sound as a center speaker of the 5ch surround system, and the sound at the time of moving the object is expressed by moving the focal point of the sound beam. Thereby, the listener can enjoy video content and surround sound as in the configuration of FIG. In addition, the number of speakers in the surround system can be reduced although it is one.

また、図7(C)に示すように、スピーカアレイ装置1を、特許文献に示したような従来のスピーカアレイ装置として使用するとともに、物体の移動時の音声を再生する装置として使用する。これにより、複数の音声ビームを部屋の壁に反射させることで、従来のスピーカアレイ装置のように、仮想スピーカによるサラウンドシステムを構築できる。また、映像コンテンツにおいて顕著に移動する物体の移動音などを、ファントムではなく音声ビームの焦点の移動により、実際に音源が移動しているような聴感を楽しむことができる。さらに、スピーカの設置数を抑制できる。   Further, as shown in FIG. 7C, the speaker array device 1 is used as a conventional speaker array device as shown in the patent document and also as a device that reproduces sound when an object moves. As a result, by reflecting a plurality of sound beams to the wall of the room, a surround system using virtual speakers can be constructed like a conventional speaker array device. In addition, it is possible to enjoy the sensation that the sound source is actually moving by moving the focal point of the sound beam instead of the phantom, such as the moving sound of an object that moves remarkably in the video content. Furthermore, the number of speakers installed can be suppressed.

次に、以上のように構成したサラウンドシステムにおいて、音声ビームを移動させるためには、映像コンテンツのデータを以下のように構成する必要がある。すなわち、サラウンドサウンド(例えば5.1チャンネル)用の音声信号と映像信号の他に、移動させる音声ビーム用の音声信号と、その音声信号の焦点位置(焦点座標)の情報と、を含む音声フォーマット(データ構造)となるように構成する必要がある。このようなデータ構造にすると、スピーカアレイ装置は、このデータ構造のデータを読み込むことで、音声ビームを移動するように制御できる。   Next, in the surround system configured as described above, in order to move the audio beam, it is necessary to configure the video content data as follows. That is, in addition to an audio signal and a video signal for surround sound (for example, 5.1 channel), an audio format including an audio signal for an audio beam to be moved and information on a focal position (focal coordinate) of the audio signal (Data structure) must be configured. With such a data structure, the speaker array apparatus can be controlled to move the sound beam by reading data having this data structure.

また、サラウンドシステムにおいて映像コンテンツを再生する場合、現状では、DVDやBLU―RAY DISC(登録商標)などの光ディスクに記録されたものを、光ディスク再生装置で再生するのが一般的である。そのため、光ディスクに、上記のデータ構造の映像コンテンツが記録された光ディスクを光ディスク再生装置で再生すると、各信号がAVアンプから5chの各スピーカやスピーカアレイ装置1やモニタに出力されるように構成すると良い。例えば、光ディスクから読み出された、移動させる音声ビーム用の音声信号と制御情報(焦点位置情報)はスピーカアレイ装置1に出力されるように構成する。また、サラウンドサウンド(例えば5.1チャンネル)用の音声信号はAVアンプを介して5chの各スピーカに出力されるように構成する。また、映像信号は、モニタに出力されるように構成する。これにより、サラウンドシステムでは、図7(A)に基づいて説明したように音声を放音させることができる。   Also, when playing back video content in a surround system, at present, it is common to play back the content recorded on an optical disc such as a DVD or BLU-RAY DISC (registered trademark) on an optical disc playback apparatus. Therefore, when an optical disc in which video content having the above data structure is recorded on an optical disc is reproduced by an optical disc reproducing device, each signal is output from the AV amplifier to each of the 5ch speakers, the speaker array device 1 and the monitor. good. For example, an audio signal for audio beam to be moved and control information (focus position information) read from the optical disc are output to the speaker array device 1. The sound signal for surround sound (for example, 5.1 channel) is configured to be output to each speaker of 5ch via an AV amplifier. The video signal is configured to be output to a monitor. Thereby, in the surround system, the sound can be emitted as described based on FIG.

なお、上記の説明では、映像コンテンツにおける移動物の音声信号とそのビーム制御情報とをセットにして入力する場合について説明したが、これに限らず他の形態も可能である。例えば、スピーカアレイ装置1において、映像コンテンツの映像データと音声データを解析して、顕著に移動する物体(移動物)の音声信号を抽出するとともに、映像における移動物の動きに基づいて、音声ビームの焦点位置情報を作成するように構成する。そして、スピーカアレイ装置1において、移動物の音声を音声ビームとして移動させるように制御すると良い。一例としては、映像コンテンツにおいて、センタチャンネルの音声は人の台詞が入ったチャンネルとして用いられるので、センタチャンネルの音声信号と、映像に含まれる人物を解析し、人の移動を音声ビームで表現するように構成する良い。   In the above description, the case where the audio signal of the moving object in the video content and the beam control information thereof are input as a set has been described. However, the present invention is not limited to this, and other forms are possible. For example, in the speaker array device 1, the video data and audio data of the video content are analyzed to extract an audio signal of an object (moving object) that moves significantly, and an audio beam is extracted based on the movement of the moving object in the image. The focus position information is configured to be generated. And in the speaker array apparatus 1, it is good to control so that the sound of a moving object may be moved as an audio beam. As an example, in the video content, the audio of the center channel is used as a channel containing human speech, so the audio signal of the center channel and the person included in the video are analyzed and the movement of the person is expressed by an audio beam. Good configuration.

また、操作部69やリモコン68を操作して、ビーム制御情報を入力するようにしても良い。さらに、ネットワークなどを介して取得したビーム制御情報をスピーカアレイ装置1に入力して、特定のチャンネルの音声信号を音声ビームとして移動させたり状態を変化させたりするように構成しても良い。   Further, the beam control information may be input by operating the operation unit 69 or the remote controller 68. Furthermore, beam control information acquired via a network or the like may be input to the speaker array device 1 so that an audio signal of a specific channel is moved as an audio beam or its state is changed.

本発明の実施形態に係るスピーカアレイ装置の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a speaker array device according to an embodiment of the present invention. スピーカアレイにおけるスピーカユニットの配置を示す図と、スピーカアレイによる音声ビームの放音原理を説明するための図である。It is a figure which shows arrangement | positioning of the speaker unit in a speaker array, and a figure for demonstrating the sound emission principle of the sound beam by a speaker array. スピーカアレイから放音する音声ビームの特性を説明するための図である。It is a figure for demonstrating the characteristic of the sound beam radiated | emitted from a speaker array. 音声ビームの移動の様子を説明するための図である。It is a figure for demonstrating the mode of a movement of an audio beam. 聴取位置における音声ビームの幅の変化の様子を示す図である。It is a figure which shows the mode of the change of the width | variety of the sound beam in a listening position. 音声ビームの移動と音声ビームの本数の関係を示す図である。It is a figure which shows the relationship between the movement of an audio beam, and the number of audio beams. 本発明のスピーカアレイ装置を用いたサラウンドシステムの概略の配置図である。1 is a schematic layout diagram of a surround system using a speaker array device of the present invention.

符号の説明Explanation of symbols

1…スピーカアレイ装置 2…音声信号出力機器 51…信号入力部 53…音声信号処理部 55…音声処理部 57…遅延処理部 61…D/Aコンバータ 63…パワーアンプ 65…スピーカアレイ 66…スピーカユニット 67…赤外線受信部 68…リモコン 69…操作部 71…記憶部 75…制御部 DESCRIPTION OF SYMBOLS 1 ... Speaker array apparatus 2 ... Audio | voice signal output device 51 ... Signal input part 53 ... Audio | voice signal processing part 55 ... Audio | voice processing part 57 ... Delay processing part 61 ... D / A converter 63 ... Power amplifier 65 ... Speaker array 66 ... Speaker unit 67 ... Infrared receiver 68 ... Remote control 69 ... Operation unit 71 ... Storage unit 75 ... Control unit

Claims (9)

複数のスピーカユニットが配列されたスピーカアレイと、
前記複数のスピーカユニットに音声信号を供給し、前記複数のスピーカユニットの放音タイミングを制御して、前記スピーカアレイから音声ビームを放音させる信号処理手段と、
前記音声ビームを移動制御するビーム制御情報に基づいて前記信号処理手段を制御して、前記音声ビームを移動させるとともに、音声ビームと聴取位置との距離に応じて前記音声ビームの状態を変化させるビーム制御手段と、
を備えたスピーカアレイ装置。
A speaker array in which a plurality of speaker units are arranged;
Signal processing means for supplying sound signals to the plurality of speaker units, controlling sound emission timings of the plurality of speaker units, and emitting sound beams from the speaker array;
A beam for controlling the signal processing means based on beam control information for moving and controlling the sound beam to move the sound beam and to change the state of the sound beam according to the distance between the sound beam and the listening position. Control means;
A speaker array device comprising:
前記ビーム制御情報が入力される入力手段を備え、
前記ビーム制御手段は、前記入力手段から入力されたビーム制御情報に基づいて前記信号処理手段を制御する請求項1に記載のスピーカアレイ装置。
Comprising input means for inputting the beam control information;
The speaker array apparatus according to claim 1, wherein the beam control unit controls the signal processing unit based on beam control information input from the input unit.
前記信号処理手段は、前記ビーム制御情報及び前記音声信号を含むコンテンツのデータが前記入力手段から入力されると、前記コンテンツのデータから前記ビーム制御情報を抽出して前記ビーム制御手段に出力する請求項2に記載のスピーカアレイ装置。   The signal processing unit, when content data including the beam control information and the audio signal is input from the input unit, extracts the beam control information from the content data and outputs the extracted beam control information to the beam control unit. Item 3. The speaker array device according to Item 2. 前記ビーム制御情報は、前記音声ビームの移動制御情報及び前記音声ビームと聴取位置との距離に応じた音量の制御情報を含み、
前記ビーム制御手段は、前記音声ビームの状態として、前記音声ビームの音量を変化させる請求項1乃至3のいずれかに記載のスピーカアレイ装置。
The beam control information includes movement control information of the sound beam and volume control information according to a distance between the sound beam and a listening position.
The speaker array device according to claim 1, wherein the beam control unit changes a volume of the sound beam as a state of the sound beam.
前記ビーム制御情報は、前記音声ビームの移動制御情報及び前記音声ビームと聴取位置との距離に応じた音声ビームの焦点距離の制御情報を含み、
前記ビーム制御手段は、前記音声ビームの状態として、前記音声ビームの焦点距離を変化させる請求項1乃至4のいずれかに記載のスピーカアレイ装置。
The beam control information includes movement control information of the sound beam and control information of a focal length of the sound beam according to a distance between the sound beam and a listening position.
The speaker array device according to claim 1, wherein the beam control unit changes a focal length of the sound beam as a state of the sound beam.
前記ビーム制御情報は、前記音声ビームの移動制御情報及び前記音声ビームと聴取位置との距離に応じた音声ビームの本数の制御情報を含み、
前記ビーム制御手段は、前記音声ビームの状態として、前記音声ビームの本数を変化させる請求項1乃至5のいずれかに記載のスピーカアレイ装置。
The beam control information includes movement control information of the sound beam and control information of the number of sound beams according to a distance between the sound beam and a listening position.
The speaker array device according to claim 1, wherein the beam control unit changes the number of the sound beams as the state of the sound beams.
前記ビーム制御手段は、前記入力手段から複数の音声信号及びビーム制御情報が入力された場合、前記ビーム制御情報に基づいて複数の音声ビームを同時に移動させる請求項1乃至6のいずれかに記載のスピーカアレイ装置。   7. The beam control unit according to claim 1, wherein, when a plurality of audio signals and beam control information are input from the input unit, the beam control unit moves a plurality of audio beams simultaneously based on the beam control information. Speaker array device. 請求項1乃至7のいずれかに記載のスピーカアレイ装置の前記信号処理手段に供給される音声信号と、前記ビーム制御手段に前記信号処理手段を制御させて、前記音声ビームを移動させるとともに、音声ビームと聴取位置との距離に応じて前記音声ビームの状態を変化させるビーム制御情報と、を含むデータ構造。   An audio signal supplied to the signal processing means of the speaker array device according to any one of claims 1 to 7, and causing the beam control means to control the signal processing means to move the audio beam, A data structure including beam control information for changing a state of the sound beam according to a distance between the beam and a listening position. 請求項8に記載のデータ構造が記録された光ディスク。   An optical disc on which the data structure according to claim 8 is recorded.
JP2008206026A 2008-08-08 2008-08-08 Speaker array device, data structure, and optical disk Active JP5621188B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008206026A JP5621188B2 (en) 2008-08-08 2008-08-08 Speaker array device, data structure, and optical disk

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008206026A JP5621188B2 (en) 2008-08-08 2008-08-08 Speaker array device, data structure, and optical disk

Publications (2)

Publication Number Publication Date
JP2010045432A true JP2010045432A (en) 2010-02-25
JP5621188B2 JP5621188B2 (en) 2014-11-05

Family

ID=42016484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008206026A Active JP5621188B2 (en) 2008-08-08 2008-08-08 Speaker array device, data structure, and optical disk

Country Status (1)

Country Link
JP (1) JP5621188B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015518207A (en) * 2012-04-02 2015-06-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated System, method, apparatus and computer readable medium for gesture manipulation of sound field
WO2017056707A1 (en) * 2015-09-30 2017-04-06 ヤマハ株式会社 Obstacle notification device and obstacle notification method
CN112534834A (en) * 2018-07-27 2021-03-19 索尼公司 Object audio reproduction using extremely simplified mobile loudspeakers

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060610A (en) * 2004-08-20 2006-03-02 Yamaha Corp Sound-reproducing device and sound beam reflection position correcting method for the sound reproducing device
JP2006222669A (en) * 2005-02-09 2006-08-24 Yamaha Corp Speaker array apparatus
JP2007274061A (en) * 2006-03-30 2007-10-18 Yamaha Corp Sound image localizer and av system
JP2008035252A (en) * 2006-07-28 2008-02-14 Yamaha Corp Loudspeaker device and audio system
JP2008035251A (en) * 2006-07-28 2008-02-14 Yamaha Corp Audio system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060610A (en) * 2004-08-20 2006-03-02 Yamaha Corp Sound-reproducing device and sound beam reflection position correcting method for the sound reproducing device
JP2006222669A (en) * 2005-02-09 2006-08-24 Yamaha Corp Speaker array apparatus
JP2007274061A (en) * 2006-03-30 2007-10-18 Yamaha Corp Sound image localizer and av system
JP2008035252A (en) * 2006-07-28 2008-02-14 Yamaha Corp Loudspeaker device and audio system
JP2008035251A (en) * 2006-07-28 2008-02-14 Yamaha Corp Audio system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015518207A (en) * 2012-04-02 2015-06-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated System, method, apparatus and computer readable medium for gesture manipulation of sound field
KR101797804B1 (en) * 2012-04-02 2017-11-15 퀄컴 인코포레이티드 Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
US10448161B2 (en) 2012-04-02 2019-10-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
US11818560B2 (en) 2012-04-02 2023-11-14 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
WO2017056707A1 (en) * 2015-09-30 2017-04-06 ヤマハ株式会社 Obstacle notification device and obstacle notification method
CN112534834A (en) * 2018-07-27 2021-03-19 索尼公司 Object audio reproduction using extremely simplified mobile loudspeakers
CN112534834B (en) * 2018-07-27 2022-05-10 索尼公司 Object audio reproduction using extremely simplified mobile loudspeakers

Also Published As

Publication number Publication date
JP5621188B2 (en) 2014-11-05

Similar Documents

Publication Publication Date Title
JP4273343B2 (en) Playback apparatus and playback method
JP6385389B2 (en) System and method for providing personalized audio
KR101777639B1 (en) A method for sound reproduction
JP4819823B2 (en) Acoustic system driving apparatus, driving method, and acoustic system
JP2019097204A (en) Systems and methods for providing three-dimensional audio
RU2694778C2 (en) Method and device for reproducing three-dimensional sound
JP3915804B2 (en) Audio playback device
EP2664165B1 (en) Apparatus, systems and methods for controllable sound regions in a media room
JP4581831B2 (en) Acoustic device, acoustic adjustment method, and acoustic adjustment program
JP2007274061A (en) Sound image localizer and av system
JP2015529415A (en) System and method for multidimensional parametric speech
JP2007266967A (en) Sound image localizer and multichannel audio reproduction device
KR20050049967A (en) Method for playing multi-channel digital sound, and apparatus for the same
KR102527336B1 (en) Method and apparatus for reproducing audio signal according to movenemt of user in virtual space
WO2006009004A1 (en) Sound reproducing system
JP2006065100A (en) Play back device and play back system
CN103609143A (en) Method for capturing and playback of sound originating from a plurality of sound sources
JP5621188B2 (en) Speaker array device, data structure, and optical disk
KR102388361B1 (en) 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system
JP2007333813A (en) Electronic piano apparatus, sound field synthesizing method of electronic piano and sound field synthesizing program for electronic piano
JP2005157278A (en) Apparatus, method, and program for creating all-around acoustic field
JP5505763B2 (en) Sound field creation device
JP4848774B2 (en) Acoustic device, acoustic reproduction method, and acoustic reproduction program
JP3740780B2 (en) Multi-channel playback device
JP2013012811A (en) Proximity passage sound generation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130401

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140618

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140908

R150 Certificate of patent or registration of utility model

Ref document number: 5621188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150