JP2006352570A - Speaker system - Google Patents

Speaker system Download PDF

Info

Publication number
JP2006352570A
JP2006352570A JP2005176693A JP2005176693A JP2006352570A JP 2006352570 A JP2006352570 A JP 2006352570A JP 2005176693 A JP2005176693 A JP 2005176693A JP 2005176693 A JP2005176693 A JP 2005176693A JP 2006352570 A JP2006352570 A JP 2006352570A
Authority
JP
Japan
Prior art keywords
speaker
unit
sound wave
master
slave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005176693A
Other languages
Japanese (ja)
Inventor
Yasutaka Iwasaki
安隆 岩崎
Makoto Tanaka
田中  良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2005176693A priority Critical patent/JP2006352570A/en
Publication of JP2006352570A publication Critical patent/JP2006352570A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a speaker system capable of specifying the positional relation of its speakers with high precision in spite of simple configurations. <P>SOLUTION: An acoustic wave is emitted from one speaker out of a plurality of speaker units. The other speaker units which detect this acoustic wave report detection of the acoustic wave to the speaker unit which emits the acoustic wave. By a communication means, the other speaker units can recognize which is the speaker unit having emitted the acoustic wave. The speaker unit having emitted the acoustic wave measures its distance from each speaker unit, by measuring the time interval from the emission of the acoustic wave up to reception of the reporting. Consequently, each positional relation between the speakers can be specified with high precision in spite of simple configurations. <P>COPYRIGHT: (C)2007,JPO&amp;INPIT

Description

この発明は、スピーカの位置関係を高精度に特定することができるスピーカシステムに関する。   The present invention relates to a speaker system that can specify the positional relationship of speakers with high accuracy.

近年、オーディオ機器は、複数のスピーカを備え、それぞれに異なるチャンネルを割り当てることが多い。例えばホームシアターシステムではセンタスピーカ、フロントL/Rスピーカ、リアL/Rスピーカ(および低音専用スピーカ)を備えているものが一般的である。   In recent years, audio devices are often provided with a plurality of speakers and assigned different channels. For example, a home theater system generally includes a center speaker, a front L / R speaker, and a rear L / R speaker (and a bass dedicated speaker).

このような機器において、受聴者に最適な環境を提供するには各スピーカの音量、遅延量等を最適に設定して音場制御を行う必要がある。すなわち、受聴者から離れた位置にあるスピーカの音量は大きくする必要があり、逆に受聴者に近い位置にあるスピーカは音量が大きすぎると騒音になるため音量を小さくする必要がある。また、受聴者の位置に応じて放音のタイミング(遅延量)を調整する必要もある。   In such a device, in order to provide an optimal environment for the listener, it is necessary to perform sound field control by optimally setting the volume and delay amount of each speaker. That is, it is necessary to increase the volume of the speaker located away from the listener, and conversely, the speaker close to the listener is noisy if the volume is too high. It is also necessary to adjust the sound emission timing (delay amount) according to the position of the listener.

上記のような音量、音場制御を行うには、各スピーカの位置関係を正確に特定する必要がある。そこで、カメラで撮影した画像を用いて各スピーカの位置を特定し、音量を調整する音配給調整システムが提案されている(例えば特許文献1参照)。
特開2001−54200号公報
In order to perform the volume and sound field control as described above, it is necessary to accurately specify the positional relationship between the speakers. Therefore, a sound distribution adjustment system has been proposed in which the position of each speaker is specified using an image photographed by a camera and the volume is adjusted (see, for example, Patent Document 1).
JP 2001-54200 A

特許文献1に記載の音配給調整システムは、スピーカ設置区域全体をカメラで撮影し、画像認識によってスピーカの位置を特定するものである。しかし、このように、画像認識によってスピーカの位置を特定するには、高度の画像認識技術が必要である。画像からスピーカだけを認識するには、スピーカの外観を正確に捉える解像度の高いカメラが必要であり、また、スピーカの距離を画像から測定するにはスピーカの形状、大きさ等も考慮しなければならない。さらに、スピーカや受聴者の距離がわかっても、それらがどの方向を向いているかまでは検出することができず、最適な音場制御を行うことが困難であった。   The sound distribution adjustment system described in Patent Document 1 captures the entire speaker installation area with a camera and specifies the position of the speaker by image recognition. However, in order to specify the position of the speaker by image recognition as described above, a high-level image recognition technique is required. In order to recognize only the speaker from the image, a high-resolution camera that accurately captures the appearance of the speaker is necessary, and to measure the speaker distance from the image, the shape and size of the speaker must be taken into consideration. Don't be. Furthermore, even if the distance between the speaker and the listener is known, it cannot be detected in which direction they are facing, making it difficult to perform optimal sound field control.

この発明は、簡易な構成でありながら高精度にスピーカの位置関係を特定することができるスピーカシステムを提供することを目的とする。   An object of this invention is to provide the speaker system which can pinpoint the positional relationship of a speaker with high precision, although it is a simple structure.

この発明のスピーカシステムは、複数のスピーカユニットからなるスピーカシステムであって、前記スピーカユニットは、音声を入力するマイク、音声を出力するスピーカ、スピーカユニット間で情報伝達する通信手段、スピーカユニットの動作を制御する制御手段、を備え、前記制御手段は、前記スピーカから他のスピーカユニットに音波を発し、前記通信手段は、前記マイクが他のスピーカユニットからの音波を検知したときに、音波を発したスピーカユニットに受信信号を送信し、前記制御手段は、音波を発してから受信信号を受信するまでの時間を測定し、スピーカユニット間の距離を測定することを特徴とする。   The speaker system of the present invention is a speaker system comprising a plurality of speaker units, wherein the speaker unit is a microphone for inputting sound, a speaker for outputting sound, a communication means for transmitting information between the speaker units, and the operation of the speaker unit. Control means for controlling the sound, the control means emits sound waves from the speaker to another speaker unit, and the communication means emits sound waves when the microphone detects sound waves from the other speaker units. The received signal is transmitted to the speaker unit, and the control means measures the time from when the sound wave is emitted until the received signal is received, and measures the distance between the speaker units.

この発明において、複数のスピーカユニットのうち、いずれか一つのスピーカから音波を発する。この音波を検知した他のスピーカユニットは、音波を発したスピーカユニットに音波を検知したことを通知する。他のスピーカユニットは、通信手段によって音波を発したスピーカユニットがどのスピーカユニットであるかを認識することが可能である。音波を発したスピーカユニットは、音波を発してから通知を受信するまでの時間を測定することで、スピーカユニット間の距離を測定する。   In the present invention, sound waves are emitted from any one of the plurality of speaker units. The other speaker unit that has detected the sound wave notifies the speaker unit that has emitted the sound wave that the sound wave has been detected. The other speaker units can recognize which speaker unit is the speaker unit that emits the sound wave by the communication means. The speaker units that emit sound waves measure the distance between the speaker units by measuring the time from when the sound waves are emitted until the notification is received.

この発明は、さらに、前記複数のスピーカユニットは、それぞれ複数のスピーカおよびマイクを備え、複数のスピーカ間でそれぞれの距離を測定することを特徴とする。   The present invention is further characterized in that each of the plurality of speaker units includes a plurality of speakers and a microphone, and measures a distance between the plurality of speakers.

この発明において、それぞれのスピーカユニットには複数のスピーカとマイクが備えられている。複数のスピーカの間でそれぞれ距離を測定するので、スピーカユニットの設置方向(互いの向き)を知ることができる。   In this invention, each speaker unit is provided with a plurality of speakers and microphones. Since the distance is measured between the plurality of speakers, the installation direction (direction of each other) of the speaker units can be known.

この発明は、さらに、前記通信手段は、ネットワークインタフェース、シリアルインタフェース、または赤外線送受信手段であることを特徴とする。   The present invention is further characterized in that the communication means is a network interface, serial interface, or infrared transmission / reception means.

この発明において、スピーカユニット間の通信手段として、ネットワークインタフェース、シリアルインタフェース、または赤外線送受信手段を用いる。音波を受信したスピーカユニットは、これらの通信手段を用いて音波を発したスピーカユニットに通知するので、正確に時間測定をすることができる。   In the present invention, a network interface, serial interface, or infrared transmission / reception means is used as the communication means between the speaker units. Since the speaker unit that has received the sound wave notifies the speaker unit that has emitted the sound wave using these communication means, time measurement can be accurately performed.

以上のようにこの発明によれば、スピーカユニットから音波を発してこれを受信した他のスピーカが受信信号を送信し、音波を発した時間から受信信号を受信するまでの時間を測定することで、正確にスピーカ間の距離を測定することが可能となり、簡易な構成でありながら高精度にスピーカの位置関係を特定することができる。   As described above, according to the present invention, another speaker that emits a sound wave from a speaker unit and receives the sound wave transmits a reception signal, and measures the time from when the sound wave is emitted until the reception signal is received. Thus, it is possible to accurately measure the distance between the speakers, and the positional relationship between the speakers can be specified with high accuracy while having a simple configuration.

図1は、本発明の実施形態に係るスピーカシステムの構成を示したブロック図である。同図に示すように、このスピーカシステムは、ネットワーク接続された複数のスピーカユニット1と、コントロールユニット2と、コントロールユニット2に接続された再生機器3と、を備えている。このスピーカシステムは家庭内の室内等に備えられ、各スピーカユニット1は、例えば壁際に設置される。   FIG. 1 is a block diagram showing a configuration of a speaker system according to an embodiment of the present invention. As shown in the figure, this speaker system includes a plurality of speaker units 1 connected to a network, a control unit 2, and a playback device 3 connected to the control unit 2. This speaker system is provided in a room or the like in the home, and each speaker unit 1 is installed, for example, near a wall.

スピーカユニット1は、複数のスピーカとマイクを備えており(図2参照)、それぞれのスピーカユニット1の出力(チャンネル、音量等)はコントロールユニット2によって制御される。   The speaker unit 1 includes a plurality of speakers and a microphone (see FIG. 2), and the output (channel, volume, etc.) of each speaker unit 1 is controlled by the control unit 2.

コントロールユニット2は、再生機器3から楽音の音声データを受け取り、各スピーカユニット1にネットワークを介してチャンネルを割り当てて分配する。また、それぞれのスピーカユニット1の動作を制御する。なお、音声データを受信したスピーカユニット1は、必要に応じてD/Aコンバータを備えているものである。   The control unit 2 receives audio data of musical sounds from the playback device 3, and allocates and distributes channels to each speaker unit 1 via a network. Further, the operation of each speaker unit 1 is controlled. Note that the speaker unit 1 that has received the audio data includes a D / A converter as necessary.

再生機器3は、いわゆるオーディオ機器であり、音声データを取得してコントロールユニット2に供給する。再生機器3は、例えば、CD、DVD等メディアから音声データを読み出して再生する再生機器であってもよいし、ネットワーク(インターネット)から音声データを受信して再生する再生機器であってもよい。   The playback device 3 is a so-called audio device, acquires audio data, and supplies it to the control unit 2. For example, the playback device 3 may be a playback device that reads and plays audio data from a medium such as a CD or DVD, or may be a playback device that receives and plays audio data from a network (Internet).

この発明のスピーカシステムは、スピーカユニットの位置関係を、音波を用いて高精度に測定するものであり、再生機器からの音声データを各スピーカユニットの位置関係に応じて最適に分配するものである。   The speaker system according to the present invention measures the positional relationship of the speaker units with high accuracy using sound waves, and optimally distributes audio data from the playback device according to the positional relationship of each speaker unit. .

以下、この発明の実施形態に係るスピーカシステムについて詳細に説明する。図2は、スピーカユニットの構成を示したブロック図である。同図に示すように、このスピーカユニット1は、複数のマイク11、複数のスピーカ12、赤外線送受信部13、通信部14、および制御部15を備えている。   Hereinafter, a speaker system according to an embodiment of the present invention will be described in detail. FIG. 2 is a block diagram showing the configuration of the speaker unit. As shown in FIG. 1, the speaker unit 1 includes a plurality of microphones 11, a plurality of speakers 12, an infrared transmission / reception unit 13, a communication unit 14, and a control unit 15.

制御部15には、マイク11、スピーカ12、赤外線送受信部13、通信部14が接続されている。通信部14は、ネットワークを介してコントロールユニット2に接続されている。制御部15は、コントロールユニット2の指示に従って、スピーカユニット1の動作を制御する。制御部15は、コントロールユニット2から音声データを受信して、スピーカ12に供給する。なお、制御部15は音声データをD/A変換して音声信号として供給する。スピーカ12は、制御部15から入力された音声信号に応じて楽音を発する。マイク12は、入力した音声を制御部15に入力し、制御部15はマイク12に音声が入力されたことを判断できる。また、制御部15は、入力された音声をコントロールユニット2に送信することも可能である。   A microphone 11, a speaker 12, an infrared transmission / reception unit 13, and a communication unit 14 are connected to the control unit 15. The communication unit 14 is connected to the control unit 2 via a network. The control unit 15 controls the operation of the speaker unit 1 in accordance with an instruction from the control unit 2. The control unit 15 receives audio data from the control unit 2 and supplies the audio data to the speaker 12. The control unit 15 D / A converts the audio data and supplies it as an audio signal. The speaker 12 emits a musical sound according to the audio signal input from the control unit 15. The microphone 12 inputs the input sound to the control unit 15, and the control unit 15 can determine that the sound is input to the microphone 12. The control unit 15 can also transmit the input voice to the control unit 2.

通信部14は、コントロールユニット2、または他のスピーカユニットと情報通信するためのインタフェースである。例えばコントロールユニット2、または他のスピーカユニット1とLANによって接続するためのネットワークインタフェースである。なお、有線LANにより接続するようにしてもよいし、無線LANにより接続するようにしてもよい。また、通信部14は、シリアルインタフェース等であってもよい。   The communication unit 14 is an interface for communicating information with the control unit 2 or another speaker unit. For example, a network interface for connecting to the control unit 2 or another speaker unit 1 via a LAN. The connection may be made by a wired LAN or by a wireless LAN. The communication unit 14 may be a serial interface or the like.

赤外線送受信部13は、スピーカユニット1間で赤外線を送受信する。制御部15は、赤外線送受信部13に赤外線を送信することを指示し、赤外線送受信部13は、他のスピーカユニット1から赤外線を受信したときに制御部15に伝達する。   The infrared transmission / reception unit 13 transmits and receives infrared rays between the speaker units 1. The control unit 15 instructs the infrared transmission / reception unit 13 to transmit infrared rays, and the infrared transmission / reception unit 13 transmits the infrared rays from the other speaker units 1 to the control unit 15.

複数のスピーカユニット1のうち、いずれか1つのスピーカユニットがマスタとなり、他のスピーカユニットはスレーブとなる。マスタとスレーブはディップスイッチやジャンパーピン等で簡易に切り換え設定できるようにしてもよい。   Among the plurality of speaker units 1, any one speaker unit is a master, and the other speaker units are slaves. The master and the slave may be easily switched and set with a dip switch or a jumper pin.

マスタ、およびスレーブのスピーカユニット1の制御部15は、スピーカユニット1の電源をオンするとそれぞれ以下のような動作を行う。スレーブスピーカの制御部15は、マスタスピーカに測定スタート信号を送信する。マスタスピーカの制御部15は、これを受信するとスピーカ12から測定用の音波を発し、同時にカウンタをスタートして時間を計測する。測定用音波はどのようなものであってもよいが、可聴外の周波数の正弦波等とする。   When the speaker unit 1 is turned on, the control unit 15 of the master and slave speaker units 1 performs the following operations. The control unit 15 of the slave speaker transmits a measurement start signal to the master speaker. When receiving this, the control unit 15 of the master speaker emits a sound wave for measurement from the speaker 12 and simultaneously starts a counter to measure time. Any sound wave for measurement may be used, but a sine wave or the like having a frequency outside the audible range.

スレーブスピーカのマイク11は、これを受信し制御部15に伝達する。なお、制御部15は、マスタスピーカに測定スタート信号を送信する場合には、スレーブスピーカの複数のマイク12のうち、いずれか1つのみを動作させ、他のマイク12は動作させない。制御部15は、測定用音波を受信すると、赤外線送受信部13から音波が到達したことを通知する信号をマスタスピーカに送信する。なお、赤外線送受信部13からではなく通信部15を介して送信するようにしてもよい。   The microphone 11 of the slave speaker receives this and transmits it to the control unit 15. Note that, when the measurement start signal is transmitted to the master speaker, the control unit 15 operates only one of the plurality of microphones 12 of the slave speaker, and does not operate the other microphones 12. When receiving the measurement sound wave, the control unit 15 transmits a signal notifying that the sound wave has arrived from the infrared transmission / reception unit 13 to the master speaker. In addition, you may make it transmit via the communication part 15 instead of the infrared transmission / reception part 13. FIG.

マスタスピーカの制御部15は、音波が到達したことを通知する信号を赤外線送受信部13から受信すると、カウンタをストップする。その後、音波を発してから到達するまでの時間をカウンタから計算して、スレーブスピーカとマスタスピーカの距離を計算する。このようにして、スピーカ間の距離を測定する。   When the control unit 15 of the master speaker receives a signal notifying that the sound wave has arrived from the infrared transmission / reception unit 13, the control unit 15 stops the counter. Thereafter, the time from when the sound wave is emitted until it arrives is calculated from the counter, and the distance between the slave speaker and the master speaker is calculated. In this way, the distance between the speakers is measured.

以上のような動作をそれぞれのスピーカ、マイク間で行うことで、全てのスピーカユニット間の距離を測定することができ、さらに各スピーカの位置からスピーカユニットの設置されている向きを知ることもできる。   By performing the above operation between each speaker and microphone, it is possible to measure the distance between all the speaker units, and also know the direction in which the speaker unit is installed from the position of each speaker. .

このように、スピーカ間の距離測定を行う手法について詳細に説明する。図3は、スピーカユニット間の位置測定を示した図である。同図のように、スピーカユニット1の前面には複数(同図においては2つ)のマイク11と複数のスピーカ12が備えられている。上述したように、マスタスピーカは、スレーブスピーカとの距離を測定することができる。ここで、マスタスピーカのそれぞれのスピーカ11とスレーブスピーカのうち1つのマイク12との距離を測定する。   Thus, the method of measuring the distance between speakers will be described in detail. FIG. 3 is a diagram illustrating position measurement between speaker units. As shown in the figure, a plurality of (two in the figure) microphones 11 and a plurality of speakers 12 are provided on the front surface of the speaker unit 1. As described above, the master speaker can measure the distance from the slave speaker. Here, the distance between each speaker 11 of the master speaker and one microphone 12 of the slave speakers is measured.

同図において、マスタスピーカの一方のスピーカ11、マイク12の中心位置と他方のスピーカ11、マイク12の中心位置との距離をWとする。また、マスタスピーカの一方のスピーカ11、マイク12の中心位置とスレーブスピーカのスピーカ11、マイク12の中心位置との距離をD1とし、マスタスピーカの他方のスピーカ11、マイク12の中心位置とスレーブスピーカのスピーカ11、マイク12の中心位置との距離をD2とする。このWとD1の間に描かれる頂点の内角をθとする。このθは、以下の余弦定理により求めることができる。   In the drawing, W is the distance between the center position of one speaker 11 and microphone 12 of the master speaker and the center position of the other speaker 11 and microphone 12. The distance between the center position of one speaker 11 and microphone 12 of the master speaker and the center position of speaker 11 and microphone 12 of the slave speaker is D1, and the center position of the other speaker 11 and microphone 12 of the master speaker and the slave speaker. The distance from the center position of the speaker 11 and the microphone 12 is D2. The internal angle of the vertex drawn between W and D1 is θ. This θ can be obtained by the following cosine theorem.

Figure 2006352570
Figure 2006352570

ここで、マスタスピーカの中心位置座標を(0,0)とする。すると、スレーブスピーカのスピーカ11、マイク12の中心位置の存在する位置座標(X1,Y1)は、以下のような式で表される。   Here, the center position coordinate of the master speaker is (0, 0). Then, the position coordinates (X1, Y1) at which the center positions of the speaker 11 and the microphone 12 of the slave speaker exist are expressed by the following equations.

Figure 2006352570
Figure 2006352570

このようにしてマスタスピーカのスピーカユニット1は、スレーブスピーカのスピーカ11、マイク12の中心位置を測定することができる。   Thus, the speaker unit 1 of the master speaker can measure the center positions of the speaker 11 and the microphone 12 of the slave speaker.

図4は、スピーカユニット間の位置測定を複数示した図である。同図のように、スレーブスピーカの他方のスピーカ11、マイク12の中心位置についても位置を測定することができる。ここで、スレーブスピーカの他方のスピーカ11、マイク12の中心位置の存在する位置座標(X2,Y2)は、上述した計算と同様に求めることができ、これによってスレーブスピーカの中心位置座標(X3,Y3)は、以下のような式で表される。   FIG. 4 is a diagram showing a plurality of position measurements between speaker units. As shown in the figure, the position of the other speaker 11 of the slave speaker and the center position of the microphone 12 can also be measured. Here, the position coordinates (X2, Y2) at which the other speaker 11 of the slave speaker and the center position of the microphone 12 exist can be obtained in the same manner as the above-described calculation, thereby the center position coordinates (X3, X3) of the slave speaker. Y3) is represented by the following equation.

Figure 2006352570
Figure 2006352570

このようにして、マスタスピーカとスレーブスピーカの位置関係を特定することができる。   In this way, the positional relationship between the master speaker and the slave speaker can be specified.

図5は、スレーブスピーカユニットの角度測定を示した図である。同図に示すように、スレーブスピーカ前面の平行線とマスタスピーカ前面の垂直線がなす角度φは、以下のような式で表される。   FIG. 5 is a diagram showing angle measurement of the slave speaker unit. As shown in the figure, the angle φ formed by the parallel line on the front surface of the slave speaker and the vertical line on the front surface of the master speaker is expressed by the following equation.

Figure 2006352570
Figure 2006352570

このようにして、マスタスピーカに対するスレーブスピーカの角度を特定することができる。また、位置座標(X1,Y1)と位置座標(X2,Y2)の関係からスレーブスピーカの向き(マスタスピーカに向かって右向きに傾いているか、左向きに傾いているか)を特定することができる。例えば、図5(A)に示す設置態様においては、スレーブスピーカはマスタスピーカに向かって左向きに傾いている(マスタスピーカの右側にスレーブスピーカが対面して存在している)が、この場合、位置座標Y1と位置座標Y2の関係はY2−Y1<0となる。図5(B)に示す設置態様においては、スレーブスピーカはマスタスピーカに向かって右向きに傾いているが、この場合、位置座標Y1と位置座標Y2の関係はY2−Y1>0となる。したがって、角度φとY2−Y1の値からスレーブスピーカの設置方向を特定することができる。   In this way, the angle of the slave speaker with respect to the master speaker can be specified. Further, the orientation of the slave speaker (whether it is tilted rightward or leftward toward the master speaker) can be specified from the relationship between the position coordinates (X1, Y1) and the position coordinates (X2, Y2). For example, in the installation mode shown in FIG. 5A, the slave speaker is inclined leftward toward the master speaker (the slave speaker is present on the right side of the master speaker). The relationship between the coordinate Y1 and the position coordinate Y2 is Y2-Y1 <0. In the installation mode shown in FIG. 5B, the slave speaker is tilted rightward toward the master speaker. In this case, the relationship between the position coordinate Y1 and the position coordinate Y2 is Y2-Y1> 0. Therefore, the installation direction of the slave speaker can be specified from the values of the angle φ and Y2-Y1.

以上のように、マスタスピーカは、スレーブスピーカとの距離を測定することができ、さらにスレーブスピーカの設置されている方向を測定することができる。なお、上記例においては、測定スタート信号と音波が到達したことを通知する信号とを赤外線やネットワーク経由で送受信する例について示したが、ネットワーク経由で音波が到達したことを通知する信号を送受信する場合、伝送経路における遅延時間を考慮して計測時間を補正するものとする。   As described above, the master speaker can measure the distance from the slave speaker, and can further measure the direction in which the slave speaker is installed. In the above example, an example in which a measurement start signal and a signal notifying that a sound wave has arrived has been transmitted / received via infrared or a network, but a signal notifying that a sound wave has reached via a network is transmitted / received. In this case, the measurement time is corrected in consideration of the delay time in the transmission path.

なお、本発明のスピーカシステムは、以下のような応用例が可能である。図6は、本発明の応用例に係る位置測定を示した図である。同図のように、マスタスピーカの前方向にはリモコン4が存在する。リモコン4は、受聴者が携帯するものであり、このリモコン4にはマイク、および赤外線送信部が備えられている。また、ネットワーク接続するための無線LANインタフェースを備えていてもよい。   The speaker system of the present invention can be applied as follows. FIG. 6 is a diagram illustrating position measurement according to an application example of the present invention. As shown in the figure, a remote controller 4 is present in front of the master speaker. The remote controller 4 is carried by a listener, and the remote controller 4 includes a microphone and an infrared transmitter. Moreover, you may provide the wireless LAN interface for network connection.

リモコン4は、マスタスピーカの制御部15に測定スタート信号を送信する。測定スタート信号は、赤外線を用いて送信してもよいし、無線LANインタフェースを備えている場合は、ネットワーク経由で送信してもよい。測定スタート信号を受信したマスタスピーカの制御部15は、スピーカ12から測定用の音波を発し、同時にカウンタをスタートして時間を計測する。この例においても測定用音波はどのようなものであってもよいが、可聴外の周波数の正弦波等とする。   The remote controller 4 transmits a measurement start signal to the control unit 15 of the master speaker. The measurement start signal may be transmitted using infrared rays, or may be transmitted via a network when a wireless LAN interface is provided. The control unit 15 of the master speaker that has received the measurement start signal emits a sound wave for measurement from the speaker 12, and simultaneously starts a counter to measure time. In this example, any measurement sound wave may be used, but a sine wave or the like having an audible frequency is used.

リモコン4は、測定用音波を受信すると、赤外線を用いて音波が到達したことを通知する信号をマスタスピーカに送信する。なお、ここでも赤外線を用いて送信してもよいし、ネットワーク経由で送信してもよい。   When receiving the measurement sound wave, the remote controller 4 transmits a signal notifying that the sound wave has arrived to the master speaker using infrared rays. In this case, it may be transmitted using infrared rays or may be transmitted via a network.

マスタスピーカの制御部15は、音波が到達したことを通知する信号を赤外線送受信部13から受信すると、カウンタをストップする。その後、音波を発してから到達するまでの時間をカウンタから計算して、リモコン4とマスタスピーカの距離を計算する。このようにして、リモコン4との距離を測定する。リモコン4との距離を測定することで、受聴者の正確な位置を特定することができる。   When the control unit 15 of the master speaker receives a signal notifying that the sound wave has arrived from the infrared transmission / reception unit 13, the control unit 15 stops the counter. Thereafter, the time from when the sound wave is emitted until it arrives is calculated from the counter, and the distance between the remote controller 4 and the master speaker is calculated. In this way, the distance from the remote controller 4 is measured. By measuring the distance from the remote controller 4, the exact position of the listener can be specified.

以上のようにして測定した各スピーカ間の位置、方向に関する情報は、マスタスピーカの制御部15からコントロールユニット2に送信される。コントロールユニット2は、それぞれのスピーカユニット1の設置位置と方向に応じて、各スピーカユニット1にチャンネルを割り当てて分配し、各スピーカの音量および遅延量のコントロールを行う。特に、スピーカユニット1が、複数のスピーカをマトリクス状(またはライン状、ハニカム状)に配列したスピーカアレイにより構成される場合には、スピーカのゲインと遅延量を個別にコントロールすることで、音声ビーム制御を行うことができる。例えば、端部のスピーカから最初に音声を出力し、隣のスピーカから順次所定の遅延時間で音声を出力すると、これらの音声の合成波面はその遅延時間に応じて傾斜するので、音声ビームを斜め方向に向けることができ、受聴者に音声ビームを向けることができる。   Information on the position and direction between the speakers measured as described above is transmitted from the control unit 15 of the master speaker to the control unit 2. The control unit 2 assigns and distributes a channel to each speaker unit 1 according to the installation position and direction of each speaker unit 1 and controls the volume and delay amount of each speaker. In particular, when the speaker unit 1 is configured by a speaker array in which a plurality of speakers are arranged in a matrix (or line or honeycomb), the sound beam can be controlled by individually controlling the gain and delay amount of the speakers. Control can be performed. For example, when sound is first output from the speaker at the end and sound is sequentially output from the adjacent speaker with a predetermined delay time, the synthesized wavefront of these sounds is tilted according to the delay time, so the sound beam is obliquely Can be directed, and can direct the sound beam to the listener.

各スピーカのチャンネル、音量、遅延量をコントロールすることで、受聴者にとって最適な音場を形成することができる。すなわち、コントロールユニット2は、受聴者がマスタスピーカの正面の所定の位置に存在しているものとみなして、マスタスピーカに対向する位置に設置されたスピーカユニット1にリアチャンネルの音声を供給したり、受聴者の右方向に設置されたスピーカユニット1にRチャンネル、左方向に設置されたスピーカユニット1にLチャンネルの音声を供給したりする。また、受聴者の位置よりも遠いスピーカユニット1の音量を大きくしたり、逆に近すぎるスピーカユニット1の音量を小さくしたりする。また、スピーカユニット1が受聴者の方向に向いていない(正面軸方向からずれている)場合には、受聴者の方向に音声ビームを向ける等する。   By controlling the channel, volume, and delay amount of each speaker, an optimal sound field can be formed for the listener. That is, the control unit 2 considers that the listener is present at a predetermined position in front of the master speaker, and supplies the rear channel sound to the speaker unit 1 installed at a position facing the master speaker. The sound of the R channel is supplied to the speaker unit 1 installed in the right direction of the listener, and the sound of the L channel is supplied to the speaker unit 1 installed in the left direction. Also, the volume of the speaker unit 1 far from the listener's position is increased, or conversely, the volume of the speaker unit 1 that is too close is decreased. In addition, when the speaker unit 1 is not directed toward the listener (deviation from the front axis direction), an audio beam is directed toward the listener.

また、応用例に示したように、受聴者の位置が正確に特定することができる場合には、この受聴者の位置においてより最適な音場になるようにコントロールすることもできる。   Further, as shown in the application example, when the position of the listener can be accurately specified, the sound field can be controlled to be more optimal at the position of the listener.

本発明のスピーカシステムを用いることで、例えばホームシアターシステムでは各スピーカユニットの設置位置に応じて自動的に最適な音場が形成される。また、ネットワークから音声データを受信して再生する再生機器(インターネット電話等)として本発明のスピーカシステムを用いた場合、音声配信元の位置情報とスピーカユニットの位置情報とを関連させた音場制御を行うこともできる。例えば、北東方向から配信された音声である場合には、北東方向に位置するスピーカユニットから音声を発するようにして、あたかも北東から音声が発せられているかのようにする等である。   By using the speaker system of the present invention, for example, in a home theater system, an optimal sound field is automatically formed according to the installation position of each speaker unit. In addition, when the speaker system of the present invention is used as a playback device (such as an Internet telephone) that receives and reproduces audio data from a network, the sound field control associates the position information of the sound distribution source with the position information of the speaker unit. Can also be done. For example, when the sound is distributed from the northeast direction, the sound is emitted from the speaker unit located in the northeast direction, as if the sound is emitted from the northeast.

次に、スピーカユニットの動作について詳細に説明する。図7は、マスタスピーカの動作を示したフローチャートであり、図8は、スレーブスピーカの動作を示したフローチャートである。   Next, the operation of the speaker unit will be described in detail. FIG. 7 is a flowchart showing the operation of the master speaker, and FIG. 8 is a flowchart showing the operation of the slave speaker.

図7において、スピーカシステムの電源をオンしたときにこの動作を開始する。なお、受聴者が手動でこの動作(測定モード)を行うことを選択できるようにしてもよい。まず、スレーブスピーカからレジスト情報を取得する(s10)。レジスト情報は、各スレーブスピーカの存在を示す情報であり、それぞれのスピーカユニット1から送信される。これを受信することでマスタスピーカはスピーカシステム内のスピーカユニット数を認識することができる。レジスト情報はマスタスピーカのスピーカユニット1に内蔵のメモリ(図示せず)に記憶される。また、コントロールユニット2に送信してコントロールユニット2で記憶するようにしてもよい。   In FIG. 7, this operation is started when the power of the speaker system is turned on. Note that the listener may be able to select to perform this operation (measurement mode) manually. First, registration information is acquired from a slave speaker (s10). The registration information is information indicating the presence of each slave speaker, and is transmitted from each speaker unit 1. By receiving this, the master speaker can recognize the number of speaker units in the speaker system. The registration information is stored in a memory (not shown) built in the speaker unit 1 of the master speaker. Further, it may be transmitted to the control unit 2 and stored in the control unit 2.

受信したレジスト情報について、メモリ内に登録済であるか否かを判断し(s11)、登録されていなければレジスト情報をメモリに登録する(s12)。登録されていればs12の処理は行わないで次の処理に進む。その後、メモリ内に記憶されている過去に測定したスピーカユニットの位置検出情報を読み出してスレーブスピーカに送信する(s13)。ただし、最初に電源を投入した時には、スピーカユニットの位置検出情報は記憶されていないのでこの処理を行わない。   It is determined whether or not the received registration information has been registered in the memory (s11). If it has not been registered, registration information is registered in the memory (s12). If registered, the process proceeds to the next process without performing the process of s12. Thereafter, the position detection information of the speaker unit measured in the past stored in the memory is read and transmitted to the slave speaker (s13). However, since the position detection information of the speaker unit is not stored when the power is first turned on, this processing is not performed.

スレーブスピーカに位置検出情報を送信した後、スレーブスピーカからスタート信号が受信されたか否かを判断する(s14)。スレーブスピーカからスタート信号が送信されていなければレジスト情報の取得から処理を繰り返す。   After the position detection information is transmitted to the slave speaker, it is determined whether a start signal is received from the slave speaker (s14). If the start signal is not transmitted from the slave speaker, the process is repeated from obtaining the registration information.

スレーブスピーカからスタート信号が送信され、これを受信した場合、スピーカ11から測定用音波を発してカウンタをスタートする(s15)。上述したように、マスタスピーカのスピーカユニット1のうちいずれかのスピーカ11から音波を発する。その後、この音波を検出したスレーブスピーカから音波が到達したことを示す音波到達信号が送信されてくるので、これを受信し、カウンタをストップする(s16)。これによりスレーブスピーカとの距離を測定する。音波到達信号を受信した後、スレーブスピーカに測定が終了したことを通知する(s17)。この通知も赤外線送受信部13を用いて送信してもよいし、ネットワーク経由で送信してもよい。   When a start signal is transmitted from the slave speaker and received, the measurement sound wave is emitted from the speaker 11 and the counter is started (s15). As described above, sound waves are emitted from any speaker 11 of the speaker unit 1 of the master speaker. Thereafter, a sound wave arrival signal indicating that the sound wave has arrived is transmitted from the slave speaker that has detected this sound wave, and this is received and the counter is stopped (s16). Thereby, the distance to the slave speaker is measured. After receiving the sound wave arrival signal, the slave speaker is notified that the measurement is completed (s17). This notification may also be transmitted using the infrared transmitter / receiver 13 or may be transmitted via a network.

その後、再測定が必要であるか否かを判断する(s18)。マスタスピーカは、レジスト情報を取得したときに、各スレーブスピーカのスピーカユニット1に備えたスピーカ11の数を管理しているので、全てのスピーカユニット1のスピーカ11の距離を測定した場合に再測定が必要でないと判断し、未測定のスピーカ11が存在すれば該当するスレーブスピーカにスタート信号送信要求を通知し(s19)、スタート信号が受信されたか否かの判断から処理を繰り返す(s19→s14)。再測定が必要でないと判断した場合は動作を終了する。   Thereafter, it is determined whether remeasurement is necessary (s18). Since the master speaker manages the number of speakers 11 provided in the speaker units 1 of each slave speaker when the registration information is acquired, the master speaker remeasures when the distances of the speakers 11 of all the speaker units 1 are measured. If there is an unmeasured speaker 11, a start signal transmission request is notified to the corresponding slave speaker (s19), and the process is repeated from the determination of whether or not the start signal is received (s19 → s14). ). If it is determined that remeasurement is not necessary, the operation is terminated.

図8において、スレーブスピーカは、マスタスピーカと同様にスピーカシステムの電源をオンしたときにこの動作を開始する。また、受聴者が手動でこの動作(測定モード)を行うことを選択できるようにしてもよい。まず、マスタスピーカにレジスト情報を送信し(s20)、マスタスピーカから位置検出情報を取得する(s21)。   In FIG. 8, the slave speaker starts this operation when the power of the speaker system is turned on, like the master speaker. Further, the listener may be able to select to perform this operation (measurement mode) manually. First, registration information is transmitted to the master speaker (s20), and position detection information is acquired from the master speaker (s21).

マスタスピーカ受信した位置検出情報を参照し、すでに位置検出が済んでいるか否かを判断する(s22)。位置検出が済んでいると判断した場合は、動作を終了する。位置検出が済んでいないと判断した場合は、マスタスピーカにスタート信号を送信する(s23)。さらに測定するマイク12だけをオンし、測定しないマイク12はオフにする(s24)。その後、マイク12にマスタスピーカから測定用音波が入力されたか否かを判断する(s25)。測定用音波が受信されなければ、所定時間が経過したか否かを判断し(s26)、経過していればエラー終了する(s27)。所定時間が経過していなければ判断を繰り返す(s26→s25)。エラー終了は、マスタスピーカに測定用音波が受信されなかった旨の通知を行い、これを受信したマスタスピーカがエラー表示を行うようにしてもよいし、コントロールユニット2からエラー表示を行ってもよい。   With reference to the position detection information received by the master speaker, it is determined whether or not position detection has already been completed (s22). If it is determined that the position has been detected, the operation is terminated. If it is determined that the position has not been detected, a start signal is transmitted to the master speaker (s23). Further, only the microphone 12 to be measured is turned on, and the microphone 12 not to be measured is turned off (s24). Thereafter, it is determined whether or not the measurement sound wave is input from the master speaker to the microphone 12 (s25). If the measurement sound wave is not received, it is determined whether or not a predetermined time has passed (s26), and if it has passed, the process ends with an error (s27). If the predetermined time has not elapsed, the determination is repeated (s26 → s25). When the error ends, the master speaker may be notified that the sound wave for measurement has not been received, and the master speaker that has received the notification may display an error, or the control unit 2 may display an error. .

測定用音波を受信したと判断した場合は、マスタスピーカに音波到達信号を送信し(s28)、マスタスピーカから測定が終了したことが通知されるのでこれを受信する(s29)。その後、再測定が必要であるか否かを判断して(s30)、再測定が必要であれば、位置検出が済んでいるか否かの判断から処理を繰り返す。マスタスピーカから再測定が必要としてスタート信号送信要求を通知された場合に再測定が必要であると判断してもよいし、スレーブスピーカが自己のスピーカ11について全て測定したか否かを判断するようにしてもよい。再測定が必要でないと判断した場合には動作を終了する。   If it is determined that the sound wave for measurement has been received, a sound wave arrival signal is transmitted to the master speaker (s28), and the master speaker is notified that the measurement has been completed and is received (s29). Thereafter, it is determined whether or not re-measurement is necessary (s30). If re-measurement is necessary, the process is repeated from the determination of whether or not position detection has been completed. When a start signal transmission request is notified from the master speaker that requires remeasurement, it may be determined that remeasurement is necessary, or it may be determined whether the slave speaker has measured all of its own speakers 11 or not. It may be. If it is determined that remeasurement is not necessary, the operation is terminated.

なお、以上の位置検出動作は、電源投入毎に毎回行ってもよいし、一度検出した結果をメモリに記憶しておき、次回電源投入時は位置検出動作をしないようにしてもよい。   The position detection operation described above may be performed every time the power is turned on, or the result of detection once may be stored in a memory so that the position detection operation is not performed when the power is turned on next time.

以上のようにして、本発明の実施形態に係るスピーカシステムは、マスタスピーカのスピーカユニットから測定用音波を発して、これを受信したスレーブスピーカのスピーカユニットが音波到達信号を送信し、マスタスピーカが音波を発した時間から音波到達信号を受信するまでの時間を測定することで、正確にスピーカ間の距離を測定することが可能となる。したがって、簡易な構成でありながら高精度にスピーカの位置関係を特定することができる。   As described above, in the speaker system according to the embodiment of the present invention, the sound wave for measurement is emitted from the speaker unit of the master speaker, and the speaker unit of the slave speaker that receives the sound wave transmits the sound wave arrival signal. By measuring the time from the time when the sound wave is emitted until the time when the sound wave arrival signal is received, the distance between the speakers can be accurately measured. Therefore, it is possible to specify the positional relationship of the speakers with high accuracy while having a simple configuration.

本発明の実施形態に係るスピーカシステムの構成を示したブロック図The block diagram which showed the structure of the speaker system which concerns on embodiment of this invention スピーカユニットの構成を示したブロック図Block diagram showing the configuration of the speaker unit スピーカユニット間の位置測定を示した図Diagram showing position measurement between speaker units スピーカユニット間の位置測定を複数示した図Figure showing multiple position measurements between speaker units スレーブスピーカユニットの角度測定を示した図Figure showing angle measurement of slave speaker unit 本発明の応用例に係る位置測定を示した図The figure which showed the position measurement based on the application example of this invention マスタスピーカの動作を示したフローチャートFlow chart showing the operation of the master speaker スレーブスピーカの動作を示したフローチャートFlow chart showing operation of slave speaker

符号の説明Explanation of symbols

1−スピーカユニット
2−コントロールユニット
3−再生機器
11−マイク
12−スピーカ
13−赤外線送受信部
14−通信部
15−制御部
1-speaker unit 2-control unit 3-reproducing device 11-microphone 12-speaker 13-infrared transmission / reception unit 14-communication unit 15-control unit

Claims (3)

複数のスピーカユニットからなるスピーカシステムであって、
前記スピーカユニットは、
音声を入力するマイク、
音声を出力するスピーカ、
スピーカユニット間で情報伝達する通信手段、
スピーカユニットの動作を制御する制御手段、
を備え、
前記制御手段は、前記スピーカから他のスピーカユニットに音波を発し、
前記通信手段は、前記マイクが他のスピーカユニットからの音波を検知したときに、音波を発したスピーカユニットに受信信号を送信し、
前記制御手段は、音波を発してから受信信号を受信するまでの時間を測定し、スピーカユニット間の距離を測定するスピーカシステム。
A speaker system comprising a plurality of speaker units,
The speaker unit is
Microphone to input audio,
A speaker that outputs audio,
Communication means for transmitting information between speaker units;
Control means for controlling the operation of the speaker unit;
With
The control means emits a sound wave from the speaker to another speaker unit,
The communication means transmits a reception signal to a speaker unit that emits a sound wave when the microphone detects a sound wave from another speaker unit,
The said control means is a speaker system which measures the time after emitting a sound wave to receiving a received signal, and measures the distance between speaker units.
前記複数のスピーカユニットは、それぞれ複数のスピーカおよびマイクを備え、
複数のスピーカ間でそれぞれの距離を測定する請求項1に記載のスピーカシステム。
Each of the plurality of speaker units includes a plurality of speakers and a microphone,
The speaker system according to claim 1, wherein each distance is measured between a plurality of speakers.
前記通信手段は、ネットワークインタフェース、シリアルインタフェース、または赤外線送受信手段である請求項1、または請求項2に記載のスピーカシステム。   The speaker system according to claim 1, wherein the communication unit is a network interface, a serial interface, or an infrared transmission / reception unit.
JP2005176693A 2005-06-16 2005-06-16 Speaker system Pending JP2006352570A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005176693A JP2006352570A (en) 2005-06-16 2005-06-16 Speaker system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005176693A JP2006352570A (en) 2005-06-16 2005-06-16 Speaker system

Publications (1)

Publication Number Publication Date
JP2006352570A true JP2006352570A (en) 2006-12-28

Family

ID=37647918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005176693A Pending JP2006352570A (en) 2005-06-16 2005-06-16 Speaker system

Country Status (1)

Country Link
JP (1) JP2006352570A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011124974A (en) * 2009-12-09 2011-06-23 Korea Electronics Telecommun Sound field reproducing apparatus and method using loudspeaker arrays
JP2013536630A (en) * 2010-07-26 2013-09-19 クゥアルコム・インコーポレイテッド System, method and apparatus for enhanced generation of acoustic images in space
JP2018182534A (en) * 2017-04-13 2018-11-15 ヤマハ株式会社 Speaker position detection system, speaker position detection device, and speaker position detection method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01276900A (en) * 1988-04-28 1989-11-07 Hitachi Ltd Sound field reproduction device
JPH06233397A (en) * 1993-02-05 1994-08-19 Sony Corp Acoustic equipment having automatic sound field correction function
JPH11331999A (en) * 1998-05-13 1999-11-30 Sony Corp Device for setting automatically listening position of audio equipment
JP2003250200A (en) * 2002-02-25 2003-09-05 Yamaha Corp Multi-channel audio system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01276900A (en) * 1988-04-28 1989-11-07 Hitachi Ltd Sound field reproduction device
JPH06233397A (en) * 1993-02-05 1994-08-19 Sony Corp Acoustic equipment having automatic sound field correction function
JPH11331999A (en) * 1998-05-13 1999-11-30 Sony Corp Device for setting automatically listening position of audio equipment
JP2003250200A (en) * 2002-02-25 2003-09-05 Yamaha Corp Multi-channel audio system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011124974A (en) * 2009-12-09 2011-06-23 Korea Electronics Telecommun Sound field reproducing apparatus and method using loudspeaker arrays
US8855340B2 (en) 2009-12-09 2014-10-07 Electronics And Telecommunications Research Institute Apparatus for reproducting wave field using loudspeaker array and the method thereof
JP2013536630A (en) * 2010-07-26 2013-09-19 クゥアルコム・インコーポレイテッド System, method and apparatus for enhanced generation of acoustic images in space
US8965546B2 (en) 2010-07-26 2015-02-24 Qualcomm Incorporated Systems, methods, and apparatus for enhanced acoustic imaging
JP2018182534A (en) * 2017-04-13 2018-11-15 ヤマハ株式会社 Speaker position detection system, speaker position detection device, and speaker position detection method

Similar Documents

Publication Publication Date Title
US8208664B2 (en) Audio transmission system and communication conference device
JP4488036B2 (en) Speaker array device
JP4561785B2 (en) Speaker array device
JP6211677B2 (en) Tonal constancy across the loudspeaker directivity range
US10075791B2 (en) Networked speaker system with LED-based wireless communication and room mapping
EP3209029A1 (en) Distributed wireless speaker system
JP2006258442A (en) Position detection system, speaker system, and user terminal device
JP2005236502A (en) Sound system
CN109429166B (en) Network and method for measurement and calibration of networked loudspeaker systems
CN112104929A (en) Intelligent equipment, and method and system for controlling intelligent loudspeaker box
JP4375355B2 (en) Speaker array device and audio beam setting method for speaker array device
CN112672251A (en) Control method and system of loudspeaker, storage medium and loudspeaker
CN112104928A (en) Intelligent sound box and method and system for controlling intelligent sound box
US20230232153A1 (en) A sound output unit and a method of operating it
JP4810378B2 (en) SOUND OUTPUT DEVICE, ITS CONTROL METHOD, AND SOUND SYSTEM
JP2006352570A (en) Speaker system
JP4449536B2 (en) Volume control device
US11889288B2 (en) Using entertainment system remote commander for audio system calibration
JP2006270522A (en) Sound image localization controller
JP2011188248A (en) Audio amplifier
US20160100269A1 (en) Audio system and method for predicting acoustic feature
CN115499762A (en) Bar enclosures and methods for automatic surround sound pairing and calibration
US20070041598A1 (en) System for location-sensitive reproduction of audio signals
CN112098930A (en) Method for searching vehicle and intelligent equipment
JP2007089062A (en) Sound system

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20080421

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100924

RD02 Notification of acceptance of power of attorney

Effective date: 20100924

Free format text: JAPANESE INTERMEDIATE CODE: A7422

A131 Notification of reasons for refusal

Effective date: 20101019

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101220

A02 Decision of refusal

Effective date: 20110208

Free format text: JAPANESE INTERMEDIATE CODE: A02