JP2011211296A - 音声再生装置及び音声再生方法 - Google Patents

音声再生装置及び音声再生方法 Download PDF

Info

Publication number
JP2011211296A
JP2011211296A JP2010074490A JP2010074490A JP2011211296A JP 2011211296 A JP2011211296 A JP 2011211296A JP 2010074490 A JP2010074490 A JP 2010074490A JP 2010074490 A JP2010074490 A JP 2010074490A JP 2011211296 A JP2011211296 A JP 2011211296A
Authority
JP
Japan
Prior art keywords
speaker
data
unit
audio
transfer characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010074490A
Other languages
English (en)
Other versions
JP5387478B2 (ja
Inventor
Homare Kon
誉 今
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010074490A priority Critical patent/JP5387478B2/ja
Priority to US13/046,268 priority patent/US8964999B2/en
Priority to CN201110074103.9A priority patent/CN102209290B/zh
Publication of JP2011211296A publication Critical patent/JP2011211296A/ja
Application granted granted Critical
Publication of JP5387478B2 publication Critical patent/JP5387478B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】スピーカーユニットの機種に応じてスピーカーの特性を補正することが可能な音声再生装置及び音声再生方法を提供すること
【解決手段】本発明に係る音声再生装置1は、接続端子と、マイクロフォン13と、データ取得部と、測定部と、信号処理部とを具備する。接続端子は、スピーカー21及び22を有するスピーカーユニット2と接続される。データ取得部は、接続端子に対するマイクロフォン13の位置を特定する第1のデータ及び接続端子に対するスピーカーの位置を特定する第2のデータを取得する。測定部は、スピーカー21及び22からテスト音声を放音し、放音したテスト音声をマイクロフォン13によって集音し、集音したテスト音声の伝達特性を実測する。信号処理部は、接続端子を介してスピーカー21及び22に出力される音声信号に、第1のデータ、第2のデータ及び伝達特性に応じた信号処理を施す。
【選択図】図3

Description

本発明は、スピーカーを備えるスピーカーユニットに接続された際に、スピーカーユニットの機種に応じてスピーカー特性を補正することが可能な音声再生装置及びその音声再生方法に関する。
近年、音楽再生機能付き携帯電話や携帯型デジタル音楽プレイヤーの普及に伴ない、これらの携帯型音楽プレイヤーをドッキングスピーカーに接続し、音声を再生させることが行われている。一般的に、携帯型音楽プレーヤーはスピーカーを有しないか、又は小径のスピーカーを有するのみであるが、比較的大径のスピーカーであるドッキングスピーカーに接続することで携帯型音楽プレイヤーから出力される音声信号を高音質、あるいは大音量で再生することが可能となる。
このようなドッキングスピーカーから音声を再生させる際、携帯型音楽プレーヤーの内部で音声信号に対して信号処理を施すことによって、スピーカーの特性の補正を行うことが可能である。スピーカーの特性にはスピーカーの構造に起因する周波数特性、歪率、過渡特性、指向特性等があり、放音させるスピーカーについて予めこれらの特性が判明していれば、信号処理によって補正することができる。
放音させるスピーカーの特性が不明の場合であっても、マイクロフォンによりスピーカーから放音される音声を集音してスピーカーの特性を算出し、信号処理による補正が可能な場合もある。例えば特許文献1には、マイクロフォンを備え、スピーカーから放音され、マイクロフォンで集音されるテスト音声を基にスピーカー特性の補正を行う「再生装置」が記載されている。
特開2008−282042号公報(段落[0078]、図7)
マイクロフォンとスピーカーとの間に音声の伝達に影響を与える部材などが存在していないときには、特許文献1に記載された技術によってスピーカー特性の補正を行うことも可能である。しかし、マイクロフォンとスピーカーとの間に音声の伝達に影響を与える部材などが存在してるときには、そのような補正はできない。そのような場合であって、特許文献1に記載された技術によりスピーカー特性の補正をする場合には、補正を行う機器(以下、補正機器)は、マイクロフォンとスピーカーの位置関係を取得している必要がある。すなわち、補正機器が当該位置関係を取得していなければ、マイクロフォンによって集音された音についてスピーカーの特性による影響と音波が空間を伝播する間に受ける影響とを分離することができない。
ドッキングスピーカーの特性を携帯型音楽プレーヤーにおいて補正する場合、ドッキングスピーカーと携帯型音楽プレーヤーとの組み合わせは多様である。加えて、ドッキングスピーカーに携帯型音楽プレーヤーを装着した状態では、形態上、携帯型音楽プレーヤーのマイクロフォンとドッキングスピーカーのスピーカーとの間に音声の伝達に影響を与える部材などが存在する可能性が高い。このため、携帯型音楽プレーヤーに備えられたマイクロフォンとドッキングスピーカーとの位置関係は特定できないことが多く、携帯型音楽プレーヤーによる信号処理によってドッキングスピーカーの特性を補正することは困難である。
以上のような事情に鑑み、本発明の目的は、スピーカーユニットの機種に応じてスピーカーの特性を補正することが可能な音声再生装置及び音声再生方法を提供することにある。
上記目的を達成するため、本発明の一形態に係る音声再生装置は、接続端子と、マイクロフォンと、データ取得部と、測定部と、信号処理部とを具備する。
接続端子は、スピーカーを有するスピーカーユニットと接続される。
データ取得部は、上記接続端子に対する上記マイクロフォンの位置を特定する第1のデータ及び上記接続端子に対する上記スピーカーの位置を特定する第2のデータを取得する。
測定部は、上記スピーカーからテスト音声を放音し、上記放音したテスト音声を上記マイクロフォンによって集音し、上記集音したテスト音声の伝達特性を実測する。
信号処理部は、上記接続端子を介して上記スピーカーに出力される音声信号に、上記第1のデータ、上記第2のデータ及び上記伝達特性に応じた信号処理を施す。
本発明では、接続端子に対するマイクロフォンの位置を特定する第1のデータ及び接続端子に対するスピーカーの位置を特定する第2のデータを用いることで、実測伝達特性から空間伝達特性に相当する成分を除くことが可能となる。これにより、スピーカーユニットの機種に応じてスピーカーの特性を補正することが可能となる。
上記信号処理部は、上記第1のデータ及び上記第2のデータから理想伝達特性を決定し、上記測定部によって実測された伝達特性を上記理想伝達特性に変換するための補正係数を算出し、上記補正係数に応じた信号処理を上記音声信号に施してもよい。
第1のデータ及び第2のデータから決定される理想伝達特性は、当該マイクロフォンとスピーカーとの位置関係において、理想的なスピーカー特性を有するスピーカーから放音された音声がマイクロフォンにおいて集音された際の伝達特性である。したがって、理想伝達特性には、理想的なスピーカーのスピーカー特性と、当該位置関係における空間伝達特性が含まれる。なお、理想的なスピーカー特性とは、フラットな周波数特性、直線位相特性、最小位相特性等である。このため、実測伝達特性を理想伝達特性に変換するための補正係数は、実際のスピーカー(スピーカーユニット)のスピーカー特性を理想的なスピーカー特性に変換するための補正係数とみなすことができる。したがって、この補正係数を音声信号に適用することにより、スピーカーユニットの機種に応じてスピーカーの特性を補正することが可能となる。
上記信号処理部は、上記マイクロフォン及び上記スピーカーの位置に対して予めマッピングされている理想伝達特性候補から、上記第1のデータ及び上記第2のデータに応じて上記理想伝達特性を決定してもよい。
マイクロフォンとスピーカーとの位置関係から理想伝達特性を求める場合、音声再生装置の筐体による回折等の影響により線形的に算出することは困難である。本発明によれば、信号処理部は、予めマッピングされている理想伝達特性候補から、マイクロフォンとスピーカーとの位置関係が近接するものを選択することで理想伝達特性を決定することが可能である。理想伝達特性候補のマッピングは、例えば、理想的なスピーカー特性を有する(あるいはそのように補正された)スピーカーに放音させ、各位置関係において集音すればよい。
上記信号処理部は、上記第1のデータ及び上記第2のデータに応じて上記理想伝達特性候補を近似することで上記理想伝達特性を算出してもよい。
信号処理部は、マッピングされた理想伝達特性候補のうち当該マイクロフォンとスピーカーとの位置関係が近接する理想伝達特性候補を用いて近似することにより理想伝達特性を算出することも可能である。これにより、理想伝達特性候補をマッピングする際に、マッピングの間隔を広げ、測定点数を抑制することが可能となる。さらに、音声再生装置やスピーカーユニットのサイズが比較的小さく、距離に対する伝達特性の変化が大きい場合であっても、より正確に理想伝達特性を求めることができる。
上記第1のデータと、上記スピーカーユニットの機種毎に用意された上記第2のデータの候補とを記憶する記憶部をさらに具備し、上記データ取得部は、上記記憶部から上記第1のデータを取得し、上記記憶部から上記スピーカーユニットの機種に応じて上記第2のデータを取得してもよい。
接続端子に対するマイクロフォンの位置は固定であるので、データ取得部は記憶部からマイクロフォンの位置を取得することができる。一方、どの機種のスピーカーユニットが接続されるかは不明であるので、スピーカーユニットの機種の情報が与えられるまで接続端子に対するスピーカーの位置は決定することができない。そこで、例えば接続される可能性の高い複数のスピーカーユニットの機種についての接続端子に対するスピーカーの位置(第2のデータ)を予め記憶部に保持していてもよい。この場合、データ取得部は、スピーカーユニットの機種の情報が与えられれば、該当する機種の接続端子に対するスピーカーの位置(第2のデータ)を記憶部から取得することができる。
上記スピーカーユニットに設けられた識別子を読み取り可能な読取部をさらに具備し、上記データ取得部は、上記読取部が読み取った識別子の情報から、上記スピーカーユニットの機種を判別してもよい。
上述のように、データ取得部は、スピーカーユニットの機種の情報が与えられれば、該当する機種の接続端子に対するスピーカーの位置(第2のデータ)を取得することができる。スピーカーユニットの機種の情報は例えば、ユーザが直接入力するものとすることも可能であるが、読取部(カメラ、バーコードリーダ等)にスピーカーユニットに設けられた識別子(バーコード、QRコード等)を読み取らせ、データ取得部にスピーカーユニットの機種の情報を提供することで操作の手間を省くことができる。
前記第1のデータは、さらに前記マイクロフォンの向きを特定するデータであり、前記第2のデータは、さらに前記スピーカーの向きを特定するデータであってもよい。
これにより、マイクロフォンの向きやスピーカーの向きを考慮に入れた上でのより正確なスピーカーの特性を補正することが可能となる。
上記目的を達成するため、本発明の他の形態に係る音声再生方法は、データ取得ステップと、測定ステップと、信号処理ステップとを具備する。
データ取得ステップは、スピーカーを有するスピーカーユニットと接続される接続端子に対するマイクロフォンの位置を特定する第1のデータ及び上記接続端子に対する上記スピーカーの位置を特定する第2のデータを取得する。
測定ステップは、上記スピーカーからテスト音声を放音し、上記放音したテスト音声を上記マイクロフォンによって集音し、上記集音したテスト音声の伝達特性を実測する。
信号処理ステップは、上記接続端子を介して上記スピーカーに出力される音声信号に、上記第1のデータ、上記第2のデータ及び上記伝達特性に応じた信号処理を施す。
本発明によれば、スピーカーユニットの機種に応じてスピーカーの特性を補正することが可能な音声再生装置及び音声再生方法を提供することが可能となる。
本発明の実施形態に係る音声再生装置の外観を示す斜視図である。 スピーカードックの外観を示す斜視図である。 ドッキングされた、音声再生装置とスピーカードックの外観を示す斜視図である。 音声再生装置の機能構成を示すブロック図である。 スピーカードックの機能構成を示すブロック図 補正係数の決定に係るフローチャートである。 音声再生装置の平面図である。 スピーカードックの平面図である。 理想伝達特性マッピングを示す概念図である。 理想伝達特性候補の例を示す図である。 理想伝達特性の近似の方法を示す概念図である。
以下、図面を参照しながら、本発明の実施形態を説明する。
[音声再生装置及びスピーカードックの概略構成]
図1は本実施形態に係る音声再生装置1の外観を示す斜視図、図2は音声再生装置1がドッキングされるスピーカードック2の外観を示す斜視図、図3はドッキングされた両者の外観を示す斜視図である。なお、これらの図において空間上の一方向をX方向、X方向に直交する方向をY方向、X方向及びY方向に直交する方向をZ方向とする。本実施形態では、音声再生装置1が携帯型音楽プレーヤーである場合を例にとり説明する。
図1に示すように、音声再生装置1は、係合凹部12とマイクロフォン13とを有する。音声再生装置1には、ヘッドフォンの接続が可能なヘッドフォン端子14、ユーザの操作が入力される入力ボタン15が設けられている。音声再生装置1はユーザによって携帯され、ユーザの入力ボタン15を介した操作入力に応じて内部に記憶している音声信号をヘッドフォン端子14から出力する。音声再生装置1のサイズは例えば、X方向に10cm、Y方向に2cm、Z方向に3cmとすることができる。
係合凹部12は、スピーカードック2との機械的及び電気的な接続に用いられる。係合凹部12はスピーカードック2の係合凸部23と係合することが可能な形状に形成されている。係合凹部12には、係合凹部12がスピーカードック2の係合凸部23に係合されたときにスピーカードック2と電気的な接続がされる接続端子(図示を省略)が設けられている。マイクロフォン13はスピーカードック2のスピーカーから放音される音声を集音する。マイクロフォン13の設置位置は特に限定されないが、音声再生装置1がスピーカードック2にドッキングされた際にスピーカードック2によって塞がれないような位置とされる。音声再生装置1の機能構成については後述する。
図2に示すように、スピーカードック2は、左スピーカー21、右スピーカー22及び係合凸部23を有する。左スピーカー21及び右スピーカー22は通常のスピーカーであり特別な構成を有しない。スピーカーの数も2基に限られない。係合凸部23は、上述した係合凹部12と係合することが可能な形状に形成され、係合により音声再生装置1と電気的な接続がされる接続端子(図示を省略)が設けられている。スピーカードック2の大きさは例えば、X方向に14cm、Y方向に6cm、Z方向に9cmとすることができる。
以上のようにして音声再生装置1とスピーカードック2は、係合凹部12と係合凸部23が係合することにより固定され、電気的に接続される。音声再生装置1は、係合凹部12及び係合凸部23を介して音声信号がスピーカードック2側に伝送され、音声信号に応じた音声が左スピーカー21及び右スピーカー22から放音される。この際、音声再生装置1は、音声信号に対して後述する「補正処理」を施す。
[音声再生装置の機能構成]
音声再生装置1の機能構成について説明する。
図4は、音声再生装置1の機能構成を示すブロック図である。同図に示すように、音声再生装置1は、演算処理部30、記憶部31、操作入力部(入力ボタン15、汎用ポート37)、音声信号出力部(D/A(Digital/Analog)変換器38、ヘッドフォン端子14、係合凹部12)、音声信号入力部(マイクロフォン13、アンプ39、A/D(Analog/Digital)変換器40)、通信部35を有する。これらはバス36を介して互いに接続されている。
演算処理部30は、演算処理が可能な素子であり典型的にはCPU(Central Processing Unit)である。演算処理部30は、バス36を通じて記憶部31から音声コンテンツの音声信号(コンテンツ音声信号)を取得し、コンテンツ音声信号に対して後述する補正処理を施した後、バス36を通じて音声信号出力部に供給する。
記憶部31は、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard disk drive)、SSD(Solid State Drive)等であり、音声コンテンツデータD、第1のデータE、理想伝達特性マッピングFを記憶している。音声コンテンツデータDは少なくとも音声を含むコンテンツのデータである。第1のデータE及び理想伝達特性マッピングFについては後述する。
操作入力部は、入力ボタン15及び汎用入力ポート37を有する。入力ボタン15は汎用入力ポート37を介してバス36に接続され、操作入力信号を汎用入力ポート37及びバス36を通じて演算処理部30に供給する。
音声信号出力部は、D/A変換器38、ヘッドフォン端子14及び係合凹部12を有する。ヘッドフォン端子14及び係合凹部12はD/A変換器38を介してバス36に接続されている。演算処理部30によって供給されたコンテンツ音声信号は、D/A変換器38を通じてヘッドフォン端子14及びスピーカードック2側に出力される。スピーカードック2側に出力されるコンテンツ音声信号を、音声信号SigAとする。
音声信号入力部は、マイクロフォン13、アンプ39及びA/D変換器40を有する。マイクロフォン13は、アンプ39及びA/D変換器40を介してバス36に接続され、集音した音声信号(集音信号)をアンプ39及びA/D変換器40及びバス36を通じて演算処理部30に供給する。
通信部35は、バス36に接続され、インターネット等のネットワークと通信を行う。通信部35は、通信用のケーブルが接続されるコネクタ、非接触通信のためのアンテナユニット等を有する。通信部35は、受信した情報あるいは送信する情報をバス36を通じて演算処理部30との間で授受する。
音声再生装置1は以上のように構成される。なお、音声再生装置1の構成はここに示すものに限られない。例えば、スピーカーが内蔵され、音声再生装置1のみで音声の再生が可能なものであってもよい。この場合も、より高音質、大音量の音声を再生するためにスピーカードック2と接続される。
[スピーカードックの機能構成]
スピーカードック2の機能構成について説明する。
図5は、スピーカードック2の機能構成を示すブロック図である
同図に示すように、スピーカードック2は、係合凸部23、アンプ24、左スピーカー21及び右スピーカー22を有する。
係合凹部12及び係合凸部23を介して音声再生装置1側からスピーカードック2側に供給された音声信号SigAはアンプ24を通じて左スピーカー21及び右スピーカー22に供給され、左スピーカー21及び右スピーカー22から音声として放音される。
[音声再生装置の動作]
音声再生装置1の動作について説明する。
ユーザによって入力ボタン15が操作されると、演算処理部30は記憶部31に音声コンテンツデータDを要求し、展開演算処理してコンテンツ音声信号を生成する。ここで、演算処理部30は、例えば係合凹部12の接続端子に対して問い合わせ信号を出力し、スピーカードック2が接続されているかどうかを検出する。
スピーカードック2が検出されなかった場合、演算処理部30は、コンテンツ音声信号をバス36を通じてD/A変換器38に供給する。なお、ここではコンテンツ音声信号に対して補正処理は行われていない。D/A変換器38はコンテンツ音声信号をD/A変換し、ヘッドフォン端子14に出力する。コンテンツ音声信号は、ヘッドフォン端子14に接続されているヘッドフォンから音声として放音される。
スピーカードック2が検出された場合、演算処理部30は、コンテンツ音声信号に対して後述する補正処理を行う。演算処理部30は、補正処理されたコンテンツ音声信号をバス36を通じてD/A変換器38に供給する。D/A変換器38はコンテンツ音声信号をD/A変換し、係合凹部12よりスピーカードック2側に出力する。コンテンツ音声信号(SigA)は左スピーカー21及び右スピーカー22に供給され、これらから音声として放音される。
[補正処理]
音声再生装置1が行う補正処理について説明する。
例えば、音声再生装置1が、初めてスピーカードック2と接続された際に、補正処理に用いられる「補正係数」の決定が行われる。補正係数は音声再生装置1とスピーカードック2との組み合わせについて決定される。音声再生装置1がスピーカードック2と分離され、再びスピーカードック2とドッキングされた際にはその決定された補正係数が用いられる。音声再生装置1がスピーカードック2と異なる別のスピーカードックと接続されると、そのスピーカードックについて補正係数の決定が行われる。この、補正係数の決定については後述する。
音声再生装置1は、決定された補正係数を用いてコンテンツ音声信号に補正処理を施す。音声再生装置1は演算処理部30においてコンテンツ音声信号に、FIR(Finite impulse response)フィルタやIIR(Infinite impulse response)フィルタ等のデジタルフィルタを適用することにより補正処理を施すことができる。デジタルフィルタによる補正処理は、以下の式1によって表記することができる。
y(s)=G(s)・x(s) [式1]
式1においてy(s)はデジタルフィルタから出力されるコンテンツ音声信号(出力関数)のラプラス関数、x(s)はデジタルフィルタへ入力されるコンテンツ音声信号(入力関数)のラプラス関数である。G(s)はインパルス応答関数のラプラス関数であり、これを「補正係数」とする。式1は、補正係数によって入力関数に対する出力関数のインパルス応答が変更されることを意味する。
補正係数の決定について説明する。
図6は、補正係数の決定に係るフローチャートである。各ステップの詳細については後述する。なお、以下では、左スピーカー21に対する補正係数の決定のプロセスについて説明する。右スピーカー22に対する補正係数の決定のプロセスについても同様である。
図6に示すように、音声再生装置1は、第1のデータを取得する(St1)。第1のデータとは、係合凹部12に対するマイクロフォン13の位置及び方向を特定するデータである。次に、音声再生装置1は、第2のデータを取得する(St2)。第2のデータとは、係合凸部23に対するスピーカー(ここでは左スピーカー21)の位置及び方向を特定するデータである。次に、音声再生装置1は、St1において取得した第1のデータと、St2において取得した第2のデータから、これらによって特性される位置及び方向(以下、位置関係)における「理想伝達特性」を決定する(St3)。理想伝達特性とは理想的にスピーカー特性が補正された場合に、当該位置関係において測定されるべき伝達特性である。
次に、音声再生装置1は、これらの位置関係にある左スピーカー21の伝達特性(実測伝達測定)を実測する(St4)。この伝達特性は、左スピーカー21に対して出力したテスト音声信号に対する、マイクロフォン13が集音した音声の信号(集音信号)の比である。続いて、音声再生装置1は、実測伝達特性を理想伝達特性に一致させるための補正係数を算出する(St5)。
以下、各ステップの詳細について説明する。
第1のデータの取得ステップ(St1)について説明する。
図7は音声再生装置1の平面図である。図7(a)はZ方向からみた上面図、図7(b)はY方向からみた正面図、図7(c)はX方向からみた側面図である。これらの図に示すように、マイクロフォン13の位置座標(以下、Pm)は、係合凹部12の一点を原点Omとしたときのマイクロフォン13の座標である。図7において、マイクロフォン13の位置座標PmをX座標Xm、Y座標Ym、Z座標Zmとして示す。マイクロフォン13の向き(集音方向)は、方向ベクトルとすることができる。図7において、マイクロフォン13の方向ベクトルをVmとして示す。
本実施形態では、記憶部31に第1のデータEが記憶されているので、演算処理部30は記憶部31から第1のデータEを取得する。記憶部31に第1のデータが記憶されていない場合、演算処理部30は、通信部35を通じてネットワークから第1のデータを取得してもよい。また、演算処理部30は、ユーザにより入力ボタン15を通じて直接入力された第1のデータを取得してもよい。このようにして、演算処理部30によって第1のデータが取得される。
第2のデータの取得ステップ(St2)について説明する。
図8はスピーカードック2の平面図である。図8(a)はZ方向からみた上面図、図8(b)はY方向からみた正面図、図8(c)はX方向からみた側面図である。これらの図に示すように、左スピーカー21の位置座標(以下、Ps)は、係合凸部23の一点を原点Osとしたときの左スピーカー21の位置座標である。ここで、原点Osは、係合凸部23が係合凹部12と接続された際に、原点Omと一致する点とする。図8において、左スピーカー21の位置座標PsをX座標Xs、Y座標Ys、Z座標Zsとして示す。左スピーカー21の向き(放音方向)は、方向ベクトルとすることができる。図8において、左スピーカー21の方向ベクトルをVsとして示す。
第2のデータは、予め種々の機種(型式)のスピーカードックのものが記憶部31に記憶されているものとすることができる。この場合、演算処理部30が、入力ボタン15を介してユーザにより入力されたスピーカードック2の「機種情報」を参照して、機種が一致するスピーカードックの第2のデータを記憶部31から取得することができる。機種情報とは、スピーカードックの機種を特定することができる情報であり、例えばスピーカードックの型番等とすることができる。また、演算処理部30は、入力された機種情報を基に、通信部35を通じてネットワークから当該機種のスピーカードックの第2のデータを入手するものとしてもよい。他に、例えば音声再生装置1にカメラ、バーコードリータ等が搭載され、スピーカードック2にバーコード、QRコード(登録商標)が表示されている場合、演算処理部30は、カメラ等によって当該QRコード等から得られた機種情報を参照して、第2のデータを記憶部31から取得してもよい。
また、記憶部31に第2のデータが記憶されていない場合、演算処理部30は、通信部35を通じてネットワークからスピーカードック2の第2のデータを取得してもよい。また、演算処理部30は、ユーザが入力ボタン15を用いて直接入力した第2のデータを取得してもよい。このようにして演算処理部30によって第2のデータが取得される。
なお、第1のデータ取得ステップ(St1)と、第2のデータ取得ステップ(St2)は順序が逆でもよい。
理想伝達特性決定ステップ(St3)について説明する。
演算処理部30は、St1にて得られたマイクロフォン13の位置座標Pm及び方向ベクトルVmと、St2にて得られた左スピーカー21の位置座標P及び方向ベクトルVsとから理想伝達特性Hi(Pm、Vm、Ps、Vs)を決定する。理想伝達特性Hi(Pm、Vm、Ps、Vs)は、理想的にスピーカー特性が補正された場合に、位置関係(Pm、Vm、Ps、Vs)において測定されるべき伝達特性である。理想的なスピーカー特性は、例えばフラットな周波数特性、直線位相特性、最小位相特性等である。
演算処理部30は、「理想伝達特性マッピング」を用いて理想伝達特性Hi(Pm、Vm、Ps、Vs)を決定することができる。上述のように、記憶部31には、理想伝達特性マッピングFが記憶されている。図9は、理想伝達特性マッピングを示す概念図である。図9(a)と図9(b)では左スピーカー21の方向ベクトルVsが異なる。なお、図9では、Z軸方向については省略されている。理想伝達特性マッピングとは、マイクロフォン13の位置座標Pm及びベクトルVm毎に、スピーカー(ここでは左スピーカー21)の原点(Os)に対する位置座標Pmの各グリッドにおける理想伝達特性候補をマッピングしたものである。理想伝達特性候補は、例えば、予め、理想的なスピーカー特性を有するスピーカーを用いて測定されたものである。例えば、図9に示すように、マイクロフォン13の位置座標Pmが(Xm、Ym)=(3、−1)、方向ベクトルVmがY軸と平行である場合には、それに対応するマッピングが呼び出される。ここで、さらに左スピーカー21の方向ベクトルVsによってそれぞれ対応するマッピングが選択される。なお、座標の値((3、−1)等)は便宜的なものであり、例えば単位はcmである。
図9(a)は、左スピーカー21の方向ベクトルVsがY軸と平行である場合のマッピングの例であり、図9(b)は方向ベクトルVsがY軸に対して斜めである場合のマッピングの例である。それぞれのマッピングにおいて、例えば、位置座標Psが(Xs、Ys)=(−3、3)である場合には、そのグリッドに割り当てられている理想伝達特性候補が理想伝達特性Hi(Pm、Vm、Ps、Vs)として決定される。
図10は、図9(a)に示すマッピングにおいて、左スピーカー21の位置座標Psが異なる場合の理想伝達特性の違いを示す図である。図10(a)は、位置座標がPs1(Xs、Ys)=(−3、3)である場合の理想伝達特性Hi(Pm、Vm、Ps、Vs)であり、図10(b)は位置座標がPs2(Xs、Ys)=(2、−3)である場合の理想伝達特性Hi(Pm、Vm、Ps、Vs)である。
音声再生装置1が理想伝達特性マッピングを利用せずに、第1のデータ及び第2のデータから理想伝達特性Hi(Pm、Vm、Ps、Vs)を求める場合、音声再生装置1の筐体による回折等の影響により線形的に算出することは困難である。演算処理部30は、予めマッピングされている理想伝達特性候補から、第1のデータ及び第2のデータが近接するものを選択することで理想伝達特性Hi(Pm、Vm、Ps、Vs)を決定することが可能である
上記の例では、位置座標Psがグリッド上に位置する場合について示したが、位置座標Psがグリッド上に位置しない場合も考えられる。その場合、例えば、最もPsに接近するグリッドの理想伝達特性候補を理想伝達特性Hi(Pm、Vm、Ps、Vs)として決定することができる。また、以下のようにして、周囲のグリッドの理想伝達特性候から近似することもできる。
図11は、理想伝達特性Hi(Pm、Vm、Ps、Vs)の近似の方法を示す概念図である。
例えば、同図に示すように、位置座標PsがグリッドPa1〜Pa8(PaN)の間に位置している場合、PsとPaNのそれぞれの間の距離をDa1〜Da8(DaN)、PaNのそれぞれの理想伝達特性候をHa1〜Ha8(HaN)とすると、求める理想伝達特性Hi(Pm、Vm、Ps、Vs)は、以下の[数1]で表すことができる。なお、[数1]においてDsumはDa1〜Da8の総和である。
Figure 2011211296
このような近似は、特に、音声再生装置1や左スピーカー21のサイズが比較的小さく、距離に対する伝達特性の変化が大きい場合に有効である。また、予めマッピングを作成する際に、グリッド間の距離を広げ、測定点数を抑制することも可能となる。以上のようにして、位置関係(Pm、Vm、Ps、Vs)における理想伝達特性Hi(Pm、Vm、Ps、Vs)が決定される。
伝達特性実測ステップ(St4)について説明する。
演算処理部30は、係合凹部12からテスト音声信号を出力する。テスト音声信号は、TSP(Time Stretched Pulse)信号、M系列信号、ホワイトノイズ等を用いることができる。テスト音声信号は、係合凸部23を介して左スピーカー21に到達し、左スピーカー21から放音される。
マイクロフォン13は、上記左スピーカー21から放音された音声(テスト音声)を集音し、集音信号として演算処理部30に供給する。演算処理部30は、テスト音声信号と集音信号を比較し、実測伝達特性H(s)を求める。実測伝達特性H(s)は以下の式2によって表記することができる。
Y(s)=H(s)・X(s) [式2]
式2においてY(s)は集音信号(出力関数)のラプラス関数、X(s)はテスト音声信号(入力関数)のラプラス関数である。即ち、実測伝達特性H(s)は集音信号のテスト音声信号に対するインパルス応答の変化を示す。演算処理部30は、式2に示すように、Y(s)をX(s)で除することにより実測伝達特性H(s)を算出することができる。算出された実測伝達特性H(s)は、左スピーカー21のスピーカー特性と、左スピーカー21からマイクロフォン13の間の空間伝達特性(音波が空間を伝播する間に受けるインパルス応答の変化)とを含んでいる。
補正係数算出ステップ(St5)について説明する。
上述ように、St3において得られた理想伝達特性Hi(Pm、Vm、Ps、Vs)は、理想的なスピーカー特性を有するスピーカーから放音された場合に、位置関係(Pm、Vm、Ps、Vs)において測定されるべき伝達特性である。このため、理想的な系は理想伝達特性Hi(Pm、Vm、Ps、Vs)を用いて次式のように表記することができる。
Y(s)=Hi(Pm、Vm、Ps、Vs)・X(s) [式3]
ここで、式1に示したように、テスト音声信号X(s)に対してデジタルフィルタにより補正処理を施すと、テスト音声信号X(s)と集音信号Y(s)の関係は以下のように表記することができる。
Y(s)=H(s)・G(s)・X(s) [式4]
式3と式4が一致する場合、補正係数G(s)によって、左スピーカー21のスピーカー特性を理想的なスピーカー特性に補正することが可能となる。したがって、補正係数G(s)は、St3において求めた位置関係(Pm、Vm、Ps、Vs)における理想伝達特性Hi(Pm、Vm、Ps、Vs)と、St4において実測した実測伝達特性H(s)を用いて次式のように決定することができる。
G(s)=Hi(Pm、Vm、Ps、Vs)/H(s) [式5]
音声再生装置1は、以上のようにして補正係数G(s)を求める。
音声再生装置1は、同様にして右スピーカー22の補正係数を求める。この場合、第1のデータは左スピーカー21の場合と同様であるので、第1のデータ取得ステップ(St1)は省略することができる。音声再生装置1は、入力ボタン15を介してユーザによりコンテンツ再生の指示が入力されると、このようにして得られた左スピーカー21及び右スピーカー22についての補正係数を用いてコンテンツ音声信号に補正処理を施し、左スピーカー21及び右スピーカー22から放音させる。各スピーカーの補正係数は理想的なスピーカー特性を基に決定されているので、音声再生装置1はコンテンツ音声信号に対して各スピーカー特性を理想的なスピーカー特性に補正するように補正処理することが可能である。
音声再生装置1が、スピーカードック2と機種が異なる、即ち第2のデータが異なるスピーカードックと接続されると、上述のようにして、各スピーカーの補正係数が求められ、補正処理に用いられる。音声再生装置1は、このようにして得られた各スピーカについての補正係数を記憶部31等に記憶させておくことにより、再度、同一機種のスピーカードックと接続された際に用いることが可能である。
以上のように本実施形態によれば、演算処理部30が第1のデータと第2のデータに基づいてコンテンツ音声信号に補正処理を施すことにより、実測伝達特性H(s)から空間伝達特性に相当する成分を除くことが可能となり、スピーカードックの機種に応じてスピーカーの特性を補正することが可能となる。
第1のデータ及び第2のデータから決定される理想伝達特性Hi(Pm、Vm、Ps、Vs)には、理想的なスピーカーのスピーカー特性と、当該位置関係における空間伝達特性が含まれる。このため、実測伝達特性H(s)を理想伝達特性Hi(Pm、Vm、Ps、Vs)に変換するための補正係数G(s)は、スピーカードック2のスピーカー特性を理想的なスピーカー特性に変換するための補正係数とみなすことができる。したがって、補正係数G(s)をコンテンツ音声信号に適用することにより、スピーカードックの機種に応じてスピーカー特性を補正することが可能となる。
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更され得る。
上述した実施形態において、補正係数の決定は、演算処理部にてなされるものとしたがこれに限られない。音声再生装置は、第1のデータ及び第2のデータと実測伝達特性とを通信部を用いてネットワークに送信し、ネットワーク上において理想伝達特性を決定させ、補正係数を受信してもよい。
上述した実施形態において、音声再生装置は、スピーカードックの機種情報を用いて第2のデータを取得するものとしたがこれに限られない。音声再生装置は、例えば、スピーカードックの機種情報を用いて、記憶部あるいはネットワークから補正係数を取得することも可能である。
上述した実施形態において、第1のデータ及び第2のデータはそれぞれ接続端子に対する位置及び方向を特定するデータであるものとしたがこれに限られない。例えば、第1のデータ及び第2のデータは、接続端子に対する位置のみを特性するデータとすることも可能である。
1…音声再生装置
2…スピーカードック
12…係合凹部
13…マイクロフォン
21…左スピーカー
22…右スピーカー
23…係合凸部
30…演算処理部
31…記憶部

Claims (8)

  1. スピーカーを有するスピーカーユニットと接続される接続端子と、
    マイクロフォンと、
    前記接続端子に対する前記マイクロフォンの位置を特定する第1のデータ及び前記接続端子に対する前記スピーカーの位置を特定する第2のデータを取得するデータ取得部と、
    前記スピーカーからテスト音声を放音し、前記放音したテスト音声を前記マイクロフォンによって集音し、前記集音したテスト音声の伝達特性を実測する測定部と、
    前記接続端子を介して前記スピーカーに出力される音声信号に、前記第1のデータ、前記第2のデータ及び前記伝達特性に応じた信号処理を施す信号処理部と
    を具備する音声再生装置。
  2. 請求項1に記載の音声再生装置であって、
    前記信号処理部は、前記第1のデータ及び前記第2のデータから理想伝達特性を決定し、前記測定部によって実測された伝達特性を前記理想伝達特性に変換するための補正係数を算出し、前記補正係数に応じた信号処理を前記音声信号に施す
    音声再生装置。
  3. 請求項2に記載の音声再生装置であって、
    前記信号処理部は、前記マイクロフォン及び前記スピーカーの位置に対して予めマッピングされている理想伝達特性候補から、前記第1のデータ及び前記第2のデータに応じて前記理想伝達特性を決定する
    音声再生装置。
  4. 請求項3に記載の音声再生装置であって、
    前記信号処理部は、前記第1のデータ及び前記第2のデータに応じて前記理想伝達特性候補を近似することで前記理想伝達特性を算出する
    音声再生装置。
  5. 請求項4に記載の音声再生装置であって、
    前記第1のデータと、前記スピーカーユニットの機種毎に用意された前記第2のデータの候補とを記憶する記憶部をさらに具備し、
    前記データ取得部は、前記記憶部から前記第1のデータを取得し、前記記憶部から前記スピーカーユニットの機種に応じて前記第2のデータを取得する
    音声再生装置。
  6. 請求項5に記載の音声再生装置であって、
    前記スピーカーユニットに設けられた識別子を読み取り可能な読取部をさらに具備し、
    前記データ取得部は、前記読取部が読み取った識別子の情報から、前記スピーカーユニットの機種を判別する
    音声再生装置。
  7. 請求項1乃至6のいずれか一項に記載の音声再生装置であって、
    前記第1のデータは、さらに前記マイクロフォンの向きを特定するデータであり、
    前記第2のデータは、さらに前記スピーカーの向きを特定するデータである
    音声再生装置。
  8. スピーカーを有するスピーカーユニットと接続される接続端子に対するマイクロフォンの位置を特定する第1のデータ及び前記接続端子に対する前記スピーカーの位置を特定する第2のデータを取得し、
    前記スピーカーからテスト音声を放音し、前記放音したテスト音声を前記マイクロフォンによって集音し、前記集音したテスト音声の伝達特性を実測し、
    前記接続端子を介して前記スピーカーに出力される音声信号に、前記第1のデータ、前記第2のデータ及び前記伝達特性に応じた信号処理を施す
    音声再生方法。
JP2010074490A 2010-03-29 2010-03-29 音声再生装置及び音声再生方法 Expired - Fee Related JP5387478B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010074490A JP5387478B2 (ja) 2010-03-29 2010-03-29 音声再生装置及び音声再生方法
US13/046,268 US8964999B2 (en) 2010-03-29 2011-03-11 Audio reproduction device and audio reproduction method
CN201110074103.9A CN102209290B (zh) 2010-03-29 2011-03-22 音频再现装置和音频再现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010074490A JP5387478B2 (ja) 2010-03-29 2010-03-29 音声再生装置及び音声再生方法

Publications (2)

Publication Number Publication Date
JP2011211296A true JP2011211296A (ja) 2011-10-20
JP5387478B2 JP5387478B2 (ja) 2014-01-15

Family

ID=44656511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010074490A Expired - Fee Related JP5387478B2 (ja) 2010-03-29 2010-03-29 音声再生装置及び音声再生方法

Country Status (3)

Country Link
US (1) US8964999B2 (ja)
JP (1) JP5387478B2 (ja)
CN (1) CN102209290B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126125A (ja) * 2011-12-15 2013-06-24 Yamaha Corp オーディオ装置
JP2016092836A (ja) * 2014-11-06 2016-05-23 アクシス アーベー オーディオデバイスのオーディオキャリブレーションのための方法及びシステム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9020623B2 (en) 2012-06-19 2015-04-28 Sonos, Inc Methods and apparatus to provide an infrared signal
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
CN104349090B (zh) * 2013-08-09 2019-07-19 三星电子株式会社 调谐音频处理特性的系统及其方法
KR20150049966A (ko) * 2013-10-31 2015-05-08 삼성전자주식회사 오디오 보정을 위한 오디오 출력 장치 및 방법
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9678707B2 (en) 2015-04-10 2017-06-13 Sonos, Inc. Identification of audio content facilitated by playback device
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
CN113055802B (zh) * 2015-07-16 2022-11-08 索尼公司 信息处理装置、信息处理方法及计算机可读介质
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
WO2017049169A1 (en) 2015-09-17 2017-03-23 Sonos, Inc. Facilitating calibration of an audio playback device
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110294A (ja) * 2005-10-12 2007-04-26 Yamaha Corp 携帯電話端末およびスピーカユニット
JP2008282042A (ja) * 2008-07-14 2008-11-20 Sony Corp 再生装置
JP2009528576A (ja) * 2006-02-27 2009-08-06 アップル インコーポレイテッド 改善された相互作用を有するメディア配信システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659927A (zh) * 2002-06-12 2005-08-24 伊科泰克公司 房间内扬声器声音的数字均衡方法及其使用
FR2850183B1 (fr) * 2003-01-20 2005-06-24 Remy Henri Denis Bruno Procede et dispositif de pilotage d'un ensemble de restitution a partir d'un signal multicanal.
WO2005089018A1 (ja) * 2004-03-16 2005-09-22 Pioneer Corporation 立体音響再生システムおよび立体音響再生装置
US8577048B2 (en) * 2005-09-02 2013-11-05 Harman International Industries, Incorporated Self-calibrating loudspeaker system
EP1986466B1 (en) * 2007-04-25 2018-08-08 Harman Becker Automotive Systems GmbH Sound tuning method and apparatus
JP6031930B2 (ja) * 2012-10-02 2016-11-24 ソニー株式会社 音声処理装置および方法、プログラム並びに記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110294A (ja) * 2005-10-12 2007-04-26 Yamaha Corp 携帯電話端末およびスピーカユニット
JP2009528576A (ja) * 2006-02-27 2009-08-06 アップル インコーポレイテッド 改善された相互作用を有するメディア配信システム
JP2008282042A (ja) * 2008-07-14 2008-11-20 Sony Corp 再生装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126125A (ja) * 2011-12-15 2013-06-24 Yamaha Corp オーディオ装置
US9374639B2 (en) 2011-12-15 2016-06-21 Yamaha Corporation Audio apparatus and method of changing sound emission mode
JP2016092836A (ja) * 2014-11-06 2016-05-23 アクシス アーベー オーディオデバイスのオーディオキャリブレーションのための方法及びシステム

Also Published As

Publication number Publication date
JP5387478B2 (ja) 2014-01-15
CN102209290B (zh) 2015-07-15
US8964999B2 (en) 2015-02-24
US20110235808A1 (en) 2011-09-29
CN102209290A (zh) 2011-10-05

Similar Documents

Publication Publication Date Title
JP5387478B2 (ja) 音声再生装置及び音声再生方法
US10334357B2 (en) Machine learning based sound field analysis
KR101591220B1 (ko) 공간적 전력 밀도에 기초하여 마이크 위치 결정을 위한 장치 및 방법
JP4675381B2 (ja) 音源特性推定装置
US10021484B2 (en) Method of and apparatus for determining an equalization filter
CN106489130B (zh) 用于使音频均衡以便在电子设备上播放的系统和方法
US10045141B2 (en) Detection of a microphone
KR20160060098A (ko) 오버익스커션으로부터 스피커를 보호하기 위한 시스템들 및 방법들
JP6031930B2 (ja) 音声処理装置および方法、プログラム並びに記録媒体
KR100972419B1 (ko) 음향 필드를 표시하는 방법 및 시스템
JP4985198B2 (ja) 測定用補助器具
JP2009246827A (ja) 音源及び仮想音源の位置特定装置、方法及びプログラム
JP2019029701A (ja) システム及び方法
KR20110109620A (ko) 마이크로폰 모듈, 이를 이용한 음원 위치 측정 장치 및 그 방법
KR100927637B1 (ko) 거리측정을 통한 가상음장 구현방법 및 그 기록매체
Deboy et al. Tangential intensity algorithm for acoustic centering
CN115150712A (zh) 一种车载麦克风系统及汽车
CN111078178B (zh) 弯折角度的确定方法、装置、设备及存储介质
CN109417666A (zh) 噪声去除装置、回声消除装置、异常音检测装置和噪声去除方法
JP4274368B2 (ja) インパルス応答測定装置及びインパルス応答測定方法
US20230362568A1 (en) Apparatus, Methods and Computer Programs for Adapting Audio Processing
Schrammen Front-end signal processing for far-field speech communication
CN114760560A (zh) 声音信号处理方法、装置、耳机设备及存储介质
JP5949139B2 (ja) シミュレーション装置、およびプログラム
JP2017175503A (ja) 音響装置及び音響補正プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130923

R151 Written notification of patent or utility model registration

Ref document number: 5387478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees