JP2012065264A - 立体音場生成装置 - Google Patents

立体音場生成装置 Download PDF

Info

Publication number
JP2012065264A
JP2012065264A JP2010209781A JP2010209781A JP2012065264A JP 2012065264 A JP2012065264 A JP 2012065264A JP 2010209781 A JP2010209781 A JP 2010209781A JP 2010209781 A JP2010209781 A JP 2010209781A JP 2012065264 A JP2012065264 A JP 2012065264A
Authority
JP
Japan
Prior art keywords
sound source
sound
listener
order
direct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010209781A
Other languages
English (en)
Other versions
JP5141738B2 (ja
Inventor
Hiroshi Ino
寛 伊能
Mamoru Sawada
護 沢田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2010209781A priority Critical patent/JP5141738B2/ja
Priority to US13/233,097 priority patent/US20120070005A1/en
Priority to DE102011082886A priority patent/DE102011082886A1/de
Priority to CN2011102822933A priority patent/CN102413415A/zh
Publication of JP2012065264A publication Critical patent/JP2012065264A/ja
Application granted granted Critical
Publication of JP5141738B2 publication Critical patent/JP5141738B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/007Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle providing information about the distance to an obstacle, e.g. varying sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】空間的な広がり感を感じることが可能な音場を生成する立体音場生成装置を提供すること。
【解決手段】仮想音源として、直接音源と、その直接音源のN次(Nは1以上の整数)反射音源とを用い、N次反射音源を、受聴者から直接音源を通る軸の周囲に、同一次数の反射音源に関して、複数個の反射音源が配列されるように定位させる。このように定位されたN次反射音源の効果により、受聴者は、直接音源が定位された方向からの音を受聴する際に、N次反射音源の配列に応じた空間的(立体的)な広がり感を感ずるようになり、立体的な音場を生成することができる。
【選択図】図1

Description

本発明は、2個以上のスピーカや、ヘッドホンなどの音響信号出力装置から音響信号を出力することにより、仮想の音源を3次元空間の所望の位置に定位させて、立体音場を生成する立体音場生成装置に関する。
例えば、特許文献1には、2チャンネルスピーカなどを用いて、あらゆる方向の自然な距離感や広がり感を得られる音像再生装置が開示されている。
この従来の音像再生装置では、信号入力手段に入力されたオーディオ信号がA/D変換器でデジタル信号に変換された後、信号処理手段に入力される。信号処理手段では、受聴者によって入力された音像の位置、距離や音場の広さなどの特性が得られるように直接音及び反射音の音像を定位させるべく、直接音及び反射音音像定位手段において左右のスピーカから出力する音響信号を生成する。
各音像定位手段によって生成された左右のスピーカのための音響信号は、2個の加算器によってそれぞれ加算され、D/A変換器によってアナログ信号に変換された後に、左右のスピーカで再生される。これにより、受聴者が、意図した距離感や広がり感を感じることができるように、音像を定位させることを可能としている。
特開平7−288899号公報
しかしながら、特許文献1に記載の音像再生装置では、直接音に対して、反射音の方向を、受聴者の頭部位置を中心とする水平平面内(換言すれば、受聴者の両耳位置を含む水平平面内)に配置するようにしている。このように、直接音と反射音は、受聴者を中心として、上下の概念のない平面内に配置されるので、平面的な音場が形成されてしまい、空間的な広がり感を感ずるような音場を形成することはできないという問題がある。
本発明は上述した点に鑑みてなされたものであり、空間的な広がり感を感じることが可能な音場を生成する立体音場生成装置を提供することを目的とする。
上記目的を達成するために、請求項1に記載の立体音場生成装置は、
2個以上の音響信号出力装置から音響信号を出力することにより、仮想の音源を3次元空間の所望の位置に定位させて、立体音場を生成するものであり、
仮想音源は、当該仮想音源から直接的に受聴者に受聴される直接音源と、その直接音源のN次(Nは1以上の整数)反射音源とからなり、
直接音源を3次元空間の所望位置に定位させるための、個々の音響信号出力装置から出力する音響信号を生成する直接音源定位手段と、
受聴者から直接音源を通る軸の周囲に、同一次数の反射音源について複数個の反射音源が配列されるようにN次反射音源を定位させるための、個々の音響信号出力装置から出力する音響信号を生成する反射音源定位手段と、
直接音源定位手段によって生成された音響信号及び反射音源定位手段によって生成された音響信号を音響信号出力装置毎に合成して、該当する音響信号出力装置によって再生される音響信号を作成する音響信号合成部と、を備えることを特徴とする。
上述した請求項1に記載の立体音場生成装置によれば、従来装置と異なり、N次反射音源が、受聴者から直接音源を通る軸の周囲に定位される。しかも、同一次数の反射音源に関して、複数個の反射音源が、その軸の周囲に配列されるように定位される。従って、このように定位されたN次反射音源の効果により、受聴者は、直接音源が定位された方向からの音を受聴する際に、N次反射音源の配列に応じた空間的(立体的)な広がり感を感ずるようになり、立体的な音場を生成することができる。
そして、請求項1の発明の副次的な効果として、受聴者に対して、直接音源が定位された方向に、音像を顕著に感じさせることが可能になる。このため、請求項1の立体音場生成装置は、受聴者の注意をある方向に向けさせたい場合などに用いると好適である。
請求項2に記載したように、反射音源定位手段は、次数が高くなるほど、受聴者から直接音源を通る軸からの距離が長くなる位置に、N次反射音源を定位させることが好ましい。特に、請求項3に記載したように、反射音源定位手段は、次数が高くなるほど、受聴者から直接音源を通る軸からの距離が、指数関数的に増加するように、N次反射音源を定位させることが好ましい
音が壁などの反射物で反射する場合、その反射音の音源は、反射物を基準として元の音源と対称となる位置にあるとみなすことができる。すなわち、反射音源は、反射物を鏡面と見立てたときに、元の音源の鏡像位置に存在する鏡像音源と言うことができる。従って、反射音源の次数が高くなるほど(反射回数が増えるほど)、受聴者から直接音源を通る軸からの距離が長くなる位置に、特に、その距離が指数関数的に増加するように、N次反射音源を定位させることにより、壁などの反射物によって囲まれた実際の空間における音の反射を模擬した立体的な音場を形成することができる。
また、請求項4に記載したように、反射音源定位手段は、次数が高くなるほど、受聴者から直接音源を通る軸に沿って、受聴者から遠い位置に、N次反射音源を定位させることが好ましい。特に、請求項5に記載したように、反射音源定位手段は、次数が高くなるほど、受聴者から前記直接音源を通る軸に沿って、各N次反射音源間の間隔が広がるように、N次反射音源を定位させることが好ましい。
これは、壁などの反射物によって囲まれた実際の空間において、反射を繰り返すごとに、反射音の音圧レベルが急激に減衰していくので、その音圧レベルの減衰を音場形成に反映させるためである。
請求項6に記載したように、仮想音源の位置は、時間の経過とともに移動するものであり、仮想音源の位置が受聴者に対して接近、離間する場合、受聴者から直接音源を通る軸方向における、直接音源定位手段によって定位される直接音源の位置の変化の大きさよりも、N次反射音源定位手段によって定位されるN次反射音源の位置の変化の大きさの方が大きいことが好ましい。
音波が耳に入るとき、頭部による反射や回り込み、耳介内での反射などにより干渉を生じる。このため、音源から空間、頭部、耳を経由して鼓膜に至るまでに、音波の周波数に応じて音圧レベルが変化する。この周波数特性は、頭部伝達関数(HRTF)と呼ばれ、頭部伝達関数は、頭部や耳の形状,音源を設置する場所(角度)によって異なる値をとる。人間が音源の位置を特定できるのは,人間が自身の頭部伝達関数とその角度依存性を認識しているためとされている。
ここで、請求項6に記載のように、受聴者から直接音源を通る軸の周囲に定位されたN次反射音源の位置を、受聴者から直接音源を通る軸方向において、直接音源の位置よりも大きく変化させると、N次反射音源からの音波が受聴者の耳へ入射する入射角も大きく変化する。このため、入射角の変化による頭部伝達関数(周波数特性)に顕著な変化を生じさせることができる。従って、請求項6の発明によれば、N次反射音源の入射角変化に応じた周波数特性変化を積極的に利用して、仮想音源の移動、特に、音源の接近・離間時に、高い臨場感を創出することができる。
請求項7に記載したように、N次反射音源を定位させる位置は、円錐曲線を用いて、近似的に定められても良い。すなわち、円錐曲線は、離心率を変化させることにより、描かれる円錐曲線の概形が、楕円、放物線、双曲線に変化する。これらの円錐曲線の概形を利用して、直接音源に対して反射音源を定位させる位置を近似的に定めることができる。このようにすると、複雑で膨大な仮想環境の数値データを持つ必要がなく、容易に反射音源の位置を定めることができる。一方、円錐曲線の概形を利用して、反射音源の位置を定位させた場合であっても、反射音源の直接音源に対する位置関係は、実際の環境における位置関係を模擬したものとなるので、受聴者に対して、空間の広がり感や高い臨場感を与えることができる。
請求項8に記載したように、立体音場生成装置は、乗り物に搭載され、当該乗り物の乗員に対して、所望の方向から報知、警告のための音声を受聴させるために用いられることが好ましい。上述したように、立体音場生成装置は、受聴者に対して、直接音源が定位された方向に音像を顕著に感じさせることができ、また、仮想音源を移動させる際に、高い臨場感を与えることができる。従って、受聴者の注意をある方向に向けさせたい場合などに用いると、非常に効果的である。
本実施形態による立体音場生成装置の構成を示す構成図である。 N次反射音源の、受聴者から直接音源を通る軸からの距離について説明するための説明図である。 音源と受聴者との間に、トンネル状の空間が存在する場合における、音源と受聴者との位置関係について示す図である。 (a)〜(c)は、図3に示す環境での、受聴者と音源とのそれぞれの位置関係における、N次反射音源の配置を示す斜視図である。 (a)〜(c)は、図3に示す環境での、受聴者と音源とのそれぞれの位置関係における、受聴者の視点から直接音源及びN次反射音源を見た場合の、直接音源とN次反射音源の配列を示す図である。 円錐曲線から作成した、円、楕円、放物線、双曲線を示すグラフである。 円錐曲線において、離心率e=1.5とした双曲線によって定められた双曲線曲面上に配置された直接音源、及びN次反射音源の配置例を示す図である。 円錐曲線において、離心率e=1とした放物線によって定められた放物線曲面上に配置された直接音源、及びN次反射音源の配置例を示す図である。 円錐曲線において、離心率e=0.5とした楕円によって定められた楕円曲面上に配置された直接音源、及びN次反射音源の配置例を示す図である。 (a),(b)は、音源と受聴者との間の空間の形状が円形である場合の、各N次反射音源の配置例を示す図である。 (a),(b)は、音源と受聴者との間の空間の形状が長方体である場合の、各N次反射音源の配置例を示す図である。 立体音声生成部40の構成を示す構成図である。
以下、本発明の実施形態による立体音場生成装置について、図面を用いて説明する。本実施形態による立体音場生成装置は、2個以上のスピーカや、ヘッドホンなどの音響信号出力装置から音響信号を出力することにより、仮想の音源を3次元空間の所望の位置に定位させて、立体音場を生成するものである。なお、本実施形態においては、立体音場生成装置が、乗り物としての車両に適用された例について説明する。
車両には、車両周囲の障害物を検知して運転者に報知する障害物検知装置や、駐車時に車両を駐車位置まで誘導するガイダンスを行う駐車支援装置、さらには車両を目的地まで経路案内するナビゲーション装置などの車載機器が搭載されることがある。
このような場合、例えば障害物検知装置により障害物が検知されたとき、その障害物が存在する方向から音声にて報知を行うと、車両の運転者は、直感的に障害物が存在する方向を把握することができる。さらに、障害物が車両に接近している場合には、その障害物の接近方向と同方向から報知音声の音源位置が運転者に接近するように移動させることにより、運転者は、障害物の方向のみでなく、その障害物が接近していることも直感的に理解することができる。逆に、障害物が車両から離間している場合には、その障害物の離間方向と同方向に、報知音声の音源位置が運転者から離間するように移動させることにより、運転者は、障害物の方向に加え、その障害物が離間していることも直感的に理解することができるようになる。
また、駐車支援装置によりガイダンスを行う際に、例えばステアリングを右方向に操舵することを指示する場合には、運転者の右方向からガイダンスが聴こえると、運転者は、そのガイダンス内容を直感的に理解しやすくなる。この場合、運転者が認識するガイド音声の音源位置を、運転者に対して左側から右側へと移動させても良い。さらに、ナビゲーション装置において、経路案内を行う場合、右左折すべき方向に応じた方向から経路案内音声が聴こえると、運転者は進むべき方向を直感的に認識することができる。この場合、案内音声の音源位置を車両の現在の進行方向から右左折すべき方向へと移動させながら、音声案内を行っても良い。
このように、車両などの乗り物においては、報知や警告を行うときに、乗員の注意をある方向に向けることが効果的な場合がある。本実施形態による立体音場生成装置によれば、詳しくは後述するように、受聴者に対して、仮想音源が定位された方向に音像を顕著に感じさせることができ、また、仮想音源を移動させる際に、高い臨場感を与えることができる。従って、上述したような、乗り物において、乗員(受聴者)の注意をある方向に向けさせたい場合に用いると非常に効果的である。
ただし、本実施形態の立体音場生成装置の用途は、上述した例に限られるものではなく、各種施設や家庭の音響装置に適用することも可能である。
図1には、本実施形態による立体音場生成装置の構成が示されている。図1において、立体音場生成装置20は、上述した障害物検知装置、駐車支援装置、ナビゲーション装置などの車載機器10に接続されている。車載機器10は、報知や警告を行うための音声信号、その音声信号が車両の運転者(受聴者)に対していずれの方向及び距離から受聴されるべきかを示す音声信号の音源位置情報、及び、音源を受聴者に対して接近、離間させたり、受聴方向を変化させたりする必要がある場合には、音源位置の変化情報を、立体音場生成装置20に出力する。
立体音場生成装置20は、音源配置部30、立体音場生成部40、D/A変換器50A,50B、アンプ60A,60B、スピーカ70A,70Bを備えている。なお、図1においては、2チャンネルスピーカを用いた構成を示しているが、3チャンネル以上のスピーカ構成を用いることも可能である。
音源配置部30は、車載機器10から得た音声信号の音源位置情報や、音源位置の変化情報に基づき、3次元空間において、仮想音源の配置を決定するものである。本実施形態では、仮想音源は、当該仮想音源から直接的に受聴者に受聴される直接音源と、その直接音源のN次(Nは1以上の整数)反射音源とからなる。なお、反射音源としては、4次程度までの反射音源を用いるのが実用的であるが、その次数は任意である、
直接音源は、車載機器10から指示された音源位置情報によって示された位置となるように配置される。N次反射音源は、受聴者から直接音源を通る軸の周囲に配置される。このN次反射音源の配置について、以下に詳しく説明する。
まず、本実施形態の立体音場生成装置では、図2(a)(b)に示すように、代表的な例としてはトンネルや廊下など、音源と受聴者との間に上下左右が囲まれた空間が存在するものとして、N次反射音源の配置を行う。
音源と受聴者との間に上下左右が仕切壁により囲まれた空間が存在する場合、図2(a)に示すように、受聴者は、空間を画定する仕切壁にて反射されることなく、仮想音源から直接的に到達する直接音と、仕切壁にてN回反射されたN次反射音とを受聴することになる。従って、直接音の音源である直接音源に関しては、図2(a)に示す音源の位置、すなわち、車載機器10から指示された音源位置情報にて示された位置に配置すれば良い。
一方、N次反射音源については、図2(b)に示すように、仕切壁を鏡面と見立てたとき、元の音源の鏡像音源となる位置に配置する。仕切壁が、音源からの音を反射するものである場合、その反射音の音源は、仕切壁を基準として元の音源と対称となる位置にあるとみなすことができるためである。従って、1次反射音源は、直接音源の鏡像音源となる位置に配置し、2次反射音源は、1次反射音源の鏡像音源となる位置に配置する。3次以上の反射音源についても同様にして、配置位置を決定することができる。
このため、反射音源の次数が高くなるほど(反射回数が増えるほど)、受聴者から直接音源を通る軸からの距離が長くなる位置に、N次反射音源の位置が定められることになる。さらに、反射音源の次数が高くなるほど、受聴者から直接音源を通る軸からの距離が指数関数的に増加するように、N次反射音源の位置が定められることが好ましい。これにより、壁などの反射物によって囲まれた実際の空間における音の反射を模擬した立体的な音場を形成することができるようになる。
ここでN次反射音源の音圧レベルについて説明する。まず、音源位置からの距離をr(m)、振動音源の半径をa(m)、振動音源の体積速度(強さ)をQ(m3/s)とすると、振動音源が放射する球面波の音圧は式1にて示される。
なお、ρは空気の体積密度(kg/m3)、kは波定数(1/m)、ωは角周波数(rad/s)である。
従って、微小呼吸球の半径が無限小となる点音源から放射される球面波の音圧は、数式2のようになり、その音圧の大きさは数式3のようになる。
このため、仕切壁の反射係数をα(<1)とすると、N次の反射音の音圧の大きさは、数式4のようになる。
数式4から、N次反射音は、音源の強さがα倍に減少したとみなすことができる。また、別の見方をすれば、音源までの距離が1/α倍に増大したとみなすことができる。
以上により、音源と受聴者との間に、図3に示すようなトンネル状の空間が存在する場合、N次反射音源は、図4(a)〜(c)及び図5(a)〜(c)に示すように配置することができる。
図4(a)は、図3に示す環境において、受聴者が音源から最も離れたポジション1にいる場合のN次反射音源の配置例を斜視図により示している。また、図5(a)は、受聴者がポジション1にいる場合に、受聴者の視点から直接音源及びN次反射音源を見た場合の、直接音源とN次反射音源の配列(位置関係)を示している。
なお、図3に示すようなトンネル状の空間においては、音源から放射される音波は、音源の周囲の仕切壁により均等に反射される。このため、本実施形態においては、1〜4次の各N次反射音の音源が、受聴者から直接音源を通る軸の回りに等間隔(45度毎)に、8個の音源が配置されている。ただし、これは一例であって、N次反射音の音源を配置する間隔は、45度に限られず、30度、60度、90度であっても良い。この点については後に改めて説明する。
本実施形態では、上述したように、N次反射音は、音源までの距離が1/α倍に増大したものとみなすことができるという点に着目して、反射音源の次数が高くなる(反射回数が増える)ほど、受聴者から離れた位置にN次反射音源を配置している。より詳細には、図4(a)などに示すように、各N次反射音源が、受聴者から直接音源を通る軸方向において、各N次反射音源間の間隔が等しくなるように配置されるのではなく、反射音源の次数が高くなるほど、各N次反射音源間の間隔が広がるように配置されている。
これにより、各N次反射音の音圧レベルを、その反射回数に応じた音圧レベルに減衰することができるように、各N次反射音源を配置することができる。そのため、受聴者に対して、空間的(立体的な)広がり感を与えることが可能になる。
図4(b)は、図3に示す環境において、受聴者がポジション1よりも音源に近いポジション2にいる場合のN次反射音源の配置を示し、図4(c)は、受聴者が音源に最も近いポジション3にいる場合のN次反射音源の配置を示している。また、図5(b)は、受聴者がポジション2にいる場合の、受聴者の視点から見た、直接音源とN次反射音源の配列を示し、図5(c)は、受聴者がポジション3にいる場合の直接音源とN次反射音源の配列を示している。
ポジション2,3においても、基本的に、ポジション1の場合と同様に、受聴者から直接音源を通る軸に沿って、反射音源の次数が高くなるほど、各N次反射音源間の間隔が広がるように、各N次反射音源を配置している。
しかしながら、図4(b)、(c)から明らかなように、受聴者が仮想音源の位置に接近する場合、受聴者から直接音源を通る軸方向における、直接音源の位置の変化の大きさ(長さ)よりも、N次反射音源の位置の変化の大きさ(長さ)の方が大きい。さらには、反射音源の次数が高くなるほど、N次反射音源の位置の変化の大きさ(長さ)が大きくなっている。
音波が耳に入るとき、頭部による反射や回り込み、耳介内での反射などにより干渉を生じる。このため、音源から空間、頭部、耳を経由して鼓膜に至るまでに、音波の周波数に応じて音圧レベルが変化する。この周波数特性は、頭部伝達関数(HRTF)と呼ばれ、頭部伝達関数は、頭部や耳の形状,音源を設置する場所(角度)によって異なる値をとることが知られている。そして、人間が音源の位置を特定できるのは,人間が自身の頭部伝達関数とその角度依存性を認識しているためとされている。
ここで、本実施形態のように、受聴者から直接音源を通る軸の周囲に定位されたN次反射音源の位置を、受聴者から直接音源を通る軸方向において、直接音源の位置よりも大きく変化させると、N次反射音源からの音波が受聴者の耳へ入射する入射角も大きく変化する。さらに、次数が高くなるほど、変化の大きさを大きくしているため、次数の高いN次反射音源ほど、その入射角の変化も大きくなる。このため、N次反射音の入射角の変化によって、頭部伝達関数(周波数特性)に顕著な変化を生じさせることができる。従って、本実施形態の立体音場生成装置によれば、N次反射音源の入射角変化に応じた周波数特性変化を積極的に利用することで、仮想音源の移動、特に、音源の接近・離間時に、高い臨場感を創出することができる。
なお、本実施形態においては、上述したN次反射音源の配置に際して、円錐曲線を利用することにより、N次反射音源を定位させる位置を近似的に定める。このようにすることにより、複雑で膨大な仮想環境の数値データを持つ必要がなく、容易にN次反射音源の位置を定めることができる。一方、円錐曲線を利用して、反射音源の位置を定位させた場合であっても、反射音源の直接音源に対する位置関係は、実際の環境における位置関係を模擬したものとなるので、受聴者に対して、空間の広がり感や高い臨場感を与えることができる。
なお、円錐曲線を利用する場合には、受聴者から直接音源を通る軸から各N次反射音源までの距離が、反射音源の次数が高くなるほど、指数関数的に増加することにはならない場合がある。しかしながら、少なくとも、次数が高くなるほど、受聴者から直接音源を通る軸から各N次反射音源までの距離を増加することにより、受聴者に対しては、十分に空間的な広がり感を感じさせることができる立体音場を生成することができる。
以下に、円錐曲線を用いて、N次反射音源の位置を定める手法について説明する。円錐曲線とは、円錐面を円錐の頂点を通らない任意の平面で切断したときの断面として得られる曲線群の総称である。この円錐曲線は、以下の数式5によって表される。
上記の数式5において、eは離心率と呼ばれ、この離心率eの値が0<e<1の範囲にあるとき円錐曲線の概形は楕円となり、e=1のとき放物線となり、e>1の範囲にあるとき、円錐曲線は双曲線となる。
ここで、上記円錐曲線の意味について、簡単に説明する。空間の1点Oで交わる直線mとlがあるとする。直線mを軸として直線lを1回転するとき、直線l(母線)は、点O(頂点)の上下に二つの直円錐を描く。これを切る平面の傾きによって、直円錐の断面に、楕円、方物線、あるいは双曲線ができる。上述した離心率eは、その平面の傾きを定義するものである。切る平面が母線に平行なときは放物線になる。一方、母線に平行でないときは、切り口が円錐面の一方だけにあれば楕円、上下両方に現れれば双曲線となる。なお、円錐の軸mに乗直な平面で切った切り口の曲線は円となる。この円も、N次反射音源の配置に利用しても良い。
図6は、円錐曲線から作成した、円、楕円、放物線、双曲線を示すグラフである。この各曲線のグラフを図6に示す軸回りに回転することにより、3次元化する。すなわち、各曲線を曲面に変換する。そして、その曲面上に、直接音源、及びN次反射音源を配置する。直接音源は、図6のグラフにおいて、左側の頂点位置に定められ、N次反射音源は、その反射音源の次数が高くなるほど、図6の軸方向において、直接音源から遠ざかる位置に配置される。その際、反射音源の次数が高くなるほど、各N次反射音源間の間隔が広がるように曲面上に配置される。このような、各曲面における、直接音源及びN次反射音源の配置位置は、予め定められ、音源配置部30に記憶されている。
図7は、離心率e=1.5とした双曲線によって定められた双曲線曲面上に配置された直接音源、及びN次反射音源の配置例を示すものである。図8は、離心率e=1とした放物線によって定められた放物線曲面上に配置された直接音源、及びN次反射音源の配置例を示すものである。さらに、図9は、離心率e=0.5とした楕円によって定められた楕円曲面上に配置された直接音源、及びN次反射音源の配置例を示すものである。
図7〜図9に示した配置例は、図5(a)〜(c)に示した直接音源とN次反射音源の配置と極めて類似している。従って、円錐曲線の概形(楕円、放物線、双曲線など)を利用して、直接音源に対してN次反射音源を定位させる位置を近似的に定めることができる。このため、複雑で膨大な仮想環境の数値データなどを持つ必要がなく、容易にN次反射音源の位置を定めることができる。その一方で、反射音源の直接音源に対する位置関係は、実際の環境における位置関係を模擬したものとなるので、受聴者に対して、空間的な広がり感や高い臨場感を与えうる立体的な音場を生成することができる。
なお、いずれの円錐曲線の概形を用いて、直接音源とN次反射音源との位置関係を定めるかは、仮想音源(直接音源)を、受聴者からどの程度離れた位置に定位させるかによって決まる。
さらに、楕円及び双曲線に関して、離心率を異ならせた複数の曲線に基づいて、直接音源とN次反射音源との位置関係を複数種類定めても良い。これにより、仮想音源と受聴者との距離に応じて、直接音源とN次反射音源との位置関係をより適切に定めることができる。
以上の説明においては、音源と受聴者との間に、図3に示すようなトンネル状の空間が存在することを前提とし、そのため、音源から放射される音波が、音源の周囲の仕切壁により均等に反射されるものとした。
しかしながら、いずれの方向から反射音が生じるかは、音源と受聴者との間の空間の形状に依存する。すなわち、上述した説明のように、空間の形状が円形であれば、図10(a)、(b)に示すように、45度の間隔で、各N次反射音源を配置したり、さらに、30度の間隔で配置したりすれば良い。
一方、廊下のように、音源と受聴者との間の空間の形状が長方体である場合には、反射音は、主に上下左右の仕切壁によって生じる。従って、この場合には、図11(a)、(b)に示すように、各N次反射音源を90度間隔で配置すれば良い。
このように、反射音は、受聴者と反射面との相対的な位置関係によって生じるものであるため、本実施形態により生成される音場は、周囲環境の形状の情報を含むことになる。逆に言えば、受聴者に対して、どのような空間における音場を呈示するかにより、N次反射音源の配置を決定すれば良い。その際、必ずしも、N次反射音源を、受聴者から直接音源を通る軸の周りに等間隔で配置する必要はない。例えば、音源の周囲の180度の範囲に複数のN次反射音源を配置することにより、半円形の仕切壁によって仕切られた空間における音場を生成したり、図11(a)(b)に示す四方向に伸びるN次反射音源の配列の内、一の方向に伸びるN次反射音源の配列を省略して、一面がオープンである空間における音場を生成したりしても良い。
以上、音源配置部30に関して説明したが、次に、原理的には従来と同等であるが、立体音場生成部40についても簡単に説明しておく。
立体音声生成部40は、音源配置部30によって配置された直接音源及びN次反射音源の各々の音源について、あたかも、その配置された位置に各音源があるかのように受聴者が聴こえる音響信号を生成するものである。
立体音声生成部40によって生成された音響信号は、D/A変換器50A,50Bによりアナログ信号に変換され、アンプ60A,60Bによって増幅された後、2つのスピーカ70A、70Bによって再生される。
ここで、2つのスピーカ70A,70Bは、受聴者に対して、予め定められた位置に配置されている。受聴者は、2つのスピーカ70A,70Bにて再生された音響信号を、左右の耳にて受聴する。すなわち、2つのスピーカと受聴者の左右の耳との間には、4つの伝播経路が存在する。これらの伝播経路を伝播する際に、音響信号の波形は、各伝播経路における条件、すなわち頭部伝達関数の影響を受けて変換される。この頭部伝達関数は、左右方向及び上下方向の音波の入射角毎に変化する。
一方、直接音源及びN次反射音源の各音源についても、それぞれが配置された位置から受聴者の左右の耳に達する伝播経路が存在する。従って、各音源からの音響信号も、受聴者の左右の耳に達する伝播経路における頭部伝達関数の影響を受けて変換される。このとき、各音源から受聴者の左右の耳に到達する音響信号の波形と、2つのスピーカ70A,70Bから受聴者の左右の耳に到達する音響信号の波形とが等しくなれば、各音源が、それぞれ配置された位置にあるかのように受聴者に認識させることができる。
そのため、立体音声生成部40では、図12に示すように、直接音源定位部41、1次反射音源定位部42,43、…、及びN次反射音源定位部44が、(デジタル)フィルタ41c,42c,43c,44cをそれぞれ有している。そして、各音源定位部41,42,43,44は、各音源の配置位置に応じて、2つのスピーカ70A,70Bから受聴者の左右の耳に達する音響信号の波形が、各音源から受聴者の左右の耳に達する音響信号の音波と一致するよう、上述した頭部伝達関数に基づいて、各フィルタ41c,42c,43c,44cに設定すべき伝達関数を求める。なお、左右方向及び上下方向の音波の入射角毎の頭部伝達関数は、予め求められ、各音源定位部41,42,43、44に記憶されている。
このようにして求めた伝達関数を、各フィルタ41c,42c,43c,44cとして用いて、車載機器から得た音声信号(音響信号)に対して畳み込み演算を行うことにより、それぞれのスピーカ70A,70Bにて再生する音響信号を生成することができる。そして、各音源定位部41,42,43,44にて生成された音響信号を、各スピーカ70A,70B毎に、加算器45A,45Bにて加算して合成した後、各スピーカ70A、70Bにて再生する。これにより、受聴者は、スピーカ70A,70Bによって再生された音響信号を受聴すると、受聴者に、あたかも、各音源が定位された位置にて各音源からの音響信号を受聴したかのように認識させることができる。この結果、直接音源及びN次反射音源により、空間的な広がり感や臨場感を感じさせることが可能な立体的な音場を生成することができる。
なお、直接音源定位部41は、直接音源決定部41aを有し、また、各反射音源定位部42,43,44も、各々の反射音源決定部42a,43a,44aを有している。これらの音源決定部41a,42a,43a,44aは、音源配置部30によってそれぞれ配置された直接音源及びN次反射音源の配列(位置関係)に基づいて、受聴者との距離や方位(上下左右方向)を決定する。さらに、その距離に応じて遅延時間を設定したり、各音源の音圧レベルを決定する。このように、各音源決定部41a,42a,43a,44aは、音源の種々の特性について決定するものである。そして、各音源決定部41a,42a,43a,44aにて決定された各音源の距離及び方位に基づいて、上述した各フィルタ41c,42c,43c,44cに設定される伝達関数が算出される。
また、反射係数制御部42b、43b、44bは、受聴者の指示に応じて、空間を画定する仕切壁の音波の反射係数を制御するものである。この反射係数の大小により、各音源決定部42a,43a,44aにて決定された音圧レベルが補正される。これにより、受聴者は、音の反射レベルに関して自らの趣向に合致した空間における立体的な音場に調整することができる。
以上、本発明の好ましい実施形態について説明したが、本発明は、上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することができる。
例えば、上述した実施形態では、円錐曲線を利用して、直接音源とN次反射音源との位置関係を簡易的に定める例について説明したが、その他の手法を用いて、直接音源とN次反射音源との位置関係を求めても良い。
例えば、音源配置部30は、受聴者から直接音源を通る軸からの距離を一定に保ったまま、受聴者に接近、離間するように、N次反射音源の位置を定めても良い。この場合、音源位置に関して変化するのは、受聴者からの距離のみであるため、計算などにより、簡単に、直接音源とN次反射音源との位置関係を定めることができる。そして、この場合でも、N次反射音源を受聴者に接近させたり、受聴者から離間させたりすることにより、N次反射音源からの音波が受聴者の耳へ入射する入射角が十分に変化する。これにより、受聴者に対しては、高い臨場感を与えることができる。
20 立体音場生成装置
30 音源配置部
40 立体音場生成部
50A,50B D/A変換器
60A,60B アンプ
70A,70B スピーカ

Claims (8)

  1. 2個以上の音響信号出力装置から音響信号を出力することにより、仮想の音源を3次元空間の所望の位置に定位させて、立体音場を生成する立体音場生成装置であって、
    前記仮想音源は、当該仮想音源から直接的に受聴者に受聴される直接音源と、その直接音源のN次(Nは1以上の整数)反射音源とからなり、
    前記直接音源を前記3次元空間の所望位置に定位させるための、個々の前記音響信号出力装置から出力する音響信号を生成する直接音源定位手段と、
    前記受聴者から前記直接音源を通る軸の周囲に、同一次数の反射音源について複数個の反射音源が配列されるように前記N次反射音源を定位させるための、個々の前記音響信号出力装置から出力する音響信号を生成する反射音源定位手段と、
    前記直接音源定位手段によって生成された音響信号及び前記反射音源定位手段によって生成された音響信号を前記音響信号出力装置毎に合成して、該当する前記音響信号出力装置によって再生される音響信号を作成する音響信号合成部と、を備えることを特徴とする立体音場生成装置。
  2. 前記反射音源定位手段は、次数が高くなるほど、前記受聴者から前記直接音源を通る軸からの距離が長くなる位置に、前記N次反射音源を定位させることを特徴とする請求項1に記載の立体音場生成装置。
  3. 前記反射音源定位手段は、次数が高くなるほど、前記受聴者から前記直接音源を通る軸からの距離が、指数関数的に増加するように、前記N次反射音源を定位させることを特徴とする請求項2に記載の立体音場生成装置。
  4. 前記反射音源定位手段は、次数が高くなるほど、前記受聴者から前記直接音源を通る軸に沿って、前記受聴者から遠い位置に、前記N次反射音源を定位させることを特徴とする請求項1乃至請求項3のいずれかに記載の立体音場生成装置。
  5. 前記反射音源定位手段は、次数が高くなるほど、前記受聴者から前記直接音源を通る軸に沿って、各N次反射音源間の間隔が広がるように、前記N次反射音源を定位させることを特徴とする請求項4に記載の立体音場生成装置。
  6. 前記仮想音源の位置は、時間の経過とともに移動するものであり、
    前記仮想音源の位置が受聴者に対して接近、離間する場合、前記受聴者から前記直接音源を通る軸方向における、前記直接音源定位手段によって定位される直接音源の位置の変化の大きさよりも、前記N次反射音源定位手段によって定位されるN次反射音源の位置の変化の大きさの方が大きいことを特徴とする請求項1乃至請求項5のいずれかに記載の立体音場生成装置。
  7. 前記N次反射音源を定位させる位置は、円錐曲線を用いて、近似的に定められることを特徴とする請求項1乃至請求項6のいずれかに記載の立体音場生成装置。
  8. 前記立体音場生成装置は、乗り物に搭載され、当該乗り物の乗員に対して、所望の方向から報知、警告のための音声を受聴させるために用いられることを特徴とする請求項1乃至請求項7のいずれかに記載の立体音場生成装置。
JP2010209781A 2010-09-17 2010-09-17 立体音場生成装置 Expired - Fee Related JP5141738B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010209781A JP5141738B2 (ja) 2010-09-17 2010-09-17 立体音場生成装置
US13/233,097 US20120070005A1 (en) 2010-09-17 2011-09-15 Stereophonic sound reproduction system
DE102011082886A DE102011082886A1 (de) 2010-09-17 2011-09-16 Stereoklangwiedergabesystem
CN2011102822933A CN102413415A (zh) 2010-09-17 2011-09-16 立体声再现系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010209781A JP5141738B2 (ja) 2010-09-17 2010-09-17 立体音場生成装置

Publications (2)

Publication Number Publication Date
JP2012065264A true JP2012065264A (ja) 2012-03-29
JP5141738B2 JP5141738B2 (ja) 2013-02-13

Family

ID=45769107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010209781A Expired - Fee Related JP5141738B2 (ja) 2010-09-17 2010-09-17 立体音場生成装置

Country Status (4)

Country Link
US (1) US20120070005A1 (ja)
JP (1) JP5141738B2 (ja)
CN (1) CN102413415A (ja)
DE (1) DE102011082886A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018509864A (ja) * 2015-02-12 2018-04-05 ドルビー ラボラトリーズ ライセンシング コーポレイション ヘッドフォン仮想化のための残響生成
JP7563065B2 (ja) 2020-09-11 2024-10-08 株式会社ソシオネクスト 音声通信装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9892743B2 (en) 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US9838824B2 (en) 2012-12-27 2017-12-05 Avaya Inc. Social media processing with three-dimensional audio
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
GB2558281A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Audio processing
CN117479077A (zh) 2017-10-20 2024-01-30 索尼公司 信号处理装置、方法和存储介质
KR102585667B1 (ko) 2017-10-20 2023-10-06 소니그룹주식회사 신호 처리 장치 및 방법, 그리고 프로그램
DE102018203661A1 (de) * 2018-03-12 2019-09-12 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Testen von direktionalem Hören in einem Fahrzeug
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
US10477338B1 (en) 2018-06-11 2019-11-12 Here Global B.V. Method, apparatus and computer program product for spatial auditory cues
US10999690B2 (en) * 2019-09-05 2021-05-04 Facebook Technologies, Llc Selecting spatial locations for audio personalization
US11356795B2 (en) 2020-06-17 2022-06-07 Bose Corporation Spatialized audio relative to a peripheral device
US11982738B2 (en) 2020-09-16 2024-05-14 Bose Corporation Methods and systems for determining position and orientation of a device using acoustic beacons
US11696084B2 (en) 2020-10-30 2023-07-04 Bose Corporation Systems and methods for providing augmented audio
US11700497B2 (en) 2020-10-30 2023-07-11 Bose Corporation Systems and methods for providing augmented audio

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62501105A (ja) * 1984-10-22 1987-04-30 ノ−スウエスタン,ユニバ−シテイ 空間残響
JPH07212897A (ja) * 1994-01-18 1995-08-11 Victor Co Of Japan Ltd 音像定位処理方法
JPH07288899A (ja) * 1994-04-15 1995-10-31 Matsushita Electric Ind Co Ltd 音場再生装置
JPH08286690A (ja) * 1995-04-13 1996-11-01 Sharp Corp 音環境再現方法
JP2004509544A (ja) * 2000-09-19 2004-03-25 セントラル リサーチ ラボラトリーズ リミティド 耳に近接配置されるスピーカ用の音声信号処理方法
JP2005080124A (ja) * 2003-09-02 2005-03-24 Japan Science & Technology Agency リアルタイム音響再現システム
JP2005189301A (ja) * 2003-12-24 2005-07-14 Pioneer Electronic Corp 報知制御装置、そのシステム、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、移動支援装置
JP2007028053A (ja) * 2005-07-14 2007-02-01 Matsushita Electric Ind Co Ltd 音像定位装置
JP2009055621A (ja) * 1998-03-23 2009-03-12 Nokia Mobile Phones Ltd 仮想音響環境において指向性音響を処理する方法
JP2009296111A (ja) * 2008-06-03 2009-12-17 Chiba Inst Of Technology 反射音生成装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577738B2 (en) * 1996-07-17 2003-06-10 American Technology Corporation Parametric virtual speaker and surround-sound system
JP2003220911A (ja) * 2002-01-31 2003-08-05 Denso Corp 車両用警告装置
JP4127156B2 (ja) * 2003-08-08 2008-07-30 ヤマハ株式会社 オーディオ再生装置、ラインアレイスピーカユニットおよびオーディオ再生方法
JP2006229547A (ja) * 2005-02-17 2006-08-31 Matsushita Electric Ind Co Ltd 音像頭外定位装置及び音像頭外定位方法
KR100636251B1 (ko) * 2005-10-01 2006-10-19 삼성전자주식회사 입체 음향 생성 방법 및 장치
JP5262862B2 (ja) 2009-03-10 2013-08-14 マツダ株式会社 多気筒エンジンの排気システムの制御方法およびその装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62501105A (ja) * 1984-10-22 1987-04-30 ノ−スウエスタン,ユニバ−シテイ 空間残響
JPH07212897A (ja) * 1994-01-18 1995-08-11 Victor Co Of Japan Ltd 音像定位処理方法
JPH07288899A (ja) * 1994-04-15 1995-10-31 Matsushita Electric Ind Co Ltd 音場再生装置
JPH08286690A (ja) * 1995-04-13 1996-11-01 Sharp Corp 音環境再現方法
JP2009055621A (ja) * 1998-03-23 2009-03-12 Nokia Mobile Phones Ltd 仮想音響環境において指向性音響を処理する方法
JP2004509544A (ja) * 2000-09-19 2004-03-25 セントラル リサーチ ラボラトリーズ リミティド 耳に近接配置されるスピーカ用の音声信号処理方法
JP2005080124A (ja) * 2003-09-02 2005-03-24 Japan Science & Technology Agency リアルタイム音響再現システム
JP2005189301A (ja) * 2003-12-24 2005-07-14 Pioneer Electronic Corp 報知制御装置、そのシステム、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、移動支援装置
JP2007028053A (ja) * 2005-07-14 2007-02-01 Matsushita Electric Ind Co Ltd 音像定位装置
JP2009296111A (ja) * 2008-06-03 2009-12-17 Chiba Inst Of Technology 反射音生成装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018509864A (ja) * 2015-02-12 2018-04-05 ドルビー ラボラトリーズ ライセンシング コーポレイション ヘッドフォン仮想化のための残響生成
US10382875B2 (en) 2015-02-12 2019-08-13 Dolby Laboratories Licensing Corporation Reverberation generation for headphone virtualization
US10750306B2 (en) 2015-02-12 2020-08-18 Dolby Laboratories Licensing Corporation Reverberation generation for headphone virtualization
US11140501B2 (en) 2015-02-12 2021-10-05 Dolby Laboratories Licensing Corporation Reverberation generation for headphone virtualization
US11671779B2 (en) 2015-02-12 2023-06-06 Dolby Laboratories Licensing Corporation Reverberation generation for headphone virtualization
JP7563065B2 (ja) 2020-09-11 2024-10-08 株式会社ソシオネクスト 音声通信装置

Also Published As

Publication number Publication date
DE102011082886A1 (de) 2012-03-22
JP5141738B2 (ja) 2013-02-13
US20120070005A1 (en) 2012-03-22
CN102413415A (zh) 2012-04-11

Similar Documents

Publication Publication Date Title
JP5141738B2 (ja) 立体音場生成装置
JP4663007B2 (ja) オーディオ信号処理方法
JP6286583B2 (ja) ラウドスピーカシステム
EP0966179B1 (en) A method of synthesising an audio signal
EP2550813B1 (en) Multichannel sound reproduction method and device
US9014404B2 (en) Directional electroacoustical transducing
CN104136299B (zh) 用于在车内对声音进行导向的系统、方法以及装置
EP1648198A2 (en) Method and apparatus for reproducing audio signal
US20070127730A1 (en) Method and apparatus for expanding listening sweet spot
US20170251324A1 (en) Reproducing audio signals in a motor vehicle
JP2993418B2 (ja) 音場効果装置
JP5967418B2 (ja) 立体音響計算方法、装置、プログラム、記録媒体および立体音響提示システムならびに仮想現実空間提示システム
JP6066652B2 (ja) 音響再生装置
JP6179862B2 (ja) オーディオ信号再生装置およびオーディオ信号再生方法
JP2018191127A (ja) 信号生成装置、信号生成方法およびプログラム
JP2020136721A (ja) スピーカ装置及びエリア再生装置
US20240129664A1 (en) Sound system
JP2008098826A (ja) 音響再生装置及び音響再生方法
JP2000333297A (ja) 立体音生成装置、立体音生成方法及び立体音を記録した媒体
FI116506B (fi) Ympärisäteilevä stereokaiutin
CN110099351A (zh) 一种声场回放方法、装置和系统
KR102671956B1 (ko) 인터콤용 실감음향 오디오출력장치
JP2012054670A (ja) スピーカアレーシステム
WO2022097254A1 (ja) スピーカシステム
JP7095857B2 (ja) 音響システム、音響処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5141738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees