JP2013242206A - シミュレーション装置、およびプログラム - Google Patents
シミュレーション装置、およびプログラム Download PDFInfo
- Publication number
- JP2013242206A JP2013242206A JP2012114928A JP2012114928A JP2013242206A JP 2013242206 A JP2013242206 A JP 2013242206A JP 2012114928 A JP2012114928 A JP 2012114928A JP 2012114928 A JP2012114928 A JP 2012114928A JP 2013242206 A JP2013242206 A JP 2013242206A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- listening point
- data
- sounding body
- acoustic space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 94
- 238000012546 transfer Methods 0.000 claims abstract description 91
- 238000004364 calculation method Methods 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims description 96
- 238000012937 correction Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 abstract description 85
- 238000005259 measurement Methods 0.000 abstract description 64
- 238000012545 processing Methods 0.000 abstract description 53
- 238000009434 installation Methods 0.000 abstract description 5
- 238000011161 development Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 50
- 230000004044 response Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
【課題】 楽器などの発音体の開発段階においてその開発品の設置が想定される音響空間において当該開発品を発音させた場合の発音特性の評価を精度良く行うことを可能にする技術を提供することを目的としている。
【解決手段】 ユーザは、音響空間および無響室の受聴点において現行品400の発音特性をそれぞれ実測410,420し、受聴点において開発品500のシミュレーション510を行う。シミュレーション装置1aの音声処理部90は、音響空間の発音特性から無響室の発音特性を減算する差分算出処理210を行い、音響空間における反射音特性を得る。次いで、音声処理部90は、得られた反射音特性とシミュレーションによる発音特性とを加算する加算処理220を行い、開発品500の音響空間の受聴点における推定伝達関数Hを得る。
【選択図】図2
【解決手段】 ユーザは、音響空間および無響室の受聴点において現行品400の発音特性をそれぞれ実測410,420し、受聴点において開発品500のシミュレーション510を行う。シミュレーション装置1aの音声処理部90は、音響空間の発音特性から無響室の発音特性を減算する差分算出処理210を行い、音響空間における反射音特性を得る。次いで、音声処理部90は、得られた反射音特性とシミュレーションによる発音特性とを加算する加算処理220を行い、開発品500の音響空間の受聴点における推定伝達関数Hを得る。
【選択図】図2
Description
この発明は、発音体の発音特性の評価を支援する技術に関する。
例えば楽器やスピーカの新製品を開発する際には、それら楽器やスピーカの設計データ(筐体に関するCADデータやスピーカユニットのデータシートなど)により表わされる仮想発音体についての数値シミュレーションによってその仮想発音体から放音された音の伝達関数を演算することが一般に行われる(例えば、特許文献1など)。このようにして数値シミュレーションを行うのは、算出された伝達関数に逆フーリエ変換を施してインパルス応答を求め、そのインパルス応答を音として再生することで、いまだ実機のない発音体の発音特性の評価を行うことが可能になり、意図した発音特性が得られるか否かを事前に把握することが可能となるからである。
より詳細に説明すると、新規に開発する楽器等(以下、開発品という)についての発音特性の評価は以下の要領で行われる。まず、開発品(例えばピアノの新規開発モデル)と近似した発音特性を有する現行品(例えば、ピアノの現行モデル)を、開発品の設置が想定される音響空間(例えば、コンサートホールや一般的な家屋のリビングルームなど)或いはその音響空間の音響特性を模した別個の音響空間に設置する。そして、当該現行品を発音させ、音響空間内において定めた受聴点(例えば、受聴者の位置)においてそのインパルス応答を計測し、伝達関数を算出する。次いで、現行品を無響室に設置して発音させ、無響室内において定めた受聴点(発音体からみた相対位置が上記音響空間における場合と一致するように定めた受聴点)においてインパルス応答を計測し、伝達関数を求める。そして、前者の伝達関数を後者の伝達関数で除算する。これにより、現行品から放音され音響空間の壁面等によって反射されて受聴点に到来する音(すなわち、反射音)についての伝達関数(すなわち、上記音響空間の音響特性を表す伝達関数)が得られる。以下、この伝達関数を「反射音伝達関数」と呼ぶ。
次いで、開発品について数値シミュレーションを行い、当該開発品から放音され、受聴点に直接到来する直達音についての伝達関数を算出する。なお、この数値シミュレーションでは、開発品から見た相対位置が上記各実測における現行品から見た受聴点の相対位置と同じになるように当該シミュレーションにおける受聴点を設定することが好ましい。そして、当該数値シミュレーションにより算出された伝達関数と上記反射音伝達関数との乗算を行う。これにより、上記特定の音響空間において開発品を発音させた場合に受聴点にて観測されるであろう音についての伝達関数(以下、推定伝達関数H)が得られる。
しかし、上記方法により得られる推定伝達関数Hからインパルス応答を求め、このインパルス応答を音として再生すると、高音域においてキンキンした音が聴こえるなど、開発品の発音特性とは無関係な異音が生じる場合がある。その理由は、以下の通りである。上記方法により得られる推定伝達関数Hは、現行品を上記音響空間において発音させて計測した伝達関数をH_room_ex、同現行品を無響室において発音させて計測した伝達関数をH_ae_ex、シミュレーションにより算出した開発品の伝達関数をH_sim_desとすると、以下の式(1)のように表すことができる。なお、式(1)において記号/は除算を表し、記号*は乗算を表す。
H=(H_room_ex/H_ae_ex)*H_sim_des・・・(1)
H=(H_room_ex/H_ae_ex)*H_sim_des・・・(1)
式中の1/H_ae_exは現行品の受聴点でのインパルス応答の逆フィルタとなっている。このため、受聴点が現行品の指向軸上から外れた位置に設定されている場合には、その特性には大きなピークおよびディップが生じる。この際、現行品伝達関数とシミュレーション結果の誤差や特性差によって、H_ae_exとH_sim_desのピークおよびディップ発生周波数にずれが生じた場合、聴感上、非常に大きな誤差となり得る。また、音響空間あるいは無響室における音の計測の際には、現行品の指向軸上から外れた位置に受聴点が設定された場合、S/N比が悪化し、このS/N比の悪化に起因した影響も生じる。
この発明は以上のような事情に鑑みてなされたものであり、楽器などの発音体の開発段階においてその開発品の設置が想定される音響空間において当該開発品を発音させた場合の発音特性の評価を精度良く行うことを可能にする技術を提供することを目的としている。
上記課題を解決するために、この発明は、音響空間において第1の発音体を発音させた場合に当該音響空間内に定めた第1の受聴点へ到来した音から、無響室にて当該第1の発音体を発音させた場合に当該第1の発音体から見た相対位置が前記第1の受聴点の相対位置と一致するように当該無響室内に定められた第2の受聴点へ到来した音を減算する第1の演算を時間軸上または周波数軸上で行い、第1のデータを取得する第1の取得手段と、第2の発音体を発音させたとした場合に前記第1の受聴点へ到来するであろう直達音を時間軸上または周波数軸上で表わすデータであって、前記第2の発音体の発音特性を模した仮想発音体についてのシミュレーションにより得られる第2のデータを取得する第2の取得手段と、前記第1のデータの表す音波形と前記第2のデータの音波形とを時間軸上で加算する第2の演算を行って、前記第2の発音体を前記音響空間にて発音させたとした場合に前記第1の受聴点にて観測されるであろう直達音および反射音を表すデータを生成する加算手段とを具備することを特徴とするシミュレーション装置、およびコンピュータを上記各手段として機能させるプログラムを提供する。
この発明によれば、第1の発音体を音響空間に設置して発音させた場合に第1の受聴点へ到達した音のうちの反射音成分に対応する第1のデータにより表される音波形と、第2の発音体を発音させたとした場合に上記第1の受聴点に到来する直達音に対応する第2のデータにより表される音波形とを時間軸上で加算することで、当該第2の発音体を上記音響空間に設置して発音させたとした場合に第1の受聴点において観測されるであろう音(直達音および反射音)を表すデータが得られる。したがって、上記第2の発音体を楽器等の新規開発品とし、上記第1の発音体を当該新規開発品と近似した発音特性を有する現行品として本発明によるシミュレーションを行えば、未だ実機のない新規開発品の発音特性を表すデータを生成することができる。本発明により、未だ実機のない新規開発品についての発音特性の評価を精度良く行うことができる理由については、重複を避けるため、本発明の実施形態の説明において明らかにする。
より好ましい態様としては、第1の発音体の発音特性と第2の発音体(或いは、第2の発音体をモデル化した仮想発音体)の発音特性との相違が解消されるように第1のデータを補正する補正手段を設け、補正手段による補正後の第1のデータを対象として加算手段に上記第2の演算を実行させる態様が考えられる。具体的には、音響空間において仮想発音体を発音させた場合にその指向軸上の受聴点にて計測されるであろう音の伝達関数(シミュレーションにより得られる伝達関数)と、無響室において第1の発音体を発音させた場合にその指向軸上の受聴点にて計測される音の伝達関数との比を機種補正係数とし、この機種補正係数を第1のデータに周波数上で乗算することで当該第1のデータ列を補正する処理を補正手段に実行させるようにすれば良い。このような態様によれば、第1の発音体と第2の発音体の発音特性の相違に起因する音響空間における反射音の相違を解消することが可能になる。
以下、本発明の実施形態の説明に先立って、本発明の原理を説明する。
<A:本発明の原理>
本発明者は、伝達関数の演算精度の悪化がどのようにして生じるのかを確かめるため、前掲式(1)を詳細に分析した。前掲式(1)の右辺の伝達関数H_room_exは、現行品から発音され受聴点へ直接到来する直達音についての伝達関数H_dir_exと、音響空間の壁面等による反射を経て受聴点へ到来する反射音についての伝達関数H_ref_exの和により表現することができる。これら伝達関数H_dir_exおよびH_ref_exを用いると、式(1)は以下の式(2)のように変形され、さらに、この式(2)は以下の式(3)のように変形される。
H= ((H_dir_ex+H_ref_ex)/H_ae_ex)
*H_sim_des・・・(2)
H= (H_dir_ex/H_ae_ex)*H_sim_des
+(H_ref_ex/H_ae_ex)*H_sim_des・・・(3)
<A:本発明の原理>
本発明者は、伝達関数の演算精度の悪化がどのようにして生じるのかを確かめるため、前掲式(1)を詳細に分析した。前掲式(1)の右辺の伝達関数H_room_exは、現行品から発音され受聴点へ直接到来する直達音についての伝達関数H_dir_exと、音響空間の壁面等による反射を経て受聴点へ到来する反射音についての伝達関数H_ref_exの和により表現することができる。これら伝達関数H_dir_exおよびH_ref_exを用いると、式(1)は以下の式(2)のように変形され、さらに、この式(2)は以下の式(3)のように変形される。
H= ((H_dir_ex+H_ref_ex)/H_ae_ex)
*H_sim_des・・・(2)
H= (H_dir_ex/H_ae_ex)*H_sim_des
+(H_ref_ex/H_ae_ex)*H_sim_des・・・(3)
式(3)の右辺第1項における(H_dir_ex/H_ae_ex)は、音響空間における計測と無響室における計測とにおいて発音体(現行品)の設置位置と受聴点との相対的な位置関係が厳密に一致しているのであれば、本来的には1となるはずである。つまり、音響空間における計測と無響室における計測とにおいて、発音体(現行品)の設置位置と受聴点との相対的な位置関係を一致させて測定を行うと、式(3)は以下の式(4)のように変形され、さらに式(4)の右辺第2項の演算順序を入れ替えると、この式(4)はさらに以下の式(5)のように変形される。
H= H_sim_des
+(H_ref_ex)/H_ae_ex)*H_sim_des・・・(4)
H= H_sim_des
+H_ref_ex*(H_sim_des/H_ae_ex)・・・(5)
H= H_sim_des
+(H_ref_ex)/H_ae_ex)*H_sim_des・・・(4)
H= H_sim_des
+H_ref_ex*(H_sim_des/H_ae_ex)・・・(5)
ここで、式(5)の右辺各項の意味は以下の通りである。まず、式(5)の右辺第1項は、開発品から発音され直接受聴点に到来する直達音についてシミュレーションにより得られる伝達関数である。一方、式(5)の右辺第2項は、現行品を音響空間内に設置して発音させた場合に当該音響空間の壁面等による反射を経て受聴点に到来する反射音の伝達関数H_ref_exに係数(H_sim_des/H_ae_ex)を乗算したものである。この係数(H_sim_des/H_ae_ex)は、上記シミュレーションにより得られる伝達関数を、現行品を無響室に設置して発音させた場合に受聴点にて観測された音(すなわち、直達音のみ)の伝達関数で除算した値、即ち、受聴点における開発品の直達音に対する現行品の直達音の比(より正確には、各周波数成分の比)を意味している。この係数(H_sim_des/H_ae_ex)は、受聴点における現行品と開発品の機種の差異を補正するための機種補正係数と考えることができる。
本発明の特徴は、式(5)にしたがって開発品の伝達関数を計算することにあり、このようにすることで従来よりも精度良く伝達関数の計算を行うことが可能になる。その理由は以下の通りである。式(1)から式(5)を導出する過程では、「音響空間における計測と無響室における計測とにおいて、発音体(現行品)の設置位置と受聴点との相対的な位置関係が一致している」という条件を課していたが、かかる条件は特別なものではなく、また当該条件を満足するように機器を設置して測定を行うことはさほど難しくはない。式(5)において注目すべき点は、開発品を模した仮想発音体の指向特性と現行品の指向特性との相違や受聴点におけるS/N比に起因した誤差を生じさせる演算要素が同式(5)の右辺第2項(すなわち、反射音成分)のみに局所化されているという点である。このように、開発品を模した仮想発音体の指向特性と現行品の指向特性との相違に起因した誤差を生じさせる演算要素が反射音成分のみに局所化されているため、本発明によれば従来よりも高い精度で伝達関数を算出することが可能になるのである。なお、式(5)による伝達関数の演算においても、現行品についての伝達関数が精度良く求められることが好ましいのであるから、機種補正係数(より正確には、H_ae_ex)を算出するための計測を行う際には現行品の指向軸上に受聴点を設定して計測を行うことが好ましいことは言うまでも無い。また、開発品の発音特性と現行品の発音特性との差異が充分に小さいのであれば、機種補正係数を1として式(5)に示す演算を行っても良い。
<B:第1実施形態>
<B−1:構成>
次に、本発明の第1実施形態であるシミュレーション装置1aの構成について説明する。このシミュレーション装置1aは、式(5)にしたがい、かつ機種補正係数を1として開発品の伝達関数を計算する装置である。図1は、本発明の第1実施形態であるシミュレーション装置1aの構成を示す図である。シミュレーション装置1aは、例えばパーソナルコンピュータであり、制御部10、ユーザインターフェース部20、外部機器インターフェース部30、記憶部40、マイク50、音声処理部90および音声処理部90に接続されたスピーカ60を有する。図1に示すように、制御部10、ユーザインターフェース部20、外部機器インターフェース部30、記憶部40、マイク50、および音声処理部90の各々は、それぞれバス70を介して互いに接続されている。
<B−1:構成>
次に、本発明の第1実施形態であるシミュレーション装置1aの構成について説明する。このシミュレーション装置1aは、式(5)にしたがい、かつ機種補正係数を1として開発品の伝達関数を計算する装置である。図1は、本発明の第1実施形態であるシミュレーション装置1aの構成を示す図である。シミュレーション装置1aは、例えばパーソナルコンピュータであり、制御部10、ユーザインターフェース部20、外部機器インターフェース部30、記憶部40、マイク50、音声処理部90および音声処理部90に接続されたスピーカ60を有する。図1に示すように、制御部10、ユーザインターフェース部20、外部機器インターフェース部30、記憶部40、マイク50、および音声処理部90の各々は、それぞれバス70を介して互いに接続されている。
制御部10は、例えばCPU(Central Processing Unit)であり、記憶部40に格納された制御プログラムを実行する。これにより、制御部10は、各部の制御を行う。ユーザインターフェース部20は、例えば、キーボード、マウスおよびディスプレイを含んでいる。キーボードおよびマウスに対して何らかの操作が為されると、その操作内容を示す信号がユーザインターフェース部20から制御部10に出力される。ディスプレイは、制御部10や音声処理部90などから与えられる信号に応じて各種情報を表示する。外部機器インターフェース部30は、例えばUSBインターフェースやシリアルインターフェースの集合体であり、各種外部機器を接続し、それら外部機器に対する各種情報の入力および出力を行う。
記憶部40は、ROM(Read Only Memory)、RAM(Random Access Memory)およびHDD(Hard Disk Drive)を含んでいる。ROMには各種制御を制御部10に実行させるための制御プログラムや、式(5)にしたがって伝達関数を演算する処理を制御部10に実行させるためのアプリケーションプログラム、各種信号処理を音声処理部90に実行させるための信号処理プログラムが予め格納されている。RAMは制御プログラムやアプリケーションプログラム、信号処理プログラムを実行する際のワークエリアとして利用される。HDDは各種データを記憶する大容量記憶装置として利用される。マイク50は、音を収音し、当該音の時間波形を表すオーディオ信号に変換して音声処理部90へ出力する。スピーカ60は、音声処理部90から与えられるオーディオ信号を音声に変換して放音する。音声処理部90は、例えばDSP(Digital Signal Processor)であり、上記信号処理プログラムにしたがって作動することにより、解析部100および演算部200として機能する。解析部100は、部屋計測音解析処理(受聴点)110、無響室計測音解析処理(受聴点)120、およびシミュレーション解析処理(受聴点)130の各処理を実行する。演算部200は、差分算出処理210、加算処理220の各処理を実行する。解析部100および演算部200が実行する各処理の詳細については重複を避けるため、動作例において明らかにする。
以上がシミュレーション装置1aの構成である。
以上がシミュレーション装置1aの構成である。
<B−2:動作>
次いで、シミュレーション装置1aによる推定伝達関数Hの算出対象の新規発音体が「開発品500」であり、この開発品500と近似する発音特性を有する既存発音体が「現行品400」である場合を例にとって、推定伝達関数Hの算出の際にシミュレーション装置1aが実行する動作を説明する。図2は、推定伝達関数Hの算出手順を説明するための図である。
次いで、シミュレーション装置1aによる推定伝達関数Hの算出対象の新規発音体が「開発品500」であり、この開発品500と近似する発音特性を有する既存発音体が「現行品400」である場合を例にとって、推定伝達関数Hの算出の際にシミュレーション装置1aが実行する動作を説明する。図2は、推定伝達関数Hの算出手順を説明するための図である。
本実施形態のシミュレーション装置1aは、前掲式(5)に示す演算と等価な演算を時間軸上で行い、かつ機種補正係数を1として開発品500の推定伝達関数Hを演算する装置である。前掲式(5)に示す推定伝達関数Hを算出するには、伝達関数H_sim_desを表すデータと、伝達関数H_ref_exを表すデータとが必要となる。前述したように、伝達関数H_sim_desは、開発品500をその設置が想定される音響空間に設置して発音させた場合において、その音響空間内に定めた受聴点に直接到来すると推定される直達音の伝達関数に対応し、伝達関数H_ref_exは同反射音の伝達関数に対応する。本実施形態では、伝達関数H_sim_desを表すデータとして、開発品500についての設計データにより規定される仮想発音体についての数値シミュレーションより算出されるインパルス応答を表すデータ(本実施形態では、時間軸上で上記直達音の波形を表すサンプル列)が用いられる。また、伝達関数H_ref_exを表すデータとして、現行品400についてのインパルス応答の実測を行うことにより得られるデータが用いられる。
図2の部屋実測(受聴点)410では、シミュレーション装置1aのユーザ(例えば、開発品500の設計担当者)は、まず、開発品500の設置が想定される音響空間に現行品400を設置する。なお、当該音響空間への現行品400の設置が困難な場合は、その音響空間の音響特性を模した別個の音響空間に現行品400を設置して以下の処理を行えば良い。次に、上記ユーザは、音響空間内において受聴点を定め、当該受聴点の位置に収音機器を設置する。そして、上記ユーザは、現行品400を発音させ、収音機器から出力される音信号を所定のサンプリングレートでサンプリングして得られるサンプル列を上記音響空間の受聴点におけるインパルス応答を表すデータとして記録媒体等に記録させる。このインパルス応答には、現行品400から放射され受聴点へ直接到来する直達音と音響空間の壁面等による反射を経て受聴点へ到来する反射音とが含まれている。
無響室実測(受聴点)420では、上記ユーザは現行品400を無響室に設置する。次いで、ユーザは、当該無響室内における現行品400から見た受聴点の相対位置が、部屋実測(受聴点)410における現行品400からみた受聴点の相対位置と一致するように無響室における受聴点を定め、当該受聴点の位置に収音機器を設置する。そして、ユーザは、現行品400を発音させ、収音機器から出力される音信号を上記サンプリングレートでサンプリングして得られるサンプル列を、無響室内の受聴点におけるインパルス応答を表すデータとして記録媒体等に記録させる。無響室においては壁面による反射はほとんど発生しないため、このインパルス応答においては、現行品400から放射され受聴点へ直接到来する直達音が大半を占める。
図2のシミュレーション(受聴点)510では、ユーザは、開発品500から見た受聴点の相対位置が部屋実測(受聴点)410において定めた相対位置と一致するようにシミュレーション条件を定め、開発品500についての設計データを用いて上記受聴点における直達音のインパルス応答を数値シミュレーションにより算出し、当該インパルス応答を表すサンプル列を記録媒体等に記録させる。この数値シミュレーションの実行には、パーソナルコンピュータなどの一般的なコンピュータ装置を用いるようにすれば良い。また、数値シミュレーションのアルゴリズムについても、公知のアルゴリズムを適宜用いるようにすれば良い。
次に、ユーザは、部屋実測(受聴点)410、無響室実測(受聴点)420、およびシミュレーション(受聴点)510によって得られた各インパルス応答を表すサンプル列が記録された記録媒体を外部機器インターフェース部30に接続し、各インパルス応答を表すサンプル列を当該シミュレーション装置1aの記憶部40に記憶させる。そして、ユーザは、伝達関数Hを求めるためのアプリケーションプログラムの実行を制御部10に開始させる。制御部10は当該アプリケーションプログラムにしたがって音声処理部90の作動制御を行う。制御部10による制御の下、音声処理部90の解析部100は、部屋計測音解析処理(受聴点)110、無響室計測音解析処理(受聴点)120、およびシミュレーション解析処理(受聴点)130を実行し、同演算部200は、反射音生成処理300および加算処理220を実行する。
部屋計測音解析処理(受聴点)110は、部屋実測(受聴点)410により得られたサンプル列に対してオーバサンプリングを施して出力する処理である。同様に、無響室計測音解析処理(受聴点)120は、無響室実測(受聴点)420により得られたサンプル列に対してオーバサンプリングを施して出力する処理であり、シミュレーション解析処理130(受聴点)は、シミュレーション(受聴点)510により得られたインパルス応答を表すサンプル列に対してオーバサンプリングを施して出力する処理である。このように、部屋実測(受聴点)410、無響室実測(受聴点)420およびシミュレーション(受聴点)510の各々により得られた各サンプル列に対してオーバサンプリングを施すのは、各サンプル列の表すインパルス波形の時間軸を合わせる処理を精度良く行うことができるようにするためである。
図2の反射音生成処理300は、上記音響空間にて開発品500を発音させた場合に受聴点において観測されるであろう反射音のインパルス波形を表すデータを生成する処理である。図2に示すように、本実施形態の反射音生成処理300は差分算出処理210を含んでいる。この差分算出処理210は、部屋計測音解析処理(受聴点)110を経たサンプル列から無響室計測音解析処理(受聴点)120を経たサンプル列を時間軸を合わせつつ減算し、その減算結果を上記反射音のインパルス波形を表すデータとして出力する処理である。ここで、部屋計測音解析処理(受聴点)110を経たサンプル列から無響室計測音解析処理(受聴点)120を経たサンプル列を時間軸を合わせつつ減算するとは、各サンプル列の表すインパルス波形における最初のピークが重なるように各サンプル列を構成するサンプルを対応付け、前者のサンプル列を構成する各サンプルから当該対応付けにより対応付けられた後者のサンプル列のサンプルを減算することをいう。各々のインパルス波形における最初のピークが重なるように波形を揃えるのは、当該最初のピークは直達音に対応していると考えられるからである。
現行品400の音響空間の受聴点におけるインパルス波形には、壁面等による反射を経ずに現行品400から受聴点に直接到達する直達音成分と、壁面等による反射を経て受聴点に到達する反射音成分の両方が含まれている。一方、無響室の受聴点におけるインパルス波形では直達音成分が大半を占める。本動作例では、音響空間における現行品400と受聴点との相対位置と、無響室における現行品400と受聴点の相対位置とが一致するようにして部屋実測(受聴点)410および無響室実測(受聴点)420を行っており、前者において計測される音に含まれる直達音と後者において計測される音とはほぼ一致すると考えられる。このため、差分算出処理210における減算処理は、部屋実測(受聴点)410により計測された音から直達音成分を除去し、反射音成分のみを抽出することに対応する。したがって、差分算出処理210により得られたサンプル列に高速フーリエ変換(FFT)を施せば、式(5)における伝達関数H_ref_exが得られる。
図2の加算処理220は、差分算出処理210により得られたサンプル列と、シミュレーション解析処理(受聴点)130により得られたサンプル列とを、時間軸上で加算して1つのインパルス波形を表すサンプル列を合成し、さらに、合成後のサンプル列に高速フーリエ変換(FFT)を施して推定伝達関数Hを算出する処理である。
前述したように、シミュレーション(受聴点)510では、開発品500から見た受聴点の相対位置が部屋実測(受聴点)410および無響室実測(受聴点)420の各々における現行品400から見た受聴点の相対位置と同じになるようにシミュレーション条件を定めて数値シミュレーションが実行される。つまり、シミュレーション(受聴点)510により得られたサンプル列の表すインパルス波形は、開発品500を上記音響空間で発音させたとした場合に受聴点において観測される直達音のインパルス波形に対応し、このインパルス波形に高速フーリエ変換(FFT)を施せば、式(5)における伝達関数H_sim_desが得られる。したがって、図2の加算処理220は、開発品500についてのシミュレーションに得られた直達音と音響空間における反射音とを時間軸上で合成することに対応し、この加算処理220によって、前掲式(5)にて機種補正係数を1とした伝達関数が得られるのである。このように、本実施形態にて算出される推定伝達関数Hでは、開発品500のシミュレーションによる指向特性と現行品400の指向特性の相違や受聴点におけるS/N比に起因した影響が局所化されているため、精度の良い発音特性を得ることができる。
なお、本実施形態では、部屋実測(受聴点)410および無響室実測(受聴点)420の各々においてシミュレーション装置1aのマイク50とは異なる収音機器を用いてインパルス応答の計測を行い、外部機器インターフェース部30を介して各計測結果を示すデータを入力した。しかし、シミュレーション装置1aのマイク50を用いて各インパルス応答の計測を行うようにしても勿論良い。また、上記実施形態では、部屋実測(受聴点)410により計測された音から直達音成分を除去し、反射音成分のみを抽出する処理、を時間軸上の演算(すなわち、インパルス応答同士の減算)により実現したが、周波数軸上の演算で実現しても良い。具体的には、部屋計測音解析処理(受聴点)110および無響室計測音解析処理(受聴点)120の各々においてインパルス応答のオーバサンプリングだけでなく、伝達関数への変換を行い、それら伝達関数を対象として反射音生成処理300に相当する周波数軸上の演算を実行すれば良い。
<C:第2実施形態>
<C−1:構成>
図3は、本発明の第2実施形態であるシミュレーション装置1bの構成を示す図である。本実施形態のシミュレーション装置1bは、伝達関数H_sim_desおよびH_ae_exから機種補正係数を算出する点と、この機種補正係数を用いて推定伝達関数Hを演算する点とが第1実施形態のシミュレーション装置1aと異なる。図3では図1と同一の構成要素には同一の符号が付されている。図3と図1とを対比すれば明らかなように、シミュレーション装置1bの構成は音声処理部90に換えて音声処理部90bを設けた点がシミュレーション装置1aの構成と異なる。音声処理部90bの構成は、解析部100に換えて解析部100bを設けた点と演算部200に換えて演算部200bを設けた点が音声処理部90の構成と異なる。
<C−1:構成>
図3は、本発明の第2実施形態であるシミュレーション装置1bの構成を示す図である。本実施形態のシミュレーション装置1bは、伝達関数H_sim_desおよびH_ae_exから機種補正係数を算出する点と、この機種補正係数を用いて推定伝達関数Hを演算する点とが第1実施形態のシミュレーション装置1aと異なる。図3では図1と同一の構成要素には同一の符号が付されている。図3と図1とを対比すれば明らかなように、シミュレーション装置1bの構成は音声処理部90に換えて音声処理部90bを設けた点がシミュレーション装置1aの構成と異なる。音声処理部90bの構成は、解析部100に換えて解析部100bを設けた点と演算部200に換えて演算部200bを設けた点が音声処理部90の構成と異なる。
解析部100bは、部屋計測音解析処理(受聴点)110、無響室計測音解析処理(受聴点)120およびシミュレーション解析処理(受聴点)130の他に、無響室計測音解析処理(発音指向軸上)640、およびシミュレーション解析処理(発音指向軸上)650の各処理を実行する点が解析部100と異なる。また、演算部200bは、差分算出処理210および加算処理220の他に、機種補正係数算出処理730および乗算処理740の各処理を実行する点が演算部200と異なる。解析部100bおよび演算部200bが実行する各処理の詳細については重複を避けるため、動作例において明らかにする。
<C−2:動作>
次いで、本実施形態のシミュレーション装置1bの動作を説明する。図4は、ある音響空間に開発品を設置して放音させたとした場合に当該音響空間内に設定される受聴点において観測されるであろう音の伝達関数をシミュレーション装置1bを用いて算出する手順を説明するための図である。図4と図2とを対比すれば明らかなように、本実施形態における現行品400についての実測は、無響室実測(発音指向軸上)430を含んでいる点が第1実施形態における現行品400についての実測と異なり、本実施形態における開発品500についてのシミュレーションは、シミュレーション(発音指向軸上)520を含んでいる点が第1実施形態における開発品500についてのシミュレーションと異なる。
次いで、本実施形態のシミュレーション装置1bの動作を説明する。図4は、ある音響空間に開発品を設置して放音させたとした場合に当該音響空間内に設定される受聴点において観測されるであろう音の伝達関数をシミュレーション装置1bを用いて算出する手順を説明するための図である。図4と図2とを対比すれば明らかなように、本実施形態における現行品400についての実測は、無響室実測(発音指向軸上)430を含んでいる点が第1実施形態における現行品400についての実測と異なり、本実施形態における開発品500についてのシミュレーションは、シミュレーション(発音指向軸上)520を含んでいる点が第1実施形態における開発品500についてのシミュレーションと異なる。
図4の無響室実測(発音指向軸上)430では、ユーザは現行品400を無響室に設置するとともに現行品400の発音指向軸上に収音点を定め、当該収音点に収音機器を設置する。そして、上記ユーザは、現行品400を発音させ、収音機器から出力される音信号をサンプリングして得られるサンプル列を無響室内の発音指向軸上の収音点におけるインパルス応答を表すデータとして記録媒体等に記録させる。一方、シミュレーション(発音指向軸上)520では、ユーザは、まず、開発品500から見た収音点の相対位置が無響室実測(発音指向軸上)430における現行品400から見た収音点の相対位置と一致するように収音点を定め、開発品500を発音させたとした場合に当該収音点において観測される音波形を他のコンピュータ装置等を用いて算出する。そして、ユーザは、シミュレーションにより得られた音波形を表すサンプル列を上記収音点におけるインパルス応答を表すデータとして記録媒体等に記録させる。
図4の無響室計測音解析処理(発音指向軸上)640は、無響室実測(発音指向軸上)430により得られたサンプル列に高速フーリエ変換(FFT)を施し、現行品400を無響室において発音させた場合にその発音指向軸上の収音点にて観測される音についての伝達関数(H_ae_ex_axis)を算出する処理である。一方、シミュレーション解析処理(発音指向軸上)650は、シミュレーション(発音指向軸上)520により得られたサンプル列に高速フーリエ変換(FFT)を施し、開発品500を上記音響空間において発音させたとした場合に、その発音指向軸上の収音点において観測されるであろう音についての伝達関数H_sim_des_axisを算出する処理である。そして、機種補正係数算出処理730は、伝達関数H_ae_exとして伝達関数H_ae_ex_axisを用いるとともに伝達関数H_sim_desを伝達関数H_sim_des_axisを用いて、機種補正係数(H_ae_ex/H_sim_des)を算出する処理である。
現行品400についてのインパルス応答の実測を行う場合、受聴点がその発音指向軸上に設定されるとは限らない。受聴点が発音指向軸上に設定されていない場合には、図5に示すように、10kHz以上の高域において発音指向軸上の受聴点における周波数応答との乖離が著しく大きくなる。したがって、発音指向軸上とは異なる位置に設定された受聴点において計測されたインパルス応答に基づいて機種補正係数を算出しても、誤差が極めて大きくなってしまう。本実施形態では、伝達関数H_ae_exとして発音指向軸上の収音点における伝達関数H_ae_ex_axisを用い、かつ伝達関数H_sim_desとして同じく発音指向軸上の収音点における伝達関数H_sim_des_axisを用いて機種補正係数の算出が行われるため、機種補正係数を精度良く算出することが可能になる。
図4に示すように、本実施形態の反射音生成処理300bは、差分算出処理210の他に乗算処理740を含んでいる点が第1実施形態における反射音生成処理300と異なる。乗算処理740では、差分算出処理210により生成されるインパルス波形に上記機種補正係数を乗算する演算(すなわち、前掲式(5)の右辺第2項に対応する演算)が実行される。より詳細に説明すると、この乗算処理730では、まず、差分算出処理710により得られたサンプル列に高速フーリエ変換(FFT)を施して伝達関数に変換し、この伝達関数に機種補正係数を示す伝達関数を周波数領域で乗算する処理が実行される。そして、本実施形態の加算処理220では、乗算処理740による機種補正係数の乗算を経た伝達関数に逆フーリエ変換を施して得られるサンプル列とシミュレーション解析処理(受聴点)130により得られたサンプル列とを、時間軸上で加算して1つのインパルス波形を表すサンプル列を合成し、さらに、合成後のサンプル列に高速フーリエ変換(FFT)を施して推定伝達関数Hを算出する処理が実行される。
このように、本実施形態によれば、前掲(5)の機種補正係数(H_sim_des/H_ae_ex)を、発音指向軸上における機種補正係数(H_sim_des_axis/H_ae_ex_axis)とすることにより、開発品500のシミュレーションによる指向特性と現行品400の指向特性の相違や受聴点におけるS/N比に起因した誤差が局所化され、開発品500の音響空間の受聴点における推定伝達関数Hを精度良く得ることができる。
本発明者は、本実施形態により得られた推定伝達関数Hが、開発品を実際に製造してなる実機の発音特性を精度良く再現しているか否かの確認を行った。図6は、開発品500について本実施形態のシミュレーション装置1bにより得られた推定伝達関数Hと実際に製造された開発品500について実測を行うことにより得られた伝達関数とを周波数軸を重ねてプロットした図である。また、図7は前者のインパルス応答と後者のインパルス応答とを時間軸を重ねてプロットした図である。図6に示すように、100Hz以上の周波数領域においては、推定伝達関数Hの周波数応答波形と実測周波数応答波形とでディップの位置およびレベルがほぼ一致している。100Hzより低い周波数領域においては、両者の間に5dB程度の差がみられるが、これはシミュレーション精度に由来する誤差と同程度である。また、図7に示すように、シミュレーション装置1bにより得られたインパルス応答波形と実測インパルス応答波形とでは、反射音成分の時間軸上の位置および音圧がほぼ一致している。これは、音響空間の周波数特性を精度よく再現できていることを意味している。図6および図7を参照すれば明らかなように、本実施形態によれば、周波数領域および時間領域の両方において、開発品500の発音特性を精度良く再現できていることがわかる。
<D:変形例>
以上本発明の第1および第2実施形態について説明したが、これら各実施形態に以下の変形を加えても勿論良い。
(1)上記第1実施形態では、部屋計測音解析処理(受聴点)110、無響室計測音解析処理(受聴点)120、シミュレーション解析処理(受聴点)130、差分算出処理210および加算処理220の各処理をソフトウェアモジュールにより実現したが、各々電子回路を組み合わせたハードウェアモジュールにより実現しても良い。第2実施形態の部屋計測音解析処理(受聴点)110、無響室計測音解析処理(受聴点)120、無響室計測音解析処理(発音指向軸上)640、シミュレーション解析処理(受聴点)130、シミュレーション解析処理(発音指向軸上)650、差分算出処理210、機種補正係数算出処理730、乗算処理740、および加算処理220の各処理についても同様に、各々電子回路を組み合わせたハードウェアモジュールにより実現しても良い。
以上本発明の第1および第2実施形態について説明したが、これら各実施形態に以下の変形を加えても勿論良い。
(1)上記第1実施形態では、部屋計測音解析処理(受聴点)110、無響室計測音解析処理(受聴点)120、シミュレーション解析処理(受聴点)130、差分算出処理210および加算処理220の各処理をソフトウェアモジュールにより実現したが、各々電子回路を組み合わせたハードウェアモジュールにより実現しても良い。第2実施形態の部屋計測音解析処理(受聴点)110、無響室計測音解析処理(受聴点)120、無響室計測音解析処理(発音指向軸上)640、シミュレーション解析処理(受聴点)130、シミュレーション解析処理(発音指向軸上)650、差分算出処理210、機種補正係数算出処理730、乗算処理740、および加算処理220の各処理についても同様に、各々電子回路を組み合わせたハードウェアモジュールにより実現しても良い。
(2)上記各実施形態では、推定伝達関数Hを演算するための一連の処理を実現するプログラムが記憶部40のROMに予め記憶されていた。しかし、このプログラムは、ROMの他、HDDなどの他の記憶媒体に書き込まれていても良い。また、このプログラムを、磁気ディスク、光ディスク、フラッシュメモリなどのコンピュータ読み取り可能な記憶媒体に書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。このようにして配布されるプログラムを一般的なコンピュータに実行させることによって、当該コンピュータを上記各実施形態に係るシミュレーション装置として機能させることが可能になるからである。
(3)本発明における各実施形態の説明において、開発品についてのシミュレーションを本実施形態のシミュレーション装置以外の機器により実施し、そのシミュレーション結果を示すデータを本実施形態のシミュレーション装置へ入力した。しかし、制御部10に当該シミュレーションを実行させても勿論良い。また、上記各実施形態における部屋計測音解析処理(受聴点)110、無響室計測音解析処理(受聴点)120および差分算出処理210を他のコンピュータ装置に実行させ、本発明のシミュレーション装置には、当該他のコンピュータ装置に実行させた差分算出処理210の処理結果を取得する第1の取得処理、開発品についてのシミュレーション結果を取得する第2の取得処理、および加算処理220(或いは乗算処理740と加算処理220)を実行させるようにしても良い。
1a,1b…シミュレーション装置、10…制御部、20…ユーザインターフェース部、30…外部機器インターフェース部、40…記憶部、50…マイク、60…スピーカ、70…バス、90,90b…音声処理部、100,100b…解析部、110…部屋計測音解析処理(受聴点)、120…無響室計測解析処理(受聴点)、130…シミュレーション解析処理(受聴点)、200,200b…演算部、210…差分算出処理、220…加算処理、300,300b…反射音生成処理、400…現行品、410…部屋実測(受聴点)、420…無響室実測(受聴点)、430…無響室実測(発音指向軸上)、500…開発品、510…シミュレーション(受聴点)、520…シミュレーション(発音指向軸上)、640…無響室計測音解析処理(発音指向軸上)、650…シミュレーション解析処理(発音指向軸上)、730…機種補正係数算出処理、740…乗算処理。
Claims (5)
- 音響空間において第1の発音体を発音させた場合に当該音響空間内に定めた第1の受聴点へ到来した音から、無響室にて当該第1の発音体を発音させた場合に当該第1の発音体から見た相対位置が前記第1の受聴点の相対位置と一致するように当該無響室内に定められた第2の受聴点へ到来した音を減算する第1の演算を時間軸上または周波数軸上で行い、第1のデータを取得する第1の取得手段と、
第2の発音体を発音させたとした場合に前記第1の受聴点へ到来するであろう直達音を時間軸上または周波数軸上で表わすデータであって、前記第2の発音体の発音特性を模した仮想発音体についてのシミュレーションにより得られる第2のデータを取得する第2の取得手段と、
前記第1のデータの表す音波形と前記第2のデータの音波形とを時間軸上で加算する第2の演算を行って、前記第2の発音体を前記音響空間にて発音させたとした場合に前記第1の受聴点にて観測されるであろう直達音および反射音を表すデータを生成する加算手段と
を具備することを特徴とするシミュレーション装置。 - 前記第1の取得手段は、音響空間において第1の発音体を発音させた場合に当該音響空間内に定めた第1の受聴点へ到来した音のインパルス波形を表すデータと、無響室にて当該第1の発音体を発音させた場合に前記第2の受聴点へ到来した音のインパルス波形を表すデータとを取得し、両インパルス波形の最初のピークが重なるように両インパルス波形の時間軸を揃えつつ前者のデータから後者のデータを減算して前記第1のデータを取得する
ことを特徴とする請求項1に記載のシミュレーション装置。 - 前記第1の発音体と前記仮想発音体との発音特性の相違が解消されるように前記第1のデータを補正する補正手段を有し、
前記加算手段は、前記補正手段による補正後の第1のデータを用いて前記第2の演算を実行することを特徴とする請求項1または2に記載のシミュレーション装置。 - 前記補正手段は、
前記音響空間において前記仮想発音体を発音させた場合にその指向軸上の受聴点にて計測される音の伝達関数と、前記無響室において前記第1の発音体を発音させた場合にその指向軸上の受聴点にて計測される音の伝達関数との比を機種補正係数として前記第1のデータを補正する
ことを特徴とする請求項3に記載のシミュレーション装置。 - コンピュータを、
音響空間において第1の発音体を発音させた場合に当該音響空間内に定めた第1の受聴点へ到来した音から、無響室にて当該第1の発音体を発音させた場合に当該第1の発音体から見た相対位置が前記第1の受聴点の相対位置と一致するように当該無響室内に定められた第2の受聴点へ到来した音を減算する第1の演算を時間軸上または周波数軸上で行い、第1のデータを取得する第1の取得手段と、
第2の発音体を発音させたとした場合に前記第1の受聴点へ到来するであろう直達音を時間軸上または周波数軸上で表わすデータであって、前記第2の発音体の発音特性を模した仮想発音体についてのシミュレーションにより得られる第2のデータを取得する第2の取得手段と、
前記第1のデータの表す音波形と前記第2のデータの音波形とを時間軸上で加算する第2の演算を行って、前記第2の発音体を前記音響空間にて発音させたとした場合に前記第1の受聴点にて観測されるであろう直達音および反射音を表すデータを生成する加算手段
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012114928A JP5949139B2 (ja) | 2012-05-18 | 2012-05-18 | シミュレーション装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012114928A JP5949139B2 (ja) | 2012-05-18 | 2012-05-18 | シミュレーション装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013242206A true JP2013242206A (ja) | 2013-12-05 |
JP5949139B2 JP5949139B2 (ja) | 2016-07-06 |
Family
ID=49843225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012114928A Expired - Fee Related JP5949139B2 (ja) | 2012-05-18 | 2012-05-18 | シミュレーション装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5949139B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009116169A (ja) * | 2007-11-08 | 2009-05-28 | Yamaha Corp | シミュレーション装置およびプログラム |
-
2012
- 2012-05-18 JP JP2012114928A patent/JP5949139B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009116169A (ja) * | 2007-11-08 | 2009-05-28 | Yamaha Corp | シミュレーション装置およびプログラム |
Non-Patent Citations (2)
Title |
---|
JPN6016015987; Angelo Farina: 'Realisation of "virtual" musical instruments: measurements of the Impulse Response of Violins using' Proceedings of the 2nd International Conference on Acoustic and Musical Research (CIARM'95) Vol. 95, 199505, National Research Council of Italy * |
JPN6016015989; Jinhwan Koh: 'Free Space Radiation Pattern Reconstruction from Non-Anechoic Measurements Using an Impulse Response' IEEE TRANSACTIONS ON ANTENNAS AND PROPAGATION VOL. 60, NO. 2, 201202, p.821-831, IEEE * |
Also Published As
Publication number | Publication date |
---|---|
JP5949139B2 (ja) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2602787B1 (en) | Signal processing device | |
KR101521368B1 (ko) | 다중 채널 오디오 신호를 분해하는 방법, 장치 및 머신 판독가능 저장 매체 | |
Nielsen et al. | The single-and multichannel audio recordings database (SMARD) | |
JP6485711B2 (ja) | 音場再現装置および方法、並びにプログラム | |
EP1357536B1 (en) | Creating reverberation by estimation of impulse response | |
EP3121808B1 (en) | System for modeling characteristics of an electronic musical instrument | |
JP2007193129A (ja) | 共鳴音音像生成装置および記憶媒体 | |
Pérez Carrillo et al. | Method for measuring violin sound radiation based on bowed glissandi and its application to sound synthesis | |
JP2018106006A (ja) | 楽音生成装置および方法、電子楽器 | |
EP3121608A2 (en) | Method of modeling characteristics of a non linear system | |
US20160189731A1 (en) | Process and associated system for separating a specified audio component affected by reverberation and an audio background component from an audio mixture signal | |
JP7359164B2 (ja) | 音信号合成方法およびニューラルネットワークの訓練方法 | |
JP5397786B2 (ja) | かぶり音除去装置 | |
JP5949139B2 (ja) | シミュレーション装置、およびプログラム | |
JP5217875B2 (ja) | 音場支援装置、音場支援方法およびプログラム | |
EP2058795B1 (en) | Simulation apparatus and program | |
Deboy et al. | Tangential intensity algorithm for acoustic centering | |
JP6790659B2 (ja) | 音響処理装置および音響処理方法 | |
JP4274368B2 (ja) | インパルス応答測定装置及びインパルス応答測定方法 | |
JP2023062914A (ja) | 楽音信号合成方法、楽音信号合成装置およびプログラム | |
JP2023062930A (ja) | 楽音信号合成方法、楽音信号合成装置およびプログラム | |
JP5987365B2 (ja) | 伝達関数演算装置、およびプログラム | |
Ackermann | Dynamic Sound Sources for Virtual Acoustic Reality: Description, Implementation and Evaluation | |
JP2009080511A (ja) | インパルス応答測定装置及びインパルス応答測定方法 | |
CN116359843A (zh) | 声源定位方法、装置、智能设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160523 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5949139 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |