JP2004165775A - Sound input output apparatus - Google Patents
Sound input output apparatus Download PDFInfo
- Publication number
- JP2004165775A JP2004165775A JP2002326511A JP2002326511A JP2004165775A JP 2004165775 A JP2004165775 A JP 2004165775A JP 2002326511 A JP2002326511 A JP 2002326511A JP 2002326511 A JP2002326511 A JP 2002326511A JP 2004165775 A JP2004165775 A JP 2004165775A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- signal
- audio
- output
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、音声入出力装置に関する。
【0002】
【従来の技術】
近年、通信技術の発達により、様々な通話形態によって通話を行う装置が知られている。
【0003】
例えば、特許文献1では、三人の話者が同時に通話することが可能な携帯端末機が示されている。この携帯端末機は、PDC方式とPHS方式の2つの通信方式によって通信が可能であり、各通信方式毎にエコーキャンセラが設けられている。三人が同時に通話を行う場合、話者Aは話者Bと話者Cに対して、異なる通信方式を利用して回線を接続し、通話を行う。話者Bと話者Cとの間の通話は話者Aの携帯端末機を介して行われるが、異なる通信方式を利用して通話を行っているため、各通信方式毎に設けられたエコーキャンセラによって話者Bと話者Cの通話音声が遮断されることなく通話が可能である。
【0004】
【特許文献1】
特開2000−196736号公報
【0005】
【発明が解決しようとする課題】
一方、このような通話形態の多様化にともない、通話装置の構成も複雑化してきている。特に、通話装置の一機能を担う音声入出力装置はその代表例であり、ハウリング防止機能やエコーキャンセル機能等の搭載により、複雑化の程度も著しい。しかしながら、通話装置の使用に際して課される制約条件によっては、複雑な構成の音声入出力装置は使用できない場合がある。かといって、音声入出力装置の有する機能を省くことによって簡略化を行うと、通話品質が劣化して通話自体が困難となる。
【0006】
本発明は、前記の問題点を鑑み、簡易な構成で高品質な通話が可能な音声入出力装置の提供を目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するために、請求項1に記載の音声入出力装置は、話者の音声を入力して音声信号を生成する複数の音声入力手段の各々が、通話相手方の音声を出力する音声出力手段から等距離に配置され、複数の音声入力手段の各々が生成した各音声信号のレベルの偏差を算出し、これに基づいて送話信号を生成することで、話者の音声とともに音声入力手段に混入した、音声出力手段から出力された音声を、送話信号から除去する処理手段と、処理手段が生成した送話信号を通話相手方へ送信し、通話相手方から送信された受話信号を受信して音声出力手段へ出力する通信手段とを備えることを特徴とする。
【0008】
このように、請求項1の音声入出力装置では、話者の音声は通話相手方の音声を出力する音声出力手段から等距離に配置された、複数の音声入力手段から入力される。このとき、複数の音声入力手段は、音声出力手段から等距離に配置されているので、音声出力手段からの音声が各音声入力手段に入力されたとき、等しいレベルの音声信号となる。このため、処理手段が、各音声入力手段が生成した各音声信号のレベルの偏差を算出することで、音声出力手段からの音声に基づく音声信号成分が除去され、話者の音声に基づく送話信号が生成される。このようにして生成された送話信号には、エコーやハウリングの原因となる音声出力手段の出力した信号成分が含まれていないため、送話信号が通信手段によって通話相手方へ送信されたとき、通話相手方はクリアな音声にて話者の音声を聞くことができる。
【0009】
上述したように、請求項1の音声入出力装置によれば、エコーやハウリングの発生を防止することができ、簡易な構成で高品質な通話が可能となるのである。
【0010】
請求項2に記載のように、音声入力手段は2つ設けられ、音声入力手段の各々および音声出力手段は一直線上に配置されることが望ましい。これにより、エコーやハウリングの発生を防止しつつ、本音声入出力装置を小型化することができ、設置が容易となる。
【0011】
また、請求項3に記載の音声入出力装置は、話者の音声を入力して音声信号を生成する複数の音声入力手段と、通話相手方の音声を出力する音声出力手段と、音声出力手段から複数の音声入力手段に入力される音声による音声信号のレベルが等しくなるように、複数の音声入力手段が生成した音声信号の少なくとも一方を加工する加工手段と、加工手段による加工後に各音声信号のレベルの偏差を算出し、これに基づいて送話信号を生成することで、話者の音声とともに音声入力手段に混入した、音声出力手段から出力された音声を、送話信号から除去する処理手段と、処理手段が生成した送話信号を通話相手方へ送信し、通話相手方から送信された受話信号を受信して音声出力手段へ出力する通信手段とを備えることを特徴とする。
【0012】
このように、請求項3の音声入出力装置では、話者の音声は複数の音声入力手段から入力されるが、各音声入力手段が音声出力手段から等距離に配置されていない場合には、各音声入力手段は音声出力手段からの音声が入力されたとき、等しいレベルの音声信号を生成することができない。すなわち、各音声入力手段が生成した音声信号をそのまま利用するだけでは、処理手段は音声出力手段からの音声に基づく音声信号成分を除去することができない。また、各音声入力手段が音声出力手段から等距離に配置されていても、各音声入力手段の有するレベル特性や位相特性のばらつきが大きい場合には、各音声入力手段は音声出力手段からの音声が入力されたとき、等しいレベルの音声信号を生成することができず、処理手段は音声出力手段からの音声に基づく音声信号成分を十分に除去することはできない。さらには、例えば車室内の音響特性によっても、処理手段は音声出力手段からの音声に基づく音声信号成分を除去することができない場合がある。
【0013】
そこで、請求項3の音声入出力装置では、音声出力手段から各音声入力手段に入力される音声による音声信号のレベルが等しくなるように、各音声入力手段が生成した音声信号の少なくとも一方を加工手段によって加工し、加工後の各音声信号のレベルの偏差を算出して送話信号を生成する。これにより、各音声入力手段の配置、各音声入力手段の有するレベル特性や位相特性のばらつき、および車室内の音響特性によらず、音声出力手段からの音声に基づく音声信号成分を除去して、話者の音声に基づく送話信号を生成することが可能となる。
【0014】
請求項4に記載のように、加工手段は、音声信号のレベルを調整する機能を有することが望ましい。各音声入力手段の生成した音声信号のレベルを増幅して調整することにより、各音声入力手段の配置や、各音声入力手段の有するレベル特性のばらつき、および車室内の音響特性による音声信号のレベルの変動を容易に補正することが可能となる。
【0015】
請求項5に記載のように、加工手段は、音声信号の位相を調整する機能を有することが望ましい。これにより、各音声入力手段の配置、各音声入力手段の有する位相特性のばらつき、および車室内の音響特性による音声信号の位相の変動まで考慮した、高精度な補正が可能となる。
【0016】
請求項6に記載のように、処理手段が生成した送話信号を検出する検出手段と、検出手段の検出結果に基づいて、加工手段の動作を制御する制御手段とを備えることが望ましい。生成された送話信号のレベルを検出手段によって検出し、その検出結果に基づいて制御手段が加工手段の動作を制御することで、より高精度な音声信号の補正が可能となる。
【0017】
請求項7に記載のように、音声入出力装置は車両に搭載されて動作するものであり、音声入出力装置は、車両における車室の幅を車両の進行方向と平行に2等分する2等分線上に配置されることが望ましい。
【0018】
本音声入出力装置は、複数の音声入力手段が生成した各音声信号のレベルの偏差を算出することで、音声出力手段からの音声に基づく音声信号成分を除去する。しかしながら、話者が各音声入力手段から等距離に位置する場所から音声を発すると、話者の音声から各音声入力手段が生成する音声信号の各々のレベルが全て等しくなり、処理手段が各音声信号のレベルの偏差を算出する際に、話者の音声に基づく音声信号成分が除去されてしまう。本音声入出力装置を車両に搭載して動作させる際には、車両における車室の幅を車両の進行方向と平行に2等分する2等分線上に配置することで、話者が車内のどのシートに座って発話しても、話者から各音声入力手段までの距離が等しくならず、話者の音声に基づく音声信号成分が除去されることなく通話が可能となるのである。
【0019】
請求項8に記載のように、音声入出力装置は、車室内のルームライト、ルームミラー、マップランプ、もしくはオーバーヘッドモジュールのいずれかの車室の天井に取り付けられた機器に配置されることが望ましい。これにより、話者の音声に基づく音声信号成分が除去されることなく通話が可能であり、なおかつ、車室内の空間を有効に活用することができるのである。
【0020】
【発明の実施の形態】
(第1実施形態)
図1は、本発明の第1実施形態である音声入出力装置の全体構成を示すブロック図である。
【0021】
音声入力手段であるマイクA1およびマイクB2は、例えば小型のマイクロホンであり、話者の音声を入力して音声信号を生成する。音声出力手段であるスピーカ3は、例えば小型のスピーカであり、通話相手方の音声を出力する。なお、本実施形態におけるマイクA1とマイクB2とは、いずれもスピーカ3から距離dだけ離れて配置され、かつ、マイクA1とマイクB2とが、スピーカ3を間に挟んで一直線となるように配置されている。これにより、エコーやハウリングの発生を防止しつつ、本音声入出力装置を小型化することができ、設置が容易となるためである。
【0022】
なお、本音声入出力装置は、車両のルームライトの上方に設置される。これにより、話者がどのシートに座っていても、話者と各マイクとの距離が等しくならず、話者の音声に基づく音声信号成分が除去されることなく通話が可能となるのである(詳細については後述する)。さらには、車室内の空間を有効に活用することもできる。本音声入出力装置の設置場所としては、話者と各マイクとの間の距離が等しくならないような場所、すなわち、車室の幅を車両の進行方向と平行に2等分する2等分線上に設置するのであれば、何処に設置してもよい。
【0023】
処理手段である信号減算器4は、例えばオペアンプから構成され、マイクA1が生成した音声信号のレベルから、マイクB2が生成した音声信号のレベルを代数的に減算し、2つの音声信号におけるレベルの偏差を算出して送話信号を生成する。送話信号の生成に関しては、マイクB2が生成した音声信号のレベルからマイクA1が生成した音声信号のレベルを代数的に減算し、2つの音声信号におけるレベルの偏差を算出して送話信号を生成してもよい。また、音声信号のレベルの減算に関しては、例えばA/D変換器によってマイクA1およびマイクB2が生成した音声信号のレベルを一旦ディジタル化し、ディジタル減算回路によって減算を行うこととしても良い。また、信号減算器4によって、送信すべき話者の音声信号も減算され、その偏差のレベルが小さくなるため、信号減算器4の前段もしくは後段に増幅器を接続することが好ましい。
【0024】
通信手段である通信装置5は、例えば車載用無線機であり、信号減算器4が生成した送話信号を通話相手方へ送信する。また、通話相手方から送信された受話信号を受信してスピーカ3へ出力する。通話相手方との通信に関しては、例えばナビゲーション装置に搭載された通信機能を利用することとしても良いし、携帯電話の通信機能を利用することとしても良い。
【0025】
次に、第1実施形態の音声入出力装置が、送話信号を生成する処理を順に説明する。
【0026】
話者が発した音声は、マイクA1およびマイクB2から入力され、それぞれ音声信号が生成される。次に、信号減算器4は、マイクA1が生成した音声信号のレベルから、マイクB2が生成した音声信号のレベルを代数的に減算して、2つの音声信号のレベルの偏差を算出し、これを送話信号として生成する。本音声入出力装置は、車両のルームライトの上方に設置されていることから、話者が車室内のどのシートに座っていても、話者と各マイクとの間の距離は等しくならない。そのため、各マイクが生成する音声信号の話者の音声に基づく音声信号成分のレベルも等しくならず、信号減算器4が2つの音声信号のレベルを代数的に減算しても、話者の音声に基づく音声信号成分は除去されない。一方、スピーカ3と各マイクとは等距離に配置されているため、各マイクが生成する音声信号のスピーカ3から出力された音声に基づく音声信号成分のレベルは概ね等しくなり、信号減算器4が2つの音声信号のレベルを代数的に減算することによって、スピーカ3から出力された音声に基づく音声信号成分が除去されるのである。
【0027】
このように、本実施形態の音声入出力装置では、スピーカ3から等距離に配置されたマイクA1およびマイクB2が生成した各音声信号のレベルを代数的に減算し、2つの音声信号のレベルの偏差を送話信号として生成することにより、マイクA1およびマイクB2に混入した、スピーカ3から出力された音声を、送話信号から除去することができる。これにより、エコーやハウリングの発生を防止することができ、簡易な構成で高品質な通話が可能となるのである。
(第2実施形態)
図2は、本発明の第2実施形態である音声入出力装置の全体構成を示すブロック図である。図2に示すように、本実施形態では、上述の第1実施形態における音声入出力装置において、増幅器A6および増幅器B7、レベル検出器8、リモコン9、スイッチング回路10、ECU11を新たに設けた点が第1実施形態と異なる。
【0028】
加工手段である増幅器A6および増幅器B7は、増幅率を変更することが可能な可変増幅器であり、マイクA1およびマイクB2が生成した各音声信号のレベルを、設定された増幅率に従ってそれぞれ増幅する。各増幅器の増幅率は、ECU11によって変更される。音声信号のレベルの増幅に関しては、例えばA/D変換器によって一旦ディジタル信号に変換した後に増幅することとしても良い。
【0029】
検出手段であるレベル検出器8は、例えば信号計測器であり、信号減算器4が生成した送話信号のレベルを検出してECU11へ出力する。送話信号のレベルの検出に関しては、例えばA/D変換器によってディジタル信号に変換して検出することとしても良い。
【0030】
リモコン9は、例えばテンキーと機能キーとを備えた多機能リモコンであり、ECU11に対して増幅器A6と増幅器B7の増幅率の調整を行うよう指示する。増幅率の調整の指示に関しては、コンピュータから通信ネットワークを介して指示することとしてもよい。また、各増幅器に調整スイッチを設け、ユーザーもしくはサービスマンが手動で調整することとしてもよい。
【0031】
スイッチング回路10は、例えばフリップフロップ等から構成され、ECU11の指示に従ってスピーカ3の接続先を通信装置5側もしくはECU11側へ切り換える。スピーカ3の接続先の切り換えに関しては、例えば無接点リレーを用いて行うこととしてもよい。
【0032】
ECU11は、リモコン9から増幅器A6と増幅器B7の増幅率の調整を行うよう指示されると、スイッチング回路10に対してスピーカ3の接続先をECU11側へ切り換えるよう指示する。そして、テスト信号をスピーカ3へ出力し、レベル検出器8が検出した送話信号のレベルが所定値以下となるように、増幅器A6と増幅器B7の増幅率を変更する。これらの動作は、車両に搭載されたカーナビゲーション装置や通信装置等のCPUに行わせることとしてもよい。
【0033】
なお、本実施形態のマイクA1はスピーカ3から距離d1だけ離れて配置されており、マイクB2はスピーカ3から距離d2だけ離れて配置されている。
【0034】
その他の構成・動作については、前述の第1実施形態と同様なので、説明を省略する。
【0035】
図3は、第2実施形態の音声入出力装置が、増幅器A6と増幅器B7の増幅率を調整する処理のフローチャートである。本フローチャートの処理は、話者がリモコン9から各増幅器の増幅率の調整を行うよう指示するたびに実行される。
【0036】
ステップ301では、スイッチング回路10のスイッチをECU11側へ切り換える。ステップ302では、テスト信号の出力を開始する。テスト信号はTSP信号、正弦波、ホワイトノイズ、インパルスのいずれかでよく、スピーカ3から出力される。
【0037】
ステップ303では、所定時間だけウェイトし、テスト信号から送話信号が生成されるのを待つ。ステップ304では、ステップ302で出力したテスト信号に応じて、生成された送話信号のレベルを検出する。ステップ305では、ステップ304で検出した送話信号のレベルの絶対値が所定値K以下であるか否かを判定する。送話信号のレベルの絶対値が所定値K以下であれば、ステップ307へ進み、テスト信号の出力を終了する。その後、ステップ308にてスイッチング回路10のスイッチを通信装置5側へ切り換え、処理を終了する。一方、ステップ305で検出した送話信号のレベルの絶対値が所定値K以下でない場合は、ステップ306へ進み、増幅器A6もしくは増幅器B7の増幅率を、送話信号のレベルの絶対値がゼロに近づくように変更する。その後、ステップ303へ戻り、送話信号のレベルの絶対値が所定値K以下となるまで、上述の手順を繰り返す。
【0038】
このように、マイクA1およびマイクB2がスピーカ3から等距離に配置されていない場合、各マイクが生成する音声信号のうち、スピーカ3からの音声に基づく音声信号成分は等しいレベルとならず、信号減算器4はスピーカ3からの音声に基づく音声信号成分を送話信号から除去することができない。また、マイクA1およびマイクB2がスピーカ3から等距離に配置されていても、各マイクの有するレベル特性のばらつきが大きい場合には、スピーカ3からの音声に基づく音声信号成分は等しいレベルとならず、信号減算器4はスピーカ3からの音声に基づく音声信号成分を送話信号から十分に除去することはできない。さらには、例えば車室内の音響特性によっても、信号減算器4はスピーカ3からの音声に基づく音声信号成分を送話信号から除去することができない場合がある。そのため、スピーカ3からの音声に基づく音声信号成分のレベルが等しくなるように各増幅器の増幅率を調整し、増幅された各音声信号のレベルの偏差に基づいて送話信号を生成することで、各マイクの配置や、各マイクの有するレベル特性のばらつき、および車室内の音響特性によらず、スピーカ3からの音声に基づく音声信号成分を送話信号から除去することが可能となるのである。また、生成された送話信号をレベル検出器8によって検出し、検出結果に基づいてECU11が増幅器A6および増幅器B7の増幅率を変更することで、マイクA1およびマイクB2の配置や、各マイクのレベル特性のばらつき、および車室内の音響特性による音声信号のレベルの変動を高精度に補正することが可能となるのである。
【0039】
なお、本フローチャートの処理は、本音声入出力装置が使用されていない際に、一定時間毎に自動的に行うこととしても良い。また、本音声入出力装置を搭載した車両のディーラーや工場等で定期的に行うこととしてもよい。
【0040】
次に、第2実施形態の音声入出力装置が、送話信号を生成する処理を順に説明する。
【0041】
話者が発した音声は、マイクA1およびマイクB2から入力され、それぞれ音声信号が生成される。次に、増幅器A6および増幅器B7は、マイクA1およびマイクB2によって生成された音声信号を、図3のフローチャートの処理を実行することによって設定された増幅率に従って増幅する。信号減算器4は、増幅器A6によって増幅された音声信号のレベルから、増幅器B7によって増幅された音声信号のレベルを代数的に減算して、2つの音声信号のレベルの偏差を算出し、スピーカ3から出力された音声の音声信号成分を除去した送話信号を生成する。
【0042】
このように、本実施形態の音声入出力装置では、マイクA1およびマイクB2が生成した音声信号のレベルを増幅器A6および増幅器B7によってそれぞれ増幅し、増幅された各音声信号のレベルの偏差を信号減算器4によって算出して、送話信号を生成する。これにより、各マイクの配置や、各マイクのレベル特性のばらつき、および車室内の音響特性によらず、スピーカ3から出力された音声を送話信号から除去することが可能となるのである。なお、各マイクとスピーカとの距離は等距離であっても良い。また、増幅器は1つだけ設けることとし、どちから一方の音声信号を増幅することとしても良い。
(第3実施形態)
図4は、本発明の第3実施形態である音声入出力装置の全体構成を示すブロック図である。図4に示すように、本実施形態では、上述の第2実施形態における音声入出力装置において、増幅器A6および増幅器B7に代えて波形成形器A12および波形成形器B13をそれぞれ設け、さらに、レベル検出器8に代えて波形検出器14を設けた点が第2実施形態と異なる。
【0043】
波形成形器A12および波形成形器B13は、マイクA1およびマイクB2が生成した各音声信号の波形を、設定された成形パラメータに従って成形し、各音声信号のレベルおよび位相を成形パラメータに従って変更する。各波形成形器の成形パラメータは可変であり、ECU11によって変更される。音声信号のレベルや位相の変更に関しては、例えばA/D変換器によって音声信号をディジタル信号に変換し、z変換、wavelet変換等により行うこととしても良い。
【0044】
波形検出器14は、例えば信号計測器であり、信号減算器4が生成した送話信号の波形を検出する。送話信号の波形の検出に関しては、例えばA/D変換器によってディジタル信号に変換して検出することとしてもよい。
【0045】
本実施形態のリモコン9は、ECU11に対して波形成形器A12と波形成形器B13の成形パラメータの調整を行うよう指示する。
【0046】
本実施形態のECU11は、リモコン9から波形成形器A12と波形成形器B13の成形パラメータの調整を行うよう指示されると、スイッチング回路10に対してスピーカ3の接続先をECU11側へ切り換えるよう指示する。そして、テスト信号をスピーカ3へ出力し、波形検出器14が検出した送話信号の波形と、テスト信号の波形との偏差が所定値よりも小さくなるように、波形成形器A12と波形成形器B13の成形パラメータを変更する。
【0047】
その他の構成・動作については、前述の第2実施形態と同様なので、説明を省略する。
【0048】
図5は、第3実施形態の音声入出力装置が、波形成形器A12と波形成形器B13の成形パラメータを調整する処理のフローチャートである。図5に示すように、本実施形態のフローチャートでは、前述の第2実施形態における図3のフローチャートにおいて、生成された送話信号のレベルを検出するステップに代わり、生成された送話信号の波形を検出するステップを設け、送話信号のレベルの絶対値が所定値K以下であるか否かを判定するステップに代わり、送話信号の波形とテスト信号の波形との偏差が所定値Lよりも小さくなるか否かを判定するステップを設ける。また、増幅器A6もしくは増幅器B7の増幅率を変更するステップに代わり、波形成形器A12もしくは波形成形器B13の成形パラメータを変更するステップを設ける。換言すれば、ステップ504、505、506以外の全ての処理は、前述の第2実施形態における図3のフローチャートの処理と同様であり、その説明は省略する。なお、本フローチャートの処理は、話者がリモコン9から各波形成形器の成形パラメータを調整するよう指示するたびに実行される。
【0049】
ステップ504では、生成された送話信号の波形を検出する。ステップ505では、ステップ504で検出した送話信号の波形と、ステップ502で出力したテスト信号の波形との偏差を算出し、これが所定値L以下であるか否かを判定する。送話信号の波形とテスト信号の波形との偏差が所定値L以下でない場合は、ステップ506へ進み、波形成形器A12および波形成形器B13の成形パラメータを、送話信号の波形とテスト信号の波形との偏差が小さくなるように変更する。その後、ステップ503へ戻り、送話信号の波形とテスト信号の波形との偏差が所定値L以下となるまで、上述の手順を繰り返す。
【0050】
このように、生成された送話信号を波形検出器14によって検出し、検出結果に基づいてECU11が波形成形器A12および波形成形器B13の成形パラメータを変更することで、各マイクの配置や、各マイクのレベル特性および位相特性のばらつき、および車室内の音響特性による音声信号のレベルおよび位相の変動を、より高精度に補正することが可能となるのである。
【0051】
なお、本フローチャートの処理は、本音声入出力装置が使用されていない際に、一定時間毎に自動的に行うこととしても良い。また、本音声入出力装置を搭載した車両のディーラーや工場等で定期的に行うこととしてもよい。
【0052】
次に、第3実施形態の音声入出力装置が、送話信号を生成する処理を順に説明する。
【0053】
話者が発した音声は、マイクA1およびマイクB2から入力され、それぞれ音声信号が生成される。次に、波形成形器A12および波形成形器B13は、マイクA1およびマイクB2によって生成された音声信号の波形を、図5のフローチャートの処理を実行することによって設定された成形パラメータに従って、成形する。信号減算器4は、波形成形器A12によって成形された音声信号のレベルから、波形成形器B13によって成形された音声信号のレベルを減算して、2つの音声信号のレベルの偏差を算出し、スピーカ3から出力された音声の音声信号成分を除去した送話信号を生成する。
【0054】
このように、本実施形態の音声入出力装置では、各マイクが生成した音声信号の波形を波形成形器A12および波形成形器B13によってそれぞれ成形し、信号減算器4は成形された各音声信号のレベルの偏差を算出して送話信号を生成する。これにより、各マイクの配置や、各マイクのレベル特性のばらつき、および車室内の音響特性によらず、スピーカ3から出力された音声を、より高い精度で送話信号から除去することが可能となるのである。また、波形成形器は1つだけ設けることとし、どちから一方の音声信号の波形を成形することとしても良い。
【0055】
なお、上述した各実施形態において、信号減算器4の後段にエコーキャンセラやハウリング防止回路等を設けてもよい。これにより、本音声入出力装置の構成は複雑化するが、より高品質な通話を行うことが可能となる。また、マイクは3つ以上あっても良いし、スピーカも複数あってもよい。
【0056】
さらに、上述した各実施形態は、それぞれ単独で用いても良いし、複合して用いても良いことは言うまでもない。
【図面の簡単な説明】
【図1】本発明の第1実施形態である音声入出力装置の全体構成を示すブロック図である。
【図2】本発明の第2実施形態である音声入出力装置の全体構成を示すブロック図である。
【図3】第2実施形態の音声入出力装置が、増幅器Aと増幅器Bの増幅率を調整する処理のフローチャートである。
【図4】本発明の第3実施形態である音声入出力装置の全体構成を示すブロック図である。
【図5】第3実施形態の音声入出力装置が、波形成形器Aと波形成形器Bの成形パラメータを調整する処理のフローチャートである
【符号の説明】
1…マイクA、2…マイクB、3…スピーカ、4…信号減算器、5…通信装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a voice input / output device.
[0002]
[Prior art]
2. Description of the Related Art In recent years, with the development of communication technology, devices that perform communication in various communication modes are known.
[0003]
For example,
[0004]
[Patent Document 1]
JP 2000-196736 A
[0005]
[Problems to be solved by the invention]
On the other hand, with the diversification of such communication modes, the configuration of the communication apparatus has become complicated. In particular, a voice input / output device that performs one function of a communication device is a typical example, and the degree of complexity is remarkable due to the installation of a howling prevention function, an echo cancellation function, and the like. However, a voice input / output device having a complicated configuration may not be used depending on restrictions imposed when using the communication device. On the other hand, if the simplification is performed by omitting the functions of the voice input / output device, the call quality deteriorates and the call itself becomes difficult.
[0006]
The present invention has been made in view of the above problems, and has as its object to provide a voice input / output device capable of performing high-quality communication with a simple configuration.
[0007]
[Means for Solving the Problems]
To achieve the above object, the voice input / output device according to
[0008]
As described above, in the voice input / output device according to the first aspect, the voice of the speaker is input from the plurality of voice input units that are arranged equidistant from the voice output unit that outputs the voice of the other party. At this time, since the plurality of voice input units are arranged at the same distance from the voice output unit, when the voice from the voice output unit is input to each voice input unit, the voice signal has the same level. For this reason, the processing means calculates the deviation of the level of each audio signal generated by each audio input means, so that the audio signal component based on the audio from the audio output means is removed, and the transmission based on the voice of the speaker is performed. A signal is generated. Since the transmission signal generated in this manner does not include a signal component output from the audio output unit that causes echo or howling, when the transmission signal is transmitted to the other party by the communication unit, The other party can hear the speaker's voice in clear voice.
[0009]
As described above, according to the voice input / output device of the first aspect, it is possible to prevent the occurrence of echo and howling, and to achieve a high-quality call with a simple configuration.
[0010]
As described in
[0011]
Further, the voice input / output device according to
[0012]
As described above, in the voice input / output device according to the third aspect, the voice of the speaker is input from the plurality of voice input units, but when each voice input unit is not arranged at the same distance from the voice output unit, Each audio input means cannot generate an equal level audio signal when audio is input from the audio output means. That is, the processing means cannot remove the sound signal component based on the sound from the sound output means only by using the sound signal generated by each sound input means as it is. Further, even if each voice input means is arranged at the same distance from the voice output means, if the level characteristics and phase characteristics of each voice input means have large variations, each voice input means outputs the voice from the voice output means. Is input, an audio signal of the same level cannot be generated, and the processing means cannot sufficiently remove the audio signal component based on the audio from the audio output means. Furthermore, the processing means may not be able to remove the audio signal component based on the sound from the sound output means, for example, due to the acoustic characteristics of the vehicle interior.
[0013]
Therefore, in the voice input / output device according to the third aspect, at least one of the voice signals generated by the voice input means is processed so that the level of the voice signal by voice input from the voice output means to each voice input means is equal. The voice signal is processed by the means, and the deviation of the level of each processed voice signal is calculated to generate a transmission signal. Thereby, regardless of the arrangement of each voice input unit, the variation in the level characteristics and phase characteristics of each voice input unit, and the acoustic characteristics in the cabin, the voice signal component based on the voice from the voice output unit is removed, It is possible to generate a transmission signal based on the voice of the speaker.
[0014]
Preferably, the processing means has a function of adjusting the level of the audio signal. By amplifying and adjusting the level of the audio signal generated by each audio input unit, the arrangement of each audio input unit, the variation in the level characteristics of each audio input unit, and the level of the audio signal due to the acoustic characteristics of the vehicle interior Can be easily corrected.
[0015]
It is preferable that the processing means has a function of adjusting the phase of the audio signal. As a result, highly accurate correction can be performed in consideration of the arrangement of the voice input units, the variation in the phase characteristics of the voice input units, and the variation in the phase of the voice signal due to the acoustic characteristics of the vehicle interior.
[0016]
As described in
[0017]
According to a seventh aspect of the present invention, the voice input / output device operates while being mounted on a vehicle. The voice input / output device divides a width of a cabin of the vehicle into two equal parts in parallel with a traveling direction of the vehicle. Desirably, they are arranged on an equal line.
[0018]
The voice input / output device removes a voice signal component based on voice from the voice output means by calculating a deviation of the level of each voice signal generated by the plurality of voice input means. However, when the speaker emits a sound from a place located at an equal distance from each voice input means, the level of each of the voice signals generated by each voice input means from the speaker's voice becomes equal, and the processing means When calculating the signal level deviation, a voice signal component based on the voice of the speaker is removed. When the present voice input / output device is mounted on a vehicle and operated, the width of the cabin of the vehicle is arranged on a bisector that is bisected in parallel with the traveling direction of the vehicle, so that the speaker can move inside the vehicle. No matter which seat you speak, the distance from the speaker to each voice input means will not be equal, and it will be possible to talk without removing the voice signal component based on the voice of the speaker.
[0019]
As described in claim 8, the voice input / output device is desirably disposed on a device mounted on the ceiling of the vehicle compartment, such as a room light, a room mirror, a map lamp, or an overhead module. . As a result, a call can be made without removing a voice signal component based on the voice of the speaker, and the space in the vehicle compartment can be effectively utilized.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
(1st Embodiment)
FIG. 1 is a block diagram showing an overall configuration of a voice input / output device according to a first embodiment of the present invention.
[0021]
The microphones A1 and B2, which are voice input means, are, for example, small microphones, and generate voice signals by inputting the voice of the speaker. The
[0022]
The voice input / output device is installed above the room light of the vehicle. As a result, no matter which seat the speaker sits on, the distance between the speaker and each microphone is not equal, and a voice call can be made without removing a voice signal component based on the voice of the speaker ( Details will be described later). Furthermore, the space in the vehicle compartment can be effectively utilized. The location of the voice input / output device is such that the distance between the speaker and each microphone is not equal, that is, on a bisector that divides the width of the cabin into two in parallel with the traveling direction of the vehicle. If it is installed in any location, it may be installed anywhere.
[0023]
The signal subtractor 4 as a processing means is composed of, for example, an operational amplifier, and algebraically subtracts the level of the audio signal generated by the microphone B2 from the level of the audio signal generated by the microphone A1, and calculates the level of the two audio signals. The transmission signal is generated by calculating the deviation. Regarding the generation of the transmission signal, the level of the audio signal generated by the microphone A1 is algebraically subtracted from the level of the audio signal generated by the microphone B2, and the level difference between the two audio signals is calculated to calculate the transmission signal. May be generated. As for the subtraction of the level of the audio signal, for example, the level of the audio signal generated by the microphones A1 and B2 may be digitized once by the A / D converter, and the subtraction may be performed by the digital subtraction circuit. Since the signal of the speaker to be transmitted is also subtracted by the signal subtractor 4 and the level of the deviation is reduced, it is preferable to connect an amplifier before or after the signal subtractor 4.
[0024]
The
[0025]
Next, a process in which the voice input / output device of the first embodiment generates a transmission signal will be described in order.
[0026]
The voice uttered by the speaker is input from the microphone A1 and the microphone B2, and a voice signal is generated. Next, the signal subtractor 4 algebraically subtracts the level of the audio signal generated by the microphone B2 from the level of the audio signal generated by the microphone A1, and calculates a deviation between the levels of the two audio signals. Is generated as a transmission signal. Since the present voice input / output device is installed above the room light of the vehicle, the distance between the speaker and each microphone is not equal even if the speaker is sitting on any seat in the vehicle interior. Therefore, the level of the audio signal component based on the speaker's voice of the audio signal generated by each microphone is not equal, and even if the signal subtractor 4 algebraically subtracts the levels of the two audio signals, the speaker's voice is Is not removed. On the other hand, since the
[0027]
As described above, in the audio input / output device of the present embodiment, the levels of the audio signals generated by the microphones A1 and B2 arranged at the same distance from the
(2nd Embodiment)
FIG. 2 is a block diagram showing an overall configuration of a voice input / output device according to a second embodiment of the present invention. As shown in FIG. 2, the present embodiment is different from the first embodiment in that an amplifier A6 and an amplifier B7, a level detector 8, a
[0028]
The amplifiers A6 and B7, which are processing means, are variable amplifiers capable of changing the amplification factor, and amplify the levels of the respective audio signals generated by the microphones A1 and B2 according to the set amplification factors. The amplification factor of each amplifier is changed by the
[0029]
The level detector 8 serving as a detecting unit is, for example, a signal measuring device, and detects the level of the transmission signal generated by the signal subtractor 4 and outputs the level to the
[0030]
The
[0031]
The switching
[0032]
When instructed by the
[0033]
Note that the microphone A1 of this embodiment is arranged at a distance d1 from the
[0034]
Other configurations and operations are the same as those of the above-described first embodiment, and a description thereof will not be repeated.
[0035]
FIG. 3 is a flowchart of a process in which the audio input / output device of the second embodiment adjusts the amplification factors of the amplifiers A6 and B7. The process of this flowchart is executed every time the speaker gives an instruction from the
[0036]
In
[0037]
In
[0038]
As described above, when the microphone A1 and the microphone B2 are not arranged at the same distance from the
[0039]
Note that the processing of this flowchart may be automatically performed at regular intervals when the audio input / output device is not used. Further, it may be performed periodically at a dealer or a factory of a vehicle equipped with the voice input / output device.
[0040]
Next, a process in which the voice input / output device of the second embodiment generates a transmission signal will be described in order.
[0041]
The voice uttered by the speaker is input from the microphone A1 and the microphone B2, and a voice signal is generated. Next, the amplifiers A6 and B7 amplify the audio signals generated by the microphones A1 and B2 according to the amplification factor set by executing the processing of the flowchart of FIG. The signal subtractor 4 algebraically subtracts the level of the audio signal amplified by the amplifier B7 from the level of the audio signal amplified by the amplifier A6, calculates a deviation between the levels of the two audio signals, and To generate a transmission signal from which the audio signal component of the audio output from is removed.
[0042]
As described above, in the audio input / output device of the present embodiment, the levels of the audio signals generated by the microphones A1 and B2 are amplified by the amplifiers A6 and B7, respectively, and the difference between the levels of the amplified audio signals is subtracted. The transmission signal is calculated by the calculator 4. This makes it possible to remove the sound output from the
(Third embodiment)
FIG. 4 is a block diagram showing an overall configuration of a voice input / output device according to a third embodiment of the present invention. As shown in FIG. 4, in the present embodiment, in the audio input / output device according to the above-described second embodiment, a waveform shaper A12 and a waveform shaper B13 are provided instead of the amplifier A6 and the amplifier B7, respectively. The difference from the second embodiment is that a
[0043]
The waveform shaper A12 and the waveform shaper B13 shape the waveform of each audio signal generated by the microphones A1 and B2 according to the set shaping parameters, and change the level and phase of each audio signal according to the shaping parameters. The molding parameters of each waveform shaper are variable, and are changed by the
[0044]
The
[0045]
The
[0046]
When instructed by the
[0047]
Other configurations and operations are the same as those in the above-described second embodiment, and thus description thereof is omitted.
[0048]
FIG. 5 is a flowchart of a process in which the voice input / output device of the third embodiment adjusts the shaping parameters of the waveform shapers A12 and B13. As shown in FIG. 5, in the flowchart of this embodiment, the waveform of the generated transmission signal is replaced with the step of detecting the level of the generated transmission signal in the flowchart of FIG. 3 in the second embodiment. And a step of determining whether or not the absolute value of the level of the transmission signal is equal to or less than a predetermined value K is performed, and the deviation between the waveform of the transmission signal and the waveform of the test signal is smaller than the predetermined value L. And a step of determining whether or not the size is also reduced. Further, instead of changing the amplification factor of the amplifier A6 or B7, a step of changing the shaping parameters of the waveform shaper A12 or B13 is provided. In other words, all the processes other than
[0049]
In
[0050]
In this way, the generated transmission signal is detected by the
[0051]
Note that the processing of this flowchart may be automatically performed at regular intervals when the audio input / output device is not used. Further, it may be performed periodically at a dealer or a factory of a vehicle equipped with the voice input / output device.
[0052]
Next, a process in which the voice input / output device of the third embodiment generates a transmission signal will be described in order.
[0053]
The voice uttered by the speaker is input from the microphone A1 and the microphone B2, and a voice signal is generated. Next, the waveform shaper A12 and the waveform shaper B13 shape the waveform of the audio signal generated by the microphones A1 and B2 according to the shaping parameters set by executing the processing of the flowchart of FIG. The signal subtracter 4 subtracts the level of the audio signal shaped by the waveform shaper B13 from the level of the audio signal shaped by the waveform shaper A12 to calculate the deviation between the levels of the two audio signals, and A speech signal from which the speech signal component of the speech output from the
[0054]
As described above, in the audio input / output device of the present embodiment, the waveform of the audio signal generated by each microphone is shaped by the waveform shaper A12 and the waveform shaper B13, and the signal subtractor 4 outputs the waveform of each shaped audio signal. The transmission signal is generated by calculating the level deviation. This makes it possible to remove the voice output from the
[0055]
In each of the above-described embodiments, an echo canceller, a howling prevention circuit, or the like may be provided after the signal subtractor 4. As a result, the configuration of the voice input / output device is complicated, but it is possible to perform higher quality communication. Further, three or more microphones may be provided, and a plurality of speakers may be provided.
[0056]
Furthermore, it goes without saying that each of the above-described embodiments may be used alone or in combination.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an overall configuration of a voice input / output device according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating an overall configuration of a voice input / output device according to a second embodiment of the present invention.
FIG. 3 is a flowchart of a process in which the audio input / output device of the second embodiment adjusts the amplification factors of an amplifier A and an amplifier B.
FIG. 4 is a block diagram showing an overall configuration of a voice input / output device according to a third embodiment of the present invention.
FIG. 5 is a flowchart of a process in which the voice input / output device of the third embodiment adjusts shaping parameters of the waveform shapers A and B.
[Explanation of symbols]
DESCRIPTION OF
Claims (8)
前記複数の音声入力手段の各々が生成した各音声信号のレベルの偏差を算出し、これに基づいて送話信号を生成することで、前記話者の音声とともに前記音声入力手段に混入した、前記音声出力手段から出力された音声を、前記送話信号から除去する処理手段と、
前記処理手段が生成した送話信号を通話相手方へ送信し、前記通話相手方から送信された受話信号を受信して前記音声出力手段へ出力する通信手段とを備えることを特徴とする音声入出力装置。Each of a plurality of voice input means for inputting a speaker's voice and generating a voice signal is disposed equidistant from a voice output means for outputting a voice of the other party,
Calculating the deviation of the level of each audio signal generated by each of the plurality of audio input means, by generating a transmission signal based on this, mixed with the audio of the speaker into the audio input means, Processing means for removing the sound output from the sound output means from the transmission signal;
Communication means for transmitting the transmission signal generated by the processing means to the other party, receiving the reception signal transmitted from the other party, and outputting the received signal to the voice output means. .
通話相手方の音声を出力する音声出力手段と、
前記音声出力手段から前記複数の音声入力手段に入力される音声による音声信号のレベルが等しくなるように、前記複数の音声入力手段が生成した音声信号の少なくとも一方を加工する加工手段と、
前記加工手段による加工後に各音声信号のレベルの偏差を算出し、これに基づいて送話信号を生成することで、前記話者の音声とともに前記音声入力手段に混入した、前記音声出力手段から出力された音声を、前記送話信号から除去する処理手段と、
前記処理手段が生成した送話信号を通話相手方へ送信し、前記通話相手方から送信された受話信号を受信して前記音声出力手段へ出力する通信手段とを備えることを特徴とする音声入出力装置。A plurality of voice input means for inputting a speaker's voice to generate a voice signal;
Voice output means for outputting the voice of the other party;
Processing means for processing at least one of the audio signals generated by the plurality of audio input means, so that the level of the audio signal by the audio input to the plurality of audio input means from the audio output means is equal,
After processing by the processing means, the level deviation of each audio signal is calculated, and a transmission signal is generated based on the calculated deviation, so that the output from the voice output means mixed with the voice of the speaker into the voice input means is output. Processing means for removing the speech from the transmission signal;
Communication means for transmitting the transmission signal generated by the processing means to the other party, receiving the reception signal transmitted from the other party, and outputting the received signal to the voice output means. .
前記検出手段の検出結果に基づいて、前記加工手段の動作を制御する制御手段とを備えることを特徴とする請求項3記載の音声入出力装置。Detecting means for detecting the transmission signal generated by the processing means;
4. The voice input / output device according to claim 3, further comprising control means for controlling an operation of said processing means based on a detection result of said detection means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002326511A JP4161685B2 (en) | 2002-11-11 | 2002-11-11 | Audio input / output device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002326511A JP4161685B2 (en) | 2002-11-11 | 2002-11-11 | Audio input / output device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004165775A true JP2004165775A (en) | 2004-06-10 |
JP4161685B2 JP4161685B2 (en) | 2008-10-08 |
Family
ID=32805406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002326511A Expired - Fee Related JP4161685B2 (en) | 2002-11-11 | 2002-11-11 | Audio input / output device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4161685B2 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007116494A (en) * | 2005-10-21 | 2007-05-10 | Yamaha Corp | Voice conference apparatus |
JP2007129486A (en) * | 2005-11-02 | 2007-05-24 | Yamaha Corp | Audio signal transmitter-receiver |
JP2007129487A (en) * | 2005-11-02 | 2007-05-24 | Yamaha Corp | Audio signal transmitting and receiving device |
JP2007142595A (en) * | 2005-11-15 | 2007-06-07 | Yamaha Corp | Remote conference device |
JP2007251782A (en) * | 2006-03-17 | 2007-09-27 | Yamaha Corp | Sound-emitting and collecting apparatus |
US8135143B2 (en) | 2005-11-15 | 2012-03-13 | Yamaha Corporation | Remote conference apparatus and sound emitting/collecting apparatus |
US8238584B2 (en) | 2005-11-02 | 2012-08-07 | Yamaha Corporation | Voice signal transmitting/receiving apparatus |
US8447590B2 (en) | 2006-06-29 | 2013-05-21 | Yamaha Corporation | Voice emitting and collecting device |
US8565464B2 (en) | 2005-10-27 | 2013-10-22 | Yamaha Corporation | Audio conference apparatus |
WO2014203380A1 (en) * | 2013-06-20 | 2014-12-24 | 株式会社トランストロン | Handsfree telephone conversation assist apparatus and handsfree telephone conversation assist system |
JP2018014588A (en) * | 2016-07-20 | 2018-01-25 | ホシデン株式会社 | Hands-free call device for emergency reporting system |
-
2002
- 2002-11-11 JP JP2002326511A patent/JP4161685B2/en not_active Expired - Fee Related
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007116494A (en) * | 2005-10-21 | 2007-05-10 | Yamaha Corp | Voice conference apparatus |
US8855286B2 (en) | 2005-10-27 | 2014-10-07 | Yamaha Corporation | Audio conference device |
US8565464B2 (en) | 2005-10-27 | 2013-10-22 | Yamaha Corporation | Audio conference apparatus |
US8238584B2 (en) | 2005-11-02 | 2012-08-07 | Yamaha Corporation | Voice signal transmitting/receiving apparatus |
JP2007129487A (en) * | 2005-11-02 | 2007-05-24 | Yamaha Corp | Audio signal transmitting and receiving device |
JP2007129486A (en) * | 2005-11-02 | 2007-05-24 | Yamaha Corp | Audio signal transmitter-receiver |
US8135143B2 (en) | 2005-11-15 | 2012-03-13 | Yamaha Corporation | Remote conference apparatus and sound emitting/collecting apparatus |
JP2007142595A (en) * | 2005-11-15 | 2007-06-07 | Yamaha Corp | Remote conference device |
JP2007251782A (en) * | 2006-03-17 | 2007-09-27 | Yamaha Corp | Sound-emitting and collecting apparatus |
US8447590B2 (en) | 2006-06-29 | 2013-05-21 | Yamaha Corporation | Voice emitting and collecting device |
WO2014203380A1 (en) * | 2013-06-20 | 2014-12-24 | 株式会社トランストロン | Handsfree telephone conversation assist apparatus and handsfree telephone conversation assist system |
CN105340250A (en) * | 2013-06-20 | 2016-02-17 | 日本创世通有限公司 | Handsfree telephone conversation assist apparatus and handsfree telephone conversation assist system |
JPWO2014203380A1 (en) * | 2013-06-20 | 2017-02-23 | 株式会社トランストロン | Hands-free call assistance device and hands-free call assistance system |
JP2018014588A (en) * | 2016-07-20 | 2018-01-25 | ホシデン株式会社 | Hands-free call device for emergency reporting system |
Also Published As
Publication number | Publication date |
---|---|
JP4161685B2 (en) | 2008-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4955676B2 (en) | Acoustic beam forming apparatus and method | |
EP1748636B1 (en) | Improved communication in passenger compartments | |
JP4568439B2 (en) | Echo suppression device | |
JP2009171315A (en) | Sound signal transmitter-receiver | |
JP4161685B2 (en) | Audio input / output device | |
JP2009124540A (en) | Vehicle call device, and calling method | |
JP2006270601A (en) | Hands-free calling device | |
JPH09331377A (en) | Noise cancellation circuit | |
JP6821126B2 (en) | Noise removal device, noise removal method and noise removal program | |
US20150350398A1 (en) | Remote tuning and diagnostic interface for hands-free systems | |
JP2004128751A (en) | Hands-free speech device and program for hands-free speech | |
JPH04108246A (en) | Hand-free telephone set | |
JPH07321729A (en) | Communication equipment | |
JP2005247181A (en) | Vehicle-mounted handsfree system | |
JP5985172B2 (en) | Acoustic feedback suppression device | |
JP2005328116A (en) | On-vehicle system | |
JP2002009677A (en) | Acoustic echo canceller | |
JP3813751B2 (en) | Hands-free communication device for vehicles | |
JPH08307501A (en) | Background noise canceler | |
JP2010252375A (en) | Voice signal transmitting/receiving apparatus | |
EP2095362B1 (en) | Telephone device to cancel background noise at the speaker | |
JP2010016478A (en) | Voice communication apparatus | |
JPH11327591A (en) | Speech speed conversion handsfree unit and telephone call system | |
JP2004309536A (en) | Speech processing unit | |
JP2007258951A (en) | Teleconference equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080714 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |