JP2003303093A - 音声入力装置 - Google Patents
音声入力装置Info
- Publication number
- JP2003303093A JP2003303093A JP2003044547A JP2003044547A JP2003303093A JP 2003303093 A JP2003303093 A JP 2003303093A JP 2003044547 A JP2003044547 A JP 2003044547A JP 2003044547 A JP2003044547 A JP 2003044547A JP 2003303093 A JP2003303093 A JP 2003303093A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- lip portion
- voice
- image
- voice input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 安定した音声入力を達成すること。
【解決手段】 音声入力装置は、話者によって発声され
た入力音声を電気信号に変換して、その電気信号を出力
する音声入力部１と、その話者の口唇部分の位置と所定
の位置との間の空間的なずれを示す情報を表示する表示
部２とを備えている。
た入力音声を電気信号に変換して、その電気信号を出力
する音声入力部１と、その話者の口唇部分の位置と所定
の位置との間の空間的なずれを示す情報を表示する表示
部２とを備えている。
Description
【０００１】
【発明の属する技術分野】本発明は、音声入力装置に関
し、特に、音声認識装置などの装置に安定した音声信号
を供給する音声入力装置に関する。
し、特に、音声認識装置などの装置に安定した音声信号
を供給する音声入力装置に関する。
【０００２】
【従来の技術】音声認識装置に音声を入力する場合、音
声入力装置として、ほとんどの場合マイクロフォンが使
用される。マイクロフォンの種類としては、手持ち型、
卓上型、ネクタイピン型、接話型（電話交換手などによ
って使用される頭に固定するタイプのもの）、受話器型
などがある。これらのマイクロフォンのうち、接話型又
は受話器型のマイクロフォンを使用した場合には、比較
的良好な音声認識性能が得られる。接話型又は受話器型
のマイクロフォンは、口とマイクロフォンとの間の距離
が近いからである。
声入力装置として、ほとんどの場合マイクロフォンが使
用される。マイクロフォンの種類としては、手持ち型、
卓上型、ネクタイピン型、接話型（電話交換手などによ
って使用される頭に固定するタイプのもの）、受話器型
などがある。これらのマイクロフォンのうち、接話型又
は受話器型のマイクロフォンを使用した場合には、比較
的良好な音声認識性能が得られる。接話型又は受話器型
のマイクロフォンは、口とマイクロフォンとの間の距離
が近いからである。
【０００３】また、他の音声入力装置として、マイクロ
フォンとテレビカメラとを用いて、音声と口唇部分の画
像あるいは顔画像とを取り込む装置が知られている（特
開昭６０−１８８９９８号公報、特開昭６２−２３９２
３１号公報など）。これらの装置は、口唇部分の画像を
用いることにより、音声認識性能をさらに向上させるこ
とを狙ったものである。
フォンとテレビカメラとを用いて、音声と口唇部分の画
像あるいは顔画像とを取り込む装置が知られている（特
開昭６０−１８８９９８号公報、特開昭６２−２３９２
３１号公報など）。これらの装置は、口唇部分の画像を
用いることにより、音声認識性能をさらに向上させるこ
とを狙ったものである。
【０００４】図５は、音声認識装置用の従来の音声入力
装置の構成を示す。図５において、話者が発声した音声
は、マイクロフォンなどの音声入力部１１０によって音
声−電気変換され、その電気信号は音声認識装置に出力
される。また、話者の顔画像は、画像入力部１２０によ
って画像信号に変換される。口唇画像抽出部１３０は、
この画像信号から口唇部分に対応する信号を抽出して、
口唇部分に対応する信号のみを音声認識装置に出力す
る。
装置の構成を示す。図５において、話者が発声した音声
は、マイクロフォンなどの音声入力部１１０によって音
声−電気変換され、その電気信号は音声認識装置に出力
される。また、話者の顔画像は、画像入力部１２０によ
って画像信号に変換される。口唇画像抽出部１３０は、
この画像信号から口唇部分に対応する信号を抽出して、
口唇部分に対応する信号のみを音声認識装置に出力す
る。
【０００５】
【発明が解決しようとする課題】従来の音声入力装置
は、話者の口唇部分とマイクロフォンとの間の距離が一
定に保たれないため、安定した音声信号を音声認識装置
に供給することができないという問題点があった。この
ため、音声認識装置において、話者の口唇部分とマイク
ロフォンとの間の距離のばらつきを考慮して入力音声信
号を補正する必要があった。また、従来の音声入力装置
では、話者の顔画像から口唇部分の画像を抽出する必要
があった。しかし、特に、話者の顔が移動する場合に
は、かかる抽出を高い精度で実現することは困難である
という問題点があった。
は、話者の口唇部分とマイクロフォンとの間の距離が一
定に保たれないため、安定した音声信号を音声認識装置
に供給することができないという問題点があった。この
ため、音声認識装置において、話者の口唇部分とマイク
ロフォンとの間の距離のばらつきを考慮して入力音声信
号を補正する必要があった。また、従来の音声入力装置
では、話者の顔画像から口唇部分の画像を抽出する必要
があった。しかし、特に、話者の顔が移動する場合に
は、かかる抽出を高い精度で実現することは困難である
という問題点があった。
【０００６】本発明は、（１）安定した音声信号を音声
認識装置に供給する音声入力装置を提供すること、
（２）話者の顔画像から口唇部分の画像を抽出する処理
が不要な音声入力装置を提供することを目的とする。
認識装置に供給する音声入力装置を提供すること、
（２）話者の顔画像から口唇部分の画像を抽出する処理
が不要な音声入力装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】本発明の音声入力装置
は、話者によって発声された入力音声を電気信号に変換
して、該電気信号を出力する音声入力手段と、前記音声
入力手段近傍に配されて前記話者の口唇部分の画像を入
力する画像入力部と、該音声入力手段の位置に関連して
決定される所定の位置と該話者の口唇部分の位置との間
の空間的なずれを表示する表示手段とを備えるものであ
る。
は、話者によって発声された入力音声を電気信号に変換
して、該電気信号を出力する音声入力手段と、前記音声
入力手段近傍に配されて前記話者の口唇部分の画像を入
力する画像入力部と、該音声入力手段の位置に関連して
決定される所定の位置と該話者の口唇部分の位置との間
の空間的なずれを表示する表示手段とを備えるものであ
る。
【０００８】
【発明の実施の形態】話者によって発声された入力音声
を電気信号に変換して、該電気信号を出力する音声入力
手段と、該話者の口唇部分の位置と所定の位置との間の
空間的なずれを示す情報を表示する表示手段とを備えて
おり、これにより、上記目的が達成される。前記音声入
力装置は、前記話者の口唇部分の入力画像を電気信号に
変換して、該電気信号を出力する画像入力手段をさらに
備えていてもよい。
を電気信号に変換して、該電気信号を出力する音声入力
手段と、該話者の口唇部分の位置と所定の位置との間の
空間的なずれを示す情報を表示する表示手段とを備えて
おり、これにより、上記目的が達成される。前記音声入
力装置は、前記話者の口唇部分の入力画像を電気信号に
変換して、該電気信号を出力する画像入力手段をさらに
備えていてもよい。
【０００９】前記表示手段は前記話者の口唇部分を映す
ための鏡面を有し、該鏡面は前記所定の位置を規定する
ための印を有していてもよい。
ための鏡面を有し、該鏡面は前記所定の位置を規定する
ための印を有していてもよい。
【００１０】前記所定の位置は、前記音声入力手段の位
置に関連して決定されることが好ましい。
置に関連して決定されることが好ましい。
【００１１】前記音声入力装置は、前記話者の口唇部分
の入力画像を電気信号に変換して、該電気信号を出力す
る画像入力手段と、該画像入力手段から出力される電気
信号に基づいて、該話者の口唇部分の位置を特定する位
置特定手段と、該位置特定手段によって特定された該話
者の口唇部分の位置と前記所定の位置とを比較し、比較
結果を出力する位置比較手段とをさらに備えており、前
記表示手段は、該位置比較手段による該比較結果に基づ
いて、該話者の口唇部分の位置と該所定の位置との間の
空間的なずれを示す情報を表示してもよい。
の入力画像を電気信号に変換して、該電気信号を出力す
る画像入力手段と、該画像入力手段から出力される電気
信号に基づいて、該話者の口唇部分の位置を特定する位
置特定手段と、該位置特定手段によって特定された該話
者の口唇部分の位置と前記所定の位置とを比較し、比較
結果を出力する位置比較手段とをさらに備えており、前
記表示手段は、該位置比較手段による該比較結果に基づ
いて、該話者の口唇部分の位置と該所定の位置との間の
空間的なずれを示す情報を表示してもよい。
【００１２】前記所定の位置は、前記音声入力手段の位
置及び前記画像入力手段の位置に関連して決定されるこ
とが好ましい。
置及び前記画像入力手段の位置に関連して決定されるこ
とが好ましい。
【００１３】前記音声入力装置は、音声処理装置に接続
され、該音声処理装置は、前記話者の口唇部分の入力画
像を電気信号に変換して、該電気信号を出力する画像入
力手段を備えており、該音声処理装置は、該音声入力装
置の該画像入力手段から出力される該電気信号に基づい
て、該話者の口唇部分の位置を特定する位置特定手段
と、該位置特定手段によって特定された該話者の口唇部
分の位置と前記所定の位置とを比較し、比較結果を出力
する位置比較手段とを備えており、該音声入力装置の前
記表示手段は、該音声処理装置の該位置比較手段による
該比較結果に基づいて、該話者の口唇部分の位置と該所
定の位置との間の空間的なずれを示す情報を表示しても
よい。
され、該音声処理装置は、前記話者の口唇部分の入力画
像を電気信号に変換して、該電気信号を出力する画像入
力手段を備えており、該音声処理装置は、該音声入力装
置の該画像入力手段から出力される該電気信号に基づい
て、該話者の口唇部分の位置を特定する位置特定手段
と、該位置特定手段によって特定された該話者の口唇部
分の位置と前記所定の位置とを比較し、比較結果を出力
する位置比較手段とを備えており、該音声入力装置の前
記表示手段は、該音声処理装置の該位置比較手段による
該比較結果に基づいて、該話者の口唇部分の位置と該所
定の位置との間の空間的なずれを示す情報を表示しても
よい。
【００１４】前記所定の位置は、前記音声入力手段の位
置及び前記画像入力手段の位置に関連して決定されるこ
とが好ましい。
置及び前記画像入力手段の位置に関連して決定されるこ
とが好ましい。
【００１５】以下、本発明を実施例について説明する。
【００１６】（第１の実施例）図１（ａ）は、本発明の
第１の実施例の音声入力装置の構成を示す。音声入力装
置は、音声入力部１及び表示部２を有している。音声入
力部１は、入力された音声を電気信号に変換して、その
電気信号を外部装置（不図示）に出力する。音声入力部
１としては、例えば、マイクロフォンが使用される。外
部装置としては、例えば、音声処理装置や音声認識装置
が考えられる。表示部２は、話者の口唇部分の位置と所
定の位置との間の空間的なずれを表示する。その所定の
位置は、話者の口唇部分の位置がその所定の位置に一致
した場合に、音声入力部１に入力される音声が最も安定
して得られるように予め決められる。例えば、表示部２
は、話者の口唇部分を少なくとも映すための鏡などの鏡
面を有し、その鏡面は所定の位置を規定するための印を
有する。その印の形状は、話者が自分の口唇部分を一致
させるべき所定の位置を認識できるものであればいかな
る形状であってもよい。例えば、その印の形状は、十字
形、楕円形、台形などとされる。話者は、鏡面に映った
自分の口唇部分の位置が鏡面上の印に一致するように自
分の口唇部分の位置を保ちつつ、発声する。このように
して、話者は自分の口唇部分の位置を音声入力部１に対
して常に適切な位置に保つことができる。その結果、音
声入力部１には常に安定した音声が供給されることとな
る。
第１の実施例の音声入力装置の構成を示す。音声入力装
置は、音声入力部１及び表示部２を有している。音声入
力部１は、入力された音声を電気信号に変換して、その
電気信号を外部装置（不図示）に出力する。音声入力部
１としては、例えば、マイクロフォンが使用される。外
部装置としては、例えば、音声処理装置や音声認識装置
が考えられる。表示部２は、話者の口唇部分の位置と所
定の位置との間の空間的なずれを表示する。その所定の
位置は、話者の口唇部分の位置がその所定の位置に一致
した場合に、音声入力部１に入力される音声が最も安定
して得られるように予め決められる。例えば、表示部２
は、話者の口唇部分を少なくとも映すための鏡などの鏡
面を有し、その鏡面は所定の位置を規定するための印を
有する。その印の形状は、話者が自分の口唇部分を一致
させるべき所定の位置を認識できるものであればいかな
る形状であってもよい。例えば、その印の形状は、十字
形、楕円形、台形などとされる。話者は、鏡面に映った
自分の口唇部分の位置が鏡面上の印に一致するように自
分の口唇部分の位置を保ちつつ、発声する。このように
して、話者は自分の口唇部分の位置を音声入力部１に対
して常に適切な位置に保つことができる。その結果、音
声入力部１には常に安定した音声が供給されることとな
る。
【００１７】図１（ｂ）に示されるように、音声入力装
置は、入力された画像を電気信号に変換して、その電気
信号を外部装置（不図示）に出力する画像入力部３をさ
らに有していてもよい。画像入力部３としては、例え
ば、テレビカメラやＣＣＤ素子が使用される。入力され
た画像は、話者の口唇部分の画像を少なくとも含む。音
声入力装置が音声認識装置などの外部装置に接続される
場合において、話者の口唇部分の画像は、例えば、音声
入力部１から出力される音声信号に基づいて、音声が存
在する区間を検出するために利用される。これにより、
ノイズ環境の下で、特に音楽や人声などによって騒音レ
ベルが非定常である環境の下で、話者の周囲の騒音を音
声であると誤認識する確率が低減される。音声入力装置
が画像入力部３を有する場合には、音声入力装置は話者
の口唇部分を少なくとも照射する光源部４をさらに有し
ていることが好ましい。これは、話者の口唇部分の画像
を正確に得るために十分な照度を確保するためである。
置は、入力された画像を電気信号に変換して、その電気
信号を外部装置（不図示）に出力する画像入力部３をさ
らに有していてもよい。画像入力部３としては、例え
ば、テレビカメラやＣＣＤ素子が使用される。入力され
た画像は、話者の口唇部分の画像を少なくとも含む。音
声入力装置が音声認識装置などの外部装置に接続される
場合において、話者の口唇部分の画像は、例えば、音声
入力部１から出力される音声信号に基づいて、音声が存
在する区間を検出するために利用される。これにより、
ノイズ環境の下で、特に音楽や人声などによって騒音レ
ベルが非定常である環境の下で、話者の周囲の騒音を音
声であると誤認識する確率が低減される。音声入力装置
が画像入力部３を有する場合には、音声入力装置は話者
の口唇部分を少なくとも照射する光源部４をさらに有し
ていることが好ましい。これは、話者の口唇部分の画像
を正確に得るために十分な照度を確保するためである。
【００１８】図２は、本発明の第１の実施例の音声入力
装置の具体的な構成例を示す。この音声入力装置は、マ
イクロフォン６及び鏡９を含む筐体５を有している。マ
イクロフォン６には、話者によって発声された音声が入
力される。鏡９は、話者が鏡９に映る自分の口唇部分の
中心を鏡９の印１０に一致させた状態で発声した場合
に、話者の口唇部分とマイクロフォン６との間の距離が
ほぼ一定に保たれるように配置される。話者の口唇部分
とマイクロフォン６との間の適切な距離は、話者によら
ずほぼ一定の値であることが実験により確認されてい
る。ただし、話者に応じて話者の口唇部分とマイクロフ
ォン６との間の距離を微調整するために、鏡９の位置及
び／又は角度を変更できるようにしてもよい。
装置の具体的な構成例を示す。この音声入力装置は、マ
イクロフォン６及び鏡９を含む筐体５を有している。マ
イクロフォン６には、話者によって発声された音声が入
力される。鏡９は、話者が鏡９に映る自分の口唇部分の
中心を鏡９の印１０に一致させた状態で発声した場合
に、話者の口唇部分とマイクロフォン６との間の距離が
ほぼ一定に保たれるように配置される。話者の口唇部分
とマイクロフォン６との間の適切な距離は、話者によら
ずほぼ一定の値であることが実験により確認されてい
る。ただし、話者に応じて話者の口唇部分とマイクロフ
ォン６との間の距離を微調整するために、鏡９の位置及
び／又は角度を変更できるようにしてもよい。
【００１９】この例では、筐体５には、話者の口唇部分
を照射する発光ダイオード７、話者の口唇部分の画像を
少なくとも入力するための受光部８がさらに設けられて
いる。
を照射する発光ダイオード７、話者の口唇部分の画像を
少なくとも入力するための受光部８がさらに設けられて
いる。
【００２０】次に、上述の構成を有する音声入力装置に
音声を入力する方法を説明する。話者は、自分の口唇部
分が鏡９に映り、かつ、その口唇部分の中心が鏡９上の
印１０に一致するように、自分の口唇部分と筐体５との
位置関係を調整する。話者が筐体５を手で自然に持った
場合に、話者の口唇部分と筐体５との位置関係がほぼ一
意に決定されるような形状を筐体５が有していることが
好ましい。話者の口唇部分の位置と所定の位置との間の
空間的なずれの自由度を一定以下に抑えるためである。
例えば、通常の電話機の受話器に近似した形状は、上述
した筐体５の好ましい形状に該当する。その後、話者
は、鏡９に映る自分の口唇部分の中心が鏡９上の印１０
に一致するように筐体５を保持しつつ、発声する。その
発声の際、話者の口唇部分は発光ダイオード７によって
照射され、受光部８がその話者の口唇部分の画像を得る
のに十分な照度が確保される。
音声を入力する方法を説明する。話者は、自分の口唇部
分が鏡９に映り、かつ、その口唇部分の中心が鏡９上の
印１０に一致するように、自分の口唇部分と筐体５との
位置関係を調整する。話者が筐体５を手で自然に持った
場合に、話者の口唇部分と筐体５との位置関係がほぼ一
意に決定されるような形状を筐体５が有していることが
好ましい。話者の口唇部分の位置と所定の位置との間の
空間的なずれの自由度を一定以下に抑えるためである。
例えば、通常の電話機の受話器に近似した形状は、上述
した筐体５の好ましい形状に該当する。その後、話者
は、鏡９に映る自分の口唇部分の中心が鏡９上の印１０
に一致するように筐体５を保持しつつ、発声する。その
発声の際、話者の口唇部分は発光ダイオード７によって
照射され、受光部８がその話者の口唇部分の画像を得る
のに十分な照度が確保される。
【００２１】本発明の第１の実施例の音声入力装置によ
れば、話者の口唇部分と音声入力部１との間の距離を常
にほぼ一定に保つことができるので、話者は自分の口唇
部分の位置を音声入力部１に対して常に適切な位置に保
つことができる。その結果、音声入力部１から常に安定
した音声信号が出力されることとなる。これにより、音
声入力装置が音声認識装置などの外部装置に接続される
場合に、その外部装置は、話者の口唇部分と音声入力装
置１との間の距離のばらつきを考慮して入力音声信号を
補正する必要がない。
れば、話者の口唇部分と音声入力部１との間の距離を常
にほぼ一定に保つことができるので、話者は自分の口唇
部分の位置を音声入力部１に対して常に適切な位置に保
つことができる。その結果、音声入力部１から常に安定
した音声信号が出力されることとなる。これにより、音
声入力装置が音声認識装置などの外部装置に接続される
場合に、その外部装置は、話者の口唇部分と音声入力装
置１との間の距離のばらつきを考慮して入力音声信号を
補正する必要がない。
【００２２】（第２の実施例）図３は、本発明の第２の
実施例の音声入力装置の構成を示す。音声入力装置は、
音声入力部１、画像入力部３及び表示部２を有してい
る。音声入力部１は、入力された音声を電気信号に変換
して、その電気信号を外部装置（不図示）に出力する。
画像入力部３は、入力された口唇部分の画像を電気信号
に変換して、その電気信号を外部装置（不図示）に出力
する。表示部２は、話者の口唇部分の位置と所定の位置
との間の空間的なずれを表示する。その所定の位置は、
話者の口唇部分の位置がその所定の位置に一致した場合
に、音声入力部１から出力される音声信号が最も安定し
て得られ、かつ、画像入力部３に口唇部分の画像のみが
入力されるように予め決められる。表示部２としては、
例えば、液晶表示ディスプレイやＣＲＴが使用される。
また、第１の実施例と同様にして、話者の口唇部分の画
像を正確に得るために十分な照度を確保するために、音
声入力装置は、話者の口唇部分を照射する光源部４をさ
らに有していていることが好ましい。
実施例の音声入力装置の構成を示す。音声入力装置は、
音声入力部１、画像入力部３及び表示部２を有してい
る。音声入力部１は、入力された音声を電気信号に変換
して、その電気信号を外部装置（不図示）に出力する。
画像入力部３は、入力された口唇部分の画像を電気信号
に変換して、その電気信号を外部装置（不図示）に出力
する。表示部２は、話者の口唇部分の位置と所定の位置
との間の空間的なずれを表示する。その所定の位置は、
話者の口唇部分の位置がその所定の位置に一致した場合
に、音声入力部１から出力される音声信号が最も安定し
て得られ、かつ、画像入力部３に口唇部分の画像のみが
入力されるように予め決められる。表示部２としては、
例えば、液晶表示ディスプレイやＣＲＴが使用される。
また、第１の実施例と同様にして、話者の口唇部分の画
像を正確に得るために十分な照度を確保するために、音
声入力装置は、話者の口唇部分を照射する光源部４をさ
らに有していていることが好ましい。
【００２３】本発明の第２の実施例の音声入力装置で
は、画像入力部３には話者の口唇部分の画像のみが入力
されるので、画像入力部３は、例えば、マトリクス状に
配列された３２×３２個の光電変換素子を有していれば
足りる。従来、話者の顔全体の画像を入力する場合に
は、通常、５１２×５１２個の光電変換素子が使用され
ていた。従って、話者の口唇部分の画像のみを画像入力
部３に入力するようにしたことにより、光電変換素子の
数を大幅に低減することができる。さらに重要なこと
は、光電変換素子の数を大幅に低減したことにより、音
声入力部１から出力される音声信号の周波数帯域と画像
入力部３から出力される画像信号の周波数帯域とがほぼ
同一となることである。例えば、３２×３２画素を１０
０ｍ秒／１フレームで駆動する場合、１秒につき約１０
０００画素を駆動することになる。この場合、画像信号
の周波数帯域は約１０ｋＨｚとなる。これにより、音声
入力装置に接続される音声認識装置など外部装置におい
て、音声信号と画像信号とを同一のプロセッサで処理す
ることが可能になる。
は、画像入力部３には話者の口唇部分の画像のみが入力
されるので、画像入力部３は、例えば、マトリクス状に
配列された３２×３２個の光電変換素子を有していれば
足りる。従来、話者の顔全体の画像を入力する場合に
は、通常、５１２×５１２個の光電変換素子が使用され
ていた。従って、話者の口唇部分の画像のみを画像入力
部３に入力するようにしたことにより、光電変換素子の
数を大幅に低減することができる。さらに重要なこと
は、光電変換素子の数を大幅に低減したことにより、音
声入力部１から出力される音声信号の周波数帯域と画像
入力部３から出力される画像信号の周波数帯域とがほぼ
同一となることである。例えば、３２×３２画素を１０
０ｍ秒／１フレームで駆動する場合、１秒につき約１０
０００画素を駆動することになる。この場合、画像信号
の周波数帯域は約１０ｋＨｚとなる。これにより、音声
入力装置に接続される音声認識装置など外部装置におい
て、音声信号と画像信号とを同一のプロセッサで処理す
ることが可能になる。
【００２４】音声入力装置は、位置特定部１１及び位置
比較部１２をさらに有している。これらは、話者の口唇
部分の位置と所定の位置との間の空間的なずれを表示部
２上に表示するために使用される。
比較部１２をさらに有している。これらは、話者の口唇
部分の位置と所定の位置との間の空間的なずれを表示部
２上に表示するために使用される。
【００２５】位置特定部１１は、画像入力部３から出力
される話者の口唇部分の画像を表す電気信号に基づい
て、その話者の口唇部分の位置を特定する。位置特定部
１１において、話者の口唇部分の位置を特定する方法と
しては、パターンマッチングによる方法が簡便かつ効果
的である。例えば、位置特定部１１は、唇の形状は楕円
に近似するという知識を用いて、入力画像の濃淡情報か
ら口唇部分の位置を特定する。より詳しくいうと、位置
特定部１１は、図４に示すように口唇部分の外枠にほぼ
一致する楕円関数を推定し、その推定された楕円関数の
位置を口唇部分の位置として特定する。また、図５に示
されるように、楕円関数を使用する代わりに台形関数を
使用してもよい。
される話者の口唇部分の画像を表す電気信号に基づい
て、その話者の口唇部分の位置を特定する。位置特定部
１１において、話者の口唇部分の位置を特定する方法と
しては、パターンマッチングによる方法が簡便かつ効果
的である。例えば、位置特定部１１は、唇の形状は楕円
に近似するという知識を用いて、入力画像の濃淡情報か
ら口唇部分の位置を特定する。より詳しくいうと、位置
特定部１１は、図４に示すように口唇部分の外枠にほぼ
一致する楕円関数を推定し、その推定された楕円関数の
位置を口唇部分の位置として特定する。また、図５に示
されるように、楕円関数を使用する代わりに台形関数を
使用してもよい。
【００２６】位置比較部１２は、位置特定部１１によっ
て特定された口唇部分の位置と所定の位置とを比較し、
比較結果を出力する。その所定の位置は、位置特定部１
１によって特定された口唇部分の位置がその所定の位置
に一致した場合に、話者の口唇部分と音声入力部１との
間の距離がほぼ一定に保たれ、かつ、話者の口唇部分と
画像入力部３との間の距離がほぼ一定に保たれるように
位置比較部１２の中に予め記憶される。位置比較部１２
によって得られる比較結果は、表示部２に供給される。
表示部２は、その比較結果に基づいて、話者の口唇部分
の位置と所定の位置との間の空間的なずれを表示する。
て特定された口唇部分の位置と所定の位置とを比較し、
比較結果を出力する。その所定の位置は、位置特定部１
１によって特定された口唇部分の位置がその所定の位置
に一致した場合に、話者の口唇部分と音声入力部１との
間の距離がほぼ一定に保たれ、かつ、話者の口唇部分と
画像入力部３との間の距離がほぼ一定に保たれるように
位置比較部１２の中に予め記憶される。位置比較部１２
によって得られる比較結果は、表示部２に供給される。
表示部２は、その比較結果に基づいて、話者の口唇部分
の位置と所定の位置との間の空間的なずれを表示する。
【００２７】次に、表示部２において、話者の口唇部分
の位置と所定の位置との間の空間的なずれを表示する態
様を説明する。空間的なずれを表示するためには、一般
的には、そのずれを３次元的に表示することが必要であ
る。しかし、実際には、口唇部分が接する平面に垂直な
方向における口唇部分の座標位置は実質的に一定である
とみなすことができるので、その空間的なずれは、２次
元的に又は１次元的に示されれば十分である。
の位置と所定の位置との間の空間的なずれを表示する態
様を説明する。空間的なずれを表示するためには、一般
的には、そのずれを３次元的に表示することが必要であ
る。しかし、実際には、口唇部分が接する平面に垂直な
方向における口唇部分の座標位置は実質的に一定である
とみなすことができるので、その空間的なずれは、２次
元的に又は１次元的に示されれば十分である。
【００２８】図６（ａ）〜（ｅ）は、話者の口唇部分の
位置と所定の位置との間の空間的なずれを表示する態様
の例を示す。図６（ａ）は、空間的なずれを単一のイン
ジケータを用いて１次元的に表示する例を示す。例え
ば、空間的なずれが小さい場合には、インジケータの度
数が増大し、空間的なずれが大きい場合には、インジケ
ータの度数が減少するように表示すればよい。また、図
６（ｂ）に示されるように、空間的なずれの方向性を示
すために、複数のインジケータを用いて空間的なずれを
表示してもよい。図６（ｃ）は、空間的なずれを２つの
円の重なり度合を用いて２次元的に表示する例を示す。
この例では、話者の口唇部分の位置は実線、所定の位置
は破線で表示される。図６（ｄ）は、空間的なずれをそ
のずれの方向を示す矢印を用いて２次元的に表示する例
を示す。この例では、上、下、右、左、右上、左上、右
下、左下の８方向のうち、いずれかの方向を示す矢印が
表示される。例えば、話者の口唇部分の位置が所定の位
置に対し上方向にずれている場合には、下方向を示す矢
印が表示される。図６（ｅ）は、画像入力部３によって
入力された口唇部分の画像と所定の位置を示す印を表示
することにより、両者の間の空間的なずれを２次元的に
表示する例である。当業者であれば、上述のようにして
空間的なずれを表示する代わりに、又は、それを表示す
ることに加えて、空間的なずれを示す警告音を発生させ
ることによっても同様の効果が得られることを理解する
だろう。
位置と所定の位置との間の空間的なずれを表示する態様
の例を示す。図６（ａ）は、空間的なずれを単一のイン
ジケータを用いて１次元的に表示する例を示す。例え
ば、空間的なずれが小さい場合には、インジケータの度
数が増大し、空間的なずれが大きい場合には、インジケ
ータの度数が減少するように表示すればよい。また、図
６（ｂ）に示されるように、空間的なずれの方向性を示
すために、複数のインジケータを用いて空間的なずれを
表示してもよい。図６（ｃ）は、空間的なずれを２つの
円の重なり度合を用いて２次元的に表示する例を示す。
この例では、話者の口唇部分の位置は実線、所定の位置
は破線で表示される。図６（ｄ）は、空間的なずれをそ
のずれの方向を示す矢印を用いて２次元的に表示する例
を示す。この例では、上、下、右、左、右上、左上、右
下、左下の８方向のうち、いずれかの方向を示す矢印が
表示される。例えば、話者の口唇部分の位置が所定の位
置に対し上方向にずれている場合には、下方向を示す矢
印が表示される。図６（ｅ）は、画像入力部３によって
入力された口唇部分の画像と所定の位置を示す印を表示
することにより、両者の間の空間的なずれを２次元的に
表示する例である。当業者であれば、上述のようにして
空間的なずれを表示する代わりに、又は、それを表示す
ることに加えて、空間的なずれを示す警告音を発生させ
ることによっても同様の効果が得られることを理解する
だろう。
【００２９】図７は、本発明の第２の実施例の音声入力
装置の具体的な構成例を示す。この音声入力装置は、マ
イクロフォン６、発光ダイオード７、受光部８を含む筐
体５を有している。液晶表示ディスプレイ１３は、筐体
５上に設けられてもよいが、話者が空間的なずれを容易
に視認できるように筐体５とは分離されていることが好
ましい。位置特定部１１及び位置比較部１２は、筐体５
の内部に収納されているため、図７には示されていな
い。
装置の具体的な構成例を示す。この音声入力装置は、マ
イクロフォン６、発光ダイオード７、受光部８を含む筐
体５を有している。液晶表示ディスプレイ１３は、筐体
５上に設けられてもよいが、話者が空間的なずれを容易
に視認できるように筐体５とは分離されていることが好
ましい。位置特定部１１及び位置比較部１２は、筐体５
の内部に収納されているため、図７には示されていな
い。
【００３０】次に、上述の構成を有する音声入力装置に
音声を入力する方法を説明する。話者は、発声する前
に、液晶表示ディスプレイ１３に表示される自分の口唇
部分の位置と所定の位置との間の空間的なずれが実質的
にゼロとなるように、自分の口唇部分と筐体５との位置
関係を調整する。その後、話者は、液晶表示ディスプレ
イ１３に表示される自分の口唇部分の位置と所定の位置
との間の空間的なずれが実質的にゼロとなるように筐体
５を保持しつつ、発声する。その発声の際、話者の口唇
部分は発光ダイオード７によって照射され、受光部８が
その話者の口唇部分の画像を得るのに十分な照度が確保
される。
音声を入力する方法を説明する。話者は、発声する前
に、液晶表示ディスプレイ１３に表示される自分の口唇
部分の位置と所定の位置との間の空間的なずれが実質的
にゼロとなるように、自分の口唇部分と筐体５との位置
関係を調整する。その後、話者は、液晶表示ディスプレ
イ１３に表示される自分の口唇部分の位置と所定の位置
との間の空間的なずれが実質的にゼロとなるように筐体
５を保持しつつ、発声する。その発声の際、話者の口唇
部分は発光ダイオード７によって照射され、受光部８が
その話者の口唇部分の画像を得るのに十分な照度が確保
される。
【００３１】本発明の第２の実施例の音声入力装置によ
れば、話者の口唇部分と音声入力部１との間の距離を常
にほぼ一定に保つことができ、かつ、話者の口唇部分と
画像入力部３との間の距離を常にほぼ一定に保つことが
できるので、話者は自分の口唇部分の位置を音声入力部
１及び画像入力部３に対して常に適切な位置に保つこと
ができる。その結果、音声入力部１から常に安定した音
声信号が出力され、画像入力部３から常に安定した画像
信号が出力されることとなる。また、画像入力部３に
は、口唇部分の画像のみが入力されるので、音声入力装
置において、顔画像から口唇部分の画像を抽出する必要
がない。これにより、精度の高い口唇部分の画像が得ら
れる。
れば、話者の口唇部分と音声入力部１との間の距離を常
にほぼ一定に保つことができ、かつ、話者の口唇部分と
画像入力部３との間の距離を常にほぼ一定に保つことが
できるので、話者は自分の口唇部分の位置を音声入力部
１及び画像入力部３に対して常に適切な位置に保つこと
ができる。その結果、音声入力部１から常に安定した音
声信号が出力され、画像入力部３から常に安定した画像
信号が出力されることとなる。また、画像入力部３に
は、口唇部分の画像のみが入力されるので、音声入力装
置において、顔画像から口唇部分の画像を抽出する必要
がない。これにより、精度の高い口唇部分の画像が得ら
れる。
【００３２】さらに、音声入力装置が音声認識装置など
の外部装置に接続される場合に、その外部装置は、話者
の口唇部分と音声入力部１との間の距離のばらつきを考
慮して入力音声信号を補正する必要がない。また、その
外部装置には口唇部分に対応する画像信号が供給される
ので、外部装置において、口唇部分の画像を切り出す処
理を行う必要がない。さらに、音声入力部１から出力さ
れる音声信号の周波数帯域と画像入力部３から出力され
る画像信号の周波数帯域とがほぼ同一とされるので、外
部装置において、音声信号と画像信号とを同一のプロセ
ッサで処理することが可能となる。
の外部装置に接続される場合に、その外部装置は、話者
の口唇部分と音声入力部１との間の距離のばらつきを考
慮して入力音声信号を補正する必要がない。また、その
外部装置には口唇部分に対応する画像信号が供給される
ので、外部装置において、口唇部分の画像を切り出す処
理を行う必要がない。さらに、音声入力部１から出力さ
れる音声信号の周波数帯域と画像入力部３から出力され
る画像信号の周波数帯域とがほぼ同一とされるので、外
部装置において、音声信号と画像信号とを同一のプロセ
ッサで処理することが可能となる。
【００３３】上述したように、本発明の第２の実施例の
音声入力装置は、位置特定部１１及び位置比較部１２を
有している。しかし、位置特定部１１及び位置比較部１
２は必ずしも音声入力装置に含まれている必要はない。
むしろ、位置特定部１１及び位置比較部１２は、音声認
識装置などの外部装置に含まれることが好ましい。その
理由は、そのような外部装置は、音声信号や画像信号を
処理するためのプロセッサを有していることが通常であ
るので、そのプロセッサにより位置特定部１１及び位置
比較部１２の処理を行うことが可能だからである。
音声入力装置は、位置特定部１１及び位置比較部１２を
有している。しかし、位置特定部１１及び位置比較部１
２は必ずしも音声入力装置に含まれている必要はない。
むしろ、位置特定部１１及び位置比較部１２は、音声認
識装置などの外部装置に含まれることが好ましい。その
理由は、そのような外部装置は、音声信号や画像信号を
処理するためのプロセッサを有していることが通常であ
るので、そのプロセッサにより位置特定部１１及び位置
比較部１２の処理を行うことが可能だからである。
【００３４】図８は、位置特定部１１及び位置比較部１
２が外部装置に含まれる場合の音声入力装置の構成を示
す。図８に示される各部の機能及び動作は、第２の実施
例と同様であるので、説明を省略する。本発明によれ
ば、話者の口唇部分と音声入力部１との間の距離を常に
ほぼ一定に保つことができるので、話者は自分の口唇部
分の位置を音声入力部１に対して常に適切な位置に保つ
ことができる。その結果、音声入力部１から常に安定し
た音声信号が出力される。
２が外部装置に含まれる場合の音声入力装置の構成を示
す。図８に示される各部の機能及び動作は、第２の実施
例と同様であるので、説明を省略する。本発明によれ
ば、話者の口唇部分と音声入力部１との間の距離を常に
ほぼ一定に保つことができるので、話者は自分の口唇部
分の位置を音声入力部１に対して常に適切な位置に保つ
ことができる。その結果、音声入力部１から常に安定し
た音声信号が出力される。
【００３５】さらに、第２の実施例の音声入力装置によ
れば、話者の口唇部分と画像入力部３との間の距離をも
常にほぼ一定に保つことができるので、話者は自分の口
唇部分の位置を画像入力部３に対して常に適切な位置に
保つことができる。その結果、画像入力部３から常に安
定した画像信号が出力される。また、画像入力部３に
は、口唇部分の画像のみが入力されるので、画像入力部
３において、顔画像から口唇部分の画像を抽出する必要
がない。これにより、精度の高い口唇部分の画像を得る
ことができる。さらに、音声入力部１から出力される音
声信号の周波数帯域と画像入力部３から出力される画像
信号の周波数帯域とがほぼ同一とされるので、音声認識
装置などの外部装置において、音声信号と画像信号とを
同一のプロセッサで処理することが可能となる。
れば、話者の口唇部分と画像入力部３との間の距離をも
常にほぼ一定に保つことができるので、話者は自分の口
唇部分の位置を画像入力部３に対して常に適切な位置に
保つことができる。その結果、画像入力部３から常に安
定した画像信号が出力される。また、画像入力部３に
は、口唇部分の画像のみが入力されるので、画像入力部
３において、顔画像から口唇部分の画像を抽出する必要
がない。これにより、精度の高い口唇部分の画像を得る
ことができる。さらに、音声入力部１から出力される音
声信号の周波数帯域と画像入力部３から出力される画像
信号の周波数帯域とがほぼ同一とされるので、音声認識
装置などの外部装置において、音声信号と画像信号とを
同一のプロセッサで処理することが可能となる。
【００３６】
【発明の効果】本発明によれば、話者の口唇部分と音声
入力部１との間の距離を常にほぼ一定に保つことができ
るので、話者は自分の口唇部分の位置を音声入力部に対
して常に適切な位置に保つことができる。その結果、音
声入力部から常に安定した音声信号が出力される。
入力部１との間の距離を常にほぼ一定に保つことができ
るので、話者は自分の口唇部分の位置を音声入力部に対
して常に適切な位置に保つことができる。その結果、音
声入力部から常に安定した音声信号が出力される。
【図１】（ａ）は本発明の第１の実施例の音声入力装置
の構成を示すブロック図 （ｂ）は本発明の第１の実施例の音声入力装置の構成を
示すブロック図
の構成を示すブロック図 （ｂ）は本発明の第１の実施例の音声入力装置の構成を
示すブロック図
【図２】本発明の第１の実施例の音声入力装置の具体的
な構成例を示す図
な構成例を示す図
【図３】本発明の第２の実施例の音声入力装置の構成を
示すブロック図
示すブロック図
【図４】話者の口唇部分の位置を特定する方法を説明す
る図
る図
【図５】話者の口唇部分の位置を特定する方法を説明す
る図
る図
【図６】（ａ）は話者の口唇部分の位置と所定の位置と
の間の空間的なずれの表示態様の例を示す図 （ｂ）は話者の口唇部分の位置と所定の位置との間の空
間的なずれの表示態様の例を示す図 （ｃ）は話者の口唇部分の位置と所定の位置との間の空
間的なずれの表示態様の例を示す図 （ｄ）は話者の口唇部分の位置と所定の位置との間の空
間的なずれの表示態様の例を示す図 （ｅ）は話者の口唇部分の位置と所定の位置との間の空
間的なずれの表示態様の例を示す図
の間の空間的なずれの表示態様の例を示す図 （ｂ）は話者の口唇部分の位置と所定の位置との間の空
間的なずれの表示態様の例を示す図 （ｃ）は話者の口唇部分の位置と所定の位置との間の空
間的なずれの表示態様の例を示す図 （ｄ）は話者の口唇部分の位置と所定の位置との間の空
間的なずれの表示態様の例を示す図 （ｅ）は話者の口唇部分の位置と所定の位置との間の空
間的なずれの表示態様の例を示す図
【図７】本発明の第２の実施例の音声入力装置の具体的
な構成例を示す図
な構成例を示す図
【図８】本発明の第２の実施例の他の音声入力装置の構
成を示すブロック図
成を示すブロック図
【図９】従来の音声入力装置の構成を示すブロック図
１ 音声入力部
２ 表示部
３ 画像入力部
４ 光源部
１１ 位置特定部
１２ 位置比較部
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ１０Ｌ 15/28 Ｇ１０Ｌ 3/00 ５７１Ｇ
Claims (5)
- 【請求項１】 話者によって発声された入力音声を電気
信号に変換して、該電気信号を出力する音声入力手段
と、前記音声入力手段近傍に配されて前記話者の口唇部
分の画像を入力する画像入力部と、該音声入力手段の位
置に関連して決定される所定の位置と該話者の口唇部分
の位置との間の空間的なずれを表示する表示手段とを備
えた音声入力装置。 - 【請求項２】 前記音声入力装置は、前記話者の口唇部
分の入力画像を電気信号に変換して、該電気信号を出力
する画像入力手段と、該画像入力手段から出力される電
気信号に基づいて、該話者の口唇部分の位置を特定する
位置特定手段と、該位置特定手段によって特定された該
話者の口唇部分の位置と前記所定の位置とを比較し、比
較結果を出力する位置比較手段とをさらに備え、前記表
示手段は、該位置比較手段による該位置比較手段による
該比較結果に基づいて、該話者の口唇部分の位置と該所
定の位置との間の空間的なずれを表示する請求項１に記
載の音声入力装置。 - 【請求項３】 前記音声入力装置は、音声処理装置に接
続され、該音声処理装置は、前記話者の口唇部分の入力
画像を電気信号に変換して、該電気信号を出力する画像
入力手段を備えており、該音声入力装置の前記表示手段
は、該音声処理装置の該位置比較手段による該比較結果
に基づいて、該話者の口唇部分の位置と該所定の位置と
の間の空間的なずれを表示する請求項１に記載の音声入
力装置。 - 【請求項４】 前記所定の位置は、前記音声入力手段の
位置及び前記画像入力手段の位置に関連して決定され
る、請求項２又は３に記載の音声入力装置。 - 【請求項５】 前記表示手段は前記空間的なずれを規定
するための印を有する請求項１に記載の音声入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003044547A JP3729179B2 (ja) | 1992-11-02 | 2003-02-21 | 音声入力装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29411792 | 1992-11-02 | ||
| JP4-294117 | 1992-11-02 | ||
| JP2003044547A JP3729179B2 (ja) | 1992-11-02 | 2003-02-21 | 音声入力装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001004698A Division JP3478269B2 (ja) | 1992-11-02 | 2001-01-12 | 音声入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003303093A true JP2003303093A (ja) | 2003-10-24 |
| JP3729179B2 JP3729179B2 (ja) | 2005-12-21 |
Family
ID=29404596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003044547A Expired - Fee Related JP3729179B2 (ja) | 1992-11-02 | 2003-02-21 | 音声入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3729179B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007047949A (ja) * | 2005-08-08 | 2007-02-22 | Advanced Telecommunication Research Institute International | 口トラッキング装置及びコンピュータプログラム |
| JP2007094104A (ja) * | 2005-09-29 | 2007-04-12 | Sony Corp | 情報処理装置および方法、並びにプログラム |
-
2003
- 2003-02-21 JP JP2003044547A patent/JP3729179B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007047949A (ja) * | 2005-08-08 | 2007-02-22 | Advanced Telecommunication Research Institute International | 口トラッキング装置及びコンピュータプログラム |
| JP2007094104A (ja) * | 2005-09-29 | 2007-04-12 | Sony Corp | 情報処理装置および方法、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3729179B2 (ja) | 2005-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5839109A (en) | Speech recognition apparatus capable of recognizing signals of sounds other than spoken words and displaying the same for viewing | |
| WO2012133058A1 (ja) | 電子機器及び情報伝達システム | |
| JP6344125B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
| EP1715717A1 (en) | Mobile body with superdirectivity speaker | |
| EP0896319A1 (en) | Recognition apparatus, recognition method, learning apparatus and learning method | |
| EP1083769A4 (en) | LANGUAGE CONVERSION DEVICE AND PROCEDURE | |
| US11182567B2 (en) | Speech translation apparatus, speech translation method, and recording medium storing the speech translation method | |
| JP2010154259A (ja) | 画像音声処理装置 | |
| KR101822084B1 (ko) | 시각장애인을 위한 지팡이 | |
| JP2012205240A (ja) | 電子機器及び情報伝達システム | |
| US8135217B2 (en) | Method for optimized camera position finding for system with optical character recognition | |
| JP6675527B2 (ja) | 音声入出力装置 | |
| RU2004136294A (ru) | Диалоговое управление для электрического устройства | |
| JP7063005B2 (ja) | 運転支援方法、車両、及び運転支援システム | |
| CN111128180A (zh) | 一种听力障碍者的辅助对话系统 | |
| JP2017123505A (ja) | コンテンツ再生装置、コンテンツ再生方法及びプログラム | |
| US5687280A (en) | Speech input device including display of spatial displacement of lip position relative to predetermined position | |
| JP2003303093A (ja) | 音声入力装置 | |
| JP3478269B2 (ja) | 音声入力装置 | |
| JP2012205242A (ja) | 電子機器及び情報伝達システム | |
| JP3838159B2 (ja) | 音声認識対話装置およびプログラム | |
| JPH06208451A (ja) | 音声入力装置 | |
| JP4789227B2 (ja) | 音声認識機能を内蔵した映像表示装置 | |
| CN110716181A (zh) | 声音信号采集方法以及分离式麦克风阵列 | |
| JP2002229592A (ja) | 音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040617 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040727 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040915 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041015 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050816 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050926 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |