JP2003018278A - 通信装置 - Google Patents
通信装置Info
- Publication number
- JP2003018278A JP2003018278A JP2001200256A JP2001200256A JP2003018278A JP 2003018278 A JP2003018278 A JP 2003018278A JP 2001200256 A JP2001200256 A JP 2001200256A JP 2001200256 A JP2001200256 A JP 2001200256A JP 2003018278 A JP2003018278 A JP 2003018278A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- mouth
- movement
- voice signal
- call target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 本発明は、通信装置に関し、例えば携帯電話
に適用して、音声の発生に障害を有する者にあっても、
リアルタイムで種々の情報を送受することができるよう
にする。 【解決手段】 本発明は、口の動きを解析して音声を通
話対象に出力すると共に、通話対象より得られる音声信
号を音声認識処理して提供する。また通話対象より得ら
れる撮像結果より口の動きを解析して音声、テキストを
生成する。
に適用して、音声の発生に障害を有する者にあっても、
リアルタイムで種々の情報を送受することができるよう
にする。 【解決手段】 本発明は、口の動きを解析して音声を通
話対象に出力すると共に、通話対象より得られる音声信
号を音声認識処理して提供する。また通話対象より得ら
れる撮像結果より口の動きを解析して音声、テキストを
生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、通信装置に関し、
例えば携帯電話に適用することができる。本発明は、口
の動きを解析して音声を通話対象に出力すると共に、通
話対象より得られる音声信号を音声認識処理して提供す
ることにより、また通話対象より得られる撮像結果より
口の動きを解析して音声、テキストを生成することによ
り、音声の発生に障害を有する者にあっても、リアルタ
イムで種々の情報を送受することができるようにする。
例えば携帯電話に適用することができる。本発明は、口
の動きを解析して音声を通話対象に出力すると共に、通
話対象より得られる音声信号を音声認識処理して提供す
ることにより、また通話対象より得られる撮像結果より
口の動きを解析して音声、テキストを生成することによ
り、音声の発生に障害を有する者にあっても、リアルタ
イムで種々の情報を送受することができるようにする。
【０００２】
【従来の技術】従来、携帯電話等の通信手段において
は、マイクを介して取得した音声を通話対象に送出する
と共に、通話対象より得られる音声をスピーカより出力
することにより、音声により各種の情報を送受して、通
話対象との間で会話と楽しむことができるようになされ
ている。
は、マイクを介して取得した音声を通話対象に送出する
と共に、通話対象より得られる音声をスピーカより出力
することにより、音声により各種の情報を送受して、通
話対象との間で会話と楽しむことができるようになされ
ている。
【０００３】
【発明が解決しようとする課題】ところでこのような携
帯電話等の通信手段においては、健常者を前提してシス
テムが構成されており、例えば音声の発生に障害を有す
る者にとっては、使用することが困難な問題がある。
帯電話等の通信手段においては、健常者を前提してシス
テムが構成されており、例えば音声の発生に障害を有す
る者にとっては、使用することが困難な問題がある。
【０００４】この問題を解決する１つの方法として、例
えばパーソナルコンピュータを利用してキーボードによ
り文字入力して通信する方法が考えられる。しかしなが
らこの方法の場合、リアルタイムで情報を送受すること
が困難な問題がある。
えばパーソナルコンピュータを利用してキーボードによ
り文字入力して通信する方法が考えられる。しかしなが
らこの方法の場合、リアルタイムで情報を送受すること
が困難な問題がある。
【０００５】本発明は以上の点を考慮してなされたもの
で、音声の発生に障害を有する者にあっても、リアルタ
イムで種々の情報を送受することができる通信装置を提
案しようとするものである。
で、音声の発生に障害を有する者にあっても、リアルタ
イムで種々の情報を送受することができる通信装置を提
案しようとするものである。
【０００６】
【課題を解決するための手段】かかる課題を解決するた
め請求項１の発明においては、撮像結果を処理して、通
話者の口の動きを検出し、この口の動きに対応する音声
による音声信号を生成する音声生成手段と、この音声信
号を通話対象に出力する送信手段と、通話対象より送出
される音声信号を受信する受信手段と、この受信手段よ
り得られる音声信号を音声認識処理してテキストデータ
を生成する音声認識手段と、このテキストデータを表示
する表示手段とを備えるようにする。
め請求項１の発明においては、撮像結果を処理して、通
話者の口の動きを検出し、この口の動きに対応する音声
による音声信号を生成する音声生成手段と、この音声信
号を通話対象に出力する送信手段と、通話対象より送出
される音声信号を受信する受信手段と、この受信手段よ
り得られる音声信号を音声認識処理してテキストデータ
を生成する音声認識手段と、このテキストデータを表示
する表示手段とを備えるようにする。
【０００７】また請求項９の発明においては、通話対象
の撮像結果より口の動きを検出し、この口の動きに対応
する音声による音声信号を生成する音声生成手段と、こ
の音声信号をスピーカより出力する音声信号出力手段と
を備えるようにする。
の撮像結果より口の動きを検出し、この口の動きに対応
する音声による音声信号を生成する音声生成手段と、こ
の音声信号をスピーカより出力する音声信号出力手段と
を備えるようにする。
【０００８】また請求項１０の発明においては、通話対
象の撮像結果より口の動きを検出し、この口の動きに対
応する音声を示すテキストデータを生成する音声解析手
段と、このテキストデータを表示する表示手段とを備え
るようにする。
象の撮像結果より口の動きを検出し、この口の動きに対
応する音声を示すテキストデータを生成する音声解析手
段と、このテキストデータを表示する表示手段とを備え
るようにする。
【０００９】請求項１の構成によれば、撮像結果を処理
して、通話者の口の動きを検出し、この口の動きに対応
する音声による音声信号を生成する音声生成手段と、こ
の音声信号を通話対象に出力する送信手段とを備えるこ
とにより、音声の発生に障害を有する者であっても、こ
の口の動きにより通話対象に音声を送出することができ
る。また通話対象より送出される音声信号を受信する受
信手段と、この受信手段より得られる音声信号を音声認
識処理してテキストデータを生成する音声認識手段と、
このテキストデータを表示する表示手段とを備えること
により、このような音声の発生に障害を有する者に多い
聴覚に障害を有する者においても、通話対象からの音声
信号の内容を確認することができる。これらにより音声
の発生に障害を有する者にあっても、音声による電話等
の既存のインフラを有効に利用してリアルタイムで種々
の情報を送受することができる。
して、通話者の口の動きを検出し、この口の動きに対応
する音声による音声信号を生成する音声生成手段と、こ
の音声信号を通話対象に出力する送信手段とを備えるこ
とにより、音声の発生に障害を有する者であっても、こ
の口の動きにより通話対象に音声を送出することができ
る。また通話対象より送出される音声信号を受信する受
信手段と、この受信手段より得られる音声信号を音声認
識処理してテキストデータを生成する音声認識手段と、
このテキストデータを表示する表示手段とを備えること
により、このような音声の発生に障害を有する者に多い
聴覚に障害を有する者においても、通話対象からの音声
信号の内容を確認することができる。これらにより音声
の発生に障害を有する者にあっても、音声による電話等
の既存のインフラを有効に利用してリアルタイムで種々
の情報を送受することができる。
【００１０】また請求項９の発明においては、通話対象
の撮像結果より口の動きを検出し、この口の動きに対応
する音声による音声信号を生成する音声生成手段と、こ
の音声信号をスピーカより出力する音声信号出力手段と
を備えることにより、音声に代えて伝送される通話対象
の撮像結果より、通話対象からの情報を音声により取得
することができる。これにより通話対象が音声の発生に
障害を有する者にあっても、音声による電話等の既存の
インフラを有効に利用してリアルタイムで種々の情報を
送受することができる。
の撮像結果より口の動きを検出し、この口の動きに対応
する音声による音声信号を生成する音声生成手段と、こ
の音声信号をスピーカより出力する音声信号出力手段と
を備えることにより、音声に代えて伝送される通話対象
の撮像結果より、通話対象からの情報を音声により取得
することができる。これにより通話対象が音声の発生に
障害を有する者にあっても、音声による電話等の既存の
インフラを有効に利用してリアルタイムで種々の情報を
送受することができる。
【００１１】また請求項１０の発明においては、通話対
象の撮像結果より口の動きを検出し、この口の動きに対
応する音声を示すテキストデータを生成する音声解析手
段と、このテキストデータを表示する表示手段とを備え
ることにより、音声に代えて伝送される通話対象の撮像
結果より、通話対象からの情報を音声により取得するこ
とができる。これにより通話対象が音声の発生に障害を
有する者にあっても、音声による電話等の既存のインフ
ラを有効に利用してリアルタイムで種々の情報を送受す
ることができる。
象の撮像結果より口の動きを検出し、この口の動きに対
応する音声を示すテキストデータを生成する音声解析手
段と、このテキストデータを表示する表示手段とを備え
ることにより、音声に代えて伝送される通話対象の撮像
結果より、通話対象からの情報を音声により取得するこ
とができる。これにより通話対象が音声の発生に障害を
有する者にあっても、音声による電話等の既存のインフ
ラを有効に利用してリアルタイムで種々の情報を送受す
ることができる。
【００１２】
【発明の実施の形態】以下、適宜図面を参照しながら本
発明の実施の形態を詳述する。
発明の実施の形態を詳述する。
【００１３】（１）第１の実施の形態
（１−１）第１の実施の形態の構成
図１は、本発明の実施の形態に係る携帯電話を示すブロ
ック図である。この携帯電話１において、マイク２は、
通話者の音声より音声信号を生成し、音声信号処理回路
３は、このマイク２より得られる音声信号を音声データ
に変換した後、所定フォーマットにより送信部４に入力
する。また音声信号処理回路３は、コントローラ５の制
御により、このマイク２より出力される音声信号の処理
に代えて、音声合成回路７から出力される音声データを
同様に処理して送信部４に出力する。
ック図である。この携帯電話１において、マイク２は、
通話者の音声より音声信号を生成し、音声信号処理回路
３は、このマイク２より得られる音声信号を音声データ
に変換した後、所定フォーマットにより送信部４に入力
する。また音声信号処理回路３は、コントローラ５の制
御により、このマイク２より出力される音声信号の処理
に代えて、音声合成回路７から出力される音声データを
同様に処理して送信部４に出力する。
【００１４】送信部４は、コントローラ５の制御によ
り、アンテナ６を介して所定周波数による無線通信波を
出力し、また音声信号処理回路３より出力される音声デ
ータを同様にして送出する。受信部８は、アンテナ６を
介して受信される無線通信波を処理することにより、基
地局より得られる各種制御データを受信してコントロー
ラ５に出力し、また同様の処理により通話対象より得ら
れる音声データを音声信号処理回路９に出力する。
り、アンテナ６を介して所定周波数による無線通信波を
出力し、また音声信号処理回路３より出力される音声デ
ータを同様にして送出する。受信部８は、アンテナ６を
介して受信される無線通信波を処理することにより、基
地局より得られる各種制御データを受信してコントロー
ラ５に出力し、また同様の処理により通話対象より得ら
れる音声データを音声信号処理回路９に出力する。
【００１５】これによりこの携帯電話１では、コントロ
ーラ５の制御により送信部４及び受信部８の動作を制御
して発呼、回線接続等の処理を実行するようになされ、
またマイク２で取得した通話者の音声信号を通話対象に
送出すると共に、通話対象より得られる音声信号を受信
するようになされている。
ーラ５の制御により送信部４及び受信部８の動作を制御
して発呼、回線接続等の処理を実行するようになされ、
またマイク２で取得した通話者の音声信号を通話対象に
送出すると共に、通話対象より得られる音声信号を受信
するようになされている。
【００１６】音声信号処理回路９は、この受信部８より
得られる音声データを処理してアナログ信号よる音声信
号を生成し、この音声信号によりスピーカ１０を駆動す
る。これによりこの携帯電話１では、通話対象より得ら
れる音声信号をスピーカ１０から出力できるようになさ
れている。また音声信号処理回路９は、所定フォーマッ
トにより伝送される音声データを処理して、時系列によ
り音声信号をサンプリングしてなる音声データを生成
し、スピーカ１０への音声信号の出力に代えて、又はス
ピーカ１０への音声信号の出力と同時に、この音声デー
タを音声認識回路１１に出力する。
得られる音声データを処理してアナログ信号よる音声信
号を生成し、この音声信号によりスピーカ１０を駆動す
る。これによりこの携帯電話１では、通話対象より得ら
れる音声信号をスピーカ１０から出力できるようになさ
れている。また音声信号処理回路９は、所定フォーマッ
トにより伝送される音声データを処理して、時系列によ
り音声信号をサンプリングしてなる音声データを生成
し、スピーカ１０への音声信号の出力に代えて、又はス
ピーカ１０への音声信号の出力と同時に、この音声デー
タを音声認識回路１１に出力する。
【００１７】音声認識回路１１は、この音声信号処理回
路９から出力される音声データを所定の判定基準と比較
して処理することにより、この音声データを音声認識処
理し、処理結果をテキストデータにより出力する。この
とき音声認識回路１１は、回線接続処理で得られる通話
対象の電話番号を基準にして、この判定基準を切り換え
ることにより、通話対象に応じて判定基準を切り換えて
音声認識率を向上する。
路９から出力される音声データを所定の判定基準と比較
して処理することにより、この音声データを音声認識処
理し、処理結果をテキストデータにより出力する。この
とき音声認識回路１１は、回線接続処理で得られる通話
対象の電話番号を基準にして、この判定基準を切り換え
ることにより、通話対象に応じて判定基準を切り換えて
音声認識率を向上する。
【００１８】表示部１２は、この携帯電話１の操作パネ
ルに配置された液晶表示パネルであり、コントローラ５
の制御により、ユーザーによる選択操作に応動して、音
声認識結果によるテキストデータを表示する。これによ
りこの携帯電話１においては、通話対象からのメッセー
ジを音声だけでなく、必要に応じてテキストに変換して
確認できるようになされている。
ルに配置された液晶表示パネルであり、コントローラ５
の制御により、ユーザーによる選択操作に応動して、音
声認識結果によるテキストデータを表示する。これによ
りこの携帯電話１においては、通話対象からのメッセー
ジを音声だけでなく、必要に応じてテキストに変換して
確認できるようになされている。
【００１９】撮像部１３は、この携帯電話１に搭載され
たテレビジョンカメラであり、通話者の顔を撮像して撮
像結果を出力する。画像抽出回路１４は、この撮像結果
の輪郭抽出処理により、撮像結果より通話者の口の輪郭
を抽出して出力する。
たテレビジョンカメラであり、通話者の顔を撮像して撮
像結果を出力する。画像抽出回路１４は、この撮像結果
の輪郭抽出処理により、撮像結果より通話者の口の輪郭
を抽出して出力する。
【００２０】判定部１５は、所定の判定基準であるテン
プレート１６Ａ〜１６Ｎを基準にして、この画像抽出回
路１４により抽出された口の輪郭を判定することによ
り、通話者の口の動きを解析して通話者の音声によるテ
キストデータを生成する。ここでテンプレート１６Ａ〜
１６Ｎは、口の動きに対して発生される音声を記録して
構成され、標準的な口の動きを基準にしたテンプレート
１６Ａと、個々の通話者に適用されるテンプレート１６
Ｂ〜１６Ｎとにより構成されるようになされている。判
定部１５は、コントローラ５により指示されたテンプレ
ート１６Ａ〜１６Ｎの記録により連続する口の動きを判
定して通話者の音声を判定する。このとき判定部１５
は、テンプレートの記録との間で一致の程度を示す判定
基準値を基準にして口の動きに対応する音声を検出し、
この判定基準値が所定値以下のとき、すなわち口の動き
に対応する音声の検出が不正確と判断できる場合、表示
部１２を介してテキストデータを表示し、通話者による
修正を受け付ける。またこのようにして修正を受け付け
ると、対応するテンプレート１６Ａ〜１６Ｎを更新す
る。これにより判定部１５は、通話者に応じて判定基準
を切り換えて通話者の口の動きに対応する音声を示すテ
キストデータを生成するようになされている。またこの
判定基準値を通話者に応じて切り換え、さらにはテンプ
レートを更新して、いわゆる学習機能を担保して認識率
を向上するようになされている。
プレート１６Ａ〜１６Ｎを基準にして、この画像抽出回
路１４により抽出された口の輪郭を判定することによ
り、通話者の口の動きを解析して通話者の音声によるテ
キストデータを生成する。ここでテンプレート１６Ａ〜
１６Ｎは、口の動きに対して発生される音声を記録して
構成され、標準的な口の動きを基準にしたテンプレート
１６Ａと、個々の通話者に適用されるテンプレート１６
Ｂ〜１６Ｎとにより構成されるようになされている。判
定部１５は、コントローラ５により指示されたテンプレ
ート１６Ａ〜１６Ｎの記録により連続する口の動きを判
定して通話者の音声を判定する。このとき判定部１５
は、テンプレートの記録との間で一致の程度を示す判定
基準値を基準にして口の動きに対応する音声を検出し、
この判定基準値が所定値以下のとき、すなわち口の動き
に対応する音声の検出が不正確と判断できる場合、表示
部１２を介してテキストデータを表示し、通話者による
修正を受け付ける。またこのようにして修正を受け付け
ると、対応するテンプレート１６Ａ〜１６Ｎを更新す
る。これにより判定部１５は、通話者に応じて判定基準
を切り換えて通話者の口の動きに対応する音声を示すテ
キストデータを生成するようになされている。またこの
判定基準値を通話者に応じて切り換え、さらにはテンプ
レートを更新して、いわゆる学習機能を担保して認識率
を向上するようになされている。
【００２１】これらにより判定部１５は、口の動きに対
応する音声を示すテキストデータを生成する音声解析手
段を構成するのに対し、音声合成回路７は、このテキス
トデータより音声信号を生成する音声合成手段を構成す
るようになされ、この実施の形態では、この音声解析手
段と音声合成手段とにより、通話者の口の動きを検出
し、この口の動きに対応する音声による音声信号を生成
する音声生成手段を構成するようになされている。
応する音声を示すテキストデータを生成する音声解析手
段を構成するのに対し、音声合成回路７は、このテキス
トデータより音声信号を生成する音声合成手段を構成す
るようになされ、この実施の形態では、この音声解析手
段と音声合成手段とにより、通話者の口の動きを検出
し、この口の動きに対応する音声による音声信号を生成
する音声生成手段を構成するようになされている。
【００２２】すなわち音声合成回路７は、この判定部１
５より出力されるテキストデータより音声合成処理を実
行し、その処理結果である音声データを音声信号処理回
路３に出力する。これによりこの携帯電話１では、口の
動きにより対応する音声を合成して通話対象に送出でき
るようになされ、発声に障害を有する通話者にあって
も、リアルタイムで健常者との間で会話を楽しむことが
できるようになされている。またこのような発声に障害
を有する通話者にあっては、聴覚に障害を有する場合も
あることにより、通話対象からの音声を音声認識処理し
てテキストにより表示することにより、このような発声
に加えて聴覚に障害を有する場合であっても、リアルタ
イムで健常者との間で会話を楽しむことができるように
なされている。
５より出力されるテキストデータより音声合成処理を実
行し、その処理結果である音声データを音声信号処理回
路３に出力する。これによりこの携帯電話１では、口の
動きにより対応する音声を合成して通話対象に送出でき
るようになされ、発声に障害を有する通話者にあって
も、リアルタイムで健常者との間で会話を楽しむことが
できるようになされている。またこのような発声に障害
を有する通話者にあっては、聴覚に障害を有する場合も
あることにより、通話対象からの音声を音声認識処理し
てテキストにより表示することにより、このような発声
に加えて聴覚に障害を有する場合であっても、リアルタ
イムで健常者との間で会話を楽しむことができるように
なされている。
【００２３】コントローラ５は、この携帯電話１の動作
を制御する制御回路であり、操作パネルに配置されたテ
ンキー等の操作子１７の操作により、又は受信部８を介
して検出される発呼により、送信部４及び受信部８の動
作を制御し、これにより回線接続の処理を実行する。ま
た回線が接続されると、マイク２より出力される音声信
号を通話対象に送出するように、さらに通話対象より得
られる音声信号をスピーカ１０から出力するように、全
体の動作を制御する。
を制御する制御回路であり、操作パネルに配置されたテ
ンキー等の操作子１７の操作により、又は受信部８を介
して検出される発呼により、送信部４及び受信部８の動
作を制御し、これにより回線接続の処理を実行する。ま
た回線が接続されると、マイク２より出力される音声信
号を通話対象に送出するように、さらに通話対象より得
られる音声信号をスピーカ１０から出力するように、全
体の動作を制御する。
【００２４】この通話時において、又は通話開始前にお
いて、ユーザーにより所定の操作子が操作されると、マ
イク２で取得される音声に代えて、口の動きにより検出
される音声を通話対象に送出するように、また通話対象
からの音声をテキストにより表示するように全体の動作
を制御する。また口の動きによる音声の検出において、
判定部１５において不正確な検出結果が得られると対応
するテキストを表示するように全体の動作を切り換え、
また操作子１７の操作によりテキストの修正を受け付け
る。また同様にして、通話対象を音声認識回路１１に通
知し、音声認識における判定基準を通話対象に応じて切
り換えることができるようにする。またこのようにして
通話して、ユーザーによる操作子の操作により通話の完
了が指示されると、又は受信部８を介して回線の切断が
検出されると、一連の処理を終了するように全体の動作
を制御する。
いて、ユーザーにより所定の操作子が操作されると、マ
イク２で取得される音声に代えて、口の動きにより検出
される音声を通話対象に送出するように、また通話対象
からの音声をテキストにより表示するように全体の動作
を制御する。また口の動きによる音声の検出において、
判定部１５において不正確な検出結果が得られると対応
するテキストを表示するように全体の動作を切り換え、
また操作子１７の操作によりテキストの修正を受け付け
る。また同様にして、通話対象を音声認識回路１１に通
知し、音声認識における判定基準を通話対象に応じて切
り換えることができるようにする。またこのようにして
通話して、ユーザーによる操作子の操作により通話の完
了が指示されると、又は受信部８を介して回線の切断が
検出されると、一連の処理を終了するように全体の動作
を制御する。
【００２５】（１−１）第１の実施の形態の構成
以上の構成において、この携帯電話１では、通常の動作
においては、通話対象との間で回線が接続されると、マ
イク２を介して取得される通話者の音声が音声信号処理
回路３、送信部４、アンテナ６を介して通話対象に送出
され、また通話対象より得られる音声が、アンテナ６、
音声信号処理回路９を介して処理され、スピーカ１０よ
り出力される。これにより携帯電話１では、一般の携帯
電話と同様に所望する通話対象との間で音声により会話
を楽しんで種々の情報を送受することができる。
においては、通話対象との間で回線が接続されると、マ
イク２を介して取得される通話者の音声が音声信号処理
回路３、送信部４、アンテナ６を介して通話対象に送出
され、また通話対象より得られる音声が、アンテナ６、
音声信号処理回路９を介して処理され、スピーカ１０よ
り出力される。これにより携帯電話１では、一般の携帯
電話と同様に所望する通話対象との間で音声により会話
を楽しんで種々の情報を送受することができる。
【００２６】これに対してユーザーが所望の操作子１７
を操作すると、撮像部１３を介して得られる通話者の撮
像結果が画像抽出回路１４で処理され、口の動きが検出
される。また判定部１５において、この口の動きをテン
プレート１６Ａ〜１６Ｎより判定して、口の動きに対応
する音声がテキストデータにより生成され、このテキス
トデータが続く音声合成回路７により処理されて音声デ
ータが生成される。携帯電話１では、このようにして生
成される口の動きによる音声が、マイク２より得られる
音声に代えて通話対象に送出される。これによりこの携
帯電話１では、全く音声を発生することが困難な通話
者、さらには音声を発生することはできるものの、非常
に音声が聴きづらい通話者等の、発声に障害を有する通
話者であっても、通話者の意図する音声を通話対象に送
出することができ、これによりリアルタイムで通常の携
帯電話により会話する場合と同様にして音声による会話
を楽しんで種々の情報を送受することができる。
を操作すると、撮像部１３を介して得られる通話者の撮
像結果が画像抽出回路１４で処理され、口の動きが検出
される。また判定部１５において、この口の動きをテン
プレート１６Ａ〜１６Ｎより判定して、口の動きに対応
する音声がテキストデータにより生成され、このテキス
トデータが続く音声合成回路７により処理されて音声デ
ータが生成される。携帯電話１では、このようにして生
成される口の動きによる音声が、マイク２より得られる
音声に代えて通話対象に送出される。これによりこの携
帯電話１では、全く音声を発生することが困難な通話
者、さらには音声を発生することはできるものの、非常
に音声が聴きづらい通話者等の、発声に障害を有する通
話者であっても、通話者の意図する音声を通話対象に送
出することができ、これによりリアルタイムで通常の携
帯電話により会話する場合と同様にして音声による会話
を楽しんで種々の情報を送受することができる。
【００２７】この処理において、携帯電話１では、通話
者に応じてテンプレートが切り換えられて判定基準が切
り換えられ、また通話者による修正を受け付け、さらに
はこの修正によりテンプレートの内容が更新され、これ
により精度よく口の動きを音声に変換することができ、
使い勝手を向上することができる。
者に応じてテンプレートが切り換えられて判定基準が切
り換えられ、また通話者による修正を受け付け、さらに
はこの修正によりテンプレートの内容が更新され、これ
により精度よく口の動きを音声に変換することができ、
使い勝手を向上することができる。
【００２８】またこのように発声に障害を有する通話者
にあっては、聴覚に障害を有する場合もあることによ
り、通話対象からの音声を音声認識処理してテキストに
より表示するようになされ、これによりこのような発声
に加えて聴覚に障害を有する場合であっても、リアルタ
イムで健常者との間で会話を楽しむことができる。
にあっては、聴覚に障害を有する場合もあることによ
り、通話対象からの音声を音声認識処理してテキストに
より表示するようになされ、これによりこのような発声
に加えて聴覚に障害を有する場合であっても、リアルタ
イムで健常者との間で会話を楽しむことができる。
【００２９】このとき通話対象に応じて音声認識の判定
基準が切り換えられ、これにより音声認識の精度が向上
され、さらに一段と使い勝手を向上することができる。
基準が切り換えられ、これにより音声認識の精度が向上
され、さらに一段と使い勝手を向上することができる。
【００３０】（１−３）第１の実施の形態の効果
以上の構成によれば、口の動きを解析して音声を通話対
象に出力すると共に、通話対象より得られる音声信号を
音声認識処理して提供することにより、音声の発生に障
害を有する者にあっても、リアルタイムで種々の情報を
送受することができる。
象に出力すると共に、通話対象より得られる音声信号を
音声認識処理して提供することにより、音声の発生に障
害を有する者にあっても、リアルタイムで種々の情報を
送受することができる。
【００３１】このとき口の動きに対応する音声を示すテ
キストデータを生成し、またこのテキストデータより音
声信号を合成することにより、必要に応じて音声合成し
た音声に代えてテキストを送信することができ、またこ
のテキストを利用して修正を受け付けることができ、そ
の分使い勝手を向上することができる。
キストデータを生成し、またこのテキストデータより音
声信号を合成することにより、必要に応じて音声合成し
た音声に代えてテキストを送信することができ、またこ
のテキストを利用して修正を受け付けることができ、そ
の分使い勝手を向上することができる。
【００３２】また通話者の操作により、音声生成手段よ
り得られる音声信号に代えて、マイクより得られる音声
信号を出力することにより、またこのような音声信号を
通話対象に出力する構成に代えて、受信手段より得られ
る音声信号をスピーカより出力することにより、さらに
はこのような音声信号を通話対象に出力する構成に加え
て、受信手段より得られる音声信号をスピーカより出力
することにより、健常者であっても通話することができ
る。
り得られる音声信号に代えて、マイクより得られる音声
信号を出力することにより、またこのような音声信号を
通話対象に出力する構成に代えて、受信手段より得られ
る音声信号をスピーカより出力することにより、さらに
はこのような音声信号を通話対象に出力する構成に加え
て、受信手段より得られる音声信号をスピーカより出力
することにより、健常者であっても通話することができ
る。
【００３３】また音声信号の修正を受け付け可能とする
ことにより、通話者の意図を確実に通話対象に伝送する
ことができる。
ことにより、通話者の意図を確実に通話対象に伝送する
ことができる。
【００３４】また通話者の口の動きに対応して音声信号
を生成する際に、通話者の操作に応じて、判定基準を切
り換えることにより、複数の通話者で共用する場合に、
各通話者毎に判定基準を設定して認識率を向上すること
ができる。
を生成する際に、通話者の操作に応じて、判定基準を切
り換えることにより、複数の通話者で共用する場合に、
各通話者毎に判定基準を設定して認識率を向上すること
ができる。
【００３５】また同様に、通話対象より得られる音声に
ついても、通話対象に応じて、判定基準を切り換えるこ
とにより、通話対象に応じて判定基準を設定して認識率
を向上することができる。
ついても、通話対象に応じて、判定基準を切り換えるこ
とにより、通話対象に応じて判定基準を設定して認識率
を向上することができる。
【００３６】（２）第２の実施の形態
図２は、本発明の第２の実施の形態に係る携帯電話を示
すブロック図である。この携帯電話２１において、図１
について上述した携帯電話１と同一の構成は、対応する
符号を付して示し、重複した説明は省略する。
すブロック図である。この携帯電話２１において、図１
について上述した携帯電話１と同一の構成は、対応する
符号を付して示し、重複した説明は省略する。
【００３７】この携帯電話２１は、発声に障害を有する
通話対象との間の通話に、健常者が使用する電話であ
る。このためこの携帯電話２１では、マイク２より得ら
れる音声信号を音声信号処理回路３で音声データに変換
して送信部４より送出すると共に、この音声データを音
声認識回路１１により音声認識し、その音声認識結果で
あるテキストデータを通話対象に送出する。
通話対象との間の通話に、健常者が使用する電話であ
る。このためこの携帯電話２１では、マイク２より得ら
れる音声信号を音声信号処理回路３で音声データに変換
して送信部４より送出すると共に、この音声データを音
声認識回路１１により音声認識し、その音声認識結果で
あるテキストデータを通話対象に送出する。
【００３８】また同様に、通話対象より通話対象の撮像
結果を受信し、画像抽出回路１４、判定部１５、音声合
成回路７によるこの撮像結果の処理により、この受信側
において通話対象の口の動きに応じた音声を生成し、ス
ピーカ１０より出力する。また必要に応じてこの口の動
きを解析して得られるテキストデータを表示部１２で表
示する。
結果を受信し、画像抽出回路１４、判定部１５、音声合
成回路７によるこの撮像結果の処理により、この受信側
において通話対象の口の動きに応じた音声を生成し、ス
ピーカ１０より出力する。また必要に応じてこの口の動
きを解析して得られるテキストデータを表示部１２で表
示する。
【００３９】この実施の形態のように、通話対象の口の
動きを検出し、この口の動きに対応する音声による音声
信号を生成するようにしても第１の実施の形態と同様の
効果を得ることができる。
動きを検出し、この口の動きに対応する音声による音声
信号を生成するようにしても第１の実施の形態と同様の
効果を得ることができる。
【００４０】また同様にして通話対象の口の動きを検出
し、この口の動きに対応する音声を示すテキストデータ
を表示するようにしても、第１の実施の形態と同様の効
果を得ることができる。
し、この口の動きに対応する音声を示すテキストデータ
を表示するようにしても、第１の実施の形態と同様の効
果を得ることができる。
【００４１】（３）他の実施の形態
なお上述の実施の形態においては、通話者の操作により
テンプレートを切り換えることにより、通話者に応じて
判断基準を切り換える場合について述べたが、本発明は
これに限らず、例えばバイオメトリックスによる個人認
証結果により、通話者に応じて判断基準を切り換えるよ
うにしてもよい。
テンプレートを切り換えることにより、通話者に応じて
判断基準を切り換える場合について述べたが、本発明は
これに限らず、例えばバイオメトリックスによる個人認
証結果により、通話者に応じて判断基準を切り換えるよ
うにしてもよい。
【００４２】また上述の実施の形態においては、通話対
象との間で音声を送受する場合について述べたが、本発
明はこれに限らず、口の動きを解析して得られるテキス
トデータを送出するようにしてもよい。
象との間で音声を送受する場合について述べたが、本発
明はこれに限らず、口の動きを解析して得られるテキス
トデータを送出するようにしてもよい。
【００４３】また上述の実施の形態においては、本発明
を携帯電話に適用する場合について述べたが、本発明は
これに限らず、有線による電話機、さらには各種無線通
話装置等に広く適用することができる。
を携帯電話に適用する場合について述べたが、本発明は
これに限らず、有線による電話機、さらには各種無線通
話装置等に広く適用することができる。
【００４４】
【発明の効果】上述のように本発明によれば、口の動き
を解析して音声を通話対象に出力すると共に、通話対象
より得られる音声信号を音声認識処理して提供すること
により、また通話対象より得られる撮像結果より口の動
きを解析して音声、テキストを生成することにより、音
声の発生に障害を有する者にあっても、リアルタイムで
種々の情報を送受することができる。
を解析して音声を通話対象に出力すると共に、通話対象
より得られる音声信号を音声認識処理して提供すること
により、また通話対象より得られる撮像結果より口の動
きを解析して音声、テキストを生成することにより、音
声の発生に障害を有する者にあっても、リアルタイムで
種々の情報を送受することができる。
【図１】本発明の第１の実施の形態に係る携帯電話を示
すブロック図である。
すブロック図である。
【図２】本発明の第２の実施の形態に係る携帯電話を示
すブロック図である。
すブロック図である。
１、２１……携帯電話、２……マイク、７……音声合成
回路、１０……スピーカ、１１……音声認識回路、１３
……撮像部、１４……画像抽出回路、１５……判定部
回路、１０……スピーカ、１１……音声認識回路、１３
……撮像部、１４……画像抽出回路、１５……判定部
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｄ ５Ｌ０９６
Ｇ１０Ｌ 13/00 Ｈ０４Ｍ 1/725
15/00 11/00 ３０２
15/06 Ｇ１０Ｌ 3/00 Ｓ
21/06 Ｑ
Ｈ０４Ｍ 1/725 ５５１Ａ
11/00 ３０２ ５５１Ｂ
５２１Ｖ
５５１Ｃ
Ｆターム(参考） 5B057 BA02 CA12 CA16 DA12 DB02
DC33
5D015 AA01 KK02
5D045 AA07 AB04
5K027 AA05 AA11 HH19 HH20
5K101 KK19 LL12 NN06 NN08 NN16
5L096 BA16 CA02 HA09 JA03 JA09
Claims (10)
- 【請求項１】通話者を撮像して撮像結果を出力する撮像
手段と、 前記撮像結果を処理して、前記通話者の口の動きを検出
し、前記口の動きに対応する音声による音声信号を生成
する音声生成手段と、 前記音声信号を通話対象に出力する送信手段と、 前記通話対象より送出される音声信号を受信する受信手
段と、 前記受信手段より得られる音声信号を音声認識処理して
テキストデータを生成する音声認識手段と、 前記テキストデータを表示する表示手段とを備えること
を特徴とする通信装置。 - 【請求項２】前記音声生成手段は、 前記口の動きに対応する音声を示すテキストデータを生
成する音声解析手段と、 前記テキストデータより前記音声信号を生成する音声合
成手段とを備えること特徴とする請求項１に記載の通信
装置。 - 【請求項３】前記送信手段は、 前記通話者の操作により、前記音声生成手段より得られ
る音声信号に代えて、マイクより得られる音声信号を出
力すること特徴とする請求項１に記載の通信装置。 - 【請求項４】前記送信手段は、 前記通話者の操作により、前記音声生成手段より得られ
る音声信号に代えて、前記音声解析手段より得られるテ
キストデータを出力すること特徴とする請求項１に記載
の通信装置。 - 【請求項５】前記通話者の操作により、前記受信手段よ
り得られる音声信号をスピーカより出力すること特徴と
する請求項１に記載の通信装置。 - 【請求項６】前記音声生成手段は、前記音声信号の修正
を受け付け可能に設定されたこと特徴とする請求項１に
記載の通信装置。 - 【請求項７】前記音声生成手段は、 所定の判定基準との比較により、前記通話者の口の動き
に対応して前記音声信号を生成し、 前記通話者の操作に応じて、前記判定基準を切り換える
こと特徴とする請求項１に記載の通信装置。 - 【請求項８】前記音声認識手段は、 所定の判定基準との比較により、前記テキストデータを
生成し、 前記通話対象に応じて、前記判定基準を切り換えること
特徴とする請求項１に記載の通信装置。 - 【請求項９】通話対象との間で音声信号を送受する通信
装置において、 前記通話対象の撮像結果より口の動きを検出し、前記口
の動きに対応する音声による音声信号を生成する音声生
成手段と、 前記音声信号をスピーカより出力する音声信号出力手段
とを備えることを特徴とする通信装置。 - 【請求項１０】通話対象との間で音声信号を送受する通
信装置において、 前記通話対象の撮像結果より口の動きを検出し、前記口
の動きに対応する音声を示すテキストデータを生成する
音声解析手段と、 前記テキストデータを表示する表示手段と、 を備えることを特徴とする通信装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001200256A JP2003018278A (ja) | 2001-07-02 | 2001-07-02 | 通信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001200256A JP2003018278A (ja) | 2001-07-02 | 2001-07-02 | 通信装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003018278A true JP2003018278A (ja) | 2003-01-17 |
Family
ID=19037403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001200256A Pending JP2003018278A (ja) | 2001-07-02 | 2001-07-02 | 通信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003018278A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007071025A1 (en) * | 2005-12-21 | 2007-06-28 | Jimmy Proximity Inc. | Device and method for capturing vocal sound and mouth region images |
| JP2013045282A (ja) * | 2011-08-24 | 2013-03-04 | Kyushu Institute Of Technology | コミュニケーション支援システム |
| CN103745723A (zh) * | 2014-01-13 | 2014-04-23 | 苏州思必驰信息科技有限公司 | 一种音频信号识别方法及装置 |
| JP2018066780A (ja) * | 2016-10-17 | 2018-04-26 | イノベーション・ラボラトリ株式会社 | 音声抑制システム及び音声抑制装置 |
| CN111916054A (zh) * | 2020-07-08 | 2020-11-10 | 标贝（北京）科技有限公司 | 基于唇形的语音生成方法、装置和系统及存储介质 |
-
2001
- 2001-07-02 JP JP2001200256A patent/JP2003018278A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007071025A1 (en) * | 2005-12-21 | 2007-06-28 | Jimmy Proximity Inc. | Device and method for capturing vocal sound and mouth region images |
| JP2013045282A (ja) * | 2011-08-24 | 2013-03-04 | Kyushu Institute Of Technology | コミュニケーション支援システム |
| CN103745723A (zh) * | 2014-01-13 | 2014-04-23 | 苏州思必驰信息科技有限公司 | 一种音频信号识别方法及装置 |
| JP2018066780A (ja) * | 2016-10-17 | 2018-04-26 | イノベーション・ラボラトリ株式会社 | 音声抑制システム及び音声抑制装置 |
| CN111916054A (zh) * | 2020-07-08 | 2020-11-10 | 标贝（北京）科技有限公司 | 基于唇形的语音生成方法、装置和系统及存储介质 |
| CN111916054B (zh) * | 2020-07-08 | 2024-04-26 | 标贝(青岛)科技有限公司 | 基于唇形的语音生成方法、装置和系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2109302B1 (en) | Emotion recognition message system and message storage server therefor | |
| US5042063A (en) | Telephone apparatus with voice activated dialing function | |
| US7643619B2 (en) | Method for offering TTY/TDD service in a wireless terminal and wireless terminal implementing the same | |
| EP2175647B1 (en) | Apparatus and method for providing emotion expression service in mobile communication terminal | |
| JP2006345025A (ja) | 電話装置およびその音声処理方法 | |
| JP2000068882A (ja) | 無線通信装置 | |
| KR20080036697A (ko) | 휴대용 단말기에서 원격 제어 방법 및 장치 | |
| EP1619909A1 (en) | Method and apparatus for transmitting and outputting data in voice communication | |
| JP2003018278A (ja) | 通信装置 | |
| JP2004015250A (ja) | 携帯端末装置 | |
| KR100489203B1 (ko) | 음성인식 문자 서비스 이동통신 단말기의 통신방법 및 장치 | |
| KR101232537B1 (ko) | 화상통신 단말기 및 화상통신 단말기에서 화상통신 방법 | |
| JPH10240283A (ja) | 音声処理装置及び電話装置 | |
| JP2003188948A (ja) | 携帯端末装置 | |
| KR100752294B1 (ko) | 이동 단말기에서 배경음을 제공하는 방법 및 장치 | |
| KR100768666B1 (ko) | 화자에 따라 자연스럽게 동작하는 아바타를 이용한화상통화 방법 및 시스템 | |
| JP2000332677A (ja) | 移動体通信端末 | |
| JP2003069732A (ja) | ロボット | |
| JP2005348006A (ja) | 文字表示機能を有するテレビ電話装置及びテレビ電話装置における音声の文字変換表示方法 | |
| KR101172295B1 (ko) | 다자간 통화 서비스 장치 및 방법 | |
| JP2002051116A (ja) | 移動体通信装置 | |
| KR100865277B1 (ko) | 발신자 정보의 음성 처리용 디지털 무선전화기 | |
| JP2000324235A (ja) | 移動無線端末装置 | |
| JPH11194790A (ja) | 音声認識作動装置 | |
| KR20050121130A (ko) | 음성 합성을 이용한 음성 메시지 전송 기능을 가지는무선통신 단말기 및 그 방법 |