JP2000295338A

JP2000295338A - 通信装置

Info

Publication number: JP2000295338A
Application number: JP11096613A
Authority: JP
Inventors: Takehiko Isaka; 岳彦井阪; Takayuki Taniguchi; 隆行谷口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-04-02
Filing date: 1999-04-02
Publication date: 2000-10-20

Abstract

(57)【要約】【課題】音声レベルの閾値処理だけではダブルトーク検
出が難しい場合でも正確にその検出を行うことが可能な
通信装置を提供する。【解決手段】カメラ１３から得られた画像信号から口
許特徴抽出器２４によりユーザの口の動きを検出し、ダ
ブルトーク判定器（ＤＴ判定器）２３において、この検
出結果と、送受信信号ｘ，ｙのレベル比Ｃ１（＝Ｌｙ／
Ｌｘ）から、ダブルトークを検出する。このように、カ
メラ１３の画像信号を用いてユーザの口の動きを検出
し、音声検出するので、音声レベルの閾値処理だけでは
送話音声の有無の判定が困難な場合でも、正確なダブル
トーク検出が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

【従来の技術】本発明は、テレビ電話システムやテレビ
会議システム等で用いられる拡声電話機等の通信装置に
関し、特にその通信装置に装備されるエコーキャンセラ
に関する。

【０００２】

【従来の技術】テレビ電話システム等で用いられる拡声
電話機では、スピーカから出力音が直接、あるいは部屋
の壁等に反射して残響となってマイクロホンに回り込む
ことによってエコーが生じ、このエコーが快適な通話を
妨げる。エコーキャンセラはかかるエコーを除去するた
めに用いられる。拡声電話機に用いられるエコーキャン
セラの従来例を図１０に示す。図１０において、相手側
から受信された受信信号ｘはスピーカ１１から受信音と
して放音される。この受信音の一部はエコーパスを経て
送信側のマイクロホン１２に回り込み、エコーとなって
送話音声に重畳するが、この送話音声に重畳したエコー
はエコーキャンセル部３によって除去される。エコーキ
ャンセル部３はエコー信号に等しい大きさの擬似エコー
信号ｙ_hatを生成し、これを送信信号ｙから差し引くこ
とによってエコーを消去する回路であり、データメモリ
３１、係数更新回路３２、係数メモリ３３、フィルタ演
算回路３４等で構成される。擬似エコー信号ｙ_hatは受
信信号ｘを、エコーパスのインパルス応答と等しい特性
をもつ適応フィルタを通すことによって得られる。適応
フィルタはエコーパスの特性を推定し、フイルタ係数が
それと等しい特性をもつように適応的に制御されるが、
この制御はエコーキャンセラから出力される送信信号が
最小になるように適応フィルタの係数を更新することに
よって行われる。このような更新を行う適応アルゴリズ
ムとしては、例えば「学習同定法」がある。

【０００３】ところで、このようなエコーパスの推定中
に（このとき受話音声は存在している）、送話音声が存
在すると（いわゆるダブルトーク状態）、適応フィルタ
にとっては外乱となり、推定精度は著しく劣化する。そ
の結果、エコーキャンセラの出力には消去しきれないエ
コー、すなわち残留エコーが合まれる。そこで、かかる
ダブルトーク状態においては、これを検出してその間は
エコーキャンセル部３での適応制御すなわち係数更新制
御を停止することによって推定精度の劣化を防止する必
要がある。ダブルトーク検出部（ＤＴ検出部）２は、こ
のようなダブルトーク状態を検出するための回路であ
る。このダブルトーク検出部（ＤＴ検出部）２は、受信
信号ｘのレベルＬｘを算出するレベル算出器２１と、送
信信号ｙのレベルＬｙを算出するレベル算出器２１’
と、レベルＬｘとレベルＬｙとのレベル比Ｃｌ（＝Ｌｙ
／Ｌｘ）を算出するレベル比算出器２２と、このレベル
比Ｃ１を所定の閾値Ｋ１と比較してダブルトーク検出信
号ＤＴを出力するダブルトーク判定器（ＤＴ判定器）２
３とで構成される。このダブルトーク判定器（ＤＴ判定
器）２３がダブルトークを検出する方法としては、以下
の２つの方法がある。

【０００４】すなわち、送話音声が存在しない場合に
は、送信信号ｙのレベルＬｙは受信信号ｘのレベルＬｘ
とエコーパスの利得Ｇ１によって決まり、Ｌｙ＝Ｌｘ×Ｇ１…（１）となる。一方、送話音声が存在する場合には、その分だ
け送信信号ｙのレベルＬｙが高くなるので、Ｌｙ＞Ｌｘ×Ｇ１…（２）となる。そこで、レベル比Ｃｌ（＝Ｌｙ／Ｌｘ）とエコ
ーパスの利得Ｇ１に相当する閾値Ｋ１とを比較し、Ｃ１＞Ｋ１…（３）であればダブルトークと判断し、適応フィルタの係数更
新回路３２における係数更新を停止する。一方、送信信
号ｙから擬似エコー信号ｙ_hatを差し引いた残差信号ｅ＝ｙ−ｙ_hat…（４）のレベルＬｅは、送話音声が存在しない場合には、受信
信号ｘのレベルＬｘ、エコーパスの利得Ｇ１およびエコ
ーキャンセラの打消し量Ｄ（＝Ｌｅ／Ｌｙ）によって決
まり、Ｌｅ＝Ｌｘ×Ｇ１×Ｄ…（５）となる。一方、送話音声が存在する場合には、その分だ
け残差信号ｅのレベルＬｅが高くなるので、Ｌｅ＞Ｌｘ×Ｇ１×Ｄ…（６）となる。そこで、レベル比Ｃ２（＝Ｌｅ／Ｌｘ）とＧ１
×Ｄに相当する閾値Ｋ２とを比較し、Ｃ２＞Ｋ２…（７）であればダブルトークと判断し、適応フィルタの係数更
新回路３２における係数更新を停止する。

【０００５】

【発明が解決しようとする課題】拡声電話機では、マイ
クロホン１２がスピーカ１１から近い位置にあったり、
スピーカ１１のボリュームを上げて大音量で使用したり
する場合が多い。このような使用環境では、スピーカ１
１からマイクロホン１２ヘ回り込む音量が大きくなる結
果、送話音声のレベルに比べてエコーのレベルが相対的
に大きくなり、送話音声の有無に対するレベル比Ｃ１の
変化は小さくなる。このため、送受信信号のレベルを比
較してダブルトークを検出することは困難になる。ま
た、受信信号ｘと残差信号ｅのレベルを比較してダブル
トークを検出する方法では、エコーパスの変動が生じた
直後はエコーキャンセル部３により推定される擬似エコ
ー信号ｙ_hatの精度がよくないので、残差信号ｅのレベ
ルＬｅが大きくなり、それがエコーパス変動によるもの
か、ダブルトーク状態によるものかを区別することがで
きない。エコーパス変動が生じた場合には、その後ただ
ちにエコーキャンセル部３での係数更新を開始しなけれ
ばならないが、ダブルトーク状態の場合には、ただちに
係数更新を停止しなければならない。従って、エコーパ
ス変動とダブルトーク状態を区別して検出できないこと
は係数更新の制御上、問題となる。

【０００６】本発明は、かかる問題点に鑑みてなされた
ものであり、音声レベルの閾値処理だけではダブルトー
ク検出が難しい場合でも正確にその検出を行うこと、お
よびエコーパス変動とダブルトーク状態を区別して検出
することが可能な通信装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】かかる課題を解決するた
めに、本発明に係る通信装置は、受信信号と、送信信号
に混入された前記受信信号のエコーとの関係を学習して
受信信号から推定される擬似エコー信号を発生させ、こ
の擬似エコー信号を送信信号から差し引くことによりエ
コーを打ち消すエコーキャンセル手段と、ユーザの顔部
分を撮像する撮像手段と、この撮像手段により得られた
画像信号からユーザの口の動きを検出する動き検出手段
と、受信信号、送信信号、送信信号から擬似エコー信号
を差し引いた残差信号のうちの少なくとも１つの信号
と、動き検出手段により得られたユーザの口の動きの検
出結果とから、送話と受話が同時に行われているかどう
かを検出するダブルトーク検出手段とを具備することを
特徴とする。このような構成によれば、撮像手段により
得られた画像信号を用いてユーザの口の動きを検出し、
音声検出を行うので、音声レベルの閾値処理だけでは送
話音声の有無の判定が困難な場合でもかかる判定が容易
となり、正確なダブルトーク検出が可能となる。ここ
で、動き検出手段が、撮像手段により得られた画像信号
の画像フレームから口の領域を抽出する口領域抽出手段
と、口領域抽出手段により抽出された口の領域を複数の
ブロックに分け、各ブロック毎に動きベクトルを求め、
この動きベクトルの大きさの累計値を求めて、この累計
値が所定値より大きいかどうかを判定する手段とを具備
するものであってもよい。

【０００８】また、動き検出手段が、撮像手段により得
られた画像信号の画像フレームから口の領域を抽出する
口領域抽出手段と、口領域抽出手段により抽出された口
の領域を複数のブロックに分け、各ブロック毎に輝度値
のフレーム間差分を求め、この輝度値のフレーム間差分
の累計値を求めて、この累計値が所定値より大きいかど
うかを判定する手段とを具備するものであってもよい。
また、動き検出手段が、撮像手段により得られた画像信
号の画像フレームを複数のブロックに分け、各ブロック
毎に動きベクトルを求め、全ブロックに対して動きベク
トルの大きさの累計値を求めて、この累計値が所定値よ
り大きいかどうかを判定する手段を具備するものであっ
てもよい。更に、動き検出手段が、撮像手段により得ら
れた画像信号の画像フレームを複数のブロックに分け、
各ブロック毎に輝度値のフレーム間差分を求め、全ブロ
ックに対して輝度値のフレーム間差分の累計値を求め
て、この累計値が所定値より大きいかどうかを判定する
手段を具備するものであってもよい。更にまた、動き検
出手段が、撮像手段により得られた画像信号の画像フレ
ームから口の領域を抽出する口領域抽出手段と、口領域
抽出手段により抽出された口の領域の面積を求め、この
面積が所定値より大きいかどうかを判定する手段とを具
備するものであってもよい。

【０００９】また、本発明に係る通信装置は、受信信号
と、送信信号に混入された受信信号のエコーとの関係を
学習して受信信号から推定される擬似エコー信号を発生
させ、この擬似エコー信号を送信信号から差し引くこと
によりエコーを打ち消すエコーキャンセル手段と、ユー
ザの顔部分に赤外線を照射する赤外線照射手段と、赤外
線照射手段により照射されユーザの顔部分から反射して
戻ってきた赤外線の変動量と受信信号とから、送話と受
話が同時に行われているかどうかを検出するダブルトー
ク検出手段とを具備することを特徴とする。このような
構成によれば、ユーザの顔部分から反射して戻ってきた
赤外線の変動量を用いてユーザの口の動きを検出し、音
声検出を行うので、音声レベルの閾値処理だけでは送話
音声の有無の判定が困難な場合でもかかる判定が容易と
なり、正確なダブルトーク検出が可能となる。また、本
発明に係る通信装置は、受信信号と、送信信号に混入さ
れた受信信号のエコーとの関係を学習して受信信号から
推定される擬似エコー信号を発生させ、この擬似エコー
信号を送信信号から差し引くことによりエコーを打ち消
すエコーキャンセル手段と、ユーザの顔部分を撮像する
撮像手段と、この撮像手段により得られた画像信号から
ユーザの口の動きを検出する第１の動き検出手段と、受
信した画像信号から相手方の口の動きを検出する第２の
動き検出手段と、第１及び第２の動き検出手段の検出結
果から送話と受話が同時に行われているかどうかを検出
するダブルトーク検出手段とを具備することを特徴とす
る。

【００１０】このような構成によれば、撮像手段により
得られた画像信号及び受信した画像信号を用いてユーザ
及び相手方の口の動きを検出し、音声検出を行うので、
音声レベルの閾値処理だけでは音声の有無の判定が困難
な場合でもかかる判定が容易となり、正確なダブルトー
ク検出が可能となる。更にまた、本発明に係る通信装置
は、受信信号と、送信信号に混入された受信信号のエコ
ーとの関係を学習して受信信号から推定される擬似エコ
ー信号を発生させ、この擬似エコー信号を送信信号から
差し引くことによりエコーを打ち消すエコーキャンセル
手段と、ユーザの顔部分を撮像する撮像手段と、この撮
像手段により得られた画像信号からユーザと通信装置の
相対位置が変動したかどうかを検出し、この検出結果か
らエコーパスが変動したかどうかを検出するエコーパス
変動検出手段とを具備することを特徴とする。このよう
な構成によれば、カメラの画像信号からユーザと通信装
置との相対位置の変動を検出することができるので、残
差信号が大きい場合、それがエコーパス変動によるもの
なのかダブルトーク状態によるものなのかの区別をする
ことができる。

【００１１】ここで、エコーパス変動検出手段が、撮像
手段により得られた画像信号の画像フレームを複数のブ
ロックに分け、各ブロック毎に動きベクトルを求め、こ
の動きベクトルの大きさが閾値より大きいブロックを動
領域として検出し、この動領域が所定の面積より大きい
かどうかを判定する手段を具備するものであってもよ
い。また、エコーパス変動検出手段が、撮像手段により
得られた画像信号の画像フレームを複数のブロックに分
け、各ブロック毎に輝度値のフレーム間差分を求め、こ
の輝度値のフレーム間差分が閾値より大きいブロックを
動領域として検出し、この動領域が所定の面積より大き
いかどうかを判定する手段を具備するものであってもよ
い。また、エコーパス変動検出手段が、撮像手段により
得られた画像信号の画像フレームを複数のブロックに分
け、各ブロック毎に動きベクトルを求め、全ブロックに
対して動きベクトルの大きさの累計値を求めて、この累
計値が所定値より大きいかどうかを判定する手段を具備
するものであってもよい。更に、エコーパス変動検出手
段が、撮像手段により得られた画像信号の画像フレーム
を複数のブロックに分け、各ブロック毎に輝度値のフレ
ーム間差分を求め、全ブロックに対して輝度値のフレー
ム間差分の累計値を求めて、この累計値が所定値より大
きいかどうかを判定する手段を具備するものであっても
よい。

【００１２】更にまた、エコーパス変動検出手段が、撮
像手段により得られた画像信号の画像フレームを複数の
ブロックに分け、各ブロック毎に動きベクトルを求め、
全ブロックに対して動きベクトルの大きさ、方向の少な
くとも一方の分散値を求め、この分散値が所定値より大
きいかどうかを判定する手段を具備するものであっても
よい。また、本発明に係る通信装置は、受信信号と、送
信信号に混入された受信信号のエコーとの関係を学習し
て受信信号から推定される擬似エコー信号を発生させ、
この擬似エコー信号を送信信号から差し引くことにより
エコーを打ち消すエコーキャンセル手段と、ユーザの顔
部分に赤外線を照射する赤外線照射手段と、赤外線照射
手段により照射されユーザの顔部分から反射して戻って
きた赤外線の量からユーザの瞳の位置を検出し、フレー
ム間で瞳の位置の差分をとり、この差分が所定値より大
きいかどうかを判定して、エコーパスが変動したかどう
かを検出するエコーパス変動検出手段とを具備すること
を特徴とする。このような構成によれば、フレーム間の
瞳の位置の差分からユーザと通信装置との相対位置の変
動を検出することができるので、残差信号が大きい場
合、それがエコーパス変動によるものなのかダブルトー
ク状態によるものなのかの区別をすることができる。

【００１３】

【発明の実施の形態】以下、テレビ電話システムを例に
とり、図面を参照しながら本発明の実施形態を説明す
る。なお、以下に説明する各図を通じて同じ回路要素に
は同じ参照番号を付するものとする。図１は本発明の実
施形態に係るテレビ電話システムの概略構成を示す斜視
図である。図１のテレビ電話システムは、本体１０、ス
ピーカ１１、マイクロホン１２、カメラ１３、パネル１
４、表示デイスプレイ１５、ボタン操作部１６から構成
される。なお、カメラ１３の付近に赤外カメラと赤外線
ＬＥＤとを設けることも出来る。図１において、ユーザ
がボタン操作部１６で相手の電話番号を入力すると、相
手の連絡先に回線が接続され、表示デイスプレイ１５に
相手の顔が表示され、スピーカ１１から受信音が放音さ
れる。ユーザはマイクロホン１２とカメラ１３を介して
相手と会話する。図２は本発明の第１の実施形態におけ
るエコーキャンセラの構成図である。図２において、１
１はスピーカ、１２はマイクロホン、１３はカメラ、２
はダブルトーク検出部（ＤＴ検出部）、３はエコーキャ
ンセル部である。また、ダブルトーク検出部（ＤＴ検出
部）２において、２１，２１’はレベル算出器、２２は
レベル比算出器、２３はダブルトーク判定器（ＤＴ判定
器）、２４は口許特徴抽出器であり、エコーキャンセル
部３において、３１はデータメモリ、３２は係数更新回
路、３３は係数メモリ、３４はフィルタ演算回路であ
る。

【００１４】次に、この実施形態の動作について説明す
る。受信入力端子Ｒｉｎから入力された受信信号ｘは受
信出力端子Ｒｏｕｔを経て、スピーカ１１から受信音と
して放音される。この受信音の一部はエコーパスを経て
送信側のマイクロホン１２に回り込み、エコーとなって
送話音声に重畳する。エコーの重畳した送話音声はマイ
クロホン１２から送信入力端子Ｓｉｎに送信信号ｙとし
て入力される。ダブルトーク検出部（ＤＴ検出部）２は
これら送受信信号と、カメラ１３で拡声電話機のユーザ
の口許を撮像して得られた画像信号を用いてダブルトー
ク検出を行う。エコーキャンセル部３はダブルトーク検
出部２の検出結果に基づいて、係数更新回路３２により
係数メモリ３３に記憶された適応フィルタの係数を更新
し、擬似エコー信号ｙ_hatを推定する。最終的に、送信
信号ｙからこの擬似エコー信号ｙ_hatを差し引いた残差
信号ｅをＳｏｕｔ端子から出力する。ダブルトーク検出
部（ＤＴ検出部）２は、送受信信号ｘ，ｙおよびカメラ
１３からの画像信号を用いてダブルトーク検出を行う。
検出方法としては、まずレベル算出器２１で受信信号ｘ
のレベルＬｘを算出し、レベル算出器２１’で送信信号
ｙのレベルＬｙを算出し、レベル比算出器２２でレベル
ＬｘとレベルＬｙとのレベル比Ｃ１（＝Ｌｙ／Ｌｘ）を
算出する。一方、カメラ１３からの画像信号を用いて口
許特徴抽出器２４でユーザが発声しているかどうかを表
す特徴量を抽出する。ここで特徴量としては、例えば、
口を中心とした所定範囲で検出された動きベクトルある
いは輝度値のフレーム間差分等を用いればよい。

【００１５】画像フレーム中で口の領域を特定する方法
としては、図６に示すように赤外線ＬＥＤ１７等で赤外
線をユーザに照射して赤外カメラ１８で撮像し、瞳位置
検出部２５でユーザの瞳の位置を検出し、この結果を用
いて口領域抽出部２６で口領域を抽出する方法がある。
即ち、赤外線をユーザに照射すると、図７に示すように
顔の皮膚部分に比べて瞳孔部分だけ高輝度で撮像される
ので、反射してきた赤外線の量が所定の閾値を越えたこ
とを検出することによりユーザの瞳の位置を検出し（例
えば、特開平９−１７５２２４号参照）、検出された瞳
の位置から統計的に口の範囲を予測し、この範囲内でパ
ターンマッチング法により口の領域を特定すればよい。
また、動きベクトルの検出方法としては、例えば特開平
６−２８４３２８号に開示されている。口の領域を抽出
したとき、口の領域を複数のブロックに分け、その領域
内でブロック毎に動きベクトルを求め、この動きベクト
ルの大きさの累計値を求めればよい。そして、この動き
ベクトルの大きさの累計値が、所定の閾値より大きいか
どうかを判定し、所定の閾値より大きければ、ユーザが
発声していると判定する。口の領域が抽出できなければ
画像フレーム全体を複数のブロックに分け、各ブロック
毎に動きベクトルを求め、全ブロックに対して動きベク
トルの大きさの累計値を求めればよい。そして、この動
きベクトルの大きさの累計値が、所定の閾値より大きい
かどうかを判定し、所定の閾値より大きければ、ユーザ
が発声していると判定する。

【００１６】この動きベクトルの代わりに、輝度値のフ
レーム間差分を用いる場合も、口の領域が抽出できると
きは口の領域内でブロック毎に輝度値のフレーム間差分
を求め、口の領域が抽出できなければフレームの全領域
で輝度値のフレーム間差分を求め、この輝度値のフレー
ム間差分の累計値が、所定の閾値より大きいかどうかを
判定し、所定の閾値より大きければ、ユーザが発声して
いると判定すればよい。また別の特徴量として、上記の
方法により画像フレームから抽出された口の領域の面積
を用いてもよい。この場合、口の領域の面積が、所定の
閾値より大きいかどうかを判定し、所定の閾値より大き
ければ、ユーザが発声していると判定すればよい。更に
別の特徴量として、特開平１０−１１０８９号に開示さ
れているように、赤外線ＬＥＤ等で赤外線をユーザの口
許に照射し、反射してくる赤外線の変動量を用いてもよ
い。この場合、赤外線の変動量が、所定の閾値より大き
いかどうかを判定し、所定の閾値より大きければ、ユー
ザが発声していると判定すればよい。ダブルトーク判定
器（ＤＴ判定器）２３は、送受信信号のレベル比Ｃ１
（＝Ｌｙ／Ｌｘ）が所定の閾値Ｋ１より大きい条件と、
口許の特徴量が所定の閾値Ｋ３より大きい条件の内、ど
ちらか一方、あるいは両方の条件が成り立つときにダブ
ルトーク状態と判定する。判定結果ＤＴはエコーキャン
セル部３に送出される。

【００１７】このように音声信号と画像信号を併用して
ダブルトークを検出することにより、音声レベルの閾値
処理だけでは送話音声の有無の判定が困難な場合でもか
かる判定が容易となり、正確なダブルトーク検出が可能
となる。エコーキャンセル部３では、受信信号ｘをフィ
ルタ処理して擬似エコー信号ｙ _hatを推定する。擬似エ
コー信号ｙ_hatは受信信号ｘをエコーパスのインパルス
応答と等しい特性をもつ適応フィルタに通すことによっ
て求められる。すなわち、データメモリ３１に格納され
た受信信号ｘと、係数メモリ３３に格納されたフィルタ
係数との畳み込み演算をフィルタ演算回路３４で行うこ
とによって、擬似エコー信号ｙ_hatを得る。係数メモリ
３３に格納されているフィルタ係数は、次に示す学習同
定法によってエコーパスと等しい特性をもつように係数
更新回路３２で適応的に更新される。

【００１８】

【数１】ここで、ｈ_ｋ（ｎ）は時刻ｎにおけるｋ番目のタップの
フィルタ係数値、μはステップサイズ、ｅ（ｎ）は時刻
ｎにおける残差信号、ｘ（ｎ）は時刻ｎにおける受信信
号、Ｎはフィルタのタップ数を表す。係数更新回路３２
は、ダブルトーク検出部２においてダブルトーク状態と
判定されたときは係数更新を行わず、ダブルトーク状態
でないと判定されたときは式（８）に従って係数更新を
行う。なお、上記説明では、ダブルトーク状態の判定に
おいて音声信号として送受信信号ｘ，ｙを用いたが、代
わりに図３に示すように受信信号ｘと残差信号ｅを用い
てもよいし、あるいは、図４に示すように単に受信信号
ｘと閾値を比較する構成としてもよい。また、これらを
組み合わせて判定を行ってもよい。更に、図５に示すよ
うに音声信号を用いずに画像信号のみを用いてダブルト
ーク検出を行う構成としてもよい。この場合は、口許特
徴抽出器２４’において、口許特徴抽出器２４における
処理と同様にして、受信画像入力端子Ｒｖｉｎから入力
された受信画像から口許の特徴量を抽出し、相手方の発
声を判定することができる。図３に示すように受信信号
ｘと残差信号ｅ、およびカメラ１３からの画像信号を用
いてダブルトーク検出を行う構成では、受信信号のレベ
ルＬｘと残差信号Ｌｅのレベルとのレベル比Ｃ２（＝Ｌ
ｅ／Ｌｘ）が閾値Ｋ２より大きい場合、係数更新制御
上、かかる現象がエコーパス変動に基づくものかダブル
トーク状態に基づくものか区別をする必要がある。

【００１９】そこで、口許特徴抽出器２４で得られる特
徴量によりカメラ１３とユーザの相対位置の変動を検出
してこの区別を行う。例えば、動きベクトルを特徴量と
して用いた場合、ユーザが発声しているときは、図８に
示すように口許のみに動きベクトルが検出され、一方、
エコーパス変動が生じたときはユーザとカメラ１３の相
対位置が変化するので、図９に示すように画面全体また
はユーザの顔全体に動きベクトルが検出される。図８と
図９に示す状態を区別する第１の方法としては、画像フ
レームを複数のブロックに分け、ブロック毎に動きベク
トルを求め、全ブロックに対して動きベクトルの大きさ
の累計値を求め、この累計値が閾値より大きければエコ
ーパス変動とし、累計値が閾値より小さければダブルト
ーク状態とすればよい。図８と図９に示す状態を区別す
る第２の方法として、各ブロック毎に動きベクトルを求
め、この動きベクトルの大きさが閾値より大きいブロッ
クを動領域とし、この動領域が閾値より大きいときはエ
コーパス変動とし、動領域が閾値より小さいときはダブ
ルトーク状態としてもよい。ここで、ブロック毎に動領
域検出のための動きベクトルの大きさの閾値を決め、例
えば、口の領域付近では大きめに設定し、それ以外の領
域では閾値を小さめに設定する等の工夫をすればより一
層検出精度が向上する。

【００２０】図８と図９に示す状態を区別する第１およ
び第２の方法では、動きベクトルの代わりに輝度値のフ
レーム間差分を特徴量として用いてもよい。即ち、第１
の方法では、画像フレームを複数のブロックに分け、ブ
ロック毎に輝度値のフレーム間差分を求め、全ブロック
に対して輝度値のフレーム間差分の累計値を求め、この
累計値が閾値より大きければエコーパス変動とし、累計
値が閾値より小さければダブルトーク状態とすればよ
い。また、第２の方法では、各ブロック毎に輝度値のフ
レーム間差分を求め、この輝度値のフレーム間差分が閾
値より大きいブロックを動領域とし、この動領域が閾値
より大きいときはエコーパス変動とし、動領域が閾値よ
り小さいときはダブルトーク状態とすればよい。図８と
図９に示す状態を区別する第３の方法として、各ブロッ
ク毎に動きベクトルを求め、全ブロックに対して動きベ
クトルの大きさまたは方向の分散値

【数２】を求め、この分散値が閾値より大きければダブルトーク
状態とし、分散値が閾値より小さければエコーパス変動
としてもよい。ここで、σ_Ｚは動きベクトルの大きさの
分散値、ｚ_ｉはｉ番目のブロックの動きベクトルの大き
さ、ｚ_aveは全ブロックの動きベクトルの大きさの平均
値、σ_θは動きベクトルの一方向の分散値、θ_ｉはｉ番
目のブロックの動きベクトルの方向、θ_aveは全ブロッ
クの動きベクトルの方向の平均値、Ｍはブロックの総数
である。

【００２１】図８と図９に示す状態を区別する第４の方
法として、赤外線ＬＥＤ等で赤外線をユーザに照射し、
反射してきた赤外線の量により瞳の位置を検出し、フレ
ーム間で瞳の位置の差分をとり、この差分が閾値より大
きければエコーパス変動とし、差分値が閾値より小さけ
ればダブルトーク状態としてもよい。以上のように、受
信信号ｘと残差信号ｅからダブルトーク検出を行う方法
で残差信号ｅが大きい場合、カメラ１３の画像信号から
ユーザとカメラ１３の相対位置の変動を検出すること等
によって、かかる現象がエコーパス変動に基づくものか
ダブルトーク状態に基づくものか区別することができ、
より正確な係数更新制御が可能となる。また、上述の実
施形態では、学習同定法により係数更新を行う適応フィ
ルタの例について説明したが、本発明の実現形態はこれ
に限定されるものではなく、例えば、ＬＭＳ法、ＲＬＳ
法、またアフィン射影法等を用いて係数更新制御を行う
ことも可能であり、そのような実現形態も本発明の趣旨
の範囲内である。

【００２２】

【発明の効果】以上説明したように、本発明によれば、
カメラからの画像信号等を用いてユーザの口の動きを検
出し、音声検出を行うので、音声レベルの閾値処理だけ
では送話音声の有無の判定が困難な場合でもかかる判定
が容易となる。また、受信信号と残差信号を用いてダブ
ルトーク検出を行う方法では、残差信号が大きい場合、
かかる現象がエコーパス変動に基づくものかダブルトー
ク状態に基づくものか区別できないが、本発明では、カ
メラの画像信号等から動きベクトル等の特徴量を抽出
し、ユーザとカメラ等の相対位置の変動を検出すること
によって、かかる現象の要因を区別することができるの
で、係数更新制御を正確に行える等の実用上多大な効果
が奏せられる。

【図面の簡単な説明】

【第１図】本発明の一実施形態に係るテレビ電話シス
テムの概略構成を示す斜視図。

【第２図】本発明の第１の実施形態としてのエコーキ
ャンセラの構成を示すブロック図。

【第３図】本発明の第２の実施形態としてのエコーキ
ャンセラの構成を示すブロック図。

【第４図】本発明の第３の実施形態としてのエコーキ
ャンセラの構成を示すブロック図。

【第５図】本発明の第４の実施形態としてのエコーキ
ャンセラの構成を示すブロック図。

【第６図】赤外線による口領域の抽出方法を説明する
ためのブロック図。

【第７図】赤外線による瞳孔部分の検出動作を説明す
るための図。

【第８図】ダブルトーク時の動きベクトルの検出例を
示す図。

【第９図】エコーパス変動時の動きベクトルの検出例
を示す図。

【第１０図】従来例のエコーキャンセラを示すブロック
図。

【符号の説明】

１０…本体１１…スピーカ１２…マイクロホン１３…カメラ１４…パネル１５…表示ディスプレイ１６…ボタン操作部１７…赤外線ＬＥＤ１８…赤外カメラ２…ダブルトーク検出部（ＤＴ検出部）２１，２１’…レベル算出器２２…レベル比算出器２３…ダブルトーク判定器（ＤＴ判定器）２４，２４’…口許特徴抽出器２５…瞳位置検出部２６…口領域抽出部３…エコーキャンセル部３１…データメモリ３２…係数更新回路３３…係数メモリ３４…フィルタ演算回路

フロントページの続きＦターム(参考） 5B057 BA02 DA08 DC02 DC30 5C064 AA01 AA02 AC04 AC06 AC13 AC16 AC22 5K027 AA07 BB03 BB04 DD10 DD11 DD14 DD18 FF22 HH00 HH01 5K101 KK04 LL01 NN06 NN18 NN36 NN37

Claims

【特許請求の範囲】

【請求項１】受信信号と、送信信号に混入された前記受
信信号のエコーとの関係を学習して前記受信信号から推
定される擬似エコー信号を発生させ、この擬似エコー信
号を前記送信信号から差し引くことによりエコーを打ち
消すエコーキャンセル手段と、ユーザの顔部分を撮像する撮像手段と、この撮像手段により得られた画像信号からユーザの口の
動きを検出する動き検出手段と、前記受信信号、前記送信信号、前記送信信号から前記擬
似エコー信号を差し引いた残差信号のうちの少なくとも
１つの信号と、前記動き検出手段により得られたユーザ
の口の動きの検出結果とから、送話と受話が同時に行わ
れているかどうかを検出するダブルトーク検出手段とを
具備することを特徴とする通信装置。
【請求項２】前記動き検出手段が、前記撮像手段により得られた前記画像信号の画像フレー
ムから口の領域を抽出する口領域抽出手段と、前記口領域抽出手段により抽出された口の領域を複数の
ブロックに分け、各ブロック毎に動きベクトルを求め、
この動きベクトルの大きさの累計値を求めて、この累計
値が所定値より大きいかどうかを判定する手段とを具備
することを特徴とする請求項１に記載の通信装置。
【請求項３】前記動き検出手段が、前記撮像手段により得られた前記画像信号の画像フレー
ムから口の領域を抽出する口領域抽出手段と、前記口領域抽出手段により抽出された口の領域を複数の
ブロックに分け、各ブロック毎に輝度値のフレーム間差
分を求め、この輝度値のフレーム間差分の累計値を求め
て、この累計値が所定値より大きいかどうかを判定する
手段とを具備することを特徴とする請求項１に記載の通
信装置。
【請求項４】前記動き検出手段が、前記撮像手段により得られた前記画像信号の画像フレー
ムを複数のブロックに分け、各ブロック毎に動きベクト
ルを求め、全ブロックに対して動きベクトルの大きさの
累計値を求めて、この累計値が所定値より大きいかどう
かを判定する手段を具備することを特徴とする請求項１
に記載の通信装置。
【請求項５】前記動き検出手段が、前記撮像手段により得られた前記画像信号の画像フレー
ムを複数のブロックに分け、各ブロック毎に輝度値のフ
レーム間差分を求め、全ブロックに対して輝度値のフレ
ーム間差分の累計値を求めて、この累計値が所定値より
大きいかどうかを判定する手段を具備することを特徴と
する請求項１に記載の通信装置。
【請求項６】前記動き検出手段が、前記撮像手段により得られた前記画像信号の画像フレー
ムから口の領域を抽出する口領域抽出手段と、前記口領域抽出手段により抽出された口の領域の面積を
求め、この面積が所定値より大きいかどうかを判定する
手段とを具備することを特徴とする請求項１に記載の通
信装置。
【請求項７】受信信号と、送信信号に混入された前記受
信信号のエコーとの関係を学習して前記受信信号から推
定される擬似エコー信号を発生させ、この擬似エコー信
号を前記送信信号から差し引くことによりエコーを打ち
消すエコーキャンセル手段と、ユーザの顔部分に赤外線
を照射する赤外線照射手段と、前記赤外線照射手段により照射されユーザの顔部分から
反射して戻ってきた赤外線の変動量と前記受信信号とか
ら、送話と受話が同時に行われているかどうかを検出す
るダブルトーク検出手段とを具備することを特徴とする
通信装置。
【請求項８】受信信号と、送信信号に混入された前記受
信信号のエコーとの関係を学習して前記受信信号から推
定される擬似エコー信号を発生させ、この擬似エコー信
号を前記送信信号から差し引くことによりエコーを打ち
消すエコーキャンセル手段と、ユーザの顔部分を撮像する撮像手段と、この撮像手段により得られた画像信号からユーザの口の
動きを検出する第１の動き検出手段と、受信した画像信号から相手方の口の動きを検出する第２
の動き検出手段と、前記第１及び第２の動き検出手段の検出結果から送話と
受話が同時に行われているかどうかを検出するダブルト
ーク検出手段とを具備することを特徴とする通信装置。
【請求項９】受信信号と、送信信号に混入された前記受
信信号のエコーとの関係を学習して前記受信信号から推
定される擬似エコー信号を発生させ、この擬似エコー信
号を前記送信信号から差し引くことによりエコーを打ち
消すエコーキャンセル手段と、ユーザの顔部分を撮像する撮像手段と、この撮像手段により得られた画像信号からユーザと通信
装置の相対位置が変動したかどうかを検出し、この検出
結果からエコーパスが変動したかどうかを検出するエコ
ーパス変動検出手段とを具備することを特徴とする通信
装置。
【請求項１０】前記エコーパス変動検出手段が、前記撮像手段により得られた前記画像信号の画像フレー
ムを複数のブロックに分け、各ブロック毎に動きベクト
ルを求め、この動きベクトルの大きさが閾値より大きい
ブロックを動領域として検出し、この動領域が所定の面
積より大きいかどうかを判定する手段を具備することを
特徴とする請求項９に記載の通信装置。
【請求項１１】前記エコーパス変動検出手段が、前記撮像手段により得られた前記画像信号の画像フレー
ムを複数のブロックに分け、各ブロック毎に輝度値のフ
レーム間差分を求め、この輝度値のフレーム間差分が閾
値より大きいブロックを動領域として検出し、この動領
域が所定の面積より大きいかどうかを判定する手段を具
備することを特徴とする請求項９に記載の通信装置。
【請求項１２】前記エコーパス変動検出手段が、前記撮像手段により得られた前記画像信号の画像フレー
ムを複数のブロックに分け、各ブロック毎に動きベクト
ルを求め、全ブロックに対して動きベクトルの大きさの
累計値を求めて、この累計値が所定値より大きいかどう
かを判定する手段を具備することを特徴とする請求項９
に記載の通信装置。
【請求項１３】前記エコーパス変動検出手段が、前記撮像手段により得られた前記画像信号の画像フレー
ムを複数のブロックに分け、各ブロック毎に輝度値のフ
レーム間差分を求め、全ブロックに対して輝度値のフレ
ーム間差分の累計値を求めて、この累計値が所定値より
大きいかどうかを判定する手段を具備することを特徴と
する請求項９に記載の通信装置。
【請求項１４】前記エコーパス変動検出手段が、前記撮像手段により得られた画像信号の画像フレームを
複数のブロックに分け、各ブロック毎に動きベクトルを
求め、全ブロックに対して動きベクトルの大きさ、方向
の少なくとも一方の分散値を求め、この分散値が所定値
より大きいかどうかを判定する手段を具備することを特
徴とする請求項９に記載の通信装置。
【請求項１５】受信信号と、送信信号に混入された前記
受信信号のエコーとの関係を学習して前記受信信号から
推定される擬似エコー信号を発生させ、この擬似エコー
信号を前記送信信号から差し引くことによりエコーを打
ち消すエコーキャンセル手段と、ユーザの顔部分に赤外線を照射する赤外線照射手段と、前記赤外線照射手段により照射されユーザの顔部分から
反射して戻ってきた赤外線の量からユーザの瞳の位置を
検出し、フレーム間で瞳の位置の差分をとり、この差分
が所定値より大きいかどうかを判定して、エコーパスが
変動したかどうかを検出するエコーパス変動検出手段と
を具備することを特徴とする通信装置。