JP2007251355A

JP2007251355A - 対話システム用中継装置、対話システム、対話方法

Info

Publication number: JP2007251355A
Application number: JP2006069205A
Authority: JP
Inventors: Shin Sasaki; 伸佐々木
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-03-14
Filing date: 2006-03-14
Publication date: 2007-09-27

Abstract

【課題】参加者の顔や声の大きさを揃えて再生する。
【解決手段】中継装置２０は、ビデオカメラ１２によって得られた入力画像に含まれる参加者の顔の輪郭を検出して、この輪郭が顔表示枠３２とほぼ一致するように、入力画像の表示倍率を変倍して顔画像を生成する。また、中継装置２０は、顔画像生成時の変倍率が大きくなると、ビデオカメラ１２によって得られた入力音声の出力レベルを大きくする。参加者がビデオカメラ１２から遠いと、ビデオカメラ１２によって得られる参加者の顔や声が小さくなるが、この場合、変倍率とともに出力レベルも大きくされるため、参加者とビデオカメラ１２との距離によらず、参加者の顔や声の大きさを揃えて再生できる。
【選択図】図５

Description

本発明は、テレビ会議システムやテレビ電話などの対話システムに用いられる対話システム用中継装置、並びに、このような対話システム用中継装置を用いた対話システム、対話方法に関するものである。

カメラ及びマイクにより取得した遠隔地にいる相手の画像及び音声を、モニタ及びスピーカにリアルタイムで再生しながら会議を進めることができるテレビ会議システムが知られている。テレビ会議システムを用いることで、遠隔地からも会議に参加できるので便利である。また、下記特許文献１には、１つ画面内に参加者それぞれの画像をマルチウィンドウ形式で表示するとともに、各ウィンドウの大きさに応じて参加者からの音声の大きさを変化させ、テレビ会議に臨場感を持たせるようにした装置が記載されている。
特開平８−１６３５２７号公報

ところで、テレビ会議システムでは、カメラやマイクにより得られる参加者の顔や声の大きさは、参加者とカメラやマイクとの間の距離に応じて変化する。すなわち、参加者がカメラやマイクに近い場合は、取得される参加者の顔や声の大きさが大きくなり、遠い場合は反対に小さくなる。このため、従来は、装置のオペレータが、各参加者の顔や声の大きさを揃えるようにモニタやスピーカに出力する画像や音声を調節する必要があり面倒であった。

本発明は、参加者とカメラ及びマイクとの間の距離によらず、参加者の顔や声の大きさを簡単に揃えることができる対話システム用中継装置を提供することを目的としている。

上記目的を達成するために本発明の対話システム用中継装置は、遠隔地の対象者と対話を行うための対話システムに用いられ、前記遠隔地に設置されたカメラ及びカメラの近傍に設置されたマイクから入力される前記対象者の画像及び音声を、モニタ及びスピーカに出力する対話システム用中継装置において、前記カメラからの入力画像を解析し、前記入力画像のうち前記対象者の顔領域の大きさを調べる画像解析部と、前記対象者の声が前記マイクと前記対象者の距離によらずほぼ等しい大きさで前記スピーカから再生されるように、前記顔領域が大きいほど、前記マイクからの入力音声を前記スピーカに出力する際の出力レベルを小さくし、前記顔領域が小さいほど、前記出力レベルを大きくする音声レベル調節部とを備えたことを特徴としている。

前記対象者の顔を前記カメラと前記対象者の距離によらずほぼ等しい大きさで前記モニタに表示するために、前記顔領域の大きさを揃えるように前記入力画像の表示倍率を変倍して、前記対象者の顔画像を生成する顔画像生成部を備えていることが好ましい。

また、前記音声レベル調節部は、前記顔画像生成時の変倍率に対応した可変率にて前記出力レベルを可変するものでもよい。

さらに、１組の前記カメラと前記マイクにより、同時に複数の前記対象者の画像及び音声を取得する対話システムに用いられるとともに、前記対象者のうち会話をしている対象者を特定する特定手段を備え、前記音声レベル調節部は、会話をしている前記対象者の顔の前記顔領域の大きさに基づいて、前記出力レベルを可変させるものでもよい。

また、前記特定手段は、前記入力画像を解析して、前記対象者各々の口元の動きを検出し、この検出結果に基づいて、会話をしている対象者を特定するものでもよい。

さらに、前記複数の参加者の顔画像が、前記モニタにマルチウィンドウ形式で表示されるようにしてもよい

また、本発明の対話システムは、遠隔地に設置されたカメラ及びカメラの近傍に設置されたマイクから入力される対象者の画像及び音声を、モニタ及びスピーカに出力する中継装置を用い、前記遠隔地の対象者と対話を行うための対話システムにおいて、前記中継装置は、前記カメラからの入力画像を解析し、前記入力画像のうち前記対象者の顔領域の大きさを調べる画像解析部と、前記対象者の声が前記マイクと前記対象者の距離によらずほぼ等しい大きさで前記スピーカから再生されるように、前記顔領域が大きいほど、前記マイクからの入力音声を前記スピーカに出力する際の出力レベルを小さくし、前記顔領域が小さいほど、前記出力レベルを大きくする音声レベル調節部とを備えていることを特徴としている。

また、本発明の対話方法は、遠隔地に設置されたカメラ及びカメラの近傍に設置されたマイクから入力される対象者の画像及び音声を、モニタ及びスピーカに出力する中継装置を用い、前記遠隔地の対象者と対話を行うための対話方法において、前記中継装置が、前記カメラからの入力画像を解析し、前記入力画像のうち前記対象者の顔領域の大きさを調べる画像解析ステップと、前記対象者の声が前記マイクと前記対象者の距離によらずほぼ等しい大きさで前記スピーカから再生されるように、前記顔領域が大きいほど、前記マイクからの入力音声を前記スピーカに出力する際の出力レベルを小さくし、前記顔領域が小さいほど、前記出力レベルを大きくする音声レベル調節ステップとを備えていることを特徴としている。

本発明によれば、カメラから入力された画像を解析して、対象者の顔領域の大きさを調べ、前記顔領域が大きい場合、すなわち、対象者がマイクに近い場合、入力音声の出力レベルを小さくし、前記顔領域が小さい場合、すなわち、対象者がマイクから遠い場合、前記出力レベルを大きくしたので、対象者とマイクとの間の距離によらず、簡単に対象者の声の大きさを揃えて再生できる。

また、本発明によれば、前記顔領域の大きさを揃えるように前記カメラから入力された画像の表示倍率を変倍して、対象者の顔画像を生成するようにしたので、対象者とカメラとの間の距離によらず、簡単に対象者の顔の大きさを揃えて再生できる。

また、本発明によれば、複数の対象者の画像及び音声を１組のカメラ及びマイクによって取得する場合、各対象者のうち会話をしている対象者を特定し、会話をしている対象者の顔領域の大きさに基づいて、マイクから入力された音声の出力レベルを調節するようにしたので、各対象者とカメラ及びマイクとの間の距離によらず、会話をしている対象者の声の大きさを揃えて再生できる。

図１において、本発明を適用したテレビ会議システム１０は、ビデオカメラ１２、１４、テレビ１６、１８、中継装置２０とから構成される。テレビ会議システム１０は、Ａ地点（例えば、本社の会議室など）にいる参加者と、Ｂ地点（例えば、出先機関の会議室など）にいる参加者との間で会議を行う際に用いられる。

ビデオカメラ１２、テレビ１６はＡ地点に、ビデオカメラ１４、テレビ１８はＢ地点にそれぞれ設置され、中継装置２０はＡ地点もしくはＢ地点のいずれか一方（本実施例ではＡ地点）に設置される。ビデオカメラ１２、テレビ１６は、接続ケーブルなどにより中継装置２０に接続され、ビデオカメラ１４、テレビ１８は、電話回線など周知の通信ネットワーク２１を介して、中継装置２０に接続されている。

ビデオカメラ１２、１４は、撮影レンズやＣＣＤなどからなる撮像部２２、及び、マイク２３を備え、設置された地点の画像及び音声を中継装置２０へ入力する。また、テレビ１６、１８は、モニタ２４、及び、スピーカ２５を備え、ビデオカメラ１２、１４によって得られた画像及び音声の出力に用いられる。中継装置２０は、ビデオカメラ１２から入力される画像及び音声を、テレビ１８に出力し、反対に、ビデオカメラ１４からの入力される画像及び音声を、テレビ１６に出力する中継処理を行う。

図２において、中継装置２０の内部には、制御部２６が設けられ、中継装置２０の各部に接続されている。制御部２６は、ＲＯＭ２７に記憶された制御プログラムをＲＡＭ２８に読み出し、読み出した制御プログラムに基づいて接続された各部を駆動制御する。入力部２９には、ビデオカメラ１２、１４からＡ、Ｂ各地点の画像と音声が入力される。

画像解析部３０は、入力部２９に入力された画像（入力画像）を解析して、参加者の顔及び顔の輪郭を検出する。また、画像解析部３０は、入力画像に複数の参加者の顔が検出された場合、入力画像及び入力画像の前後に入力された画像を比較することによって各参加者の口元の動きを検出し、この検出結果に基づいて会話をしている参加者を特定する。

顔画像生成部３１は、検出された参加者の顔を含む顔画像を生成する。顔画像は、モニタ２４に表示する表示用の画像であって、検出された参加者の顔の輪郭が、図３に示す顔表示枠３２にほぼ一致するように入力画像の表示倍率を変倍した後、顔画像全体枠３４からはみ出す部分を切り取ることによって生成される。入力画像に複数の参加者の顔が検出された場合には、前述した処理が繰り返されて参加者各々の顔画像が生成される。顔表示枠３２や顔画像全体枠３４は、モニタ２４のサイズや、ユーザーによる設定操作に応じ、そのサイズが決定される。これにより、参加者とビデオカメラとの間の距離によらず参加者の顔の大きさを揃えて表示できる。

また、顔画像生成部３１は、顔画像の生成後、この顔画像の生成時に行った変倍の倍率（変倍率）をメモリ３６に記憶する。参加者がビデオカメラから遠いほど、この参加者の顔の輪郭は小さく検出されるので、この参加者の顔画像を精製する際の変倍率が大きくなる。また、反対に、参加者がビデオカメラに近いほど、この参加者の顔の輪郭は大きく検出されるので、この参加者の顔画像を精製する際の変倍率が小さくなる。このため、各参加者の顔画像を精製する際の変倍率は、各参加者とビデオカメラとの間の距離を表すパラメータとなる。

図２において、音声レベル調節部３８は、メモリ３６に記憶された変倍率に基づいて、入力部２９に入力された音声（入力音声）を出力する際の出力レベルを可変させる。図４に示すように、音声レベル調節部３８は、変倍率が大きい場合、すなわち、参加者がマイクから遠く、入力音声が小さいとみなせる場合、出力レベルを大きくし、反対に、変倍率が小さい場合、すなわち、参加者がマイクに近く、入力音声が大きいとみなせる場合、出力レベルを小さくする。

また、音声レベル調節部３８は、入力画像に複数の参加者の顔が検出された場合、画像解析部３０により会話をしていると特定された参加者の顔画像を生成する際の変倍率に基づいて、出力レベルを決定する。これにより、参加者とビデオカメラとの間の距離によらず参加者（会話をしている参加者）の声の再生レベルが揃えられる。

出力部４０は、顔画像生成部３１により生成された顔画像、並びに、音声レベル調節部３８により出力レベルが可変された音声をテレビ１６、１８に出力する。また、出力部４０は、入力画像に複数の参加者の顔が検出された場合、生成された複数の参加者それぞれの顔画像を１つの画面内にマルチウィンドウ形式で納めた再生画面を生成し、この再生画面をモニタ２４に出力する。

以下、上記構成による本発明の作用について、図５に示すフローチャートをもとに説明する。なお、本発明のテレビ会議システム１０は、Ａ地点の画像及び音声をＢ地点で再生するとともに、Ｂ地点の画像及び音声をＡ地点で再生するものであるが、これら２つの場合では同様の処理が行われるため、以下の説明では、Ａ地点の画像及び音声をＢ地点で再生する場合について説明をする。また、Ａ地点に、３名の参加者がいる場合について以下説明する。

Ａ地点の画像及び音声をＢ地点で再生する場合、図６に示すように、Ａ地点の参加者５０ａ〜５０ｃをビデオカメラ１２の画角に捕らえるように、参加者５０ａ〜５０ｃ、並びに、ビデオカメラ１２を配置する。そして、ビデオカメラ１２による撮影を開始する。

撮影が開始されると、中継装置２０に、図７に示すような入力画像５２、及び、Ａ地点の音声が入力され、これを契機に中継処理が開始される。中継処理では、初めに、入力画像５２から各参加者５０ａ〜５０ｃの顔及び顔の輪郭が検出される。続いて、各参加者５０ａ〜５０ｃの口元の動きから会話をしている参加者が特定される（本例では、参加者５０ｂとする）。

次に、各参加者５０ａ〜５０ｃの顔の輪郭が顔表示枠３２とほぼ等しくなるように、入力画像５２の表示倍率が変倍され、図８に示すように、参加者５０ａ〜５０ｃそれぞれの顔画像５４ａ〜５４ｃが生成される。そして、各参加者５０ａ〜５０ｃの顔画像５４ａ〜５４ｃを生成した際の変倍率がメモリ３６に記憶される。本例では、ビデオカメラ１２にいちばん近い参加者５０ａの顔画像５４ａを生成する際の変倍率が１．２倍であり、次に近い参加者５０ｂの顔画像５４ｂを生成する際の変倍率が１．５倍であり、ビデオカメラ１２から最も離れた参加者５０ｃの顔画像５４ｃを生成する際の変倍率が２．２倍であり、これらがメモリ３６に記憶される。

続いて、メモリ３６に記憶された変倍率に基づいて、入力音声の出力レベルが調節される。本例では、入力画像５２から複数の参加者５０ａ〜５０ｃが検出されるので、会話をしていると特定された参加者５０ｂの顔画像５４ｂを生成した際の変倍率に基づいて、出力レベルが入力音声の１．５倍に調節される。なお、参加者５０ａが会話をしていると特定された場合は、出力レベルが入力音声の１．２倍に調節され、参加者５０ｃが会話をしていると特定された場合は、出力レベルが入力音声の２．２倍に調節される。

そして、出力レベルが調節された音声がテレビ１８に出力され、スピーカ２５から再生される。また、図９に示すように、各参加者５０ａ〜５０ｃの顔画像５４ａ〜５４ｃがモニタ２４にマルチウィンドウ形式で再生表示される。これにより、ビデオカメラ１２と参加者５０ａ〜５０ｃとの距離により再生される顔や声が小さくなったり、大きくなったりしてしまうといったことがなく、各参加者５０ａ〜５０ｃの顔や声の大きさが揃えられた状態で再生される。

上記実施形態では、各参加者毎に生成された顔画像をマルチウィンドウ形式でモニタ２４に並べて表示する例で説明をしたが、本発明はこれに限定されるものではない。例えば、図１０に示すように、ビデオカメラ１２から入力された入力画像５２と、会話をしていると特定された参加者５０ｂの顔画像５４ｂとをモニタ２４に表示するといったことも考えられる。なお、図１０においては、上記実施形態と同様の部材については同様の符号を付して説明を省略している。

また、上記実施形態では、画像解析部が、参加者の口元の動きを検出し、この検出結果に基づいて会話をしている参加者を特定する例で説明をしたが、参加者や中継装置のオペレータが会話をしている参加者を指定してもよい。この場合、例えば、モニタに表示されたカーソルを会話をしている参加者の画像上に移動させ、選択ボタンを押下するなどの方法で、前記指定を行うといったことが考えられる。

なお、上記実施形態では、１台のビデオカメラにより、複数の参加者を同時に撮影する例で説明をしたが、参加者の人数分のビデオカメラを用意し、１台のビデオカメラで参加者１人を撮影してもよい。この場合も、上記実施形態と同様に、各参加者とビデオカメラとの距離によらず、各参加者の顔と声の大きさを揃えて再生できる。

また、上記実施形態では、参加者が２カ所に別れて存在する例で説明をしたが、参加者が３カ所以上に別れていても本発明を適用できる。この場合、参加者の存在する各地点にビデオカメラとテレビを設置し、これらを中継装置に接続する。そして、中継装置が、各地点に設置されたビデオカメラによって得られた画像及び音声に対して、上記実施形態と同様の処理を施した後、他の地点のテレビに出力すればよい。

さらに、上記実施形態では、カメラとマイクが一体に形成されたビデオカメラを用いる例で説明をしたが、カメラとマイクを別体に設けてもよい。また、モニタとスピーカが一体に形成されたテレビを用いる例で説明をしたが、モニタとスピーカを別体に設けてもよい。

なお、中継装置として、例えば、上述した中継処理を実行するためのソフトウェアをインストールしたパソコンを用いてもよい。また、中継装置としてパソコンを用いた場合、パソコンに内蔵されたモニタとスピーカを用いて画像と音声を出力するといったことも考えられる。さらに、このパソコンに、ＵＳＢカメラやマイクを接続することによって、パソコンをビデオカメラ、テレビ、並びに中継装置として機能させるといったことも考えられる。

テレビ会議システムの構成図である。中継装置の構成図である。顔表示枠と顔画像全体枠とを表す説明図である。変倍率と音声の出力レベルの関係を表す説明図である。中継処理の流れを表すフローチャートである。参加者とビデオカメラの配置を表す説明図である。ビデオカメラから入力される画像を表す説明図である。顔画像を表す説明図である。モニタの表示画面を表す説明図である。モニタの表示画面を表す説明図である。

符号の説明

１０テレビ会議システム
１２、１４ビデオカメラ
１６、１８テレビ
２０中継装置
２２制御部
３０画像解析部
３２顔表示枠
３６メモリ
３８音声レベル調節部
５４ａ、５４ｂ、５４ｃ顔画像

Claims

遠隔地の対象者と対話を行うための対話システムに用いられ、前記遠隔地に設置されたカメラ及びカメラの近傍に設置されたマイクから入力される前記対象者の画像及び音声を、モニタ及びスピーカに出力する対話システム用中継装置において、
前記カメラからの入力画像を解析し、前記入力画像のうち前記対象者の顔領域の大きさを調べる画像解析部と、
前記対象者の声が前記マイクと前記対象者の距離によらずほぼ等しい大きさで前記スピーカから再生されるように、前記顔領域が大きいほど、前記マイクからの入力音声を前記スピーカに出力する際の出力レベルを小さくし、前記顔領域が小さいほど、前記出力レベルを大きくする音声レベル調節部とを備えたことを特徴とする対話システム用中継装置。
前記対象者の顔を前記カメラと前記対象者の距離によらずほぼ等しい大きさで前記モニタに表示するために、前記顔領域の大きさを揃えるように前記入力画像の表示倍率を変倍して、前記対象者の顔画像を生成する顔画像生成部を備えたことを特徴とする請求項１記載の対話システム用中継装置。
前記音声レベル調節部は、前記顔画像生成時の変倍率に対応した可変率にて前記出力レベルを可変することを特徴とする請求項２記載の対話システム用中継装置。
１組の前記カメラと前記マイクにより、同時に複数の前記対象者の画像及び音声を取得する対話システムに用いられるとともに、
前記対象者のうち会話をしている対象者を特定する特定手段を備え、
前記音声レベル調節部は、会話をしている前記対象者の顔の前記顔領域の大きさに基づいて、前記出力レベルを可変させることを特徴とする請求項１〜３いずれか記載の対話システム用中継装置。
前記特定手段は、前記入力画像を解析して、前記対象者各々の口元の動きを検出し、この検出結果に基づいて、会話をしている対象者を特定することを特徴とする請求項４記載の対話システム用中継装置。
前記複数の参加者の顔画像が、前記モニタにマルチウィンドウ形式で表示されることを特徴とする請求項４または５記載の対話システム用中継装置。
遠隔地に設置されたカメラ及びカメラの近傍に設置されたマイクから入力される対象者の画像及び音声を、モニタ及びスピーカに出力する中継装置を用い、前記遠隔地の対象者と対話を行うための対話システムにおいて、
前記中継装置は、前記カメラからの入力画像を解析し、前記入力画像のうち前記対象者の顔領域の大きさを調べる画像解析部と、前記対象者の声が前記マイクと前記対象者の距離によらずほぼ等しい大きさで前記スピーカから再生されるように、前記顔領域が大きいほど、前記マイクからの入力音声を前記スピーカに出力する際の出力レベルを小さくし、前記顔領域が小さいほど、前記出力レベルを大きくする音声レベル調節部とを備えていることを特徴とする対話システム。
遠隔地に設置されたカメラ及びカメラの近傍に設置されたマイクから入力される対象者の画像及び音声を、モニタ及びスピーカに出力する中継装置を用い、前記遠隔地の対象者と対話を行うための対話方法において、
前記中継装置が、前記カメラからの入力画像を解析し、前記入力画像のうち前記対象者の顔領域の大きさを調べる画像解析ステップと、前記対象者の声が前記マイクと前記対象者の距離によらずほぼ等しい大きさで前記スピーカから再生されるように、前記顔領域が大きいほど、前記マイクからの入力音声を前記スピーカに出力する際の出力レベルを小さくし、前記顔領域が小さいほど、前記出力レベルを大きくする音声レベル調節ステップとを備えていることを特徴とする対話方法。