JP2008294724A - 画像受信装置 - Google Patents

Abstract

【課題】テレビ会議中やテレビ電話中の画像レイアウトの切り替えにリアルタイムで対応できる画像受信装置を提供する。
【解決手段】相手端末から送られてきた画像データに対し、顔・背景分離処理部１６にて人物の顔部分を分離し、分離した顔データから、色変化量解析部１７で表情の変化量を解析し、解析した表情の変化量を基に表示制御部１８が、表示部１９に表示する顔画像の位置、表示拡大率及びズーム率を制御する。これにより、テレビ会議中やテレビ電話中の画像レイアウトの切り替えにリアルタイムで対応でき、テレビ会議など、多数の人が参加する場面で各人の表情の変化をよく見ることができる。
【選択図】図１

Description

本発明は、テレビ会議装置やテレビ電話機能を備えた携帯端末に用いて好適な画像受信装置に関する。

従来のテレビ会議装置には、テレビ会議の統括者が会議参加者夫々に対して重み値（参加者の知識、経験値や主催者などの情報）を設定し、この設定した各人に対する重み値に基づいて会議のキーマンの画像を他者の画像よりも大きく表示する機能を備えたものがある（例えば、特許文献１参照）。また、従来のテレビ電話機能を備えた携帯端末には、テレビ電話中に自分の顔が相手端末の画面中央に表示されるように、自端末のカメラが撮影した画像から自分の顔が中心になるように切り出し、相手端末に送信する機能を備えたものがある（例えば、特許文献２参照）。

特開２００５−２４４７４４号公報 特開２００５−１９１７６０号公報

しかしながら、上述した特許文献１で開示されたテレビ会議装置は、モニタ画面上の画像レイアウトが事前に設定されるので、会議中にリアルタイムで切り替えることができない。すなわち、主催者の事前設定に基づき画像レイアウトを決定するのみで、会議中の画像レイアウト切り替えには対応していない。また、上述した特許文献２で開示された携帯端末は、自端末での画像レイアウト切り替えでないため、相手の表情に変化があっても同じレイアウトで表示し続ける。

テレビ会議など、多数の人が参加する場面では各人の表情の変化をよく見たいという要望があるが、上記従来技術ではその要望を満たすことはできない。

本発明は、係る事情に鑑みてなされたものであり、テレビ会議中やテレビ電話中の画像レイアウトの切り替えにリアルタイムで対応できる画像受信装置を提供することを目的とする。

本発明の画像受信装置は、ネットワーク又は無線通信回線を介して送られてくる被写体の画像データを受信する受信手段と、前記受信手段で受信された前記画像データを表示する表示手段と、前記受信手段で受信された前記画像データを解析する画像データ解析手段と、前記画像データ解析手段の解析結果に基づいて前記表示手段における前記被写体の画像レイアウトを制御する表示制御手段と、を備える。

この構成によれば、受信した画像データから被写体の動きを解析し、その解析結果に基づいて画像レイアウトを変更するので、テレビ会議中やテレビ電話中の画像レイアウトの切り替えにリアルタイムで対応できる。

また、上記構成において、前記受信手段で受信された前記画像データから顔データと背景データとを分離する顔・背景分離処理手段を備え、前記画像データ解析手段は、前記顔・背景分離処理手段で前記画像データから分離された前記顔データから表情変化量を解析し、前記表示制御手段は、前記画像データ解析手段の解析結果に基づいて、画像の表示拡大率及びズーム率の少なくとも一方を制御する。

この構成によれば、受信した被写体の画像データから、該被写体の顔の表情変化量を解析し、その解析結果に基づいて画像の表示拡大率及びズーム率の少なくとも一方を制御するので、テレビ会議など、多数の人が参加する場面で各人の表情の変化をよく見ることができる。

また、上記構成において、前記表示制御手段は、前記画像データ解析手段の解析結果に基づいて、画像の表示拡大率及びズーム率の少なくとも一方を徐々に制御する。

この構成によれば、画像の表示拡大率やズーム率を即座に制御するのではなく、徐々に制御するので、画面の急激な変化による見づらさを解消できる。

また、上記構成において、前記表示制御手段は、画像の表示拡大率及びズーム率の少なくとも一方を制御する際、その旨を前記表示手段にて通知する。

この構成によれば、画像の表示拡大率やズーム率を制御する際に、事前にその旨を通知するので、画面の急激な変化による違和感を解消できる。

本発明によれば、受信した画像データに対して動きを解析し、その解析結果に基づいて画像レイアウトを変更するので、テレビ会議中やテレビ電話中の画像レイアウトの切り替えにリアルタイムで対応でき、テレビ会議など、多数の人が参加する場面で各人の表情の変化をよく見ることができる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係るテレビ電話機能を備えた携帯端末の概略構成を示すブロック図である。同図において、本実施の形態に係る携帯端末１は、アンテナ１０と、無線部１１と、信号処理部１２と、スピーカ１３と、マイク１４と、顔データ保存部１５と、顔・背景分離処理部１６と、色変化量解析部１７と、表示制御部１８と、表示部１９と、画像入力部２０と、制御部２１とを備えて構成される。制御部２１は、装置各部を制御するものであり、図示せぬＣＰＵ（Central Processing Unit）と、このＣＰＵを制御するためにプログラムを格納したＲＯＭ（Read Only Memory）等の不揮発性メモリと、ＣＰＵの動作において使用するＲＡＭ（Random Access Memory）等の揮発性メモリを有している。

無線部１１は、受信した無線信号を増幅し、検波した後、Ａ／Ｄ変換（Analog to Digital Conversion）して出力する。また、信号処理部１２からのベースバンド信号をＤ／Ａ変換（Digital to Analog Conversion）し、直交変調等により高周波信号に変換した後、所要の電力まで電力増幅して出力する。信号処理部１２は、送信データに対して誤り訂正符号の付加、フレーム化、符合化等を行う。また、無線部１１からの受信信号に対して復号化やデータ多重分離等のベースバンド信号処理を行う。

顔・背景分離処理部１６は、信号処理部１２で受信信号から分離された画像データから顔の画像データ（以下、顔データと呼ぶ）と背景の画像データ（以下、背景データと呼ぶ）とを分離し、顔データを顔データ保存部１５に保存する。顔・背景分離処理部１６は、人物が複数いる場合、それぞれの顔データを背景データから分離する。そして、画像データから分離した顔データを顔データ保存部１５に保存する。色変化量解析部１７は、顔データ保存部１５に保存された顔データから顔の色変化を捉えて顔の表情の変化量を解析する。すなわち、人が喋ると顔が動き、それに伴って顔前面における光の反射が変化するので、色変化量解析部１７はその光の変化を顔の色変化として捉えて顔の表情の変化量を解析する。色変化量解析部１７は、解析した結果を表示制御部１８に入力する。

表示制御部１８は、色変化量解析部１７の解析結果に基づいて表示部１９に表示する画像のレイアウトを制御する。画像レイアウトは、画像の表示位置、画像の表示拡大率及びズーム率を含んでおり、表示制御部１８は、色変化量解析部１７で解析された顔の表情の変化量に基づいて表示部１９に表示する画像の位置、表示拡大率及びズーム率を制御する。このとき、画像の位置、表示拡大率及びズーム率を即座に制御しても構わないが、徐々に制御するようにしても良い。画像の位置、表示拡大率及びズーム率を徐々に制御するようにすれば、画面の急激な変化による見づらさを解消できる。また、表示制御部１８は、画像の位置、表示拡大率及びズーム率を制御する際に、その旨を表示部１９に表示してユーザに通知する。通知方法としては、表示領域の枠を特定の色で点滅させる方法、メッセージとして表示する方法などがある。画像の位置、表示拡大率及びズーム率を制御する際に、事前にその旨をユーザに通知することで、ユーザに与える違和感を解消できる。画像入力部２０は、所謂カメラであり、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有し、被写体を撮像して得られる画像を画像データとして出力する。

図２は、通常のテレビ電話中の画面の一例を示す図である。この画面ではＮ氏はよく喋っていてよく表情が変わっており、Ｏ氏は殆ど喋っておらず無表情である。この状態で、例えば表情変化量の多い人物の顔画像が他の人物の顔画像よりも大きく且つズームアップして表示するものとすると、図３に示すように、Ｎ氏の顔はその表情がよく見えるように大きく且つズームアップして表示され、表情の変わらないＯ氏の顔は極力小さく表示される。なお、その後、Ｏ氏の表情が変わるようなことがあれば、徐々に大きく表示するようにすると良い。このように、表情変化が多い人物の顔画像が他の人物の顔画像よりも大きく、ズームアップして表示されることで、携帯端末１のユーザは当該人物の顔の表情をよく見ることができる。

なお、上記無線部１１は受信手段に対応し、顔・背景分離処理部１６は顔・背景分離処理手段に対応し、色変化量解析部１７は画像データ解析手段に対応し、表示制御部１８は表示制御手段に対応し、表示部１９は表示手段に対応する。

次に、上記構成の携帯端末１の動作について説明する。図４は、携帯端末１の表示処理を示すフロー図である。また図５は、拡大率、ズーム率を計算する処理を示すフロー図である。まず表示処理について説明し、その後に拡大率、ズーム率計算処理について説明する。

〔表示処理〕
図４において、テレビ電話又はテレビ会議が開始されると、色変化量解析部１７にて通話相手の顔の表情変化量を解析する（ステップＳＴ１０）。すなわち、色変化量解析部１７にて相手端末から送られてきた画像データから相手の顔の表情変化量を解析する。次いで、通話相手の顔の表情変化量の解析結果より、表示制御部１８にて表示拡大率、ズーム率、表示位置を計算する（ステップＳＴ１１）。この計算は図５のフロー図に示すようにして行われる。

次いで、計算した表示拡大率、ズーム率、表示位置で表示形態を変更することから、表示形態を変更する際に、その旨を表示部１９にてユーザに通知する（ステップＳＴ１２）。通知方法としては、表示領域の枠を特定の色で点滅させる方法、メッセージとして表示する方法などがある。このようにしてユーザに表示形態を変更する旨の通知を行った後、表示制御部１８にて計算結果に基づき表示形態の変更を実行する（ステップＳＴ１３）。以上のステップＳＴ１０〜ステップＳＴ１３の処理をテレビ電話又はテレビ会議が終了するまで繰り返し行う。この判定をステップＳＴ１４で行い、テレビ電話又はテレビ会議が終了すると、本処理を終了する。

〔拡大率、ズーム率計算処理〕
処理開始前において、表示制御部１８にて初期値を設定する。
Ｎ氏について
表示拡大率：Ｄｎ
ズーム率：Ｚｎ
表情変化量：Ｘｎ
Ｏ氏について
表示拡大率：Ｄｏ
ズーム率：Ｚｏ
表情変化量：Ｘｏ

各個人に対して初期値を設定した後、色変化量解析部１７にて得られるＮ氏の表情変化量がＯ氏の表情変化量を超えるかどうか制御部２１にて判定する（ステップＳＴ２０）。Ｎ氏の表情変化量がＯ氏の表情変化量を超える場合は、現在の表示位置、表示状態などから表示制御部１８にて最適なｄｎ、ｚｎ、ｄｏ、ｚｏを計算する。
ｄｎ：Ｎ氏の表示拡大率（＞０）
ｚｎ：Ｎ氏のズーム拡大率（＞０）
ｄｏ：Ｏ氏の表示拡大率（＞０）
ｚｏ：Ｏ氏のズーム拡大率（＞０）

ｄｎ、ｚｎ、ｄｏ、ｚｏを計算した後、続いて表示制御部１８にてＮ氏とＯ氏それぞれの表示拡大率とズーム率を計算する（ステップＳＴ２２）。
Ｎ氏の表示拡大率：Ｄｎ＝Ｄｎ＋ｄｎ
Ｎ氏のズーム率：Ｚｎ＝Ｚｎ＋ｚｎ
Ｏ氏の表示拡大率：Ｄｏ＝Ｄｏ−ｄｏ
Ｏ氏のズーム率：Ｚｏ＝Ｚｏ−ｚｏ
Ｎ氏の表情変化量がＯ氏の表情変化量を超える場合は、Ｎ氏の表示拡大率及びズーム率がＯ氏の表示拡大率及びズーム率より大きくなる。

Ｎ氏とＯ氏それぞれの表示拡大率とズーム率を計算した後、続いて表示制御部１８にてＮ氏、Ｏ氏それぞれの画像の最適な表示位置を計算する（ステップＳＴ２３）。表示位置を計算した後、表示処理のステップＳＴ１２に戻る。

一方、上記ステップＳＴ２０の判定において、Ｎ氏の表情変化量がＯ氏の表情変化量以下である場合は、現在の表示位置、表示状態などから表示制御部１８にて最適なｄｎ、ｚｎ、ｄｏ、ｚｏを計算する（ステップＳＴ２４）。

ｄｎ、ｚｎ、ｄｏ、ｚｏを計算した後、続いて表示制御部１８にてＮ氏とＯ氏それぞれの表示拡大率とズーム率を計算する（ステップＳＴ２５）。
Ｎ氏の表示拡大率：Ｄｎ＝Ｄｎ−ｄｎ
Ｎ氏のズーム率：Ｚｎ＝Ｚｎ−ｚｎ
Ｏ氏の表示拡大率：Ｄｏ＝Ｄｏ＋ｄｏ
Ｏ氏のズーム率：Ｚｏ＝Ｚｏ＋ｚｏ
Ｎ氏の表情変化量がＯ氏の表情変化量以下の場合は、Ｎ氏の表示拡大率及びズーム率がＯ氏の表示拡大率及びズーム率より小さくなる。逆に言えば、Ｏ氏の表示拡大率及びズーム率がＮ氏の表示拡大率及びズーム率より大きくなる。

Ｎ氏とＯ氏それぞれの表示拡大率とズーム率を計算した後、続いて表示制御部１８にてＮ氏、Ｏ氏それぞれの画像の最適な表示位置を計算する（ステップＳＴ２３）。表示位置を計算した後、表示処理のステップＳＴ１２に戻る。

なお、上記ステップＳＴ２２又はステップＳＴ２５の表示拡大率及びズーム率を求める処理において、加算や減算を行う他に、乗算や除算を行っても良い。例えば、ステップＳＴ２２の場合は以下のようになる。
Ｎ氏の表示拡大率：Ｄｎ＝Ｄｎ×ｄｎ
Ｎ氏のズーム率：Ｚｎ＝Ｚｎ×ｚｎ
Ｏ氏の表示拡大率：Ｄｏ＝Ｄｏ÷ｄｏ
Ｏ氏のズーム率：Ｚｏ＝Ｚｏ÷ｚｏ

このように、本実施の形態に係る携帯端末１によれば、相手端末から送られてきた画像データから人物の顔部分を分離し、分離した顔データから表情の変化量を解析し、解析した表情の変化量を基に顔画像の位置、表示拡大率及びズーム率を制御するので、表情変化が多い人物の顔画像を他の人物の顔画像よりも大きく表示するなどの表示制御ができる。すなわち、テレビ電話中又はテレビ会議中の画像レイアウト切り替えにリアルタイムで対応できる。

また、画像レイアウトの切り替えの際に、画像の表示拡大率及びズーム率を徐々に制御すれば、画面の急激な変化による見づらさを解消できる。また、画像レイアウトを切り替える際に、事前にその旨を表示部１９に表示してユーザに通知するので、画面の急激な変化によるユーザに与える違和感を解消できる。

なお、本実施の形態では、相手端末から送られてくる被写体の画像データから、顔部分を分離して顔の表情の変化量を解析して、表情の変化量を基に画像の表示拡大率とズーム率を共に制御するようにしたが、いずれか一方を制御するようにしても良い。

また、本実施の形態では、相手端末から送られてくる被写体の画像データから顔データを分離して顔データについて顔の表情の変化量を解析したが、被写体の画像データそのもの動きを解析するようにしても良い。すなわち、相手端末から送られてくる被写体の画像データから該被写体の動きを解析し、動き量の大きさに応じて表示部１９における被写体の画像レイアウトを制御するようにしても良い。

また、本実施の形態では、無線通信回線を利用して画像データの送受信を行うようにしたが、無線通信回線の他にインターネット等のネットワークを利用して画像データの送受信を行うようにしても良い。

また、本実施の形態では、本発明の画像受信装置を、テレビ電話機能を備えた携帯端末に適用したが、その他、テレビ会議装置やテレビ電話装置に適用しても良いし、プログラム化してパソコン等の情報機器に適用しても良い。無論、画像受信装置単体であっても良い。

本発明は、テレビ会議中やテレビ電話中の画像レイアウトの切り替えにリアルタイムで対応できるといった効果を有し、テレビ電話機能を備えた携帯端末、テレビ会議装置、テレビ電話装置等に適用が可能である。

本発明の一実施の形態に係るテレビ電話機能を備えた携帯端末の概略構成を示すブロック図 図１の携帯端末でのテレビ電話中の通常時の画像レイアウトの一例を示す図 図１の携帯端末でのテレビ電話中の表示切り替え時の画像レイアウトの一例を示す図 図１の携帯端末の表示処理を説明するためのフロー図 図１の携帯端末の表示処理における表示拡大率、ズーム率計算処理を説明するためのフロー図

符号の説明

１ 携帯端末
１０ アンテナ
１１ 無線部
１２ 信号処理部
１３ スピーカ
１４ マイク
１５ 顔データ保存部
１６ 顔・背景分離処理部
１７ 色変化量解析部
１８ 表示制御部
１９ 表示部
２０ 画像入力部
２１ 制御部

Claims (4)

1. ネットワーク又は無線通信回線を介して送られてくる被写体の画像データを受信する受信手段と、
   前記受信手段で受信された前記画像データを表示する表示手段と、
   前記受信手段で受信された前記画像データを解析する画像データ解析手段と、
   前記画像データ解析手段の解析結果に基づいて前記表示手段における前記被写体の画像レイアウトを制御する表示制御手段と、
   を備える画像受信装置。
2. 前記受信手段で受信された前記画像データから顔データと背景データとを分離する顔・背景分離処理手段を備え、
   前記画像データ解析手段は、前記顔・背景分離処理手段で前記画像データから分離された前記顔データから表情変化量を解析し、
   前記表示制御手段は、前記画像データ解析手段の解析結果に基づいて、画像の表示拡大率及びズーム率の少なくとも一方を制御する請求項１に記載の画像受信装置。
3. 前記表示制御手段は、前記画像データ解析手段の解析結果に基づいて、画像の表示拡大率及びズーム率の少なくとも一方を徐々に制御する請求項２に記載の画像受信装置。
4. 前記表示制御手段は、画像の表示拡大率及びズーム率の少なくとも一方を制御する際、その旨を前記表示手段にて通知する請求項２に記載の画像受信装置。

Images