JP2007150919A

JP2007150919A - 通信端末およびその表示方法

Info

Publication number: JP2007150919A
Application number: JP2005344754A
Authority: JP
Inventors: Kugo Morita; 空悟守田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2005-11-29
Filing date: 2005-11-29
Publication date: 2007-06-14
Anticipated expiration: 2025-11-29
Also published as: JP5274750B2

Abstract

【課題】状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能で、送信者が見せたい画像を撮像した際に、送信者が何ら新たな操作を追加することなく、受信側では即座にその画像を大きく見せることが可能となる通信端末およびその表示方法を提供する。
【解決手段】デコード装置１０は、画像を表示する表示部１１４と、受信画像の注目度を推定する注目度推定部１１０と、推定した注目度と、受信音量に基づいて表示エリアの表示倍率用係数を算出する表倍率用係数合成部１１１と、算出した表示倍率用係数に基づいて表示エリアの表示倍率を算出する表示倍率算出部１１２と、を有する。
【選択図】図２

Description

本発明は、携帯電話機等の通信端末およびその表示方法に係り、特に、多地点通信可能な通信端末およびその表示方法に関するものである。

多地点通信としての代表としては、テレビ会議システムがある。テレビ会議システムでは、ＭＣＵ（Multi-point Control Unit）を介して複数の端末が接続する。ＭＣＵは、多数の端末から送られてきた画像データを１つの画面上に分割合成し、音声データとともに、各々の端末に送信することにより、多地点をつないだテレビ会議を実現する。

基本的に、各拠点の画像を１つの画像に分割合成する場合、
（１）１つの画像を等分割する場合（たとえば４分割、９分割）と、
（２）１つ大きな画像領域を取り、残りの領域を等分割に分割して合成する場合と、
がある（たとえば６分割）。

（１）の場合、ＭＣＵで結んでいる拠点からの画像が同じ面積を使って合成される。
（２）の場合、話している拠点を大きな面積を割り当て、残りの拠点からの画像を残りの等分割された領域に割り当てて、合成する。

いずれの場合でも、テレビ会議システムでは、大画面のモニタを用いて行うために、複数の拠点の画像を１つの画像に分割合成しても、個々の拠点を映す画像のサイズは充分な大きさを有し、一人で映っている分には、その人の顔が認識困難になるということはない。テレビ会議システムとしては、たとえば特許文献１，２等に開示されている。

図１（Ａ）〜（Ｅ）は、一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である。
図１の例においては、画面１を先に決められた枠（四角形）のウィンドゥに分割する。
たとえば、画面１は１つの大きなウィンドゥ（四角形）２と複数の小さなウィンドゥ（四角形）３−１〜３−５から形成され、話し手を大きなウィンドゥ２に表示する。
この場合、ウィンドゥのサイズ、および分割数は固定的であり、撮像された画像をそのまま表示しているため、撮影の状態に応じて、顔の大きさが変動する。

一般的なＰＣのウィンドゥ制御の場合、マウスでウィンドゥをドラッグすることにより、ウィンドゥのサイズの変更、ウィンドゥの選択を自由に行うことが可能である。

ところで、携帯電話機等の携帯通信端末は、音声通話だけでなく、メール、Webアクセス、ゲーム、カメラ、テレビ電話、メディアプレィア、ラジオ、テレビなど年々高機能化されている。
現行、携帯通信端末でのテレビ電話は、発呼時に、テレビ電話で接続することを選択するものである。

しかしながら、パケット通信への対応が進むことにより、音声通話自体がパケット通信に対応したVoIPが使用され、通話中にカメラを起動し、音声および映像での通話に切り替えたり、また逆に、カメラを停止し、音声通話のみにしたりといった使い方が主要となる。さらに、通話中の相手に、自端末に保存している文書（ex. メール）、住所データ、画像（静止画像、動画像）、音声などを送って、（通話相手にて自動的に再生され、）同時に観たり、Webサイトを同時に観たりすることが可能となる。

このように、高機能化により携帯通信端末がIP化された場合、同時に複数の相手（サーバを含む）と通信を行うことが可能となる。
この場合、一つの端末で複数のスクリーンを取り扱う必要がある。複数のスクリーンを取り扱う方法としては、（ＰＤＡなどで）ページめくり的に取り扱う方法がある。
特開平０６−１４１３１０号公報特開平０６−１４１３１１号公報

ところで、たとえば携帯IP-TV電話では、画面のサイズが小さいため、複数人で、画像ありの通話を行った場合、一人ひとりの顔の大きさが小さくなる。
PCのウィンドゥのように、ユーザがウィンドゥを動かしたら、サイズを変えたりできるようにするには、画面サイズ、および操作キーに制限があり、困難である。
また、複数人が同程度で話した場合、スクリーンが対応できない。

さらに、音量に応じて、スクリーンサイズを設定した場合、無駄な空間を増加させたり、画面内に全スクリーンを表示しきれなくなったりする問題を有している。
具体的には、全スクリーンの音量が小さい場合、小さいスクリーンが画面上を浮遊することになる。一方、全スクリーンが音量最大の場合、表示スクリーンの合計面積が画面面積を超えるという問題を有する。
これに対して、局所的に合計面積を画面面積に規格化することによって、画面内に収まらせることは可能であるが、次時刻におけるスクリーン位置の再配置（移動）が不連続的になる。

また、送信側である撮影者がカメラをパーンなどして被写体を変える場合、その被写体を受信側である相手に見せたいがためである。その際に、必ずしも撮影者は話しているとは限らない。このため、パーンした後に、何かしら話さないといけないことになる。
たとえば、何を購入してくれば良いか選択してもらうために、画像を送っている場合、絶えず撮影者が話しをしつづけることはできない。が、受信した画像自体はその間絶えず視認できる大きさのスクリーンである必要がある。

本発明の目的は、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能であり、送信者が見せたい画像を撮像した際に、送信者が何ら新たな操作を追加することなく、受信側では即座にその画像を大きく見せることが可能となる通信端末およびその表示方法を提供することにある。

本発明の第１の観点は、送信側端末から送信された受信撮像画像データおよび音声データを再生する通信端末であって、画像を表示する表示手段と、前記表示手段に特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成可能で、受信音量に基づいて表示すべき画像のサイズを制御する制御手段と、を有し、前記制御手段は、受信画像の注目度を推定する注目度推定手段と、推定した注目度と、受信音量に基づいて表示エリアの表示倍率用係数を算出する表倍率用係数合成手段と、算出した前記表示倍率用係数に基づいて表示エリアの表示倍率を算出する表示倍率算出手段と、を含む。

好適には、前記注目度推定手段は、受信画像の動きベクトル、符号化の増大、および周波数成分に基づいて、受信画像の注目度を推定する。

好適には、前記制御手段は、受信画像の動きベクトル、符号化の変動に基づいて、送信側の撮像操作を推定する判定手段を有し、前記判定手段にて、操作があったと判定した場合、前記注目度推定手段は、前記判定された操作後に受信する画像は、注目度が高いと推定する。

好適には、前記表示倍率用係数合成手段は、注目度と、受信音量とから、大きい方を選択する。

好適には、送信側となる端末、受信側となる端末の一方に、第１特定エリア(顔)を抽出する第１抽出手段と、第２特定エリア（手）を抽出する第２抽出手段と、先に設定された第２特定エリア（手）の動きがされているかを判定する挙動判定手段と、を有し、前記第１抽出手段にて、映像上に第１特定エリア(顔)を抽出した場合に、映像上の第２特定エリア(手)の動きを検知し、前記挙動判定手段にて、先に設定された動きを検出した場合、注目度を上げる。

好適には、前記挙動情報蓄積手段には、前記第１特定エリア(顔)の位置に対する前記第２特定エリア(手)の位置の移動軌跡を表すベクトル群が蓄積されている。

好適には、前記挙動判定手段は、前記第１抽出手段にて抽出された第１特定エリア(顔)の座標と、前記第２抽出手段にて抽出された第２特定エリア(手)の座標に基づき、第１特定エリア(顔)の位置に対する第２特定エリア(手)の相対座標として認識し、時間経過に対して、手の相対座標の移動ベクトルを算出し、当該移動ベクトルが、挙動情報蓄積手段に蓄積されているベクトルとの一致度（相関）を算出し、一致度が閾値より大きい場合、蓄積された挙動を行っていると判定する。

本発明の第２の観点は、送信側端末から送信された受信撮像画像データおよび音声データを再生する通信端末の表示方法であって、受信画像の注目度を推定し、推定した注目度と、受信音量に基づいて表示エリアの表示倍率用係数を算出し、算出した前記表示倍率用係数に基づいて表示エリアの表示倍率を算出し、表示倍率に従って表示すべき画像を含む表示エリアを表示する。

本発明によれば、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能となる。
また、送信者が見せたい画像を撮像した際に、送信者が何ら新たな操作を追加することなく、（また、送信者が声を発すことなく、）受信側では即座にその画像（スクリーンサイズ）を大きく見せることが可能となる。

以下、本発明の実施形態を図面に関連付けて説明する。

＜第１実施形態＞
図２は、本発明の実施形態に係る携帯通信端末の構成例を示す図であって、受信側のデコード装置を示すブロック図である。

デコード装置１０は、通信相手（送信元）のエンコード装置から送信されネットワークを介して受信した音声データ、画像データを再生する機能を有する。
デコード装置１０は、たとえば多地点通信を行っている場合に、受信画像の制御情報に基づいて特定エリアである顔を含む画像を、使用するスクリーン（サイズが制御された表示エリア）を選択して表示し、音声を発する機能を有する。
デコード装置３０は、このスクリーンの表示に際し、デッドゾーンをなくした円形（楕円形を含む概念である）ウィンドゥにて分割する機能を有する。
円形(楕円形)ウィンドウに分割するように構成したのは、以下の理由による。
一般的に、画面の分割は、長方形で行っていた。人間の顔は基本的に楕円形であり、長方形の四隅はデットゾーンとなる。このデッドゾーンが、顔を表示するエリアを結果的に狭く（小さく）している。
よって、本実施形態においては、このデッドゾーンをなくした円形（楕円形）ウィンドゥにて分割するように構成している。

図２のデコード装置１０は、ネットワークと無線通信可能で送信元から送信された音声データ、画像(映像)データ、制御情報や指示情報、スクリーン情報、音量情報等を含むパケットを受信するネットワークインタフェース（Ｉ／Ｆ）１０１、ネットワークインタフェース１０１で受信されたパケットを解析し、音声データ、画像データ、送信元アドレス、制御情報(天地情報や指示情報等)を抽出する受信パケット解析部１０２、受信パケット解析部１０２により抽出された音声データを復号する音声復号処理部１０３、受信パケット解析部１０２により抽出された映像データを復号する映像復号処理部１０４、復号映像処理部１０４により復号された映像データを蓄積する映像蓄積部１０５、映像蓄積部１０５に蓄積された映像データおよび映像復号処理部１０４により復号された映像信号に基づいて送信側のカメラ(撮像)操作のシーンチェンジを推定するシーンチェンジ判定部１０６、映像蓄積部１０５に蓄積された映像データおよび映像復号処理部１０４により復号された映像信号に基づいて送信側のカメラ(撮像)操作のパーン操作を推定するパーン判定部１０７、映像蓄積部１０５に蓄積された映像データおよび映像復号処理部１０４により復号された映像信号に基づいて送信側のカメラ(撮像)操作の回転操作を推定する回転判定部１０８、映像復号処理部１０４により復号された映像信号に基づいて画像の合焦状態を判定する合焦判定部１０９、シーンチェンジ判定部１０６、パーン判定部１０７、回転判定部１０８、および合焦判定部１０９の判定結果に基づいて受信画像の注目度（Ｖ_att）を推定する注目度推定部１１０、推定した注目度注目度（Ｖ_att）と、受信音量（Ｖ_rec）に基づいて画像を表示すべき表示エリア（スクリーン）の表示倍率用係数（Ｖ_syn）を算出する表示倍率用係数合成部１１１、算出した表示倍率用係数（Ｖ_syn）に基づいてスクリーンの表示倍率（Ｒ）を算出する表示倍率算出部１１２、映像復号処理部１０４により復号された映像信号を算出した表示倍率に従って合成するマルチスクリーン合成部１１３、マルチスクリーン合成部１１３の合成画像を表示するＬＣＤ等の表示部（画像出力部）１１４、および音声復号処理部１０３で復号された音声を所定の音量で発音するスピーカ等の音声出力部１１５を有する。

このように、本実施形態においては、注目度推定部１１０は、受信画像の動きベクトル、符号化の増大、および周波数成分に基づいて、受信画像の注目度（Ｖ_att）を推定する。
表示倍率用係数合成部１１１は、注目度（Ｖ_att）と、受信音量（Ｖ_rec）に基づいて、スクリーンの表示倍率用係数（Ｖ_syn）を算出する。
また、表示倍率算出部１１２は、表示倍率用係数（Ｖ_syn）に基づいてスクリーンの表示倍率（Ｒ）を算出する。
また、判定部１０６〜１０９は、受信画像の動きベクトル、符号化の変動に基づいて、送信側のカメラ操作（パーン、回転、シーンチェンジ）を推定する。
そして、所定の操作があったと判定した場合、注目度推定部１１０は、判定された操作（終了）後に受信する画像は、注目度が高いと推定する。
また、表示倍率用係数合成部１１１は、注目度（Ｖ_stt）と、受信音量（Ｖ_rec）とから、大きい方を選択する。

以下に、図２のデコード装置１０の動作について説明する。

復号された映像データ（Ｍ(t))に基づき、前時刻の映像データ（Ｍ(t-ｎΔt））に基づいて、シーンチェンジ判定部１０６、パーン判定部１０７、回転判定部１０８により、各々シーンチェンジの発生の有無、パーンの発生の有無、回転の発生の有無を判定する。
具体的には、たとえば、映像間の動きベクトルを検出し、画面全体の動きベクトルが一様に一方向に揃っており、そのベクトル長が閾値以上の場合、パーンと判定する。また、ある一点を中心にベクトルが渦状に配している場合、回転と判定する。ベクトルが揃わず、符号量が増大している場合に、シーンチェンジと判定する。

注目度算出部１１０は、シーンチェンジ判定部１０６、パーン判定部１０７、回転判定部１０８の判定結果、および合焦判定部１０９の判定結果に基づいて、シーンチェンジ、パーン、回転いずれかが起こっている場合、それが終了した後に注目すべき映像を受信すると推測し、終了後、合焦している映像を受信した場合に、この映像以降を注目すべき映像と推定する。
なお、合焦判定部１０９は、受信映像の周波数成分を算出し、周波数成分の最大値が閾値以上であるかを判定することにより、合焦判定を行う。
表示倍率係数合成部１１１は、次のように受信した音声（Ｖ_rec）と、注目度（Ｖ_att）に基づいて表示倍率係数（Ｖ_syn）算出する。

そして、表示倍率算出部１１２は、次のように、表示倍率係数（Ｖ_syn）から表示倍率（Ｒ）を算出する。

各スクリーンの表示倍率（Ｒ）に基づいて、画面上にスクリーンを成形し、画像出力手段としての表示部１１４にて表示出力する。また、復号された音声は、音声出力部１１５にて再生される。

図３は、本第１の実施形態の主要動作を示すフローチャートである。

この場合、画像を受信して（ＳＴ１）、シーンチェンジ、パーン、回転を判別した場合（ＳＴ２〜ＳＴ４）、注目度フラグ（bAtentFlg）をTRUEとする（ＳＴ５）。
注目度フラグ（bAtentFlg）がTRUEの場合（ＳＴ６）、映像の周半数成分（F_max）が閾値（F_Threah）を越えているか否かを判定し（ＳＴ７）、越えている場合、合焦と判定し、時間を初期化し（Ｔ_stt=t）、注目度（Ｖ_att）を関数（g(・)）にて算出する（ＳＴ８〜ＳＴ１３））。関数（g（・）)は、0で最大となり、時間経過に伴い減衰する関数である。

図４（Ａ）〜（Ｃ）は、端末Ａと端末Ｂからの撮像画像を端末Ｃの画面にて表示している場合を示す図である。
この場合、端末Ａからは絶えず一定の音量の声が流れているものとする。
端末Ｂでは、時間ｔから時間ｔ＋Δｔの間にて、撮像するカメラを切り替えた。これにより、時間ｔ＋Δｔにて撮像される画像が、人から魚になった。
この場合、端末Ｂからの画像の注目度は上がったと判断し、端末Ｃの画面には、時間ｔ＋Δｔにおける端末Ｂのスクリーンは、時間ｔにおける端末Ｂのスクリーンよりサイズが大きくなる。
そのまま時間ｔ＋ＮΔｔに経過した場合、注目度は少しずつ低下すると推測し、時間ｔ＋ＮΔｔにおける端末Ｂのスクリーンは、時間ｔ＋Δｔのスクリーンサイズに比べ小さくする。

図５（Ａ）〜（Ｃ）は、端末Ａと端末Ｂからの撮像画像を端末Ｃの画面にて表示している他の例を示す図である。
この場合、端末Ａからは絶えず一定の音量の声が流れているものとする。
端末Ｂでは、時間ｔから時間ｔ＋ＮΔｔの間にて、撮像するカメラをパーンした。時間ｔ＋ＮΔｔにて撮像される画像が、人間から魚になった。しかし、時間ｔ＋ＮΔｔでは、ぼけた画像となっている。時間ｔ＋（Ｎ＋１）Δｔにて合焦する。
これに対して、端末Ｃでの画面は、時間ｔ＋（Ｎ＋１）Δｔの合焦に共に、端末Ｂのスクリーンが、時間ｔ＋ＮΔｔのスクリーンより大きくなる。
時間ｔ＋Δｔのパーンの検知により、注目画像が来ることを予測し、その後、合焦の検知により、時間ｔ＋（Ｎ＋１）Δｔの画像を注目度の高い画像と判断し、注目度の値を大きくする。

図６および図７は、シーンチェンジによる注目度（Ｖ_att）の変化と、受信音量（Ｖ_rec）の変化、および表示倍率用係数（Ｖ_syn）の変動を示した図である。
図６では、時間ｔ₀にて符号量の増大があり、および動きベクトル（図なし）から、シーンチェンジが生じたと判定する。注目度（Ｖ_att）は時間ｔ_０に最大値となる。時間経過とともに、注目度（Ｖ_att）は減衰する。表示倍率用係数合成手段にて、表示倍率用係数（Ｖ_syn）を得る。時間ｔ_０からｔ_１の区間は、注目度（Ｖ_att）が受信音量（Ｖ_rec）より大きいため、Ｖ_syn＝Ｖ_attとする。
図７も同様である。受信音量（Ｖ_rec）の変動が異なり、シーンチェンジ時（時間ｔ_２）に高い。表示倍率用係数（Ｖ_syn）は、時間ｔ_２からｔ_３の区間は、注目度（Ｖ_att）が受信音量（Ｖ_rec）より大きいため、Ｖ_syn＝Ｖ_attとする。
表示倍率用係数（Ｖ_syn）の算出において最大値（max）演算にて注目度（Ｖ_att）と受信音量（Ｖ_rec）を合成しているため、受信音量が高い場合に、注目度が上がった場合に、更に表示倍率用係数（Ｖ_syn）が増大しすぎることを制限することとなっており、声の大きい人の撮像したものだけが、シーンチェンジ、パーン、回転など注目度が高いと推測された際のスクリーンサイズが極端に大きくなることを防ぐことが可能となる。

＜第２実施形態＞
本第２の実施形態においては、送信側と受信側に処理を分散した場合について説明する。
本第２の実施形態においては、顔検出部、手検出部、および挙動判定部段、送信側に置き、挙動判定部にて判定した注目度は、制御情報として受信側に送出している。受信側では、受信した制御情報に記載された注目度情報（Ｖ_att）、および、受信音量（Ｖ_rec）とから表示倍率用係数合成手段にて、表示倍率用係数（Ｖ_syn）を算出し、スクリーンを形成する。なお、送信側から操作部にて、意図的に注目度（Ｖ_att）を発生することもできるものとする。
挙動情報蓄積部には、顔の位置に対する手の位置の移動軌跡を表すベクトル群として蓄積し、顔検出手部にて検出された顔の座標と、手検出部にて検出された手の座標に基づき、顔の位置に対する手の相対座標として認識し、時間経過に対して、手の相対座標の移動ベクトルを算出し、この移動ベクトルが、挙動情報蓄積手段に蓄積されているベクトルとの一致度（相関）を算出し、一致度が閾値より大きい場合、蓄積された挙動を行っていると判定する。

図８（Ａ）〜（Ｃ）は、映像から顔が認識されている場合であって、映像内に手が入ってきた場合に、注目度を増大させる場合を示す図である。
映像内に顔を検出できた場合、映像内に手を探索する。時間ｔ−Δｔに（上向きの）手を検出できず、時間ｔに（上向きの）手を検出できた場合に、注目度Ｖ_attを増加する。なお、その後受信音声が増大した場合に、時間経過に対して注目度Ｖ_attが閾値（Ｖ_attThresh）以下に低下しないように制限する。なお、受信音量が一定時間途切れた場合、注目度（Ｖ_att）の閾値（Ｖ_attThresh）の制限をなくす。
これにより、手を挙げたと判断されたスクリーンは、手を挙げた動作と共に、話始めることにより、話を継続している最中は、スクリーンサイズを算出する表示倍率用係数（Ｖ_syn）が一定値以下に低くなることを抑えることとなり、スクリーンサイズが時間経過に伴い小さくなることを抑えることが可能となる。

図９は、受信音量が高い場合、図１０は受信音量が低い場合である（実線）。時間ｔ_０、時間ｔ_４にて上向き手が検知され、注目度(Ｖ_att）が増大する（破線）。受信音量（Ｖ_rec）が閾値（Ｖ_rec０）を下回った場合、話が途切れたと判断する。時間ｔ_０からｔ_１の区間では、注目度（Ｖ_att）が、受信音量（Ｖ_rec）より大きいため、表示倍率用係数（Ｖ_syn＝Ｖ_att）とする。時間ｔ_１からｔ_２の区間では、受信音量（Ｖ_rec）が注目度（Ｖ_att）より大きいため、表示倍率用係数（Ｖ_syn＝Ｖ_rec）とする。時間ｔ_３で閾値（Ｖ_rec０）を下回り、話が途切れたと判断する。
時間ｔ_５で、注目度（Ｖ_att）が閾値（Ｖ_attThresh）に到達する。受信音量（Ｖ_rec）は閾値（Ｖ_attThresh）より小さいため、話が途切れる時間ｔ_６まで、表示倍率用係数は（Ｖ_syn＝Ｖ_attThresh）となる。
これにより、受信音量が小さい場合でも、話中はある程度の大きさに表示倍率用係数（Ｖsyn）を保つことが可能となる。
なお、上向きの手を認識する。つまり手を挙げる挙動に対して、動作する場合を示したが、その他の挙動に対して（顔を近づけるetc）にて、注目度を上げるように設定しても良い。

図１１および図１２は、本発明の第２の実施形態に係る携帯通信端末の構成例を示す図であって、図１１はエンコード装置を示すブロック図であり、図１２はデコード装置を示すブロック図である。

本携帯通信端末は、送信元となるエンコード装置２００と、受信側とあるデコード装置３００とを有し、多地点通信可能に構成される。

エンコード装置２００は、符号化した音声データ、画像データを、受信側端末に対する指示情報や画像の天地情報等を付加してパケットとしてネットワークに送信する機能を有する。
音声データおよび画像データに付加される送信元の指示情報は、指示された画像の送信元の識別する情報(たとえ、ＩＰアドレス、MACアドレス）と、受信した画像上の位置を示す位置情報とを含む。
送信元となるエンコード装置２００は、送信元は、画面上、指示した位置にスクリーン(スクリーンについては後で詳述する)が存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有する。

図１１のエンコード装置２００は、マイクロフォン等からなる音声入力部２０１、デジタルカメラ等の画像入力部２０２、キー入力等が可能な操作部２０３、音声入力部２０１により入力される音声データを符号化する音声符号化処理部２０４、画像入力部２０２から入力され所定エリアに切り出された画像データを符号化する画像符号化処理部２０５、撮像画像に関連付けた天地情報に基づいて、撮像画像の天地を受信側の表示部の画面（端末画面）の天地と一致するように補正する天地補正部２０６、撮像画像から顔のエリア(第１特定エリア)を検出、抽出する顔エリア検出部２０７、顔エリア検出部２０７にて検出された顔エリアに基づいて使用するスクリーン（表示すべき表示画像エリア）を判別しスクリーン情報を生成するスクリーン判別部２０８、クリーン判別部２０８の判定に基づいて受信画像から該当するエリアを切り出す切り出し部２０９、撮像画像から手のエリア（第２特定エリア）を検出、抽出する手検出部２１０、顔検出部２０７および手検出部２１０の検出結果に基づいて挙動判定を行い注目度情報を生成する挙動判定部２１１、挙動情報を蓄積する挙動情報蓄積部２１２、操作部２０３の入力情報に基づいて端末を制御する端末制御部２１３、端末制御部２１３の指示に基づいて指示情報や天地情報、スクリーン情報、注目度情報、音量情報等を含む制御情報を生成する制御情報生成部２１４、画像・映像を記憶する記憶部２１５、符号化された音声データおよび画像データ、制御情報、端末制御部２１３の指示に基づいて記憶部２１５から読み出された画像・映像データを送信パケットとして生成する送信パケット生成部２１６、およびネットワークと無線通信可能で生成された送信パケットをネットワークを介して通信相手の端末やサーバに送信するネットワークインタフェース（Ｉ／Ｆ）２１７を有する。

挙動判定部２１１は、顔検出部２０７にて、映像上に顔を抽出した場合に、映像上の手の動きを検知し、先に設定された動きを検出した場合、注目度を上げる。
挙動情報蓄積部２１２には、顔の位置に対する手の位置の移動軌跡を表すベクトル群が蓄積されている。
そして、挙動判定部２１１は、顔検出部２０７にて抽出された顔の座標と、手検出部２１０にて抽出された手の座標に基づき、顔の位置に対する手の相対座標として認識し、時間経過に対して、手の相対座標の移動ベクトルを算出し、当該移動ベクトルが、挙動情報蓄積部２１２に蓄積されているベクトルとの一致度（相関）を算出し、一致度が閾値より大きい場合、蓄積された挙動を行っていると判定する。

デコード装置３００は、通信相手（送信元）のエンコード装置２０から送信されネットワークを介して受信した音声データ、画像データを再生する機能を有する。
デコード装置３００は、たとえば多地点通信を行っている場合に、受信画像の制御情報に基づいて特定エリアである顔を含む画像を、使用するスクリーン（サイズが制御された表示エリア）を選択して表示し、音声を発する機能を有する。
デコード装置３００は、このスクリーンの表示に際し、デッドゾーンをなくした円形（楕円形を含む概念である）ウィンドゥにて分割する機能を有する。
円形(楕円形)ウィンドウに分割するように構成したのは、以下の理由による。
一般的に、画面の分割は、長方形で行っていた。人間の顔は基本的に楕円形であり、長方形の四隅はデットゾーンとなる。このデッドゾーンが、顔を表示するエリアを結果的に狭く（小さく）している。
よって、本実施形態においては、このデッドゾーンをなくした円形（楕円形）ウィンドゥにて分割するように構成している。
また、デコード装置３００は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成する機能を有する。
具体的な処理については、後で図面に関連付けて詳述する。

図１２のデコード装置３００は、ネットワークと無線通信可能で送信元から送信された音声データ、画像(映像)データ、制御情報や指示情報、スクリーン情報、注目度情報、音量情報等を含むパケットを受信するネットワークインタフェース（Ｉ／Ｆ）３０１、キー入力等が可能な操作部３０２、ネットワークインタフェース３０１で受信されたパケットを解析し、音声データ、画像データ、送信元アドレス、制御情報(天地情報や指示情報等)を抽出する受信パケット解析部３０３、受信パケット解析部３０３により抽出された音声データを復号する音声復号処理部３０４、受信パケット解析部３０３により抽出された映像データを復号する映像復号処理部３０５、映像復号処理部３０５により復号された映像データ、送信元アドレス、制御情報、スクリーン情報、サイズ情報、天地情報に基づいて表示すべきスクリーン(表示ウィンドウ)のサイズや表示形態を制御する表示画像制御部３０６、音声復号処理部３０４により復号された音声の音量を修正する音量修正部３０７、音量修正部３０７で修正された音量で発音するスピーカ等の音声出力部３０８、表示画像制御部３０６によりサイズや表示形態が制御された画像を補正する画像補正部３０９、画像補正部３０９を介した画像を表示するＬＣＤ等の表示部（画像出力部）３１０、および操作部３０２からの入力情報に基づいて表示画像制御部３０６に制御情報(天地情報)を与える自端末制御部３１１を有する。

なお、エンコード装置２０とデコード装置３０は、操作部２０３と３０２、ネットワークインタフェース２１７と３０１、端末制御部２１３と自端末制御部３１１は共用することが可能である。

以下に、本実施形態の特徴部分である表示画像制御部３０６のより具体的な構成および機能、並びにスクリーンの具体的な構成や表示形態例について順を追って説明する。

図３の表示画像制御部３０６は、受信パケット解析部３０３により供給される制御情報に基づいてスクリーン情報、サイズ情報、天地情報、および指示情報を抽出する制御情報解析部３０６１、スクリーン情報に基づいて映像復号処理部３０５で復号された映像に対してマスキングを行うマスキング処理部３０６２、注目度情報に基づいて表示すべきスクリーン(表示画像エリア)の表示倍率用係数を算出する表示倍率用係数合成部３０６３、表示倍率用係数合成部３０６３で算出された表示倍率用係数に従ってマスキング処理後の画像を縮小・拡大する縮小・拡大処理部３０６４、表示倍率用係数合成部３０６３で算出された表示倍率用係数および天地情報に従って表示位置を算出する表示位置算出部３０６５、および表示位置算出部３０６５にて得られた表示部３１０上の位置に縮小・拡大処理部３０６４にて得られた画像をマッピングするマッピング処理部３０６６を有する。

本実施形態の表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンは、１つの画面上に複数のスクリーンを表示するマルチスクリーンとして表示される。

本実施形態の表示倍率算出部３０６３において、スクリーンは、スクリーンの表示位置を示す中心位置座標(P(i))、スクリーンの形状を示す基準形状(Unit(i))、スクリーンに対応付けられた音声の大きい(V(i))、スクリーンを画面上に表示する際の表示倍率(R(i))とを有し、表示倍率(R(i))は、周囲のスクリーンの中心位置座標(P(j))と結ぶ線分(L(i,j))と、その線分上の基準形状の厚さ(Lm(i,j),Lm(j,i))、および、音声の大きさ(V(i),V(j))に基づいて算出しされた仮表示倍率(R(i,j))の内、最も小さい値をする。
表示倍率算出部３０６３において、スクリーン中心から画面境界に垂直に接した点に、音声の大きさ(V(k)=0)、厚さ(Lm(k,i)=0)を設定し、表示倍率(R(i,k))を算出する。
また、スクリーンは、表示倍率(R(i))を最も大きくする位置に移動する。
また、スクリーンは、表示倍率(R(k))の最も大きい位置に、新規スクリーンの中心を生成する。
また、基準形状は、面積を等しくする。
さらにまた、基準形状にて形成したスクリーン間に分離線を引き、前記分離線にて分離されたエリアを新たなスクリーンとする。

次に、本実施形態に係る表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンの表示倍率の算出、新規スクリーンの生成位置の算出、スクリーンの移動位置の算出等についてより具体的に説明する。

図１３に示すように、各スクリーン４０は、基準形状（Unit）を有する。表示部３１０の画面上へのスクリーン４０は、基準形状（Unit）を表示倍率（R)に従って、拡大・縮小して表示する。

表示倍率（R)の算出：
表示倍率算出部３０６３は、スクリーンiとスクリーンjとの中心間の距離（L(i,j))、各スクリーンの中心から前記方向への基準形状（Unit）における厚さ（Lm(i,j)、Lm(j,i))を算出し、および、各スクリーンに表示する内容における受信した音声の大きさ（V(i),V(j))に基づいて、スクリーンiにおけるスクリーンjからの算出される表示倍率（R(i,j))を以下の通りに算出する。

周囲に存在するスクリーン間の表示倍率を算出し、次式のように、その表示倍率の内、最も小さい値を実際の表示倍率（R(i))とする。

新規のスクリーンの生成位置の算出：
表示倍率算出部３０６３は、画面上に仮の中心を配し、各中心において、表示倍率（Rmin)を算出する。各表示倍率（R)の内、最も大きい値を取る位置を新規のスクリーンの生成の中心位置とする。

この条件を満たす中心(P(k))を新規スクリーンの中心位置とする。

スクリーンの移動位置の算出：
各スクリーンは、現在(t)の位置から一定距離内(集合I)の各位置において、表示倍率（R)を算出し、表示倍率の内、最も大きな値を取る位置を次時刻（t+Δt)における中心位置とする。

この条件を満たす中心（P(t+Δt))に移動する。

スクリーン位置は、時間経過に伴い、画面上を移動していく。このため、新規のスクリーンの生成においては、画面上の空き位置全てに対して演算を行う必要はない。つまり、画面上の何点かに対して、新規生成位置の判定を行い、その結果により位置を配置したとしても、時間経過とともに、表示倍率がもっとも大きい位置に移動していく。これにより、生成における演算負荷を低減することが可能となる。

随時、スクリーンの位置関係は変動していくため、表示倍率（R(*))算出における基準形状の厚さ（Lm(*))は、その時の方向に対して算出する必要がある。
この厚さ算出に関しては、（複雑な形状に対して）中心から対象方向へデジタル直線を引くことにより、算出することが可能となる。ただし、これは演算負荷の増加となる。これに対しては、各基準形状に対して、各角度に対する厚さを前もって算出したテーブルを参照することにより、表示倍率演算時の演算負荷を低減することが可能となる。

画面の四方の壁処理：
各スクリーン４０は、四方の壁との間に以下の演算規則に従って、表示倍率（R)を算出する。
図１４に示すように、スクリーンの中心から壁に垂直に落とした点を算出上の壁の中心とし、中心間の線分（L(i,k))、基準形状（Unit）における厚さ(Lm(i,k),Lm(k,i))と、およびスクリーンの受信した音声の大きさ（V(i),V(k))を算出する。この時、壁における、音声の大きさは(V(k)=0)、基準形状の厚さ(Lm(k,i)=0)として、前述の表示倍率(R)の算出と同様に算出を行う。
各々のスクリーン４０において、表示倍率（R(i))を算出する場合、周囲のスクリーンとの表示倍率(R(i,j)と同様に、壁との表示倍率(R(i,k))を算出し、この内、最も小さい値を実際に表示する際の表示倍率（R(i))とする。

次に、表示形態例について説明する。

図１５に示すように、顔エリアの面積が一定値以上の場合、受信画像を「人物画像」と判別する。顔エリアの面積が一定値以下の場合、受信画像を「非人物画像」と判別する。
「人物画像」と判別した場合、円形スクリーンとする。「非人物画像」と判別した場合、四角形スクリーンとする。「非人物画像」であっても、同送信元からの音圧に応じて、表示サイズを変動させる。

図１６に示すように、顔として判定されたエリアが複数ある場合であって、個数が一定値以下の場合、面積の大きいほうを優先し、個数が一定値以上の場合、非人物と同様、四角形スクリーンで表示する。

図１７に示すように、切り出しエリアが、受信画像から、顔が出て行った場合(はみ出し場合)、動きベクトルから切り出し可能なエリアを推定し、円形スクリーン(ウィンドウ)を見えている部分だけにする。
推定された顔エリアのサイズに対する画面上に残っている顔画像の比が一定値以下になった場合、その顔を対象外とする。

以上説明したように、本実施形態によれば、デコード装置１０は、画像を表示する表示部１１４と、受信画像の注目度を推定する注目度推定部１１０と、推定した注目度と、受信音量に基づいて表示エリアの表示倍率用係数を算出する表倍率用係数合成部１１１と、算出した表示倍率用係数に基づいて表示エリアの表示倍率を算出する表示倍率算出部１１２と、を有するとともに、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成する機能を有することから、スクリーンのサイズが、音量の大きさ、およびスクリーン数に応じて、適応的にサイズを変動させることができる。
また、スクリーンの動きが連続的になり、異なる形状であっても、最適なサイズに配置することが可能となる利点がある。
また、送信者が見せたい画像を撮像した際に、送信者が何ら新たな操作を追加することなく、（また、送信者が声を発すことなく、）受信側では即座にその画像（スクリーンサイズ）を大きく見せることが可能となる。
その結果、複数端末の接続時であっても、通話中の相手を確認しやすく、また、画像(スクリーン)は重ならないように制御されることから、会話している全員の状態が一目で確認することができる。また、新たな参加人にも容易に対応することができる。

一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である。本発明の実施形態に係る携帯通信端末の構成例を示す図であって、受信側のデコード装置を示すブロック図である。第１の実施形態の主要動作を示すフローチャートである。端末Ａと端末Ｂからの撮像画像を端末Ｃの画面にて表示している場合を示す図である。端末Ａと端末Ｂからの撮像画像を端末Ｃの画面にて表示している他の例を示す図である。シーンチェンジによる注目度（Ｖ_att）の変化と、受信音量（Ｖ_rec）の変化、および表示倍率用係数（Ｖ_syn）の変動を示した図である。シーンチェンジによる注目度（Ｖ_att）の変化と、受信音量（Ｖ_rec）の変化、および表示倍率用係数（Ｖ_syn）の変動を示した図である。、映像から顔が認識されている場合であって、映像内に手が入ってきた場合に、注目度を増大させる場合を示す図である。受信音量が高い場合の、シーンチェンジによる注目度（Ｖ_att）の変化と、受信音量（Ｖ_rec）の変化、および表示倍率用係数（Ｖ_syn）の変動を示した図である。受信音量が低い場合の、シーンチェンジによる注目度（Ｖ_att）の変化と、受信音量（Ｖ_rec）の変化、および表示倍率用係数（Ｖ_syn）の変動を示した図である。本発明の第２の実施形態に係る携帯通信端末の構成例を示す図であって、エンコード装置を示すブロック図である。本発明の第２の実施形態に係る携帯通信端末の構成例を示す図であって、デコード装置を示すブロック図である。表示倍率の算出処理を説明するための図である。画面四方の壁処理を説明するための図である。スクリーン表示制御について説明するための図であって、顔エリアの面積に応じた処理の説明図である。スクリーン表示制御について説明するための図であって、顔判定されたエリアが複数ある場合の対応処理の説明図である。スクリーン表示制御について説明するための図であって、切り出しエリアが受信画像からはみ出した場合の対応処理の説明図である。

符号の説明

１０・・・デコード装置、１０１・・・ネットワークインタフェース（Ｉ／Ｆ）、１０２・・・受信パケット解析部、１０３・・・音声復号処理部、１０４・・・映像復号処理部、１０５・・・映像蓄積部、１０６・・・シーンチェンジ判定部、１０７・・・パーン判定部、１０８・・・転判定部、１０９・・・合焦判定部、１１０・・・注目度推定部、１１１・・・表示倍率用係数合成部、１１２・・・表示倍率算出部、１１３・・・マルチスクリーン合成部、１１４・・・表示部（画像出力部）、１１５・・・音声出力部、２００・・・エンコード装置、２０１・・・音声入力部、２０２・・・画像入力部、２０３・・・操作部、２０４・・・音声符号化処理部、２０５・・・画像符号化処理部、２０６・・・天地補正部、２０７・・・顔検出部、２０８・・・スクリーン判定部、２０９・・・切り出し処理部、２１０・・・手検出部、２１１・・・挙動判定部、２１２・・・挙動情報蓄積部、２１３・・・端末制御部、２１４・・・制御情報生成部、２１５・・・記憶部、２１６・・・送信パケット生成部、２１７・・・ネットワークインタフェース（Ｉ／Ｆ）、３００・・・デコード装置、３０１・・・ネットワークインタフェース（Ｉ／Ｆ）、３０２・・・操作部、３０３・・・受信パケット解析部、３０４・・・音声復号処理部、３０５・・・映像復号処理部、３０６・・・表示画像制御部、３０７・・・音量修正部、３０８・・音声出力部、３０９・・・画像補正部、３１０・・・表示部（画像出力部）、３１１・・・自端末制御部、３０６１・・・制御情報解析部、３０６２・・・マスキング処理部、３０６３・・・表示倍率用係数合成部、３０６４・・・縮小・拡大処理部、３０６５・・・表示位置算出部、３０６６・・・マッピング処理部。

Claims

送信側端末から送信された受信撮像画像データおよび音声データを再生する通信端末であって、
画像を表示する表示手段と、
前記表示手段に特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成可能で、受信音量に基づいて表示すべき画像のサイズを制御する制御手段と、を有し、
前記制御手段は、
受信画像の注目度を推定する注目度推定手段と、
推定した注目度と、受信音量に基づいて表示エリアの表示倍率用係数を算出する表倍率用係数合成手段と、
算出した前記表示倍率用係数に基づいて表示エリアの表示倍率を算出する表示倍率算出手段と、を含む
通信端末。
前記注目度推定手段は、受信画像の動きベクトル、符号化の増大、および周波数成分に基づいて、受信画像の注目度を推定する
請求項１記載の通信端末。
前記制御手段は、受信画像の動きベクトル、符号化の変動に基づいて、送信側の撮像操作を推定する判定手段を有し、
前記判定手段にて、操作があったと判定した場合、前記注目度推定手段は、前記判定された操作後に受信する画像は、注目度が高いと推定する
請求項１または２記載の通信端末。
前記表示倍率用係数合成手段は、注目度と、受信音量とから、大きい方を選択する
請求項１から３のいずれか一に記載の通信端末。
送信側となる端末、受信側となる端末の一方に、
第１特定エリアを抽出する第１抽出手段と、
第２特定エリアを抽出する第２抽出手段と、
先に設定された第２特定エリアの動きがされているかを判定する挙動判定手段と、を有し、
前記第１抽出手段にて、映像上に第１特定エリアを抽出した場合に、映像上の第２特定エリアの動きを検知し、前記挙動判定手段にて、先に設定された動きを検出した場合、注目度を上げる
請求項１から４のいずれか一に記載の通信端末。
前記挙動情報蓄積手段には、前記第１特定エリアの位置に対する前記第２特定エリアの位置の移動軌跡を表すベクトル群が蓄積されている
請求項５記載の通信端末。
前記挙動判定手段は、前記第１抽出手段にて抽出された第１特定エリアの座標と、前記第２抽出手段にて抽出された第２特定エリアの座標に基づき、第１特定エリアの位置に対する第２特定エリアの相対座標として認識し、時間経過に対して、手の相対座標の移動ベクトルを算出し、当該移動ベクトルが、挙動情報蓄積手段に蓄積されているベクトルとの一致度（相関）を算出し、一致度が閾値より大きい場合、蓄積された挙動を行っていると判定する
請求項６記載の通信端末。
送信側端末から送信された受信撮像画像データおよび音声データを再生する通信端末の表示方法であって、
受信画像の注目度を推定し、
推定した注目度と、受信音量に基づいて表示エリアの表示倍率用係数を算出し、
算出した前記表示倍率用係数に基づいて表示エリアの表示倍率を算出し、
表示倍率に従って表示すべき画像を含む表示エリアを表示する
通信端末の表示方法。