JP2007150921A - 通信端末および通信システム、並びに通信端末の表示方法 - Google Patents

Abstract

【課題】状況に応じて適応的に、最適に表示画像エリアのサイズ、位置を更新することができ、しかも表示画像エリアの再配置が連続的になり、受信側では即座にその画像を大きく見せることが可能となり、送信側、受信側にて同タイミングで再生することが可能な通信端末および通信システム、並びに通信端末の表示方法を提供する。
【解決手段】通信端末１０は、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成し、通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する機能を有する。
【選択図】図１５

Description

本発明は、携帯電話機等の通信端末およびその表示方法に係り、特に、多地点通信可能な通信端末および通信システム、並びに通信端末の表示方法に関するものである。

多地点通信としての代表としては、テレビ会議システムがある。テレビ会議システムでは、ＭＣＵ（Multi-point Control Unit）を介して複数の端末が接続する。ＭＣＵは、多数の端末から送られてきた画像データを１つの画面上に分割合成し、音声データとともに、各々の端末に送信することにより、多地点をつないだテレビ会議を実現する。

基本的に、各拠点の画像を１つの画像に分割合成する場合、
（１）１つの画像を等分割する場合（たとえば４分割、９分割）と、
（２）１つ大きな画像領域を取り、残りの領域を等分割に分割して合成する場合と、
がある（たとえば６分割）。

（１）の場合、ＭＣＵで結んでいる拠点からの画像が同じ面積を使って合成される。
（２）の場合、話している拠点を大きな面積を割り当て、残りの拠点からの画像を残りの等分割された領域に割り当てて、合成する。

いずれの場合でも、テレビ会議システムでは、大画面のモニタを用いて行うために、複数の拠点の画像を１つの画像に分割合成しても、個々の拠点を映す画像のサイズは充分な大きさを有し、一人で映っている分には、その人の顔が認識困難になるということはない。テレビ会議システムとしては、たとえば特許文献１，２等に開示されている。

図１（Ａ）〜（Ｅ）は、一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である。
図１の例においては、画面１を先に決められた枠（四角形）のウィンドゥに分割する。
たとえば、画面１は１つの大きなウィンドゥ（四角形）２と複数の小さなウィンドゥ（四角形）３−１〜３−５から形成され、話し手を大きなウィンドゥ２に表示する。
この場合、ウィンドゥのサイズ、および分割数は固定的であり、撮像された画像をそのまま表示しているため、撮影の状態に応じて、顔の大きさが変動する。

一般的なＰＣのウィンドゥ制御の場合、マウスでウィンドゥをドラッグすることにより、ウィンドゥのサイズの変更、ウィンドゥの選択を自由に行うことが可能である。

ところで、携帯電話機等の携帯通信端末は、音声通話だけでなく、メール、Webアクセス、ゲーム、カメラ、テレビ電話、メディアプレィア、ラジオ、テレビなど年々高機能化されている。
現行、携帯通信端末でのテレビ電話は、発呼時に、テレビ電話で接続することを選択するものである。

しかしながら、パケット通信への対応が進むことにより、音声通話自体がパケット通信に対応したVoIPが使用され、通話中にカメラを起動し、音声および映像での通話に切り替えたり、また逆に、カメラを停止し、音声通話のみにしたりといった使い方が主要となる。さらに、通話中の相手に、自端末に保存している文書（ex. メール）、住所データ、画像（静止画像、動画像）、音声などを送って、（通話相手にて自動的に再生され、）同時に観たり、Webサイトを同時に観たりすることが可能となる。

このように、高機能化により携帯通信端末がIP化された場合、同時に複数の相手（サーバを含む）と通信を行うことが可能となる。
この場合、一つの端末で複数のスクリーンを取り扱う必要がある。複数のスクリーンを取り扱う方法としては、（ＰＤＡなどで）ページめくり的に取り扱う方法がある。
特開平０６−１４１３１０号公報 特開平０６−１４１３１１号公報

ところで、たとえば携帯IP-TV電話では、画面のサイズが小さいため、複数人で、画像ありの通話を行った場合、一人ひとりの顔の大きさが小さくなる。
PCのウィンドゥのように、ユーザがウィンドゥを動かしたら、サイズを変えたりできるようにするには、画面サイズ、および操作キーに制限があり、困難である。
また、複数人が同程度で話した場合、スクリーンが対応できない。

さらに、音量に応じて、スクリーンサイズを設定した場合、無駄な空間を増加させたり、画面内に全スクリーンを表示しきれなくなったりする問題を有している。
具体的には、全スクリーンの音量が小さい場合、小さいスクリーンが画面上を浮遊することになる。一方、全スクリーンが音量最大の場合、表示スクリーンの合計面積が画面面積を超えるという問題を有する。
これに対して、局所的に合計面積を画面面積に規格化することによって、画面内に収まらせることは可能であるが、次時刻におけるスクリーン位置の再配置（移動）が不連続的になる。

また、送信側である撮影者がカメラをパーンなどして被写体を変える場合、その被写体を受信側である相手に見せたいがためである。その際に、必ずしも撮影者は話しているとは限らない。このため、パーンした後に、何かしら話さないといけないことになる。例えば、何を購入してくれば良いか選択してもらうために、画像を送っている場合、絶えず撮影者が話しをしつづけることはできない。
しかし、受信した画像自体はその間絶えず視認できる大きさのスクリーンである必要がある。

さらに、通話中に送ったファイルは、その会話中、注目するべきファイルであり、表示、再生した内容は、視認できる大きさのスクリーンである必要がある。
従来の接続において、２者通話から３者通話へ移行する場合、双方に接続する端末が、双方と接続するメディアを変更し、メディアミキシングとして動作する。スクリーン制御は、メディアミキシングを行う端末が行うことになる。
つまり、スクリーンを表示する端末では、制御できない。この場合に、ファイル（画像、音声）の同期再生、webアクセスを一緒に行うとした場合、それに合わせたメディア変更を、その度に行う必要がある。

本発明の目的は、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、受信側では即座にその画像を大きく見せることが可能となり、送信側、受信側にて同タイミングで再生することが可能な通信端末および通信システム、並びに通信端末の表示方法を提供することにある。

本発明の第１の観点は、画像データおよび音声データを送受信可能で、受信した画像データおよび音声データを再生可能な通信端末であって、画像を表示する表示手段と、前記表示手段に特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成可能で、受信音量に基づいて表示すべき画像のサイズを制御する制御手段と、を有し、前記制御手段は、通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する。

好適には、前記制御手段は、他の表示エリアは最小にする。

本発明の第２の観点は、画像データおよび音声データを送受信可能で、受信した画像データおよび音声データを再生可能な複数の通信端末間で通信を行う通信システムであって、前記通信端末は、画像を表示する表示手段と、前記表示手段に特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成可能で、受信音量に基づいて表示すべき画像のサイズを制御する制御手段と、を有し、前記制御手段は、通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する。

好適には、ファイル表示、再生に関して、送信側にて、同期再生を要求した場合、同ファイルを転送するとともに、再生開始時間の情報を送出し、送信側、受信側では、前記再生開始時間に従って、前記ファイルを再生する。

好適には、通話機能と、撮像機能と、を有し、通話時に、撮像機能の操作に基づいて、撮像画像のストリーミング送信の有無を表示し、許可された場合、現在通話している通話先に、ストリーミングの再生要求を送出し、受信側が再生を許可した場合に、当該再生許可に基づいて、ストリーミング配信を開始し、受信側の前記制御手段は、新たなスクリーンを生成し、受信ストリーミングを再生する。

好適には、通話機能と、撮像機能と、を有し、通話時に、撮像機能にて静止画像を撮影した場合、静止画像の送信有無を表示し、許可された場合、現在通話している通話先に、画像の再生要求を送出し、受信側が再生を許可した場合に、当該再生許可に基づいて、画像を送出し、受信側の前記制御手段は新たな表示エリアを生成し、受信画像を再生する。

好適には、送信側にて、再生表示エリアを閉じた場合、その旨を受信側に送出し、前記閉じた表示エリアに対応する情報を再生している表示エリアを閉じ、対応する情報を削除する。

好適には、端末数Ｎ（Ｎ≧１）と同時通話している第１のグループと、端末数Ｍ（Ｍ≧１）と同時通話している第２のグループと、を有し、双方と通話接続している端末において、双方のグループを１つのグループとする場合、一方のグループに、発呼元情報と、認証キー、暗号キーから構成される着呼要求と送出し、他方のグループに、送信先情報と、認証キー、暗号キーから構成される発呼要求を送出し、発呼要求を受信した端末は、前記発呼要求に記載の情報に基づいて、発呼し、着呼要求を受信した端末は、着呼が、前記着呼要求に記載の情報と一致するかを判定し、一致する場合、接続を行う。

好適には、前記制御手段は、画面上において、同じ同時通話のグループに所属する表示エリアは、表示エリア外枠の色、太さを同色にする。

好適には、前記制御手段は、着信があった場合、着信相手の番号に対応する画像をメモリから読み出し、新たに表示エリア上に生成し、前記表示エリアは、外枠の色を着信用に振り分けた色にし、外枠を大小振幅し、また色が濃淡変動または点滅させる。

好適には、前記制御手段は、自端末で撮像した画像を表示する表示エリアのサイズは、自端末の音声入力手段にて入力された音声に依存せず、一定の大きさとし、他の表示エリアの挙動演算に対しては、前記表示エリアの外枠は、画面の外枠における壁と同等の扱いとする。

好適には、前記制御手段は、自端末にて取得した音声を送出している表示エリアの外枠の色と、音声を送出していない表示エリアの外枠の色とが異なるように制御する。

好適には、前記制御手段は、前時刻の受信側の表示エリアサイズに基づいて、送信画像の符号化率を制御する。

好適には、同一画像を受信再生する受信側の表示エリアサイズに応じて、画面に対しての占有率が最も大きいサイズに合わせて符号化して、Ｉピクチャ、Ｐピクチャ、およびＢピクチャの全てを送出し、送出したサイズより小さいサイズに対しては、符号化データから、Ｂピクチャを除いたＩピクチャ、Ｐピクチャを送出し、さらに小さいサイズに対しては、符号化データから、Ｐピクチャ、Ｂピクチャを除いたＩピクチャのみを送出し、さらに小さいサイズに対しては、符号化データから、Ｐピクチャ、Ｂピクチャを除き、Ｉピクチャを間引いたデータを送出する。

好適には、前記制御手段は、表示エリアサイズが、アップサンプリングにて、視覚的に不快感を与えるノイズを生成しない範囲の場合、同一のサイズとして取り扱う。

好適には、前記制御手段は、表示エリアサイズの変動に伴う、符号化サイズの変動は、Ｉピクチャ単位で取り扱う。

好適には、表示エリアサイズの変動に伴い、符号化サイズの変動は、予測画像を現在のサイズにサンプリングし、フレーム間予測を行い、受信側では、同様に予測画像をサンプリングし、復号する。

本発明の第３の観点は、画像データおよび音声データを送受信可能で、受信した画像データおよび音声データを再生可能な通信端末の表示方法であって、表示手段に特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成するステップと、受信音量に基づいて表示すべき画像のサイズを制御するステップと、を有し、通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する。

本発明によれば、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能となる。
また、送信者が見せたい画像ファイルを送信した際に、送信者が何ら新たな操作を追加することなく、（また、送信者が声を発すことなく、）受信側では即座にその画像（スクリーンサイズ）を大きく見せることが可能となる。
また、ファイルと一緒に再生開始時刻の情報を送出することにより、送信側、受信側にて同タイミングで再生することが可能となる。
２者から３者の場合、双方に接続する端末から双方に認証キーを発行し、これに基づいて即座に接続することが可能となる。

以下、本発明の実施形態を図面に関連付けて説明する。

図２および図３は、本発明の実施形態に係る携帯通信端末の構成例を示す図であって、図２はエンコード装置を示すブロック図であり、図３はデコード装置を示すブロック図である。

本携帯通信端末１０は、送信元となるエンコード装置２０と、受信側とあるデコード装置３０とを有し、多地点通信可能に構成される。

エンコード装置２０は、符号化した音声データ、画像データを、受信側端末に対する指示情報や画像の天地情報等を付加してパケットとしてネットワークに送信する機能を有する。
音声データおよび画像データに付加される送信元の指示情報は、指示された画像の送信元の識別する情報(たとえ、ＩＰアドレス、MACアドレス）と、受信した画像上の位置を示す位置情報とを含む。
送信元となるエンコード装置２０は、送信元は、画面上、指示した位置にスクリーン(スクリーンについては後で詳述する)が存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有する。

図３のエンコード装置２０は、マイクロフォン等からなる音声入力部２０１、デジタルカメラ等の画像入力部２０２、キー入力等が可能な操作部２０３、音声入力部２０１により入力される音声データを符号化する音声符号化処理部２０４、画像入力部２０２から入力され所定エリアに切り出された画像データを符号化する画像符号化処理部２０５、撮像画像に関連付けた天地情報に基づいて、撮像画像の天地を受信側の表示部の画面（端末画面）の天地と一致するように補正する天地補正部２０６、撮像画像から顔のエリアを検出、抽出する顔エリア検出部２０７、顔エリア検出部２０７にて検出された顔エリアに基づいて使用するスクリーン（表示すべき表示画像エリア）を判別しスクリーン情報を生成するスクリーン判別部２０８、スクリーン判別部２０８の判定に基づいて受信画像から該当するエリアを切り出す切り出し部２０９、音声入力部２０１による入力音量を計測し音量情報を生成する入力音量計測部２１０、操作部２０３の入力情報に基づいて端末を制御する端末制御部２１１、端末制御部２１１の指示に基づいて指示情報や天地情報、スクリーン情報、音量情報等を含む制御情報を生成する制御情報生成部２１２、画像・映像を記憶する記憶部２１３、符号化された音声データおよび画像データ、制御情報、端末制御部２１１の指示に基づいて記憶部２１３から読み出された画像・映像データを送信パケットとして生成する送信パケット生成部２１４、およびネットワークと無線通信可能で生成された送信パケットをネットワークを介して通信相手の端末やサーバに送信するネットワークインタフェース（Ｉ／Ｆ）２１５を有する。

デコード装置３０は、通信相手（送信元）のエンコード装置２０から送信されネットワークを介して受信した音声データ、画像データを再生する機能を有する。
デコード装置３０は、たとえば多地点通信を行っている場合に、受信画像の制御情報に基づいて特定エリアである顔を含む画像を、使用するスクリーン（サイズが制御された表示エリア）を選択して表示し、音声を発する機能を有する。
デコード装置３０は、このスクリーンの表示に際し、デッドゾーンをなくした円形（楕円形を含む概念である）ウィンドゥにて分割する機能を有する。
円形(楕円形)ウィンドウに分割するように構成したのは、以下の理由による。
一般的に、画面の分割は、長方形で行っていた。人間の顔は基本的に楕円形であり、長方形の四隅はデットゾーンとなる。このデッドゾーンが、顔を表示するエリアを結果的に狭く（小さく）している。
よって、本実施形態においては、このデッドゾーンをなくした円形（楕円形）ウィンドゥにて分割するように構成している。
また、デコード装置３０は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成する機能を有する。
本実施形態の通信端末は、通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する機能を有する。
具体的な処理については、後で図面に関連付けて詳述する。

図３のデコード装置３０は、ネットワークと無線通信可能で送信元から送信された音声データ、画像(映像)データ、制御情報や指示情報、スクリーン情報、音量情報等を含むパケットを受信するネットワークインタフェース（Ｉ／Ｆ）３０１、キー入力等が可能な操作部３０２、ネットワークインタフェース３０１で受信されたパケットを解析し、音声データ、画像データ、送信元アドレス、制御情報(天地情報や指示情報等)を抽出する受信パケット解析部３０３、受信パケット解析部３０３により抽出された音声データを復号する音声復号処理部３０４、受信パケット解析部３０３により抽出された映像データを復号する映像復号処理部３０５、映像復号処理部３０５により復号された映像データ、送信元アドレス、制御情報、スクリーン情報、サイズ情報、天地情報に基づいて表示すべきスクリーン(表示ウィンドウ)のサイズや表示形態を制御する表示画像制御部３０６、音声復号処理部３０４により復号された音声の音量を修正する音量修正部３０７、音量修正部３０７で修正された音量で発音するスピーカ等の音声出力部３０８、表示画像制御部３０６によりサイズや表示形態が制御された画像を補正する画像補正部３０９、画像補正部３０９を介した画像を表示するＬＣＤ等の表示部（画像出力部）３１０、および操作部３０２からの入力情報に基づいて表示画像制御部３０６に制御情報(天地情報)を与える自端末制御部３１１を有する。

なお、エンコード装置２０とデコード装置３０は、操作部２０３と３０２、ネットワークインタフェース２１５と３０１、端末制御部２１１と自端末制御部３１１は共用することが可能である。

以下に、本実施形態の特徴部分である表示画像制御部３０６のより具体的な構成および機能、並びにスクリーンの具体的な構成や表示形態例について順を追って説明する。

図３の表示画像制御部３０６は、受信パケット解析部３０３により供給される制御情報に基づいてスクリーン情報、サイズ情報、天地情報、および指示情報を抽出する制御情報解析部３０６１、スクリーン情報に基づいて映像復号処理部３０５で復号された映像に対してマスキングを行うマスキング処理部３０６２、サイズ情報、スクリーン情報に基づいて表示すべきスクリーン(表示画像エリア)の表示倍率を算出す表示倍率算出判定部３０６３、表示倍率算出判定部３０６３で算出された表示倍率に従ってマスキング処理後の画像を縮小・拡大する縮小・拡大処理部３０６４、表示倍率算出判定部３０６３で算出された表示倍率および天地情報に従って表示位置を算出する表示位置算出部３０６５、および表示位置算出部３０６５にて得られた表示部３１０上の位置に縮小・拡大処理部３０６４にて得られた画像をマッピングするマッピング処理部３０６６を有する。

本実施形態の表示画像制御部３０６は、１つ以上のスクリーンが局所領域にて継続的に動き続ける状態にあるか否かを判定する振動状態判定機能を有する。
この振動状態判定機能は、一定期間（ｎ）において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動があり、変動が閾値(Pthresh0)以下であり、スクリーンの表示倍率の変動が閾値（Rthresh0）以下である場合、振動状態にあると判定し、振動状態中、前記期間中の表示倍率の二乗総和値（R)が最も大きい状態の配置に固定する。

また、本実施形態の表示画像制御部３０６は、スクリーンの安定状態にあるか否かを判定する安定状態判定機能を有する。
この安定状態判定機能は、一定期間（ｍ）において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動が閾値（Pthresh1）以下であり、スクリーンの表示倍率の変動が閾値（Rthresh1）以下である場合、安定状態にあると判定する。
また、安定状態判定機能は、一定期間において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動が閾値（Pthresh1）以下であり、スクリーンの表示倍率の二乗総和比が閾値（Rthresh2）以下である場合、局所安定状態にあると判定する。

また、本実施形態の表示画像制御部３０６は、スクリーンの安定状態判定機能にて、安定と判断された場合に、スクリーンの位置配置の再配置を促す攪拌処理機能を有する。
この攪拌処置機能は、画面上に仮の中心を配し、各中心における表示倍率の内、先に選択しておらず、最も小さい値を取得する位置を攪拌用のスクリーンの中心とし、一定期間、攪拌用のスクリーンを生成、更新し、消滅することによって、攪拌を行う。
攪拌処理の実行回数(S)が閾値（Sthresh）を越える場合、安定状態にあると判断し、攪拌処理を停止する。

本実施形態の表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンは、１つの画面上に複数のスクリーンを表示するマルチスクリーンとして表示される。
以下に、本実施形態の表示画像制御部３０６の表示倍率算出判定部３０６３、表示位置算出部３０６５の処理を中心にしてマルチスクリーンの表示制御について説明する。

本実施形態の表示倍率算出判定部３０６３において、スクリーンは、スクリーンの表示位置を示す中心位置座標(P(i))、スクリーンの形状を示す基準形状(Unit(i))、スクリーンに対応付けられた音声の大きい(V(i))、スクリーンを画面上に表示する際の表示倍率(R(i))とを有し、表示倍率(R(i))は、周囲のスクリーンの中心位置座標(P(j))と結ぶ線分(L(i,j))と、その線分上の基準形状の厚さ(Lm(i,j),Lm(j,i))、および、音声の大きさ(V(i),V(j))に基づいて算出しされた仮表示倍率(R(i,j))の内、最も小さい値をする。
表示倍率算出判定部３０６３において、スクリーン中心から画面境界に垂直に接した点に、音声の大きさ(V(k)=0)、厚さ(Lm(k,i)=0)を設定し、表示倍率(R(i,k))を算出する。
また、スクリーンは、表示倍率(R(i))を最も大きくする位置に移動する。
また、スクリーンは、表示倍率(R(k))の最も大きい位置に、新規スクリーンの中心を生成する。
また、基準形状は、面積を等しくする。
さらにまた、基準形状にて形成したスクリーン間に分離線を引き、前記分離線にて分離されたエリアを新たなスクリーンとする。

次に、本実施形態に係る表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンの表示倍率の算出、新規スクリーンの生成位置の算出、スクリーンの移動位置の算出等についてより具体的に説明する。

図４に示すように、各スクリーン４０は、基準形状（Unit）を有する。表示部３１０の画面上へのスクリーン４０は、基準形状（Unit）を表示倍率（R)に従って、拡大・縮小して表示する。

表示倍率（R)の算出：
表示倍率算出判定部３０６３は、スクリーンiとスクリーンjとの中心間の距離（L(i,j))、各スクリーンの中心から前記方向への基準形状（Unit）における厚さ（Lm(i,j)、Lm(j,i))を算出し、および、各スクリーンに表示する内容における受信した音声の大きさ（V(i),V(j))に基づいて、スクリーンiにおけるスクリーンjからの算出される表示倍率（R(i,j))を以下の通りに算出する。

周囲に存在するスクリーン間の表示倍率を算出し、次式のように、その表示倍率の内、最も小さい値を実際の表示倍率（R(i))とする。

新規のスクリーンの生成位置の算出：
表示倍率算出判定部３０６３は、画面上に仮の中心を配し、各中心において、表示倍率（Rmin)を算出する。各表示倍率（R)の内、最も大きい値を取る位置を新規のスクリーンの生成の中心位置とする。

この条件を満たす中心(P(k))を新規スクリーンの中心位置とする。

スクリーンの移動位置の算出：
各スクリーンは、現在(t)の位置から一定距離内(集合I)の各位置において、表示倍率（R)を算出し、表示倍率の内、最も大きな値を取る位置を次時刻（t+Δt)における中心位置とする。

この条件を満たす中心（P(t+Δt))に移動する。

スクリーン位置は、時間経過に伴い、画面上を移動していく。このため、新規のスクリーンの生成においては、画面上の空き位置全てに対して演算を行う必要はない。つまり、画面上の何点かに対して、新規生成位置の判定を行い、その結果により位置を配置したとしても、時間経過とともに、表示倍率がもっとも大きい位置に移動していく。これにより、生成における演算負荷を低減することが可能となる。

随時、スクリーンの位置関係は変動していくため、表示倍率（R(*))算出における基準形状の厚さ（Lm(*))は、その時の方向に対して算出する必要がある。
この厚さ算出に関しては、（複雑な形状に対して）中心から対象方向へデジタル直線を引くことにより、算出することが可能となる。ただし、これは演算負荷の増加となる。これに対しては、各基準形状に対して、各角度に対する厚さを前もって算出したテーブルを参照することにより、表示倍率演算時の演算負荷を低減することが可能となる。

画面の四方の壁処理：
各スクリーン４０は、四方の壁との間に以下の演算規則に従って、表示倍率（R)を算出する。
図５に示すように、スクリーンの中心から壁に垂直に落とした点を算出上の壁の中心とし、中心間の線分（L(i,k))、基準形状（Unit）における厚さ(Lm(i,k),Lm(k,i))と、およびスクリーンの受信した音声の大きさ（V(i),V(k))を算出する。この時、壁における、音声の大きさは(V(k)=0)、基準形状の厚さ(Lm(k,i)=0)として、前述の表示倍率(R)の算出と同様に算出を行う。
各々のスクリーン４０において、表示倍率（R(i))を算出する場合、周囲のスクリーンとの表示倍率(R(i,j)と同様に、壁との表示倍率(R(i,k))を算出し、この内、最も小さい値を実際に表示する際の表示倍率（R(i))とする

基準形状を楕円形とするスクリーン(S(0),S(1))において、音声の大きさ（V(0),V(1))の比を変化させた例を図６（Ａ）〜（Ｃ）に示す。
図６（Ａ）〜（Ｃ）において、左から、音声の大きさの比(V(0)：V(1))が、１：１、２：１、３：１の場合である。このように、音量に大きさに応じて、適応的にスクリーンサイズを変動することが可能となる。

基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減した例を図７（Ａ）〜（Ｃ）に示す。
図７（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。

基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさの倍にした例を図８（Ａ）〜（Ｃ）に示す。
図８（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合であり、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：１、比(V(0)：V(1)：V(2)：V(3))が２：１：１：１の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。これは、スクリーン(S(0))に映っている人が発言をしている例であり、このように、一人が発言している場合、その人のスクリーンのみが、その大きさに応じて適応的にスクリーンサイズを拡大・縮小することが可能となる。

基準形状を楕円形とするスクリーンS(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさを１／２倍にした例を図９（Ａ）〜（Ｃ）に示す。
図９（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合であり、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：２、比(V(0)：V(1)：V(2)：V(3))が２：１：２：２の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。これは、スクリーン(S(0))に映っている人以外が発言をしている例であり、このように、複数の人が発言している場合でも、状況に合わせて、適応的にスクリーンサイズを拡大・縮小することが可能となる。

基準形状が、楕円形(S(oval))、円形(S(circle))、長方形(S(rectangle))が混在している場合（音声の大きさは等しい）の例を図１０（Ａ）〜（Ｄ）に示す。
図１０（Ａ）〜（Ｄ）において、左から、長方形と楕円形、円形と楕円形、円形と長方形、下方が円形と楕円形と長方形の場合を示している。
基準形状は、形状が異なっても、面積を同等に設定することにより、各スクリーンは、適応的にスクリーンサイズを調整し、音声の大きさが等しい場合、視覚的に各々のスクリーンサイズが等しく表示することが可能となる。

さらに、本実施形態においては、スクリーン外のデッドゾーンを低減することから、図１１（Ａ）〜（Ｃ）に示すように、各スクリーンの間にエリアの分離線（太線）を形成し、前記分離線に基づいたエリアは各スクリーンの表示エリアとする。これにより、スクリーン数の増減と、各スクリーンの音声の大きさの増減に適応しつつ、画面を最大限に分割利用することが可能となる。
図１１（Ａ）〜（Ｃ）の例は、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：１、比(V(0)：V(1)：V(2)：V(3))が２：１：１：１の場合である。

次に、表示形態例について説明する。

図１２に示すように、顔エリアの面積が一定値以上の場合、受信画像を「人物画像」と判別する。顔エリアの面積が一定値以下の場合、受信画像を「非人物画像」と判別する。
「人物画像」と判別した場合、円形スクリーンとする。「非人物画像」と判別した場合、四角形スクリーンとする。「非人物画像」であっても、同送信元からの音圧に応じて、表示サイズを変動させる。

図１３に示すように、顔として判定されたエリアが複数ある場合であって、個数が一定値以下の場合、面積の大きいほうを優先し、個数が一定値以上の場合、非人物と同様、四角形スクリーンで表示する。

図１４に示すように、切り出しエリアが、受信画像から、顔が出て行った場合(はみ出し場合)、動きベクトルから切り出し可能なエリアを推定し、円形スクリーン(ウィンドウ)を見えている部分だけにする。
推定された顔エリアのサイズに対する画面上に残っている顔画像の比が一定値以下になった場合、その顔を対象外とする。

次に、以上の機能を有する通信端末１０を用いた多地点通信処理について説明する。

本実施形態においては、通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、スクリーンサイズは、最も下位に位置する（最後に付加した）情報にかかわるスクリーンを注目すべきスクリーンと判断し、対応するスクリーンサイズにする。他のスクリーンは最小にする。
ファイル表示、再生に関して、送信側にて、同期再生を要求した場合、同ファイルを転送するとともに、再生開始時間の情報を送出し、送信側、受信側では、前記再生開始時間に従って、前記ファイルを再生する。
通話時に、カメラを起動（などの操作）に基づいて、カメラによる撮像画像のストリーミング送信の有無を表示し、操作者が許可した場合、現在通話している相手に、ストリーミングの再生要求を送出し、受信側が再生を許可した場合に、これに基づいて、ストリーミング配信を開始し、受信側では新たなスクリーンを生成し、受信ストリーミングを再生する。
また、通話時に、カメラにて静止画像を撮影した場合、静止画像の送信有無を表示し、操作者が許可した場合、現在通話している相手に、画像の再生要求を送出し、受信側が再生を許可した場合に、これに基づいて、画像を送出し、受信側では、新たなスクリーンを生成し、受信画像を再生する。
送信側にて、再生スクリーンを閉じた場合、その旨を受信側に送出し、閉じたスクリーンに対応する情報を再生しているスクリーンを閉じ、対応する情報を削除する。

端末数（人数Ｎ（Ｎ≧１））と同時通話している第１のグループと、端末数（人数Ｍ（Ｍ≧１））と同時通話している第２のグループと、双方と通話接続している端末において、双方のグループを１つのグループとする場合、一方のグループに、発呼元情報（電話番号、ＩＰアドレス、ＭＡＣアドレス、その他端末を識別可能な識別子etc）と、認証キー、暗号キーから構成される着呼要求と送出し、他方のグループに、送信先情報（電話番号、ＩＰアドレス、ＭＡＣアドレス、その他端末を識別可能な識別子etc）と、認証キー、暗号キーから構成される発呼要求を送出し、発呼要求を受信した端末は、前記発呼要求に記載の情報に基づいて、発呼し、着呼要求を受信した端末は、着呼が、前記着呼要求に記載の情報（発呼元情報、認証キー、暗号キー）と一致するかを判定し、一致する場合、接続を行う。

また、画面上において、同じ同時通話のグループに所属するスクリーンは、スクリーン外枠の色、太さを同色にする。
着信があった場合、着信相手の番号に対応する画像をメモリから読み出し、新たにスクリーン上に生成し、前記スクリーンは、外枠の色を着信用に振り分けた色にし、外枠を大小振幅し、また色が濃淡変動させる（ないし点滅）。
自端末のカメラにて撮像した画像を表示するスクリーンのサイズは、自端末のマイクにて入力された音声に依存せず、一定の大きさとし、他のスクリーンの挙動演算に対しては、前記スクリーンの外枠は、画面の外枠における壁と同等の扱いとする。

また、自端末のマイクロフォンにて取得した音声を送出しているスクリーンの外枠の色を濃くし、音声を送出していないスクリーンの外枠の色を薄くする（また、太さを変化させる）。
前時刻の受信側のスクリーンサイズに基づいて、送信画像の符号化率を制御する。
また、同一画像を受信再生する受信側のスクリーンサイズに応じて、画面に対しての占有率が最も大きいサイズに合わせて符号化し、全部（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を送出し、これより小さいサイズに対しては、符号化データから、Ｂピクチャを除いたＩピクチャ、Ｐピクチャを送出する。
さらに、小さいサイズに対しては、符号化データから、Ｐピクチャ、Ｂピクチャを除いたＩピクチャのみを送出し、さらに小さいサイズに対しては、符号化データから、Ｐピクチャ、Ｂピクチャを除き、Ｉピクチャを間引いたデータを送出する。

また、スクリーンサイズが、アップサンプリングにて、視覚的に不快感を与えるノイズを生成しない範囲（たとえば面積比２倍以下）の場合、同一のサイズとして取り扱う。
スクリーンサイズの変動に伴う、符号化サイズの変動は、Ｉピクチャ単位で取り扱う。
スクリーンサイズの変動に伴い、符号化サイズの変動は、予測画像を現在のサイズにアップサンプリング（ないしはダウンサンプリング）し、フレーム間予測を行い、受信側では、同様に予測画像をアップサンプリング（ないしはダウンサンプリング）し、復号する。

以上の機能を有する通信端末１０を用いた多地点通信処理について、図１５〜図１９に関連つけて具体的に説明する。

図１５は、本実施形態に係る基本的な通信処理例を示す図である（Ｓ１０１〜Ｓ１０８）。

本実施形態においては、前述したように、通信情報として、同一の端末からの別セッションは、同一端末の下位情報として付随する。最も下位に位置する（最後に付加した）情報にかかわるスクリーンのサイズを、注目すべきスクリーンとして制御し、他のスクリーンは最小のサイズにする。
ファイル再生に関しては、送信側にて、（同期）再生を要求した場合、同ファイルを転送するとともに、再生タイミングを同期化させるために、データ再生可能なデータ容量を送信した際に、再生開始時間の情報を送出し、送信側、受信側では、前記再生開始時間に従って、再生を開始する。
送信側にて、再生スクリーンを閉じた場合、受信側においても、再生スクリーンを閉じる。通信情報として確保していたメモリを開放する。
送信側、受信側にて、再生を停止した場合、その旨の情報を、同様に再生スクリーンを立ち上げている他の端末に送出し、前記情報を受信した端末では、再生スクリーン上に停止した旨を表示の上、再生を停止する。
通話開始時においては、音声通話（VoIP）を基本とし、端末の操作に基づき、カメラから撮像された映像を別のセッションとして送出する。
電話番号、ないしアドレス（通話相手の特定する識別子）に付随して、起動時に同時にカメラの起動、および撮像映像送信用のセッションを張るか否かの情報を蓄積し、前記情報に基づいて、通話時の映像送信の処理を行う。
ファイルが音楽などのファイルの場合、再生用のアプリケーションをスクリーン内に表示する。スクリーンサイズは、音量に依存しない。

図１６は、webサイトを開いている際の通信処理例を示す図である（Ｓ１１１〜Ｓ１１８）。

webサイトを開いている際に、共有（ないし、送信）を選択した場合、webサイトのアドレスを送出する。
受信側では、webサイトを受信すると、webサイトアクセス用の情報を同一セッションの付属情報として連結し、新しいスクリーン上にて、アクセスしたwebサイトを表示する。最後に付属した情報である場合、webサイトの表示用のスクリーンのサイズを音声比に対応させた大きさに設定する。他のスクリーンは最小のサイズにする。
音ファイルを送信とした場合、音ファイルと、再生タイミングを送出し、送信側、受信側にて、前記再生タイミングに合わせて、音ファイルを再生する（同期再生を要求している場合）。
受信側では、音ファイルに対して、表示する画像、情報などの付属情報がない場合、再生用のソフトを操作可能なサイズにて、新たなスクリーン上に表示する。他のスクリーンは最小のサイズにする。

図１７は、webサイトのアドレス送出に対して、受信側が拒否をした場合の通信処理例を示す図である（Ｓ１２１〜Ｓ１２５）。

webサイトのアドレス送出に対して、受信側が拒否をした場合に、送信側は、現在表示中のwebサイトを画像保存し、再度、画像としての送信を試みる。
受信側にて、画像受信を許可した場合に、画像が送出され、受信側にて、新たなスクリーン上に画像を再生される。

なお、以上、画像ファイル、音声ファイル、webサイトなどの送出、受信に関しては、先に再生要求にて、送信元のアドレスと、それに伴う接続ポートの確認、および認証キー、暗号化キーなどの交換などを行っておくことにより、関係ない端末から送出されてきたファイル（ストリーミングなどを含む）、webサイトの再生を行うことを排除する。
これにより、関係端末からの不特定多数への広告、勧誘などの情報配信を排除することが可能となる。また、音声通話している相手であっても、送信要求に対して、拒否を行うことを可能とすることにより、不要と推測される情報の受信を防ぐことが可能となる。
なお、送信側、受信側にて、選択的にスクリーンを選択することにより、スクリーンサイズをコントロールすることも可能となる。

図１８は、通信処理時のスクリーンの表示形態例を示す図である。

スクリーンの外枠は、一緒に通話をしているグループに所属するスクリーンは、同一の色とする。
異なるグループの場合、スクリーンの外枠は、基本的には異なる色とする。
音声を送っていないグループの場合、そのグループに所属するスクリーンの外枠は、音声を送信していないことが明示的に分かるように通常と異なる色（たとえば淡色化する）ないし太さにする。
また、スクリーン内の画像が淡色化、霧がかかったような画像など、変化させる。
着信があった場合には、着信が明示的に分かるように、スクリーンを変化させる。たとえば、スクリーンのサイズを大きく、小さく振動、外枠の色を点滅させる。
第３者の通話への参加は、双方と通信を行っている端末から操作を行う。既存のグループに対して、着呼要求（発呼元を識別する識別子、認証キー）を送出するとともに、新規に参加する端末に対して、発呼要求（発呼先を識別する識別子、認証キー）を送出する。
新規に参加する端末は、前記発呼要求に従って、記載された発呼先に発呼する。既存の端末は、前記新規の端末からの発呼に対して、着呼動作を行い、認証キーが一致している場合、接続する。
認証キーが異なる場合、即座に切断する。接続が完了した場合、接続を促した端末は、新規参加端末からの接続完了の情報に基づいて、新規端末を参加完了と判断する。なお、既存端末においては、前記着呼動作における認証キーに基づいて、同グループへの参加完了とする。
自端末のカメラにて撮像した画像を画面上に表示する場合、スクリーンのサイズは、音声に依存せずに、一定の大きさとする。なお、自端末の映像であることが明示的に分かるように、スクリーンの外枠の色、太さを設定する。また、他のスクリーンのサイズ演算においては、自スクリーンの外枠を壁と同様の扱いにする。

図１９は、前時間の受信側のスクリーンサイズ情報に基づいて、送信画像の符号化率を制御する通信処理例を示す図である。

前時間の受信側のスクリーンサイズ情報に基づいて、送信画像の符号化率を制御することにより、受信端末にて受信する符号量の合計が著しく大きくなることを防ぐ。
受信側のスクリーンサイズに応じて、２つ以上にサイズに分類する。サイズの最も大きいサイズに合わせて符号化する。小さいサイズに対しては、符号化データを間引いて送信する。
たとえば、サイズの最も大きさサイズに対しては、Ｉピクチャ（フレーム内符号化）、Ｐピクチャ（フレーム間順方向予測符号化）、Ｂピクチャ（フレーム間双方向予測符号化）全てを送出する。
これに対して、１つ下のサイズに対しては、Ｂピクチャを間引く、更に小さいサイズに対しては、Ｂピクチャ、Ｐピクチャを間引くことによって、送信する符号量を低減する。また、符号化する画像のサイズに対しては、受信側のスクリーンの最大サイズに合わせるのではなく、最大サイズに対して、アップサンプリングすることによって、最大サイズのスクリーンにて視覚的に補間可能なサイズなサイズに抑える（たとえば、アップサンプリングを面積比２倍以下に押さえることにより、アップサンプリングによるエイリアシングを低減することが可能である）。

実際には、顔画像を送出する場合は、全撮像画像の内、顔のエリアのみを符号化することにより、背景などの送信上、不要エリアを削減することにより、符号化効率を上げることが可能となる。
換言すれば、符号化する画像において、顔が大きくなり、変化分の大きい背景が少なくなることにより、符号量を増大させる高周波成分を低減させ、結果的に符号量を低減することが可能となる。
結果的に送信側の符号化処理の負担を増大させることなく、個々の端末に送出する符号化データを生成することが可能であるとともに、個々の端末にて受信する符号化データ容量の増大を抑え、ネットワークへの負荷の増大を低減することが可能となる。

図１９（１）では、ユーザ端末ＵＡのユーザが一人話している状態であり、ユーザ端末ＵＢ、ＵＣにおけるユーザ端末ＵＡのスクリーンサイズは、同じ程度に大きい。
このため、このサイズに合わせて、ユーザ端末ＵＡは符号化した画像を送出する。
これに対しては、ユーザ端末ＵＢのスクリーンは、ユーザ端末ＵＡでは、中ぐらいの大きいであるのに対して、ユーザ端末ＵＣでは、非常に小さい。このため、ユーザ端末ＵＡ用とユーザ端末ＵＣ用の画像データとして送出する。ユーザ端末ＵＡ用の方が大きいため、これに合わせて符号化する。ユーザ端末ＵＣに対しては、Ｉピクチャのみ（ないしは、更にＩピクチャをも間引いた）符号化データを送出する。

図１９（３）の場合、ユーザ端末ＵＢ、ＵＣにおけるユーザ端末ＵＡのスクリーンサイズは、アップサンプリングして再生しても視覚的に（ノイズによる）不快感が発生しないと判断した場合、小さい方のサイズに合わせて符号化データを送出する。
同様に、ユーザ端末ＵＡ、ＵＢにおけるユーザ端末ＵＣのスクリーンサイズにおいても、同様に、アップサンプリングして再生しても視覚的に（ノイズによる）不快感が発生しないと判断した場合、小さい方のサイズに合わせて符号化データを送出する。

再生スクリーンのサイズが、差異がアップサンプリングにて吸収可能な範囲（ex.面積比２倍以内）である場合、同一のサイズとし、小さい方のスクリーンサイズに合わして符号化処理を行う。
スクリーンサイズの変動に伴う符号化方式に対応して、Ｉピクチャ（フレーム内符号化）単位に、スクリーンサイズの変更を行う。
また、Ｐピクチャ（フレーム間順方向予測符号化）でのスクリーンサイズの変動がある場合、予測画像を現在のサイズ変更した画像に合わせてアップサンプリング、ないしダウンサンプリングし、この間でフレーム間予測処理を行う。受信側では、同様に、予測画像をアップサンプリング、ないしダウンサンプリングして、復号する。

以上説明したように、本実施形態によれば、送信元となるエンコード装置２０は、送信元は、画面上、指示した位置にスクリーンが存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有し、デコード装置３０は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成し、通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する機能を有することから、スクリーンのサイズが、音量の大きさ、およびスクリーン数に応じて、適応的にサイズを変動させることができる。
また、スクリーンの動きが連続的になり、異なる形状であっても、最適なサイズに配置することが可能となる利点がある。
また、送信者が見せたい画像ファイルを送信した際に、送信者が何ら新たな操作を追加することなく、（また、送信者が声を発すことなく、）受信側では即座にその画像（スクリーンサイズ）を大きく見せることが可能となる。
また、ファイルと一緒に再生開始時刻の情報を送出することにより、送信側、受信側にて同タイミングで再生することが可能となる。
２者から３者の場合、双方に接続する端末から双方に認証キーを発行し、これに基づいて即座に接続することを可能とする。

一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、エンコード装置を示すブロック図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、デコード装置を示すブロック図である。 表示倍率の算出処理を説明するための図である。 画面四方の壁処理を説明するための図である。 基準形状を楕円形とするスクリーン(S(0),S(1))において、音声の大きさ（V(0),V(1))の比を変化させた例を示す図である。 基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減した例を示す図である。 基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさの倍にした例を示す図である。 基準形状を楕円形とするスクリーンS(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさを１／２倍にした例を示す図である。 基準形状が、楕円形(S(oval))、円形(S(circle))、長方形(S(rectangle))が混在している場合（音声の大きさは等しい）の例を示す図である。 各スクリーンの間にエリアの分離線（太線）を形成し、前記分離線に基づいたエリアは各スクリーンの表示エリアとする例を示す図である。 スクリーン表示制御について説明するための図であって、顔エリアの面積に応じた処理の説明図である。 スクリーン表示制御について説明するための図であって、顔判定されたエリアが複数ある場合の対応処理の説明図である。 スクリーン表示制御について説明するための図であって、切り出しエリアが受信画像からはみ出した場合の対応処理の説明図である。 本実施形態に係る基本的な通信処理例を示す図である。 webサイトを開いている際の通信処理例を示す図である。 webサイトのアドレス送出に対して、受信側が拒否をした場合の通信処理例を示す図である。 通信処理時のスクリーンの表示形態例を示す図である。 前時間の受信側のスクリーンサイズ情報に基づいて、送信画像の符号化率を制御する通信処理例を示す図である。

符号の説明

１０・・・携帯通信端末、２０・・・エンコード装置、２０１・・・音声入力部、２０２・・・画像入力部、２０３・・・操作部、２０４・・・音声符号化処理部、２０５・・・画像符号化処理部、２０６・・・天地補正部、２０７・・・顔エリア検出部、２０８・・・スクリーン判定部、２０９・・・切り出し処理部、２１０・・・入力音量計測部、２１１・・・端末制御部、２１２・・・制御情報生成部、２１３・・・記憶部、２１４・・・送信パケット生成部、２１５・・・ネットワークインタフェース（Ｉ／Ｆ）、３０・・・デコード装置、３０１・・・ネットワークインタフェース（Ｉ／Ｆ）、３０２・・・操作部、３０３・・・受信パケット解析部、３０４・・・音声復号処理部、３０５・・・映像復号処理部、３０６・・・表示画像制御部、３０７・・・音量修正部、３０８・・音声出力部、３０９・・・画像補正部、３１０・・・表示部（画像出力部）、３１１・・・自端末制御部、３０６１・・・制御情報解析部、３０６２・・・マスキング処理部、３０６３・・・表示倍率算出判定部、３０６４・・・縮小・拡大処理部、３０６５・・・表示位置算出部、３０６６・・・マッピング。

Claims (22)

1. 画像データおよび音声データを送受信可能で、受信した画像データおよび音声データを再生可能な通信端末であって、
   画像を表示する表示手段と、
   前記表示手段に特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成可能で、受信音量に基づいて表示すべき画像のサイズを制御する制御手段と、を有し、
   前記制御手段は、
   通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する
   通信端末。
2. 前記制御手段は、他の表示エリアは最小にする
   請求項１記載の通信端末。
3. 前記制御手段は、着信があった場合、着信相手の番号に対応する画像をメモリから読み出し、新たに表示エリア上に生成し、前記表示エリアは、外枠の色を着信用に振り分けた色にし、外枠を大小振幅し、また色が濃淡変動または点滅させる
   請求項１または２記載の通信端末。
4. 前記制御手段は、自端末で撮像した画像を表示する表示エリアのサイズは、自端末の音声入力手段にて入力された音声に依存せず、一定の大きさとし、他の表示エリアの挙動演算に対しては、前記表示エリアの外枠は、画面の外枠における壁と同等の扱いとする
   請求項１から３のいずれか一に記載の通信端末。
5. 前記制御手段は、自端末にて取得した音声を送出している表示エリアの外枠の色と、音声を送出していない表示エリアの外枠の色とが異なるように制御する
   請求項１から４のいずれか一に記載の通信端末。
6. 前記制御手段は、前時刻の受信側の表示エリアサイズに基づいて、送信画像の符号化率を制御する
   請求項１から５のいずれか一に記載の通信端末。
7. 画像データおよび音声データを送受信可能で、受信した画像データおよび音声データを再生可能な複数の通信端末間で通信を行う通信システムであって、
   前記通信端末は、
   画像を表示する表示手段と、
   前記表示手段に特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成可能で、受信音量に基づいて表示すべき画像のサイズを制御する制御手段と、を有し、
   前記制御手段は、
   通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する
   通信システム。
8. ファイル表示、再生に関して、送信側にて、同期再生を要求した場合、同ファイルを転送するとともに、再生開始時間の情報を送出し、送信側、受信側では、前記再生開始時間に従って、前記ファイルを再生する
   請求項７記載の通信システム。
9. 通話機能と、
   撮像機能と、を有し、
   通話時に、撮像機能の操作に基づいて、撮像画像のストリーミング送信の有無を表示し、許可された場合、現在通話している通話先に、ストリーミングの再生要求を送出し、受信側が再生を許可した場合に、当該再生許可に基づいて、ストリーミング配信を開始し、受信側の前記制御手段は、新たなスクリーンを生成し、受信ストリーミングを再生する
   請求項７または８記載の通信システム。
10. 通話機能と、
    撮像機能と、を有し、
    通話時に、撮像機能にて静止画像を撮影した場合、静止画像の送信有無を表示し、許可された場合、現在通話している通話先に、画像の再生要求を送出し、受信側が再生を許可した場合に、当該再生許可に基づいて、画像を送出し、受信側の前記制御手段は新たな表示エリアを生成し、受信画像を再生する
    請求項７または８記載の通信システム。
11. 送信側にて、再生表示エリアを閉じた場合、その旨を受信側に送出し、前記閉じた表示エリアに対応する情報を再生している表示エリアを閉じ、対応する情報を削除する
    請求項７から１０のいずれか一に記載の通信システム。
12. 端末数Ｎ（Ｎ≧１）と同時通話している第１のグループと、
    端末数Ｍ（Ｍ≧１）と同時通話している第２のグループと、を有し、
    双方と通話接続している端末において、双方のグループを１つのグループとする場合、
    一方のグループに、発呼元情報と、認証キー、暗号キーから構成される着呼要求と送出し、
    他方のグループに、送信先情報と、認証キー、暗号キーから構成される発呼要求を送出し、
    発呼要求を受信した端末は、前記発呼要求に記載の情報に基づいて、発呼し、
    着呼要求を受信した端末は、着呼が、前記着呼要求に記載の情報と一致するかを判定し、一致する場合、接続を行う
    請求項７から１０のいずれか一に記載の通信システム。
13. 前記制御手段は、画面上において、同じ同時通話のグループに所属する表示エリアは、表示エリア外枠の色、太さを同色にする
    請求項１２記載の通信システム。
14. 前記制御手段は、着信があった場合、着信相手の番号に対応する画像をメモリから読み出し、新たに表示エリア上に生成し、前記表示エリアは、外枠の色を着信用に振り分けた色にし、外枠を大小振幅し、また色が濃淡変動または点滅させる
    請求項７から１３のいずれか一に記載の通信システム。
15. 前記制御手段は、自端末で撮像した画像を表示する表示エリアのサイズは、自端末の音声入力手段にて入力された音声に依存せず、一定の大きさとし、他の表示エリアの挙動演算に対しては、前記表示エリアの外枠は、画面の外枠における壁と同等の扱いとする
    請求項７から１３のいずれか一に記載の通信システム。
16. 前記制御手段は、自端末にて取得した音声を送出している表示エリアの外枠の色と、音声を送出していない表示エリアの外枠の色とが異なるように制御する
    請求項７から１５のいずれか一に記載の通信システム。
17. 前記制御手段は、前時刻の受信側の表示エリアサイズに基づいて、送信画像の符号化率を制御する
    請求項７から１６のいずれか一に記載の通信システム。
18. 同一画像を受信再生する受信側の表示エリアサイズに応じて、画面に対しての占有率が最も大きいサイズに合わせて符号化して、Ｉピクチャ、Ｐピクチャ、およびＢピクチャの全てを送出し、
    送出したサイズより小さいサイズに対しては、符号化データから、Ｂピクチャを除いたＩピクチャ、Ｐピクチャを送出し、
    さらに小さいサイズに対しては、符号化データから、Ｐピクチャ、Ｂピクチャを除いたＩピクチャのみを送出し、
    さらに小さいサイズに対しては、符号化データから、Ｐピクチャ、Ｂピクチャを除き、Ｉピクチャを間引いたデータを送出する
    請求項７から１６のいずれか一に記載の通信システム。
19. 前記制御手段は、表示エリアサイズが、アップサンプリングにて、視覚的に不快感を与えるノイズを生成しない範囲の場合、同一のサイズとして取り扱う
    請求項１８記載の通信システム。
20. 前記制御手段は、表示エリアサイズの変動に伴う、符号化サイズの変動は、Ｉピクチャ単位で取り扱う
    請求項１８または１９記載の通信システム。
21. 表示エリアサイズの変動に伴い、符号化サイズの変動は、予測画像を現在のサイズにサンプリングし、フレーム間予測を行い、受信側では、同様に予測画像をサンプリングし、復号する
    請求項７から２０のいずれか一に記載の通信システム。
22. 画像データおよび音声データを送受信可能で、受信した画像データおよび音声データを再生可能な通信端末の表示方法であって、
    表示手段に特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成するステップと、
    受信音量に基づいて表示すべき画像のサイズを制御するステップと、を有し、
    通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する
    通信端末の表示方法。
    

Images