JP2007150918A - 通信端末およびその表示方法 - Google Patents

Abstract

【課題】状況に応じて適応的に、最適に表示画像エリアのサイズ、位置を更新することができ、しかも表示画像エリアの再配置が連続的になり、異なる形状であっても最適なサイズで配置することが可能で振動を停止することにより、煩わしさをなくすことができ、局所安定状態を解消することが可能な通信端末およびその表示方法を提供する。
【解決手段】デコード装置３０は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成し、画面上のスクリーンの配置状態が振動状態にあるか否かを判定し、振動状態にある場合に固定化するとともに、安定状態を判定し、攪拌処理を施すことにより、局所安定状態を解消する機能を有する。
【選択図】図５

Description

本発明は、携帯電話機等の通信端末およびその表示方法に係り、特に、多地点通信可能な通信端末およびその表示方法に関するものである。

多地点通信としての代表としては、テレビ会議システムがある。テレビ会議システムでは、ＭＣＵ（Multi-point Control Unit）を介して複数の端末が接続する。ＭＣＵは、多数の端末から送られてきた画像データを１つの画面上に分割合成し、音声データとともに、各々の端末に送信することにより、多地点をつないだテレビ会議を実現する。

基本的に、各拠点の画像を１つの画像に分割合成する場合、
（１）１つの画像を等分割する場合（たとえば４分割、９分割）と、
（２）１つ大きな画像領域を取り、残りの領域を等分割に分割して合成する場合と、
がある（たとえば６分割）。

（１）の場合、ＭＣＵで結んでいる拠点からの画像が同じ面積を使って合成される。
（２）の場合、話している拠点を大きな面積を割り当て、残りの拠点からの画像を残りの等分割された領域に割り当てて、合成する。

いずれの場合でも、テレビ会議システムでは、大画面のモニタを用いて行うために、複数の拠点の画像を１つの画像に分割合成しても、個々の拠点を映す画像のサイズは充分な大きさを有し、一人で映っている分には、その人の顔が認識困難になるということはない。テレビ会議システムとしては、たとえば特許文献１，２等に開示されている。

図１（Ａ）〜（Ｅ）は、一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である。
図１の例においては、画面１を先に決められた枠（四角形）のウィンドゥに分割する。
たとえば、画面１は１つの大きなウィンドゥ（四角形）２と複数の小さなウィンドゥ（四角形）３−１〜３−５から形成され、話し手を大きなウィンドゥ２に表示する。
この場合、ウィンドゥのサイズ、および分割数は固定的であり、撮像された画像をそのまま表示しているため、撮影の状態に応じて、顔の大きさが変動する。

一般的なＰＣのウィンドゥ制御の場合、マウスでウィンドゥをドラッグすることにより、ウィンドゥのサイズの変更、ウィンドゥの選択を自由に行うことが可能である。

ところで、携帯電話機等の携帯通信端末は、音声通話だけでなく、メール、Webアクセス、ゲーム、カメラ、テレビ電話、メディアプレィア、ラジオ、テレビなど年々高機能化されている。
現行、携帯通信端末でのテレビ電話は、発呼時に、テレビ電話で接続することを選択するものである。

しかしながら、パケット通信への対応が進むことにより、音声通話自体がパケット通信に対応したVoIPが使用され、通話中にカメラを起動し、音声および映像での通話に切り替えたり、また逆に、カメラを停止し、音声通話のみにしたりといった使い方が主要となる。さらに、通話中の相手に、自端末に保存している文書（ex. メール）、住所データ、画像（静止画像、動画像）、音声などを送って、（通話相手にて自動的に再生され、）同時に観たり、Webサイトを同時に観たりすることが可能となる。

このように、高機能化により携帯通信端末がIP化された場合、同時に複数の相手（サーバを含む）と通信を行うことが可能となる。
この場合、一つの端末で複数のスクリーンを取り扱う必要がある。複数のスクリーンを取り扱う方法としては、（ＰＤＡなどで）ページめくり的に取り扱う方法がある。
特開平０６−１４１３１０号公報 特開平０６−１４１３１１号公報

とことで、たとえば携帯IP-TV電話では、画面のサイズが小さいため、複数人で、画像ありの通話を行った場合、一人ひとりの顔の大きさが小さくなる。
PCのウィンドゥのように、ユーザがウィンドゥを動かしたら、サイズを変えたりできるようにするには、画面サイズ、および操作キーに制限があり、困難である。
また、複数人が同程度で話した場合、スクリーンが対応できない。

さらに、音量に応じて、スクリーンサイズを設定した場合、無駄な空間を増加させたり、画面内に全スクリーンを表示しきれなくなったりする問題を有している。
具体的には、全スクリーンの音量が小さい場合、小さいスクリーンが画面上を浮遊することになる。一方、全スクリーンが音量最大の場合、表示スクリーンの合計面積が画面面積を超えるという問題を有する。
これに対して、局所的に合計面積を画面面積に規格化することによって、画面内に収まらせることは可能であるが、次時刻におけるスクリーン位置の再配置（移動）が不連続的になる。

また、位置の算出、スクリーンサイズの算出を、周辺のスクリーンとの相互作用によって基づいて算出した場合、その位置、サイズは、必ずしも、期待した状態に収束するとは限らない。
停止せずに、絶えず振動し続ける状態（振動状態）、スクリーンの占有率が小さいまま、停止してしまった状態（局所安定状態）に陥ることがある。振動状態の場合、絶えずスクリーンが振動し続けるため、その動きは煩わしく感じる。
一方、局所安定状態の場合、スクリーンが小さいままであるため、表示される内容も小さくなる。

図２（Ａ）〜（Ｃ）は振動状態を示し、音声の大きさが等しい４つのスクリーンがある場合を示している。
各々の画面の表示倍率の二乗総和比は等しい。しかしながら、図２（Ａ）の画面図では、スクリーンが停止しているのに対して、図２（Ｂ）と図２（Ｃ）の画面図では、スクリーンが絶えず上下に震動している。スクリーンが絶えず振動しているため、ユーザにとっては非常に煩わしいものとなる。

また、図３（Ａ）〜（Ｃ）は局所安定状態を示し、音声の大きさが等しい４つのスクリーンがある場合を示している。各々の画面において、スクリーンは停止、ないし振動した状態にある。
各々の画面の表示倍率の二乗総和比は、図３（Ａ）の画面図から、R(t)=0.961712、0.721003、0.551646と、図３（Ａ）画面図が最も高く、図３（Ｂ）、図３（Ｃ）になるにつれて小さくなる。
これらの値は、スクリーンが画面に占める割合と同じ意味を示しており、図からも、図３（Ｂ），（Ｃ）におけるスクリーンの大きさが、図３（Ａ）の画面に比べ小さくなり、画面上スクリーンに使用されない無駄な領域（デッドゾーン）が広くなっていることが分かる。結果的に表示される画像が小さくなるという問題点を有している。

本発明の目的は、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能であり、振動を停止することにより、煩わしさをなくすことが可能となり、局所安定状態を解消することが可能な通信端末およびその表示方法を提供することにある。

本発明の第１の観点は、受信した画像データおよび音声データを再生する通信端末であって、画像を表示する表示手段と、前記表示手段に特定のエリアを抽出されて表示すべき複数の画像の各々を表示する表示エリアを形成可能で、所定の情報に基づいて前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、前記表示手段の表示画面上に複数の表示エリアを形成する制御手段と、を有し、前記制御手段は、１つ以上の表示エリアが局所領域にて継続的に動き続ける状態にあるか否かを判定し、振動状態であると判定すると表示エリアを固定する機能を有する。

本発明の第２の観点は、受信した画像データおよび音声データを再生する通信端末であって、画像を表示する表示手段と、前記表示手段に特定のエリアを抽出されて表示すべき複数の画像の各々を表示する表示エリアを形成可能で、所定の情報に基づいて前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、前記表示手段の表示画面上に複数の表示エリアを形成する制御手段と、を有し、前記制御手段は、前記表示エリアが安定状態にあるか否かを判定する機能を有する。

本発明の第３の観点は、受信した画像データおよび音声データを再生する通信端末であって、画像を表示する表示手段と、前記表示手段に特定のエリアを抽出されて表示すべき複数の画像の各々を表示する表示エリアを形成可能で、所定の情報に基づいて前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、前記表示手段の表示画面上に複数の表示エリアを形成する制御手段と、を有し、前記制御手段は、１つ以上の表示エリアが局所領域にて継続的に動き続ける状態にあるか否かを判定する振動状態判定手段を有し、振動状態であると判定すると表示エリアを固定する機能と、前記表示エリアが安定状態にあるか否かを判定する機能とを有する。

好適には、前記制御手段は、一定期間（ｎ）において、表示エリア個数の変動がなく、各表示エリアの音声の大きさの変動がなく、さらに、スクリーンの位置の変動があり、変動が閾値(Pthresh0)以下であり、スクリーンの表示倍率の変動が閾値（Rthresh0）以下である場合、振動状態にあると判定する。

好適には、前記制御手段は、振動状態中、前記期間中の表示倍率の二乗総和値（R)が最も大きい状態の配置に固定する。

好適には、前記制御手段は、一定期間（ｍ）において、表示エリア個数の変動がなく、各表示エリアの音声の大きさの変動がなく、さらに、表示エリアの位置の変動が閾値（Pthresh1）以下であり、表示エリアの表示倍率の変動が閾値（Rthresh1）以下である場合、安定状態にあると判定する。

好適には、前記制御手段は、一定期間において、表示エリア個数の変動がなく、各表示エリアの音声の大きさの変動がなく、さらに、表示エリアの位置の変動が閾値（Pthresh1）以下であり、表示エリアの表示倍率の二乗総和比が閾値（Rthresh2）以下である場合、局所安定状態にあると判定する。

好適には、前記制御手段は、安定と判断した場合に表示エリアの位置配置の再配置を促す攪拌処理機能を有する。

好適には、前記制御手段は、画面上に仮の中心を配し、各中心における表示倍率の内、最も小さい値を取得する位置を攪拌用の表示エリアの中心とし、一定期間、攪拌用の表示エリアを生成、更新し、消滅することによって、攪拌を行う。

前記制御手段は、攪拌処理の実行回数(S)が閾値（Sthresh）を越える場合、安定状態にあると判断し、攪拌処理を停止する。

本発明の第４の観点は、受信した画像データ、音声データを再生する通信端末の表示方法であって、特定のエリアを抽出されて表示すべき複数の画像の前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、表示画面上に複数の表示エリアを形成し、表示すべき画像を含む複数の表示エリアを表示し、１つ以上の表示エリアが局所領域にて継続的に動き続ける状態にあるか否かを判定し、振動状態であると判定すると表示エリアを固定する。

本発明の第５の観点は、受信した画像データ、音声データを再生する通信端末の表示方法であって、特定のエリアを抽出されて表示すべき複数の画像の前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、表示画面上に複数の表示エリアを形成し、表示すべき画像を含む複数の表示エリアを表示し、前記表示エリアが安定状態にあるか否かを判定し、安定と判断された場合に、表示エリアの位置配置の再配置を促す攪拌処理を行う。

本発明によれば、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能となる。
また、振動を停止することにより、煩わしさをなくすことが可能となる。
また、局所安定状態を解消することにより、スクリーンを大きくすることが可能で、また、安定状態であるか否かを判定するため、不用意な攪拌処理を行う必要がない。

以下、本発明の実施形態を図面に関連付けて説明する。

図４および図５は、本発明の実施形態に係る携帯通信端末の構成例を示す図であって、図４はエンコード装置を示すブロック図であり、図５はデコード装置を示すブロック図である。

本携帯通信端末１０は、送信元となるエンコード装置２０と、受信側とあるデコード装置３０とを有し、多地点通信可能に構成される。

エンコード装置２０は、符号化した音声データ、画像データを、受信側端末に対する指示情報や画像の天地情報等を付加してパケットとしてネットワークに送信する機能を有する。
音声データおよび画像データに付加される送信元の指示情報は、指示された画像の送信元の識別する情報(たとえ、ＩＰアドレス、MACアドレス）と、受信した画像上の位置を示す位置情報とを含む。
送信元となるエンコード装置２０は、送信元は、画面上、指示した位置にスクリーン(スクリーンについては後で詳述する)が存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有する。

図４のエンコード装置２０は、マイクロフォン等からなる音声入力部２０１、デジタルカメラ等の画像入力部２０２、キー入力等が可能な操作部２０３、音声入力部２０１により入力される音声データを符号化する音声符号化処理部２０４、画像入力部２０２から入力され所定エリアに切り出された画像データを符号化する画像符号化処理部２０５、撮像画像に関連付けた天地情報に基づいて、撮像画像の天地を受信側の表示部の画面（端末画面）の天地と一致するように補正する天地補正部２０６、撮像画像から顔のエリアを検出、抽出する顔エリア検出部２０７、顔エリア検出部２０７にて検出された顔エリアに基づいて使用するスクリーン（表示すべき表示画像エリア）を判別しスクリーン情報を生成するスクリーン判別部２０８、スクリーン判別部２０８の判定に基づいて受信画像から該当するエリアを切り出す切り出し部２０９、音声入力部２０１による入力音量を計測し音量情報を生成する入力音量計測部２１０、操作部２０３の入力情報に基づいて端末を制御する端末制御部２１１、端末制御部２１１の指示に基づいて指示情報や天地情報、スクリーン情報、音量情報等を含む制御情報を生成する制御情報生成部２１２、画像・映像を記憶する記憶部２１３、符号化された音声データおよび画像データ、制御情報、端末制御部２１１の指示に基づいて記憶部２１３から読み出された画像・映像データを送信パケットとして生成する送信パケット生成部２１４、およびネットワークと無線通信可能で生成された送信パケットをネットワークを介して通信相手の端末やサーバに送信するネットワークインタフェース（Ｉ／Ｆ）２１５を有する。

デコード装置３０は、通信相手（送信元）のエンコード装置２０から送信されネットワークを介して受信した音声データ、画像データを再生する機能を有する。
デコード装置３０は、たとえば多地点通信を行っている場合に、受信画像の制御情報に基づいて特定エリアである顔を含む画像を、使用するスクリーン（サイズが制御された表示エリア）を選択して表示し、音声を発する機能を有する。
デコード装置３０は、このスクリーンの表示に際し、デッドゾーンをなくした円形（楕円形を含む概念である）ウィンドゥにて分割する機能を有する。
円形(楕円形)ウィンドウに分割するように構成したのは、以下の理由による。
一般的に、画面の分割は、長方形で行っていた。人間の顔は基本的に楕円形であり、長方形の四隅はデットゾーンとなる。このデッドゾーンが、顔を表示するエリアを結果的に狭く（小さく）している。
よって、本実施形態においては、このデッドゾーンをなくした円形（楕円形）ウィンドゥにて分割するように構成している。
また、デコード装置３０は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成する機能を有する。
具体的な処理については、後で図面に関連付けて詳述する。

図５のデコード装置３０は、ネットワークと無線通信可能で送信元から送信された音声データ、画像(映像)データ、制御情報や指示情報、スクリーン情報、音量情報等を含むパケットを受信するネットワークインタフェース（Ｉ／Ｆ）３０１、キー入力等が可能な操作部３０２、ネットワークインタフェース３０１で受信されたパケットを解析し、音声データ、画像データ、送信元アドレス、制御情報(天地情報や指示情報等)を抽出する受信パケット解析部３０３、受信パケット解析部３０３により抽出された音声データを復号する音声復号処理部３０４、受信パケット解析部３０３により抽出された映像データを復号する映像復号処理部３０５、映像復号処理部３０５により復号された映像データ、送信元アドレス、制御情報、スクリーン情報、サイズ情報、天地情報に基づいて表示すべきスクリーン(表示ウィンドウ)のサイズや表示形態を制御する表示画像制御部３０６、音声復号処理部３０４により復号された音声の音量を修正する音量修正部３０７、音量修正部３０７で修正された音量で発音するスピーカ等の音声出力部３０８、表示画像制御部３０６によりサイズや表示形態が制御された画像を補正する画像補正部３０９、画像補正部３０９を介した画像を表示するＬＣＤ等の表示部（画像出力部）３１０、および操作部３０２からの入力情報に基づいて表示画像制御部３０６に制御情報(天地情報)を与える自端末制御部３１１を有する。

なお、エンコード装置２０とデコード装置３０は、操作部２０３と３０２、ネットワークインタフェース２１０と３０１、端末制御部２１１と自端末制御部３１１は共用することが可能である。

以下に、本実施形態の特徴部分である表示画像制御部３０６のより具体的な構成および機能、並びにスクリーンの具体的な構成や表示形態例について順を追って説明する。

図５の表示画像制御部３０６は、受信パケット解析部３０３により供給される制御情報に基づいてスクリーン情報、サイズ情報、天地情報、および指示情報を抽出する制御情報解析部３０６１、スクリーン情報に基づいて映像復号処理部３０５で復号された映像に対してマスキングを行うマスキング処理部３０６２、サイズ情報に基づいて表示すべきスクリーン(表示画像エリア)の表示倍率を算出し、スクリーンの振動状態、安定状態を判定し、スクリーンの位置配置の再配置を促す攪拌処理する機能を有する表示倍率算出判定部３０６３、表示倍率算出判定部３０６３で算出された表示倍率に従ってマスキング処理後の画像を縮小・拡大する縮小・拡大処理部３０６４、表示倍率算出判定部３０６３で算出された表示倍率および天地情報に従って表示位置を算出する表示位置算出部３０６５、および表示位置算出部３０６５にて得られた表示部３１０上の位置に縮小・拡大処理部３０６４にて得られた画像をマッピングするマッピング処理部３０６６を有する。

本実施形態の表示画像制御部３０６は、１つ以上のスクリーンが局所領域にて継続的に動き続ける状態にあるか否かを判定する振動状態判定機能を有する。
この振動状態判定機能は、一定期間（ｎ）において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動があり、変動が閾値(Pthresh0)以下であり、スクリーンの表示倍率の変動が閾値（Rthresh0）以下である場合、振動状態にあると判定し、振動状態中、前記期間中の表示倍率の二乗総和値（R)が最も大きい状態の配置に固定する。

また、本実施形態の表示画像制御部３０６は、スクリーンの安定状態にあるか否かを判定する安定状態判定機能を有する。
この安定状態判定機能は、一定期間（ｍ）において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動が閾値（Pthresh1）以下であり、スクリーンの表示倍率の変動が閾値（Rthresh1）以下である場合、安定状態にあると判定する。
また、安定状態判定機能は、一定期間において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動が閾値（Pthresh1）以下であり、スクリーンの表示倍率の二乗総和比が閾値（Rthresh2）以下である場合、局所安定状態にあると判定する。

また、本実施形態の表示画像制御部３０６は、スクリーンの安定状態判定機能にて、安定と判断された場合に、スクリーンの位置配置の再配置を促す攪拌処理機能を有する。
この攪拌処置機能は、画面上に仮の中心を配し、各中心における表示倍率の内、先に選択しておらず、最も小さい値を取得する位置を攪拌用のスクリーンの中心とし、一定期間、攪拌用のスクリーンを生成、更新し、消滅することによって、攪拌を行う。
攪拌処理の実行回数(S)が閾値（Sthresh）を越える場合、安定状態にあると判断し、攪拌処理を停止する。

本実施形態の表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンは、１つの画面上に複数のスクリーンを表示するマルチスクリーンとして表示される。
以下に、本実施形態の表示画像制御部３０６の表示倍率算出判定部３０６３、表示位置算出部３０６５の処理を中心にしてマルチスクリーンの表示制御について説明する。

本実施形態の表示倍率算出判定部３０６３において、スクリーンは、スクリーンの表示位置を示す中心位置座標(P(i))、スクリーンの形状を示す基準形状(Unit(i))、スクリーンに対応付けられた音声の大きい(V(i))、スクリーンを画面上に表示する際の表示倍率(R(i))とを有し、表示倍率(R(i))は、周囲のスクリーンの中心位置座標(P(j))と結ぶ線分(L(i,j))と、その線分上の基準形状の厚さ(Lm(i,j),Lm(j,i))、および、音声の大きさ(V(i),V(j))に基づいて算出しされた仮表示倍率(R(i,j))の内、最も小さい値をする。
表示倍率算出判定部３０６３において、スクリーン中心から画面境界に垂直に接した点に、音声の大きさ(V(k)=0)、厚さ(Lm(k,i)=0)を設定し、表示倍率(R(i,k))を算出する。
また、スクリーンは、表示倍率(R(i))を最も大きくする位置に移動する。
また、スクリーンは、表示倍率(R(k))の最も大きい位置に、新規スクリーンの中心を生成する。
また、基準形状は、面積を等しくする。
さらにまた、基準形状にて形成したスクリーン間に分離線を引き、前記分離線にて分離されたエリアを新たなスクリーンとする。

次に、本実施形態に係る表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンの表示倍率の算出、新規スクリーンの生成位置の算出、スクリーンの移動位置の算出等についてより具体的に説明する。

図６に示すように、各スクリーン４０は、基準形状（Unit）を有する。表示部３１０の画面上へのスクリーン４０は、基準形状（Unit）を表示倍率（R)に従って、拡大・縮小して表示する。

表示倍率（R)の算出：
表示倍率算出判定部３０６３は、スクリーンiとスクリーンjとの中心間の距離（L(i,j))、各スクリーンの中心から前記方向への基準形状（Unit）における厚さ（Lm(i,j)、Lm(j,i))を算出し、および、各スクリーンに表示する内容における受信した音声の大きさ（V(i),V(j))に基づいて、スクリーンiにおけるスクリーンjからの算出される表示倍率（R(i,j))を以下の通りに算出する。

周囲に存在するスクリーン間の表示倍率を算出し、次式のように、その表示倍率の内、最も小さい値を実際の表示倍率（R(i))とする。

新規のスクリーンの生成位置の算出：
表示倍率算出判定部３０６３は、画面上に仮の中心を配し、各中心において、表示倍率（Rmin)を算出する。各表示倍率（R)の内、最も大きい値を取る位置を新規のスクリーンの生成の中心位置とする。

この条件を満たす中心(P(k))を新規スクリーンの中心位置とする。

スクリーンの移動位置の算出：
各スクリーンは、現在(t)の位置から一定距離内(集合I)の各位置において、表示倍率（R)を算出し、表示倍率の内、最も大きな値を取る位置を次時刻（t+Δt)における中心位置とする。

この条件を満たす中心（P(t+Δt))に移動する。

スクリーン位置は、時間経過に伴い、画面上を移動していく。このため、新規のスクリーンの生成においては、画面上の空き位置全てに対して演算を行う必要はない。つまり、画面上の何点かに対して、新規生成位置の判定を行い、その結果により位置を配置したとしても、時間経過とともに、表示倍率がもっとも大きい位置に移動していく。これにより、生成における演算負荷を低減することが可能となる。

随時、スクリーンの位置関係は変動していくため、表示倍率（R(*))算出における基準形状の厚さ（Lm(*))は、その時の方向に対して算出する必要がある。
この厚さ算出に関しては、（複雑な形状に対して）中心から対象方向へデジタル直線を引くことにより、算出することが可能となる。ただし、これは演算負荷の増加となる。これに対しては、各基準形状に対して、各角度に対する厚さを前もって算出したテーブルを参照することにより、表示倍率演算時の演算負荷を低減することが可能となる。

画面の四方の壁処理：
各スクリーン４０は、四方の壁との間に以下の演算規則に従って、表示倍率（R)を算出する。
図７に示すように、スクリーンの中心から壁に垂直に落とした点を算出上の壁の中心とし、中心間の線分（L(i,k))、基準形状（Unit）における厚さ(Lm(i,k),Lm(k,i))と、およびスクリーンの受信した音声の大きさ（V(i),V(k))を算出する。この時、壁における、音声の大きさは(V(k)=0)、基準形状の厚さ(Lm(k,i)=0)として、前述の表示倍率(R)の算出と同様に算出を行う。
各々のスクリーン４０において、表示倍率（R(i))を算出する場合、周囲のスクリーンとの表示倍率(R(i,j)と同様に、壁との表示倍率(R(i,k))を算出し、この内、最も小さい値を実際に表示する際の表示倍率（R(i))とする

基準形状を楕円形とするスクリーン(S(0),S(1))において、音声の大きさ（V(0),V(1))の比を変化させた例を図８（Ａ）〜（Ｃ）に示す。
図８（Ａ）〜（Ｃ）において、左から、音声の大きさの比(V(0)：V(1))が、１：１、２：１、３：１の場合である。このように、音量に大きさに応じて、適応的にスクリーンサイズを変動することが可能となる。

基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減した例を図９（Ａ）〜（Ｃ）に示す。
図１０（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。

基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさの倍にした例を図１０（Ａ）〜（Ｃ）に示す。
図１０（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合であり、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：１、比(V(0)：V(1)：V(2)：V(3))が２：１：１：１の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。これは、スクリーン(S(0))に映っている人が発言をしている例であり、このように、一人が発言している場合、その人のスクリーンのみが、その大きさに応じて適応的にスクリーンサイズを拡大・縮小することが可能となる。

基準形状を楕円形とするスクリーンS(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさを１／２倍にした例を図１１（Ａ）〜（Ｃ）に示す。
図１１（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合であり、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：２、比(V(0)：V(1)：V(2)：V(3))が２：１：２：２の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。これは、スクリーン(S(0))に映っている人以外が発言をしている例であり、このように、複数の人が発言している場合でも、状況に合わせて、適応的にスクリーンサイズを拡大・縮小することが可能となる。

基準形状が、楕円形(S(oval))、円形(S(circle))、長方形(S(rectangle))が混在している場合（音声の大きさは等しい）の例を図１２（Ａ）〜（Ｄ）に示す。
図１２（Ａ）〜（Ｄ）において、左から、長方形と楕円形、円形と楕円形、円形と長方形、下方が円形と楕円形と長方形の場合を示している。
基準形状は、形状が異なっても、面積を同等に設定することにより、各スクリーンは、適応的にスクリーンサイズを調整し、音声の大きさが等しい場合、視覚的に各々のスクリーンサイズが等しく表示することが可能となる。

さらに、本実施形態においては、スクリーン外のデッドゾーンを低減することから、図１３（Ａ）〜（Ｃ）に示すように、各スクリーンの間にエリアの分離線（太線）を形成し、前記分離線に基づいたエリアは各スクリーンの表示エリアとする。これにより、スクリーン数の増減と、各スクリーンの音声の大きさの増減に適応しつつ、画面を最大限に分割利用することが可能となる。
図１３（Ａ）〜（Ｃ）の例は、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：１、比(V(0)：V(1)：V(2)：V(3))が２：１：１：１の場合である。

次に、振動状態判定処理、安定状態判定処理、攪拌処理について、図１４〜図１７に関連つけて説明する

図１４は、振動回避の基本処理を説明するためのフローチャートである。
以下の処理において、Cはスクリーン個数の変動値、Vは音声の大きさの変動値、Pは位置の変動値、Rは表示倍率の変動値、Rthresh0、Pthresh0は閾値をそれぞれ示している。

スクリーン個数の変動がなく(C=0)、音声の大きさの変動がない(V=0)の場合で（ステップＳＴ１）、表示倍率の変動Rが閾値Rthresh0以下（R≦Rthresh0）、スクリーン位置の変動Pが変動しつつ、その変動幅が閾値Pthresh0以下である（0＜P≦Pthresh0）である場合(ＳＴ２)、スクリーンが絶えず振動している状態に陥っていると判断し、判断区間における表示倍率の二乗の総和が最大値を取る時刻のスクリーン配置に固定する（配置に置き換える）（ＳＴ３）。
なお、スクリーン個数が変動した場合（C≠0）、もしくは音声の大きさが変動した場合（V≠0）、配置の固定を解除し、演算結果に基づいて再配置する（ＳＴ４）。
これにより、局所的な位置にて、スクリーンが目障りに振動しつづけることを回避することが可能となる。

なお、スクリーン個数の変動C、音声の大きさの変動V、位置の変動P、および表示倍率の変動Rは、以下の式で与えられる。

なお、C(t)は時間tにおけるスクリーン個数、Vi(t)はスクリーンiが時間tにおける音声の大きさ、Pi(t)はスクリーンiが時間tにおける位置、Ri(t)はスクリーンiが時間tにおける表示倍率とする。Rmaxはディスプレィ全体を１つのスクリーンで覆った場合の表示倍率とする。

図１５は、安定状態を判定し、攪拌処理を行う処理を説明するためのフローチャートである。
以下の処理において、Cはスクリーン個数の変動値、Vは音声の大きさの変動値、Pは位置の変動値、Rは表示倍率の変動値、Rthresh1、Rthresh2、Pthresh1は閾値、Rmaxはディスプレィ全体を１つのスクリーンで覆った場合の表示倍率をそれぞれ示している。

スクリーン個数の変動がなく(C=0)、音声の大きさの変動がない(V=0)の場合(ＳＴ１１)で、表示倍率の変動Rが閾値Rthresh1以下（R≦Rthresh0）、スクリーン位置の変動Pが閾値Pthresh1以下である（P≦Pthresh1）である場合(ＳＴ１２)、もしくは、表示倍率の二乗総和比R(t)が閾値Rthresh2以下（R(t)≦Rthresh2）、スクリーン位置の変動Pが閾値Pthresh1以下である（P≦Pthresh1）である場合（ＳＴ１３）、スクリーンが絶えず安定状態に陥ったと判断する。
攪拌回数Sが閾値Sthresh以下の場合(S≦Sthresh）で（ＳＴ１４)、攪拌処理後の経過時間Qが閾値Qthresh経過している場合(ＳＴ１５)、攪拌処理を施し、攪拌回数S、経過時間Qを更新(S++、Q=0)する（ＳＴ１６、ＳＴ１７）。攪拌回数Sが閾値Sthreshを越える場合（ＳＴ１４）、安定状態にある判定する(ＳＴ１８)。
なお、スクリーン個数が変動した場合（C≠0）、もしくは音声の大きさが変動した場合（V≠0）、攪拌回数S、経過時間Qをクリアする(ＳＴ１９)。
これにより、Rが小さい状態に安定した場合に、この配置状態からの脱却を促すことが可能となる。また、安定状態を判定してから攪拌処理を行うため、不用意な攪拌処理をなくすことが可能となる。

なお、スクリーン個数の変動C、音声の大きさの変動V、位置の変動P、表示倍率の変動R、および時間tにおける表示倍率の二乗総和比は、以下の式で与えられる。

なお、C(t)は時間tにおけるスクリーン個数、Vi(t)はスクリーンiが時間tにおける音声の大きさ、Pi(t)はスクリーンiが時間tにおける位置、Ri(t)はスクリーンiが時間tにおける表示倍率とする。Rmaxはディスプレィ全体を１つのスクリーンで覆った場合の表示倍率とする。

位置の変動Pの算出において、相対値を用いることにより、下記の場合において、対応が可能となる。

図１６の例は、２つのスクリーンが安定した相対位置関係にあり、１つの塊として、上下に移動する場合を示している。
局所安定の判定において、単純に絶対的な位置のみを用いて判定を行った場合、全体として上下に移動しているため、局所安定状態には該当しないという結果を得る。
また、振動状態という判定においても、上下の移動距離が大きいため、振動状態と判定することは困難となる。
これに対して、本実施形態にように、相対位置を用いて判定を行うことにより、局所安定状態と判定することが可能となる。

図１７（Ａ）〜（Ｅ）は、攪拌用のスクリーンを示す図であって、挙動を説明するための図である。

画面上に仮の中心を配し、各中心いおいて、表示倍率（Rmin）を算出する。各表示倍率（Rmin）の内、最も小さい値を取る位置に攪拌用のスクリーンを生成し、Uステップ状態（U≧１）を更新した後で、攪拌用のスクリーンを廃棄する。この攪拌用のスクリーンは視覚的に見得ないものとする。
また、この攪拌処理自体をユーザに見得ないものとしても良い。1度で効果が現れない場合、数度繰り返す。この場合、攪拌用のスクリーンの生成位置は、前回と異なる位置に設定するものとする。
攪拌処理後は、安定するまでに時間を要する。このため、この安定していない状態で、攪拌処理実行有無の判定に入れると、攪拌処理回数Sが即座にクリア（S=0)になる。つまり、処理が効果的に効いたか否かに関わらず、効果的に効いたと判断してしまうことになる。このため、経過時間Qは、Qthreshステップ経過してから、判定を再開するものとする。

図１７（Ａ）〜（Ｅ）は、分かりやすくするための、攪拌用のスクリーンを図示している。
図１７（Ａ）〜（Ｅ）の画面図において、左（Ａ）から右（Ｅ）に時間が進む。
図１７（Ａ）において局所安定状態であると判定された場合に、図１７（Ｂ）に示すように、攪拌処理に入る。攪拌用のスクリーンが生成される。位置関係により、近傍のスクリーンのサイズが小さくなった。
図１７（Ｃ）において状態更新する。表示倍率の二乗総和比が大きくなるように配置を更新する。
図１７（Ｄ）において、状態更新する。表示倍率の二乗総和比が大きくなるように更に、配置を更新する。
そして、図１７（Ｄ）において攪拌処理の終了（状態更新）する。攪拌用のスクリーンを消滅する。表示倍率の二乗総和比が大きくなるように配置を更新する。
図１７（Ａ）と図１７（Ｅ）を比較した場合、スクリーンの位置関係が変化し、表示倍率の二乗総和比R(t)=0.637197から0.884781に増大していることが分かる。

次に、上述したようサイズおよび表示形態が制御される表示部３１０におけるスクリーン表示制御について、図１８から図２２に関連付けて説明する。

本実施形態においては、前述したように、デッドゾーンをなくした円形（楕円形）ウィンドゥにて分割する。

図１８および図１９に示すように、スクリーン上に表示する画像は、送信側(エンコード装置側)、ないし受信側(デコード装置側)において、画像から顔の特徴点を抽出し、これに基づいて、顔エリア算出を行う。この顔エリアがスクリーンにて包含されるように画像を切り出し、スクリーンにマッピングする。
図１８および図１９に示すように、受信画像から、顔の特徴点１１１を検索し、輪郭抽出を行って顔を抽出する。そして、一度、顔エリアを抽出した場合、動きベクトルに応じて顔エリアの追従を行って、切り出しを行う。

本実施形態においては、図４および図５に関連つけた図２０に示すように、エンコード装置２０側（符号化側）にて、顔エリアを検出し、検出した顔エリアを包含するとともに、顔以外のエリアが最小になるように円形のスクリーンを選択する。円形のスクリーンを包含する四角形エリアを送信画像として切り出し、これを符号化し、スクリーン情報、マイクなどの入力音声の音量情報とともにパケットとして送出する。
エンコード装置２０において、図２１に示すように、撮像画像に対して、符号化部分は一部分である。網掛けの部分は、切り落とし部分であり、符号化の対象から削除している。結果的に伝送する画像データの容量は削減される。

また、図２２に示すように、撮像されている内容を解析し、撮像内容に応じて、スクリーン形状を変える場合において、適用可能である。
図２２の例においては、人が撮像されていると判断された場合、スクリーン形状を楕円形にし、それ以外の場合はスクリーン形状を長方形にした場合である。
図２２に例においては、顔エリアの面積が一定値以上の場合、受信画像を「人物画像」と判別する。顔エリアの面積が一定値以下の場合、受信画像を「非人物画像」と判別する。
「人物画像」と判別した場合、円形スクリーンとする。「非人物画像」と判別した場合、四角形スクリーンとする。「非人物画像」であっても、同送信元からの音圧に応じて、表示サイズを変動させる。

そして、図２０に示すように、デコード装置３０においては、受信データから映像復号処理部３０５にて復号された受信画像を、制御情報解析部３０６１で抽出されたスクリーン情報に基づいてマスキングする。
また、表示倍率算出判定部３０６３において、サイズ情報に基づき表示倍率を算出し、縮小・拡大処理部３０６４において算出した倍率に従ってマスキングされた画像が縮小、拡大する。一方、表示位置算出部３０６５において、算出された表示倍率に従って表示位置を算出し、算出した表示位置に縮小または拡大された画像を含むスクリーンを表示部３１０に表示する。
また、画面上のスクリーンの配置状態が振動状態にあるか否かを判定し、振動状態にある場合に固定化するとともに、安定状態を判定し、攪拌処理を施すことにより、局所安定状態を解消する。

個々で、多地点通信を行う場合であって、端末機を図４および図５に示す構成とした場合における処理に負荷について考察する。
デコード装置３０側で台数Ｎに増大した場合の処理は、次のようになる。

Ｏnew＝Ｎ×（マスキング処理＋縮小・拡大処理＋マッピング処理＋表示倍率算出＋表示位置算出）

これに対して、デコード装置側において、本実施形態の送信側(エンコード装置側)の処理をデコード装置側において行うように構成した場合の処理は次のようになる。

Ｏold＝Ｎ×（天地補正処理＋顔エリア検出＋スクリーン判定＋切り出し処理＋サイズ算出＋縮小・拡大処理＋表示倍率算出＋表示位置算出＋マッピング処理）

処理の差を観ると、図４および図５に示す構成の方が、次に示す分、負荷が軽減されていることになる。

Ｏsub＝Ｏold−Ｏnew
＝Ｎ×（天地補正処理＋顔エリア検出＋スクリーン判定＋切り出し処理＋サイズ算出−マスキング処理）

この内、処理負荷のほとんどは、「顔エリア検出」となる。

送信側（エンコード装置側）では、次に示す分だけ負荷が増加している。

Ｅnew＝天地補正処理＋顔エリア検出＋スクリーン判定＋切り出し処理＋サイズ算出

しかし、この負荷は接続する台数には依存しない。

以上説明したように、本実施形態によれば、送信元となるエンコード装置２０は、送信元は、画面上、指示した位置にスクリーンが存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有し、デコード装置３０は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成し、画面上のスクリーンの配置状態が振動状態にあるか否かを判定し、振動状態にある場合に固定化するとともに、安定状態を判定し、攪拌処理を施すことにより、局所安定状態を解消する機能を有することから、スクリーンのサイズが、音量の大きさ、およびスクリーン数に応じて、適応的にサイズを変動させることができる。
また、スクリーンの動きが連続的になり、異なる形状であっても、最適なサイズに配置することが可能となる利点がある。
さらに、振動を停止することにより、煩わしさをなくすことが可能となる。
また、局所安定状態を解消することにより、スクリーンを大きくする。
また、安定状態であるか否かを判定するため、不用意な攪拌処理を行う必要がないという利点がある。
その結果、複数端末の接続時であっても、通話中の相手を確認しやすく、また、画像(スクリーン)は重ならないように制御されることから、会話している全員の状態が一目で確認することができる。また、新たな参加人にも容易に対応することができる。

一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である マルチスクリーン画像の振動状態の課題を説明するための図である。 マルチスクリーン画像の局所安定状態における課題を説明するための図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、エンコード装置を示すブロック図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、デコード装置を示すブロック図である。 表示倍率の算出処理を説明するための図である。 画面四方の壁処理を説明するための図である。 基準形状を楕円形とするスクリーン(S(0),S(1))において、音声の大きさ（V(0),V(1))の比を変化させた例を示す図である。 基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減した例を示す図である。 基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさの倍にした例を示す図である。 基準形状を楕円形とするスクリーンS(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさを１／２倍にした例を示す図である。 基準形状が、楕円形(S(oval))、円形(S(circle))、長方形(S(rectangle))が混在している場合（音声の大きさは等しい）の例を示す図である。 各スクリーンの間にエリアの分離線（太線）を形成し、前記分離線に基づいたエリアは各スクリーンの表示エリアとする例を示す図である。 振動回避の基本処理を説明するためのフローチャートである。 安定状態を判定し、攪拌処理を行う処理を説明するためのフローチャートである。 ２つのスクリーンが安定した相対位置関係にあり、１つの塊として、上下に移動する場合を示す図である。 攪拌用のスクリーンを示す図であって、挙動を説明するための図である。 スクリーン表示制御について説明するための図であって、受信画像から顔エリアの抽出処理の説明図である。 スクリーン表示制御について説明するための図であって、受信画像から顔エリアの抽出処理後の切り出し処理の説明図である。 本実施形態の動作を模式的に示す図である。 本実施形態の動作を説明するための図であって、送信側における撮像画像の送信エリア例を示す図である。 スクリーン表示制御について説明するための図であって、顔エリアの面積に応じた処理の説明図である。

符号の説明

１０・・・携帯通信端末、２０・・・エンコード装置、２０１・・・音声入力部、２０２・・・画像入力部、２０３・・・操作部、２０４・・・音声符号化処理部、２０５・・・画像符号化処理部、２０６・・・天地補正部、２０７・・・顔エリア検出部、２０８・・・スクリーン判定部、２０９・・・切り出し処理部、２１０・・・入力音量計測部、２１１・・・端末制御部、２１２・・・制御情報生成部、２１３・・・記憶部、２１４・・・送信パケット生成部、２１５・・・ネットワークインタフェース（Ｉ／Ｆ）、３０・・・デコード装置、３０１・・・ネットワークインタフェース（Ｉ／Ｆ）、３０２・・・操作部、３０３・・・受信パケット解析部、３０４・・・音声復号処理部、３０５・・・映像復号処理部、３０６・・・表示画像制御部、３０７・・・音量修正部、３０８・・音声出力部、３０９・・・画像補正部、３１０・・・表示部（画像出力部）、３１１・・・自端末制御部、３０６１・・・制御情報解析部、３０６２・・・マスキング処理部、３０６３・・・表示倍率算出判定部、３０６４・・・縮小・拡大処理部、３０６５・・・表示位置算出部、３０６６・・・マッピング処理部。

Claims (12)

1. 受信した画像データおよび音声データを再生する通信端末であって、
   画像を表示する表示手段と、
   前記表示手段に特定のエリアを抽出されて表示すべき複数の画像の各々を表示する表示エリアを形成可能で、所定の情報に基づいて前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、前記表示手段の表示画面上に複数の表示エリアを形成する制御手段と、を有し、
   前記制御手段は、１つ以上の表示エリアが局所領域にて継続的に動き続ける状態にあるか否かを判定し、振動状態であると判定すると表示エリアを固定する機能を有する
   通信端末。
2. 受信した画像データおよび音声データを再生する通信端末であって、
   画像を表示する表示手段と、
   前記表示手段に特定のエリアを抽出されて表示すべき複数の画像の各々を表示する表示エリアを形成可能で、所定の情報に基づいて前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、前記表示手段の表示画面上に複数の表示エリアを形成する制御手段と、を有し、
   前記制御手段は、前記表示エリアが安定状態にあるか否かを判定する機能を有する
   通信端末。
3. 受信した画像データおよび音声データを再生する通信端末であって、
   画像を表示する表示手段と、
   前記表示手段に特定のエリアを抽出されて表示すべき複数の画像の各々を表示する表示エリアを形成可能で、所定の情報に基づいて前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、前記表示手段の表示画面上に複数の表示エリアを形成する制御手段と、を有し、
   前記制御手段は、１つ以上の表示エリアが局所領域にて継続的に動き続ける状態にあるか否かを判定し、振動状態であると判定すると表示エリアを固定する機能と、前記表示エリアが安定状態にあるか否かを判定する機能とを有する
   通信端末。
4. 前記制御手段は、
   一定期間（ｎ）において、表示エリア個数の変動がなく、各表示エリアの音声の大きさの変動がなく、さらに、スクリーンの位置の変動があり、変動が閾値(Pthresh0)以下であり、スクリーンの表示倍率の変動が閾値（Rthresh0）以下である場合、振動状態にあると判定する
   請求項１または３記載の通信端末。
5. 前記制御手段は、振動状態中、前記期間中の表示倍率の二乗総和値（R)が最も大きい状態の配置に固定する
   請求項４記載の通信端末。
6. 前記制御手段は、一定期間（ｍ）において、表示エリア個数の変動がなく、各表示エリアの音声の大きさの変動がなく、さらに、表示エリアの位置の変動が閾値（Pthresh1）以下であり、表示エリアの表示倍率の変動が閾値（Rthresh1）以下である場合、安定状態にあると判定する
   請求項２または３記載の通信端末。
7. 前記制御手段は、一定期間において、表示エリア個数の変動がなく、各表示エリアの音声の大きさの変動がなく、さらに、表示エリアの位置の変動が閾値（Pthresh1）以下であり、表示エリアの表示倍率の二乗総和比が閾値（Rthresh2）以下である場合、局所安定状態にあると判定する
   請求項２、３、または６記載の通信端末。
8. 前記制御手段は、安定と判断した場合に表示エリアの位置配置の再配置を促す攪拌処理機能を有する
   請求項２、３、６、または７記載の通信端末。
9. 前記制御手段は、画面上に仮の中心を配し、各中心における表示倍率の内、最も小さい値を取得する位置を攪拌用の表示エリアの中心とし、一定期間、攪拌用の表示エリアを生成、更新し、消滅することによって、攪拌を行う
   請求項８記載の通信端末。
10. 前記制御手段は、攪拌処理の実行回数(S)が閾値（Sthresh）を越える場合、安定状態にあると判断し、攪拌処理を停止する
    請求項８または９記載の通信端末。
11. 受信した画像データ、音声データを再生する通信端末の表示方法であって、
    特定のエリアを抽出されて表示すべき複数の画像の前記表示エリアの表示倍率を算出し、
    当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、表示画面上に複数の表示エリアを形成し、
    表示すべき画像を含む複数の表示エリアを表示し、
    １つ以上の表示エリアが局所領域にて継続的に動き続ける状態にあるか否かを判定し、振動状態であると判定すると表示エリアを固定する
    通信端末の表示方法。
12. 受信した画像データ、音声データを再生する通信端末の表示方法であって、
    特定のエリアを抽出されて表示すべき複数の画像の前記表示エリアの表示倍率を算出し、
    当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、表示画面上に複数の表示エリアを形成し、
    表示すべき画像を含む複数の表示エリアを表示し、
    前記表示エリアが安定状態にあるか否かを判定し、安定と判断された場合に、表示エリアの位置配置の再配置を促す攪拌処理を行う
    通信端末の表示方法。
    
    

Images