JP2010004573A - 通信端末およびその表示方法 - Google Patents

通信端末およびその表示方法 Download PDF

Info

Publication number
JP2010004573A
JP2010004573A JP2009231147A JP2009231147A JP2010004573A JP 2010004573 A JP2010004573 A JP 2010004573A JP 2009231147 A JP2009231147 A JP 2009231147A JP 2009231147 A JP2009231147 A JP 2009231147A JP 2010004573 A JP2010004573 A JP 2010004573A
Authority
JP
Japan
Prior art keywords
image
screen
size
communication terminal
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009231147A
Other languages
English (en)
Inventor
Kugo Morita
空悟 守田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2009231147A priority Critical patent/JP2010004573A/ja
Publication of JP2010004573A publication Critical patent/JP2010004573A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

【課題】ユーザが操作することなく、状況に応じて適応的に、最適にスクリーンのサイズ、位置を更新することができる通信端末およびその表示方法を提供する。
【解決手段】表示画像制御部306の制御の下、送信元のアドレスに基づいて、各々のパケットを関連付けて処理をする。同送信元アドレスからの音声情報(VoIP)の音圧(音量)に基づいて、同送信元アドレスからの映像情報のパケットのマッピングするスクリーンサイズを算出し、また、同送信元アドレスからの制御情報のパケットに記載された天地情報、指示情報などに基づいて、同スクリーンの天地補正を行ったり、指示キャラクタを表示したりする。
【選択図】図3

Description

本発明は、携帯電話機等の通信端末およびその表示方法に係り、特に、多地点通信可能な通信端末およびその表示方法に関するものである。
多地点通信としての代表としては、テレビ会議システムがある。テレビ会議システムでは、MCU(Multi-point Control Unit)を介して複数の端末が接続する。MCUは、多数の端末から送られてきた画像データを1つの画面上に分割合成し、音声データとともに、各々の端末に送信することにより、多地点をつないだテレビ会議を実現する。
基本的に、各拠点の画像を1つの画像に分割合成する場合、
(1)1つの画像を等分割する場合(たとえば4分割、9分割)と、
(2)1つ大きな画像領域を取り、残りの領域を等分割に分割して合成する場合と、
がある(たとえば6分割)。
(1)の場合、MCUで結んでいる拠点からの画像が同じ面積を使って合成される。
(2)の場合、話している拠点を大きな面積を割り当て、残りの拠点からの画像を残りの等分割された領域に割り当てて、合成する。
いずれの場合でも、テレビ会議システムでは、大画面のモニタを用いて行うために、複数の拠点の画像を1つの画像に分割合成しても、個々の拠点を映す画像のサイズは充分な大きさを有し、一人で映っている分には、その人の顔が認識困難になるということはない。テレビ会議システムとしては、たとえば特許文献1,2等に開示されている。
図1(A)〜(E)は、一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ(PC)等の端末の表示画面例を示す図である。
図1の例においては、画面1を先に決められた枠(四角形)のウィンドゥに分割する。
たとえば、画面1は1つの大きなウィンドゥ(四角形)2と複数の小さなウィンドゥ(四角形)3−1〜3−5から形成され、話し手を大きなウィンドゥ2に表示する。
この場合、ウィンドゥのサイズ、および分割数は固定的であり、撮像された画像をそのまま表示しているため、撮影の状態に応じて、顔の大きさが変動する。
一般的なPCのウィンドゥ制御の場合、マウスでウィンドゥをドラッグすることにより、ウィンドゥのサイズの変更、ウィンドゥの選択を自由に行うことが可能である。
ところで、携帯電話機等の携帯通信端末は、音声通話だけでなく、メール、Webアクセ
ス、ゲーム、カメラ、テレビ電話、メディアプレィア、ラジオ、テレビなど年々高機能化されている。
現行、携帯通信端末でのテレビ電話は、発呼時に、テレビ電話で接続することを選択するものである。
しかしながら、パケット通信への対応が進むことにより、音声通話自体がパケット通信に対応したVoIPが使用され、通話中にカメラを起動し、音声および映像での通話に切り替えたり、また逆に、カメラを停止し、音声通話のみにしたりといった使い方が主要となる。さらに、通話中の相手に、自端末に保存している文書(ex. メール)、住所データ、画像(静止画像、動画像)、音声などを送って、(通話相手にて自動的に再生され、)同時に観たり、Webサイトを同時に観たりすることが可能となる。
このように、高機能化により携帯通信端末がIP化された場合、同時に複数の相手(サーバを含む)と通信を行うことが可能となる。
この場合、一つの端末で複数のスクリーンを取り扱う必要がある。複数のスクリーンを取り扱う方法としては、(PDAなどで)ページめくり的に取り扱う方法がある。
特開平06−141310号公報 特開平06−141311号公報
今後想定される携帯通信端末の利用シーンのひとつとして、複数の人とTV通話しながら、web、ファイル、動画像、音楽の共有化がある。
しかしながら、携帯通信端末の画面は非常に小さく、前述したページめくり的な扱い方法では、実現はできない。
テレビ会議システムの画面設定は、前もって設定しておく必要がある。このため、取り扱い画面数が想定数を越えた場合、表示することはできなくなる。
パーソナルコンピュータ(PC)におけるスクリーンの場合に対して、携帯通信端末では、操作キーの数に限界がある。いくつかのキーにて操作を可能としても、実際に画面上でスクリーンを最適に移動すること、サイズ変更することは困難である。
本発明の目的は、ユーザが操作することなく、状況に応じて適応的に、最適にスクリーンのサイズ、位置を更新することができる通信端末およびその表示方法を提供することにある。
本発明の第1の観点の携帯通信端末は、受信した画像データ、音声データを再生する通信端末であって、画像データから特定(顔)のエリアを抽出する抽出手段と、(前記画像データと同送信元から送られた)前記音声データの大きさ(音量)に基づいて、前記抽出した画像のサイズを制御する制御手段と、前記(サイズの)画像を表示する表示手段と、を含む。
好適には、前記制御手段は、前記表示手段の表示範囲と前記画像との重なり度合いに基づき、前記画像の配置を制御する。
好適には、前記表示する画像が複数ある場合であって、前記制御手段は、前記画像同士の重なりの度合いに基づき、前記画像の配置を制御する。
好適には、前記制御手段は、前記抽出手段にて特定エリアを抽出した場合、サイズが制御された表示すべき画像を含む画像表示エリアの形状として、当該特定エリアを包含し、特定エリア以外の部分を最小とする円形を選択する。
好適には、前記制御手段は、前記抽出手段にて、特定エリアが抽出されなかった場合、画像を風景と判定し、画像表示エリアの形状として、円形以外を選択する。
好適には、前記制御手段は、前記抽出手段にて抽出された特定エリアの数が一定値以上の場合、画像を風景と判定し、画像表示エリアの形状として円形以外を選択する。
好適には、前記制御手段は、前記抽出手段にて抽出された特定エリアの数が一定値以下の場合、特定エリアの面積が最も大きい特定エリアに合わせて、画像表示エリアの形状を選択する。
好適には、前記制御手段は、前記抽出手段にて抽出された特定エリアの形が、推定される特定エリアの面積に対して一定値以下の場合、画像を風景と判定し、画像表示エリアの形状として円形以外を選択する。
好適には、前記制御手段は、受信画像と同送信元からの要求形状に応じて、表示画像の形状を選択する。
好適には、前記制御手段は、自端末の操作手段からの要求に応じて、画像表示エリアの形状を選択する。
好適には、画像表示エリアには、他の表示エリアとの重なりを許容するエリアを有し、サイズが大きい方の上に、サイズの小さい表示エリアが、前記許容エリアまで重なることを許容する重なり許容エリアを有する。
好適には、画像表示エリアは、画面上を移動し、他の表示エリアと衝突した場合、衝突した表示エリアの大きさに応じて、移動方向を変える。
好適には、画像表示エリアは、画面上を移動し、画面枠に衝突した場合、自画像表示エリアの大きさに応じて、移動方向を変える。
好適には、前記制御手段は、同送信元から受信した現在の音声の音量、および過去に受信した音声の音量に基づいて、画像表示エリアのサイズを算出する。
好適には、サイズが制御された画像をマッピングするマッピング手段を有し、前記マッピング処理手段は、マッピングするエリアが一定サイズ以下になった場合、受信画像の変わりに、送信元に関連付けられたキャラクタをマッピングする。
好適には、画像補正手段を有し、前記マッピング手段にて、同一画像上に形成された表示エリアの群を包含する四角形のサイズが、前記表示手段の画面サイズを越える場合、前記画像補正手段は、表示エリア群のサイズが、画面サイズ以下になるように規格化する。
好適には、画像補正手段を有し、前記マッピング手段によるマッピング処理にて、同一画像上に形成されたスクリーンの群を包含する四角形の縦、横のサイズが、前記表示手段の画面の縦、横のサイズを越える場合、前記画像補正手段は、スクリーン群の四角形の枠を、画面に合わせ圧縮し、表示エリア群の位置を衝突による再配置処理を施す。
好適には、受信した画像に関連付けられて受信した天地情報に基づいて、受信した画像の天地を端末画面の天地と一致するように補正する天地補正手段を有する。
好適には、前記制御手段は、送信元の指示情報に基づいて表示に関する制御を行い、前記送信元の指示情報は、指示された画像の送信元の識別する情報(たとえば.IPアドレス
、MACアドレス)と、受信した画像上の位置を示す位置情報とを含む。
好適には、送信元は、画面上、指示した位置にスクリーンが存在する場合、対応する指示情報を生成し、同通信中の相手に対して送出する。
本発明の第2の観点は、受信した画像データ、音声データを再生する通信端末の表示方法であって、画像データから特定(顔)のエリアを抽出し、(前記画像データと同送信元から送られた)前記音声データの大きさ(音量)に基づいて、前記抽出した画像のサイズを制御し、前記(サイズの)画像を表示する。
本発明によれば、ユーザが操作することなく、状況に応じて適応的に、最適にスクリーンのサイズ、位置を更新することができる。
一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ(PC)等の端末の表示画面例を示す図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、エンコード装置を示すブロック図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、デコード装置を示すブロック図である。 スクリーン表示制御について説明するための図であって、円形ウィンドウの説明図である。 スクリーン表示制御について説明するための図であって、円形ウィンドウの表示枠との重なり、ウィンドウ同士の重なりに対応処理の説明図である。 スクリーン表示制御について説明するための図であって、円形ウィンドウのサイズが一定サイズ以下の場合にキャラクタを表示する処理の説明図である。 スクリーン表示制御について説明するための図であって、音圧や会話時間に応じて円形ウィンドウの大きさ変える場合の説明図である。 スクリーン表示制御について説明するための図であって、円形ウィンドウが衝突する場合の処理の説明図である。 スクリーン表示制御について説明するための図であって、受信画像から顔エリアの抽出処理の説明図である。 スクリーン表示制御について説明するための図であって、受信画像から顔エリアの抽出処理後の切り出し処理の説明図である。 スクリーン表示制御について説明するための図であって、切り出しエリアが受信画像からはみ出した場合の対応処理の説明図である。 スクリーン表示制御について説明するための図であって、顔エリアの面積に応じた処理の説明図である。 スクリーン表示制御について説明するための図であって、顔判定されたエリアが複数ある場合の対応処理の説明図である。 スクリーン表示制御について説明するための図であって、通信相手が横になった場合の対応処理の説明図である。 スクリーン表示制御について説明するための図であって、自端末が横になった場合の対応処理の説明図である。 スクリーン表示制御について説明するための図であって、仮想画像上への仮配置処理の説明図である。
以下、本発明の実施形態を図面に関連付けて説明する。
図2および図3は、本発明の実施形態に係る携帯通信端末の構成例を示す図であって、図2はエンコード装置を示すブロック図であり、図3はデコード装置を示すブロック図である。
本携帯通信端末10は、送信元となるエンコード装置20と、受信側とあるデコード装置30とを有し、多地点通信可能に構成される。
エンコード装置20は、符号化した音声データ、画像データを、受信側端末に対する指示情報や画像の天地情報等を付加してパケットとしてネットワークに送信する機能を有する。
音声データおよび画像データに付加される送信元の指示情報は、指示された画像の送信元の識別する情報(たとえ、IPアドレス、MACアドレス)と、受信した画像上の位置を示す位置情報とを含む。
送信元となるエンコード装置20は、送信元は、画面上、指示した位置にスクリーン(
スクリーンについては後で詳述する)が存在する場合、対応する指示情報を生成し、同通
信中の相手に対して送出する機能を有する。
図2のエンコード装置20は、マイクロフォン等からなる音声入力部201、デジタルカメラ等の画像入力部202、キー入力等が可能な操作部203、音声入力部201により入力される音声データを符号化する音声符号化処理部204、画像入力部202から入力される画像データを符号化する画像符号化処理部205、操作部203の入力情報に基づいて端末を制御する端末制御部206、画像・映像を記憶する記憶部207、端末制御部206の指示に基づいて指示情報や天地情報等の制御情報を生成する制御情報生成部208、符号化された音声データおよび画像データ、制御情報、端末制御部206の指示に基づいて記憶部207から読み出された画像・映像データを送信パケットとして生成する送信パケット生成部209、およびネットワークと無線通信可能で生成された送信パケットをネットワークを介して通信相手の端末やサーバに送信するネットワークインタフェース(I/F)210を有する。
デコード装置30は、通信相手(送信元)のエンコード装置20から送信されネットワークを介して受信した音声データ、画像データを再生する機能を有する。
デコード装置30は、たとえば多地点通信を行っている場合に、受信画像の特定エリアである顔を抽出(検出)し、この抽出した顔エリアに基づいて使用するスクリーン(サイズが制御された表示エリア)を選択して表示する機能を有する。
デコード装置30は、このスクリーンの表示に際し、デッドゾーンをなくした円形(楕円形を含む概念である)ウィンドゥにて分割する機能を有する。
円形(楕円形)ウィンドウに分割するように構成したのは、以下の理由による。
一般的に、画面の分割は、長方形で行っていた。人間の顔は基本的に楕円形であり、長方形の四隅はデットゾーンとなる。このデッドゾーンが、顔を表示するエリアを結果的に狭く(小さく)している。
よって、本実施形態においては、このデッドゾーンをなくした円形(楕円形)ウィンドゥにて分割するように構成している。具体的な処理については、後で図面に関連付けて詳述する。
デコード装置30は、送信元のアドレスに基づいて、各々のパケットを関連付けて処理をする。デコード装置30は、同送信元アドレスからの音声情報(VoIP)の音圧(音量)に基づいて、同送信元アドレスからの映像情報のパケットのマッピングするスクリーンサイズを算出する。また、デコード装置30は、同送信元アドレスからの制御情報のパケットに記載された天地情報、指示情報などに基づいて、同スクリーンの天地補正を行ったり、指示キャラクタを表示したりする機能を有する。
デコード装置30は、各スクリーンの表示位置を算出し、受信した画像と、スクリーン情報(形状)、サイズ情報に基づいて、仮想の画面上にスクリーンを配置する。配置した全てのスクリーンを包含する四角形について、面積が画面の面積を越える場合、仮配置の面積が画面の面積と同等になるように、相似変換する。
相似変換した際の変換率は、次の時刻におけるサイズ補正に用いる。
また、デコード装置30は、仮配置の面積が画面の面積と同等以下の場合で、仮配置の縦、横の長さが、画面の縦、横の長さより大きい場合、圧縮して長さを同等にする機能を有する。
なお、本実施形態においては、配置された個々のスクリーンに外圧が加わった場合、各々のスクリーンは外圧の大きさに依存して移動するものとする。
図3のデコード装置30は、ネットワークと無線通信可能で送信元から送信された音声データ、画像(映像)データ、制御情報や指示情報を含むパケットを受信するネットワークインタフェース(I/F)301、キー入力等が可能な操作部302、ネットワークインタフェース301で受信されたパケットを解析し、音声データ、画像データ、送信元アドレス、制御情報(天地情報や指示情報)を抽出する受信パケット解析部303、受信パケット解析部303により抽出された音声データを復号する音声復号処理部304、受信パケット解析部303により抽出された映像データを復号する映像復号処理部305、映像復号処理部305により復号された映像データ、送信元アドレス、制御情報、および/または音声復号処理部304により復号された音声データに基づいて表示すべきスクリーン(
表示ウィンドウ)のサイズや表示形態を制御する表示画像制御部306、音声復号処理部
304により復号された音声の音量を修正する音量修正部307、音量修正部307で修正された音量で発音するスピーカ等の音声出力部308、表示画像制御部306によりサイズや表示形態が制御された画像を補正する画像補正部309、画像補正部309を介した画像を表示するLCD等の表示部(画像出力部)310、および操作部302からの入力情報に基づいて表示画像制御部306に制御情報(天地情報)を与える自端末制御部311を有する。
なお、エンコード装置20とデコード装置30は、操作部203と302、ネットワークインタフェース210と301、端末制御部206と自端末制御部311は共用することが可能である。
以下に、本実施形態の特徴部分である表示画像制御部306のより具体的な構成および機能、並びにスクリーンの具体的な表示形態例について順を追って説明する。
表示画像制御部306は、基本的に、画像データから特定(顔)のエリアを抽出(検出)する抽出機能(検出機能)と、画像データと同送信元から送られた音声データの大きさ(音量)情報に基づいて、抽出した画像のサイズを制御する制御機能と、を有している。
制御機能は、表示部310の表示範囲と表示すべき画像との重なり度合いに基づき、表示すべき画像の配置を制御する機能を含む。
さらに、制御機能は、表示すべき画像が複数ある場合は、表示すべき画像同士の重なりの度合いに基づき、表示すべき画像の配置を制御する機能を含む。
図2の表示画像制御部306は、受信した画像に関連付けられた天地情報に基づいて、受信した画像の天地を表示部310の画面(端末画面)の天地と一致するように補正する天地補正部3061、受信画像から顔のエリアを検出、抽出する顔エリア検出部3062、顔エリア検出部3062にて検出された顔エリアに基づいて使用するスクリーンを判別するスクリーン判別部3063、スクリーン判別部3063の判定に基づいて受信画像から該当するエリアを切り出す切り出し部3064、受信画像と同送信元から送られた受信音声の音量に応じてスクリーンのサイズを算出するサイズ算出部3065、サイズ算出部3065の算出結果に基づいて切り出し部3064にて切り出した画像を縮小・拡大する縮小・拡大処理部3066、表示位置を算出する表示位置算出部3067、および表示位置算出部3067にて得られた表示部310上の位置に縮小・拡大処理部3066にて得られた画像をマッピングするマッピング処理部3068を有する。
スクリーン判定部3063は、顔エリア検出部3062にて特定(顔)エリアを検出した場合、スクリーン形状としてこの顔(特定)エリアを包含し、顔エリア以外の部分を最小とする円形(楕円)を選択する。
スクリーン判定部3063は、顔エリア検出部3062にて、顔(特定)エリアが検出されなかった場合、画像を風景と判定し、スクリーン形状として円形以外の形状、たとえば四角形を選択する。
また、スクリーン判定部3063は、顔エリア検出部3062にて、抽出された顔(特
定)エリアの数が一定値以上の場合、画像を風景と判定し、スクリーン形状として円形以
外の形状、たとえば四角形を選択する。
スクリーン判定部3063は、顔エリア検出部3062にて、抽出された顔(特定)エリアの数が一定値以下の場合、顔エリアの面積がもっとも大きい顔エリアに合わせて、スクリーンを選択する。
スクリーン判定部3063は、顔エリア検出部3062にて、抽出された顔エリアの面形が、推定される顔エリアの面積に対して一定値以下の場合、画像を風景と判定し、スクリーン形状として円形以外の形状、たとえば四角形を選択する。
また、スクリーン判定部3063は、受信画像と同送信元からの要求形状に応じて、スクリーンの形状を選択する。
また、スクリーン判定部3063は、自端末制御部311により与えられる操作部302からの要求情報(制御情報)に応じて、スクリーン形状を選択する機能を有している。
サイズ算出部3065は、同送信元から受信した現在の音声の音量、および過去に受信した音声の音量に基づいて、スクリーンのサイズを算出する。
マッピング処理部3068は、マッピングするエリアが一定サイズ以下になった場合、受信画像の変わりに、送信元に関連付けられたキャラクタをマッピングする。
マッピング処理部3068にて、同一画像上に形成されたスクリーンの群を包含する四角形のサイズが、画像出力部とし手の表示部310の画面サイズを越える場合、画像補正部309は、スクリーン群のサイズが、画面サイズ以下になるように規格化する機能を有している。
また、マッピング処理部3068によるマッピング処理にて、同一画像上に形成されたスクリーンの群を包含する四角形の縦、横のサイズが、画像出力部としての表示部310の画面の縦、横のサイズを越える場合、画像補正部309は、スクリーン群の四角形の枠を、画面に合わせ圧縮し、スクリーン群の位置を衝突による再配置処理を施す機能を有している。
次に、本実施形態に係る表示画像制御部306によりサイズおよび表示形態が制御されるスクリーンについてより具体的に説明する。
基本的に、本実施形態におけるスクリーンには、他のスクリーンとの重なりを許容するエリアを有し、サイズが大きい方の上に、サイズの小さいスクリーンが、許容エリアまで重なることを許容する重なり許容エリアを有する。
また、スクリーンは、表示部310の画面上を移動し、他のスクリーンと衝突した場合、衝突したスクリーンの大きさに応じた力を受け、移動方向を変えるように制御される。
また、スクリーンは、表示部310の画面上を移動し、画面枠に衝突した場合、自スクリーンの大きさに応じた力を受け、移動方向を変えるように制御される。
本実施形態の表示画像制御部306によりサイズおよび表示形態が制御されるスクリーンは、1つの画面上に複数のスクリーンを表示するマルチ・スクリーンとして表示される。
スクリーンは、各々の独立に画面上を移動し、他のスクリーンと重なり合う、もしくは画面枠と重なり合うと判断された場合、重なりを回避するように、移動方向、移動速度を変化させ、さらに、スクリーンは、各々の表示内容の送信元の状況、および受信状況に応じて、スクリーンのサイズを変化するように制御される。
各々のスクリーンは、スクリーンの代表位置、移動速度、実サイズ、要求サイズ、収縮速度を有し、スクリーン表示の情報元からの要求サイズの更新がない場合、収縮速度に応じて、先の要求サイズを収縮するように制御される。
さらに、各々のスクリーンの要求サイズの総和が、画面のサイズを越える場合、画面のサイズにて、要求サイズを規格化することにより、全スクリーンを画面内に納まるように制御される。
より具体的には、スクリーンは、各々代表位置座標(P)、移動速度(V)、実サイズ(R)、要求サイズ(r)の情報を有する。
スクリーンは、微小時間ΔTに、移動速度(V)にて、画面上を移動する。代表位置座標Pは次式で与えられる。
(数1)
P(T+ΔT)=P(T)+V(T)
表示画像制御部306は、画面上は有限空間であり、スクリーンが、画面の境界線と重なると判断した場合、スクリーンの移動方向を変える。移動速度Vは次式で与えられる。
(数2)
V(T+ΔT)=V(T)×H(鏡面反射)
移動方向と画面の境界線の鉛直、画面内側方向のベクトルである。
表示画像表示部306は、他のスクリーンと重なると判断した場合、双方の移動速度(V)、および要求サイズ(r)に応じて、移動速度を変化する。変化する移動速度は次式で与えられる。
(数3)
V0(T+ΔT)=V0(T)+(V1(T)×r1(T)+V0(T)×r0(T))/r0(T)
スクリーンは、次式に従って微小時間ΔTに、サイズを要求サイズに変更される。
(数4)
R(T+ΔT)=r(T)
ただし、表示画像制御部306は、サイズ変更した際に、スクリーンが画面の境界線と重なった場合、重ならない最大サイズに変更する。
また、他のスクリーンと重なった場合、重ならない最大サイズに変更する。
本実施形態において、アプリケーションの起動、テレビ(TV)通話における接続、Webサイトなどからのダウンロードファイルの再生などの開始に伴い、スクリーンを新たに
画面上に生成する場合、このスクリーンの要求サイズは、最大とする。
アプリケーション毎(TV通話、Webサイトなどからのダウンロードファイルの再生な
ども含む)に、スクリーンのサイズの収縮速度(S(<1))を有する。情報の提供元、アプリケーション、ないしユーザからの要求サイズの更新がない場合、次式のように、その更新がない時間間隔(D)に応じて、スクリーンサイズを収縮する。
(数5)
R´(T)=R(T)×S×D
たとえば、TV電話による通話先から、何の変化もない映像、音声が送信されてきている場合、5分で1/2のサイズになる程度の収縮速度(S)を設定する。一方、Webサイ
トから映画などのストリーミングを受信している場合、より長い時間、例えば、30分で1/2のサイズになる程度の収縮速度を設定する。
情報の提供元、アプリケーションからの要求サイズの更新の例を以下に示す。
TV通話の場合、送信元の音声の音量に応じて、要求サイズを算出する。
テキスト・エディタに分類されるアプリケーションの場合、要求サイズは一定サイズとする。
音楽録画、再生に分類されるアプリケーションの場合、要求サイズは一定サイズ(最小)とする。
映画などの再生に分類されるアプリケーションの場合、要求サイズは一定サイズ(最大)とする。
スクリーン全ての要求サイズの総和が、画面サイズ(A)を越える場合、次式に基づき、要求サイズを画面サイズで規格化する。
(数6)
r(T)=r(T)×A/Σ(r(T))
複数のスクリーンの要求サイズが最大となり、かち合う場合、ΔTを微小時間として、移動計算、収縮計算を繰り返すことにより、要求サイズに応じた画面上、最大サイズのスクリーンとなるとともに、前記サイズにて全スクリーンが画面上に収まるように、各々のスクリーンが衝突を繰り返し移動することにより、最適な配置に収まることとなる。
また、スクリーンに表示されている内容の重要性に応じて、スクリーン同士が重なりあい、スクリーンの表示内容を隠すことをなく、スクリーンのサイズの更新、および再配置を自動的に適応的に行う。
また、表示スクリーンそのもののサイズを大小変更していくため、何のスクリーンが拡大されたのか容易に判断することが可能となる。
次に、上述したようサイズおよび表示形態が制御される表示部310におけるスクリーン表示制御について、図4から図15に関連付けて説明する。
本実施形態においては、前述したように、デッドゾーンをなくした円形(楕円形)ウィンドゥにて分割する。
図4に示すように、円形ウィンドウ100は、図4に示すように、外円101の内側に少し狭い円形エリア102を有し、受信画像から顔エリアを抽出し、狭い円形エリア101(重なり境界線内)に収まるように、画像全体を拡大・縮小し、マッピングする。
本実施形態においては、図5に示すように、円形ウィンドウ100の外円101と、重なり許容線の間(重なり許容エリア)には、同サイズ以下の円形ウィンドウが重なることが可能となっている。
重なり許容エリアは、表示部310の表示枠3101の外にはみ出すことが可能である。
また、図6に示すように、円形ウィンドウ100のサイズがあらかじめ設定した一定サイズ以下の場合、そのウィンドウの当事者に対応するキャラクタや電話帳等で保存してある画像等を顔の代わりに表示してもよい。
図7に示すように、話者の音圧、および/または、話している時間に応じて、次式に従い円形ウィンドウの大きさを変動させてもよい。
(数7)
V(t)=f(v(t))+β・v(t−1)
ただし、V(t)は時間tのウィンドウのサイズを、v(t)は時間tの音圧を、f(*)は音圧からサイズを算出する関数を、βは係数(<1)をそれぞれ示している。
図8に示すように、円形ウィンドウ100の外線101、または重なり許容線にウィンドウが衝突すると、その大きさに応じた力で押す。また、押され、移動する。
画面枠線3101に許容線が衝突すると、大きさに応じた力で押し返される。
図9および図10に示すように、受信画像から、顔の特徴点111を検索し、輪郭抽出を行って顔を抽出する。そして、一度、顔エリアを抽出した場合、動きベクトルに応じて顔エリアの追従を行って、切り出しを行う。
図11に示すように、切り出しエリアが、受信画像から、顔が出て行った場合(はみ出
し場合)、動きベクトルから切り出し可能なエリアを推定し、円形スクリーン(ウィンドウ)を見えている部分だけにする。
推定された顔エリアのサイズに対する画面上に残っている顔画像の比が一定値以下になった場合、その顔を対象外とする。
図12に示すように、顔エリアの面積が一定値以上の場合、受信画像を「人物画像」と判別する。顔エリアの面積が一定値以下の場合、受信画像を「非人物画像」と判別する。
「人物画像」と判別した場合、円形スクリーンとする。「非人物画像」と判別した場合、四角形スクリーンとする。「非人物画像」であっても、同送信元からの音圧に応じて、表示サイズを変動させる。
図13に示すように、顔として判定されたエリアが複数ある場合であって、個数が一定値以下の場合、面積の大きいほうを優先し、個数が一定値以上の場合、非人物と同様、四角形スクリーンで表示する。
図14に示すように、通信相手の端末が横になった場合、相手端末からの天地情報に基づいて、画像を回転し、顔エリアの切り出し、マッピングを行う。
図15に示すように、自端末が横になった場合、自端末からの天地情報に基づいて、画像を回転し、顔エリアの切り出し、マッピングを行う。
各スクリーンの表示位置を算出し、受信した画像と、スクリーン情報(形状)、サイズ情報に基づいて、図16に示すように、仮想の画面上にスクリーンを配置する。配置した全てのスクリーンを包含する四角形について、面積が画面の面積を越える場合、仮配置の面積が画面の面積と同等になるように、相似変換する。
相似変換した際の変換率は、次の時刻におけるサイズ補正に用いる。
また、仮配置の面積が画面の面積と同等以下の場合で、仮配置の縦、横の長さが、画面の縦、横の長さより大きい場合、圧縮して長さを同等にする。なお、配置された個々のスクリーンに外圧が加わった場合、各々のスクリーンは外圧の大きさに依存して移動するものとする。
以上説明したように、本実施形態によれば、表示画像制御部306の制御の下、送信元のアドレスに基づいて、各々のパケットを関連付けて処理をする。同送信元アドレスからの音声情報(VoIP)の音圧(音量)に基づいて、同送信元アドレスからの映像情報のパケットのマッピングするスクリーンサイズを算出し、また、同送信元アドレスからの制御情報のパケットに記載された天地情報、指示情報などに基づいて、同スクリーンの天地補正を行ったり、指示キャラクタを表示したりすることが可能であるので、ユーザが操作することなく、状況に応じて適応的に、最適にスクリーンのサイズ、位置を更新することができる。
その結果、複数端末の接続時であっても、通話中の相手を確認しやすく、また、画像(
スクリーン)は重ならないように制御されることから、会話している全員の状態が一目で
確認することができる。また、新たな参加人にも容易に対応することができる。
10・・・携帯通信端末、20・・・エンコード装置、201・・・音声入力部、202・・・画像入力部、203・・・操作部、204・・・音声符号化処理部、205・・・画像符号化処理部、206・・・端末制御部、207・・・記憶部、208・・・制御情報生成部、209・・・送信パケット生成部、210・・・ネットワークインタフェース(I/F)、30・・・デコード装置、301・・・ネットワークインタフェース(I/F)、302・・・操作部、303・・・受信パケット解析部、304・・・音声復号処理部、305・・・映像復号処理部、306・・・表示画像制御部、307・・・音量修正部、308・・音声出力部、309・・・画像補正部、310・・・表示部(画像出力部)、311・・・自端末制御部、3061・・・天地補正部、3062・・・顔エリア検出部、3063・・・スクリーン判別部、3064・・・切り出し部、3065・・・サイズ算出部、3066・・・縮小・拡大処理部、3067・・・表示位置算出部、3068・・・マッピング処理部。

Claims (21)

  1. 受信した画像データ、音声データを再生する通信端末であって、
    画像データから特定のエリアを抽出する抽出手段と、
    前記音声データの大きさに基づいて、前記抽出した画像のサイズを制御する制御手段と、
    前記画像を表示する表示手段と、
    を含むことを特徴とする通信端末。
  2. 前記制御手段は、前記表示手段の表示範囲と前記画像との重なり度合いに基づき、前記画像の配置を制御する
    ことを特徴とする請求項1に記載の通信端末。
  3. 前記表示する画像が複数ある場合であって、
    前記制御手段は、前記画像同士の重なりの度合いに基づき、前記画像の配置を制御する
    ことを特徴とする請求項1または2に記載の通信端末。
  4. 前記制御手段は、前記抽出手段にて特定エリアを抽出した場合、サイズが制御された表示すべき画像を含む画像表示エリアの形状として、当該特定エリアを包含し、特定エリア以外の部分を最小とする円形を選択する
    ことを特徴とする請求項1から3のいずれか一に記載の通信端末。
  5. 前記制御手段は、前記抽出手段にて、特定エリアが抽出されなかった場合、画像を風景と判定し、画像表示エリアの形状として、円形以外を選択する
    ことを特徴とする請求項1から4のいずれか一に記載の通信端末。
  6. 前記制御手段は、前記抽出手段にて抽出された特定エリアの数が一定値以上の場合、画像を風景と判定し、画像表示エリアの形状として円形以外を選択する
    ことを特徴とする請求項1から5のいずれか一に記載の通信端末。
  7. 前記制御手段は、前記抽出手段にて抽出された特定エリアの数が一定値以下の場合、特定エリアの面積が最も大きい特定エリアに合わせて、画像表示エリアの形状を選択する
    ことを特徴とする請求項1から6のいずれか一に記載の通信端末。
  8. 前記制御手段は、前記抽出手段にて抽出された特定エリアの形が、推定される特定エリアの面積に対して一定値以下の場合、画像を風景と判定し、画像表示エリアの形状として円形以外を選択する
    ことを特徴とする請求項1から7のいずれか一に記載の通信端末。
  9. 前記制御手段は、受信画像と同送信元からの要求形状に応じて、表示画像の形状を選択する
    ことを特徴とする請求項3から8のいずれか一に記載の通信端末。
  10. 前記制御手段は、自端末の操作手段からの要求に応じて、画像表示エリアの形状を選択する
    ことを特徴とする請求項3から9のいずれか一に記載の通信端末。
  11. 画像表示エリアには、他の表示エリアとの重なりを許容するエリアを有し、サイズが大きい方の上に、サイズの小さい表示エリアが、前記許容エリアまで重なることを許容する重なり許容エリアを有する
    ことを特徴とする請求項3から10のいずれか一に記載の通信端末。
  12. 画像表示エリアは、画面上を移動し、他の表示エリアと衝突した場合、衝突した表示エリアの大きさに応じて、移動方向を変える
    ことを特徴とする請求項3から11のいずれか一に記載の通信端末。
  13. 画像表示エリアは、画面上を移動し、画面枠に衝突した場合、自画像表示エリアの大きさに応じて、移動方向を変える
    ことを特徴とする請求項3から12のいずれか一に記載の通信端末。
  14. 前記制御手段は、同送信元から受信した現在の音声の音量、および過去に受信した音声の音量に基づいて、画像表示エリアのサイズを算出する
    ことを特徴とする請求項3から13のいずれか一に記載の通信端末。
  15. サイズが制御された画像をマッピングするマッピング手段を有し、
    前記マッピング処理手段は、マッピングするエリアが一定サイズ以下になった場合、受信画像の変わりに、送信元に関連付けられたキャラクタをマッピングする
    ことを特徴とする請求項3から14のいずれか一に記載の通信端末。
  16. 画像補正手段を有し、
    前記マッピング手段にて、同一画像上に形成された表示エリアの群を包含する四角形のサイズが、前記表示手段の画面サイズを越える場合、前記画像補正手段は、表示エリア群のサイズが、画面サイズ以下になるように規格化する
    ことを特徴とする請求項15に記載の通信端末。
  17. 画像補正手段を有し、
    前記マッピング手段によるマッピング処理にて、同一画像上に形成されたスクリーンの群を包含する四角形の縦、横のサイズが、前記表示手段の画面の縦、横のサイズを越える場合、前記画像補正手段は、スクリーン群の四角形の枠を、画面に合わせ圧縮し、表示エリア群の位置を衝突による再配置処理を施す
    ことを特徴とする請求項15に記載の通信端末。
  18. 受信した画像に関連付けられて受信した天地情報に基づいて、受信した画像の天地を端末画面の天地と一致するように補正する天地補正手段を有する
    ことを特徴とする請求項1から17のいずれか一に記載の通信端末。
  19. 前記制御手段は、送信元の指示情報に基づいて表示に関する制御を行い、
    前記送信元の指示情報は、指示された画像の送信元の識別する情報と、受信した画像上の位置を示す位置情報とを含む
    ことを特徴とする請求項1から18のいずれか一に記載の通信端末。
  20. 送信元は、画面上、指示した位置にスクリーンが存在する場合、対応する指示情報を生成し、同通信中の相手に対して送出する
    ことを特徴とする請求項19に記載の通信端末。
  21. 受信した画像データ、音声データを再生する通信端末の表示方法であって、
    画像データから特定のエリアを抽出し、
    前記音声データの大きさに基づいて、前記抽出した画像のサイズを制御し、
    前記画像を表示する
    ことを特徴とする通信端末の表示方法。
JP2009231147A 2009-10-05 2009-10-05 通信端末およびその表示方法 Pending JP2010004573A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009231147A JP2010004573A (ja) 2009-10-05 2009-10-05 通信端末およびその表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009231147A JP2010004573A (ja) 2009-10-05 2009-10-05 通信端末およびその表示方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005344296A Division JP4973908B2 (ja) 2005-11-29 2005-11-29 通信端末およびその表示方法

Publications (1)

Publication Number Publication Date
JP2010004573A true JP2010004573A (ja) 2010-01-07

Family

ID=41585811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009231147A Pending JP2010004573A (ja) 2009-10-05 2009-10-05 通信端末およびその表示方法

Country Status (1)

Country Link
JP (1) JP2010004573A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04237288A (ja) 1991-01-21 1992-08-25 Nippon Telegr & Teleph Corp <Ntt> 複数画像ウインドウ表示用音信号出力方法
JPH05103324A (ja) * 1991-10-09 1993-04-23 Mitsubishi Electric Corp 多地点テレビ会議制御装置
JPH08298653A (ja) * 1995-04-25 1996-11-12 Canon Inc テレビ会議システム及びその端末装置
JP2003241738A (ja) * 2001-11-30 2003-08-29 Eastman Kodak Co デジタル画像における関心の対象の表示を最適化するための方法およびシステム
JP2005303736A (ja) * 2004-04-13 2005-10-27 Ntt Communications Kk ビデオ会議システムにおける映像表示方法、ビデオ会議システムに用いられる利用者端末、及びビデオ会議システムに用いられる利用者端末用プログラム
JP2005328484A (ja) 2004-05-17 2005-11-24 Sony Corp テレビ会議システム、情報処理装置及び情報処理方法並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04237288A (ja) 1991-01-21 1992-08-25 Nippon Telegr & Teleph Corp <Ntt> 複数画像ウインドウ表示用音信号出力方法
JPH05103324A (ja) * 1991-10-09 1993-04-23 Mitsubishi Electric Corp 多地点テレビ会議制御装置
JPH08298653A (ja) * 1995-04-25 1996-11-12 Canon Inc テレビ会議システム及びその端末装置
JP2003241738A (ja) * 2001-11-30 2003-08-29 Eastman Kodak Co デジタル画像における関心の対象の表示を最適化するための方法およびシステム
JP2005303736A (ja) * 2004-04-13 2005-10-27 Ntt Communications Kk ビデオ会議システムにおける映像表示方法、ビデオ会議システムに用いられる利用者端末、及びビデオ会議システムに用いられる利用者端末用プログラム
JP2005328484A (ja) 2004-05-17 2005-11-24 Sony Corp テレビ会議システム、情報処理装置及び情報処理方法並びにプログラム

Similar Documents

Publication Publication Date Title
JP4994646B2 (ja) 通信端末および通信システム、並びに通信端末の表示方法
US8487956B2 (en) Communication terminal, system and display method to adaptively update a displayed image
US9497416B2 (en) Virtual circular conferencing experience using unified communication technology
US11729342B2 (en) Designated view within a multi-view composited webcam signal
US9414013B2 (en) Displaying participant information in a videoconference
EP2811739B1 (en) Terminal, image communication control server, and system and method for image communication using same
US8125509B2 (en) Facial recognition for a videoconference
US8120638B2 (en) Speech to text conversion in a videoconference
TW201901527A (zh) 視訊會議裝置與視訊會議管理方法
US20090012788A1 (en) Sign language translation system
WO2020211437A1 (zh) 传屏方法和多屏互动装置、系统
JP4973908B2 (ja) 通信端末およびその表示方法
CN109753259B (zh) 一种投屏系统及控制方法
US11272224B2 (en) Information processing device and method
JP2005328484A (ja) テレビ会議システム、情報処理装置及び情報処理方法並びにプログラム
US20200220907A1 (en) Method, system, and non-transitory computer readable record medium for enhancing video quality of video call
CN113596571B (zh) 屏幕分享方法、装置、系统、存储介质以及计算机设备
JP5274750B2 (ja) 通信端末およびその表示方法
JP4990520B2 (ja) 通信端末およびその表示方法
JP4832869B2 (ja) 通信端末およびその表示方法
JP2010004573A (ja) 通信端末およびその表示方法
KR20130094493A (ko) 휴대 단말기에서 이미지를 출력하는 장치 및 방법
JP6431301B2 (ja) 動画処理装置、方法、コンピュータプログラム
JP4926464B2 (ja) 通信端末およびその表示方法
US20170374368A1 (en) Video Processor, Method, Computer Program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120409

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120810

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120822

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20121019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130729