JP2007180657A

JP2007180657A - 通信端末装置及び通信端末装置における画像表示方法

Info

Publication number: JP2007180657A
Application number: JP2005374049A
Authority: JP
Inventors: Katsuhiko Shimizu; 克彦清水
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2005-12-27
Filing date: 2005-12-27
Publication date: 2007-07-12
Anticipated expiration: 2025-12-27
Also published as: JP4850509B2

Abstract

【課題】ユーザの集中を妨げることなく視覚的効果によって話者を判別することを容易にする。
【解決手段】複数の通信相手の画像及び音声を受信し、表示手段に前記各画像を表示すると共に前記音声を発音する通信端末装置において、前記表示手段における前記各画像が占める領域の大きさに基づいて、前記各領域の輝度の上限値を設定する上限設定手段と、前記上限値を超えない範囲で前記各領域の輝度を制御する輝度制御手段とを備えるようにする。これにより、複数人の画像Ｓ(０)〜Ｓ(３)を一画面に表示して音声と共に再生するにあたり、各画像が占める領域の輝度を制御して、例えば話者Ｓ(２)の輝度を聞き手の輝度に対して相対的に高くすることによって、話者Ｓ(２)に注目が集まるようにし、視覚的に話者を特定しやすくする。
【選択図】図３

Description

本発明は、通信端末装置及び通信端末装置における画像表示方法に関する。

従来、多地点通信を実現する技術として、テレビ会議システムがある。テレビ会議システムでは、多数の端末から送られてきた画像データを一画面に表示し、音声データと共に各々の端末へ送信することにより、多地点を繋ぐテレビ会議を実現する。
このようなテレビ会議システムでは、例えば４名で会議を行う場合には、画面を縦横に２分割して４等分にするが、これでは話者を判別し難いので、話者を視覚的に判り易くするために、特許文献１や特許文献２のような技術が考え出されている。特許文献１に記載の技術は、話者を表示する領域（スクリーン）の表示面積を他の会議参加者を表示する領域（スクリーン）よりも大きくするものであり、特許文献２に記載の技術は、話者のスクリーンの明るさを他の会議参加者のスクリーンの明るさよりも明るくするものである。

上記のように、テレビ会議システムでは、会議参加者の人数に応じて画面を矩形に分割しているが、これでは、会議参加者の人数によっては、画面の分割が困難になり、場合によっては画面に使用されない部分が生じてしまい、画面を有効活用できないという問題がある。
また、話者のスクリーンを他の会議参加者のスクリーンよりも大きくする場合、他の会議参加者のスクリーンが話者のスクリーンに覆われないように表示させ続けようとすると、他の会議参加者のスクリーンの面積は小さくすることになるが、その際、これらの大きさの異なる各スクリーンを好適に配置することは困難である。更に、話者が入れ替わると、各スクリーンの大小関係を更新することになるが、各スクリーンが矩形であると、各スクリーンの大きさを連続的に変化させつつ、大きさが変わった各スクリーンを好適に再配置することは、困難であるだけでなく視覚的に煩わしい。

本出願人は、上述のような問題を解決しようとする技術として、特許文献３〜８を出願している。これらの技術では、会議参加者の顔部分を楕円形状に切り出してスクリーンとし、各スクリーンを一画面に表示している。そして、各会議参加者が発する音声の大きさに応じて各スクリーンの表示面積を変化させることにより、話者が大きく表示されるようにするとともに、他の会議参加者の画像を好適に配置するようにしている。

一方、携帯電話機等の携帯端末装置は、多機能化が進んでおり、近年は、上述のテレビ会議システムのような複数人で顔を見ながら話すことができる機能の開発が進められている。携帯端末装置においては、画面も操作部も小型化されていることから、他の画面及び操作部が充実したシステムに比べて、手動の操作によらず自動的に各スクリーンの大きさや配置を制御することの重要度は高い。
特開平６−１４１３１０号公報特開平６−１４１３１１号公報特願２００５−３４４２９６号公報特願２００５−３４４７５２号公報特願２００５−３４４７５３号公報特願２００５−３４４７５４号公報特願２００５−３４４７５５号公報特願２００５−３４４７５６号公報

ところで、話者は、必ずしも一人であるとは限らない。例えば、企画や研究成果を発表する会議等の場合には、発表者が主たる話者となり、他の会議参加者は主に聞き手となるが、聞き手は、相槌や質問等の発言を行うことがある。このような場合、上記従来例によって、聞き手が相槌を打つ度に、話者が入れ替わったとしてスクリーンの大きさが入れ替わったり発表者及び聞き手のスクリーンが明滅したりするのでは、視覚的に煩わしく、ユーザの会議への集中が阻害されて好ましくない。

更に、上記従来例では、スクリーンの大きさに無関係に輝度制御を行った場合、大きいスクリーンでは消費電流が大きく増加し、バッテリー駆動等の通信端末装置の電池の持ちに悪影響を与え、例えば通話可能時間が短くなる等の不都合を生じさせる恐れがある。
つまり、特許文献１、２のような従来技術は、固定的に設置して用いられるテレビ会議システムを前提に考えられたものであり、輝度制御を行う場合に消費電流に対する配慮を行っていない。バッテリー駆動等の通信端末装置では、表示デバイスでの消費電流を一定値以下に抑える等、電池の持ち（通話可能時間等）への影響を抑える配慮が必要である。

本発明は、上述した事情に鑑みてなされたもので、話者を判別し易いように各通信相手の画像を表示するにあたり、ユーザの集中を妨げないように各通信相手の画像を表示することを目的とする。

上記課題を解決するために、本発明では、通信端末装置に係る第１の手段として、複数の通信相手の画像及び音声を受信し、表示手段に前記各画像を表示すると共に前記音声を発音する通信端末装置において、前記表示手段における前記各画像が占める領域の大きさに基づいて、前記各領域の輝度の上限値を設定する上限設定手段と、前記上限値を超えない範囲で前記各領域の輝度を制御する輝度制御手段とを備えるものを採用した。

また、通信端末装置に係る第２の手段として、上記第１の手段において、前記輝度制御手段は、前記音声の大きさに基づいて、当該音声と共に受信された前記画像が占める前記領域の輝度を制御するものを採用した。

通信端末装置に係る第３の手段として、上記第１又は２の手段において、前記上限設定手段は、前記表示手段に許容される消費電流を超えない範囲で輝度の上限値を設定し、前記輝度制御手段は、前記領域の輝度の制御にあたって、前記領域の大きさを加味するものを採用した。

通信端末装置に係る第４の手段として、上記第１から３の何れかの手段において、前記音声の大きさに基づいて、当該音声と共に受信された前記画像が占める前記領域の大きさを変更する表示面積制御手段を更に備えるものを採用した。

通信端末装置に係る第５の手段として、上記第１から４の何れかの手段において、前記表示手段の各画素は、自発光素子によって構成されているものを採用した。

更に、本発明では、通信端末装置における画像表示方法に係る第１の手段として、複数の通信相手の画像及び音声を受信し、表示手段に前記各画像を表示すると共に前記音声を発音する通信端末装置における画像表示方法であって、前記表示手段における前記各画像が占める領域の大きさに基づいて、前記各領域の輝度の上限値を設定し、前記上限値を超えない範囲で前記各領域の輝度を制御する方法を採用した。

また、通信端末装置における画像表示方法に係る第２の手段として、上記第１の手段において、前記音声の大きさに基づいて、当該音声と共に受信された前記画像が占める前記領域の輝度を制御する方法を採用した。

通信端末装置における画像表示方法に係る第３の手段として、上記第１又は２の手段において、前記表示手段に許容される消費電流を超えない範囲で輝度の上限値を設定し、前記領域の輝度の制御にあたって、前記領域の大きさを加味する方法を採用した。

通信端末装置における画像表示方法に係る第４の手段として、上記第１から３の何れかの手段において、前記音声の大きさに基づいて、当該音声と共に受信された前記画像が占める前記領域の大きさを変更する方法を採用した。

更に、本発明では、通信端末装置に係る第６の手段として、複数の通信相手の画像及び音声を受信して前記画像を前記音声と共に再生する通信端末装置において、前記音声の大きさに基づいて前記通信相手の発言の開始及び終了を検出し、前記画像を再生する際の輝度を当該画像と共に受信した前記音声の大きさに基づいて設定し、前記発言が終了した際には、前記輝度を前記発言の持続時間に応じて減衰させるものを採用した。

また、通信端末装置に係る第７の手段として、上記第６の手段において、前記発言が終了した際には、前記輝度を、前記発言の持続時間が長いほど速く、前記発言の持続時間が短いほど遅く、減衰させるものを採用した。

本発明によれば、複数人の画像を一画面に表示して音声と共に再生するにあたり、各画像から抽出した特定の領域の輝度を制御することができるので、例えば話者の輝度を聞き手の輝度に対して相対的に高くすることによって話者を特定しやすくでき、輝度を高くするにあたって、領域の大きさに基づいて設定した上限値を超えないようにすることにより、大きく表示されていて十分な注目を得ている領域を更に明るく光らせることによる電力の浪費を防止することができる。

以下、本発明の一実施形態について図面及び数式を参照して説明する。図１及び図２は、本発明の通信端末装置の実施の一形態である携帯電話機の要部の構成例を示す図であって、図１はエンコード装置を示すブロック図であり、図２はデコード装置を示すブロック図である。
携帯電話機は、送信元となるエンコード装置１０と、受信側となるデコード装置２０とを有し、多地点通信可能に構成されている。

エンコード装置１０は、音声入力部１０１、画像入力部１０２、操作部１０３、音声符号化処理部１０４、画像符号化処理部１０５、端末制御部１０６、制御情報生成部１０７、送信パケット生成部１０８、及びネットワークＩ／Ｆ（インタフェース）１０９を備えている。

音声入力部１０１は、マイクロフォン等からなる。画像入力部１０２は、デジタルカメラ等からなる。操作部１０３は、キーを備え、ユーザによる入力を受け付ける。音声符号化処理部１０４は、音声入力部１０１により入力される音声データを符号化する。画像符号化処理部１０５は、画像入力部１０２により入力される画像データを符号化する。端末制御部１０６は、操作部１０３の入力情報に基づいて携帯電話機を制御する。制御情報生成部１０７は、端末制御部１０６が携帯電話機に対して行う制御に基づいて制御情報を生成する。
送信パケット生成部１０８は、音声符号化処理部１０４が符号化した音声データ、画像符号化処理部１０５が符号化した画像データ、制御情報生成部１０８が生成した制御情報を送信パケットとして生成する。ネットワークＩ／Ｆ１０９は、ネットワークを介して、送信パケット生成部１０８が生成した送信パケットを通信相手の携帯電話機やサーバに送信する。

デコード装置２０は、ネットワークＩ／Ｆ２０１、操作部２０２、受信パケット解析部２０３、音声復号処理部２０４、画像復号処理部２０５、画像制御部２０６、音量修正部２０７、音声出力部２０８、画像補正部２０９、画像出力部２１０（表示手段）、及び自端末制御部２１１を備えている。

ネットワークＩ／Ｆ２０１は、音声データ、画像データ、制御情報等を含むパケットを通信相手の携帯電話機やサーバから受信する。操作部２０２は、キーを備え、ユーザによる入力を受け付ける。受信パケット解析部２０３は、ネットワークＩ／Ｆ２０１が受信したパケットを解析し、音声データ、画像データ、制御情報等を抽出する。音声復号処理部２０４は、受信パケット解析部２０３により抽出された音声データを復号する。画像復号処理部２０５は、受信パケット解析部２０３により抽出された画像データを復号する。
画像制御部２０６は、画像復号処理部２０５により復号された画像データ、制御情報、音声復号処理部２０４により復号された音声データに基づいて、画像データに基づいた画像を画像出力部２１０に表示する際の表示位置、表示サイズ、輝度等を制御する。音量修正部２０７は、音声復号処理部２０４により復号された音声の音量を修正する。音声出力部２０８は、スピーカ等であり、音量修正部２０７で修正された音量で音声データに基づいた音声を発音する。画像補正部２０９は、画像制御部２０６により制御された画像データを補正する。画像出力部２１０は、各画素を有機ＥＬ（electro-luminescence）素子（自発光素子）で構成したものであり、画像補正部２０９で補正された画像データに基づいて複数の通信相手の画像を表示する。自端末制御部２１１は、操作部２０２からの入力情報に基づいて、画像制御部２０６に、自端末の天地情報等の制御情報を与える。

なお、エンコード装置１０とデコード装置２０においては、操作部１０３と操作部２０２、ネットワークＩ／Ｆ１０９とネットワークＩ／Ｆ２０１、端末制御部１０６と自端末制御部２１１は共用することが可能である。

以下に、画像制御部２０６について説明する。画像制御部２０６は、天地補正部２０６１、顔エリア検出部２０６２（抽出手段）、スクリーン判定部２０６３、切り出し処理部２０６４、サイズ・輝度算出部２０６５（上限設定手段、輝度制御手段、表示面積制御手段）、縮小・拡大処理部２０６６、表示位置算出部２０６７、マッピング処理部２０６８を有する。

天地補正部２０６１は、画像復号処理部２０５にて復号された画像データに関連付けられた天地情報に基づいて、画像データの天地を画像出力部２１０の画面の天地と一致するように補正する。顔エリア検出部２０６２は、画像データから顔のエリアを検出し抽出する。スクリーン判定部２０６３は、顔エリア検出部２０６２にて検出された顔エリアを含むように、話者を表示するスクリーンに表示すべき領域を判定する。切り出し処理部２０６４は、スクリーン判定部２０６３の判定に基づいて、画像データから該当する領域を切り出す。サイズ・輝度算出部２０６５は、音声データの音量に応じて、スクリーンの表示サイズと、スクリーンを画像出力部２１０に表示させる際の輝度とを算出する。縮小・拡大処理部２０６６は、サイズ・輝度算出部２０６５の算出結果に基づいて、切り出し処理部２０６４にて切り出した画像データを縮小・拡大する。表示位置算出部２０６７は、縮小・拡大処理部２０６６にて縮小・拡大された画像データの表示位置を算出する。マッピング処理部２０６８は、表示位置算出部２０６７にて得られた画像出力部２１０上の位置に、縮小・拡大処理部２０６６にて得られた画像データをマッピングする。

スクリーン判定部２０６３は、顔エリア検出部２０６２にて顔エリアが検出された場合、スクリーン形状として、この顔エリアを包含し顔エリア以外の部分を最小とする楕円形を選択する。また、スクリーン判定部２０６３は、顔エリア検出部２０６２にて、顔エリアが検出されなかった場合、画像を風景と判定し、矩形を選択する。

サイズ・輝度算出部２０６５は、音声データの音量、及び過去に受信した音声データの音量に基づいて、スクリーンのサイズ及び輝度を算出する。以下に、本実施形態の特徴部分であるスクリーンの輝度の算出について説明する。

図３は、テレビ会議中の画像出力部２１０の画面の正面図である。ここでは、説明を解り易くするために、企画や研究成果の発表のように、１人が主たる話者であり、他は主に聞き手となっている場合を例とした。
画面には、Ｓ(０)〜Ｓ(３)の４つのスクリーンが表示されている。これらのスクリーンＳ(ｊ)の大小関係は、今回の会議参加者の関係性を視覚的に判り易くするために固定されている。即ち、大きいスクリーンＳ(０)は、主たる話者である企画や研究成果の発表者が表示されるスクリーンであり、小さい３つのスクリーンＳ(１)〜Ｓ(３)は、３人の聞き手それぞれが表示されるスクリーンである。

スクリーンＳ(ｊ)には、面積Ｒ(ｊ)、画面１上での輝度Ｌ(ｊ)、音量Ｖ(ｊ)をという３種類の値がそれぞれ対応付けられている。各スクリーンＳ(ｊ)が得るべき注目度をＡ(ｊ)とすると、発言中の人物が表示されているスクリーンＳ(ｊ)が注目を集めるのが望ましいので、各注目度Ａ(ｊ)の比が各音量Ｖ(ｊ)の比に等しくなるように制御する。このことは、式（１）で表される。

Ａ(１)：Ａ(２)： … ：Ａ(ｎ−１)：Ａ(ｎ)
＝Ｖ(１)：Ｖ(２)： … ：Ｖ(ｎ−１)：Ｖ(ｎ) …（１）

また、注目度Ａ(ｊ)は、面積Ｒ(ｊ)が大きいほど高くなり、輝度Ｌ(ｊ)が高いほど高くなると考えられるので、面積Ｒ(ｊ)と輝度Ｌ(ｊ)との積とする。このことは、式（２）で表される。

Ａ(ｊ)＝Ｒ(ｊ)×Ｌ(ｊ) …（２）

そして、式（１）及び式（２）より、式（３）が得られる。

Ｒ(０)×Ｌ(０)：Ｒ(１)×Ｌ(１)： …
… ：Ｒ(ｎ−１)×Ｌ(ｎ−１)：Ｒ(ｎ)×Ｌ(ｎ)
＝Ｖ(０)：Ｖ(１)： … ：Ｖ(ｎ−１)：Ｖ(ｎ) …（３）

ここで、式（３）から各輝度Ｌ(ｊ)の比を求めるために、Ｖ(ｊ)／Ｒ(ｊ)＝ｐ_ｊとすると、式（４）が得られる。

Ｌ(０)：Ｌ(１)： … ：Ｌ(ｎ−１)：Ｌ(ｎ)
＝ｐ_０：ｐ_１： … ：ｐ_ｎ−１：ｐ_ｎ …（４）

ここで、画像出力部２１０には、輝度の初期値Ｌ_ｉｎｉが規定されている。上記の輝度Ｌ(ｊ)のうち、最小のものをＬ_ｍｉｎ＝α×Ｌ_ｉｎｉ（αは定数）と表し、輝度Ｌ_ｍｉｎと他の輝度Ｌ(ｊ)との比をｐ_ｍｉｎ：ｐ_ｊと表すと、他の輝度Ｌ(ｊ)は、式（５）で表される。

Ｌ(ｊ)＝(ｐ_ｊ／ｐ_ｍｉｎ)×α×Ｌ_ｉｎｉ …（５）

ここで、画像出力部２１０の各画素を構成する有機ＥＬ素子は、一般的に、電流値で輝度が決まる。即ち、輝度Ｌ(ｊ)は単位面積あたりの電流値Ｉ(ｊ)に比例する。輝度がＬ_ｉｎｉのときの単位面積あたりの電流値をＩ_ｉｎｉとすると、式（５）から式（６）が得られる。

Ｉ(ｊ)＝(ｐ_ｊ／ｐ_ｍｉｎ)×α×Ｉ_ｉｎｉ …（６）

そして、これにより、画像出力部２１０が消費する電流値の合計Ｗは、式（７）で表される。

ここで、画像出力部２１０には、許容できる最大の電流値Ｗ_ｍａｘが規定されている。従って、Ｗ≦Ｗ_ｍａｘであるので、定数αは、式（８）で表される。

このαを用いて各スクリーンＳ(ｊ)の輝度を設定することにより、各スクリーンＳ(ｊ)が得るべき注目度Ａ(ｊ)に応じた輝度設定としつつ、画像出力部２１０が消費する電流値Ｗを許容できる最大の電流値Ｗ_ｍａｘ以下に抑えることが可能となる。
なお、最小の輝度Ｌ_ｍｉｎがＬ_ｉｎｉを超えることがないように、α≦１という条件を加えてもよい。

さて、図３に示す例に上記の式をあてはめると、まず、この例において、各スクリーンＳ(ｊ)の面積Ｒ(ｊ)の比は、
Ｒ(０)：Ｒ(１)：Ｒ(２)：Ｒ(３)＝２：１：１：１
である。そして、スクリーンＳ(０)に表示されている人物とスクリーンＳ(２)に表示されている人物とが発言中であるとして、各スクリーンＳ(ｊ)の音量Ｖ(ｊ)の比が、
Ｖ(０)：Ｖ(１)：Ｖ(２)：Ｖ(３)＝２：１：２：１
であるとすると、式（３）より、
２Ｌ(０)：Ｌ(１)：Ｌ(２)：Ｌ(３)＝２：１：２：１
上記の式より、
２Ｌ(０)：Ｌ(１)＝２：１
２Ｌ(０)：Ｌ(２)＝２：２
２Ｌ(０)：Ｌ(３)＝２：１
であるので、即ち、
Ｌ(０)：Ｌ(１)＝１：１
Ｌ(０)：Ｌ(２)＝１：２
Ｌ(０)：Ｌ(３)＝１：１
となり、つまり、
Ｌ(０)：Ｌ(１)：Ｌ(２)：Ｌ(３)＝１：１：２：１
である。

上記の式より、輝度を最小とするスクリーンＳ(ｊ)の輝度をα×Ｌ_ｉｎｉ（α≦１）とすると、
Ｌ(０)＝Ｌ(１)＝Ｌ(３)＝α×Ｌ_ｉｎｉ
Ｌ(２)＝２α×Ｌ_ｉｎｉ
である。

上記の式より、輝度がＬ_ｉｎｉのときの単位面積あたりの電流値をＩ_ｉｎｉとすると、
Ｉ(０)＝Ｉ(１)＝Ｉ(３)＝α×Ｉ_ｉｎｉ
Ｉ(２)＝２α×Ｉ_ｉｎｉ

上記の式及び式（７）より、画像出力部２１０が消費する電流値の合計は、
Ｗ＝Ｒ(０)×Ｉ(０)＋Ｒ(１)×Ｉ(１)＋Ｒ(２)×Ｉ(２)＋Ｒ(３)×Ｉ(３)
＝α×Ｉ_ｉｎｉ(Ｒ(０)＋Ｒ(１)＋２Ｒ(２)＋Ｒ(３))
Ｗ≦Ｗ_ｍａｘであるので
α≦Ｗ／(Ｉ_ｉｎｉ(Ｒ(０)＋Ｒ(１)＋２Ｒ(２)＋Ｒ(３))) 且つ α≦１

上記の式よりαを決定することができ、各スクリーンＳ(ｊ)に設定すべき輝度を決定することができる。

サイズ・輝度算出部２０６５は、上述の式中の音量Ｖ(ｊ)として、音声復号処理部２０４から入力される音声データの音量を図４及び図５のように輝度算出用に加工したものを用いている。
図４及び図５は、音量の経時変化を表すグラフである。これらのグラフにおいては、音声復号処理部２０４から入力される音声データの音量（入力音量）Ｖ_receiveを実線で示し、この音量を基に輝度算出用に加工した音量（加工音量）Ｖ_displayを破線で示した。
輝度算出に加工音量Ｖ_displayを用いる理由は、入力音量Ｖ_receiveによって輝度を算出するようにすると、輝度が安定せず、ちらついて見えるという問題が起こり、また、相槌等の短い発言のときには、輝度が上昇してから下降するまでの時間が短いので、輝度が高くなっている時間が短く、どのスクリーンＳ(ｊ)に表示されている人物が発言したのか認識しにくいという問題が起こるためである。
そこで、加工音量Ｖ_displayは、発言中は入力音量Ｖ_receiveを平均化したものとし、発言終了後は発言中の加工音量Ｖ_displayから緩やかに減衰させたものとしている。また、発言終了後の減衰は、発言継続時間が短いほど緩やかにしている。
図４は、相槌等の短い発言の場合のものであり、図５は、所定時間以上の長さの発言の場合のものである。図４及び図５において、Ｔ_speakは話している期間（発声期間）、Ｔ_silentは沈黙している期間（静音期間）である。また、Ｖ_levelは所定間隔で設定された音量の閾値である。また、図４（ａ）及び図５（ａ）は、発言中の音量が高めの場合、図４（ｂ）及び図５（ｂ）は、発言中の音量が低めの場合を表している。

図６及び図７のフローチャートに従って、発言継続時間に応じた加工音量Ｖ_displayの算出手法について説明する。このチャートに従った処理により、入力音量Ｖ_receive及び加工音量Ｖ_displayの変化に基づいて、立上り状態（state１）、立下り（継続）状態（state２）、安定状態（state３）に振り分けられ、それぞれの状態に適する式によって、加工音量Ｖ_displayが算出される。
ｔは現在時刻、Ｖ_receive(ｔ)は現在の入力音量、Ｖ_receive(ｔ−Δｔ)は現在から時間Δｔだけ過去の時点の入力音量、Ｖ_levelｉはＶ_receive(ｔ−Δｔ)から見て上にある閾値、Ｖ_{levelｉ−１}はＶ_receive(ｔ−Δｔ)から見て下にある閾値、ｔ_baseは変化（立上り又は立下り）検出時の時刻、Ｖ_baseは算出時の基準の音量である。
以下、サイズ・輝度算出部２０６５が行う処理である。この処理は、所定時間おきに繰り返されている。

まず、時間(ｔ−Δｔ)から時間ｔまでの間に、入力音量Ｖ_receive(ｔ)が閾値Ｖ_levelｉをまたいで上昇したことを検出すると（Ｓ１のＹｅｓ）、どの閾値まで上昇したのかを検出し（Ｓ２，Ｓ３）、音量が上がりきった時点の時刻を保存する（Ｓ４）。
また、時間(ｔ−Δｔ)から時間ｔまでの間に、入力音量Ｖ_receive(ｔ)が閾値Ｖ_levelｉをまたいで上昇しなかった場合（Ｓ１のＮｏ）、入力音量Ｖ_receive(ｔ)が閾値Ｖ_{levelｉ−１}をまたいで下降したことを検出すると（Ｓ５のＹｅｓ）、どの閾値まで下降したのかを検出し（Ｓ６，Ｓ７）、音量が下がりきった時点の時刻ｔをｔ_baseとして保存する（Ｓ４）。

続いて、時間(ｔ−Δｔ)から時間ｔまでの間に入力音量Ｖ_receive(ｔ)が閾値Ｖ_levelｊをまたいで上昇していた場合（Ｓ１１のＹｅｓ）は、立上り状態（state１）であるとし（Ｓ１２）、式（９）にて加工音量Ｖ_displayを算出する（Ｓ１３）。

Ｖ_display＝Ｖ_receive …（９）

そして、state_preにstateを保存して（Ｓ１４）、処理を終了する。

時間(ｔ−Δｔ)から時間ｔまでの間に入力音量Ｖ_receive(ｔ)が閾値Ｖ_levelｊをまたいで上昇していなかった場合（Ｓ１１のＮｏ）で、前回のstateであるstate_preが１か３であった場合（Ｓ１５のＹｅｓ）で、時間(ｔ−Δｔ)から時間ｔまでの間に入力音量Ｖ_receive(ｔ)が閾値Ｖ_{levelｊ−１}をまたいで下降していた場合（Ｓ１６のＹｅｓ）には、立下り状態（state２）であるとし（Ｓ１７）、算出基準音量Ｖ_baseに時間Δｔだけ過去の時点の加工音量Ｖ_displayを代入し（Ｓ１８）、式（１０）にて加工音量Ｖ_displayを算出する（Ｓ１９）。

Ｖ_display＝Ｖ_{levelｊ−１}＋(Ｖ_base−Ｖ_{levelｊ−１})×exp(−ａ_ｊ×Ｔ_speak×(ｔ−ｔ_base))
…（１０）

これにより、加工音量Ｖ_displayは、入力音量Ｖ_receiveよりも緩やかに減衰する。
そして、state_preにstateを保存して（Ｓ１４）、処理を終了する。

Ｓ１６で、時間(ｔ−Δｔ)から時間ｔまでの間に入力音量Ｖ_receive(ｔ)が閾値Ｖ_{levelｊ−１}をまたいで下降していなかった場合（Ｓ１６のＮｏ）には、安定状態（state３）であるとし（Ｓ２０）、式（１１）にて加工音量Ｖ_displayを算出する（Ｓ２１）。

Ｓ１５で、前回のstateであるstate_preが２であった場合（Ｓ１５のＮｏ）で、時間Δｔだけ過去の加工音量Ｖ_displayが入力音量Ｖ_receiveと同等の値まで減衰していなかった場合（Ｓ２２のＹｅｓ）、立下り継続状態（state２）であるとし（Ｓ２３）、加工音量Ｖ_display(ｔ−Δｔ)が閾値Ｖ_{levelｊ−１}に十分近づいたか、即ち加工音量Ｖ_display(ｔ−Δｔ)とＶ_{levelｊ−１}との差が所定値ΔＶ未満になっていれば（Ｓ２４のＹｅｓ）、基準を下の閾値に下げて（Ｓ２５）、式（１０）にて加工音量Ｖ_displayを算出する（Ｓ２６）。

Ｓ２２で、時間Δｔだけ過去の加工音量Ｖ_displayが入力音量Ｖ_receiveと同等の値まで減衰していた場合（Ｓ２２のＮｏ）には、安定状態（state３）であるとし（Ｓ２７）、式（１１）にて加工音量Ｖ_displayを算出する（Ｓ２８）。

なお、本実施形態では、音量の増減を全て輝度の増減に振り替えているが、実施にあたっては、音量の増減を輝度の増減だけでなくスクリーンの拡大縮小にも振り分けてもよい。

以上、説明したように、マルチスクリーン（マルチウィンドウ）表示が可能な通信端末装置を例にした本実施形態によれば、各通信相手を表示しているスクリーンの大きさ、スクリーンに対応付けられた音声の大きさに応じた輝度制御を行うことにより、適切な注目度を各スクリーンに対して与えることができると共に、大きいスクリーンに過度に高い輝度を適用して消費電流を大きく増加させることを回避できる。
また、スクリーンへの輝度制御を行った場合でも、表示デバイスに許容される消費電流を超えない一定値以下（許容できる最大の電流値つまり上限値）に抑えることができるので、バッテリー駆動である通信端末装置の通話可能時間等の装置の性能（電池の持ち）に悪影響を与えることを回避できる。
また、音声の大きさが最大の話者を特定するのではなく、音声の大きさの比による輝度制御を行うことで、複数の話者が略同程度の音声の大きさで発言している場合でも、誰と誰の議論であるかが視覚的に判り易い画面とすることができ、また、輝度を上げるスクリーンが頻繁に入れ替わって見難い画面となることを回避できる。
更に、受信音量の変化に対して、受信音量が大きく増大した場合つまり発言開始時には即時に輝度を増加させる一方、発言終了後に輝度を減衰させる際には発声期間を考慮に入れ、発声期間が長いほど速く、発声期間が短いほど遅く減衰させている。これにより、新たな発声に対して即時に輝度が上がる一方で、相槌や返事等の短い発言に対して、輝度のが穏やかに減衰してゆくため、短期的に輝度が増加／減衰を起こす目障りなスクリーンの輝度変動をなくすことが可能となる。

本発明の一実施形態における携帯端末装置の構成例を示すブロック図である。本発明の一実施形態における携帯端末装置の構成例を示すブロック図である。本発明の一実施形態における画面の正面図である。本発明の一実施形態における音量の経時変化を表すグラフである。本発明の一実施形態における音量の経時変化を表すグラフである。本発明の一実施形態における発言継続時間に応じた輝度制御用音量を得る過程を示すフローチャートである。本発明の一実施形態における発言継続時間に応じた輝度制御用音量を得る過程を示すフローチャートである。

符号の説明

１０…エンコード装置、１０１…音声入力部、１０２…画像入力部、１０３…操作部、１０４…音声符号化処理部、１０５…画像符号化処理部、１０６…端末制御部、１０７…制御情報生成部、１０８…送信パケット生成部、１０９…ネットワークＩ／Ｆ
２０…デコード装置２０、２０１…ネットワークＩ／Ｆ、２０２…操作部、２０３…受信パケット解析部、２０４…音声復号処理部、２０５…画像復号処理部、２０６…画像制御部、２０７…音量修正部、２０８…音声出力部、２０９…画像補正部、２１０…画像出力部（表示手段）、２１１…自端末制御部
２０６１…天地補正部、２０６２…顔エリア検出部（抽出手段）、２０６３…スクリーン判定部、２０６４…切り出し処理部、２０６５…サイズ・輝度算出部（上限設定手段、輝度制御手段、表示面積制御手段）、２０６６…縮小・拡大処理部、２０６７…表示位置算出部、２０６８…マッピング処理部

Claims

複数の通信相手の画像及び音声を受信し、表示手段に前記各画像を表示すると共に前記音声を発音する通信端末装置において、
前記表示手段における前記各画像が占める領域の大きさに基づいて、前記各領域の輝度の上限値を設定する上限設定手段と、
前記上限値を超えない範囲で前記各領域の輝度を制御する輝度制御手段と
を備えることを特徴とする通信端末装置。
前記輝度制御手段は、前記音声の大きさに基づいて、当該音声と共に受信された前記画像が占める前記領域の輝度を制御することを特徴とする請求項１に記載の通信端末装置。
前記上限設定手段は、前記表示手段に許容される消費電流を超えない範囲で輝度の上限値を設定し、前記輝度制御手段は、前記領域の輝度の制御にあたって、前記領域の大きさを加味することを特徴とする請求項１又は２に記載の通信端末装置。
前記音声の大きさに基づいて、当該音声と共に受信された前記画像が占める前記領域の大きさを変更する表示面積制御手段を更に備えることを特徴とする請求項１〜３の何れかに記載の通信端末装置。
前記表示手段の各画素は、自発光素子によって構成されていることを特徴とする請求項１〜４に記載の通信端末装置。
複数の通信相手の画像及び音声を受信し、表示手段に前記各画像を表示すると共に前記音声を発音する通信端末装置における画像表示方法であって、
前記表示手段における前記各画像が占める領域の大きさに基づいて、前記各領域の輝度の上限値を設定し、
前記上限値を超えない範囲で前記各領域の輝度を制御する
ことを特徴とする通信端末装置における画像表示方法。
前記音声の大きさに基づいて、当該音声と共に受信された前記画像が占める前記領域の輝度を制御することを特徴とする請求項６に記載の通信端末装置における画像表示方法。
前記表示手段に許容される消費電流を超えない範囲で輝度の上限値を設定し、前記領域の輝度の制御にあたって、前記領域の大きさを加味することを特徴とする請求項６又は７に記載の通信端末装置における画像表示方法。
前記音声の大きさに基づいて、当該音声と共に受信された前記画像が占める前記領域の大きさを変更することを特徴とする請求項６〜８の何れかに記載の通信端末装置における画像表示方法。
複数の通信相手の画像及び音声を受信して前記画像を前記音声と共に再生する通信端末装置において、
前記音声の大きさに基づいて前記通信相手の発言の開始及び終了を検出し、
前記画像を再生する際の輝度を当該画像と共に受信した前記音声の大きさに基づいて設定し、前記発言が終了した際には、前記輝度を前記発言の持続時間に応じて減衰させる
ことを特徴とする通信端末装置。
前記発言が終了した際には、前記輝度を、前記発言の持続時間が長いほど速く、前記発言の持続時間が短いほど遅く、減衰させることを特徴とする請求項１０に記載の通信端末装置。