JP2007074476A - 携帯電話機 - Google Patents

Abstract

【課題】
携帯電話機においてＴＶ電話機能を実行している場合において、相手画像及び自画像が表示される動画プレーンの更新時に、アイコンを表示するアイコン表示用プレーンとの合成が常に実行されるためにＣＰＵ負荷が大きくなる。
【解決手段】
ＴＶ電話機能を備えた携帯電話機であって、実行対象機能に応じて定められる第１プレーンと第２プレーンとをレイヤ合成して合成プレーンを生成する合成手段と、前記合成プレーンを表示する表示手段と、ＴＶ電話機能の実行時において、動画を表示する領域を含む画像を第１プレーンとして定め、当該機能に関連する状態を示すアイコンを含む画像を第２プレーンとして定め、前記第２プレーンを、前記第１プレーンにおける前記動画を表示する領域に重ならないサイズに変更して前記合成手段に合成させるよう制御する合成制御手段とを備える。
【選択図】図１

Description

ＴＶ電話機能を備えた携帯電話機に関する。

現在、携帯電話機にはＴＶ電話機能を備えたものがある。この携帯電話機は、カメラを備えており、そのカメラで撮影された映像を通信相手の携帯電話機に送信し、また、通信相手の携帯電話機から相手画像を入手してその画像を表示しながら通話を行う。
特許文献１には、ＴＶ電話実行時に相手画像とともに相手の位置を示した地図も共に表示する携帯電話機が開示されている。
特開２００４−２２８８０５号公報

ところで、ＴＶ電話を実行しているときに表示される画像は、実際には複数のプレーンを合成して生成されている。この複数のプレーンは、例えば、表示枠を表示するためのプレーンとその枠に表示する写真のプレーンなどがあり、それらを合成して一つのプレーンを得て表示する。各プレーンは基本的に同じサイズである。
ＴＶ電話においては、相手の画像を表示するための新たな映像が通信相手から送信されてくるたびに、通信相手の画像を表示するプレーンが更新され、その他のプレーンとの合成が発生する。この合成は、相手画像を表示する領域とそれ以外のプレーンとで表示する画像の座標位置が重なる場合において発生する。この場合、相手画像が更新されるたびに、プレーン合成が発生するので携帯電話機のＣＰＵの負荷が増大し、例えば、相手画像の動画が滑らかに表示されなくなるなどといった問題が発生する。

そこで、ＴＶ電話機能を実行していてもＣＰＵの負荷を抑えることができる携帯電話機を提供することを目的とする。

上記課題を解決するため、本発明に係る携帯電話機は、ＴＶ電話機能を備えた携帯電話機であって、実行対象機能に応じて定められる第１プレーンと第２プレーンとをレイヤ合成して合成プレーンを生成する合成手段と、前記合成プレーンを表示する表示手段と、ＴＶ電話機能の実行時において、動画を表示する領域を含む画像を第１プレーンとして定め、当該ＴＶ電話機能に関連する状態を示すアイコンを含む画像を第２プレーンとして定め、前記第２プレーンを、前記第１プレーンにおける前記動画を表示する領域に重ならないサイズに変更して前記合成手段に合成させるよう制御する合成制御手段とを備えることを特徴としている。

ここでレイヤ合成とは、複数の画像を所定の順序で重ね合わせるように合成することであり、例えば背景となる画像の上に別の画像を重ね合わせるときに用いられる画像合成方法である。
また、ここでいうプレーンとは、レイヤ合成の対象となる、所定のサイズを有する画像である。

上述のような構成によって、ＴＶ電話機能を実行中において、通信相手画像あるいは自画像などの動画が更新されるとき、アイコン表示用プレーンと動画を表示する領域とが重ならないので、合成をすることなく画像の更新が行われる。これによって合成が発生しないので、その分ＣＰＵの負荷が従来のものよりも軽減する。
また、ＴＶ電話機能を備えた携帯電話機における、ＴＶ電話機能実行時における画像を表示するための複数のプレーンを合成するレイヤ合成方法であって、ＴＶ電話機能の実行中において、動画を表示する領域を含む画像を第１プレーンとして定め、当該ＴＶ電話機能に関連する状態を示すアイコンを含む画像を第２プレーンとして定め、前記第２プレーンを、前記第１プレーンにおける前記動画を表示する領域に重ならないサイズに変更して合成する合成ステップと、前記合成ステップで合成されて生成された合成プレーンを表示する表示ステップとを含むこととしてよい。

この方法をとることにより、携帯電話機は、ＴＶ電話を実行している場合においても、無用に合成処理が発生せず、ＣＰＵの負荷を抑えることができる。
また、ＴＶ電話機能を備えた携帯電話機のコンピュータに実行させる、ＴＶ電話機能実行時における画像を表示するための複数のプレーンを合成する処理手順を示したレイヤ合成プログラムであって、前記処理手順は、ＴＶ電話機能の実行中において、動画を表示する領域を含む画像を第１プレーンとして定め、当該ＴＶ電話機能に関連する状態を示すアイコンを含む画像を第２プレーンとして定め、前記第２プレーンを、前記第１プレーンにおける前記動画を表示する領域に重ならないサイズに変更して合成する合成ステップと、前記合成ステップで合成されて生成された合成プレーンを表示する表示ステップとを含むこととしてよい。

このプログラムを読み込んで実行することで、携帯電話機のコンピュータは、第２プレーンのサイズを小さくして、動画表示領域と重ならないようにすることで無用の合成が発生することを抑え、その結果ＣＰＵの負荷を抑えることができる。

以下、本発明の一実施形態である携帯電話機について図面を用いながら説明する。
＜概要＞
本願発明の内容の概要について、図１を用いて従来技術との比較を行いながら説明する。
本願発明は、携帯電話機においてＴＶ電話機能を実行している場合において携帯電話機のディスプレイに表示する画像を生成する場合に、複数のプレーンを合成して得られた画像の画素データをフレームバッファに格納して表示する。

図１（ａ）、（ｂ）、（ｃ）は従来の手法を示しており、図１（ａ）は、動画を表示するための動画プレーン１００であり、図１（ｂ）は、動画以外の画像を表示するためのプレーンで通常は汎用プレーンと呼ぶが、ここではアイコンを表示するのでアイコン表示用プレーン１１０という。通常、アイコンは、アイコン表示領域１１１のように表示されるのではなく、画面全体を例えば９分割して各種アイコンが表示されるため、アイコン表示用プレーン１１０のサイズは図１（ｂ）のように動画プレーン１００と同サイズになっている。

携帯電話機は、図１（ａ）の動画プレーン１００と、図１（ｂ）のアイコン表示用プレーン１１０とを合成して、図１（ｃ）に示すような合成プレーン１３０を生成して表示する。この合成処理とは、図１（ａ）の動画プレーンの画素と、図１（ｂ）のアイコン表示用プレーンの画素とで対応する座標の画素の合成を意味する。動画を表示する相手画像表示領域１０１あるいは自画像表示領域１０２が更新される場合、その領域は、アイコン表示用プレーン１１０と重なるため、必ず合成処理が行われる仕様になっている。つまり相手画像あるいは自画像が更新される場合に、その表示領域と重なるプレーンがあると合成処理が行われるのである。

しかし、本願においては、従来技術とは異なり、アイコン表示用プレーンのサイズをアイコン表示用プレーン１１０よりも小さく、且つ、動画を表示している領域である相手画像表示領域１４１及び自画像表示領域１４２に重ならないように、図１（ｅ）のアイコン表示用プレーン１５０のサイズにしている。このようにアイコン表示用プレーンのサイズを小さくして、動画プレーン１４０における相手画像表示領域１４１あるいは自画像表示領域１４２との重複を避けることで動画の更新時に画像の合成を回避することができるようになる。

そして二つのプレーンを合成することで、図１（ｆ）に示すように、従来の図１（ｃ）と同様の画像をディスプレイ上に表示できる。
以下、本願の具体的内容についてその詳細を記す。
＜構成＞
図２は、本願発明に係る携帯電話機２００の機能構成を示したブロック図である。

図２に示すように、携帯電話機２００は、通信部２１０と、音声処理部２２０と、撮影部２３０と、表示部２４０と、操作部２５０と、記憶部２６０と、制御部２７０とを含んで構成される。
通信部２１０は、アンテナ２１１を含んで構成され、アンテナ２１１から受け取った受信信号を受話音声信号及び受信データ信号に復調し、復調した受話音声信号を音声処理部２２０に、受信データ信号を制御部２７０に出力する機能を有する。また、音声処理部２２０からのＡ／Ｄ変換された送話音声信号、及び制御部２７０から与えられる電子メールなどの送信データ信号を変調し、アンテナ２１１から出力する機能を有する。本願においては特にＴＶ電話実行時に、撮影部２３０のカメラ２３１で撮影した映像データを通信相手に送信し、また、通信相手の映像データを受信する機能を有する。

音声処理部２２０は、通信部２１０から出力された受話音声信号をＤ／Ａ変換してスピーカ２２２に出力すると共に、マイク２２１から取得した送話音声信号をＡ／Ｄ変換し、生成した信号を通信部２１０に出力する機能を有する。
撮影部２３０は、カメラ２３１を含んで構成され、制御部２７０の要求に応じてカメラ２３１を動作させ、映像を撮影し、そのデータを制御部２７０に出力する機能を有する。

表示部２４０は、ＬＣＤ（Liquid Crystal Display）によって実現されるモニタで、制御部２７０の指示による画像を表示する機能を有し、待受け画面やメールの文書、ＴＶ電話時には通信相手の画像や自画像などを表示したりする。なお、表示部２４０は、ここでは２４０×３２０ピクセルの画像を表示するものとする。
操作部２５０は、テンキー、オンフックキー、オフフックキー、方向キー、決定キーなどの諸キー群を含み、ユーザの操作を受け付け、受け付けた操作内容を制御部２７０に伝達する機能を有する。

記憶部２６０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成され、小型ハードディスクや不揮発性メモリなどによって実現され各種データを記憶する機能を有する。記憶部２６０は特に、ＴＶ電話実行プログラム１６１を記憶している。また、表示するための各種プレーンや、アイコンなどのデータも記憶している。
制御部２７０は、携帯電話機１００の各部を制御する機能を有し、特に、ユーザによるＴＶ電話による電話番号の押下を受け付けた場合に、記憶部２６０にあるＴＶ電話実行プログラム１６１を読み出して、記述されている内容を実行する機能を有する。
＜データ＞
図３は、実際携帯電話機においてＴＶ電話機能を実行している場合において、ディスプレイ上に表示される画面の一例を示した。ここでは、その表示画面の内容について説明しておく。

図３に示すように、表示画面は、相手画像表示領域３０１と、自画像表示領域３０２と、ピクトプレーン３１４と、アイコン群が表示される。
相手画像表示領域３０１には、ＴＶ電話の通信相手の顔画像が描画される。この領域に関するデータは記憶部２６０に記憶されており、その表示開始位置のＸ座標、Ｙ座標と領域の幅と高さのデータが含まれる。

自画像表示領域３０２には、自機のカメラで取得したユーザの顔画像が表示される。この領域に関するデータも記憶部２６０に記憶されており、その表示開始位置のＸ座標、Ｙ座標と領域の幅と高さのデータも有する。
相手画像表示領域３０１及び自画像表示領域３０２の表示位置や高さ、幅などのデータが予め定められているのでアイコン表示用プレーンのサイズを決定することができる。

ピクトプレーン３１４は、自機の受信状況を示すアンテナマークや、バッテリ残量を示すバッテリを表示するプレーンである。
アイコン群には、通話時間アイコン３０３、ハンズフリーアイコン３０４、ＤＴＭＦ（Dial Tone Multi Frequency）アイコン３０５、ホワイトバランスアイコン３０６、バックライトアイコン３０７、送信映像アイコン３０８、音声／映像アイコン３０９、特殊効果アイコン３１０、動画モードアイコン３１１、明度アイコン３１２、音量レベルアイコン３１３とが含まれる。

通話時間アイコン３０３は、ＴＶ電話で通話していた合計時間を示している。図においては、２４分３０秒ほど話していることになる。
ハンズフリーアイコン３０４は、ハンズフリーの設定がされているかどうかを示すアイコンである。
ＤＴＭＦアイコン３０５は、ＤＴＭＦ送信を行っているかどうかを意味するアイコンである。つまりテンキーをユーザが押下した場合に特定の音声を発する設定を行っているかどうかを示すアイコンである。

ホワイトバランスアイコン３０６は、白いものが白く写るように色の補正を行う機能であるホワイトバランス機能の状態を示している。ホワイトバランスの調整状態には、オート、晴天時などの設定が行える。
バックライトアイコン３０７は、バックライトを点灯させていうかどうかを示すアイコンである。

送信映像アイコン３０８は、カメラで撮影した画像を送信しているのか、あるいは代替画像を送信しているのかを示すアイコンである。
音声／映像アイコン３０９は、映像と音声の回線が正常に接続できているかどうかを示すアイコンで、正常に接続できていない場合には、音声／映像アイコンは点灯しない。なお、正常に接続できていないと、画像が表示されなかったり、音声がスピーカから出力されなかったりする。

特殊効果アイコン３１０は、表示している動画を例えばセピア調にしたりモノクロ調にしたりしていることを示すアイコンである。
動画モードアイコン３１１は、動画の表示モードを意味するアイコンで、図中においては標準となっているが、この他には動き優先のモードや、画質優先のモードなどがある。動き優先の場合は、動画表示における動きの滑らかさが優先され、画質がおちる。一方画質優先の場合は、画質は高いものの、動きの滑らかさがおちる。

明度アイコン３１２は、画面に表示される画像の明度の程度を示すアイコンである。
音量レベルアイコン３１３は、設定されている音量レベルを示すアイコンである。
＜動作＞
ここでは、本願発明に係る携帯電話機２００の動作について説明する。
まず、プレーンの合成が発生する場合、発生しない場合があることについて説明しておく。

図４はプレーンの合成を行う場合に、合成が発生する場合と、発生しない場合についてを説明するための説明図である。比較のために従来の場合についても示してある。
図４（ａ）は、従来の場合の合成について示している。
図４（ａ）に示すように、携帯電話機２００の表示部２４０に表示される合成プレーン１２０は、動画プレーン１００とアイコン表示用プレーン１１０との合成によって生成される。

この場合、例えば合成プレーン１２０の画素４０３は、画素４０１と画素４０２の合成によって生成される。ここでいう合成とは画素と画素とを合成する場合において、それぞれの画素値に予め定められた透過率などを定めた規定値を掛け合わせて加算することをいう。従来では、相手画像表示領域１０１あるいは、自画像表示領域１０２の画像が更新される場合に、必ずアイコン表示プレーンとの合成を行っていた。相手画像表示領域１０１あるいは自画像表示領域１０２の各画素と同座標にアイコン表示用プレーン１１０に画素があるためである。例えば、同図に示す画素４０２が透明画素であったとしても合成の演算を行っており、合成して生成した画素値をフレームバッファに書き込んでいた。

図４（ｂ）には、本願の場合について示してあるが、合成が発生する場合と発生しない場合とがある。
まず、合成が発生する場合についであるが、これはアイコン表示用プレーン１５０の表示内容が変更される場合である。この場合においては従来と同じように、合成が発生する。例えば図４（ｂ）において、アイコン表示領域１５０の内容が更新される場合、その中の一画素である画素４２２と、動画プレーン１４０の画素４２１とが合成されて、合成プレーン１６０の画素４２３が生成される。なお、合成処理が行われるのは、更新されるアイコンについてのみであり、合成して生成した画素値でバッファに残されているデータを書き換える。

合成が発生しない場合は、動画プレーンの相手画像表示領域１４１あるいは自画像表示領域１４２のいずれかが更新される場合である。
この場合、例えば相手画像表示領域１４１の表示内容の更新が行われるとして、その一画素である画素４１１は、アイコン表示用プレーン１５０において画素４１１と同座標の画素がないため、合成処理が発生せず、その場合においては、合成プレーンの画素４１３の画素値を画素４１１と同じ画素値にするだけである。この相手画像あるいは自画像の更新時に、合成処理が走らないことが本願の特徴である。なお、アイコン表示用プレーン１５０と重なる画素があるかどうかはアイコン表示用プレーンの表示される範囲と、相手画像表示領域の座標範囲で重複しているかどうかによって検出される。

次に、本実施の形態における携帯電話機２００の実際の動作を図５に示すフローチャートを用いて説明する。
図５に示すフローチャートは、ＴＶ電話機能を実行中における会話以外の部分に関する動作を示しており、各動作は制御部２７０の判断に基づく。
ＴＶ電話を開始すると同時に、まずアイコン表示用プレーンのサイズをＴＶ電話用のサイズに変更する（ステップＳ５０１）。このサイズは予め定められており、動画プレーンの相手画像表示領域、自画像表示領域に重ならず、且つアイコン群を表示するのに十分なサイズになる。このアイコン表示用プレーンに関するデータには、その表示位置や範囲を示すその左上の画素のＸ座標、Ｙ座標、範囲として幅と高さのデータが含まれており、動画プレーンの相手画像表示領域あるいは自画像表示領域と重ならないようになっている。

そしてＴＶ電話中において自画像もしくは相手画像が更新されるかどうかを検知する（ステップＳ５０３）。自画像の更新は、撮影部２３０のカメラ２３１で画像が撮影されたのをトリガとして検知する。相手画像の更新は、ＴＶ電話の相手の携帯電話機から映像データのパケットを受信したことをトリガとして検知する。
自画像もしくは、相手画像が更新されない場合にはステップＳ５０７以降のステップに移行する（ステップＳ５０３のＮＯ）。自画像もしくは相手画像が更新される場合には（ステップＳ５０３のＹＥＳ）、前回の合成プレーンのデータが残されているバッファの相手画像もしくは自画像の領域の画素値を書き換える（ステップＳ５０５）。

次に、アイコン表示用プレーンにおける領域の変更、即ち表示内容の変更があったかどうかを検知する（ステップＳ５０７）。ここで領域における変更があるかどうかは、ユーザによるＴＶ電話時の音量などの設定の変更があったかどうかをトリガとして検知する。
変更があった場合には（ステップＳ５０７のＹＥＳ）、アイコンの表示内容、つまりアイコン表示用プレーンが更新されるので、動画プレーンとの合成処理を行う（ステップＳ５０９）。変更がない場合には、ステップＳ５１１の処理に移行する。

そしてバッファの画素データを読み出して表示部１３０のＬＣＤに表示させる（ステップＳ５１１）。
なお、相手画像、自画像、アイコンのいずれも更新されない場合（ステップＳ５０３のＮＯ且つステップＳ５０７のＮＯ）には、今までの画像を表示し続ける。
そしてＴＶ電話の通話が終了したかどうかを検知する（ステップＳ５１３）。これはユーザからのオンフックキーの押下により検知する。終了していない場合には（ステップＳ５１３のＮＯ）、ステップＳ５０３に戻り以降の処理を実行する。終了する場合には（ステップＳ５１３のＹＥＳ）、アイコン表示用プレーンのサイズを元に戻してＴＶ電話に関する動作を終了する。
＜補足＞
ここまで、本願発明に係る携帯電話機について、上記実施の形態に基づき説明してきたが、本願発明の実施の形態はこれに限るものではない。以下、その変形例について説明する。
（１）上記実施の形態においてはＴＶ電話の場合について説明してきたが、特にＴＶ電話の場合に限る必要はなく、複数のプレーンを合成して画像を表示し、逐次更新がなされる場合などにおいて、当該複数のプレーンのいずれかを小サイズに変更してプレーンの合成を行っても良い。こうすることでＴＶ電話の場合以外においても携帯電話機のＣＰＵの負担を軽減することができるようになる。
（２）上記実施の形態においては、携帯電話機の各部とプログラムが連動する形をとっていたが、本願発明は、上記動作に基づく方法あるいは当該方法を実行するコンピュータプログラムであってもよい。

本願発明は、ＴＶ電話を実行できる携帯電話機として活用することができる。

本願発明のプレーンの合成と従来との比較を模式的に示した図である。 携帯電話機の機能構成を示したブロック図である。 携帯電話機の表示部に表示される画像の一例である。 プレーンの合成処理が発生する場合と発生しない場合についてを示した説明図である。 携帯電話機の動作を示したフローチャートである。

符号の説明

１００、１２０ 動画用プレーン
１０１、１２１ 相手画像表示領域
１０２、１２２ 自画像表示領域
１１０、１３０ アイコン表示用プレーン
１１１ アイコン表示領域
２００ 携帯電話機
２１０ 通信部
２１１ アンテナ
２２０ 音声処理部
２２１ マイク
２２２ スピーカ
２３０ 撮影部
２３１ カメラ
２４０ 表示部
２５０ 操作部
２６０ 記憶部
２７０ 制御部

Claims (3)

1. ＴＶ電話機能を備えた携帯電話機であって、
   実行対象機能に応じて定められる第１プレーンと第２プレーンとをレイヤ合成して合成プレーンを生成する合成手段と、
   前記合成プレーンを表示する表示手段と、
   ＴＶ電話機能の実行時において、動画を表示する領域を含む画像を第１プレーンとして定め、当該ＴＶ電話機能に関連する状態を示すアイコンを含む画像を第２プレーンとして定め、前記第２プレーンを、前記第１プレーンにおける前記動画を表示する領域に重ならないサイズに変更して前記合成手段に合成させるよう制御する合成制御手段とを備える
   ことを特徴とする携帯電話機。
2. ＴＶ電話機能を備えた携帯電話機における、ＴＶ電話機能実行時における画像を表示するための複数のプレーンを合成するレイヤ合成方法であって、
   ＴＶ電話機能の実行中において、動画を表示する領域を含む画像を第１プレーンとして定め、当該ＴＶ電話機能に関連する状態を示すアイコンを含む画像を第２プレーンとして定め、前記第２プレーンを、前記第１プレーンにおける前記動画を表示する領域に重ならないサイズに変更して合成する合成ステップと、
   前記合成ステップで合成されて生成された合成プレーンを表示する表示ステップとを含む
   ことを特徴とするレイヤ合成方法。
3. ＴＶ電話機能を備えた携帯電話機のコンピュータに実行させる、ＴＶ電話機能実行時における画像を表示するための複数のプレーンを合成する処理手順を示したレイヤ合成プログラムであって、前記処理手順は、
   ＴＶ電話機能の実行中において、動画を表示する領域を含む画像を第１プレーンとして定め、当該ＴＶ電話機能に関連する状態を示すアイコンを含む画像を第２プレーンとして定め、前記第２プレーンを、前記第１プレーンにおける前記動画を表示する領域に重ならないサイズに変更して合成する合成ステップと、
   前記合成ステップで合成されて生成された合成プレーンを表示する表示ステップとを含む
   ことを特徴とするレイヤ合成プログラム。

Images