JP2011107414A - 表示制御装置および表示制御方法 - Google Patents

Abstract

【課題】複数の処理によってそれぞれ得られる画像を１つの表示装置に表示することが可能な表示制御装置および表示制御方法を提供する。
【解決手段】表示ミドルウエア１１７，１１８は、それぞれ対応するウインドマネージャ１１５，１１６からの表示要求や、制御部１００によって実行される他のミドルウェアからの表示要求を管理し、与えられた画像データをバッファリングする。そして、表示ミドルウェア１１７，１１８は、バッファリングした画像データを、それぞれの表示タイミングを考慮して１つの画像に合成して、合成画像データを得る。表示ミドルウエア１１７から出力される画像データと、表示ミドルウエア１１８から出力される画像データを、ＩＨＡ１３０がディスプレイサービス１１９からの指示に従って、１つの画像データに合成するようにしたものである。
【選択図】 図２

Description

この発明は、例えば携帯電話機などの携帯型電子機器で用いられる表示制御装置に関する。

周知のように、携帯電話機や携帯型音楽再生装置などの携帯型電子機器に用いられる従来の表示制御装置は、実装上の物理的な大きさ、消費電力などの制約がある。また近時、携帯型電子機器は、高機能化に伴って複数の処理を並行して実施することが可能になっている（例えば、特許文献１参照）。このため、表示制御装置には、これら複数の処理によってそれぞれ得られる画像を１つの表示装置に表示する処理能力が求められている。

特開２００９−１５７６３５公報

表示制御装置には、搭載される電子機器の高機能化に伴って、複数の処理によってそれぞれ得られる画像を１つの表示装置に表示する処理能力が求められるようになった。
この発明は上記の要望に応えるべくなされたもので、複数の処理によってそれぞれ得られる画像を１つの表示装置に表示することが可能な表示制御装置および表示制御方法を提供することを目的とする。

上記の目的を達成するために、この発明は、アプリケーションが生成した画像データに基づいて、画像を表示する表示手段の表示領域全体で表示するための第１画像データを生成する第１画像データ生成手段と、上記アプリケーションとは別のアプリケーションが生成した画像データに基づいて、表示手段の表示領域全体で表示するための第２画像データを生成する第２画像データ生成手段と、第１画像データと第２画像データと基づいて、表示手段の表示領域全体で表示するための第３画像データを生成する第３画像データ生成手段と、表示手段を制御して、第３画像データに基づく画像を表示手段に表示させる表示制御手段とを具備して構成するようにした。

以上述べたように、この発明では、複数のアプリケーションがそれぞれ生成した画像データに基づいて、それぞれ表示手段の表示領域全体で表示するための第１、第２画像データを生成し、これらの画像データに基づいて生成した第３画像データに基づく画像を表示手段に表示させるようにしている。
したがって、この発明によれば、複数のアプリケーションによってそれぞれ得られる全体画像の画像を１つ表示手段に表示することが可能な表示制御装置および表示制御方法を提供できる。

この発明に係わる表示制御装置を備えた移動無線端末装置の実施形態の構成を示す回路ブロック図。 この発明に係わる表示制御装置の構成を示す機能ブロック図。 図１に示した移動無線端末装置の変形例の構成を示す図。

以下、図面を参照して、この発明の一実施形態について説明する。以下の説明では、この発明の一実施形態に係わる表示制御装置を、携帯電話機などの移動無線端末装置に適用した場合を例に挙げて説明する。
図１は、この発明の実施形態に係わる表示制御装置を適用した移動無線端末装置の構成を示すブロック図である。この移動無線端末装置は、図１に示すように、主な構成要素として、制御部１００と、無線通信部１０と、表示部２０と、通話部３０と、操作部４０と、記憶部５０と、放送受信部６０とを備え、基地局装置ＢＳおよび移動通信網ＮＷを介した通信と、放送局ＢＣから送信される地上デジタル放送信号を受信する機能を備える。

無線通信部１０は、制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳと無線通信を行うものであって、これにより、音声データや電子メールデータなどの送受信、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示部２０は、制御部１００の制御により、画像（静止画像および動画像）や文字情報などを表示して、視覚的にユーザに情報を伝達するものである。

通話部３０は、スピーカ３１やマイクロホン３２を備え、マイクロホン３２を通じて入力されたユーザの音声を制御部１００にて処理可能な音声データに変換して制御部１００に出力したり、無線通信部１０あるいは放送受信部６０により受信された音声データを復号してスピーカ３１から出力するものである。
操作部４０は、複数のキースイッチなどを備え、これを通じてユーザから指示を受け付けるものである。

記憶部５０は、制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。なお、記憶部５０は、ＨＤＤ、ＲＡＭ、ＲＯＭ、ＩＣメモリなどの１つまたは複数の記憶手段を含むものである。

放送受信部６０は、放送局ＢＣから送信される地上デジタル放送信号のうち、ワンセグメントを受信し、映像信号が、例えばＨ．２６４などの形式で符号化された放送データ（符号化ストリーム）を得る。

制御部１００は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、当該移動無線端末装置の各部を統括して制御するものであって、無線通信部１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御するネットワーク通信制御機能や、アプリケーション処理機能、画像表示制御機能を備える。

アプリケーション処理機能は、記憶部５０が記憶するアプリケーションソフトウェアにしたがって制御部１００が動作することにより、例えば、放送受信部６０を制御して地上デジタル放送を受信したり、電子メールの送受信や、Ｗｅｂブラウジングなどを行う。また複数のアプリケーションソフトウェアを同時に実行するマルチタスク機能も備える。

画像表示制御機能は、地上デジタル放送から受信した受信データやダウンロードしたストリーミングデータなどの動画像データや、アプリケーションソフトの実行により生じた画像データなどに基づいて、画像を表示部２０に表示するものであり、複数の画像について、優先順位などを考慮し、重ね合わせて表示することを可能としている。なお、詳細については後述する。

次に、上記構成の移動無線端末装置の動作について説明する。以下の説明では、ネットワーク通信制御機能についての説明は省略し、この発明に係わる画像表示制御機能について説明する。図２は、制御部１００を機能ブロックで示したものであり、主制御部１１０と、アクセラレータ１２０と、イメージング・プロセッシング ハードウェア アクセラレータ（以下、ＩＨＡと略称する。）１３０とを備える。

主制御部１１０は、マルチタスク機能により、複数のアプリケーション１１１〜１１４を同時に実行する。これらアプリケーション１１１〜１１４は、ユーザインタフェースの画面などを表示するための画像データを生成する。ここで生成される画像データは、例えばビットマップ形式のデータである。

そして、主制御部１１０は、ウインドマネージャ１１５として機能し、各アプリケーション１１１，１１２の表示部２０上での表示領域の位置や、表示領域の重なり、この重なりと透過による視覚効果などを考慮して、アプリケーション１１１，１１２でそれぞれ生成された画像データを１つに合成することで、表示部２０上に表示する画面全体の画像を生成する。その後、ウインドマネージャ１１５は、画面全体の画像のデータ（以下、全体画像データと略称する。）を後述する表示ミドルウェア１１７に出力して、表示要求を行う。なお、この全体画像データは、ビットマップ形式のデータである。

同様に、主制御部１１０は、ウインドマネージャ１１５として機能するのに並行して、ウインドマネージャ１１６として機能し、各アプリケーション１１３，１１４の表示部２０上での表示領域の位置や、表示領域の重なり、この重なりと透過による視覚効果などを考慮して、アプリケーション１１３，１１４でそれぞれ生成された画像データを１つに合成することで、表示部２０上に表示する画面全体の画像を生成する。その後、ウインドマネージャ１１５は、画面全体の画像のデータ（以下、全体画像データと略称する。）を後述する表示ミドルウェア１１８に出力して、表示要求を行う。なお、この全体画像データは、ビットマップ形式のデータである。

また、主制御部１１０は、表示ミドルウエア１１７として機能する。表示ミドルウエア１１７は、ウインドマネージャ１１５からの表示要求や、制御部１００によって実行される他のミドルウェアからの表示要求を管理し、与えられた画像データをバッファリングする。このバッファリングは、制御部１００が内蔵するキャッシュメモリにて行う。そして、表示ミドルウェア１１７は、バッファリングした画像データを、それぞれの表示タイミングを考慮して１つの画像に合成して、合成画像データを得る。なお、この合成画像データは、ビットマップ形式のデータであり、また表示タイミングは、ウインドマネージャ１１５から通知される。

同様に、主制御部１１０は、表示ミドルウエア１１７として機能するのに並行して、表示ミドルウエア１１８として機能する。表示ミドルウエア１１８は、ウインドマネージャ１１６からの表示要求や、制御部１００によって実行される他のミドルウェアからの表示要求を管理し、与えられた画像データをバッファリングする。このバッファリングは、制御部１００が内蔵するキャッシュメモリにて行う。そして、表示ミドルウェア１１８は、バッファリングした画像データを、それぞれの表示タイミングを考慮して１つの画像に合成して、合成画像データを得る。なお、この合成画像データは、ビットマップ形式のデータであり、また表示タイミングは、ウインドマネージャ１１６から通知される。

また表示ミドルウエア１１７および表示ミドルウエア１１８は、ＩＨＡ１３０をＯＮ／ＯＦＦ制御する機能と、表示部２０をＯＮ／ＯＦＦ制御する機能を備える。ＩＨＡ１３０のＯＮ／ＯＦＦ制御は、後述するディスプレイサービス１１９を通じて行う。

そして、主制御部１１０は、ディスプレイサービス１１９として機能する。ディスプレイサービス１１９は、表示ミドルウエア１１７から与えられる合成画像データや、表示ミドルウエア１１８から与えられる合成画像データ、そしてアクセラレータ１２０から与えられる画像データを、それぞれの表示タイミングを考慮して合成する指示をＩＨＡ１３０に与える。

ＩＨＡ１３０は、イメージプロセッシング処理専用に用いるハードウェアアクセラレータであって、ディスプレイサービス１１９からの指示に従って、複数の画像データを１つの画像データに合成する。そして、ＩＨＡ１３０は、表示部２０を制御して、合成によって得た画像データを表示させる。

以上のように、上記構成の移動無線端末装置では、制御部１００において、表示ミドルウエア１１７から出力される全体画像の画像データと、表示ミドルウエア１１８から出力される全体画像の画像データを、ＩＨＡ１３０がディスプレイサービス１１９からの指示に従って、１つの全体画像の画像データに合成するようにしている。
したがって、上記構成の移動無線端末装置によれば、複数のアプリケーションによってそれぞれ得られる全体画像の画像を１つの表示部２０に表示することができる。

また上記構成の移動無線端末装置では、アプリケーション１１２〜１１４による画像を重ね合わせ処理を表示ミドルウェア１１７と１１８に分離しているので、アプリケーションから表示要求が生じる度に行われる重ね合わせ処理が分散して行われることになり、これにより、重ね合わせ処理の量を減らすことができる。

すなわち、表示ミドルウェアが１つの場合には、１つのアプリケーションから表示要求が生じる度に、４つの画像を１つずつ重ね合わせる処理により、合計３度の合成処理が必要になる。これに対して、２つの表示ミドルウェアを用いる場合は、１つのアプリケーションから表示要求が生じると、まず一方の表示ミドルウェアにおいて、２つの画像を１つに重ね合わせる処理が生じ、この結果を、他方の表示ミドルウェアで既に得てバッファに蓄積している合成済みの画像と合成することになるので、合計２度の合成処理で済むことになる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

例えば、図１および図２に示した移動無線端末装置では、１１１乃至１１９の機能が１つのマイクロプロセッサの処理で実現される場合を例に挙げて説明した。これに対して、図３に示すように、１１１乃至１１９の機能を複数のマイクロプロセッサの処理によって実現するようにしてもよい。

図３に示す移動無線端末装置では、それぞれマイクロプロセッサを備えた主制御部１１０ａ、１１０ｂを備え、それぞれ内蔵するインタフェース（Ｉ／Ｆ）を介して制御バス（Ｂｕｓ）に接続される。主制御部１１０ａは、アプリケーション１１２，１１３、ウインドマネージャ１１５および表示ミドルウエア１１７として機能し、同様に、主制御部１１０ｂは、アプリケーション１１３，１１４、ウインドマネージャ１１６および表示ミドルウエア１１８として機能する。

またディスプレイサービス１１９は、主制御部１１０ａや１１０ｂとは別のマイクロプロセッサによって実現される。ディスプレイサービス１１９は、内蔵するインタフェース（Ｉ／Ｆ）を介して制御バスに接続され、この制御バスを介して、表示ミドルウエア１１７から与えられる合成画像データや、表示ミドルウエア１１８から与えられる合成画像データ、そしてアクセラレータ１２０から与えられる画像データを、それぞれの表示タイミングを考慮して合成する指示をＩＨＡ１３０に与える。

ＩＨＡ１３０は、イメージプロセッシング処理専用に用いるハードウェアアクセラレータであって、内蔵するインタフェース（Ｉ／Ｆ）を介して制御バスに収容され、制御バスを介したディスプレイサービス１１９からの指示に従って、複数の画像データを１つの画像データに合成する。そして、ＩＨＡ１３０は、制御バスを介して、表示部２０を制御して、合成によって得た画像データを表示させる。

このような構成によれば、図１および図２に示した構成と同様に、複数の処理によってそれぞれ得られる全体画像の画像を１つの表示部２０に表示することができ、さらには、必要な数だけ主制御部１１０ａや１１０ｂを搭載することができ、高い拡張性を有し、消費電力を要求される機能に応じて抑制することが可能である。

また主制御部１１０ａや１１０ｂを搭載しても、選択的に動作させることで、消費電力を抑制することが可能となる。この動作は、主制御部１１０ａや１１０ｂを統括して制御する制御部を備えることで実現できる。すなわち、複数のプロセッサを備え、それぞれにおいて表示ミドルウェアを動作させて個別に画像データを生成し、そして上記プロセッサとは別のブロックで複数の画像データを合成する。このように構成することで、プロセッサ単位でＯＮ／ＯＦＦすることができ、省電力に寄与する。

また上記実施の形態では、携帯電話機などの移動無線端末装置に、本願発明に係わる表示制御装置を搭載した場合を例に挙げて説明したが、PDA(Personal Digital Assistants)や携帯型音楽再生装置など、種々の携帯型電子機器に適用できることはいうまでもない。 その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

１０…無線通信部、２０…表示部、３０…通話部、３１…スピーカ、３２…マイクロホン、４０…操作部、５０…記憶部、６０…放送受信部、１００…制御部、１１１〜１１４…アプリケーション、１１５，１１６…ウインドマネージャ、１１７，１１８…表示ミドルウェア、１１９…ディスプレイサービス、１２０…アクセラレータ、１３０…ＩＨＡ、ＢＣ…放送局、ＢＳ…基地局装置、ＮＷ…移動通信網。

Claims (5)

1. アプリケーションが生成した画像データに基づいて、画像を表示する表示手段の表示領域全体で表示するための第１画像データを生成する第１画像データ生成手段と、
   前記アプリケーションとは別のアプリケーションが生成した画像データに基づいて、前記表示手段の表示領域全体で表示するための第２画像データを生成する第２画像データ生成手段と、
   前記第１画像データと前記第２画像データと基づいて、前記表示手段の表示領域全体で表示するための第３画像データを生成する第３画像データ生成手段と、
   前記表示手段を制御して、前記第３画像データに基づく画像を前記表示手段に表示させる表示制御手段とを具備することを特徴とする表示制御装置。
2. 前記第１画像データ生成手段は、複数のアプリケーションがそれぞれ生成した画像データを合成して、前記表示手段の表示領域全体で表示するための第１画像データを生成することを特徴とする請求項１に記載の表示制御装置。
3. 前記第１画像データ生成手段と前記第２画像データ生成手段は、互いに別のプロセッサで実現することを特徴とする請求項１に記載の表示制御装置。
4. 前記第３画像データ生成手段は、第１画像データおよび前記第２画像データ生成手段とは、互いに別のプロセッサで実現することを特徴とする請求項１に記載の表示制御装置。
5. アプリケーションが生成した画像データに基づいて、画像を表示する表示手段の表示領域全体で表示するための第１画像データを生成する第１画像データ生成工程と、
   前記アプリケーションとは別のアプリケーションが生成した画像データに基づいて、前記表示手段の表示領域全体で表示するための第２画像データを生成する第２画像データ生成工程と、
   前記第１画像データと前記第２画像データと基づいて、前記表示手段の表示領域全体で表示するための第３画像データを生成する第３画像データ生成工程と、
   前記表示手段を制御して、前記第３画像データに基づく画像を前記表示手段に表示させる表示制御工程とを具備することを特徴とする表示制御方法。

Images