JP2010014899A - 情報処理装置 - Google Patents

Abstract

【課題】画像のデータ量が増加した場合であっても、画面を全体として効率的に更新することができるようにする。
【解決手段】本発明に係る情報処理装置に適用可能な携帯電話機においては、画像合成回路は、画面更新要求に従い、ＵＩ系のアプリケーションにより生成される第１の画像データと、マルチメディア系のアプリケーションにより生成される第２の画像データのうちのいずれか１つ以上を合成し、画像メモリは画面レイヤの属性が第１の画面レイヤである場合、第１の画像データを複製して保持し、画面表示ミドルウェアは、第２の画面更新要求の通知開始後に第１の画面更新要求が通知された場合、第１の画面更新要求に伴う画面更新処理の抑制を開始し、第２の画面更新要求が次回通知されたとき、保持されている第１の画像データと新たに生成された第２の画像データに基づいて合成処理を実行するように制御する。
【選択図】 図７

Description

本発明は情報処理装置に係り、特に、画面を更新することができるようにした情報処理装置に関する。

近年、情報処理装置としての携帯電話機には、単なる通話による通信機能だけでなく、アドレス帳機能、基地局やインターネットなどのネットワークを介したメール機能や、Ｗｅｂページなどを閲覧することが可能なブラウザ機能、さらにはオーディオデータを聞くことができる音楽制御機能や、地上波ディジタルワンセグ放送波を受信することができる機能などが搭載されるようになってきている。また、地上波ディジタルワンセグ放送波に基づく受信画像や、その他の手段により取得された種々の映像コンテンツを、携帯電話機上にて再生することが可能となってきている。

それに伴い、ユーザの間では、映像コンテンツをよりきれいに再生したいという要求が高まってきている。そこで、この要求に答えるべく、最近の携帯電話機においては、より高精細な表示が可能なディスプレイが提案されてきており、今まで主流であったＴＦＴ（Thin Film Transistor）液晶ディスプレイの他に、例えば有機ＥＬなどに代表される高輝度デバイスをディスプレイとして用いたものが提案されてきている。最近では、このようなディスプレイの高精細化に相俟って、表示画面に表示される画像のデータ量が増加してきている。

なお、メモリ容量が限られている状況下において、画像の表示が遅延しないように制御する技術が知られている（例えば特許文献１参照）。特許文献１に提案されている技術によれば、制御装置は、取得されたフレームレート情報と表示レート情報、および表示タイミング情報とに基づいて、表示装置の次の表示タイミングまでに、合成処理する各画像データＡおよびＢの各フレームメモリ装置への書き込みが完了するように、各画像作成装置に画像作成許可を与えることができる。これにより、メモリ領域の面数が少ない小型で安価なフレームメモリを使用して表示遅延量を少なくし、スムーズな合成画像データを取得することができる。
特開２００５−４０９７号公報

表示画面に表示される画像のデータ量が増加すると、１回の画面更新により多くの時間を要してしまうだけでなく、ユーザの操作に対する応答性が悪くなってしまう。また、動画像を再生する場合には、画像のデータ量の増加以外にも、画像のちらつきなどの違和感をユーザに与えることを防止する観点から、例えば３０フレーム／秒（１秒間に３０フレーム）の更新回数を維持するという制限も課せられており、このような更新回数の維持制限も考慮する必要がある。

本発明は、このような状況に鑑みてなされたものであり、表示画面に表示される画像のデータ量が増加した場合であっても、画面を全体として効率的に更新することができる情報処理装置を提供することを目的とする。

本発明に係る情報処理装置は、上述した課題を解決するために、第１の画面レイヤにおける第１の画像データを生成する第１の生成手段と、第１の画面レイヤと異なる第２の画面レイヤにおける第２の画像データを生成する第２の生成手段と、第１の生成手段により第１の画像データが生成された場合に通知される第１の画面更新要求と、第２の生成手段により第２の画像データが生成された場合に通知される第２の画面更新要求とに従い、第１の画像データと第２の画像データのうちのいずれか１つ以上を合成する合成手段と、合成手段による合成結果である合成画像データに基づく画像を表示する表示する表示手段と、画面更新要求に対応する画面レイヤの属性が第１の画面レイヤである場合、第１の画像データを複製して保持する保持手段と、第２の画面更新要求の通知が開始された後、第１の画面更新要求が通知された場合、第１の画面更新要求に伴う画面更新処理の抑制を開始し、合成手段による合成処理を省略するとともに、第２の画面更新要求が次回通知されたとき、保持手段により保持されている第１の画像データと、新たに生成された第２の画像データに基づいて、合成手段による合成処理を実行するように制御する制御手段とを備えることを特徴とする。

本発明の情報処理装置は、上述した課題を解決するために、第１の画像を生成して第１の画面レイヤに第１の更新要求を行う第１の生成手段と、第２の画像を生成して第１の画面レイヤとは異なる第２の画面レイヤに第２の更新要求を行う第２の生成手段と、第１の画面レイヤと第２の画面レイヤを合成する合成手段と、合成手段による合成結果である合成画像データに基づく画像を表示する表示する表示手段と、画像を保持する保持手段と、第２の画面レイヤに第２の更新要求がされると第１の画面レイヤに対する第１の更新要求に基づく画面更新処理の抑制を開始し、画面更新処理の抑制中に第１の画面レイヤに第１の更新要求がなされた場合、第１の画像を保持手段に保持させておき、次回第２の画面レイヤに第２の更新要求がなされたときに第２の画面レイヤを更新するとともに保持手段によって保持されていた第１の画像によって第１の画面レイヤを更新し、合成手段によって第１の画面レイヤと第２の画面レイヤを合成して表示手段に表示させる制御手段を有することを特徴とする。

本発明の情報処理装置は、上述した課題を解決するために、動画像を再生させながら動画像以外の画像を表示する情報処理装置において、動画像以外の画像を生成して第１の画面レイヤに更新要求を行う第１の生成手段と、動画像のフレームごとの画像を生成して第２の画面レイヤに更新要求を行う第２の生成手段と、第１の画面レイヤと第２の画面レイヤを合成する合成手段と、合成手段による合成結果である合成画像データに基づく画像を表示する表示する表示手段と、画像を保持する保持手段と、動画像を再生している状態で第１の生成手段によって第１の画面レイヤに更新要求がなされた場合、第１の生成手段によって生成された動画像以外の画像を保持手段に保持させておき、次回第２の生成手段によって更新要求がなされたときまで第１の画面レイヤを更新しない制御手段を有することを特徴とする。

本発明によれば、表示画面に表示される画像のデータ量が増加した場合であっても、画面を全体として効率的に更新することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明に係る情報処理装置として適用可能な携帯電話機１の外観の構成を表している。なお、図１（Ａ）は、携帯電話機１を約１８０度に見開いたときの正面から見た外観の構成を表しており、図１（Ｂ）は、携帯電話機１を見開いたときの側面から見た外観の構成を表している。

図１（Ａ）および（Ｂ）に示されるように、携帯電話機１は、中央のヒンジ部１１を境に第１の筐体１２と第２の筐体１３とがヒンジ結合されており、ヒンジ部１１を介して矢印Ｘ方向に折り畳み可能に形成される。携帯電話機１の内部の所定の位置には、送受信用のアンテナ（後述する図２のアンテナ３１）が設けられており、内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。

第１の筐体１２には、その表面に「０」乃至「９」の数字キー、発呼キー、リダイヤルキー、終話・電源キー、クリアキー、および電子メールキーなどの操作キー１４が設けられており、操作キー１４を用いて各種指示を入力することができる。

第１の筐体１２には、操作キー１４として上部に十字キーと確定キーが設けられており、ユーザが十字キーを上下左右方向に操作することにより当てられたカーソルを上下左右方向に移動させることができる。具体的には、第２の筐体１３に設けられたメインディスプレイ１７に表示されている電話帳リストや電子メールのスクロール動作、簡易ホームページのページ捲り動作および画像の送り動作などの種々の動作を実行する。

また、確定キーを押下することにより、種々の機能を確定することができる。例えば第１の筐体１２は、ユーザによる十字キーの操作に応じてメインディスプレイ１７に表示された電話帳リストの複数の電話番号の中から所望の電話番号が選択され、確定キーが第１の筐体１２の内部方向に押圧されると、選択された電話番号を確定して電話番号に対して発呼処理を行う。

さらに、第１の筐体１２には、十字キーと確定キーの左隣に電子メールキーが設けられており、電子メールキーが第１の筐体１２の内部方向に押圧されると、メールの送受信機能を呼び出すことができる。十字キーと確定キーの右隣には、ブラウザキーが設けられており、ブラウザキーが第１の筐体１２の内部方向に押圧されると、Ｗｅｂページのデータを閲覧することが可能となる。

また、第１の筐体１２には、操作キー１４の下部にマイクロフォン１５が設けられており、マイクロフォン１５によって通話時のユーザの音声を集音する。また、第１の筐体１２には、携帯電話機１の操作を行うサイドキー１６が設けられている。

なお、第１の筐体１２は、背面側に図示しないバッテリパックが挿着されており、終話・電源キーがオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。

一方、第２の筐体１３には、その正面にメインディスプレイ１７が設けられており、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号及び送信履歴等の他、電子メールの内容、簡易ホームページ、ＣＣＤ（Charge Coupled Device）カメラ（後述する図２のＣＣＤカメラ２０）で撮像した画像、外部のコンテンツサーバ（図示せず）より受信したコンテンツ、メモリカード（後述する図２のメモリカード４６）に記憶されているコンテンツを表示することができる。また、メインディスプレイ１７の上部の所定の位置にはレシーバ（受話器）１８が設けられており、これにより、ユーザは音声通話することが可能である。なお、携帯電話機１の所定の位置には、レシーバ１８以外の音声出力部としてのスピーカ（図２のスピーカ５０）も設けられている。

また、第１の筐体１２と第２の筐体１３の内部の所定の位置には、携帯電話機１の状態を検知するための磁気センサ１９a、１９b、１９c、および１９dが設けられる。なお、メインディスプレイ１７は、例えば有機ＥＬにより構成されるディスプレイでもよいし、液晶ディスプレイ（Liquid Crystal Display）でもよい。

図２は、本発明に係る情報処理装置に適用可能な携帯電話機１の内部の構成を表している。図示せぬ基地局から送信されてきた無線信号は、アンテナ３１で受信された後、アンテナ共用器（ＤＵＰ）３２を介して受信回路（ＲＸ）３３に入力される。受信回路３３は、受信された無線信号を周波数シンセサイザ（ＳＹＮ）３４から出力された局部発振信号とミキシングして中間周波数信号に周波数変換（ダウンコンバート）する。そして、受信回路３３は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。なお、周波数シンセサイザ３４から発生される局部発振信号の周波数は、制御部４１から出力される制御信号ＳＹＣによって指示される。

受信回路３３からの受信ベースバンド信号は、ＣＤＭＡ信号処理部３６に入力される。ＣＤＭＡ信号処理部３６は、図示せぬＲＡＫＥ受信機を備える。このＲＡＫＥ受信機では、受信ベースバンド信号に含まれる複数のパスがそれぞれの拡散符号（すなわち、拡散された受信信号の拡散符号と同一の拡散符号）で逆拡散処理される。そして、この逆拡散処理された各パスの信号は、位相が調整された後、コヒーレントＲａｋｅ合成される。Ｒａｋｅ合成後のデータ系列は、デインタリーブおよびチャネル復号（誤り訂正復号）が行われた後、２値のデータ判定が行われる。これにより、所定の伝送フォーマットの受信パケットデータが得られる。この受信パケットデータは、圧縮伸張処理部３７に入力される。

圧縮伸張処理部３７は、ＤＳＰ（Digital Signal Processor）などにより構成され、ＣＤＭＡ信号処理部３６から出力された受信パケットデータを図示せぬ多重分離部によりメディアごとに分離し、分離されたメディアごとのデータに対してそれぞれ復号処理を行う。例えば通話モードにおいては、受信パケットデータに含まれる通話音声などに対応するオーディオデータをスピーチコーデックにより復号する。また、例えばテレビ電話モードなどのように、受信パケットデータに動画像データが含まれていれば、この動画像データをビデオコーデックにより復号する。さらに、受信パケットデータがダウンロードコンテンツであれば、このダウンロードコンテンツを伸張した後、伸張されたダウンロードコンテンツを制御部４１に出力する。

復号処理により得られたディジタルオーディオ信号はＰＣＭコーデック３８に供給される。ＰＣＭコーデック３８は、圧縮伸張処理部３７から出力されたディジタルオーディオ信号をＰＣＭ復号し、ＰＣＭ復号後のアナログオーディオデータ信号を受話増幅器３９に出力する。このアナログオーディオ信号は、受話増幅器３９にて増幅された後、レシーバ１８により出力される。

圧縮伸張処理部３７によりビデオコーデックにて復号されたディジタル動画像信号は、制御部４１に入力される。制御部４１は、圧縮伸張処理部３７から出力されたディジタル動画像信号に基づく動画像を、表示駆動部５１に内蔵された画像メモリ５２（例えばＶＲＡＭなど）を介してメインディスプレイ１７に表示させる。このとき、ディジタル動画像信号に基づく動画像は、必要に応じて、表示駆動部５１に内蔵された画像合成回路５２にて合成されるとともに、合成結果の合成画像は画像データ転送回路５４によってメインディスプレイ１７に転送される。この画像データ転送回路５４は、例えばＤＭＡ（Direct Memory Access）コントローラなどからなる。

なお、制御部４１は、受信された動画像データだけでなく、ＣＣＤカメラ２０により撮像された動画像データに関しても、表示駆動部５１の画像メモリ５２を介してメインディスプレイ１７に表示させることも可能である。

また、圧縮伸張処理部３７は、受信パケットデータが電子メールである場合、この電子メールを制御部４１に供給する。制御部４１は、圧縮伸張処理部３７から供給された電子メールを記憶部４２に記憶させる。そして、制御部４１は、ユーザによる入力部としての操作キー１４の操作に応じて、記憶部４２に記憶されているこの電子メールを読み出し、読み出された電子メールをメインディスプレイ１７に表示させる。

一方、通話モードにおいて、マイクロフォン１５に入力された話者（ユーザ）の音声信号（アナログオーディオ信号）は、送話増幅器４０により適正レベルまで増幅された後、ＰＣＭコーデック３８によりＰＣＭ符号化される。このＰＣＭ符号化後のディジタルオーディオ信号は、圧縮伸張処理部３７に入力される。また、ＣＣＤカメラ２０から出力される動画像信号は、制御部４１によりディジタル化されて圧縮伸張処理部３７に入力される。さらに、制御部４１にて作成されたテキストデータである電子メールも、圧縮伸張処理部３７に入力される。

圧縮伸張処理部３７は、ＰＣＭコーデック３８から出力されたディジタルオーディオ信号を所定の送信データレートに応じたフォーマットで圧縮符号化する。これにより、オーディオデータが生成される。また、圧縮伸張処理部３７は、制御部４１から出力されたディジタル動画像信号を圧縮符号化して動画像データを生成する。そして、圧縮伸張処理部３７は、これらのオーディオデータや動画像データを図示せぬ多重分離部で所定の伝送フォーマットに従って多重化した後にパケット化し、パケット化後の送信パケットデータをＣＤＭＡ信号処理部３６に出力する。なお、圧縮伸張処理部３７は、制御部４１から電子メールが出力された場合にも、この電子メールを送信パケットデータに多重化する。

ＣＤＭＡ信号処理部３６は、圧縮伸張処理部３７から出力された送信パケットデータに対し、送信チャネルに割り当てられた拡散符号を用いてスペクトラム拡散処理を施し、スペクトラム拡散処理後の出力信号を送信回路（ＴＸ）３５に出力する。送信回路３５は、スペクトラム拡散処理後の信号をＱＰＳＫ（Quadrature Phase Shift Keying）方式などのディジタル変調方式を使用して変調する。送信回路３５は、ディジタル変調後の送信信号を、周波数シンセサイザ３４から発生される局部発振信号と合成して無線信号に周波数変換（アップコンバート）する。そして、送信回路３５は、制御部４１により指示される送信電力レベルとなるように、このアップコンバートにより生成された無線信号を高周波増幅する。この高周波増幅された無線信号は、アンテナ共用器３２を介してアンテナ３１に供給され、このアンテナ３１から図示せぬ基地局に向けて送信される。

また、携帯電話機１は、外部メモリインタフェース４５を備えている。この外部メモリインタフェース４５は、メモリカード４６を着脱することが可能なスロットを備えている。メモリカード４６は、ＮＡＮＤ型フラッシュメモリカードやＮＯＲ型フラッシュメモリカードなどに代表されるフラッシュメモリカードの一種であり、１０ピン端子を介して画像や音声、音楽等の各種データの書き込み及び読み出しが可能となっている。さらに、携帯電話機１には、現在の正確な現在の時刻を測定する時計回路（タイマ）４７が設けられている。

制御部４１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などからなり、ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部４２からＲＡＭにロードされた、オペレーティングシステム（ＯＳ）を含む各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより携帯電話機１を統括的に制御する。ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。

記憶部４２は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やＨＤＤ（Hard Disc Drive）などからなり、制御部４１のＣＰＵにより実行される種々のアプリケーションプログラムや種々のデータ群を格納している。

電源回路４４は、バッテリ４３の出力を基に所定の動作電源電圧Ｖｃｃを生成して各回路部に供給する。また、地上波ディジタルワンセグ受信部４８は、図示せぬ放送局からの地上波ディジタルワンセグ放送波や地上波ディジタルラジオ放送波を受信し、受信された地上波ディジタルワンセグ放送波や地上波ディジタルラジオ放送波に基づくＴＳ（Transport Stream）信号を地デジ処理部４９に供給する。地デジ処理部４９は、地上波ディジタルワンセグ受信部４８にて地上波ディジタルワンセグ放送波が受信された場合、地上波ディジタルワンセグ受信部４８からの地上波ディジタルワンセグ放送波に基づくＴＳ信号から、音声データと映像データに関するＥＳ（Elementary Stream）にそれぞれ分離し、分離された音声データを地デジ処理部４９内の音声デコーダ（図示せず）にて所定の復号化方式でデコードするとともに、分離された映像データを地デジ処理部４９内の映像デコーダ（図示せず）にて所定の復号化方式でデコードし、デコード後のディジタル音声信号とディジタル動画像信号を制御部４１に供給する。

従来では、携帯電話機１の例えばメインディスプレイ１７に画像を表示する場合、図３の概念図に示されるように、ＵＩ系のアプリケーションにより生成される画像データを表示するＵＩ画面レイヤ（論理層）と、主として動画像に関するマルチメディア系のアプリケーションにより生成される画像データを表示するマルチメディア画面レイヤが存在し、それぞれのレイヤの画像データを合成し、合成処理後の合成画像データをメインディスプレイ１７に転送して表示する。

図３の場合、必要に応じて、ＵＩ系のアプリケーションによって、ＵＩ画面レイヤに表示させる画像データを描画する描画処理が実行されるとともに、マルチメディア系のアプリケーションによって、マルチメディア画面レイヤに表示させる画像データを描画する描画処理が実行される。次に、各レイヤに表示される画像データを合成する合成処理が実行され、合成処理後の合成画像データがメインディスプレイに転送されて表示される。これらの処理は、並行して実行される。

このとき、いずれかのレイヤに対してアプリケーション（ＵＩ系のアプリケーション、またはマルチメディア系のアプリケーション）から更新要求があると、メインディスプレイ１７に表示される表示画面を構成するすべてのレイヤの画像が参照された上で、合成処理が実行され、合成結果である合成画像データがメインディスプレイ１７に表示される。すなわち、従来の画像更新処理においては、ＵＩ画面レイヤの更新処理とマルチメディア画面レイヤの更新処理とが区別されることなく実行されていた。そして、ＵＩ系のアプリケーションからＵＩ画面レイヤに対して行われる更新要求と、マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して行われる更新要求とは同期せずに（すなわち、非同期で）行われるため、更新要求に伴う画面更新処理は個別に発生するとともに、画面更新を実行するミドルウェアおよび表示制御ドライバは、更新要求の発生順に、画面更新処理を実行していた。そのため、表示画面に表示される画像のデータ量が増加すると、１回の画面更新により多くの時間を要してしまい、ユーザの操作に対する応答性が悪くなってしまう。

また、動画像を再生する場合には、画像のちらつきなどの違和感をユーザに与えることを防止する観点から、例えば３０フレーム／秒（１秒間に３０フレーム）の更新回数を維持するという制約も課せられている。しかしながら、動画像を再生中（マルチメディア画面レイヤに所定の時間ごとに更新要求が発生しているとき）にＵＩ画面レイヤへの更新要求が発生した場合、ＵＩ画面レイヤに対して行われる更新要求と、マルチメディア画面レイヤに対して行われる更新要求とがほぼ同時期に重畳して発生し、更新要求に伴う画面更新処理の発生順に画面更新処理が実行されると、マルチメディア画面レイヤにおける画面の更新に関し、例えば３０フレーム／秒の制約を維持することができない場合が生じてしまう。

具体的には、図４に示されるように、例えば１秒間に３０フレームの更新を行う動画像の再生において、マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して更新要求を行い、第１フレーム乃至第３フレームに関する画面更新処理を行う場合を想定する。このとき、第２フレームに関する画面更新処理の実行中に、ＵＩ系のアプリケーションからＵＩ画面レイヤに対して更新要求が行われ、ＵＩ画面レイヤの更新処理（例えばピクトの更新処理やボリューム表示の更新処理など）が割り込むと、その割込みに従ってＵＩ画面レイヤの画面更新処理が実行されてしまう。その結果、マルチメディア画面レイヤの第２フレームに関する画面更新処理の開始が遅れてしまい、フレームのコマ落ちが発生してしまう。

そこで、本発明においては、以下のような制御を行う。なお、この本発明の概念は図５に示される。図５に示した各レイヤ（ＵＩ画面レイヤとマルチメディア画面レイヤ）は、用途に応じて異なる属性が予め設けられている。ＵＩ画面レイヤの場合、ＵＩ系のアプリケーションからＵＩ画面レイヤに対して更新要求が行われると、ＵＩ系のアプリケーションにより生成された画像データのコピー（複製）を作成・保持しておき、その後、表示制御ドライバに対して更新要求を行う。それに対して、マルチメディア系の画面レイヤの場合、マルチメディア系のアプリケーションにより生成された画像データは画面表示ミドルウェア内でコピーの作成・保持を行わず、表示制御ドライバに対して更新要求を行う。表示制御ドライバは、更新要求に伴う画面更新処理を行い、画像データを合成する合成処理を実行し、合成処理後の合成画像をメインディスプレイに転送する。

マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して更新要求が開始された後、ＵＩ画面レイヤへの更新要求が行われた場合、ＵＩ系アプリケーションによる更新要求がマルチメディア系のアプリケーションによる更新要求と重畳するため、
画面表示ミドルウェアによってＵＩ系のアプリケーションにより作成された画像データのコピーの作成・保持のみを行い、合成処理および転送処理を省略する。そして、その後に行われるマルチメディア画面レイヤにおける画面更新処理時に合わせて、表示制御ドライバが、更新されたマルチメディア画面レイヤと保持されているＵＩ系のアプリケーションにより作成された画像データのコピーとの合成処理を行い、合成された画像データの転送処理を行うようにする。

そして、上位のアプリケーション（例えばＵＩ系のアプリケーションやマルチメディア系のアプリケーション）になるべく修正を発生させないようにするために、画像表示に関するミドルウェア（以下、「画面表示ミドルウェア」という。）が、上記のような制御を行う。これにより、複数のアプリケーションから非同期で発生する複数の更新要求に伴う画面更新処理を必要に応じて一元的に管理することができ、表示画面に表示される画像データのデータ量が増加した場合であっても、画面を全体として効率的に更新することが可能となる。以下、この方法を用いた携帯電話機１における表示処理について説明する。

まず、図６のフローチャートを参照して、マルチメディア系のアプリーションが実行されていない状態で、ＵＩ系のアプリケーションからＵＩ画面レイヤに対して更新要求が行われた場合での、図２の携帯電話機１における表示処理について説明する。なお、ＵＩ系のアプリケーション、マルチメディア系のアプリケーション、画面表示ミドルウェア、および表示制御ドライバはソフトウェアであり、制御部４１のＲＡＭ上に展開された上でＣＰＵにより実行される。

ステップＳ１において、ＵＩ系のアプリケーションは、例えばピクトに表示される電池残存量が変化して電池残存量を示すアイコンを変更するタイミングや、動画再生中に入力部を用いたユーザ操作によってボリュームが変更されてボリュームを示す表示を変更するタイミングで、ＵＩ画面レイヤに対して画面更新要求を行う。この画面更新要求には、ＵＩ系のアプリケーションにより生成された画像データが付加されている。画面表示ミドルウェアは、ＵＩ系のアプリケーションからの画面更新要求を受け取ると、画面更新要求があった画面レイヤの属性（すなわち、ＵＩ画面レイヤであるか、マルチメディア画面レイヤであるかの属性）を判定し、画面更新要求があった画面レイヤがＵＩ画面レイヤであると判定した場合、ステップＳ１１でＵＩ系のアプリケーションによって生成された新たな画像データのコピー（複製）を作成し、作成された画像データのコピーを制御部４１のＲＡＭ上に保持する。

ステップＳ１２において、画面表示ミドルウェアは、ＵＩ系のアプリケーションに対して、画面更新要求処理伴う画面更新処理に関する処理受付応答を通知する。このとき、ＵＩ系のアプリケーションは、画面表示ミドルウェアからの処理受付応答を受け取ると、画面表示ミドルウェアによって画面更新処理が受け付けられたと認識する。

ステップＳ１３において、画面表示ミドルウェアは、ＵＩ系のアプリケーションから受け取った画面更新要求に伴う画面更新処理を表示制御ドライバに実行させるため、ＵＩ画面レイヤにおける画面更新要求を、表示制御ドライバに通知する。この表示制御ドライバへの画面更新要求には、ＵＩ系のアプリケーションにより生成された新たな画像データが付加されている。表示制御ドライバは、画面表示ミドルウェアからのＵＩ画面レイヤにおける画面更新要求を受け取ると、ステップＳ２１で表示駆動部５１を制御し、ＵＩ画面レイヤにおける画面更新要求に付加された画像データに基づいて合成処理を実行させる。表示駆動部５１の画像合成回路５３は、表示制御ドライバの制御に従い、合成処理を行い、合成結果の合成画像データを画像データ転送回路５４に出力する。このとき、合成結果の合成画像データは、表示駆動部５１の画像メモリ５２に一時的にバッファリング（保持）される。

ステップＳ２２において、表示制御ドライバは、画像データ転送回路５４を制御し、合成結果の合成画像データをメインディスプレイ１７に転送させる。画像データ転送回路５４は、表示制御ドライバの制御に従い、合成画像データをメインディスプレイ１７に転送する。画像データ転送回路５４からメインディスプレイ１７に合成画像データを転送する場合、転送開始から転送終了までに、合成画像データのデータ量に応じて所要の転送時間がかかる。

ステップＳ２３において、表示制御ドライバは、画像データ転送回路５４による合成画像データの転送処理を開始すると、メインディスプレイ１７からの転送完了通知を受け取る前に、画像合成回路５３による合成処理を完了したことを示す合成完了を、画面表示ミドルウェアに通知する。画面表示ミドルウェアは、表示制御ドライバからの合成完了通知を受け取ると、表示駆動部５１の画像合成回路３５における合成処理が完了したと認識し、ステップＳ１４で画面更新処理の完了をＵＩ系のアプリケーションに通知する。このとき、ＵＩ系のアプリケーションは、画面表示ミドルウェアからの画面更新処理完了通知を受け取ると、ＵＩ画面レイヤにおける画面更新処理が完了したと認識する。

その後、画像データ転送回路５４からメインディスプレイ１７への合成画像データの転送処理が完了した場合、メインディスプレイ１７はステップＳ３１で、合成画像データの転送完了を表示制御ドライバに通知する。表示制御ドライバは、メインディスプレイ１７からの転送完了通知を受け取ると、ステップＳ２４で合成画像データの転送完了を画面表示ミドルウェアに通知する。なお、画面表示ミドルウェアは、合成画像データの転送完了通知を表示制御ドライバから受け取ったとしても、上位のＵＩ系のアプリケーションに合成画像データの転送完了通知は行わない。

次に、図７のフローチャートを参照して、マルチメディア系のアプリーションが実行されている状態で、マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して更新要求が開始された後、ＵＩ系のアプリケーションからＵＩ画面レイヤに対して更新要求が行われた場合での、図２の携帯電話機１における表示処理について説明する。なお、説明を簡略化するために、表示制御ドライバからメインディスプレイ１７への転送処理完了後の一連の処理（すなわち、メインディスプレイ１７から表示制御ドライバへの転送完了通知処理（図６のステップＳ３１に対応する処理）、および表示制御ドライバから画面表示ミドルウェアへの転送完了通知処理（図６のステップＳ２４に対応する処理））は省略する。

ステップＳ５１において、マルチメディア系のアプリケーションは、新たな画像データを生成すると、マルチメディア画面レイヤに対して画面更新要求を行う。この画面更新要求には、マルチメディア系のアプリケーションにより生成された画像データが付加されている。なお、マルチメディア系のアプリケーションの場合、例えば３０フレーム／秒（１秒間に３０フレーム）の更新回数を維持するという制約が存在することから、マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して一旦画面更新要求が行われると、短い間隔で順次、マルチメディア画面レイヤに対して画面更新要求が行われる。

画面表示ミドルウェアは、マルチメディア系のアプリケーションからの画面更新要求を受け取ると、画面更新要求があった画面レイヤの属性（すなわち、ＵＩ画面レイヤであるか、マルチメディア画面レイヤであるかの属性）を判定し、画面更新要求があった画面レイヤがマルチメディア画面レイヤであると判定した場合、ステップＳ６６でマルチメディア系のアプリケーションに対して、画面更新要求処理伴う画面更新処理に関する処理受付応答を通知する。このとき、マルチメディア系のアプリケーションは、画面表示ミドルウェアからの処理受付応答を受け取ると、画面表示ミドルウェアによって画面更新処理が受け付けられたと認識する。なお、マルチメディア系のアプリケーションの場合、ＵＩ系のアプリケーションとは異なり、新たな画像データのコピー（複製）の作成・保持は行われない。

ステップＳ６７において、画面表示ミドルウェアは、マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して画面更新要求が開始された後、ＵＩ系のアプリケーションからの画面更新要求に応じたＵＩ画面レイヤにおける画面更新処理を抑制するため、ＵＩ画面レイヤの抑制処理を開始する。これにより、画面表示ミドルウェアにおいて管理されるステータスは「ＵＩ画面レイヤ抑制中」となり、画面表示ミドルウェアがＵＩ系のアプリケーションから画面更新要求を受け取ったことによる表示制御ドライバへ画面更新要求の通知は行わない。

その後、ステップＳ６８において、画面表示ミドルウェアは、マルチメディア系のアプリケーションから受け取った画面更新要求に伴う画面更新処理を表示制御ドライバに実行させるため、マルチメディア画面レイヤにおける画面更新要求を、表示制御ドライバに通知する。この表示制御ドライバへの画面更新要求には、マルチメディア系のアプリケーションにより生成された新たな画像データが付加されている。表示制御ドライバは、画面表示ミドルウェアからのマルチメディア画面レイヤにおける画面更新要求を受け取ると、ステップＳ９４で表示駆動部５１を制御し、マルチメディア画面レイヤにおける画面更新要求に付加された画像データに基づいて合成処理を実行させる。表示駆動部５１の画像合成回路５３は、表示制御ドライバの制御に従い、マルチメディア画面レイヤにおける画面更新要求に付加された画像データに基づいて合成処理を行い、合成結果の合成画像データを画像データ転送回路５４に出力する。

ステップＳ９５において、表示制御ドライバは、画像データ転送回路５４を制御し、合成結果の合成画像データをメインディスプレイ１７に転送させる。画像データ転送回路５４は、表示制御ドライバの制御に従い、合成画像データをメインディスプレイ１７に転送する。画像データ転送回路５４からメインディスプレイ１７に合成画像データを転送する場合、転送開始から転送終了までに、合成画像データのデータ量に応じて所要の転送時間がかかる。

ステップＳ９６において、表示制御ドライバは、画像データ転送回路５４による合成画像データの転送処理を開始すると、メインディスプレイ１７からの転送完了通知を受け取る前に、画像合成回路５３による合成処理を完了したことを示す合成完了を、画面表示ミドルウェアに通知する。画面表示ミドルウェアは、表示制御ドライバからの合成完了通知を受け取ると、表示駆動部５１の画像合成回路３５における合成処理が完了したと認識し、ステップＳ６９で画面更新処理の完了をマルチメディア系のアプリケーションに通知する。このとき、マルチメディア系のアプリケーションは、画面表示ミドルウェアからの画面更新処理完了通知を受け取ると、マルチメディア画面レイヤにおける画面更新処理が完了したと認識する。

その後、ステップＳ４２において、マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して更新要求が開始された後、ＵＩ画面レイヤの抑制中に、ＵＩ系のアプリケーションは、新たな画像データを生成すると、ＵＩ画面レイヤに対して画面更新要求を行う。画面表示ミドルウェアは、ＵＩ系のアプリケーションからの画面更新要求を受け取ると、画面更新要求があった画面レイヤの属性（すなわち、ＵＩ画面レイヤであるか、マルチメディア画面レイヤであるかの属性）を判定し、画面更新要求があった画面レイヤがＵＩ画面レイヤであると判定した場合、ステップＳ７０でＵＩ系のアプリケーションによって生成された新たな画像データのコピー（複製）を作成し、作成された画像データのコピーを制御部４１のＲＡＭ上に保持する。

ステップＳ７１において、画面表示ミドルウェアは、ＵＩ系のアプリケーションに対して、画面更新要求処理伴う画面更新処理に関する処理受付応答をＵＩ系のアプリケーションに通知する。このとき、ＵＩ系のアプリケーションは、画面表示ミドルウェアからの処理受付応答を受け取ると、画面表示ミドルウェアによって画面更新処理が受け付けられたと認識する。また、ＵＩ画面レイヤの抑制中であることから、画面表示ミドルウェアにおける表示制御ドライバに対する画面更新要求通知処理は省略される。そして、ステップＳ７２において、画面表示ミドルウェアは、表示制御ドライバからの合成完了通知を受け取るか否かにかかわらず、画面更新処理の完了をＵＩ系のアプリケーションに通知する。これにより、ＵＩ系のアプリケーションは、画面表示ミドルウェアからの画面更新処理完了通知を受け取ると、ＵＩ画面レイヤにおける画面更新処理が完了したと認識する。

その後、ステップＳ５２において、マルチメディア系のアプリケーションは、新たな画像データを生成すると、マルチメディア画面レイヤに対して画面更新要求を行う。この画面更新要求には、マルチメディア系のアプリケーションにより生成された画像データが付加されている。次に、ステップＳ７３において、画面表示ミドルウェアは、マルチメディア系のアプリケーションからの画面更新要求を受け取ると、画面更新要求があった画面レイヤの属性（すなわち、ＵＩ画面レイヤであるか、マルチメディア画面レイヤであるかの属性）を判定し、画面更新要求があった画面レイヤがマルチメディア画面レイヤであると判定した場合、マルチメディア系のアプリケーションに対して、画面更新要求処理伴う画面更新処理に関する処理受付応答を通知する。

ステップＳ７４において、画面表示ミドルウェアは、マルチメディア系のアプリケーションから受け取った画面更新要求に伴う画面更新処理を表示制御ドライバに実行させるとともに、同時に、ＵＩ画面レイヤの抑制中であるが故に省略されていたＵＩ画面レイヤにおける画面更新処理を表示制御ドライバに実行させるために、ステップＳ７０に処理によって制御部４１のＲＡＭ上に保持されているＵＩ系のアプリケーションによる画像データのコピー（複製）を読み出し、マルチメディア画面レイヤ並びＵＩ系画面レイヤにおける画面更新要求を、表示制御ドライバに通知する。この表示制御ドライバへの画面更新要求には、読み出されたＵＩ系のアプリケーションによる画像データのコピー（複製）とともに、マルチメディア系のアプリケーションにより生成された新たな画像データが付加されている。表示制御ドライバは、画面表示ミドルウェアからのマルチメディア画面レイヤ並びにＵＩ画面レイヤにおける画面更新要求を受け取ると、ステップＳ９７で表示駆動部５１を制御し、マルチメディア画面レイヤ並びにＵＩ画面レイヤにおける画面更新要求に付加された画像データに基づいて合成処理を実行させる。表示駆動部５１の画像合成回路５３は、表示制御ドライバの制御に従い、マルチメディア画面レイヤにおける画面更新要求に付加された画像データに基づいて合成処理を行い、合成結果の合成画像データを画像データ転送回路５４に出力する。

ステップＳ９８において、表示制御ドライバは、画像データ転送回路５４を制御し、合成結果の合成画像データをメインディスプレイ１７に転送させる。画像データ転送回路５４は、表示制御ドライバの制御に従い、合成画像データをメインディスプレイ１７に転送する。その後、ステップＳ９９にて画面表示ミドルウェアへの合成完了通知処理が実行され、ステップＳ７５にてマルチメディア系のアプリケーションへの画面更新処理完了通知処理が実行される。

以上のように、本発明の実施形態においては、第１の画面レイヤ（ＵＩ画面レイヤ）における第１の画像データを生成し、第１の画面レイヤと異なる第２の画面レイヤ（マルチメディア画面レイヤ）における第２の画像データを生成し、第１の画像データが生成された場合に通知される第１の画面更新要求と、第２の画像データが生成された場合に通知される第２の画面更新要求とに従い、第１の画像データと第２の画像データのうちのいずれか１つ以上を合成し、合成結果である合成画像データに基づく画像を表示する表示し、画面更新要求に対応する画面レイヤの属性が第１の画面レイヤである場合、第１の画像データを複製して保持し、第２の画面更新要求の通知が開始された後、第１の画面更新要求が通知された場合、第１の画面更新要求に伴う画面更新処理の抑制を開始し、合成処理を省略するとともに、第２の画面更新要求が次回通知されたとき、保持されている第１の画像データと、新たに生成された第２の画像データに基づいて合成処理を実行するように制御することができる。

これにより、複数のアプリケーション（ＵＩ系のアプリケーションやマルチメディア系のアプリケーション）から非同期で発生する複数の更新要求に伴う画面更新処理を必要に応じて一元的に管理することができ、マルチメディア系のアプリケーションが起動された後において、動画像の再生時におけるメインディスプレイ１７への表示処理をできるだけ１回に統合することができる。具体的には、図８に示されるように、例えば１秒間に３０フレームの更新を行う動画像の再生において、マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して画面更新要求を行い、第１フレーム乃至第３フレームに関する画面更新処理を行う場合を想定する。このとき、第２フレームに関する画面更新処理の実行中に、ＵＩ系のアプリケーションからＵＩ画面レイヤに対して画面更新要求が行われ、ＵＩ画面レイヤの更新処理（例えばピクトの更新処理やボリューム表示の更新処理など）が割り込んだとしても、その割込みに従った画面更新処理は保留されるとともに、画面表示ミドルウェアによってマルチメディア画面レイヤに対する次の画面更新要求にこのＵＩ画面レイヤに対する画面更新要求が統合される。

従って、動画表示画面に表示される画像データのデータ量が増加した場合であっても、画面を全体として効率的に更新することができる。また、マルチメディア系のアプリケーションからのマルチメディア画面レイヤに対する画面更新要求に合わせて、一時的に省略されたＵＩ画面レイヤにおける画面更新処理を実行するようにしたので、例えば３０フレーム／秒（１秒間に３０フレーム）の更新回数を維持しつつ、フレームに関する画面更新処理の開始の遅延を防止し、フレームのコマ落ちの発生を防止することができる（すなわち、動画像の再生における見栄えを向上させることができる）。

なお、マルチメディア系のアプリケーションにより生成される画像データのフレーム更新間隔内に、ＵＩ系のアプリケーションからのＵＩ画面レイヤに対する画面更新要求が複数回発生した場合であっても、ＵＩ系のアプリケーションによって生成された新たな画像データのコピー（複製）の作成・保持のみが実行され、ＵＩ画面レイヤの抑制中であることから、ＵＩ系のアプリケーションからの画面更新要求に応じた画面表示ミドルウェアにおける表示制御ドライバに対する画面更新要求通知処理は省略される。そして、マルチメディア画面レイヤに対する画面更新要求が次回あった場合に、ＵＩ系のアプリケーションによって生成された最新の画像データのコピーを用いて合成処理が実行される。

また、ＵＩ画面レイヤの抑制中の場合、画面表示ミドルウェアにおける表示制御ドライバに対する画面更新要求通知処理は省略されるが、マルチメディア画面レイヤにおける画面更新処理は例えば３０フレーム／秒において約３３ｍｓｅｃで逐次行われることから、ＵＩ画面レイヤにおける画面更新処理の遅延は最大で約３３ｍｓｅｃ程度であり、ユーザによる操作時の応答性に対する影響は少ないと考えられる。

さらに、表示駆動部５１の画像合成回路５３における合成処理と、画像データ転送回路５４における転送処理はそれぞれ並列処理されるため、合成結果の合成画像データをバッファリングするバッファ（例えばＦＩＦＯ方式のバッファ）を複数用意すれば、画像データ転送回路５４における転送処理が完了しなくても、上位のアプリケーションからの画面更新要求を画面表示ミドルウェアにて受け付けた上で合成処理を実行することができる。これにより、上位のアプリケーションは、表示駆動部５１や画像データ転送回路５４などのハードウェアによる処理の完了を待つことなく、画面更新要求を画面表示ミドルウェアに通知することができ、画像表示処理におけるスループットを向上させることができる。

ところで、例えば地上波ディジタルワンセグ放送波の受信時に、受信状況によってマルチメディア画面レイヤに対する画面更新要求が途切れてしまう場合が考えられる。このような場合、仮にＵＩ画面レイヤにおける画面更新要求があったとしても、ＵＩ画面レイヤの画面更新処理の抑制中であることから、メインディスプレイ１７に表示される表示画面に最新のＵＩ画面が反映されない。そのため、ユーザによる操作に対するずれが生じてしまい、ユーザは応答性が悪いと感じてしまう。

そこで、マルチメディア画面レイヤに対する画面更新要求が途切れたときにＵＩ画面レイヤの画面更新処理が抑制されたままとならないよう、画像データ転送回路５４による合成結果の転送処理が完全に終了して、合成結果を格納しておくバッファが使用されていない状態になったときに、ＵＩ画面レイヤの画面更新処理の抑制を解除して、マルチメディア画面レイヤも含めて一度画面の更新を行うようにする。合成結果を格納するバッファが使用されていない状態になったときをＵＩ画面レイヤの画面更新処理の抑制解除時点とするのは、合成結果を格納するバッファが使用されていない状態がシステム全体として負荷が無くなったことを意味しており、ＵＩ画面レイヤに対する画面更新を待たせておく必要が無いためである。このような方法を用いることにより、一時的に保留中であったＵＩ画面レイヤの画面更新処理がマルチメディア画面レイヤの画面更新処理を含めて実行され、メインディスプレイ１７における表示画面を最新の画面に更新することができる。

以下、この方法を用いた携帯電話機１における表示処理について説明する。以下に説明する方法では、合成結果を格納するバッファの使用状況を、画面更新要求数という変数を用いて管理している。この画面更新要求数管理処理は、概略的に図９および図１０のフローチャートに示される。

図９のフローチャートを参照して、マルチメディア系のアプリーションが実行されている状態で、ＵＩ系のアプリケーションからのＵＩ画面レイヤに対する更新要求、またはマルチメディア系のアプリケーションからのマルチメディア画面レイヤに対する更新要求が行われた場合での、図２の携帯電話機１における画面更新要求発生時の画面更新要求数管理処理について説明する。この画面更新要求数管理処理は、画面表示ミドルウェアが制御部４１のＲＡＭ上に展開されてＣＰＵにより実行される。

ステップＳ１０１において、画面表示ミドルウェアは、ＵＩ系のアプリケーションまたはマルチメディア系のアプリケーションからの画面更新要求を受け取ると、画面更新要求があった画面レイヤの属性（すなわち、ＵＩ画面レイヤであるか、マルチメディア画面レイヤであるかの属性）を判定する。ステップＳ１０１において画面表示ミドルウェアが、画面更新要求があった画面レイヤがマルチメディア画面レイヤであると判定した場合、画面表示ミドルウェアはステップＳ１０２で、マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して画面更新要求が開始された後、ＵＩ系のアプリケーションからの画面更新要求に応じたＵＩ画面レイヤにおける画面更新処理を抑制するため、ＵＩ画面レイヤの抑制処理を開始する。

ステップＳ１０３において、画面表示ミドルウェアは、マルチメディア系のアプリケーションから受け取られた画面更新要求に基づいて、合成結果を格納するバッファの使用状況を管理するための画面更新要求数を１つ増加させる（１つカウントアップする）。例えば現在の画面更新要求数が「１」である場合、新たにいずれかの画面更新要求が取得されると、画面更新要求数が「２」にカウントアップされる。その後、ステップＳ１０４において、画面表示ミドルウェアは、マルチメディア系のアプリケーションから受け取った画面更新要求に伴う画面更新処理を表示制御ドライバに実行させるため、マルチメディア画面レイヤにおける画面更新要求を、表示制御ドライバに通知する。なお、ステップＳ１０２とステップＳ１０３の処理は入れ替えるようにしてもよい。

一方、ステップＳ１０１において画面表示ミドルウェアが、画面更新要求があった画面レイヤがＵＩ画面レイヤであると判定した場合、画面表示ミドルウェアはステップＳ１０２で、ＵＩ系のアプリケーションによって生成された新たな画像データのコピー（複製）を作成し、作成された画像データのコピーを制御部４１のＲＡＭ上に保持する。ステップＳ１０６において、画像表示ミドルウェアは、現在ＵＩ画面レイヤの抑制中であるか否かを判定する。ステップＳ１０６において画面表示ミドルウェアが、現在ＵＩ画面レイヤの抑制中ではないと判定した場合、処理はステップＳ１０３に進み、画面表示ミドルウェアは、ＵＩ系のアプリケーションから受け取られた画面更新要求に基づいて、合成結果を格納するバッファの使用状況を管理するための画面更新要求数を１つ増加させる（１つカウントアップする）。一方、ステップＳ１０６において画面表示ミドルウェアが、現在ＵＩ画面レイヤの抑制中であると判定した場合、ステップＳ１０３およびステップＳ１０４の処理はスキップされ、画面更新要求数はカウントアップされず、表示制御ドライバへの画面更新要求も実行されない。

次に、図１０のフローチャートを参照して、図２の携帯電話機１における転送完了時の画面更新要求数管理処理について説明する。ステップＳ１０７において、画面表示ミドルウェアは、合成画像データの転送完了通知を表示制御ドライバから受け取ると、ＵＩ系のアプリケーションやマルチメディア系のアプリケーションなどから受け取られた画面更新要求に基づく画面更新要求数を１つ減少させる（１つカウントダウンする）。例えば現在の画面更新要求数が「２」である場合、合成画像データの転送完了通知が取得されると、画面更新要求数が「１」にカウントダウンされる。ステップＳ１０８において、画面表示ミドルウェアは、現在の画面更新要求数が「０」であるか否かを判定する。ステップＳ１０８において画面表示ミドルウェアが現在の画面更新要求数が「０」であると判定した場合、画面表示ミドルウェアは、マルチメディア画面レイヤに対する画面更新要求が途切れており、表示制御ドライバにおける処理がすべて完了し、画像データ転送回路５４における転送路が空き状態になっていると認識し、ステップＳ１０９で現在保留中となっているＵＩ画面レイヤにおける画面更新処理を表示制御ドライバに実行させるために、ＵＩ画面レイヤの抑制を解除する。

ステップＳ１１０において、画面表示ミドルウェアは、ＵＩ系のアプリケーションやマルチメディア系のアプリケーションなどから受け取られた画面更新要求数を１つ増加させる（１つカウントアップする）。ステップＳ１１１において、画面表示ミドルウェアは、ＵＩ系のアプリケーションから受け取った画面更新要求に伴う画面更新処理を表示制御ドライバに実行させるため、ＵＩ画面レイヤにおける画面更新要求を、表示制御ドライバに通知する。一方、ステップＳ１０８において画面表示ミドルウェアが現在の画面更新要求数が「０」ではないと判定した場合、画面表示ミドルウェアは、画像データ転送回路５４における転送路が空き状態になっていないと認識し、ステップＳ１０９乃至Ｓ１１１の処理はスキップされる。

なお、例えば地上波ディジタルワンセグ放送波の受信時に受信状況によってマルチメディア画面レイヤに対する画面更新要求が途切れてしまう場合に、マルチメディア画面レイヤに対する画面更新要求が途切れたときにＵＩ画面レイヤの画面更新処理が抑制されたままとならないように、画像データ転送回路５４による合成結果の転送処理が完全に終了して、合成結果を格納しておくバッファが使用されていない状態になったときにＵＩ画面レイヤの画面更新処理の抑制を解除して、マルチメディア画面レイヤも含めて一度画面の更新を行うようにしたが、このような場合に限られない。

すなわち、地上波ディジタルワンセグ放送波の受信時に以外に、例えばマルチメディア系のアプリケーションにより生成される画像データのフレームレートが低く画面表示更新の間隔が長いコンテンツの場合にも、ＵＩ画面レイヤに対する画面更新を待たせておく必要がない状況が想定される。具体的には、画像データのフレームレートが低く画面表示更新の間隔が長いコンテンツのときには、動画像処理の負荷が低いために、マルチメディア系のアプリケーションにより生成される画像データの再生中に局所的に画面更新要求数が「０」となる場合が想定される。このような場合、ＵＩ画面レイヤに対する画面更新を待たせておく必要がないことから、ＵＩ画面レイヤの画面更新処理の抑制を解除するようにして、マルチメディア画面レイヤも含めて一度画面の更新を行うようにしてもよい。

図９および図１０のフローチャートを用いて説明した画面表示ミドルウェアにおける画面更新要求数管理処理は、図６または図７における画面表示ミドルウェアの処理と並列的にまたは時系列的に実行される。以下、この画面更新要求数管理処理の概念を用いた、携帯電話機１における具体的な表示処理について説明する。

図１１のフローチャートを参照して、マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して更新要求が開始された後、ＵＩ系のアプリケーションからＵＩ画面レイヤに対して更新要求が行われ、かつ、マルチメディア画面レイヤに対する画面更新要求が途切れた場合での、図２の携帯電話機１における表示処理について説明する。なお、図１１の処理は、図７の処理と基本的には同様であり、その説明は繰り返しになるので適宜省略する。

ステップＳ１２２において、画面表示ミドルウェアは、マルチメディア系のアプリケーションから受け取られた画面更新要求に基づいて、合成結果を格納するバッファの使用状況を管理するための画面更新要求数を１つ増加させる（１つカウントアップする）。

画像データ転送回路５４からメインディスプレイ１７への合成画像データの転送処理が完了した場合、メインディスプレイ１７はステップＳ１９１で、合成画像データの転送完了を表示制御ドライバに通知する。表示制御ドライバは、メインディスプレイ１７からの転送完了通知を受け取ると、ステップＳ１７４で合成画像データの転送完了を画面表示ミドルウェアに通知する。画面表示ミドルウェアは、合成画像データの転送完了通知を表示制御ドライバから受け取ると、ステップＳ１２９でＵＩ系のアプリケーションやマルチメディア系のアプリケーションなどから受け取られた画面更新要求数を１つ減少させる（１つカウントダウンする）。このとき、マルチメディア画面レイヤに対する画面更新要求が途切れて所要の時間が経過した場合、ＵＩ画面レイヤの画面更新処理が抑制されており、ＵＩ画面レイヤにおける画面更新要求は一時的保留され、これに応じた画面更新要求数もカウントアップされていないことから、現在の画面更新要求数は「１」であると考えられる。そして、合成画像データの転送完了通知が画面表示ミドルウェアにて取得されると、画面更新要求数が「１」から「０」にカウントダウンされる。勿論、場合によっては、現在の画面更新要求数が「２」であることも考えられ、このような場合には、合成画像データの転送完了通知が取得されると、画面更新要求数が「１」にカウントダウンされる。

ステップＳ１３０において、画面表示ミドルウェアは、現在の画面更新要求数が「０」であるか否かを判定し、現在の画面更新要求数が「０」であると判定するまで待機する。ステップＳ１３０において画面表示ミドルウェアが現在の画面更新要求数が「０」であると判定した場合、画面表示ミドルウェアは、マルチメディア画面レイヤに対する画面更新要求が途切れており、表示制御ドライバにおける処理がすべて完了し、画像データ転送回路５４における転送路が空き状態になっていると認識し、ステップＳ１３１で現在保留中となっているＵＩ画面レイヤにおける画面更新処理を表示制御ドライバに実行させるために、ＵＩ画面レイヤの抑制を解除する。

ステップＳ１３２において、画面表示ミドルウェアは、ＵＩ系のアプリケーションやマルチメディア系のアプリケーションなどから受け取られた画面更新要求数を１つ増加させる（１つカウントアップする）。この場合、画面表示ミドルウェアは、現在の画面更新要求数が「０」であることから、保留中のＵＩ画面レイヤにおける画面更新要求に従い、画面更新要求数を「０」から「１」にカウントアップする。ステップＳ１３３において、画面表示ミドルウェアは、ＵＩ系のアプリケーションから受け取った保留中の画面更新要求に伴う画面更新処理を表示制御ドライバに実行させるため、ステップＳ１２６に処理によって制御部４１のＲＡＭ上に保持されているＵＩ系のアプリケーションによる最新の画像データのコピー（複製）を読み出し、ＵＩ画面レイヤにおける画面更新要求を、表示制御ドライバに通知する。この表示制御ドライバへの画面更新要求には、読み出されたＵＩ系のアプリケーションによる画像データのコピー（複製）が付加されている。

その後、ステップＳ１７５およびステップＳ１７６において合成処理および転送処理が実行され、ステップＳ１７７で画面表示ミドルウェアへの合成完了通知処理が実行される。このとき、ステップＳ１２８にてＵＩ系のアプリケーションへの画面更新処理完了通知処理が実行されていることから、上位のＵＩ系のアプリケーションへの通知処理は実行されない。

これにより、マルチメディア画面レイヤに対する画面更新要求が途切れたか否かを検出し、一時的に保留中であったＵＩ画面レイヤの画面更新処理がマルチメディア画面レイヤの画面更新処理を含めて実行され、メインディスプレイ１７における表示画面を最新の画面に更新することができる。従って、動画表示画面に表示される画像データのデータ量が増加した場合であっても、ユーザによる操作に対する応答性を考慮しつつ、画面を全体としてより効率的に更新することができる。

なお、本発明は、携帯電話機１以外にも、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機、その他の情報処理装置にも適用することができる。

また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。

さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

本発明に係る情報処理装置に適用可能な携帯電話機の外観の構成を示す図。 本発明に係る情報処理装置に適用可能な携帯電話機の内部の構成を示すブロック図。 従来の携帯電話機のメインディスプレイに画像を表示する場合における表示処理の概念図。 １秒間に３０フレームの更新を行う従来の動画像の再生において発生するフレームのコマ落ちを説明する説明図。 本発明に係る携帯電話機のメインディスプレイに画像を表示する場合における表示処理の概念図。 ＵＩ系のアプリケーションからＵＩ画面レイヤに対して更新要求が行われた場合での、図２の携帯電話機における表示処理を説明するフローチャート。 マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して更新要求が開始された後、ＵＩ系のアプリケーションからＵＩ画面レイヤに対して更新要求が行われた場合での、図２の携帯電話機における表示処理を説明するフローチャート。 １秒間に３０フレームの更新を行う本発明に係る動画像の再生において、フレームのコマ落ちを防止するための流れを説明する説明図。 図２の携帯電話機における画面更新要求発生時の画面更新要求数管理処理を説明するフローチャート。 図２の携帯電話機における転送完了時の画面更新要求数管理処理を説明するフローチャート。 マルチメディア系のアプリケーションからマルチメディア画面レイヤに対して更新要求が開始された後、ＵＩ系のアプリケーションからＵＩ画面レイヤに対して更新要求が行われ、かつ、マルチメディア画面レイヤに対する画面更新要求が途切れた場合での、図２の携帯電話機における表示処理を説明するフローチャート。

符号の説明

１…携帯電話機、１１…ヒンジ部、１２…第１の筐体、１３…第２の筐体、１４…操作キー、１５…マイクロフォン、１６…サイドキー、１７…メインディスプレイ、１８…レシーバ、１９a乃至１９d…磁気センサ、２０…ＣＣＤカメラ、２１…サブディスプレイ、３１…アンテナ、３２…アンテナ共用器（ＤＵＰ）、３３…受信回路（ＲＸ）、３４…周波数シンセサイザ（ＳＹＮ）、３５…送信回路（ＴＸ）、３６…ＣＤＭＡ信号処理部、３７…圧縮伸張処理部、３８…ＰＣＭコーデック、３９…受話増幅器、４０…送話増幅器、４１…制御部、４２…記憶部、４３…バッテリ、４４…電源回路、４５…外部メモリインタフェース、４６…メモリカード、４７…時計回路、４８…地上波ディジタルワンセグ受信部、４９…地デジ処理部、５０…スピーカ、５１…表示駆動部、５２…画像メモリ、５３…画像合成回路、５４…画像データ転送回路。

Claims (6)

1. 第１の画面レイヤにおける第１の画像データを生成する第１の生成手段と、
   前記第１の画面レイヤと異なる第２の画面レイヤにおける第２の画像データを生成する第２の生成手段と、
   前記第１の生成手段により前記第１の画像データが生成された場合に通知される第１の画面更新要求と、前記第２の生成手段により前記第２の画像データが生成された場合に通知される第２の画面更新要求とに従い、前記第１の画像データと前記第２の画像データのうちのいずれか１つ以上を合成する合成手段と、
   前記合成手段による合成結果である合成画像データに基づく画像を表示する表示する表示手段と、
   画面更新要求に対応する画面レイヤの属性が前記第１の画面レイヤである場合、前記第１の画像データを複製して保持する保持手段と、
   前記第２の画面更新要求の通知が開始された後、前記第１の画面更新要求が通知された場合、前記第１の画面更新要求に伴う画面更新処理の抑制を開始し、前記合成手段による合成処理を省略するとともに、前記第２の画面更新要求が次回通知されたとき、前記保持手段により保持されている前記第１の画像データと、新たに生成された前記第２の画像データに基づいて、前記合成手段による合成処理を実行するように制御する制御手段とを備えることを特徴とする情報処理装置。
2. 第１の画像を生成して第１の画面レイヤに第１の更新要求を行う第１の生成手段と、
   第２の画像を生成して前記第１の画面レイヤとは異なる第２の画面レイヤに第２の更新要求を行う第２の生成手段と、
   前記第１の画面レイヤと前記第２の画面レイヤを合成する合成手段と、
   前記合成手段による合成結果である合成画像データに基づく画像を表示する表示する表示手段と、
   画像を保持する保持手段と、
   前記第２の画面レイヤに第２の更新要求がされると前記第１の画面レイヤに対する第１の更新要求に基づく画面更新処理の抑制を開始し、画面更新処理の抑制中に前記第１の画面レイヤに第１の更新要求がなされた場合、前記第１の画像を前記保持手段に保持させておき、次回前記第２の画面レイヤに第２の更新要求がなされたときに前記第２の画面レイヤを更新するとともに前記保持手段によって保持されていた前記第１の画像によって前記第１の画面レイヤを更新し、前記合成手段によって前記第１の画面レイヤと前記第２の画面レイヤを合成して前記表示手段に表示させる制御手段を有することを特徴とする情報処理装置。
3. 前記合成画像データを前記表示手段に転送する転送手段と、
   前記第１の画面更新要求または前記第２の画面更新要求に基づいて前記合成手段に合成要求が通知された場合、画面更新要求数を増加し、前記転送手段による前記表示手段への転送が完了した場合、画面更新要求数を減少する画面更新要求数管理手段とをさらに備え、
   前記制御手段は、前記画面更新要求数管理手段により管理される画面更新要求数が０である場合、前記第１の画面更新要求に伴う画面更新処理の抑制を解除し、前記保持手段により保持されている前記第１の画像データに基づいて、前記合成手段による合成処理を実行するように制御することを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記合成画像データを前記表示手段に転送する転送手段と、
   前記転送手段によって転送されるまで前記合成画像データを格納する合成画像格納手段とを更に備え、
   前記制御手段は、前記合成画像格納手段に合成画像データが格納されていないときに前記第１の画面更新要求に伴う画面更新処理の抑制を解消し、前記保持手段により保持されている前記第１の画像データに基づいて、前記合成手段による合成処理を実行するように制御することを特徴とする請求項１または請求項２に記載の情報処理装置。
5. 前記第１の画像データにはＵＩに関する画像データが含まれ、前記第２の画像データには動画像データが含まれることを特徴とする請求項１または請求項２に記載の情報処理装置。
6. 動画像を再生させながら前記動画像以外の画像を表示する情報処理装置において、
   前記動画像以外の画像を生成して第１の画面レイヤに更新要求を行う第１の生成手段と、
   前記動画像のフレームごとの画像を生成して第２の画面レイヤに更新要求を行う第２の生成手段と、
   前記第１の画面レイヤと前記第２の画面レイヤを合成する合成手段と、
   前記合成手段による合成結果である合成画像データに基づく画像を表示する表示する表示手段と、
   画像を保持する保持手段と、
   動画像を再生している状態で前記第１の生成手段によって前記第１の画面レイヤに更新要求がなされた場合、第１の生成手段によって生成された前記動画像以外の画像を前記保持手段に保持させておき、次回第２の生成手段によって更新要求がなされたときまで前記第１の画面レイヤを更新しない制御手段を有することを特徴とする情報処理装置。

Images