JP2022515709A

JP2022515709A - 画像を生成するための方法、コンピュータプログラム、及び装置

Info

Publication number: JP2022515709A
Application number: JP2021526489A
Authority: JP
Inventors: オズカンオズデミル
Original assignee: ベステルエレクトロニクサナイーベティカレトエー．エス．
Priority date: 2018-11-14
Filing date: 2018-11-14
Publication date: 2022-02-22
Also published as: KR20210090244A; EP3881312A1; WO2020098934A1; CN112997245A; US20220028360A1

Abstract

背景画像データ（データ６０１…６０Ｎ－１）は、メモリ（５０）の背景バッファ（５４）に書き込まれる。前景画像データ（６０Ｎ）は、メモリ（５０）の前景バッファ（５６）に書き込まれる。視覚効果は、背景画像データ（データ６０１…６０Ｎ－１）及び／又は前景画像データ（６０Ｎ）を修正することにより、背景画像及び前景画像の少なくとも一方に適用される。データは、メモリ（５０）のスクリーンバッファ（５２）でマージされる。表示用の画像は、スクリーンバッファ（５２）でマージされたデータを読み出して生成される。【選択図】図２

Description

本開示は、画像を生成するための方法、コンピュータプログラム、及び装置に関する。

多くの電子デバイスは、デバイスハードウェアやソフトウェアリソースを管理し、デバイス上で実行されるコンピュータプログラム用の共通サービスを提供する、比較的高度なオペレーティングシステムを有する。また、多くの電子デバイスは、デバイス上で実行されるオペレーティングシステムやコンピュータプログラムによって使用される、「作業」メモリの量が比較的多い。これにより、デバイスの高度な制御が可能になり、また、表示画面等で高度なユーザインターフェースや視覚効果の実現が可能となる。

しかしながら、比較的低い処理能力や非常に簡単なオペレーティングシステム及び／又は少ない作業メモリしか持たないデバイスは多い。このようなデバイスでは、表示画像に視覚効果を適用できない、あるいは、少なくとも効率的にできない。

本明細書で開示される第１の態様によれば、表示画面での表示用の画像を生成する方法であって、
背景画像データをメモリの背景バッファに書き込むことと、
前景画像データを前記メモリの前景バッファに書き込むことと、
前記背景画像データ及び／又は前記前景画像データを修正することによって、背景画像及び前景画像の少なくとも一方に視覚効果を適用することと、
メモリのスクリーンバッファにおいて前記前景画像データ及び前記背景画像データをマージすることと、前記スクリーンバッファにおいてマージされる画像の前記画像データは、前記画像データが修正された場合は修正画像データであり、
前記スクリーンバッファにある前記マージされたデータを読み出して前記表示用の画像を生成することからなる方法が提供される。

すなわち、スクリーンバッファでマージされる画像データは、視覚効果が前景画像に適用されているならば修正された前景画像データであり、視覚効果が背景画像に適用されているならば修正された背景画像データであり、両方が修正されているならば両方であり、修正されていない画像の任意の部分の未修正画像データとマージされる。

一例において、画像に対し、当該画像の前記画像データが前記スクリーンバッファに書き込まれる際に、当該画像の前記画像データを修正することによって適用される。代わりとして、視覚効果は、その修正されたデータがスクリーンバッファに書き込まれる前に、関連する前景バッファ又は背景バッファにあるデータを修正することにより適用されてもよい。

通常、生成される画像は表示画面全体に表示される。

一例において、当該方法は、
前記前景バッファ及び前記背景バッファから前記スクリーンバッファへのデータの書き込み前に、前記スクリーンバッファをロックすることと、
前記マージされたデータが読み出されて前記表示用の画像を生成できるように、前記スクリーンバッファで前記データがマージされた後に、前記スクリーンバッファをアンロックすることを含む。

これにより、マージが完了した後、前景データ及び背景データをマージすることによって生成された画像でのみ、表示画面が更新されることが確実になる。これにより、任意の特定の時間に表示画面に実際に表示されている画像に、ちらつき又は他の望まないアーティファクトが発生することを回避できる。

一例において、当該方法は、
前記視覚効果がアニメーション効果であるかまたはアニメーション効果を含む場合は、前記背景画像及び前記前景画像の少なくとも一方に前記視覚効果を適用すること、前記スクリーンバッファでマージすること、及び前記スクリーンバッファにある前記マージされたデータを読み出して前記表示用の画像を生成すること、を繰り返す。

一例において、当該方法は、
前記背景画像データを前記背景バッファに書き込む前に、前記メモリの第１の領域を前記背景バッファとして割り当てることと、
前記前景画像データを前記前景バッファに書き込む前に、前記メモリの第２の領域を前記前景バッファとして割り当てることと、
前記前景バッファにある前記データが前記背景バッファにある前記データとマージされた後に、前記メモリの第１の領域及び第２の領域を解放することを含む。

これにより、前景バッファ及び背景バッファに割り当てられたメモリが解放され、他の目的に使用できるようになる。メモリは、視覚効果を画像に適用する際に必要なときのみ、実質的に前景バッファ及び背景バッファに割り当てられる。

一例において、前記スクリーンバッファで前記データをマージすることは、前記前景画像データ及び前記背景画像データをアルファ合成することを含む。

一例において、当該方法は、
前記前景画像及び前記背景画像の中間にある１つ又は複数の中間画像のデータである画像データを、前記メモリの１つまたは複数の中間バッファに書き込むことと、前記マージでは、前記前景画像データを前記背景画像データ及び前記中間画像データとマージすることを含む。

一例において、当該方法は、
前記マージをする前に前記中間画像データを修正することによって、前記視覚効果を前記中間画像に適用する。

本明細書で開示される第２の態様によれば、コンピューティングデバイスで実行されると、当該コンピューティングデバイスが表示画面での表示用の画像を生成する方法を実施するような指示を含むコンピュータプログラムであって、前記方法は、
背景画像データをメモリの背景バッファに書き込むことと、
前景画像データを前記メモリの前景バッファに書き込むことと、
前記背景画像データ及び／又は前記前景画像データを修正することによって、背景画像及び前景画像の少なくとも一方に視覚効果を適用することと、
前記メモリのスクリーンバッファにおいて前記前景画像データ及び前記背景画像データをマージすることと、前記スクリーンバッファにおいてマージされる画像の前記画像データは、前記画像データが修正された場合は修正画像データであり、
前記スクリーンバッファにある前記マージされたデータを読み出して前記表示用の画像を生成することからなるコンピュータプログラムが提供される。

前述のように、コンピュータプログラムを格納する、非一時的なコンピュータ読み取り可能な記憶媒体が提供されてもよい。

本明細書で開示される第３の態様によれば、表示画面での表示用の画像を生成するための装置であって、
プロセッサ及びメモリを備え、
前記プロセッサは、
背景画像データをメモリの背景バッファに書き込み、
前景画像データをメモリの前景バッファに書き込み、
前記背景画像データ及び／又は前記前景画像データを修正することによって、背景画像及び前景画像の少なくとも一方に視覚効果を適用し、
メモリのスクリーンバッファにおいて前記前景画像データ及び前記背景画像データをマージし、前記スクリーンバッファにおいてマージされる画像の前記画像データは、前記画像データが修正された場合は修正画像データであり、
前記スクリーンバッファにある前記マージされたデータを読み出して前記表示用の画像を生成するように構築及び構成される装置が提供される。

本開示の理解を促し、かつ、実施形態がどのように実施されうるかを示すために、例として以下の添付図面が参照される。

本開示の一実施形態に係る各デバイスの例を概略的に示す。本開示の一実施形態に係る揮発性メモリの一部を概略的に示す。本開示の一実施形態に係る、視覚効果を前景画像に適用したときのスクリーンバッファを概略的に示す。本開示の一実施形態に係る、視覚効果を背景画像に適用したときのスクリーンバッファを概略的に示す。本開示の一実施形態に係る、視覚効果を前景画像と背景画像に適用したときのスクリーンバッファを概略的に示す。本開示の一実施形態に係る、視覚効果とアニメーションを適用したときの背景バッファ、前景バッファ、及びスクリーンバッファを概略的に示す。本開示の一実施形態に係る、視覚効果とアニメーションを適用したときの背景バッファを概略的に示す。本開示の一実施形態に係る、視覚効果とアニメーションを適用したときの背景バッファを概略的に示す。本開示の一実施形態に係る、視覚効果とアニメーションを適用したときの前景バッファを概略的に示す。本開示の一実施形態に係る、視覚効果とアニメーションを適用したときのスクリーンバッファを概略的に示す。本開示の一実施形態に係る、視覚効果とアニメーションを適用したときのスクリーンバッファを概略的に示す。

前述のように、多くの電子デバイスでは、オペレーディングシステムが比較的高度であり、デバイス上で実行されるオペレーティングシステムやコンピュータプログラムによって用いられる「作業」メモリの量が比較的多い。これにより、デバイスの高度な制御が可能になり、また、表示画面等で高度なユーザインターフェースや視覚効果の実現が可能となる。

コンピュータや「スマート」フォンなど、ほとんどのユーザによく知られている具体例として、多くのオペレーティングシステムは、ウィンドウがグラフィカル制御要素である「ウィンドウ」構造を有するグラフィカルユーザインターフェースを、使用又は実装する。各ウィンドウは、それが属するプログラムのグラフィカルユーザインターフェースの一部を含む視覚エリアからなり、通常、ウィンドウ境界（線）または装飾によって囲まれている。各ウィンドウは、通常、矩形であり、他のウィンドウのエリアと重なることができる各ウィンドウは、通常、１つ以上の処理の出力を表示し、且つ、１つ以上の処理への入力が可能でもよい。ウィンドウは通常、ある種のポインティングデバイスを用いたり、タッチスクリーンに触れたりする等して、ポインタで操作可能である。オペレーティングシステムは、ウィンドウ毎に個別のオフスクリーンメモリ部を設けており、任意の特定の時点に表示画面に表示される表示画像を生成するために、ウィンドウのメモリ部のコンテンツが合成される。ウィンドウ毎の各メモリ部は、各ウィンドウを他のウィンドウから独立して操作（表示画面上を移動したり視覚効果を適用したり等）可能となるように、実質的に互いに独立している。

しかしながら、これによりオペレーティングシステムに高い要求を課すため、高度なオペレーティングシステムや、比較的処理能力が高く故に高価なＣＰＵすなわち中央処理装置が必要となり、コストが嵩む。また、大量のメモリも必要となり、さらにコストが嵩む。

したがって、処理能力が比較的低く、非常に簡単なオペレーティングシステム及び／又は少ない作業メモリしか持たないデバイスが多い。これには、主な目的が演算そのものでないかもしれないデバイスが含まれる。いくつかの例として、テレビセットや、セットトップボックスや、ＰＶＲ（パーソナルビデオレコーダ、ＤＶＲすなわちデジタルビデオレコーダとしても知られる）が挙げられる。このような装置のオペレーティングシステムは、各ウィンドウが別個の独立したメモリ部を有するウィンドウ型グラフィカルユーザインターフェースやディスプレイを有さない。したがって、このような周知のデバイスでは、視覚効果を表示画像に適用することができない、あるいは、少なくとも効率的にできない。

本開示の各例によれば、表示画面に表示用の画像を生成するための方法、コンピュータプログラム、及び装置が提供される。背景画像データは、メモリの背景バッファに書き込まれる。前景画像データは、メモリの前景バッファに書き込まれる。視覚効果は、背景画像データ及び／又は前景画像データを修正することにより、背景画像及び前景画像の少なくとも一方に適用される。データはスクリーンバッファに書き込まれる際、又は、場合によっては前景又は背景バッファにある間であって、スクリーンバッファに書き込まれる前に修正されてもよい。修正データ及び任意の未修正データは、メモリのスクリーンバッファでマージされる。表示用の画像は、スクリーンバッファからマージされたデータを読み出すことにより生成される。

これにより、視覚効果を効率的に画像の背景及び前景の一方又は両方に適用することができる。この方法は、各ウィンドウがメモリ内に別個の独立した部分を有するウィンドウ型グラフィカルユーザインターフェースやディスプレイを持たないデバイスで適用することができる。特に、この方法は、画像のフレームすなわち画面全体のデータが、ブロック又はユニットとして（単層又はウィンドウとして）記憶され、画像のフレームすなわち画面のデータが表示画面に送られて表示される際は、ブロック又はユニットとして読み出されるデバイスで適用することができる。視覚効果は、画像のフレームすなわち画面全体を再描画して又は計算してスクリーンバッファに記憶しなくても、画像の背景及び前景の一方又は両方に（また、任意でさらに画像の中間層に）適用することができる。これにより、そうでなければ単層グラフィックシステムを有する周知のデバイスで通常は対応されていない視覚効果を適用することが可能となる。このような視覚効果としては、一般的な色や、明度や、コントラストの調整に加えて、フェーディング、スライディング、ピクセレート、スケーリング、グレースケール、ブラー、ディフュージョン等の遷移効果やアニメーションが挙げられる。

図１を参照すると、同図は、本開示の一実施形態に係る方法の一例を実施可能とされた、本開示の一実施形態に係るデバイスの各例を概略的に示す。図１は、テレビセット１０とセットトップボックス２０を概略的に示すが、その一方または両方が本開示の一実施形態に係るデバイスであり、本開示の一実施形態に係る方法を実施することができる。テレビセット１０及びセットトップボックス２０は、ブロードキャスト、マルチキャスト、又はユニキャストテレビ信号を、例えば地上波、衛星、ケーブル、又はインターネットを介して受信するように構成されてもよい。テレビセット１０及びセットトップボックス２０は、セットトップボックス２０がテレビセット１０にオーディオ及びビデオ信号を送ることができるように、ケーブル接続部３０によって接続される。さらに又は代わりに、テレビセット１０は、ＤＶＤやブルーレイプレイヤー、ＰＶＲ等の他のデバイスからオーディオ及びビデオを受信するために接続されてもよい。

テレビセット１０は、通常、１つ以上のプロセッサ１２と、永久（不揮発性）データ記憶装置１４と、作業すなわち揮発性メモリ１６とを有する。１つ以上のプロセッサ１２は、テレビセット１０の動作のための１つ以上のコンピュータプログラムを実行するように構成される。以下でさらに説明されるように、揮発性メモリ１６は、少なくとも一時的に、概念上または論理上別々の部分すなわちバッファに分割される。テレビセット１０はまた、画像を表示するための表示画面１８を有する。

同様に、セットトップボックス２０は、通常、１つ以上のプロセッサ２２と、永久（不揮発性）データ記憶装置２４と、作業すなわち揮発性メモリ２６とを有する。１つ以上のプロセッサ２２は、セットトップボックス２０の動作のための１つ以上のコンピュータプログラムを実行するように構成される。以下でさらに説明されるように、揮発性メモリ２６は、少なくとも一時的に、概念上又は論理上別々の部分すなわちバッファに分割される。

図２を参照すると、同図は揮発性メモリ５０の一部を概略的に示す。揮発性メモリ５０は、テレビセット１０や、セットトップボックス２０や、他のデバイスといった本開示の一例に係るデバイスに設けられており、デバイスのプロセッサによる制御の下、データが揮発性メモリに書き込まれたり、揮発性メモリから読み出されたりする。表示画面に表示される画像が生成され、（一時的に）揮発性メモリに記憶される。表示画面はデバイスの一部であってもよいし、別体の表示画面であってもよい。

上記のように、周知のテレビセットや、セットトップボックスや、テレビ画面等に表示される画像を生成するための他のデバイスにおいて、そのデバイスは、通常、表示される画像のためのウィンドウズマネジメント等を有さない単純なオペレーティングシステムを実行する。デバイス上で実行され、表示用の画像を生成するアプリケーションは、任意の特定の瞬間に、画面全体に表示される全体画像を揮発性メモリに描く。そして全体画像は、揮発性メモリから表示画面に読み出されて表示される。つまり、例えば画像の一部が変化する場合は、例えば、全体画像内の１セクションすなわち「ウィンドウ」において、例えば色や明度の変化または画面上での移動などの変化があることから、全体画像は揮発性メモリに再度書き込まれ、その後再度表示画面に読み出されて表示されなければならない。画像がいくつかのセクションすなわちウィンドウから形成される場合、表示画面に表示される次の全体画像を生成するために、それぞれが順に揮発性メモリに書き込まれなければならない。このことはメモリ使用の観点から効率的である。つまり、画像に少量のメモリを提供するだけでよいことを意味する。しかしながら、リアルタイムで効果やアニメーションを適用することは実際には不可能であることを意味する。というのは、各セクションすなわちウィンドウを再描画する反復描画機能は時間がかかり、メインプロセッサを実質的に停止させる可能性があり、すなわち、表示される画像がちらつく可能性やデバイス全体がゆっくり動作する恐れがあるからである。

それに対し、再度図２を参照すると、本明細書に記載される各例では、揮発性メモリ５０が、必要に応じて少なくとも一時的に、画像を記憶するための少なくとも３つの表示バッファを提供するように（概念上又は論理上）構造化される。具体的には、メモリ５０は、スクリーンバッファ５２と、背景バッファ５４と、前景バッファ５６とを有する。最終画像は、さらに以下で説明されるように構成されるが、スクリーンバッファ５２に記憶され、そこから読み出されて最終画像が表示画面に表示される。背景バッファ５４は、背景画像データを一時的に記憶する際に用いられる。前景バッファ５６は、前景画像データを一時的に記憶する際に用いられる。背景バッファ５４及び前景バッファ５６は、視覚効果が画像に適用されるならばそのときに、割り当てられて使用されればよい。あるいは、本明細書に記載されるように視覚効果が適用されない場合は、周知のテレビセットや同様のデバイスのように、スクリーンバッファ５２のみが、表示に先立って画像を記憶するために使用されればよい。

この点に関し、画像をメモリに記憶すること、また、メモリ等から画像を読み出すことに言及するときは、画像を表示する際に必要なデータを記憶すること、また、読み出すことに言及するものである。このようなデータは、例えば、各画素の色や明度、各画素のアルファ、及び表示画面上の各画素の位置を識別する。画素の「アルファ”ａｌｐｈａ”」に関して、画素毎に色を記憶する２次元画像要素においては、追加データはアルファチャンネルに０と１の間の値で記憶される。値０は画素が透明であることを意味する。値１は画素が不透明であることを意味する。０と１の間の値は、透明度または不透明度の度合いすなわち相対量を示す。

図２を参照すると、スクリーンバッファ５２に記憶された、画像データの複数の層６０_１～６０_Ｎが示されている。画像データは少なくとも２層あり、それらは背景画像データと前景画像データを示す。さらに画像データの中間層が存在してもよく、そのうちのいくつかは同図において破線で概略的に示される。画像データの層６０_１～６０_Ｎはスクリーンバッファ５２において組み合わされて、すなわち、マージされて最終画像が生成され、最終画像は表示画面に送られて表示可能となる。添字が最も小さい層、すなわち層６０_１は、画像層のうち最も後方である。添え字が最も大きい層、すなわち本例では層６０_Ｎは、画像層のうち最も前方である。これは、表示画面の後ろから前へ、すなわち視聴者に向かう図２のｚ方向によって示される。

背景バッファ５４及び前景バッファ５６は、視覚効果が画像に適用されるときに、揮発性メモリ５０において割り当てられる。視覚効果は、例えば、適用されるかまたは実現されるまさにその効果によるが、背景バッファ５４及び前景バッファ５６の一方又は両方の画像データに任意に適用される。そして、背景バッファ５４及び前景バッファ５６からの画像データは、スクリーンバッファ５２に書き込まれる。そしてスクリーンバッファ５２でマージされ、表示画面に送られて表示される最終画像が生成される。代わりに又はさらに、視覚効果は、背景バッファ５４及び前景バッファ５６の一方又は両方からの画像データに対し、当該画像データがスクリーンバッファ５２に書き込まれる際に適用されてもよい。いずれにしても、今スクリーンバッファ５２にある画像データは、所望の視覚効果が適用された画像データである。その後、背景バッファ５４及び前景バッファ５６は必要に応じて解放可能となり、すなわち画像データを記憶するために確保されなくてもよい。これによって、一般的にデバイス上で実行されるアプリケーションが使用できるよう揮発性メモリ５０の容量が開放される。

この構成によれば、広義に３つのタイプの視覚効果を、表示される画像に適用することが可能となる。一般に前景又は背景に適用され得る具体的な視覚効果は、一般に任意の視覚効果であってよい。例として、一般的な色や、明度や、コントラストの調整に加えて、フェーディング、スライディング、ピクセレート、スケーリング、グレースケール、ブラー、ディフュージョン等が挙げられる。

第１の例は、前景視覚効果である。これにおいては、画像の背景画像データは背景バッファ５４に書き込まれる。これは、図２において、背景バッファ５４に記憶される少なくとも第１の背景層６０_１によって示される。本例においては、１つ以上のさらなる背景層６０_２…６０_Ｎ－１もまた背景バッファ５４に記憶される。さらに、画像の前景画像データは前景バッファ５６に書き込まれる。これは図２において、前景層６０_Ｎによって示される。そして、所望の視覚効果が前景バッファ５６の前景画像データ６０_Ｎに適用される。背景バッファ５４の画像データは、スクリーンバッファ５２にコピーかまたは移動される。前景バッファ５６の画像データもまた、スクリーンバッファ５２にコピーかまたは移動される。この場合、スクリーンバッファ５２にコピーかまたは移動される前景バッファ５６の画像データは、視覚効果を前景バッファ５６の前景画像データ６０_Ｎに適用した結果として生成された、修正データである。上述のように、代わりとしては、視覚効果は前景バッファ５６の画像データがスクリーンバッファ５２にコピーかまたは移動される際に適用されてもよい。いずれにせよ、今スクリーンバッファ５２にある画像データは、所望の視覚効果が（ここでは、前景画像に）適用された画像データである。その後、背景バッファ５４及び前景バッファ５６は必要に応じて解放可能となり、すなわち画像データを記憶するために確保されなくてもよい。これによって、一般的にデバイス上で実行されるアプリケーションが使用できるよう揮発性メモリ５０の容量が開放される。

これは図３で概略的に示される。同図は、視覚効果が前景画像に適用されたときのスクリーンバッファ５２を示す。背景層６０_１…６０_Ｎ－１のうちの１つまたは複数は、背景バッファ５４からコピーかまたは移動されている。前景層６０_Ｎは前景バッファ５６からコピーかまたは移動されている。上述のように、前景層６０_Ｎは、視覚効果が前景バッファ５６の前景画像データに適用された修正データ、または、前景画像データがスクリーンバッファ５２にコピーかまたは移動された際の修正データである。これは図３の前景層６０_Ｎの陰影部によって示される。

スクリーンバッファ５２の背景画像データ及び前景画像データは実質的にマージされる。すなわち、表示画面に表示される最終画像は、スクリーンバッファ５２の背景画像データ及び前景画像データを、画像データのｚ順で画素毎に、画像の後ろから前方に（視聴者に向かって）処理することによって形成される。例えば、スクリーンバッファ５２で処理されている特定の画素において、前景画像すなわち層６０_Ｎのその対象画素が透明（画素のアルファ値が０）である場合は、対応の背景画素の色及び明度が、最終画像の当該画素が表示される際に用いられる。前景画像すなわち層６０_Ｎのその対象画素が不透明（画素のアルファ値が１）である場合は、前景画像すなわち層６０_Ｎの当該画素の色及び明度が直接用いられる。前景画像すなわち層６０_Ｎの対象画素のアルファ値が０と１の間である場合、アルファ値に従って、または、１つ又は複数の中間層６０_２…６０_Ｎ－１があるならばアルファ値の比に従って、背景画素および前景画素の色および明度はブレンドすなわち混合される。この動作は各画像層の全ての画素に対して行われる。

この処理中、背景画像データ及び前景画像データがスクリーンバッファ５２に転送されてマージされると、例えばグラフィック表示デバイスドライバに従い、例えばデバイスのプロセッサの制御下で、スクリーンバッファ５２はロックされる。このスクリーンバッファ５２のロックにより、背景バッファ５４及び前景バッファ５６の内容がスクリーンバッファ５２に移動かコピーされ、スクリーンバッファ５２においてマージされている間、画像データがスクリーンバッファ５２から表示画面に送られないことを確実にする。これにより、表示画面に現在表示されている画像に、画面のちらつきや他の望まない効果が引き起こされなくなる。

背景画像データ及び前景画像データのマージが完了すると、スクリーンバッファ５２に残っているデータは、表示画面に表示される最終画像を示す。スクリーンバッファ５２は、ここでも例えばデバイスのプロセッサの制御下で、アンロックすなわち解放される。これによって、表示画面は更新され、最終画像が表示画面に表示される。

所望の視覚効果が、あるアニメーションである場合、すなわち、動くかまたは変化する効果である場合、これが画像の後続のフレームに繰り返される。フレーム毎に、前景バッファ５６内の前景画像データ、または前景バッファ５６からの前景画像データが調整され、調整された前景画像データはスクリーンバッファ５２内の背景画像データとマージされる。表示画面に提示される最終画像は、必要に応じて表示画面に送られる。これは、アニメーション効果が表示画面に現れることができるように、必要に応じてフレーム毎に繰り返される。アニメーションシーケンス全体が完成すると、ここでも背景バッファ５４及び前景バッファ５６を解放することができ、デバイス上で一般的に実行されるアプリケーションが使用できるよう揮発性メモリ５０の容量を解放する。

第２の例は背景視覚効果である。これにおいては、画像の背景画像データは背景バッファ５４に書き込まれる。先と同じく、これは、図２において、背景バッファ５４に記憶される少なくとも第１の背景層６０_１によって示される。本例においては、１つ以上のさらなる背景層６０_２…６０_Ｎ－１もまた背景バッファ５４に記憶される。さらに、先と同じく、画像の前景画像データは前景バッファ５６に書き込まれる。これは図２において、前景層６０_Ｎによって示される。そして、所望の視覚効果が背景バッファ５４の背景画像データに適用される。背景バッファに複数の背景層がある場合は、例えば実現される効果に応じて、背景画像層６０_１…６０_Ｎ－１のうちの１つ又はいくつか又は全てに視覚効果を適用してもよい。背景バッファ５４の画像データは、スクリーンバッファ５２にコピーかまたは移動される。この場合、スクリーンバッファ５２にコピーか移動される背景バッファ５４の画像データは、視覚効果を背景バッファ５４の背景画像データに適用した結果として生成された修正データである。上述のように、代わりとしては、視覚効果は、背景バッファ５４の画像データがスクリーンバッファ５２にコピーかまたは移動される際に適用されてもよい。いずれにしても、今スクリーンバッファ５２にある背景画像データは、所望の視覚効果が適用された背景画像データである。前景バッファ５６の画像データもまた、スクリーンバッファ５２にコピーかまたは移動される。その後、背景バッファ５４及び前景バッファ５６は必要に応じて解放可能となり、すなわち画像データを記憶するために確保されなくてもよい。これによって、一般的にデバイス上で実行されるアプリケーションが使用できるよう揮発性メモリ５０の容量が開放される。

これは図４で概略的に示される。同図は、視覚効果が背景画像に適用されたときのスクリーンバッファ５２を示す。前景層６０_Ｎは前景バッファ５６からコピーかまたは移動されている。背景層６０_１…６０_Ｎ－１のうちの１つまたは複数は、背景バッファ５４からコピーかまたは移動されている。上述のように、この場合は、複数の背景画像層６０_１…６０_Ｎ－１があり、１つまたは複数の背景画像層６０_１…６０_Ｎ－１は、視覚効果を背景バッファ５４の背景画像データに適用した際の修正データ、又は、背景画像データをスクリーンバッファ５２にコピーかまたは移動した際の修正データである。これは図４の背景画像層６０_１…６０_Ｎ－１（のうちいくつか）の陰影部によって示される。

スクリーンバッファ５２の背景画像データ及び前景画像データは実質的にマージされる。すなわち、表示画面に表示される最終画像は、上述のように、スクリーンバッファ５２の背景画像データ及び前景画像データを、画像データのｚ順で画素毎に、画像の後ろから前方に（視聴者に向かって）処理することによって形成される。

この処理中、背景画像データ及び前景画像データがスクリーンバッファ５２に転送されてマージされると、例えばグラフィック表示デバイスドライバに従い、例えばデバイスのプロセッサの制御下で、スクリーンバッファ５２は再びロックされる。背景画像データ及び前景画像データのマージが完了すると、スクリーンバッファ５２に残っているデータは、表示画面に表示される最終画像を示す。スクリーンバッファ５２は、ここでも例えばデバイスのプロセッサの制御下で、アンロックすなわち解放される。これによって、表示画面は更新され、最終画像が表示画面に表示される。

所望の視覚効果が、あるアニメーションである場合、すなわち、動くかまたは変化する効果である場合、先と同じく、これが画像の後続のフレームに繰り返される。

第３の例は背景及び前景視覚効果である。同じかまたは異なる特定の視覚効果が、１つ又は複数の背景層及び前景層に適用されてもよい。これにおいては、画像の背景画像データは背景バッファ５４に書き込まれる。先と同じく、これは、図２において、背景バッファ５４に記憶される少なくとも第１の背景層６０_１、及び、任意で１つまたは複数のさらなる背景層６０_２…６０_Ｎ－１によって示される。そして、必要に応じ、背景層６０_１…６０_Ｎ－１のうちの１つまたは複数に対する所望の視覚効果が、背景バッファ５４の背景画像データに適用される。さらに、画像の前景画像データが前景バッファ５６に書き込まれる。先と同じく、これは図２において、前景層６０_Ｎによって示される。前景画像に対する所望の視覚効果が、前景バッファ５６の前景画像データ６０_Ｎに適用される。背景バッファ５４の画像データは、スクリーンバッファ５２にコピーかまたは移動される。前景バッファ５６の画像データもまた、スクリーンバッファ５２にコピーかまたは移動される。それぞれの場合において、これは、視覚効果を背景画像データ及び前景画像データそれぞれに適用した結果として生成された修正データである。先と同じく、別のやり方として、前景画像及び背景画像の一方または両方については、画像データがスクリーンバッファ５２にコピーかまたは移動される際に視覚効果を適用してもよい。いずれにしても、今スクリーンバッファ５２にある画像データは、所望の視覚効果が（ここでは、前景画像及び１つまたは複数の背景画像に）適用された画像データである。その後、背景バッファ５４及び前景バッファ５６は必要に応じて解放可能となり、すなわち画像データを記憶するために確保されなくてもよい。これによって、一般的にデバイス上で実行されるアプリケーションが使用できるよう揮発性メモリ５０の容量が開放される。

これは図５で概略的に示される。同図は、視覚効果が背景画像及び前景画像に適用されたスクリーンバッファ５２を示す。前景層６０_Ｎは、前景バッファ５６からコピーかまたは移動されている。背景層６０_１…６０_Ｎ－１のうちの１つまたは複数は、背景バッファ５４からコピーかまたは移動されている。上述のように、この場合、複数の背景画像層６０_１…６０_Ｎ－１があり、１つまたは複数の背景画像層６０_１…６０_Ｎ－１は、視覚効果を背景バッファ５４の背景画像データに適用した際の修正データである。また、前景層６０_Ｎも、視覚効果が前景バッファ５６の前景画像データに適用された際の修正データである。これは、図５の背景画像層６０_１…６０_Ｎ－１（のうちいくつか）及び前景層６０_Ｎの陰影部によって示される。

このことについてさらに説明するために、図６～図１１が参照される。図６は、表示画面１００に表示される３つのウィンドウ７０、８０、９０を概略的に示す。ウィンドウ７０は、例えば緑色のような特定の色でもよい円形のウィンドウであり、一番上の（最前面の）ウィンドウである。ウィンドウ８０は、例えば青色のような特定の色でもよい四角形のウィンドウであり、ウィンドウ７０の後ろにある。ウィンドウ９０は、例えば赤色のような特定の色でもよい矩形のウィンドウであり、ウィンドウ８０の後ろにあって、本例では背部（最も後ろのウィンドウ）となる。

図６に示されるような画面を描くには、まず、スクリーンバッファ５２がロックされ、スクリーンバッファの更新中に表示画面１００に発生するちらつき等の望まない効果を防ぐ。また、デバイスの揮発性メモリ等の、システムリソースからの２つのメモリエリアが、それぞれ、背景バッファ５４及び前景バッファ５６として割り当てられる。

そして、一番後ろのウィンドウ、ここではウィンドウ９０のための描画機能が呼び出され、ウィンドウ９０のデータが背景バッファ５４に書き込まれる。ウィンドウのための描画機能の呼び出し順は、ウィンドウのｚ順と同じ順とされるため、一番後ろのウィンドウの描画機能が最初に呼び出される。一番後ろのウィンドウ９０のための描画機能が呼び出された後、背景バッファ５４は、図７に概略的に示されるような状態となる。

そして、次のウィンドウのための描画機能が呼び出される。この場合、それは中間ウィンドウ８０である。したがって、ウィンドウ８０のための描画機能が、それを背景バッファ５４に送る。この場合、背景バッファ５４は図８に概略的に示されるような状態となる。

次に、最前面のウィンドウ、ここではウィンドウ７０のための描画機能が呼び出され、ウィンドウ７０のデータが前景バッファ５６に書き込まれる。最前面ウィンドウ７０のための描画機能が呼び出された後、前景バッファ５６は、図９に概略的に示されるような状態となる。

この時点で、背景バッファ５４と前景バッファ５６は、効果を適用する準備ができている。スクリーンバッファ５２は、表示画面１００にちらつき等が生じないようにロックされる。効果が後方のウィンドウ８０、９０の一方又は両方に適用される場合、背景バッファ５４がスクリーンバッファ５２にコピーされ、所望の視覚効果のために必要な変化がデータに加えられる。同様に、効果が前方のウィンドウ７０に適用される場合、前景バッファ５６がスクリーンバッファ５２にコピーされ、所望の視覚効果のために必要な変化がデータに加えられる。あるいは、効果がウィンドウに適用されない場合は、データは、場合によっては、背景バッファ５４又は前景バッファ５６からスクリーンバッファ５２に単にコピーされるのみである。前述のように且つそれ自体周知のように、各種ウィンドウ用のスクリーンバッファにあるデータは、ｚ順にマージされる。

この結果は図１０に概略的に示される。同図では、３つのウィンドウ７０、８０、９０のマージされたデータを含むスクリーンバッファ５２が示される。マージされたデータが、該当のデバイスの表示画面１００に書き込み可能となるように、スクリーンバッファ５２はアンロックされる。

ここで、アニメーション効果が所望されているものとする。例として、前方のウィンドウ７０のサイズを小さくしたいものとする。これは以下のように進行する。

まず、処理は、アニメーション効果に必要な時間間隔に関連する期間、待機してもよい。例えば、アニメーションが高速であり、短い時間間隔を必要とするかもしれない（おそらく表示画面１００のリフレッシュレートと同じ速さ）。一方、アニメーションは低速でもよく、数秒以上であってもよい。

いずれにしても、その期間が過ぎると、スクリーンバッファ５２はロックされる。背景バッファ５４の内容（一番後ろのウィンドウ８０、９０）がスクリーンバッファ５２にコピーされる。所望のアニメーション（ここでは、サイズを小さくすること）が、前景バッファ５６を用いて前景ウィンドウ７０に適用され、その調整された前景ウィンドウ７０’はスクリーンバッファ５２で背景画像データとマージされる。

この結果は図１１に概略的に示される。同図では、３つのウィンドウ７０’、８０、９０のマージされたデータを含むスクリーンバッファ５２が示され、前景ウィンドウ７０’は、（より小さい）前景ウィンドウ７０’の調整データである。マージされたデータが、該当のデバイスの表示画面１００に書き込み可能となるように、スクリーンバッファ５２はアンロックされる。

これは、さらなるアニメーション効果のために繰り返されてもよい。加えて、さらなる効果が前景ウィンドウに適用されてもよく、且つ、同じ又は他の効果が他のウィンドウ、ここでは本例における後方のウィンドウ８０、９０に適用されてもよい。例えば、このような後方のウィンドウ８０、９０を移動したり、ウィンドウ７０、８０、９０のいずれかが、色を変更されたり、明るくされたり、暗くされたり、ぼやかされたり等してもよい。

本明細書に記載される各例によれば、視覚効果を、表示される画像に効率的に適用することができる。視覚効果は、オペレーティングシステムによって提供されるウィンドウ型構造は有しないが、その一方で、画像のフレームすなわち画面全体のデータがユニット（１つの複合層すなわちウィンドウ）として記憶され、画像のフレームすなわち画面のデータが表示されるよう表示画面に送られるときはユニットとして読み出されるシステムに適用することができる。

上記は拡大適用可能である。例えば、メモリ５０に十分な空き容量がある場合、前景画像層及び背景画像層の間にある画像の１つ又は複数の中間層を記憶するために、１つ又は複数のさらなる一時バッファが作られてもよい。視覚効果はこの１つ又は複数の中間層に独立して適用することができ、これにより、例えば、より高度な視覚効果を適用することが可能となる。

上述のように、前景及び背景の一方又は両方に適用される具体的な視覚効果としては、一般的な色や、明度や、コントラストの調整に加えて、フェーディング、スライディング、ピクセレート、スケーリング、グレースケール、ブラー、ディフュージョン等のうちの１つまたは複数であってもよい。適用される具体的な視覚効果の特性によって、個々の画素のデータがどのように調整されるかまたは変更されるかが決まる。一例として、フェーディングエフェクトでは、前景画像すなわちウィンドウの画像データが調整され、背景の画素が前景画像を「通して」視認できるように、関連画素の透明度が高められる。種々の視覚効果を適用するための他の技術が、当業者に周知であろう。

なお、本明細書中に記載される処理装置または処理システムまたは回路は、実際には、単一のチップもしくは集積回路、または複数のチップもしくは集積回路によって提供されてもよく、任意で、チップセット、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、グラフィックス・プロセッシング・ユニット（ＧＰＵ）などとして設けられてもよい。チップまたは複数のチップは、少なくとも一つのデータプロセッサ、少なくとも一つのデジタル・シグナル・プロセッサ、ベースバンド回路および無線周波数回路のうちの少なくとも一つを実装するための回路(ならびに場合によりファームウェア)を備え、これらは実施形態にしたがって動作するよう構成可能である。この点、例示的実施形態は、（不揮発性）メモリに記憶されプロセッサによって実行可能なコンピュータソフトウェア、またはハードウェア、または有形的に記憶されたソフトウェアおよびハードウェア（および有形的に記憶されたファームウェア）の組み合わせによって、少なくとも部分的に実装されてもよい。

本明細書には、データ記憶用のメモリ及びデータ記憶装置が記載される。これは、単一の装置または複数の装置によって設けられてもよい。好適な装置としては、例えば、揮発性半導体メモリ（例えば、ＤＲＡＭ等を含むＲＡＭ）、不揮発性半導体メモリ（例えば、ソリッドステートドライブすなわちＳＳＤ等を含む）、ハードディスク等が挙げられる。

図面を参照して本明細書に記載された実施形態の少なくともいくつかの態様は、処理システムまたは処理装置によって実行されるコンピュータプロセスを含むが、本発明は、本発明を実施可能なコンピュータプログラム、特に通信手段（ｃａｒｒｉｅｒ）上または内のコンピュータプログラムにも及ぶ。このプログラムの形式は、非一時的なソースコード、オブジェクトコード、部分的にコンパイルされた形式の中間ソースコード及びオブジェクトコード、またはその他任意の本発明に従った処理の実施に使用するのに好適な一時的形式であってよい。通信手段は、プログラムを搬送可能な任意の実体または装置であってよい。例えば、通信手段は、ソリッドステートドライブ（ＳＳＤ）または他の半導体ベースのＲＡＭのような記憶媒体、例えばＣＤ－ＲＯＭまたは半導体ＲＯＭなどのＲＯＭ、例えばフロッピーディスクまたはハードディスクなどの磁気記録媒体、光学メモリ装置一般などの記憶媒体を含んでもよい。

本明細書に記載される例は、本発明の実施形態の説明的事例として理解されるべきである。別の実施形態および事例も想定される。任意の一例または実施形態に関連して記載された任意の特徴は、単独で、または他の特徴と組み合わせて用いてもよい。さらに、任意の一例または実施形態に関連して記載された任意の特徴は、他の例もしくは実施形態の少なくとも一つの特徴と組み合わせて、または他の例もしくは実施形態と組み合わせて用いてもよい。さらに、本明細書に記載されない等価物および変形も、請求項に定義される本発明の範囲内で用いてもよい。

Claims

表示画面での表示用の画像を生成する方法であって、
背景画像データをメモリの背景バッファに書き込むことと、
前景画像データをメモリの前景バッファに書き込むことと、
前記背景画像データ及び／又は前記前景画像データを修正することによって、背景画像及び前景画像の少なくとも一方に視覚効果を適用することと、
メモリのスクリーンバッファにおいて前記前景画像データ及び前記背景画像データをマージすることと、前記スクリーンバッファにおいてマージされる画像の前記画像データは、前記画像データが修正された場合は修正画像データであり、
前記スクリーンバッファにある前記マージされたデータを読み出して前記表示用の画像を生成することからなる方法。
請求項１に記載の方法であって、前記視覚効果は画像に対し、当該画像の前記画像データが前記スクリーンバッファに書き込まれる際に、当該画像の前記画像データを修正することによって適用される方法。
請求項１又は請求項２に記載の方法であって、
前記前景バッファ及び前記背景バッファから前記スクリーンバッファへのデータの書き込み前に、前記スクリーンバッファをロックすることと、
前記マージされたデータが読み出されて前記表示用の画像を生成できるように、前記スクリーンバッファで前記データがマージされた後に、前記スクリーンバッファをアンロックすることからなる方法。
請求項１から請求項３のいずれか一項に記載の方法であって、前記視覚効果がアニメーション効果であるかまたはアニメーション効果を含む場合は、前記背景画像及び前記前景画像の少なくとも一方に前記視覚効果を適用すること、前記スクリーンバッファでマージすること、及び前記スクリーンバッファにある前記マージされたデータを読み出して前記表示用の画像を生成すること、を繰り返すことからなる方法。
請求項１から請求項４のいずれか一項に記載の方法であって、
前記背景画像データを前記背景バッファに書き込む前に、前記メモリの第１の領域を前記背景バッファとして割り当てることと、
前記前景画像データを前記前景バッファに書き込む前に、前記メモリの第２の領域を前記前景バッファとして割り当てることと、
前記前景バッファにある前記データが前記背景バッファにある前記データとマージされた後に、前記メモリの第１の領域及び第２の領域を解放することからなる方法。
請求項１から請求項５のいずれか一項に記載の方法であって、前記スクリーンバッファで前記データをマージすることは、前記前景画像データ及び前記背景画像データをアルファ合成する方法。
請求項１から請求項６のいずれか一項に記載の方法であって、前記前景画像及び前記背景画像の中間にある１つ又は複数の中間画像のデータである画像データを、前記メモリの１つまたは複数の中間バッファに書き込むことと、前記マージでは、前記前景画像データを前記背景画像データ及び前記中間画像データとマージすることからなる方法。
請求項７に記載の方法であって、前記マージをする前に前記中間画像データを修正することによって、前記視覚効果を前記中間画像に適用することからなる方法。
コンピューティングデバイスで実行されると、当該コンピューティングデバイスが表示画面での表示用の画像を生成する方法を実施するような指示を含むコンピュータプログラムであって、前記方法は、
背景画像データをメモリの背景バッファに書き込むことと、
前景画像データを前記メモリの前景バッファに書き込むことと、
前記背景画像データ及び／又は前記前景画像データを修正することによって、背景画像及び前景画像の少なくとも一方に視覚効果を適用することと、
メモリのスクリーンバッファにおいて前記前景画像データ及び前記背景画像データをマージすることと、前記スクリーンバッファにおいてマージされる画像の前記画像データは、前記画像データが修正された場合は修正画像データであり、
前記スクリーンバッファにある前記マージされたデータを読み出して前記表示用の画像を生成することからなるコンピュータプログラム。
請求項９に記載のコンピュータプログラムであって、前記視覚効果は、画像に対し、当該画像の前記画像データが前記スクリーンバッファに書き込まれる際に、当該画像の前記画像データを修正することによって適用されるような指示からなるコンピュータプログラム。
請求項９又は請求項１０に記載のコンピュータプログラムであって、前記方法において、
前記前景バッファ及び前記背景バッファから前記スクリーンバッファへのデータの書き込み前に、前記スクリーンバッファをロックすることと、
前記マージされたデータが読み出されて前記表示用の画像を生成できるように、前記スクリーンバッファで前記データがマージされた後に、前記スクリーンバッファをアンロックすることが含まれるような指示からなるコンピュータプログラム。
請求項９から請求項１１のいずれか一項に記載のコンピュータプログラムであって、前記方法において、前記視覚効果がアニメーション効果であるかまたはアニメーション効果を含む場合は、前記背景画像及び前記前景画像の少なくとも一方に前記視覚効果を適用すること、前記スクリーンバッファでマージすること、及び前記スクリーンバッファにある前記マージされたデータを読み出して前記表示用の画像を生成すること、を繰り返すことが含まれるような指示からなるコンピュータプログラム。
請求項９から請求項１２のいずれか一項に記載のコンピュータプログラムであって、前記方法において、
前記背景画像データを前記背景バッファに書き込む前に、前記メモリの第１の領域を前記背景バッファとして割り当てることと、
前記前景画像データを前記前景バッファに書き込む前に、前記メモリの第２の領域を前記前景バッファとして割り当てることと、
前記前景バッファにある前記データが前記背景バッファにある前記データとマージされた後に、前記メモリの第１の領域及び第２の領域を解放することが含まれるような指示からなるコンピュータプログラム。
請求項９から請求項１３のいずれか一項に記載のコンピュータプログラムであって、前記方法において、
前記前景画像及び前記背景画像の中間にある１つ又は複数の中間画像のデータである画像データを、前記メモリの１つまたは複数の中間バッファに書き込むことと、前記マージでは、前記前景画像データを前記背景画像データ及び前記中間画像データとマージすることが含まれるような指示からなるコンピュータプログラム。
表示画面での表示用の画像を生成するための装置であって、
プロセッサ及びメモリを備え、
前記プロセッサは、
背景画像データをメモリの背景バッファに書き込み、
前景画像データをメモリの前景バッファに書き込み、
前記背景画像データ及び／又は前記前景画像データを修正することによって、背景画像及び前景画像の少なくとも一方に視覚効果を適用し、
メモリのスクリーンバッファにおいて前記前景画像データ及び前記背景画像データをマージし、前記スクリーンバッファにおいてマージされる画像の前記画像データは、前記画像データが修正された場合は修正画像データであり、
前記スクリーンバッファにある前記マージされたデータを読み出して前記表示用の画像を生成するように構築及び構成される装置。