JP2004102343A - 画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラム - Google Patents

画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP2004102343A
JP2004102343A JP2002259108A JP2002259108A JP2004102343A JP 2004102343 A JP2004102343 A JP 2004102343A JP 2002259108 A JP2002259108 A JP 2002259108A JP 2002259108 A JP2002259108 A JP 2002259108A JP 2004102343 A JP2004102343 A JP 2004102343A
Authority
JP
Japan
Prior art keywords
area
screen display
screen
display processing
damage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002259108A
Other languages
English (en)
Other versions
JP4158462B2 (ja
Inventor
Alexander Vollschwitz
アレクサンダー フォルシュヴィッツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002259108A priority Critical patent/JP4158462B2/ja
Priority to AU2003244038A priority patent/AU2003244038B2/en
Priority to MYPI20033302A priority patent/MY131473A/en
Priority to MXPA03007879A priority patent/MXPA03007879A/es
Priority to CA002439633A priority patent/CA2439633A1/en
Priority to SG200305651A priority patent/SG116504A1/en
Priority to US10/653,136 priority patent/US6914608B2/en
Priority to EP03020098A priority patent/EP1406243A2/en
Priority to KR1020030061726A priority patent/KR20040021563A/ko
Priority to CNB031580653A priority patent/CN100501662C/zh
Priority to TW092124477A priority patent/TWI269216B/zh
Publication of JP2004102343A publication Critical patent/JP2004102343A/ja
Priority to US11/081,629 priority patent/US7053905B2/en
Priority to US11/081,630 priority patent/US7061498B2/en
Application granted granted Critical
Publication of JP4158462B2 publication Critical patent/JP4158462B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/393Arrangements for updating the contents of the bit-mapped memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】不必要なオブジェクトの描画を抑制して効率的なGUI画面の表示処理を効率的に行なう。
【解決手段】まず、Reverse Painter’s Algorithmに従って、描画処理のためにz−orderを追跡しながら、前方から後方に向かってオブジェクトを探索する。但し、オブジェクトを描画する代わりに、この段階では描画の必要上のフラグを立てる程度でよく、z−bufferを備える必要がない。オブジェクトを実際に描画する際、Painter’s Algorithmに従って、後方から前方に向かってオブジェクトを描画する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、コンピュータ上のディスプレイ画面の表示を処理する画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラムに係り、特に、複数のオブジェクトで構成されるコンピュータ画面の表示を処理する画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラムに関する。
【0002】
さらに詳しくは、本発明は、複数のオブジェクトで構成されユーザ・インタラクションとともに画面表示が逐次更新されるGUI画面の表示を処理する画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラムに係り、特に、不必要なオブジェクトの描画を抑制して効率的なGUI画面の表示処理を行なう画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラム関する。
【0003】
【従来の技術】
昨今の技術革新に伴い、ワークステーション(WS)やパーソナル・コンピュータ(PC)と呼ばれる、比較的小型且つ低価格で、高付加価値化・高機能化された汎用タイプのコンピュータ・システムが開発・市販され、大学その他の研究機関や企業その他のオフィス、さらには一般家庭内の日常生活にも深く浸透している。いまや、日常業務の大部分がコンピュータとの関わりを持っており、多くの人々は、キーボードやマウスを触れながら1日を過ごす。
【0004】
コンピュータ・システムは、一般に、ユーザ入力コマンドに応答して駆動し、処理結果をディスプレイ・スクリーン上に表示することによって、「インタラクティブ」、すなわち対話的な処理環境を提供している。最近では、DOS(DiskOperating System)シェル画面を代表とする旧来のキーボードを介したキャラクタ・ベースのユーザ入力環境すなわち「CUI(Character User Interface)」から、グラフィック・ベースのユーザ入力を実現した「GUI(Graphical User Interface)」への移行が挙げられる。GUI環境下では、コンピュータ・システムがシミュレートされたデスクトップと無数のアイコンがディスプレイ・スクリーンに用意される。
【0005】
GUIが提供されたデスクトップ上では、ファイルなどのコンピュータ・システム上で取り扱われる全ての資源オブジェクトはアイコンとして表現されている。ユーザは、ディスプレイ・スクリーン上のプログラム、データ、フォルダ、デバイスなどを象徴するアイコンなど画面上の表示オブジェクトに対してマウスなどのユーザ入力装置を用いて直接操作を印加する(例えば、クリックやドラッグ・アンド・ドロップ)ことで、直感的に且つ判り易くコンピュータ操作を行なうことができる。また、デスクトップ上には、メニュー・バーやツール・ボックスなど、各種の機能すなわちコンピュータ処理を瞬時に呼び出すためのボタンが用意されており、コンピュータへのコマンド入力の様式はますます直感的で分かり易いものとなってきている。
【0006】
GUI環境の導入により、もはやユーザは、特定のコマンドの名称やコマンド操作方法等を特に習得したり、煩雑なキー入力を行なったりしなくとも、コンピュータを充分に操作することができる。また、コンピュータは、ユーザの意思に忠実なユーザ入力をシステムに取り込むことができる。
【0007】
【発明が解決しようとする課題】
GUI環境下では、デスクトップ画面の表示内容(appearance)は常に更新される。例えば、メニュー・ウィンドウがオープンしたりクローズしたり、ボタンが押下されたり解放されたり、チェック・ボックスが選択されたり排除されたり、ラベル・テキストやカウンタ値が更新されたり等などである。
【0008】
このようなGUI画面の変更は、一般に画面表示上のダメージとみなされ、修復すなわち再描画が必要である。例えば、ドロップ−ダウン・メニューをクローズしたとき、メニューが表示されていた領域をメニューが覆っていた通りに表示するように再び回復する必要がある。あるいは、ユーザが選択しなかったチェック・ボックス上でクリック操作を行なった場合、選択しなかった画面表示から選択した画面表示へと表示内容を更新する必要がある。
【0009】
2次元GUI画面における上述したようなダメージを修復するために、後方から前方に向かって、ダメージ領域内のすべてのオブジェクトを修復すなわち再描画する方法が広く用いられている。すなわち、背景イメージのような後方の最も遠くに配置されているオブジェクトがまず描画され、次いでこれに最も近いより前方のオブジェクトが順次描画されていき、最終的には最前方のオブジェクトが描画される。この方法は、絵描きがキャンバス上に絵を描くのと同様の形態でGUI画面を描画処理することから、”Painter’s Algorithm”としても知られる。絵描きは、まず最初に空や後方の山を描き、次いで木や家を描き、最終的には最前方の人のポートレートを描く。この方法によれば、ダメージ領域内のダメージを確実に修復することはできるが、実際にダメージを受けた領域の数倍の領域を再描画しなければならないため、計算コストが高い。
【0010】
例えば、あるイメージの前方に配置されているボタンの表示色を変更した場合、このボタンで閉められている領域がダメージ領域となり、修復する必要がある。この場合、ダメージ領域と交差しているイメージの部分がまず再描画され、次いで、その領域上のボタンが再描画される。
【0011】
ここで、もしボタンがダメージ領域を完全に塗り潰しているような場合には、画面表示を修復するにはボタンだけを再描画すれば充分である。このようなオーバーヘッドは、変更内容が膨大ではなく重なり合うオブジェクトが少数で済む2次元GUIにおいては、受容し得るものである。しかしながら、2次元表示にズームやアニメーション機能が加わった2.5次元GUIにおいては、相当量のダメージやオブジェクト同士の重なり合いが表示されるので、オーバーヘッドは即座にシステムのパフォーマンスの問題へと波及する。
【0012】
ここで、アニメーションGUIの画面修復について、図10を参照しながら考察してみる。同図に示す例では、あるGUIオブジェクトが、1つのアニメーション・ステップにおいて、当該オブジェクトを囲う前回(previous)のオブジェクト境界ボックスから現在(current)のオブジェクト境界ボックスへと移動している。
【0013】
移動するオブジェクトについての修復処理は、基本的には2つの簡単なアニメーションのステップで構成される。すなわち、移動先の新しい場所(new position)において描画処理を行なうとともに、元の場所(initial position)を背景イメージで塗り潰す必要がある(図11を参照のこと)。このようなダメージ修復の処理が各ステップ毎に実行される。
【0014】
”Painter‘s Algorithm”に置き換わる一般的な方法として、”z−buffer Algorithm”を挙げることができる。このアルゴリズムでは、前回の描画処理におけるz−orderすなわちオブジェクトの前後の順序を保持するために、いわゆるz−bufferが管理されている。すなわち、ある位置において描画処理が実行されるときにはいつでも、まずz−bufferがチェックされ、当該位置において描画処理が既に完了しているかどかが判断される。現在の描画処理よりも前回の描画処理の方がz−order上では前方に存在する場合には、現在の描画処理の内容は破棄される。このアルゴリズムでは、付加的なチェック処理が必要になるが、描画処理を省略することができることから、それでもなおpainter’s Algorithmよりもパフォーマンスがよい。z−Buffer Algorithmでは、ある領域が既に手前で塗られたかやz−orderが何であるかが常に判断されるので、特定の順番でオブジェクトを描画するという必要がない。
【0015】
一方、Painter‘s Algorithmとの比較において、z−Buffer Algorithmの短所は、z−bufferのための付加的なメモリが必要となる点である。このため、メモリの制約を受ける装置にとっては、このアプリケーションは非現実的である。また、このアルゴリズムは、通常、ピクセル単位で描画処理を行なうような高いパフォーマンスを持つシステム上で動作する3次元GUIに適用される。すなわち、z−bufferは、最近の描画処理に関しては、z−orderに関する情報を各ピクセル毎に含んでいる。このような精細な解像度の描画処理を行なう場合、計算能力が比較的非力のシステム上では、z−bufferチェックは不可能に等しい。さらに、GUIオブジェクトの描画には何ら特定の順番が規定されていないので、上述したような不必要な描画が行なわれる可能性が依然としてある。
【0016】
GUI画面の表示を更新する他の方法として、Painter‘s Algorithmとz−Buffer Algorithmを組み合わせて構成されるReverse Painter’s Algorithmを挙げることができる。一般に、この方法は、z−Buffer Algorithmと同様であるが、GUIオブジェクトをz−orderとは逆の順番すなわち前方から公報に向かって描画する必要がある。このようにすることで、不必要な描画処理を回避することができるが、z−bufferのメモリ・オーバーヘッドの負担はなお大きい。
【0017】
本発明は、上述したような技術的課題を鑑みたものであり、その目的は、複数のオブジェクトで構成されユーザ・インタラクションとともに画面表示が逐次更新されるGUI画面の表示を好適に処理することができる、優れた画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラムを提供することにある。
【0018】
本発明のさらなる目的は、不必要なオブジェクトの描画を抑制して効率的なGUI画面の表示処理を効率的に行なうことができる、優れた画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラムを提供することにある。
【0019】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第1の側面は、複数のオブジェクトで構成される画面の表示を画面表示出力用の画面イメージを書き込むフロント・バッファと画面表示されるイメージを構築するために使用されるバック・バッファを利用して処理する画面表示処理装置又は画面表示処理方法であって、
画面の変更に伴い、修復する必要があるダメージ領域を決定するチェック手段又はステップと、
前記チェック手段又はステップにより発見されたダメージ領域に基づいて、再描画を必要とするオブジェクトを決定する生成手段又はステップと、
前記生成手段又はステップにより決定された再描画するとオブジェクトを前記バック・バッファ上で後方から前方に向かって描画する描画手段又はステップと、
前記生成手段又はステップにおいて破棄された領域を除くすべてのダメージ領域をバック・バッファからフロント・バッファへ複製してダメージの修復を行なう画面更新手段又はステップと、
を具備することを特徴とする画面表示処理装置又は画面表示処理方法である。
【0020】
ここで、前記チェック手段又はステップは、z−orderに従って、前方から後方に向かってオブジェクトのチェックを行ない、変化を来たしたオブジェクトを完全に含む最小の矩形をダメージ領域として抽出するようにすればよい。
【0021】
また、前記チェック手段又はステップは、ダメージ領域の統合処理を行なうようにしてもよい。ダメージ領域の統合処理により、不必要な描画や画面表示の更新処理を削減することができる。
【0022】
例えば、前記チェック手段又はステップは、交差する2つのダメージ領域が重なり合う領域が、統合することによって付加される領域よりも大きくなる場合に当該ダメージ領域同士を統合することができる。
【0023】
ダメージ領域同士が重なり合う領域よりも、結合により付加される領域の方が大きくなるような場合には、これらを結合することにより得られるダメージ領域はほぼ2倍の大きさとなる。この結果、当該画像修復アルゴリズムの完了に伴いダメージ領域を更新するときに、バック・バッファからフロント・バッファへ転送するデータがより大きくなってしまうからである。さらにこの統合されたダメージ領域に第3のオブジェクトの境界ボックスが交差するような場合には、これも描画処理しなければならなくなってしまう。
【0024】
また、前記生成手段又はステップは、手前のオブジェクトと交差しているダメージ領域のオブジェクトに対して描画処理が必要であることを示すフラグを設定するようにしてもよい。このような場合、前記描画手段又はステップは、前記生成手段又はステップにより描画処理が必要であることを示すフラグが設定されたすべてのGUIオブジェクトをバック・バッファ上で用いて描画するようにすればよい。
【0025】
また、前記生成手段又はステップは、手前のオブジェクトによって完全に覆われていないダメージ領域のオブジェクトに対して描画処理が必要であることを示すフラグを設定してもよい。このような場合、前記描画手段又はステップは、前記生成手段又はステップにより描画処理が必要であることを示すフラグが設定されたすべてのGUIオブジェクトをバック・バッファ上で用いて描画するようにすればよい。
【0026】
また、前記生成手段又はステップは、オブジェクトが完全に不透明でその境界ボックスがダメージ領域を完全に含んでいる場合には、さらにオブジェクトがダメージ領域を覆っていることを確認した上で、このダメージ領域に対して塗り潰されていることを示すフラグを設定するようにしてもよい。
【0027】
塗り潰されているダメージ領域では、残りのオブジェクトに関して交差しているかどうかをチェックする必要はない。前方から後方に向かってオブジェクトをチェックするので、塗り潰されているとフラグが設定された後にダメージ領域と交差していることが判明したオブジェクトは、当該ダメージ領域を塗り潰すオブジェクトによって必然的に覆われることになる。この描画処理を省略することによって、画面全体における描画処理の総量を削減することができる。
【0028】
また、前記生成手段又はステップは、オブジェクトが処理対象となっているダメージ領域よりも手前に配置されていてさらに変化がない場合には、オブジェクトとダメージ領域をともに破棄するようにしてもよい。
【0029】
ダメージ領域が変化したオブジェクトで構成されるとしても、変化しないオブジェクトによって完全に隠れてしまい、その変化は画面上では現れないので、その描画処理を省略することができる。
【0030】
また、本発明の第2の側面は、複数のオブジェクトで構成される画面の表示を画面表示出力用の画面イメージを書き込むフロント・バッファと画面表示されるイメージを構築するために使用されるバック・バッファを利用して行なう処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
画面の変更に伴い、修復する必要があるダメージ領域を決定するチェック・ステップと、
前記チェック・ステップにおいて発見されたダメージ領域に基づいて、再描画を必要とするオブジェクトを決定する生成ステップと、
前記生成ステップにおいて決定された再描画するとオブジェクトを前記バック・バッファ上で後方から前方に向かって描画する描画ステップと、
前記生成ステップにおいて破棄された領域を除くすべてのダメージ領域をバック・バッファからフロント・バッファへ複製してダメージの修復を行なう画面更新ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【0031】
本発明の第2の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第2の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1の側面に係る画面表示処理装置又は画面表示処理方法と同様の作用効果を得ることができる。
【0032】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【0033】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【0034】
本発明に係る画面表示処理方法は、2次元又は2.5次元のGUI環境を提供するコンピュータ画面の描画処理に好適に適用することができる。ここで言う2.5時限のGUI画面は、2次元GUI画面にズームやアニメーション機能が備わったものを意味する。
【0035】
図1には、本発明が適用された画面表示処理装置100が備える最低限のハードウェア構成を模式的に示している。
【0036】
同図に示すように、画面表示処理装置100は、CPU(Central ProcessingUnit)101と、プログラムRAM(Random Access Memory)102と、グラフィック・ハードウェア103とを備えている。CPU101は、共通信号伝送路としてのバス(図示しない)を介して、当該装置100を構成する各ハードウェア構成要素に相互接続されている。
【0037】
メイン・コントローラであるCPU(Central Processing Unit)101は、オペレーティング・システム(OS)の制御下で、各種のアプリケーションを実行する。本実施形態では、オペレーティング・システムは、ビットマップ表示機能を備え、2次元若しくは2.5次元のGUI環境を提供している。
【0038】
プログラムRAM102は、例えば複数個のDRAM(Dynamic RAM)で構成され、CPU101において実行されるプログラム・コードをロードしたり、実行プログラムの作業データを一時保管したりするために使用される。
【0039】
グラフィック・ハードウェア103は、CPU101が発行する描画命令を実際に処理するための専用コントローラであり、例えばアダプタ・カードという形態で当該装置100に装備される。グラフィック・ハードウェア103には、表示出力のターゲットとして、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのディスプレイ(図示しない)が接続されている。本実施形態では、ディスプレイはビットマップ表示機能をサポートしているものとする。
【0040】
図示の通り、グラフィック・ハードウェア103上には、画面の表示内容を一時的に書き込むフレーム・バッファとして使用されるビデオRAM103Aが搭載されている。勿論、ビデオRAM103Aは、図示のように独立したハードウェアではなく、プログラムRAM102のメモリ空間上にマッピングされたシェア・メモリの形態であってもよい。
【0041】
なお、図示しないが、画面表示処理装置100は、上述した以外にも、キーボードやマウスなどのユーザ入力装置や、ハード・ディスク装置やCD/DVD読み書き装置などの外部記憶装置、当該装置100をネットワーク接続するためのネットワーク・インターフェース(NIC)などを装備していてもよい。
【0042】
画面表示処理装置100の典型的な例は、パーソナル・コンピュータ(PC)などのGUI環境を提供する計算機システムである。
【0043】
GUI環境下では、コンピュータ・システムがシミュレートされたデスクトップと無数のアイコンがディスプレイ・スクリーンに用意される。GUIが提供されたデスクトップ上では、ファイルなどのコンピュータ・システム上のすべての資源オブジェクトはアイコンとして表現されている。ユーザは、ディスプレイ・スクリーン上のプログラム、データ、フォルダ、デバイスなどを象徴するアイコンなど画面上の表示オブジェクトに対してマウスなどのユーザ入力装置を用いて直接操作を印加する(例えば、クリックやドラッグ・アンド・ドロップ)ことで、直感的に且つ判り易くコンピュータ操作を行なうことができる。また、デスクトップ上には、メニュー・バーやツール・ボックスなど、各種の機能すなわちコンピュータ処理を瞬時に呼び出すためのボタンが用意されている。
【0044】
GUIオブジェクトは、階層化ツリー構造を構成して、プログラムRAM102上で格納されている。CPU101は、プログラムRAM102に読み書きアクセスすることができる。
【0045】
本実施形態では、フレーム・バッファは、「フロント・バッファ」と「バック・バッファ」で構成され、これらを用いてGUIオブジェクトのレンダリング処理が行なわれる。
【0046】
フロント・バッファは、ディスプレイ上でユーザに画面表示するために使用されるGUIイメージを常に保持している。これに対し、バック・バッファは、このように画面表示されるイメージを構築するために使用される。すなわち、GUIオブジェクトをレンダリングする間、それらのグラフィック表示は、まずバック・バッファ上で構築され、その完成を待って、フロント・バッファに複製される。
【0047】
フロント・バッファは、画面出力用のデータそのものであり、ビデオRAM103A上に存在する。また、バック・バッファは、ビデオRAM103A又はプログラムRAM102のいずれに割り当ててもよい。図1に示すハードウェア構成例では、CPU101は、ビデオRAM103Aに対して、少なくとも書き込みアクセスを行なうことができるようになっている。
【0048】
図2には、本発明の実施形態に係る画面表示処理アルゴリズムの構成を模式的に示している。
【0049】
この画面表示処理は、レンダリング・サイクルにおいてGUI画面上でダメージが発生したとき、すなわち、修復(再描画)を必要とするようなGUIイメージの変更が生じたことに応答して起動する。例えば、ドロップ−ダウン・メニューをクローズしたとき、メニューが表示されていた領域をメニューが覆っていた通りに表示するように再び回復する必要があるときなどである。
【0050】
第1の処理フェーズでは、修復する必要があるGUI領域、すなわち「ダメージ領域」と呼ばれる領域を決定する。この処理フェーズのことを以下では「チェック・フェーズ」と呼び、その詳細な処理手順を図3に示している。
【0051】
続く第2の処理フェーズでは、チェック・フェーズにおいて発見されたダメージ領域を基に、修復を必要とするオブジェクトを決定して、これらにフラグを設定する。この処理フェーズのことを以下では「生成(Generate)フェーズ」と呼び、その詳細な処理手順を図4に示している。
【0052】
続く第3の処理フェーズでは、生成フェーズにおいてフラグが設定されたすべてのGUIオブジェクトをバック・バッファ上で用いて描画する。このとき、各オブジェクトを後方から前方に向かって描画する。この処理フェーズのことを「描画(Paint)フェーズ」と呼ぶ。
【0053】
続く第4の処理フェーズでは、すべてのダメージ領域をバック・バッファからフロント・バッファへ複製することによって、ダメージの修復を完成する。このとき、生成フェーズにおいて破棄された領域を排除して、ダメージ領域の複製が行なわれる。この処理フェーズのことを「更新(Update)フェーズ」と呼ぶ。
【0054】
第2の処理フェーズでは、すべてのGUIオブジェクトに関して、発見されたすべてのダメージ領域と交差するかどうかをチェックする。そして、z−orderに従って、GUIオブジェクトを前方から後方に向かって再度チェックする。
【0055】
図3には、第2の処理フェーズであるチェック・フェーズにおける詳細な処理手順を示している。
【0056】
変化を来たしたすべてのGUIオブジェクトをチェックすることによって、ダメージ領域が決定される。但し、z−orderに従って、前方から後方に向かってオブジェクトのチェックが行なわれる。
【0057】
変化があったオブジェクトが発見された場合(判断ブロックa)、変化前(previous)及び変化後(current)の境界ボックスがダメージ領域となる(図11を参照のこと)。ここで、変化後の境界ボックスはいま現在のオブジェクトの境界ボックスであり、変化前の境界ボックスは最後に描画されたオブジェクトの境界ボックスである(図10を参照のこと)。境界ボックスは、当該オブジェクトを完全に含み水平方向に位置調整(align)された最も小さな矩形がダメージ領域となる。図5には、さまざまの形状のGUIオブジェクトに関する境界ボックスを示している。各々のダメージは、そのダメージ領域内で処理される。
【0058】
次いで、すべてのダメージ領域について統合処理を行なう。もし2つのダメージ領域が所定以上交差しているならば、1つのダメージ領域に結合される(判断ブロックb)。すなわち、オブジェクトの前回又は現在の境界ボックスがダメージ領域と交差しているかどうかを判断し、交差している場合には、当該オブジェクトの前回又は現在の境界ボックスをダメージ領域に統合する。そして、ダメージ領域を取り除いて、統合した領域として再スタートする。このようなダメージ領域の統合処理により、不必要な描画や画面表示の更新処理を削減することができる。
【0059】
例えば図6に示すように、ダメージ領域同士が重なり合う領域よりも、結合により付加される領域の方が大きくなるような場合には、これらを結合することにより得られるダメージ領域はほぼ2倍の大きさとなる。この結果、当該画像修復アルゴリズムの完了に伴いダメージ領域を更新するときに、バック・バッファからフロント・バッファへ転送するデータがより大きくなってしまう。さらにこの統合されたダメージ領域に第3のオブジェクトの境界ボックスが交差するような場合には、これも描画処理しなければならなくなってしまう。したがって、このような場合には、2つのダメージ領域を個別に処理することが効率的であることから、ダメージ領域の統合は行なわない。
【0060】
一方、2つのダメージ領域の合計が統合したダメージ領域よりも大きいとき、交差する2つのダメージ領域が重なり合う領域が、統合することによって付加される領域よりも大きくなるとき(図7を参照のこと)には、既に統合されているダメージ領域を2つの個別のダメージ領域として取り扱うことがむしろ不利である。交差するダメージ領域を統合するかどうかを判断する閾値は、このアルゴリズムにおけるパラメータである。
【0061】
ダメージ領域を決定するとき、z−orderに従い、GUIオブジェクトを前方から後方に向かってチェックする。最前方のオブジェクトは、z−order上ではレベル0である。レベル番号は、後方に向かうに従って各オブジェクト毎に1ずつ増分する。ダメージ領域が発見された場合、関連するGUIオブジェクトのz−order上のレベルがダメージ領域に割り当てられる。例えば、最前方から3番目のオブジェクトに変化があった場合、この結果として取り出されるダメージ領域にはz−order上のレベル2が割り当てられる。また、2つのダメージ領域を統合した場合、これら2つのダメージ領域のうち低い方のz−orderレベルが統合した結果のダメージ領域に割り当てられる。割り当てられる。
【0062】
このようにして、すべてのダメージ領域についてチェックが終了したならば、オブジェクトの前回及び現在の境界ボックスをダメージ領域のリストに追加する。
【0063】
さらに未処理のオブジェクトが残っている場合には、次のオブジェクトを取り出して、変化の有無をチェックして、上述と同様の処理を繰り返し実行する。
【0064】
また、図4には、第3の処理フェーズである生成フェーズの詳細な処理手順を示している。
【0065】
この生成フェーズでは、すべてのGUIオブジェクトについて、上述したチェック・フェーズにて発見されたすべてのダメージ領域と交差するかどうかをチェックする。但し、z−orderに従って、前方から後方に向かってオブジェクトのチェックが行なわれる。そして、オブジェクトがあるダメージ領域と交差していることが判明したときには、そのオブジェクトに対して描画処理が必要であることを示すフラグを設定する。
【0066】
すべてのGUIオブジェクトについて、前方から後方に向かって、画面上で見えている(visible)かどうかをチェックする(判断ブロックa)。
【0067】
そして、視覚可能なオブジェクトについて、すべてのダメージ領域との関係をチェックする。まず、オブジェクトがダメージ領域を塗り潰していないかどうかをチェックする(判断ブロックb)。オブジェクトがダメージ領域を満たしていないときには、次いで、オブジェクトの境界ボックスがダメージ領域を交差しているかどうかをチェックする(判断ブロックc)。オブジェクトの境界ボックスがダメージ領域を交差していないときには、オブジェクトが完全に不透明でその境界ボックスがダメージ領域を完全に含んでいるかどうかをチェックする。
【0068】
オブジェクトが完全に不可視(opaque)でその境界ボックスがダメージ領域を完全に含んでいる場合には(判断ブロックd)、さらにオブジェクトがダメージ領域を覆っている(すなわち、z−order上で手前にあり、オブジェクトに変化がない)ことを確認した上で(判断ブロックe)、このダメージ領域に対して塗り潰されている(filled)ことを示すフラグを設定する。塗り潰されているダメージ領域では、残りのオブジェクトに関して交差しているかどうかをチェックする必要はない。図8には、不可視のオブジェクトと完全に不可視ではないオブジェクトを例示している。
【0069】
前方から後方に向かってオブジェクトをチェックするので、塗り潰されているとフラグが設定された後にダメージ領域と交差していることが判明したオブジェクトは、当該ダメージ領域を塗り潰すオブジェクトによって必然的に覆われることになる。この描画処理を省略することによって、画面全体における描画処理の総量を削減することができる。
【0070】
また、オブジェクトが処理対象となっているダメージ領域よりも低いz−orderレベルを持っている、すなわち手前に配置されている場合であって、さらに変化がない場合には、オブジェクトとダメージ領域をともに破棄することができる。何故ならば、ダメージ領域が変化したオブジェクトで構成されるとしても、変化しないオブジェクトによって完全に隠れてしまうからである。このような場合、ダメージ領域内のオブジェクトの変化は隠されてしまうので、その描画処理を省略することができる。
【0071】
一方、判断ブロックdにおいて、境界ボックスがダメージ領域を完全に含んでいないと判断された場合には、ダメージ領域内のオブジェクトに対して描画処理が必要であることを示すフラグを設定する。
【0072】
図9には、ダメージ領域を描画処理すべきか又は破棄してもよいかどうかを判断するための基準を図解している。ダメージ領域の手前のオブジェクトがダメージ領域を完全には覆っていない場合には、ダメージ領域を描画処理する必要がある。また、ダメージ領域が不可視(opaque)のオブジェクトで覆われているダメージ領域は描画処理する必要がある。また、手前のオブジェクトによって完全に覆われているダメージ領域は、描画処理を省略することができるので、処理対象から外す(discard)ことができる。
【0073】
[追補]
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0074】
【発明の効果】
以上詳記したように、本発明によれば、複数のオブジェクトで構成されユーザ・インタラクションとともに画面表示が逐次更新されるGUI画面の表示を好適に処理することができる、優れた画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラムを提供することができる。
【0075】
また、本発明によれば、不必要なオブジェクトの描画を抑制して効率的なGUI画面の表示処理を行なうことができる、優れた画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラムを提供することができる。
【0076】
本発明に係る画像表示処理装置又は画像表示処理方法によれば、GUI画面を再描画する際の描画処理数を削減することができる。
【0077】
また、本発明に係る画像表示処理装置又は画像表示処理方法によれば、GUI画面を再描画する際の、バック・バッファからフロント・バッファへ転送するデータの総量を削減することができる。
【0078】
また、本発明に係る画像表示処理装置又は画像表示処理方法によれば、GUI環境を提供するコンピュータ処理において必要とされるメモリ容量を削減することができる。
【図面の簡単な説明】
【図1】本発明が適用された画面表示処理装置100が備える最低限のハードウェア構成を模式的に示した図である。
【図2】本発明の実施形態に係る画面表示処理アルゴリズムの構成を模式的に示した図である。
【図3】本発明の実施形態に係る画面表示処理アルゴリズムのチェック・フェーズにおける詳細な処理手順を示した図である。
【図4】本発明の実施形態に係る画面表示処理アルゴリズムの生成フェーズにおける詳細な処理手順を示した図である。
【図5】さまざまの形状のGUIオブジェクトに関する境界ボックスの例を示した図である。
【図6】ダメージ領域同士を統合する処理を説明するための図である。
【図7】ダメージ領域同士を統合する処理を説明するための図である。
【図8】不可視のオブジェクトと完全に不可視ではないオブジェクトを例示した図である。
【図9】ダメージ領域を描画処理すべきか又は破棄してもよいかどうかを判断するための基準を示した図である。
【図10】アニメーションGUIにおいて画面を修復するための処理手順(従来例)を説明するための図である。
【図11】アニメーションGUIにおいて画面を修復するための処理手順(従来例)を説明するための図である。
【符号の説明】
100…画面表示処理装置
101…CPU
102…プログラムRAM
103…グラフィック・ハードウェア
103A…ビデオRAM

Claims (17)

  1. 複数のオブジェクトで構成される画面の表示を処理する画面表示処理装置であって、
    画面表示出力用の画面イメージを書き込むフロント・バッファと、
    画面表示されるイメージを構築するために使用されるバック・バッファと、
    画面の変更に伴い、修復する必要があるダメージ領域を決定するチェック手段と、
    前記チェック手段により発見されたダメージ領域に基づいて、再描画を必要とするオブジェクトを決定する生成手段と、
    前記生成手段により決定された再描画するとオブジェクトを前記バック・バッファ上で後方から前方に向かって描画する描画手段と、
    前記生成手段において破棄された領域を除くすべてのダメージ領域をバック・バッファからフロント・バッファへ複製してダメージの修復を行なう画面更新手段と、
    を具備することを特徴とする画面表示処理装置。
  2. 前記チェック手段は、z−orderに従って、前方から後方に向かってオブジェクトのチェックを行ない、変化を来たしたオブジェクトを完全に含む最小の矩形をダメージ領域として抽出する、
    ことを特徴とする請求項1に記載の画面表示処理装置。
  3. 前記チェック手段は、ダメージ領域の統合処理を行なう、
    ことを特徴とする請求項1に記載の画面表示処理装置。
  4. 前記チェック手段は、交差する2つのダメージ領域が重なり合う領域が統合することによって付加される領域よりも大きくなる場合に当該ダメージ領域同士を統合する、
    ことを特徴とする請求項3に記載の画面表示処理装置。
  5. 前記生成手段は、手前のオブジェクトと交差しているダメージ領域のオブジェクトに対して描画処理が必要であることを示すフラグを設定し、
    前記描画手段は、前記生成手段により描画処理が必要であることを示すフラグが設定されたすべてのGUIオブジェクトをバック・バッファ上で用いて描画する、
    ことを特徴とする請求項1に記載の画面表示処理装置。
  6. 前記生成手段は、手前のオブジェクトによって完全に覆われていないダメージ領域のオブジェクトに対して描画処理が必要であることを示すフラグを設定し、前記描画手段は、前記生成手段により描画処理が必要であることを示すフラグが設定されたすべてのGUIオブジェクトをバック・バッファ上で用いて描画する、
    ことを特徴とする請求項1に記載の画面表示処理装置。
  7. 前記生成手段は、オブジェクトが完全に不透明でその境界ボックスがダメージ領域を完全に含んでいる場合には、さらにオブジェクトがダメージ領域を覆っていることを確認した上で、このダメージ領域に対して塗り潰されていることを示すフラグを設定する、
    ことを特徴とする請求項1に記載の画面表示処理装置。
  8. 前記生成手段は、オブジェクトが処理対象となっているダメージ領域よりも手前に配置されていてさらに変化がない場合には、オブジェクトとダメージ領域をともに破棄する、
    ことを特徴とする請求項1に記載の画面表示処理装置。
  9. 複数のオブジェクトで構成される画面の表示を画面表示出力用の画面イメージを書き込むフロント・バッファと画面表示されるイメージを構築するために使用されるバック・バッファを利用して処理する画面表示処理方法であって、
    画面の変更に伴い、修復する必要があるダメージ領域を決定するチェック・ステップと、
    前記チェック・ステップにおいて発見されたダメージ領域に基づいて、再描画を必要とするオブジェクトを決定する生成ステップと、
    前記生成ステップにおいて決定された再描画するとオブジェクトを前記バック・バッファ上で後方から前方に向かって描画する描画ステップと、
    前記生成ステップにおいて破棄された領域を除くすべてのダメージ領域をバック・バッファからフロント・バッファへ複製してダメージの修復を行なう画面更新ステップと、
    を具備することを特徴とする画面表示処理方法。
  10. 前記チェック・ステップでは、z−orderに従って、前方から後方に向かってオブジェクトのチェックを行ない、変化を来たしたオブジェクトを完全に含む最小の矩形をダメージ領域として抽出する、
    ことを特徴とする請求項9に記載の画面表示処理方法。
  11. 前記チェック・ステップでは、ダメージ領域の統合処理を行なう、
    ことを特徴とする請求項9に記載の画面表示処理方法。
  12. 前記チェック・ステップでは、交差する2つのダメージ領域が重なり合う領域が統合することによって付加される領域よりも大きくなる場合に当該ダメージ領域同士を統合する、
    ことを特徴とする請求項9に記載の画面表示処理方法。
  13. 前記生成ステップでは、手前のオブジェクトと交差しているダメージ領域のオブジェクトに対して描画処理が必要であることを示すフラグを設定し、
    前記描画ステップでは、前記生成ステップにおいて描画処理が必要であることを示すフラグが設定されたすべてのGUIオブジェクトをバック・バッファ上で用いて描画する、
    ことを特徴とする請求項9に記載の画面表示処理方法。
  14. 前記生成ステップでは、手前のオブジェクトによって完全に覆われていないダメージ領域のオブジェクトに対して描画処理が必要であることを示すフラグを設定し、
    前記描画ステップでは、前記生成ステップにおいて描画処理が必要であることを示すフラグが設定されたすべてのGUIオブジェクトをバック・バッファ上で用いて描画する、
    ことを特徴とする請求項9に記載の画面表示処理方法。
  15. 前記生成ステップでは、オブジェクトが完全に不透明でその境界ボックスがダメージ領域を完全に含んでいる場合には、さらにオブジェクトがダメージ領域を覆っていることを確認した上で、このダメージ領域に対して塗り潰されていることを示すフラグを設定する、
    ことを特徴とする請求項9に記載の画面表示処理方法。
  16. 前記生成ステップでは、オブジェクトが処理対象となっているダメージ領域よりも手前に配置されていてさらに変化がない場合には、オブジェクトとダメージ領域をともに破棄する、
    ことを特徴とする請求項9に記載の画面表示処理方法。
  17. 複数のオブジェクトで構成される画面の表示を画面表示出力用の画面イメージを書き込むフロント・バッファと画面表示されるイメージを構築するために使用されるバック・バッファを利用して行なう処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
    画面の変更に伴い、修復する必要があるダメージ領域を決定するチェック・ステップと、
    前記チェック・ステップにおいて発見されたダメージ領域に基づいて、再描画を必要とするオブジェクトを決定する生成ステップと、
    前記生成ステップにおいて決定された再描画するとオブジェクトを前記バック・バッファ上で後方から前方に向かって描画する描画ステップと、
    前記生成ステップにおいて破棄された領域を除くすべてのダメージ領域をバック・バッファからフロント・バッファへ複製してダメージの修復を行なう画面更新ステップと、
    を具備することを特徴とするコンピュータ・プログラム。
JP2002259108A 2002-09-04 2002-09-04 画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラム Expired - Fee Related JP4158462B2 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
JP2002259108A JP4158462B2 (ja) 2002-09-04 2002-09-04 画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラム
AU2003244038A AU2003244038B2 (en) 2002-09-04 2003-09-01 Screen display processing apparatus, screen display processing method and computer program
MXPA03007879A MXPA03007879A (es) 2002-09-04 2003-09-02 Aparato de procesamiento de despliegue de pantalla, metodo de procesamiento de despliegue d pantalla y programa de computo.
MYPI20033302A MY131473A (en) 2002-09-04 2003-09-02 Screen display processing apparatus, screen display processing method and computer program
SG200305651A SG116504A1 (en) 2002-09-04 2003-09-03 Screen display processing apparatus, screen display processing method and computer program.
US10/653,136 US6914608B2 (en) 2002-09-04 2003-09-03 Screen display processing apparatus, screen display processing method and computer program
CA002439633A CA2439633A1 (en) 2002-09-04 2003-09-03 Screen display processing apparatus, screen display processing method and computer program
KR1020030061726A KR20040021563A (ko) 2002-09-04 2003-09-04 화면 표시 처리 장치, 화면 표시 처리 방법 및 컴퓨터프로그램
CNB031580653A CN100501662C (zh) 2002-09-04 2003-09-04 屏幕显示处理装置和屏幕显示处理方法
TW092124477A TWI269216B (en) 2002-09-04 2003-09-04 Screen display processing apparatus, screen display processing method and storage medium
EP03020098A EP1406243A2 (en) 2002-09-04 2003-09-04 Screen display processing apparatus, screen display processing and computer program
US11/081,629 US7053905B2 (en) 2002-09-04 2005-03-17 Screen display processing apparatus, screen display processing method and computer program
US11/081,630 US7061498B2 (en) 2002-09-04 2005-03-17 Screen display processing apparatus, screen display processing method and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002259108A JP4158462B2 (ja) 2002-09-04 2002-09-04 画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2004102343A true JP2004102343A (ja) 2004-04-02
JP4158462B2 JP4158462B2 (ja) 2008-10-01

Family

ID=31986326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002259108A Expired - Fee Related JP4158462B2 (ja) 2002-09-04 2002-09-04 画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラム

Country Status (11)

Country Link
US (3) US6914608B2 (ja)
EP (1) EP1406243A2 (ja)
JP (1) JP4158462B2 (ja)
KR (1) KR20040021563A (ja)
CN (1) CN100501662C (ja)
AU (1) AU2003244038B2 (ja)
CA (1) CA2439633A1 (ja)
MX (1) MXPA03007879A (ja)
MY (1) MY131473A (ja)
SG (1) SG116504A1 (ja)
TW (1) TWI269216B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220080A (ja) * 2009-03-18 2010-09-30 Casio Computer Co Ltd クライアント装置、サーバベース・コンピューティング・システム、およびクライアント制御プログラム
US8306386B2 (en) 2004-12-01 2012-11-06 Panasonic Corporation Reproduction device, image synthesis method, image synthesis program, and integrated circuit
JP2016001882A (ja) * 2015-07-14 2016-01-07 カシオ計算機株式会社 表示端末装置及びプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4776592B2 (ja) * 2007-07-09 2011-09-21 株式会社東芝 画像生成装置、画像生成方法および画像生成プログラム
CN102279720B (zh) * 2010-06-08 2014-03-19 腾讯科技(北京)有限公司 屏幕显示内容更新的方法及系统
US9384711B2 (en) 2012-02-15 2016-07-05 Microsoft Technology Licensing, Llc Speculative render ahead and caching in multiple passes
CN103426197A (zh) * 2012-05-17 2013-12-04 上海闻泰电子科技有限公司 一种基于活性边表和辅助数组的逆画家消隐算法
US9286122B2 (en) 2012-05-31 2016-03-15 Microsoft Technology Licensing, Llc Display techniques using virtual surface allocation
US9230517B2 (en) * 2012-05-31 2016-01-05 Microsoft Technology Licensing, Llc Virtual surface gutters
US9235925B2 (en) 2012-05-31 2016-01-12 Microsoft Technology Licensing, Llc Virtual surface rendering
US9177533B2 (en) 2012-05-31 2015-11-03 Microsoft Technology Licensing, Llc Virtual surface compaction
US9307007B2 (en) 2013-06-14 2016-04-05 Microsoft Technology Licensing, Llc Content pre-render and pre-fetch techniques
CN110134370B (zh) * 2018-02-08 2023-09-12 龙芯中科技术股份有限公司 一种图形绘制的方法、装置、电子设备及存储介质
CN112116574A (zh) * 2020-09-16 2020-12-22 北京小米移动软件有限公司 屏幕修复方法、装置以及存储介质
US11886685B1 (en) 2022-10-20 2024-01-30 Stardock Corporation Desktop container peek interface

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04139495A (ja) * 1990-10-01 1992-05-13 Fujitsu Ltd ウィンドウ再表示方式
JP2934041B2 (ja) * 1991-03-29 1999-08-16 富士通株式会社 再表示処理制御方式
WO1994014155A1 (en) * 1992-12-17 1994-06-23 Seiko Epson Corporation Graphics control planes for windowing and other display operations
JPH06289843A (ja) * 1993-03-31 1994-10-18 Komatsu Ltd 画像表示処理装置
US5850232A (en) * 1996-04-25 1998-12-15 Microsoft Corporation Method and system for flipping images in a window using overlays
US5933155A (en) * 1996-11-06 1999-08-03 Silicon Graphics, Inc. System and method for buffering multiple frames while controlling latency
JP2000148121A (ja) * 1998-11-10 2000-05-26 Matsushita Electric Ind Co Ltd 表示制御装置および方法
KR100304886B1 (ko) * 1998-12-01 2001-09-24 구자홍 디스플레이장치의부가정보표시방법
JP2000231643A (ja) * 1999-02-08 2000-08-22 Digital Electronics Corp 動的描画方法および動的描画システム
US6542154B1 (en) * 1999-08-07 2003-04-01 Hewlett-Packard Company Architectural extensions to 3D texturing units for accelerated volume rendering
EP1232434B1 (en) * 1999-09-27 2005-08-24 THOMSON Licensing S.A. Windowing systems
GB2358567B (en) * 2000-01-21 2003-08-13 Inventec Corp Automatic monitor resolution switching method
JP2001331303A (ja) * 2000-05-24 2001-11-30 Matsushita Electric Ind Co Ltd 描画処理装置および描画処理方法並びに描画処理プログラムを記憶した記憶媒体
CN1360264A (zh) * 2000-12-19 2002-07-24 神达电脑股份有限公司 计算机的集成式屏幕系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306386B2 (en) 2004-12-01 2012-11-06 Panasonic Corporation Reproduction device, image synthesis method, image synthesis program, and integrated circuit
JP2010220080A (ja) * 2009-03-18 2010-09-30 Casio Computer Co Ltd クライアント装置、サーバベース・コンピューティング・システム、およびクライアント制御プログラム
JP2016001882A (ja) * 2015-07-14 2016-01-07 カシオ計算機株式会社 表示端末装置及びプログラム

Also Published As

Publication number Publication date
TWI269216B (en) 2006-12-21
MXPA03007879A (es) 2005-02-17
TW200407771A (en) 2004-05-16
US20040107380A1 (en) 2004-06-03
AU2003244038A1 (en) 2004-03-25
US20050156938A1 (en) 2005-07-21
US7061498B2 (en) 2006-06-13
US7053905B2 (en) 2006-05-30
SG116504A1 (en) 2005-11-28
CA2439633A1 (en) 2004-03-04
US20050156937A1 (en) 2005-07-21
AU2003244038B2 (en) 2008-07-17
EP1406243A2 (en) 2004-04-07
CN100501662C (zh) 2009-06-17
KR20040021563A (ko) 2004-03-10
MY131473A (en) 2007-08-30
JP4158462B2 (ja) 2008-10-01
CN1489035A (zh) 2004-04-14
US6914608B2 (en) 2005-07-05

Similar Documents

Publication Publication Date Title
US7061498B2 (en) Screen display processing apparatus, screen display processing method and computer program
JP3592750B2 (ja) 機械操作方法
US5522025A (en) Object-oriented window area display system
US5459832A (en) Method and apparatus for editing groups of graphic images
US5754242A (en) Data formatting system for processing multiple independent input data streams for high resolution screen displays
US7595810B2 (en) Methods of manipulating a screen space of a display device
US5682487A (en) Method and apparatus providing resizable views
US7533351B2 (en) Method, apparatus, and program for dynamic expansion and overlay of controls
US20110258534A1 (en) Declarative definition of complex user interface state changes
EP1847924A1 (en) Optimal display of multiple windows within a computer display
US20070216712A1 (en) Image transformation based on underlying data
US6075532A (en) Efficient redrawing of animated windows
JP5442214B2 (ja) 複数の表示画面領域に同時にマウスポインターを表示する方法及び装置、マウスシミュレーションプログラム
US20090271742A1 (en) User interface navigation design system
US6392662B1 (en) Draw order preservation in a computer-implemented graphics system
US20050206656A1 (en) Method and apparatus for enlarging an output display
JP2996933B2 (ja) 図面表示装置
JPH06110989A (ja) アプリケーションが提供する主ウインドウ内で表示された固定要素の見かけ上の直接編集するための方法およびシステム
CN111078785A (zh) 一种数据可视化展示的方法、装置、电子设备及存储介质
CN111813404B (zh) 基于混合图形显示的应用方法、介质及客户端
US20240302944A1 (en) Drawer page overlay for multitasking
CN116521043B (zh) 一种图纸快速响应的方法、系统及计算机程序产品
JP3640982B2 (ja) 機械操作方法
Walmsley Graphics programming in C++: writing graphics applications for Windows 98
CN115167963A (zh) 一种基于h5的多层级窗口快速响应的方法及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees