JP2009157077A

JP2009157077A - 画像表示装置、表示制御方法及びプログラム

Info

Publication number: JP2009157077A
Application number: JP2007334855A
Authority: JP
Inventors: Kentaro Sasagawa; 賢太郎笹川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-12-26
Filing date: 2007-12-26
Publication date: 2009-07-16
Anticipated expiration: 2027-12-26
Also published as: JP4780101B2; WO2009081650A1

Abstract

【課題】複数の描画システムから共有されるディスプレイを有するシステムにおいてもウィンドウ単位での重ね合わせを可能とする。
【解決手段】画像表示装置１００は、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤ７１が第２の表示レイヤ７２より表示順位が低い場合において、ウィンドウ配置情報に基づき、第１及び第２の表示レイヤ７１、７２の合成時に表示されるべき第１の表示レイヤ７１に描画されるウィンドウを特定ウィンドウ７１１として検出し、特定ウィンドウ７１１を表示させるための透過ウィンドウ７２５を第２の表示レイヤ７２に生成させるＡＰＭ２２を有する。ＡＰＭ２２は、特定ウィンドウ７１１の形状が非矩形形状である場合、ウィンドウ配置情報に基づき特定ウィンドウ７１１の形状を取得し、透過ウィンドウ７２５を第２の表示レイヤ７２に生成させる。
【選択図】図１

Description

本発明は、表示部にウィンドウを表示するための画像表示装置、表示制御方法及びプログラムに関する。

従来、例えば、単一のＯＳ上で単一の描画系を有するシステム、X window system等、複数のＯＳ上で単一の描画系を有するシステム、又はＬＣＤＣ（ＬＣＤコントローラ）が有するＯＳＤ機能（On Screen Display）を利用して複数のＶＲＡＭをＨＷレイヤに割り当てるシステムがある。

これらのシステムを利用したウィンドウ制御装置が知られている。この種のウィンドウ制御装置は、プロセッサで同時に並行して処理される互いに異なるジョブの各々に対応するウィンドウを作成する。そして、ウィンドウ制御装置は、これらの個々のジョブに対応した複数のウィンドウを画面に同時に表示する。さらに、ウィンドウ制御装置は、複数のジョブ処理の状況を同時に監視することも可能になる。

例えば特許文献１には、ウィンドウ表示を用いて１つの画面上で複数の出力画像（画像データ）、例えば、複数のデバイスから出力される画像データを表示する出力データ制御装置が開示されている。この特許文献１にかかる出力データ制御装置は、複数の情報処理端末（ＰＣ）あるいは映像出力機器からの複数の画像データを入力する。そして、入力した複数の画像データをメイン画面とウィンドウ画面とを用いて一画面内に合成する。さらに、合成した画面をモニタ装置へ出力する。そして、出力データ制御装置は、メイン画面にウィンドウ画面を重ねて表示する割合を透明度として算出する。さらに、出力データ制御装置は、算出した透明度に従ってウィンドウ画面を表示する割合を変更して画面を変更し、変更した画面をモニタ装置へ出力する。
特許２００２−１８２８９０号公報

このように、複数ＯＳや複数描画システムで共有したＬＣＤ等のディスプレイに複数ウィンドウを表示する場合、従来技術であるＯＳＤ機能を利用し、ウィンドウ毎にＨＷレイヤを割り当てることによって、重ね合わせ制御をすることが可能であった。しかしながら、同時に扱えるウィンドウの数がＨＷレイヤの数に制限を受けてしまうという問題点がある。

これに対し、描画システムとしてマルチウインドウ表示が可能なウィンドウシステムを採用することにより、同時に扱えるウィンドウ数の制約を取り除くことが可能になった。しかしながら、各々の描画システムが異なるＶＲＡＭに描画するため、異なる描画システム間で動的なウィンドウ単位での重ね合わせ制御ができないという問題点がある。

また、ＨＷレイヤ間で表示順が決まっており、それらを単に重ね合わせる手法においては、各ＨＷレイヤ内ではそれぞれで使用されるローカル優先度が存在し、ＨＷレイヤ毎に描画が行われる。各ＨＷレイヤで描画された画像はＨＷレイヤ間の表示順に従って重ね合わせが行われる。すなわち、ＨＷレイヤ１、ＨＷレイヤ２（優先度はＨＷレイヤ１＞ＨＷレイヤ２）においては、ＨＷレイヤ２のウィンドウはＨＷレイヤ１のウィンドウより手前に表示されることはない。

本発明は、このような問題点を解決するためになされたものであり、複数の描画システムから共有されるディスプレイを有するシステムにおいても、例えばウィンドウ単位での重ね合わせを可能とする画像表示装置、表示制御方法及びプログラムを提供することを目的とする。

本発明に係る画像表示システムは、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる管理部を有し、前記管理部は、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させるものである。

本発明に係るプログラムは、所定の動作をコンピュータに実行させるためのプログラムであって、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる管理工程を有し、前記管理工程では、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させるものである。

本発明に係る画像表示方法は、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる管理工程を有し、前記管理工程では、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させる画像表示方法ものである。

本発明によれば、複数の描画システムから共有されるディスプレイを有するシステムにおいてもウィンドウ単位での重ね合わせを可能とするウィンドウ制御装置、ウィンドウ制御方法、及びプログラム並びに情報処理装置を提供することができる。

以下、本発明を適用した具体的な実施例について、図面を参照しながら詳細に説明する。この実施例は、本発明を、複数のＯＳ上でそれぞれ起動する描画システムから共有されるディスプレイにウィンドウを合成して表示することが可能な画像表示装置に適用したものである。特に、本実施例においては、ウィンドウとして非矩形な形状のウィンドウを表示することができる画像表示装置について説明する。

複数のＯＳ上でそれぞれ異なる描画システムが動作している場合でも、これらの複数のＯＳが共有する単一のディスプレイに対して協調的にウィンドウを描画するシステムがある。図１は、そのような画像表示装置を示す概略図である。画像表示装置１１００は、複数の、例えばＣＰＵ（Central Processing Unit）等からなる処理部１、２を有しており、それぞれ異なるＯＳがインストールされている。各ＯＳ上では、それぞれ、画像生成部としてのウィンドウ生成部１０１０、１０２０と、管理部としてのアプリケーションマネージャ（ＡＰＭ）１０１２、１０２２とが起動している。ここで、本実施の形態においては、例えば、一方のＯＳは、例えば、エンジン制御、スピード制御、又はエアバック制御などの制御系のＯＳであり、他方のＯＳは、エンターテーメントやマルチメディア用の情報系のＯＳとする。

ウィンドウ生成部１０１０は、表示レイヤとしてのハードウェアレイヤ（ＨＷレイヤ）１０７１に表示するウィンドウ１７１１を生成する。ウィンドウ生成部１０２０は、ＨＷレイヤ１０７１と同一の表示部に表示されるＨＷレイヤ１０７２に表示するウィンドウ１７２１を生成する。

具体的には、ＡＰＭ１０１２、１０２２は、ウィンドウ生成部１０１０、１０２０から画像情報として各ウィンドウの枠情報及び各ウィンドウのＺ軸情報（表示優先情報、以下優先度という。）を含むウィンドウ配置情報を取得する。ウィンドウの枠情報とは、矩形ウィンドウであれば、起点の座標並びに縦及び横の大きさ等とすることができる。優先度とは、全ＨＷレイヤが共通して使用するウィンドウの表示順序を示す。本実施の形態においては、全ＨＷレイヤが共通の優先度情報を使用することにより、ＨＷレイヤを跨いだウィンドウの表示順の制御が可能となる。そして、ＡＰＭ１０２２は、第１のＨＷレイヤ１０７１が第２のＨＷレイヤ１０７２より表示順位が低い場合において、ウィンドウ配置情報に基づき、第１及び第２のＨＷレイヤ１０７１、１０７２の合成時に表示されるべき第１のＨＷレイヤ１０７１に描画されるウィンドウを特定ウィンドウ１７１１として検出する。そして、ＡＰＭ１０２２は、この特定ウィンドウ１７１１を表示させるための透過ウィンドウ１７２５を第２のＨＷレイヤ１０７２に生成させる配置命令を生成する。ＡＰＭ１０１２は、第１のＨＷレイヤ１０７２に表示させるウィンドウ１７１１を生成させる配置命令を生成する。ＨＷレイヤ１０７１、１０７２は、合成部としてのＬＣＤコントローラ（図示せず）によって画面合成され、表示画面１０４１が生成される。なお、本実施の形態においては、ＨＷレイヤの表示順序は予め決められているのとして説明する。ＡＰＭは、ＨＷレイヤの上下関係と、ウィンドウの優先度に応じて、後述する透過ウィンドウを形成する。ＬＣＤコントローラは、決められた表示順序に従ってＬＣＤコントローラが表示画面を合成する。ただし、これに限らず、ＡＰＭ等がＨＷレイヤの表示順序を変更するようにしてもよい。

以下、ＡＰＭ１０２２について詳述する。ＡＰＭ１０２２は、情報取得部１２２１及び命令生成部１２２２を有する。情報取得部１２２１は、合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示度を各表示レイヤに対応するウィンドウ生成部１０２０、１０１０から取得する。すなわち、情報取得部１２２１は、表示レイヤ１０７２のウィンドウ配置情報をウィンドウ生成部１０２０から取得する。また、表示レイヤ１０７１のウィンドウ配置情報をウィンドウ生成部１０１０からＡＰＭ１０１２を介して取得する。

命令生成部１２２２は、第１のＨＷレイヤ１０７１が第２のＨＷレイヤ１０７２より表示順位が低い場合において、ウィンドウ配置情報に基づき、第１及び第２のＨＷレイヤ１０７１、１０７２の合成時に表示されるべき第１のＨＷレイヤ１０７１に描画されるウィンドウを特定ウィンドウ１７１１として検出する。そして、命令合成部１２２２は、この特定ウィンドウ１７１１を表示させるための透過ウィンドウ１７２５を第２のＨＷレイヤ１０７２に生成させる配置命令を生成する。

そして、第２のＨＷレイヤ１０７２の第１のウィンドウ１７１１の優先度が第２のウィンドウ１７２１の優先度より大きい場合、命令生成部１２２２は、第１のＨＷレイヤ１０７１に描画されるウィンドウを特定ウィンドウ１７１１として検出する。そして、第２のＨＷレイヤ１０７２において第１のウィンドウ１７１１と同一形状及び同一配置位置に、上記特定ウィンドウ１７１１を表示させるための透過ウィンドウ１７２５を生成させる配置命令を生成する。ウィンドウ生成部１０２０は、命令生成部１２２２からの配置命令に従い第２のＨＷレイヤ１０７２において、透過ウィンドウ１７２５を生成し、第２のウィンドウ１７２１と合成する。

ここで、透過ウィンドウとは、自身を透過し下のＨＷレイヤに表示された画像を透過して表示するものをいう。透過ウィンドウの一例としては、透過ウィンドウ内の領域についてＨＷレイヤにおける画像信号を消去するマスク処理を行って生成する。例えば、ＲＧＢ情報と透過率情報（Ａ）からなる３２ビット（ＡＲＧＢ各８ビット）で１ドットを表現するシステムであれば、ＡＰＭ又は描画システムがＶＲＡＭ内のデータ（透過率情報）をビット単位で制御することにより、透過ウィンドウを生成することができる。

なお、本実施の形態においては、処理部を２つとして説明しているが、２以上であってもよい。さらに、各ウィンドウ生成部は一のＨＷレイヤで、一のウィンドウの表示制御をするものとするが、２以上のＨＷレイヤであっても、２以上のウィンドウを表示させるものであってもよいことは勿論である。

このように、命令生成部１２２２は、第１のウィンドウ１７１１の情報としては、表示優先度と、ウィンドウ枠情報とを使用して透過ウィンドウ１７２５の配置命令を生成する。つまり、命令生成部１２２２は、第１のウィンドウ１７１１の画素値等の画像情報を取得することなく、透過ウィンドウ１７２５を生成する配置命令を生成する。このような透過ウィンドウ１７２５を生成することにより、ＬＣＤコントローラがＨＷレイヤ１０７１、１０７２を画面合成すると、ウィンドウ１７１１とウィンドウ１７２１とが表示優先度に従って重畳された画面が生成される。このことにより、複数のＯＳで共有されるディスプレイを有するシステムにおいて、互いに表示する画像について詳細な情報を転送することなく少ないデータの受け渡しのみで異なるＨＷレイヤ間でのウィンドウの重ね合わせ制御（Ｚ軸制御）が可能になる。したがって、複数のＯＳによって描画される画像情報を合成する処理を高速化することができる。以下、本発明の実施の形態について詳細に説明する。

ところで、組込み系のＧＵＩシステムでは、ＰＣとは異なり矩形ではないウィンドウやアプリケーションの一部分だけを表示する必要があるが、複数のＯＳでそれぞれ異なる描画システムが動作している状態では、お互いのウィンドウの形状がわからず、透過ウィンドウを用いたＯＳ間の協調動作を行うことが難しい。矩形ではないアプリケーションの例としては、車載システムのＬＣＤのスピードメータや安全系アプリのダイヤログ表示等が考えられる。

仮に矩形のウィンドウであれば、左上端の座標と幅、高さの情報だけで済むが、非矩形のウィンドウ（以下、ビットマップデータともいう。）はＲＧＢからなる階調形式で表現されるため、ＡＰＭでウィンドウの形状を把握することが難しく、ＡＰＭ経由で他方の描画システムに対し適切な指示を行うことが難しい。

そこで、本実施例に係る画像表示装置は、複数のＯＳでそれぞれ異なる描画システムが動作しているシステムにおいて、矩形以外の形状（非矩形形状）にも対応した透過ウィンドウを作成し、下位のＨＷレイヤのアプリケーションと協調動作させるしくみを有するものである。このため、ウィンドウ生成時に境界情報の選択かつ非矩形ウィンドウの輪郭情報（境界データ）を取得する手段、およびその後の動作において差分情報のみを送出する手段を有するＡＰＭ（アプリケーションマネージャー）を備える。

図２は、本発明の実施例にかかる画像表示装置を示す概略図である。画像表示装置１００は、複数の処理部１、２を有しており、それぞれ異なるＯＳがインストールされている。各ＯＳ上では、それぞれ。画像生成部としてのウィンドウ生成部１０、２０と、管理部としてのアプリケーションマネージャ（ＡＰＭ）１２、２２が起動している。ここで、本実施例においては、例えば、一方のＯＳは、例えば、エンジン制御、スピード制御、又はエアバック制御などの制御系のＯＳであり、他方のＯＳは、エンターテーメントやマルチメディア用の情報系のＯＳとする。

ウィンドウ生成部１０は、表示レイヤとしてのハードウェアレイヤ（ＨＷレイヤ）７１に表示するウィンドウ７１１を生成する。ウィンドウ生成部２０は、ＨＷレイヤ７１と同一の表示部に表示されるＨＷレイヤ７２に表示するウィンドウ７２１を生成する。ＡＰＭ１２、２２は、ウィンドウ生成部１０、２０から、画像情報として、ウィンドウの枠情報及び各ウィンドウのＺ軸情報（表示優先情報、以下優先度という。）を含むウィンドウ配置情報を取得する。さらに、ウィンドウが非矩形形状の場合は、当該特定画像を含む矩形情報、及び当該特定画像と他の領域とを識別するための背景情報を、上記ウィンドウ配置情報として取得する。ここで、ＡＰＭ１２とＡＰ２２のうち、上位のＨＷレイヤ７２に描画するウィンドウの配置命令を生成するＡＰＭ２２は、ウィンドウ情報に基づき、第１及び第２の表示レイヤ７１、７２の合成時に表示されるべき第１の表示レイヤ７１に描画される画像を特定画像７１１として検出する。そして、ＡＰＭ２２は、特定画像７１１を表示させるための透過画像７２５を第２の表示レイヤ７２に生成させる。この場合、ＡＰＭ２２は、特定画像７１１の形状が非矩形形状である場合、ウィンドウ情報に基づき特定画像７１１の形状を取得し、透過画像７２５を第２の表示レイヤ７２に生成させる。ＡＰＭ１２は、第１のＨＷレイヤ７１に表示するウィンドウを生成させる配置命令を生成する。

ＨＷレイヤ７１、７２は、合成部としてのＬＣＤコントローラ（図示せず）によって画面合成され、表示画面４１が生成される。なお、本実施の形態においては、ＨＷレイヤの表示順序は予め決められているのとして説明する。ＡＰＭは、ＨＷレイヤの上下関係と、ウィンドウの優先度に応じて、透過ウィンドウを形成する。ＬＣＤコントローラは、決められた表示順序に従ってＬＣＤコントローラが表示画面を合成する。ただし、これに限らず、ＡＰＭ等がＨＷレイヤの表示順序を変更するようにしてもよい。

以下、ＡＰＭ２２について詳述する。ＡＰＭ２２は、情報取得部２２１及び命令生成部２２２を有する。情報取得部２２１は、合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応するウィンドウ生成部から取得する。すなわち、情報取得部２２１は、表示レイヤ７２のウィンドウ配置情報をウィンドウ生成部２０から取得する。また、表示レイヤ７１のウィンドウ配置情報をウィンドウ生成部１０からＡＰＭスレーブ１２を介して取得する。

第１の表示レイヤ７１が第２の表示レイヤ７２より表示順位が低い場合について説明する。この場合、命令生成部２２２は、特定画像７１１の形状が非矩形形状であれば、配置情報及び表示優先情報の他、背景情報を含むウィンドウ配置情報に基づき、第１及び第２の表示レイヤ７１、７２の合成時に表示されるべき第１のレイヤ７１に描画される画像を特定画像７１１として検出する。そして、命令生成部２２２は、特定画像７１１を表示させるための透過画像７２５を第２の表示レイヤ７２に生成させる配置命令を生成する。

ここで、第２のＨＷレイヤ７２の第１のウィンドウ７１１の優先度が第２のウィンドウ７２１の優先度より大きい場合、命令生成部２２２は、第１のＨＷレイヤ７１に描画されるウィンドウを特定ウィンドウとして検出し、第２のＨＷレイヤ７２において第１のウィンドウ７１１と同一形状及び同一配置位置に、上記特定ウィンドウを表示させるための透過ウィンドウ７２５を生成させる配置命令を生成する。ウィンドウ生成部２０は、命令生成部２２２からの配置命令に従い第２のＨＷレイヤ７２において、透過ウィンドウ７２５を生成し、第２のウィンドウ７２１と合成する。

さらに、本実施の形態においては、情報取得部２２１は、特定画像７１１の形状が非矩形形状である場合、特定画像７１１を含む矩形情報（以下、基底ウィンドウ情報という。）、及び当該特定画像と他の領域とを識別するための背景情報を、ウィンドウ配置情報として取得する。命令生成部２２２は、背景情報を閾値として特定画像７１１の輪郭を検出する。具体的には、命令生成部２２２は、特定画像７１１を含む矩形領域の上下左右から背景情報を閾値として各画素値が背景であるか否かを判定することで、特定画像７１１の輪郭を検出する。または、命令生成部２２２は、背景情報を閾値として特定画像７１１を含む矩形領域を探索して特定画像７１１の輪郭を構成する任意の点を検出し、当該点を起点として周囲の画素値を閾値判定することで特定画像の輪郭を検出する。

このように、命令生成部２２２が非矩形ウィンドウのウィンドウ形状を取得するので、例えば第１のウィンドウ７１１が非矩形ウィンドウであっても、第２のウィンドウ７２１と合成して表示させることができる。なお、本実施例においては、情報取得部２２１が非矩形ウィンドウ７１１のウィンドウ形状を取得するものとして説明するが、ウィンドウ生成部１０が第１の記憶部ＶＲＡＭ１３１にアクセスして非矩形ウィンドウの形状又は非矩形ウィンドウの形状を得るための情報を取得し、これを、ＡＰＭ１２を介してＡＰＭ２２に通知するものとしてもよい。以下、本発明の実施例について詳細に説明する。

図３は、本発明の実施例にかかる画像表示装置の詳細を示す図である。図３に示すように、画像表示装置１００は、ＭＰＵ（Micro Processor Unit）６、ＬＣＤ（Liquid Cristal Display）４、及びＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）５を有する。ＭＰＵ４は、制御装置としての処理部１、２を有し、各処理部１、２には、ＯＳ１１、１２、ＡＰＭ１２、２２、描画システム１０１、２０１、ＧＵＩアプリケーション１０２及び１０３、２０２及び２０３がインストールされている。描画システムとＧＵＩアプリケーションから上述のウィンドウ生成部が構成される。

上述したように、ＯＳ１は、例えばμＩＴＲＯＮ等の制御系のＯＳであり、独自描画システム１０１を搭載し、さらにＬＣＤスピードメータなどの車両連携アプリケーションとしてＧＵＩアプリケーション１０２、１０３を搭載している。また、ＯＳ２は、描画システム２０１としてＸｗｉｎｄｏｗｓｙｓｔｅｍ等を搭載したＵＮＩＸ（登録商標）などの情報系ＯＳであり、マルチメディアアプリケーション（ＡＶＮ、ブラウザ等）をＧＵＩアプリケーション２０２、２０３として搭載している。

さらに、画像表示装置１００は、ＶＲＡＭ５１が割り当てられるＨＷレイヤ７１、ＶＲＡＭ５２が割り当てられるＨＷレイヤ７２など、複数のＨＷレイヤを有する。ＬＣＤＣ２０がこれらを合成して表示画面４１を生成し、ＬＣＤ４に表示する。ここで、本実施例においては、各ＯＳ上で起動する描画システム１０１、２０１には、少なくとも１つのＨＷレイヤが他の描画システムとは排他的に割り当てられている。つまり、描画システム１０１、２０１はＨＷレイヤを共有しない。本例においては、描画システム１０１がＶＲＡＭ５１にアクセスし、これに割り当てられたＨＷレイヤ７１を使用する。描画システム２０１はＶＲＡＭ５２にアクセスし、これに割り当てられたＨＷレイヤ７２を使用する。ＧＵＩアプリケーション１０２、１０３は、描画システム１０１を使用してＨＷレイヤ７１に所望のウィンドウを描画する。ＧＵＩアプリケーション２０２、２０３は、描画システム２０１を使用してＨＷレイヤ７２に所望のウィンドウを描画する。

この画像表示装置１００は、複数のＯＳ１１、２１から共有されるディスプレイＬＣＤ４にアクセスする（組込み）システムである。各ＯＳ１１、２１にＡＰＭ１２、２２が配置されている。このＡＰＭは、マスタとスレーブとを有するマスタ−スレーブ方式とすることができる。この場合、マスタＡＰＭは、ＧＵＩアプリケーションにより配置されるウィンドウ配置情報（基底ウィンドウ報、優先度、背景情報など）を一括管理する。

また、各ＯＳ１１、２１上のＡＰＭ１２、２２が互いに通信可能に構成されている。マスタＡＰＭは、ウィンドウ配置情報を基に全ＯＳ１１、２１の描画システム１０１、２０１に、必要に応じてウィンドウの配置命令を出すことができる。ウィンドウ配置命令は、後述するように、例えば、タッチパネルの操作時において優先度を変更する場合又はフォーカスの移動する場合などに出される。なお、マスタ−スレーブ方式とせず、各ＡＰＭが配置命令を個別に出すものとしてもよい。描画システム１０１、２０１は、ＡＰＭで管理している透過ウィンドウを、受信した配置命令に基づいて重ね合わせる。

ＡＰＭをマスタ−スレーブ方式にした場合は、以下のように動作する。先ず、いずれかのＯＳにＡＰＭのマスタを配置し、その他のＯＳにはＡＰＭスレーブを配置する。ＡＰＭマスタは、全ウィンドウの制御及び管理を行う。本例では、ＯＳ２１にＡＰＭマスタが配置され、ＯＳ１１にＡＰＭスレーブが配置されているものとして説明する。ＡＰＭスレーブ１２は、主にＡＰＭマスタ２２と描画システム１０１との間の通信を行う。ＡＰＭマスタ２２は全ウィンドウのウィンドウ配置情報（ウィンドウの枠情報、優先度、及び背景情報）を有する。新たなウィンドウの生成や、ウィンドウの優先度の変更があると、ＡＰＭマスタ２２が管理する全ウィンドウ配置情報が更新される。この際、ＡＰＭマスタ２２は、ＡＰＭスレーブ１２からＡＰ１０２、ＡＰ１０３のウィンドウ配置情報を取得する。また、ＡＰ２０２、ＡＰ２０３のウィンドウ配置情報は、ＡＰ２０２、ＡＰ２０３から直接取得する。ＡＰＭマスタ２２は更新された全ウィンドウ配置情報を基に、透過ウィンドウを生成する。なお、ＡＰＭマスタ２２は、必要に応じて、例えばウィンドウ配置情報を更新するタイミングで全ＯＳの描画システム１０１、２０１にウィンドウの配置命令を出力してもよい。描画システム２０１は、ＡＰＭ２２を介してＡＰＭ１２からの配置命令を受け取ることができる。

図４は、本実施例にかかる画像表示装置の動作を示すシーケンス図である。図５は、ウィンドウ制御方法を説明するための図である。以下では、ＡＰＭをマスタ−スレーブ方式とし、異なるＨＷレイヤに描画されるウィンドウを合成して表示する処理について具体的に説明する。上述したように、各ＯＳにＡＰＭを配置し、ＯＳ２１に配置されるＡＰＭマスタ２２で全ＧＵＩアプリケーションが使用するウィンドウ配置情報の管理を一括で行う。ウィンドウ配置情報は、ウィンドウが矩形ウィンドウであれば、ウィンドウの枠情報及び優先度である。また、ウィンドウが非矩形形状であれば、基底ウィンドウ情報、背景情報及び優先度などである。なお、必要に応じて優先度を書きかえる等のウィンドウ配置情報の制御を行うことも可能である。ＡＰＭマスタ２２は、ハードディスク等の記憶手段を利用してウィンドウ配置情報を管理する。

ＡＰＭマスタ２２は、各々のＯＳ上で動作する全ＧＵＩアプリケーションが有するウィンドウの配置情報、優先度情報などのウィンドウ配置情報をＧＵＩアプリケーションから取得し、保有する。ＡＰＭマスタ２２は、ＡＰでウィンドウが生成されたタイミング、又はウィンドウが破棄されたタイミング等で、ウィンドウ配置情報を更新する。

Ｚ軸制御に関しては、各描画システム１０１、２０１が保有するウィンドウに優先度（表示優先度）を設定し、優先度の高低でウィンドウの重ね合わせを決定する。図５に示す例では、矩形以外のウィンドウを有するアプリケーション１０２及びそれを描画する描画システム１０１が動作するＯＳをＯＳ１１とする。また、矩形ウィンドウ７２１、７２２を生成するＧＵＩアプリケーション２０２、２０３及び描画システム２０１を有するＯＳをＯＳ２１とする。ＨＷレイヤ７１に描画されるウィンドウ７１１は、ＡＰＭ１２により配置命令が生成される。ＨＷレイヤ７２に描画されるウィンドウ７２１、７２２、７２５は、ＡＰＭ２２により配置命令が生成される。ここでは、ＨＷレイヤ７２がＨＷレイヤ７１の上面に配置され、ウィンドウの表示優先度は、矩形ウィンドウ７２１（表示優先度１５）＞非矩形ウィンドウ７１１（表示優先度１０）＞矩形ウィンドウ７２２（表示優先度５）となっている。以下では、非矩形ウィンドウ７１１をＨＷレイヤ７１に配置する場合の動作について説明する。ウィンドウ７２１、７２２、７１１は、それぞれＡＰ２０２、２０３、１０２によって表示要求が出されるウィンドウとする。

まず、ＯＳ１でＡＰ１０２を起動させる（ステップＳ１）。ＡＰ１０２は、ＡＰＭスレーブ１２に対して優先度１０でウィンドウ７１１の表示を要求する（ステップＳ２）。すると、ＡＰＭスレーブ１２は、優先度１０でウィンドウ７１１の表示要求が出されていることをＯＳ間通信によりＡＰＭマスタ２２に通知する（ステップＳ３）。ＡＰＭマスタ２２は、ウィンドウ７１１のウィンドウ配置情報から、当該ウィンドウが非矩形情報であることを検知する。

本実施例においては、ＯＳ１１側で動作するアプリケーションのウィンドウ生成時に、ＯＳ１１側のＡＰＭ２２はウィンドウの種類により最適な境界区分を選択できる。ＡＰ１０２は、ＡＰＭ２２に境界区分を通知する。ＡＰ１０２は、矩形ウィンドウのときは、矩形を、非矩形形状のウィンドウのときは、ビットマップを境界区分として選択する。ＡＰＭ２２が境界区分として矩形を受け取った場合、後述するスナップショット取得処理は行わない。この場合、ＡＰ１０２は、矩形の左上端の座標と幅／高さ情報を境界データとしてＡＰＭ２２に通知する。これにより、ＡＰＭ２２は、該当矩形領域が下のＨＷレイヤ７１の表示を透過する透過ウィンドウを生成することができる。

なお、本実施の形態のように、上位レイヤであるＨＷレイヤ７２を管理するＡＰＭ２２がマスタとなって透過ウィンドウの制御を行えば、他方のＨＷレイヤに対する配置命令を生成する必要がなく、システムを簡易に構成することができる。この場合、ＡＰＭスレーブ１２は、同時の描画処理を実施した後、ウィンドウ配置情報をＡＰＭマスタ２２に送付するものとしてもよい。この場合、ＡＰＭマスタは、送付されたウィンドウ配置情報に応じて透過ウィンドウの生成又は削除を行うものとすることができる。

ＡＰＭ２２は、境界区分としてビットマップを受け取った場合、非矩形ウィンドウ７１１の形状を取得するための情報をＡＰ１０２から取得する。具体的には、ＡＰＭ２２は、非矩形ウィンドウを含む矩形（基底ウィンドウ）７１５の矩形情報と、非矩形ウィンドウの形状を取得するための補助情報とをＡＰ１０２から受け取る。また、ＡＰＭ１２は、非矩形ウィンドウ７１１のスナップショット(ビットマップデータ)を撮り、共有メモリ１３３に保存する。共有メモリ１３３は、描画システム１０１、２０１からアクセス可能なメモリである。基底ウィンドウは、非矩形ウィンドウの外枠となる矩形情報である。補助情報としては、例えば、基底ウィンドウ内であって非矩形ウィンドウ以外の領域の色を示す背景色情報がある。この背景色情報を閾値としウィンドウ形状を検出することができる。さらに、補助情報としては、背景色情報の他に透過率（アルファブレンド値）を選択することができる。通常透過率は、非透過の値の±１（限りなく非透過）の値を選択する。

本実施例においては、ウィンドウ７１１のウィンドウ配置情報として、優先度＝１０、閾値＝１２５の情報と、基底ウィンドウの配置位置及び大きさ（画面左端からの距離ｌｅｆｔ＝１００、画面最上端からの距離２００、ウィンドウの幅＝１５０、ウィンドウの高さ＝１５０）を有している。

以上の結果を基に、基底ウィンドウ７１５内のビットマップデータをスナップショットとして抽出する。なお、基底ウィンドウ７１５内に他の優先度の低いウィンドウがあった場合、ＡＰＭ１２の情報を基に、そのウィンドウが存在する領域を、閾値の色や透過率で書き換えた形でスナップショットを抽出することも可能である。ＯＳ２１側のＡＰＭ２２は、スナップショットデータを境界データ（非矩形ウィンドウの輪郭情報）に変換し、保存する（ステップＳ４）。

次に、ＡＰＭマスタ２２は、ウィンドウ７１１のウィンドウ配置情報により、ウィンドウ配置情報を更新する（ステップＳ５）。ＡＰＭ２２は、ＨＷレイヤ７１の上にＨＷレイヤ７２が位置することから、ウィンドウ７１１の透過ウィンドウ７２５が必要になると判断することができる。本実施例においては、ウィンドウ７１１は、ウィンドウ７２１とウィンドウ７２２に挟まれている。なお、ウィンドウ７１１の基底ウィンドウがウィンドウ７２１、７２２に重複し、かつ優先度もこれらのウィンドウより小さい場合は、上記タイミングで非矩形ウィンドウの境界データを取得しなくてもよい。

ＡＰＭスレーブ１２は、ウィンドウ７１１の生成を描画システム１０１に指示する（ステップＳ６）。一方、ＡＰＭマスタ２２は、上述の境界データを基に透過ウィンドウ７２５を作成する（ステップＳ７）。

次に、ＡＰＭマスタ２２は、ウィンドウ配置情報を基に描画システム２０１に対し、ウィンドウの再配置を行うよう指示する。新たなウィンドウが加わったり、ウィンドウの表示順序が変更になるなどがあればウィンドウの配置を更新する。ＡＰＭマスタ２２は、また配置情報に基づきウィンドウの再配置要求をＡＰＭスレーブ１２に送信する（ステップＳ９）。ＡＰＭスレーブ１２は、これに基づき描画システム１０１にウィンドウの再配置を命令する（ステップＳ１０）。描画システム１０１は、必要に応じてウィンドウの表示順序等を変更する。最後に、ＡＰＭスレーブ１２の指示により、描画システム１０１がウィンドウ７１１を含むＨＷレイヤ７１のウィンドウを表示させる（ステップＳ１１）。また、ＡＰＭマスタ２２の指示により、描画システム２０１が透過ウィンドウ７２５を含むＨＷレイヤ７２のウィンドウを表示する（ステップＳ１２）。

こうしてＡＰＭマスタ２２の配置命令に従って生成されたＨＷレイヤ７１、７２がＬＣＤＣ３により合成される。そのＬＣＤ表示画面４１には、ウィンドウ７１１、ウィンドウ７１２と、ウィンドウ７２２内に透過ウィンドウを介してウィンドウ７２２が表示されることになる（図５参照）。

ここで、ＯＳ１１側のウィンドウ７１１を移動した場合、ＡＰＭ間通信を行い、差分情報をＡＰＭマスタ２２に通知する。差分情報及び境界データを基にＡＰＭマスタ２２は、透過ウィンドウ及び境界データ値の修正を行う。例えば、非矩形ウィンドウ７１１が２ドット左に移動する場合、ＡＰＭマスタ２２は、境界データと差分情報を基に計算し、透過ウィンドウ７２５として扱う領域及び境界データの修正を行えばよい。

また、ウィンドウ生成時に、同一描画システム内に優先度が高いウィンドウがあり、ウィンドウ領域の一部が隠れてしまう場合、生成中のウィンドウは、一時的にＶＲＡＭ内のＨＷレイヤに割り当てられていない領域（以下、退避領域７０という）に非矩形ウィドウを移動し、スナップショットの抽出を行う。ウィンドウ生成時のスナップショット抽出後は、自由に上記の背景色や透過率を変えることが可能である。ウィンドウの一部が他のウィンドウで隠れてしまう場合であっても、非矩形の場合は、当該非矩形ウィンドウの形状を抽出しておく。このことで、当該非矩形ウィンドウが移動して、全体が露出されるような場合であっても、再度非矩形ウィンドウの形状情報を取得することなく処理を行うことができる。

さらに、ＡＰＭマスタ２２は、共有メモリ１３３に蓄えられたスナップショット情報から境界追跡を行い、境界データを抽出しＯＳ２１側のメモリＶＲＡＭ５２に保存する。スナップショット抽出及びＯＳ２１側の境界追跡処理は、基本的にウィンドウ生成時だけ必要である。その後は差分情報だけ取り扱うようにすることにより、システムに対して負担をかけない。

図６は、スナップショットデータから境界データに変換する方法を説明する図である。境界データは、規定ウィンドウの左上端を起点とした相対座標で表現する。Ｘ軸は右方向、Ｙ軸は下方向にいくほど値が大きくなるものとする。上述の例では、ＡＰＭマスタ２２は、透過ウィンドウ７２５として扱う領域を、境界データを基に計算し、ディスプレイに表示する。境界データは、例えばＹ＝０〜６についてＸ＝（最左端、最右端）で表現することができる。

ここで、境界データからの透過ウィンドウ７２５の抽出処理には複雑なアルゴリズムを使用しないため、高速な透過ウィンドウ７２５の描画が可能である。ＯＳ１１側のアプリケーションが移動した場合には、差分情報のみがＯＳ２１側に送られる。

次に、境界データを抽出する他の方法について説明する。図７は、非矩形ウィンドウの境界データを抽出する方法を説明する図である。図７（ａ）に示すように、命令生成部２２２は、特定画像８０２を含む基底ウィンドウ８０１の上下左右方向から、背景情報（背景値）を閾値として各画素値が背景値であるか否かの判定を行うことで、特定画像８０２の輪郭を検出する。例えば、命令生成部２２２は、最左側一列について、各画素が背景値に一致するか否かを判定する。本例においては、上端から一致判定していくと、画素８１１のみ、当該画素値が背景値と異なることが検出され、当該画素８１１が輪郭であることが検出される。次に、反対側の最右列について、各画素が背景値に一致するかを判定する。本例では、画素８１２のみが背景値と一致し、画素８１２が輪郭であることが検出される。さらに、上端の一列について、各画素が背景値に一致するかを判定すると、画素８１３が検出される。最後に、最下端の一列について、各画素が背景値に一致するかを判定すると、画素８１４、８１５の２点が検出される。以上を繰り返すことで、特定画像８０２の境界データを検出することができる。なお、いずれの列から一致判定してもよい。

または、図７（ｂ）に示すように、命令生成部２２２は、背景情報を閾値として特定画像８２２を含む基底ウィンドウ８２１内を探索して特定画像８２１の輪郭を構成する任意の点８３１を検出する。そして、命令生成部２２２は、当該点８３１を起点として周囲の画素値を閾値判定することで特定画像８２２の輪郭を検出することができる。例えば、基底ウィンドウの中心を通る水平方向、垂直方向の各一列について調べることで、基底ウィンドウ内の輪郭を何点か起点として検出する。なお、本例では、水平方向の画素値を背景値と比較することで、起点８３１〜８３４を検出し、これらの起点８３１〜８３４の周囲（例えば８近傍）の画素値を背景値と比較し、輪郭が再度検出されたら、さらにその８近傍の画素値を背景値と比較するなどすればよい。

本実施例においては、複数のＯＳの描画システムがそれぞれのＨＷレイヤに描画するウィンドウを、透過ウィンドウを使用して重ね合わせることができる。この場合、基底ウィンドウ及び背景情報を使用して、透過ウィンドウを生成するため、情報のやりとりが少なくてよい。また、非矩形ウィンドウやウィンドウの一部が透過している場合でも、共有メモリ１３３を用いたスナップショット抽出方法及び境界データを用いた描画処理により、システムに負担をかけず各ＯＳの特長を生かした描画が可能になる。この機能は、組込み系のＧＵＩシステム等で特に効果を発揮する。

なお、本発明は上述した実施例のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施例では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

参照例にかかる画像表示装置を示す概略図である。本発明の実施例にかかる画像表示装置を示す概略図である。本発明の実施例にかかる画像表示装置の詳細を示す図である。本発明の実施例にかかる画像表示装置の動作を示すシーケンス図である。本発明の実施例におけるウィンドウ制御方法を説明するための図である。スナップショットデータから境界データに変換する方法を説明する図である。非矩形ウィンドウの境界データを抽出する方法を説明する図である。

符号の説明

１０ウィンドウ生成部
１１、２１ＯＳ
１２、２２ＡＰＭ
１０１、２０１描画システム
１０２、２０２アプリケーション
２０ウィンドウ生成部
４１表示画面
７０退避領域
７１、７２ＨＷレイヤ
１００画像表示装置
１２１情報取得部
１２２配置命令生成部
１３３共有メモリ
７１１、７１２、７１５、７２１、７２２、７２５ウィンドウ

Claims

合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる管理部を有し、
前記管理部は、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させる画像表示システム。
前記管理部は、
合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得する情報取得部と、
第１の表示レイヤが第２の表示レイヤより表示順位が低く、前記特定画像の形状が非矩形形状である場合において、前記配置情報及び前記表示優先情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１のレイヤに描画される画像を前記特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる命令生成部と、
を含む請求項１記載の画像表示システム。
前記管理部は、前記配置情報及び前記表示優先情報に基づき、前記第１の表示レイヤに描画される非矩形形状の第１画像であって、前記第２の表示レイヤに描画される第２画像と配置位置が重複し、その表示優先情報が前記第２画像の表示優先度より高い画像を前記特定画像として検出する
ことを特徴とする請求項１又は２記載の画像表示システム。
前記情報取得部は、前記特定画像の形状が非矩形形状である場合、当該特定画像を含む矩形情報、及び当該特定画像と他の領域とを識別するための背景情報を、前記画像情報として取得する
ことを特徴とする請求項２又は３記載の画像表示システム。
前記命令生成部は、前記背景情報を閾値として前記特定画像の輪郭を検出する
ことを特徴とする請求項４項記載の画像表示システム。
前記命令生成部は、前記特定画像を含む矩形領域の上下左右から前記背景情報を閾値として各画素値が背景であるか否かを判定することで、前記特定画像の輪郭を検出する
ことを特徴とする請求項５項記載の画像表示システム。
前記命令生成部は、前記背景情報を閾値として前記特定画像を含む矩形領域を探索して前記特定画像の輪郭を構成する任意の点を検出し、当該点を起点として周囲の画素値を閾値判定することで前記特定画像の輪郭を検出する
ことを特徴とする請求項５項記載の画像表示システム。
前記複数の表示レイヤを、予め決められた表示順位に従って合成し、表示部に表示する単一の画面情報を生成する合成部を更に含む
ことを特徴とする請求項１乃至７のいずれか１項記載の画像表示システム。
前記透過画像は、生成される当該表示レイヤの該当箇所の画像情報を消去する情報であること、又は透過ビットが設定された画像情報である
ことを特徴とする請求項１乃至８のいずれか１項記載の画像表示システム。
前記第１及び第２のレイヤに表示する画像をそれぞれ管理する第１及び第２の管理部を有し、前記第１及び第２の管理部は、それぞれ異なるＯＳ上で動作する
ことを特徴とする請求項１乃至９のいずれか１項記載の画像表示システム。
前記第１及び第２の管理部に対応して設けられ、当該第１及び第２の管理部が生成した命令に従って前記第１及び第２の表示レイヤに画像を描画する第１及び第２の画像生成部を有し、前記第１及び第２の画像生成部は、それぞれ異なるＯＳ上で動作する
ことを特徴とする請求項１０記載の画像表示システム。
前記表示レイヤに描画される画像はウィンドウである
ことを特徴とする請求項１乃至１１のいずれか１項記載の画像表示システム。
所定の動作をコンピュータに実行させるためのプログラムであって、
合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる管理工程を有し、
前記管理工程では、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させるプログラム。
前記管理工程は、
合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得する情報取得工程と、
第１の表示レイヤが第２の表示レイヤより表示順位が低く、前記特定画像の形状が非矩形形状である場合において、前記配置情報及び前記表示優先情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１のレイヤに描画される画像を前記特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる命令生成工程とを含む
ことを特徴とする請求項１３記載のプログラム。
前記管理工程では、前記配置情報及び前記表示優先情報に基づき、前記第１の表示レイヤに描画される非矩形形状の第１画像であって、前記第２の表示レイヤに描画される第２画像と配置位置が重複し、その表示優先情報が前記第２画像の表示優先度より高い画像を前記特定画像として検出する
ことを特徴とする請求項１４記載のプログラム。
前記情報取得工程では、前記特定画像の形状が非矩形形状である場合、当該特定画像を含む矩形情報、及び当該特定画像と他の領域とを識別するための背景情報を、前記画像情報として取得する
ことを特徴とする請求項１３又は１５記載のプログラム。
前記命令生成工程では、前記背景情報を閾値として前記特定画像の輪郭を検出する
ことを特徴とする請求項１６項記載のプログラム。
合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる管理工程を有し、
前記管理工程では、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させる画像表示方法。
前記管理工程は、
合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得する情報取得工程と、
第１の表示レイヤが第２の表示レイヤより表示順位が低く、前記特定画像の形状が非矩形形状である場合において、前記配置情報及び前記表示優先情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１のレイヤに描画される画像を前記特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる命令生成工程とを含む
ことを特徴とする請求項１８記載の画像表示方法。
前記管理工程では、前記配置情報及び前記表示優先情報に基づき、前記第１の表示レイヤに描画される非矩形形状の第１画像であって、前記第２の表示レイヤに描画される第２画像と配置位置が重複し、その表示優先情報が前記第２画像の表示優先度より高い画像を前記特定画像として検出する
ことを特徴とする請求項１９記載の画像表示方法。
前記情報取得工程では、前記特定画像の形状が非矩形形状である場合、当該特定画像を含む矩形情報、及び当該特定画像と他の領域とを識別するための背景情報を、前記画像情報として取得する
ことを特徴とする請求項１８又は１９記載の画像表示方法。
前記命令生成工程では、前記背景情報を閾値として前記特定画像の輪郭を検出する
ことを特徴とする請求項２１項記載の画像表示方法。