JP2010060623A - マルチ画像表示システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の表示装置を有するシステムにおいて、表示装置毎に同一のアプリケーションと表示装置毎に異なるアプリケーションを複数実行表示させたマルチ画像表示システム、画像処理方法及びプログラムを提供すること。
【解決手段】本発明にかかるマルチ画像表示システムは、複数の表示装置に対応する領域に分割された複数の表示レイヤに対して配置される画像の管理を行う管理部２０１と、前記管理部２０１の命令に応じて、画像の配置処理を実行する描画処理部２０２を備える。当該描画処理部２０２は、各画像に対応する描画バッファに格納された複数の画像を、ソフトウェア的に合成し、ある表示レイヤに割り当てられている単一のフレームバッファ上に出力するソフトウェア合成手段２０２１と、各画像に対応する描画バッファを複数の表示レイヤに割り当て、ハードウェアの機能を利用して前記画像の重ね合わせを行うハードウェア合成手段２０２２とを有する。
【選択図】図１

Description

本発明は、マルチ画像表示システム、画像処理方法及びプログラムに関する。

リアシートエンタテイメントを特長としたカーナビゲーションシステム(以下カーナビ)等の組み込み機器上で、マルチプロセスをサポートしたＯＳ（Operating System）やＸｗｉｎｄｏｗｓｙｓｔｅｍのようなウィンドウシステムを用いて、さらにウィンドウシステムが持つ仮想空間をモニタ毎(フロントモニタ、リアモニタ1、リアモニタ２・・・)に分割を行ったり、スクリーンの概念を用いることにより、完全なマルチシーケンスを実現することが可能になった。

これらの機能は、組み込み向けＭＰＵ（Micro Processing Unit）のマルチコア化やＯＳＤ（On Screen Display）機能又はオーバーレイ機能を搭載したＬＣＤＣ（Liquid Cristal Display Controller）が組み込み向けＭＰＵに内蔵されるという技術の進歩で、非常に安価で実現することが可能となっている。その一方で、現状の組み込み向けＣＰＵ（Central Processing Unit）は、省電力性や温度保証による制限からクロック数を上げることは難しく、マルチコア化することでパフォーマンスを上げている。

しかしながら、例えばカーナビ内蔵の地上波デジタルチューナーのように外部デバイスが一つしかないような場合には、複数のモニタから入出力を共有したい場合があり、このような場合に遅延等の問題を発生させることなく共有する手段がなかった。また、走行規制等でフロントモニタとリアモニタで異なる表示をする必要があり、これらの対応をする必要があった。

一般的なカーナビでは、フロントモニタとリアモニタで全く同じ表示、または多少異なる表示を行うことが可能であった。しかしながら、それらは単一のアプリケーション内で実現されており、ＰＣ（Personal Computer）のようなマルチウィンドウシステムを持った組み込み端末では実現手段がなかった。

一部のカーナビでは、フロントモニタとリアモニタで異なるアプリケーション（カーナビ、テレビ、ＤＶＤ等）を実行可能なものが存在する。ただ、この場合は、各アプリケーション用に専用のプロセッサーを搭載し、専用プロセッサーからの映像出力をＯＳＤの機能等を用いてハードウエア的に切り替える形式であり、本発明が対象とするマルチ画像表示システムとは異なる。このカーナビの場合、全画面表示される映像出力を切り替える形式が主であり、モニタ毎に同一のアプリケーションを異なる状態および座標位置で、独立させて動作させることや、モニタ毎に異なる複数のアプリケーションを同時実行させることが困難であった。

一方、ＰＣの世界では、ネットワーク接続により各ＰＣのデスクトップ上で、共有アプリケーションを実現することが可能である。しかし、同じような考え方を組み込み機器に適用する場合、モニタ毎に独立した組み込み機器（例えば、フロントモニタ用にはネットワーク対応のカーナビ、一又は複数のリアモニタ用には、専用のネットワーク機能付き小型コンピュータ）を用意しなければならず、コスト面で問題がある（例えば、特許文献１参照）。また、地上波デジタル放送のようなハイビジョンの動画映像をネットワーク経由で共有すると、遅延やコマ落ちが発生しやすく、リアルタイム性が重視される組み込み端末では実現が難しい。特に、車載組み込み向け機器のＣＰＵクロックは、ＰＣの１／４〜１／５程であり、ＰＣと同等のパフォーマンスは望めない。

また、特許文献２、３には、画像合成技術が開示されているが１つのモニタに表示するための技術であり、複数のモニタに表示するための技術ではない。
特開２００６−１７７６７７号公報 特開２００７−２３３８０２号公報 特開平０８−３１４６７３号公報

背景技術として説明したように、複数のモニタを有する単一の組み込み向け機器では、モニタ毎に同一のアプリケーションとモニタ毎に異なるアプリケーションを複数実行表示させることが困難であるという問題点があった。

本発明の目的は、上述した課題である複数の表示装置を有するシステムにおいて、表示装置毎に同一のアプリケーションと表示装置毎に異なるアプリケーションを複数実行表示させたマルチ画像表示システム、画像処理方法及びプログラムを提供することにある。

本発明にかかるマルチ画像表示システムは、複数の表示装置のそれぞれに対応する領域に分割された複数の表示レイヤに対して配置される画像の管理を行う管理部と、前記管理部からの命令に応じて、画像の配置処理を実行する描画処理部とを備え、当該描画処理部は、各画像に対応する描画バッファに格納された複数の画像を、ソフトウェア的に合成し、ある表示レイヤに割り当てられている単一のフレームバッファ上に出力するソフトウェア合成手段と、各画像に対応する描画バッファを複数の表示レイヤに割り当て、ハードウェアの機能を利用して前記画像の重ね合わせを行うハードウェア合成手段とを有するものである。

本発明により、複数の表示装置を有するシステムにおいて、表示装置毎に同一のアプリケーションと表示装置毎に異なるアプリケーションを複数実行表示させたマルチ画像表示システム、画像処理方法及びプログラムを提供することができる。

以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
図１は、本発明の実施の形態にかかるマルチ画像表示システムの概略図である。
マルチ画像表示システム１は、管理部２０１、画像処理部２０２、表示装置２０３、２０４を有する。

管理部２０１は、複数の表示レイヤに対して配置される画像の配置情報、重ね合わせ情報を管理する。ここで、表示レイヤは、表示装置２０３、２０４に対応するように領域を分割されている。管理部２０１は、画像の配置情報、重ね合わせ情報を基に描画処理部２０２に画像の再配置命令を送信する。

描画処理部２０２は、管理部２０１から受信した再配置命令に基づいて、表示レイヤに対して画像の生成又は配置変更等の再配置処理を実行する。また、該描画処理部２０２は、各画像に対応する描画バッファに格納された複数の画像を、ソフトウェア的に合成し、ある表示レイヤに割り当てられている単一のフレームバッファ上に出力するソフトウェア合成手段と、各画像に対応する描画バッファを複数の表示レイヤに割り当て、ハードウェアの機能（ＯＳＤ）を利用して前記画像の重ね合わせを行うハードウェア合成手段とを有する。

該ソフトウェア合成手段もしくは該ハードウェア合成手段により複数の画像を合成し、表示装置２０３、２０４に表示することができる。
なお、本発明は複数の表示装置を有するマルチ画像表示システムに適用でき、表示装置の数は本実施の形態において例示した数に限られない。

図２は、本発明の実施の形態にかかるマルチ画像表示システムの詳細を示す図である。本実施の形態では、複数のタッチパネル付き表示装置を接続可能な車載コンピュータを想定する。この車載コンピュータは、表示装置毎に異なる複数のＧＵＩ（Graphical User Interface）アプリケーションを独立させることが可能である。ＵＮＩＸ（登録商標）サーバーとＸ端末のシステムに似ているが、本実施の形態では単一の高性能マルチコアＣＰＵのみで同様の機能を実現可能である。

図２は、本発明の実施の形態にかかるマルチ画像表示システムの詳細を示す図である。マルチ画像表示システム１は、ＭＰＵ２、ＬＣＤ（Liquid Cristal Display）６、７、ＬＣＤＣ４、５及び外部ＲＡＭ８を有する。ＭＰＵ２は、ＣＰＵ等からなる処理部３を有する。処理部３は、ＯＳ１０がインストールされている。ＯＳ１０は、ＡＰＭ（Application Manager）２０、描画システム３０、ＧＵＩアプリケーション１００、１０１、１０２を有する。
ＡＰＭ２０は、管理部として機能し、描画システム３０とＬＣＤＣ４、５は、描画処理部として機能する。

ＬＣＤＣ４、５は、複数のＨＷレイヤを割り当て可能なＬＣＤコントローラである。該ＨＷレイヤは、表示レイヤとして機能する。ＬＣＤＣ６、７は、複数のＨＷレイヤに割り当てられたバッファの表示情報をハードウェアで合成（後述するハードウェア合成）して、ＲＧＢ信号としてＬＣＤ６、７に出力する。ＬＣＤ６、７は、表示装置として機能する。
なお、単一のＬＣＤＣで複数の表示装置に対応したものであってもよいが、本実施の形態では複数のＬＣＤＣ６，７を有する形態について記載する。本実施の形態では、ＬＣＤ６、７をそれぞれ車載コンピュータのフロントモニタとリアモニタとして使用することを想定する。
また、本発明は複数のＬＣＤＣ及びＬＣＤを有するマルチ画像表示システムに適用でき、ＬＣＤＣ、ＬＣＤの数は本実施の形態において例示した数に限られない。

ＯＳ１０は、ＵＮＩＸ（登録商標）等のＯＳ１０であり、マルチメディアアプリケーション（カーナビゲーション、ＣＤ＆ＤＶＤプレーヤー、デジタルテレビ放送、インターネットブラウザ、ゲーム等）をＧＵＩアプリケーション１００、１０１、１０２として有している。

ＡＰＭ２０は、特願２００７−３３４８５４に記載されたＡＰＭを単一ＯＳでも使用可能にしたものであり、一つのＡＰＭで複数のＨＷレイヤを管理可能となったものである。ＧＵＩアプリケーション１００、１０１、１０２が配置するウィンドウの配置情報、重ね合わせ情報を管理する。ＡＰＭ２０は、ＧＵＩアプリケーションの配置情報、重ね合わせ情報を基に描画システム３０にＧＵＩアプリケーションの再配置命令を送信する。

描画システム３０は、透過ウィンドウをサポートしたＸｗｉｎｄｏｗｓｙｓｔｅｍ等のウィンドウシステムであり、透過ウィンドウを描画することが可能である。描画システム３０は、ＡＰＭ２０から受信した再配置命令に基づいてＧＵＩアプリケーションのウィンドウ及び透過ウィンドウの再配置処理（ウィンドウの生成、配置変更等）を行う。ここで、透過ウィンドウとは、自身を透過し、下のＨＷレイヤに表示された画像を透過して表示するものをいう。

続いて、本実施の形態にかかるマルチ画像表示システムにおける画像合成処理について説明する。
本実施の形態におけるマルチ画像表示システムは、ＬＣＤ６、７毎に独立して動作するＧＵＩアプリケーションである独立アプリケーションと、各ＬＣＤ６、７からのタッチイベント等の入力イベント及び画像出力機能が共有されるＧＵＩアプリケーションである共有アプリケーションを有する。

独立アプリケーションは、１つのＬＣＤのみに表示可能なウィンドウである個別表示ウィンドウを有することができる。
共通アプリケーションは、個別表示ウィンドウと、全ＬＣＤで共有あるいは指定されえたＬＣＤ以外の全ＬＣＤで共有可能なウィンドウである共通表示ウィンドウの両方を有することができる。また、各ウィンドウは、それぞれ同じ座標に配置、重ね合わせをすることも可能である。
なお、個別表示ウィンドウは一部を透過させることも可能である。
本実施の形態における各ウィンドウは、ハードウエア合成（ＨＷ合成）又はソフトウェア合成（ＳＷ合成）のいずれかの手法によって合成され、ＬＣＤ６、７に表示することができる。

図３に本発明の実施の形態にかかる共通表示ウィンドウのＨＷ合成を示す。
本実施の形態では、描画システム３０が有する仮想表示空間を２つに分割し、それぞれをフロントモニタとリアモニタに割り当てている。
描画システム３０及びＨＷ合成される共通表示ウィンドウは、描画用のバッファとして外部ＲＡＭ８内の領域を使用する。描画システム３０によって生成された各ウィンドウの描画データは、描画システム３０によって重ね合わせ処理が行われる前に、該バッファに格納される。

描画システム３０の使用するフレームバッファ８１及び共通表示ウィンドウ５２０が使用する描画バッファ８３は、ＨＷレイヤに割り当てられる。該バッファ８１、８３とＨＷレイヤの関連付けは、ＬＣＤＣ６、７のレジスタを制御することにより行われる。レジスタ設定パラメータとしては、該バッファ８１、８３の先頭アドレス、該バッファ８１、８３のサイズ（幅、高さ）、実際にＬＣＤ６、７への表示対象となる領域の情報（オフセット値、幅、高さ）、拡大率（ＨＷ合成時の全画面表示等に使用する）、ＨＷレイヤ全体としての透過率（これとは別にビット単位で透過率を設定することも可能である）等がある。
本実施の形態では、最も表示優先度の高いＨＷレイヤに描画システム３０用のフレームバッファ８１が割り当てられており、２番目以降のＨＷレイヤのそれぞれには、共通表示ウィンドウ毎に設けられたＨＷ合成される共通表示ウィンドウ用の描画バッファがそれぞれ割り当てられる。なお、本実施の形態では、２番目のＨＷレイヤに、共通表示ウィンドウ５２０の描画バッファ８３が割り当てられている。

図３のウィンドウ５１０、５１１は独立アプリケーションの個別表示ウィンドウである。共通表示ウィンドウ５２０の描画データは、ＨＷレイヤ２に割り当てられた描画バッファ８３に格納されている。また、共通アプリケーションは、一部を透過させた個別表示ウィンドウ５１３を有することができる。これにより、例えば操作ボタンのみで他の部分は透けている個別表示ウィンドウ５１３を有することができる。該個別表示ウィンドウ５１３の描画データは、共通表示ウィンドウ５２０と同様に描画バッファ８２に格納される。描画バッファ８２に格納された該個別表示ウィンドウ５１３の描画データは、フレームバッファ８１にコピーされ、ＨＷレイヤ１に該個別表示ウィンドウ５１３が生成される。

また、ＡＰＭ２０は、ＨＷレイヤ２に描画されるウィンドウ５２０を配置情報に基づいて、このウィンドウを表示させるための透過ウィンドウをＨＷレイヤ１に生成させる再配置命令を描画システム３０に通知する。この通知を受けた描画システム３０は、ＨＷレイヤ１に透過ウィンドウ５１２を生成する。

ＬＣＤＣ４、５は、これらのウィンドウが生成されたＨＷレイヤ１、２を画面合成することにより、ウィンドウを重ね合わせた画面を生成し、ＬＣＤ６、７に表示する。
カーナビナビゲーションアプリケーションのように、走行規制のため、走行中は運転席側のフロントモニタのメニュー等の一部の操作を伴う表示を非表示としたい場合は、上述のように一部が透過した個別表示ウィンドウと透過ウィンドウを使用して、ウィンドウの合成を行うことで実現が可能である。

図４に本発明の実施の形態にかかる共通表示ウィンドウのＳＷ合成を示す。
図４のウィンドウ６１０、６１１は独立アプリケーションの個別表示ウィンドウである。共通アプリケーションの共通表示ウィンドウ６２０及び個別表示ウィンドウ６１３の描画データは、前述と同様に描画バッファ８２、８３に格納される。各描画データは、フレームバッファ８１にコピーされ、描画システム３０であるＸｗｉｎｄｏｗｓｙｓｔｅｍ等が有する機能を用いることで、ウィンドウを重ね合わせ合わせた画面の生成を実現する。

本実施の形態にかかるマルチ画像表示システムは、上述したいずれかの合成手段でウィンドウを合成することで、ＬＣＤ６、７毎に独立して動作する独立アプリケーションと、各ＬＣＤ６、７への画像出力が共有される共有アプリケーションを混在させて、同時に実行表示することが可能となる。

また、ＨＷ合成においては、透過ウィンドウ又は一部が透過した個別表示ウィンドウを分割された仮想表示空間毎に異なる座標位置に配置させることにより、共通表示ウィンドウをＬＣＤ毎に異なる座標位置に表示することも可能である。ＳＷ合成においても、共通表示ウィンドウ及び一部が透過した個別表示ウィンドウを分割された仮想表示空間毎に異なる座標位置に配置することにより、共通表示ウィンドウをＬＣＤ毎に異なる座標位置に表示することが可能である

ここで、本実施の形態においては、独立アプリケーションの個別表示ウィンドウは、描画データを直接フレームバッファ８１に格納して表示してもよく、共通アプリケーションの個別表示ウィンドウと同様に一度描画バッファに格納し、その後フレームバッファ８１にコピーして表示してもよい。また、独立アプリケーションの個別表示ウィンドウを描画バッファに格納し、表示優先度が２番目以降のＨＷレイヤに割り当てて、ＨＷ合成して表示する実施の形態としてもよい。

図５に本発明の実施の形態にかかる共通表示ウィンドウの最大化表示及びアイコン化を示す。共通表示ウィンドウ７２０をアイコン化したい場合は、透過ウィンドウ又は一部が透過した個別表示ウィンドウを一時的に消去することにより、実現可能である。また、共通表示ウィンドウ７２０を最大化表示したい場合は、ＬＣＤＣの有するＯＳＤ機能を利用することで、高速にズーム表示させることが可能である。共通表示ウィンドウの最大化表示時のズームの有無は、アプリケーション毎に設定が可能である。

車載コンピュータには、ＣＤ＆ＤＶＤドライブ及びデジタルテレビ放送チューナーが内蔵されているが、どちらも一系統のみ有している場合は、ＣＤ＆ＤＶＤプレーヤーアプリケーション及びデジタルテレビ放送アプリケーションは、共通アプリケーションとして、全てのＬＣＤに入出力を共有される。この場合に、走行規制のため、走行中は運転席側のフロントモニタのみアイコン化をしたいときは、上述の方法により実現が可能である。

続いて、共通表示ウィンドウの合成優先度、及びＳＷ合成とＨＷ合成の切替処理について説明する。
共通表示ウィンドウ毎に、１６段階（０〜１５）の合成優先度が割り当てられている。合成優先度の設定は、アプリケーションからの専用のＡＰＩの呼び出し、又はＡＰＭが管理するデータベースやスクリプト等を使用して行う。データベースやスクリプトを使用した場合、各アプリケーションが意識せずに合成優先度の設定を行うことが可能となる。

合成優先度０（デフォールト値）の場合は、ＳＷ合成に割り当てられる。既存の汎用アプリケーションを共有化したい場合や、例えばボタン表示のみで他の領域は透過であるもの等の処理負荷の軽い共通表示ウィンドウを対象としている。
合成優先度１５の場合は、ＨＷ合成に割り当てられる。描画処理の負荷が非常に重い共通表示ウィンドウや外部の専用プロセッサー（テレビやＤＶＤのバックエンドチップ等）からの描画が必要とされる場合を対象としている。

合成優先度が１から１４の場合は、ＨＷ合成優先である。ＨＷレイヤに空きがある場合は、ＨＷ合成され、ＨＷレイヤに空きが無い場合は、ＳＷ合成される。
合成優先度の低い共通表示ウィンドウが、ＨＷ合成に割り当てられており、より合成優先度の高い共通表示ウィンドウが新規に作成され、ＨＷレイヤに空きが無い場合は、ＡＰＭは、ＨＷ合成されている合成優先度の低い共通表示ウィンドウを、自動的にＳＷ合成に切り替える。

図６に合成優先度の高い共有アプリケーションの共通表示ウィンドウを新規作成する場合の共通表示ウィンドウの切替処理の状態遷移図を示す。図７に、この場合のシーケンス図を示す。
図６（a）は、独立アプリケーションの個別表示ウィンドウ８１０と、透過ウィンドウ８１１を用いてＨＷ合成された共通アプリケーションの共通表示ウィンドウ８２０をＬＣＤに表示されている状態を示している。

この状態から、新たな共通アプリケーションが起動されると、該共通アプリケーションから描画システム３０に共通表示ウィンドウの生成要求が通知される（ステップＳ１）。これを受けた描画システム３０は、ＡＰＭ２０に共通表示ウィンドウの生成要求が通知される（ステップＳ２）。この通知により、該共通表示ウィンドウの配置情報及び描画バッファのアドレス情報（先頭アドレス、サイズ等）が、ＡＰＭ２０に通知される。

ここで、新たに生成される共通表示ウィンドウの合成優先度が、既に表示されている共通表示ウィンドウ８２０より高く、ＨＷレイヤに空きが無い場合は、共通表示ウィンドウ８２０のＳＷ合成による表示への切替処理を行うことで、ＨＷレイヤの空きをつくる。そのため、ＡＰＭ２０は、データベースに格納されている各ウィンドウの配置情報を参照、更新し、共通表示ウィンドウ８２０の表示を含むウィンドウ再配置命令を描画システム３０に通知する（ステップＳ３、Ｓ４）。

図６（b）は、該再配置命令を受けた描画システム３０が、ウィンドウの再配置処理を行った状態である（ステップＳ５）。ここでは、共通表示ウィンドウ８２０がＳＷ合成とＨＷ合成の両方の合成された表示を同時にＬＣＤに表示している。このように該切替処理時に、一時的に両方の合成表示を表示することにより、共通表示ウィンドウ８２０のちらつきを抑えることが可能である。
描画システム３０からウィンドウ再配置終了の通知を受けたＡＰＭ２０は、共通表示ウィンドウ８２０をＨＷレイヤ２から切り離す（ステップＳ６、Ｓ７）。その時の状態を図６(c)に示す。

次にＡＰＭ２０は、ＨＷレイヤ２を新たに表示される共通表示ウィンドウ８２１に割り当て、透過ウィンドウ８１３の作成を含むウィンドウ再配置命令を描画システム２０に通知する（ステップＳ８、Ｓ９）。該通知を受けた描画システム２０により透過ウィンドウ８１３が生成され、ＨＷ合成により共通表示ウィンドウ８２１がＬＣＤに表示される（Ｓ１０）。その時の状態を図６(d)に示す。
このように、ＡＰＭ３０が自動的に透過ウィンドウの生成を依頼することにより、新たに起動した共通アプリケーション側で該切替処理を意識する必要がなくなる。

また、上記切替処理により、ＨＷ合成に割り当てられる合成優先度を有する共通アプリケーションをＨＷレイヤ数以上実行し、同時に表示することが可能となる。
その他、上述のように、描画処理の負荷が重い共通アプリケーションは、ＨＷ合成を行うように合成優先度を設定することで、高速なウィンドウ合成処理が可能となる。例えば、カーナビゲーションアプリケーションにおける地図画面でＧＰＵ（Graphic Processer Unit）を占有し、描画システム３０でＧＰＵを使用できない場合や、デジタル放送アプリケーションやＤＶＤアプリケーション等のように数１０ｍｓ単位で描画が発生するアプリケーションを共有する場合にＨＷ合成が有効である。既存アプリケーション資産に関しては、ＳＷ合成でアプリケーションの共有を行うことが可能である。

ここで、本実施の形態では、共通表示ウィンドウの切替処理について説明したが、個別表示ウィンドウに適用した実施の形態としてもよい。

本発明の実施の形態にかかる画像表示装置を示す概略図である。 本発明の実施の形態にかかる画像表示装置の詳細を示す図である。 本発明の実施の形態にかかる共通表示ウィンドウのＨＷ合成を示す図である。 本発明の実施の形態にかかる共通表示ウィンドウのＳＷ合成を示す図である。 本発明の実施の形態にかかる共通表示ウィンドウの最大化表示及びアイコン化を示す図である。 合成優先度の高い共有アプリケーションの共通表示ウィンドウが新規作成される場合の共通表示ウィンドウの切替処理の状態遷移図である。 合成優先度の高い共有アプリケーションの共通表示ウィンドウが新規作成される場合の共通表示ウィンドウの切替処理のシーケンス図である。

符号の説明

１ マルチ画像表示システム
２ ＭＰＵ
３ 処理部
４、５ ＬＣＤＣ
６、７ ＬＣＤ
８ 外部ＲＡＭ
１０ ＯＳ
２０ ＡＰＭ
３０ 描画システム
８１ フレームバッファ
８２、８３ 描画バッファ
１００、１０１ 独立アプリケーション
１０２ 共通アプリケーション
２０１ 管理部
２０２ 描画処理部
２０３、２０４ 表示装置
５１０、５１１、５１２、５１３、５２０、６１０、６１１、６１３、６２０、７１０、７１３、７２０、８１０、８１１、８１３、８２０、８２１ ウィンドウ
２０２１ ソフトウェア合成手段
２０２２ ハードウェア合成手段

Claims (12)

1. 複数の表示装置のそれぞれに対応する領域に分割された複数の表示レイヤに対して配置される画像の管理を行う管理部と、
   前記管理部からの命令に応じて、画像の配置処理を実行する描画処理部とを備え、
   当該描画処理部は、
   各画像に対応する描画バッファに格納された複数の画像を、ソフトウェア的に合成し、ある表示レイヤに割り当てられている単一のフレームバッファ上に出力するソフトウェア合成手段と、
   各画像に対応する描画バッファを複数の表示レイヤに割り当て、ハードウェアの機能を利用して前記画像の重ね合わせを行うハードウェア合成手段とを有するマルチ画像表示システム。
2. ソフトウェア合成手段もしくはハードウェア合成手段は、
   一つの表示装置にのみ表示される画像である個別表示画像と、複数の表示装置に共通で表示される画像である共通表示画像とを合成する請求項１記載のマルチ画像表示システム。
3. ソフトウェア合成手段もしくはハードウェア合成手段は、
   前記共通表示画像を表示装置毎に異なる座標位置に表示する請求項２記載のマルチ画像表示システム。
4. 前記管理部は、
   前記画像に対して設定された合成優先度に基づいて、前記画像を前記ソフトウェア合成手段もしくは前記ハードウェア合成手段のいずれにより合成するかを決定する請求項１乃至３いずれかに記載のマルチ画像表示システム。
5. 前記個別表示画像及び前記共通表示画像は、
   アプリケーション・プログラムに割り当てられたウィンドウに表示される画像である請求項２乃至４いずれかに記載のマルチ画像表示システム。
6. 前記画像の合成を前記ソフトウェア合成手段による合成と前記ハードウェア合成手段による合成とに相互に合成手段を切り替える切替処理手段を有する請求項１乃至５いずれかに記載のマルチ画像表示システム。
7. 前記切替処理手段は、
   前記切替処理時に、前記ソフトウェア合成手段による画像の表示と前記ハードウェア合成手段による画像の表示とを一時的に同時に表示する請求項６記載のマルチ画像表示システム。
8. 前記切替処理手段は、
   前記ハードウェア合成手段により合成される表示レイヤに存在する画像よりも合成優先度の高い画像を生成し、前記表示レイヤに空きがない場合に、前記表示レイヤに存在する画像の前記切替処理を実行する請求項６又は７記載のマルチ画像表示システム。
9. 複数の表示装置のそれぞれに対応する領域に分割された複数の表示レイヤに対して画像を配置処理する画像処理方法であって、
   ソフトウェア合成処理とハードウェア合成処理のいずれにより合成処理を実行するかを決定する第１のステップと、
   前記ソフトウェア合成処理を実行することを決定した場合に、各画像に対応する描画バッファに格納された複数の画像を、ソフトウェア的に合成し、ある表示レイヤに割り当てられている単一のフレームバッファ上に出力する第２のステップと、
   前記ハードウェア合成処理を実行することを決定した場合に、各画像に対応する描画バッファを複数の表示レイヤに割り当て、ハードウェアの機能を利用して前記画像の重ね合わせを行う第３のステップとを備えた画像処理方法。
10. 前記第１のステップは、画像に対して設定された合成優先度に基づいて、ソフトウェア合成処理とハードウェア合成処理のいずれにより合成処理を実行するかを決定することを特徴とする請求項９記載の画像処理方法。
11. 複数の表示装置のそれぞれに対応する領域に分割された複数の表示レイヤに対して画像を配置処理する画像処理プログラムであって、
    ソフトウェア合成処理とハードウェア合成処理のいずれにより合成処理を実行するかを決定する第１のステップと、
    前記ソフトウェア合成処理を実行することを決定した場合に、各画像に対応する描画バッファに格納された複数の画像を、ソフトウェア的に合成し、ある表示レイヤに割り当てられている単一のフレームバッファ上に出力する第２のステップと、
    前記ハードウェア合成処理を実行することを決定した場合に、各画像に対応する描画バッファを複数の表示レイヤに割り当て、ハードウェアの機能を利用して前記画像の重ね合わせを行う第３のステップをコンピュータに対して実行させる画像処理プログラム。
12. 前記第１のステップは、画像に対して設定された合成優先度に基づいて、ソフトウェア合成処理とハードウェア合成処理のいずれにより合成処理を実行するかを決定することを特徴とする請求項１１記載の画像処理プログラム。
    

Images