JP2010117678A

JP2010117678A - 画像処理装置およびその制御方法

Info

Publication number: JP2010117678A
Application number: JP2008292607A
Authority: JP
Inventors: Kazuki Murakami; 和希村上; Tatsuya Takechi; 辰哉武市; Toru Nomaguchi; 徹野間口; Shigeru Sakamoto; 茂坂本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-11-14
Filing date: 2008-11-14
Publication date: 2010-05-27
Anticipated expiration: 2028-11-14
Also published as: JP5385592B2

Abstract

【課題】複数の表示領域により表示部を形成する表示装置において高画質の動画を表示可能とする。
【解決手段】Ｎ個（Ｎは２以上の整数）の表示領域によりフレーム画像を生成する画像処理装置２００において、１以上のオブジェクトを含む動画像データのＮ個のフレーム画像を生成する描画手段２０１，２０２と、動画像データに含まれるオブジェクトの各々について、２以上の表示領域に分割されて表示されるか否かを判定する判定手段と、２以上の表示領域に分割されて表示されると判定されたオブジェクトの表示領域を制御対象領域として設定する領域設定手段２０３と、制御対象領域内の画像については該制御対象領域に表示する画像を描画処理する２以上の描画手段の中で最も遅い処理速度を有する描画手段の処理速度に制限して描画処理を実行し、制御対象領域外の画像については制限を禁止するように描画手段を制御する制御手段と、を備える。
【選択図】図１

Description

本発明は、符号化された動画像データを処理し、複数の表示領域により形成される表示部に表示するフレーム画像を生成する技術に関するものである。

一般的に、動画像の描画情報を描画する場合、描画部は例えば１フレーム毎に描画情報を解釈し画素情報を生成する。入力される描画情報は、図形やテキストに代表される複数種類のオブジェクト（描画オブジェクト）の集合である。描画情報や描画オブジェクトは、例えばＳＶＧ（Scalable Vector Graphics）やＦｌａｓｈ、ＰｏｓｔＳｃｒｉｐｔ等により記述される。

ところで、複数の表示デバイスが１つの大きな画像を表示するような場合、異なる表示デバイスに接続された描画装置の描画結果が揃った時点で、表示デバイスに対する画素情報の出力を行う必要がある。このような状況は、例えば、マトリックス型表示装置やマルチテレビジョンシステムにおいて、グラフィック装置を複数接続するマルチディスプレイ構成を使用する場合に生じる。そして、複数の描画部により分割して処理されるアニメーションオブジェクトが存在する場合、各描画部の違いによるちらつきやフレームずれが生じ得る。このようなちらつきやフレームずれが表示画像として現れないようにするため、全ての描画部で同一のフレームを描画するよう制御する必要がある。ただし、描画速度は描画時に利用される描画部の性能によって決まる。

そこで、例えば特許文献１には、通信手段で相互に接続された複数の描画ユニットを用いて、画素情報を生成する画像形成装置が開示されている。特に特許文献１は、通信処理部を用いて、描画手段が描画情報を伝達するために必要となる伝達時間を測定し、測定結果に基づいて画素情報の送出タイミングを調整することによって、表示画像を同期させる技術を開示している。
特開平０８−５５２２３号公報

しかしながら、特許文献１に開示される技術によると、最終的に表示デバイスに送出する１フレーム分の画素情報を生成する速度は、もっとも性能の低い描画ユニットの描画速度のレートとなる。これは、より性能の高い描画ユニットの速度に同期させて表示デバイスに画素情報を送出した場合、性能の低い描画ユニットは描画すべき領域の画像の描画が完了できないためである。ただし、描画処理部の性能が異なる場合、もっとも性能の低い描画処理部を有するグラフィック装置の速度に、全てのグラフィック装置の表示速度をあわせなければならない。また、ベクタ画像の描画処理に要する時間は、描画対象となる画像の複雑度によって変化するため、描画対象画像によって個別の対応が必要となる。そのため、各描画ユニットで実現可能な最高画質の画像を常に表示することができない。

本発明は上述の問題点に鑑みなされたものであり、描画性能低下を低減しつつ複数の表示領域により表示部を形成する表示装置により高画質の動画を表示する可能とする技術を提供することを目的とする。

上述の１以上の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、Ｎ個（Ｎは２以上の整数）の表示領域により表示部を形成する表示装置に表示するフレーム画像を生成する画像処理装置において、１以上のオブジェクトを含む動画像データを入力するための入力手段と、前記動画像データを描画処理し、前記Ｎ個の表示領域の各々に表示するＮ個のフレーム画像を生成する複数の描画手段と、前記動画像データに含まれるオブジェクトの各々について、２以上の表示領域に分割されて表示されるか否かを判定する判定手段と、前記判定手段により２以上の表示領域に分割されて表示されると判定されたオブジェクトの表示領域を制御対象領域として設定する領域設定手段と、前記制御対象領域内の画像については該制御対象領域に表示する画像を描画処理する２以上の描画手段の中で最も遅い処理速度を有する描画手段の処理速度に制限して描画処理を実行し、前記制御対象領域外の画像については前記制限を禁止する、ように前記２以上の描画手段を制御する制御手段と、を備える。

上述の１以上の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、Ｎ個（Ｎは２以上の整数）の表示領域により表示部を形成する表示装置に表示するフレーム画像を生成する画像処理装置であって、１以上のオブジェクトを含む動画像データを入力するための入力手段と、前記動画像データを描画処理し、前記Ｎ個の表示領域の各々に表示するＮ個のフレーム画像を生成する複数の描画手段と、前記動画像データに含まれるオブジェクトの各々について、２以上の表示領域に分割されて表示されるか否かを判定する判定手段と、前記判定手段により２以上の表示領域に分割されて表示されると判定されたオブジェクトを制御対象オブジェクトとして設定するオブジェクト設定手段と、前記制御対象オブジェクトについては該制御対象オブジェクトを描画処理する２以上の描画手段の中で最も遅い処理速度を有する描画手段の処理速度に制限して描画処理を実行し、前記制御対象オブジェクト以外の画像処理については前記制限を禁止する、ように前記２以上の描画手段を制御する制御手段と、を備える。

上述の１以上の問題点を解決するため、本発明の画像処理装置の制御方法は以下の構成を備える。すなわち、Ｎ個（Ｎは２以上の整数）の表示領域により表示部を形成する表示装置に表示するフレーム画像を描画手段により生成する画像処理装置の制御方法において、１以上のオブジェクトを含む動画像データを入力するための入力工程と、前記動画像データに含まれるオブジェクトの各々について、２以上の表示領域に分割されて表示されるか否かを判定する判定工程と、前記判定工程により２以上の表示領域に分割されて表示されると判定されたオブジェクトの表示領域を制御対象領域として設定する領域設定工程と、前記制御対象領域内の画像については該制御対象領域に表示する画像を描画処理する２以上の描画手段の中で最も遅い処理速度を有する描画手段の処理速度に制限して描画処理を実行し、前記制御対象領域外の画像については前記制限を禁止する、ように前記２以上の描画手段を制御する制御工程と、前記動画像データを前記描画手段により描画処理し、前記Ｎ個の表示領域の各々に表示するＮ個のフレーム画像を生成する描画工程と、を備える。

本発明によれば、描画性能低下を低減しつつ、複数の表示領域により表示部を形成する表示装置により高画質の動画を表示する可能とする技術を提供することができる。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、２個の表示デバイスにより構成される表示装置を有する画像表示システムを例に挙げて以下に説明する。

＜装置構成＞
図１は、第１実施形態に係る画像処理装置の内部構成を示す図である。また、図２は、２個の表示デバイスにより単一の大画面を構成する様子を例示的に示す図である。特に、３個（１以上）のオブジェクトを含む動画像データを表示する様子を示している。

画像処理装置２００は、描画ユニット２１９および描画ユニット２２０を備える。そして、画像処理装置２００の外部には、描画ユニット２１９および描画ユニット２２０が生成し出力する映像信号を表示するための表示デバイス２１３および表示デバイス２１０が単一の大画面を構成するよう配置される（図２）。なお、表示デバイス２１３および表示デバイス２１０は表示コントローラ２０９を介して入力される映像信号に応じて映像を表示するのみであり、同一の性能を有するものとして説明する。

描画ユニット２２０は、第１の描画部２０１、領域指定部２０３、描画速度検出部２０４、描画速度変更部２０５、通信部２０６を備える。一方、描画ユニット２１９は、第２の描画部２０２、描画速度を検出する描画速度検出部２１５、通信部２１２を備える。なお、説明を簡単にするために、図１では、領域指定部２０３および描画速度変更部２０５の各機能部は、描画ユニット２２０のみに含まれるよう図示されている。しかし、描画ユニット２１９に同様の機能部を含まれるよう構成してもよい。

描画速度検出部２０４および描画速度検出部２１５は、それぞれ、描画部２０１および描画部２０２における描画処理の速度を検出するための機能部である。領域指定部２０３は、描画部２０１が処理する画像に含まれる領域を指定するための機能部である。また、描画速度変更部２０５は、描画部２０１を制御し描画処理の速度を変更する機能部である。さらに、通信部２０６および通信部２１２は、描画ユニット２１９と描画ユニット２２０とが相互に通信を行なうための機能部である。なお、各機能部のさらに詳細な動作については図５を参照して後述する。

第１の描画部２０１および第２の描画部２０２は、ＣＰＵなどの汎用プロセッサにプログラムを実行させることにより実現してもよいし専用ハードウェアにより実現しても良い。また、描画速度変更部２０５、領域指定部２０３、描画速度検出部２０４、描画速度検出部２１５についても、プログラムを実行することにより実現される機能部でおきかえてもよい。

画像処理装置２００は、バスアクセス調停部２０７を介して画像バス２１１に接続される。バスアクセス調停部２０７には、装置全体の制御、ベクタ画像データの処理などを行うＣＰＵ２１４が接続される。また、ＣＰＵ２１４は、描画部２０１および描画部２０２の設定を行なうための描画部設定バス２１７および描画部設定バス２１８を持つ。

また、画像バス２１１には、画像デバイスへの画像の描画処理に必要なデータを一時格納するメモリ２０８も接続される。表示コントローラ２０９は、メモリ２０８からデータを読み出し表示デバイス２１０および表示デバイス２１３に対して画像を構成する画素情報を送出する。表示デバイスとしては、液晶、リアプロジェクションディスプレイ、陰極線管（ＣＲＴ）などがある。

なお、図１では、表示コントローラ２０９およびメモリ２０８は、表示デバイス２１０と表示デバイス２１３とで共有するブロックとして示しているが、表示デバイスごとに設けてもよい。また、単一の表示デバイスの表示領域を複数の領域に分割し、それぞれを描画部２０１および描画部２０２に対する表示領域として割り当ててもよい。

画像処理装置２００は、接続される表示デバイス２１０および２１３を用いて、全体画像３０８を表示する。ここでは説明を簡単にするため、全体画像３０８は、表示デバイス２１０および２１３の各々の表示領域に対応する領域３０１と領域３０２とから構成される領域全体に表示されるものとする。

ここでは、領域３０１に表示される画像の描画処理は描画部２０１が実行する。一方、領域３０２に表示される画像の描画処理は描画部２０２が実行する。また、図２に示されるように、全体画像３０８は、アニメーション３０４、アニメーション３０７、アニメーション３０３を含んでいるとする。さらに、図２および図３に示すように、アニメーション３０４は、表示デバイス２１０上の表示領域である領域３０５と、表示デバイス２１３上の表示領域である領域３０６と、に分割されて表示されている。

図４は、基準クロックと描画部２０１および描画部２０２に入力される各クロックとを例示的に示す図である。描画部２０１および描画部２０２は各々に入力されるクロック４０１およびクロック４０２に基づいて動作をしている。以下では説明を簡単にするために、各描画部における描画速度はクロックに比例するものとして説明する。なお、描画速度とは単位時間当たりの処理フレームの数を意味している。また、描画部２０１に入力されるクロック４０１は基準クロック４００の２倍の周波数であり、描画部２０２に入力されるクロック４０２は基準クロック４００の１／２倍の周波数であるとする。つまり、クロック４０１はクロック４０２の４倍の周波数である。

＜装置の動作＞
図５は、第１実施形態に係る画像処理装置による描画処理の制御を示す動作フローチャートである。

ステップＳ５０１では、ＣＰＵ２１４は、画像処理装置２００の初期化を行う。例えば、システム起動時または１フレームの画像形成処理の処理前に実行される。より具体的には、ＣＰＵ２１４は、表示デバイス２１０および表示デバイス２１３に対応する描画領域座標を描画ユニット２２０および描画ユニット２１９に設定する。また、描画対象となる全体画像３０８の描画情報を、画像処理装置２００に入力する。

ステップＳ５０２では、ＣＰＵ２１４は、図３に示すように、全体画像３０８に含まれる描画情報を、領域３０１および領域３０２における描画情報に分割する。そして、領域３０１および領域３０２に表示される画像の描画情報をそれぞれ描画部２０１および描画部２０２に送出する。領域３０１の描画情報は、アニメーション３０７とアニメーション３０４の描画情報を含む。領域３０２の描画情報は、アニメーション３０３とアニメーション３０４の描画情報を含む。なお、描画情報には、少なくともアニメーションを構成する画像オブジェクトの情報と、当該アニメーションが表示される領域の座標情報とが含まれる。

なお、描画情報を分割して送出する代わりに、全体画像３０８に対応する描画情報を描画部２０１および描画部２０２の双方に送出するよう構成してもよい。この場合、描画部２０１および描画部２０２の各々は、自身が描画すべき領域３０１および領域３０２の座標情報に基づいて、受信した全体画像３０８に対応する描画情報の一部の描画処理を行なうとよい。

ステップＳ５０３では、描画情報送出後、ＣＰＵ２１４は、描画部設定バス２１７、２１８を使用して、描画部２０１および描画部２０２を起動する。

ステップＳ５０４では、描画速度検出部２０４および描画速度検出部２１５は、描画部２０１および描画部２０２の各々の描画速度情報を取得する。ここでは、描画速度検出部２０４は、各描画部のクロック速度に基づいて描画速度情報を導出するものとする。描画速度検出部２０４は、基準クロック４００と描画部２０１のクロック４０１とを比較し、例えばクロック比を描画速度変更部２０５に送出する。また、描画速度検出部２１５は、基準クロック４００と描画部２０２のクロック４０２とを比較し、例えばクロック比を通信部２１２および通信部２０６を介しで描画速度変更部２０５に送出する。

ステップＳ５０５では、描画速度変更部２０５は、描画部２０１と描画部２０２との描画速度比を導出し、描画部２０１に指示する。ここでは、描画速度比は描画部２０１：描画部２０２＝４：１であるため、描画速度比は４となる。つまり、クロック比を描画速度と見なし、描画部２０２に対する相対的速度を描画部２０１に対して通知するのである。そして、描画速度変更部２０５は、描画部２０１と描画部２０２に描画開始許可を指示する。

ステップＳ５０６では、描画部２０１は、描画部２０１が描画する対象である領域３０１の座標情報を領域指定部２０３に通知する。また、描画部２０２は、描画部２０２が描画する対象である領域３０２の座標情報を通信部２１２を介して領域指定部２０３に通知する。

ステップＳ５０７では、領域指定部２０３（判定手段）は、領域３０１に含まれるオブジェクト（アニメーション３０７および３０４）の各々が表示される領域の情報（フレーム画像内の配置情報）と、各描画部に対応する領域３０１および領域３０２の座標情報（表示領域の配置情報）と、を比較する。そして、２以上の表示領域にまたがって（分割されて）表示されるオブジェクトを判定する。図２に示した配置の場合、比較の結果、アニメーション３０７は全領域が領域３０１内に含まれ、アニメーション３０４は領域３０１と領域３０２にまたがるオブジェクトであることを検知する。そして、領域指定部２０３（領域設定手段、オブジェクト設定手段）は、アニメーション３０４（制御対象オブジェクト）のうち、領域３０１内にある領域３０５を指定領域（制御対象領域）として描画部２０１に指示する。

描画部２０１は、領域指定部２０３から指示された指定領域である領域３０５について、描画速度変更部２０５で算出した速度比に基づき、以下で説明するように描画処理（ステップＳ５０８）を行なう。

＜フレームの描画処理詳細＞
次に、描画部２０１および描画部２０２における描画処理の詳細について説明する。なお、描画部２０１は６０フレーム／秒で描画処理可能であり、描画部２０２は１５フレーム／秒で描画処理可能であるとする。つまり、前述のように、描画部の速度比は、描画部２０１：描画部２０２＝４：１である。

まず、描画部２０１は、ＣＰＵ２１４から描画領域３０１の第１フレームの描画情報を受信する。つまり、図２の状況においては、アニメーション３０４（または３０５）およびアニメーション３０７の描画情報を受信する。そして、描画部２０１は、第１フレームとして領域３０１内の全領域の描画を行う。描画終了後、描画部２０１は、第１フレームの描画終了をＣＰＵ２１４に通知し、第１フレームから１／６０秒後のフレームに相当する描画領域３０１の第２フレームの描画情報をＣＰＵ２１４から受信する。

描画部２０１は、第２フレームについてはアニメーション３０７（制御対象領域外のオブジェクト、制御対象オブジェクト以外）の内部領域についてのみ描画を行う（描画速度の制限を禁止する）。つまり、アニメーション３０４（制御対象領域内のオブジェクト）については描画を行なわない。描画終了後、描画部２０１は、第２フレームの描画終了をＣＰＵ２１４に通知し、描画領域３０１の第３フレームの描画情報をＣＰＵ２１４から受信する。また、第３、第４フレームについても、上述の第２フレームと同様にアニメーション３０７の内部領域についてのみ描画を行う。

そして、描画部２０１は、第１フレームから１／１５秒後のフレームに相当する描画領域３０１の第５フレームの描画情報をＣＰＵ２１４から受信する。そして、描画部２０１は、第５フレームとして領域３０１内の全領域の描画を行う。描画終了後、描画部２０１は、第５フレームの描画終了をＣＰＵ２１４に通知し、第５フレームから１／６０秒後のフレームに相当する描画領域３０１の第６フレームの描画情報をＣＰＵ２１４から受信する。

以下同様にして、領域３０１内の全領域の描画は４フレーム毎に実行するよう制限し、領域３０１内に全領域が含まれるオブジェクト（アニメーション３０７）に関してのみ１フレーム毎に描画を実行するよう制御する。

一方、描画部２０２は、ＣＰＵ２１４から描画領域３０２の第１フレームの描画情報を受信する。つまり、図２の状況においては、アニメーション３０４（または３０６）およびアニメーション３０３の描画情報を受信する。そして、描画部２０２は、第１フレームとして領域３０２内の全領域の描画を行う。描画終了後、描画部２０２は、第１フレームの描画終了をＣＰＵ２１４に通知し、第１フレームから１／１５秒後のフレームに相当する描画領域３０２の第２フレームの描画情報をＣＰＵ２１４から受信する。なお、表示タイミングの観点では、描画領域３０２の第２フレームは、描画領域３０１の第５フレームに相当する。そして、描画部２０２は、第２フレームとして領域３０２内の全領域の描画を行う。以下同様にして、領域３０２内の全領域の描画を１フレーム毎に実行するよう制御する。

描画開始後も、描画速度検出部２０４および描画速度検出部２１５は、描画部２０１および描画部２０２の動作速度を監視する。そして、描画部２０１または描画部２０２の動作速度に変更があった場合は、描画速度変更部２０５の描画速度の再設定を要求すると良い。なお、再設定の処理は上述の起動前の設定の処理と同様である。また、全体画像３０８内におけるオブジェクトの配置変更があった場合にも再設定を行なうと良い。例えば、領域３０１と領域３０２にまたがるオブジェクトがなくなった場合には、本来の描画速度で動作するよう描画部２０１を制御すると良い。さらに、領域３０１と領域３０２にまたがるオブジェクトが静止画オブジェクトの場合には境目部分でのちらつき等は発生しないので、描画速度の制限を禁止してもよい。

以上説明したように、第１実施形態に係る画像処理装置によれば、複数の描画部の少なくとも１つに対して、当該描画部が描画する一部のオブジェクト画像の描画速度の制御を行う。このように構成することにより、複数の描画ユニットにより複数の表示デバイスに描画処理する場合であっても、描画部間の性能差による画像ずれが発生しない画像処理装置を実現することが出来る。また、複数の表示デバイスにまたがらないオブジェクト画像については各描画ユニットで実現可能な最高画質の画像を表示することが可能となる。

特に、Ｎ個（Ｎは２以上の整数）の表示部をそれぞれ独立に有するマトリックス型表示装置や、マルチテレビジョンシステムの構成を構築してアニメーションを表示する場合に好適に適用可能である。すなわち、表示装置の境目部分でアニメーションのフレームレート差によるちらつきが発生するのを防止可能である。なお、オブジェクトが３つ以上の表示部にまたがる場合は、３つの中で最も遅い描画速度で描画するよう決定すると良い。

なお、第１実施形態では、表示画面が物理的に複数の表示部により構成される例について説明を行った。しかし、例えば、物理的には１つの表示部の表示領域を複数に分割し各表示領域に対して異なる描画部を用いて描画するよう構成してもよい。

また、画像処理装置に対し、描画部を追加するような場合においても、描画速度を既存の描画部に合わせることが出来る。そのため、画像処理装置をより柔軟に構成することが可能となる。

（第２実施形態）
第２実施形態では、描画の開始及び完了タイミングを検出し複数の描画部の各々の描画速度を予測し描画速度比を算出する例について説明する。

図６は、第２実施形態に係る画像処理装置の内部構成を示す図である。また、図２は、２個の表示デバイスにより単一の大画面を構成する様子を例示的に示す図である。

第２実施形態に係る画像処理装置６００は、第１実施形態に係る画像処理装置２００と同様に２つの描画ユニットを備える。ただし、描画ユニット６０１は、描画速度予測部６０３をさらに備える点が描画ユニット２２０と異なる。他の機能部については第１実施形態とほぼ同様であるので説明を省略する。

＜装置の動作＞
図７は、第２実施形態に係る画像処理装置による描画処理の制御を示す動作フローチャートである。

ステップＳ７０１では、ＣＰＵ２１４は、画像処理装置２００の初期化を行う。例えば、システム起動時または１フレームの画像形成処理の処理前に実行される。より具体的には、ＣＰＵ２１４は、表示デバイス２１０および表示デバイス２１３に対応する描画領域座標を描画ユニット２２０および描画ユニット２１９に設定する。また、描画対象となる全体画像３０８の描画情報を、画像処理装置２００に入力する。

ステップＳ７０２では、ＣＰＵ２１４は、図３に示すように、全体画像３０８に含まれる描画情報を、領域３０１および領域３０２における描画情報に分割する。そして、領域３０１および領域３０２に表示される画像の描画情報をそれぞれ描画部２０１および描画部２０２に送出する。領域３０１の描画情報は、アニメーション３０７とアニメーション３０４の描画情報を含む。領域３０２の描画情報は、アニメーション３０３とアニメーション３０４の描画情報を含む。なお、描画情報には、少なくともアニメーションを構成する画像オブジェクトの情報と、当該アニメーションが表示される領域の座標情報とが含まれる。

ステップＳ７０３では、描画情報送出後、ＣＰＵ２１４は、描画部設定バス２１７、２１８を使用して、描画部２０１および描画部２０２を起動する。

ステップＳ７０４では、描画速度検出部２０４および描画速度検出部２１５は、描画部２０１および描画部２０２の各々の描画速度情報を、各々の描画部に描画処理を実行させることにより取得する。より具体的には、描画速度検出部２０４および描画速度検出部２１５は描画部２０１および描画部２０２の各々に対し描画開始を指示しそのタイミングを記録する。そして、描画速度検出部２０４および描画速度検出部２１５は描画部２０１および描画部２０２の各々から描画完了の通知を受けそのタイミングを記録する。そして、描画速度検出部２１５は、描画開始タイミングおよび描画完了タイミングの情報を通信部２１２および通信部２０６を介して描画速度予測部６０３に送出する。

なお、描画部２０１が１フレーム目の描画が終了した時点で、描画速度予測部６０３に描画部２０２の描画速度情報が到達していなかった場合、描画部２０１は、領域３０１に含まれるアニメーション３０３の領域および領域３０６を描画する。

ステップＳ７０５では、描画速度予測部６０３は、描画部２０１と描画部２０２との描画速度比を導出し、描画部２０１に指示する。より具体的には、描画速度予測部６０３は、描画部２０１および第２の描画部２０２の両方の描画速度情報を得た時点で、描画速度比を算出する。描画速度比は、例えば、描画開始タイミングと描画完了タイミングとの差分に基づいてフレーム当たりの速度を直接求めることにより導出可能である。また、描画部２０１および描画部２０２における単位時間当たりの描画完了フレーム数の比によっても求めることが出来る。つまり、所定のテストデータとして１フレーム目の画像を処理させ、速度を予測するのである。

ステップＳ７０６では、描画部２０１は、描画部２０１が描画する対象である領域３０１の座標情報を領域指定部２０３に通知する。また、描画部２０２は、描画部２０２が描画する対象である領域３０２の座標情報を通信部２１２を介して領域指定部２０３に通知する。

ステップＳ７０７では、領域指定部２０３（判定手段）は、領域３０１に含まれるオブジェクト（アニメーション３０７および３０４）の各々が表示される領域の情報と、各描画部に対応する領域３０１および領域３０２の座標情報と、を比較する。図２に示した配置の場合、比較の結果、アニメーション３０７は全領域が領域３０１内に含まれ、アニメーション３０４は領域３０１と領域３０２にまたがるオブジェクトであることを検知する。そして、領域指定部２０３は、アニメーション３０４のうち、領域３０１内にある領域３０５を指定領域として描画部２０１に指示する。

描画部２０１は、領域指定部２０３から指示された指定領域である領域３０５について、描画速度変更部２０５で算出した速度比に基づき、以下で説明するように描画処理（ステップＳ７０８）を行なう。

＜フレームの描画処理詳細＞
描画速度予測部６０３は、指定領域である領域３０５の描画速度として、描画部２０２が１フレームの描画を完了するまでに、描画部２０１が描画可能なフレーム数を仮設定する。そして、描画部２０１は、領域３０１全体の描画を１フレーム分完了する。つまり、描画レート仮設定後に描画完了する最初のフレームについては全領域を描画する。そして、引き続くフレームについては、仮設定されたフレーム数の数だけアニメーション３０７のみを描画する。つまり、領域３０５の描画は行わない。

描画速度の仮設定後、描画速度予測部６０３は、領域３０５を描画しない場合の第１の描画部２０１の１フレーム描画時間を計測する。描画速度予測部６０３は、全領域を１フレーム分を描画する描画速度と領域３０５を描画しない場合の１フレーム分を描画する描画速度とから、描画部２０２が１フレーム描画完了する前に、描画部２０１が描画する描画速度を更新する。

描画速度の設定後も、描画速度検出部２０４および描画速度検出部２１５は、描画部２０１および描画部２０２の動作速度を監視する。そして、描画部２０１または描画部２０２の動作速度に変更があった場合は、描画速度予測部６０３に対して、設定された描画速度の無効化を要求する。描画速度の設定を無効化した場合は、描画部２０１は再度描画速度の設定がなされるまで領域３０２の全領域の描画を行う。以後、同様にして各フレームの描画を継続する。

以上説明したように、第２実施形態に係る画像処理装置によれば、複数の描画部の少なくとも１つに対して、当該描画部が描画する一部のオブジェクト画像の描画速度の制御を行う。特に、実際に描画する描画情報を描画する処理速度を逐次計測することにより、省電力モードなどの動作モード変更による各描画ユニットの動作速度に変更が発生する場合にも対応が可能となる。

また、一般にフレームごとの描画時間が不確定的なベクタ画像の描画においても、適応的に描画速度を変更可能となり、描画ユニット間の画像ずれを防止できる。なお、ベクタ画像としては、ＳＶＧやＦｌａｓｈ、ＰｏｓｔＳｃｒｉｐｔ等が含まれる。

（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施形態の機能を実現するプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置が、供給されたプログラムコードを読み出して実行することによっても達成される。従って、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード（コンピュータプログラム）自体も本発明の技術的範囲に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭなどがある。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

第１実施形態に係る画像処理装置の内部構成を示す図である。２個の表示デバイスにより単一の大画面を構成する様子を例示的に示す図である。２個の表示デバイスにまたがるオブジェクトを例示的に示す図である。基準クロックと各描画部に入力されるクロックとを例示的に示す図である。第１実施形態に係る画像処理装置による描画処理の制御を示す動作フローチャートである。第２実施形態に係る画像処理装置の内部構成を示す図である。第２実施形態に係る画像処理装置による描画処理の制御を示す動作フローチャートである。

Claims

Ｎ個（Ｎは２以上の整数）の表示領域により表示部を形成する表示装置に表示するフレーム画像を生成する画像処理装置であって、
１以上のオブジェクトを含む動画像データを入力するための入力手段と、
前記動画像データを描画処理し、前記Ｎ個の表示領域の各々に表示するＮ個のフレーム画像を生成する複数の描画手段と、
前記動画像データに含まれるオブジェクトの各々について、２以上の表示領域に分割されて表示されるか否かを判定する判定手段と、
前記判定手段により２以上の表示領域に分割されて表示されると判定されたオブジェクトの表示領域を制御対象領域として設定する領域設定手段と、
前記制御対象領域内の画像については該制御対象領域に表示する画像を描画処理する２以上の描画手段の中で最も遅い処理速度を有する描画手段の処理速度に制限して描画処理を実行し、前記制御対象領域外の画像については前記制限を禁止する、ように前記２以上の描画手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。
前記制御手段は、前記判定手段により２以上の表示領域に分割されて表示されると判定されたオブジェクトが静止画オブジェクトである場合、前記制御対象領域内の画像についての前記制限を禁止することを特徴とする請求項１に記載の画像処理装置。
前記制御手段は、
前記描画手段の各々の処理速度を検出する検出手段と、
前記検出手段により検出された前記２以上の描画手段の処理速度に基づいて、前記最も遅い速度を決定する決定手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
前記検出手段は、前記複数の描画手段の各々に対し所定のテストデータを処理させ、当該処理に要した時間に基づいて前記複数の描画手段の各々の処理速度を予測する予測手段を備えることを特徴とする請求項３に記載の画像処理装置。
前記判定手段は、
予め指定される前記表示装置における前記Ｎ個の表示領域の配置情報と、前記動画像データに含まれるオブジェクトの各々についてのフレーム画像内の配置情報と、に基づいて、前記判定を行うことを特徴とする請求項１に記載の画像処理装置。
Ｎ個（Ｎは２以上の整数）の表示領域により表示部を形成する表示装置に表示するフレーム画像を生成する画像処理装置であって、
１以上のオブジェクトを含む動画像データを入力するための入力手段と、
前記動画像データを描画処理し、前記Ｎ個の表示領域の各々に表示するＮ個のフレーム画像を生成する複数の描画手段と、
前記動画像データに含まれるオブジェクトの各々について、２以上の表示領域に分割されて表示されるか否かを判定する判定手段と、
前記判定手段により２以上の表示領域に分割されて表示されると判定されたオブジェクトを制御対象オブジェクトとして設定するオブジェクト設定手段と、
前記制御対象オブジェクトについては該制御対象オブジェクトを描画処理する２以上の描画手段の中で最も遅い処理速度を有する描画手段の処理速度に制限して描画処理を実行し、前記制御対象オブジェクト以外の画像処理については前記制限を禁止する、ように前記２以上の描画手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。
Ｎ個（Ｎは２以上の整数）の表示領域により表示部を形成する表示装置に表示するフレーム画像を描画手段により生成する画像処理装置の制御方法であって、
１以上のオブジェクトを含む動画像データを入力するための入力工程と、
前記動画像データに含まれるオブジェクトの各々について、２以上の表示領域に分割されて表示されるか否かを判定する判定工程と、
前記判定工程により２以上の表示領域に分割されて表示されると判定されたオブジェクトの表示領域を制御対象領域として設定する領域設定工程と、
前記制御対象領域内の画像については該制御対象領域に表示する画像を描画処理する２以上の描画手段の中で最も遅い処理速度を有する描画手段の処理速度に制限して描画処理を実行し、前記制御対象領域外の画像については前記制限を禁止する、ように前記２以上の描画手段を制御する制御工程と、
前記動画像データを前記描画手段により描画処理し、前記Ｎ個の表示領域の各々に表示するＮ個のフレーム画像を生成する描画工程と、
を備えることを特徴とする画像処理装置の制御方法。
コンピュータを請求項１乃至６の何れか一項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。