JP2013196285A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ユーザの着目部分を画質を低下させずに、フレームの補間処理の負荷を軽減させること。
【解決手段】プレーン動画生成部４１−１乃至４１−Ｎは、所定の表示領域を含む３次元空間に配置される複数のプレーンの各々の表示対象として、第１プレーン動画乃至第Ｎプレーン動画のデータを生成する。プレーン動画優先度決定部４２は、第１プレーン動画乃至第Ｎプレーン動画の各データについて、所定の表示領域と垂直方向の複数のプレーンの配置位置に基づいて、表示品質を確保するための優先度を決定する。フレームレート設定部４３−１乃至４３−Ｎは、決定された優先度に基づいて、第１プレーン動画乃至第Ｎプレーン動画の各データが生成される際のフレームレートを個別に設定する。合成部４４は、個別に設定された各フレームレートで生成された第１プレーン動画乃至第Ｎプレーン動画の各データを合成する。
【選択図】図２

Description

本発明は、フレームが補間された複数の動画像を同時に表示させる場合、フレームの補間処理の負荷を軽減させると共に、ユーザの着目部分の画質を向上させることが可能な、画像処理装置、画像処理方法、及びプログラムに関する。

従来より、アニメーション等の動画再生の手法として、複数のキーフレームのデータの間にフレームのデータを補間することで動画像のデータを生成して、当該動画像を再生する、といった手法が存在する（特許文献１参照）。

そして、このような動画像を同一画面に複数個並列に配置して同時に表示させることも可能になっている。

特開２００２−０７４３８２号公報

しかしながら、複数の動画像毎にフレームの補間処理を実行することは画像処理装置にとって高負荷となるため、その分だけフレームレートを下げて補間のフレームのデータを生成する必要があった。補間のフレームのデータの生成速度（フレームレート）の低下は、動画像の再生速度（フレームレート）の低下につながり、動画像の再生速度の低下は画質の低下を招くことになる。
このため、表示画像のうち、少なくともユーザの着目部分については高画質にすることが要望されているが、特許文献１を含め従来の手法では、かかる要望に充分に応えられていない状況である。

本発明は、このような状況に鑑みてなされたものであり、フレームが補間された複数の動画像を同時に表示させる場合、ユーザの着目部分の画質を低下させずに、フレームの補間処理の負荷を軽減させることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
所定の表示領域を含む３次元空間に配置される複数のプレーンの各々の表示対象として、複数のキーフレームのデータと、当該キーフレームの間に補間する複数のフレームのデータとからなる動画像のデータをそれぞれ生成する動画生成手段と、
前記動画生成手段により生成された複数の前記動画像のデータについて、前記所定の表示領域と垂直方向の前記複数のプレーンの配置位置に基づいて、優先度を決定する優先度決定手段と、
前記優先度決定手段により決定された前記優先度に基づいて、前記動画生成手段により前記複数の動画像のデータの各々が生成される際のフレームレートを個別に設定するフレームレート設定手段と、
前記フレームレート設定手段により個別に設定された前記フレームレートの各々で前記動画生成手段により生成された前記複数の動画のデータを合成することで、前記複数のプレーンを前記所定の表示領域に配置させた表示画像のデータを生成する合成手段と、
前記合成手段により生成されたデータに基づいて、前記表示画像の表示を制御する表示制御手段と、
を備えることを特徴とする。

本発明によれば、フレームが補間された複数の動画像を同時に表示させる場合、フレームの補間処理の負荷を軽減させると共に、ユーザの着目部分の画質を向上させることができる。

本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置の機能的構成のうち、プレーン動画合成表示処理を実行するための機能的構成を示す機能ブロック図である。 図２の画像処理装置の表示部の画面全体に相当する全体描画領域と、プレーン動画との位置関係を示す図である。 プレーン動画のキーフレームの一例を示す図である。 図２の画像処理装置がプレーン動画合成表示処理を実行した場合における、第１プレーン動画乃至第３プレーン動画の各データの生成タイミングの一例を示すタイミングチャートである。 図５の第１プレーン動画乃至第３プレーン動画がその順番で配置された表示画像の一例を示している。 図２の機能的構成を有する図１の画像処理装置が実行するプレーン動画合成表示処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。画像処理装置１は、例えばパーソナルコンピュータとして構成される。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、出力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。

入力部１６は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１７は、ディスプレイ（後述する図２の表示部５１）やスピーカ等で構成され、画像や音声を出力する。
記憶部１８は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２０によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像のデータ等の各種データも、記憶部１８と同様に記憶することができる。

図２は、このような画像処理装置１の機能的構成のうち、プレーン動画合成表示処理を実行するための機能的構成を示す機能ブロック図である。
プレーン動画合成表示処理とは、Ｎ枚（Ｎは２以上の整数値）のプレーン動画を表示画面内に配置して同時に表示させるまでの一連の処理をいう。なお、プレーン動画については、後述する。

プレーン動画合成表示処理が実行される場合、ＣＰＵ１１においては、プレーン動画生成部４１−１乃至４１−Ｎと、プレーン動画優先度決定部４２と、フレームレート設定部４３−１乃至４３−Ｎと、合成部４４と、表示制御部４５と、が機能する。また、出力部１７においては、表示部５１が機能する。
以下、プレーン動画合成表示処理で表示対象のＮ枚のプレーン動画の各々に対して、１乃至Ｎの番号が一意に付されており、番号ｋが付されたプレーン動画を、「第ｋプレーン動画」と呼ぶ。

プレーン動画生成部４１−ｋは、第ｋプレーン動画のデータを、単位画像を単位として生成する。
ここで、単位画像とは、動画像の処理単位となる画像をいい、フィールドやフレームがその一例である。本実施形態では単位画像はフレームであるものとして、以下説明する。
プレーン動画とは、例えばＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）のアニメーションとして構成され、ダンス等の所定の動作をするキャラクタを動オブジェクトとして含む動画像のことをいう。この動オブジェクトは、所定の平面（プレーン）上に含められて表示される。
このように、動オブジェクトが配置された平面の画像を、以下「プレーン画像」と呼ぶ。このプレーン画像がフレームとして採用され（以下、このようなフレームを「プレーンフレーム」と呼ぶ）、複数のプレーンフレームから構成される動画像が、本明細書でいう「プレーン動画」である。
さらに以下、図３及び図４を参照して、プレーンフレームやプレーン動画について詳細に説明する。

図３は、表示画面全体に相当する全体描画領域と、プレーン動画との位置関係を示す図である。
プレーン動画ＤＰ、より正確にはプレーン動画ＤＰを構成する各プレーンフレームのうち、表示対象のプレーンフレームは、表示部５１の画面全体に相当する全体描画領域Ｍ内の任意の位置に配置可能とされている。
図３において、全体描画領域Ｍにおける、横方向の軸をＸ軸として、縦方向の軸をＹ軸として、Ｘ軸とＹ軸とに垂直な方向（全体描画領域Ｍにおける奥行き方向）をＺ軸とする仮想３次元空間が構築（定義）されている。原点は任意でよいが、本実施形態では、全体描画領域Ｍの左下端に設定されているものとする。
図３の例では、横方向の長さＷａ及び縦方向の長さＨａを有する全体描画領域Ｍのうち、座標（Ｘｐ，Ｙｐ，Ｚｐ）が中心となるように、プレーン動画ＤＰが配置されている。即ち、プレーン動画ＤＰは、全体描画領域Ｍの二次元方向（Ｘ方向及びＹ方向）のみならず、全体描画領域Ｍの奥行き方向（Ｚ方向）も含めた仮想３次元空間内の任意の位置に配置可能であり、当該位置も時間経過と共に変化させることも可能である。
従って、このプレーン動画ＤＰ内のキャラクタの位置も、この仮想３次元空間内の座標（Ｘ，Ｙ，Ｚ）により定義することができる。また、当該キャラクタの動きは、この座標（Ｘ，Ｙ，Ｚ）の時間的推移と、Ｘ軸，Ｙ軸，Ｚ軸の各々に対する回転角度θｐｚ，θｐｙ，θｐｚ（以下、これらの回転角度の情報をまとめて「回転情報」と呼ぶ）とによって定義することができる。
ただし、このようなキャラクタの動き（変化）は、プレーン動画ＤＰを構成する全てのプレーンフレームにおいて定義されるのではなく、いわゆるキーフレームにおいてのみ定義される。そして、これらの定義に基づいて、キーフレーム間に複数のプレーンフレームが補間される。

図４は、プレーン動画のキーフレームの一例を示している。
キャラクタの動きは、各キーフレームにおいて、複数の端点や関節点等の３次元座標（Ｘ，Ｙ，Ｚ）や回転情報等で定義される。図４の例では、頭の端点ｎｈ、首の関節点、腰の関節点ｎｗ、左肘の関節点、左手の端点、右肘の関節点、右手の端点、左膝の関節点、左足の端点ｎｌｌ、右膝の関節点、及び右足の端点ｎｌｒの各々についての、３次元座標（Ｘ，Ｙ，Ｚ）や回転情報等により、キャラクタ（踊る人）が定義されている。

また、プレーン動画ＤＰ自体も、上述のごとく図３の全体描画領域Ｍに対して３次元方向に移動したり回転することが自在に可能であり、このような移動や回転を可能とする情報もキーフレームに定義される。

図２に戻り、プレーン動画生成部４１−１乃至４１−Ｎの各々は、第１プレーン動画乃至第Ｎプレーン動画の各々のデータを、プレーンフレーム単位で生成して、プレーン動画優先度決定部４２に提供する。

プレーン動画優先度決定部４２は、第１プレーン動画乃至第Ｎプレーン動画の各々について、表示品質を確保するための（高品質で表示すべき）優先度を決定する。
フレームレート設定部４３−１乃至４３−Ｎの各々は、プレーン動画優先度決定部４２により決定された各優先度に基づいて、第１プレーン動画乃至第Ｎプレーン動画の各々のフレームレートを設定する。即ち、第１プレーン動画乃至第Ｎプレーン動画のうち、最優先のプレーン動画のフレームレートが最高に設定され、それ以降、優先度の順にプレーン動画のフレームレートが順次低くなるように設定される。
プレーン動画生成部４１−１乃至４１−Ｎの各々は、フレームレート設定部４３−１乃至４３−Ｎの各々により設定された各フレームレートで、第１プレーン動画乃至第Ｎプレーン動画の各々のデータを、プレーンフレーム単位で生成して、合成部４４に提供する。
合成部４４は、第１プレーン動画乃至第Ｎプレーン動画の各々のデータをプレーンフレーム単位で合成することで、第１プレーン動画乃至第Ｎプレーン動画の各々が並列に配置された表示画面全体（図３の全体描画領域Ｍ）のデータ（以下、「表示画像のデータ」と呼ぶ）を生成し、表示制御部４５に供給する。
表示制御部４５は、当該表示画像を表示部５１にフレーム単位で表示させる制御を実行する。

以下、図５乃至図７を適宜参照して、このような図２の機能的構成を有する画像処理装置１が実行するプレーン動画合成表示処理について説明する。

上述したように、第１プレーン動画乃至第Ｎプレーン動画の各データについては個別にフレームレートが設定可能である。この場合、第１プレーン動画乃至第Ｎプレーン動画の各々が並列に配置された表示画像全体についての表示のフレームレートは、各々のフレームレートの最小公倍数となる。

なお、表示画像のフレームの更新の際、低フレームレートのプレーン動画については、補間されたプレーンフレームのデータ（以下、「補間データ」と呼ぶ）が生成されていない場合がある。このような場合には、合成部４４において、前回生成された補間データが再利用されて、表示画像のフレームのデータが生成される。

このように、第１プレーン動画乃至第Ｎプレーン動画の各データのフレームレートの個別の設定が可能なので、ユーザは、入力部１６（図１）を操作することで、特定のプレーン動画のフレームレートを高くし、その他のプレーン動画のフレームレートを低くするような設定を指示することができる。
例えば、ダンスを踊るＮ人のキャラクタの各々を含む第１プレーン動画乃至第Ｎプレーン動画が並列に配置された表示画が、表示部５１に表示される場合には、ユーザは、次のような設定を指示することができる。即ち、ユーザは、特定のキャラクタをメインダンサーに仕立てて、当該メインダンサーを含むプレーン動画のフレームレートを高くする設定を指示することができる。一方、ユーザは、その他のキャラクタをバックダンサーに仕立てて、当該バックダンサーを含むプレーン動画のフレームレートを低くする設定を指示することができる。
この場合、プレーン動画優先度決定部４２は、ユーザの設定指示に基づいて、第１プレーン動画乃至第Ｎプレーン動画の各データの優先度をそれぞれ決定する。フレームレート設定部４３−１乃至４３−Ｎの各々は、プレーン動画優先度決定部４２により決定された各優先度に基づいて、第１プレーン動画乃至第Ｎプレーン動画のデータの各々のフレームレートを設定する。
これにより、第１プレーン動画乃至第Ｎプレーン動画の各々が並列に配置された表示画像全体の中では、ユーザの注目度の高い（優先度の高い）プレーン動画が高画質で表示され、その他のプレーン動画は若干画質が下げられて表示される。その結果、表示画像のうちユーザの注目部分については高画質を維持しつつ、フレームの補間処理の負荷の軽減を実現することができる。

ただし、キャラクタの動作によっては、ユーザの注目するプレーン動画、即ち高画質で表示させたいプレーン動画が、時間経過と共に変化する場合がある。ダンスを踊るＮ人のキャラクタの各々を含む第１プレーン動画乃至第Ｎプレーン動画において、Ｎ人のキャラクタの立ち位置（例えば奥行き方向（Ｚ方向）やＸ軸方向の位置）が順次変化する等して、メインダンサーが順次変化する場合等である。
このような場合のプレーン動画合成表示処理は以下のように実行される。

先ず、プレーン動画優先度決定部４２は、第１プレーン動画乃至第Ｎプレーン動画の各データの中から、最優先のものを決定する。
具体的には本実施形態では、第１プレーン動画乃至第Ｎプレーン動画のうち、それぞれ表示対象（直近に生成された対象）となるプレーンフレームのデータ（補間データ）の情報に基づいて、最優先のプレーン動画のデータが決定される。

より具体的には、プレーン動画優先度決定部４２は、次の第１規則乃至第４規則に従って、最優先のプレーン動画のデータを決定する。
（第１規則）
第１プレーン動画乃至第Ｎプレーン動画の各データのうち、最前面の位置、即ち全体描画領域Ｍと垂直方向の最高位置（Ｚ座標が最高の位置）に配置されるものを、最優先とする。
（第２規則）
第１規則に該当するデータが複数ある場合、Ｘ方向（横方向）において、表示画面（図３の例では全体描画領域Ｍ）の中央に近い位置のものを、最優先とする。
（第３規則）
第２規則に該当するデータが複数ある場合、キャラクタのサイズ（プレーンにおける占有面積）が最大のものを、最優先とする。
（第４規則）
第３規則に該当するデータが複数ある場合、それらのうちの任意のものを、最優先とする。

第１規則については、プレーン動画優先度決定部４２は、第１プレーン動画乃至第Ｎプレーン動画のうち、それぞれ表示対象となるプレーンフレームのデータ（補間データ）の各々について、次の式（１）をそれぞれ演算し、その演算結果が最大のものを最優先のプレーン動画のデータとして決定する。
［数１］
プレーンフレームのＺ座標の値（奥行き方向の位置） ＋ キャラクタの腰の関節点のＺ座標の値 ・・・（１）
具体的には例えば図３及び図４の例では、次の式（２）の演算結果が最大のものが、最優先のプレーン動画のデータとして決定される。
［数２］
Ｚｐ ＋ Ｚｗ×ｃｏｓθｐｙ ・・・（２）

第２規則については、プレーン動画優先度決定部４２は、第１プレーン動画乃至第Ｎプレーン動画のうち、それぞれ表示対象となるプレーンフレームのデータ（補間データ）の各々のＸ座標に従って、最優先のプレーン動画のデータを決定する。
具体的には例えば図３及び図４の例では、次の式（３）の演算結果が、全体描画領域ＭのＸ方向の長さＷａの半分（＝Ｗａ／２）に最も近いものが、最優先のプレーン動画のデータとして決定される。
［数３］
Ｘｐ ＋ （Ｘｗ − Ｗｐ／２）×ｃｏｓθｐｙ ・・・（３）

第３規則については、プレーン動画優先度決定部４２は、第１プレーン動画乃至第Ｎプレーン動画のうち、それぞれ表示対象となるプレーンフレームに含まれるキャラクタの頭の端点から足の端点（左右個別）までの長さＨ１，Ｈ２を算出し、当該長さＨ１，Ｈ２の中で最大値を有するものを、最優先のプレーン動画のデータとして決定する。
具体的には例えば図３及び図４の例では、次の式（４）に従って算出される長さＨ１，Ｈ２の中で最大となるものが、最優先のプレーン動画のデータとして決定される。
［数４］
Ｈ１ ＝ Ｙｈ − Ｙｌｒ
Ｈ２ ＝ Ｙｈ − Ｙｌｒ
・・・（４）
なお、第３規則では、キャラクタのサイズで判断されるため、プレーン回転は考慮されない。また、上述の長さＨ１，Ｈ２は、キャラクタのサイズ比較の指標としては正確なものではないが、第３規則は第１規則や第２規則の補佐的なものであることを考慮すれば、このように単純化したものの方が、判断処理が簡易なものとなり好適である。

ここで、具体例として、Ｎ＝３の場合、即ち第１プレーン動画乃至第３プレーン動画の各データが合成されて、表示画像のデータが生成される場合を考える。
最優先のプレーン動画のデータのフレームレートが２０ｆｐｓで、その他のプレーン動画のデータのフレームレートが５ｆｐｓで、それぞれ補間データが生成されるものとする。この場合、第１プレーン動画乃至第３プレーン動画の各々が配置された表示画像全体の表示のフレームレートは、２０ｆｐｓと５ｆｐｓの最小公倍数、即ち２０ｆｐｓとなる。

図５は、この場合における、第１プレーン動画乃至第３プレーン動画の各データの生成タイミングの一例を示すタイミングチャートである。
具体的には、図５中上から順に、第１プレーン動画ＤＰ１、第２プレーン動画ＤＰ２、及び、第３プレーン動画ＤＰ３の各々についてのタイミングチャートが示されている。
第１プレーン動画ＤＰ１、第２プレーン動画ＤＰ２、及び、第３プレーン動画ＤＰ３の各々を示す帯（大きい長方形）が複数のマス（小さい長方形）に区分されているが、当該マスが１つのプレーンフレームを示している。

図６は、第１プレーン動画乃至第３プレーン動画がその順番で配置された表示画像の一例を示している。

図６（ａ）は、図５の時刻ｔ０の５０ｍｓ前における表示画像の一例が示されている。
図６（ａ）の表示画像が表示されているタイミングで、プレーン動画優先度決定部４２は、第１プレーン動画のデータが最優先のものであると決定したとする。

この場合、その５０ｍｓ後の時刻ｔ０において、フレームレート設定部４３−１は、最優先の第１プレーン動画Ｄ１のフレームレートを２０ｆｐｓに設定する。一方、フレームレート設定部４３−２，４３−３の各々は、第２プレーン動画Ｄ２，第３プレーン動画Ｄ３の各フレームレートを５ｆｐｓにそれぞれ設定する。

プレーン動画生成部４１−１は、最優先の第１プレーン動画Ｄ１を構成する各プレーンフレームのデータ（補間データ）を、フレームレート２０ｆｐｓで、即ち５０ｍｓ毎に順次生成し、合成部４４に供給する。
一方、プレーン動画生成部４１−２，４１−３の各々は、第２プレーン動画Ｄ２，第３プレーン動画Ｄ３の各々を構成する各プレーンフレームのデータ（補間データ）を、フレームレート５ｆｐｓで、即ち２００ｍｓ毎に順次生成し、合成部４４に供給する。

合成部４４は、５０ｍｓ毎に、第１プレーン動画Ｄ１、第２プレーン動画Ｄ２、及び第３プレーン動画Ｄ３の各々のプレーンフレームのデータ（補間データ）を合成することで、表示画像のデータを生成する。

具体的には図５に示すように、時刻ｔ０において、第１プレーン動画Ｄ１、第２プレーン動画Ｄ２、及び第３プレーン動画Ｄ３の各々の補間データが新たに生成されて、これらの新たな補間データがそれぞれ合成されて、表示画像のデータが生成される。
その後の時刻ｔ１までの５０ｍｓ間隔の各時刻（図５の時間軸の１目盛）では、最優先の第１プレーン動画Ｄ１の補間データは、各時刻毎（５０ｍｓ毎）に新たに生成されて、合成部４４による表示画像のデータの生成に用いられる。一方で、第２プレーン動画Ｄ２，第３プレーン動画Ｄ３については、新たな補間データが生成されないので、時刻ｔ０に生成された補間データが繰り返し合成部４４による表示画像のデータの生成に用いられる。
そして、時刻ｔ０から２００ｍｓが経過した時刻ｔ１になって始めて、最優先の第１プレーン動画Ｄ１のみならず、第２プレーン動画Ｄ２、及び第３プレーン動画Ｄ３の各々の補間データも新たに生成されて、これらの新たな補間データがそれぞれ合成部４４において合成されて、表示画像のデータが生成される。

即ち、時刻ｔ０から時刻ｔ１までの間においては、表示制御部４５の制御により表示部５１全体に表示される表示画像自体は、２０ｆｐｓで（即ち５０ｍｓ毎に）更新される。ただし、表示画像のうち、５０ｍｓ毎に実際に表示が更新されている部分は最優先の第１プレーン動画Ｄ１のみであり、それ以外の第２プレーン動画Ｄ２，第３プレーン動画Ｄ３については時刻ｔ０から２００ｍｓが経過して時刻ｔ１になるまで表示が更新されない。即ち、第２プレーン動画Ｄ２，第３プレーン動画Ｄ３については、２００ｍｓ毎に表示が更新される。

この間、プレーン動画優先度決定部４２は、５０ｍｓ毎に、第１プレーン動画Ｄ１乃至第３プレーン動画Ｄ３の各プレーンフレームのデータ（補間データ）の各々の中から、最優先のプレーン動画のデータを順次決定する。
プレーン動画優先度決定部４２により最優先のプレーン動画のデータが順次決定されてから５０ｍｓが経過する毎に、フレームレート設定部４３−１乃至４３−３の各々は、５０ｍｓ前にプレーン動画優先度決定部４２により決定された各優先度に基づいて、第１プレーン動画Ｄ１乃至第３プレーン動画Ｄ３の各々のフレームレートを設定する。

具体的には図５の例では、時刻ｔ０から時刻ｔ１までの間においては、５０ｍｓ毎に、第１プレーン動画Ｄ１が最優先のものであるとプレーン動画優先度決定部４２によりその都度決定される。
従って、時刻ｔ０の５０ｍｓ後から、時刻ｔｘまで（時刻ｔ１の５０ｍｓ後まで）の時間帯Ｔ１においては、５０ｍｓ毎に、フレームレート設定部４３−１により、最優先の第１プレーン動画Ｄ１のフレームレートが２０ｆｐｓにその都度設定されると共に、フレームレート設定部４３−２，４３−３の各々により、第２プレーン動画Ｄ２，第３プレーン動画Ｄ３の各フレームレートが５ｆｐｓにその都度それぞれ設定される。

図６（ｂ）は、図５の時刻ｔｘのタイミングにおける表示画像の一例が示されている。
図６（ｂ）の表示画像が表示されている時刻ｔｘでは、図６（ａ）の表示画像が表示されていたときとは状況が変化したため、プレーン動画優先度決定部４２は、第２プレーン動画Ｄ２のデータを最優先と決定したものとする。即ち、時刻ｔｘのタイミングで、最優先のプレーン動画が、第１プレーン動画Ｄ１から第２プレーン動画Ｄ２に変化したものとする。

この場合、時刻ｔｙ（時刻ｔｘの５０ｍｓ後）以降の時間帯Ｔ２においては、５０ｍｓ毎に、フレームレート設定部４３−２により、最優先の第２プレーン動画Ｄ２のフレームレートが２０ｆｐｓにその都度設定されると共に、フレームレート設定部４３−１，４３−３の各々により、第１プレーン動画Ｄ１，第３プレーン動画Ｄ３の各フレームレートが５ｆｐｓにその都度それぞれ設定される。

すると、時刻ｔｘ以降の５０ｍｓ間隔の各時刻毎に（５０ｆｐｓで）、最優先の第２プレーン動画Ｄ２の補間データが、各時刻毎に新たに生成されて、合成部４４における表示画像のデータの生成に用いられる。一方で、第１プレーン動画Ｄ１，第３プレーン動画Ｄ３については、新たな補間データが生成されないので、前回に生成された補間データが繰り返し合成部４４における表示画像のデータの生成に用いられる。
そして、第１プレーン動画Ｄ１乃至第３プレーン動画Ｄ３の全ての新たな補間データが前回生成された時刻ｔ１から２００ｍｓが経過したタイミング、即ち時刻ｔ２のタイミングで、最優先の第２プレーン動画Ｄ２のみならず、第１プレーン動画Ｄ１、及び第３プレーン動画Ｄ３の各々の補間データも新たに生成されて、これらの新たな補間データがそれぞれ合成部４４において合成されて、表示画像のデータが生成される。

即ち、時刻ｔｘ以降の時間帯Ｔ２においては、表示制御部４５の制御により表示部５１全体に表示される表示画像自体は、２０ｆｐｓで（即ち５０ｍｓ毎に）更新される。ただし、表示画像のうち、５０ｍｓ毎に実際に表示が更新されている部分は最優先の第２プレーン動画Ｄ２のみであり、それ以外の第１プレーン動画Ｄ１，第３プレーン動画Ｄ３については、２００ｍｓ毎の時刻ｔ２，ｔ３のそれぞれで表示が更新される。

さらに以下、図７を参照して、プレーン動画合成表示処理の流れについて説明する。
図７は、図２の機能的構成を有する図１の画像処理装置１が実行するプレーン動画合成表示処理の流れの一例を説明するフローチャートである。

ステップＳ１において、プレーン動画優先度決定部４２は、表示画像内に並列に配置されている第１プレーン動画乃至第Ｎプレーン動画のデータの各々の優先度を決定する。

ステップＳ２において、フレームレート設定部４３−１乃至４３−Ｎの各々は、ステップＳ１の処理で決定された各優先度に基づいて、第１プレーン動画乃至第Ｎプレーン動画の各々のフレームレートを設定する。

ステップＳ３において、プレーン動画生成部４１−１乃至４１−Ｎの各々は、ステップＳ２の処理で設定された各フレームレートで、第１プレーン動画乃至第Ｎプレーン動画の各プレーンフレームのデータ（補間データ）を生成する。
ただし、各フレームレートは個別に設定されるので、それぞれ異なる場合がある。このような場合、最高のフレームレートが設定されたプレーン動画については、プレーンフレームのデータは毎回生成される。これに対して、それよりも低いフレームレートが設定されたプレーン動画については、前回の補間データが生成されてから、当該フレームレートに対応する時間が経過していなければ、新たな補間データが生成されずに、前回の補間データが流用される。

ステップＳ４において、合成部４４は、第１プレーン動画乃至第Ｎプレーン動画の各プレーンフレームのデータ（補間データ）を合成することで、第１プレーン動画乃至第Ｎプレーン動画の各々が並列に配置された表示画像のデータ、より正確には表示画像のフレームのデータを生成する。

ステップＳ５において、表示制御部４５は、当該表示画像のフレームを表示部５１に表示させる。

ステップＳ６において、プレーン動画優先度決定部４２等は、処理の終了が指示されたか否かを判定する。
処理の終了が未だ指示されていない場合、ステップＳ５においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、処理の終了が指示されるまでの間、ステップＳ１乃至Ｓ６の処理が繰り返し実行されて、表示部５１に表示される表示画像のフレームが順次更新されていく、
その後に処理の終了が指示されると、ステップＳ６においてＹＥＳであると判定されて、プレーン動画合成表示処理が終了となる。

以上説明したように、画像処理装置１は、プレーン動画生成部４１−１乃至４１−Ｎと、プレーン動画優先度決定部４２と、フレームレート設定部４３−１乃至４３−Ｎと、合成部４４と、表示制御部４５と、を備えている（図２参照）。
プレーン動画生成部４１−１乃至４１−Ｎは、所定の表示領域（本実施形態では図３の全体描画領域Ｍ）を含む３次元空間に配置される複数のプレーンの各々の表示対象として、複数のキーフレーム（プレーンフレーム）のデータと、当該キーフレームの間に補間する複数のプレーンフレームのデータ（補間データ）とからなる、第１プレーン動画乃至第Ｎプレーン動画のデータをそれぞれ生成する。
プレーン動画優先度決定部４２は、第１プレーン動画乃至第Ｎプレーン動画の各データについて、所定の表示領域と垂直方向の複数のプレーンの配置位置に基づいて、表示品質を確保するための優先度を決定する。
フレームレート設定部４３−１乃至４３−Ｎは、決定された優先度に基づいて、第１プレーン動画乃至第Ｎプレーン動画の各データが生成される際のフレームレートを個別に設定する。
合成部４４は、個別に設定された各フレームレートでそれぞれ生成された第１プレーン動画乃至第Ｎプレーン動画のデータを合成することで、より正確には各プレーンフレームのデータを合成することで、複数のプレーンを所定の表示領域に配置させた表示画像のデータを生成する。
表示制御部４５は、合成部４４により生成されたデータに基づいて、表示画像の表示を制御する。

このように、プレーン動画のデータの生成時（補間データの生成時）のフレームレートは、全てのデータで一律ではなく、高い優先度のデータになる程フレームレートが高くなる。これにより、全てのプレーン動画のデータを一律に高フレームレートで生成する場合に比較して、画像処理装置１の処理負荷は軽減される。
また、優先度は、所定の表示領域と垂直方向の複数のプレーンの配置位置に基づいて、例えば上述の第１規則に基づいて設定される。ここで、所定の表示領域と垂直方向とは、表示画面の奥行き方向に相当する。また、ユーザは、例えば前面（手前側）に存在するプレーン程注目しやすいという特徴を有している。優先度は、この特徴に基づいて設定されるので、ユーザの着目度と関連する。このため、優先度が高いのもの程フレームレートが高くなることは、ユーザの着目部分になる程フレームレートが高くなる、即ち、ユーザの着目部分になる程画質が向上することを意味する。
従って、フレームの補間処理（補間データの生成処理）の負荷を軽減させると共に、ユーザの着目部分の画質を向上させることが可能になる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば上述の実施形態では、優先度の決定手法としては、１セットの第１規則乃至第４規則を用いて、第１規則乃至第４規則の順に順次適用して決定するといった手法が採用されていたが、特にこれに限定されない。
第１規則乃至第４規則のうち任意の種類の任意の組み合わせを１セットとして用いてもよいし、第１規則乃至第４規則の何れかを単体で用いてもよい。
さらに、第１規則乃至第４規則とは別の規則を用いてもよい。さらに、この場合、別の規則だけを用いてもよいし、別の規則と、第１規則乃至第４規則のうち任意の種類の任意の組み合わせとを１セットで用いてもよい。

例えば、合成部４４は、
複数のプレーンの各々を所定の表示領域（上述の実施形態では全体描画領域Ｍ）の所定方向に並列に配置させた表示画像のデータを生成し、
プレーン動画優先度決定部４２は、所定の表示領域の中央の位置を基準として、複数のプレーンの各々の所定方向の配置位置に基づいて、優先度を決定する、
ようにしてもよい。
ユーザは、所定の表示領域（例えば表示画面全体）の中央の位置に着目しやすいという特徴を有している。当該優先度は、この特徴に基づいて設定されるので、ユーザの着目度と関連する。このため、優先度が高いのもの程フレームレートが高くなることは、ユーザの着目部分になる程フレームレートが高くなる、即ち、ユーザの着目部分になる程画質が向上することを意味する。
従って、フレームの補間処理（補間データの生成処理）の負荷を軽減させると共に、ユーザの着目部分の画質を向上させることが可能になる。
ここで、所定方向としてＸ方向（図３）を採用すれば、上述の第２規則に従った優先度の決定手法になる。

また例えば、プレーン動画生成部４１−１乃至４１−Ｎは、
複数のプレーンの各々の表示対象として、動オブジェクトをそれぞれ含む複数の動画像のデータを生成し、
プレーン動画優先度決定部４２は、さらに、当該動オブジェクトのプレーンにおける占有面積に基づいて、優先度を決定する、
ようにしてもよい。
ユーザは、プレーン内の動オブジェクトが大きい程着目しやすいという特徴を有している。当該優先度は、この特徴に基づいて設定されるので、ユーザの着目度と関連する。このため、優先度が高いもの程フレームレートが高くなることは、ユーザの着目部分になる程フレームレートが高くなる、即ち、ユーザの着目部分になる程画質が向上することを意味する。
従って、フレームの補間処理（補間データの生成処理）の負荷を軽減させると共に、ユーザの着目部分の画質を向上させることが可能になる。
ここで、動オブジェクトとして、踊るキャラクタ等を採用すれば、上述の第３規則に従った優先度の決定手法になる。

また、上述の実施形態では、本発明が適用される画像処理装置１は、パーソナルコンピュータを例として説明したが、特にこれに限定されない。
例えば、本発明は、動画表示制御機能を有する電子機器一般に適用することができる。具体的には例えば、本発明は、デジタルカメラ、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、スマートフォン、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１８に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

［付記１］
所定の表示領域を含む３次元空間に配置される複数のプレーンの各々の表示対象として、複数のキーフレームのデータと、当該キーフレームの間に補間する複数のフレームのデータとからなる動画像のデータをそれぞれ生成する動画生成手段と、
前記動画生成手段により生成された複数の前記動画像のデータについて、前記所定の表示領域と垂直方向の前記複数のプレーンの配置位置に基づいて、優先度を決定する優先度決定手段と、
前記優先度決定手段により決定された前記優先度に基づいて、前記動画生成手段により前記複数の動画像のデータの各々が生成される際のフレームレートを個別に設定するフレームレート設定手段と、
前記フレームレート設定手段により個別に設定された前記フレームレートの各々で前記動画生成手段により生成された前記複数の動画のデータを合成することで、前記複数のプレーンを前記所定の表示領域に配置させた表示画像のデータを生成する合成手段と、
前記合成手段により生成されたデータに基づいて、前記表示画像の表示を制御する表示制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記合成手段は、前記複数のプレーンの各々を前記所定の表示領域の所定方向に並列に配置させた前記表示画像のデータを生成し、
前記優先度決定手段は、さらに、前記所定の表示領域の中央の位置を基準として、前記複数のプレーンの各々の前記所定方向の配置位置に基づいて、前記優先度を決定する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記動画生成手段は、前記複数のプレーンの各々の表示対象として、動オブジェクトをそれぞれ含む前記複数の動画像のデータを生成し、
前記優先度決定手段は、さらに、前記動オブジェクトの前記プレーンにおける占有面積に基づいて、前記優先度を決定する、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
動画像の表示の制御を実行する画像処理装置が実行する画像処理方法において、
所定の表示領域を含む３次元空間に配置される複数のプレーンの各々の表示対象として、複数のキーフレームのデータと、当該キーフレームの間に補間する複数のフレームのデータとからなる動画像のデータをそれぞれ生成する動画生成ステップと、
前記動画生成ステップの処理により生成された複数の前記動画像のデータについて、前記所定の表示領域と垂直方向の前記複数のプレーンの配置位置に基づいて、優先度を決定する優先度決定ステップと、
前記優先度決定ステップの処理により決定された前記優先度に基づいて、前記動画生成ステップの処理により前記複数の動画像のデータの各々が生成される際のフレームレートを個別に設定するフレームレート設定ステップと、
前記フレームレート設定ステップの処理により個別に設定された前記フレームレートの各々で前記動画生成ステップの処理により生成された前記複数の動画のデータを合成することで、前記複数のプレーンを前記所定の表示領域に配置させた表示画像のデータを生成する合成ステップと、
前記合成ステップの処理により生成されたデータに基づいて、当該表示画像の表示を制御する表示制御ステップと、
を含むことを特徴とする画像処理方法。
［付記５］
動画像の表示の制御を実行するコンピュータを、
所定の表示領域を含む３次元空間に配置される複数のプレーンの各々の表示対象として、複数のキーフレームのデータと、当該キーフレームの間に補間する複数のフレームのデータとからなる動画像のデータをそれぞれ生成する動画生成手段、
前記動画生成手段により生成された複数の前記動画像のデータについて、前記所定の表示領域と垂直方向の前記複数のプレーンの配置位置に基づいて、優先度を決定する優先度決定手段、
前記優先度決定手段により決定された前記優先度に基づいて、前記動画生成手段により前記複数の動画像のデータの各々が生成される際のフレームレートを個別に設定するフレームレート設定手段、
前記フレームレート設定手段により個別に設定された前記フレームレートの各々で前記動画生成手段により生成された前記複数の動画のデータを合成することで、前記複数のプレーンを前記所定の表示領域に配置させた表示画像のデータを生成する合成手段、
前記合成手段により生成されたデータに基づいて、前記表示画像の表示を制御する表示制御手段、
として機能させることを特徴とするプログラム。

１・・・画像処理装置， １１・・・ＣＰＵ， １７・・・出力部， １８・・・記憶部， １９・・・通信部， ３１・・・リムーバブルメディア， ４１−１乃至４１−Ｎ・・・プレーン動画生成部， ４２・・・プレーン動画優先度決定部， ４３−１乃至４３−Ｎ・・・フレームレート設定部， ４４・・・合成部， ４５・・・表示制御部， ５１・・・表示部

Claims (5)

1. 所定の表示領域を含む３次元空間に配置される複数のプレーンの各々の表示対象として、複数のキーフレームのデータと、当該キーフレームの間に補間する複数のフレームのデータとからなる動画像のデータをそれぞれ生成する動画生成手段と、
   前記動画生成手段により生成された複数の前記動画像のデータについて、前記所定の表示領域と垂直方向の前記複数のプレーンの配置位置に基づいて、優先度を決定する優先度決定手段と、
   前記優先度決定手段により決定された前記優先度に基づいて、前記動画生成手段により前記複数の動画像のデータの各々が生成される際のフレームレートを個別に設定するフレームレート設定手段と、
   前記フレームレート設定手段により個別に設定された前記フレームレートの各々で前記動画生成手段により生成された前記複数の動画のデータを合成することで、前記複数のプレーンを前記所定の表示領域に配置させた表示画像のデータを生成する合成手段と、
   前記合成手段により生成されたデータに基づいて、前記表示画像の表示を制御する表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記合成手段は、前記複数のプレーンの各々を前記所定の表示領域の所定方向に並列に配置させた前記表示画像のデータを生成し、
   前記優先度決定手段は、さらに、前記所定の表示領域の中央の位置を基準として、前記複数のプレーンの各々の前記所定方向の配置位置に基づいて、前記優先度を決定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記動画生成手段は、前記複数のプレーンの各々の表示対象として、動オブジェクトをそれぞれ含む前記複数の動画像のデータを生成し、
   前記優先度決定手段は、さらに、前記動オブジェクトの前記プレーンにおける占有面積に基づいて、前記優先度を決定する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 動画像の表示の制御を実行する画像処理装置が実行する画像処理方法において、
   所定の表示領域を含む３次元空間に配置される複数のプレーンの各々の表示対象として、複数のキーフレームのデータと、当該キーフレームの間に補間する複数のフレームのデータとからなる動画像のデータをそれぞれ生成する動画生成ステップと、
   前記動画生成ステップの処理により生成された複数の前記動画像のデータについて、前記所定の表示領域と垂直方向の前記複数のプレーンの配置位置に基づいて、優先度を決定する優先度決定ステップと、
   前記優先度決定ステップの処理により決定された前記優先度に基づいて、前記動画生成ステップの処理により前記複数の動画像のデータの各々が生成される際のフレームレートを個別に設定するフレームレート設定ステップと、
   前記フレームレート設定ステップの処理により個別に設定された前記フレームレートの各々で前記動画生成ステップの処理により生成された前記複数の動画のデータを合成することで、前記複数のプレーンを前記所定の表示領域に配置させた表示画像のデータを生成する合成ステップと、
   前記合成ステップの処理により生成されたデータに基づいて、当該表示画像の表示を制御する表示制御ステップと、
   を含むことを特徴とする画像処理方法。
5. 動画像の表示の制御を実行するコンピュータを、
   所定の表示領域を含む３次元空間に配置される複数のプレーンの各々の表示対象として、複数のキーフレームのデータと、当該キーフレームの間に補間する複数のフレームのデータとからなる動画像のデータをそれぞれ生成する動画生成手段、
   前記動画生成手段により生成された複数の前記動画像のデータについて、前記所定の表示領域と垂直方向の前記複数のプレーンの配置位置に基づいて、優先度を決定する優先度決定手段、
   前記優先度決定手段により決定された前記優先度に基づいて、前記動画生成手段により前記複数の動画像のデータの各々が生成される際のフレームレートを個別に設定するフレームレート設定手段、
   前記フレームレート設定手段により個別に設定された前記フレームレートの各々で前記動画生成手段により生成された前記複数の動画のデータを合成することで、前記複数のプレーンを前記所定の表示領域に配置させた表示画像のデータを生成する合成手段、
   前記合成手段により生成されたデータに基づいて、前記表示画像の表示を制御する表示制御手段、
   として機能させることを特徴とするプログラム。

Images