JP2013172394A - 画像処理装置及び画像表示システム - Google Patents

Abstract

【課題】背景画像の動きの量に関わらず、フレーム全体の動きの特性に応じた表示領域にアプリケーション画像を表示する。
【解決手段】ビデオ画像データのフレームを構成する複数のゾーンのそれぞれについて、ベクトルアクティビティ計算部１６１は動きベクトルに応じたベクトルアクティビティを、係数アクティビティ計算部１６２は離散コサイン変換係数の数に応じた係数アクティビティを計算する。ゾーンアクティビティ計算部１６３は、ベクトルアクティビティ及び係数アクティビティに応じたゾーンアクティビティを計算する。ゾーン選択部１６４は、全ゾーンのうち、ゾーンアクティビティが最小であるインアクティブゾーンを選択する。表示領域生成部１６５は、インアクティブゾーンの少なくとも一部に表示領域を生成する。表示管理部１８は、ビデオ画像データに対して、表示領域にアプリケーション画像データを合成した表示画像データを生成する。
【選択図】図５

Description

本発明の実施形態は、画像処理装置及び画像表示システムに関する。

近年、テレビにアプリケーションを追加し、追加したアプリケーションのアプリケーション画像を、例えばテレビ映像や動画等の画像に重ねて表示することが求められている。このような場合、表示装置には、アプリケーション画像を表示すべき表示領域を選択するモジュールが必要である。

従来、背景画像に他の画像を重ねて表示する際、背景画像内の動きの少ない領域を表示領域として選択し、表示領域に背景画像と他の画像を重ねて表示する画像表示装置が知られている。
しかしながら、従来の画像表示装置は、人物等の重要画像が動きの少ない領域にある場合であっても、動きの少ない領域を表示領域として選択する。その結果、重要画像に他の画像が重ねて表示されてしまう。従って、背景画像とアプリケーション画像とを同時に表示する場合、ユーザは、背景画像内の重要画像を見ることができない。

特開２００６−３３２１０号公報

本発明が解決しようとする課題は、背景画像の動きの量に関わらず、フレーム全体の動きの特性に応じた表示領域にアプリケーション画像を表示することである。

本実施形態の画像処理装置は、ベクトルアクティビティ計算部と、係数アクティビティ計算部と、ゾーンアクティビティ計算部と、ゾーン選択部と、表示領域生成部と、表示管理部と、を備える。ベクトルアクティビティ計算部は、ビデオ画像データのフレームを構成する複数のゾーンのそれぞれについて、動きベクトルに応じたベクトルアクティビティを計算する。係数アクティビティ計算部は、各ゾーンについて、離散コサイン変換係数の数に応じた係数アクティビティを計算する。ゾーンアクティビティ計算部は、各ゾーンについて、前記ベクトルアクティビティ及び前記係数アクティビティに応じたゾーンアクティビティを計算する。ゾーン選択部は、全ゾーンのうち、前記ゾーンアクティビティが最小であるインアクティブゾーンを選択する。表示領域生成部は、前記インアクティブゾーンの少なくとも一部に表示領域を生成する。表示管理部は、前記ビデオ画像データに対して、前記表示領域にアプリケーション画像データを合成した表示画像データを生成する。

本実施形態の画像表示システム１のブロック図。 本実施形態の表示画像の概略図。 本実施形態の画像復号部１２のブロック図。 本実施形態の復号フレームの概略図。 本実施形態の表示領域選択部１６のブロック図。 本実施形態の画像処理のフローチャート。 本実施形態の表示領域選択処理のフローチャート。 本実施形態のインアクティブ領域検出処理のフローチャート。 本実施形態のベクトルアクティビティ計算のフローチャート。 ベクトルアクティビティの計算方法の説明図。 本実施形態のベクトルアクティビティ計算により得られるベクトルアクティビティの概略図。 本実施形態の係数アクティビティ計算のフローチャート。 本実施形態の係数アクティビティの計算ルールの説明図。 本実施形態の係数アクティビティ計算により得られる係数アクティビティの概略図。 本実施形態のゾーンアクティビティ計算により得られるゾーンアクティビティ情報の概略図。 本実施形態の表示領域決定処理のフローチャート。 本実施形態の表示領域決定処理の説明図。 本実施形態の表示領域決定処理の説明図。 本実施形態の表示領域決定処理の説明図。 本実施形態の表示領域決定処理の変形例の説明図。

本実施形態の画像表示システム１について説明する。図１は、本実施形態の画像表示システム１のブロック図である。画像表示システム１は、画像処理装置１０と、入力インタフェース２０と、アプリケーション３０と、表示装置４０とを備える。

入力インタフェース２０は、画像表示システム１の外部からビデオストリームを入力する。ビデオストリームは、例えば、デジタルテレビ放送のデータストリームを受信するチューナ、又はビデオデータの符号化データを生成するビデオエンコーダによって生成される。

アプリケーション３０は、アプリケーション画像を表示装置４０に表示させることを要求するアプリケーションリクエストを生成する。アプリケーションリクエストは、アプリケーション画像を表すアプリケーション画像データと、アプリケーション画像の表示サイズを示すサイズ情報とを含む。アプリケーション画像は、例えばアプリケーションのウィジェット又は広告等である。

画像処理装置１０は、ビデオストリーム及びアプリケーションリクエストに基づいて、表示画像データを生成する。表示画像データは、表示装置４０に表示すべき表示画像を表すデータであって、ビデオレイヤとアプリケーションレイヤとを含む。ビデオレイヤには、ビデオフレーム（即ち、ビデオ画像データ）が配置される。アプリケーションレイヤには、アプリケーション画像データが配置される。

画像処理装置１０は、画像復号部１２と、フレーム処理部１４と、表示領域選択部１６と、表示管理部１８とを備える。画像復号部１２は、ビデオストリームを復号し、復号フレームを生成する。フレーム処理部１４は、復号フレームに対してフレーム処理を実行し、ビデオフレームを生成する。表示管理部１８は、入力されたアプリケーションリクエストから、アプリケーション画像データのサイズ情報を抽出し、表示領域選択部１６に出力する。表示領域選択部１６は、動きベクトルと、離散コサイン変換（以下、「ＤＣＴ（Ｄｅｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）という」係数の数と、サイズ情報とに基づいて、アプリケーション画像データの表示領域を選択する。表示領域は、アプリケーション画像データを配置すべきアプリケーションレイヤ内の領域である。表示管理部１８は、ビデオフレームをビデオレイヤに配置し、アプリケーション画像データをアプリケーションレイヤの表示領域に配置し、ビデオレイヤとアプリケーションレイヤとを合成し、表示画像データを生成する。

表示装置４０は、表示画像データが表す表示画像を表示する。表示装置４０は、例えば液晶パネル又は有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）パネルである。これにより、ユーザは、ビデオフレームに対応するビデオ画像とアプリケーション画像とを同時に見ることができる。図２は、本実施形態の表示画像の概略図である。

本実施形態の画像復号部１２について説明する。図３は、本実施形態の画像復号部１２のブロック図である。画像復号部１２は、可変長復号部１２１と、逆スキャン部１２２と、逆量子化部１２３と、動き補償部１２４と、復号フレーム生成部１２５と、フレームメモリ１２６とを備える。

可変長復号部１２１は、ｎ（ｎは自然数）番目のビデオストリームＶＦ（ｎ）に対して可変長復号処理を実行し、可変長復号データＶＤ（ｎ）及び動きベクトルＭＶ（ｎ）を生成する。可変長復号データＶＤ（ｎ）は、ビデオストリームＶＦ（ｎ）の画素値を表す信号（例えば、輝度及び色差を示すＹＵＶ信号）を含む。動きベクトルＭＶ（ｎ）は、ビデオストリームＶＦ（ｎ）の画像の動きの量及び方向を示す。

逆スキャン部１２２は、可変長復号データＶＤ（ｎ）に対して逆スキャン処理を実行し、量子化データＱ（ｎ）を生成する。逆スキャン処理は、例えばジグザグスキャン又はオルタネートスキャンである。

逆量子化部１２３は、量子化データＱ（ｎ）に対して逆量子化処理を実行し、ＤＣＴ係数データＤＣ（ｎ）を生成する。また、逆量子化部１２３は、ＤＣＴ係数の数をカウントし、係数情報ＣＩ（ｎ）を生成する。係数情報ＣＩ（ｎ）は、ビデオストリームＶＦ（ｎ）のＤＣＴ係数の数を示す。
動きベクトルＭＶ（ｎ）及び係数情報ＣＩ（ｎ）は、表示領域選択部１６に出力される。

動き補償部１２４は、フレームメモリ１２６に記憶された復号フレームＤＦ（ｎ−１）（即ち、ビデオストリームＶＦ（ｎ−１）に対応する復号フレーム）と、動きベクトルＭＶ（ｎ）とに基づいて、予測画像データＰＩ（ｎ）を生成する。

復号フレーム生成部１２５は、ＤＣＴ係数データＤＣ（ｎ）に予測画像データＰＩ（ｎ）を加算し、復号フレームＤＦ（ｎ）を生成する。復号フレームＤＦ（ｎ）は、フレーム処理部１４に出力される。また、復号フレームＤＦ（ｎ）は、フレームメモリ１２６に記憶され、復号フレームＤＦ（ｎ＋１）（即ち、ビデオフレームＶＦ（ｎ＋１）に対応する復号フレーム）の生成に用いられる。

本実施形態の復号フレームについて説明する。図４は、本実施形態の復号フレームの一例を示す概略図である。復号フレームは、所定数（例えば４×４）のゾーンを含む。１つのゾーンは、複数（例えば、１６×９）のマクロブロックを含む。好ましくは、マクロブロックの数は、復号フレームの端部のゾーンから中央のゾーンに向かって増加する（即ち、マクロブロックの数は、ゾーン毎に異なる）。可変長復号データがＹＵＶ信号を含む場合のマクロブロックは、少なくとも１個の動きベクトルと、最大で３８４（＝８×８×６）個のＤＣＴ係数とを含む。

本実施形態の表示領域選択部１６について説明する。図５は、本実施形態の表示領域選択部１６のブロック図である。表示領域選択部１６は、アクティブ領域検出部１６ａと、表示領域決定部１６ｂとを備える。アクティブ領域検出部１６ａは、ベクトルアクティビティ計算部１６１と、係数アクティビティ計算部１６２と、ゾーンアクティビティ計算部１６３とを備える。表示領域決定部１６ｂは、ゾーン選択部１６４と、表示領域生成部１６５とを備える。

ベクトルアクティビティ計算部１６１は、動きベクトルに基づいて、ベクトルアクティビティを計算する。ベクトルアクティビティは、ビデオ画像の動きで決まる画像の重要度を示す。大きなベクトルアクティビティは、画像が重要であることを意味する。

係数アクティビティ計算部１６２は、係数情報に基づいて係数アクティビティを計算する。係数アクティビティは、ビデオ画像のフォーカスで決まる画像の重要度を示す。大きな係数アクティビティは、画像が重要であることを意味する。

ゾーンアクティビティ計算部１６３は、ベクトルアクティビティ及び係数アクティビティに基づいてゾーンアクティビティを計算する。ゾーンアクティビティは、ビデオ画像の動き及びフォーカスの両方で決まる画像の重要度を示す。大きなゾーンアクティビティは、重要な画像がゾーンに含まれることを意味する。また、ゾーンアクティビティ計算部１６３は、ベクトルアクティビティと、係数アクティビティと、ゾーンアクティビティとを、アクティビティ情報として出力する。

ゾーン選択部１６４は、アクティビティ情報及びサイズ情報に基づいて、アプリケーション画像の表示領域に最適な表示パッケージ（アプリケーションレイヤ）を選択する。１つの表示パッケージは、１又は複数のゾーンを含む。１つの表示パッケージに含まれるゾーンの数は、サイズ情報に応じて決まる。表示領域生成部１６５は、表示パッケージに基づいて表示領域情報を生成する。表示領域情報は、アプリケーション画像の表示領域を示す。表示領域の形状は例えば、２つの座標で決まる矩形、又は円形、楕円形、多角形、複数の曲線、若しくはそれらの組み合わせにより構成される任意の形状である。

本実施形態の画像処理装置１０の動作について説明する。図６は、本実施形態の画像処理のフローチャートである。画像処理では、画像復号（Ｓ６００）及びフレーム処理（Ｓ６０２）と、リクエスト受付（Ｓ６２０）及び表示領域選択処理（Ｓ６２２）とが並行して行われる。Ｓ６０２及びＳ６２２の後に、表示画像生成（Ｓ６０４）及び出力（Ｓ６０６）が行われる。

＜Ｓ６００及びＳ６０２＞ 画像復号部１２は、ビデオストリームを復号し、復号フレームを生成する（Ｓ６００）。フレーム処理部１４は、復号フレームに対してフレーム処理を実行し、ビデオフレームを生成する（Ｓ６０２）。

＜Ｓ６２０及びＳ６２２＞ 表示管理部１８は、アプリケーション３０からアプリケーションリクエストを受け付ける（Ｓ６２０）。表示領域選択部１６は、動きベクトルと、係数情報と、サイズ情報とに基づいて、アプリケーションリクエストに含まれるアプリケーション画像データを表示する表示領域を選択する（Ｓ６２２）。

＜Ｓ６０４及びＳ６０６＞ 表示管理部１８は、ビデオレイヤとアプリケーションレイヤとを合成し、アプリケーション画像データを所望の表示領域に配置した表示画像データを生成する（Ｓ６０４）。表示管理部１８は、表示画像データを表示装置４０へ出力する（Ｓ６０６）。

図７は、本実施形態の表示領域選択処理のフローチャートである。表示領域選択処理では、インアクティブ領域検出処理（Ｓ７００）と表示領域決定処理（Ｓ７０２）とが行われる。表示領域選択部１６は、インアクティブ領域を検出する（Ｓ７００）。インアクティブ領域とは、フレーム全体の平均値よりビデオ画像の動き及びフォーカスが少ない領域である。表示領域選択部１６は、インアクティブ領域の少なくとも一部を表示領域として決定する（Ｓ７０２）。Ｓ７０２の後は、Ｓ６０４へ進む。

図８は、本実施形態のインアクティブ領域検出処理のフローチャートである。インアクティブ領域検出処理では、ベクトルアクティビティ計算（Ｓ８００）と、係数アクティビティ計算（Ｓ８０２）と、ゾーンアクティビティ計算（Ｓ８０４）とが行われる。Ｓ８００及びＳ８０２は、順不同である。Ｓ８０４の後は、Ｓ７０２へ進む。

図９は、本実施形態のベクトルアクティビティ計算のフローチャートである。ベクトルアクティビティ計算部１６１は、各ゾーンについて、ゾーンの動きベクトルの累積値を計算する（Ｓ９００）。ゾーンの動きベクトルの累積値とは、１つのゾーンの全マクロブロックの動きベクトルの合計である。

ベクトルアクティビティ計算部１６１は、各ゾーンについて、ゾーンの動き量の累積値を計算する（Ｓ９０２）。ゾーンの動き量の累積値とは、１つのゾーンの全マクロブロックの動きベクトルの絶対値の合計である。

ベクトルアクティビティ計算部１６１は、各ゾーンについて、ゾーンの平均動きベクトルを計算する（Ｓ９０４）。ゾーンの平均動きベクトルとは、１つのゾーンの動きベクトルの累積値と１つのゾーンのマクロブロックの数の商である。

ベクトルアクティビティ計算部１６１は、各ゾーンについて、ゾーンの平均動き量を計算する（Ｓ９０６）。ゾーンの平均動き量とは、１つのゾーンの動き量の累積値と１つのゾーンのマクロブロックの数の商である。

ベクトルアクティビティ計算部１６１は、フレームの平均動きベクトルを計算する（Ｓ９０８）。フレームの平均動きベクトルとは、全ゾーンの動きベクトルの累積値と全ゾーンのマクロブロックの数の商である。

ベクトルアクティビティ計算部１６１は、フレームの平均動き量を計算する（Ｓ９１０）。フレームの平均動き量とは、全ゾーンの動き量の累積値と全ゾーンのマクロブロックの数の商である。

ベクトルアクティビティ計算部１６１は、ベクトルルールに基づいて、ベクトルアクティビティを計算する（Ｓ９１２）。図１０は、ベクトルアクティビティの計算方法の説明図である。図１０（Ａ）に示すように、ベクトルルールは、０〜７のベクトルアクティビティを決めるためのルールであり、第１〜第４ベクトルルールを含む。「Ｙ」はベクトルルールに該当することを意味し、「Ｎ」はベクトルルールに該当しないことを意味する。

図１０（Ｂ）に示すように、第１ベクトルルールは「フレームの動きがランダムか否か？」であり、第２ベクトルルールは「ゾーンの動きがランダムか否か？」であり、第３ベクトルルールは「ゾーンの動き量がフレームの平均動き量より大きいか？」であり、第４ベクトルルールは「ゾーンの平均動きベクトルがフレームの平均動きベクトルと一致するか？」である。ゾーンの平均動きベクトルがフレームの平均動きベクトルと一致するということは、ゾーンの動きがフレームの動きと一致することを意味する。例えば、フレーム及びゾーンの動きがランダムであり（即ち、第１及び第２ベクトルルールに該当する）、ゾーンの動き量がフレームの平均動き量より大きく（第３ベクトルルール）、且つ、ゾーンの平均動きベクトルがフレームの平均動きベクトルより大きい（第４のベクトルルール）場合、ベクトルアクティビティは「１」である。ゾーン毎にベクトルルールを適用することにより、ゾーン毎のベクトルアクティビティが得られる。図１１は、本実施形態のベクトルアクティビティ計算により得られるベクトルアクティビティの一例の概略図である。Ｓ９１２が終了すると、Ｓ８０２へ進む。

図１２は、本実施形態の係数アクティビティ計算のフローチャートである。係数アクティビティ計算部１６２は、各ゾーンについて、ゾーンのＤＣＴ係数の数を計算する（Ｓ１２００）。ゾーンのＤＣＴ係数の数とは、１つのゾーンの全マクロブロックのＤＣＴ係数の総数である。

係数アクティビティ計算部１６２は、各ゾーンについて、ＤＣＴ係数の数の平均値を計算する（Ｓ１２０２）。ＤＣＴ係数の数の平均値とは、１つのゾーンのＤＣＴ係数の数と１つのゾーンのマクロブロックの数の商である。

係数アクティビティ計算部１６２は、フレームのＤＣＴ係数の数の平均値を計算する（Ｓ１２０４）。フレームのＤＣＴ係数の数の平均値とは、全ゾーンのＤＣＴ係数の総数と全ゾーンのマクロブロックの数の商である。

係数アクティビティ計算部１６２は、係数ルールに基づいて、係数アクティビティを計算する（Ｓ１２０６）。係数ルールとは、０〜３の係数アクティビティを決めるためのルールである。図１３は、本実施形態の係数アクティビティの計算ルールの説明図である。図１３に示すように、例えば第１〜第４係数ルールから構成される。
第１係数ルールは「ＤＣＴ係数の数＜閾値の１／４であるか？」であり、第２係数ルールは「閾値の１／４≦ＤＣＴ係数の数＜閾値の１／２であるか？」であり、第３係数ルールは「閾値の１／２≦ＤＣＴ係数の数＜閾値の３／４であるか？」であり、第４係数ルールは「閾値の３／４≦ＤＣＴ係数の数であるか？」である。例えば、ゾーンのフォーカスの程度が比較的小さい（即ち、第１係数ルールに該当する）場合、係数アクティビティは「１」である。ゾーン毎に係数ルールを適用することにより、ゾーン毎の係数アクティビティが得られる。図１４は、本実施形態の係数アクティビティ計算により得られる係数アクティビティの概略図である。Ｓ１２０６が終了すると、Ｓ８０４へ進む。

ゾーンアクティビティ計算部１６３は、ベクトルアクティビティ及び係数アクティビティに基づいてゾーンアクティビティを計算する（Ｓ８０４）。ゾーンアクティビティは、ベクトルアクティビティと係数アクティビティの和である。これにより、ゾーン毎のベクトルアクティビティ、係数アクティビティ及びゾーンアクティビティを示すアクティビティ情報が得られる。図１５は、本実施形態のゾーンアクティビティ計算により得られるゾーンアクティビティ情報の概略図である。Ｓ８０４が終了すると、Ｓ７０２へ進む。

図１６は、本実施形態の表示領域決定処理のフローチャートである。図１７〜１９は、本実施形態の表示領域決定処理の説明図である。

＜Ｓ１６００＞ ゾーン選択部１６４は、インアクティブゾーンを選択する。インアクティブゾーンとは、ゾーンアクティビティが最小となるゾーンである。図１５の場合、ゾーンアクティビティが“０”であるゾーン（１，１）、（１，２）又は（４，３）がインアクティブゾーンとして選択される。

＜Ｓ１６０２＞ ゾーン選択部１６４は、サイズ情報に基づいて、アプリケーション画像のサイズがインアクティブゾーンのサイズ以下であるか否かを判定する。アプリケーション画像のサイズがインアクティブゾーンのサイズ以下である場合（Ｓ１６０２−ＹＥＳ）、Ｓ１６０４へ進む。アプリケーション画像のサイズがインアクティブゾーンのサイズより大きい場合（Ｓ１６０２−ＮＯ）、ゾーン選択部１６４は、追加のインアクティブゾーンを選択する（Ｓ１６００）。追加のインアクティブゾーンとは、最初に選択されたインアクティブゾーンに隣接するゾーンの中で、ゾーンアクティビティが最小となるゾーンである。図４及び１５の場合、ゾーン（１，１）が最初のインアクティブゾーンとして選択されると、ゾーン（１，２）が追加のゾーンアクティビティとして選択される。アプリケーション画像のサイズ以上のサイズを有するインアクティブゾーンの集合が、表示パッケージである（図１７）。

＜Ｓ１６０４＞ 表示領域生成部１６５は、表示パッケージの４点の座標のうちの任意の１点を第１表示座標Ｐ１に決定する。具体的には、表示領域生成部１６５は、復号フレームを第１領域Ｒ１〜第４領域Ｒ４に分割する（図１８（Ａ）〜（Ｄ））。第１領域Ｒ１〜第４領域Ｒ４は、それぞれ、復号フレームの頂点を含むゾーン（１，１）、（１，４）、（４，１）又は（４，４）を含む、複数のゾーンから構成される。次いで、表示領域生成部１６５は、表示パッケージが属する領域（第１領域Ｒ１〜第４領域Ｒ４の何れか）に応じて、第１表示座標Ｐ１（ｘｐ１，ｙｐ１）を決定する。

例えば、図１８（Ａ）の場合（即ち、表示パッケージが第１領域Ｒ１に属する場合）、表示領域生成部１６５は、表示パッケージの最小Ｘ座標（ｘｍｉｎ）及び最小Ｙ座標（ｙｍｉｎ）を第１表示座標Ｐ１（ｘｐ１，ｙｐ１）に決定する（図１９（Ａ））。この場合には、第１表示座標Ｐ１は、表示パッケージの４点の座標のうち、復号フレーム空間上のＸ座標及びＹ座標の値が最小となる座標である。

例えば、図１８（Ｂ）の場合（即ち、表示パッケージが第２領域Ｒ２に属する場合）、表示領域生成部１６５は、表示パッケージの最小Ｘ座標（ｘｍｉｎ）及び最大Ｙ座標（ｙｍａｘ）を第１表示座標Ｐ１（ｘｐ１，ｙｐ１）に決定する（図１９（Ｂ））。この場合には、第１表示座標Ｐ１は、表示パッケージの４点の座標のうち、復号フレーム空間上のＸ座標の値が最小となり、Ｙ座標の値が最大となる座標である。この場合、“ｘｐ１＝ｘｍｉｎ”且つ“ｙｐ１＝ｙｍａｘ”である。

例えば、図１８（Ｃ）の場合（即ち、表示パッケージが第３領域Ｒ３に属する場合）、表示領域生成部１６５は、表示パッケージの最大Ｘ座標（ｘｍａｘ）及び最小Ｙ座標（ｙｍｉｎ）を第１表示座標Ｐ１（ｘｐ１，ｙｐ１）に決定する（図１９（Ｃ））。この場合には、第１表示座標Ｐ１は、表示パッケージの４点の座標のうち、復号フレーム空間上のＸ座標の値が最大となり、Ｙ座標の値が最小となる座標である。この場合、“ｘｐ１＝ｘｍａｘ”且つ“ｙｐ１＝ｙｍｉｎ”である。

例えば、図１８（Ｄ）の場合（即ち、表示パッケージが第４領域Ｒ４に属する場合）、表示領域生成部１６５は、表示パッケージの最大Ｘ座標（ｘｍａｘ）及び最大Ｙ座標（ｙｍａｘ）を第１表示座標Ｐ１（ｘｐ１，ｙｐ１）に決定する（図１９（Ｄ））。この場合には、第１表示座標Ｐ１は、表示パッケージの４点の座標のうち、復号フレーム空間上のＸ座標及びＹ座標の値が最大となる座標である。この場合、“ｘｐ１＝ｘｍａｘ”且つ“ｙｐ１＝ｙｍａｘ”である。

換言すると、表示領域生成部１６５は、表示パッケージを構成するゾーンのうち、復号フレームの頂点又は辺を含むゾーンの４点から、第１表示座標を決定する。即ち、第１表示座標は、復号フレームの頂点上又は辺上に位置する。

なお、表示領域生成部１６５は、表示パッケージの最大座標（ｘｍａｘ，ｙｍａｘ）を第１表示座標Ｐ１（ｘｐ１，ｙｐ１）に決定しても良い（図２０）。表示パッケージの最大座標とは、表示パッケージの４点の座標のうち、復号フレーム空間上のＸ座標及びＹ座標の値が最大となる座標である。

＜Ｓ１６０６＞ 表示領域生成部１６５は、第１表示座標Ｐ１及びサイズ情報に基づいて、第２表示座標Ｐ２を決定する。

例えば、図１８（Ａ）の場合、表示領域生成部１６５は、第１表示座標Ｐ１（ｘｐ１，ｙｐ１）とＸ方向の表示サイズｗ及びＹ方向の表示サイズｈとの和を第２表示座標Ｐ２（ｘｐ２，ｙｐ２）に決定する（図１９（Ａ））。この場合、“ｘｐ２＝ｘｐ１＋ｗ”且つ“ｙｐ２＝ｙｐ１＋ｈ”である。

例えば、図１８（Ｂ）の場合、表示領域生成部１６５は、第１表示座標Ｐ１のＸ座標（ｘｐ１）とＸ方向の表示サイズｗの和及び第１表示座標Ｐ１のＹ座標（ｙｐ１）とＹ方向の表示サイズｈとの差を、第２表示座標Ｐ２（ｘｐ２，ｙｐ２）に決定する（図１９（Ｂ））。この場合、“ｘｐ２＝ｘｐ１＋ｗ”且つ“ｙｐ２＝ｙｐ１−ｈ”である。

例えば、図１８（Ｃ）の場合、表示領域生成部１６５は、第１表示座標Ｐ１のＸ座標（ｘｐ１）とＸ方向の表示サイズｗの差及び第１表示座標Ｐ１のＹ座標（ｙｐ１）とＹ方向の表示サイズｈとの和を、第２表示座標Ｐ２（ｘｐ２，ｙｐ２）に決定する（図１９（Ｃ））。この場合、“ｘｐ２＝ｘｐ１−ｗ”且つ“ｙｐ２＝ｙｐ１＋ｈ”である。

例えば、図１８（Ｄ）の場合、表示領域生成部１６５は、第１表示座標Ｐ１（ｘｐ１，ｙｐ１）とＸ方向の表示サイズｗ及びＹ方向の表示サイズｈとの差を第２表示座標Ｐ２（ｘｐ２，ｙｐ２）に決定する（図１９（Ｄ））。この場合、“ｘｐ２＝ｘｐ１−ｗ”且つ“ｙｐ２＝ｙｐ１−ｈ”である。

一方、表示パッケージの最大座標（ｘｍａｘ，ｙｍａｘ）を第１表示座標Ｐ１（ｘｐ１，ｙｐ１）に決定した場合、表示領域生成部１６５は、第１表示座標Ｐ１（ｘｐ１，ｙｐ１）とＸ方向の表示サイズｗ及びＹ方向の表示サイズｈとの差を第２表示座標Ｐ２（ｘｐ２，ｙｐ２）に決定する（図２０）。この場合、“ｘｐ２＝ｘｐ１−ｗ”且つ“ｙｐ２＝ｙｐ１−ｈ”である。

Ｓ１６０６が終了すると、表示管理部１８は、ビデオフレームをビデオレイヤに配置し、アプリケーション画像データをアプリケーションレイヤの表示領域（即ち、第１表示座標Ｐ１及び第２表示座標Ｐ２により特定される矩形領域）に配置し、アプリケーションレイヤ及びビデオレイヤを合成し、表示画像を生成する（Ｓ６０４）。これにより、図２のように、ビデオフレームの非重要領域（表示領域）にオーバーレイ表示されるアプリケーション画像を含む表示画像が得られる。

本実施形態によれば、表示領域選択部１６は、動きベクトルに基づいてベクトルアクティビティを計算し、ＤＣＴ係数に基づいて係数アクティビティを計算し、ベクトルアクティビティ及び係数アクティビティに基づいてゾーンアクティビティを計算し、ゾーンアクティビティに基づいて、アプリケーション画像を表示するための表示領域を選択する。換言すると、表示領域選択部１６は、動きベクトルから得られるゾーンアクティビティに基づいて、表示画像において重要度が小さい領域にアプリケーション画像が配置されるように、表示領域を選択する。従って、背景画像の動きの量に関わらず、フレーム全体の動きの特性に応じた表示領域（例えば、フレーム全体の動きが少ない領域）にアプリケーション画像を表示することができる。特に、復号フレームの頂点を第１表示座標Ｐ１（ｘｐ１，ｙｐ１）として決定することにより、表示画像を分断することなく表示することができる。

本実施形態に係る画像処理装置１０の少なくとも一部は、ハードウェアで構成しても良いし、ソフトウェアで構成しても良い。ソフトウェアで構成する場合には、画像処理装置１０の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させても良い。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。

また、本実施形態に係る画像処理装置１０の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布しても良い。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。

なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化される。また、上述した実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明が形成可能である。例えば、上述した実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ 画像表示システム
１０ 画像処理装置
１２ 画像復号部
１２１ 可変長復号部
１２２ 逆スキャン部
１２３ 逆量子化部
１２４ 動き補償部
１２５ 復号フレーム生成部
１２６ フレームメモリ
１４ フレーム処理部
１６ 表示領域選択部
１６ａ アクティブ領域検出部
１６１ ベクトルアクティビティ計算部
１６２ 係数アクティビティ計算部
１６３ ゾーンアクティビティ計算部
１６ｂ 表示領域決定部
１６４ ゾーン選択部
１６５ 表示領域生成部
１８ 表示管理部
２０ 入力インタフェース
３０ アプリケーション
４０ 表示装置

Claims (5)

1. ビデオ画像データのフレームを構成する複数のゾーンのそれぞれについて、動きベクトルに応じたベクトルアクティビティを計算するベクトルアクティビティ計算部と、
   各ゾーンについて、離散コサイン変換係数の数に応じた係数アクティビティを係数アクティビティ計算部と、
   各ゾーンについて、前記ベクトルアクティビティ及び前記係数アクティビティに応じたゾーンアクティビティを計算するゾーンアクティビティ計算部と、
   全ゾーンのうち、前記ゾーンアクティビティが最小であるインアクティブゾーンを選択するゾーン選択部と、
   前記インアクティブゾーンの少なくとも一部に表示領域を生成する表示領域生成部と、
   前記ビデオ画像データに対して、前記表示領域にアプリケーション画像データを合成した表示画像データを生成する表示管理部と、を備えることを特徴とする画像処理装置。
2. 前記ベクトルアクティビティ計算部は、各ゾーンの前記動きベクトルの累積値と、各ゾーンの動き量の累積値と、前記フレームの平均動きベクトルと、前記フレームの平均動き量とを計算し、各ゾーンの前記動きベクトルの累積値と前記フレームの平均動きベクトルとの差と、各ゾーンの前記動き量の累積値と前記フレームの平均動き量との差とに応じて前記ベクトルアクティビティを計算する請求項１に記載の画像処理装置。
3. 前記係数アクティビティ計算部は、各ゾーンの前記離散コサイン変換係数の数と、前記フレームの前記離散コサイン変換係数の数の平均値とを計算し、各ゾーンの前記離散コサイン変換係数の数と前記離散コサイン変換係数の数の平均値との差に応じて前記係数アクティビティを計算する、請求項１又は２に記載の画像処理装置。
4. 前記表示領域生成部は、前記インアクティブゾーンの４点の座標のうち１点を第１表示座標に決定し、前記第１表示座標を起点とする領域に前記表示領域を生成する、請求項１乃至３の何れかに記載の画像処理装置。
5. 画像処理装置と、表示装置と、を含む画像表示システムであって、
   前記画像処理装置は、
   ビデオ画像データのフレームを構成する複数のゾーンのそれぞれについて、動きベクトルに応じたベクトルアクティビティを計算するベクトルアクティビティ計算部と、
   各ゾーンについて、離散コサイン変換係数の数に応じた係数アクティビティを係数アクティビティ計算部と、
   各ゾーンについて、前記ベクトルアクティビティ及び前記係数アクティビティに応じたゾーンアクティビティを計算するゾーンアクティビティ計算部と、
   全ゾーンのうち、前記ゾーンアクティビティが最小であるインアクティブゾーンを選択するゾーン選択部と、
   前記インアクティブゾーンの少なくとも一部に表示領域を生成する表示領域生成部と、
   前記ビデオ画像データに対して、前記表示領域にアプリケーション画像データを合成した表示画像データを生成する表示管理部と、を備え、
   前記表示装置は、前記表示画像データを表示することを特徴とする画像表示システム。

Images