JP2010016707A - 動画像復号装置、方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】マルチ表示のレイアウトに従って要求される仕様の動画サムネイルを柔軟に作成でき、さらに動画サムネイルを作成する際の処理量を削減しつつ、画質の劣化を極力抑えることのできる動画像復号装置を提供する。
【解決手段】動画像復号装置１００は、動画像ストリームのブロック毎に直交変換係数を復号する可変長復号部１０１と、復号した直交変換係数に対してブロック毎に逆量子化処理を施す逆量子化部１０３と、逆量子化した直交変換係数に対してブロック毎に逆直交変換処理を施す逆直交変換部１０４と、可変長復号部１０１で復号されたブロック毎の直交変換係数の分布状態に応じて、逆直交変換部１０４における逆直交変換処理を適応的に制御する逆直交変換適応制御部１０２とを備える。
【選択図】図１

Description

本発明は、複数の映像コンテンツを同時に画面に表示する際に、動画像ストリームを復号して表示用の動画像データを得るための動画像復号装置、動画像復号方法、プログラム、及び記録媒体に関する。

放送のデジタル化によるチャンネル数の増加やブロードバンドの普及により、テレビ放送のみならず、インターネットにおけるＩＰマルチキャスト放送やビデオオンデマンドなど、視聴可能な映像コンテンツの量は増加する傾向にある。さらに、ハードディスクドライブなどの記録媒体の大容量化が進み、家庭においてもより多くの映像コンテンツを記録蓄積できるようになり、関心のある番組は視聴するか、わからずともとりあえず記録しておくというように、家庭における映像コンテンツの視聴スタイルも次第に変化してきている。

このような背景から、膨大な数の映像コンテンツの中からユーザが所望のものを選択する（映像アクセス）上で、素早く、かつ直感的に所望の映像コンテンツを見つけ出すことのできるユーザインタフェース（ＵＩ）が必要である。

映像アクセスにおけるＵＩには、多数の映像コンテンツを一覧できるようにユーザに提示する所謂マルチ表示が有効である。近年、静止画と比べて情報量が多いこと、またテキスト情報では表しにくい映像コンテンツの内容に関する情報もそのまま表示可能であることから動画サムネイルを用いたマルチ表示が注目されている。

動画サムネイルのマルチ表示を実現するためには、圧縮符号化された動画像ストリームを複数同時に復号して再生する必要がある。特に、放送や通信により供給されるリアルタイム性の高い映像コンテンツのほか、記録メディアに記録された映像コンテンツなど、マルチソースの映像コンテンツに対応して即座にマルチ表示するためには、事前に作成した動画サムネイル用のファイルを使用するのではなく、動画像ストリームをデコードして直接動画サムネイルを得て表示する方法の重要性が増している。

ところで、映像コンテンツをマルチ表示するために動画サムネイルをリアルタイムで作成する方法では、符号化された動画像ストリームから元の動画像を復号し、さらに表示サイズに縮小処理する必要があり、処理量が大きいという問題がある。このような問題に対して、処理量を低減することのできるデコード方式が提案されている（例えば、特許文献１を参照）。
特許第４０１６１６６号明細書

ところで、映像アクセスにおけるＵＩをより使いやすいものとするためには、前述のような動画サムネイルによるマルチ表示に加えて、ユーザによりわかりやすく表示するための視覚的な効果を柔軟に行えることが必要となってくる。例えば、後述の図２２（Ａ）に示すように、動画サムネイルをタイル状に複数表示したマルチ表示において、ユーザが選択した動画サムネイルを周囲のものよりも拡大して表示することで、選択対象をわかりやすくすることができる。また、図２２（Ｂ）に示すように、選択された動画サムネイルを時間の経過と共に拡大し、最終的には全画面における再生へと変化させることで、操作結果をわかりやすくすることができる。

このような視覚的な効果を実現するためには、処理量の低減だけでなく、復号時または復号後に柔軟に動画像の解像度を変更でき、拡大表示をしても視覚上の劣化を感じさせないよう復号処理における画質劣化を極力抑えることが重要である。従来技術では、復号処理において予め定めたサイズ（４×４）での縮小逆離散コサイン変換により低周波成分についてのみ復号しているため、高周波成分を多く含む画像に対して再現性が悪い（画質が劣化する）という問題がある。

以上のように、従来技術では、使いやすいＵＩの実現のために必要とされる、動画サムネイル作成時の柔軟性の実現、および動画サムネイル作成時の処理量削減と画質劣化抑止との両立に対処できていなかった。

本発明は、上述のごとき実情に鑑みてなされたものであり、マルチ表示のレイアウトに従って要求される仕様の動画サムネイルを柔軟に作成でき、さらに動画サムネイルを作成する際の処理量を削減しつつ、画質の劣化を極力抑えることのできる動画像復号装置、動画像復号方法、プログラム、及び記録媒体を提供すること、を目的とする。

上記課題を解決するために、本発明の第１の技術手段は、入力された動画像ストリームの直交変換係数を復号する可変長復号部と、該復号した直交変換係数に対して逆量子化処理を施す逆量子化部と、該逆量子化した直交変換係数に対してブロック毎に逆直交変換処理を施す逆直交変換部とを備えた動画像復号装置であって、前記可変長復号部で復号された直交変換係数のブロック内の分布状態に応じて、前記逆直交変換部における逆直交変換処理を適応的に制御する逆直交変換適応制御部を備えたことを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記可変長復号部は、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、前記逆直交変換適応制御部は、前記可変長復号部により抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の直交変換係数を含むように前記逆直交変換処理の演算に使用する演算用ブロックサイズを決定し、前記逆直交変換部は、前記逆直交変換適応制御部により決定された演算用ブロックサイズに従って、前記逆直交変換処理を行うことを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記逆直交変換適応制御部により決定された演算用ブロックサイズとデフォルトブロックサイズとの比に基づいて、前記逆直交変換部から出力されるブロックのブロックサイズを縮小する縮小処理部を備えたことを特徴としたものである。

第４の技術手段は、第１の技術手段において、前記可変長復号部は、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、前記逆直交変換適応制御部は、前記可変長復号部により抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の任意の直交変換係数に対して、該直交変換係数の位置と大きさを含む補正インデックスを算出することを特徴としたものである。

第５の技術手段は、第４の技術手段において、前記逆直交変換適応制御部により算出された補正インデックスに基づいて、前記逆直交変換部から出力されるデフォルトブロックの直交変換係数に対して補正値を算出する補正処理部を備えたことを特徴としたものである。

第６の技術手段は、第１の技術手段において、前記可変長復号部は、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、前記逆直交変換適応制御部は、前記可変長復号部により抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の直交変換係数を含むように前記逆直交変換処理の演算に使用する演算用ブロックサイズ及び基底関数を決定し、前記逆直交変換部は、前記逆直交変換適応制御部により決定された演算用ブロックサイズ及び基底関数に従って、前記逆直交変換処理を行うことを特徴としたものである。

第７の技術手段は、第６の技術手段において、前記逆直交変換適応制御部は、前記演算用ブロックサイズと前記デフォルトブロックサイズとの比に基づいて、前記逆直交変換処理の演算に使用する基底関数を決定することを特徴としたものである。

第８の技術手段は、第１〜第７のいずれか１の技術手段において、前記直交変換係数はＤＣＴ係数であり、前記逆直交変換処理は逆ＤＣＴ処理であることを特徴としたものである。

第９の技術手段は、入力された動画像ストリームの直交変換係数を復号する可変長復号ステップと、該復号した直交変換係数に対して逆量子化処理を施す逆量子化ステップと、該逆量子化した直交変換係数に対してブロック毎に逆直交変換処理を施す逆直交変換ステップとを備えた動画像復号方法であって、前記可変長復号ステップで復号された直交変換係数のブロック内の分布状態に応じて、前記逆直交変換ステップにおける逆直交変換処理を適応的に制御する逆直交変換適応制御ステップを備えたことを特徴としたものである。

第１０の技術手段は、第９の技術手段において、前記可変長復号ステップは、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、前記逆直交変換適応制御ステップは、前記可変長復号ステップにて抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の直交変換係数を含むように前記逆直交変換処理の演算に使用する演算用ブロックサイズを決定し、前記逆直交変換ステップは、前記逆直交変換適応制御ステップにて決定された演算用ブロックサイズに従って、前記逆直交変換処理を行うことを特徴としたものである。

第１１の技術手段は、第１０の技術手段において、前記逆直交変換適応制御ステップにて決定された演算用ブロックサイズとデフォルトブロックサイズとの比に基づいて、前記逆直交変換ステップにて出力されるブロックのブロックサイズを縮小する縮小処理ステップを備えたことを特徴としたものである。

第１２の技術手段は、第９の技術手段において、前記可変長復号ステップは、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、前記逆直交変換適応制御ステップは、前記可変長復号ステップにて抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の任意の直交変換係数に対して、該直交変換係数の位置と大きさを含む補正インデックスを算出することを特徴としたものである。

第１３の技術手段は、第１２の技術手段において、前記逆直交変換適応制御ステップにて算出された補正インデックスに基づいて、前記逆直交変換ステップにて出力されるデフォルトブロックの直交変換係数に対して補正値を算出する補正処理ステップを備えたことを特徴としたものである。

第１４の技術手段は、第９の技術手段において、前記可変長復号ステップは、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、前記逆直交変換適応制御ステップは、前記可変長復号ステップにて抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の直交変換係数を含むように前記逆直交変換処理の演算に使用する演算用ブロックサイズ及び基底関数を決定し、前記逆直交変換ステップは、前記逆直交変換適応制御ステップにて決定された演算用ブロックサイズ及び基底関数に従って、前記逆直交変換処理を行うことを特徴としたものである。

第１５の技術手段は、第１４の技術手段において、前記逆直交変換適応制御ステップは、前記演算用ブロックサイズと前記デフォルトブロックサイズとの比に基づいて、前記逆直交変換処理の演算に使用する基底関数を決定することを特徴としたものである。

第１６の技術手段は、第９〜第１５のいずれか１の技術手段において、前記直交変換係数はＤＣＴ係数であり、前記逆直交変換処理は逆ＤＣＴ処理であることを特徴としたものである。

第１７の技術手段は、第９〜第１６のいずれか１の技術手段における動画像復号方法をコンピュータに実行させるためのプログラムである。

第１８の技術手段は、第１７の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、マルチ表示のレイアウトに従って要求される仕様の動画サムネイルを柔軟に作成でき、さらに動画サムネイルを作成する際の処理量を削減しつつ、画質の劣化を極力抑えることによって、動画サムネイルによるマルチ表示と視覚効果を組み入れた使いやすいＵＩを実現することが可能となる。

以下、本発明の各実施形態について、添付図面を参照しながら説明する。なお、同一の符号を付した部分は同一の機能を有するものとして説明を省略するものとする。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る動画像復号装置の構成例を示すブロック図で、図中、１００は動画像復号装置（以下、動画像ストリーム復号装置という）を示す。この動画像ストリーム復号装置１００に入力される動画像ストリームは、例えばＭＰＥＧ−２やＭＰＥＧ−４／ＡＶＣなど、直交変換とフレーム間予測を用いた所謂ハイブリッド符号化方式に従って符号化されたデータである。ここでは、ＭＰＥＧ−２ビデオ規格（ＩＳＯ／ＩＥＣ１３８１８−２）によりエンコードされた動画像ストリームが入力されるものとして説明する。もちろん、符号化方式に直交変換を用いていればＭＰＥＧ−２ビデオ以外の方式に対しても適用することが可能である。

図１に示すように、動画像ストリーム復号装置１００は、可変長復号部１０１と、逆直交変換適応制御部１０２と、逆量子化部１０３と、サイズ可変逆直交変換部１０４と、縮小処理部１０５と、動き補償部１０６と、フレームメモリ部１０７と、切替部１０８〜１１０とを含んで構成される。またこのほかに、動画像ストリーム復号装置１００の動作を制御するための制御部（図示しない）を含む。

以上のような構成により、動画像ストリーム復号装置１００は、入力される動画像ストリームを復号し、元の動画像の解像度を縮小して動画サムネイル用の動画像を出力する。なお、元の動画像の解像度は、符号化された動画像ストリームをデコードすることで得られる。動画サムネイルの解像度は、外部のシステムから予め指定されているものとする。

可変長復号部１０１は、入力された動画像ストリームを復号し、復号データを得る。ＭＰＥＧ−２ビデオ規格における動画像ストリームの書式は階層的になっており、シーケンス、フレーム、マクロブロック（ＭＢ）といった階層構造となる。可変長復号部１０１は、このような書式に従って可変長（一部固定長のものを含む）の符号語を復号する。

逆直交変換適応制御部１０２は、可変長復号部１０１からの復号データ（つまり動画像ストリームに符号化された情報）に応じて、サイズ可変逆直交変換部１０４で実行される逆直交変換処理を適応的に制御する。直交変換には、例えば、離散コサイン変換（ＤＣＴ）、ウォルシュ・アダマール変換（ＷＨＴ）、離散フーリエ変換（ＤＦＴ）、離散サイン変換（ＤＳＴ）、カルーネン／レーベ変換（ＫＬＴ）、ハール変換、スラント変換などの方式を用いることができる。ＭＰＥＧ−２ビデオ規格ではＤＣＴが採用されているため、以下の説明ではＤＣＴを代表例として用いる。ＤＣＴの逆変換は、逆離散コサイン変換（ＩＤＣＴ）である。

すなわち、本実施形態の動画像ストリーム復号装置１００は、入力された動画像ストリームの直交変換係数（以下、ＤＣＴ係数）を復号する可変長復号部１０１と、復号したＤＣＴ係数に対してブロック毎に逆量子化処理を施す逆量子化部１０３と、逆量子化したＤＣＴ係数に対してブロック毎に逆直交変換処理を施す逆直交変換部に相当するサイズ可変逆直交変換部１０４と、可変長復号部１０１で復号されたブロック毎の直交変換係数の分布状態に応じて、サイズ可変逆直交変換部１０４における逆直交変換（ＩＤＣＴ）処理を適応的に制御する逆直交変換適応制御部１０２とを備える。

本実施形態では、制御対象となるのはＩＤＣＴ処理の演算サイズである。演算サイズとは、ここでは２次元のＤＣＴにおいて水平・垂直方向の演算するデータ数のことである。ＭＰＥＧ−２ビデオでは水平・垂直方向のデータ数がそれぞれ８であるブロックに対してＤＣＴ処理が施される。ここでは演算サイズを、水平方向データ数×垂直方向データ数により表記する（水平・垂直方向のデータ数がそれぞれ８の場合は、８×８となる）。逆直交変換適応制御部１０２において決定される演算サイズをＮｈ×Ｎｖとする（ここでＮｈ、Ｎｖは自然数である）。

逆量子化部１０３は、可変長復号部１０１で復号されたＤＣＴ係数に対して量子化ステップをかけて逆量子化処理を施す。復号されたＤＣＴデータのうち、逆直交変換適応制御部１０２により決定されたＩＤＣＴの演算サイズＮｈ×Ｎｖの分だけ逆量子化を行う。

サイズ可変逆直交変換部１０４は、逆量子化が施されたＤＣＴ係数にＩＤＣＴ処理を施す。逆直交変換適応制御部１０２により指定されたＩＤＣＴの演算サイズの処理を実行する。

縮小処理部１０５は、サイズ可変逆直交変換部１０４において異なる演算サイズが適用されることにより、演算結果が異なるサイズとなるところを一定のサイズとなるように縮小処理する。

フレームメモリ部１０７は、参照画像データを記憶するためのメモリである。
動き補償部１０６は、フレームメモリ部１０７に格納された参照画像データから、動きベクトルによって示される位置の予測データを選択する。参照画像データは整数画素が記憶されているため、動きベクトルが１／２精度の位置を示している場合には整数画素から１／２精度の画素を補間する。また、動き補償部１０６は、動き補償を実行する場合、切替部１１０を図中下側に切り替えて動き補償を実行し、そうでない場合、切替部１１０を図中上側に切り替える。

本実施形態において、可変長復号部１０１は、動画像ストリームから動画像ストリームの解像度情報を抽出する。逆直交変換適応制御部１０２は、可変長復号部１０１により抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように逆直交変換処理のデフォルトブロックサイズを決定し、決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、領域外の直交変換係数を含むように逆直交変換処理の演算に使用する演算用ブロックサイズを決定する。サイズ可変逆直交変換部１０４は、逆直交変換適応制御部１０２により決定された演算用ブロックサイズに従って、逆直交変換処理を行う。

上記において、逆直交変換適応制御部１０２は、デフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、切替部１０８及び１０９を縮小処理部１０５側（図中下側）に切り替え、そうでない場合、切替部１０８及び１０９を縮小処理部１０５でない側（図中上側）に切り替える。縮小処理部１０５は、逆直交変換適応制御部１０２により決定された演算用ブロックサイズとデフォルトブロックサイズとの比に基づいて、サイズ可変逆直交変換部１０４から出力されるブロックのブロックサイズを縮小する。

図２〜図４は、動画像ストリーム復号装置１００による処理の流れの一例を説明するためのフロー図である。

図２において、動画像ストリーム復号装置１００に動画像ストリームが供給されると処理が開始される。動画像ストリーム復号装置１００は処理を開始すると、まず可変長復号部１０１が、図５に示すように、階層化された動画像ストリームのうち、シーケンスヘッダを復号する（ステップＳ１）。シーケンスヘッダには動画像ストリームの解像度の情報が含まれるため、この処理により動画像ストリームの解像度情報が得られる。

次に、逆直交変換適応制御部１０２は、動画像ストリームから復号した解像度情報と、システムから予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、ＤＣＴ係数の低周波成分が含まれるようにＩＤＣＴの演算サイズ（ｈ０×ｖ０、ｈ０，ｖ０はいずれも８以下の自然数である）を決定し、これをデフォルト値（デフォルトブロックサイズに相当）とする（ステップＳ２）。動画像ストリームから復号した解像度が１９２０×１０８０の場合における、動画サムネイルの解像度とＩＤＣＴの演算サイズとの関係を図６に示す。動画サムネイルの解像度が２４０×１３５までならば演算サイズは１×１とし、同じく４８０×２７０までならば２×２、９６０×５４０までならば４×４、これより大きければ８×８とする。演算サイズは８×８、４×４、２×２、１×１以外であってもよく、例えば、図６において点線で示したように動画サムネイルの解像度に応じて４×４と８×８の間で５×５、６×６、７×７を設定してもよい。

つまり符号化方式で規定される演算サイズ（ＭＰＥＧ−２ビデオならば８×８）に対して、動画像の縮小比（動画サムネイルの解像度／復号した動画像ストリームの解像度）を掛けた値を下回らない最も小さい自然数を演算サイズとする。演算サイズと８×８サイズのブロック内で使用するＤＣＴデータの位置との関係を図７に示す。ＤＣＴ係数は図７のように表すと左上が低周波成分で、右下へ向って高周波成分が配置される。したがって、１１は左上のＤＣ成分１つの要素からなる領域で演算サイズ１×１に対応する。領域１１を含む領域１２は演算サイズ２×２に対応する。同じく領域１３は演算サイズ４×４に、領域１４は演算サイズ８×８に対応する。このように小さい演算サイズに低周波成分が含まれ、演算サイズが大きくなるに連れてより多くの高周波成分が含まれるようにする。

次に、可変長復号部１０１は、図５に示す動画像ストリームの構成に従って、動画像ストリームのＧＯＰヘッダ、ピクチャヘッダ、スライスヘッダをそれぞれ復号する（ステップＳ３，Ｓ４）。

次に、可変長復号部１０１は、ＭＢ（マクロブロック）階層に含まれるＭＢ情報およびブロックを復号する（ステップＳ５）。このステップＳ５における処理の詳細例については後述の図３のフロー図で説明する。

上記ステップＳ５の処理の後に、可変長復号部１０１は、スライスに含まれる全ＭＢの復号が終了したか否かを判定し（ステップＳ６）、全ＭＢの復号が終了したと判定した場合（ＹＥＳの場合）、スライス終了としてステップＳ７に進み、一方、全ＭＢの復号が終了していないと判定した場合（ＮＯの場合）、ステップＳ５に戻り処理を繰り返す。

そして、可変長復号部１０１は、ピクチャに含まれる全スライスの復号が終了したか否かを判定し（ステップＳ７）、全スライスの復号が終了したと判定した場合（ＹＥＳの場合）、ピクチャ終了としてステップＳ８に進み、一方、全スライスの復号が終了していないと判定した場合（ＮＯの場合）、ステップＳ４に戻り処理を繰り返す。

最後に、可変長復号部１０１は、シーケンスの復号が終了したか否かを判定し（ステップＳ８）、動画像シーケンス中からシーケンスの終了を示す符号語を検出してシーケンス終了と判定した場合（ＹＥＳの場合）、そのまま復号処理を終了する。一方、シーケンスが続く場合（ＮＯの場合）、ステップＳ３に戻り処理を繰り返す。

図３に基づいて、図２に示すステップＳ５におけるＭＢ階層の復号処理例について説明する。
ＭＢ階層の復号処理において、可変長復号部１０１は、まずＭＢタイプ（ここでタイプとは符号化タイプのことであり、インター符号化あるいはイントラ符号化を示す）を復号する（ステップＳ１１）。逆直交変換適応制御部１０２は、ＭＢタイプにより復号対象のＭＢがインター符号化のものか、イントラ符号化のものかを判定し（ステップＳ１２）、インター符号化ＭＢであると判定した場合（ＹＥＳの場合）、可変長復号部１０１は動きベクトル（ＭＶ）を復号する（ステップＳ１３）。一方、ステップＳ１２において、インター符号化ＭＢでないと判定した場合（ＮＯの場合）、ステップＳ１４に進む。

逆直交変換適応制御部１０２は、復号対象のＭＢについてＤＣＴ係数が符号化されているか否かを判定し（ステップＳ１４）、ＤＣＴ係数が符号化されていると判定した場合（ＹＥＳの場合）、ステップＳ１５に進み、一方、ＤＣＴ係数が符号化されていないと判定した場合（ＮＯの場合）、ステップＳ１７に進む。

次に、可変長復号部１０１は、ブロックを復号する（ステップＳ１５）。このときの処理の流れを以下の図４のフロー図に基づいて具体的に説明する。
図４において、まず、可変長復号部１０１は、ブロックに含まれるＤＣＴ係数を復号する（ステップＳ２１）。ＭＰＥＧ−２ビデオ規格では、ＤＣＴ係数はＲＵＮおよびＬＥＶＥＬの組で符号化されている。可変長復号部１０１はこのようにＲＵＮ、ＬＥＶＥＬの組で符号化されたＤＣＴ係数を復号する。ＤＣＴ係数の復号処理の例を図８に示す。

図８は、動画像ストリーム中の符号語が００１００の場合におけるＤＣＴ係数の復号処理の例を示す図である。このとき復号されるＲＵＮ、ＬＥＶＥＬは、ＲＵＮが７、ＬＥＶＥＬが１である。ＲＵＮは値が０のＤＣＴ係数が続いて現れる個数を表し、ＬＥＶＥＬは０の次に現れる０でないＤＣＴ係数を表す。可変長復号部１０１は、８×８の計６４個のＤＣＴ係数を格納するメモリ上のバッファに、順に０を７個、１を１個格納する。このような動作を繰り返して８×８ブロックのＤＣＴ係数を復号する。

図８に示した１次元のバッファに格納されたＤＣＴ係数が、８×８ブロックでどこに位置するかを示すのがスキャンパターンである。図９（Ａ），（Ｂ）に符号化方式で主に使用される３つのスキャンパターンを示す（ＭＰＥＧ−２ビデオ規格では、スキャンパターン０、１を用いる）。いずれのスキャンパターンでも左上の位置が図８のバッファ０に相当し、バッファ７はスキャンパターン０，１では２行３列目、スキャンパターン２では３行２列目に相当する。

次に、ステップＳ２２において、可変長復号部１０１がＤＣＴ係数を復号した結果に基づきブロックに適用する演算サイズ（ｈ１×ｖ１）を決定する。この演算ブロックは演算用ブロックサイズに相当する。逆直交変換適応制御部１０２は、非ゼロのＤＣＴ係数が８×８サイズのブロック内にどのように係数が分布するか（分布状態）を判定する。前述のように、２次元のブロック内におけるＤＣＴ係数の位置は、スキャンパターンにより決まる。逆直交変換適応制御部１０２は、まず演算サイズのデフォルト値（ｈ０×ｖ０）の領域外にＤＣＴ係数が存在するか否かを判定する。デフォルトの演算サイズの領域外にＤＣＴ係数が存在しなければ高周波成分を演算する必要がないので、演算サイズを大きくすることはせずにデフォルト値に決定する（すなわちＮｈ＝ｈ０、Ｎｖ＝ｖ０である）。一方、デフォルトの演算サイズの領域外にＤＣＴ係数が存在すれば、ｈ０×ｖ０のサイズ外の領域をカバーする演算サイズ（演算用ブロックサイズ）ｈ１×ｖ１を決定する（Ｎｈ＝ｈ１、Ｎｖ＝ｖ１とする）。

ここで、デフォルトの演算サイズの領域外にＤＣＴ係数が存在するか否かの判定方法としては、領域外に１つ以上の非ゼロのＤＣＴ係数が存在すれば、ＤＣＴ係数が存在すると判定してもよく、あるいは、領域外に非ゼロのＤＣＴ係数が所定割合以上存在すれば、ＤＣＴ係数が存在すると判定してもよい。

図１０は、ステップＳ２２で決定される演算サイズとデフォルトの演算サイズとの対応関係の一例を示す図である。本例は２のべき乗に限定した場合について示したものであり、このステップＳ２２で決定される演算サイズは、デフォルトサイズの周辺の高周波成分を含むように決定されるために、必ずデフォルトサイズ以上となる。

例えば、演算サイズのデフォルト値が２×２の場合、図７に示す領域１２の範囲外（図９（Ｂ）で示す位置では、スキャンパターン０のときの０，１，２，４以外、スキャンパターン１および２のときの０，１，４，５以外）にＤＣＴ係数が存在するか否かを判定し、存在しなければ演算サイズを２×２とする。また、ＤＣＴ係数が存在するときは、さらに領域１３、１４にＤＣＴ係数が存在するか否かを判定し、領域１３にのみＤＣＴ係数が存在すれば演算サイズは４×４（ｈ１＝４、ｖ１＝４）に、領域１４にＤＣＴ係数が存在すれば演算サイズを８×８（ｈ１＝８、ｖ１＝８）に決定する。演算サイズ決定後、逆直交変換適応制御部１０２は、パラメータとしてＮｈおよびＮｖを逆量子化部１０３およびサイズ可変逆直交変換部１０４へ、また演算サイズの比ｈ０／ｈ１、ｖ０／ｖ１を縮小処理部１０５へ出力する。

次に、逆量子化部１０３は、可変長復号部１０１が復号したＤＣＴ係数のうち、Ｎｈ×Ｎｖサイズに対して逆量子化処理を施す（ステップＳ２３）。したがって、逆量子化部１０３への入力は８×８サイズで、出力はＮｈ×Ｎｖサイズとなる。

次に、サイズ可変逆直交変換部１０４は、逆量子化部１０３の出力に対してＩＤＣＴ処理を施す（ステップＳ２４）。Ｎｈ＝Ｎｖ＝８とするとき、２次元のＩＤＣＴ処理は下記の式１に示す演算式により定義される。

２次元ＩＤＣＴを実行すると、１つの画素を求めるのにＮ×Ｎ回の乗算とＮ×Ｎ−１回の加算が必要となる（Ｎ＝８のとき、乗算６４回、加算６３回）。演算量を削減するために、２次元ＩＤＣＴを１次元ＩＤＣＴに置き換えて演算してもよい。この場合、２次元のブロックに対して、行（水平）方向と列（垂直）方向の２回の１次元ＩＤＣＴを下記の式２に基づいて実行する。１つの画素を求めるのに２・Ｎ回の乗算と２・（Ｎ−１）回の加算が必要となる（Ｎ＝８のとき、乗算１６回、加算１４回）。ＩＤＣＴ処理後のサイズは入力サイズと同じＮｈ×Ｎｖサイズである。

次に、逆直交変換適応制御部１０２は、演算サイズがデフォルト値（ｈ０×ｖ０）か否かを判定し（ステップＳ２５）。演算サイズＮｈ×Ｎｖがデフォルト値であると判定した場合（ＹＥＳの場合）、ブロック復号処理を終了し、図３に示したステップＳ１６に進む。一方、演算サイズＮｈ×Ｎｖがデフォルト値でないと判定した場合（ＮＯの場合）、ステップＳ２６に進む。

上記ステップＳ２６において、Ｎｈ×Ｎｖサイズをデフォルトのｈ０×ｖ０サイズに縮小する。縮小処理部１０５は、逆直交変換適応制御部１０２からの演算サイズの比ｈ０／ｈ１、ｖ０／ｖ１により、サイズ可変逆直交変換部１０４から入力されたＩＤＣＴ処理結果を縮小する。

なお、縮小処理部１０５において、演算サイズの異なるブロックは全てデフォルトサイズ（ｈ０×ｖ０）に縮小され、最終的に出力されるブロックサイズはデフォルトサイズとなり、その解像度は最初に指定された動画サムネイルの解像度となる。

図１１は、８×８サイズのブロックを２×２サイズに縮小する際の処理例を示す図である。図１１において、丸印は縮小処理部１０５に入力される８×８サイズのブロックにおける画素データ（入力画素データ）を表し、×印は１次補間画素データを表し、＊印は縮小処理部１０５から出力される２×２サイズのブロックにおける画素データ（出力画素データ）を表す。縮小処理後の出力画素データを、その周囲の入力画素データを用いて算出する。算出する方法としては、例えばバイキュービック補間、バイリニア補間、ニアレストネイバー補間などの手法がある。補間アルゴリズムは処理量と画質のバランスを考慮して選択する。バイリニア補間の場合、出力画素データを直接入力画素データから算出してもよいし、×印で示したように周囲４点から１次補間画素データを算出し、さらに４点の１次補間画素データを算出してもよい。

以下、図３のフローに戻ってステップＳ１６以降の処理について説明する。
逆直交変換適応制御部１０２は、ＭＢに対する復号が終了したか否かを判定し（ステップＳ１６）、ＭＢ内の全ブロックの復号が終了したと判定した場合（ＹＥＳの場合）、ステップＳ１７に進み、ＭＢ内の全ブロックの復号が終了していないと判定した（ＮＯの場合）、ステップＳ１５に戻りさらにブロックを復号する。

次に、ステップＳ１７において、復号したＭＢに対して動き補償を実行するか否かを判定する。動き補償部１０６は、可変長復号部１０１の復号結果に基づき動き補償の有無を判定する（ステップＳ１７）。ＭＢがスキップされる場合も参照ピクチャのＭＢをコピーする必要があるため、動き補償とみなしてもよい。動き補償を実行する場合（ＹＥＳの場合）、ステップＳ１８に進み、動き補償を実行しない場合（ＮＯの場合）、ＭＢ復号を終了する。

ステップＳ１８において動き補償を実行する場合、動き補償部１０６は復号されたＭＶとその修正値ＭＶ’の比が、規定のブロックサイズ８×８と演算サイズｈ０×ｖ０との比となるように、修正後のＭＶ’を算出する。ただし、修正後のＭＶ’をＭＰＥＧ−２で規定されている１／２画素精度となるように補正してもよい。例えば、演算サイズが２×２ならばＭＶを水平・垂直方向とも１／４に修正する。ＭＶ＝（３．０，５．５）とすると、ＭＶ’＝（０．７５，１．３７５）であり、さらに補正を行った結果はＭＶ’＝（０．５，１．０）となる。

ここで、図４に示すステップＳ２２において逆直交変換の演算サイズを決める上では、ＤＣＴ係数が存在するだけでなく、そのＤＣＴ係数が復号後のブロックの画質にどの程度の影響を及ぼすかを考慮することで、影響の大きいＤＣＴ係数のみを逆直交変換処理の対象とし、演算量を削減することができる。図１２に示すように、８×８サイズのブロックをさらに４×４の４つの領域に分割する（左上が領域２１、右上が領域２２、左下が領域２３、右下が領域２４である）。これらの４つの領域２１〜２４別に、当該領域が優位か否かを判定する。

ここで優位とは、復号画像への影響が大きいということである。優位か否かは、例えば次の２つのステップにより判定する。まず、各領域におけるＤＣＴ係数Ｃｉ（０≦ｉ≦６３）が閾値Ｔ１を越えるか否かを判定する。ここでは、Ｃｉ≦Ｔ１ならば０、Ｔ１＜Ｃｉならば１を出力する。次に、閾値Ｔ１を越えるＤＣＴ係数Ｃｉの個数、すなわち１の個数をカウントし、各領域でカウントした１の個数が閾値Ｔ２を越えた場合にその領域を優位と判定する。その結果に基づき領域２１〜２４の中から優位な領域を決定し、優位な領域を含む最小の演算サイズを選択する。例えば領域２１が優位ならば低周波成分のみを用いた４×４サイズのＩＤＣＴ処理を、領域２２が優位ならば領域０を含んだ４×８サイズを選択する。なお、ＤＣＴ係数と閾値Ｔ１とを比較するにあたり、ＤＣＴ係数は逆量子化後のものであってもよい。この場合には、逆量子化部１０３において復号した全ＤＣＴ係数について逆量子化処理が施された結果が、逆直交変換適応制御部１０２に供給される。

優位な領域を含む最小の演算サイズは、以上のように動画像ストリーム復号装置で決定してもよいが、符号化時にエンコーダ側で事前に解析した情報を動画像ストリームに追加して、または別途供給して、サイズ可変逆直交変換部１０４で参照するようにしてもよい。例えば、８×８に１、４×４に２、４×８に３、８×４に４、２×２に５、２×４に６、４×２に７、１×１に８を割当て、これを可変長（または固定長）符号化する。

以上のように、入力された動画像ストリームを元の解像度よりも小さいサイズで出力する際に、一律にＤＣＴ（直交変換）係数の低周波成分を処理するだけでなく、ＤＣＴ係数の分布状態により適宜ＩＤＣＴ（逆直交変換）の演算サイズを変更することで、演算量を削減しつつ、高周波成分の欠落による画質劣化の少ない復号画像を得ることができる。

＜第２の実施形態＞
図１３は、本発明の第２の実施形態に係る動画像ストリーム復号装置の構成例を示すブロック図で、図中、２００は動画像ストリーム復号装置を示す。図１３において、第１の実施形態の図１に示した構成要素と同一の機能を持つ構成要素は同一符号としている。動画像ストリーム復号装置２００に入力される動画像ストリームは、第１の実施形態と同じくハイブリッド符号化方式に従って符号化されたデータである。

図１３に示すように、動画像ストリーム復号装置２００は、可変長復号部１０１と、逆直交変換適応制御部２０１と、逆量子化部１０３と、サイズ可変逆直交変換部１０４と、補正処理部２０２と、動き補償部１０６と、フレームメモリ部１０７と、切替部１０８〜１１０とを含んで構成される。動画像ストリーム復号装置２００は、入力される動画像ストリームを復号し、元の動画像の解像度を縮小して動画サムネイル用の動画像を出力する。

逆直交変換適応制御部２０１は、可変長復号部１０１からの復号データによりサイズ可変逆直交変換部１０４で実行される逆直交変換の演算サイズを決定し、さらに補正値を算出するための補正インデックスを復号データに応じて適応的に決定する。

補正処理部２０２は、逆直交変換適応制御部２０１から入力された補正インデックスに基づき、ＩＤＣＴ処理結果に対する補正値を算出する。補正値とは、ＩＤＣＴ処理を実行した８×８サイズのブロックを演算サイズであるｈ０×ｖ０サイズに縮小した際の演算結果と、演算サイズｈ０×ｖ０でＩＤＣＴ処理を実行した際の演算結果との誤差に相当し、縮小した演算サイズによるＩＤＣＴ処理の誤差を補正するためのデータである。

以上のような構成で、動画像ストリーム復号装置２００は、元の動画像の解像度を縮小した動画サムネイル用の動画像を出力するにあたり、入出力となる動画像の解像度の比に応じて縮小した演算サイズでＩＤＣＴ処理を実行しつつ、ＤＣＴ係数のうち使用されない高周波成分による演算結果を補正することで画質を改善する。

本実施形態において、可変長復号部１０１は、動画像ストリームから動画像ストリームの解像度情報を抽出する。逆直交変換適応制御部１０２は、可変長復号部１０１により抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように逆直交変換処理のデフォルトブロックサイズを決定し、決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、領域外の任意の直交変換係数に対して、直交変換係数の位置と大きさを含む補正インデックスを算出する。

上記において、逆直交変換適応制御部１０２は、デフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、切替部１０８及び１０９を補正処理部２０２側（図中下側）に切り替え、そうでない場合、切替部１０８及び１０９を補正処理部２０２でない側（図中上側）に切り替える。補正処理部２０２は、逆直交変換適応制御部２０１により算出された補正インデックスに基づいて、サイズ可変逆直交変換部１０４から出力されるデフォルトブロックの直交変換係数に対して補正値を算出する。なお、この補正インデックスについては後述する。

動画像ストリーム復号装置２００による処理の流れは、ブロック復号処理を除き、前述の図２〜図４に示した第１の実施形態の動画像ストリーム復号装置１００による処理の流れと同様である。以下、動画像ストリーム復号装置２００によるブロック復号処理の例について説明する。

図１４は、本発明の第２の実施形態に係る動画像ストリーム復号装置２００によるブロック復号処理の一例を説明するためのフロー図である。まず、可変長復号部１０１がＲＵＮ、ＬＥＶＥＬの組で符号化されたＤＣＴ係数を復号する（ステップＳ３１）。このステップＳ３１における処理は図４に示したステップＳ２１と同様である。

次に、逆量子化部１０３は、可変長復号部１０１が復号したＤＣＴ係数に対して逆量子化処理を施す（ステップＳ３２）。このステップＳ３２における処理は演算サイズが８×８固定である点を除けば、図４に示したステップＳ２３と同様である。

次に、ステップＳ３３において、逆直交変換適応制御部２０１は、ＩＤＣＴ処理の演算結果に対する補正値を算出するための補正インデックスを決定する。演算サイズｈ０×ｖ０の領域外に存在するＤＣＴ係数の高周波成分毎に、対応する補正値を定義（補正ブロックと呼ぶ）すると、最終的な補正値はこれら補正ブロックの和として得られる。そのため、逆直交変換適応制御部２０１は、補正値を算出するために使用するＤＣＴ係数の高周波成分を決定し、８×８ブロック内での位置とそのＤＣＴ係数の大きさとを補正インデックスとして出力する。８×８ブロックのＤＣＴ係数の大きさをＣｉ（０≦ｉ≦６３）として、補正インデックスを（ｉ、Ｃｉ）と標記する。ここで、使用する補正インデックスの個数には特に制限を設けず、演算サイズｈ０×ｖ０に含まれないＤＣＴ係数の全てを補正インデックスとしてもよいし、値の大きい順または任意の順に任意の個数を選択してもよい。

図１５は、演算サイズが４×４のときの８×８ブロック内のＤＣＴ係数位置と補正インデックスとの関係を示す図である。図中の数字が補正インデックスの要素となる。３１はＩＤＣＴ処理が施されるＤＣＴ係数の領域である。そのため補正インデックスとしては使用されない。３２〜３４までが補正インデックスの領域である。例えば１行５列目のＤＣＴ係数に基づき補正値を算出する場合、ＤＣＴ係数Ｃ５とその場所を表す５とが補正インデックスとなる。なお、図１５に示すように、補正値の算出を行わない領域（領域３１外で、各領域３２〜３４のいずれにも含まれない部分）を設けてもよいし、このような領域を設けなくともよい。

ここでステップＳ３４での処理は、図４に示したステップＳ２４と同様であるため、ここでの説明は省略する。
次に、逆直交変換適応制御部２０１は、補正処理を行うか否かを判定し（ステップＳ３５）、演算サイズｈ０×ｖ０外にＤＣＴ係数が存在せず補正処理を行わないと判定した場合（ＮＯの場合）、ブロック復号処理を終了し、図３に示したステップＳ１６に進み、一方、演算サイズｈ０×ｖ０外にＤＣＴ係数が存在し補正処理を行うと判定した場合（ＹＥＳの場合）、ステップＳ３６に進む。

上記ステップＳ３６において、ｈ０×ｖ０サイズのＩＤＣＴ処理結果に対する補正値を算出する。補正処理部２０２は、逆直交変換適応制御部２０１から入力された補正インデックス（ｉ、Ｃｉ）に従って、ｈ０×ｖ０サイズのブロックに適用する補正値を算出する。ここで、各補正インデックスに対応する補正ブロックはｈ０×ｖ０サイズの大きさを持つ。また、補正インデックスｉに対する補正ブロックをＡｉと表記する。補正ブロックＡｉに含まれるｈ０×ｖ０個の数値はＤＣＴ係数の大きさＣｉに依存する。これらの数値は、ＩＤＣＴ処理と同等の演算により算出することができる。したがって、ＤＣＴ係数値から都度算出するようにしてもよいし、予めメモリに記憶した演算結果を読み出して使用してもよい。ここでは、予めＤＣＴ係数の大きさに関する基準値Ｓを設定し、その基準値Ｓによる補正ブロックＡｉをメモリに記憶する。補正インデックスにより与えられるＤＣＴ係数Ｃｉと基準値Ｓとの比に応じて、メモリから読み出したＡｉの値を修正することで補正値を算出する。

図１６は、補正値の演算例を示す図である。この例では、ｉ＝５，６，７のＤＣＴ係数に基づき補正値を算出する。補正インデックスとして（５，Ｃ５）、（６，Ｃ６）、（７，Ｃ７）が補正処理部２０２に入力される。補正処理部２０２は、補正インデックスから補正ブロックＡ５，Ａ６，Ａ７をメモリから読み出す。次に、ｋｉ＝Ｃｉ／Ｓとして、補正ブロックにかける係数ｋ５，ｋ６，ｋ７を算出する。修正後の補正ブロックの和ｋ５・Ａ５＋ｋ６・Ａ６＋ｋ７・Ａ７により、最終的な補正値を得る。

図１７は、補正インデックスと補正ブロックとの対応関係を説明するための図である。
ＤＣＴ係数に関する基準値Ｓは、任意の値でよく、設計時に１つ決めればよい。また、補正インデックスと補正ブロックの対応関係について、補正ブロックはブロック中のＤＣＴ係数ＣｉをＣｉ＝Ｓとし、それ以外を０（図１７（Ａ）に示す）として、ＩＤＣＴ処理（図１７（Ｂ）に示す）＋縮小処理（図１７（Ｃ）に示す）をした結果に相当する。８ｘ８ブロックにおいてＳ＝１２８とし、ｉ＝５に対応する補正ブロックＡ５（４ｘ４サイズ）は図１７に示すように計算することができる。

このように、補正ブロックを予め計算する場合には８×８ブロック内の各位置（６４パターン）について計算する（つまりＡ０〜Ａ６３を計算しておく）。また、演算サイズ（４×４、２×２）毎に計算しておく。

図１６において、Ｓ＝１２８としたときにＣ５＝６４ならば、ｋ５＝Ｃ５／Ｓ＝０．５となるため、補正ブロックの各値に０．５を乗算することになる。また、演算サイズが２×２、１×１の場合には、４×４サイズの補正ブロックを用いて４×４サイズで補正値を計算した後、縮小処理により補正すると精度があがることが期待される。

以上のように、ＤＣＴ（直交変換）係数の分布状態により適宜ＩＤＣＴ（逆直交変換）の演算結果を補正することで、演算量を削減しつつ、高周波成分の欠落による画質劣化の少ない復号画像を得ることができる。

＜第３の実施形態＞
図１８は、本発明の第３の実施形態に係る動画像ストリーム復号装置の構成例を示すブロック図で、図中、３００は動画像ストリーム復号装置を示す。図１８において、第１，第２の実施形態の図１に示した構成要素と同一の機能を持つ構成要素は同一符号としている。動画像ストリーム復号装置３００に入力される動画像ストリームは、第１，２の実施形態と同じくハイブリッド符号化方式に従って符号化されたデータである。

図１８に示すように、動画像ストリーム復号装置３００は、可変長復号部１０１と、逆直交変換適応制御部３０１と、逆量子化部１０３と、基底可変逆直交変換部３０２と、動き補償部１０６と、フレームメモリ部１０７と、切替部１１０とを含んで構成される。

逆直交変換適応制御部３０１は、可変長復号部１０１からの復号データにより基底可変逆直交変換部３０２で実行される逆直交変換の演算サイズと演算に使用するコサイン基底関数を復号データに応じ適応的に決定する。
基底可変逆直交変換部３０２は、逆直交変換適応制御部３０１から入力される演算サイズとコサイン基底関数とに基づき、ＩＤＣＴ処理を実行する。

以上のような構成で、動画像ストリーム復号装置３００は、元の動画像の解像度を縮小した動画サムネイル用の動画像を出力するにあたり、入出力となる動画像の解像度の比に応じた縮小した演算サイズでＩＤＣＴ処理を実行しつつ、ＤＣＴ係数の高周波成分が存在する場合には規定サイズのブロックに対してコサイン基底関数を変更したＩＤＣＴ処理を行うことで画質を改善する。

本実施形態において、可変長復号部１０１は、動画像ストリームから動画像ストリームの解像度情報を抽出する。逆直交変換適応制御部１０２は、可変長復号部１０１により抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように逆直交変換処理のデフォルトブロックサイズを決定し、決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、領域外の直交変換係数を含むように逆直交変換処理の演算に使用する演算用ブロックサイズ及び基底関数を決定する。基底可変逆直交変換部３０２は、逆直交変換部に相当し、逆直交変換適応制御部１０２により決定された演算用ブロックサイズ及び基底関数に従って、逆直交変換処理を行う。逆直交変換適応制御部３０１は、演算用ブロックサイズとデフォルトブロックサイズとの比に基づいて、逆直交変換処理の演算に使用する基底関数を決定する。

動画像ストリーム復号装置３００による処理の流れは、ブロック復号処理を除き、前述の図２〜図４に示した第１の実施形態の動画像ストリーム復号装置１００による処理の流れと同様である。以下、動画像ストリーム復号装置３００によるブロック復号処理の例について説明する。

図１９は、本発明の第３の実施形態に係る動画像ストリーム復号装置３００によるブロック復号処理の一例を説明するためのフロー図である。このフローの中でステップＳ４１、Ｓ４３はそれぞれ図４に示したステップＳ２１、Ｓ２３と同様であるため、ここでの説明は省略する。

ステップＳ４１におけるＤＣＴ係数の復号後に、逆直交変換適応制御部３０１は、可変長復号部１０１がＤＣＴ係数を復号した結果に基づきブロックに適用する演算サイズおよびコサイン基底関数を決定する（ステップＳ４２）。逆直交変換適応制御部３０１は、図４に示したステップＳ２２の処理と同様にしてブロックに適用する演算サイズ（Ｎｈ×Ｎｖ）を決定する。ここでＮｈ＝ｈ０、Ｎｖ＝ｖ０であれば、コサイン基底関数を変更せず、前述の式１または式２で示したようにｃｏｓ｛（２ｘ＋１）ｕπ／２Ｎ｝を選択する（これを基底０と呼ぶ）。一方、Ｎｈ＝ｈ１、Ｎｖ＝ｖ１、すなわちデフォルトの演算サイズ以外であれば、基底０のコサイン基底関数の代わりに別のコサイン基底関数を選択する。ここでコサイン基底関数は、ｈ０とｈ１（またはｖ０とｖ１）との比に応じて、以下のように決定する。なお、この例は水平方向の場合であるが垂直方向も同様である。

ｈ０：ｈ１＝１：２のとき、［ｃｏｓ｛（２ｘ＋１）ｕπ／２Ｎｈ｝＋ｃｏｓ｛（２ｘ＋３）ｕπ／２Ｎｈ｝］／２（基底１）

ｈ０：ｈ１＝１：４のとき、［ｃｏｓ｛（２ｘ＋１）ｕπ／２Ｎｈ｝＋ｃｏｓ｛（２ｘ＋３）ｕπ／２Ｎｈ｝＋ｃｏｓ｛（２ｘ＋５）ｕπ／２Ｎｈ｝＋ｃｏｓ｛（２ｘ＋７）ｕπ／２Ｎｈ｝］／４（基底２）

同様に、ｈ０：ｈ１＝１：８のときのコサイン基底関数を基底３とする。コサイン基底関数の決定方法は、解像度を１／２にする縮小処理においてバイリニア補間の式により補間点ｆ’（ｘ）がｆ’（ｘ）＝｛ｆ（ｘ）＋ｆ（ｘ＋１）｝／２によって計算され、この式に、式２に示したＩＤＣＴの計算式を適用すると、式３となることに由来する。

１つの画素を求めるのにＮｈ＋Ｎｖ回の乗算と、Ｎｈ＋Ｎｖ−２回の加算が必要となるが、Ｎｈ（またはＮｖ）点の画素のうちの半数について計算することになるため、高周波成分の演算しつつ、処理量を削減することができる。

逆直交変換適応制御部３０１は、以上のようにして決定したＩＤＣＴ処理における演算サイズとコサイン基底関数とを基底可変逆直交変換部３０２に対して出力する。

ステップＳ４３における逆量子化処理後に、逆直交変換適応制御部３０１は、演算サイズ（Ｎｈ×Ｎｖ）がデフォルト値（ｈ０×ｖ０）であるか否かを判定し（ステップＳ４４）、演算サイズがデフォルト値であると判定した場合（ＹＥＳの場合）、ステップＳ４５に進み、一方、演算サイズがデフォルト値でない場合（ＮＯの場合）、ステップＳ４６に進む。

ステップＳ４５において、基底可変逆直交変換部３０２は、逆直交変換適応制御部３０１からの指示に基づいて、デフォルトの演算サイズ、コサイン基底関数によりＩＤＣＴ処理を実行する（ステップＳ４５）。一方、ステップＳ４６において、基底可変逆直交変換部３０２は、逆直交変換適応制御部３０１からの入力に基づいて、デフォルトの演算サイズ、コサイン基底関数を変更してＩＤＣＴ処理を実行する（ステップＳ４６）。

以上のように、ＤＣＴ（直交変換）係数の分布状態により適宜ＩＤＣＴ（逆直交変換）の演算サイズおよびコサイン基底関数を変更することで、演算量を削減しつつ、高周波成分の欠落による画質劣化の少ない復号画像を得ることができる。

以上説明した第１〜第３の実施形態についてまとめると下記の通りとなる。
（１）第１の実施形態
ＤＣＴ係数の分布に応じて、サイズ可変逆直交変換部における演算サイズを変化させ、出力ブロックサイズ（演算サイズ）を縮小処理で一定（デフォルト）サイズとする。
（２）第２の実施形態
サイズ可変逆直交変換部における演算サイズ及び出力ブロックサイズは一定（デフォルト）サイズであり、ＤＣＴ係数の分布に応じて、補正値を変化させて、デフォルトブロックの直交変換係数に対して補正処理を行う。
（３）第３の実施形態
基底可変逆直交変換部から出力されるブロックサイズは一定（デフォルト）サイズであり、ＤＣＴ係数の分布に応じて、ＩＤＣＴ演算における演算サイズ及びコサイン基底関数を切り替える。

＜第４の実施形態＞
図２０は、本発明による動画像ストリーム復号装置を利用したマルチ表示のためのハードウェア構成を示すブロック図である。図中、４０１は複数の放送を受信可能なチューナ部、４０２は通信回線経由で映像コンテンツのデータ（映像ストリーム）を受信する受信部、４０３は外部機器から映像ストリームを供給するための外部映像入力部、４０４は複数の映像ストリームデータを一時的に記憶するためのデータバッファ部、４０５は複数のメディアデータ（動画像、音声、テキストなど）により構成される映像ストリームから各メディアデータを分離するストリーム分離部、４０６は本発明による動画像ストリーム復号装置にて構成される動画像復号処理部、４０７はマルチ表示画面を構成するための合成処理部、４０８はマルチ表示画面における各動画像の配置・表示サイズを制御する出力画面制御部である。以上のような構成により、チューナ部４０１、受信部４０２、及び外部映像入力部４０３から供給される複数の映像ストリームから分離された複数の動画像ストリームを動画像復号処理部４０６において並列または時分割に処理し、マルチ表示を実現することができる。

ここで、マルチ表示の表示形態、つまりディスプレイ画面にどのように表示するかは、出力画面制御部４０８が決定する。ディスプレイ画面への表示形態の例を下記の図２１，図２２に示す。

図２１（Ａ）は、動画サムネイルを同じ表示サイズでタイル上に複数表示した場合の表示例、図２１（Ｂ）は、動画サムネイルをグループ化した上で、各グループで重なりを持たせて同じ表示サイズで複数表示した場合の表示例、図２１（Ｃ）は行ごとの表示数を異ならせて動画サムネイルの表示サイズが上から下に行くほど大きくなるように複数表示した場合の表示例、図２１（Ｄ）は動画サムネイルを一列にならべ中央以外は遠近感を持たせるように変形して複数表示する場合の表示例である。

また、図２２（Ａ）に示すように、動画サムネイルをタイル状に複数表示したマルチ表示において、ユーザが選択した動画サムネイルを周囲のものよりも拡大して表示することで、選択対象をわかりやすくすることができる。また、図２２（Ｂ）に示すように、選択された動画サムネイルを時間の経過と共に拡大し、最終的には全画面における再生へと変化させることで、操作結果をわかりやすくすることができる。

図２１や図２２に示したように、様々な表示サイズの動画サムネイルを表示する上で、本発明における動画像ストリーム復号装置は、動画サムネイルの表示サイズに応じて逆直交変換における演算サイズを適応的に変更し、表示サイズに最も近い解像度で動画像ストリームを復号するため、通常のデコーダと比べて処理量およびメモリ使用量を低減することが可能である。

動画像ストリーム復号装置に相当する動画像復号処理部４０６は、出力画面制御部４０８の制御のもと、逆直交変換における演算サイズを変化させることで出力となる動画サムネイルのサイズを変化させる。これは前述の図６において、左上に示した２４０×１３５から１９２０×１０８０までの拡大に相当し、このとき演算サイズは１×１から拡大され８×８となる。このとき、高周波成分の含有に応じて逆直交変換を適応的に制御するため、処理量を削減しつつ画質劣化を抑えることができる。

以上のような利用シーンにおいて、動画像ストリームの復号中に逆直交変換における演算サイズを変更する場合、フレームメモリ部１０７に記憶されている参照画像と、復号中の画像とでは、解像度が異なることになる（ただし、演算サイズの切り替えタイミングは、少なくともピクチャ単位、つまり１ピクチャの復号終了後で次のピクチャの符号化開始前の時点とする）。例えば、入力となる動画像ストリームの解像度が１９２０×１０８０の場合で、演算サイズを２×２から４×４に変更したとき、参照画像の解像度は４８０×２７０、復号画像の解像度は９６０×５４０となる。この問題を防ぐために、参照画像が不要なＩピクチャのタイミングで切り替えてもよいし、以下に説明するように動き補償部１０６において、この差異を吸収するようにしてもよい。

ＭＰＥＧ−２ビデオ規格では動き補償はＭＢ単位で行うため、輝度成分における動き補償のサイズ（以下、ＭＣサイズと呼ぶ）は１６×１６である。ＭＣサイズは、逆直交変換の演算サイズを４×４にすると８×８、２×２にすると４×４となる。動き補償部１０６では、動きベクトルによって指し示される位置から予測データ選択する際に、参照画像の解像度に基づいたＭＣサイズで選択した後、復号画像に適したＭＣサイズにリサイズする。

図２３は、動き補償部１０６におけるリサイズ処理の一例を示す図である。逆直交変換の演算サイズを２×２から４×４に変更した場合、ＭＣサイズは４×４から８×８に適合する。図２３において、白丸は予測画素を、黒丸は予測画素の上および左の画素、×印は補間画素である。このように、予測画素とその隣接画素を使い、例えばバイリニア補間により補間画素を計算することで、ＭＣサイズを復号画像に適合させる。

なお、本発明の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を装置に供給し、マイクロプロセッサまたはＤＰＳによりプログラムコードが実行されることによっても本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が本実施形態の機能を実現することになり、プログラムコードを記録した記録媒体は本発明を構成することになる。

以上、本発明の実施形態について説明したが、本発明の動画像ストリーム復号装置、その方法、プログラム、及び記録媒体は、上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加えうることは勿論である。

本発明の第１の実施形態に係る動画像復号装置の構成例を示すブロック図である。 動画像ストリーム復号装置による処理の流れの一例を説明するためのフロー図である。 動画像ストリーム復号装置による処理の流れの一例を説明するためのフロー図である。 動画像ストリーム復号装置による処理の流れの一例を説明するためのフロー図である。 動画像ストリームの構成例を示す図である。 本発明の第１の実施形態に係る解像度の比と逆直交変換の演算サイズとの関係の一例を説明するための図である。 本発明の第１の実施形態に係る逆直交変換の演算サイズと演算されるＤＣＴ係数位置との関係の一例を説明するための図である。 動画像ストリーム中の符号語が００１００の場合におけるＤＣＴ係数の復号処理の例を示す図である。 スキャンパターンの一例を示す図である。 ステップＳ２２で決定される演算サイズとデフォルトの演算サイズとの対応関係の一例を示す図である。 ８×８サイズのブロックを２×２サイズに縮小する際の処理例を示す図である。 逆直交変換処理の対象となる領域の分割例を示す図である。 本発明の第２の実施形態に係る動画像ストリーム復号装置の構成例を示すブロック図である。 本発明の第２の実施形態に係る動画像ストリーム復号装置によるブロック復号処理の一例を説明するためのフロー図である。 演算サイズが４×４のときの８×８ブロック内のＤＣＴ係数位置と補正インデックスとの関係を示す図である。 補正値の演算例を示す図である。 補正インデックスと補正ブロックとの対応関係を説明するための図である。 本発明の第３の実施形態に係る動画像ストリーム復号装置の構成例を示すブロック図である。 本発明の第３の実施形態に係る動画像ストリーム復号装置によるブロック復号処理の一例を説明するためのフロー図である。 本発明による動画像ストリーム復号装置を利用したマルチ表示のためのハードウェア構成を示すブロック図である。 動画サムネイルのマルチ表示例を示す図である。 動画サムネイルの表示サイズの変更例を示す図である。 動き補償部におけるリサイズ処理の一例を示す図である。

符号の説明

１００，２００，３００…動画像ストリーム処理装置、１０１…可変長復号部、１０２，２０１，３０１…逆直交変換適応制御部、１０３…逆量子化部、１０４…サイズ可変逆直交変換部、１０５…縮小処理部、１０６…動き補償部、１０７…フレームメモリ部、１０８〜１１０…切替部、２０２…補正処理部、３０２…基底可変逆直交変換部。

Claims (18)

1. 入力された動画像ストリームの直交変換係数を復号する可変長復号部と、該復号した直交変換係数に対して逆量子化処理を施す逆量子化部と、該逆量子化した直交変換係数に対してブロック毎に逆直交変換処理を施す逆直交変換部とを備えた動画像復号装置であって、
   前記可変長復号部で復号された直交変換係数のブロック内の分布状態に応じて、前記逆直交変換部における逆直交変換処理を適応的に制御する逆直交変換適応制御部を備えたことを特徴とする動画像復号装置。
2. 請求項１に記載の動画像復号装置において、前記可変長復号部は、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、
   前記逆直交変換適応制御部は、前記可変長復号部により抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の直交変換係数を含むように前記逆直交変換処理の演算に使用する演算用ブロックサイズを決定し、
   前記逆直交変換部は、前記逆直交変換適応制御部により決定された演算用ブロックサイズに従って、前記逆直交変換処理を行うことを特徴とする動画像復号装置。
3. 請求項２に記載の動画像復号装置において、前記逆直交変換適応制御部により決定された演算用ブロックサイズとデフォルトブロックサイズとの比に基づいて、前記逆直交変換部から出力されるブロックのブロックサイズを縮小する縮小処理部を備えたことを特徴とする動画像復号装置。
4. 請求項１に記載の動画像復号装置において、前記可変長復号部は、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、
   前記逆直交変換適応制御部は、前記可変長復号部により抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の任意の直交変換係数に対して、該直交変換係数の位置と大きさを含む補正インデックスを算出することを特徴とする動画像復号装置。
5. 請求項４に記載の動画像復号装置において、前記逆直交変換適応制御部により算出された補正インデックスに基づいて、前記逆直交変換部から出力されるデフォルトブロックの直交変換係数に対して補正値を算出する補正処理部を備えたことを特徴とする動画像復号装置。
6. 請求項１に記載の動画像復号装置において、前記可変長復号部は、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、
   前記逆直交変換適応制御部は、前記可変長復号部により抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の直交変換係数を含むように前記逆直交変換処理の演算に使用する演算用ブロックサイズ及び基底関数を決定し、
   前記逆直交変換部は、前記逆直交変換適応制御部により決定された演算用ブロックサイズ及び基底関数に従って、前記逆直交変換処理を行うことを特徴とする動画像復号装置。
7. 請求項６に記載の動画像復号装置において、前記逆直交変換適応制御部は、前記演算用ブロックサイズと前記デフォルトブロックサイズとの比に基づいて、前記逆直交変換処理の演算に使用する基底関数を決定することを特徴とする動画像復号装置。
8. 請求項１〜７のいずれか１項に記載の動画像復号装置において、前記直交変換係数はＤＣＴ係数であり、前記逆直交変換処理は逆ＤＣＴ処理であることを特徴とする動画像復号装置。
9. 入力された動画像ストリームの直交変換係数を復号する可変長復号ステップと、該復号した直交変換係数に対して逆量子化処理を施す逆量子化ステップと、該逆量子化した直交変換係数に対してブロック毎に逆直交変換処理を施す逆直交変換ステップとを備えた動画像復号方法であって、
   前記可変長復号ステップで復号された直交変換係数のブロック内の分布状態に応じて、前記逆直交変換ステップにおける逆直交変換処理を適応的に制御する逆直交変換適応制御ステップを備えたことを特徴とする動画像復号方法。
10. 請求項９に記載の動画像復号方法において、前記可変長復号ステップは、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、
    前記逆直交変換適応制御ステップは、前記可変長復号ステップにて抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の直交変換係数を含むように前記逆直交変換処理の演算に使用する演算用ブロックサイズを決定し、
    前記逆直交変換ステップは、前記逆直交変換適応制御ステップにて決定された演算用ブロックサイズに従って、前記逆直交変換処理を行うことを特徴とする動画像復号方法。
11. 請求項１０に記載の動画像復号方法において、前記逆直交変換適応制御ステップにて決定された演算用ブロックサイズとデフォルトブロックサイズとの比に基づいて、前記逆直交変換ステップにて出力されるブロックのブロックサイズを縮小する縮小処理ステップを備えたことを特徴とする動画像復号方法。
12. 請求項９に記載の動画像復号方法において、前記可変長復号ステップは、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、
    前記逆直交変換適応制御ステップは、前記可変長復号ステップにて抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の任意の直交変換係数に対して、該直交変換係数の位置と大きさを含む補正インデックスを算出することを特徴とする動画像復号方法。
13. 請求項１２に記載の動画像復号方法において、前記逆直交変換適応制御ステップにて算出された補正インデックスに基づいて、前記逆直交変換ステップにて出力されるデフォルトブロックの直交変換係数に対して補正値を算出する補正処理ステップを備えたことを特徴とする動画像復号方法。
14. 請求項９に記載の動画像復号方法において、前記可変長復号ステップは、前記動画像ストリームから該動画像ストリームの解像度情報を抽出し、
    前記逆直交変換適応制御ステップは、前記可変長復号ステップにて抽出された動画像ストリームの解像度情報と、予め指定された動画サムネイルの解像度情報とにより算出される動画像の縮小比に基づいて、直交変換係数の低周波成分を含むように前記逆直交変換処理のデフォルトブロックサイズを決定し、該決定したデフォルトブロックサイズの領域外に直交変換係数が存在すると判定した場合、該領域外の直交変換係数を含むように前記逆直交変換処理の演算に使用する演算用ブロックサイズ及び基底関数を決定し、
    前記逆直交変換ステップは、前記逆直交変換適応制御ステップにて決定された演算用ブロックサイズ及び基底関数に従って、前記逆直交変換処理を行うことを特徴とする動画像復号方法。
15. 請求項１４に記載の動画像復号方法において、前記逆直交変換適応制御ステップは、前記演算用ブロックサイズと前記デフォルトブロックサイズとの比に基づいて、前記逆直交変換処理の演算に使用する基底関数を決定することを特徴とする動画像復号方法。
16. 請求項９〜１５のいずれか１項に記載の動画像復号方法において、前記直交変換係数はＤＣＴ係数であり、前記逆直交変換処理は逆ＤＣＴ処理であることを特徴とする動画像復号方法。
17. 請求項９〜１６のいずれか１項に記載の動画像復号方法をコンピュータに実行させるためのプログラム。
18. 請求項１７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images