JP2009135701A

JP2009135701A - 動画再生装置

Info

Publication number: JP2009135701A
Application number: JP2007309324A
Authority: JP
Inventors: Masashi Mori; 正志森; Takaya Sugaya; 貴也菅ヶ谷; Hiroaki Sakai; 宏明堺; Kunio Nakaoka; 邦夫中岡
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-11-29
Filing date: 2007-11-29
Publication date: 2009-06-18

Abstract

【課題】従来よりも簡易な構成で実現可能な、入力動画データの解像度を変換して再生する動画再生装置を得ること。
【解決手段】本発明にかかる動画再生装置は、可変長符号化された入力動画データを所定サイズに分割して得られるマクロブロックごとに可変長復号を行い、得られたＤＣＴ係数の中から、必要な数のＤＣＴ係数を抽出するデータ抽出部（１）と、抽出されたＤＣＴ係数に対して所定の復号処理を実行する動画復号部（２）と、動画復号部（２）から出力される復号データに基づいて、所望解像度の画像データを生成する復号データ変換部（３）と、を備えることとした。
【選択図】図１

Description

本発明は、入力された動画データの解像度を変換して再生する動画再生装置に関し、特に、入力動画データの解像度を低く変換して、装置のスペックに合致した解像度の画像を再生する動画再生装置に関する。

動画再生装置では、入力された動画データの持つ本来の解像度と表示装置の解像度が異なる場合、入力データを加工し、表示装置のスペックに合わせたデータを生成する。

たとえば、表示装置の解像度の方が低い場合、一般的な動画再生装置では、入力された動画データを本来の解像度（高解像度）にて一旦復号し、さらに、復号したデータ（高解像度な復号データ）に対して解像度を変換する処理を実行してから表示を行っている。この場合、表示装置が低解像度であるにもかかわらず途中段階で高解像度な復号データを生成するため、大容量のメモリが必要でありかつ処理も複雑となってしまう。

ここで、上記問題を改善した動画再生装置として、たとえば下記特許文献１に記載の復号装置が存在する。下記特許文献１に記載の復号装置では、ＩＤＣＴ（Inverse Discrete Cosine Transform：逆離散コサイン変換）演算の途中で得られる情報を利用して処理を行うことにより処理量を削減しつつ解像度を変換している。また、これに伴ってメモリ容量の削減も実現している。

また、入力された動画データの中から、対応する表示装置にて必要なデータのみを抽出し、抽出したデータに対応する画像データを再現し、さらに、再現した画像データの画質を低下または向上させるための補正処理を実行した上で表示を行う動画再生装置が存在することも知られている。

特開２０００−１６５８８５号公報

しかしながら、上記従来の解像度変換処理にて解像度を変更してから表示を行う動画再生装置は、本来の解像度（入力された動画データの解像度）にて復号処理を行う必要があるため、必要以上に装置規模が大きくなってしまう、処理量が多くなる、消費電力が大きくなる、などの問題があった。また、上記特許文献１に記載の装置では、処理量と消費電力の削減は可能であるが装置規模の削減は実現できていなかった。

また、必要なデータのみを抽出して動画再生を行う上記動画再生装置は、再現した画像データに対して補正処理を実行する必要があるため、装置規模や処理量を十分に削減できているとはいえない。

本発明は、上記に鑑みてなされたものであって、動画データの解像度変換を行い、変換前の解像度よりも低い特定の解像度の信号を生成する処理、を従来よりも少ない装置規模で実現する動画再生装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる動画再生装置は、可変長符号化された入力動画データを所定サイズに分割して得られるマクロブロックごとに可変長復号を行い、得られたＤＣＴ係数の中から、所望解像度の画像データを生成するために必要な数のＤＣＴ係数、を優先順位に基づいて抽出するデータ抽出手段と、前記データ抽出手段により抽出されたＤＣＴ係数に対して所定の復号処理を実行する復号手段と、前記復号手段から出力される復号データに基づいて、前記所望解像度の画像データを生成する画像データ生成手段と、を備えることを特徴とする。

この発明によれば、マクロブロック単位で可変長復号して得られたＤＣＴ（Discrete Cosine Transform）係数の中から、より重要なＤＣＴ係数を表示装置のスペックに応じて必要数だけ抽出し、抽出したＤＣＴ係数を対象として動画復号処理（逆離散コサイン変換、逆量子化、動き補償などの所定の動画復号処理）を実行することとしたので、装置規模を大幅に削減することができる、という効果を奏する。

以下に、本発明にかかる動画再生装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明にかかる動画再生装置の実施の形態１の構成例を示す図である。この動画再生装置は、データ抽出部１、動画復号部２、復号データ変換部３、フレームデータ生成部４および表示部５を備える。

データ抽出部１は、入力された動画データに対してエントロピー復号（可変長復号）を行い、得られたデータ（ＤＣＴ係数）の中から所定数のデータを抽出して動画復号部２へ出力する。

復号手段に相当する動画復号部２は、データ抽出部１からの入力データに対して逆離散コサイン変換や逆量子化処理、動き補償処理などを実行し、画像データを復号する。

画像データ生成手段に相当する復号データ変換部３は、動画復号部２から出力された復号データに基づいて中間解像度の画像データを生成し、さらに所望の解像度へ変換する処理を実行して表示部５の仕様に合わせた形式のデータ（所望解像度の画像データ）を生成する。

フレームデータ生成部４は、復号データ変換部３から出力されたデータに基づいてフレーム（画面）データを生成する。また、生成したフレームデータを動画復号部２における後続の動画データの復号処理で利用できるように、保持しておく。

表示部５は、フレームデータ生成部４からフレームデータを受け取り、表示する。

なお、本実施の形態の動画再生装置では、ＭＰＥＧ−２ＴＳ（Moving Picture Experts Group phase 2 Transport Stream）規格に準拠した動画データを対象とする。

ここで、本発明にかかる動画再生装置および各構成要素の実現方法について説明する。ＭＰＥＧ−２ＴＳ対応の一般的な動画再生装置では、たとえば、ＨＤＴＶ対応の動画データを再生してＶＧＡ対応の表示装置へ表示するなど、元の動画データの画質（解像度）を落として再生する場合、画像データを復号するまでの一連の処理（上記データ抽出部１および動画復号部２における処理に相当）は解像度を落とさない状態で実行する。すなわち、ＨＤＴＶ画質の画像を一旦復号している。そのため、最終的な再生画像の画質によらず大規模な回路が必要とされる。

これに対して、本実施の形態の動画再生装置は、図２に示し手順で各構成要素（データ抽出部１，動画復号部２，復号データ変換部３，フレームデータ生成部４）を構築することにより、装置規模が増大するのを抑えている。以下に各構成要素の構築方法を簡単に説明する。

図２に示したように、本発明にかかる動画生成装置は、従来の動画再生装置に基づいて、各部の仕様を決定している。なお、従来の動画再生装置において、エントロピー復号部は、送信側（動画データの生成側）において統計的性質に基づいて冗長性を除去して生成されたエントロピー符号、を復号する。情報源復号部は、送信側において信号内容の特徴に基づいて符号化された符号、を復号する。フレームデータ部は、情報源復号部により復号された画像データを、後続の画像データ（ピクチャ）を復号する際に利用できるように一定期間保持しておく。

本発明にかかる動画生成装置において、データ抽出部は、再生対象の動画データの情報（解像度，有効範囲）、表示装置（表示部）のスペック（解像度，サイズ）および元の動画再生装置のエントロピー復号部の仕様に基づいて決定された仕様、を実現可能な必要最小限の構成を有する（仕様決定＃１）。

動画復号部は、再生対象の動画データの情報、表示装置のスペックおよび元の動画再生装置の情報源復号部の仕様に基づいて決定された仕様、を実現可能な必要最小限の構成を有する（仕様決定＃２）。

フレームデータ生成部は、再生対象の動画データの情報、表示装置のスペックおよび元の動画再生装置のフレームデータ部の仕様に基づいて決定された仕様、を実現可能な必要最小限の構成を有する（仕様決定＃３）。

復号データ変換部は、再生対象の動画データの情報および表示装置のスペックに基づいて決定された仕様、を実現可能な必要最小限の構成を有する（仕様決定＃４）。

つづいて、本発明にかかる動画再生装置による動画データの再生動作について、図３を参照しながら説明する。なお、図３は、図１に示した動画再生装置における機能ブロック構成の一例を示す図である。なお、本実施の形態では、入力される動画の画質（解像度）をＨＤＴＶ（High Definition Television）対応の１９２０×１０８０ピクセルとし、再生する動画の画質をＶＧＡ（Video Graphics Array）対応の６４０×４８０ピクセルとした場合の動作例について説明する。

図３に示したように、データ抽出部１は可変長復号部（ＶＬＤ）１１を含み、動画復号部２は逆離散コサイン変換部（ＩＤＣＴ）２１、逆量子化部部（ＩＱ）２２および動き補償部（ＭＣ）２３を含んでいる。また、フレームデータ生成部４は画像フレームメモリ４１を含んでいる。画像フレームメモリ４１は、７２０×５４０ピクセルに対応したサイズとする。なお、このサイズは入力される動画データの解像度および表示部５の解像度に基づいて決定されたものである。

本発明にかかる動画再生装置は、従来の再生装置と同様に、画像データを８×８ピクセルの複数のマクロブロックに分割し、マクロブロックごとに復号処理を実行する。そのため、実施の形態１の動画再生装置では、ＨＤＴＶサイズの画像データ（ピクチャ）を２４０×１３５個のマクロブロックに分割し、１マクロブロックを処理対象として復号処理を実行する。

データ抽出部１において、ＶＬＤ１１は、ＨＤＴＶサイズ（１９２０×１０８０ピクセル）の画像データを分割して得られた８×８ピクセルの複数のマクロブロック（２４０×１３５個のマクロブロック）を対象として、１つのマクロブロック毎に可変長復号を行う。その結果６４個のＤＣＴ係数が得られる。さらに、得られたＤＣＴ係数の中から、ＶＧＡサイズ（６４０×４８０ピクセル）の動画を再生するために必要な数のＤＣＴ係数を重要度の高いものから順に抽出する。具体的には、直流成分（ＤＣ成分）を含んだ１２個（３×４個）のＤＣＴ係数を低周波成分のものから順番に抽出する。なお、入力された動画データに黒帯部分が含まれている場合、その部分のデータは抽出しない。抽出したデータ（ＤＣＴ係数）は動画復号部２へ出力する。

ＶＬＤ１１により抽出された１２個のＤＣＴ係数を受け取った動画復号部２では、まず、ＩＤＣＴ２１がＤＣＴ係数に対して逆離散コサイン変換を実行し、変換後のデータをＩＱ２２へ出力する。つぎに、ＩＱ２２がＩＤＣＴ２１から受け取った変換後のデータに対して逆量子化を行い、逆量子化後のデータをＭＣ２３へ出力する。

ＭＣ２３は、ＩＱ２２から受け取ったデータに対して動き補償処理を行い、データを補正する。動き補償を行うにあたっては、それ以前に復号し、画像フレームメモリ４１内に格納されていた画像ファイルを利用する。なお、このとき使用する動きベクトルは、入力された動画データの解像度（ＨＤＴＶサイズ）に対応したものでありそのまま使用することはできない。そのため、処理対象の画像に応じた変換を行い、その結果得られた動きベクトルを利用する。具体的には、元々の動きベクトルは８×８ピクセルのマクロブロックに対応したものであり、一方、この場合の処理対象は、データ抽出部１で抽出した３×４ピクセルのブロックである。そのため、動きベクトルをＶＧＡサイズに対応させる目的で（１／３）×（１／２）にスケールダウンしたものを使用する。また、スケールダウンして得られる動きベクトルの要素が整数とならない場合が考えられる。この場合、たとえば、スケールダウン後の動きベクトルにより特定される位置の前後のピクセルを利用して補間処理を実行するなどして復号データを補正する。補正したデータは復号データ変換部３へ出力する。

復号データ変換部３は、動画復号部２から所定数の復号データを取得し、それらを合成して中間解像度画像データを生成し、さらに、生成したデータの解像度を変換してフレームデータ生成部４へ出力する。具体的には、まず、ＨＤＴＶサイズの画像（１ピクチャ）を構成するすべてのマクロブロック（上述したとおり２４０×１３５個のマクロブロック）の数に相当する数の復号データグループ（ここでは３×４個の復号データ）を動画復号部２から取得し、取得した復号データを合成して７２０×５４０ピクセルの画像データである中間解像度画像データを生成する。そして、生成した中間解像度画像データから垂直方向の上下３０ピクセル分および水平方向の左右４０ピクセル分のデータを取り除いて６４０×４８０ピクセルのデータに変換し、それを変換後のデータとしてフレームデータ生成部４へ出力する。

なお、必要に応じてブロックノイズを除去するためのフィルタリングを行った後に冗長ピクセル（上下３０ピクセルおよび左右４０ピクセル）を除去するような構成としてもよい。フィルタリングが必要かどうかの判断は、たとえば、シミュレーションなどにより、従来の方式（解像度を変更せずに復号を行い、最後に解像度変換処理を実行する方式）を用いて得られる画像のＳＮ比と本発明にかかる動画復号装置で得られる画像のＳＮ比とを比較し、比較結果に基づいて判断する。比較の結果、これらのＳＮ比の差が許容範囲内であればフィルタリング不要とする。また、フィルタリングを行う場合には、ＳＮ比の差に応じてフィルタの構成（タップ数など）を決定するようにしてもよい。

また、冗長ピクセルを除去した後にフィルタリングを行うようにしてもよい。

フレームデータ生成部４は、復号データ変換部３から受け取ったデータに基づいて、表示部５へ表示するためのフレームデータを生成する。また、動画復号部２における後続動画データ（ピクチャ）の動き補償処理で利用できるように、生成したフレームデータを動画フレームメモリ４１内に一定期間保持しておく。

なお、動画復号部２における動き補償処理で利用するデータをフレームデータ生成部４が保持するのではなく、復号データ変換部３が、上記変換を行う前の７２０×５４０ピクセルのデータを動き補償処理で利用するデータとして一定期間保持しておくようにしてもよい。

また、上記説明では、ＶＧＡ解像度の表示部（表示装置）で表示する動画を再生する場合の構成について説明したが、他の解像度の動画を再生することも可能である。たとえば、データ抽出部１が６個（２×３個）のＤＣＴ係数を抽出するようにして、抽出された６個のＤＣＴ係数を動画復号部２が復号を行い、復号されたデータの解像度変換を復号データ変換部３が行うことにより、上述した動画再生装置と同様の構成（図１，図３参照）で３５２×２８８ピクセルのＣＩＦ（Common Intermediate Format）画像を再生することが可能となる。

また、入力される動画の解像度が１９２０×１０８０ピクセル以外であってもよい。すなわち、データ抽出部１が抽出するＤＣＴ係数の数を入力動画の解像度と出力動画（表示部）の解像度の関係に基づいて決定し、抽出したＤＣＴ係数に対して、上述した一連の処理を実行して所望サイズ（解像度）のフレームデータを生成することにより、様々な解像度の動画データを所望の解像度で再生できる。

このように、本実施の形態の動画生成装置は、動画データをマクロブロック単位で可変長復号して得られたＤＣＴ係数の中からより重要なＤＣＴ係数（ＤＣ成分および低周波のＤＣＴ係数（ＡＣ成分））を表示装置のスペックに応じて選択（抽出）し、選択したＤＣＴ係数を対象として動画復号処理（逆離散コサイン変換、逆量子化、動き補償などの所定の動画復号処理）をする。そして、復号された画像データを所望の解像度となるように調整して表示させることとした。これにより、従来と比較して、装置規模を大幅に削減することができる。また、可変長復号処理以降の処理を簡単化し、処理量を削減することができる。

実施の形態２．
つづいて、実施の形態２の動画再生装置について説明する。図４は実施の形態２の動画再生装置の構成例を示す図であり、本実施の形態の動画再生装置は、実施の形態１の動画再生装置（図１参照）に対して画像サイズ変換部６を追加した構成をとる。その他の部分については実施の形態１の動画再生装置と同様であるため、同一の符号を付してそれらの説明は省略する。なお、本実施の形態でも、実施の形態１と同様に、入力される動画の画質をＨＤＴＶ（１９２０×１０８０ピクセル）とする。また、フレームデータ生成部４から出力されるデータの画質をＶＧＡ（６４０×４８０ピクセル）とする。

画像サイズ変換部６は、フレームデータ生成部４から出力されたフレームデータを所望のサイズ（後段の表示部５のスペックに対応したサイズ、たとえばＣＩＦサイズ）へ変換する。変換処理は、既に使用されている一般的なリサイズ方法にて行う。

なお、フレームデータ生成部４に外部の表示装置などへフレームデータを出力するためのインタフェースを設けておき、ＶＧＡサイズの画像を出力するようにしてもよい。

このように、本実施の形態では、実施の形態１で示した動画再生装置に対して画像サイズ変換部を追加することとした。これにより、実施の形態１の手順で復号した画像データを所望の解像度へさらに変換することができ、自身が備える表示部や接続する表示装置の選択の幅を広げることができる。

なお、上述した実施の形態１および２では、最終的な解像度（表示部が表示する画像の解像度）よりも解像度が高く、かつ最終的な解像度に最も近い中間解像度の画像データを一旦生成し、復号データ変換部３にて冗長な部分を削除する場合について説明したが、これとは逆に、最終的な解像度よりも解像度が低く、かつ最終的な解像度に最も近い中間解像度の画像データを生成し、生成したデータに対して、復号データ変換部３がダミーデータを挿入するなどして解像度を調整する（拡大する）ようにしてもよい。

また、一旦生成する画像データの解像度（中間解像度）と最終的な解像度との大小関係を考慮せずに、データ抽出部１において抽出するＤＣＴ係数の数を、中間解像度が最終的な解像度に最も近くなるように決定し、決定したＤＣＴ係数の抽出数に従って画像データを一旦生成し、さらに、最終的な解像度となるように調整するようにしてもよい。

以上のように、本発明にかかる動画再生装置は、動画データを元々の解像度よりも低い解像度に変換して再生する場合に有用であり、特に、従来よりも簡易な装置構成で実現可能な動画再生装置に適している。

本発明にかかる動画再生装置の実施の形態１の構成例を示す図である。本発明にかかる動画再生装置の各構成要素の仕様決定手順の概要を示す図である。実施の形態１の動画再生装置における機能ブロック構成の一例を示す図である。本発明にかかる動画再生装置の実施の形態２の構成例を示す図である。

符号の説明

１データ抽出部
２動画復号部
３復号データ変換部
４フレームデータ生成部
５表示部
６画像サイズ変換部
１１可変長復号部（ＶＬＤ）
２１逆離散コサイン変換部（ＩＤＣＴ）
２２逆量子化部部（ＩＱ）
２３動き補償部（ＭＣ）
４１画像フレームメモリ

Claims

可変長符号化された入力動画データを所定サイズに分割して得られるマクロブロックごとに可変長復号を行い、得られたＤＣＴ係数の中から、所望解像度の画像データを生成するために必要な数のＤＣＴ係数、を優先順位に基づいて抽出するデータ抽出手段と、
前記データ抽出手段により抽出されたＤＣＴ係数に対して所定の復号処理を実行する復号手段と、
前記復号手段から出力される復号データに基づいて、前記所望解像度の画像データを生成する画像データ生成手段と、
を備えることを特徴とする動画再生装置。
前記画像データ生成手段は、前記復号データを入力動画データの１ピクチャを構成するマクロブロックの数と同じ数だけ取得し、取得した復号データに基づいて中間サイズの画像データを生成し、さらに、生成した中間サイズの画像データの解像度変換を行うことにより所望解像度の画像データを生成することを特徴とする請求項１に記載の動画再生装置。
前記データ抽出手段は、前記優先順位に基づいて抽出する処理として、ＤＣＴ係数を低周波成分から順番に抽出することを特徴とする請求項１または２に記載の動画再生装置。
前記データ抽出手段は、前記入力動画データの解像度および前記所望の解像度に基づいて決定した数、のＤＣＴ係数を抽出することを特徴とする請求項１、２または３に記載の動画再生装置。
前記データ抽出手段が抽出するＤＣＴ係数の数を、前記中間サイズの画像データの解像度が前記所望解像度に最も近くなる数とすることを特徴とする請求項４に記載の動画再生装置。
前記データ抽出手段が抽出するＤＣＴ係数の数を、前記中間サイズの画像データの解像度が、前記所望解像度よりも高くかつ前記所望解像度に最も近くなる数とすることを特徴とする請求項４に記載の動画再生装置。
さらに、
前記画像データ生成手段により生成された画像データを低解像度の画像データに変換可能な画像サイズ変換手段、
を備えることを特徴とする請求項１〜６のいずれか一つに記載の動画再生装置。