JP2010288044A - 動画像復号装置、プログラムおよび復号処理簡略化方法 - Google Patents

Abstract

【課題】動画像を受信・復号する側において、画質劣化を抑えつつ、動画像のデジタル処理に係わる負荷を低減することを実現できる技術を提供する。
【解決手段】入力された動画像ストリーム中の復号対象画像が他の画像の復号時に参照されない非参照フレーム画像か否かを判定するフレーム判定手段と、前記フレーム判定手段により非参照フレーム画像と判定された場合、マクロブロックを並べて構成されるスライス毎に、独自の符号化情報を持たないスキップマクロブロックが予め定められた数以上存在するか否かを判定するスライス解析手段と、前記スライス解析手段によりスキップマクロブロックが予め定められた数以上存在すると判定された場合、そのスライス内のすべてのマクロブロックをスキップマクロブロックに設定するスライス編集手段と、を具備することを特徴とする動画像復号装置。
【選択図】 図７

Description

この発明は、例えばデジタル放送番組データを記録・再生するＴＶ機能を有するパーソナルコンピュータ等に適用して好適な動画像ストリームの復号制御技術に関する。

近年、動画像をデジタルデータとして取扱い可能な電子機器が種々利用されている。例えば無線ネットワーク機能を有するモバイル型の電子機器を携行すれば、ユーザは、外出先や移動中においても、最新のニュース映像等を観ることができる。また、最近では、デジタルテレビジョン放送番組データを視聴・録画・再生するＴＶ機能を備えたパーソナルコンピュータ等も普及し始めている。

動画像のデジタル処理、即ち、動画像の符号化、送受信、復号は、プロセッサやネットワーク等に大きな負荷を強いるものである。このようなことから、動画像のデジタル処理に係わる負荷を低減するための仕組みが、これまでも様々提案されている（例えば特許文献１参照）。

特許文献１では、ストリーム配信において伝送帯域が制限された場合、符号化時の予測方法に関係なく、MBあたりの符号化情報が多いパケット（スライスに相当）の優先度を高くし、１フレーム内のVPに対して優先度に応じて伝送可能なVPを選択し、伝送させる事により受信側で復号する際の画質劣化を抑制するものであり、また、N倍速の高速再生する場合、Pフレーム及びBフレームの両方において、パケットの優先度に応じて高速再生可能なVPを選択し、高速再生用フレームを構成して、再生させる為、参照フレームとなる画面内予測符号化データIフレーム及びPフレームの符号化情報が優先度に応じて欠落すると画質劣化が大きくなる。また、先行技術は復号側において優先度を決定し、送信側でデータを再構成する必要があり、放送データのように送信側（符号化側）で処理を行うことが出来ない場合には適応できないという課題がある。

特開２００４−３５７２０５号公報（３６頁）

本発明は、動画像を受信・復号する側において、画質劣化を抑えつつ、動画像のデジタル処理に係わる負荷を低減することを実現できる技術を提供することを目的とする。

上記課題を解決するために、本発明の動画像復号装置は、各画像をマトリックス状に分割して生成される１６×１６画素のマクロブロック単位に符号化された動画像ストリームを入力する入力手段と、前記入力手段により入力された動画像ストリーム中の復号対象画像が他の画像の復号時に参照されない非参照フレーム画像か否かを判定するフレーム判定手段と、前記フレーム判定手段により非参照フレーム画像と判定された場合、前記マクロブロックを並べて構成されるスライス毎に、独自の符号化情報を持たないスキップマクロブロックが予め定められた数以上存在するか否かを判定するスライス解析手段と、前記スライス解析手段によりスキップマクロブロックが予め定められた数以上存在すると判定された場合、そのスライス内の先頭および最後のマクロブロック以外のすべてのマクロブロックをスキップマクロブロックに設定するスライス編集手段と、を具備することを特徴とする。

本発明によれば、動画像を受信・復号する側において、画質劣化を抑えつつ、動画像のデジタル処理に係わる負荷を低減することを実現できる技術が得られる。

本発明の一実施形態に係る動画像復号装置の概観の例を示す斜視図。 同実施形態の動画像復号装置のシステム構成例を示す図。 同実施形態の動画像復号装置の機能構成を示すブロック図。 同実施形態の圧縮符号化された動画像ストリームにおけるフレーム、スライス、マクロブロックの関係を示す概念図。 同実施形態に用いられるH.264におけるNALユニットのヘッダ情報。 同実施形態の通常のスライス単位の復号処理を示すフローチャート。 同実施形態に用いられる非参照フレームでのスライス単位の復号処理を示すフローチャート。

以下、本発明による実施形態を図１乃至図７を参照して説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る動画像復号装置の構成を説明する。本実施形態の動画像復号装置は、例えばノートブックタイプのパーソナルコンピュータ１０として実現される。

このコンピュータ１０は、例えばネットワークを介して受信し、または、記録メディアから読み出した、Ｈ．２６４規格に準拠した方式で圧縮符号化された動画像ストリームを再生する機能を有している。この機能は、コンピュータ１０に例えばプリインストールされるビデオデコーダアプリケーションプログラムによって実現される。

図１は、このコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成される。ディスプレイユニット１２には、ＬＣＤ（Liquid Crystal Display）１３によって構成される表示装置が組み込まれている。

ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１４、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１５、タッチパッド１６、スピーカ１７Ａ，１７Ｂなどが配置されている。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。
本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、表示コントローラ１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ＨＤＤ（hard disk drive）１０９、ＯＤＤ（optical disc drive）ドライブ１１０、無線ＬＡＮコントローラ１１１、IEEE 1394コントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ１１４等を備えている。

ＣＰＵ１０１は、本コンピュータ１０の動作を制御するプロセッサであり、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２００や、このＯＳ２００の配下で動作するビデオデコーダアプリケーションプログラム３００等の各種アプリケーションプログラムを実行する。ビデオデコーダアプリケーションプログラム３００は、例えばＬＡＮコントローラ１０８や無線ＬＡＮコントローラ１１１によってネットワークを介して受信し、または、ＯＤＤ１１０によってＤＶＤ（digital versatile disk）等から読み出した、ＭＰＥＧ−２規格に準拠した方式で圧縮符号化された動画像ストリームを再生する処理を実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介して表示コントローラ１０５との通信を実行する機能も有している。

表示コントローラ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１３を制御するデバイスである。この表示コントローラ１０５によって表示信号生成されてＬＣＤ１３に送られる。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上およびＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９およびＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１７Ａ，１７Ｂに出力する。
無線ＬＡＮコントローラ１１１は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１２は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。

ＥＣ／ＫＢＣ１１３は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）１４およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１５の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。

以上のような構成をもつ本コンピュータ１０上において、他のアプリケーションプログラムと同列で一ソフトウェアとして動作する、動画像ストリームを再生するビデオデコーダアプリケーションプログラム３００は、ＣＰＵ１０１の負荷状態によらず、画質劣化を抑えつつ、動画像ストリームの再生に係る処理の処理量を削減する仕組みを備えている。以下、この点について詳述する。

まず、図３の動画像復号装置を示すブロック図を参照して、ビデオデコーダアプリケーションプログラム３００によって実現されるソフトウェアデコーダの機能構成を説明する。

入力された動画像ストリームは、復号データ処理部３０１（制御ユニット）において、ヘッダ情報、スライス情報、マクロブロック（ＭＢ）情報が復号される。復号データ処理部３０１は、これら３つの情報を含む復号情報のメモリ３１１とこの情報を用いてシンタックスの解析等を行う復号部３２１とスキップMBをカウントするカウンタ３３１と、以上の制御を司る復号制御部３４１とを備えている。

他方信号処理ユニット３１０では、量子化特性情報を元に、逆量子化・逆ＤＣＴ（discrete cosine transform：離散コサイン変換）部３０２が量子化後係数情報を逆量子化しまた、この逆量子化結果に対して逆直交変換を施した後、動きベクトル情報を元に、加算器３０４により過去の再生画像と加算され、参照画像メモリ３０７に蓄えられる。同時に、この参照画像メモリ３０７で蓄えられた画像を用いて映像出力することにより、符号化を行った側が意図した映像を出力することができる。参照画像メモリ３０７は、双方向予測用に、ＩまたはＰフレームの多画面分の参照画面を保持する。信号処理ユニット３１０はまた、Inter予測部３０３とIntra予測部３０５とフィルタ３０６及び、スキップ処理部３０８を備えている。

Ｉ，Ｐ，Ｂの各フレームについて説明すると、Ｉフレームは、Intra符号化画像（フレーム内符号化画像）であり、自身の情報のみで復号可能なフレームである。また、Ｐフレームは、Predictive 符号化画像（フレーム間順方向予測符号化画像）であり、直前のＩフレームの情報を参照することで復号可能なフレームである。そして、Ｂフレームは、Bi-directionally Predictive符号化画像（双方向予測符号化画像）であり、前後のＩ，Ｐフレームの情報を参照することで復号可能なフレームである。Ｉ，Ｐ，Ｂの各フレームの配列を示すと、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，…，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，…となる。前述の参照画像メモリ３０７には、この配列で言えば２つのＢフレームの前後のＩまたはＰフレームの画像がそれぞれ保持され、入出力が制御される。

つまり、Ｉ，Ｐフレームの情報は、他のフレームの復号時に参照され得るが、一方、Ｂフレームの情報は、他のフレームの復号時に参照されることはない。そこで、ビデオデコーダアプリケーションプログラム３００は、第１に、このＢフレームを、負荷低減のための処理を施す候補とする。より具体的に言えば、当該負荷低減処理の影響を他のフレームの復号に及ぼすことを防止する。

次に、Ｐフレームを対象としてビデオデコーダアプリケーションプログラム３００が施す負荷低減処理の背景を、図４および図５を参照して説明する。
H.264に関連する規格では、各画像を１６×１６画素のマクロブロックに分割し、このマクロブロック単位に符号化を行う。そして、このマクロブロックを１個以上（最大は１フレームのマクロブロック数）まとめてスライスを構成する。図４は、マクロブロックを行方向にまとめてスライスした場合の各画像（フレーム）、スライス、マクロブロックの関係を示す概念図である。

図４に示すように、各フレームａは、複数のスライスｂに分割され、各スライスｂは、複数のマクロブロックｃから構成される。
図５はH.264におけるNALユニットの構成とヘッダ情報を示す。H.264の符号化画像信号は、図５に示すように、スタートコードａと、NALユニットｂと呼ばれるパケットが交互に連続して羅列されることにより構成されている。

スタートコードａはこの符号化画像信号において共通のコードであり、「０ｘ０００００１」（１６進）で固定されている。
また、NALユニットｂは、NALヘッダｃと、データ本体であるＮＡＬデータｄとにより構成されている。
NALヘッダｃは、「forbidden＿zero＿bit」、「nal＿ref＿idc」、「nal＿unit＿type」のパラメータが格納されており、NALデータｄの種別を示すパラメータ「nal＿unit＿type」ｅ（以下、NAL種別と言う。）により、NALデータｄの内容が判断される。

図６は図３に示したH.264の動画像復号装置の復号データ処理部における通常のスライス単位の復号処理を示すフローチャートである。復号データ処理部３０１で行われる処理である。

参照フレームにおいて、スライス情報を復号後（ステップＳ６０１）、MBスキップ情報を復号し（ステップＳ６０２）、スライス単位のMB情報の復号が完了したかどうかをチェックし（ステップＳ６０３）、完了していなければ他のMB情報（MBタイプ情報、予測情報、量子化特性情報、量子化後係数情報）を復号し（ステップＳ６０４）、再度、MB情報の復号が完了したかどうかをチェックし（ステップＳ６０５）、完了していなければ再び、MBスキップ情報を復号する（ステップＳ６０２）。スライス単位のMB情報の復号が完了した後（ステップＳ６０３のYesまたはステップＳ６０５のYes）、スライス単位の信号処理を行う。

図７は図３に示したH.264の動画像復号装置の復号データ処理部における本発明の実施例である非参照フレームでのスライス単位の復号処理を示すフローチャートである。復号データ処理部３０１と一部はスキップ処理部３０８で行われる処理である。

H.264の動画像復号装置の復号データ処理部でNALヘッダｃを復号し、NAL種別及び参照フレームのデータかどうかがわかる。NALヘッダｃにおいて、nal_ref_idcが0の場合、参照されないフレーム（非参照フレーム）であるという事がわかる。

本発明の実施例を図７の非参照フレームのスライス単位の復号データ処理を示すフローチャートに従って説明する。
非参照フレームにおいて、スライス情報を復号後（ステップＳ７０１）、MBスキップ情報を復号し（ステップＳ７０２）、スライス単位のスキップMB数をカウントする（ステップＳ７０３）。スライス内のスキップMB数がしきい値以上（例えば1スライス内のMB数の80%以上）の場合（ステップＳ７０４のYes）、全てスキップMBに設定し（ステップＳ７０５）、スライス単位の信号処理を行う。スライス内のスキップM数がしきい値に達していない場合は（ステップＳ７０４のNo）スライス単位のMB情報の復号が完了したかどうかをチェックし（ステップＳ７０６）、完了していなければ他のMB情報（MBタイプ情報、予測情報、量子化特性情報、量子化後係数情報）を復号し（ステップＳ７０７）、再度、MB情報の復号が完了したかどうかをチェックし（ステップＳ７０８）、完了していなければ再び、MBスキップ情報を復号する（ステップＳ７０２）。スライス単位のMB情報の復号が完了した後（ステップＳ７０６のYesまたはステップＳ７０８のYes）、スライス単位の信号処理を行う。

スライス内のスキップMB数がしきい値以上となった場合、その後のMB情報の復号データ処理を行わない為、処理が削減され、スキップMBとしての処理を行うことにより逆量子化およびIDCT処理等の信号処理を削減することが可能となる。非参照フレームに限定する事により、通常の復号データ処理と信号処理を行った場合の画質に対して劣化を抑えることが可能となる。

上記のように本実施形態ではH.264の動画像ストリームにおけるNALヘッダｃの情報を用いる事により、フレーム間予測符号化されたPフレームであっても参照されないフレームの場合に適用可能であり、参照されないフレームにのみ適用し、スキップマクロブロック処理とする事で、復号処理を削減し、画質劣化を抑える事が可能となった。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

１０…動画像復号装置（パーソナルコンピュータ）、１１…コンピュータ本体、１２…ディスプレイユニット、１３…ＬＣＤ、１４…キーボード、１５…パワーボタン、１６…タッチパッド、１７Ａ，１７Ｂ…スピーカ、１０１…ＣＰＵ、１０２…ノースブリッジ、１０３…主メモリ、１０４…サウスブリッジ、１０５…表示コントローラ、１０５Ａ…ビデオメモリ（ＶＲＡＭ）、１０６…サウンドコントローラ、１０７…ＢＩＯＳ−ＲＯＭ、１０８…ＬＡＮコントローラ、１０９…ＨＤＤ、１１０…ＯＤＤ、１１１…無線ＬＡＮコントローラ、１１２…IEEE 1394コントローラ、１１３…エンベデッド／キーボードコントローラ（ＥＣ／ＫＢＣ）、１１４…ＥＥＰＲＯＭ、２００…オペレーティングシステム（ＯＳ）、３００…ビデオアプリケーションプログラム、３０１…復号データ処理部、３０８…スキップ処理部。

Claims (6)

1. 各画像をマトリックス状に分割して生成される１６×１６画素のマクロブロック単位に符号化された動画像ストリームを入力する入力手段と、
   前記入力手段により入力された動画像ストリーム中の復号対象画像が他の画像の復号時に参照されない非参照フレーム画像か否かを判定するフレーム判定手段と、
   前記フレーム判定手段により非参照フレーム画像と判定された場合、前記マクロブロックを並べて構成されるスライス毎に、独自の符号化情報を持たないスキップマクロブロックが予め定められた数以上存在するか否かを判定するスライス解析手段と、
   前記スライス解析手段によりスキップマクロブロックが予め定められた数以上存在すると判定された場合、そのスライス内のすべてのマクロブロックをスキップマクロブロックに設定するスライス編集手段と、
   を具備することを特徴とする動画像復号装置。
2. 前記入力手段は、Ｈ．２６４規格に準拠した方式で圧縮符号化された動画像ストリームを入力し、
   前記フレーム判定手段は、復号対象画像が非参照フレームか否かを判定する、
   ことを特徴とする請求項１記載の動画像復号装置。
3. 前記スライス解析手段は、各スライスの全マクロブロックに占めるスキップマクロブロックの割合が予め定められた値以上であるか否かを判定することを特徴とする請求項１記載の動画像復号装置。
4. 前記スライス解析手段は、各スライス毎に、符号化情報量が予め定められた値以下か否かを判定し、符号化情報量が予め定められた値以下のスライスに対して、前記スキップマクロブロックが予め定められた数以上存在するか否かの判定を実施することを特徴とする請求項１記載の動画像復号装置。
5. 各画像をマトリックス状に分割して生成される１６×１６画素のマクロブロック単位に符号化された動画像ストリームを入力する入力手段、
   前記入力手段により入力された動画像ストリーム中の復号対象画像が他の画像の復号時に参照されない非参照フレーム画像か否かを判定するフレーム判定手段、
   前記フレーム判定手段により非参照フレーム画像と判定された場合、前記マクロブロックを並べて構成されるスライス毎に、独自の符号化情報を持たないスキップマクロブロックが予め定められた数以上存在するか否かを判定するスライス解析手段、
   前記スライス解析手段によりスキップマクロブロックが予め定められた数以上存在すると判定された場合、そのスライス内のすべてのマクロブロックをスキップマクロブロックに設定するスライス編集手段、
   としてコンピュータを機能させるためのプログラム。
6. 動画像復号装置の復号処理簡略化方法であって、
   各画像をマトリックス状に分割して生成される１６×１６画素のマクロブロック単位に符号化された動画像ストリームを入力し、
   前記入力した動画像ストリーム中の復号対象画像が他の画像の復号時に参照されない非参照フレーム画像か否かを判定し、
   非参照フレーム画像と判定した場合、前記マクロブロックを並べて構成されるスライス毎に、独自の符号化情報を持たないスキップマクロブロックが予め定められた数以上存在するか否かを判定し、
   スキップマクロブロックが予め定められた数以上存在すると判定した場合、そのスライス内のすべてのマクロブロックをスキップマクロブロックに設定する、
   ことを特徴とする復号処理簡略化方法。

Images