JP2005184495A - 動画像符号化装置およびその方法 - Google Patents

Abstract

【課題】 ＭＰＥＧ映像を異なるＴＶ方式のＭＰＥＧ映像に変換する場合に、全体の処理速度と符号化効率の向上を図る。
【解決手段】 符号化制御情報抽出部１４が、復号部１１によって出力される方式変換前のベースバンド映像から動きベクトル情報を含む所定の符号化制御情報を抽出し、また、映像パラメータ推定部１５が、抽出された符号化制御情報から、映像性質を表すパラメータを推定してＴＶ方式変換部１２に供給する。また、映像パラメータ抽出部１６で、ＴＶ方式変換部１２から方式変換後のベースバンド映像の映像パラメータ取得に役立つ情報を得、当該情報に基づき、ＴＶ方式変換部１２から出力される方式変換後のベースバンド映像の映像パラメータを算出し、符号化部１３による変換後のベースバンド映像を更に符号化する。
【選択図】 図１

Description

本発明は、ある方式のテレビジョン信号から成る符号化映像を他のテレビジョン方式の符号化映像に変換する用途に用いて好適な、動画像符号化装置およびその方法に関する。

国際間でテレビジョン（ＴＶ）放送の映像コンテンツを中継し、あるいは伝送、流通させる場合、符号化された映像コンテンツに対し、ＴＶ方式変換を行う必要が生じる。
テレビジョン画像を含む動画像は、毎秒一定のフレームレートで静止画像を次々に表示することを基本原理とし、時間的に連続した信号としては与えられていない。例えば、放送テレビジョン方式を見れば、日本では３０フレーム／秒のフレームレートが採用され、一方、ヨーロッパ諸国では、２５フレーム／秒のフレームレートが採用されている。従って、これらフレームレートが異なるテレビジョン方式を採用する国の間で放送プログラムを交換する場合には、フレームレートの変換、あるいはフィールド数、画素数の変換が必須となる。

具体的に、ヨーロッパで標準になっているＰＡＬ映像はＭＰＥＧ（Moving Picture Experts Group）により符号化されており、これを日本で標準になっているＮＴＳＣ映像のＭＰＥＧファイルに変換する場合は、初期ＴＶ形式でのＭＰＥＧ復号を実施し、次にベースバンドでＴＶ方式変換を実施し、更に、変換後の映像に対してＭＰＥＧ符号化を行うことにより、目的のコンテンツが得られる。
従来、上記した一連の処理はそれぞれ独立に実施されており、従って、処理時間はそれぞれの合計分だけ必要となり、非効率である。このため、図３にその一例が示されるように、ＴＶ方式変換部３２で、圧縮ビットストリーム内に存在する動ベクトルをはじめとする種々の符号化パラメーを利用して動き補正方式変換を行い、また、符号化部３３でその後の再符号化を行うことで、高画質で効率的な処理を実現することのできる、符号化ビットストリーム変換装置を提供する技術が提案されている（例えば、特許文献１参照）。
特開平１０−６６０３３号公報（段落０００１６〜００１７、図１）

しかしながら、上記した特許文献によれば、各処理ブロックで処理パラメータを相互参照することにより、全体処理の効率化を実現可能であるが、ＭＰＥＧ符号化における動きベクトルの参照は行われても、他のパラメータについての参照、および継承は行われていないため、依然として非効率的であり、更なる高速化の余地がある。

本発明は上記事情に鑑みてなされたものであり、ＭＰＥＧ映像を異なるＴＶ方式のＭＰＥＧ映像に変換する場合に、ＭＰＥＧ符号化パラメータを参照することで全体の処理速度や符号化効率の向上を図ることのできる、動画像符号化装置およびその方法を提供することを目的とする。

上記した課題を解決するために本発明は、ある方式のテレビジョン信号から成る符号化映像を他のテレビジョン方式の符号化映像に変換する動画像符号化装置であって、入力される前記符号化映像を復号する復号部と、前記復号部によって出力される方式変換前のベースバンド映像から所定の符号化制御情報を抽出する符号化制御情報抽出部と、前記符号化制御情報抽出部によって出力される符号化制御情報から所定の映像性質を表す映像パラメータを推定する映像パラメータ推定部と、前記映像パラメータ推定部から出力される映像パラメータを参照して前記方式変換前のベースバンド映像を他の方式のベースバンド映像に変換すると共に、その変換過程において前記方式変換後のベースバンド映像の映像パラメータ取得に役立つ情報を映像パラメータ抽出部へ出力するテレビジョン方式変換部と、前記テレビジョン方式変換部によって出力される前記映像パラメータ取得に役立つ情報に基づき、同じく出力される前記方式変換後のベースバンド映像の映像パラメータを算出する前記映像制御情報抽出部と、前記符号化制御情報抽出部、前記映像パラメータ抽出部のそれぞれによって出力される符号化制御情報および映像パラメータに基づき前記テレビジョン方式変換部によって出力される変換後のベースバンド映像を更に符号化する符号化部と、を備えたことを特徴とする。

また、本発明において、前記符号化制御情報抽出部は、方式変換前のベースバンド映像から、マクロブロック単位での動きベクトル情報を含み、ビデオフレーム・フィールドのビクチャタイプ、予測や離散コサイン変換におけるフレーム・フィールド区別、離散コサイン変換係数のスキャンモード、量子化重み係数、量子化ステップサイズ、符号化タイプの少なくとも一つを符号化制御情報として抽出することを特徴とする。

上記した課題を解決するために本発明は、ある方式のテレビジョン信号から成る符号化映像を他のテレビジョン方式の符号化映像に変換する動画像符号化装置に用いられる符号化方法であって、入力される前記符号化映像を復号するステップと、前記方式変換前のベースバンド映像から所定の符号化制御情報を抽出するステップと、前記符号化制御情報から所定の映像性質を表す映像パラメータを推定するステップと、前記映像パラメータを参照して前記方式変換前のベースバンド映像を他の方式のベースバンド映像に変換すると共に、その変換過程において前記方式変換後のベースバンド映像の映像パラメータ取得に役立つ情報を出力するステップと、前記映像パラメータ取得に役立つ情報に基づき、同じく出力される前記方式変換後のベースバンド映像の映像パラメータを算出するステッフと、前記符号化制御情報および映像パラメータに基づき前記変換後のベースバンド映像を更に符号化するステップと、を含むことを特徴とする。

本発明によれば、符号化制御情報抽出部が、復号化部によって出力される方式変換前のベースバンド映像から、マクロブロック単位での動きベクトル情報を含み、例えば、ビデオフレーム・フィールドのビクチャタイプ、予測や離散コサイン変換におけるフレーム・フィールド区別、離散コサイン変換係数のスキャンモード、量子化重み係数、量子化ステップサイズ、符号化タイプの少なくとも一つを符号化制御情報として抽出し、また、映像パラメータ推定部が、抽出された符号化制御情報から、例えば、画像中の動きや動体部・静止部の識別、アンカバードバックグラウンドの検知、画像アクティビティ、フレーム・フィールドの相関性など映像性質を表すパラメータを推定して方式変換部に供給することで、一連の処理につき部分的継承をはかりながら各処理ブロック間で協働して実行することができ、このことにより高速化が可能となる。

また、映像パラメータ抽出部で、方式変換部から方式変換後のベースバンド映像の映像パラメータ取得に役立つ情報を得、当該情報に基づき、方式変換部から出力される方式変換後のベースバンド映像の映像パラメータを算出し、符号化部による変換後のベースバンド映像を更に符号化することで効率的な符号化制御を実現でき、このことにより、画質劣化の抑制も可能となる。

図１は、本発明の動画像符号化装置の一実施形態を示すブロック図である。図１に示されるように本発明の動画像符号化装置は、復号部１１と、ＴＶ方式変換部１２と、符号化部１３から成る従来の構成に、符号化制御情報抽出部１４と、映像パラメータ推定部１５と、映像パラメータ抽出部１６を新規に付加して構成される。

復号部１１は、入力される符号化映像（ビデオ）を復号してＴＶ方式変換部１２および符号化制御情報抽出部１４へ供給する。符号化制御情報抽出部１４は、復号部１１によって出力される方式変換前のベースバンド映像から、マクロブロック単位での動きベクトル情報を含み、ビデオフレーム・フィールドのビクチャタイプ、予測や離散コサイン変換（ＤＣＴ）におけるフレーム・フィールド区別、離散コサイン変換係数のスキャンモード、量子化重み係数、量子化ステップサイズ、符号化タイプ等、所定の符号化制御情報を抽出して映像パラメータ指定部１５および符号化部１３へ供給する。

また、映像パラメータ推定部１５は、符号化制御情報抽出部１４によって出力される符号化制御情報から、例えば、画像中の動きや動体部・静止部の識別、アンカバードバックグラウンドの検知、画像アクティビティ、フレーム・フィールドの相関性など映像性質を表すパラメータを推定してＴＶ方式変換部１２へ供給する。

一方、ＴＶ方式変換部１２は、映像パラメータ推定部１５から出力される映像パラメータを参照し、方式変換前のベースバンド映像を他の方式のベースバンド映像に変換すると共に、その変換過程において方式変換後のベースバンド映像の映像パラメータ取得に役立つ情報を映像パラメータ抽出部１６へ出力する。
映像パラメータ抽出部１６は、ＴＶ方式変換部１２によって出力される映像パラメータ取得に役立つ情報に基づき、同じく出力される方式変換後のベースバンド映像の映像パラメータを算出して符号化部１３へ供給する。符号化部１３は、符号化制御情報抽出部１４、映像パラメータ抽出部１６のそれぞれによって出力される符号化制御情報および映像パラメータに基づきＴＶ方式変換部１２によって出力される変換後のベースバンド映像を更に符号化する機能を持つ。

図２は、本発明の動画像符号化方法による再符号化の流れを説明するために引用したフローチャートであり、図１に示す動画像符号化装置の動作も示している。
以下、図２に示すフローチャートを参照しながら図１に示す本発明の動画像符号化装置の動作について詳細に説明する。

まず、復号部１１において、符号化ビデオが入力され、ここで方式変換前のベースバンドビデオが復号され出力される（Ｓ２１）。このとき、符号化制御情報抽出部１４では、１次符号化における符号化パラメータを復号化部１１から得て、種類ごとに抽出する（Ｓ２２）。
抽出される情報として、例えば、動きベクトル情報の他に、ＭＰＥＧ符号化などで使用されるパラメータとして、ビデオフレーム・フィールドのピクチャタイプ、予測やＤＣＴ変換におけるフィールド・フレーム区別、ＤＣＴ係数のスキャンモード、量子化重み係数（マトリクス）、量子化ステップサイズ、符号化タイプ（イントラ・インターなどの選択）等があり、これに発生情報量等の符号化状態情報が加わる。

ここで、映像パラメータ推定部１５において、上記した符号化制御情報から、画像中の動きや動体部と静止部の識別、アンカバードバックグラウンド（物体の背後にある領域が物体の動きに伴い表れる部分）の検知、画像アクティビティ（煩雑さ）、フレーム・フィールドの相関性等、映像性質を表すパラメータが推定され、ＴＶ方式変換部１２に供給される（Ｓ２３）。
ＴＶ方式変換部１２では、映像パラメータ推定部１５から得られる情報を参照しながら、ベースバンドの映像に関してＴＶ方式の変換を行う。また、このときＴＶ方式変換部１２は、変換過程においてＴＶ方式変換後の映像に関するパラメータ取得の役立つ情報を映像パラメータ抽出部１６に引き渡す（Ｓ２４）。映像パラメータ抽出部１６は、変換後のＴＶ方式における映像パラメータを算出して符号化部１３へ供給する（Ｓ２５）。

符号化部１３では、符号化制御情報抽出部１４から供給される符号化制御情報に加え、映像パラメータ抽出部１６から得られる方式変換後の映像パラメータを参照し、方式変換後のベースバンド画像に対して再符号化を行う。
このとき、例えば、ピクチャタイプやフィールド区別、量子化重み付け係数、符号化モードなどの部分的継承をはかることによって処理の高速化が可能である。
例えば、符号化制御情報抽出部１４から得られたピクチャタイプをそのまま継承する方式、符号化制御情報抽出部１４から得られるフレーム・フィールドタイプがフレームモードで映像パラメータ抽出部１６から得られる動きベクトルサイズが一定値よりも小さい場合にはフレームモードを、前者がフィールドモードで後者が一致値よりも大きい場合にはフィールドモードを、無条件で選択する方式、符号化制御情報抽出部１４から得られた符号化タイプがイントラであり、映像パラメータ抽出部１６から得られた動きベクトルが大きい場合には、無条件でイントラ符号化を符号化タイプとして選択する方式、あるいは、符号化制御情報抽出部１４から得られた量子化ステップサイズや発生情報量の値から、当該符号化の量子化ステップサイズを決定する方式等が適用可能な具体例である。
また、量子化ステップサイズと発生情報量の関系より、効率的な符号化制御（量子化ステップサイズの選択）が実施できるため、画質劣化を抑制可能である。

なお、上記した各種パラメータは、ＭＰＥＧを用いて動画像処理を行う場合の基本的なパラメータとして周知のものである。
具体的に、動きを推定するためには、例えば１６×１６画素のマクロブロック単位で、入力された画像の動きベクトル（参照画面内の比較対照ブロックとの移動量）を算出する必要があり、この動きベクトルの予測のために、順方向予測、逆方向予測、双方向予測に従ういずれかの予測を行い、それぞれの予測符号化画像（Ｉ／Ｐ／Ｂピクチャ）を生成して符号化する。また、動き補償した画像と入力画像との差分を８×８画素のブロックサイズで２次元離散コサイン変換（ＤＣＴ演算：Discrete Cosine Transform）を行い、ここで得られるＤＣＴ変換係数を、視覚を考慮したマトリクステーブル（図示せず）を参照することで量子化処理を行い、更に、スキャンしながら読み出した量子化値をランレングス符号とハフマン符号との組み合わせによる可変長符号化ＶＬＣ（Variable Length Coding）によって圧縮する。

以上がエンコード処理であり、デコードは以下の手順に従う。すなわち、まず、入力された可変長符号を復号して量子化係数や動きベクトルを求める。また、量子化係数は、逆量子化係数によりＤＣＴ係数に戻され、逆ＤＣＴ演算によって８×８画素のブロック毎にそれぞれの画素値が算出される。但し、ここでの画素値は対応する画素値間の差分値となっており、この差分値と動きベクトルによって補償されたブロックを加算してデコードされる。

以上説明のように本発明は、ＭＰＥＧ映像を異なるＴＶ方式のＭＰＥＧ映像に変換する場合に、既に実施された符号化や方式変換の動きベクトル以外のＭＰＥＧ符号化パラメータも参照することで全体の処理速度や符号化効率の向上をはかったものであり、映像コンテンツ伝送、流通、管理、特に、国際間でのＴＶ放送における映像コンテンツを中継する際に用いて顕著な効果が得られる。

本発明の動画像符号化装置の一実施形態を示すブロック図である。 本発明の動画像符号化方法による再符号化の流れを説明するために引用したフローチャートでる。 従来の動画像符号化装置の構成例を示すブロック図である。

符号の説明

１１…復号部、１２…ＴＶ方式変換部、１３…符号化部、１４…符号化制御情報抽出部、１５…映像パラメータ推定部、１６…映像パラメータ抽出部

Claims (3)

1. ある方式のテレビジョン信号から成る符号化映像を他のテレビジョン方式の符号化映像に変換する動画像符号化装置であって、
   入力される前記符号化映像を復号する復号部と、
   前記復号部によって出力される方式変換前のベースバンド映像から所定の符号化制御情報を抽出する符号化制御情報抽出部と、
   前記符号化制御情報抽出部によって出力される符号化制御情報から所定の映像性質を表す映像パラメータを推定する映像パラメータ推定部と、
   前記映像パラメータ推定部から出力される映像パラメータを参照して前記方式変換前のベースバンド映像を他の方式のベースバンド映像に変換すると共に、その変換過程において前記方式変換後のベースバンド映像の映像パラメータ取得に役立つ情報を映像パラメータ抽出部へ出力するテレビジョン方式変換部と、
   前記テレビジョン方式変換部によって出力される前記映像パラメータ取得に役立つ情報に基づき、同じく出力される前記方式変換後のベースバンド映像の映像パラメータを算出する前記映像制御情報抽出部と、
   前記符号化制御情報抽出部、前記映像パラメータ抽出部のそれぞれによって出力される符号化制御情報および映像パラメータに基づき前記テレビジョン方式変換部によって出力される変換後のベースバンド映像を更に符号化する符号化部と、
   を備えたことを特徴とする動画像符号化装置。
2. 前記符号化制御情報抽出部は、
   方式変換前のベースバンド映像から、マクロブロック単位での動きベクトル情報を含み、ビデオフレーム・フィールドのビクチャタイプ、予測や離散コサイン変換におけるフレーム・フィールド区別、離散コサイン変換係数のスキャンモード、量子化重み係数、量子化ステップサイズ、符号化タイプの少なくとも一つを符号化制御情報として抽出することを特徴とする請求項１に記載の動画像符号化装置。
3. ある方式のテレビジョン信号から成る符号化映像を他のテレビジョン方式の符号化映像に変換する動画像符号化装置に用いられる符号化方法であって、
   入力される前記符号化映像を復号するステップと、
   前記方式変換前のベースバンド映像から所定の符号化制御情報を抽出するステップと、
   前記符号化制御情報から所定の映像性質を表す映像パラメータを推定するステップと、
   前記映像パラメータを参照して前記方式変換前のベースバンド映像を他の方式のベースバンド映像に変換すると共に、その変換過程において前記方式変換後のベースバンド映像の映像パラメータ取得に役立つ情報を出力するステップと、
   前記映像パラメータ取得に役立つ情報に基づき、同じく出力される前記方式変換後のベースバンド映像の映像パラメータを算出するステッフと、
   前記符号化制御情報および映像パラメータに基づき前記変換後のベースバンド映像を更に符号化するステップと、
   を含むことを特徴とする動画像符号化方法。
   
   

Images