JP2011239255A - 映像符号化方法，映像符号化装置および映像符号化プログラム - Google Patents

Abstract

【課題】シーンチェンジを含む映像での画質劣化を，ＧＯＰ長を延ばすことなく，かつ従来技術よりも少ない演算量で効果的に抑止する。
【解決手段】符号化対象である入力映像信号に対してシーンチェンジを検出し（Ｓ１３），検出されたシーンチェンジ直後に存在する本来Ｐピクチャとして符号化される予定であったフレームをＩピクチャに変更する（Ｓ１８）。変更されたＩピクチャを先頭として，設定された最大ＧＯＰ長分のピクチャ群を新たなＧＯＰとするようにそれ以降のフレームのピクチャタイプを変換する（Ｓ１９）。
【選択図】図３

Description

本発明は，符号化器の画質を向上させる映像符号化技術に関し，特に，ＧＯＰ(Group Of Pictures) の長さを制御してシーンチェンジを含む映像での画質劣化を抑止する映像符号化方法，映像符号化装置および映像符号化プログラムに関するものである。

Ｈ．２６４／ＡＶＣ（ISO/IEC 14496-10“MPEG-4 Part 10 Advanced Video Coding”）に代表される映像符号化においては，入力映像はＧＯＰと呼ばれる特定の長さのフレーム群に分割される。また，各映像フレームの符号化方法としてフレーム内符号化のみ行うＩピクチャ，過去の１枚のフレームの情報を利用して符号化を行うＰピクチャ，過去および未来の複数枚のフレームの情報を利用するＢピクチャが選択可能である。なお，ＧＯＰは，Ｉピクチャを先頭とする連続する複数のピクチャ群であり，再生や映像編集の単位となる。

図９に，長さが６フレームで，ＩピクチャとＰピクチャ，あるいはＰピクチャとＩピクチャの間隔が３フレームの場合のＧＯＰの構成例を示す。図９に示すように，ＩピクチャをＧＯＰの先頭とし，次のＩピクチャの直前までをＧＯＰの終端とするのが一般的である。ＰおよびＢピクチャについては，過去あるいは未来のフレームの情報を利用するため，直前あるいは直後にシーンチェンジが発生すると，利用すべきフレームとの間に相関がなくなり，符号化効率が低下する。そこでシーンチェンジが発生した場合，その直後のＰピクチャをＩピクチャに変更することが従来行われていた。

例えば，図９に示すようにフレームＢ２とフレームＢ３の間でシーンチェンジが発生した場合，フレームＰ１をＩピクチャに変更する。しかし，単純にＰピクチャをＩピクチャに変換した場合，一般的にはＩピクチャの情報量はＰピクチャ，Ｂピクチャに比べて大きいため，Ｉピクチャの枚数が増加することによる符号量増加，すなわち符号化効率の低下を招く。

シーンチェンジがあった場合に，発生符号量ができるだけ増加しないようにピクチャタイプを変更する従来技術として，例えば特許文献１に記載されているような従来技術ａと，特許文献２に記載されているような従来技術ｂがある。

（ａ）従来技術ａ〔特許文献１参照〕
従来技術ａは，シーンチェンジが発生した場合に，時間的にその後にあるフレーム間符号化される予定であったフレームを，フレーム内符号化とすることで，符号化効率低下に伴う画質劣化を抑止する技術である。この従来技術ａでは，Ｉピクチャ枚数の増加を避けるため，シーンチェンジによりＩピクチャへの変換が発生した場合，その前後のＩピクチャをＰピクチャに変換することでＩピクチャの数を調整する。これには後述するようにＧＯＰ長が延びるという問題点がある。

（ｂ）従来技術ｂ〔特許文献２参照〕
従来技術ｂでは，最初に設定した第１のＧＯＰ構造で符号化を行い，Ｉピクチャへの変換が発生した際に，該当ピクチャの位置がＧＯＰの先頭となるように，時間的に前のＧＯＰ構造を第１のＧＯＰ構造と異なるＧＯＰ構造に変更する。これには，時間的に前のＧＯＰにおける符号化をやり直す必要があるため，演算量が増加するという問題点がある。

特開２００２−１０２６３号公報 特許第３４９６９２６号公報

シーンチェンジに伴い，ＰあるいはＢピクチャをＩピクチャに変更することは，シーンチェンジを含む映像に対する符号化効率低下を抑制するためには必須であるが，その際，Ｉピクチャの枚数が不必要に増加することは避ける必要がある。

上記従来技術ａでは，ＩピクチャからＰピクチャへの変換を併用することで，Ｉピクチャ枚数の増加を避ける手法であるが，ＧＯＰの先頭付近でＩピクチャへの変換が発生した場合，次ＧＯＰの先頭のＩピクチャがＰピクチャに変換され，当該ＧＯＰの終端が変換前の次々ＧＯＰの終端まで延びてしまい，ＧＯＰ長が２倍近くなってしまう。

図１０に，フレームＢ２とフレームＢ３の間でシーンチェンジが発生した場合のピクチャタイプの変換例を示す。フレームＰ１がＩピクチャに，フレームＩ１がＰピクチャにそれぞれ変換されており，ＧＯＰ（ｎ＋１）の長さが延びている。

ＩＰＴＶ（Internet Protocol Television）では，最大ＧＯＰ長が１秒（３０フレーム）と規定されており，ＣＭ映像のようにシーンチェンジが多発するような映像に対しては，ピクチャタイプ変換に伴ってＧＯＰ長が延びても問題ないように，当初のＧＯＰ長を短く設定する必要がある。最悪，ＧＯＰ先頭のＩピクチャ直後でシーンチェンジが発生した場合でも規定のＧＯＰ長を超えないようにするためには，当初のＧＯＰ長は規定の半分（ＩＰＴＶの場合には１５フレーム）とする必要がある。その場合，シーンチェンジが存在しない場合，あるいは少なかった場合にＩピクチャの数が単純に倍となるため，符号化効率は大幅に低下する。

また，従来技術ｂでは，直前のＧＯＰの構造を変更するため，構造を変更されたＧＯＰにおける符号化をやり直す必要がある。そのため，最大でＧＯＰ長（ＩＰＴＶであれば最大３０フレーム) 分の符号化に要する演算が増加するという問題点がある。シーンチェンジが多発する映像，例えばＣＭ映像のように秒単位でシーンが切り替わるような場合，最悪でほとんどのＧＯＰで符号化をやり直すことになる。その場合，符号化に要する演算時間はほぼ２倍となる。

以上のように，従来法ではシーンチェンジに伴ってＰピクチャをＩピクチャに変更する際に，Ｉピクチャの増加に伴い符号量が増加して符号化効率が低下することや，元々設定していたＧＯＰ長が延びてしまうという問題点があった。

本発明は，上記課題の解決を図り，シーンチェンジを含む映像での画質劣化を，従来技術よりも効果的に抑止することを目的とする。

本発明では，上記課題を解決するため，シーンチェンジに伴い，直後のＰピクチャをＩピクチャに変更する際，変更されたＩピクチャを先頭として，設定された最大ＧＯＰ長分のフレーム群を新たなＧＯＰとするようにそれ以降のフレームのピクチャタイプを変換する。それにより，最大ＧＯＰ長を確保しながら符号化効率の低下に繋がる不要なＩピクチャの増加を抑制する。

すなわち，本発明は，符号化対象である入力映像信号に対してシーンチェンジを検出する手段と，検出されたシーンチェンジ直後に存在する本来Ｐピクチャとして符号化される予定だったフレームをＩピクチャに変更する手段とを有し，変更されたＩピクチャを先頭として，設定された最大ＧＯＰ長分のフレーム群を新たなＧＯＰとするようにそれ以降のフレームのピクチャタイプを変換して符号化することを主要な特徴とする。

また，上記手段によって符号化を実施するに際して，ピクチャタイプを変換されたフレーム以前のフレームについては再符号化を伴わないことを特徴とする。

本発明の作用は，以下のとおりである。シーンチェンジを含む映像においては，シーンチェンジ前後のフレーム間の相関が低くなる。そこで，シーンチェンジ直後のＰピクチャを，符号化にフレーム間の相関を使用しないＩピクチャに変更することで，画質劣化を抑止できる。しかし，単純にＰピクチャをＩピクチャに変換しただけでは，変換した回数だけＩピクチャの枚数が増加してしまう。Ｉピクチャは一般的に情報量が大きいため圧縮効率が低下する。

本発明では，変更されたＩピクチャを先頭とする新たなＧＯＰとして再設定し，それ以降のフレームのピクチャタイプを変換する。これに伴い，当初ＩピクチャだったフレームをＰピクチャに変換することで，不要なＩピクチャの増加を抑制する。また，最大ＧＯＰ長に従って再設定を行うので，ＧＯＰ長が延びてしまうこともない。ＩＰＴＶのように，最大ＧＯＰ長（３０フレーム）が規定されている用途にも対応可能である。

また，ＧＯＰの再設定は，変更されたＩピクチャ以降のフレームに限定される。符号化済みである，該当フレーム以前のフレームについては再設定は不要のため，再度符号化をやり直す必要もないため，スペックの低い低廉な装置での適用も可能である。

本発明によれば，Ｉピクチャの不要な増加を抑え，かつ，ＧＯＰ長を延ばすことなく，シーンチェンジを含む映像での画質劣化を抑止することができる。また，演算量を増やすことなく，シーンチェンジを含む映像での画質劣化を抑止することができる。

本実施形態におけるシーンチェンジが発生した場合のピクチャタイプの変換例を示す図である。 本実施形態の装置構成例を示す図である。 本実施形態におけるピクチャタイプ決定の処理フローチャートである。 フレームの表示順序と符号化順序を示す図である。 ピクチャタイプ変換の例１を示す図である。 ピクチャタイプ変換の例２を示す図である。 ピクチャタイプ変換の例３を示す図である。 ピクチャタイプ変換の例４を示す図である。 ＧＯＰの構成例を示す図である。 シーンチェンジが発生した場合の従来技術によるピクチャタイプの変換例を示す図である。

以下，本発明の実施の形態について，図面を用いて説明する。

図１に，本実施形態におけるシーンチェンジが発生した場合のピクチャタイプの変換例を示す。この例では，（最大ＧＯＰ長）＝（変換前のＧＯＰ長）＝６である。フレームＢ３とフレームＰ１の間でシーンチェンジが発生しており，フレームＰ１をＩピクチャに変換し，変換されたフレームＩ１を先頭とする６フレームを，新たなＧＯＰ（ｎ＋１）とする。それに応じて，フレームＩ１をＰピクチャに，フレームＰ２をＩピクチャに変更し，以下同様の変更を行って，それ以降のＧＯＰ長も６となるようとする。図１０の従来技術による結果と比較すると，従来技術では最大ＧＯＰ長は９まで延びてしまっているの対し，本実施形態では６に収まっている。

図２に，本実施形態の装置構成例を示す。フレームメモリ１００に蓄積された入力映像からシーンチェンジ検出部１０１によってシーンチェンジを検出し，その情報とあらかじめ設定された最大ＧＯＰ長から，ピクチャタイプ決定部１０２において，各フレームのピクチャタイプを決定する。決定されたピクチャタイプに従って，符号化部１０３にて符号化処理を行う。

符号化部１０３における符号化処理は，従来のＭＰＥＧ−２，Ｈ．２６４その他の映像符号化を行う装置と同様である。

動き参照部１０４では，入力映像信号について動き探索により動きの検出を行う。予測残差信号生成部１１５は，入力映像信号とフレーム間予測信号との残差から予測残差信号を生成する。この予測残差信号はＤＣＴ変換部１０６に入力され，ＤＣＴ変換による変換係数が出力される。変換係数は，量子化部１０７に入力され，量子化部１０７で，制御部１１４から設定された量子化ステップサイズに従って量子化される。この量子化された変換係数は，可変長符号化部１１１に入力され，可変長符号化部１１１において可変長符号化される。可変長符号化部１１１から出力される符号化データは，多重化部１１２において多重化されバッファ部１１３に格納される。バッファ部１１３からは符号化ストリームとして出力される。

一方，量子化された変換係数は，逆量子化部１０８で逆量子化され，逆直交変換部１０９で逆直交変換されて，復号予測残差信号が生成される。この復号予測残差信号は，加算器１１６でフレーム間予測信号と加算され，復号信号が生成される。復号信号は，続くフレームの予測符号化における参照画像として用いるために，ローカルデコード画像メモリ１１０に格納される。予測部１０５は，動き参照部１０４で検出された動きベクトルに従って，ローカルデコード画像メモリ１１０を参照し，フレーム間予測信号を生成する。

制御部１１４は，バッファ部１１３に格納された符号化データ量から量子化部１０７における発生符号量を制御する。

図３に，本実施形態におけるピクチャタイプ決定の処理フローチャートを示す。まず，処理対象フレーム番号ｆｒｎを１に初期化する（ステップＳ１０）。続いて，処理対象フレーム番号ｆｒｎに１を加算して次のフレームを処理対象とし（ステップＳ１１），入力映像の２番目のフレームから最終フレームまで，以下の処理を繰り返す（ステップＳ１２）。

前のフレームと処理対象フレーム（ｆｒｎ）との間でシーンチェンジがあったかどうかを調べ（ステップＳ１３），シーンチェンジが検出されない場合，シーンチェンジを検出するまで処理対象フレーム番号をインクリメントして検出処理を繰り返す（ステップＳ１１〜Ｓ１３）。

シーンチェンジを検出した場合，そのフレームのピクチャタイプを調べる。Ｐピクチャであった場合には（ステップＳ１４），当該フレームをＩピクチャに変更し（ステップＳ１８），変更されたＩピクチャを先頭として，設定された最大ＧＯＰ長分のフレーム群を新たなＧＯＰとするように，それ以降のフレームのピクチャタイプを変換する（ステップＳ１９）。その後，ステップＳ１１へ戻り，同様に処理を繰り返す。

Ｉピクチャであった場合には（ステップＳ１５），ピクチャタイプの変換は行わないで，ステップＳ１１へ戻り，処理対象フレーム番号ｆｒｎをインクリメントして，シーンチェンジ判定処理を繰り返す。

ＰピクチャでもＩピクチャでもなかった場合には，処理対象フレーム番号ｆｒｎをインクリメントし（ステップＳ１６），最終フレームに達していなければ，ステップＳ１４へ戻って，ピクチャタイプの調査を継続する。処理対象フレーム番号ｆｒｎをインクリメントした際に，入力映像の最終フレームに達した場合には処理を終了する（ステップＳ１７）。

以下，Ｈ．２６４，Ｈ．２６４／ＡＶＣにおけるＯｐｅｎ ＧＯＰとＣｌｏｓｅｄ ＧＯＰの場合を例に挙げて具体例を説明する。

〔Ｏｐｅｎ ＧＯＰの場合の例〕
初期設定として，入力画像の全フレームに対して，設定したＧＯＰ長に応じて各フレームのピクチャタイプを決定する。

Ｂピクチャが存在する場合には，Ｂピクチャを先頭としＰピクチャもしくはＩピクチャを終端とするフレーム群を，Ｂピクチャが存在しない場合には，ＰピクチャもしくはＩピクチャ単体を１単位としてシーンチェンジ検出を実施する。フレーム群の中にシーンチェンジが検出された場合，時間的に最も未来に存在するシーンチェンジのみに着目し，その直後のフレームのピクチャタイプによって以下の処理を切り分ける。以下の処理はフレーム群が入力映像の最後に達するまで実施する。

（１）シーンチェンジ直後のフレームがＩピクチャの場合
ピクチャタイプは変更せずにフレーム群の符号化を実施する。

（２）シーンチェンジ直後のフレームがＰピクチャの場合
当該ＰピクチャをＩピクチャに変更してフレーム群の符号化を実施する。また，このＩピクチャを先頭として長さを最大ＧＯＰ長とする新たなＧＯＰを設定し，それ以降のＧＯＰについても同じ長さを持つＧＯＰの連続として設定する。それに応じて，当該Ｉピクチャ以降のフレームにおけるピクチャタイプを変更する。

（３）シーンチェンジ直後のフレームがＢピクチャの場合
当該フレーム群の終端がＰピクチャの場合，（２）と同様の処理を行う。Ｉピクチャの場合には（１）と同様の処理を行う。

〔Ｃｌｏｓｅｄ ＧＯＰの場合の例〕
先のＯｐｅｎ ＧＯＰは，フレーム間符号化の際に異なるＧＯＰに属するフレームの情報が利用可能な構造であるが，Ｃｌｏｓｅｄ ＧＯＰは，先頭のＩピクチャがＩＤＲ(Instantaneous Decording Refresh) と呼ばれる特殊なピクチャタイプとなる。ＩＤＲピクチャを符号化する時点で，全ての参照ピクチャ（フレーム間符号化で情報を他フレームから利用されるフレーム群）が開放され，利用不可能となる。ここで注意しなければいけないのは，映像を表示する順序と，符号化する順序が一致していないことである。フレームの表示順序と符号化順序の一例を，図４に示す。

複数のフレームの情報を利用できるＢピクチャの特性を活かすために，時間的に未来に存在するＩあるいはＰピクチャを先に符号化することで，未来のフレームの情報を利用することができる。さらに，Ｃｌｏｓｅｄ ＧＯＰの場合，ＧＯＰ先頭のＩピクチャはＩＤＲであるため，Ｉ０やＩ１が符号化された後のフレームは，それ以前に符号化されたフレームの情報を利用することができない。例えばフレームＢ８〜Ｂ１１は，Ｏｐｅｎ ＧＯＰであれば時間的に過去となるフレームＰ０の情報を利用できるが，ＩＤＲであるＩ１が符号化された時点でＰ０の情報は開放されてしまうため，Ｃｌｏｓｅｄ ＧＯＰにおいてはＰ０の情報は利用できない。これらを念頭において，Ｃｌｏｓｅｄ ＧＯＰの場合に効率のよいピクチャタイプ変換方法を以下に示す。

初期設定として，入力画像の全フレームに対して，設定したＧＯＰ長に応じて各フレームのピクチャタイプを決定する。

Ｂピクチャが存在する場合には，Ｂピクチャを先頭としＰピクチャもしくはＩピクチャを終端とするフレーム群を，Ｂピクチャが存在しない場合には，ＰピクチャもしくはＩピクチャ単体を１単位としてシーンチェンジ検出を実施する。フレーム群の中に複数のシーンチェンジが検出された場合のピクチャタイプ変更方法を，以下「変更１」および「変更２」として記述するが，フレーム群の中で検出されたシーンチェンジが１つである場合には「変更１」のみ行うものとする。図５〜図８で示す例は，長さが１０フレームで，ＩピクチャとＰピクチャ，あるいはＰピクチャとＩピクチャの間隔が５フレームの場合のＧＯＰである。

［変更１］：フレーム群において，時間的に最も未来に存在するシーンチェンジ直後のフレームに着目し，以下の処理を行う。

（１）Ｉピクチャである場合
ピクチャタイプは変更せずに，シーンチェンジ直前のフレームをＰピクチャに変更する（図５，対象フレーム群はＢ８〜Ｉ１）。フレームＢ８〜Ｂ１１は，フレームＩ１の情報しか利用できないが，フレームＩ１はシーンチェンジ後のフレームであるため，当該Ｂピクチャとの相関がなく，そのままでは符号化効率が低下する。そこでフレームＢ１１をＰピクチャに変更する。これにより符号化順序は，Ｉ１→Ｂ８→Ｂ９→Ｂ１０→Ｂ１１からＰ１→Ｂ８→Ｂ９→Ｂ１０→Ｉ１と変更され，フレームＢ８〜Ｂ１０はフレームＰ１の情報を利用することが可能となる。

（２）Ｐピクチャである場合
当該ＰピクチャをＩピクチャに変更する。また，このＩピクチャを先頭として長さを最大ＧＯＰ長とする新たなＧＯＰを設定，それ以降のＧＯＰについても同じ長さを持つＧＯＰの連続として設定する。それに応じて，当該Ｉピクチャ以降のフレームにおけるピクチャタイプを変更する（図６，対象フレーム群はＢ４〜Ｐ０）。上記（１）と同様の理由により，ＩＤＲの前にＰピクチャを挿入することで符号化効率の低下を抑制する。

（３）Ｂピクチャである場合
フレーム群の終端がＰピクチャであればＩピクチャに変更し，シーンチェンジ直前のフレームをＰピクチャに変更する（図７，対象フレーム群はＢ４〜Ｐ０）。フレームＢ４，Ｂ５が，シーンチェンジ後のＰピクチャ情報を利用しなくてもよくするためである。

［変更２］：フレーム群において，複数のシーンチェンジが検出された場合に，「変更1 」の結果に対して以下の処理を行う。

（１）「変更１」でＰピクチャに変更されたフレームをＩピクチャに変更する。ただし，該当ＩピクチャはＩＤＲではなく，新たなＧＯＰ設定は実施しない（図８）。フレームＰ０はフレームＩ０の情報を利用して符号化を行うが，フレームＰ０の直前にシーンチェンジが発生しているため，Ｐ０とＩ０の相関は低く符号化効率が低下する。そのため，Ｐ０を他フレームの情報を利用しないＩピクチャに変更する。

「変更１」および「変更２」のピクチャタイプ変更を実施後，フレーム群の符号化を行う。

以上の処理はフレーム群が入力映像の最後に達するまで実施する。

以上の映像符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

１００ フレームメモリ
１０１ シーンチェンジ検出部
１０２ ピクチャタイプ決定部
１０３ 符号化部
１０４ 動き参照部
１０５ 予測部
１０６ ＤＣＴ変換部
１０７ 量子化部
１０８ 逆量子化部
１０９ 逆直交変換部
１１０ ローカルデコード画像メモリ
１１１ 可変長符号化部
１１２ 多重化部
１１３ バッファ部
１１４ 制御部
１１５ 予測残差信号生成部
１１６ 加算器

Claims (5)

1. 連続する複数のピクチャ群からなるＧＯＰの構造に従って入力映像信号を符号化する映像符号化方法において，
   符号化対象である入力映像信号に対してシーンチェンジを検出する過程と，
   検出されたシーンチェンジ直後に存在する，本来，順方向予測符号化ピクチャとして符号化される予定であったフレームをフレーム内符号化ピクチャに変更する過程と，
   変更されたフレーム内符号化ピクチャを先頭として，設定された最大ＧＯＰ長分のピクチャ群を新たなＧＯＰとするようにそれ以降のフレームのピクチャタイプを変換して符号化する過程とを有する
   ことを特徴とする映像符号化方法。
2. 請求項１記載の映像符号化方法において，
   前記ピクチャタイプを変換して符号化する過程では，ピクチャタイプを変換されたフレーム以前のフレームについては，再符号化を行わない
   ことを特徴とする映像符号化方法。
3. 請求項１または請求項２記載の映像符号化方法において，
   ＧＯＰの先頭ピクチャがＩＤＲピクチャである場合に，前記検出されたシーンチェンジ直前のピクチャタイプを，順方向予測符号化ピクチャに変更して符号化する
   ことを特徴とする映像符号化方法。
4. 連続する複数のピクチャ群からなるＧＯＰの構造に従って入力映像信号を符号化する映像符号化装置において，
   符号化対象である入力映像信号に対してシーンチェンジを検出するシーンチェンジ検出手段と，
   検出されたシーンチェンジ直後に存在する，本来，順方向予測符号化ピクチャとして符号化される予定であったフレームをフレーム内符号化ピクチャに変更し，変更されたフレーム内符号化ピクチャを先頭として，設定された最大ＧＯＰ長分のピクチャ群を新たなＧＯＰとするようにそれ以降のフレームのピクチャタイプを決定するピクチャタイプ決定手段と，
   前記ピクチャタイプ決定手段によって決定されたピクチャタイプに従って，入力映像信号を符号化する符号化手段とを備える
   ことを特徴とする映像符号化装置。
5. 請求項１，請求項２または請求項３記載の映像符号化方法を，コンピュータに実行させるための映像符号化プログラム。

Images