JP2015222860A - 映像符号化装置及び映像符号化プログラム - Google Patents

Abstract

【課題】イントラカラム符号化を使用する際に、符号化効率を向上させる。
【解決手段】入力映像の時間的相関を用いて符号化を行う符号化ピクチャ内に、画面内予測ブロックのみで構成されたリフレッシュ対象領域を挿入し、連続する複数のピクチャ間でリフレッシュ対象領域を移動させることにより、定期的なリフレッシュを行う映像符号化装置であって、符号化ピクチャ内のリフレッシュ対象領域を符号化ピクチャ内の右上から左下の斜め方向に構成するように指定された領域として決定する手段と、符号化ピクチャ内の符号化対象ブロックがリフレッシュ対象領域に含まれるブロックであるか否かを判定し、リフレッシュ対象領域に含まれるブロックであると判定された場合はリフレッシュ対象領域において指定された符号化ブロックサイズを選択する手段と、符号化ピクチャの符号化ピクチャ番号に応じて指定された符号化モードパターンで符号化を行う手段とを備える。
【選択図】図１

Description

本発明は、画面内符号化と画面間符号化の両方を用いて映像符号化を行う映像符号化装置及び映像符号化プログラムに関する。

映像符号化技術は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣが多く用いられており、最近では次世代の映像符号化規格であるＨＥＶＣ（High Efficiency Video Coding）が規格化され今後の普及が期待されている。ＤＶＤやＢｌｕ−ｒａｙ（登録商標）のような蓄積メディアは画質が最も重要な要件になるため、映像特性に応じて符号化レートを変化させ高画質に符号化を行うＶＢＲ（Variable Bit Rate）方式がよく用いられる。

また、ワンセグやＩＰＴＶ（Internet Protocol TeleVision）のような映像配信システムについては伝送レートに限りがあるため、符号化レートを一定にさせ符号化を行うＣＢＲ（Constant Bit Rate）方式を用いる。ただし、遅延に関しては１秒〜数秒の符号化遅延があり、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを用いて高効率な符号化を行っている。

テレビ電話のような映像コミュニケーションシステムやリアルタイム映像伝送システムで用いる場合には、ＣＢＲという条件と共に低遅延という条件が重要視される。一般的には双方向予測を用いるＢピクチャを使用せず、ＩピクチャとＰピクチャのみで符号化構造（ＧＯＰ：Group Of Pictures）を構成する方法が取られるが、画質を高めようとするとＩピクチャにより符号量を多く割り振る必要があり、Ｉピクチャの送受信時間により遅延が増大してしまう。

その解決策の一つとしてイントラスライスによるリフレッシュ方式がある（例えば、特許文献１参照）。図６はイントラスライス符号化を表している。図６に示すように、イントラスライスによるリフレッシュ方式では、時間ｔが経過する（フレームが切り替わる）につれてピクチャ毎にイントラスライスが上から下に移動する。これはフレーム間予測を行うピクチャ（Ｐピクチャ）の中に強制的に画面内符号化ブロック（イントラモードブロック）のみで構成されたスライス（以下、イントラスライスと称する）を水平帯状に配置し、順次イントラスライスを画面上部から下部（または下部から上部）へ移動させることで符号化劣化の低減を防ぎ高画質を実現する方法である。

この方式は遅延の原因となる符号量の大きいＩピクチャを用いずに符号化処理を行うことができるため符号量の均一性を保ちやすく、かつ高画質・低遅延を実現できることからＩＰネットワークや衛星回線等での映像伝送システムでしばしば用いられる。

しかし、このイントラスライスによる符号化方式はピクチャ内の符号量割り当てについては制御が難しい。通常、ピクチャ内の符号量制御は符号化ブロック（コーディングブロックまたはマクロブロック）毎か符号化ブロックライン毎に割り当て量を補正する制御を行うが、イントラスライス部分の領域は他の領域と比較して符号量を多く割り振る必要がある。そのため、画面内のイントラスライスの位置に応じて符号量の制御方法を変更する等の複雑な制御が必要になるか、或いは、イントラスライス領域の周辺で画質の差異が生じ境界線が見えてしまうことで主観画質が低下してしまう。

この問題を解決する一手法として、イントラモードブロックを垂直帯状に配置し画面右方向（または左方向）に移動させる符号化方式がある（以下、イントラカラム符号化と称する）。図７はイントラカラム符号化を表している。図７に示すように、この符号化においては、時間ｔが経過する（フレームが切り替わる）につれてピクチャ毎にイントラカラムが左から右に移動する。イントラカラムによる符号化方式であれば、符号化ブロックライン毎の符号量割り当て量についても偏りなく補正することが可能である。

特開２００８−２５８９５３号公報

しかしながら、Ｈ．２６４やＨＥＶＣにおいてイントラカラム符号化を行った場合、イントラカラム領域のイントラ予測方向を制限しなければならないという問題がある。Ｈ．２６４やＨＥＶＣのイントラ予測モードでは対象の符号化ブロックの周囲の画素から予測を行って符号化を行う。このため、イントラカラムを右側に動かす場合、対象の符号化ブロックよりも右側の画素を用いるとリフレッシュが実現しないため、そのようなイントラ予測モードを選択しないように制御する必要がある。このため、イントラ予測モードの制限を行うことで制御が複雑になると共に符号化効率が低下するという問題がある。

本発明は、このような事情に鑑みてなされたもので、イントラカラム符号化を行う際に符号化効率を向上させることができる映像符号化装置及び映像符号化プログラムを提供することを目的とする。

本発明は、入力映像の時間的相関を用いて符号化を行う符号化ピクチャ内に、画面内予測ブロックのみで構成されたリフレッシュ対象領域を挿入し、連続する複数のピクチャ間で前記リフレッシュ対象領域を移動させることにより、定期的なリフレッシュを行う映像符号化装置であって、前記符号化ピクチャ内の前記リフレッシュ対象領域を前記符号化ピクチャ内の右上から左下の斜め方向に構成するように指定された領域として決定するリフレッシュ対象領域決定手段と、前記符号化ピクチャ内の符号化対象ブロックが前記リフレッシュ対象領域に含まれるブロックであるか否かを判定し、前記リフレッシュ対象領域に含まれるブロックであると判定された場合は前記リフレッシュ対象領域において指定された符号化ブロックサイズを選択するイントラカラム位置判定手段と、前記符号化ピクチャの符号化ピクチャ番号に応じて指定された符号化モードパターンで符号化を行う符号化手段とを備えることを特徴とする。

本発明は、前記符号化手段は、前記符号化ピクチャ番号に応じて複数のパターンを切り替えて符号化を行うことを特徴とする。

本発明は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。

本発明によれば、イントラカラム領域をピクチャの右上から左下への斜め方向に構成し、全てのイントラ予測モードを選択可能とすることにより、符号化効率を向上させることができるという効果が得られる。

本発明の一実施形態による映像符号化装置の構成を示すブロック図である。 図１に示すイントラカラム判定処理部１０４の構成を示すブロック図である。 斜めのイントラカラム符号化を表した説明図である。 イントラパターン判定部２０２で指定するイントラパターンを示す図である。 符号化ブロックパターンを決定する動作を示すフローチャートである。 イントラスライス符号化を表した説明図である。 イントラカラム符号化を表した説明図である。

以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。以下で用いる「符号化ブロック」についてはＨ．２６４／ＡＶＣ規格ではマクロブロックのことを示し、ＨＥＶＣについてはコーディングユニット（ＣＵ）のことを指し示す。図１は同実施形態の構成を示すブロック図である。この図において、符号１００は、映像符号化装置である。符号１０１は、イントラ予測を行うイントラ予測処理部である。符号１０２は、インター予測を行うインター予測処理部である。符号１０３は、予測残差信号を生成する予測残差信号生成部である。

符号１０４は、イントラカラムの判定処理を行うイントラカラム判定処理部である。符号１０５は、予測残差信号に対して離散コサイン変換等の直交変換を行い、得られた変換係数を量子化する変換・量子化処理部である。符号１０６は、量子化された変換係数をエントロピー符号化し、ビットストリームを出力するエントロピー符号化部である。符号１０７は、量子化された変換係数を入力し、逆量子化と逆直交変換を行い、予測残差復号信号を出力する逆量子化・逆変換処理部である。符号１０８は、復号信号を生成する復号信号生成部である。符号１０９は、ループフィルタ処理を行うループフィルタ処理部である。

図１に示す映像符号化装置１００は、イントラカラム判定処理部１０４を備えている点が従来技術と異なる点であり、イントラカラム判定処理部１０４を除く他の部分はＨ．２６４／ＡＶＣやＨＥＶＣ等の映像符号化装置として用いられている従来の一般的な構成と同様である。

次に、図１を参照して、図１に示す映像符号化装置１００の処理動作を説明する。映像符号化装置１００は、符号化対象の映像信号（原画像）を入力し、入力映像信号のピクチャをブロックに分割し、分割したブロックごとに符号化し、そのビットストリームを符号化ストリームとして出力する。この符号化のため、予測残差信号生成部１０３は、入力映像信号（原画像）とイントラ予測処理部１０１あるいはインター予測処理部１０２の出力（イントラカラム判定処理部１０４の出力）である予測信号との差分を求め、それを予測残差信号として出力する。

イントラカラム判定処理部１０４はピクチャ内の対象符号化ブロックの位置を検出し、イントラカラム領域（リフレッシュ対象領域）であった場合に指定した符号化ブロックサイズ、符号化モードのものを選択し予測残差信号生成部１０３へ出力する。変換・量子化処理部１０５は、予測残差信号に対して離散コサイン変換等の直交変換を行い、得られた変換係数を量子化し、その量子化された変換係数を出力する。エントロピー符号化処理部１０６は、量子化された変換係数をエントロピー符号化し、ビットストリーム（符号化ストリーム）として出力する。

一方、逆量子化・逆変換処理部１０７は、量子化された変換係数を入力し、逆量子化と逆直交変換を行い、予測残差復号信号を出力する。復号信号生成部１０８は、予測残差復号信号とイントラ予測処理部１０１あるいはインター予測処理部１０２の出力（イントラカラム判定処理部１０４の出力）である予測信号とを加算し、符号化した符号化対象ブロックの復号信号を生成する。この復号信号は、インター予測処理部１０２で参照画像として用いるために、ループフィルタ処理部１０９に入力される。ループフィルタ処理部１０９は符号化歪みを低減するフィルタリング処理を行い、このフィルタリング処理後の画像を参照画像としてイントラ予測処理部１０１及びインター予測処理部１０２に対して出力する。

次に、図２を参照して、図１に示すイントラカラム判定処理部１０４の構成を説明する。図２は、図１に示すイントラカラム判定処理部１０４の構成を示すブロック図である。イントラカラム判定処理部１０４は、イントラカラム位置判定部２０１と、イントラパターン判定部２０２と、符号化モード決定部２０３を備えている。

イントラカラム位置判定部２０１は、対象符号化ブロック位置情報と、符号化ピクチャ番号を入力し、イントラカラム位置を判定して、符号化ブロックサイズ指定の情報を出力する。イントラパターン判定部２０２は、符号化ピクチャ番号と、イントラカラム位置判定部２０１が出力する符号化ブロックサイズ指定の情報とを入力して、イントラパターンを判定して、符号化パターン指定の情報を符号化モード決定部２０３に対して出力する。符号化モード決定部２０３は、イントラ予測結果、インター予測結果及び符号化パターン指定の情報を入力し、符号化モードを決定して予測信号を出力する。

次に、図２に示すイントラカラム判定処理部１０４の動作を説明する。始めに、イントラカラム位置判定部２０１は、対象符号化ブロックの位置情報を入力し、イントラカラムを構成する（イントラカラム領域に含まれる）符号化ブロックであるか否かの判定を行う。イントラカラム位置判定部２０１はピクチャ最上部の符号化ブロックラインにおけるイントラカラム位置とイントラカラムを構成する符号化ブロックサイズを予め設定しておき、符号化ブロックラインが下がっていく毎に符号化ブロックサイズ分左へずらした位置をイントラカラム領域（リフレッシュ対象領域）として指定していく。こうすることで斜めのイントラカラム領域を指示することが可能となる。

図３は、ピクチャ毎に斜めのイントラカラムが左から右に移動する例を示す図である。図３に示すように、右上がりの斜めのイントラカラムは、時間ｔが経過する（フレームが切り替わる）につれて左から右方向へ移動する。

次に、符号化ピクチャ番号が偶数の場合はピクチャ最上部のイントラカラム位置を符号化ブロックサイズ分右にずらして設定することでイントラカラムがピクチャが進むにつれて右へ動かすことが可能となる。イントラカラムを行う符号化ブロックだと判定された場合、イントラカラム位置判定部２０１は予め指定された符号化ブロックサイズのみで符号化を行うようにイントラパターン判定部２０２へ指示を出す。指定するブロックサイズはＨ．２６４の場合は８×８もしくは１６×１６、ＨＥＶＣの場合は８×８、１６×１６、３２×３２、６４×６４のうちからいずれかを任意に指定することができる。イントラカラムを行う符号化ブロックではないと判定された場合は、符号化ブロックサイズの指示は行わない。

次に、イントラパターン判定部２０２は、イントラカラム位置判定部２０１からの符号化ブロックサイズ指示があった場合に動作し、符号化ピクチャ番号によって符号化ブロックパターン（符号化モードパターン）を選択し、符号化モード決定部２０３へ出力する。符号化モード決定部２０３は、イントラパターン判定部２０２から符号化パターンの指示があった場合に動作し、指定された符号化ブロックパターン（符号化モードパターン）を用いて予測信号を生成し、予測残差信号生成部１０３へ出力する。

一方、イントラパターン判定部２０２からの指示がない場合は、イントラ予測処理部１０１から出力されるイントラ予測結果とインター予測処理部１０２から出力されるインター予測結果とを比較し、予測信号の小さい方（符号化効率が良いと判断される方）の予測信号を予測残差信号生成部１０３へ出力する。

図４は、符号化ブロックパターン（符号化モードパターン）を示す図である。図４において、１つのブロックは、指定された符号化ブロックのサイズである。また、塗りつぶされた符号化ブロックはイントラ予測モードを指定するブロックを示しており、その他のブロックは任意の符号化モードを選択できるブロックを示している。

符号化ピクチャ番号が偶数の場合はパターン１（図４左）を選択、符号化ピクチャ番号が奇数の場合はパターン２（図４右）を選択する。さらに、ある行のブロックが直上行のブロックより１ブロック左側に突き出た構成とし、各行に連続した２ブロックをリフレッシュ対象領域として配置することでリフレッシュ対象領域が４５°の角度で右上から左下に構成される。

次に、図５を参照して、イントラパターン判定部２０２が、符号化ブロックパターンを決定する動作を説明する。図５は、イントラパターン判定部２０２が、符号化ブロックパターンを決定する動作を示すフローチャートである。まず、イントラパターン判定部２０２は、イントラカラム位置判定部２０１の出力に基づいてイントラカラムの位置か否かを判定する（ステップＳ１）。この判定の結果、イントラカラムの位置であれば、イントラパターン判定部２０２は、符号化ピクチャ番号が偶数か奇数かを判定する（ステップＳ２）。

この判定結果、偶数であれば、イントラパターン判定部２０２は、パターン１を指定して符号化モード決定部２０３へ出力する（ステップＳ３）。一方、奇数であれば、イントラパターン判定部２０２は、パターン２を指定して符号化モード決定部２０３へ出力する（ステップＳ３）。また、イントラカラムの位置でなければ、イントラパターン判定部２０２は、パターンを指定しない（ステップＳ５）。

以上説明したように、所定のイントラカラム領域が挿入されたインター予測の対象たるＰピクチャの符号化処理において、符号化対象ブロックが当該領域に含まれる場合にすべてのイントラ予測モードを選択可能な形でイントラ予測を行うことで、従来のイントラカラム領域を用いる手法に比して符号化効率を向上させることが可能となる。特に、イントラカラム領域をピクチャの右上から左下への斜め方向に構成し、全てのイントラ予測モードを選択可能とすることで、イントラカラム符号化の特徴を生かしつつ符号化効率を向上させることができる。

前述した実施形態における映像符号化装置１００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

低遅延かつ高画質が要求される映像符号化装置及び映像符号化プログラムに適用できる。

１００・・・映像符号化装置、１０１・・・イントラ予測処理部、１０２・・・インター予測処理部、１０３・・・予測残差信号生成部、１０４・・・イントラカラム判定処理部、１０５・・・変換・量子化処理部、１０６・・・エントロピー符号化部、１０７・・・逆量子化・逆変換処理部、１０８・・・復号信号生成部、１０９・・・ループフィルタ処理部、２０１・・・イントラカラム位置判定部、２０２・・・イントラパターン判定部、２０３・・・符号化モード決定部

Claims (3)

1. 入力映像の時間的相関を用いて符号化を行う符号化ピクチャ内に、画面内予測ブロックのみで構成されたリフレッシュ対象領域を挿入し、連続する複数のピクチャ間で前記リフレッシュ対象領域を移動させることにより、定期的なリフレッシュを行う映像符号化装置であって、
   前記符号化ピクチャ内の前記リフレッシュ対象領域を前記符号化ピクチャ内の右上から左下の斜め方向に構成するように指定された領域として決定するリフレッシュ対象領域決定手段と、
   前記符号化ピクチャ内の符号化対象ブロックが前記リフレッシュ対象領域に含まれるブロックであるか否かを判定し、前記リフレッシュ対象領域に含まれるブロックであると判定された場合は前記リフレッシュ対象領域において指定された符号化ブロックサイズを選択するイントラカラム位置判定手段と、
   前記符号化ピクチャの符号化ピクチャ番号に応じて指定された符号化モードパターンで符号化を行う符号化手段と
   を備えることを特徴とする映像符号化装置。
2. 前記符号化手段は、
   前記符号化ピクチャ番号に応じて複数のパターンを切り替えて符号化を行うことを特徴とする請求項１に記載の映像符号化装置。
3. コンピュータを、請求項１または２に記載の映像符号化装置として機能させるための映像符号化プログラム。

Images