JP2013172349A - 動画像符号化装置及び動画像符号化方法 - Google Patents

Abstract

【課題】低遅延版と高画質版の２種類の符号化データを生成する際、符号化にかかる処理量を削減する。
【解決手段】Ｉピクチャ、Ｐピクチャを含むＧＯＰ構造を示す低遅延版と、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを含むＧＯＰ構造を示す高画質版とで動画像の符号化を行う動画像符号化装置であって、低遅延版及び高画質版で共通のＩピクチャを処理するイントラ予測部と、参照される参照Ｐピクチャに対し、低遅延版及び高画質版で共通のＰピクチャを処理し、低遅延版で処理された参照されない非参照Ｐピクチャの動きベクトル情報を含む補助情報を用いて、高画質版のＢピクチャを処理するインター予測部と、を備える。
【選択図】図３

Description

本発明は、低遅延符号化と高画質符号化とを行い、それぞれの符号化データを生成する動画像符号化装置及び動画像符号化方法に関する。

近年、地上デジタルテレビ放送やインターネットライブ配信等により、数多くのリアルタイム放送の中から好みの番組を視聴者が自由に選択して視聴することができる環境が整いつつある。

上述したリアルタイム放送では、配信元と配信先との間におけるタイムラグがひとつの問題となっている。デジタル放送においては、配信元側で撮影した映像を符号化し、符号化データを、電波を通して視聴者に転送する。

配信先側（視聴者側）では、受信した符号化データの復号を行い、ＴＶ等のモニタに出力する。デジタル放送では、符号化、復号化にかかる時間が発生するため、この処理時間が従来のアナログ放送と比較してタイムラグの原因となっている。

また、インターネットライブ配信では、上述した処理時間による遅延に加え、ネットワークの遅延もタイムラグに加算される。特に生放送番組においては、符号化／転送にかかる遅延時間を極力少なくすることが要求されている。

図１は、タイムラグを説明するための図である。図１に示すように、符号化遅延と通信遅延と、復号遅延とがタイムラグの要因となる。

これにより、デジタル放送においては、タイムラグの影響により、中継先とのスムーズなやり取りができず、視聴者に不快感を与える場合があるという問題がある。また、インターネット配信やテレビ電話においては、上述した遅延によりコミュニケーションが取り難くなるという問題がある。よって、タイムラグを極力少なくすることが求められる。

一方、動画像符号化において、複数のピクチャを一つにまとめた単位としてＧＯＰ（Group Of Picture）と呼ばれるものがあり、再生時のランダムアクセスや、編集の起点として用いられる。

一般的なＧＯＰ構造としてはＩＢＢＰ構造が多く用いられており、後方参照を行うＢピクチャが存在するため、符号化遅延と呼ばれるものが発生する。符号化遅延を少なくするためには、主にＩＰＰＰ構造と呼ばれるＧＯＰ構造が使用される。

図２は、ＩＢＢＰ構造とＩＰＰＰ構造とを説明するための図である。図２に示す例では、ＩＢＢＰ構造において、Ｂピクチャは後方参照し、後方のピクチャよりも後に符号化されるので、２ピクチャ分の符号化遅延が発生する。

一方、ＩＰＰＰ構造では、画像（ピクチャ）の入力順に符号化を行うことができるため、符号化遅延は発生しない。しかし、ＩＰＰＰ構造では、後方参照を行わないため、ＩＢＢＰ構造と比較して圧縮率が落ち、画質に影響を与えてしまう。

なお、以下では、ＩピクチャとＰピクチャのＧＯＰ構造を低遅延版と呼び、Ｉピクチャ、Ｐピクチャ、ＢピクチャのＧＯＰ構造を高画質版と呼ぶ。また、低遅延版による符号化を低遅延符号化、高画質版による符号化を高画質符号化と呼ぶ。

ここで、ユーザの中には、画質を重視する人もいれば、遅延時間を重視する人もいるため、ユーザが自由に低遅延符号化されたストリームと高画質符号化されたストリームとを選択することができるとよい。配信元側は、低遅延符号化と高画質符号化との両方の符号化データを送信することで柔軟な番組提供を行えるが、２種類の符号化データを同時に生成する必要がある。

複数の符号化データを生成する技術として、例えば、ＩピクチャとＰピクチャとして第１の符号化を行い、第１の符号化で符号化された画像の局所復号画像を予測画像に用いて、第２の符号化、第３の符号化を行う技術がある。

特開２００１−１７７８４１号公報

しかし、従来技術によれば、第２の符号化や第３の符号化で符号化されたビットストリームは独立して復号することができず、第１の符号化で符号化されたビットストリームと組み合わせて復号する必要がある。

また、上述した低遅延版と高画質版とを独立して復号可能な符号化データを生成する場合、低遅延版と高画質版とで符号化を行うため、動画像符号化装置では、符号化にかかる処理量が増加してしまうという問題点があった。

そこで、開示の技術は、上記課題に鑑みてなされたものであり、低遅延版と高画質版の２種類の符号化データを生成する際、符号化にかかる処理量を削減することができる動画像符号化装置及び動画像符号化方法を提供することを目的とする。

開示の一態様における動画像符号化装置は、Ｉピクチャ、Ｐピクチャを含むＧＯＰ構造を示す低遅延版と、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを含むＧＯＰ構造を示す高画質版とで動画像の符号化を行う動画像符号化装置であって、前記低遅延版及び前記高画質版で共通のＩピクチャを処理するイントラ予測部と、参照される参照Ｐピクチャに対し、前記低遅延版及び前記高画質版で共通のＰピクチャを処理し、前記低遅延版で処理された参照されない非参照Ｐピクチャの動きベクトル情報を含む補助情報を用いて、前記高画質版のＢピクチャを処理するインター予測部と、を備える。

開示の技術によれば、低遅延版と高画質版の２種類の符号化データを生成する際、符号化にかかる処理量を削減することができる。

タイムラグを説明するための図。 ＩＢＢＰ構造とＩＰＰＰ構造とを説明するための図。 実施例１における動画像符号化装置の機能的構成の一例を示すブロック図。 実施例１における符号化処理概要を説明するための図。 実施例１における低遅延版及び高画質版の参照領域の一例を示す図。 従来手法と手法１との演算量の比較結果を示す図。 実施例１におけるピクチャ符号化処理の一例を示すフローチャート。 実施例１における低遅延における非参照Ｐピクチャに対する符号化処理の一例を示すフローチャート。 実施例１における非参照Ｐピクチャに対するＭＢ処理の一例を示すフローチャート。 実施例１における非参照Ｐピクチャに対するインター予測処理の一例を示すフローチャート。 実施例１における高画質のＢピクチャに対する符号化処理の一例を示すフローチャート。 実施例１におけるＢピクチャに対するＭＢ処理の一例を示すフローチャート。 実施例１におけるＢピクチャに対するインター予測処理の一例を示すフローチャート。 実施例２における動画像符号化装置の機能的構成の一例を示すブロック図。 実施例２における低遅延版及び高画質版の参照領域の一例を示す図。 実施例２におけるピクチャ符号化処理の一例を示すフローチャート。 実施例２における低遅延の非参照Ｐピクチャ及び高画質のＢピクチャに対する符号化処理の一例を示すフローチャート。 実施例２におけるインター予測部によるＭＢ処理の一例を示すフローチャート。 実施例２におけるインター予測処理の一例を示すフローチャート。

以下、添付図面を参照しながら実施例について詳細に説明する。以下に説明する動画像符号化装置では、ピクチャ単位で符号化する場合とマクロブロック（ＭＢ）単位で処理する場合とがある。まず、ピクチャ単位で符号化を行う動画像符号化装置について説明する。

以下では、ＩピクチャとＰピクチャを含むＧＯＰ構造を低遅延版と呼び、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを含むＧＯＰ構造を高画質版と呼ぶ。また、低遅延版による符号化を低遅延符号化、高画質版による符号化を高画質符号化と呼ぶ。

［実施例１］
＜構成＞
図３は、実施例１における動画像符号化装置１０の機能的構成の一例を示すブロック図である。図３に示す動画像符号化装置１０は、記憶部１０１、全体制御部１０２、Ｉｎｔｅｒ（インター）予測部１０３、Ｉｎｔｒａ（イントラ）予測部１０４、判定部１０５、セレクタ（ＳＥＬ）１０６、予測誤差生成部１０７、変換、量子化部１０８、エントロピー符号化部１０９、逆量子化、逆変換部１１０、復号画素生成部１１１、及びデブロッキングフィルタ部１１２を有する。

図３に示す例では、動画像符号化装置１０は、１つのピクチャに対して、低遅延符号化を行った後に高画質符号化を行う構成であるが、各部を２つ設け、低遅延符号化と高画質符号化とを並列に行うようにしてもよい。

記憶部１０１は、符号化に関するデータを記憶するメモリである。記憶部１０１は、例えば、外部メモリとしてのＳＤＲＡＭなどである。記憶部１０１は、原画像記憶部１２１、補助情報記憶部１２２、参照画記憶部１２３、及びストリーム記憶部１２４を有する。記憶部１０１の各部は、それぞれの記憶領域が設けられればよい。

原画像記憶部１２１は、入力された原画像を記憶する。補助情報記憶部１２２は、インター予測部１０３により、低遅延符号化で符号化された参照されない非参照Ｐピクチャの動きベクトルを含む補助情報を記憶する。

参照画記憶部１２３は、インター予測部１０３で用いられる参照画像を記憶する。ストリーム記憶部１２４は、低遅延符号化で符号化されたストリームと、高画質符号化で符号化されたストリームとを記憶する。各記憶部に記憶さえるデータについては、後述する。

全体制御部１０２は、低遅延符号化と高画質符号化とを適切に制御する。例えば、全体制御部１０２は、イントラ予測部１０４での低遅延符号化時に、低遅延版と高画質版とで共通して利用できるＩピクチャを符号化した際、高画質符号化時に、符号化しなくてもよい旨をイントラ予測部１０４に通知する。

また、全体制御部１０２は、現画像のピクチャタイプを決定したり、高画質版の時にはピクチャを符号化順に並べ替えたりする。

インター予測部１０３は、原画像記憶部１２１から読み出された原画像と、参照画記憶部１２３から読み出された参照画像を用いて動き探索を行い、最適な動きベクトルを見つけ出す。インター予測部１０３は、動きベクトルにより動き補償された予測画素信号をセレクタ１０６に出力する。

インター予測部１０３は、参照される参照Ｐピクチャに対し、低遅延版と高画質版とで共通のＰピクチャの符号化を行う。インター予測部１０３は、低遅延版で符号化された参照されない非参照Ｐピクチャの動きベクトル情報を含む補助情報を用いて、高画質版のＢピクチャを符号化する。

参照Ｐピクチャは、参照画像となるＰピクチャを表し、非参照Ｐピクチャは、参照画像とはならないＰピクチャを表す。補助情報は、動きベクトルと、ＳＡＤ演算結果と、動きベクトル及びＳＡＤ演算結果から算出される符号化コストとを含む。

インター予測部１０３は、低遅延版と高画質版とで、参照画像を共有するため、低遅延版では、高画質版でＢピクチャになるピクチャを非参照Ｐピクチャとして符号化する。

インター予測部１０３は、高画質版のＢピクチャを符号化する場合、前方参照については、低画質版で符号化された非参照Ｐピクチャの補助情報を利用して参照領域を決定するため、前方探索をしなくてすむ。例えば、補助情報に含まれる動きベクトルを用いて参照領域を決定することができる。これにより、探索にかかる処理を低減することができる。

イントラ予測部１０４は、低遅延版及び高画質版で共通のＩピクチャを符号化する。よって、イントラ予測部１０４は、Ｉピクチャの符号化結果を低遅延版と高画質版とで共通して用いるので、Ｉピクチャの符号化を低遅延版と高画質版とで２回しなくてすむ。

イントラ予測部１０４は、Ｉピクチャの符号化として、例えば原画像記憶部１２１から読み出された原画像とローカル復号画像とを用いて多種の画面内予測パターンから最適な予測パターンを選択する。イントラ予測部１０４は、選択された予測パターンにより生成された予測画素信号をセレクタ１０６に出力する。

判定部１０５は、インター予測とイントラ予測において、符号量の少なくなる方を選択して、選択した方の予測画素信号を出力するようにセレクタ１０６を制御する。

セレクタ１０６は、判定部１０５の制御により、インター予測部１０３、又はイントラ予測部１０４のいずれかの予測画素信号を予測誤差生成部１０７に出力する。

予測誤差生成部１０７は、原画像とセレクタ１０６から出力される予測画素信号とを取得し、原画像と予測画素信号との差分を算出することで予測誤差信号を生成する。

変換、量子化部１０８は、予測誤差信号に離散コサイン変換などの直交変換処理を行って直交変換係数を生成し、生成した直交変換係数を量子化する。

エントロピー符号化部１０９は、変換、量子化部１０８により生成された量子化後の変換係数をエントロピー符号化する。また、エントロピー符号化部１０９は、インター予測部１０３で用いた動きベクトルの情報などもエントロピー符号化する。

エントロピー符号化部１０９は、エントロピー符号化した符号化ストリーム（符号化データ）をストリーム記憶部１２４に記憶する。

逆量子化、逆変換部１１０は、量子化された直交変換係数に対し、逆量子化処理を行い、逆量子化された変換係数に対し、逆直交変換処理を行う。逆量子化、逆変換部１１０は、逆変換して生成された信号を復号画素生成部１１１に出力する。ここで、生成された信号は、予測誤差信号に相当する信号である。

復号画素生成部１１１は、逆量子化、逆変換部１１０により生成された信号とセレクタ１０６により出力された予測画素信号とを加算することで、復号画素を生成する。生成された復号画素は、デブロッキングフィルタ部１１２に出力される。

デブロッキングフィルタ部１１２は、復号画素に対し、例えばＨ．２６４に規定されているデブロッキングフィルタ処理を行う。デブロッキングフィルタされた復号画素は、参照画像（参照ピクチャ）として参照画記憶部１２３に記憶される。

予測誤差生成部１０７〜デブロッキングフィルタ部１１２の各部は、低遅延版で処理を行った後に、高画質版で処理が行われる。なお、ストリーム記憶部１２４は、低遅延版の符号化ストリームと、高画質版の符号化ストリームとを記憶する。エントロピー符号化部１０９は、低遅延版と高画質版とで共通して利用できる符号化データを、各符号化ストリームに含まれるようストリーム記憶部１２４に記憶する。

これにより、動画像符号化装置１０は、符号化処理を削減しつつ、低遅延版と、高画質版との両方の符号化ストリームを生成することができる。

＜符号化処理概要＞
次に、ピクチャ単位で符号化する場合の、低遅延版と高画質版との符号化処理概要について説明する。図４は、実施例１における符号化処理概要を説明するための図である。図４（Ａ）は、一定間隔で入力される原画像を示す。時間Ｔは、原画像の入力時間を表す。

図４（Ｂ）は、原画像を低遅延版で符号化した場合の符号化結果例を示す。図４（Ｂ）に示す例では、ＧＯＰ構造はＩＰＰＰ構造である。符号化時間は、時間Ｔを基準にして、原画像が符号化される時間を表す。

図４（Ｂ）に示すように、ＩＰＰＰ構造の低遅延版では、原画像を入力されると遅延されることなく符号化が可能である。図４（Ｂ）に示す共通Ｉピクチャ及び共通Ｐピクチャは、低遅延版と高画質版とで共通のピクチャを表す。共通Ｐピクチャは、参照Ｐピクチャである。

ここで、インター予測部１０３は、低遅延版の非参照Ｐピクチャを処理（動き探索、動き補償）する場合、動き探索結果を補助情報として記憶部１０１に記憶する。

例えば、インター予測部１０３は、符号化時間１において、時間Ｔ＝１の原画像と参照画像としての時間Ｔ＝０の画像とを記憶部１０１から読み出し、動き探索、動き補償を行う。このとき、インター予測部１０３は、動き探索結果を補助情報１として記憶部１０１に書き込む。インター予測部１０３は、非参照Ｐピクチャ（符号化時間２，４，５，７，８，１０，１１，・・・）について、符号化時間１の処理と同様の処理を行う。

図４（Ｃ）は、原画像を高画質版で符号化した場合の符号化結果例を示す。図４（Ｃ）に示す例では、ＧＯＰ構造はＩＢＢＰ構造である。共通Ｉピクチャ及び共通Ｐピクチャは、低遅延版で符号化されているため、この符号化処理は高画質版では行わなくてもよい。

また、高画質符号化では、原画像をバッファリングして順序を入れ替えてから符号化される。また、低遅延版で非参照Ｐピクチャであった原画像が、高画質版ではＢピクチャになる。これは、低遅延版と高画質版とで共通の参照画像を用いるためである。

ここで、インター予測部１０３は、高画質版のＢピクチャを処理する際、前方参照については、低遅延版で非参照Ｐピクチャを処理する際に求められた補助情報を用いることで前方探索をしなくてもよい。

例えば、図４（Ｃ）に示す符号化時間４において、インター予測部１０３は、原画像１と、補助情報１が示す参照領域のみと、参照画像としての時間Ｔ＝３の画像とを記憶部１０１から読出し、後方探索、動き補償を行う。このとき、インター予測部１０３は、補助情報１を用いることで、前方探索を行わなくてもよい。

なお、補助情報として、参照領域と原画像との差分値を含めておけば、参照領域の読出しは不要となる。なぜなら、原画像と差分値から参照領域を生成することができるからである。

インター予測部１０３は、Ｂピクチャ（符号化時間５，７，８，１０，１１，・・・）について、符号化時間４の処理と同様の処理を行い、前方探索にかかる処理を省略することができる。

図５は、実施例１における低遅延版及び高画質版の参照領域の一例を示す図である。図５（Ａ）は、低遅延符号化されるピクチャ群を表し、図５（Ｂ）は、高画質符号化されるピクチャ群を表す。

図５（Ａ）に示す例では、入力原画像番号（以下、単に番号とも呼ぶ）４の画像は非参照Ｐピクチャとし、番号３の画像が復号された画像（以下、復号画像とも呼ぶ）の領域を参照する。

図５（Ｂ）に示す例では、番号１の画像はＢピクチャとし、番号０の復号画像と番号３の復号画像の領域を参照する。このとき、インター予測部１０３は、前方探索については前述した通り不要であり、補助情報を用いて参照領域のみを読み出せばよい。インター予測部１０３は、後方探索については、番号３の復号画像の一部を探索領域として読み出し、この探索領域内を動き探索する。

これにより、前方探索については、参照領域のみを読み出せばよいので、使用するメモリ帯域を削減することができる。なお、補助情報に参照領域と原画像との差分値を含める場合は、参照する領域を読み出さなくてもよい。

＜比較＞
次に、従来手法と実施例１による手法１との演算量を比較する。図６は、従来手法と手法１との演算量の比較結果を示す図である。従来手法は、低遅延版と高画質版とでそれぞれ独立して符号化する手法である。

なお、各処理における演算量を１とし、１ＧＯＰには１５枚のピクチャが含まれるとする。例えば、高画質であれば、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ、低遅延版であれば、ＩＰＰＰＰＰＰＰＰＰＰＰＰＰＰのＧＯＰを処理することを想定する。

まず、従来手法の低遅延版では、インター予測処理の片面参照は、Ｐの数が１４枚あるので１４であり、イントラ予測処理は、１５枚のピクチャを処理するので１５である。変換、量子化処理、逆変換、逆量子化処理、エントロピー符号化処理、デブロッキングフィルタ処理は、ピクチャの枚数分処理を行うので１５である。

また、従来手法の高画質版では、インター予測処理の片面参照は、Ｐの数が４枚あるので４であり、両面参照は、Ｂの数が１０枚あるので１０である。これを片面に換算すると、処理量は４＋１０×２＝２４になる。イントラ予測以降の処理は、低遅延版と同じである。

手法１の低遅延版は、従来手法の低遅延版と処理量は同じである。しかし、手法１の高画質版が、従来手法の高画質版と比べて処理量を大幅に削減できる。つまり、手法１の高画質版では、インター予測処理の片面参照は、Ｐピクチャについては低遅延版と共通して行ったため処理は不要であり、Ｂピクチャは後方参照だけでよいので、処理量は１０である。

インター予測処理の両面参照は、Ｂピクチャであっても後方参照だけでよいので０である。これらを片面に換算すると、処理量は１０になり、従来手法の２４に比べて大幅に削減されていることが分かる。

また、イントラ予測処理以降の処理量は、共通Ｉピクチャと共通Ｐピクチャ（参照Ｐピクチャ）に対して低遅延版と共通化しており、Ｂピクチャのみの処理でよいため、１０である。

図６によれば、実施例１における手法１は、従来技術に対して処理量を大幅に削減することができるといえる。

＜動作＞
次に、実施例１における動画像処理装置１０の動作について説明する。図７は、実施例１におけるピクチャ符号化処理の一例を示すフローチャートである。ここで、図７以降のフローチャートで示すＮは、入力原画像番号を示し、ｍは、ＧＯＰ構造における参照Ｐピクチャ間隔を示す。

ステップＳ１０１で、動画像符号化装置１０は、原画像Ｎを入力し、記憶部１０１（原画像記憶部１２１）に書き込む。

ステップＳ１０２で、全体制御部１０２は、Ｉピクチャの符号化であるか否かを判定する。Ｉピクチャの符号化であれば（ステップＳ１０２−ＹＥＳ）ステップＳ１０３に進み、Ｉピクチャの符号化でなければ（ステップＳ１０２−ＮＯ）ステップＳ１０４に進む。

ステップＳ１０３で、イントラ予測部１０４、予測画素生成部１０７〜デブロッキングフィルタ部１１２などの各部は、原画像Ｎに対して低遅延／高画質で共通のＩピクチャの符号化を行う。

ステップＳ１０４で、全体制御部１０２は、参照Ｐピクチャの符号化であるか否かを判定する。参照Ｐピクチャの符号化であれば（ステップＳ１０４−ＹＥＳ）ステップＳ１０５に進み、参照Ｐピクチャの符号化でなければ（ステップＳ１０４−ＮＯ）ステップＳ１０６に進む。

ステップＳ１０５で、インター予測部１０３、イントラ予測部１０４、予測画素生成部１０７〜デブロッキングフィルタ部１１２などの各部は、原画像Ｎに対して低遅延／高画質で共通のＰピクチャの符号化を行う。

ステップＳ１０６で、インター予測部１０３は、原画像Ｎに対して、低遅延版の非参照Ｐピクチャの符号化を行う。この処理の詳細は、図８〜１０を用いて後述する。

ステップＳ１０７で、全体制御部１０２は、Ｎ−ｍが０以上であるかを判定する。Ｎ−ｍが０以上であれば（ステップＳ１０７−ＹＥＳ）ステップＳ１０８に進み、Ｎ−ｍが０未満であれば（ステップＳ１０７−ＮＯ）処理を終了する。

ステップＳ１０８で、インター予測部１０３は、原画像Ｎ−ｍに対して、高画質版のＢピクチャ符号化を行う。この処理の詳細は、図１１〜１３を用いて後述する。１ピクチャの処理が終了すると、次のピクチャで図７に示す処理と同様の処理が行われる。なお、図７に示す例では、低遅延版と高画質版とを並列して行う処理を示している。

（非参照Ｐピクチャの符号化処理）
図８は、実施例１における低遅延における非参照Ｐピクチャに対する符号化処理の一例を示すフローチャートである。図８に示すステップＳ２０１で、インター予測部１０３は、ピクチャ内のマクロブロック（ＭＢ）に対して処理を行う。この処理の詳細は図９を用いて後述する。

ステップＳ２０２で、インター予測部１０３は、全ＭＢに対して処理を完了したか否かを判定する。全ＭＢの処理が完了していれば（ステップＳ２０２−ＹＥＳ）処理を終了し、全ＭＢの処理が完了していなければ（ステップＳ２０２−ＮＯ）ステップＳ２０１に戻り、次のＭＢで処理が行われる。

図９は、実施例１における非参照Ｐピクチャに対するＭＢ処理の一例を示すフローチャートである。図９に示すステップＳ３０１で、インター予測部１０３は、原画像記憶部１２１から原画像Ｎを読み出す。

ステップＳ３０２で、インター予測部１０３は、インター予測処理を行う。この処理の詳細は、図１０を用いて後述する。

ステップＳ３０３で、イントラ予測部１０４は、イントラ予測処理を行う。ステップＳ３０４で、判定部１０５は、インター予測部１０３により処理された予測画素の符号化コストと、イントラ予測部１０４により処理された予測画素の符号化コストのどちらが小さいかを判定し、セレクタ１０６を制御する。セレクタ１０６は、判定部１０５により指示された方の予測画素を出力する。

ステップＳ３０５で、予測誤差生成部１０７〜復号画素生成部１１１の各部は、ＭＢに関する情報又は変換係数の符号化を行う。

図１０は、実施例１における非参照Ｐピクチャに対するインター予測処理の一例を示すフローチャートである。図１０に示すステップＳ４０１で、インター予測部１０３は、前方参照画像を参照画記憶部１２３から読み出す。

ステップＳ４０２で、インター予測部１０３は、読み出した参照画像の探索範囲に対して前方動き探索を行う。

ステップＳ４０３で、インター予測部１０３は、最適な参照位置での符号化コストを算出する。

ステップＳ４０４で、インター予測部１０３は、最適な参照位置での動きベクトル情報、ＳＡＤ演算結果、及び符号化コストを補助情報として補助情報記憶部１２２に書き込んで記憶する。

（Ｂピクチャの符号化処理）
図１１は、実施例１における高画質のＢピクチャに対する符号化処理の一例を示すフローチャートである。図１１に示すステップＳ５０１で、インター予測部１０３は、ピクチャ内のマクロブロック（ＭＢ）に対して処理を行う。この処理の詳細は図１２を用いて後述する。

ステップＳ５０２で、インター予測部１０３は、全ＭＢに対して処理を完了したか否かを判定する。全ＭＢの処理が完了していれば（ステップＳ５０２−ＹＥＳ）処理を終了し、全ＭＢの処理が完了していなければ（ステップＳ５０２−ＮＯ）ステップＳ５０１に戻り、次のＭＢで処理が行われる。

図１２は、実施例１におけるＢピクチャに対するＭＢ処理の一例を示すフローチャートである。図１２に示すステップＳ６０１で、インター予測部１０３は、原画像記憶部１２１から原画像Ｎ−ｍを読み出す。

ステップＳ６０２で、インター予測部１０３は、インター予測処理を行う。この処理の詳細は、図１３を用いて後述する。

ステップＳ６０３で、イントラ予測部１０４は、イントラ予測処理を行う。ステップＳ６０４で、判定部１０５は、インター予測部１０３により処理された予測画素の符号化コストと、イントラ予測部１０４により処理された予測画素の符号化コストとのどちらが小さいかを判定する。判定部１０５は、符号化コストが小さい方の予測画素が出力されるようセレクタ１０６を制御する。セレクタ１０６は、判定部１０５により指示された方の予測画素を出力する。

ステップＳ６０５で、予測誤差生成部１０７〜復号画素生成部１１１の各部は、ＭＢに関する情報又は変換係数の符号化を行う。

図１３は、実施例１におけるＢピクチャに対するインター予測処理の一例を示すフローチャートである。図１３に示すステップＳ７０１で、インター予測部１０３は、後方参照画像を参照画記憶部１２３から読み出す。

ステップＳ７０２で、インター予測部１０３は、読み出した参照画像の探索範囲に対して後方動き探索を行う。

ステップＳ７０３で、インター予測部１０３は、処理画像のＭＢに対応する補助情報を補助情報記憶部１２２から読み出す。

ステップＳ７０４で、インター予測部１０３は、読み出した補助情報から求められた参照領域と、後方動き探索で求められた参照領域とを用いて符号化コストを算出する。

以上、実施例１によれば、低遅延版と高画質版との２種類の符号化データを生成する際、符号化にかかる処理量を削減することができる。

［実施例２］
次に、実施例２における動画像符号化装置２０について説明する。実施例２では、低遅延版と高画質版との符号化をＭＢ単位で並列に行う。

＜構成＞
図１４は、実施例２における動画像符号化装置２０の機能的構成の一例を示すブロック図である。図１４に示す例では、記憶部２０１、全体制御部２０２、インター予測部２０３、第１イントラ予測部２０４−１、第２イントラ予測部２０４−２、第１判定部２０５−１、第２判定部２０５−２、第１セレクタ２０６−１、及び第２セレクタ２０６−２を有する。

また、動画像符号化装置２０は、第１予測画素生成部２０７−１、第２予測画素生成部２０７−２、第１変換、量子化部２０８−１、第２変換、量子化部２０８−２、第１エントロピー符号化部２０９−１、第２エントロピー符号化部２０９−２、第１逆量子化部、逆変換部２１０−１、第２逆量子化、逆変換部２１０−２、第１復号画素生成部２１１−１、第２復号画素生成部２１１−２、及びデブロッキングフィルタ部２１２を有する。

図１４に示す第１の各部は、低遅延符号化を行い、第２の各部は、高画質符号化を行う。図１４に示す全体制御部２０２、インター予測部２０３以外の構成は、低遅延版と高画質版とでそれぞれ符号化を行う点が実施例１と異なるが、処理の内容は実施例１と同様であるため、その説明を省略する。

全体制御部２０２は、２つの処理対象の画像と、それぞれの参照画像とをインター予測部２０３に通知する。また、全体制御部２０２は、処理対象の画像に対して低遅延版であるか高画質版であるかをインター予測部２０３に通知する。

インター予測部２０３は、全体制御部２０２により通知された２つの画像それぞれに対して、低遅延版のインター予測処理又は高画質版のインター予測処理を行う。インター予測部２０３において、低遅延版と高画質版との処理の内容は、実施例１と同様である。

このとき、インター予測部２０３は、低遅延版のＰピクチャで参照される参照ピクチャと、高画質版のＢピクチャで後方参照される参照ピクチャとを同一とする。

これにより、並列処理する低遅延符号化と高画質符号化とで同じピクチャを参照するので、参照画像を読み出すメモリ帯域を削減することができる。

＜符号化処理概要＞
次に、ＭＢ単位で並列符号化する場合の、低遅延版と高画質版との符号化処理概要について図４を用いて説明する。

例えば、全体制御部２０２は、図４に示す符号化時間４において、時間Ｔ＝１，４の原画像と、その参照画像である時間Ｔ＝０，３の復号画像を読み出すようインター予測部２０３を制御する。

このとき、全体制御部２０２は、時間Ｔ＝１の原画像を高画質符号化、時間Ｔ＝４の原画像を低遅延符号化するようインター予測部２０３に指示する。

インター予測部２０３は、時間Ｔ＝１の原画像のＭＢに対しては高画質符号化のＢピクチャの処理を行い、時間Ｔ＝４の原画像のＭＢに対しては低遅延符号化の非参照Ｐピクチャの処理を行う。

このとき、インター予測部２０３は、低遅延版の動き探索結果を補助情報４として補助情報記憶部２２２に書き込んで記憶する。

また、インター予測部２０３は、高画質符号化のＢピクチャの処理において、補助情報１を補助情報記憶部２２２から読み出して前方探索処理を省き、後方探索処理を行う。インター予測部２０３は、低遅延版及び高画質版で、時間Ｔ＝３の復号画像を参照画像として共通に用いる。

図１５は、実施例２における低遅延版及び高画質版の参照領域の一例を示す図である。図１５に示す例では、番号１の原画像の高画質版符号化と、番号４の原画像の低遅延版符号化とが並列にＭＢ単位で符号化される。

図１５に示すように、番号４の原画像が参照するピクチャは、番号３の参照ピクチャであり、番号４の原画像が後方参照するピクチャは、番号３の参照ピクチャであり、探索範囲が同じになる。探索範囲が同じになる理由は、ＭＢ単位での並列処理では、低遅延版と高画質版とで同じ位置のＭＢを処理するからである。

よって、図１５に示すように、番号３の参照ピクチャを、低遅延版と高画質版とで同時に使用することができるため、図５に示すピクチャ単位で別々に処理する場合と比べて、参照ピクチャの読み出しのメモリ帯域を削減することができる。

＜動作＞
次に、実施例２における動画像符号化装置２０の動作について説明する。図１６は、実施例２におけるピクチャ符号化処理の一例を示すフローチャートである。なお、図１６に示す処理は、ＭＢ単位で低遅延符号化と高画質符号化とを並列に行う場合を示す。

ステップＳ８０１で、動画像符号化装置２０は、原画像Ｎを入力し、記憶部２０１（原画像記憶部２２１）に書き込む。

ステップＳ８０２で、全体制御部２０２は、Ｉピクチャの符号化であるか否かを判定する。Ｉピクチャの符号化であれば（ステップＳ８０２−ＹＥＳ）ステップＳ８０３に進み、Ｉピクチャの符号化でなければ（ステップＳ８０２−ＮＯ）ステップＳ８０４に進む。

ステップＳ８０３で、イントラ予測部２０４、予測画素生成部２０７〜デブロッキングフィルタ部２１２などの各部は、原画像Ｎに対して低遅延／高画質で共通のＩピクチャの符号化を行う。例えば、第１の処理部で、共通のＩピクチャの符号化を行う。

ステップＳ８０４で、全体制御部２０２は、参照Ｐピクチャの符号化であるか否かを判定する。参照Ｐピクチャの符号化であれば（ステップＳ８０４−ＹＥＳ）ステップＳ８０５に進み、参照Ｐピクチャの符号化でなければ（ステップＳ８０４−ＮＯ）ステップＳ８０６に進む。

ステップＳ８０５で、インター予測部２０３、イントラ予測部２０４、予測画素生成部２０７〜デブロッキングフィルタ部２１２などの各部は、原画像Ｎに対して低遅延／高画質で共通のＰピクチャの符号化を行う。例えば、第１の処理部で、共通のＰピクチャの符号化を行う。

ステップＳ８０６で、インター予測部２０３は、Ｎ−ｍが０以上であるか否かを判定する。Ｎ−ｍが０以上であれば（ステップＳ８０６−ＹＥＳ）ステップＳ８０７に進み、Ｎ−ｍが０未満であれば（ステップＳ８０６−ＮＯ）ステップＳ８０８に進む。

ステップＳ８０７で、インター予測部２０３及び第１の処理部は、原画像Ｎに対して低遅延の非参照Ｐピクチャの符号化を行い、インター予測部２０３及び第２の処理部は、原画像Ｎ−ｍに対して高画質のＢピクチャの符号化を行う。この処理の詳細は、図１７〜１９を用いて後述する。

ステップＳ８０８で、インター予測部２０３及び第１の処理部は、原画像Ｎに対して低遅延の非参照Ｐピクチャの符号化を行う。この処理は、図８〜１０の処理と同様である。

（非参照Ｐピクチャ及びＢピクチャの並列符号化処理）
図１７は、実施例２における低遅延の非参照Ｐピクチャ及び高画質のＢピクチャに対する符号化処理の一例を示すフローチャートである。図１７に示すステップＳ９０１で、インター予測部２０３は、ピクチャ内のマクロブロック（ＭＢ）に対して処理を行う。この処理の詳細は図１８を用いて後述する。

ステップＳ９０２で、インター予測部２０３は、全ＭＢに対して処理を完了したか否かを判定する。全ＭＢの処理が完了していれば（ステップＳ９０２−ＹＥＳ）処理を終了し、全ＭＢの処理が完了していなければ（ステップＳ９０２−ＮＯ）ステップＳ９０１に戻り、次のＭＢで処理が行われる。

図１８は、実施例２におけるインター予測部２０３によるＭＢ処理の一例を示すフローチャートである。図１８に示すステップＳ１００１で、インター予測部２０３は、原画像記憶部２２１から原画像Ｎを読み出す。

ステップＳ１００２で、インター予測部２０３は、原画像記憶部２２１から原画像Ｎ−ｍを読み出す。

ステップＳ１００３で、インター予測部２０３は、インター予測処理を行う。この処理の詳細は、図１９を用いて後述する。

ステップＳ１００４で、第１イントラ予測部２０４−１は、低遅延の非参照Ｐピクチャに対するイントラ予測処理を行う。

ステップＳ１００５で、第２イントラ予測部２０４−２は、高画質のＢピクチャに対するイントラ予測処理を行う。

ステップＳ１００６で、第１判定部２０５−１は、インター予測部２０３により処理された非参照Ｐピクチャに対する予測画素の符号化コストと、第１イントラ予測部２０４−１により処理された予測画素の符号化コストのどちらが小さいかを判定し、第１セレクタ２０６−１を制御する。第１セレクタ２０６−１は、第１判定部２０５−１により指示された方の予測画素を出力する。

ステップＳ１００７で、第２判定部２０５−２は、インター予測部２０３により処理されたＢピクチャに対する予測画素の符号化コストと、第２イントラ予測部２０４−２により処理された予測画素の符号化コストのどちらが小さいかを判定し、第２セレクタ２０６−２を制御する。第２セレクタ２０６−２は、第２判定部２０５−２により指示された方の予測画素を出力する。

ステップＳ１００８で、第１予測誤差生成部２０７−１〜第１復号画素生成部２１１−１の各処理部は、非参照ＰピクチャのＭＢに関する情報又は変換係数の符号化を行う。

ステップＳ１００９で、第２予測誤差生成部２０７−２〜第２復号画素生成部２１１−２の各処理部は、ＢピクチャのＭＢに関する情報又は変換係数の符号化を行う。

図１９は、実施例２におけるインター予測処理の一例を示すフローチャートである。図１９に示すステップＳ１１０１で、インター予測部２０３は、低遅延版と高画質版とで共通して用いる参照画像（以下、共通参照画像とも呼ぶ）を参照画記憶部２２３から読み出す。

ステップＳ１１０２で、インター予測部２０３は、低遅延版の非参照Ｐピクチャに対して、読み出した共通参照画像の探索範囲について前方動き探索を行う。

ステップＳ１１０３で、インター予測部２０３は、高画質版のＢピクチャに対して、読み出した共通参照画像の探索範囲について後方動き探索を行う。

ステップＳ１１０４で、インター予測部２０３は、高画質版のＢピクチャに対して、対応する補助情報を補助情報記憶部２２２から読み出す。

ステップＳ１１０５で、インター予測部２０３は、低遅延版の非参照Ｐピクチャに対して、最適な参照位置での符号化コストを算出する。

ステップＳ１１０６で、インター予測部２０３は、高画質版のＢピクチャに対して、最適な参照位置での符号化コストを算出する。

ステップＳ１１０７で、インター予測部２０３は、非参照Ｐピクチャにおける最適な参照位置での動きベクトル情報、ＳＡＤ演算結果、及び符号化コストを補助情報として補助情報記憶部２２２に書き込んで記憶する。

以上、実施例２によれば、低遅延版と高画質版との２種類の符号化データを生成する際、符号化にかかる処理量を削減しつつ、メモリ帯域を削減することができる。

なお、上述した各実施例の記憶部以外の各部は、各種の集積回路を採用することができる。また、各実施例で説明した各部の一部を別の集積回路とすることもできる。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）が挙げられる。また、全体制御部は、ＣＰＵ（Central Processing Unit）などで実装してもよい。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記実施例以外にも種々の変形及び変更が可能である。

なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
Ｉピクチャ、Ｐピクチャを含むＧＯＰ構造を示す低遅延版と、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを含むＧＯＰ構造を示す高画質版とで動画像の符号化を行う動画像符号化装置であって、
前記低遅延版及び前記高画質版で共通のＩピクチャを処理するイントラ予測部と、
参照される参照Ｐピクチャに対し、前記低遅延版及び前記高画質版で共通のＰピクチャを処理し、前記低遅延版で処理された参照されない非参照Ｐピクチャの動きベクトル情報を含む補助情報を用いて、前記高画質版のＢピクチャを処理するインター予測部と、
を備える動画像符号化装置。
（付記２）
前記補助情報を記憶する記憶部をさらに備え、
前記インター予測部は、
前記非参照Ｐピクチャを前記低遅延版で処理した際の前記補助情報を前記記憶部に記憶し、
前記高画質版のＢピクチャを処理する際、前記記憶部から読み出した補助情報を用いて前方参照の参照領域を決定する付記１記載の動画像符号化装置。
（付記３）
マクロブロック単位で前記低遅延版と前記高画質版とを並列に符号化する場合、
前記インター予測部は、
前記低遅延版のＰピクチャで参照される参照ピクチャと、前記高画質版のＢピクチャで後方参照される参照ピクチャとを同一とする付記１又は２記載の動画像符号化装置。
（付記４）
前記補助情報は、動きベクトルと、ＳＡＤ演算結果と、動きベクトル及びＳＡＤ演算結果から算出される符号化コストとを有する付記１乃至３いずれか一項に記載の動画像符号化装置。
（付記５）
Ｉピクチャ、Ｐピクチャを含むＧＯＰ構造を示す低遅延版と、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを含むＧＯＰ構造を示す高画質版とで動画像の符号化を行う動画像符号化装置が実行する動画像符号化方法であって、
前記低遅延版及び前記高画質版で共通のＩピクチャをイントラ符号化し、
参照される参照Ｐピクチャに対し、前記低遅延版及び前記高画質版で共通のＰピクチャのインター符号化を行い、
前記低遅延版で符号化された参照されない非参照Ｐピクチャの動きベクトル情報を含む補助情報を用いて、前記高画質版のＢピクチャをインター符号化する処理を有する動画像符号化方法。
（付記６）
マクロブロック単位で前記低遅延版と前記高画質版とを並列に符号化する場合、
前記インター符号化する処理は、
前記低遅延版のＰピクチャで参照される参照ピクチャと、前記高画質版のＢピクチャで後方参照される参照ピクチャとを同一とする付記５記載の動画像符号化方法。

１０、２０ 動画像符号化装置
１０１、２０１ 記憶部
１０２、２０１ 全体制御部
１０３、２０３ Ｉｎｔｅｒ予測部
１０４ Ｉｎｔｒａ予測部
１０５ 判定部
２０４−１ 第１Ｉｎｔｒａ予測部
２０４−２ 第２Ｉｎｔｒａ予測部
２０５−１ 第１判定部
２０５−２ 第２判定部

Claims (5)

1. Ｉピクチャ、Ｐピクチャを含むＧＯＰ構造を示す低遅延版と、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを含むＧＯＰ構造を示す高画質版とで動画像の符号化を行う動画像符号化装置であって、
   前記低遅延版及び前記高画質版で共通のＩピクチャを処理するイントラ予測部と、
   参照される参照Ｐピクチャに対し、前記低遅延版及び前記高画質版で共通のＰピクチャを処理し、前記低遅延版で処理された参照されない非参照Ｐピクチャの動きベクトル情報を含む補助情報を用いて、前記高画質版のＢピクチャを処理するインター予測部と、
   を備える動画像符号化装置。
2. 前記補助情報を記憶する記憶部をさらに備え、
   前記インター予測部は、
   前記非参照Ｐピクチャを前記低遅延版で処理した際の前記補助情報を前記記憶部に記憶し、
   前記高画質版のＢピクチャを処理する際、前記記憶部から読み出した補助情報を用いて前方参照の参照領域を決定する請求項１記載の動画像符号化装置。
3. マクロブロック単位で前記低遅延版と前記高画質版とを並列に符号化する場合、
   前記インター予測部は、
   前記低遅延版のＰピクチャで参照される参照ピクチャと、前記高画質版のＢピクチャで後方参照される参照ピクチャとを同一とする請求項１又は２記載の動画像符号化装置。
4. 前記補助情報は、動きベクトルと、ＳＡＤ演算結果と、動きベクトル及びＳＡＤ演算結果から算出される符号化コストとを有する請求項１乃至３いずれか一項に記載の動画像符号化装置。
5. Ｉピクチャ、Ｐピクチャを含むＧＯＰ構造を示す低遅延版と、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを含むＧＯＰ構造を示す高画質版とで動画像の符号化を行う動画像符号化装置が実行する動画像符号化方法であって、
   前記低遅延版及び前記高画質版で共通のＩピクチャをイントラ符号化し、
   参照される参照Ｐピクチャに対し、前記低遅延版及び前記高画質版で共通のＰピクチャのインター符号化を行い、
   前記低遅延版で符号化された参照されない非参照Ｐピクチャの動きベクトル情報を含む補助情報を用いて、前記高画質版のＢピクチャをインター符号化する処理を有する動画像符号化方法。

Images