JP2010050911A - 符号化装置 - Google Patents

Abstract

【課題】
復号化におけるエラーコンシールメントを改善する。
【解決手段】
動き検出部が、入力画像を構成する複数の領域の各領域毎にグローバルベクトルを算出する（Ｓ１）。注目領域選択部が入力画像における注目領域を設定する（Ｓ２）。伝送帯域に余裕があれば（Ｓ４）、冗長スライス設定部が、注目領域を含む領域に対して、グローバルベクトルの大きい順に冗長スライスとして、帯域の余裕分のみ符号化データとして出力する（Ｓ５）。
【選択図】 図３

Description

本発明は、画像データを符号化する符号化装置に関する。

動画像データの圧縮符号化方式として、ＭＰＥＧ-２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ２）、及びＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等が知られている。

Ｈ．２６４／ＡＶＣの規格では、伝送エラーに対する耐性強化のために、通常の主スライスに対して冗長スライス（Ｒｅｄｕｎｄａｎｔ Ｓｌｉｃｅ）が定義されている。これは、一般的に、人物などの注目領域を別途、冗長スライスとして符号化データに付加することで、エラー耐性を強化するものである。また、他の方法として、スライス順序を変更する方法（任意スライス順序（Ａｒｂｉｔｒａｒｙ Ｓｌｉｃｅ Ｏｒｄｅｒ））や、復号化の際に異なる主スライスにエラーが波及しない特徴を利用し、主スライスの分割数を増やす方法が知られている。

一般的に、伝送路でエラーが発生した場合、復号化装置は、エラー部分を他の画像で置き換えるエラーコンシールメント処理又は補間処理を実行する。エラーコンシールメント処理方法として、その直前に復号されたフレームを用いてエラー部分をコンシールメントする技術が知られている（特許文献１参照）。また、伝送路でのエラー発生を想定して、送信側（符号化装置）が伝送路で許容される伝送容量の範囲内でデータの優先度に応じて符号化データを送信する技術も知られている（特許文献２参照）。具体的には、インター符号化及びイントラ符号化などの符号化時の情報を用いて伝送帯域一杯まで冗長スライスを送信する。
特開平９−０９３５８９号公報 特開２００２−１１２２６５号公報

冗長スライスは、別途、注目領域を冗長スライスとして符号化データに入れることができるものである。しかし、規格として定義されただけであり、具体的にどのような部分を冗長スライスとすべきかは、明らかではない。そのため、復号化装置でのエラーコンシールメントでどのような効果が得られるかも、明らかではない。任意スライス順序は、エラー波及を防ぐ目的であり、エラーコンシールメントに対してはあまり効果がない。主スライスの分割数を増やす方法も同様であり、伝送帯域・符号量の点でもオーバーヘッドが大きかった。

特許文献１に開示される技術で注目領域を冗長スライスとして設定した場合、注目領域が動きの大きい画像では効果が大きいものの、動きが小さい画像では効果があまりなく、伝送帯域を無駄に消費してしまう。

特許文献２に開示される技術では、伝送帯域一杯まで冗長スライスを送信するだけであり、画像の特徴を考慮するものではない。従って、伝送エラーに対するエラーコンシールメントには、効果が無い。

本発明は、この様な問題を解決した符号化装置を提示することを目的とする。

上記目的を達成するために、本発明に係る符号化装置は、入力画像を符号化する符号化装置であって、前記入力画像から注目領域を選択する注目領域選択手段と、前記入力画像を構成する複数の領域に対し、領域毎の動き量を検出する動き検出手段と、前記注目領域選択手段の選択結果及び前記動き検出手段の動き検出結果に応じて、前記注目領域の画像を搬送する冗長スライスを設定する冗長スライス設定手段と、前記複数の領域を符号化した符号化データと、前記冗長スライス設定手段により設定された冗長スライスの符号化データとを出力する符号化手段とを有することを特徴とする。

また、本発明に係る他の符号化装置は、入力画像を符号化する符号化装置であって、前記入力画像から注目領域を選択する注目領域選択手段と、前記入力画像を構成する複数の領域に対し、領域毎の動き量を検出する動き検出手段と、前記注目領域選択手段で選択された注目領域を含む領域に対する前記動き検出手段の検出結果に応じて、前記注目領域の画像を搬送する冗長スライスに設定する領域の優先度を設定する冗長スライス設定手段と、前記複数の領域を符号化した符号化データと、前記冗長スライスの符号化データとを出力する符号化手段とを有することを特徴とする。

本発明によれば、注目領域が選択されたか否か、及び、注目領域を含む領域の動きに応じて注目領域の画像を搬送する冗長スライスを設定するので、復号化におけるエラーコンシールメント時の画質が向上する。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。符号化装置１０のフレーム並び替え分割部１２に、映像信号を構成する各画面の画像データが入力する。フレーム並び替え分割部１２は、入力画像データを符号化ピクチャタイプに応じフレーム順序に並び替え、且つ、各フレームを所定数の画素から構成されるマクロブロックとよばれる単位に行列状に分割する。マクロブロックは、符号化方式によるが、例えば，１６画素×１６画素、８画素×８画素、又は４画素×４画素等からなる。

減算器１４は、フレーム並び替え分割部１２からの画像データから後述する予測画像データとの減算し、その差分値を画像残差データとして直交変換部１６に出力する。直交変換部１６は、減算器１４からの画像残差データを離散コサイン変換，ウエーブレット変換等で直交変換し、変換係数を量子化部１８に出力する。量子化部１８は、直交変換部１６からの変換係数を所定量子化パラメータに従い量子化し、量子化変換係数をエントロピー符号化部２０に出力する。

量子化部１８からの量子化変換係数はまた、ローカルでの復号化のために、即ち、予測画像データの生成のために、逆量子化部２６にも供給される。逆量子化部２６は、量子化部１８からの量子化変換係数を逆量子化し、変換係数代表値を出力する。逆直交変換部２８は、逆量子化部２６からの変換係数代表値を逆直交変換し、画像残差データに対応する局所復号値を出力する。加算器３０は、逆直交変換部２８の出力に予測画像データを加算する。加算器３０の出力データは、局所復号化された画像データに相当する。

加算器３０の出力画像データはフレームメモリ３２に書き込まれる。加算器３０の出力画像データはまた、ブロックノイズ除去のためのデブロッキングフィルタ３４によるフィルタ処理を経て、フレームメモリ３６に書き込まれる。

動き検出部３８は、符号化対象の画像データとフレームメモリ３６の画像データとをマクロブロック単位で対比して、動きベクトルを検出する。動き検出部３８は、検出した動きベクトルの動きベクトル情報をインター予測部４２とエントロピー符号化部２０に供給する。詳細は後述するが、動き検出部３８はまた、グローバルベクトルをストリーム送信部２４に供給する。

イントラ予測部４０は、フレームメモリ３２に格納される画像データからフレーム内予測処理により予測画像データを生成する。他方、インター予測部４２は、フレームメモリ３６に格納される画像データに動き検出部３８によって検出される動きベクトルに基づいてフレーム間予測処理を行って、予測画像データを生成する。

スイッチ４４は、現在の符号化対象の画像を符号化する方式に従い、イントラ予測部４０からの予測画像データか、インター予測部４２からの予測画像データを選択する。図示しない符号化制御装置が、このようにスイッチ４４を制御する。スイッチ４４により選択された予測画像データは、減算器１４及び加算器３０に供給される。

エントロピー符号化部２０は、量子化部１８からの量子化変換係数をエントロピー符号化し、動き検出部３８からの動きベクトル情報を多重化する。エントロピー符号化部２０の出力データは、レート調整用及び発生符号量モニタ用のストリームバッファ２２に一時的に書き込まれ、ストリーム送信部２４により逐次、読み出される。

ストリーム送信部２４は、ストリームバッファ２２から読み出した符号化データを目標ビットレートに従ったビットレートで出力する。ストリーム送信部２４はまた、動き検出部３８からのグローバルベクトル情報を符号化データに多重して伝送路に出力する。ストリーム送信部２４が伝送路に出力するデータは、量子化部１８での量子化パラメータなどの各種符号化情報及び冗長スライスも含む。

図２を参照して、グローバルベクトルの求め方を説明する。図２は、グローバルベクトル領域の模式図を示す。

図２に示す例では、符号化対象画像５０が３×３の合計９つのブロックに分割されている。画像５２は、符号化対象画像５０より１フレーム前の画像であり、符号化対象画像５０と同様のサイズでブロック化されている。

例えば、分割領域５４を例に説明する。分割領域５４に対し、符号化対象画像５０より１画面分前の画像５２における、領域５４と同じ位置の領域５６を中心とする探索領域５８（破線で囲まれた部分）を設定する。そして、探索領域５８内で、領域５４の画像との相関を求める。具体的には、領域５８において、領域５４と同じ大きさの領域を設定し、１画素乃至複数画素単位で領域５８を水平及び垂直に移動し、移動した場所毎に相関を求める。最も相関の強い場所を求めたら、領域５６からその場所への方向と距離を算出し、グローバルベクトルとする。相関の強さを表す相関値として、画素毎の輝度値の差分絶対値を用いる。

本実施例では、領域内における全画素に対して相関値を算出し、領域内での総和を求める。これを差分絶対値和（ＳＡＤ：Sum of Absolute Difference）と呼ぶ。相関値としてＳＡＤ値が用いられる場合、ＳＡＤ値が小さいほど相関が強いものとされる。

図３及び図４を参照して、本実施例の動作を説明する。図３は、本実施例の冗長スライス制御動作のフローチャートである。図４（Ａ）従来例における復号画像例の模式図を示し、同（Ｂ）は、本実施例における復号画像例の模式図を示す。

始めに、動き検出部３８は、図２で説明したように、入力画像を複数の領域に分割し、領域毎にグローバルベクトルを算出する（Ｓ１）。図示しない注目領域選択部は、入力画像における注目領域を選択又は設定する（Ｓ２）。注目領域とは、例えば、人物、顔、又は飛行機や電車などの物体が映っている部分である。例えば、画像のパターンマッチングや周知の顔検出技術を用いて、顔等の特定の物体が含まれると検出された領域を注目領域に選択又は設定する。

ストリーム送信部２４は、目標ビットレートに従ったビットレートで、前記複数の領域を符号化した符号化データを出力する（Ｓ３）。

ストリーム送信部２４は、出力符号化データが伝送路の帯域や記録フォーマットで定められた帯域に対して余裕があるか否かを判断し（Ｓ４）、余裕があればステップＳ５に進む。余裕がなければ（Ｓ４）、このフローを終了する。

図示しない冗長スライス設定部は、ステップＳ１で分割された領域毎に、注目領域を含むか否かを判定する（Ｓ５）。図示しない冗長スライス設定部は、注目領域を含む領域に対して、グローバルベクトルの大きい順に冗長スライスとして、帯域の余裕分のみ符号化データとして出力する。具体的には、顔等の注目領域を含む領域のうち、フレーム間の動きが大きい領域から優先的に冗長スライスに設定される。即ち、冗長スライス設定部は、注目領域選択部の選択結果と動き検出部３８の動き検出結果に応じて、注目領域の画像を搬送する冗長スライスを設定し、かつ、冗長スライスとする領域の優先度を設定する。このように設定された１または複数の冗長スライスの符号化データが、本来の符号化データに続けて伝送される。

以上説明したように、本実施例では、グローバルベクトルと注目領域により、冗長スライスを伝送路の帯域又は記録フォーマットで定められた帯域に対して余裕がある分だけ、符号化データとして出力する。これにより、動きが大きい部分に対して、エラー耐性が上がり、再生画像の画質が向上する。

図５は、本実施例の別の冗長スライス制御動作のフローチャートである。図６は、グローバルベクトル算出の説明図である。図６では、画面が９つの領域６０〜７６に分割され、領域６８、７４に被写体となった人物の画像が主として含まれている。

動き検出部３８は、ステップＳ１と同様に、入力画像を複数の領域に分割し、領域毎にグローバルベクトルを算出する（Ｓ１１）。図示しない注目領域選択部は、入力画像における注目領域を設定する（Ｓ１２）。ストリーム送信部２４は、目標ビットレートに従ったビットレートで符号化データを出力する（Ｓ１３）。

ストリーム送信部２４は、出力符号化データが伝送路の帯域や記録フォーマットで定められた帯域に対して余裕があるか否かを判断し（Ｓ１４）、余裕があればステップＳ１５に進む。余裕がなければ（Ｓ１４）、このフローを終了する。

図示しない冗長スライス設定部は、ステップＳ１１で分割された領域毎に、各グローバルベクトルを算出する領域に対して、注目領域が面積的にどの位占めるか（割合）を算出する（Ｓ１５）。注目領域の占める割合が閾値以下の領域しかない場合（Ｓ１５）、このフローを終了する。それ以外の場合（Ｓ１５）、図示しない冗長スライス設定部は、ステップＳ１１で用いた領域毎に、注目領域を含むか否かを判定する。図示しない冗長スライス設定部は、ステップＳ１４で求めた領域（図６に示す例では、領域６８と領域７４）に対して、グローバルベクトルの大きい順に冗長スライスとして、帯域の余裕分のみ符号化データとして出力する。

以上説明したように、各グローバルベクトルを算出する領域に対する注目領域の割合に応じて冗長スライスを定義し、伝送路の帯域又は記録フォーマットで定められた帯域に対して余裕がある分だけ、符号化データとして出力する。これにより、動きが大きい部分に対して、エラー耐性が高まり、再生画像の画質が向上する。

グローバルベクトルをＳＡＤによって求める実施例を説明したが、グローバルベクトルは、図示しないカメラからの情報（ズーム、パン・チルト、ＡＦ（オートフォーカス）など）によって求めた情報を用いて制御することも可能である。

以上、説明したように、画像の特徴と伝送路の帯域に応じて効果的に冗長スライスを符号化データに付加することで、復号化装置におけるエラーコンシールメント時の画質向上が可能となる。

なお、本発明は、上記実施例に限定されるものではなく、特許請求の範囲に規定される技術的思想の範囲内において適宜に変更することができる。

本発明の一実施例の概略構成ブロック図である。 グローバルベクトル領域の説明図である。 本実施例の冗長スライス制御動作のフローチャートである。 従来例（Ａ）と本実施例（Ｂ）の符号化画像例である。 第２実施例の冗長スライス制御動作のフローチャートである。 第２実施例でのグローバルベクトル領域の説明図である。

符号の説明

１０：符号化装置
１２：フレーム並び替え分割部
１４：減算器
１６：直交変換部
１８：量子化部
２０：エントロピー符号化部
２２：ストリームバッファ
２４ ストリーム送信部
２６：逆量子化部
２８：逆直交変換部
３０：加算器
３２：フレームメモリ
３４：デブロッキングフィルタ
３６：フレームメモリ
３８ 動き検出部
４０： イントラ予測部
４２：インター予測部
４４ スイッチ

Claims (5)

1. 入力画像を符号化する符号化装置であって、
   前記入力画像から注目領域を選択する注目領域選択手段と、
   前記入力画像を構成する複数の領域に対し、領域毎の動き量を検出する動き検出手段と、
   前記注目領域選択手段の選択結果及び前記動き検出手段の検出結果に応じて、前記注目領域の画像を搬送する冗長スライスを設定する冗長スライス設定手段と、
   前記複数の領域を符号化した符号化データと、前記冗長スライス設定手段により設定された冗長スライスの符号化データとを出力する符号化手段と
   を有することを特徴とする符号化装置。
2. 前記冗長スライス設定手段は、さらに前記領域に占める注目領域の大きさに応じて前記冗長スライスを設定することを特徴とする請求項１に記載の符号化装置。
3. 前記冗長スライス設定手段は、さらに前記符号化手段から出力されるデータを伝送するための伝送路の帯域に応じて前記冗長スライスを設定することを特徴とする請求項１又は２に記載の符号化装置。
4. 入力画像を符号化する符号化装置であって、
   前記入力画像から注目領域を選択する注目領域選択手段と、
   前記入力画像を構成する複数の領域に対し、領域毎の動き量を検出する動き検出手段と、
   前記注目領域選択手段で選択された注目領域を含む領域に対する前記動き検出手段の検出結果に応じて、前記注目領域の画像を搬送する冗長スライスに設定する領域の優先度を設定する冗長スライス設定手段と、
   前記複数の領域を符号化した符号化データと、前記冗長スライスの符号化データとを出力する符号化手段と
   を有することを特徴とする符号化装置。
5. 前記冗長スライス設定手段は、前記動き検出手段の検出結果に基づきフレーム間の動きが大きい領域から優先的に前記冗長スライスに設定することを特徴とする請求項４に記載の符号化装置。

Images