JP2006080663A - 映像符号化装置 - Google Patents

Abstract

【課題】
音声を発している物体に対する映像部分を高精細に符号化する。
【解決手段】
音声信号到来方向検出回路１０４は、マイク１０１からの複数方向の音声信号から音声到来方向を検出する。コントローラ１１６は、アクティビティ算出回路１１７からのマクロブロックのアクティビティに応じて、マクロブロック単位で量子化スケール値を補正する。コントローラ１１６は更に、音声到来方向検出回路１０４の検出結果に従い、音声到来方向の画面部分の量子化スケールコードを強制的に下げる。
【選択図】
図１

Description

本発明は、ディジタルビデオカメラ等に使用され得る映像符号化装置に関し、例えばＭＰＥＧ（Moving Pictures of Experts Group）により映像信号を符号化する映像符号化装置に関する。

従来のＭＰＥＧフォーマットを用いた映像符号化装置は、人間の視覚特性を考慮した量子化スケールコード（量子化スケール値又は量子化ステップなどともよばれる）を設定して、所望のビットレートで映像信号を符号化するように構成されている（例えば、特許文献１参照）。

ＭＰＥＧ方式は、ＤＣＴ（離散コサイン変換）、量子化、可変長符号化、並びに、前方向及び双方向の動き補償フレーム間予測を組み合わせた方式であり、通常１５枚のフレームデータをグループ化したＧＯＰ（Group Of Pictures）構造を採用する。ＧＯＰは、Ｉピクチャ（Intra-coded picture）、Ｐピクチャ（Predictive-coded picture）及びＢピクチャ（Bidirectionally predictive-coded picture）で構成される。Ｉピクチャは、フレーム内の情報のみで符号化された画像である。Ｐピクチャは、Ｉピクチャ又は別のＰピクチャからの予測に従って差分符号化された画像である。Ｂピクチャは、双方向予測に従い差分符号化された画像である。

映像記録装置の映像符号化部は基本的に、所定の画素数に分割されたブロック、所謂ＤＣＴブロック毎に２次元直交変換を行うＤＣＴ（Discrete Cosine Transformation）変換回路と、変換後のＤＣＴ係数データを適当な量子化スケールコードで量子化する量子化回路と、映像記録装置の出力ビットレートを考慮して量子化スケールを適当な値に制御するレート制御部（コントローラ）とを具備する。

特に、ＭＰＥＧ２用の画像符号化装置は、図６に示すように画面並替え部であるフレームバッファ６０７、入力画像とローカルデコード画像の差分をとる減算部、ＤＣＴ部６０８、量子化部６０９、可変長符号化部、バッファメモリ、逆量子化部６１０、逆ＤＣＴ部６１１、動き推定部６１２、動き補償部６１３、及び、レート制御を行うコントローラ６１６などで構成される。

カメラ部６０５から出力されるアナログ映像信号は、ディジタル信号に変換された後に、ＤＣＴブロックに分割され、ピクチャの順序を符号化処理に適した順に並び替えられる。

フレームバッファ６０７の出力は、ＤＣＴ部６０８及び量子化部６０９を介して、可変長符号が行われバッファメモリに出力される。バッファメモリは、所定のビットレートで符号化データを出力する。

また、Ｉピクチャ及びＰピクチャの場合は、動き推定部６１２及び動き補償部６１３において参照画面として使用されるので、量子化部６０９の出力は逆量子化部６１０にも入力され、逆量子化された後に逆ＤＣＴ部６１１により逆ＤＣＴ変換される。逆ＤＣＴ部６１１の出力は、動き補償部６１３に入力されて、順次、処理される。動き推定部６１２及び動き補償部６１３は、必要に応じて、前方向予測、後方向予測又は両方向予測を行い、予測値を減算部に出力する。

減算部は、画像並替え部６０７の出力と動き補償予測部６１３の出力との間で減算を行い、逆量子化部６１０及び逆ＤＣＴ部６１１などにより復号された復号映像信号と入力映像信号との間の予測誤差を演算する。フレーム内符号化（Ｉピクチャ）の場合では、減算部は、減算処理を行わず、入力映像信号をそのまま出力する。

一方、可変長符号化部で発生する符号量が可変である。レート制御部であるコントローラ６１６は、バッファメモリを監視することによって所定のビットレートを保つように、量子化部６０９の量子化動作を制御する。具体的には、コントローラ６１６は、ＧＯＰの目標ビット量を設定し、このＧＯＰ目標ビット量の中でピクチャ単位毎に目標ビット量を割り当てる。各ピクチャ内におけるビット割り当ては、マクロブロックごとに量子化スケールを設定することによって行われる。

すなわち、一般に、次の３つのステップで上述の処理が行われる。これは、ＭＰＥＧ２のテストモデル５（ＴＭ５）と呼ばれるものである。

第１ステップでは、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量を基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返し、ピクチャごとにピクチャ目標ビット量を設定する。

第２ステップでは、マクロブロック単位に量子化スケールの基準値を設定する。つまり、第２ステップでは、第１ステップで求められた各ピクチャに対する割り当てビット量と実際の発生ビット量が一致するように、各ピクチャタイプで独立に設定した３種類の仮想バッファの容量を基に、量子化スケールの基準値をマクロブロック単位のフィードバック制御で求める。

第３ステップでは、視覚特性を反映させるべく、マクロブロック単位でマクロブロックのアクティビティに基づいて量子化スケール値を補正する。即ち、アクティビティ算出回路６１７が、マクロブロック単位でアクティビティ値を算出する。コントローラ６１６は、アクティビティ算出回路６１７で算出されたアクティビティ値をに従い、フレーム目標ビット量を維持しつつ、アクティビティが低いマクロブロックでは量子化スケールを基準値より小さく補正し、アクティビティが高いマクロブロックでは量子化スケールを基準値より大きく補正する。このように、従来の映像符号化装置では，視覚特性、特にアクティビティを考慮した適応量子化が行われる。
特開平１０−２８５５８９号公報

上記第３ステップの上述の処理方法では、アクティビティのみを用いて量子化スケールを変更するので、アクティビティが高いブロックではブロックの画像内容に拘わらず常に粗く量子化され、再生画像が劣化してしまう。従って、たとえ画像中において撮影者や視聴者の関心が高く重要と考える部分でも、アクティビティが高ければ、粗く量子化されてしまう。アクティビティが高い部分は、例えば、一般に撮影者などの関心が高い人物（特に肌色部分）、物体のエッジ・周辺などの他に音声を発している物体がある部分である。

そこで、本発明は、音声を発している物体に対する映像信号を高精細に符号化可能な映像符号化装置を提示することを目的とする。

本発明の映像符号化装置は、被写体を撮影して映像信号を出力する撮像手段と、映像信号を所定の画素数で分割したブロックごとに量子化スケールコードに従い量子化して符号化する映像符号化手段と、当該映像信号の符号化の目標符号量を算出する目標符号量算出手段と、前記被写体に係る音声の到来方向を検出する音声到来方向検出手段と、前記目標符号量と前記音声到来方向検出手段の検出結果に応じて、所定ブロックにおける当該量子化スケールコードを変更する量子化スケールコード制御手段とを具備することを特徴とする。

本発明によれば、音声信号到来方向に従い映像信号符号化の量子化スケールコードを制御することにより、音声を発している物体に対して高精彩に記録することが可能となる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図である。図2は本実施例の作用を説明する模式図である。この実施例は、映像信号をＭＰＥＧ２フォーマットで記録するディジタルビデオカメラに適用されたものであり、任意のマクロブロックにおけるＤＣＴ係数を量子化する際の量子化スケールコードの決定に音声信号の到来方向を利用する。

図１において、１０１は例えばディジタルビデオカメラに具備されているマイクであり、１０２はマイク１０１から得られた音声信号であり、１０３は音声信号１０２に対して符号化処理を行う音声信号符号化回路であり、１０４は音声信号１０２の到来方向を検出する音声到来方向検出回路である。なお、マイク１０１は映像記録装置に２つ以上、装備されているものとする。そのため、音声信号１０２は、２方向以上の音声信号を示す。

１０５は例えばディジタルビデオカメラに具備されているＣＣＤであり、１０６はＣＣＤ１０５から得られた映像信号であり、１０７はフレームバッファである。１０８はＤＣＴ回路であり、１０９は量子化回路であり、１１０は逆量子化回路であり、１１１はＩＤＣＴ（逆ＤＣＴ）回路であり、１１２は動き推定回路であり、１１３は動き補償回路である。

１１４は量子化回路１０９から出力された信号をハフマン符号化などの可変長符号化処理する可変長符号化部を含み、音声符号化信号と映像符号化信号を多重化する多重化回路であり、１１５は記録媒体である。多重化回路１１２で多重化された映像音声信号が、記録媒体１１５に記録される。

また、コントローラ１１６は、量子化回路１０９における量子化スケールコードを制御するだけでなく、システム全体も制御する。１１７はアクティビティ算出回路であり、各マクロブロックの分散値などからアクティビティ値を算出する。

映像信号１０６はフレームバッファ１０７に一旦、保持され、符号化ピクチャがフレーム内符号化（イントラ符号化）方式の時は、映像信号１０６をマクロブロックに分割し、ＤＣＴ回路１０８が、マクロブロック内の信号に対してＤＣＴ処理を行い、量子化回路１０９が、コントローラ１１６で決定した量子化スケールコードを用いてＤＣＴ係数を量子化する。

また、符号化ピクチャがフレーム間符号化ピクチャ（インター符号化）方式の時は、すでに符号化されたピクチャに対して逆量子化回路１１０で逆量子化し、ＩＤＣＴ回路１１１で逆ＤＣＴ処理を行ったローカルデコード画像を作成し、今から符号化するピクチャとの動き推定及び動き補償を行い、ローカルデコード画像との差分値を算出する。ＤＣＴ回路１０８は、差分値をマクロブロック単位でＤＣＴ変換し、ＤＣＴ係数を出力する。量子化回路１０９は、コントローラ１１６で決定した量子化スケールコードを用いてＤＣＴ係数を量子化する。

図２は、量子化スケールコードの決定態様を説明する模式図である。図2（Ａ）は、撮影状況を示し、図２（Ｂ）は撮影映像を示し、図２（Ｃ）は、各マクロブロックに対する量子化スケールコード例を示す。図２（Ａ）において、２０１から２０３が被写体であり、現在の被写体２０１が音声を発しているものとする。この状況を図1に示す構成からなる映像記録装置２０４で撮影し記録するものとする。

図２（Ｂ）は、映像記録装置２０４で記録する１枚のピクチャを示しており、各小ブロック２０５がマクロブロックを示す。

図２（Ｃ）において、２０７（白丸）が映像のアクティビティ値を用いて決定されたマクロブロックの量子化スケールコード、即ち、従来例で示した第３ステップで決定された量子化スケールコードであり、２０８（黒丸）が、本実施例の映像記録装置２０４で決定された量子化スケールコードである。

コントローラ１１６は、従来例で示した第１ステップから第３ステップと同様の処理を行う。

まずＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量を基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返し、ピクチャごとにピクチャ目標ビット量を設定する。

次に、マクロブロック単位に量子化スケールコードの基準値を設定する。

さらに視覚特性を反映させるべく、アクティビティ算出回路１１７で算出されたマクロブロックのアクティビティに基づいて量子化スケール値を補正する。フレーム目標ビット量を維持しつつ、アクティビティが低いマクロブロックでは量子化スケールを基準値より小さく補正し、アクティビティが高いマクロブロックでは量子化スケールを基準値より大きく補正することで、視覚特性に応じた量子化スケールコード２０７を算出する。

一方、音声到来方向検出回路１０４は、マイク１０１から得られた２方向以上の音声信号１０２からどちらの方向から得られた音声信号であるかを判定する。音声到来方向を検出する一手法として音声信号の大きさがある。

音声信号の大きさで判定する手法は、本映像記録装置に対して左側の音声信号を記録可能なマイク（以下、左マイクともよぶ）と右側の音声信号を記録可能なマイク（以下、右マイクともよぶ）があるとき、左マイクで得られた音声信号のピーク値がある閾値を超えたときは、音声信号の到来方向を左と判定する。なお、右マイクから得られた音声信号のピーク値がある閾値を超えたときには、左マイクと同様に、音声信号の到来方向を右と判定する。左マイクから得られた音声信号のピーク値と右マイクから得られた音声信号のピーク値が共に閾値を超えた場合は、ピーク値の大きいほうを音声の到来方向とする。

音声到来方向検出回路１０４で検出された音声到来方向が左側と判断されたとき、コントローラ１１６は、視覚特性に応じた量子化スケールコード２０７に対して、画面の左側に与えられた量子化スケールコードを強制的に下げるように制御する。強制的に下げられた量子化スケールコードを用いて量子化したマクロブロックに対する符号量は増加するので、音声を発している人物に対して視覚的向上を図ることができる。当然ながら、音声到来方向検出回路１０４で検出された音声到来方向が右側と判断されたとき、コントローラ１１６は、視覚特性に応じた量子化スケールコード２０７に対して、画面の右側に与えられた量子化スケールコードを強制的に下げるように制御する。詳細な説明は省略するが、映像記録装置に左マイク及び右マイク以外のマイクを更に付加して音声信号到来方向を上方向、下方向及び左上方向（斜め方向）などと判定できるようにしたときにも、左右と同様に、音声到来方向に従って量子化スケールコードを制御する。

量子化スケールコードの下げ幅は任意に決定できる。但し、周辺ブロックの量子化スケールコードに対して急激な変化があると、周辺ブロックの劣化が目立ちやすくなるので、下げ幅は、半分以下にすることのが妥当である。

なお、音声到来方向検出回路１０４に応じて量子化スケールコードが下げられたことにより、ピクチャ全体の符号量は最初に与えられた目標符号量よりも大きくなってしまう。最初に与えられた目標符号量を維持するには、音声到来方向検出回路１０４で検出されなかった方向にあるマクロブロックで、アクティビティ値が高いブロックの量子化スケールコードを上げる。これは、量子化スケールコードを上げたマクロブロックの劣化は視覚的に目立ちにくく、撮影者の関心がいきにくいことを利用している。

また、音声到来方向検出回路１０４は、以下の機能を持っていても良い。即ち、ディジタルビデオカメラで撮影を行っている時、例えば犬の泣き声や車のクラクションなど人間以外の音声も発生する。映像中に感心が向く部分は音声を発しているものととらえているが、これを人物に限定して、人物が音声を発した時、その音声到来方向に対して量子化スケールコードを下げるようにしても良い。

図1に示す実施例の構成において、ピクチャに与えられた目標符号量を、音声信号到来方向の出力に応じて各マクロブロックに分配することで量子化スケールコードを決定してもよい。

図３は、任意のピクチャに与えられた目標符号量をマクロブロックに分配する様子の模式図を示す。横軸が画面の左上から右下へラスタスキャンしたマクロブロックであり、縦軸がマクロブロックに与えられた総符号量（マクロブロックに与えられた符号量の累積和）を示す。また、スライスと表現された部分は、マクロブロック１行分の集まりを示す。

３０１は任意のピクチャに与えられた目標符号量であり、３０２はピクチャの目標符号量３０１をすべてのマクロブロックに対して均等に割り振った場合の符号量の変化を示す。３０３は、目標符号量３０１を本映像記録装置におけるコントローラ１１６で各マクロブロックに符号量を割り振った場合の符号量の変化を示す。

まず、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量を基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返し、ピクチャごとにピクチャ目標ビット量を設定する。

次に各マクロブロックの目標符号量を決定する。音声信号到来方向検出回路１０４で検出された音声到来方向が左側と判断されたとき、スライスの左側にあるマクロブロックの目標符号量を大きく設定し、スライスの右側にあるマクロブロックの目標符号量を小さく設定する。同様に、音声信号到来方向検出回路１０４で検出された音声到来方向が右側と判断されたとき、スライスの右側にあるマクロブロックの目標符号量を大きく設定し、スライスの左側にあるマクロブロックの目標符号量を小さく設定する。

最後に、視覚特性を反映させるべく、マクロブロック単位でマクロブロックのアクティビティに基づいて量子化スケール値を決定する。マクロブロックの目標符号量を維持しつつ、アクティビティが低いマクロブロックでは量子化スケールを基準値より小さく補正し、アクティビティが高いマクロブロックでは量子化スケールを基準値より大きく補正する。これにより、視覚特性に応じた量子化スケールコードを算出する。

なお、音声信号到来方向検出回路１０４は実施例１で述べた方法で音声到来方向を検出する。勿論、音声信号到来方向として上方向、下方向、左上方向（斜め方向）を判断できる場合には、図４及び図５に示すようにマクロブロックの符号量を制御する。

図４は、音声信号到来方向が上方向と判断されたときのマクロブロックの目標符号量を示す。このとき、上部スライスの目標符号量が増加し、下部スライスの目標符号量が減少するように、各スライスの目標符号量を設定する。各マクロブロックの目標符号量は、スライスに含まれるマクロブロックの数で均等割りすることになる。

図５は、音声信号到来方向が左上と判断されたときのマクロブロックの目標符号量を示す。このとき、上部スライスの目標が増加し、下部スライスの目標符号量が減少するように、各スライスの目標符号量を設定する。各マクロブロックの目標符号量として、スライスの左側にあるマクロブロックの目標符号量を大きく設定し、スライスの右側にあるマクロブロックの目標符号量を小さく設定する。音声信号到来方向が右上、左下及び右下などの斜め方向と検出された場合も、同様の目標符号量設定を行う。

本発明の第１実施例の概略構成ブロック図である。 第１実施例における量子化スケールコード制御の説明図である。 第２実施例において、音声到来方向が左側であるときのマクロブロックの目標符号量制御を説明する図である。 第２実施例において、音声到来方向が上側であるときのマクロブロックの目標符号量制御を説明する図である。 第３実施例において、音声到来方向が左上側であるときのマクロブロックの目標符号量制御を説明する図である。 従来の映像音声信記録装置のシステム図である。

符号の説明

１０１・・・マイク
１０２・・・音声信号
１０３・・・音声信号符号化回路
１０４・・・音声信号到来方向検出回路
１０５・・・ＣＣＤ
１０６・・・映像信号
１０７・・・フレームバッファ
１０８・・・ＤＣＴ回路
１０９・・・量子化回路
１１０・・・逆量子化回路
１１１・・・ＩＤＣＴ回路
１１２・・・動き推定回路
１１３・・・動き補償回路
１１４・・・多重化回路
１１５・・・記録媒体
１１６・・・コントローラ
１１７・・・アクティビティ算出回路

Claims (10)

1. 被写体を撮影して映像信号を出力する撮像手段と、
   映像信号を所定の画素数で分割したブロックごとに量子化スケールコードに従い量子化して符号化する映像符号化手段と、
   当該映像信号の符号化の目標符号量を算出する目標符号量算出手段と、
   前記被写体に係る音声の到来方向を検出する音声到来方向検出手段と、
   前記目標符号量と前記音声到来方向検出手段の検出結果に応じて、所定ブロックにおける当該量子化スケールコードを変更する量子化スケールコード制御手段
   とを具備することを特徴とする映像符号化装置。
2. 更に、所定ブロックにおける映像特徴量を算出する映像特徴量算出手段を具備し、
   前記量子化スケールコード制御手段で変更される前の量子化スケールコードは、前記映像特徴量算出手段により算出される特徴量に応じて決定されることを特徴とする請求項１に記載の映像符号化装置。
3. 前記映像特徴量はアクティビティ値であることを特徴とする請求項１又は２に記載の映像符号化装置。
4. 前記量子化スケールコード制御手段は、量子化スケールコード変更前におけるフレーム符号量と、量子化スケールコード変更後のフレーム符号量が維持されるように、各ブロックの量子化スケールコードを制御することを特徴とする請求項１に記載の映像符号化装置。
5. 前記量子化スケールコード制御手段で変更された前記所定ブロックにおける量子化スケールコードが、前記映像特徴量に応じて決定された量子化スケールコードより小さいことを特徴とする請求項１乃至４の何れか１項に記載の映像符号化装置。
6. 前記量子化スケールコード制御手段で変更された前記所定ブロック以外のブロックにおける量子化スケールコードが、前記映像特徴量に応じて決定された量子化スケールコードより大きいことを特徴とする請求項１乃至４の何れか１項に記載の映像符号化装置。
7. 前記音声信号到来方向検出手段は、前記被写体に係る音声信号を入力する音声入力手段を有し、前記音声信号の入力レベルに応じて、前記音声信号の到来方向を検出することを特徴とする請求項１に記載の映像符号化装置。
8. 前記音声信号到来方向検出手段は、少なくとも左右２方向の到来方向を検出可能であることを特徴とする請求項１に記載の映像符号化装置。
9. 前記音声到来方向検出手段は、前記音声信号の入力レベルに前記音声信号が持つ特徴を考慮して、前記音声信号の到来方向を検出することを特徴とする請求項１７に記載の映像符号化装置。
10. 前記映像信号の符号化方式がＭＰＥＧ符号化方式であることを特徴とする請求項１乃至８の何れか1項に記載の映像符号化装置。

Images