JP2014017571A

JP2014017571A - 符号化装置

Info

Publication number: JP2014017571A
Application number: JP2012152083A
Authority: JP
Inventors: Koji Mada; 浩二磨田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-07-06
Filing date: 2012-07-06
Publication date: 2014-01-30
Anticipated expiration: 2032-07-06
Also published as: JP6016484B2

Abstract

【課題】
インターバル撮影画像を効率良く符号化する。
【解決手段】
減算器１０１は入力画像から予測画像を減算し、差分画像を出力する。差分画像は直交変換部１０２及び量子化部１０３により符号化され、逆量子化部１０４及び逆直交変換部１０５により局所復号化される。加算器１０６は、逆直交変換部１０５の出力に予測画像を加算して復号化画像を出力する。動き検出部１１１は先行する復号化画像からの動きベクトルを検出する。イントラ／インター判定部１１０は、イントラ予測モード決定部１０７の決定演算及び動き検出部１１１の検出演算での誤差に従いイントラ予測かインター予測かを判定する。動き検出部１１１は、所定時間のフレーム間隔からなる動画像である場合と、所定時間よりも長いフレーム間隔からなる動画像である場合とで、動きベクトルを検出するための探索領域の決定方法を異ならせる。
【選択図】図１

Description

本発明は符号化装置に関し、特にインターバルモード時に動き予測の精度を改善した符号化装置に関する。

近年、ハードディスク又は半導体メモリ等のランダムアクセス可能な記録媒体に高精細動画像データを記録するビデオカメラが製品化されている。この種のビデオカメラでは、ＭＰＥＧ４ｐａｒｔ−１０：ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０、別名Ｈ．２６４）のような高能率圧縮符号化方式で動画像を圧縮符号化し、記録媒体に記録する。この圧縮符号化方式では、画像間の相関を利用したフレーム間予測（インター予測）と、フレーム内の相関を利用したフレーム内予測（イントラ予測）を併用し、動き補償を組み合わせることで高効率な圧縮符号化を実現している。

また、３０フレーム／秒といった通常のフレームレート以外に、１フレーム／秒や１フレーム／分などのインターバル撮影による撮影画像を記録するカメラも開発されている。この機能は、天体の動きや植物の成長、昆虫の脱皮などのシーンを記録するために用いられている。

特許文献１には、高速で移動する被写体を撮影する場合に適したスポーツモードと、人物の特に顔を撮影する場合に適したポートレートモードなどの選択に応じて、動き探索の範囲を切り換える技術が記載されている。

特開２００４−２８９６００号公報

インターバル撮影の画像を、動画対応の圧縮符号化装置で圧縮符号化する場合に動き予測を適用すると、探索範囲に参照すべきブロックが存在しない可能性がある。

探索範囲に参照すべきブロックが存在する場合、動きベクトルの符号量（ベクトル長）に符号量が発生するものの、画像間の差分が少なくなるので、少ない符号量で効率よく符号化可能である。

他方、探索範囲に参照すべきブロックが存在しない場合、画像間の差分が大きくなり、動き予測を利用しても効率よい符号化ができない。この場合、画質を落とさないためには、ベクトル長を抑え、ブロック毎の係数データ（ｃｏｅｆｆ）により多くの符号を割り当てる必要がある。

また、動き予測を誤ると、長い動きベクトルが発生してしまう可能性がある。この場合、ベクトル長に多くの符号を消費することになり、その結果、同一の記録レートに対して、係数データ（ｃｏｅｆｆ）への割当て符号量を少なくせざるを得なくなり、画質が劣化する。

本発明は上記の問題点に鑑み、インターバルモード等で撮像された、フレーム間隔が所定時間よりも長い動画像を良好な画質で効率良く符号化する符号化装置を提示することを目的とする。

本発明に係る符号化装置は、入力画像と予測画像との差分を算出する減算手段と、前記減算手段による差分画像を符号化する、量子化を含む符号化手段と、前記符号化手段の出力を復号化する復号化手段と、前記復号化手段により復号化された復号化画像から前記予測画像を生成する予測画像生成手段であって、前記復号化画像から画面内符号化の予測モードを決定する予測モード決定手段と、前記復号化画像から画面間符号化の動きベクトルを検出する動き検出手段と、前記予測モード決定手段の決定演算及び前記動き検出手段の検出演算に従い画面内予測か画面間予測かを判定し、前記画面内予測の場合に前記予測モード決定手段で決定された予測モードに従い前記予測画像を生成し、前記画面間予測の場合に前記動き検出手段で検出された動きベクトルに従い前記復号化画像を動き補償して前記予測画像を生成する判定手段とを有する予測画像生成手段とを具備し、前記動き検出手段は、前記入力画像が、所定時間のフレーム間隔からなる動画像である場合と、前記所定時間よりも長いフレーム間隔からなる動画像である場合とで、動きベクトルを検出するための探索領域の決定方法を異ならせることを特徴とする。

本発明によれば、インターバルモード等で撮像された、フレーム間隔が所定時間よりも長い動画像を適切な予測モードで効率的に符号化することができ、その結果、画質の劣化を抑制できる。

本発明の一実施例の概略構成ブロック図である。イントラ予測モード決定部の概略構成ブロック図である。動き検出部の概略構成ブロック図である。通常記録モードとインターバルモードの記録画像を示す模式図である。動き検出部のサーチウインドウ決定動作のフローチャートである。従来例と本実施例でのサーチウインドウの設定と符号量の相違を示す模式図である。重み付けをしたイントラ／インター判定のフローチャートである。動き検出部の別の構成例の概略構成ブロック図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例である符号化装置の概略構成ブロック図を示す。

符号化装置１００は、入力画像を符号化単位ブロックであるマクロブロック（ＭＢ）ごとに変換符号化、量子化及びエントロピー符号化して符号化ストリームを生成する。画面間の動き予測及び動き補償を利用するインター符号化（画面間符号化）と、符号化しようとする注目画素ブロックの画素値を同一画面内の隣接する画素から予測するイントラ符号化（画面内符号化）を併用する。

減算器１０１は、入力画像の予測画像に対する予測誤差を画素単位で算出する。減算器１０１の出力は、入力画像と予測画像の差を示す差分画像である。直交変換部１０２は、減算器１０１からの予測誤差に例えば離散コサイン変換等の直交変換を施し、変換係数を量子化部１０３に供給する。量子化部１０３は、直交変換部１０２からの変換係数（離散コサイン変換の場合の変換係数）を量子化する。

逆量子化部１０４、逆直交変換部１０５及び加算器１０６からなる部分は、局所復号化器を構成する。すなわち、局所復号化のために、逆量子化部１０４は、量子化部１０３から出力される量子化変換係数を逆量子化し、逆直交変換部１０５は、逆量子化部１０４の出力を逆直交変換する。逆直交変換部１０５の出力は、減算器１０１から出力される予測誤差に対応する。加算器１０６は、逆直交変換部１０５の出力（予測誤差）に予測画像を画素単位で加算する。加算器１０６の出力は局所復号化画像であり、イントラ予測モード決定部１０７と、ブロッキングノイズ抑圧のためのループフィルタ１０８に供給される。ループフィルタ１０８は、加算器１０６からの局所復号化画像を平滑化フィルタリングし、フレームメモリ１０９に格納する。

イントラ予測モード決定部１０７は、符号化対象ブロックに隣接する加算器１０６から出力される復号化画素値に従い、符号化対象ブロックに対するイントラ予測モードを決定する予測モード決定手段である。

図２は、イントラ予測モード決定部１０７の概略構成ブロック図を示す。図２を参照して、イントラ予測モード決定部１０７の動作を説明する。イントラ予測画像生成部２１０は、想定されている複数のイントラ予測モードのそれぞれについて符号化対象となるＭＢの周辺に位置するＭＢの画素を用いて予測画像を生成する。差分絶対値和演算部２１２は、各イントラ予測モードの予測画像と符号化対象ＭＢとの差分絶対値和を算出する。イントラ予測モード選択部２１４は、算出された差分絶対値和のうち最小となるイントラ予測モードを最終的に選択する。

他方、動き検出部１１１は、フレームメモリ１０９に記憶されている先行するフレーム又はフィールドの参照画素値を用いて、入力画像における符号化対象ＭＢの、画面間の動きベクトルを検出する。

図３は、動き検出部１１１の概略構成ブロック図を示す。図３を参照して、動き検出部１１１の動作を詳細に説明する。先に説明したように、フレームメモリ１０９には、先行するフレーム又はフィールドの符号化及び復号化を経た画像データが格納されている。サーチウインドウ決定部２２０は、フレームメモリ１０９に格納される先行するフレーム又はフィールドの画像データのうち、実際に動き検出に用いる探索領域（サーチウインドウ）を決定する。サーチウインドウ決定部２２０は、決定したサーチウインドウ内の画像データをフレームメモリ１０９から読み出して差分絶対値和演算部２２２に供給する。差分絶対値和演算部２２２は、サーチウインドウ内に存在するＭＢと同サイズの領域内の各画素と当該ＭＢとの差分絶対値和を算出する。ベクトル選択部２２４は、差分絶対値和演算部２２２に演算対象領域を１画素ずつずらして差分絶対値和を算出させ、算出された差分絶対値和のうちの最小値となる方向と大きさを動きベクトルとして最終的に選択する。

イントラ／インター判定部１１０は、符号化対象ブロックに対してイントラ予測（画面内予測）を用いるべきかインター予測（画面間予測）を用いるべきかを決定する。具体的には、イントラ／インター判定部１１０には、イントラ予測モード決定部１０７からイントラ予測モード決定演算で算出した差分絶対値和（最小値）と、動き検出部１１１から動き検出演算で算出した差分絶対値和（最小値）が入力する。イントラ／インター判定部１１０は入力する両誤差を比較し、イントラ予測モード決定演算で算出した差分絶対値和の方が小さい場合、イントラ予測を採用し、逆に動き検出演算で算出した差分絶対値和の方が小さい場合、インター予測を採用する。そして、イントラ／インター判定部１１０は、イントラ予測を採用する場合には、スイッチ１１６を端子Ａに切り替え、インター予測を採用する場合にはスイッチ１１６を端子Ｂに切り替える。

符号化にイントラ予測が用いられる場合、イントラ／インター判定部１１０は、イントラ予測モード決定部１０７から通知されるイントラ予測モードを、スイッチ１１６を介してイントラ予測部１１２に通知する。符号化にインター予測が用いられる場合、イントラ／インター判定部１１０は、動き検出部１１１により算出された動きベクトルを動き補償部１１３に通知する。

イントラ予測部１１２は、イントラ予測モード決定部１０７により決定されたイントラ予測モードに従い、符号化対象ブロックに対する予測画像（の参照画素値）を生成する。動き補償部１１３は、イントラ／インター判定部１１０からの動きベクトルに従い、参照画像上の、当該動きベクトルで表される画素値を予測画像の参照画素値として生成する。イントラ予測部１１２又は動き補償部１１３により生成された予測画像（の参照画素値）が、減算器１０１及び加算器１０６に供給される。

このように、イントラ予測モード決定部１０７、動き検出部１１１、イントラ／インター判定部１１０、スイッチ１１６、イントラ予測部１１２及び動き補償部１１３からなる部分は、予測画像生成手段として機能する。

減算器１０１は、後続するフレーム又はフィールドにおけるＭＢの画素値から動き補償部１１３からの参照画素値を減算し、得られた予測誤差を上述の通り直交変換部１０２に供給する。

エントロピー符号化部１１４は、量子化部１０３から出力される量子化変換係数および動き検出部１１１により求められた動きベクトルをエントロピー符号化し、得られる符号データを所定ストリーム形式で出力する。

図４は、インターバルモード記録の概念図である。図４（Ａ）は、通常記録モードで記録されるフレーム構成例を示し、図４（Ｂ）は、インターバルモード（１秒間隔）で記録されるフレーム構成例を示す。横軸は時間を示す。

通常記録モードでは入力画像は３０フレーム／秒であるのに対し、インターバルモードでは、入力画像のフレームレートが、１フレーム／秒や１フレーム／分などの所定フレームレート以下に切り替えられる。その結果、フレーム間隔が所定時間（例えば１／３０秒）よりも長い動画像となっている。

インターバルモード記録が指示されると、１フレーム／秒や１フレーム／分などの、通常モードのそれよりも遅いフレームレートで入力画像が符号化装置１００に入力する。モード通知部１１５は、現在の記録モードが通常記録モードかインターバルモードかを動き検出部１１１のサーチウインドウ決定部２２０に通知する。サーチウインドウ決定部２２０は、モード通知部１１５から通知される現在の記録モードに応じて、サーチウインドウの場所を切り換える。

図５は、サーチウインドウ決定部２２０の処理を示すフローチャートである。Ｓ５０１で、サーチウインドウ決定部２２０は、モード通知部１１５から現在の記録モードを示す情報を受け取る。Ｓ５０２でサーチウインドウ決定部２２０は通知された記録モードを判定し、インターバルモードの場合、Ｓ５０３に分岐し、通常記録モードの場合、Ｓ５０４に分岐する。

Ｓ５０３で、サーチウインドウ決定部２２０は、参照画像におけるサーチウインドウの中心を、符号化対象のＭＢと画面上で同位置とし、その周辺をサーチウインドウとして選択する。他方、Ｓ５０４で、サーチウインドウ決定部２２０は、直前の同タイプのスライスの同位置のＭＢの動きベクトルだけ当該ＭＢからずらした位置をサーチウインドウの中心とし、その周辺をサーチウインドウとして選択する。このように、本実施例の符号化装置では、所定時間のフレーム間隔からなる動画像である場合と、所定時間よりも長いフレーム間隔からなる動画像である場合とで、動きベクトルを検出するための探索領域の決定方法を異ならせる。

Ｓ５０５で、サーチウインドウ決定部２２０は、選択したサーチウインドウを差分絶対値和演算部２２２及びベクトル選択部２２４に通知する。

図６（Ａ）は、インターバルモード時の、従来のサーチウインドウ設定の一例と、発生符号量の関係を示す。６０１は、符号化対象として注目しているＭＢを示す。６０２は、インターバルモード時の、従来のサーチウインドウを示す。６０３は、従来法で計算される動きベクトルを示す。６０４は、従来例でのベクトル発生符号量を示す。６０５は、従来例でのＣｏｅｆｆ符号量を示す。

インターバルモードでは、注目ＭＢを含むフレームと参照ＭＢを含む参照フレームとの間の期間又は時間が長く、注目ＭＢと同様の画素が画面上に存在しない可能性が高い。このような場合、ＭＢ毎に誤った動きベクトルが発生し、隣接ＭＢ毎の動きベクトルが散乱するため、ベクトル長が多く発生してしまう。これにより、所定の記録レートで符号化を行う場合、ベクトル長が多く発生するほどＣｏｅｆｆ符号量に情報量を割り当てることが出来なくなってしまう。これらの結果、Ｃｏｅｆｆ符号量を減らすために荒い量子化を必要とし、結果として画質が劣化してしまう。

図６（Ｂ）は、インターバルモード時の、本実施例におけるサーチウインドウの設定の一例と発生符号量の関係を示す。６１１は、符号化対象として注目しているＭＢを示す。６１２は、インターバルモード時の、本実施例におけるサーチウインドウを示す。６１３は、本実施例における動きベクトルを示す。６１４は、本実施例におけるベクトル発生符号量を示す。６１５は、本実施例におけるＣｏｅｆｆ符号量を示す。

図６（Ａ）と図６（Ｂ）を対比することで明らかなように、本実施例における動きベクトル検出では、ベクトル発生符号量が少なく抑えられ、従来と比較してＣｏｅｆｆ符号量に多くの情報量を割り当てることができる。

インターバルモード時の記録は、入力画像のフレーム間隔が通常モードのそれよりも長いので、符号化対象ＭＢと同様の画素が参照画像内に存在しない可能性があり、動き予測を誤る可能性が高い。本実施例では、インターバルモード時にはサーチウインドウの中心を符号化対象ＭＢの中心に設定するので、動き予測を誤る可能性が低い。この結果、ベクトル符号長を低減でき、その分ｃｏｅｆｆ符号量に多く確保できるので、画質の劣化を抑えることができる。

イントラ／インター判定部１１０のイントラ／インター判定に重み付けを施すことで、インターバルモードの高画質化を図ることができる。図７は、重み付きのイントラ／インター判定のフローチャートを示す。

Ｓ７０１で、イントラ／インター判定部１１０は、イントラ予測モード決定時に算出した差分絶対値和と、動き検出時に算出した差分絶対値和のそれぞれに重みを付ける。例えば、イントラ予測モード決定時に算出した差分絶対値和であるイントラコストに重み係数αを乗算し、動き検出時に算出した差分絶対値和であるインターコストに重み係数βを乗算する。α，βは定数である。

Ｓ７０２では、イントラ／インター判定部１１０は、α×イントラコスト（イントラ予測モード決定時の差分絶対値和）と、β×インターコスト（動き検出時の差分絶対値和）の大小を比較する。

α×イントラコスト＞β×インターコストの場合（Ｓ７０２）、イントラ／インター判定部１１０は、インター予測を採用して動き補償を行い（Ｓ７０３）、そうでない場合、イントラ予測を採用してイントラ予測処理を行う（Ｓ７０４）。

イントラ／インター判定部１１０は、モード通知部１１５からインターバルモードを通知されると、上記重み係数α，βをα＞βの関係となるように制御する。通常記録モードでは、重み係数α，βはα＝βである。

このような重み付けを加えることで、インターバルモード時には従来と比較してイントラ予測が選択されやすくなり、通常記録モードでは、従来どおりに、イントラ予測とインター予測が判定される。

図８は、動き検出部１１１の別の構成を示す概略構成ブロック図である。図８に示す構成では、イントラ予測モード決定時及び動き検出時に算出した差分絶対値和のみならず、ベクトル符号長を用いる。これにより、インターバルモード時にベクトル長を抑制でき、その結果として高画質化を図ることができる。

サーチウインドウ決定部８０２及び差分絶対値和演算部８０４は、それぞれ、図３に示すサーチウインドウ決定部２２０及び差分絶対値和演算部２２２と同じ機能を果たす。

ベクトル値符号化部８０６は、サーチウインドウ内のＭＢ毎にベクトルを算出し、その符号長を出力する。

ベクトルコスト演算部８０８は、以下の式、
ベクトルコスト＝Ｓ×差分絶対値和＋Ｔ×ベクトル符号量
を用いて、ベクトルコストを算出する。ただし、Ｓ，Ｔは定数である。通常記録モードでのＴは、インターバルモードでのＴよりその値が小さい。

ベクトル選択部８１０は、ベクトルコスト演算部８０８で求めたベクトルコストが最小となるものを動きベクトルとして選択する。

以上の処理では、インターバルモードのベクトルコストは、通常記録のベクトルコストと比べて、ベクトル符号量が多いほど多くなる。すなわち、インターバルモードでは、ベクトル符号量が少ないほうが選ばれやすくなる。この結果、インターバルモードでは、ベクトル符号長が発生しにくくなり、Ｃｏｅｆｆ符号に多くの情報量を割り当てることができる。

このようにインターバルモードにおけるベクトル決定に差分絶対値和とベクトル符号量を併用することで、良好な画質で画像を圧縮符号化できる。

Claims

入力画像と予測画像との差分を算出する減算手段と、
前記減算手段による差分画像を符号化する、量子化を含む符号化手段と、
前記符号化手段の出力を復号化する復号化手段と、
前記復号化手段により復号化された復号化画像から前記予測画像を生成する予測画像生成手段であって、前記復号化画像から画面内符号化の予測モードを決定する予測モード決定手段と、前記復号化画像から画面間符号化の動きベクトルを検出する動き検出手段と、前記予測モード決定手段の決定演算及び前記動き検出手段の検出演算に従い画面内予測か画面間予測かを判定し、前記画面内予測の場合に前記予測モード決定手段で決定された予測モードに従い前記予測画像を生成し、前記画面間予測の場合に前記動き検出手段で検出された動きベクトルに従い前記復号化画像を動き補償して前記予測画像を生成する判定手段とを有する予測画像生成手段とを具備し、
前記動き検出手段は、前記入力画像が、所定時間のフレーム間隔からなる動画像である場合と、前記所定時間よりも長いフレーム間隔からなる動画像である場合とで、動きベクトルを検出するための探索領域の決定方法を異ならせる
ことを特徴とする符号化装置。
前記動き検出手段は、前記所定時間よりも長いフレーム間隔からなる動画像である場合には、前記探索領域を符号化対象ブロックの中心に決定することを特徴とする請求項１に記載の符号化装置。
前記判定手段は、前記所定時間よりも長いフレーム間隔からなる動画像である場合には、前記予測モード決定手段の決定演算で得られる誤差に、前記動き検出手段の検出演算で得られる誤差よりも大きな重みを与え、重み付きの両誤差を比較することを特徴とする請求項１又は２に記載の符号化装置。