JP2013005437A - デジタル映像データを符号化するための方法およびデジタル映像符号化システム - Google Patents

Abstract

【課題】オリジナル入力映像フレームのシーケンスに対応するデジタル映像データの符号化方法および符号化システムを提供する。
【解決手段】符号化方法としては、第１のオリジナル入力映像フレームをインターフレームに符号化する工程と、前記インターフレームを復号して参照フレームに再構成する工程と、第２のオリジナル入力映像フレームおよび前記参照フレームの両方からの情報を含むイントラ入力フレームを作成する工程と、前記イントラ入力フレームをイントラフレームに符号化する工程とを含む。デジタル映像符号化システムとしては、イントラモードおよびインターモードを使用してオリジナル入力映像フレームのシーケンスを符号化することにより、オリジナル入力映像フレームのシーケンスに対応するデジタル映像データを符号化する。
【選択図】図２

Description

本発明は、イントラモードおよびインターモードを使用してオリジナル入力映像フレームのシーケンスを符号化することにより、オリジナル入力映像フレームのシーケンスに対応するデジタル映像データを符号化するための方法およびデジタル映像符号化システムに関する。

現代のデジタル映像符号化システムでは、映像信号を圧縮するためにイントラモードおよびインターモードの２つの主なモードが使用される。イントラモードでは、変換符号化によって、単一画像の所定のチャネル内のピクセルの空間的冗長性を利用することにより、輝度チャネルおよび色度チャネルが符号化される。インターモードは、別々のフレーム間での時間的冗長性を利用して、１つのフレームから他のフレームまでピクセルの動きを符号化することにより、前に復号された１つまたは複数のフレームからフレームを予測する動き補償技術に依存している。インターモードにおいて、輝度チャネルおよび色度チャネルは同じ運動記述を共有している。

通常、符号化されるフレームは、個別に圧縮され符号化される独立したブロック（マクロブロックまたはピクセルブロック）に分割される。インターモードでは、それぞれのブロックに、１つまたは複数の運動ベクトルが割り当てられ、フレームの予測は、運動ベクトルのセットに従ってピクセルブロックを過去および／または未来のフレームから移動させることにより構成される。最終的に、符号化されるフレームとフレームの動き補償された予測の間の残差信号と呼ばれる差異が、変換符号化によりイントラモードと同様の方法で符号化される。

ＭＰＥＧ用語におけるイントラモードはＩフレームに相当し、インターモードはＰおよびＢフレームに相当する。インターモードの符号化効率は、イントラモードの符号化効率よりはるかに高いが、これは時間予測を利用するためである。すなわち信号の多くは動き補償により形成される予測に含まれ、残留信号が有するエネルギーはオリジナル信号より小さい。それらの符号化がそれ自体の空間的冗長性のみに依存するので、イントラフレームは、インターフレームの場合とは異なり、他のいかなる画像からも独立して復号でき、それゆえビットストリーム内に一定間隔で挿入される。イントラフレームは、時間的冗長性を利用できないシーンチェンジに対応する新しいフレームグループの最初に置かれるシーンチェンジフレームか、またはいくらかの時間的冗長性を利用できる他の位置に置かれるリフレッシュフレームとすることができる。

イントラおよびインターフレームは、基本となる符号化方法が違うので、異なる符号化アーティファクトを呈する。同質の映像シーケンス全体にわたって、結果として生じるインターフレームの品質およびアーティファクトは、安定する傾向がある。しかしながら、イントラリフレッシュフレームが符号化される場合、インター符号化に起因する先行するすべてのアーティファクトが消去され、イントラ符号化に起因する新しいアーティファクトが突然導入される。したがって映像画質は、イントラリフレッシュフレームにおいて乱れ、結果として、ここでフラッシング効果、文献ではまたフリッカおよびポンピング効果と称するものが生じる。フラッシング効果は、特に低い動作シーケンスおよび中程度または低いビットレートで目立ち、符号化アーティファクトが非常に顕著になる。

このフラッシング効果を減少させるための様々な方法およびデバイスが存在する。いくつかの例が、米国特許出願の第２００７／０２３０５７４号、第２００７／００８１５９１号および第２００８／００２５３９７号に開示されている。

従来の方法には、圧縮過程という余分な演算を必要とする欠点がある。本発明は、余分な圧縮過程を伴わずに、フラッシング効果を減少させるための、代替方法およびデバイスに関する。

上述を鑑み、本発明の目的は、上記の欠点のうちの少なくとも１つもしくはいくつかを解消又は緩和することである。全般的に、上記の目的は、本出願の独立請求項によって実現される。

特に、本発明の第１の態様によると、オリジナル入力映像フレームのシーケンスに対応するデジタル映像データを符号化する方法が提示される。本方法は、第１のオリジナル入力映像フレームをインターフレームに符号化する工程と、前記インターフレームを復号して参照フレームに再構成する工程と、第２のオリジナル入力映像フレームと前記参照フレームの両方からの情報を含むイントラ入力フレームを作成する工程と、前記イントラ入力フレームをイントラフレームに符号化する工程とを含む。

本方法は、余分な圧縮過程を追加することなく、容易に前記フラッシング効果を減少するという点で効果がある。この効果の１つの根拠は、先に符号化されたインターフレームとオリジナルの入力フレームの両方からの情報が、イントラフレーム内に符号化される入力フレームを作成するために使用されるため、先に符号化されたインターフレーム内に存在するいずれかの符号化アーティファクトが、新しく符号化されたイントラフレーム内に少なくとも部分的に存在し、それゆえ前記フラッシング効果が低減されることである。さらに、本方法は、ＩＳＯ／ＭＰＥＧファミリ（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４）の映像符号化標準およびＩＴＵ−Ｈ．２６Ｘファミリ（Ｈ．２６１、Ｈ．２６３および拡張版Ｈ．２６４）の勧告を改変、変更しない。

本方法はさらに、前記第２のオリジナル入力フレームをサブエリアに分割する工程と、前記第２のオリジナル入力フレームの各サブエリアに対して、前記第２のオリジナル入力映像フレームのサブエリア内の動きのレベルを判定する工程とを含んでもよい。

前記第２のオリジナル入力フレームのサブエリアに対応する前記イントラ入力フレームのサブエリアの作成に使用される、前記第２のオリジナル入力フレームからの情報と、前記参照フレームからの情報との比率は、前記第２のオリジナル入力フレームの対応するサブエリア内で識別される動きのレベルに依存させることができる。このようにすることにより、高レベルの動きのイントラ入力フレームのエリアに関する情報がオリジナル入力フレームから取り出され、低レベルの動きのイントラ入力フレームエリアの情報が参照フレームから取り出される。

前記イントラ入力フレームの第１のサブエリアは、前記第２のオリジナル入力映像フレームからの情報だけを使用して作成することができる。

前記イントラ入力フレームの第２のサブエリアは、前記参照フレームからの情報だけを使用して作成することができる。

前記イントラ入力フレームの第３のサブエリアは、前記第２のオリジナル入力映像フレームと前記参照フレームの両方からの情報を使用して作成することができる。

本方法はさらに、主として前記第２のオリジナル入力映像フレームからの第１の量子化値の情報に基づいて、前記イントラ入力フレームのエリアを符号化する工程と、主として前記参照フレームからの、前記第１の量子化値とは異なる第２の量子化値の情報に基づいて、前記イントラ入力フレームのエリアを符号化する工程とを含んでもよい。したがって高レベルの動きのエリアは、低レベルの動きのエリアまたは動きのないエリアより高い画質を使用して符号化される。

前記インターフレームはＰフレームまたはＢフレームであってよく、前記イントラフレームはＩフレームであってよい。

本発明の別の態様によれば、処理能力を有するデバイス上で実行されると上記方法を実行するプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。

本発明のさらに別の態様によれば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行するデジタルネットワークカメラが提供される。

本発明のさらに別の態様によれば、イントラモードおよびインターモードを使用してオリジナル入力映像フレームのシーケンスを符号化することにより、オリジナル入力映像フレームのシーケンスに対応するデジタル映像データを符号化するためのデジタル映像符号化システムが提供される。デジタル映像符号化システムは、入力フレームをイントラフレームまたはインターフレームに加工するエンコーダモジュールと、エンコーダで符号化されたイントラフレームまたはインターフレームを復号するデコーダモジュールと、符号化されたフレームを参照フレームに再構成するために、デコーダモジュールからの情報を使用する動き補償モジュールと、オリジナル入力映像フレームからの情報と共に、先に符号化され再構成された参照フレームからの情報を使用してイントラ入力フレームを作成するイントラ入力フレーム構成モジュールとを備え、イントラフレームを符号化する際、エンコーダモジュールは、イントラ入力フレーム構成モジュールを用いて構成されるイントラ入力フレームを使用する。

デジタル映像符号化システムは、さらに、前記オリジナル入力映像フレームのサブエリア内の動きのレベルを検出する動き検出モジュールを備え、前記イントラ入力フレーム構成モジュールは、動き検出モジュールを用いて前記オリジナル入力フレームの対応するサブエリア内で識別される動きのレベルに基づき、前記オリジナル入力フレームのサブエリアに対応する前記イントラ入力フレームのサブエリアを作成するために使用される、前記オリジナル入力フレームからの情報と前記参照フレームからの情報との比率を判定する。

デジタル映像符号化システムが監視カメラ内部に実装されてもよい。

本発明の上記態様および他の態様を、本発明の実施形態を示す添付の図面を参照して以下にさらに詳細に説明する。添付図面は、本発明を特定の実施形態に限定するものではなく、本発明の説明および理解のために使用される。全図を通して同じ参照番号は同じ要素を表す。
先行技術によるデジタル映像符号化システムの高レベルなブロック図である。 本発明によるデジタル映像符号化システムの一実施形態の高レベルなブロック図である。 デジタル映像データを符号化する方法の実施形態に関するブロック図である。

本発明は、デジタル映像符号化システムと、フレームのオリジナルシーケンスに対応するデジタル映像データを符号化するための方法に関する。

後述では、説明のために、本発明の十分な理解を提供するために用語を定義する。しかしながら、これらの具体的な詳細を必要とせずに本発明を実施できることは、当業者には明らかであろう。例えば、本発明は、ＩＳＯ／ＭＰＥＧファミリ（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４）の映像符号化標準およびＩＴＵ−Ｈ．２６Ｘファミリ（Ｈ．２６１、Ｈ．２６３および拡張版Ｈ．２６４）の映像推奨を参照して記述されている。しかしながら、同じ技術を他のタイプの映像符号化標準に容易に適用できる。

現代のデジタル映像符号化システムでは、映像フレームの映像ストリームの映像フレームを圧縮するために、イントラモードおよびインターモードの２つの主なモードが使用される。イントラモードでは、変換符号化によって、単一フレームの所定のチャネル内のピクセルの空間的冗長性を利用することにより、輝度チャネルおよび色度チャネルが符号化される。インターモードは、別々のフレーム間での時間的冗長性を利用して、１つのフレームから他のフレームまでピクセルの動きを符号化することにより、前に復号された１つまたは複数のフレームから１つのフレームを予測する動き補償技術に依存している。インターモードでは、輝度チャネルおよび色度チャネルは同じ運動記述を共有する。

通常、符号化されるフレームは、個別に圧縮され符号化される独立したブロック（マクロブロックまたはピクセルブロック）に分割される。インターモードでは、それぞれのブロックに、１つまたは複数の運動ベクトルが割り当てられる。フレームの予測は、運動ベクトルのセットに従ってピクセルブロックを過去および／または未来のフレームから移動することにより構成される。最終的に、符号化されるフレームとフレームの動き補償された予測との間の残留信号と呼ばれる差異は、変換符号化によりイントラモードと同様の方法で符号化される。

イントラモードに従って符号化される映像フレームは、Ｉフレームと呼ばれ、過去フレームまたは未来フレームを一切参照しない。インターモードに従って符号化される映像フレームは、それ自体が、イントラフレームまたはインターフレームである過去または未来のフレームを参照して符号化されるＰフレームと呼ばれる一方向に予測されるフレームであるか、または複数の過去または未来の参照フレームを参照して符号化されるＢフレームと呼ばれる両方向に予測されるフレームである。

イントラフレームは、時間的冗長性を利用できないシーンチェンジに対応する新しいフレームグループの最初に置かれるシーンチェンジフレームか、またはいくらかの時間的冗長性を利用できる他の位置に置かれるリフレッシュフレームを含む。

図１は、当該技術分野で周知の一般的なデジタル映像符号化装置１００の高レベルなブロック図を示す。デジタル映像符号化装置１００は、映像フレームの入力映像ストリームを受け取る。それぞれの映像フレームは、離散コサイン変換（ＤＣＴ）モジュール１１２によって処理される。上述のように、それぞれのフレームは独立して（イントラフレーム）、または動き推定モジュール１４０（インターフレーム）から受け取った他のフレームからの情報を参照して処理されてもよい。次に量子化（Ｑｕ）モジュール１１４が、離散コサイン変換モジュール１１２からの情報を量子化する。離散コサイン変換モジュール１１２および量子化モジュール１１４は、エンコーダモジュール１１０を構成する。最終的に、量子化された映像フレームは、次にエントロピエンコーダ（Ｅ）モジュール１５０で符号化されて、符号化ビットストリームを生成する。エントロピエンコーダ（Ｅ）モジュール１５０は、例えば可変長符号化（ＶＬＣ）システムまたは算術符号化（ＣＡＢＡＣ）を使用してもよい。

インターフレーム符号化映像フレームは、近接する他の映像フレームを参照して定義されるため、デジタル映像エンコーダ１００は、インターフレームが正確に符号化されるように、デジタル映像デコーダの復号化プロセスの後で復号された各フレームが不可避の符号化アーティファクトと共にどのように現れるかのコピーを生成する必要がある。このように、デジタル映像エンコーダ１００の下部部分は、事実上デジタル映像デコーダモジュール１２０である。具体的には、逆量子化（Ｑｕ^−１）モジュール１２２は、映像フレーム情報を逆量子化し、逆離散コサイン変換（ＤＣＴ^−１）モジュール１２４は、映像フレーム情報を逆離散コサイン変換する。ＤＣＴ係数がＤＣＴ^−１モジュール１２４から再構成された後、動き補償モジュール１３０は、運動ベクトルと共に情報を使用し、その後に次のフレームの動き推定のために参照フレームとして使用される符号化されたフレームを再構成する。

復号された映像フレームは、次いで、復号された映像フレーム内の情報に関連して定義されるインターフレーム（ＰフレームまたはＢフレーム）を符号化するために使用できる。具体的には、動き補償（ＭＣ）モジュール１３０および動き推定（ＭＥ）モジュール１４０が使用され、運動ベクトルを判定し、インターフレームを符号化するために使用される微分値を生成する。動き推定（ＭＥ）モジュール１４０は、一般的には、必要な微分値を生成する際に使用される、最後に復号された画像のコピーを格納するためのメモリ手段を含む。

イントラの符号化されたマクロブロックを予測するＨ．２６４（ＭＰＥＧ−４パート１０）手法が容易に使用できる。ブロックまたはマクロブロックがイントラモードで符号化される場合、予測ブロックは、同じ画像内で先に符号化されて再構成されたブロックに基づいて形成される。この予測ブロックは、符号化以前の現在のブロックから減算される。したがって、それらの隣接するブロックからのピクセル値（輝度および色度）を予測することにより符号化されるデータ量を低減するので、イントラ予測モジュールはＨ．２６４コーデックの主要部分になる。図１において、イントラ予測方法は、イントラ予測（ＩＰ）モジュール１０５を用いて実行される。

イントラおよびインターフレームは、基本となる符号化方法が違うので、異なる符号化アーティファクトを示す。同質の映像シーケンス全体にわたって、後続のインターフレームの品質およびアーティファクトは安定する傾向がある。しかしながら、イントラリフレッシュフレームが符号化される場合、インター符号化に起因する先行するすべてのアーティファクトが消去され、イントラ符号化に起因する新しいアーティファクトが突然導入される。したがって映像画質は、イントラリフレッシュフレームにおいて乱れ、結果として、本明細書においてフラッシング効果と呼び、文献ではフリッカおよびポンピング効果とも呼ばれるものが生じる。フラッシング効果は、特に低い動作シーケンスおよび中程度または低いビットレートで目立ち、符号化アーティファクトが非常に顕著になる。

したがって解決すべき問題は、イントラおよびインターフレームを符号化する際に、異なる符号化アーティファクトに起因するフラッシング効果を低減することである。フラッシング効果を低減するための様々な方法およびデバイスが存在する。いくつかの例が、米国特許出願第２００７／０２３０５７４号、米国特許出願第２００７／００８１５９１号および米国特許出願第２００８／００２５３９７号に開示されている。本発明は、フラッシング効果を減少させるための代替方法およびデバイスに関する。要約すると、本発明は以下に基づくものである。
・映像フレームのシーケンス内の第１のイントラフレーム（ここでは前のインターフレームが利用できない）は通常の方法に従って符号化される（上記参照）。第１のイントラフレームではフラッシング効果は見られない。
・リフレッシュフレームとして導入された次に来るイントラフレームが、以下に従って符号化される。
−動きを含む現在のオリジナル入力フレームのサブエリアが識別される。非限定的な例として、例えば、これは現在の入力フレームと、１つまたは複数の前（または予想される未来）のオリジナル入力フレームとの比較によりなされる。あるいは、さらに非限定的な例として、これは現在のオリジナル入力フレームと、シーンの現在の状態の背景モデルとの比較によりなされる。
−動きを含む各サブエリアについて、動きのレベルが判定される。
−イントラ入力フレームと呼ばれる新しい入力フレームが作成されて、オリジナル入力フレームを置き換える。イントラ入力フレームのデータ内容は、現在のオリジナル入力フレームからのデータおよび参照フレームからのデータ（先に符号化されたフレームから再構成される）の混合物であり、通常は最後の参照フレームからのデータが使用される。高レベルの動きのサブエリアのイントラ入力フレームデータは、主としてオリジナル入力フレームから取り出されるが、動きのないサブエリアまたは低レベルの動きのサブエリアのデータは、主として参照フレームから取り出される。オリジナル入力フレームから取り出される情報と、特定のサブエリア内の参照フレームから取り出される情報との比率は、特定のサブエリアの判定された動きのレベルに基づく。
−オリジナル入力フレームと参照フレームの両方からの情報／データを含むイントラ入力フレームは、イントラフレームに符号化される。
−任意で、イントラ入力フレームは、動きのないエリアまたは低レベルの動きのエリアと比較して高レベルの動きのエリアについて、異なる画質で符号化される。
−オプションのあらゆるインループデブロッキングフィルタ（Ｈ．２６４が使用される場合に存在しうる）を、この特定のイントラフレームでは無効にしてもよい。

図２は、本発明によるデジタル映像符号化システム２００の実施形態の高レベルなブロック図を示す。デジタル映像符号化システム２００は、オリジナル入力映像フレームのシーケンスに対応するデジタル映像データを符号化するように構成されている。より正確には、デジタル映像符号化システム２００は、イントラおよびインターモードを使用してオリジナル入力映像フレームのシーケンスを符号化するように構成されている。

デジタル映像符号化システム２００は、イントラ予測（ＩＰ）モジュール１０５、エンコーダモジュール１１０、デコーダモジュール１２０、動き補償モジュール１３０、動き推定（ＭＥ）モジュール１４０およびエントロピエンコーダ（Ｅ）モジュール１５０を備え、これらのすべてのモジュールは、図１で示すように、先行技術による符号化システムにも存在する。さらに、イントラ入力フレーム構成（ＩＩＦＣ）モジュール１６０および動き検出（ＭＤ）モジュール１７０が、ここで符号化システムの入力に追加される。よってイントラ入力フレーム構成（ＩＩＦＣ）モジュール１６０および動き検出（ＭＤ）モジュール１７０は、本発明によるデジタル映像符号化システム２００のプリコーディングプロセス段階を形成する。

本発明の実施形態によれば、デジタル映像符号化システム２００は、監視カメラ内部に実装される。

イントラ予測（ＩＰ）モジュール１０５は、イントラモードにおいて、それらの隣接ブロックからピクセル値（輝度および色度）を予測することにより符号化されるデータ量を低減する。

エンコーダモジュール１１０は、離散コサイン変換（ＤＣＴ）モジュール１１２および量子化（Ｑｕ）モジュール１１４を備える。ＤＣＴモジュール１１２は、離散コサイン変換を使用して、入力データをイントラ入力フレームまたはインター入力フレームの形態に変換する。量子化モジュール１１４は、ＤＣＴモジュール１１２からの情報を量子化する。デジタル映像符号化システム２００がイントラモードである場合、エンコーダモジュール１１０がイントラ入力フレームをイントラフレームに加工する。デジタル映像符号化システム２００がインターモードである場合は、エンコーダモジュール１１０がインター入力フレームをインターフレームに加工する。

エントロピエンコーダモジュール１５０が、エンコーダモジュール１１０から出力された量子化済み映像フレームを符号化することにより、符号化されたビットストリームを生成する。エントロピエンコーダ（Ｅ）モジュール１５０は、例えば可変長符号化（ＶＬＣ）システムまたは算術符号化（ＣＡＢＡＣ）を使用してもよい。

上述のように、インターフレームの符号化された映像フレームが、他の近傍の映像フレームを参照して定義されるので、デジタル映像エンコーダ２００は、インターフレームが正確に符号化されるように、復号された各フレームが不可避の符号化アーティファクトと共にデジタル映像デコーダの復号化プロセスの後でどのように現れるかをコピーする必要がある。結果的に、デコーダモジュール１２０は、エンコーダモジュール１１０により符号化されたイントラフレームまたはインターフレームを復号する。デコーダモジュール１２０は、逆量子化（Ｑｕ^−１）モジュール１２２および逆離散コサイン変換（ＤＣＴ^−１）モジュール１２４を備える。量子化（Ｑｕ^−１）モジュール１２２が、エンコーダモジュール１１０からの映像フレーム情報を逆量子化する。逆離散コサイン変換（ＤＣＴ^−１）モジュール１２４が、エンコーダモジュール１１０からの映像フレーム情報を逆離散コサイン変換する。

動き補償モジュール１３０は、符号化されたフレームを参照フレームに再構成するために、デコーダモジュール１２０からの情報を使用する。すなわち、結論としてＤＣＴ係数は、ＤＣＴ^−１モジュール１２４から再構成され、動き補償モジュール１３０は、符号化されたフレームを再構成するために運動ベクトルと共に先の情報を使用する。インターモードでは、再構成されたフレームが、次のフレームの動き推定のための参照フレームとして使用される。

動き推定（ＭＥ）モジュール１４０は、インターフレームの符号化に使用される運動ベクトルを判定し、微分値を生成するために使用される。

これまでのところ、本発明によるデジタル映像符号化システム２００は、例えば図１に示すような従来のデジタル映像符号化システムに類似している。

本発明によるデジタル映像符号化システム２００の新しい特徴は、イントラ入力フレーム構成モジュール１６０および動き検出モジュール１７０である。

動き検出モジュール１７０が、オリジナル入力映像フレームのサブエリア内の動きのレベルを検出する。動き検出モジュール１７０およびその機能について、後述でさらに詳細に説明する。

イントラ入力フレーム構成（ＩＩＦＣ）モジュール１６０が、オリジナル入力映像フレームからの情報と、符号化されて再構成された参照フレームからの情報とを使用して、イントラ入力フレームを作成する。イントラモードの場合、デジタル映像符号化システム２００は、イントラ入力フレームを使用してイントラフレームを符号化する。さらに、イントラ入力フレーム構成モジュール１６０は、前記オリジナル入力フレームのサブエリアに対応する前記イントラ入力フレームのサブエリアを作成するために使用される、前記オリジナル入力フレームからの情報と前記参照フレームからの情報との比率を判定する。この判定は、動き検出モジュール１７０を用いて、前記オリジナル入力フレームの対応するサブエリア内で識別された動きのレベルに基づく。映像フレームのシーケンス内の動きを検出するための多数の方法／アルゴリズムが存在する。以下に、いくつかの非限定的な実施例を説明する。

動き検出のための単純なアルゴリズムは、現在のオリジナル入力フレーム（または現在のオリジナル入力フレームのサブエリア）と、別のオリジナル入力フレーム（または別のオリジナル入力フレームのサブエリア）とを比較し、異なるピクセル数を単純に集計する。あるいは、アルゴリズムは、現在のオリジナル入力フレーム（または現在のオリジナル入力フレームのサブエリア）と、シーンの現在の状態の背景モデル（またはシーンの現在の状態の背景モデルのサブエリア）とを比較してもよい。各サブエリア内の動きのレベルは、次いで異なっているピクセルの数に関連づけられてもよい。

動きの検出のため、およびカメラが捉えたシーンの現在の状態の背景モデルを更新するための、より複雑なアルゴリズムについて後述する。

本プロセスについての理解を容易にするために、反復背景モデル更新プロセスの１つの反復を記述する。したがって、本プロセスは、最初の反復後しばらくして実行される１つの反復に関する。主として初期値の設定に関して最初の反復との間にいくらかの差異があったとしても、当業者であれば、以下の記述から容易に最初の反復を実行できるであろう。さらに、背景モデルの更新は、新しいフレーム／画像が取り込まれるたびに、または一定間隔ごとに実行されてもよい。したがって、下記のプロセスは、新しいフレーム／画像を取り込んだ後の状況を説明しており、背景モデル更新プロセスの反復が実行されると、フレーム／画像取り込みプロセスに戻る。フレーム／画像取り込みプロセスは、当業者に周知であるため、本明細書には記述しない。

一定時間の経過または背景モデルの反復時に、時間に関する新しいフレーム／画像データが取り込まれる。このとき、カメラのメモリは以下を記憶する。
−新しく取り込まれたフレーム／画像データ。
−直前の反復で生成された背景モデルのデータ。
−直前の反復で識別された各オブジェクトを表現するデータ。オブジェクトを表現するこのデータは、運動ベクトル、オブジェクトを表現する画像および画像を囲むバウンディングボックスを含む。
−直前の反復で識別された予想されるオブジェクトピクセルを描く前景画像を表現するデータ。

背景モデル更新プロセスは、このデータにアクセスできる。

次に背景モデルの更新が始まり、動きマップが作成される。動きマップは、取り込まれた現在のフレーム／画像データから作成され、動いているフレーム／画像のピクセルを示す。

識別された各オブジェクトの画像ビュー内の新しい位置が、次に、各オブジェクトの速度ベクトル、及び現在のフレーム／画像データの取り込みと直前のフレーム／画像データの取り込みとの間の時間差異を使用して予測される。

次に、動きマップは、例えば各オブジェクトのバウンディングボックスおよび画像を観察することにより、既存のオブジェクトに一致するフラグメントに分割される。この一致は、マッチングスコアを計算することにより実行される。マッチングスコアは、オブジェクトバウンディングボックスにより定義される各エリアとセグメントとの間、および／または各オブジェクト画像とセグメントとの間の、重複及び距離の比較によって計算される。次に、一致結果に基づいて、オブジェクトは分解され、オブジェクトの伝播、統合、分割、削除または作成にコンパイルされる。

セグメント化の後、オブジェクトは、動きマップに基いて一致したフラグメントを包含するように更新される。続いて、本プロセスでは、オブジェクトのバウンディングボックスに囲まれないエリア内の背景モデルを更新する。背景モデルのこれらのエリアの更新は、背景モデルからの現在値および新値に基づいて、対応するピクセルの置き換えること、または現在のピクセルを調整することにより実行される。

次に、前景画像を表現するデータが直前の反復から消去され、バックグラウンドモデルと取り込まれたフレーム／画像とを比較することにより、オブジェクトを含む領域の新値が計算される。新しい前景画像および動きマップに基づいて、オブジェクトはさらに、新しい運動ベクトル、オブジェクトを表現する新画像およびオブジェクトの新画像を囲む新しいバウンディングボックスで更新される。

オブジェクトが更新されると、各バウンディングボックス内のピクセルを更新することにより、背景モデルが微調整される。更新されるピクセルは、識別されたオブジェクトの一部ではないバウンディングボックス内のピクセルであり、更新は、現在値および新値に基づいて、現在のピクセルを調整すること、または対応するピクセルを置き換えることにより、背景モデルの対応するピクセル値を判定することにより実施される。背景モデルはこのように更新され、プロセスは前記フレーム／画像取り込みプロセスに戻る。

この場合の動きを判定するために、新画像と旧画像との差異が計算される。この場合、背景モデルが旧画像として使用される。

米国特許出願第２０１０／００８０４７７号に、映像の動き検出のためのさらに別の方法が記載されている。この方法によれば、映像シーケンスの一連の画像は、頂点Ｘ、Ｙおよびｔを有する画像ボリュームに結合される。画像ボリュームは、空間的かつ時間的フィルタおよび情報量を低減するためのしきい値でフィルタリングされた、（Ｘ、ｔ）または（Ｙ、ｔ）平面にスライスされる。次に、検索アルゴリズムが、映像シーケンスのサブセット内のサーチラインに沿ってサーチし、動きの位置を特定する。いかなる頂点にも対応しないラインを識別することにより、動きが検出できる。静止した対象物および照明の変化が、頂点の１つに対応するラインとして現れる。したがって、実際の動きは、照明の変化と区別できる。この場合、移動していると検出されたピクセルの数を、動きを判定するために用いることができる。

イントラリフレッシュフレームのフリッカを減らすために使用できる動きのレベルに関する値は、全画像について計算されてもよいが、通常は、画像を分割した各サブエリアの局所値である。

１例として、例えばわずか９ピクセルの小さな画像の各サブエリアについて動きがチェックされ、各ピクセルについて、動きがある場合は１が、動きがない場合は０が記録される。これらの値が、「サブエリアの動きの和」を出すために加算される。これにより、サブエリア内の「最大の動き」は９（すべてのピクセルに動きがある場合）、「最小の動き」は０となる。さらに「サブエリアの動きのレベル」は、「サブエリアの動きの和」／「最大の動き」で計算される。

サブエリアに基づく単一ピクセルの使用に代えて、ピクセルのブロック内の動き値の平均を使用して、動きのレベルを低減できる。

これらのサブエリア、それらの動き値および動きのレベルを生成する他のいくつかの方法が想定できる。

さらに、隣接サブエリアに基づき「サブエリアの動きのレベル」間で計算された補間に基づいて、「サブエリアの動きのレベル」が最適化されてもよい。この補間は、線形でも非線形でもよく、より鋭いオブジェクト境界を与えることを意図してもよい。

各サブエリアの動きのレベルが判定されたら、オリジナル入力フレームからのデータ／情報および参照フレームからのデータ／情報の比率が決定できる。この比率を使用して、イントラ入力フレームの対応するサブエリアが作成できる。例えば、動きのレベルが第１のしきい値より高い場合、オリジナルの入力映像フレームからのデータ／情報だけが、イントラ入力フレームの対応するサブエリアを作成するために使用され、動きのレベルが第２のしきい値より低い場合、参照フレームからのデータ／情報だけが、イントラ入力フレームの対応するサブエリアを作成するために使用され、さらには、動きのレベルが第１のしきい値より低く、第２のしきい値より高い場合、オリジナル入力フレームと参照フレームの両方からのデータ／情報が、イントラ入力フレームの対応するサブエリアを生成するために使用される。最後のケースでは、オリジナル入力フレームと参照フレームの両方からのデータ／情報がイントラ入力フレームの対応するサブエリアを生成するために使用される場合、オリジナル入力フレームおよび参照フレームからのデータ／情報の比率は、特定のサブエリア内の動きのレベルに基づいてもよい。

先述のように、動きのないブロックまたは低レベルの動きのブロックと比較して高レベルの動きのブロックについては、任意でイントラ入力フレームを異なる画質で符号化してもよい。一般的に高い動きのブロックは、より高画質、すなわち低い量子化値で符号化される。

しかしながら、上記「サブエリアの動きのレベル」の値が定義されるサブエリアは、当然ながら、映像エンコーダで使用されるブロックとはサイズと位置の両方において異なる。１つのサブエリアが高レベルの動きを有すると記録される場合も、その結果として、符号化プロセスにおいてどのブロックが異なる画質で符号化されるべきであるかは明白でない。

さらに「ブロックの動きのレベル」の値を、「サブエリアの動きのレベル」に基づいて計算することが１つの解決策となりうる。符号化ブロックの符号化の質は、例えば画質の値がどの時点で変化すべきかを規定するしきい値を定義することにより、この「ブロックの動きのレベル」に依存させることができる。符号化の質が高いほど、一般的に動きの符号化を改善することができ、符号化の質が低いほど符号化の質が均一化する。

本発明はさらに、オリジナル入力映像フレームのシーケンスに対応するデジタル映像データを符号化する方法に関する。図３を参照して、本発明の方法の実施形態を後述でさらに詳細に説明する。

符号化のモードに応じて、オリジナル入力フレームは、イントラモードまたはインターモードを使用して符号化される。

映像フレームのシーケンス内の第１のフレーム（ここでは前のイントラフレームまたはインターフレームが利用できない）が、通常のイントラフレーム符号化方法に従って、すなわちいかなる過去のフレームも未来のフレームも参照しないで符号化され（工程３００）、輝度および色度チャネルは、変換符号化によって、単一フレームの所定のチャネル内のピクセルの空間的冗長性を利用することにより符号化される。第１のイントラフレームでは、フラッシング効果は見られない。第１のイントラフレームが復号され、次のインターフレームの生成のために使用される参照フレームに再構成される（工程３０５）。

オリジナル入力フレームのシーケンス内の次の１つまたは複数のオリジナル入力映像フレームが、通常の（上記参照）インターモード符号化を使用して、インターフレームに符号化される（工程３１０）。各インターフレームが復号され、次のインターフレームの生成のために使用される参照フレームに再構成される（工程３１５）か、あるいはイントラ入力フレームを作成するときには入力データとして（工程３２５）再構成される。

リフレッシュフレームとして導入される次に来るイントラフレームが、次のように符号化される。現在のオリジナル入力フレームのサブエリアがサブエリアに分割され、現在のオリジナル入力フレームの各サブエリアについて、動きのレベルが判定される（工程３２０）。イントラ入力フレームと呼ばれる新しい入力フレームが作成され、オリジナル入力フレームに置き換わる（工程３２５）。イントラ入力フレームのデータ内容は、現在のオリジナル入力フレームからのデータと参照フレームからのデータとの混合物である。この参照フレーム、通常は最後の参照フレームが、先に復号されたフレームから再構成される（工程３１５）。高レベルの動きのサブエリアのイントラ入力フレームデータは、主としてオリジナル入力フレームから取り出され、一方動きのないサブエリアまたは低レベルの動きのサブエリア用データは、主として参照フレームから取り出される。オリジナル入力フレームから取り出される情報と、特定のサブエリア内の参照フレームから取り出される情報の比率は、オリジナル入力フレームの特定のサブエリアの判定された動きのレベルに基づく。

オリジナル入力フレームおよび参照フレームの両方からの情報／データを含むイントラ入力フレームは、イントラフレームに符号化される（工程３３０）。任意で、イントラ入力フレームは、動きのないエリアまたは低レベルの動きのエリアと比較して高レベルの動きのエリアについては、異なる画質（高い画質は低い量子化値に対応し、低い画質は高い量子化値に対応する）で符号化される。その後、符号化されたイントラフレームは復号され、符号化される次のフレームのための参照フレームとして使用するために再構成される（工程３３５）。符号化される次のフレームは、一般的には、インターフレーム（図３に示すケース）であり、イントラシーンチェンジフレームまたは別のイントラリフレッシュフレームとすることができる。

当業者であれば、本発明が決して上述の態様および実施形態に限定されないことを理解する。

例えば、オリジナル入力フレームのサブエリア内の動きの検出と共に、オリジナル入力フレームの様々なサブエリア内の動き値レベルの作成が、種々の方法で決定されてよい。

さらに、オリジナル入力フレームおよび参照フレームからの情報／データの比率が、判定された動きのレベルと共に、方法／符号化システムのユーザが管理する要因とによって変更されてもよい。

さらに、本発明の１つの実施形態によれば、イントラ予測（ＩＰ）モジュール１０５がデジタル映像符号化システム内に存在しなくてもよい。

しかも、符号化された映像フレームのシーケンス内のすべてのリフレッシュフレーム（イントラフレーム）が、本発明の方法に従って符号化される必要はない。

したがって、特許請求の範囲内において多くの修正および変更が可能である。

Claims (13)

1. オリジナル入力映像フレームのシーケンスに対応するデジタル映像データを符号化する方法であって、
   第１のオリジナル入力映像フレームをインターフレームに符号化する工程と、
   前記インターフレームを復号して参照フレームに再構成する工程と、
   第２のオリジナル入力映像フレームと前記参照フレームの両方からの情報を含むイントラ入力フレームを作成する工程と、
   前記イントラ入力フレームをイントラフレームに符号化する工程と
   を含む方法。
2. 前記第２のオリジナル入力フレームをサブエリアに分割する工程と、
   前記第２のオリジナル入力フレームの各サブエリアについて、前記第２のオリジナル入力映像フレームのサブエリア内の動きのレベルを判定する工程と
   をさらに含む、請求項１に記載の方法。
3. 前記第２のオリジナル入力フレームのサブエリアに対応する前記イントラ入力フレームのサブエリアを作成するために使用される、前記第２のオリジナル入力フレームからの情報と、前記参照フレームからの情報との比率が、前記第２のオリジナル入力フレームの対応するサブエリア内で識別された動きのレベルに基づく、請求項２に記載の方法。
4. 前記イントラ入力フレームの第１のサブエリアを、前記第２のオリジナル入力映像フレームからの情報だけを使用して作成する、請求項３に記載の方法。
5. 前記イントラ入力フレームの第２のサブエリアを、前記参照フレームからの情報だけを使用して作成する、請求項３または４に記載の方法。
6. 前記イントラ入力フレームの第３のサブエリアを、前記第２のオリジナル入力映像フレームと前記参照フレームの両方からの情報を使用して作成する、請求項３から５のいずれか一項に記載の方法。
7. 主として前記第２のオリジナル入力映像フレームからの第１の量子化値の情報に基づいて、前記イントラ入力フレームのエリアを符号化する工程と、主として前記参照フレームからの、前記第１の量子化値とは異なる第２の量子化値の情報に基づいて、前記イントラ入力フレームのエリアを符号化する工程とをさらに含む、請求項２から６のいずれか一項に記載の方法。
8. 前記インターフレームがＰフレームまたはＢフレームであり、前記イントラフレームがＩフレームである、請求項１から７のいずれか一項に記載の方法。
9. 処理能力を有するデバイス上で実行されると請求項１から８のいずれか一項に記載の方法を実行するプログラムを記録した、コンピュータ読み込み可能な記録媒体。
10. 請求項９に記載のコンピュータ読み込み可能な記録媒体上に記録されたプログラムを実行するデジタルネットワークカメラ。
11. イントラモードおよびインターモードを使用してオリジナル入力映像フレームのシーケンスを符号化することにより、オリジナル入力映像フレームのシーケンスに対応するデジタル映像データを符号化するためのデジタル映像符号化システムであって、
    入力フレームをイントラフレームまたはインターフレームに加工するエンコーダモジュール（１１０）と、
    前記エンコーダで符号化されたイントラフレームまたはインターフレームを復号するデコーダモジュール（１２０）と、
    前記符号化されたフレームを参照フレームに再構成するために、前記デコーダモジュール（１２０）からの情報を使用する動き補償モジュール（１３０）と、
    オリジナル入力映像フレームからの情報と、先に符号化されて再構成された参照フレームからの情報とを使用して、イントラ入力フレームを作成するイントラ入力フレーム構成モジュール（１６０）と
    を備え、
    前記エンコーダモジュール（１１０）が、イントラフレームを符号化するとき、前記イントラ入力フレーム構成モジュール（１６０）を用いて構成される前記イントラ入力フレームを使用するように構成されており、
    前記イントラ入力フレーム構成モジュール（１６０）が、第１のオリジナル入力映像フレームをインターフレームに符号化した後で前記インターフレームを参照フレームに再構成することにより形成される前記参照フレームからの情報と、第２のオリジナル入力フレームからの情報とを使用することにより、前記イントラ入力フレームを作成するように構成されていることを特徴とする、デジタル映像符号化システム。
12. 前記オリジナル入力映像フレームのサブエリア内の動きのレベルを検出する動き検出モジュール（１７０）をさらに備えており、前記イントラ入力フレーム構成モジュール（１６０）が、前記オリジナル入力フレームのサブエリアに対応する前記イントラ入力フレームのサブエリアを作成するために使用される、前記オリジナル入力フレームからの情報と前記参照フレームからの情報との比率を、前記動き検出モジュール（１７０）を用いて前記オリジナル入力フレームの前記対応するサブエリア内で識別された動きのレベルに基づいて判定する、請求項１１に記載のデジタル映像符号化システム。
13. 前記デジタル映像符号化システムが監視カメラ内に実装されている、請求項１１または１２に記載のデジタル映像符号化システム。

Images