JP2020099042A - 複数のイメージフレームをイントラリフレッシュエンコーディングする方法 - Google Patents

Abstract

【課題】定期的なイントラリフレッシュを使用してのビデオエンコーディングにおいて、イメージフレーム間に、そのイメージフレーム内のモーションに基づいて、イントラエンコーディング領域のパディングを適応させる方法を提供する。【解決手段】方法は、現在のモーションレベルを受信しＳ０２、イントラエンコーディング領域を判定しＳ０４、現在のモーションレベルが閾値を超えているか判定しＳ０６Ｙｅｓ、イントラエンコーディング領域を拡大するＳ０８。現在のモーションレベルが閾値を超えていなければＳ１０Ｎｏ、モーションベクトル検索範囲を調整しＳ１２、イントラエンコーディング領域をイントラエンコーディングしＳ１４、残りのイメージフレームをインターフレームエンコーディングするＳ１６。【選択図】図６

Description

本発明は、定期的なイントラリフレッシュを使用してのビデオエンコーディング、及び、具体的には、イメージフレーム間に、そのイメージフレーム内のモーションに基づいて、イントラエンコーディング領域のパディングを適応させることができる方法及びエンコーダに関する。

Ｈ．２６４エンコーディング（及び、同様の標準類）に共通の問題は、Ｉフレームのビットレートスパイクである。この問題はしばしば、監視カメラに悪影響をおよぼす。なぜなら、非常に多くのカメラが同じネットワーク上に存在することがあり、通常の監視シーンは、ＩフレームとＰフレームとの間に、非常に大きな（ｘ１０〜ｘ１００）サイズ比を有するためである。理想的には、このネットワークには、一定のビットレートが好ましい。

カメラに対するビットレートスパイクを減らす１つのソリューションは、複数のイメージフレーム全体にＩフレームを広げること、及び、その代わりに、Ｉブロックとして、強制的にエンコードされる各イメージフレームの一部（イントラリフレッシュ領域）を有することである。イントラリフレッシュ領域は、一式のイメージフレーム全体の各イメージフレームにわたって動かされ、したがってイメージを「リフレッシング」する。この方法は、定期的なイントラリフレッシュ、又は単にイントラリフレッシュと呼ばれる。

しかし、この方法には、望ましくないビットレートペナルティが伴う。このため、イントラリフレッシュは、ブロックマッチングアルゴリズムが依然として良好に機能できるよう、例えば、撮像したシーン内のモーションに起因する、又は、シーンを撮像しているカメラのムーブメントによる、イメージフレームのイメージデータ内のムーブメントに適応される、イントラリフレッシュ領域のアップデートパターンを必要とする。これは同様に、多くの場合において、イメージフレームの不必要な一部が、Ｉブロックとして強制的にエンコードされることを意味する。

したがって、このコンテキストにおける改善の必要がある。

上記を鑑み、本発明の目的はしたがって、上記の問題の少なくともいくつかを克服する、又は、軽減することである。特に、本発明の目的は、イメージフレームに関連付けられたモーションのレベルに基づいて、イントラエンコードされるべきイメージフレームの領域のサイズを動的に選択する方法、デバイス、ソフトウェア、及びシステムを提供することである。

本発明の第１の態様によると、ビデオストリームの複数のイメージフレームをイントラリフレッシュエンコーディングする方法が提供される。ここでは、イントラリフレッシュエンコーディングは、イントラエンコードされるべき、イメージフレームの領域を定める、あらかじめ定められた定期的なイントラリフレッシュパターンに基づいている。この方法は、それらイメージフレームのそれぞれに対して、
・ このイメージフレームに関連付けられた、現在のモーションのレベルであって、ビデオストリームの、以前にエンコードされたイメージフレームのイメージデータに比較して、イメージフレームのイメージデータの一部がどれほど大きく変わったかを推定する、現在のモーションのレベルを受信することと、
・ イメージフレームのイントラエンコーディング領域を、あらかじめ定められた定期的なイントラリフレッシュパターンにしたがって判定することと、
を含む。

現在のモーションのレベルが、第１の閾値を超えていない場合、この方法は、
・ イメージフレームのイントラエンコーディング領域をイントラエンコーディングすることと、
・ 残りのイメージフレームをインターフレームエンコーディングすることと、
を含む。

現在のモーションのレベルが、第１の閾値を超えている場合、この方法は、
・ イメージフレームのイントラエンコーディング領域を拡大し、複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、判定した程度に重ね合わせることと、
・ イメージフレームの、拡大したイントラエンコーディング領域をイントラエンコーディングすることと、
・ 残りのイメージフレームをインターフレームエンコーディングすることと、
を含む。

「インターフレームエンコーディング」とは一般的に、残りのイメージフレーム、すなわち、強制的にイントラエンコードされず、Ｐフレーム又はＢフレームとしてエンコードされる部分を意味する。これは同様に、残りのフレームのマクロブロックが、インターエンコードされるか、又はイントラエンコードされるかのいずれの、例えば、ブロックマッチングの結果、残りのもののサイズ、などに依存する、エンコーダ次第にて行う決定を意味する。

「定期的なイントラリフレッシュパターン」とは一般的に、強制的にイントラエンコードされるべき、すなわち、Ｉブロックとしてエンコードされるべきイメージフレームの領域／部位／マクロブロック（単一又は複数）を定める周期的なパターンを意味する。パターンが定期的／周期的であるとは、すべてのｎ数のイメージフレームに対して、そのパターンを繰り返すことを意味する。

現在のモーションのレベルが受信される。これは、ビデオストリームの、以前にエンコードされたイメージフレームのイメージデータに比較して、イメージフレームのイメージデータの一部がどれほど大きく変わったかを推定する。以前にエンコードされたイメージフレームは、ビデオストリームの、時間的に先行するイメージフレーム、又は、ビデオストリームの、時間的に後続のイメージフレーム（すなわち、Ｂフレームエンコーディングの場合）であってよい。モーションレベルは、本実施形態を実装するエンコーダに接続された別のユニットにより計算されてよく、又は、エンコーダにより計算されてよい。モーションレベルは、いずれの適切な方法にて、例えば、エンコードされるイメージフレームのイメージデータを、ビデオストリーム内の先行するフレームのイメージデータと比較することにより、判定されてよい。いくつかの実施形態では、モーションレベルは、以前にエンコードされたイメージフレームに対して判定される／計算される。そのモーションレベルは、現在のモーションのレベル、すなわち、エンコードされるイメージフレームに対するモーションのレベルの推定として使用される。好適には、これは、例えば、第２、第３、第５、などのすべてのイメージフレームに対するモーションレベルを判定することのみを可能にする。これは、計算の複雑さを軽減する。そのような実施形態はまた、ビデオストリームの複数のイメージフレームをエンコーディングする分散型アーキテクチャを促進する。なぜなら、モーションの検出が個別に、すなわち、別のプロセッサを使用して行われ得るからである。モーションのレベルが続いてエンコーダに送信され、エンコードされるイメージフレームに対する、モーションのレベルの推定として使用されてよい。したがって、エンコーディングの際に推定としてその後に使用されるモーションのレベルは、イメージフレームに対して判定される必要がないことに留意すべきである。いくつかの実施形態では、モーションのレベルは、例えば、エンコードされるフレームに先行するフレームに対して判定される。しかし、そのような方策は依然として、エンコードされるフレームの、モーションのレベルに対する、良好な推定（最良の予想）であり得る。

本発明は、イントラリフレッシュパディングに対するペナルティ（すなわち、ビデオストリーム内の連続するイメージフレームの間にイントラリフレッシュ領域を重ね合わせることに関連するビットレートペナルティ）が、画素のブロックをインターフレームエンコーディングするためのビットレートコストに比較しての、画素のブロック（Ｉブロック）をイントラエンコーディングするためのビットレートコストの比に関連することの認識に基づいている。これは同様に、モーションレベルに関連する。重ね合わせは、イメージ内のモーションの場合に、特定のイメージコンテントを有するインターブロックが、同じ又は同様のイメージコンテントを有する以前のイメージフレーム内のイントラブロックに参照され得る可能性を増すために必要であってよい。しかし、イントラブロックをエンコーディングするための、ビットレートでのコストは、インターブロックをエンコーディングするためのコストより高い。このことから、発明者達は、イントラリフレッシュパディングの最適なレベル（すなわち、ビデオストリーム内のイメージフレーム間の、イントラエンコーディング領域間の重ね合わせ）を動的に選択することにより、ビットレートペナルティが最小化され得ることを認識した。換言すると、イメージフレームのシーケンス内のイントラリフレッシュ領域の範囲は、例えば、描かれたシーン内のモーションのレベルにより、及び／又は、ビデオ撮像デバイスの視界の調整（ビデオ撮像デバイスのパン、及び／又は、チルト、及び／又は、ズーム調整）により、イメージデータ内のモーションのレベルに基づいて、動的に調整される。

その結果として、現在のモーションレベルが低い（すなわち、第１の閾値未満の）場合に、判定されたイントラエンコーディング領域（例えば、イメージフレームのスライス又はタイル、又は、イメージフレーム全体に広がる複数のマクロブロック、又は、いずれの他の適切な構成）はそのまま、すなわち、あらかじめ定められた定期的なイントラリフレッシュパターンに定められるように使用される。判定されたイントラエンコーディング領域のマクロブロックのエンコーディングは、強制的にＩブロックとなる。イメージフレームの残りの部分は、上記に定められるようにインターフレームエンコードされる。現在のモーションのレベルが低いため、イメージフレームの残りの部分のマクロブロックの大半は、イメージフレーム間のイントラリフレッシュパディングが減らされた／移動されたとしても、インターブロックとしてエンコードされる。

しかし、現在のモーションのレベルが、モーションレベル閾値を超えている場合、イントラエンコーディング領域は、判定された（あらかじめ定められた）程度に拡大される。これは、現在のモーションレベルがそれほど高くなく、重ね合わせが生じない、又は、少量の重ね合せが生じる場合に比較して、イントラエンコーディング領域が、複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と重なり合う（又は、さらに重なり合う）ことを意味する。イメージフレームの残りの部分は、上記に定められるようにインターフレームエンコードされる。この場合にパディングが増えるため、イメージフレームの残りの部分のマクロブロックの大半が、インターブロックとしてエンコードされる。しかし、イントラエンコーディング領域が拡大するため、イントラリフレッシュ領域に対するビットレートコストが増える。

ビデオストリームの、以前にエンコードされたイメージフレームのイメージデータに比較して、イメージフレームのイメージデータの一部がどれほど大きく変わったかの推定として、現在のモーションレベルを定めることにより、この方策は、イントラリフレッシュパディングの程度を判定することに好適に使用され得る。なぜなら、この推定は、パディングが使用されなかった、又は少量のパディングが使用された場合に、イントラブロックとなるであろう、イメージフレームのインターフレームエンコードされた部分のマクロブロックがどれほどであるかを推定することに使用され得るからである。モーションによる、余剰イントラブロックに対する、推定したコストは、イメージフレームのより広い部分を、イントラリフレッシュ領域としてエンコーディングする、すなわち、パディングを増やす（すなわち、イントラリフレッシュ領域を拡大する）ためのコストに対して重み付けされ得る。

いくつかの実施形態によると、複数のイメージフレームについて、あらかじめ定められた定期的なイントラリフレッシュパターン内の領域は重ならない。その結果として、現在のモーションのレベルが、第１の閾値未満の場合、イメージフレームのイントラエンコーディング領域の間にパディングはなくなり、複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域が採用される。好適には、これは、イントラリフレッシュエンコーディングに対するビットレートペナルティを減らし得る。

いくつかの実施形態によると、イメージフレームのイントラエンコーディング領域を拡大するステップは、イメージフレームのイントラエンコーディング領域を拡大し、ビデオストリーム内の、直前に参照されたイメージフレームのイントラエンコーディング領域と重ね合わせることを含む。リファレンスイメージフレームとは、そのイメージデータが、現在エンコードされているイメージフレームの、インターエンコードされたマクロブロックのイメージデータを定めるために使用されるイメージフレームを意味する。その結果として、エンコーディング効率が向上し得る。他の実施形態では、時間的な方向の双方への複数のリファレンス、例えば、１つは以後のリファレンスフレーム、そしてもう１つは以前のリファレンスフレーム、又は、長期リファレンスフレーム及び直前のリファレンスフレームを伴うもの、若しくは、２つの先行するフレームを混合したいくつかを伴うもの、を可能にする写真グループ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ又はＧＯＰ）構造が採用される。これらの場合では、イメージフレームのイントラエンコーディング領域の拡大がしたがって行われるべきである。

いくつかの実施形態によると、この方法は、
現在のモーションのレベルが、第２の閾値であって、第１の閾値より大きい第２の閾値を超えている場合、イメージフレームのイントラエンコーディング領域を拡大し、複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、第１の程度に重ね合わせることと、
現在のモーションのレベルが、第２の閾値を超えていない場合、イメージフレームのイントラエンコーディング領域を拡大し、複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、第２の程度であって、第１の程度の方が大きい第２の程度に重ね合わせることと、
のステップをさらに含む。

この実施形態では、少なくとも３つのレベルのイントラリフレッシュパディングが使用される。いくつかの実施形態では、第１の程度は、最大のパディングを表す。これは、現在のモーションのレベルが大きくなっても、さらなるパディングが行われないことを意味する。３つのレベルのパディングを使用することは、エンコーディング方法の計算の複雑さと、イントラリフレッシュエンコーディングストラテジに対するビットレートペナルティの潜在的な削減と、の間の良好なバランスを表し得る。

いくつかの実施形態によると、イントラエンコーディング領域及び拡大したイントラエンコーディング領域のそれぞれは、１つ又はそれ以上のスライス又はタイルにより定められる。この実施形態は、定期的なイントラリフレッシュパターン及びそのイントラリフレッシュ領域を定める方法の複雑さが低いことを表し得る。Ｈ．２６４及びＨ．２６５などの高効率ビデオコーディング（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ又はＨＥＶＣ）コーデックを使用することにより、スライス（Ｈ．２６４及びＨ．２６５）及び／又はタイル（Ｈ．２６５）は、エンコーディングの並列処理を促進し、効率を高め得る。換言すると、Ｈ．２６４、Ｈ．２６５、ＶＰ９、及びＡＶ１などの、現代のブロックベースのビデオコーデックを使用することにより、スライス及び／又はタイルは、エンコーディングの並列処理を促進し、スループットを高め得る。さらに、スライス／タイルは、イントラリフレッシュ領域を定めるための構造の複雑さが低いことを表し得る。

いくつかの実施形態によると、あらかじめ定められた定期的なイントラリフレッシュパターンは、２つの連続するイメージフレームの間を、垂直方向又は水平方向にのみ変位しているイントラエンコーディング領域を定める。例えば、パターン内の第１のイントラリフレッシュ領域が、マクロブロックの最も左の列（単一又は複数）に対応する場合、パターン内の次のイントラリフレッシュ領域は、マクロブロックの最も右の列（単一又は複数）に対応する最後のイントラリフレッシュ領域までの、マクロブロックの隣接する列（単一又は複数）以降に対応してよい。続いてこのパターンは、最も左の列（単一又は複数）にて再度繰り返す。好適には、この実施形態は、定期的なイントラリフレッシュパターン及びその使用の複雑さを軽減する。

いくつかの実施形態によると、あらかじめ定められた定期的なイントラリフレッシュパターンは、垂直方向に変位しているイントラエンコーディング領域を定める。ここでは、イメージフレームのイントラエンコーディング領域を拡大することのステップは、イメージフレームのイントラエンコーディング領域の高さを上げることを含む。例えば、第１のイントラエンコーディング領域が、イメージフレームのイメージデータ内のマクロブロックの最初の３行を定め、第２のイントラエンコーディング領域が、イメージフレームのイメージデータ内のマクロブロックの４行目から６行目を定める場合、第２のイントラエンコーディング領域の拡大により、例えば、拡大したイントラエンコーディング領域が、イメージフレームのイメージデータ内のマクロブロックの３行目から６行目までを定める。同様に、いくつかの実施形態では、あらかじめ定められた定期的なイントラリフレッシュパターンは、水平方向に変位しているイントラエンコーディング領域を定める。ここでは、イメージフレームのイントラエンコーディング領域を拡大することのステップは、イメージフレームのイントラエンコーディング領域の幅を広げることを含む。

いくつかの実施形態によると、現在のモーションのレベルが、第１の閾値を超えていない場合、この方法は、残りのイメージフレームのインターフレームエンコーディングに対するモーションベクトル検索範囲を、現在の検索範囲から、あらかじめ定められた検索範囲に調整することを含む。エンコードされるイメージフレームのイメージデータ内に低モーションがあることがすでに推定されているため、この知識が、インターフレームエンコーディングに対するモーションベクトル検索範囲を減らすこと（調整すること）に好適に使用され得る。あらかじめ定められた検索範囲は、例えば、あらかじめ定められた定期的なイントラリフレッシュパターン内の領域が重ならない場合、ゼロに設定される。この場合、イントラリフレッシュパディングは採用されないため、ゼロを超えるモーションベクトル検索範囲は必ずしもいずれの利点とはならず、計算の複雑さのみを助長することとなり、役に立たないものとなる。あらかじめ定められた定期的なイントラリフレッシュパターン内の領域が、１６、３２、又は８０画素など、ある程度重なり合う場合、あらかじめ定められた検索範囲は、これに応じて定められてよい、すなわち、１６、３２、又は８０画素に設定されてよい。

いくつかの実施形態によると、この方法は、現在のモーションのレベルが、第２の閾値を超えている場合、残りのイメージフレームのインターフレームエンコーディングに対するモーションベクトル検索範囲を、第１の程度に対応して調整することと、現在のモーションのレベルが、第２の閾値超えていない場合、残りのイメージフレームのインターフレームエンコーディングに対するモーションベクトル検索範囲を、第２の程度に対応して調整することと、を含む。上記と同様に、第１の程度が、３２画素（例えば、２つのマクロブロック）に対応し、第２の程度が、１６画素に対応する場合、モーションベクトル検索範囲は、エンコードされるイメージフレームに対して推定した、現在のモーションのレベルに依存して、対応する値に設定されてよい。いくつかの実施形態によると、モーションベクトル検索範囲は、定期的なイントラリフレッシュパターン内のイントラエンコードされた領域の変位の方向に対応する方向にのみ限定される。例えば、あらかじめ定められた定期的なイントラリフレッシュパターンが、水平方向に変位しているイントラエンコーディング領域を定める場合、モーションベクトルは、上記にしたがって水平方向に限定される。

上記の実施形態では、モーションベクトル検索範囲は、複数のイメージフレームの中の、イントラエンコードされた領域間の、判定された重ね合わせを考慮して好適に調整される。これらの実施形態の技術的効果は、ビットレートの減少と、（例えば、低モーションレベルが判定された場合に、検索範囲を狭くすることにより）エンコーディングの計算の複雑を軽減することと、であってよい。これらの実施形態では、ビデオストリームの、以前のイメージフレームのイメージデータに比較して、イメージフレームのイメージデータの一部がどれほど大きく変わったかの推定として、現在のモーションレベルを定めることにより、この方策は、イントラリフレッシュパディングの程度を判定することに好適に使用され得る。なぜなら、この推定は、モーション検索が使用されなかった、又は、モーション検索が少しだけ使用された場合に、イントラブロックとなるであろう、イメージフレームのインターフレームエンコードされた部分のマクロブロックがどれほどであるかを推定することに使用され得るからである。モーション検索がないこと、又は、モーション検索が少ないことよる、余剰イントラブロックに対する、推定したコストは、イメージフレームのより広い部分を、イントラリフレッシュ領域としてエンコーディングする、すなわち、パディング及びモーション検索範囲を広げる（すなわち、イントラリフレッシュ領域を拡大する）ためのコストに対して重み付けされ得る。

本発明の第２の態様によると、シーンを描くビデオストリームの複数のイメージフレームをイントラリフレッシュエンコーディングするよう構成されたエンコーダにより、上記の目的が達成される。ここでは、イントラリフレッシュエンコーディングは、イントラエンコードされるべき、イメージフレームの領域を定める、あらかじめ定められた定期的なイントラリフレッシュパターンに基づいている。エンコーダは、
・ シーン内の現在のモーションのレベルであって、ビデオストリームの、以前にエンコードされたイメージフレームのイメージデータに比較して、イメージフレームのイメージデータの一部がどれほど大きく変わったかを推定する、現在のモーションのレベルを受信することと、
・ イメージフレームのイントラエンコーディング領域を、あらかじめ定められた定期的なイントラリフレッシュパターンにしたがって判定することと、
を行うよう構成されたプロセッサを含む。

現在のモーションのレベルが、第１の閾値を超えていない場合、プロセッサは、
・ イメージフレームのイントラエンコーディング領域をイントラエンコードすることと、
・ 残りのイメージフレームをインターフレームエンコードすることと、
を行うよう構成されている。

現在のモーションのレベルが、第１の閾値を超えている場合、プロセッサは、
・ イメージフレームのイントラエンコーディング領域を拡大し、複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、判定した程度に重ね合わせることと、
・ イメージフレームの、拡大したイントラエンコーディング領域をイントラエンコードし、残りのイメージフレームをインターフレームエンコードすることと、
を行うよう構成されている。

いくつかの実施形態によると、プロセッサは、現在のモーションのレベルが、第２の閾値であって、第１の閾値より大きい第２の閾値を超えている場合、
・ イメージフレームのイントラエンコーディング領域を拡大し、複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、第１の程度に重ね合わせることを行うようさらに構成されている。

現在のモーションのレベルが、第２の閾値を超えていない場合、プロセッサは、
・ イメージフレームのイントラエンコーディング領域を拡大し、複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、第２の程度であって、第１の程度の方が大きい第２の程度に重ね合わせることを行うよう構成されている。

いくつかの実施形態によると、プロセッサは、現在のモーションのレベルが、第１の閾値を超えていない場合、残りのイメージフレームのインターフレームエンコーディングに対するモーションベクトル検索範囲を、現在の検索範囲から、あらかじめ定められた検索範囲に調整することを行うようさらに構成されている。

本発明の第３の態様によると、ビデオ撮像デバイスと、モーションデテクタと、第２の態様に係るエンコーダと、を含むシステムにより、上記の目的が達成される。
ビデオ撮像デバイスは、シーンを描くビデオストリームであって、複数のイメージフレームを含むビデオストリームを撮像し、ビデオストリームのイメージフレームを、モーションデテクタ及びエンコーダに連続して送信するよう構成されている。
モーションデテクタは、受信したイメージフレーム内のイメージデータに基づく、撮像したイメージフレーム内の現在のモーションのレベルを連続して検出し、その現在のモーションのレベルをエンコーダに送信するよう構成されている。

本発明の第４の態様によると、処理機能を有するデバイスにより実行されると、第１の態様の方法を実施するよう構成されている命令を保存しているコンピュータ可読記憶媒体を含むコンピュータプログラム製品により、上記の目的が達成される。

第２、第３、及び第４の態様は一般的に、第１の態様と同じ特徴及び利点を有してよい。本発明は更に、特に明白に言及していない限り、すべての可能な特徴の組み合わせに関連することに留意されたい。

本発明の、上記及び更なる目的、特徴、並びに利点は、添付図面を参照しての、本発明の好適な実施形態の、以下に記載する例示的且つ非限定の詳細説明を通して良好に理解される。ここでは、同様のコンポーネントには同じ参照番号が用いられる。

本発明に使用されてよい、あらかじめ定められた定期的なイントラリフレッシュパターンの４つの異なる例を模式的に示す。 従来技術に係る、ビデオストリームの複数のイメージフレームをイントラリフレッシュエンコーディングする方法を示す。 第１の実施形態に係る、ビデオストリームの複数のイメージフレームをイントラリフレッシュエンコーディングする方法を示す。 第２の実施形態に係る、ビデオストリームの複数のイメージフレームをイントラリフレッシュエンコーディングする方法を示す。 図５ａから図５ｃは、モーションのレベルと、イントラリフレッシュ領域の拡大と、の間のマッピングのそれぞれの実施形態を示す。 図５ａから図５ｃは、モーションのレベルと、イントラリフレッシュ領域の拡大と、の間のマッピングのそれぞれの実施形態を示す。 図５ａから図５ｃは、モーションのレベルと、イントラリフレッシュ領域の拡大と、の間のマッピングのそれぞれの実施形態を示す。 それらの実施形態に係る、ビデオストリームの複数のイメージフレームをイントラリフレッシュエンコーディングする方法のフローチャートを示す。

本発明を、添付図面を参照して以下に更に詳細に説明する。ここでは、本発明の実施形態を示す。以下に開示するシステム及びデバイスは、作動中のものとして説明される。

上述するように、定期的なイントラリフレッシュは、さもなくばＧＯＰ毎に一度、すなわち、イメージフレームが、イントラエンコーディングを使用してエンコードされる際に発生し得る、ビットレートにおけるスパイクを除去するための、定着している方法である。イントラリフレッシュストラテジでは、定期的なイントラリフレッシュパターンが使用され、イメージフレームのどの部分が「リフレッシュされる」（すなわち、いずれの他のイメージフレームへのリファレンスなくエンコードされる）、したがって、イントラコードされた領域として強制的にエンコードされるべきであるかが定められる。

そのようなパターンの例を図１に示す。各例は、リフレッシュされる総イメージフレームについて、３つのイメージフレームを含む。しかし、通常の場合、イントラリフレッシュパターンは、３２又は６４などの、多数の複数のイメージフレーム全体に循環することが理解されるべきである。

図１では（同様に図２〜図５では）、斜線のエリアがイントラリフレッシュ領域を表し、空白のエリアが、イメージフレームの残りの部分を表す。

図１の左上の例は、定期的なイントラリフレッシュパターン１００ａを示す。ここでは、そのイメージフレーム内のマクロブロックの完全な行が、イントラリフレッシュ領域を定める。いくつかの実施形態では、パターン１００ａ内のイントラリフレッシュ領域は、１つ又はそれ以上のスライスにより定められてよい。いくつかの実施形態では、イントラリフレッシュ領域は、１行のマクロブロックを含む。これは、イントラリフレッシュパターンが、イメージフレーム内のマクロブロックの行数に等しいイメージフレーム数全体に循環することを意味する。図１ａでは、定期的なイントラリフレッシュパターン１００ａは、２つの連続するイメージフレームの間を、水平方向に変位している（ずれている）イントラエンコーディング領域を定める。

図１の左下の例は、定期的なイントラリフレッシュパターン１００ｂを示す。ここでは、そのイメージフレーム内のマクロブロックの完全な列（単一又は複数）が、イントラリフレッシュ領域を定める。いくつかの実施形態では、パターン１００ａ内のイントラリフレッシュ領域は、１つ又はそれ以上のタイルにより定められてよい。いくつかの実施形態では、イントラリフレッシュ領域は、１列のマクロブロックを含む。これは、イントラリフレッシュパターンが、イメージフレーム内のマクロブロックの列数に等しいイメージフレーム数全体に循環することを意味する。図１ｂでは、定期的なイントラリフレッシュパターン１００ｂは、２つの連続するイメージフレームの間を、垂直方向に変位している（ずれている）イントラエンコーディング領域を定める。

定期的なイントラリフレッシュパターンを定める他の方法も、等しく可能である。図１は、例として、そのようなパターンの、さらに２つの実施形態を示す。右上の例では、定期的なイントラリフレッシュパターン１００ｃが、イメージフレームの１つの角から反対の角に移動する斜めの領域により定められている。右下の角では、よりランダムなアプローチによるイントラリフレッシュパターン１００ｄが定められている。ここでは、個別のマクロブロックが、各イメージフレームに対するイントラリフレッシュ領域を定める。図１内の、イントラリフレッシュパターンの例のすべてでは、イメージフレームの画素の定められたマクロブロックのすべてが、パターン１００ａ〜ｄのサイクル中に、すなわち、イントラリフレッシュパターンのサイクルが延長するｎ数のイメージフレーム（これらの例では、ｎ＝３）全体に、イントラリフレッシュされている。

図１の、あらかじめ定められた定期的なイントラリフレッシュパターンの例では、パターン内の領域は、連続するイメージフレームの間に重ならない。しかし、いくつかの実施形態によると、いくらかの重ね合わせがあってよい。

図２〜図４の例では、図１のイントラリフレッシュパターン１００ａの左上の例が、本発明の異なる実施形態を体現するために使用されている。図１のパターン１００ｂ〜ｄの例以外のいずれ、又は、図１に示さない、いずれの他の適切なイントラリフレッシュパターンが採用され得ることに留意すべきである。

イントラリフレッシュエンコーディングストラテジを使用する場合、イメージフレームのイントラリフレッシュ領域のイメージデータ（例えば、マクロブロック）がイントラエンコードされる。イメージフレームの残りのイメージデータは、インターフレームエンコードされる。これは、エンコードされたイメージフレームのこの部位のマクロブロックが、イントラエンコード又はインターエンコードされていることを意味する。イントラリフレッシュエンコーディングストラテジを使用して複数のイメージフレームをエンコーディングする際に、ビットレートを最小化するには、インターフレームエンコードされた領域内の、できるだけたくさんのマクロブロックが、予想されたマクロブロックとして、すなわち、インターエンコードされたマクロブロックとして、エンコードされることが好適である。マクロブロックを、インター又はイントラとしてエンコーディングするかの選択は、エンコーダにより行われ、これは、以前のイメージフレーム内にいずれのマクロブロックが見つかり、現在エンコードされているマクロブロックを効率のよい方法で予想するために使用され得るか否か、に基づいている。つまり、エンコーディング効率を上げるためには、イントラリフレッシュストラテジを使用して、エンコードされる複数のイメージフレーム内の、できるだけたくさんの新たなイメージコンテントが、イメージフレームのイントラリフレッシュ領域のイメージデータの一部となる必要がある。理解されるように、２つの連続するイメージフレームのイントラリフレッシュ領域間の境界領域内のイメージデータ（及び、新たなイメージデータ）のムーブメントにより、いくつかのイメージコンテントが、イントラリフレッシュ領域内に含まれないこととなり得る。

通常使用される１つのソリューションは、２つのイメージフレーム間のイントラリフレッシュ領域を常に、ある程度重ね合わせるようにすることである。これは、イントラリフレッシュパディングと呼ばれ得る。図２は、従来技術にて使用される実施形態を示す。図２は、第１、第２、及び第３のイメージフレーム１０２ａ〜ｃを示す。別々のイメージフレームのイントラリフレッシュ領域１０４ａ〜ｃは、あらかじめ定められた定期的なイントラリフレッシュパターンから判定されている。図２に示すように、第２のイメージフレーム１０２ｂ及び第３のイメージフレーム１０２ｃに対するイントラリフレッシュ領域は、重ね合わせ２０２ｂ及び２０２ｃ（境界を有する斜線のエリアとして図２に示す）が、第１のイメージフレーム１０２ａのイントラリフレッシュ領域１０４ａと、第２のイメージフレーム１０２ｂのイントラリフレッシュ領域１０４ｂと、の間、及び、第２のイメージフレーム１０２ｂのイントラリフレッシュ領域１０４ｂと、第３のイメージフレーム１０２ｃのイントラリフレッシュ領域１０４ｃと、の間に形成されるように延長されている。このソリューションによると、イントラリフレッシュストラテジでは、複数のイメージフレーム１０２ａ〜ｃの中の、イメージデータのコンテントのムーブメントによる影響が少ない。しかし、図２のソリューションは、望ましくないビットレートペナルティ（通常は、２０％〜３０％を超える余剰）が伴う。なぜなら、第２及び第３のイメージフレーム１０２ｂ〜ｃのイメージデータの大部分が、強制的にイントラエンコードされるからである。一例として、各イメージフレームが、高さにおいて６８マクロブロックのサイズを、イントラブロックとインターブロック（低モーションシーンに共通）のコーディング間にｘ１００のサイズ差を伴って有する高解像度（ｆｕｌｌ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ又はＦＨＤ）ビデオについて、ビデオストリームのイメージフレームのイントラエンコーディング領域間に２つのブロックパディングを適用することは、＞１００％のビットレートの増加をもたらすこととなる。

発明者達は、パディングのサイズが、ビデオストリームの以前のイメージフレームのイメージデータに比較して、イメージフレームのイメージデータの一部がどれほど大きく変わったか、に適応され得ることを認識した。なぜなら、低モーションシーンは、高モーションシーンほどたくさんのパディングを必要とせず、効率のよいエンコーディングを依然として達成するためである。

図３は、例として、イントラリフレッシュエンコーディング方法の一実施形態を示す。これは、図５ａ及び図６とあわせて説明する。図３は、第１、第２、及び第３のイメージフレーム１０２ａ〜ｃを示す。第１のイメージフレーム１０２ａについては、イントラエンコーディング領域１０４ａは、あらかじめ定められた定期的なイントラリフレッシュパターン（図１での左上）にしたがって判定されている。その結果として、イメージフレーム１０２ａの上部（イントラエンコーディング領域１０４ａ）は、強制的にイントラエンコードされている。イメージフレーム１０２ａの残りの部分については、イメージデータは、イントラフレームエンコードされている。

第２のイメージフレーム１０２ｂについては、現在のモーションのレベルが受信されるＳ０２。この例では、図５ａのマッピングスキーム５０２ａが使用され、このイメージフレームに対してＳ０４にて判定されたイントラエンコーディング領域１０４ｂの拡大が行われるべきか否かが判定される。第２のイメージフレーム１０２ｂについては、現在のモーションのレベルが、第１の閾値５０６を超えていないことが判定されるＳ０６。図５ａに見られるように、これは、イントラリフレッシュ領域１０４ｂの延長が行われるべきでないことを意味する。第２のイメージフレーム１０２ｂについては、これは、イントラエンコーディング領域１０４ｂが拡大されておらず、その領域内のイメージデータが強制的にイントラエンコードされるＳ１４ことを意味する。残りのイメージフレームは、インターフレームエンコードされるＳ１６。これは、第２のイメージフレーム１０２ｂの余剰部分が強制的にイントラエンコードされないことを意味する。これは、低モーションシーン（閾値未満の、現在のモーションのレベル）に対して、効率性の点において好適であり、例えば、イントラリフレッシュ領域間のパディング（拡大）が常に行われる、図２の実施形態に比較して、ビットレートを減らすこととなる。

第３のイメージフレーム１０２ｃについては、現在のモーションのレベルが受信されるＳ０２。図５ａのマッピングスキーム５０２ａが使用され、このイメージフレーム１０２ｃに対してＳ０４にて判定されたイントラエンコーディング領域１０４ｃの拡大が行われるべきか否かが判定される。第３のイメージフレーム１０２ｃについては、現在のモーションのレベルが、第１の閾値５０６を超えていることが判定されるＳ０６。図５ａに見られるように、これは、イントラリフレッシュ領域１０４ｂの延長が行われるべきであることを意味する。その結果として、第３のイメージフレーム１０２ｃのイントラエンコーディング領域１０４ｃが拡大されＳ０８、（この実施形態では、第３のイメージフレームに対して時間的に先行する）以前にエンコードされたイメージフレーム１０２ｂのイントラエンコーディング領域１０４ｂと、判定した程度３０２ｃに重なり合う。重ね合わせの程度は、使用されるマッピングスキーム５０２ａにより判定される。この重ね合わせの程度はこの場合、マッピングスキーム５０２ａ内に定められる最大拡大５０４に対応する。イントラエンコーディング領域１０４ｃの拡大は、イントラエンコーディング領域１０４ｃの高さを上げることにより行われる。これは、領域１０４ｃを拡大することの複雑さが低い方法である。これは、使用されるイントラリフレッシュパターンに依存する。もし、図１の左下の実施形態のイントラリフレッシュパターンがその代わりに使用された場合、拡大はその代わりに、イメージフレームのイントラエンコーディング領域の幅を広げることにより行われてよい。

イントラエンコーディング領域１０４ｃを拡大することにより、ブロックマッチングアルゴリズムは、イメージデータのムーブメントにかかわらず、依然として効率よく機能し得る。

図４は、例として、イントラリフレッシュエンコーディング方法の一実施形態を示す。これは、図５ｂ及び図６とあわせて説明する。図４は、第１、第２、及び第３のイメージフレーム１０２ａ〜ｃを示す。第１のイメージフレーム１０２ａについては、イントラエンコーディング領域１０４ａは、あらかじめ定められた定期的なイントラリフレッシュパターン（図１での左上）にしたがって判定されている。その結果として、イメージフレーム１０２ａの上部（イントラエンコーディング領域１０４ａ）は、強制的にイントラエンコードされている。イメージフレーム１０２ａの残りの部分については、イメージデータは、イントラフレームエンコードされている。

第２のイメージフレーム１０２ｂについては、現在のモーションのレベルが受信されるＳ０２。図５ｂのマッピングスキーム５０２ｂが使用され、このイメージフレーム１０２ｂに対してＳ０４にて判定されたイントラエンコーディング領域１０４ｂの拡大が行われるべきか否かが判定される。第２のイメージフレーム１０２ｂについては、現在のモーションのレベルが、第１の閾値５０６を超えていることが判定されるＳ０６。図５ａ内のマッピングスキーム５０２ａとは異なり、図４の複数のイメージフレーム１０２ａ〜ｃに使用されるマッピングスキーム５０２ｂは、現在のモーションのレベルに依存して、イントラエンコーディング領域の拡大のレベルを、１つを超えて定める。この実施形態では、現在のモーションのレベルが、第１の閾値５０６を超えていることが判定されると、現在のモーションのレベルが、第２の閾値５０８と比較される。第２のイメージフレーム１０２ｂについては、現在のモーションのレベルは、第２の閾値５０８を超えない。その結果として、イントラエンコーディング領域１０４ｂが、マッピングスキーム５０２ｂにより定められる拡大のレベル５１０にしたがって、判定した程度４０２ｂに拡大されるＳ０８。第２のイメージフレーム１０２ｂの別の領域が続いて、図３とあわせて先述するように、エンコードされるＳ１４及びＳ１６。

第３のイメージフレーム１０２ｃについては、現在のモーションのレベルが受信されるＳ０２。図５ｂのマッピングスキーム５０２ｂが使用され、このイメージフレーム１０２ｃに対してＳ０４にて判定されたイントラエンコーディング領域１０４ｃの拡大が行われるべきか否かが判定される。第３のイメージフレーム１０２ｃについては、現在のモーションのレベルが、第１の閾値５０６を超えていることが判定されるＳ０６。上述するように、この実施形態では、現在のモーションのレベルが、第１の閾値５０６を超えていることがＳ０６にて判定されると、現在のモーションのレベルが、第２の閾値５０８と比較される。第３のイメージフレーム１０２ｃについては、現在のモーションのレベルが、第２の閾値５０８を超えていることが判定されるＳ１０。その結果として、イントラエンコーディング領域１０４ｃが、マッピングスキーム５０２ｂにより定められる拡大のレベル５１２にしたがって、判定した程度４０２ｃに拡大されるＳ０８。第２のイメージフレーム１０２ｂの別の領域が続いて、図３とあわせて先述するように、エンコードされるＳ１４及びＳ１６。

図５ｂの３つのレベル拡大スキーム５０２ｂは、例として説明されており、これらは、４つ、６つ、１０などのレベル拡大スキームに拡張され得ることに留意すべきである。このことを、図６に模式的に示す。ここでは、いくつかの実施形態によると、現在のモーションのレベルが、複数の閾値とＳ１０にて比較され得、イントラリフレッシュ領域のさらなる拡大（単一又は複数）Ｓ０８をもたらす。イントラリフレッシュ領域を拡大するこの方法は、例のみとして示している。いくつかの実施形態によると、現在のモーションのレベルは、特定の拡大のレベルに（すなわち、図５ａ〜ｃにて定められるように）直接マップされ、イントラリフレッシュ領域がしたがって拡大される。いくつかの実施形態によると、例えば、図５ｃに示すような、現在のモーションのレベルと、イントラリフレッシュ領域の拡大と、の間の半連続的マッピングが採用される。マッピングスキーム５０２ｃは、１６ｘ１６画素などの、マクロブロックのサイズに依存して、イントラリフレッシュ領域の拡大を段階的に定める。

図４の実施形態では、現在のモーションのレベルが、第１の閾値５０６を超えていることにより、イントラエンコーディング領域の拡大が行われるべきであることが判定される場合、実際の拡大の程度は、現在のモーションのレベルに依存する。図４に示すように、第３のイメージフレーム１０２ｃ内の重ね合わせの程度４０２ｃは、第２のイメージフレーム内の重ね合わせの程度４０２ｂより大きい。なぜなら、第３のイメージフレーム１０２ｃについての現在のモーションのレベルが、第２のイメージフレーム１０２ｂについての現在のモーションのレベルより大きいからである。好適には、図４の実施形態の、エンコードされたイメージフレームに対するビットレートは、図３の実施形態の、２つのレベルマッピングスキーム（拡大スキーム）に比較して、さらに最適化されてよい。

図３及び図４の実施形態では、イメージフレームのイントラエンコーディング領域が拡大されており、ビデオストリーム内の、直前のイメージフレームのイントラエンコーディング領域と重なり合う。例えば、ビデオストリーム内のすべての他のフレームが、空白のフレームに対応する場合の代わりに、使用されるエンコーディング方法に依存して、イメージフレームのイントラエンコーディング領域が拡大され、ビデオストリーム内の、直前に参照されたイメージフレームのイントラエンコーディング領域と重なり合う。他の実施形態ではまた、上述するように、時間的に後続のイメージフレーム及びそのイントラエンコーディング領域も、拡大を判定するためのリファレンスとして使用されてよい。

ビデオストリーム内のイントラリフレッシュ領域間の重ね合わせを定める上記の方法は、いくつかの実施形態によると、残りのイメージフレームのインターフレームエンコーディング（すなわち、イメージフレームのイントラエンコーディング領域でない部分のイメージデータのエンコーディング）に対するモーションベクトル検索範囲も定めるよう延長されてよい。上述するように、重ね合わせは、撮像したシーン内のコンテントが、イメージフレームを撮像する間に動いたとしても、参照されたイメージフレーム間のブロックマッチングが良好となる可能性を上げるよう定められる。その結果として、イントラエンコードされた領域の判定された重ね合わせは、エンコーダのモーションベクトル検索範囲を設定することにも好適に使用され得る。その結果として、いくつかの実施形態によると、図６の方法は、イントラリフレッシュ領域間の重ね合わせ（イントラリフレッシュパディング）に依存して、モーションベクトル検索範囲を調整（設定）することＳ１２にも拡張され得る。いくつかの実施形態によると、現在のモーションのレベルが、第１の閾値５０６を超えていない場合、残りのイメージフレームのインターフレームエンコーディングに対するモーションベクトル検索範囲は、現在のモーションベクトル検索範囲から、ゼロ又は１つのマクロブロック検索範囲などの、あらかじめ定められた検索範囲に調整される（制限される）Ｓ１２。図４の実施形態については、第１の閾値５０６を超えるモーションのレベルに依存して、判定した重ね合わせの程度は、モーションベクトル検索範囲を調整することに使用され得る。例えば、現在のモーションのレベルが、第２の閾値を超えている場合、残りのイメージフレームのインターフレームエンコーディングに対するモーションベクトル検索範囲は、第１の程度に対応して調整されるＳ１２。第１の程度が、３つ又は２つのマクロブロックの重ね合わせを定める場合、モーションベクトル検索範囲は、３つ又は２つのマクロブロックに調整されてよいＳ１２。同様に、現在のモーションのレベルが、第２の閾値を超えていない場合、残りのイメージフレームのインターフレームエンコーディングに対するモーションベクトル検索範囲は、第２の程度に対応して調整されてよいＳ１２。第２の程度が、２つ又は１つのマクロブロックの重ね合わせを定める場合、モーションベクトル検索範囲は、２つ又は１つのマクロブロックに調整されてよいＳ１２。

これら上記の方法は、この方法を行うよう構成された１つ又はそれ以上のプロセッサを含むエンコーダにより好適に実装される。

エンコーダは、モニタリングカメラなどのビデオ撮像デバイスと、モーションデテクタと、をさらに含むシステムの一部を形成してよい。モーションデテクタは、ビデオ撮像デバイス内又はエンコーダ内に実装されてよい。いくつかの実施形態では、モーションデテクタ及びエンコーダの双方は、ビデオ撮像デバイス内に実装される。

そのようなシステムでは、ビデオ撮像デバイスは、シーンを描くビデオストリームであって、複数のイメージフレームを含むビデオストリームを撮像し、ビデオストリームのイメージフレームを、モーションデテクタ及びエンコーダに連続して送信するよう構成されている。モーションデテクタは、受信したイメージフレーム内のイメージデータに基づく、撮像したイメージフレーム内の現在のモーションのレベルを連続して検出し、その現在のモーションのレベルをエンコーダに送信するよう構成されている。検出したモーションは、シーン内のモーション及び／又はビデオ撮像デバイスの視界での変化に依存してよい。モーションの検出は、先述するように、いくつかの実施形態によると、計算の複雑さを軽減するために、撮像したイメージフレームのいくつかにのみ行われてよい。

これら上記の方法はまた、コンピュータ可読記憶媒体上に保存されたソフトウェアにても実装されてよい。

これまで、本発明に関するコンセプトを、限られた数の例を参照して主に説明した。しかし、当業者にただちに明白であるように、上記に開示するものとは異なる他の実施例も、特許請求の範囲に規定されるように、本発明に関するコンセプトの範囲内にて等しく可能である。例えば、モーションベクトル検索範囲を調整する場合（図６でのＳ１２）、いくつかの実施形態によると、ベクトル検索範囲は、現在のイメージフレームのイントラエンコーディング領域と、以前のイメージフレームのイントラエンコーディング領域と、の間の重ね合わせの程度に基づいて、水平又は垂直方向にのみ調整されるＳ１２。ここでは、ベクトル検索範囲が設定される／制限される方向は、あらかじめ定められた定期的なイントラリフレッシュパターンに基づいている。例えば、モーションベクトル検索範囲は、定期的なイントラリフレッシュパターン内のイントラエンコードされた領域の変位の方向に対応する方向（例えば、水平又は垂直）に調整されてよいＳ１２。

Claims (15)

1. ビデオストリームの複数のイメージフレーム（１０２）をイントラリフレッシュエンコーディングする方法であって、前記イントラリフレッシュエンコーディングは、イントラエンコードされるべき、イメージフレーム（１０２ａ〜ｃ）の領域（１０４ａ〜ｃ）を定める、あらかじめ定められた定期的なイントラリフレッシュパターン（１００ａ〜ｄ）に基づいており、前記イメージフレームのそれぞれに対して、
   前記イメージフレームに関連付けられた現在のモーションのレベルを受信すること（Ｓ０２）と、
   前記イメージフレームのイントラエンコーディング領域（１０４ａ〜ｃ）を、前記あらかじめ定められた定期的なイントラリフレッシュパターンにしたがって判定すること（Ｓ０４）と、
   前記現在のモーションのレベルが、第１の閾値（５０６）を超えていない場合、
   前記イメージフレームの前記イントラエンコーディング領域をイントラエンコーディングすること（Ｓ１４）と、
   前記イントラエンコーディング領域とは異なる、前記イメージフレームの領域をインターフレームエンコーディングすること（Ｓ１６）と、
   前記現在のモーションのレベルが、前記第１の閾値を超えている場合、
   前記イメージフレームの前記イントラエンコーディング領域を拡大し、前記複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、判定した程度（３０２ｃ、４０２ｂ、４０２ｃ、５０４、５１０、５１２）に重ね合わせること（Ｓ０８）と、
   前記イメージフレームの、前記拡大したイントラエンコーディング領域をイントラエンコーディングすること（Ｓ１４）と、
   前記拡大したイントラエンコーディング領域とは異なる、前記イメージフレームの前記領域をインターフレームエンコーディングすること（Ｓ１６）と、
   を含む方法。
2. 前記複数のイメージフレームについて、前記あらかじめ定められた定期的なイントラリフレッシュパターン内の前記領域は重ならない、請求項１に記載の方法。
3. 前記イメージフレームの前記イントラエンコーディング領域を前記拡大することは、
   前記イメージフレームの前記イントラエンコーディング領域を拡大し、前記ビデオストリーム内の、直前に参照されたイメージフレームのイントラエンコーディング領域と重ね合わせることを含む、請求項１又は２に記載の方法。
4. 前記現在のモーションのレベルが、前記第１の閾値を超えている場合、
   前記現在のモーションのレベルが、第２の閾値（５０８）であって、前記第１の閾値より大きい前記第２の閾値を超えている場合、
   前記イメージフレームの前記イントラエンコーディング領域を拡大し、前記複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、第１の程度（４０２ｃ、５１２）に重ね合わせることと、
   前記現在のモーションのレベルが、前記第２の閾値を超えていない場合、
   前記イメージフレームの前記イントラエンコーディング領域を拡大し、前記複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、第２の程度（４０２ｂ、５１０）であって、前記第１の程度の方が大きい前記第２の程度に重ね合わせることと、
   をさらに含む、請求項１から３のいずれか一項に記載の方法。
5. 前記イントラエンコーディング領域は、１つ又はそれ以上のスライス又はタイルにより定められており、前記拡大したイントラエンコーディング領域は、１つ又はそれ以上のスライス又はタイルにより定められている、請求項１から４のいずれか一項に記載の方法。
6. 前記あらかじめ定められた定期的なイントラリフレッシュパターンは、２つの連続するイメージフレームの間を、垂直方向又は水平方向にのみ変位しているイントラエンコーディング領域を定める、請求項１〜５のいずれか一項に記載の方法。
7. 前記あらかじめ定められた定期的なイントラリフレッシュパターンは、垂直方向に変位しているイントラエンコーディング領域を定め、
   前記イメージフレームの前記イントラエンコーディング領域を前記拡大することは、前記イメージフレームの前記イントラエンコーディング領域の高さを上げることを含む、
   請求項６に記載の方法。
8. 前記あらかじめ定められた定期的なイントラリフレッシュパターンは、水平方向に変位しているイントラエンコーディング領域を定め、
   前記イメージフレームの前記イントラエンコーディング領域を前記拡大することは、前記イメージフレームの前記イントラエンコーディング領域の幅を広げることを含む、
   請求項６に記載の方法。
9. 前記現在のモーションのレベルが、前記第１の閾値を超えていない場合、残りのイメージフレームのインターフレームエンコーディングに対するモーションベクトル検索範囲を、現在の検索範囲から、あらかじめ定められた検索範囲に調整すること（Ｓ１２）をさらに含む、請求項１から８のいずれか一項に記載の方法。
10. 前記現在のモーションのレベルが、前記第２の閾値を超えている場合、前記残りのイメージフレームの前記インターフレームエンコーディングに対する前記モーションベクトル検索範囲を、前記第１の程度に対応して調整すること（Ｓ１２）と、
    前記現在のモーションのレベルが、前記第２の閾値を超えていない場合、前記残りのイメージフレームの前記インターフレームエンコーディングに対する前記モーションベクトル検索範囲を、前記第２の程度に対応して調整すること（Ｓ１２）と、
    をさらに含む、請求項４に記載の方法、又は、請求項４に従属する場合、請求項５から９のいずれか一項に記載の方法。
11. ビデオストリームの複数のイメージフレーム（１０２）をイントラリフレッシュエンコーディングするよう構成されたエンコーダであって、前記イントラリフレッシュエンコーディングは、イントラエンコードされるべき、イメージフレーム（１０２ａ〜ｃ）の領域（１０４ａ〜ｃ）を定める、あらかじめ定められた定期的なイントラリフレッシュパターン（１００ａ〜ｄ）に基づいており、
    シーン内の現在のモーションのレベルを受信すること（Ｓ０２）と、
    前記イメージフレームのイントラエンコーディング領域（１０４ａ〜ｃ）を、前記あらかじめ定められた定期的なイントラリフレッシュパターンにしたがって判定すること（ｓ０４）と、
    前記現在のモーションのレベルが、第１の閾値（５０６）を超えていない場合、
    前記イメージフレームの前記イントラエンコーディング領域をイントラエンコードすること（Ｓ１４）と、
    前記イントラエンコーディング領域とは異なる、前記イメージフレームの領域をインターフレームエンコードすること（Ｓ１６）と、
    前記現在のモーションのレベルが、前記第１の閾値を超えている場合、
    前記イメージフレームの前記イントラエンコーディング領域を拡大し、前記複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、判定した程度（３０２ｃ、４０２ｂ、４０２ｃ）に重ね合わせること（Ｓ０８）と、
    前記イメージフレームの、前記拡大したイントラエンコーディング領域をイントラエンコードすること（Ｓ１４）と、
    前記拡大したイントラエンコーディング領域とは異なる、前記イメージフレームの領域をインターフレームエンコードすること（Ｓ１６）と、
    を行うよう構成されたプロセッサを含む、エンコーダ。
12. 前記プロセッサは、
    前記現在のモーションのレベルが、第２の閾値（５０８）であって、前記第１の閾値より大きい前記第２の閾値を超えている場合、
    前記イメージフレームの前記イントラエンコーディング領域を拡大し、前記複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、第１の程度（４０２ｂ）に重ね合わせることと、
    前記現在のモーションのレベルが、前記第２の閾値を超えていない場合、
    前記イメージフレームの前記イントラエンコーディング領域を拡大し、前記複数のイメージフレームの中の、以前にエンコードされたイントラエンコーディング領域と、第２の程度（４０２ｃ）であって、前記第１の程度の方が大きい前記第２の程度に重ね合わせることと、
    を行うようさらに構成されている、請求項１１に記載のエンコーダ。
13. 前記プロセッサは、前記現在のモーションのレベルが、前記第１の閾値を超えていない場合、残りのイメージフレームのインターフレームエンコーディングに対するモーションベクトル検索範囲を、現在の検索範囲から、あらかじめ定められた検索範囲に調整すること（Ｓ１２）を行うようさらに構成されている、請求項１１又は１２に記載のエンコーダ。
14. ビデオ撮像デバイスと、
    モーションデテクタと、
    請求項１１から１３のいずれか一項に記載のエンコーダと、
    を含み、
    前記ビデオ撮像デバイスは、シーンを描くビデオストリームであって、複数のイメージフレームを含むビデオストリームを撮像し、前記ビデオストリームの前記イメージフレームを、前記モーションデテクタ及び前記エンコーダに連続して送信するよう構成されており、
    前記モーションデテクタは、前記受信したイメージフレーム内のイメージデータに基づく、前記撮像したイメージフレーム内の現在のモーションのレベルを連続して検出し、前記現在のモーションのレベルを前記エンコーダに送信するよう構成されている
    システム。
15. 処理機能を有するデバイスにより実行されると、請求項１から１０のいずれか一項に記載の方法を実施するよう構成されている命令を保存しているコンピュータ可読記憶媒体を含む、コンピュータプログラム製品。

Images