JP2021101533A - 凸および凹分布関数を使用する複数の画像フレームのイントラリフレッシュエンコーディングのための方法 - Google Patents

Abstract

【課題】イントラリフレッシュエンコーディング方法およびエンコーダーを提供する。【解決手段】方法は、ピクセルのブロックが関心領域に空間的に対応すると判定すると、同ブロックのイントラリフレッシュの確率を、直前の空間的に対応するピクセルのブロックがリフレッシュされて以来、どれだけの数の画像フレームがビデオフレーム内で通過したかを規定するフレームカウントに基づいて決定する分布関数を凸形状を有する分布関数に対応させ、ピクセルのブロックが関心領域に対応しないと判定すると、イントラリフレッシュの確率を凹形状の分布関数に対応させる。【選択図】図１

Description

本発明は、ビデオエンコーディングに関し、特に、直前のリフレッシュ以来の画像フレームのカウントに基づき、かつ、凸状または凹状の分布関数を通して調節される、画像フレームの細分化物（ｓｕｂｄｉｖｉｓｉｏｎ）のイントラリフレッシュの確率に適応することができる方法およびエンコーダーに関する。

Ｈ．２６４エンコーディングおよびインターフレーム予測（ｉｎｔｅｒ ｆｒａｍｅ ｐｒｅｄｉｃｔｉｏｎ）を利用する他の圧縮規格（ｃｏｍｐｒｅｓｓｉｏｎ ｓｔａｎｄａｒｄ）に関する一般的な問題は、Ｉフレームビットレートスパイクである。この問題は、しばしば監視カメラについてより悪く、なぜならば、膨大な数のカメラが同じネットワーク上に存在する場合があり、また、典型的な監視シーンが、非常に大きい（×１０〜×１００）Ｉフレーム対Ｐフレームサイズ比を有するからである。理想的には、ネットワークは一定ビットレートを好むことになる。

カメラについてのビットレートスパイクを低減する１つの解決策は、複数の画像フレームにわたってＩフレームを分散させ、代わりに、各画像フレームの一部（イントラリフレッシュ領域）を、Ｉブロックとしてエンコードさせることである。イントラリフレッシュ領域は、画像フレームのセットにわたって画像フレームを横切って移動し、それにより、画像を「リフレッシュする（ｒｅｆｒｅｓｈｉｎｇ）」。この方法は、周期的イントラリフレッシュまたはジャストイントラリフレッシュ（ｊｕｓｔ ｉｎｔｒａ ｒｅｆｒｅｓｈ）と呼ばれる。

イントラリフレッシュエンコーディングは、比較的スムーズなビットレートを達成し、伝送損失によって引き起こされる誤差伝搬を終わらせるまたは低減することができる。イントラリフレッシュの高レートは、ビデオストリームにおける事象の検出および微細な詳細の保持のために好ましい。しかしながら、より高いリフレッシュレートは同様に、より高いビットレート要件を伴う。イントラリフレッシュエンコーディングならびにフルフレームリフレッシュエンコーディング（例えば、イントラフレームエンコーディング）を利用する別の懸念は、ビットレートが、典型的に、画像フレーム全体にわたって均等に分配され、関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）に応じていないことである。

したがって、技術的分野内での改善の余地が存在する。

イントラリフレッシュエンコーディングの改善された方法を提供することが本発明の目的である。特に、そのビットレート割り当てにおいてＲＯＩ依存性があるイントラリフレッシュエンコーディングに対する改善を有する方法、エンコーダー、ソフトウェア、およびモニタリングシステムを提供することが目的である。

本発明の第１の態様によれば、ビデオストリームの画像フレームのシーケンスのイントラリフレッシュエンコーディングのための方法が提供される。方法は、複数の分布関数を決定することを含む。複数の分布関数内で、各分布関数は、ビデオストリーム内の画像フレームの処理ユニットのイントラリフレッシュの確率を、ビデオストリーム内の直前の画像フレームの空間的に対応する処理ユニットがイントラリフレッシュされて以来、通過したフレームの数に対して規定する。複数の分布関数の第１の分布関数は凸形状を有する累積分布関数に対応する。複数の分布関数の第２の分布関数は凹形状を有する累積分布関数に対応する。

方法は、ビデオストリームに含まれる画像フレームを受信することをさらに含む。

受信された画像フレーム内の各処理ユニットについて、方法は、
・ビデオストリーム内の直前の画像の空間的に対応する処理ユニットがイントラリフレッシュされて以来、どれだけの数の画像フレームがビデオストリーム内で通過したかを規定するフレームカウントを決定すること、
・処理ユニットが、画像フレームの高関連性（ｈｉｇｈ ｒｅｌｅｖａｎｃｅ）エリアに対応するか、低関連性エリアに対応するかを判定すること、
・処理ユニットが高関連性エリアに対応すると判定すると、処理ユニットがイントラリフレッシュされるべきか否かを判定するために、決定されたフレームカウントに関して第１の分布関数を適用すること、
・処理ユニットが低関連性エリアに対応すると判定すると、処理ユニットがイントラリフレッシュされるべきか否かを判定するために、決定されたフレームカウントに関して第２の分布関数を適用すること、
・処理ユニットが、イントラリフレッシュされると判定される場合、受信された画像フレームの処理ユニットをイントラエンコードすること
をさらに含む。

イントラエンコーディングまたはイントラフレームエンコーディングは、例えば、色と、隣接するまたは近傍のピクセルとの比較によって、デジタル画像フレーム内のピクセルの空間的冗長性を利用することを指す。用語、イントラフレームコーディングは、ビデオシーケンス内の任意の他のフレームに対してではなく、現在のフレーム内のみに含まれる情報に対して種々の損失のないおよび損失のある圧縮技法が実施されることを指す。

エンコーディングのために、または、エンコーダーによって、画像フレームは、複数の処理ユニットに細分化することができる。処理ユニットは、概して、複数のピクセルを含むことができる。処理ユニットについての代替の呼称の例は、例えば、ピクセルの群、マクロブロック（ＭＢ：ｍａｃｒｏｂｌｏｃｋ）、ピクセルのブロック（ＢＯＰ：ｂｌｏｃｋ ｏｆ ｐｉｘｅｌ）、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）、およびスーパーブロックを含む。画像フレームは、多数の同じサイズの処理ユニットに細分化することができる。処理ユニットは、画像フレームを横切ってサイズが変動する場合もある。処理ユニットは、ビデオストリーム内の直前のおよび後続のフレームに空間的に対応することができる。これによって、処理ユニットが、後続の画像フレームについて、部分的にオーバーラップする、完全にオーバーラップする、変化しないままである、または少なくとも画像フレームの同じ空間エリア内にあることができることを理解することができる。処理ユニットは、例えば、ビデオストリーム内の可動対象に追従するために、または、ビデオストリームを取り込むソースデバイスの移動を反映するために、後続の画像フレーム間でサイズおよび位置が変化する場合がある。

ＲＯＩ検出／決定は、上記エリアが観察者にとってどれほど関連性があるかに応じた、画像フレームの異なる空間エリアまたは処理ユニットの検出および分類に関する。関連性がどのように決定されるか、および、これのために使用される基準は、用途と共に変動する場合がある。ＲＯＩ検出を利用する１つのエンコーディング法は、Ａｘｉｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓによって提供されるＺｉｐｓｔｒｅａｍアルゴリズムである。このアルゴリズムの所定の部分は、例えば、参照により組み込まれる番号ＥＰ３０２１５８３を有する欧州特許出願に記載される。Ｚｉｐｓｔｒｅａｍアルゴリズムは、ピクセル冗長性などの空間的局面およびフレーム間の描写対象の移動などの時間的局面を検討する。

画像フレーム内のエリアの関連性は、ＲＯＩ閾値を用いた定量的または定性的比較によって決定することができる。閾値は、画像フレームを、例えば、高関連性エリア、低関連性エリア、および中程度関連性エリアに分割するために使用することができる。

フレームの数またはフレームカウントは、画像フレームの空間エリア、例えば、処理ユニットが、最後にイントラリフレッシュされて（すなわち、強制的にイントラエンコードされて）以来のビデオストリーム内のフレームの数を指す。

累積的分布関数（ＣＤＦ：ｃｕｍｕｌａｔｉｖｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ）は、事象が、或る入力値について起こることになる０〜１００％確率に対応する０〜１の値を出力する。本出願において、事象は、画像フレーム内の処理ユニットがイントラリフレッシュされるべきか否かであり、入力値は、画像フレームの空間エリアまたは対応する処理ユニットが最後にイントラリフレッシュされて以来のフレームのカウントである。

凸および凹形状によって、ＣＤＦ曲線が、凸の場合に負の２次微分を有するまたは凹の場合に正の２次微分を有することが示唆される。ＣＤＦは、部分的にまたは完全に凸または凹である場合に、それぞれ凸または凹であると考えることができる。凸のＣＤＦの例は、完全に凸である指数分布ＣＤＦである。少なくとも部分的に凹のＣＤＦの例は、凸になる前に最初に（原点から始まる）凹であり、１００％確率に達する前にフラットになる正規分布ＣＤＦである。凸または凹確率をもたらす他の数学的関数が、本明細書で論じるＣＤＦの例に加えて、本発明を実施するために使用することができることを理解することができる。分布関数は、必ずしも数学的関数に基づかないルックアップテーブルによって規定される可能性もある。曲線のｘ軸は、離散的ステップでフレームに対応するため、テーブルは、最も長い許容可能なイントラリフレッシュレートより多くの個々の値を必要としないとすることができる。

画像フレームの高関連性エリアに対する、実質的に凸である第１の分布関数の適用は、低いフレームカウントにおいてさえも、イントラリフレッシュの確率を上げることができる。これは、最も関連性があるところで、ビデオストリーム品質を維持し、フレーム内の関心のある詳細の良好な保持を可能にする。換言すれば、高関連性エリア内の処理ユニットは、比較的より頻繁にイントラリフレッシュされることになる。

画像フレームの低関連性エリアに対する、実質的に凹である第２の分布関数の適用は、イントラリフレッシュの確率を下げることができる。これは、ビットレート使用を、例えば、高関連性エリアなどの他のデータのために使用されるように保存する。第２の分布関数は、低関連性エリアがフリーズするのではなく、最終的にかつ予測可能にリフレッシュすることを仮定すると、最終的に同様に、或る数のフレームが通過した後にイントラリフレッシュの確率のより高い確率に達することになる。

有利には、本実施形態は同様に、データ伝送チャネルのビットレート容量に一致するかまたはその他の方法でビットレート要件を設定するために、ビットレートの複雑度の低い調整を容易にする。

さらに、対応する処理ユニットの関連性が画像フレーム間で変化する場合、本実施形態は、処理ユニットのイントラリフレッシュ確率間の複雑度の低い移行を可能にする。

幾つかの実施形態によれば、第１の分布関数は、第１の閾値フレーム数後に、処理ユニットのイントラリフレッシュの１００％確率を規定する。第２の分布関数は、第２の閾値フレーム数後に、処理ユニットのイントラリフレッシュの１００％確率を規定する。第１の閾値フレーム数は第２の閾値フレーム数より小さい。

そのような実施形態は、プリセットされた閾値でイントラリフレッシュの１００％確率に達するように分布関数を本質的に構成することによって、イントラリフレッシュプロセスに対する信頼性、柔軟性、および予測可能性を提供する。有利には、ＣＤＦは、高関連性エリアのイントラリフレッシュを十分なレートで同様に提供しながら、ビットレート要件を満たすように調整可能である。そのため、低関連性エリアの平均リフレッシュレートは、高関連性エリアを犠牲にすることなく高く保つことができる。

幾つかの実施形態によれば、第１の分布関数は、第１の閾値フレーム数後に、処理ユニットのイントラリフレッシュの１００％確率を規定する。第２の分布関数は、第２の閾値フレーム数後に、処理ユニットのイントラリフレッシュの１００％確率を規定する。第１の閾値フレーム数は第２の閾値フレーム数と同じである。

そのような実施形態は、低関連性および高関連性処理ユニットが共に、共通のフレーム数を有することができ、遅くともその共通のフレーム数後に、両方の処理ユニットが常にイントラリフレッシュすることになることを保証する。この実施形態の１つの利点は、ビデオが、ピクチャー群（ＧＯＰ：ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ）長におおよそ対応する最低リフレッシュレートで更新することができることである。そのため、特定の画像フレームをロードしようと試みると、ロードされなければならない直前の画像フレームの数が低く保たれる。これは、記録されたビデオストリームにおいてスクラビング（データスクラビング、メモリスクラビング）を行うときに特に有用である。

幾つかの実施形態によれば、方法は、ビデオストリーム内の画像フレームについて低関連性エリアと高関連性エリアとの比を受信するステップをさらに含む。第１および第２の分布関数は、受信された比を考慮して決定することができる。

比は、例えば、現在の画像フレーム内の高関連性エリアの数と低関連性エリアの数と比であるとすることができる。そのような実施形態は、ビットレートの効率的な分配を可能にする。この実施形態によって、実質的に変化するのではなく、むしろ、利用可能なビットレート資源を各画像フレーム内で最適に分配するバランスのとれたまたは一貫性のあるビットレートを達成することが可能である。

幾つかの実施形態によれば、第１および第２の分布関数は、平均して、実質的に同じ数の処理ユニットが、ビデオストリームの各画像フレームについてイントラリフレッシュされると判定されるように構成される。

同じ数の処理ユニットが１画像フレームについてイントラリフレッシュされることは、著しく変動しない安定したビットレートを達成することに実質的に相関することができる。これは、例えば、第１および第２の分布関数の形状／勾配を規定するための値を変更すると共に、ＣＤＦが処理ユニットのイントラリフレッシュの１００％確率を規定する任意の閾値フレーム数を調節することによって達成することができる。

幾つかの実施形態によれば、複数の分布関数は、直線形状を有する累積分布関数である第３の分布関数を含む。方法は、その後、受信された画像フレーム内の各処理ユニットについて、
・処理ユニットが、画像フレームの中程度関連性エリア（ｍｅｄｉｕｍ ｒｅｌｅｖａｎｃｅ ａｒｅａ）に対応するか否かを判定すること、
・処理ユニットが中程度関連性エリアに対応すると判定すると、処理ユニットがイントラリフレッシュされるべきか否かを判定するために、決定されたフレームカウントに関して第３の分布関数を適用すること
をさらに含む。

低関連性エリアと高関連性エリアとの間のそのような中間（ｍｉｄｄｌｅ ｇｒｏｕｎｄ）は、エンコーディングについてより高い柔軟性を提供することができ、なぜならば、ビットレート使用を最適化するまたはバランスさせるために、ＲＯＩ分類の３つ以上の関連性レベルを使用することができるからである。

幾つかの実施形態によれば、方法は、ビデオストリームの各画像フレームについて、画像フレーム内の各処理ユニットの関連性レベルを示すデータを受信するステップをさらに含む。

これらの実施形態は、関連性レベルを更新するための分散型実装アーキテクチャを本質的に容易にすることができる。そのため、関連性レベルの計算を、別個のデバイスまたはユニットによって実施することができる。

幾つかの実施形態によれば、方法は、ビデオストリームの各画像フレームについて、
・処理ユニット内のピクセル値の和、平均、又は中央値を計算するステップであって、それにより、処理ユニットについて群値を形成する、計算するステップと、
・画像フレーム内の空間的に隣り合う処理ユニットの群値の間の差を計算するステップであって、それにより、各処理ユニットを差値に関連付ける、計算するステップと、
・関連付けられた差値を所定の閾値と比較することによって、画像フレーム内の各処理ユニットの関連性レベルを決定するステップとをさらに含む。上記差値が上記閾値以上である場合、処理ユニットは、高関連性エリアに対応するとして識別される。代替的に、上記差値が上記閾値より小さい場合、処理ユニットは、低関連性エリアに対応するとして識別される。

そのような実施形態は、処理ユニットの関連性レベルを決定するために、処理ユニット内のピクセルの特徴、例えば、ピクセルの色、輝度、またはコントラストについての平均値を使用することができることを提供する。

幾つかの実施形態によれば、方法は、ビデオストリームの各画像フレームについて、
・処理ユニット内のピクセル値の和、平均、又は中央値を計算するステップであって、それにより、処理ユニットについて群値を形成する、計算するステップと、
・画像フレーム内の空間的に隣り合う処理ユニットの群値の間の差を計算するステップであって、それにより、各処理ユニットを差値に関連付ける、計算するステップと、
・関連付けられた差値を第１および第２の所定の閾値と比較することによって、画像フレーム内の各処理ユニットの関連性レベルを決定するステップとをさらに含む。上記差値が第１の閾値以上である場合、処理ユニットは、高関連性エリアに対応するとして識別される。代替的に、上記差値が第１の閾値と第２の閾値との間にある場合、処理ユニットは、中程度関連性エリアに対応するとして識別される。さらに代替的に、上記差値が第１の閾値および第２の閾値より小さい場合、処理ユニットは、低関連性エリアに対応するとして識別される。

そのような実施形態は同様の利点を伴う、なぜならば、処理ユニットの関連性レベルを決定するために、処理ユニット内のピクセルの特徴、例えば、ピクセルの色、輝度、またはコントラストについての平均値を使用することができるからであり、しかしながら、ここで、多数の関連性レベルがアクセス可能である。画像内の異なるエリアのよりきめ細かいイントラリフレッシュレートが、こうして達成される。

幾つかの実施形態によれば、画像フレームの処理ユニットは、１つまたは複数のマクロブロック、コーディングツリーユニット、またはスーパーブロックからなる。

これは、これらのタイプの処理ユニットが多くのビデオストリームフォーマットおよびエンコーディング法に適合することができるため、有利であるとすることができる。

幾つかの実施形態によれば、ビデオストリームは、第１および第２の直後の画像フレームを含む。第１の画像フレームについて、第１の処理ユニットは、高関連性エリアに対応すると判定される。第１の処理ユニットについて、第１の分布関数は、第１の処理ユニットがイントラリフレッシュされるべきか否かを判定するために適用される。第２の画像フレームについて、第１の処理ユニットに空間的に対応する第２の処理ユニットは、低関連性エリアに対応すると判定され。第２の処理ユニットについて、第２の分布関数は、第２の処理ユニットがイントラリフレッシュされるべきか否かを判定するために適用される。

これらの実施形態は、ビデオストリームの後続の画像フレーム内の空間的に対応する処理ユニットについてリフレッシュ確率曲線の間の迅速な移行を指定する。より具体的には、凸状曲線（第１の分布関数）から凹状曲線（第２の分布関数）への移行が指定される。有利には、本実施形態は、複雑度の低いかつ信頼性のある方法で、画像フレームの空間的に対応する処理ユニットの関連性レベルの突然の変化を扱う。

これのさらなる利点は、最後のリフレッシュ以来のカウンタが、分布関数の間で変化するときでも、保つことができることである。これは、それらの変化中の不必要に頻繁なリフレッシュを回避することができることを保証し、そのことは、ビットレートを低くするため、すばらしい。同時に、２つのリフレッシュ間の時間は、現在の分布関数によって要求されるよりも長くならないことになる。

幾つかの実施形態によれば、ビデオストリームは、第１および第２の直後の画像フレームを含む。第１の画像フレームについて、第１の処理ユニットは、低関連性エリアに対応すると判定される。第１の処理ユニットについて、第２の分布関数は、第１の処理ユニットがイントラリフレッシュされるべきか否かを判定するために適用される。第２の画像フレームについて、第１の処理ユニットに空間的に対応する第２の処理ユニットは、高関連性エリアに対応していると判定される。第２の処理ユニットについて、第１の分布関数は、第２の処理ユニットがイントラリフレッシュされるべきか否かを判定するために適用される。

これらの実施形態は同様に、リフレッシュ確率曲線の間の迅速な移行を指定するが、ここで、移行は、凹状曲線（第２の分布関数）から凸状曲線（第１の分布関数）へのものである。有利には、本実施形態は、複雑度の低いかつ信頼性のある方法で、画像フレームの空間的に対応する処理ユニットの関連性レベルの突然の変化を扱う。

この実施形態は、特に、ビデオストリームの直前に関心がない部分が、単一フレーム更新によって関連性を持つ場合に有利であることになる。これは、例えば、処理ユニット、そしておそらく、さらに隣接する処理ユニットの全てのピクセル色が瞬時に変化する場合、または、画像フレームの空間エリア内の対象の移動が突然増加する場合、当てはまる可能性がある。これらの発生は共に、関連性のある処理ユニットまたは空間エリアにおけるイントラフレッシュ確率の即座の増加についての必要性を引き起こす場合がある。

本発明の第２の態様によれば、非一時的コンピュータ可読記録媒体を備えるコンピュータプログラム製品が提供され、非一時的コンピュータ可読記録媒体は、処理能力を有するデバイスによって実行されると本発明の第１の態様による方法を実施するように適合されたコンピュータコード命令が、非一時的コンピュータ可読記録媒体上に記録されている。

そのようなコンピュータプログラム製品は、本発明の第１の態様によって上記で提供された方法を使用可能にし、したがって、同様の利点を伴う。

本発明の第３の態様によれば、ビデオストリームの画像フレームのシーケンスのイントラリフレッシュエンコーディングのためのエンコーダーが提供される。エンコーダーは、複数の分布関数を決定するように構成される回路を備え、各分布関数は、ビデオストリーム内の画像フレームの処理ユニットのイントラリフレッシュの確率を、ビデオストリーム内の直前の画像フレームの空間的に対応する処理ユニットがイントラリフレッシュされて以来、通過したフレームの数に対して規定する。複数の分布関数の第１の分布関数は凸形状を有する累積分布関数に対応する。複数の分布関数の第２の分布関数は凹形状を有する累積分布関数に対応する。エンコーダー回路は、ビデオストリームに含まれる画像フレームを受信するようにさらに構成される。受信された画像フレーム内の各処理ユニットについて、エンコーダー回路は、
・ビデオストリーム内の直前の画像の空間的に対応する処理ユニットがイントラリフレッシュされて以来、どれだけの数の画像フレームがビデオストリーム内で通過したかを規定するフレームカウントを決定し、
・処理ユニットが、画像フレームの高関連性エリアに対応するか、低関連性エリアに対応するかを判定し、
・処理ユニットが高関連性エリアに対応すると判定すると、処理ユニットがイントラリフレッシュされるべきか否かを判定するために、決定されたフレームカウントに関して第１の分布関数を適用し、
・処理ユニットが低関連性エリアに対応すると判定すると、処理ユニットがイントラリフレッシュされるべきか否かを判定するために、決定されたフレームカウントに関して第２の分布関数を適用し、
・処理ユニットが、イントラリフレッシュされると判定される場合、受信された画像フレームの処理ユニットをイントラエンコードする
ようにさらに構成される。

そのようなエンコーダーは、本発明の第１の態様によって提供される方法を使用可能にし、したがって、同様の利点を伴う。

当業者によって理解されるように、エンコーダーの回路は、１つまたは複数のプロセッサ、ＡＳＩＣなど、またはプロセッサ、ＡＳＩＣの組み合わせによって具現化することができる。

本発明の第４の態様によれば、画像センサおよび本発明の第３の態様によるエンコーダーを備えるモニタリングデバイスが提供される。エンコーダーは、画像センサによって取り込まれる画像フレームを連続して受信するように構成される。

そのようなモニタリングデバイスは、本発明の他の態様によって提供される方法、コンピュータプログラム製品、およびエンコーダーを利用することができ、したがって、同様の利点を伴うことができる。特に、ビットレートの利点は、リモートモニタリングデバイス、任意選択で、複数のモニタリングデバイスを有するモニタリングシステムの一部にとって好ましく、そこでは、大量のデータが、画像センサによって記録され、その後、有線または無線で中央制御ステーションに送信される。そのようなシステムにおいて、伝送帯域幅、したがって同様にビットレートを制限することができる。予測不能なビットレート変動は問題となる場合もあり、経時的に一定のビットレート使用が好ましい。これは、複数のモニタリングデバイスを有するシステムにさらに一層当てはまる。

第２、第３、および第４の態様は、概して、第１の態様と同じ特徴および利点を有することができる。本発明が、別段に明示的に述べない限り、特徴の全ての考えられる組み合わせに関することがさらに留意される。

本発明の上記のならびにさらなる目的、特徴、および利点は、同じ参照符号が同様の要素のために使用されることになる添付図面を参照して、本発明の好ましい実施形態の例証的でかつ非制限的な以下の詳細な説明を通してよりよく理解されるであろう。

イントラリフレッシュが実施されるべきか否かを判定するために、凸および凹分布関数を高低関連性エリアおよび低関連性エリアにそれぞれ適用することを伴う、ビデオストリームの画像フレームのイントラリフレッシュエンコーディングのための方法についてのフローチャートである。 幾つかの実施形態のオプションのステップを含むイントラリフレッシュエンコーディングのための方法についてのフローチャートである。 第３の中程度の関連性レベルを含む、幾つかの実施形態によるイントラリフレッシュエンコーディングのための方法についてのフローチャートである。 実施形態による、処理ユニットが高関連性レベルを有するべきか、低関連性レベルを有するべきかを判定する方法についてのフローチャートである。 実施形態による、処理ユニットが高関連性レベルを有するべきか、中程度関連性レベルを有するべきか、または低関連性レベルを有するべきかを判定する方法についてのフローチャートである。 凸形状を有する指数分布ＣＤＦ曲線の例を示す図である。 凹形状および凸形状の両方を有する正規分布ＣＤＦ曲線の例を示す図である。 閾値を有する指数分布ＣＤＦ曲線の例を示す図である。 閾値を有する正規分布ＣＤＦ曲線の例を示す図である。 直線ＣＤＦ曲線の例を示す図である。 高関連性、中程度関連性、および低関連性の幾つかの処理ユニットに細分化された画像フレームを示す図である。 画像センサおよびエンコーダーを備えるモニタリングデバイスを概略的に示す図である。 垂直カットオフを有する正規分布ＣＤＦを示す図である。 水平カットオフを有する正規分布ＣＤＦを示す図である。

本発明は、ここで、本発明の実施形態が示される添付図面を参照して、以降でより完全に述べられる。本明細書で開示されるシステムおよびデバイスは、動作中に述べられる。

図１は、ビデオストリームの画像フレームのシーケンスのイントラリフレッシュエンコーディングのための方法についてのフローチャートを示す。例示的な画像フレーム２００が図１１に示される。ビデオストリームは、理想的には途切れがない、画像フレームの短いシーケンス、例えば、数秒長のまたは連続するストリームを含むことができる。ビデオストリームは、カメラなどの画像センサを有するデバイスから生じることができる。画像センサは、シーンを連続してまたは断続的に記録するモニタリングデバイスの一部としてセットアップすることができる。したがって、ビデオストリームは、シーンを描写する画像フレームを含むことができる。

図１１は、画像フレーム２００の空間エリアに対応する少なくとも１つの処理ユニット２１０を含む画像フレーム２００を示す。図の例において、画像フレーム２００は、同じサイズの正方形処理ユニットに細分化される。

画像フレームのシーケンス内の第２の画像フレーム（図示せず）は、第１の画像フレーム１００の処理ユニット２１０に空間的に対応する処理ユニットを含む。これによって、その処理ユニットは、第１の画像フレームの処理ユニットと、同一である、すなわち、サイズ、形状、および位置が同一である、または、第１の画像フレームの処理ユニットに完全にまたは部分的にオーバーラップするだけであるとすることができる。空間的対応は、画像フレームのピクセル座標に基づいて決定することができる。ピクセル座標は、形式（ｘ，ｙ）で記述することができる。第１のピクセル座標値ｘは、例えば、画像フレームの垂直エッジに対する水平位置を決定することができ、第２のピクセル座標値ｙは、例えば、画像フレームの水平エッジに対する垂直位置を決定することができる。

例えば、ピクセル（１，１）からピクセル（３０，２０）までの矩形を、第１の画像フレームの処理ユニットであるとすることができる。第２の画像フレームの処理ユニットがピクセル（１，１）からピクセル（３０，２０）までの矩形に対応する場合、処理ユニットは同一である。第２の画像フレームの処理ユニットがピクセル（１０，１０）からピクセル（３０，３０）までの正方形に対応することになる場合、処理ユニットが互いにオーバーラップすることを意味するになる。これらの場合の両方ならびに他の場合において、第２の画像フレームの処理ユニットは第１の画像フレームの処理ユニットに空間的に対応する。

変化する寸法、サイズ、および／または位置を有する処理ユニット２１０は、動的処理ユニットと呼ぶことができる。処理ユニットは、経時的に寸法、サイズ、および／または位置を変更するようにセットアップすることができる。

動的処理ユニット、例えば、サイズが変化することができる処理ユニット２１０によって、画像の任意に小さい部分が最後にリフレッシュされたときを追跡することが適切である場合がある。幾つかのシナリオにおいて、個々のピクセルでさえも、個々のピクセルに関連するカウンタを有する可能性がある。動的処理ユニットサイズは、動的カウンタエリアサイズ、または、処理ユニット２１０の変化が対処されることができるほどに小さいカウンタエリア（マクロブロックなど）を意味することになる。

動的処理ユニットサイズのさらなる示唆は、処理ユニット２１０の異なるサブエリアが、リフレッシュ以来、異なる数のフレームを有する場合があることである。これを扱う方法は、処理ユニット２１０内の最も高いカウンタを使用することである場合がある。より進んだ解決策は、異なる年齢間の割合（ｐｒｏｐｏｒｔｉｏｎ）が曲線の選択および／または形状に影響を及ぼすようにさせることである場合がある。

画像フレーム２００の処理ユニット２１０は、１つまたは複数のマクロブロック、コーディングツリーユニット、またはスーパーブロックを含むまたはそれからなるとすることができる。換言すれば、処理ユニット２１０は少なくとも１つのピクセルの群を含む。

方法は、複数の分布関数を決定するＳ０２ステップを含み、各分布関数は、ビデオストリーム内の画像フレーム２００の処理ユニット２１０のイントラリフレッシュの確率ｐ（図６〜１０においてｐと呼ばれる）を、ビデオストリーム内の直前の画像フレームの空間的に対応する処理ユニットがイントラリフレッシュされて以来、通過したフレームの数ｆｃ（図６〜１０においてｆｃと呼ばれる）に対して規定する。フレームの数ｆｃは、起こった最後のリフレッシュ事象をルックアップテーブル内に記録し記憶することができるため、フレームカウントとも呼ばれる。ルックアップテーブルは、こうして、各処理ユニットについて最新のリフレッシュフレームの指示を含むことができる。換言すれば、ルックアップテーブルは、こうして、各処理ユニットについて、処理ユニットの最新のイントラリフレッシュ以来、どれだけの数のフレームが通過したかについての指示を含むことができる。

フレームカウントｆｃを、１処理ユニット２１０について記録し記憶することができる。フレームカウントｆｃを、画像フレームの１ピクセルについて記録し記憶することができる。１ピクセルについてのフレームカウントの平均または中央値を、計算し、評価されたピクセルを含む画像フレーム２００の処理ユニット２１０または空間エリアについてのフレームカウント値として使用することができる。１ピクセルについてのフレームカウントｆｃの平均または中央値は、処理ユニットサイズまたは寸法の変更を容易にするために使用することができる。

平均／中央値フレームカウントｆｃを使用することに対する代替法は、最も高いフレームカウントｆｃを全処理ユニット２１０について使用させることである。大多数のピクセルがフレームカウントｆｃを共有する場合、そのフレームカウントは、他のフレームカウントｆｃを考慮することなく、全処理ユニット２１０について使用される可能性がある。

フレームカウントｆｃは、時間の値に対応するものとして理解することができる。フレームカウントｆｃを、例えば、ビデオストリームのフレーム／秒（ＦＰＳ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）値で割ることによって、この時間値を計算することができる。

イントラリフレッシュの確率ｐは０または１の間の値であるとすることができ、ｐ＝０はイントラリフレッシュの０％確率に対応し、ｐ＝１はイントラリフレッシュの０％確率に対応する。確率ｐは、イントラリフレッシュ決定について決定的な真の又は偽の状態を出力するために、乱数発生（ＲＮＧ：ｒａｎｄｏｍ ｎｕｍｂｅｒ ｇｅｎｅｒａｔｉｏｎ）を通して調節することができる。

処理ユニットについてのフレームカウントｆｃは、ルックアップテーブルまたはフレームカウントマップに記憶することができる。したがって、動的処理ユニット寸法および位置は、より実行可能にされる。

複数の分布関数は、図６および図７にそれぞれ例示する、凸形状を有する第１の分布関数１１０および凹形状を有する第２の分布関数１２０を含む。複数の分布関数は、図１０の例によって示すように、直線形状を有する累積分布関数である第３の分布関数１３０をさらに含むことができる。複数の分布関数がなおさらなる分布関数を含むことができることを当業者は理解する。

第１の分布関数１１０は凸形状を有するＣＤＦに対応する。凸形状は、負値を有する、フレームカウントに対する第１の分布関数曲線の２次微分として記述することができる。形状は、完全にまたは部分的に凸であるとすることができる。第１の分布関数１１０は、幾つかの実施形態において、指数分布ＣＤＦの少なくとも所定の部分に対応する。図６は、指数分布ＣＤＦ曲線の例を示す。

指数分布ＣＤＦは、
ｐ＝１−ｅ^λｆｃ
として数学的に記述することができる。ここで、ｐはイントラリフレッシュの確率を示し、ｆｃはフレームカウントを示し、λは曲線が凸である程度を規定する任意の値を示す。図６の３つの曲線は、λについて異なる値を有する３つのＣＤＦ曲線を示す。破線はλについて最小の値を有し、点線はλについて最大の値を有し、実線は、破線の値と点線の値とのまさに中間のλについての値を有する。

図７の第２の分布関数は、ほぼ凹の形状を有するＣＤＦに対応する。凹形状は、正値を有する、フレームカウントに対する第２の分布関数曲線の２次微分として記述することができる。形状は、完全にまたは部分的に凹であるとすることができる。第２の分布関数１２０は、幾つかの実施形態において、正規分布ＣＤＦの少なくとも所定の部分に対応する。

図７は、考慮することができる正規分布ＣＤＦ曲線の例を示す。第２の分布関数１２０は、正規分布ＣＤＦの一部、例えば、確率ｐが０％に近づく、より低いフレームカウントｆｃ値に向かう凹部分として規定することができる。

正規分布ＣＤＦは、

として数学的に記述することができる。ここで、ｐはイントラリフレッシュの確率を示し、ｆｃはフレームカウントを示し、μは正規分布の平均に対応する任意の値を示し、σは正規分布の標準偏差に対応する任意の値を示す。μの値は、どのフレームカウントに曲線が中心を置くかを決定することができ、σの値は、曲線が、凸状と凹状の両方で傾斜する勾配（ｇｒａｄｅ）を決定することができる。図７の３つの曲線は、μについて同じ値を有するが、σについて異なる値を有する３つのＣＤＦ曲線を示す。破線はσについて最小の値を有し、点線はσについて最大の値を有し、実線は、破線の値と点線の値とのまさに中間のσについての値を有する。

本質的に、部分的にまたはその全体が、凸、凹、または直線である任意の曲線または関数を、第１、第２、および第３の分布関数１１０、１２０、１３０についてそれぞれ考えることができる。

分布関数１１０、１２０、１３０は、例えば、関数を垂直または水平に任意にオフセットさせること、曲線をミラーリングするまたはフリップすること、分布に掛ける任意の係数を導入することによって、使用前に調節することができる。上記の任意の組み合わせが同様に利用可能である。

第１の分布関数１１０は、第１の閾値フレーム数ｆｔ１後の処理ユニット２１０のイントラリフレッシュの１００％確率ｐを規定することができる。第２の分布関数は、第２の閾値フレーム数ｆｔ２後の処理ユニット２１０のイントラリフレッシュの１００％確率ｐを規定することができる。第１の閾値フレーム数ｆｔ１は第２の閾値フレーム数ｆｔ２より小さいとすることができる。第１の閾値フレーム数ｆｔ１は第２の閾値フレーム数ｆｔ２に等しいとすることができる。第１の閾値フレーム数ｆｔ１は同様に、第２の閾値フレーム数ｆｔ２より大きいとすることができる。閾値ｆｔ１、ｆｔ２は、時間の値に対応するものと理解することができる。閾値ｆｔ１、ｆｔ２を、例えば、ビデオストリームのＦＰＳ値で割ることによって、この時間値を計算することができる。

図８に示す第１の閾値フレーム数ｆｔ１は、イントラリフレッシュの１００％確率に少なくとも実質的に対応する最小フレームカウントｆｃに閾値ｆｔ１が対応するように曲線を水平に本質的に圧縮または伸長することによって、第１の分布関数１１０を規定するように選択することができる。

図９に示す第２の閾値フレーム数ｆｔ２は、イントラリフレッシュの１００％確率に少なくとも実質的に対応する最小フレームカウントｆｃに閾値ｆｔ２が対応するように曲線を水平に本質的に圧縮または伸長することによって、第２の分布関数１２０を規定するように選択することができる。

分布関数１１０、１２０、１３０は、例えば、特定のフレームカウントｆｃまたは確率値ｐに達した後に、曲線を、フレームカウントｆｃに対して確率ｐについての固定値と交換する閾値を含むこともできる。ｆｔ２にて垂直にカットオフされた正規分布ＣＤＦを示す図１３は、フレームカウント閾値を超える全てのフレームカウントｆｃが、どのように、例えば、ｐ＝１、すなわち、イントラリフレッシュの１００％確率に対応すると判定することができるかを示す。

閾値を選択することは、ｆｔ２またはｐ＝１にて水平にカットオフされた同様の正規分布ＣＤＦを示す図１４に示すように、上記関数においてｐ＝１のレベルを下げることによって達成される可能性もある。これは、曲線が、早期に１００％確率に達するようにさせることができる。これは、図７の例と対照的に、ｐ＝１に達するまで凹であるだけであるように曲線を制限することもできる。これは、ＣＤＦを従来的に規定されるものとしてではなく、ＣＤＦの形状を使用することとして理解することができ、したがって、ＣＤＦを、ｐ＞１の値について規定することができない。レベルｐ＝１を下げることは、グラフ内のｐ軸上の値を単に緩勾配化する（ｇｒａｄｅ）ことによって達成することができる。緩勾配化は、曲線上のポイントについて全てのｐ値を乗算することを含むことができる。ｐ＞１についての結果として得られる値は、その後、ｐ＝１で置換することができ、なぜならば、イントラリフレッシュについての確率が１００％を超えないからである。

そのような実施形態は、無限フレームカウントに達した後にイントラリフレッシュの１００％確率に事実上達するだけであるＣＤＦ曲線の尾部を置換することによって、イントラリフレッシュプロセスに対する信頼性および予測可能性を提供する。

分布関数の実際の実装が変動する場合があることが留意されるべきである。例えば、各分布関数は、確率値のベクトルによって規定することができ、イントラリフレッシュの確率を規定する確率値をそれぞれ規定することは、処理ユニットについて：
・ビデオストリーム内の直前の画像の空間的に対応する処理ユニットがイントラリフレッシュされて以来、どれだけの数のフレームｆｃが通過したか、および、
・処理ユニットの関連性
に応じて行われることになる。

例えば、第１の分布関数１１０は、以下の確率ベクトル：［０、４０、７０、８５、９３、９６、９８、９９、１００］（８は第１の分布関数１１０についての閾値ｆｔ１である）によって規定することができる。

例えば、第２の分布関数１２０は、以下の確率ベクトル：［０、１、２、４、８、１６、３２、６４、１００］（８は第２の分布関数１２０についての閾値ｆｔ２である）によって規定することができる。

これらのベクトルは、ベクトル内の全ての値と１つまたは複数の緩勾配化係数（ｇｒａｄｉｎｇ ｆａｃｔｏｒ）との乗算によって緩勾配化することもできる。したがって、ベクトルによって規定される曲線は、フレームカウントｆｃ軸、すなわち、図６〜１０の水平軸に沿って圧縮または伸長することができる。この方法は、緩勾配化係数が１より小さい場合のｐ値の外挿、および／または緩勾配化された曲線がｐ＝１と交差する交差ポイントを見出すこと、を必要とする場合がある。

ベクトル、したがって同様に関数および曲線を修正する他の数学的手法が可能であることを当業者は理解する。本明細書で使用される数値は、例を提供するためのものに過ぎず、他の値が全く可能であることを当業者は理解する。

方法は、ビデオストリーム内の画像フレーム２００について低関連性エリア２１４と高関連性エリア２１２との比を受信するＳ０５ステップをさらに含むことができ、第１および第２の分布関数１１０、１２０は、受信された比を考慮して決定される。図２のフローチャートは、このさらなるステップを含む。比は、例えば、画像フレーム内の高関連性エリア１１２の数と低関連性エリア１１４の数との比であるとすることができる。比は、代替的に、それぞれの関連性エリアによる実際のエリアカバレジの比に関連するとすることができる。第１および第２の分布関数１１０、１２０は、平均して、実質的に同じ数の処理ユニット２１０が、ビデオストリームの各画像フレーム２００についてイントラリフレッシュされると判定されるように構成することができる。これは、例えば、緩勾配化係数による乗算または曲線をオフセットさせることによって第１および第２の分布関数１１０、１２０を修正することによって達成することができる。

方法は、ビデオストリームの各画像フレーム２００について、画像フレーム２００内の各処理ユニット２１０の関連性レベルを示すデータを受信するＳ０７ステップをさらに含むことができる。図２のフローチャートはさらなるステップを含む。関連性レベルは、画像フレーム内の処理ユニット２１０または空間エリアが、例えば、高関連性エリア２１２に対応するか、低関連性エリア２１４に対応するか、または中程度関連性エリア２１６に対応するかを指すことができる。さらなるまたは代替的な関連性レベルを考慮することができる。

図１の方法は、ビデオストリームに含まれる画像フレーム２００を受信するＳ０４ことをさらに含む。受信された画像フレーム２００内の各処理ユニットについて、方法は、ビデオストリーム内の直前の画像の空間的に対応する処理ユニットがイントラリフレッシュされて以来、どれだけの数の画像フレームがビデオストリーム内で通過したかを規定するフレームカウントｆｃを決定するＳ０６ことをさらに含む。

受信された画像フレーム２００内の各処理ユニット２１０について、方法は、処理ユニット２１０が、画像フレーム２００の高関連性エリア２１２に対応するか、低関連性エリア２１４に対応するかを判定するＳ０８ことをさらに含む。処理ユニット２１０が高関連性エリア２１２に対応すると判定すると、方法は、処理ユニット２１０がイントラリフレッシュされるべきか否かを判定するために、決定されたフレームカウントｆｃに関して第１の分布関数１１０を適用するＳ１０ａことを含む。処理ユニット２１０が低関連性エリアに対応すると判定すると、方法は、処理ユニット２１０がイントラリフレッシュされるべきか否かを判定するために、決定されたフレームカウントｆｃに関して第２の分布関数１２０を適用するＳ１０ｂことを含む。

受信された画像フレーム２００内の各処理ユニット２１０について、方法は、処理ユニットが、画像フレーム２００の中程度関連性エリア２１６に対応するか否かを判定するＳ０９ことをさらに含むことができる。処理ユニット２１０が中程度関連性エリア２１６に対応すると判定すると、方法は、処理ユニット２１０がイントラリフレッシュされるべきか否かを判定するために、決定されたフレームカウントｆｃに関して第３の分布関数１３０を適用するＳ１０ｃことを含むことができる。図３のフローチャートは、これらのさらなるステップを含む。

第１、第２、または第３の分布関数１１０、１２０、１３０の適用によって、イントラリフレッシュの確率ｐは入力フレームカウントｆｃの結果として出力される。

処理ユニット２１０または空間的に対応するエリアが、高関連性エリア２１２として判定されたか、低関連性エリア２１４として判定されたかに関するデータは、ルックアップテーブル内に記録し記憶することができる。関連性の他の等級（ｇｒａｄｅ）は、存在することもでき、同様に記録し記憶することができる。

図４は、どのように、方法が、ビデオストリームの各画像フレーム２００について、処理ユニット内の特定のピクセルに関連するピクセル値の和、平均、又は中央値を計算するＳ２１ことであって、それにより、処理ユニット２１０についての群値を形成する、計算するＳ２１ことをさらに含むことができるかを示す。ピクセル値、すなわち、ピクセル固有値は、例えば、ピクセルの色または輝度に関連するとすることができる。ピクセル値は、代替的に、隣接するピクセルに対するピクセルのコントラストに関連するとすることができる。

図４は、どのように、方法が、画像フレーム２００内の空間的に隣り合う処理ユニット２１０の群値の間の差を計算するＳ２３ことであって、それにより、各処理ユニット２１０を差値に関連付ける、計算するＳ２３ことをさらに含むことができるかをさらに示す。方法は、画像フレーム２００内の各処理ユニット２１０の関連性レベルを、関連付けられた差値を所定の閾値と比較するＳ２７ことによって決定するＳ２５ことをさらに含むことができる。上記差値が上記閾値以上である場合、方法は、処理ユニット２１０を、高関連性エリア２１２に対応するとして識別するＳ２９ａことをさらに含むことができる。上差値が上記閾値より小さい場合、方法は、処理ユニット２１０を、低関連性エリア２１４に対応するとして識別するＳ２９ｂことをさらに含むことができる。

代替的に、また、図５に示すように、画像フレーム内の各処理ユニット２１０の関連性レベルを決定するＳ２５方法は、関連付けられた差値を第１および第２の所定の閾値と比較するＳ２８ことを含むことができる。上記差値が第１の閾値以上である場合、方法は、処理ユニット２１０を、高関連性エリア２１２に対応するとして識別するＳ２９ａことをさらに含むことができる。上差値が第１の閾値と第２の閾値との間にある場合、方法は、処理ユニット２１０を、中程度関連性エリア２１６に対応するとして識別するＳ２９ｃことをさらに含むことができる。上差値が第１の閾値および第２の閾値より小さい場合、方法は、処理ユニット２１０を、低関連性エリア２１４に対応するとして識別するＳ２９ｂことをさらに含むことができる。

処理ユニットの関連性レベルを決定するための任意の他の適切な対策を使用することができることが留意されるべきである。例えば、それぞれの処理ユニット内の運動のレベルを測定値として使用することができ、高レベルの運動（すなわち、直前の画像フレーム内の空間的に対応する処理ユニット（複数可）と比較した、処理ユニットのピクセルデータ／値の大きい差）を有する処理ユニットは、低レベルの運動を有する処理ユニットより重要であると考えられる。別の例は、各処理ユニット内のエッジ検出を含み、より多くのエッジを含む処理ユニットは、少ないエッジを有する処理ユニットに比べて高い関連性があると考えることができる。関連性レベルは、モーションセンサ、熱カメラ、２次カメラ、レーダー、または他のタイプのセンサなどの外部センサによって、トリガーまたは決定される場合がある。

図１の方法は、受信された画像フレーム２００の各処理ユニット２１０について、処理ユニットがイントラリフレッシュされると判定される場合、受信された画像フレームの処理ユニットをイントラエンコードするＳ１２ことをさらに含む。イントラリフレッシュ自身は、当業者に利用可能な従来のイントラリフレッシュ法に従って実施することができる。

ビデオストリームは、第１および第２の直後の画像フレーム２００を含むことができる。第１の画像フレームについて、第１の処理ユニットを、高関連性エリア２１２に対応すると判定することができる。第１の処理ユニットについて、第１の分布関数１１０は、第１の処理ユニットがイントラリフレッシュされるべきか否かを判定するために適用することができる。第２の画像フレームについて、第１の処理ユニットに空間的に対応する第２の処理ユニットを、低関連性エリア２１４に対応すると判定することができる。第２の処理ユニットについて、第２の分布関数１２０は、第２の処理ユニットがイントラリフレッシュされるべきか否かを判定するために適用される。

代替的に、第１の画像フレームについて、第１の処理ユニットを、低関連性エリア２１４に対応すると判定することができる。第１の処理ユニットについて、第２の分布関数１２０は、第１の処理ユニットがイントラリフレッシュされるべきか否かを判定するために適用することができる。第２の画像フレームについて、第１の処理ユニットに空間的に対応する第２の処理ユニットを、高関連性エリア２１２に対応すると判定することができる。第２の処理ユニットについて、第１の分布関数１１０は、第２の処理ユニットがイントラリフレッシュされるべきか否かを判定するために適用することができる。

例えば、確率値の２つのベクトルを有する上記例を考える。

第１のフレームの第１の処理ユニットについて、イントラリフレッシュの２％確率が決定される（最後のリフレッシュ以来２つのフレームが通過した）。第１の処理ユニットはこの例ではイントラリフレッシュされない。第２のフレームの第２の処理ユニットについて、関連性レベルが高関連性に増加した。その結果、第２の処理ユニットについて、イントラリフレッシュの８５パーセンテージ機会が決定される（最後のリフレッシュ以来３つのフレームが通過した）。

計算するステップ、決定するステップ、比較するステップ、適用するステップ、識別するステップ、エンコードするステップ、受信するステップなどを、処理能力、および、有線または無線でデータまたは命令を受信する能力を有するデバイスによって実施することができる。そのようなデバイスは、例えば、コンピュータまたはエンコーダーであるとすることができる。

非一時的コンピュータ可読記録媒体を備えるコンピュータプログラム製品が提供され、非一時的コンピュータ可読記録媒体は、処理能力を有するデバイスによって実行されると本明細書で提供される方法を実施するように適合されたコンピュータコード命令が、非一時的コンピュータ可読記録媒体上に記録されている。

ビデオストリームの画像フレーム２００のシーケンスのイントラリフレッシュエンコーディングのためのエンコーダー３０４を提供することができる。エンコーダー３０４は、本明細書で提供される方法を実施するように構成される回路を備えることができる。エンコーダー３０４は、情報を、１つのフォーマットまたはコードから、標準化、速度、または圧縮のために別フォーマットまたはコードに変換する、デバイス、回路、変換器、コンピュータプログラム製品、またはアルゴリズムであるとすることができる。

エンコーダー３０４は、図１２によって示すように、モニタリングデバイス３００の一部であるとすることができる。モニタリングデバイス３００は画像センサ３０２をさらに備えることができる。画像センサ３０２はカメラまたはビデオカメラの一部であるとすることができる。画像センサ３０２は、より具体的には、パン・チルト・ズームカメラであるとすることができる。画像センサ３０２は、１つのシーンまたは複数のシーンを描写する画像フレームを含むビデオストリームを取り込むようにセットアップすることができる。

エンコーダー３０４は、画像センサ３０２によって取り込まれる画像フレーム２００を連続して受信するように構成することができる。モニタリングデバイス３００または少なくとも画像センサ３０２は、少数の非制限的な例を挙げると、法医学、セキュリティ、安全性、または研究のために関心のシーンを連続してまたは断続的に記録するようにセットアップすることができる。

各処理ユニットの関連性レベルを示すデータは、そのような関連性レベルを決定するように構成される画像解析ユニット（周辺機器またはエンコーダー３０４と一体もの）から受信することができる。画像解析ユニットは同様に、周辺機器またはモニタリングデバイス３００と一体ものであるとすることができる。

モニタリングデバイス３００、エンコーダー３０４、または画像センサ３０２は、本明細書で述べる方法を実施するように構成することができる。

画像センサ３０２およびエンコーダー３０４は、単一デバイスとして一体形成することができる。画像センサ３０２およびエンコーダー３０４は、代替的に、別個であり、有線または無線で接続することができる。

上記で開示したシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェア、またはその組み合わせとして実装することができる。ハードウェア実装態様において、上記説明において参照される機能ユニット間のタスクの分割は、物理的ユニットへの分割に必ずしも対応せず；逆に、１つの物理的コンポーネントは複数の機能を有することができ、１つのタスクは、幾つかの物理的コンポーネントによって連携して実施することができる。或るコンポーネントまたは全てのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装することができる、あるいは、ハードウェアとしてまたは特定用途向け集積回路として実装することができる。そのようなソフトウェアは、コンピュータ記憶媒体（または、非一時的媒体）および通信媒体（または一時的媒体）を備えることができるコンピュータ可読媒体上で分配することができる。

上記において、本発明の態様は、制限された数の例を参照して主に記述されている。しかしながら、当業者が容易に認識するように、上記で開示した例以外の他の例は、添付特許請求項によって規定される本発明の概念の範囲内で同様に可能である。

Claims (13)

1. ビデオストリームの画像フレームのシーケンスのイントラリフレッシュエンコーディングのための方法であって、
   複数の分布関数を決定する（Ｓ０２）ことであって、各分布関数は、前記ビデオストリーム内の画像フレーム（２００）のピクセルのブロック（２１０）のイントラリフレッシュの確率（ｐ）を、前記ビデオストリーム内の直前の画像フレームの空間的に対応するピクセルのブロックがイントラリフレッシュされて以来、通過したフレームの数（ｆｃ）に対して規定し、前記複数の分布関数の第１の分布関数（１１０）は凸形状を有する累積分布関数に対応し、前記複数の分布関数の第２の分布関数（１２０）は凹形状を有する累積分布関数に対応する、決定する（Ｓ０２）こと、
   前記ビデオストリームに含まれる画像フレームを受信する（Ｓ０４）こと、
   前記受信された画像フレーム内の各ピクセルのブロックについて、
   前記ビデオストリーム内の直前の画像の空間的に対応するピクセルのブロックがイントラリフレッシュされて以来、どれだけの数の画像フレームが前記ビデオストリーム内で通過したかを規定するフレームカウント（ｆｃ）を決定する（Ｓ０６）こと、
   前記ピクセルのブロックが、前記画像フレームの関心領域、ＲＯＩ（２１２）に空間的に対応するか否かを判定する（Ｓ０８）こと、
   前記ピクセルのブロックが前記ＲＯＩに空間的に対応すると判定すると、前記ピクセルのブロックがイントラリフレッシュされるべきか否かを判定するために、前記決定されたフレームカウントに関して前記第１の分布関数を適用する（Ｓ１０ａ）こと、
   前記ピクセルのブロックが前記ＲＯＩに空間的に対応しないと判定すると、前記ピクセルのブロックがイントラリフレッシュされるべきか否かを判定するために、前記決定されたフレームカウントに関して前記第２の分布関数を適用する（Ｓ１０ｂ）こと、
   前記ピクセルのブロックが、イントラリフレッシュされると判定される場合、前記受信された画像フレームの前記ピクセルのブロックをイントラエンコードする（Ｓ１２）こと
   を含む、方法。
2. 前記第１の分布関数は、第１の閾値フレーム数（ｆｔ１）後に、ピクセルのブロックのイントラリフレッシュの１００％確率を規定し、前記第２の分布関数は、第２の閾値フレーム数（ｆｔ２）後に、ピクセルのブロックのイントラリフレッシュの１００％確率を規定し、フレームの前記第１の閾値数はフレームの前記第２の閾値数より小さい、請求項１に記載の方法。
3. 前記第１の分布関数は、第１の閾値フレーム数（ｆｔ１）後に、ピクセルのブロックのイントラリフレッシュの１００％確率を規定し、前記第２の分布関数は、第２の閾値フレーム数（ｆｔ２）後に、ピクセルのブロックのイントラリフレッシュの１００％確率を規定し、フレームの前記第１の閾値数はフレームの前記第２の閾値数と同じである、請求項１に記載の方法。
4. 前記ビデオストリーム内の画像フレームについて前記ＲＯＩに空間的に対応しないピクセルのブロックの数と前記ＲＯＩに空間的に対応するピクセルのブロックの数との比を受信する（Ｓ０５）ステップをさらに含み、前記第１および第２の分布関数は、前記受信された比を考慮して決定される、請求項１〜３のいずれか一項に記載の方法。
5. 前記第１および第２の分布関数は、平均して、同じ数のピクセルのブロックが、前記ビデオストリームの各画像フレームについてイントラリフレッシュされると判定されるように構成される、請求項４に記載の方法。
6. 前記ビデオストリームの各画像フレームについて、前記画像フレーム内の各ピクセルのブロックについて、前記ピクセルのブロックが前記画像フレームの前記ＲＯＩに空間的に対応するか否かを示すデータを受信する（Ｓ０７）ステップをさらに含む、請求項１〜５のいずれか一項に記載の方法。
7. 前記ビデオストリームの各画像フレームについて、
   前記画像フレーム内の各ピクセルのブロックについて、前記ピクセルのブロック内のピクセル値の和、平均、又は中央値を計算する（Ｓ２１）ことによって、前記ピクセルのブロックを表す第１の値を計算するステップと、
   前記画像フレーム内の空間的に隣り合うピクセルのブロックの第１の値の間の差を計算する（Ｓ２３）ステップであって、それにより、各ピクセルのブロックを差値に関連付ける、計算する（Ｓ２３）ステップと、
   前記画像フレーム内の各ピクセルのブロックについて、前記ピクセルのブロックが前記画像フレームのＲＯＩに空間的に対応するか否かを、
   前記関連付けられた差値を所定の閾値と比較する（Ｓ２７）こと、
   前記差値が前記閾値以上である場合、前記ピクセルのブロックを、前記ＲＯＩに空間的に対応するとして識別する（Ｓ２９ａ）こと、
   前記差値が前記閾値より小さい場合、前記ピクセルのブロックを、前記ＲＯＩに空間的に対応しないとして識別する（Ｓ２９ｂ）こと
   によって決定する（Ｓ２５）ステップと
   を更に含む、請求項１〜５のいずれか一項に記載の方法。
8. 画像フレームのピクセルのブロックは、１つまたは複数のマクロブロック、コーディングツリーユニット、またはスーパーブロックからなる、請求項１〜７のいずれか一項に記載の方法。
9. 前記ビデオストリームは、第１および第２の直後の画像フレームを含み、前記第１の画像フレームについて、第１のピクセルのブロックは、前記第１の画像フレームの前記ＲＯＩに空間的に対応すると判定され、前記第１のピクセルのブロックについて、前記第１の分布関数は、前記第１のピクセルのブロックがイントラリフレッシュされるべきか否かを判定するために適用され、前記第２の画像フレームについて、前記第１のピクセルのブロックに空間的に対応する第２のピクセルのブロックは、前記第２の画像フレームの前記ＲＯＩに空間的に対応していないと判定され、前記第２のピクセルのブロックについて、前記第２の分布関数は、前記第２のピクセルのブロックがイントラリフレッシュされるべきか否かを判定するために適用される、請求項１〜８のいずれか一項に記載の方法。
10. 前記ビデオストリームは、第１および第２の直後の画像フレームを含み、前記第１の画像フレームについて、第１のピクセルのブロックは、前記第１の画像フレームの前記ＲＯＩに空間的に対応していないと判定され、前記第１のピクセルのブロックについて、前記第２の分布関数は、前記第１のピクセルのブロックがイントラリフレッシュされるべきか否かを判定するために適用され、前記第２の画像フレームについて、前記第１のピクセルのブロックに空間的に対応する第２のピクセルのブロックは、前記第２の画像フレームの前記ＲＯＩに空間的に対応していると判定され、前記第２のピクセルのブロックについて、前記第１の分布関数は、前記第２のピクセルのブロックがイントラリフレッシュされるべきか否かを判定するために適用される、請求項１〜９のいずれか一項に記載の方法。
11. 非一時的コンピュータ可読記録媒体であって、処理能力を有するデバイスによって実行されると請求項１〜１０のいずれか一項に記載の方法を実施するように適合されたコンピュータコード命令が、非一時的コンピュータ可読記録媒体上に記録されている、非一時的コンピュータ可読記録媒体。
12. ビデオストリームの画像フレーム（２００）のシーケンスのイントラリフレッシュエンコーディングのためのエンコーダー（３０４）であって、回路を備え、前記回路は、
    複数の分布関数を決定するように構成され、各分布関数は、前記ビデオストリーム内の画像フレームのピクセルのブロック（２１０）のイントラリフレッシュの確率（ｐ）を、前記ビデオストリーム内の直前の画像フレームの空間的に対応するピクセルのブロックがイントラリフレッシュされて以来、通過したフレームの数（ｆｃ）に対して規定し、前記複数の分布関数の第１の分布関数（１１０）は凸形状を有する累積分布関数に対応し、前記複数の分布関数の第２の分布関数（１２０）は凹形状を有する累積分布関数に対応し、
    前記ビデオストリームに含まれる画像フレームを受信し、
    前記受信された画像フレーム内の各ピクセルのブロックについて、
    前記ビデオストリーム内の直前の画像の空間的に対応するピクセルのブロックがイントラリフレッシュされて以来、どれだけの数の画像フレームが前記ビデオストリーム内で通過したかを規定するフレームカウント（ｆｃ）を決定し、
    前記ピクセルのブロックが、前記画像フレームの関心領域、ＲＯＩ（２１２）に空間的に対応するか否かを判定し、
    前記ピクセルのブロックが前記ＲＯＩに空間的に対応すると判定すると、前記ピクセルのブロックがイントラリフレッシュされるべきか否かを判定するために、前記決定されたフレームカウントに関して前記第１の分布関数を適用し、
    前記ピクセルのブロックが前記ＲＯＩに空間的に対応しないと判定すると、前記ピクセルのブロックがイントラリフレッシュされるべきか否かを判定するために、前記決定されたフレームカウントに関して前記第２の分布関数を適用し、
    前記ピクセルのブロックが、イントラリフレッシュされると判定される場合、前記受信された画像フレームの前記ピクセルのブロックをイントラエンコードするように構成される、エンコーダー（３０４）。
13. 画像センサ（３０２）および請求項１２に記載のエンコーダー（３０４）を備えるモニタリングデバイス（３００）であって、前記エンコーダーは、前記画像センサによって取り込まれる画像フレーム（２００）を連続して受信するように構成される、モニタリングデバイス（３００）。

Images