JP2022069409A - カメラの動きに基づいて代用画像フレームを生成すること - Google Patents

Abstract

【課題】カメラシステムによって取り込まれる画像フレームのストリームを処理する方法及びコンピュータプログラム製品を提供する。【解決手段】方法は、画像フレームのストリームからの画像フレームがドロップされるときに、現在のカメラ動作を決定し、ドロップした画像フレームについての代用画像フレームを生成する。代用画像フレームは、以前の画像フレームに対する参照及び決定した現在のカメラ動作に基づいてのみ推定される１つ又は複数の動きベクトルを含む。方法はさらに、画像フレームのストリーム内の残りの画像フレームをエンコードし、代用画像フレームを、ドロップした画像フレームの場所で、エンコードされた画像フレームのストリームに挿入する。【選択図】図３

Description

本発明は、画像データの処理に関し、より具体的には、カメラシステムによって取り込まれる画像フレームのストリームを処理することに関する。

パンチルトズーム（ＰＴＺ：Ｐａｎ、Ｔｉｌｔ、Ｚｏｏｍ）カメラは、多くの最新の監視システムの必須部分である。これらのカメラは、ＰＴＺ動作を実施するときに、特に、プライバシーマスク等の何か他のものと共に分析アプリケーションを実行するときにしばしば、重いＣＰＵ負荷下にあり、また同時に、瞬時ビットレートも高い。これは、カメラによって取り込まれる一連の画像フレーム内の１つまたは複数の画像フレームがカメラ内のどこかでドロップする可能性を強める。

現今の最もよく制御されたドロップは、リピート画像フレームを生成し、リピート画像フレームに対する一部の処理を停止することであるが、ほとんどのアプリケーションは、画像フレームを依然として処理することになり、したがって、ＣＰＵ負荷を高く維持する。ＰＴＺ動作中に画像フレームを反復することは、取り込まれるビデオがディスプレイ上で観察されるときに、ＰＴＺ動作の明らかな乱れを生じる。画像フレームを反復することはまた、ＰＴＺコントローラーにレイテンシーを付加する。そのため、画像フレームのストリームからドロップする画像フレームを扱うためのよりよい機構についての必要性が存在する。

米国特許第５，９７３，７３３号は、ビデオカメラによって作られるシーンのビデオ記録を安定化させるためのシステムを記載する。ビデオ記録はビデオおよびオーディオデータを含む。システムは、ソースビデオデータを順次フレームとして記憶するためのソースフレーム記憶部を含む。システムはまた、記録中に起こるカメラ動作を検出するために画像内の動きベクトルを分析する動き推定アルゴリズムを実行し、カメラ動作を補償するためにビデオデータを修正するためのプロセッサを含む。さらに、システムは、修正されたビデオデータを複数の順次フレームとして記憶するための行先フレーム記憶部を含む。

米国特許出願公開第２０１６／２６９６３９号は、ビデオ映像（ｖｉｄｅｏ ｆｏｏｔａｇｅ）の見かけの安定性を改善するためにビデオを編集する方法を記載する。この方法において、ビデオ画像の見かけの安定性は、個々のビデオ内で取り込まれる画像の周りに境界を付加し、２つの連続フレーム間で計算される運動ベクトルの負数に応じて連続ビデオフレームの相対位置を調整することによって改善される。

欧州特許第１ ３７７ ０３６号は、ビデオを自動的に強調するための自動ビデオ強調システムおよび方法を記載する。自動化ビデオ強調方法は、フレーム間動き推定をビデオ強調の基礎として使用する。動き推定は、大域的動き（カメラの動き等）の計算および局所的動き（ピクセルの動き等）の計算を含む。自動化ビデオ強調方法は、大域的アライメント変換（ｇｌｏｂａｌ ａｌｉｇｎｍｅｎｔ ｔｒａｎｓｆｏｒｍ）を生成すること、オプティカルフローベクトル（ｏｐｔｉｃ ｆｌｏｗ ｖｅｃｔｏｒ）を生成すること、および、ビデオを強調するためにこれらの大域的アライメント変換およびオプティカルフローベクトルを使用することを含む。本発明はまた、フレーム間動き推定を使用するビデオ処理および強調技法を含む。これらの技法は、インターレース解除プロセス、ノイズ除去プロセス、および、安定化の弱化とロック（ｄａｍｐｅｄ ａｎｄ ｌｏｃｋｅｄ ｓｔａｂｉｌｉｚａｔｉｏｎ）の両方を実施するワープ安定化プロセスを含む。

第１の態様によれば、本発明は、カメラ動作中に取り込まれる画像フレームのストリームを処理するための、カメラシステム内で実施される方法に関する。方法は、
・画像フレームのストリームからの画像フレームが、割り当てられた期間内に画像フレームに対する全ての操作を終了することができないためにドロップされるときに、現在のカメラ動作を決定すること、
・ドロップした画像フレームについて代用画像フレームを生成することであって、代用画像フレームは、以前の画像フレームに対する参照を含み、また、決定された現在のカメラ動作に基づいてのみ推定される１つまたは複数の動きベクトルを含む、生成すること、および、
・画像フレームのストリーム内の残りの画像フレームをエンコードし、代用画像フレームを、ドロップした画像フレームの場所で、エンコードされた画像フレームのストリームに挿入すること
を含む。

代用画像フレームを生成するために使用される現在のカメラ動作は、最後にエンコードされたフレーム以来、すなわち、最後にエンコードされた画像フレームの開始位置からドロップした画像フレームの終了位置まで、カメラシステムがどのように動いたか、そして特に、カメラシステムの画像取り込み部分がどのように動いたか、そしておそらくは同様に、開始位置と終了位置との間の軌跡を記述する。現在のカメラ動作を知ることは、１つまたは複数の動きベクトルを決定し、ドロップした画像フレームのコンテンツを近似する代用画像フレームをこれらの動きベクトルから生成することを可能にする。代用画像フレームは、その後、ドロップした画像フレームの場所で挿入される。結果として、ビデオは、「ライブであり（ａｌｉｖｅ）」かつ応答性の高いままであることができ、カメラシステムにかかる負荷を同様に低減しながら、レイテンシーを低くかつビデオをスムーズに維持し、それにより、さらなる画像フレームドロップのリスクを低減する。さらに、この方法は、予防的に行われる意図的画像フレームドロップと、カメラが高過ぎる計算負荷を有することの結果である非意図的画像フレームドロップの両方に適用することができる。この方法を使用するさらなる利益は、ビットレートの低減である。なぜならば、画像間の変化が少なく、代用画像フレームを生成し画像フレームのストリーム内に挿入することが、計算リソースの観点から非常に安価である－しばしば、同じ画像フレームを再エンコードすることより安価であるからである。

一実施形態によれば、現在のカメラ動作は、カメラシステム内のジャイロスコープおよびモーターの一方または両方からの読み値に基づいて決定される。ジャイロスコープおよびカメラの読み値は、カメラシステム内のキャッシュで絶えずログをとられ、したがって、動きベクトル計算のために容易に得ることができる。さらに、読み値は、典型的には、高い粒度を有する、すなわち、１画像フレームについて少なくとも１つの読み値、時として、それよりずっと多い読み値が存在し、画像フレーム全体または画像フレームの一部についての動きベクトルのためにデータを得ることを容易にする。

一実施形態によれば、現在のカメラ動作は、ジャイロスコープおよびモーターの現在の読み値を、以前の画像フレームについての対応するジャイロスコープおよびモーターの読み値と比較することによって決定される。以前の画像フレームが記録された時間を知ることによって、対応するジャイロスコープおよび／またはモーターの読み値を、取り出し、現在の読み値と比較することができ、それが、現在のカメラ動作を与える。これは、代用画像フレームについて動きベクトルを計算する迅速（ｑｕｉｃｋ）かつ計算効率的な方法を提供する。

一実施形態によれば、以前の画像フレームは、最新の以前の画像フレームである。最新の以前の画像フレームに対応するジャイロスコープおよびモーター位置を使用することは、「最も新鮮の（ｆｒｅｓｈｅｓｔ）」カメラ動きデータを使用するため、動きベクトル計算の正確度を改善する。

一実施形態によれば、１つまたは複数の動きベクトルは、代用画像フレーム全体について単一の大域動きベクトルを含む。画像フレーム全体について単一の動きベクトルを有することは、非常の低コストの動きベクトル計算をもたらし、それは、低い計算パワーを有するかまたは帯域幅が制限されるカメラシステムまたは他のタイプの撮像システムにおいて特に望ましい場合がある。

一実施形態によれば、動きベクトルは複数の動きベクトルを含み、複数の動きベクトルのそれぞれは、代用画像フレームに含まれるピクセルのブロックの動きを示す。カメラの動き、例えば、カメラシステムの画像取り込み部分の動きは、画像フレームの異なる部分にいろいろな方法で影響を及ぼす場合がある、例えば、ＰＴＺ動作において、角ブロックは、画像フレームの中心のブロックと異なるように動く場合がある。この現象を補償するために、代用画像フレームが生成されると、代用画像フレームによって参照される画像フレームに含まれるピクセルの異なるブロックについて異なる動きベクトルを計算して、オペレータにとってスムーズな観察およびカメラ制御体験を生成し、画像フレームがドロップしなかったという「感覚（ｓｅｎｓｅ）」を提供することが好ましい場合がある。しかしながら、これはまた、単一の大域動きベクトルが代用画像フレーム全体について計算されるときと比較してより多くの計算リソースを必要とする。

一実施形態によれば、複数の動きベクトルは、代用画像フレーム内に含まれる１つまたは複数の対象となる部分の動きを示す。以前の画像フレームとドロップした画像フレームとの間の変化が全くないかまたは非常に小さい状況が存在する場合がある。例えば、画像フレーム内で描写されるシーンの大部分は、壁、青い空、または同様な環境であって、もしあったとしてもそれほど変化しない、同様な環境を示す場合があり、ユーザーにとって対象となる画像フレームのわずかな部分が存在するだけである場合がある。そのようなシナリオにおいて、静止部分について動きベクトルを計算するポイントがほとんどまたは全く存在しないことになり、代わりに、計算リソースは、画像の対象となる部分について動きベクトルを計算するだけであることによって節約することができる。「対象となる（ｉｎｔｅｒｅｓｔｉｎｇ）」と考えられるもの、および、この部分がどれほど大きいかを、手近な特定のセットアップに応じて、個別的に決定することができる。

一実施形態によれば、方法は、１つまたは複数の後続の画像フレームについてデータを調整することであって、それにより、代用画像フレームは、１つまたは複数の後続の画像フレームによって参照画像フレームとして使用されない、調整することをさらに含む。代用画像フレームは、作られた画像フレームであるため、画像データを処理するときに、後続の画像フレームが代用画像フレームを参照しないことが重要である。したがって、後続の画像フレーム内の参照データは、代用画像フレームに先立って画像フレームを指すように調整される。

一実施形態によれば、代用画像フレームは、前方予測画像フレーム（Ｐフレーム）および双方向予測画像フレーム（Ｂフレーム）のうちの１つである。ＰフレームおよびＢフレームは、それぞれ、ビデオ処理において広く使用される従来の画像フレームタイプである。これらのタイプの画像フレームを使用することは、本発明と既存のシステムおよび標準との容易な統合を可能にする。

一実施形態によれば、カメラシステムは、パンチルトズーム（ＰＴＺ）カメラおよび身体装着式カメラ（ＢＷＣ）の一方である。これらは、種々のタイプの監視設定において使用される２つの一般的なタイプのカメラシステムである。これらの状況において本発明を使用することは本発明の多用途性を増加させる。

一実施形態によれば、画像フレームのストリームは画像フレームのライブビューストリームであり、方法は、画像フレームの記録ストリームを同時に取り込むことをさらに含み、画像フレームの記録ストリームは代用画像フレームを含まない。すなわち、画像フレームのライブストリームは代用画像フレームを含むことができ、それは、画像フレームのストリームを観察するユーザーに対して楽しい体験を生成する。同時に、画像フレームのドロップが許容され、代用画像フレームが生成されない画像フレームの第２のストリームを記録することができ、画像フレームのこの第２のストリームは、ライブのスムーズなビューを有することがそれほど重要でないときに、後続の記憶またはフォレンジック（ｆｏｒｅｎｓｉｃ）のために使用することができる。

一実施形態によれば、代用画像フレームは、事前計算された動きベクトルを含むエンコード済み画像フレームである。代用画像フレームについて動きベクトルを計算することに対する代替法として、「事前計算された（ｐｒｅ－ｃａｌｃｕｌａｔｅｄ）」代用画像フレームが存在する場合があり、それにより、画像フレームがドロップされるときに動きベクトルを計算する代わりに、事前計算済み動きベクトルを有するエンコード済み画像フレームを、決定されたカメラ動作に基づいてライブラリーから単に取り出すことができる。これは、カメラの計算負荷をさらに著しく低減することができ、より低い計算パワーを有する状況において特に有用であるとすることができる。

一実施形態によれば、画像フレームは、画像フレームの非意図的ドロップのリスクを低減するために、先を見越してドロップされる。上記で述べたように、時として、画像フレームの偶然のドロッピングを防止するために、故意に画像フレームをドロップさせることが有益である場合がある。本発明による方法は、画像フレームのそのような先を見越したドロッピングを可能にし、それにより、本発明の多用途性を増加させ、計算過負荷の結果として画像フレームのドロッピングが起こるときと比較して、画像フレームのより制御されたドロッピングを可能にする。

第２態様によれば、本発明はカメラシステムに関する。カメラシステムは、画像取り込み部分、画像処理パイプライン、およびエンコーダーを含む。画像取り込み部分は、カメラ動作中に画像フレームのストリームを取り込むように構成される。画像処理パイプラインは、
・画像フレームのストリームからの画像フレームが、割り当てられた期間内に画像フレームに対する全ての操作を終了することができないために、ドロップされるときに、現在のカメラ動作を決定するように構成され、
・ドロップした画像フレームについて代用画像フレームを生成するように構成され、代用画像フレームは、以前の画像フレームに対する参照を含み、また、決定された現在のカメラ動作に基づいてのみ推定される１つまたは複数の動きベクトルを含む。

エンコーダーは、画像フレームのストリーム内の残りの画像フレームをエンコードし、代用画像フレームを、ドロップした画像フレームの場所で、エンコードされた画像フレームのストリームに挿入するように構成される。

システムの利点は、方法の利点に対応し、また、同様に変動する場合がある。

第３の態様によれば、本発明は、カメラ動作中にカメラシステムによって取り込まれる画像フレームのストリームを処理するためのコンピュータプログラムに関する。コンピュータプログラム製品は、プログラム命令を実装したコンピュータ可読記憶媒体を備え、コンピュータ可読記憶媒体は過渡信号自体ではない。プログラム命令は、方法を実施するためにプロセッサによって実行可能であり、方法は、
・画像フレームのストリームからの画像フレームが、割り当てられた期間内に画像フレームに対する全ての操作を終了することができないためにドロップされるときに、現在のカメラ動作を決定すること、
・ドロップした画像フレームについて代用画像フレームを生成することであって、代用画像フレームは、決定された現在のカメラ動作に基づいてのみ推定される１つまたは複数の動きベクトルを含む、生成すること、および、
・画像フレームのストリーム内の残りの画像フレームをエンコードし、代用画像フレームを、ドロップした画像フレームの場所で、エンコードされた画像フレームのストリームに挿入すること
を含む。

コンピュータプログラムは、方法の利点に対応する利点を含み、また、同様に変動する場合がある。

本発明の１つまたは複数の実施形態の詳細は、添付図面および以下の説明において述べられる。本発明の他の特徴および利点は、説明および図面から、また、請求項から明らかになる。

本発明の種々の方法およびシステムをそこで適用することができる一実施形態による、例示的な環境１００を示す概略ダイアグラムである。 一実施形態による、図１に示すカメラシステム１０８の詳細ビューを示すブロックダイアグラムである。 一実施形態による、画像フレームのストリームを処理するための方法を示すフローチャートである。

種々の図面の同様の参照符号は同様の要素を示す。

概要
上記で説明したように、本発明の種々の実施形態に関する１つの目標は、画像フレームのストリームからドロップする１つまたは複数の画像フレームを扱うための改良型技法を提供することである。これらの技法は、種々の状況で適用することができる。より一般的な例のうちの２つは、パンチルトズーム（ＰＴＺ）カメラおよび身体装着式カメラ（ＢＷＣ）を含むが、さらに、固定カメラシステムであって、種々の理由で、例えば、揺れを受ける場合に、画像フレームドロップを経験する、固定カメラシステムが存在する場合がある。本発明は、例としてまたＰＴＺカメラおよびＰＴＺ動作を参照して本明細書で説明されることになる。なぜならば、これらが、理解するのが容易な概念であるからである。しかしながら、同じ原理をＢＷＣまたは他のタイプのカメラシステムに適用することができること、および、本明細書で提示される例が特定のタイプのカメラまたは撮像システムに限定されるものと解釈されるべきでないことが認識されるべきである。

画像フレームが、ＰＴＺ動作、すなわち、画像織り込み部分のＰＴＺ動作中にドロップすると、推定動作がログをとられ、代用画像フレームが、ドロップした画像フレームについて生成される。代用画像フレームは１つまたは複数の動きベクトルを含み、１つまたは複数の動きベクトルは、以前の画像フレームを参照して推定されかつ推定されるＰＴＺ動作に基づくだけである。ＰＴＺ動作は、例えば、画像取り込み部分のＰＴＺ動作を記録するカメラジャイロからの読み値から、または、画像取り込み部分のＰＴＺ動作を制御するモーターからのデータから推定することができる。代用画像フレームは、典型的には、以前の画像フレームを参照するＰフレームとしてエンコードされる。画像フレームのストリーム内の残りの画像フレームは、エンコードされ、代用画像フレームは、ドロップした画像フレームの場所で、エンコードされた画像フレームのストリーム内に挿入される。これは、ビデオが、依然として「ライブであり」かつ応答性の高いことを可能にし、カメラシステムにかかる負荷を同様に低減しながら、レイテンシーを低くかつビデオをスムーズに維持し、それにより、さらなる画像フレームドロップのリスクを低減する。本発明の種々の実施形態は、ここで、例としてまた図面を参照して説明される。

図１は、本発明の種々の実施形態をそこで実装することができる例示的な環境１００の概略ダイアグラムを示す。図１に見ることができるように、人１０４および木１０６を有するシーン１０２がカメラシステム１０８によって取り込まれる。この説明の可読性を促進するために、カメラシステム１０８は、時として、本明細書で単に「カメラ（ｃａｍｅｒａ）」と呼ばれることになるが、やはり、ＰＴＺカメラ、固定カメラ、身体装着式カメラ（ＢＷＣ）等のような多くのタイプのカメラシステム１０８が特許請求の範囲内に入ることが留意されるべきである。シーン１０２のこの説明が例証のための単純過ぎるビューに過ぎないことがさらに留意されるべきである。シーン１０２を、より一般的な意味で任意の３次元物理空間として説明することができ、そのサイズおよび形状は、シーンを記録するカメラの視野によって規定される。

図２により詳細に示すカメラシステム１０８は、レンズ１１０および画像センサ１１２を備える画像取り込み部分１０９を有する。レンズ１１０は、シーン１０２を取り込み、それを画像センサ１１２上に投影する。画像センサ１１２は、ビデオストリームを共に形成する一連の画像を取り込む。カメラシステム１０８は、画像処理パイプライン２０２およびエンコーダー２０４をさらに備え、両者は、以下でさらに詳細に説明される。画像処理パイプライン２０２およびエンコーダー２０４を、カメラシステム１０８の画像処理およびエンコーディング部分２０５内に含むことができる。幾つかの実施形態において、画像処理およびエンコーディング部分２０５は、画像取り込み部分１０９と同一の場所に配置することができる。幾つかの代替の実施形態において、画像処理およびエンコーディング部分２０５は、画像取り込み部分１０９から分離されるが、画像取り込み部分１０９と有線または無線通信状態で配置することができる。画像取り込み部分１０９および画像処理およびエンコーディング部分２０５は、画像取り込み部分１０９によって取り込まれる画像が画像処理およびエンコーディング部分２０５によって処理されエンコードされるように、例えば単一ユニットでまたは２つの別個のユニットで配置することができる。そのため、カメラシステム１０８が図２において単一ユニットとして示される場合でも、カメラシステム１０８の所定の部分を、別個のユニットに配置する、おそらくは、互いから或る距離に配置することができることが理解されるべきである。画像処理パイプライン２０２は、画像センサ１１２から信号を採取し、画像データをエンコーダー２０４に送信する前に種々のタイプの画像処理操作を実施し、エンコーダー２０４は、ビデオストリームを、ネットワークを通じてユーザーに送信するのに適するフォーマットにエンコードする。図１において、エンコード済みビデオは、無線リンク１１６を通じて、有線ネットワーク１１８に、最終的には、ネットワーク１１８に接続されるクライアント１２０に無線送信されるが、もちろん、使用することができる無線および有線送信モデルの多くの組み合わせが存在する。図２に示すカメラシステム１０８はまた、カメラシステム１０８を移動させる、すなわち特に、画像取り込み部分１０９を移動させるために使用される１つまたは複数のモーター２０６、および、カメラシステム１０８の位置、すなわち、画像取り込み部分１０９の位置を決定するために使用される１つまたは複数のジャイロスコープ２０８を含む。１つまたは複数のモーター２０６および／または１つまたは複数のジャイロスコープ２０８を、画像取り込み部分１０９の運動を制御し決定するために、画像取り込み部分１０９内に含むかまたは画像取り込み部分１０９に配置することができる。上記で述べたように、この運動は、本開示において、カメラ動作と呼ばれる。

クライアント１２０は、カメラからの画像ビデオストリームをユーザーが観察することができるディスプレイスクリーンを有する。典型的には、クライアント１２０はまた、例えば、ユーザーがクライアント１２０においてＰＴＺ制御コマンドを発することによって、カメラ１０８を制御するために使用される。例えば、ユーザーは、シーン１０２の特定の詳細にズームインするように、または、人１０４が木１０６から離れ始める場合に人１０４を追跡するように、カメラに指令することができる。カメラを制御するとき、レイテンシーができる限り低い、すなわち、ユーザーの制御コマンドに対してできる限り「応答性の高い」カメラをユーザーが経験することが重要である。

しかしながら、上記で説明したように、カメラ動作中に、カメラは、しばしば、幾つかの要因によって高い計算負荷を経験する。上記で説明したように、ＰＴＺカメラは、ＰＴＺ動作を実施するときに、特に、プライバシーマスク等の何か他のものと共に分析アプリケーションを実行するときにしばしば、重いＣＰＵ負荷下にあり、また同時に、瞬時ビットレートも高い。カメラにかかる計算負荷は、割り当てられた期間内に画像フレームに対して、カメラが、必要とされる全ての操作を終了することができないときに高い。割り当てられた期間内に画像フレームに対する全ての操作を終了することができないとき、画像フレームは、意図的にまたは非意図的にドロップする。これは、ＩＰＰ２０２が、カメラ動作中の高い計算負荷によって、割り当てられた期間内に画像フレームに対する必要とされる全ての処理操作を終了することができないときに当てはまる場合がある。以下で例示するように、ＩＰＰ２０２によって実施される処理操作は、ノイズフィルタリング、歪み補正、大域的および／または局所的トーンマッピング、変換、フラットフィールド補正、オーバーレイ（例えば、プライバシーマスク）の適用、およびオブジェクト検出および／またはオブジェクト認識を実施する分析アプリケーションを含むことができる。例えば、割り当てられた期間内にプライバシーマスク操作が終了することができない場合、プライバシーマスクがない状態でまたは部分的に描かれたプライバシーマスクのみがある状態で画像フレームを維持することと比較して、画像フレームをドロップさせることが典型的にはよりよい選択である。別の例として、高い計算負荷によって、割り当てられた期間内に、ノイズフィルタリング、歪み補正、大域的および／または局所的トーンマッピング、変換、ならびに／またはフラットフィールド補正が終了することができない場合、ノイズフィルタリング、歪み補正、大域的および／または局所的トーンマッピング、変換、ならびに／またはフラットフィールド補正がない状態で画像フレームを維持することと比較して、画像フレームをドロップさせることは典型的にはよりよい場合がある。なぜならば、そのような画像フレームの維持が、ビデオストリームの見え方に悪い影響を与えることになる可能性があるからである。これは、一定の悪影響を回避するための画像フレームの意図的ドロッピングを例示する。しかしながら、上記で述べたように、ドロッピングは非意図的である場合がある。そのため、画像フレームは、計算負荷が高過ぎて、ＩＰＰが、割り当てられた期間内に、必要とされる全ての操作を終了することができないために非意図的にドロップさせられる場合がある。例えば、オブジェクト検出またはオブジェクト認識を実施する分析アプリケーション操作等の必要とされる操作の一部は、画像フレームに対してオブジェクト検出またはオブジェクト認識を実施するために、一定量の利用可能な計算／処理リソースを必要とし、ＩＰＰ２０２にかかる計算負荷が、例えば、カメラ動作によって高過ぎる場合、ＩＰＰ２０２の利用可能な計算／処理リソースは、分析アプリケーション操作が終了するために必要とされる一定量の利用可能な計算／処理リソースより小さい場合がある。そのため、ＩＰＰ２０２は、割り当てられた期間内に、必要とされる全ての操作を終了するのに十分な利用可能な計算／処理リソースを持たない場合があり、したがって、画像フレームはドロップされる。ドロッピングが意図的かまたは非意図的かによらず、画像フレームをドロップさせることは、ユーザーに示されるストリームの乱れを生成し、また、共に望ましくない体験である、見るのが楽しくないビデオストリームおよびより高いレイテンシーの感覚も有するビデオストリームを生成する。

したがって、これらのおよび他の問題を軽減するために、一実施形態において、画像フレームのストリーム内のドロップした画像フレームは、図３を参照してここで説明するように、代用画像フレームで置換され、図３は画像フレームのストリームを処理するための方法３００のフローチャートである。図３に見ることができるように、方法は、従来方式で画像フレームのストリームを処理することによって開始する、ステップ３０２。この従来の処理は、図２を参照して簡潔に説明されることになり、図２は、一実施形態による、画像を取り込み処理するときに使用されるカメラシステム１０８の選択されたコンポーネントを示すブロックダイアグラムである。

図２に示すように、カメラシステム１０８は、画像センサ１１２上にシーン１０２を結像させるレンズ１１０を含む。カメラシステム１０８の、種々の操作、典型的には、フィルタリングユニット、デモザイシング、およびカラー補正ユニット等の１つまたは複数のユニット（図示せず）によるフィルタリング、デモザイシング、およびカラー補正をおそらくは実施した後に、結果として得られる画像は画像処理パイプライン（ＩＰＰ）２０２に転送される。幾つかの実施形態において、カラー補正をＩＰＰ２０２において行うことができることが留意されるべきである。

ＩＰＰ２０２において、さらなる処理が画像に対して実施される。そのようなさらなる処理は、ノイズフィルタリング（空間的および／または時間的ノイズをなくすための）、歪み補正（例えば、樽形歪みの影響をなくすための）、大域的および／または局所的トーンマッピング（例えば、広範囲の強度を含むシーンの撮像を可能にする）、変換（例えば、回転）、フラットフィールド補正（例えば、ビネッティングの影響の除去のための）、オーバーレイ（例えば、プライバシーマスク、説明テキスト等）の適用を含むことができる。ＩＰＰ２０２は、オブジェクト検出、オブジェクト認識、アラーム等を実施する分析エンジン（図示せず）に関連付けることもできる。

ＩＰＰ２０２に続いて、画像をエンコーダー２０４に転送することができ、エンコーダー２０４において、情報は、エンコーディングプロトコルに従ってコード化され、ネットワーク１１８を通じて受信側クライアント１２０に転送される。図２に示すカメラが、従来のカメラシステムにおいて一般的であり、また、その目的および操作が当業者によく知られている、プロセッサ、メモリ等のような多数の他のコンポーネントも含むことが留意されるべきである。そのようなコンポーネントは、明確にするために図２の例示および説明から省略されている。幾つかの従来のビデオエンコーディングフォーマットが存在する。本発明の種々の実施形態と共に働く一部の一般的なビデオエンコーディングフォーマットは、一部の例を挙げると、Ｈ．２６５およびＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られる高効率ビデオコーディング（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）；Ｈ．２６４およびＭＰＥＧ－４ Ｐａｒｔ １０としても知られる高度ビデオコーディング（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）；Ｈ．２６６、ＭＰＥＧ－Ｉ Ｐａｒｔ ３、および将来ビデオコーディング（ＦＶＣ：Ｆｕｔｕｒｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）としても知られる多用途ビデオコーディング（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）；ＶＰ９、ＶＰ１０、およびＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）を含む。これらのビデオエンコーディングフォーマットは、イントラ画像フレームおよびインター画像フレームに関して実装される時間的ビデオ圧縮を規定する。上記で述べたように、イントラ画像フレームをＩ画像フレームと呼ぶこともでき、インター画像フレームを、予測画像フレームいわゆるＰフレームまたは双方向予測画像フレームいわゆるＢフレームであるとすることができる。Ｉ画像フレームは、エンコードされる画像フレーム内の情報のみを使用してエンコードされる画像フレームとして記述することができる。さらに、Ｉフレームは、エンコードされる画像フレームのために取り込まれる全ての画像データから計算される。したがって、Ｉフレームは、時として、全画像フレームとも呼ばれる。

Ｐフレームは、以前にエンコードされた画像フレームからの情報ならびに現在エンコードされる画像フレームからの情報に基づく。Ｂフレームは、以前にエンコードされた、および任意選択で、後でエンコードされる画像フレームからの情報ならびに現在エンコードされる画像フレームからの情報に基づく。すなわち、インター画像フレームは、以前の（および任意選択で後の）画像フレーム内の時間的に冗長性のある情報を利用するものとして記述することができる。このタイプのコーデック（圧縮標準）を実装するエンコーダーは、典型的には、Ｉ画像フレーム、それに続いて、所定の数のインター画像フレーム、例えば、Ｐおよび／またはＢフレームを生成し、その後、新しいＩ画像フレーム、それに続く、同じ数のインター画像フレームを生成する。Ｉフレーム、それに続く、幾つかのインター画像フレームのこのシーケンスの長さは、しばしば、ピクチャー群（ＧＯＰ：Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）長と呼ばれる。Ｈ．２６５等の一部の圧縮標準の場合、ＧＯＰ長は、エンコーディング中に調整される。

ここで図３に戻ると、ステップ３０２の通常処理中に、画像フレームのストリーム内の画像フレームがドロップしたか否かを検出するために画像フレームの絶え間ないモニタリングが存在する、ステップ３０４。画像フレームがドロップしていない場合、通常処理が継続する。しかしながら、ステップ３０４にて、画像フレームがドロップしたことが発見される場合、代用画像フレームが、カメラ動作に基づいて生成される、ステップ３０６。上記で述べたように、画像フレームのストリームからの画像フレームは、割り当てられた期間内に画像フレームに対する全ての操作、例えば、必要とされる全ての操作を終了することができないために、ドロップする場合がある。これは、カメラシステム１０８がカメラ動作中に高い計算負荷を経験することによって、割り当てられた期間内に画像フレームのストリームからの画像フレームに対する必要とされる全ての処理を終了することができないときに当てはまる場合がある。

一実施形態において、代用画像フレームは、Ｐフレームであって、以前の画像フレームを参照し、ＰＴＺカメラの動作、例えば、画像取り込み部分の動作から人工的に生成される動きベクトルを含む、Ｐフレームを作成することによって生成される。ＰＴＺカメラを移動させるために使用されるモーター２０６に加えて、典型的には、１つまたは複数のジャイロスコープ２０８もカメラ１０８内に存在する。モーター２０６およびジャイロスコープ２０８からの位置読み値は、６０～６００回／秒程度の頻度で、カメラ１０８内のキャッシュに絶えず記憶される。これは、画像フレーム取り込み時間を、ＰＴＺカメラ１０８についての、例えば、画像取り込み部分１０９についての位置読み値に相関させることを可能にする。例えば、６０回位置測定／秒および６０ＦＰＳ（：Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ、フレーム／秒）取り込みレートを有する下限において、カメラキャッシュ内に各画像フレームについて１つの位置読み値が存在することになり、６００回位置測定／秒および６０ＦＰＳ取り込みレートを有する上限において、各画像フレームは、１０個の位置読み値と相関することができ、それは、ドロップした画像フレームについての画像フレーム取り込みの時間において、カメラの位置、例えば、画像取り込み部分の位置を推定するさらに良好な正確度を可能にすることになる。

そのため、画像フレームがドロップされるときに、ＰＴＺカメラ１０８の現在位置、例えば、画像取り込み部分の現在位置を読み取り、以前の画像フレームについてのカメラキャッシュ内の記憶済み位置を参照することによって、以前の画像フレームとドロップした現在の画像フレームとの間の動きを記述する１つまたは複数の動きベクトルを決定することが可能である。これらの動きベクトルは、代用画像フレームを生成するために使用することができ、代用画像フレームを、ドロップした画像フレームの場所で、エンコードされた画像フレームのストリームに挿入することができる。これは、乱れのない、絶え間ないスムーズなカメラ動作の見え方をユーザーに与える。１つまたは複数の動きベクトルを、異なる方法で生成することができる。

当業者がよく知るように、画像フレームを異なるブロックに分割し、ブロックレベルで画像処理を実施することが一般的である。ＰＴＺ運動は、典型的には、画像内のブロックの運動が変動するという意味で「スキューされる（ｓｋｅｗｅｄ）」。例えば、角ブロックは、画像の中心のブロックと異なるように移動する。したがって、第１の実施形態において、処理は、ブロックごとに行われ、個々の動きベクトルは、各ブロックについて決定される。第２の実施形態において、大域動きベクトルが画像フレーム全体について決定される。第１の実施形態はより良好なユーザー体験を生成することができるが、より多くの情報が処理される必要があるため、第１の実施形態はまた、ビットレートの点でより高いコストを有し、したがって、第２の実施形態は、時として、手近な状況に応じてより有用であるとすることができる。

第１の実施形態と第２の実施形態との間の「ハイブリッド実施形態（ｈｙｂｒｉｄ ｅｍｂｏｄｉｍｅｎｔ）」も存在することが留意されるべきである。例えば、画像は、４または９のタイルに分割することができ、動きベクトルは各タイルについて決定することができる。「対象となる」何かが、タイルのうちの１つのタイル内で起こるだけである状況が存在する場合がある（例えば、或るオブジェクトが、タイルのうちの１つのタイル内で示され、残りの８つのタイルは、青い空または中実の壁等を示す）。そのようなシナリオにおいて、計算リソースは、対象となるタイルについてのみ動きベクトルを計算し、不変であるように見える８つのタイルを処理しないことによってさらに節約することができる。別の変形において、動きベクトルを、１つのブロック（例えば、上方に１０ピクセルおよび左に１５ピクセル）について決定することができ、同じ動きベクトルを有するよう中間の全ての近傍ブロックを設定するようにカメラが指令される可能性がある。そのため、当業者が想定することができる多くの変形が存在する。

代用画像フレームは、作られた画像フレームであるため、それらの画像情報をコード化するときに、画像フレームのストリーム内の後続の画像フレームが代用画像フレームを参照として使用しないことが重要である。したがって、ドロップした画像フレームの直前の画像フレーム（すなわち、最新の以前の画像フレーム）は、後続の画像フレームについての参照として維持される。これは、多数の方法で行うことができる。例えば、一実施形態において、代用画像フレームは、それが、「参照画像フレームのために使用しない（ｄｏ ｎｏｔ ｕｓｅ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ ｆｒａｍｅ．）」であることを示す関連するメタデータまたはデータを、そのヘッダ内に有する。Ｈ．２６４圧縮を使用する別の実施形態において、画像フレームが代用画像フレームであることを示すために、ＱＰ値を５１に設定することができる。この例は、最新の以前の画像フレームを使用するが、より古い任意の画像フレームを参照画像フレームとして使用することも可能であることが留意されるべきである。しかしながら、ほとんどの状況において、ドロップした画像に時間的に最も近い画像フレームは、最も関連するコンテンツを有する画像フレームであり、したがって、使用すべき好ましい画像フレームであることになる。

代用画像フレームは、生成されると、ドロップした画像フレームの場所で画像フレームのエンコードされたストリームに挿入される、ステップ３０８。その後、処理すべきこれ以上の画像フレームが存在するか否かが決定される、ステップ３１０。そうである場合、上記で説明したように、通常の画像処理が、ステップ３０２にて再開する。処理すべき画像フレームがこれ以上存在しない場合、例えば、カメラ１０８が、ターンオフされるかまたはスリープになる場合、プロセスは終了する。

上記例の画像フレームが意図的理由と非意図的理由の両方でストリームからドロップする可能性があることが留意されるべきである。例えば、画像フレームドロップについての意図的理由は、使用される帯域幅が高過ぎて、カメラにかかる計算負荷が低減されない限り画像フレームドロップについてのリスクが存在することを帯域幅モニターが示す場合であるとすることができる。意図的な画像フレームドロップの別の例は、より高い優先度を有するべき画像フレームの第２のストリームが存在する場合があること等であるとすることができる。非意図的画像フレームドロップは、上記で説明したように、カメラにかかる負荷が、単に高過ぎて、画像処理の全てのステップをカメラが成功裏に扱うことができないときに起こる可能性がある。

締めくくりのコメント
上記例は、Ｐフレームを使用することに的を絞るが、本発明の同じ一般的原理が、ＧＯＰにおいて前方と後方の両方を参照することができるＢフレームに適用可能であることが留意されるべきである。しかしながら、Ｂフレームは、典型的には、Ｐフレームと比較してより高いメモリ要件を有するため、ほとんどの場合、Ｐフレームを使用することが好ましいことになる。画像フレームのストリーム内に幾つかの代用画像フレームが存在するとき、全ての代用画像フレームが同じタイプを有する必要があるわけではないこと、および、ＰフレームとＢフレームの任意の混合が存在する場合があることがさらに留意されるべきである。

同様に、上記例は、単一モーター２０６を有するＰＴＺカメラを参照する。しかしながら、同じ一般的な原理を、複数の画像センサを含むカメラであって、各画像センサがそれ自身のモーター２０６を有する、カメラに拡張することもできることが認識されるべきである。

さらに、上記例の動きベクトルの計算は、ドロップした画像フレームの直前の画像フレームを参照するが、画像フレームのストリーム内のさらに早期の画像フレームを参照して動きベクトルが決定されることを妨げるものは何も存在しない。しかしながら、ドロップした画像フレームから数ステップ離れている画像フレームを参照することは、代用画像フレームであって、正確でない動きベクトル、それにより、より悪い品質を有する、代用画像フレームをおそらくはもたらすため、直前の画像フレームを参照することが、実用的観点から好ましい場合がある。

上記例は、ＰＴＺカメラに関して提示されたが、同じ原理を、身体装着式カメラ（ＢＷＣ）、または、強い振動を受ける任意のカメラであって、画像フレームがドロップするリスクが増加する、任意のカメラ等の他のカメラにも適用することができることが留意されるべきである。

幾つかの実施形態において、「事前計算された」代用画像フレームが存在することもでき、それにより、画像フレームがドロップしたときに動きベクトルを計算する代わりに、事前計算された動きベクトルを有するエンコード済み画像フレームを、決定されたカメラ動作に基づいてライブラリーから単に取り出すことができる。これは、カメラの計算負荷をさらに著しく低減することができ、より低い計算パワーを有する状況において特に有用であるとすることができる。

上記技法が、「ライブストリーム（ｌｉｖｅ ｓｔｒｅａｍ）」（すなわち、ユーザーが、彼のまたは彼女のディスプレイスクリーン上で観察しているストリーム）において適用されるが、代用画像は、実際のフォレンジックストリーム（すなわち、将来の参照のために記録され保存されるストリーム）に付加されない実施形態も存在する。したがって、多くの変形を、当業者が想定することができる。

本明細書で開示されるカメラシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェア、またはその組み合わせとして実装することができる。ハードウェア実装形態において、上記説明で参照される機能ユニットまたはコンポーネント間のタスクの分割は、必ずしも物理的ユニットへの分割に対応するわけではなく；逆に、１つの物理的コンポーネントが複数の機能を有することができ、１つのタスクを、幾つかの物理的コンポーネントによって協調して実施することができる。

一定のコンポーネントまたは全てのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装することができる、あるいは、ハードウェアとしてまたは特定用途向け集積回路として実装することができる。そのようなソフトウェアは、コンピュータ記憶媒体（すなわち非一時的媒体）および通信媒体（すなわち一時的媒体）を備えることができる、コンピュータ可読媒体上に配信することができる。当業者によく知られているように、用語、コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータ等の情報を記憶するための任意の方法または技術において実装される揮発性および不揮発性で取り外し可能および取り外し不能の媒体を共に含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは、所望の情報を記憶するために使用することができかつコンピュータがアクセスすることができる任意の他の媒体を含むが、それに限定されない。

図のフローチャートおよびブロックダイアグラムは、本発明の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の考えられる実装形態のアーキテクチャ、機能、および操作を示す。これに関して、フローチャートおよびブロックダイアグラム内の各ブロックは、指定された論理機能（複数可）を実装するための１つまたは複数の実行可能命令を含む、モジュール、セグメント、または命令の所定の部分を示すことができる。幾つかの代替の実装形態において、ブロックにおいて述べる機能は、図で述べる順序から外れて起こる場合がある。例えば、関係する機能に応じて、連続して示す２つのブロックは、実際には、実質的に同時に実行することができる、または、ブロックを、時として逆順で実行することができる。ブロックダイアグラムおよび／またはフローチャート例証の各ブロックならびにブロックダイアグラムおよび／またはフローチャート例証内のブロックの組み合わせが、指定された機能または動作を実施するかあるいは専用ハードウェアおよびコンピュータ命令の組み合わせを実施する、専用ハードウェアベースシステムによって実装することができることも留意されるであろう。

当業者が、上記で説明した実施形態を多くの方法で修正し、上記実施形態で示す本発明の利点を依然として使用することができることが認識されるであろう。したがって、本発明は、示す実施形態に限定されるべきであるのではなく、添付特許請求の範囲によって規定されるだけであるべきである。さらに、当業者が理解するように、示す実施形態を組み合わすことができる。

Claims (15)

1. カメラ動作中に取り込まれる画像フレームのストリームを処理するための、カメラシステム（１０８）内で実施される方法であって、
   画像フレームの前記ストリームからの画像フレームが、割り当てられた期間内に前記画像フレームに対する全ての操作を終了することができないためにドロップされるときに、現在のカメラ動作を決定すること、
   ドロップされた前記画像フレームについて代用画像フレームを生成することであって、前記代用画像フレームは、以前の画像フレームに対する参照を含み、また、決定された前記現在のカメラ動作に基づいてのみ推定される１つまたは複数の動きベクトルを含む、代用画像フレームを生成すること、および、
   画像フレームの前記ストリーム内の残りの画像フレームをエンコードし、前記代用画像フレームを、ドロップされた前記画像フレームの場所で、エンコードされた画像フレームの前記ストリームに挿入すること
   を含む、方法。
2. 前記現在のカメラ動作は、前記カメラシステム（１０８）内のジャイロスコープ（２０８）およびモーター（２０６）の一方または両方からの読み値に基づいて決定される、請求項１に記載の方法。
3. 前記現在のカメラ動作は、ジャイロスコープおよびモーターの現在の読み値を、以前の画像フレームについての対応するジャイロスコープ（２０８）およびモーター（２０６）の読み値と比較することによって決定される、請求項２に記載の方法。
4. 前記以前の画像フレームは、最新の以前の画像フレームである、請求項３に記載の方法。
5. 前記１つまたは複数の動きベクトルは、前記代用画像フレーム全体について単一の大域動きベクトルを含む、請求項１～４のいずれか一項に記載の方法。
6. 前記動きベクトルは複数の動きベクトルを含み、前記複数の動きベクトルのそれぞれは、前記代用画像フレーム内のピクセルのブロックの動きを示す、請求項１～４のいずれか一項に記載の方法。
7. 前記複数の動きベクトルは、前記代用画像フレーム内の１つまたは複数の対象となる部分の動きを示す、請求項６に記載の方法。
8. １つまたは複数の後続の画像フレームについてデータを調整することであって、それにより、前記代用画像フレームは、前記１つまたは複数の後続の画像フレームによって参照画像フレームとして使用されない、データを調整することをさらに含む、請求項１～７のいずれか一項に記載の方法。
9. 前記代用画像フレームは、前方予測画像フレーム、Ｐ画像フレーム、および双方向予測画像フレーム、Ｂ画像フレームのうちの１つである、請求項１～８のいずれか一項に記載の方法。
10. 前記カメラシステム（１０８）は、パンチルトズーム（ＰＴＺ）カメラおよび身体装着式カメラ（ＢＷＣ）の一方である、請求項１～９のいずれか一項に記載の方法。
11. 画像フレームの前記ストリームは画像フレームのライブビューストリームであり、該方法は、画像フレームの記録ストリームを同時に取り込むことをさらに含み、画像フレームの前記記録ストリームは代用画像フレームを含まない、請求項１～１０のいずれか一項に記載の方法。
12. 前記代用画像フレームは、事前計算された動きベクトルを含むエンコード済み画像フレームである、請求項１～１１のいずれか一項に記載の方法。
13. 前記画像フレームは、画像フレームの非意図的ドロップのリスクを低減するために、先を見越してドロップされる、請求項１～１２のいずれか一項に記載の方法。
14. カメラシステム（１０８）であって、
    カメラ動作中に画像フレームのストリームを取り込むように構成される画像取り込み部分（１０９）と、
    画像処理パイプライン（２０２）であって、
    画像フレームの前記ストリームからの画像フレームが、割り当てられた期間内に前記画像フレームに対する全ての操作を終了することができないためにドロップされるときに、現在のカメラ動作を決定するように構成され、
    ドロップされた前記画像フレームについて代用画像フレームを生成するように構成された画像処理パイプライン（２０２）であって、前記代用画像フレームは、以前の画像フレームに対する参照を含み、また、決定された前記現在のカメラ動作に基づいてのみ推定される１つまたは複数の動きベクトルを含む、画像処理パイプライン（２０２）と、
    画像フレームの前記ストリーム内の残りの画像フレームをエンコードし、前記代用画像フレームを、ドロップされた前記画像フレームの場所で、エンコードされた画像フレームの前記ストリームに挿入するように構成されるエンコーダー（２０４）と
    を備える、カメラシステム（１０８）。
15. カメラ動作中にカメラシステム（１０８）によって取り込まれる画像フレームのストリームを処理するためのコンピュータプログラム製品であって、該コンピュータプログラム製品は、プログラム命令を実装したコンピュータ可読記憶媒体を備え、前記コンピュータ可読記憶媒体はそれ自体が一時的信号ではなく、前記プログラム命令は、方法を実施するようにプロセッサによって実行可能であり、該方法は、
    画像フレームの前記ストリームからの画像フレームが、割り当てられた期間内に前記画像フレームに対する全ての操作を終了することができないためにドロップされるときに、現在のカメラ動作を決定すること、
    ドロップされた前記画像フレームについて代用画像フレームを生成することであって、前記代用画像フレームは、以前の画像フレームに対する参照を含み、また、決定された前記現在のカメラ動作に基づいてのみ推定される１つまたは複数の動きベクトルを含む、代用画像フレームを生成すること、および、
    画像フレームの前記ストリーム内の残りの画像フレームをエンコードし、前記代用画像フレームを、ドロップされた前記画像フレームの場所で、エンコードされた画像フレームの前記ストリームに挿入すること
    を含む、コンピュータプログラム製品。

Images