JP2022064307A - 画像処理デバイス、カメラ、およびビデオ画像のシーケンスをエンコードするための方法 - Google Patents

Abstract

【課題】動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームにエンコードする方法を提供する。
【解決手段】方法は、ビデオ画像のシーケンスを、ベース層解像度及びベース層圧縮レベルを使用して、単一ビデオストリームのベース層のフレームにエンコードし、イベントトリガーを検出する前の夫々の時間に対応するビデオ画像のシーケンスのビデオ画像を、単一ビデオストリームの拡張層のフレームの第１のセットにエンコードする。フレームの第１のセットのフレームは、ベース層の対応するフレームのエンコーディングによらず、空フレームである。方法はさらに、イベントトリガーを検出すると、検出後の夫々の時間に対応するビデオ画像のシーケンスのビデオ画像を、ベース層解像度より高い解像度又はベース層圧縮レベルより低い圧縮レベルを使用して、拡張層のフレームの第２のセットにエンコードする。
【選択図】図１

Description

本発明は、ビデオエンコーディングに関し、特に、動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームにエンコードすることに関する。

モニタリングまたは監視のために使用されるカメラの場合、エンコードされるビデオ画像のシーケンスのビットレートは、例えば、エンコードされるビデオ画像のシーケンスが送信および／または記憶されるときに、制限因子になる場合がある。同時に、エンコードされるビデオ画像のシーケンスは、後に、犯罪科学的証拠（ｆｏｒｅｎｓｉｃ ｅｖｉｄｅｎｃｅ）として使用することができ、したがって、できる限り多くの詳細が、エンコードされるビデオ画像のシーケンス内に維持されるべきである。

本発明の目的は、カメラによって生成されるビデオストリームについてビットレート節約を容易にすることである。

第１の態様によれば、動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームにエンコードする方法が提供される。方法において、ビデオ画像のシーケンスは、ベース層解像度およびベース層圧縮レベルを使用して、単一ビデオストリームのベース層のフレームにエンコードされる。イベントトリガーを検出する前のそれぞれの時間に対応するビデオ画像のシーケンスのビデオ画像は、単一ビデオストリームの拡張層のフレームの第１のセットにエンコードされる。フレームの第１のセットのフレームは、ベース層の対応するフレームのエンコーディングによらず、空フレームである。イベントトリガーが検出され、イベントトリガーを検出すると、イベントトリガーを検出した後のそれぞれの時間に対応するビデオ画像のシーケンスのビデオ画像は、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用して、拡張層のフレームの第２のセットにエンコードされる。

イベントトリガーによって、関心事になる場合があるイベントが、起きているかまたは起ころうとしていること、したがって、イベントトリガー後に取り込まれるビデオ画像のシーケンスが、イベントトリガーの前に取り込まれるビデオ画像のシーケンスより大きい関心事であることになる情報を含む場合があることを示すトリガーが意味される。

イベントトリガーを検出することによって、イベントトリガーの検出前の時間に関連するエンコードされるビデオ画像が低減されたビットレートを有し、イベントトリガーの検出後の時間に関連するエンコードされるビデオ画像がより高い解像度またはより低い圧縮レベルを有するように、ビデオ画像のシーケンスの画像のエンコーディングを適応させることが可能である。

空フレームは、ここでは、空フレームが依存するエンコード済みフレーム内に設けられる情報に対してほとんどまたは全く付加情報を含まないエンコード済みフレームを指すことを意図される。例えば、拡張層の空フレームは、ベース層の対応するエンコード済みフレーム内に設けられる情報に対してほとんどまたは全く付加情報を含まないエンコード済みフレームである。ベース層の対応するエンコード済みフレームに対して、ほとんど、または好ましくは全く付加情報を持たないことによって、拡張層の空フレームは、少ないまたは最小のビット数を必要とすることになる。

ベース層の対応するフレームのエンコーディングによらず、イベントトリガーを検出する前のそれぞれの時間に対応するビデオ画像のシーケンスの画像を、拡張層の空フレームにエンコードすることによって、ビットレートを低減することができる。ベース層の空でないフレームにエンコードされる画像の場合、ベース層の空でないフレームのエンコーディングによらず、画像を拡張層の空フレームにエンコードすることは、ベース層のフレームのエンコーディングが考慮されていたと思われる場合に必要とされたと思われるよりも少ないビットを必要とする。後者の場合、すなわち、ベース層のフレームのエンコーディングが考慮されていたと思われるとき、画像は、拡張層の空でないフレームにもエンコードされていたと思われ、それは、より多くのビットを必要にしたと思われる。

フレームの第１のセットの空フレームは、フレームのそれぞれの大多数のブロックについてスキップブロックを使用してエンコードされたフレームであるとすることができる。

フレームの第１のセットの空フレームは、フレームのそれぞれのブロックの全てについてスキップブロックを使用してエンコードされたフレームであるとすることができる。

スキップブロックは、それについての画像情報がデコーダーに送信されないブロックである；ブロックがスキップブロックであるという指示のみである。デコーダー側で、拡張層のフレームのスキップブロックは、識別され、ベース層の対応するフレームの対応するブロックに関して、付加情報がエンハンスメントのために提供されないことを示すことになる。ブロックは、使用されるエンコーディングフォーマットに応じて、ブロックまたはマクロブロックまたはコーディングツリーユニットを意味することもできるピクセルの群である。

拡張層のフレームの第２のセットのフレームは、ベース層の対応するフレームに依存する予測を使用してエンコードされるインターフレームである。

第２の態様によれば、動的ビットレートを用いてビデオ画像のシーケンスを送信する方法が提供される。第２の態様の方法において、ビデオ画像のシーケンスは、第１の態様の方法に従ってエンコードされる。単一ビデオストリームは、その後、送信され、フレームの第１のセットは送信されるのを阻止される。

第３の態様によれば、非一時的コンピュータ可読記憶媒体が提供される。非一時的コンピュータ可読記憶媒体は、処理能力を有するデバイス上で実行されると、第１の態様による方法または第２の態様による方法を実装するための命令を、非一時的コンピュータ可読記憶媒体上に記憶している。

第４の態様によれば、動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームにエンコードするための画像処理デバイスが提供される。画像処理デバイスは、ベース層エンコーディング関数および拡張層エンコーディング関数を実行するように構成されるエンコーダーを備える。ベース層エンコーディング関数は、ベース層解像度およびベース層圧縮レベルを使用して、ビデオ画像のシーケンスを単一ビデオストリームのベース層のフレームにエンコードするように構成される。拡張層エンコーディング関数は、ビデオ画像のシーケンスを、単一ビデオストリームの拡張層のフレームエンコードするように構成される。画像処理デバイスは、プレイベント指令関数、イベントトリガー検出関数、およびポストイベント指令関数を実行するように構成される回路をさらに備える。プレイベント指令関数は、イベントトリガーを検出する前のそれぞれの時間に対応するビデオ画像のシーケンスのビデオ画像を、単一ビデオストリームの拡張層のフレームの第１のセットにエンコードするようにエンコーダーに指令するように構成され、フレームの第１のセットのフレームは、ベース層の対応するフレームのエンコーディングによらず、空フレームである。イベントトリガー検出関数はイベントトリガーを検出するように構成される。ポストイベント指令関数は、イベントトリガーを検出すると、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用して、イベントトリガーを検出した後のそれぞれの時間に対応するビデオ画像のシーケンスのビデオ画像を、拡張層のフレームの第２のセットにエンコードするようにエンコーダーに指令するように構成される。

フレームの第１のセットの空フレームは、フレームのそれぞれの大多数のブロックについてスキップブロックを使用してエンコードされたフレームであるとすることができる。

フレームの第１のセットの空フレームは、フレームのそれぞれのブロックの全てについてスキップブロックを使用してエンコードされたフレームであるとすることができる。

拡張層のフレームの第２のセットのフレームは、ベース層の対応するフレームに依存する予測を使用してエンコードされたインターフレームである。

第５の態様によれば、第４の態様の画像処理デバイスを備えるカメラが提供される。

カメラは、単一ビデオストリームを送信するように構成される送信機をさらに備えることができる。画像処理デバイスの回路は、プレイベント送信阻止関数を実行するようにさらに構成することができる。プレイベント送信阻止関数は、送信機がフレームの第１のセットを送信するのを阻止するように構成される。

本発明の適用性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになるため、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例証としてのみ示されることが理解されるべきである。

したがって、本発明が、説明するデバイスの特定のコンポーネント部品または説明する方法の特定の行為に限定されず、なぜならば、そのようなデバイスおよび方法が変動する場合があるからであることが理解される。本明細書で使用される用語が特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求の範囲で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」が、別段に文脈が明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「１つのユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」に対する参照は、幾つかのデバイスおよび同様なものを含むことができる。さらに、語「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および同様な語は、他の要素またはステップを排除しない。

本発明の上記のおよび他の態様は、ここで、添付図を参照してより詳細に説明される。図は、制限的であると考えられるべきであるのではなく、代わりに、説明し理解するために使用される。同様の参照符号は全体を通して同様の要素を指す。

動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームにエンコードする方法の実施形態のフローチャートである。 動的ビットレートを用いてビデオ画像のシーケンスを送信する方法の実施形態のフローチャートである。 動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームにエンコードするための方法の実施形態のフローチャートである。 エンコード済みビデオストリームの層状構造の概略ブロックダイアグラムである。 カメラに含まれる画像処理デバイスの概略ブロックダイアグラムである。

本発明は、ここで、現在のところ好ましい本発明の実施形態が示される添付図面を参照して以降でより完全に述べられるであろう。しかしながら、本発明は、多くの異なる形態で具現化することができ、本明細書で述べる実施形態に限定されるものと解釈されるべきでない。むしろ、これらの実施形態は、徹底さおよび完全さ（ｔｈｏｒｏｕｇｈｎｅｓｓ ａｎｄ ｃｏｍｐｌｅｔｅｎｅｓｓ）のために、また、本発明の範囲を当業者に完全に伝えるために提供される。

図１は、動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームにエンコードする方法１００の実施形態のフローチャートである。方法において、ビデオ画像のシーケンスは、ベース層解像度およびベース層圧縮レベルを使用して、単一ビデオストリームのベース層のフレームにエンコードされるＳ１１０。イベントトリガーを検出する前のそれぞれの時間に対応するビデオ画像のシーケンスのビデオ画像は、単一ビデオストリームの拡張層のフレームの第１のセットにエンコードされるＳ１２０。フレームの第１のセットのフレームは、ベース層の対応するフレームのエンコーディングによらず、空フレームである。イベントトリガーが検出されＳ１３０、イベントトリガーを検出すると、イベントトリガーを検出した後のそれぞれの時間に対応するビデオ画像のシーケンスのビデオ画像は、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用して、拡張層のフレームの第２のセットにエンコードされるＳ１４０。

方法１００は、スケーラブルコーディングを使用し、ベース層解像度およびベース層圧縮レベルを使用するベース層のエンコード済みフレームは、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用する拡張層のエンコード済みフレームで補完される。より高い解像度を使用することは、ベース層の対応するフレームと組合されて、ベース層のフレームのベース解像度より高い解像度を有する画像を、デコーダーにおいてデコードすることができるような情報を、拡張層のフレームが含むことを意味する。より低い圧縮レベルを使用することは、ベース層の対応するフレームと組合されて、ベース層のフレームのベース圧縮レベルより低い圧縮を有する画像を、デコーダーにおいてデコードすることができるような情報を、拡張層のフレームが含むことを意味する。圧縮レベルは、例えば、量子化パラメータに関して設定することができる。そのようなスケーラブルコーディングの例は、ＡＶ１およびビデオコーディング規格ＨＥＶＣ／Ｈ．２６５に対する拡張スケーラブル高効率ビデオコーディング（ＳＨＶＣ：Ｓｃａｌａｂｌｅ Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）において等で知られている。本明細書で開示される方法の新規な態様は、イベントトリガーを検出した後のそれぞれの時間に関連するビデオ画像のシーケンスの画像を、ベース層の対応するフレームのエンコーディングによらず、拡張層内の空フレームにエンコードすることである。

拡張層の空フレームは、ベース層の対応するエンコード済みフレーム内に設けられる情報に対してほとんどまたは全く付加情報を含まないエンコード済みフレームである。ベース層の対応するエンコード済みフレームに対して、ほとんど、または好ましくは全く付加情報を持たないことによって、拡張層の空フレームは、少ないまたは最小のビット数を必要とすることになる。例えば、フレームの第１のセット等の拡張層の空フレームは、フレームのそれぞれの大多数のブロックについてスキップブロックを使用してエンコードされたフレームであるとすることができる。代替法として、フレームの第１のセット等の拡張層の空フレームは、フレームのそれぞれのブロックの全てについてスキップブロックを使用してエンコードされたフレームであるとすることができる。

スキップブロックは、それについての画像情報がデコーダーに送信されないブロックである；ブロックがスキップブロックであるという指示のみである。ブロックは、ここでは、エンコーディング中に共に処理されるピクセルの群を指すために使用される。ブロックは、使用されるエンコーディングフォーマットに応じて、マクロブロックまたはコーディングツリーユニットを意味することもできる。そのようなブロックについての用語は、エンコーディングフォーマット間で異なる場合もあり、幾つかのエンコーディングフォーマットにおいて、完全フレームは、画像情報を含まないことを示すことができる。例えば、完全フレームは、直前のフレームが反復されるべきであることを示す反復フレームとして示すことができる。図１の方法に関連して、反復フレームとしてエンコードされるフレームの第１のセットは、ベース層の対応するフレームに対してさらなる画像情報を含まないとしてデコーダーに示されることになる。フレームの第１のセットが反復フレームであるというデコーダーに対するそのような指示は、ヘッダー内で合図される、すなわち、必ずしも、その指示を含むフレームを送信することによって合図されるわけではない。そのような反復フレームは、例えば、ＡＶ１において使用され、その特徴は、「ｓｈｏｗ＿ｅｘｉｓｔｉｎｇ＿ｆｒａｍｅ」を意味する。

イベントトリガーは、関心事になる場合があるイベントが、起きているかまたは起ころうとしていること、したがって、イベントトリガー後に取り込まれるビデオ画像のシーケンスが、イベントトリガー前に取り込まれるビデオ画像のシーケンスより大きい関心事であることになる情報を含む場合があることを示す、幾つかの異なる事物であるとすることができる。例えば、イベントトリガーは、銃声、窓破り等を識別する音声分析に基づくことができる。イベントトリガーは、誰もいないと予想される建物内の音のような、音が予想されないときに識別される任意の音に単に関連することもできる。イベントトリガーは、誰もいないと予想される建物内の動きのような、動きが予想されないときの動きを識別する画像分析に基づくこともできる。そのような動きは、動きセンサによって検出することもできる。他のイベントトリガーは、ドアまたは窓の開放である場合がある。イベントトリガーは、エンコードされるビデオ画像を取り込む身体装着式カメラを人が使用する等、人による能動的指示である場合もある。例えば、身体装着式カメラを装着する人は、ボタンを押すかまたは任意の他の適切なインターフェースを使用することによって、イベントトリガーが検出されることを示すことができる。

拡張層の空フレームのエンコーディングは、時として、ベース層の対応するフレームのエンコーディングによって既知の方法でも起こる。例えば、ベース層のフレーム自身が空フレームとしてエンコードされる場合、拡張層の対応するフレームは、ベース層フレームをエンハンスすることができず、その結果、空フレームとしてエンコードされることになる。方法１００によれば、イベントトリガーを検出する前のそれぞれの時間に対応するビデオ画像のシーケンスのビデオ画像は、拡張層のフレームの第１のセットにエンコードされＳ１２０、フレームの第１のセットのフレームは、ベース層の対応するフレームのエンコーディングによらず、空フレームである。したがって、ベース層の対応するフレームのエンコーディングによらず、フレームの第１のセットは空フレームとしてエンコードされる。特に、フレームの第１のセットは、ベース層の対応するフレームが空でないフレームとしてエンコードされても空フレームとしてエンコードされる。これは、フレームの第１のセットが、対応するベース層フレームに応じてエンコードされた場合に関連して、単一ビデオストリームのビットレートの低減をもたらすことになる。なぜならば、対応するベース層フレームが空でないフレームであった場合に、フレームの第１のセットが空でないフレームとしてエンコードされることになるからである。ビットレート低減は、ベース層の対応するフレームが空でないフレームとしてエンコードされるときに空フレームとしてエンコードされる拡張層の全てのフレームについて達成される。ビットレート低減は、ベース層の対応するフレームが空でないフレームとしてエンコードされるときに空フレームとしてエンコードされる拡張層のフレームの部分に応じて高くなることになる。したがって、イベントトリガーが検出される前の時間に対応する拡張層のフレームの一部が空でないフレームとしてエンコードされても、ベース層の対応するフレームが空でないフレームとしてエンコードされるときに、拡張層のフレームの一部が空フレームとしてエンコードされる限りビットレート低減が存在することになる。

方法１００によれば、イベントトリガーを検出した後のそれぞれの時間に対応するビデオ画像のシーケンスのビデオ画像は、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用して、拡張層のフレームの第２のセットにエンコードされるＳ１４０。方法１００は、イベントトリガーが検出される前にビットレートを低減することを主に対象とする。イベントトリガーが検出されたＳ１３０後、拡張層のフレームは、好ましくは、エンコードされるビデオストリームをエンハンスするために使用されるべきである。これは、関心事になる場合があるイベントが、起きているかまたは起ころうとしていること、イベントトリガー後に取り込まれるビデオ画像のシーケンスが、イベントトリガー前に取り込まれるビデオ画像のシーケンスより大きい関心事であることになる情報を含む場合があることを、イベントトリガーが示すからである。したがって、イベントトリガーが検出されたＳ１３０後、拡張層のフレームは、好ましくは、ベース層の対応するフレームが空フレームとしてエンコードされなければ、空フレームとしてエンコードされるべきでない。

方法は、プレバッファの使用と組み合わすことができる。プレバッファにおいて、所定の時間に対応するフレームは、先入れ先出し方式で一時的に記憶される。ここで、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用する拡張層のフレームを、イベントトリガーの検出前に同様にエンコードし、プレバッファに記憶することができる。これは、イベントトリガーの検出前に、ベース層の対応するフレームのエンコーディングによらず、拡張層のフレームを空フレームとしてエンコードすることと並列に行われる。プレバッファのフレームは、プレバッファのサイズに対応する所定の時間以内でイベントトリガーが検出されなければ、永続的な記憶または送信のために使用されない。したがって、フレームをエンコードし、それをプレバッファに記憶することから、プレバッファのサイズに対応する所定の時間以内でイベントトリガーが検出されない場合、そのフレームは廃棄されることになる。しかしながら、フレームをエンコードすることから、プレバッファのサイズに対応する所定の時間以内でイベントトリガーが検出される場合、フレームは、送信または永続的に記憶するために使用されることになる。これは、イベントトリガーを検出する前の所定の時間でエンコードされる、ベース層解像度より高い解像度またはより低い圧縮レベルを有するフレームの送信または永続的な記憶の包含を可能にする。したがって、イベントトリガーの検出において、現在、プリバッファ内にある全てのフレームまたはフレームの一部を、永続的な記憶または送信のために使用することができる。

エンコードされたフレームＩ、Ｐ１、Ｐ２、Ｐ３、Ｐ４を含むベース層ＢＬ及びエンコードされたフレームＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’を含む拡張層ＥＬの形態の層を有するスケーラブルエンコーディング構造を示す図２を参照する。ベース層ＢＬのエンコードされたフレームは、イントラフレームＩおよび４つのインターフレームＰ１、Ｐ２、Ｐ３、Ｐ４を含む。拡張層ＥＬのエンコードされたフレームは、５つのインターフレームＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’を含む。ベース層は、ベース層解像度およびベース層品質レベルを使用するフレームＩ、Ｐ１、Ｐ２、Ｐ３、Ｐ４を含む。拡張層ＥＬフレームＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’は、ベース層ＢＬのエンコードされたフレームＩ、Ｐ１、Ｐ２、Ｐ３、Ｐ４と共に、エンハンスされエンコードされたビデオストリームを形成し、エンハンスされエンコードされたビデオストリームを、デコーダー側で、エンハンスされデコードされたビデオストリームにデコードすることができる。拡張層ＥＬのエンコードされたフレームＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’は、エンコードされたビデオストリームをエンハンスする異なる方法を使用する。拡張層ＥＬのフレームＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’は、ベース層解像度より高い解像度を使用することができる、または、それらはより低い圧縮レベルを使用することができる。ベース層ＢＬのエンコードされたフレームＩ、Ｐ１、Ｐ２、Ｐ３、Ｐ４は、拡張層ＥＬのエンコードされたフレームＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’と独立である。デコーダー側で、ベース層ＢＬフレームＩ、Ｐ１、Ｐ２、Ｐ３、Ｐ４は、拡張層のフレームＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’と別々に、デコードされたフレームにデコードすることができる。拡張層ＥＬのエンコードされたフレームＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’は、ベース層ＢＬのエンコードされたフレームＩ、Ｐ１、Ｐ２、Ｐ３、Ｐ４に依存する。

図１に関連して説明した方法によってエンコードされるビデオ画像のシーケンスに関連して、イベントトリガーＥＴは、例えば、図２に示すように、拡張層ＥＬ内の３番目のエンコード済みフレームＰ２’と４番目のフレームＰ３’との間で検出されている場合がある。イベントトリガーＥＴが検出される前の時間に関連する拡張層ＥＬの最初の３つのエンコード済みフレームＰ０’、Ｐ１’、Ｐ２’は、その後、空フレームとしてエンコードされたと思われ、イベントトリガーＥＴが検出された後の時間に関連する拡張層ＥＬの最後の２つのエンコード済みフレームＰ３’、Ｐ４’は、その後、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用してエンコードされたと思われる。

図２に示すインターフレームの数は、単に例証のためのものである。インターフレーム間におけるエンコード済みフレームの数は、任意の適切な数に設定することができる。

拡張層ＥＬのフレームがＰフレームとしてエンコードされることに対する代替法において、拡張層ＥＬのフレームを、Ｂフレームとしてエンコードすることもできる。

図２において、ベース層および拡張層の形態の２つの層が示されるが、例えば、第１の拡張層および第２の拡張層が存在するようにさらなる拡張層を付加すること等、１つまたは複数のさらなる層を付加することができる。例えば、エンコーディングは、イベント前に関してだけでなく、イベントの重要性に関しても適応することができる。イベントトリガーの任意の検出前に、画像は、第１の拡張層と第２の拡張層の両方において空フレームとしてエンコードされる。低い重要性のイベントに関連するイベントトリガーを検出した後、画像は、第２の拡張層において空フレームとして、および、第１の拡張層においてより高い解像度またはより低い圧縮レベルを有するフレームとしてエンコードされる。高い重要性のイベントに関連するイベントトリガーを検出した後、画像は、第１の拡張層と第２の拡張層の両方においてより高い解像度またはより低い圧縮レベルを有するフレームとしてエンコードされる。代替的に、３つ以上のさらなる拡張層の場合、ビットレートは、拡張層のより多くに空フレームを導入することによって、段階的に減少することができる。これは、エンコード済みビデオストリーム内の詳細についてのその時判定される必要性に基づいて行うことができる。

図３は、動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームに送信する方法３００の実施形態のフローチャートである。ビデオ画像のシーケンスは、図１に関連して説明した方法１００に従って最初に単一ビデオストリームにエンコードされた。単一ビデオストリームは、その後、送信されＳ３１０、イベントトリガーが検出される前のそれぞれの時間に対応する画像からエンコードされたフレームであるフレームの第１のセットは送信するのを阻止される。イベントトリガーを検出した後のそれぞれの時間に対応する画像からエンコードされたフレームであるフレームの第２のセットは、一方で通常送信される。ベース層のフレームも、通常送信される。

換言すれば、２つの異なる層が１つのビデオストリームにエンコードされても、エンコード済みビデオストリームが送信されるとき、２つの送信モードについての選択を行うことができる。第１の送信モードにおいて、拡張層のエンコード済みフレームは送信するのを阻止され、エンコード済みビデオストリームのベース層のエンコード済みフレームのみが送信され、第２の送信モードにおいて、エンコード済みビデオストリームのベース層のエンコード済みフレームおよび拡張層のエンコード済みフレームが共に送信される。そして、第１の送信モードは、イベントトリガーが検出される前に使用され、第２の送信モードは、イベントが検出された後に使用される。

図４は、動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームにエンコードする方法４００の実施形態のフローチャートである。エンコーディング用の画像は、例えば、画像センサから画像を受信することによって得られるＳ４１０。得られたフレームは、その後、ベース層解像度およびベース層品質レベルを有するベース層のフレームにエンコードされるＳ４２０。Ｃ４２５イベントトリガーが検出されていない場合、得られた画像は、ベース層内のフレームのエンコーディングによらず、拡張層の空フレームにエンコードされＳ４４０、方法４００は、エンコーディング用のさらなる画像を得るＳ４１０ことによって継続する。Ｃ４２５イベントトリガーが検出された場合、得られた画像は、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用して拡張層のフレームにエンコードされＳ４３０、方法４００は、エンコーディング用のさらなる画像を得るＳ４１０ことによって継続する。イベントトリガーが検出されると、検出後に受信されたフレームは、条件がリセットされるまで、すなわち、イベントトリガーが検出される条件を真でなくするまで、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用して拡張層のフレームにエンコードされるＳ４３０ことになる。これは、所定の期間後に、あるいは、イベントの終了の検出または任意の他の適切な方法によって、手作業で行うことができる。目標は、条件のリセットまで、または、イベントが起こっている限り、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用して拡張層のフレームに画像をエンコードし続けることである。

図５は、画像データを取り込むように構成される画像センサ５１０を備えるカメラ５０５に関連して、本開示による画像処理デバイス５００の実施形態を示す。カメラ５０５は、身体装着式カメラＢＷＣ（：ｂｏｄｙ ｗｏｒｎ ｃａｍｅｒａ）または別の可動カメラであるとすることができる、または、カメラ５０５は、固定カメラ、例えば、モニタリングカメラまたは監視カメラであるとすることができる。カメラ５０５は、別個のユニットであるとすることができる、または、カメラ５０５は、ヘルメット、メガネ等内に等、別のユニットに統合することができる。カメラ５０５は、パトロールおよび出来事の間にビデオおよびおそらくは他のデータを取り込むために、例えば警察官が使用することができる、または、カメラ５０５は、或るエリアをモニターするために使用することができる。取り込まれたデータは、その後、例えば、犯罪を調査し、犯罪が疑われる犯人を訴追するときに、証拠として必要とされる場合がある。取り込まれたデータを保存するために、ビデオ管理システムまたは証拠管理システム等の、カメラ５０５から外部のデータ管理システムを使用することができる。そのようなデータ管理システムは、一般に、取り込まれたデータの記憶および同様に取り込まれたデータの閲覧を、リアルタイムにまたは記録データの再生として提供する。カメラ５０５は、例えば、データ管理システムに対する、または、ライブ映像が閲覧されるセントラル（ｃｅｎｔｒａｌ）に対する、データストレージの制限および／または無線接続のための帯域幅の制限によって、ビットレート制限を受ける場合がある。さらに、接続についての帯域幅の制限は経時的に変動する場合がり、それにより、ビットレートは、時として、さらに一層制限される。

画像処理デバイスはエンコーダー５２０および回路５３０を備える。画像センサ５１０は画像データを取り込むように構成される。画像データは、例えば、画像フレームのデータであるとすることができる。画像センサおよび画像データの取り込みは、当業者によく知られており、本開示においてより詳細に論じられない。

エンコーダー５２０は、例えば、カメラ５０５の画像センサ５１０によって取り込まれた画像データをビデオストリームにエンコードするように構成され、時として、エンコーダー５２０によって提供されるビデオストリームは、エンコード済みビデオストリームと呼ばれる。典型的には、ビデオエンコーダー５２０は、ビデオストリームの画像の一部をイントラフレームまたはキーフレームとして、また、ビデオストリームの画像の一部をインターフレームまたはデルタフレームとしてエンコードするように構成される。イントラフレームは、他のエンコード済みビデオフレームからの情報がデコードされることを必要としないエンコード済みビデオフレームである。したがって、イントラフレームは、イントラフレームがそれに対応するように設定されるビデオデータの画像フレームからの情報に基づいてエンコードされる。典型的には、画像フレーム内の類似性が、画像をイントラフレームにエンコードするために使用される。ビデオエンコーディングにおいて、イントラフレームは、しばしばＩフレームと呼ばれる。２つのイントラフレーム間のビデオストリームの画像はインターフレームとしてエンコードされる。典型的には、インターフレームは、１つのフレームから次のフレームまでに起こる変化を含むだけである。したがって、インターフレームは、典型的には、イントラレームより少ないデータを含む。ビデオエンコーディングにおいて、インターフレームは、しばしばＰフレームまたはＢフレームと呼ばれる。Ｐフレームはデータ参照のための直前フレームを指す。したがって、直前フレームのコンテンツは、Ｐフレームをデコードするためにわかっていなければならない。Ｂフレームは、データ参照のための直前フレームと前方フレームの両方を指すことができる。したがって、直前フレームと前方フレームの両方のコンテンツは、Ｂフレームをデコードするためにわかっていなければならない。画像をインターフレームにエンコードするとき、画像はピクセルの複数の群に分割される。ピクセルの群は、例えば、ブロック、マクロブロック、またはコーディングツリーユニットと呼ぶことができる。画像は参照画像と比較される。例えば、Ｐフレームをエンコードするための参照画像は、直前の画像である。エンコードされる画像フレームと参照フレームとの間のピクセルの一致する群を識別するために照合アルゴリズム（ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）が使用され、ピクセルの或る群について一致が見出される場合、ピクセルのその群は、参照フレーム以来、ピクセルの群が画像フレーム内でどの程度移動したかを指定する動きベクトルとしてエンコードすることができる。動きベクトルを決定することは、時として、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）と呼ばれる。カメラまたは取り込まれるシーン内のオブジェクトの速い運動によって動きが大きい場合、動き推定は、動きベクトルを推定することに失敗する場合がある。エンコードされる画像フレームについて識別される動きベクトルが少なければ少ないほど、結果として得られるエンコード済みインターフレームは、ビットサイズが大きくなることになり、したがって、エンコード済みビデオストリームのビットレートに対する寄与が大きいことになる。

エンコーダー５２０は、ベース層エンコーディング関数５８１および拡張層エンコーディング関数５８２を実行するように構成される。ベース層エンコーディング関数５８１は、ベース層解像度およびベース圧縮レベルを使用して、ビデオ画像のシーケンスを単一ビデオストリームのベース層のフレームにエンコードするように構成される。拡張層エンコーディング関数５８２は、ビデオ画像のシーケンスを、単一ビデオストリームの拡張層のフレームにエンコードするように構成される。

回路５３０は、画像処理デバイス５００の関数を実施するように構成される。回路５３０は、中央処理ユニット（ＣＰＵ）、マイクロコントローラー、またはマイクロプロセッサ等のプロセッサ５３２を含むことができる。プロセッサ５３２は、プログラムコードを実行するように構成される。プログラムコードは、例えば、ウェアラブルカメラ５０５の関数を実施するように構成することができる。

画像処理デバイス５００はメモリ５４０をさらに備えることができる。メモリ５４０は、バッファ、フラッシュメモリ、ハードドライブ、取り外し可能媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、または別の適切なデバイスのうちの１つまたは複数であるとすることができる。典型的な配置構成において、メモリ５４０は、長期データ記憶のための不揮発性メモリ、および、回路５３０用のシステムメモリとして機能する揮発性メモリを含むことができる。メモリ５４０は、データバスを通じて回路５３０とデータを交換することができる。付随する制御ラインおよびメモリ５４０と回路５３０との間のアドレスバスが存在することもできる。

画像処理デバイス５００の関数は、実行可能論理ルーチン（例えば、コード行（ｌｉｎｅｓ ｏｆ ｃｏｄｅ）、ソフトウェアプログラム等）の形態で具現化することができ、実行可能論理ルーチンは、カメラ５０５の非一時的コンピュータ可読媒体（例えば、メモリ５４０）上に記憶され、カメラ回路５３０によって（例えば、プロセッサ５３２を使用して）実行される。さらに、画像処理デバイス５００の関数は、独立型ソフトウェアアプリケーションである、または、カメラ５０５に関連するさらなるタスクを実施するソフトウェアアプリケーションの一部を形成することができる。説明する関数は、回路５３０の処理ユニット、例えばプロセッサ５３２がそれを実行するように構成される方法と考えることができる。同様に、説明する関数はソフトウェアで実装することができるが、そのような機能は、専用ハードウェアまたはファームウェア、あるいは、ハードウェア、ファームウェア、および／またはソフトウェアの何らかの組み合わせによって実施することもできる。

回路５３０は、プレイベント指令関数５８３、イベントトリガー検出関数５８４、およびポストイベント指令関数５８５を実行するように構成される。プレイベント指令関数５８３は、イベントトリガーを検出する前のそれぞれの時間に対応するビデオ画像のシーケンスのビデオ画像を、単一ビデオストリームの拡張層のフレームの第１のセットにエンコードするようにエンコーダーに指令するように構成され、フレームの第１のセットのフレームは、ベース層の対応するフレームのエンコーディングによらず、空フレームである。イベントトリガー検出関数５８４は、イベントトリガーを検出するように構成される。ポストイベント指令関数５８５は、イベントトリガーを検出すると、ベース層解像度より高い解像度またはベース層圧縮レベルより低い圧縮レベルを使用して、イベントトリガーを検出した後のそれぞれの時間に対応するビデオ画像のシーケンスのビデオ画像を、拡張層のフレームの第２のセットにエンコードするようにエンコーダーに指令するように構成される。

カメラ５０５は、ローカルデータストレージ５５０をさらに備えることができる。ローカルデータストレージ５５０はビデオストリームを記憶するように構成することができる。ローカルデータストレージは、典型的には制限されたデータ記憶容量を有する。ローカルデータストレージ５５０は、ビデオストリームを記憶するのに適する任意のタイプのローカルデータストレージであるとすることができる。例えば、ローカルデータストレージ５５０は、ＳＤカードリーダーおよびＳＤカードの形態であるとすることができる。ローカルデータストレージ５４０の別の例は、フラッシュメモリ、例えばＮＡＮＤフラッシュの形態であるとすることができる。

カメラ５０５は送信機５６０をさらに備えることができる。送信機５６０は、ビデオストリームを、例えばデータ管理システムに、例えば無線送信するように構成することができる。送信機５６０は、取り込まれたビデオストリームをデータ管理システムに連続して伝送するように構成することができる。伝送は、典型的には、伝送のために利用可能な帯域幅によって制限される。伝送のために利用可能な帯域幅は、経時的に変動する場合もある。

回路５３０は、プレイベント送信阻止関数５８６を実行するようにさらに構成することができる。プレイベント送信阻止関数５８６は、送信機がフレームの第１のセットを送信するのを阻止するように構成される。

エンコーダー５２０および回路５３０によって実施される関数は、図１に関連して説明した方法１００、図１３に関連して説明した方法３００、および図４に関連して説明した方法４００の対応するステップとしてさらに適応することができる。

本発明が上記で説明した実施形態に限定されないことを当業者は認識する。逆に、多くの修正および変形が、添付特許請求項の範囲内で可能である。図面、本開示、および添付特許請求の範囲の調査によって、そのような修正および変形を、特許請求される本発明を実施するときに当業者が理解し実施することができる。

Claims (8)

1. 動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームにエンコードする方法であって、
   ベース層解像度およびベース層圧縮レベルを使用して、ビデオ画像の前記シーケンスを前記単一ビデオストリームのベース層のフレームにエンコードすること、
   イベントトリガーを検出する前のそれぞれの時間に対応するビデオ画像の前記シーケンスのビデオ画像を、前記単一ビデオストリームの拡張層のフレームの第１のセットにエンコードすることであって、フレームの前記第１のセットは、前記ベース層の対応するフレームのエンコーディングによらず、空フレームであり、前記空フレームは、前記フレームのそれぞれの全てのブロックについてスキップブロックを使用してエンコードされたフレームであり、前記イベントトリガーは、関心事になる場合があるイベントが、起きているかまたは起ころうとしていること、および、前記イベントトリガー後のそれぞれの時間に対応するビデオ画像の前記シーケンスのビデオ画像が、前記イベントトリガーの前のそれぞれの時間に対応するビデオ画像の前記シーケンスの前記ビデオ画像より大きい関心事であることになる情報を含む場合があることを示す、ビデオ画像をエンコードすること、
   前記イベントトリガーを検出すること、および、
   前記イベントトリガーを検出すると、前記ベース層解像度より高い解像度または前記ベース層圧縮レベルより低い圧縮レベルを使用して、前記イベントトリガーを検出した後のそれぞれの時間に対応するビデオ画像の前記シーケンスの前記ビデオ画像を、前記単一ビデオストリームの前記拡張層のフレームの第２のセットにエンコードすること
   を含む、方法。
2. 前記拡張層のフレームの前記第２のセットの前記フレームは、前記ベース層の対応するフレームに依存する予測を使用してエンコードされたインターフレームである、請求項１に記載の方法。
3. 動的ビットレートを用いてビデオ画像のシーケンスを送信する方法であって、
   請求項１または２に記載の方法に従って、ビデオ画像の前記シーケンスをエンコードすること、
   前記ベース層の前記フレームおよび前記単一ビデオストリームの前記拡張層のフレームの前記第２のセットを送信することであって、フレームの前記第１のセットは送信されるのを阻止される、送信すること
   を含む、方法。
4. 非一時的コンピュータ可読記憶媒体であって、処理能力を有するデバイス上で実行されると、請求項１から３のいずれか一項に記載の方法を実装するための命令を、非一時的コンピュータ可読記憶媒体上に記憶している、非一時的コンピュータ可読記憶媒体。
5. 動的ビットレートを用いてビデオ画像のシーケンスを単一ビデオストリームにエンコードするための画像処理デバイスであって、
   エンコーダーであって、
   ベース層解像度およびベース層圧縮レベルを使用して、ビデオ画像の前記シーケンスを前記単一ビデオストリームのベース層のフレームにエンコードするように構成されるベース層エンコーディング関数、
   ビデオ画像の前記シーケンスを、前記単一ビデオストリームの拡張層のフレームにエンコードするように構成される拡張層エンコーディング関数
   を実行するように構成される、エンコーダーと、
   回路であって、
   イベントトリガーを検出する前のそれぞれの時間に対応するビデオ画像の前記シーケンスのビデオ画像を、前記単一ビデオストリームの前記拡張層のフレームの第１のセットにエンコードするように前記エンコーダーに指令するように構成されるプレイベント指令関数であって、フレームの前記第１のセットは、前記ベース層の対応するフレームの前記エンコーディングによらず、空フレームであり、前記空フレームは、前記フレームのそれぞれの全てのブロックについてスキップブロックを使用してエンコードされたフレームであり、前記イベントトリガーは、関心事になる場合があるイベントが、起きているかまたは起ころうとしていること、および、前記イベントトリガー後のそれぞれの時間に対応するビデオ画像の前記シーケンスのビデオ画像が、前記イベントトリガーの前のそれぞれの時間に対応するビデオ画像の前記シーケンスの前記ビデオ画像より大きい関心事であることになる情報を含む場合があることを示す、プレイベント指令関数、
   前記イベントトリガーを検出するように構成されるイベントトリガー検出関数、
   前記イベントトリガーを検出すると、前記ベース層解像度より高い解像度または前記ベース層圧縮レベルより低い圧縮レベルを使用して、前記イベントトリガーを検出した後のそれぞれの時間に対応するビデオ画像の前記シーケンスの前記ビデオ画像を、前記単一ビデオストリームの前記拡張層のフレームの第２のセットにエンコードするように前記エンコーダーに指令するように構成されるポストイベント指令関数
   を実行するように構成される回路、
   を備えた、画像処理デバイス。
6. 前記拡張層のフレームの前記第２のセットの前記フレームは、前記ベース層の対応するフレームに依存する予測を使用してエンコードされたインターフレームである、請求項５に記載の画像処理デバイス。
7. 請求項５または６に記載の前記画像処理デバイスを備えるカメラ。
8. 前記ベース層の前記フレームおよび前記単一ビデオストリームの前記拡張層のフレームの前記第２のセットを送信するように構成される送信機をさらに備え、
   前記画像処理デバイスの前記回路は、
   前記送信機がフレームの前記第１のセットを送信するのを阻止するように構成されるプレイベント送信阻止関数
   を実行するようにさらに構成される、請求項７に記載のカメラ。
   

Images