JP2022100261A - 修飾されたビデオのエンコーディング - Google Patents

Abstract

【課題】修飾して撮像されたビデオをエンコードする方法及びデバイスを提供する。【解決手段】方法は、第１／第２の入力画像フレームのソースから生じた画像データを含む第１／第２の入力画像フレームのセットを受信すること（Ｓ１０１０、Ｓ１０２０）と、第１／第２のエンコードされた画像フレームのセットにエンコードし、組み合わされたビデオストリームを形成すること（Ｓ１０４０）と、組み合わされたビデオストリームを形成することと、第１／第２のキーであって、それぞれがソースのそれぞれに関連するキーを使用して、第１の／第２のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームを含む第１／第２の署名グループに署名すること（Ｓ１０５０、Ｓ１０６０）と、を含む。【選択図】図１

Description

本発明は、修飾されたビデオをエンコードするための方法及びデバイスに関する。

今日、監視ビデオカメラは、セキュリティ、セーフティ、及びエビデンスの収集に関する多くのアプリケーションにおいて広く使われている。一般的に、これらのカメラのビデオストリームは、例えば、グラフィカルオーバレイの適用により修飾される。そのような修飾は、例えば、撮像の時間及び／又はカメラの識別子を示すオーバレイを含む場合がある。これらの修飾は、境界ボックス及び／又はイベントマーカをさらに含む場合がある。これらの修飾はしたがって、そのコンテンツを解釈又は理解することにおいて、オペレータがビデオストリームを見ることを補助するために適用される場合がある。修飾はまた、プライバシーマスクなどの、そのような修飾のよく知られている例を用いて、個人情報を保護するための法的要件に従うために適用される場合がある。

確信的に修飾された及び／又はコンピュータにより生成されたビデオ、例えば、ディープフェイクと呼ばれるものは、非常に大きなセキュリティに対するチャレンジを提示する。なぜならそれらは、例えば、撮像されたビデオの証拠としての価値を損ない、撮像されたビデオにおける信頼性が低下するために、監視カメラを有益でないものとする場合があるからである。これは特に、上述するように、悪意のない目的に修飾されている、監視カメラのビデオの場合にあてはまる。これに対して、修飾されたビデオと修飾されていないビデオとは、互いに独立してエンコードされて処理される場合がある。

これを踏まえ、したがって、当技術分野における改善の必要性がある。

本発明の目的は、従来技術における上記の課題の少なくともいくらかを軽減し、修飾して撮像されたビデオをエンコードするための改善されたソリューションを提供することである。

第１の態様によると、ビデオストリームを処理する方法が提供される。この方法は、第１の入力画像フレームのソースから生じた画像データを含む第１の入力画像フレームのセットを受信することと、第２の入力画像フレームのソースから生じた画像データを含む第２の入力画像フレームのセットを受信することと、第１の入力画像フレームのセットと、第２の入力画像フレームのセットと、をそれぞれ、第１のエンコードされた画像フレームのセットと、第２のエンコードされた画像フレームのセットと、にエンコードし、組み合わされたビデオストリームを形成することであって、第１のエンコードされた画像フレームのセットのエンコードされた画像フレームは排他的に、第１のエンコードされた画像フレームのセットの一又は複数の他のエンコードされた画像フレームを参照し、第２のエンコードされた画像フレームのセットのエンコードされた画像フレームは、第１のエンコードされた画像フレームのセットのエンコードされた画像フレームと、第２のエンコードされた画像フレームのセットの別のエンコードされた画像フレームと、の双方を参照する、組み合わされたビデオストリームを形成することと、第１のキーであって、第１の入力画像フレームのソースに関連する第１のキーを使用して、第１のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームを含む第１の署名グループに署名することと、第２のキーであって、第２の入力画像フレームのソースに関連する第２のキーを使用して、第２のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームを含む第２の署名グループに署名することと、を含む。

「エンコーディング」とは、ビデオコーディングの分野において知られるものとして理解されるべきである。これは例えば、ビットストリームにおける入力画像フレームを、潜在的に圧縮されたものとして表すことを含んでよい。

「参照すること」とは、ビデオコーディングの分野において一般的に知られるものとして理解されるべきである。ここで、エンコードされるようなフレームの部分のそれぞれは、潜在的に、同じフレームの他の部分のそれぞれを参照してよい、及び／又は、エンコードされた画像フレームのそれぞれは、潜在的に、エンコードされたビデオストリームにおける他の画像フレームのそれぞれを参照してよい。典型的には、第１のフレーム又はその一部をエンコードすることは、第２のフレームに対する差異、又は、第２のフレームからの予測された進化からの差異をエンコードすることに基づいてよく、エンコードされたものとしての第１のフレームはこれにより、第２のフレームを参照する。これは、インターフレームコーディングと呼ばれるものの場合を含む。

「署名すること」とは、コンピュータによる暗号技術の分野において一般的に知られるように、署名中に使用されるキーの識別を示す、ビット若しくはバイトのコレクション、キャラクターのストリング、又は同様のものなどの、代理となるものを生成することとして理解されるべきである。したがって、第１及び第２のキーは、それらが関連付けられているソースの識別を可能にする暗号化タイプのキーとして理解されてよい。

「キー」とは、コンピュータによる暗号技術の分野において一般的に知られるように、署名中に使用される、ビット若しくはバイトのコレクション、キャラクターのストリング、又は同様のものなどの、代理となるものとして理解されるべきである。それ自体が知られているような、パブリックキー暗号技術の場合では、キーは、プライベートキーであってよく、これは、上記主張するように署名において使用され、対応するパブリックキーを持ち、これは後に、署名中に生成された署名と照合するために使用されてよい。

第１の入力画像フレームのセットは、例えば、撮像デバイスの画像センサにより記録されるような、元のピクセルデータのみを含む画像フレームであってよい。第２の入力画像フレームのセットは、例えば、元のピクセルデータと比較して、修飾又は変更を含む画像フレームとして理解されてよい。第１の入力画像フレームのソースは、撮像デバイス又はその画像センサに関連付けられてよい。代替的に、又は追加的に、第１の画像フレームのソースは、ビデオストアに保存されたビデオデータなどの、保存されたビデオデータに関連付けられてよい。第２の入力画像フレームのソースは、ビデオ処理ユニット、つまり、処理を行い、画像フレームのピクセルデータに修飾を適用できるエンティティに関連付けられてよい。

一般的に、ソースは、画像センサ又はエンコーダなどの、ハードウェアに基づくもの、及び／又は、非一時的コンピュータ可読記憶媒体上に保存された命令などの、ソフトウェアに基づくもの、であってよい。

署名することは、例えば、別個の署名ユニット、エンコーダ、又は任意のものにおいて行われてよい。

組み合わされたビデオストリームをエンコードし、第１のエンコードされた画像フレームのセットのフレームが排他的に、そのセットの複数のフレームの１つを参照し、一方で、第２のエンコードされた画像フレームのセットのエンコードされたフレームが、第１のセットのフレームと、第２のセットのフレームと、の双方を参照するようにすることは、単一のビデオストリームにおいて、ソースの双方から、完全な情報を、第１の入力画像フレームのソースからの元のピクセル又は画像データを恒久的又は変更不可に変えることなく、提供することを可能にする。これは、したがって、出力されて組み合わされたビデオストリームに、それらのピクセルデータに対する修飾なく、効果的に含まれてよい。さらに、このエンコーディング方法を使用して、第１のエンコードされた画像フレームのセットにおける元の画像データは、組み合わされたビデオストリームにおける第２の画像フレームのセットをエンコードするための基礎として使用されてよい。これは、データの重複を回避する。これにより、修飾されていないものとしての、及び、修飾されたものとしての、２つの完全なビデオストリームのための過剰なエンコーディング、伝送、及びストレージリソースを回避することができる。

さらに、第１のエンコードされた画像フレームのセットの一又は複数の画像フレームを含む第１の署名グループと、第２の画像フレームのセットの一又は複数の画像フレームを含む第２の署名グループと、を、画像フレームのソースのそれぞれに関連するキーをそれぞれ用いて、別々に署名することを通して、第１のソースからの画像のインテグリティが、第２のソースからの、オーバレイなどの画像の存在にも関わらず、これらの署名を通して検証されてよい。さらに、第２のソースの画像のインテグリティが、別々に検証されてよい。

一般的に、第１の入力画像フレームのソースからのデータは、比較的高いセキュリティレベルに関連付けられてよく、第２の入力画像フレームのソースからのデータは、比較的低いセキュリティレベルに関連付けられてよい。例えば、画像センサから直接来た入力画像フレームを表す第１の入力画像フレームのソースと、ビデオセンサの下流のカメラに加えられている場合がある、オーバレイに関連付けられている第２の入力画像フレームのソースと、の場合では、センサからの直接のデータは、オーバレイと比較して、改ざんに対する機会が少ない場合があり、したがって、より高い信頼のレベルに関連付けられている。さらに、第１の入力画像フレームのセットは、センサを出てから変更又は改ざんされていないことが保証されてよい一方で、第２の入力画像フレームのセットは、カメラを出てから改ざんされていないことのみを保証することができる。

別の例では、別々に署名することは、例えば、ピクセルデータの修飾を含む第２の入力画像フレームのソースが、エンコーダ又は撮像デバイスのプロバイダに必ずしも関連しない別のものに関連付けられている、又は、そこから生じているのであれば、特に有益な場合がある。この場合では、対応するデータは、より低い信頼のレベルに関連付けられてよい。なぜなら、そのような別のものからのデータは、カメラの製造業者又はカメラの所有者の管理下にない可能性があり、追加の前又はその最中に修飾又は改ざんされている場合があるからである。

別々に署名することを通して、オーバレイの形態などでの、第２の画像フレームのソースからのデータが存在していても、第１の画像フレームのソースに関連付けられている、より高い信頼のレベルが保持され得る。したがって、セキュリティが改善される一方で、すべての画像情報が、１つの組み合わされたビデオストリームにおいて保持される。

したがって、まとめると、この方法は、修飾のあるビデオをエンコードするセキュアで効率的な方法を好適に提供し得る。

第２の署名グループは、第２のエンコードされた画像フレームのセットのエンコードされた画像フレームにより参照される、第１のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームをさらに含んでよい。

これは、第２のソースからの修飾を含む、第１のソースからの画像の組み合わせを検証することを可能にし、セキュリティ及びフレキシビリティを改善する。

この方法は、第３の入力画像フレームのソースから生じた画像データを含む第３の入力画像フレームのセットを受信することをさらに含んでよい。ここで、エンコードすることは、第３の入力画像フレームのセットを、第３のエンコードされた画像フレームのセットにエンコードし、組み合わされたビデオストリームの一部を形成することをさらに含む。ここで、第３のエンコードされた画像フレームのセットのエンコードされた画像フレームは、第１のエンコードされた画像フレームのセットのエンコードされた画像フレームと、第３のエンコードされた画像フレームのセットの別のエンコードされた画像フレームと、の双方を参照する。この方法は、第３のキーであって、第３の入力画像フレームのソースに関連する第３のキーを使用して、第３のエンコードされた画像フレームのセットの一又は複数の画像フレームを含む第３の署名グループに署名することをさらに含む。

第３の入力画像フレームのセットは、例えば、第２の入力画像フレームのセットと同様に、第１のソースからの元のピクセルデータと比較して、修飾又は変更を含む画像フレームを含んでよい。一例として、第２のソースは、エンコーダ又は撮像デバイスに直接関連付けられており、そのエンコーダ又は撮像デバイスのプロバイダによって監督又は認可されている、ピクセルデータの修飾のソースとして理解されてよい。第３のソースは、その代わりに、そのエンコーダ又は撮像デバイスのプロバイダに必ずしも関連しない別のものに関連付けられている、ピクセルデータの修飾のソースとして理解されてよい。

第３の入力画像フレームのセットは、エンコードされる、独立した及び別個のピクセルデータの修飾された画像フレームのさらなるレベルの、同じ組み合わされたビデオストリームへの、元のピクセルデータを恒久的及び変更不可に変えることのない追加を可能にしてよい。原則として、対応して受信され、同じ組み合わされたビデオストリームにエンコードされる、第４、第５、などの、さらなる画像フレームのセットを防ぐものはない。

この方法は、第１のエンコードされた画像フレームのセットを、表示されない画像フレームとして指定することをさらに含んでよい。そのような指定は、例えば、第１のエンコードされた画像フレームのセットのフレームのそれぞれに適用されるＮＤ（Ｎｏ Ｄｉｓｐｌａｙ）フラグの形態をとってよい。

これは、第１のエンコードされた画像フレームのセットに含まれる画像フレームを、組み合わされたビデオストリームにおいて識別される、第１のキーにより署名されたものとして識別する、便利で効率的な方法を可能にする。本開示におけるそのような指定は、組み合わされたビデオストリームが、実際のディスプレイに表示されていなくとも、組み合わされたビデオストリームにおける第１のエンコードされた画像フレームのセットを識別するために使用されてよいことに留意すべきである。

さらに、組み合わされたビデオストリームは、これにより、標準的なビデオデコーダが、組み合わされたビデオストリームをデコードする際に、デコードされたビデオストリームを、例えば、表示、保存、及び／又は分析のために、例えば、第２の入力画像フレームのソースから生じたオーバレイを含む、第２の入力画像フレームのソースにより修飾されたものとして、出力するよう、エンコードされてよい。一方、そのようなデコーダは、第１のエンコードされた画像フレームのセットのエンコードされた画像フレームを、表示されない画像フレームとして指定されたものとして、無視する。したがって、組み合わされたビデオストリームは、修飾なく、そのような標準的なビデオデコーダを使用してデコードされると、使用可能となり、オーバレイを含めて、容易な再生が可能となる。これは、組み合わされたビデオストリームの一般的な使用となり得る。一方、第１の入力画像フレームのソースからのすべての情報は、修飾なく、組み合わされたビデオストリームに含まれる。これは、特別に適合されているデコーダを使用してそこから抽出可能であってよい。したがって、表示されない画像フレームとして指定された、エンコードされた画像フレームを、組み合わされたビデオストリームから抽出し、それらの画像フレームを、デコードされたものとして、デコードされたビデオストリームにおいて出力してよい。したがって、まとめると、これは、組み合わされたビデオストリームをエンコードすることを、使用が容易ながらも、ソースの双方からのすべての情報を依然として、第１のキー及び第２のキーにより署名されたものとして含む方法において、可能にする。

第１の入力画像フレームのソースは、ビデオ撮像デバイスの画像センサであってよい。これは、第１の入力画像フレームのセットが、いずれの修飾が適用されることなく撮像されたたものとしてエンコードされることとなってよい。

第２の入力画像フレームのソースは、ビデオ撮像デバイスの画像センサとは別のセンサであってよい。画像センサとは別のセンサは、例えば、赤外線センサ、レーダーセンサ、レーザー／ライダーセンサなどであってよい。そのようなものとして、レーダーデータなどの、他のセンサデータに基づくグラフィカルオーバレイは、組み合わされたビデオストリームに、第１の入力画像フレームのセットに影響することなく、組み込まれてよい。

第２の入力画像フレームのソースは、ビデオ処理ユニットであってよい。そのようなビデオ処理ユニットは、エンコーダなどの、ビデオの関連する処理が可能ないずれのデバイス、方法、システム、又はソフトウェアとして理解されてよい。画像フレーム又はビデオに対して修飾が可能な他のデバイス、方法、又はシステムもまた、ビデオ処理ユニットと考えられてよい。ビデオ処理ユニットは、コンピュータにより実行されてよい。例えば、ビデオ処理ユニットは、画像データの第１のソースに関連付けられているアプリケーションプログラミングインターフェース（ＡＰＩ）を利用して実行されてよい。ビデオ処理ユニットは、ビデオ処理パイプラインであってよい。

ビデオ処理ユニットは、グラフィカルオーバレイ追加機能を含んでよい。そのようなグラフィカルオーバレイ追加機能は、いずれの種類のグラフィカルオーバレイを画像フレームに加えることが可能ないずれのデバイス、方法、又はシステムとして理解されるべきである。

第１のキーは、ハッシュ関数キーであってよい、及び／又は、第２のキーは、ハッシュ関数キーであってよい。これは、第１及び／又は第２のキーが、暗号学的ハッシュ関数に関連するものとして理解されてよい。ハッシュキーは、権限のない又は悪意のある署名が起こる蓋然性又は実行可能性を減らすことにより、その署名がそのようなものとして検出されることなく、向上したセキュリティを提供する。

エンコードすることは、第１の入力画像フレームのセットと、第２の入力画像フレームのセットと、をそれぞれ、第１のエンコードされた画像フレームのセットと、第２のエンコードされた画像フレームのセットと、にインターエンコードすることを含んでよい。

エンコードすることは、第１の入力画像フレームのセットと、第２の入力画像フレームのセットと、をそれぞれ、第１のエンコードされた画像フレームのセットと、第２のエンコードされた画像フレームのセットと、に予測エンコードすることを含んでよい。予測エンコードすることは、インターフレームエンコーディングのタイプであるものとして理解されてよい。ここで、先行する画像フレームが、いずれの特定の画像フレームをエンコードする際に、参照として使用される。

この方法は、第１のキーを使用して署名することに関連する署名と、第２のキーを使用して署名することに関連する署名と、のうちの少なくとも一方を、組み合わされたビデオストリームに関連付けることをさらに含んでよい。例えば、署名することからの一又は複数の署名が、組み合わされたビデオストリームに含まれてよく、したがって、そこに含まれる。代替的に、一又は複数の署名は、組み合わされたビデオストリームとは別であってよいが、例えば、同じディレクトリ、データベース、ファイルシステム、ストレージ設備、若しくは同様のものにおいて、又は、同じデータストリーム、チャネル、接続、若しくは同様のものを通して送信されることにより、そこに関連付けられてよい。

署名とは、キーのそれぞれを使用して署名することからもたらされる、ビット若しくはバイトのコレクション、キャラクターのストリング、又は同様のもの、と理解されるべきである。

この方法は、デコーダにおいて、組み合わされたビデオストリームをデコードすることをさらに含んでよい。そのようなビデオデコーダは、ビデオをデコードすることが可能ないずれのデバイス、方法、又はシステムとして理解されてよい。デコーダは、コンピュータにより実行されてよい。

この方法は、その組み合わされたビデオストリームに含まれる署名をチェックすることと、そのチェックすることの結果に関連するデータを、そのデコードされたビデオストリームに関連付けることと、をさらに含んでよい。

これは、署名チェックの結果をユーザに提示する、技術的に特に効率的な方法を可能にする。

この方法は、その組み合わされたビデオストリームの画像フレームの元となるものを判定することと、その元となるものを判定することに基づくデータを、その画像フレームに関連付けることと、をさらに含んでよい。

これは、元となるものを判定することの結果をユーザに提示する、技術的に特に効率的な方法を可能にする。

第２の態様によると、処理能力を有するデバイスにおいて実行されると、第１の態様に係る方法を実施する命令が保存されている、非一時的コンピュータ可読記憶媒体が提供される。

第２の態様は、それらの固有の関係により、第１の態様と同様の利点を提供してよい。

第３の態様によると、プロセッサを備えるビデオ処理システムが提供される。プロセッサは、第１の入力画像フレームのソースから生じた画像データを含む第１のエンコードされた画像フレームのセットを受信し、第２の入力画像フレームのソースから生じた画像データを含む第２のエンコードされた画像フレームのセットを受信し、第１の入力画像フレームのセットと、第２の入力画像フレームのセットと、をそれぞれ、第１のエンコードされた画像フレームのセットと、第２のエンコードされた画像フレームのセットと、にエンコードし、組み合わされたビデオストリームを形成し、第１のエンコードされた画像フレームのセットのエンコードされた画像フレームは排他的に、第１のエンコードされた画像フレームのセットの一又は複数の画像フレームを参照し、第２のエンコードされた画像フレームのセットのエンコードされた画像フレームは、第１のエンコードされた画像フレームのセットのエンコードされた画像フレームと、第２のエンコードされた画像フレームのセットの別のエンコードされた画像フレームと、の双方を参照し、第１のキーであって、第１の入力画像フレームのソースに関連する第１のキーを使用して、第１のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームを含む第１の署名グループに署名し、第２のキーであって、第２の入力画像フレームのソースに関連する第２のキーを使用して、第２のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームを含む第２の署名グループに署名するよう構成されている。

第３の態様は、それらの固有の関係により、第１の態様と同様の利点を提供してよい。

ビデオ処理システムは、組み合わされたビデオストリームをデコードするよう構成されているデコーダをさらに含んでよい。

本発明の適用性のさらなる範囲が、以下の詳細説明より明らかとなるであろう。しかし、本発明の好適な実施形態を示す一方で、詳細説明及び具体例は、説明のみの目的に提供されていることが理解されるべきである。なぜなら、本発明の範囲内での種々の変更及び改修が、本詳細説明から当業者に明らかとなるからである。

したがって、本発明は、記載するデバイスの特定の構成部品、又は、記載する方法の特定の作動に限定されず、そのようなデバイス及び方法は、特許請求の範囲内において異なる場合があることが理解されよう。

以下、添付の図面を参照して、本発明の上記態様及び他の態様をより詳細に説明する。これらの図面は、限定するものと見なされるべきではない。これらはその代わりに、説明及び理解を目的とするものと見なされるべきである。

これらの図面に示すように、各層及び各領域のサイズは、図示の目的のために誇張されている場合があり、したがって、一般的構造を示すために提供されている。類似の参照記号は、これらの図面を通して、同様の要素を示す。

ビデオストリームを処理する方法例についてのフローチャートを示す。 組み合わされたビデオストリームを形成する、第１及び第２のエンコードされた画像フレームのセットを示す。 組み合わされたビデオストリームを形成する、第１、第２、及び第３のエンコードされた画像フレームのセットを示す。 さらなるステップを含む、ビデオストリームを処理する方法例についてのフローチャートを示す。 ビデオ処理システム及びそのコンポーネントを示す。

本発明を、添付図面を参照して以下に更に詳細に説明する。ここでは、本発明の現在の好適な実施形態を示す。本発明は、しかし、特許請求の範囲内での多くの異なる形態において実施されてよく、ここに示す実施形態に限定されるものと理解されるべきではない。

図１は、ビデオストリームを処理する方法例を示す。並行して、図５を参照する。これは、この方法例を実行するために構成されているビデオ処理システム４００を示す。

この方法例に対して任意の追加的ステップが、図１を含む、本開示のフローチャートにおいて、ボックスとして、点線の境界を用いて示されている。ボックス間の矢印は、ステップを行う順序の一例を示す。これらはしかし、これらのステップを順序付ける他の代替例を除外するものと理解されるべきではない。

Ｓ１０１０において、第１の入力画像フレームのセット１１０ａが受信される。第１の入力画像フレームのセット１１０ａは、第１の入力画像フレームのソース４０１から生じた画像データを含み（図５を参照されたい）、これは、エンコーダ４１０において受信されてよい（図５を参照されたい）。

Ｓ１０２０において、第２の入力画像フレームのセット１２０ａが受信される。第２の入力画像フレームのセット１２０ａ（図２を参照されたい）は、第２の入力画像フレームのソース４０２から生じた画像データを含み（図５を参照されたい）、これもまた、エンコーダ４１０において受信されてよい（図５を参照されたい）。

Ｓ１０４０において、エンコーダ４１０において、第１の入力画像フレームのセット１１０ａと、第２の入力画像フレームのセット１１０ａと、はそれぞれ、第１のエンコードされた画像フレームのセット１１０ｂと、第２のエンコードされた画像フレームのセット１２０ｂと、にエンコードされ、組み合わされたビデオストリーム１００を形成する（図５を参照されたい）。エンコードすることは、ビットストリームに、ビデオコーディングフォーマット、及び／又は、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、ＶＰ８、ＶＰ９、又はＡＶ１などの規格にしたがって行われてよい。

Ｓ１０５０において、第１のエンコードされた画像フレームのセット１１０ｂの一又は複数のエンコードされた画像フレームを含む第１の署名グループが、第１のキーを使用して署名される。第１のキーは、第１の入力画像フレームのソース４０１に関連する。署名することは、例えば、エンコーダ４１０、又は、任意のものにある、任意の別個の署名ユニット４１１において行われてよい（図５を参照されたい）。

Ｓ１０６０において、第２のエンコードされた画像フレームのセット１１０ｂの一又は複数のエンコードされた画像フレームを含む第２の署名グループが、第２のキーを使用して署名される。第２のキーは、第２の入力画像フレームのソース４０１に関連する。署名することは、例えば、エンコーダ４１０、又は、任意のものにある、署名ユニット４１１において行われてよい（図５を参照されたい）。

図２は、第１のエンコードされた画像フレームのセット１１０ｂと、第２のエンコードされた画像フレームのセット１２０ｂと、が、組み合わされたビデオストリーム１００においてどのように配置され得るか、及び、フレームのそれぞれがどのように、互いを参照するか、を示す。図において、参照は矢印により示されている。図は、画像フレームの時系列のシーケンスに対応しており、最も左の画像フレームが最初の画像フレームであり、最も右の画像フレームが最後の画像フレームであるものとして理解されるべきである。

別のフレームを参照する１つのフレームは、例えば、ビデオエンコーディングの分野においてそれ自体が知られているような、予測タイプのインターフレームエンコーディングに相当してよい。

さらに図２を参照すると、そこに見ることができるように、第１のエンコードされた画像フレームのセット１１０ｂの画像フレーム、この例では、画像フレームのそれぞれ、は排他的に、第１のエンコードされた画像フレームのセット１１０ｂの別の画像フレームを参照する。

さらに、この例では、第１のエンコードされた画像フレームのセットの画像フレームのそれぞれは排他的に、第１のエンコードされた画像フレームのセット１１０ｂに含まれる先行する画像フレームを参照する。しかし、他の構成も等しく可能である。例えば、第１のエンコードされた画像フレームのセットの１つの画像フレーム、又は、複数の画像フレームのそれぞれは排他的に、第１のエンコードされた画像フレームのセット１１０ｂの複数の前の画像フレームを参照する。又は、第１のエンコードされた画像フレームのセット１１０ｂの１つのフレームは排他的に、第１のエンコードされた画像フレームのセット１１０ｂの一又は複数の他の画像フレーム、これらの双方は、時間的に前と後のものである、を参照する。

図２は、第２のエンコードされた画像フレームのセット１２０ｂの画像フレームが、第１のエンコードされた画像フレームのセット１１０ｂの画像フレームと、第２のエンコードされた画像フレームのセット１２０ｂの別の画像フレームと、の双方を、どのように参照するかをさらに示す。

したがって、エンコードすることＳ１０４０は、第１のエンコードされた画像フレームのセット１１０ｂと、第２のエンコードされた画像フレームのセット１２０ｂと、を予測エンコードし、組み合わされたビデオストリーム１００を形成することを含んでよい。

例えば、第１の入力画像フレームのセット１１０ａは、ビデオ撮像デバイス４０３により撮像されるような元の画像データ又は元のピクセルデータを含んでよい（図５を参照されたい）。

図１及び図５を再度参照すると、第１の入力画像フレームのソース４０１は、画像センサ４０４であってよい。第１の入力画像フレームのソース４０１は、ビデオ撮像デバイス４０３の画像センサ４０４であってよい。第１の入力画像フレームのソース４０１は、ビデオ撮像デバイス４０３の一部であってよい、又は、同様に他の方法において、これに関連付けられてよい。第１の入力画像フレームのソース４０１は、ビデオ撮像デバイス４０３により撮像されるような元の画像データ又は元のピクセルデータのソースであってよい。第１の入力画像フレームのソース４０１は、画像センサ４０４又はビデオ撮像デバイス４０３に直接関連付けられてよい。

ビデオ撮像デバイス４０３は、画像センサ４０４を含んでよい。ビデオ撮像デバイス４０３は、画像センサ４０４と電気的及び／又は無線接続にあるよう構成及び／又は配置されてよい。ビデオ撮像デバイス４０３は、ビデオ、つまり、後続の画像フレームのシーケンスを撮像するよう適合又は構成されてよい。ビデオ撮像デバイス４０３は、代替的に、ビデオカメラを指してよい、又は、これとして理解されてよい。ビデオ撮像デバイス４０３は、デジタルタイプのビデオ撮像デバイスであってよい。ビデオ撮像デバイス４０３は、モニタリング及び／又は監視タイプのビデオ撮像デバイスであってよい。ビデオ撮像デバイス４０３は、監視タイプのビデオ撮像デバイスであってよい。ビデオ撮像デバイス４０３は、パン／チルト／ズームタイプのビデオ撮像デバイスであってよい。ビデオ撮像デバイス４０３は、静止又は固定状態のビデオ撮像デバイスであってよい。ビデオ撮像デバイス４０３は、ポータブル又はウェアラブルビデオ撮像デバイスであってよい。

ビデオ撮像デバイス４０３は、撮像された画像データ及び／又は画像フレームを保存するための媒体を含んでよい。ビデオ撮像デバイス４０３は、撮像された画像データ及び／又は画像フレームを送信するよう配置及び／又は構成されているトランスミッタを含んでよい。

ビデオ撮像デバイス４０３は、ネットワークに接続されたタイプのビデオ撮像デバイスであってよい。ビデオ撮像デバイス４０３は、光学的に、電気的に、又は無線でネットワークに接続されてよい。ネットワークは、例えば、ローカルエリアネットワーク（ＬＡＮ）タイプのネットワーク、ワイドエリアネットワーク（ＷＡＮ）タイプのネットワーク、又は無線ローカルエリアネットワーク（ＷＬＡＮ）タイプのネットワークであってよい。

画像センサ４０４は、ビデオ撮像デバイス４０３の一部であってよい。画像センサ４０４は、相補型金属酸化膜半導体（ＣＭＯＳ）タイプの画像センサであってよい。画像センサ４０４は、電荷結合素子（ＣＣＤ）タイプの画像センサであってよい。画像センサ４０４は、アクティブピクセルセンサ（ＡＰＳ）タイプの画像センサであってよい。画像センサ４０４は、シリコンベースの画像センサであってよい。

一例として、第１の入力画像フレームのセット１１０ａは、撮像されてから修飾、編集、及び／又は改ざんされていないなど、修飾又は編集されていない画像データを含んでよい。

代替的に、第１の入力画像フレームのセット１１０ａは、追加的に、監視カメラにおいて、及び／又は、撮像された画像データと同じ元となるものによる、加えられたオーバレイなどの、撮像されたものとしての画像データに対する付加物を含んでよい。これにより、この場合では、第１の入力画像フレームのセット１１０ａを形成する、いずれの考えられる付加物を伴う、撮像された画像データは、第１の入力画像フレームのソースから生じたものと見られてよい。

第２の入力画像フレームのセット１２０ａは、編集若しくは修飾された画像データ又はピクセルデータを含んでよい。第２の入力画像フレームのセット１２０ａは、例えば、境界ボックス、プライバシーマスク、インジケータ、メッセージなどのグラフィカルオーバレイエレメント、又は、テキスト、数字、シンボルなどの形態での別のタイプのオーバレイ情報を含んでよい。例えば、そのようなオーバレイ情報は、以下にさらに例示するように、別のセンサ４０５などからのセンサデータに関連してよい。第２の入力画像フレームのセット１２０ａは、第１の入力画像フレームのセット１１０ａに基づいてよい。第２の入力画像フレームのセット１２０ａは、例えば、画像フレームに加えられたグラフィカルオーバレイエレメントを伴う、第１の入力画像フレームのセット１１０ａの画像フレームを含んでよい。第２の入力画像フレームのセット１２０ａはしたがって、例えば、ビデオ撮像デバイス４０３により撮像されるような、第１の入力画像フレームのソースからの画像データに対する修飾、編集、及び／又は変更を含むものとして理解されてよい。

第２の入力画像フレームのセット１２０ａに含まれる画像データの修飾、編集、又は変更は、第１の入力画像フレームのセット１１０ａと比較して、第１の入力画像フレームのセット１１０ａの分析又は評価に基づいてよい。例えば、画像分析アルゴリズムを使用して、プライバシーマスクを生成し、第１の入力画像フレームのセット１１０ａの画像フレームの特定の部分を曖昧にしてよい。このプライバシーマスクは続いて、さもなければ空の画像フレーム、又は、第１の入力画像フレームのセット１１０ａからの画像フレームのコピーに適用されてよい。プライバシーマスクを伴う画像フレームは続いて、第２の入力画像フレームのセット１２０ａに対応してよい。

第２の入力画像フレームのソース４０２は、ビデオ撮像デバイス４０３の画像センサ４０４とは別のセンサ４０５であってよい。第２の入力画像フレームのソース４０２、例えば、別のセンサ４０５、は、ビデオ撮像デバイス４０３の一部であってよい、及び／又は、画像センサ４０４と同じハウジング内に収められてよい。第２の入力画像フレームのソース４０２は、代替的に、物理的に別個であってよい、及び／又は、第１の入力画像フレームのソース４０１又はビデオ撮像デバイス４０３から少なくともいくらかの距離に位置してよい。

別のセンサ４０５は、別の画像センサであってよい。別のセンサ４０５は、赤外線（ＩＲ）タイプのセンサ、例えば、ＩＲカメラ又はＩＲビデオ撮像デバイスのＩＲ画像センサであってよい。別のセンサ４０５は、光センサであってよい。別のセンサ４０５は、無線検知及び測距（レーダー）タイプのセンサであってよい。別のセンサ４０５は、光検知及び測距（ライダー）タイプのセンサであってよい。別のセンサ４０５は、モーションセンサであってよい。別のセンサ４０５は、撮像されたシーンを３次元的に表すものを生成するよう適合されている３次元撮像センサ、サーマルカメラ、又はスペクトロメータであってよい。

第１のキーは、第１の入力画像フレームのソース４０１に関連してよい、これに関連付けられてよい、又は、これに関連する別のものであってよい。第１のキーは、単一の第１の入力画像フレームのソース４０１、例えば、固有のビデオ撮像デバイス４０３に関連する個別のキーであってよい。第１のキーは、代替的に、複数の第１の画像フレームのソース４０１に対してシェアされるキーであってよい。

第１のキーは、第１の入力画像フレームのソース４０１、例えば、ビデオ撮像デバイス４０３を開発、製造、提供、及び／又は保持するエンティティに属してよい、又は、これに関連付けられてよい。第１のキーは、同じエンティティにセキュア及び／又は排他的にアクセス可能であってよい。第１のキーは、撮像された画像データが、関与する司法管轄区域内においてどのように使用される又は扱われるかを監視又は規制する司法系又は政府系エンティティに属してよい、又は、これに関連付けられてよい。第１の入力画像フレームのソース４０１は、同じエンティティに関連付けられてよい。

第１のキーは、それ自体が知られているような、パブリックキー暗号技術の原理にしたがって、第１のパブリックキーとのペアとされている第１のプライベートキーであってよい。第１のプライベートキー及び第１のパブリックキーは、第１の入力画像フレームのソース４０１において生成されてよい、又は、生成されたものであってよい。

一例として、第１の署名グループを、第１のキーを用いて署名することＳ１０５０は、第１の署名グループに含まれる第１のエンコードされた画像フレームのセット１１０ｂの一又は複数のエンコードされた画像フレームの画像データのハッシュを計算することと、その結果としてのハッシュを、第１のプライベートキーを使用して暗号化することと、を含んでよい。

ハッシュ関数は、暗号学的ハッシュ関数であってよい。ハッシュ関数は、セキュアハッシュアルゴリズム（ＳＨＡ）又はデジタル署名アルゴリズム（ＤＳＡ）タイプのハッシュ関数であってよい。ハッシュ関数は、ＳＨＡ－０、ＳＨＡ－１、ＳＨＡ－２、ＳＨＡ－３などのタイプのハッシュ関数であってよい。

第１のキーを用いて署名することＳ１０５０は、署名をもたらしてよい。これは、第１のキーを使用して署名することからもたらされた、ビット若しくはバイトのコレクション、キャラクターのストリング、又は同様のものであってよい。これにより第１のキーを用いて署名することＳ１０５０に関連する署名は、組み合わされたビデオストリーム１００に関連付けられてよい。任意的に、パブリックキーも、組み合わされたビデオストリーム１００に同様に関連付けられてよい。例えば、署名することからの一又は複数の署名及び／又はパブリックキーは、組み合わされたビデオストリームに含まれてよく、したがって、そこに含まれる。代替的に、例えば、署名及び／又はパブリックキーは、組み合わされたビデオストリーム１００とは別であってよいが、例えば、同じディレクトリ、データベース、ファイルシステム、若しくはストレージ設備において、又は、同じデータストリーム、チャネル、接続、若しくは同様のものを通して送信されることにより、そこに関連付けられてよい。

第２のキーは、第２の入力画像フレームのソース４０２に関連してよい、これに関連付けられてよい、又は、これに関連する別のものであってよい。第２のキーは、第２の入力画像フレームのソース４０２に関連する個別のキーであってよい。第２のキーは、代替的に、複数の第２の画像フレームのソース４０２に対してシェアされるキーであってよい。

第２のキーは、第１の入力画像フレームのソース４０１を開発、製造、提供、及び／又は保持するエンティティ、及び／又は、第２の入力画像フレームのソース４０２に対して同じことをするエンティティに属してよい、又は、これに関連付けられてよい。典型的には、これら２つのエンティティは、別のものであってよいが、同じものであってもよい。

第２のキーは、第１又は第２の画像フレームのソース４０１、４０２を開発、製造、提供、及び／又は保持するエンティティ以外のサードパーティエンティティに属してよい、又は、これに関連付けられてよい。第２のキーは、撮像された画像データが、関与する司法管轄区域内においてどのように使用される又は扱われるかを監視又は規制する司法系又は政府系エンティティに属してよい、又は、これに関連付けられてよい。第２のキーは、上記のエンティティの１つにセキュア及び／又は排他的にアクセス可能であってよい。

第２のキーは、第１のキーと同様に、パブリックキー暗号技術においてそれ自体が知られているように、第２のパブリックキーとのペアとされている第２のプライベートキーであってよい。第１のキーを用いて署名することＳ１０５０のように、第２のキーを用いて署名することＳ１０６０は、署名をもたらしてよい。これにより第２のキーを用いて署名することＳ１０５０に関連する署名は、例えば、組み合わされたビデオストリームにおける署名を含むことを通して、組み合わされたビデオストリーム１００に関連付けられてよい。任意的に、第２のパブリックキーも、組み合わされたビデオストリーム１００に同様に関連付けられてよい。代替的に、署名及び／又は第２のパブリックキーは、第１のキーを用いて署名することＳ１０５０と併せて先に例示するように、いくつかの他の方法において、組み合わされたビデオストリーム１００に関連付けられてよい。

第２の入力画像フレームのソース４０２は、ビデオ処理ユニット４０６であってよい（図５を参照されたい）。ビデオ処理ユニット４０６は、例えば、境界ボックス、プライバシーマスク、インジケータ、メッセージなどのグラフィカルオーバレイエレメント、又は、テキスト、数字、シンボルなどの形態での他のオーバレイ情報に関連する画像データ、又は、これらを含む画像フレームを生成してよい。

ビデオ処理ユニット４０６は、第１の入力画像フレームのソース４０１により撮像された画像を、いくつかの形態の画像データに処理するよう適合又は構成されてよい。

ビデオ処理ユニット４０６は、グラフィカルオーバレイ追加機能を含んでよい。グラフィカルオーバレイ追加機能は、グラフィカルオーバレイエレメントを、例えば、第１の入力画像フレームのセット１１０ａの画像フレームに加えるよう構成又は適合されてよい。

エンコーダ４１０（図５を参照されたい）は、エンコーディングを行うためのそのハードウェアに依存する、物理的ハードウェアベースのエンコーダであってよい。エンコーダ４１０は、エンコーディングを行うためのそのプログラミング又はコードに依存する、ソフトウェアベースのエンコーダであってよい。エンコーダ４１０はまた、これら２つの組み合わせであってよい。エンコーダ４１０は、ビデオ撮像デバイス４０３と共に組み込まれてよい。エンコーダ４１０は、例えば、ビデオ撮像デバイス４０３と同じ物理的ハウジング内に位置してよい。エンコーダ４１０は、ビデオ撮像デバイス４０３と電気的及び／又は無線接続にあるよう構成及び／又は配置されてよい。エンコーダ４１０は、標準的なエンコーダであってよい。

さらに図１を参照すると、この方法例は、エンコーダ４１０において、第３の入力画像フレームのソースから生じた画像データを含む第３の入力画像フレームのセット１３０ａを受信することＳ２０３０をさらに含んでよい。

この方法例は、署名ユニット４１１などの別個のユニットにおいて、又は、エンコーダ４１０若しくは任意のものにおいて、第３のエンコードされた画像フレームのセット１３０を、第３のキーを使用して署名することＳ２０７０をさらに含んでよい。第３のキーは、第３の入力画像フレームのソースに関連してよい。

署名することＳ１０５０、Ｓ１０６０、Ｓ２０７０は、一又は複数の画像フレームを含む署名グループに対して行われる。典型的には、署名グループは、組み合わされたビデオストリームにおける、そのコンセプトが、ビデオエンコーディングの分野においてそれ自体が知られている、写真のグループ（ＧＯＰ）におけるエンコードされた画像フレームのセットのそれぞれの画像フレームに対応してよい。代替的に、署名することは、フレーム毎に行われてよい。その場合には、署名グループは、署名されたフレームに対応する。

第２の署名グループは、排他的に、第２の画像フレームのセットのエンコードされた画像フレームを含んでよい。代替的に、第２の署名グループは、第１のエンコードされた画像フレームのセットと、第２の画像フレームのセットと、の双方からの画像フレームを含んでよい。ここで、第２の署名グループにおける第１のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームは、第２の署名グループにおける第２のエンコードされた画像フレームのセットのエンコードされた画像フレームにより参照される。

署名することＳ１０５０、Ｓ１０６０、Ｓ２０７０は、エンコードすることＳ１０４０の後、又は、これと並行して行われてよい。本開示は、いずれの代替例を除外するものと理解されるべきではない。

署名することは、署名ユニット４１１又はエンコーダ４１０の署名機能により行われてよい。

図３は、第１の入力画像フレームのセット１１０ａと、第２の入力画像フレームのセット１２０ａと、をエンコードすることＳ１０４０がどのように、第３の入力画像フレームのセット１３０ａを、第３のエンコードされた画像フレームのセット１３０ｂにエンコードし、組み合わされたビデオストリーム１００を形成することをさらに含み得るか、を示す。この図は、第３のエンコードされた画像フレームのセット１３０の画像フレームが、第１のエンコードされた画像フレームのセット１１０ｂの画像フレームと、第３のエンコードされた画像フレームのセット１３０の別の画像フレームと、の双方を、どのように参照し得るかを示す。

図３において、参照は、図２の場合と同様に、矢印により示されている。図は、画像フレームの時系列のシーケンスに対応しており、最も左の画像フレームが最初の画像フレームであり、最も右の画像フレームが最後の画像フレームであるものとして理解されるべきである。

図３は、第１、第２、及び第３のエンコードされた画像フレームのセット１１０ｂ、１２０ｂ、１３０ｂが、組み合わされたビデオストリーム１００においてどのように配置され得るか、及び、画像フレームのそれぞれが、互いをどのように参照するかを示す。第１のエンコードされた画像フレームのセット１１０ｂと、第２のエンコードされた画像フレームのセット１２０ｂと、における参照は、図２と併せて上述するようなものである。さらに、第３のエンコードされた画像フレームのセット１３０ｂのすべてのフレームについて示すように、エンコードされた画像フレームは、第１のエンコードされた画像フレームのセット１１０ｂのエンコードされた画像フレームと、第３のエンコードされた画像フレームのセット１３０ｂの別のエンコードされた画像フレームと、の双方を参照してよい。

これは、エンコードすることＳ１０４０が、第１の入力画像フレームのセット１１０ａと、第２の入力画像フレームのセット１２０ａと、任意的に、第３の入力画像フレームのセット１３０ａと、をそれぞれ、組み合わされたビデオストリーム１００における、第１、第２、及び第３のエンコードされた画像フレームのセット１１０ｂ、１２０ｂ、１３０ｂにインターエンコードすることを含むものとして理解されてよい。

エンコードすることＳ１０４０は、第１の入力画像フレームのセット１１０ａと、第２の入力画像フレームのセット１２０ａと、任意的に、第３の入力画像フレームのセット１３０ａと、をそれぞれ、組み合わされたビデオストリーム１００における、第１、第２、及び第３のエンコードされた画像フレームのセット１１０ｂ、１２０ｂ、１３０ｂに予測エンコードすることを含んでよい。

第３の入力画像フレームのセット１３０ａは、第２の入力画像フレームのセット１２０ａと同じようにあるものと理解されてよい。第３の入力画像フレームのセット１３０ａは、例えば、追加的な画像データ、又は、第１の入力画像フレームのセット１１０ａにおいて存在する画像データ、つまり、元の画像データ、若しくは、第２の入力画像フレームのセット１２０ａにおいて存在する画像データとは異なる画像データを含んでよい。

第３の入力画像フレームのソースは、第１及び第２の画像フレームのソース４０１、４０２と、そのコンテンツ又は使用において同様又は同一の、追加的な入力画像フレームのソース、又は、さらなる入力画像フレームのソースとして理解されてよい。

第３のキーは、第２のキーと同じようにあるものと理解されてよい。第３のキーは、第３の入力画像フレームのソースに関連してよい、これに関連付けられてよい、又は、これに関連する別のものであってよい。第３のキーは、第３の入力画像フレームのソースに関連する個別のキーであってよい。第２のキーは、代替的に、複数の第３の画像フレームのソース４０２に対してシェアされるキーであってよい。第３のキーは、第１及び第２のキーと同様に、ハッシュ関数キーであってよい。

第１のキーを用いて署名することＳ１０５０と、第２のキーを用いて署名することＳ１０６０と、のように、第３のキーを用いて署名することＳ２０７０は、例えば、ハッシュであってよい署名をもたらしてよい。これにより第３のキーを用いて署名することＳ２０７０に関連する署名は、例えば、組み合わされたビデオストリームにおける署名を含むことを通して、組み合わされたビデオストリーム１００に関連付けられてよい。代替的に、署名は、先に例示するように、いくつかの他の方法において、組み合わされたビデオストリーム１００に関連付けられてよい。

対応するさらなるキーを伴うさらなる画像フレームのソースからのさらなる画像フレームのセットは、ここに開示する、３つの画像フレームのセット、画像フレームのソース、及びキーと同じ原理にしたがって、全体的に可能である。

１つの例は、エンコーダ４０１において、第１のエンコードされた画像フレームのセット１１０ｂを、表示されない画像フレームとして指定することＳ２０４２をさらに含んでよい。

さらに、この例は、エンコーダ４０１において、第２のエンコードされた画像フレームのセット１２０ｂ及び／又は第３のエンコードされた画像フレームのセット１３０ｂを、表示される画像フレームとして指定することをさらに含んでよい。

これにより、これらのエンコードされた画像フレームのセット１１０ｂ、１２０ｂ、１３０ｂのいずれの画像フレームは、使用されるビデオコーディングフォーマットにしたがって、例えば、表示されない、つまり、非表示のものとして、指定、マーク、又はタグ付けされてよい。

画像フレームを表示されないものとしてそのように指定することは、例えば、Ｈ．２６５、Ｈ．２６６／ＶＶＣ、ＥＶＣ、及びＡＶ１などのビデオコーディング規格に画定されるような、フレームのそれぞれにおけるＮＤ（Ｎｏ Ｄｉｓｐｌａｙ）フラグの形態をとってよい。

これらの画像フレームのセット１１０ｂ、１２０ｂ、１３０ｂのいずれの画像フレームは、代替的に、使用されるビデオコーディングフォーマットにしたがって、表示される、つまり、表示のものとして、指定、マーク、又はタグ付けされてよい。指定、マーク、又はタグ付けすることは、エンコードされた画像フレームにおいて行われてよい。

例えば、ＮＤフラグを用いて、第１のエンコードされた画像フレームのセットにタグ付けすることは、組み合わされたビデオストリーム１００における、署名された第１のエンコードされた画像フレームのセット１１０ｂを含む可能性を、従来のデコーダを用いてデコードされた際の出力ビデオストリームに、それらが含まれないようにする方法において、提供する。むしろ、この後、参照することにより、第１及び第２の画像フレームのセットの組み合わされた画像データを含む、デコードされた画像フレームが、デコーダからの出力ビデオストリームに含まれることとなる。これは、第３のエンコードされた画像フレームのセット１０３ｂもまた、組み合わされたビデオストリーム１００に含まれるシチュエーションにおいてもあてはまる。

実際には、標準的なデコーダは、非表示の画像フレームとして指定、マーク、又はタグ付けされた画像フレームを、例えば、表示、分析、又は保存のために、出力ビデオストリームに転送も送信もしない。反対に、標準的なデコーダは、表示する画像フレームとして指定、マーク、又はタグ付けされた画像フレームを、例えば、表示、分析、又は保存のために、出力ビデオストリームに転送又は送信する。

図４は、図１と併せて先に開示するそれらに加えて、追加的な任意のステップを含む、ビデオストリームを処理する方法例を示す。

この例は、デコーダ４２０（図５を参照されたい）において、組み合わされたビデオストリーム１００をデコードすることＳ３０８０をさらに含んでよい。

例えば、デコードすることは、デコードされた画像フレームのセット２３０を含む、デコードされたビデオストリームをもたらしてよい（図５を参照されたい）。デコードされた画像フレームのセット２３０は、第２の入力画像フレームのセット１２０ａにより修飾されたものとして、第１の入力画像フレームのセット１１０ａに対応してよい。これは、例えば、標準的なデコーダとして作動するデコーダ４２０の場合であってよい。

追加的に、又は代替的に、デコードすることは、第１の入力画像フレームのセット１１０ａに直接対応する、別のデコードされた画像フレームのセット１１０ｃ（図５を参照されたい）を含む、別のデコードされたビデオストリームを、例えば、上述するように、表示されないものとしてタグ付けされたフレームを、組み合わされたビデオストリームから抽出するデコーダ４２０を通して、もたらしてよい。

デコーダ４２０は、デコーディングを行うためのそのハードウェアに依存する、物理的ハードウェアベースのデコーダであってよい。デコーダ４２０は、デコーディングを行うためのそのプログラミング又はコードに依存する、ソフトウェアベースのデコーダであってよい。デコーダ４２０はまた、これら２つの組み合わせであってよい。デコーダ４２０は、ビデオ撮像デバイス４０３、ストレージユニット、ディスプレイユニット４３０、又はディスプレイデバイスと共に組み込まれてよい。デコーダ４２０は、例えば、ビデオ撮像デバイス４０３、ストレージユニット、ディスプレイユニット４３０、又はディスプレイデバイスと同じ物理的ハウジング内に位置してよい。デコーダ４２０は、ビデオ撮像デバイス４０３、ストレージユニット、ディスプレイユニット４３０、及び／又はディスプレイデバイスと電気的及び／又は無線接続にあるよう構成及び／又は配置されてよい。デコーダ４２０は、標準的なデコーダであってよい。

画像フレームの署名をチェックすることＳ３０９０又は署名することは、デコードすることＳ３０８０の前に、これと並行して、又は、この後に行われてよい。

画像フレームの署名をチェックすることＳ３０９０は、署名する際に使用されたプライベートキーに対応するパブリックキーを使用してよい。パブリックキーは、組み合わされた画像ストリーム１００から回収されてよい。代替的に、パブリックキーは、送信されたビデオデータが検証を必要とする際にすぐに使用できる、カメラの識別子などの、対応する画像ソース識別子と共に保存されてよい。

チェックすることＳ３０９０は、パブリックキーを使用して、署名を含むハッシュを復号することを含んでよい。これは、ハッシュ化の結果を再度利用可能にする。さらなるハッシュが、受信された画像データに基づいて、署名中に使用されたものと同じハッシュ化アルゴリズムを使用して、計算されてよい。このもたらされたさらなるハッシュが、復号されたハッシュと比較され、送り主の識別と、ビデオデータが修飾されていないことと、の双方が検証されてよい。

チェックすることは、ＧＯＰ毎、又は、フレーム毎など、署名グループ毎に行われてよい。チェックすることは、署名チェッカーユニット４３１により行われてよい。チェックは、署名結果を発行してよい。この結果は、例えば、ｏｋ又はｎｏｔ ｏｋの結果の形態であってよい。これらの、ｏｋ又はｎｏｔ ｏｋなどの結果に基づいて、署名チェッカーユニット４３１又はデコーダ４２０は、デコードされた画像フレームにおけるｏｋ又はｎｏｔ ｏｋステータスのそれぞれにしたがって、及び、これらに関連して選ばれた、対応するマーカ４２１、４２２を、例えば、デコードされた画像フレームのセット２３０の一部、又は、別のデコードされた画像フレームのセット１１０ｃとして、置いてＳ３０９２よい。したがって、マーカの性質は、チェックの結果に関連するデータを構成する。そのデータは、その画像フレームが部分を形成する、デコードされたビデオストリームに関連付けられている。

デコーダ４２０若しくはストレージデバイス、又は、ディスプレイデバイス若しくはビデオ再生デバイスは、署名チェッカーユニット４３１を含んでよい（図５を参照されたい）。署名チェッカーユニット４３１は、例えば、通信のために、電気的又は無線接続により、デコーダ４２０に接続されてよい。署名チェッカーユニット４３１は、デコーダ４２０に物理的に接続されてよい、又は、これに統合されてよい。

画像フレームの元となるもの、又は、元となるものが真正であることを判定することＳ３１００は、デコードすることＳ３０８０を行う前、これと並行して、又は、この後に行われてよい。このチェックは、フレーム毎に行われてよく、例えば、フレームが、表示されない画像として指定されたか、又は、表示されない画像として指定されていないか、に基づいてよい。代替的に、元となるもののチェックは、組み合わされたビデオストリームにおける署名に基づいてよい。

元となるもののチェックは、元となるもののチェッカーユニット４３２（図５を参照されたい）により、又は、デコーダ４２０において行われてよい。フレームが、表示されない画像フレームとして指定されていた場合、元となるもののチェックは、その画像フレームが、第１の入力画像フレームのソースから生じたものであると判定してよい。フレームが、表示されない画像フレームとして指定されていない場合、元となるもののチェックは、その画像フレームの少なくとも一部が、第２の入力画像フレームのソースから生じたものであると判定してよい。

画像フレームが、第２の画像フレームのソースの第１の画像フレームのソースから生じたかを、元となるもののチェッカーユニット４３２により判定することに基づいて、元となるもののチェッカーユニット４３２又はデコーダ４２０は、第１の画像フレームのソースに関連するマーカ４２１、又は、第２の画像フレームのソースに関連するマーカ４２２を、その画像フレームに置いてＳ３０１２よい。

したがって、マーカ４２１、４２２は、判定することＳ３０１０の結果に基づくデータを構成する。そのデータは、画像フレームに、マーカ４２１、４２２の形態において関連付けられている。

デコーダ４２０、又は、ディスプレイデバイス若しくはビデオ再生デバイスは、元となるもののチェッカーユニット４３２を含んでよい。元となるもののチェッカーユニット４３２は、例えば、通信のために、電気的又は無線接続により、デコーダ４２０に接続されてよい。元となるもののチェッカーユニット４３２は、デコーダ４２０に物理的に接続されてよい、又は、これに統合されてよい。

マーカ４２１、４２２の代わりに、又は、これらに加えて、署名をチェックすることの結果に関連するデータ、及び／又は、元となるものを判定することに基づくデータは、これらのデコードされた画像フレームのセット１１０ｃ、２３０の画像フレームのヘッダに加えられてよい。このデータは、これらのデコードされた画像フレームのセット１１０ｃの画像フレームのログに加えられてよい。このデータは、これらのデコードされた画像フレームのセット１１０ｃ、２３０の画像フレームのメタデータに加えられてよい。

マーカ４２１、４２２は、これらのデコードされた画像フレームのセット１１０ｃ、２３０の画像フレームに、変更されたピクセル値として直接加えられてよい。マーカ４２１、４２２は、例えば、境界ボックス、プライバシーマスク、インジケータ、メッセージなどのグラフィカルオーバレイエレメント、又は、テキスト、数字、シンボルなどの形態での別のタイプのオーバレイ情報を含んでよい。マーカ４２１、４２２は、これらのデコードされた画像フレームのセット１１０ｃ、２３０の画像フレームの角付近、及び／又は、縁付近に加えられてよい。

データは、デコーダ４２０、又は、デコードされて組み合わされたビデオストリームを再生するディスプレイデバイス若しくはユニットに、予め定められたマーキングを、これらのデコードされた画像フレームのセット１１０ｃ、２３０の画像フレームのピクセルを変更することにより、用意させるよう構成されてよい。マーカ４２１は、画像フレームの元となるものを示すよう構成されてよい。マーカ４２１、４２２は、第１の入力画像フレームのソース４０１が、これらのデコードされた画像フレームのセット１１０ｃ、２３０の真正な元となるものであるか、又は、そうでないか、を示すよう構成されてよい。

マーカ４２１、４２２は、第１の入力画像フレームのソース４０１に関連付けられているアイコン、画像、及び／又はロゴタイプを含んでよい。マーカ４２１、４２２は、第１の画像フレームのソース４０１が、これらのデコードされた画像フレームのセット１１０ｃ、２３０の真正な元となるものであるか、又は、そうでないか、を示すためのカラーコーディングを含んでよい。例えば、緑色に色付けされたマーカ４２１、４２２は、第１の画像フレームのソース４０１が、これらのデコードされた画像フレームのセット１１０ｃ、２３０の真正な元となるものであり、赤色に色付けされた、加えられたマーカ４２１が、そうでないものであることを示してよい。

データ、例えば、マーカ４２１、４２２、は、ビデオストリームを見るオペレータに、対象とする画像フレームが、その撮像から、修飾されている、編集されている、若しくは変えられているか、又はそうでないか、を示すよう適合又は構成されてよい。

いくつかの実施形態では、第１の画像フレームのソース４０１が、この入力画像フレームのセット１１０ａの真正な元となるものとして判定される場合、データは加えられない。この場合では、第１の画像フレームのソース４０１が、この入力画像フレームのセット１１０ａの真正な元となるものとして判定されない場合にのみ、データが加えられてよい。

上記の教示は、コンピュータにより実行されてよい。このために、非一時的コンピュータ可読記憶媒体が提供されてよい。非一時的コンピュータ可読記憶媒体は、処理能力を有するデバイスにおいて実行されると、上記の方法例を実施する、そこに保存された命令を含む。

非一時的コンピュータ可読記憶媒体及び／又は処理能力を有するデバイスは、エンコーダ４１０及び／又はデコーダ４２０の一部であってよい、又は、例えば、通信のために、電気的及び／又は無線接続により、これらに接続されてよい。非一時的コンピュータ可読記憶媒体及び／又は処理能力を有するデバイスは、エンコーダ４１０及び／又はデコーダ４２０に物理的に接続及び／又は統合されてよい。

さらに、開示する実施形態に対するバリエーションが、特許権を主張する本発明の実施において、本図面、本開示、及び添付の本特許請求の範囲の検討により、当業者により理解され、達成され得る。

Claims (15)

1. 第１の入力画像フレームのソースから生じた画像データを含む第１の入力画像フレームのセットを受信することと、
   第２の入力画像フレームのソースから生じた画像データを含む第２の入力画像フレームのセットを受信することであって、前記第２の入力画像フレームのセットは、第１の画像フレームのセットに対する修飾又は変更を含む、第２の入力画像フレームのセットを受信することと、
   前記第１の入力画像フレームのセットと、前記第２の入力画像フレームのセットと、をそれぞれ、第１のエンコードされた画像フレームのセットと、第２のエンコードされた画像フレームのセットと、にエンコードし、組み合わされたビデオストリームを形成することであって、前記第１のエンコードされた画像フレームのセットのエンコードされた画像フレームは排他的に、前記第１のエンコードされた画像フレームのセットの一又は複数の他のエンコードされた画像フレームを参照し、前記第２のエンコードされた画像フレームのセットのエンコードされた画像フレームは、前記第１のエンコードされた画像フレームのセットのエンコードされた画像フレームと、前記第２のエンコードされた画像フレームのセットの別のエンコードされた画像フレームと、の双方を参照する、組み合わされたビデオストリームを形成することと、
   第１のキーであって、前記第１の入力画像フレームのソースに関連する第１のキーを使用して、前記第１のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームを含む第１の署名グループに署名することと、
   第２のキーであって、前記第２の入力画像フレームのソースに関連する第２のキーを使用して、前記第２のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームを含む第２の署名グループに署名することと、
   を含む、ビデオストリームを処理する方法。
2. 前記第２の署名グループは、前記第２のエンコードされた画像フレームのセットのエンコードされた画像フレームにより参照される、前記第１のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームをさらに含む、請求項１に記載の方法。
3. 第３の入力画像フレームのソースから生じた画像データを含む第３の入力画像フレームのセットを受信することをさらに含み、
   エンコードすることは、前記第３の入力画像フレームのセットを、第３のエンコードされた画像フレームのセットにエンコードし、前記組み合わされたビデオストリームの一部を形成することをさらに含み、前記第３のエンコードされた画像フレームのセットのエンコードされた画像フレームは、前記第１のエンコードされた画像フレームのセットのエンコードされた画像フレームと、前記第３のエンコードされた画像フレームのセットの別のエンコードされた画像フレームと、の双方を参照する、
   請求項１又は２に記載の方法であって、
   第３のキーであって、前記第３の入力画像フレームのソースに関連する第３のキーを使用して、前記第３のエンコードされた画像フレームのセットの一又は複数の画像フレームを含む第３の署名グループに署名することをさらに含む、
   請求項１又は２に記載の方法。
4. 前記第１のエンコードされた画像フレームのセットを、表示されない画像フレームとして指定することをさらに含む、請求項１から３のいずれか一項に記載の方法。
5. 前記第１の入力画像フレームのソースは、ビデオ撮像デバイスの画像センサである、請求項１から４のいずれか一項に記載の方法。
6. 前記第２の入力画像フレームのソースは、前記ビデオ撮像デバイスの前記画像センサとは別のセンサである、請求項５に記載の方法。
7. 前記第２の入力画像フレームのソースは、ビデオ処理ユニットである、請求項１から５のいずれか一項に記載の方法。
8. 前記ビデオ処理ユニットは、グラフィカルオーバレイ追加機能を含む、請求項７に記載の方法。
9. 前記第１のキーは、ハッシュ関数キーである、及び／又は、前記第２のキーは、ハッシュ関数キーである、請求項１から８のいずれか一項に記載の方法。
10. 前記エンコードすることは、前記第１の入力画像フレームのセットと、前記第２の入力画像フレームのセットと、をそれぞれ、前記第１のエンコードされた画像フレームのセットと、前記第２のエンコードされた画像フレームのセットと、にインター及び／又は予測エンコードすることを含む、請求項１から９のいずれか一項に記載の方法。
11. 前記組み合わされたビデオストリームを、
    前記第１のキーを使用して前記署名することに関連する署名と、
    前記第２のキーを使用して前記署名することに関連する署名と、
    のうちの少なくとも一方に関連付けることをさらに含む、請求項１から１０のいずれか一項に記載の方法。
12. デコーダにおいて、前記組み合わされたビデオストリームをデコードすることと、
    前記組み合わされたビデオストリームに含まれる署名をチェックすることと、
    前記チェックすることの結果に関連するデータを、デコードされた前記ビデオストリームに関連付けることと、
    をさらに含む、請求項１から１１のいずれか一項に記載の方法。
13. デコーダにおいて、前記組み合わされたビデオストリームをデコードすることと、
    前記組み合わされたビデオストリームの画像フレームの元となるものを判定することと、
    前記元となるものを前記判定することに基づくデータを、前記画像フレームに関連付けることと、
    をさらに含む、請求項１から１１のいずれか一項に記載の方法。
14. 処理能力を有するデバイスにおいて実行されると、請求項１から１３のいずれか一項に記載の方法を実施する命令が保存されている、非一時的コンピュータ可読記憶媒体。
15. 第１の入力画像フレームのソースから生じた画像データを含む第１の入力画像フレームのセットを受信し、
    第２の入力画像フレームのソースから生じた画像データを含む第２の入力画像フレームのセットを受信し、前記第２の入力画像フレームのセットは、第１の画像フレームのセットに対する修飾又は変更を含み、
    前記第１の入力画像フレームのセットと、前記第２の入力画像フレームのセットと、をそれぞれ、第１のエンコードされた画像フレームのセットと、第２のエンコードされた画像フレームのセットと、にエンコードし、組み合わされたビデオストリームを形成し、前記第１のエンコードされた画像フレームのセットのエンコードされた画像フレームは排他的に、前記第１のエンコードされた画像フレームのセットの一又は複数の画像フレームを参照し、前記第２のエンコードされた画像フレームのセットのエンコードされた画像フレームは、前記第１のエンコードされた画像フレームのセットのエンコードされた画像フレームと、前記第２のエンコードされた画像フレームのセットの別のエンコードされた画像フレームと、の双方を参照し、
    第１のキーであって、前記第１の入力画像フレームのソースに関連する第１のキーを使用して、前記第１のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームを含む第１の署名グループに署名し、
    第２のキーであって、前記第２の入力画像フレームのソースに関連する第２のキーを使用して、前記第２のエンコードされた画像フレームのセットの一又は複数のエンコードされた画像フレームを含む第２の署名グループに署名する
    よう構成されているプロセッサを備える、ビデオ処理システム。

Images