JP2023043851A - ビデオストリームの送信を制御するための方法およびデバイス - Google Patents

Abstract

【課題】ネットワーク中の送信ビットレート過負荷を防ぐためにビデオストリームの送信を制御する方法及びビデオストリーム整形器を提供する。【解決手段】ビデオストリームの送信を制御するためのコンピュータ実装方法（１００）は、送信されるべきビデオストリームのピクチャグループ（ＧＯＰ）についてのビット数を推定すること（１１０）と、ビデオストリームの送信のためのレイテンシ要件を設定すること（１２０）と、推定されたビット数と、ＧＯＰの持続時間によって表される時間期間に対応する時間とに基づいて、ＧＯＰにわたる平均最小ビデオビットレートを決定すること（１３０）と、ＧＯＰ中のビデオフレームについて、レイテンシ要件と平均最小ビデオビットレートとに基づいて、ビデオフレームの送信のための出力ビットレートを設定すること（１４０）と、出力ビットレートを使用してビデオフレームを送信すること（１５０）と、を含む。【選択図】図１

Description

本開示は、ビデオストリームの送信を制御するための方法およびデバイスに属する。

ビデオコーディングでは、ピクチャグループ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）、またはＧＯＰ構造が、イントラフレームおよびインターフレームが配置される順序を指定する。ＧＯＰは、コード化ビデオストリーム内の連続ピクチャの集合である。各コード化ビデオストリームは連続ＧＯＰからなり、そこから可視フレームが生成される。圧縮されたビデオストリーム中の新しいＧＯＰに遭遇することは、デコーダが、次のフレームを復号するために前のフレームを必要としないことを意味し、ビデオにわたる高速シークを可能にする。ＧＯＰは、イントラフレームで開始し、コード化ビデオストリーム中の次のイントラフレームの前の、グループ中の最後のフレームで終了する。イントラフレームのサイズは、概して、インターフレームのサイズよりも著しく大きく、一般に、１０～５０倍大きい。したがって、ネットワークを介してコード化ビデオストリームを送信することは、イントラフレームが送信される間は、一時的送信ビットレートが比較的大きいが、後続のインターフレームが送信される間は、送信ビットレートが比較的低いことを生じる。それにより、ビットレートスパイクが、通常、イントラフレームを送信する間に発生する。現代のネットワークおよびインターネット接続は、一般に、さらにビデオストリームを圧縮することなしに、そのようなビットレートスパイクを扱うことができる。しかしながら、特定のネットワーク中で複数のビデオカメラが設置される場合、全体的データ送信ビットレートは、平均して、複数のビデオカメラのための十分な帯域幅があるが、複数のビットレートスパイクが同時に発生する場合、ネットワークの最大データ送信ビットレートを瞬間的に超え得る。これは、データパケットの損失、低減されたビデオ品質などを生じ得る。したがって、ネットワーク中のそのような送信ビットレート過負荷を防ぐ必要がある。

したがって、本発明の目的は、ネットワーク中の送信ビットレート過負荷を防ぐためにビデオストリームの送信を制御するための手法を提供することである。

第１の態様によれば、ビデオストリームの送信を制御するためのコンピュータ実装方法が提供される。本方法は、送信されるべきビデオストリームのピクチャグループ（ＧＯＰ）についてのビット数を推定することを含む。本方法は、ビデオストリームの送信のためのレイテンシ要件を設定することをさらに含む。本方法は、推定されたビット数と、ＧＯＰの持続時間によって表される時間期間に対応する時間とに基づいて、ＧＯＰにわたる平均最小ビデオビットレートを決定することをさらに含む。本方法は、ＧＯＰ中のビデオフレームについて、レイテンシ要件と平均最小ビデオビットレートとに基づいて、ビデオフレームの送信のための出力ビットレートを設定することと、出力ビットレートを使用してビデオフレームを送信することとをさらに含む。

旧来、監視ネットワークは、ケーブルが永続的に設置され、とりわけ予測可能なビットレート曲線などから生じる、送信容量が確保された、クローズドシステムであった。本方法は、監視カメラからのデータが、他のトラフィックタイプが送信され得るネットワークを介して送信されることを可能にし得る。これは、ビデオデータの長距離送信が、送信容量が保証され得ないリンクを介して行われる場合、さらに好適であり得る。

最大ビットレートが設定され、固定である、典型的なデータトラフィック整形器と比較して、本開示は、データが送信されるネットワーク上の低減された負荷を提供する、動的データトラフィック平滑化器（ｓｍｏｏｔｈｅｎｅｒ）を提供する。さらに、ネットワーク中の他のデバイス間のデータの送信速度が、上記の通り、ネットワーク上の負荷を低減する上記の可能性により、促進され得る。

この全文にわたって、ビットレートは、デジタルネットワークを介して送信されている１秒当たりのビット数を指す。ビットレート曲線は、時間の関数であるビットレートを指す。ビットレート曲線中のビットレートスパイクは、ビットレートが平均ビットレートよりも著しく大きい、ビットレート曲線の比較的短い時間間隔、たとえば、イントラフレームが送信される時間間隔を指す。参照されるネットワークは、別段に明記されていない場合、考慮されるビデオフレームの送信が発生する任意のタイプのデータ送信ネットワーク（場合によってはワイヤレス）である。ネットワークは、たとえば、ローカルネットワーク、公衆ネットワークなど、デジタル情報を通信するための任意のタイプのネットワークであり得る。ネットワークを介してデータを「送信すること」および「プッシュすること」という表現は、全体にわたって互換的に使用され得る。

ＧＯＰにわたる平均最小ビデオビットレートは、ＧＯＰに対応するすべてのビデオデータがＧＯＰ期間中に送信されることになるように、各フレーム期間中に送信されるために必要とされるデータの量として定義される。フレーム期間は、たとえば、３０フレーム毎秒のフレームレートにおいてキャプチャされる３０フレームのＧＯＰ長を仮定すれば、約３０～４０ｍｓであり得る。

本方法は、ＧＯＰのビットレート曲線の平滑化を促進し得る。本明細書のビットレート曲線の平滑化は、ＧＯＰの送信に沿った平均ビットレートである実質的に一定の送信ビットレートを指す。これは、ビデオストリームが送信されるネットワークの最大ビットレートを瞬間的に超えることを防ぎ得る。したがって、たとえば、ライブストリーム中で情報を失うリスクが低減され得る。

レイテンシは、この説明全体にわたって時間間隔を指し、時間間隔の開始が、ビデオフレームのキャプチャまたは生成が行われるタイムスタンプであり、時間間隔の終了が、ビデオフレームが送信されたタイムスタンプである。それにより、レイテンシ要件は、最大の許容できるそのような時間間隔を指し得る。本方法は、ビデオ品質を損なうことなしに、短いレイテンシ時間を促進し得、これは、たとえば、ライブストリームにおいて有利であり得る。

ビット数の推定は、ビデオストリーム中の１つまたは複数の先行するＧＯＰについてのビット数を統計的に分析することを含み得る。これは、送信されるべきＧＯＰのビット数の適切な推定を促進し得る。これは、今度のＧＯＰを送信するために必要な瞬時最小ビットレートが継続してモニタおよび更新されるとき、データトラフィック平滑化の動的性質をさらに促進し得る。

ビット数の推定は、送信されるべきＧＯＰに対応するビデオデータをバッファすることと、バッファされたビデオデータを分析することとをさらに含み得る。

ビット数の推定は、ＧＯＰに対応するビデオストリームのすでに符号化されたシーケンスについてのビット数を決定することをさらに含み得る。したがって、ビデオストリームのすでに符号化されたシーケンスが、平滑化および送信され得る。短いレイテンシがあまり重要でないとすれば、これは、本質的に厳密な平均ビットレートが、キャプチャおよび記憶されたＧＯＰから計算され得るので、有利であり得る。したがって、これは、ＧＯＰのビット数の改良された推定をさらに提供し得る。

本方法は、ＧＯＰ中のビデオフレームの送信中に、ＧＯＰのすでに送信されたフレームの実際のビット数に基づいて、ＧＯＰの残りのまだ送信されていないフレームにわたって平均最小ビデオビットレートを更新することをさらに含み得る。それにより、平均最小ビデオビットレートは、ビデオカメラによってキャプチャされるシーン中のリアルタイム情況に従って更新され得る。したがって、平均最小ビットレートを動的に更新することは、ＧＯＰ中のビデオフレームの送信中に行われ得、これは、さらに、ネットワークの過負荷を回避することを促進し得る。これは、ＧＯＰ時間長、すなわち、ＧＯＰが送信される時間間隔が比較的長い場合、さらに好ましいことがある。代替または追加として、これは、現在のＧＯＰの送信ビットレートからの先行するＧＯＰが、キャプチャされたシーンの急速な変化を受け、現在のＧＯＰが、比較的静的なキャプチャされたシーンを受ける場合、平均最小ビデオビットレートを低下させ得る。

第２の態様によれば、複数のビデオストリームの同時送信を制御するためのコンピュータ実装方法であって、方法が、複数のビデオストリームの各々について、第１の態様の上述の特徴による方法を個々に実施することを含む、方法が提供される。

複数のビデオストリームのイントラフレームが同時に送信される場合、ネットワークの過負荷が、それの生じる複数のビットレートスパイクの追加から発生し得る。この方法は、送信されるべきデータトラフィックの平滑化を促進し得、これは、それにより、ネットワークのそのような過負荷を回避し得る。したがって、データパケット損失またはビデオ解像度の低減などが回避され得る。

第２の態様による方法は、複数のビデオストリームの各々の送信のためのレイテンシ要件を、レイテンシ要件が、複数のビデオストリームの各々について異なるように、個々に設定することをさらに含み得る。これは、複数のビデオカメラのうちの異なるタイプのビデオカメラが使用され、および／または同じタイプの複数のビデオカメラのうちのビデオカメラにおける異なる解像度、ＧＯＰ長などが使用される場合、有利であり得る。これは、方法の動的性質を向上させることを促進し得る。

第２の態様による方法は、複数のビデオストリームの各々のビデオストリームのタイプに基づいて、複数のビデオストリームの各々の送信のためのレイテンシ要件を個々に設定することをさらに含み得る。ビデオストリームのタイプは、ライブストリーム、非ライブストリームなどであり得る。異なるタイプのビデオストリームについて異なるビデオ解像度が適用可能であり得る。たとえば、非ライブストリームは、ライブストリームよりも大きいビデオ解像度を有し得る。より高いビデオ解像度のほかに、レイテンシ要件の個々の設定が、非ライブストリームの送信ビットレートを本質的に一定に設定することを可能にし得、これは、データ損失を防ぎ得る。したがって、レイテンシは、ライブストリームと比較して非ライブストリームについて著しく大きくなり得る。さらに、ネットワークの帯域幅がより効率的に活用され得、それにより、ネットワークを介した同時送信のためにより多数のそのような非ライブストリームをスタックすることを可能にする。

第３の態様によれば、処理能力を有するデバイス上で実行されたとき、第１および／または第２の態様による方法を実装するための命令を記憶した非一時的コンピュータ可読記憶媒体が提供される。

第１および第２の態様に関する上述の特徴および利点は、適用可能なとき、この第３の態様にも適用される。したがって、過度の繰返しを回避するために、上記への参照が行われる。

第４の態様によれば、ビデオストリームの送信を制御するためのビデオストリーム整形器であって、ビデオストリーム整形器が、
送信されるべきビデオストリームのピクチャグループ（ＧＯＰ）についてのビット数を推定するように構成されたデータサイズ推定機能と、
ビデオストリームの送信のためのレイテンシ要件を設定するように構成されたレイテンシ設定機能と、
推定されたビット数と、ＧＯＰの持続時間によって表される時間期間に対応する時間とに基づいて、ＧＯＰにわたる平均最小ビデオビットレートを決定するように構成されたビットレート決定機能と、
ＧＯＰ中のビデオフレームについて、レイテンシ要件と平均最小ビットレートとに基づいて、ビデオフレームの送信のための出力ビットレートを設定するように構成された出力ビットレート設定機能と、
出力ビットレートを使用してビデオフレームを送信するように構成された送信機能と
を実行するように構成された回路を備える、ビデオストリーム整形器が提供される。

第１の態様に関する上述の特徴および利点は、適用可能なとき、この第２の態様にも適用される。したがって、過度の繰返しを回避するために、上記への参照が行われる。

データサイズ推定機能は、ビデオストリーム中の１つまたは複数の先行するＧＯＰについてのビット数を統計的に分析するようにさらに構成され得る。

データサイズ推定機能は、送信されるべきＧＯＰに対応するビデオデータをバッファし、バッファされたビデオデータを分析するようにさらに構成され得る。

データサイズ推定機能は、ＧＯＰに対応するビデオストリームのすでに符号化されたシーケンスについてのビット数を決定するようにさらに構成され得る。

回路は、ＧＯＰのすでに送信されたフレームの実際のビット数に基づいて、ＧＯＰの残りのまだ送信されていないフレームにわたって平均最小ビデオビットレートを更新するように構成されたビットレート更新機能をさらに備え得る。

回路は、複数のビデオストリームの各々について、ビデオストリーム整形器の上述の機能を個々に実行するように構成されたメイン機能を実行するようにさらに構成され得る。

本方法の上述の特徴は、適用可能なとき、この第２の態様にも適用される。過度の繰返しを回避するために、上記への参照が行われる。

概して、特許請求の範囲において使用されるすべての用語は、本明細書で別段明示的に定義されない限り、本技術分野におけるその通例の意味に従って解釈されるべきである。「１つの（ａ／ａｎ）／その（ｔｈｅ）［エレメント、デバイス、構成要素、手段、ステップなど］」へのすべての言及は、別段明示的に述べられていない限り、前記エレメント、デバイス、構成要素、手段、ステップなどの少なくとも１つの事例に言及しているものとしてオープンに解釈されるべきである。本明細書で開示されるいずれの方法のステップも、明示的に述べられていない限り、開示される厳密な順序で実施される必要はない。

本発明の上記の、ならびに追加の目的、特徴および利点は、添付の図面を参照しながら、好ましい実施形態の以下の例示的で非限定的な詳細な説明を通して、より良く理解される。添付の図面では、同じ参照番号が同様の要素のために使用されることになる。

ビデオストリームの送信を制御するための方法のフローチャートを概略的に示す図である。 ピクチャグループ（ＧＯＰ）のデータトラフィックの経時的な送信を概略的に示す図である。 ピクチャグループ（ＧＯＰ）のデータトラフィックの経時的な送信を概略的に示す図である。 ピクチャグループ（ＧＯＰ）のデータトラフィックの経時的な送信を概略的に示す図である。 複数のビデオストリームの送信を制御するための方法を概略的に示す図である。 ビデオストリームの送信を制御するためのビデオストリーム整形器を極めて概略的に示す図である。

次に、本発明の現在好ましい実施形態が示されている添付の図面を参照しながら、本発明が以下でより十分に説明される。しかしながら、本発明は、多くの異なる形態で具現化され得、本明細書に記載される実施形態に限定されるものとして解釈されるべきではなく、むしろ、これらの実施形態は、完全さおよび完全性のために提供され、本発明の範囲を当業者に十分に伝えるために提供される。

図１に関して、ビデオストリームの送信を制御するためのコンピュータ実装方法１００のフローチャートが示されている。方法１００は、任意の好適なデバイス上で実装され得る。非限定的な例によれば、方法１００は、ビデオカメラ、特に、デジタルモニタリングビデオカメラにおいて実装され得る。他の例は、固定またはポータブルコンピュータ、ネットワークゲートウェイなどである。本方法は、ネットワークを介して送信されるべきデータトラフィックのための、いわゆるトラフィック整形器と見なされ得る。方法１００は、１１０において、送信されるべきビデオストリームのピクチャグループ（ＧＯＰ）についてのビット数を推定することを含む。ＧＯＰは、以下の異なるピクチャタイプを備え得る。
－ イントラ符号化ピクチャ、Ｉフレーム。すべての他のピクチャとは無関係にコーディングされたピクチャである。各ＧＯＰが、復号順序において、Ｉフレームで始まる。Ｉフレームは、代替的に、キーフレームと呼ばれることがある。
－ 予測符号化ピクチャ、Ｐフレーム。ＰフレームまたはＩフレームである、前に復号されたピクチャに対する動き補償差情報を含んでいるピクチャである。Ｐフレームは、ピクセルレベル分析、ブロックレベル分析、またはベクトル分析によって作成され得る。
－ 双予測コード化ピクチャ、Ｂフレーム。前に復号されたピクチャ（ＩフレームまたはＰフレーム）とＢフレームに続くピクチャ（ＰフレームのＩフレーム）とに対する動き補償差情報を含んでいるピクチャである。

ＰフレームおよびＢフレームは、まとめてしばしばインターフレームと呼ばれる。

イントラフレームのビット数は、インターフレームが、一般に、イントラフレームに対する差のみを含むので、概して、イントラフレームに続くインターフレームのビット数よりも著しく大きい。しかしながら、これは、多くの動きを伴うシーンをキャプチャするとき、当てはまらないことがある。したがって、たとえば、特定の時間間隔中にカメラによってキャプチャされているシーンにおいてほとんどまたは何も変化しないことがある、夜間のカメラ監視では、キャプチャされたビデオストリームシーケンス中のインターフレームのファイルサイズが実質的に無視できることがある。さらに、そのような状況では、比較的大きいＧＯＰ長および／または低いフレームレートが使用され得、ここで、ＧＯＰ長は、２つの後続のイントラフレーム間のフレームの数を指す。しかしながら、カメラ監視においてカメラによってキャプチャされているシーンの急速な変化を適切にキャプチャするために、キャプチャされているシーン中の現在の（場合によっては低い）アクティビティにかかわらず、比較的短いＧＯＰ長が好ましいことがある。本開示全体にわたって、ＧＯＰ中のピクチャの検討は、もっぱらＩフレームおよびＰフレームを顧慮する。当業者は、他のタイプのフレーム、すなわち、Ｂフレームが、特許請求の範囲内で顧慮され得ることを了解する。さらに、本開示全体にわたって静的ＧＯＰ長が考慮されるが、当業者は、帯域幅を節約すること、ネットワークを介してデータトラフィックを促進することなどを行うために、動的ＧＯＰ長が実装され得ることを諒解する。ビデオフレーム（ＩフレームまたはＰフレーム）のサイズを説明／検討するとき、そのようなビデオフレームを記憶するために必要とされる対応するディスクスペースへの参照が行われることを諒解されたい。したがって、ＩフレームがＰフレームよりも大きいことは、Ｉフレームが、Ｐフレームのためのディスクスペースと比較して、Ｉフレームを記憶するためのより大きいディスクスペースを必要とすることと等価であることを理解されたい。「サイズ」および「ビットサイズ」という用語は、時々、互換的に使用され得る。

送信されるべきビデオストリームのＧＯＰについてのビット数の推定は、ビデオストリーム中の１つまたは複数のすでに送信されたＧＯＰを分析することによって実施され得る。複数のすでに送信されたＧＯＰを分析することによって、すでに送信されたＧＯＰのうちのそれぞれのＧＯＰのビット数に基づく統計的傾向が、送信されるべきＧＯＰについてのビット数の比較的正確な推定のために使用され得る。したがって、方法は、ビデオストリーム中の１つまたは複数の先行するＧＯＰについてのビット数を統計的に分析することを含み得る。ビデオストリーム中の１つまたは複数の先行するＧＯＰについてのビット数の統計的分析は、レイテンシをもたらすリスクがしきい値確率を下回るようにビットレートが選択され得るという点で、確率的手法を利用し得る。しきい値確率は、好ましくは、比較的低くなり得る。たとえば、カメラが、比較的静的シーンのビデオシーケンスをキャプチャする場合、ビデオシーケンス中の特定のＧＯＰのＰフレームは、一般に、特定のＧＯＰのＩフレームよりもはるかに小さい。統計的分析は、次いで、後続のＧＯＰ中で使用されるべき好適なビットレートを推定し得る。統計的分析は、カメラがキャプチャするシーンにおける傾向を決定することをさらに含み得る。例として、その傾向は、シーン中の移動の変化の増加率を考慮し得、これは、それにより、より大きいＰフレームを生じ得る。これは、さらに、ネットワークを介して送信される対応するデータトラフィックを平滑化するための方法を最適化し得る。

方法１００は、１２０において、ビデオストリームの送信のためのレイテンシ要件を設定することをさらに含む。上記の通り、レイテンシ要件は、ビデオフレームデータのキャプチャ／生成とビデオフレームデータの送信との間の時間差に関する要件である。レイテンシ要件は、超えられないものとする最大レイテンシであり得る。レイテンシ要件は、時々、レイテンシと示され得る。したがって、送信されるべきＧＯＰにわたる推定されたビデオビットレートによって引き起こされる、経時的に増やされ、増加されたエラーおよび潜在的に誘発された不要なレイテンシが防がれ得る。レイテンシ要件は、ユーザによって設定され得る。レイテンシ要件は、ユーザエクスペリエンス、ネットワーク容量、モニタされるべきシーンのタイプなどに依存し得る。例として、ゲートをモニタし、リアルタイム人間通信のために使用されているカメラは、データのほぼリアルタイム送信、たとえば、３０ｍｓレイテンシを必要とし得る。逆に、駐車場をモニタするカメラの場合、レイテンシは、著しく高く、たとえば、０．５ｓであり得る。トラフィック整形器が１つまたは複数のＧＯＰのすべてのデータを送信するべきであった目標時間が、さらに、フレームレートおよびＧＯＰ長に基づいて算出され得る。したがって、目標時間は、後続のＩフレームの送信がリアルタイムで行われるタイムスタンプと見なされ得る。

方法１００は、１３０において、推定されたビット数と、ＧＯＰの持続時間によって表される時間期間に対応する時間とに基づいて、ＧＯＰにわたる平均最小ビットレートを決定することをさらに含む。ＧＯＰにわたる平均最小ビットレートは、ビデオ解像度に依存し得る。すなわち、たとえば、ライブストリームにおいて短いレイテンシが望まれるとすれば、ライブストリーム中のＧＯＰにわたる平均最小ビットレートが比較的低くなり得、特に、ライブストリームカメラがキャプチャするシーンについて、比較的視覚的に静的である。ＧＯＰにわたる平均最小ビデオビットレートは、ＧＯＰに対応するすべてのビデオデータがＧＯＰ期間中に送信されることになるように、各フレーム期間中に送信されることが必要とされるのはどれだけのデータかに基づいて定義され得る。

方法１００は、ＧＯＰ中のビデオフレームについて、１４０において、レイテンシ要件と平均最小ビデオビットレートとに基づいて、ビデオフレームの送信のための出力ビットレートを設定することと、１５０において、出力ビットレートを使用してビデオフレームを送信することとをさらに含む。ここでは、ＧＯＰ中の各ビデオフレームの送信は、それにより、個々に考慮される。出力ビットレートは、推定されたビット数と、送信されるべきフレームをプッシュすることが完了されるべきであった目標時間とに基づいて更新され得る。

図２Ａ～図２Ｃは、方法１００を図式的に要約する。ここでは、１つのＩフレームＩ１と８つのＰフレームＰ１～Ｐ８とを備えるＧＯＰ２００が例示され、これは、限定的なものとして解釈されるべきでなく、当業者を混乱させるべきでもない。すなわち、特許請求の範囲内で任意の適切な数のＰフレームが可能であり得る。レイテンシの不在下で、ビデオフレームの送信が、概して、任意の適切な時間間隔中に行われ得る。そのような時間間隔は、好ましくは、図２Ａ～図２Ｃに定性的に示されているように、２つの後続のキャプチャされたフレーム間の経過時間に対応するフレームレート依存時間間隔（ｆｒａｍｅ ｒａｔｅ ｄｅｐｅｎｄｉｎｇ ｔｉｍｅ ｉｎｔｅｒｖａｌ）よりも短いかまたはそれに等しくなり得る。時間間隔がフレームレート依存時間間隔よりも著しく短い場合、対応するビットレート曲線は、それぞれのＰフレームの場合によっては有意でないサイズにもかかわらず、各送信されたＰフレームについて、狭いビットレートスパイクを有することになる。再び、Ｉフレームは、後続のＰフレームの各々よりも著しく大きいことがわかる。したがって、この例は、キャプチャされたシーンの比較的中程度の変化を示唆する。一般的なフレームレートは、３０フレーム毎秒（ｆｐｓ）であり得る。ＧＯＰ長は、たとえば、３０フレームまたは６０フレームであり得る。したがって、フレームレート３０ｆｐｓの場合、およびＧＯＰ長６０フレームの場合、ＧＯＰの持続時間は２秒である。当業者によって容易に諒解されるように、特許請求の範囲内で他の適切なフレームレートおよびＧＯＰ長が可能である。

図２Ａでは、Ｉフレームの送信中に送信ビットレートが比較的狭いスパイクを呈する、ＧＯＰ２００のデータトラフィックの経時的な通常の送信が概略的に示されている。このおもちゃの例では、ＧＯＰ２００は、１つのＩフレームＩ１と、８つのＰフレームＰ１～Ｐ８を備えるＰフレームのグループ２１０とを有すると仮定される。ＧＯＰ２００のそれぞれのフレームの見掛けの「面積」が、ＧＯＰ中のフレームの相対ビットサイズを定性的に示す。図２Ａ（ｉ）に示されているフレームは、データパケットと見なされ得る。したがって、各フレームＩ１、Ｐ１～Ｐ８は、ネットワークを介してプッシュされるべきデータパケットと見なされ得る。このようにしてデータパケットをプッシュすることは、対応するビデオフレームがキャプチャされるとすぐに各個々のデータパケットが送信されるので、最小レイテンシを有することと等価である。概して、また、この例に見られるように、ＩフレームＩ１は、後続のＰフレームＰ１～Ｐ８と比較して著しくより大きいビットサイズを有し、ここで、ＰフレームＰ１～Ｐ８はすべて、実質的に同様のビットサイズを有すると仮定されるが、Ｐフレームの本物のグループ内のビットサイズは概して異なり得る。

図２Ｂでは、ＧＯＰ２００の経時的な平滑化が概略的に示されている。ＧＯＰ２００は、ＧＯＰ２００の送信時に方法１００に従って平滑化される。ここでは、第１のレイテンシ要件ＬＲ１が設定され、Ｉフレームのビットがネットワークを介してプッシュされるべきである時間間隔を定義する。図２Ａに示されているＩフレームＩ１は、ここでは、２つのデータパケットにスプリットされ、２つのフレーム、たとえば、図２ＡのＩフレームＩ１および第１のＰフレームＰ１をプッシュすることに対応する時間間隔中にネットワークを介してプッシュされる。したがって、ＩフレームＩ１は、２つの異なるフレームにスプリットされるものと解釈されないものとし、むしろ、２つの異なるデータパケットにスプリットされるものと解釈されるものとする。ＧＯＰ２００が、ネットワークを介して送信され、受信機側上で再生されるとき、対応するビデオシーケンスは、通常速度で再生され、レイテンシ要件と同様の時間だけ遅延される。平滑化は、ＧＯＰ２００が、後続のＧＯＰが開始する前に送信されるために、ＧＯＰ２００の残りのＰフレームＰ１～Ｐ８が、より大きいパケットに結合されなければならないことを必要とする。この例では、ここでは、データパケットＩ１ａ、Ｉ１ｂ、Ｐ１～Ｐ６と、第７のＰ７および第８のＰ８ Ｐフレームとを備えるより大きいＰフレームパケットＰＬ１とを備えるＧＯＰが、目標時間ＴＧ１内にプッシュされるために、最後のデータパケットが、第７のＰ７および第８のＰ８ Ｐフレームを備えるデータパケットであり得る。同様のデータパケットを構成するために、Ｐフレームの任意のペア、たとえば、第１のＰフレームＰ１および第２のＰフレームＰ２などが、等しくうまく使用され得る。これは、ネットワークを介してＩフレームパケットＩ１ａおよびＩ１ｂをプッシュするとき、ビットレートに対応する第１のビットレートピーク２５２を有する対応するビットレート曲線を生じ得る。同様に、ネットワークを介してより大きいＰフレームパケットＰＬ１をプッシュするとき、第２のビットレートピーク２５４がビットレート曲線２５０において発生し得る。概して、データパケットが、約１．５ｋＢのサイズを有し得る。比較的大きいＩフレームが、数千個のデータパケットにスプリットされ得る。フレームが、少なくとも３つのやり方、すなわち、（ｉ）１つのデータパケット中に１つのフレーム、（ｉｉ）１つのデータパケット中に複数のフレーム、または（ｉｉｉ）複数のデータパケット中に１つのフレームで、そのようなデータパケットによって送信され得る。原則として、ある数のフレームを別の数のデータパケットにスプリットすることがさらに可能であり得る。たとえば、２つのデータパケットが、合計３つのフレームを含んでいることがあり、ここで、各データパケットが、１．５フレームに対応するデータを含んでいる。

図２Ｃでは、ＧＯＰ２００の送信時に方法１００に従って平滑化されているデータトラフィックの経時的な、ＧＯＰ２００に対応する平滑化データの別の例が概略的に示されている。ここでは、第２のレイテンシ要件ＬＲ２が設定され、Ｉフレームがネットワーク上でプッシュされるべきである時間間隔を定義する。図２Ａに示されているＩフレームＩ１は、ここでは、実質的に等しいビットサイズの５つのデータパケットＩ１ｉ～Ｉ１ｖにスプリットされる。ＰフレームＰ１～Ｐ８は、ここでは、各々２つのＰフレームを備えるデータパケット、すなわち、第１のＰ１および第２のＰ２ Ｐフレームを備える第１のＰフレームパケット、第３のＰ３および第４のＰ４ Ｐフレームを備える第２のＰフレームパケットなどに結合される。この例は、ＩフレームパケットＩ１ｉ～Ｉ１ｖおよび後続のＰフレームパケットをプッシュするとき、実質的に一定のビットレートを有する対応するビットレート曲線２６０を生じ得る。レイテンシ要件のより大きい時間間隔値が、ＧＯＰ２００のビットに対応するデータパケットをプッシュするとき、より一定のビットレート曲線を生じ得、その逆も同様であることを諒解されたい。ビットレート曲線は、それにより、ＧＯＰの平均最小ビットレートからほとんど逸脱しないか、または無視できるほどに逸脱し得る。したがって、レイテンシ要件は、レイテンシ要件の時間間隔の長さと対応するビットレート曲線の平滑度との間のトレードオフと見なされ得る。図２Ｃに示されている例は、ネットワークの負荷に関して比較的理想的であり得ることを諒解されたい。送信されるべきビデオストリームのＧＯＰについてのビット数の推定が、すでに送信されたＧＯＰに依存し得るので、２つのＧＯＰ間の平均ビットレートが逸脱し得るような変動が発生し得る。

図２Ａ～図２Ｃでは、フレームレートは、ＧＯＰ２００中のフレームに対応するデータパケットが送信されるレートと同様であるように見え得る。しかしながら、データパケットは、各データパケットが複数のフレームを備え、各データパケットが、データパケット中に含まれているフレームのキャプチャに対応する時間期間中に送られるように、より低いレートにおいて等しくうまく送信され得る。

ビット数の推定１１０は、送信されるべきＧＯＰに対応するビデオデータをバッファすることと、バッファされたビデオデータを分析することとを含み得る。したがって、ＧＯＰ中のすべてのフレームがバッファされ得、その後、すべてのフレームの総ビットサイズ、ならびにＧＯＰがその目標時間中に送信されるために必要とされる平均ビットレートが計算され得る。これの後に、データパケットが、ＧＯＰの平均ビットレートに一致するビットレートにおいてプッシュされること続き得る。この状況では、比較的大きいレイテンシが存在し得るが、ビットレートは、ネットワークを介してＧＯＰに対応するデータパケットをプッシュする間、さらに平滑化されるか、さらには実質的に一定であり得る。

代替的に、ビット数の推定１１０は、ＧＯＰに対応するビデオストリームのすでに符号化されたシーケンスについてのビット数を決定することを含み得る。したがって、すでに符号化されたビデオデータの平滑化が可能であり得る。これは、イベント、たとえば、ビデオカメラによってキャプチャされるシーンの変化がトリガされる場合、事前バッファリングの場合に好ましいことがあり、したがって、ある過ぎた時間間隔に対応するデータパケットをプッシュすることが可能である。そのようなある過ぎた時間間隔は、たとえば、先行の１５秒、先行の分（ｍｉｎｕｔｅ）などであり得る。

方法１００は、ＧＯＰ中のビデオフレームの送信中に、ＧＯＰのすでに送信されたフレームの実際のビット数に基づいて、ＧＯＰの残りのまだ送信されていないフレームにわたって平均最小ビデオビットレートを更新することをさらに含み得る。したがって、平均最小ビデオビットレートは、ビデオカメラによってキャプチャされるシーン中のリアルタイム情況に従って調整され得る。この実施形態は、先行するＧＯＰが、キャプチャされたシーンの急速な変化を受け、現在のＧＯＰが、比較的静的なキャプチャされたシーンを受ける場合、好ましいことがある。

図３に関して、複数のビデオストリームの同時送信を制御するためのコンピュータ実装方法３００が示されている。方法３００は、複数のビデオストリームの各々について、上記で説明された方法１００を個々に実施することを含む。方法３００は、それにより、ビデオストリームの和のビットレートが、ネットワークを介したデータの送信のための最大許容ビットレートを下回るように、複数のカメラからのビデオストリームを平滑化することを含み得る。複数のビデオストリームについてビットレートスパイクが発生するように、それぞれのビデオストリームの対応するレイテンシ要件が比較的短い場合、第２の方法は、複数のビデオストリームの合計のビットレートが、ネットワークの最大許容ビットレートを下回るために、必要な場合、１つまたは複数のビデオストリームを遅延させ得る。

方法３００は、複数のビデオストリームの各々の送信のためのレイテンシ要件を、レイテンシ要件が、複数のビデオストリームの各々について異なるように、個々に設定することをさらに含み得る。

方法３００は、複数のビデオストリームの各々のビデオストリームのタイプに基づいて、複数のビデオストリームの各々の送信のためのレイテンシ要件を個々に設定することをさらに含み得る。ビデオストリームのタイプは、後のレビューのために記憶されるべきライブストリームなどを含み得る。ライブストリームの再生は、数秒またはそれを下回る程度のキャプチャと再生との間の遅延を受け得る。ビデオストリームのタイプがライブストリームである場合、レイテンシ要件は、それにより、比較的短い時間期間であり得る。これは、次いで、ネットワークを介して送信されているライブストリームの数に対する制約を設定し得る。方法３００はそれぞれのライブストリームに関連するそれぞれのシーンにおけるアクティビティを評価し得、それにより、あまりアクティブでないシーンが、場合によっては一時的なより長いレイテンシ要件を割り当てられる。代替的に、複数のライブストリームのＩフレームが実質的に同時に送信される場合、１つまたは複数のライブストリームが、互いに対してある程度まで遅延され得る。

上記で説明された方法を実装するための命令が、非一時的コンピュータ可読記憶媒体に記憶され、処理能力を有するデバイス上で実行される。

図４に関して、ビデオストリームの送信を制御するためのビデオストリーム整形器４００が極めて概略的に示されている。ビデオストリーム整形器４００は、任意の好適なデバイス上で実装され得る。非限定的な例によれば、ビデオストリーム整形器４００は、ビデオカメラ、特に、デジタルモニタリングビデオカメラにおいて実装され得る。他の例は、固定またはポータブルコンピュータ、ネットワークゲートウェイなどである。（１つまたは複数の）方法１００、３００に関する上述の特徴は、適用可能なとき、ビデオストリーム整形器４００にも適用される。したがって、過度の繰返しを回避するために、上記への参照が行われる。

ビデオストリーム整形器４００は、回路４２０を備える。

回路４２０は、ビデオストリーム整形器４００の機能および動作の全体的制御を行うように構成される。回路４２０は、中央処理ユニット（ＣＰＵ）、マイクロコントローラ、またはマイクロプロセッサなど、プロセッサを含み得る。プロセッサは、ビデオストリーム整形器４００の機能および動作を行うために回路４２０に記憶されたプログラムコードを実行するように構成される。

以下でさらに説明される実行可能機能が、メモリに記憶され得る。メモリは、バッファ、フラッシュメモリ、ハードドライブ、リムーバブル媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、または他の好適なデバイスのうちの１つまたは複数であり得る。一般的な配置では、メモリは、長期データストレージのための不揮発性メモリと、回路４２０のためのシステムメモリとして機能する揮発性メモリとを含み得る。メモリは、データバスを介して回路４２０とデータを交換し得る。付随する制御線、およびメモリと回路４２０との間のアドレスバスが、存在し得る。

回路４２０の機能および動作は、ビデオストリーム整形器４００の非一時的コンピュータ可読媒体、たとえば、メモリに記憶され、たとえば、プロセッサを使用することによって、回路４２０によって実行される、たとえば、コンピュータコード部分、ソフトウェアプログラムなど、実行可能論理ルーチンの形態で具現され得る。ビデオストリーム整形器４００の機能および動作は、スタンドアロンソフトウェアアプリケーションであるか、またはビデオストリーム整形器４００に関係する追加のタスクを行うソフトウェアアプリケーションの一部を形成し得る。説明される機能および動作は、対応するデバイスが行うように構成された方法を考慮していることがある。また、説明される機能および動作はソフトウェアにおいて実装され得るが、そのような機能は、専用ハードウェアまたはファームウェア、あるいはハードウェア、ファームウェアおよび／またはソフトウェアの何らかの組合せを介して行われることもある。

回路４２０は、送信されるべきビデオストリームのピクチャグループ（ＧＯＰ）についてのビット数を推定するように構成されたデータサイズ推定機能４２１を実行するように構成される。回路４２０は、ビデオストリームの送信のためのレイテンシ要件を設定するように構成されたレイテンシ設定機能４２２をさらに備える。回路４２０は、推定されたビット数と、ＧＯＰの持続時間によって表される時間期間に対応する時間とに基づいて、ＧＯＰにわたる平均最小ビデオビットレートを決定するように構成されたビットレート決定機能４２３をさらに備える。回路４２０は、ＧＯＰ中のビデオフレームについて、レイテンシ要件と平均最小ビットレートとに基づいて、ビデオフレームの送信のための出力ビットレートを設定するように構成された出力ビットレート設定機能をさらに備える。回路４２０は、出力ビットレートを使用してビデオフレームを送信するように構成された送信機能４２５をさらに備える。

データサイズ推定機能４２１は、ビデオストリーム中の１つまたは複数の先行するＧＯＰについてのビット数を統計的に分析するようにさらに構成され得る。

データサイズ推定機能４２１は、送信されるべきＧＯＰに対応するビデオデータをバッファし、バッファされたビデオデータを分析するようにさらに構成され得る。

データサイズ推定機能４２１は、ＧＯＰに対応するビデオストリームのすでに符号化されたシーケンスについてのビット数を決定するようにさらに構成され得る。

回路４２０は、ＧＯＰのすでに送信されたフレームの実際のビット数に基づいて、ＧＯＰの残りのまだ送信されていないフレームにわたって平均最小ビデオビットレートを更新するように構成されたビットレート更新機能をさらに備え得る。

回路４２０は、上記の通り、複数のビデオストリームの各々について、機能４２１～４２５を個々に実行するように構成されたメイン機能４２６を実行するようにさらに構成され得る。

本発明が、決して、上記で説明された好ましい実施形態に限定されないことを、当業者は了解されよう。見方を変えれば、多くの修正および変形が、添付の特許請求の範囲内で可能である。

たとえば、特定のビデオストリーム整形器４００が、２つの独立したビデオストリームの送信を制御し得る。そのような状況では、２つのビデオストリームのうちの１つのレイテンシ要件が、送信されたデータの平滑化を最適化するために残りのビデオストリームの性質を考慮に入れ得る。当業者は、これが、３つ以上の独立したビデオストリームにも適用され得ることを諒解する。

追加として、開示される実施形態の変形形態が、図面、本開示、および添付の特許請求の範囲の研究から、請求される本発明を行う際に、当業者によって理解および実現され得る。

Claims (14)

1. ビデオストリームの送信を制御するためのコンピュータ実装方法（１００）であって、前記方法（１００）は、
   送信されるべき前記ビデオストリームのピクチャグループ（ＧＯＰ）（２００）についてのビット数を推定すること（１１０）であって、前記ＧＯＰが、イントラフレームと、１つまたは複数のインターフレームとを備える、ビット数を推定すること（１１０）と、
   前記ビデオストリームの前記送信のためのレイテンシ要件を設定すること（１２０）であって、前記レイテンシ要件が、ビデオフレームデータのキャプチャ／生成と前記ビデオフレームデータの送信との間の時間差に関する要件である、レイテンシ要件を設定すること（１２０）と、
   推定された前記ビット数と、前記ＧＯＰ（２００）の持続時間によって表される時間期間に対応する時間とに基づいて、前記ＧＯＰ（２００）にわたる平均最小ビデオビットレートを決定すること（１３０）と、
   前記ＧＯＰ（２００）中の各ビデオフレームについて、
   前記ビデオフレームが拡散されるべきデータパケットの数を決定すること、または前記ビデオフレームが、前記ＧＯＰの別のビデオフレームと同じデータパケット中で送信されるべきであると決定することによって、前記レイテンシ要件と前記平均最小ビデオビットレートとに基づいて、前記ビデオフレームの送信のための出力ビットレートを設定すること（１４０）と、
   前記出力ビットレートを使用して前記ビデオフレームを送信すること（１５０）と
   を含む、方法（１００）。
2. 前記ビット数を推定すること（１１０）が、前記ビデオストリーム中の１つまたは複数の先行するＧＯＰについてのビット数を統計的に分析することを含む、請求項１に記載の方法（１００）。
3. 前記ビット数を推定すること（１１０）が、送信されるべき前記ＧＯＰ（２００）に対応するビデオデータをバッファすることと、バッファされた前記ビデオデータを分析することとを含む、請求項１に記載の方法（１００）。
4. 前記ビット数を推定すること（１１０）が、前記ＧＯＰ（２００）に対応する前記ビデオストリームのすでに符号化されたシーケンスについてのビット数を決定することを含む、請求項１に記載の方法（１００）。
5. 前記ＧＯＰ（２００）中の前記ビデオフレームの送信中に、前記ＧＯＰ（２００）のすでに送信されたフレームの実際のビット数に基づいて、前記ＧＯＰ（２００）の残りのまだ送信されていないフレームにわたって前記平均最小ビデオビットレートを更新することをさらに含む、請求項１から４のいずれか一項に記載の方法（１００）。
6. 複数のビデオストリームの同時送信を制御するためのコンピュータ実装方法（３００）であって、前記方法（３００）が、前記複数のビデオストリームの各々について、請求項１から５のいずれか一項に記載の方法を個々に実施することを含む、コンピュータ実装方法（３００）。
7. 前記複数のビデオストリームの各々の送信のためのレイテンシ要件を、前記レイテンシ要件が、前記複数のビデオストリームの各々について異なるように、個々に設定することをさらに含む、請求項６に記載の方法（３００）。
8. 前記複数のビデオストリームの各々のビデオストリームのタイプに基づいて、前記複数のビデオストリームの各々の前記送信のための前記レイテンシ要件を個々に設定することをさらに含む、請求項６または７に記載の方法（３００）。
9. 処理能力を有するデバイス上で実行されたとき、請求項１から８のいずれか一項に記載の方法を実装するための命令を記憶した非一時的コンピュータ可読記憶媒体。
10. ビデオストリームの送信を制御するためのビデオストリーム整形器（４００）であって、前記ビデオストリーム整形器（４００）は、
    送信されるべき前記ビデオストリームのピクチャグループ（ＧＯＰ）（２００）についてのビット数を推定するように構成されたデータサイズ推定機能（４２１）であって、前記ＧＯＰが、イントラフレームと、１つまたは複数のインターフレームとを備える、データサイズ推定機能（４２１）と、
    前記ビデオストリームの前記送信のためのレイテンシ要件を設定するように構成されたレイテンシ設定機能（４２２）であって、前記レイテンシ要件が、ビデオフレームデータのキャプチャ／生成と前記ビデオフレームデータの送信との間の時間差に関する要件である、レイテンシ設定機能（４２２）と、
    推定された前記ビット数と、前記ＧＯＰ（２００）の持続時間によって表される時間期間に対応する時間とに基づいて、前記ＧＯＰ（２００）にわたる平均最小ビデオビットレートを決定するように構成されたビットレート決定機能（４２３）と、
    前記ＧＯＰ（２００）中の各ビデオフレームについて、前記ビデオフレームが拡散されるべきデータパケットの数を決定すること、または前記ビデオフレームが、前記ＧＯＰの別のビデオフレームと同じデータパケット中で送信されるべきであると決定することによって、前記レイテンシ要件と平均最小ビットレートとに基づいて、前記ビデオフレームの送信のための出力ビットレートを設定するように構成された出力ビットレート設定機能（４２４）と、
    前記出力ビットレートを使用して前記ビデオフレームを送信するように構成された送信機能（４２５）と
    を実行するように構成された回路（４２０）を備える、ビデオストリーム整形器（４００）。
11. 前記データサイズ推定機能（４２１）が、前記ビデオストリーム中の１つまたは複数の先行するＧＯＰについてのビット数を統計的に分析するようにさらに構成されている、請求項１０に記載のビデオストリーム整形器（４００）。
12. 前記データサイズ推定機能（４２１）が、送信されるべき前記ＧＯＰ（２００）に対応するビデオデータをバッファし、バッファされた前記ビデオデータを分析するようにさらに構成されている、請求項１０に記載のビデオストリーム整形器（４００）。
13. 前記データサイズ推定機能（４２１）が、前記ＧＯＰ（２００）に対応する前記ビデオストリームのすでに符号化されたシーケンスについてのビット数を決定するようにさらに構成されている、請求項１０に記載のビデオストリーム整形器（４００）。
14. 前記回路（４２０）が、前記ＧＯＰ（２００）のすでに送信されたフレームの実際のビット数に基づいて、前記ＧＯＰ（２００）の残りのまだ送信されていないフレームにわたって前記平均最小ビデオビットレートを更新するように構成されたビットレート更新機能をさらに備える、請求項１０から１３のいずれか一項に記載のビデオストリーム整形器（４００）。
    

Images