JP2018509113A - 独立符号化バックグラウンド更新に基づく映像伝送 - Google Patents

Abstract

映像伝送の帯域制限を緩和し、受信機での映像の品質を向上させ、ＶＲ／ＡＲ体験を向上させるシステムおよび方法が提供される。特に、高解像度映像を生成する改良された映像伝送およびレンダリングシステムが提供される。このシステムは、送信機およびＶＲ／ＡＲ受信機を有する。送信機が外側符号化器および中心符号化器を備える一方、受信機が中心復号化器および外側復号化器を備える。外側符号化器は、映像源から映像を受信し、特徴映像および符号化３次元バックグラウンドを別個に出力するように構成されている。外側復号化器は、バックグラウンドを特徴映像と統合することにより、拡張映像を生成するように構成されている。また、パンチルトズーム（ＰＴＺ）ハードウェアなく、ＰＴＺ動作を模擬するシステムが提供される。さらに、３次元バックグラウンドモデルが生成され、バックグラウンドが独立して符号化されて漸進的に更新され、映像から独立してバックグラウンドおよび更新が伝送される映像伝送方法が提供される。

Description

本開示は一般的に、映像伝送に関する。具体的に、本開示は、映像伝送の帯域制限を緩和して受信機での映像の品質を向上させる装置および方法に関する。より具体的には、独立符号化バックグラウンドおよびバックグラウンド更新に基づいて、受信機で高解像度の映像を生成する改良された映像伝送システムおよび方法を提供する。

実時間映像通信システムおよびテレプレゼンスという新興分野では、遠隔のユーザに対して、別の物理的空間に存在する体験を模擬しようとすることから、本質的な課題に直面している。これは、現時点で最先端の解像度を有する市販の一眼レフカメラ（ｓｉｎｇｌｅ−ｌｅｎｓ ｃａｍｅｒａ）と比較して、高解像度の窩を関心物体に固定可能であることから、人間の目がその視野全体で非常に優れているためである（ｈｔｔｐ：／／ｗｗｗ．ｃｌａｒｋｖｉｓｉｏｎ．ｃｏｍ／ｉｍａｇｅｄｅｔａｉｌ／ｅｙｅ−ｒｅｓｏｌｕｔｉｏｎ．ｈｔｍｌ参照（人間の目の解像度を１２０°にわたって５７６メガピクセルと推定））。また、テレプレゼンスシステムは実際のところ、ほとんどのユーザが利用可能なネットワーク帯域によって制限される。したがって、ほとんどのタブレット、電話、およびラップトップに備わる狭視野カメラを用いた１対１のビデオチャットの外側では、テレプレゼンスの採用が限られていることに驚きはない。

商用のテレプレゼンスシステムにおける自動および手動パンチルトズーム（ＰＴＺ）カメラでは、シーンの選択関心部に視野を光学的および機械的に固定することによって、一眼レフカメラの解像度の限界を克服しようとしている。これにより、解像度の限界は部分的に緩和されるものの、いくつかの欠点がある。たとえば、所与の時間には、機械的固定が１つだけ可能である。その結果、関心の異なる複数の遠隔ユーザは、十分なサービスを受けられない可能性がある。また、ズームレンズおよび機械的パンチルト機構によって、カメラシステムのコストが跳ね上がり、システム全体の信頼性に新たな課題が生じる。すなわち、通常は寿命を通して移動サイクルがほとんど生じない手動システムと比較して、自動ＰＴＺシステムでは、機構の必要性が高くなる。固定カメラと比較して、高品質映像符号化に対する帯域要求も大幅に高くなる。同様に、既存のシステムにおける何らかのデジタルＰＴＺには、上述のような多くの欠点があり、たとえば遠端の複数のユーザが制御できず、映像符号化に対してより高いビットレートが求められる。

パノラマ式の超広角ビデオカメラは、テレプレゼンスシステムの解像度要求を満たして、ユーザの望ましい体験を提供可能である。これらのカメラは、現在の基準を超える十分なセンサ解像度およびピクセルレートの増大の可能性がある。これは、たとえば湾曲センサ表面および単心性レンズ設計によって可能となり得る（ｈｔｔｐ：／／ｗｗｗ．ｊａｃｏｂｓｓｃｈｏｏｌ．ｕｃｓｄ．ｅｄｕ／ｎｅｗｓ／ｎｅｗｓ＿ｒｅｌｅａｓｅｓ／ｒｅｌｅａｓｅ．ｓｆｅ？ｉｄ−１４１８（少なくとも８５メガピクセルまでの解像度が可能な１２０°ＦＯＶ撮像装置を論じる）およびｈｔｔｐ：／／ｉｍａｇｅ−ｓｅｎｓｏｒｓ−ｗｏｒｌｄ．ｂｌｏｇｓｐｏｔ．ｃｏ．ｉｌ／２０１４／０４／ｖｌｓｉ−ｓｙｍｐｏｓｉａ−ｓｏｎｙ−ｐｒｅｓｅｎｔｓ−ｃｕｒｖｅｄ．ｈｔｍｌ（湾曲画像センサのプロトタイプを発表したセンサ製造業者）参照）。ただし、このような設計では、現在のネットワークの容量および映像符号化効率に対する大きな負担となるため、広範な実世界の展開は実現が困難である。たとえば、３０フレーム／秒で８５メガピクセルのビデオカメラの場合は、０．０００２ビット／ピクセルまで圧縮して、１０メガビット／秒のリンクに適合させる必要がある。これは、良好な条件において０．０５ビット／ピクセルで動作するＨ．２６４等の現行の映像圧縮規格を考慮すると、現時点では大略不可能なことである。

したがって、従来のカメラハードウェアに基づいて、映像伝送の帯域制限を緩和するとともに、高解像度の映像を生成する改良された方法およびシステムが求められている。さらに、これらの改良を利用して、最新の実時間通信システムおよび望ましいテレプレゼンス体験を可能にすることが求められている。

したがって、本開示の目的は、従来のハードウェア機器を用いることにより、映像伝送の帯域制限を緩和して広角高解像度の映像を生成する方法およびシステムを提供することにある。

特に、本開示によれば、一実施形態において、映像を伝送する方法であって、１）映像からシーンの静的バックグラウンドを決定することにより、バックグラウンドモデルを初期化するステップと、２）映像から独立してバックグラウンドモデルを符号化することにより、シーンのバックグランドをバックグラウンドモデルとして伝送するステップと、を含む、方法が提供される。バックグラウンドモデルは、漸進的に更新され、更新は、映像から独立してさらに符号化および伝送される。

別の実施形態において、この方法は、バックグラウンドを映像と統合することにより、受信機でエンハンス映像を生成するステップをさらに含む。さらに別の実施形態において、バックグラウンドモデルは、映像のビットレートよりも低いビットレートで更新および伝送される。別の実施形態において、この方法は、フレームごとに、バックグラウンドと映像との間の形状マッピングを伝送するステップをさらに含む。

別の実施形態において、この方法は、シーン解析によって、映像の視野を決定するステップをさらに含む。さらに別の実施形態において、バックグラウンドモデルは、映像のバックグラウンドにおけるノイズ変化の抑制に用いられる。

一実施形態によれば、本開示のこの方法は、標準映像コーデックによって、映像を圧縮するステップをさらに含む。別の実施形態において、映像コーデックは、Ｈ．２６４、Ｈ．２６５、ＶＰ８、およびＶＰ９のうちの１つである。さらに別の実施形態において、バックグラウンドは、Ｈ．２６４、Ｈ．２６５、ＶＰ８、およびＶＰ９のうちの１つにより規定された補助データチャネルにて伝送される。

別の実施形態によれば、バックグラウンドモデルは、パラメトリックモデルである。別の実施形態において、パラメトリックモデルは、混合ガウス（ＭＯＧ）である。

さらに別の実施形態によれば、バックグラウンドモデルは、非パラメトリックモデルである。別の実施形態において、非パラメトリックモデルは、視覚バックグラウンドエクストラクタ（ＶｉＢ）である。

本開示の別の実施形態によれば、シーンの映像上のパンチルトズーム動作を模擬する方法であって、１）映像からシーンの静的バックグラウンドを決定することにより、バックグラウンドモデルを初期化するステップと、２）映像から独立してバックグラウンドモデルを符号化することにより、シーンのバックグランドをバックグラウンドモデルとして伝送するステップであり、バックグラウンドモデルが漸進的に更新され、更新が映像から独立してさらに符号化および伝送され、フレームごとに、バックグラウンドと映像との間の形状マッピングが伝送される、ステップと、３）シーン解析によって、映像の１つまたは複数の視野を選択するステップと、バックグラウンドを映像と統合することにより、受信機でエンハンス映像を生成するステップと、を含む、方法が提供される。

別の実施形態において、この方法は、模擬するパンチルトズーム動作を受信機で制御するステップをさらに含む。さらに別の実施形態において、この方法は、模擬するパンチルトズーム動作を映像の送信機で制御するステップをさらに含む。

本開示のさらに別の実施形態によれば、シーンの映像を伝送するシステムであって、１）外側符号化器および中心符号化器を備えた送信機であり、外側符号化器が、映像を受信するとともに、特徴映像、バックグラウンド、および形状ビットストリームを中心符号化器へと別個に出力するように構成され、中心符号化器が、符号化ビットストリームを出力するように構成された、送信機と、２）中心復号化器を備えた受信機であり、中心復号化器が、符号化ビットストリームを受信するとともに、特徴映像を出力するように構成された、受信機と、を備えた、システムが提供される。

本開示の別の実施形態によれば、シーンの映像を伝送するシステムであって、１）外側符号化器および中心符号化器を備えた送信機であり、外側符号化器が、映像を受信するとともに、特徴映像、バックグラウンド、および形状ビットストリームを中心符号化器へと別個に出力するように構成され、中心符号化器が、符号化ビットストリームを出力するように構成された、送信機と、２）中心復号化器および外側復号化器を備えた受信機であり、中心復号化器が、前記符号化ビットストリームを受信するとともに、特徴映像、バックグラウンド、および形状ビットストリームを外側復号化器へと別個に出力するように構成され、外側復号化器が、特徴映像、バックグラウンド、および形状ビットストリームを統合することにより、シーンのエンハンス映像を出力するように構成された、受信機と、を備えた、システムが提供される。

別の実施形態において、外側符号化器は、バックグラウンド推定ユニットをさらに備え、バックグラウンド推定ユニットが、映像からシーンの静的バックグラウンドを決定することにより、バックグラウンドモデルを初期化するとともに、映像のビットレートよりも低いビットレートでバックグラウンドモデルを漸進的に更新するように構成されている。さらに別の実施形態において、外側符号化器は、バックグラウンド推定ユニットに接続されたバックグラウンド符号化器をさらに備える。バックグラウンド符号化器が、映像から独立してバックグラウンドモデルおよび更新を符号化するように構成されている。別の実施形態において、バックグラウンド符号化器は、エントロピ符号化器、エントロピ復号化器、更新予測ユニット、および更新格納ユニットを備える。

別の実施形態によれば、バックグラウンド符号化器は、ビットストリームマルチプレクサの下流に接続されている。さらに別の実施形態において、外側符号化器は、形状ビットストリームをビットストリームマルチプレクサへと出力するように構成された特徴フレーミングユニットをさらに備える。ビットストリームマルチプレクサは、形状ビットストリームおよびバックグラウンドビットストリームを統合することにより、バックグラウンドおよび形状ビットストリームを出力するように構成されている。

別の実施形態において、外側符号化器は、映像をスケーリングおよび切り取り可能なダウンスケールユニットをさらに備える。ダウンスケールユニットは、ノイズ除去ユニットの下流に接続されている。ノイズ除去ユニットは、バックグラウンドモデルに基づいて、特徴映像のノイズを抑制するように構成されている。

別の実施形態によれば、外側復号化器は、ｉ）中心符号化器からバックグラウンドおよび形状ビットストリームを受信するとともに、形状ビットストリームおよびバックグラウンドビットストリームを別個に出力するように構成されたビットストリームデマルチプレクサと、ｉｉ）ビットストリームデマルチプレクサに接続され、バックグラウンドビットストリームを受信するように構成されたバックグラウンド復号化器と、ｉｉｉ）ビットストリームデマルチプレクサおよびバックグラウンド復号化器の下流に接続されたバックグラウンド統合ユニットと、をさらに備える。バックグラウンド統合ユニットは、中心復号化器から特徴映像を受信し、形状ビットストリームおよびバックグラウンドビットストリームを特徴映像と統合することによって、シーンのエンハンス映像を生成するように構成されている。

さらに別の実施形態において、バックグラウンド復号化器は、エントロピ復号化器、更新予測ユニット、および更新格納ユニットを備える。

別の実施形態において、外側復号化器は、制御入力を受信することによって、エンハンス映像を生成可能な仮想パンチルトズームユニットをさらに備える。

別の実施形態によれば、本開示のシステムの中心符号化器は、Ｈ．２６４／Ｈ．２６５映像符号化器であり、バックグラウンドおよび形状ビットストリームが、Ｈ．２６４／Ｈ．２６５映像符号化器のネットワーク抽象化層を介して伝搬される。さらに別の実施形態において、本開示のシステムの中心復号化器は、Ｈ．２６４／Ｈ．２６５映像復号化器であり、バックグラウンドおよび形状ビットストリームが、Ｈ．２６４／Ｈ．２６５映像復号化器のネットワーク抽象化層を介して伝搬される。

別の実施形態において、中心符号化器は、マルチメディアコンテナフォーマットであり、バックグラウンドおよび形状ビットストリームが、中心符号化器の補助データチャネルを介して伝搬される。別の実施形態において、中心復号化器は、マルチメディアコンテナフォーマットであり、バックグラウンドおよび形状ビットストリームが、中心復号化器の補助データチャネルを介して伝搬される。

さらに別の実施形態によれば、本開示のシステムの中心符号化器は、標準映像符号化器であり、バックグラウンドおよび形状ビットストリームが、中心符号化器の補助データチャネルを介して伝搬される。別の実施形態において、中心復号化器は、標準映像復号化器であり、バックグラウンドおよび形状ビットストリームが、中心復号化器の補助データチャネルを介して伝搬される。

本開示の別の実施形態によれば、複数の視野からのシーンの映像を伝送してレンダリングする方法であって、（１）映像からシーンの静的バックグラウンドを決定することにより、３次元バックグラウンドモデルを初期化するステップと、（２）映像から独立してバックグラウンドモデルを符号化することにより、シーンのバックグランドをバックグラウンドモデルとして伝送するステップであり、バックグラウンドモデルが漸進的に更新され、更新が映像から独立してさらに符号化および伝送される、ステップと、（３）バックグラウンドを映像と統合することにより、受信機で拡張映像をレンダリングするステップと、を含む、方法が提供される。

さらに別の実施形態において、受信機は、ＶＲ／ＡＲ装置である。別の実施形態において、この方法は、ＶＲ／ＡＲ受信機の視方向から関心領域を自己学習するステップと、関心領域の高解像度映像を伝送するステップであり、拡張映像が、関心領域の高解像度映像をバックグラウンドと統合することによって生成される、ステップと、をさらに含む。

別の実施形態によれば、複数の視野からのシーンの映像を伝送してレンダリングするシステムであって、（１）外側符号化器および中心符号化器を備えた送信機であり、外側符号化器が、映像を受信するとともに、特徴映像、３次元バックグラウンド、および形状ビットストリームを中心符号化器へと別個に出力するように構成され、中心符号化器が、符号化ビットストリームを出力するように構成された、送信機と、（２）中心復号化器および外側復号化器を備えたＶＲ／ＡＲ受信機であり、中心復号化器が、符号化ビットストリームを受信するとともに、特徴映像、バックグラウンド、および形状ビットストリームを外側復号化器へと別個に出力するように構成され、外側復号化器が、前記特徴映像、バックグラウンド、および形状ビットストリームを統合することにより、シーンの拡張映像をレンダリングするように構成された、ＶＲ／ＡＲ受信機と、を備えた、システムが提供される。別の実施形態において、３次元バックグラウンドモデルは、漸進的に更新される。

さらに別の実施形態において、外側符号化器は、バックグラウンド推定ユニットを備え、バックグラウンド推定ユニットが、映像からシーンの静的バックグラウンドを決定することにより、３次元バックグラウンドモデルを初期化するとともに、映像のビットレートよりも低いビットレートでバックグラウンドモデルを漸進的に更新するように構成されている。

別の実施形態において、このシステムは、シーンを捕捉する映像源をさらに備える。別の実施形態において、映像源は、視野が部分的に重なった１つまたは複数のカメラを備える。さらに別の実施形態において、カメラは、移動カメラである。別の実施形態において、このシステムは、シーンの移動および静止部を推定するように構成されている。さらに別の実施形態において、外側符号化器は、バックグラウンド推定ユニットを備え、バックグラウンド推定ユニットが、シーンの静止部に基づいて、３次元バックグラウンドモデルを生成するとともに、映像のビットレートよりも低いビットレートでバックグラウンドモデルを漸進的に更新するように構成されている。

別の実施形態において、移動カメラは、ＰＴＺカメラである。別の実施形態において、ＶＲ／ＡＲ受信機は、その視方向から関心領域を自己学習するように構成され、１つまたは複数のＰＴＺカメラは、関心領域の高解像度映像を捕捉するように構成されている。

本開示の一実施形態に係る映像伝送システムを示した図である。 別の実施形態に係る映像伝送システムの外側符号化器を示した図である。 別の実施形態に係る映像伝送システムの外側復号化器を示した図である。 別の実施形態に係る映像伝送システムのＨ．２６４／Ｈ．２６５中心符号化器を示した図である。 別の実施形態に係る映像伝送システムのＨ．２６４／Ｈ．２６５中心復号化器を示した図である。 別の実施形態に係る映像伝送システムのマルチメディアコンテナフォーマット中心符号化器を示した図である。 別の実施形態に係る映像伝送システムのマルチメディアコンテナフォーマット中心復号化器を示した図である。 別の実施形態に係る映像伝送システムの中心符号化器としての補助データチャネルを備えた標準映像符号化器を示した図である。 別の実施形態に係る映像伝送システムの中心復号化器としての補助データチャネルを備えた標準映像復号化器を示した図である。 別の実施形態に係る映像伝送システムのバックグラウンド符号化器を示した図である。 別の実施形態に係る映像伝送システムのバックグラウンド復号化器を示した図である。

本開示の種々実施形態に係る方法およびシステムは、バックグラウンドモデルを採用しており、これに基づいて、映像のシーンのバックグラウンドが符号化され、漸進的に更新される。符号化されたバックグラウンドおよび更新は、映像とは独立して伝送される。受信機においては、バックグラウンドが映像と統合され、エンハンスされた高解像度映像が生成されるようになっていてもよい。

方法概説
一実施形態においては、たとえば、フォアグラウンドおよびバックグラウンドの両者を含むシーンの映像が伝送される。これは、Ｈ．２６４等の標準映像コーデックによって圧縮される。シーンの静的バックグラウンドがバックグラウンドモデルとして伝送され、映像よりも低いビットレートで漸進的に更新される。バックグラウンドモデルは、確立された監視システム技術に基づいて、映像の静的バックグラウンドから生成されて初期化される。

別の実施形態においては、視野が部分的に重なった複数のカメラが映像源として展開され、伝送およびレンダリングされる１つまたは複数の同期および協調映像ストリームを生成する。ある実施形態において、このような映像源としては、移動カメラが挙げられる。映像ストリームからシーンの移動部および静止部が推定されることで、画像の静止部に基づいて、３次元バックグラウンドモデルが生成される。

別の実施形態においては、被験者に対する制限等のシーン解析によって、伝送映像の視野が自動的に制限され、映像フォーマットの解像度が良好に利用される。この実施形態によれば、フレームごとに、映像とバックグラウンドとの正確な空間的関係が伝送される。

別の実施形態において、バックグラウンドモデルは、映像のバックグラウンドにおける疑似ノイズの抑制に用いられる。バックグラウンドモデルデータおよび他の関連情報は、Ｈ．２６４等の映像規格により規定された補助データチャネルにて伝送される。補助データチャネルを通って伝搬されたデータを解釈するように設定されていない復号化器は、このバックグラウンドおよび関連データを無視して回避するようにしてもよい。したがって、この実施形態に係るシステムには、古い既存のレガシーシステムと融合する柔軟性がある。

ある実施形態において、受信機では、バックグラウンドモデルの出力が映像と統合されることによって、エンハンス映像が生成される。特定の一実施形態において、受信機では、エンハンス映像上でＰＴＺ動作が模擬される。一実施形態によれば、この模擬ＰＴＺ動作は、送信機または受信機で制御される。別の実施形態によれば、この制御は、送信機または受信機において、ユーザまたは自動プロセスにより有効となる。

バックグラウンドの取り扱い
いくつかの既存の映像符号化器は、フォアグラウンド／バックグラウンドセグメント化を適用するが、その場合、符号化前に映像からバックグラウンドが差し引かれ、バックグラウンドが別個に伝送される。本開示の一実施形態によれば、Ｈ．２６４またはＨ．２６５等の標準映像符号化器を用いて、フォアグラウンドおよびバックグラウンドの両者の映像が符号化される。この実施形態においては、バックグラウンドモデルの予測ピクセル状態に対して入力映像ピクセルを比較することにより、バックグラウンドの疑似ノイズが抑制される。したがって、この実施形態においては、バックグラウンド領域のほぼ静的な画像が映像符号化器に与えられる。バックグラウンドモデルは、標準コーデックの補助チャネルにて伝送され、漸進的に更新される。したがって、この実施形態に係るバックグラウンド伝送方法は、映像伝送の帯域要件を緩和するとともに、バックグラウンド更新を映像と統合することによって、受信機で高解像度映像をレンダリング可能である。

一実施形態によれば、バックグラウンドモデルデータを把握せずに、標準復号化器によって映像が復号化される。標準復号化器は、未知の補助フィールドを無視するとともに、バックグラウンドモデルデータを回避する。この実施形態のシステムは、実装がより低コストの既存の中心映像コーデックを利用する。したがって、この実施形態のシステムには、古い既存のシステムとの後方互換性がある。

別の実施形態において、本開示のシステムおよび方法では、フォアグラウンドに対するエンハンスされたレベルの表現でバックグラウンドを伝送する。特定の一実施形態において、バックグラウンドデータは、より高い解像度およびダイナミックレンジで伝送される。これは、多くの理由で都合が良い。たとえば、従来の混成映像コーデックの修正によって、高解像度イントラフレームの伝送および低解像度での予測フレームの伝送が可能であったとしても、イントラフレームでは、符号化に多くのビットを要するため、映像ストリームの途絶のない低遅延の実施態様での伝送は不可能である。この実施形態に係る外側層でのバックグラウンド伝送により、中心映像伝送は、バックグラウンド伝送が完了しているため、途絶なく正常に進行する。

高解像度のイントラフレームと比較して、この実施形態によれば、バックグラウンド伝送を外側層とすることで、中心符号化器を簡素に保つことができる。これによりコストが抑えられ、広範なシステム互換性が得られる。

模擬パンチルトズーム
別の実施形態によれば、上述の通り、本開示のシステムは、ＰＴＺ動作を模擬する。この実施形態においては、送信側で固定されるのと対照的に、受信側の模擬ＰＴＺプロセスによって、ビューが決定される。したがって、すべての受信ユーザは、他側の異なるビューにアクセス可能である。この模擬ＰＴＺが機構の制約を受けないため、別の実施形態においては、多くの付加的な遷移および変換に開放されている。特に、一実施形態においては、ビューとビューの回転との間の瞬時的な切り替えがもたらされる。

本開示に係るこれら非機械的な模擬ＰＴＺシステムも同様に、既存のＰＴＺテレプレゼンスソリューションと比較してコストが抑えられ、さらに、テレプレゼンスの信頼性が向上している。

装置および構成要素
図１を参照して、本開示のシステムは、一実施形態において、映像源、送信機、および受信機を備える。特定の一実施形態において、映像源、送信機、および受信機はそれぞれ、パノラマ式である。

一実施形態に係るパノラマ式の映像源は、広角またはパノラマのデジタル映像ストリームを提供する装置である。この実施形態においては、それは、別途処理に適した高ビットレートの非圧縮映像を供給する。一実施形態において、映像源は、単一のレンズおよび画像センサアセンブリであり、別の実施形態においては、単一のレンズおよびセンサの動作を模倣できる適当な画像ステッチソフトウェアまたはハードウェアと併せて、複数のレンズおよびセンサを具備する。さらに別の実施形態において、映像源は、表面への３次元（３Ｄ）シーンの形状投影を模擬するグラフィックレンダリング装置を含む。したがって、この実施形態のシステムは、コンピュータビデオゲームに展開可能であり、都合が良い。

一実施形態におけるパノラマ式映像源の形状投影は、所望のレンダリング投影と異なっていてもよい。したがって、映像源装置の設計、製造、または設定中に、映像送信機への埋め込みまたはサイド情報としての映像送信機への転送に適した形態にて校正されるようになっていてもよい。一方、送信機がこの情報を受信機に提供すると、これを使用して、別の投影により映像をレンダリング可能である。したがって、この実施形態のシステムによれば、設計による組み込みまたはユーザ入力の所望の制御に基づく受信機での映像のレンダリングが大幅に柔軟化される。別の実施形態において、このような制御は、送信機または受信機により有効化されるようになっていてもよい。

一実施形態に係るシステムの送信機は、外側符号化器を備える。図２を参照して、外側符号化器は、一実施形態において、パノラマデジタル映像ストリームを取り込むとともに、特徴映像ストリーム、一連の符号化バックグラウンドモデル更新、および形状投影データを出力する。そして、外側符号化器からのこのデータは、一実施形態に係るシステムの中心符号化器に送られる。ある一実施形態において、映像ストリームは非圧縮形態であり、標準映像符号化器による圧縮に適している。別の実施形態に係る符号化バックグラウンドモデルデータおよび形状投影データは、多重化およびフレーム化によって、標準映像符号化器の補助データフレームでの伝送に適したフォーマットとなる。この実施形態のシステムの中心符号化器は、符号化ビットストリームを出力する。

一実施形態において、中心符号化器は、図４に示すように、Ｈ．２６４／Ｈ．２６５符号化器である。Ｈ．２６４／Ｈ．２６５中心符号化器は、標準のネットワーク抽象化層を用いることにより、ユーザデータとしてマークされたＳＥＩヘッダにて補助データを送信する。ある一実施形態において、このようなＳＥＩヘッダを受信するように設定されていない受信機は、このデータを無視する。上述の通り、このシステムは、後方互換性をもたらすため、既存のテレプレゼンスシステムへの組み込みが容易である。

本開示の一実施形態に係るシステムに採用されたバックグラウンドモデルは、パラメトリックモデルである。このようなパラメトリックなバックグラウンドモデルにおいては、過去の映像フレームからのサンプルに基づいて、ピクセルごとに多くの統計値が決定される。別の実施形態によれば、バックグラウンドモデルは、非パラメトリックモデルである。このような非パラメトリックなバックグラウンドモデルにおいては、ピクセルごとに、過去の映像フレームからの多くのサンプルが格納または集約される。有限次元の空間においては、統計値もパラメータも決定されない。一実施形態によれば、非パラメトリックなバックグラウンドモデルは、視覚バックグラウンドエクストラクタ（ＶｉＢｅ）である。別の実施形態において、パラメトリックなバックグラウンドモデルは、混合ガウス（ＭＯＧ）である。本開示のある実施形態において、システムのバックグラウンドモデルは、３次元モデルであり、ＶＲ／ＡＲ用途に対応する。本開示の種々実施形態の目的のため、用語「３次元」は、モデルが画像中の各点に深さを持つ単一視点からの画像であるシナリオを含み、「２．５次元」と称する場合がある。

一実施形態に係るシステムのバックグラウンドモデルは、シーンの制御またはより簡単なバックグラウンドモデルを用いたブート処理によって、バックグラウンドとして既知の映像フレームのピクセルによって初期化される。別の実施形態において、システムは、バックグラウンドモデルの初期化において、すべてのピクセルがバックグラウンドの一部であるものと仮定する。

初期化後、一実施形態においては、モデルによりバックグラウンドとして決定される新たなサンプルまたはバックグラウンドとなる可能性がある新たなサンプルによるバックグラウンドの変化に基づいて、バックグラウンドモデルが更新される。

一実施形態によれば、過去の再構成更新による各更新の予測および予測更新と実際の更新との差分のみ（すなわち、残留分）の伝送によって、更新が符号化される。別の実施形態においては、量子化およびエントロピ符号化によって、残留分のビットレートがさらに抑えられる。

図１０および図１１を参照して、本開示のある実施形態によれば、バックグラウンド符号化器およびバックグラウンド復号化器の両者において、更新が同じプロセスにより再構成される。まず、エントロピ符号化および量子化の反転によって残留分が復号化された後、過去の更新から各更新または一連の更新が予測され、残留分および予測更新の加算によって実際の更新が再構成される。

図１に示すように、一実施形態に係るシステムの送信機は、外側符号化器および中心符号化器を備える。この実施形態において、送信機およびその一部は、同じ物理装置に実装される。たとえば、一実施形態において、送信機は、モバイルのシステムオンチップ（ＳｏＣ）である。ある実施形態において、外側符号化器は、ＧＰＵまたはＣＰＵコアのソフトウェアに実装され、中心符号化器は、このようなＳｏＣに備わる映像符号化用のハードウェアアクセラレータを用いて実装される。このＳｏＣ送信機の実装は、携帯電話またはタブレット装置に送信機が有用となるテレプレゼンスシステムに都合が良い。

別の実施形態において、送信機は、カメラ用に調整されたＳｏＣに実装される。映像符号化用のアクセラレータのほか、ＤＳＰコア上で動作するソフトウェアとして、別の機能が実装される。この特定の実施形態の送信機は、独立型のカメラを採用したテレプレゼンスシステムに都合が良い。

上述の通り、本開示の映像受信機は、中心復号化器を備える。図５、図７、および図９を参照して、ある実施形態の中心復号化器は、符号化ビットストリームを取り込むとともに、補助データに加えて非圧縮映像を出力する。これらの実施形態によれば、補助データには、バックグラウンドモデルデータおよび形状マッピングデータを含む。一実施形態によれば、図３に示すように、このデータが外側復号化器に送られ、特徴映像およびバックグラウンド出力が統合されることにより、エンハンスされたパノラマ映像ストリームが生成される。別の実施形態において、外側復号化器は、映像の形状マッピングを変更することにより、光学的なＰＴＺカメラの影響を模擬する。

送信器と受信機との間の補助データチャネルでパケット喪失等の信頼性問題が生じている場合、本開示の別の実施形態に係るシステムは、喪失パケットの再送信の要求を送信機に送る実用性をもたらす。これらには、バックグラウンドモデルデータおよび他の伝送メタデータの一部を含んでいてもよい。

一実施形態に係るシステムの映像受信機は、汎用データセンタまたはメディアプロセッサ上で動作するクラウドサーバに実装される。別の実施形態において、受信機は、スマートフォン、タブレット、またはパソコン等のエンドユーザ装置のウェブブラウザに実装される。ウェブブラウザにおいて、受信機機能は、特定の一実施形態において、ブラウザ拡張によりまたはＷｅｂＲＴＣ（中心復号化器用）およびＷｅｂＧＬ（外側復号化器用）等の標準化されたウェブコンポーネントを使用して実装される。さらに別の実施形態において、受信機は、スマートフォン、タブレット、またはパソコン等のエンドユーザ装置のオペレーティングシステムにネイティブアプリケーションとして実装される。さらに別の実施形態において、受信機は、映像通信専用の電化製品に実装される。

別の実施形態において、受信機は、没入型ゴーグルディスプレイ、ヘッドマウントトラッキング、または選択画像をユーザの網膜に投影する別の技術と併せて、仮想現実（ＶＲ）または拡張現実（ＡＲ）システムの一部として実装される。この実施形態によれば、本発明の装置および方法は、遠隔のライブ画像が近端ビューに投影されるＶＲ／ＡＲ対応のテレビ会議システムの帯域制限を緩和し得る。

別の実施形態において、ＶＲ／ＡＲ受信機の視線および視方向に関する情報は、本発明のカメラシステムに中継される。これに応じて、このような特定の視方向からの高解像度映像が伝送され、当該特定の視方向周りに一定の余裕が確保される。さらに別の実施形態において、本発明のシステムでは、自己学習を採用して、関心領域を精密にマッピングする。具体的に、ＶＲ／ＡＲ受信機は、経時的な視線方向を解析するが、ほとんどのビューまたは「ヒット」を受信する領域は、高解像度で符号化されて、伝送およびレンダリングされる。

一実施形態によれば、本開示のシステムは、映像源を備える。ある実施形態において、映像源としては、１つまたは複数の移動ＰＴＺカメラが挙げられる。これらの移動ＰＴＺカメラにより、特定の関心領域（「ＲＯＩ」）の高解像度映像が捕捉され、一実施形態に係るバックグラウンドと統合される。この実施形態において、バックグラウンドは静止画像であり、ＲＯＩ映像よりも高い解像度でレンダリングされるため、ＶＲ／ＡＲ体験が向上する。

一実施形態に係る移動カメラは、時間の同期および位置の協調によって、複数のカメラから集めたＲＯＩ映像間の効率的な混合が可能となる。

空間的移動カメラシステムが映像源として用いられる別の実施形態においては、視野（ＦＯＶ）が部分的に重なった複数の固定高解像度カメラを用いて、バックグラウンドの３次元モデルが事前に生成される。一実施形態において、これらのカメラは、バックグラウンド／フォアグラウンドセグメント化フィルタをさらに備えることにより、シーンの移動部を非移動部から識別する。シーンのバックグラウンド（静止）部のみを用いて、シーンの３Ｄモデルが生成される。別の実施形態においては、３Ｄモデルの生成に先立って、超解像度撮像の技術の使用により、３Ｄモデルの解像度を高くする。

別の実施形態においては、微調整用の視覚的情報と併せて、空間および角度位置決め用のジャイロおよび加速度計の組み合わが移動カメラ映像源に適用される。また、位置およびマッピング同時実行（ＳＬＡＭ）技術の採用により、本開示のシステムは、シーンの移動部および非移動部を推定して、シーンの３Ｄモデルを生成することができる。

一例として、一実施形態のシステムは、カメラ映像源が移動している場合、以下のステップに従ってシーンの移動部を決定する。まず、連続する各映像フレームについて、ハリスコーナー特徴点（または、他の種類の特徴点）を推定し、各映像フレーム対（時間的隣接対および時間間隔がより大きな複数対）について、（６自由軸の）フレーム間のカメラの回転および並進を推定し、外れ値を取り除く。外れ値の一部はノイズに起因しており、他の一部は、フレーム間で移動した物体を反映している。次に、外れ値のハリスコーナーについて、外れ値を含むシーンの部分の３Ｄ運動ベクトルを導入し、これらの点の運動を推定し、一貫して一体的に移動している特徴点について、３Ｄ運動ベクトルを推定する。これにより、カメラの配向を考慮して、シーンの静止部に基づく３Ｄモデルが生成される。

本開示のある実施形態に係るシステムの受信機および送信機は、双方向映像通信用の同じ装置に実装される。

適用分野
種々実施形態によれば、本開示のシステムは、数ある用途および産業の中でも、実時間映像通信（テレビ会議およびテレプレゼンス）、ライブストリーミング（スポーツ、コンサート、イベント共有、およびコンピュータゲーム）、交通モニタリング（ダッシュボードカメラ、道路モニタリング、駐車場モニタリング、および料金収受）、仮想現実、監視、ホームモニタリング、ストーリーテリング、映画、ニュース、ソーシャル、および従来メディア、ならびに技術的装置に展開可能であり、都合が良い。

一実施形態によれば、シーン全体の高解像度映像を伝送するのに帯域が十分ではないライブストリーミングおよび双方向通信ＶＲ／ＡＲ用途においては、視野全体の高解像度静止画が周期的に伝送される一方、選択関心領域の高解像度映像が一定頻度で伝送される。別の実施形態においては、ＶＲ／ＡＲ受信機で映像および静止画が局所的に混合されることにより、ＡＲ／ＶＲの高速レンダリングおよび低遅延が実現される。この背景での通常の遅延は、２０ｍｓ以下である。

さまざまな図面および例を含めて、本開示に示した種々実施形態の説明は、例示に過ぎず、本発明およびその種々実施形態を制限するものではない。

Claims (45)

1. 複数の視野からのシーンの映像を伝送してレンダリングする方法であって、前記映像から前記シーンの静的バックグラウンドを決定することにより、３次元バックグラウンドモデルを初期化するステップと、前記映像から独立して前記バックグラウンドモデルを符号化することにより、前記シーンのバックグランドを前記バックグラウンドモデルとして伝送するステップであり、前記バックグラウンドモデルが漸進的に更新され、前記更新が前記映像から独立してさらに符号化および伝送される、ステップと、前記バックグラウンドを前記映像と統合することにより、受信機で拡張映像をレンダリングするステップと、を含む、方法。
2. 前記受信機が、ＶＲ／ＡＲ装置である、請求項１に記載の方法。
3. 前記ＶＲ／ＡＲ受信機の視方向から関心領域を自己学習するステップと、前記関心領域の高解像度映像を伝送するステップであり、前記拡張映像が、前記関心領域の前記高解像度映像を前記バックグラウンドと統合することによって生成される、ステップと、をさらに含む、請求項２に記載の方法。
4. 複数の視野からのシーンの映像を伝送してレンダリングするシステムであって、ｉ）外側符号化器および中心符号化器を備えた送信機であり、前記外側符号化器が、前記映像を受信するとともに、特徴映像、３次元バックグラウンド、および形状ビットストリームを前記中心符号化器へと別個に出力するように構成され、前記中心符号化器が、符号化ビットストリームを出力するように構成された、送信機と、ｉｉ）中心復号化器および外側復号化器を備えたＶＲ／ＡＲ受信機であり、前記中心復号化器が、前記符号化ビットストリームを受信するとともに、前記特徴映像、前記バックグラウンド、および形状ビットストリームを前記外側復号化器へと別個に出力するように構成され、前記外側復号化器が、前記特徴映像、前記バックグラウンド、および形状ビットストリームを統合することにより、前記シーンの拡張映像をレンダリングするように構成された、ＶＲ／ＡＲ受信機と、を備えた、システム。
5. 前記外側符号化器が、バックグラウンド推定ユニットを備え、前記バックグラウンド推定ユニットが、前記映像から前記シーンの静的バックグラウンドを決定することにより、３次元バックグラウンドモデルを初期化するとともに、前記映像のビットレートよりも低いビットレートで前記バックグラウンドモデルを漸進的に更新するように構成された、請求項４に記載のシステム。
6. 前記シーンを捕捉する映像源をさらに備えた、請求項４に記載のシステム。
7. 前記映像源が、視野が部分的に重なった１つまたは複数のカメラを備えた、請求項６に記載のシステム。
8. 前記カメラが、移動カメラである、請求項７に記載のシステム。
9. 前記シーンの移動および静止部を推定するようにさらに構成された、請求項８に記載のシステム。
10. 前記外側符号化器が、バックグラウンド推定ユニットを備え、前記バックグラウンド推定ユニットが、前記シーンの前記静止部に基づいて、３次元バックグラウンドモデルを生成するとともに、前記映像のビットレートよりも低いビットレートで前記バックグラウンドモデルを漸進的に更新するように構成された、請求項９に記載のシステム。
11. 前記移動カメラが、パンチルトズーム（ＰＴＺ）カメラである、請求項８に記載のシステム。
12. 前記ＶＲ／ＡＲ受信機が、その視方向から関心領域を自己学習するように構成され、前記１つまたは複数のＰＴＺカメラが、前記関心領域の高解像度映像を捕捉するように構成された、請求項１１に記載のシステム。
13. シーンの映像を伝送する方法であって、前記映像から前記シーンの静的バックグラウンドを決定することにより、バックグラウンドモデルを初期化するステップと、前記映像から独立して前記バックグラウンドモデルを符号化することにより、前記シーンのバックグランドを前記バックグラウンドモデルとして伝送するステップであり、前記バックグラウンドモデルが漸進的に更新され、前記更新が前記映像から独立してさらに符号化および伝送される、ステップと、を含む、方法。
14. 前記バックグラウンドを前記映像と統合することにより、受信機でエンハンス映像を生成するステップをさらに含む、請求項１３に記載の方法。
15. 前記バックグラウンドモデルが、前記映像のビットレートよりも低いビットレートで更新されて伝送される、請求項１４に記載の方法。
16. フレームごとに、前記バックグラウンドと前記映像との形状マッピングを伝送するステップをさらに含む、請求項１３に記載の方法。
17. シーン解析によって、前記映像の視野を決定するステップをさらに含む、請求項１６に記載の方法。
18. 前記バックグラウンドモデルが、前記映像の前記バックグラウンドにおけるノイズ変化を抑制する、請求項１３に記載の方法。
19. 標準映像コーデックによって、前記映像を圧縮するステップをさらに含む、請求項１３に記載の方法。
20. 前記映像コーデックが、Ｈ．２６４、Ｈ．２６５、ＶＰ８、およびＶＰ９のうちの１つである、請求項１９に記載の方法。
21. 前記バックグラウンドが、Ｈ．２６４、Ｈ．２６５、ＶＰ８、およびＶＰ９のうちの１つにより規定された補助データチャネルにて伝送される、請求項２０に記載の方法。
22. 前記バックグラウンドモデルが、パラメトリックモデルである、請求項１３に記載の方法。
23. 前記パラメトリックモデルが、混合ガウス（ＭＯＧ）である、請求項２２に記載の方法。
24. 前記バックグラウンドモデルが、非パラメトリックモデルである、請求項１３に記載の方法。
25. 前記非パラメトリックモデルが、視覚バックグラウンドエクストラクタ（ＶｉＢ）である、請求項２４に記載の方法。
26. シーンの映像上のパンチルトズーム動作を模擬する方法であって、前記映像から前記シーンの静的バックグラウンドを決定することにより、バックグラウンドモデルを初期化するステップと、前記映像から独立して前記バックグラウンドモデルを符号化することにより、前記シーンのバックグランドを前記バックグラウンドモデルとして伝送するステップであり、前記バックグラウンドモデルが漸進的に更新され、前記更新が前記映像から独立してさらに符号化および伝送され、フレームごとに、前記バックグラウンドと前記映像との間の形状マッピングが伝送される、ステップと、シーン解析によって、前記映像の１つまたは複数の視野を選択するステップと、前記バックグラウンドを前記映像と統合することにより、受信機でエンハンス映像を生成するステップと、を含む、方法。
27. 前記模擬するパンチルトズーム動作が、前記受信機で制御される、請求項２６に記載の方法。
28. 前記模擬するパンチルトズーム動作が、前記映像の送信機で制御される、請求項２６に記載の方法。
29. シーンの映像を伝送するシステムであって、ｉ）外側符号化器および中心符号化器を備えた送信機であり、前記外側符号化器が、前記映像を受信するとともに、特徴映像、バックグラウンド、および形状ビットストリームを前記中心符号化器へと別個に出力するように構成され、前記中心符号化器が、符号化ビットストリームを出力するように構成された、送信機と、ｉｉ）中心復号化器を備えた受信機であり、前記中心復号化器が、前記符号化ビットストリームを受信するとともに、前記特徴映像を出力するように構成された、受信機と、を備えた、システム。
30. シーンの映像を伝送するシステムであって、ｉ）外側符号化器および中心符号化器を備えた送信機であり、前記外側符号化器が、前記映像を受信するとともに、特徴映像、バックグラウンド、および形状ビットストリームを前記中心符号化器へと別個に出力するように構成され、前記中心符号化器が、符号化ビットストリームを出力するように構成された、送信機と、ｉｉ）中心復号化器および外側復号化器を備えた受信機であり、前記中心復号化器が、前記符号化ビットストリームを受信するとともに、前記特徴映像、前記バックグラウンド、および形状ビットストリームを前記外側復号化器へと別個に出力するように構成され、前記外側復号化器が、前記特徴映像、前記バックグラウンド、および形状ビットストリームを統合することにより、前記シーンのエンハンス映像を出力するように構成された、受信機と、を備えた、システム。
31. 前記外側符号化器が、バックグラウンド推定ユニットを備え、前記バックグラウンド推定ユニットが、前記映像から前記シーンの静的バックグラウンドを決定することにより、バックグラウンドモデルを初期化するとともに、前記映像のビットレートよりも低いビットレートで前記バックグラウンドモデルを漸進的に更新するように構成された、請求項３０に記載のシステム。
32. 前記外側符号化器が、前記バックグラウンド推定ユニットに接続されたバックグラウンド符号化器をさらに備え、前記バックグラウンド符号化器が、前記映像から独立して前記バックグラウンドモデルおよび前記更新を符号化するように構成された、請求項３１に記載のシステム。
33. 前記バックグラウンド符号化器が、エントロピ符号化器、エントロピ復号化器、更新予測ユニット、および更新格納ユニットを備えた、請求項３２に記載のシステム。
34. 前記バックグラウンド符号化器が、ビットストリームマルチプレクサの下流に接続された、請求項３３に記載のシステム。
35. 前記外側符号化器が、特徴フレーミングユニットをさらに備え、前記特徴フレーミングユニットが、形状ビットストリームを前記ビットストリームマルチプレクサへと出力するように構成され、前記ビットストリームマルチプレクサが、前記形状ビットストリームおよび前記バックグラウンドビットストリームを統合することにより、バックグラウンドおよび形状ビットストリームを出力するように構成された、請求項３４に記載のシステム。
36. 前記外側符号化器が、前記映像をスケーリングおよび切り取り可能なダウンスケールユニットをさらに備え、前記ダウンスケールユニットが、ノイズ除去ユニットの下流に接続され、前記ノイズ除去ユニットが、前記バックグラウンドモデルに基づいて、前記特徴映像のノイズを抑制するように構成された、請求項３５に記載のシステム。
37. 前記外側復号化器が、ｉ）前記中心符号化器から前記バックグラウンドおよび形状ビットストリームを受信するとともに、前記形状ビットストリームおよび前記バックグラウンドビットストリームを別個に出力するように構成されたビットストリームデマルチプレクサと、ｉｉ）前記ビットストリームデマルチプレクサに接続され、前記バックグラウンドビットストリームを受信するように構成されたバックグラウンド復号化器と、ｉｉｉ）前記ビットストリームデマルチプレクサおよび前記バックグラウンド復号化器の下流に接続されたバックグラウンド統合ユニットであり、前記中心復号化器から前記特徴映像を受信し、前記形状ビットストリームおよび前記バックグラウンドビットストリームを前記特徴映像と統合することによって、前記シーンのエンハンス映像を生成するように構成された、バックグラウンド統合ユニットと、をさらに備えた、請求項３６に記載のシステム。
38. 前記バックグラウンド復号化器が、エントロピ復号化器、更新予測ユニット、および更新格納ユニットを備えた、請求項３７に記載のシステム。
39. 前記外側復号化器が、制御入力を受信することによって、エンハンス映像を生成可能な仮想パンチルトズームユニットをさらに備えた、請求項３７に記載のシステム。
40. 前記中心符号化器が、Ｈ．２６４／Ｈ．２６５映像符号化器であり、前記バックグラウンドおよび形状ビットストリームが、前記中心符号化器のネットワーク抽象化層を介して伝搬される、請求項３７に記載のシステム。
41. 前記中心復号化器が、Ｈ．２６４／Ｈ．２６５映像復号化器であり、前記バックグラウンドおよび形状ビットストリームが、前記中心復号化器のネットワーク抽象化層を介して伝搬される、請求項３７に記載のシステム。
42. 前記中心符号化器が、マルチメディアコンテナフォーマットであり、前記バックグラウンドおよび形状ビットストリームが、前記中心符号化器の補助データチャネルを介して伝搬される、請求項３７に記載のシステム。
43. 前記中心復号化器が、マルチメディアコンテナフォーマットであり、前記バックグラウンドおよび形状ビットストリームが、前記中心復号化器の補助データチャネルを介して伝搬される、請求項３７に記載のシステム。
44. 前記中心符号化器が、標準映像符号化器であり、前記バックグラウンドおよび形状ビットストリームが、前記中心符号化器の補助データチャネルを介して伝搬される、請求項３７に記載のシステム。
45. 前記中心復号化器が、標準映像復号化器であり、前記バックグラウンドおよび形状ビットストリームが、前記中心復号化器の補助データチャネルを介して伝搬される、請求項３７に記載のシステム。