JP2018509113A5 - - Google Patents

Claims (17)

1. シーンの映像を伝送する方法であって、
   前記映像から前記シーンの静的バックグラウンドを決定することにより、バックグラウンドモデルを初期化するステップと、
   前記映像から独立して前記バックグラウンドモデルを符号化することにより、前記シーンのバックグランドを前記バックグラウンドモデルとして伝送するステップであり、前記バックグラウンドモデルが漸進的に更新され、前記更新が前記映像から独立してさらに符号化および伝送される、ステップと、
   を含む、方法。
2. 前記シーンの映像は、複数の視野からのものであり、
   前記映像から前記シーンの静的バックグラウンドを決定することにより、３次元バックグラウンドモデルが初期化される、請求項１に記載の方法。
3. 前記受信機が、ＶＲ／ＡＲ装置である、請求項２に記載の方法。
4. 前記ＶＲ／ＡＲ受信機の視方向から関心領域を自己学習するステップと、
   前記関心領域の高解像度映像を伝送するステップであり、前記拡張映像が、前記関心領域の前記高解像度映像を前記バックグラウンドと統合することによって生成される、ステップと、
   をさらに含む、請求項３に記載の方法。
5. シーンの映像を伝送するシステムであって、
   ｉ）外側符号化器および中心符号化器を備えた送信機であり、前記外側符号化器が、前記映像を受信するとともに、特徴映像、バックグラウンド、および形状ビットストリームを前記中心符号化器へと別個に出力するように構成され、前記中心符号化器が、符号化ビットストリームを出力するように構成された、送信機と、
   ｉｉ）中心復号化器および外側復号化器を備えた受信機であり、前記中心復号化器が、前記符号化ビットストリームを受信するとともに、前記特徴映像、前記バックグラウンド、および形状ビットストリームを前記外側復号化器へと別個に出力するように構成され、前記外側復号化器が、前記特徴映像、前記バックグラウンド、および形状ビットストリームを統合することにより、前記シーンのエンハンス映像を出力するように構成された、受信機と、
   を備えた、システム。
6. 前記シーンの映像は、複数の視野からのものであり、
   前記外側符号化器が、前記映像を受信するとともに、前記特徴映像、３次元バックグラウンド、および形状ビットストリームを前記中心符号化器へと別個に出力するように構成され、
   前記受信機が、ＶＲ／ＡＲ受信機である、請求項５に記載のシステム。
7. 前記外側符号化器が、バックグラウンド推定ユニットを備え、
   前記バックグラウンド推定ユニットが、前記映像から前記シーンの静的バックグラウンドを決定することにより、３次元バックグラウンドモデルを初期化するとともに、前記映像のビットレートよりも低いビットレートで前記バックグラウンドモデルを漸進的に更新するように構成された、請求項６に記載のシステム。
8. 前記シーンを捕捉する映像源をさらに備えた、請求項６に記載のシステム。
9. 前記映像源が、視野が部分的に重なった１つまたは複数のカメラを備えた、請求項８に記載のシステム。
10. 前記カメラが、移動カメラである、請求項９に記載のシステム。
11. 前記シーンの移動および静止部を推定するようにさらに構成された、請求項１０に記載のシステム。
12. 前記外側符号化器が、バックグラウンド推定ユニットを備え、
    前記バックグラウンド推定ユニットが、前記シーンの前記静止部に基づいて、３次元バックグラウンドモデルを生成するとともに、前記映像のビットレートよりも低いビットレートで前記バックグラウンドモデルを漸進的に更新するように構成された、請求項１１に記載のシステム。
13. 前記移動カメラが、パンチルトズーム（ＰＴＺ）カメラである、請求項１０に記載のシステム。
14. 前記ＶＲ／ＡＲ受信機が、その視方向から関心領域を自己学習するように構成され、
    前記１つまたは複数のＰＴＺカメラが、前記関心領域の高解像度映像を捕捉するように構成された、請求項１３に記載のシステム。
15. 前記バックグラウンドを前記映像と統合することにより、受信機でエンハンス映像を生成するステップをさらに含む、請求項１に記載の方法。
16. 前記バックグラウンドモデルが、前記映像のビットレートよりも低いビットレートで更新されて伝送される、請求項１５に記載の方法。
17. フレームごとに、前記バックグラウンドと前記映像との形状マッピングを伝送するステップをさらに含む、請求項１に記載の方法。