JP2020043559A - ビデオストリーミング方法、ビデオストリーミングシステム、ビデオストリーミング装置およびプログラム - Google Patents

ビデオストリーミング方法、ビデオストリーミングシステム、ビデオストリーミング装置およびプログラム Download PDF

Info

Publication number
JP2020043559A
JP2020043559A JP2019150592A JP2019150592A JP2020043559A JP 2020043559 A JP2020043559 A JP 2020043559A JP 2019150592 A JP2019150592 A JP 2019150592A JP 2019150592 A JP2019150592 A JP 2019150592A JP 2020043559 A JP2020043559 A JP 2020043559A
Authority
JP
Japan
Prior art keywords
section
reconstructed image
data
quality
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2019150592A
Other languages
English (en)
Inventor
文軍 趙
Wenjun Zhao
文軍 趙
蕭▲ぜん▼ 鄭
Xiaozhen Zheng
蕭▲ぜん▼ 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2020043559A publication Critical patent/JP2020043559A/ja
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ビデオストリーミングにおけるビットストリーム切換えをサポートする。【解決手段】ビットストリームの切換えを行うために、分散型ＩＤＲピクチャ伝送技術を使用し、これにより、伝送されるデータ量の増加によって引き起こされる遅延を減らす。追加的または代替的に、プログレッシブコードストリーム切換え技術を使用し、これにより、ビットストリーム切換えが発生したときでもスムーズなデータストリーム伝送を確実にする。【選択図】図２７

Description

[著作権表示]
この特許文書の開示の一部は、著作権保護の対象となる資料を含む。著作権者は、特許庁の特許ファイルまたは記録に見られる、特許文書または特許開示の何人によるファクシミリ複製に異議を唱えないが、そうでない場合はすべての著作権を留保する。
開示された実施形態は、一般にビデオ処理に関し、より詳細には、ただしこれに限定されないが、ビデオストリーミング、符号化および復号化に関する。
ビデオコンテンツの消費は、主として様々な種類のポータブル、ハンドヘルド、またはウェアラブルデバイスの普及により、近年急増している。例えば、仮想現実（ＶＲ）または拡張現実（ＡＲ）機能を異なるヘッドマウントデバイス（ＨＭＤ）に統合することができる。
しかしながら、ビデオコンテンツの形態がより洗練されるにつれて、ビデオコンテンツの記憶および送信はますます困難になっている。例えば、ビデオの記憶および伝送のために帯域幅を減らす必要がある。これは、本発明の実施形態が取り組むことを意図している一般的な分野である。
本発明は、ビデオストリーミングをサポートすることができる方法、システム、装置およびプログラムを提供することを目的とする。
本発明の第１の側面によれば、ビデオストリーミング方法が提供され、該方法は、
一連の画像フレーム内の各画像フレームを、少なくとも第１セクションと第２セクションとを含む複数のセクションに分割する方式を使用するステップと、
第１セクションについて符号化品質が異なる第１セットの符号化データを取得し、第２セクションについて符号化品質が異なる第２セットの符号化データを取得するステップと、
前記第１セクションの符号化品質の変化に対応する第１切換え点を決定し、第２セクションの符号化品質の変化に対応する第２切換え点を決定するステップと、
第１切換え点の前の第１の先行符号化品質を有する符号化データと第１切換え点の後の第１の後続符号化品質を有する符号化データとを第１セットの符号化データから選択するステップと、
第２切換え点の前に第２の先行符号化品質を有する符号化データと第２切換え点の後に第２の後符号化品質を有する符号化データとを第２セットの符号化データから選択するステップと、
選択された符号化データをビットストリームに組み込むステップと、
を備える。
本発明の第２の側面によれば、ビデオストリーミングの他の方法が提供され、該方法は、
少なくとも第１セクションおよび第２セクションを含み、分割方式に基づいてそれぞれ複数のセクションに分割された一連の画像フレームを再構成するためのバイナリデータを含むビットストリームを受け取るステップと、
前記バイナリデータから、第１セクションのための第１の再構成画像データと第２セクションのための第１の再構成画像データとを含む第１の再構成画像フレームを生成するステップと、
前記バイナリデータから、第１セクションのための第２の再構成画像データと第２セクションのための第２の再構成画像データとを含む第２の再構成画像フレームを生成するステップと、
を備え、
前記第２セクションについての符号化品質の変化に対応する第２切換え点の前に前記第２の再構成画像フレームがあるとき、第２セクションのための前記第１の再構成画像データは第２の先行符号化品質で再構成され、
前記第１セクションについての符号化品質の変化に対応する第２切換え点の前に前記第２の再構成画像フレームがあるとき、第２セクションのための前記第１の再構成画像データは第２の先行符号化品質で再構成され、
前記第１の再構成画像フレームが前記第１切換え点の後であるときに前記第１セクションの前記第２の再構成画像データが第１の事後符号化品質で再構成されること、および、前記第２の再構成画像フレームが前記第２切換え点の後にあるときに前記第１セクションについての前記第２の再構成画像データは第２の後続符号化品質で再構成されることの少なくともいずれかである。
本発明の第３の側面によれば、上述のビデオストリーミング方法をコンピュータに実行させるプログラムが提供される。
本発明の第４の側面によれば、少なくとも一つのマイクロプロセッサと、少なくとも一つのマイクロプロセッサ上で動作するストリーミングコントローラと、を備えるビデオストリーミングシステムが提供され、該ストリーミングコントローラは、
一連の画像フレーム内の各画像フレームを、少なくとも第１セクションと第２セクションとを含む複数のセクションに分割する方式を使用し、
第１セクションについて符号化品質が異なる第１セットの符号化データを取得し、第２セクションについて符号化品質が異なる第２セットの符号化データを取得し、
前記第１セクションの符号化品質の変化に対応する第１切換え点を決定し、第２セクションの符号化品質の変化に対応する第２切換え点を決定し、
第１切換え点の前の第１の先行符号化品質を有する符号化データと第１切換え点の後の第１の後続符号化品質を有する符号化データとを第１セットの符号化データから選択し、
第２切換え点の前に第２の先行符号化品質を有する符号化データと第２切換え点の後に第２の後符号化品質を有する符号化データとを第２セットの符号化データから選択し、
選択された符号化データをビットストリームに組み込む。
本発明の第５の側面によれば、少なくとも一つのマイクロプロセッサと、少なくとも一つのマイクロプロセッサ上で動作するデコーダと、を備えるビデオストリーミングシステムが提供され、該デコーダは、
少なくとも第１セクションおよび第２セクションを含み、分割方式に基づいてそれぞれ複数のセクションに分割された一連の画像フレームを再構成するためのバイナリデータを含むビットストリームを受け取り、
前記バイナリデータから、第１セクションのための第１の再構成画像データと第２セクションのための第１の再構成画像データとを含む第１の再構成画像フレームを生成し、
前記バイナリデータから、前記第１セクションのための第２の再構成画像データと第２セクションのための第２の再構成画像データとを含む第２の再構成画像フレームを生成し、
前記第２セクションについての符号化品質の変化に対応する第２切換え点の前に前記第２の再構成画像フレームがあるとき、第２セクションのための前記第１の再構成画像データは第２の先行符号化品質で再構成され、
前記第１セクションについての符号化品質の変化に対応する第２切換え点の前に前記第２の再構成画像フレームがあるとき、第２セクションのための前記第１の再構成画像データは第２の先行符号化品質で再構成され、
前記第１の再構成画像フレームが前記第１切換え点の後であるときに前記第１セクションのための前記第２の再構成画像データが第１の事後符号化品質で再構成されること、および、前記第２の再構成画像フレームが前記第２切換え点の後にあるときに前記第１セクションについての前記第２の再構成画像データは第２の後続符号化品質で再構成される、ことの少なくともいずれかである。
さらに、本発明の第６の側面によれば、上述のプログラムを読み出して上述のビデオストリーミング方法を実行するプロセッサを備えるビデオストリーミング装置が提供される。
本発明の様々な実施形態によれば、ビデオストリーミングにおいてビットストリーム切換えを実行するために伝送されるデータ量の増加によって引き起こされる遅延を減少させるために分散ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャ（Ｐｉｃｔｕｒｅ）伝送技術を採用することができる。追加的または代替的に、プログレッシブコードストリーム切換え技術は、ビットストリーム切換えが発生したときでもスムーズなデータストリーム伝送を保証することができる。
本発明の様々な実施形態による、湾曲ビュービデオの符号化／圧縮の例を示す概略フロー図の一例である。 本発明の様々な実施形態による、３次元球面図を２次元平面にマッピングすることができる例示的な四角形投影を示す図の一例である。 本発明の様々な実施形態による、３次元球面図を２次元レイアウトにマッピングする例示的な立方体面投影を示す図の一例である。 本発明の様々な実施形態による、湾曲したビューを２次元（２Ｄ）画像にマッピングすることを示す図の一例である。 本発明の様々な実施形態による、例示的ビデオストリーミング環境を示す図の一例である。 （ａ）および（ｂ）は、本発明の様々な実施形態による、タイルに基づく例示的な画像分割方式を示す図の例である。 本発明の様々な実施形態による、ビデオストリーミングをサポートするための画像フレームシーケンスの符号化を示す図の一例である。 本発明の様々な実施形態による、タイルを用いたビデオストリーミングにおけるビットストリーム切換えのサポートを示す図の一例である。 （ａ）および（ｂ）は、本発明の様々な実施形態による、タイルを用いたビデオストリーミングにおけるビットストリーム切換えを示す図の例である。 （ａ）および（ｂ）は、本発明の様々な実施形態による、スライスに基づく例示的な画像分割方式を示す図の例である。 本発明の様々な実施形態による、ビデオストリーミングをサポートするための画像フレームシーケンスの符号化を示す図の一例である。 本発明の様々な実施形態による、スライスを使用してビデオストリーミングにおけるビットストリーム切換えをサポートすることを示す図の一例である。 本発明の様々な実施形態による、スライスを用いたビデオストリーミングにおけるビットストリーム切換えを示す図の一例である。 本発明の様々な実施形態による、ビットストリーム切換えをサポートする例示的ビデオストリーミング環境を示す図の一例である。 本発明の様々な実施形態による、タイルに基づくビデオストリーミングにおける配信型ＩＤＲピクチャ送信のサポートを示す図の一例である。 本発明の様々な実施形態による、スライスに基づくビデオストリーミングにおける配信型ＩＤＲピクチャ送信のサポートを示す図の一例である。 （ａ）および（ｂ）は、本発明の様々な実施形態による、異なるタイルに関連する重要度評価に基づいてＩＤＲピクチャ挿入サイクルを構成することを示す図の例である。 図１７（ａ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の一例である。 図１７（ａ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の他の一例である。 図１７（ｂ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の一例である。 図１７（ｂ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の他の一例である。 本発明の様々な実施形態による、異なるスライスに関連する重要度評価に基づいてＩＤＲピクチャ挿入サイクルを構成することを示す図の一例である。 図２２（ａ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の一例である。 図２２（ａ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の他の一例である。 図２２（ｂ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の一例である。 図２２（ｂ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の他の一例である。 本発明の様々な実施形態による、ビデオストリーミングにおけるビットストリーム切換えをサポートするためのフローチャートを示す図の一例である。 図１７（ａ）に示すような構成例に基づいて端末側でビットストリーム切換えを実行することを示す図の一例である。 図１７（ａ）に示すような構成例に基づいて端末側でビットストリーム切換えを実行することを示す図の他の一例である。 図１７（ｂ）に示されるような例示的な構成に基づいて端末側でビットストリーム切換えを実行することを示す図の一例である。 図１７（ｂ）に示されるような例示的な構成に基づいて端末側でビットストリーム切換えを実行することを示す図の他の一例である。 図２２（ａ）に示すような例示的な構成に基づいて端末側でビットストリーム切換えを実行することを示す図の一例である。 図２２（ａ）に示すような例示的な構成に基づいて端末側でビットストリーム切換えを実行することを示す図の他の一例である。 図２２（ｂ）に示されるような例示的な構成に基づいて端末側でビットストリーム切換えを実行することを示す図の一例である。 図２２（ｂ）に示されるような例示的な構成に基づいて端末側でビットストリーム切換えを実行することを示す図の他の一例である。 本発明の様々な実施形態による、ビデオストリーミングをサポートするためのフローチャートを示す図の一例である。 本発明の様々な実施形態に従った、可動プラットフォーム環境を示す図の一例である。
以下、本発明の実施の形態のいくつかについて図面を参照しながら説明する。図面において同一または対応する要素・部材には同一の参照符号を付し、その重複説明は適宜省略する。また、図中の各部材の形状・サイズについては、説明を容易にするため、適宜に拡大・縮小・省略がなされ、このために現実の縮尺・比率とは合致していない場合がある。また、図面の説明においても、紙面の上下方向に即してそれぞれ「上」「下」の用語を便宜的に用いるために、重力加速度の方向と一致しない場合がある点に留意されたい。また、「実質的に」の用語は、測定誤差をも含む趣旨で使用される。
また、以下で使用される「第１」、「第２」などのような序数を表す用語は、同一又は相応する構成要素を区別するための識別記号に過ぎなく、同一又は相応する構成要素が、こらの「第１」、「第２」などの用語によって何らの限定も受けるものではない。
また、用語「結合」は、各構成要素間の接触関係において、各構成要素間で物理的に直接接触される場合だけを意味するのではなく、他の構成が各構成要素間に介在され、その他の構成に構成要素がそれぞれ接触されている場合まで含む概念である。
（Ａ）ビデオストリーミングシステムおよびビデオストリーミング方法
図１は、本発明の様々な実施形態による、ビデオストリーミングシステムにより実行されるビデオストリーミング方法による曲ビュービデオの符号化／圧縮の例を示す概略フロー図の一例である。図１に示すように、曲面ビュービデオのようなパノラマビュービデオまたはワイドビュービデオの符号化／圧縮は、マッピング１０１、予測１０２、変換１０３、量子化１０４、およびエントロピー符号化１０５などの複数のステップを含むことができる。
様々な実施形態によれば、マッピングステップ１０１において、システムは、様々なビデオ符号化／圧縮技法を利用するために、ビデオシーケンス内の３次元（３Ｄ）曲面図を２次元（２Ｄ）平面に投影することができる。システムは、湾曲ビュービデオ（例えば、球面ビュービデオ）を記憶し送信するために２次元の矩形画像フォーマットを使用することができる。また、システムは、デジタル画像処理をサポートし、コーデック操作を実行するために２次元の矩形画像フォーマットを使用することができる。
球面図のような湾曲した図を長方形の画像に写像するために異なる方法を採用することができる。たとえば、球面ビューは、正四角形投影に基づいて長方形の画像にマッピングできる。いくつかの実施形態では、正四角形投影は、経線を一定間隔の垂直直線にマッピングすることができ、緯度の円を一定間隔の水平直線にマッピングすることができる。あるいは、球面ビューは、立方体面投影に基づいて長方形の画像にマッピングすることができる。立方体面投影は、その外接立方体に基づいて3D球体表面を近似できる。立方体の6つの面の3D球体表面の投影は、それぞれの投影の相対的な位置や向きなどの立方体の面の配置を定義する、異なる立方体の面のレイアウトを使用して2D画像として配置できる。上述したような直方体投影および立方体面投影とは別に、他の投影機構を利用して３Ｄ曲面図を２Ｄビデオにマッピングすることができる。２Ｄビデオは、ＨＥＶＣ／Ｈ．２６５、Ｈ．２６４／ＡＶＣ、ＡＶＳ１−Ｐ２、ＡＶＳ２−Ｐ２、ＶＰ８、ＶＰ９などのいくつかの一般的に使用されるビデオコーデック規格に基づいて圧縮、符号化、および復号することができる。
様々な実施形態によれば、予測ステップ１０２は、画像内の冗長な情報を減らすために採用することができる。予測ステップ１０２は、フレーム内予測およびフレーム間予測を含み得る。フレーム内予測は、ビデオシーケンス内の他のフレームとは無関係に、現在のフレーム内に含まれる情報のみに基づいて実行することができる。フレーム間予測は、基準フレーム、例えば以前に処理されたフレームに基づいて現在のフレームの冗長性を排除することによって実行することができる。
例えば、フレーム間予測のための動き推定を実行するために、フレームを複数の画像ブロックに分割することができる。各画像ブロックは、例えばブロックマッチングアルゴリズムに基づいて、基準フレーム内のブロックにマッチングさせることができる。いくつかの実施形態では、現在のフレーム内の画像ブロックの座標から基準フレーム内の一致した画像ブロックの座標へのオフセットを表す動きベクトルを計算することができる。また、残差、すなわち現在のフレーム内の各画像ブロックと基準フレーム内の整合ブロックとの間の差を計算してグループ化することができる。
さらに、変換ステップ１０３を適用することによってフレームの冗長性を排除することができる。変換ステップ１０３において、システムは符号化効率を改善するために残差を処理することができる。例えば、変換係数およびその転置行列をグループ化された残差に適用することによって変換係数を生成することができる。その後、変換係数は、量子化ステップ１０４において量子化され、エントロピー符号化ステップ１０５において符号化され得る。次いで、エントロピー符号化ステップ１０５から生成された情報、ならびに他の符号化情報（たとえば、フレーム内予測モード、動きベクトル）を含むビットストリームを格納し、復号器に送信することができる。
受信側では、デコーダ（例えば図５の符号５０６参照）は、残差を取得するために、受信されたビットストリームに対して逆の処理（エントロピー復号、逆量子化、および逆変換など）を実行することができる。したがって、画像フレームは、残差および他の受信された復号化情報に基づいて復号化することができる。そして、復号画像を曲面映像の表示に用いることができる。
図２は、本発明の様々な実施形態による、３次元球面図を２次元平面にマッピングすることができる例示的な正四角形投影２００を示す。図２に示すように、正四角形投影法を使用して、球体ビュー２０１を２次元矩形画像２０２にマッピングすることができる。一方、２次元矩形画像２０２は、逆の方法で球体ビュー２０１にマッピングすることができる。
いくつかの実施形態では、マッピングは以下の式に基づいて定義することができる。
x＝λ cosφ１ (式1）
y＝φ (式2）
ここで、ｘは２Ｄ平面座標系における水平座標を表し、ｙは２Ｄ平面座標系２０２における垂直座標を表す。λは中心子午線からの球２０１の経度を示し、一方、φは標準緯線からの球の緯度を示す。φ１は射影の縮尺が正しい標準平行線を示す。いくつかの実施形態では、φ１は０として設定することができ、座標系２０２の点（０，０）は中心に配置することができる。
図３は、本発明の様々な実施形態による、３次元球面図を２次元レイアウトにマッピングする例示的な立方体面投影３００を示す図の一例である。図３に示すように、立方体面投影を使用して、球体ビュー３０１を２次元レイアウト３０２にマッピングすることができる。一方、２次元レイアウト３０２は、逆の方法で球ビュー３０１にマッピングすることができる。
様々な実施形態によれば、球面３０１の立方体面投影は立方体３１０、例えば球３０１の外接立方体に基づくことができる。マッピング関係を確認するために、球面上および立方体面上のそれぞれの対の交点対の数を得るために、球の中心からレイキャスティングを実行することができる。
図３に示されるように、球面図を格納および伝送するための画像フレームは、立方体３１０の６つの立方体面、例えば、頂部立方体面、底部立方体面、左側立方体面、右側立方体面、正面立方体および背面立方体を含むことができる。これらの６つの立方体面は、２Ｄ平面上に拡張（または投影）されてもよい。
立方体面投影に基づく球面図または楕円体図などの湾曲した図の投影は、例示の目的で提供されており、本開示の範囲を限定することを意図していないことに留意されたい。当業者であれば、本開示の教示の下で様々な修正形態および変形形態を実施することができる。本開示に係る投影の投影フォーマットの例示的な実施形態は、八面体、十二面体、二十面体、または任意の多面体を含み得る。例えば、八面体に基づく近似のために八面上の投影を生成することができ、それら八面上の投影を２Ｄ平面上へ拡大および投影の少なくともいずれかを行うことができる。別の例では、１２面上の投影は１２面体に基づく近似のために生成されてもよく、それら１２面上の投影は２Ｄ平面上へ拡大および投影の少なくともいずれかがなされてもよい。さらに別の例では、二十面体に基づく近似のために二十面上の投影を生成することができ、それら二十面上の投影を２Ｄ平面上へ拡大および投影の少なくともいずれかを行うことができる。さらに別の例では、多面体の様々な面上の楕円形ビューの投影は、楕円形ビューの近似のために生成されてもよく、それらの２０面上の投影は、２Ｄ平面への拡大および投影の少なくともいずれかがなされ得る。
なお、図３に示す立方体面レイアウトでは、頂部立方体面、底部立方体面、左側立方体面、右側立方体面、正面立方体面および背面立方体面など、異なる立方体面をその相対位置を使用して表すことができることに留意されたい。そのような描写は例示の目的のためだけに提供され、本開示の範囲を限定することを意図するものではない。当業者には、本開示の教示の下で様々な修正形態および変形形態を実施することができる。
様々な実施形態によれば、各立方体面の向きまたは相対位置に応じて、様々な立方体面間の連続関係は、異なる連続関係を使用して表すことができる。
図４は、本発明の様々な実施形態による、湾曲したビューを２次元（２Ｄ）画像にマッピングすることを示す図の一例である。図４に示すように、マッピング４０１は、湾曲ビュー４０３を２Ｄ画像４０４に対応させるために使用することができる。２Ｄ画像４０４は、それぞれが多面体（例えば立方体）の面に投影された湾曲ビュー４０３の一部を含む一組の画像領域４１１〜４１２を含むことができる。
様々な実施形態によれば、一組の画像領域は、曲面図の上記少なくとも一部分を多面体上の複数の面に投影することによって得ることができる。例えば、球面図４０３は、球面または球面の一部から一組の立方体面に投影することができる。同様に、湾曲したビューは、楕円体表面、または楕円体表面の一部から、一組の長方形の立方体面に投影することができる。
さらに、湾曲ビュー、例えば球面ビュー４０３は、異なるレイアウトに基づいて２次元矩形画像４０４にマッピングすることができる。図４に示すように、２−Ｄ画像内における画像領域４１１〜４１２の位置および向きなどの相対位置情報を定義するレイアウト４０２に基づいて、上記組の画像領域４１１〜４１２を２−Ｄ画像４０４内に配置することができる。
図４に示すように、球面図４０３はあらゆる方向に連続している。様々な実施形態によれば、一組の画像領域４１１〜４１２は、多面体上の複数の面に湾曲ビュー４０３の少なくとも一部を投影することによって得ることができる。連続関係は、特定のマッピング４０１およびレイアウト４０２に関連する連続関係を使用して表すことができる。幾何学的な制限により、２次元画像４０４は、球面図４０３において連続性を完全に維持することができないかもしれない。
様々な実施形態に従って、システムは、球面ビュービデオを符号化／復号する際の効率を向上させるために、画像領域４１１〜４１２のセット間の連続性を提供または維持するためのパディング方式を採用することができる。
様々な実施形態に従って、曲面ビュー、例えば球面ビュー４０３を２次元平面ビューにマッピングするために様々なマッピング機構を使用することができる（すなわち、曲面ビュービデオを２次元平面ビデオにマッピングすることができる）。球面ビデオまたは部分球面ビデオは、複数のカメラまたは魚眼カメラなどのワイドビューカメラによって取り込むことができる。２次元平面ビデオは、球面写像によって得ることができ、部分球面写像によっても得ることができる。マッピング方法は、３６０度パノラマビデオ、１８０度パノラマビデオ、または広視野（ＦＯＶ）を有するビデオの表現を提供するために適用され得る。さらに、マッピング方法によって得られた２次元平面ビデオは、ＨＥＶＣ／Ｈ．２６５、Ｈ．２６４／ＡＶＣ、ＡＶＳ１−Ｐ２、ＡＶＳ２−Ｐ２、ＶＰ８およびＶＰ９などの様々なビデオコーデック規格を使用することによって符号化および圧縮することができる。
様々な実施形態によれば、３６０度パノラマビデオまたはより広い視野（ＦＯＶ）を有するビデオなどのパノラマまたはワイドビュービデオは、大量のデータを含み得る。また、そのようなビデオは、高い符号化品質で符号化される必要があり、また高解像度で提示される必要があるかもしれない。したがって、マッピングおよび圧縮後（たとえば、さまざまなビデオコーデック方式を使用した後）であっても、圧縮データのサイズは依然として大きい可能性がある。結果として、パノラマビデオまたはワイドビュービデオの送信は、現在のネットワーク送信条件では依然として困難な課題である。
様々な実施形態に従って、パノラマビデオまたはワイドビュービデオを符号化および圧縮するために様々な手法を使用することができる。例えば、満足できる主観的感覚でパノラマビデオまたはワイドビュービデオをユーザが見ることを確実にしながら、ネットワーク帯域幅の消費を減らすために、ビューポートに基づくアプローチを使用することができる。ここで、パノラマビデオまたはワイドビュービデオは、人間の視覚よりも広いビューをカバーすることができ、ビューポートは、人間の視覚における主要な視点を表すことができ、より注意が必要である。一方、周辺視野でしか観察できない、または人間が観察できないようなビューポートの外側の領域は、あまり注意を払う必要がない場合がある。
図５は、本発明の様々な実施形態による、例示的ビデオストリーミング環境を示す図の一例である。図５に示されるように、一連の画像フレーム（またはピクチャ）を含むことができるビデオ５１０、例えば、広い視野（ＦＯＶ）を有するパノラマまたはワイドビュービデオ５１０は、ストリーミングサーバ５０１からビデオストリーミング環境５００内のユーザ機器（ＵＥ）５０２へストリーミングすることができる。
サーバ側では、エンコーダ５０８がビデオ５１０内の一連の画像フレームを符号化し、符号化されたデータを様々なビットストリーム５０４に組み込んで記憶装置５０３に格納することができる。
様々な実施形態によれば、ストリーミングコントローラ５０５は、ユーザ機器（ＵＥ）５０２へのビデオ５１０のストリーミングを制御することを担当することができる。いくつかの事例では、ストリーミングコントローラ５０５は、エンコーダまたはエンコーダの構成要素とすることができる。いくつかの事例では、ストリーミングコントローラ５０５は、エンコーダを含むことができ、またはエンコーダと共に機能することができる。例えば、ストリーミングコントローラ５０５は、ビューポート情報などのユーザ情報５１２をユーザ機器（ＵＥ）５０２から受信することができる。そして、ストリーミングコントローラ５０５は、記憶装置５０３に記憶されたビットストリーム５０４に基づいて対応するビットストリーム５１１を生成し、生成したビットストリーム５１１をユーザ機器（ＵＥ）５０２に送信することができる。
ユーザ機器（ＵＥ）側では、デコーダ５０６は、ビデオ５１０内の一連の画像フレームのバイナリデータを含むビットストリーム５１１を取得することができる。そして、デコーダ５０６は、復号された情報をユーザが見るためにディスプレイ５０7に提供する前に、バイナリデータを適宜復号することができる。一方、ユーザ機器（ＵＥ）５０２、またはユーザ機器（ＵＥ）５０２の構成要素（例えばディスプレイ５０７）は、（例えばユーザの視界が動いたときに）更新されたビューポート情報などの更新されたユーザ情報を取得することができる。そして、そのような更新されたユーザ情報をストリーミングサーバ５０１に送り返す。したがって、ストリーミングコントローラ５０５は、ビットストリーム５１１を再構成してユーザ機器（ＵＥ）５０２に送信することができる。
様々な実施形態によれば、ビデオ５１０内の各画像フレームを複数のセクションに分割するために異なるタイプの区分方式を使用することができる。例えば、分割方式は、タイルもしくはスライス、またはビデオの符号化および復号化において有益である他の任意の幾何学的分割に基づくことができる。様々な例では、ビデオ５１０内の各画像フレームは、同じ数のセクションに分割することができる。また、異なる画像フレーム内の対応するセクションは、同じまたは実質的に同様の相対位置に、または実質的に同様の幾何学的サイズで配置することができる（例えば、ビデオ５１０の画像フレームのそれぞれは、同じまたは実質的に同様の方法で分割できる）。
様々な実施形態によれば、画像フレームを分割する複数のセクションのそれぞれは、複数レベルの符号化品質で構成することができる。例えば、サーバ側では、画像フレームを分割する複数のセクションの各々は、複数レベルの符号化品質で構成することができる。ユーザ機器（ＵＥ）側では、画像フレームを分割する複数のセクションのそれぞれは、複数レベルの復号品質を用いて構成することができる。
様々な実施形態によれば、ビデオ５１０内の画像フレーム内の各セクションの符号化品質は、関心領域（ＲＯＩ）情報などのユーザの好みに基づいて決定することができる。代替的または追加的に、画像フレーム内の各セクションの符号化品質は、画像フレームのビューポートの位置を示すことができる第１の画像フレームのビューポート情報に基づいて決定することができる。ここで、ビューポートに対応する画像フレーム内のセクションは、ビューポートの外側にある画像フレーム内の他のセクションの符号化品質よりも高いレベルの符号化品質を有するように構成することができる。
図５に示すように、サーバ側では、ビデオ５１０内の一連の画像フレームに対する複数のビットストリーム５０４を記憶装置５０３に記憶することができる。いくつかの例では、格納されたビットストリームのそれぞれは、一連の画像フレーム内の特定のセクションについて、特定の符号化品質を有する符号化データを含み得る。
様々な実施形態に従って、エンコーダ５０８は、図１に示されるような符号化プロセスを利用することができる。例えば、エンコーダ５０８は、予測ステップおよび変換ステップなどの様々な符号化ステップを共有することによって、異なる符号化品質を使用してビデオ５１０内の一連の画像フレームを符号化する準備をすることができる。量子化ステップにおいて、エンコーダ５０８は、予測および変換結果を共有しながら、一連の画像フレームに異なる量子化パラメータを適用することができる。したがって、エンコーダ５０８は、異なる符号化品質を有する一連の画像フレームについて複数のビットストリームを取得することができる。
図６（ａ）および図６（ｂ）は、本発明の様々な実施形態による、タイルに基づく例示的な画像分割方式６００を示す図の例である。両図に示すように図６（ａ）および図６（ｂ）の例では、ビデオ内の画像フレーム（またはピクチャ）を分割するためにいくつかのタイルを使用することができる。
様々な実施形態によれば、画像フレーム内の矩形領域であるタイルを符号化に使用することができる。例えば、様々なビデオコーデック規格では、画像フレームを水平方向および垂直方向にタイルに分割することができる。ＨＥＶＣ／Ｈ．２６５などのいくつかのビデオコーディング規格では、同じ行内のタイルの高さは均一であることが要求されるが、画像フレーム内のタイルの幅は均一である必要はない場合がある。同じ画像フレーム内の異なるタイル内のデータは、相互参照および予測されないことがある（ただし、フィルタリング操作は、同じ画像内の異なるタイルの境界を横切って実行されることがある）。フィルタリング動作は、デブロッキング、サンプル適応オフセット（ＳＡＯ）、適応ループフィルタ（ＡＬＦ）などを含むことができる。
図６（ａ）に示す例では、画像は９つのセクション（または領域）に分割することができる。各セクションは異なる品質でエンコードできる。様々な例では、符号化品質は定量的または定性的のいずれかで定義することができる。例えば、符号化品質は、「高」、「中」、または「低」のうちの１つとして定義されてもよい（それぞれが定量的尺度に関連付けられてもよい）。代替的に又は付加的に、符号化品質は、数字、文字、英数字列、又は他の適切な表現によって表すことができる。様々な例では、符号化品質は、さまざまなコーディング客観的尺度、主観的尺度、およびさまざまなサンプリング比（または解像度）を指すことがある。
図６（ａ）に示すように、タイル５、すなわち領域（１，１）はビューポートによって覆われている。したがって、タイル５は、「高」品質を割り当てられてもよい。さらに、タイル２、４、６、および８、すなわち領域（０、１）、（１、０）、（１、２）および（２、１）は、ビューポートに対応する領域（１、１）に隣接している。したがって、これらの領域は、たとえそれらが焦点ではないとしても、人間の目に見える（すなわち周辺視野内にある）ので、「中」品質で符号化することができる。また、タイル１、３、７、および９、つまり領域（０，０）、（０，２）、（２，０）、および（２，２）は、ビューポートからより遠くにあり、人間の目で観察できないかもしれない。したがって、これらの領域は「低」品質で符号化されてよい。
また、図６（ｂ）に示す例では、画像を２つの部分または領域に分割することができる。各セクションは異なる品質で符号化することができ、符号化品質は「高」、「中」または「低」のうちの１つとして定義することができる。図６（ｂ）に示されるように、セクションＢ（例えばタイル）はビューポートによって覆われる。したがって、セクションＢは、「高」品質を割り当てられてもよい。さらに、セクションＢを囲むセクションＡは、「低」または「中」の品質で割り当てられてもよい。
図７は、本発明の様々な実施形態による、ビデオストリーミングをサポートするための画像フレームシーケンスの符号化を示す図の一例である。図７に示すように、画像シーケンス７０１を符号化し、サーバ７００内にビットストリーム７０２として格納することができる。ここで、各ビットストリームは、サーバ側の単一のセクションに対して特定の品質を備えることができる。例えば、格納されたビットストリーム７１１は、画像シーケンス内のセクション１に対する品質Ａ（例えば、「高」）を有する符号化データに対応する。
図７に示すように、画像シーケンス７０１内の画像フレーム（すなわちビデオ）は、９つのセクションに分割することができ、各セクションは、３つの品質（例えば、「高」のＡ、「中」のＣ、または「低」のＣ）で符号化できる。例えば、符号化は、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、ＡＶＳ１−Ｐ２、ＡＶＳ１−Ｐ２などのような様々なビデオコーデック規格に基づくことができる。
様々な実施形態によれば、各ビットストリームは独立して復号されることが可能である。例えば、各ビットストリームは、独立ビデオパラメータセット（ＶＰＳ）情報、独立シーケンスヘッダ情報、独立シーケンスパラメータセット（ＳＰＳ）情報、独立ピクチャヘッダ情報、または別個のピクチャパラメータセット（ＰＰＳ）パラメータを含み得る。
図８は、本発明の様々な実施形態による、タイルを用いたビデオストリーミングにおけるビットストリーム切換えのサポートを示す。図８に示すように、タイルベースの分割方式８０２を使用して、一連の画像フレーム８０１の中の画像フレーム８１１を複数のタイル（例えば、タイル１〜９）に分割することができる。さらに、ストリーミングコントローラは、画像フレーム８１１内の各タイルについて符号化品質８０３を決定することができる。さらに、ストリーミングコントローラは、サーバに格納されたビットストリームから、画像フレーム８１１の各タイルについて決定された符号化品質を有する符号化データ８０４を取得することができる。次に、ストリーミングコントローラは、所定の順序に従って、送信のために第１の画像フレームの複数のセクション（例えばタイル）の符号化データ８０４をビットストリーム８０５に組み込む（例えばカプセル化する）ことができる。場合によっては、所定の順序は、一連の画像フレーム内の各特定のセクション（たとえばタイル）の相対位置に基づいて構成することができる。
様々な実施形態に従って、ストリーミングコントローラは、ユーザ機器（ＵＥ）のビューポートに従って、送信される必要がある画像フレーム内の各セクション（例えばタイル）について、格納されたビットストリームから符号化データを動的に選択することができる。
図９（ａ）を参照すると、タイル５は時点Ｔ（Ｎ）におけるビューポート８２１に対応する。したがって、タイル５は、「高」品質（Ｈ）を割り当てられてもよい。さらに、タイトル2、4、6、および8のそれぞれに「中」の品質(M）を割り当てることができる。そしてタイル1、3、7、および9のそれぞれは、「低」品質(L）で割り当てることができる。
画像フレーム８１１内の各タイルに対応する符号化品質を決定した後、ストリーミングコントローラは、サーバ内の対応する格納ビットストリームから、画像フレーム８１１内の各タイルについて所望の品質を有する符号化データを取得することができる。例えば、図９（ａ）に示す例では、ストリーミングコントローラは、高品質のビットストリームからタイル５の符号化データ（例えば、図７の７１０）を取得することができる。また、ストリーミングコントローラは、中品質のビットストリーム（例えば、図７の７２０）からタイル２、４、６、および８の符号化データを取得することができ、さらに、ストリーミングコントローラは、低品質のビットストリーム（例えば、図７の７３０）からタイル１、３、７、および９の符号化データを取得することができる。
次いで、ストリーミングコントローラは、異なるタイルについて取得された符号化データを送信用のビットストリーム８０５にカプセル化することができる。様々な例では、各タイルの符号化データは所定の順序に従ってカプセル化することができる。例えば、所定の順序は、画像フレーム内の左から右へ、上から下への順序を指すラスタ走査順序に基づいて構成することができる。
様々な実施形態によれば、ビューポートに基づくビデオストリーミングアプローチは、視聴における主観的な経験を考慮しながら、パノラマビデオまたはワイドビュービデオについて送信されるデータを効果的に削減することができる。一方、ビューポートが変化すると、すなわち人間の視覚が動くと、ビューポートに対応する画像セクションも変化する可能性がある。
様々な実施形態によれば、ストリーミングコントローラは、ビデオストリーミングでの送信のためにビットストリーム８０５を生成するために使用される各区分セクションごとに異なる品質のビットストリームを動的に切換えることができる。例えば、ストリーミングコントローラは、後の時点で第２の画像フレームについてビューポート情報を受信することができる。ここで、第２の画像フレーム用のビューポート情報は、第２の画像フレーム用のビューポートの位置を示すことができる。第２の画像フレームは、一連の画像フレーム内で第１の画像フレームに続くか後に続き、第１の画像フレームに対するビューポートの位置は、第２の画像フレームに対するビューポートの位置とは異なり得る。
図９（ｂ）を参照すると、Ｔ（Ｍ）の時点で、ビューポート８２２はタイル２に移動することがある。ストリーミングコントローラは、画像フレーム内の各タイルについて符号化品質を調整することができる。図９（ｂ）に示すように、タイル２には「高」品質（Ｈ）が割り当てられている。さらに、タイトル１、３、５には「中」品質（Ｍ）を割り当てることができ、タイル４、６、７、８、および９を「低」品質（Ｌ）で割り当てることができる。
したがって、ストリーミングコントローラは、時点Ｔ（Ｍ）以降にビットストリーム切換えを実行することができる。画像フレーム内の各タイルの符号化品質を決定した後、ストリーミングコントローラは、サーバ内の対応する格納されたビットストリームから、画像フレーム内の各タイルについて所望の品質を有する符号化データを取得することができる。図９（ｂ）に示す例では、ストリーミングコントローラは、高品質のビットストリームからタイル２の符号化データを取得することができる（例えば、図７の７１０）。さらに、ストリーミングコントローラは、中品質のビットストリーム（例えば、図７の７２０）からタイル１、３、および５の符号化データを取得することができ、さらに、ストリーミングコントローラは、低品質のビットストリーム（例えば、図７の７３０）からタイル４、６、７、８、および９の符号化データを取得することができる。
様々な例では、ビットストリーム切換えはランダムアクセスポイントで実行され得る。例えば、ランダムアクセスポイントは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、シーケンスヘッダ、シーケンスヘッダ＋１フレームなどであり得る。
図９（ｂ）に示されるように、時点Ｔ（Ｍ）でビューポートの位置が変化した後、ストリーミングコントローラは、時点Ｔ（Ｍ）の後の最初のランダムアクセスポイントでビットストリーム切換えを実行することができる。 例えば、ストリーミングコントローラは、第２の画像フレームがランダムアクセスポイントにあり、ビットストリーム内の符号化データを復号する場合、第２の画像フレームについて受信したビューポート情報に基づいて第２の画像フレーム内の各セクションの符号化品質を決定できる。そうでなければ、ストリーミングコントローラは、第１の画像フレーム内の対応するセクションの符号化品質に基づいて、第２の画像フレーム内の各セクションについて符号化品質を決定することができる。このような場合、ストリーミングコントローラは、時点Ｔ（Ｍ）の後の最初のランダムアクセスポイントまで待機してビットストリーム切換えを実行することができる。
様々な実施形態によれば、上記のスキームを使用して、ストリーミングコントローラは、画像フレーム内の異なるセクションについて、異なる品質を有する符号化データを単一のビットストリーム８０５に組み込むことができる。複数のビットストリームを送信することに頼るアプローチとは異なり、上記の方式はマルチチャネル同期問題を回避することができる。したがって、ビデオコードストリームを送信するためのシステムレイヤは、例えば、ＤＡＳＨ（動的適応ストリーミングオーバーＨＴＴＰ）、ＨＬＳ（ＨＴＴＰライブストリーミング）、ＭＰＥＧ ＴＳ（トランスポートストリーム）のシステムプロトコルを使用して同期動作を実行する必要がない。さらに、上記の方式は、各タイルの符号化データの位置が画像フレーム内の各タイルの相対位置に従ってカプセル化されるので、ユーザ機器において複数のチャネルからのデータを組み合わせる必要性を回避することができる。
さらに、インジケータ８１２を設けてビットストリームと関連付けることができる。様々な実施形態に従って、インジケータ８１２は、画像フレームのシーケンス内の各画像フレームの特定のセクションに対する符号化予測依存性が前記特定のセクション内に制約されていることを示すことができる。
様々な実施形態では、サーバ側のエンコーダまたはストリーミングコントローラによって提供されるインジケータ812は、デコーダによって受信されるインジケータと同じかまたはそれに関連することができ、すなわち、インジケータは、符号化予測依存性と復号予測依存性のいずれをも示すことができる。
図１０は、本発明の様々な実施形態による、スライスに基づく例示的な画像分割方式を示す図の例である。図１０ （ａ）および図１０（ｂ）に示すように、ビデオ内の画像フレーム（またはピクチャ）を分割するためにいくつかのスライスを使用することができる。
様々な実施形態において、スライスは、独立したスライスセグメントで始まり、各画像フレームにおいて次の独立したスライスセグメントに先行する０個以上の後続の従属スライスセグメントを含む一連のスライスセグメントであり得る。代替的に、スライスは、一連のコーディングブロックまたは一連のコーディングブロックペアであり得る。
様々な例では、スライスをビデオコーディングに使用することができる。例えば、画像フレームは水平方向に１つのスライスのみを許容する（すなわち、分割は垂直方向には実行され得ない）。同じ画像フレーム内の異なるスライス内のデータを相互参照し予測することはできない（ただし、同じ画像内の異なるタイルの境界を横切ってフィルタリング操作を実行することはできる）。フィルタリング動作は、デブロッキング、サンプル適応オフセット（ＳＡＯ）、適応ループフィルタ（ＡＬＦ）などを含む。
図１０（ａ）に示す例では、画像は３つのスライス（または領域）に分割することができる。各スライスは異なる品質で符号化することができる。様々な例では、符号化品質は定量的または定性的のいずれかで定義することができる。例えば、符号化品質は、「高」、「中」および「低」のうちの１つとして定義されてもよい（それぞれが定量的尺度に関連付けられてもよい）。代替的に又は付加的に、符号化品質は、数字、文字、英数字列、又は他の適切な表現によって表すことができる。様々な例では、符号化品質は、さまざまなコーディング客観的尺度、主観的尺度、およびさまざまなサンプリング比（または解像度）を指すことがある。
図１０（ａ）に示すように、スライス２、すなわち領域（１，０）はビューポートによって覆われる。したがって、スライス２は、「高」品質を割り当てられてもよい。さらに、スライス１および３、すなわち領域（０，０）および（２，０）は、ビューポートに対応する領域（１，０）に隣接している。したがって、これらの領域は「中」品質でエンコードできる。
代替的に、図１０（ｂ）に示す例では、画像を２つの部分または領域に分割することができる。各セクションは異なる品質で符号化され、符号化品質は「高」、「中」および「低」のうちの１つとして定義され得る。図１０（ｂ）に示されるように、セクションＢ（例えばスライス）はビューポートによって覆われる。したがって、セクションＢは「高」品質を割り当てられてもよい。さらに、セクションＢを囲むセクションＡは、「低」または「中」の品質で割り当てられてもよい。
図１１は、本発明の様々な実施形態による、ビデオストリーミングをサポートするための画像フレームシーケンスの符号化を示す図の一例である。図１１に示すように、画像シーケンス１１０１を符号化し、サーバ１１００内にビットストリーム１１０２として格納することができる。ここで、各ビットストリームは、サーバ側の単一のセクションに対して特定の品質を備えることができる。例えば、格納されたビットストリーム１１１１は、画像シーケンス１１０１内のセクション１についての品質Ａ（例えば、「高」）を有する符号化データに対応する。
図１１に示すように、画像シーケンス１１０１内の画像フレーム（すなわちビデオ）は３つのセクションに分割することができ、各セクションは３つの品質（例えば「高」、「中」または「低」）で符号化できる。例えば、符号化は、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、ＡＶＳ１−Ｐ２、ＡＶＳ１−Ｐ２などのような様々なビデオコーデック規格に基づくことができる。
様々な実施形態によれば、各ビットストリームは独立して復号されることが可能である。例えば、各ビットストリームは、独立ビデオパラメータセット（ＶＰＳ）情報、独立シーケンスヘッダ情報、独立シーケンスパラメータセット（ＳＰＳ）情報、独立ピクチャヘッダ情報、または別個のピクチャパラメータセット（ＰＰＳ）パラメータを含み得る。
図１２は、本発明の様々な実施形態による、スライスを使用してビデオストリーミングにおけるビットストリーム切換えをサポートすることを示す図の一例である。図１２に示すように、スライスベースの分割方式１２０２を使用して、一連の画像フレーム１２０１の中の画像フレーム１２１１を複数のスライス（例えばスライス１〜３）に分割することができる。さらに、ストリーミングコントローラは、画像フレーム１２１１内の各スライスについて符号化品質１２０３を決定することができる。さらに、ストリーミングコントローラは、サーバに格納されたビットストリームから、画像フレーム１２１１の各タイルについて決定された符号化品質を有する符号化データ１２０４を取得することができる。次いで、ストリーミングコントローラは、所定の順序に従って、送信のために第１の画像フレームの複数のセクションの符号化データ１２０４をビットストリーム１２０５に組み込む（例えばカプセル化する）ことができる。場合によっては、所定の順序は、一連の画像フレーム内の各特定のセクション（たとえばスライス）の相対位置に基づいて構成することができる。
様々な実施形態に従って、ストリーミングコントローラは、ユーザ機器（ＵＥ）のビューポートに従って、送信される必要がある画像フレーム内の各セクションに対して、記憶されたビットストリームから符号化データを動的に選択することができる。
図１３（ａ）を参照すると、スライス２、すなわちスライス（１，０）は、時点Ｔ（Ｎ）におけるビューポート１２１１に対応する。したがって、スライス２は、「高」品質（Ｈ）を割り当てられてよい。さらに、スライス１および３のそれぞれに「中」品質（Ｍ）を割り当てることができる。
画像フレーム１２１１内の各スライスに対応する符号化品質を決定した後、ストリーミングコントローラは、サーバ内に記憶された対応するビットストリームから、画像フレーム１２１１内の各スライスについて所望の品質を有する符号化データを取得することができる。例えば、図１３（ａ）に示す例では、ストリーミングコントローラは高品質のビットストリームからスライス２の符号化データを取得することができ（例えば図１１の１１１０）、ストリーミングコントローラは、中品質のビットストリーム（例えば図１１の１１２０）からスライス１および３のための符号化データを取得することができる。
次いで、ストリーミングコントローラは、異なるスライスについて取得された符号化データを送信用のビットストリーム１２０５にカプセル化することができる。様々な例では、各スライスの符号化データは、所定の順序に従ってカプセル化することができる。例えば、所定の順序は、画像内の上から下への順序を指すラスタ走査順序に基づいて構成することができる。
様々な実施形態によれば、ビューポートに基づくビデオストリーミングアプローチは、視聴における主観的な経験を考慮しながら、３６０度のビデオまたは大きなＦＯＶを有するビデオについて送信されるデータを効果的に削減することができる。一方、ビューポートが変化すると、すなわち人間の視覚が動くと、ビューポートに対応する画像セクションも変化する可能性がある。
様々な実施形態によれば、ストリーミングコントローラは、ビデオストリーミングにおける送信のためのビットストリーム１２０５を生成するために使用される各分割セクションについての異なる品質のビットストリーム間で動的に調整を行うことができる。例えば、ストリーミングコントローラは、第２の画像フレームに関するビューポート情報を受信することがある。ここで、第２の画像フレーム用のビューポート情報は、第２の画像フレーム用のビューポートの位置を示すことができる。第２の画像フレームは、一連の画像フレームの中で第１の画像フレームをたどり、第１の画像フレームに対するビューポートの位置は、第２の画像フレームに対するビューポートの位置とは異なる。
図１３（ｂ）を参照すると、Ｔ（Ｍ）の時点で、ビューポート１２１２はスライス１、すなわちスライス（０、０）にシフトすることができる。ストリーミングコントローラは、画像フレーム内の各スライスについて符号化品質を調整することができる。図１３（ｂ）に示すように、スライス１には「高」品質（Ｈ）が割り当てられている。さらに、スライス２に「中」の品質（Ｍ）を割り当てることができ、スライス３は「低」品質（Ｌ）で割り当てることができる。
したがって、ストリーミングコントローラは、時点Ｔ（Ｍ）以降にビットストリーム切換えを実行することができる。画像フレーム内の各スライスに対応する符号化品質を決定した後、ストリーミングコントローラは、サーバ内で記憶された対応するビットストリームから、画像フレーム内の各スライスについて所望の品質を有する符号化データを取得することができる。例えば、図１３（ｂ）に示す例では、ストリーミングコントローラは、高品質のビットストリームからスライス１の符号化データを取得することができる（例えば、図１１の１１１０）。また、ストリーミングコントローラは中品質のビットストリームからスライス２の符号化データを取得することができ（例えば図１１の１１２０）、さらに、ストリーミングコントローラは低品質のビットストリームからスライス３の符号化データを取得することができる（例えば図１１の１１３０）。
様々な例では、ビットストリーム切換えはランダムアクセスポイントで実行され得る。例えば、ランダムアクセスポイントは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、シーケンスヘッダ、シーケンスヘッダ＋１フレームなどであり得る。
図１３（ｂ）に示すように、時点Ｔ（Ｍ）でビューポートの位置が変化した後、ストリーミングコントローラは時点Ｔ（Ｍ）の後の最初のランダムアクセスポイントでビットストリーム切換えを実行することができる。例えば、ストリーミングコントローラは、第２の画像フレームがビットストリーム内の符号化データを復号するためのランダムアクセスポイントである場合、第２の画像フレームについて受信したビューポート情報に基づいて第２の画像フレーム内の各セクションの符号化品質を決定することができる。そうでなければ、ストリーミングコントローラは、第１の画像フレーム内の対応するセクションの符号化品質に基づいて第２の画像フレーム内の各セクションの符号化品質を決定することができる。ビットストリームそのような場合、ストリーミングコントローラは、時点Ｔ（Ｍ）の後の最初のランダムアクセスポイントまで待機してビットストリーム切換えを実行することができる。
様々な実施形態によれば、上記のスキームを使用して、ストリーミングコントローラは、画像フレーム内の異なるセクションについて、異なる品質を有する符号化データを単一のビットストリーム１２０５に組み込むことができる。複数のビットストリームを送信することに頼るアプローチとは異なり、上記の方式はマルチチャネル同期問題を回避する。したがって、ビデオコードストリームを送信するためのシステムレイヤは、例えば、ＤＡＳＨ（ＨＴＴＰに亘る動的適応ストリーミング）、ＨＬＳ（ＨＴＴＰライブストリーミング）、ＭＰＥＧ ＴＳ（トランスポートストリーム）のシステムプロトコルを使用して同期化動作を実行する必要がない。さらに、上記の方式は、各タイルの符号化データの位置が画像フレーム内の各タイルの相対位置に従ってカプセル化されるので、ユーザ機器において複数のチャネルからのデータを組み合わせることを回避することができる。
さらに、インジケータ１２１２を設けてビットストリームと関連付けることができる。様々な実施形態に従って、インジケータ１２１２は、画像フレームのシーケンス内の各画像フレームの特定のセクションに対する符号化予測依存性が前記特定のセクション内に制約されていることを示すことができる。
様々な実施形態では、サーバ側のエンコーダまたはストリーミングコントローラによって提供されるインジケータ１２１２は、デコーダによって受信されるインジケータと同じかまたはそれに関連づけられることができ、すなわち、インジケータは符号化および復号化の双方の予測依存性を示すことができる。
図１４は、本発明の様々な実施形態による、ビットストリーム切換えをサポートする例示的ビデオストリーミング環境を示す図の一例である。図１４に示すように、ビデオストリーミング環境１４００において、ビデオ１４１０をサーバ側（例えばストリーミングサーバ１４０１）から端末側（例えばユーザ機器（ＵＥ）１４０２）にストリーミングすることができる。
様々な実施形態に従って、サーバ側で、エンコーダ１４０８は、ビデオ１４１０内の一連の画像フレームをエンコードし、エンコードされたデータと共に様々なビットストリーム１４０４を記憶装置１４０３に格納することができる。例えばパノラマまたはワイドビュービデオなどのビデオ１４１０は、広い視野（ＦＯＶ）を有する一連の画像フレーム（またはピクチャ）を含むことができる。ビデオ１４１０内の個々の画像フレームを複数のセクションに分割するために、異なるタイプの分割方式を使用することができる。分割方式は、例えば、個々の画像フレームをタイルもしくはスライス、またはビデオの符号化および復号化において有益である他の任意の幾何学的分割に分割することができる。様々な例では、ビデオ１４１０内の個々の画像フレームは、同じまたは実質的に同様の方法で分割することができる。例えば、ビデオ１４１０内の各画像フレームは、同じ数のセクションに分割することができる。また、異なる画像フレーム内の対応するセクションは、同じまたは実質的に同様の相対位置に配置することができ、同じまたは実質的に同様の幾何学的サイズで構成することができる。
様々な実施形態によれば、画像フレームを分割する複数のセクションのうちの個々のセクションは、複数レベルの符号化品質で構成することができる。例えば、サーバ側では、画像フレームを分割する複数のセクションの各々は、複数レベルの符号化品質で構成することができる。ユーザ機器（ＵＥ）側では、画像フレームを分割する複数のセクションのそれぞれは、複数レベルの復号品質を用いて構成することができる。様々な実施形態では、符号化品質および復号化品質は、同じに、または関連する所定の相関を使用して構成され得る。他の実施形態では、符号化品質および復号化品質は別々にかつ独立して構成されてもよい。
様々な実施形態によれば、サーバ側で、ビデオ１４１０内の画像フレーム内の個々のセクションの符号化品質は、関心領域（ＲＯＩ）情報などのユーザ選好情報に基づいて決定することができる。代替的または追加的に、画像フレーム内の個々のセクションの符号化品質は、画像フレーム内のビューポートの位置を示す情報などのビューポート情報に基づいて決定することができる。様々な実施形態において、ビューポートに対応する画像フレーム内のセクションは、ビューポートの外側に位置する画像フレームの他のセクションよりも高いレベルの符号化品質を有するように構成され得る。
様々な実施形態に従って、エンコーダ１４０８は、図１に示されるような符号化プロセスを利用することができる。例えば、エンコーダ１４０８は、ビデオ１４１０内の一連の画像フレームを、異なる符号化品質を有する複数のビットストリームに符号化することができる。異なるビットストリームを生成するために、様々な符号化ステップを複数の符号化動作間で共有することができる。例えば、エンコーダ１４０８は、異なる符号化品質を有する様々なビットストリームを生成するために（例えば、異なる量子化パラメータを使用して）異なる量子化ステップ１０４を使用しながら、同じ予測ステップ１０２および変換ステップ１０３を使用できる。
図１４に示すように、サーバ側では、ビデオ１４１０内の一連の画像フレームに対する複数のビットストリーム１４０４を記憶装置１４０３に記憶することができる。様々な例では、格納された個々のビットストリームは、一連の画像フレーム内の特定のセクションに対する特定のレベルの符号化品質を有する符号化データを含み得る。
ユーザ機器（ＵＥ）側では、ビデオ１４１０内の画像フレームのシーケンスのための符号化データを含むビットストリーム１４１１を処理するためにデコーダ１４０６を使用することができる。デコーダ１４０６は、ビットストリーム１４１１内のバイナリデータをデコードし、それに応じて画像フレームを再構成してから、再構成された画像フレームをディスプレイ１４０７に提供して表示し、あるいはユーザ（例えばビューア）によって表示される。一方、ユーザ機器（ＵＥ）１４０２、またはユーザ機器（ＵＥ）１４０２の構成要素（例えば、ディスプレイ１４０７）は、更新されたユーザ情報（例えば、ユーザの視界が動き回るときに更新されたビューポート情報）を取得することができる。そのような更新されたユーザ情報をストリーミングサーバ１４０１に返す。これにより、ストリーミングコントローラ１４０５は、ビットストリーム１４１１を再構成してユーザ機器（ＵＥ）１４０２に送信することができる。例えば、ストリーミングコントローラ１４０５は、ビットストリーム切換え１４２０を実行することによってビットストリーム１４１１を再構成することができる。
様々な実施形態によれば、ストリーミングコントローラ１４０５は、ユーザ機器（ＵＥ）１４０２へのビデオ１４１０のストリーミングを制御することを担当することができる。いくつかの事例では、ストリーミングコントローラ１４０５は、エンコーダまたはエンコーダの構成要素とすることができる。いくつかの事例では、ストリーミングコントローラ１４０５は、エンコーダを含み得るか、またはエンコーダと一緒に機能し得る。ストリーミングコントローラ１４０５は、ユーザ機器（ＵＥ）１４０２からユーザ情報１４１２、例えばユーザ視点情報を受信することができる。例えば、そのようなユーザ視点情報は、ユーザによる視聴領域を示すビューポート情報を含むことができる。次に、ストリーミングコントローラ１４０５は、受信したユーザ情報１４１２に基づいて、ビットストリーム１４１１を作成する（または別のコンポーネントに作成を指示する）ことができる。例えば、ビットストリーム１４１１は、記憶装置１４０３内に格納された適切なビットストリーム１４０４を選択して組み合わせることに基づいて作成することができる。次に、ビットストリーム１４１１は、最適な視聴体験を提供し達成するためにユーザ機器（ＵＥ）１４０２に送信されることができる。
様々な実施形態によれば、ストリーミングコントローラ１４０５は受信したユーザ情報に基づいてビットストリーム切換え１４２０を実行することができる。例えば、視聴者が見回すと、サーバ側で受信されたユーザ情報１４１２はビューポートの変更を示すことができる。ストリーミングコントローラ１４０５は、それに応じてストリーム１４１１内の画像の各セクションについて所望の符号化品質を決定することができる。次に、ストリーミングコントローラ１４０５は、記憶装置１４０３内の格納されたビットストリームから、個々の画像フレーム内の様々なセクションに対する所望の符号化品質を有する符号化データを取得（例えば選択）し、これら取得した情報をビットストリーム１４１１に組み込んでＵＥ１４０２へ送信することができる。
様々な実施形態によれば、エンコーダ１４０８およびデコーダ１４０６のいずれにおいても、ビットストリーム切換え１４２０が実行される前の画像フレームとビットストリーム切換え１４２０が実行された後の画像フレームとの間の望ましくない符号化依存性（例えばフレーム間符号化依存性）が生じることを排除するため、事前に決定されたまたは動的に決定される様々な切換え点でビットストリーム切換え１４２０が実行され得る。様々な実施形態では、ランダムアクセスポイントピクチャの符号化および復号化は一般に別の画像フレームに依存しないため、これらの切換えポイントは様々なコーデック規格で定義されているランダムアクセスポイントとすることができる。例えば、ランダムアクセスポイントピクチャは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、シーケンスヘッダ、シーケンスヘッダ＋１フレームなどであり得る。
様々な実施形態に従って、上記のスキームを使用して、ストリーミングコントローラ１４０５は、画像フレームの異なるセクションのための符号化データをビットストリーム１４１１に組み込むことができる。符号化データは、異なる符号化品質で構成され得る（すなわち、ビットストリーム１４１１内の画像フレーム内の異なるセクションは、異なるレベルの符号化品質を有し得る）。複数のビットストリームを送信することに頼るアプローチとは異なり、上記の方式はマルチチャネル同期を回避する。例えば、ビデオストリームを送信するためのシステムのレイヤは、例えば、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ）、ＨＴＴＰライブストリーミング（ＨＬＳ）、ＭＰＥＧトランスポートストリーム（ＴＳ）などの様々なシステムプロトコルを使用して、同期動作を実行する必要はない。さらに、符号化画像フレーム内の各セクションの位置情報は、画像フレーム内の各セクションの相対位置に従ってカプセル化することができる。したがって、上記の方式は、ＵＥ１４０２において複数のチャネルからの符号化データを組み合わせるためのステップを回避することができる。
様々な実施形態によれば、ビットストリーム切換え１４２０はランダムアクセスポイントで実行され得る。例えば、システムは、ランダムアクセスポイントの前に先行符号化品質を有する符号化データを選択し、ランダムアクセスポイントの後に後続符号化品質を有する符号化データを選択することができる。次いで、システムは、選択された符号化データ（ランダムアクセスポイントの前の先行符号化品質を有する符号化データおよびランダムアクセスポイントの後の後続符号化品質を有する符号化データを含む）をビットストリーム１４１１に組み込んでユーザ機器（ＵＥ）１４０２へ送ることができる。
様々な実施形態によれば、ランダムアクセスポイントは、瞬間復号リフレッシュ（ＩＤＲ）ピクチャを挿入するために使用され得る。様々な実施形態では、ＩＤＲピクチャはフレーム内予測に基づいて符号化することができる。したがって、ＩＤＲピクチャのための符号化データの量は、フレーム間予測を使用して符号化された画像フレーム（たとえば、挿入されたＩＤＲピクチャの前の画像フレームまたはこれに引き続く画像フレーム）のための符号化データの量よりはるかに多くなり得る。さらに、例示的なビットストリーム切換え手法は、視野角に従って分割され得る画像フレーム内のすべての領域またはセクションが同時にビットストリーム切換えを実行することを必要とし得る（すなわち、すべてのエリアまたはセクションは、視点の変化と同時に符号化するためにフレーム間予測に依存し得る）。その結果、ビットストリームの切換えを行うために必要なビットストリームデータの量は、切換え直前のビットストリームデータの量よりもかなり多くなる可能性がある。大量のストリームデータを、例えば安定した（または一定の）チャネルを介してディスプレイに伝送する必要があるため、ＩＤＲピクチャの表示にかなりの遅延を引き起こす可能性がある。したがって、視聴者が視点を変更した後、システムが正しいビットストリームを対応する各視点に切換えるのにかなりの時間がかかる可能性があり、これは視聴経験に悪影響を及ぼす可能性がある。
さらに、視聴者が視点を変更した後、ビデオ１４１０内の次のＩＤＲピクチャが到着したときにビットストリーム切換え１４２０を実行することができる。サーバ側では、ＩＤＲフレームは定期的に（例えば、先行設定されたまたは動的に決定された時間間隔で）挿入されて、いつでも起こり得る視点の変化に対応することができる。このような時間間隔は、システム全体のパフォーマンスとユーザの視聴体験に大きな影響を与える可能性がある。ＩＤＲ画像挿入の間の時間間隔が短ければ、ビットストリーム切換えは頻繁に実行され得る。結果として、圧縮ビデオコードストリームは比較的大きいサイズを有することがある。ＩＤＲ画像挿入の時間間隔が長いと、圧縮ビデオコードストリームのデータ量は少なくなるが、ユーザが視点を変えたときに対応するＩＤＲ画像コードストリームが切り替わるまでにかなりの遅延が生じる可能性がある。これはユーザ体験に悪影響を及ぼす可能性がある。
様々な実施形態によれば、ビットストリーム切換えの実行に起因してＩＤＲ画像を伝送するためのデータ量が増加することによって引き起こされる遅延を低減するために、分散型ＩＤＲピクチャ伝送技術を使用することができる。図１４に示すように、サーバ側では、システムは分散型ＩＤＲ画像転送技術をサポートするために様々な符号化戦略１４０９を採用することができる。例えば、エンコーダ１４０８は、伝送されるデータの最大量を減らすことができるように、異なる時点（またはフレーム）でＩＤＲピクチャの異なる領域またはセクションを符号化するように構成することができる。したがって、システムは、さまざまな伝送ボトルネックポイントでの大幅な遅延を減らすことができる。さらに、ＩＤＲピクチャ挿入サイクル（または期間）は、異なる領域の重要性に従って、特定の視点の対応する領域に対して生成されるデータ量をさらに減らすように構成することができる。また、ＩＤＲピクチャ挿入サイクルは、ビデオ製作者の意図に従ってコンテンツを正確に伝えるために、ユーザの注意（すなわち視点）を導くように構成することができる。
図１５は、本発明の様々な実施形態による、タイルに基づくビデオストリーミングにおける配信型ＩＤＲピクチャ送信のサポートを示す。図１５に示されるように、ビデオストリーム内の個々の画像フレーム１５２０は、領域などの複数のセクションに分割され得る。例えば、各領域は、様々なビデオコーデック規格に従って１つまたは複数のタイルを含むことができる。様々な実施形態において、画像フレーム１５２０内の各領域は、異なる符号化品質を有する複数のビットストリームに対応し得る。
様々な実施形態に従って、格納されたビットストリーム１５１０は、異なる領域に対応する様々なビットストリームグループを含むことができる。図１５に示すように、画像フレーム１５２０内の異なる領域を異なるビットストリームグループに関連付けることができる。例えば、画像フレーム１５２０内のタイル１はビットストリームグループ１５１２に関連付けることができる。画像フレーム１５２０内のタイル２は、ビットストリームグループ１５１１と関連付けることができる。画像フレーム１５２０内のタイル５は、ビットストリームグループ１５１３と関連付けることができる。各ビットストリームグループ、例えばビットストリームグループ１５１１〜１５１３は、異なる符号化品質、例えば高（Ｃ）、中（Ｂ）、および低（Ａ）を有する様々なビットストリームを含むことができる。また、ビットストリームグループ、例えばビットストリームグループ１５１１〜１５１３のそれぞれは、様々なランダムアクセスポイントに周期的に挿入され得るＩＤＲピクチャを含み得る。
様々な実施形態に従って、システムは、異なる領域に対して異なるＩＤＲピクチャ挿入サイクルを構成することができる。領域に関連するＩＤＲピクチャ挿入サイクルは、事前に決定されても動的に決定されてもよい特定の間隔で対応するＩＤＲピクチャ部分を挿入するように構成されてもよい。例えば、タイル２に対応するビットストリームグループ１５１１は、第１の間隔１５２１を使用して構成され得る。タイル１に対応するビットストリームグループ１５１２は、第２の間隔１５２２を使用して構成され得る。タイル５に対応するビットストリームグループ１５１３は、第３の間隔１５２３を使用して構成され得る。さらに、画像フレーム１５２０内の他の様々な領域に対応するより多くのビットストリームグループがあり得る。
様々な実施形態によれば、異なる領域に対応するＩＤＲピクチャ部分は、異なる時点（またはフレーム）で挿入されるように構成することができる。図１５に示すように、異なる領域に対するＩＤＲ画像挿入サイクル１５２１〜１５２３は、（例えば、互いからのオフセットを用いて）異なるように構成することができ、したがってＩＤＲ画像挿入は任意の所与の瞬間に１つ以下の領域に対して実行され得る。言い換えれば、領域に対するビットストリーム切換え操作が実行されるとき、システムは、任意の所与の瞬間に、特定の領域に対応するＩＤＲピクチャの一部分のみがビットストリームにおいて伝送され得ることを保証することができる。他の領域に対応するストリーム内のデータは、非ＩＤＲ画像（すなわち、フレーム間予測を使用して符号化された画像）の一部である。このようにして、システムはボトルネック点での伝送データ量を大幅に削減することができる。
図１６は、本発明の様々な実施形態による、スライスに基づくビデオストリーミングにおける配信型ＩＤＲピクチャ伝送のサポートを示す。図１６に示されるように、ビデオストリーム内の個々の画像フレーム１６２０は、領域などの複数のセクションに分割され得る。例えば、各領域は、様々なビデオコーデック規格に従って１つまたは複数のスライスを含むことができる。様々な実施形態において、画像フレーム１６２０内の各領域は、異なる符号化品質を有する複数のビットストリームに対応し得る。
様々な実施形態によれば、記憶されたビットストリーム１６１０は、異なる領域に対応する様々なビットストリームグループを含むことができる。図１６に示すように、画像フレーム１６２０内の異なる領域を異なるビットストリームグループに関連付けることができる。例えば、画像フレーム１６２０内のスライス１はビットストリームグループ１６１１に関連付けることができる。画像フレーム１６２０内のスライス２は、ビットストリームグループ１６１２と関連付けることができる。画像フレーム１６２０内のスライス３は、ビットストリームグループ１６１３と関連付けることができる。各ビットストリームグループ、例えばビットストリームグループ１６１１〜１６１３は、異なる符号化品質、例えば高 （Ｃ）、中（Ｂ）および低（Ａ）のビットストリームを含むことができる。また、ビットストリームグループ、例えばビットストリームグループ１６１１〜１６１３のそれぞれは、様々なランダムアクセスポイントに周期的に現れるＩＤＲピクチャを含む（または挿入される）ことができる。
様々な実施形態に従って、システムは、異なる領域に対して異なるＩＤＲピクチャ挿入サイクルを構成することができる。特定の領域に関連する各ＩＤＲピクチャ挿入サイクルは、ＩＤＲピクチャの対応する部分を挿入するための間隔で構成され得る。図１６に示されるように、スライス１に対応するビットストリームグループ１６１１は、第１の間隔１６２１を使用して構成され得る。スライス２に対応するビットストリームグループ１６１２は、第２の間隔１６２２を使用して構成され得る。スライス３に対応するビットストリームグループ１６１３は、第３の間隔１６２３を使用して構成され得る。さらに、画像フレーム１６２０内の様々な他の領域（図示せず）に対応する、より多くのビットストリームグループがあり得る。
様々な実施形態によれば、異なる領域に対するＩＤＲピクチャの対応する部分の挿入は、異なる時点（またはフレーム）で発生するように構成することができる。図１６に示すように、異なる領域に対するＩＤＲ画像挿入サイクル１６２１〜１６２３は互いにオフセットしているので、ＩＤＲ画像挿入は任意の所与の時点で限られた数の領域（例えば１つ以下の領域）に対して実行することができる。言い換えれば、ある領域に対するビットストリーム切換え操作が実行されるとき、システムは、任意の所与の時点で、特定の領域に対応するＩＤＲピクチャの一部のみがビットストリームにおいて伝送され得ることを保証され得る。他の領域に対応するストリーム内の符号化データは、非ＩＤＲ画像（すなわち、フレーム間予測を使用して符号化された画像）の一部である。このようにして、システムはボトルネック点での伝送データ量を大幅に削減することができる。
様々な実施形態によれば、プログレッシブビットストリーム切換え技術を採用することができる。例えば、プログレッシブビットストリーム切換え技術は、分散型ＩＤＲピクチャ伝送技術と共に採用されてもよい。システムは、異なる領域間で最適な帯域幅割り当てを達成するために、異なる領域に対して異なるようにＩＤＲピクチャ挿入サイクルを構成することができる。一例では、異なる領域に異なる重要度を割り当てることができ、これを異なる領域のＩＤＲピクチャ挿入サイクルを設定するための基準として使用することができる。別の例では、プログレッシブビットストリーム切換え技術は、ビデオプロデューサの意図に従って視聴者の注意を向けるために、ビデオプロデューサの意図に従って重要度を設定することができる。
様々な実施形態によれば、復号化プロセスにおいて画像データをリフレッシュするためのサイクルを制御するためにＩＤＲピクチャ挿入サイクルを画像内の異なる領域に対して異なるように構成することができ、それが今度は、領域ごとに伝送される必要がある符号化ビットストリームデータの量に影響を及ぼす。したがって、ＩＤＲピクチャ挿入周期が短いほど、より多くの画像がフレーム内予測を使用して符号化され、その結果、符号化プロセスは大量のコードストリームデータを生成することができる。様々な実施形態に従って、異なる領域に対する帯域幅の割り当ては、ＩＤＲピクチャを挿入するための期間に従って制御され得る。例えば、重要度の低い領域よりも重要度の高い領域ほど多くの帯域幅を消費できることが好ましい。これにより、ユーザが視点を重要度の低い領域から重要度の高い領域に変更した場合に、重要領域をより短い符号化品質の画像に素早く切換えることができるように、重要領域をより短いＩＤＲ画像挿入期間で設定することができる。
様々な実施形態によれば、プログレッシブコードストリーム切換え技術は、ビットストリーム切換えが発生した場合でもスムーズなデータストリーム伝送を保証することができる。異なる領域のビットストリームはプログレッシブ方式で切換えることができる。これにより、任意の時点での伝送帯域幅への影響を確実に制御できる。
図１７は、本発明の様々な実施形態による、異なるタイルに関連する重要度評価に基づいてＩＤＲピクチャ挿入サイクルを構成することを示す図の例である。図１７（ａ）および（ｂ）に示すように、画像フレームは複数の部分（例えばタイル１〜９）に分割することができる。さまざまなセクションを構成したり、さまざまな重要度を割り当てたりすることができる。
図１７（ａ）に示す例では、パノラマ図または広角図（例えば、タイル５）の前面または中央領域を高い重要度で構成することができる。他方、後部または周辺領域（例えば、タイル１、３、７および９）は、低い重要度で構成することができる。さらに、他の領域（例えば、タイル３、４、６および８）は、中重要度格付けで構成することができる。対応して、タイル１〜９の各々は、重要度に基づくＩＤＲ画像挿入サイクルで構成することができる。例えば、タイル５は最短のＩＤＲピクチャ挿入サイクルで構成することができる。タイル１、３、７および９は、最長のＩＤＲピクチャ挿入サイクルで構成することができる。また、タイル３、４、６および８）は、中程度のＩＤＲピクチャ挿入サイクルで構成することができる。
図１７（ｂ）に示す例では、ビデオ製作者は視聴者の注意をビデオの上半分に向けたいと思うかもしれない。従って、タイル２は高い重要度で構成することができる。また、周囲の領域（タイル１、３、４、５、６など）は、中重要度で設定できる。さらに、底部（例えば、タイル７、８および９）は、低い重要度評価で構成することができる。対応して、タイル１〜９のそれぞれは、重要度に基づくＩＤＲ画像挿入期間を用いて構成することができる。例えば、タイル２は、最短のＩＤＲピクチャ挿入サイクルで構成することができる。タイル１、３、４、５および６は最長のＩＤＲピクチャ挿入サイクルで構成することができる。そして、タイル７、８および９は、中程度のＩＤＲピクチャ挿入サイクルで構成することができる。
図１８〜図１９は、図１７（ａ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の一例である。例えば、タイル５は最短のＩＤＲピクチャ挿入サイクルで構成することができる。タイル１、３、７および９は、最長のＩＤＲピクチャ挿入サイクルで構成することができる。また、タイル２、４、６および８は、中程度のＩＤＲピクチャ挿入サイクルで構成することができる。
様々な実施形態によれば、記憶されたビットストリーム１８１０は、異なるタイルに対応する様々なビットストリームグループを含むことができる。画像フレーム１８２０内の異なるタイルは、異なるビットストリームグループに関連付けることができる。例えば、画像フレーム１８２０内のタイル１はビットストリームグループ１８１２と関連付けることができる。画像フレーム１８２０内のタイル２は、ビットストリームグループ１８１１と関連付けることができる。画像フレーム１８２０内のタイル５は、ビットストリームグループ１８１３と関連付けることができる。各ビットストリームグループ、例えばビットストリームグループ１８１１〜１８１３は、異なる符号化品質、例えば高（Ｃ）、中（Ｂ）および低（Ａ）のビットストリームを含むことができる。また、ビットストリームグループ、例えばビットストリームグループ１８１１〜１８１３のそれぞれは、様々なランダムアクセスポイントに周期的に現れるＩＤＲピクチャを含む（またはそれと共に挿入される）ことができる。
図１８に示すように、ビューポートは最初にタイル２に位置してもよい（例えば、ユーザがビューの上部に焦点を合わせているとき）。したがって、タイル２に表示するために（例えば、記憶装置から）高い符号化品質を有する符号化データを選択することができる。さらに、中程度の符号化品質を有する符号化データをタイル１、３および５に対して選択することができる。タイル４、６、７、８および９については、中程度の符号化品質を有する符号化データを選択することができる。
次に、図１９に示すように、瞬間Ｔ（Ｍ）にイベントが発生することがあり、それがビットストリームの切換えをトリガする。たとえば、視聴者がビューポートをビューの上部からビューの前部に移動するときなど、視点がタイル2からタイル5に移動すると、システムはそれに応じて各タイルの符号化品質を更新することができる。
分散ＩＤＲ画像伝送技術を使用して、ビットストリームの切換えは、異なるタイルに対して別々に実行され得る。様々な実施形態において、ビットストリームの切換えは、各タイルに対するＩＤＲピクチャの対応する部分が到着する順序で各タイルに対して実行されてもよい。図１９に示す例では、タイル５のＩＤＲピクチャ部分が最初に到着し、次いでシステムは他のタイルの前にタイル５のビットストリーム切換え１９１１を実行することができる。ＩＤＲピクチャ部分の到着の順序に従って、システムは他の領域に対して漸進的にビットストリーム切換えを実行することができる。例えば、タイル２のＩＤＲピクチャ部分は、タイル１のＩＤＲピクチャ部分の前に到着する。そして、タイル２のビットストリームの切換え１９１３は、タイル１のビットストリームの切換え１９１２の前、タイル５のビットストリームの切換え１９１１の後に行われてもよい。ビットストリームの切換えの結果として、高い符号化品質を有する符号化データをタイル５に対して選択することができる。中程度の符号化品質を有する符号化データは、領域２、４、６および８に対して選択することができる。そして、低程度の符号化品質を有する符号化データを領域１、３、７および９に対して選択することができ、それは視聴体験を最適化する。
図２０〜図２１は、図１７（ｂ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の例である。例えば、タイル２は、最短のＩＤＲピクチャ挿入サイクルで構成することができる。のＩＤＲピクチャ挿入サイクルで構成することができる。タイル１、３、４、５および６は、低程度のＩＤＲピクチャ挿入サイクルで構成することができる。そして、タイル７、８および９は、最長のＩＤＲピクチャ挿入サイクルで構成することができる。
様々な実施形態によれば、記憶されたビットストリーム２０１０は、異なるタイルに対応する様々なビットストリームグループを含むことができる。画像フレーム２０２０内の異なるタイルは、異なるビットストリームグループに関連付けることができる。例えば、画像フレーム２０２０内のタイル１は、ビットストリームグループ２０１２と関連付けることができる。画像フレーム２０２０内のタイル２は、ビットストリームグループ２０１１に関連付けることができる。画像フレーム２０２０内のタイル５は、ビットストリームグループ２０１３に関連付けることができる。例えばビットストリームグループ２０１１〜２０１３のようなビットストリームグループの各々は、異なる符号化品質、例えば高（Ｃ）、中（Ｂ）および低（Ａ）のビットストリームを含むことができる。また、ビットストリームグループ２０１１〜２０１３などのビットストリームグループのそれぞれは、様々なランダムアクセスポイントに周期的に現れるＩＤＲピクチャを含む（またはそれとともに挿入される）ことができる。
図２０に示されるように、ビューポートは最初にタイル５に位置し（例えば、ユーザがビューの前部に焦点を合わせているとき）、その後、タイル５で表示するために高符号化品質の符号化データが（例えば記憶装置から）選択され得る。さらに、中程度の符号化品質を有する符号化データをタイル２、４、６および８に対して選択することができる。また、タイル１、３、７、９については、符号化品質の低い符号化データを選択することができる。
図２１に示されるように、イベントが瞬間Ｔ（Ｍ）に発生することがあり、それがビットストリームの切換えをトリガする。例えば、ビューポイントがタイル５からタイル２に移動すると、例えば視聴者がビューポートをビューの前部からビューの上部にビデオプロデューサの意図どおりに移動させると、それに応じてシステムは各タイルの符号化品質を更新することができる。
分散ＩＤＲ画像伝送技術を使用して、ビットストリームの切換えは、異なるタイルに対して別々に実行され得る。図２１に示されるように、各タイルに対するＩＤＲピクチャのそれぞれの部分が到着する順序で各タイルに対してビットストリーム切換えが実行されてもよい。図２１に示される例では、タイル２のＩＤＲピクチャ部分が最初に到着し、次いでシステムは他のタイルの前にタイル２のビットストリーム切換え２１１１を実行することができる。ＩＤＲピクチャ部分の到着の順序に従って、システムは他の領域に対して漸進的にビットストリーム切換えを実行することができる。例えば、タイル５のＩＤＲピクチャ部分は、タイル２のＩＤＲピクチャ部分の後に到着する。そして、タイル２のビットストリーム切換え２１１１の後に、タイル５のビットストリーム切換ええ２１１２を行ってもよい。また、タイル７の符号化品質は変化しないので、タイル７のビットストリームの切換えは不要である。ビットストリームの切換えの結果として、高い符号化品質を有する符号化データをタイル２に対して選択することができる。タイル１、３、４、５および６に対しては、中程度の符号化品質を有する符号化データを選択することができる。そして、低程度の符号化品質を有する符号化データをタイル７、８および９に対して選択することができ、それにより視聴体験が最適化される。
上記の例に示されるように、プログレッシブビットストリーム切換え技術を分散ＩＤＲ画像伝送技術と共に使用することで、システムは、ビットストリーム切換えを実行するための最大帯域幅を減少させながら、重要度の高い領域を大きな遅延なしに迅速にリフレッシュして視聴体験を向上させることができるようにする。
図２２は、本発明の様々な実施形態による、異なるスライスに関連する重要度評価に基づいてＩＤＲピクチャ挿入サイクルを構成することを示す図の一例である。図２２に示すように、画像フレームは、例えばスライス１〜３のように、複数の部分に分割することができる。さまざまなセクションにさまざまな重要度を割り当てることができる。
図22（a）に示す例では、パノラマビューまたは広角ビューの中央領域（例：スライス2）は、より高い重要度で設定できる。この一方、上部と下部の領域（スライス1とスライス3は）低い重要度で設定できる。対応して、スライス１〜３のそれぞれは、重要度に基づくＩＤＲピクチャ挿入サイクルで構成することができる。例えば、スライス２は最短のＩＤＲピクチャ挿入サイクルで構成することができる。スライス1と3は、より長いIDRピクチャ挿入サイクルで構成できる。
図２２（ｂ）に示す例では、ビデオ製作者は視聴者の注意をビデオの上半分に向けることを望むかもしれない。したがって、スライス１は、より高い重要度で構成することができる。他方、残りの領域（例えばスライス２および３）は、より低い重要度で構成することができる。対応して、スライス１〜３のそれぞれは、重要度に基づくＩＤＲ画像挿入期間を用いて構成することができる。例えば、スライス１は最短のＩＤＲピクチャ挿入サイクルで構成することができる。スライス２および３は、より長いＩＤＲピクチャ挿入サイクルで構成することができる。
図２３〜図２４は、図２２（ａ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の例である。例えば、スライス２は最短のＩＤＲピクチャ挿入サイクルで構成することができる。スライス1と3は、より長いIDRピクチャ挿入サイクルで構成できる。
様々な実施形態によれば、記憶されたビットストリーム２３１０は、異なるタイルに対応する様々なビットストリームグループを含むことができる。画像フレーム２３２０内の異なるスライスは、異なるビットストリームグループに関連付けることができる。例えば、画像フレーム２３２０内のスライス１は、ビットストリームグループ２３１１と関連付けることができる。画像フレーム２３２０内のスライス２は、ビットストリームグループ２３１２と関連付けることができる。画像フレーム２３２０内のスライス３は、ビットストリームグループ２３１３と関連付けることができる。各ビットストリームグループ、例えばビットストリームグループ２３１１〜２３１３は、異なる符号化品質、例えば高（Ｃ）、中（Ｂ）および低（Ａ）のビットストリームを含むことができる。また、ビットストリームグループ、例えばビットストリームグループ２３１１〜２３１３のそれぞれは、様々なランダムアクセスポイントに周期的に現れるＩＤＲピクチャを含む（またはそれと共に挿入される）ことができる。
図２３に示すように、ビューポートは最初にスライス１に位置してもよい（例えば、ユーザがビューの上部に焦点を合わせているとき）。したがって、スライス１に表示するために（例えば、記憶装置から）高い符号化品質を有する符号化データを選択することができる。さらに、より低い符号化品質を有する符号化データをスライス２および３に対して選択することができる。
図２４に示されるように、イベントが瞬間Ｔ（Ｍ）に発生することがあり、それがビットストリーム切換えをトリガする。たとえば、視聴者がビューポートをビューの上部からビューの中央部に移動するときなど、視点がスライス1からスライス2に移動すると、システムはそれに応じて各スライスの符号化品質を更新することができる。
分散ＩＤＲ画像伝送技術を使用して、ビットストリームの切換えは、異なるスライスに対して別々に実行され得る。図２４に示されるように、各スライスに対するＩＤＲピクチャのそれぞれの部分が到着する順序で、各スライスに対してビットストリーム切換えが実行されてもよい。例えば、スライス２のＩＤＲピクチャ部分が最初に到着し、次いでシステムは他のスライスの前にスライス２についてビットストリーム切換え２４１２を実行することができる。次に、他のＩＤＲピクチャ部分の到着の順序に従って、システムは他の領域に対してビットストリームの切換えを漸進的に実行することができる。例えば、スライス１のＩＤＲピクチャ部分はスライス３のＩＤＲピクチャ部分の前に到着する。そして、スライス１のビットストリーム切換え２４１３は、スライス３のビットストリーム切換え２４１１の前であってスライス２のビットストリーム切換え２４１２の後に行ってもよい。したがって、ビットストリームの切換えの結果として、スライス２に対して高い符号化品質を有する符号化データを選択することができる。スライス１および３に対して、より低い符号化品質を有する符号化データを選択することができ、それによって視聴体験が最適化される。
図２５〜図２６は、図２２（ｂ）に示されるような例示的な構成に基づいてサーバ側でビットストリーム切換えを実行することを示す図の例である。例えば、スライス１は最短のＩＤＲピクチャ挿入サイクルで構成することができる。スライス2および3は、より長いIDRピクチャ挿入サイクルで構成できる。
様々な実施形態によれば、記憶されたビットストリーム２５１０は、異なるタイルに対応する様々なビットストリームグループを含むことができる。画像フレーム２５２０内の異なるスライスは、異なるビットストリームグループに関連付けることができる。例えば、画像フレーム２５２０内のスライス１は、ビットストリームグループ２５１１に関連付けることができる。画像フレーム２５２０内のスライス２は、ビットストリームグループ２５１２に関連付けることができる。画像フレーム２５２０内のスライス３は、ビットストリームグループ２５１３と関連付けることができる。各ビットストリームグループ、例えばビットストリームグループ２５１１〜２５１３は、異なる符号化品質、例えば高(C）、中(B）および低(A）のビットストリームを含むことができる。また、ビットストリームグループ、例えばビットストリームグループ２５１１〜２５１３のそれぞれは、様々なランダムアクセスポイントに周期的に現れるＩＤＲピクチャを含む（またはそれと共に挿入される）ことができる。
図２５に示すように、ビューポートは最初にスライス２に位置してもよい（例えば、ユーザがビューの前部に焦点を合わせているとき）。したがって、スライス２に表示するために（例えば、記憶装置から）高い符号化品質を有する符号化データを選択することができる。さらに、スライス１および３に対して、より低い符号化品質を有する符号化データを選択することができる。
次に、図２６に示すように、瞬間Ｔ（Ｍ）にイベントが発生することがあり、それがビットストリームの切換えをトリガする。例えば、ビデオ製作者の意図通りに視聴者がビューポートをビューの正面部分からビューの上部部分に移動させた場合、視点はスライス２からスライス１へ移動するので、それに応じてシステムは、各スライスの符号化品質を更新することができる。
分散ＩＤＲ画像伝送技術を使用し、ビットストリームの切換えは、異なるスライスに対して別々に実行され得る。図２６に示されるように、ＩＤＲピクチャのそれぞれの部分が到着する順序で個々のスライスに対してビットストリームの切換えが実行されてもよい。図２６に示される例では、スライス１のＩＤＲピクチャ部分が最初に到着し、次いでシステムは他のタイルの前にスライス１のビットストリーム切換え２６１１を実行することができる。ＩＤＲピクチャ部分の到着の順序に従って、システムは他の領域に対して漸進的にビットストリーム切換えを実行することができる。例えば、スライス２のＩＤＲピクチャ部分は、スライス１のＩＤＲピクチャ部分の後に到着する。そして、スライス１のビットストリーム切換え２５１１の後に、スライス２のビットストリーム切換え２５１２を行ってもよい。また、スライス３では符号化品質に変化がないため、スライス３に対してビットストリームの切換えを行う必要がない。ビットストリームの切換えの結果として、スライス１に対して高い符号化品質を有する符号化データを選択することができる。スライス２および３に対して、より低い符号化品質を有する符号化データを選択することができ、それによって視聴体験が最適化される。
上記の例に示されるように、プログレッシブビットストリーム切り替え技術を分散ＩＤＲ画像伝送技術と共に使用することで、システムは、ビットストリーム切り替えを実行するための最大帯域幅を減少させながら、重要度の高い領域を大きな遅延なしに迅速にリフレッシュして視聴体験を向上できるようにする。
図２７は、本発明の様々な実施形態による、ビデオストリーミングにおけるビットストリーム切換えをサポートするためのフローチャートを示す図の一例である。図２７に示すように、ステップ２７０１において、システムは、一連の画像フレーム内の各画像フレームを複数のセクションに分割する方式を使用することができ、複数のセクションは少なくとも第１セクションと第２セクションとを含む。ステップ２７０２において、システムは、第１セクションについて異なる符号化品質の第１セットの符号化データを取得することができ、第２セクションについて異なる符号化品質の第２セットの符号化データを取得することができる。ステップ２７０３において、システムは、第１セクションの符号化品質の変化に対応する第１切換え点を決定し、第２セクションの符号化品質の変化に対応する第２切換え点を決定することができる。ステップ２７０４において、システムは、第１セットの符号化データから、第１切り替え点の前の第１の先行符号化品質を有する符号化データと、第１切換え点の後の第１の後続符号化品質を有する符号化データとを選択できる。ステップ２７０５において、システムは、第２切換え点の前の第２の先行符号化品質を有する符号化データと、第２切換え点の後の第２の後続符号化品質を有する符号化データとを第２セットの符号化データから選択することができる。ステップ２７０６において、システムは選択された符号化データをビットストリームに組み込むことができる。
図２８〜図２９は、図１７（ａ）に示すような構成例に基づいて端末側でビットストリーム切換えを実行することを示す図の例である。例えば、タイル５は最短のＩＤＲピクチャ挿入サイクルで構成することができる。タイル１、３、７および９は、最長のＩＤＲピクチャ挿入サイクルで構成することができる。また、タイル２、４、６および８は、中程度のＩＤＲピクチャ挿入サイクルで構成することができる。
図２８に示すように、ビューポートは最初にタイル２に位置してもよい（例えば、ユーザがビューの上部に焦点を合わせているとき）。したがって、表示のために、高いコーディング品質を有するバイナリデータをタイル２で（たとえばストリーミングサーバから）受信することができる。さらに、中程度の符号化品質を有するバイナリデータが、タイル１、３および５について受信され得る。そして、タイル４、６、７、８および９について、低程度の符号化品質を有するバイナリデータを受信することができる。
図２９に示されるように、イベントが瞬間Ｔ（Ｍ）に発生することがあり、それがビットストリーム切換えをトリガする。例えば、視点がタイル２からタイル５に移動すると（例えば、視聴者がビューポートをビューの上部からビューの前部に移動すると）、システムはそれに応じて各タイルの符号化品質を更新することができる。
分散ＩＤＲ画像伝送技術を使用して、ビットストリームの切換えは、異なるタイルに対して別々に実行され得る。様々な実施形態において、各タイルに対するＩＤＲピクチャのそれぞれの部分が到着する順序で、タイルに対してビットストリーム切換えを実行することができる。図２９に示される例では、タイル５のＩＤＲピクチャ部分が最初に到着し、次いでシステムは他のタイルの前にタイル５のビットストリーム切換え２９１１を実行することができる。次いで、ＩＤＲピクチャ部分の到着の順序に従って、システムは他の領域に対して漸進的にビットストリーム切換えを実行することができる。例えば、タイル２のＩＤＲピクチャ部分は、タイル１のＩＤＲピクチャ部分の前に到着する。そして、タイル２のビットストリーム切換え２９１２は、タイル１のビットストリーム切換え２９１３の前であるが、タイル５のビットストリーム切換え２９１１の後に実行されてもよい。したがって、ビットストリームの切換えおよび復号の結果として、符号化品質の高い画像データをタイル５に表示することができる。タイル２、４、６および８については、中程度の符号化品質の画像データを表示することができる。また、タイル1、3、7および9には、コーディング品質の低い画像データを選択できるため、視聴環境が最適化される。
図３０〜図３１は、図１７（ｂ）に示されるような例示的な構成に基づいて端末側でビットストリーム切換えを実行することを示す図の例である。例えば、タイル２は、最短のＩＤＲピクチャ挿入サイクルで構成することができる。タイル１、３、４、５および６は、中程度のＩＤＲピクチャ挿入サイクルで構成することができる。そして、タイル７、８および９は、最長のＩＤＲピクチャ挿入サイクルで構成することができる。
図３０に示されるように、ビューポートは最初にタイル５に位置し（例えば、ユーザがビューの前部に焦点を合わせているとき）、次に高コーディング品質のバイナリデータを（例えばストリーミングサーバから）受信してタイル５に表示することができる。さらに、中程度の符号化品質を有するバイナリデータをタイル２、４、６および８について受信することができる。そして、タイル１、３、７、９については、符号化品質の低い２値データを受信することができる。
図３１に示されるように、瞬間Ｔ（Ｍ）でイベントが発生することがあり、それがビットストリームの切換えをトリガする。例えば、ビューポイントがタイル５からタイル２に移動する、例えばビデオプロデューサの意図どおりに視聴者がビューポートをビューの前部からビューの上部に移動させると、システムはそれに応じて各タイルのコーディング品質を更新することができる。
分散ＩＤＲ画像伝送技術を使用して、ビットストリームの切換えは、異なるタイルに対して別々に実行され得る。様々な実施形態では、各タイルに対するＩＤＲピクチャのそれぞれの部分が到着する順序で各タイルに対してビットストリーム切換えを実行することができる。図３１に示す例では、タイル２のＩＤＲピクチャ部分が最初に到着し、次いでシステムは他のタイルの前にタイル２のビットストリーム切換え３１１１を実行することができる。それぞれのＩＤＲピクチャ部分の到着の順序に従って、システムは他の領域に対して段階的にビットストリーム切換えを実行することができる。例えば、タイル５のＩＤＲピクチャ部分は、タイル２のＩＤＲピクチャ部分の後に到着する。そして、タイル２のビットストリーム切換え３１１１の後に、タイル５のビットストリーム切換え３１１２を行ってもよい。さらに、タイル７では符号化品質に変化がないので、ビットストリームの切換えをタイル７に対して実行する必要はない。ビットストリームの切換えの結果として、符号化品質の高い画像データをタイル２に対して表示することができる。タイル１、３、４、５および６については、中程度の符号化品質の画像データを表示することができる。そして、低程度の符号化品質を有する画像データをタイル７、８および９について表示することができ、それによって視聴体験が最適化される。
上記の例に示されるように、プログレッシブビットストリーム切換え技術を分散ＩＤＲ画像伝送技術と共に使用することで、システムは、ビットストリーム切換えを実行するための最大帯域幅を減少させながら、重要度の高い領域を大きな遅延なしに迅速にリフレッシュして視聴体験を向上させることができるようにする。
図３２〜図３３は、図２２（ａ）に示すような例示的な構成に基づいて端末側でビットストリーム切換えを実行することを示す図の例である。例えば、スライス２は最短のＩＤＲピクチャ挿入サイクルで構成することができ、スライス１および３はより長いＩＤＲピクチャ挿入サイクルで構成することができる。
図３２に示すように、ビューポートは最初にスライス１に位置してもよい（例えば、ユーザがビューの上部に焦点を合わせているとき）。したがって、スライス１で表示するために（例えばストリーミングサーバから）高い符号化品質を有する画像データを受信することができる。さらに、より低い符号化品質を有する画像データをスライス２および３について受信することができる。
図３３に示されるように、瞬間Ｔ（Ｍ）にイベントが発生することがあり、それがビットストリームの切換えをトリガする。たとえば、視聴者がビューポートをビューの上部からビューの中央部に移動するときなど、視点がスライス1からスライス2に移動すると、システムはそれに応じて各スライスの符号化品質を更新することができる。
分散ＩＤＲ画像伝送技術を使用して、ビットストリームの切換えは、異なるスライスに対して別々に実行され得る。図３３に示されるように、ビットストリーム切換えは、ＩＤＲピクチャのそれぞれの部分が到着する順序で個々のスライスに対して実行され得る。図３３に示される例では、スライス２のＩＤＲピクチャ部分が最初に到着し、次いでシステムは他のスライスの前にスライス２のビットストリーム切換え３４１２を実行することができる。次に、他のＩＤＲピクチャ部分の到着の順序に従って、システムは他の領域に対してビットストリームの切換えを漸進的に実行することができる。例えば、スライス１のＩＤＲピクチャ部分はスライス３のＩＤＲピクチャ部分の前に到着する。そして、スライス１のビットストリーム切換え３３１３は、タイル３のビットストリーム切換え３３１１の前であるが、スライス２のビットストリーム切換え３３１２の後に行われてもよい。したがって、ビットストリームの切換えの結果として、スライス２に対して高い符号化品質の画像データを表示することができる。スライス１および３について、中程度の符号化品質を有する画像データを表示することができ、それによって視聴体験が最適化される。
図３４〜図３５は、図２２（ｂ）に示されるような例示的な構成に基づいて端末側でビットストリーム切換えを実行することを示す図の例である。例えば、スライス１は最短のＩＤＲピクチャ挿入サイクルで構成することができる。スライス２および３は、より長いＩＤＲピクチャ挿入サイクルで構成することができる。
図３４に示されるように、ビューポートは最初にスライス２に位置し（例えば、ユーザがビューの前部に焦点を合わせているとき）、次に高コーディング品質のバイナリデータを（例えばストリーミングサーバから）受信してスライス２に表示することができる。さらに、より低い符号化品質を有するバイナリデータをスライス１および３について受信することができる。
図３５に示されているように、瞬間Ｔ（Ｍ）でイベントが発生することがあり、それがビットストリームのスイッチングをトリガする。例えば、視点がスライス２からスライス１に移動すると（例えば、ビデオ製作者の意図通りに視聴者がビューポートをビューの前部からビューの上部に移動すると）、システムはそれに応じて各スライスについて符号化品質更新することができる。
分散ＩＤＲ画像伝送技術を使用して、ビットストリームの切換えは、異なるスライスに対して別々に実行され得る。図３５に示されるように、各スライスに対するＩＤＲピクチャのそれぞれの部分が到着する順序で、各タイルに対してビットストリーム切換えを実行することができる。図３５に示される例では、スライス１のＩＤＲピクチャ部分が最初に到着し、システムは他のタイルの前にスライス１のビットストリーム切換え３５１１を実行することができる。ＩＤＲピクチャ部分の到着の順序に従って、システムは他の領域に対して漸進的にビットストリーム切換えを実行することができる。例えば、スライス２のＩＤＲピクチャ部分は、スライス１のＩＤＲピクチャ部分の後に到着する。そして、スライス２のビットストリーム切換え３５１２は、スライス１のビットストリーム切換え３５１１の後、スライス３のビットストリーム切換え３５１３の前に行ってもよい。ビットストリームの切換えの結果として、スライス１に対して高い符号化品質の画像データを表示することができる。そして、より低い符号化品質を有する画像データをスライス２および３について表示することができ、それによって視聴体験が最適化される。特に、ビューポートがスライス３から離れるので、スライス３は、中符号化品質から低符号化品質に切換えられ得る。
上記の例に示されるように、プログレッシブビットストリーム切換え技術を分散ＩＤＲ画像伝送技術と共に使用することで、システムは、ビットストリーム切換えを実行するための最大帯域幅を減少させながら、重要度の高い領域を大きな遅延なしに迅速にリフレッシュして視聴体験の向上を可能にする。
図３６は、本発明の様々な実施形態による、ビデオストリーミングをサポートするためのフローチャートを示す図の一例である。図３６に示すように、ステップ３６０１において、システムは、一連の画像フレームを再構成するためのバイナリデータを含むビットストリームを受信することができ、一連の画像フレーム内の各画像フレームは分割方式に基づいて複数のセクションに分割される。複数のセクションは少なくとも第１セクションと第２セクションとを含む。ステップ３６０２において、システムはバイナリデータから第１の再構成画像フレームを生成することができ、第１の再構成画像フレームは第１セクションのための第１の再構成画像データと、第２セクションのための第１の再構成画像データを含む。第１セクションの符号化品質の変化に対応する第１切換え点の前に第１の再構成画像フレームがある場合、第１セクションの第１の再構成画像データは第１の先行符号化品質で再構成できる。第２の再構成画像フレームが第２セクションの符号化品質の変化に対応する第２切換え点の前にあるとき、第２セクションは第２の先行符号化品質で再構成することができる。ステップ３６０２において、システムはバイナリデータから第２の再構成画像データを生成することができ、第２の再構成画像フレームは、第１セクションのための第２の再構成画像データと、第２セクションのための第２の再構成画像データとを含む。第１の再構成画像フレームが第１切換え点の後にあるとき、第１セクションのための第２の再構成画像データは第１の事後符号化品質で再構成され、第２の再構成画像フレームが第２切換え点の後にあるとき、第１セクションのための第２の再構成画像データは第２の事後符号化品質で再構成される。
（Ｂ）ビデオストリーミング装置
図３７は、本発明の様々な実施形態に従った、可動プラットフォーム環境を示す図の一例である。図３７に示すように、可動プラットフォーム環境３７００内の可動プラットフォーム３７１８（可動物体とも呼ばれる）は、支持機構３７０２および搭載物３７０４を含むことができる。可動プラットフォーム３７１８は航空機として描くことができるが、この描写は限定を意図するものではなく、任意の適切な種類の可動プラットフォームを使用することができる。当業者は、航空機システムに関して本明細書で説明されている実施形態のいずれもが任意の適切な可動プラットフォーム（例えば、無人航空機（ＵＡＶ；ＵＮＭＡＮＮＥＤ ＡＥＲＩＡＬ ＶＥＨＩＣＬＥ））に適用できることを理解するであろう。いくつかの事例では、搭載物３７０４は、支持機構３７０２を必要とせずに可動プラットフォーム３７１８上に提供され得る。本発明の様々な実施形態によれば、様々な実施形態または特徴は、可動プラットフォーム３７１８（例えば、ＵＡＶ）の動作において実施することができ、またはその動作に有益であり得る。
いくつかの実施形態では、可動プラットフォーム３７１８は、１つまたは複数の移動機構３７０６（例えば推進機構）、検知システム３７０８および通信システム３７１０を含み得る。移動機構３７０６は、回転子、プロペラ、ブレード、エンジン、モータ、ホイール、アクスル、磁石、ノズル、または動物もしくは人間が移動を実行するために使用することができる任意の機構のうちの１つまたは複数を含むことができる。例えば、可動プラットフォームは、１つ以上の推進機構を有してもよい。移動機構３７０６は全て同じタイプでもよいし、異なる種類の移動機構であってもよい。移動機構３７０６は、支持要素（例えば駆動軸）などの任意の適切な手段を使用して、可動プラットフォーム３７１８に取り付けることができる（またはその逆に可動プラットフォーム３７１８を移動機構３７０６に取り付けることもできる）。移動機構３７０６は、可動プラットフォーム３７１８の任意の適切な部分に取り付けることができ、例えばその上部、底部、前面、後面、側面、またはそれらの適切な組み合わせなどに取り付け可能である。
いくつかの実施形態では、移動機構３７０６は、可動プラットフォーム３７１８の水平移動を必要とせずに（例えば滑走路を下ることなく）可動プラットフォーム３７１８が地面や物体の表面から垂直に発進しまたは垂直に降りることを可能にする。任意選択で、移動機構３７０６は、可動プラットフォーム３７１８が特定の位置および向きの少なくともいずれかで空中に浮かぶことを可能にするように動作可能であり得る。１つ以上の移動機構３７０６は他の移動機構とは独立して制御されてもよい。代替的に、移動機構３７０６は同時に制御されるように構成することができる。例えば、可動プラットフォーム３７１８は、可動プラットフォームに揚力および推力の少なくともいずれかを提供することができる複数の水平配向ロータを有することができる。複数の水平方向ロータは、可動プラットフォーム３７１８に垂直離陸、垂直着地およびホバリング能力を提供するように作動させることができる。いくつかの実施形態において、１つ以上の水平配向ロータは時計回り方向に回転し得、一方１つ以上の水平回転子は反時計回り方向に回転し得る。例えば、時計回りの回転子の数は、反時計回りの回転子の数と等しくてもよい。各水平ロータの回転速度は、各ロータによって生じる揚力および推力の少なくともいずれかを独立に制御し、それによって可動プラットフォーム３７１８の空間配置、速度および加速度の少なくとも一つを（例えば、互いに交差する３方向までの並進および該３方向の各々を中心とする３回転までに関して）調整するために変えることができる。
検知システム３７０８は、（例えば、様々な並進角度および様々な回転角度に関して）可動プラットフォーム３７１８の空間配置、速度および加速度の少なくともいずれかを検知することができる１つまたは複数のセンサを含むことができる。１つまたは複数のセンサは、ＧＰＳセンサ、モーションセンサ、慣性センサ、近接センサ、または画像センサを含む任意のセンサを含み得る。検知システム３７０８によって提供される感知データは、（例えば、適切な処理ユニットおよび制御モジュールの少なくともいずれかを使用して）可動プラットフォーム３７１８の空間配置、速度および向きの少なくともいずれかを制御するために使用することができる。あるいは、検知システム１０８を使用して、気象条件、潜在的な障害物への近接、地理的特徴の位置、人工構造物の位置など、移動可能プラットフォームを囲む環境に関するデータを提供することができる。
通信システム３７１０は、無線信号３７１６を介して通信システム３７１４を有する端末３７１２との通信を可能にする。通信システム３７１０、３７１４は、無線通信に適した任意の数の送信機、受信機および送受信機の少なくともいずれかを含み得る。通信は一方向通信でもよく、それによりデータは一方向にのみ送信され得る。例えば、一方向通信は、データを端末３７１２に送信する可動プラットフォーム３７１８のみを含むことができ、またはその逆も可能である。データは、通信システム３７１０の１つ以上の送信機から通信システム３７１２の１つ以上の受信機に送信されてもよく、またはその逆でもよい。あるいは、通信は、データが可動プラットフォーム３７１８と端末３７１２との間で両方向に送信され得るように、双方向通信であり得る。双方向通信は、通信システム３７１０の１つ以上の送信機から通信システム３７１４の１つ以上の受信機へデータを送信することを含むことができ、逆もまた同様である。
いくつかの実施形態では、端末３７１２は、１つまたは複数の可動プラットフォーム３７１８、支持機構３７０２および搭載物３７０４に制御データを提供することができ、また、１つまたは複数の可動プラットフォーム３７１８、支持機構３７０２および搭載物３７０４からの情報を受信することができる。これらの情報は、例えば、可動プラットフォーム、支持機構または搭載物の位置および動き情報の少なくともいずれか、例えば搭載物カメラによって取得された画像データなど搭載物によって感知されたデータ、および搭載物カメラによって取得された画像データから生成されたデータなどを含む。いくつかの事例では、端末からの制御データは、相対位置、移動、作動、または可動プラットフォーム、支持機構および搭載物の少なくともいずれかを制御するための命令を含み得る。例えば、制御データは、（例えば、移動機構３７０６の制御を介して）可動プラットフォームの位置および向きの少なくともいずれかを変更すること、又は（例えば、移動機構３７０６を介して）可動プラットフォームに対し（支持機構3702の制御を介して）搭載物を移動させることができる。端末からの制御データは、カメラまたは他の画像取得装置の動作の制御（たとえば、静止画または動画の撮影、ズームインまたはズームアウト、オンまたはオフ、撮像モードの切換え、画像解像度の変更、焦点の変更、被写界深度の変更、露光時間の変更、視野角または視野の変更）などの搭載物の制御をもたらし得る。
いくつかの例では、可動プラットフォーム、支持機構および搭載物の少なくともいずれかからの通信は、（たとえば、検知システム３７０８または搭載物３７０４の）１つまたは複数のセンサからの情報および検知情報の少なくともいずれかに基づいて生成されたデータを含み得る。通信は、１つまたは複数の異なる種類のセンサ（例えば、ＧＰＳセンサ、動きセンサ、慣性センサ、近接センサ、または画像センサ）からの検知情報を含むことができる。そのような情報は、可動プラットフォーム、支持機構および搭載物の位置（例えば、位置、向き）、動き、並びに加速度の少なくともいずれかに関するものであり得る。搭載物からのそのような情報は、搭載物によって捕捉されたデータまたは搭載物の感知された状態を含み得る。端末３７１２によって送信された制御データは、可動プラットフォーム３７１８、支持機構３７０２、または搭載物３７０４のうちの１つまたは複数の状態を制御するように構成され得る。これに代えて、またはこれと組み合わて、支持機構３７０２および搭載物３７０４は、端末３７１２が可動プラットフォーム３７１８、支持機構３７０２および搭載物３７０４のそれぞれと独立して通信および制御できるように、端末３７１２と通信するように構成された通信モジュールをそれぞれ含むこともできる。
いくつかの実施形態では、可動プラットフォーム３７１８は、端末３７１２に加えて、または端末３７１２の代わりに別の遠隔装置と通信するように構成することができる。端末３７１２はまた、可動プラットフォーム３７１８と同様に他の遠隔装置と通信するように構成されてもよい。例えば、可動プラットフォーム３７１８および端末３７１２の少なくともいずれかは、他の可動プラットフォーム、または他の可動プラットフォームの支持機構もしくは搭載物と通信することができる。必要に応じて、遠隔装置は第２の端末または他のコンピューティング装置（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、または他のモバイル装置）であり得る。遠隔装置は、可動プラットフォーム３７１８へのデータを送信、可動プラットフォーム３７１８からのデータ受信、端末３７１２へのデータ送信、および、端末３７１２からのデータ受信の少なくともいずれかを行うように構成することができる。任意選択で、遠隔装置は、可動プラットフォーム３７１８および端末３７１２の少なくともいずれかから受信したデータをウェブサイトまたはサーバにアップロードできるように、インターネットまたは他の電気通信ネットワークに接続することができる。
本発明の多くの特徴は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせにおいて、それらを使用して、またはそれらを使用して実行することができる。その結果、上述したビデオストリーミング方法の一連の手順は、プログラムに組み込んで（例えば、１つまたは複数のプロセッサを含む）コンピュータ処理システムを使用して実施することができる。例示的なプロセッサとして、１つまたは複数の汎用のマイクロプロセッサ（例えば、シングルまたはマルチコアプロセッサ）、特定用途向け集積回路、特定用途向け命令セットプロセッサ、グラフィック処理ユニット、物理処理ユニット、デジタル信号処理ユニット、コプロセッサ、ネットワーク処理ユニット、音声処理ユニット、暗号化処理ユニットなどを含み得るが、これらに限定されるものではない。
（Ｃ）プログラムおよび記録媒体
上述したビデオストリーミング方法の一連の手順をコンピュータに実行させるプログラムとしてフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読込ませて実行させてもよい。
記録媒体は、磁気ディスクや光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、および光磁気ディスク等の携帯可能なものに限定されず、ハードディスク装置やリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気または光学カード、ナノシステム（分子メモリＩＣを含む）、または命令およびデータの少なくともいずれかの格納に適した任意の種類の媒体またはデバイスを含み得るが、これらに限定されない。
また、上述したビデオストリーミング方法の一連の手順を組込んだプログラムをインターネット等の通信回線（無線通信を含む）を介して頒布してもよい。さらに、上述したビデオストリーミング方法の一連の手順を組込んだプログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、又は記録媒体に収納して頒布してもよい。
上述した実施形態の特徴は、機械可読媒体（媒体）のいずれか１つに記憶されると、処理システムのハードウェアを制御し、その結果を利用して処理システムが他の機構と対話できるようにするソフトウェアおよびファームウェアの少なくともいずれかに組み込むことができる。そのようなソフトウェアまたはファームウェアは、アプリケーションコード、デバイスドライバ、オペレーティングシステムおよび実行環境／コンテナを含み得るが、それらに限定されない。
実施形態の特徴は、例えば特定用途向け集積回路（ＡＳＩＣ）およびフィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイスなどのハードウェアコンポーネントを使用してハードウェアで実施することもできる。本明細書に記載されている機能を実行するためのハードウェアステートマシンの実装は、当業者には明らかであろう。
さらに、本発明は、本発明の教示に従ってプログラムされた１つまたは複数のプロセッサ、メモリおよびコンピュータ可読記憶媒体の少なくともいずれかを含む、１つまたは複数の従来の汎用もしくは専用デジタルコンピュータ、コンピューティング装置、機械、またはマイクロプロセッサを使用して都合よく実施できる。ソフトウェア技術の当業者には明らかなように、適切なソフトウェアコーディングは、本開示の教示に基づいて熟練したプログラマによって容易に準備されることができる。
本発明の様々な実施形態を上記で説明してきたが、それらは限定ではなく例として提示されていることを理解されたい。当業者には、本発明の精神および範囲から逸脱することなく、形態および詳細において様々な変更を加えることができることが明らかであろう。
（Ｃ）その他
以上、特定の機能の実行およびそれらの関係を示す機能的構成要素を用いて本発明を説明した。これらの機能的構成要素の境界は、説明の便宜上、本明細書においてしばしば任意に定義されている。特定の機能およびそれらの関係が適切に実行される限り、代替の境界を定義することができる。したがって、そのような代替の境界はいずれも本発明の範囲および精神の範囲内である。
本発明の上記説明は、例示および説明を目的として提供されたものである。網羅的であること、または本発明を開示された正確な形態に限定することを意図するものではない。本発明の広さおよび範囲は、上記の例示的な実施形態のいずれによっても限定されるべきではない。当業者には多くの修正形態および変形形態が明らかであろう。修正形態および変形形態は、開示された特徴の任意の関連する組み合わせを含む。実施形態は、本発明の原理およびその実際的な用途を最もよく説明するために選択され説明され、それによって当業者が様々な実施形態および企図される特定の用途に適した様々な修正と共に本発明を理解することができる。本発明の範囲は、添付の特許請求の範囲およびそれらの均等物によって定義されることが意図されている。
以上、添付の図面を参照しながら本発明の実施の形態を説明したが、これらは発明の容易な理解のためになされたものであり、これらをもって本発明の特許請求の範囲を限定するものではない。上述の実施の形態に付与した番号は、記載上の便宜を図るためのものに過ぎず、特に実施形態の優劣を示すものではない。また、フローチャートでは論理的な順序を示したが、特定の状況においては、記載されたステップを異なる順序で実行することもできる。
１０１：マッピング
１０２：予測
１０３：変換
１０４：量子化
１０５：エントロピー符号化
２００：正四角形投影
３００：立方体面投影
５００，１４００，：ビデオストリーミング環境
５０１，１４０１：ストリーミングサーバ
５０２，１４０２：ユーザ機器（ＵＥ）
５０３，１４０３：記憶装置
５０４，７０２，１１０２，１４０４：記憶されたビットストリーム
５０５，１４０５：ストリーミングコントローラ
５０６，１４０６：デコーダ
５０７，１４０７：ディスプレイ
５０８，１４０８：エンコーダ
５１０，１４１０：ビデオ
６００：画像分割方式
７００，１１００：サーバ
７０１：画像シーケンス
７１０，１１１０：品質Ａ
７２０，１１２０：品質Ｂ
７３０，１１３０：品質Ｃ
８０２：タイルベースの分割
８０４，１２０４：符号化データ
８０５：ビットストリーム
８１１，１２１１：画像フレーム
１４２０：ビットストリーム切換え
１２０２：スライスベースの分割
Ａ，Ｂ：セクション
Ｔ（Ｍ）：イベント発生の瞬間

Claims (17)

  1. 一連の画像フレーム内の各画像フレームを、少なくとも第１セクションと第２セクションとを含む複数のセクションに分割する方式を使用するステップと、
    第１セクションについて符号化品質が異なる第１セットの符号化データを取得し、第２セクションについて符号化品質が異なる第２セットの符号化データを取得するステップと、
    前記第１セクションの符号化品質の変化に対応する第１切換え点を決定し、第２セクションの符号化品質の変化に対応する第２切換え点を決定するステップと、
    第１切換え点の前の第１の先行符号化品質を有する符号化データと第１切換え点の後の第１の後続符号化品質を有する符号化データとを第１セットの符号化データから選択するステップと、
    第２切換え点の前に第２の先行符号化品質を有する符号化データと第２切換え点の後に第２の後符号化品質を有する符号化データとを第２セットの符号化データから選択するステップと、
    選択された符号化データをビットストリームに組み込むステップと、
    を備える、ビデオストリーミング方法。
  2. 前記第１切換え点において選択された符号化データは、前記第１セクションに対する第１の事後符号化品質を有する第１のリフレッシュ部分を含み、
    前記第２切換え点において選択された符号化データは、第２の後続符号化品質を有する第２のリフレッシュ部分を含む、請求項１に記載のビデオストリーミング方法。
  3. 前記第１のリフレッシュ部分は第１の瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャの一部分を含み、前記第２のリフレッシュ部分は瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャの第２の部分を含む、請求項２に記載のビデオストリーミング方法。
  4. 前記第１セクションの符号化品質の変化および前記第２セクションの符号化品質の変化は、イベントによって引き起こされ、
    前記第１セクションについての前記第１切換え点は、前記第２セクションについての前記第２切換え点と異なる、請求項１に記載のビデオストリーミング方法。
  5. 前記第１セクションは、第１セットの周期的ランダムアクセスポイントと関連付けられ、前記第２セクションは、第２セットの周期的ランダムアクセスポイントと関連付けられる、請求項４に記載のビデオストリーミング方法。
  6. 前記第１セクションの前記第１切換え点は、前記イベントの後の前記第１セットの周期的ランダムアクセスポイントの第１のランダムアクセスポイントに基づいて決定され、前記第２セクションの前記第２切換え点は、前記イベント後の前記第２セットの周期的ランダムアクセスポイントの第２ランダムアクセスポイントに基づいて決定される、請求項５に記載のビデオストリーミング方法。
  7. 第１セットの量子化パラメータを用い、前記第１セクションについて異なる符号化品質で前記第１セットの符号化データを生成し、第２セットの量子化パラメータを用い、前記第２セクションについて異なる符号化品質で前記第２セットの符号化データを生成する、ことをさらに備える請求項１に記載のビデオストリーミング方法。
  8. ビデオストリーミング方法であって、
    少なくとも第１セクションおよび第２セクションを含み、分割方式に基づいてそれぞれ複数のセクションに分割された一連の画像フレームを再構成するためのバイナリデータを含むビットストリームを受け取るステップと、
    前記バイナリデータから、第１セクションのための第１の再構成画像データと第２セクションのための第１の再構成画像データとを含む第１の再構成画像フレームを生成するステップと、
    前記バイナリデータから、第１セクションのための第２の再構成画像データと第２セクションのための第２の再構成画像データとを含む第２の再構成画像フレームを生成するステップと、
    を備え、
    前記第２セクションについての符号化品質の変化に対応する第２切換え点の前に前記第２の再構成画像フレームがあるとき、第２セクションのための前記第１の再構成画像データは第２の先行符号化品質で再構成され、
    前記第１セクションについての符号化品質の変化に対応する第２切換え点の前に前記第２の再構成画像フレームがあるとき、第２セクションのための前記第１の再構成画像データは第２の先行符号化品質で再構成され、
    前記第１の再構成画像フレームが第１切換え点の後であるときに前記第１セクションの前記第２の再構成画像データが第１の事後符号化品質で再構成されること、および、前記第２の再構成画像フレームが第２切換え点の後にあるときに前記第１セクションについての前記第２の再構成画像データは第２の後続符号化品質で再構成されることの少なくともいずれかである、ビデオストリーミング方法。
  9. 前記第１セクションは第１セットの周期的ランダムアクセスポイントと関連付けられ、前記第２セクションは第２セットの周期的ランダムアクセスポイントと関連付けられる、請求項８に記載のビデオストリーミング方法。
  10. 前記第１セクションについての前記第１切換え点は、前記第１セットの周期的ランダムアクセスポイントにおける第１のランダムアクセスポイントに基づいて決定され、
    前記第２セクションについての前記第２切換え点は、前記第2セットの周期的ランダムアクセスポイントにおける第２ランダムアクセスに基づいて決定される、請求項９に記載のビデオストリーミング方法。
  11. 前記第１セクションに関連する前記第１セットの周期的ランダムアクセスポイントは第１の間隔で構成され、前記第２セクションに関連する第２の周期的ランダムアクセスポイントは、第１の間隔と異なる第２の間隔で構成される、請求項９に記載の方法。
  12. 前記バイナリデータから第３の再構成画像フレームを生成するステップをさらに含み、第３の再構成画像データが前記第１切換え点の後であって前記第２切換え点の後であるとき、前記第３の再構成画像フレームは、前記第１セクションについての第１の後続符号化品質を有する第３の再構成画像データと、第２セクションについての第2の先行符号化品質を有する第３の再構成画像フレームと、を含む、請求項８に記載のビデオストリーミング方法。
  13. 前記第１セクションについての前記第１の後続符号化品質を有する前記第３の再構成画像データは、フレーム内予測に基づいて再構成され、前記第２セクションについての前記第２の先行符号化品質を有する前記第３の再構成画像データは、フレーム間予測に基づいて再構成される、請求項１２に記載のビデオストリーミング方法。
  14. 請求項１から１３のいずれか一項に記載のビデオストリーミング方法をコンピュータに実行させるプログラム。
  15. 少なくとも一つのマイクロプロセッサと、
    少なくとも一つのマイクロプロセッサ上で動作するストリーミングコントローラと、
    を備えるビデオストリーミングシステムであって、
    前記ストリーミングコントローラは、
    一連の画像フレーム内の各画像フレームを、少なくとも第１セクションと第２セクションとを含む複数のセクションに分割する方式を使用し、
    第１セクションについて符号化品質が異なる第１セットの符号化データを取得し、第２セクションについて符号化品質が異なる第２セットの符号化データを取得し、
    前記第１セクションの符号化品質の変化に対応する第１切換え点を決定し、第２セクションの符号化品質の変化に対応する第２切換え点を決定し、
    第１切換え点の前の第１の先行符号化品質を有する符号化データと第１切換え点の後の第１の後続符号化品質を有する符号化データとを第１セットの符号化データから選択し、
    第２切換え点の前に第２の先行符号化品質を有する符号化データと第２切換え点の後に第２の後符号化品質を有する符号化データとを第２セットの符号化データから選択し、
    選択された符号化データをビットストリームに組み込む、
    ビデオストリーミングシステム。
  16. 少なくとも一つのマイクロプロセッサと、
    少なくとも一つのマイクロプロセッサ上で動作するデコーダと、
    を備えるビデオストリーミングシステムであって、
    前記デコーダは、
    少なくとも第１セクションおよび第２セクションを含み、分割方式に基づいてそれぞれ複数セクションに分割された一連の画像フレームを再構成するためのバイナリデータを含むビットストリームを受け取り、
    前記バイナリデータから、第１セクションのための第１の再構成画像データと第２セクションのための第１の再構成画像データとを含む第１の再構成画像フレームを生成し、
    前記バイナリデータから、前記第１セクションのための第２の再構成画像データと第２セクションのための第２の再構成画像データとを含む第２の再構成画像フレームを生成し、
    前記第２セクションについての符号化品質の変化に対応する第２切換え点の前に前記第２の再構成画像フレームがあるとき、第２セクションのための前記第１の再構成画像データは第２の先行符号化品質で再構成され、
    前記第１セクションについての符号化品質の変化に対応する第２切換え点の前に前記第２の再構成画像フレームがあるとき、第２セクションのための前記第１の再構成画像データは第２の先行符号化品質で再構成され、
    前記第１の再構成画像フレームが第１切換え点の後であるときに前記第１セクションのための前記第２の再構成画像データが第１の事後符号化品質で再構成されること、および、前記第２の再構成画像フレームが前記第２切換え点の後にあるときに前記第１セクションについての前記第２の再構成画像データは第２の後続符号化品質で再構成される、ことの少なくともいずれかである、
    ビデオストリーミングシステム。
  17. 請求項１４に記載のプログラムを読み出して請求項１から１３のいずれか一項に記載のビデオストリーミング方法を実行するプロセッサを備えるビデオストリーミング装置。
JP2019150592A 2018-09-11 2019-08-20 ビデオストリーミング方法、ビデオストリーミングシステム、ビデオストリーミング装置およびプログラム Ceased JP2020043559A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/105108 2018-09-11
PCT/CN2018/105108 WO2020051777A1 (en) 2018-09-11 2018-09-11 System and method for supporting progressive video bit stream swiitching

Publications (1)

Publication Number Publication Date
JP2020043559A true JP2020043559A (ja) 2020-03-19

Family

ID=69777308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019150592A Ceased JP2020043559A (ja) 2018-09-11 2019-08-20 ビデオストリーミング方法、ビデオストリーミングシステム、ビデオストリーミング装置およびプログラム

Country Status (6)

Country Link
US (1) US20210227227A1 (ja)
EP (1) EP3797515A4 (ja)
JP (1) JP2020043559A (ja)
KR (1) KR20200069350A (ja)
CN (1) CN112673634A (ja)
WO (1) WO2020051777A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017526193A (ja) * 2015-07-31 2017-09-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ符号化方法及びシステム
JP2018026670A (ja) * 2016-08-09 2018-02-15 日本電信電話株式会社 映像配信システム、端末装置、配信サーバ、映像配信方法、映像表示方法、映像配信プログラム及び映像表示プログラム
WO2018069412A1 (en) * 2016-10-12 2018-04-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Spatially unequal streaming
WO2018107404A1 (en) * 2016-12-14 2018-06-21 SZ DJI Technology Co., Ltd. System and method for supporting video bit stream switching

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201100397D0 (en) * 2011-01-11 2011-02-23 Univ Gent Fast channel switching
US9042458B2 (en) * 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
US9813736B2 (en) * 2013-09-27 2017-11-07 Qualcomm Incorporated Inter-view dependency type in MV-HEVC
US9591324B2 (en) * 2013-10-14 2017-03-07 Qualcomm Incorporated Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction
US20150264345A1 (en) * 2014-03-13 2015-09-17 Mitsubishi Electric Research Laboratories, Inc. Method for Coding Videos and Pictures Using Independent Uniform Prediction Mode
KR102511705B1 (ko) * 2015-11-16 2023-03-20 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
US11184624B2 (en) * 2016-05-19 2021-11-23 Qualcomm Incorporated Regional random access in pictures
US20180098131A1 (en) * 2016-09-30 2018-04-05 Avago Technologies General Ip (Singapore) Pte. Ltd. Apparatus and methods for adaptive bit-rate streaming of 360 video
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017526193A (ja) * 2015-07-31 2017-09-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ符号化方法及びシステム
JP2018026670A (ja) * 2016-08-09 2018-02-15 日本電信電話株式会社 映像配信システム、端末装置、配信サーバ、映像配信方法、映像表示方法、映像配信プログラム及び映像表示プログラム
WO2018069412A1 (en) * 2016-10-12 2018-04-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Spatially unequal streaming
WO2018107404A1 (en) * 2016-12-14 2018-06-21 SZ DJI Technology Co., Ltd. System and method for supporting video bit stream switching

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DIMITRI PODBORSKI ET AL.: "TILE BASED PANORAMIC STREAMING USING SHIFTED IDR REPRESENTATIONS", PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME) 2017, JPN6020041313, July 2017 (2017-07-01), pages 565 - 570, XP033146652, ISSN: 0004376571, DOI: 10.1109/ICME.2017.8019433 *
ROBERT SKUPIN ET AL.: "HEVC Tile Based Streaming to Head Mounted Displays", 2017 14TH IEEE ANNUAL CONSUMER COMMUNICATIONS & NETWORKING CONFERENCE (CCNC), JPN6020041310, 2017, pages 613 - 615, XP033125686, ISSN: 0004459497, DOI: 10.1109/CCNC.2017.7983191 *
Y. SANCHEZ ET AL.: "RANDOM ACCESS POINT PERIOD OPTIMIZATION FOR VIEWPORT ADAPTIVE TILE BASED STREAMING OF 360°VIDEO", ICIP 2017, JPN6020041311, 2017, pages 1915 - 1919, XP033322861, ISSN: 0004459498, DOI: 10.1109/ICIP.2017.8296615 *
YIXUAN BAN ET AL.: "An Optimal Spatial-temporal Smoothness Approach for Tile-based 360-degree Video Streaming", VCIP 2017, JPN6020041314, December 2017 (2017-12-01), pages 1 - 4, XP033325764, ISSN: 0004376572, DOI: 10.1109/VCIP.2017.8305086 *

Also Published As

Publication number Publication date
CN112673634A (zh) 2021-04-16
EP3797515A1 (en) 2021-03-31
WO2020051777A1 (en) 2020-03-19
US20210227227A1 (en) 2021-07-22
KR20200069350A (ko) 2020-06-16
EP3797515A4 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
JP6501904B2 (ja) 球面ビデオのストリーミング
US10341632B2 (en) Spatial random access enabled video system with a three-dimensional viewing volume
US10567464B2 (en) Video compression with adaptive view-dependent lighting removal
KR102594003B1 (ko) 볼류메트릭 비디오를 인코딩/디코딩하기 위한 방법, 장치 및 스트림
US10469873B2 (en) Encoding and decoding virtual reality video
EP3669333B1 (en) Sequential encoding and decoding of volymetric video
CN110036640B (zh) 用于支持视频比特流切换的系统和方法
US10419737B2 (en) Data structures and delivery methods for expediting virtual reality playback
US10546424B2 (en) Layered content delivery for virtual and augmented reality experiences
EP3249930B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US20180098090A1 (en) Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
WO2019073117A1 (en) APPARATUS, METHOD AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
US11178383B2 (en) Method, apparatus and stream for volumetric video format
KR20190095253A (ko) 광시야 비디오를 인코딩하기 위한 구면 회전 기법
US11463681B2 (en) Encoding and decoding of volumetric video
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
CN116325769A (zh) 从多个视点流式传输场景的全景视频
EP3540696A1 (en) A method and an apparatus for volumetric video rendering
JP2020043559A (ja) ビデオストリーミング方法、ビデオストリーミングシステム、ビデオストリーミング装置およびプログラム
KR20220054430A (ko) 볼류메트릭 비디오 콘텐츠를 전달하기 위한 방법 및 장치들
CN112088352A (zh) 用于对表示球面多媒体内容的球体进行分块的方法和网络设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210719

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210720

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20211221