JP2018530954A - パノラママルチメディアストリーミングの方法及びシステム - Google Patents

パノラママルチメディアストリーミングの方法及びシステム Download PDF

Info

Publication number
JP2018530954A
JP2018530954A JP2018512517A JP2018512517A JP2018530954A JP 2018530954 A JP2018530954 A JP 2018530954A JP 2018512517 A JP2018512517 A JP 2018512517A JP 2018512517 A JP2018512517 A JP 2018512517A JP 2018530954 A JP2018530954 A JP 2018530954A
Authority
JP
Japan
Prior art keywords
signal
video signal
server
client device
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2018512517A
Other languages
English (en)
Inventor
メイランド、ジーン
Original Assignee
ヴァントリックス コーポレーション
ヴァントリックス コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴァントリックス コーポレーション, ヴァントリックス コーポレーション filed Critical ヴァントリックス コーポレーション
Publication of JP2018530954A publication Critical patent/JP2018530954A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

視聴者がマルチメディア信号のパノラマビデオ成分の空間カバレッジを制御できるパノラママルチメディアストリーミングの方法及び装置が開示されている。新規でフレキシブルなストリーミングサーバが、個々のクライアント装置の特性、並びにクライアント装置までのネットワーク経路の変動する容量にマルチメディア信号を適応させることに加えて、クライアント別のコンテンツフィルタリングを実施するように考案されている。サーバは、視聴者がパノラマシーンの好みの視聴領域を伝達することを可能にする為のソフトウェアモジュールをクライアント装置に配信してよい。サーバは学習モジュールを含み、学習モジュールは、視聴の好みのデータを保持し、視聴の好みとクライアント装置の特性とを相互に関連付け、クライアント装置ごとにデフォルトの視聴の好みを決定する。サーバは、コンテンツフィルタリング済みマルチメディア信号を生成してクライアントに配信する、計算効率の高いスキームを実施する。サーバは、共用クラウドコンピューティングネットワーク内で割り当てられるハードウェア処理ユニット及びメモリ装置を使用して実施されてよい。

Description

関連出願の相互参照
本出願は、参照によって全内容が本明細書に組み込まれている、２０１５年９月９日に出願された米国仮特許出願第６２／２１６，３２６号明細書、件名「ＣＬＯＵＤ−ＥＭＢＥＤＤＥＤ ＳＥＲＶＥＲ ＦＯＲ ＳＴＲＥＡＭＩＮＧ ＰＡＮＯＲＡＭＩＣ ＭＵＬＴＩＭＥＤＩＡ ＳＩＧＮＡＬＳ」の利益を主張するものである。
本発明は、パノラマビデオ信号を含むマルチメディア信号のストリーミングに関する。特に、本発明は、視聴者がビデオ信号コンテンツを操作する為の方法及び装置を対象とする。
データストリーミングシステムでは、サーバがマルチメディアデータを複数のクライアント装置に送信するであろう。サーバは、各クライアント装置の特性、並びにサーバからクライアント装置までのネットワーク経路の状態にデータを適応させるために、コード変換機能を実施するであろう。マルチメディアデータは、ビデオ信号、オーディオ信号、静止画像、及びテキストを表現することが可能である。
パノラマビデオ信号を含むマルチメディアデータのストリーミングを行うには、比較的大容量のトランスポートリソースと、より集約的な処理とが必要である。パノラマカメラを使用するビデオソースからのパノラマビデオ信号は、伝送媒体の比較的高い帯域幅を占有する。パノラマビデオ信号をビデオソースからクライアント装置へ直接送信する為には、ビデオソースからクライアントの装置までの広帯域経路と、クライアント装置における高速処理能力とが必要である。更に、ビデオ信号は、個々のクライアント装置の様々な特性に適応することが必要であろう。
これまで、個々のクライアント装置に対するマルチメディア信号の適応及び配信の実施にはストリーミングサーバが使用されてきた。パノラママルチメディア信号の場合は、マルチメディアソースとストリーミングサーバとの間に大容量経路が確立されねばならず、ストリーミングサーバと複数のクライアント装置との間に適応可能経路が確立されねばならず、ストリーミングサーバには強力な処理機能が装備されなければならない。
パノラママルチメディアストリーミングシステムにおいては、ストリーミングセッション中にパノラマシーンの視聴領域を適応的に選択する機能をクライアントが備えることが望ましい。従って、本発明の目的は、様々なタイプのクライアント装置、並びにクライアント装置を出入りするネットワーク経路の様々な容量に信号を適応させる為の、クライアント別の信号コンテンツフィルタリング及び信号処理の能力を有するフレキシブルなストリーミングサーバを提供することである。
求められるフレキシブルなストリーミングサーバの好ましい実施態様は、クラウドエンベデッドサーバである。クラウドコンピューティングにより、参加者は、時々刻々のニーズに応じて確保したり解放したりできるリソースに動的にアクセスすることが可能になる。このリソースは、処理ユニット、メモリ装置、ネットワークリンクなどを含む。
一態様によれば、本発明は、ビデオ信号ストリーミングの方法を提供する。本方法は、複数の物理プロセッサ及び関連付けられたメモリ装置を含むサーバにおいて実施される。本方法は、パノラママルチメディアソースにアクセスしてビデオ信号を取得する処理を含む。取得されたビデオ信号が圧縮されておらず、ソースにおいてデワープされている場合、このビデオ信号は「純ビデオ信号」を構成し、これは、スクリーンに表示されてよく、或いは、クライアント装置への配信の為に更に処理されてよい。取得されたビデオ信号がソースにおいて圧縮されている場合、このビデオ信号はサーバにおいて圧縮解除される。取得されたビデオ信号がソースにおいてデワープされていない場合、このビデオ信号はサーバにおいてデワープされる。圧縮されていないか圧縮解除されたビデオ信号であって、サーバにおいてデワープされたビデオ信号は、純ビデオ信号である。特定のクライアント装置にサービスを提供する為に、純ビデオ信号がコード変換されて、そのクライアント装置に適合するコード変換済み信号が生成される。純ビデオ信号は、最大４πステラジアンの立体角の達成可能カバレッジに対応し、（例えば、複数Ｇｂ／ｓの）高いフローレート（ビットレート）を有する可能性が高いが、これは、サーバからクライアント装置までの経路の利用可能な容量を超える可能性がある。コード変換済み信号も、フローレートが経路の容量を超える可能性がある。そこで、フローレートが経路の容量を超えないように、コード変換済み信号の圧縮が行われる。
圧縮されたコード変換済み信号は、クライアント装置に送信されて、クライアント装置において圧縮解除され、表示される。そして、クライアント装置における視聴者は、好みの視聴領域を識別し、その好みの視聴領域の記述子をサーバに送信してよい。そして、コード変換済み信号はコンテンツフィルタリングされ、信号のうちの、好みの視聴領域に対応する部分だけが保持される。コンテンツフィルタリング済み信号は、圧縮されてからクライアント装置に送信されてよい。
本方法は更に、サーバからクライアント装置までの経路における許容フローレートを決定する処理と、圧縮されたコード変換済み信号が許容フローレートに適合すること、並びにその後の圧縮されたコンテンツフィルタリング済み信号が許容フローレートに適合することを確認する処理と、を含む。
サーバがパノラママルチメディアソースにアクセスすると、ソースは、ビデオ信号と、ビデオ信号に適用されている信号処理（例えば、デワープや圧縮）があればそれを示すものを含む制御データと、を含むマルチメディア信号を提供する。取得されるビデオ信号は、単一カメラで生成されてよいパノラマビデオ信号、又は複数のカメラからのビデオ信号を組み合わせることによって生成されてよいパノラマビデオ信号である。
クライアント装置のユーザが好みの視聴領域の識別子を伝達することを可能にする為に、サーバは、この目的の為に考案されたソフトウェアモジュールをクライアント装置に送信する。サーバは、物理プロセッサ及び関連付けられたメモリ装置が時々刻々のニーズに応じて割り当てられる共用クラウドコンピューティングネットワーク内に一部又は全体がインストールされてよい。
別の態様によれば、本発明は、少なくとも１つの物理プロセッサを含むサーバにおいて実施されるビデオ信号ストリーミングの方法を提供する。本方法は、パノラママルチメディアソースにアクセスしてビデオ信号を取得する処理を含む。取得されたビデオ信号が圧縮されておらず、或いは、ソースにおいてデワープされていない場合、このビデオ信号は、上述のように「純ビデオ信号」を生成するように処理される。
特定のクライアント装置の一連のクライアント装置にサービスを提供する為に、純ビデオ信号がコード変換されて、そのクライアント装置タイプに適合するコード変換済み信号が生成される。コード変換済み信号のフローレートは、サーバからクライアント装置までの経路の一部の容量を超える可能性がある。クライアント装置に完全カバレッジ（達成可能カバレッジ）視聴を提供する為に、低フローレートの信号サンプルが生成され、クライアント装置にマルチキャストされる。信号サンプルは、フレームサンプリングされたコード変換済み信号、又は圧縮されたコード変換済み信号であってよい。個々のクライアント装置からそれぞれの好みの視聴領域の識別子が受信されると、コード変換済み信号がコンテンツフィルタリングされて、そのそれぞれの好みの視聴領域に対応するクライアント別の信号が生成される。このクライアント別の信号は、圧縮されて、個々のクライアント装置に送信される。
更に別の態様によれば、本発明は、少なくとも１つの物理プロセッサを含むサーバにおいて実施されるビデオ信号ストリーミングの方法を提供する。本方法は、パノラマビデオ信号を取得する処理と、そのパノラマビデオ信号をコード変換して、クライアント装置に適合するコード変換済み信号を生成する処理と、を含む。そして、コード変換済み信号の信号サンプルがクライアント装置に送信される。クライアント装置から好みの視聴領域の記述子が受信されると、コード変換済み信号のコンテンツが編集されて、その好みの視聴領域に対応するコンテンツフィルタリング済み信号が生成される。コンテンツフィルタリング済み信号、又はコンテンツフィルタリング済み信号の圧縮された形態が、信号サンプルの代わりにクライアント装置に送信される。
パノラマビデオ信号を取得する処理は、サーバからパノラママルチメディアソースまでの接続を確立する処理と、パノラマビデオ信号と、ソースにおいてパノラマビデオ信号に適用された信号処理があればそれを示すものと、を一緒に含むマルチメディア信号を要求して受信する処理と、を含む。取得されたパノラマビデオ信号は、ソースにおいて実施された処理を示すものに従って、サーバにおいて圧縮解除及び／又はデワープされてよい。信号サンプルは、コード変換済み信号のうちの互いに離れた複数のフレームを含む、フレームサンプリングされた信号であってよい。或いは、信号サンプルは、コード変換済み信号の圧縮された形態であってよい。
更に別の態様によれば、本発明は、少なくとも１つの物理プロセッサを含むサーバにおいて実施されるビデオ信号ストリーミングの方法を提供する。本方法は、パノラママルチメディアソースからソースビデオ信号を取得するステップと、上述のように純ビデオ信号を生成するステップと、を含む。
本方法は更に、ビデオ信号のコンテンツを編集して、所定の一連の視聴領域に対応する一連のコンテンツフィルタリング済み信号を生成するステップを含む。各コンテンツフィルタリング済み信号がコード変換されて、特定のクライアント装置に適合する一連のコード変換済み信号が生成される。コード変換済み信号のそれぞれが圧縮されて、一連の圧縮信号が生成される。これらの圧縮信号は、連続的にクライアント装置に送信される。特定のクライアント装置から、好みの視聴領域に対応する特定の圧縮信号の識別子が受信されると、その特定の圧縮信号だけが引き続きクライアント装置に送信される。
サーバは、パノラマカメラを含む信号ソースから、又はパノラマカメラ及びデワープモジュールを含む信号ソースから、又はパノラマカメラ及び圧縮モジュールを含む信号ソースから、又はパノラマカメラ、デワープモジュール、及び圧縮モジュールを含む信号ソースから、ビデオ信号を含むマルチメディア信号を取得するように考案されている。
更に別の態様では、本発明は、パノラママルチメディアストリーミング用サーバを提供する。サーバは、複数の物理プロセッサと、ソフトウェア命令のモジュールを記憶する、関連付けられたメモリ装置とを含み、ソフトウェア命令のモジュールは、様々な容量の通信経路を介してサーバに接続している、様々なタイプのクライアント装置にコンテンツフィルタリング済み信号を供給することをプロセッサに行わせる。
ネットワークインタフェースモジュールが、少なくとも１つのネットワークを介して、少なくとも１つのパノラマビデオソース、及び複数のクライアント装置との間を行き来する通信経路を確立するように考案されている。圧縮解除モジュールが、ソースにおいて圧縮されたビデオ信号を圧縮解除するように考案されている。デワープモジュールが、ソースにおいてデワープされていないビデオ信号をデワープするように考案されている。コード変換モジュールが、複数のクライアント装置のうちの任意のクライアント装置の特性に対してビデオ信号を適応させるように考案されている。コンテンツフィルタリングモジュールが、ビデオ信号のコンテンツを、識別された視聴領域に対応するように編集するように考案されている。制御モジュールが、少なくとも１つのパノラマビデオソースと通信してソースビデオ信号を取得することと、コード変換モジュール及びコンテンツフィルタリングモジュールにビデオ信号を渡してクライアント別ビデオ信号を生成することと、そのクライアント別ビデオ信号を各クライアント装置に送信することと、を行うように考案されている。
サーバは更にフレームサンプリングモジュールを含み、このモジュールは、離れたフレーム間隔の間にビデオ信号をサンプリングして、フレームサンプリングされたビデオ信号を生成することをプロセッサに行わせる、プロセッサで実行可能な命令を含む。サーバは更にメモリ装置を含み、メモリ装置は、クライアント装置のユーザが好みの視聴領域の識別情報をサーバに伝達することを可能にする為に複数のクライアント装置に配信されるソフトウェアモジュールを記憶する。
サーバは更に学習モジュールを含み、学習モジュールは、視聴の好みのデータを保持し、視聴の好みとクライアント装置の特性とを相互に関連付けるように考案されている。サーバは更にクライアントプロファイルデータベースを含み、これは、一連のクライアント装置タイプの各クライアント装置タイプの特性を記憶する。これらの特性は、フレームレートの上限、フレーム分解能、及びフローレートを含む。
サーバは更に、共用ネットワークを介して複数のビデオソース及び複数のクライアント装置と通信する為に、ネットワークアクセスポートを含む。サーバは、物理プロセッサ及び関連付けられたメモリ装置がオンデマンドで割り当てられる共用クラウドコンピューティングネットワーク内に一部又は全体がインストールされてよい。
別の態様によれば、本発明は、信号ストリーミングの方法を提供する。本方法は、共用クラウドコンピューティングネットワーク内で割り当てられるハードウェア処理ユニット及びメモリ装置を使用して実施されてよいサーバにおいて実施される。本方法は、信号を複数のクライアントにマルチキャストする処理と、信号のコンテンツを修正する要求を特定のクライアントから受信する処理と、修正された信号を生成する処理と、修正された信号を特定のクライアントに送信する処理と、を含む。信号は、単一カメラで生成されるか、或いは、複数のカメラからのビデオ信号を組み合わせることによって生成されるパノラマビデオ信号を含むパノラママルチメディア信号から抽出されてよい。修正された信号は、部分カバレッジマルチメディア信号であってよい。
本方法は、修正された信号を生成する為に、信号のビデオ信号成分をデワープして、デワープされたビデオ信号を生成する処理と、デワープされたビデオ信号をクライアント装置に適応させて、装置別ビデオ信号を生成する処理と、を含む。この装置別信号は、クライアントの視聴の好みに対して適応されてよい。視聴の好みは、クライアントから受信される要求の中で指定されてよく、或いは、クライアント装置タイプ別のデフォルト値に基づいてよい。
本方法は、サーバと通信してストリーミングサービスを要求するクライアント装置の特性を取得する処理を含む。クライアント装置の特性と視聴の好みの記録が、サーバにおいて保持される視聴の好みデータベースに追加されてよい。
別の態様によれば、本発明は、クラウドコンピューティングネットワークのリソースを使用して全体又は一部が実施されてよいサーバにおいて実施される信号ストリーミングの方法を提供する。本方法は、パノラママルチメディア信号を取得する処理と、そのパノラママルチメディア信号のビデオ信号成分を圧縮解除及びデワープして純ビデオ信号を生成する処理と、を含む。複数のクライアント装置のうちの所与のクライアント装置において、
（ｉ）純ビデオ信号がコンテンツフィルタリングされて、選択された視聴領域に対応する各コンテンツフィルタリング済み信号が生成され、
（ｉｉ）クライアント装置に向かうコンテンツフィルタリング済み信号は、クライアント装置の特性と、サーバからターゲットクライアント装置までのネットワーク経路の特性と、に対して適応される。
各クライアント装置は、プロセッサと、メモリ装置と、ディスプレイスクリーンとを含む。
クライアント装置は、視聴の好みを示すものをサーバに送信してよい。サーバは、視聴の好みに対応する各コンテンツフィルタリング済み信号を生成し、これはクライアント装置に送信される。
本方法は更に、
（ａ）視聴の好みをクライアントの装置の特性に関連付けるデータを保持するステップと、
（ｂ）その保持されたデータを使用して、複数のクライアント装置のクライアント装置ごとのデフォルトの視聴の好みを決定するステップと、を含む。
更に別の態様によれば、本発明は、信号ストリーミングの方法を提供する。本方法は、少なくとも部分的にはクラウドコンピューティングネットワークのリソースに基づいて構成されているサーバにおいて実施される。本方法は、ソースにおいてデワープ及び圧縮されているパノラマビデオ信号を取得し、このパノラマビデオ信号を圧縮解除して純ビデオ信号を生成するステップを含む。
その後、一連の修正済み信号が生成され、各修正済み信号は、所定の一連の部分カバレッジパターンの各部分カバレッジパターンに対応する。各接続要求が好みの部分カバレッジパターンを指定する、複数のクライアント装置からの接続要求が受信されると、サーバは、クライアント装置ごとに、それぞれの好みの部分カバレッジパターンに応じた、それぞれの修正済み信号を決定する。個々のクライアント装置に向かうそれぞれの修正済み信号は更に、その個々のクライアント装置の特性と、その個々のクライアント装置までのネットワーク経路の特性とに対して適応されてよい。
更に別の態様によれば、本発明はパノラママルチメディアサーバを提供し、パノラママルチメディアサーバは、ハードウェアプロセッサと、ビデオソースインタフェースと、ビデオソース特性化モジュールと、ビデオソースから受信されたパノラマビデオ信号をコンテンツフィルタリングして、視聴領域の選択結果に対応するコンテンツフィルタリング済み信号を生成するモジュールと、コンテンツフィルタリング済み信号を圧縮するモジュールと、ビデオ信号をクライアント装置の特性に対して適応させるモジュールと、を含む。
パノラママルチメディアサーバは更に、
（ａ）視聴の好みのデータを保持することと、視聴の好みを、クライアント装置の特性、並びに任意選択で、クライアントの環境と相互に関連付けることと、を行うように構成された学習モジュールと、
（ｂ）ビデオ信号をクライアント装置の特性に対して適応させるモジュールと結合された、クライアント装置の特性化を決定するモジュールと、を含む。
本発明の実施形態を、以下の添付の例示的図面を参照しながら、より詳細に説明する。
本発明の一実施形態による、パノラママルチメディアソース及びパノラママルチメディアサーバを含む、パノラママルチメディアストリーミングのシステムを示す図である。 本発明の一実施形態による、複数のパノラママルチメディアソース及び複数のパノラママルチメディアサーバを含む、パノラママルチメディアストリーミングのシステムを示す図である。 本発明の一実施形態による、パノラママルチメディアソースとパノラママルチメディアサーバとの間の通信選択肢を示す図である。 図３の通信選択肢に対応する通信経路を示す図である。 本発明の一実施形態による、図３の通信選択肢のうちの第１の通信選択肢に対応する端から端までの経路の構成要素を示す図である。 本発明の一実施形態による、図３の通信選択肢のうちの第２の通信選択肢に対応する端から端までの経路の構成要素を示す図である。 本発明の一実施形態による、図３の通信選択肢のうちの第３の通信選択肢に対応する端から端までの経路の構成要素を示す図である。 本発明の一実施形態による、図３の通信選択肢のうちの第４の通信選択肢に対応する端から端までの経路の構成要素を示す図である。 本発明の一実施形態による、パノラママルチメディアサーバの信号編集ユニットの入力及び出力におけるマルチメディア信号及び制御信号を示す図である。 本発明の一実施形態による、クライアント別適応モジュールを使用する一例示的パノラママルチメディアサーバの構成要素を示す図である。 本発明の一実施形態による、図１０の例示的パノラママルチメディアサーバのクライアント別適応モジュールの詳細を示す図である。 圧縮ビデオ信号のフローレートの時間変動を示す図である。 本発明の一実施形態による、低フローレートでありながらも、パノラマ完全空間カバレッジを提示することに適するビデオ信号を生成することにより、クライアントが好みの部分カバレッジ視聴を選択することを可能にするモジュールを示す図である。 本発明の一実施形態による、コンテンツフィルタリング済みビデオ信号を要求して取得する処理を示す図である。 パノラママルチメディアサーバからクライアント装置に送信されるビデオ信号の時間的フローレート変動を示す図であり、ビデオ信号は、フレームサンプリングされたビデオ信号と、それに続く圧縮ビデオ信号とを含む。 本発明の一実施形態による、コンテンツフィルタリング段階及び信号処理段階として構造化された、図９の信号編集ユニットを示す図である。 図１６のコンテンツフィルタリング段階を示す図である。 図１６の信号処理段階の信号処理ユニットを示す図である。 本発明の一実施形態による、図１６の信号編集ユニットを示す図であり、コンテンツフィルタリング段階及び信号処理段階の詳細を含む図である。 本発明の一実施形態による、ターゲットクライアント装置に対するビデオ信号編集の処理を示す図である。 許容フローレートを決定するモジュールの詳細を示す図である。 本発明の一実施形態による、クライアント装置の構成要素を示す図である。 本発明の一実施形態による、パノラママルチメディアサーバとパノラママルチメディアソースとの間の通信経路を示す図である。 本発明の一実施形態による、図２３のパノラママルチメディアサーバと複数の異種クライアント装置との間の通信経路を示す図である。 本発明の一実施形態による、図２３のマルチメディアソースにおいて生成されたパノラママルチメディア信号から適応されたクライアント別のコンテンツフィルタリング済みマルチメディア信号を、図２４の複数の異種クライアント装置にマルチキャストするシステムを示す図である。 本発明の一実施形態による、パノラママルチメディアサーバのモジュール構造を示す図である。 本発明の一実施形態による、図２６のパノラママルチメディアサーバに学習モジュールがつながっている様子を示す図である。 本発明の一実施形態による、パノラママルチメディアサーバにおいて実施される処理を示す図であり、この処理では、パノラマビデオ信号がクライアント装置タイプに対して適応されてから、コンテンツフィルタリングされる。 本発明の別の実施形態による、パノラママルチメディアサーバにおいて実施される処理を示す図であり、この処理では、パノラマビデオ信号がコンテンツフィルタリングされてから、クライアント装置タイプに対して適応される。 本発明の一実施形態による、パノラママルチメディア信号を取得し、取得したマルチメディア信号を個々のクライアントに適応させる処理を示すフローチャートである。 本発明の別の実施形態による、図３０の処理を異なる順序で実行することを示すフローチャートである。 本発明の別の実施形態による、パノラママルチメディアサーバにおいて保持される、特定のビデオソースに対するストリーミング制御テーブルを示す図である。 本発明の一実施形態による、特定のクライアントに対するマルチメディア信号の最初の適応の処理を示す図である。 本発明の一実施形態による、クライアント装置タイプごとの視聴の好みのパターンの数を記録するテーブルを示す図である。 本発明の一実施形態による、パノラママルチメディアサーバとネットワークのルータ−スイッチとの結合を示す図である。
用語
信号：ある時間窓を占有するデータストリームを、本明細書では「信号」と称する。時間窓の継続時間は、数マイクロ秒から数時間まで様々であってよい。
ビデオ信号のカバレッジ：ビデオ信号のカバレッジ（又は空間カバレッジ）は、本明細書では、ビデオ信号を生成するカメラから見える空間によって張られる立体角として定義される。
完全カバレッジビデオ信号：４πステラジアンをカバーするビデオ信号を完全カバレッジビデオ信号と称する。
達成可能カバレッジビデオ信号：完全カバレッジビデオ信号は理想的なカメラによって生成される。カメラによって生成されるビデオ信号の実際のカバレッジを、達成可能カバレッジと称する。
部分カバレッジビデオ信号：達成可能カバレッジ未満のカバレッジのビデオ信号を、部分カバレッジビデオ信号と称する。
パノラマビデオ信号：ほぼ完全カバレッジである達成可能カバレッジのビデオ信号を、パノラマビデオ信号と称する。
パノラママルチメディア信号：オーディオ信号、画像信号、テキスト信号、及びパノラマビデオ信号を含むコンポジット信号を、本明細書では、パノラママルチメディア信号と称する。
部分カバレッジマルチメディア信号：オーディオ信号、画像信号、テキスト信号、及び部分カバレッジビデオ信号を含むコンポジット信号を、本明細書では、部分カバレッジマルチメディア信号と称する。
完全カバレッジカメラ（又は４πカメラ）：完全カバレッジビデオ信号を生成するカメラを、本明細書では、完全カバレッジカメラ又は４πカメラと称する。
ソース：パノラママルチメディアソースは、完全カバレッジカメラ、デワープモジュール、及び圧縮解除モジュールを含み、「ソース」という用語は、本明細書では、パノラママルチメディアソースを意味する。
信号フィルタリング：信号フィルタリングという用語は、ノイズや遅延ジッタに起因する信号劣化を無くすか減らす為に信号受信機において実施される従来式の動作を意味し、信号フィルタリング処理では信号のコンテンツは変化しない。
コンテンツフィルタリング：この用語は、特定の情報だけを保持する為に（信号フィルタリング処理に続いて）信号の情報を修正する処理を意味し、完全カバレッジ（達成可能カバレッジ）ビデオ信号のコンテンツフィルタリングにより、縮小（注目）された視聴領域に対応する部分カバレッジビデオ信号が生成される。
ロービデオ信号：カメラによって生成される信号を「ロービデオ信号」と称する。
補正済みビデオ信号：デワープされたロービデオ信号を「補正済みビデオ信号」と称する。
圧縮ビデオ信号：圧縮されたロービデオ信号を「圧縮ビデオ信号」と称する。
コンパクトビデオ信号：圧縮された補正済み信号を「コンパクトビデオ信号」と称する。
修正済みビデオ信号：ロービデオ信号のデワープ、圧縮、及び圧縮解除をこの順で行う処理、又はロービデオ信号の圧縮、圧縮解除、及びデワープをこの順で行う処理により、修正済みビデオ信号が生成される。
純ビデオ信号：補正済みビデオ信号又は修正済みビデオ信号を、本明細書では、純ビデオ信号と称する。純ビデオ信号は、ソースにおいてキャプチャされた各シーンに対応する。
信号サンプル：この用語は、純ビデオ信号から、或いは、純ビデオ信号から抽出された、コード変換されたビデオ信号から、抽出された完全カバレッジ（達成可能カバレッジ）のビデオ信号を意味する。信号サンプルのフローレート（ビットレート）は、信号サンプルの抽出元であるビデオ信号のフローレートよりかなり低くなる。クライアント装置における視聴者が好みの視聴領域を選択及び識別することを可能にする為に、信号サンプルがクライアント装置に送信される。
ソースビデオ信号：パノラママルチメディアサーバがパノラママルチメディアソースから受け取るビデオ信号を「ソースビデオ信号」と称する。ソースビデオ信号は、ロービデオ信号、補正済みビデオ信号、圧縮ビデオ信号、又はコンパクトビデオ信号であってよい。
ソースマルチメディア信号：パノラママルチメディアサーバがパノラママルチメディアソースから受け取るマルチメディア信号を「ソースマルチメディア信号」と称する。ソースマルチメディア信号は、他の形式の信号（例えば、オーディオ信号やテキスト信号）に加えてソースビデオ信号を含んでよい。
送信機：この用語は、搬送波（光搬送波又はマイクロ波搬送波）をベースバンド信号で変調して変調搬送波を生成する従来式の装置を意味する。
受信機：この用語は、変調搬送波を復調して、送信されたベースバンド信号を抽出する従来式の装置を意味する。
プロセッサ：この用語は、ハードウェア装置（物理的処理装置）を意味する。
Ｇｂ／ｓ、Ｍｂ／ｓ：ギガビット毎秒（１０９ビット毎秒）、メガビット毎秒（１０６ビット毎秒）
本発明のサーバは、パノラママルチメディア信号を受け取って広く配信する。パノラママルチメディア信号は、他の形式の信号（例えば、オーディオ信号やテキスト）に加えてパノラマビデオ信号を含む。本明細書及び特許請求対象は、ビデオ信号成分に関連する新規な特徴に重点を置いている。しかしながら、当然のこととして、サーバは、編集済みパノラマビデオ信号を他のタイプの信号と一緒にクライアント装置に配信する。
図１はストリーミングシステム１００を示しており、このシステムでは、パノラママルチメディアソース１１０とパノラママルチメディアサーバ１２０とが伝送媒体１１５でつながっている。伝送媒体１１５は、光ファイバリンクや無線リンクなどの専用媒体であってよく、或いは、共用通信網を通る交換経路であってよい。パノラママルチメディアサーバは、ネットワーク１５０を介して複数のクライアント装置１８０と通信してよい。
図２はストリーミングシステム２００を示しており、このシステムには、ｎ個（ｎ≧１）のパノラママルチメディアソース１１０（個別には１１０（０）から１１０（ｎ−１）として識別されている）と、μ個（μ≧１）のパノラママルチメディアサーバ（個別には１２０（０）から１２０（μ−１）として識別されている）とが含まれており、これらのパノラママルチメディアサーバは、複数のクライアント装置１８０のうちのＭ個（Ｍ＞１）のクライアント装置に同時にサービスを提供することが可能である。パノラママルチメディアサーバ１２０は、ネットワーク１５０を介して、パノラママルチメディアソース１１０及びクライアント装置と通信してよい。代替として、パノラママルチメディアサーバ１２０は、パノラママルチメディアソース１１０とは、ある共用ネットワーク（図示せず）を介して通信してよく、一方、クライアント装置１８０とは、別のネットワーク（図示せず）を介して通信してよい。
パノラママルチメディアソース１１０は、最大４πステラジアンの視聴カバレッジをもたらす完全カバレッジパノラマカメラ（本明細書では４πカメラと称する）を使用することが好ましい。４πカメラの出力信号を、本明細書では、４πビデオ信号と称する。キャプチャされたシーンの４πビデオ信号の、フラットスクリーン上の表示は、本来的な歪みの為に、実際のシーンとはかなり異なる可能性がある。表示の歪みを無くすか大幅に減らす為に、表示とキャプチャされたシーンとがよく似るように、カメラで生成された信号に、人為的にオフセットされた歪みを与えてよい。「デワープ」と呼ばれる、歪んだビデオ信号を補正する様々な処理が、当該技術分野において知られている。
デワープ処理は、ソースにおいて実施されてよく（即ち、カメラの出力信号に直接適用されてよく）、或いは、パノラママルチメディアサーバ１２０において実施されてよい。
ソース１１０におけるビデオ信号は、そのままで大容量通信経路を介してパノラママルチメディアサーバ１２０に送信されてよく、或いは、ソースにおいて圧縮されて、占有スペクトル帯域が（格段に）狭い圧縮信号が生成されてよく、この圧縮信号は、小容量通信経路を介してパノラママルチメディアサーバ１２０に送られ、パノラママルチメディアサーバにおいて圧縮解除される。
図３は、４πソース１１０とサーバ１２０との間の通信の４つの選択肢を示す。ソースは、ロー信号３１２を生成する４πカメラを含む。ロー信号３１２は、表示の前、又は、受信者ごとに信号を調整する為の更なる処理の前にデワープが必要である。
一実施形態によれば、ロー信号３１２は、デワープモジュール３２０が装備されたサーバ１２０Ａに送られてよく、デワープモジュール３２０は補正済み信号３２２を生成し、これが更に処理されて、受信者ごとの信号が生成される。
別の実施形態によれば、ロー信号３１２は、ソース１１０とつながっているデワープモジュール３３０において処理されてよく、ここで生成された補正済み信号３２２がサーバ１２０Ｂに送られ、更に処理されて、受信者ごとの信号が生成される。
更に別の実施形態によれば、ロー信号３１２は、ソース１１０とつながっている圧縮モジュール３４０において処理されてよく、ここで生成された圧縮信号３４２がサーバ１２０Ｃに送られる。サーバ１２０Ｃには圧縮解除モジュール３５０が装備されており、圧縮解除モジュール３５０は、圧縮信号３４２を圧縮解除して圧縮解除済み信号３５２を生成し、これがデワープモジュール３２０において処理されて、修正済み信号３２４が生成される。ロスレス圧縮処理と理想的な圧縮解除処理とが行われれば、圧縮解除済み信号３５２は、ロー信号３１２の複製になるであろう。理想的なデワープが行われれば、修正済み信号３２４は、キャプチャされたシーンの忠実な表現になるであろう。
更に別の実施形態によれば、ロー信号３１２は、ソース１１０とつながっているデワープモジュール３３０において処理されてよく、ここで生成された補正済み信号３２２が圧縮モジュール３４０において処理されて、コンパクト信号３４３が生成され、これがサーバ１２０Ｄに送られる。サーバ１２０Ｄには圧縮解除モジュール３５０が装備されており、圧縮解除モジュール３５０は、コンパクト信号３４３を圧縮解除して修正済み信号３２４を生成する。理想的なデワープモジュール３３０が使用され、ロスレス圧縮処理が行われ、理想的な圧縮解除処理が行われれば、修正済み信号は、キャプチャされたシーンの忠実な表現になるであろう。
図４は、図３の各通信選択肢に対応する通信経路を示す。
第１の通信選択肢によれば、パノラママルチメディアソースモジュール１１０Ａの４πカメラ３１０において生成されたパノラマ信号が、大容量経路４８０を介してサーバ１２０Ａに送信され、サーバ１２０Ａはデワープモジュール３２０及び信号編集ユニット４６０を含み、信号編集ユニット４６０は、クライアント装置及びフローレート制約に合わせてコンテンツフィルタリング及び信号適応を実施する。サーバ１２０Ａは、デワープモジュール３２０及び信号編集ユニット４６０として編成された、少なくとも１つのプロセッサ（図４には示されず）と、プロセッサで実行可能な命令（ソフトウェア命令）を記憶するメモリ装置とを含む。デワープモジュール３２０のソフトウェア命令が実行されると、その少なくとも１つのプロセッサが、受け取られた信号とカメラの既知の特性とを使用して、デワープされた補正済み信号３２２を生成し、この信号は、フラットディスプレイ装置に直接渡されてよく、或いは、信号編集ユニット４６０において更に処理されてよい。信号編集ユニット４６０は、コンテンツフィルタリング処理を実施して、受信者ごとに１つ１つ調整された選択的部分カバレッジストリームを生成することが可能である。信号編集ユニット４６０は、受信者ごとに１つ１つ調整された完全カバレッジストリームを生成することも可能である。
第２の通信選択肢によれば、ソースモジュール１１０Ｂは、４πカメラ３１０、デワープモジュール３３０、及びプロセッサ（図示せず）を含み、プロセッサは、デワープモジュール３３０のソフトウェア命令を４πカメラの出力信号（ロー信号３１２）に適用する。結果として得られるデワープされた信号が大容量通信経路４８０を介してサーバ１２０Ｂに送られ、サーバ１２０Ｂは、上述の第１の実施態様と同様の信号編集ユニット４６０を含む。
第３の通信選択肢によれば、ソースモジュール１１０Ｃは、４πカメラ３１０、圧縮モジュール３４０、及びプロセッサ（図示せず）を含み、プロセッサは、圧縮モジュール３４０のソフトウェア命令を４πカメラの出力信号（ロー信号３１２）に適用する。結果として得られる圧縮信号３４２が小容量通信経路４９０を介してサーバ１２０Ｃに送られ、サーバ１２０Ｃは、圧縮解除モジュール３５０、デワープモジュール３２０、及び信号編集ユニット４６０を含む。サーバ１２０Ｃは、少なくとも１つのプロセッサ（図示せず）を含み、プロセッサは、圧縮解除モジュール３５０のソフトウェア命令を実施して圧縮解除済み信号３５２を生成する。この少なくとも１つのプロセッサは更に、デワープモジュール３２０のソフトウェア命令を実施して修正済み信号３２４を生成する。信号編集ユニット４６０は、修正済み信号３２４を処理してコンテンツフィルタリング処理を実施することにより、受信者ごとに１つ１つ調整された選択的部分カバレッジストリームを生成する。信号編集ユニット４６０は、受信者ごとに１つ１つ調整された完全カバレッジストリームを生成することも可能である。
第４の通信選択肢によれば、ソースモジュール１１０Ｄは、４πカメラ３１０、デワープモジュール３３０、圧縮モジュール３４０、及びプロセッサ（図示せず）を含み、プロセッサは、デワープモジュール３３０のソフトウェア命令を４πカメラの出力信号（ロー信号３１２）に適用して補正済み信号３２２を生成する。プロセッサは、圧縮モジュール３４０のソフトウェア命令を適用してコンパクト信号３４３を生成する。コンパクト信号３４３は小容量通信経路４９０を介してサーバ１２０Ｄに送られ、サーバ１２０Ｄは、圧縮解除モジュール３５０及び信号編集ユニット４６０を含む。サーバ１２０Ｄは、少なくとも１つのプロセッサ（図示せず）を含み、プロセッサは、圧縮解除モジュール３５０のソフトウェア命令を実施して補正済み信号３２２を復元する。上述の通信選択肢と同様に、信号編集ユニット４６０は、修正済み信号３２４を処理してコンテンツフィルタリング処理を実施することにより、受信者ごとに１つ１つ調整された選択的部分カバレッジストリームを生成する。信号編集ユニット４６０は、受信者ごとに１つ１つ調整された完全カバレッジストリームを生成することも可能である。
第１又は第２の通信選択肢の場合は、補正済みビデオ信号３２２が信号編集ユニット４６０に渡される。第３又は第４の通信選択肢の場合は、修正済みビデオ信号３２４が信号編集ユニット４６０に渡される。補正済みビデオ信号３２２及び修正済みビデオ信号３２４は両方とも、各シーンを忠実に表現する純ビデオ信号と見なされる。
図５は、図３の通信選択肢のうちの第１の通信選択肢に対応する端から端までの経路５００の構成要素を示す。ソース１１０Ａが（ベースバンド）ロー信号３１２を生成し、これは、大容量経路４８０を介してサーバ１２０Ａに送信される。大容量経路４８０は、ソース１１０Ａと並置されたソース送信機５２０と、伝送媒体１１５と、サーバ１２０Ａと並置されたサーバ受信機５４０と、を含む。受信機５４０は、伝送媒体１１５を介して受信された変調搬送波信号５２８を復調して、ロー信号３１２の複製５４２を取得する。サーバ１２０Ａは、デワープモジュール３２０を構成するソフトウェア命令を記憶するメモリ装置と、信号編集ユニット４６０を構成するソフトウェア命令を記憶するメモリ装置と、を含む。サーバ１２０Ａは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ａの出力信号５８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
図６は、図３の通信選択肢のうちの第２の通信選択肢に対応する端から端までの経路６００の構成要素を示す。ソース１１０Ｂは、４πカメラ３１０と、デワープモジュール３３０を構成するソフトウェア命令を記憶するメモリ装置とを含み、この命令によって、プロセッサ（図示せず）は補正済み信号３２２を生成する。補正済み信号３２２は、大容量経路４８０を介してサーバ１２０Ｂに送信される。大容量経路４８０は、ソース１１０Ｂと並置されたソース送信機５２０と、伝送媒体１１５と、サーバ１２０Ｂと並置されたサーバ受信機５４０と、を含む。受信機５４０は、伝送媒体１１５を介して受信された変調搬送波信号６２８を復調して、補正済み信号３２２の複製６４２を取得する。サーバ１２０Ｂは、信号編集ユニット４６０を構成するソフトウェア命令を記憶するメモリ装置を含む。サーバ１２０Ｂは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ｂの出力信号６８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
図７は、図３の通信選択肢のうちの第３の通信選択肢に対応する端から端までの経路７００の構成要素を示す。ソース１１０Ｃは、（ベースバンド）ロー信号３１２を生成する４πカメラ３１０と、圧縮モジュール３４０を構成するソフトウェア命令を記憶するメモリ装置とを含む。圧縮モジュール３４０は、ロー信号３１２を圧縮して圧縮信号３４２にし、圧縮信号３４２は、経路４９０を介してサーバ１２０Ｃに送信される。経路４９０は、ソース１１０Ｃと並置されたソース送信機７２０と、伝送媒体１１５と、サーバ１２０Ｃと並置されたサーバ受信機７４０と、を含む。受信機７４０は、伝送媒体１１５を介して受信された変調搬送波信号７２８を復調して、圧縮信号３４２の複製７４２を取得する。サーバ１２０Ｃは、圧縮解除モジュール３５０を構成するソフトウェア命令を記憶するメモリ装置と、デワープモジュール３２０を構成するソフトウェア命令を記憶するメモリ装置と、信号編集ユニット４６０を構成するソフトウェア命令を記憶するメモリ装置と、を含む。サーバ１２０Ｃは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ｃの出力信号７８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
図８は、図３の通信選択肢のうちの第４の通信選択肢に対応する端から端までの経路８００の構成要素を示す。ソース１１０Ｄは、４πカメラ３１０と、デワープモジュール３３０を構成するソフトウェア命令であって、補正済み信号３２２の生成をプロセッサ（図示せず）に行わせるソフトウェア命令を記憶するメモリ装置と、圧縮モジュール３４０を構成するソフトウェア命令であって、コンパクト信号３４３の生成をプロセッサ（図示せず）に行わせるソフトウェア命令を記憶するメモリ装置と、を含む。コンパクト信号３４３は、経路４９０を介してサーバ１２０Ｄに送信される。経路４９０は、ソース１１０Ｄと並置されたソース送信機７２０と、伝送媒体１１５と、サーバ１２０Ｃと並置されたサーバ受信機７４０と、を含む。受信機７４０は、伝送媒体１１５を介して受信された変調搬送波信号を復調して、コンパクト信号３４３の複製８４２を取得する。サーバ１２０Ｄは、圧縮解除モジュール３５０を構成するソフトウェア命令を記憶するメモリ装置と、信号編集ユニット４６０を構成するソフトウェア命令を記憶するメモリ装置と、を含む。サーバ１２０Ｄは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ｄの出力信号８８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
図９は、サーバ１２０の信号編集ユニット４６０の入出力信号を示す。
サーバ１２０は、ビデオ信号を含むマルチメディア信号をソース１１０から受け取り、ビデオ信号は、ロー信号３１２、補正済み信号３２２、圧縮信号３４２、又はコンパクト信号３４３であってよい。サーバがソース１１０から受け取るビデオ信号を、本明細書では「ソースビデオ信号」と称する。
サーバ１２０は、図２に示されたように、様々なパノラママルチメディアソース１１０からマルチメディア信号を受け取ってよい。従って、サーバは、第１のソース１１０からロービデオ信号３１２を受け取ってよく、第２のソース１１０から補正済みビデオ信号３２２を受け取ってよく、第３のソースから圧縮信号３４２を受け取ってよく、且つ／又は第４のソースからコンパクト信号３４３を受け取ってよい。そして、好ましくは、サーバは、様々なタイプのソース１１０と関与して、純ビデオ信号９２０を生成することが可能であるように、デワープモジュール３２０及び圧縮解除モジュール３５０を装備されてよく、純ビデオ信号９２０は、補正済みビデオ信号３２２又は修正済みビデオ信号３２４であってよい。
サーバは、クライアント装置１８０からアップストリーム制御信号９１０を受信し、ソース１１０から制御信号９２１を受信する。サーバは、クライアント装置にダウンストリーム制御信号９１２を送信し、ソース１１０に制御データ９２２を送信してよい。サーバのカーネル、即ち、信号編集ユニット４６０は、ソースのタイプにかかわらず、制御信号９１０及び９２１に基づいて純ビデオ信号９２０を処理する。
アップストリーム制御信号９１０は、クライアントの特性化データとクライアントの要求とを含んでよい。ダウンストリーム制御信号９１２は、クライアントの要求に対する応答を含んでよい。ダウンストリーム制御信号９１２は更に、つながっている各クライアント装置が好みの視聴領域をサーバに伝えることを可能にする為にクライアント装置１８０にインストールされるソフトウェアモジュールを含んでよい。制御データ９２１は、ソースの特性と、ソースにおいて既に実施された動作（例えば、デワープ及び／又はデータ圧縮）とに関連するデータを含んでよい。制御データ９２２は、サーバを特徴づけるデータを含んでよい。
信号編集ユニット４６０は、編集済みマルチメディア信号９４０を生成し、各編集済みマルチメディア信号は、各クライアントの視聴の好み、各クライアントの装置の能力、及びサーバから各クライアントの装置までのネットワーク経路の条件に合わせて個別に調整される。サーバ１２０は、編集済みマルチメディア信号９４０をクライアント装置に送信する。
図１０は、一例示的サーバ１２０の構成要素を示す。サーバは、少なくとも１つのプロセッサ（図示せず）と、プロセッサで実行可能な命令を記憶する複数のメモリ装置とを含み、これらの命令は幾つかのモジュールに編成されており、これらには、ネットワークインタフェース１０１０、ソース制御データモジュール１０２２、ソース信号処理モジュール１０２４、クライアント制御データモジュール１０２６、及び一連のクライアント別適応モジュール１０６０が含まれる。ネットワークインタフェース１０１０は、少なくとも１つのネットワークに対する少なくとも１つのデュアルリンク１００８につながっている。ネットワークインタフェース１０１０は、サーバ受信機５４０（図５及び図６）又は７４０（図７及び図８）を含み、これは、変調搬送波（光変調波又は無線マイクロ波搬送波）を復調して、ソース１１０（１１０Ａ、１１０Ｂ、１１０Ｃ、又は１１０Ｄ）から送られたベースバンドソースビデオ信号（ロー信号３１２、補正済み信号３２２、圧縮信号３４２、又はコンパクト信号３４３）を検波する。少なくとも１つのデュアルリンク１００８のデュアルリンクは、少なくとも１つのソース１１０と複数のクライアント装置との間を行き来する制御データと、ソースマルチメディア信号と、複数のクライアント装置に向けられた編集済みマルチメディア信号と、を搬送する。
ソースビデオ信号処理モジュール１０２４は、デワープモジュール３２０及び圧縮解除モジュール３５０を装備されて、純ビデオ信号９２０を生成してよく、純ビデオ信号９２０は、補正済みビデオ信号３２２又は修正済みビデオ信号３２４であってよい。
ネットワークインタフェース１０１０は、ソースビデオ信号をソースビデオ信号処理モジュール１０２４に誘導し、制御データ９２１をソース制御データ処理モジュール１０２２に誘導する。ソースビデオ信号処理モジュール１０２４は以下の処理を実施する。
（１）ビデオ信号のデワープ（モジュール３２０、図５）
（２）ビデオ信号の圧縮解除（モジュール３５０）及びデワープ（モジュール３２０、図７）、又は
（３）ビデオ信号の圧縮解除（モジュール３５０）
モジュール１０２２とモジュール１０２４は、図１０に示されるように、通信可能につながっている。モジュール１０２２の出力は、モジュール１０２４の処理に影響を及ぼしうる。モジュール１０２４は、ソース１１０に向けて制御データ９２２を生成してよく、制御データ９２２は、モジュール１０２２及びネットワークインタフェース１０１０を介して伝達される。
モジュール１０２４は、純ビデオ信号９２０を、ｍ個（ｍ＞１）のクライアント別適応モジュール１０６０（個別には１０６０（０）から１０６０（ｍ−１）として識別されている）に向ける。クライアント別適応モジュール１０６０は、それぞれ独立したハードウェアプロセッサを使用することが好ましい。各クライアント別適応モジュール１０６０は、必要なコード変換機能を各プロセッサに実施させる命令を記憶するメモリ装置を含む。
クライアント装置から受信されたデータは、アップストリーム制御データ９１０を含む。クライアント装置に向けられるデータは、制御データ９１２及び編集済みマルチメディア信号９４０を含む。アップストリーム制御データ９１０は、ネットワークインタフェース１０１０において抽出され、クライアントの制御データモジュール１０２６に向けられる。クライアント別適応モジュール１０６０は、クライアント制御バス１０６１を介してアップストリーム制御データ９１０にアクセスし、クライアント別制御データは、バッファ１０６２で、又は当該技術分野において知られている別の手段で保持される。クライアント別適応モジュール１０６０において生成されるダウンストリーム制御データは、クライアント制御バス１０６１、クライアント制御データモジュール１０２６、ネットワークインタフェース１０１０、及び少なくとも１つのデュアルリンク１００８を介して各クライアント装置１８０に配信される。各編集済みクライアント別マルチメディア信号９４０が結合されて（結合器１０９０）、この集合体ストリーム１０９５が、ネットワークインタフェース１０１０、少なくとも１つのデュアルリンク１００８、及び少なくとも１つのネットワークを介して各クライアント装置１８０に配信される。
図１１は、クライアント別適応モジュール１０６０の詳細を示す。このモジュールは、プロセッサで実行可能な命令を記憶する少なくとも１つのメモリ装置を含み、これらの命令が実行されると、少なくとも１つのプロセッサが、選択された視聴領域に対応する信号を抽出する、ビデオ信号のコンテンツフィルタリングの処理と、コンテンツフィルタリング済みビデオ信号をコード変換して、ターゲットクライアント装置１８０の能力に適合させる処理と、を実施する。ビデオ信号は、時間変動するフローレートの代表値であってよい許容フローレートの制約下で圧縮されてよい。
クライアント別適応モジュール１０６０は、コンテンツフィルタリングを行う構成要素モジュール１１２０と、クライアント装置の能力への適応を行う構成要素モジュール１１４０と、許容フローレート以内のフローレートを有するビデオ信号を生成する構成要素モジュール１１６０と、を含む。
一実施形態によれば、コンテンツフィルタリングモジュール１１２０は、純ビデオ信号９２０を処理して、指定された視聴領域に対応する信号部分を抽出することにより、コンテンツフィルタリング済み信号１１２２を生成する。コンテンツフィルタリング済み信号１１２２の平均フローレートは、信号９２０の平均フローレートより低くなる。信号１１２２がターゲットクライアント装置の能力に適合していて、許容値を満たすフローレートであれば、この信号がターゲットクライアント装置に送信されてよい。そうでない場合は、モジュール１１４０が適用されて、ターゲットクライアント装置の特性（例えば、フレームレートの上限やフレーム分解能の上限）に適合するように信号１１２２のコード変換が行われる。結果として得られるコード変換されたコンテンツフィルタリング済み信号１１４２のフローレートが許容値を超えていなければ、信号１１４２がターゲットクライアント装置に送信されてよい。そうでない場合は、モジュール１１６０が適用されて、許容フローレートに従って信号１１４２の圧縮が行われてよく、これによって、圧縮済み、コード変換済み、且つコンテンツフィルタリング済みの信号９４０が生成される。
別の実施形態によれば、モジュール１１４０が適用されて、純ビデオ信号９２０のコード変換が行われてよく、これによって、ターゲットクライアント装置の能力に適合するコード変換済み信号１１５２が生成される。コンテンツフィルタリングモジュール１１２０は、信号１１５２を処理して、指定された視聴領域に対応する信号部分を抽出することにより、コンテンツフィルタリングされたコード変換済みの信号１１３２を生成する。コンテンツフィルタリングされたコード変換済みの信号１１３２の平均フローレートは、信号９２０の平均フローレートより低くなる。信号１１３２のフローレートが許容値を満たせば、この信号がターゲットクライアント装置に送信されてよい。そうでない場合は、モジュール１１６０が適用されて、許容フローレートに従って信号１１３２の圧縮が行われてよく、これによって、圧縮済み、コード変換済み、且つコンテンツフィルタリング済みとなった信号９４０が生成される。
図１２は、圧縮ビデオ信号のフローレート（ビットレート）の時間変動を示す。これまで、可変フローレート（ビットレート）信号を特徴づける為に幾つかの記述子が使用されており、例えば、フローレートの平均値及びピーク値、並びにバースト継続時間を表すパラメータが使用されている。これらの記述子、並びに、信号を伝達するように指定された共用ネットワーク経路の容量が、実効フローレート（実効ビットレート）を決定する為に使用されてよい。モジュール１１６０は、実効フローレート（実効ビットレート）が（購入された）ネットワーク接続の許容フローレートを超えないことを確実にする。
図１３に示されるモジュール１３００は、時間制限され、低フローレートでありながらも、パノラマ完全空間カバレッジを提示することに適するビデオ信号を生成することにより、この時間制限ビデオ信号を受信するクライアントが好みの部分カバレッジ視聴を選択することを可能にする。
フレームサンプリングモジュール１３２０に含まれる、プロセッサで実行可能な命令により、プロセッサは、離れたフレーム間隔の間に、純ビデオ信号９２０、又は純ビデオ信号から抽出されたコード変換済みビデオ信号をサンプリングして、完全空間カバレッジサンプリングされた画像に対応する、フレームサンプリングされたビデオ信号１３２２を生成する。フレームサンプリングされたビデオ信号１３２２は、圧縮されておらず、許容フローレートを超えない一定のフローレートを有する。フレームサンプリングされたビデオ信号１３２２は、純ビデオ信号９２０の１つのフレームに対応する全てのデータが蓄積されてから、クライアント装置において表示される。
純ビデオ信号９２０は、補正済み信号３２２又は修正済み信号３２４（図３）であってよい。フレーム間のサンプリング期間は、ビデオ信号９２０のサンプリングされる部分のストリームの（一定）フローレートが許容フローレートを超えないように選択される。例えば、ビデオ信号９２０のデータフローレートが１Ｇｂ／ｓであって、許容フローレートが５Ｍｂ／ｓである場合、フレームサンプリングモジュール１３２０は、ひと組が連続する２００フレームである各組から１つのフレームを選択する。そして、サンプリングされたフレームを受信した特定のクライアント装置１８０が、２００フレームの時間間隔（フレームレートが４０フレーム毎秒であれば５秒）の間に各フレームを繰り返し表示する。サーバ１２０は、その特定のクライアント装置から好みの視聴領域の指示を受け取ったら、各編集済みマルチメディア信号９４０の送信を開始し、フレームサンプルの送信を終了する。
サーバ１２０は、視聴選択ソフトウェア命令を各クライアント装置に送ることにより、クライアントによる好みの視聴領域の選択を促進することが可能である。このソフトウェア命令は、ダウンストリーム制御データ９１２（図９）を搬送する経路と同じ経路で送られてよい。
空間−時間圧縮モジュール１３４０に含まれる、プロセッサで実行可能な命令により、プロセッサは、純ビデオ信号９２０、又は純ビデオ信号から抽出されたコード変換済みビデオ信号を圧縮して、完全空間カバレッジ画像に対応する圧縮信号１３４２を生成する。圧縮信号１３４２は、図１２に示されたようにフローレートが変動するが、圧縮モジュール１３４０は、実効フローレート（実効ビットレート）が許容フローレートを超えないようにしている。
空間−時間圧縮モジュール１３６０は、空間−時間圧縮モジュール１３４０と同様に、純ビデオ信号９２０から抽出された、事前選択されたコンテンツフィルタリング済み（部分カバレッジ）信号１３６２の圧縮をプロセッサに行わせる。連続する時間窓を占有する一連の圧縮されたコンテンツフィルタリング済み信号１３６４が、ターゲットクライアント装置に送られる。各圧縮信号１３６４は、図１２に示されたようにフローレートが変動するが、圧縮モジュール１３６０は、各圧縮信号１３６４の実効フローレート（実効ビットレート）が許容フローレートを超えないようにしている。
図１４は、コンテンツフィルタリング済みビデオ信号をクライアント装置に渡す処理を示す。時刻ｔ１に、特定のクライアント装置１８０のユーザが、特定のイベントの視聴を要求するメッセージ１４０２をサーバ１２０に送る。このメッセージは、時刻ｔ２にサーバ１２０が受け取る。特定のクライアント装置のユーザが好みの視聴領域の識別子をサーバに伝達することを可能にする為に、幾つかの方法が考えられる。
一方法では、サーバが、選択された完全空間カバレッジパノラマ画像に対応するフレームサンプリングされた信号１３２２を時刻ｔ３に送信する。時刻ｔ４に、クライアント装置１８０は、フレームサンプリングされた信号１３２２の受信を開始し、この信号は、１フレーム分のコンテンツが蓄積された後にディスプレイ装置にサブミットされる。時刻ｔ５に、特定のクライアント装置のユーザは、選択された視聴領域を指定するパラメータを渡すメッセージ１４０４を送信する。メッセージ１４０４は、時刻ｔ６にサーバが受け取る。サーバ１２０は、選択された視聴領域に対応する各コンテンツフィルタリング済みビデオ信号を形成する。各コンテンツフィルタリング済みビデオ信号は圧縮されてよく、これによって、圧縮されたコンテンツフィルタリング済み（部分空間カバレッジ）信号１４４０が生成される。サーバは、フレームサンプリングされた信号１３２２の送信を時刻ｔ７に終了し、クライアント装置１８０への信号１４４０の送信を時刻ｔ９に開始する。信号１４４０は、クライアント装置において圧縮解除され、表示される。クライアント装置は、フレームサンプリングされた信号１３２２の最後のフレームを時刻ｔ８までに受け取り、圧縮信号１４４０の受信を時刻ｔ１０に開始する。圧縮信号１４４０の送信は時刻ｔ１１に終了し、この信号の、クライアント装置での受信は時刻ｔ１２に終了する。
別の方法では、サーバは、図１３に示されたように、クライアント装置に適合する、許容フローレートまで圧縮された完全カバレッジビデオ信号１３４２を生成する。サーバは、信号１３４２を時刻ｔ３に送信し、クライアント装置１８０は、圧縮信号の受信を時刻ｔ４に開始する。圧縮信号１３４２は、クライアント装置において圧縮解除され、ディスプレイ装置にサブミットされる。時刻ｔ４の後のイベントシーケンスは、フレームサンプリングされたビデオ信号１３２２の場合に対応するイベントシーケンスと同様になる。
別の方法では、サーバは、図１３に示されたように、事前選択された視聴領域に対応する幾つかのコンテンツフィルタリング済みビデオ信号１３６２を純ビデオ信号９２０から抽出する。これらの抽出されたコンテンツフィルタリング済みビデオ信号のそれぞれは、クライアント装置の能力に適合するものであり、許容フローレートまで圧縮されている。一連の信号１３６２がクライアント装置に送信されてよく、クライアント装置のユーザは、事前選択された視聴領域のうちの好みの１つを示すメッセージをサーバに送信してよい。
図１５は、サーバ１２０からクライアント装置１８０に送信されるビデオ信号のビットレート（フローレート）の時間変動を示す。フレームサンプリングされた信号１３２２のビットレートは一定であり、所定の許容ビットレートを超えない値に設定されている。圧縮されたコンテンツフィルタリング済み信号１４４０のビットレートは時間変動する。従来、可変ビットレートは、平均ビットレート、ピークビットレート、平均データバースト長などのパラメータによって特徴づけられる。これらのパラメータを、各ネットワーク経路の容量とともに使用して、「実効ビットレート」を算出することが可能であり、これは平均ビットレートより大きい。フレームサンプリングされた信号１３２２を形成することにより、結果として得られる一定ビットレートは、確実に、（サービスレベル合意に基づいてよい）所定の許容ビットレートを超えない。サーバ１２０における圧縮処理は、圧縮信号１４４０の実効ビットレートが許容ビットレートを超えないように考案されている。
図１６は、サーバ１２０の信号編集ユニット４６０（図４から図９）の基本構成要素１６００を示す。第１の段階１６１０では、純ビデオ信号９２０が処理されて、Ｋ個（Ｋ≧１）のコンテンツフィルタリング済み信号１６１２が生成される。第２の段階１６２０では、各コンテンツフィルタリング済み信号１６１２が、それぞれのクライアント装置又はクライアント装置群１８０に適応される。各コンテンツフィルタリング済み信号は、それぞれの信号処理ユニット１６３０に誘導されて、フレームレートの上限、分解能、及びフローレート（ビットレート）を含む幾つかの条件を満たす、それぞれの調整済み信号１６５０が生成される。調整済み信号１６５０は、幾つかのクライアント装置にマルチキャストされることに適していてよい。コンテンツフィルタリング済み信号１６１２は、個別には１６１２（０）から１６１２（Ｋ−１）として識別されている。信号処理ユニット１６３０は、個別には１６３０（０）から１６３０（Ｋ−１）として識別されている。調整済み信号１６５０は、個別には１６５０（０）から１６５０（Ｋ−１）として識別されている。
図１７は、Ｋ個のコンテンツフィルタリングモジュール１７２０（個別には１７２０（０）から１７２０（Ｋ−１）として識別されている）を含むコンテンツフィルタリング段階１６１０を示す。各コンテンツフィルタリングモジュール１７２０は、純ビデオ信号９２０から、指定された視聴領域に対応する部分を抽出することを物理プロセッサ（図示せず）に行わせるように考案されている。純ビデオ信号９２０は各コンテンツフィルタリングモジュール１７２０にサブミットされ、各モジュール１７２０は、対応するコンテンツフィルタリング済み信号１６１２を生成するように活性化される。特定のコンテンツフィルタリング済み信号１６１２が、その特定のコンテンツフィルタリング済み信号に対応する、視聴領域の好みを示した幾つかのクライアントにマルチキャストされてよい。しかしながら、クライアント装置はそれぞれ特性が異なる場合があり、クライアント装置までのネットワーク経路の容量がそれぞれ異なる場合があり、ネットワーク経路の容量、及びクライアント装置における時間変動トラフィック負荷がそれぞれ異なる為にクライアント装置に対する許容フローレートがそれぞれ異なる場合がある。従って、コンテンツフィルタリング済み信号１６１２は、第２の段階１６２０において、クライアント装置及びネットワーク経路に適応するように処理される。
図１８は、第２の段階１６２０の信号処理ユニット１６３０を示しており、これは、クライアント装置の各タイプに対する信号適応を行うコード変換モジュール１８４０と、許容フローレートに適合する為の信号フローレート適応を行うモジュール１８６０と、を含む。モジュール１８４０は、フレームレート及び分解能が各クライアント装置の能力の範囲に収まるようにビデオ信号を適応させることが可能である。Ｎ個のタイプ（Ｎ≧１）のクライアント装置が活動している場合、モジュール１８４０は、それぞれが各装置タイプに適応されたＮ個の信号１８４２（個別には１８４２（０）から１８４２（Ｋ−１）として識別されている）を生成する。モジュール１８６０は更に、信号のフローレートが許容値を超えた場合にはフローレートを下げることが可能である。各モジュール１８６０（ｊ）（０≦ｊ＜Ｎ）は、各信号１８４２のデータブロックを保持するバッファ１８６１と、プロセッサで実行可能なフローレート適応命令を記憶するメモリ装置１８６２と、を含む。
図１９は、信号編集ユニット４６０の一例示的実施態様１９００を示す。図１７に示されたように、コンテンツフィルタリング段階１６１０は、Ｋ個のコンテンツフィルタリングモジュール１７２０を含む。各コンテンツフィルタリング済み信号１６１２は、コード変換モジュール１８４０にサブミットされて、クライアント装置の各タイプに対して適応される。コード変換モジュール１８４０は、コンテンツフィルタリング済み信号１６１２のデータブロックを保持するバッファ１９２２と、プロセッサで実行可能な命令を記憶するメモリ装置１９２３とを含み、これらの命令によって、プロセッサは、フレームレート及び／又は分解能を、クライアント受信機の能力に適合するように修正する。コード変換モジュール１８４０の各出力信号１８４２は、フローレート適応モジュール１８６０において更に処理されてよい。
図１７に示されたように、Ｋ個のモジュール１７２０（個別には１７２０（０）から１７２０（Ｋ−１）として識別されている）（Ｋ＞１）が同時に活性化されることにより、異なるコンテンツフィルタリング済み信号１６１２（０）から１６１２（Ｋ−１）が抽出されてよく、これらのそれぞれが更に、それぞれの信号処理ユニット１６３０において処理されて、各クライアント装置又はクライアント装置群での表示に適する信号１６５０が生成される。図１８に示されたように、コンテンツフィルタリング済み信号１６１２は、ターゲットクライアント装置１８０に適合するようにコード変換され、更に、許容上限を超えないフローレートに適応される。図２０は、ターゲットクライアント装置１８０に対するビデオ信号編集の処理２０００を示す。制御信号９１０は、トラフィックパフォーマンス測定値２０１４、公称フレームレート及びフレーム分解能２０１６、並びに好みの視聴領域の識別子２０１２を提供してよい。純ビデオ信号９２０がコンテンツフィルタリングモジュール１７２０（ｊ）に誘導されることにより、ターゲットクライアント装置のユーザによって識別された視聴領域ｊに対応するコンテンツがビデオ信号９２０から抽出される。モジュール２０４０は、モジュール１８４０（ｊ）において使用される、ターゲットクライアント装置１８０に適合する許容フローレートΦ、並びにフレームレート及びフレーム分解能を決定する為に活性化される。コード変換モジュール１８４０（ｊ）は、抽出されたコンテンツフィルタリング済み信号１６１２（ｊ）を、モジュール２０４０によって決定されたフレームレート及びフレーム分解能に適応させる為に活性化される。圧縮モジュール２０３０が編集済みビデオ信号９４０を生成し、この信号は、識別された視聴領域に適合し、ターゲットクライアント装置１８０の能力と、サーバ１２０からターゲットクライアント装置１８０までのネットワーク経路の能力とに適応されている。送信機２０５０が信号２０５２をターゲットクライアント装置に送信する。信号２０５２は、ビデオ信号９４０と、付随するマルチメディア信号（例えば、オーディオ信号及び／又はテキスト）及び制御信号とを一緒に含む。信号２０５２は、ネットワーク経路２０６０を通ってターゲットクライアント装置にルーティングされる。
図２１は、モジュール２０４０の詳細を示す。処理２１１０は、サーバに記憶されるか、ターゲットクライアントから受信される制御信号９１０に含まれていてよい、ターゲットクライアント装置１８０の公称フレームレート及び公称フレーム分解能から始めて、ターゲットクライアント装置１８０のディスプレイ装置において必要なフローレートＲを、フレームレートとフレーム当たり画素数と画素当たりビット数とを直接掛け合わせることによって決定する。処理２１２０は、独立に、サーバとターゲットクライアント装置との間の許容フローレートΦ（参照符号２１２２）を、ネットワーク経路２０６０上のトラフィックパフォーマンスの測定値と、クライアント装置の受信バッファの占有率とに基づいて決定する。トラフィックパフォーマンス測定値は、データロスインジケータ（あれば）及び遅延ジッタを含む。トラフィックパフォーマンス測定値は、当該技術分野においてよく知られている技術を用いて測定される。測定されたトラフィックパフォーマンスに基づいて許容フローレートを決定することは、実験式に基づいてよく、或いはパラメータ化分析モデルに基づいてよい。
処理２１４０は、ネットワーク経路２０６０上の許容フローレートΦに対する、ターゲットクライアントサーバのディスプレイ装置において必要なフローレートＲの比が、圧縮モジュール２０３０にとって適切かどうかを判定する。フローレートＲを下げないと圧縮比制限が満たされない場合には、処理２１５０は、改訂フレームレート及び／又は改訂分解能２１５２を決定してよく、これがモジュール１８４０（図２０）に伝達される。許容フローレートΦは、圧縮モジュール２０３０に伝達されてよい。
図２２は、クライアント装置１８０の構成要素を示す。メモリ装置２２１０が、クライアント装置の特性化データ（例えば、ディスプレイ装置のフレームレート及びフレーム分解能の上限）を記憶する。メモリ装置２２２０が、特定のサーバ１２０と相互作用するソフトウェア命令を記憶する。これらの命令は、クライアント装置のユーザが好みの視聴領域の識別情報をサーバに伝達することを可能にするソフトウェアモジュールを含んでよい。ソフトウェア命令は、クライアント装置のユーザによってインストールされてよく、或いは、ダウンストリーム制御信号９１２と一緒にサーバ１２０から送信されてよい。クライアント送信機２２３０が、全ての制御データをクライアント装置から各サーバ１２０に送信する。クライアント受信機２２４０が、サーバ１２０からの全ての信号を受信し、これには、編集済みビデオ信号９４０（これは圧縮されていてよい）、他のマルチメディアデータ（オーディオ信号及びテキスト）、及び制御信号９１２が含まれる。インタフェース２２４２が、制御信号９１２をプロセッサ２２５０に振り分け、編集済みビデオ信号９４０を、付随するオーディオ信号及びテキストと一緒にメモリ装置２２６０に振り分け、メモリ装置２２６０は、ビデオ信号９４０、オーディオデータ、及びテキストを含む着信マルチメディアデータのデータブロックをバッファリングする。着信マルチメディアデータが圧縮されていない場合、データはディスプレイ装置２２９０に渡される。着信マルチメディアデータが圧縮されている場合は、クライアント圧縮解除モジュール２２７０が、メモリ装置２２６０にバッファリングされている圧縮データブロックを圧縮解除して表示データを生成し、これが、ディスプレイ装置２２９０につながっているメモリ装置２２８０で保持される。特に、フレームサンプリングされた完全カバレッジ信号１３２２（図１３、図１４）の１フレーム分に対応するデータブロックが、メモリ装置２２８０からデキューされるまで何度も表示されてよい。
図２３は、パノラママルチメディアサーバ１２０と２つのパノラママルチメディアソース１１０−０及び１１０−１との間の通信経路を示す。マルチメディアソース１１０は、パノラマカメラ３１０（例えば、４πカメラ）を含み、図３から図８に示されたように、デワープモジュール３３０及び／又は圧縮モジュール３４０を含んでよい。パノラママルチメディアソース１１０は２つだけ示されているが、当然のことながら、パノラママルチメディアサーバ１２０は、より多くのマルチメディアソース１１０から同時にコンテンツを取得してよい。好ましい一実施態様では、パノラママルチメディアサーバは、パノラママルチメディアサーバのネットワーク接続性及び処理能力を活動レベルに応じて選択できるように、クラウドエンベデッドされている。パノラママルチメディアソース１１０からのソースマルチメディア信号は、適切な伝送能力のネットワーク経路２３１２を通って、パノラママルチメディアサーバ１２０に送信される。ソースマルチメディア信号は、ソースビデオ信号２３４０を含む。
ネットワーク経路２３１２が理想的であれば、パノラママルチメディアサーバ１２０が受信するマルチメディア信号は、送信されたビデオ信号の遅延した複製となる。しかしながら、ネットワーク経路２３１２は、ソース側のルータ、受け側のルータ、並びに場合によっては１つ以上の中間ルータを通る可能性がある。従って、受信されるマルチメディア信号は、ノイズ、遅延ジッタ、並びに場合によっては信号の一部消失に見舞われる可能性がある。サーバ１２０における信号フィルタリング、並びにフローレート制御によって、受信されるマルチメディア信号のコンテンツは、送信されたマルチメディア信号のコンテンツに近い複製となる。受信されたマルチメディア信号のビデオ信号成分２３６０は、上述のように規定されたソースビデオ信号を構成する。
ソースビデオ信号２３６０は、図３に示されたように、パノラマカメラで生成された「ロー」ビデオ信号３１２、補正済みビデオ信号３２２、又は圧縮ビデオ信号３４２、又はコンパクトビデオ信号３４３であってよい。デワープモジュール３３０により、ロービデオ信号から補正済みビデオ信号３２２が生成される。圧縮モジュール３４０（図３）により、標準化された圧縮方法又は独自の圧縮方法のいずれかに従って、ロー信号３１２から圧縮ビデオ信号３４２が生成される。圧縮モジュール３４０により、補正済みビデオ信号３２２からコンパクトビデオ信号３４３が生成される。ロービデオ信号は、単一のパノラマカメラ、又は複数のカメラにより生成されてよい。
パノラママルチメディアサーバ１２０は、ネットワーク経路２３１４を介して、制御信号９２２（図９）をパノラママルチメディアソース１１０に送信してよく、ネットワーク経路２３１４は、ペイロード経路２３１２に比べて伝送容量が（格段に）低いものとなる。制御信号９２２は、パノラママルチメディアソース１１０において、信号９２２と同じ制御情報を有する制御信号２３４１として受信される。
図２４は、パノラママルチメディアサーバ１２０と複数の異種クライアント装置１８０との間の通信経路を示す。パノラママルチメディアサーバ１２０は、ネットワーク経路２４１２を介して、編集済みマルチメディア信号９４０をクライアント装置に送信する。パノラママルチメディアサーバ１２０は、個々のクライアント装置１８０から制御データ９１０を受信する。制御データ９１０は、サービスの要求と視聴領域の選択とを含んでよい。
図２５は、マルチメディアソース１１０において生成されたパノラママルチメディア信号２３４０から適応されたクライアント別マルチメディア信号９４０を複数の異種クライアント装置１８０にマルチキャストするシステム２５００を示す。マルチメディア信号９４０は、各クライアント装置の能力、ネットワーク経路の利用可能な容量（「帯域幅」）、及びクライアントの好みに対して個別に適応される。パノラママルチメディアサーバ１２０は、共用クラウドコンピューティングネットワーク内に割り当てられたハードウェア処理ユニット及びメモリ装置を使用して実施されてよい。或いは、クラウドの外側のコンピューティング施設において、選択された処理が実施されてよい。
図２６は、少なくとも１つのハードウェアプロセッサ２６１０を含む、パノラママルチメディアサーバ１２０のモジュール構造を示す。マルチメディアソースインタフェース２６５１が、マルチメディアソース１１０との通信を制御する。モジュール２６５２が、マルチメディアソース１１０を特性化し、受信されたパノラママルチメディア信号２３６０を処理するように考案されたモジュールのセット２６２０にソース特性化データを伝達する。ソース特性化データは、パノラママルチメディアソースによって伝達される特性化データから、或いは、記憶されているレコードから決定されてよい。モジュールのセット２６２０は、伝送ノイズや遅延ジッタに起因する信号劣化を相殺する信号フィルタリングモジュール２６２１を含み、圧縮解除モジュール３５０及びデワープモジュール３２０を含んでよい。信号フィルタリングモジュール２６２１は、ノイズ及び遅延ジッタによって引き起こされる信号劣化を相殺する。「ロー」ビデオ信号３１２（図３）がソースにおいてデワープされて「補正済み信号」３２２が生成され、これが更にソースにおいて圧縮される場合、圧縮解除モジュール３５０は、適切な圧縮解除処理を適用して、補正済み信号３２２の複製を生成する。そうでない場合、ロービデオ信号３１２がソースにおいてデワープされずに圧縮されていれば、圧縮解除モジュール３５０は、適切な圧縮解除処理を適用して、ロー信号３１２の複製を生成し、これがデワープモジュール３２０によってデワープされる。
クライアント装置関連モジュール２６４０は、クライアント装置特性化モジュール２６４２と、クライアント装置の特性に対する信号適応を行うモジュール２６４３とを含む。クライアント装置特性化モジュール２６４２は、クライアントプロファイルデータベース２６４１に依存してよく、或いは、クライアントのインタフェース２６６１を介して受信された特性化データからクライアント装置の特性を抽出してよい。クライアントの装置の特性は、処理能力、フレームレート、フレーム分解能、フローレート制限などに関するものであってよい。
クライアント別モジュール２６６０は、クライアントのインタフェース２６６１と、クライアントの環境に対する信号適応を行うモジュール２６６２と、クライアントの視聴の好みに対する信号適応を行うモジュール２６６３と、を含む。
図２７は、学習モジュール２７２５を含むパノラママルチメディアサーバ１２０を示しており、学習モジュール２７２５は、視聴選択肢のクライアントの選択を追跡することと、視聴選択肢をクライアント装置の特性及びクライアントの他の属性と相互に関連付けることと、を行う。
図２８は、パノラママルチメディアサーバ１２０において実施される処理を示しており、この処理では、パノラマビデオ信号がクライアント装置タイプに対して適応されてから、コンテンツフィルタリングされる。処理２８２０では、ソースビデオ信号２３４０がソースにおいて圧縮されている場合に、受信されたソースビデオ信号２３６０が圧縮解除される。ソースビデオ信号２３４０がソースにおいてデワープされていない場合には、受信されたソースビデオ信号２３６０がデワープされる。処理２８２０では純ビデオ信号９２０が生成され、この信号は、上述のように、補正済みビデオ信号３２２又は修正済みビデオ信号３２４（図３）であってよい。複数の処理２８３０が並列に実行されてよく、これによって、純ビデオ信号９２０が、様々なタイプのクライアント装置に適応されたビデオ信号にコード変換される。
処理２８３０のそれぞれは、クライアント装置の各タイプに固有である。処理２８３０では、処理２８２０の結果として得られる純ビデオ信号９２０がコード変換されて、クライアント装置の各タイプに適する修正済み信号が生成される。幾つかのクライアントが同じタイプの装置を使用していてよい。しかしながら、各クライアントは視聴の好みが異なってよい。処理２８３０で生成されたビデオ信号が、処理２８４０において、各クライアント（人間）の視聴領域の選択結果に適応される。しかしながら、同じタイプの装置を使用する２つ以上のクライアントが視聴の好みも同様である場合には、処理２８４０が１つだけ実行されてよく、結果として適応された信号がその２つ以上のクライアントに送信される。
図２９は、パノラママルチメディアサーバ１２０において実施される処理を示しており、この処理では、パノラマビデオ信号が、コンテンツフィルタリングされてから、クライアント装置タイプに対して適応される。図２８の処理２８２０と同様に、ソースビデオ信号２３４０がソースにおいて圧縮されている場合に、受信されたソースビデオ信号２３６０が圧縮解除される。ソースビデオ信号２３４０がソースにおいてデワープされていない場合には、受信されたソースビデオ信号２３６０がデワープされる。処理２８２０では純ビデオ信号９２０が生成され、この信号は、上述のように、補正済みビデオ信号３２２又は修正済みビデオ信号３２４（図３）であってよい。メモリ装置が、部分カバレッジ視聴領域の所定の記述子のセット２９２５を記憶する。
複数の処理２９３０が並列に実行されてよく、これによって、純ビデオ信号９２０のコンテンツフィルタリングが実施されて、部分カバレッジ視聴領域の所定の記述子に対応するコンテンツフィルタリング済みビデオ信号が生成される。コンテンツフィルタリング済みビデオ信号を、タイプの異なる複数のクライアント装置に適応させる為に、複数の処理２９４０が並列に実行されてよい。２つ以上のクライアントが同じ視聴領域を選択し、同じタイプのクライアント装置を使用する場合には、処理２９４０が１つだけ実行され、結果として適応されたビデオ信号がその２つ以上のクライアントに送信される。
図３０は、パノラママルチメディア信号を取得し、取得したマルチメディア信号を個々のクライアントに適応させる方法を示す。パノラママルチメディアサーバ１２０は、パノラママルチメディア信号と、好ましくはそれぞれのメタデータとを、選択されたパノラママルチメディアソース１１０から取得する（処理３０１０）。取得されたパノラママルチメディア信号はソースビデオ信号を含み、これは、図３に示されたように、ロービデオ信号、補正済みビデオ信号、圧縮ビデオ信号、又はコンパクトビデオ信号であってよい。ソースビデオ信号は、ノイズや遅延ジッタに起因する劣化を相殺する為にフィルタリングされ（処理３０１２）、信号がソースにおいて圧縮されている場合には圧縮解除される（処理３０１４）。そこまでに処理された信号は、ソースにおいて最初にデワープされていない場合にはデワープされる（処理３０１８）。処理３０１０から処理３０１８までで純ビデオ信号９２０が生成される。
クライアントからのサービス要求が受信されると（処理３０２０）、純ビデオ信号９２０は、クライアントの装置の特性に対して適応される（処理３０２２）。適応された信号は、圧縮され（処理３０２６）、クライアント装置に送信される（処理３０２８）。処理３０２６では、サーバからクライアント装置までのネットワーク経路の状態によって生ずる可能性があるフローレート制約が考慮される。
クライアントは、特定の視聴領域を希望してよく、パノラママルチメディアサーバ１２０と通信して好みを伝えることが可能である。好みの視聴領域を指定する制御信号３０３０がクライアントから受信されると（処理３０３２）、処理３０２２で生成された、適応された信号がコンテンツフィルタリングされ（処理３０３４）、圧縮され（処理３０２６）、クライアント装置に送信される（処理３０２８）。純視聴信号９２０は、ストリーミングセッション中に複数回コンテンツフィルタリングされてよい。
図３１は、図３０の方法と同様の、パノラママルチメディア信号を取得し、取得したマルチメディア信号を個々のクライアントに適応させる方法を示す。異なるのは、処理３０１０、３０２０、及び３０２２の実行順序だけである。
図３２は、パノラママルチメディアサーバ１２０において保持される、特定のパノラママルチメディアソース１１０に対応する一例示的ストリーミング制御テーブル３２００を示す。特定のクライアント装置１８０に配信される編集済みマルチメディア信号９４０（図９、図２４）は、そのクライアント装置の特性と、そのクライアント装置を使用する視聴者の視聴の好みとに依存する。多数のクライアント装置１８０が（活動をリアルタイムで監視している）パノラママルチメディアサーバ１２０に同時に接続している場合には、以下のことが可能性としてありそうである。
（ｉ）多数のクライアントが、同じ特性のクライアント装置１８０を使用するが、視聴の好みがそれぞれ異なる。
（ｉｉ）多数のクライアントが、視聴の好みはよく似ているが、使用するクライアント装置の特性がそれぞれ異なる。且つ／又は、
（ｉｉｉ）２人以上のクライアントが、同じ特性のクライアント装置を使用し、視聴の好みも同じである。
従って、パノラママルチメディアサーバ１２０の処理負担を減らすために、
特性が同じである全てのクライアント装置に対してモジュール２６４３が１回だけ実行されてよく、次に、同様のクライアント装置と同様の視聴の好みとを有する全てのクライアントに対してモジュール２６６３が１回だけ実行されてよい。或いは、
視聴の好みが同様である全てのクライアントに対してモジュール２６６３が１回だけ実行されてよく、次に、同様の視聴の好みと同様のクライアント装置とを有する全てのクライアントに対してモジュール２６４３が１回だけ実行されてよい。
上述のように、モジュール２６４３は、クライアント装置の特性に対する信号適応を行うように考案されており、モジュール２６６３は、クライアントの視聴の好みに対する信号適応を行うように考案されている。
クライアントのサービス要求はランダムな順序で到着する可能性があり、先行する信号適応処理を追跡する簡単な一方法は、ストリーミング制御テーブル３２００（図３２）を使用することである。テーブル３２００は、ＮＵＬＬで初期化されている。図３２の例では、クライアント装置１８０の８つのタイプがＤ０、Ｄ１、…、Ｄ７と表されており、６つの視聴選択肢がＶ０、Ｖ１、…、Ｖ５と表されており、これらは、例えば、視聴立体角に従って定量化される。第１のクライアントが、タイプＤ１のクライアント装置を使用してパノラママルチメディアサーバ１２０にアクセスし、視聴選択肢Ｖ３を要求した。この場合は、ストリーム０と表されたストリームが生成され、制御テーブル３２００に示される。タイプＤ５のクライアント装置１８０を使用し、視聴選択肢Ｖ２を指定した別のクライアントに対しては、ストリーム１と表される別のストリームが生成され、その他も同様に行われる。制御テーブル３２００には６つのストリームだけが識別されているが、当然のことながら、同時に接続されているクライアント装置１８０が多数ある場合には、多数のストリームがあってよい。クライアントからの新しい要求が受信されると、制御テーブル３２００がアクセスされて、新しいストリームを生成するべきか、既存のストリームをそのクライアントに向けるべきかが判定される。本明細書では、ある装置タイプに対応する全てのストリームが、ある「ストリームカテゴリ」を形成するものとされている。
図３３は、特定のクライアント装置１８０に対するビデオ信号の最初の適応のストリーミング制御処理３３００を示す。クライアント装置１８０からのサービス要求がクライアントインタフェースモジュール２６６１において受信され（処理３３１０）、クライアント装置１８０のタイプが識別される（処理３３１２）。処理３３１４では、その装置タイプが想定されているかどうかが判定される。
クライアント装置タイプがまだ想定されていないものであれば（処理３３１４）、新しいストリームカテゴリが作成され（処理３３２０）、純ビデオ信号９２０がその装置タイプに適応される（処理３３２２）。新しいストリームカテゴリが記録され（処理３３２４）、新しいストリームが生成され（処理３３２６）、その特定のクライアント装置に送信される（処理３３３０）。
その装置タイプが既に想定されている場合（処理３３１４）には、ストリームカテゴリが識別される（処理３３１６）。この時点では、クライアントは視聴の好みを示していなくてもよく、デフォルトの視聴選択肢が割り当てられてよい。識別された視聴領域に対応するストリームが既に生成されている場合（処理３３２６）には、そのストリームがその特定のクライアント装置に送信される（処理３３３０）。そうでない場合には、新しいストリームが生成され（処理３３２６）、その特定のクライアント装置に送信される（処理３３３０）。
図３４は、クライアント装置１８０のタイプごとの視聴選択肢の数を示す、学習モジュール２７２５によって生成された一例示的テーブル３４００を示す。Ｄ０、Ｄ１、…、Ｄ７と表される８つのクライアント装置タイプと、Ｖ０、Ｖ１、…、Ｖ５と表される６つの視聴選択肢とが想定されている。このテーブルは、装置タイプと、可動時間窓であってよい所定の時間窓にわたる視聴選択肢と、によって規定される各ストリームの選択数を蓄積してよい。
図３４の例示的テーブルでは、Ｄ１と表されるクライアント装置を使用するクライアントに最も人気のある視聴選択肢は、（その時間窓の間に６４回選択されている）視聴選択肢Ｖ３である。そこで、パノラママルチメディアサーバ１２０において受信される、タイプＤ１のクライアント装置からの新しいサービス要求に対しては、まず視聴選択肢Ｖ３が割り当てられてよい。
図３５は、パノラママルチメディアサーバ１２０とネットワークとの結合を示す。パノラママルチメディアサーバ１２０は、その全体がクラウドコンピューティングネットワーク内で実施されてよく、クライアント装置１８０との通信も、そのクラウドコンピューティングネットワーク内で行われてよい。或いは、生成されたクライアントバウンドストリーム９４０が、別のネットワークのルータ／スイッチ３５４０を介してクライアント装置にルーティングされてよい。ルータ−スイッチ３５４０は、入力ポート３５４１及び出力ポート３５４２を介して多数の他のサーバ又は他のルータ−スイッチと接続してよい。
本開示のパノラママルチメディアサーバは、タイプが異なる複数のパノラママルチメディアソース、並びに能力が異なる複数のクライアント装置と相互作用するように考案されている。サーバは、パノラママルチメディアソースと制御信号を交換することにより、マルチメディア信号を、マルチメディア信号の記述子、並びにソースにおいて実施された信号処理を示すデータと一緒に取得することを可能にしてよい。サーバは、クライアント装置と制御信号を交換することにより、完全カバレッジ（達成可能カバレッジ）パノラマビデオ信号の信号サンプルの配信を調整し、クライアント装置における視聴者から好みの視聴領域の識別子を取得してよい。
サーバは、クライアントの視聴の好みをキャプチャする幾つかの方法を実施するように考案される。一方法によれば、達成可能空間カバレッジに対応する信号サンプルがクライアント装置に送信され、クライアント装置における視聴者が、好みの視聴領域の識別子をサーバに送信してよい。そして、サーバは、対応するコンテンツフィルタリング済みビデオ信号を送信する。サーバは、つながっている各クライアント装置にソフトウェアモジュールを配信することにより、この処理を可能にする。別の方法によれば、サーバは、様々な視聴領域に対応する幾つかのコンテンツフィルタリング済みビデオ信号を各クライアント装置にマルチキャストしてよい。コンテンツフィルタリング済みビデオ信号は、完全カバレッジ（達成可能カバレッジ）パノラマビデオ信号から抽出される。クライアント装置における視聴者は、それぞれの選択結果を個別にシグナリングしてよい。サーバは、冗長な処理を無くす為にストリーミング制御テーブル（図３２）を使用してよい。
上述の各処理を各ハードウェアプロセッサに実施させる、プロセッサで実行可能な命令は、プロセッサ可読媒体、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、フラッシュＲＯＭ、不揮発性ＲＯＭ、又はＲＡＭに記憶されてよい。様々なプロセッサ、例えば、マイクロプロセッサ、デジタル信号プロセッサ、ゲートアレイなどが使用されてよい。
本発明の特定の実施形態を詳細に説明してきたが、当然のことながら、記載された実施形態は、例示的であって限定的ではないものとする。 図面において示され、本明細書において記載された実施形態の様々な変更及び修正が、本発明の、そのより広い態様での範囲から逸脱しない限り、以下の特許請求の範囲内で行われてよい。

Claims (15)

  1. 少なくとも１つの物理プロセッサを含むサーバにおいて実施されるビデオ信号ストリーミングの方法であって、
    パノラマビデオ信号を取得するステップと、
    前記パノラマビデオ信号をコード変換して、クライアント装置に適合するコード変換済み信号を生成するステップと、
    前記コード変換済み信号の信号サンプルを前記クライアント装置に送信するステップと、
    前記クライアント装置から、好みの視聴領域の記述子を受信するステップと、
    前記コード変換済み信号のコンテンツを編集して、前記好みの視聴領域に対応するコンテンツフィルタリング済み信号を生成するステップと、
    前記コンテンツフィルタリング済み信号を前記クライアント装置に送信するステップと、
    を含む方法。
  2. 前記取得するステップは、
    前記サーバからパノラママルチメディアソースまでの接続を確立するステップと、
    前記パノラママルチメディアソースから、
    前記パノラマビデオ信号を含むマルチメディア信号と、
    前記パノラマビデオ信号に適用された信号処理があればそれを示すものと、を受信するステップと、を含む、
    請求項１に記載の方法。
  3. 前記取得するステップは、
    前記パノラマビデオ信号が圧縮されていると判定された場合には前記パノラマビデオ信号を圧縮解除するステップと、
    前記パノラマビデオ信号がデワープされていないと判定された場合には前記パノラマビデオ信号をデワープするステップと、を含む、
    請求項１又は２に記載の方法。
  4. 前記信号サンプルは、
    前記コード変換済み信号のうちの互いに離れた複数のフレーム、
    又は、
    前記コード変換済み信号の圧縮された形態を含み、
    前記送信の前に前記コンテンツフィルタリング済み信号を圧縮するステップを更に含む、
    請求項１〜３のいずれか一項に記載の方法。
  5. 前記サーバから前記クライアント装置までの経路における許容フローレートを決定するステップと、
    前記信号サンプルが前記許容フローレートに適合することを確認するステップと、
    前記コンテンツフィルタリング済み信号を圧縮する前記ステップが前記許容フローレートに適合することを確認するステップと、
    を更に含む、請求項４に記載の方法。
  6. 前記クライアント装置のユーザが前記好みの視聴領域の識別情報を前記サーバに伝達することを可能にするように構成されたソフトウェアモジュールを前記クライアント装置に送信するステップを更に含む、請求項１〜５のいずれか一項に記載の方法。
  7. 前記パノラマビデオ信号は、単一カメラで生成されるか、或いは、複数のカメラで生成されたビデオ信号を組み合わせることによって生成される、請求項１〜６のいずれか一項に記載の方法。
  8. 前記少なくとも１つの物理プロセッサ及び関連付けられたメモリ装置は、共用クラウドコンピューティングネットワーク内で割り当てられる、請求項１〜７のいずれか一項に記載の方法。
  9. 少なくとも１つの物理プロセッサと、ソフトウェア命令を記憶する、関連付けられたメモリ装置と、を含むパノラママルチメディアストリーミング用サーバであって、
    ネットワークインタフェースモジュールであって、少なくとも１つのネットワークを介して、
    少なくとも１つのパノラマビデオソース、及び
    複数のクライアント装置との間を行き来する通信経路を確立する前記ネットワークインタフェースモジュールと、
    圧縮されたパノラマビデオ信号を圧縮解除する圧縮解除モジュールと、
    パノラマビデオ信号をデワープするデワープモジュールと、
    前記複数のクライアント装置のうちの任意のクライアント装置の特性に対してビデオ信号を適応させるコード変換モジュールと、
    パノラマビデオ信号のコンテンツを、識別された視聴領域に対応するように編集するコンテンツフィルタリングモジュールと、
    制御モジュールであって、
    前記少なくとも１つのパノラマビデオソースからソースビデオ信号を取得することと、
    前記コード変換モジュール及び前記コンテンツフィルタリングモジュールを活性化して、クライアント別の信号を生成することと、
    前記クライアント別の信号を各クライアント装置に送信することと、を行うように構成された前記制御モジュールと、
    を含むサーバ。
  10. 任意の前記クライアント装置のユーザが好みの視聴領域の識別情報を前記サーバに伝達することを可能にする為に前記複数のクライアント装置に配信されるソフトウェアモジュールを記憶するメモリ装置を更に含む、請求項９に記載のサーバ。
  11. 視聴の好みのデータを保持し、視聴の好みとクライアント装置の特性とを相互に関連付けるように構成された学習モジュールを更に含む、請求項９又は１０に記載のサーバ。
  12. 一連のクライアント装置タイプの各クライアント装置タイプの特性を記憶するクライアントプロファイルデータベースを更に含み、前記特性は、フレームレートの上限、フレーム分解能、及びフローレートを含む、請求項９〜１１のいずれか一項に記載のサーバ。
  13. 複数のビデオソース及び複数のクライアント装置と通信する為のネットワークアクセスポートを更に含む、請求項９〜１２のいずれか一項に記載のサーバ。
  14. 前記少なくとも１つの物理プロセッサ及び関連付けられたメモリ装置は、共用クラウドコンピューティングネットワーク内にエンベデッドされている、請求項９〜１３のいずれか一項に記載のサーバ。
  15. 離れたフレーム間隔の間にパノラマビデオ信号をサンプリングして、フレームサンプリングされたビデオ信号を生成することをプロセッサに行わせる、プロセッサで実行可能な命令を含むフレームサンプリングモジュールを更に含む、請求項９〜１４のいずれか一項に記載のサーバ。
JP2018512517A 2015-09-09 2016-09-09 パノラママルチメディアストリーミングの方法及びシステム Abandoned JP2018530954A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562216326P 2015-09-09 2015-09-09
US62/216,326 2015-09-09
US15/259,962 2016-09-08
US15/259,962 US10419770B2 (en) 2015-09-09 2016-09-08 Method and system for panoramic multimedia streaming
PCT/CA2016/000225 WO2017041163A1 (en) 2015-09-09 2016-09-09 Method and system for panoramic multimedia streaming

Publications (1)

Publication Number Publication Date
JP2018530954A true JP2018530954A (ja) 2018-10-18

Family

ID=58190758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018512517A Abandoned JP2018530954A (ja) 2015-09-09 2016-09-09 パノラママルチメディアストリーミングの方法及びシステム

Country Status (8)

Country Link
US (2) US10419770B2 (ja)
EP (1) EP3348071B1 (ja)
JP (1) JP2018530954A (ja)
KR (1) KR20180050362A (ja)
CN (1) CN108141644A (ja)
CA (2) CA3031982C (ja)
IL (1) IL257742B (ja)
WO (1) WO2017041163A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148874B1 (en) * 2016-03-04 2018-12-04 Scott Zhihao Chen Method and system for generating panoramic photographs and videos
US11451847B2 (en) * 2020-11-06 2022-09-20 Samsung Electronics Co., Ltd. Methods and systems for generating personalized data-streaming for a multimedia playback device

Family Cites Families (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6466254B1 (en) * 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US20050146521A1 (en) 1998-05-27 2005-07-07 Kaye Michael C. Method for creating and presenting an accurate reproduction of three-dimensional images converted from two-dimensional images
US7116324B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US20050231505A1 (en) 1998-05-27 2005-10-20 Kaye Michael C Method for creating artifact free three-dimensional images converted from two-dimensional images
US7116323B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
FR2826221B1 (fr) 2001-05-11 2003-12-05 Immervision Internat Pte Ltd Procede d'obtention et d'affichage d'une image panoramique numerique a resolution variable
WO2004004320A1 (en) 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US7975283B2 (en) 2005-03-31 2011-07-05 At&T Intellectual Property I, L.P. Presence detection in a bandwidth management system
US7872665B2 (en) 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
US9002313B2 (en) 2006-02-22 2015-04-07 Federal Signal Corporation Fully integrated light bar
JP5074777B2 (ja) 2006-05-22 2012-11-14 キヤノン株式会社 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US11303684B2 (en) 2006-09-14 2022-04-12 Opentv, Inc. Methods and systems for data transmission
WO2009003169A2 (en) * 2007-06-27 2008-12-31 University Of Florida Research Foundation, Inc. Display-based interactive simulation with dynamic panorama
US8719892B2 (en) 2007-09-07 2014-05-06 At&T Intellectual Property I, Lp System for exchanging media content between a media content processor and a communication device
EP2048611A1 (fr) 2007-10-12 2009-04-15 Gemplus Dispositif et procédés de téléchargement et/ou de diffusion de publicités ciblées à l'aide d'un dispositif électronique portable
CN101897195B (zh) 2007-12-14 2013-03-06 皇家飞利浦电子股份有限公司 用于视频重放的3d模式选择机制
JP5337170B2 (ja) 2008-02-08 2013-11-06 グーグル インコーポレイテッド タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8001260B2 (en) 2008-07-28 2011-08-16 Vantrix Corporation Flow-rate adaptation for a connection of time-varying capacity
US8405720B2 (en) 2008-08-08 2013-03-26 Objectvideo, Inc. Automatic calibration of PTZ camera system
US8264524B1 (en) 2008-09-17 2012-09-11 Grandeye Limited System for streaming multiple regions deriving from a wide-angle camera
US8869290B2 (en) * 2010-06-04 2014-10-21 Broadcom Corporation Method and system for secure content distribution by a broadband gateway
US8966556B2 (en) * 2009-03-06 2015-02-24 Alcatel Lucent Real-time multi-media streaming bandwidth management
US7975063B2 (en) 2009-05-10 2011-07-05 Vantrix Corporation Informative data streaming server
PL2460361T3 (pl) 2009-07-27 2020-11-16 Koninklijke Philips N.V. Przełączanie pomiędzy wideo 3d a wideo 2d
CN102055964A (zh) * 2009-11-11 2011-05-11 腾讯科技（深圳）有限公司 一种多媒体文件转码方法和转码器
CN101778104A (zh) * 2009-12-29 2010-07-14 常州中流电子科技有限公司 一种实现自适应带宽播放流媒体的系统及其方法
EP2375680A1 (en) 2010-04-01 2011-10-12 Thomson Licensing A method for recovering content streamed into chunk
WO2011142767A1 (en) 2010-05-14 2011-11-17 Hewlett-Packard Development Company, L.P. System and method for multi-viewpoint video capture
US8601453B2 (en) 2010-09-19 2013-12-03 Micro Focus (Us), Inc. COBOL to bytecode translation
US20130212521A1 (en) * 2010-10-11 2013-08-15 Teachscape, Inc. Methods and systems for use with an evaluation workflow for an evidence-based evaluation
US8863165B2 (en) 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9516225B2 (en) 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
US9363441B2 (en) 2011-12-06 2016-06-07 Musco Corporation Apparatus, system and method for tracking subject with still or video camera
US9298986B2 (en) 2011-12-09 2016-03-29 Gameonstream Inc. Systems and methods for video processing
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
US20130278715A1 (en) 2012-03-16 2013-10-24 Mark Nutsch System and method for discreetly collecting 3d immersive/panoramic imagery
US9246741B2 (en) * 2012-04-11 2016-01-26 Google Inc. Scalable, live transcoding with support for adaptive streaming and failover
US10499118B2 (en) 2012-04-24 2019-12-03 Skreens Entertainment Technologies, Inc. Virtual and augmented reality system and headset display
US9600744B2 (en) 2012-04-24 2017-03-21 Stmicroelectronics S.R.L. Adaptive interest rate control for visual search
US20140320592A1 (en) 2013-04-30 2014-10-30 Microsoft Corporation Virtual Video Camera
US10438633B2 (en) 2013-05-26 2019-10-08 Pixellot Ltd. Method and system for low cost television production
JP6437914B2 (ja) * 2013-07-19 2018-12-12 株式会社 アクシオン・ジャパン パノラマ画像撮影装置及び同装置で用いる画像診断方法
CN104469256B (zh) 2013-09-22 2019-04-23 思科技术公司 沉浸式和交互式的视频会议房间环境
US9172909B2 (en) 2013-10-29 2015-10-27 Cisco Technology, Inc. Panoramic video conference
KR20150062745A (ko) * 2013-11-29 2015-06-08 한국전자통신연구원 가상화 서비스 장치 및 방법
US9552060B2 (en) 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US9300882B2 (en) 2014-02-27 2016-03-29 Sony Corporation Device and method for panoramic image processing
US10521671B2 (en) 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9779538B2 (en) 2014-05-28 2017-10-03 Lucasfilm Entertainment Company Ltd. Real-time content immersion system
US20150346812A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10176683B2 (en) * 2014-09-18 2019-01-08 Honeywell International Inc. Virtual panoramic thumbnail to summarize and visualize video content in video surveillance and in connected home business
WO2016050283A1 (en) 2014-09-30 2016-04-07 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video
US10033924B2 (en) * 2014-10-10 2018-07-24 Iec Infrared Systems, Llc Panoramic view imaging system
US20160150212A1 (en) 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
KR101844032B1 (ko) * 2014-12-26 2018-05-14 주식회사 케이티 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스
US9811911B2 (en) 2014-12-29 2017-11-07 Nbcuniversal Media, Llc Apparatus and method for generating virtual reality content based on non-virtual reality content
WO2016123364A2 (en) 2015-01-28 2016-08-04 Nextvr Inc. Zoom related methods and apparatus
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
KR20160115466A (ko) * 2015-03-27 2016-10-06 한국전자통신연구원 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US9917870B2 (en) 2015-06-23 2018-03-13 Facebook, Inc. Streaming media presentation system
US10277813B1 (en) * 2015-06-25 2019-04-30 Amazon Technologies, Inc. Remote immersive user experience from panoramic video
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US10345897B2 (en) 2015-06-30 2019-07-09 Amazon Technologies, Inc. Spectator interactions with games in a specatating system
US20170001122A1 (en) 2015-06-30 2017-01-05 Amazon Technologies, Inc. Integrating games systems with a spectating system
US10390064B2 (en) 2015-06-30 2019-08-20 Amazon Technologies, Inc. Participant rewards in a spectating system
US10484439B2 (en) 2015-06-30 2019-11-19 Amazon Technologies, Inc. Spectating data service for a spectating system
US10376795B2 (en) 2015-06-30 2019-08-13 Amazon Technologies, Inc. Game effects from spectating community inputs
US10632372B2 (en) 2015-06-30 2020-04-28 Amazon Technologies, Inc. Game content interface in a spectating system
US11071919B2 (en) 2015-06-30 2021-07-27 Amazon Technologies, Inc. Joining games from a spectating system
JP6641763B2 (ja) 2015-08-03 2020-02-05 セイコーエプソン株式会社 表示システム
JP6547496B2 (ja) 2015-08-03 2019-07-24 株式会社リコー 通信装置、通信方法、プログラムおよび通信システム
US20170038942A1 (en) * 2015-08-07 2017-02-09 Vrideo Playback initialization tool for panoramic videos
JP2018533099A (ja) 2015-09-24 2018-11-08 カリフォルニア インスティチュート オブ テクノロジー 三次元ディスプレイを用いたデータ可視化システム及び方法
WO2017075539A1 (en) 2015-10-28 2017-05-04 Voke Inc. Apparatus and method for distributing multimedia events from a client
US10558353B2 (en) 2015-11-18 2020-02-11 Samsung Electronics Co., Ltd. System and method for 360-degree video navigation
US10834454B2 (en) 2015-12-17 2020-11-10 Interdigital Madison Patent Holdings, Sas Personalized presentation enhancement using augmented reality
US9939843B2 (en) 2016-01-05 2018-04-10 360fly, Inc. Apparel-mountable panoramic camera systems
US10313745B2 (en) 2016-01-17 2019-06-04 Bitmovin Gmbh Adaptive streaming of an immersive video scene
US20170213469A1 (en) 2016-01-25 2017-07-27 Wespeke, Inc. Digital media content extraction and natural language processing system
US10438400B2 (en) 2016-03-08 2019-10-08 Nvidia Corporation Perceptually-based foveated rendering using a contrast-enhancing filter
US10402938B1 (en) 2016-03-31 2019-09-03 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US10601889B1 (en) * 2016-04-06 2020-03-24 Ambarella International Lp Broadcasting panoramic videos from one server to multiple endpoints
US10356216B2 (en) 2016-04-28 2019-07-16 Verizon Patent And Licensing Inc. Methods and systems for representing real-world input as a user-specific element in an immersive virtual reality experience
US20170318325A1 (en) 2016-04-28 2017-11-02 Mesa Digital, Llc Wirelessly streaming venue-based data to client devices
US11184624B2 (en) 2016-05-19 2021-11-23 Qualcomm Incorporated Regional random access in pictures
US10565463B2 (en) 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
WO2017210444A1 (en) 2016-06-02 2017-12-07 Comet Technologies, Llc Method and apparatus for streaming panoramic video
US10462466B2 (en) 2016-06-20 2019-10-29 Gopro, Inc. Systems and methods for spatially selective video coding
WO2018002882A1 (en) 2016-06-30 2018-01-04 Nokia Technologies Oy Method and apparatus for rotation and switching of video content
US10582328B2 (en) 2016-07-06 2020-03-03 Bragi GmbH Audio response based on user worn microphones to direct or adapt program responses system and method
CN108076281B (zh) 2016-11-15 2020-04-03 杭州海康威视数字技术股份有限公司 一种自动聚焦方法及ptz摄像机
KR102609477B1 (ko) * 2017-02-06 2023-12-04 삼성전자주식회사 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법
US10521468B2 (en) * 2017-06-13 2019-12-31 Adobe Inc. Animated seek preview for panoramic videos
JP2019021996A (ja) 2017-07-12 2019-02-07 パナソニックＩｐマネジメント株式会社 ウェアラブルカメラ、ウェアラブルカメラシステム及び情報記録方法
AU2017254859A1 (en) 2017-10-31 2019-05-16 Canon Kabushiki Kaisha Method, system and apparatus for stabilising frames of a captured video sequence

Also Published As

Publication number Publication date
IL257742A (en) 2018-04-30
CA3031982A1 (en) 2017-03-16
WO2017041163A1 (en) 2017-03-16
IL257742B (en) 2021-07-29
CN108141644A (zh) 2018-06-08
US20200021826A1 (en) 2020-01-16
US10419770B2 (en) 2019-09-17
US11057632B2 (en) 2021-07-06
CA3031982C (en) 2024-05-28
EP3348071A4 (en) 2019-05-01
CA3230893A1 (en) 2017-03-16
EP3348071B1 (en) 2022-11-02
EP3348071A1 (en) 2018-07-18
KR20180050362A (ko) 2018-05-14
US20170070553A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
US10694249B2 (en) Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US10506006B2 (en) Method and system for flow-rate regulation in a content-controlled streaming network
US11681145B2 (en) Method and system for filtering a panoramic video signal
CN105430537B (zh) 对多路数据进行合成的方法、服务器及音乐教学系统
US10367750B2 (en) Transmission and reception of raw video using scalable frame rate
US11108670B2 (en) Streaming network adapted to content selection
US20050062843A1 (en) Client-side audio mixing for conferencing
US20230350202A1 (en) Method and system for filtering a panoramic video signal using visual fixation
US12063380B2 (en) Method and system for panoramic multimedia streaming enabling view-region selection
US11057632B2 (en) Method and system for panoramic multimedia streaming
CN113824969B (zh) 用于全景多媒体流传输的方法和系统
JP7299451B2 (ja) パノラマカメラ及びバーチャルリアリティのヘッドセットに基づく選択的なコンテンツ処理のための方法及びシステム
CA3069596C (en) Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
Hoppe et al. Video Streaming over IP using the DASH Technique
JP2024143851A (ja) 映像伝送システム、映像伝送装置、及び映像伝送方法
RU2380839C2 (ru) Способ адаптивного управления передачей потоковых медиаданных

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190906

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20200422