JP2018516474A - 圧縮ビデオビットストリームに付属メッセージデータを含めるシステムおよび方法 - Google Patents

圧縮ビデオビットストリームに付属メッセージデータを含めるシステムおよび方法 Download PDF

Info

Publication number
JP2018516474A
JP2018516474A JP2017550686A JP2017550686A JP2018516474A JP 2018516474 A JP2018516474 A JP 2018516474A JP 2017550686 A JP2017550686 A JP 2017550686A JP 2017550686 A JP2017550686 A JP 2017550686A JP 2018516474 A JP2018516474 A JP 2018516474A
Authority
JP
Japan
Prior art keywords
message
video
attached
audiovisual work
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017550686A
Other languages
English (en)
Other versions
JP6748657B2 (ja
Inventor
ツアイ,チャヤン
ウ,ガン
ワン,カイ
リマシ,イーワン
Original Assignee
リアルネットワークス,インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リアルネットワークス,インコーポレーテッド filed Critical リアルネットワークス,インコーポレーテッド
Publication of JP2018516474A publication Critical patent/JP2018516474A/ja
Application granted granted Critical
Publication of JP6748657B2 publication Critical patent/JP6748657B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

未符号化ビデオフレームを表す符号化されたビットストリーム内にメッセージデータを挿入し、符号化されたビットストリームからメッセージデータを抽出するための方法およびシステムが、本明細書において説明される。未符号化ビデオフレームと、符号化されたビットストリームに含めるための少なくとも1つの付属メッセージとが取得され、未符号化ビデオフレームが符号化され、それによって、符号化されたビットストリームのビデオデータペイロードを生成する。付属メッセージに対応するメッセージサイズが取得され、符号化されたビットストリームのフレームヘッダが生成される。フレームヘッダは、メッセージ有効フラグと、メッセージ個数フラグと、付属メッセージの各々に対応する少なくとも1つのメッセージサイズフラグと、付属メッセージのコンテンツに対応するメッセージデータとを含み得る。メッセージ個数フラグは、フレームヘッダに含まれている付属メッセージの数を示し、各メッセージサイズフラグは、対応する付属メッセージのサイズを示す。

Description

本開示は、ビデオ信号の符号化および復号に関し、より詳細には、圧縮ビデオビットストリーム内への付属メッセージデータの挿入、および圧縮ビデオビットストリームからの付属メッセージデータの抽出に関する。
デジタルマルチメディア、例えば、デジタル画像、音声/オーディオ、グラフィックス、およびビデオなどの出現は、様々な用途を著しく改善すると共に、デジタルマルチメディアが確実な記憶、通信、送信、ならびに、コンテンツの検索およびアクセスを比較的簡単に行うことを可能にしたことが理由で、新しい用途も開拓した。概して、デジタルマルチメディアの用途は、エンターテインメント、情報、医薬、およびセキュリティを含む広範囲を包含して、多数存在しており、数多くの面で社会に利益をもたらしてきた。カメラおよびマイクロフォンなどのセンサによってキャプチャされるようなマルチメディアは、アナログであることが多く、パルス符号変調(PCM:Pulse Coded Modulation)の形式でのデジタル化のプロセスが、そのマルチメディアをデジタル化する。しかしながら、デジタル化の直後には、結果として生じたデータの量が、スピーカおよび/またはTVディスプレイによって必要とされるアナログ表現を再現するのに必要なため、極めて大きくなることがある。したがって、大量のデジタルマルチメディアコンテンツの効率的な通信、記憶、および/または送信は、生のPCM形式から圧縮表現への、デジタルマルチメディアコンテンツの圧縮を必要とする。したがって、マルチメディアの圧縮のための多くの技術が発明されてきた。この数年にわたって、ビデオ圧縮技法は、圧縮されていないデジタルビデオと同様であることが多い、高い心理視覚品質を保持しながら、10から100までの間の高い圧縮係数を大抵は達成することができる程度にまで、非常に洗練されたものへと成長してきた。
大幅な進歩が、ビデオ圧縮の技術および科学において、今日まで遂げられてきた(多くの標準化団体主導のビデオコーディング標準、例えば、MPEG−1、MPEG−2、H.263、MPEG−4 part2、MPEG−4 AVC/H.264、MPEG−4 SVCおよびMVCなど、ならびに、産業界主導のプロプライエタリ標準、例えば、Windowsメディアビデオ、RealVideo、On2 VPなどによって示される通りである)。しかしながら、いつでもどこでもアクセスが可能な、さらに高い品質、より高い解像度、および今や3D(ステレオ)ビデオに対する消費者の高まり続ける欲求は、様々な手段、例えば、DVD/BD、無線ブロードキャスト、ケーブル/衛星、有線およびモバイルネットワークなどを介した、幅広いクライアント装置、例えば、PC/ラップトップコンピュータ、TV、セットトップボックス、ゲーム機、携帯メディアプレーヤ/装置、スマートフォン、およびウェアラブルコンピューティング装置などへの配信を余儀なくしており、さらに高いレベルのビデオ圧縮に対する要求を刺激している。標準化団体主導の標準において、これは、高効率ビデオコーディングにおいてISO MPEGによって最近開始された取り組みによって裏付けられ、高効率ビデオコーディングは、新たな技術貢献と、ITU−T標準委員会によるH.265ビデオ圧縮に対する長年の調査作業からの技術とを組み合わせるものと期待されている。
前述した標準はすべて、まず、フレームをサブユニットに、すなわち、コーディングブロック、予測ブロック、および変換ブロックに分割することによって、ビデオのフレーム間の動きを補償することにより、時間的冗長性を低減することを伴う、一般的なフレーム間予測コーディングフレームワークを採用する。動きベクトルは、過去に復号されたフレーム(これは表示順序において過去のフレームまたは将来のフレームとなり得る)に関して、符号化されるべきフレームの各予測ブロックに対して割り当てられる。これらの動きベクトルは、次いで、復号器へ送信され、過去に復号されたフレームと異なっており、大抵は変換コーディングによってブロックごとに符号化される、動き補償予測フレームを生成するために使用される。過去の標準において、これらのブロックは、一般に16×16画素であった。
しかしながら、フレームサイズは、かなり大きく成長してきており、多くのモバイル装置が、2048×1530画素などの、「高解像度」(または「HD」)よりも大きいフレームサイズを表示する能力を有する。したがって、これらのフレームサイズについての動きベクトルを効率的に符号化するためには、より大きなサイズのブロックが必要である。しかしながら、比較的小さいスケール、例えば、4×4画素で、予測および変換を実行することができることも望ましいことがある。
最新のビデオ圧縮技法において、動き補償は、コーデック設計における必須部分である。基本概念は、ブロックマッチング方法を使用することによって、近隣のピクチャ間の時間依存性を除去することである。コーディングブロックが、参照ピクチャにおいて別の同様のブロックを見つけることができる場合、「残差」または「残差信号」と呼ばれる、これらの2つのコーディングブロック間の差異のみが、符号化される。さらに、この2つのマッチングするブロック間の空間的距離を示す動きベクトル(MV:motion vector)も、符号化される。したがって、残差およびMVのみが、コーディングブロックにおける全サンプルの代わりに符号化される。この種の時間的冗長性を除去することによって、ビデオサンプルが圧縮され得る。
ビデオデータをさらに圧縮するために、フレーム間予測技法またはフレーム内予測技法が適用された後、残差信号の係数は、(例えば、離散コサイン変換(「DCT(discrete cosine transform)」)または離散サイン変換(「DST(discrete sine transform)」)を使用して)空間領域から周波数領域へ変換されることが多い。自然発生の画像、例えば、典型的には人間が知覚可能なビデオシーケンスを構成する種類の画像などについては、低周波エネルギーが、高周波エネルギーよりも常に強い。したがって、周波数領域内の残差信号は、それらが空間領域において得るよりも、良好なエネルギー圧縮を得る。順変換の後、係数は、任意の動きベクトルおよび関連するシンタックス情報と共に、量子化され、エントロピー符号化される。未符号化ビデオデータの各フレームについては、対応する符号化された係数および動きベクトルが、ビデオデータペイロードを構成し、関連するシンタックス情報が、そのビデオデータペイロードに関連付けられたフレームヘッダを構成する。
復号器側では、逆量子化および逆変換が、係数に対して適用されて、空間残差信号が回復される。次いで、元の未符号化ビデオシーケンスの再現されたバージョンを生成するために、逆予測プロセスが実行され得る。これらは、全部ではないが大部分のビデオ圧縮標準に共通する典型的な予測/変換/量子化プロセスである。
従来のビデオ符号化/復号システムでは、ビットストリームのフレームヘッダレベルにおける要素はすべて、コーディング関連のシンタックス情報を下流の復号器へ送信するように設計されている。しかしながら、符号器の操作者は、付加的情報、例えば、送信されている資料の著作権、タイトル、著者名、デジタル著作権管理(「DRM(digital rights management)」)などに関連する情報を下流の復号システムに提供したいと望むことがある。
少なくとも1つの実施形態に係る例示的なビデオ符号化/復号システムを示す図である。 少なくとも1つの実施形態に係る、例示的な符号化装置のいくつかの構成要素を示す図である。 少なくとも1つの実施形態に係る、例示的な復号装置のいくつかの構成要素を示す図である。 少なくとも1つの実施形態に係る例示的なソフトウェア実装ビデオ符号器の機能ブロック図である。 少なくとも1つの実施形態に係る例示的なソフトウェア実装ビデオ復号器のブロック図である。 少なくとも1つの実施形態に係るメッセージ挿入ルーチンのフローチャートである。 少なくとも1つの実施形態に係るメッセージ抽出ルーチンのフローチャートである。
以下に続く詳細な説明は、プロセッサ、プロセッサ用のメモリ記憶装置、接続されたディスプレイ装置および入力装置を含む、従来のコンピュータ構成要素によるプロセスおよび動作の象徴的な表現の観点から、主に表現されている。さらに、これらのプロセスおよび動作は、リモートファイルサーバ、コンピュータサーバおよびメモリ記憶装置を含む、異種の分散コンピューティング環境における従来のコンピュータ構成要素を利用し得る。これらの従来の分散コンピューティング構成要素の各々は、通信ネットワークを介してプロセッサによってアクセス可能である。
「1つの実施形態において」、「様々な実施形態において」、「いくつかの実施形態において」などの句は、繰り返し使用される。そのような句は、必ずしも同じ実施形態を指すとは限らない。「備える」、「有する」、および「含む」という用語は、文脈上他の意味を示さない限り、同意語である。
様々な実施形態は、典型的な「ハイブリッド」ビデオコーディングアプローチの文脈において、それがピクチャ間/ピクチャ内予測および変換コーディングを使用するという点で説明される。符号器は、まず、ビデオシーケンス内の第1のピクチャについて、ピクチャ(またはフレーム)をコーディングブロックと呼ばれるブロック形の領域に分割し、ピクチャ内予測を使用してピクチャを符号化する。ピクチャ内予測とは、ピクチャ内のコーディングブロックの予測値がそのピクチャ内の情報のみに基づく場合である。後続のピクチャについては、予測情報が他のピクチャから生成されるピクチャ間予測が使用され得る。定期的に、後続のピクチャは、例えば、符号化されたビデオの復号をビデオシーケンスの第1のピクチャ以外の点において始めることを可能にするために、イントラ符号化予測のみを使用して符号化されてもよい。予測方法が完了した後、ピクチャを表現するデータは、他のピクチャの予測において使用するために、復号ピクチャバッファ内に記憶され得る。
当業者は、様々な実施形態において、以下に説明されるメッセージ挿入/抽出技法が、多くのその他の従来のビデオ符号化/復号プロセスへ、例えば、I、P、Bピクチャコーディングから構成される伝統的なピクチャ構造を使用する符号化/復号プロセスへ統合され得ることを認識するであろう。他の実施形態において、以下に説明される技法は、IピクチャおよびPピクチャに加えて、他の構造、例えば、階層的なBピクチャ、単方向Bピクチャ、および/またはBピクチャの代替物などを使用するビデオコーディングに統合されてもよい。
ここで、図面に示されるような実施形態の説明への言及が詳細に行われる。実施形態は、図面および関連する説明に関して説明されるが、本明細書において開示される実施形態に範囲を限定する意図はない。それどころか、意図は、あらゆる代替案、変形例および均等物を含めることにある。代替的な実施形態において、付加的な装置または図示される装置の組み合わせは、本明細書において開示される実施形態に範囲を限定せずに、追加されても、または組み合わされてもよい。
図1は、少なくとも1つの実施形態に係る例示的なビデオ符号化/復号システム100を示す。符号化装置200(図2に示され、以下に説明される)および復号装置300(図3に示され、以下に説明される)は、ネットワーク104とデータ通信する。復号装置200は、直接的なデータ接続、例えば、ストレージエリアネットワーク(「SAN(storage area network)」)、高速シリアルバスなどを通じて、および/または他の適切な通信技術を介して、または(図1内の破線によって示されるように)ネットワーク104を介して、未符号化ビデオ源108とデータ通信し得る。同様に、符号化装置300は、直接的なデータ接続、例えば、ストレージエリアネットワーク(「SAN」)、高速シリアルバスなどを通じて、および/または他の適切な通信技術を介して、または(図1内の破線によって示されるように)ネットワーク104を介して、随意的な符号化されたビデオ源112とデータ通信し得る。いくつかの実施形態では、符号化装置200、復号装置300、符号化されたビデオ源112、および/または未符号化ビデオ源108は、1つまたは複数の複製されたおよび/または分散された、物理的な装置または論理的な装置を備えてもよい。多くの実施形態では、図示されているよりも多くの符号化装置200、復号装置300、未符号化ビデオ源108、および/また符号化されたビデオ源112が存在し得る。
様々な実施形態において、符号化装置200は、例えば、復号装置300から、ネットワーク104上で要求を受け付け、それに応じて応答を提供することが一般に可能である、ネットワーク接続されたコンピューティング装置とし得る。様々な実施形態において、復号装置300は、フォームファクタ、例えば、携帯電話、腕時計、眼鏡、もしくは他のウェアラブルコンピューティング装置、専用メディアプレーヤ、コンピューティングタブレット、自動車ヘッドユニット、オーディオ・ビデオ・オンデマンド(AVOD:audio−video on demand)・システム、専用メディアコンソール、ゲーム装置、「セットトップボックス」、デジタルビデオレコーダ、テレビ受像機、または汎用コンピュータなどを有する、ネットワーク接続されたコンピューティング装置とし得る。様々な実施形態において、ネットワーク104は、インターネット、1つもしくは複数のローカルエリアネットワーク(「LAN(local area network)」)、1つもしくは複数の広域ネットワーク(「WAN(wide area network)」)、セルラデータネットワーク、および/または他のデータネットワークを含んでもよい。ネットワーク104は、様々な地点において、有線ネットワークおよび/または無線ネットワークであってもよい。
図2を参照すると、例示的な符号化装置200のいくつかの構成要素が示されている。いくつかの実施形態では、符号化装置は、図2に示されている構成要素よりもさらに多くの構成要素を含んでもよい。しかしながら、例示的な実施形態を開示するために、これらの一般的な従来の構成要素のすべてが図示される必要はない。図2に示されるように、例示的な符号化装置200は、ネットワーク104などのネットワークに接続するためのネットワークインターフェース204を含む。例示的な符号化装置200は、処理ユニット208、メモリ212、随意的なユーザ入力214(例えば、英数字キーボード、キーパッド、マウスもしくは他のポインティング装置、タッチスクリーン、および/またはマイクロフォン)、ならびに随意的なディスプレイ216も含んでおり、すべてが、バス220を介して、ネットワークインターフェース204と共に相互接続される。メモリ212は、一般に、RAM、ROM、および永久大容量記憶装置、例えば、ディスクドライブ、フラッシュメモリなどを備える。
例示的な符号化装置200のメモリ212は、オペレーティングシステム224、および複数のソフトウェアサービスのためのプログラムコード、例えば、付属メッセージ挿入ルーチン600(図6を参照して以下に説明される)を実行するための命令を備えた、ソフトウェア実装フレーム間ビデオ符号器400(図4を参照して以下に説明される)などを記憶する。メモリ212は、ビデオデータファイル(図示せず)も記憶してもよく、このビデオデータファイルは、オーディオ/ビジュアルメディア作品の未符号化コピー、例えば、非限定的な例として、映画および/またはテレビ番組のエピソードなどを表現し得る。これらおよび他のソフトウェア構成要素は、非一時的なコンピュータ読取可能な媒体232、例えば、フロッピーディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどに関連付けられた駆動機構(図示せず)を使用して、符号化装置200のメモリ212にロードされ得る。例示的な符号化装置200が説明されてきたが、符号化装置は、ネットワーク120と通信し、ビデオ符号化ソフトウェア、例えば、例示的なソフトウェア実装ビデオ符号器400、および付属メッセージ挿入ルーチン600などを実装するための命令を実行することができる、非常に多くのネットワーク接続されたコンピューティング装置のうちの任意のものであってもよい。
動作中に、オペレーティングシステム224は、符号化装置200のハードウェアおよび他のソフトウェア資源を管理し、ソフトウェア実装フレーム間ビデオ符号器400などのソフトウェアアプリケーションに対して一般的なサービスを提供する。ハードウェア機能、例えば、ネットワークインターフェース204を介したネットワーク通信、入力214を介したデータの受け取り、ディスプレイ216を介したデータの出力、および、様々なソフトウェアアプリケーション、例えば、ソフトウェア実装フレーム間ビデオ符号器400などのためのメモリ212の割り当てについて、オペレーティングシステム224は、符号化装置上で実行されるソフトウェアとハードウェアとの間の仲介としての役割を果たす。
いくつかの実施形態では、符号化装置200は、未符号化ビデオ源108と通信するための専用の未符号化ビデオインターフェース236、例えば、高速シリアルバスなどをさらに備えてもよい。いくつかの実施形態では、符号化装置200は、ネットワークインターフェース204を介して、未符号化ビデオ源108と通信し得る。他の実施形態では、未符号化ビデオ源108は、メモリ212またはコンピュータ読取可能な媒体232に存在してもよい。
従来の汎用コンピューティング装置に概ね準拠した、例示的な符号化装置200が説明されてきたが、符号化装置200は、ビデオを符号化することができる非常に多くの装置、例えば、ビデオ記録装置、ビデオコプロセッサおよび/もしくはアクセラレータ、パーソナルコンピュータ、ゲーム機、セットトップボックス、携帯型もしくはウェアラブルコンピューティング装置、スマートフォン、または任意の他の適切な装置のうちの任意のものであってよい。
符号化装置200は、非限定的な例として、オン・デマンド・メディア・サービス(図示せず)を促進するために動作させられてもよい。少なくとも1つの非限定的で例示的な実施形態では、オン・デマンド・メディア・サービスは、ビデオコンテンツなどのメディア作品のデジタルコピーを、作品ごとにおよび/またはサブスクリプションベースで、ユーザに提供するオンライン・オン・デマンド・メディア・ストアを促進するために、符号化装置200を動作させていてもよい。オン・デマンド・メディア・サービスは、未符号化ビデオ源108から、そのようなメディア作品のデジタルコピーを取得し得る。
図3を参照すると、例示的な復号装置300のいくつかの構成要素が示されている。いくつかの実施形態では、復号装置は、図3に示される構成要素よりもさらに多くの構成要素を含んでもよい。しかしながら、例示的な実施形態を開示するために、これらの一般的な従来の構成要素のすべてが図示される必要はない。図3に示されるように、例示的な復号装置300は、ネットワーク104などのネットワークに接続するためのネットワークインターフェース304を含む。例示的な復号装置300は、処理ユニット308、メモリ312、随意的なユーザ入力314(例えば、英数字キーボード、キーパッド、マウスもしくは他のポインティング装置、タッチスクリーン、および/またはマイクロフォン)、随意的なディスプレイ316、ならびに随意的なスピーカ318も含んでおり、すべてが、バス320を介して、ネットワークインターフェース304と共に相互接続される。メモリ312は、一般に、RAM、ROM、および永久大容量記憶装置、例えば、ディスクドライブ、フラッシュメモリなどを備える。
例示的な復号装置300のメモリ312は、オペレーティングシステム324、および複数のソフトウェアサービスのためのプログラムコード、例えば、付属メッセージ抽出ルーチン700(図7を参照して以下に説明される)を実行するための命令を備えた、ソフトウェア実装ビデオ復号器500(図5を参照して以下に説明される)などを記憶し得る。メモリ312は、ビデオデータファイル(図示せず)も記憶してもよく、このビデオデータファイルは、オーディオ/ビジュアルメディア作品の符号化されたコピー、例えば、非限定的な例として、映画および/またはテレビ番組のエピソードなどを表現し得る。これらおよび他のソフトウェア構成要素は、非一時的なコンピュータ読取可能な媒体332、例えば、フロッピーディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどに関連付けられた駆動機構(図示せず)を使用して、復号装置300のメモリ312にロードされ得る。例示的な復号装置300が説明されてきたが、復号装置は、ネットワーク120などのネットワークと通信し、ビデオ復号ソフトウェア、例えば、例示的なソフトウェア実装ビデオ復号器500、および付属メッセージ抽出ルーチン700などを実施するための命令を実行することができる、非常に多くのネットワーク接続されたコンピューティング装置のうちの任意のものであってもよい。
動作中に、オペレーティングシステム324は、復号装置300のハードウェアおよび他のソフトウェア資源を管理し、ソフトウェア実装ビデオ復号器500などのソフトウェアアプリケーションに対して一般的なサービスを提供する。ハードウェア機能、例えば、ネットワークインターフェース304を介したネットワーク通信、入力314を介したデータの受け取り、ディスプレイ316および/または随意的なスピーカ318を介したデータの出力、ならびにメモリ312の割り当てについて、オペレーティングシステム324は、符号化装置上で実行されるソフトウェアとハードウェアとの間の仲介としての役割を果たす。
いくつかの実施形態では、復号装置300は、例えば、符号化されたビデオ源116と通信するための随意的な符号化されたビデオインターフェース336、例えば、高速シリアルバスなどをさらに備えてもよい。いくつかの実施形態では、復号装置300は、ネットワークインターフェース304を介して、符号化されたビデオ源116などの符号化されたビデオ源と通信し得る。他の実施形態では、符号化されたビデオ源116は、メモリ312またはコンピュータ読取可能な媒体332に存在してもよい。
従来の汎用コンピューティング装置に概ね準拠した、例示的な復号装置300が説明されてきたが、復号装置300は、ビデオを復号することができる非常に多くの装置、例えば、ビデオ記録装置、ビデオコプロセッサおよび/もしくはアクセラレータ、パーソナルコンピュータ、ゲーム機、セットトップボックス、携帯型もしくはウェアラブルコンピューティング装置、スマートフォン、または任意の他の適切な装置のうちの任意のものであってよい。
復号装置300は、非限定的な例として、オン・デマンド・メディア・サービスを促進するために動作させられてもよい。少なくとも1つの非限定的で例示的な実施形態では、オン・デマンド・メディア・サービスは、ビデオコンテンツなどのメディア作品のデジタルコピーを、作品ごとにおよび/またはサブスクリプションベースで、ユーザが操作する復号装置300に提供し得る。復号装置は、未符号化ビデオ源108から、例えば、符号化装置200を経由してネットワーク104を介して、そのようなメディア作品のデジタルコピーを取得し得る。
図4は、少なくとも1つの実施形態に係る、動き補償予測技法および付属メッセージ挿入能力を採用した、ソフトウェア実装フレーム間ビデオ符号器400(以下、「符号器400」)の一般的な機能ブロック図を示す。ビデオシーケンスの1つまたは複数の未符号化ビデオフレーム(vidfrms)は、シークエンサ404に対して表示順序で提供され得る。
シーケンサ404は、各未符号化ビデオフレームに予測コーディングピクチャタイプ(例えば、I、P、またはB)を割り当て、フレームのシーケンスをコーディング順へ並べ替え得る。次いで、シーケンス化された未符号化ビデオフレーム(seqfrms)は、ブロックインデクサ408およびメッセージ挿入器410へコーディング順に入力され得る。
シーケンス化された未符号化ビデオフレーム(seqfrms)の各々について、ブロックインデクサ408は、現在のフレームの最大コーディングブロック(「LCB(largest coding block)」)サイズ(例えば、64×64画素)を決定することができ、未符号化フレームをコーディングブロック(cblks)のアレイに分割する。所与のフレーム内の個々のコーディングブロックは、例えば、現在のフレームについて8×8画素から最大でLCBサイズまで、サイズにおいて異なってもよい。
次いで、各コーディングブロックは、一度に1つずつ差分器412に入力され、過去に符号化されたコーディングブロックから生成された、対応する予測信号ブロック(pred)との差分が求められ得る。コーディングブロック(cblks)は、動き推定器416(以下で論じられる)にも提供され得る。差分器412において差分を求めた後に、結果として生じる残差信号(res)は、変換器420によって周波数領域表現へ順変換されて、変換係数(tcof)のブロックとなり得る。次いで、変換係数(tcof)のブロックは、量子化器424へ送られて、量子化された係数のブロック(qcf)となり、次いで、この量子化された係数のブロック(qcf)は、エントロピーコーダ428とローカル復号ループ430との両方へ送られ得る。
ローカル復号ループ430の始まりにおいて、逆量子化器432は、変換係数のブロックを逆量子化し(tcof’)、それらを逆変換器436へ渡して、逆量子化された残差ブロック(res’)を生成し得る。加算器440においては、動き補償予測器442からの予測ブロック(pred)が、逆量子化された残差ブロック(res’)に加えられて、ローカルに復号されたブロック(rec)が生成され得る。次いで、ローカルに復号されたブロック(rec)は、フレームアセンブラおよび非ブロック化フィルタプロセッサ444へ送られ、フレームアセンブラおよび非ブロック化フィルタプロセッサ444は、ブロックノイズを低減し、回復されたフレーム(recd)を組み立て、回復されたフレーム(recd)は、動き推定器416および動き補償予測器442のための参照フレームとして使用され得る。
エントロピー符号器428は、量子化された変換係数(qcf)、差分動きベクトル(dmv)、および他のデータを符号化して、符号化されたビデオビットストリーム448を生成する。未符号化ビデオシーケンスの各フレームについて、符号化されたビデオビットストリーム448は、符号化されたピクチャデータ(例えば、符号化され量子化された変換係数(qcf)および差分動きベクトル(dmv))と、符号化されたフレームヘッダ(例えば、現在のフレームのLCBサイズなどのシンタックス情報)とを含み得る。
少なくとも1つの実施形態によれば、および、図6を参照して以下でより詳細に説明されるように、1つまたは複数のメッセージ(msgs)は、符号化されたビデオビットストリーム448に含めるためのビデオシーケンスと並行して取得され得る。メッセージデータ(msgs)は、メッセージ挿入器410によって受け取られ、ビットストリーム448のフレームヘッダ内への挿入のために付属メッセージデータパケット(msg−data)へ形成され得る。1つまたは複数のメッセージは、ビデオシーケンスの特定のフレーム(vidfrms)に関連付けられ得、したがって、それらのフレームの1つまたは複数のフレームヘッダ内に組み込まれ得る。メッセージ挿入器410によって取得されたメッセージは、ビデオシーケンスの1つまたは複数のフレームに関連付けられ、符号化されたビデオビットストリーム内への挿入のためにエントロピー符号器428へ提供される。
図5は、少なくとも1つの実施形態に係る、動き補償予測技法および付属メッセージ抽出能力を採用しており、復号装置300などの復号装置との使用に適している、対応するソフトウェア実装フレーム間ビデオ復号器500(以下、「復号器500」)の一般的な機能ブロック図を示す。復号器500は、符号器400におけるローカル復号ループ455と同様に作用し得る。
具体的には、復号されるべき符号化されたビデオビットストリーム504は、エントロピー復号器508へ提供され得、エントロピー復号器508は、量子化された係数(qcf)のブロック、差分動きベクトル(dmv)、付属メッセージデータパケット(msg−data)および他のデータを復号し得る。
次いで、量子化された係数ブロック(qcf)は、逆量子化器512によって逆量子化されて、逆量子化された係数(tcof’)となり得る。次いで、逆量子化された係数(tcof’)は、逆変換器516によって周波数領域から逆変換されて、復号された残差ブロック(res’)となり得る。
加算器520は、対応する動きベクトル(mv)を使用することによって取得された、動き補償された予測ブロック(pred)を加え得る。結果として生じる復号されたビデオ(dv)は、フレームアセンブラおよび非ブロック化フィルタリングプロセッサ524において非ブロック化フィルタリングされ得る。
フレームアセンブラおよび非ブロック化フィルタリングプロセッサ528の出力におけるブロック(recd)は、ビデオシーケンスの再構築されたフレームを形成し、この再構築されたフレームは、復号器500から出力され得、後続のコーディングブロックを復号するために、動き補償予測器532のための参照フレームとしても使用され得る。動き補償予測器536は、符号器400の動き補償予測器442と同様の様式で作用する。
上述した復号プロセスと並行して、および、図7を参照して以下でより詳細に説明されるように、符号化されたビデオビットストリーム504と共に受け取られた任意の付属メッセージデータ(msg−data)は、メッセージ抽出器540へ提供される。メッセージ抽出器540は、図4を参照して上述され、図6を参照して以下に説明される様式などで、付属メッセージデータ(msg−data)を処理して、符号化されたビデオビットストリームに含まれていた、1つまたは複数の付属メッセージ(msgs)を再現する。符号化されたビデオビットストリームから抽出されると、付属メッセージは、復号装置300の他の構成要素、例えば、オペレーティングシステム324などへ提供され得る。付属メッセージは、付属メッセージの他の部分がどのように処理されるべきかに関する、復号装置への命令を含むことができ、例えば、復号装置300に、復号されているビデオシーケンスに関する情報を表示させること、または、例えば、復号装置300が非一時的な記憶媒体にビデオシーケンスのコピーを記憶するための許可を与えることもしくは拒否することなどによって、復号されているビデオシーケンスに関して特定のデジタル著作権管理システムを採用させることなどができる。
図6は、符号器400などのビデオ符号器との使用に適している、付属メッセージ挿入能力600(以下、「付属メッセージ挿入ルーチン600」)を有するビデオコーディングルーチンの一実施形態を示す。当業者によって認識されるように、ビデオ符号化プロセスにおけるすべてのイベントが、図6に示されているとは限らない。むしろ、明瞭さのために、付属メッセージ挿入ルーチン600の付属メッセージ挿入態様の説明に合理的に関連するステップのみが、図示されている。当業者は、本実施形態が1つの例示的な実施形態にすぎないこと、および、以下の特許請求の範囲によって定義されるような、より広い発明概念の範囲から逸脱せずに、本実施形態のバリエーションが作られ得ることも、認識するであろう。
実行ブロック604において、付属メッセージ挿入ルーチン600は、未符号化ビデオシーケンスを取得する。開始ループブロック608において始まって、未符号化ビデオシーケンスの各フレームは、順番に処理される。実行ブロック612において、現在のフレームが符号化される。
実行ブロック612と並行して、判定ブロック620において、現在のフレームで付属メッセージが取得されない場合、付属メッセージ挿入ルーチン600は、以下に説明される実行ブロック644へ進む。
判定ブロック620に戻ると、1つまたは複数の付属メッセージが現在のフレームで取得される場合、付属メッセージ挿入ルーチン600は、実行ブロック624において、フレームヘッダにおいてカスタムメッセージ有効フラグを設定する。例えば、少なくとも1つの実施形態では、カスタムメッセージ有効フラグは、2つの取り得る値を有する、1ビットの長さとすることができ、1つの取り得る値は、現在のフレームのフレームヘッダ内の付属メッセージの存在を示し、第2の取り得る値は、現在のフレームのフレームヘッダ内に付属メッセージが存在しないことを示す。
実行ブロック628において、付属メッセージ挿入ルーチン600は、フレームヘッダにおいてメッセージ個数フラグを設定する。例えば、少なくとも1つの実施形態では、メッセージ個数フラグは、4つの取り得る値を有する、2ビットの長さとすることができ、各取り得る値は、現在のフレームのフレームヘッダに含まれている付属メッセージの個数を示す(例えば、「00」は、1つの付属メッセージを示してもよく、「01」は、2つの付属メッセージを示してもよい、など)。
実行ブロック636において、付属メッセージ挿入ルーチン600は、現在のフレームのフレームヘッダに含まれている各付属メッセージについてフレームヘッダにおいてカスタムメッセージ長フラグを設定する。例えば、カスタムメッセージ長フラグは、4つの取り得る値を有する、2ビットの長さのフラグとすることができ、各取り得る値は、現在の付属メッセージの長さを示す(例えば、「00」は、2バイトのメッセージ長を示してもよく、「01」は、4バイトのメッセージ長を示してもよく、「10」は、16バイトのメッセージ長を示してもよく、「11」は、32バイトのメッセージ長を示してもよい)。
実行ブロック640において、付属メッセージ挿入ルーチン600は、次いで、現在のフレームのフレームヘッダ内の付属メッセージを符号化し得る。
実行ブロック644において、付属メッセージ挿入ルーチン600は、現在のフレームのフレームヘッダ内のフレームシンタックス要素を符号化し得る。
実行ブロック648において、付属メッセージ挿入ルーチン600は、符号化されたビットストリームに含まれるべき、符号化されたフレームヘッダおよび符号化されたフレームを提供し得る。
終了ループブロック652において、付属メッセージ挿入ルーチン600は、開始ループブロック608へ戻って、未符号化ビデオシーケンス内の残りのフレームを、たった今説明されたように処理する。
付属メッセージ挿入ルーチン600は、終端ブロック699において終了する。
図7は、復号器500などの、少なくとも1つの実施形態との使用に適している、付属メッセージ抽出能力700(以下、「付属メッセージ抽出ルーチン700」)を有するビデオ復号ルーチンを示す。当業者によって認識されるように、ビデオ復号プロセスのすべてのイベントが、図7に示されているとは限らない。むしろ、明瞭さのために、ルーチン700の付属メッセージ抽出態様の説明に合理的に関連するステップのみが図示され、説明されている。当業者は、本実施形態が1つの例示的な実施形態にすぎないこと、および、以下の特許請求の範囲によって定義されるような、より広い発明概念の範囲から逸脱せずに、本実施形態のバリエーションが作られ得ることも、認識するであろう。
実行ブロック704において、付属メッセージ抽出ルーチン700は、符号化されたビデオデータのビットストリームを取得する。
実行ブロック706において、付属メッセージ抽出ルーチン700は、例えば、フレームヘッダに対応するビットストリームの部分を解釈することによって、未符号化ビデオシーケンスの個々のフレームを表現する、ビットストリームの部分を識別する。
開始ループブロック708において始まって、符号化されたビデオデータにおける識別された各フレームは、順番に処理される。実行ブロック712において、現在のフレームのフレームヘッダが復号される。実行ブロック714において、現在のフレームのビデオデータペイロードが復号される。
実行ブロック714と並行して、判定ブロック715において、現在のフレームのフレームヘッダにおいてメッセージ有効フラグが設定されていない場合、付属メッセージ抽出ルーチンは、以下に説明される実行ブロック748へ進み得る。
判定ブロック715へ戻って、現在のフレームのフレームヘッダにおいてメッセージ有効フラグが設定されている場合、実行ブロック720において、付属メッセージ抽出ルーチン700は、現在のフレームのフレームヘッダにおけるメッセージ個数フラグを読み取って、いくつの付属メッセージがフレームヘッダに含まれているかを決定する。上述したように、メッセージ個数フラグは、長さが2ビットであり、4つの取り得る値を有し、受け取られた値が、現在のフレームのフレームヘッダ内に存在する付属メッセージの数に対応し得る。
実行ブロック728において、付属メッセージ抽出ルーチン700は、現在のフレームのフレームヘッダに含まれる付属メッセージについてのメッセージサイズフラグを読み取る。上述したように、メッセージサイズフラグは、長さが2ビットであり、4つの取り得る値を有することができ、取り得る各値は、現在の付属メッセージの長さを示す(例えば、「00」は、2バイトのメッセージ長を示してもよく、「01」は、4バイトのメッセージ長を示してもよく、「10」は、16バイトのメッセージ長を示してもよく、「11」は、32バイトのメッセージ長を示してもよい)。
実行ブロック732において、付属メッセージ抽出ルーチン700は、例えば、付属メッセージに関連付けられたメッセージサイズフラグによって示された適当な数のビットをフレームヘッダからコピーすることによって、現在のフレームのフレームヘッダから付属メッセージを抽出する。
実行ブロック736において、付属メッセージ抽出ルーチン700は、次いで、例えば、復号装置300などの復号装置のオペレーティングシステムに対して、付属メッセージを提供し得る。
実行ブロック748において、付属メッセージ抽出ルーチン700は、次いで、例えば、復号装置300などの復号装置のディスプレイに対して、復号されたフレームを提供し得る。
終了ループブロック752において、付属メッセージ抽出ルーチン700は、開始ループブロック708へ戻って、未符号化ビデオシーケンス内の残りのフレームを、たった今説明されたように処理する。
付属メッセージ抽出ルーチン700は、終端ブロック799において終了する。
特定の実施形態が、本明細書において図示され、説明されてきたが、本開示の範囲から逸脱せずに、図示され、説明された特定の実施形態の代わりに、代替的な実装形態および/または均等な実装形態が用いられてもよいことが、当業者によって認識されるであろう。本出願は、本明細書において論じられた実施形態のいかなる適応例またはバリエーションも含むことを意図されている。
図1は、少なくとも1つの実施形態に係る例示的なビデオ符号化/復号システム100を示す。符号化装置200(図2に示され、以下に説明される)および復号装置300(図3に示され、以下に説明される)は、ネットワーク104とデータ通信する。符号化装置200は、直接的なデータ接続、例えば、ストレージエリアネットワーク(「SAN(storage area network)」)、高速シリアルバスなどを通じて、および/または他の適切な通信技術を介して、または(図1内の破線によって示されるように)ネットワーク104を介して、未符号化ビデオ源108とデータ通信し得る。同様に、復号装置300は、直接的なデータ接続、例えば、ストレージエリアネットワーク(「SAN」)、高速シリアルバスなどを通じて、および/または他の適切な通信技術を介して、または(図1内の破線によって示されるように)ネットワーク104を介して、随意的な符号化されたビデオ源112とデータ通信し得る。いくつかの実施形態では、符号化装置200、復号装置300、符号化されたビデオ源112、および/または未符号化ビデオ源108は、1つまたは複数の複製されたおよび/または分散された、物理的な装置または論理的な装置を備えてもよい。多くの実施形態では、図示されているよりも多くの符号化装置200、復号装置300、未符号化ビデオ源108、および/また符号化されたビデオ源112が存在し得る。
例示的な符号化装置200のメモリ212は、オペレーティングシステム224、および複数のソフトウェアサービスのためのプログラムコード、例えば、付属メッセージ挿入ルーチン600(図6を参照して以下に説明される)を実行するための命令を備えた、ソフトウェア実装フレーム間ビデオ符号器400(図4を参照して以下に説明される)などを記憶する。メモリ212は、ビデオデータファイル(図示せず)も記憶してもよく、このビデオデータファイルは、オーディオ/ビジュアルメディア作品の未符号化コピー、例えば、非限定的な例として、映画および/またはテレビ番組のエピソードなどを表現し得る。これらおよび他のソフトウェア構成要素は、非一時的なコンピュータ読取可能な媒体232、例えば、フロッピーディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどに関連付けられた駆動機構(図示せず)を使用して、符号化装置200のメモリ212にロードされ得る。例示的な符号化装置200が説明されてきたが、符号化装置は、ネットワーク104と通信し、ビデオ符号化ソフトウェア、例えば、例示的なソフトウェア実装フレーム間ビデオ符号器400、および付属メッセージ挿入ルーチン600などを実装するための命令を実行することができる、非常に多くのネットワーク接続されたコンピューティング装置のうちの任意のものであってもよい。
動作中に、オペレーティングシステム224は、符号化装置200のハードウェアおよび他のソフトウェア資源を管理し、ソフトウェア実装フレーム間ビデオ符号器400などのソフトウェアアプリケーションに対して一般的なサービスを提供する。ハードウェア機能、例えば、ネットワークインターフェース204を介したネットワーク通信、ユーザ入力214を介したデータの受け取り、ディスプレイ216を介したデータの出力、および、様々なソフトウェアアプリケーション、例えば、ソフトウェア実装フレーム間ビデオ符号器400などのためのメモリ212の割り当てについて、オペレーティングシステム224は、符号化装置上で実行されるソフトウェアとハードウェアとの間の仲介としての役割を果たす。
例示的な復号装置300のメモリ312は、オペレーティングシステム324、および複数のソフトウェアサービスのためのプログラムコード、例えば、付属メッセージ抽出ルーチン700(図7を参照して以下に説明される)を実行するための命令を備えた、ソフトウェア実装フレーム間ビデオ復号器500(図5を参照して以下に説明される)などを記憶し得る。メモリ312は、ビデオデータファイル(図示せず)も記憶してもよく、このビデオデータファイルは、オーディオ/ビジュアルメディア作品の符号化されたコピー、例えば、非限定的な例として、映画および/またはテレビ番組のエピソードなどを表現し得る。これらおよび他のソフトウェア構成要素は、非一時的なコンピュータ読取可能な媒体332、例えば、フロッピーディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどに関連付けられた駆動機構(図示せず)を使用して、復号装置300のメモリ312にロードされ得る。例示的な復号装置300が説明されてきたが、復号装置は、ネットワーク104などのネットワークと通信し、ビデオ復号ソフトウェア、例えば、例示的なソフトウェア実装ビデオ復号器500、および付属メッセージ抽出ルーチン700などを実施するための命令を実行することができる、非常に多くのネットワーク接続されたコンピューティング装置のうちの任意のものであってもよい。
動作中に、オペレーティングシステム324は、復号装置300のハードウェアおよび他のソフトウェア資源を管理し、ソフトウェア実装ビデオ復号器500などのソフトウェアアプリケーションに対して一般的なサービスを提供する。ハードウェア機能、例えば、ネットワークインターフェース304を介したネットワーク通信、ユーザ入力314を介したデータの受け取り、ディスプレイ316および/または随意的なスピーカ318を介したデータの出力、ならびにメモリ312の割り当てについて、オペレーティングシステム324は、復号装置上で実行されるソフトウェアとハードウェアとの間の仲介としての役割を果たす。
いくつかの実施形態では、復号装置300は、例えば、符号化されたビデオ源112と通信するための随意的な符号化されたビデオインターフェース336、例えば、高速シリアルバスなどをさらに備えてもよい。いくつかの実施形態では、復号装置300は、ネットワークインターフェース304を介して、符号化されたビデオ源112などの符号化されたビデオ源と通信し得る。他の実施形態では、符号化されたビデオ源112は、メモリ312またはコンピュータ読取可能な媒体332に存在してもよい。
図5は、少なくとも1つの実施形態に係る、動き補償予測技法および付属メッセージ抽出能力を採用しており、復号装置300などの復号装置との使用に適している、対応するソフトウェア実装フレーム間ビデオ復号器500(以下、「復号器500」)の一般的な機能ブロック図を示す。復号器500は、符号器400におけるローカル復号ループ430と同様に作用し得る。
フレームアセンブラおよび非ブロック化フィルタリングプロセッサ524の出力におけるブロック(recd)は、ビデオシーケンスの再構築されたフレームを形成し、この再構築されたフレームは、復号器500から出力され得、後続のコーディングブロックを復号するために、動き補償予測器536のための参照フレームとしても使用され得る。動き補償予測器536は、符号器400の動き補償予測器442と同様の様式で作用する。

Claims (20)

  1. 未符号化ビデオフレームのシーケンスを表す符号化されたビットストリーム内にメッセージデータを挿入するビデオ符号器装置実装方法であって、前記方法は、
    前記未符号化ビデオフレームのシーケンスの未符号化ビデオフレームを取得するステップと、
    前記未符号化ビデオフレームを符号化して、ビデオデータペイロードを生成するステップと、
    付属メッセージを取得するステップと、
    前記付属メッセージのメッセージサイズを決定するステップと、
    前記ビデオデータペイロードのフレームヘッダを符号化するステップと、
    前記フレームヘッダおよび前記ビデオデータペイロードを、前記符号化されたビットストリームの一部として提供するステップと
    を含み、
    前記フレームヘッダは、前記付属メッセージが前記フレームヘッダに含まれていることを示すメッセージ有効フラグと、前記フレームヘッダに含まれている、前記付属メッセージを含む、付属メッセージの個数を示すメッセージ個数フラグと、前記メッセージサイズを示すメッセージサイズフラグと、前記付属メッセージとを含む、ビデオ符号器装置実装方法。
  2. 前記メッセージサイズフラグは、前記付属メッセージの4つの取り得るメッセージサイズのうちの1つを示す、請求項1に記載のビデオ符号器装置実装方法。
  3. 前記4つの取り得るメッセージサイズは、2バイト、4バイト、16バイト、および32バイトである、請求項2に記載のビデオ符号器装置実装方法。
  4. 前記メッセージ個数フラグは、前記フレームヘッダに含まれている最大で4つまでの付属メッセージを示す、請求項1に記載のビデオ符号器装置実装方法。
  5. 前記付属メッセージは、前記未符号化ビデオフレームに関連する情報を表すデータを含む、請求項1に記載のビデオ符号器装置実装方法。
  6. 前記未符号化ビデオフレームのシーケンスは、オーディオビジュアル作品を構成し、前記付属メッセージは、前記オーディオビジュアル作品の作者を識別するデータを含む、請求項5に記載のビデオ符号器装置実装方法。
  7. 前記未符号化ビデオフレームのシーケンスは、オーディオビジュアル作品を構成し、前記付属メッセージは、前記オーディオビジュアル作品のタイトルを識別するデータを含む、請求項5に記載のビデオ符号器装置実装方法。
  8. 前記未符号化ビデオフレームのシーケンスは、オーディオビジュアル作品を構成し、前記付属メッセージは、前記オーディオビジュアル作品の著作権に関連するデータを含む、請求項5に記載のビデオ符号器装置実装方法。
  9. 前記未符号化ビデオフレームのシーケンスは、オーディオビジュアル作品を構成し、前記付属メッセージは、符号化されたビットストリームから再構築された前記オーディオビジュアル作品のコピーを提示するための許可に関連するデータを含む、請求項5に記載のビデオ符号器装置実装方法。
  10. 前記未符号化ビデオフレームのシーケンスは、オーディオビジュアル作品を構築し、前記付属メッセージは、非一時的な記憶媒体に前記オーディオビジュアル作品のコピーを記憶するための許可に関連するデータを含む、請求項5に記載のビデオ符号器装置実装方法。
  11. ビデオフレームのシーケンスを表す符号化されたビットストリームからメッセージデータを抽出するビデオ復号器装置実装方法であって、前記方法は、
    前記符号化されたビットストリームからビデオデータペイロードを取得するステップと、
    前記ビデオデータペイロードを復号して、前記ビデオフレームのシーケンスのビデオフレームの表現を生成するステップと、
    前記符号化されたビットストリームからフレームヘッダを取得するステップと、
    前記フレームヘッダを復号するステップと、
    前記ビデオフレームの前記表現および付属メッセージを提供するステップと、
    を含み、
    前記フレームヘッダは、前記フレームヘッダにおける前記付属メッセージの存在を示すメッセージ有効フラグと、前記フレームヘッダに含まれている、前記付属メッセージを含む、付属メッセージの個数を示すメッセージ個数フラグと、前記付属メッセージに関連付けられており、前記付属メッセージのメッセージサイズを示すメッセージサイズフラグと、前記付属メッセージとを含む、ビデオ復号器装置実装方法。
  12. 前記メッセージサイズフラグは、前記第1の付属メッセージの4つの取り得るメッセージサイズのうちの1つを示す、請求項11に記載のビデオ復号器装置実装方法。
  13. 前記4つの取り得るメッセージサイズは、2バイト、4バイト、16バイト、および32バイトである、請求項12に記載のビデオ復号器装置実装方法。
  14. 前記メッセージ個数フラグは、前記フレームヘッダに含まれている最大で4つまでの付属メッセージを示す、請求項11に記載のビデオ復号器装置実装方法。
  15. 前記第1の付属メッセージは、前記ビデオフレームに関連する情報を表すデータを含む、請求項11に記載のビデオ復号器装置実装方法。
  16. 前記ビデオフレームのシーケンスは、オーディオビジュアル作品を構成し、前記付属メッセージは、前記オーディオビジュアル作品の作者を識別するデータを含む、請求項15に記載のビデオ復号器装置実装方法。
  17. 前記ビデオフレームのシーケンスは、オーディオビジュアル作品を構成し、前記付属メッセージは、前記オーディオビジュアル作品のタイトルを識別するデータを含む、請求項15に記載のビデオ復号器装置実装方法。
  18. 前記ビデオフレームのシーケンスは、オーディオビジュアル作品を構成し、前記付属メッセージは、前記オーディオビジュアル作品の著作権に関連するデータを含む、請求項15に記載のビデオ復号器装置実装方法。
  19. 前記ビデオフレームのシーケンスは、オーディオビジュアル作品を構成し、前記付属メッセージは、前記符号化されたビットストリームから再構築された前記オーディオビジュアル作品のコピーを提示するための許可に関連するデータを含む、請求項15に記載のビデオ復号器装置実装方法。
  20. 前記ビデオフレームのシーケンスは、オーディオビジュアル作品を構成し、前記付属メッセージは、非一時的な記憶媒体に前記オーディオビジュアル作品のコピーを記憶するための許可に関連するデータを含む、請求項15に記載のビデオ復号器装置実装方法。
JP2017550686A 2015-03-31 2015-03-31 圧縮ビデオビットストリームに付属メッセージデータを含めるシステムおよび方法 Expired - Fee Related JP6748657B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/075598 WO2016154929A1 (en) 2015-03-31 2015-03-31 Accompanying message data inclusion in compressed video bitsreams systems and methods

Publications (2)

Publication Number Publication Date
JP2018516474A true JP2018516474A (ja) 2018-06-21
JP6748657B2 JP6748657B2 (ja) 2020-09-02

Family

ID=57004713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017550686A Expired - Fee Related JP6748657B2 (ja) 2015-03-31 2015-03-31 圧縮ビデオビットストリームに付属メッセージデータを含めるシステムおよび方法

Country Status (6)

Country Link
US (1) US20180109816A1 (ja)
EP (1) EP3278563A4 (ja)
JP (1) JP6748657B2 (ja)
KR (1) KR20180019511A (ja)
CN (1) CN107852518A (ja)
WO (1) WO2016154929A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3586508A4 (en) * 2017-02-23 2020-08-12 RealNetworks, Inc. RESIDUAL TRANSFORMATION AND INVERSE TRANSFORMATION IN VIDEO ENCODING SYSTEMS AND METHODS

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290938A (ja) * 2000-03-24 2001-10-19 Trw Inc フルモーション・ビジュアル製品用の統合化デジタル・プロダクション・ライン
JP2003529297A (ja) * 2000-03-27 2003-09-30 サーノフ コーポレイション エンコードされたデジタルビットストリームでデータを埋め込むための方法及び装置
CN1529513A (zh) * 2003-09-26 2004-09-15 上海广电(集团)有限公司中央研究院 视频信号的分层编码和解码方法
JP2006279502A (ja) * 2005-03-29 2006-10-12 Sanyo Electric Co Ltd 画像処理装置、画像表示装置および方法
JP2011209840A (ja) * 2010-03-29 2011-10-20 Mitsubishi Space Software Kk パッケージファイル配信システム、パッケージファイル配信システムのパッケージファイル配信方法、パッケージファイル配信サーバ装置、パッケージファイル配信サーバプログラム、パッケージファイル再生端末装置、パッケージファイル再生端末プログラムおよびファイルパッケージ端末装置。

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809138B2 (en) * 1999-03-16 2010-10-05 Intertrust Technologies Corporation Methods and apparatus for persistent control and protection of content
WO2000046989A1 (fr) * 1999-02-05 2000-08-10 Sony Corporation Dispositifs de codage et de decodage et methodes correspondantes, systeme de codage et procede correspondant
JP4038642B2 (ja) * 2000-12-26 2008-01-30 ソニー株式会社 受信機
US8428117B2 (en) * 2003-04-24 2013-04-23 Fujitsu Semiconductor Limited Image encoder and image encoding method
KR100547162B1 (ko) * 2004-06-10 2006-01-26 삼성전자주식회사 그래픽 데이터를 포함한 av 스트림을 기록한정보저장매체, 재생방법 및 장치
US9203816B2 (en) * 2009-09-04 2015-12-01 Echostar Technologies L.L.C. Controlling access to copies of media content by a client device
CN102256175B (zh) * 2011-07-21 2013-06-12 深圳市茁壮网络股份有限公司 一种数字电视节目附加信息的插入呈现方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290938A (ja) * 2000-03-24 2001-10-19 Trw Inc フルモーション・ビジュアル製品用の統合化デジタル・プロダクション・ライン
JP2003529297A (ja) * 2000-03-27 2003-09-30 サーノフ コーポレイション エンコードされたデジタルビットストリームでデータを埋め込むための方法及び装置
CN1529513A (zh) * 2003-09-26 2004-09-15 上海广电(集团)有限公司中央研究院 视频信号的分层编码和解码方法
JP2006279502A (ja) * 2005-03-29 2006-10-12 Sanyo Electric Co Ltd 画像処理装置、画像表示装置および方法
JP2011209840A (ja) * 2010-03-29 2011-10-20 Mitsubishi Space Software Kk パッケージファイル配信システム、パッケージファイル配信システムのパッケージファイル配信方法、パッケージファイル配信サーバ装置、パッケージファイル配信サーバプログラム、パッケージファイル再生端末装置、パッケージファイル再生端末プログラムおよびファイルパッケージ端末装置。

Also Published As

Publication number Publication date
EP3278563A1 (en) 2018-02-07
JP6748657B2 (ja) 2020-09-02
WO2016154929A1 (en) 2016-10-06
KR20180019511A (ko) 2018-02-26
CN107852518A (zh) 2018-03-27
EP3278563A4 (en) 2018-10-31
US20180109816A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
US10531086B2 (en) Residual transformation and inverse transformation in video coding systems and methods
US10735729B2 (en) Residual transformation and inverse transformation in video coding systems and methods
WO2018152749A1 (en) Coding block bitstream structure and syntax in video coding systems and methods
US20080152002A1 (en) Methods and apparatus for scalable video bitstreams
US20190268619A1 (en) Motion vector selection and prediction in video coding systems and methods
US10659779B2 (en) Layered deblocking filtering in video processing systems and methods
TWI794076B (zh) 多媒體資源中軌道資料的處理方法、裝置、媒體及設備
JP6748657B2 (ja) 圧縮ビデオビットストリームに付属メッセージデータを含めるシステムおよび方法
US20190379890A1 (en) Residual transformation and inverse transformation in video coding systems and methods
US10652569B2 (en) Motion vector selection and prediction in video coding systems and methods
WO2020210528A1 (en) Block size determination for video coding systems and methods
US20210250579A1 (en) Intra-picture prediction in video coding systems and methods
KR20080080819A (ko) 동영상 부호화 및 재생 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190426

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190717

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200807

R150 Certificate of patent or registration of utility model

Ref document number: 6748657

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees