JP2017063495A - ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法 - Google Patents
ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2017063495A JP2017063495A JP2016236137A JP2016236137A JP2017063495A JP 2017063495 A JP2017063495 A JP 2017063495A JP 2016236137 A JP2016236137 A JP 2016236137A JP 2016236137 A JP2016236137 A JP 2016236137A JP 2017063495 A JP2017063495 A JP 2017063495A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- encoding
- stream
- video
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法を提供する。【解決手段】適応ストリーミングシステム10において使用するためのマルチメディアコンテンツのエンコーディングは、メディアサーバを使用して、複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、第1のエンコーディングレベルおよびメディアサーバを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、メディアサーバを使用して、ビデオデータの第1のストリームをエンコーディングすること、を含む。【選択図】図1
Description
(発明の分野)
本発明は、概して、適応ストリーミングシステムのためのシステムおよび方法に関し、より具体的には、ビデオデータの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用するためのシステムおよび方法に関する。
本発明は、概して、適応ストリーミングシステムのためのシステムおよび方法に関し、より具体的には、ビデオデータの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用するためのシステムおよび方法に関する。
(背景)
メディアのストリーミングという用語は、再生デバイス上のメディアの再生を説明するものであって、メディアは、サーバ上に記憶され、再生の間、ネットワークを経由して、再生デバイスに継続的に送信される。典型的には、再生デバイスは、メディアの次の部分の受信に先立って、再生デバイスが全てのバッファされたメディアの再生を完了することによる再生の中断を防止するために、再生の間、任意の所与の時間において、十分な量のメディアをバッファ内に記憶する。適応ビットレートストリーミングまたは適応ストリーミングは、本ストリーミング状態(例えば、ユーザのネットワーク帯域幅およびCPU容量)をリアルタイムで検出し、適宜、ストリーミングされるメディアの量を調節することを伴う。インターネットを経由したビデオのストリーミングは、現代の現象となりつつある。Google, Inc.(Mountain View, California)のサービスであるYouTube(登録商標)およびESPN(Bristol, Connecticut)のサービスであるWatchESPN等の多くの人気のウェブサイトは、ビデオおよびテレビ番組をインターネットを介して消費者に提供するために、ストリーミングビデオを利用する。
メディアのストリーミングという用語は、再生デバイス上のメディアの再生を説明するものであって、メディアは、サーバ上に記憶され、再生の間、ネットワークを経由して、再生デバイスに継続的に送信される。典型的には、再生デバイスは、メディアの次の部分の受信に先立って、再生デバイスが全てのバッファされたメディアの再生を完了することによる再生の中断を防止するために、再生の間、任意の所与の時間において、十分な量のメディアをバッファ内に記憶する。適応ビットレートストリーミングまたは適応ストリーミングは、本ストリーミング状態(例えば、ユーザのネットワーク帯域幅およびCPU容量)をリアルタイムで検出し、適宜、ストリーミングされるメディアの量を調節することを伴う。インターネットを経由したビデオのストリーミングは、現代の現象となりつつある。Google, Inc.(Mountain View, California)のサービスであるYouTube(登録商標)およびESPN(Bristol, Connecticut)のサービスであるWatchESPN等の多くの人気のウェブサイトは、ビデオおよびテレビ番組をインターネットを介して消費者に提供するために、ストリーミングビデオを利用する。
スケーラブルビデオコーディング(SVC)は、International Telecommunication Union Telecommunication Standardization Sector(Geneva, Switzerland)によるITU−T H.264規格によって規定されたH.264/MPEG−4 AVCビデオ圧縮規格の拡張機能である。SVCは、加えて、1つ以上のサブビットストリームを含有する、ビデオビットストリームのエンコーディングを可能にする。サブビットストリームは、ビデオビットストリームからのデータのパケットをドロップすることによって、ビデオビットストリームから派生し、オリジナルビデオビットストリームより低品質および低帯域幅のサブビットストリームをもたらす。SVCは、ビデオビットストリームのサブビットストリームへの3つの形態のスケーリング、すなわち、時間的スケーリング、空間的スケーリング、および品質的スケーリングをサポートする。これらのスケーリング技法はそれぞれ、具体的ビデオシステムに応じて、個々に使用される、または組み合わせられることができる。
適応ストリーミングシステムでは、ソースメディアは、典型的には、実際のビデオおよびオーディオデータを含有する、いくつかの代替ストリームをポイントする上位レベルインデックスファイルとして、メディアサーバ上に記憶される。各ストリームは、典型的には、1つ以上のコンテナファイル内に記憶される。異なる適応ストリーミングソリューションは、典型的には、異なるインデックスおよびメディアコンテナを利用する。Matroskaコンテナは、Matroska非営利団体(Aussonne, France)によって、オープンスタンダードプロジェクトとして開発されたメディアコンテナである。Matroskaコンテナは、Extensible Markup Language(XML)のバイナリ派生物である、Extensible Binary Meta Language(EBML)に基づく。Matroskaコンテナのデコーディングは、多くの消費者電子機器(CE)デバイスによってサポートされている。DivX,
LLC(San Diego, California)によって開発されたDivX
Plusファイル形式は、Matroska形式内に規定されない要素を含む、Matroskaコンテナ形式の拡張子を利用する。
LLC(San Diego, California)によって開発されたDivX
Plusファイル形式は、Matroska形式内に規定されない要素を含む、Matroskaコンテナ形式の拡張子を利用する。
(発明の要約)
本発明の実施形態による、ビデオデータの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用するためのシステムおよび方法が、開示される。本発明の一実施形態では、適応ストリーミングシステムにおいて使用するためのマルチメディアコンテンツをエンコーディングすることは、メディアサーバを使用して、複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、第1のエンコーディングレベルおよびメディアサーバを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、メディアサーバを使用して、ビデオデータの第1のストリームをエンコーディングすることであって、ビデオデータの第1のストリームは、第1の解像度および第1のビットレートを含む、ことと、メディアサーバを使用して、複数のエンコーディングレベルから、第2のエンコーディングレベルを選択することと、エンコーディング情報およびメディアサーバを使用して、ビデオデータの第2のストリームをエンコーディングすることであって、ビデオデータの第2のストリームは、第2の解像度および第2のビットレートを含む、こととを含む。
本発明の実施形態による、ビデオデータの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用するためのシステムおよび方法が、開示される。本発明の一実施形態では、適応ストリーミングシステムにおいて使用するためのマルチメディアコンテンツをエンコーディングすることは、メディアサーバを使用して、複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、第1のエンコーディングレベルおよびメディアサーバを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、メディアサーバを使用して、ビデオデータの第1のストリームをエンコーディングすることであって、ビデオデータの第1のストリームは、第1の解像度および第1のビットレートを含む、ことと、メディアサーバを使用して、複数のエンコーディングレベルから、第2のエンコーディングレベルを選択することと、エンコーディング情報およびメディアサーバを使用して、ビデオデータの第2のストリームをエンコーディングすることであって、ビデオデータの第2のストリームは、第2の解像度および第2のビットレートを含む、こととを含む。
本発明の別の実施形態では、第1の解像度および第2の解像度は、同一である。
本発明の付加的実施形態では、第1のビットレートは、第2のビットレートを下回る。
本発明のさらに別の付加的実施形態では、第1のビットレートは、第2のビットレートを上回る。
本発明のなおも別の付加的実施形態では、第1の解像度は、第2の解像度を下回る。
本発明のさらになおも別の付加的実施形態では、第1の解像度は、第2の解像度を上回る。
本発明のさらに別の実施形態では、エンコーディング情報を判定することは、動き推定結果を推定すること、加重された予測加重を選択すること、および場面変化を判定することから成る群から選択される、エンコーディング情報を判定することを含む。
本発明のさらになおも別の実施形態では、マルチメディアコンテンツをエンコーディングすることはさらに、第1のエンコーディングレベルおよびメディアサーバを使用して、ビデオデータの第1のストリームのための動き推定を判定することと、第2のエンコーディングレベルおよびメディアサーバを使用して、ビデオデータの第2のストリームのための判定された動き推定の結果をスケーリングすることとを含む。
本発明のさらに別の付加的実施形態では、動き推定を判定することは、メディアサーバを使用した階層動き推定を含む。
本発明のなおも別の付加的実施形態では、マルチメディアコンテンツをエンコーディングすることはさらに、メディアサーバを使用して、ビデオデータの第1のストリームおよびビデオデータの第2のストリームをコンテナファイル内に記憶することを含む。
本発明のさらになおも別の付加的実施形態では、コンテナファイルは、Matroskaコンテナファイルである。
本発明のさらに別の実施形態では、エンコーディングマルチメディアコンテンツはさらに、メディアサーバを使用して、ビデオデータの第1のストリームおよびビデオデータの第2のストリームを別個のコンテナファイル内に記憶することを含む。
本発明のなおも別の実施形態では、ビデオデータの第1のストリームをエンコーディングすることおよびビデオデータの第2のストリームをエンコーディングすることは、スケーラブルビデオコーディングを利用する。
本発明のなおも別の実施形態は、メディアサーバを含み、メディアサーバは、マルチメディアコンテンツを記憶するように構成されたメモリであって、マルチメディアコンテンツは、ソースビデオを含む、メモリと、プロセッサとを含み、プロセッサは、メディアエンコーダアプリケーションによって、複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、第1のエンコーディングレベルを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、ビデオデータの第1のストリームをエンコーディングすることであって、ビデオデータの第1のストリームは、第1の解像度および第1のビットレートを含む、ことと、複数のエンコーディングレベルから、第2のエンコーディングレベルを選択することと、エンコーディング情報を使用して、ビデオデータの第2のストリームをエンコーディングすることであって、ビデオデータの第2のストリームは、第2の解像度および第2のビットレートを含む、こととを行うように構成される。
本発明のさらに別の付加的実施形態では、第1の解像度および第2の解像度は、同一である。
本発明のなおも別の付加的実施形態では、第1のビットレートは、第2のビットレートを下回る。
本発明のさらになおも別の付加的実施形態では、第1のビットレートは、第2のビットレートを上回る。
本発明のさらに別の実施形態では、第1の解像度は、第2の解像度を下回る。
本発明のなおも別の実施形態では、第1の解像度は、第2の解像度を上回る。
本発明のさらになおも別の実施形態では、判定されたエンコーディング情報は、動き推定結果、加重された予測加重、および場面変化から成る群から選択される。
本発明のさらに別の付加的実施形態では、プロセッサはさらに、第1のエンコーディングレベルを使用して、ビデオデータの第1のストリームのための動き推定を判定し、第2のエンコーディングレベルを使用して、ビデオデータの第2のストリームのための判定された動き推定の結果をスケーリングするように構成される。
本発明のなおも別の付加的実施形態では、判定された動き推定は、階層動き推定を含む。
本発明のさらになおも別の付加的実施形態では、プロセッサはさらに、ビデオデータの第1のストリームおよびビデオデータの第2のストリームをコンテナファイル内に記憶するように構成される。
本発明のさらに別の実施形態では、コンテナファイルは、Matroskaコンテナファイルである。
本発明のなおも別の実施形態では、プロセッサはさらに、ビデオデータの第1のストリームおよびビデオデータの第2のストリームを別個のコンテナファイル内に記憶するように構成される。
本発明のさらになおも別の実施形態では、ビデオデータの第1のストリームおよびビデオデータの第2のストリームは、スケーラブルビデオコーディングを使用してエンコーディングされる。
本発明のなおも別の実施形態は、プロセッサ命令を含有する機械可読媒体を含み、プロセッサによる命令の実行は、プロセッサに、複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、第1のエンコーディングレベルを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、ビデオデータの第1のストリームをエンコーディングすることであって、ビデオデータの第1のストリームは、第1の解像度および第1のビットレートを含む、ことと、複数のエンコーディングレベルから、第2のエンコーディングレベルを選択することと、エンコーディング情報を使用して、ビデオデータの第2のストリームをエンコーディングすることであって、ビデオデータの第2のストリームは、第2の解像度および第2のビットレートを含む、こととを含むプロセスを行わせる。
例えば、本願発明は以下の項目を提供する。
(項目1)
適応ストリーミングシステムにおいて使用するために、マルチメディアコンテンツをエンコーディングするための方法であって、前記方法は、
メディアサーバを使用して、複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、
前記第1のエンコーディングレベルおよび前記メディアサーバを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、
前記メディアサーバを使用して、ビデオデータの前記第1のストリームをエンコーディングすることであって、ビデオデータの前記第1のストリームは、第1の解像度および第1のビットレートを含む、ことと、
前記メディアサーバを使用して、前記複数のエンコーディングレベルから、第2のエンコーディングレベルを選択することと、
前記エンコーディング情報および前記メディアサーバを使用して、ビデオデータの第2のストリームをエンコーディングすることであって、ビデオデータの前記第2のストリームは、第2の解像度および第2のビットレートを含む、ことと
を含む、方法。
(項目2)
前記第1の解像度および前記第2の解像度は、同一である、項目1に記載の方法。
(項目3)
前記第1のビットレートは、前記第2のビットレートを下回る、項目2に記載の方法。
(項目4)
前記第1のビットレートは、前記第2のビットレートを上回る、項目2に記載の方法。
(項目5)
前記第1の解像度は、前記第2の解像度を下回る、項目1に記載の方法。
(項目6)
前記第1の解像度は、前記第2の解像度を上回る、項目1に記載の方法。
(項目7)
エンコーディング情報を判定することは、動き推定結果を推定すること、加重された予測加重を選択すること、および場面変化を判定することから成る群から選択されるエンコーディング情報を判定することを含む、項目1に記載の方法。
(項目8)
前記第1のエンコーディングレベルおよび前記メディアサーバを使用して、ビデオデータの前記第1のストリームのための動き推定を判定することと、
前記第2のエンコーディングレベルおよび前記メディアサーバを使用して、ビデオデータの前記第2のストリームのための前記判定された動き推定の結果をスケーリングすることと
をさらに含む、項目1に記載の方法。
(項目9)
動き推定を判定することは、前記メディアサーバを使用した階層動き推定を含む、項目8に記載の方法。
(項目10)
前記メディアサーバを使用して、ビデオデータの前記第1のストリームおよびビデオデータの前記第2のストリームをコンテナファイル内に記憶することをさらに含む、項目1に記載の方法。
(項目11)
前記コンテナファイルは、Matroskaコンテナファイルである、項目10に記載の方法。
(項目12)
前記メディアサーバを使用して、ビデオデータの前記第1のストリームおよびビデオデータの前記第2のストリームを別個のコンテナファイル内に記憶することをさらに含む、項目1に記載の方法。
(項目13)
ビデオデータの前記第1のストリームをエンコーディングすることおよびビデオデータの前記第2のストリームをエンコーディングすることは、スケーラブルビデオコーディングを利用する、項目1に記載の方法。
(項目14)
メディアサーバであって、前記メディアサーバは、
マルチメディアコンテンツを記憶するように構成されたメモリであって、前記マルチメディアコンテンツは、ソースビデオを含む、メモリと、
プロセッサと
を備え、
前記プロセッサは、メディアエンコーダアプリケーションによって、
複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、
前記第1のエンコーディングレベルを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、
ビデオデータの前記第1のストリームをエンコーディングすることであって、ビデオデータの前記第1のストリームは、第1の解像度および第1のビットレートを含む、ことと、
前記複数のエンコーディングレベルから、第2のエンコーディングレベルを選択することと、
前記エンコーディング情報を使用して、ビデオデータの第2のストリームをエンコーディングすることであって、ビデオデータの前記第2のストリームは、第2の解像度および第2のビットレートを含む、ことと
を行うように構成されている、メディアサーバ。
(項目15)
前記第1の解像度および前記第2の解像度は、同一である、項目14に記載のメディアサーバ。
(項目16)
前記第1のビットレートは、前記第2のビットレートを下回る、項目15に記載のメディアサーバ。
(項目17)
前記第1のビットレートは、前記第2のビットレートを上回る、項目15に記載のメディアサーバ。
(項目18)
前記第1の解像度は、前記第2の解像度を下回る、項目14に記載のメディアサーバ。
(項目19)
前記第1の解像度は、前記第2の解像度を上回る、項目14に記載のメディアサーバ。
(項目20)
前記判定されたエンコーディング情報は、感情推定結果、加重された予測加重、および場面変化から成る群から選択される、項目14に記載のメディアサーバ。
(項目21)
前記プロセッサはさらに、
前記第1のエンコーディングレベルを使用して、ビデオデータの前記第1のストリームのための動き推定を判定することと、
前記第2のエンコーディングレベルを使用して、ビデオデータの前記第2のストリームのための前記判定された動き推定の結果をスケーリングすることと
を行うように構成されている、項目14に記載のメディアサーバ。
(項目22)
前記判定された動き推定は、階層動き推定を含む、項目21に記載のメディアサーバ。
(項目23)
前記プロセッサはさらに、ビデオデータの前記第1のストリームおよびビデオデータの前記第2のストリームをコンテナファイル内に記憶するように構成されている、項目14に記載のメディアサーバ。
(項目24)
前記コンテナファイルは、Matroskaコンテナファイルである、項目23に記載のメディアサーバ。
(項目25)
前記プロセッサはさらに、ビデオデータの前記第1のストリームおよびビデオデータの前記第2のストリームを別個のコンテナファイル内に記憶するように構成されている、項目14に記載のメディアサーバ。
(項目26)
ビデオデータの前記第1のストリームおよびビデオデータの前記第2のストリームは、スケーラブルビデオコーディングを使用してエンコーディングされる、項目14に記載のメディアサーバ。
(項目27)
プロセッサ命令を含有する機械可読媒体であって、プロセッサによる前記命令の実行は、前記プロセッサに、
複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、
前記第1のエンコーディングレベルを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、
ビデオデータの前記第1のストリームをエンコーディングすることであって、ビデオデータの前記第1のストリームは、第1の解像度および第1のビットレートを含む、ことと、
前記複数のエンコーディングレベルから、第2のエンコーディングレベルを選択することと、
前記エンコーディング情報を使用して、ビデオデータの第2のストリームをエンコーディングすることであって、ビデオデータの第2のストリームは、第2の解像度および第2のビットレートを含む、ことと
を含むプロセスを行わせる、機械可読媒体。
例えば、本願発明は以下の項目を提供する。
(項目1)
適応ストリーミングシステムにおいて使用するために、マルチメディアコンテンツをエンコーディングするための方法であって、前記方法は、
メディアサーバを使用して、複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、
前記第1のエンコーディングレベルおよび前記メディアサーバを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、
前記メディアサーバを使用して、ビデオデータの前記第1のストリームをエンコーディングすることであって、ビデオデータの前記第1のストリームは、第1の解像度および第1のビットレートを含む、ことと、
前記メディアサーバを使用して、前記複数のエンコーディングレベルから、第2のエンコーディングレベルを選択することと、
前記エンコーディング情報および前記メディアサーバを使用して、ビデオデータの第2のストリームをエンコーディングすることであって、ビデオデータの前記第2のストリームは、第2の解像度および第2のビットレートを含む、ことと
を含む、方法。
(項目2)
前記第1の解像度および前記第2の解像度は、同一である、項目1に記載の方法。
(項目3)
前記第1のビットレートは、前記第2のビットレートを下回る、項目2に記載の方法。
(項目4)
前記第1のビットレートは、前記第2のビットレートを上回る、項目2に記載の方法。
(項目5)
前記第1の解像度は、前記第2の解像度を下回る、項目1に記載の方法。
(項目6)
前記第1の解像度は、前記第2の解像度を上回る、項目1に記載の方法。
(項目7)
エンコーディング情報を判定することは、動き推定結果を推定すること、加重された予測加重を選択すること、および場面変化を判定することから成る群から選択されるエンコーディング情報を判定することを含む、項目1に記載の方法。
(項目8)
前記第1のエンコーディングレベルおよび前記メディアサーバを使用して、ビデオデータの前記第1のストリームのための動き推定を判定することと、
前記第2のエンコーディングレベルおよび前記メディアサーバを使用して、ビデオデータの前記第2のストリームのための前記判定された動き推定の結果をスケーリングすることと
をさらに含む、項目1に記載の方法。
(項目9)
動き推定を判定することは、前記メディアサーバを使用した階層動き推定を含む、項目8に記載の方法。
(項目10)
前記メディアサーバを使用して、ビデオデータの前記第1のストリームおよびビデオデータの前記第2のストリームをコンテナファイル内に記憶することをさらに含む、項目1に記載の方法。
(項目11)
前記コンテナファイルは、Matroskaコンテナファイルである、項目10に記載の方法。
(項目12)
前記メディアサーバを使用して、ビデオデータの前記第1のストリームおよびビデオデータの前記第2のストリームを別個のコンテナファイル内に記憶することをさらに含む、項目1に記載の方法。
(項目13)
ビデオデータの前記第1のストリームをエンコーディングすることおよびビデオデータの前記第2のストリームをエンコーディングすることは、スケーラブルビデオコーディングを利用する、項目1に記載の方法。
(項目14)
メディアサーバであって、前記メディアサーバは、
マルチメディアコンテンツを記憶するように構成されたメモリであって、前記マルチメディアコンテンツは、ソースビデオを含む、メモリと、
プロセッサと
を備え、
前記プロセッサは、メディアエンコーダアプリケーションによって、
複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、
前記第1のエンコーディングレベルを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、
ビデオデータの前記第1のストリームをエンコーディングすることであって、ビデオデータの前記第1のストリームは、第1の解像度および第1のビットレートを含む、ことと、
前記複数のエンコーディングレベルから、第2のエンコーディングレベルを選択することと、
前記エンコーディング情報を使用して、ビデオデータの第2のストリームをエンコーディングすることであって、ビデオデータの前記第2のストリームは、第2の解像度および第2のビットレートを含む、ことと
を行うように構成されている、メディアサーバ。
(項目15)
前記第1の解像度および前記第2の解像度は、同一である、項目14に記載のメディアサーバ。
(項目16)
前記第1のビットレートは、前記第2のビットレートを下回る、項目15に記載のメディアサーバ。
(項目17)
前記第1のビットレートは、前記第2のビットレートを上回る、項目15に記載のメディアサーバ。
(項目18)
前記第1の解像度は、前記第2の解像度を下回る、項目14に記載のメディアサーバ。
(項目19)
前記第1の解像度は、前記第2の解像度を上回る、項目14に記載のメディアサーバ。
(項目20)
前記判定されたエンコーディング情報は、感情推定結果、加重された予測加重、および場面変化から成る群から選択される、項目14に記載のメディアサーバ。
(項目21)
前記プロセッサはさらに、
前記第1のエンコーディングレベルを使用して、ビデオデータの前記第1のストリームのための動き推定を判定することと、
前記第2のエンコーディングレベルを使用して、ビデオデータの前記第2のストリームのための前記判定された動き推定の結果をスケーリングすることと
を行うように構成されている、項目14に記載のメディアサーバ。
(項目22)
前記判定された動き推定は、階層動き推定を含む、項目21に記載のメディアサーバ。
(項目23)
前記プロセッサはさらに、ビデオデータの前記第1のストリームおよびビデオデータの前記第2のストリームをコンテナファイル内に記憶するように構成されている、項目14に記載のメディアサーバ。
(項目24)
前記コンテナファイルは、Matroskaコンテナファイルである、項目23に記載のメディアサーバ。
(項目25)
前記プロセッサはさらに、ビデオデータの前記第1のストリームおよびビデオデータの前記第2のストリームを別個のコンテナファイル内に記憶するように構成されている、項目14に記載のメディアサーバ。
(項目26)
ビデオデータの前記第1のストリームおよびビデオデータの前記第2のストリームは、スケーラブルビデオコーディングを使用してエンコーディングされる、項目14に記載のメディアサーバ。
(項目27)
プロセッサ命令を含有する機械可読媒体であって、プロセッサによる前記命令の実行は、前記プロセッサに、
複数のエンコーディングレベルから、第1のエンコーディングレベルを選択することと、
前記第1のエンコーディングレベルを使用して、ビデオデータの第1のストリームのためのエンコーディング情報を判定することと、
ビデオデータの前記第1のストリームをエンコーディングすることであって、ビデオデータの前記第1のストリームは、第1の解像度および第1のビットレートを含む、ことと、
前記複数のエンコーディングレベルから、第2のエンコーディングレベルを選択することと、
前記エンコーディング情報を使用して、ビデオデータの第2のストリームをエンコーディングすることであって、ビデオデータの第2のストリームは、第2の解像度および第2のビットレートを含む、ことと
を含むプロセスを行わせる、機械可読媒体。
(詳細な説明)
ここで、図面を参照すると、本発明の実施形態による、ビデオデータの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用するためのシステムおよび方法が、開示される。本発明は、適応ストリーミングシステムおよびブロックベースのビデオエンコーディング技法に関して後述されるが、説明されるシステムおよび方法は、ビデオデータの異なるストリームが、ネットワーククライアントの接続品質およびブロックベースではないビデオエンコーディング技法に基づいて選択される、従来のストリーミングシステムにおいても等しく適用可能である。
ここで、図面を参照すると、本発明の実施形態による、ビデオデータの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用するためのシステムおよび方法が、開示される。本発明は、適応ストリーミングシステムおよびブロックベースのビデオエンコーディング技法に関して後述されるが、説明されるシステムおよび方法は、ビデオデータの異なるストリームが、ネットワーククライアントの接続品質およびブロックベースではないビデオエンコーディング技法に基づいて選択される、従来のストリーミングシステムにおいても等しく適用可能である。
適応ストリーミングシステムでは、マルチメディアコンテンツは、一式のビデオデータの代替ストリームとしてエンコーディングされる。ビデオデータの各代替ストリームは、同一のソースマルチメディアコンテンツを使用してエンコーディングされるため、類似エンコーディング情報が、ビデオデータの各代替ストリームのエンコーディングにおいて判定される。エンコーディング情報は、限定ではないが、動き推定結果、加重された予測加重の選択、および場面変化の判定を含む。本発明の多くの実施形態によるシステムおよび方法は、ビデオデータのある代替ストリームのエンコーディングにおいて判定されたエンコーディング情報を、ビデオデータの少なくとも1つの他の代替ストリームのエンコーディングにおいて再使用する。ビデオデータのいくつかの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用することによって、ビデオデータの代替ストリームのエンコーディングにおける有意な改良が、達成されることができ、特に、有意な時間節約が、本発明の実施形態に従って実現され得る。
適応ストリーミングシステムは、インターネット等のネットワークを経由して、異なる最大ビットレートおよび解像度においてエンコーディングされたマルチメディアコンテンツをストリーミングするように構成される。適応ストリーミングシステムは、現在のストリーミング条件に基づいてサポートされ得る、最高品質のマルチメディアコンテンツをストリーミングする。マルチメディアコンテンツは、典型的には、ビデオおよびオーディオデータ、字幕、および他の関連メタデータを含む。ネットワークデータレートから独立して、最高品質ビデオ経験を提供するために、適応ストリーミングシステムは、限定されないが、利用可能なネットワークデータレートおよびビデオデコーダ性能を含む、種々の要因に従って、ビデオデータの配信全体を通して、ビデオデータの利用可能なソース間を切り替えるように構成される。ストリーミング条件が悪化すると、適応ストリーミングシステムは、典型的には、より低い最大ビットレートでエンコーディングされたマルチメディアストリームに切り替えることを試みる。利用可能なネットワークデータレートが、最低最大ビットレートでエンコーディングされたストリームのストリーミングをサポートすることができない場合、次いで、再生は、多くの場合、十分な量のコンテンツが再生を再開するためにバッファされることができるまで、中断される。本発明の実施形態による、適応ストリーミングシステムにおいて利用され得る、再生の間、ビデオストリーム間を切り替えるためのシステムおよび方法は、2011年8月30日出願のBranessらの米国特許出願第13/221,682号「Systems and Methods for Adaptive Bitrate Streaming of Media Stored in Matroska Container Files Using Hypertext Transfer Protocol」に説明される(全体として、参照することによって組み込まれる)。
適応ストリーミングシステムにおいて利用されるビデオデータの複数のソースを作成するために、ソースエンコーダは、一連のマルチメディアコンテンツ内に含有されるソースビデオから、複数のビデオデータの代替ストリームをエンコーディングするように構成されることができる。適応ストリーミングシステムにおいて使用するためのソースビデオをエンコーディングするためのシステムおよび方法は、2011年8月30日出願のBranessらの米国特許出願第13/221,794号「Systems and Methods for Encoding Source Media in Matroska Container Files for Adaptive Bitrate Streaming Using Hypertext Transfer Protocol」に開示される(全体として、参照することによって組み込まれる)。本発明の実施形態によると、ソースエンコーダは、メディアソースおよび/またはメディアサーバを使用して実装されてもよい。
前述のように、同一のソースビデオに基づくビデオデータの代替ストリームは、類似コンテンツを含有する。したがって、ソースビデオのためのビデオデータのある代替ストリームのエンコーディングにおいて判定されたエンコーディング情報は、ビデオデータの他の代替ストリームのうちの1つ以上のエンコーディングにおいて再使用されてもよい。本発明の実施形態によると、同一のソースビデオに基づく、一式のビデオデータの代替ストリームは、同一の解像度であるが、異なるビットレートにおいて、ビデオデータを含有してもよい。本発明の多くの実施形態では、ビデオデータの特定の代替ストリームのエンコーディングのために計算される動き推定結果は、ビデオデータの全代替ストリームの中から再使用されることができる。以下に論じられるように、ビデオデータの代替ストリームのエンコーディングにおいて判定された種々のエンコーディング情報は、ビデオデータの代替ストリームの中から再使用されてもよい。本発明の実施形態による、ビデオデータの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用するためのシステムおよび方法は、以下にさらに論じられる。
(システム概要)
本発明の実施形態による、適応ストリーミングシステムは、ストリーミング条件に基づいて、ネットワーククライアントに伝送されるビデオに適応するように構成される。本発明のある実施形態による、適応ストリーミングシステムは、図1に図示される。図示される適応ストリーミングシステム10は、マルチメディアコンテンツを含有するメディアソース100を含む。本発明のいくつかの実施形態では、メディアソース100内に記憶されるマルチメディアコンテンツは、適応ストリーミングのために、複数のビットレートおよび解像度でエンコーディングされたビデオデータの複数の事前にエンコーディングされたストリームを含有し、ビデオデータの複数のストリーム内のビデオデータのストリームのうちの少なくとも1つのエンコーディングは、ビデオデータの第2のストリームのエンコーディングにおいて判定されたエンコーディング情報を再使用する。本発明のいくつかの実施形態では、メディアソース100は、ビデオデータの複数のストリームをリアルタイムでエンコーディングし、ビデオデータの複数のストリーム内のビデオデータのストリームのうちの少なくとも1つのエンコーディングは、ビデオデータの第2のストリームのエンコーディングにおいて判定されたエンコーディング情報を再使用する。本発明の多くの実施形態では、メディアソース100内に記憶されるマルチメディアコンテンツは、スケーラブルビデオコーディング(SVC)を利用してエンコーディングされたビデオデータを含有する。いくつかの実施形態では、メディアソース100は、ビデオデータの代替ストリームとして、等しいタイムラインを伴う、ビデオデータの複数のストリームを含有する。メディアソース100は、ネットワークレンダラ102に接続される。多くの実施形態では、メディアソース100およびネットワークレンダラ102は、メディアサーバを使用して実装される。ネットワークレンダラ102は、ネットワーク110を介して、複数のネットワーククライアント104に接続される。ネットワークレンダラ102は、ビデオデータを1つ以上のネットワーククライアント104にストリーミングするように構成される。ネットワーククライアント104はそれぞれ、ネットワークレンダラ102を使用して、メディアソース100からストリーミングされたメディアをデコーディングするように構成される、メディアデコーダ106を含有する。
本発明の実施形態による、適応ストリーミングシステムは、ストリーミング条件に基づいて、ネットワーククライアントに伝送されるビデオに適応するように構成される。本発明のある実施形態による、適応ストリーミングシステムは、図1に図示される。図示される適応ストリーミングシステム10は、マルチメディアコンテンツを含有するメディアソース100を含む。本発明のいくつかの実施形態では、メディアソース100内に記憶されるマルチメディアコンテンツは、適応ストリーミングのために、複数のビットレートおよび解像度でエンコーディングされたビデオデータの複数の事前にエンコーディングされたストリームを含有し、ビデオデータの複数のストリーム内のビデオデータのストリームのうちの少なくとも1つのエンコーディングは、ビデオデータの第2のストリームのエンコーディングにおいて判定されたエンコーディング情報を再使用する。本発明のいくつかの実施形態では、メディアソース100は、ビデオデータの複数のストリームをリアルタイムでエンコーディングし、ビデオデータの複数のストリーム内のビデオデータのストリームのうちの少なくとも1つのエンコーディングは、ビデオデータの第2のストリームのエンコーディングにおいて判定されたエンコーディング情報を再使用する。本発明の多くの実施形態では、メディアソース100内に記憶されるマルチメディアコンテンツは、スケーラブルビデオコーディング(SVC)を利用してエンコーディングされたビデオデータを含有する。いくつかの実施形態では、メディアソース100は、ビデオデータの代替ストリームとして、等しいタイムラインを伴う、ビデオデータの複数のストリームを含有する。メディアソース100は、ネットワークレンダラ102に接続される。多くの実施形態では、メディアソース100およびネットワークレンダラ102は、メディアサーバを使用して実装される。ネットワークレンダラ102は、ネットワーク110を介して、複数のネットワーククライアント104に接続される。ネットワークレンダラ102は、ビデオデータを1つ以上のネットワーククライアント104にストリーミングするように構成される。ネットワーククライアント104はそれぞれ、ネットワークレンダラ102を使用して、メディアソース100からストリーミングされたメディアをデコーディングするように構成される、メディアデコーダ106を含有する。
本発明の多くの実施形態では、メディアソース100および/またはネットワークレンダラ102は、単一機械を使用して実装される。本発明のいくつかの実施形態では、メディアソース100および/またはネットワークレンダラ102は、複数の機械を使用して実装される。本発明の多くの実施形態では、メディアソース100およびネットワークレンダラ102は、メディアサーバを使用して実装される。多くの実施形態では、ネットワーク110は、インターネットである。いくつかの実施形態では、ネットワーク110は、任意のIPネットワークである。いくつかの実施形態では、ネットワーク110は、セルラーデータネットワークである。
適応ストリーミングシステムの具体的アーキテクチャが、図1に示されるが、具体的アプリケーションに適切な他の実装も、本発明の実施形態に従って、利用されることができる。本発明の実施形態による、ビデオデータの代替ストリームのエンコーディングにおける、エンコーディング情報の再使用のためのシステムおよび方法は、以下にさらに論じられる。
(適応ストリーミングのために、メディアをエンコーディング可能なメディアサーバ)
本発明の実施形態によると、メディアサーバは、マルチメディアコンテンツ内に含有されるソースビデオのための複数のビデオデータの代替ストリームをエンコーディングするように構成される。図2は、本発明のある実施形態による、メディアサーバのブロック図である。メディアサーバ200は、プロセッサ210およびビデオエンコーダ212を含む。プロセッサは、ソースビデオを前提として、ビデオデータの複数のストリームをエンコーディングするように構成される。いくつかの実施形態では、ビデオエンコーダ212は、ハードウェア内に実装される。いくつかの実施形態では、ビデオエンコーダ212は、グラフィック処理ユニットを利用して実装される。多くの実施形態では、ビデオエンコーダ212は、ビデオデータの代替ストリームをエンコーディングするように、プロセッサ210を構成する、ソフトウェアアプリケーションである。
本発明の実施形態によると、メディアサーバは、マルチメディアコンテンツ内に含有されるソースビデオのための複数のビデオデータの代替ストリームをエンコーディングするように構成される。図2は、本発明のある実施形態による、メディアサーバのブロック図である。メディアサーバ200は、プロセッサ210およびビデオエンコーダ212を含む。プロセッサは、ソースビデオを前提として、ビデオデータの複数のストリームをエンコーディングするように構成される。いくつかの実施形態では、ビデオエンコーダ212は、ハードウェア内に実装される。いくつかの実施形態では、ビデオエンコーダ212は、グラフィック処理ユニットを利用して実装される。多くの実施形態では、ビデオエンコーダ212は、ビデオデータの代替ストリームをエンコーディングするように、プロセッサ210を構成する、ソフトウェアアプリケーションである。
いくつかの実施形態では、メディアサーバ200は、マルチメディアコンテンツおよび/またはビデオデータの代替ストリームを記憶するように構成される、プロセッサ210に接続された記憶デバイス220を含む。本発明の多くの実施形態では、プロセス400は、スケーラブルビデオコーディングを使用して、マルチメディアコンテンツをエンコーディングする。いくつかの実施形態では、ビデオデータの代替ストリームは、Matroskaコンテナ形式を利用して、コンテナ内に記憶される。本発明の実施形態によると、ビデオデータの代替ストリームは、写真構造の適応グループを有する。
いくつかの実施形態では、メディアサーバ200は、プロセッサ210に接続されたディスプレイデバイス224を含み、ディスプレイデバイスは、ビデオデータの代替ストリームおよび/またはビデオデータの代替ストリームのエンコーディングに関連する情報を表示するために使用されてもよい。本発明の実施形態によると、メディアサーバ200は、マルチメディアコンテンツをエンコーディングおよび/またはストリーミングするために適切なソフトウェアアプリケーションとともに構成される、1つ以上のサーバを使用して実装される。メディアサーバ200は、随意に、プロセッサ210に接続されたネットワークデバイス222を含む。多くの実施形態では、ネットワークデバイス222は、ネットワーク接続を確立するように構成され、プロセッサ210は、適応ストリーミングシステムにおいて使用するためのネットワーク接続を使用して、マルチメディアコンテンツをストリーミングするように構成される。
本発明のある実施形態による、メディアサーバの基本アーキテクチャは、図3に図示される。メディアサーバ300は、不揮発性メモリ330および揮発性メモリ320と通信する、プロセッサ310を含む。図示される実施形態では、不揮発性メモリは、ソースビデオのためのビデオデータの複数の代替ストリームをエンコーディングするようにプロセッサを構成する、ビデオエンコーダ332を含み、ビデオデータの代替ストリームのうちの少なくとも1つのエンコーディングは、ビデオデータの第2の代替ストリームのエンコーディングにおいて判定されたエンコーディング情報を再使用する。いくつかの実施形態では、ビデオエンコーダ332は、プロセッサ310を使用して実装される。ネットワーククライアント300はまた、ネットワーク接続を経由して、データを送受信するように構成される、ネットワークインターフェース340を含む。いくつかの実施形態では、ネットワークインターフェース340は、プロセッサ310、不揮発性メモリ330、および揮発性メモリ320と通信する。
本発明の多くの実施形態では、メディアサーバ300は、複数のプロセッサを含む。いくつかの実施形態では、ビデオエンコーダ332は、専用ハードウェアを使用して実装される。メディアサーバのための具体的アーキテクチャは、図3に図示されるが、ビデオエンコーダ332が、ディスクまたはいくつかの他の形態の記憶上に位置し、ランタイム時、揮発性メモリ320にロードされる、アーキテクチャを含む、種々のアーキテクチャのいずれかが、本発明の実施形態による、適応ストリーミングシステムにおいて使用するためのメディアサーバを実装するために利用されてもよい。
メディアサーバの具体的実装が、図2に示されるが、具体的アプリケーションに適切な他の実装も、本発明の実施形態に従って、利用されることができる。本発明の実施形態による、ビデオデータの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用するためのシステムおよび方法は、以下にさらに論じられる。
(ビデオデータの代替ストリームのエンコーディングにおけるエンコーディング情報の再使用)
マルチメディアコンテンツの適応ストリーミングにおいて利用されるビデオデータのストリームを提供するために、メディアサーバは、ビデオデータの代替ストリームとしてマルチメディアコンテンツをエンコーディングすることができる。メディアサーバは、ビデオデータのあるストリームのエンコーディングにおいて判定されたエンコーディング情報を、ビデオデータの残りのストリームのうちの1つ以上のエンコーディングにおいて再使用することによって、ビデオデータの代替ストリームのエンコーディングの速度および性能を改善することができる。ソースビデオのためのビデオデータの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用するためのプロセスは、図4に図示される。プロセス400は、ソースビデオを含有するマルチメディアコンテンツを受信するステップ(410)を含む。いくつかの実施形態では、エンコーディングレベルが、ソースビデオに対して判定される(412)。エンコーディングレベルが、選択される(414)。エンコーディング情報は、選択されたエンコーディングレベルに対して判定される(416)。エンコーディング情報は、選択されていないエンコーディングレベルのうちの1つ以上にわたって再使用される(418)。
マルチメディアコンテンツの適応ストリーミングにおいて利用されるビデオデータのストリームを提供するために、メディアサーバは、ビデオデータの代替ストリームとしてマルチメディアコンテンツをエンコーディングすることができる。メディアサーバは、ビデオデータのあるストリームのエンコーディングにおいて判定されたエンコーディング情報を、ビデオデータの残りのストリームのうちの1つ以上のエンコーディングにおいて再使用することによって、ビデオデータの代替ストリームのエンコーディングの速度および性能を改善することができる。ソースビデオのためのビデオデータの代替ストリームのエンコーディングにおいて、エンコーディング情報を再使用するためのプロセスは、図4に図示される。プロセス400は、ソースビデオを含有するマルチメディアコンテンツを受信するステップ(410)を含む。いくつかの実施形態では、エンコーディングレベルが、ソースビデオに対して判定される(412)。エンコーディングレベルが、選択される(414)。エンコーディング情報は、選択されたエンコーディングレベルに対して判定される(416)。エンコーディング情報は、選択されていないエンコーディングレベルのうちの1つ以上にわたって再使用される(418)。
いくつかの実施形態では、エンコーディングレベルは、限定されないが、予想されるネットワークデータレート、ネットワーククライアントの予想される画面解像度、および/またはソースビデオの解像度および/またはビットレートを含む要因に基づいて、判定される(412)。いくつかの実施形態では、エンコーディングレベルは、記憶された値を読み出すことによって判定される(412)。本発明の実施形態によると、ある解像度およびビットレートを有するビデオデータの代替ストリームが、各エンコーディングレベルに対してエンコーディングされる。多くの実施形態では、ビデオデータの代替ストリームは、同一の解像度および可変ビットレートを有する。いくつかの実施形態では、選択された(414)エンコーディングレベルは、最低ビットレートを伴うビデオデータの代替ストリームに対応する。いくつかの実施形態では、選択された(414)エンコーディングレベルは、最高ビットレートを伴うビデオデータの代替ストリームに対応する。いくつかの実施形態では、種々の判定された(416)エンコーディング情報は、限定されないが、動き推定結果、加重された予測加重の選択、および場面変化の判定を含む、同一の解像度および可変ビットレートにおけるビデオデータを有するエンコーディングレベルにわたって、再使用されてもよい(418)。本発明の実施形態によると、エンコーディング情報は、エンコーディングレベルにわたって再使用され(418)、算出上の複雑性における有意な節約をもたらすことができる。
いくつかの実施形態では、判定された(412)エンコーディングレベルに基づいてエンコーディングされたビデオデータの代替ストリームは、可変解像度およびビットレートを有する。多くの実施形態では、選択された(414)エンコーディングレベルは、最低解像度を有する、ビデオデータの代替ストリームに対応する。いくつかの実施形態では、選択された(414)エンコーディングレベルは、最高解像度を有する、ビデオデータの代替ストリームに対応する。いくつかの実施形態では、判定された(416)エンコーディング情報は、異なる解像度を有するビデオデータのストリームにわたって再使用される(418)。本発明の多くの実施形態によると、再使用されるエンコーディング情報(418)は、エンコーディングレベルにわたって変動してもよい。例えば、再使用される(418)エンコーディング情報が、動きベクトルである場合、動きベクトルは、ビデオデータの代替ストリームの異なる解像度に対してスケーリングされることができる。前述の情報等の他のエンコーディング情報も同様に、異なる解像度を有するビデオデータの代替ストリームに対応するエンコーディングレベル間でスケーリングされてもよい。
本発明のある実施形態による、ビデオデータの代替ストリームのエンコーディングにおける、エンコーディング情報の再使用のための具体的プロセスが、前述されたが、具体的に列挙されていないエンコーディング情報を再使用するステップ、およびエンコーディング情報の初期判定後、後に作成されたビデオデータの代替ストリームにおいてエンコーディング情報を再使用するステップを含む、種々のプロセスが、本発明の実施形態に従って、利用されてもよい。本発明のある実施形態による、ビデオデータの代替ストリームのエンコーディングにおいて使用される動き推定を再使用するためのプロセスは、以下に論じられる。
(ビデオデータの代替ストリームのエンコーディングにおける動き推定の再使用)
H.264等の種々のビデオ圧縮規格が、適応ストリーミングシステムにおいて使用するためのビデオデータの代替ストリームをエンコーディングするために利用されてもよい。ビデオ圧縮規格の多くは、マクロブロックを含有するビデオのフレームを利用し、ビデオデータのストリームのエンコーディングは、ビデオのフレーム間のマクロブロックの動き推定の計算を伴う。本発明の実施形態によると、ビデオデータのストリームのビットレートは、動き推定の同一のビット数を配分し、マクロブロック記述に割り当てられるビット数を増減することによって、変動されることができる。
H.264等の種々のビデオ圧縮規格が、適応ストリーミングシステムにおいて使用するためのビデオデータの代替ストリームをエンコーディングするために利用されてもよい。ビデオ圧縮規格の多くは、マクロブロックを含有するビデオのフレームを利用し、ビデオデータのストリームのエンコーディングは、ビデオのフレーム間のマクロブロックの動き推定の計算を伴う。本発明の実施形態によると、ビデオデータのストリームのビットレートは、動き推定の同一のビット数を配分し、マクロブロック記述に割り当てられるビット数を増減することによって、変動されることができる。
本発明のある実施形態による、一連のマルチメディアコンテンツ内に含有される同一のソースビデオから派生したビデオデータの代替ストリーム間のマクロブロックの動きの動き推定を再使用するためのプロセスは、図5に図示される。プロセス500は、ソースビデオのダウンスケーリングを行い、ビデオデータの代替ストリームを判定するステップを含む(510)。ビデオデータの代替ストリームが、選択される(512)。マクロブロックは、ビデオデータの選択されたストリームに対して判定される(514)。ビデオデータの第2の代替ストリーム内のマクロブロックをマッチングするための検索(516)が、行われる。ビデオデータの第2の代替ストリームが、1つ以上のマッチングマクロブロックを含有する場合、マッチングマクロブロックに関連する動き推定結果は、ビデオデータの第2の代替ストリームのエンコーディングにおいて再使用される(518)。
限定されないが、全検索、ヒューリスティック検索、および階層推定を含む、ビデオデータのフレーム内のマクロブロックの動きの推定を算出するためのいくつかの方法が、存在する。階層推定は、高速かつ効率的様式において、正確な結果を提供するため、一般に使用される。本発明のある実施形態による、ビデオデータのフレーム内のマクロブロックの階層動き推定を行うためのプロセスは、図6に図示される。プロセス600は、検索において使用されるゼロ解像度として知られる、ビデオデータのフレームを選択するステップ(610)を含む。解像度が、選択されたフレームに対して作成される(612)。本発明の実施形態によると、2つ以上の解像度が、作成され(612)、作成された解像度は、以前の解像度より低い。解像度は、限定されないが、平均強度およびサブサンプリングを含む、種々の画像サンプリング技法を使用して、作成されてもよい(612)。最高解像度が、ゼロ解像度におけるマクロブロックに対応するマクロブロックに対して検索される(614)。動き推定が、最高解像度における対応するマクロブロックに対して算出される(616)。ゼロ解像度フレームに達する場合(618)、算出された(616)動き推定は、ビデオデータのフレームに対する動き推定として使用され、プロセスは、完了する。ゼロ解像度フレームに達しない場合(618)、次の解像度が、検索され(614)、動き推定が、以前に算出された(616)動き推定および対応するマクロブロックが以前解像度と現在解像度との間で移動した距離を利用して、算出される(616)。いくつかの実施形態では、マクロブロック動きは、平均絶対偏差、平均平方偏差、およびピクセル差分類を含む、種々の方法によって算出される。
図5に戻ると、いくつかの実施形態では、マクロブロックをマッチングするための検索(516)は、階層動き推定を利用する。いくつかの実施形態では、中間結果を含む、階層動き推定結果が、異なる解像度を有するビデオデータの代替ストリーム間で再使用されてもよい(518)。多くの実施形態では、ビデオデータの選択された(512)ストリームは、最低解像度を伴うビデオデータの代替ストリームである。いくつかの実施形態では、ビデオデータの選択された(512)ストリームは、最高解像度を有する。いくつかの実施形態では、再使用される(518)動き推定結果は、ビデオデータの代替ストリーム間でスケーリングされる。ビデオデータの代替ストリームのエンコーディングにおいて、動き推定を再使用するための具体的プロセスが、前述された。しかしながら、動き推定を再使用するための種々のプロセスが、本発明の実施形態に従って、利用されてもよい。
本発明は、ある具体的側面において説明されたが、多くの付加的修正および変形例が、当業者に明白である。したがって、本発明は、本発明の範囲および精神から逸脱することなく、具体的に説明されるものと別様に実践され得ることを理解されたい。したがって、本発明の実施形態は、あらゆる観点において、制限ではなく、例証として見なされるべきである。故に、本発明の範囲は、図示される実施形態によってではなく、添付の請求項およびその均等物によって判定されるべきである。
Claims (1)
- 明細書に記載された発明。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/485,609 US9532080B2 (en) | 2012-05-31 | 2012-05-31 | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
US13/485,609 | 2012-05-31 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015515043A Division JP6463264B2 (ja) | 2012-05-31 | 2013-05-20 | ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017063495A true JP2017063495A (ja) | 2017-03-30 |
Family
ID=49670227
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015515043A Expired - Fee Related JP6463264B2 (ja) | 2012-05-31 | 2013-05-20 | ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法 |
JP2016236137A Pending JP2017063495A (ja) | 2012-05-31 | 2016-12-05 | ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法 |
JP2018194897A Withdrawn JP2019030022A (ja) | 2012-05-31 | 2018-10-16 | ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015515043A Expired - Fee Related JP6463264B2 (ja) | 2012-05-31 | 2013-05-20 | ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018194897A Withdrawn JP2019030022A (ja) | 2012-05-31 | 2018-10-16 | ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US9532080B2 (ja) |
EP (1) | EP2856751A4 (ja) |
JP (3) | JP6463264B2 (ja) |
KR (1) | KR102144557B1 (ja) |
AU (2) | AU2013267738A1 (ja) |
BR (1) | BR112014029794A2 (ja) |
WO (1) | WO2013181013A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10178399B2 (en) | 2013-02-28 | 2019-01-08 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
US11025902B2 (en) | 2012-05-31 | 2021-06-01 | Nld Holdings I, Llc | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140044197A1 (en) * | 2012-08-10 | 2014-02-13 | Yiting Liao | Method and system for content-aware multimedia streaming |
US9355613B2 (en) | 2012-10-09 | 2016-05-31 | Mediatek Inc. | Data processing apparatus for transmitting/receiving compression-related indication information via display interface and related data processing method |
US9568985B2 (en) | 2012-11-23 | 2017-02-14 | Mediatek Inc. | Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method |
US9350990B2 (en) | 2013-02-28 | 2016-05-24 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming |
US9604139B2 (en) | 2013-11-11 | 2017-03-28 | Amazon Technologies, Inc. | Service for generating graphics object data |
US9634942B2 (en) * | 2013-11-11 | 2017-04-25 | Amazon Technologies, Inc. | Adaptive scene complexity based on service quality |
US9805479B2 (en) | 2013-11-11 | 2017-10-31 | Amazon Technologies, Inc. | Session idle optimization for streaming server |
US9596280B2 (en) | 2013-11-11 | 2017-03-14 | Amazon Technologies, Inc. | Multiple stream content presentation |
US9582904B2 (en) | 2013-11-11 | 2017-02-28 | Amazon Technologies, Inc. | Image composition based on remote object data |
US9578074B2 (en) | 2013-11-11 | 2017-02-21 | Amazon Technologies, Inc. | Adaptive content transmission |
US9641592B2 (en) | 2013-11-11 | 2017-05-02 | Amazon Technologies, Inc. | Location of actor resources |
US10567765B2 (en) * | 2014-01-15 | 2020-02-18 | Avigilon Corporation | Streaming multiple encodings with virtual stream identifiers |
US9699464B2 (en) | 2014-07-10 | 2017-07-04 | Intel Corporation | Adaptive bitrate streaming for wireless video |
JP2017097536A (ja) * | 2015-11-20 | 2017-06-01 | ソニー株式会社 | 画像処理装置および方法 |
WO2018164930A1 (en) * | 2017-03-08 | 2018-09-13 | Vid Scale, Inc. | Improving motion vector accuracy by sharing cross-information between normal and zoom views |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08195956A (ja) * | 1995-01-19 | 1996-07-30 | Sony Corp | 動き量検出方法及び動き量検出装置 |
JP2001503225A (ja) * | 1996-10-25 | 2001-03-06 | テレフオンアクチーボラゲツト エル エム エリクソン | トランスコーダ |
JP2005229593A (ja) * | 2004-02-14 | 2005-08-25 | Samsung Electronics Co Ltd | トランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム及びその方法 |
WO2010114092A1 (ja) * | 2009-04-03 | 2010-10-07 | 日本電気株式会社 | 配信システムと方法と変換装置及びプログラム |
WO2012009485A1 (en) * | 2010-07-13 | 2012-01-19 | Rovi Technologies Corporation | Systems and methods for electronic sell-through of interactive multimedia content authored for distribution via physical media |
Family Cites Families (159)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5930473A (en) | 1993-06-24 | 1999-07-27 | Teng; Peter | Video application server for mediating live video services |
US5477272A (en) | 1993-07-22 | 1995-12-19 | Gte Laboratories Incorporated | Variable-block size multi-resolution motion estimation scheme for pyramid coding |
US5592226A (en) | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
US5822524A (en) | 1995-07-21 | 1998-10-13 | Infovalue Computing, Inc. | System for just-in-time retrieval of multimedia files over computer networks by transmitting data packets at transmission rate determined by frame size |
EP0787405B1 (en) | 1995-07-21 | 2000-03-08 | Koninklijke Philips Electronics N.V. | Method of receiving compressed video signals |
US5742840A (en) | 1995-08-16 | 1998-04-21 | Microunity Systems Engineering, Inc. | General purpose, multiple precision parallel operation, programmable media processor |
US5734822A (en) | 1995-12-29 | 1998-03-31 | Powertv, Inc. | Apparatus and method for preprocessing computer programs prior to transmission across a network |
US6075884A (en) | 1996-03-29 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for training a neural network to learn and use fidelity metric as a control mechanism |
US6118817A (en) | 1997-03-14 | 2000-09-12 | Microsoft Corporation | Digital video signal encoder and encoding method having adjustable quantization |
US6229850B1 (en) | 1997-07-22 | 2001-05-08 | C-Cube Semiconductor Ii, Inc. | Multiple resolution video compression |
IL122299A (en) | 1997-11-25 | 2003-11-23 | Broadcom Corp | Video encoding device |
KR19990042668A (ko) | 1997-11-27 | 1999-06-15 | 정선종 | 다중 비디오 전송을 위한 비디오 부호화 장치 및 방법 |
US6192154B1 (en) | 1998-01-26 | 2001-02-20 | International Business Machines Corporation | Two-pass encoding method of digital motion video sequences for constant-or variable bit rate |
US6343098B1 (en) * | 1998-02-26 | 2002-01-29 | Lucent Technologies Inc. | Efficient rate control for multi-resolution video encoding |
US6859496B1 (en) | 1998-05-29 | 2005-02-22 | International Business Machines Corporation | Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel |
US6330369B1 (en) | 1998-07-10 | 2001-12-11 | Avid Technology, Inc. | Method and apparatus for limiting data rate and image quality loss in lossy compression of sequences of digital images |
US6141380A (en) | 1998-09-18 | 2000-10-31 | Sarnoff Corporation | Frame-level rate control for video compression |
US6563517B1 (en) | 1998-10-02 | 2003-05-13 | International Business Machines Corp. | Automatic data quality adjustment to reduce response time in browsing |
US6970602B1 (en) | 1998-10-06 | 2005-11-29 | International Business Machines Corporation | Method and apparatus for transcoding multimedia using content analysis |
US6233359B1 (en) | 1998-10-29 | 2001-05-15 | Seiko Epson Corporation | File size bounded JPEG transcoder (FSBJT) |
US6356668B1 (en) | 1998-12-29 | 2002-03-12 | Eastman Kodak Company | Method for efficient rate control |
US6275536B1 (en) | 1999-06-23 | 2001-08-14 | General Instrument Corporation | Implementation architectures of a multi-channel MPEG video transcoder using multiple programmable processors |
US6785704B1 (en) | 1999-12-20 | 2004-08-31 | Fastforward Networks | Content distribution system for operation over an internetwork including content peering arrangements |
TW519840B (en) | 2000-06-02 | 2003-02-01 | Sony Corp | Image coding apparatus and method, image decoding apparatus and method, and recording medium |
GB2364843A (en) | 2000-07-14 | 2002-02-06 | Sony Uk Ltd | Data encoding based on data quantity and data quality |
US7310678B2 (en) | 2000-07-28 | 2007-12-18 | Kasenna, Inc. | System, server, and method for variable bit rate multimedia streaming |
US6976151B1 (en) | 2000-09-28 | 2005-12-13 | Intel Corporation | Decoding an instruction portion and forwarding part of the portion to a first destination, re-encoding a different part of the portion and forwarding to a second destination |
JP4428680B2 (ja) | 2000-11-06 | 2010-03-10 | パナソニック株式会社 | 映像信号符号化方法および映像信号符号化装置 |
US7305560B2 (en) | 2000-12-27 | 2007-12-04 | Proxense, Llc | Digital content security system |
US6970506B2 (en) | 2001-03-05 | 2005-11-29 | Intervideo, Inc. | Systems and methods for reducing frame rates in a video data stream |
US7209519B2 (en) | 2001-04-16 | 2007-04-24 | Mitsubishi Electric Research Laboratories, Inc. | Encoding a video with a variable frame-rate while minimizing total average distortion |
US7213072B2 (en) | 2001-05-08 | 2007-05-01 | Nokia Mobile Phones | Method and apparatus for transcoding content with permissible operations authorized by content creator |
EP1271926B1 (en) | 2001-06-18 | 2015-08-12 | Canon Kabushiki Kaisha | Image processing method, apparatus and computer program for compression-encoding |
US7072393B2 (en) | 2001-06-25 | 2006-07-04 | International Business Machines Corporation | Multiple parallel encoders and statistical analysis thereof for encoding a video sequence |
US20030031371A1 (en) | 2001-08-02 | 2003-02-13 | Shinichi Kato | Image encoding apparatus and image decoding apparatus |
EP1292153B1 (en) | 2001-08-29 | 2015-08-19 | Canon Kabushiki Kaisha | Image processing method and apparatus, computer program, and storage medium |
US7302102B2 (en) | 2001-09-26 | 2007-11-27 | Reynolds Jodie L | System and method for dynamically switching quality settings of a codec to maintain a target data rate |
JP2003143411A (ja) | 2001-11-02 | 2003-05-16 | Canon Inc | 画像処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体 |
FR2837330B1 (fr) | 2002-03-14 | 2004-12-10 | Canon Kk | Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage |
US6995769B2 (en) | 2002-03-21 | 2006-02-07 | Hewlett-Packard Development Company, L.P. | Systems and methods for compressing rasterization setup data within a sort middle graphics architecture |
JP2003299064A (ja) | 2002-03-29 | 2003-10-17 | Sony Corp | コンテンツ視聴システム、視聴装置、および電子しおり |
US7227998B2 (en) | 2002-06-11 | 2007-06-05 | Canon Kabushiki Kaisha | Image processing apparatus, control method of the same, computer program, and computer-readable storage medium |
US7496283B2 (en) | 2002-06-28 | 2009-02-24 | Microsoft Corporation | Methods and systems for processing digital data rate and directional playback changes |
US8054880B2 (en) | 2004-12-10 | 2011-11-08 | Tut Systems, Inc. | Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window |
JP3747910B2 (ja) | 2003-01-24 | 2006-02-22 | ソニー株式会社 | 通信システムおよび方法、情報処理装置および方法、情報管理装置および方法、記録媒体、並びにプログラム |
JP4104066B2 (ja) | 2003-02-26 | 2008-06-18 | Kddi株式会社 | ビデオ情報複数同時符号化装置 |
US7424160B1 (en) | 2003-04-28 | 2008-09-09 | The Directv Group, Inc. | Methods and apparatus for monitoring compressed bitstreams |
JP4196726B2 (ja) | 2003-05-14 | 2008-12-17 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
JP2005033664A (ja) | 2003-07-10 | 2005-02-03 | Nec Corp | 通信装置及びその動作制御方法 |
US7330509B2 (en) | 2003-09-12 | 2008-02-12 | International Business Machines Corporation | Method for video transcoding with adaptive frame rate control |
JP4287429B2 (ja) | 2003-10-15 | 2009-07-01 | 株式会社エヌ・ティ・ティ・ドコモ | 階層型通信シナリオにおける複数の通信層の動作を制御する装置および方法 |
US7177474B2 (en) | 2003-11-10 | 2007-02-13 | Mobixell Networks Inc. | Video to animation conversion with file size constraint |
KR20050077874A (ko) | 2004-01-28 | 2005-08-04 | 삼성전자주식회사 | 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치 |
GB0403982D0 (en) | 2004-02-23 | 2004-03-31 | Logicacmg Uk Ltd | Improvements relating to digital radio communications |
JP2005260541A (ja) | 2004-03-11 | 2005-09-22 | Matsushita Electric Ind Co Ltd | 映像表示装置及び映像表示方法 |
US20050232497A1 (en) | 2004-04-15 | 2005-10-20 | Microsoft Corporation | High-fidelity transcoding |
JP4456920B2 (ja) | 2004-04-16 | 2010-04-28 | 京セラ株式会社 | 携帯端末、番組再生システム |
US20050251835A1 (en) | 2004-05-07 | 2005-11-10 | Microsoft Corporation | Strategies for pausing and resuming the presentation of programs |
US7523507B2 (en) | 2004-05-27 | 2009-04-21 | Nokia Corporation | Delivery of non-permanent media files to a mobile station |
JP2006033393A (ja) * | 2004-07-15 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像符号化方法 |
KR100725385B1 (ko) | 2004-08-14 | 2007-06-07 | 삼성전자주식회사 | 메시지 통신을 이용한 컨텐츠 디스플레이 시스템 및 방법 |
EP1786205A1 (en) | 2004-08-30 | 2007-05-16 | Matsushita Electric Industrial Co., Ltd. | Recorder |
US7660366B2 (en) | 2004-08-30 | 2010-02-09 | Harmonic Inc. | Message synchronization over a stochastic network |
US20060056508A1 (en) | 2004-09-03 | 2006-03-16 | Phillippe Lafon | Video coding rate control |
TWI243615B (en) | 2004-10-11 | 2005-11-11 | Ind Tech Res Inst | System for enhancing compression ratio of scalable video coding and method thereof |
US8356327B2 (en) | 2004-10-30 | 2013-01-15 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
US7784076B2 (en) | 2004-10-30 | 2010-08-24 | Sharp Laboratories Of America, Inc. | Sender-side bandwidth estimation for video transmission with receiver packet buffer |
KR100641218B1 (ko) | 2004-11-19 | 2006-11-02 | 엘지전자 주식회사 | 지상파 디지털 멀티미디어 방송을 위한 수신제한 방송시스템 및 방법 |
JP4251133B2 (ja) | 2004-11-29 | 2009-04-08 | ソニー株式会社 | 画像圧縮装置及び方法 |
KR100703399B1 (ko) | 2004-12-13 | 2007-04-03 | 삼성전자주식회사 | 멀티미디어 컨텐츠를 연속적으로 전송하는 장치 및 방법 |
US8181266B2 (en) | 2005-01-13 | 2012-05-15 | Samsung Electronics Co., Ltd. | Method for moving a rights object between devices and a method and device for using a content object based on the moving method and device |
EP1839446A1 (en) | 2005-01-19 | 2007-10-03 | THOMSON Licensing | Method and apparatus for real time parallel encoding |
US10445748B2 (en) | 2005-01-21 | 2019-10-15 | Koninklijke Philips N.V. | Ordering content by mobile phone to be played on consumer devices |
WO2006079368A1 (en) | 2005-01-25 | 2006-08-03 | Nero Ag | Method for preparing dvd-video formatted data, method for reconstructing dvd-video data and dvd-video data structure |
KR20060088461A (ko) | 2005-02-01 | 2006-08-04 | 엘지전자 주식회사 | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 |
WO2006085301A2 (en) | 2005-02-09 | 2006-08-17 | Mobixell Networks | Image adaptation with target size, quality and resolution constraints |
US7676436B2 (en) | 2005-02-23 | 2010-03-09 | Trans World New York Llc | Digital content distribution systems and methods |
KR100672332B1 (ko) | 2005-06-10 | 2007-01-24 | 엘지전자 주식회사 | 멀티미디어 콘텐츠 다운로드 방법 및 시스템 |
EP1908303A4 (en) | 2005-07-01 | 2011-04-06 | Sonic Solutions | METHOD, DEVICE AND SYSTEM FOR USE IN MULTIMEDIA SIGNAL CODING |
JP5484725B2 (ja) | 2005-07-21 | 2014-05-07 | トムソン ライセンシング | スケーラブルビデオコーディングのための重み付け予測方法及び装置 |
US8879857B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
EP1932358A4 (en) | 2005-09-28 | 2011-04-13 | Ericsson Telefon Ab L M | MEDIA CONTENTS MANAGEMENT |
KR100664227B1 (ko) | 2005-09-29 | 2007-01-04 | 엘지전자 주식회사 | 이동 단말의 멀티미디어 콘텐츠 제공 방법 및 시스템 |
US20070086528A1 (en) | 2005-10-18 | 2007-04-19 | Mauchly J W | Video encoder with multiple processors |
KR100657343B1 (ko) | 2005-10-19 | 2006-12-14 | 삼성전자주식회사 | 영상처리장치 및 방법 |
US20070094691A1 (en) | 2005-10-24 | 2007-04-26 | Gazdzinski Robert F | Method and apparatus for on-demand content transmission and control over networks |
KR100736080B1 (ko) | 2005-10-27 | 2007-07-06 | 삼성전자주식회사 | 다 계층으로 구성된 멀티미디어 스트림의 저작권을 계층별로 관리하는 방법 및 장치 |
WO2007053957A1 (en) | 2005-11-14 | 2007-05-18 | Cyberdiffusion Inc. | Transcoder for live streams and on demand media |
FR2895190A1 (fr) | 2005-12-19 | 2007-06-22 | France Telecom | Procede de fourniture d'un service multimedia a la demande, plate-forme de service, programme et decodeur pour la mise en oeuvre du procede |
US7826536B2 (en) | 2005-12-29 | 2010-11-02 | Nokia Corporation | Tune in time reduction |
US20070230586A1 (en) | 2006-03-31 | 2007-10-04 | Masstech Group Inc. | Encoding, decoding and transcoding of audio/video signals using combined parallel and serial processing techniques |
US20070271106A1 (en) | 2006-05-19 | 2007-11-22 | Lee David H | System and method for secure internet channeling agent |
US20070283269A1 (en) | 2006-05-31 | 2007-12-06 | Pere Obrador | Method and system for onboard camera video editing |
US20080037880A1 (en) | 2006-08-11 | 2008-02-14 | Lcj Enterprises Llc | Scalable, progressive image compression and archiving system over a low bit rate internet protocol network |
US8428118B2 (en) * | 2006-08-17 | 2013-04-23 | Ittiam Systems (P) Ltd. | Technique for transcoding MPEG-2/MPEG-4 bitstream to H.264 bitstream |
US8135063B2 (en) | 2006-09-08 | 2012-03-13 | Mediatek Inc. | Rate control method with frame-layer bit allocation and video encoder |
US9247259B2 (en) | 2006-10-10 | 2016-01-26 | Flash Networks Ltd. | Control of video compression based on file size constraint |
US8180920B2 (en) | 2006-10-13 | 2012-05-15 | Rgb Networks, Inc. | System and method for processing content |
US20080120676A1 (en) | 2006-11-22 | 2008-05-22 | Horizon Semiconductors Ltd. | Integrated circuit, an encoder/decoder architecture, and a method for processing a media stream |
US8358690B2 (en) | 2006-12-13 | 2013-01-22 | Viasat, Inc. | Predictive adaptive coding and modulation |
US9270944B2 (en) | 2007-02-14 | 2016-02-23 | Time Warner Cable Enterprises Llc | Methods and apparatus for content delivery notification and management |
US8254761B2 (en) | 2007-03-07 | 2012-08-28 | Rovi Solutions Corporation | Copying digital content by emulating playing of a recording medium by a player |
GB0708440D0 (en) | 2007-05-02 | 2007-06-06 | Film Night Ltd | Data transmission |
US9398346B2 (en) | 2007-05-04 | 2016-07-19 | Time Warner Cable Enterprises Llc | Methods and apparatus for predictive capacity allocation |
WO2008154742A1 (en) | 2007-06-19 | 2008-12-24 | Vantrix Corporation | A buffer-based rate control exploiting frame complexity, buffer level and position of intra frames in video coding |
US8335266B2 (en) | 2007-06-29 | 2012-12-18 | Cisco Technology, Inc. | Expedited splicing of video streams |
US8023562B2 (en) | 2007-09-07 | 2011-09-20 | Vanguard Software Solutions, Inc. | Real-time video coding/decoding |
US8223837B2 (en) | 2007-09-07 | 2012-07-17 | Microsoft Corporation | Learning-based image compression |
US9247285B2 (en) | 2007-09-10 | 2016-01-26 | The Directv Group, Inc. | Method and system for monitoring a content signal |
JP5427785B2 (ja) | 2007-09-28 | 2014-02-26 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオ圧縮技法及びビデオ伝達技法 |
EP2193663B1 (en) | 2007-09-28 | 2017-11-08 | Dolby Laboratories Licensing Corporation | Treating video information |
JP2009111691A (ja) | 2007-10-30 | 2009-05-21 | Hitachi Ltd | 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法 |
US8301793B2 (en) | 2007-11-16 | 2012-10-30 | Divx, Llc | Chunk header incorporating binary flags and correlated variable-length fields |
KR101350723B1 (ko) | 2008-06-16 | 2014-01-16 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 비디오 코딩을 위한 슬라이스 종속성에 기초한 레이트 제어 모델 적응 방법 |
US8300696B2 (en) | 2008-07-25 | 2012-10-30 | Cisco Technology, Inc. | Transcoding for systems operating under plural video coding specifications |
EP2151970B1 (en) | 2008-08-09 | 2011-08-03 | Saffron Digital Limited | Processing and supplying video data |
EP2321969A4 (en) | 2008-09-09 | 2012-05-09 | Onmobile Global Ltd | METHOD AND APPARATUS FOR VIDEO TRANSMISSION |
JP5549903B2 (ja) | 2008-09-14 | 2014-07-16 | 雅英 田中 | コンテンツの受信装置および配信装置 |
US8249168B2 (en) | 2008-11-06 | 2012-08-21 | Advanced Micro Devices, Inc. | Multi-instance video encoder |
WO2010057170A1 (en) | 2008-11-17 | 2010-05-20 | Cernium Corporation | Analytics-modulated coding of surveillance video |
US8396114B2 (en) | 2009-01-29 | 2013-03-12 | Microsoft Corporation | Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming |
US8311115B2 (en) | 2009-01-29 | 2012-11-13 | Microsoft Corporation | Video encoding using previously calculated motion information |
JP5435217B2 (ja) | 2009-04-06 | 2014-03-05 | 株式会社リコー | 画像形成用トナー、画像形成装置、画像形成方法、およびプロセスカートリッジ |
GB2469528B (en) | 2009-04-18 | 2011-10-05 | Saffron Digital Ltd | Transcoding video data |
JP2010258894A (ja) | 2009-04-27 | 2010-11-11 | Canon Inc | 映像受信装置、映像受信方法及びプログラム |
US8270473B2 (en) | 2009-06-12 | 2012-09-18 | Microsoft Corporation | Motion based dynamic resolution multiple bit rate video encoding |
US8279926B2 (en) * | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
US8588296B2 (en) | 2009-07-02 | 2013-11-19 | Dialogic Corporation | Bitrate control algorithm for video transcoding systems |
JP5038367B2 (ja) | 2009-07-27 | 2012-10-03 | 日本電信電話株式会社 | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム |
US8355433B2 (en) | 2009-08-18 | 2013-01-15 | Netflix, Inc. | Encoding video streams for adaptive video streaming |
US9565439B2 (en) | 2009-10-15 | 2017-02-07 | Nbcuniversal Media, Llc | System and method for enhancing data compression using dynamic learning and control |
WO2011068807A1 (en) | 2009-12-01 | 2011-06-09 | Divx, Llc | System and method for determining bit stream compatibility |
KR101487687B1 (ko) | 2010-01-14 | 2015-01-29 | 삼성전자주식회사 | 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치 |
JP5368631B2 (ja) | 2010-04-08 | 2013-12-18 | 株式会社東芝 | 画像符号化方法、装置、及びプログラム |
US8467412B2 (en) * | 2010-04-14 | 2013-06-18 | Ericsson Television Inc. | Adaptive rate shifting for delivery of video services to service groups |
US8705616B2 (en) | 2010-06-11 | 2014-04-22 | Microsoft Corporation | Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures |
US8947492B2 (en) * | 2010-06-18 | 2015-02-03 | Microsoft Corporation | Combining multiple bit rate and scalable video coding |
US8914534B2 (en) | 2011-01-05 | 2014-12-16 | Sonic Ip, Inc. | Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol |
US9020039B2 (en) | 2011-01-06 | 2015-04-28 | Sonic Ip, Inc. | Systems and methods for encoding alternative streams of video for use in adaptive bitrate streaming |
US20160065959A1 (en) | 2014-08-26 | 2016-03-03 | Lyrical Labs Video Compression Technology, LLC | Learning-based partitioning for video encoding |
JP5810700B2 (ja) | 2011-07-19 | 2015-11-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP2013030899A (ja) | 2011-07-27 | 2013-02-07 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
KR101606661B1 (ko) | 2011-11-18 | 2016-03-25 | 모토로라 모빌리티 엘엘씨 | 고효율 비디오 코딩(hevc)을 위한 병치된 화상을 시그널링하기 위한 명시적 방법 |
US9532080B2 (en) | 2012-05-31 | 2016-12-27 | Sonic Ip, Inc. | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
US9426498B2 (en) | 2012-07-10 | 2016-08-23 | Broadcom Corporation | Real-time encoding system of multiple spatially scaled video based on shared video coding information |
US9350990B2 (en) | 2013-02-28 | 2016-05-24 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming |
US9357210B2 (en) | 2013-02-28 | 2016-05-31 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
CN105359511A (zh) | 2013-05-24 | 2016-02-24 | 索尼克Ip股份有限公司 | 为了自适应位速率流化而利用自适应量化编码多个视频流的系统和方法 |
EP3038370A1 (en) | 2014-12-22 | 2016-06-29 | Alcatel Lucent | Devices and method for video compression and reconstruction |
WO2016132152A1 (en) | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Interpolating visual data |
US20160249109A1 (en) | 2015-02-25 | 2016-08-25 | Skipr.Tv, Llc | System and method for the detection of advertisements in television and other video programming |
US10007977B2 (en) | 2015-05-11 | 2018-06-26 | Netflix, Inc. | Techniques for predicting perceptual video quality |
US10034005B2 (en) | 2015-06-05 | 2018-07-24 | Sony Corporation | Banding prediction for video encoding |
CA2997193C (en) | 2015-09-03 | 2021-04-06 | Mediatek Inc. | Method and apparatus of neural network based processing in video coding |
EP3151562B1 (en) | 2015-09-29 | 2020-06-17 | Dolby Laboratories Licensing Corporation | Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning |
US11166027B2 (en) | 2016-06-10 | 2021-11-02 | Apple Inc. | Content adaptation for streaming |
US11049005B2 (en) | 2017-03-22 | 2021-06-29 | At&T Intellectual Property I, L.P. | Methods, devices and systems for managing network video traffic |
US10979718B2 (en) | 2017-09-01 | 2021-04-13 | Apple Inc. | Machine learning video processing systems and methods |
US10721471B2 (en) | 2017-10-26 | 2020-07-21 | Intel Corporation | Deep learning based quantization parameter estimation for video encoding |
-
2012
- 2012-05-31 US US13/485,609 patent/US9532080B2/en active Active
-
2013
- 2013-05-20 AU AU2013267738A patent/AU2013267738A1/en not_active Abandoned
- 2013-05-20 KR KR1020147033593A patent/KR102144557B1/ko active IP Right Grant
- 2013-05-20 BR BR112014029794A patent/BR112014029794A2/pt not_active IP Right Cessation
- 2013-05-20 WO PCT/US2013/041874 patent/WO2013181013A1/en active Application Filing
- 2013-05-20 EP EP13798009.0A patent/EP2856751A4/en not_active Withdrawn
- 2013-05-20 JP JP2015515043A patent/JP6463264B2/ja not_active Expired - Fee Related
-
2016
- 2016-12-05 JP JP2016236137A patent/JP2017063495A/ja active Pending
- 2016-12-22 US US15/388,466 patent/US11025902B2/en active Active
-
2017
- 2017-06-02 AU AU2017203764A patent/AU2017203764B2/en not_active Ceased
-
2018
- 2018-10-16 JP JP2018194897A patent/JP2019030022A/ja not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08195956A (ja) * | 1995-01-19 | 1996-07-30 | Sony Corp | 動き量検出方法及び動き量検出装置 |
JP2001503225A (ja) * | 1996-10-25 | 2001-03-06 | テレフオンアクチーボラゲツト エル エム エリクソン | トランスコーダ |
JP2005229593A (ja) * | 2004-02-14 | 2005-08-25 | Samsung Electronics Co Ltd | トランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム及びその方法 |
WO2010114092A1 (ja) * | 2009-04-03 | 2010-10-07 | 日本電気株式会社 | 配信システムと方法と変換装置及びプログラム |
WO2012009485A1 (en) * | 2010-07-13 | 2012-01-19 | Rovi Technologies Corporation | Systems and methods for electronic sell-through of interactive multimedia content authored for distribution via physical media |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11025902B2 (en) | 2012-05-31 | 2021-06-01 | Nld Holdings I, Llc | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
US10178399B2 (en) | 2013-02-28 | 2019-01-08 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
Also Published As
Publication number | Publication date |
---|---|
WO2013181013A1 (en) | 2013-12-05 |
US20170104989A1 (en) | 2017-04-13 |
BR112014029794A2 (pt) | 2017-06-27 |
JP6463264B2 (ja) | 2019-01-30 |
US11025902B2 (en) | 2021-06-01 |
EP2856751A4 (en) | 2017-03-01 |
JP2015523789A (ja) | 2015-08-13 |
JP2019030022A (ja) | 2019-02-21 |
EP2856751A1 (en) | 2015-04-08 |
KR102144557B1 (ko) | 2020-08-13 |
US9532080B2 (en) | 2016-12-27 |
AU2017203764A1 (en) | 2017-06-22 |
AU2017203764B2 (en) | 2018-11-01 |
AU2013267738A1 (en) | 2014-11-13 |
KR20150023323A (ko) | 2015-03-05 |
WO2013181013A8 (en) | 2014-07-17 |
US20130322517A1 (en) | 2013-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6463264B2 (ja) | ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法 | |
US20200396451A1 (en) | Systems and Methods for Encoding Alternative Streams of Video for Playback on Playback Devices Having Predetermined Display Aspect Ratios and Network Connection Maximum Data Rates | |
US9571827B2 (en) | Techniques for adaptive video streaming | |
KR102086995B1 (ko) | 멀티미디어 콘텐트의 심리스 해상도 전환을 위한 해상도들의 선택 | |
EP2962461B1 (en) | Systems and methods of encoding multiple video streams for adaptive bitrate streaming | |
US10003626B2 (en) | Adaptive real-time transcoding method and streaming server therefor | |
KR20130139970A (ko) | 클라이어트와, 콘텐트 생성기 엔티티 및 미디어 스트리밍을 위한 이들의 방법 | |
US9354799B2 (en) | Systems and methods for adaptive streaming systems with interactive video timelines | |
AU2018250308B2 (en) | Video compression using down-sampling patterns in two phases | |
US9060184B2 (en) | Systems and methods for adaptive streaming with augmented video stream transitions using a media server | |
US11196795B2 (en) | Method and apparatus for predicting video decoding time | |
WO2013163221A1 (en) | Systems and methods for adaptive streaming with augmented video stream transitions | |
US20130287092A1 (en) | Systems and Methods for Adaptive Streaming with Augmented Video Stream Transitions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170904 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171201 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180817 |