JP2016519466A - ビデオフレームをドロップすることによって、ネットワークを介してビデオを送信するために必要とされるビットレートを低減させるための方法 - Google Patents

ビデオフレームをドロップすることによって、ネットワークを介してビデオを送信するために必要とされるビットレートを低減させるための方法 Download PDF

Info

Publication number
JP2016519466A
JP2016519466A JP2016502732A JP2016502732A JP2016519466A JP 2016519466 A JP2016519466 A JP 2016519466A JP 2016502732 A JP2016502732 A JP 2016502732A JP 2016502732 A JP2016502732 A JP 2016502732A JP 2016519466 A JP2016519466 A JP 2016519466A
Authority
JP
Japan
Prior art keywords
frames
encoded video
video frames
frame
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016502732A
Other languages
English (en)
Other versions
JP2016519466A5 (ja
Inventor
アイザック・ディヴィッド・ゲダリア
サラ・ハリス
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016519466A publication Critical patent/JP2016519466A/ja
Publication of JP2016519466A5 publication Critical patent/JP2016519466A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本開示の態様は、符号化ビデオフレームの低減されたストリームを送信することに関する。符号化ビデオフレームの元のストリームが解析されて、符号化ビデオフレームの低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、複数のフレームが除去されて、低減されたストリームと複数の除去されたフレームを記述するメタデータとが送信される。本開示の態様は、符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成することに関する。符号化ビデオフレームの低減されたストリームが受信されて、低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームが識別されて、複数の置換フレームが生成されて、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームが追加される。

Description

本開示は、ビデオフレームをドロップすることによって、ネットワークを介してビデオを送信するために必要とされるビットレートを低減させることを対象とする。
ワイヤレス通信システムは、第1世代(1G)アナログワイヤレス電話サービス、第2世代(2G)デジタルワイヤレス電話サービス(暫定の2.5Gネットワークおよび2.75Gネットワークを含む)、ならびに第3世代(3G)および第4世代(4G)の高速データ/インターネット対応ワイヤレスサービスを含む、様々な世代を通じて発展してきた。現在、セルラーシステムおよびパーソナル通信サービス(PCS)システムを含む、多くの様々なタイプのワイヤレス通信システムが使用されている。知られているセルラーシステムの例には、セルラーアナログ先進移動電話システム(AMPS:Analog Advanced Mobile Phone System)、ならびに、符号分割多元接続(CDMA)、周波数分割多元接続(FDMA)、時分割多元接続(TDMA)、TDMAのモバイル用グローバルシステム接続(GSM(登録商標))変形形態、およびTDMA技術とCDMA技術の両方を使用するより新しいハイブリッドデジタル通信システムに基づくデジタルセルラーシステムがある。
つい最近、モバイル電話および他のデータ端末の高速データのワイヤレス通信用のワイヤレス通信プロトコルとして、ロングタームエボリューション(LTE:Long Term Evolution)が開発されてきている。LTEは、GSMに基づいており、GSM進化型高速データレート(EDGE)などの様々なGSM関連のプロトコル、および高速パケットアクセス(HSPA)などのユニバーサルモバイル通信システム(UMTS:Universal Mobile Telecommunications System)プロトコルからの寄与を含む。
ますます増えるデータ量が、3Gネットワークおよび4Gネットワークなど、データネットワークを介して送信されるため、キャリアはユーザのデータニーズを満たすのに必死である。これは、ネットワークを介してモバイルデバイスに対して行われるビデオストリーミングの量によって悪化する。
本開示の様々な態様は、符号化ビデオフレームの低減されたストリームを送信することに関する。本開示の様々な他の態様は、符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成することに関する。
符号化ビデオフレームの低減されたストリームを送信する方法は、符号化ビデオフレームの元のストリームを解析するステップと、符号化ビデオフレームの低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの元のストリームから複数のフレームを除去するステップと、符号化ビデオフレームの低減されたストリームと、複数の除去されたフレームを記述するメタデータとを送信するステップとを含む。
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成する方法は、符号化ビデオフレームの低減されたストリームを受信するステップであって、符号化ビデオフレームの低減されたストリームが、符号化ビデオフレームの元のストリームから複数のフレームを除去することによって作成された、受信するステップと、符号化ビデオフレームの低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームを識別するステップと、識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するステップと、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームを追加するステップとを含む。
符号化ビデオフレームの低減されたストリームを送信するための装置は、符号化ビデオフレームの元のストリームを解析するように構成された論理手段と、符号化ビデオフレームの低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームのストリームから複数のフレームを除去するように構成された論理手段と、符号化ビデオフレームの低減されたストリームと、複数の除去されたフレームを記述するメタデータとを送信するように構成された論理手段とを含む。
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための装置は、符号化ビデオフレームの低減されたストリームを受信するように構成された論理手段であって、符号化ビデオフレームの低減されたストリームが、符号化ビデオフレームの元のストリームから複数のフレームを除去することによって作成された、受信するように構成された論理手段と、符号化ビデオフレームの低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームを識別するように構成された論理手段と、識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するように構成された論理手段と、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームを追加するように構成された論理手段とを含む。
符号化ビデオフレームの低減されたストリームを送信するための装置は、符号化ビデオフレームの元のストリームを解析するための手段と、符号化ビデオフレームの低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームのストリームから複数のフレームを除去するための手段と、符号化ビデオフレームの低減されたストリームと、複数の除去されたフレームを記述するメタデータとを送信するための手段とを含む。
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための装置は、符号化ビデオフレームの低減されたストリームを受信するための手段であって、符号化ビデオフレームの低減されたストリームが、符号化ビデオフレームの元のストリームから複数のフレームを除去することによって作成された、受信するための手段と、符号化ビデオフレームの低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームを識別するための手段と、識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するための手段と、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームを追加するための手段とを含む。
符号化ビデオフレームの低減されたストリームを送信するための非一時的コンピュータ可読媒体は、符号化ビデオフレームの元のストリームを解析するための少なくとも1つの命令と、符号化ビデオフレームの低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームのストリームから複数のフレームを除去するための少なくとも1つの命令と、符号化ビデオフレームの低減されたストリームと、複数の除去されたフレームを記述するメタデータとを送信するための少なくとも1つの命令とを含む。
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための非一時的コンピュータ可読媒体は、符号化ビデオフレームの低減されたストリームを受信するための少なくとも1つの命令であって、符号化ビデオフレームの低減されたストリームが、符号化ビデオフレームの元のストリームから複数のフレームを除去することによって作成された、受信するための少なくとも1つの命令と、符号化ビデオフレームの低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームを識別するための少なくとも1つの命令と、識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するための少なくとも1つの命令と、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームを追加するための少なくとも1つの命令とを含む。
本発明の態様およびその付随する利点の多くのより完全な理解は、本発明を限定するためではなく単に例示するために提示される添付の図面とともに考察するときに、以下の詳細な説明を参照することによって、理解が深まるのに応じて容易に得られるであろう。
本発明の一態様によるワイヤレス通信システムのハイレベルシステムアーキテクチャを示す図である。 本発明の態様によるユーザ機器(UE)の例を示す図である。 本発明の一実施形態による機能を実行するように構成された論理手段を含む通信デバイスを示す図である。 本開示の様々な態様による例示的なサーバを示す図である。 IフレームとPフレームとに解体された例示的なビデオファイルを示す図である。 本発明の一態様によるワイヤレス通信システムのハイレベルシステムアーキテクチャを示す図である。 図6に示すワイヤレス通信システム内でビデオファイルを処理するための例示的なシグナリング図である。 クライアントデバイスにおいて実行される特徴のより詳細なフローを示す図である。 フレームの一連のフルグループ(full groups)を示す図である。 5個のPフレームを一度にスキップおよびモーフィング(morphing)する例を示す図である。 11個のPフレームを一度にスキップおよびモーフィングする例を示す図である。 例示的なMP4ファイル階層を示す図である。 サーバにおいてビデオファイルを処理するための例示的なフローを示す図である。 符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための例示的なフローを示す図である。
様々な態様は、以下の説明および関連する図面において開示される。本開示の範囲から逸脱することなく、代替の態様が考案され得る。さらに、本開示の関連する詳細を不明瞭にしないように、本開示のよく知られている要素は詳細に説明されないか、または省略される。
「例示的」および/または「例」という用語は、本明細書では「例、事例、または例示として機能すること」を意味するために使用される。本明細書で「例示的」および/または「例」として説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきではない。同様に、「本開示の態様」という用語は、本開示のすべての態様が、論じられた特徴、利点、または動作モードを含むことを必要としない。
さらに、多くの態様について、たとえばコンピューティングデバイスの要素によって実行されるべき、動作のシーケンスに関して説明する。本明細書で説明する様々な動作は、特定の回路(たとえば、特定用途向け集積回路(ASIC))によって、1つもしくは複数のプロセッサによって実行されるプログラム命令によって、または両方の組合せによって実施され得ることを認識されよう。加えて、本明細書で説明するこれらの動作のシーケンスは、実行時に、関連するプロセッサに本明細書で説明する機能を実施させるコンピュータ命令の対応するセットを記憶した、任意の形式のコンピュータ可読記憶媒体内で完全に具現化されるものと見なされ得る。したがって、本開示の様々な態様はいくつかの異なる形式で具現することができ、そのすべてが特許請求される主題の範囲内に入ると考えられる。さらに、本明細書で説明する態様ごとに、任意のそのような態様の対応する形式は、本明細書で、たとえば、説明する動作を実行する「ように構成された論理手段」として説明される場合がある。
本明細書ではユーザ機器(UE)と呼ばれるクライアントデバイスは、モバイルであってもまたは固定されていてもよく、かつ無線アクセスネットワーク(RAN)と通信してよい。本明細書で使用する「UE」という用語は、「アクセス端末」または「AT」、「ワイヤレスデバイス」、「加入者デバイス」、「加入者端末」、「加入者局」、「ユーザ端末」またはUT、「モバイル端末」、「移動局」、およびそれらの変化形と互換的に参照されてよい。一般に、UEは、RANを介してコアネットワークと通信してよく、コアネットワークを通じてインターネットなどの外部ネットワークに接続されてよい。もちろん、UEには、有線アクセスネットワーク、(たとえば、IEEE 802.11などに基づく)WiFiネットワークを介してなど、コアネットワークおよび/またはインターネットに接続する他の機構も考えられる。UEは、PCカード、コンパクトフラッシュ(登録商標)デバイス、外付けまたは内蔵のモデム、ワイヤレスまたは有線の電話などを含むが、これらに限定されない、いくつかのタイプのデバイスのうちの任意のものによって具体化されてよい。UEが信号をRANに送ることができる通信リンクは、アップリンクチャネル(たとえば、逆方向トラフィックチャネル、逆制御チャネル、アクセスチャネルなど)と呼ばれる。RANが信号をUEに送ることができる通信リンクは、ダウンリンクチャネルまたは順方向リンクチャネル(たとえば、ページングチャネル、制御チャネル、ブロードキャストチャネル、順方向トラフィックチャネルなど)と呼ばれる。本明細書で用いられるとき、トラフィックチャネル(TCH)という用語は、アップリンクトラフィックチャネル/逆方向トラフィックチャネル、またはダウンリンクトラフィックチャネル/順方向トラフィックチャネルのいずれかを指すことができる。
図1は、本開示の一態様によるワイヤレス通信システム100のハイレベルシステムアーキテクチャを示す。ワイヤレス通信システム100はUE1...Nを含む。UE1...Nは、携帯電話、携帯情報端末(PDA)、ページャ、ラップトップコンピュータ、デスクトップコンピュータなどを含み得る。たとえば、図1において、UE1...2は発呼側携帯電話として示され、UE3...5はタッチスクリーン携帯電話またはスマートフォンとして示され、UENはデスクトップコンピュータまたはPCとして示されている。
図1を参照すると、UE1...Nは、図1にエアインターフェース104、106、108および/または直接有線接続として示されている物理通信インターフェースまたは物理通信レイヤを介してアクセスネットワーク(たとえば、RAN120、アクセスポイント125など)と通信するように構成される。エアインターフェース104および106は、所与のセルラー通信プロトコル(たとえば、符号分割多元接続(CDMA)、エボリューションデータオプティマイズド(EV-DO:Evolution-Data Optimized)、発展型高速パケットデータ(eHRPD:Evolved High Rate Packet Data)、モバイル通信用グローバルシステム(GSM)、GSM進化型高速データレート(EDGE:Enhanced Data rates for GSM Evolution)、ワイドバンドCDMA(W-CDMA)、ロングタームエボリューション(LTE)など)に準拠し得るが、エアインターフェース108は、ワイヤレスIPプロトコル(たとえば、IEEE802.11)に準拠し得る。RAN120は、エアインターフェース104および106などのエアインターフェースを介してUEにサービスする複数のアクセスポイントを含む。RAN120内のアクセスポイントは、アクセスノードまたはAN、アクセスポイントまたはAP、基地局またはBS、ノードB、eノードBなどと呼ばれ得る。これらのアクセスポイントは、地上アクセスポイント(もしくは地上局)または衛星アクセスポイントであり得る。RAN120は、RAN120によってサービスされるUEとRAN120または異なるRANによってサービスされる他のUEとの間の回線交換(CS)呼を完全にブリッジングすることを含む様々な機能を実行することができ、かつインターネット175などの外部ネットワークとのパケット交換(PS)データの交換を仲介することもできるコアネットワーク140に接続するように構成される。インターネット175は、いくつかのルーティングエージェントおよび処理エージェント(便宜上図1には示されていない)を含む。図1において、UE Nはインターネット175に直接接続する(すなわち、WiFiまたは802.11ベースのネットワークのEthernet(登録商標)接続を介するなど、コアネ
ットワーク140から分離される)ように示されている。それによって、インターネット175は、コアネットワーク140を介してUE NとUE1...Nとの間のパケット交換データ通信をブリッジングするように機能し得る。図1には、RAN120から分離されたアクセスポイント125も示されている。アクセスポイント125は、コアネットワーク140とは無関係に(たとえば、FiOS、ケーブルモデムなどの光通信システムを介して)インターネット175に接続され得る。エアインターフェース108は、一例ではIEEE 802.11などのローカルワイヤレス接続を介してUE4またはUE5にサービスし得る。UE Nは、一例では(たとえば、有線接続性とワイヤレス接続性の両方を有するWiFiルータ用の)アクセスポイント125自体に対応し得るモデムまたはルータとの直接接続などのインターネット175との有線接続を含むデスクトップコンピュータとして示されている。
図1を参照すると、アプリケーションサーバ170は、インターネット175、コアネットワーク140、またはその両方に接続されるように示されている。アプリケーションサーバ170は、構造的に分離された複数のサーバとして実装されてよく、または代替として、単一のサーバに対応し得る。以下により詳しく説明するように、アプリケーションサーバ170は、コアネットワーク140および/またはインターネット175を介してアプリケーションサーバ170に接続することのできるUEについて1つまたは複数の通信サービス(たとえば、ボイスオーバーインターネットプロトコル(VoIP:Voice-over-Internet Protocol)セッション、プッシュツートーク(PTT:Push-to-Talk)セッション、グループ通信セッション、ソーシャルネットワーキングサービスなど)をサポートするように構成される。
図2は、本開示の態様によるUEの例を示す。図2を参照すると、UE200Aは発呼側電話として示され、UE200Bはタッチスクリーンデバイス(たとえば、スマートフォン、タブレットコンピュータなど)として示されている。図2に示すように、UE200Aの外部ケーシングは、当技術分野で知られているように、数ある構成要素のなかでも、アンテナ205A、ディスプレイ210A、少なくとも1つのボタン215A(たとえば、PTTボタン、電源ボタン、音量調節ボタンなど)、およびキーパッド220Aなどの構成要素を備えるように構成される。また、UE200Bの外部ケーシングは、当技術分野で知られているように、数ある構成要素のなかでも、タッチスクリーンディスプレイ205B、周辺ボタン210B、215B、220B、および225B(たとえば、電力調節ボタン、音量調整ボタンまたは振動調節ボタン、飛行機モードトグルボタンなど)、少なくとも1つのフロントパネルボタン230B(たとえば、Homeボタンなど)を備えるように構成される。UE200Bの一部として明示的に示されてはいないが、UE200Bは、WiFiアンテナ、セルラーアンテナ、衛星位置システム(SPS)アンテナ(たとえば全地球測位システム(GPS)アンテナ)などを含むが、これらに限定されない、1本もしくは複数の外部アンテナおよび/またはUE200Bの外部ケーシングに内蔵された1本もしくは複数の集積アンテナを含み得る。
UE200AおよびUE200BなどのUEの内部構成要素は異なるハードウェア構成によって具体化され得るが、内部ハードウェア構成要素のための基本的なハイレベルUE構成は図2にプラットフォーム202として示されている。プラットフォーム202は、最終的にコアネットワーク140、インターネット175、ならびに/または他のリモートサーバおよびネットワーク(たとえば、アプリケーションサーバ170、ウェブURLなど)から得ることのできる、RAN120から送信されたソフトウェアアプリケーション、データ、および/またはコマンドを受信し実行してよい。プラットフォーム202は、ローカルに記憶されたアプリケーションをRAN対話なしで独立して実行してもよい。プラットフォーム202は、特定用途向け集積回路(ASIC)208、もしくは他のプロセッサ、マイクロプロセッサ、論理回路、または他のデータ処理デバイスに動作可能に結合される送受信機206を含み得る。ASIC208または他のプロセッサは、ワイヤレスデバイスのメモリ212内の任意の常駐プログラムとのインターフェースを構成するアプリケーションプログラミングインターフェース(API)210レイヤを実行する。メモリ212は、読取り専用メモリ(ROM)もしくはランダムアクセスメモリ(RAM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュカード、またはコンピュータプラットフォームに共通する任意のメモリから構成されてよい。プラットフォーム202は、メモリ212内でアクティブに使用されないアプリケーションおよび他のデータを記憶することができるローカルデータベース214を含むことも可能である。ローカルデータベース214は、一般的にフラッシュメモリセルであるが、磁気媒体、EEPROM、光学媒体、テープ、ソフトディスクまたはハードディスクなど、当技術分野で知られている任意の二次記憶デバイスとすることができる。
したがって、本開示の一態様は、本明細書で説明する機能を実行する能力を含むUE(たとえば、UE200A、UE200Bなど)を含み得る。当業者が了解するように、様々な論理要素は、本明細書で開示する機能を達成するために、個別の要素、プロセッサ上で実行されるソフトウェアモジュール、またはソフトウェアとハードウェアとの任意の組合せにおいて具現され得る。たとえば、ASIC208、メモリ212、API210およびローカルデータベース214をすべて協調的に使用して、本明細書で開示する様々な機能をロード、記憶および実行することができ、したがって、これらの機能を実行するための論理手段は様々な要素に分散させることができる。代替的には、機能は1つの個別構成要素に組み込むことができる。したがって、図2のUE200Aおよび200Bの特徴は単に例示であると考えられるべきであり、本開示は図示される特徴または構成に限定されない。
UE200Aおよび/またはUE200BとRAN120との間のワイヤレス通信は、CDMA、W-CDMA、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交周波数分割多元(OFDM)、GSM、またはワイヤレス通信ネットワークもしくはデータ通信ネットワークで使用され得る他のプロトコルのような、様々な技術に基づくことができる。先に論じられ、当該技術分野において知られているように、音声送信および/またはデータは、様々なネットワークおよび構成を使用してRANからUEに送信することができる。したがって、本明細書で提供する例示は、本開示の態様を限定することを意図するものではなく、本開示の様々な態様の説明を助けるためのものにすぎない。
図3は、機能を実行するように構成された論理手段を含む通信デバイス300を示す。通信デバイス300は、UE200Aまたは200B、RAN120の任意の構成要素、コアネットワーク140の任意の構成要素、コアネットワーク140および/またはインターネット175に結合された任意の構成要素(たとえば、アプリケーションサーバ170)などを含むが、これらに限定されない、上記の通信デバイスのうちのいずれかに対応し得る。したがって、通信デバイス300は、図1のワイヤレス通信システム100を介して1つまたは複数の他のエンティティと通信する(または通信を容易にする)ように構成された任意の電子デバイスに対応し得る。
図3を参照すると、通信デバイス300は、情報を受信および/または送信するように構成された論理手段305を含む。一例では、通信デバイス300がワイヤレス通信デバイス(たとえば、UE200Aまたは200B)に対応する場合、情報を受信および/または送信するように構成された論理手段305は、(たとえば、RFアンテナ、MODEM、変調器および/または復調器など)ワイヤレス送受信機および関連ハードウェアなどのワイヤレス通信インターフェース(たとえば、Bluetooth(登録商標)、WiFi、2G、CDMA、W-CDMA、3G、4G、LTEなど)を含み得る。別の例では、情報を受信および/または送信するように構成された論理手段305は、有線通信インターフェース(たとえば、それを通してインターネット175にアクセスすることができるシリアル接続、USBまたはFirewire接続、Ethernet接続など)に対応し得る。したがって、通信デバイス300が、何らかのタイプのネットワークベースのサーバ(たとえば、アプリケーション170)に対応する場合、情報を受信および/または送信するように構成された論理手段305は、一例では、Ethernetプロトコルによってネットワークベースのサーバを他の通信エンティティに接続するEthernetカードに対応し得る。さらなる一例では、情報を受信および/または送信するように構成された論理手段305は、通信デバイス300が、それによってそのローカル環境を監視することができる感知ハードウェアまたは測定ハードウェア(たとえば、加速度計、温度センサ、光センサ、ローカルRF信号を監視するためのアンテナなど)を含み得る。情報を受信および/もしくは送信するように構成された論理手段305は、実行されるとき、情報を受信および/もしくは送信するように構成された論理手段305の関連ハードウェアがその受信ならびに/または送信機能を実行できるようにするソフトウェアを含むことも可能である。しかしながら、情報を受信および/または送信するように構成された論理手段305は、ソフトウェアだけに対応するのではなく、情報を受信および/または送信するように構成された論理手段305は、その機能を達成するためのハードウェアに少なくとも部分的に依拠する。
図3を参照すると、通信デバイス300は、情報を処理するように構成された論理手段310をさらに含む。一例では、情報を処理するように構成された論理手段310は、少なくともプロセッサを含み得る。情報を処理するように構成された論理手段310によって実行され得るタイプの処理の例示的な実装態様は、判断を行うこと、接続を確立すること、異なる情報オプション間で選択を行うこと、データに関係する評価を実行すること、測定動作を実行するために通信デバイス300に結合されたセンサと対話すること、情報をあるフォーマットから別のフォーマットに(たとえば、wmvから.aviへなど、異なるプロトコル間で)変換することなどを含むが、これらに限定されない。たとえば、情報を処理するように構成された論理手段310に含まれるプロセッサは、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、ASIC、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せに対応し得る。汎用プロセッサはマイクロプロセッサとすることができるが、代替形態では、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとすることもできる。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装することもできる。情報を処理するように構成された論理手段310は、実行されるとき、情報を処理するように構成された論理手段310の関連ハードウェアがその処理機能を実行できるようにするソフトウェアを含むことも可能である。しかしながら、情報を処理するように構成された論理手段310は、ソフトウェアだけに対応するのではなく、情報を処理するように構成された論理手段310は、その機能を達成するためにハードウェアに少なくとも部分的に依拠する。
図3を参照すると、通信デバイス300は、情報を記憶するように構成された論理手段315をさらに含む。一例では、情報を記憶するように構成された論理手段315は、少なくとも非一時的メモリおよび関連ハードウェア(たとえば、メモリコントローラなど)を含み得る。たとえば、情報を記憶するように構成された論理手段315に含まれる非一時的メモリは、RAM、フラッシュメモリ、ROM、消去可能プログラマブルROM(EPROM)、EEPROM、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当技術分野で知られている任意の他の形態の記憶媒体に対応し得る。情報を記憶するように構成された論理手段315は、実行されるとき、情報を記憶するように構成された論理手段315の関連ハードウェアがその記憶機能を実行できるようにするソフトウェアを含むことも可能である。しかしながら、情報を記憶するように構成された論理手段315は、ソフトウェアだけに対応するのではなく、情報を記憶するように構成された論理手段315は、その機能を達成するためにハードウェアに少なくとも部分的に依拠する。
図3を参照すると、通信デバイス300は、情報を提示するように構成された論理手段320をさらにオプションで含む。一例では、情報を提示するように構成された論理手段320は、少なくとも出力デバイスおよび関連ハードウェアを含み得る。たとえば、出力デバイスは、ビデオ出力デバイス(たとえば、ディスプレイスクリーン、USB、HDMI(登録商標)のようなビデオ情報を搬送することができるポートなど)、オーディオ出力デバイス(たとえば、スピーカー、マイクロフォンジャック、USB、HDMIのようなオーディオ情報を搬送することができるポートなど)、振動デバイス、および/あるいは、情報が、それによって、出力のためにフォーマットされ得るか、または通信デバイス300のユーザもしくはオペレータによって実際に出力され得る任意の他のデバイスを含み得る。たとえば、通信デバイス300が図2に示すようなUE200AまたはUE200Bに対応する場合に、情報を提示するように構成された論理手段320は、UE200Aのディスプレイ210AまたはUE200Bのタッチスクリーンディスプレイ205Bを含み得る。さらなる例では、情報を提示するように構成された論理手段320は、(たとえば、ネットワークスイッチまたはルータ、リモートサーバなど)ローカルユーザを有さないネットワーク通信デバイスなどのいくつかの通信デバイスでは省略されることがある。また、情報を提示するように構成された論理手段320は、実行されるとき、情報を提示するように構成された論理手段320の関連ハードウェアがその提示機能を実行できるようにするソフトウェアを含むことも可能である。しかしながら、情報を提示するように構成された論理手段320は、ソフトウェアだけに対応するのではなく、情報を提示するように構成された論理手段320は、その機能を達成するためにハードウェアに少なくとも部分的に依拠する。
図3を参照すると、通信デバイス300は、ローカルユーザ入力を受信するように構成された論理手段325をさらにオプションで含む。一例では、ローカルユーザ入力を受信するように構成された論理手段325は、少なくともユーザ入力デバイスおよび関連ハードウェアを含み得る。たとえば、ユーザ入力デバイスは、ボタン、タッチスクリーンディスプレイ、キーボード、カメラ、オーディオ入力デバイス(たとえば、マイクロフォン、もしくはマイクロフォンジャックなど、オーディオ情報を搬送することができるポートなど)、および/または情報がそれによって通信デバイス300のユーザもしくはオペレータから受信され得る任意の他のデバイスを含み得る。たとえば、通信デバイス300が図2に示すようなUE200AまたはUE200Bに対応する場合、ローカルユーザ入力を受信するように構成された論理手段325は、キーパッド220A、ボタン215Aまたは210B〜225Bのうちのいずれか、タッチスクリーンディスプレイ205Bなどを含み得る。さらなる例では、ローカルユーザ入力を受信するように構成された論理手段325は、(たとえば、ネットワークスイッチまたはルータ、リモートサーバなど)ローカルユーザを有さないネットワーク通信デバイスなどのいくつかの通信デバイスでは省略されることがある。また、ローカルユーザ入力を受信するように構成された論理手段325は、実行されるとき、ローカルユーザ入力を受信するように構成された論理手段325の関連ハードウェアがその入力受信機能を実行できるようにするソフトウェアも含み得る。しかしながら、ローカルユーザ入力を受信するように構成された論理手段325は、ソフトウェアだけに対応するのではなく、ローカルユーザ入力を受信するように構成された論理手段325は、その機能を達成するためにハードウェアに少なくとも部分的に依拠する。
図3を参照すると、305〜325の構成された論理手段は、図3では別個のまたは相異なるブロックとして示されているが、それぞれの構成された論理手段がその機能を実行するためのハードウェアおよび/またはソフトウェアは、部分的に重複できることは了解されよう。たとえば、305〜325の構成された論理手段の機能を容易にするために使用される任意のソフトウェアを、情報を記憶するように構成された論理手段315に関連する非一時的メモリに記憶することができ、それにより、305〜325の構成された論理手段は各々、その機能(すなわち、この場合、ソフトウェア実行)を、情報を記憶するように構成された論理手段315によって記憶されたソフトウェアの動作に部分的に基づいて実行する。同様に、構成された論理手段のうちの1つに直接関連付けられるハードウェアは、時々、他の構成された論理手段によって借用または使用され得る。たとえば、情報を処理するように構成された論理手段310のプロセッサは、データを、情報を受信および/または送信するように構成された論理手段305によって送信される前に、適切な形式にフォーマットすることができ、それにより、情報を受信および/または送信するように構成された論理手段305は、その機能(すなわち、この場合、データの送信)を、情報を処理するように構成された論理手段310に関連付けられたハードウェア(すなわち、プロセッサ)の動作に部分的に基づいて実行する。
概して、別段に明示的に記載されていない限り、本開示全体にわたって使用される「ように構成された論理手段」という句は、ハードウェアにより少なくとも部分的に実装される態様を呼び出すものとし、ハードウェアから独立したソフトウェアだけの実装形態に位置づけるものではない。また、様々なブロックにおける構成された論理手段または「ように構成された論理手段」は、特定の論理ゲートまたは論理要素に限定されるのではなく、概して、本明細書で説明する機能を、(ハードウェアまたはハードウェアとソフトウェアの組合せのいずれかを介して)実施するための能力を指すことを了解されよう。したがって、様々なブロックに示す構成された論理手段または「ように構成された論理手段」は、「論理手段」という用語を共有するにもかかわらず、必ずしも論理ゲートまたは論理要素として実装されるわけではない。様々なブロック内の論理手段間の他の対話または協働が、以下でより詳細に説明する態様の検討から、当業者には明らかになるであろう。
様々な実施形態は、図4に示すサーバ400などの、様々な市販のサーバデバイスのいずれにおいても実装され得る。一例では、サーバ400は、上記で説明したアプリケーションサーバ170の1つの例示的な構成に対応し得る。図4では、サーバ400は、揮発性メモリ402と、ディスクドライブ403などの大容量の不揮発性メモリとに結合されたプロセッサ401を含む。サーバ400は、プロセッサ401に結合された、フロッピー(登録商標)ディスクドライブ、コンパクトディスク(CD)ドライブまたはDVDディスクドライブ406を含むことも可能である。サーバ400は、他のブロードキャストシステムコンピュータおよびサーバに、またはインターネットに結合されたローカルエリアネットワークなどのネットワーク407とのデータ接続を確立するための、プロセッサ401に結合されたネットワークアクセスポート404を含むことも可能である。図3の文脈において、図4のサーバ400は、通信デバイス300の1つの例示的な実装形態を示すが、情報を送信および/または受信するように構成された論理手段305は、ネットワーク407と通信するためにサーバ400によって使用されるネットワークアクセスポイント404に対応し、情報を処理するように構成された論理手段310は、プロセッサ401に対応し、情報を記憶するように構成された論理手段315は、揮発性メモリ402、ディスク(disk)ドライブ403、および/またはディスク(disc)ドライブ406の任意の組合せに対応することを了解されよう。情報を提示するように構成されたオプションの論理手段320およびローカルユーザ入力を受信するように構成されたオプションの論理手段325は、図4には明示的に示さず、その中に含まれる場合もあれば、含まれない場合もある。したがって、図4は、通信デバイス300が、図2に示すような205Aまたは205BにおけるようなUEの実装形態に加えてサーバとして実装され得ることを説明するのを助ける。
ますます増えるデータ量が、3Gネットワークおよび4Gネットワークなど、データネットワークを介して送信されるため、キャリアはユーザのデータニーズを満たすのに必死である。これは、ネットワークを介してモバイルデバイスに対して行われるビデオストリーミングの量によって悪化する。
ビデオは多くのフレーム(静止画像)からなるため、ビデオファイルは大きくなりがちである。ビデオファイルのサイズを削減するために使用されるビデオ圧縮アルゴリズムは、一般に、フレームを、Iフレーム、Pフレーム、およびBフレームとして分類する。「I」フレーム(「イントラコード化ピクチャ」)は、復号を必要としない、完全に規定された画像である。「P」フレーム(「予測ピクチャ」)は、前のフレームからの画像内の変更だけを保持して、先行画像の文脈で復号を必要とする。Pフレームは、デルタフレームとも呼ばれる。「B」フレームは、データ基準に関して、前のフレームと順方向のフレームの両方を使用して、最高量のデータ圧縮を得ることができる。図5は、Iフレーム502とPフレーム504とに解体された例示的なビデオ500を示す。
ビデオファイルのサイズは、あるフレームをドロップする形式のビデオ劣化(video degradation)を実装することによって、サーバ上で縮小され得る。ドロップされたフレームは、「I」フレーム、「P」フレーム、または「B」フレームのいずれかであり得る。劣化されたビデオは実行された劣化を記述するメタデータとともにUEに送られる。元のビデオは、「モーフィング」を使用して、欠けているフレームを埋めることによって、UE上で再生される。モーフィングは、2つのより広く間隔が開けられたフレーム間の重要な差に基づいて複数のフレームを再生成することができる技法である。これは、ネットワークを介してより少ないデータが送られる、サーバ側の処理が非常に限定される、およびクライアント側のバッファリング時間がより短いなど、いくつかの利点を提供する。
あるいは、動き追跡のためのコンピュータビジョンを使用してフレームを置換することができる。その場合、フレーム内の項目を追跡して、それに応じて、フレーム内で移動させることが可能である。
図6は、本開示の一態様によるワイヤレス通信システムのハイレベルシステムアーキテクチャを示す。アプリケーションサーバ170などのサーバは、ビデオプロセッサ602と、データ解析器604と、フレームドロッパ(dropper)606とを含む。UE610は、ビデオプロセッサ612、フレームモーファ(morpher)614と、フレーム加算器616とを含む。UE610は、スマートフォンとして示されるが、UE610は、基本的なセルフォン、PDA、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含むが、これらに限定されない任意のユーザ機器であり得る。
UE610は、ビデオについての要求620をアプリケーションサーバ170に送る。ビデオがアプリケーションサーバ170上に記憶されない場合、アプリケーションサーバ170は、そのビデオについての要求630を、インターネット175、もしくは他の類似のネットワークを介して、ビデオを記憶する遠隔サーバに送る。遠隔サーバ(図示せず)は、そのビデオを含む応答632をアプリケーションサーバ170に送る。ビデオファイルは、遠隔サーバまたはアプリケーションサーバ170によってIフレームまたはPフレームに圧縮され得る。アプリケーションサーバ170は、下で説明するように、ビデオプロセッサ602と、データ解析器604と、フレームドロッパ606とを使用して、受信されたビデオを処理する。アプリケーションサーバ170は、処理されたビデオを含む応答622をUE610に送る。UE610は、下で説明するように、ビデオプロセッサ612と、フレームモーファ614と、フレーム加算器616とを使用して、受信されたビデオを処理する。
図7は、図6に示すワイヤレス通信システム600内でビデオファイルを処理するための例示的なシグナリング図を示す。図6に示す構成要素に加えて、アプリケーションサーバ170およびUE610は、各々、ネットワークコミュニケータ702および704をそれぞれ含む。ネットワークコミュニケータ702および704は、アプリケーションサーバ170およびUE610がネットワーク上で他のデバイスと通信することを許可する通信インターフェースを提供する。
710において、UE610は、ビデオを入手するための要求をアプリケーションサーバ170に送る。720において、アプリケーションサーバ170は、自らがフレームドロッピングをサポートするという通知をUE610に送る。730において、UE610は、自らがフレーム再作成をサポートするか否かを示す「yes」または「no」の応答を送る。740において、UE610がフレーム再作成をサポートしない場合、アプリケーションサーバ170は元のビデオファイルを送る。しかしながら、UE610がフレーム再作成をサポートする場合、750において、フレームドロッパ606は、UE610において再作成され得るフレームをドロップする。760において、アプリケーションサーバ170は、ビデオから、ドロップされたフレームを差し引いたものをUE610に送る。770において、UE610は、ビデオを受信して、それをビデオプロセッサ612に渡す。780において、フレーム加算器616は、ドロップされたフレームを検出して、ドロップされたフレームを再作成して、元のビデオファイルを再作成するために、再作成されたフレームを追加して受信されたビデオファイルに戻す。
図7のシグナリング図はアプリケーションサーバ170およびUE610によって実行されるとして示されるが、これは任意のサーバデバイスおよびクライアントデバイスによって実行され得る。したがって、サーバデバイスは、ビデオを別のデバイスに送信するUEを含むことが可能であり、クライアントデバイスは、処理されたビデオを別のデバイスから受信するサーバを含むことが可能である。
図8は、UE610など、クライアントデバイスにおいて実行される特徴のより詳細なフローを示す。805において、クライアントは、ネットワークコミュニケータ704などのネットワークコミュニケータ802を介して、アプリケーションサーバ170などのサーバからビデオを要求する。810において、クライアントは、サーバがフレームドロッピングをサポートするという通知をサーバから受信する。815において、クライアントは、自らがドロップされたフレームの再作成もサポートするか否かを判断する。サポートしない場合、820において、クライアントは「no」応答をサーバに送る。825において、クライアントは、元の、すなわち、処理されていないビデオを受信する。830において、クライアントはビデオを普通に処理および表示する。
しかしながら、815において、クライアントが、自らがドロップされたフレームの再作成をサポートすると判断した場合、835において、クライアントは「yes」応答をサーバに送る。840において、クライアントは、ドロップされたあるフレームを有するビデオをサーバから受信する。
845において、クライアントは、ビデオプロセッサ612などのビデオプロセッサ804を介して、ヘッダを処理して、どのフレームが追加してビデオファイルに戻される必要があるかについての情報を記憶する。850において、クライアントはビデオデータのパケットを受信して、フレームを構築する。855において、クライアントは、そのフレームがドロップされたフレームのシーケンスの始端であるか否かを判断する。これは、ドロップされたフレームを識別または記述するビデオファイルとともに受信されるメタデータ内で示され得る。フレームがシーケンスの始端である場合、860において、クライアントは、フレーム加算器616などのフレーム加算器806を介して、ドロップされたフレームシーケンスの始端としてそのフレームを記憶する。
しかしながら、クライアントがそのフレームがドロップされたフレームシーケンスの始端ではないと判断した場合、865において、クライアントは、そのフレームがドロップされたシーケンスの後の第1のフレームであるか否かを判断する。第1のフレームでない場合、フローは850に戻る。第1のフレームである場合、870において、クライアントは、フレーム加算器806を介して、ドロップされたフレームシーケンスの終端としてそのフレームを記憶する。875において、フレーム加算器806は、860において記憶された、ドロップされたフレームシーケンスの始端におけるフレームと、870において記憶された、ドロップされたフレームシーケンスの後の第1のフレームとを使用して、欠けているフレームを再作成する。フレーム加算器806は、ドロップされたフレームシーケンスの始端におけるフレームをそのドロップされたフレームシーケンスの後の第1のフレームにモーフィングすることによって、フレームを再作成する。880において、フレーム加算器806は、作成されたフレームをビデオプロセッサ804に戻す。
図9は、フレーム910〜950の一連のフルグループを示す。図9の例では、フレーム910〜950の各グループは、Iフレームと、その後に続く一連の11個のPフレームとを含む。フレーム910〜950の各グループの始端におけるIフレームをフレームの前のグループの最後のフレームとして扱うことができる。
図10は、5個のPフレームを一度にスキップおよびモーフィングする例を示す。Iフレーム1022と、その後に続く11個のPフレームおよび別のIフレーム1026とを含むフレームのシーケンス1010の場合、アプリケーションサーバ170などのサーバは、5個のPフレームをスキップして、第6番目のPフレーム1020をIフレーム1024に変換することができる。サーバは、次いで、Iフレーム1022、1024、および1026だけをネットワークを介して送信する。5個のドロップされたフレームの2つのグループは、このアルゴリズムのデータ節約を表す。すなわち、13個のフレームを送信する代わりに、サーバは3個のフレームだけを送信する。
クライアントは、Iフレーム1022、1024、および1026を受信して、それらを使用して、10個のドロップされたPフレームを再作成する。クライアントは、Iフレーム1022をIフレーム1024にモーフィングすることによって、5個のドロップされたPフレームの第1のグループを作成する。クライアントは、Iフレーム1024をIフレーム1026にモーフィングすることによって、5個のドロップされたPフレームの第2のグループを作成する。結果として生じるフレームのシーケンス1030は、このとき、フレームの元のシーケンス1010が13個のフレームシーケンスであったように、13個のフレームシーケンスである。
図11は、11個のPフレームを一度にスキップおよびモーフィングする例を示す。Iフレーム1122と、その後に続く11個のPフレームおよび別のIフレーム1124とを含むフレームのシーケンス1110の場合、アプリケーションサーバ170などのサーバは、11個のPフレームをスキップすることができる。サーバは、次いで、Iフレーム1122および1124だけをネットワークを介して送信する。11個のドロップされたフレームは、このアルゴリズムのデータ節約を表す。すなわち、13個のフレームを送信する代わりに、サーバは2個のフレームだけを送信する。
クライアントは、Iフレーム1122および1124を受信して、それらを使用して、11個のドロップされたPフレームを再作成する。クライアントは、Iフレーム1122をIフレーム1124にモーフィングすることによって、11個のドロップされたPフレームを作成する。結果として生じるフレームのシーケンス1130は、このとき、フレームの元のシーケンス1110と同じ13個のフレームシーケンスである。
Table 1(表1)は、サーバがドロップするフレームの数に基づいて、クライアントが追加し得るフレームの例を示す。
Figure 2016519466
Table 2(表2)は、サーバがドロップするフレームの数に基づいて、クライアントが追加し得るフレームの例を示す。
Figure 2016519466
以下は、MP4ビデオフォーマット用のフレームドロッピングアルゴリズムの特定の例である。図12は、例示的なMP4ファイル階層1200を示す。MP4ファイルはアトムからなる。各アトムは、ビデオを復号するために必要なデータを含む。「mdat」アトム1202は、実際のビデオデータ(フレーム)を含む。「stbl」アトム1208は、復号に必要な様々なヘッダを含む。「stts」ヘッダ1212はサンプルの数を含み、「stss」ヘッダ1214はシーケンス内のその数によって識別されたIフレームを含み、「stsc」ヘッダ1216は、各チャンク内のサンプルの数を含み、「stsz」ヘッダ1218は各フレームのサイズを含み、「stco」ヘッダ1220は、チャンクの数およびそのオフセットを含む。
サーバは、mdatアトム1202を検索して、それを通してフレームごとにルーピングし、Pフレームを削除し、sttsヘッダ、stssヘッダ、stscヘッダ、stszヘッダ、およびstcoヘッダ1212〜1220を更新することによって、MP4ビデオファイル内のフレームをドロップすることができる。サーバは、stssヘッダ1214からIフレームを識別することによって、Pフレームを識別することができる。すなわち、サーバは、stssヘッダ1214からどのフレームがIフレームであるかを知り、これは、stssヘッダ1214内に列挙されないどのフレームもPフレームではなく、または少なくともIフレームではないことを意味する。
クライアント側で、moovアトム1204の下で修正されたデータアトムは、そのビデオストリームが編集されているか否か、したがって、モーフィングされる必要があるか否かを示すフラグと、mdatアトム1202の新しいサイズを示す2次フィールドとを含む。各trak1206の場合、metaアトム1222は、そのフレーム番号によって識別された残りのフレームを示す。この情報を使用して、維持されたフレーム間のモーフィングされるべきフレームの数を判断することもできる。また、各trak1206の場合、新しいstcoヘッダ1220は、データがモーフィングされるために編集されている場合、そのデータに関するオフセットの表を含む。
あるいは、ヘッダは、ヘッダをドロップおよびモーフィングするオプション専用の特別フィールドを含み得る。この場合、個々のヘッダの各々は編集されなくてよいことになり、それらのフレームがドロップされているか否かを示すフラグだけが編集される必要があることになる。いかなるフレームがドロップされている場合も、フラグが設定されて、クライアントは、ビデオをどのように再度元に戻すかを知るために、専用ヘッダを参照することができる。
以下は、追加され得る専用ヘッダのリスト、すなわち、残るデータのサイズを有する専用mdatフィールド、ならびに、専用のsttsヘッダ、stssヘッダ、stscヘッダ、stszヘッダ、およびstcoヘッダである。別の追加ヘッダは、維持されたフレーム間でモーフィングするためのフレームの数であり得る。
ビデオを元に戻すために、クライアントはフラグが設定されているか否かを検査する。ビデオデータの場合、クライアントは、モーフィングされたstcoヘッダ1220または専用ヘッダを使用して、それらのフレームを順次読み取る。クライアントは、第1のフレームを発見して、アトムヘッダまたはサイズ表からのサイズを使用して、フレームサイズカウントバイトを読み取る。その後、クライアントは、次のフレームまで読み取る。クライアントは、前のフレーム同様に、アトムヘッダまたはサイズ表からのサイズを使用して、次のフレームのサイズカウントバイトを読み取る。クライアントは、次いで、metaアトム1222または、オフセット表を含む新しいstcoヘッダ1220に基づいて、自らが欠けているフレーム内でモーフィングする必要があるかどうかを判断する。クライアントが、自らが欠けているフレーム内でモーフィングする必要があると判断した場合、クライアントは、欠けているフレームの数内でモーフィングする。しかしながら、クライアントが、自らが欠けているフレーム内でモーフィングする必要がないと判断した場合、クライアントはフレームを普通に再生する。クライアントは、次いで、最後のフレームまでこのプロセスを繰り返す。
ビデオの音声に対処するために、フレームシーケンス910〜950など、フレームのシーケンスに関する音声を第1のフレームの一部と見なすことができる。音声は、次いで、フレームが再生されるよりも遅い速度で再生され得る。これは、第1のフレームに、すべてのドロップされたフレームの音声を加えた合計として、各フレームのサイズを示す新しい表を使用することになる。
図13は、図6に示すアプリケーションサーバ170などのサーバにおいてビデオファイルを処理するための例示的なフローを示す。1310において、サーバは、UE610などのクライアントからビデオについての要求を受信する。ビデオは、サーバまたは遠隔サーバにおいて記憶され得る。1320において、サーバは、ビデオを検索して、それを、図6に示すビデオプロセッサ602などのビデオプロセッサに送る。1330において、図6に示すデータ解析器604などのデータ解析器は、ビデオを解析して、どのフレームが、かつ/またはどれだけ多くのフレームがビデオから最適にドロップされ得るかを判断する。1340において、図6に示すフレームドロッパ606などのフレームドロッパは、データ解析器が必須でないと判断したフレームをドロップする。1350において、サーバは、ドロップされているフレームを記述するメタデータとともに、残りのフレームをクライアントに送信する。サーバは、ビデオファイルをクライアントにストリームすることができるか、またはそれを個別のダウンロードとして送ることができる。
図14は、符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための例示的なフローを示す。フローは、UE610などのクライアントにおいて実行され得る。1410において、クライアントは符号化ビデオフレームの低減されたストリームを受信する。符号化ビデオフレームの低減されたストリームは、アプリケーションサーバ170などのサーバにおいて、符号化ビデオフレームの元のストリームから複数のフレームを除去することによって作成されている可能性がある。1420において、クライアントは、符号化ビデオフレームの低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームを識別する。1430において、クライアントは、識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成する。1440において、クライアントは、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームを追加する。1450において、クライアントは元のビデオストリームの新しいバージョンを再生する。
以上の態様は、CDMA2000ネットワーク内の1xEV-DOアーキテクチャ、W-CDMAネットワークもしくはUMTSネットワーク内のGPRSアーキテクチャ、および/またはLTEベースのネットワーク内のEPSアーキテクチャを参照して主に説明されてきたが、他の態様は、他のタイプのネットワークアーキテクチャおよび/またはプロトコルを対象とし得ることを了解されよう。
情報および信号が多種多様な異なる技術および技法のいずれかを使用して表すことができることを当業者は了解されよう。たとえば、上記の説明全体を通して参照される場合があるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表すことができる。
さらに、本明細書で開示する態様に関連して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを当業者は了解されよう。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップは、一般的にそれらの機能に関してこれまで説明されてきた。そのような機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、具体的な適用例およびシステム全体に課される設計制約によって決まる。当業者は、説明した機能を具体的な適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱をもたらすものと解釈されるべきではない。
本明細書で開示する態様に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブルデバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または、本明細書で説明した機能を実行するように設計されたそれらの任意の組合せで実装あるいは実行することができる。汎用プロセッサはマイクロプロセッサとすることができるが、代替形態では、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとすることもできる。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装することもできる。
本明細書で開示する態様に関連して説明した方法、シーケンス、および/またはアルゴリズムは、ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、またはその2つの組合せで直接具現され得る。ソフトウェアモジュールは、RAM、フラッシュメモリ、ROM、EPROM、EEPROM、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当技術分野で知られている任意の他の形態の記憶媒体中に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合する。代替形態において、記憶媒体はプロセッサと一体であり得る。プロセッサおよび記憶媒体はASIC内に存在することができる。ASICはユーザ端末(たとえば、UE)内に存在することができる。代替として、プロセッサおよび記憶媒体は、ユーザ端末内に個別の構成要素として存在し得る。
1つまたは複数の例示的な態様では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに実装される場合がある。ソフトウェアに実装される場合、機能は、1つもしくは複数の命令またはコードとして、コンピュータ可読媒体上に記憶することができるか、または、コンピュータ可読媒体を介して送信することができる。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセス可能である任意の利用可能な媒体とすることができる。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、あるいは、命令もしくはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用することができ、コンピュータによってアクセス可能である、任意の他の媒体を含み得る。また、任意の接続が適切にコンピュータ可読媒体と呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。前述の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
上記の開示は本開示の例示的な態様を示すが、添付の特許請求の範囲によって規定される本開示の範囲から逸脱することなく、本明細書で様々な変更および修正が行われ得ることに留意されたい。本明細書で説明した本開示の態様による方法クレームの機能、ステップおよび/または動作は、特定の順序で実行される必要はない。さらに、本開示の要素は単数形で記載または特許請求されている場合があるが、単数形に限定することが明示的に述べられていない限り、複数形が考えられる。
100 ワイヤレス通信システム
104 エアインターフェース
106 エアインターフェース
108 エアインターフェース
120 RAN
125 アクセスポイント
140 コアネットワーク
170 アプリケーションサーバ
175 インターネット
200A UE
200B UE
202 プラットフォーム
205A アンテナ
205B タッチスクリーンディスプレイ
206 送受信機
208 特定用途向け集積回路(ASIC)
210 アプリケーションプログラミングインターフェース(API)
210A ディスプレイ
210B 周辺ボタン
212 メモリ
214 ローカルデータベース
215A ボタン
215B 周辺ボタン
220A キーパッド
220B 周辺ボタン
225B 周辺ボタン
230B フロントパネルボタン
300 通信デバイス
310 情報を処理するように構成された論理手段
315 情報を記憶するように構成された論理手段
320 情報を提示するように構成された論理手段
325 ローカルユーザ入力を受信するように構成された論理手段
400 サーバ
401 プロセッサ
402 揮発性メモリ
403 ディスクドライブ
404 ネットワークアクセスポート
406 フロッピーディスクドライブ、コンパクトディスク(CD)ドライブまたはDVDディスクドライブ、ディスクドライブ
407 ネットワーク
500 ビデオ
502 Iフレーム
504 Pフレーム
602 ビデオプロセッサ
604 データ解析器
606 フレームドロッパ
610 UE
612 ビデオプロセッサ
614 フレームモーファ
616 フレーム加算器
620 要求
622 応答
630 要求
632 応答
702 ネットワークコミュニケータ
704 ネットワークコミュニケータ

Claims (67)

  1. 符号化ビデオフレームの低減されたストリームを送信する方法であって、
    符号化ビデオフレームの元のストリームを解析するステップと、
    符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数のフレームを除去するステップと、
    符号化ビデオフレームの前記低減されたストリームと、前記複数の除去されたフレームを記述するメタデータとを送信するステップと
    を含む方法。
  2. 符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するステップ
    をさらに含む、請求項1に記載の方法。
  3. 解析する前記ステップが、
    符号化ビデオフレームの前記元のストリームのヘッダを解析して、ビデオフレームのタイプを識別するステップ
    を含む、請求項1に記載の方法。
  4. 前記ビデオフレームの前記タイプが、前記ビデオフレームのサイズまたは前記ビデオフレームのヘッダ内の識別子によって識別される、請求項3に記載の方法。
  5. 前記ビデオフレームの前記タイプが、Iフレーム、Pフレーム、またはBフレームである、請求項3に記載の方法。
  6. 符号化ビデオフレームの前記元のストリームから除去するフレームの数を判断するステップ
    をさらに含む、請求項1に記載の方法。
  7. 符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項1に記載の方法。
  8. 前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項7に記載の方法。
  9. 除去する前記ステップが、2個のキーフレーム間の前記複数の中間フレームを除去するステップを含む、請求項7に記載の方法。
  10. 受信側ユーザデバイスが、符号化ビデオフレームの前記低減されたストリームにフレームを追加することによって、符号化ビデオフレームの前記元のストリームを再作成する、請求項7に記載の方法。
  11. 前記追加されたフレームが前記複数の中間フレームである、請求項10に記載の方法。
  12. 前記追加されたフレームが、第1のキーフレームを第2のキーフレームにモーフィングすることによって生成される、請求項11に記載の方法。
  13. 前記追加されたフレームの数が、前記複数の除去されたフレームの数に一致する、請求項10に記載の方法。
  14. 前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリームの識別子、前記複数の除去されたフレームの数、および/または前記複数の除去されたフレームの識別子を含む、請求項1に記載の方法。
  15. 符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成する方法であって、
    符号化ビデオフレームの前記低減されたストリームを受信するステップであって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記元のストリームから複数のフレームを除去することによって作成された、受信するステップと、
    符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記複数の除去されたフレームを識別するステップと、
    前記識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するステップと、
    符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するステップと
    を含む方法。
  16. 符号化ビデオフレームの前記低減されたストリームに関する前記メタデータを処理するステップ
    をさらに含む、請求項15に記載の方法。
  17. 前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項15に記載の方法。
  18. 識別する前記ステップが、
    フレームがドロップされたフレームのシーケンスの始端であることを判断するステップと、
    前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するステップと
    を含む、請求項15に記載の方法。
  19. 識別する前記ステップが、
    前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するステップと、
    前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するステップと
    をさらに含む、請求項18に記載の方法。
  20. 生成する前記ステップが、
    ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するステップ
    を含む、請求項19に記載の方法。
  21. 再作成する前記ステップが、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するステップを含む、請求項20に記載の方法。
  22. 再作成する前記ステップが、
    動き追跡を使用して、前記第1のキーフレーム内および前記第2のキーフレーム内のオブジェクトを識別するステップと、
    前記追跡されたオブジェクトを前記第1のキーフレーム内のその位置から前記第2のキーフレーム内のその位置に移動させることに基づいて、前記複数の置換フレームを生成するステップと
    を含む、請求項20に記載の方法。
  23. 前記フレームがドロップされたフレームの前記シーケンスの後の前記第1のフレームであることを判断する前記ステップが、前記メタデータに基づく、請求項19に記載の方法。
  24. 前記フレームがドロップされたフレームの前記シーケンスの前記始端であることを判断する前記ステップが、前記メタデータに基づく、請求項18に記載の方法。
  25. 符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するステップ
    をさらに含む、請求項15に記載の方法。
  26. 符号化ビデオフレームの低減されたストリームを送信するための装置であって、
    符号化ビデオフレームの元のストリームを解析するように構成された論理手段と、
    符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数のフレームを除去するように構成された論理手段と、
    符号化ビデオフレームの前記低減されたストリームと、前記複数の除去されたフレームを記述するメタデータとを送信するように構成された論理手段と
    を含む装置。
  27. 符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するように構成された論理手段
    をさらに含む、請求項26に記載の装置。
  28. 符号化ビデオフレームの前記元のストリームから除去するフレームの数を判断するように構成された論理手段
    をさらに含む、請求項26に記載の装置。
  29. 符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項26に記載の装置。
  30. 前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項29に記載の装置。
  31. 除去するように構成された前記論理手段が、2個のキーフレーム間の複数の中間フレームを除去するように構成された論理手段を含む、請求項29に記載の装置。
  32. 前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリームの識別子、前記除去されたフレームの数、および/または前記複数の除去されたフレームの識別子を含む、請求項26に記載の装置。
  33. 符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための装置であって、
    符号化ビデオフレームの前記低減されたストリームを受信するように構成された論理手段であって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記元のストリームから複数のフレームを除去することによって作成された、受信するように構成された論理手段と、
    符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記複数の除去されたフレームを識別するように構成された論理手段と、
    前記識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するように構成された論理手段と、
    符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するように構成された論理手段と
    を含む装置。
  34. 前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項33に記載の装置。
  35. 識別するように構成された前記論理手段が、
    フレームがドロップされたフレームのシーケンスの始端であることを判断するように構成された論理手段と、
    前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するように構成された論理手段と
    を含む、請求項33に記載の装置。
  36. 識別するように構成された前記論理手段が、
    前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するように構成された論理手段と、
    前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するように構成された論理手段と
    をさらに含む、請求項35に記載の装置。
  37. 生成するように構成された前記論理手段が、
    ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するように構成された論理手段
    を含む、請求項36に記載の装置。
  38. 再作成するように構成された前記論理手段が、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するように構成された論理手段を含む、請求項37に記載の装置。
  39. 符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するように構成された論理手段
    をさらに含む、請求項33に記載の装置。
  40. 符号化ビデオフレームの低減されたストリームを送信するための装置であって、
    符号化ビデオフレームの元のストリームを解析するための手段と、
    符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数のフレームを除去するための手段と、
    符号化ビデオフレームの前記低減されたストリームと、前記複数の除去されたフレームを記述するメタデータとを送信するための手段と
    を含む装置。
  41. 符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するための手段
    をさらに含む、請求項40に記載の装置。
  42. 符号化ビデオフレームの前記元のストリームから除去するフレームの数を判断するための手段
    をさらに含む、請求項40に記載の装置。
  43. 符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項40に記載の装置。
  44. 前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項43に記載の装置。
  45. 除去するための前記手段が、2個のキーフレーム間の前記複数の中間フレームを除去するための手段を含む、請求項43に記載の装置。
  46. 前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリームの識別子、前記複数の除去されたフレームの数、および/または前記除去されたフレームの識別子を含む、請求項40に記載の装置。
  47. 符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための装置であって、
    符号化ビデオフレームの前記低減されたストリームを受信するための手段であって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記元のストリームから複数のフレームを除去することによって作成された、受信するための手段と、
    符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記複数の除去されたフレームを識別するための手段と、
    前記識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するための手段と、
    符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するための手段と
    を含む装置。
  48. 前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項47に記載の装置。
  49. 識別するための前記手段が、
    フレームがドロップされたフレームのシーケンスの始端であることを判断するための手段と、
    前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するための手段と
    を含む、請求項47に記載の装置。
  50. 識別するための前記手段が、
    前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するための手段と、
    前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するための手段と
    をさらに含む、請求項49に記載の装置。
  51. 生成するための前記手段が、
    ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するための手段
    を含む、請求項50に記載の装置。
  52. 再作成するための前記手段が、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するための手段を含む、請求項51に記載の装置。
  53. 符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するための手段
    をさらに含む、請求項47に記載の装置。
  54. 符号化ビデオフレームの低減されたストリームを送信するための非一時的コンピュータ可読記録媒体であって、
    符号化ビデオフレームの元のストリームを解析するための少なくとも1つの命令と、
    符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数のフレームを除去するための少なくとも1つの命令と、
    符号化ビデオフレームの前記低減されたストリームと、前記複数の除去されたフレームを記述するメタデータとを送信するための少なくとも1つの命令と
    を含む非一時的コンピュータ可読記録媒体。
  55. 符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するための少なくとも1つの命令
    をさらに含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
  56. 符号化ビデオフレームの前記元のストリームから除去するフレームの数を判断するための少なくとも1つの命令
    をさらに含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
  57. 符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
  58. 前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項57に記載の非一時的コンピュータ可読記録媒体。
  59. 除去するための前記少なくとも1つの命令が、2個のキーフレーム間の前記複数の中間フレームを除去するための少なくとも1つの命令を含む、請求項57に記載の非一時的コンピュータ可読記録媒体。
  60. 前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリームの識別子、前記除去されたフレームの数、および/または前記複数の除去されたフレームの識別子を含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
  61. 符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための非一時的コンピュータ可読記録媒体であって、
    符号化ビデオフレームの前記低減されたストリームを受信するための少なくとも1つの命令であって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記元のストリームから複数のフレームを除去することによって作成された、受信するための少なくとも1つの命令と、
    符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記複数の除去されたフレームを識別するための少なくとも1つの命令と、
    前記識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するための少なくとも1つの命令と、
    符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するための少なくとも1つの命令と
    を含む非一時的コンピュータ可読記録媒体。
  62. 前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項61に記載の非一時的コンピュータ可読記録媒体。
  63. 識別するための前記少なくとも1つの命令が、
    フレームがドロップされたフレームのシーケンスの始端であることを判断するための少なくとも1つの命令と、
    前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するための少なくとも1つの命令と
    を含む、請求項61に記載の非一時的コンピュータ可読記録媒体。
  64. 識別するための前記少なくとも1つの命令が、
    前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するための少なくとも1つの命令と、
    前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するための少なくとも1つの命令と
    をさらに含む、請求項63に記載の非一時的コンピュータ可読記録媒体。
  65. 生成するための前記少なくとも1つの命令が、
    ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するための少なくとも1つの命令
    を含む、請求項64に記載の非一時的コンピュータ可読記録媒体。
  66. 再作成するための前記少なくとも1つの命令が、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するための少なくとも1つの命令を含む、請求項65に記載の非一時的コンピュータ可読記録媒体。
  67. 符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するための少なくとも1つの命令
    をさらに含む、請求項61に記載の非一時的コンピュータ可読記録媒体。
JP2016502732A 2013-03-15 2014-03-14 ビデオフレームをドロップすることによって、ネットワークを介してビデオを送信するために必要とされるビットレートを低減させるための方法 Pending JP2016519466A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/836,269 2013-03-15
US13/836,269 US9578333B2 (en) 2013-03-15 2013-03-15 Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames
PCT/US2014/028204 WO2014143988A1 (en) 2013-03-15 2014-03-14 Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames

Publications (2)

Publication Number Publication Date
JP2016519466A true JP2016519466A (ja) 2016-06-30
JP2016519466A5 JP2016519466A5 (ja) 2017-03-30

Family

ID=50842323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016502732A Pending JP2016519466A (ja) 2013-03-15 2014-03-14 ビデオフレームをドロップすることによって、ネットワークを介してビデオを送信するために必要とされるビットレートを低減させるための方法

Country Status (7)

Country Link
US (2) US9578333B2 (ja)
EP (1) EP2974323A1 (ja)
JP (1) JP2016519466A (ja)
KR (1) KR20150132372A (ja)
CN (1) CN105027572A (ja)
TW (2) TWI562623B (ja)
WO (1) WO2014143988A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457228B2 (en) * 2019-09-23 2022-09-27 Axis Ab Video encoding method and method for reducing file size of encoded video

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983555B2 (en) * 2011-01-07 2015-03-17 Microsoft Technology Licensing, Llc Wireless communication techniques
US9578333B2 (en) 2013-03-15 2017-02-21 Qualcomm Incorporated Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames
CN107026827B (zh) * 2016-02-02 2020-04-03 上海交通大学 一种用于视频流中静止图像的优化传输方法
JP7105675B2 (ja) 2018-11-02 2022-07-25 株式会社東芝 送信装置、サーバ装置、送信方法およびプログラム
CN111093083B (zh) * 2019-12-16 2022-12-09 西安万像电子科技有限公司 数据传输方法及装置
CN112995746B (zh) * 2019-12-18 2022-09-09 华为技术有限公司 视频处理方法、装置与终端设备
KR102291293B1 (ko) * 2020-02-26 2021-08-20 가부시끼가이샤 도시바 송신 디바이스, 통신 시스템, 송신 방법, 및 비일시적 컴퓨터 판독가능 기록 매체
CN114095451B (zh) * 2021-11-17 2024-05-21 腾讯科技（深圳）有限公司 一种数据处理方法、设备及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280009A (ja) * 1995-04-06 1996-10-22 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置および光ディスク
JPH10215458A (ja) * 1997-01-31 1998-08-11 Matsushita Electric Ind Co Ltd 画像圧縮伸長装置および欠落フレーム補間方法
JPH10336670A (ja) * 1997-04-04 1998-12-18 Sony Corp 画像伝送装置および画像伝送方法、提供媒体
JP2001268519A (ja) * 2000-03-22 2001-09-28 Toshiba Corp 記録装置
JP2003023639A (ja) * 2001-07-10 2003-01-24 Sony Corp データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体
JP3416649B2 (ja) * 1998-01-21 2003-06-16 松下電器産業株式会社 可変長符号化装置
JP2004274732A (ja) * 2003-02-19 2004-09-30 Matsushita Electric Ind Co Ltd 動画像符号化方法、及び、動画像復号化方法
JP2005504490A (ja) * 2001-09-24 2005-02-10 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 口形素に基づくビデオ符号化
WO2006067374A1 (en) * 2004-12-22 2006-06-29 British Telecommunications Public Limited Company Rate control with buffer underflow prevention
US20070201500A1 (en) * 2006-02-27 2007-08-30 Deshpande Sachin G Selective Frame Dropping For Initial Buffer Delay Reduction
US20090225853A1 (en) * 2008-03-06 2009-09-10 Ran Oz Method and system for rate reduction of video streams
JP2012235419A (ja) * 2011-05-09 2012-11-29 Jvc Kenwood Corp 映像信号処理装置及び映像信号処理方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0952709A1 (en) 1998-04-20 1999-10-27 BRITISH TELECOMMUNICATIONS public limited company Data storage and supply
US6907073B2 (en) 1999-12-20 2005-06-14 Sarnoff Corporation Tweening-based codec for scaleable encoders and decoders with varying motion computation capability
JP4050472B2 (ja) * 2001-02-06 2008-02-20 株式会社モノリス 画像生成方法、装置およびシステム
US6804301B2 (en) * 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
CN100366077C (zh) * 2002-04-26 2008-01-30 纽约市哥伦比亚大学托管会 基于实用函数描述的最优视频解码的方法和系统
JP2005525011A (ja) * 2002-04-26 2005-08-18 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク ユーティリティ関数記述にもとづく最適なビデオ・トランスコーディング用の方法及びシステム
US9077991B2 (en) * 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US20050089232A1 (en) * 2003-10-23 2005-04-28 Chun-Ming Hsu Method of video compression that accommodates scene changes
KR20070026515A (ko) * 2004-06-14 2007-03-08 모노리스 컴퍼니 리미티드 동영상 부호화 방법 및 동영상 복호 방법
KR20070044455A (ko) * 2004-07-20 2007-04-27 콸콤 인코포레이티드 비디오 압축에 대한 인코더 보조-프레임 레이트 업컨버젼(ｅａ-ｆｒｕｃ)을 위한 방법 및 장치
US7571246B2 (en) * 2004-07-29 2009-08-04 Microsoft Corporation Media transrating over a bandwidth-limited network
US8861601B2 (en) * 2004-08-18 2014-10-14 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
CN101073268A (zh) 2004-12-10 2007-11-14 皇家飞利浦电子股份有限公司 使用单层编码和优先级区分流的无线视频流
US20060239563A1 (en) * 2005-04-25 2006-10-26 Nokia Corporation Method and device for compressed domain video editing
US8281351B2 (en) * 2005-04-29 2012-10-02 Alcatel Lucent System, method, and computer readable medium rapid channel change
CN101253777A (zh) * 2005-07-01 2008-08-27 极速决件公司 用于在多媒体信号编码中使用的方法、装置和系统
KR100714695B1 (ko) 2005-07-16 2007-05-04 삼성전자주식회사 픽쳐 드롭 및 합성을 통하여 레이트 컨트롤을 수행하는비디오 코딩 방법, 그 방법을 이용한 비디오 인코더, 및트랜스코더
US20070058926A1 (en) * 2005-09-09 2007-03-15 Microsoft Corporation Optimizing trick modes for streaming media content
US8296813B2 (en) * 2006-06-22 2012-10-23 Sony Computer Entertainment Inc. Predictive frame dropping to enhance quality of service in streaming data
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US20100027663A1 (en) 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
DE102008059028B4 (de) * 2008-10-02 2021-12-02 Rohde & Schwarz GmbH & Co. Kommanditgesellschaft Verfahren und Vorrichtung zur Erzeugung eines Transportdatenstroms mit Bilddaten
US20100296579A1 (en) * 2009-05-22 2010-11-25 Qualcomm Incorporated Adaptive picture type decision for video coding
US8254445B2 (en) 2009-08-06 2012-08-28 Georgia Tech Research Corporation Video transmission using video quality metrics
WO2011087963A1 (en) 2010-01-15 2011-07-21 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
US8443097B2 (en) * 2010-04-12 2013-05-14 Alcatel Lucent Queue management unit and method for streaming video packets in a wireless network
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US20130058406A1 (en) * 2011-09-05 2013-03-07 Zhou Ye Predictive frame dropping method used in wireless video/audio data transmission
US20130064308A1 (en) * 2011-09-14 2013-03-14 General Instrument Corporation Coding and decoding synchronized compressed video bitstreams
US9578333B2 (en) 2013-03-15 2017-02-21 Qualcomm Incorporated Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280009A (ja) * 1995-04-06 1996-10-22 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置および光ディスク
JPH10215458A (ja) * 1997-01-31 1998-08-11 Matsushita Electric Ind Co Ltd 画像圧縮伸長装置および欠落フレーム補間方法
JPH10336670A (ja) * 1997-04-04 1998-12-18 Sony Corp 画像伝送装置および画像伝送方法、提供媒体
JP3416649B2 (ja) * 1998-01-21 2003-06-16 松下電器産業株式会社 可変長符号化装置
JP2001268519A (ja) * 2000-03-22 2001-09-28 Toshiba Corp 記録装置
JP2003023639A (ja) * 2001-07-10 2003-01-24 Sony Corp データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体
JP2005504490A (ja) * 2001-09-24 2005-02-10 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 口形素に基づくビデオ符号化
JP2004274732A (ja) * 2003-02-19 2004-09-30 Matsushita Electric Ind Co Ltd 動画像符号化方法、及び、動画像復号化方法
WO2006067374A1 (en) * 2004-12-22 2006-06-29 British Telecommunications Public Limited Company Rate control with buffer underflow prevention
US20070201500A1 (en) * 2006-02-27 2007-08-30 Deshpande Sachin G Selective Frame Dropping For Initial Buffer Delay Reduction
US20090225853A1 (en) * 2008-03-06 2009-09-10 Ran Oz Method and system for rate reduction of video streams
JP2012235419A (ja) * 2011-05-09 2012-11-29 Jvc Kenwood Corp 映像信号処理装置及び映像信号処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457228B2 (en) * 2019-09-23 2022-09-27 Axis Ab Video encoding method and method for reducing file size of encoded video

Also Published As

Publication number Publication date
EP2974323A1 (en) 2016-01-20
WO2014143988A1 (en) 2014-09-18
TWI562623B (en) 2016-12-11
US9578333B2 (en) 2017-02-21
TWI584636B (zh) 2017-05-21
US20140269938A1 (en) 2014-09-18
US20170078678A1 (en) 2017-03-16
TW201644279A (zh) 2016-12-16
US9787999B2 (en) 2017-10-10
KR20150132372A (ko) 2015-11-25
CN105027572A (zh) 2015-11-04
TW201442495A (zh) 2014-11-01

Similar Documents

Publication Publication Date Title
US9787999B2 (en) Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames
JP5897134B2 (ja) モバイルマルチメディアリアルタイムトランスコーディングシステム、装置、記憶媒体、および方法
US8935424B2 (en) Method and apparatus for signaling presentation description updates in HTTP streaming
US9401968B2 (en) Method and apparatus for enabling pre-fetching of media
US20120222075A1 (en) Method, terminal, and server for implementing fast playout
US20120185570A1 (en) Method and Apparatus for Indicating Switching Points in a Streaming Session
KR20110138276A (ko) 미디어 파일 스트리밍을 위한 시스템, 방법 및 장치
US20140109156A1 (en) Method, terminal, server and system for playing media file
US9794375B2 (en) Method, apparatus, and non-transitory computer medium for obtaining a required frame size for a compressed data frame
US9680901B2 (en) Method, apparatus and non-transitory computer medium for encoding data of a media file
WO2019245685A1 (en) Methods and apparatus for updating media presentation data
US20130007863A1 (en) Streaming video to cellular phones
US20140232813A1 (en) Using metadata for video message modifications among wireless communication devices
TW201419838A (zh) 傳送用於串流媒體之狀態資訊
WO2016062092A1 (zh) 一种实现加密视频处理的方法及移动终端
WO2019085243A1 (zh) 一种音视频数据播放方法以及服务器和客户端
US11012723B2 (en) Service descriptions for multimedia streaming
US10484725B2 (en) Information processing apparatus and information processing method for reproducing media based on edit file
US11303940B2 (en) Transmission apparatus, transmission method, and non-transitory computer-readable storage medium
US20140279848A1 (en) Operation-based content packaging
KR102491247B1 (ko) 네트워크 상에서 실시간 멀티미디어 서비스의 품질을 제어하는 방법 및 이를 위한 장치
CN117082266A (zh) 直播中继方法、直播数据接收方法、装置、设备和介质
KR20210109591A (ko) 초기화 계층을 사용하는 유연한 상호운용성 및 능력 시그널링
KR20170039916A (ko) 애플리케이션의 구동을 처리하는 클라우드 서버, 미디어 재생 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180702