JP2021505081A - ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体 - Google Patents

ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP2021505081A
JP2021505081A JP2020529571A JP2020529571A JP2021505081A JP 2021505081 A JP2021505081 A JP 2021505081A JP 2020529571 A JP2020529571 A JP 2020529571A JP 2020529571 A JP2020529571 A JP 2020529571A JP 2021505081 A JP2021505081 A JP 2021505081A
Authority
JP
Japan
Prior art keywords
video
data
reference data
segment
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020529571A
Other languages
English (en)
Other versions
JP7030984B2 (ja
Inventor
振宇 李
振宇 李
▲錦▼▲輝▼ ▲張▼
▲錦▼▲輝▼ ▲張▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2021505081A publication Critical patent/JP2021505081A/ja
Application granted granted Critical
Publication of JP7030984B2 publication Critical patent/JP7030984B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • H04N21/23655Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041Arrangements at the transmitter end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/222Secondary servers, e.g. proxy server, cable television Head-end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746Control signals issued by the network directed to the server or the client
    • H04N21/64761Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64776Control signals issued by the network directed to the server or the client directed to the server for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本出願は、ビデオ伝送の分野に属し、ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体を開示する。方法は、ターゲットビデオデータセグメントを取得するステップと、t個の参照データセットを取得するステップと、各参照データセットを使用してターゲットビデオデータセグメントを符号化して、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するステップであって、t個の符号化データブロック内の任意のk個の符号化データブロックと、t個の参照データセット内の、任意のk個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとで、連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである、ステップと、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップであって、各第1の参照データグループが1つの符号化データブロックおよび対応する参照データセットを含む、ステップとを含む。本出願では、ライブビデオにおいてフリーズおよび遅延が発生する確率を下げることができる。

Description

本出願は、2017年11月30日付で中国特許庁に出願された、「VIDEO TRANSMISSION METHOD, APPARATUS, AND SYSTEM, AND COMPUTER READABLE STORAGE MEDIUM」という名称の中国特許出願第CN201711244047.2号の優先権を主張するものであり、参照により上記中国特許出願の全体が本明細書に組み入れられる。
本出願は、ビデオ伝送分野に関し、特に、ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体に関する。
現在、ネットワークライブブロードキャストが人々の日常生活においてますます一般的になってきている。ネットワークライブブロードキャストとは、ライブブロードキャストネットワークを使用して行われるライブビデオブロードキャストを意味する。ネットワークライブブロードキャストプロセスにおいては、アンカ端末がライブビデオを撮影し、そのライブビデオを対応するサーバに送信し、次いでサーバがそのライブビデオを視聴者端末に送信して、視聴者端末が属するユーザがライブビデオを見る。ネットワークライブブロードキャスト中には、ライブビデオの上りリンクと下りリンクの両方がリアルタイムであり、ライブブロードキャストネットワークはライブビデオを事前にキャッシュすることができない。加えて、ライブビデオの遅延の程度およびフリーズの程度についてのユーザの要件は比較的高い。したがって、ライブビデオの低遅延および低フリーズを保証するためにライブビデオの上り速度と下り速度とをどのように保証するかが、ネットワークライブブロードキャストの重要な部分になる。
関連技術では、ライブブロードキャストネットワークは、コンテンツ配信ネットワーク(英語:Content Delivery Network、略称:CDN)を含み得る。ライブビデオの上りプロセスにおいて、アンカ端末はCDNネットワーク内のフロントエンドサーバにライブビデオを送信してもよく、フロントエンドサーバはライブビデオをCDNネットワーク内のバックグラウンドストレージサーバに転送し得る。下りライブブロードキャストプロセスにおいて、視聴者端末はライブビデオをCDNネットワーク内の別のフロントエンドサーバに要求してもよく、要求を受信したフロントエンドサーバは、バックグラウンドストレージサーバからライブビデオを取得し、そのライブビデオを視聴者端末に送信し得る。CDNネットワークは、データがより速くより安定して伝送されるように、データ伝送の速度および安定性に影響を及ぼし得るインターネット上のボトルネックおよびプロセスを可能な限り回避することができる。したがって、関連技術は、ライブビデオの上り速度と下り速度とをある程度まで保証することができる。
本出願を実施する過程で、本発明者は、先行技術に少なくとも以下の問題があることに気づいた。
ライブビデオの上りプロセスにおいて、パケット損失が発生した場合、アンカ端末はビデオデータを再送する必要があり、これによりライブビデオのフリーズおよび遅延が容易に引き起こされる。
本出願は、ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体を提供する。本出願で提供される技術的解決策は、ライブビデオでフリーズおよび遅延が発生する確率を下げることができる。本出願で提供される技術的解決策は以下のとおりである。
第1の態様によれば、ビデオ伝送方法が提供され、方法はライブブロードキャストネットワークにおいてビデオ符号化デバイスで使用され、ライブブロードキャストネットワークは、ビデオ符号化デバイスと、ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、方法が、
ターゲットビデオデータセグメントを取得するステップであって、ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、ステップと、
t個の参照データセットを取得するステップであって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、ステップと、
各参照データセットを使用してターゲットビデオデータセグメントを符号化して、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するステップであって、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである、ステップと、
n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップであって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、ステップとを含む。
本出願では、ビデオ符号化デバイスは、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化してもよく、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
本出願の一実施形態では、各参照データセットが、k個のデータブロックと一対一の対応関係にあるk個の参照データを含み、各参照データセットを使用してターゲットビデオデータセグメントを符号化して、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するステップは、
参照データセットごとに、参照データセットに含まれる各参照データを対応するデータブロックで乗算して、k個の積を取得するステップと、
k個の積を加算して、参照データセットに対応する符号化データブロックを取得するステップとを含む。
本出願の一実施形態では、ターゲットビデオデータセグメントを取得するステップは、
送信されるべきライブビデオのビデオデータストリームを取得するステップと、
ビデオデータストリームからデータブロックを取得するステップと、
第1の事前設定時間において、取得されたデータブロックの数がk以上である場合、取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成するステップ、または
取得されたデータブロックの数が第1の事前設定時間の終了時にk未満である場合、事前設定データを使用して取得されたデータブロックをパディングして、k個のデータブロックを取得し、パディングによって取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成するステップとを含む。
場合によっては、ネットワーク通信品質の問題が原因で、ビデオ符号化デバイスは、比較的低速でビデオデータストリームを取得し得る。この場合、ビデオ符号化デバイスは、ビデオデータストリームからk個のデータブロックをすぐに取得することができず、ビデオ符号化デバイスの符号化速度が比較的遅くなる可能性がある。ビデオ符号化デバイスの符号化速度を保証するために、本出願では、ビデオ符号化デバイスが第1の事前設定時間においてk個のデータブロックの取得に失敗したとき、ビデオ符号化デバイスは、k個のデータブロックを取得するために、事前設定データを使用して取得されたデータブロックにパディングし、次いで、符号化速度を向上させるために、パディングによって取得されたk個のデータブロックを符号化し得る。
本出願の一実施形態では、ターゲットビデオデータセグメントは、ビデオデータストリームからビデオ符号化デバイスによって取得された(p+1)番目のビデオデータセグメントであり、pは1以上の正の整数であり、t個の参照データセットを取得するステップの前に、方法が、
ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信するステップであって、p個の履歴復号差分が、ビデオデータストリームにおいてターゲットビデオデータセグメントに先行するp個のビデオデータセグメントと一対一の対応関係にあり、各履歴復号差分が、復号によって対応するビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時にビデオ復号デバイスに不足している参照データグループの数を表すために使用される、ステップと、
p個の履歴復号差分に基づき、取得される必要のある参照データセットの数tの値を決定するステップとをさらに含む。
任意選択で、p個の履歴復号差分内のi番目の履歴復号差分diは、
ビデオ復号デバイスが、復号によって第2の事前設定時間において、ビデオデータストリーム内の、i番目の履歴復号差分に対応するi番目のビデオデータセグメントを正常に取得する場合、di=0を満たし、
ビデオ復号デバイスが、第2の事前設定時間の終了時に復号によってi番目のビデオデータセグメントの取得に失敗する場合、di=y−xを満たし、式中、yは、復号によりi番目のビデオデータセグメントを正常に取得するためにビデオ復号デバイスによって必要とされる参照データグループの数であり、xは、第2の事前設定時間の終了時にビデオ復号デバイスによって取得されるi番目のビデオデータセグメントに対応する参照データグループの数であり、1≦i≦pである。
任意選択で、p個の履歴復号差分に基づき、取得される必要のある参照データセットの数tの値を決定するステップが、
p個の履歴復号差分と第1の式とに基づき、取得される必要のある参照データセットの数tの値を計算するステップであって、第1の式が、
であり、式中、
であり、式中、gは、重みパラメータであり、diは、p個の履歴復号差分内のi番目の履歴復号差分diであり、tpは、ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前にビデオ符号化デバイスによって取得された参照データセットの数である、ステップを含む。
本出願の一実施形態では、ターゲットビデオデータセグメントは、ビデオデータストリームからビデオ符号化デバイスによって取得された最初のビデオデータセグメントであり、t個の参照データセットを取得するステップの前に、方法が、
ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの数tの値を決定するステップをさらに含む。
任意選択で、ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの数tの値を決定するステップが、
ライブブロードキャストネットワークの平均パケット損失率と第2の式とに基づき、取得される必要のある参照データセットの数tの値を計算するステップであって、第2の式が、
であり、式中、ρが、ライブブロードキャストネットワークの平均パケット損失率であり、
が、切り捨て演算子である、ステップを含む。
t個の参照データセットを取得する前に、ビデオ符号化デバイスは、第1の式または第2の式に基づいてtの値を決定するので、ビデオ符号化デバイスがtに適正な値を設定することを保証でき、それによって、ライブブロードキャストネットワークのネットワークリソースの無駄が回避され、ビデオ復号デバイスが復号によりターゲットビデオデータセグメントを正常に取得できない事例が回避される。
本出願の一実施形態では、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップの後に、方法が、
ビデオ復号デバイスによって送信された現在の復号差分を受信するステップであって、現在の復号差分がターゲットビデオデータセグメントに対応し、現在の復号差分が、復号によりターゲットビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時にビデオ復号デバイスに不足している第1の参照データグループの数を表すために使用される、ステップと、
現在の復号差分が事前設定差分閾値より大きい場合、m個の参照データセットを取得し、m個の参照データセットの各々を使用してターゲットビデオデータセグメントを符号化して、m個の参照データセットと一対一の対応関係にあるm個の符号化データブロックを取得するステップであって、mがk以上の正の整数である、ステップと、
q台のフロントエンドサーバを使用してビデオ復号デバイスにm個の第1の参照データグループを送信するステップであって、qが1以上の正の整数である、ステップとをさらに含む。
ビデオ復号デバイスが復号によるターゲットビデオデータセグメントの取得に失敗した場合、ビデオ符号化デバイスは、ビデオ復号デバイスが復号によりターゲットビデオデータセグメントを正常に取得できるようにするために、第1の参照データグループをさらに再送し得る。
本出願の一実施形態では、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップの前に、方法が、
ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバを決定するステップであって、rがn以上の正の整数である、ステップと、
ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度に基づいてr台のフロントエンドサーバの中からn台のフロントエンドサーバを決定するステップであって、n台のフロントエンドサーバとビデオ符号化デバイスとの間の通信品質が別のフロントエンドサーバとビデオ符号化デバイスとの間の通信品質よりも良好である、ステップとをさらに含む。
任意選択で、ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度に基づいてr台のフロントエンドサーバの中からn台のフロントエンドサーバを決定するステップが、
第3の式と、ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度とに基づいて各フロントエンドサーバの利用価値を計算するステップであって、第3の式が、
であり、式中、ujが、r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、1≦j≦rであり、thrjが、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjが、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のパケット損失率であり、ρが、ライブブロードキャストネットワークの平均パケット損失率であり、βが、定数である、ステップと、
r台のフロントエンドサーバの中からn台のフロントエンドサーバを利用価値の降順に決定するステップとを含む。
任意選択で、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップが、
各フロントエンドサーバの利用価値に基づき、各フロントエンドサーバに対応する第1の参照データグループの数を決定するステップであって、フロントエンドサーバに対応する第1の参照データグループの数がフロントエンドサーバの利用価値と正に相関し、n台のフロントエンドサーバに対応する第1の参照データグループの数の和がtである、ステップと、
各フロントエンドサーバに対応する数の第1の参照データグループを送信するステップとを含む。
任意選択で、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップが、
第4の式に基づき、n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を決定するステップであって、第4の式が、
であり、式中、ylが、n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulが、最初のフロントエンドサーバの利用価値であり、
が、n台のフロントエンドサーバの利用価値の和であり、1≦l≦nである、ステップと、
各フロントエンドサーバが受信した第1の参照データグループをビデオ復号デバイスに送信するように、各フロントエンドサーバに対応する数の第1の参照データグループを送信するステップとを含む。
ビデオ符号化デバイスは、ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバの中からより良いネットワーク通信品質を有するn台のフロントエンドサーバを決定し、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信し得る。ビデオ符号化デバイスと決定されたn台のフロントエンドサーバとの間のネットワーク通信品質が比較的高いため、ビデオ符号化デバイスはn台のフロントエンドサーバを使用して比較的高速でデータを送信するので、ビデオデータストリームの上り速度を保証することができる。
加えて、利用価値が比較的大きいフロントエンドサーバとビデオ符号化デバイスとの間のネットワーク通信品質は比較的高く、ビデオ符号化デバイスはフロントエンドサーバに比較的多数の第1の参照データグループを送信し得る。利用価値が比較的小さいフロントエンドサーバとビデオ符号化デバイスとの間のネットワーク通信品質は比較的低く、データ伝送遅延を減らすために、ビデオ符号化デバイスはフロントエンドサーバに比較的少数の第1の参照データグループを送信し得る。
本出願の一実施形態では、ターゲットビデオデータセグメントを取得するステップの前に、方法が、
データブロックの数kに対応する伝送遅延が事前設定伝送遅延範囲内に収まるように、伝送遅延とデータブロックの数との間の事前設定対応関係に基づいてターゲットビデオセグメント内のデータブロックの数kを決定するステップであって、伝送遅延が、アンカ端末がビデオ復号デバイスにビデオデータセグメントを送信するときに存在している伝送遅延である、ステップをさらに含む。
任意選択で、対応関係は、
であり、式中、delayは、伝送遅延であり、Bは、データブロックのデータ量サイズであり、bit_rateは、送信されるべきライブビデオのビデオ再生ビットレートであり、T0は、そのデータ量サイズがB0であるK0個のデータブロックを含むビデオデータセグメントを符号化または復号するのに必要な時間であり、βは、定数であり、ρminは、ビデオ符号化デバイスとn台のフロントエンドサーバの各々との間のパケット損失率の最小値であり、ρは、ライブブロードキャストネットワークの平均パケット損失率であり、thrwは、ビデオ符号化デバイスとn台のフロントエンドサーバ内のw番目のフロントエンドサーバとの間のデータ伝送速度であり、ρwは、ビデオ符号化デバイスとn台のフロントエンドサーバ内のw番目のフロントエンドサーバとの間のパケット損失率であり、RTTvは、n台のフロントエンドサーバ内のv番目のフロントエンドサーバとビデオ復号デバイスとの間のデータパケットの往復時間であり、loss%vは、n台のフロントエンドサーバ内のv番目のフロントエンドサーバとビデオ復号デバイスとの間のパケット損失率であり、RTOは、再送タイムアウトであり、maxは、最大化演算であり、Δは、エラー遅延であり、1≦v≦nである。
kに適正な値が設定されるので、ビデオデータセグメントの上り遅延を事前設定伝送遅延範囲内とすることができ、それによって、ビデオデータセグメントの上り速度が保証され、視聴者端末が送信されるべきライブビデオを再生するときにフリーズが非常に頻繁に発生するかまたは遅延が非常に長いという現象が回避される。
本出願の一実施形態では、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップが、
a個の参照データパケットを生成するステップであって、各参照データパケットが少なくとも1つの第1の参照データグループを含み、参照データパケットのフォーマットがユーザデータグラムプロトコルUDPベースのデータ伝送プロトコルUDTフォーマットであり、aが1以上の正の整数である、ステップと、
n台のフロントエンドサーバを使用してビデオ復号デバイスにa個の参照データパケットを送信するステップとを含む。
先行技術では、ライブブロードキャストネットワークで使用されるデータ伝送プロトコルは通常、伝送制御プロトコル(英語:Transmission Control Protocol、略称:TCP)であり、TCPプロトコルの輻輳制御機構は、加法的増加乗法的減少(英語:Additive Increase Multiplicative Decrease、略称:AIMD)機構である。AIMD機構では、パケット損失がリンク上で発生すると、リンクの送信ウィンドウが半減される。例えば、送信側デバイスAと受信側デバイスBとの間でパケット損失が発生すると、AIMD機構は送信側デバイスAの送信ウィンドウを半減させる。送信ウィンドウが半減されると、データ伝送速度が比較的重大な影響を受ける。したがって、ビデオデータストリームがTCPプロトコルに基づいてライブブロードキャストネットワークで伝送される場合、パケット損失がビデオデータストリームの伝送速度に比較的重大な影響を及ぼし、視聴者端末がライブビデオを再生するときに遅延が非常に長くフリーズが非常に頻繁に発生するという現象を引き起こす。
パケット損失によってライブブロードキャストネットワークにおけるビデオデータストリームの伝送速度に与えられる影響を低減させるために、本出願の本実施形態では、ライブブロードキャストネットワークはビデオデータストリームをUDTプロトコルに基づいて伝送し得る。具体的には、ビデオ符号化デバイスは、UDTプロトコルに基づいてビデオ復号デバイスにa個の参照データパケットを送信する。UDTプロトコルの輻輳制御機構は、減少加法的増加乗法的減少(英語:Decreasing Additive Increase Multiplicative Decrease、略称:DAIMD)機構である。DAIMD機構では、パケット損失がリンク上で発生すると、リンクの利用可能な帯域幅に基づいて送信ウィンドウが低減されてもよく、送信ウィンドウの低減の大きさは、1/8〜1/2の乱数である。したがって、パケット損失によってライブブロードキャストネットワークにおけるビデオデータストリームの伝送速度に与えられる影響を、TCPプロトコルでの影響と比較して低減させることができる。
本出願の一実施形態では、各参照データパケットは、ターゲットビデオデータセグメントの識別子および/または送信されるべきライブビデオが属するライブブロードキャストチャネルの識別子をさらに含む。
第2の態様によれば、ビデオ伝送方法が提供され、方法はライブブロードキャストネットワークにおいてビデオ復号デバイスで使用され、ライブブロードキャストネットワークは、ビデオ符号化デバイスと、ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、方法が、
u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップであって、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、ステップと、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するステップと、
連立方程式行列の計算された解行列のデータを、ターゲットビデオデータセグメントのデータとして決定するステップとを含む。
本出願の一実施形態では、u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップが、
u台のフロントエンドサーバによって送信された少なくとも1つの参照データパケットを受信するステップであって、各参照データパケットが少なくとも1つの第1の参照データグループを含み、参照データパケットのフォーマットがユーザデータグラムプロトコルUDPベースのデータ伝送プロトコルUDTフォーマットである、ステップを含む。
本出願の一実施形態では、方法が、
事前設定記憶場所に格納された第1の参照データグループの数が第2の事前設定時間の終了時にk未満である場合、事前設定記憶場所に格納された第1の参照データグループを削除するステップをさらに含む。
本出願の一実施形態では、方法が、
受信した第1の参照データグループの数が第2の事前設定時間の終了時にk未満である場合、受信した第1の参照データグループの数とkとの差分の絶対値を取得するステップと、
その絶対値を現在の復号差分としてビデオ符号化デバイスに送信するステップとをさらに含む。
ビデオ復号デバイスが第1の参照データグループを削除する場合、第1の参照データグループが過度に長い時間にわたって事前設定記憶場所を占有するために、他のビデオデータセグメントを符号化することによって取得された参照データグループが事前設定記憶場所からあふれるという事例を回避することができる。ビデオ復号デバイスが第1の参照データグループを削除せず、ビデオ符号化デバイスに現在の復号差分を送信する場合、ビデオ符号化デバイスによってビデオ復号デバイスに続いて再送される第1の参照データグループの数を低減させることができ、それによってネットワークリソースが節約される。
本出願の一実施形態では、方法が、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達した後、ビデオ符号化デバイスに現在の復号差分を送信するステップであって、現在の復号差分が0である、ステップをさらに含む。
本出願の一実施形態では、符号化データブロックと、受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するステップは、
受信したk個の第1の参照データグループをパースして、k個の符号化データブロックと、k個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとを取得するステップと、
k個の符号化データブロックを使用して連立方程式行列の定数項行列を構築するステップであって、各符号化データブロックが定数項行列の1行として使用される、ステップと、
k個の参照データセットを使用して連立方程式行列の係数行列を構築するステップであって、各参照データセットが係数行列の1行として使用され、各参照データセットが係数行列において位置する行の階数が、対応する符号化データブロックが定数項行列において位置する行の階数と同じである、ステップとを含む。
本出願の一実施形態では、u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップの後に、方法が、
少なくとも2つの第1の参照データグループを事前設定記憶場所に格納するステップをさらに含む。
本出願の一実施形態では、事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて決定され、
最大遅延時間は、ビデオ符号化デバイスによってフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、最小遅延時間は、ビデオ符号化デバイスによってフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最小時間である。
任意選択で、事前設定記憶場所の記憶空間サイズは第6の式を満たし、第6の式は、
であり、式中、Qは、事前設定記憶場所の記憶空間サイズであり、max(delay)は、最大遅延時間であり、min(delay)は、最小遅延時間であり、generate_timeは、ビデオデータストリーム内のビデオデータセグメントの生成時間であり、sは、ビデオデータセグメントのデータ量サイズである。
事前設定記憶場所は、複数のビデオデータセグメントを符号化することによって取得された参照データグループを同時に格納することが必要になる場合がある。事前設定記憶場所の記憶空間が過度に小さいことに起因する事前設定記憶場所からの参照データグループのオーバフローを回避するために、本出願の本実施形態では事前設定記憶空間に適正な記憶空間サイズが設定され得る。
第3の態様によれば、ビデオ伝送装置が提供され、装置は、少なくとも1つのモジュールを含み、少なくとも1つのモジュールは、第1の態様または第1の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施するように構成される。
第4の態様によれば、ビデオ伝送装置が提供され、装置は、少なくとも1つのモジュールを含み、少なくとも1つのモジュールは、第2の態様または第2の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施するように構成される。
第5の態様によれば、ビデオ伝送装置が提供され、装置は、プロセッサとメモリとを含み、
プロセッサは、メモリに格納された命令を実行するように構成され、プロセッサは、第1の態様または第1の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施するために命令を実行する。
第6の態様によれば、ビデオ伝送装置が提供され、装置は、プロセッサとメモリとを含み、
プロセッサは、メモリに格納された命令を実行するように構成され、プロセッサは、第2の態様または第2の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施するために命令を実行する。
第7の態様によれば、コンピュータ可読記憶媒体が提供され、コンピュータ可読記憶媒体は命令を格納し、命令がコンピュータの処理コンポーネントで動作すると、処理コンポーネントは、第1の態様もしくは第1の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施可能となるか、または処理コンポーネントは、第2の態様もしくは第2の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施可能となる。
本発明の実施形態で提供される技術的解決策によってもたらされる有益な効果は以下のとおりである。
ビデオ符号化デバイスは、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
関連技術において提供されるライブブロードキャストネットワークの概略図である。 本出願の一実施形態によるライブブロードキャストネットワークの概略図である。 本出願の一実施形態による別のライブブロードキャストネットワークの概略図である。 本出願の一実施形態によるビデオ伝送方法の流れ図である。 本出願の一実施形態による、ρ=0.03およびβが異なる値を有する場合のρj との間の関係曲線の図である。
本出願の一実施形態によるビデオ伝送方法のいくつかのステップの流れ図である。 本出願の一実施形態によるビデオ伝送方法のいくつかのステップの流れ図である。 本出願の一実施形態による、伝送遅延とデータブロックの数kとの間の対応関係の概略図である。 本出願の一実施形態によるビデオ伝送装置のブロック図である。 本出願の一実施形態によるビデオ伝送装置のブロック図である。 本出願の一実施形態によるビデオ伝送装置のブロック図である。 本出願の一実施形態によるビデオ伝送装置のブロック図である。 本出願の一実施形態によるビデオ伝送装置のブロック図である。 本出願の一実施形態によるビデオ伝送装置のブロック図である。
本出願の目的、技術的解決策、および利点をより明確にするために、以下で、添付の図面に関連して本出願の実施態様を詳細にさらに説明する。
ネットワークライブブロードキャストとは、ライブブロードキャストネットワークを使用して行われるライブビデオブロードキャストを意味する。図1に示されるように、関連技術では、ライブブロードキャストネットワークは、アンカ端末101と、視聴者端末102と、アンカ端末101と視聴者端末102との間に位置するコンテンツ配信ネットワーク(英語:Content Delivery Network、略称:CDN)103とを含み得る。CDNネットワーク103は、複数のフロントエンドサーバ(図1では、2台のフロントエンドサーバ、すなわち、フロントエンドサーバBおよびフロントエンドサーバDのみが例として使用されている)と、集中コントローラAと、バックグラウンドストレージサーバCを含み得る。
実際の適用において、ネットワークライブブロードキャストは、2つのプロセス、すなわち、ライブビデオの上りリンクとライブビデオの下りリンクとを含み得る。ライブビデオの上りプロセスでは、アンカ端末101は、ライブビデオを撮影し、CDNネットワーク103内の集中コントローラAにアップロード要求を送信し得る。アップロード要求を受信した後、集中コントローラAは、特定のスケジューリングポリシーに基づいてアンカ端末101に、CDNネットワーク103内のフロントエンドサーバBのインターネットプロトコル(英語:Internet Protocol、略称:IP)アドレスを返し得る。フロントエンドサーバBは、CDNネットワーク103の複数のフロントエンドサーバ内の、地理的位置においてアンカ端末101に最も近いフロントエンドサーバである。アンカ端末101は、受信したIPアドレスに基づいてフロントエンドサーバBにライブビデオのビデオデータストリームを送信し得る。ビデオデータストリームを受信したフロントエンドサーバBは、そのビデオデータストリームをCDNネットワーク103内のバックグラウンドストレージサーバCに転送し得る。
ライブビデオの下りプロセスでは、視聴者端末102は集中コントローラAに視聴要求を送信し得る。視聴要求を受信した後、集中コントローラAは、特定のスケジューリングポリシーに基づいて視聴者端末102に、CDNネットワーク103内のフロントエンドサーバDのIPアドレスを返し得る。フロントエンドサーバDは、CDNネットワーク103の複数のフロントエンドサーバ内の、地理的位置において視聴者端末102に最も近いフロントエンドサーバである。視聴者端末102は、受信したIPアドレスに基づいてフロントエンドサーバDにデータストリーム取得要求を送信し得る。データストリーム取得要求を受信したフロントエンドサーバDは、バックグラウンドストレージサーバCからビデオデータストリームを取得し、そのビデオデータストリームを視聴者端末102に送信し得るので、視聴者端末102は受信したビデオデータストリームに基づいてライブビデオを再生する。
ライブビデオの上りプロセスにおいて、パケット損失が発生した場合、アンカ端末はビデオデータを再送する必要があり、これによりライブビデオのフリーズおよび遅延が容易に引き起こされる。加えて、先行技術では、アンカ端末はライブビデオを、CDNネットワーク内の1台のフロントエンドサーバのみに送信する。この単一パスのビデオデータ送信方法が原因で、アンカ端末の上り帯域幅利用度が比較的低くなる。実際の適用において、ライブブロードキャストネットワークの上り帯域幅は通常、比較的小さい。これにより、アンカ端末の上り帯域幅利用度が比較的低いためにライブビデオの上り速度が比較的低くなり、したがって、ライブビデオのフリーズおよび遅延が発生しやすい。
ライブビデオでフリーズおよび遅延が発生する確率を下げるために、本出願は、ビデオ伝送方法を提供する。図2Aは、本ビデオ伝送方法におけるライブブロードキャストネットワークの概略図である。図2Aに示されるように、ライブブロードキャストネットワークは、アンカ端末201と、CDNネットワーク202と、視聴者端末203とを含み得る。アンカ端末201および視聴者端末203は、携帯電話やタブレットコンピュータなどの、ビデオ再生機能を備えた電子デバイスであってもよく、CDNネットワーク202は、複数のフロントエンドサーバ2021と、ビデオ復号サーバ2022と、バックグラウンドストレージサーバ2023とを含み得る。図2Aに示されるライブブロードキャストネットワークにおいて、アンカ端末201は、CDNネットワーク202内の複数のフロントエンドサーバ2021のうちの少なくとも2台と通信し(図2Aには、アンカ端末201と通信する2台のフロントエンドサーバ2021のみが示されている)、少なくとも2台のフロントエンドサーバ2021の各々がビデオ復号サーバ2022と通信し、ビデオ復号サーバ2022はバックグラウンドストレージサーバ2023と通信し得る。視聴者端末203は、CDNネットワーク202内の複数のフロントエンドサーバ2021のうちの少なくとも1台と通信し(図2Aには、視聴者端末203を通信する1台のフロントエンドサーバ2021のみが示されている)、少なくとも1台のフロントエンドサーバ2021の各々がバックグラウンドストレージサーバ2023と通信し得る。
図2Bは、本出願によるビデオ伝送方法における別のライブブロードキャストネットワークの概略図である。図2Bに示されるライブブロードキャストネットワークのアーキテクチャは、図2Aに示されるライブブロードキャストネットワークのアーキテクチャと基本的に同じである。このライブブロードキャストネットワークも、アンカ端末201と、CDNネットワーク202と、視聴者端末203とを含み、このCDNネットワーク202も、複数のフロントエンドサーバ2021と、ビデオ復号サーバ2022と、バックグラウンドストレージサーバ2023とを含み得る。図2Bに示されるライブブロードキャストネットワークのアーキテクチャは、図2Bに示されるライブブロードキャストネットワークがビデオ符号化サーバ204をさらに含むという点で、図2Aに示されるライブブロードキャストネットワークのアーキテクチャと異なる。図2Bのライブブロードキャストネットワークにおいて、アンカ端末201はビデオ符号化サーバ204と通信し、ビデオ符号化サーバ204は、CDNネットワーク202内の複数のフロントエンドサーバ2021のうちの少なくとも2台と通信し(図2Bには、ビデオ符号化サーバ204を通信する2台のフロントエンドサーバ2021のみが示されている)、少なくとも2台のフロントエンドサーバ2021の各々がビデオ復号サーバ2022と通信し得る。
本出願の一実施形態では、図2Aおよび図2Bに示されるライブブロードキャストネットワークにおいて、CDNネットワーク202は集中コントローラをさらに含み得ることに留意されたい。図2Aに示されるライブブロードキャストネットワークにおいて、集中コントローラは、アンカ端末201および視聴者端末203と別々に通信し得る。図2Bに示されるライブブロードキャストネットワークにおいて、集中コントローラは、ビデオ符号化サーバ204および視聴者端末203と別々に通信し得る。
図3Aは、本出願の一実施形態によるビデオ伝送方法の流れ図である。ビデオ伝送方法は、図2Aまたは図2Bに示されるライブブロードキャストネットワークに適用され得る。図3Aに示されるように、ビデオ伝送方法は以下のステップを含み得る。
ステップ301:ビデオ符号化デバイスが、送信されるべきライブビデオのビデオデータストリームからターゲットビデオデータセグメントを取得する。
ビデオ符号化デバイスは、図2Aのアンカ端末201であり得るか、または図2Bのビデオ符号化サーバ204であり得ることに留意されたい。言い換えると、本出願の本実施形態では、アンカ端末がターゲットビデオデータセグメントを取得し、後続のステップでそのターゲットビデオデータセグメントを符号化する技術プロセスを行い得るか、またはビデオ符号化サーバがターゲットビデオデータセグメントを取得し、後続のステップでそのターゲットビデオデータセグメントを符号化する技術プロセスを行い得る。
ビデオ符号化デバイスがアンカ端末である場合、ライブブロードキャストネットワークにビデオ符号化サーバが配置されなくてもよいので、ハードウェアオーバーヘッドを減らすことができ、ライブブロードキャストネットワークの配置コストを削減することができる。ビデオ符号化デバイスがビデオ符号化サーバである場合、アンカ端末は、ターゲットビデオデータセグメントを符号化する技術プロセスを行わなくてもよい。したがって、アンカ端末上にインストールされたネットワークライブブロードキャストアプリケーションにビデオ符号化機能が追加される必要がなく、言い換えると、既存のネットワークライブブロードキャストアプリケーションが変更される必要がない。したがって、ソフトウェアオーバーヘッドが比較的低く、本出願の本実施形態で提供されるビデオ伝送方法が既存のネットワークライブブロードキャストアプリケーションと共存できることが保証され得る。
ビデオ符号化デバイスがアンカ端末である場合、ステップ301で、ビデオ符号化デバイスは、ビデオ符号化デバイスによって撮影された送信されるべきライブビデオのビデオデータストリームを取得し、ビデオデータストリームから複数のビデオデータセグメントを連続して取得し得る。ターゲットビデオデータセグメントは、複数のビデオデータセグメントのうちの1つである。本出願の本実施形態では、ターゲットビデオデータセグメントを符号化、復号、および伝送するプロセスのみが、本出願で提供される技術的解決策を説明する例として使用されている。本出願で別のビデオデータセグメントを処理する方法は、ターゲットビデオデータセグメントを処理する方法と同じである。
ビデオ符号化デバイスがビデオ符号化サーバである場合、ステップ301で、ビデオ符号化デバイスは、アンカ端末によって送信された送信されるべきライブビデオのビデオデータストリームを取得し、受信したビデオデータストリームから複数のビデオデータセグメントを連続して取得し得る。ターゲットビデオデータセグメントは、複数のビデオデータセグメントのうちの1つである。ビデオ符号化デバイスがビデオ符号化サーバである場合、ビデオ符号化デバイスは、地理的にアンカ端末に比較的近い、基地局などの位置に配置され得るので、ビデオ符号化デバイスとアンカ端末との間のネットワーク通信品質を保証することができ、それによって、アンカ端末がビデオ符号化デバイスにビデオデータストリームを送信する速度が向上することに留意されたい。
実際の適用において、ターゲットビデオデータセグメントは、同じサイズのk個のデータブロックを含んでいてもよく、kは1以上の正の整数である。本出願の本実施形態では、データブロックのサイズは、送信されるべきライブビデオのビデオデータストリームカプセル化フォーマットに基づいて設定され得る。例として、トランスポートストリーム(英語:Transport Stream、略称:ts)カプセル化フォーマットを使用する。tsカプセル化フォーマットでは、1つのtsパケットのサイズが188バイトである。イーサネットにおける最大伝送単位のサイズ(英語:Maximum Transmission Unit、略称:MTU)が1500バイトであるので、イーサネットにおける1つのデータフレームは最大で7tsパケット、すなわち、1316バイトをカプセル化することができる。この場合、データブロックのサイズは1316バイトに設定され得る。
上述したように、ビデオ符号化デバイスがビデオ符号化サーバである場合、ビデオ符号化デバイスは、アンカ端末によって送信された送信されるべきライブビデオのビデオデータストリームを受信し、ターゲットビデオデータセグメントを形成するために、ビデオデータストリームからターゲットビデオデータセグメントを取得する、言い換えると、ビデオデータストリームからk個のデータブロックを取得する必要がある。しかしながら、場合によっては、アンカ端末とビデオ符号化デバイスとの間のネットワーク通信品質が比較的低く、したがって、アンカ端末とビデオ符号化デバイスとの間でビデオデータストリームを伝送する速度が比較的低い。この場合、ビデオ符号化デバイスが十分なビデオデータストリームを受信できないので、ビデオ符号化デバイスは、受信したビデオデータストリームからk個のデータブロックを取得すること、すなわち、ターゲットビデオデータセグメントを取得することができない。
ビデオ符号化デバイスがターゲットビデオデータセグメントを取得する際の遅延が長すぎ、送信されるべきライブビデオの上り速度に影響を及ぼす事例を回避するために、本出願の一実施形態では、ビデオ符号化デバイスに第1の事前設定時間が設定され得る。ビデオ符号化デバイスは、ビデオデータストリームからターゲットビデオデータセグメントの最初のデータブロックを取得した後に計時を開始し、計時プロセスにおいて、ビデオ符号化デバイスによって取得されたデータブロックの数を監視し得る。ビデオ符号化デバイスが、第1の事前設定時間内の任意の時点で、ビデオ符号化デバイスによって取得されたデータブロックの数がkに達したことを検出すると、ビデオ符号化デバイスは、取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成し得る。ビデオ符号化デバイスによって取得されたデータブロックの数が第1の事前設定時間の終了時に依然としてk未満である場合、ビデオ符号化デバイスは、k個のデータブロックを取得するために、事前設定データ(例えば、事前設定データは0であり得る)を使用して取得されたデータブロックをパディングでき、次いでビデオ符号化デバイスは、パディングによって取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成し得る。このようにして、ビデオ符号化デバイスがターゲットビデオデータセグメントを取得する時間は第1の事前設定時間を超えず、それによって、ビデオ符号化デバイスがターゲットビデオデータセグメントを取得する際の遅延が長すぎて、送信されるべきライブビデオの上り速度に影響を及ぼす事例が回避される。
ビデオ符号化デバイスがターゲットビデオデータセグメントを取得した後、ビデオ符号化デバイスはターゲットビデオデータセグメントを符号化し得る。ターゲットビデオデータセグメントを符号化する技術プロセスは、以下のステップ302およびステップ303を含み得る。
ステップ302:ビデオ符号化デバイスがt個の参照データセットを取得し、tがk以上の正の整数である。
ターゲットビデオデータセグメントを符号化するとき、ビデオ符号化デバイスはt個の参照データセットを取得でき、各参照データセットはk個の参照データを含むことができ、k個の参照データは、ターゲットビデオデータセグメントに含まれるk個のデータブロックと一対一の対応関係にある。加えて、t個の参照データセットの各々に含まれるすべてのk個の参照データが1つの参照ベクトルを構築でき、構築されたt個の参照ベクトルのどの2つも互いに線形的に無相関である。
例えば、t個の参照データセット内のi番目の参照データセットがk個の参照データを含み、k個の参照データはCi1、Ci2、...、Ciu、...、Cikであり、Ciuは、ターゲットビデオデータセグメントに含まれるk個のデータブロック内のu番目のデータブロックに対応する。例えば、t個の参照データセット内のj番目の参照データセットもk個の参照データを含み、k個の参照データはCj1、Cj2、...、Cju、...、Cjkであり、Cjuは、ターゲットビデオデータセグメントに含まれるk個のデータブロック内のu番目のデータブロックに対応する。i番目の参照データセットはベクトルCi1、Ci2、...、Ciu、...、Cikを構築でき、j番目の参照データセットはベクトルCj1、Cj2、...、Cju、...、Cjkを構築でき、2つのベクトルは互いに線形的に無相関である。
ステップ303:ビデオ符号化デバイスが、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、各参照データセットを使用してターゲットビデオデータセグメントを符号化する。
本出願の本実施形態では、ステップ303を、ビデオ符号化デバイスが、t個の符号化データブロック内のi番目の符号化データブロックを取得するために、t個の参照データセット内のi番目の参照データセットを使用してターゲットビデオデータセグメントを符号化する技術プロセスを例に使用して、以下で説明する。
ビデオ符号化デバイスは、i番目の参照データセットに含まれる各参照データを、ターゲットビデオデータセグメント内の、i番目の参照データセットに対応するデータブロックで乗算して、k個の積を取得し、次いで、ビデオ符号化デバイスは、k個の積を加算して、i番目の符号化データブロックを取得し得る。
例えば、i番目の参照データセットは、次のk個の参照データ:Ci1、Ci2、...、Ciu、...、Cikを含み、ターゲットビデオデータセグメントは、次のk個のデータブロック:b1、b2、...、bu、...、bkを含み、Ciuはbuに対応する。ビデオ符号化デバイスは、i番目の符号化データブロックai=Ci1×b1+Ci2×b2+...+Ciu×bu+...+Cik×bkを取得するために、i番目の参照データセットに基づいてターゲットビデオデータセグメントを符号化する。
以上の説明から、ビデオ符号化デバイスが、t個の符号化データブロックを取得するために、t個の参照データセットを使用してターゲットビデオデータセグメントを符号化する技術プロセスは、実際には、定数項行列を取得するために、連立方程式行列における係数行列を解行列で乗算することによって表され得ることがわかる。係数行列はt個の参照データセットを含み、解行列は、ターゲットビデオデータセグメント内のk個のデータブロックを含み、定数項行列は、t個の符号化データブロックを含む。具体的には、符号化プロセスは次式として表され得る。
ステップ304:ビデオ符号化デバイスがt個の第1の参照データグループを取得する。
ターゲットビデオデータセグメントを符号化した後にt個の符号化データブロックを取得した後、ビデオ符号化デバイスはt個の第1の参照データグループを取得でき、各第1の参照データグループは1つの符号化データブロックおよびその符号化データブロックに対応する参照データセットを含み得る。例えば、t個の第1の参照データグループ内のi番目の第1の参照データグループは、t個の符号化データブロック内のi番目の符号化データブロックおよびt個の参照データセット内のi番目の参照データセットを含むことができ、i番目の参照データセットはCi1、Ci2、...、Ciu、...、Cikを含む。
ステップ305:ビデオ符号化デバイスが、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信し、nが1以上の正の整数である。
本出願の本実施形態では、ビデオ符号化デバイスは、n台のフロントエンドサーバの各々に少なくとも1つの第1の参照データグループを送信でき、ビデオ符号化デバイスによってn台のフロントエンド送信機に送信された第1の参照データグループの数の和がtに等しい。
任意選択で、ビデオ符号化デバイスはa個の参照データパケットを生成し得る。各参照データパケットは少なくとも1つの第1の参照データグループを含むことができ、a個の参照データパケットはt個の第1の参照データグループを含むことができ、aは1以上の正の整数である。次いで、ビデオ符号化デバイスは、t個の第1の参照データグループをビデオ復号デバイスに送信するために、n台のフロントエンドサーバを使用してビデオ復号デバイスにa個の参照データパケットを送信し得る。本出願の一実施形態では、参照データパケットは、ターゲットビデオデータセグメントの識別子および/または送信されるべきライブビデオが属するライブブロードキャストチャネルの識別子をさらに含み得ることに留意されたい。ビデオ復号デバイスは、図2Aまたは図2Bのビデオ復号サーバ2022であり得ることにさらに留意されたい。
本出願の一実施形態では、参照データパケットのフォーマットは、ユーザデータグラムプロトコル(英語:User Datagram Protocol、略称:UDP)ベースのデータ転送プロトコル(英語:UDP-based Data Transfer Protocol、略称:UDT)フォーマットであり得る。言い換えると、ビデオ符号化デバイスは、UDTプロトコルに基づいてビデオ復号デバイスにa個の参照データパケットを送信し得る。
先行技術では、ライブブロードキャストネットワークで使用されるデータ伝送プロトコルは通常、伝送制御プロトコル(英語:Transmission Control Protocol、略称:TCP)であり、TCPプロトコルの輻輳制御機構は、加法的増加乗法的減少(英語:Additive Increase Multiplicative Decrease、略称:AIMD)機構である。AIMD機構では、パケット損失がリンク上で発生すると、リンクの送信ウィンドウが半減される。例えば、送信側デバイスAと受信側デバイスBとの間でパケット損失が発生すると、AIMD機構は送信側デバイスAの送信ウィンドウを半減させる。送信ウィンドウが半減されると、データ伝送速度が比較的重大な影響を受ける。したがって、ビデオデータストリームがTCPプロトコルに基づいてライブブロードキャストネットワークで伝送される場合、パケット損失がビデオデータストリームの伝送速度に比較的重大な影響を及ぼし、視聴者端末がライブビデオを再生するときに遅延が非常に長くフリーズが非常に頻繁に発生するという現象を引き起こす。
パケット損失によってライブブロードキャストネットワークにおけるビデオデータストリームの伝送速度に与えられる影響を低減させるために、本出願の本実施形態では、ライブブロードキャストネットワークはビデオデータストリームをUDTプロトコルに基づいて伝送し得る。具体的には、ビデオ符号化デバイスは、UDTプロトコルに基づいてビデオ復号デバイスにa個の参照データパケットを送信する。UDTプロトコルの輻輳制御機構は、減少加法的増加乗法的減少(英語:Decreasing Additive Increase Multiplicative Decrease、略称:DAIMD)機構である。DAIMD機構では、パケット損失がリンク上で発生すると、リンクの利用可能な帯域幅に基づいて送信ウィンドウが低減されてもよく、送信ウィンドウの低減の大きさは、1/8〜1/2の乱数である。したがって、パケット損失によってライブブロードキャストネットワークにおけるビデオデータストリームの伝送速度に与えられる影響を、TCPプロトコルでの影響と比較して低減させることができる。
実際の適用において、t個の第1の参照データグループを送信する前に、ビデオ符号化デバイスは、CDNネットワーク内のr台のフロントエンドサーバへの通信接続を確立でき、rはn以上の正の整数である。場合によっては、ビデオ符号化デバイスは、r台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを直接送信し得る。場合によっては、ビデオ符号化デバイスはさらに、ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度に基づいてr台のフロントエンドサーバの中からより良いネットワーク通信品質を有するn台のフロントエンドサーバを決定し、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信し得る。ビデオ符号化デバイスと決定されたn台のフロントエンドサーバとの間のネットワーク通信品質が比較的高いため、ビデオ符号化デバイスはn台のフロントエンドサーバを使用して比較的高速でデータを送信するので、ビデオデータストリームの上り速度を保証することができる。
本出願の一実施形態では、ビデオ符号化デバイスとフロントエンドサーバとの間のネットワーク通信品質は、フロントエンドサーバの利用価値を使用して表され得る。利用価値がより大きいことは、フロントエンドサーバとビデオ符号化デバイスとの間のネットワーク通信品質がより良いことを示す。r台のフロントエンドサーバの中からn台のフロントエンドサーバを決定するプロセスにおいて、ビデオ符号化デバイスは、r台のフロントエンドサーバの各々の利用価値を計算し、r台のフロントエンドサーバの中からn台のフロントエンドサーバを利用価値の降順に決定でき、n台のフロントエンドサーバの利用価値は、r台のフロントエンドサーバ内の別のフロントエンドサーバの利用価値より大きい。
本出願の一実施形態では、フロントエンドサーバの利用価値は、以下の第3の式を使用して計算され得る。
第3の式において、ujは、r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、thrjは、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjは、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のパケット損失率であり、ρは、ライブブロードキャストネットワークの平均パケット損失率であり、経験値に基づいて設定されてもよく、例えば、ρは、0.03に設定されてもよく、βは、定数であり、eは、自然対数の底である。
実際の適用において、ビデオ符号化デバイスとフロントエンドサーバとの間のネットワーク通信品質は通常、ビデオ符号化デバイスとフロントエンドサーバとの間のデータ伝送速度およびパケット損失率によって決定される。データ伝送速度は、ビデオ符号化デバイスとフロントエンドサーバとの間の利用可能な帯域幅を表し、パケット損失率は、ビデオ符号化デバイスとフロントエンドサーバとの間の経路輻輳の程度を表し得る。したがって、第3の式において、フロントエンドサーバの利用価値は、ビデオ符号化デバイスとフロントエンドサーバとの間のデータ伝送速度およびパケット損失率を使用して計算され得る。
一般に、パケット損失率は、ビデオ符号化デバイスとフロントエンドサーバとの間のネットワーク通信品質に大きな影響を及ぼし、このため、パケット損失が発生すると、データパケットの送信ウィンドウが減少し、ビデオ符号化デバイスはさらにデータパケットを再送する必要がある。第3の式では、利用価値に合わせてパケット損失率の重要度を調整するように定数βの値が調整され得る。具体的には、ρj>ρの場合、βの値が大きいほど、ρjが増加するにつれてj番目のフロントエンドサーバの利用価値が減少する率が高くなる。図3Bに、ρ=0.03であり、βが異なる値を有する場合のρjとsigmoid関数
との間の関係曲線を示す。図3Bから、βの値が大きいほど、ρjが増加するにつれてsigmoid関数
が減少する率が高くなることがわかる。場合によっては、パケット損失率を取得できない場合、βの値を0に設定することができる。このようにして、パケット損失率は利用価値に影響を及ぼさない。
本出願の一実施形態では、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するプロセスにおいて、ビデオ符号化デバイスは、n台のフロントエンドサーバの各々を使用してビデオ復号デバイスに異なる数の第1の参照データグループを送信し得る。例えば、ビデオ符号化デバイスは、n台のフロントエンドサーバ内の最初のフロントエンドサーバを使用してビデオ復号デバイスにy1個の第1の参照データグループを送信し、2番目のフロントエンドサーバを使用してビデオ復号デバイスにy2個の第1の参照データグループを送信し、l番目のフロントエンドサーバを使用してビデオ復号デバイスにyl個の第1の参照データグループを送信し、...、n番目のフロントエンドサーバを使用してビデオ復号デバイスにyn個の第1の参照データグループを送信し、y1+y2+...+yl+...yn=tである。
一般に、利用価値が比較的大きいフロントエンドサーバとビデオ符号化デバイスとの間のネットワーク通信品質は比較的高く、ビデオ符号化デバイスは、フロントエンドサーバに比較的多数の第1の参照データグループを送信し得る。利用価値が比較的小さいフロントエンドサーバとビデオ符号化デバイスとの間のネットワーク通信品質は比較的低く、データ伝送遅延を減らすために、ビデオ符号化デバイスはフロントエンドサーバに比較的少数の第1の参照データグループを送信し得る。
前述の技術プロセスを実施するために、t個の第1の参照データグループを送信する前に、ビデオ符号化デバイスは、以下の第4の式に基づき、n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を計算し、次いでビデオ符号化デバイスは、各フロントエンドサーバが受信した第1の参照データグループをビデオ復号デバイスに送信するように、各フロントエンドサーバに対応する数の第1の参照データグループを送信し得る。第4の式は次のとおりである。
第4の式において、ylは、n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulは、最初のフロントエンドサーバの利用価値であり、
は、n台のフロントエンドサーバの利用価値の和である。
ビデオ符号化デバイスがアンカ端末であり、アンカ端末がマルチホームの端末である場合(マルチホームの端末は、異なるネットワーク接続方法で同時にネットワークとデータを交換し得る)、ビデオ符号化デバイスは、異なるネットワーク接続方法でビデオ復号デバイスにt個の第1の参照データグループを送信し得ることに留意されたい。異なるネットワーク接続方法には、ワイヤレスフィデリティ(英語:Wireless Fidelity、略称:WiFi)方式でのネットワーク接続、移動通信ネットワーク接続、固定電話のネットワーク接続などが含まれ得る。このようにして、ビデオ符号化デバイスの上り帯域幅を増やすことができるので、ビデオ符号化デバイスがt個の第1の参照データグループを送信する速度が増して、送信されるべきライブビデオのビデオデータストリームの上り速度が増す。
ビデオ符号化デバイスが、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信した後、ビデオ符号化デバイスは、ビデオ符号化デバイスとn台のフロントエンドサーバの各々との間のパケット損失率をリアルタイムでさらに検出し得る。ビデオ符号化デバイスが、ビデオ符号化デバイスと1台または複数のフロントエンドサーバとの間のパケット損失率が事前設定のパケット損失率閾値より大きいことを検出すると、ビデオ符号化デバイスは、第1の参照データグループを再送し得る。事前設定のパケット損失率閾値は、当業者によって設定され得る。
任意選択で、第1の参照データグループを再送するプロセスにおいて、ビデオ符号化デバイスは、d個の参照データセットを取得してもよく(dは1以上の正の整数である)、d個の参照データセットの各々に含まれるk個の参照データが1つの参照ベクトルを構築でき、構築されたd個の参照ベクトルのどの2つも互いに線形的に無相関であり、構築されたd個の参照ベクトルの各々が、t個の参照データセットを使用して構築されたt個の参照ベクトルのどの1つとも線形的に無相関である。次いで、ビデオ符号化デバイスは、d個の第1の参照データグループを取得するために、d個の参照データセットを使用してステップ303およびステップ304と同様の技術プロセスに基づいてターゲットビデオデータセグメントを符号化し得る。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバ内の最高の利用価値を有する1台または複数のフロントエンドサーバを使用してビデオ復号デバイスにd個の第1の参照データグループを送信し得る(ビデオ符号化デバイスと1台または複数のフロントエンドサーバとの間のパケット損失率は、事前設定のパケット損失率閾値未満である必要がある)。
ステップ306:ビデオ復号デバイスが、u台のフロントエンドサーバによって送信された第1の参照データグループを受信し、1<u≦nである。
ビデオ復号デバイスは、フロントエンドサーバによって送信された参照データパケットを受信し、参照データパケットから第1の参照データグループを抽出し得る。実際の適用において、ビデオ符号化デバイスとn台のフロントエンドサーバとの間でパケット損失が発生せず、ビデオ復号デバイスとn台のフロントエンドサーバとの間でパケット損失が発生しない場合、ビデオ復号デバイスは、n台のフロントエンドサーバによって送信されたa個の参照データパケットを受信し、a個の参照データパケットからt個の第1の参照データグループを抽出し得る。しかしながら、ビデオ符号化デバイスとn台のフロントエンドサーバとの間でパケット損失が発生するか、またはビデオ復号デバイスとn台のフロントエンドサーバとの間でパケット損失が発生する場合(一部の極端な事例では、フロントエンドサーバを使用してビデオ符号化デバイスによって送信されたすべての参照データパケットが失われ得る)、ビデオ復号デバイスによって受信される参照データパケットの数がa未満であり、ビデオ復号デバイスによって実行される第1の参照データグループの数もt未満である。
ステップ307:ビデオ復号デバイスが、受信した第1の参照データグループを事前設定記憶場所に格納する。
実際の適用においては、ビデオ符号化デバイスによって符号化により取得された参照データグループを異なるフロントエンドサーバからビデオ復号デバイスに送信するのに必要とされる時間が異なるので、ビデオ復号デバイスが、ビデオデータセグメントを符号化することによって取得された参照データグループを、前のビデオデータセグメントを符号化することによって取得されたすべての参照データグループが受信される前に受信する可能性が非常に高い。例えば、ビデオ復号デバイスが、ビデオデータストリーム内のq番目のビデオデータセグメントを復号することによって取得されたt個の参照データグループ内のb(1≦b<t)個の参照データグループを受信している場合、ビデオ復号デバイスは、ビデオデータストリーム内の(q+1)番目のビデオデータセグメントを復号することによって取得されたt個の参照データグループ内のo(1≦o<t)個の参照データグループをさらに受信する。
この場合、事前設定記憶場所は、複数のビデオデータセグメントを符号化することによって取得された参照データグループを同時に格納する必要になる場合がある。事前設定記憶場所の記憶空間が過度に小さいことに起因する事前設定記憶場所からの参照データグループのオーバフローを回避するために、本出願の本実施形態では、事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて設定され得る。事前設定記憶場所の記憶空間サイズは第6の式を満たし、第6の式は次のとおりである。
第6の式において、Qは、事前設定記憶場所の記憶空間サイズであり、max(delay)は、最大遅延時間であり、最大遅延時間は、ビデオ符号化デバイスからフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、min(delay)は、最小遅延時間であり、最小遅延時間は、ビデオ符号化デバイスからフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最小時間であり、generate_timeは、ビデオデータセグメントの生成時間であり、ビデオデータセグメントの生成時間は、アンカ端末によってk個のデータブロックを生成するために必要とされる時間であり、sは、ビデオデータセグメントのデータ量サイズである。
実際の適用においては、あるいは、ビデオデータセグメントの生成時間は通常、ビデオデータセグメントの再生時間と等しい場合もある。ビデオデータセグメントの再生時間は、視聴者端末がk個のデータブロックに基づいて送信されるべきライブビデオを再生できる時間である。ビデオデータセグメントの再生時間は、次の第7の式を使用して計算され得る。
第7の式において、play_timeは、ビデオデータセグメントの再生時間であり、Bは、データブロックのデータ量サイズであり、bit_rateは、送信されるべきライブビデオのビデオ再生ビットレートである。
Bは、データブロックのサイズであり、bit_rateは、送信されるべきライブビデオの再生ビットレートである。
ビデオデータセグメントの生成時間が、ビデオデータセグメントの再生時間と等しい場合、第6の式は第7の式に基づいて次のように変形され得る。
ステップ308:事前設定記憶場所に格納された第1の参照データグループの数が第2の事前設定時間内に事前設定数閾値に達すると、ビデオ復号デバイスは、符号化データブロックと、事前設定記憶場所に格納された第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築し、連立方程式行列の計算された解行列のデータを、ターゲットビデオデータセグメントのデータとして決定する。
事前設定数閾値は、復号によりターゲットビデオデータセグメントを正常に取得するためにビデオ復号デバイスによって必要とされる第1の参照データグループの数であり得ることに留意されたい。言い換えると、ビデオ復号デバイスは、受信した第1の参照データグループが事前設定数閾値に達したときにのみ、復号によりターゲットビデオデータセグメントを正常に取得することができる。
理想的な場合、具体的には、ビデオ符号化デバイスとn台のフロントエンドサーバとの間でパケット損失が発生せず、ビデオ復号デバイスとn台のフロントエンドサーバとの間でパケット損失が発生しない場合、ビデオ符号化デバイスは、その数が事前設定数閾値である第1の参照データグループのみをビデオ復号デバイスに送信し得るので、ビデオ復号デバイスは、その数が事前設定数閾値である、ビデオ符号化デバイスによって送信された第1の参照データグループに基づいて復号によりターゲットビデオデータセグメントを取得する。言い換えると、理想的な場合には、tの値は事前設定数閾値と等しくてもよい。
しかしながら、実際の適用においては、理想的ではない事例が発生する可能性があり、具体的には、ビデオ符号化デバイスとn台のフロントエンドサーバとの間でパケット損失が発生し得るか、またはビデオ復号デバイスとn台のフロントエンドサーバとの間でパケット損失が発生し得る。この場合、ビデオ復号デバイスが受信できる第1の参照データグループの数はt未満である。したがって、この場合、tの値が事前設定数閾値と等しければ、ビデオ復号デバイスは復号によりターゲットビデオデータセグメントを正常に取得することは絶対にできない。この事例を回避するために、tの値を事前設定数閾値より大としてもよく、具体的には、ビデオ符号化デバイスは、ビデオ復号デバイスに事前設定数閾値より多い第1の参照データグループを送信し得る。このようにして、たとえビデオ復号デバイスがパケット損失が原因でt個の第1の参照データグループ内のいくつかの第1の参照データグループを受信できなくても、ビデオ復号デバイスは、tの値が事前設定数閾値より大きいので、その数が事前設定数閾値である第1の参照データグループをやはり受信でき、この場合、ビデオ復号デバイスはやはり、復号によりターゲットビデオデータセグメントを正常に取得できる。
しかしながら、たとえtの値が事前設定数閾値より大きくなるように設定されても、理想的ではない事例でパケット損失が発生すると、ビデオ復号デバイスが受信できる第1の参照データグループの数はそれでもなお事前設定数閾値未満となり得る。この場合、ビデオ復号デバイスは復号によりターゲットビデオデータセグメントを正常に取得することができない。この場合、ビデオ復号デバイスが第1の参照データグループの受信を待ち続けることは無意味であり、さもなければ事前設定記憶場所の記憶空間が無駄になる。
前述の事例を回避するために、本出願の一実施形態では、ビデオ復号デバイスのために第2の事前設定時間が設定され得る。ビデオ復号デバイスは、受信した最初の第1の参照データグループを事前設定記憶場所に格納した後で計時を開始し、計時プロセスにおいてリアルタイムで、事前設定記憶場所に格納された第1の参照データグループの数を監視し得る。ビデオ復号デバイスが、計時の開始から第2の事前設定時間までの期間に、事前設定記憶場所に格納された第1の参照データグループの数が事前設定数閾値に達したことを検出すると、ビデオ復号デバイスは、ターゲットビデオデータセグメントを取得するために、その数が事前設定数閾値である第1の参照データグループに基づいて復号を行い得る。
しかしながら、事前設定記憶場所に格納された第1の参照データグループの数が第2の事前設定時間の終了時に依然として事前設定数閾値未満である場合、これはパケット損失が発生している可能性があることを示し、ビデオ復号デバイスは、パケット損失が原因でその数が事前設定数閾値である第1の参照データグループを受信することができない。この場合、ビデオ復号デバイスは、事前設定記憶場所に格納された第1の参照データグループを削除し、ビデオ符号化デバイスに現在の復号差分を送信し得るか、またはビデオ復号デバイスは、事前設定記憶場所に格納された第1の参照データグループを削除せず、ビデオ符号化デバイスに現在の復号差分を直接送信し得る。現在の復号差分は、復号によりターゲットビデオデータセグメントを正常に取得する前にビデオ復号デバイスに不足している第1の参照データグループの数を表すために使用され、言い換えると、現在の復号差分は、第2の事前設定時間の終了時に事前設定記憶場所に格納されている第1の参照データグループの数(言い換えると、ビデオ復号デバイスによって受信された第1の参照データグループの数)と事前設定数閾値との差分の絶対値であり得る。
現在の復号差分を受信した後、ビデオ符号化デバイスは、現在の復号差分が事前設定差分閾値より大きいかどうかを判断し得る(事前設定差分閾値は0であり得る)。ビデオ符号化デバイスが現在の復号差分は事前設定差分閾値より大きいと判断した場合、これは、ビデオ復号デバイスが復号によりターゲットビデオデータセグメントを正常に取得できないことを示し、この場合、ビデオ符号化デバイスはビデオ復号デバイスに第1の参照データグループを再送する必要がある。任意選択で、第1の参照データグループを再送するプロセスにおいて、ビデオ符号化デバイスは、m個の参照データセットを取得してもよく(mは、k以上の正の整数である)、m個の参照データセットの各々に含まれるk個の参照データが1つの参照ベクトルを構築でき、構築されたm個の参照ベクトルのどの2つも互いに線形的に無相関である。その場合、ビデオ符号化デバイスは、m個の参照データセットと一対一の対応関係にあるm個の符号化データブロックを取得するために、ステップ303からステップ305と同様の技術プロセスに基づいてm個の参照データセットの各々を使用してターゲットビデオデータセグメントを符号化し、次いで、q台のフロントエンドサーバ(qは1以上の正の整数である)を使用してビデオ復号デバイスにm個の第1の参照データグループを送信することができ、m個の第1の参照データグループの各々は、m個の符号化データブロックおよび符号化データブロックに対応する参照データセットを含む。
実際の適用においては、ビデオ復号デバイスが事前設定記憶場所に格納された第1の参照データグループを削除する場合、mはtと等しくてもよい。ビデオ復号デバイスが事前設定記憶場所に格納された第1の参照データグループを削除しない場合、mは現在の復号差分以上であってもよく、この場合、m個の参照データセットによって構築されたm個の参照ベクトルは、t個の参照データセットによって構築されたt個の参照ベクトルのうちのいずれか1つと線形的に無相関である必要があり、構築されたm個の参照ベクトルは、d個の参照データセットによって構築されたd個の参照ベクトルのいずれか1つと線形的に無相関である必要がさらにある。ビデオ復号デバイスが第1の参照データグループを削除する場合、第1の参照データグループが過度に長い時間にわたって事前設定記憶場所を占有するために、他のビデオデータセグメントを符号化することによって取得された参照データグループが事前設定記憶場所からあふれるという事例を回避することができる。ビデオ復号デバイスが第1の参照データグループを削除しない場合、ビデオ符号化デバイスによってビデオ復号デバイスに続いて再送される第1の参照データグループの数を減らすことができ、それによってネットワークリソースが節約される。
ビデオ復号デバイスが、第2の事前設定時間において、その数が事前設定数閾値である第1の参照データグループを受信すると、ビデオ復号デバイスはやはり、ビデオ符号化デバイスに現在の復号差分を送信し得ることに留意されたい。この場合、現在の復号差分は0であり得る。この場合、ビデオ符号化デバイスは、現在の復号差分に応答しないこともある。
第2の事前設定時間がビデオ復号デバイスのために設定されるので、ビデオ復号デバイスが第1の参照データグループの受信を待つ時間が第2の事前設定時間を超えないことを保証できる。ビデオ復号デバイスが、第2の事前設定時間の終了時にその数が事前設定数閾値である第1の参照データグループを受信していない場合、ビデオ復号デバイスは、ビデオ符号化デバイスに現在の復号差分を送信することにより、ビデオ符号化デバイスに第1の参照データグループを再送するよう命令し得る。
上述したように、第2の事前設定時間において、事前設定記憶場所に格納された第1の参照データグループの数が事前設定数閾値に達したことを検出すると、ビデオ復号デバイスは、ターゲットビデオデータセグメントを取得するために、その数が事前設定数閾値である第1の参照データグループに基づいて復号を行い得る。復号プロセスにおいて、ビデオ復号デバイスは、その数が事前設定数閾値である第1の参照データグループをパースして、その数が事前設定数閾値である符号化データブロックとその数が事前設定数閾値である参照データセットとを取得し、次いでビデオ復号デバイスは、その数が事前設定数閾値である符号化データブロックとその数が事前設定数閾値である参照データセットとに基づいて連立方程式行列を構築し得る。連立方程式行列は、係数行列と、解行列と、定数項行列とを含むことができ、定数項行列は、係数行列と解行列とを乗算することによって取得され得る。
任意選択で、連立方程式行列を構築するプロセスにおいて、ビデオ復号デバイスは、その数が事前設定数閾値である符号化データブロックを使用して連立方程式行列の定数項行列を構築してもよく、各符号化データブロックは定数項行列の1行として使用され得る。例えば、ビデオ復号デバイスによって構築される連立方程式行列の定数項行列は[a1,a2,...,ai,...,avTであり、式中、vは、事前設定数閾値である。
加えて、ビデオ復号デバイスは、その数が事前設定数閾値である参照データセットを使用して連立方程式行列の係数行列を構築してもよく、各参照データセットは係数行列の1行として使用されてもよく、各参照データセットが係数行列において位置する行の階数は、参照データセットに対応する符号化データブロックが定数項行列において位置する行の階数と同じである。例えば、ビデオ復号デバイスによって構築される連立方程式行列の係数行列は次式であり得る。
参照データセットCi1、Ci2、...、Ciu、...、Cikが係数行列において位置する行の階数はiであり、参照データセットCi1、Ci2、...、Ciu、...、Cikに対応する符号化データブロックaiが定数項行列において位置する行の階数もiである。
次いで、ビデオ復号デバイスは、ガウス・ジョーダン消去法(英語:Gauss-Jordan Elimination)アルゴリズムに基づいて連立方程式行列の解行列[x1,x2,...,xu,...,xkTを解くことができる。
上述したように、連立方程式行列の解行列[x1,x2,...,xu,...,xkTは、定数項行列を取得するために係数行列で乗算され得る。具体的には、次のとおりである。
したがって、前述の符号化プロセスから、連立方程式行列の解行列[x1,x2,...,xu,...,xkTは、ターゲットビデオデータセグメントに含まれるk個のデータブロックを含む行列であり、言い換えると、[x1,x2,...,xu,...,xkT=[b1,b2,...,bu,...,bkTであることがわかる。
実際の適用においては、連立線形方程式の解は、連立線形方程式内の方程式の順序とは無関係であるので、連立方程式行列の解行列は、ビデオ復号デバイスが連立方程式行列を構築するときに、係数行列におけるv個の参照データセットのソート方法および定数項行列におけるv個の符号化データブロックのソート方法にかかわらず、参照データセットが係数行列において位置する行の階数が、参照データセットに対応する符号化データブロックが定数項行列において位置する行の階数と同じであるならば、不変のままである。[x1,x2,...,xu,...,xkT=[b1,b2,...,bu,...,bkTは依然として満たされる。例えば、係数行列におけるv個の参照データセットのソート方法および定数項行列におけるv個の符号化データブロックのソート方法が以下のように変化するとき、連立方程式行列の解行列は不変のままであり、依然として[b1,b2,...,bu,...,bkTと等しい。
以上の解析から、ビデオ復号デバイスがv個の第1の参照データグループを受信する順序は、復号により最終的に取得されるターゲットビデオデータセグメント内のk個のデータブロックの順序とは無関係であることがわかる。このようにして、送信されるべきライブビデオ内のビデオデータストリームの順不同を回避することができるので、視聴者端末が送信されるべきライブビデオを正常に再生することを保証することができる。
加えて、連立線形方程式内の方程式の数が未知数の数と等しいので、連立方程式は一意解を有する。したがって、連立方程式行列においては、係数行列の行階数vと定数項行列の行階数vの両方がkと等しいときにのみ、連立方程式行列は一意の決定解行列を有する。言い換えると、ビデオ復号デバイスが復号によりターゲットビデオデータセグメントを正常に取得できるようにするためには、事前設定数閾値の値vがkと等しくなり得る。
ステップ309:ビデオ復号デバイスがバックグラウンドストレージサーバに、復号により取得されたターゲットビデオデータセグメントを送信する。
後続の技術プロセスにおいて、バックグラウンドストレージサーバは、CDNネットワーク内のフロントエンドサーバによって送信された視聴要求を受信し得る。視聴要求を受信した後、バックグラウンドストレージサーバはフロントエンドサーバにターゲットビデオデータセグメントを送信し得るので、フロントエンドサーバは視聴者端末にターゲットビデオデータセグメントを送信する。
ビデオ復号デバイスがバックグラウンドストレージサーバにターゲットビデオデータセグメントを送信し、次いでバックグラウンドストレージサーバがフロントエンドサーバを使用して視聴者端末にターゲットビデオデータセグメント転送するので、CDNネットワークは、ライブビデオの再生などの機能をサポートすることができ、それによってライブビデオ再生の柔軟性が高まる。
結論として、本出願の本実施形態で提供されるビデオ伝送方法では、ビデオ符号化デバイスは、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
パケット損失が発生したときに、ビデオ復号デバイスがそれでもなお復号によりターゲットビデオデータセグメントを正常に取得できるようにするために、ビデオ符号化デバイスは、tの値を事前設定数閾値(すなわちk)より大きい値に設定する必要がある。実際の適用においては、tの値が過大な値に設定された場合、ビデオ符号化デバイスは、ビデオ復号デバイスに、復号の役に立たない過剰な第1の参照データグループを送信して、ライブブロードキャストネットワークのネットワークリソースを無駄にし、tの値が過小な値に設定された場合、ビデオ復号デバイスは、パケット損失が発生したときにその数が事前設定数閾値である第1の参照データグループを受信できず、ゆえに、ビデオ復号デバイスは復号によりターゲットビデオデータセグメントを正常に取得することができない。したがって、本出願で提供されるビデオ伝送方法においては、どのようにしてtを適正な値に設定するかが重要である。この問題を解決するために、本出願の一実施形態では別のビデオ伝送方法が提供される。ビデオ伝送方法は、図2Aまたは図2Bに示されるライブブロードキャストネットワークに適用され得る。図3Aに示される実施形態におけるステップ301からステップ309の技術プロセスに加えて、ビデオ伝送方法は、図4に示されるステップ401およびステップ402をさらに含み得る。ステップ401およびステップ402はステップ302の前に行われ得る。
ステップ401:ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリームからビデオ符号化デバイスによって取得された最初のビデオデータセグメントであるとき、ビデオ符号化デバイスが、ライブブロードキャストネットワークの平均パケット損失率に基づいてtの値を決定する。
上述したように、ビデオ符号化デバイスは、送信されるべきライブビデオのビデオデータストリームから複数のビデオデータセグメントを連続して取得でき、ターゲットビデオデータセグメントは、複数のビデオデータセグメントのうちの1つである。ターゲットビデオデータセグメントが、ビデオデータストリームからビデオ符号化デバイスによって取得された最初のビデオデータセグメントであるとき、ビデオ符号化デバイスは、t個の参照データセットを取得する前に、ライブブロードキャストネットワークの平均パケット損失率に基づいてtの値をまず決定し得る。任意選択で、この場合、ビデオ符号化デバイスは、第2の式に基づいてtの値を計算してもよく、第2の式は次のとおりである。
第2の式において、ρは、ライブブロードキャストネットワークの平均パケット損失率であり、経験値に基づいて設定されてもよく、例えば、ρは、0.03に設定されてもよく、
は、切り捨て演算子であり、min()は、最小化演算である。
ステップ402:ターゲットビデオデータセグメントが、ビデオデータストリームからビデオ符号化デバイスによって取得された(p+1)(pは1以上の正の整数である)番目のビデオデータセグメントであるとき、ビデオ符号化デバイスが、受信したp個の履歴復号差分に基づいてtの値を決定する。
本出願の本実施形態では、ビデオデータストリームからビデオ符号化デバイスによって取得されたビデオデータセグメントごとに、ビデオ復号デバイスがビデオ符号化デバイスに復号差分を返し得る。ビデオ符号化デバイスがターゲットビデオデータセグメントを符号化する前に、ビデオ復号デバイスによってビデオ符号化デバイスに返される復号差分は、履歴復号差分と呼ばれ、ターゲットビデオデータセグメントについてビデオ復号デバイスによってビデオ符号化デバイスに返される復号差分は、現在の復号差分と呼ばれ得る。
以上の説明から、ターゲットビデオデータセグメントを符号化する前に、ビデオ符号化デバイスは、ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信し、p個の履歴復号差分内のi番目の履歴復号差分は、第2の事前設定時間の終了時に復号によりi番目のビデオデータセグメントを正常に取得する前にビデオ復号デバイスに不足している参照データグループの数を表すために使用され、i番目のビデオデータセグメントは、ターゲットビデオデータセグメントを取得する前にビデオデータストリームからビデオ符号化デバイスによって取得されたp個のビデオデータセグメント内のi番目のビデオデータセグメントであることがわかる。
任意選択で、ビデオ復号デバイスが復号によりi番目のビデオデータセグメントを正常に取得する場合、i番目の履歴復号差分di=0であり、ビデオ復号デバイスが復号によりi番目のビデオデータセグメントの取得に失敗する場合、i番目の履歴復号差分di=y−xであり、式中、yは、復号によりi番目のビデオデータセグメントを正常に取得するためにビデオ復号デバイスによって必要とされる参照データグループの数である。本出願の本実施形態では、yは、事前設定数閾値と等しくてもよく、言い換えると、yは、kと等しくてもよく、xは、i番目のビデオデータセグメントを符号化することによってビデオ復号デバイスによって取得された参照データグループの数である。
ターゲットビデオデータセグメントが、ビデオデータストリームからビデオ符号化デバイスによって取得された(p+1)番目のビデオデータセグメントであるとき、ビデオ符号化デバイスは、t個の参照データセットを取得する前に、受信したp個の履歴復号差分に基づいてtの値をまず決定し得る。任意選択で、この場合、ビデオ符号化デバイスは、第1の式に基づいてtの値を計算してもよく、第1の式は次のとおりである。
第1の式においては、Fi=di/kおよび1≦i≦pであり、式中、diは、p個の履歴復号差分内のi番目の履歴復号差分diであり、
であり、gは、重みパラメータであり、0≦g≦1であり、gは通常、0.1または0.2であってもよく、tpは、ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前にビデオ符号化デバイスによって取得された参照データセットの数である。
結論として、本出願の本実施形態で提供されるビデオ伝送方法では、ビデオ符号化デバイスは、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
さらに、t個の参照データセットを取得する前に、ビデオ符号化デバイスは、第1の式または第2の式に基づいてtの値を決定するので、ビデオ符号化デバイスがtに適正な値を設定することを保証でき、それによって、ライブブロードキャストネットワークのネットワークリソースの無駄が回避され、ビデオ復号デバイスが復号によりターゲットビデオデータセグメントを正常に取得できない事例が回避される。
実際の適用においては、ビデオデータセグメントに含まれるデータブロックの数kは、ビデオデータセグメントの上り遅延に関連し、上り遅延は、ビデオデータセグメントがアンカ端末からビデオ復号デバイスに送信されるときに取得される伝送遅延である。したがって、本出願の本実施形態では、kに適正な値が設定され得るので、上り遅延が事前設定伝送遅延範囲内に収まる。前述の技術プロセスを実施するために、本出願の一実施形態は別のビデオ伝送方法を提供する。ビデオ伝送方法は、図2Aまたは図2Bに示されるライブブロードキャストネットワークに適用され得る。図3Aに示される実施形態におけるステップ301からステップ309の技術プロセスに加えて、ビデオ伝送方法は、図5Aに示されるステップ501をさらに含み得る。ステップ501はステップ301の前に行われ得る。
ステップ501:ビデオ符号化デバイスがkの値を決定する。
本出願の本実施形態では、ビデオ符号化デバイスは、別のデバイスによって送信された構成命令を受信してもよく、構成命令はkの値を指示でき、構成命令によって指示されたkの値が、伝送遅延が事前設定伝送遅延範囲内に収まることを可能にし得るか、またはビデオ符号化デバイスは、伝送遅延とデータブロックの数kとの間の事前設定対応関係に基づいてkの値を決定し得るので、kに対応する伝送遅延が事前設定伝送遅延範囲内に収まる。「伝送遅延」はビデオデータセグメントの上り遅延であることに留意されたい。言い換えると、「伝送遅延」は、ビデオデータセグメントがアンカ端末からビデオ復号デバイスに送信されるときに取得される伝送遅延である。
以下で、本出願の本実施形態における、ビデオ符号化デバイスが、伝送遅延とデータブロックの数kとの間の事前設定対応関係に基づいてkの値を決定する技術プロセスを説明する。
実際の適用において、伝送遅延は通常、アンカ端末によってビデオデータセグメントを生成するために必要とされる時間、ビデオ符号化デバイスによってビデオデータセグメントを符号化するために必要とされる時間、ビデオ符号化デバイスによってn台のフロントエンドサーバに符号化ビデオデータセグメントを送信するために必要とされる時間、n台のフロントエンドサーバによってビデオ復号デバイスに符号化ビデオデータセグメントを送信するために必要とされる時間、およびビデオ復号デバイスによってビデオデータセグメントを復号するために必要とされる時間を含み得る。
ビデオ符号化デバイスがビデオ符号化サーバである場合、伝送遅延は、アンカ端末によってビデオ符号化サーバにビデオデータセグメントを送信するために必要とされる時間をさらに含み得ることに留意されたい。しかしながら、ビデオ符号化サーバは通常、地理的にアンカ端末に比較的近い、基地局などの場所に配置され得るので、アンカ端末によってビデオ符号化サーバにビデオデータセグメントを送信するために必要とされる時間は無視され得る。
アンカ端末によって1つのビデオデータセグメントを生成するために必要とされる時間generate_timeは通常、そのビデオデータセグメントの再生時間play_timeと等しく、ビデオデータセグメントの再生時間は、視聴者端末が1つのビデオデータセグメントに基づいて送信されるべきライブビデオを再生できる時間である。ビデオデータセグメントの再生時間は第7の式を使用して計算されてもよく、第7の式は次のとおりである。
Bは、データブロックのデータ量サイズであり、bit_rateは、送信されるべきライブビデオのビデオ再生ビットレートである。
ビデオ符号化デバイスによってビデオデータセグメントを符号化するために必要とされる時間は、ビデオ復号デバイスによってビデオデータセグメントを復号するために必要とされる時間と等しく、どちらもTcodingである。
T0は、ビデオ符号化デバイスによってそのデータ量サイズがB0であるK0個のデータブロックを含むビデオデータセグメントを符号化するために、またはビデオ復号デバイスによってそのビデオデータセグメントを復号するために必要とされる時間である。測定により、K0=10およびB0=1KBのとき、T0=0.1msであることがわかっており、したがって、Tcodingは、代替として次式でもあってもよい。
ビデオ符号化デバイスによってn台のフロントエンドサーバに符号化ビデオデータセグメントを送信するために必要とされる時間trans_time1は、
であり、式中、eは、自然対数の底数であり、tは、ビデオ符号化デバイスによって取得された参照データセットの数であり、βは、定数であり、ρminは、ビデオ符号化デバイスとn台のフロントエンドサーバの各々との間のパケット損失率の最小値であり、ρは、ライブブロードキャストネットワークの平均パケット損失率であり、経験値に基づいて設定されてもよく、例えば、ρは、0.03に設定されてもよく、thrwは、ビデオ符号化デバイスとn台のフロントエンドサーバ内のw番目のフロントエンドサーバとの間のデータ伝送速度であり、ρwは、ビデオ符号化デバイスとn台のフロントエンドサーバ内のw番目のフロントエンドサーバとの間のパケット損失率である。
n台のフロントエンドサーバによってビデオ復号デバイスに符号化ビデオデータセグメントを送信するために必要とされる時間trans_time2は、
であり、式中、RTTvは、n台のフロントエンドサーバ内のv番目のフロントエンドサーバとビデオ復号デバイスとの間のデータパケットの往復時間であり、loss%vは、n台のフロントエンドサーバ内のv番目のフロントエンドサーバとビデオ復号デバイスとの間のパケット損失率であり、RTOは、再送タイムアウト(英語:Retransmission Timeout)であり、max()は、最大化演算を指示する。
以上の解析から、伝送遅延とデータブロックの数kとの間の対応関係は、
であり、式中、delayは、伝送遅延であり、Δは、エラー遅延であり、リンク中断などの理由により生じたエラー遅延であり、一般に、Δの値は、経験値に基づいて取得され得ることがわかる。
図5Bは、伝送遅延とデータブロックの数kとの間の対応関係の例示的な概略図である。図5Bに示されるように、伝送遅延が100ms未満であることが保証される必要があるとき、kの値は30に設定され得る。
結論として、本出願の本実施形態で提供されるビデオ伝送方法では、ビデオ符号化デバイスは、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
さらに、kに適正な値が設定されるので、ビデオデータセグメントの上り遅延を事前設定伝送遅延範囲内とすることができ、それによって、ビデオデータセグメントの上り速度が保証され、視聴者端末が送信されるべきライブビデオを再生するときにフリーズが非常に頻繁に発生するかまたは遅延が非常に長いという現象が回避される。
以下は、本出願の装置実施形態であり、本装置実施形態は、本出願の方法実施形態を実行するために使用され得る。本出願の装置実施形態に開示されない詳細については、本出願の方法実施形態を参照されたい。
図6は、本出願の一実施形態によるビデオ伝送装置600のブロック図である。ビデオ伝送装置600は、ビデオ符号化デバイスであり得る。図6を参照すると、ビデオ伝送装置600は、第1の取得モジュール601と、第2の取得モジュール602と、符号化モジュール603と、送信モジュール604とを含み得る。
第1の取得モジュール601は、ターゲットビデオデータセグメントを取得し、ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、ように構成される。
第2の取得モジュール602は、t個の参照データセットを取得し、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、ように構成される。
符号化モジュール603は、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、各参照データセットを使用してターゲットビデオデータセグメントを符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである、ように構成される。
送信モジュール604は、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信し、nが1以上の正の整数である、ように構成される。
各第1の参照データグループは、1つの符号化データブロックおよび対応する参照データセットを含む。
任意選択で、各参照データセットは、k個のデータブロックと一対一の対応関係にあるk個の参照データを含み、符号化モジュール603は、参照データセットごとに、k個の積を取得するために、参照データセットに含まれる各参照データを対応するデータブロックで乗算し、参照データセットに対応する符号化データブロックを取得するためにk個の積を加算する、ように構成される。
任意選択で、第1の取得モジュール601は、送信されるべきライブビデオのビデオデータストリームを取得し、ビデオデータストリームからデータブロックを取得し、第1の事前設定時間において、取得されたデータブロックの数がk以上である場合、取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成するか、または取得されたデータブロックの数が第1の事前設定時間の終了時にk未満である場合、k個のデータブロックを取得するために、事前設定データを使用して取得されたデータブロックをパディングし、パディングによって取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成する、ように構成される。
本出願の一実施形態は、別のビデオ伝送装置700をさらに提供する。ビデオ伝送装置600に含まれるモジュールに加えて、ビデオ伝送装置700は、第1の決定モジュール605と、第2の決定モジュール606と、第3の決定モジュール607と、第4の決定モジュール608とをさらに含む。
第1の決定モジュール605は、ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信し、p個の履歴復号差分が、ビデオデータストリームにおいてターゲットビデオデータセグメントに先行するp個のビデオデータセグメントと一対一の対応関係にあり、各履歴復号差分が、復号により対応するビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時にビデオ復号デバイスに不足している参照データグループの数を表すために使用され、p個の履歴復号差分に基づき、取得される必要のある参照データセットの数tの値を決定する、ように構成される。
p個の履歴復号差分内のi番目の履歴復号差分diは、
ビデオ復号デバイスが、復号により第2の事前設定時間において、ビデオデータストリーム内の、i番目の履歴復号差分に対応するi番目のビデオデータセグメントを正常に取得する場合、di=0を満たし、
ビデオ復号デバイスが第2の事前設定時間の終了時に復号によるi番目のビデオデータセグメントの取得に失敗する場合、di=y−xを満たし、式中、yは、復号によりi番目のビデオデータセグメントを正常に取得するためにビデオ復号デバイスによって必要とされる参照データグループの数であり、xは、第2の事前設定時間の終了時にビデオ復号デバイスによって取得されるi番目のビデオデータセグメントに対応する参照データグループの数であり、1≦i≦pである。
第1の決定モジュール605は、
p個の履歴復号差分と第1の式とに基づき、取得される必要のある参照データセットの数tの値を計算し、第1の式が、
であり、式中、
であり、式中、gが、重みパラメータであり、diが、p個の履歴復号差分内のi番目の履歴復号差分diであり、tpが、ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前にビデオ符号化デバイスによって取得された参照データセットの数である、
ように構成される。
ターゲットビデオデータセグメントは、ビデオデータストリームからビデオ符号化デバイスによって取得された最初のビデオデータセグメントであり、第2の決定モジュール606は、ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの数tの値を決定する、ように構成される。
第2の決定モジュール606は、
ライブブロードキャストネットワークの平均パケット損失率と第2の式とに基づき、取得される必要のある参照データセットの数tの値を計算し、第2の式が、
であり、式中、ρが、ライブブロードキャストネットワークの平均パケット損失率であり、
が、切り捨て演算子である、
ように構成される。
第3の決定モジュール607は、
ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバを決定し、rがn以上の正の整数であり、
ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度に基づいてr台のフロントエンドサーバの中からn台のフロントエンドサーバを決定し、n台のフロントエンドサーバとビデオ符号化デバイスとの間の通信品質が別のフロントエンドサーバとビデオ符号化デバイスとの間の通信品質より良好である、
ように構成される。
第3の決定モジュール607は、
第3の式と、ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度とに基づいて各フロントエンドサーバの利用価値を計算し、第3の式が、
であり、式中、ujが、r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、1≦j≦r、thrjが、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjが、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のパケット損失率であり、ρが、ライブブロードキャストネットワークの平均パケット損失率であり、βが、定数であり、
r台のフロントエンドサーバの中からn台のフロントエンドサーバを利用価値の降順に決定する、
ように構成される。
送信モジュール604は、
第4の式に基づき、n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を決定し、第4の式が、
であり、式中、ylが、n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulが、最初のフロントエンドサーバの利用価値であり、
が、n台のフロントエンドサーバの利用価値の和であり、1≦l≦nであり、
各フロントエンドサーバが受信した第1の参照データグループをビデオ復号デバイスに送信するように、各フロントエンドサーバに対応する数の第1の参照データグループを送信する、
ように構成される。
第4の決定モジュール608は、
データブロックの数kに対応する伝送遅延が事前設定伝送遅延範囲内に収まるように、伝送遅延とデータブロックの数との間の事前設定対応関係に基づいてターゲットビデオセグメント内のデータブロックの数kを決定し、
伝送遅延が、アンカ端末がビデオ復号デバイスにビデオデータセグメントを送信するときに存在している伝送遅延である、
ように構成される。
結論として、本出願の本実施形態で提供されるビデオ伝送装置は、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
図8は、本出願の一実施形態によるビデオ伝送装置800のブロック図である。ビデオ伝送装置800は、ビデオ復号デバイスであり得る。図8を参照すると、ビデオ伝送装置800は、受信モジュール801と、構築モジュール802と、決定モジュール803とを含み得る。
受信モジュール801は、u台のフロントエンドサーバによって送信された第1の参照データグループを受信し、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、ように構成される。
構築モジュール802は、第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築する、ように構成される。
決定モジュール803は、連立方程式行列の計算された解行列のデータを、ターゲットビデオデータセグメントのデータとして決定するように構成される。
任意選択で、構築モジュール802は、
k個の符号化データブロックと、k個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとを取得するために、受信したk個の第1の参照データグループをパースし、
k個の符号化データブロックを使用して連立方程式行列の定数項行列を構築し、各符号化データブロックが定数項行列の1行として使用され、
k個の参照データセットを使用して連立方程式行列の係数行列を構築し、各参照データセットが係数行列の1行として使用され、各参照データセットが係数行列において位置する行の階数が、対応する符号化データブロックが定数項行列において位置する行の階数と同じである、
ように構成される。
本出願の一実施形態は、別のビデオ伝送装置900をさらに提供する。ビデオ伝送装置800に含まれるモジュールに加えて、ビデオ伝送装置900は、第1の送信モジュール804と、第2の送信モジュール805と、記憶モジュール806とをさらに含む。
第1の送信モジュール804は、
受信した第1の参照データグループの数が第2の事前設定時間の終了時にk未満である場合、受信した第1の参照データグループの数とkとの差分の絶対値を取得し、
その絶対値を現在の復号差分としてビデオ符号化デバイスに送信する、
ように構成される。
第2の送信モジュール805は、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達した後、ビデオ符号化デバイスに現在の復号差分を送信し、現在の復号差分が0である、
ように構成される。
記憶モジュール806は、
第1の参照データグループを事前設定記憶場所に格納し、
事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて決定され、
最大遅延時間が、ビデオ符号化デバイスによってフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、最小遅延時間が、ビデオ符号化デバイスによってフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最小時間である、
ように構成される。
事前設定記憶場所の記憶空間サイズは第6の式を満たし、第6の式は、
であり、式中、Qは、事前設定記憶場所の記憶空間サイズであり、max(delay)は、最大遅延時間であり、min(delay)は、最小遅延時間であり、generate_timeは、ビデオデータストリーム内のビデオデータセグメントの生成時間であり、sは、ビデオデータセグメントのデータ量サイズである。
結論として、本出願の本実施形態で提供されるビデオ伝送装置は、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が改善され、ライブビデオのフリーズおよび遅延をある程度回避することができる。
一実施形態は端末を提供し、本端末は、前述の実施形態で提供されるビデオ符号化方法を行うように構成され得る。図10に示されるように、本端末1000は、以下を含む。
端末1000は、RF(Radio Frequency、無線周波数)回路1010、1つまたは複数のコンピュータ可読記憶媒体を含むメモリ1020、入力部1030、表示部1040、センサ1050、オーディオ回路1060、WiFi(Wireless Fidelity、ワイヤレスフィデリティ)モジュール1070、1つまたは複数の処理コアを含むプロセッサ1080、電源190などの部品を含み得る。図10に示される端末構造は、本端末に対する限定を構成するものではなく、図に示されている部品よりも多いかもしくは少ない部品を含んでいてもよく、または一部の部品が結合されていてもよく、または異なる部品配置を有していてもよいことを、当業者は理解できよう。
RF回路1010は、情報受信プロセスまたは送信プロセスまたは通話プロセスにおいて信号を受信および送信し、特に、基地局の下り情報を受信した後、下り情報を処理のために1つまたは複数のプロセッサ1080に送信し、加えて、基地局に関連した上りデータを送信する、ように構成され得る。一般に、RF回路1010は、アンテナ、少なくとも1つの増幅器、チューナ、1つまたは複数の発振器、加入者識別モジュール(SIM)カード、送受信機、カプラ、LNA(Low Noise Amplifier、低雑音増幅器)、デュプレクサなどを含むが、これに限定されない。加えて、RF回路1010は、無線通信によってネットワークおよび別のデバイスと通信し得る。無線通信には、これに限定されないが、GSM(登録商標)(Global System of Mobile communication、グローバル・システム・フォー・モバイル・コミュニケーションズ)、GPRS(General Packet Radio Service、汎用パケット無線サービス)、CDMA(Code Division Multiple Access、符号分割多元接続)、WCDMA(登録商標)(Wideband Code Division Multiple Access、広帯域符号分割多元接続)、LTE(Long Term Evolution、ロングタームエボリューション)、電子メール、SMS(Short Messaging Service、ショートメッセージサービス)などを含む任意の通信規格またはプロトコルが使用され得る。
メモリ1020は、ソフトウェアプログラムおよびモジュールを格納するように構成されていてよく、プロセッサ1080は、メモリ1020に格納されたソフトウェアプログラムおよびモジュールを動作させることによって様々な機能アプリケーションを実行し、データを処理する。メモリ1020は、プログラム記憶域とデータ記憶域とを主に含んでいてもよく、プログラム記憶域は、オペレーティングシステム、少なくとも1つの機能(音声再生機能や画像再生機能など)によって必要とされるアプリケーションプログラムなどを格納し、データ記憶域は、端末1000の使用に基づいて作成された(オーディオデータやアドレス帳などの)データなどを格納し得る。加えて、メモリ1020は、高速ランダムアクセスメモリも含んでいてもよく、少なくとも1つの磁気ディスク記憶コンポーネント、フラッシュメモリコンポーネントなどの不揮発性メモリ、または別の揮発性固体記憶コンポーネントをさらに含んでいてもよい。これに対応して、メモリ1020は、プロセッサ1080および入力部1030にメモリ1020へのアクセスを提供するために、メモリコントローラをさらに含み得る。
入力部1030は、入力デジタル情報または文字情報を受け取り、キーボード、マウス、ジョイスティック、光学系、またはトラックボールのものである、ユーザ設定および機能制御に関連した信号入力を生成する、ように構成され得る。具体的には、入力部1030は、タッチセンシティブ表面1031と、別の入力デバイス1032とを含み得る。タッチセンシティブ表面1031は、タッチスクリーンまたはタッチパッドとも呼ばれ、タッチセンシティブ表面上またはその近くでのユーザのタッチ操作(ユーザが、タッチセンシティブ表面1031上またはタッチセンシティブ表面1031の近くで、指、スタイラス、または任意の他の適切な物体もしくはアクセサリを使用して行う操作など)を受け取り、事前設定式に基づいて対応する接続装置を駆動し得る。任意選択で、タッチセンシティブ表面1031は、2つの部分、タッチ検出装置とタッチコントローラとを含んでいてもよい。タッチ検出装置は、ユーザのタッチ位置を検出し、タッチ操作によって生じた信号を検出し、その信号をタッチコントローラに送る。タッチコントローラは、タッチ検出装置からタッチ情報を受け取り、タッチ情報をタッチ点座標に変換し、タッチ点座標をプロセッサ1080に送り、プロセッサ1080によって送られたコマンドを受け取り、実行することができる。加えて、タッチセンシティブ表面1031は、抵抗膜式、静電容量式、または表面弾性波方式のタッチセンシティブ表面によって実施されてもよい。タッチセンシティブ表面1031に加えて、入力部1030は、別の入力デバイス1032をさらに含み得る。具体的には、別の入力デバイス1032には、物理キーボード、機能キー(音量調節キーやオン/オフキーなど)、トラックボール、マウス、ジョイスティックなどのうちの1つまたは複数が含まれ得るが、これに限定されない。
表示部1040は、ユーザによって入力された情報またはユーザに提供される情報、および端末1000の様々なグラフィックユーザインターフェースを表示するように構成されてもよく、グラフィックユーザインターフェースは、グラフィック、テキスト、アイコン、ビデオ、およびそれらの任意の組み合わせを含み得る。表示部1040は、表示パネル1041を含み得る。任意選択で、表示パネル1041は、LCD(Liquid Crystal Display、液晶ディスプレイ)、OLED(Organic Light-Emitting Diode、有機発光ダイオード)などを使用して構成されていてもよい。さらに、タッチセンシティブ表面1031は、表示パネル1041を覆っていてもよい。タッチセンシティブ表面1031上またはその近くでタッチ操作を検出すると、タッチセンシティブ表面1041は、タッチイベントのタイプを決定するためにタッチ操作をプロセッサ1080に送り、次いでプロセッサ1080は、タッチイベントのタイプに基づいて表示パネル1041で対応する視覚出力を提供する。図10ではタッチセンシティブ表面1031と表示パネル1041とが入力機能と入力機能とを実施する2つの独立した構成要素として使用されているが、いくつかの実施形態では、入力機能と出力機能とを実施するようにタッチセンシティブ表面1031が表示パネル1041と統合され得る。
端末1000は、光センサ、動きセンサ、別のセンサなどの少なくとも1つのタイプのセンサ1050をさらに含み得る。具体的には、光センサは、周囲光センサおよび近接センサを含み得る。周囲光センサは、周囲光の明るさに基づいて表示パネル1041の輝度を調整し得る。光センサは、端末1000が耳に当てられると、表示パネル1041および/またはバックライトをオフにし得る。動きセンサの1タイプとして、重力加速度センサは、各方向(一般には3軸)の加速度の値を検出でき、静止モードで重力の値および方向を検出でき、携帯電話のジェスチャを識別するためのアプリケーション(横向き/縦向きの切り替え、関連したゲーム、磁力計のジェスチャ較正など)、振動識別に関連し機能(歩数計やストロークなど)その他に使用することができる。端末1000上でさらに構成することができる、ジャイロスコープ、気圧計、湿度計、温度計、赤外線センサなどの他のセンサについては、ここでは詳述しない。
オーディオ回路1060、スピーカ1061、およびマイクロフォン1062は、ユーザと端末1000との間のオーディオインターフェースを提供することができる。オーディオ回路1060はスピーカ1061に、受け取ったオーディオデータから変換された電気信号を送ることができ、スピーカ1061はその電気信号を出力のために音声信号に変換する。加えて、マイクロフォン1062は集められた音声信号を電気信号に変換し、オーディオ回路1060は、電気信号を受け取った後でその電気信号をオーディオデータに変換し、そのオーディオデータを処理のためにプロセッサ1080に出力し、次いでオーディオデータは、例えば、RF回路1010を使用して別の端末に送信されるか、またはオーディオデータは、さらに処理するためにメモリ1020に出力される。オーディオ回路1060は、端末1000と通信するための外部イヤホンを提供するために、おそらくはイヤプラグジャックを含み得る。
WiFiは、短距離無線伝送技術である。端末1000は、WiFiモジュール1070を使用して、ユーザが電子メールを送受信したり、ウェブページを閲覧したり、ストリーミングメディアにアクセスしたりするのを支援する。WiFiモジュールはユーザに無線広帯域インターネットアクセスを提供する。図10にはWiFiモジュール1070が示されているが、WiFiモジュール1070は、端末1000の必須構成要素ではなく、本発明の本質が変更されなければ、要件に基づいて省略されてもよいことが理解されよう。
プロセッサ1080は、端末1000のコントロールセンタである。携帯電話全体の様々な部分に接続するために様々なインターフェースおよびケーブルが使用されうる。プロセッサ1080は、端末1000の様々な機能を実行し、メモリ1020に格納されたソフトウェアプログラムおよび/またはモジュールを動作させるかまたは実行し、メモリ1020に格納されたデータを呼び出すことによってデータを処理して、携帯電話上で全体的な監視を行う。任意選択で、プロセッサ1080は、1つまたは複数の処理コアを含んでいてもよい。好ましくは、プロセッサ1080はアプリケーションプロセッサとモデムプロセッサとを統合したものであり得る。アプリケーションプロセッサは、オペレーティングシステム、ユーザインターフェース、アプリケーションプログラムなどを主に処理し、モデムプロセッサは、無線通信を主に処理する。モデムプロセッサはプロセッサ1080に統合されない場合もあることが理解されよう。
端末1000は、各部分に電力を供給する電源(バッテリなど)190をさらに含む。好ましくは、電源は、充放電管理や電力消費管理などの機能が電源管理システムを使用して実施されるように、電源管理システムを使用してプロセッサ1080に論理的に接続され得る。電源190は、1つまたは複数の直流または交流電源、再充電システム、電源障害検出回路、電力変換器またはインバータ、電源状況表示器などの任意の構成要素をさらに含み得る。
図示されていない場、端末1000は、カメラ、ブルートゥース(登録商標)モジュールなどをさらに含んでいてもよく、ここでは詳述しない。具体的には、本実施形態では、端末の表示部は、タッチスクリーンディスプレイであってもよく、端末は、メモリおよび1つまたは複数のプログラムをさらに含み、1つまたは複数のプログラムは、メモリに格納され、構成された後で1つまたは複数のプロセッサによって実行される。1つまたは複数のプログラムは、以下の動作を行うために使用される命令を含む。ターゲットビデオデータセグメントを取得する動作であって、ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、動作、t個の参照データセットを取得する動作であって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、動作、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、各参照データセットを使用してターゲットビデオデータセグメントを符号化する動作であって、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである、動作、およびn台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信する動作であって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、動作。
図11は、一例示的実施形態によるビデオ伝送装置1100のブロック図である。例えば、装置1100はサーバとして提供され得る。図11に示されるように、装置1100は、処理コンポーネント1122を含み、処理コンポーネント1122は、1つまたは複数のプロセッサと、メモリ1132で表されたメモリリソースとをさらに含み、処理コンポーネント1122によって実行され得る、アプリケーションプログラムなどの命令を格納するように構成される。メモリ1132に格納されたアプリケーションプログラムは、1つまたは複数のモジュールを含んでいてもよく、各モジュールは命令グループに対応する。加えて、処理コンポーネント1122は、命令を実行して以下の方法を行うように構成される。
ターゲットビデオデータセグメントを取得するステップであって、ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、ステップと、t個の参照データセットを取得するステップであって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、ステップと、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、各参照データセットを使用してターゲットビデオデータセグメントを符号化するステップであって、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである、ステップと、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップであって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、ステップ。
あるいは、以下の方法が行われる。
u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップであって、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、ステップと、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するステップと、
連立方程式行列の計算された解行列のデータを、ターゲットビデオデータセグメントのデータとして決定するステップ。
装置1100は、装置1100の電源管理を実行するように構成された電源コンポーネント1126と、装置1100をネットワークに接続するように構成された有線または無線ネットワークインターフェース1150と、入力/出力(I/O)インターフェース1158とをさらに含み得る。装置1100は、Windows Server(登録商標)、Mac OS X(登録商標)、Unix(登録商標)、Linux(登録商標)、FreeBSD(登録商標)などといったメモリ1132に格納されたオペレーティングシステムを動作させ得る。
本出願の一実施形態は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は命令を格納する。命令がコンピュータの処理コンポーネント上で動作すると、処理コンポーネントは、図3Aに示される実施形態で提供されるビデオ伝送方法を行うことができるようになる。
各実施形態のステップの全部または一部がハードウェアまたは関連したハードウェアに命令するプログラムによって実現され得ることを当業者は理解できよう。プログラムはコンピュータ可読記憶媒体に格納され得る。記憶媒体は、読取り専用メモリ、磁気ディスク、または光ディスクを含み得る。
以上の説明は、本出願の実施形態の単なる任意選択の実施態様にすぎず、本出願を限定するためのものではない。本出願の趣旨および原理を逸脱することなくなされるあらゆる改変、等価の置換、または改善は、本出願の保護範囲内に含まれるべきである。
101 アンカ端末
102 視聴者端末
103 コンテンツ配信(CDN)ネットワーク
201 アンカ端末
202 CDNネットワーク
203 視聴者端末
204 ビデオ符号化サーバ
600 ビデオ伝送装置
601 第1の取得モジュール
602 第2の取得モジュール
603 符号化モジュール
604 送信モジュール
605 第1の決定モジュール
606 第2の決定モジュール
607 第3の決定モジュール
608 第4の決定モジュール
700 ビデオ伝送装置
800 ビデオ伝送装置
801 受信モジュール
802 構築モジュール
803 決定モジュール
804 第1の送信モジュール
805 第2の送信モジュール
806 記憶モジュール
900 ビデオ伝送装置
1000 端末
1010 RF(無線周波数)回路
1020 メモリ
1030 入力部
1031 タッチセンシティブ表面
1032 別の入力デバイス
1040 表示部
1041 表示パネル
1050 センサ
1060 オーディオ回路
1061 スピーカ
1062 マイクロフォン
1070 WiFi(ワイヤレスフィデリティ)モジュール
1080 プロセッサ
1090 電源
1100 ビデオ伝送装置
1122 処理コンポーネント
1126 電源コンポーネント
1132 メモリ
1150 ネットワークインターフェース
1158 入力/出力インターフェース
2021 フロントエンドサーバ
2022 ビデオ復号サーバ
2023 バックグラウンドストレージサーバ

Claims (39)

  1. ライブブロードキャストネットワークにおいてビデオ符号化デバイスで使用される、ビデオ伝送方法であって、前記ライブブロードキャストネットワークが、前記ビデオ符号化デバイスと、ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記方法が、
    ターゲットビデオデータセグメントを取得するステップであって、前記ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、ステップと、
    t個の参照データセットを取得するステップであって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、ステップと、
    各参照データセットを使用して前記ターゲットビデオデータセグメントを符号化して、前記t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するステップであって、前記t個の参照データセット内の任意のk個の参照データセットと、前記任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、前記連立方程式行列の解行列のデータが前記ターゲットビデオデータセグメントのデータである、ステップと、
    n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信するステップであって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、ステップと
    を含む、方法。
  2. 各参照データセットが、前記k個のデータブロックと一対一の対応関係にあるk個の参照データを含み、
    各参照データセットを使用して前記ターゲットビデオデータセグメントを符号化して、前記t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得する前記ステップが、
    参照データセットごとに、前記参照データセットに含まれる各参照データを対応するデータブロックで乗算して、k個の積を取得するステップと、
    前記k個の積を加算して、前記参照データセットに対応する符号化データブロックを取得するステップと
    を含む、請求項1に記載の方法。
  3. ターゲットビデオデータセグメントを取得する前記ステップが、
    前記送信されるべきライブビデオの前記ビデオデータストリームを取得するステップと、
    前記ビデオデータストリームからデータブロックを取得するステップと、
    第1の事前設定時間において、取得されたデータブロックの数がk以上である場合、前記取得されたk個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成するステップ、または
    取得されたデータブロックの前記数が前記第1の事前設定時間の終了時にk未満である場合、事前設定データを使用して前記取得されたデータブロックをパディングして、k個のデータブロックを取得し、パディングによって取得された前記k個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成するステップと
    を含む、請求項1に記載の方法。
  4. 前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された(p+1)番目のビデオデータセグメントであり、pが1以上の正の整数であり、
    t個の参照データセットを取得する前記ステップの前に、前記方法が、
    前記ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信するステップであって、前記p個の履歴復号差分が、前記ビデオデータストリームにおいて前記ターゲットビデオデータセグメントに先行するp個のビデオデータセグメントと一対一の対応関係にあり、各履歴復号差分が、復号によって対応するビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時に前記ビデオ復号デバイスに不足している参照データグループの数を表すために使用される、ステップと、
    前記p個の履歴復号差分に基づき、取得される必要のある参照データセットの前記数tの値を決定するステップと
    をさらに含む、請求項1に記載の方法。
  5. 前記p個の履歴復号差分内のi番目の履歴復号差分diが、
    前記ビデオ復号デバイスが、復号によって前記第2の事前設定時間において、前記ビデオデータストリーム内の、前記i番目の履歴復号差分に対応するi番目のビデオデータセグメントを正常に取得する場合、di=0を満たし、
    前記ビデオ復号デバイスが、前記第2の事前設定時間の終了時に復号による前記i番目のビデオデータセグメントの取得に失敗する場合、di=y−xを満たし、式中、yが、復号によって前記i番目のビデオデータセグメントを正常に取得するために前記ビデオ復号デバイスによって必要とされる参照データグループの数であり、xが、前記第2の事前設定時間の終了時に前記ビデオ復号デバイスによって取得される前記i番目のビデオデータセグメントに対応する参照データグループの数であり、1≦i≦pである、請求項4に記載の方法。
  6. 前記p個の履歴復号差分に基づき、取得される必要のある参照データセットの前記数tの値を決定する前記ステップが、
    前記p個の履歴復号差分と第1の式とに基づき、取得される必要のある参照データセットの前記数tの前記値を計算するステップであって、前記第1の式が、
    であり、式中、
    であり、式中、gが、重みパラメータであり、diが、前記p個の履歴復号差分内のi番目の履歴復号差分であり、tpが、前記ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前に前記ビデオ符号化デバイスによって取得された参照データセットの数である、ステップ
    を含む、請求項4または5に記載の方法。
  7. 前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された最初のビデオデータセグメントであり、
    t個の参照データセットを取得する前記ステップの前に、前記方法が、
    前記ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの前記数tの値を決定するステップ
    をさらに含む、請求項1に記載の方法。
  8. 前記ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの前記数tの値を決定する前記ステップが、
    前記ライブブロードキャストネットワークの前記平均パケット損失率と第2の式とに基づき、取得される必要のある参照データセットの前記数tの前記値を計算するステップであって、前記第2の式が、
    であり、式中、ρが、前記ライブブロードキャストネットワークの前記平均パケット損失率であり、
    が、切り捨て演算子である、ステップ
    を含む、請求項7に記載の方法。
  9. n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信する前記ステップの前に、前記方法が、
    前記ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバを決定するステップであって、rがn以上の正の整数である、ステップと、
    前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間のデータ伝送速度に基づいて前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを決定するステップであって、前記n台のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質が別のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質よりも良好である、ステップと
    をさらに含む、請求項1に記載の方法。
  10. 前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間のデータ伝送速度に基づいて前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを決定する前記ステップが、
    第3の式と、前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間の前記データ伝送速度とに基づいて各フロントエンドサーバの利用価値を計算するステップであって、前記第3の式が、
    であり、式中、ujが、前記r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、1≦j≦rであり、thrjが、前記ビデオ符号化デバイスと前記j番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjが、前記ビデオ符号化デバイスと前記j番目のフロントエンドサーバとの間のパケット損失率であり、ρが、前記ライブブロードキャストネットワークの平均パケット損失率であり、βが、定数である、ステップと、
    前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを利用価値の降順に決定するステップと
    を含む、請求項9に記載の方法。
  11. n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信する前記ステップが、
    第4の式に基づき、前記n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を決定するステップであって、前記第4の式が、
    であり、式中、ylが、前記n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulが、前記最初のフロントエンドサーバの利用価値であり、
    が、前記n台のフロントエンドサーバの利用価値の和であり、1≦l≦nである、ステップと、
    各フロントエンドサーバが受信した第1の参照データグループを前記ビデオ復号デバイスに送信するように、各フロントエンドサーバに対応する数の第1の参照データグループを送信するステップと
    を含む、請求項10に記載の方法。
  12. ターゲットビデオデータセグメントを取得する前記ステップの前に、前記方法が、
    データブロックの前記数kに対応する伝送遅延が事前設定伝送遅延範囲内に収まるように、伝送遅延とデータブロックの数との間の事前設定対応関係に基づいて前記ターゲットビデオデータセグメント内のデータブロックの前記数kを決定するステップであって、前記伝送遅延が、アンカ端末が前記ビデオ復号デバイスに前記ビデオデータセグメントを送信するときに存在している伝送遅延である、ステップ
    をさらに含む、請求項1に記載の方法。
  13. ライブブロードキャストネットワークにおいてビデオ復号デバイスで使用される、ビデオ伝送方法であって、前記ライブブロードキャストネットワークが、ビデオ符号化デバイスと、前記ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記方法が、
    u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップであって、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、前記ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、前記ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、前記参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、ステップと、
    第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと前記受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するステップと、
    前記連立方程式行列の計算された解行列のデータを、前記ターゲットビデオデータセグメントのデータとして決定するステップと
    を含む、方法。
  14. 前記方法が、
    受信した第1の参照データグループの前記数が前記第2の事前設定時間の終了時にk未満である場合、受信した第1の参照データグループの前記数とkとの差分の絶対値を取得するステップと、
    前記絶対値を現在の復号差分として前記ビデオ符号化デバイスに送信するステップと
    をさらに含む、請求項13に記載の方法。
  15. 前記方法が、
    前記第2の事前設定時間において、受信した第1の参照データグループの前記数がkに達した後、前記ビデオ符号化デバイスに現在の復号差分を送信するステップであって、前記現在の復号差分が0である、ステップ
    をさらに含む、請求項13に記載の方法。
  16. 符号化データブロックと前記受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築する前記ステップが、
    前記受信したk個の第1の参照データグループをパースして、k個の符号化データブロックと、前記k個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとを取得するステップと、
    前記k個の符号化データブロックを使用して前記連立方程式行列の定数項行列を構築するステップであって、各符号化データブロックが前記定数項行列の1行として使用される、ステップと、
    前記k個の参照データセットを使用して前記連立方程式行列の係数行列を構築するステップであって、各参照データセットが前記係数行列の1行として使用され、各参照データセットが前記係数行列において位置する前記行の階数が、対応する符号化データブロックが前記定数項行列において位置する行の階数と同じである、ステップと
    を含む、請求項13に記載の方法。
  17. u台のフロントエンドサーバによって送信された第1の参照データグループを受信する前記ステップの後に、前記方法が、
    前記第1の参照データグループを事前設定記憶場所に格納するステップであって、
    前記事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、前記ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて決定され、
    前記最大遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、前記最小遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに前記参照データグループを送信するために必要とされる最小時間である、ステップ
    をさらに含む、請求項13に記載の方法。
  18. 前記事前設定記憶場所の前記記憶空間サイズが第6の式を満たし、前記第6の式が、
    であり、式中、Qが、前記事前設定記憶場所の前記記憶空間サイズであり、max(delay)が、前記最大遅延時間であり、min(delay)が、前記最小遅延時間であり、generate_timeが、前記ビデオデータストリーム内の前記ビデオデータセグメントの前記生成時間であり、sが、前記ビデオデータセグメントのデータ量サイズである、請求項17に記載の方法。
  19. ライブブロードキャストネットワークにおいてビデオ符号化デバイスで使用される、ビデオ伝送装置であって、前記ライブブロードキャストネットワークが、前記ビデオ符号化デバイスと、ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記装置が、
    ターゲットビデオデータセグメントを取得するように構成された第1の取得モジュールであって、前記ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、第1の取得モジュールと、
    t個の参照データセットを取得するように構成された第2の取得モジュールであって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、第2の取得モジュールと、
    各参照データセットを使用して前記ターゲットビデオデータセグメントを符号化して、前記t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するように構成された符号化モジュールであって、前記t個の参照データセット内の任意のk個の参照データセットと、前記任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、前記連立方程式行列の解行列のデータが前記ターゲットビデオデータセグメントのデータである、符号化モジュールと、
    n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信するように構成された送信モジュールであって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、送信モジュールと
    を含む、装置。
  20. 各参照データセットが、前記k個のデータブロックと一対一の対応関係にあるk個の参照データを含み、
    前記符号化モジュールが、
    参照データセットごとに、前記参照データセットに含まれる各参照データを対応するデータブロックで乗算して、k個の積を取得することと、
    前記k個の積を加算して、前記参照データセットに対応する符号化データブロックを取得することと
    を行うように構成される、請求項19に記載の装置。
  21. 前記第1の取得モジュールが、
    前記送信されるべきライブビデオの前記ビデオデータストリームを取得することと、
    前記ビデオデータストリームからデータブロックを取得することと、
    第1の事前設定時間において、取得されたデータブロックの数がk以上である場合、前記取得されたk個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成すること、または
    取得されたデータブロックの前記数が前記第1の事前設定時間の終了時にk未満である場合、事前設定データを使用して前記取得されたデータブロックをパディングして、k個のデータブロックを取得し、パディングによって取得された前記k個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成することと
    を行うように構成される、請求項19に記載の装置。
  22. 前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された(p+1)番目のビデオデータセグメントであり、pが1以上の正の整数であり、
    前記装置が、第1の決定モジュールをさらに含み、
    前記第1の決定モジュールが、
    前記ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信することであって、前記p個の履歴復号差分が、前記ビデオデータストリームにおいて前記ターゲットビデオデータセグメントに先行するp個のビデオデータセグメントと一対一の対応関係にあり、各履歴復号差分が、復号によって対応するビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時に前記ビデオ復号デバイスに不足している参照データグループの数を表すために使用される、ことと、
    前記p個の履歴復号差分に基づき、取得される必要のある参照データセットの前記数tの値を決定することと
    を行うように構成される、請求項19に記載の装置。
  23. 前記p個の履歴復号差分内のi番目の履歴復号差分diが、
    前記ビデオ復号デバイスが、復号によって前記第2の事前設定時間において、前記ビデオデータストリーム内の、前記i番目の履歴復号差分に対応するi番目のビデオデータセグメントを正常に取得する場合、di=0を満たし、
    前記ビデオ復号デバイスが、前記第2の事前設定時間の終了時に復号による前記i番目のビデオデータセグメントの取得に失敗する場合、di=y−xを満たし、式中、yが、復号によって前記i番目のビデオデータセグメントを正常に取得するために前記ビデオ復号デバイスによって必要とされる参照データグループの数であり、xが、前記第2の事前設定時間の終了時に前記ビデオ復号デバイスによって取得される前記i番目のビデオデータセグメントに対応する参照データグループの数であり、1≦i≦pである、請求項22に記載の装置。
  24. 前記第1の決定モジュールが、
    前記p個の履歴復号差分と第1の式とに基づき、取得される必要のある参照データセットの前記数tの前記値を計算することであって、前記第1の式が、
    であり、式中、
    であり、式中、gが、重みパラメータであり、diが、前記p個の履歴復号差分内のi番目の履歴復号差分であり、tpが、前記ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前に前記ビデオ符号化デバイスによって取得された参照データセットの数である、こと
    を行うように構成される、請求項22または23に記載の装置。
  25. 前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された最初のビデオデータセグメントであり、
    前記装置が、第2の決定モジュールをさらに含み、
    前記第2の決定モジュールが、
    前記ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの前記数tの値を決定すること
    を行うように構成される、請求項19に記載の装置。
  26. 前記第2の決定モジュールが、
    前記ライブブロードキャストネットワークの前記平均パケット損失率と第2の式とに基づき、取得される必要のある参照データセットの前記数tの前記値を計算することであって、前記第2の式が、
    であり、式中、ρが、前記ライブブロードキャストネットワークの前記平均パケット損失率であり、
    が、切り捨て演算子である、こと
    を行うように構成される、請求項25に記載の装置。
  27. 前記装置が、第3の決定モジュールをさらに含み、
    前記第3の決定モジュールが、
    前記ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバを決定することであって、rがn以上の正の整数である、ことと、
    前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間のデータ伝送速度に基づいて前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを決定することであって、前記n台のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質が別のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質よりも良好である、ことと
    を行うように構成される、請求項19に記載の装置。
  28. 前記第3の決定モジュールが、
    第3の式と、前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間の前記データ伝送速度とに基づいて各フロントエンドサーバの利用価値を計算することであって、前記第3の式が、
    であり、式中、ujが、前記r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、1≦j≦rであり、thrjが、前記ビデオ符号化デバイスと前記j番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjが、前記ビデオ符号化デバイスと前記j番目のフロントエンドサーバとの間のパケット損失率であり、ρが、前記ライブブロードキャストネットワークの平均パケット損失率であり、βが、定数である、ことと、
    前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを利用価値の降順に決定することと
    を行うように構成される、請求項27に記載の装置。
  29. 前記送信モジュールが、
    第4の式に基づき、前記n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を決定することであって、前記第4の式が、
    であり、式中、ylが、前記n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulが、前記最初のフロントエンドサーバの利用価値であり、
    が、前記n台のフロントエンドサーバの利用価値の和であり、1≦l≦nである、ことと、
    各フロントエンドサーバが受信した第1の参照データグループを前記ビデオ復号デバイスに送信するように、前記各フロントエンドサーバに対応する数の第1の参照データグループを送信することと
    を行うように構成される、請求項28に記載の装置。
  30. 前記装置が、第4の決定モジュールをさらに含み、
    前記第4の決定モジュールが、
    データブロックの前記数kに対応する伝送遅延が事前設定伝送遅延範囲内に収まるように、伝送遅延とデータブロックの数との間の事前設定対応関係に基づいて前記ターゲットビデオデータセグメント内のデータブロックの前記数kを決定することあって、前記伝送遅延が、アンカ端末が前記ビデオ復号デバイスに前記ビデオデータセグメントを送信するときに存在している伝送遅延である、こと
    を行うように構成される、請求項19に記載の装置。
  31. ライブブロードキャストネットワークにおいてビデオ復号デバイスで使用される、ビデオ伝送装置であって、前記ライブブロードキャストネットワークが、ビデオ符号化デバイスと、前記ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記装置が、
    u台のフロントエンドサーバによって送信された第1の参照データグループを受信するように構成された受信モジュールであって、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、前記ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、前記ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、前記参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、受信モジュールと、
    第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと前記受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するように構成された構築モジュールと、
    前記連立方程式行列の計算された解行列のデータを、前記ターゲットビデオデータセグメントのデータとして決定するように構成された決定モジュールと
    を含む、装置。
  32. 前記装置が、第1の送信モジュールをさらに含み、
    前記第1の送信モジュールが、
    受信した第1の参照データグループの前記数が前記第2の事前設定時間の終了時にk未満である場合、受信した第1の参照データグループの前記数とkとの差分の絶対値を取得することと、
    前記絶対値を現在の復号差分として前記ビデオ符号化デバイスに送信することと
    を行うように構成される、請求項31に記載の装置。
  33. 前記装置が、第2の送信モジュールをさらに含み、
    前記第2の送信モジュールが、
    前記第2の事前設定時間において、受信した第1の参照データグループの前記数がkに達した後、前記ビデオ符号化デバイスに現在の復号差分を送信することであって、前記現在の復号差分が0である、こと
    を行うように構成される、請求項31に記載の装置。
  34. 前記構築モジュールが、
    前記受信したk個の第1の参照データグループをパースして、k個の符号化データブロックと、前記k個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとを取得することと、
    前記k個の符号化データブロックを使用して前記連立方程式行列の定数項行列を構築することであって、各符号化データブロックが前記定数項行列の1行として使用される、ことと、
    前記k個の参照データセットを使用して前記連立方程式行列の係数行列を構築することであって、各参照データセットが前記係数行列の1行として使用され、各参照データセットが前記係数行列において位置する前記行の階数が、対応する符号化データブロックが前記定数項行列において位置する行の階数と同じである、ことと
    を行うように構成される、請求項31に記載の装置。
  35. 前記装置が、記憶モジュールをさらに含み、
    前記記憶モジュールが、
    前記第1の参照データグループを事前設定記憶場所に格納することであって、
    前記事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、前記ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて決定され、
    前記最大遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、前記最小遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに前記参照データグループを送信するために必要とされる最小時間である、こと
    を行うように構成される、請求項31に記載の装置。
  36. 前記事前設定記憶場所の前記記憶空間サイズが第6の式を満たし、前記第6の式が、
    であり式中、Qが、前記事前設定記憶場所の前記記憶空間サイズであり、max(delay)が、前記最大遅延時間であり、min(delay)が、前記最小遅延時間であり、generate_timeが、前記ビデオデータストリーム内の前記ビデオデータセグメントの前記生成時間であり、sが、前記ビデオデータセグメントのデータ量サイズである、請求項35に記載の装置。
  37. ビデオ伝送装置であって、前記ビデオ伝送装置が、プロセッサとメモリとを含み、
    前記プロセッサが、前記メモリに格納された命令を実行するように構成され、
    前記プロセッサが、前記命令を実行して、請求項1から12のいずれか一項に記載のビデオ伝送方法を実施する、ビデオ伝送装置。
  38. ビデオ伝送装置であって、前記ビデオ伝送装置が、プロセッサとメモリとを含み、
    前記プロセッサが、前記メモリに格納された命令を実行するように構成され、
    前記プロセッサが、前記命令を実行して、請求項13から18のいずれか一項に記載のビデオ伝送方法を実施する、ビデオ伝送装置。
  39. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体が命令を格納し、
    前記命令がコンピュータの処理コンポーネントで動作すると、前記処理コンポーネントが、請求項1から12のいずれか一項に記載のビデオ伝送方法を実施可能となるか、または前記処理コンポーネントが、請求項13から18のいずれか一項に記載のビデオ伝送方法を実施可能となる、コンピュータ可読記憶媒体。
JP2020529571A 2017-11-30 2018-11-27 ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体 Active JP7030984B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711244047.2A CN109862377B (zh) 2017-11-30 2017-11-30 视频传输方法、装置、系统及计算机可读存储介质
CN201711244047.2 2017-11-30
PCT/CN2018/117678 WO2019105340A1 (zh) 2017-11-30 2018-11-27 视频传输方法、装置、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2021505081A true JP2021505081A (ja) 2021-02-15
JP7030984B2 JP7030984B2 (ja) 2022-03-07

Family

ID=66665418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020529571A Active JP7030984B2 (ja) 2017-11-30 2018-11-27 ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体

Country Status (6)

Country Link
US (1) US11012724B2 (ja)
EP (1) EP3709663A4 (ja)
JP (1) JP7030984B2 (ja)
KR (1) KR102316873B1 (ja)
CN (1) CN109862377B (ja)
WO (1) WO2019105340A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862387A (zh) * 2019-03-28 2019-06-07 北京达佳互联信息技术有限公司 直播的回看视频生成方法、装置及设备
CN111629234B (zh) * 2020-06-24 2022-09-02 上海大因多媒体技术有限公司 不同类型视频共存的传输方法、装置、设备和存储介质
CN111934823B (zh) * 2020-08-12 2022-08-02 中国联合网络通信集团有限公司 数据传输方法、无线接入网络设备、用户平面功能实体
US12015801B2 (en) * 2021-09-13 2024-06-18 Apple Inc. Systems and methods for streaming extensions for video encoding
KR102643682B1 (ko) * 2021-12-21 2024-03-05 울산과학기술원 미디어 스트리밍 처리 장치 및 방법
CN116170379B (zh) * 2023-04-25 2023-07-14 腾讯科技(深圳)有限公司 一种传输控制方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147197A (ja) * 2011-01-11 2012-08-02 Panasonic Corp 通信装置、通信方法、及び通信プログラム
JP2014099708A (ja) * 2012-11-13 2014-05-29 Panasonic Corp 送信装置、受信装置、送信方法、及び受信方法
JP2016062213A (ja) * 2014-09-17 2016-04-25 京セラコミュニケーションシステム株式会社 アップロードシステム
JP2016119537A (ja) * 2014-12-19 2016-06-30 株式会社エヌ・ティ・ティ・データ 通信装置、通信方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7260269B2 (en) 2002-08-28 2007-08-21 Seiko Epson Corporation Image recovery using thresholding and direct linear solvers
CN102045554A (zh) * 2009-10-22 2011-05-04 浙江大学 视频和图像的空域预测方法及装置
CN102378001A (zh) 2010-08-11 2012-03-14 中国电信股份有限公司 支持图片直播模式的移动终端、视频直播方法及系统
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
US8839324B2 (en) 2011-08-15 2014-09-16 Gradiant, Centro Tecnolóxico de Telecomunicacións de Galicia Method and system for digital content transmission
CN105812840A (zh) 2014-12-29 2016-07-27 乐视网信息技术(北京)股份有限公司 一种直播视频传输方法、装置,以及视频直播系统
CN105847854A (zh) * 2016-04-12 2016-08-10 乐视控股(北京)有限公司 直播方法和系统
CN106162209B (zh) * 2016-06-30 2019-10-18 中国科学院计算技术研究所 一种基于sdn技术的内容分发网络直播系统与方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147197A (ja) * 2011-01-11 2012-08-02 Panasonic Corp 通信装置、通信方法、及び通信プログラム
JP2014099708A (ja) * 2012-11-13 2014-05-29 Panasonic Corp 送信装置、受信装置、送信方法、及び受信方法
JP2016062213A (ja) * 2014-09-17 2016-04-25 京セラコミュニケーションシステム株式会社 アップロードシステム
JP2016119537A (ja) * 2014-12-19 2016-06-30 株式会社エヌ・ティ・ティ・データ 通信装置、通信方法及びプログラム

Also Published As

Publication number Publication date
CN109862377B (zh) 2020-12-01
EP3709663A1 (en) 2020-09-16
CN109862377A (zh) 2019-06-07
US11012724B2 (en) 2021-05-18
EP3709663A4 (en) 2020-09-16
US20200296438A1 (en) 2020-09-17
JP7030984B2 (ja) 2022-03-07
KR20200093614A (ko) 2020-08-05
WO2019105340A1 (zh) 2019-06-06
KR102316873B1 (ko) 2021-10-22

Similar Documents

Publication Publication Date Title
JP7030984B2 (ja) ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体
US11355130B2 (en) Audio coding and decoding methods and devices, and audio coding and decoding system
CN113518085B (zh) 一种基于多通道的数据传输方法以及相关装置
CN107454416B (zh) 视频流发送方法和装置
WO2015058656A1 (zh) 直播控制方法,及主播设备
CN108234224B (zh) 可用带宽的探测方法及装置
US20200177938A1 (en) Media broadcasting method, server, terminal device, and storage medium
US11936921B2 (en) Method for managing network live streaming data and related apparatus, and device and storage medium
CN108900856B (zh) 一种视频帧率预测方法、装置及设备
CN112203100B (zh) 降低上下行带宽需求的传输方法及系统
CN109151494B (zh) 多媒体数据传输方法、多媒体采集设备及服务器
WO2015058590A1 (zh) 一种视频直播控制方法、设备及系统和存储介质
WO2015085963A1 (zh) 基于分布式系统的监控方法、装置及系统
CN113572836B (zh) 一种数据传输方法、装置、服务器及存储介质
CN103125108B (zh) 建立发射控制协议连接的系统和方法
US20170264510A1 (en) Content prioritization based on packet size
CN108337533B (zh) 视频压缩方法和装置
KR20230058493A (ko) 데이터 전송 방법 및 장치, 컴퓨터가 판독 가능한 저장 매체, 전자 디바이스 그리고 컴퓨터 프로그램 제품
CN109729384A (zh) 视频转码的选择方法和装置
CN112311874A (zh) 媒体数据处理方法、装置、存储介质及电子设备
CN111372127B (zh) 一种数据传输方法和相关装置
CN109657173B (zh) 一种网络资源加载方法及装置
CN116264619A (zh) 资源处理方法、装置、服务器、终端、系统及存储介质
CN116827924B (zh) 一种数据调度方法、装置、设备以及存储介质
CN112737971A (zh) 数据处理方法、装置、存储介质及网络设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220222

R150 Certificate of patent or registration of utility model

Ref document number: 7030984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150