CN108521869B - 无线数据传输方法和设备 - Google Patents

无线数据传输方法和设备 Download PDF

Info

Publication number
CN108521869B
CN108521869B CN201780006799.7A CN201780006799A CN108521869B CN 108521869 B CN108521869 B CN 108521869B CN 201780006799 A CN201780006799 A CN 201780006799A CN 108521869 B CN108521869 B CN 108521869B
Authority
CN
China
Prior art keywords
group
frames
channels
frame
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780006799.7A
Other languages
English (en)
Other versions
CN108521869A (zh
Inventor
朱磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN108521869A publication Critical patent/CN108521869A/zh
Application granted granted Critical
Publication of CN108521869B publication Critical patent/CN108521869B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0006—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/02—Arrangements for detecting or preventing errors in the information received by diversity reception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/24—Multipath
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于处理视频数据的方法。该方法包括：对图像序列进行时间下采样，形成多个子序列；对多个子序列分别进行编码，形成编码后的多个子序列；以及根据编码后的多个子序列中的各个帧的大小以及多个信道中每一个信道的带宽，选择要传输的帧。还提供了一种无人机和计算机可读存储介质。

Description

无线数据传输方法和设备
技术领域
本公开涉及无线通信技术领域，更具体地，本公开涉及一种无线数据传输方法和设备。
背景技术
当前，在无线信道或者信道带宽发生实时变化时，如何利用无线信道以低延时来传输视频是研究和应用的热点话题。多链路信道可以使用多个路数据传输通道，以达到扩大通信带宽的目的。
在多链路的无线和不可靠信道的条件下，需要提供与之匹配的信源编码方案来增加视频传输的可靠性并提升视频传输质量。目在前的多链路聚合传输中，主要利用多个链路进行带宽扩展。发送端对编码后的码流数据进行分包处理，并将数据分发到不同链路上进行传输。接收端对所传输的数据进行重组，然后进行解码以获得期望的数据。
然而，当前的方案仅仅利用了多条链路的带宽扩展，没有利用多条链路进行容错和提升传输的可靠性。例如，一旦某条数据链路上的数据传输发生错误，则接收端解码得到的图像就会出错，而且因为压缩前后的数据有依赖性，会导致错误扩散。此时，必须要通过容错帧或者其他容错方案来进行错误恢复。举例来说，假设一帧图像的码流分成4个链路传输。如果直接把数据进行拆分，只要一条链路上的数据传输出错，则其他三条链路上的数据传输即使正确，最终得到的该帧数据也是错误的，并且这个错误可能导致后续解码也无法获得正确图像，必须采用容错方案进行错误恢复。
发明内容
为了解决以上问题中的至少一部分，本公开提出一种利用多条链路来提供更可靠的视频压缩和分集传输的技术方案。通过该技术方案，接收端仅需将正确接收到的若干链路上的数据进行聚合即可获得解码图像。正确传输的链路越多，解码图像质量越高。只有当某一帧的数据在所有链路上的传输均出错时，才需要启动错误恢复策略。此外，在本公开的技术方案中，可以考虑针对每条链路不存在明显的静态能力差异，因此压缩方案可以采用均分的策略，以确保每个链路上的数据具有相似的重要性。
根据本公开的一个方面，提供了一种用于处理视频数据的方法。该方法包括：对图像序列进行时间下采样，形成多个子序列；对多个子序列分别进行编码，形成编码后的多个子序列；以及根据编码后的多个子序列中的各个帧的大小以及多个信道中每一个信道的带宽，选择要传输的帧。
在一个实施例中，从每一个编码后的子序列中找出时间上最早的帧，并将这些帧进行组合以形成一个组，依次重复该操作以形成多个组。然后，根据每个组中各个帧的大小以及多个信道中每一个信道的带宽，选择每个组中要传输的帧。
在一个实施例中，可以根据以下条件来选择组中要传输的帧：
S≤T
其中，S表示组中所选择的帧的总码流大小，T表示多个信道的总带宽。
在另一个实施例中，可以根据以下条件来选择组中要传输的帧：
T-D≤S≤T+D
其中，S表示组中所选择的帧的总码流大小，T表示多个信道的总带宽，D表示容忍门限。
优选地，选择每个组中尽可能多的数量的帧进行传输。
优选地，将多个信道按照带宽从大到小的顺序进行排序，并将每个组中要传输的帧按照从小到大的顺序进行排序。然后，将排序后的帧与排序后的信道依次进行匹配，使得每个组中尽可能多的数量的帧在同一信道中传输。
根据本公开的另一个方面，提供了一种无人机，包括成像装置、处理器和传输单元。成像装置被配置为捕获图像序列。处理器被配置为对图像序列进行时间下采样，形成多个子序列。处理器还被配置为对多个子序列分别进行编码，形成编码后的多个子序列。处理器还被配置为根据编码后的多个子序列中的各个帧的大小以及多个信道中每一个信道的带宽，选择要传输的帧。传输单元被配置为传输所选择的帧。
根据本公开的另一个方面，提供了一种计算机可读存储介质，存储有计算机程序。当计算机程序由至少一个处理器运行时，使至少一个处理器执行以下操作：对图像序列进行时间下采样，形成多个子序列；对多个子序列分别进行编码，形成编码后的多个子序列；以及根据编码后的多个子序列中的各个帧的大小以及多个信道中每一个信道的带宽，选择要传输的帧。
采用本公开的技术方案，能够提高多链路传输方案的可靠性。即，当多链路传输中有一条或者多条链路出错时，仍然可以获得无解码错误的重建图像。此外，正确接收到的链路上的数据越多，最终的重建图像质量就越高。当所有链路上的数据均被正确接收时，可以获得最大的重建图像质量。
附图说明
通过下文结合附图的详细描述，本公开的上述和其它特征将会变得更加明显，其中：
图1是示出了根据本公开一个实施例的方法的流程图。
图2是示出了根据本公开一个实施例的对图像序列进行时间下采样的示意图。
图3是示出了根据本公开一个实施例的无人机的框图。
图4是示出了根据本公开一个实施例的计算机可读存储介质的框图。
具体实施方式
下面结合附图和具体实施方式对本公开进行详细阐述。应当注意，本公开不应局限于下文所述的具体实施方式。另外，为了简便起见，省略了对与本公开没有直接关联的公知技术的详细描述，以防止对本公开的理解造成混淆。
图1是示出了根据本公开一个实施例的方法10的流程图。
如图1所示，在步骤S110，对包括多个帧的图像序列进行时间下采样，形成多个子序列。
图2是示出了根据本公开一个实施例的对图像序列进行时间下采样的示意图。在图2所示的示例中，将原始图像序列(P0，P1，…P7，…)分解为4个子序列。其中，第一个子序列包含帧P0、P4、P8…，第二个子序列包含帧P1、P5、P9…，第三个子序列包含帧P2、P6、P10…，第四个子序列包含帧P3、P7、P11…。由此，获得了四个时间分辨率为原始视频序列的1/4的子视频序列。
需要说明的是，图2中所示的4个子序列仅仅是一个具体示例。本公开不限于将原始图像序列分为4个子序列，而是可以根据实际需求划分为更多或更少数量的子序列。例如，可以将原始图像序列(P0，P1，……)分解为6个子序列。其中，第一个子序列包含帧P0、P6、P12…，第二个子序列包含帧P1、P7、P13…，第三个子序列包含帧P2、P8、P14…，第四个子序列包含帧P3、P9、P15…，第五个子序列包含帧P4、P10、P16…，第六个子序列包含帧P5、P11、P17…。由此，获得了六个时间分辨率为原始视频序列的1/6的子视频序列。同理，也可以将原始图像序列(P0，P1，……)分解为2个子序列，在此情况下第一个子序列包含帧P0、P2、P4…，第二个子序列包含帧P1、P3、P5…。
回到图1，在步骤S120，对步骤S110处获得的多个子序列分别进行编码(即压缩)，形成编码后的多个子序列(编码后的码流)。例如，针对每一个子序列，可以采用相应的一个编码器进行编码。对所采用的多个编码器的输出进行汇总，形成编码后的码流。此外，针对编码后的码流，可以采用相应的多个无线链路来传输，下文将对此做出更详细的说明。
接下来，在步骤S130，根据编码后的多个子序列中的各个帧(经过编码的帧)的大小以及多个信道中每一个信道的带宽，选择要传输的经过编码的帧。
根据一个实施例，在选择要传输的帧时，考虑以组(即图2中所示的G0、G1…)为单位进行传输。仍以图2为例，可以根据每个组(G0、G1…)中的每个子序列当前帧码流的大小以及多个信道的实时信道估计值，对该组中的四个子序列的当前帧码流进行组合发送，以实现与多个无线信道的实时匹配。下面，通过一个具体示例详细描述如何根据帧大小以及多个信道的带宽来选择要传输的帧。
假定组G0中的四个编码后的帧P0、P1、P2和P3的码流大小分别为S0、S1、S2、S3。另外，假定当前存在三个无线信道，其带宽估计值分别为T0、T1和T2。相应地，这三个无线信道的总带宽的估计值(即当前组G0时刻的可发送数据量)为T(T＝T0+T1+T2)。T0-T2中每一个的值可以是预先定义的(例如根据历史值来得到)，也可以是采用信道带宽估计器通过计算得到的。进一步地，假定当前四个子序列的收发状态均无差错，且三个无线信道的静态能力相当。那么，
(1)如果S0+S1+S2+S3＜＝T，或者场景对于延时无要求，则可以利用三个无线信道T0-T2发送包括四个编码后的帧P0、P1、P2和P3的码流。
(2)否则，从S0、S1、S2、S3中进行选择，使得组合后的码流总大小最接近T。优选地，在保持组合后的码流总大小最接近T的前提下，选择包含尽可能多的个数的编码后的帧的码流。
例如，在此场景下，如果满足S0+S1＜S0+S2＜T，则选择发送包括编码后的帧P0和P2的码流。备选地，如果满足S0+S1＜T，S0+S2+S3＜T，而且S0+S1的大小与S0+S2+S3的大小相当，则优选发送包括编码后的帧P0、P2和P3的码流。
(3)对于延时要求严格的应用场景，组合后的数据量大小应小于T。而对于延时抖动有一定容忍能力的应用场景，则以组合后的码流的数据量大小满足T-D＜＝S＜＝T+D为条件来选择要传输的编码后的帧并匹配相应的信道。其中，D是容忍门限，而S是所选择的编码后的帧的总大小。优选地，在满足该条件的前提下，选择包含尽可能多的个数的编码后的帧的码流。
(4)对于兼顾发送可靠性的应用场景，应当尽量减少一个流被分在多个信道中的情况。为此，在一个示例中，可以将多个信道按照带宽从大到小的顺序进行排序(带宽越大，表明信道条件约好)，并将每个组中要传输的帧按照从小到大的顺序进行排序。然后，将排序后的帧与排序后的信道依次进行匹配，使得每个组中尽可能多的数量的帧在同一信道中传输。
例如，针对上文中的示例，可以将T0-T2从大到小排序(例如得到T2＞T1＞T0)。另外，将S0-S3从小到大排序(例如得到S0＜S1＜S2＜S3)。在选择要传输的帧并与信道进行匹配时，对于T0-T2中的每一个Ti(以T0开始)，从S0-S3中依次选择一个或者更多个Si进行发送，使得所选择的一个或者更多个Si之和不大于Ti。当剩余最小的Si大于当前剩余的最大Ti时，再尝试进行拆分发送(即，把该Si尝试放入剩余的两个或更多个信道进行发送)。通过该方案，能够确保更多的流被发送，减少一个流被分在多个信道的情况，提升了容错能力。
在接收端，可以同样以组为单位来接收组中的每一个子序列的码流。例如，当组G0中的帧P0、P1、P2、P3中有一个或者多个被接收正确时，可以使用正确接收的子序列图像恢复其所在时间位置的原始图像，而不适用发生错误的子序列。相反，对于发生错误的子序列，可以使用正确接收的重建序列通过线性加权内插的方式恢复其对应时间位置的原始图像，由此产生最终的重建图像序列。
根据本实施例，当多链路传输中有一条或者多条链路出错时，仍然可以获得无解码错误的重建图像。实际上，正确接收到的链路上的数据越多，最终的重建图像质量就越高。
本公开的技术方案可以应用于无人机中。图3是示出了根据本公开一个实施例的无人机30的框图。如图3所示，无人机30包括成像装置310、处理器320以及传输单元330。
成像装置310被配置为捕获包括多个帧的图像序列。例如，成像装置310可以包括分布在无人机上的一个或更多个摄像机。
处理器320被配置为对成像装置310所捕获的包括多个帧的图像序列执行操作。具体地，处理器320对所捕获的包括多个帧的图像序列进行时间下采样，以形成多个子序列。处理器320还对所形成的多个子序列分别进行编码，形成编码后的多个子序列。此外，处理器320还根据编码后的多个子序列中的各个帧的大小以及多个信道中每一个信道的带宽的估计值，选择要传输的帧。
例如，处理器320可以从每一个编码后的子序列中找出时间上最早的帧，并将这些编码后的帧进行组合以形成一个组。处理器320依次重复该操作以形成多个组。并且，处理器320根据每个组中各个帧的大小以及多个信道中每一个信道的带宽的估计值，选择每个组中要传输的编码后的帧。
例如，处理器320可以根据以下条件来选择组中要传输的编码后的帧：
S≤T
其中，S表示组中所选择的编码后的帧的总码流大小，T表示多个信道的总带宽。优选地，处理器320选择每个组中尽可能多的数量的编码后的帧进行传输。
备选地，处理器320可以根据以下条件来选择组中要传输的编码后的帧：
T-D≤S≤T+D
其中，S表示组中所选择的编码后的帧的总码流大小，T表示多个信道的总带宽，D表示容忍门限。优选地，处理器320选择每个组中尽可能多的数量的编码后的帧进行传输。
备选地，处理器320可以将多个信道按照带宽从大到小的顺序进行排序，并将每个组中要传输的帧按照从小到大的顺序进行排序。进一步地，处理器320可以将排序后的帧与排序后的信道依次进行匹配，使得每个组中尽可能多的数量的帧在同一信道中传输。
传输单元330被配置为传输由处理器320所选择的帧。例如，传输单元330可以包括采用多种无线通信技术(例如蜂窝通信、蓝牙、WiFi等)的无线通信模块。
采用根据本公开的实施例的无人机，在执行图像传输任务时，能够选择要传输的数据并与多个无线链路的状况进行匹配。当多个无线链路的传输中有一条或者多条链路出错时，接收端仍然可以获得无解码错误的重建图像。
此外，本公开的实施例可以借助于计算机程序产品来实现。例如，该计算机程序产品可以是计算机可读存储介质。计算机可读存储介质上存储有计算机程序，当在计算设备上执行该计算机程序时，能够执行相关的操作以实现本公开的上述技术方案。
例如，图4是示出了根据本公开一个实施例的计算机可读存储介质40的框图。如图4所示，计算机可读存储介质40包括程序410。该程序410在由至少一个处理器运行时，使得至少一个处理器执行以下操作：对包括多个帧的图像序列进行时间下采样，形成多个子序列；对多个子序列分别进行编码，形成编码后的多个子序列；以及根据编码后的多个子序列中的各个帧的大小以及多个信道中每一个信道的带宽，选择要传输的帧。
备选地，当程序410由至少一个处理器运行时，使得至少一个处理器执行以下操作：从每一个编码后的子序列中找出时间上最早的帧，并将这些编码后的帧进行组合以形成一个组；依次重复该操作以形成多个组；以及根据每个组中各个帧的大小以及多个信道中每一个信道的带宽，选择每个组中要传输的帧。
本领域技术人员可以理解，本公开的实施例中的计算机可读存储介质40的示例包括但不限于：半导体存储介质、光学存储介质、磁性存储介质、或任何其他的计算机可读存储介质。
上文已经结合优选实施例对本公开的方法和涉及的设备进行了描述。本领域技术人员可以理解，上面示出的方法仅是示例性的。本公开的方法并不局限于上面示出的步骤和顺序。
应该理解，本公开的上述实施例可以通过软件、硬件或者软件和硬件两者的结合来实现。本公开的这种设置典型地提供为设置或编码在例如光介质(例如CD-ROM)、软盘或硬盘等的计算机可读介质上的软件、代码和/或其他数据结构、或者诸如一个或多个ROM或RAM或PROM芯片上的固件或微代码的其他介质、或一个或多个模块中的可下载的软件图像、共享数据库等。软件或固件或这种配置可安装在计算设备上，以使得计算设备中的一个或多个处理器执行本公开实施例所描述的技术方案。
此外，上述每个实施例中所使用的设备的每个功能模块或各个特征可以由电路实现或执行，所述电路通常为一个或多个集成电路。设计用于执行本说明书中所描述的各个功能的电路可以包括通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)或通用集成电路、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、或分立的硬件组件、或以上器件的任意组合。通用处理器可以是微处理器，或者所述处理器可以是现有的处理器、控制器、微控制器或状态机。上述通用处理器或每个电路可以由数字电路配置，或者可以由逻辑电路配置。此外，当由于半导体技术的进步，出现了能够替代目前的集成电路的先进技术时，本公开也可以使用利用该先进技术得到的集成电路。
运行在根据本发明的设备上的程序可以是通过控制中央处理单元(CPU)来使计算机实现本发明的实施例功能的程序。该程序或由该程序处理的信息可以临时存储在易失性存储器(如随机存取存储器RAM)、硬盘驱动器(HDD)、非易失性存储器(如闪速存储器)、或其他存储器系统中。用于实现本发明各实施例功能的程序可以记录在计算机可读记录介质上。可以通过使计算机系统读取记录在所述记录介质上的程序并执行这些程序来实现相应的功能。此处的所谓“计算机系统”可以是嵌入在该设备中的计算机系统，可以包括操作系统或硬件(如外围设备)。
如上，已经参考附图对本发明的实施例进行了详细描述。但是，具体的结构并不局限于上述实施例，本发明也包括不偏离本发明主旨的任何设计改动。另外，可以在权利要求的范围内对本发明进行多种改动，通过适当地组合不同实施例所公开的技术手段所得到的实施例也包含在本发明的技术范围内。此外，上述实施例中所描述的具有相同效果的组件可以相互替代。

Claims (15)

1.一种用于处理视频数据的方法，包括：
对图像序列进行时间下采样，形成多个子序列；
对多个子序列分别进行编码，形成编码后的多个子序列；以及
根据编码后的多个子序列中的各个帧的大小以及多个信道中每一个信道的带宽，选择要传输的帧，
其中，所述选择要传输的帧包括：
从每一个编码后的子序列中找出时间上最早的帧，并将这些帧进行组合以形成一个组；
依次重复该操作以形成多个组；以及
根据每个组中各个帧的大小以及多个信道中每一个信道的带宽，选择每个组中要传输的帧。
2.根据权利要求1所述的方法，其中，根据以下条件来选择组中要传输的帧：
S≤T
其中，S表示组中所选择的帧的总码流大小，T表示多个信道的总带宽。
3.根据权利要求1所述的方法，其中，根据以下条件来选择组中要传输的帧：
T-D≤S≤T+D
其中，S表示组中所选择的帧的总码流大小，T表示多个信道的总带宽，D表示容忍门限。
4.根据权利要求2或3所述的方法，其中，选择每个组中尽可能多的数量的帧进行传输。
5.根据权利要求2或3所述的方法，其中，
将多个信道按照带宽从大到小的顺序进行排序；
将每个组中要传输的帧按照从小到大的顺序进行排序；
将排序后的帧与排序后的信道依次进行匹配，使得每个组中尽可能多的数量的帧在同一信道中传输。
6.一种无人机，包括：
成像装置，被配置为捕获图像序列；
处理器，被配置为：
对图像序列进行时间下采样，形成多个子序列；
对多个子序列分别进行编码，形成编码后的多个子序列；以及
根据编码后的多个子序列中的各个帧的大小以及多个信道中每一个信道的带宽，选择要传输的帧；以及
传输单元，被配置为传输所选择的帧，
其中，所述处理器被配置为：
从每一个编码后的子序列中找出时间上最早的帧，并将这些帧进行组合以形成一个组；
依次重复该操作以形成多个组；以及
根据每个组中各个帧的大小以及多个信道中每一个信道的带宽，选择每个组中要传输的帧。
7.根据权利要求6所述的无人机，其中，所述处理器被配置为根据以下条件来选择组中要传输的帧：
S≤T
其中，S表示组中所选择的帧的总码流大小，T表示多个信道的总带宽。
8.根据权利要求6所述的无人机，其中，所述处理器被配置为根据以下条件来选择组中要传输的帧：
T-D≤S≤T+D
其中，S表示组中所选择的帧的总码流大小，T表示多个信道的总带宽，D表示容忍门限。
9.根据权利要求7或8所述的无人机，其中，所述处理器被配置为：选择每个组中尽可能多的数量的帧进行传输。
10.根据权利要求7或8所述的无人机，其中，所述处理器被配置为：
将多个信道按照带宽从大到小的顺序进行排序；
将每个组中要传输的帧按照从小到大的顺序进行排序；
将排序后的帧与排序后的信道依次进行匹配，使得每个组中尽可能多的数量的帧在同一信道中传输。
11.一种计算机可读存储介质，存储有计算机程序，当所述计算机程序由至少一个处理器运行时，使所述至少一个处理器执行以下操作：
对图像序列进行时间下采样，形成多个子序列；
对多个子序列分别进行编码，形成编码后的多个子序列；以及
根据编码后的多个子序列中的各个帧的大小以及多个信道中每一个信道的带宽，选择要传输的帧，
其中，所述计算机程序使所述至少一个处理器通过以下操作来选择要传输的帧：
从每一个编码后的子序列中找出时间上最早的帧，并将这些帧进行组合以形成一个组；
依次重复该操作以形成多个组；以及
根据每个组中各个帧的大小以及多个信道中每一个信道的带宽，选择每个组中要传输的帧。
12.根据权利要求11所述的计算机可读存储介质，其中，所述计算机程序使所述至少一个处理器根据以下条件来选择组中要传输的帧：
S≤T
其中，S表示组中所选择的帧的总码流大小，T表示多个信道的总带宽。
13.根据权利要求11所述的计算机可读存储介质，其中，所述计算机程序使所述至少一个处理器根据以下条件来选择组中要传输的帧：
T-D≤S≤T+D
其中，S表示组中所选择的帧的总码流大小，T表示多个信道的总带宽，D表示容忍门限。
14.根据权利要求12或13所述的计算机可读存储介质，其中，所述计算机程序使所述至少一个处理器选择每个组中尽可能多的数量的帧进行传输。
15.根据权利要求12或13所述的计算机可读存储介质，其中，所述计算机程序使所述至少一个处理器执行以下操作：
将多个信道按照带宽从大到小的顺序进行排序；
将每个组中要传输的帧按照从小到大的顺序进行排序；
将排序后的帧与排序后的信道依次进行匹配，使得每个组中尽可能多的数量的帧在同一信道中传输。
CN201780006799.7A 2017-09-06 2017-09-06 无线数据传输方法和设备 Expired - Fee Related CN108521869B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/100700 WO2019047058A1 (zh) 2017-09-06 2017-09-06 无线数据传输方法和设备

Publications (2)

Publication Number Publication Date
CN108521869A CN108521869A (zh) 2018-09-11
CN108521869B true CN108521869B (zh) 2020-12-25

Family

ID=63433081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780006799.7A Expired - Fee Related CN108521869B (zh) 2017-09-06 2017-09-06 无线数据传输方法和设备

Country Status (4)

Country Link
US (1) US20200099968A1 (zh)
EP (1) EP3664446A4 (zh)
CN (1) CN108521869B (zh)
WO (1) WO2019047058A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049336B (zh) * 2019-05-22 2020-08-25 腾讯科技（深圳）有限公司 视频编码方法和视频解码方法
CN112422851B (zh) * 2020-11-16 2022-06-28 新华三技术有限公司 视频切换方法、装置及设备
CN113949825A (zh) * 2021-11-03 2022-01-18 江苏金视传奇科技有限公司 一种高信息量图像高效传输方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450646B2 (en) * 2002-06-04 2008-11-11 Panasonic Corporation Image data transmitting apparatus and method and image data reproducing apparatus and method
JP2008142150A (ja) * 2006-12-07 2008-06-26 Matsushita Electric Ind Co Ltd 医療端末および医療端末の制御方法
US8897322B1 (en) * 2007-09-20 2014-11-25 Sprint Communications Company L.P. Enhancing video quality for broadcast video services
CN101252686B (zh) * 2008-03-20 2010-04-14 上海交通大学 基于交织预测的视频帧内无损编解码方法及系统
KR101632076B1 (ko) * 2009-04-13 2016-06-21 삼성전자주식회사 우선순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법
CN101626512A (zh) * 2009-08-11 2010-01-13 北京交通大学 一种基于相关性优化准则的多描述视频编码方法及装置
US20110268045A1 (en) * 2010-04-30 2011-11-03 Youn Hyoung Heo System and method for uplink control information transmission in carrier aggregation
US8483055B2 (en) * 2010-07-02 2013-07-09 Librestream Technologies Inc. Adaptive frame rate control for video in a resource limited system
US9049464B2 (en) * 2011-06-07 2015-06-02 Qualcomm Incorporated Multiple description coding with plural combined diversity
CN102630008B (zh) * 2011-09-29 2014-07-30 北京京东方光电科技有限公司 无线视频传输方法及终端
US9001679B2 (en) * 2011-11-07 2015-04-07 Qualcomm Incorporated Supporting voice for flexible bandwidth systems
CN103297202B (zh) * 2012-02-29 2016-10-05 华为技术有限公司 信道状态信息的处理方法及装置
CN103533330B (zh) * 2013-10-15 2016-01-06 华侨大学 一种基于数据重用的多视点多描述视频编码方法
CN104506870B (zh) * 2014-11-28 2018-02-09 北京奇艺世纪科技有限公司 一种适用于多码流的视频编码处理方法和装置
US10063866B2 (en) * 2015-01-07 2018-08-28 Texas Instruments Incorporated Multi-pass video encoding
CN105120230B (zh) * 2015-09-15 2018-08-24 成都时代星光科技有限公司 无人机图像监控和传输系统
CN105391977A (zh) * 2015-11-09 2016-03-09 天津航天中为数据系统科技有限公司 一种数据发送方法及系统
CN106411838A (zh) * 2016-06-14 2017-02-15 青岛乾元通数码科技有限公司 一种多信道负载均衡音视频传输方法及系统
CN107078852B (zh) * 2017-01-18 2019-03-08 深圳市大疆创新科技有限公司 传输编码数据的方法、装置、计算机系统和移动设备
CN106851335B (zh) * 2017-01-23 2018-03-20 建荣半导体（深圳）有限公司 一种图像传输带宽匹配方法、设备及系统

Also Published As

Publication number Publication date
US20200099968A1 (en) 2020-03-26
WO2019047058A1 (zh) 2019-03-14
CN108521869A (zh) 2018-09-11
EP3664446A1 (en) 2020-06-10
EP3664446A4 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
CN108521869B (zh) 无线数据传输方法和设备
CN108141581B (zh) 视频编码
WO2018210244A1 (zh) 一种Polar码传输方法及装置
US10051280B2 (en) Video encoding/decoding system and diagnosis method thereof
US10630426B2 (en) Redundancy information for a packet data portion
US10771818B2 (en) Method and apparatus for determining the severity of corruption in a picture
US20100150230A1 (en) Video coding system using sub-channels and constrained prediction references to protect against data transmission errors
CN110876066A (zh) 一种自适应前向纠错方法、装置、介质和设备
EP3576410B1 (en) Dynamic reference picture reconstruction
US20200177913A1 (en) Method and device for transmitting wireless data
CN112291566A (zh) H.264视频编码方法、装置、芯片、存储设备及电子设备
US9191696B2 (en) Reception device and program for reception device
US20130339482A1 (en) Data transmitting system, and transmitting apparatus and receiving apparatus and program in data transmitting system
CN110505425B (zh) 一种解码方法、解码装置、电子设备和可读存储介质
CN109474907B (zh) 使用网络分组分段和非对等保护协议的视频通信方法以及利用这种方法的无线装置和车辆
KR102104495B1 (ko) 수신장치 및 수신장치용 프로그램
CN110557635B (zh) 视频流编码方法以及对编码视频流解码的方法和设备
KR100927353B1 (ko) 채널을 통해 전송되는 부호화된 비디오 신호에서 데이터손실들을 완화하는 비디오 부호화 및 복호 방법
US20150264358A1 (en) Video transmitter, video transceiver system and video transmission method
CN108933762B (zh) 一种媒体流的播放处理方法及装置
CN115706835A (zh) 一种数据传输方法及相关装置
US10461780B2 (en) Malleable error control code structures suitable for adaptive error protection
WO2021082799A1 (zh) 一种视频会议辅流处理方法及装置
US20150271485A1 (en) Image encoding method and image encoding appartaus
CN117714699A (zh) 视频编码方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201225