CN108513712A - 视频发送方法、接收方法、系统以及无人飞行器 - Google Patents

视频发送方法、接收方法、系统以及无人飞行器 Download PDF

Info

Publication number
CN108513712A
CN108513712A CN201780005004.0A CN201780005004A CN108513712A CN 108513712 A CN108513712 A CN 108513712A CN 201780005004 A CN201780005004 A CN 201780005004A CN 108513712 A CN108513712 A CN 108513712A
Authority
CN
China
Prior art keywords
video data
sub
characteristic
data unit
subgraph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780005004.0A
Other languages
English (en)
Inventor
朱磊
崔浩
龚明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN108513712A publication Critical patent/CN108513712A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385Channel allocation; Bandwidth allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

一种适用于可移动物体的视频发送方法、接收方法、系统及无人飞行器,视频发送方法包括:评估一个或多个信道的一个或多个特性;根据一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元,每个子视频数据单元包括一个或多个子图像;对多个子视频数据单元分别进行编码;选择信道中的一个或多个来发送编码后的子视频数据单元。本发明提供的适用于可移动物体的视频发送方法、接收方法、系统及无人飞行器,通过选择多个信道中的至少一个信道的来传输一个或多个编码后的子视频数据单元时,使得子视频数据单元可以在与其匹配的信道上进行传输,在扩展视频传输的带宽的同时,提高视频数据的传输的效率,提高了视频传输的容错能力和可靠性。

Description

视频发送方法、接收方法、系统以及无人飞行器
技术领域
本发明涉及图像处理领域,尤其涉及一种适用于可移动物体的视频发送方法、接收方法、发送系统、接收系统及无人飞行器。
背景技术
随着科学技术的飞速发展,无人机技术越来越成熟,而对于无人机而言,无线和不可靠信道上的低延时视频传输技术是当下的热点研究和应用方向;多信道可以使用多路数据传输通道,达到扩大通信带宽的目的;在多信道无线和不可靠信道条件下,提供与之匹配的信源编码方案,保证视频传输的及时可靠性,提升视频传输质量是其中的关键技术。
无人飞行器上搭载的拍摄设备所拍摄的视频可通过无人飞行器的通信系统进行传输,具体的,无人机上的数据处理器获取拍摄设备拍摄的视频数据,对视频数据进行编码,然后将编码后的视频数据发送给地面上的接收设备。无人机与接收设备之间的通信网络的信道个数可以为多个,在传输编码后的视频数据时,无人机可以利用多个信道将编码后的视频数据发送给接收设备。目前,针对多信道的视频传输方法,主要是利用多信道来进行带宽扩展,直接对编码后的视频数据进行分包处理,并将分包后的数据分发到不同的信道上发送,即针对一帧图像而言,将一帧图像编码得到的码流数据进行拆分,把拆分后得到的数据包分发到不同的信道上发送,然而,当接收设备在接收其中一个信道上发送的数据包时出现接收错误时,即使其他信道上接收的数据包都接收正确,也会导致接收设备在后续解码时无法获取正确图像。
可见,将拆分后的数据包通过多个信道发送给接收设备的过程中,在多个信道中的某个信道上的数据传输发生错误的情况下,将导致接收设备不能得到正确的图像;另外,在对视频数据进行拆分时,并未考虑多个信道中每一个的特性(例如带宽、误比特率等),导致信道与信源的失配,可能导致拆分后的数据包无法在与其匹配的信道上传输。以上的多信道传输方式会降低多信道视频传输可靠性和效率。
发明内容
本发明提供了一种适用于可移动物体的视频发送方法、接收方法、发送系统、接收系统及无人飞行器,用于提高信源与信道的适配性和视频传输的容错能力。
本发明的第一方面是为了提供一种适用于可移动物体的视频发送方法,包括:
评估一个或多个信道的一个或多个特性;
根据所述一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;
对所述多个子视频数据单元分别进行编码;以及
选择所述信道中的一个或多个来发送编码后的子视频数据单元。
本发明的第二方面是为了提供一种适用于可移动物体的视频接收方法,包括:
接收由一个或多个信道所发送的多个编码后的子视频数据单元;
对所述多个编码后的子视频数据单元进行解码;
根据解码后的所述子视频数据单元重建所述视频数据;
其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
本发明的第三方面是为了提供一种适用于可移动物体的视频发送系统,包括:
一个或多个成像装置,被配置为采集视频数据;以及
一个或多个处理器,单独或协同工作,所述一个或多个处理器被配置为:
评估一个或多个信道的一个或多个特性;
根据所述一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;
对所述多个子视频数据单元分别进行编码;以及
选择所述信道中的一个或多个来发送编码后的子视频数据单元。
本发明的第四方面是为了提供一种适用于可移动物体的视频接收系统,包括:
通讯接口,从一个或多个信道接收的多个编码后的子视频数据单元;
一个或多个处理器,单独或协同工作,所述一个或多个处理器被配置为:
对接收到的所述多个编码后的子视频数据单元进行解码;
根据解码后的所述子视频数据单元重建所述视频数据;
其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
本发明的第五方面是为了提供一种无人飞行器,包括:
机身;
动力系统,安装在所述机身,用于提供飞行动力;
以及上述的视频发送系统。
本发明的第六方面是为了提供一种接收设备,包括:
上述的视频接收系统。
本发明提供的适用于可移动物体的视频发送方法、接收方法、发送系统、接收系统及无人飞行器,通过根据所评估的信道的一个或多个特性将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,选择多个信道中的至少一个信道来发送编码后的子视频数据单元,当选择多个信道中的至少一个信道的来传输一个或多个编码后的子视频数据单元时,使得子视频数据单元可以在与其匹配的信道上进行传输,在扩展带宽的同时,降低视频数据的传输延时,保证了视频传输及时性。另外,接收系统可以根据接收到的一个或多个子视频数据重建视频图像,提高了视频传输的容错能力,增强了鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种适用于可移动物体的视频发送方法的流程示意图;
图2为本发明实施例提供的构成子视频数据单元的示意图;
图3为本发明另一实施例提供的构成子视频数据单元的示意图;
图4为本发明另一实施例提供的构成子视频数据单元的示意图;
图5为本发明实施例提供的选择所述信道中的一个或多个来发送编码后的子视频数据单元的流程示意图;
图6为本发明实施例提供的一帧图像经过哈达玛变换后的系数图像;
图7为本发明实施例提供的空间变换分解的示意图;
图8为本发明实施例提供的空间下采样分解的示意图;
图9为本发明实施例提供的根据所述一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元的流程示意图;
图10为本发明实施例提供的选择所述信道中的一个或多个来发送编码后的子视频数据单元的流程示意图;
图11为本发明一实施例提供的一种适用于可移动物体的视频接收方法的流程示意图;
图12为本发明实施例提供的解码后的子图像的示意图;
图13为本发明另一实施例提供的解码后的子图像的示意图;
图14为本发明实施例提供的重建原始图像的示意图;
图15为本发明另一实施例提供的重建原始图像的示意图;
图16为本发明实施例提供的一种适用于可移动物体的视频发送系统的结构图;
图17为本发明实施例提供的一种适用于可移动物体的视频接收系统的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特性可以相互组合。
本发明实施例提供一种适用于可移动物体的视频发送方法;可移动平台可以为无人飞行器,地面移动机器人、手持云台等,其中,图1为本发明一实施例提供的一种适用于可移动物体的视频发送方法的流程示意图,如图1所示,该方法可以包括:
S101:评估一个或多个信道的一个或多个特性;
其中,信道的一个或多个特性至少包括带宽;或者,信道的一个或多个特性包括如下至少一种:噪声、干扰、信噪比、误比特率、衰落速率、带宽;再或者,信道的一个或多个特性包括可用信道数目或相似性;
另外,对于评估一个或多个信道的一个或多个特性的具体实现方式不做限定,一种可实现的方式为:检测可移动物体的信号强度或位置;而后根据可移动物体的信号强度或位置评估信道的一个或多个特性。具体的,由于视频传输系统的在不同应用环境中应用,不同的应用环境可能会不同程度的影响信道的特性。例如,当视频传输系统应用于城市中时,应用环境中会有密集或者高大的建筑物,这些建筑物会影响承载有视频数据的无线信号的传输,无线信号在这些建筑物之间传输形成多径效应,同时会使无线信号的信号强度衰减,而且城市环境中存在更多的电磁噪声,这些都可能会视频传输系统的信道的特性,例如使信道的带宽降低、误比特率升高、信道之间的相似性降低。因此,在评估信道的特性之前,可以先从可移动平台上的定位装置中获取可移动平台的位置信息和承载视频数据的无线信号的信号强度,根据所述位置信号或信号强度来评估信道的特性。另外,信号强度还可以为定位信号的信号强度,例如,若视频传输系统在城市环境中应用时,由于建筑物会遮挡卫星发送的定位信号,因此,可移动平台可以检测接收到的定位信号的信号强度,通过定位信号强度可知视频传输系统的系统的应用场景,从而以此评估当前信道的特性。
S102:根据一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;
具体应用时,本实施例的执行主体可以是数据处理器,其中,数据处理器可以为专用处理器,例如:用于进行图像处理的处理器,也可以为通用处理器,本发明中不作具体的限定。具体地,在分解视频数据前,根据前述部分评估的一个或多个特性确定视频数据的分解方式,根据分解方式将视频数据分解成多个子视频数据单元。下面将对根据信道的一个或多个特性确定的分解方式来将视频数据分解成多个子视频数据进行详细的介绍。
在某些实施例中,根据一个或多个信道的一个或多个所评估的特性确定视频数据的分解方式,分解方式至少包括分解后的子视频数据单元的数目,在将视频数据分解成多个子视频数据单元时,数据处理器会按照分解方式中指示的子视频数据单元的数目来对视频数据分解,即分解后的得到的多个子视频数据单元的个数即为分解方式中包含的子视频数据单元的数目,其中,子视频数据单元的数目根据所评估的信道的一个或多个特性而确定的。例如,根据一个或多个信道的特性确定分解方式中包括的分解后的子视频数据单元的数目为4,则在分解视频数据时,数据处理器会将视频数据分解成4个子视频数据单元。其中,分解方式中的子视频数据单元的数目可以由可用信道数据来确定,具体的,在分解视频数据之前,可以评估可用信道数目,利用可用信道的个数确定分解方式中的分解后的子视频数据单元的数目。例如,当前的可用信道数目为4个,数据处理器可以将视频数据分解成4个子视频数据单元。另外,分解方式中的子视频数据单元的数目可以由信道的带宽来确定,具体的,在分解视频数据之前,可以评估可用信道的带宽,确定信道中带宽大于预设的带宽阈值的信道个数,利用满足上述条件的信道的个数确定分解方式中的分解后的子视频数据单元的数目。例如,当前的信道中带宽大于预设的带宽阈值的信道个数为4个,可以将视频数据分解成4个子视频数据单元。另外,还可以评估可用信道的误比特率,确定信道中误比特率大于预设的误比特率的信道个数,利用满足上述条件的信道的个数确定分解方式中的分解后的子视频数据单元的数目。需要说明的是,本实施例中根据可用信道的个数、信道的带宽、信道的误比特率来确定分解方式中的子视频数据单元的数目只是为了进行示意性说明,本领域技术人员还可以使用信道的其他特性来确定确定分解方式中的子视频数据单元的数目,在这里不做具体的限定。
在某些实施例中,对于根据分解方式将视频数据分解成多个子视频数据单元的一种可实现方式为:根据分解方式将视频数据分解成多个子视频数据以使得子视频数据单元具有相似的特性。
具体地,根据所评估的信道的一个或多个特性确定分解方式,根据分解方式将视频数据分解成具有相似的特性的多个子视频数据单元。例如,评估多个信道中每一个信道的带宽或者信道的相似性(信道的带宽相似性),多个信道的带宽可能大致相同,此时,根据信道的带宽或者信道的相似性(信道的带宽的相似性)确定视频数据的分解方式,根据分解方式可以将视频数据分解成具有相似特性的多个子视频数据单元,其中,上述的相似特性可以为子视频数据单元编码后的码流数据大小或者子视频数据单元的能量集中度。另外,还可以评估多个信道中每一个信道的误比特率或者信道的相似性(信道的误比特率的相似性),多个信道的误比特率可能大致相同,此时,根据信道的误比特率或者信道的相似性(信道的误比特率的相似性)确定视频数据的分解方式,根据分解方式可以将视频数据分解成具有相似特性的多个子视频数据单元。
在某些实施例中,对于根据分解方式将视频数据分解成多个子视频数据单元的另一种可实现的方式为:根据分解方式将视频数据分解成多个子视频数据以使得子视频数据单元具有不同的特性。
具体地,根据所评估的信道的一个或多个特性确定分解方式,根据分解方式将视频数据分解成具有不同的特性的多个子视频数据单元。子视频数据单元具有的不同的特性包括:子视频数据单元编码后的码流数据大小,或者子视频数据单元的能量集中度。例如,在评估多个信道中每一个信道的带宽后,可以发现每个信道的带宽都各不相同,为了匹配不同的信道带宽,根据信道的带宽确定分解方式,根据分解方式可以将视频数据分解成具有不同特性的子视频数据单元。例如,分解后的子视频数据单元经过编码后码流数据大小可以各不相同(具体解释部分请参见后文)。另外,当信道的带宽各不相同时,分解后的子视频数据单元的能量集中度可以各不相同(具体解释部分请参见后文)。进一步地,可以确定出多个信道中带宽大于或等于带宽阈值的信道个数,按照带宽大于或等于带宽阈值的信道的个数来确定出分解方式中的子视频数据单元的数目,按照数据将视频数据分解成指定数目的子视频数据单元,分解后得到的多个子视频数据单元具有不同的能量集中度,或者分解后得到的多个子视频数据单元编码后的码流数据大小不同。
另外,还可以根据信道的其他特性来确定分解方式,使得根据分解方式分解视频数据得到的多个子视频数据具有不同的特征,例如,可以评估信道的误比特率,各个信道的误比特率可能各不相同,可以根据信道的误比特率确定分解方式,根据分解方式将视频数据分解成多个子视频数据单元,多个子视频数据单元的能量集中度各不相同,或者多个子视频数据单元编码后的码流数据大小各不相同。
需要说明的是,前述部分根据信道的带宽、误比特率、相似性程度来确定视频数据的分解方式只是为了示意性说明,本领域技术人员还可以根据信道的其他特性来确定分解方式,在这里不做具体的限定。
本实施例不限定一个视频数据包括的图像帧的个数,为了示意性说明视频数据的分解过程,假设该视频数据包括6个图像帧,即6帧图像,此外,在其他实施例中,视频数据包括的图像帧的个数还可以是其他值。
如图2所示,该视频数据包括6个图像帧,分别为帧1、帧2、帧3、帧4、帧5、帧6,对帧1、帧2、帧3、帧4、帧5、帧6分别进行分解,本实施例不限定每个图像帧分解成的子图像的个数,如图3所示,每个图像帧被分解为4个子图像,此处只是示意性说明,对每个图像帧分解后得到的子图像的个数还可以是其他值。每个子视频数据单元包括对6个图像帧中每一个进行分解后,每一个图像帧对应的4个子图像中的至少一个子图像。可选的,每个子视频数据单元包括6个图像帧中每一个图像帧对应的4个子图像中的一个子图像,如图3所示,子视频数据单元210包括帧1的一个子图像11、帧2的一个子图像21、帧3的一个子图像31、帧4的一个子图像41、帧5的一个子图像51、帧6的一个子图像61;同理,子视频数据单元220、子视频数据单元230、子视频数据单元240分别包括6个图像帧中每个图像帧的一个子图像。
另外,不同子视频数据单元包括的子图像的个数还可以不同,如图3所示,子视频数据单元310包括帧1的两个子图像11、12,帧2的两个子图像21、22,帧3的两个子图像31、32,帧4的一个子图像41、帧5的一个子图像51、帧6的一个子图像61;子视频数据单元320包括帧1的一个子图像13,帧2的一个子图像23,帧3的一个子图像33,帧4的两个子图像42、43,帧5的两个子图像52、53,帧6的两个子图像62、63;子视频数据单元330包括6个图像帧中每个图像帧的一个子图像。
可选的,每个子视频数据单元包括的子图像不重叠。多个图像帧中每个图像帧对应的多个子图像中的至少一个子图像组合构成子视频数据单元的方式还可以有其他的组合方式,此处不再一一列举。
此外,视频数据还可能只包括一个图像帧即一帧图像,如图4所示,40表示视频数据包括的一个图像帧,对该图像帧40进行分解,本实施例不限定对一个图像帧进行分解后得到的子图像的个数,可选的,将该图像帧40分解为4个子图像,如图4所示的子图像11、子图像12、子图像13、子图像14。用子图像11、子图像12、子图像13、子图像14构成子视频数据单元可分为如下几种可实现的方式:
一种可实现的方式是:每个子视频数据单元包括一个子图像,如图4所示的子视频数据单元410、子视频数据单元420、子视频数据单元430、子视频数据单元440。
另一种可实现的方式是:每个子视频数据单元包括两个子图像,本实施例不限定一个子视频数据单元中包括的两个子图像的组合方式,可选的,如图5所示的子视频数据单元450和子视频数据单元460,其中,子视频数据单元450包括子图像11和子图像12,子视频数据单元460包括子图像13和子图像14。
再一种可实现的方式是:每个子视频数据单元包括的子图像的个数不同,如图4所示的子视频数据单元470和子视频数据单元480,其中,子视频数据单元470包括3个子图像,子视频数据单元480包括1个子图像,或者,子视频数据单元470包括1个子图像,子视频数据单元480包括3个子图像,本实施例不限定,构成一个子视频数据单元的3个子图像的组合方式,可选的,子视频数据单元470包括子图像11、子图像12、子图像13,子视频数据单元480包括子图像14。
S103:对多个子视频数据单元分别进行编码;
数据处理器以分解得到的子视频数据单元为编码单位,对多个子视频数据单元中的每个子视频数据单元分别进行编码,编码后可以得到多个码流数据。可选的,对一个子视频数据单元编码后得到一个码流数据,此处的编码包括信源编码和/或信道编码,信源编码的方式可以包括H.263、H.264、H.265、MPEG4等,信道编码的方式可以包括纠错编码,纠错码的类型可以包括RS码即里德-所罗门码、卷积码、Turbo码、Polar码、交织码、伪随机序列扰码等。
S104:选择信道中的一个或多个来发送编码后的子视频数据单元。
具体的,在将视频数据单元分解后得到的多个子视频数据单元编码后,可以选择一个或多个信道来发送编码后的子视频数据单元,具体地,可以为每一个编码后的子视频数据单元选择一个信道,利用这个信道来发送编码后的子视频数据单元。接收设备在一个或多个信道中接收子视频数据单元,根据接收到的子视频数据单元重建视频图像。
本实施例提供的适用于可移动物体的视频发送方法,通过根据所评估的信道的一个或多个特性将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,选择多个信道中的至少一个信道来发送编码后的子视频数据单元,当选择多个信道中的至少一个信道的来传输一个或多个编码后的子视频数据单元时,使得分解后得到多个子视频数据单元能够与信道的特性匹配,使得子视频数据单元在与其匹配的信道发送给接收设备,提高了信道的利用率和视频数据传输效率,同时,接收设备可以根据接收到编码后的子视频数据重建视频图像,提高了视频传输的容错能力和鲁棒性。
在某些实施例中,选择信道中的一个或多个来发送编码后的子视频数据单元包括:根据评估的信道的一个和/或多个特性来选择信道中的一个或多个以发送编码后的子视频数据单元。
具体的,如前,根据信道的一个或多个特性确定分解方式,根据分解方式将视频数据分解得到多个子视频数据单元,其中,多个子视频数据单元可以具有相似的特性,或者多个子视频数据单元可以具有不同的特性。其中,子视频数据单元的特性可以包括子视频数据单元编码后的码流数据大小或子视频数据单元的能量集中度。
进一步的,如前所述,评述信道的一个或多个特性(带宽、误比特率、相似性),当多个信道的特性大致相同时,可以将视频数据分解成具有相似的特性,例如:多个子视频数据单元编码后的码流数据大小相似、多个子视频数据单元的能量集中度大致相似,此时,在传输子视频数据单元时,可以随机为子视频数据单元分配一个信道。
进一步的,如前,评述信道的一个或多个特性(带宽、误比特率、相似性),当多个信道的特性不相同时,可以将视频数据分解成具有不同的特性,例如:多个子视频数据单元编码后的码流数据大小不同、多个子视频数据单元的能量集中度不同。选择信道中的一个或多个来发送编码后的子视频数据单元包括:根据信道的一个或多个特性从多个信道中选择与子视频数据单元的特性匹配的信道传输编码后的子视频数据单元,具体的,可通过如下几种可行的方式实现:
第一种可行的方式为:根据编码后的子视频数据单元的码流数据大小和信道带宽,选择至少一个信道来发送编码后的子视频数据单元;具体的,视频数据分解后得到多个子视频数据单元,编码后的子视频数据单元的码流数据大小不同,信道的带宽也不相同,此时可以将码流数据大小与信道的带宽进行匹配,选择信道来传输编码后的子视频数据单元。例如,若数据处理器对视频数据分解后得到4个子视频数据单元,该4个子视频数据单元分别记为子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D,对4个子视频数据单元分别编码后得到码流数据的大小为S0、S1、S2、S3,这4个码流数据的大小可能会各不相同,为了进行示意性说明,可以假设这个4个码流数据的大小依次递减,若当前的无线信道包括信道1、信道2、信道3、信道4,并且上述信道的带宽T分别为T0、T1、T2、T3,且四个信道的带宽依次递减,为了将这个4个码流数据都发送出去并保证传输延时要求,可以根据当前各个信道的带宽为每一个码流数据选择一个信道来进行发送。例如,可以将信道带宽最大的信道1用来发送编码后的子视频数据单元A,将信道带宽第二大的信道2用来发送编码后的子视频数据单元B,将信道带宽第三大的信道3用来发送编码后的子视频数据单元C,将信道带宽最小的信道4用来发送编码后的子视频数据单元D。这样可以使数据传输能力强的信道发送编码后码流数据较大的子视频数据单元,将数据传输能力弱的信道发送编码后码流数据较小的子视频数据单元。
第二种可行的方式为:根据子视频数据单元的能量集中度和信道带宽,选择至少一个信道来发送编码后的子视频数据单元,进而可以根据编码后的子视频数据单元的优先级和信道带宽,选择至少一个信道来发送编码后的子视频数据单元。具体的,视频数据分解后得到多个子视频数据单元,子视频数据单元的能量集中度不同,信道的带宽也不相同,此时,可以将能量集中度与信道的带宽进行匹配,选择信道来传输编码后的子视频数据单元,其中能量集中度越高的子视频数据单元在接收设备重建视频数据的时越重要。例如,若数据处理器对视频数据分解后得到4个子视频数据单元,该4个子视频数据单元分别记为子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D,这4个子视频数据单元的能量集中度各不相同,为了进行示意性说明,可以假设这4个子视频数据单元的能量集中度依次递减,若当前的无线信道包括信道1、信道2、信道3、信道4,且四个信道的带宽依次递减,为了保证能量集中度高的编码后的子视频数据单元发送出去并保证符合传输延时要求,可以根据子视频数据单元的能量集中度与信道的带宽进行匹配,即可以将信道带宽最大的信道1用来发送编码后的能量集中度最高的子视频数据单元A,将信道带宽第二大的信道2用来发送编码后的能量集中度第二高的子视频数据单元B,将信道带宽第三大的信道3用来发送编码后的能量集中度第三高的子视频数据单元C,将信道带宽最小的信道4用来发送编码后的能量集中度最低的子视频数据单元D。这样可以保证将能量集中度较高的子视频数据单元选择多个信道中静态传输能力较高的信道来进行传输。
需要说明的是,上述实施例中信道的个数为4个只是为了进行示意性说明,信道的个数可以为其他数目,例如信道的个数可以为5、6、7、8等。当信道的个数大于子视频数据单元的数目时,可以选取信道中带宽最大的几个信道来传输多个子视频数据单元。
在某些实施例中,视频数据可以包括一个或多个图像帧,将视频数据分解为多个子视频数据单元具体包括:将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像,此时,子视频数据单元中的每一个包括图像帧中每一个分解得到的多个子图像中的至少一个子图像。需要说明的是,上述的子图像为图像帧的一部分,具体地,子图像可以为图像帧的一个或多个像素,或者子图像还可以为图像帧的一个或多个转换系数等等,下面将以一个图像帧分解成多个子图像进行示意性说明。
具体的,实现将视频数据中的一个或多个图像帧中的每一个分解成多个子图像的一种方式为:将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像。
本实施例中将图像帧空间分解为多个子图像可以有多种实现方式,其中一种可实现的方式为,将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像设置为包括:利用傅里叶相关变换或正交变换将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像。
其中,傅里叶相关变换或正交变换是从哈达玛变换、离散余弦变换、离散傅里叶相关变换、沃尔什-哈达玛变换、哈尔变换或斜变换中确定的。
如图5所示为一帧图像的示意图,本实施例不限定一帧图像包括的像素点的个数,以一帧图像包括16个像素点(4×4)为例,其中,P1-P16表示16个像素点的像素值,对于16个像素点中每4个相邻的像素点的像素值进行空间变换分解,分解成4个子图像,下面以哈达玛变换来进行示意性说明,具体的空间变换分解过程包括如下步骤:
步骤1、以16个像素点中每4个相邻的像素点为一个单位进行哈达玛变换,例如,P1、P2、P3、P4经过哈达玛变换后得到的转换系数为H1、H2、H3、H4,其中,P1、P2、P3、P4和H1、H2、H3、H4之间的关系满足公式(1)、(2)、(3)、(4):
H1=(P1+P2+P3+P4+1)>>1 (1);
H2=(P1+P2–P3–P4+1)>>1 (2);
H3=(P1+P3–P2–P4+1)>>1 (3);
H4=(P1+P4–P2–P3+1)>>1 (4);
根据公式(1)、(2)、(3)、(4)可知H1包含有4个像素点的平均能量,H2包含有4个像素点在垂直方向的平均梯度,H3包含有4个像素点在水平方向的平均梯度,H4包含有4个像素点的交叉梯度即纹理信息。因此,在接收设备重建这个图像帧时,H1最重要、H2、H3的重要性次之、H4的重要性最小,即H1、H2、H3、H4的重要性依次递减。同理,对P5-P8进行同样的哈达玛变换得到H5-H8,对P9-P12进行同样的哈达玛变换得到H9-H12,对P13-P16进行同样的哈达玛变换得到H13-H16,得到如图6所示的系数图像。
步骤2、将哈达玛变换后得到的转换系数分解到不同的子图像中,本实施例不限定对每帧图像空间变换分解后得到的子图像的个数,例如:分解后得到的子图像的个数是4个,可选的,将H1分到第一个子图像、将H2分到第二个子图像、将H3分到第三个子图像、将H4分到第四个子图像。同理,将H5-H8按照相同方式分解到4个子图像中,将H9-H12按照相同方式分解到4个子图像中,将H13-H16按照相同方式分解到4个子图像中,得到如图7所示的分解结果。根据图7可知,空间变换分解后的4个子图像中每个子图像的分辨率是分解前原始图像的四分之一。其中本实施例中将一个图像帧分解成4个子图像只是为了示意性说明,本领域技术人员可以将一个图像帧分解成其他个数的子图像。
另一种可实现的方式为:可以将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像设置为包括:利用空间下采样将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像。
例如,在图5的基础上,对于一个具有16个像素点(4×4)的图像帧,对这个图像帧进行空间下采样,分解成4个子图像,具体的空间下采样分解过程为:以16个像素点中相邻的每4个像素点为一个单位,将一个单位中的4个像素点分解到不同的子图像中,例如,将P1分解到第一个子图像,将P2分解到第二个子图像,将P3分解到第三个子图像,将P4分解到第四个子图像,同理,将P5-P8分解到4个子图像,将P9-P12分解到4个子图像,将P13-P16分解到4个子图像,得到如图8所示的分解结果。其中,第一个子图像中可包含原始图像中坐标为(2i,2j)的像素点,第二个子图像中可包含原始图像中坐标为(2i+1,2j)的像素点,第三个子图像中可包含原始图像中坐标为(2i,2j+1)的像素点,第四个子图像中可包含原始图像中坐标为(2i+1,2j+1)的像素点,其中,2i+1<W,2j+1<H。其中,本实施例中将一个具有16个像素点(4×4)的图像帧分解成4个子图像,其中每个子图像中包括的像素点个数相同只是为了进行示意性说明,在某些实施例中,根据信道的一个或多个特性,在对一个图像帧进行分解时,子图像中包括的像素点的个数可以不同。
根据上述分解方式中的任一一种空间变换或空间下采样方式即可将视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。在本实施例中,一个图像帧即为一帧图像,多个图像帧即为多帧图像。视频数据包括一个或多个图像帧,子视频数据单元包括对图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
若视频数据中包括一个图像帧,则该图像帧的分解方式如图7或图8所示,子视频数据单元可以包括该图像帧的分解后得到的多个子图像中的至少一个子图像,若一个子视频数据单元包括一个子图像,对分解后得到的每个子图像进行编码即可得到子视频单数单元编码后的码流数据。
若视频数据中包括多个图像帧,则每一个图像帧即每一帧图像的分解方式如图7或图8所示,例如视频数据包括4个图像帧,若每一个图像帧被分解为4个子图像,则连续的4个图像帧被分解后将得到4*4个子图像,每个子视频数据单元可包括4*4个子图像中的多个子图像。具体地,子视频数据单元可以为4个,从每一个图像帧中分解得到的多个子图像(4个子图像)中选择至少一个子图像,将选中的子图像组成子视频数据单元。
根据图7或图8可知,每个子图像包括图像帧的一部分。如图8所示,每个子图像包括图像帧的一个或多个像素。如图7所示,每个子图像包括图像帧的一个或多个转换系数。如图8所示,子图像1、子图像2、子图像3、子图像4的能量集中度相同或相近似。如图7所示,子图像1的能量集中度最大,子图像2、子图像3的能量集中度小于子图像1的能量集中度,子图像4的能量集中度最小,进而可得知,包括子图像1的子视频数据单元能量集中度最高,分别包括子图像2、子图像3的两个子视频数据单元的能量集中度次之,包括子图像4的子视频数据单元的能量集中度最低。另外,需要说明的是,通过空间下采样或空间变换来分解视频数据,得到的多个子视频数据单元,多个视频数据单元编码后的码流数据大小可能各不相同。
参考附图9可知,在某些实施例中,上述方法还包括:
S901:在根据一个或多个信道的一个或多个评估特性确定视频数据的分解方式,根据分解方式将视频数据分解成多个子视频数据单元;
S902:发送用于将视频数据分解为多个子视频数据单元的分解方式的信息。
具体的,除了发送子视频数据单元以外,还可以将视频数据分解为多个子视频数据单元的分解方式的信息发送给接收设备,接收设备在接收到分解方式的信息时,通过对分解方式的信息进行分析,即可以知道视频数据被分解成子视频数据单元的数目、视频数据中的图像帧的分解方法(例如空间下采样分解、哈达吗变换分解等),获取分解方式的信息有利用接收设备更好地重建视频数据。分解方式的信息可以包含在一个或多个子视频数据单元中,即在传输子视频数据单元的同时,传输分解方式的信息;此时,在发送分解方式的信息时,可以将分解方式的信息编码在子视频数据单元中子图像数据的特殊字段中,例如,可以将分解方式的信息编码在子视频数据单元的开头,或者将分解方式的信息编码在子视频数据单元的结尾,具体的,这个特殊字段可以为接收设备所知悉,在接收到包含分解方式的信息的子视频数据单元时,接收设备可以根据预设的规则从子视频数据单元中获取分解方式的信息。
在某些实施例中,可以在发送多个子视频数据单元之前,利用单独信道发送分解方式的信息;其中,发送分解方式的信息的信道可以与发送子视频数据单元的信道不同,即使用单独的信道来发送分解方式的信息,这样可以有效地保证分解方式信息发送的稳定可靠性。
参考附图10可知,在某些实施中,选择信道中的一个或多个信道来发送编码后的子视频数据单元设置为包括:
S1001:根据一个或多个信道的一个或多个特性将编码后的多个子视频数据单元划分为一个或多个子视频数据单元组;
S1002:选择信道中的一个或多个来发送一个子视频数据单元组。
具体的,在获取到编码后的多个子视频数据单元后,可以根据一个或多个信道的一个或多个特性(噪声、干扰、信噪比、误比特率、衰落速率、带宽、可用信道个数等),将多个子视频数据单元划分为一个或多个子视频数据单元组,上述的一个子视频数据单元组可以包括一个或多个编码后的子视频数据单元,例如,可以根据可用信道个数、带宽、误比特率等来将编码后的多个子视频数据单元划分为一个或多个子视频数据单元组,例如,将视频数据单元分解成子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D,若当前有2个可用信道,可以将子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D划分成2个子视频数据单元组,划分后,利用一个可用信道来传输一个子视频数据单元组。另外,还可以根据信道宽带来将编码后的多个子视频数据单元划分为一个或多个子视频数据单元组,例如,将视频数据单元分解成子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D、子视频数据单元E、子视频数据单元F,且6个子视频数据单元对应的码流数据的大小分别为S0、S1、S2、S3、S4和S5,若当前有3个可用信道,分别为信道1、信道2、信道3,信道带宽分别为T0、T1、T2,且信道带宽依次递减,若根据信道1和信道2的带宽可以保证使用信道1和信道2对两个子视频数据单元组的传输满足传输延时要求,则可以将子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D、子视频数据单元E、子视频数据单元F划分成两个子视频数据单元组,信道1传输一个子视频数据单元组,信道2传输另一个子视频数据单元组。
在具体应用中,一种可实现的方式,可以在多个信道中选择一个信道带宽与子视频数据单元组的编码后的码流数据大小相匹配的信道来发送子视频数据单元组,即根据子视频数据单元组编码后的码流数据大小和信道的带宽来选择信道。例如,当前有2个可用信道,分别为信道1、信道2,信道带宽分别为T0、T1,且信道带宽依次递减,将视频数据分解成子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D,4个子视频数据单元编码后对应的码流数据的大小分别为S0、S1、S2和S3,且码流数据的大小依次递减,若T0>S0+S1>T1>S2+S3,可以将子视频数据单元A和B划分成一个子视频数据单元组1,将子视频数据单元C和D划分成一个子视频数据单元组2,此时,可以选择与子视频数据单元组1匹配的信道1来进行发送子视频数据单元组1,可以选择与子视频数据单元组2匹配的信道2来进行发送子视频数据单元组2。这样可以保证码流数据大的子视频数据单元组使用带宽大的信道传输,码流数据小的子视频数据单元组使用带宽小的信道传输。
另一种可实现的方式,可以根据子视频数据单元组的优先级和信道带宽选择多个信道中的一个信道来发送一个子视频数据单元组。
具体的,可以根据能量集中度为子视频数据单元或子视频数据单元组来进行优先级排序,能量集中度高的子视频数据单元或子视频数据单元组的优先级高,能量集中度低的子视频数据单元或子视频数据单元组的优先级低。在从多个信道中选择一个信道来发送子视频数据单元组时,可以选择根据信道带宽与子视频数据单元组的优先级来选择一个信道发送子视频数据单元组,例如,当前有2个信道,分别为信道1和信道2,且信道带宽依次递减,将视频数据分解成子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D,且对应的能量集中度依次递减,将子视频数据单元A和B划分成一个子视频数据单元组1,且该子视频数据单元组1的能量集中度高,将子视频数据单元C和D划分成一个子视频数据单元组2,则子视频数据单元组1的能量集中度大于子视频数据单元组2的能量集中度,则子视频数据单元组1的优先级大于子视频数据单元组2的优先级,此时,若使用单个信道发送子视频数据单元组并能够保证传输延时要求的前提下,可以选择信道带宽大的信道1来进行发送子视频数据单元组1,可以选择信道带宽小的信道2来进行发送子视频数据单元组2。这样可以保证能量集中度高/优先级高的子视频数据单元组1使用带宽大的信道传输,能量集中度低/优先级低的子视频数据单元组2使用带宽小的信道传输。
在某些实施例中,对多个子视频数据单元分别进行编码设置为包括:
多个子视频数据单元由多个单独的编码器进行编码。
具体的,可以采用多个单独的编码器对多个子视频数据单元并行编码;或者,还可以采用不同的视频编码规则对多个子视频数据单元进行编码;或者,还可以采用相同的视频编码规则对多个子视频数据单元进行编码。
在某些实施例中,对多个子视频数据单元分别进行编码设置为包括:
多个子视频数据单元中的两个或多个由同一个编码器进行编码。
在某些实施例中,对多个子视频数据单元分别进行编码设置为包括:
利用基于运动补偿的视频压缩标准对多个子视频数据单元中的至少一个进行编码。
在某些实施例中,对多个子视频数据单元分别进行编码设置为包括:
依据不同的压缩率对多个子视频数据单元进行压缩。
其中,压缩率可以是根据子视频数据单元的一个或多个特性确定的;而对于多个子视频数据单元而言,其可以具有相同的特性,也可以具有不同的特性。
需要说明的是,利用不同的编码器或者基于运动补偿的视频压缩标准或者不同的压缩率对多个子视频数据单元进行编码或压缩,实现方式多样,便于操作,并且还有效地保证了对子视频数据单元进行编码稳定可靠性。
本发明实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,程序指令执行时可包括上述实施例中的发送方法的部分或全部步骤。
图11为本发明一实施例提供的一种适用于可移动物体的视频接收方法的流程示意图;参考附图11可知,本实施例提供了一种适用于可移动物体的视频接收方法,例如,该视频接收方法用于接收无人飞行器所传输的视频图像信息,具体的,该视频接收方法包括:
S1101:接收由一个或多个信道所发送的多个编码后的子视频数据单元;
在本实施例中,接收设备通过一个或多个信道接收视频发送系统发送的多个编码后的子视频数据单元,其中,每个信道可以传输一个或者多个编码后的子视频数据单元,而视频数据可以包括一个或多个图像帧,在发送视频数据前,可以将视频数据中包括的每一个图像帧都分解成多个子图像,子视频数据单元包括每一个图像帧分解得到的多个子图像中的至少一个,即每一个子视频数据单元中都包括每一个图像帧的至少一个子图像。本实施例中,以接收设备通过一个或多个信道接收到4个子视频数据单元,每个子视频数据单元包括一个如图7或图8分解得到的子图像来进行示意性说明。
S1102:对编码后的多个子视频数据单元进行解码;
当接收设备通过一个或多个无线信道接收到4个子视频数据单元时,该接收设备可以对该4个编码后的子视频数据单元分别进行解码,即对4个子图像对应的码流数据分别进行解码,得到解码后的子视频数据单元。当子视频数据单元在无线信道中传输时,由于噪声干扰、多径效应、衰落等原因,可能导致接收设备解码后得到的子视频数据单元与无人飞行器的视频发送系统实际发送的编码后的子视频数据单元不同,此时即为接收设备接收错误。
若视频发送系统系统发送的是如图7所示的4个编码后的子图像,则接收设备对编码后的子图像解码后得到的4个子图像如图12所示,其中,若子图像1传输正确,则H1和h1相同、H2和h2相同、H3和h3相同、H4和h4相同,若子图像1传输错误,则H1和h1、H2和h2、H3和h3、H4和h4中至少有一组不相同。同理,其他子图像传输正确或传输错误,传输之前的变换系数和传输之后的变换系数也存在同样的关系。
若视频发送系统发送的是如图8所示的4个编码后的子图像,则接收设备对编码后的子图像解码后得到的4个子图像如图13所示,其中,若子图像1传输正确,则P1和p1相同、P2和p2相同、P3和p3相同、P4和p4相同,若子图像1传输错误,则P1和p1、P2和p2、P3和p3、P4和p4中至少有一组不相同。同理,其他子图像传输正确或传输错误,传输之前的像素和传输之后的像素也存在同样的关系。
S1103:根据解码后的子视频数据单元重建视频数据;
为了保证根据解码后的子视频数据单元重建视频数据的正确率,此时的接收设备需要了解将视频数据分解为多个子视频数据单元的分解方式信息,因此,此时的接收设备还可以接收由一个或多个信道所发送的用于将视频数据分解为多个子视频数据单元的分解方式信息;此外,在接收设备对编码后的子图像解码得到4个子图像后,为了提高重建视频数据的正确率,可以检测每个子图像传输正确或传输错误,并根据接收正确的子图像重建原始图像,其中传输错误的子图像和传输正确的子图像来自同一个图像帧。
在本实施例中,视频发送系统发送的子图像为图7所示的子图像,接收设备接收到的子图像如图12所示,如图12所示,假设子图像2接收错误,子图像1、子图像3、子图像4均接收正确,则接收设备根据图12所示的子图像1、子图像3、子图像4重建原始图像,在重建原始图像时,可以给解码后的子视频数据单元中传输错误的子图像分配一个值,一种可行的实现方式是:给子视频数据单元中传输错误的子图像分配的值为0。具体的,可以将子图像2的h2、h6、h10、h14均置为0,通过上述实施例可知,H1、H2、H3、H4是根据P1、P2、P3、P4得到的,因此,在重建原始图像时,需要对h1、h2、h3、h4进行哈达玛逆变换,得到p1、p2、p3、p4,其中,h1、h2、h3、h4和p1、p2、p3、p4之间的关系满足公式(5)、(6)、(7)、(8):
p1=(h1+h2+h3+h4+1)>>1 (5);
p2=(h1+h2-h3-h4+1)>>1 (6);
p3=(h1+h3-h2-h4+1)>>1 (7);
p4=(h1+h4-h2-h3+1)>>1 (8);
其中,h2为0,H1和h1相同、H3和h3相同、H4和h4相同,因此,经过哈达玛逆变换得到的p1、p2、p3、p4和原始图像中的像素值P1、P2、P3、P4可能不同,但是根据接收正确的子图像重建原始图像,其中,传输错误的子图像和传输正确的子图像可以来自同一个图像帧,能够保证重建的图像接近原始图像。同理,对h5、h6、h7、h8进行哈达玛逆变换得到p5、p6、p7、p8,对h9、h10、h11、h12进行哈达玛逆变换得到p9、p10、p11、p12,对h13、h14、h15、h16进行哈达玛逆变换得到p13、p14、p15、p16,其中,h6、h10、h14均为0,再根据哈达玛逆变换得到的p1-p16重建原始图像,如图14所示。
在其他实施例中,视频发送系统发送的子图像为图8所示的子图像,接收设备接收到的子图像如图13所示,另外,如图13所示,假设子图像3接收错误,子图像1、子图像2、子图像4均接收正确,则接收设备根据图13所示的子图像1、子图像2、子图像3、子图像4重建原始图像,在重建原始图像时,子图像3不参与重建过程,即接收设备只根据子图像1、子图像2、子图像4重建原始图像,具体过程如下:由于原始图像包括16个像素,子图像1、子图像2、子图像4一共有12个像素,根据图8可知,原始图像中16个像素点中每4个相邻的像素点被分解到4个不同的子图像中,因此,根据子图像1、子图像2、子图像4重建原始图像时,子图像1的第一个像素p1、子图像2的第一个像素p2、子图像4的第一个像素p4即是原始图像第一组相邻4个像素中的3个像素,同理,p5、p6、p8是原始图像P5-P8中的3个像素,p9、p10、p12是原始图像P9-P12中的3个像素,p13、p14、p16是原始图像P13-P16中的3个像素,根据p1、p2、p4、p5、p6、p8、p9、p10、p12、p13、p14、p16可得到如图15所示的图像A,图像A中空余的像素即是接收错误的子图像3包括的像素,由于子图像3接收错误,因此,子图像3不能参与重建原始图像的过程。由于p1、p2、p4、p5、p6、p8、p9、p10、p12、p13、p14、p16都是正确接收的,即p1、p2、p4、p5、p6、p8、p9、p10、p12、p13、p14、p16分别与原始图像相同位置上的像素点相同,本实施例中可以给子视频数据单元中传输错误的子图像3分配一个值,另一种可行的实现方式是:给子视频数据单元中传输错误的子图像3分配的值是采用插值法确定的,具体的,给子视频数据单元中传输错误的子图像分配的值是根据传输正确的子图像确定的。例如,本实施例可根据插值法确定图像A中空余的像素值,一种可行的插值法是:p3等于p1、p2、p4的算数平均值,p7等于p5、p6、p8的算数平均值,p11等于p9、p10、p12的算数平均值,p15等于p13、p14、p16的算数平均值,从而得到重建的原始图像B。其中,这里只是给出了插值确定图像A中空余的像素值的一种方法,本领域技术人员可以采用其他的插值方式确定图像A中空余像素值,在这里不做具体限定。
本实施例提供的适用于可移动物体的视频接收方法,接收由一个或多个信道传输的多个编码后的子视频数据单元,而后对多个子视频数据单元分别进行解码,得到解码后的子视频数据单元,并根据解码后的子视频数据单元重建原始图像,从而实现了只要有一个或者多个信道数据接收正确,即可获得无马赛克错误的重建图像;正确接收到的信道数目越多,最终重建图像质量越高;当所有信道均正确接收时,获得最大重建图像质量和发送的原始图像一致,从而提高了接收设备在重建图像过程中的容错能力,增强了鲁棒性。
本发明实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,程序指令执行时可包括上述实施例中的接收方法的部分或全部步骤。
图16为本发明实施例提供的一种适用于可移动物体的视频发送系统的结构图;参考附图16可知,本实施例提供了一种适用于可移动物体的视频发送系统,该视频发送系统1600可以设置于在可移动平台上,例如设置在无人飞行器上,用于执行上述的视频发送方法,具体的,该视频发送系统包括:
一个或多个成像装置1601,被配置为采集视频数据;
可移动物体上的一个或多个处理器1602,单独或协同工作,一个或多个处理器1602被配置为:
评估一个或多个信道的一个或多个特性;
根据一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;
对多个子视频数据单元分别进行编码;以及
选择信道中的一个或多个来发送编码后的子视频数据单元。
进一步的,在视频数据包括一个或多个图像帧时,处理器1602将视频数据分解为多个子视频数据单元时可以被配置为:
将视频数据中的一个或多个图像帧中的每一个分解成多个子图像,其中,子视频数据单元中的每一个包括图像帧中每一个分解得到的多个子图像中的至少一个子图像。
其中,上述的每个子图像包括图像帧的一部分,具体的,每个子图像可以包括图像帧的一个或多个像素,或者,每个子图像包括图像帧的一个或多个转换系数。
进一步的,本实施例还可以在处理器1602将视频数据中的一个或多个图像帧中的每一个分解成多个子图像时,处理器1602可以被配置为:
将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像。
具体的,一种可实现的方式为:在处理器1602将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像时,处理器1602可以被配置为:
利用傅里叶相关变换或正交变换将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像;其中,上述的傅里叶相关变换或正交变换是从哈达玛变换、离散余弦变换、离散傅里叶相关变换、沃尔什-哈达玛变换、哈尔变换或斜变换中确定的。
另一种可实现的方式为:在处理器1602将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像时,处理器1602可以被配置为:
利用空间下采样将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像。
需要说明的是,上述的信道的一个或多个特性至少包括带宽,具体的,可以将信道的一个或多个特性包括如下至少一种:噪声、干扰、信噪比、误比特率、衰落速率、带宽;或者,还可以将信道的一个或多个特性设置为包括可用信道数目或相似性。
进一步的,在处理器1602评估一个或多个信道的一个或多个特性时,处理器1602可以被配置为:
检测可移动物体的信号强度或位置;
根据可移动物体的信号强度或位置评估信道的一个或多个特性。
进一步的,处理器1602根据一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元时,可以被配置为:
根据一个或多个信道的一个或多个评估特性确定视频数据的分解方式,根据分解方式将视频数据分解成多个子视频数据单元。
其中,上述的分解方式至少包括分解后的子视频数据单元的数目;对于处理器1602根据分解方式将视频数据分解成多个子视频数据单元的实现方式而言,一种可实现的方式为:处理器1602被配置为:
根据分解方式将视频数据分解成多个子视频数据以使得子视频数据单元具有相似的特性。
另一种可实现的方式为:处理器1602被配置为:
根据分解方式将视频数据分解成多个子视频数据以使得子视频数据单元具有不同的特性。
其中,子视频数据单元具有的不同的特性包括:子视频数据单元编码后的码流数据大小,或者子视频数据单元的能量集中度。
此外,实现选择信道中的一个或多个来发送编码后的子视频数据单元的一种可实现方式为:处理器1602选择信道中的一个或多个来发送编码后的子视频数据单元时,可被配置为:
根据一个或多个信道的一个或多个特性将编码后的多个子视频数据单元划分为一个或多个子视频数据单元组;
选择信道中的一个或多个来发送子视频数据单元组。
对于上述的子视频数据单元组而言,每个子视频数据单元组可以包括一个或多个子视频数据单元;一种实现选择信道的方式为:信道是可以根据数据单元组的码流数据大小和信道带宽选择的;另一种实现选择信道的方式可以为:信道是根据子视频数据单元组的优先级和信道带宽选择的。
进一步的,处理器1602还可以被配置为:发送用于将视频数据分解为多个子视频数据单元的分解方式的信息;其中,分解方式的信息可以包含在多个子视频数据单元的信息中。
上述分解方式的信息可以被编码在子图像数据的特殊字段中;此时,处理器1602可以被配置为:将分解方式的信息编码在子视频数据单元中子图像数据的特殊字段中。
在发送分解方式的信息时,可以将处理器1602发送用于将视频数据分解为多个子视频数据单元的分解方式的信息时,被配置为:在发送多个子视频数据单元之前,利用单独信道发送分解方式的信息。
当分解方式的信息编码在子视频数据单元中子图像数据的特殊字段中时,处理器1602还用于控制多个编码器对多个子视频数据单元进行编码。
具体的,第一种可实现的方式为:处理器1602具体用于控制多个编码器对多个子视频数据单元并行编码;
第二种可实现的方式为:处理器1602具体用于控制多个编码器分别采用不同的视频编码规则对多个子视频数据单元进行编码。
第三种可实现的方式为:处理器1602具体用于控制多个编码器采用相同的视频编码规则对多个子视频数据单元进行编码。
第四种可实现的方式为:处理器1602还用于控制编码器对多个子视频数据单元中的两个或多个进行编码。
第五种可实现的方式为:处理器1602还用于控制编码器基于运动补偿的视频压缩标准对多个子视频数据单元中的至少一个进行编码。
在处理器1602对多个子视频数据单元分别进行编码时,处理器1602可以被配置为:依据不同的压缩率对多个子视频数据单元进行压缩;其中,压缩率是根据子视频数据单元的一个或多个特性确定的。
对于该适用于可移动物体的视频发送系统而言,可移动物体可以为无人飞行器,一个或多个成像装置可以通过载体与可移动物体连接,其中,载体可以是一种多轴万向节。
需要说明的是,本发明实施例提供的视频发送系统的具体原理和实现方式均与图1-图10所示实施例类似,此处不再赘述。
本实施例提供的适用于可移动物体的视频发送系统,处理器1602通过将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,根据信道特性和子视频数据单元的特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元,当选择多个信道中的至少一个信道的来传输一个或多个编码后的子视频数据单元时,使得子视频数据单元可以在与其匹配的信道上进行传输,在扩展视频传输的带宽的同时,提高视频数据的传输的效率,同时,视频接收设备利用从多个信道上接收的子视频数据单元重建视频数据,可以提高视频传输的容错能力和可靠性。
图17为本发明实施例提供的一种适用于可移动物体的视频接收系统的结构图;参考附图17可知,本实施例提供了一种适用于可移动物体的视频接收系统,其中该视频接收系统可以设置在接收设备上,其中接收设备可以为遥控器、智能手机、穿戴式设备(手表、手环),地面控制站、膝上型电脑等以及组合,该视频接收系统1700用于执行上述的视频接收方法,具体的,该视频接收系统包括:
通讯接口1701,从一个或多个信道接收的多个编码后的子视频数据单元;
一个或多个处理器1702,单独或协同工作,一个或多个处理器1702被配置为可以执行对接收到的多个编码后的子视频数据单元进行解码,根据解码后的子视频数据单元重建视频数据;其中,视频数据包括一个或多个图像帧,子视频数据单元包括对图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
在处理器1702对多个编码后的子视频数据单元进行解码时,可以被配置为:对多个编码后的子视频数据单元分别进行解码。
进一步的,处理器1702根据解码后的子视频数据单元重建视频数据时,可以被配置为:检测解码后的子视频数据单元的一个或多个子图像的传输错误,并根据接收正确的子图像重建视频数据;为了保证接收图像的质量和争取率,处理器1702还被配置为:给解码后的子视频数据单元中传输错误的子图像分配一个值,具体的,给解码后的子视频数据单元中传输错误的子图像分配的一个值可以为0。
其中,在处理器1702给解码后的子视频数据单元中传输错误的子图像分配一个值时,可以被配置为:采用插值法确定给解码后的子视频数据单元中传输错误的子图像所分配的值。
具体的,处理器1702采用插值法确定给解码后的子视频数据单元中传输错误的子图像所分配的值时,可以被配置为:根据传输正确的子图像确定给解码后的子视频数据单元中传输错误的子图像所分配的值,其中,传输错误的子图像和传输正确的子图像来自同一个图像帧。
进一步的,处理器1702根据子视频数据单元重建视频数据时,可以被配置为:采用逆变换重建视频数据。
本发明实施例提供的视频接收系统的具体原理和实现方式均与图11-15所示实施例类似,此处不再赘述。
本实施例提供的适用于可移动物体的视频接收系统,通过处理器1702从多个信道接收多个编码后的子视频数据单元,而后对多个子视频数据单元分别进行解码,得到解码后的子视频数据单元,并根据解码后的子视频数据单元重建原始图像,从而实现了只要有一个或者多个信道数据接收正确,即可获得无马赛克错误的重建图像;正确接收到的信道数目越多,最终重建图像质量越高;当所有信道均正确接收时,获得最大重建图像质量和发送的原始图像一致,从而提高了接收系统在重建图像过程中的容错能力,增强了该视频接收系统的鲁棒性。
本实施例提供了一种无人飞行器,包括:
机身;
动力系统,安装在机身,用于提供飞行动力;
以及上述的视频发送系统。
本实施例提供的无人飞行器,通过设置的视频发送系统,其中,视频发送系统中的处理器可以将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,根据信道特性和子视频数据单元的特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元,当选择多个信道中的至少一个信道的来传输一个或多个编码后的子视频数据单元时,使得子视频数据单元可以在与其匹配的信道上进行传输,在扩展视频传输的带宽的同时,提高视频数据的传输的效率,同时,视频接收设备利用从多个信道上接收的子视频数据单元重建视频数据,可以提高视频传输的容错能力和可靠性。
本实施例提供一种接收设备,包括:上述视频接收系统,例如,该接收设备可以是遥控器、智能手机、平板电脑、地面控制站、膝上型电脑、手表、手环等及其组合,同时还可以在地面控制无人飞行器。
以上各个实施例中的技术方案、技术特性在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的相关装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特性可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器101(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特性进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (90)

1.一种适用于可移动物体的视频发送方法,其特性在于,包括:
评估一个或多个信道的一个或多个特性;
根据所述一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;
对所述多个子视频数据单元分别进行编码;以及
选择所述信道中的一个或多个来发送编码后的子视频数据单元。
2.根据权利要求1所述的方法,其特性在于,所述视频数据包括一个或多个图像帧;所述将视频数据分解为多个子视频数据单元,包括:
将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像,其中,所述子视频数据单元中的每一个包括所述图像帧中每一个分解得到的多个子图像中的至少一个子图像。
3.根据权利要求2所述的方法,其特性在于,每个子图像包括所述图像帧的一部分。
4.根据权利要求3所述的方法,其特性在于,所述每个子图像包括所述图像帧的一个或多个像素。
5.根据权利要求3所述的方法,其特性在于,所述每个子图像包括所述图像帧的一个或多个转换系数。
6.根据权利要求2所述的方法,其特性在于,所述将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像,包括:
将所述视频数据中的一个或多个图像帧中的每一个空间分解为所述多个子图像。
7.根据权利要求6所述的方法,其特性在于,所述将所述视频数据中的一个或多个图像帧中的每一个空间分解为所述多个子图像,包括:
利用傅里叶相关变换或正交变换将所述视频数据中的一个或多个图像帧中的每一个空间分解为所述多个子图像。
8.根据权利要求7所述的方法,其特性在于,所述傅里叶相关变换或正交变换是从哈达玛变换、离散余弦变换、离散傅里叶相关变换、沃尔什-哈达玛变换、哈尔变换或斜变换中确定的。
9.根据权利要求6所述的方法,其特性在于,所述将所述视频数据中的一个或多个图像帧中的每一个空间分解为所述多个子图像,包括:
利用空间下采样将所述视频数据中的一个或多个图像帧中的每一个空间分解为所述多个子图像。
10.根据权利要求1-9中任意一项所述的方法,其特性在于,所述信道的一个或多个特性至少包括带宽。
11.根据权利要求1-9中任意一项所述的方法,其特性在于,所述信道的一个或多个特性包括如下至少一种:
噪声、干扰、信噪比、误比特率、衰落速率、带宽。
12.根据权利要求1-9中任意一项所述的方法,其特性在于,所述信道的一个或多个特性包括可用信道数目或相似性。
13.根据权利要求1-9中任意一项所述的方法,其特性在于,所述评估一个或多个信道的一个或多个特性,包括:
检测可移动物体的信号强度或位置;
根据所述可移动物体的信号强度或位置评估所述信道的一个或多个特性。
14.根据权利要求1-9中任意一项所述的方法,其特性在于,所述根据所述一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元,包括:
根据所述一个或多个信道的一个或多个评估特性确定视频数据的分解方式,根据所述分解方式将视频数据分解成多个子视频数据单元。
15.根据权利要求14所述的方法,其特性在于,所述分解方式至少包括分解后的子视频数据单元的数目。
16.根据权利要求14所述的方法,其特性在于,所述根据所述分解方式将视频数据分解成多个子视频数据单元,包括:
根据所述分解方式将视频数据分解成多个子视频数据以使得子视频数据单元具有相似的特性。
17.根据权利要求14所述的方法,其特性在于,所述根据所述分解方式将视频数据分解成多个子视频数据单元,包括:
根据所述分解方式将视频数据分解成多个子视频数据单元以使得子视频数据单元具有不同的特性。
18.根据权利要求17所述的方法,其特性在于,所述子视频数据单元具有的不同的特性包括:
所述子视频数据单元编码后的码流数据大小,或者所述子视频数据单元的能量集中度。
19.根据权利要求1-18中任意一项所述的方法,其特性在于,所述选择所述信道中的一个或多个来发送编码后的子视频数据单元,包括:
根据所述一个或多个信道的一个或多个特性将编码后的所述多个子视频数据单元划分为一个或多个子视频数据单元组;
选择所述信道中的一个或多个来发送所述子视频数据单元组。
20.根据权利要求19所述的方法,其特性在于,每个所述子视频数据单元组包括一个或多个子视频数据单元。
21.根据权利要求19所述的方法,其特性在于,所述信道是根据所述数据单元组的码流数据大小和信道带宽选择的。
22.根据权利要求19所述的方法,其特性在于,所述信道是根据所述子视频数据单元组的优先级和信道带宽选择的。
23.根据权利要求14-18中任意一项所述的方法,其特性在于,还包括:
发送用于将视频数据分解为多个子视频数据单元的分解方式的信息。
24.根据权利要求23所述的方法,其特性在于,所述分解方式的信息包含在多个子视频数据单元的信息中。
25.根据权利要求23所述的方法,其特性在于,还包括:
将所述分解方式的信息编码在所述子视频数据单元中子图像数据的特殊字段中。
26.根据权利要求23所述的方法,其特性在于,发送用于将视频数据分解为多个子视频数据单元的分解方式的信息,包括:
在发送所述多个子视频数据单元之前,利用单独信道发送所述分解方式的信息。
27.根据权利要求1-26中任意一项所述的方法,其特性在于,所述对所述多个子视频数据单元分别进行编码,包括:
所述多个子视频数据单元由多个单独的编码器进行编码。
28.根据权利要求27所述的方法,其特性在于,所述多个子视频数据单元由多个单独的编码器进行编码,包括:
采用多个单独的所述编码器对所述多个子视频数据单元并行编码。
29.根据权利要求27所述的方法,其特性在于,所述多个子视频数据单元由多个单独的编码器进行编码,包括:
采用不同的视频编码规则对所述多个子视频数据单元进行编码。
30.根据权利要求27所述的方法,其特性在于,所述多个子视频数据单元由多个单独的编码器进行编码,包括:
采用相同的视频编码规则对所述多个子视频数据单元进行编码。
31.根据权利要求1-26中任意一项所述的方法,其特性在于,对所述多个子视频数据单元分别进行编码,包括:
所述多个子视频数据单元中的两个或多个由同一个编码器进行编码。
32.根据权利要求1-26中任意一项所述的方法,其特性在于,对所述多个子视频数据单元分别进行编码,包括:
利用基于运动补偿的视频压缩标准对所述多个子视频数据单元中的至少一个进行编码。
33.根据权利要求1-26中任意一项所述的方法,其特性在于,对所述多个子视频数据单元分别进行编码,包括:
依据不同的压缩率对所述多个子视频数据单元进行压缩。
34.根据权利要求33所述的方法,其特性在于,所述压缩率是根据所述子视频数据单元的一个或多个特性确定的。
35.一种适用于可移动物体的视频接收方法,其特性在于,包括:
接收由一个或多个信道所发送的多个编码后的子视频数据单元;
对所述多个编码后的子视频数据单元进行解码;
根据解码后的所述子视频数据单元重建所述视频数据;
其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
36.根据权利要求35所述的方法,其特性在于,所述对所述多个编码后的子视频数据单元进行解码,包括:
对所述多个编码后的子视频数据单元分别进行解码。
37.根据权利要求35或36所述的方法,其特性在于,根据解码后的所述子视频数据单元重建所述视频数据,包括:
检测所述解码后的子视频数据单元的一个或多个子图像的传输错误,并根据接收正确的子图像重建视频数据。
38.根据权利要求37所述的方法,其特性在于,还包括:
接收由所述一个或多个信道所发送的用于将视频数据分解为多个子视频数据单元的分解方式信息。
39.根据权利要求37所述的方法,其特性在于,还包括:
给所述解码后的子视频数据单元中传输错误的子图像分配一个值。
40.根据权利要求39所述的方法,其特性在于,给所述解码后的子视频数据单元中传输错误的子图像分配的值为0。
41.根据权利要求39所述的方法,其特性在于,所述给所述解码后的子视频数据单元中传输错误的子图像分配一个值,包括:
采用插值法确定给所述解码后的子视频数据单元中传输错误的子图像所分配的值。
42.根据权利要求41所述的方法,其特性在于,所述采用插值法确定给所述解码后的子视频数据单元中传输错误的子图像所分配的值,包括:
根据传输正确的子图像确定给所述解码后的子视频数据单元中传输错误的子图像所分配的值,其中,所述传输错误的子图像和所述传输正确的子图像来自同一个图像帧。
43.根据权利要求35-42中任意一项所述的方法,其特性在于,所述根据解码后的所述子视频数据单元重建所述视频数据,包括:
采用逆变换重建所述视频数据。
44.一种适用于可移动物体的视频发送系统,其特性在于,包括:
一个或多个成像装置,被配置为采集视频数据;以及
所述可移动物体上的一个或多个处理器,单独或协同工作,所述一个或多个处理器被配置为:
评估一个或多个信道的一个或多个特性;
根据所述一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;
对所述多个子视频数据单元分别进行编码;以及
选择所述信道中的一个或多个来发送编码后的子视频数据单元。
45.根据权利要求44所述的系统,其特性在于,所述视频数据包括一个或多个图像帧;所述处理器将视频数据分解为多个子视频数据单元时,被配置为:
将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像,其中,所述子视频数据单元中的每一个包括所述图像帧中每一个分解得到的多个子图像中的至少一个子图像。
46.根据权利要求45所述的系统,其特性在于,每个子图像包括所述图像帧的一部分。
47.根据权利要求46所述的系统,其特性在于,所述每个子图像包括所述图像帧的一个或多个像素。
48.根据权利要求46所述的系统,其特性在于,所述每个子图像包括所述图像帧的一个或多个转换系数。
49.根据权利要求45所述的系统,其特性在于,所述处理器将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像时,被配置为:
将所述视频数据中的一个或多个图像帧中的每一个空间分解为所述多个子图像。
50.根据权利要求49所述的系统,其特性在于,所述处理器将所述视频数据中的一个或多个图像帧中的每一个空间分解为所述多个子图像时,被配置为:
利用傅里叶相关变换或正交变换将所述视频数据中的一个或多个图像帧中的每一个空间分解为所述多个子图像。
51.根据权利要求50所述的系统,其特性在于,所述傅里叶相关变换或正交变换是从哈达玛变换、离散余弦变换、离散傅里叶相关变换、沃尔什-哈达玛变换、哈尔变换或斜变换中确定的。
52.根据权利要求49所述的系统,其特性在于,所述处理器将所述视频数据中的一个或多个图像帧中的每一个空间分解为所述多个子图像时,被配置为:
利用空间下采样将所述视频数据中的一个或多个图像帧中的每一个空间分解为所述多个子图像。
53.根据权利要求44-52中任意一项所述的系统,其特性在于,所述信道的一个或多个特性至少包括带宽。
54.根据权利要求44-52中任意一项所述的系统,其特性在于,所述信道的一个或多个特性包括如下至少一种:
噪声、干扰、信噪比、误比特率、衰落速率、带宽。
55.根据权利要求44-52中任意一项所述的系统,其特性在于,所述信道的一个或多个特性包括可用信道数目或相似性。
56.根据权利要求44-52中任意一项所述的系统,其特性在于,所述处理器评估一个或多个信道的一个或多个特性时,被配置为:
检测可移动物体的信号强度或位置;
根据所述可移动物体的信号强度或位置评估所述信道的一个或多个特性。
57.根据权利要求44-52中任意一项所述的系统,其特性在于,所述处理器根据所述一个或多个信道的一个或多个特性将视频数据分解为多个子视频数据单元时,被配置为:
根据所述一个或多个信道的一个或多个评估特性确定视频数据的分解方式,根据所述分解方式将视频数据分解成多个子视频数据单元。
58.根据权利要求57所述的系统,其特性在于,所述分解方式至少包括分解后的子视频数据单元的数目。
59.根据权利要求57所述的系统,其特性在于,所述处理器根据所述分解方式将视频数据分解成多个子视频数据单元时,被配置为:
根据所述分解方式将视频数据分解成多个子视频数据以使得子视频数据单元具有相似的特性。
60.根据权利要求57所述的系统,其特性在于,所述处理器根据所述分解方式将视频数据分解成多个子视频数据单元时,被配置为:
根据所述分解方式将视频数据分解成多个子视频数据以使得子视频数据单元具有不同的特性。
61.根据权利要求60所述的系统,其特性在于,所述子视频数据单元具有的不同的特性包括:
所述子视频数据单元编码后的码流数据大小,或者所述子视频数据单元的能量集中度。
62.根据权利要求44-61中任意一项所述的系统,其特性在于,所述处理器选择所述信道中的一个或多个来发送编码后的子视频数据单元时,被配置为:
根据所述一个或多个信道的一个或多个特性将编码后的所述多个子视频数据单元划分为一个或多个子视频数据单元组;
选择所述信道中的一个或多个来发送所述子视频数据单元组。
63.根据权利要求62所述的系统,其特性在于,每个所述子视频数据单元组包括一个或多个子视频数据单元。
64.根据权利要求62所述的系统,其特性在于,所述信道是根据所述数据单元组的码流数据大小和信道带宽选择的。
65.根据权利要求62所述的系统,其特性在于,所述信道是根据所述子视频数据单元组的优先级和信道带宽选择的。
66.根据权利要求57-61中任意一项所述的系统,其特性在于,所述处理器,还用于:
发送用于将视频数据分解为多个子视频数据单元的分解方式的信息。
67.根据权利要求66所述的系统,其特性在于,所述分解方式的信息包含在多个子视频数据单元的信息中。
68.根据权利要求66所述的系统,其特性在于,所述处理器,还用于:
将所述分解方式的信息编码在所述子视频数据单元中子图像数据的特殊字段中。
69.根据权利要求66所述的系统,其特性在于,所述处理器发送用于将视频数据分解为多个子视频数据单元的分解方式的信息时,被配置为:
在发送所述多个子视频数据单元之前,利用单独信道发送所述分解方式的信息。
70.根据权利要求44-69中任意一项所述的系统,其特性在于,所述处理器还用于控制多个编码器对所述多个子视频数据单元进行编码。
71.根据权利要求70所述的系统,其特性在于,所述处理器具体用于控制所述多个编码器对所述多个子视频数据单元并行编码。
72.根据权利要求70所述的系统,其特性在于,所述处理器具体用于控制所述多个编码器分别采用不同的视频编码规则对所述多个子视频数据单元进行编码。
73.根据权利要求70所述的系统,其特性在于,所述处理器具体用于控制所述多个编码器采用相同的视频编码规则对所述多个子视频数据单元进行编码。
74.根据权利要求44-69中任意一项所述的系统,其特性在于,所述处理器还用于控制编码器对所述多个子视频数据单元中的两个或多个进行编码。
75.根据权利要求44-69中任意一项所述的系统,其特性在于,所述处理器还用于控制编码器基于运动补偿的视频压缩标准对所述多个子视频数据单元中的至少一个进行编码。
76.根据权利要求44-69中任意一项所述的系统,其特性在于,所述处理器对所述多个子视频数据单元分别进行编码时,被配置为:
依据不同的压缩率对所述多个子视频数据单元进行压缩。
77.根据权利要求76所述的系统,其特性在于,所述压缩率是根据所述子视频数据单元的一个或多个特性确定的。
78.根据权利要求44-77任一项所述的系统,其特性在于,所述可移动物体为无人飞行器。
79.根据权利要求44-77任一项所述的系统,其特性在于,所述一个或多个成像装置通过载体与所述可移动物体连接。
80.根据权利要求79所述的系统,其特性在于,所述载体是一种多轴万向节。
81.一种适用于可移动物体的视频接收系统,其特性在于,包括:
通讯接口,从一个或多个信道接收的多个编码后的子视频数据单元;
一个或多个处理器,单独或协同工作,所述一个或多个处理器被配置为:
对接收到的所述多个编码后的子视频数据单元进行解码;
根据解码后的所述子视频数据单元重建所述视频数据;
其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
82.根据权利要求81所述的系统,其特性在于,所述处理器对所述多个编码后的子视频数据单元进行解码时,被配置为:
对所述多个编码后的子视频数据单元分别进行解码。
83.根据权利要求81或82所述的系统,其特性在于,所述处理器根据解码后的所述子视频数据单元重建所述视频数据时,被配置为:
检测所述解码后的子视频数据单元的一个或多个子图像的传输错误,并根据接收正确的子图像重建视频数据。
84.根据权利要求83所述的系统,其特性在于,所述处理器,还被配置为:
给所述解码后的子视频数据单元中传输错误的子图像分配一个值。
85.根据权利要求84所述的系统,其特性在于,给所述解码后的子视频数据单元中传输错误的子图像分配的一个值为0。
86.根据权利要求84所述的系统,其特性在于,所述处理器给所述解码后的子视频数据单元中传输错误的子图像分配一个值时,被配置为:
采用插值法确定给所述解码后的子视频数据单元中传输错误的子图像所分配的值。
87.根据权利要求86所述的系统,其特性在于,所述处理器采用插值法确定给所述解码后的子视频数据单元中传输错误的子图像所分配的值时,被配置为:
根据传输正确的子图像确定给所述解码后的子视频数据单元中传输错误的子图像所分配的值,其中,所述传输错误的子图像和所述传输正确的子图像来自同一个图像帧。
88.根据权利要求81-87中任意一项所述的系统,其特性在于,所述处理器根据所述子视频数据单元重建所述视频数据时,被配置为:
采用逆变换重建所述视频数据。
89.一种无人飞行器,其特性在于,包括:
机身;
动力系统,安装在所述机身,用于提供飞行动力;以及如权利要求44-80中任一项所述的视频发送系统。
90.一种接收设备,其特征在于,包括:
权利要求81-88任一项所述的视频接收系统。
CN201780005004.0A 2017-03-30 2017-03-30 视频发送方法、接收方法、系统以及无人飞行器 Pending CN108513712A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/078867 WO2018176340A1 (zh) 2017-03-30 2017-03-30 视频发送方法、接收方法、系统以及无人飞行器

Publications (1)

Publication Number Publication Date
CN108513712A true CN108513712A (zh) 2018-09-07

Family

ID=63375426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780005004.0A Pending CN108513712A (zh) 2017-03-30 2017-03-30 视频发送方法、接收方法、系统以及无人飞行器

Country Status (2)

Country Link
CN (1) CN108513712A (zh)
WO (1) WO2018176340A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110017575A (zh) * 2019-04-16 2019-07-16 珠海格力电器股份有限公司 信息传输装置、方法和系统、空调
CN111865367A (zh) * 2020-06-12 2020-10-30 惠州拓邦电气技术有限公司 一种rfid数据传输方法、装置、电子设备及存储介质
CN112466083A (zh) * 2020-10-15 2021-03-09 中船重工远舟(北京)科技有限公司 一种船用火灾监测报警方法及系统
CN114040226A (zh) * 2022-01-10 2022-02-11 北京小鸟科技股份有限公司 低带宽高分辨率视频传输的数据传输方法、系统及设备
CN114245181A (zh) * 2021-12-16 2022-03-25 北京数码视讯技术有限公司 混合信道下的多媒体数据传输方法和装置
WO2022141121A1 (zh) * 2020-12-29 2022-07-07 深圳市大疆创新科技有限公司 图像传输方法、可移动平台、遥控装置、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008142150A (ja) * 2006-12-07 2008-06-26 Matsushita Electric Ind Co Ltd 医療端末および医療端末の制御方法
US20090161773A1 (en) * 2007-12-20 2009-06-25 Advanced Micro Devices, Inc. Channel Estimation Of Orthogonal Frequency Division Multiplexed Systems
US20130263202A1 (en) * 2010-06-22 2013-10-03 Gi Provision Limited Data stream rate adaptation mechanism
US20130272621A1 (en) * 2012-04-13 2013-10-17 Canon Kabushiki Kaisha Methods for segmenting and encoding an image, and corresponding devices
CN104427302A (zh) * 2013-08-28 2015-03-18 北京计算机技术及应用研究所 一种超高清视频图像的多信道传输子系统及传输方法
CN105120230A (zh) * 2015-09-15 2015-12-02 成都时代星光科技有限公司 无人机图像监控和传输系统
CN106411838A (zh) * 2016-06-14 2017-02-15 青岛乾元通数码科技有限公司 一种多信道负载均衡音视频传输方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013128010A2 (en) * 2012-03-02 2013-09-06 Canon Kabushiki Kaisha Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008142150A (ja) * 2006-12-07 2008-06-26 Matsushita Electric Ind Co Ltd 医療端末および医療端末の制御方法
US20090161773A1 (en) * 2007-12-20 2009-06-25 Advanced Micro Devices, Inc. Channel Estimation Of Orthogonal Frequency Division Multiplexed Systems
US20130263202A1 (en) * 2010-06-22 2013-10-03 Gi Provision Limited Data stream rate adaptation mechanism
US20130272621A1 (en) * 2012-04-13 2013-10-17 Canon Kabushiki Kaisha Methods for segmenting and encoding an image, and corresponding devices
CN104427302A (zh) * 2013-08-28 2015-03-18 北京计算机技术及应用研究所 一种超高清视频图像的多信道传输子系统及传输方法
CN105120230A (zh) * 2015-09-15 2015-12-02 成都时代星光科技有限公司 无人机图像监控和传输系统
CN106411838A (zh) * 2016-06-14 2017-02-15 青岛乾元通数码科技有限公司 一种多信道负载均衡音视频传输方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IVAN VIDAL等: "Design and practical deployment of a network-centric remotely piloted aircraft system", 《 IEEE COMMUNICATIONS MAGAZINE》 *
王健等: "基于WiFi的无人机视频传输系统设计与试验", 《农业工程学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110017575A (zh) * 2019-04-16 2019-07-16 珠海格力电器股份有限公司 信息传输装置、方法和系统、空调
CN111865367A (zh) * 2020-06-12 2020-10-30 惠州拓邦电气技术有限公司 一种rfid数据传输方法、装置、电子设备及存储介质
CN112466083A (zh) * 2020-10-15 2021-03-09 中船重工远舟(北京)科技有限公司 一种船用火灾监测报警方法及系统
CN112466083B (zh) * 2020-10-15 2023-01-31 中船重工远舟(北京)科技有限公司 一种船用火灾监测报警方法及系统
WO2022141121A1 (zh) * 2020-12-29 2022-07-07 深圳市大疆创新科技有限公司 图像传输方法、可移动平台、遥控装置、系统及存储介质
CN114245181A (zh) * 2021-12-16 2022-03-25 北京数码视讯技术有限公司 混合信道下的多媒体数据传输方法和装置
CN114040226A (zh) * 2022-01-10 2022-02-11 北京小鸟科技股份有限公司 低带宽高分辨率视频传输的数据传输方法、系统及设备
CN114040226B (zh) * 2022-01-10 2022-03-11 北京小鸟科技股份有限公司 低带宽高分辨率视频传输的数据传输方法、系统及设备

Also Published As

Publication number Publication date
WO2018176340A1 (zh) 2018-10-04

Similar Documents

Publication Publication Date Title
CN108513712A (zh) 视频发送方法、接收方法、系统以及无人飞行器
US11122102B2 (en) Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
US11373338B2 (en) Image padding in video-based point-cloud compression CODEC
EP3682632B1 (en) Methods and devices for encoding and decoding 3d video stream
CN104244088B (zh) 显示控制器、屏幕图像传送装置和屏幕图像传送方法
RU2019107974A (ru) Способы, устройства и системы для параллельного кодирования и декодирования видеоинформации
US11315270B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JPWO2008123496A1 (ja) 情報処理装置および方法
CN108496369A (zh) 视频传输、接收方法、系统、设备及无人飞行器
US10944991B2 (en) Prediction for matched patch index coding
US20220368751A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN107547907A (zh) 编解码的方法及设备
KR20140097512A (ko) 향상된 무선 디스플레이
US10091518B2 (en) Systems and methods for transmission of compressive sensing data
EP4161073A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US8687686B2 (en) 3D contents data encoding/decoding apparatus and method
CN107079101A (zh) 一种飞行图像数据的处理方法、系统及地面端设备
CN106572353A (zh) 用于虚拟现实的无线传输方法、装置、终端和头显设备
CN103503444A (zh) 在视频编码中用信号通知活动层的数量
KR20180116835A (ko) 비디오 비트 스트림 혼합 방법 및 이를 수행하는 장치
CN108496370A (zh) 视频发送方法、接收方法、系统以及无人飞行器
CN102045580B (zh) 用于处理视频的方法和系统
JP5788269B2 (ja) データ送信装置およびデータ受信装置
KR20230041016A (ko) 혼합현실/증강현실을 지원하는 통신 시스템에서 3차원 미디어 데이터에 대해 지연 시간 보상 포즈 예측을 사용하는 렌더링을 수행하는 방법 및 장치
CN110731083A (zh) 视频编码系统和方法中的编码块位流结构和语法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220315