CN112585965A - 图像传输方法、设备、可移动平台、系统和存储介质 - Google Patents
图像传输方法、设备、可移动平台、系统和存储介质 Download PDFInfo
- Publication number
- CN112585965A CN112585965A CN201980052515.7A CN201980052515A CN112585965A CN 112585965 A CN112585965 A CN 112585965A CN 201980052515 A CN201980052515 A CN 201980052515A CN 112585965 A CN112585965 A CN 112585965A
- Authority
- CN
- China
- Prior art keywords
- image
- mode
- stream data
- target
- coding mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 333
- 238000000034 method Methods 0.000 title claims abstract description 133
- 238000004891 communication Methods 0.000 claims description 30
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical group CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种图像传输方法、设备、可移动平台、系统和存储介质。方法包括:获取至少一个终端设备的至少一个图像解码模式(S301);在多个预设编码模式中,根据至少一个图像解码模式确定一目标编码模式(S302);利用目标编码模式对待传输图像进行编码处理,获得与待传输图像相对应的图传码流数据(S303);将图传码流数据发送至至少一个终端设备(S304)。所述方法通过获取至少一个终端设备的至少一个图像解码模式,根据至少一个图像解码模式确定一目标编码模式,而后利用目标编码模式将待传输图像编码处理为图传码流数据,并将图传码流数据发送至至少一个终端设备,保证了可移动平台与终端设备之间的图传能力相匹配,进而提高了图像传输的质量和效率。
Description
技术领域
本发明实施例涉及可移动平台技术领域,尤其涉及一种图像传输方法、设备、可移动平台、系统和存储介质。
背景技术
随着科学技术的飞速发展,可移动平台的应用领域越来越广泛,例如,以无人机为代表的飞行器可以协助进行专业航拍、农业灌溉、电力巡线、治安监控等操作。在利用无人机进行飞行作业的过程中,经常会进行无线的图像传输操作,而现有的应用于无人机进行图像传输主要是通过H.264的编解码标准来实现视频编解码操作的。
随着硬件处理器的发展,无人机的图传技术正在向高分辨率和高帧率的应用场景进行发展,无人机上可以搭载处理能力更强的处理器,从而开始支持更高标准的视频编码能力,例如:支持H.265的视频编码标准。然而,仍然有很多与无人机相连接的遥控器、手机、平板等移动终端设备的处理能力或解码能力并不能支持更高的视频编解码标准,这就导致了无人机及无人机图像传输技术的发展与现有的遥控器、手机、平台等移动连接终端设备的能力并不能很好地匹配,从而使得无人机图像传输不能取得很好的效果,造成传输卡顿、无法传输等问题。因此,有必要提供一种应用于无人机的图像传输方法,来提高无人机图像传输的效果与质量。
发明内容
本发明实施例提供了一种图像传输方法、设备、可移动平台、系统和存储介质,用于解决现有技术中存在的因图传技术不匹配而造成的传输卡顿、无法传输等问题,从而提高保证图像传输的质量和效果。
本发明的第一方面是为了提供一种图像传输方法,应用于可移动平台,所述方法包括:
获取至少一个终端设备的至少一个图像解码模式;
在多个预设编码模式中,根据至少一个所述图像解码模式确定一目标编码模式;
利用所述目标编码模式对待传输图像进行编码处理,获得与所述待传输图像相对应的图传码流数据;
将所述图传码流数据发送至至少一个所述终端设备。
本发明的第二方面是为了提供一种图像传输方法,应用于终端设备,所述方法包括:
获取待识别的图传码流数据;
确定与所述图传码流数据相对应的目标编码模式;
基于所述目标编码模式确定一与所述图传码流数据相对应的图像解码模式;
在所述终端设备支持所述图像解码模式时,利用所述图像解码模式对所述图传码流数据进行解码处理,获得与所述图传码流数据相对应的图像信息。
本发明的第三方面是为了提供一种可移动平台,包括:
第一存储器,用于存储计算机程序;
第一处理器,用于运行所述第一存储器中存储的计算机程序以实现:
获取至少一个终端设备的至少一个图像解码模式;
在多个预设编码模式中,根据至少一个所述图像解码模式确定一目标编码模式;
利用所述目标编码模式对待传输图像进行编码处理,获得与所述待传输图像相对应的图传码流数据;
将所述图传码流数据发送至至少一个所述终端设备。
本发明的第四方面是为了提供一种终端设备,包括:
第二存储器,用于存储计算机程序;
第二处理器,用于运行所述第二存储器中存储的计算机程序以实现:
获取待识别的图传码流数据;
确定与所述图传码流数据相对应的目标编码模式;
基于所述目标编码模式确定一与所述图传码流数据相对应的图像解码模式;
在所述终端设备支持所述图像解码模式时,利用所述图像解码模式对所述图传码流数据进行解码处理,获得与所述图传码流数据相对应的图像信息。
本发明的第五方面是为了提供一种图像传输系统,包括:
上述第三方面所述的可移动平台;
上述第四方面所述的终端设备,所述终端设备与所述可移动平台通信连接。
本发明的第六方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第一方面所述的图像传输方法。
本发明的第七方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第二方面所述的图像传输方法。
本发明实施例提供的图像传输方法、设备、可移动平台、系统和存储介质,通过获取至少一个终端设备的至少一个图像解码模式,在多个预设编码模式中,根据至少一个图像解码模式确定一目标编码模式,而后可以利用目标编码模式对待传输图像进行编码处理,获得与待传输图像相对应的图传码流数据,并可以将图传码流数据发送至至少一个终端设备,从而实现了可移动平台与终端设备之间的图传能力相匹配,进而避免了图像在传输过程中出现传输卡顿、无法传输的问题,从而保证了图像传输的质量和稳定性,进一步提高了该方法使用的稳定可靠性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例提供的图像传输的原理示意图一;
图2为本发明实施例提供的图像传输的原理示意图二;
图3为本发明实施例提供的一种图像传输方法的流程示意图一;
图4为本发明实施例提供的一种图像传输方法的流程示意图二;
图5为本发明实施例提供的一种图像传输方法的流程示意图三;
图6为本发明实施例提供的一种图像传输方法的流程示意图四;
图7为本发明实施例提供的一种图像传输方法的流程示意图五;
图8为本发明实施例提供的另一种图像传输方法的流程示意图一;
图9为本发明实施例提供的一种H.264编码模式所对应的语法结构示意图;
图10为本发明实施例提供的一种H.265编码模式所对应的语法结构示意图;
图11为本发明实施例提供的确定与所述图传码流数据相对应的目标编码模式的流程示意图一;
图12为本发明实施例提供的确定与所述图传码流数据相对应的目标编码模式的流程示意图二;
图13为本发明实施例提供的确定与所述图传码流数据相对应的目标编码模式的流程示意图三;
图14为本发明实施例提供的确定与所述图传码流数据相对应的目标编码模式的流程示意图四;
图15为本发明实施例提供的另一种图像传输方法的流程示意图二;
图16为本发明实施例提供的一种可移动平台的结构示意图;
图17为本发明实施例提供的一种终端设备的结构示意图;
图18为本发明实施例提供的一种图像传输系统的结构示意图;
图19为本发明实施例提供的一种图像传输系统的场景示意图一;
图20为本发明实施例提供的一种图像传输系统的场景示意图二。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
术语定义:
图像编码:是指在满足一定质量(信噪比的要求或主观评价得分)的条件下,以较少的比特数来表示图像或图像中所包含信息的技术。
图像解码:是图像编码的逆过程,即将比特数还原为图像或者图像中所包含信息的技术。
图像编码模式:是指在利用图像编码技术对图像进行编码时,该图像编码技术所符合的编码标准;例如,在图像编码技术符合H.264的国际标准时,则可以确定图像编码模式为H.264编码模式;在图像编码技术符合H.265的国际标准时,则可以确定图像编码模式为H.265编码模式。
图像解码模式:是指在利用图像解码技术对图像进行解码时,该图像解码技术所符合的解码标准;例如,在图像解码技术符合H.264的国际标准时,则可以确定图像解码模式为H.264解码模式;在图像解码技术符合H.265的国际标准时,则可以确定图像解码模式为H.265解码模式。
为了便于理解本实施例中的图像传输方法,下面对图像传输的实现原理进行说明:
参考附图1所示,提供了一种图像传输系统发送图像的实现过程,具体的,该图像传输系统可以包括相机传感器、图像信号处理模块、图像编码模块和无线传输模块,其中,相机传感器用于采集图像,通过移动产业处理器接口(Mobile Industry ProcessorInterface,简称MIPI)将所采集的图像发送至图像信号处理(Image SignalProcecessing,简称ISP)模块进行处理,从而可以获取图像帧数据,而后,ISP模块将处理后的图像帧数据传输至图像编码器进行编码处理,从而可以获得与图像帧数据相对应的编码码流。编码码流通过无线传输模块封装打包为图传码流数据,而后可以通过射频天线对图传码流数据进行传输,从而实现了对图像进行稳定、有效地无线发送。
进一步的,参考附图2所示,提供了一种图像传输系统接收图像的实现过程,具体的,该图像传输系统可以包括无线传输模块、图像解码模块、显示驱动模块以及显示器,其中,无线传输模块用于接收传输过来的图传码流数据,并可以对图传码流数据进行解封装处理,获得编码码流;而后将编码码流传输至图像解码模块进行解码处理,从而可以获取到与编码码流相对应的图像帧,将图像帧传输至显示驱动模块,显示驱动模块可以通过MIPI接口与显示器相连接,该图像帧经过显示驱动模块,可以在显示器上进行显示,从而实现了对图像进行稳定、有效地无线接收。
在上述对图像进行编码处理和解码处理的过程中,图像的解码模式与图像的编码模式相对应,从而可以保证对图像进行解码的质量和效率;若图像的解码模式与图像的编码模式不对应,则无法保证对图像进行解码操作的质量和效率。例如:无人机可以支持H.265的编码标准,然而,与无人机相连接的遥控器、手机、平板等移动终端设备的处理能力或解码能力并不支持H.265的编码标准时,此时,图像的解码模式与图像的编码模式不对应,从而容易使得图像传输不能取得很好的效果,甚至可能会造成图像传输卡顿、无法传输等问题。
下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图3为本发明实施例提供的一种图像传输方法的流程示意图一;参考附图3所示,本实施例提供了一种图像传输方法,该方法可以应用于可移动平台,该可移动平台可以指代能够移动的任何设备,其中,可移动平台可以包括但不限于陆地交通工具、水中交通工具、空中交通工具以及其他类型的机动载运工具。出于说明性目的,可移动平台可以包括无人机、无人船和/或无人船等等。具体的,该方法可以包括:
S301:获取至少一个终端设备的至少一个图像解码模式。
S302:在多个预设编码模式中,根据至少一个图像解码模式确定一目标编码模式。
S303:利用目标编码模式对待传输图像进行编码处理,获得与待传输图像相对应的图传码流数据。
S304:将图传码流数据发送至至少一个终端设备。
以下针对上述步骤进行详细阐述:
S301:获取至少一个终端设备的至少一个图像解码模式。
其中,终端设备的个数可以为一个或多个,在终端设备的个数为一个时,可以获取到与终端设备相对应的至少一个图像解码模式;在终端设备的个数为多个时,可以获取到与多个终端设备所对应的多个图像解码模式,可以理解的是,不同的终端设备的图像解码模式可以相同或者不同。
在一些实例中,图像解码模式为终端设备可以支持的最高图像解码模式,例如:在终端设备可以支持H.264图像解码模式和H.265图像解码模式时,此时,终端设备可以向移动平台发送该终端设备可以支持的最高图像解码模式H.265解码模式,而不需要发送H.264图像解码模式。具体的,在终端设备的个数为一个时,可以获取到与终端设备相对应的一个图像解码模式;在终端设备的个数为多个时,可以获取到与终端设备相对应的多个图像解码模式;上述的图像解码模式为终端设备可以支持的最高图像解码模式。
在一些实例中,本实施例中的获取至少一个终端设备的至少一个图像解码模式可以包括:在可移动平台与终端设备之间建立通信连接之后,获取至少一个终端设备发送的至少一个图像解码模式。
具体的,在可移动平台与至少一个终端设备之间建立通信连接之后,可移动平台可以主动获取至少一个终端设备的至少一个图像解码模式,具体的,可移动平台可以向至少一个终端设备发送解码模式获取请求,在终端设备到解码模式获取请求之后,可以基于解码模式获取请求向可移动平台发送至少一个图像解码模式。或者,在可移动平台与至少一个终端设备之间建立通信连接之后,终端设备可以主动向可移动平台发送至少一个图像解码模式,此时,可移动平台可以接收到至少一个终端设备发送的至少一个图像解码模式。
S302:在多个预设编码模式中,根据至少一个图像解码模式确定一目标编码模式。
对于可移动平台而言,其可以支持多个预设编码模式,多个预设编码模式可以包括:H.264编码模式、H.265编码模式等等。在获取到至少一个图像解码模式之后,可以对至少一个图像解码模式进行分析处理,并基于分析处理结果在多个预设编码模式中确定一目标编码模式。在一些实例中,目标编码模式与至少一个图像解码模式中具有最高解码能力的图像解码模式相对应。
具体的,在至少一个终端设备的个数为一个时,根据至少一个图像解码模式确定一目标编码模式可以包括:
S3021:在至少一个图像解码模式中,确定与终端设备相对应的具有最高解码能力的目标解码模式。
S3022:根据目标解码模式确定一用于对图像进行编码处理的目标编码模式。
举例来说,以无人机作为可移动平台为例,无人机可以支持的多个预设编码模式包括H.264编码模式、H.265编码模式;此时,与无人机连接有一终端设备,该终端设备可以支持的至少一个图像解码模式包括H.264解码模式和H.265解码模式;此时,终端设备可以将所支持的H.264解码模式和H.265解码模式发送至无人机,无人机接收到H.264解码模式和H.265解码模式之后,可以确定与终端设备相对应的具有最高解码能力的目标解码模式为H.265解码模式,而后可以根据H.265解码模式确定一用于对图像进行编码处理的目标编码模式为H.265编码模式。从而实现了在至少一个终端设备的个数为一个时,可以根据终端设备的至少一个图像解码模式确定一目标编码模式,该目标编码模式与至少一个图像解码模式中具有最高解码能力的图像解码模式相对应。
本实施例中,在至少一个终端设备的个数为一个时,通过终端设备的至少一个图像解码模式确定一目标编码模式,该目标编码模式与至少一个图像解码模式中具有最高解码能力的图像解码模式相对应,这样有效地提高了图像编解码的质量和效率。
在另一些实例中,目标编码模式与至少一个图像解码模式中具有最低解码能力的图像解码模式相对应。
具体的,在至少一个终端设备的个数为多个时,根据至少一个图像解码模式确定一目标编码模式可以包括:
S3023:在至少一个图像解码模式中,确定与至少一个终端设备相对应的具有最低解码能力的目标解码模式。
S3024:根据目标解码模式确定一用于对图像进行编码处理的目标编码模式。
举例来说,以无人机作为可移动平台为例,无人机可以支持的多个预设编码模式包括H.264编码模式、H.265编码模式;此时,与无人机连接有多个终端设备,例如,多个终端设备包括终端设备A、终端设备B、终端设备C,其中,终端设备A可以支持的图像解码模式包括H.264解码模式,终端设备B可以支持的图像解码模式包括H.264解码模式和H.265解码模式,终端设备C可以支持的图像解码模式包括H.265码模式;此时,上述的每个终端设备可以将各自可以支持的解码模式发送至无人机,在无人机接收到多个终端设备发送的至少一个图像解码模式之后,可以确定与至少一个终端设备相对应的具有最低解码能力的目标解码模式为H.264解码模式,而后可以根据H.264解码模式确定一用于对图像进行编码处理的目标编码模式为H.264编码模式。从而实现了在至少一个终端设备的个数为多个时,可以根据多个终端设备的至少一个图像解码模式确定一目标编码模式,该目标编码模式与至少一个图像解码模式中具有最低解码能力的图像解码模式相对应。
本实施例中,在至少一个终端设备的个数为多个时,通过多个终端设备的至少一个图像解码模式确定一目标编码模式,该目标编码模式与至少一个图像解码模式中具有最低解码能力的图像解码模式相对应,从而有效地实现了多个终端设备均可以对经过目标编码模式进行编码的图像数据进行解码,同时也保证了图像解码的质量和效率,进一步提高了该方法的实用性。
S303:利用目标编码模式对待传输图像进行编码处理,获得与待传输图像相对应的图传码流数据。
在获取到目标编码模式之后,可以利用目标编码模式对待传输图像进行编码处理,从而可以获得与待传输图像相对应的图传码流数据。需要注意的是,待传输图像可以是图像采集设备所采集的图像,具体的,可移动平台上可以设置有图像采集设备,在图像采集设备获取到图像之后,可以实时地将图像传输至可移动平台,从而使得可移动平台可以获取图像采集设备采集的待传输图像。
S304:将图传码流数据发送至至少一个终端设备。
在获取到图传码流数据之后,可以将图传码流数据发送至至少一个终端设备,在一些实例中,将图传码流数据发送至至少一个终端设备可以包括:
S3041:获取与图传码流数据相对应的图像帧数据。
S3042:在图像帧数据中插入预设的帧分割字符,将插入帧分割字符后的图传码流数据按帧发送至至少一个终端设备。
在一些实例中,在图像帧数据中插入预设的帧分割字符可以包括:在图像帧数据中的帧头位置和/或帧尾位置插入预设的帧分割字符。
其中,在获取到图传码流数据之后,可以对图传码流数据进行分析处理,从而获取与图传码流数据相对应的图像帧数据。在获取到图像帧数据之后,为了便于终端设备可以识别出与图传码流数据相对应的每一个图像帧数据,可以在图像帧数据中插入预设的帧分割字符,具体的,可以在图像帧数据中的帧头位置和/或帧尾位置插入预设的帧分割字符,而后可以将插入帧分割字符后的图传码流数据按帧发送至至少一个终端设备。在终端设备接收到图传码流数据之后,可以基于帧分割字符来识别每个图像帧数据,可以对图传码流数据进行解码处理,从而实现了将待传输图像由可移动平台无线传输至终端设备的过程。
本实施例提供的图像传输方法,通过获取至少一个终端设备的至少一个图像解码模式,在多个预设编码模式中,根据至少一个图像解码模式确定一目标编码模式,而后可以利用目标编码模式对待传输图像进行编码处理,获得与待传输图像相对应的图传码流数据,并可以将图传码流数据发送至至少一个终端设备,从而实现了可移动平台与终端设备之间的图传能力相匹配,进而避免了图像在传输过程中出现传输卡顿、无法传输的问题,从而保证了图像传输的质量和稳定性,进一步提高了该方法使用的稳定可靠性。
图4为本发明实施例提供的一种图像传输方法的流程示意图二;在上述实施例的基础上,继续参考附图4所示,在利用目标编码模式对待传输图像进行编码处理之前,本实施例中的方法还可以包括:
S401:获取用于对待传输图像进行编码处理的初始编码模式。
S402:在初始编码模式与目标编码模式不同时,则将可移动平台的编码模式由初始编码模式调整为目标编码模式。
在利用目标编码模式对待传输图像进行编码处理之前,可以识别可移动平台上的用于对待传输图像进行编码处理的初始编码模式,该初始编码模式可以是预先配置的编码模式或者是历史记录的编码模式;在获取到初始编码模式之后,可以将初始编码模式与目标编码模式进行分析对比。若初始编码模式与目标编码模式相同时,则可以直接利用目标编码模式对待传输图像进行编码处理;若初始编码模式与目标编码模式不同,则可以将可移动平台的编码模式由初始编码模式调整为目标编码模式,以实现可以利用目标编码模式对待传输图像进行编码处理。
举例来说,可移动平台可以获取到用于对待传输图像进行编码处理的初始编码模式为H.264编码模式,在目标编码模式为H.265编码模式时,此时的初始编码模式与目标编码模式不同,则可以将可移动平台的编码模式由H.264编码模式调整为H.265编码模式,以实现可以利用H.265编码模式对待传输图像进行编码处理。或者,在目标编码模式为H.264编码模式时,此时的初始编码模式与目标编码模式相同,进而可以直接利用H.264编码模式对待传输图像进行编码处理。
在一些实例中,在获取用于对待传输图像进行编码处理的初始编码模式时,可以通过获取与可移动平台建立通信连接的终端设备的数量信息来确定初始编码模式;具体的,如图5所示,本实施例中的方法还可以包括:
S501:确定与可移动平台建立通信连接的终端设备的数量信息。
S502:基于数量信息确定用于对待传输图像进行编码处理的初始编码模式。
在可移动平台与终端设备之间建立通信连接之后,可移动平台可以统计与可移动平台建立通信连接的终端设备的数量信息,则可以根据终端设备的数量信息确定用于对待传输图像进行编码处理的初始编码模式,在一些实例中,基于数量信息确定用于对待传输图像进行编码处理的初始编码模式可以包括:
S5021:在数量信息为一个时,确定用于对待传输图像进行编码处理的初始编码模式为可移动平台记录的历史编码模式。
在一些实例中,在终端设备的数量为一个时,可以确定用于对待传输图像进行编码处理的初始编码模式为可移动平台记录的历史编码模式,其中,可移动平台记录的历史编码模式可以包括可移动平台在关机之前所使用的编码模式。举例来说,在可移动平台在上一次关机之前所记录的历史编码模式为H.264编码模式时,那么,在与可移动平台建立通信连接的终端设备为一个时,可以确定用于对待传输图像进行编码的初始编码模式为H.264编码模式;在可移动平台在上一次关机之前所记录的历史编码模式为H.265编码模式时,那么,在与可移动平台建立通信连接的终端设备为一个时,可以确定用于对待传输图像进行编码的初始编码模式为H.265编码模式。
在另一些实例中,可移动平台记录的历史编码模式可以包括可移动平台所记录的与终端设备相关联的编码模式。
举例来说,在可移动平台所记录的与终端设备相关联的编码模式为H.264编码模式时,那么,在与可移动平台建立通信连接的终端设备为一个时,可以确定用于对待传输图像进行编码的初始编码模式为H.264编码模式;在可移动平台所记录的与终端设备相关联的编码模式为H.265编码模式时,那么,在与可移动平台建立通信连接的终端设备为一个时,可以确定用于对待传输图像进行编码的初始编码模式为H.265编码模式。
在另一些实例中,基于数量信息确定用于对待传输图像进行编码处理的初始编码模式,包括:
S5022:在数量信息为多个时,确定用于对待传输图像进行编码处理的初始编码模式为H.265编码模式。
在可移动平台与终端设备之间建立通信连接之后,可移动平台可以统计与可移动平台建立通信连接的终端设备的数量信息,在终端设备的数量信息为多个时,可以根据所连接的终端设备的数量信息来确定用于对待传输图像进行编码处理的初始编码模式为H.265编码模式,此时,可以保证可移动平台对待传输图像进行编码的质量。可以理解的是,若多个终端设备中包括有不支持与H.265编码模式的终端设备时,可移动平台可以将编码模式由H.265编码模式调整至H.264编码模式,从而有效地保证了可移动平台与终端设备之间的图传能力相匹配,进一步保证了图像传输的质量和效率。
图6为本发明实施例提供的一种图像传输方法的流程示意图三;在上述实施例的基础上,继续参考附图6所示,本实施例中的方法还可以包括:
S601:检测目标解码模式是否发生更新;
S602:在目标解码模式发生更新时,则根据更新后的目标解码模式对目标编码模式进行更新。
为了能够保证图像传输的稳定可靠性,可移动平台可以检测与终端设备相对应的目标解码模式是否发生更新,具体的,在一些实例中,可移动平台可以按照预设的检测周期检测与终端设备相对应的目标解码模式是否发生更新。举例来说,预设的检测周期为15min、10mi n或者20mi n等等,而后可以按照上述的检测周期检测与终端设备相对应的目标解码模式是否发生更新。
或者,在另一些实例中,可移动平台可以根据终端设备的变化或者终端设备的数量变化检测与终端设备相对应的目标解码模式。举例来说,可移动平台与终端设备A通信连接,与终端设备A相对应的目标解码模式为H.264解码模式,在终端设备A进行升级更新/调整之后,与终端设备A相对应的目标解码模式可以由H.264解码模式调整至H.265解码模式,此时,可移动平台可以根据终端设备的变化来检测与终端设备相对应的目标解码模式是否发生更新。或者,初始状态时,与可移动平台进行通信连接的终端设备的数量为一个;经过一段时间之后,与可移动平台进行通信连接的终端设备的数量由一个变为多个,此时,可移动平台可以根据终端设备的数量变化来检测与终端设备相对应的目标解码模式是否发生更新。
在检测到目标解码模式发生更新时,则可以根据更新后的目标解码模式对目标编码模式进行更新,例如:在目标解码模式由H.264解码模式更新为H.265解码模式时,则可以根据更新后的H.265解码模式将目标编码模式H.264编码模式更新为H.265编码模式。相类似的,在目标解码模式由H.265解码模式更新为H.264解码模式时,则可以根据更新后的H.264解码模式将目标编码模式H.265编码模式更新为H.264编码模式。
本实施例中,在图像传输的过程中,通过检测目标解码模式是否发生更新,并且在目标解码模式发生更新时,则根据更新后的目标解码模式对目标编码模式进行更新,有效地实现了可移动平台与终端设备的图传能力相匹配,进而保证了图像传输的稳定可靠性。
图7为本发明实施例提供的一种图像传输方法的流程示意图五;在上述实施例的基础上,继续参考附图6所示,本实施例中的方法还可以包括:
S701:获取至少一个终端设备发送的目标编码指令。
S702:根据目标编码指令确定一用于对待传输图像进行编码处理的目标编码模式。
具体的,在可移动平台确定目标编码模式的过程中,可移动平台可以与至少一个终端设备进行通信连接,并获取到至少一个终端设备发送的目标编码指令,该目标编码指令中包括目标编码模式的标识信息,在可移动平台接收到目标编码指令之后,可以根据目标编码指令确定一用于对待传输图像进行编码处理的目标编码模式。
举例来说,在可移动平台连接有终端设备A时,终端设备A可以向可移动平台发送目标编码指令,该目标编码指令中可以包括目标编码模式为H.264编码模式的标识信息,此时,在可移动平台接收到目标编码指令之后,可以根据目标编码指令确定用于对待传输图像进行编码处理的目标编码模式为H264编码模式。
或者,在可移动平台连接有终端设备A和终端设备B时,终端设备A和终端设备B可以分别向可移动平台发送目标编码指令a和目标编码指令b,其中,目标编码指令a中包括目标编码模式为H.264编码模式的标识信息,目标编码指令b中包括目标编码模式为H.265编码模式的标识信息,此时,可移动平台接收到目标编码指令a和目标编码指令b之后,可以对目标编码指令a和目标编码指令b确定目标编码模式为H.264编码模式,也即目标编码模式为目标编码指令a和目标编码指令b中包括的具有最低编码能力的编码模式。
或者,在可移动平台连接有终端设备A和终端设备B时,终端设备A可以将目标编码指令a发送至终端设备B,终端设备B可以基于目标编码指令a中包括的编码模式与自身的编码模式确定一目标编码模式,并基于该目标编码模式生成一目标编码指令,而后,终端设备B可以向可移动平台发送统计了所有终端设备的编码模式之后的目标编码指令,此时,在可移动平台接收到目标编码指令之后,可以根据目标编码指令确定用于对待传输图像进行编码处理的目标编码模式。
本实施例中,通过获取至少一个终端设备发送的目标编码指令,而后根据目标编码指令确定一用于对待传输图像进行编码处理的目标编码模式,有效地实现了通过终端设备也可以确定或者调整可移动平台的目标编码模式,进而提高了对目标编码模式进行确定的灵活可靠性。
在一些实例中,在根据目标编码指令确定一用于对待传输图像进行编码处理的目标编码模式之后,本实施例中的方法还可以包括:
S703:检测目标编码模式与当前编码模式是否相同;
S704:在目标编码模式与当前编码模式不同时,则将可移动平台的编码模式由当前编码模式切换至目标编码模式。
具体的,在确定目标编码模式之后,可以先获取可移动平台上用于对待传输图像进行编码处理的当前编码模式,该当前编码模式可以是预设的编码模式或者是正在使用的编码模式;在获取到当前编码模式之后,可以将当前编码模式与目标编码模式进行分析对比,若当前编码模式与目标编码模式相同时,则可以直接利用目标编码模式对待传输图像进行编码处理;若当前编码模式与目标编码模式不同,则可以将可移动平台的编码模式由当前编码模式调整为目标编码模式,以实现可以利用目标编码模式对待传输图像进行编码处理。
举例来说,在根据目标编码指令确定一用于对待传输图像进行编码处理的目标编码模式为H.265编码模式时,若获取到可移动平台的当前编码模式为H.265编码模式,此时的当前编码模式与目标编码模式相同,进而可以直接利用H.265编码模式对待传输图像进行编码处理。或者,若获取到可移动平台的当前编码模式为H.264编码模式,此时的当前编码模式与目标编码模式不同,则可以将可移动平台的编码模式由H.264编码模式调整为H.265编码模式,以实现可以利用H.265编码模式对待传输图像进行编码处理。
本实施例中,通过检测目标编码模式与当前编码模式是否相同;在目标编码模式与当前编码模式不同时,则将可移动平台的编码模式由当前编码模式切换至目标编码模式,从而有效地保证了可移动平台与终端设备之间的图传能力相匹配,进一步保证了图像传输的稳定可靠性。
图8为本发明实施例提供的另一种图像传输方法的流程示意图;参考附图8所示,本实施例提供了一种图像传输方法,该方法可以应用于终端设备,具体的,该方法可以包括:
S801:获取待识别的图传码流数据。
S802:确定与图传码流数据相对应的目标编码模式。
S803:基于目标编码模式确定一与图传码流数据相对应的图像解码模式。
S804:在终端设备支持图像解码模式时,利用图像解码模式对图传码流数据进行解码处理,获得与图传码流数据相对应的图像信息。
在可移动平台向终端设备发送图传码流数据之后,终端设备可以获取到待识别的图传码流数据,而后可以对图传码流数据进行分析处理,并可以根据分析处理结果来确定与图传码流数据相对应的目标编码模式,此时的目标编码模式可以为H.264编码模式、H.265编码模式、AVC编码模式等编码模式中的任意一个。在获取到目标编码模式之后,可以基于目标编码模式确定一与图传码流数据相对应的图像解码模式。可以理解是,目标编码模式与图像解码模式相对应,例如:在目标编码模式为H.265编码模式时,则图像解码模式对应为H.265解码模式;在目标编码模式为H.264编码模式时,则图像解码模式对应为H.264解码模式。
在图像解码模式之后,终端设备可以检测是否可以支持该图像解码模式,在终端设备支持图像解码模式时,则可以利用图像解码模式对图传码流数据进行解码处理,从而获得与图传码流数据相对应的图像信息。在一些实施例中,本实施例中的方法还可以包括:
S805:在终端设备不支持图像解码模式时,丢弃图传码流数据,并向可移动平台发送反馈信息。
在终端设备不支持所确定的图像解码模式时,则可以丢弃该图传码流数据,并且还可以向移动平台发送反馈信息,该反馈信息用于标识终端设备对当前所接收到的图传码流数据无法进行正常解码操作,以使得可移动平台可以根据该反馈信息进行及时的对编码模式进行调整或者回应,从而能够保证图像传输的质量和效率。
本实施提供的图像传输方法,通过获取待识别的图传码流数据,确定与图传码流数据相对应的目标编码模式,而后基于目标编码模式确定一与图传码流数据相对应的图像解码模式;在终端设备支持图像解码模式时,利用图像解码模式对图传码流数据进行解码处理,获得与图传码流数据相对应的图像信息;从而实现了在终端设备与可移动平台之间的图传能力相匹配时,能够及时获取到所传输的图像信息,保证了图像传输的质量和效率;在终端设备不支持图像解码模式时,可以丢弃该图像码流数据,并向可移动平台发送反馈信息,实现了可以及时、有效地向可移动平台反馈信息,以使得可移动平台可以根据反馈信息对编码模式进行及时的调整或者回应,进一步提高该方法使用的稳定可靠性。
可以理解的是,编码模式可以包括H.264编码模式、H.265编码模式、AVC视频编码模式等等,为了便于理解下面实施例中的解码实现过程,以H.264编码模式和H.265编码模式为例进行说明。首先,对H.264编码模式和H.265编码模式的网络抽象层单元的语法结构进行说明:
对于不同的编码标准而言,其语法结构可以包括视频编码层(Video CodingLayer,简称VCL)和网络抽象层(Network Abstract Layer,简称NAL),其中,VCL用于标识有效视频数据的内容,NAL用于标识格式化数据并提供头信息,以保证数据合适各种信道和存储介质上的传输。网络抽象层单元是网络抽象层的基本语法结构,它包含一个字节的头信息和一系列来自视频编码层的原始数据字节流。
一、H.264编码模式下码流数据的网络抽象层单元的语法结构
网络抽象层单元类型信息存储在网络抽象层的头信息中,对于H.264编码模式而言,一共预留了32种类型,在网络抽象层的头信息中,用5b its表征网络抽象层单元类型信息,其中,已定义的网络抽象层单元类型信息一共有17种。比较常见的类型如下表所示:
表1:H.264码流中常用的NAL单元类型
NAL单元类型信息 | 类型名称 | 含义 |
7 | SPS | 序列参数集 |
8 | PPS | 图像参数集 |
5 | IDR | IDR图像的编码数据 |
1 | 非IDR | 非IDR图像编码数据 |
6 | SEI | 补充增强信息 |
9 | AUD | 帧分隔符 |
11 | EOS | 码流结束 |
具体的,如图9所示,在1Byte-8bits的NAL单元类型信息中包括以下信息:
第0位:禁止位0(forbidden_zero_bit,简写F),值为1时,表示语法出错;
第1-2位:参考级别(NAL ref idc,简称NRI);NRI表示NAL的优先级。0~3,取值越大,表示当前NAL越重要,需要优先受到保护。如果当前NAL是属于参考帧的片,或是序列参数集,或是图像参数集这些重要的单位时,本句法元素必需大于0。取值为"00"(二进制)时,表征NAL单元不参与重建参考图像,这时,NAL单元是可以丢弃的。大于"00"(二进制)时,NAL单元不能被丢弃。
第3-7位:为是NAL单元类型信息;常用的NAL单元类型信息如上述表1所示。
具体的,H.264编码模式中网络抽象层单元的头信息举例见下述表格:
表2:H.264码流中的网络抽象层单元的头信息
Byte位信息 | F位 | NRI位 | NAL单元类型信息 | |
0x67 | 01100111 | 0 | 11 | 00111=NALU_TYPE_SPS |
0x68 | 01101000 | 0 | 11 | 01000=NALU_TYPE_PPS |
0x65 | 01100101 | 0 | 11 | 00101=NALU_TYPE_IDR |
0x41 | 01000001 | 0 | 10 | 00001=NALU_TYPE_SLICE |
0x06 | 00000110 | 0 | 00 | 00110=NALU_TYPE_SEI |
0x61 | 01100001 | 0 | 11 | 00001=NALU_TYPE_SLICE |
由上述表2可知,通常情况下第0bit为0,NRI不为"00"(二进制),所以常见的图传码流中包含的NAL单元如表3所示:
表3:H.264图传码流中常用的NAL单元
二、H.265编码码流的网络抽象层单元的语法结构与H.264编码码流的网络抽象层单元的语法结构的区别
与H.264编码码流的NAL层相比,H.265编码码流的网络抽象层单元的头信息(NALUnit Hader,简称NUH)有两个字节构成,如图10所示,16bits的NUH中包括的信息如下:
第0位:禁止位0,值为1时表示语法出错;(所以“00 00 00 01”(16进制)后的第1个byte数值通常都是偶数);
第1-6位:为网络抽象层单元类型信息;
第7-12位:为NUH层的标识信息;
第13-15位:为时间域的标识信息。
常用的网络抽象层单元类型信息如下表4所示:
表4:H.265码流中常用的NAL单元类型
网络抽象层单元类型信息 | 类型 | 含义 |
32 | VPS | 视频参数集 |
33 | SPS | 序列参数集 |
34 | PPS | 图像参数集 |
19 | IDR | IDR图像的编码数据 |
20 | IDR | IDR图像的编码数据 |
1 | 非IDR | 非IDR图像编码数据 |
40 | Suffix SEI | 后置补充增强信息 |
35 | AUD | 帧分隔符 |
36 | EOS | 序列码流结束 |
37 | EOB | 码流结束 |
注:图传码流不会出现EOS和EOB
通常情况下第0bit为0,NUH层的标识信息为0,时间域的标识信息为1。(所以00 0000 01后的第2个byte通常是0x01)。H.265图传码流中常用的NAL单元如表5所示:
表5:H.265图传码流中常用的NAL单元
码流内容(16进制) | 类型 | 含义 | 位置 |
00 00 00 01 40 01 | VPS | 视频参数集 | I帧开始 |
00 00 00 01 42 01 | SPS | 序列参数集 | I帧头部(VPS后) |
00 00 00 01 44 01 | PPS | 图像参数集 | I帧头部(SPS后) |
00 00 00 01 26 01 | IDR_W_RADL | IDR图像的编码数据 | I帧数据(PPS后) |
00 00 00 01 28 01 | IDR_N_LP | IDR图像的编码数据 | I帧数据(PPS后) |
00 00 00 01 02 01 | TRAIL_R | 非IDR图像编码数据 | P帧数据 |
00 00 00 01 50 01 | SEI_SUFFIX | 后置补充增强信息 | 帧尾(I,P帧数据后) |
00 00 00 01 46 01 | AUD | 帧分隔符 | 帧尾(Suffix SEI后) |
由上述内容可知,不同编码模式的图传码流数据的帧头信息和帧尾信息可以不同,因此,可以通过图传码流数据的帧头信息和帧尾信息来识别图像编码模式。
图9为本发明实施例提供的确定与图传码流数据相对应的目标编码模式的流程示意图一;在上述实施例的基础上,继续参考附图9所示,本实施例提供了一种实现确定与图传码流数据相对应的目标编码模式的方式,具体的,确定与图传码流数据相对应的目标编码模式可以包括:
S901:获取图传码流数据的帧头信息。
S902:根据帧头信息确定与图传码流数据相对应的目标编码模式。
其中,不同编码模式的图传码流数据的帧头信息不同,因此,可以通过图传码流数据的帧头信息来确定与图传码流数据相对应的目标编码模式,具体的,上述的图传码流数据的帧头信息至少包括图传码流数据的前五个字节信息。
需要注意的是,图传码流数据的前五个字节信息中的前四个字节信息包括有数据有效标识信息,即标识该图传码流数据是有效数据还是无效数据,因此,在一些实施例中,在根据帧头信息确定与图传码流数据相对应的目标编码模式之前,本实施例中的方法还可以包括:
S900:根据帧头信息中包括的前四个字节信息确定图传码流数据是否为有效数据。
具体的,根据帧头信息中包括的前四个字节信息确定图传码流数据是否为有效数据可以包括:
S900a:在前四个字节信息为预设标准信息时,则确定图传码流数据为有效数据;或者,
S900b:在前四个字节信息不是预设标准信息时,则确定图传码流数据为无效数据。
其中,预设标准信息为预先设置的有效数据标识信息,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如,可以将预设标准信息设置为十六进制的“0000 00 01”等等,在获取到图传码流数据的帧头信息之后,可以对帧头信息中包括的前四个字节信息进行分析处理,在前四个字节信息为预设标准信息时,则可以确定图传码流数据为有效数据;在前四个字节信息不是预设标准信息时,则说明该图传码流数据出现错误,进而确定图传码流数据为无效数据。
当确定图传码流数据为无效数据之后,则可以丢弃该图传码流数据,并停止确定与图传码流数据相对应的目标编码模式。当确定图传码流数据为有效数据之后,则可以继续确定与该图传码流数据相对应的目标编码模式。
在一些实施例中,目标编码模式可以包括H.264编码模式和H.265编码模式;此时,根据帧头信息确定与图传码流数据相对应的目标编码模式可以包括:
S9021:在帧头信息中的第五个字节信息为奇数时,则确定与图传码流数据相对应的目标编码模式为H.264编码模式;或者,
S9022:在帧头信息中的第五个字节信息为偶数、且第五个字节信息的数值为第一预设数值时,则确定与图传码流数据相对应的目标编码模式为H.264编码模式;或者,
S9023:在帧头信息中的第五个字节信息为偶数、且第五个字节信息的数值不为第一预设阈值时,则确定与图传码流数据相对应的目标编码模式为H.265编码模式。
在图像传输过程中,编码码流一般是IPPP结构,不会出现更复杂的使用的网络抽象层单元类型信息,一般情况下,前6字节只可能是H.264编码模式的SEI/SPS/I帧/P帧的NAL头,或者H.265编码模式的SEI/VPS/I帧/P帧的NAL头。因此,可以通过检测图传码流数据中帧头信息的前6个字节信息确认目标编码模式是H.264编码模式还是H.265编码模式。
具体的,如图12所示,在获取到一帧图传码流数据之后,可以先获取帧头信息中包括的前四个字节信息,在前四个字节信息与预设标准信息OX 00 00 00 01不同时,则说明该帧图传码流数据为无效数据,进而可以丢弃当前帧图传码流数据,获取下一帧图传码流数据。在前四个字节信息与预设标准信息OX 00 00 00 01相同时,则可以识别帧头信息中的第五个字节信息是否为奇数或者OX06,在第五个字节信息为奇数或者OX06时,则可以确定该图传码流数据相对应的目标编码模式为H.264编码模式。在第五个字节信息不是奇数或者OX06时,则可以确定该图传码流数据相对应的目标编码模式为H.265编码模式。
本实施例中,通过获取图传码流数据的帧头信息,并根据帧头信息确定与图传码流数据相对应的目标编码模式,实现方式简单、可靠,有效地保证了对目标编码模式进行确定的准确可靠性。
图13为本发明实施例提供的确定与图传码流数据相对应的目标编码模式的流程示意图三;在上述实施例的基础上,继续参考附图13所示,本实施例提供了另一种实现确定与图传码流数据相对应的目标编码模式的方式,具体的,确定与图传码流数据相对应的目标编码模式可以包括:
S1301:获取图传码流数据的帧尾信息。
S1302:根据帧尾信息确定与图传码流数据相对应的目标编码模式。
其中,不同编码模式的图传码流数据的帧尾信息不同,因此,可以通过图传码流数据的帧尾信息来确定与图传码流数据相对应的目标编码模式,具体的,上述的图传码流数据的帧尾信息至少包括图传码流数据的末尾六个字节信息。
需要注意的是,在获取图传码流数据的帧尾信息之前,本实施例中的方法可以还包括:
S1300a:获取图传码流数据的前四个字节信息。
S1300b:在前四个字节信息为预设标准信息时,则确定图传码流数据为有效数据。或者,
S1300c:在前四个字节信息不是预设标准信息时,则确定图传码流数据为无效数据。
其中,预设标准信息为预先设置的有效数据标识信息,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如,可以将预设标准信息设置为十六进制的“0000 00 01”等等,在获取到图传码流数据的帧头信息中包括的前四个字节信息之后,可以对帧头信息中包括的前四个字节信息进行分析处理,在前四个字节信息为预设标准信息时,则可以确定图传码流数据为有效数据;在前四个字节信息不是预设标准信息时,则说明该图传码流数据出现错误,进而确定图传码流数据为无效数据。
当确定图传码流数据为无效数据之后,则可以丢弃该图传码流数据,并停止确定与图传码流数据相对应的目标编码模式。当确定图传码流数据为有效数据之后,则可以继续确定与该图传码流数据相对应的目标编码模式。
在一些实例中,图像编码模式包括H.264编码模式和H.265编码模式,此时,根据帧尾信息确定与图传码流数据相对应的目标编码模式可以包括:
S13021:在帧尾信息中末尾六个字节信息中的前五个字节信息的数值为第二预设数值时,则确定与图传码流数据相对应的目标编码模式为H.264编码模式。或者,
S13022:在帧尾信息中末尾六个字节信息的数值为第三预设数值时,则确定与图传码流数据相对应的目标编码模式为H.265编码模式。
具体的,如图14所示,在获取到一帧图传码流数据之后,可以先获取帧头信息中包括的前四个字节信息,在前四个字节信息与预设标准信息OX 00 00 0001不同时,则说明该帧图传码流数据为无效数据,进而可以丢弃当前帧图传码流数据,获取下一帧图传码流数据。
在前四个字节信息与预设标准信息OX 00 00 00 01相同时,则可以识别图传码流数据的末尾六个字节信息(SEI字段),在末尾六个字节信息为十六进制的00 00 00 0109xx时,其中,xx表示任意数值,也即第二预设数值为十六进制的00 00 00 01 09,此时,末尾六个字节信息中的前五个字节信息的数值与第二预设数值相同,进而可以确定该图传码流数据相对应的目标编码模式为H.264编码模式。在末尾六个字节信息中的前五个字节信息的数值与第二预设数值不同时,则可以识别末尾六个字节信息的数值是否为十六进制的00 00 00 01 46 01,即第三预设数值为十六进制的00 00 00 01 46 01,若末尾六个字节信息的数值与第三预设数值相同,则可以确定图传码流数据相对应的目标编码模式为H.265编码模式;若末尾六个字节信息的数值与第三预设数值不同,则可以确定图传码流数据为错误码流数据,进而可以丢弃当前图传码流数据。
本实施例中,通过获取图传码流数据的帧尾信息,并根据帧尾信息确定与图传码流数据相对应的目标编码模式,实现方式简单、可靠,有效地保证了对目标编码模式进行确定的准确可靠性。
可以理解的时,确定与图传码流数据相对应的目标编码模式的具体实现方式并不限于上述举例说明,本领域技术人员还可以采用其他的方式来识别目标编码模式,只要能够保证目标编码模式实现的准确可靠性即可,在此不再赘述。
图15为本发明实施例提供的另一种图像传输方法的流程示意图二;在上述任意一个实施例的基础上,继续参考附图15所示,在确定与图传码流数据相对应的目标编码模式之后,本实施例中的方法还可以包括:
S1501:检测目标编码模式是否发生更新。
S1502:在目标编码模式发生更新之后,则基于更新后的目标编码模式对图像解码模式进行更新。
在可移动平台利用目标编码模式对待传输图像进行编码处理时,由于与可移动平台建立通信连接的终端设备的数量的变化,可移动平台上用于对待传输图像进行编码处理的目标编码模式可以发生更新,此时,为了保证图像传输的质量和效率,可以检测目标编码模式是否发生更新,在目标编码模式发生更新之后,可以基于更新后的目标编码模式对图像解码模式进行更新。
举例来说,在可移动平台上用于对待传输图像进行编码处理的初始目标编码模式为H.264编码模式时,所确定的与当前初始目标编码模式相对应的图像解码模式为H.264解码模式。获取可移动平台上用于对待传输图像进行编码处理的当前目标编码模式为H.265编码模式,则说明目标编码模式已经发生更新,则可以根据更新后的当前目标编码模式H.265编码模式对图像解码模式由H.264解码模式更新为H.265解码模式。
相类似的,在可移动平台上用于对待传输图像进行编码处理的初始目标编码模式为H.265编码模式时,所确定的与当前初始目标编码模式相对应的图像解码模式为H.265解码模式。获取可移动平台上用于对待传输图像进行编码处理的当前目标编码模式为H.264编码模式,则说明目标编码模式已经发生更新,则可以根据更新后的当前目标编码模式H.264编码模式对图像解码模式由H.265解码模式更新为H.264解码模式。
在一些实例中,在基于更新后的目标编码模式对图像解码模式进行更新之后,本实施例中的方法还可以包括:
S1601:在终端设备不支持更新后的图像解码模式时,丢弃图传码流数据,并向可移动平台发送反馈信息;或者,
S1602:在终端设备支持更新后的图像解码模式时,利用更新后的图像解码模式对图传码流数据进行解码处理。
具体的,在对图像解码模式进行更新之后,可以识别终端设备是否支持该图像解码模式,若终端设备不支持更新后的图像解码模式,则说明该终端设备无法利用更新后的图像解码模式对图传码流数据进行解码处理,从而可以丢弃图传码流数据,并向可移动平台发送反馈信息;在终端设备知识更新后的图像解码模式时,则可以直接利用更新后的图像解码模式对图传码流数据进行解码处理,从而可以获得可移动平台传输的图像信息。
本实施例中,通过检测目标编码模式是否发生更新,在目标编码模式发生更新之后,则基于更新后的目标编码模式对图像解码模式进行更新,有效地实现了终端设备与可移动平台之间的图传能力相匹配,并且,在终端设备无法支持更新后的图像解码模式时,可以向可移动平台发送反馈信息,进而保证了图像传输的质量和效率。
图16为本发明实施例提供的一种可移动平台的结构示意图;参考附图16所示,本实施例提供了一种可移动平台,该可移动平台可以指代能够移动的任何设备,具体可以包括但不限于陆地交通工具、水中交通工具、空中交通工具以及其他类型的机动载运工具。出于说明性目的,可移动平台可以包括无人机、无人船和/或无人船等等。另外,该可移动平台可以执行上述图3所对应的图像传输方法,具体的,该可移动平台可以包括:
第一存储器1602,用于存储计算机程序;
第一处理器1601,用于运行第一存储器1602中存储的计算机程序以实现:
获取至少一个终端设备的至少一个图像解码模式;
在多个预设编码模式中,根据至少一个图像解码模式确定一目标编码模式;
利用目标编码模式对待传输图像进行编码处理,获得与待传输图像相对应的图传码流数据;
将图传码流数据发送至至少一个终端设备。
其中,可移动平台的结构中还可以包括第一通信接口1603,用于电子设备与其他设备或通信网络通信。
在一些实例中,在第一处理器1601获取至少一个终端设备的至少一个图像解码模式时,第一处理器1601,用于:在可移动平台与终端设备之间建立通信连接之后,获取至少一个终端设备发送的至少一个图像解码模式。
在一些实例中,第一处理器1601,还用于:确定与可移动平台建立通信连接的终端设备的数量信息;基于数量信息确定用于对待传输图像进行编码处理的初始编码模式。
在一些实例中,在第一处理器1601基于数量信息确定用于对待传输图像进行编码处理的初始编码模式时,第一处理器1601,用于:在数量信息为一个时,确定用于对待传输图像进行编码处理的初始编码模式为可移动平台记录的历史编码模式。
在一些实例中,可移动平台记录的历史编码模式包括可移动平台在关机之前所使用的编码模式。
在一些实例中,可移动平台记录的历史编码模式包括可移动平台所记录的与终端设备相关联的编码模式。
在一些实例中,在第一处理器1601基于数量信息确定用于对待传输图像进行编码处理的初始编码模式时,第一处理器1601,用于:在数量信息为多个时,确定用于对待传输图像进行编码处理的初始编码模式为H.265编码模式。
在一些实例中,目标编码模式与至少一个图像解码模式中具有最高解码能力的图像解码模式相对应。
在一些实例中,至少一个终端设备的个数为一个,在第一处理器1601根据至少一个图像解码模式确定一目标编码模式时,第一处理器1601,还用于:在至少一个图像解码模式中,确定与终端设备相对应的具有最高解码能力的目标解码模式;根据目标解码模式确定一用于对图像进行编码处理的目标编码模式。
在一些实例中,目标编码模式与至少一个图像解码模式中具有最低解码能力的图像解码模式相对应。
在一些实例中,至少一个终端设备的个数为多个,在第一处理器1601根据至少一个图像解码模式确定一目标编码模式时,第一处理器1601,还用于:在至少一个图像解码模式中,确定与至少一个终端设备相对应的具有最低解码能力的目标解码模式;根据目标解码模式确定一用于对图像进行编码处理的目标编码模式。
在一些实例中,第一处理器1601,还用于:检测目标解码模式是否发生更新;在目标解码模式发生更新时,则根据更新后的目标解码模式对目标编码模式进行更新。
在一些实例中,在利用目标编码模式对待传输图像进行编码处理之前,第一处理器1601,还用于:获取用于对待传输图像进行编码处理的初始编码模式;在初始编码模式与目标编码模式不同时,则将可移动平台的编码模式由初始编码模式调整为目标编码模式。
在一些实例中,第一处理器1601,还用于:获取至少一个终端设备发送的目标编码指令;根据目标编码指令确定一用于对待传输图像进行编码处理的目标编码模式。
在一些实例中,在根据目标编码指令确定一用于对待传输图像进行编码处理的目标编码模式之后,第一处理器1601,还用于:检测目标编码模式与当前编码模式是否相同;在目标编码模式与当前编码模式不同时,则将可移动平台的编码模式由当前编码模式切换至目标编码模式。
在一些实例中,可移动平台上设置有图像采集设备,图像采集设备与第一处理器1601通信连接,此时,第一处理器1601,还用于:获取图像采集设备采集的待传输图像。
在一些实例中,在第一处理器1601将图传码流数据发送至至少一个终端设备时,第一处理器1601,用于:获取与图传码流数据相对应的图像帧数据;在图像帧数据中插入预设的帧分割字符,将插入帧分割字符后的图传码流数据按帧发送至至少一个终端设备。
在一些实例中,在第一处理器1601在图像帧数据中插入预设的帧分割字符时,第一处理器1601,用于:在图像帧数据中的帧头位置和/或帧尾位置插入预设的帧分割字符。
图16所示的可移动平台可以执行图3-图7所示实施例的方法,本实施例未详细描述的部分,可参考对图3-图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3-图7所示实施例中的描述,在此不再赘述。
另外,本发明实施例提供了一种计算机可读存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图3-图7所示方法实施例中的图像传输方法所涉及的程序。
图17为本发明实施例提供的一种终端设备的结构示意图;参考附图17所示,本实施例提供了一种终端设备,该终端设备可以执行上述图8所对应的图像传输方法,具体的,该终端设备可以包括:
第二存储器1702,用于存储计算机程序;
第二处理器1701,用于运行第二存储器1702中存储的计算机程序以实现:
获取待识别的图传码流数据;
确定与图传码流数据相对应的目标编码模式;
基于目标编码模式确定一与图传码流数据相对应的图像解码模式;
在终端设备支持图像解码模式时,利用图像解码模式对图传码流数据进行解码处理,获得与图传码流数据相对应的图像信息。
其中,终端设备的结构中还可以包括第二通信接口1703,用于电子设备与其他设备或通信网络通信。
在一些实例中,在第二处理器1701确定与图传码流数据相对应的目标编码模式时,第二处理器1701,用于:获取图传码流数据的帧头信息;根据帧头信息确定与图传码流数据相对应的目标编码模式。
在一些实例中,图传码流数据的帧头信息至少包括图传码流数据的前五个字节信息。
在一些实例中,在根据帧头信息确定与图传码流数据相对应的目标编码模式之前,第二处理器1701,用于:根据帧头信息中包括的前四个字节信息确定图传码流数据是否为有效数据。
在一些实例中,在第二处理器1701根据帧头信息中包括的前四个字节信息确定图传码流数据是否为有效数据时,第二处理器1701,用于:在前四个字节信息为预设标准信息时,则确定图传码流数据为有效数据;或者,在前四个字节信息不是预设标准信息时,则确定图传码流数据为无效数据。
在一些实例中,目标编码模式包括H.264编码模式和H.265编码模式;在第二处理器1701根据帧头信息确定与图传码流数据相对应的目标编码模式时,第二处理器1701,用于:在帧头信息中的第五个字节信息为奇数时,则确定与图传码流数据相对应的目标编码模式为H.264编码模式;或者,在帧头信息中的第五个字节信息为偶数、且第五个字节信息的数值为第一预设数值时,则确定与图传码流数据相对应的目标编码模式为H.264编码模式;或者,在帧头信息中的第五个字节信息为偶数、且第五个字节信息的数值不为第一预设阈值时,则确定与图传码流数据相对应的目标编码模式为H.265编码模式。
在一些实例中,在第二处理器1701确定与图传码流数据相对应的目标编码模式时,第二处理器1701,用于:获取图传码流数据的帧尾信息;根据帧尾信息确定与图传码流数据相对应的目标编码模式。
在一些实例中,在获取图传码流数据的帧尾信息之前,第二处理器1701,还用于:获取图传码流数据的前四个字节信息;在前四个字节信息为预设标准信息时,则确定图传码流数据为有效数据;或者,在前四个字节信息不是预设标准信息时,则确定图传码流数据为无效数据。
在一些实例中,图传码流数据的帧尾信息至少包括图传码流数据的末尾六个字节信息。
在一些实例中,图像编码模式包括H.264编码模式和H.265编码模式;在第二处理器1701根据帧尾信息确定与图传码流数据相对应的目标编码模式时,第二处理器1701,还用于:在帧尾信息中末尾六个字节信息中的前五个字节信息的数值为第二预设数值时,则确定与图传码流数据相对应的目标编码模式为H.264编码模式;或者,在帧尾信息中末尾六个字节信息的数值为第三预设数值时,则确定与图传码流数据相对应的目标编码模式为H.265编码模式。
在一些实例中,第二处理器1701,还用于:在终端设备不支持图像解码模式时,丢弃图传码流数据,并向可移动平台发送反馈信息。
在一些实例中,在确定与图传码流数据相对应的目标编码模式之后,第二处理器1701,还用于:检测目标编码模式是否发生更新;在目标编码模式发生更新之后,则基于更新后的目标编码模式对图像解码模式进行更新。
在一些实例中,在基于更新后的目标编码模式对图像解码模式进行更新之后,第二处理器1701,还用于:在终端设备不支持更新后的图像解码模式时,丢弃图传码流数据,并向可移动平台发送反馈信息;或者,在终端设备支持更新后的图像解码模式时,利用更新后的图像解码模式对图传码流数据进行解码处理。
图17所示的终端设备可以执行图8-图15所示实施例的方法,本实施例未详细描述的部分,可参考对图8-图15所示实施例的相关说明。该技术方案的执行过程和技术效果参见图8-图15所示实施例中的描述,在此不再赘述。
另外,本发明实施例提供了一种计算机可读存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图8-图15所示方法实施例中的图像传输方法所涉及的程序。
图18为本发明实施例提供的一种图像传输系统的结构示意图;参考附图18所示,本实施例提供了一种图像传输系统,包括:
可移动平台1801,该可移动平台1801的结构与上述图16中的可移动平台相同;
终端设备1802,终端设备1802与可移动平台1801通信连接,并且,终端设备1802的结构与上述图17中的终端设备相同。
下面以无人机作为可移动平台为例进行说明,一种应用场景如图19所示,图像传输系统包括无人机1901以及一与无人机1901通信连接的终端设备1902。
此时,在无人机1901开机后,可以默认初始编码模式为上次关机之前所记录的历史编码模式,历史编码模式可以为H.264编码模式或者H.265编码模式。
具体的,终端设备1902可以通过应用程序APP与无人机1901通信连接,在检测到无人机1901接入终端设备1902(例如:遥控器或者用户端等等)后,终端设备1902可以周期地向无人机1901发送该终端设备1902的至少一个图像解码模式。在无人机1901接收到至少一个图像解码模式之后,无人机1901可以向终端设备1902发送反馈信息,以使终端设备1902可以根据反馈信息停止向无人机1901发送该终端设备1902的至少一个图像解码模式。或者,在终端设备1902接收到无人机1901发送的图传码流数据,且终端设备1902的解码能力与图传码流数据相匹配时,终端设备1902也可以停止向无人机1901发送该终端设备1902的至少一个图像解码模式。
在无人机1901接收到至少一个图像解码模式之后,无人机1901可以根据至少一个图像解码模式中的具有最高解码能力的图像解码模式确定当前的编码模式是否要进行切换。举例来说,在无人机1901的初始编码模式为H.264编码模式时,若终端设备1902上传的至少一个图像解码模式包括H.264解码模式和H.265解码模式,此时,具有最高解码能力的图像解码模式为H.265解码模式,而H.265解码模式对应于为H.265编码模式,因此,可以将无人机1901的编码模式由H.264编码模式切换为H.265编码模式。若终端设备1902上传的至少一个图像解码模式包括H.264解码模式,此时,具有最高解码能力的图像解码模式为H.264解码模式,而H.264解码模式对应于为H.264编码模式,因此,可以将无人机1901的编码模式可以保持不变。
此外,还存在另一种应用场景,如图20所示,图像传输系统包括无人机1901以及一与无人机1901通信连接的多个终端设备,下面以多个终端设备包括终端设备1902a、终端设备1902b和终端设备1902c为例进行说明:
在该应用场景下,为了避免编码模式的频繁进行切换,在无人机开机后,默认初始编码模式为H.265编码模式,并且,在一次开机的过程中,只可能进行一次由H.265编码模式到H.264编码模式的降级切换操作,而不进行编码模式的升级切换。
具体的,终端设备1902可以通过应用程序APP与无人机1901通信连接,在检测到无人机1901接入终端设备1902a(例如:遥控器或者用户端等等)、终端设备1902b和终端设备1902c之后,终端设备1902a、终端设备1902b和终端设备1902c可以分别向无人机1901发送终端设备各自对应的至少一个图像解码模式,在无人机1901接收到至少一个图像解码模式之后,无人机1901可以根据至少一个图像解码模式中的具有最低解码能力的图像解码模式确定当前的编码模式是否要进行切换。举例来说,在无人机1901的初始编码模式为H.265编码模式时,若终端设备1902a上传的至少一个图像解码模式包括H.264解码模式和H.265解码模式,终端设备1902b上传的至少一个图像解码模式包括H.264解码模式,终端设备1902c上传的至少一个图像解码模式包括H.265解码模式,此时,具有最低解码能力的图像解码模式为H.264解码模式,而H.264解码模式对应于为H.264编码模式,因此,可以将无人机1901的编码模式由H.265编码模式切换为H.264编码模式。
若终端设备1902a、终端设备1902b和终端设备1902c上传的至少一个图像解码模式均包括H.265解码模式,此时,具有最低解码能力的图像解码模式为H.265解码模式,而H.265解码模式对应于为H.265编码模式,因此,可以将无人机1901的编码模式可以保持不变。
需要注意的是,在存在终端设备不支持H.265编码模式时,该中高端设备可以向无人机1901发送反馈信息,以使得无人机1901获知到该终端设备不支持当前的编码模式,并确认是否进行切换。
具体的,对应上述两个任意的应用场景而言,无人机1901在切换H.264编码模式/H.265编码模式之前,不需要向所有的终端设备1902进行同步,只需要直接改变编码模式,而后终端设备1902可以根据所接收到的图传码流数据进行分析判断。
具体的,终端设备1902获取到图传码流数据之后,可以进行如下操作:
1)按照上述实施例中的方式来判断当前图传码流数据是H.264编码模式的数据包还是H.265编码模式的数据包;
2)如果接收到H.265编码模式的码流数据,则可以通过预设的API函数校验当前终端设备1902是否支持相对应的H.265解码模式,如果当前终端设备1902的自身解码能力与H.265解码模式不匹配,终端设备1902可以主动周期性发向无人机1901发送信息,以上报该终端设备1902的解码能力,通知无人机1901将当前的编码模式由H.265编码模式调整为H.264编码模式,同时,丢弃当前的图传码流数据,直到该终端设备1902接收到符合自身解码能力的H.264编码模式的数据包之后,可以停止上报消息。并可以利用H.264解码模式对图传码流数据进行解码处理。
3)如果解码过程中,检测到码流数据包的格式发生了切换,例如:
a、如果码流数据包的格式由H.264切换到了H.265,此时,则检测终端设备1902是否支持切换后的解码模式,如果支持所对应的解码模式,则关闭当前的H.264解码进程,重新配置解码器,启动H.265的解码进程,在解码进程切换之后,必要时,可以重新请求I帧数据进行同步。
b、如果码流数据包的格式从H.265切换到了H.264,则关闭当前H.265解码进程,重新配置解码器,启动H.264解码,在解码进程切换之后,必要时,可以重新请求I帧数据进行同步。
本实施例提供的图像传输系统,包括可移动平台和终端设备,具体的,当用户使用的终端设备支持H.265解码模式时,无人机图传可以自动使用H.265编码模式进行图传,因为H.265编码模式的视频压缩比H.264编码模式的压缩效率更高,在同等信道带宽下,图传的画质更好,能够满足更高图传分辨率,帧率的图传需求;也能在同等图传规格的情况下提高图传画质;而在用户使用的终端设备不支持H.265解码模式时,无人机图传可以自动使用H.264编码模式进行图传,从而保证了图像传输的质量和效率,进一步提高了该图像传输系统使用的稳定可靠性。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的相关遥控装置和方法,可以通过其它的方式实现。例如,以上所描述的遥控装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,遥控装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (65)
1.一种图像传输方法,其特征在于,应用于可移动平台,所述方法包括:
获取至少一个终端设备的至少一个图像解码模式;
在多个预设编码模式中,根据至少一个所述图像解码模式确定一目标编码模式;
利用所述目标编码模式对待传输图像进行编码处理,获得与所述待传输图像相对应的图传码流数据;
将所述图传码流数据发送至至少一个所述终端设备。
2.根据权利要求1所述的方法,其特征在于,所述获取至少一个终端设备的至少一个图像解码模式,包括:
在所述可移动平台与所述终端设备之间建立通信连接之后,获取至少一个所述终端设备发送的至少一个图像解码模式。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定与所述可移动平台建立通信连接的所述终端设备的数量信息;
基于所述数量信息确定用于对所述待传输图像进行编码处理的初始编码模式。
4.根据权利要求3所述的方法,其特征在于,基于所述数量信息确定用于对所述待传输图像进行编码处理的初始编码模式,包括:
在所述数量信息为一个时,确定用于对所述待传输图像进行编码处理的初始编码模式为所述可移动平台记录的历史编码模式。
5.根据权利要求4所述的方法,其特征在于,所述可移动平台记录的历史编码模式包括所述可移动平台在关机之前所使用的编码模式。
6.根据权利要求4所述的方法,其特征在于,所述可移动平台记录的历史编码模式包括所述可移动平台所记录的与所述终端设备相关联的编码模式。
7.根据权利要求3所述的方法,其特征在于,基于所述数量信息确定用于对所述待传输图像进行编码处理的初始编码模式,包括:
在所述数量信息为多个时,确定用于对所述待传输图像进行编码处理的初始编码模式为H.265编码模式。
8.根据权利要求1所述的方法,其特征在于,
所述目标编码模式与至少一个所述图像解码模式中具有最高解码能力的图像解码模式相对应。
9.根据权利要求8所述的方法,其特征在于,在至少一个所述终端设备的个数为一个时,所述根据至少一个所述图像解码模式确定一目标编码模式,包括:
在至少一个所述图像解码模式中,确定与所述终端设备相对应的具有最高解码能力的目标解码模式;
根据所述目标解码模式确定一用于对图像进行编码处理的目标编码模式。
10.根据权利要求1所述的方法,其特征在于,
所述目标编码模式与至少一个所述图像解码模式中具有最低解码能力的图像解码模式相对应。
11.根据权利要求10所述的方法,其特征在于,在至少一个所述终端设备的个数为多个时,所述根据至少一个所述图像解码模式确定一目标编码模式,包括:
在至少一个所述图像解码模式中,确定与至少一个所述终端设备相对应的具有最低解码能力的目标解码模式;
根据所述目标解码模式确定一用于对图像进行编码处理的目标编码模式。
12.根据权利要求9或11所述的方法,其特征在于,所述方法还包括:
检测所述目标解码模式是否发生更新;
在所述目标解码模式发生更新时,则根据更新后的所述目标解码模式对所述目标编码模式进行更新。
13.根据权利要求1-11中任意一项所述的方法,其特征在于,在利用所述目标编码模式对待传输图像进行编码处理之前,所述方法还包括:
获取用于对待传输图像进行编码处理的初始编码模式;
在所述初始编码模式与所述目标编码模式不同时,则将所述可移动平台的编码模式由所述初始编码模式调整为所述目标编码模式。
14.根据权利要求1-11中任意一项所述的方法,其特征在于,所述方法还包括:
获取至少一个所述终端设备发送的目标编码指令;
根据所述目标编码指令确定一用于对所述待传输图像进行编码处理的目标编码模式。
15.根据权利要求14所述的方法,其特征在于,在根据所述目标编码指令确定一用于对所述待传输图像进行编码处理的目标编码模式之后,所述方法还包括:
检测所述目标编码模式与当前编码模式是否相同;
在所述目标编码模式与当前编码模式不同时,则将所述可移动平台的编码模式由所述当前编码模式切换至所述目标编码模式。
16.根据权利要求1-11中任意一项所述的方法,其特征在于,所述可移动平台上设置有图像采集设备,所述方法还包括:
获取所述图像采集设备采集的待传输图像。
17.根据权利要求1-11中任意一项所述的方法,其特征在于,所述将所述图传码流数据发送至至少一个所述终端设备,包括:
获取与所述图传码流数据相对应的图像帧数据;
在所述图像帧数据中插入预设的帧分割字符,将插入所述帧分割字符后的所述图传码流数据按帧发送至至少一个所述终端设备。
18.根据权利要求17所述的方法,其特征在于,所述在所述图像帧数据中插入预设的帧分割字符,包括:
在所述图像帧数据中的帧头位置和/或帧尾位置插入预设的帧分割字符。
19.一种图像传输方法,其特征在于,应用于终端设备,所述方法包括:
获取待识别的图传码流数据;
确定与所述图传码流数据相对应的目标编码模式;
基于所述目标编码模式确定一与所述图传码流数据相对应的图像解码模式;
在所述终端设备支持所述图像解码模式时,利用所述图像解码模式对所述图传码流数据进行解码处理,获得与所述图传码流数据相对应的图像信息。
20.根据权利要求19所述的方法,其特征在于,所述确定与所述图传码流数据相对应的目标编码模式,包括:
获取所述图传码流数据的帧头信息;
根据所述帧头信息确定与所述图传码流数据相对应的目标编码模式。
21.根据权利要求20所述的方法,其特征在于,所述图传码流数据的帧头信息至少包括所述图传码流数据的前五个字节信息。
22.根据权利要求21所述的方法,其特征在于,在根据所述帧头信息确定与所述图传码流数据相对应的目标编码模式之前,所述方法还包括:
根据所述帧头信息中包括的前四个字节信息确定所述图传码流数据是否为有效数据。
23.根据权利要求22所述的方法,其特征在于,根据所述帧头信息中包括的前四个字节信息确定所述图传码流数据是否为有效数据,包括:
在前四个所述字节信息为预设标准信息时,则确定所述图传码流数据为有效数据;或者,
在前四个所述字节信息不是预设标准信息时,则确定所述图传码流数据为无效数据。
24.根据权利要求21所述的方法,其特征在于,所述目标编码模式包括H.264编码模式和H.265编码模式;根据所述帧头信息确定与所述图传码流数据相对应的目标编码模式,包括:
在所述帧头信息中的第五个字节信息为奇数时,则确定与所述图传码流数据相对应的目标编码模式为H.264编码模式;或者,
在所述帧头信息中的第五个字节信息为偶数、且第五个字节信息的数值为第一预设数值时,则确定与所述图传码流数据相对应的目标编码模式为H.264编码模式;或者,
在所述帧头信息中的第五个字节信息为偶数、且第五个字节信息的数值不为第一预设阈值时,则确定与所述图传码流数据相对应的目标编码模式为H.265编码模式。
25.根据权利要求19所述的方法,其特征在于,所述确定与所述图传码流数据相对应的目标编码模式,包括:
获取所述图传码流数据的帧尾信息;
根据所述帧尾信息确定与所述图传码流数据相对应的目标编码模式。
26.根据权利要求25所述的方法,其特征在于,在获取所述图传码流数据的帧尾信息之前,所述方法还包括:
获取所述图传码流数据的前四个字节信息;
在前四个所述字节信息为预设标准信息时,则确定所述图传码流数据为有效数据;或者,
在前四个所述字节信息不是预设标准信息时,则确定所述图传码流数据为无效数据。
27.根据权利要求25所述的方法,其特征在于,所述图传码流数据的帧尾信息至少包括所述图传码流数据的末尾六个字节信息。
28.根据权利要求27所述的方法,其特征在于,所述图像编码模式包括H.264编码模式和H.265编码模式;根据所述帧尾信息确定与所述图传码流数据相对应的目标编码模式,包括:
在所述帧尾信息中末尾六个字节信息中的前五个字节信息的数值为第二预设数值时,则确定与所述图传码流数据相对应的目标编码模式为H.264编码模式;或者,
在所述帧尾信息中末尾六个字节信息的数值为第三预设数值时,则确定与所述图传码流数据相对应的目标编码模式为H.265编码模式。
29.根据权利要求19-28中任意一项所述的方法,其特征在于,所述方法还包括:
在所述终端设备不支持所述图像解码模式时,丢弃所述图传码流数据,并向可移动平台发送反馈信息。
30.根据权利要求19-28中任意一项所述的方法,其特征在于,在确定与所述图传码流数据相对应的目标编码模式之后,所述方法还包括:
检测所述目标编码模式是否发生更新;
在所述目标编码模式发生更新之后,则基于更新后的所述目标编码模式对所述图像解码模式进行更新。
31.根据权利要求30所述的方法,其特征在于,在基于更新后的所述目标编码模式对所述图像解码模式进行更新之后,所述方法还包括:
在所述终端设备不支持更新后的所述图像解码模式时,丢弃所述图传码流数据,并向可移动平台发送反馈信息;或者,
在所述终端设备支持更新后的所述图像解码模式时,利用更新后的所述图像解码模式对所述图传码流数据进行解码处理。
32.一种可移动平台,其特征在于,包括:
第一存储器,用于存储计算机程序;
第一处理器,用于运行所述第一存储器中存储的计算机程序以实现:
获取至少一个终端设备的至少一个图像解码模式;
在多个预设编码模式中,根据至少一个所述图像解码模式确定一目标编码模式;
利用所述目标编码模式对待传输图像进行编码处理,获得与所述待传输图像相对应的图传码流数据;
将所述图传码流数据发送至至少一个所述终端设备。
33.根据权利要求32所述的可移动平台,其特征在于,在所述第一处理器获取至少一个终端设备的至少一个图像解码模式时,所述第一处理器,用于:
在所述可移动平台与所述终端设备之间建立通信连接之后,获取至少一个所述终端设备发送的至少一个图像解码模式。
34.根据权利要求32所述的可移动平台,其特征在于,所述第一处理器,还用于:
确定与所述可移动平台建立通信连接的所述终端设备的数量信息;
基于所述数量信息确定用于对所述待传输图像进行编码处理的初始编码模式。
35.根据权利要求34所述的可移动平台,其特征在于,在所述第一处理器基于所述数量信息确定用于对所述待传输图像进行编码处理的初始编码模式时,所述第一处理器,用于:
在所述数量信息为一个时,确定用于对所述待传输图像进行编码处理的初始编码模式为所述可移动平台记录的历史编码模式。
36.根据权利要求35所述的可移动平台,其特征在于,所述可移动平台记录的历史编码模式包括所述可移动平台在关机之前所使用的编码模式。
37.根据权利要求35所述的可移动平台,其特征在于,所述可移动平台记录的历史编码模式包括所述可移动平台所记录的与所述终端设备相关联的编码模式。
38.根据权利要求34所述的可移动平台,其特征在于,在所述第一处理器基于所述数量信息确定用于对所述待传输图像进行编码处理的初始编码模式时,所述第一处理器,用于:
在所述数量信息为多个时,确定用于对所述待传输图像进行编码处理的初始编码模式为H.265编码模式。
39.根据权利要求32所述的可移动平台,其特征在于,
所述目标编码模式与至少一个所述图像解码模式中具有最高解码能力的图像解码模式相对应。
40.根据权利要求39所述的可移动平台,其特征在于,至少一个所述终端设备的个数为一个,在所述第一处理器根据至少一个所述图像解码模式确定一目标编码模式时,所述第一处理器,还用于:
在至少一个所述图像解码模式中,确定与所述终端设备相对应的具有最高解码能力的目标解码模式;
根据所述目标解码模式确定一用于对图像进行编码处理的目标编码模式。
41.根据权利要求32所述的可移动平台,其特征在于,
所述目标编码模式与至少一个所述图像解码模式中具有最低解码能力的图像解码模式相对应。
42.根据权利要求41所述的可移动平台,其特征在于,至少一个所述终端设备的个数为多个,在所述第一处理器根据至少一个所述图像解码模式确定一目标编码模式时,所述第一处理器,还用于:
在至少一个所述图像解码模式中,确定与至少一个所述终端设备相对应的具有最低解码能力的目标解码模式;
根据所述目标解码模式确定一用于对图像进行编码处理的目标编码模式。
43.根据权利要求40或42所述的可移动平台,其特征在于,所述第一处理器,还用于:
检测所述目标解码模式是否发生更新;
在所述目标解码模式发生更新时,则根据更新后的所述目标解码模式对所述目标编码模式进行更新。
44.根据权利要求32-42中任意一项所述的可移动平台,其特征在于,在利用所述目标编码模式对待传输图像进行编码处理之前,所述第一处理器,还用于:
获取用于对待传输图像进行编码处理的初始编码模式;
在所述初始编码模式与所述目标编码模式不同时,则将所述可移动平台的编码模式由所述初始编码模式调整为所述目标编码模式。
45.根据权利要求32-42中任意一项所述的可移动平台,其特征在于,所述第一处理器,还用于:
获取至少一个所述终端设备发送的目标编码指令;
根据所述目标编码指令确定一用于对所述待传输图像进行编码处理的目标编码模式。
46.根据权利要求45所述的可移动平台,其特征在于,在根据所述目标编码指令确定一用于对所述待传输图像进行编码处理的目标编码模式之后,所述第一处理器,还用于:
检测所述目标编码模式与当前编码模式是否相同;
在所述目标编码模式与当前编码模式不同时,则将所述可移动平台的编码模式由所述当前编码模式切换至所述目标编码模式。
47.根据权利要求32-42中任意一项所述的可移动平台,其特征在于,所述可移动平台上设置有图像采集设备,所述第一处理器,还用于:
获取所述图像采集设备采集的待传输图像。
48.根据权利要求32-42中任意一项所述的可移动平台,其特征在于,在所述第一处理器将所述图传码流数据发送至至少一个所述终端设备时,所述第一处理器,用于:
获取与所述图传码流数据相对应的图像帧数据;
在所述图像帧数据中插入预设的帧分割字符,将插入所述帧分割字符后的所述图传码流数据按帧发送至至少一个所述终端设备。
49.根据权利要求48所述的可移动平台,其特征在于,在所述第一处理器在所述图像帧数据中插入预设的帧分割字符时,所述第一处理器,用于:
在所述图像帧数据中的帧头位置和/或帧尾位置插入预设的帧分割字符。
50.一种终端设备,其特征在于,包括:
第二存储器,用于存储计算机程序;
第二处理器,用于运行所述第二存储器中存储的计算机程序以实现:
获取待识别的图传码流数据;
确定与所述图传码流数据相对应的目标编码模式;
基于所述目标编码模式确定一与所述图传码流数据相对应的图像解码模式;
在所述终端设备支持所述图像解码模式时,利用所述图像解码模式对所述图传码流数据进行解码处理,获得与所述图传码流数据相对应的图像信息。
51.根据权利要求50所述的终端设备,其特征在于,在所述第二处理器确定与所述图传码流数据相对应的目标编码模式时,所述第二处理器,用于:
获取所述图传码流数据的帧头信息;
根据所述帧头信息确定与所述图传码流数据相对应的目标编码模式。
52.根据权利要求51所述的终端设备,其特征在于,所述图传码流数据的帧头信息至少包括所述图传码流数据的前五个字节信息。
53.根据权利要求52所述的终端设备,其特征在于,在根据所述帧头信息确定与所述图传码流数据相对应的目标编码模式之前,所述第二处理器,用于:
根据所述帧头信息中包括的前四个字节信息确定所述图传码流数据是否为有效数据。
54.根据权利要求53所述的终端设备,其特征在于,在所述第二处理器根据所述帧头信息中包括的前四个字节信息确定所述图传码流数据是否为有效数据时,所述第二处理器,用于:
在前四个所述字节信息为预设标准信息时,则确定所述图传码流数据为有效数据;或者,
在前四个所述字节信息不是预设标准信息时,则确定所述图传码流数据为无效数据。
55.根据权利要求52所述的终端设备,其特征在于,所述目标编码模式包括H.264编码模式和H.265编码模式;在所述第二处理器根据所述帧头信息确定与所述图传码流数据相对应的目标编码模式时,所述第二处理器,用于:
在所述帧头信息中的第五个字节信息为奇数时,则确定与所述图传码流数据相对应的目标编码模式为H.264编码模式;或者,
在所述帧头信息中的第五个字节信息为偶数、且第五个字节信息的数值为第一预设数值时,则确定与所述图传码流数据相对应的目标编码模式为H.264编码模式;或者,
在所述帧头信息中的第五个字节信息为偶数、且第五个字节信息的数值不为第一预设阈值时,则确定与所述图传码流数据相对应的目标编码模式为H.265编码模式。
56.根据权利要求50所述的终端设备,其特征在于,在所述第二处理器确定与所述图传码流数据相对应的目标编码模式时,所述第二处理器,用于:
获取所述图传码流数据的帧尾信息;
根据所述帧尾信息确定与所述图传码流数据相对应的目标编码模式。
57.根据权利要求56所述的终端设备,其特征在于,在获取所述图传码流数据的帧尾信息之前,所述第二处理器,还用于:
获取所述图传码流数据的前四个字节信息;
在前四个所述字节信息为预设标准信息时,则确定所述图传码流数据为有效数据;或者,
在前四个所述字节信息不是预设标准信息时,则确定所述图传码流数据为无效数据。
58.根据权利要求56所述的终端设备,其特征在于,所述图传码流数据的帧尾信息至少包括所述图传码流数据的末尾六个字节信息。
59.根据权利要求58所述的终端设备,其特征在于,所述图像编码模式包括H.264编码模式和H.265编码模式;在所述第二处理器根据所述帧尾信息确定与所述图传码流数据相对应的目标编码模式时,所述第二处理器,还用于:
在所述帧尾信息中末尾六个字节信息中的前五个字节信息的数值为第二预设数值时,则确定与所述图传码流数据相对应的目标编码模式为H.264编码模式;或者,
在所述帧尾信息中末尾六个字节信息的数值为第三预设数值时,则确定与所述图传码流数据相对应的目标编码模式为H.265编码模式。
60.根据权利要求50-59中任意一项所述的终端设备,其特征在于,所述第二处理器,还用于:
在所述终端设备不支持所述图像解码模式时,丢弃所述图传码流数据,并向可移动平台发送反馈信息。
61.根据权利要求50-59中任意一项所述的终端设备,其特征在于,在确定与所述图传码流数据相对应的目标编码模式之后,所述第二处理器,还用于:
检测所述目标编码模式是否发生更新;
在所述目标编码模式发生更新之后,则基于更新后的所述目标编码模式对所述图像解码模式进行更新。
62.根据权利要求61所述的终端设备,其特征在于,在基于更新后的所述目标编码模式对所述图像解码模式进行更新之后,所述第二处理器,还用于:
在所述终端设备不支持更新后的所述图像解码模式时,丢弃所述图传码流数据,并向可移动平台发送反馈信息;或者,
在所述终端设备支持更新后的所述图像解码模式时,利用更新后的所述图像解码模式对所述图传码流数据进行解码处理。
63.一种图像传输系统,其特征在于,包括:
权利要求32-49中任意一项所述的可移动平台;
权利要求50-62中任意一项所述的终端设备,所述终端设备与所述可移动平台通信连接。
64.一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求1-18中任意一项所述的图像传输方法。
65.一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求19-31中任意一项所述的图像传输方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/121947 WO2021102903A1 (zh) | 2019-11-29 | 2019-11-29 | 图像传输方法、设备、可移动平台、系统和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112585965A true CN112585965A (zh) | 2021-03-30 |
Family
ID=75117216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980052515.7A Pending CN112585965A (zh) | 2019-11-29 | 2019-11-29 | 图像传输方法、设备、可移动平台、系统和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112585965A (zh) |
WO (1) | WO2021102903A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022217555A1 (zh) * | 2021-04-15 | 2022-10-20 | 深圳市大疆创新科技有限公司 | 无人机的图像传输方法、无人机及计算机可读存储介质 |
WO2022217557A1 (zh) * | 2021-04-15 | 2022-10-20 | 深圳市大疆创新科技有限公司 | 可移动平台的图像传输方法、可移动平台及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080037656A1 (en) * | 2006-08-08 | 2008-02-14 | Miska Hannuksela | Method, device, and system for multiplexing of video streams |
CN104837052A (zh) * | 2014-06-10 | 2015-08-12 | 腾讯科技(北京)有限公司 | 播放多媒体数据的方法及装置 |
CN106791865A (zh) * | 2017-01-20 | 2017-05-31 | 杭州当虹科技有限公司 | 基于高动态范围视频的自适应格式转换的方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8989256B2 (en) * | 2011-05-25 | 2015-03-24 | Google Inc. | Method and apparatus for using segmentation-based coding of prediction information |
CN107333133B (zh) * | 2016-04-28 | 2019-07-16 | 浙江大华技术股份有限公司 | 一种码流接收设备的码流编码的方法及装置 |
CN109547786B (zh) * | 2017-09-22 | 2023-05-09 | 阿里巴巴集团控股有限公司 | 视频编码、以及视频解码的方法、装置 |
-
2019
- 2019-11-29 CN CN201980052515.7A patent/CN112585965A/zh active Pending
- 2019-11-29 WO PCT/CN2019/121947 patent/WO2021102903A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080037656A1 (en) * | 2006-08-08 | 2008-02-14 | Miska Hannuksela | Method, device, and system for multiplexing of video streams |
CN104837052A (zh) * | 2014-06-10 | 2015-08-12 | 腾讯科技(北京)有限公司 | 播放多媒体数据的方法及装置 |
CN106791865A (zh) * | 2017-01-20 | 2017-05-31 | 杭州当虹科技有限公司 | 基于高动态范围视频的自适应格式转换的方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022217555A1 (zh) * | 2021-04-15 | 2022-10-20 | 深圳市大疆创新科技有限公司 | 无人机的图像传输方法、无人机及计算机可读存储介质 |
WO2022217557A1 (zh) * | 2021-04-15 | 2022-10-20 | 深圳市大疆创新科技有限公司 | 可移动平台的图像传输方法、可移动平台及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021102903A1 (zh) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105532002B (zh) | 网络装置和差错处理 | |
JP5149375B2 (ja) | 多視点符号化および復号の方法ならびに装置 | |
US10827170B2 (en) | Method and device for coding POC, method and device for decoding POC, and electronic equipment | |
EP2061255A1 (en) | Information processing device and method | |
US10313703B2 (en) | Video data encoding and decoding methods and apparatuses | |
WO2008085876A2 (en) | Method and apparatus for video error concealment using high level syntax reference views in multi-view coded video | |
US20090296826A1 (en) | Methods and apparatus for video error correction in multi-view coded video | |
CN110662084B (zh) | 一种mp4文件流直播的方法、移动终端及存储介质 | |
US11336965B2 (en) | Method and apparatus for processing video bitstream, network device, and readable storage medium | |
CN112585965A (zh) | 图像传输方法、设备、可移动平台、系统和存储介质 | |
WO2017198143A1 (zh) | 视频处理方法、视频播放方法、机顶盒以及vr设备 | |
KR102115323B1 (ko) | 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치 | |
US9264737B2 (en) | Error resilient transmission of random access frames and global coding parameters | |
US20080212599A1 (en) | Methods and systems for encoding data in a communication network | |
US20090144596A1 (en) | Decoder with resiliency to handle errors in a received data stream | |
US8514887B2 (en) | Method and apparatus for repairing samples included in container files having lost packets | |
US20100205498A1 (en) | Method for Detecting Errors and Recovering Video Data | |
US10944994B2 (en) | Indicating bit stream subsets | |
JP2004519908A (ja) | Mpeg4ビデオデータを符号化する方法及び装置 | |
EP2116064B1 (en) | Method and apparatus for video error concealment in multi-view coded video using high level syntax | |
KR102350570B1 (ko) | 영상프레임의 손실을 측정하기 위한 iptv 셋탑박스 및 그 동작방법 | |
CN112073822B (zh) | 一种宽带集群通信中的媒体变更方法和系统 | |
CN117254818A (zh) | 数据处理方法及系统、电子设备以及可读存储介质 | |
CN103957417B (zh) | 一种高鲁棒性的视频编码方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |