发明内容
为了解决上述技术问题,本申请提供一种用于超视距远程驾驶平台的5G网络数据传输方法,以解决现有的问题。
本申请的一种用于超视距远程驾驶平台的5G网络数据传输方法采用如下技术方案:
本申请一个实施例提供了一种用于超视距远程驾驶平台的5G网络数据传输方法,该方法包括以下步骤:
获取远程驾驶过程中各采集时刻的图像,记为当前帧,与各当前帧相邻后一采集时刻的图像记为参考帧;分割各当前帧与其参考帧得到各当前帧与其参考帧中的各个宏块;根据各当前帧与其参考帧中的各个宏块,获取各当前同位宏块与其参考同位宏块,并组成各匹配块;
分别以各当前同位宏块与其参考同位宏块各自为中心设置邻域,根据各当前同位宏块与其参考同位宏块的分布特征,获取各当前同位宏块与其参考同位宏块的邻域中同一方向上的局部对比特征数据序列;
在各当前帧与其参考帧中,根据各当前同位宏块与其参考同位宏块的邻域中同一方向上的局部对比特征序列的分布情况,构建各匹配块的帧间数据偏移指数;根据各匹配块的帧间数据偏移指数得到各匹配块的相对特征分析数据序列;根据各匹配块的相对特征分析数据序列的差异构建各匹配块的相对帧间偏移系数;
根据各匹配块的帧间偏移系数确定各匹配块的搜索方式,并结合压缩编码技术完成超视距远程驾驶平台的5G网络数据传输。
优选的,所述获取各当前同位宏块与其参考同位宏块,并组成各匹配块,具体过程为:
在各当前帧与其参考帧中,将处于同一位置的宏块分别作为当前同位宏块和参考同位宏块;各当前同位宏块与其参考同位宏块组成各匹配块。
优选的,所述各当前同位宏块与其参考同位宏块的邻域中同一方向上的局部对比特征数据序列的获取过程为:
在各当前帧中,各当前同位宏块与其邻域中同一方向上的各个宏块之间的SAD值作为各当前同位宏块的邻域中同一方向上的各个宏块的局部差异系数;各当前同位宏块的邻域中同一方向上的所有宏块的局部差异系数组成各当前同位宏块的邻域中同一方向上的局部对比特征数据序列;
在各当前帧的参考帧中,按照所述各当前同位宏块的邻域中同一方向上的局部对比特征数据序列的获取方法,得到各当前同位宏块的参考同位宏块的邻域中同一方向上的局部对比特征数据序列。
优选的,所述各匹配块的帧间数据偏移指数的构建过程为:
在各当前帧与其参考帧中,计算各当前同位宏块与其参考同位宏块的邻域中同一方向上的局部对比特征序列的相似度,记为局部对比相似度;计算所述各当前同位宏块与其参考同位宏块之间的SAD值,记为对比差异系数;所述局部对比相似度和所述对比差异系数均与各匹配块的帧间数据偏移指数成正向关联。
优选的,所述各匹配块的相对特征分析数据序列的获取方法为:
分别获取各当前同位宏块与其参考同位宏块的局部特征分析区域;
在各当前帧与其参考帧中,针对各当前同位宏块与其参考同位宏块的局部特征分析区域,将其中所有相同位置处的所述各匹配块的帧间数据偏移指数组成各匹配块的帧间特征分析数据集合;
将各匹配块的帧间数据偏移指数与其帧间特征分析数据集合中各帧间偏移指数的差值取绝对值,所述绝对值组成各匹配块的相对特征分析数据序列。
优选的,所述各当前同位宏块与其参考同位宏块的局部特征分析区域的获取过程为:
在各当前帧中,各当前同位宏块的邻域中每个方向上步长小于预设数值的宏块作为各当前同位宏块的近邻宏块;各当前同位宏块与其所有近邻宏块组成各当前同位宏块的局部特征分析区域;
在各当前帧的参考帧中,按照所述各当前同位宏块的局部特征分析区域的获取方法,获得各当前同位宏块的参考同位宏块的局部特征分析区域。
优选的,所述各匹配块的相对帧间偏移系数的构建过程为:
计算各匹配块与其他匹配块的相对特征分析数据序列之间的相似度,记为相似偏移系数,所述相似偏移系数与各匹配块的相对帧间偏移系数成正相关关系。
优选的,所述各匹配块的搜索方式的确定过程为:
获取各匹配块的帧间搜索特征系数;
将帧间搜索特征系数划分为多个判断区域,其中,不同判断区域的匹配块对应不同的搜索方式;各匹配块的帧间搜索特征系数所在判断区域对应的搜索方式作为各匹配块的搜索方式。
优选的,所述各匹配块的帧间搜索特征系数为各匹配块的相对帧间偏移系数的归一化值。
优选的,所述实现超视距远程驾驶平台的5G网络数据传输的过程为:
根据各匹配块的搜索方式,结合块匹配运动补偿算法得到编码器的压缩编码结果;将所述压缩编码结果在超视距远程驾驶平台中进行运输,实现超视距远程驾驶平台的5G网络数据传输。
本申请至少具有如下有益效果:本申请通过分析远程驾驶过程中场景变化复杂的特征,对采集的视频数据中各采集时刻的图像进行划分得到各个宏块;根据各采集时刻的图像中各个宏块的分布特征,分析各当前同位宏块与其参考同位宏块的局部差异特征构建各匹配块的帧间数据偏移指数;进一步地,结合各匹配块的帧间数据偏移指数分析各当前帧与其参考帧中各匹配块与各异位匹配块之间的局部变化差异对比,从而构建各匹配块的相对帧间偏移系数;根据各匹配块的帧间偏移系数获取各匹配块的帧间搜索特征系数;根据各匹配块的帧间搜索特征系数结合压缩编码器完成编码器中的块匹配过程;其有益效果在于考虑远程驾驶场景变化的复杂特征,分析相邻采集时刻的图像之间的局部区域变化特征,综合全局搜索和局部搜索的方式,提高帧间预测过程中运动矢量计算的效率和准确性,实现超视距远程驾驶平台中网络数据的高效传输。
具体实施方式
为了更进一步阐述本申请为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本申请提出的一种用于超视距远程驾驶平台的5G网络数据传输方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本申请所提供的一种用于超视距远程驾驶平台的5G网络数据传输方法的具体方案。
本申请一个实施例提供的一种用于超视距远程驾驶平台的5G网络数据传输方法,具体的,提供了如下的一种用于超视距远程驾驶平台的5G网络数据传输方法,请参阅图1,该方法包括以下步骤:
步骤S001:获取远程驾驶过程中的视频数据。
将前端摄像头在远程驾驶时捕获的图像信息作为视频数据进行传输。由于远程驾驶过程中车辆所在环境情况复杂,采集到的视频数据可能受到环境噪声的影响,从而导致视频质量降低,同时降低远程驾驶过程中视频数据编码传输过程中帧间预测的准确性。因此,采用滤波算法对视频数据中各采集时刻的图像进行降噪处理,得到预处理后的视频数据。
需要说明的是,常用的滤波算法有很多,作为本申请的一个实施例,采用中值滤波算法对各采集时刻的图像进行降噪,在保证对各采集时刻的图像降噪这一目的的前提下,实施者也可采用现有技术中其他滤波方法进行图像去噪,本实施例不做特殊限制。其中,中值滤波算法为公知技术,图像去噪的具体过程不再赘述。
步骤S002:根据远程驾驶过程中图像之间的状态偏移特征构建各匹配块的帧间数据偏移指数。
由于远程驾驶过程中车辆周围的环境处于快速变化状态,且随着车辆运行状态的改变,车辆周围的环境可能在短时间内出现较大的场景改变,从而导致各采样时刻的图像与其相邻后一采样时刻的图像之间的信息差异较大。对视频数据进行帧间预测的过程中,采用传统的局部搜索算法的精度较低。因此,为了获取更准确的帧间预测数据,根据各采样时刻与其相邻后一采样时刻的图像之间的局部动态变化特征,动态调整搜索范围。
具体地,将各采集时刻的图像记为当前帧,将与各采集时刻相邻后一采集时刻的图像记为参考帧,将各当前帧与其参考帧分别均匀分割为多个图像块,每个图像块的大小为像素,每个图像块作为一个宏块,至此完成各当前帧与其参考帧的分割,得到各当前帧与其参考帧中的各个宏块。
需要说明的是,分割的方法有很多,作为本申请的一个实施例,本实施例采用均匀分割的方法获取各当前帧与其参考帧中的各个宏块,实施者也可采用其他方法进行分割,本实施例不做特殊限制。
其中,图像块的大小是人为设定的,本实施例中设置图像块的大小为像素,实施者可根据具体情况自行设置,本实施例不做特殊限定。
进一步地,根据各当前帧与其参考帧中各个宏块的局部数据特征,分析各当前帧与其参考帧之间的数据偏移特征。为了便于理解,将各当前帧与其参考帧中处于同一位置的宏块分别记为当前同位宏块和参考同位宏块,各当前同位宏块与其参考同位宏块共同组成各匹配块。
针对采集到的视频数据,在各当前帧中,以各当前同位宏块为中心设置W邻域,将各当前同位宏块与其W邻域中同一方向上的各个宏块之间的SAD值作为各当前同位宏块的邻域中同一方向上的各个宏块的局部对差异系数,各当前同位宏块的邻域中同一方向上的所有宏块的局部差异系数组成各当前同位宏块的邻域中同一方向上的局部对比特征数据序列。其中,SAD值为公知技术,SAD值的具体计算过程不再赘述。
相应地,在各当前帧的参考帧中,按照所述各当前同位宏块的邻域中同一方向上的局部对比特征数据序列的获取方法,得到各当前同位宏块的参考同位宏块的邻域中同一方向上的局部对比特征数据序列。
需要说明的是,邻域W的取值是人为设定的,作为本申请的一个实施例,本实施例中邻域W的取值为8,实施者可根据具体情况自行设定,本实施例不做特殊限制。
进一步地,在各当前帧与其参考帧中,根据各当前同位宏块与其参考同位宏块的局部特征变化差异计算各匹配块的帧间数据偏移指数,具体过程为:
在各当前帧与其参考帧中,计算各当前同位宏块与其参考同位宏块的邻域中同一方向上的局部对比特征序列的相似度,记为局部对比相似度,所述各匹配块的帧间数据偏移指数与所述局部对比相似度成正向关联;计算所述各当前同位宏块与其参考同位宏块之间的SAD值,记为对比差异系数,所述各匹配块的帧间数据偏移指数与所述对比差异系数成正向关联。
应当理解的是,正向关联表示因变量会随着自变量的增大而增大,因变量会随着自变量的减小而减小,具体关系可以为相加关系或相乘关系等,由实际应用进行确定,本申请不做特殊限制。
优选的,作为本申请的一个实施例,各匹配块的帧间数据偏移指数的计算过程为:计算所述各当前同位宏块与其参考同位宏块的邻域中所有方向上的局部对比相似度的均值,记为局部对比均值;将所述对比差异系数作为以自然常数为底数的指数函数的自变量,计算其指数函数值,记为对比差异函数值;各匹配块的帧间数据偏移指数为所述局部对比均值与所述对比差异函数值的乘积。
步骤S003:基于帧间数据偏移指数计算各匹配块的相对帧间偏移系数,根据相对帧间偏移系数确定各匹配块的帧间搜索特征系数。
进一步地,针对采集到的视频数据,在各当前帧中,将各当前同位宏块的W邻域中每个方向上步长小于预设数值的宏块作为各当前同位宏块的近邻宏块,将各当前同位宏块及其所有的近邻宏块组成各当前同位宏块的局部特征分析区域。
同样地,在各当前帧的参考帧中,按照所述各当前同位宏块的局部特征分析区域的获取方法,获得各当前同位宏块的参考同位宏块的局部特征分析区域。
需要说明的是,步长表示间隔宏块的数量。预设取值的取值均为人为设置的,本实施例中邻域预设数值取值为3,实施者可根据具体情况自行设定,本实施例不做特殊限制。
在各当前帧与其参考帧中,针对各当前同位宏块与其参考同位宏块的局部特征分析区域,将其中所有相同位置处的所述各匹配块的帧间数据偏移指数组成各匹配块的帧间特征分析数据集合。
将各匹配块的帧间数据偏移指数与其帧间特征分析数据集合中各帧间偏移指数的差值取绝对值,所述绝对值组成各匹配块的相对特征分析数据序列。
需要说明的是,偏差绝对值的排列方式是人为设定的,实施者可根据具体情况自行设定,本实施例不做特殊限制。
在远程驾驶过程中,车辆行驶周围的场景可能在短时间内具有显著的差异变化,造成远程驾驶过程中采集到的相邻图像之间具有显著的局部区域数据差异,因此根据各当前帧与其参考帧中不同位置处宏块的局部动态差异特征,计算各匹配块的相对帧间偏移系数,具体过程为:
在各当前帧与其参考帧中,计算所述各匹配块与其他匹配块的相对特征分析数据序列之间的相似度,记为相似偏移系数,所述各匹配块的相对帧间偏移系数与所述相似偏移系数成正相关关系。
需要说明的是,正相关关系表示因变量会随着自变量的增大而增大,因变量会随着自变量的减小而减小,具体关系可以为相加关系或相乘关系等,由实际应用进行确定,本申请不做特殊限制。
优选的,作为本申请的一个实施例,在各当前帧与其参考帧中,各匹配块的相对帧间偏移系数为各匹配块与其他所有匹配块之间的所述相似偏移系数的均值。
其中,通过远程驾驶过程中的场景变化特征对各当前帧与其参考帧之间不同局部区域的动态差异进行对比,所述相对帧间偏移系数越大,各匹配块的帧间区域的动态变化程度越大。
进一步地,对所述各匹配块的相对帧间偏移系数进行归一化处理,归一化后的相对帧间偏移系数作为各匹配块的帧间搜索特征系数。
需要说明的是,作为本申请的一个实施例,本实施例采用Z-score归一化算法对各匹配块的相对帧间偏移系数进行归一化处理,在保证归一化处理这一目的的前提下,实施者也可采用现有技术中的其他方法,本实施例不做特殊限制。其中,Z-score归一化算法为公知技术,归一化处理的具体过程不再赘述。
优选的,作为本申请的一个实施例,帧间搜索特征系数提取流程图如图2所示。
步骤S004:根据各匹配块的帧间搜索特征系数并结合H.264编码器实现超视距远程驾驶平台中5G网络数据的传输。
根据步骤S003得到各匹配块的帧间搜索特征系数。由于远程驾驶过程中环境变化情况较为复杂,各当前帧与其参考帧之间的局部区域的动态变化差异可能呈现不同程度的变化范围,因此通过分析视频数据中各当前帧与其参考帧之间的局部区域相对动态变化差异确定各匹配块的局部相对动态差异。
根据各匹配块的帧间搜索特征系数确定各匹配块的搜索方式,具体过程为:
根据各匹配块的帧间搜索特征系数划分搜索方式判断区域,将帧间特征搜索系数划分为多个判断区域,分别为、、,各匹配块的帧间搜索特征系数在上述三个区域中时,各区域分别对应的搜索方式为:菱形搜索法、三步法和全局搜索法。
需要说明的是,作为本申请的一个实施例,本实施例采用的是局部搜索算法中的菱形搜索法和三步法这两种局部搜索算法,常见的局部搜索算法有很多,实施者也可采用现有技术中的其他局部搜索算法,本实施例不做特殊限制。其中,菱形搜索法、三步法和全局搜索法的算法均为公知技术,其寻找最优预测模式的具体过程不再赘述。
进一步地,H.264编码器中采用块匹配运动补偿算法(Block-Matching MotionCompensation,BMMC)进行帧间预测和运动补偿,块匹配运动补偿算法运行的过程包括确定宏块、确定参考帧、搜索最佳匹配、计算运动矢量、运动补偿等。其中,搜索最佳匹配的过程采用各当前帧与其参考帧中各匹配块的帧间搜索特征系数确定各匹配块的搜索方式。进一步地,输入远程驾驶过程中的视频数据,通过H.264编码器获取视频数据的编码结果,将所述编码结果在超视距远程驾驶平台中进行传输。其中,H.264编码器的具体编码过程公知技术,具体的压缩编码过程不再赘述。
至此,实现超视距远程驾驶平台中5G网络数据的传输。
优选的,作为本申请的一个实施例,超视距远程驾驶平台中5G网络数据传输示意图如图3所示。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。