CN113592790B - 基于高低频强化的全景图像分割方法、计算机系统和介质 - Google Patents

Abstract

基于高低频强化的全景图像分割方法、计算机系统和介质，属于深度学习图像处理领域，为了解决传统时域卷积神经网络对前背景特征频率的忽视问题，读取数据集图像，对图像预处理获取四层残差特征，对四层残差特征进行特征维度调整，实施高低频特征分离，得到高频特征和低频特征，将高频特征进行高频强化，得到高频强化特征，将低频特征进行低频强化，得到低频强化特征，将高频强化特征和低频强化特征分别进行分割预测，并得到两种分割结果进行融合，得到全景分割结果，效果是根据频域特性分离高低频特征，以频率需求为导向提取前背景特征，并通过强化前背景特征的频域显著性差异来加速场景分析和理解过程。

Description

基于高低频强化的全景图像分割方法、计算机系统和介质

技术领域

本发明属于深度学习图像处理领域，具体的说是一种适用于无人驾驶和自主机器人场景的频域全景分割卷积神经网络。

背景技术

近年来，无人驾驶和机器人领域由于深度学习的快速发展而取得重大突破，基于强大的场景理解功能，全景分割技术逐渐成为计算机视觉环境感知的重要手段。然而，传统的卷积神经网络只能从时域角度对图像进行无差别的特征提取，忽略了图像中由于频率不同而形成的前、背景显著程度的差异性。本发明将传统卷积网络上像素之间的空间关系，转换为频域上的像素之间变化的剧烈程度，时频的变换凸显了图像前背景的显著性和逻辑关系，提高了网络的准确性和实时性。

全景图像中的前景和背景由于内容构成的不同其频率属性有较大差别，前景多包含人、行驶车辆等动态实例对象，目标显著性高，表现为高频特征；背景则以天空、草地等静态语义填充区域为主，表现为低频特征。专利《一种基于高低频分离的图像视觉效果增强的方法》(公开号：CN110232670A)利用高低频分离的思路增强了图像的视觉效果，但该方法对高频特征提取不足，图像高低频分量分布不均衡。专利《一种基于高低频信号量的图像超分辨率的方法》(公开号：CN110443755A)公开了一种基于图像超分辨率的高低频特征分离方法得到了更清晰的高分辨率图，并且提高了处理速度。频率分离方法的有效性验证了卷积神经网络频域分析的可行性。专利《一种频域上使用卷积神经网络识别STBC信号的方法》(公开号：CN111507299A)提出在频域上使用卷积神经网络，利用傅里叶变换对接收信号进行预处理，提高了卷积神经网络的识别效果。

发明内容

为了解决传统时域卷积神经网络对前背景特征频率的忽视问题，本发明提出一种基于高低频强化的全景图像分割方法，包括

读取数据集图像，对图像预处理获取四层残差特征，

对四层残差特征进行特征维度调整，实施高低频特征分离，得到高频特征和低频特征，

将高频特征进行高频强化，得到高频强化特征，

将低频特征进行低频强化，得到低频强化特征，

将高频强化特征和低频强化特征分别进行分割预测，并得到两种分割结果进行融合，得到全景分割结果。

有益效果：本发明方法涉及的网络根据频域特性分离高低频特征，以频率需求为导向提取前背景特征，并通过强化前背景特征的频域显著性差异来加速场景分析和理解过程。

附图说明

图1是本发明的整体框架示意图。

图2是频域变换模块的示意图。

图3是高频强化模块的示意图。

图4是低频强化模块的示意图。

图5是实施例1中简单场景全景分割图。

图6是实施例2中复杂场景全景分割图。

图7是实施例3中交通场景全景分割图。

图8是实施例4中十字路口的交通场景全景分割图。

图9是实施例5中街道的交通场景全景分割图。

图10是实施例6中人行横道的交通场景全景分割图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

基于图像分割的前背景频率分布特点，本发明提出全景分割频域卷积神经网络。利用频域变换的思想解释卷积神经网络，改变原有空间域全景分割理论的处理架构。

本发明技术名词约定如下：

图像的频率：是指描述图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。即，称为频率特征，或频率信息。

图像的频域：是指描述频率信息变化和频率幅度变化的关系。包含全部频率特征。

高频特征：是指图像灰度变换剧烈的地方，形成图像边缘和细节，也称为高频特征。

低频特征：是指图像灰度变换平缓的地方，形成图像基本灰度等级，也称为低频特征。

1.技术方案

全景分割频域卷积神经网络包括频域变换网络，频率处理网络和频率分割网络。

频域变换网络是频域卷积神经网络的基础，该结构将输入的时域信号转换为频域特征，完成了前背景特征的分离。

频率处理网络的功能是对分离后的高频特征或低频特征进行强化处理，以增强特征频率表达。

频率分割网络的功能是生成高频特征和低频特征的分割结果。

2.网络功能

全景分割频域卷积神经网络具有两种功能，一是频域变换，二是频率处理。

不同于传统时域卷积神经网络对图像前背景特征进行统一提取的方法，全景分割频域卷积神经网络以图像前背景频率分布为线索，通过频域变换将图像特征一分为二，分为前景高频特征和背景低频特征。前背景的分离有利于图像内容理解和前背景特征的独立处理。

频率处理是指对输入进行高频强化处理或低频强化处理的独立环节。经频域变换得到前景高频特征和背景低频特征后，本发明利用高频强化模块再次强化前景特征中的轮廓细节，利用低频强化模块强调背景特征中的区域位置分布，弱化背景中的纹理信息。频率处理过程极大地增强了前背景特征的显著性差异，更有利于视觉场景的快速分析和重点内容的捕捉。

3.网络架构

(1)频域变换网络

频域变换网络包括预处理结构和频域变换模块。预处理结构由四层残差网络构成，每层分别对应输出一个残差特征；频域变换模块包括一个高通链路和一个低通链路。

高通链路由两个完全相同的高通卷积层和一个反卷积层构成；低通链路由一个低通卷积层和一个上采样层构成。

全景分割频域卷积神经网络输入图像后，进入预处理环节，得到四层残差特征R(R₁,R₂,R₃,R₄)，而后进入频域变换模块进行频域变换，利用高通链路和低通链路分别获得高频特征H(H₁,H₂,H₃,H₄)和低频特征L(L₁,L₂,L₃,L₄)。

(2)频率处理网络

频率处理网络包括高频强化模块和低频强化模块两种频率处理结构。高频强化模块由标准卷积网络组成，负责强化频域变换网络得到的高频特征；低频强化模块由可变形卷积网络构成，负责强化频域变换网络得到的低频特征。

高频强化模块接收频域变换网络得到的高频特征H，通过卷积网络进行强化，得到高频强化特征H′；低频强化模块接收频域变换网络得到的低频特征L通过可变形卷积网络进行强化，得到低频强化特征L′。

(3)频率分割网络

频率分割网络的功能是对高频强化特征H′和低频强化特征L′进行分割，得到高频强化特征和低频强化特征的分割结果并进行融合，得到全景分割结果。

4.结构要求

(1)频域变换网络预处理结构中的四层残差特征R₁，R₂，R₃，R₄的尺寸大小分别为[256*200*304]、[512*100*152]、[1024*50*76]、[2048*25*38]。

(2)频域变换网络高通链路输出的四层高频特征H₁，H₂，H₃，H₄的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；低通链路输出的四层低频特征L₁，L₂，L₃，L₄的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]。

(3)频域变换网络高通链路中的高通卷积层为卷积核大小为3*3的标准卷积，该卷积层不改变输入特征的尺寸大小；高通链路中的反卷积层将输入该层的特征尺寸扩大两倍。

(4)频域变换网络低通链路中的低通卷积层为空洞卷积，低通卷积层将输入该卷积层的特征尺寸缩小两倍；低通链路中的上采样层采用双线性插值的方法，将输入该层的特征尺寸扩大四倍。

(5)高频强化模块中的卷积网络由三层卷积核大小为3*3的标准卷积层和一层卷积核大小为2*2的反卷积层构成，反卷积层用于调整特征的尺寸大小。

(6)低频强化模块中的可变形卷积网络包括三层卷积核大小为3*3的可变形卷积层和上采样层，上采样层用于调整特征的尺寸大小。

5.效果

(1)频域变换，高低频特征分离

本发明的频域变换网络能够将传统卷积神经网络变换为频域网络，以频域视角分析网络，根据图像的频率特点分离前背景的高低频特征，将行人、行驶车辆等前景实例对象和天空、草地等背景区域进行分割。

(2)独立的高低频特征强化

本发明的频率处理网络，分别独立地处理两种频率。一是高频强化模块，能够提取并增强输入特征的高频成分；一是低频强化模块，能够提取并增强输入特征的低频成分。

(3)适用于无人驾驶和自主机器人技术

本发明为计算机视觉环境感知技术，适用于无人驾驶和自主机器人领域，分离视觉环境中的前景和背景特征，并凸显行人、车辆等前景轮廓细节，弱化天空、草地等背景纹理信息，增强视觉场景理解和分析过程，提高全景分割算法的有效性。

(4)适用于公共交通监控系统

本发明对行人、车辆和道路环境的有效识别满足了道路交通场景的需求，为驾驶人员提供了安全驾驶的辅助手段，特别适用于复杂交通环境的全景分割环境。

全景分割频域卷积神经网络的逻辑示意如图1所示，基于该网络实施基于高低频强化的全景图像分割方法，具体实施步骤如下：

第1步：读取数据集图像，经由预处理结构得到四层残差特征R(R₁,R₂,R₃,R₄)。

第2步：对第1步中的四层残差特征R(R₁,R₂,R₃,R₄)进行必要的特征维度调整后，实施高低频特征分离，得到高频特征H(H₁,H₂,H₃,H₄)和低频特征L(L₁,L₂,L₃,L₄)。如公式(1)～(8)所示。

高频特征H(H₁,H₂,H₃,H₄)：

低频特征L(L₁,L₂,L₃,L₄)：

第3步：将第2步得到的高频特征H(H₁,H₂,H₃,H₄)传递到高频强化模块，得到高频强化特征H′，具体过程如公式(9)～(18)所示。

先将H(H₁,H₂,H₃,H₄)整合处理后得到高频整合特征如公式(9)。

然后，将高频整合特征传递到高频强化模块，可得到高频强化特征/>其处理过程为：

对得到的特征进行非线性激活操作：

特征经反卷积层处理后得到/>

最后，得到高频强化特征

第4步：将第2步得到的低频特征L(L₁,L₂,L₃,L₄)传递到低频强化模块，得到低频强化特征L′，具体过程如公式(19)～(22)所示。

低频强化模块中可变形卷积和上采样层对低频特征L(L₁,L₂,L₃,L₄)的处理为：

将L′₁,L′₂,L′₃,L′₄进行合并可得到低频强化特征L′。

第5步：将高频强化特征H′和低频强化特征L′分别进行分割预测，并得到两种分割结果并进行融合得到全景分割结果。

在公式(1)～(22)中，F_r(k*k)表示卷积核为k*k，扩张率为r的卷积。F^-1(k*k)表示卷积核为k*k的反卷积。U(n)表示扩大n倍的双线性插值。表示特征向量X的通道数为a，长为b，宽为c。A＝{F,F^-1,U}，/>表示经过A＝{F,F^-1,U}的计算后，特征向量的通道数由h₁变为h₂、长l、宽w没有变化；/>表示经过A＝{F,F^-1,U}的计算后，特征向量的通道数h没有变化、长由l₁变为l₂、宽由w₁变为w₂。R为非线性激活函数；B为批标准化函数；C为整合处理函数；D为单层可变形卷积函数。

本发明全景分割频域卷积神经网络，基于全景图像前背景频率特性的差异，本发明提出一种全景分割频域卷积神经网络，将传统卷积神经网络上像素间的空间关系转换为频域上像素变化的程度，通过频域变换分离前背景对应的高低频特征，并利用频率处理强化频率特征，突出前景目标的轮廓细节和背景区域的位置分布，弱化背景的纹理信息，加速场景理解过程，提高分割精度。本发明方法能够应用于自主汽车、辅助驾驶、机器人以及公共安全天眼监控系统等多个领域。

实施例1：

本实施实例为，将前背景环境简单的场景输入到全景分割频域卷积神经网络中，进行频域变换和频率处理，得到前景高频特征、背景低频特征和全景分割结果。简单场景全景分割结果如图5。

实施例2：

本实施实例为，将前背景环境复杂的场景输入到全景分割频域卷积神经网络中，进行频域变换和频率处理，得到前景高频特征、背景低频特征和全景分割结果。复杂场景全景分割结果如图6。

实施例3：

本实施实例为，将交通场景输入到全景分割频域卷积神经网络中，进行频域变换和频率处理，得到前景高频特征、背景低频特征和全景分割结果。交通场景全景分割结果如图7。

实施例4：

本实施实例为，将十字路口的交通场景输入到全景分割频域卷积神经网络中，进行频域变换和频率处理，得到全景分割结果。交通场景全景分割结果如图8。

实施例5：

本实施实例为，将街道的交通场景输入到全景分割频域卷积神经网络中，进行频域变换和频率处理，得到全景分割结果。交通场景全景分割结果如图9。

实施例6：

本实施实例为，将人行横道的交通场景输入到全景分割频域卷积神经网络中，进行频域变换和频率处理，得到全景分割结果。交通场景全景分割结果如图10。

Claims (4)

1.一种基于高低频强化的全景图像分割方法，其特征在于，包括

读取数据集图像，对图像预处理获取四层残差特征，

对四层残差特征进行特征维度调整，实施高低频特征分离，得到高频特征和低频特征，

将高频特征进行高频强化，得到高频强化特征，

将低频特征进行低频强化，得到低频强化特征，

将高频强化特征和低频强化特征分别进行分割预测，并得到两种分割结果进行融合，得到全景分割结果；

四层残差特征R(R₁,R₂,R₃,R₄)；

高频特征H(H₁,H₂,H₃,H₄)：

低频特征L(L₁,L₂,L₃,L₄)：

将高频特征进行高频强化：

将高频特征H(H₁,H₂,H₃,H₄)整合处理后得到高频整合特征如公式(9)：

然后，将高频整合特征传递到高频强化模块，可得到高频强化特征/>其处理过程为：

对得到的特征进行非线性激活操作：

特征经反卷积层处理后得到/>

最后，得到高频强化特征

将低频特征进行低频强化：

对低频特征L(L₁,L₂,L₃,L₄)进行可变形卷积和上采样操作：

将L′₁,L′₂,L′₃，L′₄进行合并可得到低频强化特征L′。

2.如权利要求1所述的基于高低频强化的全景图像分割方法，其特征在于，

F_r(k*k)表示卷积核为k*k，扩张率为r的卷积，

F^-1(k*k)表示卷积核为k*k的反卷积，

U(n)表示扩大n倍的双线性插值，

表示特征向量X的通道数为a，长为b，宽为c，

A＝{F,F^-1,U}，

表示经过A＝{F,F^-1,U}的计算后，特征向量的通道数由h₁变为h₂、长l、宽w没有变化，

表示经过A＝{F,F^-1,U}的计算后，特征向量的通道数h没有变化、长由l₁变为l₂、宽由w₁变为w₂，

R为非线性激活函数，

B为批标准化函数，

C为整合处理函数，

D为单层可变形卷积函数。

3.一种计算机系统，包括：

处理器；

以及存储器，

其中，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令以实现权利要求1-2任一项所述的方法的步骤。

4.一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在被处理器执行时，实现权利要求1-2任一项所述的方法的步骤。