CN113536905A - 时频域联合全景分割卷积神经网络及应用 - Google Patents

时频域联合全景分割卷积神经网络及应用 Download PDF

Info

Publication number
CN113536905A
CN113536905A CN202110617619.7A CN202110617619A CN113536905A CN 113536905 A CN113536905 A CN 113536905A CN 202110617619 A CN202110617619 A CN 202110617619A CN 113536905 A CN113536905 A CN 113536905A
Authority
CN
China
Prior art keywords
network
frequency domain
frequency
time
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110617619.7A
Other languages
English (en)
Other versions
CN113536905B (zh
Inventor
毛琳
任凤至
杨大伟
张汝波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Minzu University filed Critical Dalian Minzu University
Priority to CN202110617619.7A priority Critical patent/CN113536905B/zh
Publication of CN113536905A publication Critical patent/CN113536905A/zh
Application granted granted Critical
Publication of CN113536905B publication Critical patent/CN113536905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

时频域联合全景分割卷积神经网络及应用，属于深度学习图像处理领域，包括频域变换网络，将输入变换为频域信息，提取图像的高低频特征；时域变换网络，将输入变换为时域信息，提取图像中的实例特征和语义特征；时频域联合网络，为频域变换网络和时域变换网络分别对应输出的高频特征、低频特征、实例特征和语义特征依次分配乘积系数；分割融合网络，融合前背景分割结果，生成全景分割结果，效果是能够应用于自主汽车、辅助驾驶、机器人以及公共安全天眼监控系统等多个领域。

Description

时频域联合全景分割卷积神经网络及应用
技术领域
本发明属于深度学习图像处理领域，具体的说是一种联合了时域和频域两种视角分析全景分割算法的卷积神经网络，适用于无人驾驶和自主机器人场景。
背景技术
近年来，无人驾驶和机器人领域由于深度学习的快速发展而取得重大突破，基于强大的场景理解功能，全景分割技术逐渐成为计算机视觉环境感知的重要手段。然而，传统的时域卷积神经网络只能从空间域角度出发对图像进行无差别的特征提取，忽略了图像中由于频率不同而形成的前、背景显著程度的差异性，导致图像前景分割精度不佳；普通的频域卷积神经网络主要观察图像像素的振动变化，有利于分割图像中频率变化差异较大的目标，而对图像背景的空间位置关系分析不足。
专利《一种带有双向连接和遮挡处理的全景分割方法》(公开号：CN111242954A)提出了一种空间域连接的全景分割方法，通过在语义分割和实例分割间建立双向连接，使得任务间特征相互加强。专利《一种基于卷积实现的图像全景分割预测优化方法》(公开号：CN109801297A)公开了一种基于时域全景分割卷积神经网络，网络从空间关系出发，对实例目标进行遮挡优先级的排序，解决了实例间存在的遮挡问题，但该专利没有考虑到全景图像的频率特性，丢失了实例对象所具有的高频信息，可能导致网络对实例目标的识别精度受到限制。
发明内容
为了解决以双重视角进行网络分析的问题，本发明提出如下技术方案：一种时频域联合全景分割卷积神经网络，包括
频域变换网络，将输入变换为频域信息，提取图像的高低频特征；
时域变换网络，将输入变换为时域信息，提取图像中的实例特征和语义特征；
时频域联合网络，为频域变换网络和时域变换网络分别对应输出的高频特征、低频特征、实例特征和语义特征依次分配乘积系数；
分割融合网络，融合前背景分割结果，生成全景分割结果。
进一步的，高频特征的系数为a，0≦a≦1，低频特征的系数为b，0≦b≦1，实例特征的系数为c，0≦c≦1，语义特征的系数为d，0≦d≦1，系数分配原则是系数组(a，b)中只有一个零系数、系数组(c，d)中只有一个零系数。
进一步的，a＝1，b＝0，c＝0，d＝1，联合频域变换网络中的高频特征H和时域变换网络中的语义特征S作为输出。
进一步的，系数分配组合范围C6如公式所示：
C6(a,b,c,d)＝{0.7～1,0～0.3,0～0.3,0.7～1}。
进一步的，频域变换网络由预处理结构和一个频域变换模块构成，频域变换模块包括一个高通链路和一个低通链路，高通链路由两个完全相同的高通卷积层和一个反卷积层构成；低通链路由一个低通卷积层和一个上采样层构成。
进一步的，时域变换网络由预处理结构和一个时域变换模块构成，时域变换模块包括一个实例链路和一个语义链路，实例链路由一层反卷积层构成，语义链路由一层上采样层构成。
进一步的，分割融合网络包括
前景分割网络，由三层3*3的卷积层和一层2*2的反卷积层构成；
背景分割网络，由三层可变形卷积层和相应的上采样结构组成；
全景融合网络，融合前背景分割结果。
进一步的，前景分割网络接收高频特征H，通过卷积网络处理后，得到相应的前景分割结果H＇；背景分割网络结构语义特征S，通过可变形卷积网络处理后，得到相应的背景分割结果S＇，全景融合网络融合前景分割结果H＇和背景分割结果S＇，生成全景分割结果。
进一步的，预处理结构中的四层残差特征R1，R2，R3，R4的尺寸大小分别为[256*200*304]、[512*100*152]、[1024*50*76]、[2048*25*38]。
进一步的，频域变换网络高通链路输出的四层高频特征H1，H2，H3，H4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；低通链路输出的四层低频特征L1，L2，L3，L4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；频域变换网络高通链路中的高通卷积层为标准卷积，卷积核大小为3*3，且该卷积层不改变输入特征的尺寸大小；高通链路中的反卷积层将输入该层的特征尺寸扩大两倍；频域变换网络低通链路中的低通卷积层为空洞卷积，卷积核大小为3*3，扩张系数为2，低通卷积层将输入该卷积层的特征尺寸缩小两倍；低通链路中的上采样层将输入该层的特征尺寸扩大四倍。
进一步的，时域变换网络实例链路输出的四层高频实例特征I1，I2，I3，I4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；语义链路输出的四层语义特征S1，S2，S3，S4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；时域变换网络实例链路中的反卷积层将输入该层的特征尺寸扩大两倍；时域变换网络语义链路中上采样层采用双线性插值的方法，将输入该层的特征尺寸扩大两倍。
一种时频域联合全景分割卷积神经网络在全景图像分割中的应用。
一种用于全景图像分割的时频域联合全景分割卷积神经网络在无人驾驶、工业机器人及公共交通监控系统中的应用。
有益效果：
(1)时频域联合，组合时域特征和频域特征
本发明从时域和频域两个层面分析全景分割卷积神经网络，解决了传统时域网络对目标显著性差异的忽视问题，弥补了频域网络在目标空间逻辑分析上的缺陷，通过时域特征和频域特征的组合完美实现了前景分割和背景分割质量的共同提升，提高了全景分割的性能。
(2)频域变换，高低频特征分离
本发明的频域变换网络能够将传统卷积神经网络变换为频域网络，以频域视角分析网络，根据图像的频率特点分离图像高低频特征。
(3)时域变换，实例特征和语义特征分离
本发明的时域变换网络能够将卷积神经网络变换为时域网络，根据图像的空间位置关系分离图像的实例特征和语义特征。
(4)适用于无人驾驶技术
本发明为计算机视觉环境感知技术，适用于无人驾驶领域。本发明联合时域特征和频域特征，能够有效提高图像前景和背景的分割精度，精准分割行人、行驶车辆等前景目标和道路、建筑物等背景目标，有利于视觉环境的准确分析，避免交通事故的发生。
(5)适用于工业机器人技术
本发明为计算机视觉环境感知技术，适用于机器人领域，本发明联合时域特征和频域特征，能够有效提高图像前景和背景的分割精度，精准分割人、零件等前景目标和道路、厂房等背景目标，有利于对工业生产环境的准确感知，适用于工业领域的机器人技术。
(6)适用于公共交通监控系统
本发明对行人、车辆和道路环境的有效识别满足了道路交通场景的需求，一方面，为驾驶人员提供了安全驾驶的辅助手段，另一方面，为整体交通场景的监控提供了有利的条件，特别适用于复杂环境下公共交通监控系统。
附图说明
图1是本发明的整体网络示意图
图2是频域变换模块的示意图
图3是时域变换模块的示意图
图4是实施例1中不同系数组合下的全景分割图
图5是实施例2中简单场景全景分割图
图6是实施例3中复杂场景全景分割图
图7是实施例4中交通场景全景分割图
图8是实施例5中十字路口的交通场景全景分割图
图9是实施例6中街道的交通场景全景分割图
图10是实施例7中人行横道的交通场景全景分割图
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述，时频域联合全景分割卷积神经网络的逻辑示意如图1所示：
1.技术方案
基于图像本身固有的时域和频域两种基本特性，本发明提出时频域联合全景分割卷积神经网络，结合时域网络对空间关系的准确把控和频域网络对像素频率变化的敏感性这两项优势实现网络对前景实例细节轮廓的精准识别和背景区域的有效划分。时域和频域的联合分析解决了传统卷积神经网络前背景分割质量不平衡的难题，实现了前背景分割的共赢局面，从根本上提高了全景分割的精度。
时频域联合全景分割卷积神经网络的特色是提出从两个角度分析卷积神经网络的思想，利用两种视角观察全景分割网络，结合图像前背景的时频域特点，为前景分割和背景分割两种任务分别提供适配的时域特征和频域特征。
本发明技术名词约定如下：
高频特征：指图像灰度变换剧烈的地方，形成图像边缘和细节，也称为高频特征。
低频特征：指图像灰度变换平缓的地方，形成图像基本灰度等级，也称为低频特征。
实例特征：指图像中实例轮廓、纹理等细节信息丰富的特征。
语义特征：指图像中位置逻辑信息丰富的特征。
高通链路：将输入变换为高频特征的链路网络。
低通链路：将输入变换为低频特征的链路网络。
实例链路：将输入变换为实例特征的链路网络。
语义链路：将输入变换为语义特征的链路网络。
2.网络架构
总体上看，时频域联合全景分割卷积神经网络包括频域变换网络、时域变换网络、时频域联合网络和分割融合网络四个部分。
(1)预处理结构
预处理结构是频域变换网络和时域变换网络的共享网络，用于对输入图像进行初步的预处理操作。预处理结构由四层残差网络构成，每层分别对应输出一个残差特征。输入图像经过预处理后获得四层残差特征R(R1,R2,R3,R4)，而后残差特征同时进入频域变换网络和时域变换网络。
(2)频域变换网络
频域变换网络的功能是将输入变换为频域信息，以提取图像的高低频特征。
频域变换网络由预处理结构和一个频域变换模块构成，频域变换模块包括一个高通链路和一个低通链路。其中，高通链路由两个完全相同的高通卷积层和一个反卷积层构成；低通链路由一个低通卷积层和一个上采样层构成。
残差特征R(R1,R2,R3,R4)进入频域变换网络，利用高通链路得到高频特征H(H1,H2,H3,H4)、利用低通链路得到低频特征L(L1,L2,L3,L4)。
(3)时域变换网络
时域变换网络的功能是将输入变换为时域信息，以提取图像中的实例特征和语义特征。
时域变换网络由预处理结构和一个时域变换模块构成，时域变换模块包括一个实例链路和一个语义链路。其中，实例链路由一层反卷积层构成；语义链路由一层上采样层构成。
残差特征R(R1,R2,R3,R4)进入时域变换网络，利用实例链路得到实例特征I(I1,I2,I3,I4)、利用语义链路得到语义特征S(S1,S2,S3,S4)。
(4)时频域联合网络
时频域联合网络由时频域联合模块构成，时频域联合模块负责联合频域变换网络和时域变换网络。具体地说，时频域联合模块会为频域变换网络和时域变换网络分别对应输出的高频特征、低频特征、实例特征和语义特征这四种特征依次分配一个乘积系数，高频特征的系数为a(0≦a≦1)，低频特征的系数为b(0≦b≦1)，实例特征的系数为c(0≦c≦1)，语义特征的系数为d(0≦d≦1)。
时频域联合模块的系数分配原则是满足a+b＝1,c+d＝1，保证频域变换网络和时域变换网络均有特征输出，实现多域联合分析，提升网络精度。为高低特征、低频特征、实例特征和语义特征分配乘积系数是为了寻求时域特征和频域特征的最佳比例，以适应全景分割中前景分割和背景分割的不同需求。
典型的系数分配组合有五种，分别为高频实例组，高频语义组，低频实例组、低频语义组合平均分配组，其系数分配组合分别如公式(1)～(5)所示。
C1(a,b,c,d)＝{1,0,1,0} (1)
C2(a,b,c,d)＝{1,0,0,1} (2)
C3(a,b,c,d)＝{0,1,0,1} (3)
C4(a,b,c,d)＝{0,1,1,0} (4)
C5(a,b,c,d)＝{0.5,0.5,0.5,0.5} (5)
其中，函数C为时频域联合函数。
五种典型的系数分配组合中的前四种C1、C2、C3和C4只取了频域特征和时域特征中的某一类型，将该类型的系数置为1，将另一个类型的系数置为0。这四种组合方式是时频域联合网络的简化形式，可以降低结构的复杂性，提高实时性，但是容易造成时域或频域中有用特征的损失，对网络精度造成一定影响。因此，给出第五种系数分配组合C5，对系数进行平均分配，将系数均设定为0.5。C5是时频域联合网络的标准形式，高频特征、低频特征、实例特征和语义特征都能参与到网络计算，且比例一致。
在实际应用中，由于高频特征和实例特征包含图像前景信息较为丰富；而低频特征和语义特征则拥有大量的图像背景信息，所以高频特征和实例特征适用于前景分割；低频特征和语义特征适用于背景分割。
更重要地，相比实例特征，高频特征在目标细节和轮廓等信息上的表现力更强，所以高频特征系数应高于实例特征系数；语义特征对空间位置的把控比低频特征要好，所以，语义特征系数应高于低频特征系数。据此，给出最优的系数分配组合范围C6，如公式(6)所示。
C6(a,b,c,d)＝{0.7～1,0～0.3,0～0.3,0.7～1} (6)
(5)分割融合网络
分割融合网络包括前景分割网络、背景分割网络和全景融合网络。
前景分割网络由三层标准卷积层和一层反卷积层构成；背景分割网络由三层可变形卷积层和相应的上采样结构组成，其中，上采样结构用于调整输出的尺寸大小；全景融合网络负责融合前背景分割结果，生成全景分割结果。
3.结构要求
(1)预处理结构中的四层残差特征R1，R2，R3，R4的尺寸大小分别为[256*200*304]、[512*100*152]、[1024*50*76]、[2048*25*38]；
(2)频域变换网络高通链路输出的四层高频特征H1，H2，H3，H4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；低通链路输出的四层低频特征L1，L2，L3，L4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；
(3)频域变换网络高通链路中的高通卷积层为标准卷积，该卷积层不改变输入特征的尺寸大小；高通链路中的反卷积层将输入该层的特征尺寸扩大两倍；
(4)频域变换网络低通链路中的低通卷积层为空洞卷积，低通卷积层将输入该卷积层的特征尺寸缩小两倍；低通链路中的上采样层采用双线性插值的方法，将输入该层的特征尺寸扩大四倍；
(5)时域变换网络实例链路输出的四层高频实例特征I1，I2，I3，I4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；语义链路输出的四层语义特征S1，S2，S3，S4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；
(6)时域变换网络实例链路中反卷积层将输入该层的特征尺寸扩大两倍；
(7)时域变换网络语义链路中上采样层采用双线性插值的方法，将输入该层的特征尺寸扩大两倍。
在一种实施例中，一种时频域联合全景分割方法，包括如下步骤：
输入图像，
响应于输入图像，时频域联合全景分割卷积神经网络执行分割步骤，
获取全景风格。
分割步骤包括：
第1步：读取数据集图像，得到四层残差特征；
第2步：对所述四层残差特征实施高低频特征分离，得到高频特征和低频特征；对所述四层残差特征实施实例特征和语义特征分离，得到实例特征和语义特征；
第3步：高频特征、低频特征、实例特征和语义特征分配乘积系数，得到时频域特征组合；
第4步：将时频域特征组合进行拆分，分别送入前景分割网络、背景分割网络，进行分割预测，得到前景分割结果和背景分割结果。
具体的：
第1步：读取数据集图像，经由预处理结构得到四层残差特征R(R1,R2,R3,R4)。
第2步：在频域变换网络中，对第1步中的四层残差特征R(R1,R2,R3,R4)进行必要的特征维度调整后，实施高低频特征分离，得到高频特征H(H1,H2,H3,H4)和低频特征L(L1,L2,L3,L4)。如公式(7)～(14)所示。
高频特征H(H1,H2,H3,H4)：
Figure BDA0003098179190000081
Figure BDA0003098179190000082
Figure BDA0003098179190000083
Figure BDA0003098179190000084
低频特征L(L1,L2,L3,L4)：
Figure BDA0003098179190000085
Figure BDA0003098179190000086
Figure BDA0003098179190000087
Figure BDA0003098179190000088
在时域变换网络中，对第1步中的四层残差特征R(R1,R2,R3,R4)进行必要的特征维度调整后，实施实例特征和语义特征分离，得到实例特征I(I1,I2,I3,I4)和语义特征S(S1,S2,S3,S4)。如公式(15)～(22)所示。
实例特征I(I1,I2,I3,I4)：
Figure BDA0003098179190000089
Figure BDA00030981791900000810
Figure BDA00030981791900000811
Figure BDA00030981791900000812
语义特征S(S1,S2,S3,S4)：
Figure BDA0003098179190000091
Figure BDA0003098179190000092
Figure BDA0003098179190000093
Figure BDA0003098179190000094
在公式(7)～(22)中，Fr(k*k)表示卷积核为k*k，扩张率为r的卷积。F-1(k*k)表示卷积核为k*k的反卷积。U(n)表示扩大n倍的双线性插值。
Figure BDA0003098179190000095
表示特征向量X的通道数为a，长为b，宽为c。A＝{F,F-1,U}，
Figure BDA0003098179190000096
表示经过A＝{F,F-1,U}的计算后，特征向量的通道数由h1变为h2、长l、宽w没有变化；
Figure BDA0003098179190000097
表示经过A＝{F,F-1,U}的计算后，特征向量的通道数h没有变化、长由l1变为l2、宽由w1变为w2。
第3步：将第2步得到的高频特征H、低频特征L、实例特征I和语义特征S传递到时频域联合网络，得到时频域特征组合{a*H,b*L,c*I,d*S}。
第4步：将第3步得到的时频域特征组合进行拆分，将{a*H,c*I}(a+c＝1)送入前景分割网络、将{b*L,d*S}(b+d＝1)送入背景分割网络，进行分割预测，得到前景分割结果和背景分割结果。
第5步：将第4步得到的前景分割结果和背景分割结果传递到全景融合网络得到全景分割结果。
本发明实施例记载的时频域联合全景分割卷积神经网络，属于深度学习图像处理领域，基于全景图像固有的时域和频域两种特性，以时、频域双重视角分析卷积神经网络，联合时域上像素间空间关系和频域上像素振动频率的信息，根据图像前背景的特点，组合应用时域特征和频域特征，以提高前背景分割精度，从整体上提升全景分割质量。本发明方法能够应用于自主汽车、辅助驾驶、机器人以及公共安全天眼监控系统等多个领域。
本发明将传统时域卷积网络上像素之间的空间关系和频域上像素的振动频率相结合，构建时频域联合卷积神经网络，综合考虑图像固有的时域和频域两种属性，以双重视角进行网络分析，集合时域分析和频域分析的优势，从整体上提高分割质量。
实施例1：
不同系数组合下的全景分割图
本实施实例为，将图像输入到系数分配组合分别为C1、C2、C3、C4、C5和C6的时频域联合全景分割卷积神经网络中，得到全景分割结果如图4。
实施例2：
简单场景下的全景分割
本实施实例为，将前背景环境简单的场景输入到时频域联合全景分割卷积神经网络中，得到全景分割结果。简单场景全景分割结果如图5。
实施例3：
复杂场景下的全景分割
本实施实例为，将前背景环境复杂的场景输入到时频域联合全景分割卷积神经网络中，得到全景分割结果。复杂场景全景分割结果如图6。
实施例4：
交通场景下的全景分割
本实施实例为，将交通场景输入到时频域联合全景分割卷积神经网络中，得到全景分割结果。交通场景全景分割结果如图7。
实施例5：
十字路口交通场景下的全景分割
本实施实例为，将十字路口的交通场景输入到时频域联合全景分割卷积神经网络中，得到全景分割结果。十字路口交通场景全景分割结果如图8。
实施例6：
街道交通场景下的全景分割
本实施实例为，将街道的交通场景输入到时频域联合全景分割卷积神经网络中，得到全景分割结果。街道交通场景全景分割结果如图9。
实施例7：
人行横道交通场景下的全景分割
本实施实例为，将人行横道的交通场景输入到时频域联合全景分割卷积神经网络中，得到全景分割结果。人行横道交通场景全景分割结果如图10。

Claims (10)

1.一种时频域联合全景分割卷积神经网络，其特征在于，包括
频域变换网络，将输入变换为频域信息，提取图像的高低频特征；
时域变换网络，将输入变换为时域信息，提取图像中的实例特征和语义特征；
时频域联合网络，为频域变换网络和时域变换网络分别对应输出的高频特征、低频特征、实例特征和语义特征依次分配乘积系数；
分割融合网络，融合前背景分割结果，生成全景分割结果。
2.如权利要求1所述的时频域联合全景分割卷积神经网络，其特征在于，高频特征的系数为a，0≦a≦1，低频特征的系数为b，0≦b≦1，实例特征的系数为c，0≦c≦1，语义特征的系数为d，0≦d≦1，系数分配原则是系数组(a，b)中只有一个零系数、系数组(c，d)中只有一个零系数。
3.如权利要求2所述的时频域联合全景分割卷积神经网络，其特征在于，系数分配组合范围C6如公式所示：
C6(a,b,c,d)＝{0.7～1,0～0.3,0～0.3,0.7～1}。
4.如权利要求1所述的时频域联合全景分割卷积神经网络，其特征在于，频域变换网络由预处理结构和一个频域变换模块构成，频域变换模块包括一个高通链路和一个低通链路，高通链路由两个完全相同的高通卷积层和一个反卷积层构成；低通链路由一个低通卷积层和一个上采样层构成；时域变换网络由预处理结构和一个时域变换模块构成，时域变换模块包括一个实例链路和一个语义链路，实例链路由一层反卷积层构成，语义链路由一层上采样层构成。
5.如权利要求1所述的时频域联合全景分割卷积神经网络，其特征在于，分割融合网络包括
前景分割网络，由三层3*3的卷积层和一层反卷积层构成；
背景分割网络，由三层可变形卷积层和相应的上采样结构组成；
全景融合网络，融合前背景分割结果。
6.如权利要求1所述的时频域联合全景分割卷积神经网络，其特征在于，前景分割网络接收高频特征H，通过卷积网络处理后，得到相应的前景分割结果H＇；背景分割网络结构语义特征S，通过可变形卷积网络处理后，得到相应的背景分割结果S＇，全景融合网络融合前景分割结果H＇和背景分割结果S＇，生成全景分割结果。
7.如权利要求4或5所述的时频域联合全景分割卷积神经网络，其特征在于，预处理结构中的四层残差特征R1，R2，R3，R4的尺寸大小分别为[256*200*304]、[512*100*152]、[1024*50*76]、[2048*25*38]。
8.如权利要求4所述的时频域联合全景分割卷积神经网络，其特征在于，
频域变换网络高通链路输出的四层高频特征H1，H2，H3，H4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；低通链路输出的四层低频特征L1，L2，L3，L4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；频域变换网络高通链路中的高通卷积层为标准卷积，卷积核大小为3*3，且该卷积层不改变输入特征的尺寸大小；高通链路中的反卷积层将输入该层的特征尺寸扩大两倍；频域变换网络低通链路中的低通卷积层为空洞卷积，卷积核大小为3*3，扩张系数为2，低通卷积层将输入该卷积层的特征尺寸缩小两倍；低通链路中的上采样层采用双线性插值的方法，将输入该层的特征尺寸扩大四倍；
时域变换网络实例链路输出的四层高频实例特征I1，I2，I3，I4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；语义链路输出的四层语义特征S1，S2，S3，S4的尺寸大小分别为[256*200*304]、[256*100*152]、[256*50*76]、[256*25*38]；时域变换网络实例链路中的反卷积层将输入该层的特征尺寸扩大两倍；时域变换网络语义链路中上采样层采用双线性插值的方法，将输入该层的特征尺寸扩大两倍。
9.一种时频域联合全景分割卷积神经网络在全景图像分割中的应用。
10.一种用于全景图像分割的时频域联合全景分割卷积神经网络在无人驾驶、工业机器人及公共交通监控系统中的应用。
CN202110617619.7A 2021-06-03 2021-06-03 时频域联合全景分割卷积神经网络及应用 Active CN113536905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617619.7A CN113536905B (zh) 2021-06-03 2021-06-03 时频域联合全景分割卷积神经网络及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617619.7A CN113536905B (zh) 2021-06-03 2021-06-03 时频域联合全景分割卷积神经网络及应用

Publications (2)

Publication Number Publication Date
CN113536905A true CN113536905A (zh) 2021-10-22
CN113536905B CN113536905B (zh) 2023-08-25

Family

ID=78095117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617619.7A Active CN113536905B (zh) 2021-06-03 2021-06-03 时频域联合全景分割卷积神经网络及应用

Country Status (1)

Country Link
CN (1) CN113536905B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496993A (zh) * 2022-09-09 2022-12-20 锋睿领创(珠海)科技有限公司 基于频域融合的目标检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986050A (zh) * 2018-07-20 2018-12-11 北京航空航天大学 一种基于多分支卷积神经网络的图像和视频增强方法
CN110910390A (zh) * 2019-11-11 2020-03-24 大连理工大学 一种基于深度畸变卷积的全景三维彩色点云语义分割方法
CN111428726A (zh) * 2020-06-10 2020-07-17 中山大学 基于图神经网络的全景分割方法、系统、设备及存储介质
US20200334819A1 (en) * 2018-09-30 2020-10-22 Boe Technology Group Co., Ltd. Image segmentation apparatus, method and relevant computing device
CN111862140A (zh) * 2020-06-11 2020-10-30 中山大学 一种基于协同模块级搜索的全景分割网络及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986050A (zh) * 2018-07-20 2018-12-11 北京航空航天大学 一种基于多分支卷积神经网络的图像和视频增强方法
US20200334819A1 (en) * 2018-09-30 2020-10-22 Boe Technology Group Co., Ltd. Image segmentation apparatus, method and relevant computing device
CN110910390A (zh) * 2019-11-11 2020-03-24 大连理工大学 一种基于深度畸变卷积的全景三维彩色点云语义分割方法
CN111428726A (zh) * 2020-06-10 2020-07-17 中山大学 基于图神经网络的全景分割方法、系统、设备及存储介质
CN111862140A (zh) * 2020-06-11 2020-10-30 中山大学 一种基于协同模块级搜索的全景分割网络及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡屹杉;秦品乐;曾建潮;柴锐;王丽芳;: "结合分段频域和局部注意力的超声甲状腺分割", 中国图象图形学报, no. 10 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496993A (zh) * 2022-09-09 2022-12-20 锋睿领创(珠海)科技有限公司 基于频域融合的目标检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113536905B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN109145798B (zh) 一种驾驶场景目标识别与可行驶区域分割集成方法
CN111968217B (zh) 基于图片的smpl参数预测以及人体模型生成方法
JP2019106159A (ja) 知的地形特定のための方法及び装置、車両搭載端末、並びに車両
DE112017005318T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
CN110706269B (zh) 一种基于双目视觉slam的动态场景密集建模方法
CN107808140B (zh) 一种基于图像融合的单目视觉道路识别算法
CN110659664A (zh) 一种基于ssd的高精度识别小物体的方法
CN113284173B (zh) 一种基于伪激光雷达的端到端的场景流、位姿联合学习方法
CN113610172A (zh) 神经网络模型训练方法和装置、传感数据融合方法和装置
CN112183330B (zh) 基于点云的目标检测方法
CN116563488A (zh) 一种基于点云体柱化的三维目标检测方法
CN113536905A (zh) 时频域联合全景分割卷积神经网络及应用
Chaturvedi et al. Pay" Attention" to Adverse Weather: Weather-aware Attention-based Object Detection
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
CN117058456A (zh) 一种基于多相注意力机制的视觉目标跟踪方法
CN114973199A (zh) 一种基于卷积神经网络的轨道交通列车障碍物检测方法
WO2024109594A1 (zh) 一种车路协同的特征级协同感知融合方法和系统
CN113536904A (zh) 时频域联合全景分割方法、系统和介质
CN117173655A (zh) 基于语义传播和跨注意力机制的多模态3d目标检测方法
CN112541930A (zh) 基于级联式的图像超像素目标行人分割方法
CN113160247B (zh) 基于频率分离的抗噪孪生网络目标跟踪方法
CN113592790B (zh) 基于高低频强化的全景图像分割方法、计算机系统和介质
CN112396637A (zh) 一种基于3d神经网络的动态行为识别方法及系统
CN113191944A (zh) 一种多通道图像内容特征融合风格迁移方法及系统
DE112020001581T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant