CN114419577A - 道路区域识别方法及相关设备 - Google Patents

道路区域识别方法及相关设备 Download PDF

Info

Publication number
CN114419577A
CN114419577A CN202111472168.9A CN202111472168A CN114419577A CN 114419577 A CN114419577 A CN 114419577A CN 202111472168 A CN202111472168 A CN 202111472168A CN 114419577 A CN114419577 A CN 114419577A
Authority
CN
China
Prior art keywords
road image
road
layer
area identification
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111472168.9A
Other languages
English (en)
Inventor
闫海滨
宋朝辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111472168.9A priority Critical patent/CN114419577A/zh
Publication of CN114419577A publication Critical patent/CN114419577A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种道路区域识别方法及相关设备，所述方法包括：获取待检测道路图像；构建道路区域识别模型，所述道路区域识别模型包括TC‑PC主干网络和解码器网络；利用所述TC‑PC主干网络对所述待检测道路图像进行特征提取，得到道路图像特征图；利用所述解码器网络对所述道路图像特征图进行处理，得到道路区域识别结果。道路区域识别模型中的TC‑PC主干网络能够保证道路识别结果准确度的同时大幅度减少参数量，不仅提高了计算速度，还节省了计算成本。

Description

道路区域识别方法及相关设备
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种道路区域识别方法及相关设备。
背景技术
道路区域识别主要应用于自动驾驶领域，其主要目标为给定一张道路图像，自动标识出图像中的道路区域。道路区域识别将有助于帮助车辆控制系统判断行车的方向和速度。
现有的道路区域识别主要是基于语义分割的原理。具体地，常见的道路区域识别方法根据数据类型可以分成三类：基于RGB图像的方法，RGB图与Lidar图或深度图相结合的方法和基于点云的方法。现有的道路区域识别方法需要大量参数才能够达到较高识别准确率，导致计算成本过高。
发明内容
有鉴于此，本申请的目的在于提出一种解决上述技术问题的道路区域识别方法及相关设备。
基于上述目的，本申请提供了一种道路区域识别方法，包括：
获取待检测道路图像；
构建道路区域识别模型，所述道路区域识别模型包括TC-PC主干网络和解码器网络；
利用所述TC-PC主干网络对所述待检测道路图像进行特征提取，得到道路图像特征图；
利用所述解码器网络对所述道路图像特征图进行处理，得到道路区域识别结果。
进一步地，所述TC-PC主干网络包括至TC卷积模块，所述TC卷积模块包括依次相连的层归一化层、注意力机制层、第一批归一化层和第一Conv2D卷积层。
进一步地，利用所述TC卷积模块对所述待检测道路图像进行处理，包括：
将所述待检测道路图像划分为多个预设大小的窗口；
利用注意力机制对每个所述窗口中的道路图像数据进行处理，以得到所述待检测道路图像的局部特征；
对所述局部特征进行融合，以得到第一道路图像特征图。
进一步地，所述TC-PC主干网络包括PC调整模块，所述PC调整模块包括依次相连的patch Merging层、第二批归一化层和第二Conv2D卷积层，其中，所述patch Merging层用于将输入的道路图像数据的宽和高均减小一半，所述第二Conv2D卷积层用于调整道路图像数据的通道数量；
所述patch Merging层之后还连接有残差支路，所述残差支路用于将所述patchMerging层的输出加权叠加到所述第二Conv2D卷积层的输出上。
进一步地，利用所述PC调整模块对所述第一道路图像特征图进行处理，包括：
将所述第一道路图像特征图的宽、高减小为当前的一半，得到第二道路图像特征图；
通过数量扩充后的输出通道将所述第二道路图像特征图输出，得到所述道路图像特征图。
进一步地，所述注意力机制层的注意力机制的由下式表示：
Figure BDA0003392021270000021
其中，Q表示查询，K表示键，V表示值，dk表示Q、K、V的特征维度。
进一步地，所述TC卷积模块中：
所述窗口的大小为w*w，所述第一Conv2D卷积层的卷积核为k*k，步长为1，其中，k≠1。
基于同一发明构思，本申请第二方面提供了一种道路区域识别装置，包括：
获取模块：被配置为获取待检测道路图像；
构建模块：被配置为构建道路区域识别模型，所述道路区域识别模型包括TC-PC主干网络和解码器网络；
提取模块：被配置为利用所述TC-PC主干网络对所述待检测道路图像进行特征提取，得到道路图像特征图；
处理模块：被配置为利用所述解码器网络对所述道路图像特征图进行处理，得到道路区域识别结果。
基于同一发明构思，本申请第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
基于同一发明构思，本申请第四方面提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行第一方面所述的方法。
从上面所述可以看出，本申请提供的道路区域识别方法及相关设备，基于构建的TC-PC主干网络提取待测道路图像的特征，能够降低参数量，且收敛速度快，在保证识别精度的同时有效提高识别效率，降低运算过程中的时间成本。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的道路区域识别方法流程图；
图2为本申请实施例的TC卷积模块结构示意图；
图3为本申请实施例的利用TC卷积模块处理待检测道路图像的流程图；
图4为本申请实施例的PC调整模块结构示意图；
图5为本申请实施例的利用PC调整模块处理第一道路图像特征图的流程图；
图6为本申请实施例的道路区域识别装置结构示意图；
图7为本申请实施例的电子设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
如背景技术部分所述，相关技术中的道路区域识别的技术方案还难以满足需要。现有的道路区域识别方法根据数据类型可以分成三类：基于RGB图像的方法，RGB图与Lidar图或深度图相结合的方法和基于点云的方法。申请人在实现本申请的过程中发现，现有的道路区域识别方法存在的主要问题在于：基于RGB图像的方法在预测道路区域时，输入数据仅包含RGB图像，RGB图像所提供的信息不足以让现有的网络模型进行全面、准确的判断，导致准确度难以突破；RGB图与Lidar图或深度图相结合的方法的输入数据是在RGB图的基础上增加了Lidar图或深度图，通过数据融合的方法，让网络模型在分析RBG图像时可以获取来自深度图或Lidar图上关键信息，从而更为准确地判断，虽然预测的准确度较高，但会导致计算成本较高；基于点云的方法的输入数据不再是图像，而是激光雷达采集到的点云数据，该类算法利用点云领域中的主流模型进行编码和解码，从而对道路的区域进行分类，基于点云的方法受制于主流模型能力，此外，点云数据中道路的数据量比例小于图像，在训练和预测过程难度较高。
有鉴于此，本申请的实施例提供了一种道路区域识别方法，构建轻量化的TC-PC主干网络，对待检测道路图像的特征进行提取，能够减少参数量，进而降低计算量，在满足道路区域识别准确度的同时，减少计算的时间成本。
以下，通过具体实施例来详细说明本申请的技术方案。
参考图1，本申请一个实施例提供的一种道路区域识别方法，包括以下步骤：
步骤S101，获取待检测道路图像。
本步骤中，待检测道路图像包括RGB图像和深度图，RGB图像是指通过红(R)、绿(G)、蓝(B)三个颜色通道的变化以及他们相互之间的叠加来得到各式各样颜色的图像；深度图像是指从图像采集器到场景中各点的距离(深度)信息的图像，所述信息直接反映了场景中可见表面的几何形状，深度图像可通过激光雷达深度成像、深度相机等其他方式获得。
需要说明的是，可利用表面法线估计器(SurfaceNormal Estimator,SNE)对深度图像进行处理，获取深度图像中的表面法线信息。
步骤S102，构建道路区域识别模型，所述道路区域识别模型包括TC(Transformer_Conv)-PC(PatchMerging_Conv)主干网络和解码器网络。
本步骤中，TC-PC主干网络即编码器网络，编码器网络的编码过程为卷积层前向传播时，特征图分别率由大到小的变化过程，能够将数据从低维映射到高维，对数据进行编码；解码器网络的解码过程为卷积层前向传播时，特征图分辨率由小到大的变化过程，能够将数据从高维映射到低维，对数据进行解码，以实现信息的转换。
步骤S103，利用所述TC-PC主干网络对所述待检测道路图像进行特征提取，得到道路图像特征图。
本步骤中，TC-PC主干网络在参数量较少的情况下，提取到原始道路图像数据较多的图像特征，以便于后续解码器网络能够重构出原始的道路图像，保证识别精度。
步骤S104，利用所述解码器网络对所述道路图像特征图进行处理，得到道路区域识别结果。
本步骤中，可对待预测道路图像的特征图进行二值化处理，得到待预测道路图像中道路区域二值图像和背景二值图像，再将道路区域二值图像和背景二值图像进行融合，得到优化的道路区域二值图像，进而得到道路区域的识别结果。
可见，本实施例提供的一种道路区域识别方法，基于构建的TC-PC主干网络提取待测道路图像的特征，能够降低参数量，且收敛速度快，在保证识别精度的同时有效提高识别效率，降低运算过程中的时间成本。
在一些实施例中，结合图2，所述TC-PC主干网络包括至TC卷积模块，所述TC卷积模块包括依次相连的层归一化层(Layer Normalization,LN)、注意力机制层(W-MSA)、第一批归一化层(Batch Normalization,BN)和第一Conv2D卷积层，第一批归一化层和第一Conv2D卷积层能够实现窗口间的参数共享。
本实施例中，注意力机制层选择W-MSA(window based Multi-head Self-Attention)为注意力机制，可以根据实际情况选择层次注意力网络、循环注意力网络、全局注意力模型、局部注意力模型、自注意力模型或多头注意力模型等作为注意力机制，在此不做具体限定。
在一些实施例中，结合图3，利用所述TC卷积模块对所述待检测道路图像进行处理，包括以下步骤：
步骤S301，将所述待检测道路图像划分为多个预设大小的窗口。
本步骤中，窗口的大小可设置为6*6、12*12、18*18、24*24等，但窗口大小不能为1*1，，若为1*1在后续无法对每个窗口内部的图像数据进行有效处理。此外，输入的图像数据大小为窗口大小的整数倍，例如：输入的图像数据的尺寸为224*224，对应设置的窗口大小可以为8*8，但不能为13*13。
步骤S302，利用注意力机制对每个所述窗口中的道路图像数据进行处理，以得到所述待检测道路图像的局部特征。
步骤S303，对所述局部特征进行融合，以得到第一道路图像特征图。
在一些实施例中，参考图4，所述TC-PC主干网络包括PC调整模块，所述PC调整模块包括依次相连的patch Merging层、第二批归一化层和第二Conv2D卷积层，所述第二Conv2D卷积层用于调整道路图像数据的通道数量，所述patch Merging层用于将输入的道路图像数据的宽和高均减小一半，具体的，可在行方向和列方向上，间隔1个单位选取元素。
所述patch Merging层之后还连接有残差支路，所述残差支路用于将所述patchMerging层的输出加权叠加到所述第二Conv2D卷积层的输出上。具体的，当第二Conv2D卷积层的输入通道数和输出通道数相同时，残差支路发挥作用，否则残差支路不起作用。
在一些实施例中，结合图5，利用所述PC调整模块对所述第一道路图像特征图进行处理，包括以下步骤：
步骤S501，将所述第一道路图像特征图的宽、高减小为当前的一半，得到第二道路图像特征图。
本步骤中，将第一道路图像特征图的宽、高减小为当前的一半，即降低第一道路图像特征图的分辨率，能够节省运算量。
步骤S502，通过数量扩充后的输出通道将所述第二道路图像特征图输出，得到所述道路图像特征图。
在一些实施例中，所述注意力机制层的注意力机制的由下式表示：
Figure BDA0003392021270000061
其中，Q表示查询，K表示键，V表示值，dk表示Q、K、V的特征维度。
在一些实施例中，所述TC卷积模块中：
所述窗口的大小为w*w，所述第一Conv2D卷积层的卷积核为k*k，步长为1，其中，k≠1。
本实施例中，当Conv2D卷积层的卷积运算区域和窗口的大小一致时，Conv2D卷积层无法进行窗口间的信息共享，例如：当窗口大小设置为6*6时，Conv2D卷积层的卷积核大小、步长、填充不能设置为(6,6,0)，而将Conv2D的卷积核大小、步长和填充参数设置为(5，1，1)，(3，1，1)等是可以实现窗口之间的信息共享的。此外，卷积核大小为1*1时，卷积运算无法同时处理来自不同窗口的数据，因此卷积核大小不能为1*1。
需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种道路区域识别装置。
参考图6，所述道路区域识别装置，包括：
获取模块601：被配置为获取待检测道路图像；
构建模块602：被配置为构建道路区域识别模型，所述道路区域识别模型包括TC-PC主干网络和解码器网络；
提取模块603：被配置为利用所述TC-PC主干网络对所述待检测道路图像进行特征提取，得到道路图像特征图；
处理模块604：被配置为利用所述解码器网络对所述道路图像特征图进行处理，得到道路区域识别结果。
作为一个可选的实施例，所述TC-PC主干网络包括至TC卷积模块，所述TC卷积模块包括依次相连的层归一化层、注意力机制层、第一批归一化层和第一Conv2D卷积层。
作为一个可选的实施例，所述提取模块603，具体被配置为将所述待检测道路图像划分为多个预设大小的窗口；利用注意力机制对每个所述窗口中的道路图像数据进行处理，以得到所述待检测道路图像的局部特征；对所述局部特征进行融合，以得到第一道路图像特征图。
作为一个可选的实施例，所述TC-PC主干网络包括PC调整模块，所述PC调整模块包括依次相连的patch Merging层、第二批归一化层和第二Conv2D卷积层，其中，所述patchMerging层用于将输入的道路图像数据的宽和高均减小一半，所述第二Conv2D卷积层用于调整道路图像数据的通道数量；所述patch Merging层之后还连接有残差支路，所述残差支路用于将所述patch Merging层的输出加权叠加到所述第二Conv2D卷积层的输出上。
作为一个可选的实施例，所述提取模块603，具体还被配置为将所述第一道路图像特征图的宽、高减小为当前的一半，得到第二道路图像特征图；通过数量扩充后的输出通道将所述第二道路图像特征图输出，得到所述道路图像特征图。
作为一个可选的实施例，所述注意力机制层的注意力机制的由下式表示：
Figure BDA0003392021270000081
其中，Q表示查询，K表示键，V表示值，dk表示Q、K、V的特征维度。
作为一个可选的实施例，所述TC卷积模块中：所述窗口的大小为w*w，所述第一Conv2D卷积层的卷积核为k*k，步长为1，其中，k≠1。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的道路区域识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的道路区域识别方法。
图7示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的道路区域识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的道路区域识别方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的道路区域识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种道路区域识别方法，其特征在于，包括：
获取待检测道路图像；
构建道路区域识别模型，所述道路区域识别模型包括TC-PC主干网络和解码器网络；
利用所述TC-PC主干网络对所述待检测道路图像进行特征提取，得到道路图像特征图；
利用所述解码器网络对所述道路图像特征图进行处理，得到道路区域识别结果。
2.根据权利要求1所述的方法，其特征在于，所述TC-PC主干网络包括至TC卷积模块，所述TC卷积模块包括依次相连的层归一化层、注意力机制层、第一批归一化层和第一Conv2D卷积层。
3.根据权利要求2所述的方法，其特征在于，利用所述TC卷积模块对所述待检测道路图像进行处理，包括：
将所述待检测道路图像划分为多个预设大小的窗口；
利用注意力机制对每个所述窗口中的道路图像数据进行处理，以得到所述待检测道路图像的局部特征；
对所述局部特征进行融合，以得到第一道路图像特征图。
4.根据权利要求3所述的方法，其特征在于，所述TC-PC主干网络包括PC调整模块，所述PC调整模块包括依次相连的patch Merging层、第二批归一化层和第二Conv2D卷积层，其中，所述patch Merging层用于将输入的道路图像数据的宽和高均减小一半，所述第二Conv2D卷积层用于调整道路图像数据的通道数量；
所述patch Merging层之后还连接有残差支路，所述残差支路用于将所述patchMerging层的输出加权叠加到所述第二Conv2D卷积层的输出上。
5.根据权利要求4所述的方法，其特征在于，利用所述PC调整模块对所述第一道路图像特征图进行处理，包括：
将所述第一道路图像特征图的宽、高减小为当前的一半，得到第二道路图像特征图；
通过数量扩充后的输出通道将所述第二道路图像特征图输出，得到所述道路图像特征图。
6.根据权利要求2所述的方法，其特征在于，所述注意力机制层的注意力机制的由下式表示：
Figure FDA0003392021260000021
其中，Q表示查询，K表示键，V表示值，dk表示Q、K、V的特征维度。
7.根据权利要求3所述的方法，其特征在于，所述TC卷积模块中：
所述窗口的大小为w*w，所述第一Conv2D卷积层的卷积核为k*k，步长为1，其中，k≠1。
8.一种道路区域识别装置，其特征在于，包括：
获取模块：被配置为获取待检测道路图像；
构建模块：被配置为构建道路区域识别模型，所述道路区域识别模型包括TC-PC主干网络和解码器网络；
提取模块：被配置为利用所述TC-PC主干网络对所述待检测道路图像进行特征提取，得到道路图像特征图；
处理模块：被配置为利用所述解码器网络对所述道路图像特征图进行处理，得到道路区域识别结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使计算机执行权利要求1至7任一所述方法。
CN202111472168.9A 2021-12-03 2021-12-03 道路区域识别方法及相关设备 Pending CN114419577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111472168.9A CN114419577A (zh) 2021-12-03 2021-12-03 道路区域识别方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111472168.9A CN114419577A (zh) 2021-12-03 2021-12-03 道路区域识别方法及相关设备

Publications (1)

Publication Number Publication Date
CN114419577A true CN114419577A (zh) 2022-04-29

Family

ID=81265908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111472168.9A Pending CN114419577A (zh) 2021-12-03 2021-12-03 道路区域识别方法及相关设备

Country Status (1)

Country Link
CN (1) CN114419577A (zh)

Similar Documents

Publication Publication Date Title
CN112102411B (zh) 一种基于语义误差图像的视觉定位方法及装置
US9607388B2 (en) System and method of pose estimation
CN109003297B (zh) 一种单目深度估计方法、装置、终端和存储介质
US10062195B2 (en) Method and device for processing a picture
US10692249B2 (en) Octree traversal for anchor point cloud compression
US20170171547A1 (en) Method for controlling data rate of motion video and electronic apparatus
CN113642673A (zh) 图像生成方法、装置、设备及存储介质
CN114758203B (zh) 用于高光谱图像分类的残差密集视觉转换方法和系统
CN114913061A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN115564995A (zh) 一种退役新能源动力电池识别方法及系统
US20220100795A1 (en) Systems and methods for image retrieval
CN114399737A (zh) 一种道路检测方法、装置、存储介质及电子设备
CN117292122A (zh) 一种rgb-d显著性物体检测、语义分割方法及系统
CN114419577A (zh) 道路区域识别方法及相关设备
CN111327897B (zh) 点云编码方法和编码器
Cao et al. GhostCount: A lightweight convolution network based on high‐altitude video for vehicle instantaneous counting in dense traffic scenes
EP3579561A1 (en) Prediction for light-field coding and decoding
CN111626919B (zh) 图像合成方法、装置、电子设备及计算机可读存储介质
CN114842066A (zh) 图像深度识别模型训练方法、图像深度识别方法及装置
CN114359490A (zh) 基于多模态融合的电磁地图构建方法及相关装置
CN112633198A (zh) 一种图片处理方法、装置、存储介质及电子装置
CN116821699B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
US20240046601A1 (en) Deep recognition model training method, electronic device and readable storage medium
WO2023272662A1 (en) Adaptive object detection
US20220301127A1 (en) Image processing pipeline for optimizing images in machine learning and other applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination