CN114399737A - 一种道路检测方法、装置、存储介质及电子设备 - Google Patents

一种道路检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114399737A
CN114399737A CN202111624363.9A CN202111624363A CN114399737A CN 114399737 A CN114399737 A CN 114399737A CN 202111624363 A CN202111624363 A CN 202111624363A CN 114399737 A CN114399737 A CN 114399737A
Authority
CN
China
Prior art keywords
channel
image data
convolution
calculation
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111624363.9A
Other languages
English (en)
Inventor
张号逵
胡文泽
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202111624363.9A priority Critical patent/CN114399737A/zh
Publication of CN114399737A publication Critical patent/CN114399737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Abstract

本发明公开了一种道路检测方法、装置、存储介质及电子设备，该方法包括：获取包含道路的视觉图像数据和伪雷达图像数据；基于双通道卷积－编码堆叠网络中的双通道分别对视觉图像数据和伪雷达图像数据进行特征提取以及特征交互计算，得到计算结果；基于检测网络对计算结果以及双通道卷积－编码堆叠网络提取的特征进行检测得到道路分割结果。通过实施本发明，采用伪雷达图像数据和视觉图像数据完成道路的分割检测；极大降低了应用成本和相应设备的功耗；并且，在双通道卷积－编码堆叠网络中，计算时可以由另一通道提取的特征为当前通道的计算提供参考，相比与直接对图像数据处理的方式，该通过特征的提取以及特征交互计算提高了检测的精度。

Description

一种道路检测方法、装置、存储介质及电子设备
技术领域
本发明涉及深度学习技术领域，具体涉及一种道路检测方法、装置、存储介质及电子设备。
背景技术
道路检测技术是辅助驾驶、无人驾驶技术中的关键部分，能够为司机或者车辆的驾驶决策部分提供必要的道路环境信息。由于道路环境的复杂性，道路检测的结果易于受到阴影、车辆、以及各种复杂交通状况的影响。因此探索能准确检测道路的道路检测算法是十分重要的。
道路检测的目标是给出检测图像中所有属于可行使道路的像素。当前的道路检测算法，主要分为纯视觉图像的道路检测算法及依赖雷达数据的道路检测算法。纯视觉图像的道路检测算法应用简单，但是精度较低。而依赖雷达数据的道路检测算法虽然精度较高，但是存在数据采集需要依赖雷达采集设备的问题。一方面，雷达采集设备成本较高，依赖雷达数据，增加了算法落地应用时的使用成本。另一方面，雷达采集设备功耗较高，在实际的自动驾驶应用中，雷达设备的使用极大增加了车辆的使用功耗。
发明内容
有鉴于此，本发明实施例提供了涉及一种道路检测方法、装置、存储介质及电子设备，以解决现有技术中道路检测算法依赖于雷达数据，成本较高的技术问题。
本发明提出的技术方案如下：
本发明实施例第一方面提供一种道路检测方法，包括：获取包含道路的视觉图像数据和伪雷达图像数据；基于双通道卷积－编码堆叠网络中的双通道分别对所述视觉图像数据和伪雷达图像数据进行特征提取以及特征交互计算，得到计算结果；基于检测网络对所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行检测得到道路分割结果。
可选地，所述双通道卷积－编码堆叠网络包括多个堆叠设置的双通道卷积－编码模块，每个双通道卷积－编码模块包括第一通道和第二通道，所述第一通道包括依次设置的卷积模块和编码模块，所述第二通道的结构和所述第一通道的结构相同。
可选地，基于双通道卷积－编码堆叠网络中的双通道分别对所述视觉图像数据和伪雷达图像数据进行特征提取以及特征交互计算，得到计算结果，包括：将所述视觉图像数据和伪雷达图像数据分别输入至第一个双通道卷积－编码模块的第一通道和第二通道进行特征提取以及特征交互计算，得到第一通道的第一计算结果和第二通道的第一计算结果；将所述第一通道的第一计算结果和第一通道提取的特征输入至第二个双通道卷积－编码模块的第一通道，将所述第二通道的第一计算结果和第二通道提取的特征输入至第二个双通道卷积－编码模块的第二通道，以使得所述第二个双通道卷积－编码模块进行特征提取以及特征交互计算；依次类推，将上一个双通道卷积－编码模块的计算结果以及提取的特征输入至下一个双通道卷积－编码模块进行特征提取以及特征交互计算，直至得到最后一个双通道卷积－编码模块的计算结果。
可选地，将所述视觉图像数据和伪雷达图像数据分别输入至第一个双通道卷积－编码模块的第一通道和第二通道进行特征提取以及特征交互计算，得到第一通道的第一计算结果和第二通道的第一计算结果，包括：基于所述第一通道的卷积模块对所述视觉图像进行特征提取，得到第一特征和第二特征；基于所述第二通道的卷积模块对所述伪雷达图像进行特征提取，得到第三特征；将所述第一特征、第二特征以及第三特征共同输入至所述第一通道的编码模块以及所述第二通道的编码模块进行计算，得到第一通道的第一计算结果和第二通道的第一计算结果。
可选地，将所述第一特征、第二特征以及第三特征共同输入至所述第一通道的编码模块以及所述第二通道的编码模块进行计算，得到第一通道的第一计算结果和第二通道的第一计算结果，包括：将所述第一特征和所述第二特征进行全连接计算，得到全连接输出；根据所述全连接输出和所述第三特征计算得到单个注意力头的输出；基于映射函数，将单个注意力头的输出合并得到多头注意力机制的输出；采用后处理层对所述多头注意力机制的输出进行后处理，所述后处理层包括第一批量归一化模块和第二批量归一化模块；根据所述多头注意力机制的输出和后处理结果计算得到第一计算结果或第二计算结果。
可选地，所述伪雷达图像数据通过以下方式获取：根据深度预测网络对所述视觉图像数据进行深度预测，得到深度图像数据；根据所述深度图像数据生成伪雷达图像数据；或者，所述伪雷达图像数据通过以下方式获取：基于数据补全模型对稀疏雷达图像数据处理，得到伪雷达图像数据，所述数据补全模型包括多个卷积层。
可选地，基于检测网络对所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行检测得到道路分割结果，包括：将所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行合并，得到新的特征；根据检测网络中的卷积模块对所述新的特征进行检测计算，得到道路分割结果。
本发明实施例第二方面提供一种道路检测装置，包括：数据获取模块，用于获取包含道路的视觉图像数据和伪雷达图像数据；特征提取交互模块，用于基于双通道卷积－编码堆叠网络中的双通道分别对所述视觉图像数据和伪雷达图像数据进行特征提取以及特征交互计算，得到计算结果；检测模块，用于基于检测网络对所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行检测得到道路分割结果。
本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的道路检测方法。
本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的道路检测方法。
本发明提供的技术方案，具有如下效果：
本发明实施例提供的道路检测方法、装置、存储介质及电子设备，采用伪雷达图像数据和视觉图像数据，不依赖雷达数据即可完成道路的分割检测；相比采用雷达图像数据检测的方式，极大降低了应用成本，同时还降低了相应设备的功耗；并且，该道路检测方法采用双通道卷积－编码堆叠网络以及检测网络进行道路分割检测，在双通道卷积－编码堆叠网络中，实现了特征的提取以及交互计算，计算时可以由另一通道提取的特征为当前通道的计算提供参考，相比与直接对图像数据处理的方式，采用双通道卷积－编码堆叠网络通过特征的提取以及特征交互计算提高了检测的精度。
本发明实施例提供的道路检测方法，采用伪雷达图像数据和视觉图像数据进行道路检测，其中伪雷达图像数据可以采用稀疏打点的雷达设备获取，相比现有的能够获取雷达数据的雷达设备，该稀疏打点的雷达设备降低了功耗和成本；此外，该伪雷达图像数据还可以由视觉图像数据获取得到，及完全不采用雷达设备，由此进一步降低了成本和功耗。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的道路检测方法的流程图；
图2是根据本发明另一实施例的道路检测方法的流程图；
图3是根据本发明另一实施例的道路检测方法的流程图；
图4是根据本发明另一实施例的道路检测方法的流程图；
图5是根据本发明另一实施例的道路检测方法的流程图；
图6是根据本发明实施例的道路检测装置的结构框图；
图7是根据本发明实施例提供的计算机可读存储介质的结构示意图；
图8是根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
正如在背景技术中所述，目前在进行道路检测时大多是采用纯视觉图像的道路检测算法或者是针对依赖雷达图像的道路检测算法。但是无论是哪一种算法均存在一定的缺陷，因此，需要一种检测精度较高且成本较低的道路检测算法。
有鉴于此，本发明实施例提供一种道路检测方法，基于伪雷达数据，通过采用双通道网络进行道路检测，不仅应用成本低，同时具有较高的检测精度，克服了现有算法对雷达数据及设备的依赖问题。该道路检测方法可以应用于自动驾驶领域也可以应用到其他需要进行道路检测的场景中，本发明实施例对该道路检测方法的应用场景不做具体限定。
根据本发明实施例，提供了一种道路检测方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种道路检测方法，可用于电子设备，如电脑、手机、平板电脑等，图1是根据本发明实施例的道路检测方法的流程图，如图1所示，该方法包括如下步骤：
步骤S101：获取包含道路的视觉图像数据和伪雷达图像数据。具体地，由于获取雷达数据所用的雷达采集设备成本高且功耗大，由此可以采用伪雷达数据进行道路检测。其中，视觉图像数据可以是车载摄像头获取的包含道路的RGB图像数据，该视觉图像数据能够表征出车辆前方的道路信息。此外，也可以采用其他合理方式获取视觉图像数据，本发明实施例对此不做限定。
当采用依赖雷达图像数据的道路检测算法时，所采用的雷达设备需要密集打点，采集稠密的雷达信息，即需要获取到256＊256的图像数据。由此，为了降低成本，可以采用稀疏雷达设备获取的稀疏雷达图像数据生成伪雷达图像数据。具体基于数据补全模型对稀疏雷达图像数据进行数据处理生成伪雷达图像数据。该数据补全模型可以由卷积神经网络构成，为了使该卷积神经网络能够生成伪雷达图像数据，前期可以采用雷达图像数据对该卷积神经网络进行训练，确定卷积神经网络的参数，从而实现卷积神经网络对伪雷达图像数据的处理。具体地，可以先获取一些稀疏雷达图像数据和雷达图像数据对该卷积神经网络进行训练，训练时将稀疏雷达图像数据作为卷积神经网络的输入，雷达图像数据作为卷积神经网络的输出，通过训练过程中可以确定该卷积神经网络的参数，由此，通过确定参数的卷积神经网络模型即可得到数据补全模型。此外，该数据补全模型也可以采用其他方式实现伪雷达图像数据的处理，本发明实施例不以此为限。
在一实施方式中，为了进一步降低成本，可以完全不使用雷达设备，即采用摄像头获取的视觉图像生成伪雷达图像。由此，该伪雷达图像数据通过以下方式获取：根据深度预测网络对所述视觉图像数据进行深度预测，得到深度图像数据；根据所述深度图像数据生成伪雷达图像数据。
其中，该深度预测网络可以采用现有的深度预测网络，如卷积神经网络等。具体地，该深度预测网络可以采用以下方式训练得到：获取一定数量的RGB图像数据和其对应的深度图像数据，将RGB图像数据作为卷积神经网络的输入，其对应的深度图像数据其对应的深度图像数据作为卷积神经网络的输出，进行卷积神经网络的训练，确定卷积神经网络的参数，由此即可得到深度预测网络。实际使用时，将得到的RGB图像输入至该深度预测网络，即可输出深度图像数据。在生成深度图像数据后，可以采用如下的公式计算，从而生成伪雷达图像数据，
Figure BDA0003437466320000071
在该公式中，参数δh采用公式
Figure BDA0003437466320000072
计算，而该公式中的H(u,v)采用公式
Figure BDA0003437466320000073
其中，(u,v)表示RGB图像数据中像素坐标位置，D(u，v)表示该位置的深度图数值，PL(u，v)表示该位置的伪雷达图像值，(Nu，Nv)表示像素的一定邻域范围，通常情况下取7×7邻域即可。fv表示相机焦距，(Cu，Cv)表示摄像头成像的原点坐标。
步骤S102：基于双通道卷积-编码堆叠网络中的双通道分别对所述视觉图像数据和伪雷达图像数据进行特征提取以及特征交互计算，得到计算结果。
对于获取的伪雷达图像数据和视觉图像数据，可以将其输入到预先训练的道路检测模型中进行道路检测，即可分割得到道路检测结果。在该实施例中，预先训练的道路检测模型包括双通道卷积-编码堆叠网络以及检测网络。需要说明的是，该道路检测模型可以采用有标定的分割结果的伪雷达数据图像数据和视觉图像数据进行训练，在模型收敛之后，将模型中的参数固定下来，从而得到预先训练的道路检测模型。具体地，该预先训练的过程包括：获取一定熟练的伪雷达数据图像数据和视觉图像数据，这些伪雷达数据图像数据和视觉图像数据标注有分割结果的标签，将伪雷达数据图像数据和视觉图像数据输入至道路检测模型中进行训练，直至模型收敛，得到其中的参数。由此即可确定预先训练的道路检测模型。在实际应用场景中，可以直接将获取的包含道路的伪雷达数据图像数据和视觉图像数据输入到该预先训练的道路检测模型中，进行正向传播即可得到道路分割检测结果。
在一实施方式中，对于获取到的伪雷达图像数据和视觉图像数据，先将其输入到道路检测模型的双通道卷积-编码堆叠网络中进行特征提取和特征交互计算；其中，由于该双通道卷积-编码堆叠网络具有双通道，对于每个通道提取的图像中的特征均可以发送到另一通道中实现特征的交互计算，由此在计算时可以由另一通道提取的特征为当前通道的计算提供参考，相比与直接对图像数据处理的方式，该道路检测模型采用双通道卷积-编码堆叠网络通过特征的提取以及特征交互计算提高了检测的精度。
步骤S103：基于检测网络对所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行检测得到道路分割结果。具体地，在双通道卷积－编码堆叠网络对伪雷达图像数据和视觉图像数据进行特征提取和特征交互计算后，可以将提取的特征以及相应的计算结果合并后输入到检测网络中进行分割检测，从而得到最终的道路分割结果。
本发明实施例提供的道路检测方法，采用伪雷达图像数据和视觉图像数据，不依赖雷达数据即可完成道路的分割检测；相比采用雷达图像数据检测的方式，极大降低了应用成本，同时还降低了相应设备的功耗；并且，该道路检测方法采用双通道卷积－编码堆叠网络以及检测网络进行道路分割检测，在双通道卷积－编码堆叠网络中，实现了特征的提取以及交互计算，计算时可以由另一通道提取的特征为当前通道的计算提供参考，相比与直接对图像数据处理的方式，采用双通道卷积－编码堆叠网络通过特征的提取以及特征交互计算提高了检测的精度。
本发明实施例提供的道路检测方法，采用伪雷达图像数据和视觉图像数据进行道路检测，其中伪雷达图像数据可以采用稀疏打点的雷达设备获取，相比现有的能够获取雷达数据的雷达设备，该稀疏打点的雷达设备降低了功耗和成本；此外，该伪雷达图像数据还可以由视觉图像数据获取得到，及完全不采用雷达设备，由此进一步降低了成本和功耗。
在一实施方式中，如图2所示，双通道卷积－编码堆叠网络包括多个堆叠设置的双通道卷积－编码模块，每个双通道卷积－编码模块包括第一通道和第二通道，所述第一通道包括依次设置的卷积模块和编码模块，所述第二通道的结构和所述第一通道的结构相同。其中，卷积模块由卷积神经网络(Convolutional Neural Networks，CNN)构成，在该实施例中，卷积模块中包括多层卷积网络。编码模块由TFM(transformer模型，变压器模型)构成，在该实施例中，该编码模块主要包括TFM的编码结构。
在一实施方式中，由于双通道卷积－编码堆叠网络包括多个堆叠设置的双通道卷积－编码模块，由此，输入的伪雷达图像数据和视觉图像数据可以依次通过每个双通道卷积－编码模块进行特征提取和特征交互计算。
如图2所示，首先，将所述视觉图像数据和伪雷达图像数据分别输入至第一个双通道卷积－编码模块的第一通道和第二通道进行特征提取以及特征交互计算，得到第一通道的第一计算结果和第二通道的第一计算结果；然后将所述第一通道的第一计算结果和第一通道提取的特征输入至第二个双通道卷积－编码模块的第一通道，将所述第二通道的第一计算结果和第二通道提取的特征输入至第二个双通道卷积－编码模块的第二通道，在所述第一通道和所述第二通道进行特征提取以及特征交互计算，得到第一通道的第二计算结果和第二通道的第二计算结果；依次类推，将上一个双通道卷积－编码模块的计算结果以及提取的特征输入至下一个双通道卷积－编码模块进行特征提取以及特征交互计算，直至得到最后一个双通道卷积－编码模块的计算结果。
其中，由于多个双通道卷积－编码模块依次进行特征提取和特征交互计算，即上一个模块中的结果会输入到下一个模块中进行提取和计算，因此，后续模块中处理的数据相比前面模块的数据会更加冗余。基于该特性，对于双通道卷积－编码模块中的卷积模块可以依据具体处理的数据设置不同的卷积网络层数。例如，后面卷积模块的卷积层数相比前面的卷积层数逐渐增加，从而实现更冗余数据的处理。
在一实施方式中，如图3所示，将所述视觉图像数据和伪雷达图像数据分别输入至第一个双通道卷积－编码模块的第一通道和第二通道进行特征提取以及特征交互计算，得到第一通道的第一计算结果和第二通道的第一计算结果，包括如下步骤：
步骤S201：基于所述第一通道的卷积模块对所述视觉图像进行特征提取，得到第一特征和第二特征。其中，该第一特征和第二特征中实际包含的特征可以相同。具体地，卷积模块在对视觉图像数据进行特征提取后，可以将提取的特征复制，得到两份特征，即第一特征Q和第二特征K。
步骤S202：基于所述第二通道的卷积模块对所述伪雷达图像进行特征提取，得到第三特征。其中，第二通道的卷积模块对伪雷达图像数据提取的特征可以作为第三特征V。
步骤S203：将所述第一特征、第二特征以及第三特征共同输入至所述第一通道的编码模块以及所述第二通道的编码模块进行计算，得到第一通道的第一计算结果和第二通道的第一计算结果。对于上述卷积模块提取的三个特征Q、K以及V可以作为每个通道中编码模块TFM的三个输入，即第一通道的卷积模块不仅将特征Q、K输入至第一通道的编码模块，还输入至第二通道的编码模块；同理，第二通道的编码模块将特征V输入至第二通道的编码模块以及第一通道的编码模块。由此实现特征的交互计算。
具体地，由于第一通道的编码模块和第二通道的编码模块均接收三个特征Q、K以及V进行计算，同时，第一通道和第二通道结构相同。由此，两个通道的编码模块计算过程相同。如图4和图5所示，对一个通道的编码模块的计算过程进行说明：
步骤S301：将所述第一特征和所述第二特征进行全连接计算，得到全连接输出。其中，在全连接计算之前，先计算第一特征Q的映射矩阵WQ和第二特征K的映射矩阵WK。然后基于第一特征、第二特征以及相应的映射矩阵进行全连接计算。该全连接计算采用如下公式表示：
Figure BDA0003437466320000111
其中，d表示特征维度。[]T表示转置运算。
步骤S302：根据所述全连接输出和所述第三特征计算得到单个注意力头的输出。当编码模块采用TFM模型时，由于TFM模型的编码结构采用多头注意力机制。由此，需要先基于全连接输出以及第三特征计算单个注意力头的输出。
其中，单个注意力头的输出采用如下公式表示：
Figure BDA0003437466320000121
其中，headi表示一个注意力头的输出。
Figure BDA0003437466320000123
表示可学习参数，即相应特征的映射矩阵，R表示实数，d表示特征维度。
步骤S303：基于映射函数，将单个注意力头的输出合并得到多头注意力机制的输出。其中，在确定单个注意力头的输出后，可以将单个注意力头的输出通过映射函数WhC合并得到多头注意力机制的输出，即将单个注意力头的输出合并后与映射函数WhC相乘即可得到多头注意力机制的输出。由此，多头注意力机制的输出可以表示为：
Figure BDA0003437466320000122
hn表示注意力头的数量。
步骤S304：采用后处理层对所述多头注意力机制的输出进行后处理，所述后处理层包括第一批量归一化模块和第二批量归一化模块。在计算到多头注意力机制的输出后，可以采用后处理层对其进行后处理。该后处理层包括第一批量归一化模块Linear＿BN和第二批量归一化模块Linear＿ABN。
其中，第一批量归一化模块包括线性映射层和批量归一化层(BatchNormalization，BN)，线性映射层用于进行线性变换，或者或线性叠加；批量归一化层利用小批量上的均值和标准差，不断调整中间输出，从而使整个第一批量归一化模块在各层的中间输出的数值更稳定；第二批量归一化模块包括线性映射层、激活函数和批量归一化层，线性映射层作用同上，而激活函数和批量归一化层的设置能够把输入值尽可能地归一化在激活函数这一狭窄区域。具体地，通过第一批量归一化模块的处理，会将多头注意力机制的输出由d特征维度转变为2d特征维度，然后，再通过第二批量归一化模块的处理，能够将2d特征维度再转换为d特征维度。
步骤S305：根据所述多头注意力机制的输出和后处理结果计算得到第一计算结果或第二计算结果。对于后处理层处理后的数据可以和多头注意力机制的输出进行元素相加，该元素相加的结果作为编码模块的计算结果输出。
在一实施方式中，基于检测网络对所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行检测得到道路分割结果时，可以将最后一个双通道卷积－编码模块中两个通道编码模块的计算结果以及两个通道卷积模块提取的特征进行合并，得到新的特征，然后由检测网络中的卷积模块对新的特征进行检测计算，得到道路分割结果，具体地，在上述步骤102中已经通过训练得到了道路检测模型，即已经确定了检测网络中的参数，由此，可以直接将新的特征输入至检测网络得到道路分割结果。
本发明实施例还提供一种道路检测装置，如图6所示，该装置包括：
数据获取模块，用于获取包含道路的视觉图像数据和伪雷达图像数据；具体内容参见上述方法实施例对应部分，在此不再赘述。
特征提取交互模块，用于基于双通道卷积－编码堆叠网络中的双通道分别对所述视觉图像数据和伪雷达图像数据进行特征提取以及特征交互计算，得到计算结果；具体内容参见上述方法实施例对应部分，在此不再赘述。
检测模块，用于基于检测网络对所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行检测得到道路分割结果。具体内容参见上述方法实施例对应部分，在此不再赘述。
本发明实施例提供的道路检测装置，采用伪雷达图像数据和视觉图像数据，不依赖雷达数据即可完成道路的分割检测；相比采用雷达图像数据检测的方式，极大降低了应用成本，同时还降低了相应设备的功耗；并且，该道路检测装置采用双通道卷积－编码堆叠网络以及检测网络进行道路分割检测，在双通道卷积－编码堆叠网络中，实现了特征的提取以及交互计算，计算时可以由另一通道提取的特征为当前通道的计算提供参考，相比与直接对图像数据处理的方式，采用双通道卷积－编码堆叠网络通过特征的提取以及特征交互计算提高了检测的精度。
本发明实施例提供的道路检测装置的功能描述详细参见上述实施例中道路检测方法描述。
本发明实施例还提供一种存储介质，如图7所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中道路检测方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本发明实施例还提供了一种电子设备，如图8所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图8中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的道路检测方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1－5所示实施例中的道路检测方法。
上述电子设备具体细节可以对应参阅图1至图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种道路检测方法，其特征在于，包括：
获取包含道路的视觉图像数据和伪雷达图像数据；
基于双通道卷积－编码堆叠网络中的双通道分别对所述视觉图像数据和伪雷达图像数据进行特征提取以及特征交互计算，得到计算结果；
基于检测网络对所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行检测得到道路分割结果。
2.根据权利要求1所述的道路检测方法，其特征在于，所述双通道卷积－编码堆叠网络包括多个堆叠设置的双通道卷积－编码模块，每个双通道卷积－编码模块包括第一通道和第二通道，所述第一通道包括依次设置的卷积模块和编码模块，所述第二通道的结构和所述第一通道的结构相同。
3.根据权利要求2所述的道路检测方法，其特征在于，基于双通道卷积－编码堆叠网络中的双通道分别对所述视觉图像数据和伪雷达图像数据进行特征提取以及特征交互计算，得到计算结果，包括：
将所述视觉图像数据和伪雷达图像数据分别输入至第一个双通道卷积－编码模块的第一通道和第二通道进行特征提取以及特征交互计算，得到第一通道的第一计算结果和第二通道的第一计算结果；
将所述第一通道的第一计算结果和第一通道提取的特征输入至第二个双通道卷积－编码模块的第一通道，将所述第二通道的第一计算结果和第二通道提取的特征输入至第二个双通道卷积－编码模块的第二通道，以使得所述第二个双通道卷积－编码模块进行特征提取以及特征交互计算；
依次类推，将上一个双通道卷积－编码模块的计算结果以及提取的特征输入至下一个双通道卷积－编码模块进行特征提取以及特征交互计算，直至得到最后一个双通道卷积－编码模块的计算结果。
4.根据权利要求3所述的道路检测方法，其特征在于，将所述视觉图像数据和伪雷达图像数据分别输入至第一个双通道卷积－编码模块的第一通道和第二通道进行特征提取以及特征交互计算，得到第一通道的第一计算结果和第二通道的第一计算结果，包括：
基于所述第一通道的卷积模块对所述视觉图像进行特征提取，得到第一特征和第二特征；
基于所述第二通道的卷积模块对所述伪雷达图像进行特征提取，得到第三特征；
将所述第一特征、第二特征以及第三特征共同输入至所述第一通道的编码模块以及所述第二通道的编码模块进行计算，得到第一通道的第一计算结果和第二通道的第一计算结果。
5.根据权利要求4所述的道路检测方法，其特征在于，将所述第一特征、第二特征以及第三特征共同输入至所述第一通道的编码模块以及所述第二通道的编码模块进行计算，得到第一通道的第一计算结果和第二通道的第一计算结果，包括：
将所述第一特征和所述第二特征进行全连接计算，得到全连接输出；
根据所述全连接输出和所述第三特征计算得到单个注意力头的输出；
基于映射函数，将单个注意力头的输出合并得到多头注意力机制的输出；
采用后处理层对所述多头注意力机制的输出进行后处理，所述后处理层包括第一批量归一化模块和第二批量归一化模块；
根据所述多头注意力机制的输出和后处理结果计算得到第一计算结果或第二计算结果。
6.根据权利要求1所述的道路检测方法，其特征在于，
所述伪雷达图像数据通过以下方式获取：
根据深度预测网络对所述视觉图像数据进行深度预测，得到深度图像数据；
根据所述深度图像数据生成伪雷达图像数据；
或者，所述伪雷达图像数据通过以下方式获取：
基于数据补全模型对稀疏雷达图像数据处理，得到伪雷达图像数据，所述数据补全模型包括多个卷积层。
7.根据权利要求1所述的道路检测方法，其特征在于，基于检测网络对所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行检测得到道路分割结果，包括：
将所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行合并，得到新的特征；
根据检测网络中的卷积模块对所述新的特征进行检测计算，得到道路分割结果。
8.一种道路检测装置，其特征在于，包括：
数据获取模块，用于获取包含道路的视觉图像数据和伪雷达图像数据；
特征提取交互模块，用于基于双通道卷积－编码堆叠网络中的双通道分别对所述视觉图像数据和伪雷达图像数据进行特征提取以及特征交互计算，得到计算结果；
检测模块，用于基于检测网络对所述计算结果以及双通道卷积－编码堆叠网络提取的特征进行检测得到道路分割结果。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－7任一项所述的道路检测方法。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1－7任一项所述的道路检测方法。
CN202111624363.9A 2021-12-27 2021-12-27 一种道路检测方法、装置、存储介质及电子设备 Pending CN114399737A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111624363.9A CN114399737A (zh) 2021-12-27 2021-12-27 一种道路检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111624363.9A CN114399737A (zh) 2021-12-27 2021-12-27 一种道路检测方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN114399737A true CN114399737A (zh) 2022-04-26

Family

ID=81229759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111624363.9A Pending CN114399737A (zh) 2021-12-27 2021-12-27 一种道路检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114399737A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051542A (zh) * 2023-03-06 2023-05-02 深圳市深视智能科技有限公司 缺陷检测方法及缺陷检测装置
CN116091709A (zh) * 2023-04-10 2023-05-09 北京百度网讯科技有限公司 建筑物的三维重建方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051542A (zh) * 2023-03-06 2023-05-02 深圳市深视智能科技有限公司 缺陷检测方法及缺陷检测装置
CN116091709A (zh) * 2023-04-10 2023-05-09 北京百度网讯科技有限公司 建筑物的三维重建方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US11200424B2 (en) Space-time memory network for locating target object in video content
Du et al. Car detection for autonomous vehicle: LIDAR and vision fusion approach through deep learning framework
US11940803B2 (en) Method, apparatus and computer storage medium for training trajectory planning model
US11348270B2 (en) Method for stereo matching using end-to-end convolutional neural network
CN114399737A (zh) 一种道路检测方法、装置、存储介质及电子设备
US11615612B2 (en) Systems and methods for image feature extraction
CN115223117B (zh) 三维目标检测模型的训练和使用方法、装置、介质及设备
CN115147598B (zh) 目标检测分割方法、装置、智能终端及存储介质
US20210117700A1 (en) Lane line attribute detection
CN117079139B (zh) 一种基于多尺度语义特征的遥感图像目标检测方法及系统
GB2579262A (en) Space-time memory network for locating target object in video content
CN117095368A (zh) 一种基于yolov5融合多目标特征增强网络和注意力机制的交通小目标检测方法
CN115249266A (zh) 航路点位置预测方法、系统、设备及存储介质
CN112307850A (zh) 神经网络训练方法、车道线检测方法、装置和电子设备
CN116229406B (zh) 车道线检测方法、系统、电子设备及存储介质
CN116523888B (zh) 路面裂缝的检测方法、装置、设备及介质
Reza et al. An ai-based real-time roadway-environment perception for autonomous driving
WO2024082602A1 (zh) 一种端到端视觉里程计方法及装置
US20230394690A1 (en) Method for obtaining depth images for improved driving safety and electronic device
CN116071721A (zh) 一种基于Transformer的高精地图实时预测方法和系统
Fan et al. PT-ResNet: Perspective transformation-based residual network for semantic road image segmentation
CN115115917A (zh) 基于注意力机制和图像特征融合的3d点云目标检测方法
Zhang et al. Depth Monocular Estimation with Attention-based Encoder-Decoder Network from Single Image
CN111626298A (zh) 一种实时图像语义分割装置及分割方法
CN111353441B (zh) 基于位置数据融合的道路提取方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination