CN114708569B - 道路曲线检测方法、装置、设备及存储介质 - Google Patents
道路曲线检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114708569B CN114708569B CN202210163201.8A CN202210163201A CN114708569B CN 114708569 B CN114708569 B CN 114708569B CN 202210163201 A CN202210163201 A CN 202210163201A CN 114708569 B CN114708569 B CN 114708569B
- Authority
- CN
- China
- Prior art keywords
- image
- curve
- image block
- road
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明涉及无人驾驶技术领域，公开了一种道路曲线检测方法、装置、设备及存储介质，用于提高对道路图像中曲线的检测准确度。道路曲线检测方法包括：获取待检测的道路图像，并对所述待检测的道路图像进行特征提取，生成目标特征道路图像，其中，所述目标特征道路图像包括多个图像块；获取所述目标特征道路图像中每个图像块的曲线存在值，并将所述曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，所述候选图像块集包括多个候选图像块；对所述多个候选图像块进行筛选，得到多个目标图像块；对所述多个目标图像块进行曲线预测，生成目标道路图像。
Description
技术领域
本发明涉及无人驾驶技术领域，尤其涉及一种道路曲线检测方法、装置、设备及存储介质。
背景技术
在无人驾驶场景中，很多感知任务可抽象为图像上的曲线检测，包括车道线、路沿、人行横道线，车辆停止线等，这些路面线在图像上较为稀疏，所占面积较小。
目前主要通过语义分割方式对此类曲线进行检测，此方式将曲线拓展为有一定宽度的区域，然后用逐像素的语义分割来完成检测任务。
但是，目前的语义分割方式需要将计算量平分到图像所有区域，无法集中到某些重点关注的有线经过的区域上，从而对道路图像中曲线的检测准确度较低。
发明内容
本发明提供了一种道路曲线检测方法、装置、设备及存储介质，用于提高对道路图像中曲线的检测准确度。
本发明第一方面提供了一种道路曲线检测方法，包括：获取待检测的道路图像，并对所述待检测的道路图像进行特征提取，生成目标特征道路图像，其中，所述目标特征道路图像包括多个图像块；获取所述目标特征道路图像中每个图像块的曲线存在值，并将所述曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，所述候选图像块集包括多个候选图像块；对所述多个候选图像块进行筛选，得到多个目标图像块；对所述多个目标图像块进行曲线预测，生成目标道路图像。
在一种可行的实施方式中，所述获取待检测的道路图像，并对所述待检测的道路图像进行特征提取，生成目标特征道路图像，其中，所述目标特征道路图像包括多个图像块，包括：获取待检测的道路图像，并将所述待检测的道路图像进行卷积分组，得到多组卷积；通过多个卷积核分别对所述多组卷积中的每组卷积进行降维操作，生成多组降维的卷积；对所述多组降维的卷积中的每组卷积进行特征提取和升维操作，得到多组升维的卷积；将所述多组升维的卷积中的每组卷积进行相加，生成初始特征道路图像；将所述初始特征道路图像分割为多个图像块，得到目标特征道路图像。
在一种可行的实施方式中，所述获取所述目标特征道路图像中每个图像块的曲线存在值，并将所述曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，所述候选图像块集包括多个候选图像块，包括：对所述多个图像块进行单通道处理，得到多个单通道图像块；获取所述多个单通道图像块中每个单通道图像块的像素点曲线存在值；根据所述每个单通道图像块的像素点曲线存在值，得到所述目标特征道路图像中对应的每个图像块的曲线存在值；将所述曲线存在值大于或等于阈值的图像块确定为候选图像块，并将多个所述候选图像块组合为候选图像块集。
在一种可行的实施方式中，所述对所述多个候选图像块进行筛选，得到多个目标图像块，包括：根据自注意力机制对所述多个候选图像块中的每个候选图像块进行筛选处理，生成所述每个候选图像块对应的图像块特征值；根据所述每个候选图像块和对应的图像块特征值，生成多个目标图像块。
在一种可行的实施方式中，所述根据自注意力机制对所述多个候选图像块中的每个候选图像块进行筛选处理，生成所述每个候选图像块对应的图像块特征值，包括：根据自注意力机制将所述多个候选图像块中的每个候选图像块转换为两个特征空间，所述两个特征空间包括第一特征空间和第二特征空间，其中，所述第一特征空间包括一个第一特征空间值，所述第二特征空间包括多个第二特征空间值；将每个候选图像块对应的第一特征空间值分别与对应的多个第二特征空间值进行相乘，得到每个候选图像块对应的多个相乘值；将所述每个候选图像块对应的多个相乘值进行相加，得到多个图像块特征值，每个图像块特征值对应一个候选图像块。
在一种可行的实施方式中，所述对所述多个目标图像块进行曲线预测，生成目标道路图像，包括：对所述多个目标图像块中的每个目标图像块进行关键点回归处理，得到所述每个目标图像块的至少一个关键点集合，所述关键点集合包括起点、中点和结束点，每个关键点包括两个位置数据；根据所述每个目标图像块的至少一个关键点集合和每个目标图像块的曲线存在值，生成每个目标图像块对应的点状线，并根据所述每个目标图像块对应的点状线和所述待检测的道路图像生成目标道路图像。
在一种可行的实施方式中，所述对所述多个目标图像块进行曲线预测，生成目标道路图像，包括：对所述多个目标图像块中的每个目标图像块进行多项式处理，得到每个目标图像块的至少一个多项式，所述每个目标图像块包括多个关键点参数；根据所述每个目标图像块对应的至少一个多项式和对应的多个关键点参数，生成所述每个目标图像块中的至少一条曲线；根据所述每个目标图像块中的至少一条曲线和所述待检测的道路图像生成目标道路图像。
本发明第二方面提供了一种道路曲线检测装置，包括：获取生成模块，用于获取待检测的道路图像，并对所述待检测的道路图像进行特征提取，生成目标特征道路图像，其中，所述目标特征道路图像包括多个图像块；获取加入模块，用于获取所述目标特征道路图像中每个图像块的曲线存在值，并将所述曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，所述候选图像块集包括多个候选图像块；筛选模块，用于对所述多个候选图像块进行筛选，得到多个目标图像块；曲线预测模块，用于对所述多个目标图像块进行曲线预测，生成目标道路图像。
在一种可行的实施方式中，所述获取生成模块具体用于：获取待检测的道路图像，并将所述待检测的道路图像进行卷积分组，得到多组卷积；通过多个卷积核分别对所述多组卷积中的每组卷积进行降维操作，生成多组降维的卷积；对所述多组降维的卷积中的每组卷积进行特征提取和升维操作，得到多组升维的卷积；将所述多组升维的卷积中的每组卷积进行相加，生成初始特征道路图像；将所述初始特征道路图像分割为多个图像块，得到目标特征道路图像。
在一种可行的实施方式中，所述获取加入模块具体用于：对所述多个图像块进行单通道处理，得到多个单通道图像块；获取所述多个单通道图像块中每个单通道图像块的像素点曲线存在值；根据所述每个单通道图像块的像素点曲线存在值，得到所述目标特征道路图像中对应的每个图像块的曲线存在值；将所述曲线存在值大于或等于阈值的图像块确定为候选图像块，并将多个所述候选图像块组合为候选图像块集。
在一种可行的实施方式中，所述筛选模块包括：筛选单元，用于根据自注意力机制对所述多个候选图像块中的每个候选图像块进行筛选处理，生成所述每个候选图像块对应的图像块特征值；生成单元，用于根据所述每个候选图像块和对应的图像块特征值，生成多个目标图像块。
在一种可行的实施方式中，所述筛选单元具体用于：根据自注意力机制将所述多个候选图像块中的每个候选图像块转换为两个特征空间，所述两个特征空间包括第一特征空间和第二特征空间，其中，所述第一特征空间包括一个第一特征空间值，所述第二特征空间包括多个第二特征空间值；将每个候选图像块对应的第一特征空间值分别与对应的多个第二特征空间值进行相乘，得到每个候选图像块对应的多个相乘值；将所述每个候选图像块对应的多个相乘值进行相加，得到多个图像块特征值，每个图像块特征值对应一个候选图像块。
在一种可行的实施方式中，所述曲线预测模块具体用于：对所述多个目标图像块中的每个目标图像块进行关键点回归处理，得到所述每个目标图像块的至少一个关键点集合，所述关键点集合包括起点、中点和结束点，每个关键点包括两个位置数据；根据所述每个目标图像块的至少一个关键点集合和每个目标图像块的曲线存在值，生成每个目标图像块对应的点状线，并根据所述每个目标图像块对应的点状线和所述待检测的道路图像生成目标道路图像。
在一种可行的实施方式中，所述曲线预测模块还具体用于：对所述多个目标图像块中的每个目标图像块进行多项式处理，得到每个目标图像块的至少一个多项式，所述每个目标图像块包括多个关键点参数；根据所述每个目标图像块对应的至少一个多项式和对应的多个关键点参数，生成所述每个目标图像块中的至少一条曲线；根据所述每个目标图像块中的至少一条曲线和所述待检测的道路图像生成目标道路图像。
本发明第三方面提供了一种道路曲线检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述道路曲线检测设备执行上述的道路曲线检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的道路曲线检测方法。
本发明提供的技术方案中，获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；对多个候选图像块进行筛选，得到多个目标图像块；对多个目标图像块进行曲线预测，生成目标道路图像。本发明实施例中，将获取的道路图像划分为图像块集，在图像块集中筛选出曲线存在值高的图像块，再对这些曲线存在值高的图像块的感受野进行增强，得到目标图像块集，在这些目标图像块集的每个图像块中进行曲线预测，生成目标道路图像，提高了对道路图像中曲线的检测准确度。
附图说明
图1为本发明实施例中道路曲线检测方法的一个实施例示意图；
图2为本发明实施例中道路曲线检测方法的另一个实施例示意图；
图3为本发明实施例中道路曲线检测方法的另一个实施例示意图；
图4为本发明实施例中道路曲线检测装置的一个实施例示意图；
图5为本发明实施例中道路曲线检测装置的另一个实施例示意图；
图6为本发明实施例中道路曲线检测设备的一个实施例示意图。
具体实施方式
本发明提供了一种道路曲线检测方法、装置、设备及存储介质，用于提高对道路图像中曲线的检测准确度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中道路曲线检测方法的一个实施例包括：
101、获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；
可以理解的是，本发明的执行主体可以为道路曲线检测装置，还可以是终端，具体此处不做限定。本发明实施例以终端为执行主体为例进行说明。
在本实施例中，待检测的道路图像包括至少一条曲线，例如车道线、路沿、人行横道线和/或车辆停止线。终端对待检测的道路图像进行特征提取的方式包括多种方式，例如，可以通过残差卷积神经网络对待检测的道路图像进行特征提取，通过多层卷积层依次对待检测的道路图像进行卷积操作，并进行图像块分割处理，最终输出目标特征道路图像，目标特征道路图像包括多个图像块；也可以通过视觉变压器transformer对待检测的道路图像进行特征提取，通过transformer中的编码模块Encoders对待检测的道路图像进行编码，得到编码的道路图像数据，再通过transformer中的解码模块Decoders对编码的道路图像数据进行解码，并进行图像块分割处理，生成目标特征道路图像，目标特征道路图像包括多个图像块。
102、获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；
在本实施例中，每个图像块的曲线存在值用于指示每个图像块对图像块中曲线的感兴趣程度，其中，每个图像块包括多个像素点，每个像素点包括像素点曲线存在值，终端根据每个图像块对应的每个像素点的像素点曲线存在值，计算得到对应的图像块的曲线存在值。例如，一个图像块A包括2*2的像素点，其中，a1像素点的像素点曲线存在值为0.6，a2像素点的像素点曲线存在值为0.7，a3像素点的像素点曲线存在值为0.5，a4像素点的像素点曲线存在值为0.6，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，其中，x1、x2、...、n为像素点曲线存在值，m为像素点的个数，Y为图像块的曲线存在值，得到Y＝(0.6+0.7+0.5+0.6)/(2*2)＝0.6，即对应的图像块的曲线存在值为0.6。
103、对多个候选图像块进行筛选，得到多个目标图像块；
在本实施例中，(一)终端根据自注意力机制对多个候选图像块中的每个候选图像块进行筛选处理，生成每个候选图像块对应的图像块特征值；(二)终端根据每个候选图像块和对应的图像块特征值，生成多个目标图像块。
具体的，步骤(一)包括：(1)终端根据自注意力机制将多个候选图像块中的每个候选图像块转换为两个特征空间，两个特征空间包括第一特征空间和第二特征空间，其中，第一特征空间包括一个第一特征空间值，第二特征空间包括多个第二特征空间值；(2)将每个候选图像块对应的第一特征空间值分别与对应的多个第二特征空间值进行相乘，得到每个候选图像块对应的多个相乘值；(3)将每个候选图像块对应的多个相乘值进行相加，得到多个图像块特征值，每个图像块特征值对应一个候选图像块。
例如，终端根据自注意力机制将一个候选图像块D转换为两个特征空间，两个特征空间包括第一特征空间f和第二特征空间g，第一特征空间包括一个第一特征空间值i，第二特征空间包括多个第二特征空间值j1、j2、...、jn，将候选图像块D对应的第一特征空间值分别与对应的多个第二特征空间值进行相乘，得到候选图像块D对应的多个相乘值i*j1、i*j2、...、i*jn，将候选图像块D对应的多个相乘值进行相加，即i*j1+i*j2+...+i*jn，得到候选图像块D对应的图像块特征值。
通过自注意力机制计算各个候选图像块之间的注意力值，以弥补图像的长距离像素区域之间相关性计算效率的不足，从而增强各个候选图像块的感受野，提高了各个候选图像块对曲线的检测能力，进而提高了对图像块中的曲线检测准确度。
104、对多个目标图像块进行曲线预测，生成目标道路图像。
在本实施例中，终端可以在每一个图像块中预测一条曲线，也可以在每一个图像块中预测至少两条曲线。曲线预测的方法可以是基于图像块中的多个关键点对图像块中的曲线进行预测，也可以是基于多项式对图像块中的曲线进行预测。
本发明实施例中，获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；对多个候选图像块进行筛选，得到多个目标图像块；对多个目标图像块进行曲线预测，生成目标道路图像，提高了对道路图像中曲线的检测准确度。
请参阅图2，本发明实施例中道路曲线检测方法的另一个实施例包括：
201、获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；
在本实施例中，待检测的道路图像包括至少一条曲线，例如车道线、路沿、人行横道线和/或车辆停止线。终端对待检测的道路图像进行特征提取的方式包括多种方式，例如，可以通过残差卷积神经网络对待检测的道路图像进行特征提取，通过多层卷积层依次对待检测的道路图像进行卷积操作，并进行图像块分割处理，最终输出目标特征道路图像，目标特征道路图像包括多个图像块；也可以通过视觉变压器transformer对待检测的道路图像进行特征提取，通过transformer中的编码模块Encoders对待检测的道路图像进行编码，得到编码的道路图像数据，再通过transformer中的解码模块Decoders对编码的道路图像数据进行解码，并进行图像块分割处理，生成目标特征道路图像，目标特征道路图像包括多个图像块。
具体的，(1)终端获取待检测的道路图像，并将待检测的道路图像进行卷积分组，得到多组卷积；(2)通过多个卷积核分别对多组卷积中的每组卷积进行降维操作，生成多组降维的卷积；(3)对多组降维的卷积中的每组卷积进行特征提取和升维操作，得到多组升维的卷积；(4)将多组升维的卷积中的每组卷积进行相加，生成初始特征道路图像；(5)将初始特征道路图像分割为多个图像块，得到目标特征道路图像。
例如，终端获取待检测的道路图像，若待检测的道路图像的深度depth为256，则将待检测的道路图像进行卷积分组，得到32组卷积，通过4个1*1大小的卷积核分别对32组卷积中的每组卷积进行降维操作，生成32组降维的卷积，其中，深度depth变为4，分别对32组降维的卷积中的每组卷积进行3*3卷积提取特征，并分别通过256个1x1大小的卷积将32组降维的卷积中的每组卷积升维返回为原来的深度256，得到32组depth为256的特征图，将depth为256的特征图进行相加，生成初始特征道路图像，将初始特征道路图像分割为多个图像块，得到目标特征道路图像。
202、获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；
在本实施例中，每个图像块的曲线存在值用于指示每个图像块对图像块中曲线的感兴趣程度，其中，每个图像块包括多个像素点，每个像素点包括像素点曲线存在值，终端根据每个图像块对应的每个像素点的像素点曲线存在值，计算得到对应的图像块的曲线存在值。例如，一个图像块A包括2*2的像素点，其中，a1像素点的像素点曲线存在值为0.6，a2像素点的像素点曲线存在值为0.7，a3像素点的像素点曲线存在值为0.5，a4像素点的像素点曲线存在值为0.6，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，其中，x1、x2、...、n为像素点曲线存在值，m为像素点的个数，Y为图像块的曲线存在值，得到Y＝(0.6+0.7+0.5+0.6)/(2*2)＝0.6，即对应的图像块的曲线存在值为0.6。
具体的，(1)终端对多个图像块进行单通道处理，得到多个单通道图像块；(2)获取多个单通道图像块中每个单通道图像块的像素点曲线存在值；(3)根据每个单通道图像块的像素点曲线存在值，得到目标特征道路图像中对应的每个图像块的曲线存在值；(4)将曲线存在值大于或等于阈值的图像块确定为候选图像块，并将多个候选图像块组合为候选图像块集。
例如，目标特征道路图像包括4个图像块A、B、C、D，终端对4个图像块进行单通道处理，得到4个单通道图像块，其中，4个图像块中的每个图像块由R、B、G三个通道组成，单通道图像块可以是R通道，也可以是B通道，还可以是G通道，此处不做限定。4个单通道图像块包括单通道图像块A1、单通道图像块B1、单通道图像块C1、单通道图像块D1，其中，单通道图像块A1包括a1、a2、a3、a4四个像素点，单通道图像块B1包括b1、b2、b3、b4四个像素点，单通道图像块C1包括c1、c2、c3、c4四个像素点，单通道图像块D1包括d1、d2、d3、d4四个像素点；获取4个单通道图像块中每个单通道图像块的像素点曲线存在值，单通道图像块A1中a1像素点的像素点曲线存在值为0.4，a2像素点的像素点曲线存在值为0.5，a3像素点的像素点曲线存在值为0.3，a4像素点的像素点曲线存在值为0.4，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，其中，x1、x2、...、n为像素点曲线存在值，m为像素点的个数，Y为图像块的曲线存在值，得到Y＝(0.4+0.5+0.3+0.4)/4＝0.4，即对应的图像块A的曲线存在值为0.4；单通道图像块B1中b1像素点的像素点曲线存在值为0.6，b2像素点的像素点曲线存在值为0.7，b3像素点的像素点曲线存在值为0.6，b4像素点的像素点曲线存在值为0.8，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，得到Y＝0.675，即对应的图像块B的曲线存在值为0.675；单通道图像块C1中c1像素点的像素点曲线存在值为0.8，c2像素点的像素点曲线存在值为0.8，c3像素点的像素点曲线存在值为0.6，c4像素点的像素点曲线存在值为0.7，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，得到Y＝0.725，即对应的图像块C的曲线存在值为0.725；单通道图像块D1中d1像素点的像素点曲线存在值为0.7，d2像素点的像素点曲线存在值为0.8，d3像素点的像素点曲线存在值为0.7，d4像素点的像素点曲线存在值为0.8，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，得到Y＝0.75，即对应的图像块D的曲线存在值为0.75；若阈值为0.7，则将曲线存在值大于或等于阈值的图像块C和图像块D确定为候选图像块，并将这两个候选图像块组合为候选图像块集。
203、对多个候选图像块进行筛选，得到多个目标图像块；
在本实施例中，终端对多个候选图像块进行筛选的方式包括多种方式，例如，可以根据自注意力机制对多个候选图像块进行筛选，也可以根据通过三叉戟网络(Scale-AwareTrident Networks)对多个候选图像块进行筛选，还可以根据其他方式对多个候选图像块进行筛选。
三叉戟网络中具有三个并行分支，不同的并行分支具有不同的感受野尺寸，通过三叉戟网络对不同的候选图像块进行不同感受野的增强，三叉戟网络更有针对性地增加各个候选图像块的感受野，进一步提高了各个候选图像块对曲线的检测能力，从而进一步地提高了对图像块中的曲线检测准确度。
具体的，终端通过三叉戟网络的三个并行分支对多个候选图像块中的每个候选图像块进行不同扩张率的卷积，得到每个候选图像块对应的三个并行分支特征图，根据每个候选图像块对应的三个并行分支特征图，得到每个图像块对应的目标图像块，其中，三个并行分支具有相同的卷积共享参数。
例如，终端通过三叉戟网络的三个并行分支对一个候选图像块进行不同扩张率的卷积，其中，三个并行分支包括第一并行分支、第二并行分支和第三并行分支，第一并行分支的扩张率为1，第二并行分支的扩张率为2，第三并行分支的扩张率为3，通过三个并行分支的卷积操作，得到对应的三个并行分支特征图，根据三个并行分支特征图，生成候选图像块对应的目标图像块。
204、通过关键点对多个目标图像块进行曲线预测，生成目标道路图像。
具体的，(1)终端对多个目标图像块中的每个目标图像块进行关键点回归处理，得到每个目标图像块的至少一个关键点集合，关键点集合包括起点、中点和结束点，每个关键点包括两个位置数据；(2)根据每个目标图像块的至少一个关键点集合和每个目标图像块的曲线存在值，生成每个目标图像块对应的点状线，并根据每个目标图像块对应的点状线和待检测的道路图像生成目标道路图像。
例如，目标图像块的数量为3个，即目标图像块E、目标图像块F和目标图像块G，终端对3个目标图像块中的每个目标图像块进行关键点回归处理，得到每个目标图像块的一个关键点集合，目标图像块E的关键点集合包括起点e1(xe1,ye1)、中点e2(xe2,ye2)和结束点e3(xe3,ye3)，目标图像块F的关键点集合包括起点f1(xf1,yf1)、中点f2(xf2,yf2)和结束点f3(xf3,yf3)，目标图像块G的关键点集合包括起点g1(xg1,yg1)、中点g2(xg2,yg2)和结束点g3(xg3,yg3)，若目标图像块E的曲线存在值为0.7、目标图像块F的曲线存在值为0.8、目标图像块G的曲线存在值为0.7，则根据每个目标图像块的一个关键点集合和每个目标图像块的曲线存在值，生成每个目标图像块对应的点状线，并根据每个目标图像块对应的点状线和待检测的道路图像生成目标道路图像。或者终端对3个目标图像块中的每个目标图像块进行关键点回归处理，得到每个目标图像块的至少两个关键点集合，关键点集合包括起点、中点和结束点，每个关键点包括两个位置数据，根据每个目标图像块的至少两个关键点集合和每个目标图像块的曲线存在值，生成每个目标图像块对应的点状线，并根据每个目标图像块对应的点状线和待检测的道路图像生成目标道路图像。
在一种可行的实施方式中，步骤204还可以替换为如下步骤：通过多项式对多个目标图像块进行曲线预测，生成目标道路图像。
具体的，(1)终端对多个目标图像块中的每个目标图像块进行多项式处理，得到每个目标图像块的至少一个多项式，每个目标图像块包括多个关键点参数；(2)根据每个目标图像块对应的至少一个多项式和对应的多个关键点参数，生成每个目标图像块中的至少一条曲线；(3)根据每个目标图像块中的至少一条曲线和待检测的道路图像生成目标道路图像。
例如，目标图像块的数量为3个，即目标图像块E、目标图像块F和目标图像块G，终端对3个目标图像块中的每个目标图像块进行多项式处理，得到每个目标图像块的一个多项式，目标图像块E的多项式为y＝ax2+bx+c，目标图像块F的多项式为y＝ax3+bx2+cx，目标图像块G的多项式为y＝ax2+bx，每个目标图像块包括多个关键点参数，在目标图像块E中根据多项式y＝ax2+bx+c和目标图像块E的多个关键点参数，生成一条曲线，在目标图像块F中根据多项式y＝ax3+bx2+cx和目标图像块F的多个关键点参数，生成一条曲线，在目标图像块G中根据多项式y＝ax2+bx和目标图像块G的多个关键点参数，生成一条曲线，根据三条曲线和待检测的道路图像生成目标道路图像。或者终端对3个目标图像块中的每个目标图像块进行多项式处理，得到每个目标图像块的至少两个多项式，每个目标图像块包括多个关键点参数，根据每个目标图像块对应的至少两个多项式和对应的多个关键点参数，生成每个目标图像块中的至少两条曲线，根据每个目标图像块中的至少两条曲线和待检测的道路图像生成目标道路图像。
本发明实施例中，获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；对多个候选图像块进行筛选，得到多个目标图像块；对多个目标图像块进行曲线预测，生成目标道路图像，提高了对道路图像中曲线的检测准确度。
请参阅图3，本发明实施例中道路曲线检测方法的另一个实施例包括：
301、获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；
在本实施例中，待检测的道路图像包括至少一条曲线，例如车道线、路沿、人行横道线和/或车辆停止线。终端对待检测的道路图像进行特征提取的方式包括多种方式，例如，可以通过残差卷积神经网络对待检测的道路图像进行特征提取，通过多层卷积层依次对待检测的道路图像进行卷积操作，并进行图像块分割处理，最终输出目标特征道路图像，目标特征道路图像包括多个图像块；也可以通过视觉变压器transformer对待检测的道路图像进行特征提取，通过transformer中的编码模块Encoders对待检测的道路图像进行编码，得到编码的道路图像数据，再通过transformer中的解码模块Decoders对编码的道路图像数据进行解码，并进行图像块分割处理，生成目标特征道路图像，目标特征道路图像包括多个图像块。
具体的，(1)终端获取待检测的道路图像，并将待检测的道路图像进行卷积分组，得到多组卷积；(2)通过多个卷积核分别对多组卷积中的每组卷积进行降维操作，生成多组降维的卷积；(3)对多组降维的卷积中的每组卷积进行特征提取和升维操作，得到多组升维的卷积；(4)将多组升维的卷积中的每组卷积进行相加，生成初始特征道路图像；(5)将初始特征道路图像分割为多个图像块，得到目标特征道路图像。
例如，终端获取待检测的道路图像，若待检测的道路图像的深度depth为256，则将待检测的道路图像进行卷积分组，得到32组卷积，通过4个1*1大小的卷积核分别对32组卷积中的每组卷积进行降维操作，生成32组降维的卷积，其中，深度depth变为4，分别对32组降维的卷积中的每组卷积进行3*3卷积提取特征，并分别通过256个1x1大小的卷积将32组降维的卷积中的每组卷积升维返回为原来的深度256，得到32组depth为256的特征图，将depth为256的特征图进行相加，生成初始特征道路图像，将初始特征道路图像分割为多个图像块，得到目标特征道路图像。
302、获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；
在本实施例中，每个图像块的曲线存在值用于指示每个图像块对图像块中曲线的感兴趣程度，其中，每个图像块包括多个像素点，每个像素点包括像素点曲线存在值，终端根据每个图像块对应的每个像素点的像素点曲线存在值，计算得到对应的图像块的曲线存在值。例如，一个图像块A包括2*2的像素点，其中，a1像素点的像素点曲线存在值为0.6，a2像素点的像素点曲线存在值为0.7，a3像素点的像素点曲线存在值为0.5，a4像素点的像素点曲线存在值为0.6，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，其中，x1、x2、...、n为像素点曲线存在值，m为像素点的个数，Y为图像块的曲线存在值，得到Y＝(0.6+0.7+0.5+0.6)/(2*2)＝0.6，即对应的图像块的曲线存在值为0.6。
具体的，(1)终端对多个图像块进行单通道处理，得到多个单通道图像块；(2)获取多个单通道图像块中每个单通道图像块的像素点曲线存在值；(3)根据每个单通道图像块的像素点曲线存在值，得到目标特征道路图像中对应的每个图像块的曲线存在值；(4)将曲线存在值大于或等于阈值的图像块确定为候选图像块，并将多个候选图像块组合为候选图像块集。
例如，目标特征道路图像包括4个图像块A、B、C、D，终端对4个图像块进行单通道处理，得到4个单通道图像块，其中，4个图像块中的每个图像块由R、B、G三个通道组成，单通道图像块可以是R通道，也可以是B通道，还可以是G通道，此处不做限定。4个单通道图像块包括单通道图像块A1、单通道图像块B1、单通道图像块C1、单通道图像块D1，其中，单通道图像块A1包括a1、a2、a3、a4四个像素点，单通道图像块B1包括b1、b2、b3、b4四个像素点，单通道图像块C1包括c1、c2、c3、c4四个像素点，单通道图像块D1包括d1、d2、d3、d4四个像素点；获取4个单通道图像块中每个单通道图像块的像素点曲线存在值，单通道图像块A1中a1像素点的像素点曲线存在值为0.4，a2像素点的像素点曲线存在值为0.5，a3像素点的像素点曲线存在值为0.3，a4像素点的像素点曲线存在值为0.4，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，其中，x1、x2、...、n为像素点曲线存在值，m为像素点的个数，Y为图像块的曲线存在值，得到Y＝(0.4+0.5+0.3+0.4)/4＝0.4，即对应的图像块A的曲线存在值为0.4；单通道图像块B1中b1像素点的像素点曲线存在值为0.6，b2像素点的像素点曲线存在值为0.7，b3像素点的像素点曲线存在值为0.6，b4像素点的像素点曲线存在值为0.8，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，得到Y＝0.675，即对应的图像块B的曲线存在值为0.675；单通道图像块C1中c1像素点的像素点曲线存在值为0.8，c2像素点的像素点曲线存在值为0.8，c3像素点的像素点曲线存在值为0.6，c4像素点的像素点曲线存在值为0.7，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，得到Y＝0.725，即对应的图像块C的曲线存在值为0.725；单通道图像块D1中d1像素点的像素点曲线存在值为0.7，d2像素点的像素点曲线存在值为0.8，d3像素点的像素点曲线存在值为0.7，d4像素点的像素点曲线存在值为0.8，根据预置的曲线存在值公式Y＝(x1+x2+...+n)/m，得到Y＝0.75，即对应的图像块D的曲线存在值为0.75；若阈值为0.7，则将曲线存在值大于或等于阈值的图像块C和图像块D确定为候选图像块，并将这两个候选图像块组合为候选图像块集。
303、对多个候选图像块进行筛选，得到多个目标图像块；
在本实施例中，终端对多个候选图像块进行筛选的方式包括多种方式，例如，可以根据自注意力机制对多个候选图像块进行筛选，也可以根据通过三叉戟网络(Scale-AwareTrident Networks)对多个候选图像块进行筛选，还可以根据其他方式对多个候选图像块进行筛选。
三叉戟网络中具有三个并行分支，不同的并行分支具有不同的感受野尺寸，通过三叉戟网络对不同的候选图像块进行不同感受野的增强，三叉戟网络更有针对性地增加各个候选图像块的感受野，进一步提高了各个候选图像块对曲线的检测能力，从而进一步地提高了对图像块中的曲线检测准确度。
具体的，终端通过三叉戟网络的三个并行分支对多个候选图像块中的每个候选图像块进行不同扩张率的卷积，得到每个候选图像块对应的三个并行分支特征图，根据每个候选图像块对应的三个并行分支特征图，得到每个图像块对应的目标图像块，其中，三个并行分支具有相同的卷积共享参数。
例如，终端通过三叉戟网络的三个并行分支对一个候选图像块进行不同扩张率的卷积，其中，三个并行分支包括第一并行分支、第二并行分支和第三并行分支，第一并行分支的扩张率为1，第二并行分支的扩张率为2，第三并行分支的扩张率为3，通过三个并行分支的卷积操作，得到对应的三个并行分支特征图，根据三个并行分支特征图，生成候选图像块对应的目标图像块。
304、对多个目标图像块进行曲线预测，将存在曲线的目标图像块确定为曲线图像块，并对每个曲线图像块进行曲线数量预测，得到曲线数量预测结果；
在本实施例中，(1)终端对多个目标图像块中的每个目标图像块进行关键点回归处理，若目标图像块中存在至少两个关键点，则确定对应的目标图像块中存在曲线，并将存在曲线的目标图像块确定为曲线图像块，曲线图像块集包括多个曲线图像块；(2)对每个曲线图像块进行曲线数量预测，若曲线图像块中存在两个关键点，则确定曲线数量预测结果为对应的曲线图像块中存在一条曲线，并将存在一条曲线的曲线图像块确定为第一曲线图像块，将多个第一曲线图像块组合为第一曲线图像块集；(3)若曲线图像块中存在至少三个关键点，则确定曲线数量预测结果为对应的曲线图像块中存在至少两条曲线，并将存在至少两条曲线的曲线图像块确定为第二曲线图像块，将多个第二曲线图像块组合为第二曲线图像块集。
例如，目标图像块的数量为3个，即目标图像块H、目标图像块K和目标图像块M。终端对多个目标图像块中的每个目标图像块进行关键点回归处理，若目标图像块H中存在至少两个关键点，则确定目标图像块H中存在曲线，并将目标图像块H确定为曲线图像块h，若目标图像块K中存在至少两个关键点，则确定目标图像块K中存在曲线，并将目标图像块K确定为曲线图像块k，若目标图像块M中存在至少两个关键点，则确定目标图像块M中存在曲线，并将目标图像块M确定为曲线图像块m，曲线图像块集包括曲线图像块h、曲线图像块k和曲线图像块m。
对每个曲线图像块进行曲线数量预测，若曲线图像块h中存在两个关键点，则确定曲线数量预测结果为曲线图像块h中存在一条曲线，并将曲线图像块h确定为第一曲线图像块h1，若曲线图像块k中存在两个关键点，则确定曲线数量预测结果为曲线图像块k中存在一条曲线，并将曲线图像块k确定为第一曲线图像块k1，若曲线图像块m中存在两个关键点，则确定曲线数量预测结果为曲线图像块m中存在一条曲线，并将曲线图像块m确定为第一曲线图像块m1，将第一曲线图像块h1、第一曲线图像块k1和第一曲线图像块m1组合为第一曲线图像块集。
若曲线图像块h中存在至少三个关键点，则确定曲线数量预测结果为曲线图像块h中存在至少两条曲线，并将曲线图像块h确定为第二曲线图像块h2，若曲线图像块k中存在至少三个关键点，则确定曲线数量预测结果为曲线图像块k中存在至少两条曲线，并将曲线图像块k确定为第二曲线图像块k2，若曲线图像块m中存在至少三个关键点，则确定曲线数量预测结果为曲线图像块m中存在至少两条曲线，并将曲线图像块m确定为第二曲线图像块m2，将第二曲线图像块h2、第二曲线图像块k2和第二曲线图像块m2组合为第二曲线图像块集。
305、若曲线数量预测结果为曲线图像块中存在一条曲线，则通过关键点对多个曲线图像块进行曲线预测，生成目标道路图像；
在本实施例中，(1)若曲线数量预测结果为曲线图像块中存在一条曲线，则终端获取每个第一曲线图像块中两个关键点的位置数据；(2)根据每个第一曲线图像块中两个关键点的位置数据和每个第一曲线图像块的曲线存在值，生成每个第一曲线图像块对应的点状线，并根据每个第一曲线图像块对应的点状线和待检测的道路图像生成目标道路图像。
例如，第一曲线图像块的数量为3个，即第一曲线图像块h1、第一曲线图像块k1和第一曲线图像块m1。若曲线数量预测结果为曲线图像块中存在一条曲线，则终端获取每个第一曲线图像块中两个关键点的位置数据，第一曲线图像块h1包括h1-1(xh1-1,yh1-1)和h1-2(xh1-2,yh1-2)，第一曲线图像块k1包括k1-1(xk1-1,yk1-1)和k1-2(xk1-2,yk1-2)，第一曲线图像块m1包括m1-1(xm1-1,ym1-1)和m1-2(xm1-2,ym1-2)，若第一曲线图像块h1的曲线存在值为0.7、第一曲线图像块k1的曲线存在值为0.8、第一曲线图像块m1的曲线存在值为0.7，则根据每个第一曲线图像块中两个关键点的位置数据和每个第一曲线图像块的曲线存在值，生成每个第一曲线图像块对应的点状线，并根据每个第一曲线图像块对应的点状线和待检测的道路图像生成目标道路图像。
306、若曲线数量预测结果为曲线图像块中存在至少两条曲线，则通过多项式对多个曲线图像块进行曲线预测，生成目标道路图像。
在本实施例中，(1)若曲线数量预测结果为曲线图像块中存在至少两条曲线，则终端对每个第二曲线图像块进行多项式处理，得到每个第二曲线图像块对应的至少两个多项式，每个第二曲线图像块包括至少三个关键点参数；(2)根据每个第二曲线图像块对应的至少两个多项式和对应的至少三个关键点参数，生成每个第二曲线图像块中的至少两条曲线；(3)根据每个第二曲线图像块中的至少两条曲线和待检测的道路图像生成目标道路图像。
例如，第二曲线图像块的数量为3个，即第二曲线图像块h2、第二曲线图像块k2和第二曲线图像块m2。若曲线数量预测结果为曲线图像块中存在两条曲线，则终端对每个第二曲线图像块进行多项式处理，得到第二曲线图像块h2的两个多项式为yh2＝ax2+bx+c和yh2＝ax2+bx，第二曲线图像块k2的两个多项式为yk2＝ax3+bx2+cx和yk2＝ax3+bx2，第二曲线图像块m2的两个多项式为ym2＝ax4+bx3+cx2+d和ym2＝ax4+bx3+cx2，每个第二曲线图像块包括至少三个关键点参数；在第二曲线图像块h2中根据两个多项式yh2＝ax2+bx+c、yh2＝ax2+bx和第二曲线图像块h2的至少三个关键点参数，生成两条曲线，在第二曲线图像块k2中根据两个多项式yk2＝ax3+bx2+cx、yk2＝ax3+bx2和第二曲线图像块k2的至少三个关键点参数，生成两条曲线，在第二曲线图像块m2中根据两个多项式ym2＝ax4+bx3+cx2+d、ym2＝ax4+bx3+cx2和第二曲线图像块m2的至少三个关键点参数，生成两条曲线；根据每个第二曲线图像块中的两条曲线和待检测的道路图像生成目标道路图像。
本发明实施例中，获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；对多个候选图像块进行筛选，得到多个目标图像块；对多个目标图像块进行曲线预测，生成目标道路图像，提高了对道路图像中曲线的检测准确度。
上面对本发明实施例中道路曲线检测方法进行了描述，下面对本发明实施例中道路曲线检测装置进行描述，请参阅图4，本发明实施例中道路曲线检测装置一个实施例包括：
获取生成模块401，用于获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；
获取加入模块402，用于获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；
筛选模块403，用于对多个候选图像块进行筛选，得到多个目标图像块；
曲线预测模块404，用于对多个目标图像块进行曲线预测，生成目标道路图像。
本发明实施例中，获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；对多个候选图像块进行筛选，得到多个目标图像块；对多个目标图像块进行曲线预测，生成目标道路图像，提高了对道路图像中曲线的检测准确度。
请参阅图5，本发明实施例中道路曲线检测装置的另一个实施例包括：
获取生成模块401，用于获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；
获取加入模块402，用于获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；
筛选模块403，用于对多个候选图像块进行筛选，得到多个目标图像块；
曲线预测模块404，用于对多个目标图像块进行曲线预测，生成目标道路图像。
可选的，获取生成模块401还可以具体用于：
获取待检测的道路图像，并将待检测的道路图像进行卷积分组，得到多组卷积；
通过多个卷积核分别对多组卷积中的每组卷积进行降维操作，生成多组降维的卷积；
对多组降维的卷积中的每组卷积进行特征提取和升维操作，得到多组升维的卷积；
将多组升维的卷积中的每组卷积进行相加，生成初始特征道路图像；
将初始特征道路图像分割为多个图像块，得到目标特征道路图像。
可选的，获取加入模块402还可以具体用于：
对多个图像块进行单通道处理，得到多个单通道图像块；
获取多个单通道图像块中每个单通道图像块的像素点曲线存在值；
根据每个单通道图像块的像素点曲线存在值，得到目标特征道路图像中对应的每个图像块的曲线存在值；
将曲线存在值大于或等于阈值的图像块确定为候选图像块，并将多个候选图像块组合为候选图像块集。
可选的，筛选模块403包括：
筛选单元4031，用于根据自注意力机制对多个候选图像块中的每个候选图像块进行筛选处理，生成每个候选图像块对应的图像块特征值；
生成单元4032，用于根据每个候选图像块和对应的图像块特征值，生成多个目标图像块。
可选的，筛选单元4031还可以具体用于：
根据自注意力机制将多个候选图像块中的每个候选图像块转换为两个特征空间，两个特征空间包括第一特征空间和第二特征空间，其中，第一特征空间包括一个第一特征空间值，第二特征空间包括多个第二特征空间值；
将每个候选图像块对应的第一特征空间值分别与对应的多个第二特征空间值进行相乘，得到每个候选图像块对应的多个相乘值；
将每个候选图像块对应的多个相乘值进行相加，得到多个图像块特征值，每个图像块特征值对应一个候选图像块。
可选的，曲线预测模块404可以具体用于：
对多个目标图像块中的每个目标图像块进行关键点回归处理，得到每个目标图像块的至少一个关键点集合，关键点集合包括起点、中点和结束点，每个关键点包括两个位置数据；
根据每个目标图像块的至少一个关键点集合和每个目标图像块的曲线存在值，生成每个目标图像块对应的点状线，并根据每个目标图像块对应的点状线和待检测的道路图像生成目标道路图像。
可选的，曲线预测模块404还可以具体用于：
对多个目标图像块中的每个目标图像块进行多项式处理，得到每个目标图像块的至少一个多项式，每个目标图像块包括多个关键点参数；
根据每个目标图像块对应的至少一个多项式和对应的多个关键点参数，生成每个目标图像块中的至少一条曲线；
根据每个目标图像块中的至少一条曲线和待检测的道路图像生成目标道路图像。
本发明实施例中，获取待检测的道路图像，并对待检测的道路图像进行特征提取，生成目标特征道路图像，其中，目标特征道路图像包括多个图像块；获取目标特征道路图像中每个图像块的曲线存在值，并将曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，候选图像块集包括多个候选图像块；对多个候选图像块进行筛选，得到多个目标图像块；对多个目标图像块进行曲线预测，生成目标道路图像，提高了对道路图像中曲线的检测准确度。
上面图4和图5从模块化功能实体的角度对本发明实施例中的道路曲线检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中道路曲线检测设备进行详细描述。
图6是本发明实施例提供的一种道路曲线检测设备的结构示意图，该道路曲线检测设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对道路曲线检测设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在道路曲线检测设备600上执行存储介质630中的一系列指令操作。
道路曲线检测设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的道路曲线检测设备结构并不构成对道路曲线检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种道路曲线检测设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述道路曲线检测方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述道路曲线检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种道路曲线检测方法，其特征在于，所述道路曲线检测方法包括：
获取待检测的道路图像，并对所述待检测的道路图像进行特征提取，生成目标特征道路图像，其中，所述目标特征道路图像包括多个图像块；
获取所述目标特征道路图像中每个图像块的曲线存在值，并将所述曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，所述候选图像块集包括多个候选图像块；
对所述多个候选图像块进行筛选，得到多个目标图像块；
对所述多个目标图像块进行曲线预测，生成目标道路图像；
所述对所述多个候选图像块进行筛选，得到多个目标图像块，包括：
根据自注意力机制对所述多个候选图像块中的每个候选图像块进行筛选处理，生成所述每个候选图像块对应的图像块特征值；
根据所述每个候选图像块和对应的图像块特征值，生成多个目标图像块。
2.根据权利要求1所述的道路曲线检测方法，其特征在于，所述获取待检测的道路图像，并对所述待检测的道路图像进行特征提取，生成目标特征道路图像，其中，所述目标特征道路图像包括多个图像块，包括：
获取待检测的道路图像，并将所述待检测的道路图像进行卷积分组，得到多组卷积；
通过多个卷积核分别对所述多组卷积中的每组卷积进行降维操作，生成多组降维的卷积；
对所述多组降维的卷积中的每组卷积进行特征提取和升维操作，得到多组升维的卷积；
将所述多组升维的卷积中的每组卷积进行相加，生成初始特征道路图像；
将所述初始特征道路图像分割为多个图像块，得到目标特征道路图像。
3.根据权利要求1所述的道路曲线检测方法，其特征在于，所述获取所述目标特征道路图像中每个图像块的曲线存在值，并将所述曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，所述候选图像块集包括多个候选图像块，包括：
对所述多个图像块进行单通道处理，得到多个单通道图像块；
获取所述多个单通道图像块中每个单通道图像块的像素点曲线存在值；
根据所述每个单通道图像块的像素点曲线存在值，得到所述目标特征道路图像中对应的每个图像块的曲线存在值；
将所述曲线存在值大于或等于阈值的图像块确定为候选图像块，并将多个所述候选图像块组合为候选图像块集。
4.根据权利要求1所述的道路曲线检测方法，其特征在于，所述根据自注意力机制对所述多个候选图像块中的每个候选图像块进行筛选处理，生成所述每个候选图像块对应的图像块特征值，包括：
根据自注意力机制将所述多个候选图像块中的每个候选图像块转换为两个特征空间，所述两个特征空间包括第一特征空间和第二特征空间，其中，所述第一特征空间包括一个第一特征空间值，所述第二特征空间包括多个第二特征空间值；
将每个候选图像块对应的第一特征空间值分别与对应的多个第二特征空间值进行相乘，得到每个候选图像块对应的多个相乘值；
将所述每个候选图像块对应的多个相乘值进行相加，得到多个图像块特征值，每个图像块特征值对应一个候选图像块。
5.根据权利要求1-4中任一项所述的道路曲线检测方法，其特征在于，所述对所述多个目标图像块进行曲线预测，生成目标道路图像，包括：
对所述多个目标图像块中的每个目标图像块进行关键点回归处理，得到所述每个目标图像块的至少一个关键点集合，所述关键点集合包括起点、中点和结束点，每个关键点包括两个位置数据；
根据所述每个目标图像块的至少一个关键点集合和每个目标图像块的曲线存在值，生成每个目标图像块对应的点状线，并根据所述每个目标图像块对应的点状线和所述待检测的道路图像生成目标道路图像。
6.根据权利要求1-4中任一项所述的道路曲线检测方法，其特征在于，所述对所述多个目标图像块进行曲线预测，生成目标道路图像，包括：
对所述多个目标图像块中的每个目标图像块进行多项式处理，得到每个目标图像块的至少一个多项式，所述每个目标图像块包括多个关键点参数；
根据所述每个目标图像块对应的至少一个多项式和对应的多个关键点参数，生成所述每个目标图像块中的至少一条曲线；
根据所述每个目标图像块中的至少一条曲线和所述待检测的道路图像生成目标道路图像。
7.一种道路曲线检测装置，其特征在于，所述道路曲线检测装置包括：
获取生成模块，用于获取待检测的道路图像，并对所述待检测的道路图像进行特征提取，生成目标特征道路图像，其中，所述目标特征道路图像包括多个图像块；
获取加入模块，用于获取所述目标特征道路图像中每个图像块的曲线存在值，并将所述曲线存在值大于或等于阈值的图像块加入候选图像块集，其中，所述候选图像块集包括多个候选图像块；
筛选模块，用于对所述多个候选图像块进行筛选，得到多个目标图像块；
曲线预测模块，用于对所述多个目标图像块进行曲线预测，生成目标道路图像；
所述对所述多个候选图像块进行筛选，得到多个目标图像块，包括：
根据自注意力机制对所述多个候选图像块中的每个候选图像块进行筛选处理，生成所述每个候选图像块对应的图像块特征值；
根据所述每个候选图像块和对应的图像块特征值，生成多个目标图像块。
8.根据权利要求7所述的道路曲线检测装置，其特征在于，所述获取生成模块具体用于：
获取待检测的道路图像，并将所述待检测的道路图像进行卷积分组，得到多组卷积；
通过多个卷积核分别对所述多组卷积中的每组卷积进行降维操作，生成多组降维的卷积；
对所述多组降维的卷积中的每组卷积进行特征提取和升维操作，得到多组升维的卷积；
将所述多组升维的卷积中的每组卷积进行相加，生成初始特征道路图像；
将所述初始特征道路图像分割为多个图像块，得到目标特征道路图像。
9.一种道路曲线检测设备，其特征在于，所述道路曲线检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述道路曲线检测设备执行如权利要求1-6中任意一项所述的道路曲线检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述道路曲线检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210163201.8A CN114708569B (zh) | 2022-02-22 | 2022-02-22 | 道路曲线检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210163201.8A CN114708569B (zh) | 2022-02-22 | 2022-02-22 | 道路曲线检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114708569A CN114708569A (zh) | 2022-07-05 |
| CN114708569B true CN114708569B (zh) | 2023-03-24 |
Family
ID=82167779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210163201.8A Active CN114708569B (zh) | 2022-02-22 | 2022-02-22 | 道路曲线检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708569B (zh) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958226B (zh) * | 2017-12-15 | 2020-05-22 | 海信集团有限公司 | 一种道路曲线检测方法、装置和终端 |
| CN111433780A (zh) * | 2018-11-29 | 2020-07-17 | 深圳市大疆创新科技有限公司 | 车道线检测方法、设备、计算机可读存储介质 |
| CN109815868B (zh) * | 2019-01-15 | 2022-02-01 | 腾讯科技（深圳）有限公司 | 一种图像目标检测方法、装置及存储介质 |
| CN111914596B (zh) * | 2019-05-09 | 2024-04-09 | 北京四维图新科技股份有限公司 | 车道线检测方法、装置、系统及存储介质 |
| CN110503097A (zh) * | 2019-08-27 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、装置及存储介质 |
| CN111539469B (zh) * | 2020-04-20 | 2022-04-08 | 东南大学 | 一种基于视觉自注意力机制的弱监督细粒度图像识别方法 |
| CN112016507B (zh) * | 2020-09-07 | 2023-10-31 | 平安科技（深圳）有限公司 | 基于超分辨率的车辆检测方法、装置、设备及存储介质 |
| CN112052837A (zh) * | 2020-10-09 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 基于人工智能的目标检测方法以及装置 |
| CN112699727B (zh) * | 2020-11-17 | 2022-10-28 | 南京理工大学 | 一种联合反射注意力和自注意力机制的道路水体检测方法 |
| CN112560774A (zh) * | 2020-12-25 | 2021-03-26 | 广州文远知行科技有限公司 | 一种障碍物位置检测方法、装置、设备和存储介质 |
| CN113095152B (zh) * | 2021-03-18 | 2023-08-22 | 西安交通大学 | 一种基于回归的车道线检测方法及系统 |
-
2022
- 2022-02-22 CN CN202210163201.8A patent/CN114708569B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114708569A (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Blueprint separable residual network for efficient image super-resolution | |
| Su et al. | Pixel difference networks for efficient edge detection | |
| Tang et al. | Quadtree attention for vision transformers | |
| Xu et al. | Attention concatenation volume for accurate and efficient stereo matching | |
| Zhao et al. | Building extraction from satellite images using mask R-CNN with building boundary regularization | |
| Yang et al. | Focal self-attention for local-global interactions in vision transformers | |
| CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
| Wang et al. | Fadnet: A fast and accurate network for disparity estimation | |
| Ding et al. | DiResNet: Direction-aware residual network for road extraction in VHR remote sensing images | |
| Liu et al. | Feature pyramid encoding network for real-time semantic segmentation | |
| US20220178688A1 (en) | Method and apparatus for binocular ranging | |
| CN110443805B (zh) | 一种基于像素密切度的语义分割方法 | |
| JP2022518322A (ja) | ソフトクロスエントロピー損失を用いたセマンティックセグメンテーション | |
| CN109858613B (zh) | 一种深度神经网络的压缩方法、系统及终端设备 | |
| Park et al. | C3: Concentrated-comprehensive convolution and its application to semantic segmentation | |
| EP2680226A1 (en) | Temporally consistent superpixels | |
| Chen et al. | Dr-tanet: Dynamic receptive temporal attention network for street scene change detection | |
| CN111709415B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| Wu et al. | Visual transformers: Where do transformers really belong in vision models? | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN112529862A (zh) | 一种交互循环特征重塑的显著性图像检测方法 | |
| CN115131710A (zh) | 基于多尺度特征融合注意力的实时动作检测方法 | |
| Yan et al. | SharpFormer: learning local feature preserving global representations for image deblurring | |
| Su et al. | Lightweight pixel difference networks for efficient visual representation learning | |
| CN114708569B (zh) | 道路曲线检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |