CN112823377B - 一种路沿分割方法、装置、终端设备及可读存储介质 - Google Patents

一种路沿分割方法、装置、终端设备及可读存储介质 Download PDF

Info

Publication number
CN112823377B
CN112823377B CN202180000037.2A CN202180000037A CN112823377B CN 112823377 B CN112823377 B CN 112823377B CN 202180000037 A CN202180000037 A CN 202180000037A CN 112823377 B CN112823377 B CN 112823377B
Authority
CN
China
Prior art keywords
image
processed
road edge
network model
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180000037.2A
Other languages
English (en)
Other versions
CN112823377A (zh
Inventor
林旭南
黄凯明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Streamax Technology Co Ltd
Original Assignee
Streamax Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Streamax Technology Co Ltd filed Critical Streamax Technology Co Ltd
Publication of CN112823377A publication Critical patent/CN112823377A/zh
Application granted granted Critical
Publication of CN112823377B publication Critical patent/CN112823377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开一种路沿分割方法、装置、终端设备及可读存储介质，该路沿分割方法包括获取待处理图像，通过预设方法对待处理图像进行处理，确定待处理图像中每个物体的标签，将待处理图像中路沿标签转换为一维数据，根据预训练的预设网络模型对待处理图像和一维数据进行处理，确定待处理图像中路沿的位置参数，根据位置参数，绘制获得路沿分割结果。本申请通过将待处理图像中的路沿标签转换为一维数据，根据预设网络模型对一维数据进行处理，确定路沿的位置参数，实现通过预测少量参数，将分割问题简化为回归问题，提高计算效率，同时减小遮挡物对路沿分割过程中的影响，提高分割结果的精度和方法适用范围。

Description

一种路沿分割方法、装置、终端设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种路沿分割方法、装置、终端设备及可读存储介质。
背景技术
在车辆自动驾驶系统、盲区识别系统等识别系统中，道路识别、分割是其中的一项基本技术环节，以实现行人避让、紧急制动等功能。
其中，如何准确分割人行道与机动车道之间的界限标志，如路沿、绿化带、围栏等是一个更加精细且重要的问题。
相关路沿分割方法无法准确获取感受野的上下文信息，易受遮挡物的影响，计算效率较低，依赖相关先验参数，造成适用范围有限，鲁棒性差，并且分割结果的精度较低。
申请内容
本申请实施例的目的在于：提供一种路沿分割方法、装置、终端设备及可读存储介质，包括但不限于解决相关路沿分割方法无法准确获取感受野的上下文信息，易受遮挡物的影响，计算效率较低，依赖相关先验参数，造成适用范围有限，鲁棒性差，并且分割结果的精度较低的问题。
本申请实施例采用的技术方案是：
第一方面，提供了一种路沿分割方法，包括：
获取待处理图像；
通过预设方法对所述待处理图像进行处理，确定所述待处理图像中每个物体的标签；
将所述待处理图像中路沿标签转换为一维数据；
根据预训练的预设网络模型对所述待处理图像和所述一维数据进行处理，确定所述待处理图像中路沿的位置参数；
根据所述位置参数，绘制获得路沿分割结果。
在一个实施例中，所述通过预设方法对所述待处理图像进行处理，确定所述待处理图像中每个物体的标签，包括：
通过语义分割处理方法对待处理图像进行语义分割处理，确定所述待处理图像中每个物体的类别；
对每个类别的物体添加对应的标签。
在一个实施例中，所述将所述待处理图像中路沿标签转换为一维数据，包括：
识别所有标签中的路沿标签；
建立多项式模型，将所述路沿标签转换为一维坐标序列。
在一个实施例中，所述预训练的预设网络模型包括ResNet18网络模型、Transformer网络模型和全连接网络模型。
在一个实施例中，所述根据预训练的预设网络模型对所述待处理图像和所述一维数据进行处理，确定所述待处理图像中路沿的位置参数，包括：
将所述待处理图像输入所述ResNet18网络模型进行处理，获得一维图像数据；
通过所述Transformer网络模型对所述一维图像数据处理，获得所述待处理图像中每个路沿的曲线数学参数；
通过所述全连接网络模型对所述曲线数学参数和所述一维数据进行处理，获得所述待处理图像中每一条路沿的位置参数。
在一个实施例中，所述通过所述全连接网络模型对所述曲线数学参数和所述一维数据进行处理，获得所述待处理图像中每一条路沿的位置参数，包括：
通过所述全连接网络模型对所述曲线数学参数进行处理，获得所述待处理图像中每一条路沿的独立参数；
通过预设匹配算法对所述每一条路沿的独立参数和所述一维数据进行匹配，获得所述待处理图像中每一条路沿的位置参数。
在一个实施例中，所述获取待处理图像之前，还包括：
获取路沿分割图像；
通过路沿分割图像对预设网络模型进行预训练，获得预训练的预设网络模型。
第二方面，提供了一种路沿分割装置，包括：
获取模块，用于获取待处理图像；
图像处理模块，用于通过预设方法对所述待处理图像进行处理，确定所述待处理图像中每个物体的标签；
转换模块，用于将所述待处理图像中路沿标签转换为一维数据；
计算模块，用于根据预训练的预设网络模型对所述待处理图像和所述一维数据进行处理，确定所述待处理图像中路沿的位置参数；
绘制模块，用于根据所述位置参数，绘制获得路沿分割结果。
在一个实施例中，所述图像处理模块，包括：
语义分割处理单元，用于通过语义分割处理方法对待处理图像进行语义分割处理，确定所述待处理图像中每个物体的类别；
标签单元，用于对每个类别的物体添加对应的标签。
在一个实施例中，所述转换模块，包括：
识别单元，用于识别所有标签中的路沿标签；
建模单元，用于建立多项式模型，将所述路沿标签转换为一维坐标序列。
在一个实施例中，所述预训练的预设网络模型包括ResNet18网络模型、Transformer网络模型和全连接网络模型。
在一个实施例中，所述计算模块，包括：
输入单元，用于将所述待处理图像输入所述ResNet18网络模型进行处理，获得一维图像数据；
处理单元，用于通过所述Transformer网络模型对所述一维图像数据处理，获得所述待处理图像中每个路沿的曲线数学参数；
匹配单元，用于通过所述全连接网络模型对所述曲线数学参数和所述一维数据进行处理，获得所述待处理图像中每一条路沿的位置参数。
在一个实施例中，匹配单元，包括：
处理子单元，用于通过所述全连接网络模型对所述曲线数学参数进行处理，获得所述待处理图像中每一条路沿的独立参数；
匹配子单元，用于通过预设匹配算法对所述每一条路沿的独立参数和所述一维数据进行匹配，获得所述待处理图像中每一条路沿的位置参数。
在一个实施例中，所述路沿分割装置，还包括：
分割图像获取模块，用于获取路沿分割图像；
预训练模块，用于通过路沿分割图像对预设网络模型进行预训练，获得预训练的预设网络模型。
第三方面，提供一种终端设备，终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的路沿分割方法。
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的路沿分割方法。
第五方面，提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的路沿分割方法。
本申请实施例提供的路沿分割方法的有益效果在于：通过将待处理图像中的路沿标签转换为一维数据，根据预设网络模型对一维数据进行处理，确定路沿的位置参数，实现通过预测少量参数，将分割问题简化为回归问题，提高计算效率，同时减小遮挡物对路沿分割过程中的影响，提高分割结果的精度和方法适用范围。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或示范性技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的路沿分割方法的流程示意图；
图2是本申请实施例提供的路沿分割方法步骤S102的流程示意图；
图3是本申请实施例提供的预训练的预设网络模型的结构示意图；
图4是本申请实施例提供的路沿分割方法步骤S104的流程示意图；
图5是本申请实施例提供的路沿分割装置的结构示意图；
图6是本申请实施例提供的终端设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件，它可以是直接或者间接连接至该另一个部件上。术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。术语“第一”、“第二”仅用于便于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明技术特征的数量。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了说明本申请所提供的技术方案，以下结合具体附图及实施例进行详细说明。
本申请的一些实施例提供路沿分割方法，其可以应用于手机、平板电脑、车载设备、笔记本电脑等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
图1示出了本申请提供的路沿分割方法的示意性流程图，作为示例而非限定，该方法可以应用于上述车载设备中。
S101、获取待处理图像。
在具体应用中，通过预先设置的监控摄像设备，拍摄待识别场景获得待处理图像。其中，待处理场景是指需要进行路沿分割的场景。例如，待识别场景为普通道路、高速公路。
S102、通过预设方法对所述待处理图像进行处理，确定所述待处理图像中每个物体的标签。
在具体应用中，通过预设方法对待识别图像中每个物体进行识别，确定每个物体的类别，并对每个类别物体添加对应的标签。其中，预设方法包括但不限于语义分割处理方法。
S103、将所述待处理图像中路沿标签转换为一维数据。
在具体应用中，识别待处理图像中所有的路沿标签，并将路沿标签转换为一维数据。
S104、根据预训练的预设网络模型对所述待处理图像和所述一维数据进行处理，确定所述待处理图像中路沿的位置参数。
在具体应用中，通过预训练的预设网络模型对待处理图像进行处理，获得待处理图像中所有路沿曲线的数学参数，并与路沿标签的一维数据进行匹配，确定待处理图像中路沿的位置参数。其中，位置参数包括每个路沿的独立参数及所有路沿的公共参数。
S105、根据所述位置参数，绘制获得路沿分割结果。
在具体应用中，根据获得的每个路沿的位置参数，通过投影转换公式进行绘制，获得与待处理图像对应的路沿分割结果。
如图2所示，在一个实施例中，所述步骤S102，包括：
S1021、通过语义分割处理方法对待处理图像进行语义分割处理，确定所述待处理图像中每个物体的类别；
S1022、对每个类别的物体添加对应的标签。
在具体应用中，语义分割处理方法是指通过逐像素判断待处理图像中每个物体类别的处理方法。通过语义分割处理方法对待处理图像进行语义分割处理，可以得到每个物体的掩码(mask)信息，确定每个物体的类别，对每个类别的物体添加对应的标签。
在本实施例中，设定待处理图像包括七个类别的物体，例如：包括行人、机动车、路沿、栏杆、绿化带、马路和背景等7个类别。因此，在通过语义分割处理方法对待处理图像(如一个A×Bpx大小的RGB图像)进行语义分割处理时，可以获得一个A×B×7的三维矩阵。其中，7为通道数，也即物体的类别数。每一个通道中的掩码信息将显现出待处理图像中当前类别的每个物体的范围。
在一个实施例中，所述步骤S103，包括：
识别所有标签中的路沿标签；
建立多项式模型，将所述路沿标签转换为一维坐标序列。
在具体应用中，识别出待处理图像中所有标签中的路沿标签，并通过三次多项式建立多项式模型，将每个路沿标签转换为一维的、由有限个点组成的坐标序列，包括：
待处理图像中任意点的三次曲线可表述为：
X＝kZ3+mZ2+nZ+b (公式1)；
其中，(X，Z)表示道路地面上任意点的位置信息，k,m,n,b表示实数参数，通过将该三次曲线由道路投影到摄像机成像平面后可以表述为：
其中，(u，v)表示摄像机成像平面上任意点的位置坐标，k'，m'，n'，b'均表示摄像头的复合参数，其数值具体根据摄像机焦距、像素点大小、摄像头安装高度等参数进行具体设定。
由于摄像头相对于道路平面存在倾斜角度可将上式转换为：
其中，(u',v')表示变换后的任意点的位置坐标，f表示摄像机的焦距，单位为像素，上式可转换为：
引入α描述路沿的上边界位置，β描述路沿的下边界位置，同时由于道路之间通常相互平行，路沿之间的曲率是相同的，在同一张待处理图像中，所有路沿的参数k”，f”，m”，n'是相同的。假设路沿总数为T，对应的，在同一张待处理图像中的第t个路沿gt可表示为：
gt＝(k”,f”,m”,n',bt”,bt”',αt,βt) (公式5)；
需要说明的是，为调和在不同场景下的路沿数量，设定在一张待处理图像中的路沿总数不超过N。大部分情况下，路沿总数T小于N。例如，一般情况下，一张待处理图像中的路沿总数少于3个，对应设定N为3。
通过三次多项式建立数学模型描述路沿，将路沿的分割问题简化为回归问题，减少了计算量，从而提高计算效率。
在一个实施例中，所述预训练的预设网络模型包括ResNet18网络模型、Transformer网络模型和全连接网络模型。
在具体应用中，设定预训练的预设网络模型以ResNet18网络模型为骨干网络(Backbone)，通过Transformer网络模型处理图像特征信息，最后由全连接网络模型进行计算，对应获得待处理图像中每条路沿的位置参数。
如图3所示，提供了一种预训练的预设网络模型的结构示意图。
如图3，首先将待处理图像输入预训练的预设网络模型中，获得ResNet18网络模型的输出结果S，通过Transformer网络模型中的编码器对S进行处理，获得其输出结果Se，通过Transformer网络模型中的解码器对Se进行处理，获得其输出结果Sd，通过全连接网络模型处理，获得每一条路沿的独立参数，及所有路沿的公共参数，并通过对每一条路沿的独立参数和一维坐标序列进行匹配，根据匹配结果获得待处理图像中每一条路沿的位置参数。
其中，ResNet18网络包括17个卷积层和1个全连接层，在本实施例中，设定ResNet18网络的通道数减小为原来的1/2，以降低计算量，将下采样次数由减少至3次，避免由于路沿的形状特征(一般情况下，路沿的程细长条状)，导致其在下采样中损失过多特征。将待处理图像输入ResNet18网络，可以获得ResNet18网络模型提取得到的特征图像S；其输出的特征图像的尺寸为H×W×C，长H、宽W分别为待处理图像原长、原宽的1/8，C表示特征图像的通道数。
同时，通过在预训练的预设网络模型中设定的Transformer网络模型，可处理经过序列化处理后的特征图像，获取任意两个像素之间的相互关联性，获得任意大小的感受野信息，减小遮挡物对路沿分割结果的影响，从而提高路沿分割结果的精度。
在一个实施例中，在所述步骤S101之前，还包括：
获取路沿分割图像；
通过路沿分割图像对预设网络模型进行预训练，获得预训练的预设网络模型。
在具体应用中，获取大量的路沿分割图像，识别每个路沿分割图像中每个路沿的位置参数，将路沿分割图像划分为训练图像和测试图像，通过训练图像和测试图像对预设网络模型进行预训练，在预训练过程中，可通过双边匹配函数计算损失值，提高模型的输出结果的精度，以获得预训练的预设网络模型。路沿分割图像是指已经过路沿分割处理方法处理后，对应获得的路沿分割结果的图像数据。
如图4所示，在一个实施例中，所述步骤S104，包括：
S1041、将所述待处理图像输入所述ResNet18网络模型进行处理，获得一维图像数据；
S1042、通过所述Transformer网络模型对所述一维图像数据处理，获得所述待处理图像中每个路沿的曲线数学参数；
S1043、通过所述全连接网络模型对所述曲线数学参数和所述一维数据进行处理，获得所述待处理图像中每一条路沿的位置参数。
在具体应用中，将待处理图像输入ResNet18网络模型进行处理，获得ResNet18网络模型输出的特征图像，其具体为一个序列张量，即将原二维的待处理图像展平为一个一维序列S。
在具体应用中，Transformer模型包括Transformer编码器和Transformer解码器两个部分。其中，Transformer编码器包含自注意力模块和前馈模块两个部分。将通过ResNet18网络模型得到的一维序列S输入Transformer编码器可以获得Transformer编码器的输出结果Ep，Ep表示为S的正弦编码，其用于表征像素在序列中的位置先后，避免在将原二维的待处理图像展平的过程中造成的空间信息丢失，Ep与S形状一致。
其中，Ep可表述为：
Ep(pos,2i)＝sin(pos/100002i/dmodel)
Ep(pos,2i+1)＝cos(pos/100002i/dmodel) (公式6)；
其中，pos表示当前特征元素在全部序列中的位置，i表示每个特征元素的序号，获得的上述编码结果Ep将与自注意力机制的计算结果一同输入至Transformer解码器。
其中，Transformer编码器的自注意力模块的计算过程可表述为：
式中，Q表示查询向量，K表示键向量，V表示与值向量，O表示输出向量，其与一维序列S的形状相同。也即Transformer编码器的输出结果为Se，包括Ep和A。
在实际应用中，自注意力机制具体为一种多分支注意力机制，每一个分支为一个head，多分支可表达为：
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO (公式8)；
式中，WO表示一个维度转换矩阵，其用于转换多分支的输出结果。
对应的，每一个分支head可以表述为：
headi＝Attention(QWi Q,KWi K,VWi V) (公式9)；
其中，每一个分支都有其对应的权重矩阵。
在具体应用中，Transformer解码器包含自注意力模块和前馈模块，实现一次性解码N条路沿曲线的数学参数，其输入为Transformer编码器的输出结果Se和Sq，Sq具体为一个空的查询向量，形状为N×C；Transformer解码器中的自注意力模块的计算过程与Transformer编码器的计算过程相同，在此不再赘述。Transformer解码器的输出结果为每个路沿的曲线的数学参数Sd。
在具体应用中，全连接网络包含三个分支，分别用于输出N(设定N为3)条路沿中每一条路沿的独立参数，及所有路沿的公共参数，对每一条路沿的独立参数，及根据路沿标签确定的一维坐标序列进行匹配，获得待处理图像中每一条路沿的位置参数。其中，独立参数包括但不限于路沿的上边界位置信息、下边界位置信息及实数参数，公共参数是指k”，f”，m”，n'。
在一个实施例中，所述通过所述全连接网络模型对所述曲线数学参数和所述一维数据进行处理，获得所述待处理图像中每一条路沿的位置参数，包括：
通过所述全连接网络模型对所述曲线数学参数进行处理，获得所述待处理图像中每一条路沿的独立参数；
通过预设匹配算法对所述每一条路沿的独立参数和所述一维数据进行匹配，获得所述待处理图像中每一条路沿的位置参数。
在具体应用中，预设匹配算法包括但不限于匈牙利匹配算法。
在本实施例中，设定全连接网络中的损失函数为匈牙利匹配损失函数，用于解决匹配问题、便于对预设网络模型进行优化训练。
对应的，全连接网络的输出结果可以表述为：
上述获得的路沿标签的一维坐标序列表示为：
其中，以r按纵坐标由小到大遍历所有点，一般情况下，路沿数量通常小于N，不足的部分可由占位符补充，因此，路沿标签可以表述为：
对应的，对全连接网络模型进行优化的过程可以表述为寻求集合路沿标签L到路沿匹配集合H的映射函数z，优化方向为使两者之间的距离最小，可表示为：
其中，d表示衡量第i个路沿标签与第z(i)个预测输出的路沿位置参数的匹配损失函数，通过预先设定的损失函数(匈牙利匹配损失函数)完成。上述匹配损失函数d可以表述为：
其中，1(·)表示指示函数，ω用于协调不同项的权重，通过上式可以计算获得路沿标签集合L与对应的路沿匹配集合H的匹配结果，对应的回归损失函数可以表述为：
由于，此处设定以N为最大容量来预测路沿的匹配结果。因此，需要设定的参数ct，表征总数N中第t个单位是否有路沿。ct∈{0,1}，0表示无路沿，1表示有路沿，获得最终路沿匹配集合H，根据识别路沿匹配集合H确定的待处理图像中每个路沿的位置参数。
本申请通过将待处理图像中的路沿标签转换为一维数据，根据预设网络模型对一维数据进行处理，确定路沿的位置参数，实现通过预测少量参数，将分割问题简化为回归问题，提高计算效率，同时减小遮挡物对路沿分割过程中的影响，提高分割结果的精度和方法适用范围。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的路沿分割方法，图5示出了本申请实施例提供的路沿分割装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
在本实施例中，路沿分割装置包括：处理器，其中，处理器用于执行存在存储器的以下程序模块：获取模块、图像处理模块、转换模块、计算模块、绘制模块。
参照图5，该路沿分割装置100，包括：
获取模块101，用于获取待处理图像；
图像处理模块102，用于通过预设方法对所述待处理图像进行处理，确定所述待处理图像中每个物体的标签；
转换模块103，用于将所述待处理图像中路沿标签转换为一维数据；
计算模块104，用于根据预训练的预设网络模型对所述待处理图像和所述一维数据进行处理，确定所述待处理图像中路沿的位置参数；
绘制模块105，用于根据所述位置参数，绘制获得路沿分割结果。
在一个实施例中，所述图像处理模块，包括：
语义分割处理单元，用于通过语义分割处理方法对待处理图像进行语义分割处理，确定所述待处理图像中每个物体的类别；
标签单元，用于对每个类别的物体添加对应的标签。
在一个实施例中，所述转换模块，包括：
识别单元，用于识别所有标签中的路沿标签；
建模单元，用于建立多项式模型，将所述路沿标签转换为一维坐标序列。
在一个实施例中，所述预训练的预设网络模型包括ResNet18网络模型、Transformer网络模型和全连接网络模型。
在一个实施例中，所述计算模块，包括：
输入单元，用于将所述待处理图像输入所述ResNet18网络模型进行处理，获得一维图像数据；
处理单元，用于通过所述Transformer网络模型对所述一维图像数据处理，获得所述待处理图像中每个路沿的曲线数学参数；
匹配单元，用于通过所述全连接网络模型对所述曲线数学参数和所述一维数据进行处理，获得所述待处理图像中每一条路沿的位置参数。
在一个实施例中，所述匹配单元，包括：
处理子单元，用于通过所述全连接网络模型对所述曲线数学参数进行处理，获得所述待处理图像中每一条路沿的独立参数；
匹配子单元，用于通过预设匹配算法对所述每一条路沿的独立参数和所述一维数据进行匹配，获得所述待处理图像中每一条路沿的位置参数。
在一个实施例中，所述路沿分割装置，还包括：
分割图像获取模块，用于获取路沿分割图像；
预训练模块，用于通过路沿分割图像对预设网络模型进行预训练，获得预训练的预设网络模型。
本申请通过将待处理图像中的路沿标签转换为一维数据，根据预设网络模型对一维数据进行处理，确定路沿的位置参数，实现通过预测少量参数，将分割问题简化为回归问题，提高计算效率，同时减小遮挡物对路沿分割过程中的影响，提高分割结果的精度和方法适用范围。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图6为本申请一实施例提供的终端设备的结构示意图。如图6所示，该实施例的终端设备6包括：至少一个处理器60(图6中仅示出一个)处理器、存储器61以及存储在所述存储器61中并可在所述至少一个处理器60上运行的计算机程序62，所述处理器60执行所述计算机程序62时实现上述任意各个路沿分割方法实施例中的步骤。
所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备6的举例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，该处理器60还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61在一些实施例中可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61在另一些实施例中也可以是所述终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字卡(Secure Digital,SD)，闪存卡(Flash Card)等。所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上仅为本申请的可选实施例而已，并不用于限制本申请。对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种路沿分割方法，其特征在于，包括：
获取待处理图像；
通过预设方法对所述待处理图像进行处理，确定所述待处理图像中每个物体的标签；
将所述待处理图像中路沿标签转换为一维数据；
根据预训练的预设网络模型对所述待处理图像和所述一维数据进行处理，确定所述待处理图像中路沿的位置参数；所述预训练的预设网络模型包括ResNet18网络模型、Transformer网络模型和全连接网络模型；
根据所述位置参数，绘制获得路沿分割结果；
所述根据预训练的预设网络模型对所述待处理图像和所述一维数据进行处理，确定所述待处理图像中路沿的位置参数，包括：
将所述待处理图像输入所述ResNet18网络模型进行处理，获得一维图像数据；
通过所述Transformer网络模型对所述一维图像数据处理，获得所述待处理图像中每个路沿的曲线数学参数；
通过所述全连接网络模型对所述曲线数学参数和所述一维数据进行处理，获得所述待处理图像中每一条路沿的位置参数。
2.如权利要求1所述的路沿分割方法，其特征在于，所述通过预设方法对所述待处理图像进行处理，确定所述待处理图像中每个物体的标签，包括：
通过语义分割处理方法对待处理图像进行语义分割处理，确定所述待处理图像中每个物体的类别；
对每个类别的物体添加对应的标签。
3.如权利要求1所述的路沿分割方法，其特征在于，所述将所述待处理图像中路沿标签转换为一维数据，包括：
识别所有标签中的路沿标签；
建立多项式模型，将所述路沿标签转换为一维坐标序列。
4.如权利要求1所述的路沿分割方法，其特征在于，所述通过所述全连接网络模型对所述曲线数学参数和所述一维数据进行处理，获得所述待处理图像中每一条路沿的位置参数，包括：
通过所述全连接网络模型对所述曲线数学参数进行处理，获得所述待处理图像中每一条路沿的独立参数；
通过预设匹配算法对所述每一条路沿的独立参数和所述一维数据进行匹配，获得所述待处理图像中每一条路沿的位置参数。
5.如权利要求1至4任一项所述的路沿分割方法，其特征在于，所述获取待处理图像之前，还包括：
获取路沿分割图像；
通过路沿分割图像对预设网络模型进行预训练，获得预训练的预设网络模型。
6.一种路沿分割装置，其特征在于，包括：
获取模块，用于获取待处理图像；
图像处理模块，用于通过预设方法对所述待处理图像进行处理，确定所述待处理图像中每个物体的标签；
转换模块，用于将所述待处理图像中路沿标签转换为一维数据；
计算模块，用于根据预训练的预设网络模型对所述待处理图像和所述一维数据进行处理，确定所述待处理图像中路沿的位置参数；所述预训练的预设网络模型包括ResNet18网络模型、Transformer网络模型和全连接网络模型；
绘制模块，用于根据所述位置参数，绘制获得路沿分割结果；
所述计算模块，包括：
输入单元，用于将所述待处理图像输入所述ResNet18网络模型进行处理，获得一维图像数据；
处理单元，用于通过所述Transformer网络模型对所述一维图像数据处理，获得所述待处理图像中每个路沿的曲线数学参数；
匹配单元，用于通过所述全连接网络模型对所述曲线数学参数和所述一维数据进行处理，获得所述待处理图像中每一条路沿的位置参数。
7.如权利要求6所述的路沿分割装置，其特征在于，所述图像处理模块，包括：
语义分割处理单元，用于通过语义分割处理方法对待处理图像进行语义分割处理，确定所述待处理图像中每个物体的类别；
标签单元，用于对每个类别的物体添加对应的标签。
8.如权利要求6所述的路沿分割装置，其特征在于，所述转换模块，包括：
识别单元，用于识别所有标签中的路沿标签；
建模单元，用于建立多项式模型，将所述路沿标签转换为一维坐标序列。
9.如权利要求6所述的路沿分割装置，其特征在于，所述匹配单元，包括：
处理子单元，用于通过所述全连接网络模型对所述曲线数学参数进行处理，获得所述待处理图像中每一条路沿的独立参数；
匹配子单元，用于通过预设匹配算法对所述每一条路沿的独立参数和所述一维数据进行匹配，获得所述待处理图像中每一条路沿的位置参数。
10.如权利要求6所述的路沿分割装置，其特征在于，所述路沿分割装置，还包括：
分割图像获取模块，用于获取路沿分割图像；
预训练模块，用于通过路沿分割图像对预设网络模型进行预训练，获得预训练的预设网络模型。
11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
CN202180000037.2A 2021-01-14 2021-01-14 一种路沿分割方法、装置、终端设备及可读存储介质 Active CN112823377B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/071744 WO2022151147A1 (zh) 2021-01-14 2021-01-14 一种路沿分割方法、装置、终端设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112823377A CN112823377A (zh) 2021-05-18
CN112823377B true CN112823377B (zh) 2024-02-09

Family

ID=75862553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180000037.2A Active CN112823377B (zh) 2021-01-14 2021-01-14 一种路沿分割方法、装置、终端设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN112823377B (zh)
WO (1) WO2022151147A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551016A (zh) * 2015-12-02 2016-05-04 百度在线网络技术（北京）有限公司 一种基于激光点云的路沿识别方法及装置
CN111507130A (zh) * 2019-01-31 2020-08-07 广州汽车集团股份有限公司 车道级定位方法及系统、计算机设备、车辆、存储介质
CN111898491A (zh) * 2020-07-15 2020-11-06 上海高德威智能交通系统有限公司 一种车辆逆向行驶的识别方法、装置及电子设备
CN112068574A (zh) * 2020-10-19 2020-12-11 中国科学技术大学 一种无人车在动态复杂环境中的控制方法及系统
CN112132109A (zh) * 2020-10-10 2020-12-25 北京百度网讯科技有限公司 车道线处理和车道定位方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060274A (zh) * 2019-04-12 2019-07-26 北京影谱科技股份有限公司 基于深度稠密连接的神经网络的视觉目标跟踪方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551016A (zh) * 2015-12-02 2016-05-04 百度在线网络技术（北京）有限公司 一种基于激光点云的路沿识别方法及装置
CN111507130A (zh) * 2019-01-31 2020-08-07 广州汽车集团股份有限公司 车道级定位方法及系统、计算机设备、车辆、存储介质
CN111898491A (zh) * 2020-07-15 2020-11-06 上海高德威智能交通系统有限公司 一种车辆逆向行驶的识别方法、装置及电子设备
CN112132109A (zh) * 2020-10-10 2020-12-25 北京百度网讯科技有限公司 车道线处理和车道定位方法、装置、设备及存储介质
CN112068574A (zh) * 2020-10-19 2020-12-11 中国科学技术大学 一种无人车在动态复杂环境中的控制方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于道路整体信息的激光雷达路沿识别算法研究;甘能;国优秀硕士学位论文全文数据库工程科技II辑(第第1期期);摘要 *

Also Published As

Publication number Publication date
CN112823377A (zh) 2021-05-18
WO2022151147A1 (zh) 2022-07-21

Similar Documents

Publication Publication Date Title
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN104200228B (zh) 一种安全带识别方法与系统
CN109934181A (zh) 文本识别方法、装置、设备和计算机可读介质
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
Ding et al. Fast lane detection based on bird’s eye view and improved random sample consensus algorithm
CN112613344B (zh) 车辆占道检测方法、装置、计算机设备和可读存储介质
CN112200884B (zh) 一种车道线的生成方法及装置
CN111476099B (zh) 一种目标检测方法、目标检测装置及终端设备
CN112819895A (zh) 一种摄像机标定方法及装置
CN114581887A (zh) 车道线的检测方法、装置、设备和计算机可读存储介质
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN114821519A (zh) 一种基于坐标注意力的交通标志识别方法及系统
CN111145196A (zh) 图像分割方法、装置及服务器
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN112823377B (zh) 一种路沿分割方法、装置、终端设备及可读存储介质
CN111488762A (zh) 一种车道级定位方法、装置及定位设备
CN113205510A (zh) 铁路侵限异物检测方法、装置及终端
CN116630917A (zh) 一种车道线检测方法
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN115965831A (zh) 一种车辆检测模型训练方法和车辆检测方法
CN113313124B (zh) 基于图像分割算法识别车牌号码的方法、装置和终端设备
WO2018143277A1 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
CN114913105A (zh) 激光点云融合方法、装置、服务器及计算机可读存储介质
CN113011268A (zh) 车辆智能导航方法、装置、电子设备及存储介质
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant