CN115063594B - 一种基于自动驾驶的特征提取方法及装置 - Google Patents

一种基于自动驾驶的特征提取方法及装置 Download PDF

Info

Publication number
CN115063594B
CN115063594B CN202210996609.3A CN202210996609A CN115063594B CN 115063594 B CN115063594 B CN 115063594B CN 202210996609 A CN202210996609 A CN 202210996609A CN 115063594 B CN115063594 B CN 115063594B
Authority
CN
China
Prior art keywords
points
image
clustering
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210996609.3A
Other languages
English (en)
Other versions
CN115063594A (zh
Inventor
刘超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingchi Jinan Intelligent Technology Co ltd
Original Assignee
Qingchi Jinan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingchi Jinan Intelligent Technology Co ltd filed Critical Qingchi Jinan Intelligent Technology Co ltd
Priority to CN202210996609.3A priority Critical patent/CN115063594B/zh
Publication of CN115063594A publication Critical patent/CN115063594A/zh
Application granted granted Critical
Publication of CN115063594B publication Critical patent/CN115063594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及辅助驾驶技术领域，提供一种基于自动驾驶的特征提取方法及装置，所述方法包括：获取目标区域的原始图像；将所述原始图像输入至预先训练的语义分割模型中，以基于得到目标物体区域和非目标物体区域的二分类图片；将二分类图片作为掩膜，与对应的原始图像相结合，以获得目标区域的融合图像；利用尺度不变特征变换算法提取所述融合图像中的目标特征点；其中，所述语义分割模型是基于原始图像样本输入二分类分割网络训练得到的。解决了现有技术中车辆行驶环境中特征点提取的准确性较差，且特征点筛选的计算量较大的技术问题。

Description

一种基于自动驾驶的特征提取方法及装置
技术领域
本发明涉及辅助驾驶技术领域，尤其涉及一种基于自动驾驶的特征提取方法及装置。
背景技术
在智能车辆领域中，智能系统通过感知并分析周围的环境信息从而估计自己的运动，以实现在未知环境下的精准定位。作为智能汽车的基础，同时也是自动驾驶技术的四大核心技术之一（环境感知、精确定位、路径规划和线控执行），环境感知技术利用传感器获取道路、车辆位置和障碍物的信息，并将这些信息传递给车载控制中心，为智能汽车提供做决策的依据，在自动驾驶系统中充当“眼睛”的角色，也是实现自动驾驶最关键的环节。
一般的环境感知传感器有毫米波雷达、超声波雷达、激光雷达和摄像机等，其中，摄像机由于其成本低、可识别场景中的路标和行人的特点，成为最常用的传感器。基于视觉的环境感知技术一般是通过车载摄像机采集环境图片，利用算法对图片进行处理从而获取到所需要的信息。
从图像中提取特征是计算机视觉中的一项重要任务，对于大多数基于特征的视觉算法来说，提取的特征的效果将直接影响算法输出结果的准确性。目前的特征提取算法都以整张图片作为搜索区域，不区分物体类别搜索特征。虽然可以提取到大量的特征点，但在自动驾驶场景下，行驶状态下的车辆、行人等动态区域中的特征点对基于特征点的算法都有较大的负面影响，特征点提取的准确性较差，且特征点筛选的计算量较大。
发明内容
本发明提供一种基于自动驾驶的特征提取方法及装置，以至少解决现有技术中车辆行驶环境中特征点提取的准确性较差，且特征点筛选的计算量较大的技术问题。
第一方面，本发明提供一种基于自动驾驶的特征提取方法，所述方法包括：
获取目标区域的原始图像；
将所述原始图像输入至预先训练的语义分割模型中，以基于得到目标物体区域和非目标物体区域的二分类图片；
将二分类图片作为掩膜，与对应的原始图像相结合，以获得目标区域的融合图像；
利用尺度不变特征变换算法提取所述融合图像中的目标特征点；
其中，所述语义分割模型是基于原始图像样本输入二分类分割网络训练得到的。
进一步地，得到目标物体区域和非目标物体区域的二分类图片，之后还包括：
为所述目标物体区域的像素点设置第一标签值，为所述非目标物体区域的像素点设置第二标签值。
进一步地，利用尺度不变特征变换算法提取所述融合图像中的目标特征点，具体包括：
利用尺度不变特征变换算法提取所述融合图像中的当前特征点；
将所述当前特征点与下一时刻的融合图像进行特征匹配，得到匹配特征点集，并计算当前融合图像与下一时刻的融合图像中的特征点所对应的深度，以得到深度图；
基于聚类算法，将所述深度图分割为多个聚类区域，并统计各聚类区域内的内点数和点数比例；
将深度图中动态区域内的像素设为1，其他区域像素赋值为0，得到二值图；
将所述二值图作为掩膜，与原始图像结合以去除运动状态的物体，并提取SIFT特征点，以得到所述目标特征点。
进一步地，基于聚类算法，将所述深度图分割为多个聚类区域，并统计各聚类区域内的内点数和点数比例，具体包括：
利用K均值聚类，将深度图分割为多个物体区域，统计在各个聚类区域内的内点数
Figure 817146DEST_PATH_IMAGE001
和比例
Figure 682333DEST_PATH_IMAGE002
。
进一步地，统计各聚类区域内的内点数和点数比例，之后还包括：
通过迭代求解基础矩阵，筛选出特征点中的内点并剔除外点，统计在各个聚类区域内的内点数
Figure 414666DEST_PATH_IMAGE003
和比例
Figure 998094DEST_PATH_IMAGE004
；
通过迭代求解基础矩阵，筛选出特征点中的内点并剔除外点，统计在各个聚类区域内的内点数
Figure 247810DEST_PATH_IMAGE005
和比例
Figure 233083DEST_PATH_IMAGE006
；
第i个聚类区域若同时满足以下三个条件，则判定该区域为动态物体区域：
Figure 542842DEST_PATH_IMAGE007
式中，
Figure 941462DEST_PATH_IMAGE008
和
Figure 994869DEST_PATH_IMAGE009
为设定的取值范围为0-100的阈值。
进一步地，利用以下公式，计算当前融合图像与下一时刻的融合图像中的特征点所对应的深度：
Figure 834649DEST_PATH_IMAGE010
式中，B为双目摄像机的基线长度，f为摄像机的焦距，disparity代表该点对应的视差值。
第二方面，本发明还提供一种基于自动驾驶的特征提取装置，所述装置包括：
图像获取单元，用于获取目标区域的原始图像；
图像分割单元，用于将所述原始图像输入至预先训练的语义分割模型中，以基于得到目标物体区域和非目标物体区域的二分类图片；
图像融合单元，用于将二分类图片作为掩膜，与对应的原始图像相结合，以获得目标区域的融合图像；
特征提取单元，用于利用尺度不变特征变换算法提取所述融合图像中的目标特征点；
其中，所述语义分割模型是基于原始图像样本输入二分类分割网络训练得到的。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
本发明提供的基于自动驾驶的特征提取方法，通过将采集到的原始图像输入至预先训练的语义分割模型中，以基于得到目标物体区域和非目标物体区域的二分类图片；而后将二分类图片作为掩膜，与对应的原始图像相结合，以获得目标区域的融合图像；最后利用尺度不变特征变换算法提取所述融合图像中的目标特征点。该方法在准确提取非动态物体区域中的特征点的同时，也能大幅降低特征搜索所消耗的时间，更有助于实现在线的视觉任务。解决了现有技术中车辆行驶环境中特征点提取的准确性较差，且特征点筛选的计算量较大的技术问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于自动驾驶的特征提取方法一种具体实施方式的流程图之一；
图2为本发明所提供的基于自动驾驶的特征提取方法一种具体实施方式的流程图之二；
图3为本发明所提供的基于自动驾驶的特征提取装置一种具体实施方式的结构框图；
图4为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先对本发明所涉及的术语进行解释：
视觉特征：特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。
双目立体视觉：双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。
视差图：双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差图像。
基础矩阵：在计算机视觉中，基础矩阵是一个3×3的矩阵，表达了立体像对的像点之间的对应关系。基础矩阵中蕴含了立体像对的两幅图像在拍摄时相互之间的空间几何关系（外参数）以及相机检校参数（内参数），包括旋转、位移、像主点坐标和焦距。
齐次坐标：就是将一个原本是n维的向量用一个n+1维向量来表示，是指一个用于投影几何里的坐标系统，如同用于欧氏几何里的笛卡儿坐标一般。
深度图：从成像设备到场景中各点的距离，即深度作为像素值的图像。
mIoU：平均交并比，在计算机视觉深度学习图像分割领域中，mIoU值是一个衡量图像分割精度的重要指标。mIoU可解释为平均交并比，即在每个类别上计算IoU值（即真正样本数量/（真正样本数量+假负样本数量+假正样本数量））。
针对自动驾驶的应用背景下现有的特征提取方法的不足，本发明提出了一种基于语义分割的特征提取方法，与现有的方法相比，该方法在准确提取非动态物体区域中的特征点的同时，也能大幅降低特征搜索所消耗的时间，更有助于实现在线的视觉任务。
请参考图1，图1为本发明所提供的基于自动驾驶的特征提取方法一种具体实施方式的流程图。
在一种具体实施方式中，本发明提供的基于自动驾驶的特征提取方法包括以下步骤：
S101：获取目标区域的原始图像，对原始图片进行预处理，预处理可以包括降噪等步骤，以提高清晰度。该目标区域具体为当前行驶状态下需要特征提取的范围，原始图像是通过车载相机拍摄的图片，如果是双目相机，图片包括左目图像和右目图像。待分割的目标区域包括可确定静止状态的物体（栅栏、电线杆和交通标识等）和不确定运动状态的物体（自行车、汽车和行人等）。
S102：将所述原始图像输入至预先训练的语义分割模型中，以基于得到目标物体区域和非目标物体区域的二分类图片，而后为所述目标物体区域的像素点设置第一标签值，为所述非目标物体区域的像素点设置第二标签值。也就是说，利用语义分割模型，将拍摄得到的原始图片转化为只有目标物体区域和非目标物体区域的二分类图片，并为这两种区域内的像素点赋予两种不同的标签值。
其中，所述语义分割模型是基于原始图像样本输入二分类分割网络训练得到的。
语义分割模型的预先训练包括分割模型训练和分割模型推理两大部分，其中，如图2所示，分割模型训练的步骤如下：
S201：利用车载摄像机拍摄得到大量场景下的图片，这些图片作为原始图像样本，拍摄过程中摄像机所在的汽车处于行驶状态，并对拍摄得到的图片样本进行标注，以得到图像样本数据集。
S202：将标注好的图像样本数据集划分为训练集、验证集和测试集。训练集和测试集按照8：2的比例来划分，其中训练集包括真实图片和经数据增强后生成的图片，测试集均为无标注的原始图片。
S203：首先将ResNeT-101作为主干网络输出粗糙的物体软分割，再聚合各物体区域中的像素获得该物体区域的表示，进一步利用物体区域的表示来增强物体中的各像素，获得更精准的物体上下文表示，最后实现目标物体区域与非目标区域的二分类语义分割。采用mIoU来评价模型的分割效果，计算方式如下：
Figure 315309DEST_PATH_IMAGE011
式中，TP表示true positive，即被判定为正样本，事实上也是正样本；TN表示truenegative，被判定为负样本，事实上也是负样本；FP表示false positive，被判定为正样本，但事实上是负样本；FN表示false negative，被判定为负样本，但事实上是正样本的集合。
S204：根据模型在验证集上的效果调节所设置的超参数，具体通过设定多组超参数的组合，经过模型训练，选取效果最优的结果所对应的那个组合作为模型最终使用的参数组合，并在采集自真实道路场景的测试集上评估其性能。
分割模型推理的步骤如下：
步骤1：对图片进行预处理。
步骤2：通过分割模型输出分割结果的mIoU数值。
步骤3：通过后处理得到mIoU数值最高的分割效果。
S103：将二分类图片作为掩膜，与对应的原始图像相结合，以获得目标区域的融合图像。
S104：利用尺度不变特征变换算法提取所述融合图像中的目标特征点。
在一些实施例中，利用尺度不变特征变换算法提取所述融合图像中的目标特征点，具体包括：
S301：利用尺度不变特征变换算法提取所述融合图像中的当前特征点；
S302：将所述当前特征点与下一时刻的融合图像进行特征匹配，得到匹配特征点集，并计算当前融合图像与下一时刻的融合图像中的特征点所对应的深度，以得到深度图；
S303：基于聚类算法，将所述深度图分割为多个聚类区域，并统计各聚类区域内的内点数和点数比例。
利用K均值聚类，将深度图分割为多个物体区域，统计在各个聚类区域内的内点数
Figure 76592DEST_PATH_IMAGE012
和比例
Figure 933689DEST_PATH_IMAGE013
：
通过迭代求解基础矩阵，筛选出特征点中的内点并剔除外点，统计在各个聚类区域内的内点数
Figure 627976DEST_PATH_IMAGE014
和比例
Figure 279537DEST_PATH_IMAGE015
；
通过迭代求解基础矩阵，筛选出特征点中的内点并剔除外点，统计在各个聚类区域内的内点数
Figure 652749DEST_PATH_IMAGE016
和比例
Figure 47959DEST_PATH_IMAGE017
；
第i个聚类区域若同时满足以下三个条件，则判定该区域为动态物体区域：
Figure 596752DEST_PATH_IMAGE018
式中，
Figure 684793DEST_PATH_IMAGE019
和
Figure 279723DEST_PATH_IMAGE020
为设定的取值范围为0-100的阈值。
其中，利用以下公式，计算当前融合图像与下一时刻的融合图像中的特征点所对应的深度：
Figure 478623DEST_PATH_IMAGE021
式中，B为双目摄像机的基线长度，f为摄像机的焦距，disparity代表该点对应的视差值。
S304：将深度图中动态区域内的像素设为1，其他区域像素赋值为0，得到二值图；
S305：将所述二值图作为掩膜，与原始图像结合以去除运动状态的物体，并提取SIFT特征点，以得到所述目标特征点。该目标特征点为目标区域内处于非运动状态物体的特征点。
在一种具体实施方式中，本发明提供的基于自动驾驶的特征提取方法，通过将采集到的原始图像输入至预先训练的语义分割模型中，以基于得到目标物体区域和非目标物体区域的二分类图片；而后将二分类图片作为掩膜，与对应的原始图像相结合，以获得目标区域的融合图像；最后利用尺度不变特征变换算法提取所述融合图像中的目标特征点。该方法在准确提取非动态物体区域中的特征点的同时，也能大幅降低特征搜索所消耗的时间，更有助于实现在线的视觉任务。解决了现有技术中车辆行驶环境中特征点提取的准确性较差，且特征点筛选的计算量较大的技术问题。
除了上述方法，本发明还提供一种基于自动驾驶的特征提取装置，如图3所示，所述装置包括：
图像获取单元301，用于获取目标区域的原始图像；
图像分割单元302，用于将所述原始图像输入至预先训练的语义分割模型中，以基于得到目标物体区域和非目标物体区域的二分类图片；
图像融合单元303，用于将二分类图片作为掩膜，与对应的原始图像相结合，以获得目标区域的融合图像；
特征提取单元304，用于利用尺度不变特征变换算法提取所述融合图像中的目标特征点；
其中，所述语义分割模型是基于原始图像样本输入二分类分割网络训练得到的。
进一步地，得到目标物体区域和非目标物体区域的二分类图片，之后还包括：
为所述目标物体区域的像素点设置第一标签值，为所述非目标物体区域的像素点设置第二标签值。
进一步地，利用尺度不变特征变换算法提取所述融合图像中的目标特征点，具体包括：
利用尺度不变特征变换算法提取所述融合图像中的当前特征点；
将所述当前特征点与下一时刻的融合图像进行特征匹配，得到匹配特征点集，并计算当前融合图像与下一时刻的融合图像中的特征点所对应的深度，以得到深度图；
基于聚类算法，将所述深度图分割为多个聚类区域，并统计各聚类区域内的内点数和点数比例；
将深度图中动态区域内的像素设为1，其他区域像素赋值为0，得到二值图；
将所述二值图作为掩膜，与原始图像结合以去除运动状态的物体，并提取SIFT特征点，以得到所述目标特征点。
进一步地，基于聚类算法，将所述深度图分割为多个聚类区域，并统计各聚类区域内的内点数和点数比例，具体包括：
利用K均值聚类，将深度图分割为多个物体区域，统计在各个聚类区域内的内点数
Figure 881922DEST_PATH_IMAGE022
和比例
Figure 140865DEST_PATH_IMAGE023
。
进一步地，统计各聚类区域内的内点数和点数比例，之后还包括：
通过迭代求解基础矩阵，筛选出特征点中的内点并剔除外点，统计在各个聚类区域内的内点数
Figure 895195DEST_PATH_IMAGE024
和比例
Figure 101048DEST_PATH_IMAGE025
；
通过迭代求解基础矩阵，筛选出特征点中的内点并剔除外点，统计在各个聚类区域内的内点数
Figure 624433DEST_PATH_IMAGE026
和比例
Figure 54278DEST_PATH_IMAGE027
；
第i个聚类区域若同时满足以下三个条件，则判定该区域为动态物体区域：
Figure 30324DEST_PATH_IMAGE028
式中，
Figure 898923DEST_PATH_IMAGE029
和
Figure 542394DEST_PATH_IMAGE030
为设定的取值范围为0-100的阈值。
进一步地，利用以下公式，计算当前融合图像与下一时刻的融合图像中的特征点所对应的深度：
Figure 877560DEST_PATH_IMAGE031
式中，B为双目摄像机的基线长度，f为摄像机的焦距，disparity代表该点对应的视差值。
在上述具体实施方式中，本发明提供的基于自动驾驶的特征提取装置，通过将采集到的原始图像输入至预先训练的语义分割模型中，以基于得到目标物体区域和非目标物体区域的二分类图片；而后将二分类图片作为掩膜，与对应的原始图像相结合，以获得目标区域的融合图像；最后利用尺度不变特征变换算法提取所述融合图像中的目标特征点。该方法在准确提取非动态物体区域中的特征点的同时，也能大幅降低特征搜索所消耗的时间，更有助于实现在线的视觉任务。解决了现有技术中车辆行驶环境中特征点提取的准确性较差，且特征点筛选的计算量较大的技术问题。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器（processor）410、通信接口（communicationsInterface）420、存储器（memory）430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行上述方法。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于自动驾驶的特征提取方法，其特征在于，所述方法包括：
获取目标区域的原始图像；
将所述原始图像输入至预先训练的语义分割模型中，以基于得到目标物体区域和非目标物体区域的二分类图片；
将二分类图片作为掩膜，与对应的原始图像相结合，以获得目标区域的融合图像；
利用尺度不变特征变换算法提取所述融合图像中的目标特征点；
其中，所述语义分割模型是基于原始图像样本输入二分类分割网络训练得到的；
利用尺度不变特征变换算法提取所述融合图像中的目标特征点，具体包括：
利用尺度不变特征变换算法提取所述融合图像中的当前特征点；
将所述当前特征点与下一时刻的融合图像进行特征匹配，得到匹配特征点集，并计算当前融合图像与下一时刻的融合图像中的特征点所对应的深度，以得到深度图；
基于聚类算法，将所述深度图分割为多个聚类区域，并统计各聚类区域内的内点数和点数比例；
将深度图中动态区域内的像素设为1，其他区域像素赋值为0，得到二值图；
将所述二值图作为掩膜，与原始图像结合以去除运动状态的物体，并提取SIFT特征点，以得到所述目标特征点；
基于聚类算法，将所述深度图分割为多个聚类区域，并统计各聚类区域内的内点数和点数比例，具体包括：
利用K均值聚类，将深度图分割为多个物体区域，统计在各个聚类区域内的内点数
Figure 373826DEST_PATH_IMAGE001
和比例
Figure 162790DEST_PATH_IMAGE002
；
统计各聚类区域内的内点数和点数比例，之后还包括：
通过迭代求解基础矩阵进行第一次筛选，以筛选出特征点中的第一组内点并剔除外点，统计在各个聚类区域内的第一组内点中的内点数
Figure 858214DEST_PATH_IMAGE003
和比例
Figure 99839DEST_PATH_IMAGE004
；
通过迭代求解基础矩阵对所述第一组内点进行第二次筛选，以筛选出特征点中的第二组内点并剔除外点，统计在各个聚类区域内的第二组内点中的内点数
Figure 640542DEST_PATH_IMAGE005
和比例
Figure 284013DEST_PATH_IMAGE006
；
第i个聚类区域若同时满足以下三个条件，则判定该区域为动态物体区域：
Figure 884759DEST_PATH_IMAGE007
式中，
Figure 879259DEST_PATH_IMAGE008
和
Figure 223653DEST_PATH_IMAGE009
为设定的取值范围为0-100的阈值。
2.根据权利要求1所述的基于自动驾驶的特征提取方法，其特征在于，得到目标物体区域和非目标物体区域的二分类图片，之后还包括：
为所述目标物体区域的像素点设置第一标签值，为所述非目标物体区域的像素点设置第二标签值。
3.根据权利要求1所述的基于自动驾驶的特征提取方法，其特征在于，利用以下公式，计算当前融合图像与下一时刻的融合图像中的特征点所对应的深度：
Figure 987210DEST_PATH_IMAGE010
式中，B为双目摄像机的基线长度，f为摄像机的焦距，disparity代表该点对应的视差值。
4.一种基于自动驾驶的特征提取装置，其特征在于，所述装置包括：
图像获取单元，用于获取目标区域的原始图像；
图像分割单元，用于将所述原始图像输入至预先训练的语义分割模型中，以基于得到目标物体区域和非目标物体区域的二分类图片；
图像融合单元，用于将二分类图片作为掩膜，与对应的原始图像相结合，以获得目标区域的融合图像；
特征提取单元，用于利用尺度不变特征变换算法提取所述融合图像中的目标特征点；
其中，所述语义分割模型是基于原始图像样本输入二分类分割网络训练得到的；
利用尺度不变特征变换算法提取所述融合图像中的目标特征点，具体包括：
利用尺度不变特征变换算法提取所述融合图像中的当前特征点；
将所述当前特征点与下一时刻的融合图像进行特征匹配，得到匹配特征点集，并计算当前融合图像与下一时刻的融合图像中的特征点所对应的深度，以得到深度图；
基于聚类算法，将所述深度图分割为多个聚类区域，并统计各聚类区域内的内点数和点数比例；
将深度图中动态区域内的像素设为1，其他区域像素赋值为0，得到二值图；
将所述二值图作为掩膜，与原始图像结合以去除运动状态的物体，并提取SIFT特征点，以得到所述目标特征点；
基于聚类算法，将所述深度图分割为多个聚类区域，并统计各聚类区域内的内点数和点数比例，具体包括：
利用K均值聚类，将深度图分割为多个物体区域，统计在各个聚类区域内的内点数
Figure 758857DEST_PATH_IMAGE011
和比例
Figure 975074DEST_PATH_IMAGE012
；
统计各聚类区域内的内点数和点数比例，之后还包括：
通过迭代求解基础矩阵进行第一次筛选，以筛选出特征点中的第一组内点并剔除外点，统计在各个聚类区域内的第一组内点中的内点数
Figure 857580DEST_PATH_IMAGE013
和比例
Figure 475643DEST_PATH_IMAGE014
；
通过迭代求解基础矩阵对所述第一组内点进行第二次筛选，以筛选出特征点中的第二组内点并剔除外点，统计在各个聚类区域内的第二组内点中的内点数
Figure 683770DEST_PATH_IMAGE015
和比例
Figure 121705DEST_PATH_IMAGE016
；
第i个聚类区域若同时满足以下三个条件，则判定该区域为动态物体区域：
Figure 810831DEST_PATH_IMAGE017
式中，
Figure 548980DEST_PATH_IMAGE018
和
Figure 662429DEST_PATH_IMAGE019
为设定的取值范围为0-100的阈值。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。
CN202210996609.3A 2022-08-19 2022-08-19 一种基于自动驾驶的特征提取方法及装置 Active CN115063594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210996609.3A CN115063594B (zh) 2022-08-19 2022-08-19 一种基于自动驾驶的特征提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210996609.3A CN115063594B (zh) 2022-08-19 2022-08-19 一种基于自动驾驶的特征提取方法及装置

Publications (2)

Publication Number Publication Date
CN115063594A CN115063594A (zh) 2022-09-16
CN115063594B true CN115063594B (zh) 2022-12-13

Family

ID=83208210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210996609.3A Active CN115063594B (zh) 2022-08-19 2022-08-19 一种基于自动驾驶的特征提取方法及装置

Country Status (1)

Country Link
CN (1) CN115063594B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
CN111415373A (zh) * 2020-03-20 2020-07-14 北京以萨技术股份有限公司 基于孪生卷积网络的目标跟踪与分割方法、系统及介质
CN112712066A (zh) * 2021-01-19 2021-04-27 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN113111722A (zh) * 2021-03-17 2021-07-13 天津理工大学 基于改进Mask R-CNN的自动驾驶目标识别方法
CN114693924A (zh) * 2022-03-14 2022-07-01 南京航空航天大学 一种基于多模型融合的道路场景语义分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11710239B2 (en) * 2020-11-10 2023-07-25 Here Global B.V. Method, apparatus, and system using a machine learning model to segment planar regions
CN113240632B (zh) * 2021-04-22 2024-04-16 北京中科慧眼科技有限公司 基于语义分割网络的路面检测方法、系统和智能终端
CN113344042A (zh) * 2021-05-21 2021-09-03 北京中科慧眼科技有限公司 基于辅助驾驶的路况图像模型训练方法、系统和智能终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
CN111415373A (zh) * 2020-03-20 2020-07-14 北京以萨技术股份有限公司 基于孪生卷积网络的目标跟踪与分割方法、系统及介质
CN112712066A (zh) * 2021-01-19 2021-04-27 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN113111722A (zh) * 2021-03-17 2021-07-13 天津理工大学 基于改进Mask R-CNN的自动驾驶目标识别方法
CN114693924A (zh) * 2022-03-14 2022-07-01 南京航空航天大学 一种基于多模型融合的道路场景语义分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Fully convolutional instance-aware semantic segmentation;Yi Li et al;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171231;4438-4446 *
Person Search via A Mask-guided Two-stream CNN Model;Di Chen et al;《Proceedings of the European Conference on Computer Vision (ECCV)》;20181231;第2页第3段以及第3节 *
基于深度学习的遥感图像语义分割方法研究;李伟;《中国优秀硕士学位论文全文数据库（电子期刊）》;20220315;第2022年卷(第03期);第3章 *
基于联合框架和分离框架的行人搜索算法研究;张慧美;《中国优秀硕士学位论文全文数据库（电子期刊）》;20210315;第2021年卷(第03期);全文 *
改进的基于特征点的图像拼接融合算法;宗岩;《兰州交通大学学报》;20120229;第31卷(第1期);第1-2节 *
融合视觉的激光雷达点云分割与检测;郑阳;《中国优秀硕士学位论文全文数据库（电子期刊）》;20220215;第2022年卷(第02期);第4.3.1节 *

Also Published As

Publication number Publication date
CN115063594A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN111209770B (zh) 一种车道线识别方法及装置
CN114022830A (zh) 一种目标确定方法以及目标确定装置
JP7091686B2 (ja) 立体物認識装置、撮像装置および車両
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN111027581A (zh) 一种基于可学习编码的3d目标检测方法及系统
CN111742344A (zh) 图像语义分割方法、可移动平台及存储介质
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN114792416A (zh) 一种目标检测方法及装置
CN115909268A (zh) 一种动态障碍物检测方法及装置
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN111260955B (zh) 采用停车位框线、端点的停车位检测系统及方法
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及系统
CN115063594B (zh) 一种基于自动驾驶的特征提取方法及装置
CN116343143A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
CN112364693B (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN112686155A (zh) 图像识别方法、装置、计算机可读存储介质及处理器
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法
KR20140061101A (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
CN117994504B (zh) 目标检测方法、目标检测装置
Berrio et al. Semantic sensor fusion: From camera to sparse LiDAR information
CN113837270B (zh) 一种目标识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant