CN111813131A - 一种视觉导航的引导点标记方法、装置和计算机设备 - Google Patents
一种视觉导航的引导点标记方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111813131A CN111813131A CN202010902023.7A CN202010902023A CN111813131A CN 111813131 A CN111813131 A CN 111813131A CN 202010902023 A CN202010902023 A CN 202010902023A CN 111813131 A CN111813131 A CN 111813131A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- unmanned vehicle
- feature
- sequential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000000007 visual effect Effects 0.000 title claims abstract description 35
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 52
- 230000009466 transformation Effects 0.000 claims abstract description 44
- 230000006870 function Effects 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请涉及一种视觉导航的引导点标记方法、装置、计算机设备和存储介质。所述方法包括：通过获取无人车在行驶时从环境中获取的序贯图像信息，根据预设规则确定第一图像中的第一目标点，通过图像特征匹配和仿射坐标变换，计算得到第一图像目标点投影到第二图像中的第二目标点，作为第二图像的引导点，根据引导点可得到在该场景下无人进行自主导航时的控制策略。采用本方法可以自动生成一系列图像对应的引导点，避免了人工标记，具有效率高，一致性好的优点。
Description
技术领域
本申请涉及无人驾驶技术领域，特别是涉及一种视觉导航的引导点标记方法、装置、计算机设备和存储介质。
背景技术
无人驾驶技术作为人工智能与自动化技术相结合的一种新兴技术，已经逐渐成为推动汽车产业升级和机器人技术深入寻常百姓家的重要推动力。与此同时，无人驾驶驾驶技术在航天、航海等重要领域具有许多重要的应用。
引导点是在对无人车进行控制时，期望无人车未来某个时刻所要到达的位置。基于引导点的预瞄控制方法是根据引导点位置和当前无人车所处的位置，计算出无人车下一步行为的控制策略。现有的引导点坐标是从事先规划好的路径上选取的，或者依靠人工标记在图像上获取引导点。其中前者得到的引导点信息可用的前提条件是车辆的定位信息具有比较高的准确度。不仅如此，这种方法得到的引导点与场景图像的内容无关，因此无法用于视觉导航。而后者虽然可以用于视觉导航的训练样本，但是因为需要人工标记，因此耗时耗力，且引导点生成规则会受到打标记的人的个体差异的影响。总之，现有的视觉导航系统的引导点生成技术存在引导点获取效率低，一致性差的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决引导点获取效率低，一致性差问题的一种视觉导航的引导点标记方法、装置、计算机设备和存储介质。
一种视觉导航的引导点标记方法，所述方法包括：
获取无人车在行驶时从环境中获取的序贯图像信息；
在所述序贯图像信息中的第一图像中根据预设规则确定第一目标点，在所述第一目标点的附近选择多个图像特征点构成第一特征点集；
在所述序贯图像的第二图像中寻找与所述第一特征点匹配的第二特征点构成第二特征点集；所述第一图像比所述第二图像在所述序贯图像信息中时间排序靠后；
根据所述第一特征点集和所述第二特征点集，确定所述第一图像的目标点向所述第二图像进行投影的仿射变换关系函数；
将所述第一图像中的目标点输入到所述仿射变换关系函数中，得到所述第一目标点在第二图像中的第二目标点；
将所述第二目标点确定为第二图像的视觉导航引导点，根据所述引导点，得到无人车行驶的速度信息，利用这组序贯图像和与之对应的所述引导点训练无人车实现自主视觉导航。
在其中一个实施例中，还包括：通过人工驾驶或遥控器控制无人车行驶，利用无人车上搭载的前视相机，采集得到所述序贯图像信息或利用无人车在跟随引导目标前进的同时，利用无人车上搭载的后视相机采集的序贯图像的倒序，得到所述序贯图像信息。
在其中一个实施例中，还包括：在序贯图像信息中的第一图像中确定图像下边缘的中点为第一目标点。
在其中一个实施例中，还包括：设置初始仿射变换关系函数为：
其中
，
；
设置优化目标为求解仿射变换：
根据所述第一特征点集
和所述第二特征点集
，通过最小化
，得到仿射变换
的最优解为：
其中，
，
，
，
；
根据仿射变换
的最优解得到仿射变换关系函数。
在其中一个实施例中，还包括：通过SIFT特征点提取算法、SURF特征点提取算法、ORB特征点提取算法等特征点提取算法得到所述第一特征点集。
在其中一个实施例中，还包括：当所述第一特征点集中特征点的个数小于阈值时，扩大特征点提取的邻域范围，以使提取的第一特征点集中特征点的数量不小于阈值。
在其中一个实施例中，还包括：确定引导点对应的坐标信息；其中坐标信息是以无人车位置为坐标原点，无人车行驶方向为纵轴方向，与无人车行驶方向垂直并向右指出的方向为横轴方向，建立的平面直角坐标系中的坐标；坐标信息包括纵坐标和横坐标；速度信息包括线速度和角速度；
根据坐标信息的纵坐标确定无人车线速度的上限值；
根据坐标信息的横坐标确定无人车的角速度值；
根据线速度上限与无人车的期望行驶速度的最小值和角速度值控制无人车行驶。
一种视觉导航的引导点自动标记装置，所述装置包括：
图像信息获取模块，用于获取无人车在行驶时从环境中获取的序贯图像信息；
第一特征点集获取模块，在序贯图像信息中的第一图像中根据预设规则确定第一目标点，然后根据第一目标点的邻域信息，从第一图像中选择多个特征点作为第一特征点集；
第二特征点集获取模块，根据第一特征点集，在第二图像中匹配得到对应的第二特征点集；
仿射变换关系函数计算模块，根据第一特征点集和第二特征点集，确定第一图像中的第一目标点向第二图像映射的仿射变换关系函数；
引导点获取模块，用于将所述第一目标点输入仿射变换关系函数中，得到第二图像中的第二目标点，将所述第二目标点确定为第二图像的视觉导航引导点，根据所述引导点，得到无人车行驶的速度信息，利用这组序贯图像和与之对应的引导点训练无人车实现自主视觉导航。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取无人车在行驶时从环境中获取的序贯图像信息；
在所述序贯图像信息中的第一图像中根据预设规则确定第一目标点，在所述第一目标点的附近选择多个图像特征点构成第一特征点集；
在所述序贯图像的第二图像中寻找与所述第一特征点匹配的第二特征点构成第二特征点集；所述第一图像比所述第二图像在所述序贯图像信息中时间排序靠后；
根据所述第一特征点集和所述第二特征点集，确定所述第一图像的目标点向所述第二图像进行投影的仿射变换关系函数；
将所述第一图像中的目标点输入到所述仿射变换关系函数中，得到所述第一目标点在第二图像中的第二目标点；
将所述第二目标点确定为第二图像的视觉导航引导点，得到无人车行驶的速度信息，利用这组序贯图像和与之对应的所述引导点训练无人车实现自主视觉导航。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取无人车在行驶时从环境中获取的序贯图像信息；
在所述序贯图像信息中的第一图像中根据预设规则确定第一目标点，在所述第一目标点的附近选择多个图像特征点构成第一特征点集；
在所述序贯图像的第二图像中寻找与所述第一特征点匹配的第二特征点构成第二特征点集；所述第一图像比所述第二图像在所述序贯图像信息中时间排序靠后；
根据所述第一特征点集和所述第二特征点集，确定所述第一图像的目标点向所述第二图像进行投影的仿射变换关系函数；
将所述第一图像中的目标点输入到所述仿射变换关系函数中，得到所述第一目标点在第二图像中的第二目标点；
将所述第二目标点确定为第二图像的视觉导航引导点，得到无人车行驶的速度信息，利用这组序贯图像和与之对应的所述引导点训练无人车实现自主视觉导航。
上述一种自主导航的引导点标记方法、装置、计算机设备和存储介质，通过获取无人车在行驶时从环境中获取的序贯图像信息，根据预设规则确定第一图像中的第一目标点，通过图像特征匹配和仿射坐标变换，计算得到第一目标点投影到第二图像中的第二目标点，作为第二图像对应的引导点。以此类推得到一系列的图像和对应的引导点。根据这一系列图像和对应的引导点便可训练无人车实现自主导航。采用本方法得到的引导点，避免了人工针对序贯图像逐帧进行手工标记，具有效率高，一致性好的优点。
附图说明
图1为一个实施例中视觉导航的引导点标记方法的流程示意图；
图2为一个实施例中自动计算引导点的原理示意图；
图3为一个实施例中视觉导航的引导点标记装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种视觉导航的引导点标记方法，可以应用于如下应用环境中，通过人工驾驶车辆或者遥控车辆采集序贯图像信息，在序贯图像的第一图像中选定第一目标点，在第一目标点的邻域中选择多个特征点构成第一特征点集，根据第一特征点集在第二图像中匹配得到对应的第二特征点集，根据第一特征点集和第二特征点集，确定第一图像向第二图像映射的仿射变换关系函数，再把第一图像中的第一目标点输入到仿射变换关系函数中，得到第二图像对应的第二目标点，将该点作为第二图像对应的引导点，以此类推可得到一系列图像和对应的引导点，根据这些图像和对应点的引导点可以训练无人车实现自主导航。
在一个实施例中，如图1所示，提供了一种自主导航的引导点标记方法，以该方法应用于无人车为例进行说明，包括以下步骤：
步骤102，获取无人车在行驶时从环境中获取的序贯图像信息。
通过人工驾驶或者遥控无人车在行驶时从环境中获取序贯图像信息，作为引导点生成的图像样本，根据序贯图像信息生成无人车行驶的引导点，当无人车再次行驶于给定场景时，可以按照引导点的指示，实现无人车的自主导航行驶，其中，序贯图像信息是按照相等时间间隔连续采集的图像信息。
步骤104，在序贯图像信息中的第一图像中根据预设规则确定第一目标点，在第一目标点的附近选择多个图像特征点构成第一特征点集。
预设规则，是指根据图像特征，利用事先经过训练得到的可通行区域的判别模型，对图像的可通行区域进行判别，在此基础上，将最靠近图像下边缘，同时又属于可通行区域上的点设置为第一目标点。第一目标点近似代表了无人车所处的位置，根据第一目标点通过仿射变换关系函数得到第二目标点，其实是实现无人车在前序图像中，即第二图像中的位置估计。把第二目标点作为无人车行驶的引导点，就是引导无人车行驶到第一目标点对应的位置。
通过第一目标点选取的预设规则，可以实现无监督的无人车引导点的自动估计，完全不需要人工选取来确定第一目标点。
根据第一目标点的邻域信息得到第一目标点附近的多个特征点，可以采用多种图像特征提取算法得到。
步骤106，在序贯图像的第二图像中寻找与所述第一特征点匹配的第二特征点构成第二特征点集，其中第一图像比第二图像在序贯图像信息中时间排序靠后；
利用图像特征点进行匹配计算受噪声影响小，对光照变化、形变和遮挡有较强的适应力。第二图像的时序在第一图像之后，第一图像与第二图像可以是相邻的两帧图像，也可以是间隔多帧的两帧图像。
步骤108，根据第一特征点集和第二特征点集，确定第一图像向第二图像映射的仿射变换关系函数。
图像特征匹配算法中最基础的是三点定位，通过三对点可以找到相似的区域以及这个区域经历的拉伸、反转、扭曲等变化。在实际应用中，通常采取更多对点，使得得到的映射仿射函数更加精确。
步骤110，将第一目标点输入仿射变换关系函数，得到第二图像中的第二目标点。
仿射变换关系函数是由一阶多项式构成的函数，一般形式为
，其中
是一个
矩阵，
是一个
向量，
是一个
向量，实际上反映了一种从
维到
维的空间映射关系。在本发明中，仿射变换关系函数是2维到2维的空间映射关系，反映了图像经历的拉伸、反转、扭曲等变化。得到仿射变换关系函数后，如图2所示，将第一目标点的坐标信息输入到仿射函数当中，仿射函数的输出就是第一目标点映射到第二图像中的第二目标点。
步骤112，将第二目标点确定为第二图像的视觉导航引导点，根据引导点，得到无人车行驶的速度信息，利用这组序贯图像和与之对应的引导点训练无人车实现自主视觉导航。
获取引导点的目的在于，在得到引导点后，控制无人车朝着引导点运动。根据无人车与引导点的相对位置，无人车当前行驶的方向，可以得到无人车行驶的速度信息。以无人车为原点，无人车行驶方向为纵轴方向，无人车行驶方向的正右方向为横轴方向，建立平面直角坐标系，得到引导点位置信息，引导点位置信息包括纵坐标和横坐标，无人车速度包括线速度和角速度，线速度表示无人车沿着引导点位置方向的行驶速度，角速度表示无人车朝着引导点位置方向的转向速度。根据引导点的纵坐标确定无人车线速度的上限，引导点的横坐标确定无人车的角速度值。
上述自主导航的引导点标记方法中，通过获取无人车在行驶时从环境中获取的序贯图像信息，根据预设规则确定第一图像中的第一目标点，通过图像特征匹配和仿射坐标变换，计算得到第一目标点投影到第二图像中的第二目标点，作为第二图像的引导点，根据引导点得到无人车行驶的速度信息，从而控制无人车行驶。采用本方法可以自动生成一系列图像及其对应的引导点，避免了人工标记，具有效率高，一致性好的优点。
在其中一个实施例中，通过人工驾驶或遥控器控制无人车行驶，利用无人车上搭载的前视相机，采集得到所述序贯图像信息。
通过人工驾驶或者遥控无人车行驶在给定环境中，利用无人车上搭载的前视相机，拍摄行驶过程中的序贯图像信息。由于不需要事先对相机进行任何外参数或者内参数的标定，因此图像样本获取简单，可利用图像样本量大。
在其中一个实施例中，在序贯图像信息中的第一图像中确定图像下边缘的中点为第一目标点。
以第一图像下边缘的中点作为第一目标点，由于图像下边缘的中点通常属于行驶路面，干扰信息少，不易受到场景、环境的影响。
在其中一个实施例中，根据第一特征点集和第二特征点集，确定第一图像目标点向第二图像进行映射时的仿射变换关系函数，包括：
设置初始仿射变换关系函数为：
其中
，
；
设置优化目标为求解仿射变换：
根据第一特征点集
和第二特征点集
，通过最小化
，得到仿射变换
的最优解为：
其中，
，
，
，
；
根据仿射变换
的最优解得到仿射变换关系函数。
在其中一个实施例中，通过SIFT特征点提取算法、SURF特征点提取算法、ORB特征点提取算法得到第一特征点。
SIFT(Scale-Invariant Feature Transform)即尺度不变特征变换，是一种计算机视觉的特征提取算法，用来侦测与描述图像中的局部性特征。
SURF(Speeded Up Robust Features) 即加速稳健特征，是一种稳健的图像识别和描述算法。它是SIFT的高效变种，也是提取尺度不变特征，算法步骤与SIFT算法大致相同，但采用的方法不一样，要比SIFT算法更高效。
ORB（Oriented FAST and Rotated BRIEF），该特征检测算法的运行时间远远优于SIFT和SURF，可应用于实时性特征检测。ORB特征检测具有尺度和旋转不变性，对于噪声及其透视变换也具有不变性。
在其中一个实施例中，当第一特征点的个数小于阈值时，扩大特征点提取的邻域范围，以使邻域信息内提取的第一特征点数量不小于阈值。
根据第一目标点的邻域信息，从第一图像中选择多个特征点构成第一特征点集，第一特征点集的个数大小与场景图像的纹理特征的丰富程度相关，图像纹理特征越丰富，第一特征点集中特征点的个数就越多。当第一特征点集中特征点的个数小于某个阈值时，说明在选取的邻域范围内的图像特征不够显著，需要扩大特征点提取的邻域范围，这将有助于提高图像匹配的准确度。
在其中一个实施例中，还包括，确定引导点对应的坐标信息；坐标信息是以无人车位置为坐标原点，无人车车身正前方为纵轴方向，与无人车车身垂直的正右方为横轴方向，建立的平面直角坐标系中的坐标；坐标信息包括纵坐标和横坐标；速度信息包括线速度和角速度；根据坐标信息的纵坐标确定无人车线速度的上限；根据坐标信息的横坐标确定无人车的角速度值；根据线速度区间和所述角速度值控制无人车行驶，其中线速度表示无人车向引导点位置方向前进的最大速度，角速度表示无人车朝着引导点位置方向前进的转向速度。
具体的，当引导点位置在无人车的正前方时，引导点的横坐标为0，无人车行驶的角速度为0。由于车辆性能，如加速时间、转向特性与具体车辆的车辆动力学相关，引导点位置信息的纵坐标并不定量决定车辆的具体速度。当引导点位置信息的纵坐标值较大时，无人车线速度的上限也较大。
在另一个具体实施例中，可以根据第二图像对应的引导点坐标信息得到无人车再次行驶到该图像对应场景时的参考速度。具体的，第一图像和第二图像的采集时间间隔是固定的，所选取的第一图像的第一目标点在第一图像上的位置是固定的，但第一图像上第一目标点映射到第二图像上的第二目标点的位置是不固定的，第二目标点的位置与采集图像时，无人车在第二图像采集时间点到第一图像采集时间点的时间间隔内的行驶速度和行驶方向有关。所以，从第二目标点的位置信息可以转换得到无人车采集第二图像时的导航策略。当得到一系列图像和对应的引导点坐标后，便可以训练无人车具备根据不同图像场景采取合理的控制策略的能力。
在一个实施例中，如图3所示，提供了一种视觉导航的引导点自动标记装置，包括：图像信息获取模块、第一特征点集获取模块、第二特征点集获取模块，仿射变换关系函数计算模块和引导点获取模块，其中：
图像信息获取模块302，用于获取无人车在行驶时从环境中获取的序贯图像信息；
第一特征点集获取模块304，用于在序贯图像信息中的第一图像中根据预设规则确定第一目标点，根据第一目标点的邻域信息，从第一图像中选择多个特征点构成第一特征集；
第二特征点集获取模块306，用于根据第一特征点，在第二图像中匹配得到对应的特征点形成第二特征集；
仿射变换关系函数计算模块308，根据第一特征点集和第二特征点集，确定第一图像向第二图像映射的仿射变换关系函数；
引导点获取模块310，用于将第一目标点输入仿射变换关系函数中，得到第二图像中的第二目标点，将第二目标点确定为第二图像的视觉导航引导点，根据引导点，得到无人车行驶的速度信息，利用这组序贯图像和与之对应的引导点训练无人车实现自主视觉导航。
图像信息获取模块302还用于通过人工驾驶或遥控器控制无人车行驶，利用无人车上搭载的前视相机，采集得到所述序贯图像信息。
第一特征点集获取模块304还用于在序贯图像信息中的第一图像中确定图像下边缘的中点为第一目标点。
第一特征点集获取模块304还用于通过SIFT特征点提取算法、SURF特征点提取算法、ORB特征点提取算法得到所述第一特征点集。
关于自主导航的引导点自动标记装置的具体限定可以参见上文中对于一种视觉导航的引导点标记方法的限定，在此不再赘述。上述自主导航的引导点自动标记装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视觉导航的引导点标记方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种视觉导航的引导点标记方法，其特征在于，所述方法包括：
获取无人车在行驶时从环境中获取的序贯图像信息；
在所述序贯图像信息中的第一图像中根据预设规则确定第一目标点，在所述第一目标点的附近选择多个图像特征点构成第一特征点集；
在所述序贯图像的第二图像中寻找与所述第一特征点匹配的第二特征点构成第二特征点集；所述第一图像比所述第二图像在所述序贯图像信息中时间排序靠后；
根据所述第一特征点集和所述第二特征点集，确定所述第一图像的目标点向所述第二图像进行投影的仿射变换关系函数；
将所述第一图像中的目标点输入到所述仿射变换关系函数中，得到所述第一目标点在第二图像中的第二目标点；
将所述第二目标点确定为第二图像的视觉导航引导点，根据所述引导点，得到无人车行驶的速度信息，利用这组序贯图像和与之对应的所述引导点训练无人车实现自主视觉导航。
2.根据权利要求1所述的方法，其特征在于，所述获取无人车在行驶时从环境中获取的序贯图像信息，包括：
通过人工驾驶或遥控器控制无人车行驶，利用无人车上搭载的前视相机，采集得到所述序贯图像信息，或利用无人车在跟随引导目标前进的同时，利用无人车上搭载的后视相机采集的序贯图像的倒序，得到所述序贯图像信息。
3.根据权利要求1所述的方法，其特征在于，在所述序贯图像信息中的第一图像中根据预设规则确定第一目标点，包括：
在所述序贯图像信息中的第一图像中确定图像下边缘的中点作为第一目标点。
4.根据权利要求3所述的方法，其特征在于，根据所述第一特征点集和所述第二特征点集，确定所述第一图像向所述第二图像映射的仿射变换关系函数，包括：
设置初始仿射变换关系函数为：
其中
，
；
设置优化目标为求解仿射变换：
根据所述第一特征点集
和所述第二特征点集
，通过最小化
，得到仿射变换
的最优解为：
其中，
，
，
，
；
根据仿射变换
的最优解得到仿射变换关系函数。
5.根据权利要求4所述的方法，其特征在于，在所述序贯图像信息中的第一图像中根据预设规则确定第一目标点，在所述第一目标点的附近选择多个图像特征点构成第一特征点集，包括：
通过SIFT特征点提取算法、SURF特征点提取算法、ORB特征点提取算法得到所述第一特征点集。
6.根据权利要求4所述的方法，其特征在于，在所述第一目标点的附近选择多个图像特征点构成第一特征点集，包括：
当所述第一特征点集的个数小于阈值时，扩大特征点提取的邻域范围，以使邻域信息内提取的第一特征点集数量不小于阈值。
7.根据权利要求1所述的方法，其特征在于，根据所述引导点，得到无人车行驶的速度信息，利用这组序贯图像和与之对应的所述引导点训练无人车实现自主视觉导航，包括：
确定所述引导点在车体坐标系中的坐标信息；所述坐标信息是以无人车位置为坐标原点，无人车行驶方向为纵轴方向，与无人车行驶方向垂直并向右指出的方向为横轴方向，建立的平面直角坐标系中的坐标；所述坐标信息包括纵坐标和横坐标；所述速度信息包括线速度和角速度；
根据所述坐标信息的纵坐标确定无人车线速度的上限值；
根据所述坐标信息的横坐标确定无人车的角速度值；
根据所述线速度上限与无人车的期望行驶速度的最小值和所述角速度值控制无人车行驶。
8.一种视觉导航的引导点自动标记装置，其特征在于，所述装置包括：
图像信息获取模块，用于获取无人车在行驶时从环境中获取的序贯图像信息；
第一特征点集获取模块，用于在所述序贯图像信息中的第一图像中选择多个特征点构成第一特征点集；
第二特征点集获取模块，用于根据所述第一特征点集，在第二图像中得到与第一特征点集匹配的第二特征点集；
仿射变换关系函数计算模块，根据所述第一特征点集和所述第二特征点集，确定所述第一图像向所述第二图像映射的仿射变换关系函数；
引导点获取模块，用于将第一目标点输入仿射变换关系函数中，得到第二图像中的第二目标点，将所述第二目标点确定为第二图像的视觉导航引导点，根据所述引导点，得到无人车行驶的速度信息，利用这组序贯图像和与之对应的引导点训练无人车实现自主视觉导航。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010902023.7A CN111813131B (zh) | 2020-09-01 | 2020-09-01 | 一种视觉导航的引导点标记方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010902023.7A CN111813131B (zh) | 2020-09-01 | 2020-09-01 | 一种视觉导航的引导点标记方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111813131A true CN111813131A (zh) | 2020-10-23 |
| CN111813131B CN111813131B (zh) | 2020-11-24 |
Family
ID=72860659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010902023.7A Active CN111813131B (zh) | 2020-09-01 | 2020-09-01 | 一种视觉导航的引导点标记方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111813131B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114739419A (zh) * | 2022-03-22 | 2022-07-12 | 北京百度网讯科技有限公司 | 引导点的处理方法和装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5911767A (en) * | 1994-10-04 | 1999-06-15 | Garibotto; Giovanni | Navigation system for an autonomous mobile robot |
| US20020027652A1 (en) * | 2000-06-29 | 2002-03-07 | Paromtchik Igor E. | Method for instructing target position for mobile body, method for controlling transfer thereof, and method as well as system of optical guidance therefor |
| US20030208315A1 (en) * | 2000-09-28 | 2003-11-06 | Mays Michael F. | Methods and systems for visual addressing |
| US20040210343A1 (en) * | 2003-04-03 | 2004-10-21 | Lg Electronics Inc. | Mobile robot using image sensor and method for measuring moving distance thereof |
| WO2006087542A1 (en) * | 2005-02-18 | 2006-08-24 | Kings College London | Vehicle location |
| CN102788591A (zh) * | 2012-08-07 | 2012-11-21 | 郭磊 | 基于视觉信息的机器人沿引导线巡线导航方法 |
| JP2014173956A (ja) * | 2013-03-07 | 2014-09-22 | Aisin Aw Co Ltd | 経路案内装置、及び経路案内プログラム |
| US9157757B1 (en) * | 2014-09-03 | 2015-10-13 | Sharp Laboratories Of America, Inc. | Methods and systems for mobile-agent navigation |
| CN105589459A (zh) * | 2015-05-19 | 2016-05-18 | 中国人民解放军国防科学技术大学 | 无人车半自主遥控方法 |
| US20190088142A1 (en) * | 2017-09-18 | 2019-03-21 | Jaguar Land Rover Limited | System and method for vehicle convoys |
| CN109508021A (zh) * | 2018-12-29 | 2019-03-22 | 歌尔股份有限公司 | 一种自动导引车的导引方法、装置和系统 |
| US20190145775A1 (en) * | 2017-11-10 | 2019-05-16 | Ankobot (Shanghai) Smart Technologies Co., Ltd. | Localization system and method, and robot using the same |
| CN110823228A (zh) * | 2019-11-18 | 2020-02-21 | 中国人民解放军国防科技大学 | 一种路径生成方法及装置 |
| CN111123952A (zh) * | 2019-12-31 | 2020-05-08 | 华为技术有限公司 | 一种轨迹规划方法及装置 |
-
2020
- 2020-09-01 CN CN202010902023.7A patent/CN111813131B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5911767A (en) * | 1994-10-04 | 1999-06-15 | Garibotto; Giovanni | Navigation system for an autonomous mobile robot |
| US20020027652A1 (en) * | 2000-06-29 | 2002-03-07 | Paromtchik Igor E. | Method for instructing target position for mobile body, method for controlling transfer thereof, and method as well as system of optical guidance therefor |
| US20030208315A1 (en) * | 2000-09-28 | 2003-11-06 | Mays Michael F. | Methods and systems for visual addressing |
| US20040210343A1 (en) * | 2003-04-03 | 2004-10-21 | Lg Electronics Inc. | Mobile robot using image sensor and method for measuring moving distance thereof |
| WO2006087542A1 (en) * | 2005-02-18 | 2006-08-24 | Kings College London | Vehicle location |
| CN102788591A (zh) * | 2012-08-07 | 2012-11-21 | 郭磊 | 基于视觉信息的机器人沿引导线巡线导航方法 |
| JP2014173956A (ja) * | 2013-03-07 | 2014-09-22 | Aisin Aw Co Ltd | 経路案内装置、及び経路案内プログラム |
| US9157757B1 (en) * | 2014-09-03 | 2015-10-13 | Sharp Laboratories Of America, Inc. | Methods and systems for mobile-agent navigation |
| CN105589459A (zh) * | 2015-05-19 | 2016-05-18 | 中国人民解放军国防科学技术大学 | 无人车半自主遥控方法 |
| US20190088142A1 (en) * | 2017-09-18 | 2019-03-21 | Jaguar Land Rover Limited | System and method for vehicle convoys |
| US20190145775A1 (en) * | 2017-11-10 | 2019-05-16 | Ankobot (Shanghai) Smart Technologies Co., Ltd. | Localization system and method, and robot using the same |
| CN109508021A (zh) * | 2018-12-29 | 2019-03-22 | 歌尔股份有限公司 | 一种自动导引车的导引方法、装置和系统 |
| CN110823228A (zh) * | 2019-11-18 | 2020-02-21 | 中国人民解放军国防科技大学 | 一种路径生成方法及装置 |
| CN111123952A (zh) * | 2019-12-31 | 2020-05-08 | 华为技术有限公司 | 一种轨迹规划方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| N. KIMURA 等: "Detecting other robots from range data for robust self-localization of autonomous mobile robots", 《IEEE XPLORE》 * |
| 胡为 等: "基于虚拟特征点的视觉基于语义ORB-SLAM2算法的移动机器人自主导航方法研究", 《电光与控制》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114739419A (zh) * | 2022-03-22 | 2022-07-12 | 北京百度网讯科技有限公司 | 引导点的处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111813131B (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446585B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| CN111191600B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| WO2021139484A1 (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| WO2020186678A1 (zh) | 无人机三维地图构建方法、装置、计算机设备及存储介质 | |
| US20170316569A1 (en) | Robust Anytime Tracking Combining 3D Shape, Color, and Motion with Annealed Dynamic Histograms | |
| Lim et al. | Dynamic appearance modeling for human tracking | |
| JP2023106284A (ja) | 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム | |
| US20130238295A1 (en) | Method and apparatus for pose recognition | |
| CN109934847A (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
| CN107067410B (zh) | 一种基于增广样本的流形正则化相关滤波目标跟踪方法 | |
| CN115861860B (zh) | 一种无人机的目标跟踪定位方法和系统 | |
| US11694342B2 (en) | Apparatus and method for tracking multiple objects | |
| Getahun et al. | A deep learning approach for lane detection | |
| CN106611147B (zh) | 车辆追踪方法和装置 | |
| CN111738033A (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
| CN111813131B (zh) | 一种视觉导航的引导点标记方法、装置和计算机设备 | |
| CN116363693A (zh) | 一种基于深度相机和视觉算法的自动跟随方法及装置 | |
| JP2016148956A (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| CN111768427B (zh) | 一种多运动目标跟踪方法、装置及存储介质 | |
| CN110880003B (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
| CN113269821A (zh) | 消失点提取装置、提取消失点的方法及自动驾驶装置 | |
| CN109934155B (zh) | 一种基于深度视觉的协作机器人手势识别方法及装置 | |
| US11657506B2 (en) | Systems and methods for autonomous robot navigation | |
| CN111179342A (zh) | 物体位姿的估计方法、装置、存储介质和机器人 | |
| Kasebi et al. | Hybrid navigation based on GPS data and SIFT-based place recognition using Biologically-inspired SLAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |