CN111862146B - 一种目标对象的定位方法及装置 - Google Patents
一种目标对象的定位方法及装置 Download PDFInfo
- Publication number
- CN111862146B CN111862146B CN201910364971.7A CN201910364971A CN111862146B CN 111862146 B CN111862146 B CN 111862146B CN 201910364971 A CN201910364971 A CN 201910364971A CN 111862146 B CN111862146 B CN 111862146B
- Authority
- CN
- China
- Prior art keywords
- position information
- image
- information
- utilized
- reference object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 238000000605 extraction Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000012512 characterization method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开一种目标对象的定位方法及装置。该方法包括：获得目标对象的图像采集设备采集的当前图像；利用预先建立的语义特征检测模型，检测得到当前图像中的具有几何约束的待利用参照对象的包括第一位置信息的语义特征；针对每一待利用参照对象，获得待利用参照对象在当前图像的前M帧图像中每一帧图像中的第二位置信息；针对每一待利用参照对象，基于待利用参照对象的第一位置信息以及第二位置信息，构建待利用参照对象对应的初始三维位置信息；获得图像采集设备采集当前图像时的预估位姿信息；基于待利用参照对象对应的初始三维位置信息、第一位置信息以及预估位姿信息，确定出目标对象的当前位姿信息，以提高定位精度以及建图准确性。
Description
技术领域
本发明涉及智能驾驶技术领域，具体而言，涉及一种目标对象的定位方法及装置。
背景技术
高精度车辆定位是实现自动驾驶的基础。相关技术中，一般利用VIO(Visual-Inertial Odometry，视觉惯性里程计或视觉惯性系统)技术，实现对车辆的定位以及地图重建。其中，VIO技术是融合相机和IMU(惯性测量单元，Inertial measurement unit)数据，实现SLAM(Simultaneous Localization and Mapping，同时定位与建图)的技术。
其中，利用VIO技术，实现对车辆的定位以及地图重建的过程一般为：获得车辆通过其设置的图像采集设备采集的当前图像，并从当前图像中识别出待匹配的特征点，获得当前图像的前一帧图像，并从前一帧图像中识别出其包含的特征点，将当前图像中的特征点与该前一帧图像中的特征点进行匹配，得到匹配特征点对；进而，确定出每一匹配特征点对对应的空间点在世界坐标系下的位置坐标；获得车辆通过其设置的惯性传感器，在当前图像对应的采集周期内采集的传感器数据；基于该传感器数据以及图像采集设备采集前一帧图像时的第一位姿信息，确定出图像采集设备采集当前图像时的预估位姿信息；结合每一匹配特征点对对应的空间点在世界坐标系下的位置信息和该预估位姿信息，确定该车辆的当前位姿信息；进而基于该当前位姿信息以及该待匹配的特征点在当前图像中的位置信息，构建地图。
在上述车辆定位以及地图重建过程中，主要利用图像中的特征点进行匹配跟踪，利用图像中的特征点进行匹配跟踪，易出现匹配错误的情况，而图像间的特征点匹配错误，则导致特征点的追踪不稳定，进而影响定位精度以及所构建地图的准确性。
发明内容
本发明提供了一种目标对象的定位方法及装置，以提高定位精度以及建图准确性。具体的技术方案如下。
第一方面，本发明实施例提供了一种目标对象的定位方法，包括：
获得目标对象的图像采集设备采集的当前图像；利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的语义特征，其中，所述语义特征包括待利用参照对象在所述当前图像中的第一位置信息；针对每一待利用参照对象，获得所述待利用参照对象在所述当前图像的前M帧图像中每一帧图像中的第二位置信息，其中，所述M为正整数；针对每一待利用参照对象，基于所述待利用参照对象的第一位置信息以及所述第二位置信息，构建所述待利用参照对象对应的初始三维位置信息；获得所述图像采集设备采集所述当前图像时的预估位姿信息；基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息。
可选的，在所述基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息步骤之后，所述方法还包括：基于所述当前位姿信息以及所述第一位置信息，确定出每一待利用参照对象对应的最终三维位置信息，并建立地图。
可选的，所述利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的第一位置信息的步骤，包括：利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的参照对象的语义特征；针对所检测到的每一参照对象，判断所述当前图像的前N帧图像的每一帧图像中是否包含该参照对象，其中，所述N为不小于M的正整数；若判断结果为均包含，则确定该参照对象为待利用参照对象。
可选的，所述获得所述图像采集设备采集所述当前图像时的预估位姿信息的步骤，通过以下两种实现方式中的任一种实现方式实现：
第一种实现方式：获得所述目标对象的惯性传感器所采集的当前传感器数据，其中，所述当前传感器数据为：所述惯性传感器在所述图像采集设备采集所述当前图像的采集周期内采集的传感器数据；获得所述图像采集设备采集得到所述当前图像的前一帧图像时的第一位姿信息，以及所述图像采集设备采集得到所述当前图像和所述前一帧图像之间的时间间隔信息；基于所述第一位姿信息、所述当前传感器数据以及所述时间间隔信息，确定出所述图像采集设备采集所述当前图像时的预估位姿信息；
第二种实现方式：获得所述图像采集设备采集得到所述当前图像的前m帧图像中每一帧图像时的第二位姿信息及第一时间信息，m为大于1的正整数；基于所述前m帧图像中每一帧图像的第二位姿信息以及第一时间信息，确定出所述图像采集设备的平均移动速度；获得所述图像采集设备采集所述当前图像时的第二时间信息；基于所述第二位姿信息、所述平均移动速度、所述第一时间信息和所述第二时间信息，确定出所述图像采集设备采集所述当前图像时的预估位姿信息。
可选的，所述待利用参照对象包括线特征类对象和/或面特征类对象；
所述基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息的步骤，包括：基于所述线特征类对象对应的初始三维位置信息、所述线特征类对象的第一位置信息、所述预估位姿信息以及共线特性，构建第一重投影误差；基于所述面特征类对象对应的初始三维位置信息、所述面特征类对象的第一位置信息、所述预估位姿信息以及共面特性，构建第二重投影误差；基于所述第一重投影误差和/或第二重投影误差，确定出所述目标对象的当前位姿信息。
可选的，所述基于所述线特征类对象对应的初始三维位置信息、所述线特征类对象的第一位置信息、所述预估位姿信息以及共线特性，构建第一重投影误差的步骤，包括：基于所述线特征类对象对应的初始三维位置信息、所述预估位姿信息和预设的设备坐标系与图像坐标系之间的映射关系，确定出所述线特征类对象在所述当前图像中的第一投影位置信息；基于所述第一投影位置信息和所述线特征类对象的第一位置信息，构建表征点到线的距离的第一重投影误差；
所述基于所述面特征类对象对应的初始三维位置信息、所述面特征类对象的第一位置信息、所述预估位姿信息以及共面特性，构建第二重投影误差的步骤，包括：基于所述面特征类对象对应的初始三维位置信息、所述预估位姿信息和所述映射关系，确定出所述面特征类对象在所述当前图像中的第二投影位置信息；基于所述面特征类对象的四个顶点分别对应的第二投影位置信息以及第一位置信息，构建表征点到点的距离的第一子重投影误差；基于所述面特征类对象对应的初始三维位置信息以及共面特性，拟合得到一个平面方程；基于所述平面方程以及所述面特征类对象对应的初始三维位置信息，构建表征点到面的距离的第二子重投影误差，以得到第二重投影误差。
可选的，所述参照对象包括以下信息中的至少一个：车道线、路灯杆以及交通指示牌。
可选的，在所述利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的第一位置信息的步骤之前，所述方法还包括：
建立所述预先建立的语义特征检测模型的过程，其中，所述过程包括如下步骤：获得初始的语义特征检测模型；获得多个样本图像，其中，每一样本图像包括一个或多个样本对象；获得每一样本图像对应的标定信息，其中，所述标定信息包括：所对应样本图像中的每一样本对象的标定位置信息及标定类型信息；基于多个所述样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息，训练所述初始的语义特征检测模型，得到预先建立的对象检测模型。
可选的，所述初始的对象识别模型包括特征提取层和特征分类层；
所述基于多个所述样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息，训练所述初始的语义特征检测模型，得到预先建立的语义特征检测模型的步骤，包括：将多个所述样本图像，输入所述特征提取层，得到每一样本图像中每一样本对象对应的图像特征；将每一样本图像中每一样本对象对应的图像特征，输入所述特征分类层，得到每一样本图像中每一样本对象对应的预测位置信息及预测类型信息；将每一预测位置信息与其对应的标定位置信息进行匹配，并将每一预测类型信息与其对应的标定类型信息进行匹配；若匹配成功，则获得包含所述特征提取层和特征分类层的预先建立的语义特征检测模型；若匹配失败，则调整所述特征提取层和特征分类层的参数，并执行所述将多个所述样本图像，输入所述特征提取层，得到每一样本图像中每一样本对象对应的图像特征的步骤；直至匹配成功，获得包含所述特征提取层和特征分类层的预先建立的语义特征检测模型。
第二方面，本发明实施例提供了一种目标对象的定位装置，包括：
第一获得模块，被配置为获得目标对象的图像采集设备采集的当前图像；
检测模块，被配置为利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的语义特征，其中，所述语义特征包括待利用参照对象在所述当前图像中的第一位置信息；第二获得模块，被配置为针对每一待利用参照对象，获得所述待利用参照对象在所述当前图像的前M帧图像中每一帧图像中的第二位置信息，其中，所述M为正整数；构建模块，被配置为针对每一待利用参照对象，基于所述待利用参照对象的第一位置信息以及所述第二位置信息，构建所述待利用参照对象对应的初始三维位置信息；第三获得模块，被配置为获得所述图像采集设备采集所述当前图像时的预估位姿信息；第一确定模块，被配置为基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息。
可选的，所述装置还可以包括：第二确定模块，被配置为在所述基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息之后，基于所述当前位姿信息以及所述第一位置信息，确定出每一待利用参照对象对应的最终三维位置信息，并建立地图。
本发明的一种实施例中，所述检测模块，被具体配置为：利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的参照对象的语义特征；针对所检测到的每一参照对象，判断所述当前图像的前N帧图像的每一帧图像中是否包含该参照对象，其中，所述N为不小于M的正整数；若判断结果为均包含，则确定该参照对象为待利用参照对象。
可选的，所述第三获得模块，被具体配置为通过以下两种实现方式中的任一种实现方式实现：
第一种实现方式：
获得所述目标对象的惯性传感器所采集的当前传感器数据，其中，所述当前传感器数据为：所述惯性传感器在所述图像采集设备采集所述当前图像的采集周期内采集的传感器数据；获得所述图像采集设备采集得到所述当前图像的前一帧图像时的第一位姿信息，以及所述图像采集设备采集得到所述当前图像和所述前一帧图像之间的时间间隔信息；基于所述第一位姿信息、所述当前传感器数据以及所述时间间隔信息，确定出所述图像采集设备采集所述当前图像时的预估位姿信息；
第二种实现方式：
获得所述图像采集设备采集得到所述当前图像的前m帧图像中每一帧图像时的第二位姿信息及第一时间信息，m为大于1的正整数；基于所述前m帧图像中每一帧图像的第二位姿信息以及第一时间信息，确定出所述图像采集设备的平均移动速度；获得所述图像采集设备采集所述当前图像时的第二时间信息；基于所述第二位姿信息、所述平均移动速度、所述第一时间信息和所述第二时间信息，确定出所述图像采集设备采集所述当前图像时的预估位姿信息。
可选的，所述待利用参照对象包括线特征类对象和/或面特征类对象；所述第一确定模块包括：第一构建单元，被配置为基于所述线特征类对象对应的初始三维位置信息、所述线特征类对象的第一位置信息、所述预估位姿信息以及共线特性，构建第一重投影误差；第二构建单元，被配置为基于所述面特征类对象对应的初始三维位置信息、所述面特征类对象的第一位置信息、所述预估位姿信息以及共面特性，构建第二重投影误差；确定单元，被配置为基于所述第一重投影误差和/或第二重投影误差，确定出所述目标对象的当前位姿信息。
可选的，所述第一构建单元，被具体配置为：基于所述线特征类对象对应的初始三维位置信息、所述预估位姿信息和预设的设备坐标系与图像坐标系之间的映射关系，确定出所述线特征类对象在所述当前图像中的第一投影位置信息；基于所述第一投影位置信息和所述线特征类对象的第一位置信息，构建表征点到线的距离的第一重投影误差；
所述第二构建单元，被具体配置为：基于所述面特征类对象对应的初始三维位置信息、所述预估位姿信息和所述映射关系，确定出所述面特征类对象在所述当前图像中的第二投影位置信息；基于所述面特征类对象的四个顶点分别对应的第二投影位置信息以及第一位置信息，构建表征点到点的距离的第一子重投影误差；基于所述面特征类对象对应的初始三维位置信息以及共面特性，拟合得到一个平面方程；基于所述平面方程以及所述面特征类对象对应的初始三维位置信息，构建表征点到面的距离的第二子重投影误差，以得到第二重投影误差。
可选的，所述参照对象包括以下信息中的至少一个：车道线、路灯杆以及交通指示牌。
可选的，所述装置还可以包括：
模型建立模块，被配置为在所述利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的第一位置信息之前，建立所述预先建立的语义特征检测模型的过程，其中，所述模型建立模块包括：
第一获得单元，被配置为获得初始的语义特征检测模型；第二获得单元，被配置为获得多个样本图像，其中，每一样本图像包括一个或多个样本对象；第三获得单元，被配置为获得每一样本图像对应的标定信息，其中，所述标定信息包括：所对应样本图像中的每一样本对象的标定位置信息及标定类型信息；训练单元，被配置为基于多个所述样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息，训练所述初始的语义特征检测模型，得到预先建立的对象检测模型。
可选的，所述初始的对象识别模型包括特征提取层和特征分类层；
所述训练单元，被具体配置为：将多个所述样本图像，输入所述特征提取层，得到每一样本图像中每一样本对象对应的图像特征；将每一样本图像中每一样本对象对应的图像特征，输入所述特征分类层，得到每一样本图像中每一样本对象对应的预测位置信息及预测类型信息；将每一预测位置信息与其对应的标定位置信息进行匹配，并将每一预测类型信息与其对应的标定类型信息进行匹配；若匹配成功，则获得包含所述特征提取层和特征分类层的预先建立的语义特征检测模型；若匹配失败，则调整所述特征提取层和特征分类层的参数，并执行所述将多个所述样本图像，输入所述特征提取层，得到每一样本图像中每一样本对象对应的图像特征；直至匹配成功，获得包含所述特征提取层和特征分类层的预先建立的语义特征检测模型。
由上述内容可知，本发明实施例提供的一种目标对象的定位方法及装置，可以获得目标对象的图像采集设备采集的当前图像；利用预先建立的语义特征检测模型，从当前图像中，检测得到当前图像中的具有几何约束的待利用参照对象的语义特征，其中，语义特征包括待利用参照对象在当前图像中的第一位置信息；针对每一待利用参照对象，获得待利用参照对象在当前图像的前M帧图像中每一帧图像中的第二位置信息，其中，M为正整数；针对每一待利用参照对象，基于待利用参照对象的第一位置信息以及第二位置信息，构建待利用参照对象对应的初始三维位置信息；获得图像采集设备采集当前图像时的预估位姿信息；基于待利用参照对象对应的初始三维位置信息、第一位置信息以及预估位姿信息，确定出目标对象的当前位姿信息。
应用本发明实施例，利用具有几何约束的待利用参照对象的第一位置信息和从前M帧图像中每一帧图像中检测得到的第二位置信息，确定待利用参照对象的初始三维位置信息，在一定程度上提高所确定的待利用参照对象的初始三维位置信息的准确性，并且利用具有几何约束的待利用参照对象实现特征的跟踪和匹配，在一定程度上可以降低误匹配的概率，提升目标对象的定位的精度和稳定性。并且结合精度更高的当前位姿信息以及具有几何约束的参照对象的第一位置信息，可以更准确的确定出参照对象的真实的位置信息，并且，可以重建出在实际环境中有物理意义的精准的参照对象，提高建图准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、利用具有几何约束的待利用参照对象的第一位置信息和多个第二位置信息，确定待利用参照对象的初始三维位置信息，在一定程度上提高所确定的待利用参照对象的初始三维位置信息的准确性，并且利用具有几何约束的待利用参照对象实现特征的跟踪和匹配，在一定程度上可以降低误匹配的概率，提升目标对象的定位的精度和稳定性。
2、结合精度更高的当前位姿信息以及具有几何约束的参照对象的第一位置信息，可以更准确的确定出参照对象的真实的位置信息，并且，可以重建出在实际环境中有物理意义的精准的参照对象，提高建图准确性。
3、对确定目标对象的当前位姿信息的过程进行细化，分别利用具有不同几何约束的待利用参照对象的几何特征，构建关于不同特征的重投影误差，进而基于该重投影误差，确定目标对象的当前位姿信息，可以更好地确定出精确度高的当前位姿信息，解决相关技术中仅依赖图像中的特征点的特征构建重投影误差，进而确定目标对象的当前位姿信息的过程中精度不够高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的目标对象的定位方法的一种流程示意图；
图2为本发明实施例提供的目标对象的定位方法的另一种流程示意图；
图3为图1所示的S102的具体实现的一种流程示意图；
图4为目标对象的图像采集设备在不同位姿信息下对线特征类对象进行拍摄的一种示意图；
图5为本发明实施例提供的目标对象的定位装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例提供了一种目标对象的定位方法及装置，以提高定位精度以及建图准确性。如图1所示，本发明实施例提供了一种目标对象的定位方法，可以包括如下步骤：
S101：获得目标对象的图像采集设备采集的当前图像。
本发明实施例所提供的目标对象的定位方法，可以应用于任一类型的具有计算功能的电子设备。该电子设备可以为服务器也可以为终端设备。该电子设备可以设置于该目标对象上，也可以未设置于该目标对象上。在一种情况中，该目标对象可以为车辆，相应的，该电子设备可以为车载设备，该车辆上可以设置有图像采集设备，其中，该图像采集设备可以为摄像头以及相机等设备。
其中，该电子设备可以与图像采集设备连接，图像采集设备可以实时地采集图像，并发送至电子设备，进而，电子设备可以获得图像采集设备所采集的图像，执行本发明实施例所提供的目标对象的定位流程。该当前图像为图像采集设备在当前时刻所拍摄得到的图像。
S102：利用预先建立的语义特征检测模型，从当前图像中，检测得到当前图像中的具有几何约束的待利用参照对象的语义特征。
其中，该语义特征包括待利用参照对象在当前图像中的第一位置信息；
该预先建立的语义特征检测模型为：预先基于包含有该具有几何约束的待利用参照对象的样本图像，训练得到的模型。其中，该语义特征检测模型可以为神经网络模型等深度学习模型，例如：为卷积神经网络模型等。
本发明实施例中，电子设备获得当前图像之后，将当前图像输入该预先建立的语义特征检测模型，利用该预先建立的语义特征检测模型，从当前图像中，检测得到当前图像中的具有几何约束的待利用参照对象的语义特征。检测得到的待利用参照对象可以为一个或多个，每一待利用参照对象可以对应有一个语义特征。其中，该具有几何约束的待利用参照对象可以为：线状的对象或块状的对象等。该语义特征可以为：描述所对应参照对象的形状以及其在图像中的位置的信息。该参照对象可以为预先设置的所需检测的对象。
S103：针对每一待利用参照对象，获得待利用参照对象在当前图像的前M帧图像中每一帧图像中的第二位置信息。
其中，该M为正整数。
电子设备本地或所连接的存储设备可以预存有当前图像的前M帧图像和/或从前M帧图像中每一帧图像中，检测得到的其所包含的参照对象的语义特征，其中，为了与从当前图像中检测得到的待利用参照对象的语义特征进行区别，可以称从前M帧图像中每一帧图像中，检测得到的其所包含的参照对象的语义特征为前语义特征，其中，每一前语义特征可以包括：所对应的前M帧图像中每一帧图像中包含的参照对象的第二位置信息，其中，该第二位置信息为：所对应参照对象在前M帧图像中每一帧图像中的位置信息。
电子设备可以针对每一待利用参照对象，从本地或所连接的存储设备中，获得待利用参照对象在所述当前图像的前M帧图像中每一帧图像中的第二位置信息。其中，该M为预先设置的数值，其可以取1或大于1的整数。
S104：针对每一待利用参照对象，基于待利用参照对象的第一位置信息以及第二位置信息，构建待利用参照对象对应的初始三维位置信息。
本步骤中，电子设备在获得待利用参照对象的第一位置信息以及从前M帧图像中每一帧图像检测得到的第二位置信息之后，可以针对每一待利用参照对象，利用三角化算法，以及该待利用参照对象的第一位置信息以及从前M帧图像中每一帧图像检测得到的第二位置信息，确定得到该待利用参照对象的深度信息，作为当前深度信息。其中，待利用参照对象对应的当前深度信息可以表征该待利用参照对象距离图像采集设备的距离。进而，针对每一待利用参照对象，利用该当前深度信息以及第一位置信息，确定出该待利用参照对象在设备坐标系下的设备位置信息，进而，基于预估位姿信息以及该设备位置信息，确定得到该待利用参照对象的初始三维位置信息，其中，该初始三维位置信息为：在世界坐标系下的位置信息。
其中，上述利用三角化算法，以及该待利用参照对象的第一位置信息以及从前M帧图像中每一帧图像检测得到的第二位置信息，确定得到该待利用参照对象的深度信息，作为该待利用参照对象的初始深度信息的过程，可以是：获得图像采集设备采集得到当前图像时的位姿，与采集得到当前图像的前M帧图像的每一帧图像时的位姿之间的相对位姿信息，即得到M个相对位姿信息；进而基于该M个相对位姿信息中的每一相对位姿信息、该待利用参照对象的第一位置信息以及从前M帧图像中每一帧图像检测得到的第二位置信息，确定得到该待利用参照对象的深度信息，作为该待利用参照对象的初始深度信息。其中，上述过程即为三角化过程，针对同一待利用参考对象可以仅执行一变上述过程，并在后续优化过程中不断优化迭代。
S105：获得图像采集设备采集当前图像时的预估位姿信息。
在一种实现方式中，当目标对象设置有惯性传感器时，在目标对象移动过程中，该惯性传感器数据可以采集得到传感器数据，该传感器数据可以表征出该目标对象的移动情况，该移动情况包括目标对象移动的距离和移动方向等信息。其中，该惯性传感器可以包括：加速度计以及陀螺仪等传感器。该传感器数据可以包括加速度计所采集的传感器数据以及陀螺仪所采集的传感器数据。
若目标对象设置有惯性传感器，该惯性传感器采集得到传感器数据之后，可以将该传感器数据发送至电子设备，此时，电子设备可以获得该传感器数据，并基于该传感器数据以及目标对象的初始位置信息，估计得到目标对象在当前的位姿信息。相应的，该S105，可以包括：
获得目标对象的惯性传感器所采集的当前传感器数据，其中，当前传感器数据为：惯性传感器在图像采集设备采集当前图像的采集周期内采集的传感器数据；
获得图像采集设备采集得到当前图像的前一帧图像时的第一位姿信息，以及图像采集设备采集得到当前图像和前一帧图像之间的时间间隔信息；其中，该时间间隔信息为：表征图像采集设备采集得到当前图像和前一帧图像之间的时间差的信息。
基于第一位姿信息、当前传感器数据以及时间间隔信息，确定出图像采集设备采集当前图像时的预估位姿信息。
本实现方式中，为了在一定程度上保证所估计的目标对象的当前的位置信息，需要保证图像采集设备所采集的图像和惯性传感器所采集的传感器数据之间的同步，电子设备获得目标对象的惯性传感器在图像采集设备采集当前图像的采集周期内，采集的当前传感器数据，即惯性传感器在当前时刻采集的当前传感器数据。进而，获得图像采集得到当前图像的前一帧图像时的位姿信息，即第一位姿信息，并获得图像采集设备采集得到当前图像和前一帧图像之间的时间间隔信息；基于当前传感器数据以及该时间间隔信息，可以确定得到图像采集设备采集得到当前帧图像时，相对于采集得到前一帧图像时的相对位置变化情况，例如相对位移以及相对角度变化，进而，基于该第一位姿信息和相对位置变化情况，估计得到目标对象当前的位姿信息，即该预估位姿信息。
在另一种实现方式中，若目标对象未设置有惯性传感器，电子设备可以根据目标对象在之前的移动情况，估计得到目标对象在当前的位姿信息。相应的，该S105，可以包括：
获得图像采集设备采集得到当前图像的前m帧图像中每一帧图像时的第二位姿信息以及第一时间信息，m为大于1的正整数；
其中，m可以等于M，也可以不等于M，该m不大于N。
基于前m帧图像中每一帧图像的第二位姿信息以及第一时间信息，确定出图像采集设备的平均移动速度；
获得图像采集设备采集当前图像时的第二时间信息；
基于第二位姿信息、平均移动速度、第一时间信息和第二时间信息，确定出图像采集设备采集当前图像时的预估位姿信息。
本实现方式中，可以假设目标对象为匀速运动，即图像采集设备为匀速运动，即获得图像采集设备采集得到当前图像的前m帧图像中每一帧图像时的第二位姿信息以及第一时间信息，并基于前m帧图像中每一帧图像时的第二位姿信息以及第一时间信息，计算得到图像采集设备的平均移动速度，进而，基于第二位姿信息以及平均移动速度，确定出图像采集设备采集当前图像时的预估位姿信息。举例而言，m等于2，即获得图像采集设备采集得到当前图像的前第一帧图像时的第二位姿信息1及第一时间信息1，以及当前图像的前第二帧图像时的第二位姿信息2及第一时间信息2，基于第二位姿信息1和第二位姿信息2可以确定得到图像采集设备采集得到前第一帧图像时和采集得到前第二帧图像时之间的位移信息，基于第一时间信息1和第一时间信息2可以确定得到图像采集设备采集得到前第一帧图像时和采集得到前第二帧图像时之间的时间差信息，进而基于该位移信息以及该时间差信息，可以确定得到图像采集设备的平均移动速度，进而，获得图像采集设备采集当前图像时的第二时间信息；基于该第二位姿信息1、平均移动速度、第一时间信息1和第二时间信息，确定出图像采集设备采集当前图像时的预估位姿信息，或者，基于该第二位姿信息2、平均移动速度以及第一时间信息2和第二时间信息，确定出图像采集设备采集当前图像时的预估位姿信息。
S106：基于待利用参照对象对应的初始三维位置信息、第一位置信息以及预估位姿信息，确定出目标对象的当前位姿信息。
本步骤中，利用待利用参照对象对应的初始三维位置信息和预估位姿信息，可以确定出待利用参照对象在当前图像中的投影的位置信息，作为投影位置信息，进而，基于待利用参照对象的投影位置信息以及待利用参照对象的第一位置信息，确定待利用参照对象的投影位置信息和待利用参照对象的投影位置信息之间的误差，进而，通过最小二乘算法优化该误差，使得该误差满足预设的约束条件，进而确定得到目标对象的当前位姿信息，其中，该预设的约束条件可以为不大于预设误差阈值。
其中，上述通过最小二乘算法优化该误差，使得该误差满足预设的约束条件，进而确定得到目标对象的当前位姿信息的过程，可以是：通过最小二乘算法优化该误差，使得该误差满足预设的约束条件，进而确定得到图像采集设备在此刻的位姿信息；基于预存的图像采集设备的位姿信息与目标对象的位姿信息之间的位姿转换关系，以及该图像采集设备在此刻的位姿信息，确定得到目标对象的当前位姿信息。
在一种实现中，还可以是：在获得待利用参照对象在当前图像的前M帧图像中每一帧图像中的第二位置信息之后，获得图像采集设备采集得到前M帧图像中每一帧图像时的位姿信息，作为前位姿信息；进而，基于待利用参照对象对应的初始三维位置信息、第一位置信息、第二位置信息、预估位姿信息以及图像采集设备采集前M帧中每一帧图像时的前位姿信息，确定出目标对象的当前位姿信息。具体的，可以是：利用待利用参照对象对应的初始三维位置信息、每帧图像对应的位姿信息以及对应的待利用参照对象的位置信息，确定出待利用参照对象在每帧图像中的投影位置信息，进而，利用该投影位置及对应的第一位置信息，确定出目标对象的当前位姿信息。其中，图像包括当前图像和前M帧中每一帧图像，当图像为当前图像时，对应的位姿信息为预估位姿信息，对应的待利用参照对象的位置信息为第一位置信息，确定出待利用参照对象在当前图像中的投影位置信息。当图像为前M帧中的一帧图像时，对应的位姿信息为该帧图像对应的前位姿信息，对应的待利用参照对象的位置信息为待利用参照对象在该帧图像中的第二位置信息，确定出待利用参照对象在该帧图像中的投影位置信息。为了布局清楚，具体参见后续描述。
应用本发明实施例，利用具有几何约束的待利用参照对象的第一位置信息和从前M帧图像中每一帧图像中检测得到的第二位置信息，确定待利用参照对象的初始三维位置信息，在一定程度上提高所确定的待利用参照对象的初始三维位置信息的准确性，并且利用具有几何约束的待利用参照对象实现特征的跟踪和匹配，在一定程度上可以降低误匹配的概率，提升目标对象的定位的精度和稳定性。并且结合精度更高的当前位姿信息以及具有几何约束的参照对象的第一位置信息，可以更准确的确定出参照对象的真实的位置信息，并且，可以重建出在实际环境中有物理意义的精准的参照对象，提高建图准确性。
本发明的一种实施例中，如图2所示，所述方法可以包括如下步骤：
S201：获得目标对象的图像采集设备采集的当前图像。
S202：利用预先建立的语义特征检测模型，从当前图像中，检测得到当前图像中的具有几何约束的待利用参照对象的语义特征。
其中，该语义特征包括待利用参照对象在当前图像中的第一位置信息。
S203：针对每一待利用参照对象，获得待利用参照对象在当前图像的前M帧图像中每一帧图像中的第二位置信息。
其中，M为正整数。
S204：针对每一待利用参照对象，基于待利用参照对象的第一位置信息以及第二位置信息，构建待利用参照对象对应的初始三维位置信息。
S205：获得图像采集设备采集当前图像时的预估位姿信息。
S206：基于待利用参照对象对应的初始三维位置信息、第一位置信息以及预估位姿信息，确定出目标对象的当前位姿信息。
S207：基于当前位姿信息以及第一位置信息，确定出每一待利用参照对象对应的最终三维位置信息，并建立地图。
其中，该S201与图1所示的S101相同，该S202与图1所示的S102相同，该S203与图1所示的S103相同，该S204与图1所示的S104相同，该S205与图1所示的S105相同，该S206与图1所示的S106相同，在此不再赘述。
理论上，在确定出目标对象的当前位姿信息之后，可以基于当前位姿信息以及每一待利用参照对象在当前图像中的第一位置信息，得到每一待利用参照对象对应的最终三维位置信息。进而基于每一待利用参照对象对应的最终三维位置信息，可以绘制出相应的三维地图。
其中，上述基于当前位姿信息以及每一待利用参照对象在当前图像中的第一位置信息，得到每一待利用参照对象对应的最终三维位置信息的步骤，可以是：获得每一待利用参照对象的深度信息，其中，在构建待利用参照对象对应的初始三维位置信息的过程中，可以获得每一待利用参照对象的深度信息；基于每一待利用参照对象在当前图像中的第一位置信息及深度信息，可以得到每一参照对象在设备坐标系下的设备位置信息；进而，基于每一参照对象在设备坐标系下的设备位置信息以及当前位姿信息，得到每一待利用参照对象对应的最终三维位置信息。
在一种实现方式中，在通过最小二乘算法优化该误差，使得该误差满足预设的约束条件，进而确定得到图像采集设备在此刻的位姿信息时，可以同时获得每一待利用参照对象对应的最终三维位置信息。进而，在得到每一待利用参照对象对应的最终三维位置信息之后，基于该每一待利用参照对象对应的最终三维位置信息建立地图。
本实施例中，可以利用具有几何约束的参照对象实现特征匹配和跟踪，在一定程度上提高了特征匹配和跟踪的准确性，使得特征匹配和跟踪的稳定性更高。所检测出的待利用参照对象为具有几何约束的对象，所确定出的语义特征包含可以表征出该待利用参照对象所具有的几何约束的第一位置信息，后续的。利用该第一位置信息，可以重建出具有几何特征的对象，更能表征出实际环境中存在的物体的形状，使得重建的地图更准确且可观性越好。
本发明的一种实施例中，如图3所示，该S102，可以包括如下步骤：
S301：利用预先建立的语义特征检测模型，从当前图像中，检测得到当前图像中的具有几何约束的参照对象的语义特征。
其中，该语义特征包括待利用参照对象在当前图像中的第一位置信息。
S302：针对所检测到的每一参照对象，判断当前图像的前N帧图像的每一帧图像中是否包含该参照对象。其中，该N为不小于M的正整数；
S303：若判断结果为均包含，则确定该参照对象为待利用参照对象。
为了保证定位结果的准确，在利用图像进行特征匹配跟踪的过程中，需要保证所匹配跟踪的特征的准确。本实施例中，可以在利用预先建立的语义特征检测模型，从当前图像中检测得到具有几何约束的参照对象的语义特征之后，针对所检测到的每一参照对象，判断当前图像的前N帧图像的每一帧图像中是否包含该参照对象。即判断在前N帧图像的每一帧图像中是否检测到该参照对象，在确定在前N帧图像的每一帧图像中检测到该参照对象，将该参照对象确定为待利用参照对象，进而利用该待利用参照对象的语义特征，执行后续的目标对象的定位流程，以保证对目标对象的定位结果的准确。
本发明的一种实施例中，该待利用参照对象包括线特征类对象和/或面特征类对象；其中，语义特征还可以包括每一待利用参照对象的类型信息，通过每一待利用参照对象的类型信息，可以确定出待利用参照对象为线特征类对象还是面特征类对象；
所述基于待利用参照对象对应的初始三维位置信息、第一位置信息以及预估位姿信息，确定出目标对象的当前位姿信息的步骤，可以包括：
基于线特征类对象对应的初始三维位置信息、线特征类对象的第一位置信息、预估位姿信息以及共线特性，构建第一重投影误差；
基于面特征类对象对应的初始三维位置信息、面特征类对象的第一位置信息、预估位姿信息以及共面特性，构建第二重投影误差。
基于第一重投影误差和/或第二重投影误差，确定出目标对象的当前位姿信息。
该待利用参照对象可以包括线特征类对象和/或面特征类对象；该线特征类对象可以包括路灯杆和车道线等具有线特征的对象，该面特征类对象可以包括交通指示牌等具有面特征的对象。其中，将参照对象进行抽象描述，即将参照对象抽象描述成线特征类对象或面特征类对象，以可以使得后续的流程的执行简洁化。
本实施例中，针对具有不同的几何约束的参照对象，构建不同的重投影误差，进而基于对每一参照对象构建的重投影误差，确定出目标对象的当前位姿信息。具体的，针对线特征类对象，基于线特征类对象对应的初始三维位置信息、线特征类对象的第一位置信息、预估位姿信息以及共线特性，构建第一重投影误差。针对面特征类对象，基于面特征类对象对应的初始三维位置信息、面特征类对象的第一位置信息、预估位姿信息以及共面特性，构建第二重投影误差。进而，基于第一重投影误差和/或第二重投影误差，确定出目标对象的当前位姿信息。
其中，上述基于第一重投影误差和/或第二重投影误差，确定出目标对象的当前位姿信息的过程，可以是：采用最小二乘法原理，基于第一重投影误差和/或第二重投影误差，构建最小二乘法方程，进而求解该方程，基于使得该方程满足约束条件时的解，确定目标对象的当前位姿信息。
本发明的一种实施例中，所述基于线特征类对象对应的初始三维位置信息、线特征类对象的第一位置信息、预估位姿信息以及共线特性，构建第一重投影误差的步骤，可以包括：
基于线特征类对象对应的初始三维位置信息、预估位姿信息和预设的设备坐标系与图像坐标系之间的映射关系，确定出线特征类对象在当前图像中的第一投影位置信息；
基于第一投影位置信息和线特征类对象的第一位置信息，构建表征点到线的距离的第一重投影误差；
所述基于面特征类对象对应的初始三维位置信息、面特征类对象的第一位置信息、预估位姿信息以及共面特性，构建第二重投影误差的步骤，可以包括：
基于面特征类对象对应的初始三维位置信息、预估位姿信息和映射关系，确定出面特征类对象在当前图像中的第二投影位置信息；
基于面特征类对象的四个顶点分别对应的第二投影位置信息以及第一位置信息，构建表征点到点的距离的第一子重投影误差；
基于面特征类对象对应的初始三维位置信息以及共面特性，拟合得到一个平面方程；
基于平面方程以及面特征类对象对应的初始三维位置信息，构建表征点到面的距离的第二子重投影误差，以得到第二重投影误差。
其中，对于线特征类对象来说，该线特征类对象对应的初始三维位置信息为：在世界坐标系下的位置信息。电子设备可以先将线特征类对象，从世界坐标系下的位置信息，投影至图像采集设备当前的设备坐标系下，得到线特征类对象在当前的设备坐标系下的第一设备位置信息，进而，基于预设的设备坐标系与图像坐标系之间的映射关系，将线特征类对象从设备坐标系下，投影至图像坐标系下，得到线特征类对象在图像坐标系下的图像位置信息，即第一投影位置信息。
具体的，可以是：基于图像采集设备的预估位姿信息以及该线特征类对象对应的初始三维位置信息，确定得到该线特征类对象在图像采集设备坐标系下的第一设备位置信息；进而，基于第一设备位置信息以及预设的设备坐标系与图像坐标系之间的映射关系，确定出线特征类对象在当前图像中的第一投影位置信息。
举例而言，若该预估位姿信息为该预估位姿信息的逆，可以表示为：/>其中，/>表示图像采集设备的设备坐标系到世界坐标系的旋转矩阵，该/>表示图像采集设备在世界坐标系下的位置信息。预设的设备坐标系与图像坐标系之间的映射关系可以表示为：/>其中，fx表示图像采集设备的横轴方向上的焦距，fy表示纵轴方向上的焦距，(cx，cy)表示像主点在图像坐标系中的位置信息，其中，像主点为：图像采集设备的光轴与像平面的垂线，和像平面的交点。线特征类对象的初始三维位置信息表示为P1。利用该预估位姿信息的逆矩阵/>将初始三维位置信息P1转换至图像采集设备的设备坐标系下，得到第一设备位置信息，进而，利用矩阵K，将第一设备位置信息转换至图像坐标系下，得到第一投影位置信息，，该第一投影位置信息可以表示为：/>其中，可以称/>为该图像采集设备当前的重投影矩阵或重投影函数。
在一种实现方式中，可以直接用该线特征类对象上的预设点的位置信息，来表征该线特征类对象对应的初始三维位置信息；也可以是通过该线特征类对象对应的方向向量和法向量/>来表征该线特征类对象对应的初始三维位置信息，这都是可以的。
后续的，针对线特征类对象构建其对应的重投影误差时，可以通过点到线的距离，来构建重投影误差。其中，基于第一投影位置信息和线特征类对象的第一位置信息，构建表征点到线的距离的第一重投影误差。在一种实现方式中，可以通过公式(1)来表示第一重投影误差，如下：
其中，e1表示第一重投影误差，即残差，π表示重投影函数，即重投影矩阵，a，b表示该线特征类对象的两个端点在当前图像中的第一位置信息，其中，为该线特征类对象对应的方向向量，/>为该线特征类对象对应的法向量。
上述公式(1)可以表示该线特征类对象的两个端点距离该线特征类对象在当前图像中的投影的直线的距离。
承接上述例子，上述公式(1)可以表示为：其中，p1表示该线特征类对象的两个端点的第一位置信息。
一种情况中，上述公式(1)可以表示所构建的第一重投影误差为：电子设备利用线特征类对象在当前图像的第一位置信息和在当前图像中的投影位置信息构建的。
在另一种情况中，还可以：在构建第一重投影误差时，利用线特征类对象在当前图像的第一位置信息、在当前图像的前M帧图像中每一帧图像中的第二位置信息、线特征类对象在当前图像中的投影位置信息和在前M帧图像中每一帧图像中的投影位置信息，共同构建第一重投影误差。
如图4所示，为目标对象的图像采集设备在不同位姿信息下对线特征类对象进行拍摄的一种示意图；其中，图像采集设备在不同位姿信息下对线特征类对象进行拍摄时，该线特征类对象在图像采集设备中的成像大小和位置均存在不同。在一种实现方式中，可以利用线特征类对象在第k帧图像到第k-n中每一帧图像中的投影位置信息，以及线特征类对象在第k帧图像到第k-n中每一帧图像中的观测位置信息，构建第一重投影误差。其中，上述线特征类对象在第k帧图像到第k-n中每一帧图像中的观测位置信息为：从第k帧图像到第k-n中每一帧图像中检测出的线特征类对象所在位置信息。其中，该/>表示图像采集设备采集第i帧图像时的位姿信息，pi表示线特征类对象在第i帧图像中的观测位置信息，即检测得到的线特征类对象在第i帧图像中的位置信息。其中，该n-1即为M，第k帧图像表示当前图像，第k-1帧至第k-n帧图像分别表示前M帧图像中的每一帧图像。
对于面特征类对象来说，面特征类对象对应的初始三维位置信息为：在世界坐标系下的位置信息。电子设备可以先将面特征类对象，从世界坐标系下的位置信息，投影至图像采集设备当前的设备坐标系下，得到面特征类对象在当前的设备坐标系下的第二设备位置信息，进而，基于预设的设备坐标系与图像坐标系之间的映射关系，将面特征类对象从设备坐标系下，投影至图像坐标系下，得到面特征类对象在图像坐标系下得图像位置信息，即第二投影位置信息。
具体的，可以是：基于图像采集设备的预估位姿信息以及该面特征类对象对应的初始三维位置信息，确定得到该面特征类对象在图像采集设备坐标系下的第二设备位置信息；进而，基于第二设备位置信息以及预设的设备坐标系与图像坐标系之间的映射关系，确定出面特征类对象在当前图像中的第二投影位置信息。其中，确定得到第二投影位置信息的过程，可以参考确定得到第一投影位置信息的过程，在此不再赘述。
在一种实现方式中，可以直接用该面特征类对象上的预设点的位置信息，来表征该面特征类对象对应的初始三维位置信息，如：可以通过该面特征类对象的四个顶点的位置信息来表示该面特征类对象对应的初始三维位置信息。
后续的，针对面特征类对象构建其对应的重投影误差时，可以从不同角度来构建，第一角度：可以将面特征类对象的预设点作为普通特征点来构建重投影误差，即通过点到点的距离来表征第一子重投影误差；第二角度，基于在三维空间下，面特征类对象上的预设点的共面特性，来构建重投影误差，即基于面特征类对象上的预设点，构建平面方程，进而，通过面特征类对象的预设点到平面方程的距离，来表征第二子重投影误差。其中，面特征类对象的预设点的观测位置为：面特征类对象在当前图像中的位置。其中，基于第二投影位置信息和面特征类对象的第一位置信息，构建表征点到点的距离的第一子重投影误差。在一种实现方式中，可以通过公式(2)来表示第一子重投影误差，如下：
e2i＝π(P2(x,y,z))-p2(x,y)； (2)
公式(2)中，e21表示第一子重投影误差，π表示重投影函数，即重投影矩阵，即上述提到的P2(x，y，z)表示面特征类对象对应的初始三维位置信息，π(P2(x，y，z))表示面特征类对象在当前图像中的第二投影位置信息，p2(x，y)表示面特征类对象在当前图像中的第一位置信息，如面特征类对象的四个顶点在当前图像中的第一位置信息。
可以通过公式(3)来表示第二子重投影误差，如下：
公式(3)中，e22表示第二子重投影误差，A，B，C，D是面特征类对象的顶点拟合出来的平面方程的系数，该平面方程可以表示为：Ax+By+Cz+D＝0。
上述公式(3)可以表示该面特征类对象的预设点距离该平面方程的距离。
其中，上述公式(2)和(3)可以表示所构建的第二重投影误差为：电子设备利用面特征类对象在当前图像的第一位置信息和在当前图像中的投影位置信息构建的。
在另一种情况中，还可以：在构建第二重投影误差时，利用面特征类对象在当前图像的第一位置信息、在当前图像的前M帧图像中每一帧图像中的第二位置信息、面特征类对象在当前图像中的投影位置信息和在前M帧图像中每一帧图像中的投影位置信息，共同构建第二重投影误差。其中，第一子重投影误差可以表示为：其中，p2i(x,y)表示在当前图像的第一位置信息或在当前图像的前M帧图像中每一帧图像中的第二位置信息，πi(P2i(x，y，z))表示面特征类对象在当前图像中的投影位置信息或在前M帧图像中每一帧图像中的投影位置信息，其中，该n-1即为M，第k帧图像表示当前图像，第k-1帧至第k-n帧图像分别表示前M帧图像中的每一帧图像。
上述第一子重投影误差和第二子重投影误差即为上述第二重投影误差。其中，第二重投影误差可以表示为：e2＝e21+e22。
构建出上述第一重投影误差和\或第二重投影误差之后，可以基于该第一重投影误差和\或第二重投影误差，确定图像采集设备在此刻的位姿信息，进而，基于预存的图像采集设备的位姿信息与目标对象的位姿信息之间的位姿转换关系，和图像采集设备在此刻的位姿信息，确定得到目标对象的当前位姿信息。
其中，基于该第一重投影误差和\或第二重投影误差，确定图像采集设备在此刻的位姿信息的过程可以是：采用最小二乘法原理，基于第一重投影误差和/或第二重投影误差，构建最小二乘法方程，进而求解该方程，基于使得该方程满足约束条件时的解，确定目标对象的当前位姿信息。
其中，最小二乘法原理如下：
∈＝∑(zi-h(xi))*(zi-h(xi))T； (4)
其中，∈表示重投影误差的平方，(zi-h(xi))表示重投影误差，(zi-h(xi))T表示重投影误差的转置，zi表示观测值，即从图像中检测出得信息。以第一重投影误差为例说明，zi可以为线特征类对象的两个端点在当前图像中的第一位置信息；h(xi)表示投影值，即从空间点投影至图像的值，以第一重投影误差为例说明，h(xi)可以为；线特征类对象的第一投影位置信息，xi表示观测值，表示投影值，Δx表示重投影误差，即残差；
结合(5)展开(4):
式(6)中，J为h对x的一阶偏导，令则(6)可以用公式(7)表示：
e＝∑(g(Xi)-IiΔX)*(g(Xi)-JiΔX)T； (7)
公式(7)展开，得到公式(8)，如下：
对式(8)求对Δx的一阶偏导，得到对式(9)，如下：
令b＝∑2g(xi)*Ji，则式(9)可简化成公式(10)；
HΔx＝b(10)，求解Δx；其中，上述求解Δx时，可以存在约束条件，例如：约束条件为：Δx不大于预设误差阈值。
其中，以采用最小二乘法原理，基于第一重投影误差和第二重投影误差，共同构建最小二乘法方程为例进行说明：构建所得的最小二乘法方程可以为：
∈＝e1 2+e21 2+e22 2。
本发明的一种实施例中，该参照对象包括以下信息中的至少一个：车道线、路灯杆以及交通指示牌。
在一种实现方式中，该参照对象也可以包括红绿灯杆等。本实施例中，所预设的参照对象可以为固定于道路上的物体，在一定程度上，可以排除其他运动的物体对目标对象的定位的干扰，避免出现其他运动的物体使得目标对象的当前位姿信息不易收敛的情况。
本发明的一种实施例中，在所述利用预先建立的语义特征检测模型，从当前图像中，检测得到当前图像中的具有几何约束的待利用参照对象的第一位置信息的步骤之前，所述方法还可以包括：
建立预先建立的语义特征检测模型的过程，其中，所述过程包括如下步骤：获得初始的语义特征检测模型。获得多个样本图像，其中，每一样本图像包括一个或多个样本对象。获得每一样本图像对应的标定信息，其中，标定信息包括：所对应样本图像中的每一样本对象的标定位置信息及标定类型信息；基于多个样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息，训练初始的语义特征检测模型，得到预先建立的语义特征检测模型。
其中，样本图像中的每一样本对象的标定位置信息及标定类型信息，属于该样本图像中的每一样本对象的样本语义特征。每一样本对象的样本语义特征还可以包括描述该样本对象的形状的信息，如：样本对象为线特征类对象还是面特征类对象的信息。
一种实现方式中，该语义特征检测模型可以为神经网络模型或支持向量机等基于深度学习算法类的模型。该初始的语义特征检测模型可以为初始的神经网络模型。
其中，该样本对象包括但不限于：车道线、路灯杆以及交通指示牌等具有几何约束的对象，该样本对象可以为固定于道路上的任意类型的具有几何约束的对象。该标定信息可以是工作人员手动标定的，例如：工作人员在每一样本图像中，用矩形框标定出该样本图像中的每一样本对象，其中，该矩形框可以表征出所对象样本对象在样本图像中的位置信息，作为标定位置信息。工作人员针对每一样本对象标定出该样本对象的类型，作为标定类型信息。或，该标定信息可以是电子设备通过特定程序标定出的，这也是可以的。
电子设备可以首先获得初始的语义特征检测模型，获得多个样本图像，并获得每一样本图像对应的标定信息，进而将多个样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息，输入初始的语义特征检测模型，以基于该多个样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息，训练该初始的语义特征检测模型，得到预先建立的语义特征检测模型。
本发明的一种实施例中，该初始的对象识别模型包括特征提取层和特征分类层；所述基于多个样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息，训练初始的语义特征检测模型，得到预先建立的语义特征检测模型的步骤，可以包括：
将多个样本图像，输入特征提取层，得到每一样本图像中每一样本对象对应的图像特征；将每一样本图像中每一样本对象对应的图像特征，输入特征分类层，得到每一样本图像中每一样本对象对应的预测位置信息及预测类型信息；将每一预测位置信息与其对应的标定位置信息进行匹配，并将每一预测类型信息与其对应的标定类型信息进行匹配；若匹配成功，则获得包含特征提取层和特征分类层的预先建立的语义特征检测模型；若匹配失败，则调整特征提取层和特征分类层的参数，并执行将多个所述样本图像，输入特征提取层，得到每一样本图像中每一样本对象对应的图像特征的步骤；直至匹配成功，获得包含特征提取层和特征分类层的预先建立的语义特征检测模型。其中，样本图像与标定信息存在对应关系，样本图像与预测信息存在对应关系，则标定信息与预测信息存在对应关系。该预测信息包括预测位置信息和预测类型信息。
上述将每一预测位置信息与其对应的标定位置信息进行匹配，并将每一预测类型信息与其对应的标定类型信息进行匹配的过程，可以是：利用预设的损失函数，计算每一预测位置信息与其对应的标定位置信息之间的第一损失值，并计算每一预测类型信息与其对应的标定类型信息之间的第二损失值，判断该第一损失值是否小于第一预设损失阈值，且判断该第二损失值是否小于第二预设损失阈值；若判断该第一损失值小于第一预设损失阈值，且该第二损失值小于第二预设损失阈值，则确定该初始的语义特征检测模型收敛，即确定该初始的语义特征检测模型训练完成，得到预先建立的语义特征检测模型；若判断该第一损失值不小于第一预设损失阈值，和\或该第二损失值不小于第二预设损失阈值；则基于使得该第一损失值和第二损失值变小的原则，调整特征提取层和特征分类层的参数，进而，返回执行将多个样本图像，输入特征提取层，得到每一样本图像中每一样本对象对应的图像特征的步骤，直至判断该第一损失值小于第一预设损失阈值，且该第二损失值小于第二预设损失阈值，确定该初始的语义特征检测模型收敛，得到预先建立的语义特征检测模型。
在得到预先建立的语义特征检测模型之后，即可以利用该预先建立的语义特征检测模型，来实时检测图像中包含的参照对象，进而检测得到图像中所包含的参照对象的语义特征。一种实现方式中，上述利用预先建立的语义特征检测模型，从当前图像中，检测得到当前图像中的具有几何约束的待利用参照对象的语义特征的过程，可以是：将当前图像输入预先建立的语义特征检测模型的特征提取层，得到当前图像对应的待检测图像特征，将该待检测图像特征输入预先建立的语义特征检测模型的特征分类层，得到当前图像中的具有几何约束的待利用参照对象的语义特征，其中，该语义特征包括待利用参照对象在当前图像中的第一位置信息，还可以包括待利用参照对象的类型信息。
相应于上述方法实施例，本发明实施例提供了一种目标对象的定位装置，如图5所示，可以包括：第一获得模块510，被配置为获得目标对象的图像采集设备采集的当前图像；检测模块520，被配置为利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的语义特征，其中，所述语义特征包括待利用参照对象在所述当前图像中的第一位置信息；第二获得模块530，被配置为针对每一待利用参照对象，获得所述待利用参照对象在所述当前图像的前M帧图像中每一帧图像中的第二位置信息，其中，所述M为正整数；构建模块540，被配置为针对每一待利用参照对象，基于所述待利用参照对象的第一位置信息以及所述第二位置信息，构建所述待利用参照对象对应的初始三维位置信息；第三获得模块550，被配置为获得所述图像采集设备采集所述当前图像时的预估位姿信息；第一确定模块560，被配置为基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息。
应用本发明实施例，利用具有几何约束的待利用参照对象的第一位置信息和从前M帧图像中每一帧图像中检测得到的第二位置信息，确定待利用参照对象的初始三维位置信息，在一定程度上提高所确定的待利用参照对象的初始三维位置信息的准确性，并且利用具有几何约束的待利用参照对象实现特征的跟踪和匹配，在一定程度上可以降低误匹配的概率，提升目标对象的定位的精度和稳定性。并且结合精度更高的当前位姿信息以及具有几何约束的参照对象的第一位置信息，可以更准确的确定出参照对象的真实的位置信息，并且，可以重建出在实际环境中有物理意义的精准的参照对象，提高建图准确性。
本发明的一种实施例中，所述装置还可以包括：第二确定模块(图中未示出)，被配置为在所述基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息之后，基于所述当前位姿信息以及所述第一位置信息，确定出每一待利用参照对象对应的最终三维位置信息，并建立地图。
本发明的一种实施例中，所述检测模块520，被具体配置为：利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的参照对象的语义特征；针对所检测到的每一参照对象，判断所述当前图像的前N帧图像的每一帧图像中是否包含该参照对象，其中，所述N为不小于M的正整数；若判断结果为均包含，则确定该参照对象为待利用参照对象。
本发明的一种实施例中，所述第三获得模块550，被具体配置为通过以下两种实现方式中的任一种实现方式实现：第一种实现方式：获得所述目标对象的惯性传感器所采集的当前传感器数据，其中，所述当前传感器数据为：所述惯性传感器在所述图像采集设备采集所述当前图像的采集周期内采集的传感器数据；获得所述图像采集设备采集得到所述当前图像的前一帧图像时的第一位姿信息，以及所述图像采集设备采集得到所述当前图像和所述前一帧图像之间的时间间隔信息；基于所述第一位姿信息、所述当前传感器数据以及所述时间间隔信息，确定出所述图像采集设备采集所述当前图像时的预估位姿信息；
第二种实现方式：获得所述图像采集设备采集得到所述当前图像的前m帧图像中每一帧图像时的第二位姿信息及第一时间信息，m为大于1的正整数；基于所述前m帧图像中每一帧图像的第二位姿信息以及第一时间信息，确定出所述图像采集设备的平均移动速度；获得所述图像采集设备采集所述当前图像时的第二时间信息；基于所述第二位姿信息、所述平均移动速度、所述第一时间信息和所述第二时间信息，确定出所述图像采集设备采集所述当前图像时的预估位姿信息。
本发明的一种实施例中，所述待利用参照对象包括线特征类对象和/或面特征类对象；所述第一确定模块560包括：第一构建单元(图中未示出)，被配置为基于所述线特征类对象对应的初始三维位置信息、所述线特征类对象的第一位置信息、所述预估位姿信息以及共线特性，构建第一重投影误差；第二构建单元(图中未示出)，被配置为基于所述面特征类对象对应的初始三维位置信息、所述面特征类对象的第一位置信息、所述预估位姿信息以及共面特性，构建第二重投影误差；确定单元(图中未示出)，被配置为基于所述第一重投影误差和/或第二重投影误差，确定出所述目标对象的当前位姿信息。
本发明的一种实施例中，所述第一构建单元，被具体配置为：基于所述线特征类对象对应的初始三维位置信息、所述预估位姿信息和预设的设备坐标系与图像坐标系之间的映射关系，确定出所述线特征类对象在所述当前图像中的第一投影位置信息；基于所述第一投影位置信息和所述线特征类对象的第一位置信息，构建表征点到线的距离的第一重投影误差；
所述第二构建单元，被具体配置为：基于所述面特征类对象对应的初始三维位置信息、所述预估位姿信息和所述映射关系，确定出所述面特征类对象在所述当前图像中的第二投影位置信息；基于所述面特征类对象的四个顶点分别对应的第二投影位置信息以及第一位置信息，构建表征点到点的距离的第一子重投影误差；基于所述面特征类对象对应的初始三维位置信息以及共面特性，拟合得到一个平面方程；基于所述平面方程以及所述面特征类对象对应的初始三维位置信息，构建表征点到面的距离的第二子重投影误差，以得到第二重投影误差。
本发明的一种实施例中，所述参照对象包括以下信息中的至少一个：车道线、路灯杆以及交通指示牌。
本发明的一种实施例中，所述装置还可以包括：模型建立模块(图中未示出)，被配置为在所述利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的第一位置信息之前，建立所述预先建立的语义特征检测模型的过程，其中，所述模型建立模块包括：第一获得单元，被配置为获得初始的语义特征检测模型；第二获得单元，被配置为获得多个样本图像，其中，每一样本图像包括一个或多个样本对象；第三获得单元，被配置为获得每一样本图像对应的标定信息，其中，所述标定信息包括：所对应样本图像中的每一样本对象的标定位置信息及标定类型信息；训练单元，被配置为基于多个所述样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息，训练所述初始的语义特征检测模型，得到预先建立的对象检测模型。
本发明的一种实施例中，所述初始的对象识别模型包括特征提取层和特征分类层；所述训练单元，被具体配置为：将多个所述样本图像，输入所述特征提取层，得到每一样本图像中每一样本对象对应的图像特征；将每一样本图像中每一样本对象对应的图像特征，输入所述特征分类层，得到每一样本图像中每一样本对象对应的预测位置信息及预测类型信息；将每一预测位置信息与其对应的标定位置信息进行匹配，并将每一预测类型信息与其对应的标定类型信息进行匹配；若匹配成功，则获得包含所述特征提取层和特征分类层的预先建立的语义特征检测模型；若匹配失败，则调整所述特征提取层和特征分类层的参数，并执行所述将多个所述样本图像，输入所述特征提取层，得到每一样本图像中每一样本对象对应的图像特征；直至匹配成功，获得包含所述特征提取层和特征分类层的预先建立的语义特征检测模型。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (9)
1.一种目标对象的定位方法，其特征在于，包括：
获得目标对象的图像采集设备采集的当前图像；
利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的语义特征，其中，所述语义特征包括待利用参照对象在所述当前图像中的第一位置信息；
针对每一待利用参照对象，获得所述待利用参照对象在所述当前图像的前M帧图像中每一帧图像中的第二位置信息，其中，所述M为正整数；
针对每一待利用参照对象，基于所述待利用参照对象的第一位置信息以及所述第二位置信息，构建所述待利用参照对象对应的初始三维位置信息；
获得所述图像采集设备采集所述当前图像时的预估位姿信息；
基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息；
所述待利用参照对象包括线特征类对象和/或面特征类对象；
所述基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息的步骤，包括：
基于所述线特征类对象对应的初始三维位置信息、所述线特征类对象的第一位置信息、所述预估位姿信息以及共线特性，构建第一重投影误差；
基于所述面特征类对象对应的初始三维位置信息、所述面特征类对象的第一位置信息、所述预估位姿信息以及共面特性，构建第二重投影误差；
基于所述第一重投影误差和/或第二重投影误差，确定出所述目标对象的当前位姿信息。
2.如权利要求1所述的方法，其特征在于，在所述基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息步骤之后，所述方法还包括：
基于所述当前位姿信息以及所述第一位置信息，确定出每一待利用参照对象对应的最终三维位置信息，并建立地图。
3.如权利要求1-2任一项所述的方法，其特征在于，所述利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的第一位置信息的步骤，包括：
利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的参照对象的语义特征；
针对所检测到的每一参照对象，判断所述当前图像的前N帧图像的每一帧图像中是否包含该参照对象，其中，所述N为不小于M的正整数；
若判断结果为均包含，则确定该参照对象为待利用参照对象。
4.如权利要求1所述的方法，其特征在于，所述获得所述图像采集设备采集所述当前图像时的预估位姿信息的步骤，通过以下两种实现方式中的任一种实现方式实现：
第一种实现方式：
获得所述目标对象的惯性传感器所采集的当前传感器数据，其中，所述当前传感器数据为：所述惯性传感器在所述图像采集设备采集所述当前图像的采集周期内采集的传感器数据；
获得所述图像采集设备采集得到所述当前图像的前一帧图像时的第一位姿信息，以及所述图像采集设备采集得到所述当前图像和所述前一帧图像之间的时间间隔信息；
基于所述第一位姿信息、所述当前传感器数据以及所述时间间隔信息，确定出所述图像采集设备采集所述当前图像时的预估位姿信息；
第二种实现方式：
获得所述图像采集设备采集得到所述当前图像的前m帧图像中每一帧图像时的第二位姿信息及第一时间信息，m为大于1的正整数；
基于所述前m帧图像中每一帧图像的第二位姿信息以及第一时间信息，确定出所述图像采集设备的平均移动速度；
获得所述图像采集设备采集所述当前图像时的第二时间信息；
基于所述第二位姿信息、所述平均移动速度、所述第一时间信息和所述第二时间信息，确定出所述图像采集设备采集所述当前图像时的预估位姿信息。
5.如权利要求1所述的方法，其特征在于，所述基于所述线特征类对象对应的初始三维位置信息、所述线特征类对象的第一位置信息、所述预估位姿信息以及共线特性，构建第一重投影误差的步骤，包括：
基于所述线特征类对象对应的初始三维位置信息、所述预估位姿信息和预设的设备坐标系与图像坐标系之间的映射关系，确定出所述线特征类对象在所述当前图像中的第一投影位置信息；
基于所述第一投影位置信息和所述线特征类对象的第一位置信息，构建表征点到线的距离的第一重投影误差；
所述基于所述面特征类对象对应的初始三维位置信息、所述面特征类对象的第一位置信息、所述预估位姿信息以及共面特性，构建第二重投影误差的步骤，包括：
基于所述面特征类对象对应的初始三维位置信息、所述预估位姿信息和所述映射关系，确定出所述面特征类对象在所述当前图像中的第二投影位置信息；
基于所述面特征类对象的四个顶点分别对应的第二投影位置信息以及第一位置信息，构建表征点到点的距离的第一子重投影误差；
基于所述面特征类对象对应的初始三维位置信息以及共面特性，拟合得到一个平面方程；
基于所述平面方程以及所述面特征类对象对应的初始三维位置信息，构建表征点到面的距离的第二子重投影误差，以得到第二重投影误差。
6.如权利要求1所述的方法，其特征在于，所述参照对象包括以下信息中的至少一个：车道线、路灯杆以及交通指示牌。
7.如权利要求1-6任一项所述的方法，其特征在于，在所述利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的第一位置信息的步骤之前，所述方法还包括：
建立所述预先建立的语义特征检测模型的过程，其中，所述过程包括如下步骤：
获得初始的语义特征检测模型；
获得多个样本图像，其中，每一样本图像包括一个或多个样本对象；
获得每一样本图像对应的标定信息，其中，所述标定信息包括：所对应样本图像中的每一样本对象的标定位置信息及标定类型信息；
基于多个所述样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息，训练所述初始的语义特征检测模型，得到预先建立的对象检测模型。
8.如权利要求7所述的方法，其特征在于，所述初始的对象识别模型包括特征提取层和特征分类层；
所述基于多个所述样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息，训练所述初始的语义特征检测模型，得到预先建立的语义特征检测模型的步骤，包括：
将多个所述样本图像，输入所述特征提取层，得到每一样本图像中每一样本对象对应的图像特征；
将每一样本图像中每一样本对象对应的图像特征，输入所述特征分类层，得到每一样本图像中每一样本对象对应的预测位置信息及预测类型信息；
将每一预测位置信息与其对应的标定位置信息进行匹配，并将每一预测类型信息与其对应的标定类型信息进行匹配；
若匹配成功，则获得包含所述特征提取层和特征分类层的预先建立的语义特征检测模型；
若匹配失败，则调整所述特征提取层和特征分类层的参数，并执行所述将多个所述样本图像，输入所述特征提取层，得到每一样本图像中每一样本对象对应的图像特征的步骤；
直至匹配成功，获得包含所述特征提取层和特征分类层的预先建立的语义特征检测模型。
9.一种目标对象的定位装置，其特征在于，包括：
第一获得模块，被配置为获得目标对象的图像采集设备采集的当前图像；
检测模块，被配置为利用预先建立的语义特征检测模型，从所述当前图像中，检测得到所述当前图像中的具有几何约束的待利用参照对象的语义特征，其中，所述语义特征包括待利用参照对象在所述当前图像中的第一位置信息；
第二获得模块，被配置为针对每一待利用参照对象，获得所述待利用参照对象在所述当前图像的前M帧图像中每一帧图像中的第二位置信息，其中，所述M为正整数；
构建模块，被配置为针对每一待利用参照对象，基于所述待利用参照对象的第一位置信息以及所述第二位置信息，构建所述待利用参照对象对应的初始三维位置信息；
第三获得模块，被配置为获得所述图像采集设备采集所述当前图像时的预估位姿信息；
第一确定模块，被配置为基于所述待利用参照对象对应的初始三维位置信息、所述第一位置信息以及所述预估位姿信息，确定出所述目标对象的当前位姿信息；所述待利用参照对象包括线特征类对象和/或面特征类对象；
所述第一确定模块包括：
第一构建单元，被配置为基于所述线特征类对象对应的初始三维位置信息、所述线特征类对象的第一位置信息、所述预估位姿信息以及共线特性，构建第一重投影误差；
第二构建单元，被配置为基于所述面特征类对象对应的初始三维位置信息、所述面特征类对象的第一位置信息、所述预估位姿信息以及共面特性，构建第二重投影误差；
确定单元，被配置为基于所述第一重投影误差和/或第二重投影误差，确定出所述目标对象的当前位姿信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910364971.7A CN111862146B (zh) | 2019-04-30 | 2019-04-30 | 一种目标对象的定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910364971.7A CN111862146B (zh) | 2019-04-30 | 2019-04-30 | 一种目标对象的定位方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111862146A CN111862146A (zh) | 2020-10-30 |
| CN111862146B true CN111862146B (zh) | 2023-08-29 |
Family
ID=72965081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910364971.7A Active CN111862146B (zh) | 2019-04-30 | 2019-04-30 | 一种目标对象的定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862146B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113095184B (zh) * | 2021-03-31 | 2023-01-31 | 上海商汤临港智能科技有限公司 | 定位方法、行驶控制方法、装置、计算机设备及存储介质 |
| CN113610991B (zh) * | 2021-10-09 | 2022-02-22 | 创泽智能机器人集团股份有限公司 | 一种基于三维地图确定观测位置的方法、设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104661300A (zh) * | 2013-11-22 | 2015-05-27 | 高德软件有限公司 | 定位方法、装置、系统及移动终端 |
| CN106846497A (zh) * | 2017-03-07 | 2017-06-13 | 百度在线网络技术（北京）有限公司 | 应用于终端的呈现三维地图的方法和装置 |
| GB201801399D0 (en) * | 2017-12-13 | 2018-03-14 | Xihua Univeristy | Positioning method and apparatus |
| CN108074260A (zh) * | 2017-11-15 | 2018-05-25 | 深圳市诺龙技术股份有限公司 | 一种目标物体对象定位的方法和装置 |
| CN108225334A (zh) * | 2018-01-17 | 2018-06-29 | 泰瑞天际科技(北京)有限公司 | 一种基于三维实景数据的定位方法及装置 |
| CN108986037A (zh) * | 2018-05-25 | 2018-12-11 | 重庆大学 | 基于半直接法的单目视觉里程计定位方法及定位系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101096807B1 (ko) * | 2010-01-29 | 2011-12-22 | 주식회사 팬택 | 3차원 위치 정보 획득 장치 및 방법 |
| WO2015160292A1 (en) * | 2014-04-14 | 2015-10-22 | Saab Vricon Systems Ab | A target determining method and system |
-
2019
- 2019-04-30 CN CN201910364971.7A patent/CN111862146B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104661300A (zh) * | 2013-11-22 | 2015-05-27 | 高德软件有限公司 | 定位方法、装置、系统及移动终端 |
| CN106846497A (zh) * | 2017-03-07 | 2017-06-13 | 百度在线网络技术（北京）有限公司 | 应用于终端的呈现三维地图的方法和装置 |
| CN108074260A (zh) * | 2017-11-15 | 2018-05-25 | 深圳市诺龙技术股份有限公司 | 一种目标物体对象定位的方法和装置 |
| GB201801399D0 (en) * | 2017-12-13 | 2018-03-14 | Xihua Univeristy | Positioning method and apparatus |
| CN108225334A (zh) * | 2018-01-17 | 2018-06-29 | 泰瑞天际科技(北京)有限公司 | 一种基于三维实景数据的定位方法及装置 |
| CN108986037A (zh) * | 2018-05-25 | 2018-12-11 | 重庆大学 | 基于半直接法的单目视觉里程计定位方法及定位系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111862146A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6760114B2 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
| Alonso et al. | Accurate global localization using visual odometry and digital maps on urban environments | |
| JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
| CN108052103B (zh) | 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法 | |
| CN108051002A (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及系统 | |
| CN104704384A (zh) | 具体用于装置的基于视觉的定位的图像处理方法 | |
| AU2013200708A1 (en) | Image registration of multimodal data using 3D GeoArcs | |
| CN102788572B (zh) | 一种工程机械吊钩姿态的测量方法、装置及系统 | |
| CN111210477A (zh) | 一种运动目标的定位方法及系统 | |
| CN110827353B (zh) | 一种基于单目摄像头辅助的机器人定位方法 | |
| Gerke | Using horizontal and vertical building structure to constrain indirect sensor orientation | |
| CN104281148A (zh) | 基于双目立体视觉的移动机器人自主导航方法 | |
| CN111862673A (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
| CN112700486B (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
| CN116222543B (zh) | 用于机器人环境感知的多传感器融合地图构建方法及系统 | |
| CN103900473A (zh) | 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法 | |
| CN110675455A (zh) | 一种基于自然场景的车身环视相机自标定方法和系统 | |
| CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN111862146B (zh) | 一种目标对象的定位方法及装置 | |
| KR20110119589A (ko) | 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법 | |
| CN112179373A (zh) | 一种视觉里程计的测量方法及视觉里程计 | |
| JP2010066595A (ja) | 環境地図生成装置及び環境地図生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220303 Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd. Address before: Room 28, 4 / F, block a, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing 100089 Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |