CN113177984A - 基于稀疏直接法的语义要素测距方法、装置和电子设备 - Google Patents

基于稀疏直接法的语义要素测距方法、装置和电子设备 Download PDF

Info

Publication number
CN113177984A
CN113177984A CN202110732540.9A CN202110732540A CN113177984A CN 113177984 A CN113177984 A CN 113177984A CN 202110732540 A CN202110732540 A CN 202110732540A CN 113177984 A CN113177984 A CN 113177984A
Authority
CN
China
Prior art keywords
road image
coordinates
pixel
rod
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110732540.9A
Other languages
English (en)
Other versions
CN113177984B (zh
Inventor
杨再甫
谭钧耀
李正宁
林宝尉
范超
王赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecarx Hubei Tech Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN202110732540.9A priority Critical patent/CN113177984B/zh
Publication of CN113177984A publication Critical patent/CN113177984A/zh
Application granted granted Critical
Publication of CN113177984B publication Critical patent/CN113177984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于稀疏直接法的语义要素测距方法、装置和电子设备。该方法包括使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧道路图像对应的深度图像，并将各深度图像拼接得到半稠密点云，深度图像包含与其对应的道路图像中的部分像素的坐标和深度值；对各帧道路图像进行语义要素分割得到各类型的语义要素；利用半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标。该方法无需使用激光雷达，依赖的传感器较少，成本较低，具有较高的实施效率；并且，稀疏直接法得到的深度图像更加稠密，语义要素的信息更加全面，保证对各种语义要素测距的准确性。

Description

基于稀疏直接法的语义要素测距方法、装置和电子设备
技术领域
本发明涉及高精地图技术领域，特别是涉及一种基于稀疏直接法的语义要素测距方法、装置和电子设备。
背景技术
在车辆自动驾驶领域，为了对车辆进行定位，需要构建语义地图。车辆定位和语义地图构建过程中都要对拍摄到的语义要素进行测距，即计算语义要素的像素坐标，例如对空中的指示牌、杆子等进行测距，对地面上的车道线、人行横道线以及箭头等语义要素进行测距。
目前，常用的语义要素测距方法是通过激光雷达和相机联合进行测距，但是激光雷达的成本较高。除了通过激光雷达和相机联合进行语义要素测距外，目前还可以使用特征点法进行语义要素测距，但是该方法无法保证所有语义要素都能提取到特征，因此会导致有些语义要素无法测距。另外，特征点法得到的图像深度图非常稀疏，只能对语义要素上的几个点进行测距，例如，指示牌和地面箭头等语义要素只能够使用一个点表示，导致这些语义要素的测距不够准确。
发明内容
鉴于上述问题，提出了一种克服上述问题或者至少部分地解决上述问题的基于稀疏直接法的语义要素测距方法、装置和电子设备。
本发明的一个目的是降低对道路图像中的语义要素的测距成本以及提高语义要素测距的准确性。
根据本发明的一方面，本发明提供了一种基于稀疏直接法的语义要素测距方法，包括：
使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧所述道路图像对应的深度图像，并将各所述深度图像拼接得到半稠密点云，所述深度图像包含与其对应的道路图像中的部分像素的坐标和深度值；
对各帧所述道路图像进行语义要素分割得到各类型的语义要素；
利用所述半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标。
可选地，利用所述半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标，包括：
从各类型语义要素中选取一种可构建平面方程的要素作为目标要素；
在所述深度图像中确定与其对应的道路图像中的目标要素对应的目标像素组，所述目标像素组包含多个具有深度值的像素；
基于相机内参矩阵以及所述目标像素组中每个像素的深度值和在道路图像中的坐标计算所述目标像素组的每个像素在相机坐标系中的坐标；
根据所述目标像素组的每个像素在相机坐标系中的坐标得到包含平面参数的平面方程；
将所述目标像素组的部分像素在相机坐标系中的坐标代入所述平面方程确定所述平面参数；
根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标。
可选地，当目标要素为地面要素时，根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标，包括：
根据所述道路图像中地面要素的每个像素的坐标、相机内参矩阵以及所述道路图像中地面要素的每个像素在相机坐标系中的z轴分量得到计算所述道路图像中地面要素的每个像素在相机坐标系中坐标的坐标方程；
将所述坐标方程中用于计算所述道路图像中地面要素的每个像素在相机坐标系中坐标的部分代入确定所述平面参数后的平面方程从而确定所述道路图像中地面要素的每个像素在相机坐标系中的z轴分量；
将确定的所述道路图像中地面要素的每个像素在相机坐标系中的z轴分量代入所述坐标方程得到所述道路图像中地面要素的每个像素在相机坐标系中坐标。
可选地，当目标要素为指示牌要素时，在所述深度图像中确定与其对应的道路图像中各类型语义要素的目标要素对应的目标像素组，包括：
在所述深度图像中确定与其对应的道路图像中的指示牌要素对应的指示牌像素组的四个顶点的指示牌像素；
根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标，包括：
根据所述道路图像中指示牌要素的四个顶点的像素的坐标、相机内参矩阵以及所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量得到计算所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标的坐标方程；
将所述坐标方程中用于计算所述道路图像中指示牌要素的每个像素在相机坐标系中坐标的部分代入确定所述平面参数后的平面方程从而确定所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量；
将确定的所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量代入所述坐标方程得到所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标。
可选地，当目标要素为地面要素，且语义要素包括杆状物要素时，根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标，包括：
在所述深度图像中确定与其对应的道路图像中的杆状要素对应的杆状像素组，所述杆状像素组包含多个具有深度值的像素；
基于相机内参矩阵以及所述杆状像素组中每个像素的深度值和在道路图像中的坐标计算所述杆状像素组的每个像素在相机坐标系中的坐标；
去掉所述深度图像中杆状像素组的每个杆状像素在相机坐标系中的垂直坐标，保留水平坐标；
对每个所述杆状像素进行聚类得到至少一个杆状物要素的杆状像素；
计算聚类后的每个杆状像素的水平坐标的平均坐标；
根据确定所述平面参数后的平面方程找到经过聚类后的每个杆状像素的平均坐标所在位置且与地平面垂直的直线与地平面的交点；
获取位于所述交点的正上方且至所述交点的距离为预设杆状高度的顶点位置；
计算所述交点和与其对应的所述顶点位置在相机坐标系中的坐标。
可选地，对每个所述杆状像素进行聚类得到至少一个杆状物要素的杆状像素，包括：
按照预设水平间距对每个所述杆状像素进行划分，分别将划分在每个所述预设水平间距内的所述杆状像素聚类为同一个杆状物的杆状像素。
可选地，所述各帧道路图像为所述各帧道路图像中关键帧的道路图像。
根据本发明的另一方面，本发明还提供了一种基于稀疏直接法的语义要素测距装置，包括：
图像处理模块，使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧所述道路图像对应的深度图像，并将各所述深度图像拼接得到半稠密点云，所述深度图像包含与其对应的道路图像中的部分像素的坐标和深度值；
语义要素分割模块，对各帧所述道路图像进行语义要素分割得到各类型的语义要素；
测距模块，利用所述半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标。
可选地，测距模块适于从各类型语义要素中选取一种可构建平面方程的要素作为目标要素；
在所述深度图像中确定与其对应的道路图像中的目标要素对应的目标像素组，所述目标像素组包含多个具有深度值的像素；
基于相机内参矩阵以及所述目标像素组中每个像素的深度值和在道路图像中的坐标计算所述目标像素组的每个像素在相机坐标系中的坐标；
根据所述目标像素组的每个像素在相机坐标系中的坐标得到包含平面参数的平面方程；
将所述目标像素组的部分像素在相机坐标系中的坐标代入所述平面方程确定所述平面参数；
根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标。
可选地，当目标要素为地面要素时，测距模块适于根据所述道路图像中地面要素的每个像素的坐标、相机内参矩阵以及所述道路图像中地面要素的每个像素在相机坐标系中的z轴分量得到计算所述道路图像中地面要素的每个像素在相机坐标系中坐标的坐标方程；
将所述坐标方程中用于计算所述道路图像中地面要素的每个像素在相机坐标系中坐标的部分代入确定所述平面参数后的平面方程从而确定所述道路图像中地面要素的每个像素在相机坐标系中的z轴分量；
将确定的所述道路图像中地面要素的每个像素在相机坐标系中的z轴分量代入所述坐标方程得到所述道路图像中地面要素的每个像素在相机坐标系中坐标。
可选地，当目标要素为指示牌要素时，测距模块适于在所述深度图像中确定与其对应的道路图像中的指示牌要素对应的指示牌像素组的四个顶点的指示牌像素；
根据所述道路图像中指示牌要素的四个顶点的像素的坐标、相机内参矩阵以及所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量得到计算所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标的坐标方程；
将所述坐标方程中用于计算所述道路图像中指示牌要素的每个像素在相机坐标系中坐标的部分代入确定所述平面参数后的平面方程从而确定所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量；
将确定的所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量代入所述坐标方程得到所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标。
可选地，当目标要素为地面要素，且语义要素包括杆状物要素时，测距模块适于在所述深度图像中确定与其对应的道路图像中的杆状要素对应的杆状像素组，所述杆状像素组包含多个具有深度值的像素；
基于相机内参矩阵以及所述杆状像素组中每个像素的深度值和在道路图像中的坐标计算所述杆状像素组的每个像素在相机坐标系中的坐标；
去掉所述深度图像中杆状像素组的每个杆状像素在相机坐标系中的垂直坐标，保留水平坐标；
对每个所述杆状像素进行聚类得到至少一个杆状物要素的杆状像素；
计算聚类后的每个杆状像素的水平坐标的平均坐标；
根据确定所述平面参数后的平面方程找到经过聚类后的每个杆状像素的平均坐标所在位置且与地平面垂直的直线与地平面的交点；
获取位于所述交点的正上方且至所述交点的距离为预设杆状高度的顶点位置；
计算所述交点和与其对应的所述顶点位置在相机坐标系中的坐标。
可选地，测距模块适于按照预设水平间距对每个所述杆状像素进行划分，分别将划分在每个所述预设水平间距内的所述杆状像素聚类为同一个杆状物的杆状像素。
可选地，所述各帧道路图像为所述各帧道路图像中关键帧的道路图像。
根据本发明的又一方面，本发明还提供了一种电子设备，包括：
存储器和处理器，所述存储器内存储有控制程序，所述控制程序被所述处理器执行时用于实现根据上述任一项所述的基于稀疏直接法的语义要素测距方法。
根据本发明的再一方面，本发明还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行根据上述任一项所述的基于稀疏直接法的语义要素测距方法。
在本发明的基于稀疏直接法的语义要素测距方法中，使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧道路图像对应的深度图像，并将各深度图像拼接得到半稠密点云，对各帧道路图像进行语义要素分割得到各类型的语义要素，利用半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标，该方法无需使用激光雷达，只需使用车辆的轮速和道路图像即可，依赖的传感器较少，成本较低，并且易于在车辆上实施，具有较高的实施效率；并且，稀疏直接法是一种不使用特征点的视觉SLAM算法，相对于基于特征点的视觉SLAM算法，稀疏直接法得到的深度图像更加稠密，语义要素的信息更加全面，从而对各种语义要素进行多点测距，保证对各种语义要素测距的准确性。另外，上述方法还可以用于众包建图，具有很好的适应性。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是根据本发明一个实施例的基于稀疏直接法的语义要素测距方法的流程图；
图2是根据本发明另一个实施例各类型语义要素分割图和半稠密点云的示意图；
图3是根据本发明另一个实施例的地面要素分割图和与其对应的深度图的示意图；
图4是根据本发明另一个实施例的对地面要素测距的模型示意图；
图5是根据本发明另一个实施例的指示牌要素分割图和与其对应的深度图的示意图；
图6是根据本发明另一个实施例的对指示牌要素测距的模型示意图；
图7是根据本发明另一个实施例的杆状物要素分割图和与其对应的深度图的示意图；
图8是根据本发明另一个实施例的对杆状物要素测距的模型示意图；
图9是根据本发明一个实施例的基于稀疏直接法的语义要素测距装置的结构示意图；
图10是根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
目前，常用的语义要素测距方法是通过激光雷达和相机联合进行测距，但是激光雷达的成本较高。除了通过激光雷达和相机联合进行语义要素测距外，目前还可以使用特征点法进行语义要素测距，但是该方法无法保证所有语义要素都能提取到特征，因此会导致有些语义要素无法测距。另外，特征点法得到的图像深度图非常稀疏，只能对语义要素上的几个点进行测距，导致这些语义要素的测距不够准确。
针对上述问题，本发明实施例提供了一种基于稀疏直接法的语义要素测距方法。对语义要素进行测距即计算语义要素的像素坐标。
图1是根据本发明一个实施例的基于稀疏直接法的语义要素测距方法的流程图。参见图1，基于稀疏直接法的语义要素测距方法可包括以下步骤S102至步骤S106。
步骤S102：使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧道路图像对应的深度图像，并将各深度图像拼接得到半稠密点云。深度图像包含与其对应的道路图像中的部分像素的坐标和深度值。
在本步骤中，各帧道路图像可以由车辆的图像采集设备获取。采集设备可以是摄像头或者相机等设备。轮速可以理解为车轮的转速，当然，轮速也可以理解为车辆的行驶速度。之所以将轮速作为得到各帧道路图像对应的深度图像的一个条件，是因为轮速可以使得到的深度值更加接近真实的深度值。具体地，例如，在没有轮速这个条件时，得到的深度值和真实的深度值之间存在一个比例系数，通过轮速可以得到这个比例系数。将各深度图像拼接得到半稠密点云时，可以依据相机的运动轨迹进行拼接。
并且，各帧道路图像可以为各帧道路图像中关键帧的道路图像。采用关键帧的目的是对稀疏直接法进行加速和提精，例如，相机1秒中可得到30帧道路图像，如果对每帧图像都进行处理，将消耗大量的时间，因此采用一些策略从30帧图像中选取5至10帧图像进行处理，从而提高处理速度。在稀疏直接法中，当相机运动一定距离或者旋转一定角度时，或者相机获取的前后图片的亮度变化大于预设阈值时，可以选择其中的一帧图像作为关键帧图像。由于关键帧的图像是经过一定运动和光照变化得到的，可以提高对语义要素测距的准确性。
稀疏直接法的输入可以是时间上连续的道路图像序列和轮速数据。相机可以采用一个直角坐标系表示，相机光心为坐标系的原点，该坐标系随着车辆移动而移动。可以将相机开始采集时的相机坐标系称为起始坐标系，轨迹可由关键帧位姿组成，关键帧位姿可以是采集到该关键帧图像时的相机坐标系在起始坐标系中的位姿。位姿指的是相机的位置和朝向。
步骤S104：对各帧道路图像进行语义要素分割得到各类型的语义要素。
在本步骤中，步骤S104和步骤102可以没有先后顺序。道路图像分割得到各类型的语义要素的示意图可以参照图2。图2是根据本发明另一个实施例各类型语义要素分割图和半稠密点云的示意图。图2中左上图中包括了分割后的地面要素，左下图中包括了分割后的指示牌要素和杆状物要素，右侧图中为半稠密点云。左侧图像中分割出的地面要素、指示牌要素和杆状物要素在右侧的半稠密点云中可以找到对应的像素。可以通过感知网络对各帧道路图像进行语义要素分割得到各类型的语义要素。感知网络可以为DeepLab v3网络，也可以为其他的感知网络。对各帧道路图像进行语义要素分割可以理解为找到各类型的语义要素在道路图像中的坐标。语义要素可以包括地面要素、指示牌要素和杆状物要素等，这三类语义要素已足够用于语义定位和构建语义地图。地面要素一般可以包括车道线、人行横道以及地面箭头等。图2中的左侧图像为语义要素的分割图像，右侧图像为稀疏直接法根据各帧道路图像和轮速得到的半稠密点云，左侧图像中分割出的地面要素、指示牌要素和杆状物要素在右侧的半稠密点云中可以找到对应的像素。
步骤S106：利用半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标。
在本实施例中，使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧道路图像对应的深度图像，并将各深度图像拼接得到半稠密点云，对各帧道路图像进行语义要素分割得到各类型的语义要素，利用半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标，该方法无需使用激光雷达，只需使用车辆的轮速和道路图像即可，依赖的传感器较少，成本较低，并且易于在车辆上实施，具有较高的实施效率；并且，稀疏直接法是一种不使用特征点的视觉SLAM算法，相对于基于特征点的视觉SLAM算法，稀疏直接法得到的深度图像更加稠密，语义要素的信息更加全面，从而对各种语义要素进行多点测距，保证对各种语义要素测距的准确性。另外，上述方法还可以用于众包建图，具有很好的适应性。众包建图是一种利用多辆车采集的语义信息进行建图的方法。
在本发明一个实施例中，利用半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标，可包括：
从各类型语义要素中选取一种可构建平面方程的要素作为目标要素；当某一类型的语义要素具有平面特征的时候，这类语义要素可以用于构建平面方程，如地面要素、指示牌要素等；
在深度图像中确定与其对应的道路图像中的目标要素对应的目标像素组，目标像素组包含多个具有深度值的像素；
基于相机内参矩阵以及目标像素组中每个像素的深度值和在道路图像中的坐标计算目标像素组的每个像素在相机坐标系中的坐标；具体地，计算相机坐标系中的坐标的公式（1）如下所示
Figure DEST_PATH_IMAGE001
（1）
公式（1）中，Pu表示目标像素组中每个像素在道路图像中的坐标；K表示相机内参 矩阵；d表示目标像素组中每个像素的深度值；P表示目标像素组的每个像素在相机坐标系 中的坐标，即
Figure DEST_PATH_IMAGE002
；如图4所示，图4是根据本发明另一个实施例的对目标要素 测距的模型示意图，O表示相机光心；
根据目标像素组的每个像素在相机坐标系中的坐标得到包含平面参数的平面方程；平面方程的公式（2）如下所示
Figure DEST_PATH_IMAGE003
（2）
公式（2）中，
Figure DEST_PATH_IMAGE004
表示需要求解的平面参数，
Figure DEST_PATH_IMAGE005
表示目标 像素组的每个像素在相机坐标系中的坐标；
将目标像素组的部分像素在相机坐标系中的坐标代入平面方程确定平面参数；例如，将目标像素组的N个像素在相机坐标系中的坐标代入平面方程后的公式（3）如下所示，将公式（3）中函数值最小时的平面参数作为确定的平面参数，一般情况下，N可以为大于或等于3的整数；
Figure DEST_PATH_IMAGE006
（3）
公式（3）中Pi表示目标像素组中第i个目标像素在相机坐标系中的坐标；
根据确定平面参数后的平面方程计算道路图像中各类型语义要素的每个像素在相机坐标系中坐标。
在本实施例中，先计算目标像素组的每个像素在相机坐标系中的坐标，再将目标像素组的部分像素在相机坐标系中的坐标代入平面方程确定平面参数，这种方式可以保证确定的平面参数的准确性。
在本发明一个实施例中，参见图3，图3是根据本发明另一个实施例的地面要素分割图和与其对应的深度图的示意图，图3中右侧深度图可以理解为一个轨迹点（图中的圆点）处的道路图像通过稀疏直接法得到的深度图，箭头指向的左侧要素分割图为该轨迹点处的道路图像对应的分割图。当目标要素为地面要素时，根据确定平面参数后的平面方程计算道路图像中各类型语义要素的每个像素在相机坐标系中坐标，可包括：
根据道路图像中地面要素的每个像素的坐标、相机内参矩阵以及道路图像中地面要素的每个像素在相机坐标系中的z轴分量得到计算道路图像中地面要素的每个像素在相机坐标系中坐标的坐标方程；坐标方程的公式（4）如下所示
Figure DEST_PATH_IMAGE007
（4）
公式（4）中，
Figure DEST_PATH_IMAGE008
表示道路图像中地面要素的每个像素的坐标，K表 示相机内参矩阵，z表示道路图像中地面要素的每个像素在相机坐标系中的z轴分量，
Figure DEST_PATH_IMAGE009
表示道路图像中地面要素的每个像素在相机坐标系中坐标；
Figure DEST_PATH_IMAGE010
为相机内参矩阵的逆矩阵，
将坐标方程中用于计算道路图像中地面要素的每个像素在相机坐标系中坐标的部分代入确定平面参数后的平面方程从而确定道路图像中地面要素的每个像素在相机坐标系中的z轴分量；具体地，将坐标方程中用于计算道路图像中地面要素的每个像素在相机坐标系中坐标的部分代入确定平面参数后的平面方程后得到的公式（5）如下所示
Figure DEST_PATH_IMAGE011
（5）
根据公式（5）可得到
Figure DEST_PATH_IMAGE012
；
将确定的道路图像中地面要素的每个像素在相机坐标系中的z轴分量代入坐标方程得到道路图像中地面要素的每个像素在相机坐标系中坐标。
在本发明一个实施例中，参见图5和图6，图5是根据本发明另一个实施例的指示牌要素分割图和与其对应的深度图的示意图，图6是根据本发明另一个实施例的对指示牌要素测距的模型示意图。图6中O表示相机光心。当目标要素为指示牌要素时，在深度图像中确定与其对应的道路图像中各类型语义要素的目标要素对应的目标像素组，可包括：在深度图像中确定与其对应的道路图像中的指示牌要素对应的指示牌像素组的四个顶点的指示牌像素。
根据确定平面参数后的平面方程计算道路图像中各类型语义要素的每个像素在相机坐标系中坐标，可包括：
根据道路图像中指示牌要素的四个顶点的像素的坐标、相机内参矩阵以及道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量得到计算道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标的坐标方程；坐标方程可以参照上述实施例，这里不再赘述；
将坐标方程中用于计算道路图像中指示牌要素的每个像素在相机坐标系中坐标的部分代入确定平面参数后的平面方程从而确定道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量；
将确定的道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量代入坐标方程得到道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标。
在本实施例中，当目标要素为指示牌要素时，只需要计算道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标即可，无需计算指示牌要素的全部像素在相机坐标系中坐标，这种方式可以大大提高指示牌要素的计算效率。
在本发明一个实施例中，参见图7，图7是根据本发明另一个实施例的杆状物要素分割图和与其对应的深度图的示意图。当目标要素为地面要素，且语义要素包括杆状物要素时，根据确定平面参数后的平面方程计算道路图像中各类型语义要素的每个像素在相机坐标系中坐标，可包括：在深度图像中确定与其对应的道路图像中的杆状物要素对应的杆状像素组，杆状像素组包含多个具有深度值的像素；
基于相机内参矩阵以及杆状像素组中每个像素的深度值和在道路图像中的坐标计算杆状像素组的每个像素在相机坐标系中的坐标；
去掉深度图像中杆状像素组的每个杆状像素在相机坐标系中的垂直坐标，保留水平坐标；具体地，对于相机坐标系，其x轴朝右，y轴朝下，z轴朝前，这里是去掉y轴分量，保留x轴、z轴分量；
对每个杆状像素进行聚类得到至少一个杆状物要素的杆状像素；
计算聚类后的每个杆状像素的水平坐标的平均坐标；
根据确定平面参数后的平面方程找到经过聚类后的每个杆状像素的平均坐标所在位置且与地平面垂直的直线与地平面的交点；
获取位于交点的正上方且至交点的距离为预设杆状高度的顶点位置；
计算交点和与其对应的顶点位置在相机坐标系中的坐标。
在本实施例中，之所以获取位于交点的正上方且至交点的距离为预设杆状高度的顶点位置，是因为实际中的杆状物体一般为具有一定高度的直立物体，且杆状物体固定在地面上，即与地面具有交点，因此，获得交点之后，再根据杆状物体的预设杆状高度得到杆状物体的顶点位置便可以确定杆状物体，即确定杆状物要素。在确定杆状物要素后，只需要得到杆状物要素中的顶点位置和上述交点位置在相机坐标系中的坐标，便可以确定杆状物要素的具体位置。当语义要素包括杆状物要素时，只需要计算杆状物要素两端的的像素在相机坐标系中坐标即可，无需计算杆状物要素的全部像素在相机坐标系中坐标，这种方式可以大大提高杆状物要素的计算效率。另外，杆子像素在相机坐标系中的坐标是离散的，对每个杆状像素进行聚类，可以使最终得到的杆状像素的坐标更加真实的反映杆状物体的位置。
具体地，在本发明一个实施例中，根据确定平面参数后的平面方程找到经过聚类后的每个杆状像素的平均坐标所在位置且与地平面垂直的直线与地平面的交点，可包括：
根据平面方程得到地面法向量；
将地面法向量与直线参数相乘，并与平均坐标相加得到经过平均坐标所在位置且与地平面垂直的直线的直线方程；直线方程的公式（6）如下所示
Figure DEST_PATH_IMAGE013
（6）
公式（6）中，
Figure DEST_PATH_IMAGE014
表示地面法向量，即平面方程中确定的平面参数，Pv表示聚类后的 每个杆状像素的水平坐标的平均坐标，
Figure DEST_PATH_IMAGE015
是直线参数；参见图8，图8是根据本发明另一个实 施例的对杆状物要素测距的模型示意图，图8中O表示相机光心，Pv可表示每个杆状像素的 水平坐标的平均坐标；
将直线方程中地面法向量与直线参数相乘，并与平均坐标相加的部分代入上述平面方程的公式（2）中以得到由直线参数、平均坐标和平面参数构成的方程；由直线参数、平均坐标和平面参数构成的方程的公式（7）如下所示
Figure DEST_PATH_IMAGE016
（7）
根据直线参数、平均坐标和平面参数构成的方程得到用于表示直线参数的平均坐标和平面参数的运算关系；运算关系的公式（8）如下所示
Figure DEST_PATH_IMAGE017
（8）
将运算关系代入直线方程得到交点。
具体地，直线方程中的
Figure DEST_PATH_IMAGE018
表示杆状像素，Pv和
Figure DEST_PATH_IMAGE019
均为已知量，杆状像素的位置 由
Figure 387951DEST_PATH_IMAGE015
决定，如果杆状像素既要在地平面上，也要在杆状物体上，需要将直线方程中地面法向 量与直线参数相乘，并与平均坐标相加的部分代入上述平面方程的公式（2）中得到公式 （7），进而根据公式（7）得到计算
Figure 836250DEST_PATH_IMAGE015
的公式（8），将公式（8）代入直线方程的公式（6）后得到的 公式（9）如下所示
Figure 147146DEST_PATH_IMAGE018
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
（9）
公式（9）中的Pv和
Figure DEST_PATH_IMAGE023
均为已知量，公式（9）的计算结果得到的杆状像素既属于平面 方程，也属于直线方程，即为上述交点。
在发明一个实施例中，对每个杆状像素进行聚类得到至少一个杆状物要素的杆状像素，可包括：
按照预设水平间距对每个杆状像素进行划分，分别将划分在每个预设水平间距内的杆状像素聚类为同一个杆状物的杆状像素。
在本实施例中，预设水平间距可以与杆子之间的实际间距相等。预设水平间距内的杆状像素视为同一个杆状物的杆状像素。具体地，例如，预设水平间距可以为2m、5m、10m等。
参见图9，基于同一构思，本发明还提供了一种基于稀疏直接法的语义要素测距装置900。语义要素测距装置900进而包括图像处理模块901、语义要素分割模块902以及测距模块903。图像处理模块901使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧道路图像对应的深度图像，并将各深度图像拼接得到半稠密点云，深度图像包含与其对应的道路图像中的部分像素的坐标和深度值。
图像处理模块901之所以将轮速作为得到各帧道路图像对应的深度图像的一个条件，是因为轮速可以使得到的深度值更加接近真实的深度值，具体地，例如，在没有轮速这个条件时，得到的深度值和真实的深度值之间存在一个比例系数，通过轮速可以得到这个比例系数。图像处理模块901将各深度图像拼接得到半稠密点云时，可以依据相机的运动轨迹进行拼接。
各帧道路图像为各帧道路图像中关键帧的道路图像。采用关键帧的目的是对稀疏直接法进行加速和提精，例如，相机1秒中可得到30帧道路图像，如果对每帧图像都进行处理，将消耗大量的时间，因此采用一些策略从30帧图像中选取5至10帧图像进行处理，从而提高处理速度。在稀疏直接法中，当相机运动一定距离或者旋转一定角度时，或者相机获取的前后图片的亮度变化大于预设阈值时，可以选择其中的一帧图像作为关键帧图像。由于关键帧的图像是经过一定运动和光照变化得到的，可以提高对语义要素测距的准确性。
稀疏直接法的输入可以是时间上连续的道路图像序列和轮速数据。相机可以采用一个直角坐标系表示，相机光心为坐标系的原点，该坐标系随着车辆移动而移动。可以将相机开始采集时的相机坐标系称为起始坐标系，轨迹可由关键帧位姿组成，关键帧位姿可以是采集到该关键帧图像时的相机坐标系在起始坐标系中的位姿。位姿指的是相机的位置和朝向。
语义要素分割模块902对各帧道路图像进行语义要素分割得到各类型的语义要素。语义要素分割模块902可以通过感知网络对各帧道路图像进行语义要素分割得到各类型的语义要素。感知网络可以为DeepLab v3网络，也可以为其他的感知网络。
测距模块903利用半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标。
在本实施例中，图像处理模块901使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧道路图像对应的深度图像，并将各深度图像拼接得到半稠密点云，语义要素分割模块902对各帧道路图像进行语义要素分割得到各类型的语义要素，测距模块903利用半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标，该语义要素测距装置900无需使用激光雷达，只需使用车辆的轮速和道路图像即可，依赖的传感器较少，成本较低，并且易于在车辆上实施，具有较高的实施效率；并且，稀疏直接法是一种不使用特征点的视觉SLAM算法，相对于基于特征点的视觉SLAM算法，稀疏直接法得到的深度图像更加稠密，语义要素的信息更加全面，从而对各种语义要素进行多点测距，保证对各种语义要素测距的准确性。另外，上述语义要素测距装置900还可以用于众包建图，具有很好的适应性。众包建图是一种利用多辆车采集的语义信息进行建图的方法。
在本发明一个实施例中，测距模块903适于从各类型语义要素中选取一种可构建平面方程的要素作为目标要素；
在深度图像中确定与其对应的道路图像中的目标要素对应的目标像素组，目标像素组包含多个具有深度值的像素；
基于相机内参矩阵以及目标像素组中每个像素的深度值和在道路图像中的坐标计算目标像素组的每个像素在相机坐标系中的坐标；
根据目标像素组的每个像素在相机坐标系中的坐标得到包含平面参数的平面方程；
将目标像素组的部分像素在相机坐标系中的坐标代入平面方程确定平面参数；
根据确定平面参数后的平面方程计算道路图像中各类型语义要素的每个像素在相机坐标系中坐标。
在本发明一个实施例中，当目标要素为地面要素时，测距模块903适于根据道路图像中地面要素的每个像素的坐标、相机内参矩阵以及道路图像中地面要素的每个像素在相机坐标系中的z轴分量得到计算道路图像中地面要素的每个像素在相机坐标系中坐标的坐标方程；
将坐标方程中用于计算道路图像中地面要素的每个像素在相机坐标系中坐标的部分代入确定平面参数后的平面方程从而确定道路图像中地面要素的每个像素在相机坐标系中的z轴分量；
将确定的道路图像中地面要素的每个像素在相机坐标系中的z轴分量代入坐标方程得到道路图像中地面要素的每个像素在相机坐标系中坐标。
在本发明一个实施例中，当目标要素为指示牌要素时，测距模块903适于在深度图像中确定与其对应的道路图像中的指示牌要素对应的指示牌像素组的四个顶点的指示牌像素；
根据道路图像中指示牌要素的四个顶点的像素的坐标、相机内参矩阵以及道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量得到计算道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标的坐标方程；
将坐标方程中用于计算道路图像中指示牌要素的每个像素在相机坐标系中坐标的部分代入确定平面参数后的平面方程从而确定道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量；
将确定的道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量代入坐标方程得到道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标。
在本实施例中，当语义要素包括指示牌要素时，测距模块903只需要计算道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标即可，无需计算指示牌要素的全部像素在相机坐标系中坐标，这种方式可以大大提高指示牌要素的计算效率。
在本发明一个实施例中，当目标要素为地面要素，且语义要素包括杆状物要素时，测距模块903适于在深度图像中确定与其对应的道路图像中的杆状要素对应的杆状像素组，杆状像素组包含多个具有深度值的像素；
基于相机内参矩阵以及杆状像素组中每个像素的深度值和在道路图像中的坐标计算杆状像素组的每个像素在相机坐标系中的坐标；
去掉深度图像中杆状像素组的每个杆状像素在相机坐标系中的垂直坐标，保留水平坐标；
对每个杆状像素进行聚类得到至少一个杆状物要素的杆状像素；
计算聚类后的每个杆状像素的水平坐标的平均坐标；
根据确定平面参数后的平面方程找到经过聚类后的每个杆状像素的平均坐标所在位置且与地平面垂直的直线与地平面的交点；
获取位于交点的正上方且至交点的距离为预设杆状高度的顶点位置；
计算交点和与其对应的顶点位置在相机坐标系中的坐标。
在本实施例中，当语义要素包括杆状物要素时，测距模块903只需要计算杆状物要素两端的的像素在相机坐标系中坐标即可，无需计算杆状物要素的全部像素在相机坐标系中坐标，这种方式可以大大提高杆状物要素的计算效率。另外，杆子像素在相机坐标系中的坐标是离散的，对每个杆状像素进行聚类，可以使最终得到的杆状像素的坐标更加真实的反映杆状物体的位置。
在本发明一个实施例中，测距模块903适于：
根据平面方程得到地面法向量；
将地面法向量与直线参数相乘，并与平均坐标相加得到经过平均坐标所在位置且与地平面垂直的直线的直线方程；直线方程的公式可以参照上述实施例，这里不再赘述；
将直线方程中地面法向量与直线参数相乘，并与平均坐标相加的部分代入平面方程中以得到由直线参数、平均坐标和平面参数构成的方程；由直线参数、平均坐标和平面参数构成的方程的公式可以参照上述实施例，这里不再赘述；
根据直线参数、平均坐标和平面参数构成的方程得到用于表示直线参数的平均坐标和平面参数的运算关系；运算关系的公式可以参照上述实施例，这里不再赘述；
将运算关系代入直线方程得到交点。
在本发明一个实施例中，测距模块903适于按照预设水平间距对每个杆状像素进行划分，分别将划分在每个预设水平间距内的杆状像素聚类为同一个杆状物的杆状像素。预设水平间距可以与杆子之间的实际间距相等。预设水平间距内的杆状像素视为同一个杆状物的杆状像素。具体地，例如，预设水平间距可以为2m、5m、10m等。
参见图10，基于同一构思，本发明还提供了一种电子设备400。电子设备400可以为一种车机、DHU（娱乐主机和仪表的集成机器）、IHU（Infotainment Head Unit，信息娱乐主机）、IVI（In-Vehicle Infotainment，车载信息娱乐系统）或任意一种车载信息交互终端等。电子设备400可包括可存储器401和处理器402。存储器401内存储有控制程序。控制程序被处理器402执行时用于实现根据上述任一项实施例的基于稀疏直接法的语义要素测距方法。
基于同一构思，本发明还提供了一种计算机存储介质。计算机存储介质存储有计算机程序代码，当计算机程序代码在计算设备上运行时，导致计算设备执行根据上述任一项实施例的基于稀疏直接法的语义要素测距方法。
上述各个实施例可以任意组合，根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：
使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧道路图像对应的深度图像，并将各深度图像拼接得到半稠密点云，对各帧道路图像进行语义要素分割得到各类型的语义要素，利用半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标，该方法无需使用激光雷达，只需使用车辆的轮速和道路图像即可，依赖的传感器较少，成本较低，并且易于在车辆上实施，具有较高的实施效率；并且，稀疏直接法是一种不使用特征点的视觉SLAM算法，相对于基于特征点的视觉SLAM算法，稀疏直接法得到的深度图像更加稠密，语义要素的信息更加全面，从而对各种语义要素进行多点测距，保证对各种语义要素测距的准确性。另外，上述方法还可以用于众包建图，具有很好的适应性。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种基于稀疏直接法的语义要素测距方法，其特征在于，包括：
使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧所述道路图像对应的深度图像，并将各所述深度图像拼接得到半稠密点云，所述深度图像包含与其对应的道路图像中的部分像素的坐标和深度值；
对各帧所述道路图像进行语义要素分割得到各类型的语义要素；
利用所述半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标。
2.根据权利要求1所述的基于稀疏直接法的语义要素测距方法，其特征在于，
利用所述半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标，包括：
从各类型语义要素中选取一种可构建平面方程的要素作为目标要素；
在所述深度图像中确定与其对应的道路图像中的目标要素对应的目标像素组，所述目标像素组包含多个具有深度值的像素；
基于相机内参矩阵以及所述目标像素组中每个像素的深度值和在道路图像中的坐标计算所述目标像素组的每个像素在相机坐标系中的坐标；
根据所述目标像素组的每个像素在相机坐标系中的坐标得到包含平面参数的平面方程；
将所述目标像素组的部分像素在相机坐标系中的坐标代入所述平面方程确定所述平面参数；
根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标。
3.根据权利要求2所述的基于稀疏直接法的语义要素测距方法，其特征在于，
当目标要素为地面要素时，根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标，包括：
根据所述道路图像中地面要素的每个像素的坐标、相机内参矩阵以及所述道路图像中地面要素的每个像素在相机坐标系中的z轴分量得到计算所述道路图像中地面要素的每个像素在相机坐标系中坐标的坐标方程；
将所述坐标方程中用于计算所述道路图像中地面要素的每个像素在相机坐标系中坐标的部分代入确定所述平面参数后的平面方程从而确定所述道路图像中地面要素的每个像素在相机坐标系中的z轴分量；
将确定的所述道路图像中地面要素的每个像素在相机坐标系中的z轴分量代入所述坐标方程得到所述道路图像中地面要素的每个像素在相机坐标系中坐标。
4.根据权利要求2所述的基于稀疏直接法的语义要素测距方法，其特征在于，
当目标要素为指示牌要素时，在所述深度图像中确定与其对应的道路图像中各类型语义要素的目标要素对应的目标像素组，包括：
在所述深度图像中确定与其对应的道路图像中的指示牌要素对应的指示牌像素组的四个顶点的指示牌像素；
根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标，包括：
根据所述道路图像中指示牌要素的四个顶点的像素的坐标、相机内参矩阵以及所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量得到计算所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标的坐标方程；
将所述坐标方程中用于计算所述道路图像中指示牌要素的每个像素在相机坐标系中坐标的部分代入确定所述平面参数后的平面方程从而确定所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量；
将确定的所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中的z轴分量代入所述坐标方程得到所述道路图像中指示牌要素的四个顶点的像素在相机坐标系中坐标。
5.根据权利要求2所述的基于稀疏直接法的语义要素测距方法，其特征在于，
当目标要素为地面要素，且语义要素包括杆状物要素时，根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标，包括：
在所述深度图像中确定与其对应的道路图像中的杆状要素对应的杆状像素组，所述杆状像素组包含多个具有深度值的像素；
基于相机内参矩阵以及所述杆状像素组中每个像素的深度值和在道路图像中的坐标计算所述杆状像素组的每个像素在相机坐标系中的坐标；
去掉所述深度图像中杆状像素组的每个杆状像素在相机坐标系中的垂直坐标，保留水平坐标；
对每个所述杆状像素进行聚类得到至少一个杆状物要素的杆状像素；
计算聚类后的每个杆状像素的水平坐标的平均坐标；
根据确定所述平面参数后的平面方程找到经过聚类后的每个杆状像素的平均坐标所在位置且与地平面垂直的直线与地平面的交点；
获取位于所述交点的正上方且至所述交点的距离为预设杆状高度的顶点位置；
计算所述交点和与其对应的所述顶点位置在相机坐标系中的坐标。
6.根据权利要求5所述的基于稀疏直接法的语义要素测距方法，其特征在于，
对每个所述杆状像素进行聚类得到至少一个杆状物要素的杆状像素，包括：
按照预设水平间距对每个所述杆状像素进行划分，分别将划分在每个所述预设水平间距内的所述杆状像素聚类为同一个杆状物的杆状像素。
7.根据权利要求1所述的基于稀疏直接法的语义要素测距方法，其特征在于，
所述各帧道路图像为所述各帧道路图像中关键帧的道路图像。
8.一种基于稀疏直接法的语义要素测距装置，其特征在于，包括：
图像处理模块，使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧所述道路图像对应的深度图像，并将各所述深度图像拼接得到半稠密点云，所述深度图像包含与其对应的道路图像中的部分像素的坐标和深度值；
语义要素分割模块，对各帧所述道路图像进行语义要素分割得到各类型的语义要素；
测距模块，利用所述半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器内存储有控制程序，所述控制程序被所述处理器执行时用于实现根据权利要求1-7中任一项所述的基于稀疏直接法的语义要素测距方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行根据权利要求1-7中任一项所述的基于稀疏直接法的语义要素测距方法。
CN202110732540.9A 2021-06-30 2021-06-30 基于稀疏直接法的语义要素测距方法、装置和电子设备 Active CN113177984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110732540.9A CN113177984B (zh) 2021-06-30 2021-06-30 基于稀疏直接法的语义要素测距方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110732540.9A CN113177984B (zh) 2021-06-30 2021-06-30 基于稀疏直接法的语义要素测距方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113177984A true CN113177984A (zh) 2021-07-27
CN113177984B CN113177984B (zh) 2021-09-17

Family

ID=76928006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110732540.9A Active CN113177984B (zh) 2021-06-30 2021-06-30 基于稀疏直接法的语义要素测距方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113177984B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964145A (zh) * 2009-07-23 2011-02-02 北京中星微电子有限公司 一种自动车牌识别方法及其系统
CN105225241A (zh) * 2015-09-25 2016-01-06 广州极飞电子科技有限公司 无人机深度图像的获取方法及无人机
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法
CN107025668A (zh) * 2017-03-30 2017-08-08 华南理工大学 一种基于深度相机的视觉里程计的设计方法
CN110986945A (zh) * 2019-11-14 2020-04-10 上海交通大学 基于语义高度地图的局部导航方法和系统
CN111179426A (zh) * 2019-12-23 2020-05-19 南京理工大学 基于深度学习的机器人室内环境三维语义地图构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964145A (zh) * 2009-07-23 2011-02-02 北京中星微电子有限公司 一种自动车牌识别方法及其系统
CN105225241A (zh) * 2015-09-25 2016-01-06 广州极飞电子科技有限公司 无人机深度图像的获取方法及无人机
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法
CN107025668A (zh) * 2017-03-30 2017-08-08 华南理工大学 一种基于深度相机的视觉里程计的设计方法
CN110986945A (zh) * 2019-11-14 2020-04-10 上海交通大学 基于语义高度地图的局部导航方法和系统
CN111179426A (zh) * 2019-12-23 2020-05-19 南京理工大学 基于深度学习的机器人室内环境三维语义地图构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANTOINE VANDERSCHUEREN 等: "How semantic and geometric information mutually reinforce each other in ToF object localization", 《HTTPS://ARXIV.ORG/PDF/2008.12002.PDF》 *
张超 等: "基于稀疏直接法的SLAM算法", 《长春理工大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN113177984B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN111932627B (zh) 一种标识物绘制方法及系统
CN110969592B (zh) 图像融合方法、自动驾驶控制方法、装置和设备
CN115372989A (zh) 基于激光雷达的越野自动小车长距离实时定位系统及方法
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
CN111930877B (zh) 地图路牌的生成方法及电子设备
CN113763569A (zh) 一种在三维仿真中使用的图像标注方法及装置、电子设备
Zhao et al. Autonomous driving simulation for unmanned vehicles
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN114217665A (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
CN114937081A (zh) 基于独立非均匀增量采样的网联车位置估计方法及装置
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN115205382A (zh) 目标物定位方法以及装置
CN114549542A (zh) 视觉语义分割方法、装置及设备
CN115100616A (zh) 点云目标检测方法、装置、电子设备及存储介质
CN112749584A (zh) 一种基于图像检测的车辆定位方法及车载终端
CN113177984B (zh) 基于稀疏直接法的语义要素测距方法、装置和电子设备
CN112488010A (zh) 基于无人机点云数据的高精度目标提取方法及系统
CN116229224A (zh) 融合感知方法、装置、电子设备及存储介质
CN114858134A (zh) 基于目标位置信息的单目摄像头测距方法及可读存储介质
CN112183378A (zh) 一种基于颜色和深度图像的道路坡度估计方法及装置
CN116917936A (zh) 双目相机外参标定的方法及装置
CN113536854A (zh) 一种高精地图路牌的生成方法、装置及服务器
CN117437162B (zh) 一种基于实例级序列混合的动态点云数据增强方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220317

Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province

Patentee after: Yikatong (Hubei) Technology Co.,Ltd.

Address before: 430056 building B (qdxx-f7b), No.7 building, qiedixiexin science and Technology Innovation Park, South taizihu innovation Valley, Wuhan Economic and Technological Development Zone, Hubei Province

Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd.