CN112837404B - 一种平面对象的三维信息的构建方法及装置 - Google Patents

一种平面对象的三维信息的构建方法及装置 Download PDF

Info

Publication number
CN112837404B
CN112837404B CN201911164573.7A CN201911164573A CN112837404B CN 112837404 B CN112837404 B CN 112837404B CN 201911164573 A CN201911164573 A CN 201911164573A CN 112837404 B CN112837404 B CN 112837404B
Authority
CN
China
Prior art keywords
processed
position information
pixel
image
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911164573.7A
Other languages
English (en)
Other versions
CN112837404A (zh
Inventor
李天威
徐抗
刘一龙
童哲航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chusudu Technology Co ltd
Original Assignee
Beijing Chusudu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chusudu Technology Co ltd filed Critical Beijing Chusudu Technology Co ltd
Priority to CN201911164573.7A priority Critical patent/CN112837404B/zh
Publication of CN112837404A publication Critical patent/CN112837404A/zh
Application granted granted Critical
Publication of CN112837404B publication Critical patent/CN112837404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种平面对象的三维信息的构建方法及装置，方法包括：利用预先训练的对象检测模型及当前图像，确定待处理平面对象对应的待处理像素点；基于每一待处理像素点在当前图像中的第一位置信息、所获得的预估平面的预估位置信息、当前图像对应的当前位姿信息及设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点对应的映射位置信息；基于映射位置信息、参考图像对应的参考位姿信息，确定每一待处理像素点在参考图像中的投影位置信息；利用投影位置信息、第一位置信息及预估位置信息，确定预估平面的当前位置信息；基于第一位置信息及当前位置信息，确定待处理平面对象对应的三维位置信息，以实现对平面对象的三维信息的构建。

Description

一种平面对象的三维信息的构建方法及装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种平面对象的三维信息的构建方法及装置。
背景技术
在智能驾驶技术领域中，智能驾驶车辆的车辆定位技术至关重要。在相关的车辆定位技术中，一般可以利用预先构建的电子导航地图以及高精度地图等目标地图、车辆采集的图像以及车辆的传感器采集的传感器数据进行数据融合定位，得到车辆的定位结果。
在上述车辆定位技术中，为了保证车辆的定位结果的准确性，一般需要保证预先构建的目标地图中各地图元素的位置信息越准确越好。一种情况中，可以进一步构建出的目标地图中某些地图元素的三维位置信息，例如可以针对目标地图中的平面的交通标识牌中的文字及图案和平面的安全出口标识牌上的文字及图案等对象，构建三维位置信息。进而在车辆定位过程中，利用该地图元素的三维位置信息对车辆进行车辆定位，以提高车辆定位结果的准确性。
那么，如何构建上述对象的三维位置信息成为亟待解决的问题。
发明内容
本发明提供了一种平面对象的三维信息的构建方法及装置，以实现对平面对象的三维信息的构建。具体的技术方案如下：
第一方面，本发明实施例提供了一种平面对象的三维信息的构建方法，包括：
利用预先训练的对象检测模型以及所获得的当前图像，确定所述当前图像中待处理平面对象对应的待处理像素点；
基于每一待处理像素点在所述当前图像中的第一位置信息、所获得的预估平面的预估位置信息、图像采集设备采集到所述当前图像时的当前位姿信息以及所述当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息，其中，所述设备坐标系为所述图像采集设备对应的坐标系；
基于每一待处理像素点的映射位置信息、所述图像采集设备采集到参考图像时的参考位姿信息，确定每一待处理像素点在所述参考图像中的投影位置信息，其中，所述参考图像为包含所述待处理平面对象的成像点的图像；
利用每一待处理像素点的所述投影位置信息、每一待处理像素点的第一位置信息以及所述预估位置信息，确定所述预估平面的当前位置信息；
基于每一待处理像素点的第一位置信息以及所述当前位置信息，确定所述待处理平面对象对应的三维位置信息。
可选的，所述待处理平面对象包括：处于目标平面上的文字和/或图案，所述目标平面包括平面交通标识牌、平面广告牌、墙面以及地面中的至少一个。
可选的，所述所获得的预估平面的预估位置信息为：基于所述当前位姿信息、所述图像采集设备采集到所述当前图像的前N帧图像中每一帧图像时的位姿信息以及所述图像采集设备采集到所述当前图像的后M帧图像中每一帧图像时的位姿信息，预估出的位置信息。
可选的，所述基于每一待处理像素点在所述当前图像中的第一位置信息、所获得的预估平面的预估位置信息、图像采集设备采集到所述当前图像时的当前位姿信息以及所述当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息的步骤，包括：
基于每一待处理像素点在所述当前图像中的第一位置信息、图像采集设备对应的预设投影模型以及所获得的预估平面的预估位置信息，确定每一待处理像素点所对应射线与所述预估平面的交点的在设备坐标系下的交点位置信息；
基于所述交点位置信息以及所述当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息。
可选的，所述利用每一待处理像素点的所述投影位置信息、每一待处理像素点的第一位置信息以及所述预估位置信息，确定所述预估平面的当前位置信息的步骤，通过如下两种实现方式中的任一种实现：
第一种实现方式：
利用每一待处理像素点的所述投影位置信息对应的像素值以及每一待处理像素点的第一位置信息对应的像素值，确定每一待处理像素点对应的第一像素值残差；
利用每一待处理像素点对应的第一像素值残差以及所述预估位置信息，确定所述预估平面的当前位置信息；
第二种实现方式：
利用每一待处理像素点的所述投影位置信息对应的像素值以及预设高斯模糊操作，确定每一待处理像素点的所述投影位置信息对应的高斯模糊后的像素值；
利用每一待处理像素点的第一位置信息对应的像素值以及所述预设高斯模糊操作，确定每一待处理像素点的第一位置信息对应的高斯模糊后的像素值；
利用每一待处理像素点的所述投影位置信息对应的高斯模糊后的像素值以及每一待处理像素点的第一位置信息对应的高斯模糊后的像素值，确定每一待处理像素点对应的第一像素值残差；
利用每一待处理像素点对应的第一像素值残差以及所述预估位置信息，确定所述预估平面的当前位置信息。
可选的，所述基于每一待处理像素点的第一位置信息以及所述当前位置信息，确定所述待处理平面对象对应的三维位置信息的步骤，包括：
基于每一待处理像素点的第一位置信息、所述图像采集设备对应的预设投影模型以及所述当前位置信息，确定每一待处理处像素点在所述预估平面的平面位置信息；
基于所述平面位置信息以及所述图像采集设备采集到参考图像时的参考位姿信息，确定所述参考图像中每一待处理像素点对应的位置信息；
基于每一待处理像素点对应的像素值以及所述参考图像中每一待处理像素点对应的位置信息处的像素点的像素值，确定每一待处理像素点对应的第二像素值残差；
基于每一待处理像素点对应的第二像素值残差以及预设像素值残差阈值，从所述待处理像素点中，确定出待构建像素点；
基于所述待构建像素点在所述预估平面的平面位置信息，构建出所述待处理平面对象对应的三维位置信息。
可选的，所述预先训练的对象检测模型为预先训练的分割模型；
在所述利用预先训练的对象检测模型以及所获得的当前图像，确定所述当前图像中待处理平面对象对应的待处理像素点的步骤之前，所述方法还包括：
训练得到所述预先训练的分割模型的过程，其中，所述过程包括：
获得初始的分割模型；
获得用于训练所述初始的分割模型的样本图像以及每一样本图像对应的标定信息，其中，每一样本图像包含表征样本平面对象的像素点，每一样本图像对应的标定信息中包括：每一样本图像中包含的表征各样本平面对象的像素点的标记信息；
基于所述样本图像以及每一样本图像对应的标定信息中包括的表征各样本平面对象的像素点的标记信息，训练所述初始的分割模型，得到所述预先训练的分割模型。
可选的，所述方法还包括：
利用预先训练的语义特征检测模型，对所述当前图像进行语义特征检测，确定所述当前图像中待处理平面对象对应的语义特征；
对应所述待处理平面对象对应的三维位置信息，存储所述待处理平面对象对应的语义特征。
可选的，所述方法还包括：
在确定需要对待定位车辆进行车辆定位之后，利用所述待定位车辆的初始位姿信息，从目标地图的地图元素中，确定所述初始位姿信息对应的备用地图元素，其中，所述备用地图元素包括：所述待处理平面对象对应的三维位置信息；
基于所述待处理平面对象对应的三维位置信息以及所述初始位姿信息，确定所述待处理平面对象在目标观测图像对应的分割图中的第三位置信息，其中，所述目标观测图像为所述待定位车辆处于所述初始位姿信息时，其图像采集设备采集的图像；所述目标观测图像对应的分割图为：基于所述预先训练的对象检测模型以及所述目标观测图像确定出的图像；
利用所述待处理平面对象在第一分割图中对应的第三位置信息处的像素值、检测出的所述第一分割图中待处理平面对象对应的像素点的像素值以及所述初始位姿信息，确定待定位车辆的当前位姿信息。
第二方面，本发明实施例提供了一种平面对象的三维信息的构建装置，所述装置包括：
第一确定模块，被配置为利用预先训练的对象检测模型以及所获得的当前图像，确定所述当前图像中待处理平面对象对应的待处理像素点；
第二确定模块，被配置为基于每一待处理像素点在所述当前图像中的第一位置信息、所获得的预估平面的预估位置信息、图像采集设备采集到所述当前图像时的当前位姿信息以及所述当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息，其中，所述设备坐标系为所述图像采集设备对应的坐标系；
第三确定模块，被配置为基于每一待处理像素点的映射位置信息、所述图像采集设备采集到参考图像时的参考位姿信息，确定每一待处理像素点在所述参考图像中的投影位置信息，其中，所述参考图像为包含所述待处理平面对象对应的成像点的图像；
第四确定模块，被配置为利用每一待处理像素点的所述投影位置信息、每一待处理像素点的第一位置信息以及所述预估位置信息，确定所述预估平面的当前位置信息；
第五确定模块，被配置为基于每一待处理像素点的第一位置信息以及所述当前位置信息，确定所述待处理平面对象对应的三维位置信息。
可选的，所述待处理平面对象包括：处于目标平面上的文字和/或图案，所述目标平面包括平面交通标识牌、平面广告牌、墙面以及地面中的至少一个。
可选的，所述所获得的预估平面的预估位置信息为：基于所述当前位姿信息、所述图像采集设备采集到所述当前图像的前N帧图像中每一帧图像时的位姿信息以及所述图像采集设备采集到所述当前图像的后M帧图像中每一帧图像时的位姿信息，预估出的位置信息。
可选的，所述第二确定模块，被具体配置为基于每一待处理像素点在所述当前图像中的第一位置信息、图像采集设备对应的预设投影模型以及所获得的预估平面的预估位置信息，确定每一待处理像素点所对应射线与所述预估平面的交点的在设备坐标系下的交点位置信息；
基于所述交点位置信息以及所述当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息。
可选的，所述第四确定模块，被具体配置为利用每一待处理像素点的所述投影位置信息对应的像素值以及每一待处理像素点的第一位置信息对应的像素值，确定每一待处理像素点对应的第一像素值残差；
利用每一待处理像素点对应的第一像素值残差以及所述预估位置信息，确定所述预估平面的当前位置信息；
或，所述第四确定模块，被具体配置为利用每一待处理像素点的所述投影位置信息对应的像素值以及预设高斯模糊操作，确定每一待处理像素点的所述投影位置信息对应的高斯模糊后的像素值；
利用每一待处理像素点的第一位置信息对应的像素值以及所述预设高斯模糊操作，确定每一待处理像素点的第一位置信息对应的高斯模糊后的像素值；
利用每一待处理像素点的所述投影位置信息对应的高斯模糊后的像素值以及每一待处理像素点的第一位置信息对应的高斯模糊后的像素值，确定每一待处理像素点对应的第一像素值残差；
利用每一待处理像素点对应的第一像素值残差以及所述预估位置信息，确定所述预估平面的当前位置信息。
可选的，所述第五确定模块，被具体配置为基于每一待处理像素点的第一位置信息、所述图像采集设备对应的预设投影模型以及所述当前位置信息，确定每一待处理处像素点在所述预估平面的平面位置信息；
基于所述平面位置信息以及所述图像采集设备采集到参考图像时的参考位姿信息，确定所述参考图像中每一待处理像素点对应的位置信息；
基于每一待处理像素点对应的像素值以及所述参考图像中每一待处理像素点对应的位置信息处的像素点的像素值，确定每一待处理像素点对应的第二像素值残差；
基于每一待处理像素点对应的第二像素值残差以及预设像素值残差阈值，从所述待处理像素点中，确定出待构建像素点；
基于所述待构建像素点在所述预估平面的平面位置信息，构建出所述待处理平面对象对应的三维位置信息。
可选的，所述预先训练的对象检测模型为预先训练的分割模型；
所述装置还包括：
训练模块，被配置为在所述利用预先训练的对象检测模型以及所获得的当前图像，确定所述当前图像中待处理平面对象对应的待处理像素点之前，训练得到所述预先训练的分割模型，其中，所述训练模块，被具体配置为获得初始的分割模型；
获得用于训练所述初始的分割模型的样本图像以及每一样本图像对应的标定信息，其中，每一样本图像包含表征样本平面对象的像素点，每一样本图像对应的标定信息中包括：每一样本图像中包含的表征各样本平面对象的像素点的标记信息；
基于所述样本图像以及每一样本图像对应的标定信息中包括的表征各样本平面对象的像素点的标记信息，训练所述初始的分割模型，得到所述预先训练的分割模型。
可选的，所述装置还包括：
检测确定模块，被配置为利用预先训练的语义特征检测模型，对所述当前图像进行语义特征检测，确定所述当前图像中待处理平面对象对应的语义特征；
存储模块，被配置为对应所述待处理平面对象对应的三维位置信息，存储所述待处理平面对象对应的语义特征。
可选的，所述装置还包括：
第六确定模块，被配置为在确定需要对待定位车辆进行车辆定位之后，利用所述待定位车辆的初始位姿信息，从目标地图的地图元素中，确定所述初始位姿信息对应的备用地图元素，其中，所述备用地图元素包括：所述待处理平面对象对应的三维位置信息；
第七确定模块，被配置为基于所述待处理平面对象对应的三维位置信息以及所述初始位姿信息，确定所述待处理平面对象在目标观测图像对应的分割图中的第三位置信息，其中，所述目标观测图像为所述待定位车辆处于所述初始位姿信息时，其图像采集设备采集的图像；所述目标观测图像对应的分割图为：基于所述预先训练的对象检测模型以及所述目标观测图像确定出的图像；
第八确定模块，被配置为利用所述待处理平面对象在第一分割图中对应的第三位置信息处的像素值、检测出的所述第一分割图中待处理平面对象对应的像素点的像素值以及所述初始位姿信息，确定待定位车辆的当前位姿信息。
由上述内容可知，本发明实施例提供的一种平面对象的三维信息的构建方法及装置，可以利用预先训练的对象检测模型以及所获得的当前图像，确定当前图像中待处理平面对象对应的待处理像素点；基于每一待处理像素点在当前图像中的第一位置信息、所获得的预估平面的预估位置信息、图像采集设备采集到当前图像时的当前位姿信息以及当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息，其中，设备坐标系为图像采集设备对应的坐标系；基于每一待处理像素点的映射位置信息、图像采集设备采集到参考图像时的参考位姿信息，确定每一待处理像素点在参考图像中的投影位置信息，其中，参考图像为包含待处理平面对象的成像点的图像；利用每一待处理像素点的投影位置信息、每一待处理像素点的第一位置信息以及预估位置信息，确定预估平面的当前位置信息；基于每一待处理像素点的第一位置信息以及当前位置信息，确定待处理平面对象对应的三维位置信息。
应用本发明实施例，可以基于图像采集设备的当前位姿信息、所获得的预估平面的预估位置信息、每一待处理像素点在当前图像中的第一位置信息以及设备坐标系与世界坐标系之间的转换关系，将每一待处理像素点映射至预估平面内，得到每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息；进而，基于每一待处理像素点的映射位置信息、图像采集设备采集到参考图像时的参考位姿信息，将每一待处理像素点在投影至参考图像中，确定每一待处理像素点在参考图像中的投影位置信息，进而，利用投影位置信息、每一待处理像素点的第一位置信息以及预估位置信息，优化出预估平面的当前位置信息，进而，基于优化后的预估平面的当前位置信息以及每一待处理像素点的第一位置信息，确定出待处理平面对象对应的三维位置信息，以实现对平面对象的三维信息的构建。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、可以基于图像采集设备的当前位姿信息、所获得的预估平面的预估位置信息、每一待处理像素点在当前图像中的第一位置信息以及设备坐标系与世界坐标系之间的转换关系，将每一待处理像素点映射至预估平面内，得到每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息；进而，基于每一待处理像素点的映射位置信息、图像采集设备采集到参考图像时的参考位姿信息，将每一待处理像素点在投影至参考图像中，确定每一待处理像素点在参考图像中的投影位置信息，进而，利用投影位置信息、每一待处理像素点的第一位置信息以及预估位置信息，优化出预估平面的当前位置信息，进而，基于优化后的预估平面的当前位置信息以及每一待处理像素点的第一位置信息，确定出待处理平面对象对应的三维位置信息，以实现对平面对象的三维信息的构建。
2、首先基于每一待处理像素点的第一位置信息以及图像采集设备对应的预设投影模型，确定出每一待处理像素点所对应射线在设备坐标系下的位置信息，进而，结合所获得的预估平面的预估位置信息确定出的预估平面在设备坐标系的位置信息，确定出每一待处理像素点所对应射线与预估平面的交点的在设备坐标系下的交点位置信息，初步确定出每一待处理像素点在设备坐标系下的投影点的初始位置信息，进而，利用设备坐标系与世界坐标系之间的转换关系以及交点位置信息，确定每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息，即初步确定出每一待处理像素点在世界坐标系下的映射点的映射位置信息。
3、训练得到该预先训练的分割模型所使的样本图像对应的标定信息中，包括每一样本图像中包含的表征各平面对象的像素点的标记信息，为像素级别的标记信息，可以使得训练所得的该预先训练的分割模型可以实现对平面对象进行像素级别的检测，在一定程度上提升检测结果的精确度，可以检测出平面对象的真实的边缘信息，为后续的平面对象对应的三维位置信息的建立的准确性提供基础，在一定程度上保证平面对象对应的三维位置信息的准确性。
4、目标地图中包含平面对象对应的三维位置信息，结合平面对象对应的三维位置信息，对待定位车辆进行定位，在一定程度上可以提高待定位车辆的定位结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的平面对象的三维信息的构建方法的一种流程示意图；
图2为本发明实施例提供的预先训练的对象检测模型的训练过程的一种流程示意图
图3为本发明实施例提供的平面对象的三维信息的构建装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种平面对象的三维信息的构建方法及装置，以实现对平面对象的三维信息的构建。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的平面对象的三维信息的构建方法的一种流程示意图。该方法可以包括以下步骤：
S101：利用预先训练的对象检测模型以及所获得的当前图像，确定当前图像中平面对象对应的待处理像素点。
本发明实施例中，该方法可以应用于任一类型的具有计算能力的电子设备，该电子设备可以为服务器或者终端设备。该电子设备可以设置于车辆内，为车载设备，也可以未设置于车辆内，为非车载设备，这都是可以的。
本步骤中，电子设备获得移动中的车辆的图像采集设备所采集的图像之后，作为当前图像，进而利用预先训练的对象检测模型，对当前图像进行检测，确定出该当前图像中是否包括平面对象，在确定包括平面对象的情况下，确定当前图像中待处理平面对象对应的待处理像素点，该为待处理像素点表征所对应待处理平面对象的像素点。其中，电子设备可以获得车辆在移动过程中实时采集的图像，也可以是获得车辆在移动过程完成之后，获得其图像采集设备所采集的图像，这都是可以的。该当前图像可以是任何类型的图像采集设备采集的图像，例如鱼眼相机、广角相机、普通平面相机或双目相机、多目相机采集的图像。
在一种实现方式中，该预先训练的对象检测模型可以为预先基于深度学习算法类的模型，通过包含平面对象的训练图像及其对应的标注有平面对象在训练图像中对应的位置信息的标注信息，训练所得的深度学习模型。其中，该预先训练的对象检测模型的具体训练过程可以参见相关技术中基于深度学习算法类的模型的训练过程，在此不再赘述。基于该深度学习算法类的预先训练的对象检测模型，可以从当前图像中确定出其中是否包含平面对象，且在确定包含平面对象的情况下，确定出待处理平面对象对应的初始区域，该初始区域可以为完整包含该待处理平面对象的成像区域的区域，即完整包含待处理平面对象对应的待处理像素点的最小矩形区域；进而，通过图像边缘检测算法，对平面对象所在初始区域进行边缘检测，得到待处理平面对象对应的待处理像素点。
在另一种实现方式中，该预先训练的对象检测模型可以为预先训练的分割模型。一种情况，该预先训练的分割模型可以为：相关技术中任一可以实现对图像中的平面对象进行识别，并且可以对图像中不同对象进行分割的图像分割模型。一种情况，该预先训练的分割模型可以为基于深度学习算法构建的分割模型，具体的：为基于包含平面对象的样本图像及其对应的包含表征各平面对象的像素点的标记信息的标定信息训练所得的模型。为了布局清楚，后续对该预先训练的分割模型的训练过程进行介绍。
一种情况中，基于该预先训练的分割模型，可以从当前图像中检测出其中所包含的所有的待处理平面对象对应的待处理像素点，进而可以通过预设聚类算法，确定出每一待处理平面对象对应的待处理像素点。
在本发明的一种实现方式中，该待处理平面对象包括：处于目标平面上的文字和/或图案，目标平面包括但不限于平面交通标识牌、平面广告牌、墙面以及地面中的至少一个。在一种情况中，该平面交通标识牌可以包括交通道路中的交通指示牌以及安全出口牌等。
其中，当前图像中可以包含至少一个待处理平面对象对应的待处理像素点，在当前图像包括多个平面对象所在区域时，电子设备针对每一平面对象所在区域执行后续的平面对象的三维信息的构建流程。
S102：基于每一待处理像素点在当前图像中的第一位置信息、所获得的预估平面的预估位置信息、图像采集设备采集到当前图像时的当前位姿信息以及当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息。
其中，设备坐标系为图像采集设备对应的坐标系。
在本发明的一种实现方式中，所获得的预估平面的预估位置信息为：基于当前位姿信息、图像采集设备采集到当前图像的前N帧图像中每一帧图像时的位姿信息以及图像采集设备采集到当前图像的后M帧图像中每一帧图像时的位姿信息，预估出的位置信息。其中，N和M均为正整数。
本实现方式中，可以预先假设采集得到当前图像的图像采集设备所采集的当前图像的前N帧图像以及当前图像的后M帧图像均可以观测到待处理平面对象，即存在待处理平面对象对应的成像点，为了后续描述方便，将当前图像的前N帧图像以及当前图像的后M帧图像统称为备用图像。
一种实现方式中，电子设备基于每一待处理像素点的第一位置信息、图像采集设备对应的预设投影模型以及每一假设平面的假设位置信息，确定每一待处理像素点所对应射线与每一假设平面的交点在设备坐标系下的位置信息；基于每一待处理像素点所对应射线与每一假设平面在设备坐标系下的位置信息，以及当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与每一假设平面的交点在世界坐标系下的假设空间位置信息。进而，针对每一假设平面，基于图像采集设备采集到每一备用图像时的备用位姿信息，以及每一待处理像素点所对应射线与该假设平面的交点在世界坐标系下的假设空间位置信息，确定每一待处理像素点在每一备用图像中对应的位置；进而，确定每一待处理像素点在每一备用图像对应的分割图中对应的位置；针对每一假设平面，基于当前图像对应的分割图中每一第一位置信息对应的位置处的像素点的像素值，以及每一待处理像素点在每一备用图像对应的分割图中对应的位置处的像素点的像素值，确定每一假设平面对应的平均像素值残差；基于每一假设平面对应的平均像素值残差，确定出预估平面的预估位置信息。
其中，上述针对每一假设平面，基于当前图像对应的分割图中每一第一位置信息对应的位置处的像素点的像素值，以及每一待处理像素点在每一备用图像对应的分割图中对应的位置处的像素点的像素值，确定每一假设平面对应的平均像素值残差的过程，可以是：
针对每一假设平面对应的每一备用图像，计算当前图像对应的分割图中每一第一位置信息对应的位置处的像素点的像素值，与该第一位置信息对应的待处理像素点在该备用图像对应的分割图中对应位置处的像素点的像素值之间的像素值残差，作为该第一位置信息对应的参考像素值残差，即该第一位置信息对应的待处理像素点对应的参考像素值残差；针对每一假设平面对应的每一备用图像，计算该假设平面所对应该备用图像对应的每一第一位置信息对应的参考像素值残差的残差平均值，作为该假设平面对应的该备用图像对应的残差平均值；针对每一假设平面，计算该假设平面对应的所有备用图像对应的残差平均值的平均值，作为该假设平面对应的平均像素值残差。
其中，假设平面对应的备用图像可以为所有备用图像，也可以是待处理像素点所对应射线与该假设平面的交点，能够投影至备用图像中，即备用图像中存在待处理像素点所对应射线与该假设平面的交点对应的投影点。
在一种情况中，还可以针对每一假设平面对应的每一备用图像，统计第一位置信息对应的参考像素值残差中，参考像素值残差超过预设残差的个数，作为该假设平面对应的该备用图像对应的第一个数；进而，针对每一假设平面，基于该假设平面对应的该备用图像对应的第一个数，统计其对应的所有备用图像对应的参考像素值残差超过预设残差的个数，作为该假设平面对应的第二个数。
相应的，该基于每一假设平面对应的平均像素值残差，确定出预估平面的预估位置信息的过程，可以是：基于每一假设平面对应的平均像素值残差，从假设平面中确定出所对应平均像素值残差最小的假设平面，作为预估平面，且其假设位置信息作为预估平面预估位置信息。或者是：基于每一假设平面对应的平均像素值残差，以及每一假设平面对应的第二个数，从假设平面中确定出所对应平均像素值残差最小的假设平面且所对应第二个数小于预设个数的假设平面，作为预估平面，且其假设位置信息作为预估平面预估位置信息。
其中，当前图像对应的分割图为：基于预先训练的分割模型对当前图像进行检测处理后，所输出的分割出待处理平面对象对应的待处理像素点的图像，该分割图中平面对象对应的待处理像素点的像素值均相同，不同于其他非平面对象的像素点的像素值，在一种情况中，当前图像对应的分割图中不同待处理平面对象对应的待处理像素点的像素值可以相同，也可以不同。备用图像对应的分割图为：基于预先训练的分割模型对备用图像进行检测处理后，所输出的分割出其中包含的平面对象对应的像素点的图像，该分割图中平面对象对应的像素点的像素值均相同，不同于其他非平面对象的像素点的像素值，在一种情况中，备用图像对应的分割图中不同平面对象对应的像素点的像素值可以相同，也可以不同。
在另一种实现方式中，电子设备可以首先确定每一备用图像的灰度图，作为备用灰度图；并确定当前图像的灰度图，作为当前灰度图；基于每一待处理平面对象对应的待处理像素点在当前图像中的第一位置信息，在当前灰度图中确定出每一待处理平面对象对应的待处理像素点的位置信息，作为每一待处理平面对象对应的灰度位置信息；针对每一待处理平面对象，利用预先设置的灰度相似度算法，该待处理平面对象对应的灰度位置信息处的像素点的灰度值，从每一备用灰度图中确定该备用灰度图中是否存在与待处理平面对象相似的平面对象，若存在与待处理平面对象相似的平面对象区域，从相应的备用灰度图中确定出该与待处理平面对象相似的平面对象区域的像素点，作为该待处理平面对象对应的相似像素点，且确定该存在与待处理平面对象相似的平面对象的备用图像为该待处理平面对象对应的目标备用图像；针对每一待处理平面对象，基于该待处理平面对象对应的待处理像素点在当前图像中的第一位置信息、当前位姿信息、图像采集设备采集到的该待处理平面对象对应的目标备用图像时的位姿信息以及该目标备用图像中待处理平面对象对应的相似像素点的位置信息，预估出该待处理平面对象对应的空间平面的空间位置信息，作为预估平面的预估位置信息。
其中，预先设置的灰度相似度算法包括但不限于误差平方和算法(Sum ofSquared Differences，SSD算法)、平均误差平方和算法(Mean Square Differences，简称MSD算法)以及归一化互相关算法(Normalized Cross Correlation，简称NCC算法)。相应的，上述与待处理平面对象相似的平面对象区域为：备用图像中与该待处理平面对象对应的灰度位置信息处的像素点的灰度值之间的相似度超过预设相似度阈值的区域。
上述基于该待处理平面对象对应的待处理像素点在当前图像中的第一位置信息、当前位姿信息、图像采集设备采集到的该待处理平面对象对应的目标备用图像时的位姿信息以及该目标备用图像中待处理平面对象对应的相似像素点的位置信息，预估出该待处理平面对象对应的空间平面的空间位置信息，作为预估平面的预估位置信息的过程，可以参见相关技术中像素点的空间位置的确定方式，在此不再赘述。
获得图像采集设备采集到当前图像的前N帧图像中每一帧图像时的位姿信息，图像采集设备采集到当前图像的后M帧图像中每一帧图像时的位姿信息，并基于当前位姿信息、图像采集设备采集到当前图像的前N帧图像中每一帧图像时的位姿信息以及图像采集设备采集到当前图像的后M帧图像中每一帧图像时的位姿信息，预估出所获得的预估平面的预估位置信息。
其中，所预估出的所获得的预估平面的预估位置信息为在世界坐标系下的位置信息。在后续的流程中，可以基于当前图像对应的世界坐标系与设备坐标系之间的转换关系，确定出预估平面在设备坐标系下的位置信息。
本步骤中，电子设备确定待处理区域之后，确定该待处理区域中的每一待处理像素点，其中，该待处理像素点为表征平面对象的像素点；基于每一待处理像素点在当前图像中的第一位置信息，可以确定出每一待处理像素点所对应射线在设备坐标系下的位置信息，结合所获得的预估平面的预估位置信息，可以确定出每一待处理像素点所对应射线与预估平面的交点在设备坐标系下的位置信息，由于所获得的预估平面的预估位置信息可以为每一待处理像素点提供器在设备坐标系下的深度信息，该每一待处理像素点所对应射线与预估平面的交点在设备坐标系下的位置信息，即为每一待处理像素点在设备坐标系下的投影点的初始位置信息。后续的，基于当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息；即初步确定出每一待处理像素点在世界坐标系下的映射点的映射位置信息。
在本发明的一种实现方式中，所述S102可以包括如下步骤011-012：
011：基于每一待处理像素点在当前图像中的第一位置信息、图像采集设备对应的预设投影模型以及所获得的预估平面的预估位置信息，确定每一待处理像素点所对应射线与预估平面的交点的在设备坐标系下的交点位置信息。
012：基于交点位置信息以及当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息。
本实现方式中，电子设备可以将预估平面在世界坐标系下的预估位置信息转换至设备坐标系下，得到预估平面在设备坐标系下的预估位置信息；并基于每一待处理像素点在当前图像中的第一位置信息、图像采集设备对应的预设投影模型，确定出每一待处理像素点所对应射线在设备坐标系下的位置信息，进而，确定每一待处理像素点所对应射线与预估平面的交点及交点在设备坐标系下的交点位置信息。进而，交点位置信息以及当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息。
其中，当前图像对应的设备坐标系与世界坐标系之间的转换关系可以包括设备坐标系与车体坐标系之间的转换关系和当前图像对应的车体坐标系与世界坐标系之间的转换关系。该车体坐标系为采集得到当前图像的图像采集设备所在车辆的坐标系。当前图像对应的车体坐标系与世界坐标系之间的转换关系可以通过车辆在世界坐标系下的采集得到当前图像时的位姿信息确定。
在一种情况中，确定每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息的过程，可以采用如下公式(1)表示：
其中，pw表示待处理平面对应的待处理像素点中的第i个待处理像素点ui所对应射线与预估平面的交点在世界坐标系下的映射位置信息；表示当前图像对应的车体坐标系与世界坐标系之间的转换关系；/>表示设备坐标系与车体坐标系之间的转换关系；nc表示预估平面在设备坐标系下的预估位置信息；ui表示待处理平面对应的待处理像素点中的第i个待处理像素点；π-1()表示图像采集设备对应的预设反投影模型，为图像采集设备对应的预设投影模型的转置；γ(π-1(ui),nc)表示待处理像素点ui所对应射线与预估平面的交点在设备坐标系下的交点位置信息；A表示待处理平面对象对应的待处理像素点集合。
S103：基于每一待处理像素点的映射位置信息、图像采集设备采集到参考图像时的参考位姿信息，确定每一待处理像素点在参考图像中的投影位置信息。
其中，参考图像为包含待处理平面对象的成像点的图像。该参考图像可以为一个或多个。在该参考图像为多个的情况下，可以针对每一参考图像，基于每一待处理像素点的映射位置信息、图像采集设备采集到该参考图像时的参考位姿信息，确定每一待处理像素点在该参考图像中的投影位置信息。
本实施例中，电子设备在执行S103之前，可以执行确定参考图像的过程，具体的可以是：电子设备确定出每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息之后，可以基于当前图像，确定出该当前图像的前X帧图像和当前图像的后Y帧图像作为初始图像，并获得图像采集设备采集到的每一初始图像时的位姿信息；针对每一初始图像，基于图像采集设备采集到的该初始图像时的位姿信息、初始图像对应的设备坐标系与世界坐标系之间的转换关系以及每一待处理像素点的映射位置信息，确定出每一待处理像素点在该初始图像对应的设备坐标系下的投影点的位置信息；进而，基于预设投影模型，以及每一待处理像素点在该初始图像对应的设备坐标系下的投影点的位置信息，确定每一待处理像素点在初始图像中的投影点的位置信息，若每一待处理像素点在初始图像中的投影点的位置信息，在初始图像的成像区域内，则表征该初始图像包括待处理平面对象的成像点，确定该初始图像为当前图像对应的参考图像，并进一步确定每一待处理像素点在该参考图像中的投影点的投影位置信息；若每一待处理像素点在初始图像中的投影点的位置信息，未在初始图像的成像区域内，表征该初始图像不包括待处理平面对象的成像点，确定该初始图像不为当前图像对应的参考图像。
其中，X和Y均为正整数，X可以等于N也可以不等于N，Y可以等于M也可以不等于M。
一种情况，确定每一待处理像素点在参考图像中的投影位置信息的过程，可以通过如下公式(2)表示：
其中，utari表示待处理平面对应的待处理像素点中的第i个待处理像素点在第j个参考图像中的投影位置信息，pwi表示待处理平面对应的待处理像素点中的第i个待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息，表示第j个参考图像对应的车体坐标系与世界坐标系之间的转换关系；/>表示设备坐标系与车体坐标系之间的转换关系，与/>相同；π()表示图像采集设备对应的预设投影模型。
S104：利用每一待处理像素点的投影位置信息、每一待处理像素点的第一位置信息以及预估位置信息，确定预估平面的当前位置信息。
本步骤中，电子设备可以针对每一待处理像素点，利用该待处理像素点在参考图像中的投影点的投影位置信息，可以从参考图像对应的分割图中，确定出该待处理像素点的投影位置信息所表征位置处的像素点的像素值，作为待处理像素点的投影位置信息对应的像素值；并基于该待处理像素点的第一位置信息，从当前图像对应的分割图中，确定出该待处理像素点的第一位置信息所表征位置处的像素值，作为待处理像素点的第一位置信息对应的像素值。理论上，若所获得的预估平面的预估位置信息较准确，即符合实际位置的情况下，待处理像素点的投影位置信息对应的像素值与待处理像素点的第一位置信息对应的像素值相同，即该待处理像素点对应的第一像素值残差为0；反之，待处理像素点的投影位置信息对应的像素值与待处理像素点的第一位置信息对应的像素值存在差异，该待处理像素点对应的第一像素值残差不为0。
后续的，可以基于使得所有待处理像素点对应的第一像素值残差变小的原则，调整所获得的预估平面的预估位置信息，直至所有待处理像素点对应的第一像素值残差满足预设确定条件，例如该预设确定条件为所有待处理像素点对应的第一像素值残差为0，确定此时的预估平面的位置信息较优，确定出预估平面的当前位置信息。
其中，该当前图像对应的分割图为：基于预先训练的分割模型对当前图像进行检测处理后，所输出的分割出待处理平面对象对应的待处理像素点的图像。该参考图像对应的分割图为：基于预先训练的分割模型对参考图像进行检测处理后，所输出的分割出待处理平面对象对应的像素点的图像，该分割图中平面对象对应的待处像素点的像素值均相同，不同于其他非平面对象的像素点的像素值，在一种情况中，参考图像对应的分割图中不同平面对象对应的像素点的像素值可以相同，也可以不同。
具体的，在本发明的另一实施例中，所述S104，可以通过如下两种实现方式中的任一种实现：
第一种实现方式，可以包括如下步骤021-022：
021：利用每一待处理像素点的投影位置信息对应的像素值以及每一待处理像素点的第一位置信息对应的像素值，确定每一待处理像素点对应的第一像素值残差。
其中，每一待处理像素点的投影位置信息对应的像素值为：每一待处理像素点在参考图像对应的分割图中该投影位置信息处的像素值。每一待处理像素点的第一位置信息对应的像素值为：每一待处理像素点在当前图像对应的分割图中该第一位置信息处的像素值。
022：利用每一待处理像素点对应的第一像素值残差以及预估位置信息，确定预估平面的当前位置信息。
第二种实现方式，可以包括如下步骤023-026：
023：利用每一待处理像素点的投影位置信息对应的像素值以及预设高斯模糊操作，确定每一待处理像素点的投影位置信息对应的高斯模糊后的像素值。
024：利用每一待处理像素点的第一位置信息对应的像素值以及预设高斯模糊操作，确定每一待处理像素点的第一位置信息对应的高斯模糊后的像素值。
025：利用每一待处理像素点的投影位置信息对应的高斯模糊后的像素值以及每一待处理像素点的第一位置信息对应的高斯模糊后的像素值，确定每一待处理像素点对应的第一像素值残差。
026：利用每一待处理像素点对应的第一像素值残差以及预估位置信息，确定预估平面的当前位置信息。
本实施例中，为了保证所确定出的每一待处理像素点对应的第一像素值残差的准确性，可以首先利用每一待处理像素点的投影位置信息对应的像素值以及预设高斯模糊操作，对参考图像对应的分割图中每一待处理像素点的投影位置信息对应的位置处的像素点，进行高斯模糊处理，得到每一待处理像素点的投影位置信息对应的高斯模糊后的像素值。并利用预设高斯模糊操作以及每一待处理像素点的第一位置信息对应的像素值，对当前图像对应的分割图中每一第一位置信息对应的位置处的像素点，进行高斯模糊处理，得到每一待处理像素点的第一位置信息对应的高斯模糊后的像素值。利用每一待处理像素点的投影位置信息对应的高斯模糊后的像素值以及每一待处理像素点的第一位置信息对应的高斯模糊后的像素值，确定每一待处理像素点对应的第一像素值残差。进而，利用每一待处理像素点对应的第一像素值残差以及预估位置信息，确定预估平面的当前位置信息。
在一种情况中，确定每一待处理像素点对应的第一像素值残差的过程，可以通过如下公式(3)表示：
ei＝Ij(utari)-I0(ui)； (3)
其中，ei表示待处理平面对应的待处理像素点中的第i个待处理像素点对应的第一像素值残差，Ij(utari)表示第j个参考图像对应的分割图中第i个待处理像素点的投影位置信息对应的位置处的像素点的像素值；I0(ui)表示当前图像对应的分割图中第i个待处理像素点的像素值。
S105：基于每一待处理像素点的第一位置信息以及当前位置信息，确定待处理平面对象对应的三维位置信息。
一种实现方式中，电子设备可以直接基于每一待处理像素点的第一位置信息以及图像采集设备对应的预设投影模型，确定每一待处理像素点所对应的射线在设备坐标系下的位置信息，进而，基于预估平面的当前位置信息，确定出预估平面在设备坐标系下的位置信息，基于每一待处理像素点所对应的射线在设备坐标系下的位置信息，以及预估平面在设备坐标系下的位置信息，确定出每一待处理像素点所对应的射线与预估平面的交点在设备坐标系下的位置信息，即确定出每一待处理处像素点在预估平面的平面位置信息，进而，基于当前图像对应的设备坐标系与世界坐标系之间的转换关系，以及每一待处理像素点所对应的射线与预估平面的交点在设备坐标系下的位置信息，确定每一待处理像素点所对应的射线与预估平面的交点在世界坐标系下的位置信息，作为待处理平面对象对应的三维位置信息。
另一种实现方式，在构建待处理平面对象对应的三维位置信息，从当前图像中确定出的待处理平面对象对应的待处理像素点中，难免存在误识别的像素点，例如：将该待处理平面对象所在平面的其他像素点误识为待处理像素点，或将其他的平面对象对应的像素点或非平面对象对应的像素点，误识为该待处理平面对象对应的待处理像素点，为了避免该类误差像素点对待处理平面对象对应的三维信息的构建的影响，在构建待处理平面对象对应的三维信息时，需要将该类误差像素点从待处理平面对象对应的待处理像素点中删除。
具体的，在本发明的另一实现方式中，所述S105，可以包括如下步骤031-035：
031：基于每一待处理像素点的第一位置信息、图像采集设备对应的预设投影模型以及当前位置信息，确定每一待处理处像素点在预估平面的平面位置信息。
032：基于平面位置信息以及图像采集设备采集到参考图像时的参考位姿信息，确定所述参考图像中每一待处理像素点对应的位置信息；
033：基于每一待处理像素点对应的像素值以及参考图像中每一待处理像素点对应的位置信息处的像素点的像素值，确定每一待处理像素点对应的第二像素值残差
034：基于每一待处理像素点对应的第二像素值残差以及预设像素值残差阈值，从待处理像素点中，确定出待构建像素点。
035：基于待构建像素点在预估平面的平面位置信息，构建出待处理平面对象对应的三维位置信息。
本实现方式中，电子设备基于每一待处理像素点的第一位置信息以及图像采集设备对应的预设投影模型，确定每一待处理像素点所对应的射线在设备坐标系下的位置信息，进而，基于预估平面的当前位置信息，确定出预估平面在设备坐标系下的位置信息，基于每一待处理像素点所对应的射线在设备坐标系下的位置信息，以及预估平面在设备坐标系下的位置信息，确定出每一待处理像素点所对应的射线与预估平面的交点在设备坐标系下的位置信息，即确定出每一待处理处像素点在预估平面的平面位置信息；进而，基于平面位置信息以及图像采集设备采集到参考图像时的参考位姿信息，确定出每一待处理像素点对应的在参考图像对应的设备坐标系下的位置信息，进而，结合图像采集设备对应的预设投影模型，确定出在参考图像中每一待处理像素点对应的位置信息；基于在参考图像中每一待处理像素点对应的位置信息以及每一待处理像素点的像素值，确定每一待处理像素点对应的第二像素值残差。
其中，基于在参考图像中每一待处理像素点对应的位置信息以及每一待处理像素点的像素值，确定每一待处理像素点对应的第二像素值残差的过程为：利用在参考图像中每一待处理像素点对应的位置信息对应的像素值以及每一待处理像素点对应的像素值，确定每一待处理像素点对应的第二像素值残差；或者，利用在参考图像中每一待处理像素点对应的位置信息对应的像素值以及预设高斯模糊操作，确定在参考图像中每一待处理像素点对应的位置信息对应的高斯模糊后的像素值；利用每一待处理像素点对应的像素值以及预设高斯模糊操作，确定每一待处理像素点对应的高斯模糊后的像素值；利用在参考图像中每一待处理像素点对应的位置信息对应的高斯模糊后的像素值以及每一待处理像素点对应的高斯模糊后的像素值，确定每一待处理像素点对应的第二像素值残差。
其中，在参考图像中每一待处理像素点对应的位置信息对应的像素值为：该参考图像对应的分割图中每一待处理像素点对应的位置信息处的像素点的像素值；每一待处理像素点对应的像素值为当前图像对应的分割图中与每一待处理像素点相同位置处的像素点的像素值。该参考图像对应的分割图和当前图像对应的分割图均为基于预先训练的分割模型输出的图像。
后续的，针对每一待处理像素点，比较该待处理像素点对应的第二像素值残差与预设像素值残差阈值的大小，将所对应的第二像素值残差小于预设像素值残差阈值的待处理像素点，确定为待构建像素点。
应用本发明实施例，可以基于图像采集设备的当前位姿信息、所获得的预估平面的预估位置信息、每一待处理像素点在当前图像中的第一位置信息以及设备坐标系与世界坐标系之间的转换关系，将每一待处理像素点映射至预估平面内，得到每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息；进而，基于每一待处理像素点的映射位置信息、图像采集设备采集到参考图像时的参考位姿信息，将每一待处理像素点在投影至参考图像中，确定每一待处理像素点在参考图像中的投影位置信息，进而，利用投影位置信息、每一待处理像素点的第一位置信息以及预估位置信息，优化出预估平面的当前位置信息，进而，基于优化后的预估平面的当前位置信息以及每一待处理像素点的第一位置信息，确定出待处理平面对象对应的三维位置信息，以实现对平面对象的三维信息的构建。
平面对象拥有同在一个平面的约束，比起简单的三维重建恢复所有对象的深度，利用图像中待处理平面对象对应的成像点的观测来恢复一个平面对应的三维位置信息，平面对象拥有的自由度更少，约束更多，构建出的三维位置信息也相应更加准确和完整。后续的，利用待处理平面对象对应的三维位置信息进行车辆定位，其车辆定位结果的准确性也相应提高。
在本发明的另一实施例中，该预先训练的对象检测模型为预先训练的分割模型；
在所述S101之前，所述方法还可以包括：
训练得到预先训练的分割模型的过程，其中，如图2所示，该过程包括：
S201：获得初始的分割模型。
S202：获得用于训练初始的分割模型的样本图像以及每一样本图像对应的标定信息。
其中，每一样本图像包含表征样本平面对象的像素点，每一样本图像对应的标定信息中包括：每一样本图像中包含的表征各样本平面对象的像素点的标记信息；
S203：基于样本图像以及每一样本图像对应的标定信息中包括的表征各样本平面对象的像素点的标记信息，训练初始的分割模型，得到预先训练的分割模型。
本发明实施例中，该预先训练的分割模型可以基于深度学习的网络模型。在训练得到预先训练的分割模型的过程中，电子设备可以首先获得初始的分割模型，并获得用于训练初始的分割模型的样本图像及其对应的标定信息，样本图像中包括各类型的平面对象，作为样本平面对象，样本图像对应的标定信息包括：该样本图像包括的表征各样本平面对象的像素点的标记信息，例如：样本图像中包括样本平面对象1和样本平面对象2，该样本图像对应的标定信息包括：该样本图像包括的表征样本平面对象1的像素点的标记信息1和表征样本平面对象2的像素点的标记信息2。
其中，同一样本图像中表征同一样本平面对象的像素点的标记信息相同，且表征不同样本平面对象的像素点的标记信息可以相同也可以不同。不同样本图像中表征相同或不同的样本平面对象的像素点的标记信息可以相同也可以不同。其中，该标记信息可以为数字或字母等。
一种情况中，样本图像对应的标定信息还可以包括样本图像中包含的非样本平面对应的像素点的标记信息，该样本图像中包含的非样本平面对象的像素点的标记信息，不同于该样本图像中包含的样本平面对象的像素点的标记信息。其中，样本图像中包含的非样本平面对象的像素点的标记信息可以相同，也可以不同。
后续的，电子设备可以利用样本图像以及每一样本图像对应的标定信息中包括的表征各样本平面对象的像素点的标记信息，训练初始的分割模型，得到预先训练的分割模型。具体的，可以是：初始的分割模型包括特征提取层和特征回归层；电子设备将样本图像输入特征提取层，得到样本图像对应的图像特征；将样本图像对应的图像特征输入特征回归层，得到样本图像中各像素点的当前标记信息；基于预先设置的损失函数，样本图像中各像素点的当前标记信息以及该样本图像中包含的样本平面对象的像素点的标记信息，确定当前损失值；判断当前损失值是否小于预设损失值，若判断当前损失值小于预设损失值，则确定分割模型收敛，得到预先训练的分割模型；若判断当前损失值不小于预设损失值，则调整分割模型的特征提取层和特征回归层网络参数；返回将样本图像输入特征提取层，得到样本图像对应的图像特征；直至判断当前损失值小于预设损失值，则确定分割模型收敛，得到预先训练的分割模型。
相应的，本发明实施例中，将当前图像输入预先训练的分割模型，预先训练的分割模型对当前图像进行检测，确定当前图像中各像素点的标记信息，进而，可以当前图像中各像素点的标记信息，确定当前图像中是否包括待处理平面对象，以及在确定包括待处理平面对象之后，确定待处理平面对象对应的待处理像素点。一种情况中，预先训练的分割模型可以输出该包括当前图像中各像素点的标记信息的图像，该包括当前图像中各像素点的标记信息的图像为当前图像对应的分割图。相应的，将参考图像输入预先训练的分割模型，预先训练的分割模型可以输出该包括参考图像中各像素点的标记信息的图像，该包括参考图像中各像素点的标记信息的图像为参考图像对应的分割图。将目标观测图像输入预先训练的分割模型，预先训练的分割模型可以输出该包括目标观测图像中各像素点的标记信息的图像，该包括目标观测图像中各像素点的标记信息的图像为目标观测图像对应的分割图。
在本发明的另一实施例中，所述方法还可以包括如下步骤041-042：
041：利用预先训练的语义特征检测模型，对当前图像进行语义特征识别，确定当前图像中待处理平面对象对应的语义特征。
042：对应待处理平面对象对应的三维位置信息，存储待处理平面对象对应的语义特征。
该预先训练的语义特征检测模型为预先以及标注有第一平面对象的语义信息的图像训练所得基于深度学习算法的网络模型，其中，该预先训练的语义特征检测模型的训练过程可以参见相关技术中基于深度学习算法的网络模型的训练过程，在此不再赘述。
电子设备可以预先获得预先训练的语义特征检测模型，并将当前图像输入预先训练的语义特征检测模型，使得预先训练的语义特征检测模型对当前图像进行检测，输出当前图像中待处理平面对象对应的语义特征。其中，待处理平面对象对应的语义特征可以包括待处理平面对象的尺寸、内容以及位置等特征。
电子设备可以对应待处理平面对象对应的三维位置信息，存储待处理平面对象对应的语义特征。后续的，可以将待处理平面对象对应的三维位置信息以及语义特征加入智能驾驶车辆的导航系统中，导航系统中的POI(point of interest，兴趣点)，以使得智能驾驶车辆可以基于该待处理平面对象对应的三维位置信息以及语义特征，进行避障等。另一种情况，也可以将待处理平面对象对应的三维位置信息以及语义特征，作为智能驾驶车辆的定位初始化的重要信息，用于作为定位初始化的定位位置。
在本发明的另一实施例中，所述方法还可以包括如下步骤051-0553：
051：在确定需要对待定位车辆进行车辆定位之后，利用待定位车辆的初始位姿信息，从目标地图的地图元素中，确定初始位姿信息对应的备用地图元素。
其中，备用地图元素包括：待处理平面对象对应的三维位置信息；
052：基于待处理平面对象对应的三维位置信息以及初始位姿信息，确定待处理平面对象在目标观测图像对应的分割图中的第三位置信息。
其中，目标观测图像为待定位车辆处于初始位姿信息时，其图像采集设备采集的图像；目标观测图像对应的分割图为：基于预先训练的对象检测模型以及目标观测图像确定出的图像；
053：利用所述待处理平面对象在目标观测图像对应的分割图中的第三位置信息处的像素值、目标观测图像对应的分割图中待处理平面对象对应的像素点的像素值以及初始位姿信息，确定待定位车辆的当前位姿信息。
本实施例中，电子设备在确定出待处理平面对象对应的三维位置信息之后，将待处理平面对象对应的三维位置信息添加入目标地图中，作为目标地图的地图元素之一，以在后续的通过该目标地图对待定位车辆进行车辆定位的过程中，提高车辆定位结果的准确性。其中，目标地图为待定位车辆行驶场景对应的地图，该待定位车辆行驶场景中包括待处理平面对象。
具体的，电子设备在确定需要对待定位车辆进行车辆定位之后，获得待定位车辆的目标图像采集设备在目标时刻采集的目标观测图像以及在目标时刻待定位车辆的初始位姿信息；电子设备从目标地图的地图元素中，确定初始位姿信息对应的包括待处理平面对象对应的三维位置信息的备用地图元素。基于待处理平面对象对应的三维位置信息以及初始位姿信息，确定待处理平面对象在目标观测图像对应的目标图像采集设备的设备坐标系下的空间位置信息，进而，基于待处理平面对象的空间位置信息以及目标图像采集设备对应的投影模型，确定待处理平面对象在目标观测图像对应的分割图中的第三位置信息，即在目标观测图像中的位置信息。
进而，电子设备利用待处理平面对象在目标观测图像对应的分割图中的第三位置信息处的像素值，目标观测图像对应的分割图中待处理平面对象对应的像素点的像素值，计算目标观测图像中待处理平面对象对应的每一像素点对应的第三像素值残差；基于目标观测图像中待处理平面对象对应的每一像素点对应的第三像素值残差以及初始位姿信息，确定待定位车辆的当前位姿信息。
其中，目标观测图像对应的分割图为：基于预先训练的分割模型对目标观测图像进行检测分割处理后输出的图像。
上述基于目标观测图像中待处理平面对象对应的每一像素点对应的第三像素值残差以及初始位姿信息，确定待定位车辆的当前位姿信息的过程，可以是：基于使得目标观测图像中待处理平面对象对应的每一像素点对应的第三像素值残差变小的原则，调整待定位车辆的初始位姿信息，使得目标观测图像中待处理平面对象对应的每一像素点对应的第三像素值残差满足预设残差条件之后，得到此时对应的待定位车辆的位姿信息，作为当前位姿信息。该预设残差条件可以为：目标观测图像中待处理平面对象对应的每一像素点对应的第三像素值残差为0。
相应于上述方法实施例，本发明实施例提供了一种平面对象的三维信息的构建装置，如图3所示，可以包括：
第一确定模块310，被配置为利用预先训练的对象检测模型以及所获得的当前图像，确定所述当前图像中待处理平面对象对应的待处理像素点；
第二确定模块320，被配置为基于每一待处理像素点在所述当前图像中的第一位置信息、所获得的预估平面的预估位置信息、图像采集设备采集到所述当前图像时的当前位姿信息以及设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息，其中，所述设备坐标系为所述图像采集设备对应的坐标系；
第三确定模块330，被配置为基于每一待处理像素点的映射位置信息、所述图像采集设备采集到参考图像时的参考位姿信息，确定每一待处理像素点在所述参考图像中的投影位置信息，其中，所述参考图像为包含所述待处理平面对象对应的成像点的图像；
第四确定模块340，被配置为利用每一待处理像素点的所述投影位置信息、每一待处理像素点的第一位置信息以及所述预估位置信息，确定所述预估平面的当前位置信息；
第五确定模块350，被配置为基于每一待处理像素点的第一位置信息以及所述当前位置信息，确定所述待处理平面对象对应的三维位置信息。
应用本发明实施例，可以基于图像采集设备的当前位姿信息、所获得的预估平面的预估位置信息、每一待处理像素点在当前图像中的第一位置信息以及设备坐标系与世界坐标系之间的转换关系，将每一待处理像素点映射至预估平面内，得到每一待处理像素点所对应射线与预估平面的交点在世界坐标系下的映射位置信息；进而，基于每一待处理像素点的映射位置信息、图像采集设备采集到参考图像时的参考位姿信息，将每一待处理像素点在投影至参考图像中，确定每一待处理像素点在参考图像中的投影位置信息，进而，利用投影位置信息、每一待处理像素点的第一位置信息以及预估位置信息，优化出预估平面的当前位置信息，进而，基于优化后的预估平面的当前位置信息以及每一待处理像素点的第一位置信息，确定出待处理平面对象对应的三维位置信息，以实现对平面对象的三维信息的构建。
在本发明的另一实施例中，所述待处理平面对象包括：处于目标平面上的文字和/或图案，所述目标平面包括平面交通标识牌、平面广告牌、墙面以及地面中的至少一个。
在本发明的另一实施例中，所述所获得的预估平面的预估位置信息为：基于所述当前位姿信息、所述图像采集设备采集到所述当前图像的前N帧图像中每一帧图像时的位姿信息以及所述图像采集设备采集到所述当前图像的后M帧图像中每一帧图像时的位姿信息，预估出的位置信息。
在本发明的另一实施例中，所述第二确定模块320，被具体配置为基于每一待处理像素点在所述当前图像中的第一位置信息、图像采集设备对应的预设投影模型以及所获得的预估平面的预估位置信息，确定每一待处理像素点所对应射线与所述预估平面的交点的在设备坐标系下的交点位置信息；
基于所述交点位置信息以及所述当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息。
在本发明的另一实施例中，所述第四确定模块340，被具体配置为利用每一待处理像素点的所述投影位置信息对应的像素值以及每一待处理像素点的第一位置信息对应的像素值，确定每一待处理像素点对应的第一像素值残差；
利用每一待处理像素点对应的第一像素值残差以及所述预估位置信息，确定所述预估平面的当前位置信息；
或，所述第四确定模块340，被具体配置为利用每一待处理像素点的所述投影位置信息对应的像素值以及预设高斯模糊操作，确定每一待处理像素点的所述投影位置信息对应的高斯模糊后的像素值；
利用每一待处理像素点的第一位置信息对应的像素值以及所述预设高斯模糊操作，确定每一待处理像素点的第一位置信息对应的高斯模糊后的像素值；
利用每一待处理像素点的所述投影位置信息对应的高斯模糊后的像素值以及每一待处理像素点的第一位置信息对应的高斯模糊后的像素值，确定每一待处理像素点对应的第一像素值残差；
利用每一待处理像素点对应的第一像素值残差以及所述预估位置信息，确定所述预估平面的当前位置信息。
在本发明的另一实施例中，所述第五确定模块350，被具体配置为基于每一待处理像素点的第一位置信息、所述图像采集设备对应的预设投影模型以及所述当前位置信息，确定每一待处理处像素点在所述预估平面的平面位置信息；
基于所述平面位置信息以及所述图像采集设备采集到参考图像时的参考位姿信息，确定所述参考图像中每一待处理像素点对应的位置信息；
基于每一待处理像素点对应的像素值以及所述参考图像中每一待处理像素点对应的位置信息处的像素点的像素值，确定每一待处理像素点对应的第二像素值残差；
基于每一待处理像素点对应的第二像素值残差以及预设像素值残差阈值，从所述待处理像素点中，确定出待构建像素点；
基于所述待构建像素点在所述预估平面的平面位置信息，构建出所述待处理平面对象对应的三维位置信息。
可选的，所述预先训练的对象检测模型为预先训练的分割模型；
所述装置还包括：
训练模块(图中未示出)，被配置为在所述利用预先训练的对象检测模型以及所获得的当前图像，确定所述当前图像中待处理平面对象对应的待处理像素点之前，训练得到所述预先训练的分割模型，其中，所述训练模块，被具体配置为获得初始的分割模型；
获得用于训练所述初始的分割模型的样本图像以及每一样本图像对应的标定信息，其中，每一样本图像包含表征样本平面对象的像素点，每一样本图像对应的标定信息中包括：每一样本图像中包含的表征各样本平面对象的像素点的标记信息；
基于所述样本图像以及每一样本图像对应的标定信息中包括的表征各样本平面对象的像素点的标记信息，训练所述初始的分割模型，得到所述预先训练的分割模型。
可选的，所述装置还包括：
检测确定模块(图中未示出)，被配置为利用预先训练的语义特征检测模型，对所述当前图像进行语义特征检测，确定所述当前图像中待处理平面对象对应的语义特征；
存储模块(图中未示出)，被配置为对应所述待处理平面对象对应的三维位置信息，存储所述待处理平面对象对应的语义特征。
可选的，所述装置还包括：
第六确定模块(图中未示出)，被配置为在确定需要对待定位车辆进行车辆定位之后，利用所述待定位车辆的初始位姿信息，从目标地图的地图元素中，确定所述初始位姿信息对应的备用地图元素，其中，所述备用地图元素包括：所述待处理平面对象对应的三维位置信息；
第七确定模块(图中未示出)，被配置为基于所述待处理平面对象对应的三维位置信息以及所述初始位姿信息，确定所述待处理平面对象在目标观测图像对应的分割图中的第三位置信息，其中，所述目标观测图像为所述待定位车辆处于所述初始位姿信息时，其图像采集设备采集的图像；所述目标观测图像对应的分割图为：基于所述预先训练的对象检测模型以及所述目标观测图像确定出的图像；
第八确定模块(图中未示出)，被配置为利用所述待处理平面对象在第一分割图中对应的第三位置信息处的像素值、检测出的所述第一分割图中待处理平面对象对应的像素点的像素值以及所述初始位姿信息，确定待定位车辆的当前位姿信息。
上述装置、系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种平面对象的三维信息的构建方法，其特征在于，包括：
利用预先训练的对象检测模型以及所获得的当前图像，确定所述当前图像中待处理平面对象对应的待处理像素点；
基于每一待处理像素点在所述当前图像中的第一位置信息、所获得的预估平面的预估位置信息、图像采集设备采集到所述当前图像时的当前位姿信息以及所述当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息，其中，所述设备坐标系为所述图像采集设备对应的坐标系；
基于每一待处理像素点的映射位置信息、所述图像采集设备采集到参考图像时的参考位姿信息，确定每一待处理像素点在所述参考图像中的投影位置信息，其中，所述参考图像为包含所述待处理平面对象的成像点的图像；
利用每一待处理像素点的所述投影位置信息、每一待处理像素点的第一位置信息以及所述预估位置信息，确定所述预估平面的当前位置信息；
基于每一待处理像素点的第一位置信息以及所述当前位置信息，确定所述待处理平面对象对应的三维位置信息。
2.如权利要求1所述的方法，其特征在于，所述待处理平面对象包括：处于目标平面上的文字和/或图案，所述目标平面包括平面交通标识牌、平面广告牌、墙面以及地面中的至少一个。
3.如权利要求1所述的方法，其特征在于，所获得的预估平面的预估位置信息为：基于所述当前位姿信息、所述图像采集设备采集到所述当前图像的前N帧图像中每一帧图像时的位姿信息以及所述图像采集设备采集到所述当前图像的后M帧图像中每一帧图像时的位姿信息，预估出的位置信息。
4.如权利要求1所述的方法，其特征在于，所述基于每一待处理像素点在所述当前图像中的第一位置信息、所获得的预估平面的预估位置信息、图像采集设备采集到所述当前图像时的当前位姿信息以及所述当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息的步骤，包括：
基于每一待处理像素点在所述当前图像中的第一位置信息、图像采集设备对应的预设投影模型以及所获得的预估平面的预估位置信息，确定每一待处理像素点所对应射线与所述预估平面的交点的在设备坐标系下的交点位置信息；
基于所述交点位置信息以及所述当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息。
5.如权利要求1-4任一项所述的方法，其特征在于，所述利用每一待处理像素点的所述投影位置信息、每一待处理像素点的第一位置信息以及所述预估位置信息，确定所述预估平面的当前位置信息的步骤，通过如下两种实现方式中的任一种实现：
第一种实现方式：
利用每一待处理像素点的所述投影位置信息对应的像素值以及每一待处理像素点的第一位置信息对应的像素值，确定每一待处理像素点对应的第一像素值残差；
利用每一待处理像素点对应的第一像素值残差以及所述预估位置信息，确定所述预估平面的当前位置信息；
第二种实现方式：
利用每一待处理像素点的所述投影位置信息对应的像素值以及预设高斯模糊操作，确定每一待处理像素点的所述投影位置信息对应的高斯模糊后的像素值；
利用每一待处理像素点的第一位置信息对应的像素值以及所述预设高斯模糊操作，确定每一待处理像素点的第一位置信息对应的高斯模糊后的像素值；
利用每一待处理像素点的所述投影位置信息对应的高斯模糊后的像素值以及每一待处理像素点的第一位置信息对应的高斯模糊后的像素值，确定每一待处理像素点对应的第一像素值残差；
利用每一待处理像素点对应的第一像素值残差以及所述预估位置信息，确定所述预估平面的当前位置信息。
6.如权利要求1-5任一项所述的方法，其特征在于，所述基于每一待处理像素点的第一位置信息以及所述当前位置信息，确定所述待处理平面对象对应的三维位置信息的步骤，包括：
基于每一待处理像素点的第一位置信息、所述图像采集设备对应的预设投影模型以及所述当前位置信息，确定每一待处理处像素点在所述预估平面的平面位置信息；
基于所述平面位置信息以及所述图像采集设备采集到参考图像时的参考位姿信息，确定所述参考图像中每一待处理像素点对应的位置信息；
基于每一待处理像素点对应的像素值以及所述参考图像中每一待处理像素点对应的位置信息处的像素点的像素值，确定每一待处理像素点对应的第二像素值残差；
基于每一待处理像素点对应的第二像素值残差以及预设像素值残差阈值，从所述待处理像素点中，确定出待构建像素点；
基于所述待构建像素点在所述预估平面的平面位置信息，构建出所述待处理平面对象对应的三维位置信息。
7.如权利要求1-5任一项所述的方法，其特征在于，所述预先训练的对象检测模型为预先训练的分割模型；
在所述利用预先训练的对象检测模型以及所获得的当前图像，确定所述当前图像中待处理平面对象对应的待处理像素点的步骤之前，所述方法还包括：
训练得到所述预先训练的分割模型的过程，其中，所述过程包括：
获得初始的分割模型；
获得用于训练所述初始的分割模型的样本图像以及每一样本图像对应的标定信息，其中，每一样本图像包含表征样本平面对象的像素点，每一样本图像对应的标定信息中包括：每一样本图像中包含的表征各样本平面对象的像素点的标记信息；
基于所述样本图像以及每一样本图像对应的标定信息中包括的表征各样本平面对象的像素点的标记信息，训练所述初始的分割模型，得到所述预先训练的分割模型。
8.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
利用预先训练的语义特征检测模型，对所述当前图像进行语义特征检测，确定所述当前图像中待处理平面对象对应的语义特征；
对应所述待处理平面对象对应的三维位置信息，存储所述待处理平面对象对应的语义特征。
9.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
在确定需要对待定位车辆进行车辆定位之后，利用所述待定位车辆的初始位姿信息，从目标地图的地图元素中，确定所述初始位姿信息对应的备用地图元素，其中，所述备用地图元素包括：所述待处理平面对象对应的三维位置信息；
基于所述待处理平面对象对应的三维位置信息以及所述初始位姿信息，确定所述待处理平面对象在第一分割图中对应的第三位置信息，其中，目标观测图像为所述待定位车辆处于所述初始位姿信息时，其图像采集设备采集的图像；所述第一分割图为：基于所述预先训练的对象检测模型以及所述目标观测图像确定出的图像；
利用所述待处理平面对象在第一分割图中对应的第三位置信息处的像素值、检测出的所述第一分割图中待处理平面对象对应的像素点的像素值以及所述初始位姿信息，确定待定位车辆的当前位姿信息。
10.一种平面对象的三维信息的构建装置，其特征在于，包括：
第一确定模块，被配置为利用预先训练的对象检测模型以及所获得的当前图像，确定所述当前图像中待处理平面对象对应的待处理像素点；
第二确定模块，被配置为基于每一待处理像素点在所述当前图像中的第一位置信息、所获得的预估平面的预估位置信息、图像采集设备采集到所述当前图像时的当前位姿信息以及所述当前图像对应的设备坐标系与世界坐标系之间的转换关系，确定每一待处理像素点所对应射线与所述预估平面的交点在所述世界坐标系下的映射位置信息，其中，所述设备坐标系为所述图像采集设备对应的坐标系；
第三确定模块，被配置为基于每一待处理像素点的映射位置信息、所述图像采集设备采集到参考图像时的参考位姿信息，确定每一待处理像素点在所述参考图像中的投影位置信息，其中，所述参考图像为包含所述待处理平面对象对应的成像点的图像；
第四确定模块，被配置为利用每一待处理像素点的所述投影位置信息、每一待处理像素点的第一位置信息以及所述预估位置信息，确定所述预估平面的当前位置信息；
第五确定模块，被配置为基于每一待处理像素点的第一位置信息以及所述当前位置信息，确定所述待处理平面对象对应的三维位置信息。
CN201911164573.7A 2019-11-25 2019-11-25 一种平面对象的三维信息的构建方法及装置 Active CN112837404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911164573.7A CN112837404B (zh) 2019-11-25 2019-11-25 一种平面对象的三维信息的构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911164573.7A CN112837404B (zh) 2019-11-25 2019-11-25 一种平面对象的三维信息的构建方法及装置

Publications (2)

Publication Number Publication Date
CN112837404A CN112837404A (zh) 2021-05-25
CN112837404B true CN112837404B (zh) 2024-01-19

Family

ID=75922837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911164573.7A Active CN112837404B (zh) 2019-11-25 2019-11-25 一种平面对象的三维信息的构建方法及装置

Country Status (1)

Country Link
CN (1) CN112837404B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706633B (zh) * 2021-09-02 2023-08-29 广州小鹏自动驾驶科技有限公司 一种目标对象的三维信息确定方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578133A (zh) * 2012-08-03 2014-02-12 浙江大华技术股份有限公司 一种将二维图像信息进行三维重建的方法和设备
JP2015132544A (ja) * 2014-01-14 2015-07-23 日本ユニシス株式会社 画像処理装置および３次元空間情報取得方法
CN109147027A (zh) * 2018-08-31 2019-01-04 金钱猫科技股份有限公司 基于参考平面的单目图像三维重建方法、系统及装置
CN110033489A (zh) * 2018-01-12 2019-07-19 华为技术有限公司 一种车辆定位准确性的评估方法、装置及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578133A (zh) * 2012-08-03 2014-02-12 浙江大华技术股份有限公司 一种将二维图像信息进行三维重建的方法和设备
JP2015132544A (ja) * 2014-01-14 2015-07-23 日本ユニシス株式会社 画像処理装置および３次元空間情報取得方法
CN110033489A (zh) * 2018-01-12 2019-07-19 华为技术有限公司 一种车辆定位准确性的评估方法、装置及设备
CN109147027A (zh) * 2018-08-31 2019-01-04 金钱猫科技股份有限公司 基于参考平面的单目图像三维重建方法、系统及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种改进的未知环境无人机三维地图实时创建方法;黄金鑫;赵勇;;机械与电子(第01期);全文 *

Also Published As

Publication number Publication date
CN112837404A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
US11967109B2 (en) Vehicle localization using cameras
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
CN111830953B (zh) 车辆自定位方法、装置及系统
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN107016705A (zh) 计算机视觉系统中的地平面估计
US9928426B1 (en) Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN111310746B (zh) 文本行检测方法、模型训练方法、装置、服务器及介质
CN114692720B (zh) 基于鸟瞰图的图像分类方法、装置、设备及存储介质
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
CN115496923B (zh) 一种基于不确定性感知的多模态融合目标检测方法及装置
CN109271959A (zh) 一种车辆偏移预警方法及装置
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
KR102133876B1 (ko) 객체 검출 장치 및 방법
CN112837404B (zh) 一种平面对象的三维信息的构建方法及装置
KR20190134303A (ko) 영상 인식 장치 및 그 방법
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN111862146A (zh) 一种目标对象的定位方法及装置
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
CN112528918A (zh) 道路元素识别方法、地图标注方法及装置、车辆
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
Rasyidy et al. A Framework for Road Boundary Detection based on Camera-LIDAR Fusion in World Coordinate System and Its Performance Evaluation Using Carla Simulator
CN115661577B (zh) 用于对象检测的方法、设备和计算机可读存储介质
KR20230086921A (ko) 라이다 데이터 및 컬러 정보 매핑 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant