CN113506375A - 一种根据地图数据增加场景二维图像深度信息的处理方法 - Google Patents

一种根据地图数据增加场景二维图像深度信息的处理方法 Download PDF

Info

Publication number
CN113506375A
CN113506375A CN202110839322.5A CN202110839322A CN113506375A CN 113506375 A CN113506375 A CN 113506375A CN 202110839322 A CN202110839322 A CN 202110839322A CN 113506375 A CN113506375 A CN 113506375A
Authority
CN
China
Prior art keywords
data
image data
point cloud
scene
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110839322.5A
Other languages
English (en)
Inventor
张雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qingzhou Zhihang Technology Co ltd
Original Assignee
Beijing Qingzhou Zhihang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qingzhou Zhihang Technology Co ltd filed Critical Beijing Qingzhou Zhihang Technology Co ltd
Priority to CN202110839322.5A priority Critical patent/CN113506375A/zh
Publication of CN113506375A publication Critical patent/CN113506375A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例涉及一种根据地图数据增加场景二维图像深度信息的处理方法，所述方法包括：获取第一场景二维图像数据；获取第一高清三维地图数据；对第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合；对第一点云数据集合向第一摄像头拍摄平面做投影，生成带有深度信息的第一点云投影图像数据；对第一点云投影图像数据与第一场景二维图像数据进行数据融合，生成带有深度信息的第二场景二维图像数据；对第二场景二维图像数据进深度信息补齐处理。通过本发明方法，无需另行加装测距辅助雷达就能完成向二维图像增加深度信息的任务，降低了车辆成本，提高了数据处理能力。

Description

一种根据地图数据增加场景二维图像深度信息的处理方法
技术领域
本发明涉及数据处理技术领域，特别涉及一种根据地图数据增加场景二维图像深度信息的处理方法。
背景技术
环境感知模块是车辆无人驾驶系统的重要组成部分，其主要功能就是对自车周围的场景及障碍物信息进行数据采集与目标语义识别，并将带有目标识别语义信息的二维、三维图像提供给下游制定行驶路径的决策模块进行路径运算。环境感知模块与多种环境感知传感器连接，摄像头就是常见的环境感知传感器之一。基于摄像头拍摄的二维图像进行目标识别，计算量可控，识别效率高。但摄像头拍摄的二维图像缺乏深度信息，无法直接引用进行三维场景建模。为解决这个问题，常规情况下还需在车辆上增加测距雷达予以辅助，将测距雷达测量产生的点云数据的深度信息与二维图像进行融合。然而高精度的测距雷达，例如激光雷达，价格都不低，这无疑增加了车辆的制造成本。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种根据地图数据增加场景二维图像深度信息的处理方法、电子设备及计算机可读存储介质，引入高精度的三维地图数据进行点云数据模拟，并将模拟的点云数据向摄像头平面投影得到带有深度信息的点云投影图像，再将点云投影图像与摄像头拍摄的场景二维图像进行融合，从而得到带有深度信息的场景二维图像。通过本发明方法，无需另行加装测距辅助雷达就能完成向二维图像增加深度信息的任务，降低了车辆成本，提高了数据处理能力。
为实现上述目的，本发明实施例第一方面提供了一种根据地图数据增加场景二维图像深度信息的处理方法，所述方法包括：
获取第一摄像头拍摄生成的第一场景二维图像数据；
获取与第一摄像头拍摄平面对齐的第一高清三维地图数据；
对所述第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合；
对所述第一点云数据集合向所述第一摄像头拍摄平面做投影，生成带有深度信息的第一点云投影图像数据；所述第一点云投影图像数据与所述第一场景二维图像数据的分辨率一致；
对所述第一点云投影图像数据与所述第一场景二维图像数据进行数据融合，生成带有深度信息的第二场景二维图像数据；
对所述第二场景二维图像数据进深度信息补齐处理。
优选的，所述第一场景二维图像数据的形状为M1×N1，M1为图像最大列数，N1为图像最大行数；所述第一场景二维图像数据包括M1×N1个第一像素点；所述第一像素点包括第一像素点坐标和第一像素点通道数组；所述第一像素点通道数组包括C1个第一像素点通道信息，C1为通道数；
所述第一高清三维地图数据包括多个第一三维地图点数据；
所述第一点云数据集合包括多个第一点云数据；所述第一点云数据包括第一深度信息；
所述第一点云投影图像数据的形状为M2×N2，M2为图像最大列数且M2＝M1，N2为图像最大行数且N2＝N1；所述第一点云投影图像数据包括M2×N2个第二像素点；所述第二像素点包括第二像素点坐标和第二像素点通道数组；所述第二像素点通道数组包括第二深度信息；
所述第二场景二维图像数据的形状为M3×N3，M3为图像最大列数且M3＝M2＝M1，N3为图像最大行数且N3＝N2＝N1；所述第二场景二维图像数据包括M3×N3个第三像素点；所述第三像素点包括第三像素点坐标和第三像素点通道数组；所述第三像素点通道数组包括C1个所述第一像素点通道信息和1个所述第二深度信息。
优选的，所述对所述第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合，具体包括：
对所述第一高清三维地图数据做地面平面投影处理，生成第一地面投影图像数据；
按预设平面采样精度对所述第一地面投影图像数据进行采样，生成多个第一二维采样点数据；
将所述第一高清三维地图数据中，地面平面坐标与所述第一二维采样点数据匹配的第一三维地图点数据，作为对应的第一三维采样点数据；
按所述第一三维采样点数据的三维坐标系与点云三维坐标系的对应关系，对所述第一三维采样点数据进行点云数据转换处理，生成对应的第一点云数据；
由得到的多个所述第一点云数据组成所述第一点云数据集合。
优选的，所述对所述第一点云数据集合向所述第一摄像头拍摄平面做投影，生成带有深度信息的第一点云投影图像数据，具体包括：
按所述第一场景二维图像数据的形状构建所述第一点云投影图像数据，并将所述第一点云投影图像数据的所述第二深度信息初始化为预设深度值；所述第一点云投影图像数据的所述第二像素点的所述第二像素点坐标，与所述第一场景二维图像数据对应的所述第一像素点的所述第一像素点坐标匹配；
按点云坐标系与图像坐标系的对应关系，做所述第一点云数据集合到所述第一点云投影图像数据的投影，并建立所述第一点云数据与所述第二像素点的对应关系；
按所述对应关系使用所述第一点云数据的所述第一深度信息修改对应的所述第二像素点的所述第二像素点通道数组的所述第二深度信息。
优选的，所述对所述第一点云投影图像数据与所述第一场景二维图像数据进行数据融合，生成带有深度信息的第二场景二维图像数据，具体包括：
对所述第一点云投影图像数据与所述第一场景二维图像数据进行通道数组融合处理，生成所述第二场景二维图像数据；所述第二场景二维图像数据的所述第三像素点的所述第三像素点坐标，与所述第一点云投影图像数据对应的所述第二像素点的所述第二像素点坐标匹配，与所述第一场景二维图像数据对应的所述第一像素点的所述第一像素点坐标匹配；所述第二场景二维图像数据的所述第三像素点的所述第三像素点通道数组，由所述第一场景二维图像数据对应的所述第一像素点的所述第一像素点通道数组，和所述第一点云投影图像数据对应的所述第二像素点的所述第二像素点通道数组构成。
本发明实施例第二方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种根据地图数据增加场景二维图像深度信息的处理方法、电子设备及计算机可读存储介质，引入高精度的三维地图数据进行点云数据模拟，并将模拟的点云数据向摄像头平面投影得到带有深度信息的点云投影图像，再将点云投影图像与摄像头拍摄的场景二维图像进行融合，从而得到带有深度信息的场景二维图像。通过本发明方法，无需另行加装测距辅助雷达就能完成向二维图像增加深度信息的任务，降低了车辆成本，提高了数据处理能力。
附图说明
图1为本发明实施例一提供的一种根据地图数据增加场景二维图像深度信息的处理方法示意图；
图2为本发明实施例二提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例一提供一种根据地图数据增加场景二维图像深度信息的处理方法，如图1为本发明实施例一提供的一种根据地图数据增加场景二维图像深度信息的处理方法示意图所示，本方法主要包括如下步骤：
步骤1，获取第一摄像头拍摄生成的第一场景二维图像数据；
其中，第一场景二维图像数据的形状为M1×N1，M1为图像最大列数，N1为图像最大行数；第一场景二维图像数据包括M1×N1个第一像素点；第一像素点包括第一像素点坐标和第一像素点通道数组；第一像素点通道数组包括C1个第一像素点通道信息，C1为通道数。
这里，无人驾驶系统的环境感知模块从自车安装的第一摄像头处获得其拍摄的场景图片也就是第一场景二维图像数据；此处提及的无人驾驶系统为装有第一摄像头的当前车辆的无人驾驶操作系统，该系统至少包括环境处理模块、定位处理模块、地图处理模块和路径决策模块；环境处理模块与当前车辆的第一摄像头连接，用于处理第一摄像头的拍摄数据；环境处理模块还与定位处理模块连接，用于获取自车的定位信息；环境处理模块还与地图处理模块连接，用于调取地图处理模块的高清地图数据；环境处理模块还与路径决策模块连接用于向路径决策模块输入带有目标语义分析信息的输入数据；
第一场景二维图像数据的分辨率为M1×N1；若第一场景二维图像数据为黑白照片，那么通道数C1最小为1，这时第一像素点通道数组的第一像素点通道信息即为对应像素点的灰度信息；若第一场景二维图像数据为彩色照片，那么通道数C1最小为3，这时第一像素点通道数组的第一像素点通道信息即为对应像素点的RGB颜色信息；第一场景二维图像数据的第一像素点通道数组中除了上述灰度信息和RGB信息之外还可包括其他诸如亮度、色温等与视觉图像相关的信息。
步骤2，获取与第一摄像头拍摄平面对齐的第一高清三维地图数据；
其中，第一高清三维地图数据包括多个第一三维地图点数据。
这里，环境感知模块从定位处理模块处获取当前车辆的位置信息也就是自车定位信息，并将自车定位信息到地图处理模块获取对应的高清三维地图数据也就是第一高清三维地图数据；这里的第一高清三维地图数据的左侧平面应与第一场景二维图像数据呈现的拍摄平面也即是第一摄像头拍摄平面对应；从自车前视角度看，第一高清三维地图数据的视觉宽度至少应与第一场景二维图像数据的视觉宽度对齐。
步骤3，对第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合；
其中，第一点云数据集合包括多个第一点云数据；第一点云数据包括第一深度信息；
具体包括：步骤31，对第一高清三维地图数据做地面平面投影处理，生成第一地面投影图像数据；
这里，在对第一高清三维地图数据做地面平面投影处理之前若第一高清三维地图数据的坐标系不是世界三维坐标系，则应将其转换为世界三维坐标系也就是常规的xyz三维空间；在对第一高清三维地图数据做地面平面投影处理时，默认将xy平面作为地面平面，以x维度上的最大、最小值的差△x为长度，y维上最大、最小值的差△y为宽度，在xy平面上做△x*△y大小的长方形作为投影面，该长方形的左侧边与第一摄像头拍摄平面的底边重合；然后按预设的网格边长，将投影面划分成若干个单位网格，再根据第一高清三维地图数据中第一三维地图点数据的x、y维坐标，在该投影面的做对应的投影点标记；完成所有投影点标记的投影面构成的二维图像也就是第一地面投影图像数据；
步骤32，按预设平面采样精度对第一地面投影图像数据进行采样，生成多个第一二维采样点数据；
这里，因为高清地图的精度很高，大多能到厘米级，也就是说第一地面投影图像数据上的投影点密度太大会导致后续计算量倍增，本发明实施例为降低计算量需要对第一地面投影图像数据进行降采样处理，降采样处理的方式就是以平面采样精度按行或列进行采样，平面采样精度为预设的采样阈值，例如平面采样精度为0.5米，地图精度为10厘米，那么就是按行或按列从第1个投影点开始每0.5/0.1＝5个投影点采集一次采样点，得到的采样点也就是第一二维采样点数据；
步骤33，将第一高清三维地图数据中，地面平面坐标与第一二维采样点数据匹配的第一三维地图点数据，作为对应的第一三维采样点数据；
这里，得到第一三维采样点数据的数量会远小于原始地图数据也就是第一高清三维地图数据中的第一三维地图点数据的数量；
步骤34，按第一三维采样点数据的三维坐标系与点云三维坐标系的对应关系，对第一三维采样点数据进行点云数据转换处理，生成对应的第一点云数据；
这里，第一三维采样点数据的坐标系为世界三维坐标系，也就是按世界三维坐标系xyz与点云三维坐标系x’y’z’的对应关系，对第一三维采样点数据进行坐标转换；转换后的第一点云数据的三维坐标，我们知道其x’维度的坐标值就是点云的深度信息也即是第一深度信息；
步骤35，由得到的多个第一点云数据组成第一点云数据集合。
步骤4，对第一点云数据集合向第一摄像头拍摄平面做投影，生成带有深度信息的第一点云投影图像数据；
其中，第一点云投影图像数据与第一场景二维图像数据的分辨率一致；第一点云投影图像数据的形状为M2×N2，M2为图像最大列数且M2＝M1，N2为图像最大行数且N2＝N1；第一点云投影图像数据包括M2×N2个第二像素点；第二像素点包括第二像素点坐标和第二像素点通道数组；第二像素点通道数组包括第二深度信息；
具体包括：步骤41，按第一场景二维图像数据的形状构建第一点云投影图像数据，并将第一点云投影图像数据的第二深度信息初始化为预设深度值；
其中，第一点云投影图像数据的第二像素点的第二像素点坐标，与第一场景二维图像数据对应的第一像素点的第一像素点坐标匹配；
这里，第一摄像头拍摄平面与点云三维坐标系x’y’z’的y’z’平面重合，对第一点云数据集合向第一摄像头拍摄平面做投影也就是对y’z’平面做投影，我们已知第一高清三维地图数据的地图点数据只有在其xy平面是均匀分布的、在其xz、yz平面上都呈非均匀分布状态，也即是说对应的由其降采样转换而来的第一点云数据集合在点云三维空间的分布也不是均匀的，也就是说第一点云数据集合向y’z’平面做投影时，y’z’平面上有些点位可能是没有点云可对应的，因此，本发明实施例在做投影处理之前，要对投影面产生的图像也就是第一点云投影图像数据的像素点通道数组做预处理，预处理的值为预设深度值，常规被设为负值，例如-1；
步骤42，按点云坐标系与图像坐标系的对应关系，做第一点云数据集合到第一点云投影图像数据的投影，并建立第一点云数据与第二像素点的对应关系；
这里，建立第一点云数据与第二像素点的对应关系实际就是建立点云坐标系中x’、y’维度坐标与图像坐标系的二维维度的对应关系，建立对应关系可以通过多种方式实现，例如建立可查询的点位标识对应表，又例如建立关联公式进行推导等；
步骤43，按对应关系使用第一点云数据的第一深度信息修改对应的第二像素点的第二像素点通道数组的第二深度信息。
这里，在完成第一点云数据集合到第一点云投影图像数据的坐标投影之后，将第一点云数据的第一深度信息作为对应的第二像素点的像素值也就是第二像素点的第二像素点通道数组的第二深度信息。
通过步骤2-4我们得到的第一点云投影图像数据实际可被视为第一场景二维图像数据的深度信息图。
步骤5，对第一点云投影图像数据与第一场景二维图像数据进行数据融合，生成带有深度信息的第二场景二维图像数据；
其中，第二场景二维图像数据的形状为M3×N3，M3为图像最大列数且M3＝M2＝M1，N3为图像最大行数且N3＝N2＝N1；第二场景二维图像数据包括M3×N3个第三像素点；第三像素点包括第三像素点坐标和第三像素点通道数组；第三像素点通道数组包括C1个第一像素点通道信息和1个第二深度信息；
具体包括：对第一点云投影图像数据与第一场景二维图像数据进行通道数组融合处理，生成第二场景二维图像数据；第二场景二维图像数据的第三像素点的第三像素点坐标，与第一点云投影图像数据对应的第二像素点的第二像素点坐标匹配，与第一场景二维图像数据对应的第一像素点的第一像素点坐标匹配；第二场景二维图像数据的第三像素点的第三像素点通道数组，由第一场景二维图像数据对应的第一像素点的第一像素点通道数组，和第一点云投影图像数据对应的第二像素点的第二像素点通道数组构成。
这里，第一点云投影图像数据与第一场景二维图像数据大小是相同的，对应的空间也是相同，在第一点云投影图像数据中包含了第一场景二维图像数据中部分对象也就是部分像素点的深度信息(深度信息不为负值的像素点)，那么使用第一点云投影图像数据与第一场景二维图像数据融合，就可实现在二维图像中增加深度信息。
例如，第一场景二维图像数据为2*2的彩图，共包括4个第一像素点{(R1,G1,B1)11,(R2,G2,B2)12,(R3,G3,B3)21,(R4,G4,B4)22}；第一点云投影图像数据为2*2的深度图，共包括4个第二像素点{(D1)11,(D1)12,(D2)21,(D2)22}，D1、D2为深度信息，D1>D2；
那么融合后得到的第二场景二维图像数据应为2*2的带有部分深度信息的二维图像{(R1,G1,B1,D1)11,(R2,G2,B2,D1)12,(R3,G3,B3,D2)21,(R4,G4,B4,D2)22}。
环境感知模块在得到第二场景二维图像数据之后，即可使用三维目标语义分割模型对其进行运算，得到带目标语义分析信息和深度信息的语义分割图。随后，环境感知模块将上述语义分割图作为输入数据发送至路径决策模块用于无人驾驶系统的路径决策规划处理。
图2为本发明实施例二提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图2所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图2中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。
本发明实施例提供了一种根据地图数据增加场景二维图像深度信息的处理方法、电子设备及计算机可读存储介质，引入高精度的三维地图数据进行点云数据模拟，并将模拟的点云数据向摄像头平面投影得到带有深度信息的点云投影图像，再将点云投影图像与摄像头拍摄的场景二维图像进行融合，从而得到带有深度信息的场景二维图像。通过本发明方法，无需另行加装测距辅助雷达就能完成向二维图像增加深度信息的任务，降低了车辆成本，提高了数据处理能力。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种根据地图数据增加场景二维图像深度信息的处理方法，其特征在于，所述方法包括：
获取第一摄像头拍摄生成的第一场景二维图像数据；
获取与第一摄像头拍摄平面对齐的第一高清三维地图数据；
对所述第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合；
对所述第一点云数据集合向所述第一摄像头拍摄平面做投影，生成带有深度信息的第一点云投影图像数据；所述第一点云投影图像数据与所述第一场景二维图像数据的分辨率一致；
对所述第一点云投影图像数据与所述第一场景二维图像数据进行数据融合，生成带有深度信息的第二场景二维图像数据。
2.根据权利要求1所述的根据地图数据增加场景二维图像深度信息的处理方法，其特征在于，
所述第一场景二维图像数据的形状为M1×N1，M1为图像最大列数，N1为图像最大行数；所述第一场景二维图像数据包括M1×N1个第一像素点；所述第一像素点包括第一像素点坐标和第一像素点通道数组；所述第一像素点通道数组包括C1个第一像素点通道信息，C1为通道数；
所述第一高清三维地图数据包括多个第一三维地图点数据；
所述第一点云数据集合包括多个第一点云数据；所述第一点云数据包括第一深度信息；
所述第一点云投影图像数据的形状为M2×N2，M2为图像最大列数且M2＝M1，N2为图像最大行数且N2＝N1；所述第一点云投影图像数据包括M2×N2个第二像素点；所述第二像素点包括第二像素点坐标和第二像素点通道数组；所述第二像素点通道数组包括第二深度信息；
所述第二场景二维图像数据的形状为M3×N3，M3为图像最大列数且M3＝M2＝M1，N3为图像最大行数且N3＝N2＝N1；所述第二场景二维图像数据包括M3×N3个第三像素点；所述第三像素点包括第三像素点坐标和第三像素点通道数组；所述第三像素点通道数组包括C1个所述第一像素点通道信息和1个所述第二深度信息。
3.根据权利要求1所述的根据地图数据增加场景二维图像深度信息的处理方法，其特征在于，所述对所述第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合，具体包括：
对所述第一高清三维地图数据做地面平面投影处理，生成第一地面投影图像数据；
按预设平面采样精度对所述第一地面投影图像数据进行采样，生成多个第一二维采样点数据；
将所述第一高清三维地图数据中，地面平面坐标与所述第一二维采样点数据匹配的第一三维地图点数据，作为对应的第一三维采样点数据；
按所述第一三维采样点数据的三维坐标系与点云三维坐标系的对应关系，对所述第一三维采样点数据进行点云数据转换处理，生成对应的第一点云数据；
由得到的多个所述第一点云数据组成所述第一点云数据集合。
4.根据权利要求2所述的根据地图数据增加场景二维图像深度信息的处理方法，其特征在于，所述对所述第一点云数据集合向所述第一摄像头拍摄平面做投影，生成带有深度信息的第一点云投影图像数据，具体包括：
按所述第一场景二维图像数据的形状构建所述第一点云投影图像数据，并将所述第一点云投影图像数据的所述第二深度信息初始化为预设深度值；所述第一点云投影图像数据的所述第二像素点的所述第二像素点坐标，与所述第一场景二维图像数据对应的所述第一像素点的所述第一像素点坐标匹配；
按点云坐标系与图像坐标系的对应关系，做所述第一点云数据集合到所述第一点云投影图像数据的投影，并建立所述第一点云数据与所述第二像素点的对应关系；
按所述对应关系使用所述第一点云数据的所述第一深度信息修改对应的所述第二像素点的所述第二像素点通道数组的所述第二深度信息。
5.根据权利要求2所述的根据地图数据增加场景二维图像深度信息的处理方法，其特征在于，所述对所述第一点云投影图像数据与所述第一场景二维图像数据进行数据融合，生成带有深度信息的第二场景二维图像数据，具体包括：
对所述第一点云投影图像数据与所述第一场景二维图像数据进行通道数组融合处理，生成所述第二场景二维图像数据；所述第二场景二维图像数据的所述第三像素点的所述第三像素点坐标，与所述第一点云投影图像数据对应的所述第二像素点的所述第二像素点坐标匹配，与所述第一场景二维图像数据对应的所述第一像素点的所述第一像素点坐标匹配；所述第二场景二维图像数据的所述第三像素点的所述第三像素点通道数组，由所述第一场景二维图像数据对应的所述第一像素点的所述第一像素点通道数组，和所述第一点云投影图像数据对应的所述第二像素点的所述第二像素点通道数组构成。
6.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-5任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-5任一项所述的方法的指令。
CN202110839322.5A 2021-07-23 2021-07-23 一种根据地图数据增加场景二维图像深度信息的处理方法 Withdrawn CN113506375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110839322.5A CN113506375A (zh) 2021-07-23 2021-07-23 一种根据地图数据增加场景二维图像深度信息的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110839322.5A CN113506375A (zh) 2021-07-23 2021-07-23 一种根据地图数据增加场景二维图像深度信息的处理方法

Publications (1)

Publication Number Publication Date
CN113506375A true CN113506375A (zh) 2021-10-15

Family

ID=78014442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110839322.5A Withdrawn CN113506375A (zh) 2021-07-23 2021-07-23 一种根据地图数据增加场景二维图像深度信息的处理方法

Country Status (1)

Country Link
CN (1) CN113506375A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416365A (zh) * 2022-01-18 2022-04-29 北京拙河科技有限公司 基于gpu融合处理的超清画质图像数据处理方法与装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416365A (zh) * 2022-01-18 2022-04-29 北京拙河科技有限公司 基于gpu融合处理的超清画质图像数据处理方法与装置
CN114416365B (zh) * 2022-01-18 2022-09-27 北京拙河科技有限公司 基于gpu融合处理的超清画质图像数据处理方法与装置
WO2023138217A1 (zh) * 2022-01-18 2023-07-27 北京拙河科技有限公司 基于gpu融合处理的超清画质图像数据处理方法与装置

Similar Documents

Publication Publication Date Title
CN107223269B (zh) 三维场景定位方法和装置
US10726580B2 (en) Method and device for calibration
CN111563950B (zh) 纹理映射策略确定方法、装置及计算机可读存储介质
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
CN114387347B (zh) 确定外参标定的方法、装置、电子设备及介质
US11182942B2 (en) Map generation system and method for generating an accurate building shadow
CN115436910B (zh) 一种对激光雷达点云进行目标检测的数据处理方法和装置
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
CN115147333A (zh) 一种目标检测方法及装置
CN113420637A (zh) 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法
CN113506375A (zh) 一种根据地图数据增加场景二维图像深度信息的处理方法
CN117274605B (zh) 一种从无人机拍摄的照片中提取水域轮廓的方法及装置
CN113793392A (zh) 一种相机参数标定方法及装置
CN112051921A (zh) Ar导航地图生成方法、装置、计算机设备和可读存储介质
CN115457202A (zh) 一种三维模型更新的方法、装置及存储介质
CN114937092A (zh) 一种基于相机内外参进行图像特征编码的处理方法和装置
CN117152330B (zh) 一种基于深度学习的点云3d模型贴图方法和装置
CN114897968B (zh) 车辆视野的确定方法、装置、计算机设备、存储介质
CN115861561B (zh) 一种基于语义约束的等高线生成方法和装置
CN117197211B (zh) 一种深度图像生成方法、系统、装置及介质
CN115457140A (zh) 一种标定车载相机外参的处理方法和装置
CN111724431B (zh) 视差图的获得方法、装置和电子设备
CN113419254A (zh) 一种避免重影的多固态扫描式激光雷达数据的分帧方法
CN114299265A (zh) 一种飞行时间相机的三维点云数据分割处理方法和系统
CN115147571A (zh) 一种基于点云对车辆表面进行重建的处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211015

WW01 Invention patent application withdrawn after publication