CN111861962B - 一种数据融合方法及电子设备 - Google Patents

一种数据融合方法及电子设备 Download PDF

Info

Publication number
CN111861962B
CN111861962B CN202010736196.6A CN202010736196A CN111861962B CN 111861962 B CN111861962 B CN 111861962B CN 202010736196 A CN202010736196 A CN 202010736196A CN 111861962 B CN111861962 B CN 111861962B
Authority
CN
China
Prior art keywords
depth
depth map
map
sample
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010736196.6A
Other languages
English (en)
Other versions
CN111861962A (zh
Inventor
钱智明
赵磊
李博文
王尔辛
王赫
张航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecarx Hubei Tech Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN202010736196.6A priority Critical patent/CN111861962B/zh
Publication of CN111861962A publication Critical patent/CN111861962A/zh
Application granted granted Critical
Publication of CN111861962B publication Critical patent/CN111861962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明实施例提供了一种数据融合方法及电子设备，上述方法包括：获得图像采集设备采集的图像，并获得基于雷达设备采集的点云数据生成的目标分辨率的第一深度图，基于图像和第一深度图，进行深度图预测得到目标分辨率的第二深度图和第一置信度图，并预测图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，基于预测得到的参数和第一深度图进行深度图预测，得到目标分辨率的第三深度图和第二置信度图，基于第一置信度图和第二置信度图，得到图像对应的深度图。应用本发明实施例提供的方案进行数据融合时，能够使得所得到的深度图中能够包含图像采集设备所采集的图像中每一像素点对应的深度信息。

Description

一种数据融合方法及电子设备
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据融合方法及电子设备。
背景技术
自动驾驶车辆上往往会搭载有图像采集设备和雷达设备，这样车辆可以基于图像采集设备采集的图像和雷达设备采集的点云数据实现自动驾驶。车辆在实现自动驾驶过程中除了要参考行驶场景的图像之外，还需要参考行驶场景的深度信息，为此，需要基于图像采集设备采集的图像和雷达设备采集的点云数据进行数据融合，获得上述图像对应的深度图。
现有技术中，首先基于雷达设备所采集的点云数据生成深度图，然后基于上述图像采集设备采集的图像反映的各个像素点间的几何特性和上述深度图进行数据融合，得到上述图像对应的深度图。
然而，由于雷达设备所采集点云数据的分辨率较低，在基于上述几何特性实现数据融合时，可能会难以得到上述图像中每一像素点对应的深度信息，也就是，所得到的深度图中难以包含上述图像中每一像素点对应的深度信息。
发明内容
本发明实施例的目的在于提供一种数据融合方法及电子设备，以使得所得到的深度图中能够包含图像采集设备所采集的图像中每一像素点对应的深度信息。具体技术方案如下：
第一方面，本发明实施例提供了一种数据融合方法，所述方法包括：
获得图像采集设备采集的图像，并获得基于雷达设备采集的点云数据生成的目标分辨率的第一深度图，其中，所述图像采集设备和雷达设备的采集时刻相同、采集区域相同，所述目标分辨率为所述图像的分辨率；
基于所述图像和第一深度图，进行深度图预测得到所述目标分辨率的第二深度图和第一置信度图，并预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，其中，所述第一置信度图中每一像素点的像素值表示所述第二深度图中该像素点对应的深度值的置信度；
基于预测得到的参数和所述第一深度图进行深度图预测，得到所述目标分辨率的第三深度图和第二置信度图，其中，所述第二置信度图中每一像素点的像素值表示所述第三深度图中该像素点对应的深度值的置信度；
基于所述第一置信度图和第二置信度图，对所述第二深度图和第三深度图进行数据融合，得到所述图像对应的深度图。
本发明的一个实施例中，上述基于预测得到的参数和所述第一深度图进行深度图预测，得到所述目标分辨率的第三深度图和第二置信度图，包括：
基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值，估算所述第一深度图中未知像素点对应的深度值，得到所述目标分辨率的第四深度图，其中，所述已知像素点为：基于所述点云数据生成深度值的像素点，所述未知像素点为：所述第一深度图中除所述已知像素点外的像素点；
针对所述第四深度图中的每一像素点，基于其他像素点对应的深度值调整该像素点对应的深度值，并获得该像素点对应的深度值为调整后深度值的置信度，得到所述目标分辨率的第三深度图和第二置信度图。
本发明的一个实施例中，在获得所述第一深度图之后，还包括：
生成用于反映所述第一深度图中所述已知像素点位置和所述未知像素点位置的掩膜图；
所述基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值，估算所述第一深度图中未知像素点对应的深度值，得到目标分辨率的第四深度图，包括：
基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值，估算所述第一深度图中各个像素点对应的深度值；
基于所述掩膜图，将所述第一深度图中已知像素点对应的深度值恢复为基于所述点云数据生成的深度值，得到所述目标分辨率的第四深度图。
本发明的一个实施例中，上述基于预测得到的参数以及所述第一深度图中已知像素点的深度值，估算所述第一深度图中的像素点的深度值，包括：
按照以下公式估算所述第一深度图中各个像素点对应的深度值：
Dt+1＝K(。，0)⊙D0+∑a*b≠0K(a，b)⊙Dt
其中，D0表示第一深度图中已知像素点的深度值，t表示估算第一深度图中各个像素点对应的深度值的迭代次数，Dt表示第t次迭代估算第一深度图中各个像素点对应的深度值，Dt+1表示第t+1次迭代估算第一深度图中各个像素点对应的深度值，K(a，b)、K(0，0)表示所述预测得到的参数，⊙表示相乘运算。
本发明的一个实施例中，上述针对所述第四深度图中的每一像素点，基于其他像素点对应的深度值调整该像素点对应的深度值，并获得该像素点对应的深度值为调整后深度值的置信度，得到所述目标分辨率的第三深度图和第二置信度图，包括：
将所述第四深度图输入至预设数量个串行连接的数据调整模型中，得到所述目标分辨率的第三深度图和第二置信度图；
其中，所述数据调整模型为：以第一样本深度图为输入、将第一样本深度图中各个像素点的真实深度值作为训练基准，对预设的神经网络模型训练得到的、且用于调整深度图中像素点对应的深度值并获得调整后深度值置信度的模型；
所述第一样本深度图为：基于样本参数以及第二样本深度图中第一类像素点对应的深度值、估算第二样本深度图中第二类像素点对应的深度值得到的样本深度图，所述第二样本深度图为：基于雷达设备采集的样本点云数据生成的样本深度图，所述样本参数为：基于图像采集设备采集的样本图像和所述第二样本深度图、预测所述样本图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，所述第一类像素点为：基于所述样本点云数据生成深度值的像素点，所述第二类像素点为：所述第二样本深度图中除所述第一类像素点外的像素点。
本发明的一个实施例中，上述基于所述图像和第一深度图，进行深度图预测得到所述目标分辨率的第二深度图和第一置信度图，并预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，包括：
对所述图像进行图像分析，得到反映所述采集区域所对应场景的场景信息；
基于所述场景信息和所述第一深度图进行深度预测，得到所述目标分辨率的第二深度图和第一置信度图；
基于所述场景信息和所述第一深度图，预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
本发明的一个实施例中，上述基于所述图像和第一深度图，进行深度图预测得到所述目标分辨率的第二深度图和第一置信度图，并预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，包括：
将所述图像和第一深度图输入至数据预测模型中，得到所述目标分辨率的第二深度图和第一置信度，并获得所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数；
其中，所述数据预测模型为：以第二样本深度图与样本图像为模型输入、且基于样本图像中各个像素点所对应深度值的损失值、对预设的神经网络模型进行参数调整得到的、且用于预测深度图、深度图中深度值的置信度以及像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数的模型，所述上述第二样本深度图为：基于雷达设备采集的样本点云数据生成的样本深度图，所述样本图像为：图像采集设备采集的样本图像。
本发明的一个实施例中，上述基于所述第一置信度图和第二置信度图，对所述第二深度图和第三深度图进行数据融合，得到所述图像对应的深度图，包括：
基于所述第一置信度图对所述第二深度图中各个像素点对应的深度值进行调整，并基于所述第二置信度图对所述第三深度图中各个像素点对应的深度值进行调整；
计算调整后的第二深度图与调整后的第三深度图中各个像素点对应的深度值之和，得到第五深度图；
基于预测得到的参数和所述第一深度图，对所述第五深度图中各个像素点对应的深度值进行调整，得到所述图像对应的深度图。
本发明的一个实施例中，上述样本图像中各个像素点所对应深度值的损失值为：根据第一损失值、第二损失值和第三损失值进行加权计算得到的损失值；
其中，所述第一损失值为：所述样本图像中各个像素点对应的真实深度值与第三样本深度图中各个像素点对应的深度值间的交叉熵误差值，所述第三样本深度图为：基于所述样本图像和第二样本深度图、进行深度图预测得到的样本深度图；
所述第二损失值为：所述样本图像中各个像素点对应的真实深度值与第四样本深度图中各个像素点对应的深度值间的交叉熵误差值，所述第四样本深度图为：基于样本参数和所述第二样本深度图进行深度图预测得到的样本深度图，所述样本参数为：基于所述样本图像和所述第二样本深度图、预测所述样本图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数；
所述第三损失值为：所述样本图像中各个像素点对应的真实深度值与第五样本深度图中各个像素点对应的深度值间的交叉熵误差值，所述第五样本深度图为：基于第一样本置信度图、第二样本置信度图对所述第三样本深度图和第四样本深度图进行数据融合得到的样本深度图，所述第一样本置信度图为：基于所述样本图像和所述第二样本深度图、进行深度图预测得到的样本置信度图，所述第二样本置信度图为：基于样本参数和所述第二样本深度图进行深度图预测得到的样本置信度图。
第二方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的方法步骤。
第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
由以上可见，应用本发明实施例提供的方案进行数据融合时，是基于第一置信度图和第二置信度图，对第二深度图和第三深度图进行数据融合，从而得到图像对应的深度图。一方面，上述第二深度图和第一置信度图为：基于图像采集设备采集的图像和基于雷达设备采集的点云数据生成的第一深度图进行深度图预测得到的深度图和置信度图，且上述图像与第一深度图的分辨率相同，因此，能够基于上述图像和第一深度图对图像中各个像素点对应的深度值进行预测，也就是上述第二深度图中各个像素点均有对应的预测深度值；另一方面，上述第三深度图和第二置信度图为：基于预测得到的参数和第一深度图进行深度图预测得到的深度图和置信度图，又由于上述参数为：图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，因此，基于上述参数，能够预测上述图像中每一像素点对应的深度值，也就是上述第三深度图中各个像素点均有对应的预测深度值。综上，所得到的图像对应的深度图中包含图像中各个像素点对应的深度信息。
另外，由于上述图像采集设备采集的图像可以能够反映数据采集区域所对应场景的场景内容信息，上述雷达设备采集的点云数据能够反映雷达设备所采集的数据采集点的真实深度信息，一方面，由于上述第二深度图和第一置信度图是基于图像和第一深度图进行深度图预测得到的，上述第二深度图和第一置信度能够较好地保证场景内容信息的一致性，另一方面，由于上述第三深度图和第二置信度图是基于预测得到的参数和第一深度图进行深度图预测得到的，因此，上述第三深度图和第一置信度图能够较好地保证数据采集点的真实深度信息的有效性。因此，所得到的图像对应的深度图既能够较好地保证场景内容信息的一致性，又能够较好地保证数据采集点的真实深度信息的有效性。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种数据融合方法的流程示意图；
图2为本发明实施例提供的第二种数据融合方法的流程示意图；
图3为本发明实施例提供的一种场景示意图；
图4为本发明实施例提供的一种基于模型实现的数据融合方法的框图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为本发明实施例提供的第一种数据融合方法的流程示意图，上述方法包括S101-S104。
本发明实施例的执行主体可以为电子设备，例如：服务器、笔记本电脑等。
S101：获得图像采集设备采集的图像，并获得基于雷达设备采集的点云数据生成的目标分辨率的第一深度图。
在自动驾驶领域中，上述图像采集设备可以为自动驾驶车辆所搭载的摄像头、行车记录仪等。上述雷达设备可以为自动驾驶车辆所搭载的激光雷达、毫米波雷达等。
上述图像采集设备和雷达设备的采集时刻相同、采集区域相同。
上述图像采集设备和雷达设备的采集区域相同可以理解为；图像采集设备与雷达设备是基于同一数据采集区域进行采集的。由于图像采集设备和雷达设备的采集区域相同，因此，基于图像采集设备所获得的图像对应的区域与基于雷达设备所获得的第一深度图对应的区域是相同的。
上述图像采集设备和雷达设备的采集时刻相同可以理解为；图像采集设备采集图像的时刻与雷达设备采集点云数据的时刻相同。例如：假设上述图像采集设备采集图像的时刻为北京时间2020年1月1日上午8点，雷达设备采集点云数据的时刻为北京时间2020年1月1日上午8点，那么可以认为上述图像采集设备和雷达设备的采集时刻是相同的。
一种情况下，当图像采集设备与雷达设备的采集时钟同步时。可以基于同一时刻，获得图像采集设备采集的图像和雷达设备采集的点云数据。
另一种情况下，当图像采集设备与雷达设备的采集时钟不同步时。可以基于预设的时刻换算关系，获得同一时刻图像采集设备采集的图像和雷达设备采集的点云数据。
上述雷达设备所采集的点云数据可以理解为：雷达设备对数据采集点进行采集所获得的数据采集点的数据，上述点云数据可以包括数据采集点的位置信息、深度信息等。
上述目标分辨率为上述图像的分辨率，且上述第一深度图的分辨率为目标分辨率，也就是上述第一深度图的分辨率与上述图像的分辨率相等。
具体的，在获得上述图像采集设备采集的图像时，可以是从图像采集设备存储的所采集的图像中获得图像，还可以从存储有上述图像采集设备所采集的图像的数据库中获得图像。
具体的，在获得上述第一深度图时，一种情况下，可以是雷达设备采集点云数据后，基于所采集的点云数据生成第一深度图，从而电子设备从雷达设备中获得第一深度图。另一种情况下，还可以是电子设备从雷达设备中获得所采集的点云数据，基于所获得的点云数据第一深度图。
更为具体的，在基于上述点云数据生成第一深度图时，可以将上述点云数据投影至上述图像中的像素点，将点云数据中包括的深度值作为像素点的像素值，从而生成第一深度图。例如：可以基于图像采集设备的坐标系以及雷达设备的坐标系间的比例关系，将雷达设备所采集的点云数据转换为图像采集设备的坐标系下的点云数据，再基于图像采集设备的内参矩阵，将上述转换后的点云数据投影为上述图像中的像素点。
由于雷达设备所采集的点云数据的数量较少，因此，所生成的第一深度图具有像素值的像素点的数量较少，又可以将上述第一深度图称为稀疏深度图。具体的，上述稀疏深度图可以理解为：雷达设备采集的点云数据投影到图像平面的激光点云的数量远小于图像中像素点的数量、且图像中未被投影的像素点对应的深度值用零值填充的深度图。
S102：基于图像和第一深度图，进行深度图预测得到目标分辨率的第二深度图和第一置信度图，并预测图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
上述第一置信度图中每一像素点的像素值表示第二深度图中该像素点对应的深度值的置信度。例如：当第一置信度图中像素点的像素值最高，可以表示第二深度图中该像素点对应的深度值的置信度最高。
具体的，上述第二深度图中像素点对应的深度值的置信度可以理解为：第二深度图中各个像素点对应的深度值为各个像素点对应的真实深度值的可能性大小。例如：当第二深度图中各个像素点深度值为各个像素点真实深度值的可能性最大时，上述置信度最大，当第二深度图中各个像素点深度值为各个像素点真实深度值的可能性最小时，上述置信度最小。
上述第二深度图和第一置信度图的分辨率为目标分辨率，也就是上述第二深度图、第一置信度图的分辨率与第一深度图、图像采集设备所采集的图像的分辨率相等。
上述所预测的参数可以用于表示像素点对应的深度值对各预设方向的其他像素点对应的深度值的影响程度。例如：例如：假设像素点1对应的深度值向像素点2对应的深度值扩散的参数为C1，像素点1对应的深度值向像素点3对应的深度值扩散的参数为C2，若C1>C2，则可以认为像素点1对像素点2对应的深度值的影响程度大于像素点1对像素点3对应的深度值的影响程度。
上述预设方向可以由工作人员根据经验设定，例如：上述预设方向可以为8个方向，4个方向等，上述预设方向可以为以下方向中的至少一种：左上、上、右上、左、右、左下、下、右下。
具体的，在预测上述参数时，一种情况下，可以预测图像中每一像素点对应的深度值向各预设方向的相邻一个像素点对应的深度值扩散的参数，在这种情况下，图像中各个像素点对应的深度值向同一预设方向的扩散参数的数量与图像中各个像素点的数量相同。
另一种情况下，还可以是预测图像中每一像素点对应的深度值向各预设方向的相邻多个像素点对应的深度值扩散的参数。
还有一种情况下，还可以是预测图像中每一像素点对应的深度值向各预设方向的非相邻预设数量个像素点对应的深度值扩散的参数，上述非相邻预设数量个像素点可以为与该像素点间隔预设距离的预设数量个像素点。
由于上述所预测的参数表示图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，因此，又可以称上述参数为空间扩散参数。
具体得到上述第二深度图、第一置信度图以及参数可以参见后续实施例，在此不再详述。
S103：基于预测得到的参数和第一深度图进行深度图预测，得到目标分辨率的第三深度图和第二置信度图。
上述第二置信度图中每一像素点的像素值表示第三深度图中该像素点对应的深度值的置信度。
具体的，上述第三深度图中像素点对应的深度值的置信度可以理解为：第三深度图中各个像素点对应的深度值为各个像素点对应的真实深度值的可能性大小。例如：当第三深度图中各个像素点深度值为各个像素点真实深度值的可能性最大时，上述置信度最大，当第三深度图中各个像素点深度值为各个像素点真实深度值的可能性最小时，上述置信度最小。
一方面，由于雷达设备所采集的点云数据能够较为真实地反映所采集的数据采集点的深度值，那么基于上述第一深度图进行深度图预测时，能够保留雷达设备所采集的点云数据有效性。另一方面，由于雷达设备所采集的点云数据的数量是较少的，也就是上述第一深度图中有效深度值的数量是较少的，又由于上述所预测的参数能够用于表示图像中各个像素点对应的深度值间的相似性。因此，基于上述所预测的参数以及第一深度图进行深度图预测时，在保留雷达设备所采集的点云数据有效性的基础上，基于图像中各个像素点对应的深度值间的相似性对第一深度图中的像素点的像素点进行预测、调整，从而能够较为准确地预测图像中的像素点的深度值。
具体的，再基于预测得到的参数和第一深度图进行深度图预测时，可以采用预设的第二深度图预测算法，得到目标分辨率的第三深度图和第二置信度图。
S104：基于第一置信度图和第二置信度图，对第二深度图和第三深度图进行数据融合，得到图像对应的深度图。
具体的，在进行数据融合时，可以将上述第一置信度图和第二置信度图中各个像素点对应的置信度，作为数据融合的系数，对第二深度图和第三深度图中各个像素点对应的深度值进行数据融合，从而得到图像对应的深度图。
本发明的一个实施例中，还可以按照以下公式对第二深度图和第三深度图进行数据融合，得到图像对应的深度图。
Dj＝C0⊙D0+Cp⊙Dp
其中，Dj表示进行数据融合后所得到的深度图，D0表示第二深度图，C0表示第一置信度图，Cp表示第二置信度图，Dp表示第三深度图。
由以上可见，应用本实施例提供的方案进行数据融合时，是基于第一置信度图和第二置信度图，对第二深度图和第三深度图进行数据融合，从而得到图像对应的深度图。一方面，上述第二深度图和第一置信度图为：基于图像采集设备采集的图像和基于雷达设备采集的点云数据生成的第一深度图进行深度图预测得到的深度图和置信度图，且上述图像与第一深度图的分辨率相同，因此，能够基于上述图像和第一深度图对图像中各个像素点对应的深度值进行预测，也就是上述第二深度图中各个像素点均有对应的预测深度值；另一方面，上述第三深度图和第二置信度图为：基于预测得到的参数和第一深度图进行深度图预测得到的深度图和置信度图，又由于上述参数为：图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，因此，基于上述参数，能够预测上述图像中每一像素点对应的深度值，也就是上述第三深度图中各个像素点均有对应的预测深度值。综上，所得到的图像对应的深度图中包含图像中各个像素点对应的深度信息。
另外，由于上述图像采集设备采集的图像可以能够反映数据采集区域所对应场景的场景内容信息，上述雷达设备采集的点云数据能够反映雷达设备所采集的数据采集点的真实深度信息，一方面，由于上述第二深度图和第一置信度图是基于图像和第一深度图进行深度图预测得到的，上述第二深度图和第一置信度能够较好地保证场景内容信息的一致性，另一方面，由于上述第三深度图和第二置信度图是基于预测得到的参数和第一深度图进行深度图预测得到的，因此，上述第三深度图和第一置信度图能够较好地保证数据采集点的真实深度信息的有效性。因此，所得到的图像对应的深度图既能够较好地保证场景内容信息的一致性，又能够较好地保证数据采集点的真实深度信息的有效性。
参见图2，图2为本发明实施例提供的第二种数据融合方法的流程示意图，在上述实施例的基础上，上述S103中可以包括S103A1-S103A2。
S103A1：基于预测得到的参数以及第一深度图中已知像素点对应的深度值，估算第一深度图中未知像素点对应的深度值，得到目标分辨率的第四深度图。
上述已知像素点为：基于点云数据生成深度值的像素点。具体的，由于点云数据的数量有限，基于点云数据生成深度值的像素点的数量有限，也就是上述已知像素点的数量是有限的。因此，上述已知像素点又可以理解为：在第一深度图中基于点云数据成功生成深度值的像素点。
上述未知像素点为：第一深度图中除已知像素点外的像素点。
上述第四深度图的分辨率为目标分辨率。
具体的，在估算第一深度图中未知像素点的深度值时，可以针对第一深度图中每一未知像素点，从预测得到的参数中确定图像中每一像素点对应的深度值向该未知像素点对应的深度值扩散的参数，基于所确定的参数以及第一深度图中已知像素点对应的深度值，得到第四深度图。
S103A2：针对第四深度图中的每一像素点，基于其他像素点对应的深度值调整该像素点对应的深度值，并获得该像素点对应的深度值为调整后深度值的置信度，得到目标分辨率的第三深度图和第二置信度图。
具体的，在调整第四深度图中各个像素点对应的深度值时，可以基于第四深度图中各个像素点间距离以及像素点所处区域来调整像素点的深度值。例如：当两个像素点间的距离相邻，且两个像素点为图像中同一区域的像素点，可以取两个像素点对应的深度值的平均值作为上述两个像素点对应的深度值。
这样，由于上述第三深度图是对第四深度图中各个像素点的深度值进行调整获得的，且上述第四深度图是基于预测得到的参数以及第一深度图中已知像素点对应的深度值对第一深度图中未知像素点对应的深度值进行调整得到的，因此，上述第四深度图能够较好地保持雷达设备所采集的点云数据包含的数据采集点的深度信息，并且对第四深度图中各个像素点对应的深度值进行调整能够较为准确地获得第三深度图中各个像素点对应的深度值。
本发明的一个实施例中，在获得上述S101中的第一深度图之后，还可以生成用于反映第一深度图中已知像素点位置和未知像素点位置的掩膜图。
具体的，在生成上述掩膜图时，可以采用二值化方法，将1作为上述第一深度图中已知像素点的像素值，将0作为上述第一深度图中未知像素点的像素值，从而能够获得反映第一深度图中已知像素点位置和未知像素点位置的掩膜图。
在上述实施例的基础上，本发明的一个实施例中，可以按照以下步骤A11-步骤A12实现上述S103A1中基于预测得到的参数以及第一深度图中已知像素点对应的深度值，估算第一深度图中未知像素点对应的深度值，得到目标分辨率的第四深度图。
步骤A11：基于预测得到的参数以及第一深度图中已知像素点对应的深度值，估算第一深度图中各个像素点对应的深度值。
具体的，在估算第一深度图中各个像素点的深度值时，可以针对第一深度图中每一像素点，从预测得到的参数中确定图像中每一像素点对应的深度值向该像素点对应的深度值扩散的参数，基于所确定的参数以及第一深度图中已知像素点对应的深度值，估算第一深度图中各个像素点对应的深度值。
步骤A12：基于掩膜图，将第一深度图中已知像素点对应的深度值恢复为基于点云数据生成的深度值，得到目标分辨率的第四深度图。
由于在步骤A11中调整第一深度图中各个像素点的深度值时，可能会改变第一深度值中已知像素点对应的深度值，而上述已知像素点对应的深度值为雷达设备所采集的点云数据生成的。因此，为了能够保留第一深度图中已知像素点对应的深度值的有效性，可以将已知像素点对应的深度值恢复为基于点云数据生成的深度值。
具体的，在进行恢复时，可以基于上述掩膜图确定第一深度度中已知像素点的位置，基于所确定的位置以及已知像素点对应的像素值，将已知像素点对应的深度值恢复为基于点云数据生成的深度值，并保留除已知像素点外的像素点对应的估算深度值。
这样，由于掩膜图能够反映第一深度图中已知像素点位置和未知像素点位置，基于上述掩膜图对估算深度值后的第一深度图中各个像素点对应的深度值进行调整时，能够准确地恢复第一深度图中已知像素点的深度值，并保留第一深度图中未知像素点的深度值。
本发明的一个实施例中，可以采用以下公式估算第一深度图中各个像素点对应的深度值：
Dt+1＝K(0，0)⊙D0+∑a*b≠0K(a，b)⊙Dt
其中，D0表示第一深度图中已知像素点的深度值，t表示估算第一深度图中各个像素点对应的深度值的迭代次数，Dt表示第t次迭代估算第一深度图中各个像素点对应的深度值，Dt+1表示第t+1次迭代估算第一深度图中各个像素点对应的深度值，K为上述预测得到的参数，K(a，b)、K(0，0)表示上述预测得到的参数，K(0，0)表示当a取值为0、b取值为0时预测得到的参数。具体的，上述a、b表示上述预测得到的参数中的索引值，a、b取值集合可以为预设集合，例如：若K表示像素点对应的像素值向8个预设方向上的相邻一个像素点对应的深度值扩散的参数时，上述预设集合可以为{-1，0，1}，⊙表示相乘运算。
本发明的一个实施例中，可以采用以下公式实现上述步骤A12。
Dt+1＝(1-M)⊙Dt+1+M⊙Ds
其中，t表示估算第一深度图中各个像素点对应的深度值的迭代次数，Dt+1表示第t+1次迭代估算第一深度图中各个像素点对应的深度值，Ds表示第一深度图中基于点云数据生成的深度值，M为上述掩膜图中像素点的取值，上述M的取值可以为0或1，⊙表示相乘运算。
具体的，在基于上述两个公式进行计算时，可以进行多次迭代计算，每次迭代时首先采用上述第一个公式估算第一深度图中各个像素点对应的深度值，然后基于所估算的深度值，采用上述第二个公式对所估算的深度值进行恢复或者保留。具体的，当迭代次数满足预设收敛性条件时，结束迭代，从而得到目标分辨率的第四深度图。上述预设收敛性条件可以为预设的迭代次数，例如：上述预设的迭代次数可以为10次。
本发明的一个实施例中，可以采用以下方式实现上述S103A2中针对第四深度图中的每一像素点，基于其他像素点对应的深度值调整该像素点对应的深度值，并获得该像素点对应的深度值为调整后深度值的置信度，得到目标分辨率的第三深度图和第二置信度图。
将上述第四深度图输入至预设数量个串行连接的数据调整模型中，得到目标分辨率的第三深度图和第二置信度图。
上述数据调整模型为：以第一样本深度图为输入、将第一样本深度图中各个像素点的真实深度值作为训练基准，对预设的神经网络模型训练得到的、且用于调整深度图中像素点对应的深度值并获得调整后深度值置信度的模型。
上述预设数量可以由工作人员根据经验设定，例如：上述预设数量可以为2、3、4等。
具体的，上述预设的神经网络模型可以为Hourglass网络。
上述第一样本深度图为：基于样本参数以及第二样本深度图中第一类像素点对应的深度值、估算第二样本深度图中第二类像素点对应的深度值得到的样本深度图。
上述第二样本深度图为：基于雷达设备采集的样本点云数据生成的样本深度图。
上述样本参数为：基于图像采集设备采集的样本图像和上述第二样本深度图、预测上述样本图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
上述第一类像素点为：基于上述样本点云数据生成深度值的像素点，上述第二类像素点为：上述第二样本深度图中除上述第一类像素点外的像素点。
这样，由于上述数据调整模型是基于大量的第一样本深度图进行训练得到的，学习到了对第一样本深度图中各个像素点对应的像素点进行调整得到第三深度图和第二置信度图的规律，因此，将上述第四深度图输入至预设数量个串行连接的数据调整模型中能够获得较为准确的第三深度图和第二置信度图。
本发明的一个实施例中，可以按照以下步骤B1-步骤B3实现上述S104中基于第一置信度图和第二置信度图，对第二深度图和第三深度图进行数据融合，得到图像对应的深度图。
步骤B1：基于第一置信度图对第二深度图中各个像素点对应的深度值进行调整，并基于第二置信度图对第三深度图中各个像素点对应的深度值进行调整。
上述第一置信度图中各个像素点对应的置信度值表示第二深度图中各个像素点对应的深度值的置信度，第二置信度图中各个像素点对应的置信度值表示第三深度图中各个像素点对应的深度值的置信度。
在进行调整时，可以将上述第一置信度图中各个像素点对应的置信度值作为第二深度图中各个像素点对应的深度值的调整系数，从而对第二深度图中各个像素点对应的深度值进行调整。类似的，将上述第二置信度图中各个像素点对应的置信度值作为第三深度图中各个像素点对应的深度值的调整系数，从而对第三深度图中各个像素点对应的深度值进行调整。
例如：可以将第一置信度图中各个像素点对应的置信度值与第二深度图中各个像素点对应的深度值进行相乘，将相乘后的结果作为第二深度图中各个像素点调整后对应的深度值。将第二置信度图中各个像素点对应的置信度值与第三深度图中各个像素点对应的深度值进行相乘，将相乘后的结果作为第三深度图中各个像素点调整后对应的深度值。
具体的，还可以对第一置信度图、第二置信度图中各个像素点的像素值进行归一化处理，将处理后的第一置信度图中各个像素点对应的置信度值作为第二深度图中各个像素点对应的深度值的调整系数，将处理后的第二置信度图中各个像素点对应的置信度值作为第三深度图中各个像素点对应的深度值的调整系数，从而对第二深度图、三深度图中各个像素点对应的深度值进行调整。上述归一化处理可以采用Softmax算法进行处理。
步骤B2：计算调整后的第二深度图与调整后的第三深度图中各个像素点对应的深度值之和，得到第五深度图。
一种实施方式中，在计算上述深度值之和时，由于上述第二深度图和第三深度图的大小相同，因此，可以基于各个像素点的位置，将调整后的第二深度图与调整后的第三深度图中位置相同的各个像素点对应的深度值进行加和，得到第五深度图。
步骤B3：基于预测得到的参数和第一深度图，对第五深度图中各个像素点对应的深度值进行调整，得到图像对应的深度图。
由于上述第五深度图是基于第二深度图以及第三深度图进行数据融合得到的，那么基于雷达设备所采集的点云数据生成的深度值在第五深度图中可能会被改变。因此，需要基于预测得到的参数和第一深度图，对第五深度图中各个像素点对应的深度值进行调整，得到图像对应的深度图。
具体的，在对第五深度图进行调整时，基于预测得到的参数以及第一深度图中已知像素点对应的深度值，估算第五深度图中各个像素点对应的深度值，并基于掩膜图，将第五深度图中已知像素点对应的深度值恢复为基于点云数据生成的深度值，并保留除已知像素点外的像素点对应的估算深度值，得到图像对应的深度图。
在进行上述调整时，可以多次迭代进行调整，直至满足预设的收敛性条件，迭代结束，从而得到图像对应的深度图。上述预设的收敛性条件可以为：预设的迭代次数，例如：上述预设的迭代次数可以为20次。
由于上述第五深度图是基于第二深度图以及第三深度图进行数据融合得到的，那么基于雷达设备所采集的点云数据生成的深度值在第五深度图中可能会被改变。因此，基于预测得到的参数和第一深度图对第五深度图中各个像素点对应的深度值进行调整时，能够有效保留雷达设备所采集的点云数据包含的数据采集点的深度信息。
本发明的一个实施例中，可以按照以下步骤S102C1-S102C3实现上述S102中的基于图像和第一深度图，进行深度图预测得到目标分辨率的第二深度图和第一置信度图，并预测图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
S102C1：对图像进行图像分析，得到反映采集区域所对应场景的场景信息。
上述场景信息可以包括：采集区域所对应场景中的对象类别、各个对象所在区域等。例如：上述采集区域所对应场景中的对象类别可以为：人、建筑物、树木、道路等，上述各个对象所在区域可以为：办公室、餐厅、卧室等。
上述图像分析方法可以包括对象识别、边缘信息提取、感兴趣区域确定等方法。
具体的，可以对图像进行对象识别，识别图像中的各个对象类别，并基于边缘信息提取，获得图像中的边缘信息，基于所获得的边缘信息能够确定各个对象所在区域，并对所确定的区域进行场景识别，能够获得各个区域对应的场景，从而能够得到反映区域所对应场景的场景信息。
S102C2：基于场景信息和第一深度图进行深度预测，得到目标分辨率的第二深度图和第一置信度图。
具体的，在基于场景信息和第一深度图进行深度预测时，可以根据场景信息所反映的采集区域所对应场景中的对象类别、对象区域等信息，通过第一深度图中像素点的深度值，对各个像素点对应的深度值以及各个像素点对应的深度值的置信度进行预测，从而得到第二深度图和第一置信度图。
例如：假设上述场景信息反映了采集区域所对应场景为：一辆汽车在马路上，如图3所示，图3为一种场景示意图，图3中两条逐渐靠近的线所形成的区域为马路所在区域、长方形所形成的区域为汽车所在区域，且第一深度图中包括汽车所在区域的中心像素点对应的深度值为D1、马路所在区域的中心像素点对应的深度值D2，在进行深度预测时，可以将D1作为汽车所在区域的各个像素点对应的深度值，并按照马路所在区域的各个像素点对应深度值间的比例关系，基于D2计算马路所在区域的各个像素点对应的深度值，从而能够获得各个像素点对应的深度值。并按照预测权重，预测各个像素点对应的深度值的置信度。
S102C3：基于场景信息和第一深度图，预测图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
具体的，在预测上述参数时，可以基于上述场景信息确定图像中各个像素点对应的深度值间的相似性，并通过第一深度图中像素点的深度值，预测图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
例如：沿用步骤S102C2的例子，由于在图3中汽车所在区域中各个像素点对应的深度值间的相似性较高，通过D1可以计算相对较大的参数，并将所计算的参数作为图像中汽车所在区域中各个像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数；由于在图3中马路所在区域中各个像素点对应的深度值间的相似性相对较低，基于D2，可以计算相对较小的参数，并将所计算的较小参数作为图像中汽车所在区域中各个像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
这样，由于是基于场景信息和第一深度图进行深度预测得到第二深度图和第一置信度图，所获得的上述第二深度图能够较好地保证数据采集区域所对应场景的场景内容信息一致性。
本发明的一个实施例中，还可以按照以下方式实现上述S102中的基于图像和第一深度图，进行深度图预测得到目标分辨率的第二深度图和第一置信度图，并预测图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
将上述图像和第一深度图输入至数据预测模型中，得到目标分辨率的第二深度图和第一置信度，并获得图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
上述数据预测模型为：以第二样本深度图与样本图像为模型输入、且基于样本图像中各个像素点所对应深度值的损失值、对预设的神经网络模型进行参数调整得到的、且用于预测深度图、深度图中深度值的置信度以及像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数的模型。
上述第二样本深度图为：基于雷达设备采集的样本点云数据生成的样本深度图。上述样本图像为：图像采集设备采集的样本图像。
具体的，上述预设的神经网络模型可以为ERFNet(Efficient ResidualFactorized ConvNet，有效残差分解网络)、Unet(U-Net，深度学习分割网络)、HRNet(High-Resolution ConvNet，高分辨率网络)、DeeplabV3+(Depthwise separable convolutionV3+，第三系列的深度可分离卷积神经网络)、FCN(Fully Convolutional Networks forSemantic Segmentation，基于全卷积网络的神经分割)等。
由于上述数据预测模型是由大量的第二样本深度图与样本图像进行训练得到的，并且学习到了对第二样本深度图与样本图像进行数据融合得到第二深度图和第一置信度的规律，因此，将上述图像和第一深度图输入至数据预测模型中能够获得较为准确的第二深度图和第一置信度。
本发明的一个实施例中，上述样本图像中各个像素点所对应深度值的损失值为：根据第一损失值、第二损失值与第三损失值进行加权计算得到的损失值。
具体的，上述第一损失值为：样本图像中各个像素点对应的真实深度值与第三样本深度图中各个像素点对应的深度值间的交叉熵误差值。上述第三样本深度图为：基于上述样本图像和第二样本深度图、进行深度图预测得到的样本深度图。
上述第二损失值为：上述样本图像中各个像素点对应的真实深度值与第四样本深度图中各个像素点对应的深度值间的交叉熵误差值。上述第四样本深度图为：基于样本参数和上述第二样本深度图进行深度图预测得到的样本深度图。上述样本参数为：基于图像采集设备采集的样本图像和上述第二样本深度图、预测上述样本图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
上述第三损失值为：上述样本图像中各个像素点对应的真实深度值与第五样本深度图中各个像素点对应的深度值间的交叉熵误差值。上述第五样本深度图为：基于第一样本置信度图、第二样本置信度图对所述第三样本深度图和第四样本深度图进行数据融合得到的样本深度图。上述第一样本置信度图为：基于上述样本图像和上述第二样本深度图、进行深度图预测得到的样本置信度图。上述第二样本置信度图为：基于样本参数和上述第二样本深度图进行深度图预测得到的样本置信度图。
这样，由于上述损失值是由第一损失值、第二损失值与第三损失值进行加权计算得到的，而上述第一损失值为：基于图像采集设备采集的样本图像中各个像素点对应的真实深度值与第三样本深度图中各个像素点对应的深度值间的交叉熵误差值。上述第二损失值为；上述样本图像中各个像素点对应的真实深度值与第四样本深度图中各个像素点对应的深度值间的交叉熵误差值。上述第三损失值为；上述样本图像中各个像素点对应的真实深度值与第五样本深度图中各个像素点对应的深度值间的交叉熵误差值。因此，又可以称为上述损失值为自适应加权损失值，基于上述损失值对模型进行训练时，能够有效地保证模型训练的收敛性。
以下通过一个具体实施例对本发明实施例提供的数据融合方案进行具体的说明。参见图4，图4为本发明实施例提供的一种基于模型实现的数据融合方法的框图。
具体的，本发明实施例中的数据预测模型可以为图4中的ERFNet，本发明实施例中的数据调整模型可以为图4中的堆叠Hourglass Network。也就是本发明实施例提供的数据融合方法可以是基于上述ERFNet、堆叠Hourglass Network实现的数据融合方法。
在图4中，按照左到右箭头指向的方向进行数据融合的，具体的：
图像J为图像采集设备所采集的图像，图像J的分辨率为1216*256、包含3个图像分量；稀疏深度图Ds为基于雷达设备采集的点云数据所生成的深度图，上述稀疏深度图Ds的分辨率为1216*256、包含1个图像分量。
对上述图像J、稀疏深度图Ds进行直连操作，并将得到的结果输入至ERFNet中。
ERFNet输出预测深度图D0、置信度图C0以及空间扩散参数K。其中，上述预测深度图D0的分辨率为1216*256、包含1个图像分量，上述置信度图C0的分辨率为1216*256、包含1个图像分量，上述空间扩散参数K表示图像J中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，上述空间扩散参数的大小为1216*256、包含8个数据分量。
ERFNet输出上述预测深度图D0、置信度图C0以及空间扩散参数K后，首先根据空间扩散参数K对稀疏深度图Ds进行空间信息扩散，也就是基于上述空间扩散参数对上述稀疏深度图Ds中各个像素点对应的深度值进行深度值扩散，得到较为致密的深度图，也就是本发明实施例中的第四深度图。上述较为致密的深度图的分辨率为1216*256、包含1个图像分量。
将上述较为致密的深度图输入至堆叠Hourglass Network中，具体的，上述堆叠Hourglass Network可以由预设数量个Hourglass Network串联连接组成。上述堆叠Hourglass Network输出置信度图Cp、预测深度图Dp。其中，上述置信度图Cp的分辨率为1216*256、包含1个图像分量，上述预测深度图Dp的分辨率为1216*256、包含1个图像分量。
在堆叠Hourglass Network输出置信度图Cp、预测深度图Dp后，首先采用Softmax算法对上述置信度图C0、置信度图Cp进行归一化处理，获得归一化处理后的置信度图C0、置信度图Cp。
归一化处理后的置信度图C0与上述预测深度图D0进行相乘，将归一化处理后的置信度图Cp与预测深度图Dp进行相乘，并对二者相乘的结果进行加和，得到联合优化深度图Dj。上述联合优化深度图Dj的分辨率为1216*256、包含1个图像分量。
根据空间扩散参数K、稀疏深度图Ds和联合优化深度图Dj进行空间信息扩散，得到输出深度图，作为图像J对应的深度图。其中，上述输出深度图的分辨率为1216*256、包含1个图像分量。
与上述数据融合方法相对应，本发明实施例还提供了一种电子设备。
参见图5，图5为本发明实施例提供的一种电子设备的结构示意图，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现本发明实施例提供的数据融合方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的数据融合方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行时实现本发明实施例提供的数据融合方法。
由以上可见，应用本实施例提供的方案进行数据融合时，是基于第一置信度图和第二置信度图，对第二深度图和第三深度图进行数据融合，从而得到图像对应的深度图。一方面，上述第二深度图和第一置信度图为：基于图像采集设备采集的图像和基于雷达设备采集的点云数据生成的第一深度图进行深度图预测得到的深度图和置信度图，且上述图像与第一深度图的分辨率相同，因此，能够基于上述图像和第一深度图对图像中各个像素点对应的深度值进行预测，也就是上述第二深度图中各个像素点均有对应的预测深度值；另一方面，上述第三深度图和第二置信度图为：基于预测得到的参数和第一深度图进行深度图预测得到的深度图和置信度图，又由于上述参数为：图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，因此，基于上述参数，能够预测上述图像中每一像素点对应的深度值，也就是上述第三深度图中各个像素点均有对应的预测深度值。综上，所得到的图像对应的深度图中包含图像中各个像素点对应的深度信息。
另外，由于上述图像采集设备采集的图像可以能够反映数据采集区域所对应场景的场景内容信息，上述雷达设备采集的点云数据能够反映雷达设备所采集的数据采集点的真实深度信息，一方面，由于上述第二深度图和第一置信度图是基于图像和第一深度图进行深度图预测得到的，上述第二深度图和第一置信度能够较好地保证场景内容信息的一致性，另一方面，由于上述第三深度图和第二置信度图是基于预测得到的参数和第一深度图进行深度图预测得到的，因此，上述第三深度图和第一置信度图能够较好地保证数据采集点的真实深度信息的有效性。因此，所得到的图像对应的深度图既能够较好地保证场景内容信息的一致性，又能够较好地保证数据采集点的真实深度信息的有效性。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据融合方法，其特征在于，所述方法包括：
获得图像采集设备采集的图像，并获得基于雷达设备采集的点云数据生成的目标分辨率的第一深度图，其中，所述图像采集设备和雷达设备的采集时刻相同、采集区域相同，所述目标分辨率为所述图像的分辨率；
基于所述图像和第一深度图，进行深度图预测得到所述目标分辨率的第二深度图和第一置信度图，并预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，其中，所述第一置信度图中每一像素点的像素值表示所述第二深度图中该像素点对应的深度值的置信度；
基于预测得到的参数和所述第一深度图进行深度图预测，得到所述目标分辨率的第三深度图和第二置信度图，其中，所述第二置信度图中每一像素点的像素值表示所述第三深度图中该像素点对应的深度值的置信度；
基于所述第一置信度图和第二置信度图，对所述第二深度图和第三深度图进行数据融合，得到所述图像对应的深度图。
2.根据权利要求1所述的方法，其特征在于，所述基于预测得到的参数和所述第一深度图进行深度图预测，得到所述目标分辨率的第三深度图和第二置信度图，包括：
基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值，估算所述第一深度图中未知像素点对应的深度值，得到所述目标分辨率的第四深度图，其中，所述已知像素点为：基于所述点云数据生成深度值的像素点，所述未知像素点为：所述第一深度图中除所述已知像素点外的像素点；
针对所述第四深度图中的每一像素点，基于其他像素点对应的深度值调整该像素点对应的深度值，并获得该像素点对应的深度值为调整后深度值的置信度，得到所述目标分辨率的第三深度图和第二置信度图。
3.根据权利要求2所述的方法，其特征在于，在获得所述第一深度图之后，还包括：
生成用于反映所述第一深度图中所述已知像素点位置和所述未知像素点位置的掩膜图；
所述基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值，估算所述第一深度图中未知像素点对应的深度值，得到目标分辨率的第四深度图，包括：
基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值，估算所述第一深度图中各个像素点对应的深度值；
基于所述掩膜图，将所述第一深度图中已知像素点对应的深度值恢复为基于所述点云数据生成的深度值，得到所述目标分辨率的第四深度图。
4.根据权利要求3所述的方法，其特征在于，所述基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值，估算所述第一深度图中各个像素点对应的深度值，包括：
按照以下公式估算所述第一深度图中各个像素点对应的深度值：
Dt+1＝K(0，0)⊙D0+Σa*b≠0K(a，b)⊙Dt
其中，D0表示第一深度图中已知像素点的深度值，t表示估算第一深度图中各个像素点对应的深度值的迭代次数，Dt表示第t次迭代估算第一深度图中各个像素点对应的深度值，Dt+1表示第t+1次迭代估算第一深度图中各个像素点对应的深度值，K(a，b)、K(0，0)表示所述预测得到的参数，⊙表示相乘运算。
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述针对所述第四深度图中的每一像素点，基于其他像素点对应的深度值调整该像素点对应的深度值，并获得该像素点对应的深度值为调整后深度值的置信度，得到所述目标分辨率的第三深度图和第二置信度图，包括：
将所述第四深度图输入至预设数量个串行连接的数据调整模型中，得到所述目标分辨率的第三深度图和第二置信度图；
其中，所述数据调整模型为：以第一样本深度图为输入、将第一样本深度图中各个像素点的真实深度值作为训练基准，对预设的神经网络模型训练得到的、且用于调整深度图中像素点对应的深度值并获得调整后深度值置信度的模型；
所述第一样本深度图为：基于样本参数以及第二样本深度图中第一类像素点对应的深度值估算第二样本深度图中第二类像素点对应的深度值得到的样本深度图，所述第二样本深度图为：基于雷达设备采集的样本点云数据生成的样本深度图，所述样本参数为：基于图像采集设备采集的样本图像和所述第二样本深度图预测所述样本图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，所述第一类像素点为：基于所述样本点云数据生成深度值的像素点，所述第二类像素点为：所述第二样本深度图中除所述第一类像素点外的像素点。
6.根据权利要求1所述的方法，其特征在于，所述基于所述图像和第一深度图，进行深度图预测得到所述目标分辨率的第二深度图和第一置信度图，并预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，包括：
对所述图像进行图像分析，得到反映所述采集区域所对应场景的场景信息；
基于所述场景信息和所述第一深度图进行深度预测，得到所述目标分辨率的第二深度图和第一置信度图；
基于所述场景信息和所述第一深度图，预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
7.根据权利要求1所述的方法，其特征在于，所述基于所述图像和第一深度图，进行深度图预测得到所述目标分辨率的第二深度图和第一置信度图，并预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，包括：
将所述图像和第一深度图输入至数据预测模型中，得到所述目标分辨率的第二深度图和第一置信度，并获得所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数；
其中，所述数据预测模型为：以第二样本深度图与样本图像为模型输入、且基于样本图像中各个像素点所对应深度值的损失值、对预设的神经网络模型进行参数调整得到的、且用于预测深度图、深度图中深度值的置信度以及像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数的模型，所述第二样本深度图为：基于雷达设备采集的样本点云数据生成的样本深度图，所述样本图像为：图像采集设备采集的样本图像。
8.根据权利要求7所述的方法，其特征在于，所述基于所述第一置信度图和第二置信度图，对所述第二深度图和第三深度图进行数据融合，得到所述图像对应的深度图，包括：
基于所述第一置信度图对所述第二深度图中各个像素点对应的深度值进行调整，并基于所述第二置信度图对所述第三深度图中各个像素点对应的深度值进行调整；
计算调整后的第二深度图与调整后的第三深度图中各个像素点对应的深度值之和，得到第五深度图；
基于预测得到的参数和所述第一深度图，对所述第五深度图中各个像素点对应的深度值进行调整，得到所述图像对应的深度图。
9.根据权利要求8所述的方法，其特征在于
所述样本图像中各个像素点所对应深度值的损失值为：根据第一损失值、第二损失值和第三损失值进行加权计算得到的损失值；
其中，所述第一损失值为：所述样本图像中各个像素点对应的真实深度值与第三样本深度图中各个像素点对应的深度值间的交叉熵误差值，所述第三样本深度图为：基于所述样本图像和第二样本深度图进行深度图预测得到的样本深度图；
所述第二损失值为：所述样本图像中各个像素点对应的真实深度值与第四样本深度图中各个像素点对应的深度值间的交叉熵误差值，所述第四样本深度图为：基于样本参数和所述第二样本深度图进行深度图预测得到的样本深度图，所述样本参数为：基于所述样本图像和所述第二样本深度图预测所述样本图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数；
所述第三损失值为：所述样本图像中各个像素点对应的真实深度值与第五样本深度图中各个像素点对应的深度值间的交叉熵误差值，所述第五样本深度图为：基于第一样本置信度图、第二样本置信度图对所述第三样本深度图和第四样本深度图进行数据融合得到的样本深度图，所述第一样本置信度图为：基于所述样本图像和所述第二样本深度图进行深度图预测得到的样本置信度图，所述第二样本置信度图为：基于样本参数和所述第二样本深度图进行深度图预测得到的样本置信度图。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。
CN202010736196.6A 2020-07-28 2020-07-28 一种数据融合方法及电子设备 Active CN111861962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010736196.6A CN111861962B (zh) 2020-07-28 2020-07-28 一种数据融合方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010736196.6A CN111861962B (zh) 2020-07-28 2020-07-28 一种数据融合方法及电子设备

Publications (2)

Publication Number Publication Date
CN111861962A CN111861962A (zh) 2020-10-30
CN111861962B true CN111861962B (zh) 2021-07-30

Family

ID=72948373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010736196.6A Active CN111861962B (zh) 2020-07-28 2020-07-28 一种数据融合方法及电子设备

Country Status (1)

Country Link
CN (1) CN111861962B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330815B (zh) * 2020-11-26 2024-05-14 北京百度网讯科技有限公司 基于障碍物融合的三维点云数据处理方法、装置和设备
TWI760128B (zh) * 2021-03-05 2022-04-01 國立陽明交通大學 深度圖像之生成方法、系統以及應用該方法之定位系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
CN109859154A (zh) * 2019-01-31 2019-06-07 深兰科技（上海）有限公司 一种数据融合方法、装置、设备及介质
US10452960B1 (en) * 2018-10-01 2019-10-22 Texas Instruments Incorporated Image classification
CN111179331A (zh) * 2019-12-31 2020-05-19 智车优行科技（上海）有限公司 深度估计方法、装置、电子设备及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170302910A1 (en) * 2016-04-19 2017-10-19 Motorola Mobility Llc Method and apparatus for merging depth maps in a depth camera system
CN110335211B (zh) * 2019-06-24 2021-07-30 Oppo广东移动通信有限公司 深度图像的校正方法、终端设备以及计算机存储介质
CN111080527B (zh) * 2019-12-20 2023-12-05 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
US10452960B1 (en) * 2018-10-01 2019-10-22 Texas Instruments Incorporated Image classification
CN109859154A (zh) * 2019-01-31 2019-06-07 深兰科技（上海）有限公司 一种数据融合方法、装置、设备及介质
CN111179331A (zh) * 2019-12-31 2020-05-19 智车优行科技（上海）有限公司 深度估计方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Reliable Fusion of ToF and Stereo Depth Driven by Confidence Measures;Giulio Marin etal.;《ECCV 2016》;20160916;全文 *
基于稀疏激光点云数据和单帧图像融合的三维重构算法;贺秉安等;《计测技术》;20171231;第37卷(第3期);全文 *

Also Published As

Publication number Publication date
CN111861962A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN108960090B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN110148157B (zh) 画面目标跟踪方法、装置、存储介质及电子设备
AU2021250975A1 (en) Statistical point pattern matching technique
CN110428412B (zh) 图像质量的评价及模型生成方法、装置、设备和存储介质
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN111861962B (zh) 一种数据融合方法及电子设备
CN109766925B (zh) 特征融合方法、装置、电子设备及存储介质
CN112241976A (zh) 一种训练模型的方法及装置
WO2021164269A1 (zh) 基于注意力机制的视差图获取方法和装置
CN109241888B (zh) 神经网络训练与对象识别方法、装置和系统及存储介质
CN108965951B (zh) 广告的播放方法及装置
CN110969100B (zh) 一种人体关键点识别方法、装置及电子设备
CN112749726A (zh) 目标检测模型的训练方法、装置、计算机设备和存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN112580581A (zh) 目标检测方法、装置及电子设备
CN113160042A (zh) 一种图像风格迁移模型训练方法、装置及电子设备
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置
CN115100536B (zh) 建筑物识别方法、装置、电子设备和计算机可读介质
CN115760641A (zh) 基于多尺度特征注意力网络的遥感影像去云雾方法和设备
CN113269259B (zh) 一种目标信息的预测方法及装置
CN112434717B (zh) 一种模型训练方法及装置
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
CN113014928A (zh) 一种补偿帧生成方法及装置
CN111966851A (zh) 基于少量样本的图像识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220321

Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province

Patentee after: Yikatong (Hubei) Technology Co.,Ltd.

Address before: No.c101, chuanggu start up zone, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province

Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd.