CN115294226A - 一种图像重构方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种图像重构方法、装置、电子设备及存储介质，涉及自动驾驶传感器同步技术领域，方法包括：针对目标场景获取点云和连续曝光的多帧图像；所述点云是激光雷达在单位时间内以第一帧率采集的；所述多帧图像是相机在单位时间内以第二帧率采集的；基于所述点云中每个点的第一曝光时间，从所述多帧图像中获取所述点对应的目标像素基块；所述目标像素基块的第二曝光时间与所述第一曝光时间之间的差值小于所述多帧图像中其他像素基块的曝光时间与所述第一曝光时间之间的差值；基于所述点云中每个点对应的所述目标像素基块重构目标图像。由此可以得到更接近真实物理实际情况的图像，尽可能缩小激光雷达采集的点云与相机采集的图像时间误差。

Description

一种图像重构方法、装置、电子设备及存储介质

技术领域

本发明涉及自动驾驶传感器同步技术领域，更具体的，涉及一种图像重构方法、装置、电子设备及存储介质。

背景技术

在自动驾驶中使用到的传感器如激光雷达和相机，由于每种传感器的采样频率不一致，计算单元接收到的各传感器的消息时间不统一，会造成例如障碍物识别不准等问题。现有技术中，传感器时间同步可以大致分为：统一时钟源，硬件同步，软件同步。在激光雷达和相机的时间源都统一到GPS时间后，当激光束旋转到相机视野中央的时候，触发相机，保证激光雷达和相机同步触发采集。

但是，由于激光雷达和相机采集数据的方式不同，只能近似地保证激光雷达和相机的同步采集。对于相机视野中央的点云采集时间是跟图像采集时间一致的，而对于相机视野边缘的点云，其采集时间就跟图像采集时间有一定的时间偏差，时间偏差根据相机视野的大小和点云采集帧率的不同而变化。假设以点云采集时间作为参考值(真实值)，将对应的图像采集时间和点云采集时间对齐，由于点云每个点的曝光时间和相机的像素阵列曝光时间不一致，使得图像曝光的时间值与真实的物理实际情况不符，由此激光雷达采集的点云与相机采集的图像时间误差较大。

发明内容

为解决现有技术中的问题，本发明提供一种图像重构方法、装置、电子设备及存储介质，所述方案如下：

一方面，提供了一种图像重构方法，包括：

针对目标场景获取点云和连续曝光的多帧图像；所述点云是激光雷达在单位时间内以第一帧率采集的；所述多帧图像是相机在单位时间内以第二帧率采集的；

基于所述点云中每个点的第一曝光时间，从所述多帧图像中获取所述点对应的目标像素基块；所述目标像素基块的第二曝光时间与所述第一曝光时间之间的差值小于所述多帧图像中其他像素基块的曝光时间与所述第一曝光时间之间的差值；

基于所述点云中每个点对应的所述目标像素基块重构目标图像。

可选的，所述基于所述点云中每个点的第一曝光时间，从所述多帧图像中获取所述点对应的目标像素基块，包括：

基于所述点云中点的数量分别对各帧图像进行划分，得到与各点相对应的像素基块；

确定所述各帧图像中每个像素基块的第二曝光时间；

针对点云中的每个点，确定所述点的第一曝光时间与所述各帧图像中相对应像素基块的第二曝光时间之间的差值；

确定最小差值对应的像素基块，得到所述点对应的目标像素基块。

可选的，所述确定所述各帧图像中每个像素基块的第二曝光时间包括：

确定所述各帧图像中每个像素基块包含的像素行数量；

标记所述每个像素基块中每行像素的曝光时间；

基于所述每个像素基块包含的像素行数量和所述每行像素的曝光时间确定各帧图像中每个像素基块的第二曝光时间。

可选的，所述基于所述每个像素基块包含的像素行数量和所述每行像素的曝光时间确定各帧图像中每个像素基块的第二曝光时间包括：

针对每个所述像素基块，将各行像素的曝光时间求和再基于所述像素行数量做平均得到所述每个像素基块中像素的平均曝光时间；

将所述平均曝光时间作为所述每个像素基块的第二曝光时间。

可选的，所述基于所述点云中点的数量分别对各帧图像进行划分，得到与各点相对应的像素基块包括：

按预设顺序确定所述点云中每个点的第一编号；

基于所述点云中点的数量对所述各帧图像中的像素基块进行等分，所述像素基块的数量与所述点云中点的数量一致；

针对每帧图像，基于所述点云中每个点的第一编号确定与所述每个点相对应的所述像素基块，并生成所述每帧图像中各像素基块的第二编号。

可选的，所述针对点云中的每个点，确定所述点的第一曝光时间与所述各帧图像中相对应像素基块的第二曝光时间之间的差值包括：

基于所述每帧图像中各像素基块的第二编号和所述多帧图像的图像帧序号确定所述各帧图像中像素基块所对应第二曝光时间的序列标识信息；所述图像帧序号是基于所述多帧图像连续曝光的时间顺序确定的；

基于所述序列标识信息确定所述点的第一曝光时间与各帧图像中相应像素基块的第二曝光时间之间的差值；

所述确定最小差值对应的像素基块，得到所述点对应的目标像素基块包括：

当取所述最小差值时，获取所述第二曝光时间对应的目标序列标识信息，将所述目标序列标识信息中的目标第二编号和目标图像帧序号所指示确定的像素基块，作为所述点对应的目标像素基块。

可选的，所述多帧图像的帧数量是基于所述第二帧率与所述第一帧率的比值确定的。

另一方面，提供了一种图像重构装置，包括：

获取模块，针对目标场景获取点云和连续曝光的多帧图像；所述点云是激光雷达在单位时间内以第一帧率采集的；所述多帧图像是相机在单位时间内以第二帧率采集的；

计算模块，用于基于所述点云中每个点的第一曝光时间，从所述多帧图像中获取所述点对应的目标像素基块；所述目标像素基块的第二曝光时间与所述第一曝光时间之间的差值小于所述多帧图像中其他像素基块的曝光时间与所述第一曝光时间之间的差值；

图像重构模块，用于基于所述点云中每个点对应的所述目标像素基块重构目标图像。

可选的，所述计算模块包括：

图像处理模块，用于基于所述点云中点的数量分别对各帧图像进行划分，得到与各点相对应的像素基块；

第二曝光时间确定模块，用于确定所述各帧图像中每个像素基块的第二曝光时间；

差值计算模块，用于针对点云中的每个点，确定所述点的第一曝光时间与所述各帧图像中相对应像素基块的第二曝光时间之间的差值；

目标像素基块确定模块，用于确定最小差值对应的像素基块，得到所述点对应的目标像素基块。

可选的，所述第二曝光时间确定模块包括：

像素划分单元，用于确定所述各帧图像中每个像素基块包含的像素行数量；

像素曝光时间确定单元，用于标记所述每个像素基块中每行像素的曝光时间；

第二曝光时间计算单元，用于基于所述每个像素基块包含的像素行数量和所述每行像素的曝光时间确定各帧图像中每个像素基块的第二曝光时间。

可选的，所述第二曝光时间计算单元包括：

平均曝光时间计算单元，用于针对每个所述像素基块，将各行像素的曝光时间求和再基于所述像素行数量做平均得到所述每个像素基块中像素的平均曝光时间；

第二曝光时间确定单元，用于将所述平均曝光时间作为所述每个像素基块的第二曝光时间。

可选的，所述图像处理模块包括：

点云编号单元，用于按预设顺序确定所述点云中每个点的第一编号；

像素基块划分单元，用于基于所述点云中点的数量对所述各帧图像中的像素基块进行等分，所述像素基块的数量与所述点云中点的数量一致；

像素基块编号单元，用于针对每帧图像，基于所述点云中每个点的编号确定与所述每个点相对应的所述像素基块，并生成所述每帧图像中各像素基块的第二编号。

可选的，所述差值计算模块包括：

标识单元，用于基于所述每帧图像中各像素基块的第二编号和所述多帧图像的图像帧序号确定所述各帧图像中像素基块第二曝光时间的序列标识信息；所述图像帧序号是基于所述多帧图像连续曝光的时间顺序确定的；

差值计算单元，用于基于所述序列标识信息确定所述点的第一曝光时间与各帧图像中相应像素基块的第二曝光时间之间的差值；

可选的，所述图像重构装置还包括图像帧数确定模块，用于基于所述第二帧率与所述第一帧率的比值确定所述多帧图像的帧数量。

另一方面，提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述方法的步骤。

另一方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现上述方法的步骤。

另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法的步骤。

采用上述技术方案，本发明具有如下有益效果：

针对目标场景所采集的点云和连续曝光的多帧图像，从多帧图像中获取与点云曝光时间差最小的目标像素基块，将各目标像素基块重构成新的图像，得到更接近真实物理实际情况的图像，尽可能缩小激光雷达采集的点云与相机采集的图像时间误差。

本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，其中，相同的参考标号通常代表相同部件。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像重构方法的流程示意图；

图2为本发明实施例提供的实现图像重构方法的一种可选方法流程示意图；

图3为本发明实施例提供的实现图像重构装置的结构示意图；

图4本发明实施例提供的运行一种图像重构方法的终端的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本发明实施例的应用场景可以为自动驾驶中所采用的传感器，如激光雷达和相机。此外，也可以应用于其他领域中。

自动驾驶过程中，系统会通过激光雷达、相机等传感器采集实时场景数据，如果计算单元接收到的各传感器的消息时间不统一，则会造成例如障碍物识别不准等问题。传感器数据存在时间差主要由于每种传感器的采样频率不一致，如激光雷达通常为10Hz，相机通常为25Hz或30Hz等，不同传感器之间的数据传输还存在一定的延迟，通过寻找相邻时间戳的方法找到最近邻帧，但如果两个时间戳相差较大，且传感器或障碍物又在运动，那么最终会得到较大的同步误差。现有技术中采用硬件同步触发的方法来缓解查找时间戳造成的误差现象：在激光雷达和相机的时间源都统一到GPS时间后，以PPS信号为触发信号，实现激光雷达和相机均在PPS信号上升沿的时候采集数据，且打上各自时钟的时间戳。

为了保证激光雷达在PPS信号上升沿的时候采集点云数据，设置激光雷达的相位锁定角度为相机视野中央，当相机视野和激光雷达的坐标系的方向一致，相位锁定角度应该是0度。每当激光雷达的激光束旋转到0度位置，也就是相机视野正中央，PPS信号上升沿刚好到来，相机也因此触发，就这样就实现了激光雷达和相机的同步采集。

但是，由于激光雷达和相机采集数据的方式不同，激光雷达的激光束不断地360度旋转，假设采集帧率为10Hz的话，那么一帧点云中采集时刻最早的一个点和采集时刻最晚的一个点时间相差100ms。而相机是瞬间曝光的，图中所有像素点的采集时刻在一定精度上可视为是相同的，导致只能近似地保证激光雷达和相机的同步采集。相机视野中央的点云，其采集时间与图像采集时间一致，但相机视野边缘的点云，其采集时间与图像采集时间有一定的时间偏差，根据相机视野的大小和点云采集帧率的不同，时间偏差可能会有5ms～20ms左右。假设以点云的时间作为参考值(真实值)，将图像的时间和点云的时间对齐，则由于两者曝光的时间不一致，使得图像曝光目标的时间值是个不真实的值，由此激光雷达采集的点云与相机采集的图像时间误差较大。

参阅图1，其所示为本发明实施例提供的一种图像重构方法流程示意图。本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统装置或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。本发明实施例提供的图像重构方法包括：

S101，针对目标场景获取点云和连续曝光的多帧图像；所述点云是激光雷达在单位时间内以第一帧率采集的；所述多帧图像是相机在单位时间内以第二帧率采集的；

在一种可能的实施方式中，所述多帧图像的帧数量是基于所述第二帧率与所述第一帧率的比值确定的。

具体的，由于激光雷达和相机的采集帧率不同，通常激光雷达的帧率比相机的帧率小，在单位时间内，激光雷达采集一帧点云的时间比相机采集一帧图像的时间长，为保证一帧点云数据能够与图像数据对应，需要分析连续曝光的多帧图像。例如，在一个实施例中，激光雷达的帧率是10Hz,采集一帧点云需要100ms，相机的帧率是30Hz，采集一帧图像的时间是33.3ms，则需要3帧连续曝光的图像与采集的点云数据对应分析。在其他实施例中，图像的帧数可以基于激光雷达的帧率和相机的帧率决定。

S102，基于所述点云中每个点的第一曝光时间，从所述多帧图像中获取所述点对应的目标像素基块；所述目标像素基块的第二曝光时间与所述第一曝光时间之间的差值小于所述多帧图像中其他像素基块的曝光时间与所述第一曝光时间之间的差值；

在一种可能的实施方式中，步骤S102包括：

S201，基于所述点云中点的数量分别对各帧图像进行划分，得到与各点相对应的像素基块；在一种可能的实施方式中，步骤S201包括：

(1)按预设顺序确定所述点云中每个点的第一编号；

(2)基于所述点云中点的数量对所述各帧图像中的像素基块进行等分，所述像素基块的数量与所述点云中点的数量一致；

(3)针对每帧图像，基于所述点云中每个点的编号确定与所述每个点相对应的所述像素基块，并生成所述每帧图像中各像素基块的第二编号。

具体的，点云中水平m个点，共n行，按照预设顺序比如从左到右、从上到下的方式等将点云中的各点第一编号1，2，3,…，m*n；针对每帧图像，将图像等分出m*n个像素基块，与点云中点的数量一致，按照点云的编号方式将每帧图像中的像素基块编号，确定每帧图像中各像素基块的第二编号1，2，3,…，m*n。

S202，确定所述各帧图像中每个像素基块的第二曝光时间；在一种可能的实施方式中，步骤S202包括：

(1)确定所述各帧图像中每个像素基块包含的像素行数量；

(2)标记所述每个像素基块中每行像素的曝光时间；

(3)基于所述每个像素基块包含的像素行数量和所述每行像素的曝光时间确定各帧图像中每个像素基块的第二曝光时间。其中，针对每个所述像素基块，将各行像素的曝光时间求和再基于所述像素行数量做平均得到所述每个像素基块中像素的平均曝光时间；将所述平均曝光时间作为所述每个像素基块的第二曝光时间。

具体的，每个像素基块包含k行的像素，每行像素的曝光时间为t’(1)、t’(2)、…、t’(k),获取这k行像素的平均曝光时间,作为该像素基块的第二曝光时间。

S203，针对点云中的每个点，确定所述点的第一曝光时间与所述各帧图像中相对应像素基块的第二曝光时间之间的差值；在一种可能的实施方式中，步骤S203包括：

(1)基于所述每帧图像中各像素基块的第二编号和所述多帧图像的图像帧序号确定所述各帧图像中像素基块第二曝光时间的序列标识信息；所述图像帧序号是基于所述多帧图像连续曝光的时间顺序确定的；

(2)基于所述序列标识信息确定所述点的第一曝光时间与各帧图像中相应像素基块的第二曝光时间之间的差值。

具体的，根据点云第一编号，点云中每个点的第一曝光时间依次标记为tl(1),tl(2),tl(3),…,tl(m*n)，即点云点的第一曝光时间为tl(i)，i∈{1,2,3,……,m*n}；多帧图像的帧数为x，根据每帧图像中各像素基块的第二编号，将各帧图像中像素基块的第二曝光时间依次标记为t(1)(1)，t(1)(2)，…，t(1)(m*n)，…，t(x)(1)，t(x)(2)，…，t(x)(m*n)。即像素基块的第二曝光时间为t(x)(i)，其中x代表图像帧序号，i表示像素基块的第二编号，且i∈{1,2,3,……,m*n}。

针对每个点云的点，分别计算所述点的第一曝光时间与各帧图像中相应像素基块的第二曝光时间之间的差值，即δt(x)(i)＝tl(i)-t(x)(i)。

S204，确定最小差值对应的像素基块，得到所述点对应的目标像素基块。

在一种可能的实施方式中，当取所述最小差值时，获取所述第二曝光时间对应的目标序列标识信息，将所述目标序列标识信息中的目标第二编号和目标图像帧序号所指示确定的像素基块，作为所述点对应的目标像素基块。具体的，例如针对点云中的点1，其第一曝光时间与各帧图像中的像素基块1的第二曝光时间取差值，其中与第二帧图像的像素基块1的第二曝光时间差值最小，则将第二帧图像的像素基块1确定为点1对应的目标像素基块；针对点云中的点2，其第一曝光时间与各帧图像中的像素基块2的第二曝光时间取差值，其中与第三帧图像的像素基块2的第二曝光时间差值最小，则将第二帧图像的像素基块2确定为点2对应的目标像素基块，其他点以此类推，确定每个点对应的目标像素基块，将其标记出来，用于后述的图像重构。

S103，基于所述点云中每个点对应的所述目标像素基块重构目标图像。

为了便于理解本发明的技术方案，下面阐述一个实施例进行详细说明，其中数量的列举为了方便阐述，选择的数值较小，具体实施过程中以实际情况为准：

激光雷达以10Hz的帧率采集一帧点云，相机以30Hz的帧率采集三帧图像与点云对应。点云水平5个点，共8行，将点云中每个点的第一曝光时间依次标记为tl(1),tl(2),tl(3),…,tl(40)；每帧图像等分为40个像素基块，每个像素基块包含10行像素，基于10行像素的平均曝光时间确定像素基块的第二曝光时间，将各帧图像中像素基块的第二曝光时间依次标记为t(1)(1)，t(1)(2)，…，t(1)(40)，t(2)(1)，…，t(2)(40)，t(3)(1)，…，t(3)(40)；针对点云中的点1，根据δt(x)(i)＝tl(i)-t(x)(i)，将tl(1)与t(1)(1)、t(2)(1)、t(3)(1)取差值，得到δt(2)(1)为最小值，即第二帧图像中的像素基块1为目标像素基块，将其标记出来，用于图像重构，其他点以此类推，最后基于各像素基块重构目标图像。需要注意的是，δt(x)(i)的值要取绝对值，最后确定的是绝对值最小的值。

与上述图像重构方法相对应，本发明实施例还提供一种图像重构装置，由于本发明实施例提供的图像重构装置与上述几种实施例提供的图像重构方法相对应，因此前述图像重构方法的实施方式也适用于本实施例提供的图像重构装置，在本发明实施例中不再赘述。

参考图3，其所示为本发明实施例提供的一种图像重构装置结构示意图，该装置具有实现上述方法实施例中图像重构方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现，该装置可以包括：

获取模块310，针对目标场景获取点云和连续曝光的多帧图像；所述点云是激光雷达在单位时间内以第一帧率采集的；所述多帧图像是相机在单位时间内以第二帧率采集的；

计算模块320，用于基于所述点云中每个点的第一曝光时间，从所述多帧图像中获取所述点对应的目标像素基块；所述目标像素基块的第二曝光时间与所述第一曝光时间之间的差值小于所述多帧图像中其他像素基块的曝光时间与所述第一曝光时间之间的差值；

图像重构模块330，用于基于所述点云中每个点对应的所述目标像素基块重构目标图像。

可选的，所述计算模块320包括：

图像处理模块，用于基于所述点云中点的数量分别对各帧图像进行划分，得到与各点相对应的像素基块；

第二曝光时间确定模块，用于确定所述各帧图像中每个像素基块的第二曝光时间；

差值计算模块，用于针对点云中的每个点，确定所述点的第一曝光时间与所述各帧图像中相对应像素基块的第二曝光时间之间的差值；

目标像素基块确定模块，用于确定最小差值对应的像素基块，得到所述点对应的目标像素基块。

可选的，所述第二曝光时间确定模块包括：

像素划分单元，用于确定所述各帧图像中每个像素基块包含的像素行数量；

像素曝光时间确定单元，用于标记所述每个像素基块中每行像素的曝光时间；

第二曝光时间计算单元，用于基于所述每个像素基块包含的像素行数量和所述每行像素的曝光时间确定各帧图像中每个像素基块的第二曝光时间。

可选的，所述第二曝光时间计算单元包括：

平均曝光时间计算单元，用于针对每个所述像素基块，将各行像素的曝光时间求和再基于所述像素行数量做平均得到所述每个像素基块中像素的平均曝光时间；

第二曝光时间确定单元，用于将所述平均曝光时间作为所述每个像素基块的第二曝光时间。

可选的，所述图像处理模块包括：

点云编号单元，用于按预设顺序确定所述点云中每个点的第一编号；

像素基块划分单元，用于基于所述点云中点的数量对所述各帧图像中的像素基块进行等分，所述像素基块的数量与所述点云中点的数量一致；

像素基块编号单元，用于针对每帧图像，基于所述点云中每个点的编号确定与所述每个点相对应的所述像素基块，并生成所述每帧图像中各像素基块的第二编号。

可选的，所述差值计算模块包括：

标识单元，用于基于所述每帧图像中各像素基块的第二编号和所述多帧图像的图像帧序号确定所述各帧图像中像素基块第二曝光时间的序列标识信息；所述图像帧序号是基于所述多帧图像连续曝光的时间顺序确定的；

差值计算单元，用于基于所述序列标识信息确定所述点的第一曝光时间与各帧图像中相应像素基块的第二曝光时间之间的差值；

可选的，所述图像重构装置还包括图像帧数确定模块，用于基于所述第二帧率与所述第一帧率的比值确定所述多帧图像的帧数量。

本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现如上述图像重构方法的步骤。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本发明实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在终端上为例，参考图4，其所示为本发明实施例提供的运行一种图像重构方法的终端的硬件结构示意图。

具体的，所述终端可以包括RF(Radio Frequency，射频)电路410、包括有一个或一个以上计算机可读存储介质的存储器420、输入单元430、显示单元440、传感器450、音频电路460、WiFi(wireless fidelity，无线保真)模块470、包括有一个或者一个以上处理核心的处理器480、以及电源490等部件。本领域技术人员可以理解，图4中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器480处理；另外，将涉及上行的数据发送给基站。

存储器420可用于存储软件程序以及模块，处理器480通过运行存储在存储器420的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器420还可以包括存储器控制器，以提供处理器480和输入单元430对存储器420的访问。

输入单元430可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元430可包括触敏表面431以及其他输入设备432。

显示单元440可用于显示由用户输入的信息或提供给用户的信息以及所述终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元440可包括显示面板441，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板441。进一步的，触敏表面431可覆盖显示面板441，当触敏表面431检测到在其上或附近的触摸操作后，传送给处理器480以确定触摸事件的类型，随后处理器480根据触摸事件的类型在显示面板441上提供相应的视觉输出。其中，触敏表面431与显示面板441可以两个独立的部件来实现输入和输出功能，但是在某些实施例中，也可以将触敏表面431与显示面板441集成而实现输入和输出功能。

所述终端还可包括至少一种传感器450，比如光传感器、运动传感器以及其他传感器。音频电路460、扬声器461，传声器462可提供用户与所述终端之间的音频接口。音频电路460可将接收到的音频数据转换后的电信号，传输到扬声器461，由扬声器461转换为声音信号输出；另一方面，传声器462将收集的声音信号转换为电信号，由音频电路460接收后转换为音频数据，再将音频数据输出处理器480处理后，经RF电路410以发送给比如另一终端，或者将音频数据输出至存储器420以便进一步处理。音频电路460还可能包括耳塞插孔，以提供外设耳机与所述终端的通信。

WiFi属于短距离无线传输技术，所述终端通过WiFi模块470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块470，但是可以理解的是，其并不属于所述终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器480是所述终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行所述终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器480可包括一个或多个处理核心；优选的，处理器480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器480中。

所述终端还包括给各个部件供电的电源490(比如电池)，优选的，电源可以通过电源管理系统与处理器480逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源490还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，所述终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的图像重构方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述图像重构方法的步骤。在本发明实施例中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。

本发明实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法的步骤。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像重构方法，其特征在于，包括：

针对目标场景获取点云和连续曝光的多帧图像；所述点云是激光雷达在单位时间内以第一帧率采集的；所述多帧图像是相机在单位时间内以第二帧率采集的；

基于所述点云中每个点的第一曝光时间，从所述多帧图像中获取所述点对应的目标像素基块；所述目标像素基块的第二曝光时间与所述第一曝光时间之间的差值小于所述多帧图像中其他像素基块的曝光时间与所述第一曝光时间之间的差值；

基于所述点云中每个点对应的所述目标像素基块重构目标图像。

2.根据权利要求1所述的图像重构方法，其特征在于，所述基于所述点云中每个点的第一曝光时间，从所述多帧图像中获取所述点对应的目标像素基块，包括：

基于所述点云中点的数量分别对各帧图像进行划分，得到与各点相对应的像素基块；

确定所述各帧图像中每个像素基块的第二曝光时间；

针对点云中的每个点，确定所述点的第一曝光时间与所述各帧图像中相对应像素基块的第二曝光时间之间的差值；

确定最小差值对应的像素基块，得到所述点对应的目标像素基块。

3.根据权利要求2所述的图像重构方法，其特征在于，所述确定所述各帧图像中每个像素基块的第二曝光时间包括：

确定所述各帧图像中每个像素基块包含的像素行数量；

标记所述每个像素基块中每行像素的曝光时间；

基于所述每个像素基块包含的像素行数量和所述每行像素的曝光时间确定各帧图像中每个像素基块的第二曝光时间。

4.根据权利要求3所述的图像重构方法，其特征在于，所述基于所述每个像素基块包含的像素行数量和所述每行像素的曝光时间确定各帧图像中每个像素基块的第二曝光时间包括：

针对每个所述像素基块，将各行像素的曝光时间求和再基于所述像素行数量做平均得到所述每个像素基块中像素的平均曝光时间；

将所述平均曝光时间作为所述每个像素基块的第二曝光时间。

5.根据权利要求2所述的图像重构方法，其特征在于，所述基于所述点云中点的数量分别对各帧图像进行划分，得到与各点相对应的像素基块包括：

按预设顺序确定所述点云中每个点的第一编号；

基于所述点云中点的数量对所述各帧图像中的像素基块进行等分，所述像素基块的数量与所述点云中点的数量一致；

针对每帧图像，基于所述点云中每个点的第一编号确定与所述每个点相对应的所述像素基块，并生成所述每帧图像中各像素基块的第二编号。

6.根据权利要求5所述的图像重构方法，其特征在于，所述针对点云中的每个点，确定所述点的第一曝光时间与所述各帧图像中相对应像素基块的第二曝光时间之间的差值包括：

基于所述每帧图像中各像素基块的第二编号和所述多帧图像的图像帧序号确定所述各帧图像中像素基块所对应第二曝光时间的序列标识信息；所述图像帧序号是基于所述多帧图像连续曝光的时间顺序确定的；

基于所述序列标识信息确定所述点的第一曝光时间与各帧图像中相应像素基块的第二曝光时间之间的差值；

所述确定最小差值对应的像素基块，得到所述点对应的目标像素基块包括：

当取所述最小差值时，获取所述第二曝光时间对应的目标序列标识信息，将所述目标序列标识信息中的目标第二编号和目标图像帧序号所指示确定的像素基块，作为所述点对应的目标像素基块。

7.根据权利要求1所述的图像重构方法，其特征在于，所述多帧图像的帧数量是基于所述第二帧率与所述第一帧率的比值确定的。

8.一种图像重构装置，其特征在于，包括：

获取模块，针对目标场景获取点云和连续曝光的多帧图像；所述点云是激光雷达在单位时间内以第一帧率采集的；所述多帧图像是相机在单位时间内以第二帧率采集的；

计算模块，用于基于所述点云中每个点的第一曝光时间，从所述多帧图像中获取所述点对应的目标像素基块；所述目标像素基块的第二曝光时间与所述第一曝光时间之间的差值小于所述多帧图像中其他像素基块的曝光时间与所述第一曝光时间之间的差值；

图像重构模块，用于基于所述点云中每个点对应的所述目标像素基块重构目标图像。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一项所述方法的步骤。

Images