CN109685748B - 图像处理方法、装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。所述方法包括：获取图像传感器输出的第一图像；将第一图像进行第一滤波处理得到第二图像，并将第二图像存储在图像集合中；当检测到图像生成指令时，根据图像生成指令从图像集合中获取待处理图像；将待处理图像进行第二滤波处理得到目标图像。上述图像处理方法、装置、电子设备、计算机可读存储介质，可以减轻电子设备的压力。

Description

图像处理方法、装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。

背景技术

随着计算机技术的发展，出现了越来越多的图像处理技术。通过图像处理技术可以对图像进行压缩、增强、复原、匹配、描述和识别等处理，以达到所需结果的技术。在图像处理的过程中，需要耗费大量的资源，存在电子设备压力较大的问题。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、存储介质，可以减轻电子设备的压力。

一种图像处理方法，所述方法包括：

获取图像传感器输出的第一图像；

将所述第一图像进行第一滤波处理得到第二图像，并将所述第二图像存储在图像集合中；

当检测到图像生成指令时，根据所述图像生成指令从所述图像集合中获取待处理图像；

将所述待处理图像进行第二滤波处理得到目标图像。

一种图像处理装置，所述装置包括：

第一图像获取模块，用于获取图像传感器输出的第一图像；

第一滤波处理模块，用于将所述第一图像进行第一滤波处理得到第二图像，并将所述第二图像存储在图像集合中；

待处理图像获取模块，用于当检测到图像生成指令时，根据所述图像生成指令从所述图像集合中获取待处理图像；

第二滤波处理模块，用于将所述待处理图像进行第二滤波处理得到目标图像。

一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法的步骤。

上述图像处理方法、装置、电子设备和计算机可读存储介质，获取图像传感器输出的第一图像；将第一图像进行第一滤波处理得到第二图像，并将第二图像存储在图像集合中；当检测到图像生成指令时，根据图像生成指令从图像集合中获取待处理图像；将待处理图像进行第二滤波处理得到目标图像。将第二图像存储在图像集合中，当检测到图像生成指令时进行第二滤波处理，将第一滤波与第二滤波进行异步处理得到目标图像，缓冲了电子设备的处理压力。同时避免了第一滤波处理之后同步进行第二滤波处理，电子设备处理压力过大而使图像处理的时间过长，导致数据的堵塞，提高了图像处理的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程示意图；

图3为一个实施例中图像处理步骤的流程示意图；

图4为一个实施例中相机测距原理的示意图；

图5为一个实施例中图像处理步骤的流程示意图；

图6为一个实施例中将第二图像存储在图像集合中的流程示意图；

图7为一个实施例中从图像集合中获取待处理图像的流程示意图；

图8为一个实施例中图像处理步骤的流程示意图；

图9为一个实施例中第二滤波处理步骤的流程示意图；

图10为一个实施例中目标图像生成步骤的流程示意图；

图11为一个实施例中图像处理装置的结构框图；

图12为一个实施例中电子设备的内部结构示意图；

图13为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一滤波处理称为第二滤波处理，且类似地，可将第二滤波处理称为第一滤波处理。第一滤波处理和第二滤波处理两者都是滤波处理，但其不是同一滤波处理。

本申请实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。电子设备102获取图像传感器输出的第一图像；将第一图像进行第一滤波处理得到第二图像，并将第二图像存储在图像集合中；当检测到图像生成指令时，根据图像生成指令从图像集合中获取待处理图像；将待处理图像进行第二滤波处理得到目标图像。其中，电子设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的电子设备为例进行说明，包括以下步骤：

步骤202，获取图像传感器输出的第一图像。

图像传感器指的是一种利用光电器件的光电转换功能将光学图像转换成电子信号的功能器件。图像传感器将其受光面上的光像，分成许多小单元，将其转换成可用的电信号。例如，图像传感器可以为光导摄像管，或者为固态图像传感器等。

具体地，获取图像传感器输出至少两帧图像数据的电信号，根据至少两帧图像数据的电信号可以计算得到第一图像。第一图像可以包括深度图像和置信度图像。其中，深度图像指的是可以反映物体到相机之间距离的图像，置信度图像用于表示深度图像中各个像素点的置信度。根据图像数据可以计算得到深度图像和置信度图，根据获取的置信度图像中各个像素点的像素值可以得到深度图像中对应像素点的置信度。置信度图像中像素点的像素值越高，表示该深度图像中对应的像素点的像素值越可靠。

步骤204，将第一图像进行第一滤波处理得到第二图像，并将第二图像存储在图像集合中。

其中，第一滤波处理指的是将第一图像进行去噪，将第一图像中存在的误差进行校正的处理。图像集合指的是用于存储第二图像的集合。在图像集合中，可以预设存储第二图像的数量，图像集合中存储的第二图像的数量不能超过预设的数量。

可以理解的是，第一图像和第二图像可以携带时间戳，第一图像的时间戳和第二图像的时间戳可以为相同的时间戳，例如，第一图像的时间戳和第二图像的时间戳可以都表示获取第一图像的时刻，那么第一图像的时间戳和第二图像的时间戳就为相同时间戳。图像集合中存储的第二图像可以是按照第二图像的时间戳进行排列，也可以是随机进行排列，不限于此。

具体地，获取第一图像的时间戳，按照时间戳的顺序将第一图像进行第一滤波处理。可以根据图像数据的相位信息检测第一图像是否存在延时等误差，当第一图像存在延时等误差时，将第一图像进行第一滤波处理得到第二图像。

步骤206，当检测到图像生成指令时，根据图像生成指令从图像集合中获取待处理图像。

图像生成指令可以是通过点击应用程序上的图像生成按钮得到的，也可以是通过输入文本信息得到的，还可以是通过识别输入的语音信息得到的，不限于此。

检测到图像生成指令后，从图像集合中存储的第二图像中获取待处理图像，将获取的待处理图像进行第二滤波处理得到目标图像。图像生成指令中可以携带一个匹配时间戳，图像生成指令中的匹配时间戳用于表示发起图像生成指令的时刻。具体的，可以根据图像生成指令中携带的匹配时间戳，从图像集合中获取与图像生成指令中携带的匹配时间戳相匹配的第二图像，并将该第二图像作为待处理图像。

步骤208，将待处理图像进行第二滤波处理得到目标图像。

其中，第二滤波处理指的是将待处理图像进行去噪，将待处理图像中的误差进行校正的处理。

获取到待处理图像后，将待处理图像进行第二滤波处理，获取更加准确的目标图像，并将目标图像发送至获取图像生成指令的应用程序中。

在本实施例中，获取图像传感器输出的第一图像；将第一图像进行第一滤波处理得到第二图像，并将第二图像存储在图像集合中；当检测到图像生成指令时，根据图像生成指令从图像集合中获取待处理图像；将待处理图像进行第二滤波处理得到目标图像。将第二图像存储在图像集合中，当检测到图像生成指令时进行第二滤波处理，将第一滤波与第二滤波进行异步处理得到目标图像，缓冲了电子设备的处理压力。同时避免了第一滤波处理之后同步进行第二滤波处理，电子设备处理压力过大而使图像处理的时间过长，导致数据的堵塞，提高了图像处理的效率。

在一个实施例中，获取图像传感器输出的第一图像，包括：

步骤302，获取图像传感器输出的至少两帧图像数据，根据至少两帧图像数据计算得到第一图像。

具体地，电子设备可以通过TOF(Time of flight，飞行时间)摄像头来采集图像，TOF摄像头的光源将脉冲或者连续波的电信号转化为光信号发射，通过物体发射回来，图像传感器接收到发射回来的光信号，并将光信号解析成脉冲或者连续波的电信号，也就是输出的图像数据。

第一图像的生成需要至少两帧图像数据，每帧图像数据由一次曝光得到。不同的曝光时间获取的图像数据的相位不同，根据不同相位的图像数据可以获取不同的电信号量，即获取不同的图像数据，根据至少两帧图像数据可以计算得到第一图像。

如图4所示，Light Source表示光源发射的脉冲波，Reflection表示图像传感器接收到的脉冲波，C1、C2、C3、C4为四次曝光时接收得到的图像数据，Tp为脉冲波的持续时间。

C1表示的是当光源开始发射脉冲波时进行接收，与光源相位相同，在接收反射回来的脉冲波中采集到图像数据Q1。C2表示的是当光源结束发射脉冲波时进行接收，与光源相位相差180度，在接收反射回来的脉冲波中采集到图像数据Q2。C3表示的是当光源开始发射脉冲波时进行接收，与光源相位相差90度，在接收反射回来的脉冲波中采集到图像数据Q3。C4表示的是当光源开始发射脉冲波时进行接收，与光源相位相差270度，在接收反射回来的脉冲波中采集到图像数据Q4。

将采集到的4帧图像数据Q1、Q2、Q3、Q4可以通过以下计算公式计算得到物体与相机之间的距离D：D＝c/2*Tp*Q1/(Q1+Q2+Q3+Q4)。再根据计算得到的物体与终端之间的距离D和至少两帧图像数据可以得到第一图像。

将第一图像进行第一滤波处理得到第二图像，包括：

步骤304，根据至少两帧图像数据对第一图像进行第一滤波处理，得到第二图像。

每帧图像数据与光源发射的信号数据都存在相位关系，可以根据图像数据的相位关系对第一图像进行第一滤波处理，得到第二图像。

如图5所示，获取图像传感器输出的至少两帧图像数据，根据至少两帧图像数据计算得到第一图像，再将第一图像进行第一滤波处理得到第二图像，并将第二图像存储在图像集合中。

在本实施例中，通过获取输出的至少两帧图像数据计算得到物体与相机的距离，从而得到第一图像，再根据至少两帧图像数据对第一图像进行第一滤波处理，得到第二图像，提高了第二图像的准确度。

在一个实施例中，根据至少两帧图像数据对所述第一图像进行第一滤波处理，得到第二图像，包括：根据至少两帧图像数据判断得到的第一图像是否存在延时误差；当第一图像存在延时误差时，对第一图像进行第一滤波处理得到第二图像。

具体地，图像数据是根据不同相位的光信号生成的，因此图像数据也有对应的相位信息，根据相位信息可以判断得到的图像数据是否存在延时。当得到的图像数据存在延时的时候，认为得到的图像数据是不准确的，即可以认为存在延时误差的图像数据所生成的第一图像也存在延时误差。这时可以将存在延时误差的第一图像进行删除或者补偿等滤波处理，对第一图像的延时误差进行滤波处理后，并根据滤波处理的第一图像生成第二图像，得到的第二图像更准确。

在本实施例中，当第一图像存在延时误差时，可以根据至少两帧图像数据对第一图像进行校正，提高图像处理的准确度。

在一个实施例中，将第二图像存储在图像集合中，包括：

步骤602，当检测到图像集合中包含的图像的数量超过预设数量时，从图像集合中获取待移除图像。

图像集合用于存储图像传感器输出的经过第一滤波处理的图像，即上述图像集合中包含的图像是指在得到上述第二图像之前图像传感器输出的经过第一滤波处理的图像。电子设备可以设定一个预设数量，并实时检测图像集合中包含的图像的数量，然后将检测的数量与预设数量进行比较。具体地，当检测到图像集合中包含的第二图像的数量超过预设数量时，可以将图像集合中的所有第二图像都作为待移除图像，也可以根据图像集合中的第二图像的时间戳，将最先生成第二图像作为待移除图像，不限于此。

例如，图像集合中包含三张第二图像分别为图像A、图像B、图像C，对应的时间戳分别为“2018年11月29日10:20:02”、“2018年11月29日10:20:05”、“2018年11月29日10:20:08”，则可以将最先生成的图像A作为待移除图像。

步骤604，将待移除图像从图像集合中移除，并将第二图像存储在图像集合中。

获取到图像集合中的待移除图像后，将待移除图像从图像集合中移除，并将第二图像存储在图像集合中。移除可以是直接将待移除图像进行删除，也可以是将待移除图像转移到其他特定的存储地址中存储，不限于此。例如，获取图像集合中最先存储的图像，并将该最先存储的图像删除，然后将得到的第二图像存储到该图像集合中。将第二图像存储到图像集合之后，还可以将图像集合中的图像按照图像包含的时间戳进行重新排列，以便于在将待移除图像进行移除时提高效率。

在本实施例中，当检测到图像集合中包含的图像的数量超过预设数量时，移除图像集合中的待移除图像，并将第二图像存储在图像集合中，可以减少电子设备的资源消耗。

在一个实施例中，当检测到图像生成指令时，根据图像生成指令从图像集合中获取待处理图像，包括：

步骤702，当检测到图像生成指令时，获取图像生成指令携带的匹配时间戳。

其中，匹配时间戳指的是图像生成指令在一个特定时间点已经存在的字符序列，可以唯一表示一个特定的时刻。

当发起图像生成指令时，根据发起图像生成指令的时刻生成匹配时间戳。同时，在第一图像进行第一滤波处理后，得到的第二图像携带第二图像生成时刻的时间戳，并将第二图像存储在图像集合中。

步骤704，将匹配时间戳与图像集合中第二图像对应的图像时间戳进行匹配，将与匹配时间戳相匹配的图像时间戳作为目标时间戳。

具体地，可以获取图像集合中的第二图像对应的图像时间戳，并将第二图像按照时间的顺序进行排列。按照排列的顺序将图像生成指令的匹配时间戳与图像集合中图像对应的图像时间戳进行逐一匹配，当图像时间戳与匹配时间戳相匹配时，则终止匹配操作，并获取与匹配时间戳相匹配的图像时间戳作为目标时间戳。

步骤706，从图像集合中获取目标时间戳对应的第二图像作为待处理图像。

获取目标时间戳后，将目标时间戳对应的第二图像作为待处理图像。获取待处理图像的同时，可以将待处理图像从图像集合中移除，节省图像集合的内存消耗。

如图8所示，当应用程序检测到图像生成指令时，根据图像生成指令携带的匹配时间戳从图像集合中获取待处理图像，将待处理图像进行第二滤波处理得到目标图像，并将目标图像发送至应用程序中。

在一个实施例中，当图像集合中包含的第二图像的数量超过预设数量时，移出图像集合中的存储的图像，包括：当图像集合中包含的第二图像的数量超过预设数量时，获取图像集合中的各个图像的时间戳；根据各个图像的时间戳将图像移至回收集合中，并将回收集合中的图像作为回收图像。

进一步地，将匹配时间戳与图像集合中第二图像对应的图像时间戳进行匹配之后，还包括：当图像集合中第二图像对应的图像时间戳与匹配时间戳都不匹配时，将匹配时间戳与回收集合中的回收图像的回收时间戳进行匹配，将与匹配时间戳相匹配的回收时间戳作为目标回收时间戳；从回收集合中获取目标回收时间戳对应的回收图像作为待处理图像。

在本实施例中，将图像生成指令携带的匹配时间戳与图像集合中第二图像对应的图像时间戳进行匹配，获取与匹配时间戳相匹配的目标时间戳，并获取目标时间戳对应的第二图像作为待处理图像，通过时间戳进行匹配获取待处理图像，可以提高从图像集合中获取的待处理图像的准确度。

在一个实施例中，待处理图像包括深度图像和置信度图像，将待处理图像进行第二滤波处理得到目标图像，包括：

步骤902，获取置信度图像中各个像素点的置信度。

深度图像指的是可以反映物体到相机之间距离的图像，置信度图像用于表示图像中各个像素点的置信度。深度图像和置信度图像是对应的，置信度图像中的像素点的像素值越高，表示置信度越高，则表示该像素点在深度图像中对应的像素点的像素值越可信。具体的，在生成置信度图像的过程中，可以根据图像数据判断图像中像素点的颜色，当颜色越白，则表示反射光线强度越强，该像素点接收到的信息越多，越接近真实场景，即置信度越高。

步骤904，获取置信度图像中置信度低于置信度阈值的像素点作为第一像素点。

可以预设置信度图像中各个像素点的置信度阈值为同一个值，也可以分区域进行设置。在一般情况下，处于图像中间区域的图像信息较为重要，体现图像的主要信息，而处于图像边缘区域的图像信息不那么重要。因此，可以预设置信度图像的中间区域的置信度阈值较高，预设置信度图像的边缘区域的置信度阈值较低。置信度图像中各个像素点的置信度还可以根据用户的需要进行设置，不限于此。

当置信度图像中的像素点的置信度低于置信度阈值时，则表示该像素点接收到反射的光线强度较弱，接收到的信息较少，该像素点不可信。

步骤906，将深度图像中对应于第一像素点的第二像素点进行第二滤波处理，根据第二滤波处理后的深度图像生成目标图像。

可以理解的是，待处理图像包括深度图像和置信度图像，并且深度图像和置信度图像反映的是同一个场景，深度图像和置信度图像中各个像素点一一对应。将置信度图像中置信度低于置信度阈值的像素点作为第一像素点，则表示深度图像中对应于第一像素点的第二像素点的像素值不可信。获取第二像素点进行第二滤波处理，根据第二滤波处理后的深度图像生成目标图像。

在本实施例中，获取置信度图像中各个像素点的置信度，将低于置信度阈值的像素点作为第一像素点，获取深度图像中对应于第一像素点的第二像素点并进行第二滤波处理，最后得到目标图像。将置信度低于置信度阈值的像素点进行滤波处理，避免了将图像中的各个像素点进行滤波处理，提高了图像处理的准确度，并且同时节约了电子设备的资源。

在一个实施例中，将深度图像中对应于第一像素点的第二像素点进行第二滤波处理，根据第二滤波处理后的深度图像生成目标图像，包括：获取深度图像中对应于第一像素点的第二像素点，将第二像素点标记为无效；根据标记后的深度图像生成目标图像。

具体地，置信度低于置信度阈值的像素点被认为是可信度比较低的像素点，获取深度图像中对应于第一像素点的第二像素点，将第二像素点标记为无效。可以通过识别该标记可以将第二像素点的像素值移除，并将移除无效标记的像素点的深度图像生成目标图像。

在另外一个实施例中，将深度图像中对应于第一像素点的第二像素点进行第二滤波处理，根据第二滤波处理后的深度图像生成目标图像，包括：

步骤1002，获取深度图像中对应于第一像素点的第二像素点，根据第二像素点在深度图像中的位置确定参考范围，并将深度图像中参考范围内的像素点作为参考像素点。

可以理解的是，在图像中，反映的是整个场景，具有连续性和协调性。各个像素点与邻近的像素点之间的关联度较高，距离越近，则关联度越高。

在一个实施例中，可以在将第二像素点标记为无效后，根据第二像素点在深度图像中的位置确定参考范围。参考范围可以是预先设置的，参考范围内的像素点即为参考像素点。也可以通过识别深度图像中各个像素点的深度，将与第二像素点同一深度的像素点作为参考像素点，不限于此。

步骤1004，获取各个参考像素点的参考像素值，根据参考像素值计算得到目标像素值。

获取各个参考像素点的像素值后，可以将参考像素值进行计算求平均值得到目标像素值。例如，有n个参考像素值分别为a1,a2,a3……，则目标像素值＝(a1+a2+a3+……)/n。

也可以根据参考像素点与第二像素点的距离，设置不同的权重参数。可以理解的是，参考像素点与第二像素点的距离越近，则权重参数越大。例如，有n个参考像素值分别为a1,a2,a3,a4,a5,a6……，与第二像素点距离较近的参考像素点的像素值为a1,a2,a3,a4，该权重参数为k1，与第二像素点距离较远的参考像素点的像素值为a5,a6……，该权重参数为k2。则目标像素值＝(a1+a2+a3+a4)*k1/4+(a5+a6……)*k2/(n-4)。

步骤1006，将第二像素点的像素值更改为目标像素值，根据更改像素值后深度图像生成目标图像。

获取第二像素点的目标像素值后，可以移除第二像素点原本的像素值，也可以将第二像素点的目标像素值覆盖原本的像素值。再根据更改像素值后深度图像生成目标图像。

在本实施例中，将深度图像中对应于第一像素点的第二像素点标记为无效，根据标记后的深度图像生成目标图像，可以将标记为无效的第二像素点移除或者根据邻近的像素点进行补偿，提高了生成目标图像的准确度。

应该理解的是，虽然图2-3、图6-7、图9-10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3、图6-7、图9-10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，上述图像处理方法还可以包括以下步骤：

(1)获取图像传感器输出的至少两帧图像数据，根据至少两帧图像数据计算得到第一图像；

(2)根据至少两帧图像数据判断得到的第一图像是否存在延时误差；

(3)当第一图像存在延时误差时，对第一图像进行第一滤波处理得到第二图像；

(4)当检测到图像集合中包含的图像的数量超过预设数量时，从图像集合中获取待移除图像；

(5)将待移除图像从图像集合中移除，并将第二图像存储在图像集合中；

(6)当检测到图像生成指令时，获取图像生成指令携带的匹配时间戳；

(7)将匹配时间戳与图像集合中第二图像对应的图像时间戳进行匹配，将与匹配时间戳相匹配的图像时间戳作为目标时间戳；

(8)从图像集合中获取目标时间戳对应的第二图像作为待处理图像，其中，待处理图像包括深度图像和置信度图像；

(9)获取置信度图像中各个像素点的置信度；

(10)获取置信度图像中置信度低于置信度阈值的像素点作为第一像素点；

(11)获取深度图像中对应于第一像素点的第二像素点，将第二像素点标记为无效；

(12)根据第二像素点在深度图像中的位置确定参考范围，并将深度图像中参考范围内的像素点作为参考像素点；

(13)获取各个参考像素点的参考像素值，根据参考像素值计算得到目标像素值；

(14)将第二像素点的像素值更改为目标像素值，根据更改像素值后深度图像生成目标图像。

在一个实施例中，如图11所示，提供了一种图像处理装置1100，包括：第一图像获取模块1102、第一滤波处理模块1104、待处理图像获取模块1106和第二滤波处理模块1108，其中：

第一图像获取模块1102，用于获取图像传感器输出的第一图像。

第一滤波处理模块1104，用于将第一图像进行第一滤波处理得到第二图像，并将第二图像存储在图像集合中。

待处理图像获取模块1106，用于当检测到图像生成指令时，根据图像生成指令从图像集合中获取待处理图像。

第二滤波处理模块1108，用于将待处理图像进行第二滤波处理得到目标图像。

上述图像处理装置，获取图像传感器输出的第一图像；将第一图像进行第一滤波处理得到第二图像，并将第二图像存储在图像集合中；当检测到图像生成指令时，根据图像生成指令从图像集合中获取待处理图像；将待处理图像进行第二滤波处理得到目标图像。将第二图像存储在图像集合中，当检测到图像生成指令时进行第二滤波处理，将第一滤波与第二滤波进行异步处理得到目标图像，缓冲了电子设备的处理压力。同时避免了第一滤波处理之后同步进行第二滤波处理，电子设备处理压力过大而使图像处理的时间过长，导致数据的堵塞，提高了图像处理的效率。

上述第一图像获取模块1102还用于获取图像传感器输出的至少两帧图像数据，根据至少两帧图像数据计算得到第一图像。上述第一滤波处理模块904还用于根据至少两帧图像数据对第一图像进行第一滤波处理，得到第二图像。

上述第一滤波处理模块1104还用于根据至少两帧图像数据判断得到的第一图像是否存在延时误差；当第一图像存在延时误差时，对第一图像进行第一滤波处理得到第二图像。

上述第一滤波处理模块1104还用于当检测到图像集合中包含的图像的数量超过预设数量时，从图像集合中获取待移除图像；将待移除图像从图像集合中移除，并将第二图像存储在图像集合中。

上述待处理图像获取模块1106还用于当检测到图像生成指令时，获取图像生成指令携带的匹配时间戳；将匹配时间戳与图像集合中图像对应的图像时间戳进行匹配，将与匹配时间戳相匹配的图像时间戳作为目标时间戳；从图像集合中获取目标时间戳对应的图像作为待处理图像。

上述第二滤波处理模块1108还用于获取置信度图像中各个像素点的置信度；获取置信度图像中置信度低于置信度阈值的像素点作为第一像素点；将深度图像中对应于第一像素点的第二像素点进行第二滤波处理，根据第二滤波处理后的深度图像生成目标图像。

上述第二滤波处理模块1108还用于获取深度图像中对应于第一像素点的第二像素点，将第二像素点标记为无效；根据标记后的深度图像生成目标图像。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图12为一个实施例中电子设备的内部结构示意图。如图12所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图13为一个实施例中图像处理电路的示意图。如图13所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图13所示，图像处理电路包括ISP处理器1340和控制逻辑器1350。成像设备1310捕捉的图像数据首先由ISP处理器1340处理，ISP处理器1340对图像数据进行分析以捕捉可用于确定和/或成像设备1310的一个或多个控制参数的图像统计信息。成像设备1310可包括具有一个或多个透镜1312和图像传感器1314的照相机。图像传感器1314可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1314可获取用图像传感器1314的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1340处理的一组原始图像数据。传感器1320(如陀螺仪)可基于传感器1320接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1340。传感器1320接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器1314也可将原始图像数据发送给传感器1320，传感器1320可基于传感器1320接口类型把原始图像数据提供给ISP处理器1340，或者传感器1320将原始图像数据存储到图像存储器1330中。

ISP处理器1340按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1340可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1340还可从图像存储器1330接收图像数据。例如，传感器1320接口将原始图像数据发送给图像存储器1330，图像存储器1330中的原始图像数据再提供给ISP处理器1340以供处理。图像存储器1330可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器1314接口或来自传感器1320接口或来自图像存储器1330的原始图像数据时，ISP处理器1340可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1330，以便在被显示之前进行另外的处理。ISP处理器1340从图像存储器1330接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1340处理后的图像数据可输出给显示器1370，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1340的输出还可发送给图像存储器1330，且显示器1370可从图像存储器1330读取图像数据。在一个实施例中，图像存储器1330可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1340的输出可发送给编码器/解码器1360，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1370设备上之前解压缩。编码器/解码器1360可由CPU或GPU或协处理器实现。

ISP处理器1340确定的统计数据可发送给控制逻辑器1350单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1312阴影校正等图像传感器1314统计信息。控制逻辑器1350可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1310的控制参数及ISP处理器1340的控制参数。例如，成像设备1310的控制参数可包括传感器1320控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1312控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1312阴影校正参数。

以下为运用图13中图像处理技术实现上述实施例提供的图像处理方法。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种图像处理方法，所述方法包括：

获取图像传感器输出的第一图像；

将所述第一图像进行第一滤波处理得到第二图像，并将所述第二图像存储在图像集合中；

当检测到图像生成指令时，获取所述图像生成指令携带的匹配时间戳；

将所述匹配时间戳与所述图像集合中第二图像对应的图像时间戳进行匹配，将与所述匹配时间戳相匹配的图像时间戳作为目标时间戳；

从所述图像集合中获取所述目标时间戳对应的第二图像作为待处理图像；所述待处理图像包括深度图像和置信度图像；

获取所述置信度图像中各个像素点的置信度；

获取所述置信度图像中所述置信度低于置信度阈值的像素点作为第一像素点；

将所述深度图像中对应于所述第一像素点的第二像素点进行第二滤波处理，根据第二滤波处理后的深度图像生成目标图像。

2.根据权利要求1所述的方法，其特征在于，所述获取图像传感器输出的第一图像，包括：

获取图像传感器输出的至少两帧图像数据，根据所述至少两帧图像数据计算得到第一图像；

所述将所述第一图像进行第一滤波处理得到第二图像，包括：

根据所述至少两帧图像数据对所述第一图像进行第一滤波处理，得到第二图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述至少两帧图像数据对所述第一图像进行第一滤波处理，得到第二图像，包括：

根据所述至少两帧图像数据判断得到的所述第一图像是否存在延时误差；

当所述第一图像存在延时误差时，对所述第一图像进行第一滤波处理得到第二图像。

4.根据权利要求1所述的方法，其特征在于，所述将所述第二图像存储在图像集合中，包括：

当检测到所述图像集合中包含的图像的数量超过预设数量时，从所述图像集合中获取待移除图像；

将所述待移除图像从所述图像集合中移除，并将所述第二图像存储在图像集合中。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述将所述深度图像中对应于所述第一像素点的第二像素点进行第二滤波处理，根据第二滤波处理后的深度图像生成目标图像，包括：

获取所述深度图像中对应于所述第一像素点的第二像素点，将所述第二像素点标记为无效；

根据标记后的深度图像生成目标图像。

6.一种图像处理装置，其特征在于，所述装置包括：

第一图像获取模块，用于获取图像传感器输出的第一图像；

第一滤波处理模块，用于将所述第一图像进行第一滤波处理得到第二图像，并将所述第二图像存储在图像集合中；

待处理图像获取模块，用于当检测到图像生成指令时，获取所述图像生成指令携带的匹配时间戳；将所述匹配时间戳与所述图像集合中第二图像对应的图像时间戳进行匹配，将与所述匹配时间戳相匹配的图像时间戳作为目标时间戳；从所述图像集合中获取所述目标时间戳对应的第二图像作为待处理图像；所述待处理图像包括深度图像和置信度图像；

第二滤波处理模块，用于获取所述置信度图像中各个像素点的置信度；获取所述置信度图像中所述置信度低于置信度阈值的像素点作为第一像素点；将所述深度图像中对应于所述第一像素点的第二像素点进行第二滤波处理，根据第二滤波处理后的深度图像生成目标图像。

7.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images