CN110121031B - 图像采集方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像采集方法、装置、电子设备和计算机可读存储介质。所述方法包括：当检测到应用发起的图像采集指令时，获取所述应用对应的目标等级标识；获取与所述目标等级标识对应的目标图像采集参数，所述目标图像采集参数包括目标帧率和目标滤波参数；控制所述TOF摄像头以所述目标帧率采集第一深度图像；利用所述目标滤波参数滤除所述第一深度图像的图像噪声得到目标深度图像。即在不同应用程序调用摄像头时采用不同的帧率和滤波参数进行图像采集，可以降低电子设备的功耗。

Description

图像采集方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种图像采集方法和装置、电子设备、计算机可读存储介质。

背景技术

随着影像技术的发展，通过摄像头采集图像的现象越来越频繁。人们可以在旅行、聚会等场景下通过摄像头采集图像，也可以通过摄像头采集包含人脸的图像来解锁电子设备等，然而，电子设备通过摄像头采集图像时存在功耗消耗较大问题。

发明内容

本申请实施例提供一种图像采集方法、装置、电子设备、计算机可读存储介质，可以降低功耗。

一种图像采集方法，应用于电子设备，所述电子设备包括飞行时间TOF摄像头，包括：

当检测到应用发起的图像采集指令时，获取所述应用对应的目标等级标识；

获取与所述目标等级标识对应的目标图像采集参数，所述目标图像采集参数包括目标帧率和目标滤波参数；

控制所述TOF摄像头以所述目标帧率采集第一深度图像；

利用所述目标滤波参数滤除所述第一深度图像的图像噪声得到目标深度图像。

一种图像采集装置，应用于电子设备，所述电子设备包括飞行时间TOF摄像头，包括：

获取模块，用于当检测到应用发起的图像采集指令时，获取所述应用对应的目标等级标识；

查找模块，用于获取与所述目标等级标识对应的目标图像采集参数，所述目标图像采集参数包括目标帧率和目标滤波参数；

采集模块，用于控制所述TOF摄像头以所述目标帧率采集第一深度图像；

滤波模块，用于利用所述目标滤波参数滤除所述第一深度图像的图像噪声得到目标深度图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述图像采集方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像采集方法的步骤。

上述图像采集方法、装置、电子设备和计算机可读存储介质，通过当检测到应用发起的图像采集指令时，获取所述应用对应的目标等级标识；获取与所述目标等级标识对应的目标图像采集参数，所述目标图像采集参数包括目标帧率和目标滤波参数；控制所述TOF摄像头以所述目标帧率采集第一深度图像；利用所述目标滤波参数滤除所述第一深度图像的图像噪声得到目标深度图像。即在不同应用程序调用摄像头时采用不同的帧率和滤波参数进行图像采集，可以降低电子设备的功耗。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像采集方法的应用环境图；

图2为一个实施例中图像采集方法的流程图；

图3为一个实施例中步骤利用所述目标滤波参数滤除所述第一深度图像的图像噪声的流程图；

图4为一个实施例设置图像采集参数的流程图；

图5为一个实施例中利用目标滤波参数滤除第一深度图像的图像噪声得到目标深度图像的流程图；

图6为一个实施例的图像采集装置的结构框图；

图7为一个实施例中电子设备的内部结构示意图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一实时性要求称为第二实时性要求，且类似地，可将第二实时性要求称为第一实时性要求。第一实时性要求和第二实时性要求两者都是实时性要求，但其不是同一实时性要求。

图1为一个实施例中图像采集方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备110可以通过当检测到应用发起的图像采集指令时，获取所述应用对应的目标等级标识；获取与所述目标等级标识对应的目标图像采集参数，所述目标图像采集参数包括目标帧率和目标滤波参数；控制所述TOF摄像头以所述目标帧率采集第一深度图像；利用所述目标滤波参数滤除所述第一深度图像的图像噪声得到目标深度图像。可以理解的是，上述电子设备110不限于手机、平板电脑或者个人数字助理或穿戴式设备等。

电子设备110包括飞行时间(Time of flight，TOF)摄像头，TOF摄像头通过向场景发射近红外光；接收反射的近红外线，通过计算反射的近红外线时间差或相位差，获取场景的深度信息；将场景的轮廓以不同颜色代表不同距离，以获取深度图像。

图2为一个实施例中图像采集方法的流程图。本实施例中的图像采集方法，以运行于图1中的终端或服务器上为例进行描述。如图2所示，图像采集方法包括步骤202至步骤208。

步骤202、当检测到应用发起的图像采集指令时，获取应用对应的目标等级标识。

其中，图像采集指令是用于指示电子设备通过摄像头采集图像的指令。图像采集指令可以是用户通过点击电子设备显示屏上的按钮生成的，也可以用户通过按压电子设备的控件生成的，还可以是用户滑动电子设备显示屏生成的等。电子设备可以检测生成的图像采集指令。目标等级标识是由数字、字母、下划线、空格和/或特殊符号组成的字符串，用于标识应用的调用摄像头的采集图像对应的图像采集参数。目标等级标识包括但不限于支付等级标识、体感游戏等级标识和增强现实技术(Augmented Reality，AR)测量等级标识等。

具体的，电子设备检测到应用发起图像采集指令时，读取该应用对应的目标等级标识。其中，可以是图像采集指令中携带目标等级标识，解析该图像采集指令获取目标等级标识。还可以是检测图像采集指令，获取发起该图像采集指令的应用的应用标识，根据该应用标识在存储应用等级标识的列表中查找该应用对应的目标等级标识。

步骤204、获取与目标等级标识对应的目标图像采集参数，目标图像采集参数包括目标帧率和目标滤波参数。

其中，摄像头的目标帧率是指电子设备通过摄像头采集图像的帧率。电子设备通过摄像头采集的图像可以实时展示在显示屏上或者存储至处理器中。目标滤波参数指的是对以目标帧率采集的方案进行滤波的方案。目标滤波参数包括但不限于均值滤波、中值滤波、高斯滤波、双边滤波、引导滤波等。

具体的，预先在电子设备内存储表征目标等级标识和目标图像采集参数映射关系的列表。根据目标等级标识在该列表中查找对应的图像采集参数。当查找到对应的图像采集参数，根据该图像采集参数中的目标帧率和目标滤波参数采集图像。例如，当该应用的目标等级标识为支付等级标识，查找的对应的目标图像采集参数为：实时性一般，目标帧率适中，设置为15-20帧每秒，深度精度要求较高，滤波参数设置为高斯滤波或者双边滤波。当该应用的目标等级标识为体感游戏等级标识，查找的对应的目标图像采集参数为：实时性高，目标帧率大，设置为20-25帧每秒，深度精度要求低，滤波参数设置为中值滤波这样的快速算法。当该应用的目标等级标识为AR测量等级标识，查找的对应的目标图像采集参数为：实时性一般，目标帧率适中，设置为15-20帧每秒，深度精度要求适中，滤波参数设置为均值滤波或者高斯滤波。

步骤206、控制TOF摄像头以目标帧率采集第一深度图像。

其中，TOF摄像头通过向场景发射近红外光。接收反射的近红外线，通过计算反射的近红外线时间差或相位差，获取场景的深度信息。将场景的轮廓以不同颜色代表不同距离，以获取深度图像。第一深度图像为包含深度信息的第一图像，其中第一深度图像包含的深度信息用于表征目标拍摄物到TOF摄像头镜头的距离信息。

具体的，电子设备控制TOF摄像头以目标帧率采集深度图像，例如：目标帧率为15-20帧每秒，TOF摄像头每个15-20帧采集一帧第一深度图像。其中，TOF摄像头的采集帧率越高，则电子设备的功耗越大，反之TOF摄像头的采集帧率越低，则电子设备的功耗越小。

步骤208、利用目标滤波参数滤除第一深度图像的图像噪声得到目标深度图像。

其中，图像噪声是指存在于图像数据中的不必要的或多余的干扰信息，现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。

具体的，利用目标滤波参数对第一深度图像进行滤波，滤波图像噪声得到去噪的图像为目标深度图像。例如：目标滤波参数为均值滤波，即滤波的过程为：第一深度图像中任一像素点的像素值为周围像素的平均值，在滤除噪声的同时也会滤掉图像的边缘信息。例如：目标滤波参数为中值滤波，即滤波的过程为：第一深度图像中任一测试像素的像素值为周围邻域像素集中的中值。中值滤波去除椒盐噪声和斑块噪声时，效果非常明显。例如：目标滤波参数为高斯滤波，即滤波的过程为：是对第一图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。

本申请实施例提供的方法通过当检测到应用发起的图像采集指令时，获取应用对应的目标等级标识。获取与目标等级标识对应的目标图像采集参数，目标图像采集参数包括目标帧率和目标滤波参数。控制TOF摄像头以目标帧率采集第一深度图像。利用目标滤波参数滤除第一深度图像的图像噪声得到目标深度图像。即在不同应用程序调用摄像头时采用不同的帧率和滤波参数进行图像采集，可以降低电子设备的功耗，避免每个应用程序调用摄像头时采用统一的采集帧率和滤波参数而耗费电子设备的功耗的问题，可以降低电子设备的功耗，进而延长电子设备的续航时间。

图3为一个实施例中利用目标滤波参数滤除第一深度图像的图像噪声的流程图。利用目标滤波参数滤除第一深度图像的图像噪声，包括步骤302至步骤306：

步骤302、获取第一深度图像。

具体的，深度摄像头可以是前置摄像头，也可以是后置摄像头。电子设备控制TOF摄像头采集的第一深度图像并保存至存储器中，从存储器中获取该第一深度图像。第一深度图像是深度摄像头采集的，由多个像素点的深度信息组成的图像。深度信息是指摄像头与拍摄场景中被拍摄物体之间的距离信息。

步骤304、获取第一深度图像对应的置信度图。

其中，第一深度图像内多个像素点的深度值组成的图像。第一深度图像对应的置信度图是由多个像素点的深度值的置信度值组成的图像。即置信度图中每一个像素点对应的置信度值即为第一深度图像对应位置的像素点的初始深度值的置信度。

具体地，电子设备通过深度摄像头采集物体的深度信息时，根据深度摄像头的深度计算原理得到由各个像素点的深度值组成的第一深度图像，以及由各个像素点的初始深度值的置信度组成的置信度图。

步骤306、利用目标滤波参数对第一深度图像进行平滑处理，并利用置信度图对平滑处理后的第一深度图像进行图像滤波处理。

具体的，利用目标滤波参数对第一深度图像进行平滑滤波处理，滤波图像噪声得到去噪的图像为滤波深度图像。例如：目标滤波参数为均值滤波，即平滑处理的过程为：第一深度图像中任一像素点的像素值为周围像素的平均值，在滤除噪声的同时也会滤掉图像的边缘信息。然后电子设备可以根据置信度图对滤波深度图像进行滤波处理，去除置信度值低于阈值的深度值。

在其中一个实施例中，图像采集方法还包括：当目标等级标识未设置对应的目标图像采集参数时，则控制TOF摄像头以默认帧率采集第一深度图像。利用默认滤波参数滤除第一深度图像的图像噪声得到目标深度图像。

其中，默认帧率和默认滤波参数可以根据由工程师根据需求自行设置，默认帧率一般设置为5-25帧每秒，默认滤波参数设置为均值滤波、中值滤波、高斯滤波、双边滤波或引导滤波等滤波参数中的任意一种或多种组合。

具体的，当电子设备获取到一个应用的目标等级标识，在存储等级标识的列表中未查找到匹配的标识，则控制TOF摄像头以默认帧率采集第一深度图像。且利用默认滤波参数滤除第一深度图像的图像噪声得到目标深度图像。

图4为一个实施例中设置图像采集参数的流程图。如图4所示，当检测到应用发起的图像采集指令之前，图像采集方法还包括：

步骤402、获取电子设备内下载的应用对应的实时性要求和精度要求。

具体的，当电子设备下载一个应用，则通过解析该程序源码或者从网络用户评论数据中分析并获取该应用的实时性要求和精度要求。实时性要求指的拍摄图像的速度及显示图像的流畅度，该指标与帧率对应，当实时性要求越高，对应的帧率越高。精度要求指的是采集的深度图像的深度值与实际深度值的差值，即利用深度摄像头获取的深度信息与实际深度值的差值。该差值越小标识精度越高。精度要求与目标滤波参数对应，该差值越小，则选用滤波效果更优滤波后图像的深度值与实际深度值更接近的滤波参数。

步骤404、根据实时性要求和精度要求设置应用对应的等级标识和各个等级标识对应的图像采集参数。

具体的，获取到应用的实时性要求和精度要求，则根据实时性要求和精度要求设置等级标识，该等级标识对应着一个图像采集参数，该图像采集参数包括目标帧率和目标滤波参数，其中，该目标帧率与实时性要求对应，该目标滤波参数与精度要求对应。

在其中一个实施例中，根据实时性要求和精度要求设置应用对应的等级标识和各个等级标识对应的图像采集参数，图像采集方法包括:目标应用的实时性要求为第一实时要求，精度要求为第一精度要求时，设置目标应用对应的图像采集参数为第一帧率和第一滤波参数。目标应用的实时性要求为第二实时要求，精度要求为第二精度要求时，设置目标应用对应的图像采集参数为第二帧率和第二滤波参数，其中，第一实时要求高于第二实时要求，第一帧率大于第二帧率，第一精度要求高于第二精度要求，以第一滤波参数进行滤波得到图像的深度精度大于以第二滤波参数进行滤波得到的图像的深度精度。

具体的，根据该应用的实时性要求和精度要求为目标图像设置对应的目标等级标识和目标图像采集参数，例如：当该应用的目标等级标识为支付等级标识，查找的对应的目标图像采集参数为：实时性一般，目标帧率适中，设置为15-20帧每秒，深度精度要求较高，滤波参数设置为高斯滤波或者双边滤波。当该应用的目标等级标识为体感游戏等级标识，查找的对应的目标图像采集参数为：实时性高，目标帧率大，设置为20-25帧每秒，深度精度要求低，滤波参数设置为中值滤波这样的快速算法。当该应用的目标等级标识为AR测量等级标识，查找的对应的目标图像采集参数为：实时性一般，目标帧率适中，设置为15-20帧每秒，深度精度要求适中，滤波参数设置为均值滤波或者高斯滤波。即体感游戏类的应用其实时性要求高于支付类应用，则体感游戏类的应用对应的目标帧率高于支付类应用类的目标帧率。支付类应用的精度要求高于体感游戏类的应用，则以支付类应用对应设置的目标滤波参数进行滤波的效果优于体感游戏类，另外需考虑显示流畅度问题，体感游戏类设置的滤波参数滤波过程中速度较快。

图5为一个实施例中利用目标滤波参数滤除第一深度图像的图像噪声得到目标深度图像的流程图。在其中一个实施例中，利用目标滤波参数滤除第一深度图像的图像噪声得到目标深度图像，包括：

步骤502、获取目标深度图像的深度信息。

具体的，电子设备检测第一深度图像的深度信息。具体地，深度信息可以是第一深度图像中包含的深度信息的总和，也可以是第一深度图像中包含的深度信息的平均值等。电子设备可以获取第一深度图像中小于深度阈值的深度信息的平均值作为深度信息，还可以获取第一深度图像中指定区域的深度信息的平均值作为深度信息等，不限于此。

步骤504、当深度信息与预设深度阈值不匹配时，对目标滤波参数进行调整，将目标采集方案中的目标滤波参数更新为调整后的目标滤波参数。

具体地，当深度信息与预设深度阈值不匹配时，深度信息与深度阈值的差值过大，该差值超过理论允许范围，则视为深度信息与预设深度阈值不匹配。目标滤波参数对应的是目标深度图像的深度精度，当深度信息与预设深度阈值不匹配时，则调整目标滤波参数使其滤波效果更优。举例来说，一个应用对应的滤波参数设置为均值滤波，滤波的结果是深度信息与预设深度阈值不匹配，则将滤波参数设置为滤波效果更优的高斯滤波或者双边滤波。

步骤506、利用调整后的目标滤波参数滤除第一深度图像的图像噪声得到调整深度图像。

具体地，可以先将调整后的目标滤波参数保存至对应的目标图像采集参数中，再利用调整后的目标滤波参数滤除第一深度图像的图像噪声。也可以直接利用调整后的目标滤波参数滤除第一深度图像的图像噪声。滤除图像噪声的过程如上述实施例记载，此处不再赘述。

在其中一个实施例中，图像采集方法还包括：获取电子设备当前的电量值。当电量值低于电量阈值时，将目标帧率下调预设比例。

具体的，电子设备包含TOF摄像头，电子设备可以在接收到深度图像采集指令时，TOF摄像头以目标帧率采集第一深度图像。在相同的采集帧率下，相比于其他类型的深度摄像头，TOF摄像头在采集深度图像的过程，需要向拍摄场景发射近红外光，因而消耗的功耗比其他类型的深度摄像头更大，因此，在TOF摄像头采集深度图像时，根据电子设备当前的电量值下调TOF摄像头的采集帧率，可以有效的降低电子设备的功耗，延长电子设备的续航时间。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本申请实施例一种图像采集装置，图6为一个实施例的图像采集装置的结构框图。应用于电子设备，电子设备包括飞行时间TOF摄像头，图像采集装置包括：

获取模块602，用于当检测到应用发起的图像采集指令时，获取应用对应的目标等级标识。

查找模块604，用于获取与目标等级标识对应的目标图像采集参数，目标图像采集参数包括目标帧率和目标滤波参数。

采集模块606，用于控制TOF摄像头以目标帧率采集第一深度图像。

滤波模块608，用于利用目标滤波参数滤除第一深度图像的图像噪声得到目标深度图像。

上述图像采集装置通过当检测到应用发起的图像采集指令时，获取应用对应的目标等级标识。获取与目标等级标识对应的目标图像采集参数，目标图像采集参数包括目标帧率和目标滤波参数。控制TOF摄像头以目标帧率采集第一深度图像。利用目标滤波参数滤除第一深度图像的图像噪声得到目标深度图像。即在不同应用程序调用摄像头时采用不同的帧率和滤波参数进行图像采集，可以降低电子设备的功耗。

在其中一个实施例中，滤波模块608还用于获取第一深度图像。获取第一深度图像对应的置信度图。利用目标滤波参数对第一深度图像进行平滑处理，并利用置信度图对平滑处理后的第一深度图像进行图像滤波处理。

在其中一个实施例中，采集模块606还用于当目标等级标识未设置对应的目标图像采集参数时，则控制TOF摄像头以默认帧率采集第一深度图像。滤波模块608还用于利用默认滤波参数滤除第一深度图像的图像噪声得到目标深度图像。

在其中一个实施例中，获取模块602还用于获取电子设备内下载的应用对应的实时性要求和精度要求。根据实时性要求和精度要求设置应用对应的等级标识和各个等级标识对应的图像采集参数。

在其中一个实施例中，获取模块602还用于当目标应用的实时性要求为第一实时要求，精度要求为第一精度要求时，设置目标应用对应的图像采集参数为第一帧率和第一滤波参数。当目标应用的实时性要求为第二实时要求，精度要求为第二精度要求时，设置目标应用对应的图像采集参数为第二帧率和第二滤波参数，其中，

第一实时要求高于第二实时要求，第一帧率大于第二帧率，第一精度要求高于第二精度要求，以第一滤波参数进行滤波得到图像的深度精度大于以第二滤波参数进行滤波得到的图像的深度精度。

在其中一个实施例中，滤波模块608还用于获取目标深度图像的深度信息。当深度信息与预设深度阈值不匹配时，对目标滤波参数进行调整，将目标采集方案中的目标滤波参数更新为调整后的目标滤波参数。利用调整后的目标滤波参数滤除第一深度图像的图像噪声得到调整深度图像。

在其中一个实施例中，采集模块606还用于获取电子设备当前的电量值。当电量值低于电量阈值时，将目标帧率下调预设比例。

上述图像采集装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像采集装置按照需要划分为不同的模块，以完成上述图像采集装置的全部或部分功能。

关于图像采集装置的具体限定可以参见上文中对于图像采集方法的限定，在此不再赘述。上述图像采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像采集方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像采集装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理，ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器814也可将原始图像数据发送给传感器820，传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840，或者传感器820将原始图像数据存储到图像存储器830中。

ISP处理器840按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器840还可从图像存储器830接收图像数据。例如，传感器820接口将原始图像数据发送给图像存储器830，图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时，ISP处理器840可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器830，以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器840的输出还可发送给图像存储器830，且显示器870可从图像存储器830读取图像数据。在一个实施例中，图像存储器830可被配置为实现一个或多个帧缓冲器。此外，ISP处理器840的输出可发送给编码器/解码器860，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。

ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备810的控制参数及ISP处理器840的控制参数。例如，成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜812阴影校正参数。

本申请实施例中运用图8中图像处理技术可实现上述图像采集方法。如图8所示的图像处理电路可以包括一个或多个成像设备。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像采集方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像采集方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像采集方法，应用于电子设备，所述电子设备包括TOF摄像头，其特征在于，包括：

当检测到应用发起的图像采集指令时，获取所述应用对应的目标等级标识；

获取与所述目标等级标识对应的目标图像采集参数，所述目标图像采集参数包括目标帧率和目标滤波参数；

控制所述TOF摄像头以所述目标帧率采集第一深度图像；

利用所述目标滤波参数滤除所述第一深度图像的图像噪声得到目标深度图像；

获取所述目标深度图像的深度信息；

当所述深度信息与预设深度阈值不匹配时，对所述目标滤波参数进行调整，将所述目标图像采集参数中的目标滤波参数更新为调整后的目标滤波参数；

利用所述调整后的目标滤波参数滤除所述第一深度图像的图像噪声得到调整深度图像。

2.根据权利要求1所述的方法，其特征在于，所述利用所述目标滤波参数滤除所述第一深度图像的图像噪声，包括：

获取所述第一深度图像；

获取所述第一深度图像对应的置信度图；

利用所述目标滤波参数对所述第一深度图像进行平滑处理，并利用所述置信度图对所述平滑处理后的第一深度图像进行图像滤波处理。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述目标等级标识未设置对应的目标图像采集参数时，则控制所述TOF摄像头以默认帧率采集所述第一深度图像；

利用默认滤波参数滤除所述第一深度图像的图像噪声得到所述目标深度图像。

4.根据权利要求1所述的方法，其特征在于，所述当检测到应用发起的图像采集指令之前，所述方法还包括：

获取所述电子设备内下载的应用对应的实时性要求和精度要求；

根据所述实时性要求和所述精度要求设置所述应用对应的等级标识和各个等级标识对应的图像采集参数。

5.根据权利要求4所述的方法，其特征在于，所述获取所述电子设备内下载的应用对应的实时性要求和精度要求，包括：

获取所述电子设备内下载的应用对应的网络用户评论数据；

根据所述网络用户评论数据确定所述电子设备内下载的应用对应的实时性要求和精度要求。

6.根据权利要求4所述的方法，其特征在于，所述根据所述实时性要求和所述精度要求设置所述应用对应的等级标识和各个等级标识对应的图像采集参数，包括:

当目标应用的实时性要求为第一实时要求，精度要求为第一精度要求时，设置所述目标应用对应的图像采集参数为第一帧率和第一滤波参数；

当目标应用的实时性要求为第二实时要求，精度要求为第二精度要求时，设置所述目标应用对应的图像采集参数为第二帧率和第二滤波参数，其中，

所述第一实时要求高于所述第二实时要求，所述第一帧率大于所述第二帧率，所述第一精度要求高于第二精度要求，以所述第一滤波参数进行滤波得到图像的深度精度大于以所述第二滤波参数进行滤波得到的图像的深度精度。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述电子设备当前的电量值；

当所述电量值低于电量阈值时，将所述目标帧率下调预设比例。

8.一种图像采集装置，应用于电子设备，所述电子设备包括飞行时间TOF摄像头，其特征在于，包括：

获取模块，用于当检测到应用发起的图像采集指令时，获取所述应用对应的目标等级标识；

查找模块，用于获取与所述目标等级标识对应的目标图像采集参数，所述目标图像采集参数包括目标帧率和目标滤波参数；

采集模块，用于控制所述TOF摄像头以所述目标帧率采集第一深度图像；

滤波模块，用于利用所述目标滤波参数滤除所述第一深度图像的图像噪声得到目标深度图像，获取所述目标深度图像的深度信息，当所述深度信息与预设深度阈值不匹配时，对所述目标滤波参数进行调整，将所述目标图像采集参数中的目标滤波参数更新为调整后的目标滤波参数，利用所述调整后的目标滤波参数滤除所述第一深度图像的图像噪声得到调整深度图像。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像采集方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images