CN115862081A - 图像采集方法、装置、设备和计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像采集方法、装置、设备和计算机可读存储介质。该方法通过图像采集模块采集目标对象的原始图像数据，在采集到原始图像数据之后，通过检测原始图像数据中图像内容，确定原始图像数据对应的应用场景；接下来确定与应用场景匹配的目标采集参数；控制图像采集模块基于目标采集参数，对目标对象进行图像采集，得到目标图像数据。本申请实施例在图像采集过程中对图像采集模块的采集参数进行适应性调整，调整得到的目标采集参数与应用场景相匹配，图像采集模块基于与应用场景匹配的目标采集参数进行图像采集，进而，基于目标图像数据进行图像识别，能够提高图像识别结果的准确性。

Description

图像采集方法、装置、设备和计算机可读存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像采集方法、装置、设备和计算机可读存储介质。

背景技术

随着智能终端技术的不断发展，电子设备(如智能手机、平板电脑等)的使用越来越普及，例如，手势检测、人脸识别等功能已经广泛应用于生活中，用户不用接触电子设备即可完成人机交互，提高了用户体验。

实际应用中，电子设备通过图像采集，图像识别来识别用户的手势以及人脸。通常情况下，图像采集模块的帧率和分辨率在设置成功后，会以设置好的采集参数进行图像采集，然后识别处理模块对采集到的图像数据进行识别处理。然而，以设置好的采集参数采集到的图像，可能无法达到识别处理的需求，进而影响图像识别的准确性。

发明内容

本申请实施例提供一种图像采集方法、装置、设备和计算机可读存储介质，通过检测原始图像数据中图像内容，确定应用场景，基于与应用场景匹配的目标采集参数进行图像采集，进而，基于目标图像数据进行图像识别，能够提高图像识别结果的准确性。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种图像采集方法，所述方法包括：通过图像采集模块采集目标对象的原始图像数据；通过检测所述原始图像数据中图像内容，确定所述原始图像数据对应的应用场景，所述应用场景表征对所述目标对象进行识别处理的场景；确定与所述应用场景匹配的目标采集参数；控制所述图像采集模块基于所述目标采集参数，对所述目标对象进行图像采集，得到目标图像数据。

第二方面，本申请实施例提供一种图像采集装置，所述装置包括：通过图像采集模块采集目标对象的原始图像数据；通过检测所述原始图像数据中图像内容，确定所述原始图像数据对应的应用场景，所述应用场景表征对所述目标对象进行识别处理的场景；确定与所述应用场景匹配的目标采集参数；控制所述图像采集模块基于所述目标采集参数，对所述目标对象进行图像采集，得到目标图像数据。

第三方面，本申请实施例提供一种图像采集设备，所述设备包括存储器，用于存储可执行指令，处理器，用于执行所述存储器中存储的可执行指令时，实现上述图像采集方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有可执行指令，用于被处理器执行时，实现上述图像采集方法。

本申请实施例提供了一种图像采集方法、装置、设备和计算机可读存储介质。在本申请实施例中，先通过图像采集模块采集目标对象的原始图像数据，在采集到原始图像数据之后，通过检测原始图像数据中图像内容，确定原始图像数据对应的应用场景，该应用场景表征对目标对象进行识别处理的场景；接下来确定与应用场景匹配的目标采集参数；控制图像采集模块基于目标采集参数，对目标对象进行图像采集，得到目标图像数据。本申请实施例在图像采集过程中对图像采集模块的采集参数进行适应性调整，调整得到的目标采集参数与应用场景相匹配，图像采集模块基于与应用场景匹配的目标采集参数进行图像采集，进而，基于目标图像数据进行图像识别，能够提高图像识别结果的准确性。

附图说明

图1为本申请实施例提供的一种图像采集方法的步骤流程图；

图2为本申请实施例提供的另一种图像采集方法的步骤流程图；

图3为本申请实施例提供的一种目标对象的深度信息的示意图；

图4为本申请实施例提供的又一种图像采集方法的步骤流程图；

图5为本申请实施例提供的一种图像处理系统前端的结构示意图；

图6为本申请实施例提供的再一种图像采集方法的步骤流程图；

图7为本申请实施例提供的一种图像采集装置的结构示意图；

图8为本申请实施例提供的一种图像采集设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解的是，此处所描述的一些实施例仅仅用以解释本申请的技术方案，并不用于限定本申请的技术范围。

为了更好地理解本申请实施例中提供的图像采集方法，在对本申请实施例的技术方案进行介绍之前，先对相关技术进行说明。

相关技术中，由于直接以高分辨率或高帧率进行图像输出，会影响系统功耗，导致系统识别处理能力变慢等问题，因此图像采集模块的帧率和分辨率是默认的低帧率和低分辨率。在拍摄过程中，显示图像后，用户通过在应用程序(Application，App)上主动对图像采集模块的帧率和分辨率进行调整，以适用于不同的应用场景，后续会以固定的帧率和分辨率进行图像采集，也就是说，在任意应用场景下，在图像采集过程中帧率和分辨率是固定不变的。对于一般的应用场景来说，相关技术中帧率和分辨率的设置方式是可以满足需求的，但是对于手势检测和眼球识别等应用场景，拍摄功能的识别效率和准确性，均与帧率和分辨率的变化有较大的关系。

示例性的，以手势检测场景为例，手势检测场景中需要对手势动作进行识别，以及后续的识别处理模块对图像采集装置采集到图像数据进行识别处理。以眼球识别场景为例，图像的准确性和细节的体现会直接影响识别结果的准确性。若直接以高分辨率或高帧率进行图像输出，会影响识别处理的速度和效率，也会影响到识别结果的准确性。因此，亟需提供一种图像采集方法，以在识别处理结果的准确性和系统功耗之间找到平衡，便于在低功耗的基础上，提高识别处理结果的准确性。

本申请实提供一种图像采集方法，如图1所示，图1为本申请实施例提供的一种图像采集方法的步骤流程图，图像采集方法包括以下步骤：

步骤S101、通过图像采集模块采集目标对象的原始图像数据。

本申请实施例中图像采集模块可以包括但不限于手机摄像头、相机camera、光学传感器和常开式传感器(Alawys on sensor，AON sensor)，其中sensor可以表示被设置用于应用场景识别的低功耗图像感应器。

本申请实施例中目标对象可以包括但不限于动物、人体、人体脸部、人体眼睛、人体唇部、人体眼球和人体手部。

示例性的，以图像采集模块是AON sensor为例进行说明，AON sensor对目标对象进行采集，得到原始图像数据。原始图像数据表征传感器将捕捉到的光源信号转化为数字信号的原始图像数据，该原始图像数据没有经过后面补偿等处理。

步骤S102、通过检测原始图像数据中图像内容，确定原始图像数据对应的应用场景。

其中，应用场景表征对目标对象进行识别处理的场景。

本申请实施例中可以通过图像内容检测模块对原始图像数据中图像内容进行检测，从而根据图像内容检测结果确定应用场景。

识别处理包括但不限于人体识别、人体脸部识别、人体眼睛识别、人体眼球识别、人体手部识别、人体手势检测和预设动作检测，其中人体手势检测表示非接触式的手势识别或手势隔空识别。

图像内容能够反映用户的拍摄意图，也可以理解为用户所使用的拍摄功能模式，根据图像内容检测结果确定应用场景，提高了应用场景的准确性。

在一些实施例中，也可以获取用户预先设置的场景模式，根据预先设置的场景模式确定应用场景。也就是说，图像采集模块在开始对目标对象进行采集之前，用户可以在app上预先选择拍摄功能模式，例如人脸识别功能、手势检测功能和眼球识别功能。即拍摄前预先设置场景模式，根据预先设置的场景模式确定应用场景。通过用户预先设置的场景模式直接获取应用场景的方式，提高了获取应用场景的效率。

步骤S103、确定与应用场景匹配的目标采集参数。

目标采集参数用于对目标对象进行图像采集，应用场景与采集参数相对应，例如，人脸识别场景下，采集参数中分辨率设置为1080P，即每一横排有1280个像素，每一列有1080个像素，总的像素就是1280×1080个，这个乘积即为分辨率。手势检测场景下，采集参数中帧率设置为50FPS。需要说明的是，每秒传输帧数(Frames Per Second，FPS)表示画面每秒传输帧数，可以理解为动画或视频的画面数，FPS是测量用于保存、显示动态视频的信息数量，每秒帧数越多，所显示的动作就会越流畅。

示例性的，以采集参数包括帧率和分辨率为例，由于直接以高分辨率或高帧率进行图像输出，会影响系统功耗，导致智能终端发热、系统识别处理能力变慢等问题。因此，图像采集模块的默认采集参数设置为低帧率和低分辨率。但是如果一直低帧率和低分辨率进行图像采集，图像的准确性和细节体现会影响目标对象识别的准确性。因此，本申请实施例在确定应用场景之后，还确定与应用场景匹配的目标采集参数。将图像采集模块的采集参数调整为目标采集参数，使得后续图像采集模块基于目标采集参数，对目标对象进行图像采集，提高了采集结果的准确性。

步骤S104、控制图像采集模块基于目标采集参数，对目标对象进行图像采集，得到目标图像数据。

由于目标采集参数与应用场景相匹配，控制图像采集模块基于目标采集参数，对目标对象进行图像采集，采集结果与应用场景密切相关。采集结果用于应用场景的后续识别处理，采集结果可以是目标图像数据，进而，基于目标图像数据进行图像识别，提高了图像识别结果的准确性。

本申请实施例在图像采集过程中对图像采集模块的采集参数进行适应性调整，调整得到的目标采集参数与应用场景相匹配。图像采集模块基于与应用场景匹配的目标采集参数进行图像采集，进而，基于目标图像数据进行图像识别，能够提高图像识别结果的准确性。

在一些实施例中，步骤S102可以通过步骤S1021和步骤S1022实现。如图2所示，图2为本申请实施例提供的另一种图像采集方法的步骤流程图。

步骤S1021、通过检测原始图像数据中图像内容，获得图像特征点和/或图像特征点的运动参数。

本申请实施例中图像特征点用于表征图像内容中特征点的特征信息；图像特征点的运动参数用于表征在预设时间内图像内容中特征点的运动信息。其中，图像特征点可以包括但不限于目标对象的预设位置区域、代表性位置区域、预设位置点和代表性位置点。

示例性的，人脸识别场景下，图像特征点可以表征但不限于脸部轮廓、鼻尖和耳朵的特征信息。手势检测场景下，图像特征点可以表征但不限于手指、手腕、指尖的特征信息，图像特征点的运动参数可以表征但不限于预设时间内手指、手腕、指尖的运动信息。

步骤S1022、根据图像特征点和/或图像特征点的运动参数，与预设应用场景进行匹配，获得原始图像数据对应的应用场景。

在本申请实施例中，预设应用场景可以由本领域技术人员根据实际需求适当设置。例如，人脸识别场景、眼球识别场景、手势检测场景和特定动作检测场景，只要预设应用场景能够与图像特征点和/或图像特征点的运动参数进行匹配，确定原始图像数据对应的应用场景即可。预设应用场景包括预设的图像特征点和/或预设的图像特征点的运动参数，可以通过对使用的大量试验数据对应的图像特征点和/或图像特征点的运动参数的分析确定。

在进行应用场景匹配时，可以通过计算图像特征点与预设的图像特征点之间的相似度，将图像特征点相似度最大值对应的应用场景确定为原始图像数据对应的应用场景。也可以通过计算图像特征点的运动参数与预设的图像特征点的运动参数之间的相似度，将图像特征点的运动参数相似度最大值对应的应用场景确定为原始图像数据对应的应用场景。也可以通过计算图像特征点与预设的图像特征点之间的第一相似度，以及图像特征点的运动参数与预设的图像特征点的运动参数之间的第二相似度，综合考虑第一相似度和第二相似度，通过添加权重的方式获得综合相似度。将综合相似度最大值对应的应用场景确定为原始图像数据对应的应用场景，本申请实施例对此不作限制。

本申请实施例通过检测原始图像数据中图像内容，获得图像特征点和/或图像特征点的运动参数。然后根据图像特征点和/或图像特征点的运动参数，与预设应用场景进行匹配，从而获得应用场景，提高了应用场景的准确性。

在一些实施例中，步骤S103中的目标采集参数包括以下中的至少一项：帧率、分辨率、焦距和图像位宽信息。

在本申请实施例中，帧率可以表示视频每秒钟播放的图片数目，帧率越高视频播放越流畅。分辨率表征显示器所能显示的像素，分辨率越大，图像画面越细腻；焦距表征镜头焦距，是指镜头光学后主点到焦点的距离。图像位宽信息表示在一个时钟周期内所能传送图像数据的位数，位数越大则瞬间所能传输的图像数据量越大，可以理解为内存或显存一次能传输的图像数据量。

本申请实施例目标采集参数包括帧率、分辨率、焦距和图像位宽信息中的至少一项，在将图像采集模块所采用的采集参数调整为目标采集参数时，可以调整目标采集参数的一项，也可以同时调整目标采集参数中的两项及以上，提高了目标采集参数调整方式的多样性。

在一些实施例中，步骤S103可以通过以下两个示例实现。

示例一，根据第一映射关系，确定与应用场景匹配的采集参数，得到目标采集参数，第一映射关系表征应用场景与采集参数之间的对应关系。

本申请实施例中应用场景与采集参数之间存在对应关系，例如人脸识别场景下，采集参数中的分辨率为720P，眼球识别场景下，采集参数中的分辨率为1080P，手势检测场景下，采集参数中的帧率为50FPS。

在确定原始图像数据对应的应用场景后，一种可实现的方式中，根据应用场景的采集参数适应性的调整图像采集模块的采集参数。例如，适当增加分辨率、适当减小帧率，从而将图像采集模块的采集参数调整为与应用场景相匹配的状态。示例性的，眼球识别场景下，采集参数中的分辨率为1080P，将图像采集模块的采集参数的分辨率增大到720P。另一种可实现的方式中，将应用场景的采集参数作为图像采集模块的目标采集参数。示例性的，人脸识别场景下，采集参数中的分辨率为720P，将图像采集模块的目标采集参数的分辨率设置为720P。

在一些实施例中，上述示例一中的第一映射关系包括以下两种情形。

第一种情形：若应用场景为用于识别目标对象的动作的应用场景，则目标采集参数包括第一帧率，第一帧率高于采集原始图像数据使用的第二帧率。

第二种情形：若应用场景为用于识别目标对象或识别目标对象的局部细节的应用场景，则目标采集参数包括第一分辨率，第一分辨率高于采集原始图像数据使用的第二分辨率。

图像采集模块基于初始采集参数对目标对象进行采集，得到原始图像数据，以初始采集参数包括帧率和分辨率为例，为了降低系统功耗，提高系统处理能力，默认的初始采集参数设置为低帧率和低分辨率。当根据原始图像数据中图像内容确定应用场景后，可以根据不同的应用场景对初始采集参数进行适应性的调整。也就是说，初始采集参数中第二帧率是低帧率，第二分辨率是低分辨率；若应用场景为用于识别目标对象的动作的应用场景，则将第二帧率调整为第一帧率，第一帧率大于第二帧率，此时可以调整分辨率，也可以不调整分辨率，只要将帧率提高即可，对此本申请实施例不做限制。若应用场景为用于识别目标对象或识别目标对象的局部细节的应用场景，则将第二分辨率调整为第一分辨率，第一分辨率大于第二分辨率，此时可以调整帧率，也可以不调整帧率，只有将分辨率提高即可，对此本申请实施例不做限制。

示例性的，以采集参数包括帧率和分辨率为例，帧率和分辨率的调整策略可以根据不同的场景进行差异化的调整设置。本申请实施例中识别目标对象的动作的应用场景，可以理解为需要进行姿势变换的检测场景，例如手势检测场景和动作检测场景，对于识别目标对象的动作的应用场景，优先调节帧率，以保证在单位时间内有更多的有效图像数据帧，以供识别处理模块分析和识别。本申请实施例中识别目标对象或识别目标对象的局部细节的应用场景，可以理解为依赖于图像信息准确性的场景。例如，人脸识别场景和眼球识别场景，对于识别目标对象或识别目标对象的局部细节的应用场景，优先提高分辨率，通过更多的细节信息提高识别的准确性。

需要说明的是，本申请实施例中“第一”、“第二”是为了区别不同对象，而不是用于描述特定顺序，例如，第一映射关系、第二映射关系，第一帧率、第二帧率，第一分辨率、第二分辨率。

示例二，根据第二映射关系，确定与应用场景匹配的采集参数的调整范围，得到目标采集参数的调整范围，第二映射关系表征应用场景与采集参数的调整范围之间的对应关系。根据原始图像数据中目标对象的深度信息，在目标采集参数的调整范围中确定目标采集参数。

本申请实施例中应用场景与采集参数的调整范围之间存在对应关系，示例性的，识别目标对象或识别目标对象的局部细节的应用场景，采集参数中分辨率的调整范围为720P-1080P。也就是说，当应用场景是人脸识别场景或眼球识别场景时，目标采集参数中分辨率设置在720P-1080P之间，就可以获得更多的细节信息，从而提高识别的准确性。识别目标对象的动作的应用场景，采集参数中帧率的调整范围为40FPS-60FPS。也就是说，当应用场景是手势检测场景和动作检测场景时，目标采集参数中帧率设置在40FPS-60FPS之间，就可以在单位时间内获得更多的有效图像数据帧，以供识别处理模块对动作进行分析和识别。

目标对象的深度信息表示目标对象距离镜头之间的距离。如图3所示，图3为本申请实施例提供的一种目标对象的深度信息的示意图，图3中目标对象的深度信息可以表示为焦平面与成像面位置之间的对焦距离。

本申请实施例先确定目标采集参数的调整范围，然后根据原始图像数据中目标对象的深度信息，在目标采集参数的调整范围中确定目标采集参数，不仅考虑了应用场景，还考虑了目标对象的深度信息，提高了目标采集参数与应用场景的匹配度。

在一些实施例中，步骤S104可以通过以下方式实现。根据应用场景中对目标对象进行识别处理所需要的期望图像帧数，或者，应用场景中对目标对象的识别处理过程完成所需要的时长，确定调整时间点。在调整时间点，控制图像采集模块基于目标采集参数，对目标对象进行图像采集，得到目标图像数据。

本申请实施例中调整时间点的选取可以根据多种因素进行确定，包括但不限于：对目标对象进行识别处理所需要的期望图像帧数，和应用场景中对目标对象的识别处理过程完成所需要的时长。示例性的，根据准确识别细节所需要的图像帧数，反向确定需要在多少时间段内获取到对应的图像帧数，然后将该时间段之前对应的时间点确定为调整时间点。根据采集参数调整时得到的动作姿势的变化速度，反向确定需要在多少时间段内检测到对应的工作姿势，也就是说在该时间段之前需要对帧率进行调整，然后将该时间段之前对应的时间点确定为调整时间点。

示例性的，手势检测的场景一般在0.5秒，即500毫秒完成整个手势检测场景的变化，这也就要求识别处理模块在500毫秒内完成识别。若图像采集模块的帧率是30FPS，即1秒30帧，则需要在15帧内完成识别。因此，对于手势检测的场景，需要在表征手势的图像特征点出现在3帧的时候，就开始对提高图像采集模块的帧率，例如，将帧率提高到50FPS，那么图像采集模块采集到15帧时，所用时间是150毫秒，使得识别处理模块能够满足500毫秒内完成识别的要求。本示例中考虑到开始时图像采集模块的帧率较低，3帧就已经耗费了较久的时间，将图像特征点对应的图像帧数设置为3帧，在图像采集模块采集到3帧时，将图像采集模块的帧率从30FPS提高到50FPS。

通过上述步骤S101-步骤S104实现对图像采集模块的采集参数的调整，确定图像采集模块的目标采集参数之后，本申请实施例还根据目标图像数据对采集参数进行第二次调整。

在一些实施例中，在上述任一实施例中步骤S104之后，本申请实施例提供的图像采集方法还包括步骤S105-步骤S109。如图4所示，图4为本申请实施例提供的又一种图像采集方法的步骤流程图。

步骤S105、检测目标图像数据中图像内容的局部信息，获得局部图像特征点和/或局部图像特征点的运动参数。

本申请实施例中局部信息表征目标对象的局部部位或局部细节的信息，例如，目标对象是人脸，目标对象的局部部位包括但不限于眉毛、眼球、瞳孔和巩膜。目标对象是人体手部，目标对象的局部部位包括但不限于指尖和手指关节。

步骤S106、根据局部图像特征点和/或局部图像特征点的运动参数，确定目标图像数据对应的目标应用场景。

其中，目标应用场景表征对目标对象的局部细节进行识别处理的场景，可以理解为对目标对象的局部部位进行准确识别的场景。

通过步骤S105和步骤S106确定目标应用场景的实现方式，与上述步骤S1021和步骤S1022确定应用场景的实现方式一致，在此不再赘述。

步骤S107、若目标采集参数与目标应用场景对应的采集参数不匹配，则确定与目标应用场景匹配的中间采集参数。

通过步骤S105和步骤S106中是对第一次调整采集参数后获得的目标图像数据，进行图像特征点和/或图像特征点的运动参数的分析，在确定的应用场景的基础上，进一步确定目标应用场景。若目标采集参数与目标应用场景对应的采集参数不匹配，则对采集参数进行第二次调整，第二次调整方法与第一次调整方法一致，在此不再赘述。示例性的，通过第一次调整图像采集模块的采集参数以适应于人脸识别场景，通过第二次调整图像采集模块的采集参数以适应于眼球识别场景。

步骤S108、控制图像采集模块基于中间采集参数，对目标对象进行图像采集，得到中间图像数据。

步骤S108与步骤S104的实现方式一致，在此不再赘述。

可以理解的是，在步骤S108获得中间图像数据之后，本申请实施例还可以继续对中间图像数据执行上述步骤S105和步骤S106中的分析，以进一步确定新的应用场景。若图像采集模块的采集参数与新的应用场景不匹配，则再次对采集参数进行调整，以使采集参数与新的应用场景相匹配。

步骤S109、若目标采集参数与目标应用场景对应的采集参数匹配，则执行步骤S104。

若目标采集参数与目标应用场景对应的采集参数匹配，则不需要对采集参数进行第二次调整，控制图像采集模块基于目标采集参数，对目标对象进行图像采集即可。

本申请实施例通过检测目标图像数据中图像内容的局部信息，获得局部图像特征点和/或局部图像特征点的运动参数。然后根据局部图像特征点和/或局部图像特征点的运动参数，确定目标图像数据对应的目标应用场景。若目标采集参数与目标应用场景对应的采集参数不匹配，则确定与目标应用场景匹配的中间采集参数，从而控制图像采集模块基于中间采集参数，对目标对象进行图像采集，得到中间图像数据。通过多级调整策略，避免采集参数一次调整跨度过大，导致功耗过大或与应用场景不匹配的问题，采集参数沿阶梯曲线增长或减小，从而在图像识别效果和系统功耗之间找到平衡，实现了在低功耗的基础上提高图像识别的准确性。

在一些实施例中，在上述任一实施例中步骤S104或步骤S109之后，本申请实施例提供的图像采集方法还包括以下步骤。根据目标采集参数确定识别处理模块的工作参数。识别处理模块根据工作参数，对目标图像数据中的目标对象进行识别处理。

本申请实施例中，首先图像采集模块基于目标采集参数，对目标对象进行图像采集，得到目标图像数据。然后根据目标采集参数确定识别处理模块的工作参数，识别处理模块根据工作参数，对目标图像数据中的目标对象进行识别处理。在识别处理模块识别处理完成后，输出图像，用户才能看到显示的图像。即本申请实施例中图像采集方法是在图像显示之前完成的。

以采集参数包括帧率和分辨率为例，为了降低系统功耗，提高系统处理能力，默认的初始采集参数设置为低帧率和低分辨率。识别处理模块的初始工作参数与图像采集模块的初始采集参数相对应，识别处理模块的初始工作参数是与低帧率和低分辨率相匹配的。因此在调整图像采集模块的采集参数之后，需要根据目标采集参数确定识别处理模块的工作参数，将调整后的帧率和分辨率同步到识别处理模块，以保证整个链路的设置同步，使得调整后的数据流能够正常流转和处理。

示例性的，以图像采集模块是AON sensor、采集参数包括帧率和分辨率为例进行说明，AON sensor不会向用户显示图像，而是将采集到的原始图像数据发送至识别处理模块，进行识别处理。因此，AON sensor的帧率和分辨率的调整，依赖于AON sensor启动时设置的帧率和分辨率。但是相关技术中以固定的帧率和分辨率进行图像采集的方式。图像采集模块在低帧率或低分辨率下采集图像，识别处理模块对低帧率或低分辨率的图像进行识别处理，提高了系统整体功耗，降低了图像识别处理的准确性。本申请实施例中，图像采集模块在与应用场景匹配的帧率或分辨率下采集图像，识别处理模块是对与应用场景匹配的图像进行识别处理，在低功耗的前提下，提高了图像识别处理的准确性。

在一些实施例中，本申请实施例不仅可以通过对图像采集模块的采集参数进行调整，然后识别处理模块根据与目标采集参数对应的工作参数，对目标图像数据中的目标对象进行识别处理，从而提高图像识别处理的效率。还可以通过对目标图像数据的处理过程进行调整以达到同样的技术效果。示例性的，在识别处理模块读取目标图像数据的数据帧时，调整读取数据帧的间隔，例如，隔3帧、隔2帧以及逐帧读取的方式，可以降低图像数据处理的压力，减少系统功耗，提高图像识别处理的效率。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。如图5所示，图5为本申请实施例提供的一种图像处理系统前端的结构示意图。

示例性的，以图像采集模块是AON sensor、采集参数包括帧率和分辨率，为例来进行下面的说明。

图5中图像处理系统前端包括AON sensor、图像内容检测模块以及帧率和分辨率控制模块，AON sensor根据默认的低帧率和低分辨率采集目标对象的原始图像数据，图5中以RAW图像表示原始图像数据，RAW图像就是图像感应器将捕捉到的光源信号转化为数字信号的原始图像数据。

图像内容检测模块对获得的RAW图像进行检测，该检测为概略性检测，主要目的是为了初步判断是否有需要识别的应用场景。该检测过程可以通过对图像特征点和/或图像特征点的运动参数的检测实现，当检测到预设图像特征点和/或预设的图像特征点的运动参数时，确定出现了需要识别的应用场景。图像内容检测模块对RAW图像进行图像内容检测分析，可以通过神经网络处理器(Neural-network Processing Units，NPU)进行处理，NPU为神经网络(neural-network，NN)的计算处理器，能够对输入信息进行快速处理。

图像内容检测模块将图像内容检测结果发送至帧率和分辨率控制模块，该图像内容检测结果用于确定应用场景，图5中是以帧率和分辨率控制模块根据图像内容检测结果确定应用场景为例进行说明。帧率和分辨率控制模块根据图像内容检测结果，基于预设的帧率和分辨率调整策略，确定合适的帧率和分辨率。将AON sensor的帧率和分辨率调整至合适的帧率和分辨率，并基于调整后的帧率和分辨率同步整条数据链路，例如，同步识别处理模块的工作参数。

需要说明的是，本申请实施例可以由图像内容检测模块根据图像内容检测结果确定应用场景，也可以由帧率和分辨率控制模块根据图像内容检测结果确定应用场景，对此本申请实施例不做限制。

上述帧率和分辨率调整策略，可以根据不同的应用场景进行差异化的调整设置。示例性的，对于需要进行姿势变换的检测场景(例如手势检测或动作检测)，优先提高帧率，以保证在单位时间内有更多的有效图像数据帧，可供分析识别。对于根据图像信息准确性的应用场景(例如，针对需要对眼球信息进行识别的场景)，优先提高分辨率，以保证通过更多的眼球细节信息，提高识别的准确性。

然后AON sensor基于调整后的帧率和分辨率进行图像采集，得到目标图像数据。其中，帧率和分辨率控制模块根据预设的帧率和分辨率进行调整时，可以根据调整策略执行帧率和分辨率决策。在本申请实施例中，对于图5中帧率和分辨率调整策略，也可以根据AON sensor的调整结果确定配置文件，也就是应用场景与AON sensor的采集参数具有映射关系，当需要对采集参数进行调整时，通过对配置文件的查询决定目标采集参数即可。也可以基于应用场景设置配置文件允许的采集参数的调整范围，结合其他的相关参数进行类似插值的处理方式，从而确定目标采集参数。例如，对于人像的场景，可以在配置文件允许的采集参数的调整范围内，结合人像所在位置的深度信息，计算得到目标采集参数。其中，深度信息可以理解为目标对象与镜头之间的距离，如上述图3所示，在此不再赘述。

本申请实施例系统前端的图像内容检测模块对AON sensor输出的原始图像数据，进行初步的应用场景识别，得到应用场景的判断结果。可以理解的是，也可以由帧率和分辨率决策模块根据图像内容检测结果确定应用场景。然后帧率和分辨率决策模块根据应用场景的判断结果，对帧率和分辨率进行调整，使得系统在低功耗的前提下，实现应用场景准确识别的效果。本申请实施例不需要用户介入，直接由前端的图像内容检测模块对应用场景进行判断，进而帧率和分辨率决策模块根据应用场景的判断结果，进行帧率和分辨率的调整。因此，本申请实施例对于用户来说是不可见的，自动完成的，提高了用户体验。

结合图5提供的图像处理系统前端，本申请实施例提供了一种对基于图像检测的AON sensor进行配置调整的方法，其调整的采集参数可以包括帧率和/或分辨率，用于实现在低功耗的前提下提高图像识别处理的准确性。如图6所示，图6为本申请实施例提供的再一种图像采集方法的步骤流程图，包括步骤S601-步骤S609。图6中以调整帧率和分辨率为例来进行说明，可以理解的是，在调整采集参数时，也可以仅调整帧率或分辨率。

步骤S601、AON Sensor采集原始图像数据，将原始图像数据发送至图像内容检测模块进行图像内容检测处理。

需要说明的是，在步骤S601之前，本申请实施例打开AON sensor，并启动图像处理系统前端的Pre-ISP(Image Signal Processing)模块，Pre-ISP模块表示前置图像信号处理器。

步骤S602、图像内容检测模块进行图像内容检测。

图像内容检测模块根据原始图像数据，进行图像特征点和/或图像特征点的运动参数的检测，得到进行帧率和分辨率调整的阈值信息，图6中将图像特征点或和/或图像特征点的运动参数设置为阈值1。

步骤S602中可以根据图像内容检测结果自动启动相关调整策略，也可以由用户提前设置拍摄的场景模式，例如，是手势识别功能模式还是眼球识别功能模式，根据该场景模式确定调整策略。

步骤S603、基于得到的阈值信息，结合帧率和分辨率调整策略进行调整。

步骤S603可以是多级调整，可以通过步骤S6031-步骤S6034实现。

步骤S6031、判断图像内容检测模块检测到的图像内容是否达到阈值1。

步骤S6032、若图像内容检测模块检测到的图像内容达到阈值1，则根据调整策略对帧率和分辨率进行第一次调整。

AON sensor利用初步调整后的帧率和分辨率进行图像采集，获得目标图像数据，图像内容检测模块根据目标图像数据进行调整后的图像内容的检测。

步骤S6033、判断图像内容检测模块检测到的调整后的图像内容是否达到阈值2。

步骤S6034、若图像内容检测模块检测到的调整后的图像内容达到阈值2，则根据调整策略对对帧率和分辨率进行第二次调整。

通过步骤S6031-步骤S6034的多级调整，从而继续进行精确度更高的应用场景的识别处理。

示例性的，通过图像内容识别模块对原始图像数据中的图像特征点和/或图像特征点的运动参数，进行识别分析，当图像特征点和/或图像特征点的运动参数的变化，达到阈值1，将帧率和分辨率提高一个级别，例如，将帧率从15FPS提升为30FPS，再对需要识别的场景进行更加准确及时的识别判断，使得系统可以据此执行后续的控制操作，例如屏幕点亮或相机唤醒等操作，本申请实施例对此不作限制。

在一些实施例中，通过图像内容检测模块对图像内容(例如，人脸识别、手势检测)进行识别，当满足一定的条件之后(例如，识别到人脸、识别到不同的手势、识别到帧与帧之间手势的变化)，对帧率和分辨率进行调整，以适当的帧率和分辨率输出目标图像数据，进而，基于目标图像数据进行图像识别，提高了图像识别结果的准确性。

步骤S604、使用调整后的帧率和分辨率进行图像采集，并将调整后的帧率和分辨率对应的工作参数，同步到相应的识别处理模块，保证整条链路的设置同步处理。

步骤S605、基于调整后的帧率和分辨率配置，继续进行图像的预览或拍摄。

在对帧率和分辨率进行调整之后，同时将图像采集模块和识别处理模块调整为同一处理模式，即，将帧率和分辨率，同步到AON sensor的输出以及后续识别处理模块的输入。AON sensor基于高分辨率和高帧率采集目标图像数据，识别处理模块基于目标图像数据进行识别处理，得到更加准确的识别结果，以供后续系统执行对应的操作，例如，屏幕唤醒、相机打开等功能。

需要说明的是，上述阈值1和阈值2的选取可以根据多种因素进行选定，示例性的，根据应用场景中，对目标对象准确识别所需要的图像帧数，以及采集参数调整时得到的动作姿势的变化速度，反向确定需要在什么时刻对帧率和分辨率进行调整，进而确定对应的阈值1和阈值2，将阈值作为判断调整时间点时所依赖的判断条件。

本申请实施例基于图像特征点和/或图像特征点的运动参数，对AON sensor的采集参数(帧率和分辨率)进行调整。同时，利用底层处理的特点，根据调整后的帧率和分辨率，对识别处理模块的工作参数进行同步，保证调整之后系统的数据流能够正常流转和处理。示例性的，针对应用场景中图像识别内容的特点，采用不同的帧率和分辨率调整策略。例如，对于人像识别场景(人脸识别场景、眼球识别场景)，可以设置低帧率和高分辨率。对于手势检测场景，设置高帧率，用于匹配手势的快速变动，设置低分辨率，用于降低系统功耗。本申请实施例可以基于图像采集模块和图像内容检测模块的自反馈参数，进行自适应调整，例如，帧率和分辨率的调整。

在一些实施例中，还可以通过以下示例实现图像识别处理的准确性。

示例一、对于帧率和分辨率的调整，不仅可以对AON sensor的采集参数进行调整，也可以调整对图像数据流的处理策略，示例性的，在识别处理模块读取目标图像数据的数据帧时，可以调整读取数据帧的间隔(间隔3帧、间隔2帧以及逐帧读取的方式)，从而降低图像数据处理的压力，减少系统功耗。

示例二、对于采集参数的调整不仅仅局限于帧率和分辨率，同样可以通过调整图像位宽信息和目标图像的深度信息，对图像的数据量进行调整，以减少算法处理时的压力，节省系统功耗。因此，对于相关配置的调整，还可以有更多的选择和对应的调整策略，使得系统整体识别处理效果和功耗达到平衡，从而减少系统功耗，提高图像识别处理的准确性。

基于上述实施例的图像采集方法，本申请实施例还提供一种图像采集装置，如图7所示，图7为本申请实施例提供的一种图像采集装置的结构示意图，该图像采集装置70包括：第一采集单元701，用于通过图像采集模块采集目标对象的原始图像数据；第一确定单元702，用于通过检测所述原始图像数据中图像内容，确定所述原始图像数据对应的应用场景，所述应用场景表征对所述目标对象进行识别处理的场景；第二确定单元703，用于确定与所述应用场景匹配的目标采集参数；第二采集单元704，用于控制所述图像采集模块基于所述目标采集参数，对所述目标对象进行图像采集，得到目标图像数据。

在本申请实施例中，第一确定单元702，还用于通过检测所述原始图像数据中图像内容，获得图像特征点和/或所述图像特征点的运动参数；根据所述图像特征点和/或所述图像特征点的运动参数，与预设应用场景进行匹配，获得所述原始图像数据对应的应用场景。

在本申请实施例中，所述目标采集参数包括以下中的至少一项：帧率、分辨率、焦距和图像位宽信息。

在本申请实施例中，第二确定单元703，还用于根据第一映射关系，确定与所述应用场景匹配的采集参数，得到所述目标采集参数，所述第一映射关系表征所述应用场景与采集参数之间的对应关系。

在本申请实施例中，所述第一映射关系包括：若所述应用场景为用于识别所述目标对象的动作的应用场景，则所述目标采集参数包括第一帧率，所述高于采集所述原始图像数据使用的第二帧率；若所述应用场景为用于识别所述目标对象或识别所述目标对象的局部细节的应用场景，则所述目标采集参数包括第一分辨率，所述第一分辨率高于采集所述原始图像数据使用的第二分辨率。

在本申请实施例中，第二确定单元703，还用于根据第二映射关系，确定与所述应用场景匹配的采集参数的调整范围，得到所述目标采集参数的调整范围，所述第二映射关系表征所述应用场景与采集参数的调整范围之间的对应关系；根据所述原始图像数据中所述目标对象的深度信息，在所述目标采集参数的调整范围中确定所述目标采集参数。

在本申请实施例中，第二采集单元704，还用于根据所述应用场景中对所述目标对象进行识别处理所需要的期望图像帧数，或者，所述应用场景中对所述目标对象的识别处理过程完成所需要的时长，确定调整时间点；在所述调整时间点，控制所述图像采集模块基于所述目标采集参数，对所述目标对象进行图像采集，得到目标图像数据。

在本申请实施例中，第一确定单元702，还用于检测所述目标图像数据中图像内容的局部信息，获得局部图像特征点和/或局部图像特征点的运动参数；根据所述局部图像特征点和/或所述局部图像特征点的运动参数，确定所述目标图像数据对应的目标应用场景，所述目标应用场景表征对所述目标对象的局部细节进行识别处理的场景；第二采集单元704，还用于若所述目标采集参数与所述目标应用场景对应的采集参数不匹配，则确定与所述目标应用场景匹配的中间采集参数；控制所述图像采集模块基于所述中间采集参数，对所述目标对象进行图像采集，得到中间图像数据。

在本申请实施例中，图像采集装置70还包括识别单元，识别单元用于根据所述目标采集参数确定识别处理模块的工作参数；所述识别处理模块根据所述工作参数，对所述目标图像数据中的所述目标对象进行识别处理。

需要说明的是，上述实施例提供的图像采集装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像采集装置与图像采集方法实施例属于同一构思，其具体实现过程及有益效果详见方法实施例，这里不再赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

在本申请的实施例中，图8为本申请实施例提出的图像采集设备组成结构示意图，如图8示，本申请实施例提出的图像采集设备80还可以包括处理器801、存储有处理器801可执行指令的存储器802，在本申请的一些实施例中，图像采集设备80还可以包括通信接口803，和用于连接处理器801、存储器802以及通信接口803的总线804。

在本申请的实施例中，上述处理器801可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。图像采集设备80还可以包括存储器802，该存储器802可以与处理器801连接，其中，存储器802用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器802可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。

在本申请的实施例中，总线804用于连接通信接口803、处理器801以及存储器802以及这些器件之间的相互通信。

在本申请的实施例中，存储器802，用于存储指令和数据。

在本申请的实施例中，上述处理器801，用于通过图像采集模块采集目标对象的原始图像数据；通过检测所述原始图像数据中图像内容，确定所述原始图像数据对应的应用场景，所述应用场景表征对所述目标对象进行识别处理的场景；确定与所述应用场景匹配的目标采集参数；控制所述图像采集模块基于所述目标采集参数，对所述目标对象进行图像采集，得到目标图像数据。

在实际应用中，上述存储器802可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatilememory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器801提供指令和数据。

另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上任一实施例所述的图像采集方法。

示例性的，本实施例中的一种图像采集方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像采集方法对应的程序指令被一电子设备读取或被执行时，可以实现如上述任一实施例所述的图像采集方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (12)

1.一种图像采集方法，其特征在于，所述方法包括：

通过图像采集模块采集目标对象的原始图像数据；

通过检测所述原始图像数据中图像内容，确定所述原始图像数据对应的应用场景，所述应用场景表征对所述目标对象进行识别处理的场景；

确定与所述应用场景匹配的目标采集参数；

控制所述图像采集模块基于所述目标采集参数，对所述目标对象进行图像采集，得到目标图像数据。

2.根据权利要求1所述的方法，其特征在于，所述通过检测所述原始图像数据中图像内容，确定所述原始图像数据对应的应用场景，包括：

通过检测所述原始图像数据中图像内容，获得图像特征点和/或所述图像特征点的运动参数；

根据所述图像特征点和/或所述图像特征点的运动参数，与预设应用场景进行匹配，获得所述原始图像数据对应的应用场景。

3.根据权利要求1所述的方法，其特征在于，所述目标采集参数包括以下中的至少一项：帧率、分辨率、焦距和图像位宽信息。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述确定与所述应用场景匹配的目标采集参数，包括：

根据第一映射关系，确定与所述应用场景匹配的采集参数，得到所述目标采集参数，所述第一映射关系表征所述应用场景与采集参数之间的对应关系。

5.根据权利要求4所述的方法，其特征在于，所述第一映射关系包括：

若所述应用场景为用于识别所述目标对象的动作的应用场景，则所述目标采集参数包括第一帧率，所述第一帧率高于采集所述原始图像数据使用的第二帧率；

若所述应用场景为用于识别所述目标对象或识别所述目标对象的局部细节的应用场景，则所述目标采集参数包括第一分辨率，所述第一分辩率高于采集所述原始图像数据使用的第二分辨率。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述确定与所述应用场景匹配的目标采集参数，包括：

根据第二映射关系，确定与所述应用场景匹配的采集参数的调整范围，得到所述目标采集参数的调整范围，所述第二映射关系表征所述应用场景与采集参数的调整范围之间的对应关系；

根据所述原始图像数据中所述目标对象的深度信息，在所述目标采集参数的调整范围中确定所述目标采集参数。

7.根据权利要求1所述的方法，其特征在于，控制所述图像采集模块基于所述目标采集参数，对所述目标对象进行图像采集，得到目标图像数据，包括：

根据所述应用场景中对所述目标对象进行识别处理所需要的期望图像帧数，或者，所述应用场景中对所述目标对象的识别处理过程完成所需要的时长，确定调整时间点；

在所述调整时间点，控制所述图像采集模块基于所述目标采集参数，对所述目标对象进行图像采集，得到目标图像数据。

8.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

检测所述目标图像数据中图像内容的局部信息，获得局部图像特征点和/或局部图像特征点的运动参数；

根据所述局部图像特征点和/或所述局部图像特征点的运动参数，确定所述目标图像数据对应的目标应用场景，所述目标应用场景表征对所述目标对象的局部细节进行识别处理的场景；

若所述目标采集参数与所述目标应用场景对应的采集参数不匹配，则确定与所述目标应用场景匹配的中间采集参数；

控制所述图像采集模块基于所述中间采集参数，对所述目标对象进行图像采集，得到中间图像数据。

9.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

根据所述目标采集参数确定识别处理模块的工作参数；

所述识别处理模块用于根据所述工作参数，对所述目标图像数据中的所述目标对象进行识别处理。

10.一种图像采集装置，其特征在于，所述装置包括：

第一采集单元，用于通过图像采集模块采集目标对象的原始图像数据；

第一确定单元，用于通过检测所述原始图像数据中图像内容，确定所述原始图像数据对应的应用场景，所述应用场景表征对所述目标对象进行识别处理的场景；

第二确定单元，用于确定与所述应用场景匹配的目标采集参数；

第二采集单元，用于控制所述图像采集模块基于所述目标采集参数，对所述目标对象进行图像采集，得到目标图像数据。

11.一种图像采集设备，其特征在于，包括存储器和处理器；

所述存储器存储有可在处理器上运行的计算机程序；

所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。

12.一种计算机可读存储介质，其特征在于，其上存储有可执行指令，用于被处理器执行时，实现权利要求1至9任一项所述的方法。

Images