CN110290323B - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。上述方法包括：控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据；根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值；从多帧图像中获取角速度均值最小的第一数量帧图像；将第一数量帧图像进行融合处理，得到目标图像。由于可以根据每一帧图像的角速度数据计算角速度均值，根据角速度均值从多帧图像中获取第一数量帧图像进行融合处理，以得到目标图像，可以提高融合的图像质量。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着影像技术的发展，人们对电子设备的图像采集技术的要求越来越高，为提高电子设备的成像效果，电子设备可以通过摄像头拍摄同一场景的多帧图像，进而将多帧图像进行合成。然而，传统方法中，电子设备通过摄像头采集多帧图像进行合成的方式存在合成的图像质量不高的问题。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备和计算机可读存储介质，可以提高图像质量。

一种图像处理方法，包括：

控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据；

根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值；

从所述多帧图像中获取角速度均值最小的第一数量帧图像；

将所述第一数量帧图像进行融合处理，得到目标图像。

一种图像处理装置，包括：

第一获取模块，用于控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据；

计算模块，用于根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值；

第二获取模块，用于从所述多帧图像中获取角速度均值最小的第一数量帧图像；

处理模块，用于将所述第一数量帧图像进行融合处理，得到目标图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据；

根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值；

从所述多帧图像中获取角速度均值最小的第一数量帧图像；

将所述第一数量帧图像进行融合处理，得到目标图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据；

根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值；

从所述多帧图像中获取角速度均值最小的第一数量帧图像；

将所述第一数量帧图像进行融合处理，得到目标图像。

上述图像处理方法、装置、电子设备和计算机可读存储介质，可以在控制摄像头采集多帧图像时，获取每一帧图像对应的角速度数据，根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值，从多帧图像中获取角速度均值最小的第一数量帧图像，将第一数量帧图像进行融合处理，得到目标图像。由于可以根据每一帧图像的角速度数据计算角速度均值，根据角速度均值从多帧图像中获取第一数量帧图像进行融合处理，以得到目标图像，可以提高融合的图像质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理电路的结构示意图；

图3为一个实施例中图像处理方法的流程图；

图4为另一个实施例中图像处理方法的流程图；

图5为又一个实施例中图像处理方法的流程图；

图6为一个实施例中计算角速度均值的流程图；

图7为一个实施例中图像处理装置的结构框图；

图8为一个实施例中电子设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一获取模块称为第二获取模块，且类似地，可将第二获取模块称为第一获取模块。第一获取模块和第二获取模块两者都是获取模块，但其不是同一获取模块。

图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备110包括摄像头。具体地，电子设备110控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据，根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值，从所述多帧图像中获取角速度均值最小的第一数量帧图像，将所述第一数量帧图像进行融合处理，得到目标图像。其中，电子设备110可以但不限于是各种手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例还提供一种了电子设备。电子设备包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图2为一个实施例中图像处理电路的示意图。如图2所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图2所示，图像处理电路包括ISP处理器240和控制逻辑器250。成像设备210捕捉的图像数据首先由ISP处理器240处理，ISP处理器240对图像数据进行分析以捕捉可用于确定和/或成像设备210的一个或多个控制参数的图像统计信息。成像设备210可包括具有一个或多个透镜212和图像传感器214的照相机。图像传感器214可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器214可获取用图像传感器214的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器240处理的一组原始图像数据。传感器220(如陀螺仪)可基于传感器220接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器240。传感器220接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器214也可将原始图像数据发送给传感器220，传感器220可基于传感器220接口类型把原始图像数据提供给ISP处理器240，或者传感器220将原始图像数据存储到图像存储器230中。

ISP处理器240按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器240可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器240还可从图像存储器230接收图像数据。例如，传感器220接口将原始图像数据发送给图像存储器230，图像存储器230中的原始图像数据再提供给ISP处理器240以供处理。图像存储器230可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器214接口或来自传感器220接口或来自图像存储器230的原始图像数据时，ISP处理器240可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器230，以便在被显示之前进行另外的处理。ISP处理器240从图像存储器230接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器240处理后的图像数据可输出给显示器270，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器240的输出还可发送给图像存储器230，且显示器270可从图像存储器230读取图像数据。在一个实施例中，图像存储器230可被配置为实现一个或多个帧缓冲器。此外，ISP处理器240的输出可发送给编码器/解码器260，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器270设备上之前解压缩。编码器/解码器260可由CPU或GPU或协处理器实现。

ISP处理器240确定的统计数据可发送给控制逻辑器250单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜212阴影校正等图像传感器214统计信息。控制逻辑器250可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备210的控制参数及ISP处理器240的控制参数。例如，成像设备210的控制参数可包括传感器220控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜212控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜212阴影校正参数。

成像设备210即为本申请实施例所提供的摄像头，电子设备可以控制成像设备210采集多帧图像，并获取成像设备210采集的每一帧图像对应的角速度数据，根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值，从多帧图像中获取角速度均值最小的第一数量帧图像，ISP处理器240可以将第一数量帧图像进行融合处理，得到目标图像。可选地，在一些实施例中，也可以由电子设备的处理器将第一数量帧图像进行融合处理，得到目标图像。

图3为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的电子设备上为例进行描述。如图3所示，图像处理方法包括步骤302至步骤308。

步骤302，控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据。

摄像头可以是黑白摄像头、彩色摄像头、广角摄像头、或长焦摄像头等中的一种或多种。摄像头可以是内置于电子设备的摄像头，也可以是外置摄像头。电子设备控制摄像头采集多帧图像，具体地，电子设备可以在接收到图像采集指令时控制摄像头采集多帧图像。该图像采集指令是用于指示摄像头采集多帧图像并融合得到最终图像的指示。例如，该图像采集指令可以是夜景图像采集指令、HDR(High-Dynamic Range，高动态范围图像)图像采集指令、全景图像采集指令等，在此不做限定。

电子设备包含有陀螺仪。陀螺仪是用于检测角速度的角运动检测装置。在摄像头拍摄图像的过程中，如果摄像头产生抖动或者移动，则会影响摄像头成像的清晰度，使得采集的图像产生模糊。陀螺仪可以在电子设备发生抖动时，采集并输出角速度数据。可选地，电子设备包含的陀螺仪可以位于摄像头模组内部，也可以位于电子设备中除摄像头模组之外的位置。

电子设备可以控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据。每一帧图像对应的角速度数据是指摄像头在拍摄该帧图像时，陀螺仪输出的角速度数据。具体地，摄像头采集一帧图像需要一定的曝光时间，则图像对应的角速度数据即为在该帧图像的曝光时间内，陀螺仪输出的角速度数据。可选地，电子设备采集多帧图像的曝光时间可以是相同的，也可以是不同的。

步骤304，根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值。

每一帧图像对应的角速度数据是指摄像头在拍摄该帧图像的曝光时间内，陀螺仪输出的角速度数据。通常，陀螺仪输出角速度数据的频率往往大于摄像头采集图像的帧率，则每一帧图像对应的角速度数据可以是一个或多个。例如，当陀螺仪输出角速度数据的频率为300Hz时，若采集图像的曝光时间为0.02s，则该帧图像对应的角速度数据为6个，若采集图像的曝光时间为0.01s则该帧图像对应的角速度数据为3个。

电子设备根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值。具体地，当图像对应的角速度数据为1个时，则电子设备将该图像对应的角速度数据作为该图像对应的角速度均值；当帧图像对应的角速度数量为多个，则可以根据该图像对应的角速度数据求平均值，得到该图像对应的角速度均值。可选地，在一些实施例中，电子设备还可以剔除图像对应的角速度数据中异常的角速度数据，例如超过最大阈值、或者小于最小阈值的角速度数据，将剔除之后的角速度数据的平均值作为该帧图像的角速度均值。

步骤306，从多帧图像中获取角速度均值最小的第一数量帧图像。

电子设备可以从多帧图像中获取角速度均值最小的第一数量帧图像。角速度均值越大，则说明采集该图像时，摄像头的抖动程度越大，反之，角速度均值越小，则说明采集该图像时，摄像头的抖动程度越小。电子设备获取角速度均值最小的第一数量帧图像，则是获取多帧图像中拍摄时抖动程度最小的第一数量帧图像。

第一数量是指用于融合最终图像所需要的图像数量。第一数量可以根据实际应用需求设定，在此不做限定。例如，第一数量可以是2、3、4、5等。可选地，电子设备可以预设不同的图像拍摄模式对应的第一数量。例如，当第一数量为3，电子设备采集的6帧图像对应的角速度均值分别为0.2度每秒、0.3度每秒、0.6度每秒、0.05度每秒、0.1度每秒、0.5度每秒时，则电子设备可以获取角速度均值分别为0.05度每秒、0.1度每秒、0.2度每秒的三帧图像。

步骤308，将第一数量帧图像进行融合处理，得到目标图像。

融合处理是指对多帧图像进行信息提取与综合后生成最终的图像的操作。具体地，电子设备可以通过色调映射算法、或基于对比度或者梯度阈的方法、线性加权、非线性加权融合、多帧降噪算法等将多帧图像融合。目标图像是指融合处理后得到的最终图像。电子设备可以将根据角速度均值获取的第一数量帧图像进行融合处理，得到目标图像。可选地，电子设备通过融合处理得到目标图像后，可以将目标图像存储至电子设备的存储器中，还可以展示在电子设备的显示屏上。

本申请提供的实施例中，通过控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据，根据每一帧角速度数据计算每一帧图像对应的角速度均值，从多帧图像中获取角速度均值最小的第一数量帧图像，将第一数量帧图像进行融合处理，得到目标图像。由于可以根据每一帧图像对应的角速度数据计算对应的角速度均值，从而获取角速度均值最小的第一数量帧图像以融合得到目标图像，避免用于融合得到目标图像的多帧图像中存在抖动幅度过大、模糊的图像而导致目标图像的效果较差，可以提高目标图像的质量。

图4为另一个实施例中图像处理方法的流程图。如图4所示，在一个实施例中，提供的图像处理方法包括：

步骤402，获取第一数量个不同的曝光时间。

曝光时间是摄像头在采集图像时，快门从打开到关闭的时间间隔。在一些情况下，电子设备需要采集多帧不同曝光时间的图像以进行合成。例如，HDR图像需要融合至少两帧不同曝光时间的图像。当然，其他一些场景，如夜景图像等也可以采集多帧不同曝光时间的图像以融合得到目标图像。

电子设备预存不同的拍摄模式对应的第一数量个曝光时间。例如，HDR对应的第一数量可以是3、4、5等，在此不做限定。曝光时间的具体数值可以是电子设备预存的，也可以是电子设备根据当前的拍摄场景确定的。具体地，电子设备可以通过检测环境光亮度、预览图像中的图像信息等方式确定第一数量个曝光时间。

步骤404，控制摄像头以每一个曝光时间拍摄至少两帧图像。

电子设备控制摄像头以每一个曝光时间拍摄至少两帧图像。即每一个曝光时间对应至少两帧图像。例如，当第一数量为3，电子设备控制摄像头以每一个曝光时间拍摄2帧图像时，则可以得到6帧图像。其中，摄像头拍摄的多帧图像的被拍摄场景相同或近似相同，不同曝光时间对应的图像中包含的图像信息量不同。

步骤406，获取每一帧图像对应的角速度数据，根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值。

步骤408，从每一个曝光时间对应的至少两帧图像中获取角速度均值最小的一帧图像，得到第一数量帧图像。

步骤410，将第一数量帧图像进行融合处理，得到目标图像。

电子设备从每一个曝光时间对应的至少两帧图像中获取角速度均值最小的一帧图像，得到第一数量帧图像。具体地，电子设备可以依次获取每一个曝光时间对应的至少两帧图像，将至少两帧图像对应的角速度均值进行比对，以获取其中角速度均值最小的一帧图像。例如，当曝光时间为0.1s对应的两帧图像的角速度均值分别为0.4度每秒、0.25度每秒，曝光时间为0.2s对应的三帧图像分别为0.5度每秒、0.65度每秒、0.3度每秒，曝光时间为0.3s对应的三帧图像分别为0.4度每秒、0.45度每秒、0.55度每秒时，则电子设备可以获取曝光时间为0.1s且角速度均值为0.25度每秒、曝光时间为0.2s且角速度均值为0.3度每秒、曝光时间为0.3s且角速度均值为0.4度每秒的三帧图像。

在一些实施例中，电子设备可以预设每一个曝光时间采集的图像帧数。可选地，曝光时间与预设的图像帧数呈正相关，即曝光时间越大，预设的图像帧数可以越大。由于曝光时间越大，则采集图像过程中摄像头的抖动对成像质量的影响越大，电子设备可以在曝光时间较大时，采集较多的图像以供筛选，可以提高图像的质量。

可选地，当每一个曝光时间对应的至少两帧图像中角速度均值最小的图像数量大于或等于2帧，则电子设备可以从中随机获取一帧图像；也可以每一帧图像对应的参数确定获取的图像，如获取其中清晰度最高、图像细节最多、或图像亮度最高的图像等；还可以分析每一个帧图像包含的图像信息以确定获取的图像等，在此不做限定。

通过获取第一数量个不同的曝光时间，控制摄像头以每一个曝光时间拍摄至少两帧图像，根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值，从每一个曝光时间对应的至少两帧图像中获取角速度均值最小的一帧图像，得到第一数量帧图像，将第一数量帧图像进行融合处理，得到目标图像。即在进行多帧不同曝光时间的图像合成时，可以利用角速度数据筛选出各个曝光时间对应的抖动程度最小的一帧图像，以合成目标图像，可以提高目标图像的清晰度和成像效果。

图5为又一个实施例中图像处理方法的流程图。如图5所示，在一个实施例中，提供的图像处理方法包括：

步骤502，通过摄像头采集预览图像。

预览图像是指摄像头采集的可实时展示于电子设备显示屏的图像。

步骤504，根据预览图像的亮度分布信息判断预览图像是否为高光比图像。

高光比图像是指图像中暗面和亮面的受光比例存在一定差异的图像。电子设备根据预览图像的亮度分布信息可以判断预览图像是否为高光比图像。可选地，电子设备在预览图像中存在亮度值差异较大的像素点时则确定该预览图像为高光比图像；电子设备也可以建立预览图像的亮度分布直方图，当根据亮度分布直方图确定预览图像中存在分布于直方图两侧的像素点的数量达到预设数量时，则确定该预览图像为高光比图像等。

步骤506，当确定预览图像为高光比图像时，则获取第一数量个不同的曝光时间。

电子设备可以在确定预览图像为高光比图像时，则获取第一数量个不同的曝光时间。

在一个实施例中，电子设备通过摄像头以第二数量个不同的曝光时间分别采集一帧图像，得到第二数量帧图像；对每一帧图像进行内容分析，得到每一帧图像对应的内容分布图和图像信息量；基于每一帧图像对应的内容分布图和图像信息量，从第二数量个曝光时间中选取得到第一数量个不同的曝光时间，其中，第二数量大于第一数量。

电子设备可以根据实际应用需求预设的多个第二数量个不同的曝光时间，第二数量大于第一数量。例如，当第一数量为3个，第二数量可以是4、5、6、7等，在此不做限定。图像信息量为图像所提供的信息总量，反映了图像的复杂程度。具体地，电子设备可以以图像熵对应的计算公式来计算图像信息量，可选地，电子设备还可以综合第一图像中包含的无效信息等来计算第一图像的图像信息量。内容分布图可以确定图像内容在图像中分布的位置和大小。其中，图像内容包括图像的亮度、色彩、复杂度中的至少一种，在一些实施例中，图像内容还可以是饱和度、色温等，在此不做限定。以建立图像的亮度的二维内容分布图为例进行说明，电子设备可以以图像的中心作为原点、图像所在平面作为XY平面、图像的亮度信息作为Z轴建立三维坐标系，则根据该二维分布图，电子设备可以明确亮度信息在图像中的空间分布情况。

电子设备可以对每一帧图像进行内容分析，得到每一帧图像对应的内容分布图和图像信息量；基于每一帧图像对应的内容分布图和图像信息量，从第二数量个曝光时间中选取得到第一数量个不同的曝光时间。具体地，电子设备可以根据每一个曝光时间对应的图像信息量及内容分布图确定图像信息在图像中的分布情况。举例来说，图像的色彩的内容分布图中色彩单一的区域分布的图像信息越少，色彩丰富的区域分布的图像信息则越多。进而电子设备可以根据每一帧图像的信息分布情况对比不同的图像之间差异信息的增量，从而基于不同的图像之间的差异信息的增量对比，电子设备可以从第二数量个曝光时间中确定包含被拍摄物体的信息最多的第一数量个曝光时间。

步骤508，控制摄像头以每一个曝光时间拍摄至少两帧图像。

步骤510，获取每一帧图像对应的角速度数据，根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值。

步骤512，从每一个曝光时间对应的至少两帧图像中获取角速度均值最小的一帧图像，得到第一数量帧图像。

步骤514，将第一数量帧图像进行融合处理，得到目标图像。

通过先获取预览图像并判断是否为高光比图像，当预览图像为高光比图像时，则通过摄像头获取第一数量个不同的曝光时间，以采集每一个曝光时间对应的图像进行融合，可以实现智能开启摄像头的HDR功能。并且，基于第二数量个曝光时间分别对应的图像的图像信息量和内容分布图，确定第一数量个曝光时间，可以提高第一数量个曝光时间的准确性。

图6为一个实施例中计算角速度均值的流程图。如图6所示，在一个实施例中，提供的图像处理方法中根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值，包括：

步骤602，检测图像中目标物体对应的目标区域。

具体地，电子设备可以通过目标检测模型、目标匹配算法等对图像进行检测，以得到图像中包含的目标物体对应的目标区域。可选地，电子设备可以电子设备对图像进行目标检测，可以根据VGG(Visual Geometry Group)、CNN(Convolutional Neural Network)、SSD(single shot multibox detector)、决策树(Decision Tree)等深度学习算法训练目标检测模型，根据目标检测模型识别图像中包含的目标物体对应的目标区域。

步骤604，从图像对应的角速度数据中获取与目标区域对应的目标角速度数据。

摄像头在采集图像的过程中，通常采用逐行曝光的方式，即每一行像素点对应曝光时间不相同。电子设备从图像对应的角速度数据中获取与目标区域对应的目标角速度数据，具体地，陀螺仪输出的角速度数据通常带有对应的时间戳，电子设备可以根据目标区域在图像中位置确定该目标区域所在的像素行数对应的曝光时间，根据该曝光时间从图像对应的角速度数据中获取目标角速度数据。例如，当图像包含1000行像素时，若目标区域所在的像素点行数为200至600行，该帧图像对应的角速度数据按照输出的顺序分别为0.05度每秒、0.07度每秒、0.1度每秒、0.08度每秒、0.11度每秒，则目标区域对应的目标角速度数据为0.07度每秒、0.1度每秒、0.08度每秒。

步骤606，根据目标角速度数据计算图像对应的角速度均值。

电子设备可以在根据目标区域获取目标角速度数据之后，根据目标角速度数据计算图像对应的角速度均值。可选地，在一些实施例中，电子设备可以获取陀螺仪输出角速度数据的频率，当该频率与图像的采集帧率的比值大于阈值时，则执行检测图像中目标物体对应的目标区域，从图像对应的角速度数据中获取与目标区域对应的目标角速度数据，根据目标角速度数据计算图像对应的角速度均值的操作。

通过检测图像中目标物体对应的目标区域，从图像对应的角速度数据中获取与目标区域对应的目标角速度数据，根据目标角速度数据计算图像对应的角速度均值，即可以偏向性地考虑在采集图像中目标物体时摄像头的抖动程度，可以提高角速度均值的准确性，从而在根据角速度均值确定的第一数量帧图像中，目标物体对应的目标区域更加清晰。

在一个实施例中，提供的图像处理方法中将第一数量帧图像进行融合处理，得到目标图像的过程，包括：根据角速度数据对与角速度数据对应的图像进行抖动补偿处理；将抖动补偿处理后的第一数量帧图像进行融合处理，得到目标图像。

电子设备根据角速度数据对于角速度数据对应的图像进行抖动补偿处理，具体地，电子设备可以先根据角速度数据确定摄像头在采集图像时的位置偏移，进而根据位置偏移计算图像的偏移数据，根据该偏移数据对与角速度数据对应的图像进行抖动补偿处理。

位置偏移是指图像传感器采集图像时镜头所在位置的偏移。偏移数据是指图像中各个像素点相对于设备没有抖动的情况采集的图像的像素点的位置之间的偏差。具体地，偏移数据包括了图像中各个像素点偏移的角度、方向、偏移量等。电子设备可以在获取到位置偏移时，通过预设偏移转换函数来确定图像的偏移数据。预设偏移转换函数可以根据特定的标定方式获取，预设偏移转换函数可以用于将镜头的位置偏移转换为图像的偏移数据。其中，可以将镜头在不同方向的偏移量带入至预设偏移转换函数中对应的变量，通过计算以获取图像的偏移数据。电子设备在抖动过程中采集的图像包含的图像信息存在偏移。电子设备可以根据偏移数据对与角速度数据对应的图像进行补偿处理，具体地，电子设备可以根据偏移数据中的角度、方向、偏移量对图像进行包括但不限于是旋转、平移、剪切等调整。

通过根据角速度数据对与角速度数据对应的图像进行抖动补偿处理，将抖动补偿处理后的第一数量帧图像进行融合处理，再得到目标图像。既可以对用于融合得到目标图像的第一数量帧图像进行抖动补偿处理，可以提高每一帧图像的清晰度。

在一个实施例中，提供的图像处理方法中控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据的过程，包括：依次控制摄像头采集多帧图像，在摄像头采集每一帧图像的过程中，接收与摄像头连接的陀螺仪输出的角速度数据作为图像对应的角速度数据。

摄像头可以与陀螺仪连接。具体地，陀螺仪可以通过SPI(Serial PeripheralInterface，串行外设接口)与摄像头中的图像传感器连接，从而图像传感器可以获取陀螺仪输出的角速度数据。

电子设备可以在摄像头启动图像传感器采集每一帧图像的同时控制陀螺仪采集角速度数据并发送给图像传感器，图像传感器可以将采集该帧图像时获取的角速度数据作为该帧图像的角速度数据，将该帧图像与对应的角速度数据发送给ISP处理器或者电子设备的处理器进行后续处理。可选地，图像传感器可以将采集图像时获取的角速度数据与该图像进行绑定处理，将绑定处理后的图像和角速度数据发送给ISP处理器或者电子设备的处理器，以使ISP处理器或者电子设备的处理器解绑后根据角速度数据对图像进行处理。

本申请提供的实施例可以避免将摄像头和陀螺仪分别与处理器连接时，处理器从摄像头获得的图像与从陀螺仪接收的角速度数据存在时延的问题，可以提高图像与角速度数据之间的同步性。

应该理解的是，虽然图3-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图7为一个实施例的图像处理装置的结构框图。如图7所示，该图像处理装置包括：第一获取模块702、计算模块704、第二获取模块706、处理模块708。其中：

第一获取模块702，用于控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据。

计算模块704，用于根据每一帧图像对应的角速度数据计算每一帧图像对应的角速度均值。

第二获取模块706，用于从多帧图像中获取角速度均值最小的第一数量帧图像。

处理模块708，用于将第一数量帧图像进行融合处理，得到目标图像。

本申请提供的图像处理装置，可以根据每一帧图像对应的角速度数据计算对应的角速度均值，从而获取角速度均值最小的第一数量帧图像以融合得到目标图像，避免用于融合得到目标图像的多帧图像中存在抖动幅度过大、模糊的图像而导致目标图像的效果较差，可以提高目标图像的质量。

在一个实施例中，计算模块704还可以用于检测图像中目标物体对应的目标区域；从图像对应的角速度数据中获取与目标区域对应的目标角速度数据；根据目标角速度数据计算图像对应的角速度均值。

在一个实施例中，第一获取模块702还可以用于获取第一数量个曝光时间；控制摄像头以每一个曝光时间拍摄至少两帧图像；第二获取模块706还可以用于从每一个曝光时间对应的至少两帧图像中获取角速度均值最小的一帧图像，得到第一数量帧图像。

在一个实施例中，第一获取模块702还可以用于通过摄像头采集预览图像；根据预览图像的亮度分布信息判断预览图像是否为高光比图像，其中，高光比图像是指图像中亮面和暗面的受光比例在预设区间内的图像；当确定预览图像为高光比图像时，则获取第一数量个曝光时间，并控制摄像头以每一个曝光时间拍摄至少两帧图像。

在一个实施例中，第一获取模块702还可以用于通过摄像头以第二数量个不同的曝光时间分别采集一帧图像，得到第二数量帧图像；对每一帧图像进行内容分析，得到每一帧图像对应的内容分布图和图像信息量；基于每一帧图像对应的内容分布图和图像信息量，从第二数量个曝光时间中选取得到第一数量个曝光时间，其中，第二数量大于第一数量。

在一个实施例中，处理模块708还可以用于根据角速度数据对与角速度数据对应的图像进行抖动补偿处理；将抖动补偿处理后的第一数量帧图像进行融合处理，得到目标图像。

在一个实施例中，第一获取模块702还可以用于依次控制摄像头采集多帧图像，在摄像头采集每一帧图像的过程中，接收与摄像头连接的陀螺仪输出的角速度数据作为图像对应的角速度数据。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

图8为一个实施例中电子设备的内部结构示意图。如图8所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取第一数量个不同的曝光时间，控制摄像头以每一个所述曝光时间拍摄至少两帧图像，并获取每一帧图像对应的角速度数据；

检测所述每一帧图像中目标物体对应的目标区域，从所述图像对应的角速度数据中获取与所述目标区域对应的目标角速度数据，根据所述目标角速度数据计算所述每一帧图像对应的角速度均值；从每一个所述曝光时间对应的至少两帧图像中获取角速度均值最小的第一数量帧图像；

将所述第一数量帧图像进行融合处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述获取第一数量个不同的曝光时间之前，还包括：

通过所述摄像头采集预览图像；

根据所述预览图像的亮度分布信息判断所述预览图像是否为高光比图像；

当确定所述预览图像为高光比图像时，则执行所述获取第一数量个不同的曝光时间的操作。

3.根据权利要求1所述的方法，其特征在于，所述获取第一数量个不同的曝光时间，包括：

通过所述摄像头以第二数量个不同的曝光时间分别采集一帧图像，得到第二数量帧图像；

对每一帧图像进行内容分析，得到每一帧图像对应的内容分布图和图像信息量；

基于每一帧图像对应的内容分布图和图像信息量，从第二数量个曝光时间中选取得到第一数量个不同的曝光时间，其中，所述第二数量大于所述第一数量。

4.根据权利要求1所述的方法，其特征在于，所述将第一数量帧图像进行融合处理，得到目标图像，包括：

根据所述角速度数据对与所述角速度数据对应的图像进行抖动补偿处理；

将抖动补偿处理后的第一数量帧图像进行融合处理，得到所述目标图像。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述控制摄像头采集多帧图像，并获取每一帧图像对应的角速度数据，包括：

依次控制所述摄像头采集多帧图像，在所述摄像头采集每一帧图像的过程中，接收与所述摄像头连接的陀螺仪输出的角速度数据作为所述图像对应的角速度数据。

6.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取第一数量个不同的曝光时间，控制摄像头以每一个所述曝光时间拍摄至少两帧图像，并获取每一帧图像对应的角速度数据；

计算模块，用于检测所述图像中目标物体对应的目标区域；从所述图像对应的角速度数据中获取与所述目标区域对应的目标角速度数据；根据所述目标角速度数据计算所述图像对应的角速度均值；

第二获取模块，用于从每一个所述曝光时间对应的至少两帧图像中获取角速度均值最小的第一数量帧图像；

处理模块，用于将所述第一数量帧图像进行融合处理，得到目标图像。

7.根据权利要求6所述的装置，其特征在于，

所述第一获取模块，还用于通过所述摄像头采集预览图像；根据所述预览图像的亮度分布信息判断所述预览图像是否为高光比图像；当确定所述预览图像为高光比图像时，则执行所述获取第一数量个不同的曝光时间的操作。

8.根据权利要求6所述的装置，其特征在于，

所述第一获取模块，还用于通过所述摄像头以第二数量个不同的曝光时间分别采集一帧图像，得到第二数量帧图像；对每一帧图像进行内容分析，得到每一帧图像对应的内容分布图和图像信息量；基于每一帧图像对应的内容分布图和图像信息量，从第二数量个曝光时间中选取得到第一数量个不同的曝光时间，其中，所述第二数量大于所述第一数量。

9.根据权利要求6所述的装置，其特征在于，

所述处理模块，还用于根据所述角速度数据对与所述角速度数据对应的图像进行抖动补偿处理；将抖动补偿处理后的第一数量帧图像进行融合处理，得到所述目标图像。

10.根据权利要求6至9中任一项所述的装置，其特征在于，

所述第一获取模块，还用于依次控制所述摄像头采集多帧图像，在所述摄像头采集每一帧图像的过程中，接收与所述摄像头连接的陀螺仪输出的角速度数据作为所述图像对应的角速度数据。

11.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的图像处理方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法的步骤。

Images