CN112241670A

CN112241670A - 图像处理方法及装置

Info

Publication number: CN112241670A
Application number: CN201910652195.0A
Authority: CN
Inventors: 徐跃书
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2019-07-18
Filing date: 2019-07-18
Publication date: 2021-01-19
Anticipated expiration: 2039-07-18
Also published as: CN112241670B

Abstract

本申请提供一种图像处理方法，方法包括：获取目标对象的位置信息；从t时刻采集的第一数据格式图像序列中的每帧第一数据格式图像中抠取所述位置信息对应的第一数据格式目标图像；对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像。通过从图像传感器采集的原始图像数据中获取感兴趣目标的高位宽第一数据格式目标图像，并对感兴趣目标的第一数据格式目标图像进行图像质量调整并合为高质量的第二数据格式目标图像，由于第一数据格式目标图像本身不存在信息丢失的问题，因此对第一数据格式目标图像进行图像质量调整，可以全面且真正提升感兴趣目标的图像质量。

Description

图像处理方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

目前的目标检测算法是从经过ISP(Image Signal Process，图像信号处理) 后的低位宽图像中检测目标对象并抠取目标图像，由于ISP算法是对整个图像进行处理，在保证图像整体质量的同时很难兼顾局部的质量，因此可能导致目标图像的质量参差不齐，有些图像会存在噪声较多、目标模糊、亮度不足、对比度不足、分辨率低的质量问题，进而还需要对抠取的目标图像进行二次处理，以提升目标图像质量。

然而，在进行了ISP之后，图像中的很多信息已丢失，再对局部图像进行二次处理也无法复原原有信息，并且由于算法设计的缺陷和每个处理模块损失的叠加，图像中的信息在逐步处理过程中也会逐渐损失，因此实际无法真正能提升目标图像质量。

发明内容

有鉴于此，本申请提供一种图像处理方法及装置，以解决相关实现无法真正提升检测到目标的图像质量的问题。

根据本申请实施例的第一方面，提供一种图像处理方法，所述方法包括：

获取目标对象的位置信息；

从t时刻采集的第一数据格式图像序列中的每帧第一数据格式图像中抠取所述位置信息对应的第一数据格式目标图像；

对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像；

其中，第一数据格式图像为图像传感器采集的原始图像数据，第二数据格式目标图像为适用于显示、传输或识别的图像数据。

根据本申请实施例的第二方面，提供一种图像处理装置，所述装置包括：

获取模块，用于获取目标对象的位置信息；

抠取模块，用于从t时刻采集的第一数据格式图像序列中的每帧第一数据格式图像中抠取所述位置信息对应的第一数据格式目标图像；

调整模块，用于对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像；

根据本申请实施例的第三方面，提供一种抓拍机，所述抓拍机包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现上述第一方面所述方法的步骤。

根据本申请实施例的第四方面，提供一种人脸识别装置，所述装置包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

应用本申请实施例，通过从图像传感器采集的原始图像数据中获取感兴趣目标的高位宽第一数据格式目标图像，并对感兴趣目标的第一数据格式目标图像进行图像质量调整并合为高质量的第二数据格式目标图像，由于第一数据格式目标图像本身不存在信息丢失的问题，因此对第一数据格式目标图像进行图像质量调整，可以全面且真正提升感兴趣目标的图像质量。

附图说明

图1A为本申请根据一示例性实施例示出的一种图像处理方法的实施例流程图；

图1B为本申请根据图1A所示实施例示出的一种图像处理结构示意图；

图2A为本申请根据图1A所示实施例示出的一种步骤101的实现流程图；

图2B为本申请根据图2A所示实施例示出的一种候选目标对象提取流程图；

图2B-1为本申请提供的一种数据格式转换流程图；

图2B-2为本申请提供的一种目标检测网络结构示意图；

图2C为本申请根据图2A所示实施例示出的另一种候选目标对象提取流程图；

图2C-1为本申请提供的另一种目标检测网络结构示意图；

图2D为本申请根据图2A所示实施例示出的一种评分网络结构示意图；

图2E为本申请根据图2A所示实施例示出的一种目标对象提取结构示意图；

图3A为本申请根据图1A所示实施例示出的一种图像质量调整结构示意图；

图3B为本申请根据图1A所示实施例示出的另一种图像质量调整结构示意图；

图3B-1为本申请提供的一种图像放大示意图；

图3C为本申请根据图1A所示实施例示出的又一种图像质量调整结构示意图；

图3C-1为本申请提供的一种第一神经网络的结构示意图；

图3C-1A为本申请提供的一种网络结构示意图；

图3C-2为本申请提供的另一种第一神经网络的结构示意图；

图3D为本申请根据图1A所示实施例示出的又一种图像质量调整结构示意图；

图3D-1为本申请提供的一种图像质量调整子模块的结构示意图；

图3E为本申请根据图1A所示实施例示出的又一种图像质量调整结构示意图；

图3E-1为本申请提供的另一种图像质量调整子模块的结构示意图；

图4为本申请根据一示例性实施例示出的一种抓拍机的硬件结构图；

图5为本申请根据一示例性实施例示出的一种人脸识别装置的硬件结构图；

图6为本申请根据一示例性实施例示出的一种图像处理装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和 “该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语 “如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在当前检测系统中，由于前期图像已经经过专门的ISP，导致最终抠取的小目标图像可能质量参差不齐，有些图像质量较好，但有些图像质量较差，即使再对小目标图像进行二次处理，很可能无法再次复原原有的信息。

另外，目前采用的是针对性的小目标图像二次处理方式，即如果关注的是人脸目标，采用适用于人脸的质量提升算法对人脸目标图像进行二次处理，如果关注的是文字，采用适用于文字的质量提升算法多文字目标图像进行二次处理，而这种适用于人脸的质量提升算法和适用于文字的质量提升算法无法兼顾其余目标的质量。当检测到其它目标(如车辆、车牌、建筑等)时，还需要设计不同的质量提升算法，因此当前采用的二次处理方案无法全面提升检测到目标的图像质量。

为解决上述问题，本申请提出一种图像处理方法，通过获取目标对象的位置信息，并从t时刻采集的第一数据格式图像序列中的每帧第一数据格式图像中抠取所述位置信息对应的第一数据格式目标图像，并对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像。

基于上述描述可知，通过从图像传感器采集的原始图像数据中获取感兴趣目标的高位宽第一数据格式目标图像，并对感兴趣目标的第一数据格式目标图像进行图像质量调整并合为高质量的第二数据格式目标图像，由于第一数据格式目标图像本身不存在信息丢失的问题，因此对第一数据格式目标图像进行图像质量调整，可以全面且真正提升感兴趣目标的图像质量。

图1A为本申请根据一示例性实施例示出的一种图像处理方法的实施例流程图，该图像处理方法可以应用于抓拍机上，或者也可以应用于人脸识别装置上，该人脸识别装置可以是具有人脸识别功能的摄像机。如图1A所示，该图像处理方法包括如下步骤：

步骤101：获取目标对象的位置信息。

其中，目标对象的位置信息可以是从非原始图像中检测得到的信息，非原始图像指的是图像传感器采集的原始图像经过处理后的图像。目标对象表征的是用户感兴趣的目标，可以是行人、人脸、车辆、车牌、文字、建筑等。

在一实施例中，当摄像机中的图像传感器在某一时刻采集的是第一数据格式图像序列时，可以通过将第一数据格式图像序列转换为一帧第二数据格式图像后，依据第二数据格式图像检测目标对象的位置。

针对将第一数据格式图像序列转换为一帧第二数据格式图像后，依据第二数据格式图像检测目标对象的位置的详细过程，可以参见下述图2A所示实施例的描述，在此暂不详述。

其中，第一数据格式图像为图像传感器采集的原始图像数据，属于高位宽图像。当图像传感器在t时刻采集的是图像序列时，由于在t时刻是连续采集，同一目标对象在每帧图像中的位置变化相对较小，因此可以将图像序列转换为单帧第二数据格式图像进行位置检测。

在本申请中，图像传感器采集的第一数据格式图像序列中至少存在两帧曝光时间不同的第一数据格式图像。

其中，第一数据格式是指图像传感器将捕捉到的光源信号转化为数字信号的原始数据格式，该原始数据为包含来自一个或多个光谱波段的感应数据。该原始数据可以包括对波长范围是380nm～780nm、和/或780nm～2500nm的光谱波段的光信号采样所得的感应数据。例如是RGB传感器感光得到的RAW图像信号。

以采集两帧不同曝光时间的第一数据格式图像为例，为了提供更多的动态范围和图像细节，通常会将摄像机设置为宽动态曝光模式，在某一时刻，摄像机连续采集两帧数据，一帧曝光时间长，称为长帧，另一帧曝光时间短，称为短帧。如果将长帧和短帧合成为一帧图像后，能够同时看清画面上亮与暗的物体。

在另一实施例中，也可以从第一数据格式图像序列中选择一帧图像经过一定的处理后进行位置检测：由于第一数据格式图像中每个像素点为单通道，每个像素点的亮度差异很大，不利于直接进行目标检测，因此可以先对第一数据格式图像进行灰度化处理后再进行目标检测，以获得目标对象的位置信息。

步骤102：从t时刻采集的第一数据格式图像序列中的每帧第一数据格式图像中抠取所述位置信息对应的第一数据格式目标图像。

在一个例子中，假设t时刻采集了三帧第一数据格式图像，获取的目标对象的位置信息为[x1,x2,y1,y2]，其中x1、y1为起始位置信息，x2、y2为结束位置信息，三帧第一数据格式目标图像分别用imgR0、imgR1、imgR2表示，抠取的第一数据格式目标图像img_roi0、img_roi1、img_roi2为：

img_roi0＝imgR0(x1:x2,y1:y2)

img_roi1＝imgR1(x1:x2,y1:y2)

img_roi2＝imgR2(x1:x2,y1:y2)

在另一个例子中，假设t时刻采集的是单帧第一数据格式图像，目标对象的位置信息为[x1,x2,y1,y2]，其中x1、y1为起始位置信息，x2、y2为结束位置信息，当单帧第一数据格式图像用imgR来表示时，抠取的第一数据格式目标图像 img_roi为：

img_roi＝imgR(x1:x2,y1:y2)

步骤103：对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像。

其中，第二数据格式目标图像为适用于显示、传输或识别的图像数据，属于低位宽图像。

在本申请中，对每帧第一数据格式目标图像进行的图像质量调整至少包括白平衡校正、合成处理和去马赛克处理。

其中，合成处理可以是亮度加权合成。

图像质量调整过程为：对属于同一目标对象的每帧第一数据格式目标图像进行白平衡校正，然后将每帧校正后的第一数据格式目标图像合成为一帧第一数据格式目标图像，最后对合成后的第一数据格式目标图像进行去马赛克处理，得到第二数据格式目标图像。

示例性的，图像质量调整还可以包括亮度调整、噪声平滑、去模糊、对比度调整等。

对每帧第一数据格式目标图像进行图像质量调整的详细实现过程可以参见下述图3A至图3E所示实施例的描述，在此暂不详述。

如图1B所示，以本实施例应用于抓拍机为例，基于上述步骤101至步骤103 的过程可知，该图像处理结构包括第一处理模块101、第二处理模块102以及第三处理模块103：第一处理模块101以图像传感器在t时刻采集的第一数据格式图像序列为输入，依据第一数据格式图像序列进行目标对象检测，并输出目标对象的位置信息；第二处理模块102从每帧第一数据格式图像中抠取第一处理模块101输出的位置信息对应的第一数据格式目标图像；第三处理模块103以属于同一目标对象的第一数据格式目标图像序列为输入，对每帧第一数据格式目标图像进行自适应图像质量调整并合为一帧质量较高的第二数据格式目标图像。

需要说明的是，如果目标对象为人脸，本实施例应用于人脸识别装置时，在对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像之后，还可以对所述第二数据格式人脸图像进行人脸识别。由于获取的第二数据格式人脸图像是经过图像质量调整之后的图像，因此图像质量较好，不存在信息丢失，在用于人脸识别时，可以提升识别效果。

本领域技术人员可以理解的是，人脸识别方式可以采用任何相关技术实现，本申请对此不进行限定。

在本申请实施例中，通过从图像传感器采集的原始图像数据中获取感兴趣目标的高位宽第一数据格式目标图像，并对感兴趣目标的第一数据格式目标图像进行图像质量调整并合为高质量的第二数据格式目标图像，由于第一数据格式目标图像本身不存在信息丢失的问题，因此对第一数据格式目标图像进行图像质量调整，可以全面且真正提升感兴趣目标的图像质量。

参见图2A，图2A为本申请提供的步骤101的实现流程图。如图2A所示，该流程可包括如下步骤：

步骤1011：将t时刻采集的第一数据格式图像序列转换为一帧第二数据格式图像，并检测第二数据格式图像中存在的至少一个候选目标对象。

在一实施例中，当图像传感器每次连续采集N帧第一数据格式图像时，可以认为每帧第一数据格式图像是在同一时刻采集的，每帧第一数据格式图像中的目标对象的位置变化相对较小，因此可以通过将多帧第一数据格式图像转换为一帧第二数据格式图像再进行目标检测，这样无需对每帧第一数据格式图像都进行目标检测，可提升图像处理效率。

如图2B所示，为输入N帧第一数据格式图像时的候选目标对象提取流程，先将N帧第一数据格式图像进行数据格式转换为一帧第二数据格式图像，然后对第二数据格式图像进行目标检测得到候选目标对象的位置信息，并从第二数据格式图像中获取每个候选目标对象的第二数据格式候选目标图像，以用于后续图像质量评价。

其中，图2B所示的处理流程即适用于输入单帧图像，也适用于输入多帧图像。

在本申请中，数据格式转换可以包括黑电平校正、白平衡校正、亮度合成、去马赛克等处理过程。

下面以输入两帧第一数据格式图像(data1和data2)为例，对数据格式转换过程进行说明：

如图2B-1所示，为一种示例性的数据格式转换处理流程，将曝光时间比为 1:m的data1和data2分别进行黑电平校正得到data1_blc和data2_blc，对 data1_blc和data2_blc分别进行白平衡校正得到data1_wb和data2_wb，对 data1_wb和data2_wb进行亮度合成，然后再将亮度合成后的data_l转换为第二数据格式的img。

其中，黑电平校正是为了去除第一数据格式图像中黑电平的影响，黑电平校正前后输入与输出的关系式如下：

data1_blc＝data1-V_blc

data2_blc＝data2-V_blc

其中，V_blc是黑电平值，为已知量。

白平衡校正是为了去除图像成像由于环境光照影响而造成的图像偏色，以还原图像原有的色彩信息，由两个系数R_gain、B_gain来控制图像中对应的R分量和B分量的调整：

R′＝R*R_gain

B′＝B*B_gain

其中，R、B分别表示白平衡校正前第一数据格式图像中红色通道色彩分量、蓝色通道色彩分量，R′、B′分别表示白平衡校正后第一数据格式图像中红色通道色彩分量、蓝色通道色彩分量。

上述公式中的R_gain、B_gain需要依据第一数据格式图像中红色通道色彩分量的均值R_avg、蓝色通道色彩分量的均值B_avg、绿色通道色彩分量的均值G_avg进行计算，计算公式如下：

亮度合成可以是将两帧曝光时间不同的第一数据格式图像合成为一帧，合成关系式如下：

data_l＝(data1_wb*m-data2_wb)/2

其中，1：m是data1和data2的曝光时间比。

去马赛克可以采用最邻近插值法实现，将单通道的第一数据格式图像扩展成多通道的第二数据格式图像。

当第一数据格式为Bayer格式时，可以利用最邻近的色彩分量填补相应色彩分量缺失的像素点，使每个像素点都含有三通道的色彩分量，得到最终的img。

在本申请中，目标检测过程可以由神经网络实现，如图2B-2所示，整个目标检测网络由卷积层Conv、池化层Pool、全连接层FC和边框回归层BBR构成。

每个卷积层的计算公式如下：

YC_i(I)＝g(W_i*YC_i-1(I)+B_i)

其中，YC_i(I)为第i个卷积层的输出，YC_i-1(I)为第i个卷积层的输入，*表示卷积操作，W_i和B_i分别为第i个卷积层的卷积滤波器的权重系数和偏移系数， g()表示激活函数，每个卷积层可以带有一个激活函数ReLU，当激活函数为ReLU时，g(x)＝max(0,x)。

池化层Pool属于下采样层，即对卷积得到的特征图进行缩小，缩小窗的大小为N×N，当使用最大池化时，即对N×N窗求取最大值作为最新图像对应点的值，计算公式如下：

YP_j(I)＝maxpool(YP_j-1(I))

其中，YP_j-1(I)为第j个池化层的输入，YP_j(I)为第j个池化层的输出。

全连接层FC可以看成是滤波窗口为1×1的卷积层，具体实现和卷积滤波类似，计算公式如下：

其中，F_kI(I)为第k个全连接层的输入，I为输入特征图的像素点坐标集合， YF_k(I)为第k个全连接层的输出，R为输入特征图的宽度，C为输入特征图的高度， W_ij和B_ij分别为全连接层的连接权重和偏置，g()表示激活函数。

边框回归层BBR是为了寻找一种关系使得全连接层FC输出的窗口P经过映射得到一个跟真实窗口G更接近的窗口G′，其实现过程通常是对窗口P进行平移或者尺度缩放变换。

假设全连接层FC输出的窗口P的坐标为(x₁,x₂,y₁,y₂)，则经变换后的窗后坐标(x₃,x₄,y₃,y₄)，若变换为平移变换，平移尺度为(Δx,Δy)，平移前后的坐标关系为：

x₃＝x₁+Δx

x₄＝x₂+Δx

y₃＝y₁+Δy

y₄＝y₂+Δy

若变换为缩放变换，X、Y方向的缩放尺度分别为dx、dy，变换前后的坐标关系为：

x₄-x₃＝(x₂-x₁)*dx

y₄-y₃＝(y₂-y₁)*dy

在一实施例中，如图2C所示，当图像传感器采集的是单帧第一数据格式图像时，还可以先进行目标检测和数据获取，再对获取的第一数据格式候选目标图像进行数据格式转换为第二数据格式候选目标图像，以用于后续图像质量评价。

其中，对于单帧第一数据格式图像的目标检测过程也可以由神经网络实现，由于第一数据格式图像中每个像素点为单通道，因此每个像素点的亮度差异很大，不利于直接进行目标检测，可以先对第一数据格式图像进行灰度化处理再进行目标检测。如图2C-1所示，整个目标检测网络由灰度转化层Gray、卷积层 Conv、池化层Pool、全连接层FC和边框回归层BBR构成。

步骤1012：对每个候选目标对象在第二数据格式图像中所处区域的图像质量进行评分，得到每个候选目标对象的质量分数。

其中，参与评分的图像质量属性可以包括亮度、清晰度、方向、尺寸等质量属性，质量分数越高，表示图像质量越好。

在一实施例中，对每个第二数据格式候选目标图像进行评分的过程可以由神经网络的深度学习实现，如图2D所示，整个评分网络由卷积层Conv、池化层Pool和全连接层FC构成，该评分网络每输入一帧第二数据格式候选目标图像，输出一个质量评分结果。

步骤1013：从每个候选目标对象的质量评分中选择质量评分符合预设条件的候选目标对象，并将选择的候选目标对象在第二数据格式图像中所处区域的位置信息确定为目标对象的位置信息。

在一实施例中，可以通过将候选目标对象的质量评分与该目标在历史帧中的质量评分进行比较，以选择符合预设条件的候选目标对象的位置信息输出。

在一个例子中，可以针对每个候选目标对象，当该候选目标对象在历史帧中出现过时，判断该候选目标对象的质量评分是否大于在历史帧中的质量评分，若是，则输出该候选目标对象的位置信息，若否，则不输出该候选目标对象的位置信息，或者直接从历史帧中获取该候选目标对象的第二数据格式目标图像输出。

在另一例子中，可以针对每个候选目标对象，当该候选目标对象在历史帧中出现过时，将已记录的该候选目标对象的出现次数加1，如果出现次数超过K 次且该候选目标对象的质量评分大于在历史帧中的质量评分，则输出该候选目标对象的位置信息。

上述两个例子中，当候选目标对象是首次出现时，可以直接输出该候选目标对象的位置信息，或者也可以不输出该候选目标对象的位置信息。

在另一实施例中，也可以不参考历史帧中的质量评分，只要检测到候选目标对象，就输出候选目标对象的位置信息。

如图2E所示，基于上述步骤1011至步骤1013的过程可知，上述图1B中的第一处理模块101可以包括第一处理子模块1011、第二处理子模块1012、第三处理子模块1013：

第一处理子模块1011将当前输入的第一数据格式图像序列转换为一帧第二数据格式图像，并检测第二数据格式图像中存在的至少一个候选目标对象；第二处理子模块1012对第一处理子模块1011检测到的每个候选目标对象进行评价，输出每个候选目标对象的评价参数；第三处理子模块1013从每个候选目标对象的评价参数中选择评价参数符合预设条件的候选目标对象，并输出符合预设条件的候选目标对象的位置信息。

至此，完成图2A所示流程，通过图2A所示流程，最终实现从所述N帧第一数据格式图像中获取目标对象的位置信息。

下面通过不同实施例对步骤103(第三处理模块103)中的图像质量调整过程进行详细说明。

实施例1：参见图3A，当输入第三处理模块的是两帧第一数据格式目标图像，可以对每帧第一数据格式目标图像进行白平衡校正，并将每帧校正后的第一数据格式目标图像亮度加权合成为一帧第一数据格式目标图像，然后对合成后的第一数据格式目标图像进行去马赛克处理、亮度调整，最终输出第二数据格式目标图像。

其中，白平衡校正和去马赛克处理可以参见上述图2B-1所示实施例中的相关描述，不再赘述。

亮度加权合成是将两帧曝光时间不同的第一数据格式目标图像(将曝光时间较短的帧称为短帧，另一帧称为长帧)合成为一帧数据，合成流程如下：

1)选取合成基准：从两帧中选择一帧作为合成基准，例如选择短帧作为合成基准；

2)计算帧差：根据曝光时间比1：m将短帧按比例提高亮度，然后计算长帧与短帧之间的帧差图；

3)标定运动区域：根据帧差图中每个像素差值与设定阈值之间的大小关系确定静止区域和运动区域，小于设定阈值的认为为静止区域，大于设定阈值的认为为运动区域；

4)计算加权权重：针对每帧中的每一像素点，依据该像素点的像素值确定该像素点的权重，像素值越大，权重越大；

5)进行亮度加权合成：对于静止区域的合成方式为：短帧对应像素点的像素值*α+长帧对应像素点的像素值*β；对于运动区域的合成方式为：短帧对应像素点的像素值*β+长帧对应像素点的像素值*α。其中，α表示的是上述步骤4) 中得到的短帧中每个像素点的权重，β表示的是上述步骤4)中得到的长帧中每个像素点的权重。

亮度调整是指按照可供机器识别的规律将图像进行亮度和对比度调整，常用自适应增益和不同参数的Gamma(伽玛)曲线进行映射。

假设未调整前的图像亮度为L0，期望的目标亮度为L，则需要将图像的每个像素点进行同比例调整，调整比例s公式如下：

s＝L/L0

假设Gamma曲线的映射函数为g，映射后的图像记为img_gm，映射前图像记为img，则有：

img_gm(i,j)＝g(img(i,j))

实施例2：当每帧第一数据格式目标图像的分辨率小于预设分辨率时，对每帧第一数据格式目标图像进行图像质量调整还可以包括图像放大处理。

其中，图像放大处理可以是在去马赛克处理之后执行，或者也可以是在合成处理之后去马赛克之前执行。

参见图3B，当t时刻采集的是两帧第一数据格式图像，且每帧第一数据格式目标图像的分辨率均小于预设分辨率时，步骤103的处理过程由白平衡校正、亮度加权合成、亮度调整、去马赛克处理、图像放大处理构成。

其中，除了图像放大处理，其余处理过程与实施例1中的处理一致。可以根据第一数据格式目标图像的分辨率和预设分辨率计算放大倍数，然后依据该放大倍数对去马赛克处理之后的图像进行放大。

下面对图像放大处理进行示例性说明：

图像放大处理是将低分辨率的图像放大为高分辨率的图像，例如对分辨率为100x100的图像进行2倍放大处理，输出200x200的图像，可以通过采用最近邻放大，如图3B-1所示，为2倍最邻近放大示意图。

实施例3：在一些特殊场景(如光线不足)中，如果对每帧第一数据格式目标图像只采用简单的ISP处理，得到的第二数据格式目标图像可能噪声多、不清晰。基于此，对每帧第一数据格式目标图像进行图像质量调整还可以包括复原处理。

其中，复原处理可以在去马赛克处理之后执行，或者也可以在合成处理之后去马赛克处理之前执行。

以合成处理之后去马赛克处理之前执行复原处理的步骤为例，

复原处理实现过程可以是：将合成后的第一数据格式目标图像输入已训练的第一神经网络；由所述第一神经网络对合成后的第一数据格式目标图像进行复原处理。

对于不同曝光的目标图像，在输入第一神经网络之前，通过将多帧曝光不同的目标图像进行合成处理，以转为第一神经网络的单输入，从而无论曝光不同的目标图像数量有多少，输入第一神经网络的都是单帧目标图像，因此可提升第一神经网络的适应性。

参见图3C，当t时刻采集的是两帧第一数据格式图像时，第一数据格式目标图像1和第一数据格式目标图像2分别经过白平衡校正后，并对校正后的第一数据格式目标图像1和第一数据格式目标图像2进行亮度加权合成，得到一帧数据并直接输入神经网络中进行复原处理，然后再对复原后的数据依次进行去马赛克处理和亮度调整，最终得到质量较高的第二数据格式目标图像。

在本申请中，所述第一神经网络可以由程度分析子网络和复原处理子网络构成，以适应不同的环境，提升复原泛化性。

其中，第一神经网络对合成后的第一数据格式目标图像进行复原处理过程为：所述程度分析子网络分析合成后的第一数据格式目标图像的指定质量指标评价值，并将所述指定质量指标评价值输入所述复原处理子网络，所述复原处理子网络依据所述指定质量指标评价值对合成后的第一数据格式目标图像进行复原处理。

在训练第一神经网络时，需要先对程度分析子网络单独进行训练，然后固定该子网络的参数，再对复原处理子网络进行训练。

示例性的，第一神经网络进行的复原处理可以是噪声平滑，或者也可以是去模糊。

下面以第一神经网络用于噪声平滑为示例性场景进行说明：

参见图3C-1，用于噪声平滑的第一神经网络包括噪声指标评价子网络和降噪处理子网络。

示例性的，第一神经网络进行噪声平滑的处理流程为：噪声指标评价子网络用于估计输入的第一数据格式目标图像的信噪比，降噪处理子网络用于依据估计得到的信噪比对第一数据格式目标图像进行降噪处理，以获得无噪的第一数据格式目标图像。

其中，噪声指标评价子网络和降噪处理子网络的结构形式可以相同也可以不同，本申请对二者的具体结构形式不进行限定，如图3C-1A所示的网络结构，噪声指标评价子网络和降噪处理子网络均可以均由卷积层和ReLu层构成。

下面再以第一神经网络用于去模糊为示例性场景进行说明：

参见图3C-2，用于去模糊的第一神经网络可以包括清晰度指标评价子网络和去模糊处理子网络。

示例性的，第一神经网络进行去模糊的处理流程为：清晰度指标评价子网络用于估计输入的第一数据格式目标图像的清晰度，去模糊处理子网络用于依据估计得到的清晰度对第一数据格式目标图像进行去模糊处理，以获得清晰的第一数据格式目标图像。

其中，清晰度指标评价子网络和去模糊处理子网络的结构形式可以相同也可以不同，本申请对二者的具体结构形式不进行限定，例如，清晰度指标评价子网络和去模糊处理子网络也可以采用上述图3C-1A所示的网络结构。

实施例4：对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整还可以通过基于深度学习方法的神经网络实现调整。

实现过程可以是：通过将每帧第一数据格式目标图像输入已训练的第二神经网络中，由所述第二神经网络对每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像，进而获取所述第二神经网络输出的第二数据格式目标图像。

在本申请中，可以将每帧第一数据格式目标图像直接输入第二神经网络，通过神经网络融合不同曝光的目标图像并调整目标图像的质量，可以提升每帧目标图像中细节的保留程度。

下面以第二神经网络为单帧输入为示例性场景进行说明：

参见图3D，当t时刻采集的是单帧图像时，第二神经网络包括图像质量调整子模块1和优化训练子模块1。

其中，如图3D-1所示，图像质量调整子模块1可以是由卷积层以及ReLu 层组成的卷积神经网络，用于对输入的第一数据格式目标图像进行ISP处理，以生成第二数据格式目标图像。

假设每个卷积层Conv的输入为FC_i，输出为FC_i+1，则有：

FC_i+1＝g(w_ik*FC_i+b_ik)

w_ik、b_ik为当前卷积层中第k个卷积的参数，g(x)是一种线性加权函数，用于对卷积层的卷积输出进行线性加权；

假设ReLu层的输入为FR_i，输出为FR_i+1，则有：

FR_i+1＝max(FR_i,0)

另外，优化训练子模块1用于使用大量的第一数据格式目标图像和对应的理想第二数据格式目标图像构成训练样本集，对图像质量调整子模块1中的网络参数进行不断训练，直至当输入第一数据格式目标图像，能够输出理想的第二数据格式目标图像，此时输出网络参数，以供图像质量调整子模块1使用。

基于此，优化训练子模块1可以包括如下训练步骤：

1)获取训练样本集：收集第一数据格式目标图像和对应的理想第二数据格式目标图像。假设已获取n个训练样本对{(x₁,y₁)，(x₂,y₂),…,(x_n,y_n)}，其中，x_i表示第一数据格式目标图像，y_i表示对应的理想第二数据格式目标图像。

2)设计图像质量调整子模块的网络结构。

3)初始化网络参数：对网络参数进行初始化，可采取随机值初始化、固定值初始化等；设置训练相关参数，如学习率、迭代次数等。

4)前向传播：基于当前网络参数，采用训练样本x_i在设计的网络上进行前向传播，获得网络的输出F(x_i)，并利用x_i对应的y_i计算损失函数Loss：

Loss＝(F(x_i)-y_i)²

5)后向传播：利用后向传播，调整网络参数。

6)反复迭代：重复迭代步骤4)和5)，直至网络收敛，输出此时的网络参数。

下面以第二神经网络为多曝光输入为示例性场景进行说明：

参见图3E，当t时刻采集的是N帧第一数据格式图像时，第二神经网络可以包括图像质量调整子模块2和优化训练子模块2。

其中，如图3E-1所示，图像质量调整子模块2可以是由合并层Concat、卷积层Conv以及ReLu层组成的卷积神经网络，其中除了合并层之外，其余层的处理方式与上述图3D-1中的相关层相同。

合并层是将多个尺寸相同单个数不限制的数据连续放置在一起的操作，通过合并层可以将N帧第一数据格式目标图像合并为一帧。当然本实施例中的第二神经网络也适用于单帧输入的情况，因此本实施例中的N为大于等于1的正整数。

优化训练子模块2用于优化图像质量调整子模块2中的网络参数，通过使用大量的多帧第一数据格式目标图像和对应的理想第二数据格式目标图像构成训练样本集，对图像质量调整子模块2中的网络参数进行不断训练，直至当输入多帧第一数据格式目标图像，能够输出理想的第二数据格式目标图像，此时输出网络参数，以供图像质量调整子模块2使用。详细的训练步骤可以参见上述图3D-1中的相关描述。

至此，完成与上述步骤103相关的实施例的说明。

图4为本申请根据一示例性实施例示出的一种抓拍机的硬件结构图，该抓拍机包括：通信接口401、处理器402、机器可读存储介质403和总线404；其中，通信接口401、处理器402和机器可读存储介质403通过总线404完成相互间的通信。处理器402通过读取并执行机器可读存储介质403中与图像处理方法的控制逻辑对应的机器可执行指令，可执行上文描述的图像处理方法，该方法的具体内容参见上述实施例，此处不再累述。

本申请中提到的机器可读存储介质403可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，机器可读存储介质403可以是RAM(Radom Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、 DVD等)，或者类似的存储介质，或者它们的组合。

图5为本申请根据一示例性实施例示出的一种人脸识别装置的硬件结构图，该人脸识别装置的硬件结构与上述图4所示抓拍机的硬件结构类似，只是本实施例中的处理器502除了通过读取并执行机器可读存储介质503中与图像处理方法的控制逻辑对应的机器可执行指令，可执行上文描述的图像处理方法之外，处理器502还可通过读取并执行机器可读存储介质503中人脸识别控制逻辑对应的机器可执行指令，执行上文描述的人脸识别过程。

图6为本申请根据一示例性实施例示出的一种图像处理装置的实施例结构图，所述图像处理装置包括：

获取模块610，用于获取目标对象的位置信息；

抠取模块620，用于从t时刻采集的第一数据格式图像序列中的每帧第一数据格式图像中抠取所述位置信息对应的第一数据格式目标图像；

调整模块630，用于对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像；

在一可选实现方式中，所述第一数据格式图像序列中至少存在两帧曝光时间不同的第一数据格式图像。

在一可选实现方式中，所述获取模块610，具体用于将t时刻采集的第一数据格式图像序列转换为一帧第二数据格式图像，并检测第二数据格式图像中存在的至少一个候选目标对象；对每个候选目标对象在第二数据格式图像中所处区域的图像质量进行评分，得到每个候选目标对象的质量分数；从每个候选目标对象的质量分数中选择质量分数符合预设条件的候选目标对象；将选择的候选目标对象在第二数据格式图像中所处区域的位置信息确定为目标对象的位置信息。

在一可选实现方式中，图像质量调整至少包括白平衡校正、合成处理和去马赛克处理；所述调整模块630，具体用于对属于同一目标对象的每帧第一数据格式目标图像进行白平衡校正；将每帧校正后的第一数据格式目标图像合成为一帧第一数据格式目标图像；对合成后的第一数据格式目标图像进行去马赛克处理，得到第二数据格式目标图像。

在一可选实现方式中，当每帧第一数据格式目标图像的分辨率小于预设分辨率时，图像质量调整还包括图像放大处理；所述调整模块630，还用于在所述合成处理之后所述去马赛克处理之前执行图像放大处理的步骤；或者，在所述去马赛克处理之后执行图像放大处理的步骤。

在一可选实现方式中，图像质量调整还包括复原处理；所述调整模块630，还用于在所述合成处理之后所述去马赛克处理之前执行复原处理的步骤；或者，在所述去马赛克处理之后执行复原处理的步骤。

在一可选实现方式中，所述调整模块630，具体用于在所述合成处理之后所述去马赛克处理之前执行复原处理的步骤过程中，将合成后的第一数据格式目标图像输入已训练的第一神经网络；由所述第一神经网络对合成后的第一数据格式目标图像进行复原处理。

在一可选实现方式中，所述调整模块630，具体用于在由所述第一神经网络对合成后的第一数据格式目标图像进行复原处理过程中，通过第一神经网络中的程度分析子网络分析合成后的第一数据格式目标图像的指定质量指标评价值，并将所述指定质量指标评价值输出给第一神经网络中的复原处理子网络；所述复原处理子网络依据所述指定质量指标评价值对合成后的第一数据格式目标图像进行复原处理。

在一可选实现方式中，所述调整模块630，还具体用于将每帧第一数据格式目标图像输入已训练的第二神经网络中；由所述第二神经网络对每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像；获取所述第二神经网络输出的第二数据格式目标图像。

在一可选实现方式中，所述装置还包括(图6中未示出)：

人脸识别模块，用于在所述调整模块630对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像之后，当目标对象为人脸时，对所述第二数据格式人脸图像进行人脸识别。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

获取目标对象的位置信息；

2.根据权利要求1所述的方法，其特征在于，所述第一数据格式图像序列中至少存在两帧曝光时间不同的第一数据格式图像。

3.根据权利要求1所述的方法，其特征在于，获取目标对象的位置信息，包括：

将t时刻采集的第一数据格式图像序列转换为一帧第二数据格式图像，并检测第二数据格式图像中存在的至少一个候选目标对象；

对每个候选目标对象在第二数据格式图像中所处区域的图像质量进行评分，得到每个候选目标对象的质量分数；

从每个候选目标对象的质量分数中选择质量分数符合预设条件的候选目标对象；

将选择的候选目标对象在第二数据格式图像中所处区域的位置信息确定为目标对象的位置信息。

4.根据权利要求1所述的方法，其特征在于，图像质量调整至少包括白平衡校正、合成处理和去马赛克处理；

对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像，包括：

对属于同一目标对象的每帧第一数据格式目标图像进行白平衡校正；

将每帧校正后的第一数据格式目标图像合成为一帧第一数据格式目标图像；

对合成后的第一数据格式目标图像进行去马赛克处理，得到第二数据格式目标图像。

5.根据权利要求4所述的方法，其特征在于，当每帧第一数据格式目标图像的分辨率小于预设分辨率时，图像质量调整还包括图像放大处理；

在所述合成处理之后所述去马赛克处理之前执行图像放大处理的步骤；或者，在所述去马赛克处理之后执行图像放大处理的步骤。

6.根据权利要求4所述的方法，其特征在于，图像质量调整还包括复原处理；

在所述合成处理之后所述去马赛克处理之前执行复原处理的步骤；或者，在所述去马赛克处理之后执行复原处理的步骤。

7.根据权利要求6所述的方法，其特征在于，在所述合成处理之后所述去马赛克处理之前执行复原处理的步骤，包括：

将合成后的第一数据格式目标图像输入已训练的第一神经网络；

由所述第一神经网络对合成后的第一数据格式目标图像进行复原处理。

8.根据权利要求7所述的方法，其特征在于，所述第一神经网络对合成后的第一数据格式目标图像进行复原处理，包括：

通过第一神经网络中的程度分析子网络分析合成后的第一数据格式目标图像的指定质量指标评价值，并将所述指定质量指标评价值输出给第一神经网络中的复原处理子网络；

所述复原处理子网络依据所述指定质量指标评价值对合成后的第一数据格式目标图像进行复原处理。

9.根据权利要求1所述的方法，其特征在于，对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像，包括：

将每帧第一数据格式目标图像输入已训练的第二神经网络中；

由所述第二神经网络对每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像；

获取所述第二神经网络输出的第二数据格式目标图像。

10.根据权利要求1所述的方法，其特征在于，对属于同一目标对象的每帧第一数据格式目标图像进行图像质量调整并合为一帧第二数据格式目标图像之后，所述方法还包括：

当目标对象为人脸时，对所述第二数据格式人脸图像进行人脸识别。

11.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取目标对象的位置信息；

12.一种抓拍机，其特征在于，所述抓拍机包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现权利要求1-9任一项所述方法的步骤。

13.一种人脸识别装置，其特征在于，所述装置包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现权利要求1-10中任一项所述方法的步骤。