CN110895802B - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN110895802B
CN110895802B CN201810969027.XA CN201810969027A CN110895802B CN 110895802 B CN110895802 B CN 110895802B CN 201810969027 A CN201810969027 A CN 201810969027A CN 110895802 B CN110895802 B CN 110895802B
Authority
CN
China
Prior art keywords
image
quality evaluation
frame
images
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810969027.XA
Other languages
English (en)
Other versions
CN110895802A (zh
Inventor
钮毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810969027.XA priority Critical patent/CN110895802B/zh
Publication of CN110895802A publication Critical patent/CN110895802A/zh
Application granted granted Critical
Publication of CN110895802B publication Critical patent/CN110895802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像处理方法及装置，该图像处理方法包括：将N帧图像输入到质量评估网络模型，利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值，根据N帧图像的最终质量评估值，确定目标图像或目标向量。通过本发明实施例提供的技术方案，基于M个质量评估参数对N帧图像进行评估，得到N帧图像的最终质量评估值，再根据最终质量评估值确定目标图像。对于N帧图像中的每一帧图像均是根据M个质量评估参数进行评估的，通过该M个质量评估参数提高了每一帧图像的图像质量评估准确率。最终质量评估值根据M个质量评估参数所得到的，对于根据最终质量评估值所确定的目标图像，提高了最终输出的目标图像的成像质量。

Description

一种图像处理方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像处理方法及装置。
背景技术
目标识别技术广泛应用于各种电子系统，例如门禁系统、交通系统、卡口系统等。现有的目标识别技术是在监控设备所拍摄的图像的基础上进行目标识别。具体的，监控设备每获取到一帧包括目标对象的图像，就对所获取到的图像进行目标识别。
然而，监控设备所拍摄到的包含目标物的图像数量较多，并且在大量的图像中会存在姿态各异、尺寸各异、不同程度遮挡等成像质量较差的图像。这样，在进行目标识别的图像中，就会包含成像质量较差的图像。这直接导致的结果为：降低了目标识别的效率。
发明内容
本发明实施例的目的在于提供一种图像处理方法及装置，以确定出成像质量较高的目标图像，进而提高目标识别的效率。具体技术方案如下：
第一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
将N帧图像输入到质量评估网络模型，其中，N为正整数；
利用所述质量评估网络模型，根据M个质量评估参数确定所述N帧图像的最终质量评估值，其中，M为正整数；
根据所述N帧图像的最终质量评估值，确定目标图像或目标向量。
可选地，利用所述质量评估网络模型，根据M个质量评估参数确定所述N帧图像的最终质量评估值，包括：
利用所述质量评估网络模型，对所述N帧图像中的每一帧图像进行特征提取，得到包括M个特征值的特征向量，所述M个特征值分别对应所述M个质量评估参数的取值；
根据所述特征向量，确定所述N帧图像中的每一帧图像的初始质量评估值；
根据所述N帧图像的初始质量评估值和所述N帧图像的特征向量，确定所述N帧图像的融合特征向量；
根据所述融合特征向量和标准特征向量的相似程度，更新所述N帧图像的初始质量评估值，得到所述N帧图像的最终质量评估值。
可选地，所述根据所述特征向量，确定所述N帧图像中的每一帧图像的初始质量评估值，包括：
针对每一帧图像的所述特征向量，根据所述M个特征值的权重系数，对所述M个特征值进行加权求和，确定所述N帧图像中的每一帧图像的初始质量评估值。
可选地，所述根据所述N帧图像的初始质量评估值和所述N帧图像的特征向量，确定所述N帧图像的融合特征向量，包括：
根据所述N帧图像的初始质量评估值和所述N帧图像的特征向量，确定包括M个融合特征值的融合特征向量，所述M个融合特征值为所述M个质量评估参数对应的融合特征值，其中，所述M个质量评估参数中的每一个质量评估参数对应的融合特征值为：所述N帧图像中该质量评估参数对应的特征值与所述N帧图像的初始质量评估值的加权平均值。
可选地，所述根据所述融合特征向量和标准特征向量的相似程度，更新所述N帧图像的初始质量评估值，得到所述N帧图像的最终质量评估值，包括：
根据所述融合特征向量和标准特征向量的相似程度，调整所述N帧图像中每一帧图像对应的所述M个特征值的权重系数；
根据所述M个特征值以及所述M个特征值调整后的权重系数，确定所述N帧图像中每一帧图像的所述最终质量评估值。
可选地，根据所述N帧图像的最终质量评估值，确定目标图像或目标向量，包括：
根据所述N帧图像的最终质量评估值和所述N帧图像的特征向量，确定最终融合特征向量，所述最终融合特征向量包括所述M个质量评估参数对应的最终融合特征值，所述M个质量评估参数中的每一个质量评估参数对应的最终融合特征值为：所述N帧图像中该质量评估参数对应的特征值与所述N帧图像的最终质量评估值的加权平均值；
根据所述最终融合特征向量生成对应的图像，作为所述目标图像；或者，将所述最终融合特征向量确定为所述目标向量。
可选地，根据所述N帧图像的最终质量评估值，确定目标图像或目标向量，包括：
根据所述N帧图像的最终质量评估值由大到小的排序，从所述N帧图像筛选出P帧关键图像；
将所述P帧关键图像作为所述目标图像，其中，P为不大于N的正整数；或者，在筛选出所述P帧关键图像之后，确定所述P帧关键图像的权重系数；根据所述P帧关键图像和所述P帧关键图像的权重系数，确定所述P帧关键图像的融合图像，将所述融合图像作为所述目标图像。
可选地，所述质量评估网络模型通过以下方式确定：
获取所述预设神经网络和预设的训练集，所述训练集包括多个图像集合，每一图像集合中包括针对同一样本目标的多帧样本图像和标准参考图像；
通过所述预设神经网络，对所述训练集中的样本图像进行特征提取，得到每一帧样本图像的特征向量；
通过所述预设神经网络，对标准参考图像进行特征提取，得到所述标准参考图像的标准特征向量；
基于每帧样本图像的特征向量，对每帧样本图像进行成像质量评估，得到每帧样本图像的质量评估值；
根据包含同一样本目标的每帧样本图像的质量评估值，对包含同一样本目标的各帧样本图像的特征向量进行加权平均，得到针对每一个样本目标的融合特征向量；
利用所得到的融合特征向量和所述标准参考图像的标准特征向量，判断所述预设神经网络是否收敛；
如果不收敛，则调整所述预设神经网络的参数，返回执行通过所述预设神经网络，对所述训练集中的图像进行特征提取，得到每一帧样本图像的特征向量的步骤；
如果收敛，将当前得到的所述预设神经网络确定为所述质量评估网络模型。
第二方面，本发明实施例提供了一种图像处理装置，所述装置包括：
输入模块，用于将N帧图像输入到质量评估网络模型，其中，N为正整数；
第一确定模块，用于利用所述质量评估网络模型，根据M个质量评估参数确定所述N帧图像的最终质量评估值，其中，M为正整数；
第二确定模块，用于根据所述N帧图像的最终质量评估值，确定目标图像或目标向量。
可选地，所述第一确定模块包括：
提取子模块，用于利用所述质量评估网络模型，对所述N帧图像中的每一帧图像进行特征提取，得到包括M个特征值的特征向量，所述M个特征值分别对应所述M个质量评估参数的取值；
第一确定子模块，用于根据所述特征向量，确定所述N帧图像中的每一帧图像的初始质量评估值；
第二确定子模块，用于根据所述N帧图像的初始质量评估值和所述N帧图像的特征向量，确定所述N帧图像的融合特征向量；
更新子模块，用于根据所述融合特征向量和标准特征向量的相似程度，更新所述N帧图像的初始质量评估值，得到所述N帧图像的最终质量评估值。
可选地，所述第一确定子模块具体用于：
针对每一帧图像的所述特征向量，根据所述M个特征值的权重系数，对所述M个特征值进行加权求和，确定所述N帧图像中的每一帧图像的初始质量评估值。
可选地，所述第二确定子模块具体用于：
根据所述N帧图像的初始质量评估值和所述N帧图像的特征向量，确定包括M个融合特征值的融合特征向量，所述M个融合特征值为所述M个质量评估参数对应的融合特征值，其中，所述M个质量评估参数中的每一个质量评估参数对应的融合特征值为：所述N帧图像中该质量评估参数对应的特征值与所述N帧图像的初始质量评估值的加权平均值。
可选地，所述更新子模块具体用于：
根据所述融合特征向量和标准特征向量的相似程度，调整所述N帧图像中每一帧图像对应的所述M个特征值的权重系数；
根据所述M个特征值以及所述M个特征值调整后的权重系数，确定所述N帧图像中每一帧图像的所述最终质量评估值。
可选地，所述第二确定模块具体用于：
根据所述N帧图像的最终质量评估值和所述N帧图像的特征向量，确定最终融合特征向量，所述最终融合特征向量包括所述M个质量评估参数对应的最终融合特征值，所述M个质量评估参数中的每一个质量评估参数对应的最终融合特征值为：所述N帧图像中该质量评估参数对应的特征值与所述N帧图像的最终质量评估值的加权平均值；
根据所述最终融合特征向量生成对应的图像，作为所述目标图像；或者，将所述最终融合特征向量确定为所述目标向量。
可选地，所述第二确定模块具体用于：
根据所述N帧图像的最终质量评估值由大到小的排序，从所述N帧图像筛选出P帧关键图像；
将所述P帧关键图像作为所述目标图像，其中，P为不大于N的正整数；或者，在筛选出所述P帧关键图像之后，确定所述P帧关键图像的权重系数；根据所述P帧关键图像和所述P帧关键图像的权重系数，确定所述P帧关键图像的融合图像，将所述融合图像作为所述目标图像。
可选地，所述质量评估网络模型通过以下方式确定：
获取所述预设神经网络和预设的训练集，所述训练集包括多个图像集合，每一图像集合中包括针对同一样本目标的多帧样本图像和标准参考图像；
通过所述预设神经网络，对所述训练集中的样本图像进行特征提取，得到每一帧样本图像的特征向量；
通过所述预设神经网络，对标准参考图像进行特征提取，得到所述标准参考图像的标准特征向量；
基于每帧样本图像的特征向量，对每帧样本图像进行成像质量评估，得到每帧样本图像的质量评估值；
根据包含同一样本目标的每帧样本图像的质量评估值，对包含同一样本目标的各帧样本图像的特征向量进行加权平均，得到针对每一个样本目标的融合特征向量；
利用所得到的融合特征向量和所述标准参考图像的标准特征向量，判断所述预设神经网络是否收敛；
如果不收敛，则调整所述预设神经网络的参数，返回执行通过所述预设神经网络，对所述训练集中的图像进行特征提取，得到每一帧样本图像的特征向量的步骤；
如果收敛，将当前得到的所述预设神经网络确定为所述质量评估网络模型。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的图像处理方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的图像处理方法步骤。
本发明实施例提供的技术方案中，将N帧图像输入到质量评估网络模型，利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值，根据N帧图像的最终质量评估值，确定目标图像或目标向量。通过本发明实施例提供的技术方案，利用质量评估网络模型，基于M个质量评估参数对所输入的N帧图像进行评估，进而得到N帧图像的最终质量评估值，再根据该最终质量评估值可以确定目标图像或目标向量。对于N帧图像中的每一帧图像均是根据M个质量评估参数进行评估的，通过该M个质量评估参数提高了每一帧图像的图像质量评估准确率。最终质量评估值根据M个质量评估参数所得到的，对于根据最终质量评估值所确定的目标图像，提高了最终输出的目标图像的成像质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理方法的第一种流程图；
图2为本发明实施例提供的图像处理方法的第二种流程图；
图3为本发明实施例提供的对预设神经网络训练的一种流程图；
图4为本发明实施例提供的预设神经网络训练的一种过程示意图；
图5为本发明实施例提供的图像处理方法的第三种流程图；
图6为本发明实施例提供的图像处理方法的第一种过程示意图；
图7-1为本发明实施例提供的图像处理方法的第二种过程示意图；
图7-2为本发明实施例提供的图像处理方法的第三种过程示意图；
图7-3为本发明实施例提供的图像处理方法的第四种过程示意图；
图8为本发明实施例提供的图像处理装置的一种结构示意图；
图9为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高目标图像的识别效率，本发明实施例提供了一种图像处理方法及装置，其中，该图像处理方法包括：
将N帧图像输入到质量评估网络模型，其中，N为正整数；
利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值，其中，M为正整数；
根据N帧图像的最终质量评估值，确定目标图像或目标向量。
本发明实施例提供的技术方案中，将N帧图像输入到质量评估网络模型，利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值，根据N帧图像的最终质量评估值，确定目标图像或目标向量。通过本发明实施例提供的技术方案，利用质量评估网络模型，基于M个质量评估参数对所输入的N帧图像进行评估，进而得到N帧图像的最终质量评估值，再根据该最终质量评估值可以确定目标图像。对于N帧图像中的每一帧图像均是根据M个质量评估参数进行评估的，通过该M个质量评估参数提高了每一帧图像的图像质量评估准确率。最终质量评估值根据M个质量评估参数所得到的，对于根据最终质量评估值所确定的目标图像，提高了最终输出的目标图像的成像质量。
下面首先对本发明实施例提供的一种图像处理方法进行介绍，如图1所示，该图像处理方法包括如下步骤。
S101，将N帧图像输入到质量评估网络模型。
其中，N为正整数，N可以是自定义设定的。例如，N为100，则将100帧图像输入至质量评估网络模型中。
一种实施方式中，N帧图像为包含同一目标物的图像。其中，目标物为进行目标识别所针对的目标。例如，智能交通系统中对车牌为京A.12345的车辆进行目标识别，则车牌为京A.12345的车辆即为目标物。
目标物可以为多种类型，根据不同用户需求目标物不同，例如，交通系统中目标物可以是车辆，门禁系统中目标物可以是人脸，安保监控系统中目标物可以是行人。
其中，质量评估网络模型为经过预设的多个训练集对预设神经网络进行训练所得到的模型。质量评估网络模型可以是基于CNN(Convolutional Neural Networks，卷积神经网络)、RNN(Recurrent Neural Networks，循环神经网络)、DNN(Deep Neural Networks，深度神经网络)等中的任一种神经网络，在此不作限定。
训练集包括多个图像集合，每一图像集合中包括针对同一样本目标的多帧样本图像。其中，样本目标可以自定义，可以是车辆、人脸、行人等。
例如，预设的训练集包括图像集合1、图像集合2和图像集合3。其中，图像集合1中包括1000张图像，该1000张图像均是车辆A的图像；图像集合2包括2000张图像，该2000张图像均是人脸A的图像；图像集合3中包括500张图像，该500张图像均是行人A的图像。
训练集的每一图像集合中还包括标准参考图像，每一图像集合中包括至少一个标准参考图像，标准参考图像用于与所属的图像集合中的其他样本图像进行对比的依据。
S102，利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值。
其中，M为正整数，M可以是自定义设定的。每一个质量评估参数可以认为是质量评估网络模型确定最终质量评估值的一个维度，即质量评估网络模型可以从M个维度上确定N帧图像的最终质量评估值。
质量评估参数可以包括姿态、遮挡、尺寸、光照和模糊度等。
姿态是行人、车辆等目标物的偏转角，例如，人脸的偏转角、俯仰角和旋转角等。
遮挡可以分为固定遮挡和非固定遮挡。固定遮挡是指遮挡物与目标物的相对位置是固定的，一般情况下不会变化。例如，对于目标物为人脸的固定遮挡可以是帽子、墨镜、口罩等物体对人脸的遮挡。非固定遮挡是指遮挡物与目标物的相对位置并非固定的，例如，用手或者其他人挡着人脸属于非固定遮挡。
尺寸是指待识别图像中目标物的尺寸，用来表示待识别图像中目标物的大小。不同的目标物用尺寸来衡量的方式可以是不一样的，例如，人脸的尺寸用双眼瞳孔间距表示，行人的尺寸用身高来表示，车辆的尺寸用左右两个后视镜间距表示。
光照是指待识别图像所呈现出的目标物的亮度是否均匀，待识别图像的光照过曝、过暗、亮度不匀等均可导致待识别图像中目标物的纹理不清晰。
模糊度是指待识别图像中目标物的关键纹理边缘的清晰程度。目标物的关键纹理边缘在待识别图像中的呈现可以表示出目标物。例如，对于人脸来说，关键纹理边缘为五官边缘，五官边缘清晰则可以呈现出人脸；对于行人来说，关键纹理边缘为四肢躯干边缘，四肢躯干边缘清晰则可以呈现出行人；对于车辆来说，关键纹理边缘为包括车牌字符、车身、车灯和车窗的边缘，车牌字符、车身、车灯和车窗的边缘均清晰则可以呈现出车辆。
当然，质量评估参数并不仅限于以上5种，还可以是其他类型的质量评估参数，在此不作限定。
例如，M为5，且5个质量评估参数为姿态、遮挡、尺寸、光照和模糊度，则表示可以根据姿态、遮挡、尺寸、光照和模糊度来确定N帧图像的最终质量评估值。
其中，每一帧图像的最终质量评估值可以认为反应出该帧图像的成像质量，一般来说，最终质量评估值越大，成像质量越好。
一种实施方式中，如图2所示，利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值的步骤(S102)，可以包括如下步骤。
S1，利用质量评估网络模型，对N帧图像中的每一帧图像进行特征提取，得到包括M个特征值的特征向量。
S2，根据特征向量，确定N帧图像中的每一帧图像的初始质量评估值。
S3，根据N帧图像的初始质量评估值和N帧图像的特征向量，确定N帧图像的融合特征向量。
S4，根据融合特征向量和标准特征向量的相似程度，更新N帧图像的初始质量评估值，得到N帧图像的最终质量评估值。
下面分别对上述步骤S1-S4分别进行说明。
S1，利用质量评估网络模型，对N帧图像中的每一帧图像进行特征提取，得到包括M个特征值的特征向量。
其中，M个特征值分别对应M个质量评估参数的取值。
质量评估网络模型可以根据预设的M个质量评估参数分别对每一帧图像进行特征提取。每一个质量评估参数对应一个特征值，这样，每一帧图像的特征向量包括M个特征值。
例如，根据姿态、遮挡、尺寸、光照和模糊度5个质量评估参数，对人脸图像进行特征提取，则得到包括5个特征值的特征向量，表示为(a1，a2，a3，a4，a5)。其中，a1为姿态的特征值，a2为遮挡的特征值，a3为尺寸的特征值，a4为光照的特征值，a5为模糊度的特征值。
根据M个质量评估参数进行评估的，即从M个不同的角度对图像进行评估，提高了图像的图像质量评估准确率。
S2，根据特征向量，确定N帧图像中的每一帧图像的初始质量评估值。
一种实施方式中，针对每一帧图像的特征向量，根据M个特征值的权重系数，对M个特征值进行加权求和，确定N帧图像中的每一帧图像的初始质量评估值。
针对每一帧图像，对每一帧图像的特征向量中的每一质量评估参数分别进行评估，再综合每一质量评估参数的评估结果，进而得到每帧图像的初始质量评估值。
例如，进行人脸识别时，M个质量评估参数包括姿态、遮挡、尺寸、光照和模糊度，则针对每一帧图像的姿态、遮挡、尺寸、光照和模糊度的5个质量评估参数进行评估，再综合姿态、遮挡、尺寸、光照和模糊度5个质量评估参数的评估结果可以得到该待识别图像的初始质量评估值。
其中，针对于姿态的评估，可以使用目标物关键点之间的比例对姿态特征进行评估，目标物关键点可以是自定义设定的。针对于遮挡的评估，可以预先对目标物所在的区域进行自定义分割，并利用训练好的遮挡概率模型计算各部分区域被遮挡的概率。针对于尺寸的评估，则检测针对目标物的预设的位置点之间的尺寸间距，比如目标物为人脸时计算左右瞳孔的间距。针对于模糊度的评估，则用锐度计算公式和能量梯度函数进行衡量。
对每一质量评估参数进行评估所得到的评估结果可以是评分，即特征值。在综合每一质量评估参数的特征值得到每帧图像的初始质量评估值时，可以对各质量评估参数的特征值进行加权求和，得到每一帧图像的初始质量评估值。
例如，图像的特征向量包括姿态、遮挡、尺寸三个质量评估参数，其中，姿态的权重系数为0.4，遮挡的权重系数为0.4，尺寸的权重系数为0.2；在对每一质量评估参数进行评估后，姿态的特征值为80，遮挡的特征值为70，尺寸的特征值为60，则加权求和后该图像的初始质量评估值为：80×0.4+70×0.4+60×0.2＝74。
其中，初始的M个特征值的权重系数可以是自定义设定的。
S3，根据N帧图像的初始质量评估值和N帧图像的特征向量，确定N帧图像的融合特征向量。
一种实施方式中，根据N帧图像的初始质量评估值和N帧图像的特征向量，确定包括M个融合特征值的融合特征向量。
其中，M个融合特征值为M个质量评估参数对应的融合特征值，M个质量评估参数中的每一个质量评估参数对应的融合特征值为：N帧图像中该质量评估参数对应的特征值与N帧图像的初始质量评估值的加权平均值。
具体地，每一帧图像对应一个特征向量，并且每一帧图像对应一个初始质量评估值，将每一帧图像的特征向量与初始质量评估值进行加权计算，可以得到该帧图像加权后的特征向量。
再将N帧图像中各图像对应的加权后的特征向量进行平均。具体地，将N帧图像中各待识别图像的同一质量评估参数的值进行平均，进而可以得到每一质量评估参数的平均值，各质量评估参数的平均值所组合成的新的特性向量即为融合特征向量。
通过初始质量评估值和图像的特征向量，得到包括M个融合特征值的融合特征向量，该融合特征向量集合了图像的特征向量中M个特征值，并且，每一个特征值对图像的成像质量作出的贡献越大，则该特征值对应的质量评估值越大，则在融合特征向量中所占比重越大。这样，所得到的融合特征向量的图像成像质量越高。
S4，根据融合特征向量和标准特征向量的相似程度，更新N帧图像的初始质量评估值，得到N帧图像的最终质量评估值。
一种实施方式中，根据融合特征向量和标准特征向量的相似程度，调整N帧图像中每一帧图像对应的M个特征值的权重系数。
其中，标准特征向量可以是预设的，作为参考标准。对于与标准特征向量更接近的融合特征向量中的特征值，则将该特征值的权重系数调整得比当前特征值更大；对于与标准特征向量差距更大的融合特征向量中的特征值，则将该特征值的权重系数调整得比当前特征值更小。
例如，图像的特征向量包括姿态、遮挡、尺寸三个质量评估参数，其中，姿态的权重系数为0.4，遮挡的权重系数为0.4，尺寸的权重系数为0.2，通过将融合特征向量与标准特征向量比较，姿态、遮挡和尺寸与标准特征向量的接近程度，姿态的特征值与标准特征向量最接近，尺寸的特征值次之，遮挡的特征值与标准特征向量差距较远，则可以将姿态的权重系数调整为0.6，将尺寸的权重系数调整为0.3，将遮挡的权重系数调整为0.1。
在调整完N帧图像中每一帧图像对应的M个特征值的权重系数之后，根据M个特征值以及M个特征值调整后的权重系数，确定N帧图像中每一帧图像的最终质量评估值。
在确定每一帧图像的最终质量评估值时，可以对各质量评估参数的特征值进行加权求和，得到每一帧图像的最终质量评估值。
例如，图像的特征向量包括姿态、遮挡、尺寸、光照和模糊度五个质量评估参数，其中，姿态的权重系数为0.1，遮挡的权重系数为0.2，尺寸的权重系数为0.3，光照的权重系数为0.2，模糊度的权重系数为0.2；该帧图像的特征向量为(80、60、50、50、40)，即姿态的特征值为80，遮挡的特征值为60，尺寸的特征值为50，光照的特征值为50，模糊度的特征值为40，则加权求和后该图像的最终质量评估值为：80×0.1+60×0.2+50×0.3+50×0.2+40×0.2＝53。
通过融合特征向量与标准特征向量的相似程度的比较，可以对权重系数进行相应的调整，若特征值对图像的成像质量作出的贡献越大，即相似程度越高，则将该特征值的权重系数调大，若特征值对图像的成像质量作出的贡献越小，即相似程度越低，则将该特征值的权重系数调小。这样，最后得到的最终融合特征向量会更接近与标准特征向量对应的图像，提高了的图像成像质量越高。
S103，根据N帧图像的最终质量评估值，确定目标图像或目标向量。
一种实施方式中，根据N帧图像的最终质量评估值和N帧图像的特征向量，确定最终融合特征向量，并根据最终融合特征向量生成对应的图像，作为目标图像；或者，将最终融合特征向量确定为目标向量。
其中，最终融合特征向量包括M个质量评估参数对应的最终融合特征值，M个质量评估参数中的每一个质量评估参数对应的最终融合特征值为：N帧图像中该质量评估参数对应的特征值与N帧图像的最终质量评估值的加权平均值。
具体地，每一帧图像对应一个特征向量，并且每一帧图像对应一个最终质量评估值，将每一帧图像的特征向量与最终质量评估值进行加权计算，可以得到该帧图像加权后的特征向量。
再将N帧图像中各图像对应的加权后的特征向量进行平均。具体地，将N帧图像中各待识别图像的同一质量评估参数的值进行平均，进而可以得到每一质量评估参数的平均值，各质量评估参数的平均值所组合成的新的特性向量即为最终融合特征向量。
例如，N帧图像中包括图像1、图像2和图像3，其中，图像1的特征向量为(a1，a2，a3)，图像2的特征向量为(b1，b2，b3)，图像3的特征向量为(c1，c2，c3)，其中，a1、b1和c1所针对的同一质量评估参数为第一质量评估参数，a2、b2和c2所针对的同一质量评估参数为第二质量评估参数，a3、b3和c3所针对的同一质量评估参数为第三质量评估参数。所得到的图像1的最终质量评估值为α，图像2的最终质量评估值为β，图像3的最终质量评估值为γ。那么，在分别对图像1、图像2和图像3进行加权计算后所得到的特征向量分别为：(α·a1，α·a2，α·a3)，(β·b1，β·b2，β·b3)，(γ·c1，γ·c2，γ·c3)；其中，α·a1表示α乘以a1，本发明实施例中的该表达方法均表示相乘计算。在得到上述加权后的特征向量之后，第一质量评估参数对应的值为(α·a1+β·b1+γ·c1)/3，第二质量评估参数对应的值为(α·a2+β·b2+γ·c2)/3，第三质量评估参数对应的值为(α·a3+β·b3+γ·c3)/3，那么，所得到的最终融合特征向量为((α·a1+β·b1+γ·c1)/3，(α·a2+β·b2+γ·c2)/3，(α·a3+β·b3+γ·c3)/3)，该最终融合特征向量即所确定的目标图像。
一种实施方式中，根据N帧图像的最终质量评估值由大到小的排序，从N帧图像筛选出P帧关键图像，将P帧关键图像作为目标图像。
其中，P为不大于N的正整数，P可以是自定义设定的。
在得到每帧图像的最终质量评估值之后，可以对所得到的最终质量评估值从大到小的顺序进行排序，并从最终质量评估值从大到小的顺序选取P帧关键图像，作为目标图像。
例如，N为4，N帧图像为图像1、图像2、图像3和图像4，其中，图像1的最终质量评估值为70，图像2的最终质量评估值为80，图像3的最终质量评估值为65，图像4的最终质量评估值为85。按照最终质量评估值由大到小的顺序排序为：图像4、图像2、图像1、图像3，P为2，则将图像4和图像2作为目标图像。
通过该实施方式，不仅选取了成像质量较好的P帧图像，并且所选取的成像质量较好的图像的数量少于所获取的N帧图像的数量，这样，在后续进行目标识别的图像的数量也会减少，进而降低了进行目标识别的负担。
一种实施方式中，根据N帧图像的最终质量评估值由大到小的排序，从N帧图像筛选出P帧关键图像，在筛选出P帧关键图像之后，确定P帧关键图像的权重系数；根据P帧图像和P帧图像的权重系数，确定P帧关键图像的融合图像，将融合图像作为目标图像。
其中，图像的权重系数是根据图像的成像质量所确定的，一般来说，成像质量越高的图像，该图像的权重系数越大。P帧关键图像中权重系数越大，则在该P帧关键图像的融合图像中所占的比重越大。
例如，P为2，P帧关键图像包括图像1和图像2，其中，图像1的权重系数为80％，图像2的权重系数为20％，则在图像1和图像2的融合图像中，图像1所占的比重远远大于图像2。
一种实施方式中，对于质量评估网络模型，如图3所示，可以采用如下步骤，对预设神经网络进行训练所获得。
S301，获取预设神经网络和预设的训练集。
其中，预设神经网络和训练集均可以是自定义的，训练集包括多个图像集合，每一图像集合中包括针对同一样本目标的多帧样本图像和标准参考图像。
结合图4进行说明，预设的神经网络为CNN网络。预设的训练集包括N帧样本图像，对每帧样本图像进行编号，依次为1-N。
S302，通过预设神经网络，对训练集中的样本图像进行特征提取，得到每一帧样本图像的特征向量。
如图4所示，将训练集中的1-N帧样本图像分别输入至预设神经网络中，预设神经网络对N帧样本图像分别进行特征提取，得到每帧样本图像的特征向量，即编号为1-N的特征向量。
S303，通过预设神经网络，对标准参考图像进行特征提取，得到标准参考图像的标准特征向量。
如图4所示，将标准参考图像输入至预设神经网络中，预设神经网络对标准参考图像进行特征提取，得到标准特征向量。
其中，对于步骤S302和步骤S303，可以不限定执行顺序。
S304，基于每帧样本图像的特征向量，对每帧样本图像进行成像质量评估，得到每帧样本图像的质量评估值。
如图4所示，即基于编号为1-N的特征向量，对每帧样本图像进行成像质量评估，可以得到对应的编号为1-N的质量评估值。
S305，根据包含同一样本目标的每帧样本图像的质量评估值，对包含同一样本目标的各帧样本图像的特征向量进行加权平均，得到针对每一个样本目标的融合特征向量。
一种实现方式，可以依次将训练集中的每一个图像集合，即包括同一样本目标的图像集合，分别输入至预设神经网络，进而对预设神经网络进行训练。
例如，首先将训练集中的第一图像集合输入至预设神经网络，即利用该第一图像集合对预设神经网络进行训练。具体地，通过预设神经网络，对第一图像集合中的各样本图像进行特征提取，得到第一图像集合中每一张样本图像的特征向量和质量评估值，对每一张样本图像的特征向量进行加权平均，进而可以得到该第一图像集合的融合特征向量，再利用第一图像集合的融合特征向量与标准参考图像的标准特征向量进行对比，依据对比的结果判断该预设神经网络是否收敛。在完成第一图像集合对预设神经网络的一轮训练之后，再利用训练集中的其他图像集合对预设神经网络进行下一轮训练，直至训练集中的所有图像集合均完成对预设神经网络的训练。
如图4所示，将编号为1-N的质量评估值与编号为1-N的特征向量分别进行加权平均，可以得到对应的融合特征向量。
S306，利用所得到的融合特征向量和标准参考图像的标准特征向量，判断预设神经网络是否收敛。
如图4，将所得到的融合特征向量和标准参考图像的标准特征向量进行比较，进而判断预设神经网络是否收敛。
一种实现方式中，首先，由预设神经网络对所得到的融合特征向量进行前向计算。
具体地，对训练集中的图像集合Ω的融合特征向量进行参数集为Θi的预设神经网络的前向计算。第一次进入前向计算处理时，当前参数集为Θ1，后续再次进入前向计算处理时，当前参数集Θi为对上一次使用的参数集Θi-1进行调整后得到的。
在完成前向计算之后，计算标准参考图像的标准特征向量和融合特征向量的相似度。
其中，相似度以百分数表示，百分数越大表示标准参考图像的标准特征向量和融合特征向量相似度越高，100％表示标准参考图像的标准特征向量和融合特征向量完全一样。
基于所得到的相似度，判断该预设神经网络是否收敛。具体地，判断相似度是否小于预设相似度阈值。当相似度小于预设相似度阈值时，确定不收敛；当相似度不小于预设相似度阈值时，则确定收敛。
如果预设神经网络不收敛，则执行步骤S307，即调整预设神经网络的参数，一种实现方式中，可以利用梯度下降等数值优化方法进行调整。具体地，利用梯度下降方法调整预设神经网络的当前参数集Θi。并返回执行步骤S302；
如果预设神经网络收敛，则执行步骤S308，即将当前得到的预设神经网络确定为质量评估网络模型。
本发明实施例提供的技术方案中，将N帧图像输入到质量评估网络模型，利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值，根据N帧图像的最终质量评估值，确定目标图像或目标向量。通过本发明实施例提供的技术方案，利用质量评估网络模型，基于M个质量评估参数对所输入的N帧图像进行评估，进而得到N帧图像的最终质量评估值，再根据该最终质量评估值可以确定目标图像。对于N帧图像中的每一帧图像均是根据M个质量评估参数进行评估的，通过该M个质量评估参数提高了每一帧图像的图像质量评估准确率。最终质量评估值根据M个质量评估参数所得到的，对于根据最终质量评估值所确定的目标图像，提高了最终输出的目标图像的成像质量。
本发明实施例还提供一种图像处理方法，如图5所示，该图像处理方法包括如下步骤。
S501，将N帧图像输入到质量评估网络模型。
结合图6进行说明，将N帧图像输入至质量评估网络模型，
S502，质量评估网络模型对N帧图像中的每一帧图像进行特征提取，得到包括M个特征值的特征向量，M个特征值分别对应M个质量评估参数的取值。
如图6所示，质量评估模型对N帧图像中的每一帧图像进行特征提取，得到N个特征向量，其中，每个特征向量包含M个特征值。
S503，利用质量评估网络模型，针对每一帧图像的所述特征向量，根据M个特征值的权重系数，对M个特征值进行加权求和，确定N帧图像中的每一帧图像的初始质量评估值。
如图6所示，由所得到的N个特征向量，可以得到N个初始质量评估值。具体地，利用每一个特征向量中的M个特征值对应的权重系数，对该特征向量中的M个特征值加权求和，可以确定出该特征向量对应的初始质量评估值。
S504，利用质量评估网络模型，根据N帧图像的初始质量评估值和N帧图像的特征向量，确定包括M个融合特征值的融合特征向量，M个融合特征值为M个质量评估参数对应的融合特征值。
其中，M个质量评估参数中的每一个质量评估参数对应的融合特征值为：N帧图像中该质量评估参数对应的特征值与N帧图像的初始质量评估值的加权平均值。
如图6所示，根据N个特征向量与N个初始质量评估值，可以得到每一帧图像的融合特征向量。这样，可以得到对应的N个融合特征向量。
S505，利用质量评估网络模型，根据融合特征向量和标准特征向量的相似程度，调整N帧图像中每一帧图像对应的M个特征值的权重系数。
S506，利用质量评估网络模型，根据M个特征值以及M个特征值调整后的权重系数，确定N帧图像中每一帧图像的最终质量评估值。
如图6所示，将所得到的每一个融合特征向量与标准特征向量进行比较，进而可以调整每一帧图像对应的M个特征值的权重系数。并将调整后的权重系数与权重系数对应的M个特征值进行加权计算，可以确定每一帧图像的最终质量评估值。
S507，利用质量评估网络模型，根据N帧图像的最终质量评估值，确定目标图像或目标向量。
一种实现方式中，根据N帧图像的最终质量评估值和N帧图像的特征向量，确定最终融合特征向量，最终融合特征向量包括M个质量评估参数对应的最终融合特征值，M个质量评估参数中的每一个质量评估参数对应的最终融合特征值为：N帧图像中该质量评估参数对应的特征值与N帧图像的最终质量评估值的加权平均值；
如图7-1所示，根据最终融合特征向量生成对应的图像，作为目标图像。或者，如图7-2所示，将最终融合特征向量确定为目标向量。
另一种实现方式中，如图7-3所示，根据所述N帧图像的最终质量评估值由大到小的排序，从所述N帧图像筛选出P帧关键图像；
将P帧关键图像作为目标图像，其中，P为不大于N的正整数；或者，在筛选出P帧关键图像之后，确定P帧关键图像的权重系数；根据P帧关键图像和P帧关键图像的权重系数，确定P帧关键图像的融合图像，将融合图像作为目标图像。
其中，上述步骤S502-S507，并不限于使用本申请中的质量评估网络模型实现，也可以利用多个功能模块或模型实现，也可以利用一个或多个设备实现，在此不做限定。
相应于上述图像处理方法实施例，本发明实施例还提供一种图像处理装置，如图8所示，该图像处理装置包括：
输入模块810，用于将N帧图像输入到质量评估网络模型，其中，N为正整数；
第一确定模块820，用于利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值，其中，M为正整数；
第二确定模块830，用于根据N帧图像的最终质量评估值，确定目标图像或目标向量。
一种实施方式中，第一确定模块820包括：
提取子模块，用于利用质量评估网络模型，对N帧图像中的每一帧图像进行特征提取，得到包括M个特征值的特征向量，M个特征值分别对应M个质量评估参数的取值；
第一确定子模块，用于根据特征向量，确定N帧图像中的每一帧图像的初始质量评估值；
第二确定子模块，用于根据N帧图像的初始质量评估值和N帧图像的特征向量，确定N帧图像的融合特征向量；
更新子模块，用于根据融合特征向量和标准特征向量的相似程度，更新N帧图像的初始质量评估值，得到N帧图像的最终质量评估值。
一种实施方式中，第一确定子模块具体用于：
针对每一帧图像的特征向量，根据M个特征值的权重系数，对M个特征值进行加权求和，确定N帧图像中的每一帧图像的初始质量评估值。
一种实施方式中，第二确定子模块具体用于：
根据N帧图像的初始质量评估值和N帧图像的特征向量，确定包括M个融合特征值的融合特征向量，M个融合特征值为M个质量评估参数对应的融合特征值，其中，M个质量评估参数中的每一个质量评估参数对应的融合特征值为：N帧图像中该质量评估参数对应的特征值与N帧图像的初始质量评估值的加权平均值。
一种实施方式中，更新子模块具体用于：
根据融合特征向量和标准特征向量的相似程度，调整N帧图像中每一帧图像对应的M个特征值的权重系数；
根据M个特征值以及M个特征值调整后的权重系数，确定N帧图像中每一帧图像的最终质量评估值。
一种实施方式中，第二确定模块830具体用于：
根据N帧图像的最终质量评估值和N帧图像的特征向量，确定最终融合特征向量，最终融合特征向量包括M个质量评估参数对应的最终融合特征值，M个质量评估参数中的每一个质量评估参数对应的最终融合特征值为：N帧图像中该质量评估参数对应的特征值与N帧图像的最终质量评估值的加权平均值；
根据最终融合特征向量生成对应的图像，作为目标图像；或者，将最终融合特征向量确定为目标向量。
一种实施方式中，第二确定模块830具体用于：
根据N帧图像的最终质量评估值由大到小的排序，从N帧图像筛选出P帧关键图像；
将P帧关键图像作为目标图像，其中，P为不大于N的正整数；或者，在筛选出P帧关键图像之后，确定P帧关键图像的权重系数；根据P帧关键图像和P帧关键图像的权重系数，确定P帧关键图像的融合图像，将融合图像作为目标图像。
一种实施方式中，质量评估网络模型通过以下方式确定：
获取预设神经网络和预设的训练集，训练集包括多个图像集合，每一图像集合中包括针对同一样本目标的多帧样本图像和标准参考图像；
通过预设神经网络，对训练集中的样本图像进行特征提取，得到每一帧样本图像的特征向量；
通过预设神经网络，对标准参考图像进行特征提取，得到标准参考图像的标准特征向量；
基于每帧样本图像的特征向量，对每帧样本图像进行成像质量评估，得到每帧样本图像的质量评估值；
根据包含同一样本目标的每帧样本图像的质量评估值，对包含同一样本目标的各帧样本图像的特征向量进行加权平均，得到针对每一个样本目标的融合特征向量；
利用所得到的融合特征向量和所述标准参考图像的标准特征向量，判断预设神经网络是否收敛；
如果不收敛，则调整预设神经网络的参数，返回执行通过预设神经网络，对训练集中的图像进行特征提取，得到每一帧样本图像的特征向量的步骤；
如果收敛，将当前得到的预设神经网络确定为质量评估网络模型。
本发明实施例提供的技术方案中，将N帧图像输入到质量评估网络模型，利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值，根据N帧图像的最终质量评估值，确定目标图像或目标向量。通过本发明实施例提供的技术方案，利用质量评估网络模型，基于M个质量评估参数对所输入的N帧图像进行评估，进而得到N帧图像的最终质量评估值，再根据该最终质量评估值可以确定目标图像。对于N帧图像中的每一帧图像均是根据M个质量评估参数进行评估的，通过该M个质量评估参数提高了每一帧图像的图像质量评估准确率。最终质量评估值根据M个质量评估参数所得到的，对于根据最终质量评估值所确定的目标图像，提高了最终输出的目标图像的成像质量。
相应于上述图像处理方法实施例，本发明实施例还提供了一种电子设备，如图9所示，包括处理器910、通信接口920、存储器930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信；
存储器930，用于存放计算机程序；
处理器910，用于执行存储器930上所存放的程序时，实现如下步骤：
将N帧图像输入到质量评估网络模型，其中，N为正整数；
利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值，其中，M为正整数；
根据N帧图像的最终质量评估值，确定目标图像或目标向量。
本发明实施例提供的技术方案中，将N帧图像输入到质量评估网络模型，利用质量评估网络模型，根据M个质量评估参数确定N帧图像的最终质量评估值，根据N帧图像的最终质量评估值，确定目标图像或目标向量。通过本发明实施例提供的技术方案，利用质量评估网络模型，基于M个质量评估参数对所输入的N帧图像进行评估，进而得到N帧图像的最终质量评估值，再根据该最终质量评估值可以确定目标图像。对于N帧图像中的每一帧图像均是根据M个质量评估参数进行评估的，通过该M个质量评估参数提高了每一帧图像的图像质量评估准确率。最终质量评估值根据M个质量评估参数所得到的，对于根据最终质量评估值所确定的目标图像，提高了最终输出的目标图像的成像质量
本发明实施例提供的一种电子设备还可以执行上述实施例中任一所述的一种图像处理方法。具体见图1、图2、图3、图4、图5、图6、图7-1、图7-2、图7-3以及图1、图2、图3、图4、图5、图6、图7-1、图7-2、图7-3所对应的实施例，这里不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一所述的图像处理方法步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图像处理装置、电子设备和计算机可读存储介质实施例而言，由于其基本相似于图像处理方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：
将N帧图像输入到质量评估网络模型，其中，N为正整数；
利用所述质量评估网络模型，根据M个质量评估参数确定所述N帧图像的最终质量评估值，其中，M为正整数；
根据所述N帧图像的最终质量评估值，确定目标图像或目标向量；
其中，所述利用所述质量评估网络模型，根据M个质量评估参数确定所述N帧图像的最终质量评估值，包括：
利用所述质量评估网络模型，对所述N帧图像中的每一帧图像进行特征提取，得到包括M个特征值的特征向量，所述M个特征值分别对应所述M个质量评估参数的取值；
根据所述特征向量，确定所述N帧图像中的每一帧图像的初始质量评估值；
根据所述N帧图像的初始质量评估值和所述N帧图像的特征向量，确定所述N帧图像的融合特征向量，其中，所述融合特征向量的数量为一个；
根据所述融合特征向量和标准特征向量的相似程度，更新所述N帧图像的初始质量评估值，得到所述N帧图像的最终质量评估值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述特征向量，确定所述N帧图像中的每一帧图像的初始质量评估值，包括：
针对每一帧图像的所述特征向量，根据所述M个特征值的权重系数，对所述M个特征值进行加权求和，确定所述N帧图像中的每一帧图像的初始质量评估值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述N帧图像的初始质量评估值和所述N帧图像的特征向量，确定所述N帧图像的融合特征向量，包括：
根据所述N帧图像的初始质量评估值和所述N帧图像的特征向量，确定包括M个融合特征值的融合特征向量，所述M个融合特征值为所述M个质量评估参数对应的融合特征值，其中，所述M个质量评估参数中的每一个质量评估参数对应的融合特征值为：所述N帧图像中该质量评估参数对应的特征值与所述N帧图像的初始质量评估值的加权平均值。
4.根据权利要求1所述的方法，其特征在于，所述根据所述融合特征向量和标准特征向量的相似程度，更新所述N帧图像的初始质量评估值，得到所述N帧图像的最终质量评估值，包括：
根据所述融合特征向量和标准特征向量的相似程度，调整所述N帧图像中每一帧图像对应的所述M个特征值的权重系数；
根据所述M个特征值以及所述M个特征值调整后的权重系数，确定所述N帧图像中每一帧图像的所述最终质量评估值。
5.根据权利要求1所述的方法，其特征在于，根据所述N帧图像的最终质量评估值，确定目标图像或目标向量，包括：
根据所述N帧图像的最终质量评估值和所述N帧图像的特征向量，确定最终融合特征向量，所述最终融合特征向量包括所述M个质量评估参数对应的最终融合特征值，所述M个质量评估参数中的每一个质量评估参数对应的最终融合特征值为：所述N帧图像中该质量评估参数对应的特征值与所述N帧图像的最终质量评估值的加权平均值；
根据所述最终融合特征向量生成对应的图像，作为所述目标图像；或者，将所述最终融合特征向量确定为所述目标向量。
6.根据权利要求1所述的方法，其特征在于，根据所述N帧图像的最终质量评估值，确定目标图像或目标向量，包括：
根据所述N帧图像的最终质量评估值由大到小的排序，从所述N帧图像筛选出P帧关键图像；
将所述P帧关键图像作为所述目标图像，其中，P为不大于N的正整数；或者，在筛选出所述P帧关键图像之后，确定所述P帧关键图像的权重系数；根据所述P帧关键图像和所述P帧关键图像的权重系数，确定所述P帧关键图像的融合图像，将所述融合图像作为所述目标图像。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述质量评估网络模型通过以下方式确定：
获取预设神经网络和预设的训练集，所述训练集包括多个图像集合，每一图像集合中包括针对同一样本目标的多帧样本图像和标准参考图像；
通过所述预设神经网络，对所述训练集中的样本图像进行特征提取，得到每一帧样本图像的特征向量；
通过所述预设神经网络，对标准参考图像进行特征提取，得到所述标准参考图像的标准特征向量；
基于每帧样本图像的特征向量，对每帧样本图像进行成像质量评估，得到每帧样本图像的质量评估值；
根据包含同一样本目标的每帧样本图像的质量评估值，对包含同一样本目标的各帧样本图像的特征向量进行加权平均，得到针对每一个样本目标的融合特征向量；
利用所得到的融合特征向量和所述标准参考图像的标准特征向量，判断所述预设神经网络是否收敛；
如果不收敛，则调整所述预设神经网络的参数，返回执行通过所述预设神经网络，对所述训练集中的图像进行特征提取，得到每一帧样本图像的特征向量的步骤；
如果收敛，将当前得到的所述预设神经网络确定为所述质量评估网络模型。
8.一种图像处理装置，其特征在于，所述装置包括：
输入模块，用于将N帧图像输入到质量评估网络模型，其中，N为正整数；
第一确定模块，用于利用所述质量评估网络模型，根据M个质量评估参数确定所述N帧图像的最终质量评估值，其中，M为正整数；
第二确定模块，用于根据所述N帧图像的最终质量评估值，确定目标图像或目标向量；
其中，所述第一确定模块包括：
提取子模块，用于利用所述质量评估网络模型，对所述N帧图像中的每一帧图像进行特征提取，得到包括M个特征值的特征向量，所述M个特征值分别对应所述M个质量评估参数的取值；
第一确定子模块，用于根据所述特征向量，确定所述N帧图像中的每一帧图像的初始质量评估值；
第二确定子模块，用于根据所述N帧图像的初始质量评估值和所述N帧图像的特征向量，确定所述N帧图像的融合特征向量，其中，所述融合特征向量的数量为一个；
更新子模块，用于根据所述融合特征向量和标准特征向量的相似程度，更新所述N帧图像的初始质量评估值，得到所述N帧图像的最终质量评估值。
9.根据权利要求8所述的装置，其特征在于，所述第一确定子模块具体用于：
针对每一帧图像的所述特征向量，根据所述M个特征值的权重系数，对所述M个特征值进行加权求和，确定所述N帧图像中的每一帧图像的初始质量评估值。
10.根据权利要求8所述的装置，其特征在于，所述第二确定子模块具体用于：
根据所述N帧图像的初始质量评估值和所述N帧图像的特征向量，确定包括M个融合特征值的融合特征向量，所述M个融合特征值为所述M个质量评估参数对应的融合特征值，其中，所述M个质量评估参数中的每一个质量评估参数对应的融合特征值为：所述N帧图像中该质量评估参数对应的特征值与所述N帧图像的初始质量评估值的加权平均值。
11.根据权利要求8所述的装置，其特征在于，所述更新子模块具体用于：
根据所述融合特征向量和标准特征向量的相似程度，调整所述N帧图像中每一帧图像对应的所述M个特征值的权重系数；
根据所述M个特征值以及所述M个特征值调整后的权重系数，确定所述N帧图像中每一帧图像的所述最终质量评估值。
12.根据权利要求8所述的装置，其特征在于，所述第二确定模块具体用于：
根据所述N帧图像的最终质量评估值和所述N帧图像的特征向量，确定最终融合特征向量，所述最终融合特征向量包括所述M个质量评估参数对应的最终融合特征值，所述M个质量评估参数中的每一个质量评估参数对应的最终融合特征值为：所述N帧图像中该质量评估参数对应的特征值与所述N帧图像的最终质量评估值的加权平均值；
根据所述最终融合特征向量生成对应的图像，作为所述目标图像；或者，将所述最终融合特征向量确定为所述目标向量。
13.根据权利要求8所述的装置，其特征在于，所述第二确定模块具体用于：
根据所述N帧图像的最终质量评估值由大到小的排序，从所述N帧图像筛选出P帧关键图像；
将所述P帧关键图像作为所述目标图像，其中，P为不大于N的正整数；或者，在筛选出所述P帧关键图像之后，确定所述P帧关键图像的权重系数；根据所述P帧关键图像和所述P帧关键图像的权重系数，确定所述P帧关键图像的融合图像，将所述融合图像作为所述目标图像。
14.根据权利要求8至13中任一项所述的装置，其特征在于，所述质量评估网络模型通过以下方式确定：
获取预设神经网络和预设的训练集，所述训练集包括多个图像集合，每一图像集合中包括针对同一样本目标的多帧样本图像和标准参考图像；
通过所述预设神经网络，对所述训练集中的样本图像进行特征提取，得到每一帧样本图像的特征向量；
通过所述预设神经网络，对标准参考图像进行特征提取，得到所述标准参考图像的标准特征向量；
基于每帧样本图像的特征向量，对每帧样本图像进行成像质量评估，得到每帧样本图像的质量评估值；
根据包含同一样本目标的每帧样本图像的质量评估值，对包含同一样本目标的各帧样本图像的特征向量进行加权平均，得到针对每一个样本目标的融合特征向量；
利用所得到的融合特征向量和所述标准参考图像的标准特征向量，判断所述预设神经网络是否收敛；
如果不收敛，则调整所述预设神经网络的参数，返回执行通过所述预设神经网络，对所述训练集中的图像进行特征提取，得到每一帧样本图像的特征向量的步骤；
如果收敛，将当前得到的所述预设神经网络确定为所述质量评估网络模型。
15.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一方法步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一方法步骤。
CN201810969027.XA 2018-08-23 2018-08-23 一种图像处理方法及装置 Active CN110895802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810969027.XA CN110895802B (zh) 2018-08-23 2018-08-23 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810969027.XA CN110895802B (zh) 2018-08-23 2018-08-23 一种图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN110895802A CN110895802A (zh) 2020-03-20
CN110895802B true CN110895802B (zh) 2023-09-01

Family

ID=69784759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810969027.XA Active CN110895802B (zh) 2018-08-23 2018-08-23 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN110895802B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111568422B (zh) * 2020-05-20 2023-12-01 科大讯飞股份有限公司 影像质量评估方法、指标间关系的获取方法及相关设备
CN112070739B (zh) * 2020-09-03 2024-10-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112155601B (zh) * 2020-09-24 2022-12-30 广州爱孕记信息科技有限公司 一种胎儿超声图像的成像质量控制的确定方法及装置
CN113810610A (zh) * 2021-09-16 2021-12-17 杭州海康威视数字技术股份有限公司 一种对象抓拍方法及装置
CN113850785A (zh) * 2021-09-27 2021-12-28 展讯通信（上海）有限公司 图像质量模型的生成、评估方法与系统及其设备与介质
CN117788461B (zh) * 2024-02-23 2024-05-07 华中科技大学同济医学院附属同济医院 一种基于图像分析的磁共振图像质量评估系统
CN118606508B (zh) * 2024-08-07 2024-11-29 浙江大华技术股份有限公司 图像选择方法、计算机设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002087259A1 (en) * 2001-04-25 2002-10-31 Koninklijke Philips Electronics N.V. Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology
CN102202227A (zh) * 2011-06-21 2011-09-28 珠海世纪鼎利通信科技股份有限公司 一种无参考视频质量客观评估方法
CN102750695A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于机器学习的立体图像质量客观评价方法
CN102799669A (zh) * 2012-07-17 2012-11-28 杭州淘淘搜科技有限公司 一种商品图像视觉质量的自动分级方法
CN102945552A (zh) * 2012-10-22 2013-02-27 西安电子科技大学 基于自然场景统计中稀疏表示的无参考图像质量评价方法
WO2014059723A1 (zh) * 2012-10-17 2014-04-24 杭州海康威视数字技术股份有限公司 视频图像质量诊断系统及其方法
CN104023225A (zh) * 2014-05-28 2014-09-03 北京邮电大学 一种基于空时域自然场景统计特征的无参考视频质量评估方法
CN104185981A (zh) * 2013-10-23 2014-12-03 华为终端有限公司 从连拍图像中选择图像的方法和终端
CN104408429A (zh) * 2014-11-28 2015-03-11 北京奇艺世纪科技有限公司 一种视频代表帧提取方法及装置
CN106384197A (zh) * 2016-09-13 2017-02-08 北京协力筑成金融信息服务股份有限公司 一种基于大数据的业务质量评估方法和装置
CN106528879A (zh) * 2016-12-14 2017-03-22 北京小米移动软件有限公司 图片处理方法及装置
CN107465914A (zh) * 2017-08-18 2017-12-12 电子科技大学 基于局部纹理特征和全局亮度特征的视频质量评价方法
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
US9892324B1 (en) * 2017-07-21 2018-02-13 Pccw Vuclip (Singapore) Pte. Ltd. Actor/person centric auto thumbnail
CN108229240A (zh) * 2016-12-09 2018-06-29 杭州海康威视数字技术股份有限公司 一种确定图像质量的方法及装置
CN108269254A (zh) * 2018-01-17 2018-07-10 百度在线网络技术（北京）有限公司 图像质量评估方法和装置
CN108288027A (zh) * 2017-12-28 2018-07-17 新智数字科技有限公司 一种图像质量的检测方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2676224B1 (en) * 2011-02-18 2021-05-26 iOmniscient Pty Ltd Image quality assessment
US10726244B2 (en) * 2016-12-07 2020-07-28 Samsung Electronics Co., Ltd. Method and apparatus detecting a target

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002087259A1 (en) * 2001-04-25 2002-10-31 Koninklijke Philips Electronics N.V. Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology
CN102202227A (zh) * 2011-06-21 2011-09-28 珠海世纪鼎利通信科技股份有限公司 一种无参考视频质量客观评估方法
CN102750695A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于机器学习的立体图像质量客观评价方法
CN102799669A (zh) * 2012-07-17 2012-11-28 杭州淘淘搜科技有限公司 一种商品图像视觉质量的自动分级方法
WO2014059723A1 (zh) * 2012-10-17 2014-04-24 杭州海康威视数字技术股份有限公司 视频图像质量诊断系统及其方法
CN102945552A (zh) * 2012-10-22 2013-02-27 西安电子科技大学 基于自然场景统计中稀疏表示的无参考图像质量评价方法
CN104185981A (zh) * 2013-10-23 2014-12-03 华为终端有限公司 从连拍图像中选择图像的方法和终端
CN104023225A (zh) * 2014-05-28 2014-09-03 北京邮电大学 一种基于空时域自然场景统计特征的无参考视频质量评估方法
CN104408429A (zh) * 2014-11-28 2015-03-11 北京奇艺世纪科技有限公司 一种视频代表帧提取方法及装置
CN106384197A (zh) * 2016-09-13 2017-02-08 北京协力筑成金融信息服务股份有限公司 一种基于大数据的业务质量评估方法和装置
CN108229240A (zh) * 2016-12-09 2018-06-29 杭州海康威视数字技术股份有限公司 一种确定图像质量的方法及装置
CN106528879A (zh) * 2016-12-14 2017-03-22 北京小米移动软件有限公司 图片处理方法及装置
US9892324B1 (en) * 2017-07-21 2018-02-13 Pccw Vuclip (Singapore) Pte. Ltd. Actor/person centric auto thumbnail
CN107465914A (zh) * 2017-08-18 2017-12-12 电子科技大学 基于局部纹理特征和全局亮度特征的视频质量评价方法
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN108288027A (zh) * 2017-12-28 2018-07-17 新智数字科技有限公司 一种图像质量的检测方法、装置及设备
CN108269254A (zh) * 2018-01-17 2018-07-10 百度在线网络技术（北京）有限公司 图像质量评估方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多特征融合的卡口人脸质量评估方法研究;陈正浩;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20180815;第2018年卷(第8期);第3.2.3节、表3.1 *

Also Published As

Publication number Publication date
CN110895802A (zh) 2020-03-20

Similar Documents

Publication Publication Date Title
CN110858286B (zh) 一种用于目标识别的图像处理方法及装置
CN110895802B (zh) 一种图像处理方法及装置
CN109389135B (zh) 一种图像筛选方法及装置
CN107529650B (zh) 闭环检测方法、装置及计算机设备
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN109800682B (zh) 驾驶员属性识别方法及相关产品
CN111027493A (zh) 一种基于深度学习多网络软融合的行人检测方法
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN112419170A (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
US11281939B2 (en) Method and apparatus for training an object identification neural network, and computer device
CN108427927A (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN111985458B (zh) 一种检测多目标的方法、电子设备及存储介质
WO2022121130A1 (zh) 电力目标检测方法、装置、计算机设备和存储介质
CN112069887A (zh) 一种人脸识别方法、装置、终端设备及存储介质
TWI684918B (zh) 臉部辨識系統以及加強臉部辨識方法
CN114495241B (zh) 一种图像识别方法及装置、电子设备、存储介质
CN112101185B (zh) 一种训练皱纹检测模型的方法、电子设备及存储介质
CN112949571A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN108985249A (zh) 人脸检测方法、装置、电子设备以及存储介质
CN113642479B (zh) 人脸图像的评价方法、装置、电子设备及存储介质
CN111008604A (zh) 预测图像获取方法、装置、计算机设备和存储介质
JP7437918B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN116994049A (zh) 全自动针织横机及其方法
CN112699809B (zh) 痘痘类别识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant