CN113781379B - 图像质量确定方法、装置、电子设备及存储介质 - Google Patents
图像质量确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113781379B CN113781379B CN202010431640.3A CN202010431640A CN113781379B CN 113781379 B CN113781379 B CN 113781379B CN 202010431640 A CN202010431640 A CN 202010431640A CN 113781379 B CN113781379 B CN 113781379B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- images
- determining
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000006870 function Effects 0.000 claims description 81
- 238000003062 neural network model Methods 0.000 claims description 61
- 238000013441 quality evaluation Methods 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 29
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000001303 quality assessment method Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 abstract description 11
- 238000011156 evaluation Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像质量确定方法、装置、电子设备及存储介质,属于图像识别技术领域。所述方法包括:通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且所述多个第一目标图像为同一类别的目标对象的图像;将所述多个第一图像特征合成第二图像特征;根据所述多个第一图像特征与所述第二图像特征,确定所述多个第一目标图像相较于参考图像的相对质量参数,所述参考图像为所述第二图像特征对应的图像。本申请可以无需提供高质量的参考图像,即可实现对第一目标图像的相对质量参数的客观评价,可减少人力标定成本,从而可以提高效率和准确性。
Description
技术领域
本申请涉及图像识别技术领域,特别涉及一种图像质量确定方法、装置、电子设备及存储介质。
背景技术
在众多自然场景下的图像识别任务中,例如,行人重识别、车辆分类或者文本识别等,低质量的第一目标图像必然会降低第一目标图像识别的准确性。因此,在通过第一目标图像进行图像识别任务之前,电子设备需要先确定第一目标图像的质量参数,在质量参数符合要求时,才通过该第一目标图像进行图像识别任务。
相关技术中,在确定第一目标图像的质量参数之前,电子设备先训练绝对质量评价模型。在对确定第一目标图像的质量参数时,电子设备直接将该第一目标图像输入该第一目标图像的绝对质量评价模型,得到该第一目标图像的质量参数。
以训练人脸图像的图像绝对质量评价模型为例;则电子设备训练该绝对质量评价模型的过程为:对于每个身份的人脸,用户挑选该身份对应的高质量的多个人脸参考图像,然后对于待确定质量参数的人脸图像,电子设备分别计算该人脸图像与该身份的多个人脸参考图像的相似度,将该相似度作为待确定质量参数的人脸图像的质量参数,将该质量参数进行归一化,通过该人脸图像和该人脸图像的质量参数进行模型训练,获取绝对质量评价模型。
相关技术中,用户挑选多个人脸参考图像的过程,较为耗费人力;同时,人工挑选参考图像时存在主观不确定性,并且图像质量不能保证,从而影响确定出的质量参数的效果。
发明内容
本申请实施例提供了一种图像质量确定方法、装置、电子设备及存储介质,能够提高效率以及准确性。所述技术方案如下:
根据本申请实施例的一方面,提供了一种图像质量确定方法,所述方法包括:
通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且所述多个第一目标图像为同一类别的目标对象的图像;
将所述多个第一图像特征合成第二图像特征;
根据所述多个第一图像特征与所述第二图像特征,确定所述多个第一目标图像相较于参考图像的相对质量参数,所述参考图像为所述第二图像特征对应的图像。
在一种可能的实现方式中,所述将所述多个第一图像特征合成第二图像特征,包括:
将所述多个第一图像特征输入初始神经网络模型中,得到第三图像特征,根据所述第三图像特征,识别所述目标对象,得到所述目标对象的第一识别标注信息,将第一识别标注信息作为监督信息,训练所述初始神经网络模型,得到神经网络模型;
将所述多个第一图像特征输入所述神经网络模型,得到所述第二图像特征。
在另一种可能的实现方式中,所述将所述多个第一图像特征输入所述神经网络模型,得到所述第二图像特征,包括:
将所述多个第一图像特征输入第一神经网络模型中,通过所述第一神经网络模型的多层全连接层,确定每个第一图像特征对应的第四图像特征,将每个第一图像特征对应的第四图像特征进行池化处理,得到所述第二图像特征;或者,
将所述多个第一图像特征输入第二神经网络模型中,通过所述第二神经网络模型的注意力网络层,确定每个第一图像特征对应的每个第二参考图像的第五图像特征,将每个第二参考图像的第五图像特征进行池化处理,得到所述第二图像特征。
在另一种可能的实现方式中,所述将所述多个第一图像特征合成第二图像特征之后,所述方法还包括:
根据所述多个第一目标图像的质量参数,确定损失函数;
根据所述损失函数,训练初始绝对质量评价模型,得到绝对质量评价模型;
当确定第二目标图像的绝对质量参数时,将所述第二目标图像输入所述绝对质量评价模型,得到所述第二目标图像的绝对质量参数。
在另一种可能的实现方式中,所述损失函数包括第一损失函数和第二损失函数;
所述根据所述多个第一目标图像的相对质量参数,确定损失函数,包括:
根据每个第一目标图像的相对质量参数和质量参数阈值之间的大小关系,确定第一损失函数;
根据每个第一目标图像的相对质量参数之间的大小关系,确定第二损失函数。
在另一种可能的实现方式中,所述根据每个第一目标图像的相对质量参数和质量参数阈值之间的大小关系,确定第一损失函数,包括:
根据所述多个第一目标图像的相对质量参数与质量参数阈值之间的大小关系,确定每个第一目标图像的第二识别标注信息,所述第一目标图像的第二识别标注信息用于表示通过所述第一目标图像进行目标对象的识别时的对错信息;
根据所述每个第一目标图像的第二识别标注信息和所述质量参数阈值,确定所述第一损失函数。
在另一种可能的实现方式中,所述根据每个第一目标图像的相对质量参数之间的大小关系,确定第二损失函数,包括:
对于任意两个第一目标图像;根据所述两个第一目标图像的相对质量参数之间的大小关系,确定第三识别标注信息,所述第三识别标注信息用于表示所述两个第一目标图像的相对质量参数之间的大小关系;
根据所述第三识别标注信息,确定所述第二损失函数。
在另一种可能的实现方式中,所述
根据所述损失函数,训练初始绝对质量评价模型,得到绝对质量评价模型,包括:
获取多个第三目标图像,所述多个第三目标图像为不同类别的目标对象的图像;
将所述多个第三目标图像输入初始绝对质量评价模型,得到每个第三目标图像的绝对质量参数;
根据每个第三目标图像的绝对质量参数和所述损失函数,训练所述初始绝对质量评价模型,得到所述绝对质量评价模型。
在另一种可能的实现方式中,所述根据所述多个第一图像特征与所述第二图像特征,确定所述多个第一目标图像相较于参考图像的相对质量参数,包括:
对于每个第一目标图像的第一图像特征,确定所述第一图像特征和所述第二图像特征之间的相似度,将所述相似度作为所述第一目标图像相较于所述参考图像的相对质量参数。
在另一种可能的实现方式中,所述通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征之前,所述方法还包括:
获取包括所述目标对象的多个第三目标图像;
从所述多个第三目标图像中截取所述目标对象所在位置的局部图像,得到所述多个第一目标图像。
根据本申请实施例的另一方面,提供了一种图像质量确定装置,所述装置包括:
特征确定模块,用于通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且所述多个第一目标图像为同一类别的目标对象的图像;
特征合成模块,用于将所述多个第一图像特征合成第二图像特征;
相对质量确定模块,用于根据所述多个第一图像特征与所述第二图像特征,确定所述多个第一目标图像相较于参考图像的相对质量参数,所述参考图像为所述第二图像特征对应的图像。
在一种可能的实现方式中,所述特征合成模块,用于将所述多个第一图像特征输入初始神经网络模型中,得到第三图像特征,根据所述第三图像特征,识别所述目标对象,得到所述目标对象的第一识别标注信息,将第一识别标注信息作为监督信息,训练所述初始神经网络模型,得到神经网络模型;将所述多个第一图像特征输入所述神经网络模型,得到所述第二图像特征。
在另一种可能的实现方式中,所述特征合成模块,用于将所述多个第一图像特征输入第一神经网络模型中,通过所述第一神经网络模型的多层全连接层,确定每个第一图像特征对应的第四图像特征,将每个第一图像特征对应的第四图像特征进行池化处理,得到所述第二图像特征;或者,
所述特征合成模块,用于将所述多个第一图像特征输入第二神经网络模型中,通过所述第二神经网络模型的注意力网络层,确定每个第一图像特征对应的每个第二参考图像的第五图像特征,将每个第二参考图像的第五图像特征进行池化处理,得到所述第二图像特征。
在另一种可能的实现方式中,所述装置还包括:
损失函数确定模块,用于根据所述多个第一目标图像的质量参数,确定损失函数;
模型训练模块,用于根据所述损失函数,训练初始绝对质量评价模型,得到绝对质量评价模型;
绝对质量确定模块,用于当确定第二目标图像的绝对质量参数时,将所述第二目标图像输入所述绝对质量评价模型,得到所述第二目标图像的绝对质量参数。
在另一种可能的实现方式中,所述损失函数包括第一损失函数和第二损失函数;
所述损失函数确定模块,用于根据每个第一目标图像的相对质量参数和质量参数阈值之间的大小关系,确定第一损失函数;根据每个第一目标图像的相对质量参数之间的大小关系,确定第二损失函数。
在另一种可能的实现方式中,所述损失函数确定模块,用于根据所述多个第一目标图像的相对质量参数与质量参数阈值之间的大小关系,确定每个第一目标图像的第二识别标注信息,所述第一目标图像的第二识别标注信息用于表示通过所述第一目标图像进行目标对象的识别时的对错信息;根据所述每个第一目标图像的第二识别标注信息和所述质量参数阈值,确定所述第一损失函数。
在另一种可能的实现方式中,所述损失函数确定模块,用于对于任意两个第一目标图像;根据所述两个第一目标图像的相对质量参数之间的大小关系,确定第三识别标注信息,所述第三识别标注信息用于表示所述两个第一目标图像的相对质量参数之间的大小关系;根据所述第三识别标注信息,确定所述第二损失函数。
在另一种可能的实现方式中,所述模型训练模块,还用于获取多个第三目标图像,所述多个第三目标图像为不同类别的目标对象的图像;将所述多个第三目标图像输入初始绝对质量评价模型,得到每个第三目标图像的绝对质量参数;根据每个第三目标图像的绝对质量参数和所述损失函数,训练所述初始绝对质量评价模型,得到所述绝对质量评价模型。
在另一种可能的实现方式中,所述相对质量确定模块,用于对于每个第一目标图像的第一图像特征,确定所述第一图像特征和所述第二图像特征之间的相似度,将所述相似度作为所述第一目标图像相较于所述参考图像的相对质量参数。
在另一种可能的实现方式中,所述装置还包括:
图像获取模块,用于获取包括所述目标对象的多个第三目标图像;从所述多个第三目标图像中截取所述目标对象所在位置的局部图像,得到所述多个第一目标图像。
根据本申请实施例的另一方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现上述任一可能实现方式所述的图像质量确定方法。
根据本申请实施例的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现上述任一可能实现方式所述的图像质量确定方法。
在本申请实施例中,通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且多个第一目标图像为同一类别的目标对象的图像;将多个第一图像特征合成第二图像特征;根据多个第一图像特征与第二图像特征,确定多个第一目标图像相较于参考图像的相对质量参数,参考图像为第二图像特征对应的图像。由于直接借助于已训练好的用于进行图像识别的图像识别模型进行相对质量参数的确定,无需提供高质量的参考图像,即可实现对第一目标图像的相对质量参数的客观评价,可减少人力标定成本,从而可以提高效率和准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种图像质量确定方法的流程图;
图3是本申请实施例提供的一种图像质量确定方法的流程图;
图4是本申请实施例提供的一种同一类型的车辆的多个第一目标图像的示意图;
图5是本申请实施例提供的一种确定第二图像特征的示意图;
图6是本申请实施例提供的另一种确定第二图像特征的示意图;
图7是本申请实施例提供的另一种确定第二图像特征的示意图;
图8是本申请实施例提供的一种训练绝对质量评价模型的示意图;
图9是本申请实施例提供的一种不同类别的车辆对应的四个图像的示意图;
图10是本申请实施例提供的一种图像质量确定装置的框图;
图11是本申请实施例提供的一种电子设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们的任意变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
图1是本申请实施例提供的一种实施环境的示意图。参见图1,该实施环境中包括图像采集设备101和电子设备102;图像采集设备101和电子设备102通过无线或者有线网络连接。
图像采集设备101用于采集多个第一目标图像,将多个第一目标图像传输至电子设备102。电子设备102用于确定多个第一目标图像的相对质量参数。
图像采集设备101可以为手机、平板电脑、电脑或者摄像头等任一具有图像采集功能的设备。电子设备102可以为终端或者服务器。
参见图2,电子设备101在确定多个第一目标图像的相对质量参数时,可以先通过预训练得到的图像识别模型,提取多个第一目标图像的第一图像特征,将多个第一目标图像的第一图像特征,合成第二图像特征;根据第一图像特征和第二图像特征,确定第一目标图像的相对质量参数,参考图像为第二图像特征对应的图像。
需要说明的一点是,电子设备101还可以借助于第一目标图像的相对质量参数,训练初始绝对质量评价模型,得到绝对质量评价模型,后续通过绝对质量评价模型确定图像的绝对质量参数。
图3是本申请实施例提供的一种图像质量确定方法的流程图。参见图3,该实施例包括:
301、电子设备获取多个第一目标图像。
多个第一目标图像为同一类别的目标对象的图像。目标对象可以为任一待识别的目标对象;例如,目标对象可以包括车辆、用户、动物、文本等中的多个。其中,第一目标图像可以为包含目标对象的局部图像,该局部图像为整幅图像中目标对象所在位置的局部图像。
在一种可能的实现方式中,第一目标图像为包含目标对象的局部图像;则本步骤可以为:电子设备获取包括目标对象的多个第三目标图像;从多个第三目标图像中截取目标对象所在位置的局部图像,得到多个第一目标图像。
例如,目标对象为车辆;则多个第一目标图像为同一车辆不同角度的图像,或者同一类型的车辆的多个图像;其中,同一类型的车辆可以为同一品牌的车辆,或者同一品牌的同一款车辆,或者外观相似的车辆(例如,均为轿车、均为越野车或者均为皮卡车),参见图4。
302、电子设备通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征。
该图像识别模型为事先训练的,用于进行图像识别的模型。例如,目标对象为车辆;则图像识别模型为车辆识别模型;再如,目标对象为用户,则图像识别模型为行人重识别模型;再如,目标对象为动物,则图像识别模型为动物识别模型;再如,目标对象为文本,则图像识别模型为文本识别模型。
在本步骤中,电子设备将多个第一目标图像依次输入图像识别模型中,输出每个第一目标图像的第一图像特征。例如,第一目标图像的数量为N,N为大于或者等于1的整数;电子设备将N个第一图像依次输入图像识别模型中,输出的N个第一图像特征分别为F1,F2,……FN。
在本申请实施例中,图像识别模型为事先训练的,用于进行图像识别的模型;因此,电子设备可以借助于事先训练好的模型进行图像质量的确定,不需要单独训练模型,从而降低了图像质量确定的难度。
303、电子设备将多个第一图像特征合成第二图像特征。
在本步骤中,电子设备需要先训练神经网络模型,借助于该神经网络模型,得到第二图像特征。其中,电子设备训练神经网络模型的步骤可以为:电子设备将多个第一图像特征输入初始神经网络模型中,得到第三图像特征,根据第三图像特征,预测该目标对象,得到目标对象的第一识别标注信息,将第一识别标注信息作为监督信息,训练初始神经网络模型,得到该神经网络模型。其中,电子设备根据第三图像特征,预测该目标对象的步骤可以为:电子设备根据第三图像特征,通过图像识别模型,预测该目标对象。其中,第一识别标注信息指示包括目标对象的类别,还可以包括其他额外的监督约束信息。在本申请实施例中,对第一识别标注信息不作具体限定。
电子设备在确定第二图像特征时,直接将多个第一图像特征输入该神经网络模型中,得到第二图像特征,例如参见图5。
其中,神经网络模型可以采用多种不同的结构,例如,神经网络模型包括两种结构,分别对应第一神经网络模型和第二神经网络模型。第一神经网络模型包括多层全连接层;第二神经网络模型包括注意力网络层。
相应的,电子设备将多个第一图像特征输入该神经网络模型中,得到第二图像特征可以通过以下两种实现方式实现;对于第一种实现方式,电子设备将多个第一图像特征输入该神经网络模型中,得到第二图像特征步骤可以为:
电子设备将多个第一图像特征输入第一神经网络模型中,通过第一神经网络模型的多层全连接层,确定多个第一图像特征对应的第四图像特征,将每个第一图像特征对应的第四图像特征进行池化处理,得到第二图像特征。其中,电子设备确定每个第一图像特征对应的第四图像特征的平均值,得到第二图像特征。
例如,参见图6,电子设备将同一类别的目标对象的N个第一目标图像的第一图像特征(分别为F1……FN)输入第一神经网络模型中,通过第一神经网络模型的多层全连接层,确定N个第四图像特征(分别为T1……TN),将N个第四图像特征进行平均池化,得到第二图像特征(为Ft)。
在本申请实施例中,电子设备通过第一神经网络中的多层全连接层,确定第二图像特征,操作简单,效率较高。
对于第二种实现方式,电子设备将多个第一图像特征输入该神经网络模型中,得到第二图像特征步骤可以为:
电子设备将多个第一图像特征输入第二神经网络模型中,通过第二神经网络模型的注意力网络层,确定每个第一图像特征对应的第五图像特征,将每个第二参考图像的第五图像特征进行池化处理,得到第二图像特征。
例如,参见图7,电子设备将同一类别的目标对象的N个第一目标图像的第一图像特征(分别为F1……FN)输入第一神经网络模型中,通过第一神经网络模型的注意力网络层(Scaled Dot-product Attention),确定N个第四图像特征(分别为T1……TN),将N个第四图像特征进行平均池化,得到第二图像特征(为Ft)。
在本申请实施例中,注意力网络层可以考虑不同图像特征之间的关联,进而合成得到每个第一目标图像所对应的参考图像特征,同样再通过平均池化操作获取第二图像特征Ft,从而提高准确性。
需要说明的一点是,在确定第二图像特征的时候,只要求第一目标图像为同一类别的多个图像,并不要求输入同一目标对象的多个第一目标图像。以目标对象为车辆为例;则多个第一目标图像可以均为某品牌的不同车辆所对应的多个图像;而多个第一目标图像可以不是同一辆某品牌车所对应的多个图像,从而对图像的要求较低,使用范围更广泛。
304、电子设备根据多个第一图像特征与第二图像特征,确定多个第一目标图像相较于参考图像的相对质量参数。
其中,参考图像为第二图像特征对应的图像,并且参考图像为包含该目标对象的高质量图像,可以利用该参考图像作为质量评价的标准。相对质量参数可以为任一用于评价图像质量的参数;例如,相对质量参数可以为相对质量分数等。对于每个第一目标图像的第一图像特征,电子设备确定第一图像特征和第二图像特征之间的相似度,将该相似度作为第一目标图像相较于参考图像的相对质量参数。
电子设备可以通过余弦相似度算法或者欧式距离算法,确定两个图像特征之间的相似度。在一种可能的实现方式中,电子设备通过余弦相似度算法确定两个图像特征之间的相似度,则对于任一第一目标图像,电子设备确定第一图像特征和第二图像特征之间的相似度的步骤可以为:电子设备根据第一图像特征和第二图像特征,通过以下公式一,确定第一图像特征和第二图像特征之间的相似度:
公式一:
其中,qi为第i个第一目标图像的第一图像特征Fi和第二图像特征Ft之间的相似度,i为第一目标图像的序号;“·”表示两个图像特征的点积;“*”表示两个图像特征的相乘,“||·||”表示两个图像特征的模值。
在另一种可能的实现方式中,电子设备通过欧式距离算法确定两个图像特征之间的相似度;则对于任一第一目标图像,电子设备确定第一图像特征和第二图像特征之间的欧式距离,将该欧式距离作为第一图像特征和第二图像特征之间的相似度。
需要说明的一点是,第一目标图像的第一图像特征与第二图像特征之间的相似度越大,则第一图像特征与第二图像特征越相似,则表示第一目标图像的质量越高;第一目标图像的第一图像特征与第二图像特征之间的相似度越小,则第一图像特征与第二图像特征差别越大,则表示第一目标图像的质量越低。
需要说明的另一点是,电子设备确定出第一目标图像相较于参考图像的相对质量参数之后,在第一目标图像的相对质量参数满足质量要求时,将第一目标图像输入图像识别模型中,识别出该第一目标图像中的目标对象。在第一目标图像的相对质量参数不满足质量要求时,可以丢弃该第一目标图像。
在一种可能的实现方式中,电子设备可以将第一目标图像的相对质量参数与第一质量参数阈值的大小关系,确定第一目标图像的相对质量参数是否满足质量要求。例如,若第一目标图像的相对质量参数大于第一质量参数阈值,确定第一目标图像的相对质量参数满足质量要求,也即第一目标图像为高质量的图像,可以进行图像识别。若第一目标图像的相对质量参数不大于第一质量参数阈值,确定第一目标图像的相对质量参数不满足质量要求,也即第一目标图像为低质量的图像,可以丢弃该第一目标图像。
在另一种可能的实现方式中,电子设备可以将多个第一目标图像按照百分比,确定第一目标图像的相对质量参数是否满足质量要求。例如,电子设备将多个第一目标图像的相对质量参数按照从大到小的顺序进行排序,将相对质量参数的排名在前预设比例的第一目标图像确定为满足质量要求的第一目标图像;将相对质量参数的排名不在前预设比例的第一目标图像确定为不满足质量要求的第一目标图像。
需要说明的另一点是,本申请实施例的方案提出了一种通用的目标图像质量评价方法,可较简单快速地泛化应用至多种自然场景下的图像识别领域;例如,行人、车辆或者文本等等。并且,本申请实施例在确定第一目标图像的相对质量参数时,无需提供高质量的参考图像,即可实现对第一目标图像的相对质量参数的客观评价,可减少人力标定成本。并且,目标图像的质量评价技术在图像识别领域有着巨大的应用潜力价值以及广泛的应用方向,可作为图像识别任务的预处理技术或后处理技术,提升识别任务的时间效率以及准确率,且本发明可应用于众多的图像识别场景中。
需要说明的另一点是,电子设备执行完步骤304可以直接结束。并且,步骤301-304可以确定出同一类别的目标对象的第一目标图像的相对质量参数,该相对质量参数只能代表该类别内的目标对象的第一目标图像的相对质量高低,无法衡量不同类别的目标对象对应的第二目标图像的图像质量高低。当需要确定不同类别的目标对象的第二目标图像的绝对质量参数时,则可以通过步骤305-307,训练用于衡量不同类别的目标对象的第二目标图像的绝对质量参数的绝对质量评价模型。
305、电子设备根据多个第一目标图像的质量参数,确定损失函数。
该损失函数用于进行绝对质量评价模型的模型训练。该损失函数包括第一损失函数和第二损失函数;本步骤可以通过以下步骤3051-3052实现,包括:
3051、电子设备根据每个第一目标图像的相对质量参数和第二质量参数阈值之间的大小关系,确定第一损失函数。
本步骤可以通过以下步骤(1)和(2)实现,包括:
(1)电子设备根据多个第一目标图像的相对质量参数与第二质量参数阈值之间的大小关系,确定每个第一目标图像的第二识别标注信息,第一目标图像的第二识别标注信息用于表示通过第一目标图像进行目标对象的识别时的对错信息。
考虑到高质量的第一目标图像有利于目标对象的正确识别,也即其识别结果往往是正确的;而低质量的第一目标图像不利于目标对象的正确识别,也即其识别结果往往是错误的。因此,电子设备可以根据第一目标图像的相对质量参数与第二质量参数阈值之间的大小关系,确定第二识别标注信息。其中,对于任一第一目标图像,若第一目标图像的相对质量参数大于第二质量参数阈值,电子设备确定第一目标图像的第二识别标识信息为第一数值。第一数值用于表示通过该第一目标图像进行目标对象识别的识别结果为正确的;例如,第一数值也可以为1。若第一目标图像的相对质量参数不大于第二质量参数阈值,电子设备确定第一目标图像的第二识别标注信息为第二数值。第二数值用于表示通过该第一目标图像进行目标对象识别的识别结果为错误的;例如,第二数值可以为0或者-1等。
(2)电子设备根据每个第一目标图像的第二识别标注信息和第二质量参数阈值,确定第一损失函数。
电子设备根据每个第一目标图像的第二识别标注信息、每个第一目标图像的相对质量参数、第二质量参数阈值,通过以下公式二,确定第一损失函数:
公式二:L1=relu(Δi*(Qi-thresh))
其中,L1为第一损失函数,relu为线性整流函数;Δi为第i个第一目标图像的第二识别标注信息,Qi为第i个第一目标图像的绝对质量分数,thresh为第二质量参数阈值。
需要说明的一点,以上公式二是一示例;电子设备可以对公式二进行任意变形,从而确定第一损失函数。
3052、电子设备根据每个第一目标图像的相对质量参数之间的大小关系,确定第二损失函数。
本步骤可以通过以下步骤(1)和(2)实现,包括:
(1)对于任意两个第一目标图像,电子设备根据两个第一目标图像的相对质量参数之间的大小关系,确定第三识别标注信息,第三识别标注信息用于表示两个第一目标图像的相对质量参数之间的大小关系。
电子设备在训练绝对质量评价模型时,需要保持同一类别的目标对象的多个第一目标图像间的绝对质量参数的高低与相对质量参数的高低是一致的。因此,以多个第一目标图像间的绝对质量参数作为监督信息设计第二损失函数。第二损失函数约束同一类别的目标对象的多个第一目标图像的绝对质量参数与其对应的相对质量参数,若按照质量参数大小排序,可以得到相同的排序结果。
相应的,本步骤可以为:
对于任意两个第一目标图像,例如第一目标图像m和第一目标图像n;若第一目标图像m的相对质量参数大于第一目标图像n的相对质量参数,则电子设备确定第三识别标注信息为第三数值。第三数值用于表示第一目标图像m的相对质量参数大于第一目标图像n的相对质量参数。例如,第三数值可以为1。若第一目标图像m的相对质量参数不大于第一目标图像n的相对质量参数,则电子设备确定第三识别标注信息为第四数值。第四数值用于表示第一目标图像m的相对质量参数不大于第一目标图像n的相对质量参数。例如,第四数值可以为-1或者0。
(2)电子设备根据第三识别标注信息,确定第二损失函数。
电子设备根据第三识别标注信息,通过以下公式三,确定第二损失函数:
公式三:L2=relu(δm,n*(Qm-Qn))
其中,L2为第二损失函数,δm,n为第三识别标注信息,Qm、Qn分别为第一目标图像m与第一目标图像n的绝对质量参数。
需要说明的一点,以上公式三是一示例;电子设备可以对公式三进行任意变形,从而确定第二损失函数。
306、电子设备根据该损失函数,训练初始绝对质量评价模型,得到绝对质量评价模型。
电子设备获取多个第三目标图像,将第三目标图像输入初始绝对质量评价模型,得到每个第三目标图像的绝对质量参数;根据每个第三目标图像的绝对质量参数和该损失函数,训练初始绝对质量评价模型,得到该绝对质量评价模型。其中,多个第三目标图像为不同类别的目标对象的图像。
例如,参见图8,多个第三目标图像包括类别1的W个第三目标图像和类别2的K个第三目标图像;类别1的W个第三目标图像分别为f1,1……f1,W。类别2的K个第三目标图像分别为f2,1……f2,k。电子设备将f1,1……f1,W和f2,1……f2,k输入初始绝对质量评价模型,得到W+K个第三目标图像的绝对质量参数分别为Q1,1……Q1,W以及Q2,1……Q2,K,根据Q1,1……Q1,W和Q2,1……Q2,K,通过第一损失函数和第二损失函数,训练初始绝对质量评价模型,得到绝对质量评价模型。其中,多个第三目标图像可以为图9所示的不同类别的车辆对应的四个图像。
需要说明的一点是,步骤305-306是训练绝对质量评价模型的过程,只需要执行一次即可;后续对目标图像进行质量检测时,不需要重复执行步骤305-306,直接执行步骤307即可。
307、当确定第二目标图像的绝对质量参数时,电子设备将第二目标图像输入绝对质量评价模型,得到第二目标图像的绝对质量参数。
需要说明的一点是,通过步骤305-306训练得到绝对质量评价模型后,只需要将任意待评分的单张第二目标图像输入绝对质量评价模型,即可输出第二目标图像对应的绝对质量参数,可以客观地评价任意(相同类别或者不同类别的目标对象)目标图像间的质量高低关系。
需要说明的另一点是,若第二目标图像的绝对质量参数大于第三参数阈值,则电子设备将第二目标图像输入图像识别模型中,确定第二目标图像中的目标对象。若第二目标图像的绝对质量参数不大于第三参数阈值,则电子设备确定第二目标图像为低质量图像,不可以进行图像识别,丢弃第二目标图像。
需要说明的另一点是,本申请实施例得到的绝对质量评价模型可直接与已有的图像识别模型合并,可简单快速地部署到已有的识别系统中。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
在本申请实施例中,通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且多个第一目标图像为同一类别的目标对象的图像;将多个第一图像特征合成第二图像特征;根据多个第一图像特征与第二图像特征,确定多个第一目标图像相较于参考图像的相对质量参数,参考图像为第二图像特征对应的图像。由于直接借助于已训练好的用于进行图像识别的图像识别模型进行相对质量参数的确定,无需提供高质量的参考图像,即可实现对第一目标图像的相对质量参数的客观评价,可减少人力标定成本,从而可以提高效率和准确性。
图10是本申请实施例提供的一种图像质量确定装置的框图。参见图10,该装置包括:
特征确定模块1001,用于通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且多个第一目标图像为同一类别的目标对象的图像;
特征合成模块1002,用于将所述多个第一图像特征合成第二图像特征;
相对质量确定模块1003,用于根据多个第一图像特征与第二图像特征,确定多个第一目标图像相较于参考图像的相对质量参数,参考图像为第二图像特征对应的图像。
在一种可能的实现方式中,特征合成模块1002,用于将多个第一图像特征输入初始神经网络模型中,得到第三图像特征,根据第三图像特征,识别目标对象,得到目标对象的第一识别标注信息,将第一识别标注信息作为监督信息,训练初始神经网络模型,得到神经网络模型;将多个第一图像特征输入神经网络模型,得到第二图像特征。
在另一种可能的实现方式中,特征合成模块1002,用于将多个第一图像特征输入第一神经网络模型中,通过第一神经网络模型的多层全连接层,确定每个第一图像特征对应的第四图像特征,将每个第一图像特征对应的第四图像特征进行池化处理,得到第二图像特征;或者,
特征合成模块1002,用于将多个第一图像特征输入第二神经网络模型中,通过第二神经网络模型的注意力网络层,确定每个第一图像特征对应的每个第二参考图像的第五图像特征,将每个第二参考图像的第五图像特征进行池化处理,得到第二图像特征。
在另一种可能的实现方式中,装置还包括:
损失函数确定模块,用于根据多个第一目标图像的质量参数,确定损失函数;
模型训练模块,用于根据损失函数,训练初始绝对质量评价模型,得到绝对质量评价模型;
绝对质量确定模块,用于当确定第二目标图像的绝对质量参数时,将第二目标图像输入绝对质量评价模型,得到第二目标图像的绝对质量参数。
在另一种可能的实现方式中,损失函数包括第一损失函数和第二损失函数;
损失函数确定模块,用于根据每个第一目标图像的相对质量参数和质量参数阈值之间的大小关系,确定第一损失函数;根据每个第一目标图像的相对质量参数之间的大小关系,确定第二损失函数。
在另一种可能的实现方式中,损失函数确定模块,用于根据多个第一目标图像的相对质量参数与质量参数阈值之间的大小关系,确定每个第一目标图像的第二识别标注信息,第一目标图像的第二识别标注信息用于表示通过第一目标图像进行目标对象的识别时的对错信息;根据每个第一目标图像的第二识别标注信息和质量参数阈值,确定第一损失函数。
在另一种可能的实现方式中,损失函数确定模块,用于对于任意两个第一目标图像;根据两个第一目标图像的相对质量参数之间的大小关系,确定第三识别标注信息,第三识别标注信息用于表示两个第一目标图像的相对质量参数之间的大小关系;根据第三识别标注信息,确定第二损失函数。
在另一种可能的实现方式中,模型训练模块,用于获取多个第三目标图像,多个第三目标图像为不同类别的目标对象的图像;将多个第三目标图像输入初始绝对质量评价模型,得到每个第三目标图像的绝对质量参数;根据每个第三目标图像的绝对质量参数和该损失函数,训练初始绝对质量评价模型,得到该绝对质量评价模型。
在另一种可能的实现方式中,相对质量确定模块1003,用于对于每个第一目标图像的第一图像特征,确定第一图像特征和第二图像特征之间的相似度,将相似度作为第一目标图像相较于参考图像的相对质量参数。
在另一种可能的实现方式中,装置还包括:
图像获取模块,用于获取包括目标对象的多个第三目标图像;从多个第三目标图像中截取目标对象所在位置的局部图像,得到多个第一目标图像。
在本申请实施例中,通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且多个第一目标图像为同一类别的目标对象的图像;将多个第一图像特征合成第二图像特征;根据多个第一图像特征与第二图像特征,确定多个第一目标图像相较于参考图像的相对质量参数,参考图像为第二图像特征对应的图像。由于直接借助于已训练好的用于进行图像识别的图像识别模型进行相对质量参数的确定,无需提供高质量的参考图像,即可实现对第一目标图像的相对质量参数的客观评价,可减少人力标定成本,从而可以提高效率和准确性。
需要说明的是:上述实施例提供的图像质量确定装置在上传多媒体文件时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像质量确定装置与图像质量确定方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
响应于该电子设备为服务器;图11是本申请实施例提供的一种电子设备的框图,该电子设备1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)1101和一个或一个以上的存储器1102,其中,存储器1102中存储有至少一条指令,至少一条指令由处理器1101加载并执行以实现上述各个方法实施例提供的图像质量确定方法。当然,该电子设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该电子设备还可以包括其他用于实现设备功能的部件,在此不做赘述。
在本申请实施例中,通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且多个第一目标图像为同一类别的目标对象的图像;将多个第一图像特征合成第二图像特征;根据多个第一图像特征与第二图像特征,确定多个第一目标图像相较于参考图像的相对质量参数,参考图像为第二图像特征对应的图像。由于直接借助于已训练好的用于进行图像识别的图像识别模型进行相对质量参数的确定,无需提供高质量的参考图像,即可实现对第一目标图像的相对质量参数的客观评价,可减少人力标定成本,从而可以提高效率和准确性。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,上述至少一条指令可由电子设备中的处理器执行以完成上述实施例中的图像质量确定方法。例如,计算机可读存储介质可以是ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory,只读光盘)、磁带、软盘和光数据存储设备等。
在本申请实施例中,通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且多个第一目标图像为同一类别的目标对象的图像;将多个第一图像特征合成第二图像特征;根据多个第一图像特征与第二图像特征,确定多个第一目标图像相较于参考图像的相对质量参数,参考图像为第二图像特征对应的图像。由于直接借助于已训练好的用于进行图像识别的图像识别模型进行相对质量参数的确定,无需提供高质量的参考图像,即可实现对第一目标图像的相对质量参数的客观评价,可减少人力标定成本,从而可以提高效率和准确性。
本申请还提供了一种计算机程序产品,计算机程序产品包括一个或多个计算机程序,计算机程序被处理器执行时,用于实现上述各个方法实施例提供的图像质量确定方法。
在本申请实施例中,通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且多个第一目标图像为同一类别的目标对象的图像;将多个第一图像特征合成第二图像特征;根据多个第一图像特征与第二图像特征,确定多个第一目标图像相较于参考图像的相对质量参数,参考图像为第二图像特征对应的图像。由于直接借助于已训练好的用于进行图像识别的图像识别模型进行相对质量参数的确定,无需提供高质量的参考图像,即可实现对第一目标图像的相对质量参数的客观评价,可减少人力标定成本,从而可以提高效率和准确性。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (11)
1.一种图像质量确定方法,其特征在于,所述方法包括:
通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且所述多个第一目标图像为同一类别的目标对象的图像;
将所述多个第一图像特征输入初始神经网络模型中,得到第三图像特征,根据所述第三图像特征,识别所述目标对象,得到所述目标对象的第一识别标注信息,将第一识别标注信息作为监督信息,训练所述初始神经网络模型,得到神经网络模型;
将所述多个第一图像特征输入所述神经网络模型,得到第二图像特征;
对于每个第一目标图像的第一图像特征,确定所述第一图像特征和所述第二图像特征之间的相似度,将所述相似度作为所述第一目标图像相较于参考图像的相对质量参数,所述参考图像为所述第二图像特征对应的图像。
2.根据权利要求1所述的方法,其特征在于,所述将所述多个第一图像特征输入所述神经网络模型,得到所述第二图像特征,包括:
将所述多个第一图像特征输入第一神经网络模型中,通过所述第一神经网络模型的多层全连接层,确定每个第一图像特征对应的第四图像特征,将每个第一图像特征对应的第四图像特征进行池化处理,得到所述第二图像特征;或者,
将所述多个第一图像特征输入第二神经网络模型中,通过所述第二神经网络模型的注意力网络层,确定每个第一图像特征对应的每个第二参考图像的第五图像特征,将每个第二参考图像的第五图像特征进行池化处理,得到所述第二图像特征。
3.根据权利要求1所述的方法,其特征在于,所述得到第二图像特征之后,所述方法还包括:
根据所述多个第一目标图像的质量参数,确定损失函数;
根据所述损失函数,训练初始绝对质量评价模型,得到绝对质量评价模型;
当确定第二目标图像的绝对质量参数时,将所述第二目标图像输入所述绝对质量评价模型,得到所述第二目标图像的绝对质量参数。
4.根据权利要求3所述的方法,其特征在于,所述损失函数包括第一损失函数和第二损失函数;
所述根据所述多个第一目标图像的相对质量参数,确定损失函数,包括:
根据每个第一目标图像的相对质量参数和质量参数阈值之间的大小关系,确定第一损失函数;
根据每个第一目标图像的相对质量参数之间的大小关系,确定第二损失函数。
5.根据权利要求4所述的方法,其特征在于,所述根据每个第一目标图像的相对质量参数和质量参数阈值之间的大小关系,确定第一损失函数,包括:
根据所述多个第一目标图像的相对质量参数与质量参数阈值之间的大小关系,确定每个第一目标图像的第二识别标注信息,所述第一目标图像的第二识别标注信息用于表示通过所述第一目标图像进行目标对象的识别时的对错信息;
根据所述每个第一目标图像的第二识别标注信息和所述质量参数阈值,确定所述第一损失函数。
6.根据权利要求4所述的方法,其特征在于,所述根据每个第一目标图像的相对质量参数之间的大小关系,确定第二损失函数,包括:
对于任意两个第一目标图像;根据所述两个第一目标图像的相对质量参数之间的大小关系,确定第三识别标注信息,所述第三识别标注信息用于表示所述两个第一目标图像的相对质量参数之间的大小关系;
根据所述第三识别标注信息,确定所述第二损失函数。
7.根据权利要求3所述的方法,其特征在于,所述根据所述损失函数,训练初始绝对质量评价模型,得到绝对质量评价模型,包括:
获取多个第三目标图像,所述多个第三目标图像为不同类别的目标对象的图像;
将所述多个第三目标图像输入初始绝对质量评价模型,得到每个第三目标图像的绝对质量参数;
根据每个第三目标图像的绝对质量参数和所述损失函数,训练所述初始绝对质量评价模型,得到所述绝对质量评价模型。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征之前,所述方法还包括:
获取包括所述目标对象的多个第三目标图像;
从所述多个第三目标图像中截取所述目标对象所在位置的局部图像,得到所述多个第一目标图像。
9.一种图像质量确定装置,其特征在于,所述装置包括:
特征确定模块,用于通过图像识别模型,确定待确定质量参数的多个第一目标图像的多个第一图像特征;其中,一个第一目标图像对应一个第一图像特征,且所述多个第一目标图像为同一类别的目标对象的图像;
特征合成模块,用于将所述多个第一图像特征输入初始神经网络模型中,得到第三图像特征,根据所述第三图像特征,识别所述目标对象,得到所述目标对象的第一识别标注信息,将第一识别标注信息作为监督信息,训练所述初始神经网络模型,得到神经网络模型;将所述多个第一图像特征输入所述神经网络模型,得到第二图像特征;
相对质量确定模块,用于对于每个第一目标图像的第一图像特征,确定所述第一图像特征和所述第二图像特征之间的相似度,将所述相似度作为所述第一目标图像相较于参考图像的相对质量参数,所述参考图像为所述第二图像特征对应的图像。
10.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1-8任一项所述的图像质量确定方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如权利要求1-8任一项所述的图像质量确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010431640.3A CN113781379B (zh) | 2020-05-20 | 2020-05-20 | 图像质量确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010431640.3A CN113781379B (zh) | 2020-05-20 | 2020-05-20 | 图像质量确定方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113781379A CN113781379A (zh) | 2021-12-10 |
CN113781379B true CN113781379B (zh) | 2024-03-19 |
Family
ID=78834159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010431640.3A Active CN113781379B (zh) | 2020-05-20 | 2020-05-20 | 图像质量确定方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113781379B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101982755B1 (ko) * | 2017-12-20 | 2019-05-27 | 고려대학교 산학협력단 | 항공 영상을 정합하는 방법 및 장치 |
CN109934275A (zh) * | 2019-03-05 | 2019-06-25 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110175990A (zh) * | 2019-05-17 | 2019-08-27 | 腾讯科技(深圳)有限公司 | 人脸图像质量判定方法、装置及计算机设备 |
CN110211119A (zh) * | 2019-06-04 | 2019-09-06 | 厦门美图之家科技有限公司 | 图像质量评估方法、装置、电子设备及可读存储介质 |
CN110866471A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 人脸图像质量评价方法及装置、计算机可读介质、通信终端 |
-
2020
- 2020-05-20 CN CN202010431640.3A patent/CN113781379B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101982755B1 (ko) * | 2017-12-20 | 2019-05-27 | 고려대학교 산학협력단 | 항공 영상을 정합하는 방법 및 장치 |
CN109934275A (zh) * | 2019-03-05 | 2019-06-25 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110175990A (zh) * | 2019-05-17 | 2019-08-27 | 腾讯科技(深圳)有限公司 | 人脸图像质量判定方法、装置及计算机设备 |
CN110211119A (zh) * | 2019-06-04 | 2019-09-06 | 厦门美图之家科技有限公司 | 图像质量评估方法、装置、电子设备及可读存储介质 |
CN110866471A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 人脸图像质量评价方法及装置、计算机可读介质、通信终端 |
Also Published As
Publication number | Publication date |
---|---|
CN113781379A (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108304435B (zh) | 信息推荐方法、装置、计算机设备及存储介质 | |
US11308334B2 (en) | Method and apparatus for integration of detected object identifiers and semantic scene graph networks for captured visual scene behavior estimation | |
CN108171207A (zh) | 基于视频序列的人脸识别方法和装置 | |
CN110851641B (zh) | 跨模态检索方法、装置和可读存储介质 | |
CN109271542A (zh) | 封面确定方法、装置、设备及可读存储介质 | |
CN110418204B (zh) | 基于微表情的视频推荐方法、装置、设备和存储介质 | |
CN112183166A (zh) | 确定训练样本的方法、装置和电子设备 | |
TWI776566B (zh) | 動作識別方法、電腦設備及電腦可讀儲存介質 | |
CN111814846B (zh) | 属性识别模型的训练方法、识别方法及相关设备 | |
CN111667001A (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
CN113408570A (zh) | 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端 | |
CN110059212A (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
CN109978058B (zh) | 确定图像分类的方法、装置、终端及存储介质 | |
CN114299546A (zh) | 识别宠物身份的方法、装置、存储介质及电子设备 | |
US8932229B2 (en) | Apparatus and method for real-time emotion recognition using heart rate variability | |
CN111046203A (zh) | 图像检索方法、装置、存储介质及电子设备 | |
Tsai et al. | Sentiment analysis of pets using deep learning technologies in artificial intelligence of things system | |
CN113378852A (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
CN113781379B (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
CN113033587A (zh) | 图像识别结果评估方法、装置、电子设备及存储介质 | |
EP3166021A1 (en) | Method and apparatus for image search using sparsifying analysis and synthesis operators | |
CN114255321A (zh) | 采集宠物鼻纹的方法、装置、存储介质及电子设备 | |
KR101720685B1 (ko) | 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법 | |
JPWO2019187107A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN113704623A (zh) | 一种数据推荐方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |