CN110188641A - 图像识别和神经网络模型的训练方法、装置和系统 - Google Patents

图像识别和神经网络模型的训练方法、装置和系统 Download PDF

Info

Publication number
CN110188641A
CN110188641A CN201910420357.8A CN201910420357A CN110188641A CN 110188641 A CN110188641 A CN 110188641A CN 201910420357 A CN201910420357 A CN 201910420357A CN 110188641 A CN110188641 A CN 110188641A
Authority
CN
China
Prior art keywords
reference picture
distance
data set
feature
picture feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910420357.8A
Other languages
English (en)
Other versions
CN110188641B (zh
Inventor
王塑
王泽荣
刘宇
赵俊杰
杜佳慧
肖�琳
程昌茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201910420357.8A priority Critical patent/CN110188641B/zh
Publication of CN110188641A publication Critical patent/CN110188641A/zh
Application granted granted Critical
Publication of CN110188641B publication Critical patent/CN110188641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像识别和神经网络模型的训练方法、装置、系统和可读存储介质。该方法包括:获取待识别图像;将待识别图像输入神经网络模型,输出待识别图像的目标图像特征;神经网络模型是基于属于多个训练数据集的各样本图像进行训练的,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;数据集特征距离为数据集类间特征距离或数据集类内特征距离;根据与神经网络模型对应的判定阈值,对目标图像特征进行图像识别处理,得到待识别图像的图像识别结果。针对不同数据集,采用本方法能够可以表现出较为均衡的图像识别性能。

Description

图像识别和神经网络模型的训练方法、装置和系统
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像识别和神经网络模型的训练方法、装置、系统和可读存储介质。
背景技术
目前人脸识别任务分为三类,人脸验证(验证多张人脸图像是否对应同一人)、人脸搜索(在多张底库人脸图像中查找与待识别人脸图像最相近的图像)和人脸图像聚类(将多张待识别人脸图像进行分类)。目前,流行的方法是通过训练深度网络模型将人脸图像转化为特征空间(feature空间)中的点后进行不同类型的人脸识别任务。在此基础上,人脸识别任务等价于训练一个好的深度网络模型,将待识别的人脸图像转化为特征空间中的点,即提取待识别的人脸图像的图像特征,依赖于所提取的图像特征进行人脸识别。
现在普遍使用的人脸识别模型一般可以通过分类损失和三元组损失等进行训练得到。以softmax loss(一种分类损失)为例,人脸识别模型的训练过程包括:采用初始人脸识别模型对各人脸训练图像进行特征提取处理,得到人脸训练图像的图像特征;将各人脸训练图像的图像特征输入softmax层,得到各人脸训练图像的预测分类概率,即人脸训练图像属于不同人的预测概率;计算各人脸训练图像的预测分类概率和分类标签之间的crossentropy(交叉熵损失),作为损失函数的值,并根据损失函数的值对初始人脸识别模型进行训练,得到训练后的人脸识别模型。
在上述人脸识别模型训练结束后,一般要对人脸识别模型进行性能测试。在测试过程中需要设定判定阈值;例如,两张人脸图像分别基于上述人脸识别模型提取出两个图像特征,当两个图像特征在特征空间中对应点之间的距离大于判定阈值时,则判定上述两张人脸图像对应同一人;当两个图像特征在特征空间中对应点之间的距离小于判定阈值时,则判定上述两张人脸图像对应不同的人。在实际测试过程中,为了使得人脸识别模型的性能测试更全面,往往采用不同的数据集对人脸识别模型进行测试。例如,不同数据集可以是包括黄种人的人脸图像的数据集、包括黑种人的人脸图像的数据集、包括白种人的人脸图像的数据集。
然而,当采用不同数据集对人脸识别模型进行测试的时候,上述人脸识别模型在不同数据集上存在显著的判定阈值差异;例如,由于黄种人的人脸图像可区分度更大,导致黄种人的图像特征差异更大;而黑种人的人脸图像较难区分,导致黑种人的图像特征更接近。如果各数据集均选用同一判定阈值,则上述人脸识别模型在一些特定的数据集上的误通过率(例如将不同的黄种人的图像识别为属于同一黄种人的概率)很低、误拒绝率(例如将同一黄种人的不同图片识别为属于不同黄种人的概率)很高,而在另一些数据集上误通过率很高(例如将不同的黑种人的图像识别为属于同一黑种人的概率)、误拒绝率(例如将同一黑种人的不同图片识别为属于不同黑种人的概率)很低。总之,针对不同数据集,传统模型存在性能不均衡的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够针对不同数据集的图像识别性能表现较为均衡的图像识别和神经网络模型的训练方法、装置、系统和可读存储介质。
第一方面,一种图像识别方法,包括:
获取待识别图像;
将所述待识别图像输入神经网络模型,输出所述待识别图像的目标图像特征;所述神经网络模型是基于属于多个训练数据集的各样本图像进行训练的,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;所述数据集特征距离为数据集类间特征距离或数据集类内特征距离,所述数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,所述数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离;
根据与所述神经网络模型对应的判定阈值,对所述目标图像特征进行图像识别处理,得到所述待识别图像的图像识别结果。
第二方面,一种神经网络模型的训练方法,包括:
获取属于多个训练数据集的各样本图像;各所述样本图像分别标注有类别标签和数据集标签;
将各所述训练样本图像输入初始神经网络模型,得到各所述训练样本图像的参考图像特征;
根据各所述参考图像特征,以及各所述参考图像特征对应的类别标签和数据集标签,计算所述初始神经网络模型的损失函数的值;
根据所述损失函数的值,对所述初始神经网络模型的待训练参数进行调整,得到所述神经网络模型;
其中,当所述初始神经网络模型训练完成时,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;所述数据集特征距离为数据集类间特征距离或数据集类内特征距离,所述数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,所述数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离。
第三方面,一种图像识别装置,包括:
图像获取模块,用于获取待识别图像;
特征提取模块,用于将所述待识别图像输入神经网络模型,输出所述待识别图像的目标图像特征;所述神经网络模型是基于属于多个训练数据集的各样本图像进行训练的,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;所述数据集特征距离为数据集类间特征距离或数据集类内特征距离,所述数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,所述数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离;
图像识别模块,用于根据与所述神经网络模型对应的判定阈值,对所述目标图像特征进行图像识别处理,得到所述待识别图像的图像识别结果。
第四方面,一种神经网络模型的训练装置,包括:
样本图像获取模块,用于获取属于多个训练数据集的各样本图像;各所述样本图像分别标注有类别标签和数据集标签;
样本特征提取模块,用于将各所述训练样本图像输入初始神经网络模型,得到各所述训练样本图像的参考图像特征;
损失函数计算模块,用于根据各所述参考图像特征,以及各所述参考图像特征对应的类别标签和数据集标签,计算所述初始神经网络模型的损失函数的值;
神经网络训练模块,用于根据所述损失函数的值,对所述初始神经网络模型的待训练参数进行调整,得到所述神经网络模型;
其中,当所述初始神经网络模型训练完成时,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;所述数据集特征距离为数据集类间特征距离或数据集类内特征距离,所述数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,所述数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离。
第五方面,一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面提供的图像识别方法,也可以实现第二方面提供的神经网络模型的训练方法。
第六方面,一种图像识别系统,包括拍摄装置和计算机设备;所述拍摄装置用于拍摄获取待识别图像,并将所述待识别图像发送给所述计算机设备进行图像识别;所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面提供的图像识别方法,也可以实现第二方面提供的神经网络模型的训练方法。
上述图像识别和神经网络模型的训练方法、装置、系统和可读存储介质,因为神经网络模型的约束条件为任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值,则训练得到的神经网络模型可以在处理不同测试数据集的测试图像时,实现控制不同测试数据集对应的数据集特征距离接近的效果;相应地,当数据集特征距离为数据集类间特征距离时,因为数据集对应的类间特征距离与该数据集对应的误接受率负相关,因此神经网络模型针对不同数据集的误接受率较为均衡;相应地,当数据集特征距离为数据集类内特征距离时,因为数据集对应的类内特征距离与该数据集对应的误拒绝率正相关,因此神经网络模型针对不同数据集的误拒绝率较为均衡。特别地,若各数据集对应的数据集特征距离的计算方式相同,当数据集特征距离为数据集类间特征距离时,各数据集对应的误接受率接近或相等,当数据集特征距离为数据集类内特征距离时,各数据集对应的误拒绝率接近或相等;即神经网络模型针对不同数据集的性能非常均衡。总之,针对不同数据集,本实施例的图像识别方法可以表现出较为均衡的图像识别性能。
附图说明
图1为一个实施例中图像识别方法的应用环境图;
图2a为一个实施例中图像识别方法的流程示意图;
图2b为不同数据集对应的数据集类间特征距离和数据集类内特征距离的示意图;
图3a为一个实施例中距离变换处理的流程示意图;
图3b为一种特征提取网络的示意图;
图3c为一个实施例中神经网络模型的结构示意图;
图3d为一个实施例中属于不同数据集的图像特征在经过距离变换处理后在特征空间中的示意图;
图4a为一个实施例中属于不同数据集的图像特征在经过距离变换处理后在特征空间中的示意图;
图4b为一个实施例中归一化处理和距离变换处理的流程示意图;
图4c为一个实施例中属于不同数据集的图像特征在经过归一化处理和距离变换处理后在特征空间中的示意图;
图5为一个实施例中神经网络模型的训练方法的流程示意图;
图6为一个实施例中样本类间特征距离的计算流程示意图;
图7为一个实施例中样本类内特征距离的计算流程示意图;
图8为一个实施例中神经网络模型的训练方法的流程示意图;
图9为一个实施例中图像识别装置的结构框图;
图10为一个实施例中神经网络模型的训练装置的结构框图;
图11为一个实施例中图像识别系统的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的图像识别方法,可以但不限于应用于如图1所示的应用环境中。其中,拍摄装置12可以获取待识别对象的待识别图像,并将待识别图像发送给计算机设备11;计算机设备11可以对从待识别图像中提取出目标图像特征,并根据该目标图像特征进行图像验证、图像搜索、图像聚类等图像识别处理。其中,计算机设备11可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、服务器等。
在一个实施例中,如图2a所示,提供了一种图像识别方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
S201,获取待识别图像。
上述待识别图像可以是计算机设备接收到的其它设备发送的待识别图像,如拍摄装置、其它计算机设备等,也可以是计算机设备本地存储的待识别图像,或者是其它来源的待识别图像;总之,计算机设备需要对从该待识别图像中提取出图像特征,然后基于该图像特征对该待识别图像进行识别,应用场景可以但不限于是身份认证、刷脸支付、图像相似度比对等图像识别任务的场景。
其中,图像识别可以包括但不限于:图像验证(验证多张目标人脸图片是否对应同一对象)、图像搜索(在多张目标图像中查找与查询图像最相近的图像)和图像聚类(将多张目标图像进行分类)。待识别对象可以包括但不限于:人、花卉、场景、物品等。
当然,在S201之后,本实施例还可以对待识别图像进行各种类型的预处理,然后才将预处理后的待识别图像输入神经网络模型中;各种类型的预处理包括但不限于以下内容中的至少一种:图像减去均值的处理、对感兴趣区域的图像提取(例如通过人脸识别从待识别图像中提取出脸部图像,甚至进一步地提取出脸部图像中的关键点区域的图像,如眼睛图像、鼻子图像等)、批归一化处理等;本实施例对此并不限制。
S202,将待识别图像输入神经网络模型,输出待识别图像的目标图像特征;神经网络模型是基于属于多个训练数据集的各样本图像进行训练的,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;数据集特征距离为数据集类间特征距离或数据集类内特征距离,数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离。
需要着重说明的是,待识别图像可以来源于不同的测试数据集,但无需预先确定待识别图像对应的测试数据集的数据集标签;相应地,本实施例中的神经网络模型也是根据不同训练数据集进行训练得到的。需要说明的是,在所有训练数据集的数据集标签中可以包括所有测试数据集的数据集标签;一般情况下,各测试数据集和各训练数据集是一一对应的,对应的测试数据集和训练数据集存在相同的数据集标签。在本实施例中,如无特殊说明,则对数据集的描述可以适于训练数据集,也可以适于测试数据集。
例如,当图像识别对应人时,不同数据集可以为不同肤色人种的图像组成的数据集,每一个数据集对应一个肤色人种(数据集标签),则类别可以为人的身份(确定为某人),例如黄种人数据集、白种人数据集、黑种人数据集等,本实施例的图像识别方法可以对不同肤色人种的待识别图像进行识别,例如可以识别该待识别图像对应路人甲。例如,当图像识别对应花卉时,不同数据集可以为不同花卉科的图像组成的数据集,每一个数据集对应一个花卉科(数据集标签),例如兰科数据集、蔷薇科数据集、菊科数据集、忍冬科数据集,则类别可以为花的品种,本实施例的图像识别方法可以对不同花卉科的待识别图像进行识别,例如可以识别该待识别图像对应玫瑰花(属于蔷薇科)。
可以理解的是,从另一角度来看,类别可以看作为对不同数据集中的各图像进行分类时的分类类别,是数据集这一粒度级的细分粒度级。另外需要说明的是,不同数据集对应的类别可以不存在交集;但在实际应用中,可以存在某一类别既可以属于某一数据集,又可以属于另一数据集的情况;总之,本实施例对此并不限制。
上述数据集类间特征距离可以表征属于同一数据集且在特征空间上属于不同类别的各特征点之间的分散程度,可以为属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,或者属于同一数据集且在特征空间上属于不同类别的各特征点之间的距离的最大值、平均值、中位值、最小值等特征值;数据集类间特征距离越小,分散程度越小;数据集类间特征距离越大,分散程度越大。相应地,上述数据集类内特征距离可以表征属于同一数据集且在特征空间上属于同一类别的各特征点之间的聚集程度,可以为属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离,或者属于同一数据集且在特征空间上属于同一类别的各特征点之间的距离的最大值、平均值、中位值、最小值等特征值;数据集类内特征距离越小,聚集程度越大;数据集类内特征距离越大,聚集程度越小。
可以理解的是,属于同一类别的各图像特征在特征空间中的特征点需要尽可能趋于聚集,属于不同类别的各图像特征在特征空间中的特征点需要尽可能趋于分散,因此,各数据集分别对应的数据集类间特征距离越大越好,各数据集分别对应的数据集类内特征距离越小越好。此外,明显地,同一数据集对应的数据集类间特征距离大于同一数据集对应的数据集类内特征距离。
需要说明的是,针对某一数据集,对该数据集而言,当属于该数据集的两个图像特征之间的距离大于或等于判定阈值时,一般可以判定这两个图像特征属于不同类别;当属于该数据集的两个图像特征之间的距离小于判定阈值时,一般可以判定这两个图像特征属于同一类别。
当该数据集对应的类间特征距离越大时,该数据集中属于不同类别的各图像特征在特征空间中的特征点之间的距离较大,因此属于该数据集且属于不同类别的两个图像特征之间的距离小于判定阈值的概率较小,因此判定这两个图像特征属于同一类别的概率较小,即误接受率较小;因此数据集对应的类间特征距离与该数据集对应的误接受率负相关。相应地,当该数据集对应的类内特征距离越小时,该数据集中属于同一类别的各图像特征在特征空间中的特征点之间的距离较小,因此属于该数据集且属于同一类别的两个图像特征之间的距离大于或等于判定阈值的概率较小,因此判定这两个图像特征属于不同类别的概率较小,即误拒绝率较小;因此数据集对应的类内特征距离与该数据集对应的误拒绝率正相关。一般地,误接受率和误拒绝率都较小,如对于人脸识别支付场景的误接受率为0.0001%以内,误拒绝率为2%以内;对解锁场景的误接受率为0.001%以内。
参照图2b所示,示出了不同数据集对应的数据集类间特征距离和数据集类内特征距离的示意图。其中,参考点可以为特征空间中的原点,多维球可以为特征空间中的单位向量的示意图。针对数据集A和数据集B,为简单说明,数据集A包括三个图像,这三个图像的图像特征分别对应特征空间中A1、A2、A3三个特征点;数据集B包括包括三个图像,这三个图像的图像特征分别对应特征空间中B1、B2、B3三个特征点。需要说明的是,如果采用常规的神经网络模型对数据集中的图像进行特征提取,则上述A1、A2、A3三个特征点,以及B1、B2、B3三个特征点在特征空间中的位置可能如图2b所示。可以理解的是,若A1和A3为同一类别,A2为另一类别,则A数据集对应的数据集类内特征距离可以为A_1,数据集类间特征距离可以为A_0;相应地,若B1和B2为同一类别,B3为另一类别,则B数据集对应的数据集类内特征距离可以为B_1,数据集类间特征距离可以为B_0。此处仅是简单示例,实际并不限制各数据集中图像数目以及类别数目。
示例性地,在进行测试时,假设判定阈值选取A_0,则对属于数据集A的各测试图像而言,属于同一类别的各测试图像特征之间的距离大于判定阈值的概率较小,即误拒绝率较低;而对于数据集B而言,因为数据集B对应的数据集类内特征距离B_1大于A_0,因此对属于数据集B的各测试图像而言,属于同一类别的各测试图像特征之间的距离大于判定阈值的概率较大,即误拒绝率较高。即如果采用常规的神经网络模型,则针对数据集A和数据集B而言,误拒绝率相差较大。同样地,还可能存在针对不同数据集的误接受率相差较大的情况,这里不再赘述。
而如果采用本实施例中的神经网络模型,因为数据集对应的类间特征距离与该数据集对应的误接受率负相关,数据集对应的类内特征距离与该数据集对应的误拒绝率正相关,因此可以根据实际的性能需求,在通过多个训练数据集的各样本图像对神经网络模型进行训练时,通过对训练数据集对应的数据集特征距离进行约束,使得训练得到的神经网络模型可以在处理不同测试数据集的测试图像时,实现对不同测试数据集对应的数据集特征距离的相应约束,以实现对不同数据集的误接受率的控制,和/或,对不同数据集的误拒绝率的控制。
其中,预设阈值用于约束任意两个训练数据集对应的数据集特征距离之间的差值,实现各训练数据集对应的数据集特征距离尽可能接近的约束条件,因此预设阈值可以根据实际需求和经验来设定,甚至可以动态设定;可以通过对各训练数据集对应的数据集特征距离进行统计得到,例如在训练到一定阶段(如每50步、每100步等)过程中,计算各训练数据集对应的当前数据集特征距离的平均值,将平均值的q倍作为预设阈值,当满足上述约束条件时可以认为神经网络模型训练完成;其中,q为小于1的正数,例如可以为0.1、0.2、0.3、0.5等。同样地,预设阈值可以仅用于实现上述约束,而没有一个确切的定值,对于后续采用特征距离变换损失在内的损失函数训练得到的神经网络模型而言,该约束条件可以自动满足,具体见后续描述。同样地,当训练数据集对应的数据集特征距离之间的方差小于预设方差阈值时,同样可以认为实现了上述约束条件。
因为约束条件为任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值,则训练得到的神经网络模型可以在处理不同测试数据集的测试图像时,实现控制不同测试数据集对应的数据集特征距离接近的效果;相应地,当数据集特征距离为数据集类间特征距离时,因为数据集对应的类间特征距离与该数据集对应的误接受率负相关,因此神经网络模型针对不同数据集的误接受率较为均衡;相应地,当数据集特征距离为数据集类内特征距离时,因为数据集对应的类内特征距离与该数据集对应的误拒绝率正相关,因此神经网络模型针对不同数据集的误拒绝率较为均衡。
特别地,若各数据集对应的数据集特征距离的计算方式相同,当数据集特征距离为数据集类间特征距离时,各数据集对应的误接受率接近或相等,当数据集特征距离为数据集类内特征距离时,各数据集对应的误拒绝率接近或相等;即神经网络模型针对不同数据集的性能非常均衡。
当然,本实施例的神经网络模型的性能还可以采用除误拒绝率和误接受率以外的其它指标进行衡量,但相应地,其它指标同样与数据集特征距离相关,因此本实施例同样适用,因此不再赘述。
其中,神经网络模型可以对待识别图像进行特征提取处理,提取出目标图像特征,目标图像特征可以是张量、矩阵或者是矢量的形式;该神经网络模型可以为任意能够进行特征提取处理的神经网络,如VGG(Visual Geometry Group Network,视觉几何组网络),Res Net(残差神经网络),Mobile Net(一种基于深度可分离卷积的轻量化卷积神经网络),MobileNet_v2(针对Mobile Net的改进的轻量化卷积神经网络),Shuffle Net(洗牌网络)等。
在一种实施方式中,该神经网络模型的损失函数可以包括:各训练数据集对应的数据集特征距离之间的损失;示例性地,各训练数据集对应的数据集特征距离之间的损失为各训练数据集对应的数据集特征距离的方差;基于该损失函数可以实现对神经网络模型的训练。当然,为了提高提取出的图像特征的准确性,一般地,损失函数还可以包括分类损失、三元组损失等其它损失,这里不再赘述。
S203,根据与神经网络模型对应的判定阈值,对目标图像特征进行图像识别处理,得到待识别图像的图像识别结果。
在测试过程中,可以采用不同的待定的判定阈值获得不同测试数据集在测试过程中测试得到的误接受率和误拒绝率等性能指标,选取满足性能要求的统一的一个判定阈值。可以理解的是,如果通过不同数据集选用不同的判定阈值,则需要针对不同数据集在测试过程中分别选取适配的判定阈值,而且在使用过程中需要增加识别待处理图像属于哪个数据集的处理过程,神经网络模型同样需要增加相应处理逻辑,会增加工作量并带来诸多不便。
示例性性,不同类型的图像识别处理任务均可以根据提取出的目标图像特征进行。图像验证任务等价于计算特征空间中多张图像在特征空间中的对应点之间的距离是否小于判定阈值,例如待识别图像的目标图像特征与底库图像特征之间的距离是否小于判定阈值;图像识别任务等价于在特征空间中从多张图像的对应点中寻找与查询图像对应点距离最近的点,例如从多张底库图像的图像特征中查找与待识别图像的目标图像特征距离最近的图像特征对应的底库图像;图像聚类任务则等价于使用诸如k-means方法的聚类算法来对特征空间中的点进行聚类,例如对多个待识别图像对应的多个目标图像特征进行聚类,待识别图像的分类类别为该待识别图像的目标图像特征的分类类别;也可以在聚类时将相互之间距离小于判定阈值的多个待识别图像划分为一类。当然,上述图像的图像特征均可以采用本实施例的神经网络模型从该图像中提取得到。
总之,在本实施例的图像识别方法中,因为神经网络模型的约束条件为任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值,则训练得到的神经网络模型可以在处理不同测试数据集的测试图像时,实现控制不同测试数据集对应的数据集特征距离接近的效果;相应地,当数据集特征距离为数据集类间特征距离时,因为数据集对应的类间特征距离与该数据集对应的误接受率负相关,因此神经网络模型针对不同数据集的误接受率较为均衡;相应地,当数据集特征距离为数据集类内特征距离时,因为数据集对应的类内特征距离与该数据集对应的误拒绝率正相关,因此神经网络模型针对不同数据集的误拒绝率较为均衡。特别地,若各数据集对应的数据集特征距离的计算方式相同,当数据集特征距离为数据集类间特征距离时,各数据集对应的误接受率接近或相等,当数据集特征距离为数据集类内特征距离时,各数据集对应的误拒绝率接近或相等;即神经网络模型针对不同数据集的性能非常均衡。总之,针对不同数据集,本实施例的图像识别方法可以表现出较为均衡的图像识别性能。
参照图3a所示,以神经网络模型包括特征提取网络和距离变换网络为例,示出了一种神经网络模型从待识别图像中提取出目标图像特征的具体过程,即S202可以包括:
S301,将待识别图像输入特征提取网络进行特征提取处理,得到待识别图像的参考图像特征。
本实施例的构思是:基于特征提取网络对待识别图像进行特征提取处理得到参考图像特征后,再对参考图像特征进行距离变换处理,使得距离变换处理后得到的目标图像特征能够满足:本实施例对待处理图像所属的数据集对应的数据集特征距离的约束。
S302,将参考图像特征输入距离变换网络,计算参考图像特征对应的距离变换系数,以及根据距离变换系数,对参考图像特征进行距离变换处理,输出距离变换处理后得到的目标图像特征。
示例性地,参照图3b所示,示出了一种网络G(特征提取网络)的结构示意图,网络G可以包括:至少一个卷积层(CNN)和至少一个全连接层(FC),卷积层可以对输入的待识别图像进行卷积处理,提取出不同深度层次的图像特征,不同深度层次的图像特征至少可以表示为(C,H,W)三维数据的形式,其中C为图像通道数,H为像素高度,W为像素宽度;全连接层可以对不同深度层次的图像特征进行全连接处理,得到参考图像特征。相应地,网络G可以基于不同训练数据集的各样本图像训练得到,可以作为上述S201-S203中的神经网络模型的结构。
而在本实施例中,参照图3c所示,示出了本实施例的神经网络模型的结构示意图,在网络G的基础上增加了网络D(距离变换网络);可以理解的是,网络G可以实现上述S301的特征提取处理过程,网络D的输入为网络G的输出(即参考图像特征),可以实现上述S302的距离变换处理过程。示例性地,网络D可以包括:全连接层和距离变换处理层;其中,全连接层对应距离函数,可以对输入至全连接层的参考图像特征进行全连接处理,输出该参考图像特征对应的距离变换系数;距离变换处理层的输入为该参考图像特征和该参考图像特征对应的距离变换系数,输出为该参考图像特征和该距离变换系数的乘积结果(相当于对该参考图像特征进行了缩放处理),作为距离变换处理后得到的目标图像特征。
当然,上述距离变换系数的计算也可以通过如下方式:根据上述参考图像特征,计算缩放比例的变化量;将上述缩放比例的变换量加1,得到距离变换系数。此外,在实际应用中,距离函数并不限定于采用单一的全连接层来实现,还可以采用多个全连接层,或者采用卷积层+全连接层来实现,或者采用稀疏连接层或者其它方式。总之,本实施例对此并不限制。
参照图3d所示,在上述图2b的基础上,同样示出了A1、A2、A3、B1、B2、B3等参考图像特征在特征空间中的特征点;为简单说明,假设A1、A2、A3对应的距离变换系数均为1,因此A1、A2、A3在距离变换处理后在特征空间中的位置未发生变化;而B1、B2、B3分别对应的距离变换系数小于1,因此在距离变换处理后在特征空间中的位置发生变化,分别如图中的B1’、B2’、B3’所示。因此,如果约束条件为:任意两个训练数据集对应的数据集类内特征距离之间的差值小于预设阈值,则在距离变换处理后,数据集B对应的数据集类内特征距离B_1’与A_1接近,则数据集B对应的数据集类内特征距离B_1’必然小于A_0;因此当同样将判定阈值选取为A_0时,而对于数据集B而言,因为数据集B对应的数据集类内特征距离B_1’小于A_0,因此对属于数据集B的各测试图像而言,属于同一类别的各测试图像特征之间的距离大于判定阈值的概率较小,即误拒绝率同样较低。即当采用同一判定阈值时,神经网络模型针对数据集A和数据集B的误拒绝率同样较低。
总之,本实施例通过简单的距离变换系数对参考图像特征进行了距离变换处理,而距离变换系数是可以通过在神经网络模型的距离变换网络中输入参考图像特征计算得到的,因为神经网络模型中的参数是不断训练得到的,因此相应地,训练好的神经网络模型可以针对输入的待识别图像提取出其参考图像特征,并根据参考图像特征计算出适当的距离变换系数,使得经过距离变换系数距离变换处理得到的目标图像特征能够满足:对待处理图像所属的数据集对应的数据集特征距离的约束,从而针对多个来源于不同数据集的待处理图像,可以实现针对不同数据集的图像识别性能的均衡控制。
需要说明的是,在本实施例中,距离变换系数相当于是参考图像特征的函数,而目标图像特征为参考图像特征和距离变换系数的乘积结果,因此目标图像特征相当于是参考图像特征的函数,参考图像特征可以表示为多维向量,具有确定的模值和方位角,而目标图像特征体现为特征空间中的特征点的位置,因此距离变换系数与参考图像特征的模值和方位角均相关,特征空间中特征点的位置与参考图像特征的模值和方位角均相关。
然而,参照图4a所示,当数据集A的各特征点和数据集B的各特征点在特征空间中所处方位接近,即数据集A和数据集B对应的各参考图像特征的方位角接近时;一般地,数据集A对应的各参考图像特征的模值和数据集B对应的各参考图像特征的模值一般是不同的,因此存在这样的场景:数据集A的各特征点和数据集B的各特征点在特征空间中所处方位接近,但与参考点的距离相差较大,可以区分开来。但是,因为距离变换系数与参考图像特征的模值和方位角均相关,因此数据集A对应的各变换系数与数据集B对应的各距离变换系数相差较大,因此在距离变换处理后,可能存在如下场景:数据集A的各特征点和数据集B的各特征点在特征空间中所处方位接近,且与参考点的距离相差较小,难以区分开来。如图4a中,为了简单说明,假设数据集A对应的各距离变换系数均为1,而数据集B对应的各距离变换系数均小于1,则可能在距离变换处理后,数据集A在特征空间中的特征点A1、A2、A3与数据集B在特征空间中的特征点B1’、B2’、B3’混杂在一起,甚至A2和B3’之间的距离小于A_1且小于B_1’,这些并不符合实际情况,因为A2和B3’属于不同数据集且属于不同类别,可能导致在后续图像识别过程中出现错误识别的情况。
参照图4b所示,为了避免上述不利情况的出现,可以在计算距离变换系数之前对参考图像特征进行归一化处理,以距离变换网络包括至少一个全连接层为例,具体地,上述S302可以包括:
S401,对参考图像特征进行归一化处理,得到归一化处理后的参考图像特征。
示例性地,参考图像特征可以表现为多维向量的形式,进行归一化处理过程可以包括:计算参考图像特征对应的多维向量的模值;计算上述参考图像特征对应的多维向量与上述模值的商,作为归一化处理后的参考图像特征。
S402,对归一化处理后的参考图像特征输入至少一个全连接层进行全连接处理,得到参考图像特征对应的距离变换系数。
可以理解的是,归一化处理后的各参考图像特征的模值均相等,因此根据归一化处理后的参考图像特征计算得到的距离变换系数,仅与参考图像特征的方位角相关。其它参照上述S302的描述,这里不再赘述。其中,距离变换网络中用于计算距离变换系数的全连接层可以为一层,也可以为多层;在实际应用中,距离变换网络还可以包括激活层等,可以在输入全连接层之前,先对归一化处理后的参考图像特征进行激活处理等,再将激活处理后的结果输入全连接层中;总之,本实施例对此并不限制。
S403,根据距离变换系数,对归一化处理前的参考图像特征进行距离变换处理,得到距离变换处理后得到的目标图像特征。
参照图4c所示,当数据集A和数据集B对应的各参考图像特征的方位角接近时,数据集A和数据集B对应的各距离变换系数接近,则在距离变换处理后,数据集A和数据集B的各特征点在特征空间中相当于进行了等比例的缩放,则对原来相距较远的数据集A和数据集B而言,在距离变换处理后,数据集A在特征空间中的特征点A1’、A2’、A3’与数据集B在特征空间中的特征点B1’、B2’、B3’仍然存在较大间距,而不会出现在距离变换处理后混杂在一起的情况。其它同样参照上述S302的描述,这里不再赘述。
在本实施例中,在计算距离变换系数之前对参考图像特征进行归一化处理,使得不同参考图像特征的模值相等,进行通过归一化处理后的参考图像特征计算得到距离变换系数,使得距离变换系数仅与参考图像特征的方位角相关,则当任意两个数据集对应的各参考图像特征的方位角接近时,这两个数据集对应的各距离变换系数接近,因此在距离变换处理后,这两个数据集的各特征点在特征空间中相当于进行了等比例的缩放,而不会出现原来相距较远的两个数据集的各特征点在距离变换处理后混杂在一起的情况,因此避免了上述不利情况的出现,提高了图像识别方法的稳定性。
可以理解的是,对于上述图3a和图4b所示的两种实施例而言,神经网络模型均可以采用包括各训练数据集对应的数据集特征距离之间的损失在内的损失函数训练得到。同样地,此处公开了另一个实施例,神经网络模型可以采用特征距离变换损失在内的损失函数训练得到。示例性地,一种实施方式中,可以采用特征提取损失和特征距离变换损失的加权求和作为神经网络模型的损失函数,对整个神经网络模型进行训练;一种实施方式中,特征提取网络可以是已预先训练的,然后采用特征距离变换损失在内的损失函数来对距离变换网络进行训练,例如可以先采用特征提取损失来进行特征提取网络的训练,在特征提取网络训练完成后,可以采用特征距离变换损失在内的损失函数来对距离变换网络进行训练。其中,特征提取损失可以包括以下内容中的至少一种:分类损失、三元组损失,也可以为其它损失。
总之,距离变换网络也可以是由特征距离变换损失在内的损失函数训练得到的。例如,距离变换网络是由特征距离变换损失训练得到的。特征距离变换损失为期望特征距离和各参考图像特征的变换特征距离之间的损失,期望特征距离为变换特征距离的参考值,参考图像特征的变换特征距离为参考图像特征的样本特征距离和距离变换系数的乘积结果;参考图像特征为神经网络模型的特征提取网络从样本图像中提取得到的。
其中,数据集特征距离与属于同一数据集的各参考图像特征的样本特征距离相关;其中,样本特征距离为样本类间特征距离或样本类内特征距离;样本类间特征距离,表征与参考图像特征属于同一数据集且属于不同类别的其它参考图像特征在特征空间中与参考图像特征之间的距离;样本类内特征距离,表征与参考图像特征属于同一数据集且属于同一类别的其它参考图像特征在特征空间中与参考图像特征之间的距离。
同样地,对于某一参考图像特征而言,该参考图像特征的类间参考图像特征可以表征与该参考图像特征属于同一数据集且属于不同类别的其它参考图像特征,因此该参考图像特征的类间样本特征距离可以表征该参考图像特征与该参考图像特征的类间参考图像特征在特征空间中特征点之间的分散程度,可以为该参考图像特征与该参考图像特征的任意一个类间参考图像特征的特征点之间的距离,或者为该参考图像特征与该参考图像特征的所有类间参考图像特征的特征点之间的距离的最大值、平均值、中位值、最小值等特征值。相应地,该参考图像特征的类内参考图像特征可以表征与该参考图像特征属于同一数据集且属于同一类别的其它参考图像特征,因此该参考图像特征的类内样本特征距离可以表征该参考图像特征与该参考图像特征的类内参考图像特征在特征空间中特征点之间的聚集程度,可以为该参考图像特征与该参考图像特征的任意一个类内参考图像特征的特征点之间的距离,或者为该参考图像特征与该参考图像特征的所有类内参考图像特征的特征点之间的距离的最大值、平均值、中位值、最小值等特征值。
可以理解的是,对某一数据集而言,若该数据集内各参考图像特征的类间样本特征距离越小,则该数据集对应的数据集类间特征距离越小;若该数据集内各参考图像特征的类间样本特征距离越大,则该数据集对应的数据集类间特征距离越大。相应地,若该数据集内各参考图像特征的类内样本特征距离越小,则该数据集对应的数据集类内特征距离越小;若该数据集内各参考图像特征的类内样本特征距离越大,则该数据集对应的数据集类内特征距离越大。也就是说,本实施例相当于采用对各数据集中各参考图像特征对应的样本特征距离的约束实现了对各数据集对应的数据集特征距离的约束;明显地,数据集类间特征距离与属于同一数据集的各参考图像特征的样本类间特征距离相关,数据集类内特征距离与属于同一数据集的各参考图像特征的样本类内特征距离相关。因为各参考图像特征的变换特征距离相当于是距离变换处理后的各参考图像特征的样本特征距离,同样具有上述特性。
需要说明的是,上述期望特征距离是距离变换处理后的各参考图像特征的期望的样本特征距离,是一个参考值,因此可以为任意确定值,甚至可以为0。
当在训练过程中损失函数降低时,即特征距离变换损失降低,则各参考图像特征的变换特征距离与期望特征距离趋于接近,因为期望特征距离对各参考图像特征而言相同,因此各参考图像特征的变换特征距离趋于接近,即距离变换处理后的各参考图像特征的样本特征距离趋于接近,由于各参考图像特征属于不同训练数据集,因此不同训练数据集对应的数据集特征距离趋于接近,因此针对不同数据集,本实施例的图像识别方法同样可以表现出较为均衡的图像识别性能。
相应地,参照图5所示,针对上述采用特征距离变换损失在内的损失函数训练得到的神经网络模型,其训练方式可以为:
S501,获取属于不同训练数据集的各样本图像;样本图像标注有类别标签和数据集标签;
S502,将各样本图像输入初始神经网络模型的特征提取网络中进行特征提取处理,得到各样本图像的参考图像特征;以及将各样本图像的参考图像特征输入初始神经网络模型的距离变换网络,计算各参考图像特征的距离变换系数;
S503,根据各参考图像特征,和各参考图像特征对应的距离变换系数、类别标签和数据集标签,以及判定阈值对齐策略,计算特征距离变换损失,以及根据特征距离变换损失,计算初始神经网络模型的损失函数的值;
S504,根据损失函数的值,对初始神经网络模型的待训练参数进行调整,得到神经网络模型;待训练参数包括距离变换网络中的参数。
本实施例的神经网络模型的损失函数为上述特征距离变换损失,还可以包括其它损失,如基于分类的交叉熵损失、三元组损失等,然后依据诸如梯度下降法等对初始神经网络模型中的待训练参数进行训练,包括但不限于卷积层中的卷积核、全连接层中的权重等参数。
可以理解的是,特征提取网络可以是已预先训练的,因此可以仅需要对距离变换网络进行训练;即可以将特征距离变换损失作为初始神经网络模型的损失函数的值;根据损失函数的值,对距离变换网络的待训练参数进行调整,得到神经网络模型。如此,无需对特征提取网络和距离变换网络进行联合训练,可以降低训练复杂度,提高训练效率,同时降低对不同训练数据集的样本图像的数量要求,可以采用较少的样本图像实现训练过程。
对上述各步骤的部分描述可以参照上面的描述,下面举例进行说明。示例性地,以识别对象为人脸图像为例,假设不同训练数据集的各样本图像共400张,编号分别为1~400,具体包括:编号1~200的属于黄种人数据集的200张人脸图像,这200张人脸图像的数据集标签均为黄种人,而其中编号1~50为张三的人脸图像,编号1~50的人脸图像的类别标签均为张三,同理,不同编号对应的类别标签和数据集标签如下表1所示:
编号 数据集标签 类别标签
1~50 黄种人 张三
51~100 黄种人 李四
101~150 黄种人 王五
151~200 黄种人 赵六
201~250 白种人 詹姆斯
251~300 白种人 格林
301~350 黑种人 史密斯
351~400 黑种人 曼德拉
可选地,上述期望特征距离可以是动态变换值,为各参考图像特征的样本特征距离的平均值(可简称均值),如此可以显著降低训练过程中的特征距离变换损失,因此有助于训练过程中神经网络模型的收敛,提高训练效率;具体地,上述S503可以包括:根据每个参考图像特征,和每个参考图像特征对应的类别标签和数据集标签,以及判定阈值对齐策略,计算每个参考图像特征的样本特征距离;计算每个参考图像特征的样本特征距离和距离变换系数的乘积,将乘积结果作为每个参考图像特征的变换特征距离;计算各参考图像特征的样本特征距离的均值,作为期望特征距离;根据期望特征距离和每个参考图像特征的变换特征距离之间的损失,确定特征距离变换损失。
具体地,特征距离变换损失L可以采用如下关系式或该关系式的变形式计算得到:
其中,N为样本图像的总数目,xi为第i个样本图像的参考图像特征,F(xi)为第i个样本图像的参考图像特征的距离变换系数,Ri为第i个样本图像的参考图像特征的样本特征距离,Rc为期望特征距离。
上述关系式中,特征距离变换损失可以为期望特征距离和各参考图像特征的变换特征距离之间的差值的平均值;如果采用表1所示的训练数据集,则N=400,需要针对编号1~400的各样本图像,分别计算得到各样本图像对应的参考图像特征的变换特征距离与期望特征距离的差值的绝对值,并求取并均值。当然,上面的计算特征距离变换损失L的关系式仅是一个示例,只要能满足当期望特征距离和各参考图像特征的变换特征距离相同时可以达到最小值的关系式都可以作为计算特征距离变换损失的关系式。在实际应用中,也可以采用各参考图像特征的变换特征距离之间的差值之和来作为特征距离变换损失,还可以直接采用各参考图像特征的变换特征距离的方差来作为特征距离变换损失。总之,本实施例对此并不限制。
如之前所述,可以在训练时通过对训练数据集对应的数据集特征距离进行不同的约束,实现对不同测试数据集对应的数据集特征距离的相应约束,以实现对不同数据集的误接受率的控制,和/或,对不同数据集的误拒绝率的控制;而在本实施例中,可以在训练时通过对各训练数据集对应的参考图像特征的样本特征距离进行不同的约束,实现对不同数据集的误接受率的控制,和/或,对不同数据集的误拒绝率的控制。
着重说明的是,对各训练数据集对应的参考图像特征的样本特征距离进行不同的约束,可以体现为不同的判定阈值对齐策略,不同的判定阈值对齐策略对应不同的样本特征距离计算方式。判定阈值对齐策略至少可以包括:误接受率对齐策略、误拒绝率对齐策略。其中,误接受率对齐策略可以实现控制神经网络模型针对不同数据集的误接受率性能均衡,具体地,误接受率对齐策略可以为误接受率按比例对齐,如可以实现数据集A的误接受率为数据集B的误接受率的W倍,W可以为任意正数,特别地,W=1时,数据集A的误接受率与数据集B的误接受率相等。其中,误拒绝率对齐策略可以实现控制神经网络模型针对不同数据集的误拒绝率性能均衡,具体地,误拒绝率对齐策略可以为误拒绝率按比例对齐,如可以实现数据集A的误拒绝率为数据集B的误拒绝率的V倍,V同样可以为任意正数,特别地,V=1时,数据集A的误拒绝率与数据集B的误拒绝率相等。
示例性地,参照图6所示,当判定阈值对齐策略为误接受率对齐策略时,样本特征距离为样本类间特征距离,则针对某个参考图像特征而言,该参考图像特征的样本特征距离可以采用如下方式计算:
S601,针对每个参考图像特征,确定该参考图像特征的多个类间参考图像特征,并计算该参考图像特征与多个类间参考图像特征在特征空间中的距离;类间参考图像特征与该参考图像特征属于同一数据集且属于不同类别。
例如,针对编号为81的样本图像的参考图像特征,则编号为1~50、101~200的150个样本图像的参考图像特征均为其类间参考图像特征。其中,参考图像特征与多个类间参考图像特征在特征空间中的距离,可以为各图像特征对应的多维向量之间的L1范数、L2范数等。
S602,将该参考图像特征与多个类间参考图像特征在特征空间中的距离,由小到大进行排序,并根据排序,确定该参考图像特征的样本类间特征距离。
例如,选取排序靠前的一个距离的值,作为该参考图像特征的样本类间特征距离,例如可以选取第m小(排序为m)的距离的值,m可以为任意正整数,特别地,m=1,对于不同的参考图像特征,m可以相同,也可以不同。或者,选取排序靠前的多个距离的平均值,作为该参考图像特征的样本类间特征距离,例如可以选取排序靠前的M个距离的值,并将这排序靠前的M个距离的值的平均值作为该参考图像特征的样本类间特征距离,M可以为任意大于1的正整数,对于不同的参考图像特征,M可以相同,也可以不同。
采用本实施例的误接受率对齐策略对应的方式来计算样本类间特征距离,可以控制神经网络模型针对不同数据集的误接受率性能均衡;特别地,当属于不同数据集的参考图像特征的样本类间特征距离的计算方式一样时,例如针对不同数据集的参考图像特征而言,上述m或M相等,则可以控制神经网络模型针对不同数据集的误接受率相等。
进一步地,当误接受率对齐策略为:数据集A的误接受率为数据集B的误接受率的W倍时,可以针对属于数据集A的参考图像特征,选取排序为mW的距离的值作为该参考图像特征的样本类间特征距离;针对属于数据集B的参考图像特征,选取排序为m的距离的值作为该参考图像特征的样本类间特征距离。其中,m为任意正整数,W为任意正数。特别地,当mW不是整数时,可以采用插值的方式估计出排序为mW的距离的值。
因为属于数据集A的参考图像特征的样本类间特征距离选取的是第mW小的距离的值,即排序在前mW个的样本类间特征距离均小于或等于该选取的样本类间特征距离;属于数据集B的参考图像特征的样本类间特征距离选取的是第m小的距离的值,即排序在前m个的样本类间特征距离均小于或等于该选取的样本类间特征距离。相应地,在进行大量测试时,对确定的某一判定阈值而言,如果在所有属于数据集A且属于不同类别的两个图像特征之间的距离的值中,该判定阈值为第kW小的值,即排序在前kW个的距离的值均小于或等于该判定阈值,则在所有属于数据集B且属于不同类别的两个图像特征之间的距离的值中,该判定阈值为第k小的值,即排序在前k个的距离的值均小于或等于该判定阈值;因此,属于数据集A且属于不同类别的两个图像特征之间的距离小于该判定阈值的概率,为属于数据集B且属于不同类别的两个图像特征之间的距离小于该判定阈值的概率的W倍,即数据集A的误接受率为数据集B的误接受率的W倍。
更进一步地,为了提高样本类间特征距离的稳定性,进一步提高对误接受率的控制的稳定性,可以针对属于数据集A的参考图像特征,选取排序为mW-d/2到mW+d/2的多个距离的平均值,作为该参考图像特征的样本类间特征距离;针对属于数据集B的参考图像特征,选取排序为m-d/2到m+d/2的多个距离的平均值,作为该参考图像特征的样本类间特征距离。d可以为非零偶数,例如d=4时,排序mW-2到mW+2之间为以排序mW对应的距离为中心的5个距离的平均值,为属于数据集A的上述参考图像特征的样本类间特征距离;同样地,排序m-2到m+2之间为以排序m对应的距离为中心的5个距离的平均值,为属于数据集B的上述参考图像特征的样本类间特征距离。
需要说明的是,当判定阈值对齐策略为误接受率对齐策略,且各数据集对应的目标误接受率小于预设误接受率阈值时,即对目标误接受率要求极高时,为了实现目标误接受率的精准控制,可以采用如下方式计算每个所述参考图像特征的样本类间特征距离:针对每个数据集中每个参考图像特征,从属于数据集的各参考图像特征中,确定参考图像特征的多个类间参考图像特征,并计算参考图像特征与多个类间参考图像特征在特征空间中的距离;类间参考图像特征与参考图像特征属于不同类别;针对每个数据集中所有参考图像特征,将各参考图像特征与相应的多个类间参考图像特征在特征空间中的距离,由小到大进行排序,并统计得到每个数据集对应的排序数目;针对每个数据集,计算目标误接受率与排序数目的乘积,得到乘积结果,并选取排序与乘积结果匹配的距离的值,作为数据集中各参考图像特征的样本类间特征距离。示例性地,预设误接受率阈值可以为0.01%。
可以理解的是,上述实施例相当于计算每个数据集的样本类间特征距离,每个数据集的样本类间特征距离在该数据集的所有参考图像特征与类间参考图像特征之间的距离中排序为:目标误接受率与排序数目的乘积结果。示例性地,目标误接受率为0.001%,排序数目为百万,则目标误接受率与排序数目的乘积结果为10,即在A数据集的所有参考图像特征与类间参考图像特征之间的距离中,任一距离小于或等于A数据集的样本类间特征距离的概率为10/百万,即0.001%,则在进行大量测试时,例如可以选取A数据集的样本类间特征距离作为判定阈值,则在所有属于数据集A且属于不同类别的两个图像特征之间的距离的值中,任一距离小于或等于A数据集的样本类间特征距离的概率趋近0.001%,即数据集A的误接受率接近目标误接受率。而对于其它数据集而言,基于同样的理由,其它数据集的接受率也接近目标误接受率。
示例性地,参照图7所示,当判定阈值对齐策略为误拒绝率对齐策略时,样本特征距离为样本类内特征距离,则针对某个参考图像特征而言,该参考图像特征的样本特征距离可以采用如下方式计算:
S701,针对每个参考图像特征,确定该参考图像特征的多个类内参考图像特征,并计算该参考图像特征与多个类内参考图像特征在特征空间中的距离;类内参考图像特征与该参考图像特征属于同一数据集且属于同一类别。
例如,针对编号为81的样本图像的参考图像特征,则编号为51~100的50个样本图像的参考图像特征均为其类内参考图像特征。其中,参考图像特征与多个类内参考图像特征在特征空间中的距离,可以为各图像特征对应的多维向量之间的L1范数、L2范数等。
S702,将该参考图像特征与多个类内参考图像特征在特征空间中的距离,由大到小进行排序;根据排序,确定该参考图像特征的样本类内特征距离。
例如,选取排序靠前的一个距离的值,作为该参考图像特征的样本类内特征距离,例如可以选取第m大(排序为m)的距离的值,m可以为任意正整数,特别地,m=1,对于不同的参考图像特征,m可以相同,也可以不同。或者,选取排序靠前的多个距离的平均值,作为该参考图像特征的样本类内特征距离,例如可以选取排序靠前的M个距离的值,并将这排序靠前的M个距离的值的平均值作为该参考图像特征的样本类内特征距离,M可以为任意大于1的正整数,对于不同的参考图像特征,M可以相同,也可以不同。
采用本实施例的误拒绝率对齐策略对应的方式来计算样本类内特征距离,可以控制神经网络模型针对不同数据集的误拒绝率性能均衡;特别地,当属于不同数据集的参考图像特征的样本类内特征距离的计算方式一样时,例如针对不同数据集的参考图像特征而言,上述m或M相等,则可以控制神经网络模型针对不同数据集的误拒绝率相等。
进一步地,当误拒绝率对齐策略为:数据集A的误拒绝率为数据集B的误拒绝率的V倍时,可以针对属于数据集A的参考图像特征,选取排序为nV的距离的值作为该参考图像特征的样本类内特征距离;针对属于数据集B的参考图像特征,选取排序为n的距离的值作为该参考图像特征的样本类内特征距离。其中,n为任意正整数,V为任意正数。特别地,当nV不是整数时,可以采用插值的方式估计出排序为nV的距离的值。
因为属于数据集A的参考图像特征的样本类内特征距离选取的是第nV大的距离的值,即排序在前nV个的样本类内特征距离均大于或等于该选取的样本类内特征距离,属于数据集B的参考图像特征的样本类内特征距离选取的是第n大的距离的值,即排序在前n个的样本类内特征距离均大于或等于该选取的样本类内特征距离。相应地,在进行大量测试时,对确定的某一判定阈值而言,如果在所有属于数据集A且属于同一类别的两个图像特征之间的距离的值中,该判定阈值为第pV大的值,即排序在前pV个的距离的值均大于或等于该判定阈值,则在所有属于数据集B且属于同一类别的两个图像特征之间的距离的值中,该判定阈值为第p大的值,即排序在前p个的距离的值均大于或等于该判定阈值,因此,属于数据集A且属于同一类别的两个图像特征之间的距离大于该判定阈值的概率,为属于数据集B且属于同一类别的两个图像特征之间的距离大于该判定阈值的概率的V倍,即数据集A的误拒绝率为数据集B的误拒绝率的V倍。
更进一步地,为了提高样本类内特征距离的稳定性,进一步提高对误拒绝率的控制的稳定性,可以针对属于数据集A的参考图像特征,选取排序为nV-e/2到nV+e/2的多个距离的平均值,作为该参考图像特征的样本类内特征距离;针对属于数据集B的参考图像特征,选取排序为n-e/2到n+e/2的多个距离的平均值,作为该参考图像特征的样本类内特征距离。e可以为非零偶数,例如e=2时,排序nV-1到nV+1之间为以排序nV对应的距离为中心的3个距离的平均值,为属于数据集A的上述参考图像特征的样本类内特征距离;同样地,排序n-1到n+1之间为以排序n对应的距离为中心的3个距离的平均值,为属于数据集B的上述参考图像特征的样本类内特征距离。
需要说明的是,当判定阈值对齐策略为误拒绝率对齐策略,且各数据集对应的目标误拒绝率小于预设误拒绝率阈值时,即对目标误拒绝率要求极高时,为了实现目标误拒绝率的精准控制,可以采用如下方式计算每个所述参考图像特征的样本类内特征距离:针对每个数据集中每个参考图像特征,从属于数据集的各参考图像特征中,确定参考图像特征的多个类内参考图像特征,并计算参考图像特征与多个类内参考图像特征在特征空间中的距离;类内参考图像特征与参考图像特征属于同一类别;针对每个数据集中所有参考图像特征,将各参考图像特征与相应的多个类内参考图像特征在特征空间中的距离,由大到小进行排序,并统计得到每个数据集对应的排序数目;针对每个数据集,计算目标误拒绝率与排序数目的乘积,得到乘积结果,并选取排序与乘积结果匹配的距离的值,作为数据集中各参考图像特征的样本类内特征距离。示例性地,预设误拒绝率阈值可以为5%。
可以理解的是,针对上述判定阈值对齐策略下对样本类内特征距离的计算过程与对上述样本类间特征距离的描述过程类似,这里不再赘述。
此外,因为在实际应用中,样本图像的来源多种多样,可以简单地按照图像分辨率的高低,将各样本图像分为底库样本图像和抓拍样本图像,其中,底库样本图像的分辨率高于所述抓拍样本图像的分辨率,相应地,图像质量更好,更能表征对象特征。示例性地,可以将分辨率高于或等于预设分辨率的图像划分为底库样本图像,将分辨率低于预设分辨率的图像划分为抓拍样本图像;例如,预设分辨率可以为800×600。一般地,样本图像中底库样本图像较少,抓拍样本图像较多。
在一个实施例中,参考图像特征对应底库样本图像;类间参考图像特征或类内参考图像特征,对应抓拍样本图像;底库样本图像的分辨率高于抓拍样本图像的分辨率。
也就是说,对于上述任一种判定阈值对齐策略而言,在进行样本类间特征距离的计算时,可以以底库样本图像的参考图像特征作为基点,将与该底库样本图像属于同一数据集且属于不同类别的多个抓拍样本图像的参考图像特征作为多个类间参考图像特征,根据该底库样本图像的参考图像特征和上述多个抓拍样本图像的参考图像特征之间的距离,计算该底库样本图像的参考图像特征的样本类间特征距离。同样地,对于上述任一种判定阈值对齐策略而言,在进行样本类内特征距离的计算时,同样如上所述,这里不再赘述。
如此,本实施例可以统一实现对涉及特征距离计算的任意两个参考图像特征对应的图像质量的约束,能够以图像质量更好的底库样本图像作为基点进行样本特征距离的计算,相比于采用不同图像质量的样本图像作为基点进行样本特征距离的计算而言,引入了更合理的约束条件,使得样本特征距离的计算结果更可信,提高了神经网络模型的性能,降低误接受率和误拒绝率。
在一个实施例中,如图8所示,提供了一种神经网络模型的训练方法,包括:
S801,获取属于多个训练数据集的各样本图像;各样本图像分别标注有类别标签和数据集标签;
S802,将各训练样本图像输入初始神经网络模型,得到各训练样本图像的参考图像特征;
S803,根据各参考图像特征,以及各参考图像特征对应的类别标签和数据集标签,计算初始神经网络模型的损失函数的值;
S804,根据损失函数的值,对初始神经网络模型的待训练参数进行调整,得到神经网络模型;
其中,当初始神经网络模型训练完成时,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;数据集特征距离为数据集类间特征距离或数据集类内特征距离,数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离。
可以理解的是,初始神经网络模型训练完成的条件可以是损失函数的值小于预设损失函数阈值,也可以是别的条件。示例性地,当损失函数包括上述各训练数据集对应的数据集特征距离之间的损失,或者包括上述特征距离变换损失时,当损失函数的值小于预设损失函数阈值时,训练数据集对应的数据集特征距离接近,即满足上述任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值的约束条件。
可选地,以神经网络模型包括特征提取网络和距离变换网络,且特征提取网络已预先训练为例,S802可以包括:将各训练样本图像输入初始神经网络模型的特征提取网络中进行特征提取处理,得到各训练样本图像的参考图像特征;以及将各样本图像的参考图像特征输入初始神经网络模型的距离变换网络,计算各参考图像特征对应的距离变换系数;相应地,S803可以包括:根据各参考图像特征和各参考图像特征对应的距离变换系数、类别标签和数据集标签,计算特征距离变换损失,以及将特征距离变换损失作为初始神经网络模型的损失函数的值;S804可以包括:根据损失函数的值,对距离变换网络的待训练参数进行调整,得到神经网络模型。
其中,特征距离变换损失为期望特征距离和各参考图像特征的变换特征距离之间的损失,期望特征距离为变换特征距离的参考值,参考图像特征的变换特征距离为参考图像特征的样本特征距离和距离变换系数的乘积结果;样本特征距离为样本类间特征距离或样本类内特征距离;样本类间特征距离,表征与参考图像特征属于同一数据集且属于不同类别的其它参考图像特征在特征空间中与参考图像特征之间的距离;样本类内特征距离,表征与参考图像特征属于同一数据集且属于同一类别的其它参考图像特征在特征空间中与参考图像特征之间的距离。
关于上述神经网络模型的训练方法的描述可以参照上述图像识别方法的描述,这里不再赘述。
应该理解的是,虽然图2a,3a,4b,5-8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2a,3a,4b,5-8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供了一种图像识别装置,包括:图像获取模块91、特征提取模块92和图像识别模块93,其中:
图像获取模块91,用于获取待识别图像;
特征提取模块92,用于将待识别图像输入神经网络模型,输出待识别图像的目标图像特征;神经网络模型是基于属于多个训练数据集的各样本图像进行训练的,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;数据集特征距离为数据集类间特征距离或数据集类内特征距离,数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离;
图像识别模块93,用于根据与神经网络模型对应的判定阈值,对目标图像特征进行图像识别处理,得到待识别图像的图像识别结果。
可选地,神经网络模型包括特征提取网络和距离变换网络,特征提取模块92可以包括:
参考特征提取单元,用于将待识别图像输入特征提取网络进行特征提取处理,得到待识别图像的参考图像特征;
距离变换单元,用于将参考图像特征输入距离变换网络,计算参考图像特征对应的距离变换系数,以及根据距离变换系数,对参考图像特征进行距离变换处理,输出距离变换处理后得到的目标图像特征。
可选地,距离变换网络包括至少一个全连接层,距离变换单元具体用于对参考图像特征进行归一化处理,得到归一化处理后的参考图像特征;对归一化处理后的参考图像特征输入至少一个全连接层进行全连接处理,得到参考图像特征对应的距离变换系数;根据距离变换系数,对归一化处理前的参考图像特征进行距离变换处理,得到距离变换处理后得到的目标图像特征。
可选地,距离变换网络是基于包括特征距离变换损失在内的损失函数训练得到的;特征距离变换损失为期望特征距离和各参考图像特征的变换特征距离之间的损失,期望特征距离为变换特征距离的参考值,参考图像特征的变换特征距离为参考图像特征的样本特征距离和距离变换系数的乘积结果;参考图像特征为神经网络模型的特征提取网络从样本图像中提取得到的;数据集特征距离与属于同一数据集的各参考图像特征的样本特征距离相关;其中,样本特征距离为样本类间特征距离或样本类内特征距离;样本类间特征距离,表征与参考图像特征属于同一数据集且属于不同类别的其它参考图像特征在特征空间中与参考图像特征之间的距离;样本类内特征距离,表征与参考图像特征属于同一数据集且属于同一类别的其它参考图像特征在特征空间中与参考图像特征之间的距离。
可选地,特征距离变换损失L采用如下关系式计算得到:
其中,N为样本图像的总数目,xi为第i个样本图像的参考图像特征,F(xi)为第i个样本图像的参考图像特征的距离变换系数,Ri为第i个样本图像的参考图像特征的样本特征距离,Rc为期望特征距离。
可选地,该装置还可以包括:神经网络训练模块,该神经网络模型训练模块可以包括:
样本图像获取单元,用于获取属于不同训练数据集的各样本图像;样本图像标注有类别标签和数据集标签;
样本特征提取单元,用于将各样本图像输入初始神经网络模型的特征提取网络中进行特征提取处理,得到各样本图像的参考图像特征;以及将各样本图像的参考图像特征输入初始神经网络模型的距离变换网络,计算各参考图像特征的距离变换系数;
损失函数计算单元,用于根据各参考图像特征,和各参考图像特征对应的距离变换系数、类别标签和数据集标签,以及判定阈值对齐策略,计算特征距离变换损失,以及根据特征距离变换损失,计算初始神经网络模型的损失函数的值;
神经网络训练单元,用于根据损失函数的值,对初始神经网络模型的待训练参数进行调整,得到神经网络模型;待训练参数包括距离变换网络中的参数。
可选地,特征提取网络已预先训练,损失函数计算单元还用于将特征距离变换损失作为初始神经网络模型的损失函数的值;神经网络训练单元还用于根据损失函数的值,对距离变换网络的待训练参数进行调整,得到神经网络模型。
可选地,损失函数计算单元具体用于根据每个参考图像特征,和每个参考图像特征对应的类别标签和数据集标签,以及判定阈值对齐策略,计算每个参考图像特征的样本特征距离;计算每个参考图像特征的样本特征距离和距离变换系数的乘积,将乘积结果作为每个参考图像特征的变换特征距离;计算各参考图像特征的样本特征距离的均值,作为期望特征距离;根据期望特征距离和每个参考图像特征的变换特征距离之间的损失,确定特征距离变换损失。
可选地,判定阈值对齐策略为误接受率对齐策略时,损失函数计算单元还用于针对每个参考图像特征,确定该参考图像特征的多个类间参考图像特征,并计算该参考图像特征与多个类间参考图像特征在特征空间中的距离;类间参考图像特征与该参考图像特征属于同一数据集且属于不同类别;将该参考图像特征与多个类间参考图像特征在特征空间中的距离,由小到大进行排序,并根据排序,确定参考图像特征的样本类间特征距离。
可选地,损失函数计算单元还用于选取排序靠前的一个距离的值,或者,选取排序靠前的多个距离的平均值,作为参考图像特征的样本类间特征距离。
可选地,误接受率对齐策略为:数据集A的误接受率为数据集B的误接受率的W倍时,损失函数计算单元还用于针对属于数据集A的参考图像特征,选取排序为mW-d/2到mW+d/2的多个距离的平均值,或排序为mW的距离的值作为参考图像特征的样本类间特征距离;其中,d为非零偶数,m为正整数,W为正数;针对属于数据集B的参考图像特征,选取排序为m-d/2到m+d/2的多个距离的平均值,或排序为m的距离的值作为参考图像特征的样本类间特征距离。
可选地,判定阈值对齐策略为误接受率对齐策略,且各数据集对应的目标误接受率小于预设误接受率阈值时,样本特征距离为样本类内特征距离,损失函数计算单元还用于针对每个数据集中每个参考图像特征,从属于数据集的各参考图像特征中,确定参考图像特征的多个类间参考图像特征,并计算参考图像特征与多个类间参考图像特征在特征空间中的距离;类间参考图像特征与参考图像特征属于不同类别;针对每个数据集中所有参考图像特征,将各参考图像特征与相应的多个类间参考图像特征在特征空间中的距离,由小到大进行排序,并统计得到每个数据集对应的排序数目;针对每个数据集,计算目标误接受率与排序数目的乘积,得到乘积结果,并选取排序与乘积结果匹配的距离的值,作为数据集中各参考图像特征的样本类间特征距离。
可选地,判定阈值对齐策略为误拒绝率对齐策略时,损失函数计算单元还用于针对每个参考图像特征,确定参考图像特征的多个类内参考图像特征,并计算参考图像特征与多个类内参考图像特征在特征空间中的距离;类内参考图像特征与参考图像特征属于同一数据集且属于同一类别;将参考图像特征与多个类内参考图像特征在特征空间中的距离,由大到小进行排序;根据排序,确定参考图像特征的样本类内特征距离。
可选地,损失函数计算单元还用于选取排序靠前的一个距离的值,或者,选取排序靠前的多个距离的平均值,作为参考图像特征的样本类内特征距离。
可选地,误拒绝率对齐策略为:数据集A的误拒绝率为数据集B的误拒绝率的V倍时,损失函数计算单元还用于针对属于数据集A的参考图像特征,选取排序为nV-e/2到nV+e/2的多个距离的平均值,或排序为nV的距离的值作为参考图像特征的样本类内特征距离;其中,e为非零偶数,n为正整数,V为正数;针对属于数据集B的参考图像特征,选取排序为n-e/2到n+e/2的多个距离的平均值,或排序为n的距离的值作为参考图像特征的样本类内特征距离。
可选地,判定阈值对齐策略为误拒绝率对齐策略,且各数据集对应的目标误拒绝率小于预设误拒绝率阈值时,样本特征距离为样本类内特征距离,损失函数计算单元还用于针对每个数据集中每个参考图像特征,从属于数据集的各参考图像特征中,确定参考图像特征的多个类内参考图像特征,并计算参考图像特征与多个类内参考图像特征在特征空间中的距离;类内参考图像特征与参考图像特征属于同一类别;针对每个数据集中所有参考图像特征,将各参考图像特征与相应的多个类内参考图像特征在特征空间中的距离,由大到小进行排序,并统计得到每个数据集对应的排序数目;针对每个数据集,计算目标误拒绝率与排序数目的乘积,得到乘积结果,并选取排序与乘积结果匹配的距离的值,作为数据集中各参考图像特征的样本类内特征距离。
可选地,参考图像特征对应底库样本图像;类间参考图像特征或类内参考图像特征,对应抓拍样本图像;底库样本图像的分辨率高于抓拍样本图像的分辨率。
在一个实施例中,如图10所示,提供了一种神经网络模型的训练装置,包括:样本图像获取模块101、样本特征提取模块102、损失函数计算模块103和神经网络训练模块104,其中:
样本图像获取模块101,用于获取属于多个训练数据集的各样本图像;各样本图像分别标注有类别标签和数据集标签;
样本特征提取模块102,用于将各训练样本图像输入初始神经网络模型,得到各训练样本图像的参考图像特征;
损失函数计算模块103,用于根据各参考图像特征,以及各参考图像特征对应的类别标签和数据集标签,计算初始神经网络模型的损失函数的值;
神经网络训练模块104,用于根据损失函数的值,对初始神经网络模型的待训练参数进行调整,得到神经网络模型;
其中,当初始神经网络模型训练完成时,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;数据集特征距离为数据集类间特征距离或数据集类内特征距离,数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离。
可选地,神经网络模型包括特征提取网络和距离变换网络,特征提取网络已预先训练,则样本特征提取模块102可以包括:
样本特征提取单元,用于将各训练样本图像输入初始神经网络模型的特征提取网络中进行特征提取处理,得到各训练样本图像的参考图像特征;以及将各样本图像的参考图像特征输入初始神经网络模型的距离变换网络,计算各参考图像特征的距离变换系数;
相应地,损失函数计算模块103可以包括:
损失计算单元,用于根据各参考图像特征和各参考图像特征对应的距离变换系数、类别标签和数据集标签,计算特征距离变换损失,以及将特征距离变换损失作为初始神经网络模型的损失函数的值;
神经网络训练模块104可以包括:
神经网络训练单元,用于根据损失函数的值,对距离变换网络的待训练参数进行调整,得到神经网络模型。
其中,特征距离变换损失为期望特征距离和各参考图像特征的变换特征距离之间的损失,期望特征距离为变换特征距离的参考值,参考图像特征的变换特征距离为参考图像特征的样本特征距离和距离变换系数的乘积结果;样本特征距离为样本类间特征距离或样本类内特征距离;样本类间特征距离,表征与参考图像特征属于同一数据集且属于不同类别的其它参考图像特征在特征空间中与参考图像特征之间的距离;样本类内特征距离,表征与参考图像特征属于同一数据集且属于同一类别的其它参考图像特征在特征空间中与参考图像特征之间的距离。
关于图像识别装置的具体限定可以参见上文中对于图像识别方法的限定,关于神经网络模型的训练装置的具体限定可以参见上文中对于神经网络模型的训练方法的限定,在此不再赘述。上述图像识别装置和神经网络模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时可以实现第一方面提供的图像识别方法,也可以实现第二方面提供的神经网络模型的训练方法。
参照图11所示,本实施例提出了一种图像识别系统,包括拍摄装置111和计算机设备112;拍摄装置111用于拍摄获取待识别图像,并将待识别图像发送给计算机设备112进行图像识别;计算机设备112包括存储器和处理器,存储器存储有计算机程序,该处理器执行计算机程序时可以实现第一方面提供的图像识别方法,也可以实现第二方面提供的神经网络模型的训练方法。
该计算机设备可以但不限于是终端、服务器等,以终端为例,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像识别方法和神经网络模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (23)

1.一种图像识别方法,其特征在于,包括:
获取待识别图像;
将所述待识别图像输入神经网络模型,输出所述待识别图像的目标图像特征;所述神经网络模型是基于属于多个训练数据集的各样本图像进行训练的,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;所述数据集特征距离为数据集类间特征距离或数据集类内特征距离,所述数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,所述数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离;
根据与所述神经网络模型对应的判定阈值,对所述目标图像特征进行图像识别处理,得到所述待识别图像的图像识别结果。
2.根据权利要求1所述的方法,其特征在于,所述神经网络模型包括特征提取网络和距离变换网络,所述将所述待识别图像输入神经网络模型,输出所述待识别图像的目标图像特征,包括:
将所述待识别图像输入所述特征提取网络进行特征提取处理,得到所述待识别图像的参考图像特征;
将所述参考图像特征输入所述距离变换网络,计算所述参考图像特征对应的距离变换系数,以及根据所述距离变换系数,对所述参考图像特征进行距离变换处理,输出距离变换处理后得到的目标图像特征。
3.根据权利要求2所述的方法,其特征在于,所述距离变换网络包括至少一个全连接层,所述将所述参考图像特征输入所述距离变换网络,计算所述参考图像特征对应的距离变换系数,以及根据所述距离变换系数,对所述参考图像特征进行距离变换处理,输出距离变换处理后得到的目标图像特征,包括:
对所述参考图像特征进行归一化处理,得到归一化处理后的参考图像特征;
对所述归一化处理后的参考图像特征输入所述至少一个全连接层进行全连接处理,得到所述参考图像特征对应的距离变换系数;
根据所述距离变换系数,对归一化处理前的所述参考图像特征进行距离变换处理,得到所述距离变换处理后得到的目标图像特征。
4.根据权利要求2或3所述的方法,其特征在于,所述距离变换网络是由特征距离变换损失在内的损失函数训练得到的;所述特征距离变换损失为期望特征距离和各参考图像特征的变换特征距离之间的损失,所述期望特征距离为变换特征距离的参考值,所述参考图像特征的变换特征距离为所述参考图像特征的样本特征距离和距离变换系数的乘积结果;所述参考图像特征为所述神经网络模型的特征提取网络从样本图像中提取得到的;
所述数据集特征距离与属于同一数据集的各参考图像特征的样本特征距离相关;其中,所述样本特征距离为样本类间特征距离或样本类内特征距离;所述样本类间特征距离,表征与所述参考图像特征属于同一数据集且属于不同类别的其它参考图像特征在特征空间中与所述参考图像特征之间的距离;所述样本类内特征距离,表征与所述参考图像特征属于同一数据集且属于同一类别的其它参考图像特征在特征空间中与所述参考图像特征之间的距离。
5.根据权利要求4所述的方法,其特征在于,所述特征距离变换损失L采用如下关系式计算得到:
其中,N为样本图像的总数目,xi为第i个样本图像的参考图像特征,F(xi)为第i个样本图像的参考图像特征的距离变换系数,Ri为第i个样本图像的参考图像特征的样本特征距离,Rc为期望特征距离。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取属于不同训练数据集的各样本图像;所述样本图像标注有类别标签和数据集标签;
将各所述样本图像输入初始神经网络模型的特征提取网络中进行特征提取处理,得到各所述样本图像的参考图像特征;以及将各所述样本图像的参考图像特征输入所述初始神经网络模型的距离变换网络,计算各所述参考图像特征的距离变换系数;
根据各所述参考图像特征,和各所述参考图像特征对应的距离变换系数、类别标签和数据集标签,以及判定阈值对齐策略,计算特征距离变换损失,以及根据所述特征距离变换损失,计算所述初始神经网络模型的损失函数的值;
根据所述损失函数的值,对所述初始神经网络模型的待训练参数进行调整,得到所述神经网络模型;所述待训练参数包括所述距离变换网络中的参数。
7.根据权利要求6所述的方法,其特征在于,所述特征提取网络已预先训练,所述根据所述特征距离变换损失,计算所述初始神经网络模型的损失函数的值,包括:
将所述特征距离变换损失作为所述初始神经网络模型的损失函数的值;
相应地,所述根据所述损失函数的值,对所述初始神经网络模型的待训练参数进行调整,得到所述神经网络模型,包括:
根据所述损失函数的值,对所述距离变换网络的待训练参数进行调整,得到所述神经网络模型。
8.根据权利要求6或7所述的方法,其特征在于,所述根据各所述参考图像特征,和各所述参考图像特征对应的距离变换系数、类别标签和数据集标签,以及判定阈值对齐策略,计算特征距离变换损失,包括:
根据每个所述参考图像特征,和每个所述参考图像特征对应的类别标签和数据集标签,以及所述判定阈值对齐策略,计算每个所述参考图像特征的样本特征距离;
计算每个所述参考图像特征的样本特征距离和距离变换系数的乘积,将乘积结果作为每个所述参考图像特征的变换特征距离;计算各所述参考图像特征的样本特征距离的均值,作为期望特征距离;根据所述期望特征距离和每个所述参考图像特征的变换特征距离之间的损失,确定所述特征距离变换损失。
9.根据权利要求8所述的方法,其特征在于,所述判定阈值对齐策略为误接受率对齐策略时,所述样本特征距离为样本类间特征距离,所述根据每个所述参考图像特征,和每个所述参考图像特征对应的类别标签和数据集标签,以及所述判定阈值对齐策略,计算每个所述参考图像特征的样本特征距离,包括:
针对每个参考图像特征,确定所述参考图像特征的多个类间参考图像特征,并计算所述参考图像特征与所述多个类间参考图像特征在特征空间中的距离;所述类间参考图像特征与所述参考图像特征属于同一数据集且属于不同类别;
将所述参考图像特征与多个所述类间参考图像特征在特征空间中的距离,由小到大进行排序,并根据所述排序,确定所述参考图像特征的样本类间特征距离。
10.根据权利要求9所述的方法,其特征在于,所述根据所述排序,确定所述参考图像特征的样本类间特征距离,包括:
选取排序靠前的一个距离的值,或者,选取排序靠前的多个距离的平均值,作为所述参考图像特征的样本类间特征距离。
11.根据权利要求9所述的方法,其特征在于,所述误接受率对齐策略为:数据集A的误接受率为数据集B的误接受率的W倍时,所述根据所述排序,确定所述参考图像特征的样本类间特征距离,包括:
针对属于数据集A的参考图像特征,选取排序为mW-d/2到mW+d/2的多个距离的平均值,或排序为mW的距离的值作为所述参考图像特征的样本类间特征距离;其中,d为非零偶数,m为正整数,W为正数;
针对属于数据集B的参考图像特征,选取排序为m-d/2到m+d/2的多个距离的平均值,或排序为m的距离的值作为所述参考图像特征的样本类间特征距离。
12.根据权利要求8所述的方法,其特征在于,所述判定阈值对齐策略为误接受率对齐策略,且各数据集对应的目标误接受率小于预设误接受率阈值时,所述样本特征距离为样本类间特征距离,所述根据每个所述参考图像特征,和每个所述参考图像特征对应的类别标签和数据集标签,以及所述判定阈值对齐策略,计算每个所述参考图像特征的样本特征距离,包括:
针对每个数据集中每个参考图像特征,从属于所述数据集的各参考图像特征中,确定所述参考图像特征的多个类间参考图像特征,并计算所述参考图像特征与所述多个类间参考图像特征在特征空间中的距离;所述类间参考图像特征与所述参考图像特征属于不同类别;
针对每个数据集中所有参考图像特征,将各参考图像特征与相应的多个类间参考图像特征在特征空间中的距离,由小到大进行排序,并统计得到每个数据集对应的排序数目;
针对每个数据集,计算目标误接受率与所述排序数目的乘积,得到乘积结果,并选取排序与所述乘积结果匹配的距离的值,作为所述数据集中各参考图像特征的样本类间特征距离。
13.根据权利要求8所述的方法,其特征在于,所述判定阈值对齐策略为误拒绝率对齐策略时,所述样本特征距离为样本类内特征距离,所述根据每个所述参考图像特征,和每个所述参考图像特征对应的类别标签和数据集标签,以及所述判定阈值对齐策略,计算每个所述参考图像特征的样本特征距离,包括:
针对每个参考图像特征,确定所述参考图像特征的多个类内参考图像特征,并计算所述参考图像特征与所述多个类内参考图像特征在特征空间中的距离;所述类内参考图像特征与所述参考图像特征属于同一数据集且属于同一类别;
将所述参考图像特征与多个所述类内参考图像特征在特征空间中的距离,由大到小进行排序;根据所述排序,确定所述参考图像特征的样本类内特征距离。
14.根据权利要求13所述的方法,其特征在于,所述根据所述排序,确定所述参考图像特征的样本类内特征距离,包括:
选取排序靠前的一个距离的值,或者,选取排序靠前的多个距离的平均值,作为所述参考图像特征的样本类内特征距离。
15.根据权利要求13所述的方法,其特征在于,所述误拒绝率对齐策略为:数据集A的误拒绝率为数据集B的误拒绝率的V倍时,所述根据所述排序,确定所述参考图像特征的样本类内特征距离,包括:
针对属于数据集A的参考图像特征,选取排序为nV-e/2到nV+e/2的多个距离的平均值,或排序为nV的距离的值作为所述参考图像特征的样本类内特征距离;其中,e为非零偶数,n为正整数,V为正数;
针对属于数据集B的参考图像特征,选取排序为n-e/2到n+e/2的多个距离的平均值,或排序为n的距离的值作为所述参考图像特征的样本类内特征距离。
16.根据权利要求8所述的方法,其特征在于,所述判定阈值对齐策略为误拒绝率对齐策略,且各数据集对应的目标误拒绝率小于预设误拒绝率阈值时,所述样本特征距离为样本类内特征距离,所述根据每个所述参考图像特征,和每个所述参考图像特征对应的类别标签和数据集标签,以及所述判定阈值对齐策略,计算每个所述参考图像特征的样本特征距离,包括:
针对每个数据集中每个参考图像特征,从属于所述数据集的各参考图像特征中,确定所述参考图像特征的多个类内参考图像特征,并计算所述参考图像特征与所述多个类内参考图像特征在特征空间中的距离;所述类内参考图像特征与所述参考图像特征属于同一类别;
针对每个数据集中所有参考图像特征,将各参考图像特征与相应的多个类内参考图像特征在特征空间中的距离,由大到小进行排序,并统计得到每个数据集对应的排序数目;
针对每个数据集,计算目标误拒绝率与所述排序数目的乘积,得到乘积结果,并选取排序与所述乘积结果匹配的距离的值,作为所述数据集中各参考图像特征的样本类内特征距离。
17.根据权利要求9-16中任一项所述的方法,其特征在于,所述参考图像特征对应底库样本图像;所述类间参考图像特征或所述类内参考图像特征,对应抓拍样本图像;所述底库样本图像的分辨率高于所述抓拍样本图像的分辨率。
18.一种神经网络模型的训练方法,其特征在于,包括:
获取属于多个训练数据集的各样本图像;各所述样本图像分别标注有类别标签和数据集标签;
将各所述训练样本图像输入初始神经网络模型,得到各所述训练样本图像的参考图像特征;
根据各所述参考图像特征,以及各所述参考图像特征对应的类别标签和数据集标签,计算所述初始神经网络模型的损失函数的值;
根据所述损失函数的值,对所述初始神经网络模型的待训练参数进行调整,得到所述神经网络模型;
其中,当所述初始神经网络模型训练完成时,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;所述数据集特征距离为数据集类间特征距离或数据集类内特征距离,所述数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,所述数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离。
19.根据权利要求18所述的方法,其特征在于,所述神经网络模型包括特征提取网络和距离变换网络,所述特征提取网络已预先训练,所述将各所述训练样本图像输入初始神经网络模型,得到各所述训练样本图像的参考图像特征,包括:
将各所述训练样本图像输入初始神经网络模型的特征提取网络中进行特征提取处理,得到各所述训练样本图像的参考图像特征;以及将各所述样本图像的参考图像特征输入所述初始神经网络模型的距离变换网络,计算各所述参考图像特征的距离变换系数;
相应地,所述根据各所述参考图像特征,以及各所述参考图像特征对应的类别标签和数据集标签,计算所述初始神经网络模型的损失函数的值,包括:
根据各所述参考图像特征和各所述参考图像特征对应的距离变换系数、类别标签和数据集标签,计算特征距离变换损失,以及将所述特征距离变换损失作为所述初始神经网络模型的损失函数的值;
所述根据所述损失函数的值,对所述初始神经网络模型的待训练参数进行调整,得到所述神经网络模型,包括:
根据所述损失函数的值,对所述距离变换网络的待训练参数进行调整,得到所述神经网络模型;
其中,所述特征距离变换损失为期望特征距离和各参考图像特征的变换特征距离之间的损失,所述期望特征距离为变换特征距离的参考值,所述参考图像特征的变换特征距离为所述参考图像特征的样本特征距离和距离变换系数的乘积结果;所述样本特征距离为样本类间特征距离或样本类内特征距离;所述样本类间特征距离,表征与所述参考图像特征属于同一数据集且属于不同类别的其它参考图像特征在特征空间中与所述参考图像特征之间的距离;所述样本类内特征距离,表征与所述参考图像特征属于同一数据集且属于同一类别的其它参考图像特征在特征空间中与所述参考图像特征之间的距离。
20.一种图像识别装置,其特征在于,包括:
图像获取模块,用于获取待识别图像;
特征提取模块,用于将所述待识别图像输入神经网络模型,输出所述待识别图像的目标图像特征;所述神经网络模型是基于属于多个训练数据集的各样本图像进行训练的,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;所述数据集特征距离为数据集类间特征距离或数据集类内特征距离,所述数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,所述数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离;
图像识别模块,用于根据与所述神经网络模型对应的判定阈值,对所述目标图像特征进行图像识别处理,得到所述待识别图像的图像识别结果。
21.一种神经网络模型的训练装置,其特征在于,包括:
样本图像获取模块,用于获取属于多个训练数据集的各样本图像;各所述样本图像分别标注有类别标签和数据集标签;
样本特征提取模块,用于将各所述训练样本图像输入初始神经网络模型,得到各所述训练样本图像的参考图像特征;
损失函数计算模块,用于根据各所述参考图像特征,以及各所述参考图像特征对应的类别标签和数据集标签,计算所述初始神经网络模型的损失函数的值;
神经网络训练模块,用于根据所述损失函数的值,对所述初始神经网络模型的待训练参数进行调整,得到所述神经网络模型;
其中,当所述初始神经网络模型训练完成时,任意两个训练数据集对应的数据集特征距离之间的差值小于预设阈值;所述数据集特征距离为数据集类间特征距离或数据集类内特征距离,所述数据集类间特征距离用于表征属于同一数据集且在特征空间上属于不同类别的任意两个特征点之间的距离,所述数据集类内特征距离用于表征属于同一数据集且在特征空间上属于同一类别的任意两个特征点之间的距离。
22.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至19中任一项所述的方法的步骤。
23.一种图像识别系统,其特征在于,包括拍摄装置和计算机设备;所述拍摄装置用于拍摄获取待识别图像,并将所述待识别图像发送给所述计算机设备进行图像识别;所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至19中任一项所述方法的步骤。
CN201910420357.8A 2019-05-20 2019-05-20 图像识别和神经网络模型的训练方法、装置和系统 Active CN110188641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910420357.8A CN110188641B (zh) 2019-05-20 2019-05-20 图像识别和神经网络模型的训练方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910420357.8A CN110188641B (zh) 2019-05-20 2019-05-20 图像识别和神经网络模型的训练方法、装置和系统

Publications (2)

Publication Number Publication Date
CN110188641A true CN110188641A (zh) 2019-08-30
CN110188641B CN110188641B (zh) 2022-02-01

Family

ID=67716992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910420357.8A Active CN110188641B (zh) 2019-05-20 2019-05-20 图像识别和神经网络模型的训练方法、装置和系统

Country Status (1)

Country Link
CN (1) CN110188641B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569911A (zh) * 2019-09-11 2019-12-13 深圳绿米联创科技有限公司 图像识别方法、装置、系统、电子设备及存储介质
CN110705489A (zh) * 2019-10-09 2020-01-17 北京迈格威科技有限公司 目标识别网络的训练方法、装置、计算机设备和存储介质
CN111062434A (zh) * 2019-12-13 2020-04-24 国网重庆市电力公司永川供电分公司 一种无人机巡检多尺度融合检测方法
CN111242303A (zh) * 2020-01-14 2020-06-05 北京市商汤科技开发有限公司 网络训练方法及装置、图像处理方法及装置
CN111340226A (zh) * 2020-03-06 2020-06-26 北京市商汤科技开发有限公司 一种量化神经网络模型的训练及测试方法、装置及设备
CN111553428A (zh) * 2020-04-30 2020-08-18 北京百度网讯科技有限公司 用于训练判别模型的方法、装置、设备及可读存储介质
CN111639755A (zh) * 2020-06-07 2020-09-08 电子科技大学中山学院 一种网络模型训练方法、装置、电子设备及存储介质
CN111652285A (zh) * 2020-05-09 2020-09-11 济南浪潮高新科技投资发展有限公司 一种茶饼类别识别方法、设备及介质
CN111680697A (zh) * 2020-03-17 2020-09-18 北京大学 实现领域自适应的方法、装置、电子设备及介质
CN111753114A (zh) * 2020-06-04 2020-10-09 北京字节跳动网络技术有限公司 图像预标注方法、装置及电子设备
CN112287966A (zh) * 2020-09-21 2021-01-29 深圳市爱深盈通信息技术有限公司 一种人脸识别方法、装置及电子设备
CN112307934A (zh) * 2020-10-27 2021-02-02 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
CN112529029A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 信息处理方法、神经网络的训练方法、装置及存储介质
CN112561053A (zh) * 2020-11-10 2021-03-26 北京百度网讯科技有限公司 图像处理方法、预训练模型的训练方法、装置和电子设备
CN113468914A (zh) * 2020-03-30 2021-10-01 杭州海康威视数字技术股份有限公司 一种商品纯净度的确定方法、装置及设备
CN113505820A (zh) * 2021-06-23 2021-10-15 北京阅视智能技术有限责任公司 图像识别模型训练方法、装置、设备及介质
WO2021208373A1 (zh) * 2020-04-14 2021-10-21 北京迈格威科技有限公司 图像识别方法、装置、电子设备及计算机可读存储介质
CN113962995A (zh) * 2021-12-21 2022-01-21 北京鹰瞳科技发展股份有限公司 一种白内障模型的训练方法及白内障识别方法
CN114445614A (zh) * 2020-10-16 2022-05-06 技嘉科技股份有限公司 餐饮内容识别方法以及餐饮内容识别系统
CN115797709A (zh) * 2023-01-19 2023-03-14 苏州浪潮智能科技有限公司 一种图像分类方法、装置、设备和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105116872A (zh) * 2015-07-13 2015-12-02 哈尔滨工业大学 一种工业过程中基于度量学习与时间序列的故障诊断方法
CN105138998A (zh) * 2015-09-07 2015-12-09 上海交通大学 基于视角自适应子空间学习算法的行人重识别方法及系统
CN105931646A (zh) * 2016-04-29 2016-09-07 江西师范大学 一种基于简单直接度量学习算法的说话人识别方法
US20170124485A1 (en) * 2015-06-30 2017-05-04 International Business Machines Corporation Feature selection algorithm under conditions of noisy data and limited recording
CN108765261A (zh) * 2018-04-13 2018-11-06 北京市商汤科技开发有限公司 图像变换方法和装置、电子设备、计算机存储介质、程序
CN109102004A (zh) * 2018-07-23 2018-12-28 鲁东大学 棉花害虫识别分类方法及装置
CN109271960A (zh) * 2018-10-08 2019-01-25 燕山大学 一种基于卷积神经网络的人数统计方法
CN110070030A (zh) * 2019-04-18 2019-07-30 北京迈格威科技有限公司 图像识别与神经网络模型的训练方法、装置和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124485A1 (en) * 2015-06-30 2017-05-04 International Business Machines Corporation Feature selection algorithm under conditions of noisy data and limited recording
CN105116872A (zh) * 2015-07-13 2015-12-02 哈尔滨工业大学 一种工业过程中基于度量学习与时间序列的故障诊断方法
CN105138998A (zh) * 2015-09-07 2015-12-09 上海交通大学 基于视角自适应子空间学习算法的行人重识别方法及系统
CN105931646A (zh) * 2016-04-29 2016-09-07 江西师范大学 一种基于简单直接度量学习算法的说话人识别方法
CN108765261A (zh) * 2018-04-13 2018-11-06 北京市商汤科技开发有限公司 图像变换方法和装置、电子设备、计算机存储介质、程序
CN109102004A (zh) * 2018-07-23 2018-12-28 鲁东大学 棉花害虫识别分类方法及装置
CN109271960A (zh) * 2018-10-08 2019-01-25 燕山大学 一种基于卷积神经网络的人数统计方法
CN110070030A (zh) * 2019-04-18 2019-07-30 北京迈格威科技有限公司 图像识别与神经网络模型的训练方法、装置和系统

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569911A (zh) * 2019-09-11 2019-12-13 深圳绿米联创科技有限公司 图像识别方法、装置、系统、电子设备及存储介质
CN110569911B (zh) * 2019-09-11 2022-06-07 深圳绿米联创科技有限公司 图像识别方法、装置、系统、电子设备及存储介质
CN112529029A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 信息处理方法、神经网络的训练方法、装置及存储介质
CN110705489B (zh) * 2019-10-09 2022-07-26 北京迈格威科技有限公司 目标识别网络的训练方法、装置、计算机设备和存储介质
CN110705489A (zh) * 2019-10-09 2020-01-17 北京迈格威科技有限公司 目标识别网络的训练方法、装置、计算机设备和存储介质
CN111062434A (zh) * 2019-12-13 2020-04-24 国网重庆市电力公司永川供电分公司 一种无人机巡检多尺度融合检测方法
CN111242303A (zh) * 2020-01-14 2020-06-05 北京市商汤科技开发有限公司 网络训练方法及装置、图像处理方法及装置
CN111242303B (zh) * 2020-01-14 2023-12-01 北京市商汤科技开发有限公司 网络训练方法及装置、图像处理方法及装置
CN111340226A (zh) * 2020-03-06 2020-06-26 北京市商汤科技开发有限公司 一种量化神经网络模型的训练及测试方法、装置及设备
CN111680697A (zh) * 2020-03-17 2020-09-18 北京大学 实现领域自适应的方法、装置、电子设备及介质
CN111680697B (zh) * 2020-03-17 2024-03-22 北京大学 实现领域自适应的方法、装置、电子设备及介质
CN113468914B (zh) * 2020-03-30 2023-08-29 杭州海康威视数字技术股份有限公司 一种商品纯净度的确定方法、装置及设备
CN113468914A (zh) * 2020-03-30 2021-10-01 杭州海康威视数字技术股份有限公司 一种商品纯净度的确定方法、装置及设备
WO2021208373A1 (zh) * 2020-04-14 2021-10-21 北京迈格威科技有限公司 图像识别方法、装置、电子设备及计算机可读存储介质
CN111553428A (zh) * 2020-04-30 2020-08-18 北京百度网讯科技有限公司 用于训练判别模型的方法、装置、设备及可读存储介质
CN111553428B (zh) * 2020-04-30 2024-01-12 北京百度网讯科技有限公司 用于训练判别模型的方法、装置、设备及可读存储介质
CN111652285A (zh) * 2020-05-09 2020-09-11 济南浪潮高新科技投资发展有限公司 一种茶饼类别识别方法、设备及介质
CN111753114A (zh) * 2020-06-04 2020-10-09 北京字节跳动网络技术有限公司 图像预标注方法、装置及电子设备
CN111639755A (zh) * 2020-06-07 2020-09-08 电子科技大学中山学院 一种网络模型训练方法、装置、电子设备及存储介质
CN111639755B (zh) * 2020-06-07 2023-04-25 电子科技大学中山学院 一种网络模型训练方法、装置、电子设备及存储介质
CN112287966A (zh) * 2020-09-21 2021-01-29 深圳市爱深盈通信息技术有限公司 一种人脸识别方法、装置及电子设备
CN114445614A (zh) * 2020-10-16 2022-05-06 技嘉科技股份有限公司 餐饮内容识别方法以及餐饮内容识别系统
TWI754515B (zh) * 2020-10-27 2022-02-01 大陸商深圳市商湯科技有限公司 圖像檢測及相關模型訓練方法、設備及電腦可讀儲存介質
CN112307934B (zh) * 2020-10-27 2021-11-09 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
CN112307934A (zh) * 2020-10-27 2021-02-02 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
CN112561053A (zh) * 2020-11-10 2021-03-26 北京百度网讯科技有限公司 图像处理方法、预训练模型的训练方法、装置和电子设备
CN112561053B (zh) * 2020-11-10 2023-09-08 北京百度网讯科技有限公司 图像处理方法、预训练模型的训练方法、装置和电子设备
CN113505820B (zh) * 2021-06-23 2024-02-06 北京阅视智能技术有限责任公司 图像识别模型训练方法、装置、设备及介质
CN113505820A (zh) * 2021-06-23 2021-10-15 北京阅视智能技术有限责任公司 图像识别模型训练方法、装置、设备及介质
CN113962995B (zh) * 2021-12-21 2022-04-19 北京鹰瞳科技发展股份有限公司 一种白内障模型的训练方法及白内障识别方法
CN113962995A (zh) * 2021-12-21 2022-01-21 北京鹰瞳科技发展股份有限公司 一种白内障模型的训练方法及白内障识别方法
CN115797709A (zh) * 2023-01-19 2023-03-14 苏州浪潮智能科技有限公司 一种图像分类方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN110188641B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN110188641A (zh) 图像识别和神经网络模型的训练方法、装置和系统
KR102554724B1 (ko) 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을 실행하기 위한 모바일 디바이스
Hossain et al. Improving consumer satisfaction in smart cities using edge computing and caching: A case study of date fruits classification
CN105608447B (zh) 对人体面部微笑表情深度卷积神经网络的检测方法
CN110188795A (zh) 图像分类方法、数据处理方法和装置
CN107871100A (zh) 人脸模型的训练方法和装置、人脸认证方法和装置
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN109711228B (zh) 一种实现图像识别的图像处理方法及装置、电子设备
CN108960288B (zh) 基于卷积神经网络的三维模型分类方法及系统
CN104834941A (zh) 基于计算机输入下的稀疏自编码的脱机手写体识别方法
Reddy et al. Ocularnet: deep patch-based ocular biometric recognition
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
Khadhraoui et al. Features selection based on modified PSO algorithm for 2D face recognition
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
CN109993042A (zh) 一种人脸识别方法及其装置
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN109726756A (zh) 图像处理方法、装置、电子设备及存储介质
Ahmed et al. Face recognition system using histograms of oriented gradients and convolutional neural network based on with particle swarm optimization
CN112232147B (zh) 用于人脸模型超参数自适应获取的方法、装置和系统
CN109919041A (zh) 一种基于智能机器人的人脸识别方法
Wang et al. MsRAN: A multi-scale residual attention network for multi-model image fusion
Liang et al. Facial feature extraction method based on shallow and deep fusion CNN
Bhad et al. Content based image retrieval a comparative based analysis for feature extraction approach
Li et al. A robust incremental learning framework for accurate skin region segmentation in color images
Song et al. Face anti-spoofing detection using least square weight fusion of channel-based feature classifiers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant