CN111339884A - 图像识别方法以及相关设备、装置 - Google Patents

图像识别方法以及相关设备、装置 Download PDF

Info

Publication number
CN111339884A
CN111339884A CN202010102911.0A CN202010102911A CN111339884A CN 111339884 A CN111339884 A CN 111339884A CN 202010102911 A CN202010102911 A CN 202010102911A CN 111339884 A CN111339884 A CN 111339884A
Authority
CN
China
Prior art keywords
images
feature
detected
similarity value
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010102911.0A
Other languages
English (en)
Other versions
CN111339884B (zh
Inventor
葛主贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010102911.0A priority Critical patent/CN111339884B/zh
Publication of CN111339884A publication Critical patent/CN111339884A/zh
Application granted granted Critical
Publication of CN111339884B publication Critical patent/CN111339884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像识别方法以及相关设备、装置,其中,图像识别方法包括:获取两个待测图像,以及特征提取模型,其中,特征提取模型包括顺序连接的卷积层和全连接层;将两个待测图像输入特征提取模型进行特征提取,得到与卷积层对应的特征图和与全连接层对应的特征向量;分别基于两个待测图像各自的特征图,得到两个待测图像对应的特征分布数据;获取两个待测图像的特征向量之间的第一相似度值,并获取两个待测图像对应的特征分布数据之间的第二相似度值;基于第一相似度值和第二相似度值,确定两个待测图像中的目标对象之间的相似度情况。上述方案,能够提高图像相似度比对的准确性。

Description

图像识别方法以及相关设备、装置
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像识别方法以及相关设备、装置。
背景技术
随着信息技术的提高,人们越来越青睐于使用计算机、移动终端、摄像器件等电子设备对图像进行处理,以满足多种业务需求。
目前,在多种业务需求中,对于两张图像之间的相似度对比,由于其对比结果往往具有一定的参考价值而被广泛关注。然而,在实际应用中,由于各种不确定因素,以及图像的多变性,待测图像可能是具有较高图像质量的图像,也可能是模糊的,或是存在遮挡等的图像(如对于人脸相似度对比,待测图像中的人脸可能存在眼部遮挡、口鼻遮挡等),甚至还可能是与目标对象无关的图像(如对于目标对象为人脸而言,待测图像可能错误输入为动物脸图像、卡通脸图像等),从而在相似比对时可能造成误检。有鉴于此,如何提高图像相似度比对的准确性成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种图像识别方法以及相关设备、装置,能够提高图像相似度比对的准确性。
为了解决上述问题,本申请第一方面提供了一种图像识别方法,包括:获取两个待测图像,以及特征提取模型,其中,特征提取模型包括顺序连接的卷积层和全连接层;将两个待测图像输入特征提取模型进行特征提取,得到与卷积层对应的特征图和与全连接层对应的特征向量;分别基于两个待测图像各自的特征图,得到两个待测图像对应的特征分布数据;获取两个待测图像的特征向量之间的第一相似度值,并获取两个待测图像对应的特征分布数据之间的第二相似度值;基于第一相似度值和第二相似度值,确定两个待测图像中的目标对象之间的相似度情况。
为了解决上述问题,本申请第二方面提供了一种图像识别设备,包括相互耦接的存储器和处理器,存储器存储有程序指令,处理器用于执行程序指令以实现上述第一方面中的图像识别方法。
为了解决上述问题,本申请第三方面提供了一种存储装置,存储有能够被处理器运行的程序指令,程序指令用于上述第一方面中的图像识别方法。
上述方案,将两个待测图像分别输入特征提取模型进行特征提取,从而得到与卷积层对应的特征图和与全连接层对应的特征向量,并分别基于两个待测图像各自的特征图,得到两个待测图像对应的特征分布数据,从而获取两个待测图像的特征向量之间的第一相似度值,以及获取两个待测图像对应的特征分布数据之间的第二相似度值,进而综合第一相似度值和第二相似度值,来确定两个待测图像中的目标对象之间的相似度情况,能够增加用以判断两个待测图像中目标对象之间相似度情况的因素,从而有利于提高相似度比对的准确性。
附图说明
图1是本申请图像识别方法一实施例的流程示意图;
图2是图像识别系统一实施例的框架示意图;
图3是本申请图像识别方法另一实施例的流程示意图;
图4是图像识别系统另一实施例的框架示意图;
图5是本申请图像识别装置一实施例的框架示意图;
图6是本申请图像识别设备一实施例的框架示意图;
图7是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请图像识别方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取两个待测图像,以及特征提取模型。
本实施例中,特征提取模型包括顺序连接的卷积层和全连接层。例如,对于将人脸作为目标对象的场景而言,特征提取模型可以利用多个人脸图像进行训练得到的,对于其他场景,可以以此类推,在此不再一一举例。在一个实施场景中,特征提取模型可以包括但不限于:LeNet-5、VGGNet、ResNet。
在一个实施场景中,待测图像可以是摄像器件拍摄得到的图像,例如,待测图像可以是设置于商业街、酒店大堂、车站的监控相机所拍摄得到的;或者,待测图像也可以是从互联网下载得到的图像;或者,待测图像还可以是通过手机、平板电脑等移动终端拍摄得到的图像,在此不做限定。
请结合参阅图2,图2是图像识别系统一实施例的框架示意图,如图2所示,为了便于描述,采用内部填充空白的矩形表示待测图像,在实际应用中,待测图像可以为包括任意图像数据的图像,例如,人脸图像、自然图像等等,在此不做限定。
步骤S12:将两个待测图像输入特征提取模型进行特征提取,得到与卷积层对应的特征图和与全连接层对应的特征向量。
将两个待测图像输入到特征提取模型中进行特征提取,可以分别得到与卷积层对应的特征图,以及与全连接层对应的特征向量,从而能够不需训练其他模型,能够减轻处理负荷。
步骤S13:分别基于两个待测图像各自的特征图,得到两个待测图像对应的特征分布数据。
本实施例中,特征分布数据用于表示与目标相关的特征响应和与目标无关的特征的响应的分布情况。如图2所示,位于图2中上侧的特征分布数据表示与位于图2中上侧的待测图像对应的特征分布数据,而位于图2中下侧的特征分布数据表示与位于图像下侧的待测图像的对应的特征分布数据,图2所示的特征分布数据仅仅作为示意,本申请实施例不对特征分布数据做具体限定。在一个具体的实施场景中,特征分布数据可使用热力图(heatmap)来表示,例如,与目标相关的部分特征响应较大,可以采用红色、橙色等暖色系表示,与目标无关的部分特征响应较小,可以采用蓝色、绿色等冷色系表示,在此不做限定。
在一个实施场景中,特征提取模型的卷积层可以包含多个,为了确保待测图像各自的特征图之间尺寸的一致性,可以从上述多个卷积层中选定一个作为输出特征图的使用层,从而可以分别基于两个待测图像与实用层对应的各自的特征图,得到两个待测图像对应的特征分布数据。
步骤S14:获取两个待测图像的特征向量之间的第一相似度值,并获取两个待测图像对应的特征分布数据之间的第二相似度值。
在一个实施场景中,为了快速地获取两个待测图像的特征向量之间的第一相似度值,可以基于第一预设相似度函数对两个待测图像的特征向量进行处理的,从而得到第一相似度值,具体地,第一预设相似度函数可以包括欧氏距离函数、余弦距离函数中的任一种。此外,在一个具体的实施场景中,第一预设相似度函数还可以包括但不限于:曼哈顿距离函数、汉明距离函数,在此不做限定。
在一个具体的实施场景中,当基于欧氏距离函数对两个待测图像的特征向量进行处理时,可以表示为下式:
Figure BDA0002387463760000041
上式中,d(x,y)表示第一相似度值,xi、yi表示两个待测图像的特征向量中第i个元素,N表示特征向量中元素的总个数。
在一个具体的实施场景中,当基于余弦距离函数对两个待测图像的特征向量进行处理时,可以表示为下式:
Figure BDA0002387463760000051
上式中,d(x,y)表示第一相似度值,xi、yi表示两个待测图像的特征向量中第i个元素,N表示特征向量中元素的总个数。
在一个实施场景中,为了快速地获取两个待测图像对应的特征分布数据之间的第二相似度值,可以分别对两个待测图像对应的特征分布数据进行归一化处理,并基于第二预设相似度函数对归一化处理后的两个特征分布数据进行处理,得到第二相似度值。在一个具体的实施场景中,在进行归一化处理时,可以分别计算两个待测图像对应的特征分布数据中各个元素平方和的根,作为对应特征分布数据的基准值,具体地,可以采用Frobenius范数求取基准值,具体可以表示为下式:
Figure BDA0002387463760000052
上式中,||A||F表示基准值,Li,j表示特征分布数据中第(i,j)个元素(即第i行第j列元素),m、n分别表示特征分布数据中元素的行数和列数。
进一步地,在进行归一化处理时,还可以分别计算两个待测图像对应的特征分布数据中各个元素与对应的基准值的比值,作为对应归一化处理后的特征分布数据,具体地,可以表示为下式:
Figure BDA0002387463760000053
上式中,||A||F表示基准值,Li,j表示特征分布数据中第(i,j)个元素(即第i行第j列元素),L′i,j表示归一化处理后的特征分布数据中第(i,j)个元素(即第i行第j列元素)。
在另一个具体的实施场景中,第二相似度函数可以表示为:
Figure BDA0002387463760000061
上式中,L1、L2分别表示其中一个待测图像对应的特征分布数据和另一个待测图像对应的特征分布数据,d(L1,L2)表示两个待测图像对应的特征分布数据之间的第二相似度值,
Figure BDA0002387463760000062
表示其中一个待测图像对应的归一化后的特征分布数据中第(i,j)个元素(即第i行第j列元素),
Figure BDA0002387463760000063
表示另一个待测图像对应的归一化后的特征分布数据中第(i,j)个元素(即第i行第j列元素),m、n分别表示特征分布数据中元素的行数和列数。
步骤S15:基于第一相似度值和第二相似度值,确定两个待测图像中的目标对象之间的相似度情况。
本申请实施例中,第一相似度值可以表示两个待测图像的图像特征之间的相似度,例如,当待测图像均包含同一目标对象(例如,待测图像包含同一人脸图像)时,两者之间的第一相似度值较高,而当待测图像均不包含目标对象(例如,待测对象均不包含人脸图像,但包含同一卡通脸)时,两者之间的第一相似度值也可能较高,故仅采用第一相似度值进行相似度识别可能会产生误报,即存在可信度缺失的问题,而第二相似度值可以表示两个待测图像对应的特征分布数据之间的相似度情况,由于在诸如模糊图像等低质量目标图像中与目标对象相关的特征较为分散,而在诸如遮挡图像等低质量目标图像中与目标对象相关的特征也较为分散或呈现局部性特点,故当两个待测图像中只要其中一者为低质量目标图像时,第二相似度值较小,故若第二相似度值越大,两个待测图像为包含目标对象且清晰、无遮挡的高质量目标图像的概率越高,在此基础上,计算得到的第一相似度值的可信度越高,反之,若第二相似度值越小,两个待测图像为高质量目标图像的概率越小,在此基础上,计算得到的第一相似度值的可信度越低。例如,上述第一相似度值d(x,y)=0.98,而上述第二相似度值d(L1,L2)=0.2,即表示两个待测图像中的目标对象存在98%的相似度,但是该相似度比对结果只有20%的可信度,第二相似度值d(L1,L2)=0.2说明了输入的两个待测图像的特征分布数据之间差异性较大,可能是两张与目标对象无关的图像(例如,对于目标对象为人脸时,输入的待测图像可能是动物脸图像、卡通脸图像),也可能是因为这两个待测图像中与目标对应相关的特征重叠信息较少(例如,一个待测图像中目标对象遮挡了眼睛,另一个待测图像中目标对象遮挡了口鼻)。或者,例如,上述第一相似度值d(x,y)=0.20,而上述第二相似度值d(L1,L2)=0.98,即表示两个待测图像中的目标对象存在20%的相似度,且该相似度比对结果有98%的可信度,第二相似度值d(L1,L2)=0.98说明了输入的两个待测图像的特征分布数据之间的重叠信息较多,两个待测图像均为高质量目标图像的可能性较大,且第一相似度值d(x,y)=0.20说明了输入的两个待测图像中目标对象之间的相似度较低。或者,例如,上述第一相似度值d(x,y)=0.20,上述第二相似度值d(L1,L2)=0.20,即表示两个待测图像中的目标对象存在20%的相似度,且该相似度比对结果只有20%的可信度,第二相似度值d(L1,L2)=0.2说明了输入的两个待测图像的特征分布数据之间差异性较大,可能是两张与目标对象无关的图像(例如,对于目标对象为人脸时,输入的待测图像可能是动物脸图像、卡通脸图像),也可能是因为这两个待测图像中与目标对应相关的特征重叠信息较少(例如,一个待测图像中目标对象遮挡了眼睛,另一个待测图像中目标对象遮挡了口鼻)。或者,例如,上述第一相似度值d(x,y)=0.98,上述第二相似度值d(L1,L2)=0.98,即表示两个待测图像中的目标对象存在98%的相似度,且该相似度比对结果有98%的可信度,第二相似度值d(L1,L2)=0.98说明了输入的两个待测图像的特征分布数据之间的重叠信息较多,两个待测图像均为高质量目标图像的可能性较大,且第一相似度值d(x,y)=0.98说明了输入的两个待测图像中目标对象之间的相似度较高。
在一个实施场景中,为了快速地确定两个待测图像中的目标对象之间的相似度情况,可以利用预设相似度融合函数对第一相似度值和第二相似度值进行处理,得到两个待测图像中的目标对象之间的融合相似度值,融合相似度值越大,两个待测图像中的目标对象之间越相似且可信度越高。具体地,预设相似度融合函数可以包括以下公式1、公式2中的任一者:
dr=d1d2 (1)
Figure BDA0002387463760000081
其中,d1为第一相似度值,d2为第二相似度值,dr为融合相似度值,ε为一趋近于0的预设值(例如,0.00001、0.0000001等)。此外,在一个具体的实施场景中,预设相似度融合函数也可以以上述公式(1)、公式(2)之外的形式表示,且本申请实施例中,第一相似度值d1和第二相似度值d2与融合相似度值dr均为正相关关系。
例如,第一相似度值为0.98,第二相似度值为0.2,则可以利用公式1计算得到融合相似度值为0.196。对该融合相似度值进行分析,可以确定两个待测图像中的目标对象可能相似度较低,也可能由于存在低质量目标图像导致可信度较低,或者,两个待测图像中的目标对象不仅相似度较低,可信度也较低,总而言之,可以认为两个待测图像中的目标对象相似度较低。
又例如,第一相似度值为0.2,第二相似度值为0.98,则可以利用公式1计算得到融合相似度值为0.196。如前所述,对该融合相似度值进行分析,可以认为两个待测图像中的目标对象相似度较低。
又例如,第一相似度值为0.2,第二相似度值为0.2,则可以利用公式1计算得到融合相似度值为0.04。如前所述,对该融合相似度值进行分析,可以认为两个待测图像中的目标对象相似度较低。
又例如,第一相似度值为0.98,第二相似度值为0.98,则可以利用公式1计算得到融合相似度值为0.9604。如前所述,对该融合相似度值进行分析,可以认为两个待测图像中的目标对象相似度较高。
当采用公式2计算融合相似度值时,可以以此类推,在此不再一一举例。
上述方案,将两个待测图像分别输入特征提取模型进行特征提取,从而得到与卷积层对应的特征图和与全连接层对应的特征向量,并分别基于两个待测图像各自的特征图,得到两个待测图像对应的特征分布数据,从而获取两个待测图像的特征向量之间的第一相似度值,以及获取两个待测图像对应的特征分布数据之间的第二相似度值,进而综合第一相似度值和第二相似度值,来确定两个待测图像中的目标对象之间的相似度情况,能够增加用以判断两个待测图像中目标对象之间相似度情况的因素,从而有利于提高相似度比对的准确性。
请参阅图3,图3是本申请图像识别方法另一实施例的流程示意图。具体而言,本实施例中,特征提取模型包括顺序连接的多个卷积层,且每个卷积层包括多个卷积核,例如,每个卷积层可以包括8个卷积核,每个卷积核进行特征提取时,均能够得到一对应的特征图。具体地,可以包括如下步骤:
步骤S31:获取两个待测图像,以及特征提取模型。
本实施例中,特征提取模型包括顺序连接的卷积层和全连接层。在一个实施场景中,卷积层中的多个卷积核的尺寸可以为3*3、5*5等等。具体可以参阅前述实施例中的相关步骤,在此不再赘述。
步骤S32:分别将两个待测图像输入特征提取模型,以利用多个卷积层进行特征提取。
本实施例中,多个卷积层具体可以包括8个卷积层、10个卷积层、12个卷积层等,在此不做限定。
具体请参阅前述实施例中的相关步骤。
步骤S33:获取第预设数值层卷积层的多个卷积核分别提取得到的多个特征图。
本实施例中,预设数值可以根据实际情况进行设置,例如,6、8、10等等,在此不做限定。
在一个具体的实施场景中,第预设数值层卷积层的多个卷积核分别提取得到的多个特征图可以表示为
Figure BDA0002387463760000091
其中,k表示多个特征图中的第k个,(i,j)表示特征图中的第i行第j列。
步骤S34:对于每个待测图像对应的多个特征图,利用多个预设权重分别对多个特征图进行加权处理,得到两个待测图像对应的特征分布数据。
请参阅图4,图4是图像识别系统另一实施例的框架示意图,如图4所示,为了便于描述,采用内部填充为空白的矩形表示待测图像,在实际应用中,待测图像可以包含任意图像数据的图像,例如,人脸图像、自然图像等等,在此不做限定。在一个具体的实施场景中,上述多个特征图
Figure BDA0002387463760000101
对应的预设权重可以表示为wk,故利用多个预设权重分别对多个特征图进行加权处理,可以表示为:
Figure BDA0002387463760000102
上式中,Li,j表示特征分布数据中第i行第j个元素,
Figure BDA0002387463760000103
表示多个特征图中第k个特征图中第i行第j个元素,wk表示与第k个特征图对应的预设权重。
在一个实施场景中,利用多个预设权重分别对多个特征图进行加权处理之后,还可以预设激活函数对加权处理结果进行激活处理,从而得到与待测图像对应的特征分布数据。在一个具体的实施场景中,预设激活函数可以为ReLU(Rectified Linear Unit,线性整流单元)函数。
在一个实施场景中,加权处理后得到的数据与特征图的尺寸相同,为了使后续的特征分布数据与待测图像的尺寸相同,从而能够将特征分布数据反应在待测图像上,还可以将加权处理结果进行上采样,从而得到特征部分数据,且上采样所得到的特征分布数据和待测图像的尺寸相同。
步骤S35:获取与特征提取模型的全连接层对应的特征向量。
具体请参阅前述实施例中的相关步骤。
步骤S36:获取两个待测图像的特征向量之间的第一相似度值,并获取两个待测图像对应的特征分布数据之间的第二相似度值。
具体可以参阅前述实施例中的相关步骤。
步骤S37:基于第一相似度值和第二相似度值,确定两个待测图像中的目标对象之间的相似度情况。
具体可以参阅前述实施例中的相关步骤。
区别于前述实施例,特征提取模型包括顺序连接的多个卷积层,每个卷积层包括多个卷积核,从而分别将两个待测图像输入特征提取模型,以利用多个卷积层进行特征提取,进而获取第预设数值层卷积层的多个卷积核分别提取得到的多个特征图,以对于每个待测图像对应的多个特征图,利用多个预设权重分别对多个特征图进行加权处理,得到两个待测图像对应的特征分布数据,能够表示特征有效信息的分布。
请参阅图5,图5是本申请图像识别装置50一实施例的框架示意图。图像识别装置50包括图像获取模块51、特征提取模块52、分布获取模块53、相似计算模块54和相似确定模块55,图像获取模块51用于获取两个待测图像,以及特征提取模型,其中,特征提取模型包括顺序连接的卷积层和全连接层;特征提取模块52用于将两个待测图像输入特征提取模型进行特征提取,得到与卷积层对应的特征图和与全连接层对应的特征向量;分布获取模块53用于分别基于两个待测图像各自的特征图,得到两个待测图像对应的特征分布数据;相似计算模块54用于获取两个待测图像的特征向量之间的第一相似度值,并获取两个待测图像对应的特征分布数据之间的第二相似度值;相似确定模块55用于基于第一相似度值和第二相似度值,确定两个待测图像中的目标对象之间的相似度情况。
上述方案,将两个待测图像分别输入特征提取模型进行特征提取,从而得到与卷积层对应的特征图和与全连接层对应的特征向量,并分别基于两个待测图像各自的特征图,得到两个待测图像对应的特征分布数据,从而获取两个待测图像的特征向量之间的第一相似度值,以及获取两个待测图像对应的特征分布数据之间的第二相似度值,进而综合第一相似度值和第二相似度值,来确定两个待测图像中的目标对象之间的相似度情况,能够增加用以判断两个待测图像中目标对象之间相似度情况的因素,从而有利于提高相似度比对的准确性。
在一些实施例中,相似确定模块55具体用于利用预设相似度融合函数对第一相似度值和第二相似度值进行处理,得到两个待测图像中的目标对象之间的融合相似度值;其中,融合相似度值越大,两个待测图像中的目标对象之间越相似且可信度越高。
区别于前述实施例,利用预设相似度融合函数对第一相似度值和第二相似度值进行处理,得到两个待测图像中的目标对象之间的融合相似度值,融合相似度值越大,两个待测图像中的目标对象之间越相似,且两个待测图像中的目标对象相似的可信度越高,从而能够快速地确定两个待测图像中的目标对象之间的相似度情况。
在一些实施例中,预设相似度融合函数包括以下公式1、公式2中的任一者:
dr=d1d2 (1)
Figure BDA0002387463760000121
其中,d1为第一相似度值,d2为第二相似度值,dr为融合相似度值,ε为一趋近于0的预设值。
在一些实施例中,第一相似度值越大,两个待测图像的图像特征越相似,第二相似度值越大,两个待测图像之间具有第一相似度值的可信度越高。
在一些实施例中,特征提取模型包括顺序连接的多个卷积层,每个卷积层包括多个卷积核,特征提取模块52包括卷积提取单元,用于分别将两个待测图像输入特征提取模型,以利用多个卷积层进行特征提取,特征提取模块52还包括特征图获取单元,用于获取第预设数值层卷积层的多个卷积核分别提取得到的多个特征图,分布获取模块53具体用于对于每个待测图像对应的多个特征图,利用多个预设权重分别对多个特征图进行加权处理,得到两个待测图像对应的特征分布数据。
区别于前述实施例,特征提取模型包括顺序连接的多个卷积层,每个卷积层包括多个卷积核,从而分别将两个待测图像输入特征提取模型,以利用多个卷积层进行特征提取,进而获取第预设数值层卷积层的多个卷积核分别提取得到的多个特征图,以对于每个待测图像对应的多个特征图,利用多个预设权重分别对多个特征图进行加权处理,得到两个待测图像对应的特征分布数据,能够表示特征有效信息的分布。
在一些实施例中,相似计算模块54包括第一计算子模块,用于基于第一预设相似度函数对两个待测图像的特征向量进行处理,得到第一相似度值;其中,第一预设相似度函数包括欧氏距离函数、余弦距离函数中的任一种。
在一些实施例中,相似计算模块54还包括归一化处理子模块,用于分别对两个待测图像对应的特征分布数据进行归一化处理,相似计算模块54还包括第二计算子模块,用于基于第二预设相似度函数对归一化处理后的两个特征分布数据进行处理,得到第二相似度值。
在一些实施例中,归一化处理子模块包括基准值计算单元,用于分别计算两个待测图像对应的特征分布数据中各个元素平方和的根,作为对应特征分布数据的基准值,归一化处理子模块包括特征分布计算单元,用于分别计算两个待测图像对应的特征分布数据中各个元素与对应基准值的比值,作为对应归一化处理后的特征分布数据。
请参阅图6,图6是本申请图像识别设备60一实施例的框架示意图。图像识别设备60包括相互耦接的存储器61和处理器62,存储器61存储有程序指令,处理器62用于执行程序指令以实现上述任一图像识别方法实施例中的步骤。
具体而言,处理器62用于控制其自身以及存储器61以实现上述任一图像识别方法实施例中的步骤。处理器62还可以称为CPU(Central Processing Unit,中央处理单元)。处理器62可能是一种集成电路芯片,具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器62可以由多个集成电路芯片共同实现。
本实施例中,处理器62用于获取两个待测图像,以及特征提取模型,其中,特征提取模型包括顺序连接的卷积层和全连接层;处理器62用于将两个待测图像输入特征提取模型进行特征提取,得到与卷积层对应的特征图和与全连接层对应的特征向量;处理器62用于分别基于两个待测图像各自的特征图,得到两个待测图像对应的特征分布数据;处理器62用于获取两个待测图像的特征向量之间的第一相似度值,并获取两个待测图像对应的特征分布数据之间的第二相似度值;处理器62用于基于第一相似度值和第二相似度值,确定两个待测图像中的目标对象之间的相似度情况。
上述方案,将两个待测图像分别输入特征提取模型进行特征提取,从而得到与卷积层对应的特征图和与全连接层对应的特征向量,并分别基于两个待测图像各自的特征图,得到两个待测图像对应的特征分布数据,从而获取两个待测图像的特征向量之间的第一相似度值,以及获取两个待测图像对应的特征分布数据之间的第二相似度值,进而综合第一相似度值和第二相似度值,来确定两个待测图像中的目标对象之间的相似度情况,能够增加用以判断两个待测图像中目标对象之间相似度情况的因素,从而有利于提高相似度比对的准确性。
在一些实施例中,处理器62用于利用预设相似度融合函数对第一相似度值和第二相似度值进行处理,得到两个待测图像中的目标对象之间的融合相似度值;其中,融合相似度值越大,两个待测图像中的目标对象之间越相似且可信度越高。
区别于前述实施例,利用预设相似度融合函数对第一相似度值和第二相似度值进行处理,得到两个待测图像中的目标对象之间的融合相似度值,融合相似度值越大,两个待测图像中的目标对象之间越相似,且两个待测图像中的目标对象相似的可信度越高,从而能够快速地确定两个待测图像中的目标对象之间的相似度情况。
在一些实施例中,预设相似度融合函数包括以下公式1、公式2中的任一者:
dr=d1d2 (1)
Figure BDA0002387463760000141
其中,d1为第一相似度值,d2为第二相似度值,dr为融合相似度值,ε为一趋近于0的预设值。
在一些实施例中,第一相似度值越大,两个待测图像的图像特征越相似,第二相似度值越大,两个待测图像之间具有第一相似度值的可信度越高。
在一些实施例中,特征提取模型包括顺序连接的多个卷积层,每个卷积层包括多个卷积核,处理器62用于分别将两个待测图像输入特征提取模型,以利用多个卷积层进行特征提取;处理器62用于获取第预设数值层卷积层的多个卷积核分别提取得到的多个特征图;处理器62用于对于每个待测图像对应的多个特征图,利用多个预设权重分别对多个特征图进行加权处理,得到两个待测图像对应的特征分布数据。
区别于前述实施例,特征提取模型包括顺序连接的多个卷积层,每个卷积层包括多个卷积核,从而分别将两个待测图像输入特征提取模型,以利用多个卷积层进行特征提取,进而获取第预设数值层卷积层的多个卷积核分别提取得到的多个特征图,以对于每个待测图像对应的多个特征图,利用多个预设权重分别对多个特征图进行加权处理,得到两个待测图像对应的特征分布数据,能够表示特征有效信息的分布。
在一些实施例中,处理器62还用于基于第一预设相似度函数对两个待测图像的特征向量进行处理,得到第一相似度值;其中,第一预设相似度函数包括欧氏距离函数、余弦距离函数中的任一种。
在一些实施例中,处理器62还用于分别对两个待测图像对应的特征分布数据进行归一化处理;处理器62还用于基于第二预设相似度函数对归一化处理后的两个特征分布数据进行处理,得到第二相似度值。
在一些实施例中,处理器62还用于分别计算两个待测图像对应的特征分布数据中各个元素平方和的根,作为对应特征分布数据的基准值;处理器62还用于分别计算两个待测图像对应的特征分布数据中各个元素与对应基准值的比值,作为对应归一化处理后的特征分布数据。
请参阅图7,图7为本申请存储装置70一实施例的框架示意图。存储装置70存储有能够被处理器运行的程序指令701,程序指令701用于实现上述任一图像识别方法实施例中的步骤。
上述方案,将两个待测图像分别输入特征提取模型进行特征提取,从而得到与卷积层对应的特征图和与全连接层对应的特征向量,并分别基于两个待测图像各自的特征图,得到两个待测图像对应的特征分布数据,从而获取两个待测图像的特征向量之间的第一相似度值,以及获取两个待测图像对应的特征分布数据之间的第二相似度值,进而综合第一相似度值和第二相似度值,来确定两个待测图像中的目标对象之间的相似度情况,能够增加用以判断两个待测图像中目标对象之间相似度情况的因素,从而有利于提高相似度比对的准确性。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种图像识别方法,其特征在于,包括:
获取两个待测图像,以及特征提取模型,其中,所述特征提取模型包括顺序连接的卷积层和全连接层;
将所述两个待测图像输入所述特征提取模型进行特征提取,得到与所述卷积层对应的特征图和与所述全连接层对应的特征向量;
分别基于所述两个待测图像各自的特征图,得到所述两个待测图像对应的特征分布数据;
获取所述两个待测图像的所述特征向量之间的第一相似度值,并获取所述两个待测图像对应的所述特征分布数据之间的第二相似度值;
基于所述第一相似度值和所述第二相似度值,确定所述两个待测图像中的目标对象之间的相似度情况。
2.根据权利要求1所述的图像识别方法,其特征在于,所述基于所述第一相似度值和所述第二相似度值,确定所述两个待测图像中的目标对象之间的相似度情况包括:
利用预设相似度融合函数对所述第一相似度值和所述第二相似度值进行处理,得到所述两个待测图像中的目标对象之间的融合相似度值;
其中,所述融合相似度值越大,所述两个待测图像中的目标对象之间越相似且可信度越高。
3.根据权利要求2所述的图像识别方法,其特征在于,所述预设相似度融合函数包括以下公式1、公式2中的任一者:
dr=d1d2 (1)
Figure FDA0002387463750000011
其中,所述d1为所述第一相似度值,所述d2为所述第二相似度值,所述dr为所述融合相似度值,所述ε为一趋近于0的预设值。
4.根据权利要求1所述的图像识别方法,其特征在于,所述第一相似度值越大,所述两个待测图像的图像特征越相似,所述第二相似度值越大,所述两个待测图像之间具有所述第一相似度值的可信度越高。
5.根据权利要求1所述的图像识别方法,其特征在于,所述特征提取模型包括顺序连接的多个卷积层,每个卷积层包括多个卷积核;
所述将所述两个待测图像输入所述特征提取模型进行特征提取,得到与所述卷积层对应的特征图包括:
分别将所述两个待测图像输入所述特征提取模型,以利用所述多个卷积层进行特征提取;
获取第预设数值层所述卷积层的所述多个卷积核分别提取得到的多个特征图;
所述分别基于所述两个待测图像各自的特征图,得到所述两个待测图像对应的特征分布数据包括:
对于每个所述待测图像对应的多个特征图,利用多个预设权重分别对所述多个特征图进行加权处理,得到所述两个待测图像对应的特征分布数据。
6.根据权利要求1所述的图像识别方法,其特征在于,所述获取所述两个待测图像的所述特征向量之间的第一相似度值包括:
基于第一预设相似度函数对所述两个待测图像的所述特征向量进行处理,得到所述第一相似度值;
其中,所述第一预设相似度函数包括欧氏距离函数、余弦距离函数中的任一种。
7.根据权利要求1所述的图像识别方法,其特征在于,所述获取所述两个待测图像对应的所述特征分布数据之间的第二相似度值包括:
分别对所述两个待测图像对应的特征分布数据进行归一化处理;
基于第二预设相似度函数对归一化处理后的两个所述特征分布数据进行处理,得到所述第二相似度值。
8.根据权利要求7所述的图像识别方法,其特征在于,所述分别对所述两个待测图像对应的特征分布数据进行归一化处理包括:
分别计算所述两个待测图像对应的特征分布数据中各个元素平方和的根,作为对应所述特征分布数据的基准值;
分别计算所述两个待测图像对应的特征分布数据中各个元素与对应所述基准值的比值,作为对应归一化处理后的所述特征分布数据。
9.一种图像识别设备,其特征在于,包括相互耦接的存储器和处理器,所述存储器存储有程序指令,所述处理器用于执行所述程序指令以实现权利要求1至8任一项所述的图像识别方法。
10.一种存储装置,其特征在于,存储有能够被处理器运行的程序指令,所述程序指令用于实现权利要求1至8任一项所述的图像识别方法。
CN202010102911.0A 2020-02-19 2020-02-19 图像识别方法以及相关设备、装置 Active CN111339884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010102911.0A CN111339884B (zh) 2020-02-19 2020-02-19 图像识别方法以及相关设备、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010102911.0A CN111339884B (zh) 2020-02-19 2020-02-19 图像识别方法以及相关设备、装置

Publications (2)

Publication Number Publication Date
CN111339884A true CN111339884A (zh) 2020-06-26
CN111339884B CN111339884B (zh) 2023-06-06

Family

ID=71181641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010102911.0A Active CN111339884B (zh) 2020-02-19 2020-02-19 图像识别方法以及相关设备、装置

Country Status (1)

Country Link
CN (1) CN111339884B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985616A (zh) * 2020-08-13 2020-11-24 沈阳东软智能医疗科技研究院有限公司 一种图像特征提取方法、图像检索方法、装置及设备
CN111985348A (zh) * 2020-07-29 2020-11-24 深思考人工智能科技(上海)有限公司 人脸识别方法和系统
CN114519378A (zh) * 2021-12-24 2022-05-20 浙江大华技术股份有限公司 特征提取单元的训练方法、人脸识别方法及装置
CN115222604A (zh) * 2021-04-16 2022-10-21 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN107330359A (zh) * 2017-05-23 2017-11-07 深圳市深网视界科技有限公司 一种人脸对比的方法和装置
CN107590154A (zh) * 2016-07-08 2018-01-16 阿里巴巴集团控股有限公司 基于图像识别的物体相似度判定方法和装置
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
CN108090433A (zh) * 2017-12-12 2018-05-29 厦门集微科技有限公司 人脸识别方法及装置、存储介质、处理器
CN108197532A (zh) * 2017-12-18 2018-06-22 深圳云天励飞技术有限公司 人脸识别的方法、装置及计算机装置
WO2018153319A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
JP2019023934A (ja) * 2018-11-08 2019-02-14 株式会社ニコン 追尾装置、カメラ、追尾方法および追尾プログラム
CN109784415A (zh) * 2019-01-25 2019-05-21 北京地平线机器人技术研发有限公司 图像识别方法及装置、训练卷积神经网络的方法及装置
WO2019154262A1 (zh) * 2018-02-07 2019-08-15 腾讯科技(深圳)有限公司 一种图像分类方法及服务器、用户终端、存储介质
WO2019205369A1 (zh) * 2018-04-28 2019-10-31 平安科技(深圳)有限公司 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质
CN110516745A (zh) * 2019-08-28 2019-11-29 北京达佳互联信息技术有限公司 图像识别模型的训练方法、装置及电子设备
KR102074406B1 (ko) * 2019-07-25 2020-02-06 주식회사 딥노이드 영상 랜드마크 분류 장치 및 방법

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN107590154A (zh) * 2016-07-08 2018-01-16 阿里巴巴集团控股有限公司 基于图像识别的物体相似度判定方法和装置
WO2018153319A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN107330359A (zh) * 2017-05-23 2017-11-07 深圳市深网视界科技有限公司 一种人脸对比的方法和装置
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
CN108090433A (zh) * 2017-12-12 2018-05-29 厦门集微科技有限公司 人脸识别方法及装置、存储介质、处理器
CN108197532A (zh) * 2017-12-18 2018-06-22 深圳云天励飞技术有限公司 人脸识别的方法、装置及计算机装置
WO2019154262A1 (zh) * 2018-02-07 2019-08-15 腾讯科技(深圳)有限公司 一种图像分类方法及服务器、用户终端、存储介质
WO2019205369A1 (zh) * 2018-04-28 2019-10-31 平安科技(深圳)有限公司 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质
JP2019023934A (ja) * 2018-11-08 2019-02-14 株式会社ニコン 追尾装置、カメラ、追尾方法および追尾プログラム
CN109784415A (zh) * 2019-01-25 2019-05-21 北京地平线机器人技术研发有限公司 图像识别方法及装置、训练卷积神经网络的方法及装置
KR102074406B1 (ko) * 2019-07-25 2020-02-06 주식회사 딥노이드 영상 랜드마크 분류 장치 및 방법
CN110516745A (zh) * 2019-08-28 2019-11-29 北京达佳互联信息技术有限公司 图像识别模型的训练方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张春雷;: "基于并行卷积神经网络的军事目标图像分类技术", 电子设计工程 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985348A (zh) * 2020-07-29 2020-11-24 深思考人工智能科技(上海)有限公司 人脸识别方法和系统
CN111985348B (zh) * 2020-07-29 2024-05-10 深思考人工智能科技(上海)有限公司 人脸识别方法和系统
CN111985616A (zh) * 2020-08-13 2020-11-24 沈阳东软智能医疗科技研究院有限公司 一种图像特征提取方法、图像检索方法、装置及设备
CN111985616B (zh) * 2020-08-13 2023-08-08 沈阳东软智能医疗科技研究院有限公司 一种图像特征提取方法、图像检索方法、装置及设备
CN115222604A (zh) * 2021-04-16 2022-10-21 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN114519378A (zh) * 2021-12-24 2022-05-20 浙江大华技术股份有限公司 特征提取单元的训练方法、人脸识别方法及装置

Also Published As

Publication number Publication date
CN111339884B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
US10726244B2 (en) Method and apparatus detecting a target
CN110276411B (zh) 图像分类方法、装置、设备、存储介质和医疗电子设备
CN111339884A (zh) 图像识别方法以及相关设备、装置
US20230085605A1 (en) Face image processing method, apparatus, device, and storage medium
WO2021051547A1 (zh) 暴力行为检测方法及系统
US11783192B2 (en) Hybrid deep learning method for recognizing facial expressions
CN112580668B (zh) 一种背景欺诈检测方法、装置及电子设备
CN111652054A (zh) 关节点检测方法、姿态识别方法及装置
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN111325798A (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
CN112101359A (zh) 文本公式的定位方法、模型训练方法及相关装置
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN109871814B (zh) 年龄的估计方法、装置、电子设备和计算机存储介质
US20190347474A1 (en) Hybrid deep learning method for gender classification
CN116258906A (zh) 一种对象识别方法、特征提取模型的训练方法及装置
CN113544701B (zh) 关联对象的检测方法及装置、电子设备及存储介质
CN109389089B (zh) 基于人工智能算法的多人行为识别方法及装置
US11797854B2 (en) Image processing device, image processing method and object recognition system
CN115439875A (zh) 姿势评估装置、方法及系统
CN111126177B (zh) 人数统计的方法及装置
CN114445916A (zh) 一种活体检测方法、终端设备及存储介质
US11087121B2 (en) High accuracy and volume facial recognition on mobile platforms
CN110008907B (zh) 一种年龄的估计方法、装置、电子设备和计算机可读介质
CN112069885A (zh) 人脸属性识别方法、装置及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant