CN114241557A - 图像识别方法、装置及设备、智能门锁及介质 - Google Patents

图像识别方法、装置及设备、智能门锁及介质 Download PDF

Info

Publication number
CN114241557A
CN114241557A CN202111521252.5A CN202111521252A CN114241557A CN 114241557 A CN114241557 A CN 114241557A CN 202111521252 A CN202111521252 A CN 202111521252A CN 114241557 A CN114241557 A CN 114241557A
Authority
CN
China
Prior art keywords
image
sample
quality evaluation
quality
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111521252.5A
Other languages
English (en)
Inventor
周坚灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lumi United Technology Co Ltd
Original Assignee
Lumi United Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lumi United Technology Co Ltd filed Critical Lumi United Technology Co Ltd
Priority to CN202111521252.5A priority Critical patent/CN114241557A/zh
Publication of CN114241557A publication Critical patent/CN114241557A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像识别方法、装置及设备、智能门锁和计算机可读存储介质，所述方法包括：对待识别图像进行特征提取，得到所述待识别图像中目标对象的图像特征；基于所述图像特征与预注册对象的对象特征，确定所述待识别图像中目标对象与预注册对象之间的相似度，输出初始识别结果；所述图像识别结果用于反映所述待识别图像中目标对象是否为所述预注册对象；根据所述图像特征，对所述待识别图像中目标对象对应的对象区域进行质量评估，得到质量评价结果；基于所述初始识别结果和所述质量评价结果，确定所述待识别图像对应的目标识别结果。

Description

图像识别方法、装置及设备、智能门锁及介质
技术领域
本申请涉及智能家居技术领域，尤其是涉及一种图像识别方法、装置及设备、智能门锁及计算机存储介质。
背景技术
人脸识别技术，是基于人的脸部特征信息进行身份识别的一种生物识别技术，是计算机视觉和模式识别领域中的一个重要研究方向。通过人脸识别，能够快速确认人员身份，采用人脸识别技术的产品已广泛应用到金融、公安、教育、医疗等领域，常被用于身份认证、员工考勤、陌生人告警等。
尽管人脸识别技术在理想情况下已有不错的成果，但在现实生活中往往受环境和人为等复杂因素的影响，还存在着许多的问题和挑战。如，采用人脸识别判断摄像头抓拍的人脸图像是否为某个特定人员的图像时，是将该摄像头抓拍的人脸图像与该特定人员的人脸图像进行相似度比对，若相似度低于设定阈值，则识别结果为该摄像头抓拍的人脸图像不为该特定人员的图像，然而实际情况还可能是由于某种因素导致相似度低于所述设定阈值，从而导致识别结果与实际情况之间存在偏差。
发明内容
为解决现有存在的技术问题，本申请提供一种图像识别方法、装置及设备、智能门锁及计算机存储介质，能够辅助判断识别结果是否准确、以减小识别结果与实际情况之间偏差。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种图像识别方法，包括：
对待识别图像进行特征提取，得到所述待识别图像中目标对象的图像特征；
基于所述图像特征与预注册对象的对象特征，确定所述待识别图像中目标对象与预注册对象之间的相似度，输出初始识别结果；所述图像识别结果用于反映所述待识别图像中目标对象是否为所述预注册对象；
根据所述图像特征，对所述待识别图像中目标对象对应的对象区域进行质量评估，得到质量评价结果；
基于所述初始识别结果和所述质量评价结果，确定所述待识别图像对应的目标识别结果。
第二方面，本申请实施例提供一种图像识别装置，包括：
提取模块，用于对待识别图像进行特征提取，得到所述待识别图像中目标对象的图像特征；
识别模块，用于基于所述图像特征与预注册对象的对象特征，确定所述待识别图像中目标对象与预注册对象之间的相似度，输出初始识别结果；所述图像识别结果用于反映所述待识别图像中目标对象是否为所述预注册对象；
评估模块，用于根据所述图像特征，对所述待识别图像中目标对象对应的对象区域进行质量评估，得到质量评价结果；
确定模块，用于基于所述初始识别结果和所述质量评价结果，确定所述待识别图像对应的目标识别结果。
在一些实施例中，所述图像识别装置还包括注册模块，用于获取多个预注册对象对应的图像；通过所述特征模型对所述预注册对象的所述图像进行特征提取，得到所述预注册对象分别对应的对象特征。
在一些实施例中，所述识别模块，具体用于基于所述图像特征与至少一个预注册对象的对象特征进行比较，分别确定所述待识别图像中目标对象与所述预注册对象之间的相似度；若至少一相似度高于设定阈值，则确定所述待识别图像中目标对象为与其相似度最大的所述预注册对象；若所述相似度均小于设定阈值，则确定所述待识别图像的识别结果为所承载的对象为陌生对象，或所述待识别图像的识别结果为识别失败。
在一些实施例中，所述评估模块，还用于基于所述图像特征确定所述待识别图像中目标对象的对象区域，分别在各质量评价维度对应的质量评分；所述质量评价维度包括目标对象完整度、目标对象清晰度、图像光照均匀度、目标对象成像角度；根据各质量评价维度对应的质量评分，得到质量评价结果；若所述质量评价结果低于设定值，则输出重新获取待识别图像的提示信息。
在一些实施例中，所述质量评价结果为质量评分，所述评估模块，还用于若所述质量评分结果低于设定值，则根据所述质量评分结果确定导致所述待识别图像的质量评分低结果于所述设定值的主要的图像质量评价维度；根据所述图像质量评价维度，输出用于指示目标对象进行调整的提示信息，以重新获取目标对象调整后所采集的待识别图像。
在一些实施例中，所述图像识别装置还包括训练模块，用于获取样本图像；所述样本图像包括对象标签和质量标签；通过待训练的图像识别模型中的特征提取网络对所述样本图像进行特征提取，得到所述样本图像中样本对象对应的样本图像特征；通过所述图像识别模型中的目标识别网络，基于所述样本图像特征与相应预注册对象对应的对象特征，确定样本图像识别结果；通过所述图像识别模型中的质量评价网络，基于所述样本图像特征对所述样本图像中样本对象对应的对象区域进行质量评估，得到样本质量评价结果；根据所述样本图像识别结果与所述对象标签之间的差异，确定第一损失；根据所述样本质量评价结果与所述质量标签之间的差异，确定第二损失；基于所述第一损失和所述第二损失，调整图像识别模型的模型参数并继续进行迭代训练，直至满足目标条件时停止训练，得到训练好的图像识别模型。
在一些实施例中，所述训练模块，还用于在每一轮训练中，将每一轮的样本组输入至待训练的图像识别模型，通过所述图像识别模型中的特征提取网络对所述样本图像进行特征提取；其中，所述样本组包括样本图像和参考图像，所述参考图像中所承载的样本对象与所述样本图像中所承载的样本对象相同，所述参考图像中样本对象对应区域的质量评价维度均满足质量阈值。
第三方面，本申请实施例提供一种电子设备，包括处理器及存储器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如本申请任一实施例所述的图像识别方法。
第四方面，本申请实施例提供一种智能门锁，包括图像拍摄模块、与所述图像拍摄模块连接的处理器及存储器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如本申请任一实施例所述的图像识别方法。
第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被控制器执行时本申请任一实施例所述的图像识别方法。
本申请上述实施例提供的图像识别方法、装置及设备，智能门锁及计算机可读存储介质，通过对待识别图像进行特征提取，判断待识别图像中目标对象与预注册对象的相似度，根据图像特征对待识别图像进行质量评估输出待识别图像的质量评价结果，如此，获取待识别图像的质量评价结果可用于辅助判断所述待识别图像的识别结果的准确性，用户可选择根据质量评价结果调整姿态重新拍摄图像以供识别，从而提高识别结果的准确性。
附图说明
图1为一实施例中图像识别方法的可选应用场景示意图；
图2为一实施例中图像识别方法的流程图；
图3为另一实施例中图像识别方法的流程图；
图4为一实施例中图像识别模型进行迭代训练的原理图；
图5为一实施例中图像识别模型的架构示意图；
图6为一实施例中图像识别模型中分类神经网络模型进行迭代训练的原理图；
图7为一实施例中图像识别模型中回归神经网络模型进行迭代训练的原理图；
图8为一可选的具体示例中图像识别方法的流程图；
图9为一实施例中图像识别装置的结构示意图；
图10为另一实施例中图像识别装置的结构示意图；
图11为一实施例中智能门锁的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”的表述，其描述了所有可能实施例的子集，需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一、第二、第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
请参阅图1，为本申请实施例提供的图像识别方法的可选的应用场景的物联网系统的框架图。其中，该物联网系统由智能家居设备10、网关设备53、云端52、终端设备51等组成。终端设备51可以是任何具备通信和存储功能的设备，例如：智能手机、台式电脑、笔记本电脑、平板电脑或其他具有网络连接功能的智能通信设备。云端52可以是网络接入服务器、数据库服务器、云服务器等。网关设备53可以为基于ZigBee协议搭建，电子设备10可以受控于终端设备51，也可以是预先加入网关设备53，例如，智能家居设备10可以是网关设备53出厂时网关设备所归属套件中的设备；也可以是后续通过用户操作连接至网关设备53中的设备。本申请实施例中，所述智能家居设备10可以是指具备图像拍摄功能、以实时真实反映被监控对象的安防产品，如智能门锁、安防监控系统、智能摄像头等。
可选的，终端设备51中安装了可以对智能家居设备10进行管理的客户端，所述客户端可以是应用程序客户端(如手机APP)，也可以是网页客户端，在此不作限定。用户可以通过终端设备51上的客户端对智能家居设备10的工作进行远程控制。
可选的，智能家居设备10可以基于ZigBee协议与网关设备53建立网络连接，从而加入到ZigBee网络中。
智能家居设备10及终端设备51均可通过网关设备53接入到以太网中，网关设备53可以通过有线或无线通信连接方式接入服务器。例如，网关设备53以及终端设备51可以将获取的信息存储到云端52中。可选的，终端设备51还可以通过2G/3G/4G/5G、WiFi等通信方式与云端52建立网络连接，从而可以获取云端52下发的数据。
可选的，所述终端设备51、网关设备53和智能家居设备10可以在同一局域网络中，也可以和云端52在同一广域网络中。其中，当所述终端设备51与网关设备53在同一局域网络中时，终端设备51可通过局域网路径与网关设备53以及连接至网关设备53的智能家居设备10进行交互；也可以通过广域网路径与网关设备53以及连接至网关设备53的智能家居设备10进行交互。当终端设备51与网关设备53不在同一局域网络中时，终端设备51可以通过广域网路径与网关设备53以及连接至网关设备53的智能家居设备10进行交互。
请参阅图2，为本申请一实施例提供的一种图像识别方法，可应用于电子设备，电子设备可以是具有图像识别功能的设备。具体地，电子设备可以是图1所示的智能门锁、安防监控系统、智能摄像头或终端设备等，所述智能家居设备中安装用于实施本申请实施例所述的图像识别方法的图像识别应用客户端，获得对所述待识别图像的识别结果和质量评价结果；也可以是指与图1所示智能家居设备进行交互的终端设备，通过智能家居设备拍摄待识别图像发送给所述终端设备，终端设备中安装用于实施本申请实施例所述的图像识别方法的图像识别应用客户端，获得对所述待识别图像的识别结果和质量评价结果并返回给所述智能家居设备；还可以是指图1所示的云端，智能家居设备拍摄待识别图像后经由所述网关设备发送给所述云端，由云端执行本申请实施例所述的图像识别方法，并返回对所述待识别图像的识别结果和质量评价结果给所述智能家居设备。
其中，所述图像识别方法包括但不限于S101、S103、S105和S107，具体介绍如下：
S101，对待识别图像进行特征提取，得到所述待识别图像中目标对象的图像特征。
其中，待识别图像可以是任意用于检测是否包含指定的目标对象的图像。电子设备获取待识别图像，对待识别图像进行特征提取，得到待识别图像中目标对象的图像特征，其中获取待识别图像可以包括如下至少一种：当检测到有目标对象靠近，通过调用摄像模块拍摄待识别图像；当检测到有目标对象靠近，通过调用摄像模块拍摄视频，并将视频转换为单帧的待识别图像；通过图像识别应用客户端的图像获取界面接收用户上传的待识别图像；通过图像识别应用客户端的图像获取界面接收其它终端，如智能门锁、安防监控系统传送的待识别图像。待识别图像可以是实时获取的，也可以是提前获取后存储于电子设备本地存储区内的。
电子设备获取待识别图像后，对待识别图像进行特征提取，得到待识别图像中目标对象的图像特征，可以是通过特征模型对待识别图像进行特征提取以得到目标对象的图像特征。特征模型可以是指经过深度学习得到的能够用于提取图像中表征是否承载有目标对象的关键特征的模型。其中，深度学习(DL,Deep Learning)，是机器学习(ML，MachineLearning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标，即AI。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。它是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音识别，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
其中，电子设备通过特征模型，对待识别图像进行特征提取，得到待识别图像所承载的对象的图像特征可以是指，通过预训练得到的对待识别图像进行分类的分类神经网络模型，获取分类神经网络模型对待识别图像分类的过程中，分类神经网络模型的中间层输出的特征向量，作为待识别图像的图像特征。分类神经网络模型包括特征提取层和分类预测层，输出的特征向量的中间层即指特征提取层，特征提取层可以有多层，特征模型即指分类神经网络模型中包含特征提取层的部分。
S103，基于所述图像特征与预注册对象的对象特征，确定所述待识别图像中目标对象与预注册对象之间的相似度，输出初始识别结果；所述图像识别结果用于反映所述待识别图像中目标对象是否为所述预注册对象。
其中，预注册对象，是指对待识别图像进行识别以判断待识别图像所承载的对象是否为指定的目标对象之前，提前录入指定的目标对象信息。目标对象可以是指任意待识别的对象，如人脸、指定物品等。
电子设备通过分类模型，基于特征模型提取到待识别图像的图像特征与预注册对象的对象特征进行比较，确定待识别图像目标对象与预注册对象之间的相似度，输出待识别图像中目标对象是否为预注册对象的图像识别结果可以是指，通过预训练得到的对待识别图像进行分类的分类神经网络模型，获取分类神经网络模型对待识别图像所承载的对象是否为指定的目标对象的分类结果。分类神经网络模型包括特征提取层和分类预测层，将待识别图像输入分类神经网络模型，通过特征提取层对待识别图像进行特征提取，特征提取层可以有多层，最后一层连接分类预测层，分类模型即指分类神经网络模型中包含分类预测层的部分。
其中，分类神经网络模型是预先训练的，具体实施时，可以先构建初始的分类神经网络模型，如卷积神经网络模型，通过以下方式对分类神经网络模型进行训练：首先获取图像样本，并对图像样本进行类别标注，这里可以根据能够唯一表征目标对象身份的标签信息对图像样本进行类别标注，如图像样本中包含有指定的目标对象1的图像的类别标注对应为1，图像样本中包含有指定的目标对象2的图像的类别标注对应为2，图像样本中不包含有任意指定的目标对象的图像的类别标注对应为0，以得到标注有目标类别的图像样本；然后将标注有目标类别的图像样本输入分类神经网络模型，以通过分类神经网络模型对图像样本进行类别预测，将预测类别与标准的目标类别进行比较，以基于预测类别与标准的目标类别之间的差异，确定分类神经网络模型的损失函数的值，将损失函数的值反向传中至分类神经网络模型的各个层，通过随机梯度下降法(SGD，Stochastic Gradient Descent)更新各个层的模型参数，以实现模型的训练。
S105，根据所述图像特征，对所述待识别图像中目标对象对应的对象区域进行质量评估，得到质量评价结果；
待识别图像的质量评价结果可以是预先设定的多个质量评价等级，如预先设定的高、中、低三个质量等级，或根据预设的图像质量阈值进行比较确定出的符合、不符合两个质量等级；也可以是质量评价分值，具体的质量评价分值可以更加区分出图像质量的好坏程度情况；还可以是预先设定的与各种质量评价分值对应的提示信息。
电子设备可以通过质量评价模型，基于特征模型提取到的待识别图像的图像特征确定待识别图像的质量，输出质量评价结果；如，通过预训练得到的对待识别图像的质量进行评价的回归神经网络模型，对待识别图像进行质量预测处理，得到待识别图像的质量信息。回归神经网络模型可以采用反向传播神经网络，通过样本数据的训练，不断修正网络权值和阈值使误差函数沿负梯度方向下降，逼近期望输出。
回归神经网络模型可以包括隐藏层和输出层，隐藏层可以有一层或多层，最后一层连接输出层。通过预训练得到的对待识别图像进行质量预测处理以得到待识别图像的质量信息的回归神经网络模型，获取对待识别图像的质量评价结果的过程中，回归神经网络模型的隐藏层输出的特征向量，可以作为含有表征待识别图像的不同质量维度信息的图像特征，输出层根据隐藏层输出的特征向量进行图像质量预测。回归神经网络模型可以与分类神经网络模型共用主体网络，输出含有表征待识别图像的不同质量维度信息的图像特征的隐藏层为特征提取层，回归神经网络模型中包含特征提取层的部分即为回归神经网络模型与分类神经网络模型共用的主体网络部分，也即特征模型，质量评价模型指回归神经网络模型中包含输出层的部分。
其中，回归神经网络模型是预先训练的，具体实施时，可以先构建初始的神经网络模型，通过以下方式对回归神经网络模型进行训练：将训练样本数据输入到神经网络模型，训练样本数据包括包含承载对象为指定的目标对象的图像样本及其对应的质量信息标签，质量信息标签可以根据多个预设的图像质量评价维度进行标注。
如从图像样本中选定从各个图像质量评价维度均较佳的图像的质量信息标签对应为100分，图像中目标对象完整度不够的，根据不同程度设置质量信息标签对应为20-30分，图像中目标对象清晰度较差的，根据不同程度设置质量信息标签对应为70-80分等，以得到标注有质量信息标签的图样样本。
然后将标注有质量信息标签的图像样本输入回归神经网络模型，以通过回归神经网络模型对图像样本进行质量预测，将质量评价结果与标准的目标质量标签进行比较，以基于质量评价结果与标准的目标质量标签之间的差异，确定回归神经网络模型的损失函数的值，将损失函数的值反向传中至分类神经网络模型的各个层，并在反向传播过程中更新各个层的模型参数，以实现模型的训练。
其中，反向传播是指，训练样本数据输入到神经网络模型的输入层，经过隐藏层，最后达到输出层并输出结果，这是神经网络模型的前向传播过程，由于神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根据误差调整模型参数的值；不断迭代上述过程，直至收敛。
S107，基于所述初始识别结果和所述质量评价结果，确定所述待识别图像对应的目标识别结果。
根据质量评价结果可辅助判断初始识别结果的可靠性，如，若质量评价结果为图像质量较差，一定程度上说明初始识别结果不准确，则提示需要重新采集待识别图像进行识别，若质量评价结果为图像质量较好，可一定程度上说明初始识别结果可靠。
上述实施例所提供的图像识别方法，通过对待识别图像进行特征提取，判断待识别图像与预注册对象的相似度，并根据图像特征对待识别图像中目标对象对应的对象区域进行质量评估得到质量评价结果，如此，获取待识别图像的质量评价结果可用于辅助判断待识别图像的识别结果的准确性，用户可选择根据质量评价结果调整姿态重新拍摄图像重新识别，确保对图像的识别结果的可靠性，从而提高识别结果的准确性。
在一些实施例中，请参阅图3，所述图像识别方法，还包括：
S1011，获取多个预注册对象的图像；
S1012，通过所述特征模型对所述预注册对象的所述图像进行特征提取，得到所述预注册对象分别对应的对象特征。
预注册对象可以包括多个。以目标对象为人脸为例，预注册对象的图像可以包括指定的多个人的人脸图像。电子设备可以提供目标对象的预注册功能。在一可选实施例中，电子设备通过图像识别应用的客户端界面提供预注册按键，用户点击预注册按键后启动预注册流程。
电子设备可以通过调用拍摄模块拍摄准备进行注册的目标对象的图像，通过特征模型对预注册对象的图像进行特征提取，得到预注册对象分别对应的预注册对象的对象特征进行存储，完成目标对象的预注册。在另一可选实施例中，电子设备上设有触发启动预注册流程的实体按键，用户可以按压实体按键以启动预注册流程，电子设备调用拍摄模块拍摄准备进行注册的目标对象的图像，通过特征模型对预注册对象的图像进行特征提取，得到预注册对象分别对应的预注册对象的对象特征进行存储，完成目标对象的预注册。
上述实施例中，预注册对象可以包括多个，相应的，对待识别图像所承载的对象进行识别可以是确定待识别图像是否为多个预注册对象的其中之一，如此，可以应用于需要同时判断待识别图像是否为指定的多个目标对象的图像的应用场景，比如智能门锁，可以将多个家庭成员的人脸图像进行预注册，智能门锁通过执行本申请实施例所提供的图像识别方法，可以判断当前开门的人是否为多个家庭成员中的一个，若是，则解锁开门；若均不是，则不予解锁，以确保安全。
在另一些实施例中，所述基于所述图像特征与预注册对象的对象特征，确定所述待识别图像中目标对象与预注册对象之间的相似度，输出初始识别结果的步骤，包括：
基于图像特征与至少一个预注册对象的对象特征进行比较，分别确定待识别图像中目标对象与预注册对象之间的相似度；
若至少一相似度高于设定阈值，则确定待识别图像中目标对象为与其相似度最大的预注册对象；
若相似度均小于设定阈值，则确定待识别图像的识别结果为所承载的对象为陌生对象，或待识别图像的识别结果为识别失败。
其中，基于待识别图像提取的图像特征与所有预注册对象的对象特征进行比较的特征比较方式可采用余弦相似度或殴氏距离。请参阅图4，为采用余弦相似度和殴氏距离衡量待识别图像和预注册对象的对象特征分别对应的特征向量之间的相似度的原理示意图，殴氏距离是衡量的是空间中各点之间的绝对距离，和点所在的位置坐标(即个体各维度的特征数值)直接相关，距离越小，两向量之间越相似；而余弦相似度是通过计算待识别图像和预注册对象的对象特征分别对应的特征向量的夹角余弦值来评估二者的相似度，余弦相似度衡量的是空间中两向量之间的夹角，体现的是方向上的差异，夹角越小(余弦相似度越大)，两向量之间越相似。以图4为例，通过将待识别图像和预注册对象的对象特征分别对应的特征向量映射到坐标空间，得到向量OA和向量OB，则余弦相似度为cosθ、殴氏距离为A、B两点之间的距离。
待识别图像的图像特征与所有预注册对象的对象特征相比，计算图像特征与所有预注册对象的对象特征之间的相似度。至少一相似度高于设定阈值可以是指，图像特征仅与其中之一预注册对象的对象特征之间的相似度高于设定阈值，则可以确定待识别图像承载的对象为该对应的预注册的目标对象，也即相似度最高的预注册的目标对象；或者，图像特征与其中多个预注册对象的对象特征之间的相似度高于设定阈值，则可以确定待识别图像承载的对象为相似度最高的预注册的目标对象。若图像特征与所有预注册对象的对象特征之间的相似度均小于设定阈值，则待识别图像承载的对象为非预注册对象，对应输出的识别结果可以为所承载的对象为陌生对象或识别失败。
上述实施例中，预注册对象可以包括多个，对待识别图像进行识别过程中，将提取到的图像特征与所有预注册对象的对象特征进行比较，找到相似度最大的预注册对象，若二者相似度高于设定阈值，可判定为对应的预注册对象，识别成功；若最大相似度未超过设定阈值，则识别失败，输出待识别图像所承载的对象为陌生对象或识别失败作为对待识别图像的识别结果。
在一些实施例中，所述根据所述图像特征，对所述待识别图像中目标对象对应的对象区域进行质量评估，得到质量评价结果，包括：
通过质量评价模型，基于所述图像特征的特征向量确定所述待识别图像的质量评分并输出。
对待识别图像的质量评价结果为质量评分。采用对质量评价模型进行训练时，训练样本数据中正样本图像包括包含承载对象为指定的目标对象的图像样本及其对应的质量信息标签，质量信息标签为从设定的各个图像质量评价维度确定的质量评分。
以图像质量评价维度包括目标对象完整度、目标对象清晰度、图像光照均匀度、目标对象成像角度为例，将图像样本中目标对象完整度不够的，根据不同程度设置质量信息标签对应为40-50分；将图像样本中目标对象清晰度较差的，根据不同程度设置质量信息标签对应为70-80分；将图像样本中图像光照均匀度较差的，根据不同程度设置质量信息标签对应为60-70分；将图像样本中目标对象成像角度有偏差的，根据不同程度设置质量信息标签对应为50-60分；结合前述多个图像质量评价维度中两个或两个以上维度均与参考图像之间存在偏差的，根据不同程度设置质量信息标签对应为0至40分。
将带有质量信息标签的图像样本输入图像识别模型进行训练，由于神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，在反向传播的过程中，根据误差调整模型参数的值，不断迭代上述过程，直至收敛。如此，将待识别图像输入到训练后的图像识别模型后，质量评价模型基于特征模型提取到的待识别图像的图像特征，可直接输出待识别图像的质量评分。
上述实施例中，通过质量评价模型对待识别图像进行质量预测输出的质量评价结果为质量评分，通过质量评分可以更加清楚地体现出图像质量好坏的程度，方便用户可以根据质量评分了解到当前得到的图像识别结果的可靠性。
在一些实施例中，所述根据所述图像特征，对所述待识别图像中目标对象对应的对象区域进行质量评估，得到质量评价结果，包括：
基于图像特征确定待识别图像中目标对象的对象区域，分别在各质量评价维度确定对应的质量评分；质量评价维度包括目标对象完整度、目标对象清晰度、图像光照均匀度、目标对象成像角度；
根据各质量评价维度对应的质量评分，得到质量评价结果；
若质量评价结果低于设定值，则输出重新获取待识别图像的提示信息。
其中，重新获取待识别图像的提示信息，可以是指根据得到的质量评分值确定导致质量评分低于设定值的主要原因，以相应输出可消除主要原因的重新拍摄待识别图像的拍摄建议作为提示信息。可选的，重新获取待识别图像的提示信息也可以是指仅提示重新拍摄图像的提示信息。
上述实施例中，通过质量评价模型对待识别图像进行质量预测输出的质量评价结果也可以是在质量评分低于设定值的情况下，输出的重新获取待识别图像的提示信息，用户可以根据重新获取待识别图像的提示信息，了解到当前图像识别失败的原因是由图像质量不佳导致的，确保可以获得判定更加准确、合理的图像识别结果。
可选的，所述若所述质量评价结果低于设定值，则输出重新获取待识别图像的提示信息，包括：
若所述质量评分结果低于设定值，则根据所述质量评分确定导致所述待识别图像的质量评分低于所述设定值的主要的图像质量评价维度；
根据所述图像质量评价维度，输出用于指示目标对象进行调整的提示信息，以重新获取目标对象调整后所采集的待识别图像。
本实施例中，质量评价结果可选为质量评分，采用对质量评价模型进行训练时，图像样本对应的质量信息标签为从设定的各个图像质量评价维度确定的质量评分。
以图像质量评价维度包括目标对象完整度、目标对象清晰度、图像光照均匀度、目标对象成像角度为例，将图像样本中目标对象完整度不够的，根据不同程度设置质量信息标签对应为40-50分；将图像样本中目标对象清晰度较差的，根据不同程度设置质量信息标签对应为70-80分；将图像样本中图像光照均匀度较差的，根据不同程度设置质量信息标签对应为60-70分；将图像样本中目标对象成像角度有偏差的，根据不同程度设置质量信息标签对应为50-60分；结合前述多个图像质量评价维度中两个或两个以上维度均与参考图像之间存在偏差的，根据不同程度设置质量信息标签对应为0至40分。
将带有质量信息标签的图像样本输入图像识别模型进行训练。由于神经网络模型的输出结果与实际结果有误差，通过计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，在反向传播的过程中，根据误差调整模型参数的值，不断迭代上述过程，直至模型输出结果收敛。如此，将待识别图像输入到训练后的图像识别模型后，质量评价模型基于特征模型提取到的待识别图像的图像特征，可直接输出待识别图像的质量评分。根据质量评分的得出与设定的图像质量评价维度之间存在的关联性，在质量评分低于设定值的情况下，确定导致待识别图像的质量评分低于设定值的主要的图像质量评价维度，根据图像质量评价维度输出能够指导如何正确的重新获取待识别图像的调整提示信息并输出。
如，针对待识别图像的质量评分为50-60分，根据质量评分的得出与设定的图像质量评价维度之间存在的关联性，可确定导致质量评分低于设定值的主要原因与目标对象成像角度偏差有关联，从而相应输出调整拍摄角度的提示信息。
针对待识别图像的质量评分为40-50分，根据质量评分的得出与设定的图像质量评价维度之间存在的关联性，可确定导致质量评分低于设定值的主要原因与目标对象完整度不够有关联，从而相应输出调整拍摄距离的提示信息。
针对待识别图像的质量评分为60-70分，根据质量评分的得出与设定的图像质量评价维度之间存在的关联性，可确定导致质量评分低于设定值的主要原因与图像光照均匀度较差有关联，从而相应输出调整拍摄光强的提示信息。
针对待识别图像的质量评分为70-80分，根据质量评分的得出与设定的图像质量评价维度之间存在的关联性，可确定导致质量评分低于设定值的主要原因与目标对象清晰度较差有关联，从而相应输出调整拍摄光照强度的提示信息。
上述实施例中，对待识别图像进行质量预测输出的质量评价结果也可以是在质量评分低于设定值的情况下，输出的重新获取待识别图像的提示信息，提示信息可以针对性地指导用户如何正确地获取图像质量更佳的待识别图像，方便用户根据提示信息重新拍摄图像质量更佳的待识别图像进行识别，从而获得更可靠的图像识别结果。
在一些实施例中，所述图像识别方法通过已训练的图像识别模型执行；所述图像识别模型通过模型训练步骤获得；所述模型训练步骤包括：
获取样本图像；所述样本图像包括对象标签和质量标签；
通过待训练的图像识别模型中的特征提取网络对所述样本图像进行特征提取，得到所述样本图像中样本对象对应的样本图像特征；
通过所述图像识别模型中的目标识别网络，基于所述样本图像特征与相应预注册对象对应的对象特征，确定样本图像识别结果；
通过所述图像识别模型中的质量评价网络，基于所述样本图像特征对所述样本图像中样本对象对应的对象区域进行质量评估，得到样本质量评价结果；
根据所述样本图像识别结果与所述对象标签之间的差异，确定第一损失；
根据所述样本质量评价结果与所述质量标签之间的差异，确定第二损失；
基于所述第一损失和所述第二损失，调整图像识别模型的模型参数并继续进行迭代训练，直至满足目标条件时停止训练，得到训练好的图像识别模型。
其中，样本图像包括正样本图像和负样本图像。采用包含正样本图像和负样本图像的多组图像训练集分别对初始的图像识别模型进行迭代训练。初始的图像识别模型包括由特征模型与分类模型组成的分类神经网络模型，以及由特征模型与质量评价模型组成的回归神经网络模型。其中，正样本图像是指承载同一目标对象且图像质量符合要求的图像，负样本图像包括承载其它对象的图像、及承载同一目标对象且图像质量不符合要求的图像，不同组的图像训练集的正样本图像所承载的目标对象不同。
每一组图像训练集包括的正样本图像中，每一正样本图像所承载的对象为同一目标对象。以目标对象为人脸为例，每一组图像训练集包括的正样本图像是指针对同一指定的人、且图像质量符合要求的人脸图像，负样本图像可以是针对除该指定的人之外的其它人的人脸图像、或者是针对该同一指定的人、且图像质量不符合要求的人脸图像。请结合参阅图4和图5，图像识别模型包括特征模型及与特征模型的输出连接的分类模型和质量评价模型，分类模型和质量评价模型共用特征模型作为主体网络，各自与主体网络组成用于得到所需预测结果的神经网络模型，本实施例中，分类模型与特征模型组成分类神经网络模型，质量评价模型与特征模型组成回归神经网络模型。采用图像训练集对图像识别模型进行训练过程中，分类模型和质量评价模型作为图像识别模型并行的相对独立的两路输出，分别根据样本图像识别结果与对象标签之间的差异，确定第一损失，根据样本质量评价结果与质量标签之间的差异，确定第二损失，利用每一路输出结果的偏差确定各自与主体网络所组成的神经网络模型的损失函数的值，将损失函数的值反向传中至分类神经网络模型的各个层，并在反向传播过程中更新各个层的模型参数，以实现模型的训练；不断迭代，直至满足目标条件时停止训练，得到训练好的图像识别模型，目标条件可以是对应的损失函数收敛、迭代次数满足预设条件等。
将图像训练集通过目标对象的不同而进行分组，不同组的图像训练集之间的负样本图像可以进行部分组合而增加训练样本数量；其次，同组图像训练集中正样本图像均是针对同一目标对象的图像样本，将各组图像训练集依序输入图像识别模型进行迭代训练，通过增加同组图像训练集内包含的图像样本的数量以及增加图像训练集的组数可以提升训练精度，而按组对图像识别模型进行迭代训练可以提升训练速度。
上述实施例中，图像识别算法和图像质量评价算法采用多任务训练的方式共用主体网络，可以减小计算量，且可以在提取到目标对象特征进行目标对象识别的同时同步获得图像质量评价结果，根据图像质量评价结果可以辅助确定当前目标对象识别结果的准确性。
可选的，所述通过待训练的图像识别模型中的特征提取网络对所述样本图像进行特征提取，包括：
在每一轮训练中，将每一轮的样本组输入至待训练的图像识别模型，通过所述图像识别模型中的特征提取网络对所述样本图像进行特征提取；
其中，所述样本组包括样本图像和参考图像，所述参考图像中所承载的样本对象与所述样本图像中所承载的样本对象相同，所述参考图像中样本对象对应区域的质量评价维度均满足质量阈值。
采用图像训练集对图像识别模型进行训练过程中，针对每一样本组选定图像质量评价维度均符合要求的图像作为参考图像，如，以图像质量评价维度包括目标对象完整度、目标对象清晰度、图像光照均匀度、目标对象成像角度为例，则选定目标对象完整度为居中完整且比例合适、目标对象清晰度为清晰、图像光照均匀度为光照良好、目标对象成像角度为正面无遮挡的图像作为指定参考图像，通过计算其它图像分别相对于指定参考图像的相似度分数作为该对比图像的图像质量评价分。
请参阅图6，共用主体网络可采用卷积神经网络，利用图像样本对图像识别模型进行训练之前，将包含指定的目标对象的图像样本作为正样本图像并进行对应类别标注，将包括指定的目标对象之外的其它对象的图样作为负样本图像并进行对应类别标注。其中，正样本图像的类别标注可以分别与不同目标对象对应，如类别1表示目标对象1的正样本图像，类别2表示目标对象2的正样本图像，类别0表示非目标对象的负样本图像。请参阅图7，利用图像样本对图像识别模型进行训练之前，从训练样本中挑选N张图像质量最好的正样本图像作为指定参考图像(其中N为id数量)，其余图像共N*Mi张(其中Mi为对应id的剩余图像)，将对应id的目标对象图像分别与指定参考图像两两计算余弦相似度，根据相似度分数确定N*Mi张被比图像的质量评价分作为被比图像的质量信息标签。
将包含携带有类别标签以质量信息标签的样本图像的多个样本组，依序输入初始的图像识别模型进行迭代训练。每一次迭代中，通过特征模型确定样本图像中目标对象成像区域，对目标对象进行特征提取，再分别由分类模型目标对象的图像特征与指定的目标对象的图像特征之间的相似度进行分类，输出对应样本图像中目标对象是否为预注册对象的图像识别结果。然后根据对样本图像的图像识别结果与其对应的类别标签之间的偏差，确定分类模型与主体网络所组成的分类神经网络模型的第一损失函数的值，将第一损失函数的值反向传中至分类神经网络模型的各个层，并在反向传播过程中更新各个层的模型参数，以实现模型的训练；不断迭代，直至满足目标条件。与此同时，每一次迭代中，通过特征模型确定样本图像中目标对象成像区域，对目标对象进行特征提取，再由质量评价模型根据目标对象的图像特征与指定参考图像的图像特征之间的相似度输出图像质量评分。根据对样本图像的图像质量评分与其对应的质量信息标签之间的差值，确定质量评价模型与主体网络所组成的回归神经网络模型的第二损失函数的值，将第二损失函数的值反向传中至回归神经网络模型的各个层，并在反向传播过程中更新各个层的模型参数，以实现模型的训练；不断迭代，直至满足目标条件。
其中，第一损失函数和第二损失函数可以相同或者不同，损失函数可以用L(y,f(x))表示，其中，y表示真实值，f(x)表示预测值，如平方损失L＝(y-f(x))2、Huber损失L＝[y-f(x)]2，|y-f(x)|≤δ；L＝δ|y-f(x)|-12δ2，|y-f(x)|>δ。图像识别模型整体由分类神经网络模型和回归神经网络模型共用主体网络构建组成，分类神经网络模型和回归神经网络模型形成相对独立的两路输出，并分别设置损失函数以用于迭代训练过程中，衡量对应输出的预测值与真实值之间的差异来判断模型收敛。
上述实施例中，图像识别算法和图像质量评价算法采用多任务训练的方式共用主体网络，通过携带有质量信息标签的样本图像形成多组图像训练集对图像识别模型进行迭代训练，使得训练后的图像识别模型可以在提取到目标对象特征进行目标对象识别的同时同步获得图像质量评价结果，使判定结果可以更加准确、合理，且只需增加少量的计算，并保持了识别算法的召回率。
本申请实施例提供的图像识别方法，可以适用于各类通过采集图像以识别图像中目标对象的应用场景。比如：通过采集用户图像进行身份识别，能够快速确认人员身份，实现智能预警的智能安防场景；通过采集人脸图像，以识别用户身份以实现人员签到的智能打卡场景；通过采集人脸图像，以识别用户是否为具有开门权限的使用者的智能门锁场景等。为了能够对本申请实施例提供的图像识别方法具有更加整体的理解，请参阅图8，下面具体目标对象为人脸为例，对图像识别方法进行示例性说明，所述图像识别方法包括：
S11，构建样本组，通过样本组对初始的图像识别模型进行迭代训练，直至所述满足目标条件，得到训练好的图像识别模型。
其中，图像识别模型包括特征模型与分类模型共同组成分类神经网络模型、及特征模型与质量评价模型共同组成回归神经网络模型，满足目标条件可以是指分类神经网络模型的第一损失函数收敛、及回归神经网络模型的第二损失函数收敛。其中，特征模型作为分类神经网络模型和回归神经网络模型共用的主体网络部分，可以在仅增加少量计算量的情况下，同时获得图像识别结果和质量评价结果。
S12，获取预注册人脸图像，通过特征模型提取预注册人脸图像中的人脸特征，作为预注册人脸特征。
其中，预注册人脸图像可以包括多个用户的人脸图像，相应的，预注册人脸特征包括与所述多个用户分别对应的人脸特征。
S13，获取待识别图像。
其中，获取待识别图像可以是指电子设备读取摄像头画面，将摄像头画面转换为单帧图像作为待识别图像。
S14，图像识别模型通过特征模型对待识别图像中的人脸成像区域进行检测，提取人脸特征。
其中，进行人脸检测可以采用已知人脸检测算法，如多任务卷积神经网络(Multi-task convolutional neural network，MTCNN)人脸检测、利用额外监督(extra-supervised)和自监督(self-supervised)结合的多任务学习(multi-task learning)的RetinaFace检测算法；可选的，通过检测窗口对人脸成像区域进行检测，其中检测窗口依序在人脸成像区域内滑动，对检测窗口在滑动过程中分别覆盖的图像区域进行检测，提取所覆盖的图像区域内的图形特征，根据所提取的图像特征确定该图像区域的特征向量，检测窗口滑动而完成对人脸成像区域的检测后，最终得到人脸检测区域对应的特征向量。
S15，分类模型将待识别图像提取到的人脸特征与预注册人脸特征分别进行比较，找到相似度最大的预注册人脸,若两者相似度高于设定阈值，则可判定为对应预注册人脸特征的用户，识别成功；若最大相似度未超过设定阈值，则识别失败。
S16，质量评价模型根据特征模型提取到的待识别图像的人脸特征，根据设定的图像质量评价维度对图像质量进行判断，并输出对待识别图像的图像质量评价结果。
其中，人脸质量的衡量标准可以包含图像质量和人脸完整度，比如人脸姿态过大，如侧脸，光照不好，模糊，遮挡等。其中任一指标衡量存在偏差，人脸质量相应都会有影响，比如光照不好、侧脸、人脸不清晰其中任一因素均可导致人脸质量不佳。
上述实施例所提供的图像识别方式，至少存在如下优点：
第一，图像识别模型中由特征模型与分类模型共同组成分类神经网络模型、与特征模型与质量评价模型共同组成回归神经网络模型共用主体网络部分，可以在仅增加少量计算量的情况下，同时获得图像识别结果和质量评价结果。
第二，采用图像训练集对图像识别模型进行训练时，图像训练集根据正样本图像所承载的对象为同一人脸形成多组，多组图像训练集依序对图像识别模型进行迭代训练可以提升训练精度和速度。
第三、对图像识别模型进行训练的图像样本携带有分类标签和质量信息标签，质量信息标签为从设定的图像质量评价维度对图像质量进行评价得到的质量评分，如此，训练后的质量评价模型对待识别图像进行质量预测输出质量评价结果，在质量评分低于设定值的情况下，可以输出的重新获取待识别图像的提示信息，提示信息可以针对性地指导用户如何正确地获取图像质量更佳的待识别图像，方便用户根据提示信息重新拍摄图像质量更佳的待识别图像进行识别，从而获得更可靠的图像识别结果。
第四，训练后的图像识别模型可以并行输出人脸识别结果和人脸图像质量信息，人脸质量分数和人脸特征识别结果可以同时获得，通过人脸图像进行质量评价可用于辅助判断所述待识别图像的识别结果的准确性和合理性。
本申请实施例另一方面，请参阅图9，还提供一种图像识别装置，具体可以应用于电子设备，包括：提取模块11，用于对待识别图像进行特征提取，得到待识别图像中目标对象的图像特征；识别模块12，用于基于图像特征与预注册对象的对象特征，确定待识别图像中目标对象与预注册对象之间的相似度，输出初始识别结果；图像识别结果用于反映待识别图像中目标对象是否为预注册对象；评估模块13，用于根据图像特征，对待识别图像中目标对象对应的对象区域进行质量评估，得到质量评价结果；确定模块14，用于基于初始识别结果和质量评价结果，确定待识别图像对应的目标识别结果。
其中，还包括注册模块，用于获取多个预注册对象对应的图像；通过特征模型对预注册对象的图像进行特征提取，得到预注册对象分别对应的对象特征。
其中，识别模块12，具体用于基于图像特征与至少一个预注册对象的对象特征进行比较，分别确定待识别图像中目标对象与预注册对象之间的相似度；若至少一相似度高于设定阈值，则确定待识别图像中目标对象为与其相似度最大的预注册对象；若相似度均小于设定阈值，则确定待识别图像的识别结果为所承载的对象为陌生对象，或待识别图像的识别结果为识别失败。
其中，评估模块13，还用于基于图像特征确定待识别图像中目标对象的对象区域，分别在各质量评价维度对应的质量评分；质量评价维度包括目标对象完整度、目标对象清晰度、图像光照均匀度、目标对象成像角度；根据各质量评价维度对应的质量评分，得到质量评价结果；若质量评价结果低于设定值，则输出重新获取待识别图像的提示信息。
其中，质量评价结果为质量评分，评估模块13，还用于若所述质量评分结果低于设定值，则根据所述质量评分结果确定导致所述待识别图像的质量评分低结果于所述设定值的主要的图像质量评价维度；根据所述图像质量评价维度，输出用于指示目标对象进行调整的提示信息，以重新获取目标对象调整后所采集的待识别图像。
其中，还包括训练模块，用于获取样本图像；样本图像包括对象标签和质量标签；通过待训练的图像识别模型中的特征提取网络对样本图像进行特征提取，得到样本图像中样本对象对应的样本图像特征；通过图像识别模型中的目标识别网络，基于样本图像特征与相应预注册对象对应的对象特征，确定样本图像识别结果；通过图像识别模型中的质量评价网络，基于样本图像特征对样本图像中样本对象对应的对象区域进行质量评估，得到样本质量评价结果；根据样本图像识别结果与对象标签之间的差异，确定第一损失；根据样本质量评价结果与质量标签之间的差异，确定第二损失；基于第一损失和第二损失，调整图像识别模型的模型参数并继续进行迭代训练，直至满足目标条件时停止训练，得到训练好的图像识别模型。
其中，训练模块，还用于在每一轮训练中，将每一轮的样本组输入至待训练的图像识别模型，通过图像识别模型中的特征提取网络对样本图像进行特征提取；其中，样本组包括样本图像和参考图像，参考图像中所承载的样本对象与样本图像中所承载的样本对象相同，参考图像中样本对象对应区域的质量评价维度均满足质量阈值。
需要说明的是：上述实施例提供的图像识别装置在实现对目标对象识别过程中，仅以上述各程序模块的划分进行举例说明，在实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即可将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或部分方法步骤。另外，上述实施例提供的图像识别装置与图像识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例另一方面，还提供一种电子设备，请参阅图10，包括处理器211及存储器212，所述存储器212内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现本申请任一实施例所述的图像识别方法，电子设备与前述实施例提供的图像识别方法能够达到相同的技术效果，为避免重复，这里不再赘述。所述电子设备可以是安防监控系统、智能门锁、终端设备、云端等。
本申请实施例另一方面，还提供一种智能门锁，请参阅图11，包括图像拍摄模块110、与所述图像拍摄模块110连接的处理器111及存储器112，所述存储器112内存储有可被所述处理器111执行的计算机程序，所述计算机程序被所述处理器111执行时实现本申请任一实施例所述的图像识别方法，智能门锁与前述实施例提供的图像识别方法能够达到相同的技术效果，为避免重复，这里不再赘述。其中，所述图像拍摄模块用于采集待识别人脸的人脸视频，将所述人脸视频转换为单帧人脸图像作为待识别图像。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种图像识别方法，其特征在于，包括：
对待识别图像进行特征提取，得到所述待识别图像中目标对象的图像特征；
基于所述图像特征与预注册对象的对象特征，确定所述待识别图像中目标对象与预注册对象之间的相似度，输出初始识别结果；所述图像识别结果用于反映所述待识别图像中目标对象是否为所述预注册对象；
根据所述图像特征，对所述待识别图像中目标对象对应的对象区域进行质量评估，得到质量评价结果；
基于所述初始识别结果和所述质量评价结果，确定所述待识别图像对应的目标识别结果。
2.如权利要求1所述的图像识别方法，其特征在于，还包括：
获取多个预注册对象对应的图像；
通过所述特征模型对所述预注册对象的所述图像进行特征提取，得到所述预注册对象分别对应的对象特征。
3.如权利要求2所述的图像识别方法，其特征在于，所述基于所述图像特征与预注册对象的对象特征，确定所述待识别图像中目标对象与预注册对象之间的相似度，输出初始识别结果的步骤，包括：
基于所述图像特征与至少一个预注册对象的对象特征进行比较，分别确定所述待识别图像中目标对象与所述预注册对象之间的相似度；
若至少一相似度高于设定阈值，则确定所述待识别图像中目标对象为与其相似度最大的所述预注册对象；
若所述相似度均小于设定阈值，则确定所述待识别图像的识别结果为所承载的对象为陌生对象，或所述待识别图像的识别结果为识别失败。
4.如权利要求1所述的图像识别方法，其特征在于，所述根据所述图像特征，对所述待识别图像中目标对象对应的对象区域进行质量评估，得到质量评价结果，包括：
基于所述图像特征确定所述待识别图像中目标对象的对象区域，分别在各质量评价维度对应的质量评分；所述质量评价维度包括目标对象完整度、目标对象清晰度、图像光照均匀度、目标对象成像角度；
根据各质量评价维度对应的质量评分，得到质量评价结果；
若所述质量评价结果低于设定值，则输出重新获取待识别图像的提示信息。
5.如权利要求4所述的图像识别方法，其特征在于，所述若所述质量评价结果低于设定值，则输出重新获取待识别图像的提示信息，包括：
若所述质量评分结果低于设定值，则根据所述质量评分结果确定导致所述待识别图像的质量评分低结果于所述设定值的主要的图像质量评价维度；
根据所述图像质量评价维度，输出用于指示目标对象进行调整的提示信息，以重新获取目标对象调整后所采集的待识别图像。
6.如权利要求1至5中任一项所述的图像识别方法，其特征在于，所述图像识别方法通过已训练的图像识别模型执行；所述图像识别模型通过模型训练步骤获得；所述模型训练步骤包括：
获取样本图像；所述样本图像包括对象标签和质量标签；
通过待训练的图像识别模型中的特征提取网络对所述样本图像进行特征提取，得到所述样本图像中样本对象对应的样本图像特征；
通过所述图像识别模型中的目标识别网络，基于所述样本图像特征与相应预注册对象对应的对象特征，确定样本图像识别结果；
通过所述图像识别模型中的质量评价网络，基于所述样本图像特征对所述样本图像中样本对象对应的对象区域进行质量评估，得到样本质量评价结果；
根据所述样本图像识别结果与所述对象标签之间的差异，确定第一损失；
根据所述样本质量评价结果与所述质量标签之间的差异，确定第二损失；
基于所述第一损失和所述第二损失，调整图像识别模型的模型参数并继续进行迭代训练，直至满足目标条件时停止训练，得到训练好的图像识别模型。
7.如权利要求6所述的图像识别方法，其特征在于，所述通过待训练的图像识别模型中的特征提取网络对所述样本图像进行特征提取，包括：
在每一轮训练中，将每一轮的样本组输入至待训练的图像识别模型，通过所述图像识别模型中的特征提取网络对所述样本图像进行特征提取；
其中，所述样本组包括样本图像和参考图像，所述参考图像中所承载的样本对象与所述样本图像中所承载的样本对象相同，所述参考图像中样本对象对应区域的质量评价维度均满足质量阈值。
8.一种图像识别装置，其特征在于，包括：
提取模块，用于对待识别图像进行特征提取，得到所述待识别图像中目标对象的图像特征；
识别模块，用于基于所述图像特征与预注册对象的对象特征，确定所述待识别图像中目标对象与预注册对象之间的相似度，输出初始识别结果；所述图像识别结果用于反映所述待识别图像中目标对象是否为所述预注册对象；
评估模块，用于根据所述图像特征，对所述待识别图像中目标对象对应的对象区域进行质量评估，得到质量评价结果；
确定模块，用于基于所述初始识别结果和所述质量评价结果，确定所述待识别图像对应的目标识别结果。
9.一种电子设备，其特征在于，包括处理器及存储器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像识别方法。
10.一种智能门锁，其特征在于，包括图像拍摄模块、与所述图像拍摄模块连接的处理器及存储器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像识别方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被控制器执行时实现如权利要求1至7中任一项所述的图像识别方法。
CN202111521252.5A 2021-12-13 2021-12-13 图像识别方法、装置及设备、智能门锁及介质 Pending CN114241557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111521252.5A CN114241557A (zh) 2021-12-13 2021-12-13 图像识别方法、装置及设备、智能门锁及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111521252.5A CN114241557A (zh) 2021-12-13 2021-12-13 图像识别方法、装置及设备、智能门锁及介质

Publications (1)

Publication Number Publication Date
CN114241557A true CN114241557A (zh) 2022-03-25

Family

ID=80755347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111521252.5A Pending CN114241557A (zh) 2021-12-13 2021-12-13 图像识别方法、装置及设备、智能门锁及介质

Country Status (1)

Country Link
CN (1) CN114241557A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147894A (zh) * 2022-06-08 2022-10-04 深圳绿米联创科技有限公司 图像处理方法、装置、电子设备及介质
CN115861720A (zh) * 2023-02-28 2023-03-28 人工智能与数字经济广东省实验室(广州) 一种小样本亚类图像分类识别方法
CN116977253A (zh) * 2022-12-29 2023-10-31 开立生物医疗科技(武汉)有限公司 用于内窥镜的清洁度检测方法及装置、电子设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171256A (zh) * 2017-11-27 2018-06-15 深圳市深网视界科技有限公司 人脸图像质评模型构建、筛选、识别方法及设备和介质
CN108446651A (zh) * 2018-03-27 2018-08-24 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN111401344A (zh) * 2020-06-04 2020-07-10 腾讯科技（深圳）有限公司 人脸识别方法和装置及人脸识别系统的训练方法和装置
WO2021169723A1 (zh) * 2020-02-27 2021-09-02 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171256A (zh) * 2017-11-27 2018-06-15 深圳市深网视界科技有限公司 人脸图像质评模型构建、筛选、识别方法及设备和介质
CN108446651A (zh) * 2018-03-27 2018-08-24 百度在线网络技术（北京）有限公司 人脸识别方法和装置
WO2021169723A1 (zh) * 2020-02-27 2021-09-02 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
CN111401344A (zh) * 2020-06-04 2020-07-10 腾讯科技（深圳）有限公司 人脸识别方法和装置及人脸识别系统的训练方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147894A (zh) * 2022-06-08 2022-10-04 深圳绿米联创科技有限公司 图像处理方法、装置、电子设备及介质
CN116977253A (zh) * 2022-12-29 2023-10-31 开立生物医疗科技(武汉)有限公司 用于内窥镜的清洁度检测方法及装置、电子设备和介质
CN116977253B (zh) * 2022-12-29 2024-03-19 开立生物医疗科技(武汉)有限公司 用于内窥镜的清洁度检测方法及装置、电子设备和介质
CN115861720A (zh) * 2023-02-28 2023-03-28 人工智能与数字经济广东省实验室(广州) 一种小样本亚类图像分类识别方法

Similar Documents

Publication Publication Date Title
Bhattacharya et al. Smart attendance monitoring system (SAMS): a face recognition based attendance system for classroom environment
CN109344787B (zh) 一种基于人脸识别与行人重识别的特定目标跟踪方法
CN114241557A (zh) 图像识别方法、装置及设备、智能门锁及介质
CN105590097B (zh) 暗视觉条件下双摄像头协同实时人脸识别安防系统及方法
EP2620896B1 (en) System And Method For Face Capture And Matching
CN105574510A (zh) 一种步态识别方法及装置
US9367730B2 (en) Method and system for automated face detection and recognition
CN109948447B (zh) 基于视频图像识别的人物网络关系发现及演化呈现方法
US20130050502A1 (en) Moving object tracking system and moving object tracking method
CN110580460A (zh) 基于行人身份和属性特征联合识别验证的行人再识别方法
Kaâniche et al. Recognizing gestures by learning local motion signatures of HOG descriptors
CN109800643A (zh) 一种活体人脸多角度的身份识别方法
CN110399835B (zh) 一种人员停留时间的分析方法、装置及系统
CN106529571A (zh) 基于神经网络的多层图像特征提取建模、图像识别方法及装置
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN111401105B (zh) 一种视频表情识别方法、装置及设备
Setialana et al. Intelligent attendance system with face recognition using the deep convolutional neural network method
Akhdan et al. Face recognition with anti spoofing eye blink detection
CN108830217A (zh) 一种基于模糊均值哈希学习的签名自动判别方法
Pradeesh et al. Fast and reliable group attendance marking system using face recognition in classrooms
CN113160012A (zh) 一种基于深度学习的计算机在线考试监考方法
Chandolikar et al. Real-time Surveillance system using Face Recognition and AR
Nursyahrul et al. Convolutional Neural Network (CNN) on Realization of Facial Recognition Devices using Multi Embedded Computers
Khari et al. Person identification in UAV shot videos by using machine learning
Tanaka et al. Gait Recognition Scheme Focusing on Operating Characteristics at Feature Points Detected by OpenPose

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination