CN115965839A - 图像识别方法、存储介质及设备 - Google Patents
图像识别方法、存储介质及设备 Download PDFInfo
- Publication number
- CN115965839A CN115965839A CN202111183285.3A CN202111183285A CN115965839A CN 115965839 A CN115965839 A CN 115965839A CN 202111183285 A CN202111183285 A CN 202111183285A CN 115965839 A CN115965839 A CN 115965839A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- target object
- information
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像识别方法、存储介质及设备，本申请可以应用于人工智能、智慧交通以及辅助驾驶领域。方法包括：获取包括目标对象的待识别图像，对待识别图像进行平面特征提取，得到目标对象的平面特征信息；将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息；对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息；根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。通过本申请，在一定程度上可防止图像的特征信息被攻击，提高图像识别的可信度和准确度。
Description
技术领域
本申请涉及图像识别技术领域，尤其涉及一种图像识别方法、存储介质及设备。
背景技术
图像识别技术是指对图像进行特征提取、分析、匹配的技术，识别结果完全取决于图像数据信息，图像数据信息本身的稳定性和安全性也决定了识别结果的可信度。
目前，图像识别技术对图像数据信息进行特征提取时，仅能提取出图像数据本身单一的特征信息，导致该单一的特征信息被攻击时，图像识别结果出错，因此，如何保障图像数据信息的稳定性和安全性，并提高图像识别的可信度和准确性是图像识别领域亟待解决的一个问题。
发明内容
本申请实施例所要解决的技术问题在于，提供一种图像识别方法、存储介质及设备，在一定程度上可防止图像的特征信息被攻击，提高图像识别的可信度和准确度。
本申请实施例一方面提供一种图像识别方法，包括：
获取包括目标对象的待识别图像，对待识别图像进行平面特征提取，得到目标对象的平面特征信息；
将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息；
对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息；
根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。
其中，将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息，包括：
对待识别图像进行插值处理，得到标准尺寸的待识别图像；
调用目标深度图像转换模型，对标准尺寸的待识别图像进行图像转换，得到初始深度图像；
根据初始深度图像生成深度图像；
调用深度特征提取模型，对深度图像进行深度特征提取，得到目标对象的深度特征信息。
其中，调用目标深度图像转换模型，对标准尺寸的待识别图像进行图像转换，得到初始深度图像，包括：
通过目标深度图像转换模型中的编码器，获取标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息；
通过目标深度图像转换模型中的解码器，对标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息进行预测，输出标准尺寸的待识别图像中每个像素点的深度信息；
根据每个像素点的深度信息生成初始深度图像。
其中，根据初始深度图像生成深度图像，包括：
获取初始深度图像在第一方向上的法向分量，获取初始深度图像在第二方向上的法向分量；
根据第一方向上的法向分量和第二方向上的法向分量，计算初始深度图像在第三方向上的法向分量；
对第一方向上的法向分量、第二方向上的法向分量以及第三方向上的法向分量进行组合，得到深度图像。
其中，调用深度特征提取模型，对深度图像进行深度特征提取，得到目标对象的深度特征信息，包括：
调用深度特征提取模型，对深度图像进行向量转换，得到深度图像对应的深度图像向量；
通过深度特征提取模型中的残差卷积层，对深度图像向量进行卷积运算，得到卷积图像向量，根据深度图像向量与卷积图像向量之间的差异，得到深度图像对应的深度残差特征向量；
通过深度特征提取模型中的全连接层，对深度残差特征向量进行线性变换，得到目标对象的深度特征信息。
其中，方法还包括：
获取初始深度图像转换模型、样本图像以及样本图像对应的初始深度图像标签；
采用初始深度图像转换模型对样本图像进行深度识别，得到样本图像对应的预测初始深度图像；
根据初始深度图像标签和预测初始深度图像之间的像素差值，确定第一损失函数；
根据初始深度图像标签中像素点的法向量与预测初始深度图像中像素点的法向量之间的差异，确定第二损失函数；
根据第一损失函数和第二损失函数，对初始深度图像转换模型进行迭代训练，得到目标深度图像转换模型。
其中，获取包括目标对象的待识别图像，包括：
获取包括目标对象的原始图像；
从原始图像中提取目标对象的关键特征点；
根据目标对象的关键特征点对原始图像进行校正处理，得到包括目标对象的待识别图像。
其中，根据目标对象的关键特征点对原始图像进行校正处理，得到包括目标对象的待识别图像，包括：
获取对象模板关键点特征；
确定对象模板关键点特征与目标对象的关键特征点之间的差异信息；
根据差异信息对原始图像进行调整，得到包括目标对象的待识别图像。
本申请实施例一方面提供一种图像识别装置，包括：
平面特征提取模块，用于获取包括目标对象的待识别图像，对待识别图像进行平面特征提取，得到目标对象的平面特征信息；
深度特征提取模块，用于将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息；
融合模块，用于对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息；
属性识别模块，用于根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。
其中，深度特征提取模块包括：
插值处理单元，用于对待识别图像进行插值处理，得到标准尺寸的待识别图像；
图像转换单元，用于调用目标深度图像转换模型，对标准尺寸的待识别图像进行图像转换，得到初始深度图像；
生成单元，用于根据初始深度图像生成深度图像；
深度特征提取单元，用于调用深度特征提取模型，对深度图像进行深度特征提取，得到目标对象的深度特征信息。
其中，图像转换单元具体用于：
通过目标深度图像转换模型中的编码器，获取标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息；
通过目标深度图像转换模型中的解码器，对标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息进行预测，输出标准尺寸的待识别图像中每个像素点的深度信息；
根据每个像素点的深度信息生成初始深度图像。
其中，生成单元具体用于：
获取初始深度图像在第一方向上的法向分量，获取初始深度图像在第二方向上的法向分量；
根据第一方向上的法向分量和第二方向上的法向分量，计算初始深度图像在第三方向上的法向分量；
对第一方向上的法向分量、第二方向上的法向分量以及第三方向上的法向分量进行组合，得到深度图像。
其中，深度特征提取单元具体用于：
调用深度特征提取模型，对深度图像进行向量转换，得到深度图像对应的深度图像向量；
通过深度特征提取模型中的残差卷积层，对深度图像向量进行卷积运算，得到卷积图像向量，根据深度图像向量与卷积图像向量之间的差异，得到深度图像对应的深度残差特征向量；
通过深度特征提取模型中的全连接层，对深度残差特征向量进行线性变换，得到目标对象的深度特征信息。
其中，深度特征提取模块还包括：
第一获取单元，用于获取初始深度图像转换模型、样本图像以及样本图像对应的初始深度图像标签；
深度识别单元，用于采用初始深度图像转换模型对样本图像进行深度识别，得到样本图像对应的预测初始深度图像；
第一确定单元，用于根据初始深度图像标签和预测初始深度图像之间的像素差值，确定第一损失函数；
第二确定单元，用于根据初始深度图像标签中像素点的法向量与预测初始深度图像中像素点的法向量之间的差异，确定第二损失函数；
迭代训练单元，用于根据第一损失函数和第二损失函数，对初始深度图像转换模型进行迭代训练，得到目标深度图像转换模型。
其中，平面特征提取模块包括：
第二获取单元，用于获取包括目标对象的原始图像；
提取单元，用于从原始图像中提取目标对象的关键特征点；
校正处理单元，用于根据目标对象的关键特征点对原始图像进行校正处理，得到包括目标对象的待识别图像。
其中，校正处理单元具体用于：
获取对象模板关键点特征；
确定对象模板关键点特征与目标对象的关键特征点之间的差异信息；
根据差异信息对原始图像进行调整，得到包括目标对象的待识别图像。
本申请实施例一方面提供了一种计算机设备，包括：处理器和存储器；
处理器与存储器相连，其中，存储器用于存储计算机程序，计算机程序被处理器执行时，使得该计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例提供的方法。
本申请实施例中，通过获取包括目标对象的待识别图像，对待识别图像进行平面特征提取，得到目标对象的平面特征信息，该平面特征信息反映了目标对象的二维特征信息。将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息，该深度特征信息反映了目标对象可见表面的几何形状，即包含了目标对象的三维特征信息。对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息，根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。多维度的融合特征信息难以被攻击，即平面特征信息和深度特征信息难以同时都被攻击，当平面特征信息被攻击时，还可以根据深度特征信息进行属性识别，当深度特征信息被攻击时，还可以根据平面特征信息进行属性识别。可见，通过多维度的融合特征信息，对目标对象进行属性识别，在一定程度上可防止图像的特征信息被攻击，达到较好的识别防御效果，提高图像识别的可信度和准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像识别系统的架构示意图；
图2是本申请实施例提供的一种图像识别的应用场景示意图；
图3是本申请实施例提供的一种图像识别方法的流程示意图；
图4是本申请实施例提供的一种融合特征信息获取方法的示意图；
图5是本申请实施例提供的一种根据融合特征信息进行属性识别的示意图；
图6是本申请实施例提供的一种图像识别方法的流程示意图；
图7是本申请实施例提供的一种图像识别装置的结构示意图；
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。在本申请中，可以通过学习对包括目标对象的待识别图像进行平面特征提取，训练得到彩色特征提取模型，采用该彩色特征提取模型提取出目标对象的平面特征信息，该平面特征信息可以是指目标对象的颜色特征信息、形状特征信息等二维特征信息。还可以学习将正常拍摄得到的彩色图像进转换成深度图像，训练得到目标深度图像转换模型，采用该目标深度图像转换模型，将待识别图像转换成深度图像。还可以通过学习对深度图像进行特征提取，训练得到深度特征提取模型，采用该深度特征提取模型对深度图像进行深度特征提取，得到目标对象的深度特征信息。
见图1，图1是本申请实施例提供的一种图像识别系统的结构示意图。如图1所示，该图像识别系统可以包括服务器10和用户终端集群。该用户终端集群可以包括一个或者多个用户终端，这里将不对用户终端的数量进行限制。如图1所示，具体可以包括用户终端100a、用户终端100b、用户终端100c、…、用户终端100n。如图1所示，用户终端100a、用户终端100b、用户终端100c、…、用户终端100n可以分别与上述服务器10进行网络连接，以便于每个用户终端可以通过该网络连接与服务器10进行数据交互。
其中，该用户终端集群中的每个用户终端均可以包括：车载终端、智能手机、平板电脑、笔记本电脑、桌上型电脑、可穿戴设备、智能家居、头戴设备、车载终端等具有图像识别的智能终端。应当理解，如图1所示的用户终端集群中的每个用户终端均可以安装有目标应用(即应用客户端)，当该应用客户端运行于各用户终端中时，可以分别与上述图1所示的服务器10之间进行数据交互。
其中，如图1所示，该服务器10可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
为便于理解，本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端，该目标用户终端可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视等携带图像识别功能的智能终端。例如，为便于理解，本申请实施例可以将图1所示的用户终端100a作为目标用户终端，用户终端100a可以获取包括目标对象的待识别图像，该待识别图像可以是指彩色图像。用户终端100a获取到包含目标对象的待识别图像后，可以将该待识别图像发送给服务器10，服务器10可以对待识别图像进行平面特征提取，得到目标对象的平面特征信息，该平面特征信息可以是指该待识别图像中目标对象的二维特征信息，如目标对象的彩色特征信息(如RGB图像信息)、轮廓特征信息、形状特征信息等。服务器10可以将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息，该深度特征信息可以为待识别图像中目标对象的三维特征信息，该三维特征信息可以是指目标对象在三维空间下各个部分之间的关联关系和位置关系。服务器10可以对目标对象的平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息。服务器10可以将该目标对象的融合特征信息发送给用户终端100a，用户终端100a可以根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。例如，用户终端100a可以根据目标对象的融合特征信息，在合法对象库中检索是否存在与目标对象的融合特征信息相匹配的样本特征信息，该合法对象库中包括多个样本对象的样本特征信息。若合法对象库中存在与目标对象的融合特征信息匹配的样本特征信息，则确定目标对象的属性信息为合法对象，即目标对象为合法对象。若合法对象库中不存在与目标对象的融合特征信息相匹配的样本特征信息，则确定目标对象的属性信息为非法对象，即目标对象为非法对象。由于单独根据目标对象的平面特征信息进行识别时，单一的平面特征信息容易受到攻击，导致识别的可信度和准确性较低。因此，本方案通过结合目标对象的平面特征信息和深度特征信息，通过多维度的特征信息对目标对象进行属性识别，可以达到很好的识别防御效果，提高识别的可信度和准确性。本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
例如，在智慧交通场景中，该待识别图像可以是指车载终端对车辆的行驶道路进行拍摄得到的图像，该待识别图像中的目标对象可以是指车辆、人脸等等，通过对该待识别图像进行分析，可识别出车辆的行驶道路中的车辆或行人与车辆的距离等属性信息，有利于辅助车辆安全驾驶。
为便于理解，进一步地，请参见图2，图2是本申请实施例提供的一种图像识别的应用场景示意图。其中，如图2所示的服务器20d可以为上述的服务器10，如图2所示的目标用户终端20b可以为上述图1中所展示的用户终端集群中的任意一个用户终端，例如，目标用户终端20a可以为上述用户终端100a。如图2所示，待识别图像可以为人脸图像，当目标用户20a想要办理业务A时，业务A需要对目标用户20a的身份信息进行验证，判断目标用户20a是否为合法用户，只有当目标用户20a为合法用户时才能办理业务A。业务A可以获取目标用户20a的人脸采集识别权限，通过目标用户20a所持有的目标用户终端20b的摄像组件，对目标用户20a的脸部进行拍摄，得到包含目标用户20a脸部的人脸图像20c。目标用户终端20b得到目标用户20a的人脸图像20c后，可以将该人脸图像20c发送给服务器20d。服务器20d接收到目标用户终端20b发送的人脸图像20c后，可以通过彩色特征提取模型20e，对人脸图像20c进行特征提取，得到目标用户20a的平面特征信息，该平面特征信息可以是指目标用户20a的脸部颜色特征信息、脸部形状特征信息等二维特征信息。服务器10可以通过目标深度图像转换模型20g，将人脸图像20c转换成初始深度图像，根据该初始深度图像生成深度图像20h，该深度图像20h包括人脸图像中每个像素点与参考水平面之间的距离信息，该参考水平面可以是指目标用户终端20b的摄像组件与目标用户20a脸部之间的任一个水平面。服务器10可以通过深度特征提取模型20i，对深度图像20h进行深度特征提取，得到目标用户20a的深度特征信息，该深度特征信息中包括目标用户20a的脸部的高低特征信息以及脸部轮廓特征信息等三维特征信息，即用于展示目标用户20a的脸部的深度信息。服务器10可以对目标用户20a的平面特征信息20f和深度特征信息20j进行融合，得到目标用户20a的融合特征信息20k，服务器10可以将该融合特征信息20k返回给目标用户终端20b。目标用户终端20b可以输出界面20l，以提示目标用户20a当前正在对目标用户20a进行属性验证，目标用户终端20b可以根据融合特征信息20k对目标用户20a进行属性验证，判断目标用户20a是否为合法用户。其中，目标用户终端20b可以在合法用户库中查找是否存在与目标用户20a的融合特征信息20k相匹配的样本特征信息，该合法用户库中包括多个合法用户的样本特征信息。若合法用户库中存在与目标用户20a的融合特征信息相匹配的样本特征信息，则可以确定目标用户20a为合法用户，则目标用户终端可以输出界面20m，以提示目标用户20a验证通过，目标用户20a可以进入业务A进行业务办理。若合法用户库中不存在与目标用户20a的融合特征信息相匹配的样本特征信息，则可以确定目标用户20为非法用户，则输出“验证失败”的界面，以提示目标用户20a不能进行业务A进行业务办理。当然，也可以通过服务器根据目标用户20a的融合特征信息对目标用户20a进行属性验证，得到目标用户20a的属性信息。这样，通过目标用户20a的平面特征信息和深度特征信息，对目标用户20a的身份的合法性进行识别，可以达到很好的识别防御效果，可以提高识别的可信度和准确性，避免根据单一的平面特征信息对目标用户20a进行识别时，单一的平面特征信息容易被攻击，导致识别结果的可信度不高且准确性较低。
请参见图3，图3是本申请实施例提供的一种图像识别方法的流程示意图。该图像识别方法可由计算机设备执行，该计算机设备可以为服务器(如上述图1中的服务器10)，或者用户终端(如上述图1的用户终端集群中的任一用户终端)，本申请对此不做限定。如图3所示，该图像识别方法可以包括步骤S101-S104。
S101，获取包括目标对象的待识别图像，对待识别图像进行平面特征提取，得到目标对象的平面特征信息。
具体的，由于为了保障业务处理的安全性和私密性，因此某些业务处理需要对用户进行属性识别，得到用户的属性信息，只有在该用户的属性信息符合预设条件时，如用户的属性信息为合法用户或者用户的属性信息为有效信息，才能进行业务处理。具体的，计算机设备可以通过获取包含目标对象的待识别图像，对该待识别图像进行图像识别，提取出该待识别图像中目标对象的融合特征信息，通过该融合特征信息对目标对象进行属性识别，得到目标对象的属性信息，该属性信息可以是指目标对象的身份合法性。这样，通过融合特征信息对目标对象进行属性识别，可以达到很好的识别防御效果，提高识别的可信度和准确性。具体的，计算机设备可以获取包括目标对象的待识别图像，该待识别图像可以是指彩色图像，即该待识别图像中包括目标对象的颜色特征信息、形状特征信息等身份特征信息。目标对象可以包括但不限于人脸、植物、商品、行人、各类动物、各类场景等，当目标对象为目标用户的人脸时，本申请对待识别图像的处理过程，均得到待识别图像中的目标用户的授权。计算机设备可以对待识别图像进行平面特征提取，得到目标对象的平面特征信息，该平面特征信息可以是指目标对象的二维特征信息，如颜色特征信息、形状特征信息、纹理特征信息以及姿态特征信息等等。
可选的，计算机设备可以调用彩色人脸特征提取模型，将包含目标对象的待识别图像输入彩色特征提取模型中，对待识别图像中目标对象所在区域进行特征提取，得到目标对象的平面特征信息。其中，彩色人脸特征提取模型可以是卷积神经网络结构，由残差卷积层、池化层以及全连接层设计组合而成，输出的平面特征信息的维度为512。具体的，计算机设备可以对待识别图像进行向量转换，得到待识别图像对应的图像向量，将待识别图像的图像向量输入彩色特征提取模型中的残差卷积层中，对待识别图像的图像向量进行卷积运算，得到待识别图像的卷积图像向量。其中，残差卷积层的数量可以为1个或者多个，可以根据具体需求进设置，残差卷积层中的卷积运算指的是使用一个卷积核对待识别图像中的每个像素进行矩阵相乘并求和的操作。每个残差卷积层对应1个或者多个卷积核(kernel，也可以称为滤波器，或者称为感受野)，该卷积核可以是指加权矩阵，卷积核通常是一个四方形的网格结构(例如3*3的矩阵或像素区域)。每个卷积核的通道数是由输入数据的通道数决定的，每一层输出数据的通道数是由该残差卷积层中的卷积核的数量决定的，且输出数据中图像高度Hout和图像宽度Wout是由输入数据的尺寸、卷积核的尺寸、步长(stride)以及边界填充(padding)共同决定的，即Hout＝(Hin-HKernel+2*padding)/stride+1，Wout＝(Win-WKernel+2*padding)/stride+1。Hin，HKernel分别表示输入数据中图像的高度和卷积核的高度；Win，WKernel分别表示输入数据中图像的宽度和卷积核的宽度。残差卷积层是指为了减少计算量并提取更多的特征信息，将网络结构设置为一种两头小中间大的网络结构，即前面使用较少通道数的卷积核，中间使用较多通道数的卷积核提升通道数，最后再使用较少通道数的卷积核把通道数降下来。彩色特征提取模型采用上述的残差卷积层对待处理图像进行特征提取，可以减少计算量，用较少的计算量得到待处理图像对应的平面特征信息，以此可以提高特征提取的效率。
具体的，计算机设备可以获取待识别图像的图像向量和卷积图像向量之间的差值，得到待识别图像的残差特征向量。计算机设备可以将待识别图像的残差特征向量输入彩色人脸特征提取模型中的池化层，对待识别图像的残差特征向量进行标准化处理，得到标准化处理后的残差特征向量。在残差卷积层进行特征提取后，输出的残差特征向量会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将残差特征向量中单个点的结果替换为其相邻区域的特征图统计量。池化层中的选取池化区域与卷积核中的扫描特征图步骤相同，由池化大小、步长和填充控制。同时，通过池化处理，可以降低残差卷积层输出的残差特征向量的维度，同时改善结果，避免出现过拟合现象。其中，色彩特征提取模型可以由大量的包含目标对象的图像数据对初始彩色特征提取模型进行训练得到，可以采用arcface损失函数约束初始彩色特征提取模型，使初始彩色特征提取模型满足收敛条件，得到彩色特征提取模型。该彩色特征提取模型用于对包含目标对象待识别图像进行特征提取，得到目标对象的平面特征信息。其中，当待识别图像为人脸图像时，彩色特征提取模型训练时的损失函数可以为arcface损失函数，arcface损失函数是一种人脸识别算法，可以减少相同类之间的距离，增加不同类之间的距离。
可选的，计算机设备可以预先训练好彩色特征提取模型，当需要对包括目标对象的待识别图像进行特征提取，得到目标对象的平面特征信息时，可以直接调用彩色特征提取模型进行特征提取。具体的，计算机设备预先训练完成彩色特征提取模型的具体方式可以包括：计算机设备可以获取初始彩色特征提取模型、包含目标对象的样本彩色图像和目标对象的平面特征信息标签，采用初始彩色特征提取模型对样本彩色图像进行特征提取，得到目标对象的预测平面特征信息。计算机设备可以根据目标对象的平面特征信息标签和预测平面特征信息之间的差异，确定初始彩色特征提取模型的损失值，根据该损失值对初始彩色特征提取模型进行参数调整。当参数调整后的初始彩色特征提取模型满足收敛条件时，则将满足参数调整后的初始彩色特征提取模型确定为彩色特征提取模型，用于对包括目标对象的待识别图像进行特征提取，得到目标对象的平面特征信息。其中，收敛条件可以是指初始彩色特征提取模型的训练次数达到目标次数，或者初始彩色特征提取模型的损失值小于或者等于目标阈值。
S102，将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息。
具体的，计算机设备可以将待识别图像转换为深度图像，该深度图像(depthimage)也被称为距离影像(range image)，是指将从图像采集器(如摄像组件)到场景中各点(即包括目标对象的待识别图像)之间的距离(深度)作为像素值的图像，它直接反映了目标对象可见表面的几何形状。计算机设备可以对深度图像进行深度特征提取，得到目标对象的深度特征信息，由于通过摄像组件对目标对象进行拍摄时，目标对象的各个部分距离摄像组件的距离是不同的，即目标对象各个部分可能不会在一个水平面上，是凹凸不平的。因此，计算机设备可以对将待识别图像转换为深度图像，对该深度图像进行深度特征提取，得到目标对象的深度特征信息，这样，可以得到目标对象的不同于平面特征信息的深度特征信息，通过获取目标对象多维度的特征信息，根据该多维度的特征信息对目标对象进行属性识别，可以达到很好的防御效果，提高识别的准确度，避免目标对象的特征信息被攻击，导致识别结果不准确或者可信度不高。
可选的，计算机设备可以获取包括目标对象的待识别图像后，可以根据透镜成像公式可求得待识别图像中各个像素点相对于摄像组件之间的距离信息。
可选的，计算机设备将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息的具体方式可以包括：对待识别图像进行插值处理，得到标准尺寸的待识别图像。调用目标深度图像转换模型，对标准尺寸的待识别图像进行图像转换，得到初始深度图像，根据初始深度图像生成深度图像，调用深度特征提取模型，对深度图像进行深度特征提取，得到目标对象的深度特征信息。
具体的，计算机设备可以对待识别图像进行插值处理，对待识别图像的尺寸大小进行调整，将待识别图像的尺寸大小调整为标准尺寸的待识别图像，将待识别图像的尺寸大小调整为标准尺寸，便于后续将待识别图像的大小同一输入目标深度图像转换模型中，对标准尺寸大小的待识别图像进行图像转换。计算机设备可以调用目标深度图像转换模型，该目标深度图像转换模型用于将摄像组件拍摄得到的图像进行深度图像转换成深度图像，通过该目标深度图像转换，对标准尺寸的待识别图像进行图像转换，得到初始深度图像。其中，目标深度图像转换模型利用待识别图像中各个像素点之间的深度之间关系以及图像上下文之间的联系，从而恢复出待识别图像的初始深度图像。该初始深度图像中包括目标对象在X方向上的法向分量以及在Y方向上的法向分量，因此可以根据该初始深度图像生成深度图像，该深度图像中包括目标对象在X、Y、Z三个方向上的法向分量。计算机设备得到待识别图像对应的深度图像后，可以调用深度特征提取模型，对深度图像进行深度特征提取，得到目标对象的深度特征信息，该目标对象的深度特征信息可以是指目标对象在三维空间中的特征信息(如目标对象的各个部分在三维空间下的位置关系信息和方向关系信息)。
可选的，计算机设备调用目标深度图像转换模型，对标准尺寸的待识别图像进行图像转换，得到初始深度图像的具体方式可以包括：通过目标深度图像转换模型中的编码器，获取标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息。通过目标深度图像转换模型中的解码器，对标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息进行预测，输出标准尺寸的待识别图像中每个像素点的深度信息。根据每个像素点的深度信息生成初始深度图像。
具体的，计算机设备可以通过目标深度图像转换模型中的编码器，获取标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息，该参考水平面可以为摄像组件的摄像头所在的水平面，或者，该参考水平面可以为摄像组件所在水平面至目标对象所在水平面之间的任意一个水平面，也可以为其他水平面，可以根据具体需求进行设置，本申请实施例在此不做限制。其中，摄像组件对目标对象拍摄时，不同位置的像素点所对应的像素特征信息是不同的，因此计算机设备可以获取每个像素点的像素特征信息，根据该像素特征信息获取标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息。由于目标对象的各个部分是高低不平的，因此，标准尺寸的待识别图像中目标对象所在区域中的各个像素点与参考水平面之间的距离信息是不同的。目标深度图像转换模型中的编码器还可以对标准尺寸的待识别图像中目标对象所在区域中的各个像素点与参考水平面之间的距离信息进行编码。计算机设备可以通过目标深度图像转换模型中的解码器，对标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息进行预测，输出标准尺寸的待识别图像中每个像素点的深度信息，即不同的距离信息对应不同的深度信息，即计算机设备可以根据每个像素点的距离信息进行三维建模，确定待识别图像中各个像素点的深度信息，对待识别图像中每个像素点的深度信息进行组合，得到初始深度图像。其中，目标深度图像转换模型为编解码网络结构，主要构件为编码器和解码器，整体为U型结构，包括残差卷积层和亚像素卷积层，残差卷积层用于对待处理图像进行特征提取，可以减少计算量，提高特征提取的效率。亚像素卷积层用于提高图像的分辨率，实现了图像的超分辨率。其中，编解码网络结构主要分为三部分：下采样，上采样以及跳跃连接，首先可以将该编解码网络结构分为左右两个部分来分析，左边是压缩(编码)的过程，即Encoder，通过卷积和下采样来降低图像尺寸，提取一些浅显的特征。右边部分是解码的过程，即Decoder，通过卷积和上采样来获取一些深层次的特征。然后中间部分将编码阶段获得的特征信息与解码阶段获得的特征信息结合在一起，即结合深层次和浅层次的特征，细化图像，输出结合后的特征信息。
可选的，计算机设备根据初始深度图像生成深度图像的具体方式可以包括：获取初始深度图像在第一方向上的法向分量，获取初始深度图像在第二方向上的法向分量。根据第一方向上的法向分量和第二方向上的法向分量，计算初始深度图像在第三方向上的法向分量。对第一方向上的法向分量、第二方向上的法向分量以及第三方向上的法向分量进行组合，得到深度图像。
具体的，计算机设备得到初始深度图像后，可以获取初始深度图像在第一方向上的法向分量，该第一方向可以是指X方向，以及获取初始深度图像在第二方向上的法向分量，该第二方向可以是指Y方向，如计算机设备可以计算初始深度图像中X、Y两个方向上的一阶微分图像，根据该X、Y两个方向上的一阶微分图像，计算得到初始深度图像在第三方向上的法向分量，该第三方向可以是指Z方向。其中，计算机设备获取到初始深度图像中X、Y两个方向上的一阶微分图像后，可以根据X2+Y2+Z2＝1，计算得到Z方向上的法向分量。计算机设备得到初始深度图像在X、Y、Z三个方向上的法向分量后，可以对该三个方向上的法向分量进行组合，得到深度图像，该深度图像包括待识别图像在三个方向上的法向分量，即对待识别图像中的目标对象进行立体化，便于后续对待识别图像的深度图像进行深度特征提取，得到目标对象的深度特征信息。
可选的，计算机设备调用深度特征提取模型，对深度图像进行深度特征提取，得到目标对象的深度特征信息的具体方式可以包括：调用深度特征提取模型，对深度图像进行向量转换，得到深度图像对应的深度图像向量。通过深度特征提取模型中的残差卷积层，对深度图像向量进行卷积运算，得到卷积图像向量，根据深度图像向量与卷积图像向量之间的差异，得到深度图像对应的深度残差特征向量。通过深度特征提取模型中的全连接层，对深度残差特征向量进行线性变换，得到目标对象的深度特征信息。
具体的，计算机设备可以调用深度特征提取模型，该深度特征提取模型用于对深度图像进行深度特征提取。其中，深度特征提取模型可以是卷积神经网络结构，使用残差卷积层和全连接层组合而成，输出的深度特征向量的维度是512。计算机设备可以通过深度特征提取模型，对深度图像进行向量转换，得到深度图像对应的深度图像向量，可以通过深度特征提取模型中的残差卷积层，对深度图像向量进行卷积处理，得到卷积图像向量，该卷积处理是指矩阵相乘，用于特征提取。根据深度图像向量和卷积图像向量之间的差异，得到深度图像对应的深度残差特征向量。计算机设备可以通过深度特征提取模型中的池化层，对该深度残差特征向量进行池化处理，以此对该深度残差特征向量进行标准化处理，以得到标准化的深度残差特征向量，通过深度特征提取模型中的池化层对残差卷积层输出的深度残差特征向量进行池化处理，池化处理的作用可以参见上述彩色特征提取模型中池化处理的作用，本申请实施例在此不再赘述。计算机设备得到深度图像对应的深度残差特征向量，可以通过深度特征提取模型中的全连接层，对深度残差特征向量进行线性变换(即线性组合)，得到目标对象的深度特征信息。其中，深度特征提取模型可以由大量的样本图像数据训练而成，可以采用arcface损失函数约束其收敛方式，使其满足收敛条件。
可选的，计算机设备可以预先训练好目标深度图像转换模型，计算机设备可以获取初始深度图像转换模型、样本图像以及样本图像对应的初始深度图像标签。采用初始深度图像转换模型对样本图像进行深度识别，得到样本图像对应的预测初始深度图像。根据初始深度图像标签和预测初始深度图像之间的像素差值，确定第一损失函数，根据初始深度图像标签中像素点的法向量与预测初始深度图像中像素点的法向量之间的差异，确定第二损失函数。根据第一损失函数和第二损失函数，对初始深度图像转换模型进行迭代训练，得到目标深度图像转换模型。
具体的，计算机设备可以获取初始深度图像转换模型、样本图像以及该样本图像对应的初始深度图像标签，该样本图像可以为彩色图像。计算机设备可以采用初始深度图像转换模型对样本图像进行深度识别，得到样本图像对应的预测初始深度图像。计算机设备可以获取初始深度图像标签中像素点与预测初始深度图像中像素点之间的像素差值，确定第一损失函数，如可以根据初始深度图像标签与预测初始深度图像之间的像素差异确定损失函数MSE(mean-square error，均方误差)或者损失函数MAE(Mean Absolute Error，平均绝对误差)。该MSE是指参数估计值与参数值之差平方的期望值，用于衡量“平均误差”的一种方法，MSE的值越小，说明模型具有更好的精确度。MAE是指模型的预测值f(x)与真实值y之间距离的平均值，用于衡量“模型误差”的一种方法。计算机设备可以获取初始深度图像标签中像素点的法向量与预测初始深度图像中像素点的法向量之间的差异，确定第二损失函数。
其中，第二损失函数的具体公式可以如下公式(1)所示：
其中，公式(1)中的W是指初始深度图像标签和预测初始深度图像的宽度，H是指初始深度图像标签和预测初始深度图像的高度，No是指真实的法向量，No是指预测的法向量，No和Nr分别表示由Do(即初始深度图像标签)和Dr(即预测初始深度图像)计算得到的三通道的法向图像，三个通道分别存储法向量在x、y、z三个方向的分量模长，No(i，j)表示Do(i，j)坐标点的法向量(x(i，j)，y(i，j)，z(i，j))，Nr(i，j)表示Dr(i，j)坐标点的法向量(x(i，j)，y(i，j)，z(i，j))，No和Nr的相似性通过每个像素点的法向量的平均余弦距离计算得到。
具体的，计算机设备得到第一损失函数和第二损失函数后，可以根据该第一损失函数和第二损失函数，确定初始深度图像转换模型对应的模型调整参数，将初始深度图像转换模型中的初始模型参数更新为模型调整参数，以此对初始深度图像转换模型中的模型参数进行调整。计算机设备可以继续对参数调整后的初始深度图像转换模型进行训练，并检测参数调整后的初始深度图像转换模型是否满足收敛条件。当参数调整后的初始深度图像转换模型满足收敛条件时，则将满足收敛条件的初始深度图像转换模型确定为目标深度图像转换模型。若参数调整后的初始深度图像转换模型不满足收敛条件，则继续对参数调整后的初始深度图像转换模型进行参数调整和训练，直到满足收敛条件。其中，收敛条件可以是指初始深度图像转换模型的训练次数达到目标次数，或者，初始深度图像转换模型的损失值小于或者等于目标阈值。
S103，对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息。
具体的，计算机设备可以对目标对象的平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息，这样，可以得到目标对象的多维度的特征信息，根据该多维度的特征信息对目标对象进行属性识别，可以提高识别的可信度和准确性，同时，也可以达到很好的识别防御效果，避免采用单一的特征信息对目标对象进行属性识别时，该单一的特征信息容易被攻击，导致识别结果不准确的情况。
如图4所示，图4是本申请实施例提供的一种融合特征信息获取方法的示意图，如图4所示，计算机设备可以将包括目标对象的待识别图像40a进行插值处理，得到标准尺寸的待识别图像40b。计算机设备可以将标准尺寸的待识别图像40b输入目标深度图像转换模型40c，对标准尺寸的待识别图像40b进行图像转换，得到初始深度图像40d。如图4所示，目标深度图像转换模型为U型结构，包括下采样，上采样以及跳跃连接，可以将该编解码网络结构分为左右两个部分来分析，左边是压缩(编码)的过程，即Encoder，通过卷积和下采样来降低图像尺寸，提取一些浅显的特征。右边部分是解码的过程，即Decoder，通过卷积和上采样来获取一些深层次的特征。然后中间部分将编码阶段获得的特征信息与解码阶段获得的特征信息结合在一起，即结合深层次和浅层次的特征，细化图像，输出结合后的特征信息。计算机设备得到初始深度图像40d后，可以获取初始深度图像中X、Y、Z三个方向上的法向分量，对该三个方向上的法向分量进行组合，得到深度图像40e。计算机设备可以对深度图像40e进行插值处理，得到标准尺寸的深度图像40f，并将该标准尺寸的深度图像40f输入深度特征提取模型40g中，输入目标对象的深度特征信息，深度特征提取模型进行特征提取的具体内容可以参见上述步骤S102的描述，本申请实施例在此不再赘述。计算机设备还可以将包含目标对象的待识别图像输入彩色特征提取模型40h中，输出目标对象的平面特征信息，该彩色特征提取模型40h进行特征提取的具体内容可以参见上述步骤S101的描述，本申请实施例在此不再赘述。
本方案通过多模态特征(即待识别图像中目标对象的平面特征信息和深度图像中目标对象的深度特征信息)以及双分支网络(获取目标对象的深度特征信息的目标深度图像转换模型和深度特征提取模型，以及获取目标对象的平面特征信息的彩色特征提取模型)，可以有效防御对抗攻击的同时，保障图像识别的准确度，可以提高图像数据的稳定性和安全性，提高图像识别的可信度。
S104，根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。
具体的，计算机设备可以根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息，该属性信息可以是指目标对象是否为合法对象。例如，计算机设备可以在特征库中，查找是否与目标对象的融合特征信息相匹配的样本特征信息，特征库中包括多个合法的样本特征信息。若特征库中存在与目标对象的融合特征信息相匹配的样本特征信息，则可以确定目标对象的属性信息为合法对象；若特征库中不存在与目标对象的融合特征信息相匹配的样本特征信息，则可以确定目标对象的属性信息为非法对象信息。
如图5所示，图5是本申请实施例提供的一种根据融合特征信息进行属性识别的示意图，如图5所示，待识别图像可以为人脸图像，对包括目标对象的待识别图像进行身份合法性识别时，若目标对象的特征信息不存在被恶意攻击时，则计算机设备提取出的目标对象的特征信息如50a所示，此时可以准确识别出目标对象的身份合法性。当目标对象的特征信息被恶意攻击时，若计算机设备仅根据目标对象单一的平面特征信息进行身份合法性识别时，则计算机设备所提取出的目标对象的特征信息如50b所示，目标对象的特征信息已经被改变，此时根据该改变后的特征信息对目标对象进行身份合法性识别时，则会出现识别错误。而本申请实施例中如50c所示，计算机设备可以提取出目标对象的平面特征信息和深度特征信息，被恶意攻击，仅可能攻击到平面特征信息或者深度特征信息，平面特征信息和深度特征信息同时被攻击的可能性较小，因此，根据平面特征信息和深度特征信息融合后的融合特征信息对目标对象进行身份合法性识别，可以达到很好的防御效果，提高识别的可信度和准确性。可见，如50c所示，目标对象的融合特征信息被攻击后，还能基本保持原来的特征，即对目标对象的平面特征信息和深度特征信息进行融合后，满意被攻击。因此，本申请实施例通过引入平面特征信息和深度特征信息后，相对于单一的平面特征信息，待识别图像的图像数据被攻击篡改的难度提高，可以达到很好的防御效果，提高图像识别的可信度。
本申请实施例中，通过获取包括目标对象的待识别图像，对待识别图像进行平面特征提取，得到目标对象的平面特征信息，该平面特征信息反映了目标对象的二维特征信息。将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息，该深度特征信息反映了目标对象可见表面的几何形状，即包含了目标对象的三维特征信息。对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息，根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。多维度的融合特征信息难以被攻击，即平面特征信息和深度特征信息难以同时都被攻击，当平面特征信息被攻击时，还可以根据深度特征信息进行属性识别，当深度特征信息被攻击时，还可以根据平面特征信息进行属性识别。可见，通过多维度的融合特征信息，对目标对象进行属性识别，在一定程度上可防止图像的特征信息被攻击，可以达到很好的识别防御效果，提高识别的可信度和准确性。同时，本申请还通过彩色特征提取模型提取出目标对象的平面特征信息，通过深度特征提取模型提取出目标对象的深度特征信息，可以提高特征提取的效率。
请参见图6，图6是本申请实施例提供的一种图像识别方法的流程示意图。该图像识别方法可由计算机设备执行，该计算机设备可以为服务器(如上述图1中的服务器10)，或者用户终端(如上述图1的用户终端集群中的任一用户终端)，本申请对此不做限定。如图6所示，该图像识别方法可以包括步骤S201-S207。
S201，获取包括目标对象的原始图像。
具体的，计算机设备可以通过获取包括目标对象的原始图像，该原始图像可以由摄像组件对目标对象进行拍摄得到，也可以由计算机设备响应用户的上传操作得到。
S202，从原始图像中提取目标对象的关键特征点。
具体的，由于摄像组件每次对目标对象进行拍摄时，拍摄得到的原始图像中的目标对象的形状大小以及方向不一致，因此需要对原始图像中的目标对象进行矫正，使目标对象处于标准形状大小和标准方向，便于后续对目标对象进行特征提取。具体的，计算机设备可以从原始图像中提取出目标对象的关键特征点，该关键特征点可以是指原始图像中目标对象的边界关键点以及轮廓关键点，不同目标对象的关键特征点可以不同，可以预先设置不同目标对象的关键特征点。其中，计算机设备可以获取不同目标对象对应的关键特征点所处的位置信息，并建立不同目标对象的对象标识与其对应的关键特征所处位置信息之间的对应关系存储至关键点库中，这样，计算机设备可以根据目标对象的对象标识，从关键点库中确定目标对象的关键特征点所处的位置信息，根据该关键特征点所处的位置信息，从原始图像中提取出目标对象的关键特征点。
S203，根据目标对象的关键特征点对原始图像进行校正处理，得到包括目标对象的待识别图像。
具体的，计算机设备可以根据目标对象的关键特征点，对原始图像进行中目标对象进行矫正处理，得到包括目标对象的待识别图像。其中，计算机设备可以根据目标对象的关键特征点之间的位置关系(如方向关系和距离关系)对原始图像中的目标对象进行矫正处理，得到包括目标对象的待识别图像。
可选的，计算机设备根据目标对象的关键特征点对原始图像进行校正处理，得到包括目标对象的待识别图像的具体方式可以包括：获取对象模板关键点特征。确定对象模板关键点特征与目标对象的关键特征点之间的差异信息，根据差异信息对原始图像进行调整，得到包括目标对象的待识别图像。
具体的，计算机设备获取目标对象的对象模板关键点特征，该对象模板关键点特征可以是指对象模板关键点矩阵，可以预先根据目标对象的目标摆放位置和形状大小进行设置。例如，目标对象在图像A中的摆放位置和形状大小为标准样式，则可以提取出目标对象在图像A中的对象关键点，将该目标对象在图像A中的对象关键点确定为对象模板关键点特征。计算机设备可以确定对象模板关键点特征与目标对象的关键特征点之间的差异信息，根据该差异信息对原始图像中的目标对象的摆放位置和形状大小进行调整，得到包括目标对象的待识别图像。其中，计算机设备可以根据对象模板关键点矩阵，对目标对象的原始图像进行仿射变换，以此对目标对象的原始图像进行矫正，得到包括目标对象的待识别图像。其中，仿射变换包括:平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)和错切(Shear)。
S204，对待识别图像进行平面特征提取，得到目标对象的平面特征信息。
S205，将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息。
S206，对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息。
S207，根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。
具体的，步骤S204-步骤S207的具体内容可以参见上述图3中步骤S101-步骤S104的具体内容，本申请实施例在此不再赘述。
具体的，本申请实施例中的待识别图像可以是指人脸图像，本申请实施例可以应用于刷脸支付场景，需要说明的是，当目标对象为目标用户的人脸时，本申请对待识别图像的处理过程，均得到待识别图像中的目标用户的授权。计算机设备可以通过用户终端(如手机、电脑或者平板等)获取目标用户的人脸图像，该目标用户的人脸图像可以为彩色图像，并检测出该目标用户的人脸图像中脸部关键点。计算机设备可以对目标用户的人脸图像进行对齐处理，得到标准图像大小的人脸图像，还可以对标准图像大小的人脸图像进行质量评估，判断该标准图像大小的人脸图像的质量是否合格。若标准图像大小的人脸图像的质量合格，则对该标准图像大小的人脸图像进行平面特征提取，得到目标用户的平面特征信息。计算机设备可以对标准图像大小的人脸图像进行图像转换，得到目标用户对应的深度图像，并对该目标用户对应的深度图像进行深度特征提取，得到目标用户的深度特征信息。计算设备可以对目标用户的平面特征信息和深度特征信息进行融合，得到融合特征信息，并根据该目标用户的融合特征信息，从用户底库中进行人脸特征检索，输出识别结果。其中，当用户底库中存在与目标用户的融合特征信息性匹配的样本特征信息，则可以确定目标用户为有效用户，则进行后续的项目支付。若用户底库中不存在与目标用户的融合特征信息相匹配的样本特征信息，则可以确定目标用户为无效用户，则输出刷脸支付失败界面。另外，也可以将目标用户的融合特征信息存储至用户底库中，便于后续的检索。
本申请实施例中，通过从包括目标对象的原始图像中提取目标对象的关键特征点，根据目标对象的关键特征点对原始图像进行校正处理，得到包括目标对象的待识别图像。这样，通过对包括目标对象的原始图像进行校正处理，可以消除一些干扰因素，从而提高图像识别的准确性。对待识别图像进行平面特征提取，得到目标对象的平面特征信息，该平面特征信息反映了目标对象的二维特征信息。将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息，该深度特征信息反映了目标对象可见表面的几何形状，即包含了目标对象的三维特征信息。对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息，根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。多维度的融合特征信息难以被攻击，即平面特征信息和深度特征信息难以同时都被攻击，当平面特征信息被攻击时，还可以根据深度特征信息进行属性识别，当深度特征信息被攻击时，还可以根据平面特征信息进行属性识别。可见，通过多维度的融合特征信息，对目标对象进行属性识别，在一定程度上可防止图像的特征信息被攻击，可以达到很好的识别防御效果，提高识别的可信度和准确性。同时，本申请还通过彩色特征提取模型提取出目标对象的平面特征信息，通过深度特征提取模型提取出目标对象的深度特征信息，可以提高特征提取的效率。
请参见图7，图7是本申请实施例提供的一种图像识别装置的结构示意图。上述图像识别装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该图像识别装置为一个应用软件；该图像识别装置可以用于执行本申请实施例提供的图像识别方法中的相应步骤。如图7所示，该图像识别装置可以包括：平面特征提取模块11、深度特征提取模块12、融合模块13以及属性识别模块14。
平面特征提取模块11，用于获取包括目标对象的待识别图像，对待识别图像进行平面特征提取，得到目标对象的平面特征信息；
深度特征提取模块12，用于将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息；
融合模块13，用于对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息；
属性识别模块14，用于根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。
其中，深度特征提取模块12包括：
插值处理单元1201，用于对待识别图像进行插值处理，得到标准尺寸的待识别图像；
图像转换单元1202，用于调用目标深度图像转换模型，对标准尺寸的待识别图像进行图像转换，得到初始深度图像；
生成单元1203，用于根据初始深度图像生成深度图像；
深度特征提取单元1204，用于调用深度特征提取模型，对深度图像进行深度特征提取，得到目标对象的深度特征信息。
其中，图像转换单元1202具体用于：
通过目标深度图像转换模型中的编码器，获取标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息；
通过目标深度图像转换模型中的解码器，对标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息进行预测，输出标准尺寸的待识别图像中每个像素点的深度信息；
根据每个像素点的深度信息生成初始深度图像。
其中，生成单元1203具体用于：
获取初始深度图像在第一方向上的法向分量，获取初始深度图像在第二方向上的法向分量；
根据第一方向上的法向分量和第二方向上的法向分量，计算初始深度图像在第三方向上的法向分量；
对第一方向上的法向分量、第二方向上的法向分量以及第三方向上的法向分量进行组合，得到深度图像。
其中，深度特征提取单元1204具体用于：
调用深度特征提取模型，对深度图像进行向量转换，得到深度图像对应的深度图像向量；
通过深度特征提取模型中的残差卷积层，对深度图像向量进行卷积运算，得到卷积图像向量，根据深度图像向量与卷积图像向量之间的差异，得到深度图像对应的深度残差特征向量；
通过深度特征提取模型中的全连接层，对深度残差特征向量进行线性变换，得到目标对象的深度特征信息。
其中，深度特征提取模块12还包括：
第一获取单元1205，用于获取初始深度图像转换模型、样本图像以及样本图像对应的初始深度图像标签；
深度识别单元1206，用于采用初始深度图像转换模型对样本图像进行深度识别，得到样本图像对应的预测初始深度图像；
第一确定单元1207，用于根据初始深度图像标签和预测初始深度图像之间的像素差值，确定第一损失函数；
第二确定单元1208，用于根据初始深度图像标签中像素点的法向量与预测初始深度图像中像素点的法向量之间的差异，确定第二损失函数；
迭代训练单元1209，用于根据第一损失函数和第二损失函数，对初始深度图像转换模型进行迭代训练，得到目标深度图像转换模型。
其中，平面特征提取模块11包括：
第二获取单元1101，用于获取包括目标对象的原始图像；
提取单元1102，用于从原始图像中提取目标对象的关键特征点；
校正处理单元1103，用于根据目标对象的关键特征点对原始图像进行校正处理，得到包括目标对象的待识别图像。
其中，校正处理单元1103具体用于：
获取对象模板关键点特征；
确定对象模板关键点特征与目标对象的关键特征点之间的差异信息；
根据差异信息对原始图像进行调整，得到包括目标对象的待识别图像。
根据本申请的一个实施例，图3所示的图像处理方法所涉及的步骤可由图7所示的图像处理装置中的各个模块来执行。例如，图3中所示的步骤S101可由图7中的平面特征提取模块11来执行，图3中所示的步骤S102可由图7中的深度特征提取模块12来执行，图3中所示的步骤S103可由图7中的融合模块13来执行，图3中所示的步骤S104可由图7中的属性识别模块14来执行等等。
根据本申请的一个实施例，图7示的图像处理装置中的各个模块可以分别或全部合并为一个或若干个单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个子单元，可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个单元来实现，或者多个模块的功能由一个单元实现。在本申请的其它实施例中，测试装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
本申请实施例中，通过从包括目标对象的原始图像中提取目标对象的关键特征点，根据目标对象的关键特征点对原始图像进行校正处理，得到包括目标对象的待识别图像。这样，通过对包括目标对象的原始图像进行校正处理，可以消除一些干扰因素，从而提高图像识别的准确性。对待识别图像进行平面特征提取，得到目标对象的平面特征信息，该平面特征信息反映了目标对象的二维特征信息。将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息，该深度特征信息反映了目标对象可见表面的几何形状，即包含了目标对象的三维特征信息。对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息，根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。多维度的融合特征信息难以被攻击，即平面特征信息和深度特征信息难以同时都被攻击，当平面特征信息被攻击时，还可以根据深度特征信息进行属性识别，当深度特征信息被攻击时，还可以根据平面特征信息进行属性识别。可见，通过多维度的融合特征信息，对目标对象进行属性识别，在一定程度上可防止图像的特征信息被攻击，可以达到很好的识别防御效果，提高识别的可信度和准确性。同时，本申请还通过彩色特征提取模型提取出目标对象的平面特征信息，通过深度特征提取模型提取出目标对象的深度特征信息，可以提高特征提取的效率。
请参见图8，图8是本申请实施例提供的一种计算机设备的结构示意图。如图8所示，上述计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：目标用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，目标用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选目标用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、目标用户接口模块以及设备控制应用程序。
在图8所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而目标用户接口1003主要用于为目标用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取包括目标对象的待识别图像，对待识别图像进行平面特征提取，得到目标对象的平面特征信息；
将待识别图像转换为深度图像，对深度图像进行深度特征提取，得到目标对象的深度特征信息；
对平面特征信息和深度特征信息进行融合，得到目标对象的融合特征信息；
根据目标对象的融合特征信息对目标对象进行属性识别，得到目标对象的属性信息。
应当理解，本申请实施例中所描述的计算机设备1000可执行前文图3或者图6所对应实施例中对图像识别方法的描述，也可执行前文图7所对应实施例中对图像识别装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的图像识别装置所执行的计算机程序，且计算机程序包括程序指令，当处理器执行程序指令时，能够执行前文图3和图6所对应实施例中对图像识别方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。作为示例，程序指令可被部署在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行，分布在多个地点且通过通信网络互连的多个计算设备可以组成区块链系统。
此外，需要说明的是：本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或者计算机程序可以包括计算机指令，该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器可以执行该计算机指令，使得该计算机设备执行前文图3和图6所对应实施例中对图像识别方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本申请方法实施例的描述。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存储器(Random Access Memory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种图像识别方法，其特征在于，包括：
获取包括目标对象的待识别图像，对所述待识别图像进行平面特征提取，得到所述目标对象的平面特征信息；
将所述待识别图像转换为深度图像，对所述深度图像进行深度特征提取，得到所述目标对象的深度特征信息；
对所述平面特征信息和所述深度特征信息进行融合，得到所述目标对象的融合特征信息；
根据所述目标对象的融合特征信息对所述目标对象进行属性识别，得到所述目标对象的属性信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述待识别图像转换为深度图像，对所述深度图像进行深度特征提取，得到所述目标对象的深度特征信息，包括：
对所述待识别图像进行插值处理，得到标准尺寸的待识别图像；
调用目标深度图像转换模型，对所述标准尺寸的待识别图像进行图像转换，得到初始深度图像；
根据所述初始深度图像生成深度图像；
调用深度特征提取模型，对所述深度图像进行深度特征提取，得到所述目标对象的深度特征信息。
3.根据权利要求2所述的方法，其特征在于，所述调用目标深度图像转换模型，对所述标准尺寸的待识别图像进行图像转换，得到初始深度图像，包括：
通过所述目标深度图像转换模型中的编码器，获取所述标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息；
通过所述目标深度图像转换模型中的解码器，对所述标准尺寸的待识别图像中每个像素点与参考水平面之间的距离信息进行预测，输出所述标准尺寸的待识别图像中每个像素点的深度信息；
根据所述每个像素点的深度信息生成初始深度图像。
4.根据权利要求2所述的方法，其特征在于，所述根据所述初始深度图像生成深度图像，包括：
获取所述初始深度图像在第一方向上的法向分量，获取所述初始深度图像在第二方向上的法向分量；
根据所述第一方向上的法向分量和所述第二方向上的法向分量，计算所述初始深度图像在第三方向上的法向分量；
对所述第一方向上的法向分量、所述第二方向上的法向分量以及所述第三方向上的法向分量进行组合，得到深度图像。
5.根据权利要求2所述的方法，其特征在于，所述调用深度特征提取模型，对所述深度图像进行深度特征提取，得到所述目标对象的深度特征信息，包括：
调用深度特征提取模型，对所述深度图像进行向量转换，得到所述深度图像对应的深度图像向量；
通过所述深度特征提取模型中的残差卷积层，对所述深度图像向量进行卷积运算，得到卷积图像向量，根据所述深度图像向量与所述卷积图像向量之间的差异，得到所述深度图像对应的深度残差特征向量；
通过所述深度特征提取模型中的全连接层，对所述深度残差特征向量进行线性变换，得到所述目标对象的深度特征信息。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取初始深度图像转换模型、样本图像以及所述样本图像对应的初始深度图像标签；
采用所述初始深度图像转换模型对所述样本图像进行深度识别，得到所述样本图像对应的预测初始深度图像；
根据所述初始深度图像标签和所述预测初始深度图像之间的像素差值，确定第一损失函数；
根据所述初始深度图像标签中像素点的法向量与所述预测初始深度图像中像素点的法向量之间的差异，确定第二损失函数；
根据所述第一损失函数和所述第二损失函数，对所述初始深度图像转换模型进行迭代训练，得到目标深度图像转换模型。
7.根据权利要求1所述的方法，其特征在于，所述获取包括目标对象的待识别图像，包括：
获取包括目标对象的原始图像；
从所述原始图像中提取所述目标对象的关键特征点；
根据所述目标对象的关键特征点对所述原始图像进行校正处理，得到包括所述目标对象的待识别图像。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标对象的关键特征点对所述原始图像进行校正处理，得到包括所述目标对象的待识别图像，包括：
获取对象模板关键点特征；
确定所述对象模板关键点特征与所述目标对象的关键特征点之间的差异信息；
根据所述差异信息对所述原始图像进行调整，得到包括所述目标对象的待识别图像。
9.一种计算机设备，其特征在于，包括：处理器和存储器；
所述处理器与存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111183285.3A CN115965839A (zh) | 2021-10-11 | 2021-10-11 | 图像识别方法、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111183285.3A CN115965839A (zh) | 2021-10-11 | 2021-10-11 | 图像识别方法、存储介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115965839A true CN115965839A (zh) | 2023-04-14 |
Family
ID=87357464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111183285.3A Pending CN115965839A (zh) | 2021-10-11 | 2021-10-11 | 图像识别方法、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115965839A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011945A (zh) * | 2023-10-07 | 2023-11-07 | 之江实验室 | 动作能力评估方法、装置、计算机设备及可读存储介质 |
-
2021
- 2021-10-11 CN CN202111183285.3A patent/CN115965839A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011945A (zh) * | 2023-10-07 | 2023-11-07 | 之江实验室 | 动作能力评估方法、装置、计算机设备及可读存储介质 |
| CN117011945B (zh) * | 2023-10-07 | 2024-03-19 | 之江实验室 | 动作能力评估方法、装置、计算机设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112733795B (zh) | 人脸图像的视线矫正方法、装置、设备及存储介质 | |
| CN112001914A (zh) | 深度图像补全的方法和装置 | |
| KR20210074360A (ko) | 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체 | |
| CN111768425A (zh) | 图像处理方法、装置及设备 | |
| CN113537254B (zh) | 图像特征提取方法、装置、电子设备及可读存储介质 | |
| CN112001931A (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN112767294B (zh) | 深度图像的增强方法、装置、电子设备以及存储介质 | |
| CN111833360A (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN115082322B (zh) | 图像处理方法和装置、图像重建模型的训练方法和装置 | |
| CN113592940A (zh) | 基于图像确定目标物位置的方法及装置 | |
| JP2023131117A (ja) | 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体 | |
| CN116630514A (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 | |
| CN114972016A (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
| CN117557689B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113592709B (zh) | 图像超分处理方法、装置、设备及存储介质 | |
| CN115965839A (zh) | 图像识别方法、存储介质及设备 | |
| CN116740078A (zh) | 图像分割处理方法、装置、设备以及介质 | |
| CN116597033A (zh) | 图像重建方法、装置、设备和介质 | |
| CN113628349B (zh) | 基于场景内容自适应的ar导航方法、设备及可读存储介质 | |
| CN111461091B (zh) | 万能指纹生成方法和装置、存储介质及电子装置 | |
| CN114333069A (zh) | 对象的姿态处理方法、装置、设备及存储介质 | |
| CN114677611A (zh) | 数据识别方法、存储介质及设备 | |
| CN114494302A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN116778534B (zh) | 图像处理方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40084962 Country of ref document: HK |