CN115546845B - 一种多视角牛脸识别方法、装置、计算机设备及存储介质 - Google Patents

一种多视角牛脸识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115546845B
CN115546845B CN202211480743.4A CN202211480743A CN115546845B CN 115546845 B CN115546845 B CN 115546845B CN 202211480743 A CN202211480743 A CN 202211480743A CN 115546845 B CN115546845 B CN 115546845B
Authority
CN
China
Prior art keywords
face
cow
cattle
key point
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211480743.4A
Other languages
English (en)
Other versions
CN115546845A (zh
Inventor
夏志鹏
付园园
徐妙然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202211480743.4A priority Critical patent/CN115546845B/zh
Publication of CN115546845A publication Critical patent/CN115546845A/zh
Application granted granted Critical
Publication of CN115546845B publication Critical patent/CN115546845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种多视角牛脸识别方法、装置、计算机设备及存储介质。所述方法包括：采集待识别牛只的牛脸图像；通过牛脸关键点检测模型对牛脸图像进行方向类别及关键点位置预测，并根据方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计，根据所述牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像；利用牛脸分割模块提取出牛脸图像的正脸、左脸及右脸轮廓信息；利用牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别。本申请显著增强了牛脸特征的鲁棒性，有利于提升牛脸识别准确率，可出色地适用于大规模养殖场景的牛的唯一性识别。

Description

一种多视角牛脸识别方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种多视角牛脸识别方法、装置、计算机设备及存储介质。
背景技术
近年来，我国的农业养殖业快速发展，形成了大型规模化养殖与个体户养殖并行蓬勃发展的局面。以牛养殖为例，如何规避养殖牛只因疾病或意外死亡造成的损失成为了养殖户非常关注的问题，因此，对养殖牛只的保险业务需求量迅速增多。而在农业养殖险的承保以及理赔业务中，如何快速、高效、准确地确定牛只唯一性并建立牛只的保险机制，成为了保险公司重点关注的问题。
目前判断牛只的唯一性方法主要包括传统方法以及基于人工智能的牛脸识别技术，具体的：
传统方法：在牛的耳朵上打耳标，通过耳标编号来判断唯一性。这种方法不仅增加费用成本，且在打耳标时会对牛造成惊吓，甚至导致流产，另外耳标可人为更换，给保险公司增加了保险欺诈的风险。
基于图像特征比对的牛脸识别技术：通过采集牛的脸部、背部、侧身等图像数据，然后提取特征进行比对，确定牛的唯一性。该方法可在牛无感知的情况下采集图像数据，且获取的特征具备出色的表征性，极大降低了欺诈风险。但由于不同地区以及不同规模养殖场的牛只生活场景差异明显，在采集牛脸数据时存在过曝、过暗、逆光、污渍等干扰，且拍摄到的牛脸数据姿态各异，现有的牛脸识别方案在牛只多于一定数量后，识别准确率骤降，无法适用于大规模养殖场中的牛只唯一性识别。
发明内容
本申请提供了一种多视角牛脸识别方法、装置、计算机设备及存储介质，旨在解决现有的牛脸识别技术无法适用于大规模养殖场中的牛只唯一性识别的技术问题。
为解决上述技术问题，本申请采用的技术方案为：
一种多视角牛脸识别方法，包括：
采集待识别牛只的牛脸图像，所述牛脸图像包括设定数量的左脸图像、正脸图像及右脸图像；
将所述牛脸图像输入训练好的牛脸关键点检测模型，通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计，根据牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像；
将所筛选的牛脸图像输入训练好的牛脸分割模块，利用所述牛脸分割模块提取出牛脸图像的正脸、左脸及右脸轮廓信息；
将牛脸图像以及提取的牛脸轮廓信息输入牛脸识别模块，牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别。
本申请实施例采取的技术方案还包括：所述采集待识别牛只的牛脸图像之后，还包括：
针对光线局部过曝/过暗、局部阴影、污渍、遮挡以及运动模糊问题对所述牛脸图像进行预处理。
本申请实施例采取的技术方案还包括：所述针对光线局部过曝/过暗、局部阴影、污渍、遮挡以及运动模糊问题对所述牛脸图像进行预处理具体为：
对所述牛脸图像进行像素均衡性处理，得到亮度均衡的牛脸图像；
利用单阶段的深度神经网络模型学习所述牛脸图像中从局部阴影、污渍状态到无阴影、无污渍状态的映射关系，消除所述牛脸图像中的阴影、污渍干扰；
利用无遮挡的牛脸数据及有遮挡的牛脸数据训练得到第一二分类深度神经网络，利用所述第一二分类深度神经网络检测并过滤掉存在遮挡物的牛脸图像，筛选出具备完整牛脸信息的牛脸图像；
基于批量清晰与模糊的牛脸图像训练得到第二二分类深度神经网络，利用所述第二二分类深度神经网络对所述牛脸图像进行分类，并过滤掉存在运动模糊的牛脸图像，筛选出清晰的牛脸图像。
本申请实施例采取的技术方案还包括：所述通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计，根据所述牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像具体为：
选取牛只的左眼、右眼、鼻子以及嘴巴左右两侧共5个关键点，所述牛脸关键点检测模型根据所述5个关键点将所述牛脸图像分为左脸、正脸以及右脸三个方向类别；
选取左牛角角尖、右牛角角尖、左牛耳耳尖、右牛耳耳尖、左牛眼、右牛眼、牛鼻子中心、左牛鼻孔及右牛鼻孔共9个关键点，所述牛脸关键点检测模型根据所述9个关键点预测出左脸、正脸以及右脸三个方向类别分别对应的关键点类别及关键点位置信息；
根据所述方向类别以及关键点位置信息预测结果分别对所述牛脸图像进行正脸姿态估计、左脸姿态估计以及右脸姿态估计；其中，所述正脸姿态估计具体为：分别计算牛脸图像中左眼关键点与鼻子关键点的连线与水平方向的夹角a1、右眼与鼻子的连线与水平方向的夹角a2、左眼与右眼的连线与水平方向的夹角a3,如果牛脸图像满足|a1-a2|<30度，且a3<15度，则认为所述牛脸图像为符合要求的正脸姿态；所述左脸姿态估计具体为：计算所述牛脸图像中左眼关键点与鼻子关键点的连线与水平方向的夹角，并判断所述夹角是否处于设定的角度阈值区间，如果是，则认为所述牛脸图像为符合要求的左脸姿态。
本申请实施例采取的技术方案还包括：所述根据所述牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像之后还包括：
将所述筛选后的牛脸图像、牛脸图像的方向类别及关键点位置信息输入训练好的牛脸矫正对齐模块，利用牛脸矫正对齐模块对牛脸图像进行矫正对齐处理，得到标准化的矫正对齐后的牛脸图像。
本申请实施例采取的技术方案还包括：所述牛脸矫正对齐模块包括对不同方向类别的牛脸图像进行矫正对齐处理的正脸矫正对齐子模块、左脸矫正对齐子模块以及右脸矫正对齐子模块，所述利用牛脸矫正对齐模块对牛脸图像进行矫正对齐处理，得到标准化的矫正对齐后的牛脸图像具体为：
分别选取一定数量的符合姿态标准的牛只的左脸、正脸、右脸图像；
将所有牛脸图像转换为设定大小；
将转换后的牛脸图像输入牛脸关键点检测模型进行关键点预测，得到不同方向类别对应的关键点类别及关键点位置；
分别统计左脸、正脸、右脸图像对应的关键点位置，并分别计算所述左脸、正脸、右脸图像中所有关键点位置的平均值；
根据所述左脸、正脸、右脸图像的关键点位置平均值获取对应方向类别下的标准牛只的模版锚点；
将所述待识别牛只的左脸、正脸、右脸图像、方向类别以及关键点位置信息分别输入左脸矫正对齐子模块、正脸矫正对齐子模块以及右脸矫正对齐子模块，所述左脸矫正对齐子模块、正脸矫正对齐子模块以及右脸矫正对齐子模块将输入信息与对应方向类别下的模版锚点进行仿射变换，得到矫正对齐后的左脸、正脸、右脸图像。
本申请实施例采取的技术方案还包括：所述牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别具体为：
通过所述牛脸识别模块对输入的每张左脸、正脸、右脸图像分别进行特征提取，得到不同方向类别的多个牛脸特征；
对同一方向类别下的多个牛脸特征进行融合，得到同一方向类别的牛脸特征向量；
将不同方向类别下的牛脸特征向量与底库中已有牛只的牛脸特征向量计算余弦相似度，得到所述待识别牛只与底库中各个已有牛只的相似度分数，并将最高的相似度分数与设置的相似度阈值进行对比，如果所述最高的相似度分数与设置的相似度阈值之间的差值大于设定阈值，表示所述待识别牛只与底库中的已有牛只不重复，利用所述待识别牛只的牛脸特征向量在底库中进行注册并建库。
本申请实施例采取的另一技术方案为：一种多视角牛脸识别装置，包括：
数据采集模块：用于采集待识别牛只的牛脸图像，所述牛脸图像包括设定数量的左脸图像、正脸图像及右脸图像；
关键点检测模块：用于将所述牛脸图像输入训练好的牛脸关键点检测模型，通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计，根据牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像；
其中，所述通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计具体为：选取牛只的左眼、右眼、鼻子以及嘴巴左右两侧共5个关键点，所述牛脸关键点检测模型根据所述5个关键点将所述牛脸图像分为左脸、正脸以及右脸三个方向类别；选取左牛角角尖、右牛角角尖、左牛耳耳尖、右牛耳耳尖、左牛眼、右牛眼、牛鼻子中心、左牛鼻孔及右牛鼻孔共9个关键点，所述牛脸关键点检测模型根据所述9个关键点预测出左脸、正脸以及右脸三个方向类别分别对应的关键点类别及关键点位置信息；根据所述方向类别以及关键点位置信息预测结果分别对所述牛脸图像进行正脸姿态估计、左脸姿态估计以及右脸姿态估计；所述正脸姿态估计具体为：分别计算牛脸图像中左眼关键点与鼻子关键点的连线与水平方向的夹角a1、右眼关键点与鼻子关键点的连线与水平方向的夹角a2、左眼关键点与右眼关键点的连线与水平方向的夹角a3,如果牛脸图像满足|a1-a2|<30度，且a3<15度，则认为所述牛脸图像为符合要求的正脸姿态；所述左脸姿态估计具体为：计算所述牛脸图像中左眼关键点与鼻子关键点的连线与水平方向的夹角a1，并判断所述夹角a1是否处于设定的角度阈值区间，如果是，则认为所述牛脸图像为符合要求的左脸姿态；所述右脸姿态估计具体为：计算所述牛脸图像中右眼关键点与鼻子关键点的连线与水平方向的夹角a2，并判断所述夹角a2是否处于设定的角度阈值区间，如果是，则认为所述牛脸图像为符合要求的右脸姿态；
牛脸分割模块：用于将所筛选的牛脸图像输入训练好的牛脸分割模块，利用所述牛脸分割模块提取出牛脸图像的正脸、左脸及右脸轮廓信息；
牛脸识别模块：用于将牛脸图像以及提取的牛脸轮廓信息输入牛脸识别模块，牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别。
本申请实施例采取的又一技术方案为：一种计算机设备，所述计算机设备包括：
存储有可执行程序指令的存储器；
与所述存储器连接的处理器；
所述处理器调用所述存储器中存储的所述可执行程序指令，执行如上所述的多视角牛脸识别方法。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可执行程序指令，所述程序指令用于执行上述的多视角牛脸识别方法。
本申请实施例的多视角牛脸识别方法、装置、计算机设备及存储介质基于牛脸图像作为唯一性特征，构建了承保端与理赔端的标准化牛脸识别方案，解决承保端与理赔端的数据特征对齐问题；对光照问题、污渍、遮挡、运动模糊等问题进行针对性处理，极大限度地消除了噪声干扰；通过对牛脸图像进行实例分割，避免了背景信息对牛脸特征的干扰，提高了牛脸特征提取的精确度；采用多方向牛脸特征融合的技术方案，显著增强了牛脸特征的鲁棒性，有利于提升牛脸识别准确率，可出色地适用于大规模养殖场景的牛的唯一性识别。
附图说明
图1是本申请第一实施例的多视角牛脸识别方法的流程示意图。
图2是本申请第二实施例的多视角牛脸识别方法的流程示意图。
图3是本申请实施例多视角牛脸识别装置的结构示意图。
图4是本申请实施例的计算机设备结构示意图。
图5是本申请实施例的存储介质结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
请参阅图1，是本申请第一实施例的多视角牛脸识别方法的流程示意图。本申请第一实施例的多视角牛脸识别方法包括以下步骤：
S100：采集待识别牛只的牛脸图像，所述牛脸图像包括设定数量的左脸图像、正脸图像及右脸图像；
S110：将所述牛脸图像输入训练好的牛脸关键点检测模型，通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计，根据牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像；
S120：将所筛选的牛脸图像输入训练好的牛脸分割模块，利用所述牛脸分割模块提取出牛脸图像的正脸、左脸及右脸轮廓信息；
S130：将牛脸图像以及提取的牛脸轮廓信息输入牛脸识别模块，牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别。
基于上述，本申请第一实施例的多视角牛脸识别方法基于牛脸图像作为唯一性特征构建标准化牛脸识别方案，解决承保端与理赔端的数据特征对齐问题；通过对牛脸图像进行实例分割，避免了背景信息对牛脸特征的干扰，提高了牛脸特征提取的精确度；采用多方向牛脸特征融合的技术方案，显著增强了牛脸特征的鲁棒性，有利于提升牛脸识别准确率，可出色地适用于大规模养殖场景的牛的唯一性识别。
请参阅图2，是本申请第二实施例的多视角牛脸识别方法的流程示意图。本申请第二实施例的多视角牛脸识别方法包括以下步骤：
S200：采集待识别牛只的牛脸图像；
本步骤中，可通过安装于手机等智能设备上的APP调用摄像头，采用实时视频扫描的方式，通过移动端部署的牛脸检测模型采集待识别牛只的牛脸图像，其中，采集牛脸图像分别包括待识别牛只的左脸、正脸及右脸三个方向上的各5张图像数据，可以理解，牛脸图像的采集数量可根据实际应用场景进行设定。在采集完单头或多头待识别牛只的牛脸图像后，可根据网络状况选取实时或异步处理方式，将拍摄到的图像数据上传至云数据服务器，并向业务调度服务平台发送请求，业务调度服务平台接收到请求后，调用AI识别接口对待识别牛只进行牛只识别及建库处理。
S210：对采集的牛脸图像进行预处理；
本步骤中，主要针对光线局部过曝/过暗、局部阴影、污渍、遮挡(主要指围栏遮挡)、运动模糊等场景问题对牛脸图像进行预处理，从而消除牛脸图像中的噪声干扰。具体的，牛脸图像预处理过程包括以下步骤：
S211：针对光线局部过曝/过暗问题，对牛脸图像进行像素均衡性处理，使得处理后的牛脸图像保持亮度均衡；
S212：针对局部阴影、污渍问题，采用SpA-Former算法，基于2000组成对的有污渍和无污渍、有阴影和无阴影的牛脸图像进行训练，得到单阶段的深度神经网络模型，利用该深度神经网络模型学习从局部阴影、污渍状态到无阴影、无污渍状态的映射关系，从而消除牛脸图像中的阴影、污渍干扰；
S213：针对遮挡问题，利用无遮挡的牛脸数据及有遮挡的牛脸数据，基于yolov5模型对标注的遮挡物进行训练，得到训练好的第一二分类深度神经网络，在数据分类时，利用第一二分类深度神经网络检测并过滤掉存在遮挡物的牛脸图像，从而筛选出具备完整牛脸信息的牛脸图像；
S214：针对运动模糊问题，基于批量清晰与模糊的牛脸图像训练得到第二二分类深度神经网络，利用第二二分类深度神经网络对输入的牛脸图像进行分类，并过滤掉存在运动模糊的牛脸图像，筛选出清晰的牛脸图像；其中，牛脸图像分类方式包括：先将牛脸图像转换为灰度图，并将图像转换为256*256大小，然后基于Laplacian算子计算得到图像方差值，将方差值低于第一设定阈值(假设为200)的图像判定为运动模糊，并过滤掉运动模糊图像，将方差值大于第二设定阈值(假设为300)的图像判定为清晰图像。
S220：将预处理后的牛脸图像输入训练好的牛脸关键点检测模型，通过牛脸关键点检测模型对输入的牛脸图像进行方向类别及关键点位置预测，并根据方向类别及关键点位置预测结果对牛脸图像进行牛脸姿态估计，根据牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像；
本步骤中，牛脸关键点检测模型基于深度神经网络，采用landmark的任务方式进行训练得到。具体的，牛脸关键点检测模型对牛脸图像的方向类别及关键点位置预测算法包括：
S221：从牛脸图像中选取牛只的左眼、右眼、鼻子以及嘴巴左右两侧共5个关键点，牛脸关键点检测模型根据所述5个关键点将牛脸图像分为左脸、正脸以及右脸三个方向类别，并分别计算三个方向类别的类别置信度，优选地，本申请实施例中设定方向类别置信度为0.60；
S222：选取左牛角角尖、右牛角角尖、左牛耳耳尖、右牛耳耳尖、左牛眼、右牛眼、牛鼻子中心、左牛鼻孔及右牛鼻孔共9个关键点，牛脸关键点检测模型根据所述9个关键点预测出左脸、正脸以及右脸三个方向类别分别对应的关键点类别及关键点位置信息，并计算各个关键点类别的置信度，优选地，本申请实施例中设定关键点类别置信度为0.40；
S223：根据方向类别以及关键点预测结果分别对牛脸图像进行正脸姿态估计、左脸姿态估计以及右脸姿态估计；其中，正脸姿态估计具体为：首先分别计算牛脸图像中左眼关键点与鼻子关键点的连线与水平方向的夹角a1、右眼关键点与鼻子关键点的连线与水平方向的夹角a2、左眼与右眼的连线与水平方向的夹角a3,如果牛脸图像满足|a1-a2|<30度，且a3<15度，则认为该牛脸图像为符合要求的正脸姿态。左脸姿态估计具体为：计算牛脸图像中左眼关键点与鼻子关键点的连线与水平方向的夹角a1，并判断该夹角a1是否处于设定的角度阈值区间(本申请实施例设定该角度阈值区间为30-60度，具体可根据实际应用场景进行设置)之间，如果是，则认为该牛脸图像为符合要求的左脸姿态；右脸姿态估计算法与左脸姿态估计算法相同，为避免冗余，此处不再赘述。
S230：将筛选后的牛脸图像、牛脸图像的方向类别及关键点位置信息输入训练好的牛脸矫正对齐模块，利用牛脸矫正对齐模块对牛脸图像进行矫正对齐处理，得到标准化的矫正对齐后的牛脸图像；
本步骤中，牛脸矫正对齐模块包括对不同方向类别的牛脸图像进行矫正对齐处理的正脸矫正对齐子模块、左脸矫正对齐子模块以及右脸矫正对齐子模块，具体的，牛脸矫正对齐模块对牛脸图像进行矫正对齐的处理过程包括以下步骤：
S231：分别选取1000头符合姿态标准的牛只的左脸、正脸、右脸图像，每个方向类别分别选取5张；
S232：将所有牛脸图像转换为256*256大小；
S233：将转换后的牛脸图像输入牛脸关键点检测模型进行关键点预测，得到不同方向类别对应的关键点类别及关键点位置；
S234：分别统计左脸、正脸、右脸图像对应的关键点位置，并计算各个方向类别的牛脸图像中所有关键点位置的平均值；
S235：根据各个方向类别的牛脸图像的关键点位置平均值获取对应方向类别下的标准牛只的模版锚点；具体为：将左脸图像中的左眼、鼻子及左耳的关键点位置平均值作为标准牛只的左脸模板锚点，将右脸图像中的右眼、鼻子及右耳的关键点位置平均值作为标准牛只的右脸模版锚点，将正脸图像中的左眼、右眼、鼻子、左耳及右耳的关键点位置平均值作为标准牛只的正脸模板锚点；
S236：将不同方向类别的牛脸图像、方向类别以及关键点位置信息输入对应的矫正对齐子模块，不同类别的矫正对齐子模块将输入信息与对应方向类别下的模版锚点进行仿射变换，得到矫正对齐后的牛脸图像；具体的，在进行牛脸矫正对齐时，将正脸图像输入正脸矫正对齐子模块，正脸矫正对齐子模块基于标准牛只的正脸模板锚点，利用sift特征匹配算法对正脸图像进行仿射变换，得到标准化的矫正对齐后的正脸图像；同理，将左脸、右脸图像分别输入左脸矫正对齐子模块和右脸矫正对齐子模块，左脸矫正对齐子模块和右脸矫正对齐子模块分别基于标准牛只的左脸模板锚点和右脸模板锚点，利用sift特征匹配算法对左脸、右脸图像进行仿射变换，得到标准化的矫正对齐后的左脸、右脸图像。
S240：将矫正对齐后的牛脸图像输入训练好的牛脸分割模块，利用牛脸分割模块提取牛脸图像的正脸、左脸及右脸轮廓信息，根据正脸、左脸及右脸轮廓信息得到完整的牛脸轮廓信息；
本步骤中，牛脸分割模块为基于深度学习网络，通过若干牛只的左脸、正脸、右脸三个类别的图像数据训练出的实例分割模型，所述实例分割模型包括但不限于mask rcnn。通过实例分割模型将正脸、左脸及右脸轮廓信息从图片中完整提取出来，避免背景信息对牛脸特征提取的干扰，提高了牛脸特征提取的精确度。其中，实例分割网络的训练过程包括：
S241：选取20000张包含左脸、正脸、右脸三个方向类别的牛脸图像，用多边形标注的方式对牛脸图像进行标注，并将标注数据按照设定比例(优选为3:1)划分为训练集和测试集；
S242：将训练集数据转化为coco数据格式，并采用mask rcnn算法迭代训练50个epoch(训练轮数)；
S243：根据测试集测试模型指标，得到最优的模型参数。
S250：将牛脸图像以及提取的牛脸轮廓信息输入牛脸识别模块，牛脸识别模块根据牛脸轮廓信息对牛脸图像进行特征提取，并将提取特征与底库中的已有牛只进行相似度匹配，根据相似度匹配结果判断待识别牛只是否与底库中的已有牛只重复，如果重复，执行S260；否则，执行S270；
本步骤中，牛脸识别模块为基于卷积神经网络，通过若干头牛只的不同姿态、不同方向类别的图片数据进行训练得到的特征提取模型，特征提取模型包括但不限于retinaface。特征提取模型首先对输入的每张左脸、正脸、右脸图像分别进行特征提取，得到不同方向类别的多个牛脸特征，然后对同一方向类别下的多个牛脸特征进行融合，得到同一方向类别的牛脸特征向量，并以该牛只的ID编号+方向类别进行命名,将不同方向类别的牛脸特征向量保存为为npy文件，例如00001_left.npy,00001_front.npy,00001_right.npy。最后将不同方向类别的牛脸特征向量与底库中已有牛只的牛脸特征向量计算余弦相似度，得到待识别牛只与底库中各个已有牛只的相似度分数，然后将最高的相似度分数与设置的相似度阈值进行对比，根据对比结果得到牛只匹配结果，即如果最高的相似度分数与设置的相似度阈值之间的差值小于设定阈值，则认为匹配成功，即待识别牛只与底库中相似度分数最高的牛只重复，则不为该牛只建库；如果最高的相似度分数与设置的相似度阈值差值之间的差值大于设定阈值，则认为匹配不成功，即待识别牛只与底库中的牛只不重复，则利用该牛只的牛脸特征向量在底库中进行注册并建库，从而确保底库中每头牛只的唯一性，并将匹配结果返回业务调度服务平台，业务调度服务平台接收到匹配结果后，将匹配结果传输给手机等智能设备进行展示。
S260：表示待识别牛只已在底库中注册，不对该牛只进行重复建库；
S270：表示待识别牛只未在底库中注册，则对待识别牛只在底库中进行注册及建库，并将待识别牛只的特征向量保存在底库中。
基于上述，本申请第二实施例的多视角牛脸识别方法基于牛脸图像作为唯一性特征，构建了承保端与理赔端的标准化牛脸识别方案，解决承保端与理赔端的数据特征对齐问题；对光照问题、污渍、遮挡、运动模糊等问题进行针对性处理，极大限度地消除了噪声干扰；通过对牛脸图像进行实例分割，避免了背景信息对牛脸特征的干扰，提高了牛脸特征提取的精确度；采用多方向牛脸特征融合的技术方案，显著增强了牛脸特征的鲁棒性，有利于提升牛脸识别准确率，可出色地适用于大规模养殖场景的牛的唯一性识别。
在一个可选的实施方式中，还可以：将所述的多视角牛脸识别方法的结果上传至区块链中。
具体地，基于所述的多视角牛脸识别方法的结果得到对应的摘要信息，具体来说，摘要信息由所述的多视角牛脸识别方法的结果进行散列处理得到，比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户可以从区块链中下载得该摘要信息，以便查证所述的多视角牛脸识别方法的结果是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
请参阅图3，是本申请实施例多视角牛脸识别装置的结构示意图。本申请实施例多视角牛脸识别装置40包括：
数据采集模块41：用于采集待识别牛只的牛脸图像，所述牛脸图像包括设定数量的左脸图像、正脸图像及右脸图像；
关键点检测模块42：用于将所述牛脸图像输入训练好的牛脸关键点检测模型，通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计，根据所述牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像；
牛脸分割模块43：用于将所述筛选后的牛脸图像输入训练好的牛脸分割模块，利用所述牛脸分割模块提取出牛脸图像的正脸、左脸及右脸轮廓信息；
唯一性识别模块44：用于将牛脸图像以及提取的牛脸轮廓信息输入牛脸识别模块，牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别。
本申请实施例的多视角牛脸识别装置基于牛脸图像作为唯一性特征构建标准化牛脸识别方案，解决承保端与理赔端的数据特征对齐问题；通过对牛脸图像进行实例分割，避免了背景信息对牛脸特征的干扰，提高了牛脸特征提取的精确度；采用多方向牛脸特征融合的技术方案，显著增强了牛脸特征的鲁棒性，有利于提升牛脸识别准确率，可出色地适用于大规模养殖场景的牛的唯一性识别。
请参阅图4，为本申请实施例的计算机设备结构示意图。该计算机设备50包括：
存储有可执行程序指令的存储器51；
与存储器51连接的处理器52；
处理器52用于调用存储器51中存储的可执行程序指令并执行以下步骤：采集待识别牛只的牛脸图像，所述牛脸图像包括设定数量的左脸图像、正脸图像及右脸图像；将所述牛脸图像输入训练好的牛脸关键点检测模型，通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计，根据所述牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像；将所述筛选后的牛脸图像输入训练好的牛脸分割模块，利用所述牛脸分割模块提取出牛脸图像的正脸、左脸及右脸轮廓信息；将牛脸图像以及提取的牛脸轮廓信息输入牛脸识别模块，牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别。
其中，处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例的计算机设备基于牛脸图像作为唯一性特征构建标准化牛脸识别方案，解决承保端与理赔端的数据特征对齐问题；通过对牛脸图像进行实例分割，避免了背景信息对牛脸特征的干扰，提高了牛脸特征提取的精确度；采用多方向牛脸特征融合的技术方案，显著增强了牛脸特征的鲁棒性，有利于提升牛脸识别准确率，可出色地适用于大规模养殖场景的牛的唯一性识别。
请参阅图5，图5为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现以下步骤的程序指令61：采集待识别牛只的牛脸图像，所述牛脸图像包括设定数量的左脸图像、正脸图像及右脸图像；将所述牛脸图像输入训练好的牛脸关键点检测模型，通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计，根据所述牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像；将所述筛选后的牛脸图像输入训练好的牛脸分割模块，利用所述牛脸分割模块提取出牛脸图像的正脸、左脸及右脸轮廓信息；将牛脸图像以及提取的牛脸轮廓信息输入牛脸识别模块，牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别。其中，该程序指令61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序指令的介质，或者是计算机、服务器、手机、平板等终端设备。其中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例的存储介质基于牛脸图像作为唯一性特征构建标准化牛脸识别方案，解决承保端与理赔端的数据特征对齐问题；通过对牛脸图像进行实例分割，避免了背景信息对牛脸特征的干扰，提高了牛脸特征提取的精确度；采用多方向牛脸特征融合的技术方案，显著增强了牛脸特征的鲁棒性，有利于提升牛脸识别准确率，可出色地适用于大规模养殖场景的牛的唯一性识别。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种多视角牛脸识别方法，其特征在于，包括：
采集待识别牛只的牛脸图像，所述牛脸图像包括设定数量的左脸图像、正脸图像及右脸图像；
将所述牛脸图像输入训练好的牛脸关键点检测模型，通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计，根据牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像；其中，所述通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计具体为：选取牛只的左眼、右眼、鼻子以及嘴巴左右两侧共5个关键点，所述牛脸关键点检测模型根据所述5个关键点将所述牛脸图像分为左脸、正脸以及右脸三个方向类别；选取左牛角角尖、右牛角角尖、左牛耳耳尖、右牛耳耳尖、左牛眼、右牛眼、牛鼻子中心、左牛鼻孔及右牛鼻孔共9个关键点，所述牛脸关键点检测模型根据所述9个关键点预测出左脸、正脸以及右脸三个方向类别分别对应的关键点类别及关键点位置信息；根据所述方向类别以及关键点位置信息预测结果分别对所述牛脸图像进行正脸姿态估计、左脸姿态估计以及右脸姿态估计；所述正脸姿态估计具体为：分别计算牛脸图像中左眼关键点与鼻子关键点的连线与水平方向的夹角a1、右眼关键点与鼻子关键点的连线与水平方向的夹角a2、左眼关键点与右眼关键点的连线与水平方向的夹角a3,如果牛脸图像满足|a1-a2|<30度，且a3<15度，则认为所述牛脸图像为符合要求的正脸姿态；所述左脸姿态估计具体为：计算所述牛脸图像中左眼关键点与鼻子关键点的连线与水平方向的夹角a1，并判断所述夹角a1是否处于设定的角度阈值区间，如果是，则认为所述牛脸图像为符合要求的左脸姿态；所述右脸姿态估计具体为：计算所述牛脸图像中右眼关键点与鼻子关键点的连线与水平方向的夹角a2，并判断所述夹角a2是否处于设定的角度阈值区间，如果是，则认为所述牛脸图像为符合要求的右脸姿态；
将所述筛选后的牛脸图像输入训练好的牛脸分割模块，利用所述牛脸分割模块提取出牛脸图像的正脸、左脸及右脸轮廓信息；
将牛脸图像以及提取的牛脸轮廓信息输入牛脸识别模块，牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别。
2.根据权利要求1所述的多视角牛脸识别方法，其特征在于，所述采集待识别牛只的牛脸图像之后，还包括：
针对光线局部过曝/过暗、局部阴影、污渍、遮挡以及运动模糊问题对所述牛脸图像进行预处理。
3.根据权利要求2所述的多视角牛脸识别方法，其特征在于，所述针对光线局部过曝/过暗、局部阴影、污渍、遮挡以及运动模糊问题对所述牛脸图像进行预处理具体为：
对所述牛脸图像进行像素均衡性处理，得到亮度均衡的牛脸图像；
利用单阶段的深度神经网络模型学习所述牛脸图像中从局部阴影、污渍状态到无阴影、无污渍状态的映射关系，消除所述牛脸图像中的阴影、污渍干扰；
利用无遮挡的牛脸数据及有遮挡的牛脸数据训练得到第一二分类深度神经网络，利用所述第一二分类深度神经网络检测并过滤掉存在遮挡物的牛脸图像，筛选出具备完整牛脸信息的牛脸图像；
基于批量清晰与模糊的牛脸图像训练得到第二二分类深度神经网络，利用所述第二二分类深度神经网络对所述牛脸图像进行分类，并过滤掉存在运动模糊的牛脸图像，筛选出清晰的牛脸图像。
4.根据权利要求1至3任一项所述的多视角牛脸识别方法，其特征在于，所述根据所述牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像之后还包括：
将所述筛选后的牛脸图像、牛脸图像的方向类别及关键点位置输入训练好的牛脸矫正对齐模块，所述牛脸矫正对齐模块利用对应方向类别下的标准牛只的模版锚点对所述牛脸图像进行矫正对齐处理，得到标准化的矫正对齐后的牛脸图像。
5.根据权利要求4所述的多视角牛脸识别方法，其特征在于，所述牛脸矫正对齐模块包括对不同方向类别的牛脸图像进行矫正对齐处理的正脸矫正对齐子模块、左脸矫正对齐子模块以及右脸矫正对齐子模块，所述牛脸矫正对齐模块利用对应方向类别下的标准牛只的模版锚点对所述牛脸图像进行矫正对齐处理，得到标准化的矫正对齐后的牛脸图像具体为：
分别选取一定数量的符合姿态标准的牛只的左脸、正脸、右脸图像；
将所有牛脸图像转换为设定大小；
将转换后的牛脸图像输入牛脸关键点检测模型进行关键点预测，得到不同方向类别对应的关键点类别及关键点位置；
分别统计左脸、正脸、右脸图像对应的关键点位置，并分别计算所述左脸、正脸、右脸图像中所有关键点位置的平均值；
根据所述左脸、正脸、右脸图像的关键点位置平均值获取对应方向类别下的标准牛只的模版锚点；
将所述待识别牛只的左脸、正脸、右脸图像、方向类别以及关键点位置信息分别输入左脸矫正对齐子模块、正脸矫正对齐子模块以及右脸矫正对齐子模块，所述左脸矫正对齐子模块、正脸矫正对齐子模块以及右脸矫正对齐子模块将输入信息与对应方向类别下的模版锚点进行仿射变换，得到矫正对齐后的左脸、正脸、右脸图像。
6.根据权利要求5所述的多视角牛脸识别方法，其特征在于，所述牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别具体为：
所述牛脸识别模块根据牛脸轮廓信息对输入的每张左脸、正脸、右脸图像分别进行特征提取，得到不同方向类别的多个牛脸特征；
对同一方向类别下的多个牛脸特征进行融合，得到同一方向类别的牛脸特征向量；
将不同方向类别下的牛脸特征向量与底库中已有牛只的牛脸特征向量计算余弦相似度，得到所述待识别牛只与底库中各个已有牛只的相似度分数，并将最高的相似度分数与设置的相似度阈值进行对比，如果所述最高的相似度分数与设置的相似度阈值之间的差值大于设定阈值，表示所述待识别牛只与底库中的已有牛只不重复，利用所述待识别牛只的牛脸特征向量在底库中进行注册并建库。
7.一种多视角牛脸识别装置，其特征在于，包括：
数据采集模块：用于采集待识别牛只的牛脸图像，所述牛脸图像包括设定数量的左脸图像、正脸图像及右脸图像；
关键点检测模块：用于将所述牛脸图像输入训练好的牛脸关键点检测模型，通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计，根据牛脸姿态估计结果筛选出符合预设姿态要求的牛脸图像；其中，所述通过所述牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测，并根据所述方向类别及关键点位置预测结果对所述牛脸图像进行牛脸姿态估计具体为：选取牛只的左眼、右眼、鼻子以及嘴巴左右两侧共5个关键点，所述牛脸关键点检测模型根据所述5个关键点将所述牛脸图像分为左脸、正脸以及右脸三个方向类别；选取左牛角角尖、右牛角角尖、左牛耳耳尖、右牛耳耳尖、左牛眼、右牛眼、牛鼻子中心、左牛鼻孔及右牛鼻孔共9个关键点，所述牛脸关键点检测模型根据所述9个关键点预测出左脸、正脸以及右脸三个方向类别分别对应的关键点类别及关键点位置信息；根据所述方向类别以及关键点位置信息预测结果分别对所述牛脸图像进行正脸姿态估计、左脸姿态估计以及右脸姿态估计；所述正脸姿态估计具体为：分别计算牛脸图像中左眼关键点与鼻子关键点的连线与水平方向的夹角a1、右眼关键点与鼻子关键点的连线与水平方向的夹角a2、左眼关键点与右眼关键点的连线与水平方向的夹角a3,如果牛脸图像满足|a1-a2|<30度，且a3<15度，则认为所述牛脸图像为符合要求的正脸姿态；所述左脸姿态估计具体为：计算所述牛脸图像中左眼关键点与鼻子关键点的连线与水平方向的夹角a1，并判断所述夹角a1是否处于设定的角度阈值区间，如果是，则认为所述牛脸图像为符合要求的左脸姿态；所述右脸姿态估计具体为：计算所述牛脸图像中右眼关键点与鼻子关键点的连线与水平方向的夹角a2，并判断所述夹角a2是否处于设定的角度阈值区间，如果是，则认为所述牛脸图像为符合要求的右脸姿态；
牛脸分割模块：用于将所述筛选后的牛脸图像输入训练好的牛脸分割模块，利用所述牛脸分割模块提取出牛脸图像的正脸、左脸及右脸轮廓信息；
唯一性识别模块：用于将牛脸图像以及提取的牛脸轮廓信息输入牛脸识别模块，牛脸识别模块根据牛脸轮廓信息对牛脸图像分别进行正脸、左脸及右脸特征提取，根据所述正脸、左脸及右脸特征提取结果对所述待识别牛只进行唯一性识别。
8.一种计算机设备，其特征在于，所述计算机设备包括：
存储有可执行程序指令的存储器；
与所述存储器连接的处理器；
所述处理器调用所述存储器中存储的所述可执行程序指令，执行如权利要求1-6任一项所述的多视角牛脸识别方法。
9.一种计算机可读存储介质，所述存储介质存储有处理器可执行程序指令，其特征在于，所述程序指令用于执行权利要求1至6任一项所述的多视角牛脸识别方法。
CN202211480743.4A 2022-11-24 2022-11-24 一种多视角牛脸识别方法、装置、计算机设备及存储介质 Active CN115546845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211480743.4A CN115546845B (zh) 2022-11-24 2022-11-24 一种多视角牛脸识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211480743.4A CN115546845B (zh) 2022-11-24 2022-11-24 一种多视角牛脸识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN115546845A CN115546845A (zh) 2022-12-30
CN115546845B true CN115546845B (zh) 2023-06-06

Family

ID=84720943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211480743.4A Active CN115546845B (zh) 2022-11-24 2022-11-24 一种多视角牛脸识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115546845B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403004B (zh) * 2023-06-07 2024-01-26 长春大学 一种基于牛脸矫正的牛脸融合特征提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368657A (zh) * 2020-02-24 2020-07-03 京东数字科技控股有限公司 牛脸识别方法和装置
CN111985265A (zh) * 2019-05-21 2020-11-24 华为技术有限公司 图像处理方法和装置
WO2021051543A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 人脸旋转模型的生成方法、装置、计算机设备及存储介质
CN114333023A (zh) * 2021-12-30 2022-04-12 长讯通信服务有限公司 基于角度估计的人脸步态多模态加权融合身份识别方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073914B (zh) * 2018-01-10 2022-02-18 成都品果科技有限公司 一种动物面部关键点标注方法
CN110298291B (zh) * 2019-06-25 2022-09-23 吉林大学 基于Mask-RCNN的牛脸及牛脸关键点检测方法
CN111259978A (zh) * 2020-02-03 2020-06-09 东北农业大学 一种融合多区域深度特征的奶牛个体身份识别方法
CN111368766B (zh) * 2020-03-09 2023-08-18 云南安华防灾减灾科技有限责任公司 一种基于深度学习的牛脸检测与识别方法
KR102497805B1 (ko) * 2020-07-31 2023-02-10 주식회사 펫타버스 인공지능 기반 반려동물 신원확인 시스템 및 방법
CA3174258A1 (en) * 2020-10-14 2022-04-21 One Cup Productions Ltd. Animal visual identification, tracking, monitoring and assessment systems and methods thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985265A (zh) * 2019-05-21 2020-11-24 华为技术有限公司 图像处理方法和装置
WO2021051543A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 人脸旋转模型的生成方法、装置、计算机设备及存储介质
CN111368657A (zh) * 2020-02-24 2020-07-03 京东数字科技控股有限公司 牛脸识别方法和装置
CN114333023A (zh) * 2021-12-30 2022-04-12 长讯通信服务有限公司 基于角度估计的人脸步态多模态加权融合身份识别方法与系统

Also Published As

Publication number Publication date
CN115546845A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
US10445602B2 (en) Apparatus and method for recognizing traffic signs
US20190188451A1 (en) Lightweight 3D Vision Camera with Intelligent Segmentation Engine for Machine Vision and Auto Identification
CN110163111A (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
CN112633297B (zh) 目标对象的识别方法、装置、存储介质以及电子装置
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
CN108229375B (zh) 用于检测人脸图像的方法和装置
CN110909618A (zh) 一种宠物身份的识别方法及装置
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN115546845B (zh) 一种多视角牛脸识别方法、装置、计算机设备及存储介质
US20240087368A1 (en) Companion animal life management system and method therefor
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN112580657A (zh) 一种自学习字符识别方法
CN115862055A (zh) 基于对比学习和对抗训练的行人重识别方法及装置
WO2022246989A1 (zh) 一种数据识别方法、装置、设备及可读存储介质
CN114842466A (zh) 目标检测方法、计算机程序产品和电子设备
CN113298158A (zh) 数据检测方法、装置、设备及存储介质
CN117079339A (zh) 动物虹膜识别方法、预测模型训练方法、电子设备及介质
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
JP6893812B2 (ja) 物体検出装置
CN113705643B (zh) 一种目标物检测方法、装置以及电子设备
CN115115699A (zh) 姿态估计方法、装置、相关设备和计算机产品
CN115082963A (zh) 人体属性识别模型训练及人体属性识别方法、相关装置
CN114882582A (zh) 基于联邦学习模式的步态识别模型训练方法与系统
CN111079617A (zh) 家禽识别方法、装置、可读存储介质及电子设备
CN111553202A (zh) 进行活体检测的神经网络的训练方法、检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant