CN116052222A - 自然采集牛脸图像的牛脸识别方法 - Google Patents
自然采集牛脸图像的牛脸识别方法 Download PDFInfo
- Publication number
- CN116052222A CN116052222A CN202310200149.3A CN202310200149A CN116052222A CN 116052222 A CN116052222 A CN 116052222A CN 202310200149 A CN202310200149 A CN 202310200149A CN 116052222 A CN116052222 A CN 116052222A
- Authority
- CN
- China
- Prior art keywords
- face
- cow
- cattle
- data set
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 241000283690 Bos taurus Species 0.000 title claims description 232
- 238000012549 training Methods 0.000 claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000012937 correction Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 239000003595 mist Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提供一种自然采集牛脸图像的牛脸识别方法，首先对自然状态下无遮挡的牛脸进行多视角拍摄，将牛脸视频进行过滤处理后，对得到的牛脸图像数据集进行牛脸关键点信息标注并进行数据增强，将增强后的训练数据集送入CowDetect网络进行训练，得到牛脸检测与牛脸关键点识别模型，继而将训练数据集输入牛脸检测与牛脸关键点识别模型中，得到带有牛脸关键点信息的牛脸图像数据集并进行牛脸姿态校正，将校正后的训练数据集作为牛脸识别训练数据集并送入CowFace网络进行训练，得到牛脸识别模型，最后通过牛脸识别模型比较特征向量的余弦相似度，对牛脸进行识别。本发明能够对实际农场环境中的牛脸进行精确识别，降低计算成本。
Description
技术领域
本发明涉及图像识别技术领域，特别涉及一种自然采集牛脸图像的牛脸识别方法。
背景技术
在真实场景数据上的实验证明，我们发现牛脸采集在复杂环境中，同样的牛脸图像可能因为姿势、表情、光线以及遮挡等问题而对最终的检测识别产生难以估计的影响，对于图像实际采集方面可总结为以下三个难点：
（1）局部变量影响：牛在拍摄过程中无法像采集人脸数据一样规定人站在无遮挡无特殊表情的前提下进行，因此在对牛的实际采集过程中，牛的怪异表情和由于牛场环境不同而产生的局部光照、阴影或在采集过程中因牛群聚集产生的遮挡都会使牛脸采集的关键信息发生偏移甚至丢失。
（2）全局变量影响:实际采集过程中无法保证牛在农场中以直立姿势进行拍摄，这就代表我们多数时候无法获取牛的正面数据，这就会使得牛脸姿势从全局上影响图像中牛脸的情况。
（3）样本不均衡:由于现实采集的客观性，采集数据在经过筛选进入训练数据的过程中，导致不同类别的训练样本数目差别很大，因此使模型训练在不同情况下的算法精度不尽相同。
目前利用深度卷积学习网络进行牛只牛脸图像识别主要使用清洗过的牛正脸数据集，这就需要依靠前期清洗算法对数据进行筛选，使学习到的网络对数据具有选择性表达，由于训练时缺乏多姿态的数据，因此网络不能对实际环境中采集的数据都具有良好的表达效果。现有针对深度学习网络的牛脸识别方法中，多数是通过将摄像机固定在农场中牛的斜上方或牛的正上方，在自上而下的视角中获取关于牛的图像的自动化监控范围，处于同一视图的牛只随着视图和姿势的变化造成牛脸图像的关键信息发生偏移甚至丢失，但训练网络的过程中多数使用的是类似标准人脸的牛正脸数据，因此多数时候我们在牛场真实测试环境中的实验往往达不到我们训练时的精度。
发明内容
本发明的目的是为了克服在局部光照、存在阴影的条件下或在采集过程中牛群聚集产生的遮挡使牛脸采集的关键信息发生偏移甚至丢失，且样本信息不平衡的缺陷，提出一种自然采集牛脸图像的牛脸识别方法，能够在牛只出现大角度偏移的条件下，具有良好的识别效果，显著降低计算成本。
为实现上述目的，本发明采用以下具体技术方案：
本发明提供的自然采集牛脸图像的牛脸识别方法，包括如下步骤：
S1、对自然状态下无遮挡的牛脸进行多视角拍摄，获得牛脸视频。
S2、对牛脸视频进行过滤，获得牛脸图像数据集。
S3、采用图像标注软件对牛脸图像数据集进行牛脸关键点信息的标注。
S4、对标注的牛脸图像数据集进行数据增强，获取数据增强后的牛脸图像训练数据集。
S5、将训练数据集送入CowDetect网络进行训练，得到牛脸检测与牛脸关键点识别模型。
S6、将训练数据集输入牛脸检测与牛脸关键点识别模型中，得到带有牛脸关键点信息的牛脸图像数据集，利用牛脸图像数据集的牛脸关键点信息，进行牛脸姿态校正，将牛脸姿态校正后的训练数据集作为牛脸识别训练数据集。
S7、将牛脸识别训练数据集送入CowFace网络进行训练，得到牛脸识别模型，通过牛脸识别模型比较特征向量的余弦相似度，对牛脸进行识别。
优选地，步骤S1具体包括如下步骤：
S11、选择没有雾气干扰的晴朗天气，将拍摄时间集中在上午9点-下午2点之间，使用手机摄像头进行牛脸拍摄。
S12、将手机的图像分辨率设为720*1080，FPS设为30，对每头牛以俯视和平视的两个视角分别拍摄预定时间的视频。
优选地，步骤S2具体包括如下步骤：
S21、对视频进行抽帧提取，提取间隔为5帧/秒。
S22、采用过滤算法对提取的每帧图像进行过滤，滤除相似度大于相似度阈值的图像。
优选地，步骤S22中的过滤算法，具体计算包括如下步骤：
S221、输入两张图像x和y，计算亮度均值l(x，y)，其中，亮度对比函数l(x，y)的计算公式如下：
，
其中，μx和μy分别为图像x和y的平均灰度值，c1为常数。
S222、计算对比均值c(x，y)，其中，对比度对比函数c(x，y)的计算公式为：
，
其中，σx和σy分别为图像x和y的标准差，cx、cy和c2为常数。
S223、计算结构对比值，其中，结构对比函数的计算公式为：
，
其中，σxy为图像x和y的协方差，c3为常数。
S224、根据式（1）-式（3）的计算结果，得到相似度测量结果为：
，
最后，将相似度测量结果大于阈值的删除，阈值设置为0.6。
优选地，步骤S3具体包括如下步骤：
S31、使用标注软件Labelme对牛脸图像数据集中的牛脸图像进行面部检测框的标注。
S32、在面部检测框内采用五点标记法进行牛脸的五个关键点的标注，五个关键点分别位于牛左眼中心、牛右眼中心、牛鼻中心、牛嘴唇左侧和牛嘴唇右侧的位置。
优选地，步骤S4对标注的牛脸图像数据集的数据增强方式包括几何增强和颜色变换增强和CutMix数据增强，其中，
几何增强方式为通过对完成标注的牛脸图像进行几何变化模拟牛群相互遮挡产生的图像。
颜色变换增强方式为利用颜色变换增强方法对图像进行亮度变换，通过改变HSV空间中的V分量模拟因牛场环境不同产生的局部光照和阴影图像。
CutMix数据增强方法为对每一张牛脸图像随机选取一块正方形区域，且随机选取一张非本图像的牛脸图像，将非本牛脸图像上对应于正方形区域的位置设为对比区域，将对比区域覆盖到正方形区域的上方，进行掩码操作，提升后续模型的鲁棒性，完成数据增强。
优选地，在步骤S5中，CowDetect网络包括主网络和子网络，主网络利用Retinaface网络进行面部检测框和关键点的训练，子网络用来监督主网络模型的训练。
优选地，在步骤S6中，具体包括如下步骤：
S61、采用双眼校正法进行牛脸姿态校正，双眼校正法为：根据牛双眼的中心点的直线距离和牛双眼中心线与相机水平坐标轴的夹角进行旋转和平移，使牛双眼与水平面平行，完成牛的姿态角校正，得到牛的正脸图像，最后将校正后的训练数据集作为牛脸识别训练数据集。
S62、将牛脸识别训练数据集输入到CowFace模型进行识别模型训练，CowFace模型的输出维数设置为512维度，CowFace模型采用损失函数Arcface可替换为其他用于脸部识别的损失函数，包括：Cosface、AM-Softmax、CurricularFace、ArcNegFace、AirFace和QAMFace。
当采用损失函数Arcface loss时，损失函数Arcface loss的表达式如下：
，
其中， θyi表示样本特征和权重的夹角，m表示引用的间隔，s为学习到的特征引入的超球面半径，特征范围是从i到N，权重范围是从j到n。
优选地，步骤S7具体包括如下步骤：
S71、将牛脸识别模型学到的牛脸图像特征映射到欧几里得空间，通过映射出的特征向量，使用向量空间中两个向量夹角的余弦值作为衡量两头牛的相似度，两个向量夹角的余弦值的计算公式如下：
（6），
其中，Ai,Bi 为空间中两点。
S72、特征向量之间余弦相似度大于边界阈值0.7的代表相同牛只，特征向量之间余弦相似度小于边界阈值0.3的代表不同牛只，而特征向量之间余弦相似度处于边界阈值0.3-0.7之间的代表身份无法识别的牛只。
优选地，CowFace模型包括MobileFacenet模型、MobilenetV1、MobilenetV2和MobilenetV3。
本发明能够取得如下技术效果：
1.本发明采用无接触、无特殊采集要求的方法完成对牛脸数据的采集，不会对牛造成生物干扰，且提供了自然采集牛脸图像的牛脸识别的具体方法。
2.本发明对于无特殊采集要求的牛脸图像进行牛脸检测和关键点定位后，利用牛脸的五个关键点进行牛脸姿态校正，保证送入识别网络的模型均为符合正常识别模型要求的牛只正脸图像。
附图说明
图1是根据本发明实施例提供的自然采集牛脸图像的牛脸识别方法的流程图。
图2是根据本发明实施例提供的CowDect主干网络的结构示意图。
图3是根据本发明实施例提供的CowDect辅助子网络的结构示意图。
图4是根据本发明实施例提供的牛脸特征与数据库对比示意图。
具体实施方式
在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
图1示出根据本发明实施例提供的自然采集牛脸图像的牛脸识别方法的流程。在本发明中我们以采集168头牛为例，对于本发明实施例提供的自然采集牛脸图像的牛脸识别方法进行详细阐述，如图1所示，具体步骤如下：
S1、对自然状态下无遮挡的牛脸进行多视角拍摄，获得牛脸视频。
S11、选择没有雾气干扰的晴朗天气，将拍摄时间集中在上午9点-下午2点之间，使用手机摄像头进行牛脸拍摄。
S12、将手机的图像分辨率设为720*1080，FPS设为30，对每头牛以俯视和平视的两个视角分别拍摄预定时间的视频，并将视频以MP4的格式保存。
这里对168头牛共计拍摄了336端视频。
S2、对牛脸视频进行过滤，获得牛脸图像数据集。
S21、对视频进行抽帧提取，提取间隔为5帧/秒，以避免丢失牛脸的关键信息。
S22、采用过滤算法对提取的每帧图像进行过滤，滤除相似度大于相似度阈值的图像。
S221、输入两张图像x和y，计算亮度均值l(x，y)，其中，亮度对比函数l(x，y)的计算公式如下：
，
其中，μx和μy分别为图像x和y的平均灰度值，c1为常数。
S222、计算对比均值c(x，y)，其中，对比度对比函数c(x，y)的计算公式为：
，
其中，σx和σy分别为图像x和y的标准差，cx、cy和c2为常数。
S223、计算结构对比值，其中，结构对比函数的计算公式为：
，
其中，σxy为图像x和y的协方差，c3为常数。
S224、根据式（1）-式（3）的计算结果，得到相似度测量结果为：
，
最后，将相似度测量结果大于阈值的删除，阈值设置为0.6。
这里168头牛的原始图像数量是18260，经过算法过滤后，图像数量变为14745。
S3、采用图像标注软件对牛脸图像数据集进行牛脸关键点信息的标注。
S31、使用标注软件Labelme对牛脸图像数据集中的牛脸图像进行面部检测框的标注。
S32、在面部检测框内采用五点标记法进行牛脸的五个关键点的标注，五个关键点分别位于牛左眼中心、牛右眼中心、牛鼻中心、牛嘴唇左侧和牛嘴唇右侧的位置。
S4、对标注的牛脸图像数据集进行数据增强，包括几何增强和颜色变换增强和CutMix数据增强，其中，
几何增强方式为通过对完成标注的牛脸图像进行翻转、旋转、移位、变形的处理方式模拟牛群相互遮挡产生的图像。
颜色变换增强方式为利用颜色变换增强方法对图像进行亮度变换，通过改变HSV空间中的V分量模拟因牛场环境不同产生的局部光照和阴影图像。
同时，为了模拟真实采集数据过程中因牛群位置的混杂造成的牛只图像间的遮挡，采用CutMix数据增强方法，提升后续模型的鲁棒性，具体为对每一张牛脸图像随机选取一块正方形区域，且随机选取一张非本图像的牛脸图像，将非本牛脸图像上对应于正方形区域的位置设为对比区域，将对比区域覆盖到正方形区域的上方，进行掩码操作，完成数据增强。获取数据增强后的牛脸图像训练数据集。
数据增强方法能够解决自然采集的图像存在的局部影响，其中局部影响包括牛的怪异表情，以及由于牛场环境不同而产生的局部光照、阴影或在采集过程中因牛群聚集产生的遮挡，使牛脸采集的关键信息发生偏移甚至丢失，此时我们通过数据增强的方式丰富我们的数据集，使数据集具有多样化的表达结果。
图2示出了根据本发明实施例提供的CowDect主干网络的结构，主干网络是普通卷积网络加上MobileNetV2中Botleneck结构来实现多尺度融合的网络特征，从而增强网络的特征提取能力，相较于VGG网络，CowDetect更为轻量化，且精度更高。图3示出根据本发明实施例提供的CowDect辅助子网络的结构，子网络结构是由普通卷积层加上全连接层组成的，用于在训练阶段对牛脸姿态角进行预测，从而获取牛的三维欧拉角，其中，子网络的输入不是直接的牛脸图像，而是主干网络中间输出对应的第二个Bottleneck。
S5、将训练数据集送入CowDetect网络进行训练，得到牛脸检测与牛脸关键点识别模型；CowDetect网络包括主网络和子网络，主网络利用Retinaface网络进行面部检测框和关键点的训练，子网络用来监督主网络模型的训练。
牛脸检测和牛脸关键点定位方法能够解决自然采集的图像存在的全局影响，全局影响包括实际采集过程中无法保证牛在农场中处于直立姿势，进而在多数时候无法获取牛的正面数据，需要进行牛脸姿态校正。
S6、将训练数据集输入牛脸检测与牛脸关键点识别模型中，得到带有牛脸关键点信息的牛脸图像数据集，利用牛脸图像数据集的牛脸关键点信息，进行牛脸姿态校正，将牛脸姿态校正后的训练数据集作为牛脸识别训练数据集。
S61、采用双眼校正法进行牛脸姿态校正，双眼校正法为：根据牛双眼的中心点的直线距离和牛双眼中心线与相机水平坐标轴的夹角进行旋转和平移，使牛双眼与水平面平行，完成牛的姿态角校正，得到牛的正脸图像，针对所有图像做统一对齐后，最后将校正后的训练数据集作为牛脸识别训练数据集。
S62、将牛脸识别训练数据集输入到CowFace模型进行识别模型训练，CowFace模型的输出维数设置为512维度，CowFace模型采用损失函数Arcface可替换为其他用于脸部识别的损失函数，包括：Cosface、AM-Softmax、CurricularFace、ArcNegFace、AirFace和QAMFace，
当采用损失函数Arcface loss时，损失函数Arcface loss的表达式如下：
，
其中， θyi表示样本特征和权重的夹角，m表示引用的间隔，s为学习到的特征引入的超球面半径，特征范围是从i到N，权重范围是从j到n。
S7、将牛脸识别训练数据集送入CowFace网络进行训练，得到牛脸识别模型，通过牛脸识别模型比较特征向量的余弦相似度，对牛脸进行识别。
S71、将牛脸识别模型学到的牛脸图像特征映射到欧几里得空间，通过映射出的特征向量，使用向量空间中两个向量夹角的余弦值作为衡量两头牛的相似度，两个向量夹角的余弦值的计算公式如下：
（6），
其中，Ai,Bi为空间中两点。
S72、特征向量之间余弦相似度大于边界阈值0.7的代表相同牛只，特征向量之间余弦相似度小于边界阈值0.3的代表不同牛只，而特征向量之间余弦相似度处于边界阈值0.3-0.7之间的代表身份无法识别的牛只。
图4示出了根据本发明实施例提供的牛脸特征与数据库对比图像，将标准牛脸数据集送入牛脸识别网络，建立数据库，数据库中应包含牛只标签信息和标签对应牛脸平均特征向量，将待识别的牛脸图像以及特征向量和数据库中特征向量进行比较，过程如图4所示，当所输入牛脸图像与数据库中某头牛的身份对应的特征向量之间余弦相似度大于阈值时，返回该头牛的身份作为所求牛脸标签，相比于欧氏距离，余弦距离更易转化为易于理解的百分比结果。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (10)
1.一种自然采集牛脸图像的牛脸识别方法，其特征在于，包括如下步骤：
S1、对自然状态下无遮挡的牛脸进行多视角拍摄，获得牛脸视频；
S2、对所述牛脸视频进行过滤，获得牛脸图像数据集；
S3、采用图像标注软件对所述牛脸图像数据集进行牛脸关键点信息的标注；
S4、对标注的所述牛脸图像数据集进行数据增强，获取数据增强后的牛脸图像训练数据集；
S5、将所述训练数据集送入CowDetect网络进行训练，得到牛脸检测与牛脸关键点识别模型；
S6、将所述训练数据集输入所述牛脸检测与牛脸关键点识别模型中，得到带有牛脸关键点信息的牛脸图像数据集，利用所述牛脸图像数据集的牛脸关键点信息，进行牛脸姿态校正，将牛脸姿态校正后的训练数据集作为牛脸识别训练数据集；
S7、将所述牛脸识别训练数据集送入CowFace网络进行训练，得到牛脸识别模型，通过所述牛脸识别模型比较特征向量的余弦相似度，对牛脸进行识别。
2.根据权利要求1所述的自然采集牛脸图像的牛脸识别方法，其特征在于，所述步骤S1具体包括如下步骤：
S11、选择没有雾气干扰的晴朗天气，将拍摄时间集中在上午9点-下午2点之间，使用手机摄像头进行牛脸拍摄；
S12、将手机的图像分辨率设为720*1080，FPS设为30，对每头牛以俯视和平视的两个视角分别拍摄预定时间的视频。
3.根据权利要求1所述的自然采集牛脸图像的牛脸识别方法，其特征在于，所述步骤S2具体包括如下步骤：
S21、对视频进行抽帧提取，提取间隔为5帧/秒；
S22、采用过滤算法对提取的每帧图像进行过滤，滤除相似度大于相似度阈值的图像。
4.根据权利要求3所述的自然采集牛脸图像的牛脸识别方法，其特征在于，所述步骤S22中的所述过滤算法，具体计算包括如下步骤：
S221、输入两张图像x和y，计算亮度均值l(x，y)，其中，亮度对比函数l(x，y)的计算公式如下：
；
其中，μx和μy分别为图像x和y的平均灰度值，c1为常数；
S222、计算对比均值c(x，y)，其中，对比度对比函数c(x，y)的计算公式为：
；
其中，σx和σy分别为图像x和y的标准差，cx、cy和c2为常数；
S223、计算结构对比值，其中，结构对比函数的计算公式为：
；
其中，σxy为图像x和y的协方差，c3为常数；
S224、根据式（1）-式（3）的计算结果，得到相似度测量结果为：
；
最后，将相似度测量结果大于阈值的删除，阈值设置为0.6。
5.根据权利要求1所述的自然采集牛脸图像的牛脸识别方法，其特征在于，所述步骤S3具体包括如下步骤：
S31、使用标注软件Labelme对所述牛脸图像数据集中的牛脸图像进行面部检测框的标注；
S32、在所述面部检测框内采用五点标记法进行牛脸的五个关键点的标注，五个关键点分别位于牛左眼中心、牛右眼中心、牛鼻中心、牛嘴唇左侧和牛嘴唇右侧的位置。
6.根据权利要求1所述的自然采集牛脸图像的牛脸识别方法，其特征在于，所述步骤S4对标注的牛脸图像数据集的数据增强方法包括几何增强、颜色变换增强和CutMix数据增强，其中，
所述几何增强方法为通过对完成标注的牛脸图像进行几何变化模拟牛群相互遮挡产生的图像；
所述颜色变换增强方法为利用颜色变换增强方法对图像进行亮度变换，通过改变HSV空间中的V分量模拟因牛场环境不同产生的局部光照和阴影图像；
所述CutMix数据增强方法为对每一张牛脸图像随机选取一块正方形区域，且随机选取一张非本图像的牛脸图像，将非本牛脸图像上对应于所述正方形区域的位置设为对比区域，将所述对比区域覆盖到所述正方形区域的上方，进行掩码操作，提升后续模型的鲁棒性，从而完成数据增强。
7.根据权利要求5所述的自然采集牛脸图像的牛脸识别方法，其特征在于，在所述步骤S5中，所述CowDetect网络包括主网络和子网络，所述主网络利用Retinaface网络进行所述面部检测框和关键点的训练，所述子网络用来监督主网络模型的训练。
8.根据权利要求1所述的自然采集牛脸图像的牛脸识别方法，其特征在于，在步骤S6中，具体包括如下步骤：
S61、采用双眼校正法进行牛脸姿态校正，所述双眼校正法为：根据牛双眼的中心点的直线距离和牛双眼中心线与相机水平坐标轴的夹角进行旋转和平移，使牛双眼与水平面平行，完成牛的姿态角校正，得到牛的正脸图像，最后将校正后的所述训练数据集作为牛脸识别训练数据集；
S62、将所述牛脸识别训练数据集输入到CowFace模型进行识别模型训练，所述CowFace模型的输出维数设置为512维度，所述CowFace模型采用损失函数所述损失函数Arcface可替换为其他用于脸部识别的损失函数，包括：Cosface、AM-Softmax、CurricularFace、ArcNegFace、AirFace和QAMFace，
当采用损失函数Arcface loss时，损失函数Arcface loss的表达式如下：
；
其中，θyi表示样本特征和权重的夹角，m表示引用的间隔，s为学习到的特征引入的超球面半径，特征范围是从i到N，权重范围是从j到n。
9.根据权利要求1所述的自然采集牛脸图像的牛脸识别方法，其特征在于，所述步骤S7具体包括如下步骤：
S71、将所述牛脸识别模型学到的牛脸图像特征映射到欧几里得空间，通过映射出的特征向量，使用向量空间中两个向量夹角的余弦值作为衡量两头牛的相似度，两个向量夹角的余弦值的计算公式如下：
（6）；
其中，Ai,Bi为空间中两点；
S72、特征向量之间余弦相似度大于边界阈值0.7的代表相同牛只，特征向量之间余弦相似度小于边界阈值0.3的代表不同牛只，而特征向量之间余弦相似度处于边界阈值0.3-0.7之间的代表身份无法识别的牛只。
10.根据权利要求8所述的自然采集牛脸图像的牛脸识别方法，其特征在于，所述CowFace模型包括MobileFacenet模型、MobilenetV1、MobilenetV2和MobilenetV3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310200149.3A CN116052222A (zh) | 2023-03-06 | 2023-03-06 | 自然采集牛脸图像的牛脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310200149.3A CN116052222A (zh) | 2023-03-06 | 2023-03-06 | 自然采集牛脸图像的牛脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116052222A true CN116052222A (zh) | 2023-05-02 |
Family
ID=86120260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310200149.3A Pending CN116052222A (zh) | 2023-03-06 | 2023-03-06 | 自然采集牛脸图像的牛脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116052222A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116403004A (zh) * | 2023-06-07 | 2023-07-07 | 长春大学 | 一种基于牛脸矫正的牛脸融合特征提取方法 |
| CN116758589A (zh) * | 2023-08-17 | 2023-09-15 | 吉林大学 | 一种处理姿态和视角矫正的牛脸识别方法 |
| CN117558036A (zh) * | 2024-01-11 | 2024-02-13 | 长春大学 | 一种基于图像增强和残差网络的多品种牛面部识别方法 |
| CN117975344A (zh) * | 2024-04-02 | 2024-05-03 | 吉林省中农阳光数据有限公司 | 牛脸唯一性识别方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101739546A (zh) * | 2008-11-05 | 2010-06-16 | 沈阳工业大学 | 基于图像交叉重建的单样本注册图像人脸识别方法 |
| CN110298291A (zh) * | 2019-06-25 | 2019-10-01 | 吉林大学 | 基于Mask-RCNN的牛脸及牛脸关键点检测方法 |
| CN111368657A (zh) * | 2020-02-24 | 2020-07-03 | 京东数字科技控股有限公司 | 牛脸识别方法和装置 |
| CN112365423A (zh) * | 2020-11-23 | 2021-02-12 | 腾讯科技（深圳）有限公司 | 一种图像数据增强方法、装置、介质及设备 |
| CN112860943A (zh) * | 2021-01-04 | 2021-05-28 | 浙江诺诺网络科技有限公司 | 一种教学视频审核方法、装置、设备及介质 |
| CN114332956A (zh) * | 2022-03-15 | 2022-04-12 | 华中农业大学 | 一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法 |
-
2023
- 2023-03-06 CN CN202310200149.3A patent/CN116052222A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101739546A (zh) * | 2008-11-05 | 2010-06-16 | 沈阳工业大学 | 基于图像交叉重建的单样本注册图像人脸识别方法 |
| CN110298291A (zh) * | 2019-06-25 | 2019-10-01 | 吉林大学 | 基于Mask-RCNN的牛脸及牛脸关键点检测方法 |
| CN111368657A (zh) * | 2020-02-24 | 2020-07-03 | 京东数字科技控股有限公司 | 牛脸识别方法和装置 |
| CN112365423A (zh) * | 2020-11-23 | 2021-02-12 | 腾讯科技（深圳）有限公司 | 一种图像数据增强方法、装置、介质及设备 |
| CN112860943A (zh) * | 2021-01-04 | 2021-05-28 | 浙江诺诺网络科技有限公司 | 一种教学视频审核方法、装置、设备及介质 |
| CN114332956A (zh) * | 2022-03-15 | 2022-04-12 | 华中农业大学 | 一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法 |
Non-Patent Citations (5)
| Title |
|---|
| PASCAL算法摆渡⼈: "图像分类之数据增强CutMix⽅法 - 正则化策略", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/538455618> * |
| TOOCY7: "人脸识别损失函数之ArcfaceLoss", Retrieved from the Internet <URL:https://blog.csdn.net/qq_40321214/article/details/106467270> * |
| XIAOJIE GUO ET AL: "PFLD: A Practical Facial Landmark Detector", 《ARXIV:1902.10859V2》, pages 89 - 11 * |
| 七月在线实验室: "本周优秀开源项⽬分享，pytorch ⼈脸识别、场景⽂字检 测Python 包 等8⼤项⽬", Retrieved from the Internet <URL:https://jishuin.proginn.com/p/763bfbd2ab17> * |
| 陈慧岩等: "《无人驾驶车辆理论与设计》", pages: 54 - 62 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116403004A (zh) * | 2023-06-07 | 2023-07-07 | 长春大学 | 一种基于牛脸矫正的牛脸融合特征提取方法 |
| CN116403004B (zh) * | 2023-06-07 | 2024-01-26 | 长春大学 | 一种基于牛脸矫正的牛脸融合特征提取方法 |
| CN116758589A (zh) * | 2023-08-17 | 2023-09-15 | 吉林大学 | 一种处理姿态和视角矫正的牛脸识别方法 |
| CN116758589B (zh) * | 2023-08-17 | 2023-11-03 | 吉林大学 | 一种处理姿态和视角矫正的牛脸识别方法 |
| CN117558036A (zh) * | 2024-01-11 | 2024-02-13 | 长春大学 | 一种基于图像增强和残差网络的多品种牛面部识别方法 |
| CN117558036B (zh) * | 2024-01-11 | 2024-04-05 | 长春大学 | 一种基于图像增强和残差网络的多品种牛面部识别方法 |
| CN117975344A (zh) * | 2024-04-02 | 2024-05-03 | 吉林省中农阳光数据有限公司 | 牛脸唯一性识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wiley et al. | Computer vision and image processing: a paper review | |
| CN110298291B (zh) | 基于Mask-RCNN的牛脸及牛脸关键点检测方法 | |
| CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
| CN111611905B (zh) | 一种可见光与红外融合的目标识别方法 | |
| WO2022121039A1 (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| CN111563452B (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| CN113408584B (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
| CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
| CN111460884A (zh) | 基于人体跟踪的多人脸识别方法 | |
| CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
| CN107609509A (zh) | 一种基于运动显著性区域检测的动作识别方法 | |
| CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
| CN114140665A (zh) | 一种基于改进YOLOv5的密集小目标检测方法 | |
| Tu et al. | Instance segmentation based on mask scoring R-CNN for group-housed pigs | |
| CN112396655A (zh) | 一种基于点云数据的船舶目标6d位姿估计方法 | |
| CN117475353A (zh) | 基于视频的异常烟雾识别方法及系统 | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN113505629A (zh) | 一种基于轻量网络的智能仓储物件识别装置 | |
| CN113033386A (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| CN111950556A (zh) | 一种基于深度学习的号牌印刷质量检测方法 | |
| CN112364687A (zh) | 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统 | |
| CN110070626B (zh) | 一种基于多视角分类的三维物体检索方法 | |
| CN107609586A (zh) | 一种基于自我监督的视觉表征学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230502 |
|
| RJ01 | Rejection of invention patent application after publication |