CN114758118A - 一种高效多尺度的羊正脸检测方法 - Google Patents

一种高效多尺度的羊正脸检测方法 Download PDF

Info

Publication number
CN114758118A
CN114758118A CN202210245383.3A CN202210245383A CN114758118A CN 114758118 A CN114758118 A CN 114758118A CN 202210245383 A CN202210245383 A CN 202210245383A CN 114758118 A CN114758118 A CN 114758118A
Authority
CN
China
Prior art keywords
face
sheep
frame
detection
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210245383.3A
Other languages
English (en)
Inventor
张宏鸣
郝靳晔
杜禹瞳
罗志博
李杭
王建宁
周利香
李书琴
黄铝文
蔚继承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest A&F University
Original Assignee
Northwest A&F University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest A&F University filed Critical Northwest A&F University
Priority to CN202210245383.3A priority Critical patent/CN114758118A/zh
Publication of CN114758118A publication Critical patent/CN114758118A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种高效多尺度的羊正脸检测方法,包括:步骤S1,采集包含不同尺度羊只正脸的数据集图像;步骤S2,在羊只正脸的数据集图像中标注羊只面部框及7个面部特征点,获得标注的数据集;步骤S3,将标注的数据集随机划分为训练集、验证集和测试集;步骤S4,将所述的训练集输入到高效面部及特征点检测网络中进行训练,获得训练后的网络模型;步骤S5,将待检测图片及视频关键帧进行预处理后输入训练后的网络模型中,得到羊脸检测结果;步骤S6,根据是否检测到羊只正脸的7个面部特征点且检测框和7个面部特征点是否满足正角度特征关系筛选检测到的羊只正脸。

Description

一种高效多尺度的羊正脸检测方法
技术领域
本发明属于畜牧业图像处理技术领域,涉及羊脸识别,具体涉及一种高效 多尺度的羊正脸检测方法。
背景技术
畜牧业是我国的传统产业,也是农业、农村经济的主导产业,其中奶羊和 肉羊养殖是整个农业重要的组成部分,截止2020年我国的羊只存栏量为30655万 只。上世纪80年代,我国从国外引进了工业化养殖业概念,逐步实现了养殖生 产方式的转变。近年来,羊只养殖逐步从以前家庭的小规模养殖转变为在集约 式羊场中的大规模养殖方式,实现了羊只养殖的规模化。
虽然羊场养殖实现了规模化,但也带来了一些问题。目前来看,首先部分 羊场的防疫措施不到位,羊场内疫苗接种混乱,可能会集中爆发传染病。其次 部分羊场存在饲喂方式简单、粗放,营养搭配不合理,不能做到精养精喂,导 致发病率较高等问题。同时,部分羊场繁殖管理混乱,存在近亲繁殖现象,后 代质量受到一定程度影响。为解决上述问题,羊只个体身份识别已经由身体彩 标、烙印等为代表的传统识别方式向佩戴电子射频耳标方式转变,目前大多数 羊场通过耳标进行羊只管理。但是经调查,耳标的使用对羊场的生产依然产生 了许多不良影响。例如,由于耳标消毒不严格或耳标被扯掉易造成羊只耳部感染腐烂,影响羊只健康;大量的使用耳标会造成养殖成本提高;耳标的更换与 耳标信息的采集会耗费大量的人力物力,降低了羊场的经济效益。因此,有必 要开发一种新型能提高羊场经济效益非接触的羊只识别方法。目前,利用深度 学习技术实现羊脸识别是实现羊个体识别的主要方式。然而由于识别过程中的 检测步骤精度和效率低下,从而直接导致后续识别环节效率低。因此本发明旨 在解决羊脸检测环节效率低和精度低的问题。
羊脸检测是羊脸识别的重要前提,羊脸识别首先通过检测步骤提取出羊脸 面部区域,然后对该面部区域进行特征提取与比对来确定羊只个体,因此羊脸 检测是影响识别过程效率和精度的关键步骤;经过实验发现,现有检测方法多 数能检测出羊只侧脸,导致在同一时间内同一只羊出现不同的识别结果,需要 增加额外筛选环节,大大影响羊脸的识别精度和整体识别效率;同时,目前多 数羊场在狭窄通道中布设羊脸识别装置,造成实际检测场景中出现大量不同尺 度的羊脸,而现有方法难以在画面中检测出尺度差别较大的羊脸,也极大影响 了检测及识别效率;因此,目前已有的研究和技术中有以下几点不足:
(1)现有研究中没有一种在羊脸检测步骤中针对羊正脸7个关键特征的专 门检测算法,从而大大影响羊正脸检测的精度与效率。
(2)缺少在实际检测场景条件下的多尺度羊正脸数据集的构建方法。
(3)现有方法的羊脸检测步骤存在检测效率低的问题,难以满足大型羊场 实时检测的需要,部分算法在提高检测效率的情况下不能同时获得较高的检测 精度。
(4)现有方法的羊脸检测步骤没有解决实际场景中多尺度羊脸检测的问题。
发明内容
针对现有技术存在的不足,本发明的目的在于,提供一种高效多尺度的羊 正脸检测方法,以解决现有技术中的羊脸检测方法的效率和精度有待进一步提 升的技术问题。
为了解决上述技术问题,本发明采用如下技术方案予以实现:
一种高效多尺度的羊正脸检测方法,该方法按照以下步骤进行:
步骤S1,采集包含不同尺度羊只正脸的数据集图像;
步骤S2,在羊只正脸的数据集图像中标注羊只面部框及7个面部特征点, 获得标注的数据集;
所述的7个面部特征点为左眼左眼角点、左眼右眼角点、右眼左眼角点、 右眼右眼角点、左鼻翼、右鼻翼和鼻尖;
步骤S3,将标注的数据集随机划分为训练集、验证集和测试集;
步骤S4,将所述的训练集输入到高效面部及特征点检测网络中进行训练, 获得训练后的网络模型;
所述的高效面部及特征点检测网络为改进的RetinaFace算法;
步骤S5,将待检测图片及视频关键帧进行预处理后输入训练后的网络模型 中,得到羊脸检测结果;
所述的羊脸检测结果包括羊只正脸的7个面部特征点和检测框;
步骤S6,根据是否检测到羊只正脸的7个面部特征点且检测框和7个面部 特征点是否满足正角度特征关系筛选检测到的羊只正脸;
所述的正角度特征关系的公式如下所示,
Figure BDA0003545028950000031
式中:
形如
Figure BDA0003545028950000032
的符号表示特征点pm与pn的距离;
形如
Figure BDA0003545028950000033
的符号表示检测框端点Dm与特征点pn的距离;
α1表示正角度面部比例参数;
α2表示羊只面部框与面部特征点适应参数;
α3表示面部对称平衡参数。
本发明与现有技术相比,具有如下技术效果:
(Ⅰ)本发明的方法在模拟实际检测场景的多尺度测试集上检测精度高、运 行耗时短,是一种高效多尺度羊正脸检测方法,适应实际羊场场景下实时多尺 度检测。
(Ⅱ)本发明的检测算法中实现的多尺度特征提取能力能够满足在实际羊 场环境中对羊只多尺度的检测需要。
(Ⅲ)本发明的算法应采用的轻量级主干网络以及损失计算的优化保证了 羊脸检测步骤保持高效率,能够满足实时检测的需要。
(Ⅳ)本发明在满足高效检测的同时通过进一步的筛选能够保持较高的羊 只正脸检测准确率在,羊只正脸的有效检测为后续识别步骤提供精度保障。
附图说明
图1为本发明的高效面部及特征点检测网络的结构示意图。
图2为为对比例1、对比例2及本发明实施例的方法对羊侧脸图片检测结果。
图3为为本发明方法对羊正、侧脸检测结果。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
需要说明的是,本发明中的所有算法、模块、层和函数,如无特殊说明, 全部均采用现有技术中已知的算法、模块、层和函数。
遵从上述技术方案,以下给出本发明的具体实施例,需要说明的是本发明 并不局限于以下具体实施例,凡在本申请技术方案基础上做的等同变换均落入 本发明的保护范围。
实施例:
本实施例给出一种高效多尺度的羊正脸检测方法,该方法按照以下步骤进 行:
步骤S1,采集包含不同尺度羊只正脸的数据集图像。
步骤S1具体包括以下步骤:
步骤S101,使用摄像设备在养殖场拍摄羊只视频,拍摄羊只视频时,要包 含羊只的正脸,在视频中羊脸处于图像的不同位置不是单一的中间位置,羊脸 分布在原始图像的左上、左下、右上、右下和中间5个方位;同时采集的图像 中包含多尺度的羊脸。
所述的多尺度分为大尺度、中尺度和小尺度三种;所述的大尺度占图像比 例的1/4;所述的中尺度占图像比例的1/10;所述的小尺度占图像比例的1/20。
步骤S102,处理羊只的视频,截取视频中关键帧,将其中包含完整的羊只 正脸全部特征的图像保存,获得羊只正脸的数据集图像。
所述羊只正脸全部特征包括左眼左眼角和右眼角特征、右眼左眼角和右眼 角特征、左鼻廓特征、右鼻廓特征和鼻尖特征。
本实施例中,处理羊只的视频,截取视频中关键帧,将其中包含羊只正脸 全部特征的图像保存,总羊正脸数据集共N张图片,所述的N为3000;所述正脸 数据集中图片可包含多个羊脸,但需要包含至少1个包含羊只正脸全部特征的羊 脸。
步骤S2,在羊只正脸的数据集图像中标注羊只面部框及7个面部特征点, 获得标注的数据集。
步骤S2中具体包括以下步骤:
步骤S201,对羊只正脸的数据集图像进行标注,包括标注方形的羊只面部 框和7个面部特征点。
所述的标注羊只面部框的过程中记录方框的左上坐标和右下两点坐标。
所述的7个面部特征点为左眼左眼角点、左眼右眼角点、右眼左眼角点、 右眼右眼角点、左鼻翼、右鼻翼和鼻尖。
步骤S202,将标注的坐标导入文本文件,每个图片记录在文本文件中包含 两行信息;第一行由#开头包含该图片的绝对路径;第二行中为羊只面部框左上 坐标、右下坐标、左眼左眼角点坐标、左眼右眼角点坐标、右眼左眼角点坐标、 右眼右眼角点坐标、左鼻翼点坐标、右鼻翼点坐标和鼻尖点坐标;所述的坐标 按照x、y存储,每个坐标点中间用1或0分隔,1标志该点可信度高需要采纳, 0标志可信度低不宜采纳,获得标注的数据集。
步骤S3,将标注的数据集随机划分为训练集、验证集和测试集。
本实施例中,按6:2:2随机划分为训练集、验证集和测试集。训练集包含1800 张图片,验证集包含600张图片,测试集包含600张图片;步骤S3中所述的训 练集、验证集和测试集均包含多尺度的羊正脸图片。
步骤S4,将所述的训练集输入到高效面部及特征点检测网络中进行训练, 获得训练后的网络模型。
具体的,步骤S4中,所述的高效面部及特征点检测网络为改进的RetinaFace 算法,具体的结构示意图如图1所示,图1中,SAC表示可分离空洞卷积模块; SE表示Squeeze-Excitation模块;Conv2d表示二维卷积模块;FPN表示特征金 字塔网络;SSH表示SingleStage Headless检测器模块;CA表示所述通道加强 模块。
具体的,步骤S4中,所述的RetinaFace算法的改进方法包括以下步骤:
步骤S401,将原RetinaFace算法的主干网络替换为改进的轻量化主干网络MobileNetV3 large,所述的轻量化主干网络MobileNetV3 large的改进过程为:
将轻量化主干网络MobileNetV3 large中全部的3×3深度可分离卷积中的逐 层卷积替换为可切换空洞卷积,并在训练过程中通过switch操作调整空洞卷积 的扩张率,实现对卷积计算的软切换,使得轻量化主干网络MobileNetV3 large 获得不同尺度的感受野,有利于进行多尺度检测;
所述的Switch操作由一个5*5的平均池化层和一个1*1的普通卷积层构成;
本实施例中,可切换空洞卷积的结构在训练过程中增大了网络的感受野, 使得网络可以适应检测不同尺度目标,还可以精确定位目标。
步骤S402,对轻量化主干网络MobileNetV3 large的网络架构中注意力模块 配置的方案进行调整;
所述的调整方法为:在轻量化主干网络MobileNetV3 large中的第1-6层和 11-15层bneck模块中添加了注意力机制模块;
具体的,所述的注意力机制模块由全局池化层、全连接层、ReLU函数、全 连接层、Sigmoid函数组成;
本实施例中的上述调整,使得轻量化主干网络MobileNetV3 large适应对多 尺度物体的特征提取,使得轻量化主干网络MobileNetV3 large可以通过学习自 动获取每个特征通道的重要程度,然后依据学习结果提升有用的面部特征的权 重,抑制其他特征层的权重;
步骤S403,对原RetinaFace算法中SSH结构的三层上下文模块中均添加了 通道加强模块;
所述的通道加强模块由两部分组成,第一部分是由一个水平方向平均池化 层、1*1普通卷积层、1*1普通卷积层、归一化层、非线性层、1*1普通卷积层 和Sigmoid函数组成;第二部分由竖直方向平均池化层、同第一部分共享的1*1 普通卷积层、同第一部分共享的归一化层和非线性层、1*1普通卷积层、1*1普 通卷积层和Sigmoid函数组成;
本实施例中添加的通道加强模块,用于提升在融合上下文信息后的重要特 征提取能力。
步骤S404,对原RetinaFace算法中的损失函数进行优化,最终的损失函数 如下式所示:
Figure BDA0003545028950000081
式中:
L为最终的损失函数;
i为锚框;
Figure BDA0003545028950000082
为分类损失函数,由softmax二分类损失函数构成;
ci为预测的锚框i中包含羊脸的概率;
Figure BDA0003545028950000083
为实际锚框i中包含羊脸的概率,取值为1或0,值为1代表实际框中包 含羊脸,0代表实际框中不包含羊脸;
Figure BDA0003545028950000084
为检测框位置损失函数,由smooth-L1函数构成;
bi为检测框位置损失函数的预测参数,包含预测的锚框i的中心坐标值bx、 by,及锚框i宽高的值bw、bh
Figure BDA0003545028950000085
为检测框位置损失函数的实际参数,包含实际标注框i的中心坐标值
Figure BDA0003545028950000086
Figure BDA0003545028950000087
及宽高值
Figure BDA0003545028950000088
Figure BDA0003545028950000089
为检测面部特征点损失函数,由smooth-L1函数构成;
li为检测面部特征点损失函数的预测参数,包含预测的七个面部特征点坐标 的坐标值
Figure BDA00035450289500000810
Figure BDA0003545028950000091
为检测面部特征点损失函数的实际参数,包含实际标注的七个面部特征点 坐标的坐标值
Figure BDA0003545028950000092
λ1为0.5;
λ2为0.2。
具体的,步骤S4中,每训练5轮通过验证集测试训练模型的精度、召回率 以检验模型检测效果;最终训练得到的模型通过测试集测试最终的模型检测精 度,当且仅当模型准确率高于95%认为该模型可取。
步骤S5,将待检测图片及视频关键帧进行预处理后输入训练后的网络模型 中,得到羊脸检测结果。
所述的羊脸检测结果包括羊只正脸的7个面部特征点和检测框;
具体的,步骤S5中,所述的预处理为:使图片的宽缩放至320像素同时按 原图片比例将图片的高进行等比压缩。
具体的,步骤S5中包括以下步骤:
步骤S501,检测图片先经过预处理,使图片的宽缩放至320像素同时按原 图片比例将图片的高进行等比压缩后将RGB三通道图像输入到改进后主干网络 中。
步骤S502,将输入的RGB三通道图像输入主干网络中,通过主干网络前 16个可切换空洞卷积;第2至16个卷积采用bneck结构,在第2、3、4、5、6、 7、12、13、14、15、16个卷积中采用了SE通道注意力模块。
步骤S503,输入图像进入改进后的网络将主干网络得到三个输出特征层进 入FPN结构。第一特征层先后使用卷积核大小为1*1、3*3、3*3、3*3、5*5、 5*5、5*5、3*3的8个卷积,得到一个大小为80*80*80的特征图;第二特征层 先后使用卷积核大小为3*3、3*3、3*3、3*3、3*3、5*5的6个卷积,得到一个 大小为160*40*40的特征图;第三特征层先后使用卷积核大小为5*5、5*5、3*3 的3个卷积,得到一个大小为960*20*20的特征图。将三个特征层的输出特征 图经过平均池化层与hardswitch激活函数处理,得到包含三个特征图的字典。
步骤S504,将主干网络S3、S4、S5模块的输出层输入FPNS1、FPN S2、 FPN S3中。具体步骤如下:S5模块的输出层先经过1*1卷积,改变特征层的通 道数,再将得到的特征层经过3*3卷积后,输入到SSH模块中。对经过1*1卷 积的S5模块的输出层进行上采样(上采样使用的是最近邻插值法),并与经过 1*1卷积的S4模块的输出层对应位置相加,将得到的特征层经过3*3卷积后, 输入到SSH模块中。上述FPN S2输出结果进行上采样,并与经过1*1卷积的 S3模块的输出层对应位置相加,将得到的特征层经过3*3卷积后,输入到SSH 模块中。经过上述三个步骤后,输出三个不同尺度大小的特征层。
步骤S505,将FPN特征金字塔输出的表征三个不同尺度大小特征的特征层 输入SSH模块中添加了通道加强模块的上下文模块分别得到三个通道数相同为 128用以表征不同尺度特征的特征层。
步骤S506,将步骤5中得到的三个特征层分别输入到detector中。detector 包括ClassHead、BboxHead和LandmarkHead三个检测器。在ClassHead模块中, 先经过一个1*1卷积,再经过LogSoftmax函数得到ClassHead模块输出。在 BboxHead模块中,经过一个1*1卷积后得到BboxHead模块输出。在 LandmarkHead模块中,经过一个1*1卷积后得到LandmarkHead模块输出。
步骤S507,根据上述ClassHead、BboxHead和LandmarkHead得到的输出 矩阵计算得分,比较设置的得分阈值判断是否包含检测框,检测框位置和7个 面部特征点位置,最终按比例计算在原图片中的坐标,其中所述得分阈值为0.5。
步骤S6,根据是否检测到羊只正脸的7个面部特征点且检测框和7个面部 特征点是否满足正角度特征关系筛选检测到的羊只正脸;
具体的,步骤S6中,所述的正角度特征关系的公式如下所示,
Figure BDA0003545028950000111
式中:
形如
Figure BDA0003545028950000112
的符号表示特征点pm与pn的距离;例如,
Figure BDA0003545028950000113
表示特征点p6与p7的距离;
形如
Figure BDA0003545028950000114
的符号表示检测框端点Dm与特征点pn的距离;例如
Figure BDA0003545028950000115
表示检 测框端点D2与特征点p4的距离;
α1表示正角度面部比例参数,设置为0.3;
α2表示羊只面部框与面部特征点适应参数,设置为0.5;
α3表示面部对称平衡参数,设置为0.2;
根据所述的正角度特征关系对检测结果进行判断的过程为:在图像中是否 检测出矩形羊只面部框包含左上端点D1、右上端点D2、左下端点D3、右下端点D4和包括羊只左眼左眼角p1和左眼右眼角p2、右眼左眼角p3和右眼右眼角p4、左鼻 廓p5、右鼻廓p6和鼻尖p7共7个面部特征点,且检测框端点及7个面部特征点 关系满足正角度特征关系。
如果检测出则将羊只面部框截取。
如果没有检测出7个面部特征点或不满足所述的正角度特征关系的公式, 则放弃该检测框。
最终得到的检测结果均为在原图片中标注了包括7个面部特征点和羊只正 脸框的图像。
对比例1:
本对比例给出一种羊正脸检测方法,该方法按照以下步骤进行:
步骤S1,采集包含不同尺度羊只正脸的数据集图像;
步骤S2,在羊只正脸的数据集图像中标注羊只面部框及5个面部特征点, 获得标注的数据集;
所述的5个面部特征点为左眼中间点点、右眼中间点、左鼻翼、右鼻翼和 鼻尖;
步骤S3,将标注的数据集随机划分为训练集、验证集和测试集;
步骤S4,将所述的训练集输入到原RetinaFace算法中进行训练,获得训练 后的算法;
步骤S5,将待检测图片及视频关键帧进行预处理后输入训练后的算法中, 得到羊脸检测结果。预处理过程与实施例相同。
对比例2:
本对比例给出一种羊正脸检测方法,该方法与实施例的区别在于,本对比 例去掉了实施例中的步骤六,其它步骤与实施例相同。
实验验证:
将本发明的高效多尺度的羊正脸检测方法与一般检测算法对羊正脸的检出 效果进行对比。
实验背景:为证明本发明对羊正脸检测的高效性及准确性,将对比本发明 与仅使用原RetinaFace检测算法对羊正脸检测结果。
实验环境:操作系统为Ubantu18.04.5,GPU为NVIDA TITAN RTX/PCle/SSE2。
实验方法:使用相同测试集对使用本发明方法、对比例1中给出的仅使用 原RetinaFace检测算法和对比例2中给出的去掉步骤S6的本发明方法对羊正脸 检测结果进行对比;测试集中包含羊只多尺度侧脸及正脸图片,其中所述多尺 度侧脸及正脸图片中包含或不包含羊正脸图片,且测试集中包含了1/4、1/10、 1/20三种大、中、小不同尺度羊脸图片,从而使测试集图片接近实际条件下捕 捉到的羊脸图片,克服了已有方法测试集中只含有单一尺度图片的缺陷,使实 验结果最大程度接近实际羊脸检测的条件;检测结果包含对羊正脸检测准确率、 召回率及运行时间,最终结果如表1、图2、图3所示。
表1不同方法的羊正脸检测结果
方法 正脸检测准确率 正脸检测召回率 运行时间
对比例1 89.34% 89.87% 232ms
对比例2 90.65% 88.31% 57ms
本发明的实施例 95.71% 87.42% 63ms
结果分析:
如表1所示,使用传统的检测算法即原RetinaFace算法在多尺度测试集检 测时,检测耗时长,同时正脸检测准确率较低;在不使用步骤六的筛选步骤时, 改进算法显示出检测效率的大幅提升,然而正脸的检测准确率没有明显提升; 而使用本发明方法并采用高效的改进面部及特征点检测算法时,能够有效的提 升检测效率将检测时间大幅缩减,同时采取本发明所提出的筛选策略使得正脸 的检测准确率大幅提升;但是由于筛选条件的严格导致部分图片中的羊只正脸 出现漏检,但是相对于原RetinaFace算法本发明方法的漏检率下降不明显,可 以接受。
如图2所示,该测试图片为羊只侧脸;1号图片为对比例1的检测结果,该 算法判定图片中包含羊只正脸;2号图片为对比例2的检测结果,该方法判定图 片中包含羊只正脸;3号图片为本发明的实施例的检测结果,该方法判定图片中 不包含羊只正脸,虽然检测算法能够检测出面部框及7个特征点,然而面部框 与特征点位置关系与公式7不符,因此判定图片中的羊脸不符合羊正脸特征。
如图3所示,1号图片为本发明方法对测试集中定义为正脸图片的检测结果, 结果中能够检测出面部框及7个面部特征点,因此判定结果该图片包含羊只正 脸,且截取该检测框中羊脸;2号图片为本发明方法对测试集中定义为侧脸图片 的检测结果,结果中能够检测出面部框及7个面部特征点,但是面部框及特征 点位置不符合公式7,因此判定结果为该图片不包含羊只正脸;3号图片为本发 明方法对测试集中定义为另一侧脸图片的检测结果,结果中能够检测出面部框 但不能检测出7个面部特征点,由于特征点检验不全,因此判定结果为该图片 不包含羊只正脸。
最终实验证明,本发明方法在模拟实际检测场景的多尺度测试集上检测精 度高、运行耗时短,是一种高效多尺度羊正脸检测方法,适应实际羊场场景下 实时多尺度检测。
对比例3:
本对比例给出现有技术中已知的人脸正脸检测方法、装置及电子设备,该 方法实施步骤中没有提到一种具体可实现的关键点检测方法适合该方法;同时, 该方法使用人面部的21个关键点对原图像进行仿射变换生成一张对比图像,并 将第一人脸图像与仿射变换后的图像进行分类,通过分析图像的失真程度判断 是否是正脸图像;该方法与本发明中步骤六,根据是否检测到羊只正脸的7个 特征点且检测框和特征点是否满足正角度特征关系筛选检测到的羊只正脸的方 法不同;该对比例不能有效检测羊正脸。
对比例4:
本对比例给出一种正面人脸图像的检测方法,该方法中采用的级联分类器 和ASM方法分别检测图像人脸区域与关键点在图像中的分布,并且筛选时仅考 虑关键点之间的角度关系与对称关系对正脸筛选的影响。该对比例不能有效检 测羊正脸。
本发明方法与对比例4相比,本发明方法中针对羊特有的特征点,利用深 度学习得到的模型,能够同时在图像中预测羊脸矩形框和面部特征点具有多尺 度多目标高效检测特征,同时能够避免多次预测出现的关键点偏差;同时本发 明方法参考面部框和特征点综合考虑,对正角度面部比例、面部框与特征点适 应比例、面部对称平衡进行筛选;并将面部框与特征点的适应情况作为强决定 因素,较其他决定因素更为突出。

Claims (8)

1.一种高效多尺度的羊正脸检测方法,其特征在于,该方法按照以下步骤进行:
步骤S1,采集包含不同尺度羊只正脸的数据集图像;
步骤S2,在羊只正脸的数据集图像中标注羊只面部框及7个面部特征点,获得标注的数据集;
所述的7个面部特征点为左眼左眼角点、左眼右眼角点、右眼左眼角点、右眼右眼角点、左鼻翼、右鼻翼和鼻尖;
步骤S3,将标注的数据集随机划分为训练集、验证集和测试集;
步骤S4,将所述的训练集输入到高效面部及特征点检测网络中进行训练,获得训练后的网络模型;
所述的高效面部及特征点检测网络为改进的RetinaFace算法;
步骤S5,将待检测图片及视频关键帧进行预处理后输入训练后的网络模型中,得到羊脸检测结果;
所述的羊脸检测结果包括羊只正脸的7个面部特征点和检测框;
步骤S6,根据是否检测到羊只正脸的7个面部特征点且检测框和7个面部特征点是否满足正角度特征关系筛选检测到的羊只正脸;
所述的正角度特征关系的公式如下所示,
Figure FDA0003545028940000011
式中:
形如
Figure FDA0003545028940000012
的符号表示特征点pm与pn的距离;
形如
Figure FDA0003545028940000021
的符号表示检测框端点Dm与特征点pn的距离;
α1表示正角度面部比例参数;
α2表示羊只面部框与面部特征点适应参数;
α3表示面部对称平衡参数。
2.如权利要求1所述的高效多尺度的羊正脸检测方法,其特征在于,步骤S1具体包括以下步骤:
步骤S101,使用摄像设备在养殖场拍摄羊只视频,拍摄羊只视频时,要包含羊只的正脸,在视频中羊脸处于图像的不同位置不是单一的中间位置,羊脸分布在原始图像的左上、左下、右上、右下和中间5个方位;同时采集的图像中包含多尺度的羊脸;
所述的多尺度分为大尺度、中尺度和小尺度三种;所述的大尺度占图像比例的1/4;所述的中尺度占图像比例的1/10;所述的小尺度占图像比例的1/20;
步骤S102,处理羊只的视频,截取视频中关键帧,将其中包含完整的羊只正脸全部特征的图像保存,获得羊只正脸的数据集图像;
所述羊只正脸全部特征包括左眼左眼角和右眼角特征、右眼左眼角和右眼角特征、左鼻廓特征、右鼻廓特征和鼻尖特征。
3.如权利要求1所述的高效多尺度的羊正脸检测方法,其特征在于,步骤S2中具体包括以下步骤:
步骤S201,对羊只正脸的数据集图像进行标注,包括标注方形的羊只面部框和7个面部特征点;
所述的标注羊只面部框的过程中记录方框的左上坐标和右下两点坐标;
步骤S202,将标注的坐标导入文本文件,每个图片记录在文本文件中包含两行信息;第一行由#开头包含该图片的绝对路径;第二行中为羊只面部框左上坐标、右下坐标、左眼左眼角点坐标、左眼右眼角点坐标、右眼左眼角点坐标、右眼右眼角点坐标、左鼻翼点坐标、右鼻翼点坐标和鼻尖点坐标;所述的坐标按照x、y存储,每个坐标点中间用1或0分隔,1标志该点可信度高需要采纳,0标志可信度低不宜采纳,获得标注的数据集。
4.如权利要求1所述的高效多尺度的羊正脸检测方法,其特征在于,步骤S4中,所述的RetinaFace算法的改进方法包括以下步骤:
步骤S401,将原RetinaFace算法的主干网络替换为改进的轻量化主干网络MobileNetV3 large,所述的轻量化主干网络MobileNetV3 large的改进过程为:
将轻量化主干网络MobileNetV3 large中全部的3×3深度可分离卷积中的逐层卷积替换为可切换空洞卷积,并在训练过程中通过switch操作调整空洞卷积的扩张率,实现对卷积计算的软切换,使得轻量化主干网络MobileNetV3 large获得不同尺度的感受野,有利于进行多尺度检测;
所述的Switch操作由一个5*5的平均池化层和一个1*1的普通卷积层构成;
步骤S402,对轻量化主干网络MobileNetV3 large的网络架构中注意力模块配置的方案进行调整;
所述的调整方法为:在轻量化主干网络MobileNetV3 large中的第1-6层和11-15层bneck模块中添加了注意力机制模块;
所述的注意力机制模块由全局池化层、全连接层、ReLU函数、全连接层和Sigmoid函数组成;
步骤S403,对原RetinaFace算法中SSH结构的三层上下文模块中均添加了通道加强模块;
所述的通道加强模块由两部分组成,第一部分是由一个水平方向平均池化层、1*1普通卷积层、1*1普通卷积层、归一化层、非线性层、1*1普通卷积层和Sigmoid函数组成;第二部分由竖直方向平均池化层、同第一部分共享的1*1普通卷积层、同第一部分共享的归一化层和非线性层、1*1普通卷积层、1*1普通卷积层和Sigmoid函数组成;
步骤S404,对原RetinaFace算法中的损失函数进行优化,最终的损失函数如下式所示:
Figure FDA0003545028940000041
式中:
L为最终的损失函数;
i为锚框;
Figure FDA0003545028940000042
为分类损失函数,由softmax二分类损失函数构成;
ci为预测的锚框i中包含羊脸的概率;
Figure FDA0003545028940000043
为实际锚框i中包含羊脸的概率,取值为1或0,值为1代表实际框中包含羊脸,0代表实际框中不包含羊脸;
Figure FDA0003545028940000044
为检测框位置损失函数,由smooth-L1函数构成;
bi为检测框位置损失函数的预测参数,包含预测的锚框i的中心坐标值bx、by,及锚框i宽高的值bw、bh
Figure FDA0003545028940000045
为检测框位置损失函数的实际参数,包含实际标注框i的中心坐标值
Figure FDA0003545028940000046
Figure FDA0003545028940000047
及宽高值
Figure FDA0003545028940000048
Figure FDA0003545028940000049
为检测面部特征点损失函数,由smooth-L1函数构成;
li为检测面部特征点损失函数的预测参数,包含预测的七个面部特征点坐标的坐标值
Figure FDA00035450289400000410
Figure FDA00035450289400000411
为检测面部特征点损失函数的实际参数,包含实际标注的七个面部特征点坐标的坐标值
Figure FDA00035450289400000412
λ1为0.5;
λ2为0.2。
5.如权利要求1所述的高效多尺度的羊正脸检测方法,其特征在于,步骤S4中,每训练5轮通过验证集测试训练模型的精度、召回率以检验模型检测效果;最终训练得到的模型通过测试集测试最终的模型检测精度,当且仅当模型准确率高于95%认为该模型可取。
6.如权利要求1所述的高效多尺度的羊正脸检测方法,其特征在于,步骤S5中,所述的预处理为:使图片的宽缩放至320像素同时按原图片比例将图片的高进行等比压缩。
7.如权利要求1所述的高效多尺度的羊正脸检测方法,其特征在于,步骤S6中,α1设置为0.3;α2设置为0.5;α3设置为0.2。
8.如权利要求所述的高效多尺度的羊正脸检测方法,其特征在于,步骤S6中,根据所述的正角度特征关系对检测结果进行判断的过程为:在图像中是否检测出矩形羊只面部框包含左上端点D1、右上端点D2、左下端点D3、右下端点D4和包括羊只左眼左眼角p1和左眼右眼角p2、右眼左眼角p3和右眼右眼角p4、左鼻廓p5、右鼻廓p6和鼻尖p7共7个面部特征点,且检测框端点及7个面部特征点关系满足正角度特征关系;
如果检测出则将羊只面部框截取;
如果没有检测出7个面部特征点或不满足所述的正角度特征关系的公式,则放弃该检测框;
最终得到的检测结果均为在原图片中标注了包括7个面部特征点和羊只正脸框的图像。
CN202210245383.3A 2022-03-14 2022-03-14 一种高效多尺度的羊正脸检测方法 Pending CN114758118A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210245383.3A CN114758118A (zh) 2022-03-14 2022-03-14 一种高效多尺度的羊正脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210245383.3A CN114758118A (zh) 2022-03-14 2022-03-14 一种高效多尺度的羊正脸检测方法

Publications (1)

Publication Number Publication Date
CN114758118A true CN114758118A (zh) 2022-07-15

Family

ID=82327030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210245383.3A Pending CN114758118A (zh) 2022-03-14 2022-03-14 一种高效多尺度的羊正脸检测方法

Country Status (1)

Country Link
CN (1) CN114758118A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457601A (zh) * 2022-11-14 2022-12-09 中国平安财产保险股份有限公司 牲畜面部检测方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457601A (zh) * 2022-11-14 2022-12-09 中国平安财产保险股份有限公司 牲畜面部检测方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111241975B (zh) 一种基于移动端边缘计算的人脸识别检测方法及系统
CN110705639B (zh) 一种基于深度学习的医学精子图像识别系统
CN111400536B (zh) 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法
CN112044046B (zh) 基于深度学习的跳绳计数方法
WO2023165033A1 (zh) 识别医学图像中的目标的模型训练、方法、设备及介质
CN112836748A (zh) 一种基于crnn-ctc的铸件标识字符识别方法
CN109800756A (zh) 一种用于中文历史文献密集文本的文字检测识别方法
CN111709305B (zh) 一种基于局部图像块的人脸年龄识别方法
CN111274895A (zh) 基于空洞卷积的cnn微表情识别方法
CN114550268A (zh) 一种利用时空特征的深度伪造视频检测方法
CN114758118A (zh) 一种高效多尺度的羊正脸检测方法
CN108305270A (zh) 一种基于手机拍照的仓储粮虫计数系统及方法
CN113222889B (zh) 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置
CN112446417B (zh) 基于多层超像素分割的纺锤形果实图像分割方法及系统
CN103927517B (zh) 一种基于人体全局特征直方图熵的动作检测方法
CN107368847B (zh) 一种作物叶部病害识别方法及系统
CN111222473B (zh) 一种对视频中人脸进行聚类的分析识别方法
CN105335717B (zh) 基于智能移动终端视频抖动分析的人脸识别系统
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN114550069B (zh) 一种基于深度学习的仔猪乳头计数方法
CN112800968B (zh) 一种基于hog分块的特征直方图融合对饮水区域猪的身份识别办法
CN108734158B (zh) 一种实时列车车号识别方法及装置
CN110349119A (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN109766860A (zh) 基于改进的Adaboost算法的人脸检测方法
CN116309270A (zh) 一种基于双目图像的输电线路典型缺陷识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination