CN110414369A - 一种牛脸的训练方法及装置 - Google Patents

一种牛脸的训练方法及装置 Download PDF

Info

Publication number
CN110414369A
CN110414369A CN201910605566.XA CN201910605566A CN110414369A CN 110414369 A CN110414369 A CN 110414369A CN 201910605566 A CN201910605566 A CN 201910605566A CN 110414369 A CN110414369 A CN 110414369A
Authority
CN
China
Prior art keywords
sample
face image
face
training
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910605566.XA
Other languages
English (en)
Other versions
CN110414369B (zh
Inventor
赵拴平
贾玉堂
金海�
徐磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Animal Husbandry and Veterinary Medicine of Anhui Academy of Agricultural Sciences
Original Assignee
Institute of Animal Husbandry and Veterinary Medicine of Anhui Academy of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Animal Husbandry and Veterinary Medicine of Anhui Academy of Agricultural Sciences filed Critical Institute of Animal Husbandry and Veterinary Medicine of Anhui Academy of Agricultural Sciences
Priority to CN201910605566.XA priority Critical patent/CN110414369B/zh
Publication of CN110414369A publication Critical patent/CN110414369A/zh
Application granted granted Critical
Publication of CN110414369B publication Critical patent/CN110414369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种牛脸的训练方法及装置。具体而言，该牛脸的训练方法包括：根据通过所述深度学习网络提取的牛脸关键点与预先标记的牛脸关键点计算各个所述样本牛脸图像的损失值；根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练；其中，所述第一训练分支用于训练所述样本牛脸图像的相对坐标值，所述第二训练分支用于训练所述样本牛脸图像的评分值；将待测的牛脸图像分别输入至训练后的每个类别的所述样本牛脸图像对应的深度学习网络，选取评分值满足预设阈值的相对坐标值，计算所述待测的牛脸图像的牛脸关键点。

Description

一种牛脸的训练方法及装置
技术领域
本发明涉及通信领域，具体而言，涉及一种牛脸的训练方法及装置。
背景技术
近年来，我国肉牛业得到迅速发展，牛肉年产量长期位居世界前列。随着肉牛规模化养殖的发展，口蹄疫、牛瘟等牛群高发疾病严重影响着肉牛养殖的经济效益，疾病防控已成为肉牛养殖业健康发展的重中之重。实时、准确地获取牛只的个体信息，客观评价其生长、健康和妊娠状态，及时采取防治措施才能将损失降到最低，获取最大收益。目前肉牛健康管理均以传统的肉眼观察为主，不仅耗时费力，而且人的活动容易给牛造成应激反应，现代化规模肉牛养殖中有待改进。随着计算机视觉技术的发展，通过获取肉牛图像，应用图像处理和分析技术对牛健康状况进行评估，能有效的减少对牛的刺激和物理伤害。
计算机视觉技术可以获取图像大量的参数和信息，并且在不接触测定对象的情况下进行分析测试，可以对农产品以及动植物进行无接触检测。牛的面部轮廓是牛脸的重要特征，对牛的脸部关键点进行检测分析可以用于牛的身份鉴别、咀嚼分析及健康状况评估等领域。
鉴于人脸与牛脸的相似性，在业界对牛脸进行关键点检测基本上是直接采用人脸关键点的检测技术。然而，牛脸与人脸还是有着很大的差异：
1.人脸的肤色差异很小；牛脸的个体毛色差异较大；
2.人脸比较细腻、光滑，纹理较小；牛脸体毛突出，在图像成像上有很强的纹理，干扰较大；
3.人脸纵深较小，五官近似在平面；牛脸的纵深较大，通常牛嘴与牛耳有近30厘米的深度距离，远超过人脸。
因此，直接使用现有人脸关键点的检测技术来对畜牧类动物的面部，例如牛脸关键点进行检测会使检测精度大幅度下降。牛因生理结构等因素的影响，使得采集的牛脸图像差异较大，很难用单一的模型对牛脸进行关键点检测。
发明内容
本发明实施例提供了一种牛脸的训练方法及装置，以至少解决相关技术中直接使用现有人脸关键点的检测技术来对牛脸关键点进行检测会使检测精度大幅度下降的问题。根据本发明的一个实施例，提供了一种牛脸的训练方法，包括：通过深度学习网络对样本集合中的每个样本牛脸图像提取牛脸关键点；根据通过所述深度学习网络提取的牛脸关键点与预先标记的牛脸关键点计算各个所述样本牛脸图像的损失值；根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，并确定每个类别的所述样本牛脸图像对应的深度学习网络；将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练；其中，所述第一训练分支用于训练所述样本牛脸图像的相对坐标值，所述第二训练分支用于训练所述样本牛脸图像的评分值；将待测的牛脸图像分别输入至训练后的每个类别的所述样本牛脸图像对应的深度学习网络，选取评分值满足预设阈值的相对坐标值计算所述待测的牛脸图像的牛脸关键点。
可选地，通过深度学习网络对样本集合中的每个样本牛脸图像提取牛脸关键点，包括：对通过所述深度学习网络提取的牛脸关键点进行标记，并获取通过所述深度学习网络提取的牛脸关键点对应的标记坐标值。
可选地，计算每个所述样本牛脸图像的损失值，包括：获取所述牛脸关键点的归一化坐标；对每个所述样本牛脸图像中的所述牛脸关键点的归一化坐标进行L2范数计算，以获取所述样本牛脸图像的损失值。
可选地，所述样本牛脸图像的损失值至少通过如下公式计算：
其中，L为所述样本牛脸图像的损失值，n为所述牛脸关键点的数量， xi为所述牛脸的第i个关键点横坐标；yi为所述牛脸的第i个关键点纵坐标， w为所述样本牛脸图像的宽度，h为所述样本牛脸图像的高度，为所述深度学习网络中输出的第i个牛脸关键点的横坐标；为所述深度学习网络中输出的第i个牛脸关键点的纵坐标。
可选地，根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，包括：选取所述样本牛脸图像的损失值小于第一损失阈值的样本牛脸图像作为第一类样本牛脸图像；将剩余的样本牛脸图像重复循环进行以下操作：对所述剩余的样本牛脸图像提取所述牛脸关键点；根据通过所述深度学习网络从所述剩余的样本牛脸图像中提取的牛脸关键点与预先标记的牛脸关键点再次计算各个所述样本牛脸图像的损失值；选取所述样本牛脸图像的损失值小于第N损失阈值的样本牛脸图像作为第N类样本牛脸图像，其中N为大于1的正整数。
可选地，将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练，包括：根据所述样本牛脸图像的相对坐标值以及所述牛脸关键点对应的标记坐标值计算所述第一训练分支的损失值；根据所述评分值以及所述第一训练分支的损失值计算所述第二训练分支的损失值。
可选地，所述第一训练分支的损失值至少通过如下公式计算：
其中，loss1用于表示第一训练分支的损失值，用于表示所述深度学习网络输出的坐标值，P表示所述标记坐标值，||.||2用于表示L2范数， f(X；θt，θp)用于表示所述第一训练分支所在的深度学习模型，X用于表示当前输入的样本牛脸图像，θt用于表示所述第一训练分支与所述第二训练分支共享的训练参数，θp用于表示所述第一训练分支的训练参数。
可选地，所述第二训练分支的损失值至少通过如下公式计算：
其中，loss2用于表示第二训练分支的损失值，用于表示模型的评分值，f(X；θt，θb)用于表示所述第二训练分支所在的深度学习模型，θb用于表示所述第二训练分支的训练参数。
选取评分值满足预设阈值的相对坐标值计算所述待测的牛脸图像的牛脸关键点，包括：
根据所述评分值满足所述预设阈值的相对坐标值与所述待测的牛脸图像的长度和宽度，计算所述待测的牛脸图像的牛脸关键点。
根据本发明的另一个实施例，提供了一种牛脸的训练装置，其特征在于，包括：提取模块，用于通过深度学习网络对样本集合中的每个样本牛脸图像提取牛脸关键点；计算模块，根据通过所述深度学习网络提取的牛脸关键点与预先标记的牛脸关键点计算各个所述样本牛脸图像的损失值；分类模块，用于根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，并确定每个类别的所述样本牛脸图像对应的深度学习网络；训练模块，用于将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练；其中，所述第一训练分支用于训练所述样本牛脸图像的相对坐标值，所述第二训练分支用于训练所述样本牛脸图像的评分值；测试模块，用于将待测的牛脸图像分别输入至训练后的每个类别的所述样本牛脸图像对应的深度学习网络，选取评分值满足预设阈值的相对坐标值计算所述待测的牛脸图像的牛脸关键点。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，在深度学习网络中对样本分类后，通过对样本相对坐标值进行训练而后训练图像的评分值，从而确定待测图像的牛脸关键点。因此，可以解决直接使用现有人脸关键点的检测技术来对畜牧类动物的面部，例如牛脸关键点进行检测会使检测精度大幅度下降问题，达到了提高精度的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种牛脸的训练方法的流程图；
图2是根据本发明实施例的一种关键点的标记示意图；
图3是根据本发明实施例的一种用于牛脸关键点的检测的深度学习模型示意图；
图4是根据本发明实施例的一种关键点进行深度学习中的示意图；
图5是根据本发明实施例的一种关键点进行深度学习后的示意图；
图6是根据本发明实施例的一种牛脸关键点检测模型；
图7是根据本发明实施例的一种牛脸的训练装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
在本实施例中提供了一种牛脸的训练方法，图1是根据本发明实施例的一种牛脸的训练方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，通过深度学习网络对样本集合中的每个样本牛脸图像提取牛脸关键点；
步骤S104，根据通过所述深度学习网络提取的牛脸关键点与预先标记的牛脸关键点计算各个所述样本牛脸图像的损失值；
步骤S106，根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，并确定每个类别的所述样本牛脸图像对应的深度学习网络；
步骤S108，将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练；其中，所述第一训练分支用于训练所述样本牛脸图像的相对坐标值，所述第二训练分支用于训练所述样本牛脸图像的评分值；
步骤S110，将待测的牛脸图像分别输入至训练后的每个类别的所述样本牛脸图像对应的深度学习网络，选取评分值满足预设阈值的相对坐标值计算所述待测的牛脸图像的牛脸关键点。
具体而言，在提取关键点时，对于每个样本在采样过程当中，为了保证数据的丰富性，每张牛脸选不同角度进行拍照采集图像。同时，针对每幅牛脸图像手动标记多个牛脸关键点作为基准点。图2是根据本发明实施例的一种关键点的标记示意图。如图2所示，图2中标记的空心点即为关键点。此外，在图2中关键点的数目为15个。但在实际使用当中，针对不同品种、不同性别、不同颜色，不同年龄等特征的牛，可以对关键点的标记数量进行适应性调整。在此不做过多赘述。
此外，标记点的标记原则可以根据牛脸的不同部分进行标记。例如，如图2所示，牛鼻，牛嘴，牛眼，牛耳等部分可以标记更多的关键点。而其他牛脸部分则可以标记少量或者不标记关键点。
以图2为例，在获取所述面部关键点对应的标记坐标值时，可以按照预设的规则(例如，以牛脸图像的中心作为坐标轴原点)建立坐标系。从而可以确认面部关键点在标记时的坐标值。
可选地，计算每个所述样本牛脸图像的损失值，包括：计算每个所述样本牛脸图像的损失值，包括：获取所述牛脸关键点的归一化坐标；对每个所述样本牛脸图像中的所述牛脸关键点的归一化坐标进行L2范数计算，以获取所述样本牛脸图像的损失值。
可选地，所述样本牛脸图像的损失值至少通过如下公式计算：
其中，L为所述样本牛脸图像的损失值，n为所述牛脸关键点的数量， xi为所述牛脸的第i个关键点横坐标；yi为所述牛脸的第i个关键点纵坐标， w为所述样本牛脸图像的宽度，h为所述样本牛脸图像的高度，为所述深度学习网络中输出的第i个牛脸关键点的横坐标；为所述深度学习网络中输出的第i个牛脸关键点的纵坐标。
图3是根据本发明实施例的一种用于牛脸关键点检测的深度学习模型示意图。如图3所示，在输入牛脸图像，经过卷积层，全连接层，最终输出牛脸关键点的归一化坐标。例如以图2当中的15个关键点为例。归一化坐标的数目为30个。表1给出了一个深度学习模型结构及参数：
表1
由于每次需要接收1幅牛脸图像，每幅图像包含RGB数据，因此本实施例所使用的深度学习模型的输入有3个通道，每幅牛脸图像设置为 224*224大小，故输入尺寸为224*224*3。最后，全连接层输出为30个值，对应15个关键点的坐标。
归一化坐标是指将坐标点除以图像的宽高，例如：图像的宽高分别为 w和h，标记的关键点坐标为(x1，y1)，...(x15，y15)，那么，30个归一化坐标值为： P＝[x1/w，y1/h，...，x15/w，y15/h]。坐标归一化使得坐标值在0到1之间，有助于网络的收敛。
上文提到的卷积是指，一个的滤波核在另一个数据上滑动，每滑动到一个位置处，对应元素相乘求和。在深度学习中，卷积核有很多，而且还是三维的，一个卷积核就会输出一个特征图。
此外，在卷积过程当中，同时还需要进行池化。池化是指，将局部区域内的多个值变成1个值。例如，4*4的矩阵，按2*2划分区域，每个区域取最大值，得一个更小的图。所以，池化后图像的宽高会减半。
最后，全连接是指将一维的向量通过矩阵变换成另一个一维的向量。如向量为x的1000*1的向量，参数W为10*1000的矩阵，那么输出y为 10*1的向量，其数学计算为：y＝W*x。其中，W就是我们要学习的全连接参数。
可选地，根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，包括：选取所述样本牛脸图像的损失值小于第一损失阈值的样本牛脸图像作为第一类样本牛脸图像；将剩余的样本牛脸图像重复循环进行以下操作：对所述剩余的样本牛脸图像提取所述牛脸关键点；根据通过所述深度学习网络从所述剩余的样本牛脸图像中提取的牛脸关键点与预先标记的牛脸关键点再次计算各个所述样本牛脸图像的损失值；选取所述样本牛脸图像的损失值小于第N损失阈值的样本牛脸图像作为第N类样本牛脸图像，其中N为大于1的正整数。
具体而言，第一损失阈值以及第N损失阈值都是用于分类的损失值的范围。同时该阈值的范围为[0，1]。
例如，以0.2的损失值作为第一损失阈值，0.3的损失值作为第二损失阈值，0.4的损失值作为第三损失阈值为例，假设对2000幅牛脸图像分成 4类，则对整个网络需要训练3次：
第1次，输入所有的样本进行训练，在参数迭代过程，根据每个样本的损失情况，每次选小于0.2的损失值的图像。当整个网络训练结束后，输出损失值小于0.2的样本，例如可以是损失值最小的前25％的样本，即 500幅牛脸图像，作为第一类；
第2次，输入剩余的1500幅牛脸图像，对网络重新训练，在参数迭代过程，根据每个样本的损失情况，每次选小于0.3的损失值的图像。当整个网络训练结束后，输出损失值小于0.3的样本，例如可以是损失值最小的前33％的样本，即500幅牛脸图像，作为第二类；
第3次，输入剩余的1000幅牛脸图像，对在参数迭代过程，根据每个样本的损失情况，每次选小于0.4的损失值的图像。当整个网络训练结束后，输出损失值小于0.4的样本，例如可以是损失值最小的前50％的样本，即500幅牛脸图像，作为第三类；
剩余的500个样本作为第四类。
需要说明的是，关于类别设定，通常设定3～5个类别即可。类别太少，较多的牛脸混杂到一起，不利用牛脸关键点的检测；类别设置太多，则模型太多导致计算复杂性增大。
图4是根据本发明实施例的一种关键点进行深度学习中的示意图。如图4所示，图4是在深度学习当中，某一次训练后的关键点的示意图。可以看出的是，图4当中，训练后的关键点(图4当中的方块空心点)与标记的关键点(图4当中的虚线圆形空心点)之间还是存在较大的误差。然而在多次训练后，图5是根据本发明实施例的一种关键点进行深度学习后的示意图，如图5所示，训练后的关键点(图5当中的三角空心点)与标记的关键点(图5当中的虚线圆形空心点)之间存在的误差很小。从而完成了深度学习过程。
图6是根据本发明实施例的一种牛脸关键点检测模型。可选地，如图 6所示，将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练，包括：根据所述样本牛脸图像的相对坐标值以及所述牛脸关键点对应的标记坐标值计算所述第一训练分支的损失值；根据所述评分值以及所述第一训练分支的损失值计算所述第二训练分支的损失值。
可选地，所述第一训练分支的损失值至少通过如下公式计算：
其中，loss1用于表示第一训练分支的损失值，用于表示所述深度学习网络输出的坐标值，P表示所述标记坐标值，||.||2用于表示L2范数， f(X；θt，θp)用于表示所述第一训练分支所在的深度学习模型，X用于表示当前输入的样本牛脸图像，θt用于表示所述第一训练分支与所述第二训练分支共享的训练参数，θp用于表示所述第一训练分支的训练参数。
如表2所示，表2给出了θt，θp的表示形式。
表2
根据表以θt为例，它的参数有：
3*3*3@16
3*3*16@32
3*3*32@48
3*3*48@56
3*3*56@64
其中，3*3*3@16表示有16个3*3*3的卷积核，故该项的参数为数为 16*3*3*3＝432。θt的总参数是各项之和，即： 3*3*3*16+3*3*16*32+3*3*32*48+3*3*48*56+3*3*56*64＝75312。
参数θp与θt类型，具有：3136*1000+1000*100+100*30＝3239000。
具体而言，第一训练分支的目的在于，将相对坐标值对应的关键点训练成尽可能接近手工标记的关键点。使得训练结果更接近实际的关键点。
相对坐标值是指，实际坐标除以长和宽。通过该相对坐标值，不仅能够计算出第一训练分支的损失值，即训练的坐标与标记的坐标之间的差异。
可选地，所述第二训练分支的损失值至少通过如下公式计算：
其中，loss2用于表示第二训练分支的损失值，用于表示模型的评分值，f(X；θt，θb)用于表示所述第二训练分支所在的深度学习模型，θb用于表示所述第二训练分支的训练参数。
具体而言，第二训练分支的目的在于，使得输出的评分值与loss1尽可能地接近。显然，评分值越低表示当前模型对输入图像给出的关键点置信度越高。
可选地，计算所述待测的面部图像的面部关键点，包括：根据所述评分值满足所述预设阈值的相对坐标值与所述待测的面部图像的长度和宽度，获取所述待测的面部图像的面部关键点。
具体而言，评分值满足所述预设阈值的相对坐标值包括：评分值最小的相对坐标值。而具体计算方式包括：将相对坐标值与待测的面部图像的长度和宽度进行相乘。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种牛脸的训练装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本发明实施例的一种牛脸的训练装置的结构框图，如图7 所示，该装置包括：
提取模块71，用于通过深度学习网络对样本集合中的每个样本牛脸图像提取牛脸关键点；
计算模块72，根据通过所述深度学习网络提取的牛脸关键点与预先标记的牛脸关键点计算各个所述样本牛脸图像的损失值；
分类模块73，用于根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，并确定每个类别的所述样本牛脸图像对应的深度学习网络；
训练模块74，用于将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练；其中，所述第一训练分支用于训练所述样本牛脸图像的相对坐标值，所述第二训练分支用于训练所述样本牛脸图像的评分值；
测试模块75，用于将待测的牛脸图像分别输入至训练后的每个类别的所述样本牛脸图像对应的深度学习网络，选取评分值满足预设阈值的相对坐标值计算所述待测的牛脸图像的牛脸关键点。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，通过深度学习网络对样本集合中的每个样本牛脸图像提取牛脸关键点；
S2，根据通过所述深度学习网络提取的牛脸关键点与预先标记的牛脸关键点计算各个所述样本牛脸图像的损失值；
S3，根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，并确定每个类别的所述样本牛脸图像对应的深度学习网络；
S4，将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练；其中，所述第一训练分支用于训练所述样本牛脸图像的相对坐标值，所述第二训练分支用于训练所述样本牛脸图像的评分值；
S5，将待测的牛脸图像分别输入至训练后的每个类别的所述样本牛脸图像对应的深度学习网络，选取评分值满足预设阈值的相对坐标值计算所述待测的牛脸图像的牛脸关键点。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，通过深度学习网络对样本集合中的每个样本牛脸图像提取牛脸关键点；
S2，根据通过所述深度学习网络提取的牛脸关键点与预先标记的牛脸关键点计算各个所述样本牛脸图像的损失值；
S3，根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，并确定每个类别的所述样本牛脸图像对应的深度学习网络；
S4，将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练；其中，所述第一训练分支用于训练所述样本牛脸图像的相对坐标值，所述第二训练分支用于训练所述样本牛脸图像的评分值；
S5，将待测的牛脸图像分别输入至训练后的每个类别的所述样本牛脸图像对应的深度学习网络，选取评分值满足预设阈值的相对坐标值计算所述待测的牛脸图像的牛脸关键点。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种牛脸的训练方法，其特征在于，包括：
通过深度学习网络对样本集合中的每个样本牛脸图像提取牛脸关键点；
根据通过所述深度学习网络提取的牛脸关键点与预先标记的牛脸关键点计算各个所述样本牛脸图像的损失值；
根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，并确定每个类别的所述样本牛脸图像对应的深度学习网络；
将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练；其中，所述第一训练分支用于训练所述样本牛脸图像的相对坐标值，所述第二训练分支用于训练所述样本牛脸图像的评分值；
将待测的牛脸图像分别输入至训练后的每个类别的所述样本牛脸图像对应的深度学习网络，选取评分值满足预设阈值的相对坐标值计算所述待测的牛脸图像的牛脸关键点。
2.根据权利要求1所述的方法，其特征在于，通过深度学习网络对样本集合中的每个样本牛脸图像提取牛脸关键点，包括：
对通过所述深度学习网络提取的牛脸关键点进行标记，并获取通过所述深度学习网络提取的牛脸关键点对应的标记坐标值。
3.根据权利要求2所述的方法，其特征在于，计算每个所述样本牛脸图像的损失值，包括：
获取所述牛脸关键点的归一化坐标；
对每个所述样本牛脸图像中的所述牛脸关键点的归一化坐标进行L2范数计算，以获取所述样本牛脸图像的损失值。
4.根据权利要求3所述的方法，其特征在于，所述样本牛脸图像的损失值至少通过如下公式计算
其中，L为所述样本牛脸图像的损失值，n为所述牛脸关键点的数量，xi为所述牛脸的第i个关键点横坐标；yi为所述牛脸的第i个关键点纵坐标，w为所述样本牛脸图像的宽度，h为所述样本牛脸图像的高度，为所述深度学习网络中输出的第i个牛脸关键点的横坐标；为所述深度学习网络中输出的第i个牛脸关键点的纵坐标。
5.根据权利要求3所述的方法，其特征在于，根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，包括：
选取所述样本牛脸图像的损失值小于第一损失阈值的样本牛脸图像作为第一类样本牛脸图像；
将剩余的样本牛脸图像重复循环进行以下操作：
对所述剩余的样本牛脸图像提取所述牛脸关键点；
根据通过所述深度学习网络从所述剩余的样本牛脸图像中提取的牛脸关键点与预先标记的牛脸关键点再次计算各个所述样本牛脸图像的损失值；
选取所述样本牛脸图像的损失值小于第N损失阈值的样本牛脸图像作为第N类样本牛脸图像，其中N为大于1的正整数。
6.根据权利要求2所述的方法，其特征在于，将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练，包括：
根据所述样本牛脸图像的相对坐标值以及所述牛脸关键点对应的标记坐标值计算所述第一训练分支的损失值；
根据所述评分值以及所述第一训练分支的损失值计算所述第二训练分支的损失值。
7.根据权利要求6所述的方法，其特征在于，所述第一训练分支的损失值至少通过如下公式计算：
其中，loss1用于表示第一训练分支的损失值，用于表示所述深度学习网络输出的坐标值，P表示所述标记坐标值，||.||2用于表示L2范数，f(X；θt，θp)用于表示所述第一训练分支所在的深度学习模型，X用于表示当前输入的样本牛脸图像，θt用于表示所述第一训练分支与所述第二训练分支共享的训练参数，θp用于表示所述第一训练分支的训练参数。
8.根据权利要求6所述的方法，其特征在于，所述第二训练分支的损失值至少通过如下公式计算：
其中，loss2用于表示第二训练分支的损失值，用于表示模型的评分值，f(X；θt，θb)用于表示所述第二训练分支所在的深度学习模型，θb用于表示所述第二训练分支的训练参数。
9.根据权利要求1所述的方法，其特征在于，选取评分值满足预设阈值的相对坐标值计算所述待测的牛脸图像的牛脸关键点，包括：
根据所述评分值满足所述预设阈值的相对坐标值与所述待测的牛脸图像的长度和宽度，计算所述待测的牛脸图像的牛脸关键点。
10.一种牛脸的训练装置，其特征在于，包括：
提取模块，用于通过深度学习网络对样本集合中的每个样本牛脸图像提取牛脸关键点；
计算模块，根据通过所述深度学习网络提取的牛脸关键点与预先标记的牛脸关键点计算各个所述样本牛脸图像的损失值；
分类模块，用于根据所述样本牛脸图像的损失值对所述样本牛脸图像分类，并确定每个类别的所述样本牛脸图像对应的深度学习网络；
训练模块，用于将每个类别的所述样本牛脸图像对应的深度学习网络输入至第一训练分支以及第二训练分支进行训练；其中，所述第一训练分支用于训练所述样本牛脸图像的相对坐标值，所述第二训练分支用于训练所述样本牛脸图像的评分值；
测试模块，用于将待测的牛脸图像分别输入至训练后的每个类别的所述样本牛脸图像对应的深度学习网络，选取评分值满足预设阈值的相对坐标值计算所述待测的牛脸图像的牛脸关键点。
11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9任一项中所述的方法。
CN201910605566.XA 2019-07-05 2019-07-05 一种牛脸的训练方法及装置 Active CN110414369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910605566.XA CN110414369B (zh) 2019-07-05 2019-07-05 一种牛脸的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910605566.XA CN110414369B (zh) 2019-07-05 2019-07-05 一种牛脸的训练方法及装置

Publications (2)

Publication Number Publication Date
CN110414369A true CN110414369A (zh) 2019-11-05
CN110414369B CN110414369B (zh) 2023-04-18

Family

ID=68360529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910605566.XA Active CN110414369B (zh) 2019-07-05 2019-07-05 一种牛脸的训练方法及装置

Country Status (1)

Country Link
CN (1) CN110414369B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709461A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN111832611A (zh) * 2020-06-03 2020-10-27 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292298A (zh) * 2017-08-09 2017-10-24 北方民族大学 基于卷积神经网络和分类器模型的牛脸识别方法
CN107945219A (zh) * 2017-11-23 2018-04-20 翔创科技（北京）有限公司 脸部图像对齐方法、计算机程序、存储介质及电子设备
CN108073914A (zh) * 2018-01-10 2018-05-25 成都品果科技有限公司 一种动物面部关键点标注方法
CN109002769A (zh) * 2018-06-22 2018-12-14 深源恒际科技有限公司 一种基于深度神经网络的牛脸对齐方法及系统
CN109558864A (zh) * 2019-01-16 2019-04-02 苏州科达科技股份有限公司 人脸关键点检测方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292298A (zh) * 2017-08-09 2017-10-24 北方民族大学 基于卷积神经网络和分类器模型的牛脸识别方法
CN107945219A (zh) * 2017-11-23 2018-04-20 翔创科技（北京）有限公司 脸部图像对齐方法、计算机程序、存储介质及电子设备
CN108073914A (zh) * 2018-01-10 2018-05-25 成都品果科技有限公司 一种动物面部关键点标注方法
CN109002769A (zh) * 2018-06-22 2018-12-14 深源恒际科技有限公司 一种基于深度神经网络的牛脸对齐方法及系统
CN109558864A (zh) * 2019-01-16 2019-04-02 苏州科达科技股份有限公司 人脸关键点检测方法、装置及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709461A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN111832611A (zh) * 2020-06-03 2020-10-27 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN111832611B (zh) * 2020-06-03 2024-01-12 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110414369B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
Yang et al. Feeding behavior recognition for group-housed pigs with the Faster R-CNN
CN107820616A (zh) 用于基于背部图像来识别个体动物的系统和方法
CN109255297A (zh) 动物状态监测方法、终端设备、存储介质及电子设备
CN107256398A (zh) 基于特征融合的奶牛个体识别方法
CN110414369A (zh) 一种牛脸的训练方法及装置
CN112288793B (zh) 畜类个体背膘检测方法、装置、电子设备及存储介质
Nye et al. Estimating conformational traits in dairy cattle with DeepAPS: a two-step deep learning automated phenotyping and segmentation approach
CN110874835B (zh) 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质
CN113420709A (zh) 牛脸特征提取模型训练方法、系统及牛的保险方法、系统
Bekkozhayeva et al. Automatic individual non-invasive photo-identification of fish (Sumatra barb Puntigrus tetrazona) using visible patterns on a body
CN109190571A (zh) 一种放牧绵羊采食典型植物种类的检测识别方法及其装置
Wang et al. Pig face recognition model based on a cascaded network
CN115713805A (zh) 一种健身动作识别监控方法及系统
CN117036820B (zh) 一种基于视觉图像的猪只分类模型及其方法
Pangilinan et al. InceptionV3, ResNet50, and VGG19 Performance Comparison on Tomato Ripeness Classification
CN113379561A (zh) 一种家禽数量的智能计算方法、设备及介质
CN116543462A (zh) 基于视频骨骼的奶牛行为识别判断奶牛健康状况的方法
CN116310338A (zh) 一种基于实例和语义分割的单株荔枝红叶梢分割方法
Nagpal et al. An application of deep learning for sweet cherry phenotyping using yolo object detection
Anami et al. A colour features-based methodology for variety recognition from bulk paddy images
CN112598079A (zh) 一种头足类种群和种类的鉴别方法
CN114264355B (zh) 重量检测方法、装置、电子设备及存储介质
Zin et al. Dairy cow body conditions scoring system based on image geometric properties
CN112801118B (zh) 基于人工智能和大数据的肉猪出栏效益评估系统及方法
CN113971227B (zh) 基于大数据的牲畜监测方法、系统和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant