CN114220162A - 一种猪只姿态识别方法及装置 - Google Patents
一种猪只姿态识别方法及装置 Download PDFInfo
- Publication number
- CN114220162A CN114220162A CN202111367034.0A CN202111367034A CN114220162A CN 114220162 A CN114220162 A CN 114220162A CN 202111367034 A CN202111367034 A CN 202111367034A CN 114220162 A CN114220162 A CN 114220162A
- Authority
- CN
- China
- Prior art keywords
- network
- pig
- convolutional
- training
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 96
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 65
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000001228 spectrum Methods 0.000 claims abstract description 10
- 241000282887 Suidae Species 0.000 claims description 32
- 210000000003 hoof Anatomy 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 24
- 210000003127 knee Anatomy 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 12
- 210000001015 abdomen Anatomy 0.000 claims description 8
- 230000008034 disappearance Effects 0.000 abstract description 6
- 230000036544 posture Effects 0.000 description 68
- 238000001514 detection method Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 6
- 238000009395 breeding Methods 0.000 description 6
- 230000001488 breeding effect Effects 0.000 description 6
- 238000005315 distribution function Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 210000001991 scapula Anatomy 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种猪只姿态识别方法及装置，通过获取待识别的猪只图像；将所述猪只图像输入至改进的OpenPose算法网络模型中，以使所述改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像；其中，所述改进的OpenPose算法网络模型包括特征提取网络和训练网络，所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息。与现有技术相比，通过改进的OpenPose算法网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络的输出，能够提高对各层输出的图谱信息的利用率，同时减缓梯度消失问题。
Description
技术领域
本发明涉及计算机视觉目标检测及姿态识别的技术领域，特别是涉及一种猪只姿态识别方法及装置。
背景技术
近年来，随着计算科学技术的发展，大规模自动化监控的猪只养殖将是未来的发展趋势。但是目前我国仍处于传统的人工监控阶段，将计算机科学技术应用在猪只养殖，可推进猪只养殖的自动化进程。姿态识别作为计算机视觉技术的重要领域之一，研究姿态识别在猪只养殖的应用可为基于关键点的猪只行为识别提供技术支持。
目前，研究人员在猪只的姿态识别领域的研究相对较少。姿态识别中常用的方法可分为基于穿戴式设备监测、基于模板匹配的几何计算检测、基于卷积神经网络的人工智能检测三类方式。其中，基于卷积神经的人工智能检测方式具有较强的学习能力和实用性，是目前姿态识别最常的方法，其可分自顶向下和自底向上两种检测方式。其中，自顶向下检测方式实现思路为：先采用相关的检测网络对目标位置定位，再识别目标关键点位置，最后将关键点相连接，实现目标姿态识别。自底向上的检测方式突破了速度受限于目标数量的问题，如：Cao等人提出了自底向上检测的OpenPose模型，该模型先检测目标的关键点位置，再利用亲和域将目标关键点相连接，其模型大幅度提高了多人人体姿态的检测速度，但该模型只接受上一阶段的输入，对于各个阶段的信息利用率不高。目前这两种姿态路线均未用于猪只姿态识别中，因此研究基于猪只的姿态识别，可为猪只的行为识别提供一种新的技术方法。
发明内容
本发明要解决的技术问题是：提供一种猪只姿态识别方法及装置，通过改进的OpenPose算法网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络的输出，能够提高对各层输出的图谱信息的利用率，同时减缓梯度消失问题。
为了解决上述技术问题，本发明提供了一种猪只姿态识别方法及装置，包括：
获取待识别的猪只图像；
将所述猪只图像输入至改进的OpenPose算法网络模型中，以使所述改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像；
其中，所述改进的OpenPose算法网络模型包括特征提取网络和训练网络，所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息。
进一步地，所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息，具体为：
所述训练网络包括：若干层级的卷积网络，其中，每个层级的卷积网络包括关键点训练分支和亲和域训练分支；
在对所述训练网络进行训练时，获取所述提取网络从所述猪只图像中提取出的第一特征图谱，将所述第一特征图谱分别输入至各层级的卷积网络中，对所述各层级的卷积网络进行训练；
其中，当待训练卷积网络为第一层卷积网络时，根据所述第一特征图谱，分别对第一层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成第一关键点和第一亲和域，连接所述第一关键点、所述第一亲和域和所述第一特征图谱，生成第一图谱，作为第一层卷积网络的输出；
当所述待训练卷积网络不为第一层卷积网络时，根据所述第一特征图谱，分别对当前层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成当前关键点和当前亲和域，连接所述当前关键点、所述当前亲和域和当前层卷积网络前的所有层的卷积网络的输出，生成当前图谱，作为所述当前层卷积网络的输出。
进一步地，所述改进的OpenPose算法网络模型的更新方法，包括：
获取所述猪只图像对应的所述第一图谱；
同时，获取所述猪只图像对应的关键点标签数据，将所述关键点标签数据输入第一预设函数中，生成第二图谱；其中，关键点标签数据包括预设关键点的坐标信息；
将所述第一图谱和所述第二图谱进行对比，计算损失函数值，并根据所述损失函数值，更新所述OpenPose算法网络。
进一步地，通过获取猪只的骨架结构，并根据所述骨架结构，选取并根据猪只运动的关键关节，生成所述预设关键点；
其中，所述预设关键点包括：鼻子、右眼、右耳、左眼、左耳、右肩、右前膝、右前蹄、左肩、左前膝、左前蹄、右臀、右后膝、右后蹄、左臀、左后膝、左后蹄、尾椎骨、背部和腹部。
进一步地，本发明还提供了一种猪只姿态识别装置，包括：图像获取模块和姿态识别模块；
所述图像获取模块用于获取待识别的猪只图像；
所述姿态识别模块用于将所述猪只图像输入至改进的OpenPose算法网络模型中，以使所述改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像；其中，所述改进的OpenPose算法网络模型包括特征提取网络和训练网络，所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息。
进一步地，所述姿态识别模块包括训练单元；
所述训练单元用于所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息；其中，所述训练网络包括：若干层级的卷积网络，其中，每个层级的卷积网络包括关键点训练分支和亲和域训练分支；
在对所述训练网络进行训练时，获取所述提取网络从所述猪只图像中提取出的第一特征图谱，将所述第一特征图谱分别输入至各层级的卷积网络中，对所述各层级的卷积网络进行训练；
其中，当待训练卷积网络为第一层卷积网络时，根据所述第一特征图谱，分别对第一层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成第一关键点和第一亲和域，连接所述第一关键点、所述第一亲和域和所述第一特征图谱，生成第一图谱，作为第一层卷积网络的输出；
当所述待训练卷积网络不为第一层卷积网络时，根据所述第一特征图谱，分别对当前层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成当前关键点和当前亲和域，连接所述当前关键点、所述当前亲和域和当前层卷积网络前的所有层的卷积网络的输出，生成当前图谱，作为所述当前层卷积网络的输出。
进一步地，所述的一种猪只姿态识别装置还包括：网络模型更新模块；
所述网络模型更新模块用于获取所述猪只图像对应的所述第一图谱；
同时，获取所述猪只图像对应的关键点标签数据，将所述关键点标签数据输入第一预设函数中，生成第二图谱；其中，关键点标签数据包括预设关键点的坐标信息；
将所述第一图谱和所述第二图谱进行对比，计算损失函数值，并根据所述损失函数值，更新所述OpenPose算法网络。
进一步地，网络模型更新模块中包括预设关键点选取单元；
所述预设关键点选取单元用于通过获取猪只的骨架结构，并根据所述骨架结构，选取并根据猪只运动的关键关节，生成所述预设关键点；其中，所述预设关键点包括：鼻子、右眼、右耳、左眼、左耳、右肩、右前膝、右前蹄、左肩、左前膝、左前蹄、右臀、右后膝、右后蹄、左臀、左后膝、左后蹄、尾椎骨、背部和腹部。
进一步地，本发明还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的猪只姿态识别方法。
进一步地，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的猪只姿态识别方法。
本发明实施例一种猪只姿态识别方法及装置，与现有技术相比，具有如下有益效果：
通过将所述猪只图像输入至改进的OpenPose算法网络模型中，以使所述改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像。相比与现有的OpenPose算法网络模型，本发明在改进OpenPose算法网络模型时，基于DenseNet神经网络模型，对训练网络的输入输出关系进行改进，通过在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息，使得通过改进后的OpenPose算法网络模型，能够提高对各层输出的图谱信息的利用率，同时减缓梯度消失问题。
附图说明
图1是本发明提供的一种猪只姿态识别方法的一种实施例的流程示意图；
图2是本发明提供的一种猪只姿态识别装置的一种实施例的结构示意图；
图3是本发明提供的一种猪只姿态识别方法及装置的一种实施例的改进后的OpenPose算法网络模型的结构示意图；
图4是本发明提供的一种猪只姿态识别方法及装置的一种实施例的预设关键点的示意图；
图5是本发明提供的一种猪只姿态识别方法及装置的一种实施例的关键点部位以及各个关键点之间的连接关系的示意图。
具体实施方式
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1，图1是本发明提供的一种猪只姿态识别方法的一种实施例的流程示意图，如图1所示，该方法包括步骤101－步骤102，具体如下：
步骤101：获取待识别的猪只图像。
本实施例中，获取通过监控设备拍摄的养殖场景下的猪只图像，获取的待识别的猪只图像包括：猪只在不同行为下的动作及体态图像；如，获取猪只在攀爬、行走及饮食等行为下的站立、躺卧及趴等动作及体态的图像。本实施例中，获取的猪只图像的尺寸大小可以不同，同时，不规定猪只在图像中的远近距离和个体大小的差异。
步骤102：将所述猪只图像输入至改进的OpenPose算法网络模型中，以使所述改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像；其中，所述改进的OpenPose算法网络模型包括特征提取网络和训练网络，所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息。
本实施例中，改进的OpenPose算法网络模型主要包括特征提取网络和训练网络两部分；第一部分中，采用特征提取网络VGG19的前十层网络用于提取猪只图像中的猪只的特征信息，得到第一特征图谱F；第二部分中，训练网络包括若干层级的卷积网络，其中，该若干层级的卷积网络的数量可根据实际情况进行设置，除第一层级卷积网络外，其余层级的卷积网络的结构相同；在对训练网络进行训练时，主要是将第一部分中得到的第一特征图谱F通过各个层级的卷积网络分别输入到每个层级的卷积网络中，对每个层级的卷积网络进行训练，其中，每个层级的卷积网络分为两个分支，分别为关键点训练分支St、关键点之间连接的亲和域训练分支Lt，该改进的OpenPose算法网络模型的结构图，如图3所示，图中，St，Lt，分别第t层次卷积网络的的关键点和亲和域的网络训练阶段，“+”表示concat连接操作，虚线框表示结构相同的卷积网络层。
本实施例中，当待训练卷积网络为第一层卷积网络时，根据所述第一特征图谱，分别对第一层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成第一关键点和第一亲和域，连接所述第一关键点、所述第一亲和域和所述第一特征图谱，生成第一图谱，作为第一层卷积网络的输出；
本实施例中，由于DenseNet网络主要思想是在深层卷积模块的输入层加入浅层网络输出的特征图谱；如下式所示：
xl＝Hl([x0,x1,…,xl-1])；
式中，Hl为第l层网络结构，xi,i∈(0,l-1)为第Hi层网络结构输出。
基于此，本实施例中，当所述待训练卷积网络不为第一层卷积网络时，根据所述第一特征图谱，分别对当前层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成当前关键点和当前亲和域，此时，基于DenseNet网络结构思想，连接所述当前关键点、所述当前亲和域和当前层卷积网络前的所有层的卷积网络的输出，生成当前图谱，作为所述当前层卷积网络的输出。
作为本实施例中的一种举例，改进的OpenPose算法网络模型的第一层卷积网络的输入以第一特征图谱F作为输入；在第t层卷积网络中，其输入为(t－1)层卷积网络输出S(t－1)、L(t－1)及特征图谱F外，还有加入了更浅层的输出，该更浅层的输即为当前层卷积网络前的所有层的卷积网络的输出，其计算如下式：
(Soi,Loi)＝Hi([F,(So1,Lo1),(So2,Lo2),…,(So(t-1),Lo(t-1))])；其中，Hi为第i层卷积网络，Soi，Loi分别为第i层卷积网络Hi的关键点和亲和域训练输出。
本实施例中，在OpenPose算法的基础上引入DenseNet网络结构思想，能更好利用OpenPose算法低阶段的训练结果及减缓低阶段的梯度消失问题。
本实施例中，对于改进的OpenPose算法网络模型中的相关参数进行更新。
首先，基于获取的猪只图像，将猪只图像放入改进后OpenPose算法网络模型中，获取猪只图像在第一层卷积网络中生成的第一图谱；将第一图谱进行保存。
然后，基于猪只图像的猪只的行为姿态不同，获取所述猪只图像对应的关键点标签数据，主要通过获取猪只的骨架结构，并根据骨架结构，选取并根据猪只运动的关键关节，生成预设关键点。
作为本实施例中的一种举例，主要通过选取能体现不同姿态猪只特征的20个预设关键点，生成猪只姿态模型，如猪只前足的两个肩胛骨部位、两后足的左右臀部位以及四肢的腿关节和蹄子部位；基于猪只的生物特征，将猪只的嘴巴、眼睛以及耳朵部位作为预设关键点；考虑猪只肥硕的体型远大于猪只的骨架的因素，为体现猪只的体型大小，将猪只的背部、腹部以及尾椎骨作为预设关键点，因此选取的能体现不同姿态猪只特征的20个预设关键点包括鼻子、右眼、右耳、左眼、左耳、右肩、右前膝、右前蹄、左肩、左前膝、左前蹄、右臀、右后膝、右后蹄、左臀、左后膝、左后蹄、尾椎骨、背部和腹部。对预设关键点进行标号，如图4所示，其具体关键点部位以及各个关键点之间的连接关系，如图5所示。
该设计体现猪只的运动时关键点部位之间的关系，又能体现猪只在不同的姿态下的体态，能很好地体现当前猪只的姿态信息，同时，为了防止数据冗余，预设关键点的数量可根据实际需求进行删减。
同时，基于获取的猪只的骨架结构图像，结合选取的各个预设关键点，生成每个预设关键点的在图像中的坐标信息，生成猪只图像对应的关键点标签数据。
由于OpenPose算法在生成计算损失函数的正样本中，通过采用高斯分布函数生成的关键点热力图谱作为正样本，因此，本实施例在得到猪只图像对应的关键点标签数据后，将关键点标签数据输入到第一预设函数中进行计算，生成第二图谱，其中，第一预设函数为高斯分布函数，第二图谱为自适应关键点图谱，该自适应图谱为采用高斯分布函数生成的高斯分布关键点图谱，高斯分布关键点图谱计算如下：
式中，式中A为振幅，x0，y0关键点坐标信息，σadopt为方差。
本实施例中，对于σadopt值，通过计算猪只在图像占比信息来计算，其具体计算公式如下：
式中，Wi为关键点i的权重，Rate为自适应比值，St、S分别为目标与图像的面积。
本实施例中提供得一种自适应关键点图谱基于对猪只在猪只图像中得占比，能解决现实场景中，在猪只图像中由于猪只在猪只图像的大小差异、关键点面积大小不同及图片尺寸大小不同等原因，猪只的关键点在图中的大小是变化，导致采用固定大小的高斯热力图谱不能满足实际场景需求，存在关键点设置过大或者过小等问题，提高网络对关键点部位回归能力。
最后，将获取的第一图谱和第二图谱进行对比，计算损失函数值，将所述损失函数值应用在下一层卷积网络中，以使改进后的OpenPose算法网络中的每个层级的卷积网络中关键点训练分支St、关键点之间连接的亲和域训练分支Lt的损失函数值越来越小，使得其所输出的每个层级卷积网络对应的关键点和亲和域越来越精准，从而更新改进后的OpenPose算法网络。
本实施例中，基于改进后的OpenPose算法网络，将所述猪只图像输入至改进的OpenPose算法网络模型中，以使改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像，该图像体现猪只在不同的姿态下的体态，能很好地体现当前猪只的姿态信息。
本实施例中，还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述步骤101－102中任意一项所述的猪只姿态识别方法。
本实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如如上述步骤101－102中任意一项所述的猪只姿态识别方法。
参见图2，图2是本发明提供的一种猪只姿态识别装置的一种实施例的结构示意图，如图2所示，该方法包括图像获取模块201和姿态识别模块202，具体如下：
图像获取模块201用于获取待识别的猪只图像。
本实施例中，获取通过监控设备拍摄的养殖场景下的猪只图像，获取的待识别的猪只图像包括：猪只在不同行为下的动作及体态图像；如，获取猪只在攀爬、行走及饮食等行为下的站立、躺卧及趴等动作及体态的图像。本实施例中，获取的猪只图像的尺寸大小可以不同，同时，不规定猪只在图像中的远近距离和个体大小的差异。
姿态识别模块202用于将所述猪只图像输入至改进的OpenPose算法网络模型中，以使所述改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像；其中，所述改进的OpenPose算法网络模型包括特征提取网络和训练网络，所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息。
本实施例中，改进的OpenPose算法网络模型主要包括特征提取网络和训练网络两部分；第一部分中，采用特征提取网络VGG19的前十层网络用于提取猪只图像中的猪只的特征信息，得到第一特征图谱F；第二部分中，训练网络包括若干层级的卷积网络，其中，该若干层级的卷积网络的数量可根据实际情况进行设置，除第一层级卷积网络外，其余层级的卷积网络的结构相同；在对训练网络进行训练时，主要是将第一部分中得到的第一特征图谱F通过各个层级的卷积网络分别输入到每个层级的卷积网络中，对每个层级的卷积网络进行训练，其中，每个层级的卷积网络分为两个分支，分别为关键点训练分支St、关键点之间连接的亲和域训练分支Lt，该改进的OpenPose算法网络模型的结构图，如图3所示，图中，St，Lt，分别第t层次卷积网络的的关键点和亲和域的网络训练阶段，“+”表示concat连接操作，虚线框表示结构相同的卷积网络层。
本实施例中，姿态识别模块包括训练单元，用于当待训练卷积网络为第一层卷积网络时，根据所述第一特征图谱，分别对第一层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成第一关键点和第一亲和域，连接所述第一关键点、所述第一亲和域和所述第一特征图谱，生成第一图谱，作为第一层卷积网络的输出；
本实施例中，由于DenseNet网络主要思想是在深层卷积模块的输入层加入浅层网络输出的特征图谱；如下式所示：
xl＝Hl([x0,x1,…,xl-1])；
式中，Hl为第l层网络结构，xi,i∈(0,l-1)为第Hi层网络结构输出。
基于此，本实施例中，当所述待训练卷积网络不为第一层卷积网络时，根据所述第一特征图谱，分别对当前层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成当前关键点和当前亲和域，此时，基于DenseNet网络结构思想，连接所述当前关键点、所述当前亲和域和当前层卷积网络前的所有层的卷积网络的输出，生成当前图谱，作为所述当前层卷积网络的输出。
作为本实施例中的一种举例，改进的OpenPose算法网络模型的第一层卷积网络的输入以第一特征图谱F作为输入；在第t层卷积网络中，其输入为(t－1)层卷积网络输出S(t－1)、L(t－1)及特征图谱F外，还有加入了更浅层的输出，该更浅层的输即为当前层卷积网络前的所有层的卷积网络的输出，其计算如下式：
(Soi,Loi)＝Hi([F,(So1,Lo1),(So2,Lo2),…,(So(t-1),Lo(t-1))])；其中，Hi为第i层卷积网络，Soi，Loi分别为第i层卷积网络Hi的关键点和亲和域训练输出。
本实施例中，在OpenPose算法的基础上引入DenseNet网络结构思想，能更好利用OpenPose算法低阶段的训练结果及减缓低阶段的梯度消失问题。
本实施例中，网络模型更新模块用于对改进的OpenPose算法网络模型中的相关参数进行更新。
首先，基于获取的猪只图像，将猪只图像放入改进后OpenPose算法网络模型中，获取猪只图像在第一层卷积网络中生成的第一图谱；将第一图谱进行保存。
然后，网络模型更新模块中包括预设关键点选取单元，基于猪只图像的猪只的行为姿态不同，获取所述猪只图像对应的关键点标签数据，主要通过获取猪只的骨架结构，并根据骨架结构，选取并根据猪只运动的关键关节，生成预设关键点。
作为本实施例中的一种举例，主要通过选取能体现不同姿态猪只特征的20个预设关键点，生成猪只姿态模型，如猪只前足的两个肩胛骨部位、两后足的左右臀部位以及四肢的腿关节和蹄子部位；基于猪只的生物特征，将猪只的嘴巴、眼睛以及耳朵部位作为预设关键点；考虑猪只肥硕的体型远大于猪只的骨架的因素，为体现猪只的体型大小，将猪只的背部、腹部以及尾椎骨作为预设关键点，因此选取的能体现不同姿态猪只特征的20个预设关键点包括鼻子、右眼、右耳、左眼、左耳、右肩、右前膝、右前蹄、左肩、左前膝、左前蹄、右臀、右后膝、右后蹄、左臀、左后膝、左后蹄、尾椎骨、背部和腹部。对预设关键点进行标号，如图4所示，其具体关键点部位以及各个关键点之间的连接关系，如图5所示。
该设计体现猪只的运动时关键点部位之间的关系，又能体现猪只在不同的姿态下的体态，能很好地体现当前猪只的姿态信息，同时，为了防止数据冗余，预设关键点的数量可根据实际需求进行删减。
同时，基于获取的猪只的骨架结构图像，结合选取的各个预设关键点，生成每个预设关键点的在图像中的坐标信息，生成猪只图像对应的关键点标签数据。
由于OpenPose算法在生成计算损失函数的正样本中，通过采用高斯分布函数生成的关键点热力图谱作为正样本，因此，本实施例在得到猪只图像对应的关键点标签数据后，将关键点标签数据输入到第一预设函数中进行计算，生成第二图谱，其中，第一预设函数为高斯分布函数，第二图谱为自适应关键点图谱，该自适应图谱为采用高斯分布函数生成的高斯分布关键点图谱，高斯分布关键点图谱计算如下：
式中，式中A为振幅，x0，y0关键点坐标信息，σadopt为方差。
本实施例中，对于σadopt值，通过计算猪只在图像占比信息来计算，其具体计算公式如下：
式中，Wi为关键点i的权重，Rate为自适应比值，St、S分别为目标与图像的面积。
本实施例中提供得一种自适应关键点图谱基于对猪只在猪只图像中得占比，能解决现实场景中，在猪只图像中由于猪只在猪只图像的大小差异、关键点面积大小不同及图片尺寸大小不同等原因，猪只的关键点在图中的大小是变化，导致采用固定大小的高斯热力图谱不能满足实际场景需求，存在关键点设置过大或者过小等问题，提高网络对关键点部位回归能力。
最后，将获取的第一图谱和第二图谱进行对比，计算损失函数值，将所述损失函数值应用在下一层卷积网络中，以使改进后的OpenPose算法网络中的每个层级的卷积网络中关键点训练分支St、关键点之间连接的亲和域训练分支Lt的损失函数值越来越小，使得其所输出的每个层级卷积网络对应的关键点和亲和域越来越精准，从而更新改进后的OpenPose算法网络。
本实施例中，基于改进后的OpenPose算法网络，将所述猪只图像输入至改进的OpenPose算法网络模型中，以使改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像，该图像体现猪只在不同的姿态下的体态，能很好地体现当前猪只的姿态信息。
综上，本发明一种猪只姿态识别方法及装置，本发明公开了一种猪只姿态识别方法及装置，通过获取待识别的猪只图像；将所述猪只图像输入至改进的OpenPose算法网络模型中，以使所述改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像；其中，所述改进的OpenPose算法网络模型包括特征提取网络和训练网络，所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息。与现有技术相比，通过改进的OpenPose算法网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络的输出，能够提高对各层输出的图谱信息的利用率，同时减缓梯度消失问题。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。
Claims (10)
1.一种猪只姿态识别方法，其特征在于，包括：
获取待识别的猪只图像；
将所述猪只图像输入至改进的OpenPose算法网络模型中，以使所述改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像；
其中，所述改进的OpenPose算法网络模型包括特征提取网络和训练网络，所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息。
2.如权利要求1所述的一种猪只姿态识别方法，其特征在于，所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息，具体为：
所述训练网络包括：若干层级的卷积网络，其中，每个层级的卷积网络包括关键点训练分支和亲和域训练分支；
在对所述训练网络进行训练时，获取所述提取网络从所述猪只图像中提取出的第一特征图谱，将所述第一特征图谱分别输入至各层级的卷积网络中，对所述各层级的卷积网络进行训练；
其中，当待训练卷积网络为第一层卷积网络时，根据所述第一特征图谱，分别对第一层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成第一关键点和第一亲和域，连接所述第一关键点、所述第一亲和域和所述第一特征图谱，生成第一图谱，作为第一层卷积网络的输出；
当所述待训练卷积网络不为第一层卷积网络时，根据所述第一特征图谱，分别对当前层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成当前关键点和当前亲和域，连接所述当前关键点、所述当前亲和域和当前层卷积网络前的所有层的卷积网络的输出，生成当前图谱，作为所述当前层卷积网络的输出。
3.如权利要求2所述的一种猪只姿态识别方法，其特征在于，所述改进的OpenPose算法网络模型的更新方法，包括：
获取所述猪只图像对应的所述第一图谱；
同时，获取所述猪只图像对应的关键点标签数据，将所述关键点标签数据输入第一预设函数中，生成第二图谱；其中，关键点标签数据包括预设关键点的坐标信息；
将所述第一图谱和所述第二图谱进行对比，计算损失函数值，并根据所述损失函数值，更新所述改进的OpenPose算法网络。
4.如权利要求3所述的一种猪只姿态识别方法，其特征在于，通过获取猪只的骨架结构，并根据所述骨架结构，选取并根据猪只运动的关键关节，生成所述预设关键点；
其中，所述预设关键点包括：鼻子、右眼、右耳、左眼、左耳、右肩、右前膝、右前蹄、左肩、左前膝、左前蹄、右臀、右后膝、右后蹄、左臀、左后膝、左后蹄、尾椎骨、背部和腹部。
5.一种猪只姿态识别装置，其特征在于，包括：图像获取模块和姿态识别模块；
所述图像获取模块用于获取待识别的猪只图像；
所述姿态识别模块用于将所述猪只图像输入至改进的OpenPose算法网络模型中，以使所述改进的OpenPose算法网络模型对所述猪只图像进行姿态识别，生成猪只姿态识别图像；其中，所述改进的OpenPose算法网络模型包括特征提取网络和训练网络，所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息。
6.如权利要求5所述的一种猪只姿态识别装置，其特征在于，所述姿态识别模块包括训练单元；
所述训练单元用于所述训练网络基于DenseNet神经网络模型，在当前层卷积网络的输入层加入当前层前的所有层卷积网络输出的图谱信息；其中，所述训练网络包括：若干层级的卷积网络，其中，每个层级的卷积网络包括关键点训练分支和亲和域训练分支；
在对所述训练网络进行训练时，获取所述提取网络从所述猪只图像中提取出的第一特征图谱，将所述第一特征图谱分别输入至各层级的卷积网络中，对所述各层级的卷积网络进行训练；
其中，当待训练卷积网络为第一层卷积网络时，根据所述第一特征图谱，分别对第一层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成第一关键点和第一亲和域，连接所述第一关键点、所述第一亲和域和所述第一特征图谱，生成第一图谱，作为第一层卷积网络的输出；
当所述待训练卷积网络不为第一层卷积网络时，根据所述第一特征图谱，分别对当前层卷积网络的所述关键点训练分支和所述亲和域训练分支进行训练，生成当前关键点和当前亲和域，连接所述当前关键点、所述当前亲和域和当前层卷积网络前的所有层的卷积网络的输出，生成当前图谱，作为所述当前层卷积网络的输出。
7.如权利要求6所述的一种猪只姿态识别装置，其特征在于，还包括网络模型更新模块；
所述网络模型更新模块用于获取所述猪只图像对应的所述第一图谱；
同时，获取所述猪只图像对应的关键点标签数据，将所述关键点标签数据输入第一预设函数中，生成第二图谱；其中，关键点标签数据包括预设关键点的坐标信息；
将所述第一图谱和所述第二图谱进行对比，计算损失函数值，并根据所述损失函数值，更新所述OpenPose算法网络。
8.如权利要求7所述的一种猪只姿态识别装置，其特征在于，网络模型更新模块中包括预设关键点选取单元；
所述预设关键点选取单元用于通过获取猪只的骨架结构，并根据所述骨架结构，选取并根据猪只运动的关键关节，生成所述预设关键点；其中，所述预设关键点包括：鼻子、右眼、右耳、左眼、左耳、右肩、右前膝、右前蹄、左肩、左前膝、左前蹄、右臀、右后膝、右后蹄、左臀、左后膝、左后蹄、尾椎骨、背部和腹部。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4任意一项所述的猪只姿态识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4中任意一项所述的猪只姿态识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111367034.0A CN114220162A (zh) | 2021-11-17 | 2021-11-17 | 一种猪只姿态识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111367034.0A CN114220162A (zh) | 2021-11-17 | 2021-11-17 | 一种猪只姿态识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114220162A true CN114220162A (zh) | 2022-03-22 |
Family
ID=80697469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111367034.0A Pending CN114220162A (zh) | 2021-11-17 | 2021-11-17 | 一种猪只姿态识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114220162A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209848A (zh) * | 2020-01-03 | 2020-05-29 | 北京工业大学 | 一种基于深度学习的实时跌倒检测方法 |
| JP2021101668A (ja) * | 2019-12-25 | 2021-07-15 | 国立研究開発法人農業・食品産業技術総合研究機構 | 発情診断システム、発情診断方法、及びプログラム、並びに個体識別システム |
| US20210279456A1 (en) * | 2019-04-12 | 2021-09-09 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for training pose recognition model, and method and apparatus for image recognition |
-
2021
- 2021-11-17 CN CN202111367034.0A patent/CN114220162A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210279456A1 (en) * | 2019-04-12 | 2021-09-09 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for training pose recognition model, and method and apparatus for image recognition |
| JP2021101668A (ja) * | 2019-12-25 | 2021-07-15 | 国立研究開発法人農業・食品産業技術総合研究機構 | 発情診断システム、発情診断方法、及びプログラム、並びに個体識別システム |
| CN111209848A (zh) * | 2020-01-03 | 2020-05-29 | 北京工业大学 | 一种基于深度学习的实时跌倒检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHE CAO, 等: "Realtime Multi-Person 2D Pose Estimation using Part Affnity Fields", CVPR 2017 ORAL, 14 April 2017 (2017-04-14) * |
| 冯文宇，等: "无人CT智能姿态识别算法研究", 《仪器仪表学报》, vol. 41, no. 08, 31 August 2020 (2020-08-31), pages 188 - 195 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363183B (zh) | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 | |
| CN106127120B (zh) | 姿势估计方法和装置、计算机系统 | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| CN105320944B (zh) | 一种基于人体骨架运动信息的人体行为预测方法 | |
| CN111414839B (zh) | 基于姿态的情感识别方法及装置 | |
| WO2017133009A1 (zh) | 一种基于卷积神经网络的深度图像人体关节定位方法 | |
| CN109919245B (zh) | 深度学习模型训练方法及装置、训练设备及存储介质 | |
| CN110705390A (zh) | 基于lstm的形体姿态识别方法、装置及存储介质 | |
| CN108256421A (zh) | 一种动态手势序列实时识别方法、系统及装置 | |
| CN112131985B (zh) | 一种基于OpenPose改进的实时轻量人体姿态估计方法 | |
| CN112446302B (zh) | 一种人体姿态检测方法、系统、电子设备和存储介质 | |
| US20220207921A1 (en) | Motion recognition method, storage medium, and information processing device | |
| CN112668531A (zh) | 一种基于动作识别的运动姿态矫正方法 | |
| CN112800892B (zh) | 一种基于openpose的人体姿态识别方法 | |
| CN112200074A (zh) | 一种姿态对比的方法和终端 | |
| WO2021243561A1 (zh) | 行为识别装置及方法 | |
| CN111507184B (zh) | 基于并联空洞卷积和身体结构约束的人体姿态检测方法 | |
| CN112489129A (zh) | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 | |
| Venture | Human characterization and emotion characterization from gait | |
| CN114220162A (zh) | 一种猪只姿态识别方法及装置 | |
| CN116386137A (zh) | 一种轻量级识别太极拳动作的移动端设计方法 | |
| Chen et al. | An Approach to Real-Time Fall Detection based on OpenPose and LSTM | |
| CN116012942A (zh) | 手语教学方法、装置、设备及存储介质 | |
| CN114708654A (zh) | 一种将骨骼信息映射为图像的人物识别方法 | |
| CN114639138A (zh) | 基于生成对抗网络的新生儿疼痛表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |