CN111028266B - 畜禽盘点方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种畜禽盘点方法、装置、电子设备和存储介质，其中方法包括：确定待检测区域的畜禽视频；基于待盘点畜禽特征，对畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果；其中，待盘点畜禽特征包括畜禽整体特征和/或畜禽局部特征；基于运动目标跟踪结果，以及待检测区域在畜禽视频中的位置信息，确定经过待检测区域的畜禽数量。本发明实施例提供的方法、装置、电子设备和存储介质，实现了运动场景下的畜禽盘点，极大降低了畜禽盘点的人力成本和时间成本。此外，通过畜禽整体特征和/或畜禽局部特征进行运动目标检测和跟踪，增加了畜禽盘点的灵活性和适应性，提高了畜禽盘点的准确率。

Description

畜禽盘点方法、装置、电子设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种畜禽盘点方法、装置、电子设备和存储介质。

背景技术

随着科技的发展，现代化养殖设备逐步普及。现代化养殖设备的应用，大大降低了畜禽养殖过程中的人力成本，节约了养殖资源。

然而现代化养殖设备并没有实现畜禽数量的准确盘点。以猪只养殖为例，通常工作人员对猪只数量进行人工统计，统计效率低下，且猪只的走动也极大地影响了统计结果的准确性。虽然也存在拍摄静态图像进行猪只盘点的方法，但是上述方法仅适用于盘点猪圈内部的猪只数量，并不适用于猪只运动场景下的数量盘点。

发明内容

本发明实施例提供一种畜禽盘点方法、装置、电子设备和存储介质，用以解决现有的畜禽盘点费时费力，准确性低的问题。

第一方面，本发明实施例提供一种畜禽盘点方法，包括：

确定待检测区域的畜禽视频；

基于待盘点畜禽特征，对所述畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果；其中，所述待盘点畜禽特征包括畜禽整体特征和/或畜禽局部特征；

基于所述运动目标跟踪结果，以及所述待检测区域在所述畜禽视频中的位置信息，确定经过所述待检测区域的畜禽数量。

优选地，所述基于待盘点畜禽特征，对所述畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果，具体包括：

基于所述待盘点畜禽特征，对所述畜禽视频进行运动目标检测，得到所述畜禽视频的每一帧图像的运动目标检测结果；

对每一帧图像的运动目标检测结果进行运动目标跟踪，得到运动目标跟踪结果；

其中，任一帧图像的运动目标检测结果包括所述任一帧图像中每一运动目标的整体特征信息和/或部分特征信息。

优选地，所述待检测区域由若干个计数区间构成。

优选地，所述基于所述运动目标跟踪结果，以及所述待检测区域在所述畜禽视频中的位置信息，确定经过所述待检测区域的畜禽数量，具体包括：

基于所述运动目标跟踪结果，以及任一计数区间在所述畜禽视频中的位置信息，确定所述任一计数区间的运动目标集合；所述运动目标跟踪结果包括所述畜禽视频中每一帧图像中每一运动目标的运动目标标识和位置信息，所述任一计数区间的运动目标集合是由经过所述任一计数区间的每一运动目标标识构成的；

基于每一计数区间的运动目标集合，确定经过所述待检测区域的畜禽数量。

优选地，所述基于所述运动目标跟踪结果，以及任一计数区间在所述畜禽视频中的位置信息，确定所述任一计数区间的运动目标集合，具体包括：

基于预设目标判断规则对所述运动目标跟踪结果进行过滤；其中，所述预设目标判断规则用于指示待盘点的运动目标跟踪结果所需满足的视觉特征，所述视觉特征包括动态特征和/或静态特征；

基于过滤后的运动目标跟踪结果，以及任一计数区间在所述畜禽视频中的位置信息，确定所述任一计数区间的运动目标集合。

优选地，所述基于每一计数区间的运动目标集合，确定经过所述待检测区域的畜禽数量，具体包括：

对每一计数区间的运动目标集合进行漏检漏跟处理；

基于漏检漏跟处理后的每一计数区间的运动目标集合，确定经过所述待检测区域的畜禽数量。

优选地，所述畜禽局部特征包括畜禽的左右耳坐标以及肩坐标，所述左右耳坐标与所述肩坐标构成的三角形的质心用于表示所述畜禽所在的位置。

第二方面，本发明实施例提供一种畜禽盘点装置，包括：

视频确定单元，用于确定待检测区域的畜禽视频；

检测跟踪单元，用于基于待盘点畜禽特征，对所述畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果；其中，所述待盘点畜禽特征包括畜禽整体特征和/或畜禽局部特征；

数量盘点单元，用于基于所述运动目标跟踪结果，以及所述待检测区域在所述畜禽视频中的位置信息，确定经过所述待检测区域的畜禽数量。

第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的一种畜禽盘点方法、装置、电子设备和存储介质，通过畜禽视频进行运动目标检测和跟踪，实现了运动场景下的畜禽盘点，极大降低了畜禽盘点的人力成本和时间成本。此外，通过畜禽整体特征和/或畜禽局部特征进行运动目标检测和跟踪，针对不同种类的畜禽可以选取不同类型的畜禽特征，增加了畜禽盘点的灵活性和适应性，提高了畜禽盘点的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的畜禽盘点方法的流程示意图；

图2为本发明实施例提供的运动目标检测和跟踪方法的流程示意图；

图3为本发明实施例提供的经过待检测区域的畜禽数量的确定方法的流程示意图；

图4为本发明实施例提供的计数区间的运动目标集合确定方法的流程示意图；

图5为本发明另一实施例提供的畜禽盘点方法的流程示意图；

图6为本发明实施例提供的畜禽盘点装置的结构示意图；

图7为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在猪只养殖领域，许多场景都需要进行猪只数量盘点，例如猪圈内猪只盘点、猪只转群盘点、卖猪盘点等，猪只盘点的实现有助于整个养殖场的分析管理。现有技术中，猪只盘点主要是人工查数实现的，需要等待猪只不动的时候，工作人员对猪只数量进行人工统计，费事费力。随着深度学习的兴起，也出现了非接触式的自动化猪只盘点方法，在拍摄静态图像后，将图像输入到预先训练好的目标检测模型中进行猪只数量统计。但是上述方法只能盘点静态图像中的猪只，无法应用于猪只运动场景下的盘点。

在卖猪和转群等场景下，猪只需要从一个位置移动到另一个位置，无论依靠人工还是现有的自动化猪只盘点方法，都无法进行猪只盘点。对此，本发明实施例提供一种用于运动场景下的畜禽盘点方法，该方法不仅可以用于对猪只进行盘点，还可以用于对鸡鸭牛羊等其他类型的畜禽进行盘点，本发明实施例对此不作具体限定。

图1为本发明实施例提供的一种畜禽盘点方法的流程示意图，如图1所示，该方法包括：

步骤110，确定待检测区域的畜禽视频。

此处，待检测区域即需要盘点经过的畜禽数量的区域，不同的场景下对应的待检测区域是不同的。例如在卖猪场景下，可以将猪圈路径中的一段作为待检测区域，盘点经过该区域的猪只数量。

待检测区域的畜禽视频是通过视频采集设备拍摄得到的畜禽经过待检测区域过程的视频，畜禽视频的每帧图像中均包含有待检测区域。

步骤120，基于待盘点畜禽特征，对畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果；其中，待盘点畜禽特征包括畜禽整体特征和/或畜禽局部特征。

具体地，待盘点畜禽特征是指需要进行数量盘点的畜禽的特征，具体包括畜禽整体特征和/或畜禽局部特征，此处畜禽整体特征是针对于待盘点的畜禽个体在整体上的特征，畜禽局部特征是针对于待盘点的畜禽个体在局部的特征，以猪只为例，畜禽整体特征可以是猪只整体的毛色、猪只的大小等，畜禽局部特征可以是猪只的左右耳距离，耳朵与肩部的距离、头部大小等。

在进行运动目标检测和跟踪过程中，通过提取畜禽视频中每一运动区域的待盘点畜禽特征，可以实现针对运动区域的目标检测以及目标跟踪。此处，通过畜禽整体特征和/或畜禽局部特征的应用，能够进一步提高运动目标检测和跟踪的准确性。由此得到的运动目标跟踪结果，可以是畜禽视频中每一畜禽的运动轨迹，例如每一畜禽经过的位置，或者畜禽视频中每一帧图像中包含的每一畜禽的标识和位置，此处畜禽的标识用于将畜禽视频中包含的多个畜禽区分开来。

需要说明的是，步骤120进行的运动目标检测和跟踪仅用于检测跟踪畜禽视频中运动的畜禽，在运动场景下，畜禽不会持续处于静止状态，仅需在畜禽转入运动状态后在进行目标检测和跟踪即可。例如，可以通过帧间差分法或者背景相减法等运动区域检测方法，首先确定运动区域，随即应用例如Faster-RCNN、FPN、hourglass等神经网络进行运动区域的目标检测，接着应用例如sort跟踪算法、deepsort跟踪算法等目标跟踪方法对检测得到的运动目标进行目标跟踪。

步骤130，基于运动目标跟踪结果，以及待检测区域在畜禽视频中的位置信息，确定经过待检测区域的畜禽数量。

具体地，在得到运动目标跟踪结果后，可以将运动目标跟踪结果所指示的各个畜禽的运动路径，和待检测区域在畜禽视频中的位置信息，此处各个畜禽的运动路径包含有各个畜禽在畜禽视频中的轨迹坐标信息，基于各个畜禽在畜禽视频中的轨迹坐标信息和待检测区域在畜禽视频中的位置信息，可以判断轨迹坐标是否落入待检测区域，从而确定各个畜禽是否经过待检测区域，从而得到经过待检测区域的畜禽数量，完成运动场景下的畜禽数量盘点。

本发明实施例提供的方法，通过畜禽视频进行运动目标检测和跟踪，实现了运动场景下的畜禽盘点，极大降低了畜禽盘点的人力成本和时间成本。此外，通过畜禽整体特征和/或畜禽局部特征进行运动目标检测和跟踪，针对不同种类的畜禽可以选取不同类型的畜禽特征，增加了畜禽盘点的灵活性和适应性，提高了畜禽盘点的准确率。

基于上述实施例，图2为本发明实施例提供的运动目标检测和跟踪方法的流程示意图，如图2所示，步骤120具体包括：

步骤121，基于待盘点畜禽特征，对畜禽视频进行运动目标检测，得到畜禽视频的每一帧图像的运动目标检测结果；其中，任一帧图像的运动目标检测结果包括该帧图像中每一运动目标的整体特征信息和/或部分特征信息。

步骤122，对每一帧图像的运动目标检测结果进行运动目标跟踪，得到运动目标跟踪结果。

具体地，在运动目标检测和跟踪过程中，首先执行运动目标检测，并获取运动目标检测结果。此处，运动目标检测结果是针对于畜禽视频中的每一帧图像而言的，针对任一帧图像，当待盘点畜禽特征包括畜禽整体特征时，其运动目标检测结果对应包括该帧图像中每一运动目标的整体特征信息，此处整体特征信息可以包含运动目标的整体特征，以及运动目标的位置等；当待盘点畜禽特征包括畜禽局部特征时，其运动目标检测结果包括该帧图像中每一运动目标的局部特征信息，此处局部特征信息可以包含运动目标的局部特征，以及运动目标局部的位置等；当待盘点畜禽特征包括畜禽整体特征和畜禽局部特征时，其运动目标检测结果对应包括该帧图像中每一运动目标的整体特征信息和局部特征信息。

在完成运动目标检测后，基于每一帧图像的运动目标检测结果，进行运动目标跟踪，为不同的运动目标配置不同的运动目标标识，以实现不同运动目标的区分，在不同帧图像中，同一运动目标对应于每一运动目标标识，从而实现运动目标跟踪，并得到运动目标跟踪结果。

基于上述任一实施例，该方法中，待检测区域由若干个计数区间构成。

具体地，可以使用基准线划分出若干个计数区间，通过对经过每一计数区间的畜禽数量进行统计，可以得到经过待检测区域的畜禽数量。

例如，针对畜禽视频。可以预先设置基准线位置，也可以后期由人工规划出基准线位置，且基准线位置不应离畜禽视频图像边界过近，以避免单只畜禽有部分在畜禽视频图像外部，畜禽视频图像中显示的单只畜禽不完整，导致后续漏检测。在确定基准线数量m之后，可以在畜禽视频上画出m条基准线，形成m－1个计数区间，m－1个计数区间构成待检测区域。此处，基准线可以为直线或曲线，基准线之间的可以平行或不平行，两个相邻的基准线之间的间隔可以相等也可以不等，本发明实施例对此不作具体限定。

基于上述任一实施例，图3为本发明实施例提供的经过待检测区域的畜禽数量的确定方法的流程示意图，如图3所示，步骤130具体包括：

步骤131，基于运动目标跟踪结果，以及任一计数区间在畜禽视频中的位置信息，确定该计数区间的运动目标集合；运动目标跟踪结果包括所述畜禽视频中每一帧图像中每一运动目标的运动目标标识和位置信息，该计数区间的运动目标集合是由经过该计数区间的每一运动目标标识构成的。

具体地，运动目标标识用于标识运动目标的身份信息，例如猪只1、猪只2、猪只3等，不同帧图像中出现的同一运动目标应用同一运动目标标识。运动目标的位置信息用于表征运动目标在任一帧图像中的位置，具体可以是坐标点或者坐标区域等。此外，计数区间的位置信息用于表示计数区间在每一帧图像中的位置，通常表示为坐标区域。

针对于任一计数区间，可以通过运动目标跟踪结果，记录每一帧图像中位置信息落入该计数区间的位置信息的运动目标的运动目标标识，从而得到该计数区间的运动目标集合，运动目标集合用于表征经过该计数区间的每一运动目标的身份信息。

需要说明的是，计数区间的运动目标集合的更新可以是逐帧进行的，即每得到一帧图像的运动目标跟踪结果，即对计数区间的运动目标集合进行更新；也可以是在完成畜禽视频中每一帧图像的运动目标跟踪后，基于每帧图像的运动目标跟踪结果整体进行的，本发明实施例对此不作具体限定。

步骤132，基于每一计数区间的运动目标集合，确定经过待检测区域的畜禽数量。

具体地，在得到经过每一计数区间的运动目标的运动目标标识后，即可确定经过由每一计数区间构成的待检测区域的运动目标标识，统计经过待检测区域的运动目标标识的数量，作为经过待检测区域的畜禽数量。此处，确定经过待检测区域的畜禽数量的方式有多种，例如从每一计数区间的运动目标标识数量中选取出现频次最高的数量作为经过待检测区域的畜禽数量，又例如将每一计数区间的运动目标标识数量的均值作为经过待检测区域的畜禽数量。

本发明实施例提供的方法，通过确定每一计数区间的运动目标集合进行待检测区域的畜禽数量盘点，能够有效避免由于畜禽进入待检测区域后折返导致的畜禽数量盘点错误，提高畜禽数量盘点精准度。

基于上述任一实施例，图4为本发明实施例提供的计数区间的运动目标集合确定方法的流程示意图，如图4所示，步骤131具体包括：

步骤1311，基于预设目标判断规则对运动目标跟踪结果进行过滤；其中，预设目标判断规则用于指示待盘点的运动目标跟踪结果所需满足的视觉特征，所述视觉特征包括动态特征和/或静态特征。

步骤1312，基于过滤后的运动目标跟踪结果，以及任一计数区间在畜禽视频中的位置信息，确定该计数区间的运动目标集合。

具体地，在基于运动跟踪结果确定计数区间的运动目标集合之前，还需要基于预设目标判断规则为运动目标跟踪结果进行过滤。此处，预设目标判断规则的设置是为了有效滤除运动目标检测和跟踪过程中存在误检测或者误跟踪的情况，例如在猪只盘点时，将非猪只的运动物体误当作猪只来进行检测跟踪，或者仅将猪只的部分当作猪只整体来进行检测跟踪。

对此，本发明实施例中，预设目标判断规则用于指示待盘点的运动目标跟踪结果所需满足的视觉特征，如果运动目标跟踪结果中的运动目标的视觉特征满足上述预设目标判断规则中指示的视觉特征，则确定该运动目标不存在误检或者误跟的问题，如果运动目标跟踪结果中的运动目标的视觉特征不满足上述预设目标判断规则中指示的视觉特征，则确定该运动目标存在误检或误跟的问题，需要滤除该运动目标对应的信息。

此处，视觉特征即运动目标在畜禽视频中显示出来的特征，其中静态特征是单一帧图像中运动目标所体现的视觉特征，可以是运动目标的像素面积、颜色、长宽比等，动态特征是多帧连续图像中运动目标所体现的视觉特征，可以是运动目标的位移、运动方向等。

例如，在猪只盘点场景下，静态特征可以包括运动猪只跟踪框的像素面积，如检测到跟踪框的像素面积在预先设定的范围时，后续才会统计该猪只，否则滤除该猪只，不进行后续计数；静态特征还可以包括猪只颜色，当考虑不同颜色的猪只时，如黑猪和白猪，需要在训练运动目标检测的对应模型时，在训练样本中应包含需要检测的各种颜色的猪只，当仅统计白色猪只时，滤除运动目标跟踪结果中的黑色猪只；静态特征还可以包括猪只长宽比，仅在检测到猪只长宽比满足预设长宽比范围时，后续才会统计该猪只，否则滤除该猪只，不进行后续计数。动态特征可以包括运动猪只跟踪框的初始位置，运动方向等，例如可以通过判断当前计数区间内的运动猪只标识是否之前出现在上一计数区间，以确定运动猪只的运动方向，从而确保只统计同一运动方向的猪只，避免不重复统计。

本发明实施例提供的方法，通过预设目标判断规则对运动目标跟踪结果进行过滤，以滤除运动目标检测和跟踪过程中可能存在的误检或者误跟的问题，进而确保畜禽盘点的准确性。

基于上述任一实施例，步骤132具体包括：对每一计数区间的运动目标集合进行漏检漏跟处理；基于漏检漏跟处理后的每一计数区间的运动目标集合，确定经过待检测区域的畜禽数量。

具体地，漏检漏跟处理是通过比较各个计数区间的运动目标集合，从而对出现漏检漏跟情况的计数区间进行修正处理，并基于修正后的各个计数区间的运动目标集合确定经过待检测区域的畜禽数量。

此处，漏检漏跟处理的方法具体包括：确定各计数区间的运动目标集合中运动目标标识数量，对运动目标标识数量最小的运动目标集合，以及其余每一运动目标集合的交集做并集，并应用并集替换运动目标标识数量最小的运动目标集合，重复上述运算。

例如，待检测区域包括三个计数区间m1、m2和m3，其中m1的运动目标集合为{1,2,3,5}，m2的运动目标集合为{1,2，3,4,5}，m3的运动目标集合为{1,2,3,4,5}，其中m1内因为漏检或漏跟情况导致了运动目标集合中的运动目标标识数量最小，将其余两个计数区间m2和m3对应的运动目标集合做交集，得到{1,2,3,4,5}，再与{1,2,3,5}做并集，得到{1,2,3,4,5}，将并集结果替换为m1的运动目标集合，能够降低漏检、漏跟造成的影响。

基于上述任一实施例，该方法中，畜禽局部特征包括左右耳肩特征。

具体地，左右耳肩特征是指畜禽的左右耳，以及肩部位置的相关特征，能够体现畜禽的左右耳肩的骨架特征，并说明畜禽的头部位置。

基于上述任一实施例，该方法中，左右耳肩特征包括畜禽的左右耳坐标以及肩坐标，左右耳坐标与肩坐标构成的三角形的质心用于表示畜禽所在的位置。

具体地，假设畜禽的左右耳坐标分别对应A点和B点，肩坐标为C点，检测的三点A、B、C可以构成等腰三角形、设线段AB的中点为M，线段CM通过三角形ABC的质心，而针对于三角形，通常用质心表示三角形的中心，本发明实施例中应用三角形的质心表示畜禽所在的位置，应用穿过质心的线段CM与基准线是否相交，判断畜禽是否在基准线所对应的计数区间内。

本发明实施例提供的方法，通过左右耳肩特征进行畜禽位置的判断，从而进行畜禽数量盘点，为实现准确、简便的畜禽盘点提供了途径。

基于上述任一实施例，假设待盘点畜禽为猪只，对于猪只的左右耳肩特征进行猪只数量盘点的方法如下：

1)将任一帧图像输入到运动目标检测模型中，得到运动目标检测模型输出的该帧图像中每一猪只的左右耳肩位置信息。此处，运动目标检测模型可以是但不限于hourglass网络，该网络是用于检测猪只的左右耳肩骨架的模型。

2)判断是否存在猪只的左右耳肩位置信息。

若运动目标检测模型输出的检测结果为0，则说明该帧图像中不包含猪只的耳肩，继续对下一帧图像进行检测；如果检测结果不为0，则将检测得到的猪只的左右耳肩位置信息与跟踪列表里的左右耳肩位置信息进行匹配更新。此处匹配更新过程主要是通过但不限于sort跟踪算法实现的，如在sort跟踪算法中，在卡尔曼滤波的基础上，使用匈牙利算法，将卡尔曼滤波预测的位置与目标检测的检测位置进行匹配。选择合适的检测到的左右耳肩位置信息作为下一时刻的左右耳肩跟踪位置坐标。具体过程如下：

将检测的左右耳肩位置信息与卡尔曼滤波预测的左右耳肩跟踪位置信息匹配。该过程首先需要遍历检测到的左右耳肩位置信息，并标识为d。遍历卡尔曼滤波预测到的左右耳肩跟踪位置信息，并标识为t。通过匈牙利算法匹配卡尔曼滤波器预测的位置t与实际检测的位置d以[[d,t]...]的二维矩阵保存。将没有匹配上的检测到的左右耳肩位置信息d放入未匹配检测列表，表示存在新的猪只进入了画面，需要新增跟踪器追踪新猪只。将没有匹配上的卡尔曼滤波器预测到的左右耳肩跟踪位置信息t放入未匹配跟踪列表，表示之前跟踪的猪只离开画面了，需要删除对应的跟踪器。记录跟踪成功的猪只在跟踪列表上，离开画面或跟踪失败的猪只从猪只的卡尔曼跟踪器列表中删除。如此，便得到当前帧图像对应画面中所有被跟踪猪只的左右耳肩位置信息与标识的二维矩阵，由此得到每一帧图像对应的运动目标跟踪结果。

3)判断检测得到的猪只是否进入对应计数区间：

猪只的肩部的点与左右耳两点组成一个三角形，判断该三角形中肩部顶点的中线与基准线是否相交。如果相交，则执行步骤4)。

4)更新经过的猪只数量。接着转到步骤1)，对下一帧图像进行检测。

相交时，判断该猪只的运动目标标识是否已记录，如果已记录在基准线对应的计数区间内，则不对该猪只计数，若首次出现，则对其计数，将该技术区间经过的猪只总数加1。

基于上述任一实施例，图5为本发明另一实施例提供的畜禽盘点方法的流程示意图，如图5所示，该方法包括：

首先，畜禽视频中多帧图像的输入：确定畜禽视频，畜禽视频包括多帧图像，按照帧图像顺序对多帧图像逐帧执行下述步骤。

其次，执行图像预处理：预处理方式包括但不限于尺寸缩放、均衡化、去噪、对比度增强、图像超分辨重建等。此外，还需要设置待检测区域。待检测区域可以由若干个计数区间构成，计数区间是通过基准线划分得到的。

接着，对任一帧图像进行运动目标检测，得到该帧图像中的N个运动目标。具体地，运动目标检测的方法如下：通过计算待检测区域中前后两帧图像的帧差，得到运动区域，然后将运动区域与前一帧图像进行掩模操作，保持前一帧图像中属于运动区域的像素保持不变，其他区域的像素置为0，由此得到运动图像。通过神经网络模型检测该帧图像所对应的运动图像中的畜禽目标，得到畜禽外接框，此处的外接框是该帧图像所对应的运动图像中包含运动目标的最小区域，可以是矩形或其他形状，用于运动目标检测的神经网络模型可以采用Faster-RCNN、FPN网络、hourglass网络等，本发明实施例对此不作具体限定。

在得到运动目标检测结果之后，进行运动目标跟踪，得到N个运动目标标识和位置信息。此处，可以例如deepsort方法跟踪运动目标，并给不同的运动目标分配不同的运动目标标识，在后续图像中，同一运动目标对应同一运动目标标识。

随即，逐个提取运动目标的运动目标标识和位置信息，基于预设目标判断规则判断当前的运动目标是否为误检测或者误跟踪的运动目标，如果是则滤除该运动目标。在完成第i个运动目标的特征判断后，将i值更新为i+1，对下一个运动目标进行特征判断。当i＞N时，当前帧图像中的全部运动目标均已完成基于预设目标判断规则的判断，输入下一帧图像进行运动目标检测和跟踪。

若任一运动目标满足预设目标判断规则，则进入计数环节。在计数环节中，通过运动目标跟踪结果，记录每一帧图像中位置信息落入该计数区间的位置信息的运动目标的运动目标标识，从而得到该计数区间的运动目标标识数量。

最后，根据每一计数区间的运动目标标识数量，得到经过待检测区域的畜禽数量。此处，确定经过待检测区域的畜禽数量的方式有多种，例如从每一计数区间的运动目标标识数量中选取出现频次最高的数量作为经过待检测区域的畜禽数量。

本发明实施例提供的方法，通过确定每一计数区间的运动目标集合进行待检测区域的畜禽数量盘点，能够有效避免由于畜禽进入待检测区域后折返导致的畜禽数量盘点错误，提高畜禽数量盘点精准度。

基于上述任一实施例，在目标跟踪过程中，可以应用但不限于deepsort算法。进一步地，可以在deepsort算法中进行级联匹配，从而更倾向丢失时间更长的轨迹，避免概率弥散。此处，丢失时间更长的轨迹可以是指之间跟踪到但是后期消失了的运动目标标识。在匹配的最后阶段，还对未确定的未匹配轨迹，可以进行基于IoU(重叠区域面积)的匹配，从而缓解因为表观突变或者部分遮挡导致的较大变化。此处的表现突变是指畜禽外表的突然改变，例如猪只转弯时，上一帧图像为猪身为横向，下一帧图像中猪身为纵向。所述IoU是计算前后两个检测框的交叠率，即两个检测框的交集除以两个检测框的并集。

基于上述任一实施例，图6为本发明实施例提供的畜禽盘点装置的结构示意图，如图6所示，畜禽盘点装置包括视频确定单元610、检测跟踪单元620和数量盘点单元630；

其中，视频确定单元610用于确定待检测区域的畜禽视频；

检测跟踪单元620用于基于待盘点畜禽特征，对所述畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果；其中，所述待盘点畜禽特征包括畜禽整体特征和/或畜禽局部特征；

数量盘点单元630用于基于所述运动目标跟踪结果，以及所述待检测区域在所述畜禽视频中的位置信息，确定经过所述待检测区域的畜禽数量。

本发明实施例提供的装置，通过畜禽视频进行运动目标检测和跟踪，实现了运动场景下的畜禽盘点，极大降低了畜禽盘点的人力成本和时间成本。此外，通过畜禽整体特征和/或畜禽局部特征进行运动目标检测和跟踪，针对不同种类的畜禽可以选取不同类型的畜禽特征，增加了畜禽盘点的灵活性和适应性，提高了畜禽盘点的准确率。

基于上述任一实施例，检测跟踪单元620具体用于：

基于所述待盘点畜禽特征，对所述畜禽视频进行运动目标检测，得到所述畜禽视频的每一帧图像的运动目标检测结果；

对每一帧图像的运动目标检测结果进行运动目标跟踪，得到运动目标跟踪结果；

其中，任一帧图像的运动目标检测结果包括所述任一帧图像中每一运动目标的整体特征信息和/或部分特征信息。

基于上述任一实施例，所述待检测区域由若干个计数区间构成。

基于上述任一实施例，数量盘点单元630包括：

区间计数子单元，用于基于所述运动目标跟踪结果，以及任一计数区间在所述畜禽视频中的位置信息，确定所述任一计数区间的运动目标集合；所述运动目标跟踪结果包括所述畜禽视频中每一帧图像中每一运动目标的运动目标标识和位置信息，所述任一计数区间的运动目标集合是由经过所述任一计数区间的每一运动目标标识构成的；

区域计数子单元，用于基于每一计数区间的运动目标集合，确定经过所述待检测区域的畜禽数量。

基于上述任一实施例，区间计数子单元具体用于：

基于预设目标判断规则对所述运动目标跟踪结果进行过滤；其中，所述预设目标判断规则用于指示待盘点的运动目标跟踪结果所需满足的视觉特征，所述视觉特征包括动态特征和/或静态特征；

基于过滤后的运动目标跟踪结果，以及任一计数区间在所述畜禽视频中的位置信息，确定所述任一计数区间的运动目标集合。

基于上述任一实施例，区域计数子单元具体用于：

对每一计数区间的运动目标集合进行漏检漏跟处理；

基于漏检漏跟处理后的每一计数区间的运动目标集合，确定经过所述待检测区域的畜禽数量。

基于上述任一实施例，所述畜禽局部特征包括畜禽的左右耳坐标以及肩坐标，所述左右耳坐标与所述肩坐标构成的三角形的质心用于表示所述畜禽所在的位置。

图7为本发明实施例提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行如下方法：确定待检测区域的畜禽视频；基于待盘点畜禽特征，对所述畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果；其中，所述待盘点畜禽特征包括畜禽整体特征和/或畜禽局部特征；基于所述运动目标跟踪结果，以及所述待检测区域在所述畜禽视频中的位置信息，确定经过所述待检测区域的畜禽数量。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定待检测区域的畜禽视频；基于待盘点畜禽特征，对所述畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果；其中，所述待盘点畜禽特征包括畜禽整体特征和/或畜禽局部特征；基于所述运动目标跟踪结果，以及所述待检测区域在所述畜禽视频中的位置信息，确定经过所述待检测区域的畜禽数量。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种畜禽盘点方法，其特征在于，包括：

确定待检测区域的畜禽视频；

基于待盘点畜禽特征，对所述畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果；其中，所述待盘点畜禽特征包括畜禽整体特征和/或畜禽局部特征；

基于所述运动目标跟踪结果，以及所述待检测区域在所述畜禽视频中的位置信息，确定经过所述待检测区域的畜禽数量；

所述待检测区域由若干个计数区间构成；

所述基于所述运动目标跟踪结果，以及所述待检测区域在所述畜禽视频中的位置信息，确定经过所述待检测区域的畜禽数量，具体包括：

基于所述运动目标跟踪结果，以及任一计数区间在所述畜禽视频中的位置信息，确定所述任一计数区间的运动目标集合；所述运动目标跟踪结果包括所述畜禽视频中每一帧图像中每一运动目标的运动目标标识和位置信息，所述任一计数区间的运动目标集合是由经过所述任一计数区间的每一运动目标标识构成的；

基于每一计数区间的运动目标集合，确定经过所述待检测区域的畜禽数量。

2.根据权利要求1所述的畜禽盘点方法，其特征在于，所述基于待盘点畜禽特征，对所述畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果，具体包括：

基于所述待盘点畜禽特征，对所述畜禽视频进行运动目标检测，得到所述畜禽视频的每一帧图像的运动目标检测结果；

对每一帧图像的运动目标检测结果进行运动目标跟踪，得到运动目标跟踪结果；

其中，任一帧图像的运动目标检测结果包括所述任一帧图像中每一运动目标的整体特征信息和/或部分特征信息。

3.根据权利要求1所述的畜禽盘点方法，其特征在于，所述基于所述运动目标跟踪结果，以及任一计数区间在所述畜禽视频中的位置信息，确定所述任一计数区间的运动目标集合，具体包括：

基于预设目标判断规则对所述运动目标跟踪结果进行过滤；其中，所述预设目标判断规则用于指示待盘点的运动目标跟踪结果所需满足的视觉特征，所述视觉特征包括动态特征和/或静态特征；

基于过滤后的运动目标跟踪结果，以及任一计数区间在所述畜禽视频中的位置信息，确定所述任一计数区间的运动目标集合。

4.根据权利要求3所述的畜禽盘点方法，其特征在于，所述基于每一计数区间的运动目标集合，确定经过所述待检测区域的畜禽数量，具体包括：

对每一计数区间的运动目标集合进行漏检漏跟处理；

基于漏检漏跟处理后的每一计数区间的运动目标集合，确定经过所述待检测区域的畜禽数量。

5.根据权利要求1至4中任一项所述的畜禽盘点方法，其特征在于，所述畜禽局部特征包括畜禽的左右耳坐标以及肩坐标，所述左右耳坐标与所述肩坐标构成的三角形的质心用于表示所述畜禽所在的位置。

6.一种畜禽盘点装置，其特征在于，包括：

视频确定单元，用于确定待检测区域的畜禽视频；

检测跟踪单元，用于基于待盘点畜禽特征，对所述畜禽视频进行运动目标检测和跟踪，得到运动目标跟踪结果；其中，所述待盘点畜禽特征包括畜禽整体特征和/或畜禽局部特征；

数量盘点单元，用于基于所述运动目标跟踪结果，以及所述待检测区域在所述畜禽视频中的位置信息，确定经过所述待检测区域的畜禽数量；

所述待检测区域由若干个计数区间构成；

所述数量盘点单元，具体用于：

基于所述运动目标跟踪结果，以及任一计数区间在所述畜禽视频中的位置信息，确定所述任一计数区间的运动目标集合；所述运动目标跟踪结果包括所述畜禽视频中每一帧图像中每一运动目标的运动目标标识和位置信息，所述任一计数区间的运动目标集合是由经过所述任一计数区间的每一运动目标标识构成的；

基于每一计数区间的运动目标集合，确定经过所述待检测区域的畜禽数量。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述的畜禽盘点方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5中任一项所述的畜禽盘点方法的步骤。

Images