CN115885884A - 牲畜状态检测方法、装置、电子设备和存储介质 - Google Patents
牲畜状态检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115885884A CN115885884A CN202211600641.1A CN202211600641A CN115885884A CN 115885884 A CN115885884 A CN 115885884A CN 202211600641 A CN202211600641 A CN 202211600641A CN 115885884 A CN115885884 A CN 115885884A
- Authority
- CN
- China
- Prior art keywords
- livestock
- cough
- channel
- dimensional convolution
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种牲畜状态检测方法、装置、电子设备和存储介质,其中方法包括:确定牲畜栏内的视频数据,以及至少两个通道的音频数据;基于各个通道的音频数据进行咳嗽检测,得到各个通道的咳嗽区间;基于视频数据进行姿态追踪,得到牲畜姿态状况;基于各个通道的咳嗽区间,以及牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果,克服了传统方案中检测效果不佳的缺陷,实现了牲畜状态检测结果准确度和可信度的双重提升,此外借此牲畜状态检测结果可以针对于牲畜进行疾病预防,能够在疾病爆发前期提醒相关人员进行进一步检测和针对性用药,以减轻治病率和传染力,及时救治牲畜,大幅度地减少养殖场的损失。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种牲畜状态检测方法、装置、电子设备和存储介质。
背景技术
随着养殖业的发展,牲畜养殖过程中对于牲畜生长发育状况的监测,以及其疾病的预防越来越为人们所重视,又由于牲畜的状态与其疾病预防和生长状况息息相关,因而,牲畜状态检测成为了牲畜养殖过程中至关重要的一步。
目前,牲畜状态检测过程多依赖于人工,即依靠饲养员在巡栏过程中通过牲畜的表现症状判断其状态,之后再进行针对性治疗,但是大多数牲畜表现出明显症状时往往已处于发病中晚期,此时的治病率和传染力都极强,牲畜救治难度大,最终导致养殖厂损失严重。
此外,还存在少部分利用牲畜的咳嗽数据进行检测判断的方案,但是此类方案的检测效果往往不佳,原因在于:牲畜患病的判断过程十分复杂,通过单一的咳嗽数据检测得到的结果的可信度不高;另外,咳嗽数据中大多参杂有其他声音,而杂音会直接影响检测结果。
发明内容
本发明提供一种牲畜状态检测方法、装置、电子设备和存储介质,用以解决现有技术中基于单一音频数据的检测效果不佳的缺陷,实现了牲畜状态检测结果准确度和可信度的双重提升。
本发明提供一种牲畜状态检测方法,包括:
确定牲畜栏内的视频数据,以及至少两个通道的音频数据;
基于各个通道的音频数据进行咳嗽检测,得到所述各个通道的咳嗽区间;
基于所述视频数据进行姿态追踪,得到牲畜姿态状况;
基于所述各个通道的咳嗽区间,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
根据本发明提供的一种牲畜状态检测方法,所述基于所述各个通道的咳嗽区间,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果,包括:
基于各个通道的咳嗽区间进行咳嗽区域定位,得到牲畜咳嗽区域;
基于所述牲畜咳嗽区域对应通道的音频数据,进行咳嗽分离,得到所述牲畜咳嗽区域内的咳嗽牲畜数目;
基于预设时间范围内的牲畜咳嗽区域,以及所述牲畜咳嗽区域内的咳嗽牲畜数目,确定牲畜咳嗽趋势;
基于所述牲畜咳嗽趋势,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
根据本发明提供的一种牲畜状态检测方法,所述基于各个通道的咳嗽区间进行咳嗽区域定位,得到牲畜咳嗽区域,包括:
确定所述各个通道下同一咳嗽区间的过零率均值;
基于所述过零率均值,进行咳嗽区域定位,得到牲畜咳嗽区域;
或,从所述各个通道下同一咳嗽区间中,选取目标咳嗽区间,基于所述目标咳嗽区间组建咳嗽数组,所述目标咳嗽区间为按照从大到小的顺序排列的前预设数量个所述过零率均值对应通道的咳嗽区间;
基于所述咳嗽数组中的奇偶占比,进行咳嗽区域定位,得到牲畜咳嗽区域,所述奇偶占比基于各目标咳嗽区间对应通道确定。
根据本发明提供的一种牲畜状态检测方法,所述基于所述牲畜咳嗽区域对应通道的音频数据,进行咳嗽分离,得到所述牲畜咳嗽区域内的咳嗽牲畜数目,包括:
对所述牲畜咳嗽区域对应通道的音频数据进行过零率检测,并基于过零率检测所得的各个咳嗽片段进行片段融合,得到连续咳嗽片段;
基于所述连续咳嗽片段中的声音间隔,和/或,所述连续咳嗽片段对应的咳嗽频次,确定所述连续咳嗽片段对应的咳嗽牲畜数目类型;
在所述咳嗽牲畜数目类型非单只的情况下,对所述连续咳嗽片段进行层次聚类,得到以只为单位的牲畜咳嗽片段,基于各个牲畜咳嗽片段的音频特征之间的特征相似度进行片段组合,得到咳嗽牲畜数目。
根据本发明提供的一种牲畜状态检测方法,所述基于各个通道的音频数据进行咳嗽检测,得到所述各个通道的咳嗽区间,包括:
对所述各个通道的音频数据进行一维卷积,得到所述各个通道的一维卷积特征;
提取所述各个通道的音频数据的音频特征,并对所述音频特征进行二维卷积,得到所述各个通道的二维卷积特征;
基于所述各个通道的一维卷积特征之间的频率相关性,以及所述各个通道的二维卷积特征之间的通道相关性和空间相关性,对所述各个通道的一维卷积特征,以及所述各个通道的二维卷积特征进行融合;
基于融合所得的所述各个通道的融合特征进行咳嗽检测,得到所述各个通道的咳嗽区间。
根据本发明提供的一种牲畜状态检测方法,所述基于所述各个通道的一维卷积特征之间的频率相关性,以及所述各个通道的二维卷积特征之间的通道相关性和空间相关性,对所述各个通道的一维卷积特征,以及所述各个通道的二维卷积特征进行融合,包括:
基于所述各个通道的一维卷积特征之间的频率相关性,确定所述各个通道的一维卷积特征的第一注意力权重;
基于所述各个通道的二维卷积特征之间的通道相关性和空间相关性,确定所述各个通道的二维卷积特征的第二注意力权重;
基于所述第一注意力权重和所述第二注意力权重,对所述各个通道的一维卷积特征,以及所述各个通道的二维卷积特征进行融合。
根据本发明提供的一种牲畜状态检测方法,所述牲畜姿态状况包括各个牲畜姿态、所述各个牲畜姿态的持续时长,以及所述持续时长的时长变化趋势,所述各个牲畜姿态包括站立姿态、犬坐姿态、侧卧姿态、趴地姿态中的至少一种;
所述牲畜咳嗽趋势包括所述牲畜咳嗽区域的区域变化趋势、所述牲畜咳嗽区域内的咳嗽牲畜数目的数目变化趋势,以及所述牲畜栏内的咳嗽牲畜数目的总体变化趋势中的至少一种。
根据本发明提供的一种牲畜状态检测方法,所述基于所述牲畜咳嗽趋势,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果,包括:
在所述牲畜姿态状况中的非站立姿态的持续时长为上升,且所述牲畜咳嗽趋势中的所述区域变化趋势、所述数目变化趋势,以及所述总体变化趋势中的至少一种为上升的情况下,确定所述牲畜状态检测结果为预警状态;
在所述牲畜姿态状况中的非站立姿态的持续时长非上升,且所述牲畜咳嗽趋势中的所述区域变化趋势、所述数目变化趋势,以及所述总体变化趋势中的至少两种为上升的情况下,确定所述牲畜状态检测结果为预警状态。
根据本发明提供的一种牲畜状态检测方法,所述基于所述视频数据进行姿态追踪,得到牲畜姿态状况,包括:
基于所述视频数据中的各视频帧进行姿态检测,得到所述各视频帧的姿态检测结果;
基于所述各视频帧的姿态检测结果,以及所述视频数据进行姿态追踪,得到牲畜姿态状况。
本发明还提供一种牲畜状态检测装置,包括:
数据确定单元,用于确定牲畜栏内的视频数据,以及至少两个通道的音频数据;
咳嗽检测单元,用于基于各个通道的音频数据进行咳嗽检测,得到所述各个通道的咳嗽区间;
姿态追踪单元,用于基于所述视频数据进行姿态追踪,得到牲畜姿态状况;
状态检测单元,用于基于所述各个通道的咳嗽区间,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的牲畜状态检测方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的牲畜状态检测方法。
本发明提供的牲畜状态检测方法、装置、电子设备和存储介质,通过各个通道的音频数据进行咳嗽检测,结合帧级的咳嗽检测结果确定各个通道的咳嗽区间,通过视频数据进行姿态追踪,得到牲畜姿态状况;结合各个通道的咳嗽区间,以及牲畜姿态状况,共同进行牲畜状态检测,克服了传统方案中基于单一音频数据的检测效果不佳的缺陷,实现了牲畜状态检测结果准确度和可信度的双重提升,此外借此牲畜状态检测结果可以针对于牲畜进行疾病预防,能够在疾病爆发前期提醒相关人员进行进一步检测和针对性用药,以减轻治病率和传染力,及时救治牲畜,大幅度地减少养殖场的损失。同时,自动化的牲畜状态检测流程避免了人工检测判断的主观性和不定性,也节省了人工判断所需耗费的时间精力。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的牲畜状态检测方法的流程示意图;
图2是本发明提供的牲畜状态检测方法中步骤140的流程示意图;
图3是本发明提供的牲畜状态检测方法中步骤141的流程示意图;
图4是本发明提供的咳嗽区间在过零率统计图中分布情况的示意图;
图5是本发明提供的牲畜状态检测方法中步骤142的流程示意图;
图6是本发明提供的牲畜状态检测方法中步骤120的流程示意图;
图7是本发明提供的咳嗽检测过程的框架示意图;
图8是本发明提供的牲畜状态检测方法中步骤123的流程示意图;
图9是本发明提供的牲畜状态检测方法中步骤130的流程示意图;
图10是本发明提供的牲畜状态检测方法的总体框架图;
图11是本发明提供的牲畜状态检测装置的结构示意图;
图12是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在牲畜养殖中,牲畜的状态与其疾病预防和生长状况息息相关,因而,牲畜状态检测成为了牲畜养殖过程中不可或缺的一步。以猪场为例,猪场中猪只呼吸道疾病的发病率较高,并且猪只在患上呼吸道疾病后食欲减退、营养吸收效率低下、生长速度缓慢,并且还伴随有咳嗽和呼吸困难等症状;特别地在保育后期和育肥期,猪只呼吸道疾病的发病率极高,传染性也极强;此时若能预先获知猪只的状态,则可以借此进行疾病预防,从而可以为猪只养殖保驾护航。
目前,牲畜状态检测多通过人工实现,即依靠饲养员在巡栏过程中通过牲畜的表现症状判断其状态,例如,咳嗽声多、食量下降等,然后再进行针对性治疗,但是在牲畜表现出明显症状时其大多已处于患病中晚期,此时进行救治已为时太晚,最终使得养殖场损失严重。
进一步地,随着深度学习技术的发展,还存在少部分通过深度学习模型进行牲畜疾病检测判断的方案,即利用咳嗽样本数据,以及其对应的疾病类型标签预先训练得到牲畜疾病检测模型,该模型中记录有牲畜咳嗽数据与疾病类型之间的映射关系,因而,在将咳嗽数据输入至牲畜疾病识别模型时,能够对应输出该咳嗽数据对应的疾病类型。
然而,此类方案虽然能够实现针对于牲畜疾病的检测判断,但是其检测效果往往不佳,究其原因一是用于检测的咳嗽数据大多参杂有其他声音,例如,猪只的进食声、哼哼声等,而杂音会直接影响检测结果,二是牲畜患病的判断过程十分复杂,通过单一的咳嗽数据检测得到的结果的准确度和可信度不高。
对此,本发明提供一种牲畜状态检测方法,旨在通过牲畜栏内的音频数据进行咳嗽检测,通过帧级的咳嗽检测结果确定各个通道的咳嗽区间,在此基础上结合通过视频数据分析得到的牲畜姿态状况,共同进行牲畜状态检测,实现了牲畜状态检测结果准确度和可信度的双重提升,此外借此牲畜状态检测结果可以针对于牲畜进行疾病预防,能够在疾病爆发前期提醒相关人员进行进一步检测和针对性用药,以减轻治病率和传染力,及时救治牲畜,大幅度地减少养殖场的损失。
此外,自动化的牲畜状态检测流程能够避免传统方案中人工检测判断中的主观性和不定性,同时也节省了人工判断所需耗费的时间精力。本发明提供的方法可以应用于猪只,也可以应用于其它动物;为便于解释以下实施例以对猪进行状态检测为例进行说明,图1是本发明提供的牲畜状态检测方法的流程示意图,如图1所示,该方法包括:
步骤110,确定牲畜栏内的视频数据,以及至少两个通道的音频数据;
具体地,在进行牲畜状态检测之前,首先需要确定检测对象,以及其对应的音频数据和视频数据,此处的检测对象为牲畜栏内的牲畜,可以是猪舍内的猪只,而由于养殖场内猪舍的覆盖面积通常十分广,单一拾音组件往往难以采集所有猪舍单元内猪只的音频数据,因而,本发明实施例中在牲畜栏的不同区域部署有多个拾音组件,以覆盖整个牲畜栏,其中拾音组件间的通道数互不相同,从而可以通过各个通道的拾音组件拾取牲畜栏内的音频数据,此处拾音组件可以是麦克风、监听头等,并且其通道数可以根据实际情况、实际需求等相应设定。
在得到各个通道的音频数据后,还可以对其进行进一步处理,以备后续的咳嗽检测,即可以利用音频数据建立对应的音频特征数据集,具体可以是,对音频数据进行降噪处理,然后提取其音频特征,此处的音频特征可以是Fbank(Filter bank)、PCEN(Per-channelenergy normalization)、CQT(constant Q transform)特征、log mel特征(log melspectrogram features,对数梅尔频谱特征)等。
对应于音频数据,牲畜栏内的视频数据则可以通过图像采集设备采集得到,对应于单一拾音组件难以采集所有牲畜的音频数据,此处单个图像采集设备同样无法采集所有牲畜的图像数据,因而,为更好更全面的检测牲畜姿态状况,本发明实施例中可以在牲畜栏内每一栏位的上方或侧方装设图像采集设备,也可以同时于同一栏位内不同方向装设图像采集设备,本发明实施例对此不做具体限定。此处的图像采集设备为携带摄像/录像功能的电子设备,可以是相机、摄像头等。
本发明实施例中,音频数据和视频数据的获取,为后续基于此两者的咳嗽检测和姿态追踪提供了数据支撑,为结合咳嗽状况和姿态状况的牲畜状态检测奠定了基础,此外较之传统方案,本发明实施例中视频数据的补入,能够为牲畜状态检测结果准确率的提升提供助力。
步骤120,基于各个通道的音频数据进行咳嗽检测,得到各个通道的咳嗽区间;
具体地,得到牲畜栏内各个通道的音频数据后,即可据此音频数据进行咳嗽检测,以确定各个通道的咳嗽区间,具体过程可以包括:
首先,需要确定各个通道的音频数据的音频特征,即各个通道的音频特征,此处的音频特征可以通过对音频数据进行特征提取得到,其可以是Fbank、PCEN、CQT特征、log mel特征中的一种或多种;
随即,可以采用双流支路方法,分别对音频数据和音频特征进行处理,以得到两个支路的特征,然后可对此两个支路的特征进行融合,并根据融合所得的特征进行咳嗽检测,最终得到各个通道的咳嗽区间。
具体而言,在第一条支路中,可以先通过连续的卷积模块,对各个通道的音频数据进行第一卷积操作,以提取其不同通道的卷积特征,从而得到各个通道的第一卷积特征,再通过频率注意力机制进行处理,即将各个通道的第一卷积特征输入至频率注意力机制中,以学习不同频率单元对于各个通道的第一卷积特征的重要性,即关注各个通道的第一卷积特征之间的频率相关性,最终可以得到第一条支路的特征。
对应地,在第二条支路中,可以先通过连续且不同于第一条支路的卷积模块,对各个通道的音频特征进行第二卷积操作,以提取其不同通道的卷积特征,从而得到各个通道的第二卷积特征,值得注意的是,此处的音频特征可以是上述所列特征中的一个,也可以是多个,在包含多个的情况下,其必须是多个特征的组合,且组合方式要求是保持时间轴不变的connect融合,如此可保证特征在时序上的一致性;
接着,可通过混合注意力机制进行处理,此处的混合注意力机制包含通道注意力机制和空间注意力机制,即将各个通道的第二卷积特征输入至混合注意力机制中,以学习不同特征维度和不同通道对于各个通道的第二卷积特征的重要程度,即关注各个通道的第二卷积特征之间的通道相关性和空间相关性,最终可以得到第二条支路的特征。
之后,即可对第一条支路和第二条支路的特征进行融合,融合时需保持音频长度不变,从而可以得到各个通道的融合特征,并可借此融合特征进行咳嗽检测,以得到帧级的咳嗽检测结果,即每一音频帧的咳嗽检测结果,该咳嗽检测结果能够表明对应音频帧是否是咳嗽音频帧,而结合各个音频的咳嗽检测结果,即可确定各个通道的音频数据中的咳嗽区间,即各个通道的咳嗽区间。
需要说明的是,由于咳嗽区间是基于帧级的咳嗽检测结果确定的,而音频数据的采样帧率非常高,因而此处得到的各个通道的咳嗽区间精确度十分高,具体可以精确到毫秒级别。
步骤130,基于视频数据进行姿态追踪,得到牲畜姿态状况;
具体地,在确定牲畜栏内的视频数据后,还可以利用此视频数据进行姿态追踪,从而得到牲畜姿态状况,具体过程包括如下步骤:
由于牲畜疾病的表现症状大多不仅体现于声音层面,还可以体现于动作层面,如猪只呼吸道疾病多伴随着姿态变化,因而,本发明实施例中可借助视频数据,获取牲畜姿态状况,此处牲畜姿态状况包括牲畜的各个姿态、各个姿态的持续时长,以及持续时长的变化情况。
具体而言,可以先以视频数据为基准,对牲畜进行姿态检测,从而得到牲畜的姿态检测结果,此处的姿态检测同样是帧级的,即针对于各个视频帧进行姿态检测,得到各个视频帧的姿态检测结果;由于牲畜的各个姿态间的差异较为明显,如猪只站立、猪只趴地、猪只犬坐、猪只侧卧等,因而,此处可以直接借用常规的姿态检测模型,进行姿态检测,而无需特意训练针对于大目标的目标检测模型,节省了时间精力,推进了牲畜状态检测进程;
然后,可在各个视频帧的姿态检测结果的基础上,利用视频数据对牲畜进行姿态追踪,从而得到牲畜姿态状况,具体可以是,以各个视频帧的姿态检测结果为基准,结合目标跟踪算法对不同牲畜进行姿态追踪,在牲畜的姿态发生变化时结束本次追踪,同时保持追踪目标的身份标识号不变,进入下一次追踪,最终可以得到不同牲畜的各个姿态、各个姿态的持续时长,以及时长的变化情况,即牲畜姿态状况。
本发明实施例中,借助视频数据进行姿态检测,能够为后续的牲畜状态检测提供牲畜姿态状况,从而使得牲畜状态检测过程的信息更加全面,视角更加完善,检测所得的牲畜状态检测结果的准确度更高。
步骤140,基于各个通道的咳嗽区间,以及牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
具体地,经过咳嗽检测得到各个通道的咳嗽区间,以及姿态追踪得到牲畜姿态状况后,即可据此两者进行牲畜状态检测,以得到牲畜状态检测结果,具体过程包括如下步骤:
首先,可以通过各个通道的咳嗽区间进行咳嗽趋势的判定,即结合预设时间范围内的音频数据确定的这一时间范围内各个通道的咳嗽区间,判断牲畜的咳嗽趋势,是上升趋势还是稳定不变,或者是下降趋势,此处的趋势判断可以是区域层面的,也可以是区域层面下的牲畜层面的,还可以是牲畜栏层面的,或者是上述多个层面的,本发明实施例对此不做具体限定;
其中,上升趋势表明牲畜的咳嗽日渐严重,其症状在加重;与之相反的是,下降趋势则表明牲畜的咳嗽日渐稳定和好转,症状在减轻;对应地,稳定趋势则表明牲畜的咳嗽日渐稳定,症状亦逐渐稳定。
随即,可以根据牲畜咳嗽趋势,以及牲畜姿态状况,进行牲畜状态检测,即结合牲畜咳嗽趋势和牲畜姿态状况,检测牲畜状态是否为预警状态,具体可以是,参照牲畜姿态状况所反映的牲畜姿态及其持续时长的变化趋势,以及牲畜咳嗽趋势所体现的牲畜咳嗽症状的变化情况,对牲畜状态进行检测判定,从而得到牲畜状态检测结果。
此处,牲畜状态检测结果为预警状态或非预警状态,预警状态表明牲畜症状加重,状态不佳,存在患病风险,因而需进行预警,以待相关人员进一步检测判断;对应地,非预警状态则表明牲畜症状好转/不显,暂无明显患病风险,因而无需预警。
本发明提供的牲畜状态检测方法,通过各个通道的音频数据进行咳嗽检测,结合帧级的咳嗽检测结果确定各个通道的咳嗽区间,通过视频数据进行姿态追踪,得到牲畜姿态状况;结合各个通道的咳嗽区间,以及牲畜姿态状况,共同进行牲畜状态检测,克服了传统方案中基于单一音频数据的检测效果不佳的缺陷,实现了牲畜状态检测结果准确度和可信度的双重提升,此外借此牲畜状态检测结果可以针对于牲畜进行疾病预防,能够在疾病爆发前期提醒相关人员进行进一步检测和针对性用药,以减轻治病率和传染力,及时救治牲畜,大幅度地减少养殖场的损失。同时,自动化的牲畜状态检测流程避免了人工检测判断的主观性和不定性,也节省了人工判断所需耗费的时间精力。
基于上述实施例,图2是本发明提供的牲畜状态检测方法中步骤140的流程示意图,如图2所示,步骤140包括:
步骤141,基于各个通道的咳嗽区间进行咳嗽区域定位,得到牲畜咳嗽区域;
步骤142,基于牲畜咳嗽区域对应通道的音频数据,进行咳嗽分离,得到牲畜咳嗽区域内的咳嗽牲畜数目;
步骤143,基于预设时间范围内的牲畜咳嗽区域,以及牲畜咳嗽区域内的咳嗽牲畜数目,确定牲畜咳嗽趋势;
步骤144,基于牲畜咳嗽趋势,以及牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
具体地,步骤140中,利用各个通道的咳嗽区间和牲畜姿态状况,进行牲畜状态检测,以得到牲畜状态检测结果的过程,包括如下步骤:
由于牲畜栏内牲畜的咳嗽区域和咳嗽数量对于牲畜咳嗽区域的判断十分重要,因而在咳嗽检测得到各个通道的咳嗽区间后,即可进行咳嗽区域的定位,以及咳嗽牲畜数量的判断,并据此进行趋势判断。
步骤141,首先可以利用咳嗽检测得到的各个通道的咳嗽区间,进行咳嗽区域定位,从而得到牲畜咳嗽区域,具体可以是,在实际测试过程中发现多数咳嗽区间在过零率统计图中的分布具有显著的区域性,因而,此处可利用各个通道的咳嗽区间在过零率统计图中的分布特性,对牲畜栏内的牲畜进行咳嗽区域定位,以确定牲畜咳嗽区域;
此处,对牲畜栏中的咳嗽区域进行定位,不仅有助于牲畜咳嗽趋势的判断,还能够帮助相关人员快速准确的查找咳嗽声源,从而能够在发病时迅速找到源头,并切断基于源头的疾病传播。
步骤142,随即可以确定牲畜咳嗽区域对应通道的音频数据,即确定牲畜咳嗽区域内的拾音组件,该拾音组件采集的音频数据即牲畜咳嗽区域对应通道的音频数据,接着可据此音频数据进行咳嗽分离,以确定牲畜咳嗽区域内的咳嗽牲畜数目,即通过咳嗽分离确定牲畜咳嗽区域对应通道的音频数据中的咳嗽声音是单只牲畜发出/产生的,还是多只牲畜发出/产生的;
此处,在进行咳嗽分离时,由于牲畜的咳嗽习性大多较为稳定,即牲畜的咳嗽多是连续的,咳嗽时长多在一个固定范围内,并且咳嗽声间大多具有稳定的时间间隔,因而,本发明实施例中,可利用牲畜的咳嗽习性,对牲畜咳嗽区域对应通道的音频数据进行咳嗽分离,以确定牲畜咳嗽区域内的咳嗽牲畜数目。
步骤143,随后可以结合预设时间范围内的牲畜咳嗽区域,以及该牲畜咳嗽区域内的咳嗽牲畜数目,进行牲畜咳嗽趋势的判定,从而得到牲畜咳嗽趋势,此处预设时间范围可以是连续几天,也可以是几个周期/疗程,还可以数月,具体时间可以根据实际相应设定,具体可以是,先统计预设时间范围内的牲畜咳嗽区域,以及该区域内的牲畜咳嗽数目,再在区域层面、区域层面下的牲畜层面、牲畜栏层面中的一种或多种下,利用统计的数据进行对比,以确定牲畜咳嗽趋势;
此处,牲畜咳嗽趋势可以是预设时间范围内牲畜栏内牲畜咳嗽区域的区域变化趋势,牲畜咳嗽区域下牲畜咳嗽数目的数目变化趋势,以及牲畜栏内牲畜咳嗽数目的总体变化趋势中的一种或多种。
步骤144,此后即可结合牲畜咳嗽趋势,以及牲畜姿态状况,进行状态检测,以得到牲畜状态检测结果,即依据牲畜姿态状况所反映的牲畜姿态及其持续时长的变化趋势,以及牲畜咳嗽趋势所体现的牲畜咳嗽症状的变化情况,对牲畜状态进行检测判定,具体可以是,参照牲畜咳嗽区域中的牲畜咳嗽区域的区域变化趋势,牲畜咳嗽区域下牲畜咳嗽数目的数目变化趋势,以及牲畜栏内牲畜咳嗽数目的总体变化趋势中的至少一种,以及牲畜姿态状况中各个牲畜姿态、各个牲畜姿态的持续时长,以及持续时长的时长变化趋势中的一种或多种,检测牲畜状态是否为预警状态,从而得到牲畜状态检测结果。
较之传统方案中忽略了咳嗽数据中掺插的杂音,以及针对于咳嗽区域的定位和咳嗽数目的判定,以致检测结果的准确度和可信度不高,本发明实施例中,通过咳嗽区域的定位能够帮助快速准确的查找病源,在此基础上通过咳嗽分离判断对应牲畜咳嗽区域下的咳嗽牲畜数目,之后结合一定时间范围内的牲畜咳嗽区域,以及其下的咳嗽牲畜数目进行咳嗽趋势分析,并结合牲畜咳嗽趋势以及姿态追踪的牲畜姿态状况进行牲畜状态检测,不仅实现了精准高效的牲畜状态检测,还为后续人工判定牲畜疾病的提供了关键性的辅助信息。
基于上述实施例,图3是本发明提供的牲畜状态检测方法中步骤141的流程示意图,如图3所示,步骤141包括:
步骤141-1,确定各个通道下同一咳嗽区间的过零率均值;
步骤141-2,基于过零率均值,进行咳嗽区域定位,得到牲畜咳嗽区域;或,
步骤141-3,从各个通道下同一咳嗽区间中,选取目标咳嗽区间,基于目标咳嗽区间组建咳嗽数组,目标咳嗽区间为按照从大到小的顺序排列的前预设数量个过零率均值对应通道的咳嗽区间;
步骤141-4,基于咳嗽数组中的奇偶占比,进行咳嗽区域定位,得到牲畜咳嗽区域,奇偶占比基于各目标咳嗽区间对应通道确定。
具体地,步骤141中,依据各个通道的咳嗽区间,进行咳嗽区域定位,从而得到牲畜咳嗽区域的过程,可以包括以下步骤:
由于声源(牲畜栏内发出声音的牲畜)距离各个通道的拾音组件间的距离不同,因而各个通道的拾音组件所采集的音频数据中声音强弱也有所不同,距离声源越远的拾音组件采集的声音强度越弱;反之,距离声源越近的拾音组件采集的声音强度越强。
并且,由于各个通道的音频数据中的咳嗽区间在过零率(Zero Crossing Rate,ZCR)统计图中具有明显的分布特性,因而,本发明实施例中,可以借助不同通道下同一咳嗽区间的过零率均值进行咳嗽区域定位,以确定牲畜咳嗽区域。图4是本发明提供的咳嗽区间在过零率统计图中分布情况的示意图,如图4所示,其分布具有以下特点:
一、大多数咳嗽区间的分布具有显著的区域性;
二、在将通道分为左右两组(1357一组,2468一组)的情况下,咳嗽在这两组的ZCR表现有明显的区分;
三、在将通道分为上下两组(1234一组,5678一组)的情况下,部分咳嗽是在这两组中有明显的区分;
四、在将通道两两划分为六组(13、35、57、24、46和68各自为一组)的情况下,咳嗽在其中某一部分表现突出,而其余部分不显。
具体而言,利用过零率均值进行咳嗽区域定位的过程,可以包括:
步骤141-1,首先需确定各个通道下同一咳嗽区间的过零率均值,即先确定不同通道下的同一咳嗽区间,再计算该咳嗽区间对应于各个通道的ZCR均值,从而得到各个通道下同一咳嗽区间的过零率均值;
步骤141-2,随即可以直接利用各个通道下同一咳嗽区间的过零率均值,进行咳嗽区域定位,以得到牲畜咳嗽区域,具体可以是,直接对比不同通道下同一咳嗽区间的过零率均值的大小,从中确定最大过零率均值对应通道,该通道对应的拾音组件所处区域即为牲畜咳嗽区域,该通道的咳嗽区间即是牲畜咳嗽区域内牲畜的咳嗽片段。
步骤141-3,或者可以以各个通道下同一咳嗽区间的过零率均值为基准,从各个通道下同一咳嗽区间中,选取目标咳嗽区间,具体可以是,将过零率均值按照从大到小或从小到大的顺序进行排序,选取前预设数量个或后预设数量个过零率均值,此处预设数量可以根据实际情况相应设定,例如,可以是3、4、5等;而作为优选,此处将预设数量确定为4,即从过零率均值序列中选取最大的4个过零率均值;
接着,需要确定选取出的各个过零率均值对应通道的咳嗽区间,该咳嗽区间即为目标咳嗽区间,而后即可利用目标咳嗽区间组件咳嗽数组,即将选取出的目标咳嗽区间对应的通道数组成一个数组,从而得到咳嗽数组;
步骤141-4,此后即可根据咳嗽数组中的奇偶占比,进行咳嗽区域定位,以得到牲畜咳嗽区域,具体可以是,先确定咳嗽数组中通道数的奇偶情况,并确定奇数和偶数各自的占比,即咳嗽数组中的奇偶数占比,再利用奇偶占比进行判断,即在奇数通道大于偶数通道的情况下,排除偶数通道选择奇数通道,并从奇数通道中选取最大过零率均值对应通道,该通道对应拾音组件所处区域即牲畜咳嗽区域;
反之,在偶数通道大于奇数通道的情况下,排除奇数通道选择偶数通道,并从偶数通道中选取最大过零率均值对应通道,该通道对应拾音组件所处区域即牲畜咳嗽区域;而在奇偶相等的情况下,则直接从所有通道中选取最大过零率均值对应通道,该通道对应拾音组件所处区域即牲畜咳嗽区域。
本发明实施例中,借助不同通道下同一咳嗽区间的过零率均值进行咳嗽区域定位,不仅能够为咳嗽趋势的判断提供数据支撑,还有助于相关人员在发病时对病源进行准确定位,从而可以及时切断基于源头的疾病传播。
基于上述实施例,图5是本发明提供的牲畜状态检测方法中步骤142的流程示意图,如图5所示,步骤142包括:
步骤142-1,对牲畜咳嗽区域对应通道的音频数据进行过零率检测,并基于过零率检测所得的各个咳嗽片段进行片段融合,得到连续咳嗽片段;
步骤142-2,基于连续咳嗽片段中的声音间隔,和/或,连续咳嗽片段对应的咳嗽频次,确定连续咳嗽片段对应的咳嗽牲畜数目类型;
步骤142-3,在咳嗽牲畜数目类型非单只的情况下,对连续咳嗽片段进行层次聚类,得到以只为单位的牲畜咳嗽片段,基于各个牲畜咳嗽片段的音频特征之间的特征相似度进行片段组合,得到咳嗽牲畜数目。
具体地,步骤142中,依据牲畜咳嗽区域对应通道的音频数据进行咳嗽分离,得到牲畜咳嗽区域内的咳嗽牲畜数目的过程,具体包括:
由于牲畜的咳嗽多是连续的,且咳嗽时长多在一个固定范围内,并且咳嗽声间大多具有稳定的时间间隔,简而言之,牲畜的咳嗽习性大多较为稳定,因而,此处可以在牲畜咳嗽区域对应通道的音频数据的基础上,利用这些牲畜的咳嗽习性,确定咳嗽声音是单只牲畜发出/产生的,还是多只牲畜发出/产生的。具体而言:
步骤142-1,首先需从对应通道的音频数据中识别出连续的咳嗽片段,具体可以是,对牲畜咳嗽区域对应通道的音频数据进行过零率检测,以通过ZCR检测提取出音频数据中的咳嗽片段,然后可以对提取得到的各个咳嗽片段进行片段融合,以确定连续咳嗽片段,即利用牲畜的咳嗽习性(包括单/多只牲畜的咳嗽间隔、咳嗽持续时长等),对提取出的咳嗽片段进行合并,从而得到连续咳嗽片段;
此处,值得注意的是,为确保后续咳嗽分离过程的精准度,本发明实施例中还可对连续咳嗽片段进行检验,以验证合并后的连续咳嗽片段是否是连续咳嗽的声音片段,具体过程包括:可以计算连续咳嗽片段中单个声音的持续时间、单个声音的能量、两两声音间的时间间隔,以及单个声音对应音频帧的咳嗽检测结果中的一种或多种,以判断连续咳嗽片段是否是真实的连续咳嗽的声音片段。
步骤142-2,随即可以初步判断连续咳嗽片段对应的咳嗽牲畜数目,即确定连续咳嗽片段对应的咳嗽牲畜数目类型,该咳嗽牲畜数目类型为单只或多只,即是由单只牲畜发出的,还是由多只牲畜发出的,具体可以是,依据连续咳嗽片段中的声音间隔,和/或,连续咳嗽片段对应的咳嗽频次,判断咳嗽牲畜数目类型,即可以将连续咳嗽片段分离成单个声音,并计算声音间的时间间隔的最小值和平均值,即连续咳嗽片段中的声音间隔的最小值和平均值,若声音间隔的最小值远小于平均值,则可以确定咳嗽牲畜数目类型为多只;对应地,若声音间隔的最小值和平均值相差较小,则可以确定咳嗽牲畜数目类型为单只。
或者可以计算连续咳嗽片段所体现的单位时间内的咳嗽次数,即连续咳嗽片段对应的咳嗽频次,若咳嗽频次超出预设次数阈值,则可以确定连续咳嗽片段对应的咳嗽牲畜数目类型为多只,反之则为单只。
又或者可以同时计算连续咳嗽片段中的声音间隔,以及连续咳嗽片段对应的咳嗽频次,并据此两者共同确定咳嗽牲畜数目类型。此处预设次数阈值为预先设定的用于判定咳嗽牲畜数目类型的数值,其可以根据实际需求、实际情况等相应设定。
步骤142-3,此后即可对咳嗽牲畜数目类型为多只的连续咳嗽片段进行咳嗽分离,以分离为多个单只牲畜的咳嗽片段,具体可以是,对连续咳嗽片段进行层次聚类,得到以只为单位的牲畜咳嗽片段,即将连续咳嗽片段视为两只牲畜的咳嗽片段,并使用层次聚类将其分开,归并到单值牲畜的咳嗽片段中,从而得到以只为单位的牲畜咳嗽片段;之后,可以对牲畜咳嗽片段中的各个片段进行咳嗽检测,旨在剔除其中的非咳嗽片段,从而达到非咳嗽片段拒识的目的
在这之后,还需对各个牲畜咳嗽片段进行片段重组,以将同一牲畜的牲畜咳嗽片段并至一起,从而得到各个牲畜的最终咳嗽片段,同时也确定了咳嗽牲畜数目,具体可以是,利用各个牲畜咳嗽片段的音频特征之间的特征相似度,对各个牲畜咳嗽片段进行片段组合,以得到咳嗽牲畜数目。
具体而言,可以对各个牲畜咳嗽片段的音频特征进行求平均,将多帧平均成一帧,然后开始聚类,即使用改进的k-means(距离度量用余弦距离、欧氏距离等,初始质心为每个连续咳嗽片段的均值点)对两两连续咳嗽片段进行聚类,并定义一个概率值,如此即可得到一个概率值矩阵,对角线为0,其余值为对应聚类的概率值,概率值越大说明两类之间的间隔越大,越不能合并;
接着,需要从概率值矩阵中确定最小概率值所在的行和列,并将其合并,然后计算合并后的片段与其余的片段之间的概率值,将被合并的两个片段从概率值矩阵中删除,将合并后的片段添加进去,往复循环,直至概率值矩阵中最小的概率值满足预设阈值,则停止循环,此时得到的结果即为聚类结果,即各个牲畜的最终咳嗽片段,同时,也可以确定咳嗽牲畜数目。
本发明实施例中,通过对牲畜咳嗽区域对应通道的音频数据,进行咳嗽分离,可以准确确定牲畜栏内的咳嗽牲畜数目,从而为后续牲畜咳嗽趋势的判定提供了数据支撑,还有助于相关人员在发病时精准确定牲畜的发病数目,以及传染范围。
基于上述实施例,图6是本发明提供的牲畜状态检测方法中步骤120的流程示意图,如图6所示,步骤120包括:
步骤121,对各个通道的音频数据进行一维卷积,得到各个通道的一维卷积特征;
步骤122,提取各个通道的音频数据的音频特征,并对音频特征进行二维卷积,得到各个通道的二维卷积特征;
步骤123,基于各个通道的一维卷积特征之间的频率相关性,以及各个通道的二维卷积特征之间的通道相关性和空间相关性,对各个通道的一维卷积特征,以及各个通道的二维卷积特征进行融合;
步骤124,基于融合所得的各个通道的融合特征进行咳嗽检测,得到各个通道的咳嗽区间。
具体地,步骤120中,利用各个通道的音频数据进行咳嗽检测,以得到各个通道的咳嗽区间的过程,具体包括以下步骤:
图7是本发明提供的咳嗽检测过程的框架示意图,如图7所示,本发明实施例中,在进行咳嗽检测时采用双流支路方法,分别对音频数据和音频特征进行处理,以得到两个支路的特征,然后可据此两者的融合特征进行咳嗽检测,最终得到各个通道的咳嗽区间。具体而言:
步骤121,在第一条支路中,首先可以对音频数据进行处理,即使用两个一维卷积模块,对初步降噪后的音频数据进行一维卷积,此处一维卷积模块包括三个不同长度和步长的滤波器和归一化层,调整长度和步长可以实现音频的分帧大小的调节,例如,1秒的音频采样率为16000,经过两个一维卷积模块(步长分别为(5,4,4)和(4,2,1))后,能够得到帧的一维卷积特征。各个通道的音频数据经过一维卷积模块后可以得到各个通道的一维卷积特征,该一维卷积特征的大小为T*C,其中T为音频的帧长度,C为通道数。
步骤122,在第二条支路中,首先可以对音频数据的音频特征进行处理,此处的音频特征是通过对音频数据进行特征提取得到,其可以是Fbank、PCEN、CQT特征、log mel特征中的任意一种,也可以是多种的组合,其组合方式必须是保持时间轴不变的connect融合,如此可保证特征在时序上的一致性;即使用两个二维卷积模块,对音频特征进行二维卷积(特征提取),此处每个二维卷积模块包含三个卷积层、三个BN(Batch-Normalization,批量归一化)层,以及一个沿时间序列的池化层,该池化层能够使时间序列保持不变,各个通道的音频特征经过两个二维卷积模块后可以得到各个通道的二维卷积特征,该二维卷积特征的大小为T*F*C,其中,F表示特征维度。
步骤123,可以以各个通道的一维卷积特征之间的频率相关性,以及各个通道的二维卷积特征之间的通道相关性和空间相关性为基准,对各个通道的一维卷积特征,以及各个通道的二维卷积特征进行融合,具体可以是,在第一条支路中,可以将一维卷积特征的通道数C分为M组,满足每组包含G个频率单元,最后可以得到大小为T*G*M大小的一维卷积特征,之后可将该一维卷积特征输入至频率注意力机制中,以学习不同频率单元对该一维卷积特征的重要性,经过频率注意力机制处理后的特征即为第一条支路的特征;
同时,在第二条支路中,可以将二维卷积特征输入至混合注意力机制中,该混合注意力机制包括通道注意力机制和空间注意力机制,以学习不同特征维度和不同通道数对于该二维卷积特征的重要性,经过混合注意力机制处理后的特征即为第二条支路的特征;
之后,即可将两条支路的特征进行融合,融合过程需保持音频的帧长度T不变,将两条支路的特征reshape到相同大小后直接进行拼接,最终可以得到各个通道的融合特征。
步骤124,此后即可据此各个通道的融合特征进行咳嗽检测,从而得到各个通道的咳嗽区间,具体可以是,先经过通道注意力机制学习融合特征在不同通道的重要性,然后连接一个MLP(Multilayer Perceptron,多层感知机),通过一个softmax函数来输出不同音频帧的咳嗽检测结果,该检测结果包括声音类型,以及类型得分,声音类名表明对应音频帧是否是咳嗽声音,类型得分即该音频帧对应于该类型的概率。
基于上述实施例,图8是本发明提供的牲畜状态检测方法中步骤123的流程示意图,如图8所示,步骤123包括:
步骤123-1,基于各个通道的一维卷积特征之间的频率相关性,确定各个通道的一维卷积特征的第一注意力权重;
步骤123-2,基于各个通道的二维卷积特征之间的通道相关性和空间相关性,确定各个通道的二维卷积特征的第二注意力权重;
步骤123-3,基于第一注意力权重和第二注意力权重,对各个通道的一维卷积特征,以及各个通道的二维卷积特征进行融合。
具体地,步骤123中,依据各个通道的一维卷积特征之间的频率相关性,以及各个通道的二维卷积特征之间的通道相关性和空间相关性,对各个通道的一维卷积特征,以及各个通道的二维卷积特征进行融合的过程,具体包括以下步骤:
步骤123-1,首先可以通过频率注意力机制,学习不同频率单元对该一维卷积特征的重要性,即学习各个通道的一维卷积特征之间的频率相关性,此处通过频率注意力机制进行相关性学习的过程,即确定一维卷积特征中各个通道的注意力权重的过程,经过该过程可以加重咳嗽相关通道的权重,削弱不相关通道的权重,从而可以得到各个通道的一维卷积特征的注意力权重,为便于区分,将此注意力权重称为第一注意力权重;
步骤123-2,同时可以通过混合注意力机制,学习不同特征维度和不同通道数对于该二维卷积特征的重要性,即学习各个通道的二维卷积特征之间的通道相关性和空间相关性,此处通过混合注意力机制进行相关性学习的过程,即确定二维卷积特征中各个通道的注意力权重的过程,经过该过程可以加重咳嗽相关通道和相关特征维度的权重,削弱不相关通道和不相关特征维度的权重,从而可以得到各个通道的二维卷积特征的第二注意力权重,此处的第二注意力权重实际上结合了二维卷积特征的空间注意力权重和通道注意力权重,综合性更强。
步骤123-3,此后即可利用第一注意力权重,以及第二注意力权重,对各个通道的一维卷积特征和二维卷积特征进行融合,从而得到各个通道的融合特征,具体可以是,以第一注意力权重,以及第二注意力权重为基准,融合各个通道的一维卷积特征和二维卷积特征,融合过程需保持音频的帧长度T不变,将两者reshape到相同大小后直接进行拼接,最终可以得到各个通道的融合特征。
基于上述实施例,牲畜姿态状况包括各个牲畜姿态、各个牲畜姿态的持续时长,以及持续时长的时长变化趋势,各个牲畜姿态包括站立姿态、犬坐姿态、侧卧姿态、趴地姿态中的至少一种;
牲畜咳嗽趋势包括牲畜咳嗽区域的区域变化趋势、牲畜咳嗽区域内的咳嗽牲畜数目的数目变化趋势,以及牲畜栏内的咳嗽牲畜数目的总体变化趋势中的至少一种。
具体地,上述利用牲畜栏内的视频数据进行姿态追踪,得到的牲畜姿态数据中包含有牲畜的各个姿态,即各个牲畜姿态,以及各个牲畜姿态的持续时长和持续时长的时长变化趋势;其中,各个牲畜姿态包括站立姿态、犬坐姿态、侧卧姿态、趴地姿态中的至少一种。
对应地,利用预设时间范围内的牲畜咳嗽区域,以及牲畜咳嗽区域内的咳嗽牲畜数目进行咳嗽趋势判定,得到的牲畜咳嗽趋势,则包含牲畜咳嗽区域的区域变化趋势、牲畜咳嗽区域内的咳嗽牲畜数目的数目变化趋势,以及牲畜栏内的咳嗽牲畜数目的总体变化趋势中的至少一种。下面以三天为例,对牲畜咳嗽趋势的确定过程进行说明:
区域变化趋势:统计连续三天内的牲畜咳嗽区域,并通过牲畜咳嗽区域的数目变化,确定牲畜咳嗽区域的区域变化趋势,例如,若连续三天内牲畜咳嗽区域的增长率保持在15%以上,则确定牲畜咳嗽区域的区域变化趋势为上升。
数目变化趋势:统计连续三天内牲畜咳嗽区域内的咳嗽牲畜数目,并通过咳嗽牲畜数目内咳嗽牲畜数目的数目变化,确定牲畜咳嗽区域内的咳嗽牲畜数目的数目变化趋势,例如,若连续三天内牲畜咳嗽区域内的咳嗽牲畜数目的增长率保持在5%以上,则确定牲畜咳嗽区域内的咳嗽牲畜数目的数目变化趋势为上升。
总体变化趋势:统计连续三天内牲畜栏内的咳嗽牲畜数目,并通过牲畜栏内的咳嗽牲畜数目的数目变化,确定牲畜栏内的咳嗽牲畜数目的总体变化趋势;也可以将所有通道的咳嗽区间滤除重复后,进行合并,得到整体的咳嗽检测区间,据此咳嗽检测区间进行区域定位和咳嗽分离的结果作为整个牲畜栏的咳嗽牲畜数目,统计连续三天内这一咳嗽牲畜数目的数目变化,从而确定牲畜栏内的咳嗽牲畜数目的总体变化趋势。例如,若连续三天内牲畜栏内的咳嗽牲畜数目的增长率保持在10%以上,则确定总体变化趋势为上升。
基于上述实施例,步骤144包括:
在牲畜姿态状况中的非站立姿态的持续时长为上升,且牲畜咳嗽趋势中的区域变化趋势、数目变化趋势,以及总体变化趋势中的至少一种为上升的情况下,确定牲畜状态检测结果为预警状态;
在牲畜姿态状况中的非站立姿态的持续时长非上升,且牲畜咳嗽趋势中的区域变化趋势、数目变化趋势,以及总体变化趋势中的至少两种为上升的情况下,确定牲畜状态检测结果为预警状态。
具体地,步骤144中,依据牲畜咳嗽趋势以及牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果的过程,包括以下两种情况:
其一,在牲畜姿态状况中的非站立姿态的持续时长为上升,且牲畜咳嗽趋势中的区域变化趋势、数目变化趋势,以及总体变化趋势中的至少一种为上升的情况下,即牲畜姿态状况中的犬坐姿态、侧卧姿态、趴地姿态的持续时长在上升,且满足牲畜咳嗽区域增多、牲畜咳嗽区域内的咳嗽牲畜数目增多,以及牲畜栏内的咳嗽牲畜数目增多中的一种或多种时,可以确定牲畜状态检测结果为预警状态,即此时需对其进行预警,以使相关人员能够知晓牲畜状态。
其二,在牲畜姿态状况中的非站立姿态的持续时长非上升,且牲畜咳嗽趋势中的区域变化趋势、数目变化趋势,以及总体变化趋势中的至少两种为上升的情况下,即牲畜姿态状况中的犬坐姿态、侧卧姿态、趴地姿态的持续时长基本不变或者在下降,且满足牲畜咳嗽区域增多、牲畜咳嗽区域内的咳嗽牲畜数目增多,以及牲畜栏内的咳嗽牲畜数目增多中的两种或同时满足上述三种时,可以确定牲畜状态检测结果为预警状态,此时同样需对其进行预警。
进一步地,在确定牲畜状态检测结果为预警状态,并进行牲畜预警后,若某一牲畜咳嗽区域内咳嗽牲畜数目的数目变化趋势为上升,则需对该牲畜咳嗽区域内的牲畜进行预备预警,即需将该区域的相关信息提供至相关人员,以使其能知晓该区域的牲畜状态。对应地,若各个牲畜咳嗽区域内咳嗽牲畜数目的数目变化趋势均非上升,则对咳嗽牲畜数目最多的牲畜咳嗽区域内的牲畜进行预备预警。
基于上述实施例,图9是本发明提供的牲畜状态检测方法中步骤130的流程示意图,如图9所示,步骤130包括:
步骤131,基于视频数据中的各视频帧进行姿态检测,得到各视频帧的姿态检测结果;
步骤132,基于各视频帧的姿态检测结果,以及视频数据进行姿态追踪,得到牲畜姿态状况。
具体地,步骤130中,利用视频数据进行姿态追踪,以得到牲畜姿态状况的过程,具体包括如下步骤:
由于牲畜疾病的表现症状大多不仅体现于声音层面,还可以体现于动作层面,如猪只呼吸道疾病多伴随着姿态变化,常见的是猪只呈犬式坐姿咳嗽、趴在地上咳嗽、猪只侧卧喘气等,因而,在得到视频数据后,可以利用其进行姿态检测,如检测猪只姿态是犬坐姿态、趴地姿态、侧卧姿态、站立姿态等,又由于牲畜的各个姿态间的差异较为明显,因而可以直接利用常规的姿态检测模型,对其进行姿态检测。
步骤131,首先可以利用视频数据中的各视频帧进行姿态检测,以确定各视频帧的姿态检测结果,具体可以是,将视频数据输入至姿态检测模型,姿态检测模型可根据输入的各视频帧进行姿态检测,以识别犬坐姿态、趴地姿态、侧卧姿态、站立姿态等,最终得到姿态检测模型输出的帧级的姿态检测结果,即各视频帧的姿态检测结果;
而在将视频数据输入至姿态检测模型之前,还可以应用样本牲畜图像,以及样本牲畜图像的姿态类别标签,预先训练得到姿态检测模型,即可以按照目标检测的形式进行标注,得到样本牲畜图像中的目标矩形框,以及其对应姿态类别标签,两者形成训练数据集,然后,在训练数据集的基础上,直接采用yolov5训练一个常规的姿态检测模型,并且由于牲畜的不同姿态间的差异明显,因而模型训练难度小,而无需使用一些大的目标检测模型,节省了时间精力,推进了牲畜状态检测进程。
步骤132,随即可以利用各个视频帧的姿态检测结果,以及视频数据进行姿态追踪,从而得到牲畜姿态状况,即在各个视频帧的姿态检测结果的基础上,结合基于IOU(Intersection over Union,交并比)的目标跟踪算法,对不同牲畜进行姿态追踪,当牲畜的姿态发生变化时结束本次追踪,同时保持牲畜ID(Identity document,身份标识号)不变开始下一次追踪,最终可以得到牲畜的各个姿态、各个姿态的持续时长,以及持续时长的时长变化趋势,即牲畜姿态状况。
即可以以分为时间单位统计牲畜的不同姿态的持续时间,例如,猪只的趴地姿态和侧卧姿态的持续时间通常是最长的,经过一段时间的统计,可以得到该段时间内不同时段中牲畜栏中的牲畜姿态状况,其包含各个牲畜姿态、各个牲畜姿态的持续时长,以及持续时长的时长变化趋势。
本发明实施例中,借助视频数据进行姿态检测,能够为牲畜状态检测提供牲畜姿态状况,从而使得牲畜状态检测过程的信息更加全面,视角更加完善,检测所得的牲畜状态检测结果的准确度更高。
图10是本发明提供的牲畜状态检测方法的总体框架图,如图10所示,牲畜状态检测方法的总体包括:
首先,确定牲畜栏内的视频数据,以及至少两个通道的音频数据;
随即,基于各个通道的音频数据进行咳嗽检测,得到各个通道的咳嗽区间,具体可以是,对各个通道的音频数据进行一维卷积,得到各个通道的一维卷积特征;提取各个通道的音频数据的音频特征,并对音频特征进行二维卷积,得到各个通道的二维卷积特征;基于各个通道的一维卷积特征之间的频率相关性,以及各个通道的二维卷积特征之间的通道相关性和空间相关性,对各个通道的一维卷积特征,以及各个通道的二维卷积特征进行融合;基于融合所得的各个通道的融合特征进行咳嗽检测,得到各个通道的咳嗽区间;
其中,基于各个通道的一维卷积特征之间的频率相关性,以及各个通道的二维卷积特征之间的通道相关性和空间相关性,对各个通道的一维卷积特征,以及各个通道的二维卷积特征进行融合,具体包括:基于各个通道的一维卷积特征之间的频率相关性,确定各个通道的一维卷积特征的第一注意力权重;基于各个通道的二维卷积特征之间的通道相关性和空间相关性,确定各个通道的二维卷积特征的第二注意力权重;基于第一注意力权重和第二注意力权重,对各个通道的一维卷积特征,以及各个通道的二维卷积特征进行融合。
随后,基于视频数据进行姿态追踪,得到牲畜姿态状况,具体可以是,基于视频数据中的各视频帧进行姿态检测,得到各视频帧的姿态检测结果;基于各视频帧的姿态检测结果,以及视频数据进行姿态追踪,得到牲畜姿态状况;
此后,基于各个通道的咳嗽区间,以及牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果,具体可以是,基于各个通道的咳嗽区间进行咳嗽区域定位,得到牲畜咳嗽区域;基于牲畜咳嗽区域对应通道的音频数据,进行咳嗽分离,得到牲畜咳嗽区域内的咳嗽牲畜数目;基于预设时间范围内的牲畜咳嗽区域,以及牲畜咳嗽区域内的咳嗽牲畜数目,确定牲畜咳嗽趋势;基于牲畜咳嗽趋势,以及牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
其中,基于各个通道的咳嗽区间进行咳嗽区域定位,得到牲畜咳嗽区域,具体包括:确定各个通道下同一咳嗽区间的过零率均值;基于过零率均值,进行咳嗽区域定位,得到牲畜咳嗽区域;或,从各个通道下同一咳嗽区间中,选取目标咳嗽区间,基于目标咳嗽区间组建咳嗽数组,目标咳嗽区间为按照从大到小的顺序排列的前预设数量个过零率均值对应通道的咳嗽区间;基于咳嗽数组中的奇偶占比,进行咳嗽区域定位,得到牲畜咳嗽区域,奇偶占比基于各目标咳嗽区间对应通道确定。
基于牲畜咳嗽区域对应通道的音频数据,进行咳嗽分离,得到牲畜咳嗽区域内的咳嗽牲畜数目,包括:对牲畜咳嗽区域对应通道的音频数据进行过零率检测,并基于过零率检测所得的各个咳嗽片段进行片段融合,得到连续咳嗽片段;基于连续咳嗽片段中的声音间隔,和/或,连续咳嗽片段对应的咳嗽频次,确定连续咳嗽片段对应的咳嗽牲畜数目类型;在咳嗽牲畜数目类型非单只的情况下,对连续咳嗽片段进行层次聚类,得到以只为单位的牲畜咳嗽片段,基于各个牲畜咳嗽片段的音频特征之间的特征相似度进行片段组合,得到咳嗽牲畜数目。
此处,牲畜姿态状况包括各个牲畜姿态、各个牲畜姿态的持续时长,以及持续时长的时长变化趋势,各个牲畜姿态包括站立姿态、犬坐姿态、侧卧姿态、趴地姿态中的至少一种;牲畜咳嗽趋势包括牲畜咳嗽区域的区域变化趋势、牲畜咳嗽区域内的咳嗽牲畜数目的数目变化趋势,以及牲畜栏内的咳嗽牲畜数目的总体变化趋势中的至少一种。
基于牲畜咳嗽趋势,以及牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果,具体包括:在牲畜姿态状况中的非站立姿态的持续时长为上升,且牲畜咳嗽趋势中的区域变化趋势、数目变化趋势,以及总体变化趋势中的至少一种为上升的情况下,确定牲畜状态检测结果为预警状态;在牲畜姿态状况中的非站立姿态的持续时长非上升,且牲畜咳嗽趋势中的区域变化趋势、数目变化趋势,以及总体变化趋势中的至少两种为上升的情况下,确定牲畜状态检测结果为预警状态。
本发明实施例提供的方法,通过各个通道的音频数据进行咳嗽检测,结合帧级的咳嗽检测结果确定各个通道的咳嗽区间,通过视频数据进行姿态追踪,得到牲畜姿态状况;结合各个通道的咳嗽区间,以及牲畜姿态状况,共同进行牲畜状态检测,克服了传统方案中基于单一音频数据的检测效果不佳的缺陷,实现了牲畜状态检测结果准确度和可信度的双重提升,此外借此牲畜状态检测结果可以针对于牲畜进行疾病预防,能够在疾病爆发前期提醒相关人员进行进一步检测和针对性用药,以减轻治病率和传染力,及时救治牲畜,大幅度地减少养殖场的损失。同时,自动化的牲畜状态检测流程避免了人工检测判断的主观性和不定性,也节省了人工判断所需耗费的时间精力。
下面对本发明提供的牲畜状态检测装置进行描述,下文描述的牲畜状态检测装置与上文描述的牲畜状态检测方法可相互对应参照。
图11是本发明提供的牲畜状态检测装置的结构示意图,如图11所示,该装置包括:
数据确定单元1110,用于确定牲畜栏内的视频数据,以及至少两个通道的音频数据;
咳嗽检测单元1120,用于基于各个通道的音频数据进行咳嗽检测,得到所述各个通道的咳嗽区间;
姿态追踪单元1130,用于基于所述视频数据进行姿态追踪,得到牲畜姿态状况;
状态检测单元1140,用于基于所述各个通道的咳嗽区间,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
本发明提供的牲畜状态检测装置,通过各个通道的音频数据进行咳嗽检测,结合帧级的咳嗽检测结果确定各个通道的咳嗽区间,通过视频数据进行姿态追踪,得到牲畜姿态状况;结合各个通道的咳嗽区间,以及牲畜姿态状况,共同进行牲畜状态检测,克服了传统方案中基于单一音频数据的检测效果不佳的缺陷,实现了牲畜状态检测结果准确度和可信度的双重提升,此外借此牲畜状态检测结果可以针对于牲畜进行疾病预防,能够在疾病爆发前期提醒相关人员进行进一步检测和针对性用药,以减轻治病率和传染力,及时救治牲畜,大幅度地减少养殖场的损失。同时,自动化的牲畜状态检测流程避免了人工检测判断的主观性和不定性,也节省了人工判断所需耗费的时间精力。
基于上述实施例,状态检测单元1140用于:
基于各个通道的咳嗽区间进行咳嗽区域定位,得到牲畜咳嗽区域;
基于所述牲畜咳嗽区域对应通道的音频数据,进行咳嗽分离,得到所述牲畜咳嗽区域内的咳嗽牲畜数目;
基于预设时间范围内的牲畜咳嗽区域,以及所述牲畜咳嗽区域内的咳嗽牲畜数目,确定牲畜咳嗽趋势;
基于所述牲畜咳嗽趋势,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
基于上述实施例,状态检测单元1140用于:
确定所述各个通道下同一咳嗽区间的过零率均值;
基于所述过零率均值,进行咳嗽区域定位,得到牲畜咳嗽区域;
或,从所述各个通道下同一咳嗽区间中,选取目标咳嗽区间,基于所述目标咳嗽区间组建咳嗽数组,所述目标咳嗽区间为按照从大到小的顺序排列的前预设数量个所述过零率均值对应通道的咳嗽区间;
基于所述咳嗽数组中的奇偶占比,进行咳嗽区域定位,得到牲畜咳嗽区域,所述奇偶占比基于各目标咳嗽区间对应通道确定。
基于上述实施例,状态检测单元1140用于:
对所述牲畜咳嗽区域对应通道的音频数据进行过零率检测,并基于过零率检测所得的各个咳嗽片段进行片段融合,得到连续咳嗽片段;
基于所述连续咳嗽片段中的声音间隔,和/或,所述连续咳嗽片段对应的咳嗽频次,确定所述连续咳嗽片段对应的咳嗽牲畜数目类型;
在所述咳嗽牲畜数目类型非单只的情况下,对所述连续咳嗽片段进行层次聚类,得到以只为单位的牲畜咳嗽片段,基于各个牲畜咳嗽片段的音频特征之间的特征相似度进行片段组合,得到咳嗽牲畜数目。
基于上述实施例,咳嗽检测单元1120用于:
对所述各个通道的音频数据进行一维卷积,得到所述各个通道的一维卷积特征;
提取所述各个通道的音频数据的音频特征,并对所述音频特征进行二维卷积,得到所述各个通道的二维卷积特征;
基于所述各个通道的一维卷积特征之间的频率相关性,以及所述各个通道的二维卷积特征之间的通道相关性和空间相关性,对所述各个通道的一维卷积特征,以及所述各个通道的二维卷积特征进行融合;
基于融合所得的所述各个通道的融合特征进行咳嗽检测,得到所述各个通道的咳嗽区间。
基于上述实施例,咳嗽检测单元1120用于:
基于所述各个通道的一维卷积特征之间的频率相关性,确定所述各个通道的一维卷积特征的第一注意力权重;
基于所述各个通道的二维卷积特征之间的通道相关性和空间相关性,确定所述各个通道的二维卷积特征的第二注意力权重;
基于所述第一注意力权重和所述第二注意力权重,对所述各个通道的一维卷积特征,以及所述各个通道的二维卷积特征进行融合。
基于上述实施例,所述牲畜姿态状况包括各个牲畜姿态、所述各个牲畜姿态的持续时长,以及所述持续时长的时长变化趋势,所述各个牲畜姿态包括站立姿态、犬坐姿态、侧卧姿态、趴地姿态中的至少一种;
所述牲畜咳嗽趋势包括所述牲畜咳嗽区域的区域变化趋势、所述牲畜咳嗽区域内的咳嗽牲畜数目的数目变化趋势,以及所述牲畜栏内的咳嗽牲畜数目的总体变化趋势中的至少一种。
基于上述实施例,状态检测单元1140用于:
在所述牲畜姿态状况中的非站立姿态的持续时长为上升,且所述牲畜咳嗽趋势中的所述区域变化趋势、所述数目变化趋势,以及所述总体变化趋势中的至少一种为上升的情况下,确定所述牲畜状态检测结果为预警状态;
在所述牲畜姿态状况中的非站立姿态的持续时长非上升,且所述牲畜咳嗽趋势中的所述区域变化趋势、所述数目变化趋势,以及所述总体变化趋势中的至少两种为上升的情况下,确定所述牲畜状态检测结果为预警状态。
基于上述实施例,姿态追踪单元1130用于:
基于所述视频数据中的各视频帧进行姿态检测,得到所述各视频帧的姿态检测结果;
基于所述各视频帧的姿态检测结果,以及所述视频数据进行姿态追踪,得到牲畜姿态状况。
图12示例了一种电子设备的实体结构示意图,如图12所示,该电子设备可以包括:处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240,其中,处理器1210,通信接口1220,存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令,以执行牲畜状态检测方法,该方法包括:确定牲畜栏内的视频数据,以及至少两个通道的音频数据;基于各个通道的音频数据进行咳嗽检测,得到所述各个通道的咳嗽区间;基于所述视频数据进行姿态追踪,得到牲畜姿态状况;基于所述各个通道的咳嗽区间,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
此外,上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的牲畜状态检测方法,该方法包括:确定牲畜栏内的视频数据,以及至少两个通道的音频数据;基于各个通道的音频数据进行咳嗽检测,得到所述各个通道的咳嗽区间;基于所述视频数据进行姿态追踪,得到牲畜姿态状况;基于所述各个通道的咳嗽区间,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法所提供的牲畜状态检测方法,该方法包括:确定牲畜栏内的视频数据,以及至少两个通道的音频数据;基于各个通道的音频数据进行咳嗽检测,得到所述各个通道的咳嗽区间;基于所述视频数据进行姿态追踪,得到牲畜姿态状况;基于所述各个通道的咳嗽区间,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种牲畜状态检测方法,其特征在于,包括:
确定牲畜栏内的视频数据,以及至少两个通道的音频数据;
基于各个通道的音频数据进行咳嗽检测,得到所述各个通道的咳嗽区间;
基于所述视频数据进行姿态追踪,得到牲畜姿态状况;
基于所述各个通道的咳嗽区间,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
2.根据权利要求1所述的牲畜状态检测方法,其特征在于,所述基于所述各个通道的咳嗽区间,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果,包括:
基于各个通道的咳嗽区间进行咳嗽区域定位,得到牲畜咳嗽区域;
基于所述牲畜咳嗽区域对应通道的音频数据,进行咳嗽分离,得到所述牲畜咳嗽区域内的咳嗽牲畜数目;
基于预设时间范围内的牲畜咳嗽区域,以及所述牲畜咳嗽区域内的咳嗽牲畜数目,确定牲畜咳嗽趋势;
基于所述牲畜咳嗽趋势,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
3.根据权利要求2所述的牲畜状态检测方法,其特征在于,所述基于各个通道的咳嗽区间进行咳嗽区域定位,得到牲畜咳嗽区域,包括:
确定所述各个通道下同一咳嗽区间的过零率均值;
基于所述过零率均值,进行咳嗽区域定位,得到牲畜咳嗽区域;
或,从所述各个通道下同一咳嗽区间中,选取目标咳嗽区间,基于所述目标咳嗽区间组建咳嗽数组,所述目标咳嗽区间为按照从大到小的顺序排列的前预设数量个所述过零率均值对应通道的咳嗽区间;
基于所述咳嗽数组中的奇偶占比,进行咳嗽区域定位,得到牲畜咳嗽区域,所述奇偶占比基于各目标咳嗽区间对应通道确定。
4.根据权利要求2所述的牲畜状态检测方法,其特征在于,所述基于所述牲畜咳嗽区域对应通道的音频数据,进行咳嗽分离,得到所述牲畜咳嗽区域内的咳嗽牲畜数目,包括:
对所述牲畜咳嗽区域对应通道的音频数据进行过零率检测,并基于过零率检测所得的各个咳嗽片段进行片段融合,得到连续咳嗽片段;
基于所述连续咳嗽片段中的声音间隔,和/或,所述连续咳嗽片段对应的咳嗽频次,确定所述连续咳嗽片段对应的咳嗽牲畜数目类型;
在所述咳嗽牲畜数目类型非单只的情况下,对所述连续咳嗽片段进行层次聚类,得到以只为单位的牲畜咳嗽片段,基于各个牲畜咳嗽片段的音频特征之间的特征相似度进行片段组合,得到咳嗽牲畜数目。
5.根据权利要求1至4中任一项所述的牲畜状态检测方法,其特征在于,所述基于各个通道的音频数据进行咳嗽检测,得到所述各个通道的咳嗽区间,包括:
对所述各个通道的音频数据进行一维卷积,得到所述各个通道的一维卷积特征;
提取所述各个通道的音频数据的音频特征,并对所述音频特征进行二维卷积,得到所述各个通道的二维卷积特征;
基于所述各个通道的一维卷积特征之间的频率相关性,以及所述各个通道的二维卷积特征之间的通道相关性和空间相关性,对所述各个通道的一维卷积特征,以及所述各个通道的二维卷积特征进行融合;
基于融合所得的所述各个通道的融合特征进行咳嗽检测,得到所述各个通道的咳嗽区间。
6.根据权利要求5所述的牲畜状态检测方法,其特征在于,所述基于所述各个通道的一维卷积特征之间的频率相关性,以及所述各个通道的二维卷积特征之间的通道相关性和空间相关性,对所述各个通道的一维卷积特征,以及所述各个通道的二维卷积特征进行融合,包括:
基于所述各个通道的一维卷积特征之间的频率相关性,确定所述各个通道的一维卷积特征的第一注意力权重;
基于所述各个通道的二维卷积特征之间的通道相关性和空间相关性,确定所述各个通道的二维卷积特征的第二注意力权重;
基于所述第一注意力权重和所述第二注意力权重,对所述各个通道的一维卷积特征,以及所述各个通道的二维卷积特征进行融合。
7.根据权利要求2至4中任一项所述的牲畜状态检测方法,其特征在于,所述牲畜姿态状况包括各个牲畜姿态、所述各个牲畜姿态的持续时长,以及所述持续时长的时长变化趋势,所述各个牲畜姿态包括站立姿态、犬坐姿态、侧卧姿态、趴地姿态中的至少一种;
所述牲畜咳嗽趋势包括所述牲畜咳嗽区域的区域变化趋势、所述牲畜咳嗽区域内的咳嗽牲畜数目的数目变化趋势,以及所述牲畜栏内的咳嗽牲畜数目的总体变化趋势中的至少一种。
8.根据权利要求7所述的牲畜状态检测方法,其特征在于,所述基于所述牲畜咳嗽趋势,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果,包括:
在所述牲畜姿态状况中的非站立姿态的持续时长为上升,且所述牲畜咳嗽趋势中的所述区域变化趋势、所述数目变化趋势,以及所述总体变化趋势中的至少一种为上升的情况下,确定所述牲畜状态检测结果为预警状态;
在所述牲畜姿态状况中的非站立姿态的持续时长非上升,且所述牲畜咳嗽趋势中的所述区域变化趋势、所述数目变化趋势,以及所述总体变化趋势中的至少两种为上升的情况下,确定所述牲畜状态检测结果为预警状态。
9.根据权利要求1至4中任一项所述的牲畜状态检测方法,其特征在于,所述基于所述视频数据进行姿态追踪,得到牲畜姿态状况,包括:
基于所述视频数据中的各视频帧进行姿态检测,得到所述各视频帧的姿态检测结果;
基于所述各视频帧的姿态检测结果,以及所述视频数据进行姿态追踪,得到牲畜姿态状况。
10.一种牲畜状态检测装置,其特征在于,包括:
数据确定单元,用于确定牲畜栏内的视频数据,以及至少两个通道的音频数据;
咳嗽检测单元,用于基于各个通道的音频数据进行咳嗽检测,得到所述各个通道的咳嗽区间;
姿态追踪单元,用于基于所述视频数据进行姿态追踪,得到牲畜姿态状况;
状态检测单元,用于基于所述各个通道的咳嗽区间,以及所述牲畜姿态状况,进行牲畜状态检测,得到牲畜状态检测结果。
11.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至9任一项所述的牲畜状态检测方法。
12.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的牲畜状态检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211600641.1A CN115885884A (zh) | 2022-12-12 | 2022-12-12 | 牲畜状态检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211600641.1A CN115885884A (zh) | 2022-12-12 | 2022-12-12 | 牲畜状态检测方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115885884A true CN115885884A (zh) | 2023-04-04 |
Family
ID=86496911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211600641.1A Pending CN115885884A (zh) | 2022-12-12 | 2022-12-12 | 牲畜状态检测方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115885884A (zh) |
-
2022
- 2022-12-12 CN CN202211600641.1A patent/CN115885884A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jingqiu et al. | Cow behavior recognition based on image analysis and activities | |
TWI645339B (zh) | 動物用非侵入式多模態生物特徵辨識系統 | |
CN111294565A (zh) | 一种智能化养猪监测方法和管理端 | |
CN111259978A (zh) | 一种融合多区域深度特征的奶牛个体身份识别方法 | |
WO2021104007A1 (zh) | 一种动物状态监测方法、装置、电子设备及存储介质 | |
Ayadi et al. | Dairy cow rumination detection: A deep learning approach | |
CN116778430B (zh) | 肉牛养殖的疾病监测系统及其方法 | |
CN111914951A (zh) | 一种基于图像实时识别的农作物害虫智能诊断系统及方法 | |
CN113785783B (zh) | 一种牲畜分群系统及方法 | |
CN111339850A (zh) | 一种基于支撑时相的奶牛跛行检测方法与系统 | |
TW202040429A (zh) | 產乳動物採食分析系統與方法 | |
CN115830078A (zh) | 生猪多目标跟踪及行为识别方法、计算机设备与存储介质 | |
CN113591520A (zh) | 一种图像识别方法、入侵对象检测方法及装置 | |
CN116824626A (zh) | 一种动物异常状态人工智能识别的方法 | |
CN113068657B (zh) | 一种智能化高效养猪方法及系统 | |
CN112434577B (zh) | 奶牛跛行检测方法及奶牛跛行检测装置 | |
Sun et al. | Basic behavior recognition of yaks based on improved SlowFast network | |
CN115885884A (zh) | 牲畜状态检测方法、装置、电子设备和存储介质 | |
Chelotti et al. | Livestock feeding behaviour: A review on automated systems for ruminant monitoring | |
CN115984959A (zh) | 基于神经网络与质心跟踪的牛类异常行为检测方法及系统 | |
CN115661717A (zh) | 牲畜爬跨行为标注方法、装置、电子设备及存储介质 | |
CN111476118B (zh) | 一种动物行为自动识别方法及装置 | |
KR102424901B1 (ko) | 객체 인식 알고리즘에 기초한 소의 발정 발현 판정방법 | |
Wang et al. | A deep learning approach combining DeepLabV3+ and improved YOLOv5 to detect dairy cow mastitis | |
Paneru et al. | Tracking dustbathing behavior of cage-free laying hens with machine vision technologies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |