CN112043254A

CN112043254A - 一种基于视频图像的对虾心率检测方法及系统

Info

Publication number: CN112043254A
Application number: CN202010804988.2A
Authority: CN
Inventors: 胡天宇; 钱义洋; 陈佳; 张榕鑫
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2020-08-12
Filing date: 2020-08-12
Publication date: 2020-12-08

Abstract

本发明公开了一种基于视频图像的对虾心率检测方法及系统，具体包括：通过视频获取模块获取目标对虾视频图像；通过ROI选取模块识别视频图像中对虾的心脏区域并获得原始信号序列；通过信号处理模块从原始信号序列中提取出心率信号；最后通过心率计算模块完成心率数值的计算。本发明方案无需在对虾身上放置传感器或电极，仅用相机或摄像头就可以完成无接触的心率测量，价格成本低廉，实现方式简便，而且实时迅速；能够有效观察对虾的健康状态，并且不会使对虾产生应激反应。

Description

一种基于视频图像的对虾心率检测方法及系统

技术领域

本发明涉及海洋对虾类养殖评价技术领域，具体涉及一种基于视频图像的对虾心率检测方法及系统。

背景技术

对虾是我国重要的海洋经济养殖虾类，其营养丰富，经济价值高，深受人民群众的喜爱。我国对虾养殖历史悠久，养殖成本低，在我国具有开展对虾养殖的优越条件，发展对虾养殖潜力巨大。

然而，在现有的养殖技术中，判断对虾健康状态一般通过设置料台的方式。在料台上放置一定量的饲料，过段时间后将料台捞起来观察对虾的进食情况和粪便排出情况，以及观察抽样获得的对虾个体生长情况。在料台的放置和取出过程中，极易使对虾受到惊扰进入应激状态，从而导致对虾食欲不振、生长缓慢等情况发生。掌握对虾的生理状况对于养殖来说十分重要，但迄今为止尚未出现在非惊扰情况下的检测手段。

现阶段，观察对虾的方法更多地关注于体长、体重、颜色、肢体情况等外表层面指标。而心率也是一个重要的生理指标，但是在现有手段中，往往需要借助固定于虾身的传感器或电极等设备。因此，提供一种无接触、非侵入的对虾心率检测系统是需要和必要的。

发明内容

为解决上述现有技术的不足，本发明提供了一种基于视频图像的对虾心率检测方法，其具体步骤如下：

S01、获取目标对虾的视频图像信息；

S02、根据视频图像信息选取需要处理的ROI区域；

S03、根据每一帧ROI区域的平均像素强度生成原始时间信号序列；

S04、对原始时间信号序列进行数字信号处理得到目标对虾的心率信号；

S05、根据心率信号计算目标对虾的心率数值。

进一步的，所述视频图像信息为RGB视频图像信息或红外视频图像信息，所述视频图像信息中的ROI区域为所述目标对虾的心脏区域。

进一步的，所述视频图像信息为RGB视频图像信息，所述步骤S02中的选取需要的ROI区域的处理方法为通过目标检测确定对虾位置，再根据对虾姿态以及身体比例自动确定或通过手动标记进而确定所述目标对虾的心脏区域。

进一步的，所述视频图像信息为红外视频图像信息，所述步骤S02中的选取需要的ROI区域的处理方法为通过高亮反光标记确定所述目标对虾的心脏区域。

进一步的，所述步骤S03中的原始时间信号序列包括由所述RGB视频图像信息中每一帧ROI区域的红、绿和蓝三通道的平均像素强度生成，或由所述红外视频图像信息中每一帧ROI区域的平均像素强度生成。

进一步的，所述步骤S04中的数字信号处理包括频域滤波、归一化、去噪、去趋势和平滑处理。

进一步的，所述步骤S05中计算目标对虾的心率数值包括时域分析法或频域分析法。

进一步的，所述时域分析法为时域峰峰检测法或波峰波谷计数法，所述频域分析法为频域峰值检测法。

本发明还提供了一种基于视频图像的对虾心率检测系统，所述对虾心率检测系统应用上述的一种基于视频图像的对虾心率检测方法，包括：

视频获取模块：用于获取目标对虾的视频图像信息；

ROI选取模块：用于选取视频图像信息中目标对虾的心脏区域并获得该区域平均像素强度的原始时间信号序列；

信号处理模块：用于对原始时间信号序列进行数字信号处理并得到目标对虾的心率信号；

心率计算模块：用于根据心率信号计算目标对虾的心率数值。

优选的，所述视频获取模块为RGB相机、红外摄像机或高清摄像头。

本发明的基于视频图像的对虾心率检测方法及系统的有益效果如下：

本发明通过RGB相机、红外相机或高请摄像头采集目标对虾视频后，通过设置高亮反光标记或手动选取确定对虾的心脏区域，获取其心脏区域每一帧的平均像素强度生成原始时间信号序列，再通过数字信号处理手段提取出其中的心率信号并计算心率数值。本发明方案无需在对虾身上放置传感器或电极，仅用相机或摄像头就可以完成无接触的心率测量，价格成本低廉，实现方式简便，而且实时迅速；能够有效观察对虾的健康状态，并且不会使对虾产生应激反应。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明基于视频图像的对虾心率检测系统模块示意图；

图2为本发明基于视频图像的对虾心率检测方法的流程框图；

图3为本发明实施例中涉及的视频中提取的原始时间信号序列图；

图4为本发明实施例中涉及的经过数字信号处理的对虾心率信号图；

图5为本发明实施例中涉及的对虾心率信号的频谱图。

具体实施方式

现有对虾养殖更多地是观察对虾的体长、体重、颜色、肢体情况等外表层面指标。而心率也是一个重要的生理指标，但是在现有手段中，往往需要借助固定于虾身的传感器或电极等设备。所以本发明提出新的方案，提供一种无接触、非侵入的对虾心率检测方法及系统，为更加清楚的表示，下面结合附图对本发明做详细的说明。

参见图1，本实施例提供了一种基于视频图像的对虾心率检测系统，包括：视频获取模块、ROI选取模块、信号处理模块以及心率计算模块。

本实施例所述视频获取模块为RGB相机、红外摄像机或高清摄像头。

参见图2，利用上述基于视频图像的对虾心率检测系统，其检测方法如下：

S01、获取目标对虾的视频图像信息。

将RGB相机、红外摄像机或高清摄像头固定设置在目标对虾上方，通过上述任意一种视频获取模块获取目标对虾的视频图像信息。相应的，所述视频图像信息为RGB视频图像信息或红外视频图像信息。获取后将视频图像信息传递至所述ROI选取模块。

S02、根据视频图像信息选取需要处理的ROI区域。

所述ROI选取模块从视频获取模块获取目标对虾的视频图像信息后，从中选取需要处理的ROI区域，所述ROI区域为目标对虾的心脏区域。

若获取视频图像信息为RGB视频图像信息，则通过目标检测确定对虾位置，再根据对虾姿态以及身体比例自动确定或通过手动标记其心脏区域；

若获取视频图像信息为红外视频图像信息，则利用对虾心脏区域在红外光照射下反光强烈的特性或人工设置高亮反光标记，设定阈值或其他图像分割方法确定心脏区域。

S03、根据每一帧ROI区域的平均像素强度生成原始时间信号序列。

若获取视频图像信息为RGB视频图像信息，所述原始时间信号序列由所述RGB视频图像信息中每一帧ROI区域的红通道、绿通道或蓝通道的平均像素强度生成；

若获取视频图像信息为红外视频图像信息，所述原始时间信号序列由所述红外视频图像信息中每一帧ROI区域的平均像素强度生成。

生成原始信号序列后，将其传递至所述信号处理模块。

S04、对原始时间信号序列进行数字信号处理得到目标对虾的心率信号。

所述信号处理模块通过数字信号处理方法从所述ROI选取模块中获取的原始时间信号序列中提取出心率信号。

所述数字信号处理包括频域滤波、归一化、去噪、去趋势和平滑处理。

对原始时间信号序列频域滤波时采用带通滤波器，目的在于剪切掉理论心率范围以外的信号。

若为RGB视频则应进行颜色通道的选取，一般情况下选取蓝色通道，因为对虾体内的氧合血蓝蛋白吸收峰在347nm附近，所以蓝色通道包含的心率信息较其他两通道更为强烈。

原始时间信号序列经处理后得到心率信号，将所述心率信号交由所述心率计算模块进行心率数值的计算。

S05、根据心率信号计算目标对虾的心率数值。

所述目标对虾的心率数值计算方法包括时域分析法或频域分析法。

所述时域分析法为波峰波谷计数法，具体为：

在心率信号上设置一个滑动窗口，计算该滑动窗口中波峰和波谷个数之和，则心率计算公式为：

HR＝60*m*FPS/(2*N)

其中：N为滑动窗口长度；m为滑动窗口中波峰波谷个数之和；FPS为获取视频的每秒帧数；HR为每分钟心跳次数。

此外，所述时域分析法还可以采用时域峰峰检测法，又称“时域峰峰间隔检测法”，顾名思义即通过波峰之间的间隔时间计算心率数值。

所述频域分析法为频域峰值检测法，具体为：

在心率信号上设置一个滑动窗口，计算该滑动窗口中信号的频谱图，获得功率响应最大处对应的频率，则心率计算公式为：

HR＝60*f*FPS/N

其中：N为滑动窗口长度；f为功率响应最大处对应的频率；FPS为获取视频的每秒帧数；HR为每分钟心跳次数。

本实施例还提供一应用上述系统和方法的对虾心率检测实验，具体内容如下：

实验所采用的对虾为当天市场购买的鲜活对虾，将对虾放置在装有水的容器中(大约在水面下10cm的位置)，将Kinect V2(近红外视频获取设备)固定在容器上方，拍摄一段用于对虾心率计算的视频图像信息。

由于该段素材中对虾没有大幅度运动，故采取手动标记的方式标记出所需要的ROI区域，即对虾的心脏区域。

参见图3，通过从近红外视频图像信息中提取出心脏区域每一帧的平均像素强度，以此形成原始时间信号序列。

参见图4，对原始时间序列进行频域滤波、归一化、去噪、去趋势、平滑处理获得心率信号。

最后通过时域分析法和频域分析法分别计算对虾的心率数值。

(1)时域分析法：

选取长度为300帧的时间窗口，又窗口中平均波峰波谷个数之和为32，则心率HR为：

(2)频域分析法：

参见图5，对处理过的信号进行傅里叶变化得到其频谱，再从频谱中找到幅度最大处所对应的频率f＝1.633Hz，则心率HR为：

HR＝60*1.633≈98(bpm)

以上结果显示，两种心率计算方法产生的结果均符合对虾期望心率范围(大约60-120bpm)，一定程度上验证了该系统在体外、非侵入式、无损伤的情况下进行对虾心率检测的有效性。

本实施例通过RGB相机、红外相机或高请摄像头采集目标对虾视频后，通过设置高亮反光标记或手动选取确定对虾的心脏区域，获取其心脏区域每一帧的平均像素强度生成原始时间信号序列，最后通过数字信号处理手段提取出其中的心率信号并计算心率数值。从而无需在对虾身上放置传感器或电极，仅用相机或摄像头就可以完成无接触的心率测量，实现无接触、非侵入式的对虾心率检测。

本发明方案能够广泛应用于对虾养殖领域中，其价格成本低廉，实现方式简便，而且实时迅速；能够有效观察对虾的健康状态，并且不会使对虾产生应激反应。

以上实施例仅用以解释说明本发明的技术方案而非对其限制，尽管上述实施例对本发明进行了具体的说明，相关技术人员应当理解，依然可对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改和等同替换，其均应涵盖在本发明的权利要求范围之中。

Claims

1.一种基于视频图像的对虾心率检测方法，其特征在于，所述对虾心率检测方法包括以下步骤：

S01、获取目标对虾的视频图像信息；

S02、根据视频图像信息选取需要处理的ROI区域；

S05、根据心率信号计算目标对虾的心率数值。

2.根据权利要求1所述的一种基于视频图像的对虾心率检测方法，其特征在于，所述视频图像信息为RGB视频图像信息或红外视频图像信息，所述视频图像信息中的ROI区域为所述目标对虾的心脏区域。

3.根据权利要求2所述的一种基于视频图像的对虾心率检测方法，其特征在于，所述视频图像信息为RGB视频图像信息，所述步骤S02中的选取需要的ROI区域的处理方法为通过目标检测确定对虾位置，再根据对虾姿态以及身体比例自动确定或通过手动标记进而确定所述目标对虾的心脏区域。

4.根据权利要求2所述的一种基于视频图像的对虾心率检测方法，其特征在于，所述视频图像信息为红外视频图像信息，所述步骤S02中的选取需要的ROI区域的处理方法为通过高亮反光标记确定所述目标对虾的心脏区域。

5.根据权利要求2所述的一种基于视频图像的对虾心率检测方法，其特征在于，所述步骤S03中的原始时间信号序列包括由所述RGB视频图像信息中每一帧ROI区域的红、绿和蓝三通道的平均像素强度生成，或由所述红外视频图像信息中每一帧ROI区域的平均像素强度生成。

6.根据权利要求1所述的一种基于视频图像的对虾心率检测方法，其特征在于，所述步骤S04中的数字信号处理包括频域滤波、归一化、去噪、去趋势和平滑处理。

7.根据权利要求1所述的一种基于视频图像的对虾心率检测方法，其特征在于，所述步骤S05中计算目标对虾的心率数值包括时域分析法或频域分析法。

8.根据权利要求7所述的一种基于视频图像的对虾心率检测方法，其特征在于，所述时域分析法为时域峰峰检测法或波峰波谷计数法，所述频域分析法为频域峰值检测法。

9.一种基于视频图像的对虾心率检测系统，所述对虾心率检测系统应用如权利要求1-8任意一项所述的一种基于视频图像的对虾心率检测方法，其特征在于，包括：

视频获取模块：用于获取目标对虾的视频图像信息；

10.根据权利要求9所述的一种基于视频图像的对虾心率检测系统，其特征在于，所述视频获取模块为RGB相机、红外摄像机或高清摄像头。