CN116034916A - 用于水产养殖中的鱼外部寄生虫监测的方法和系统 - Google Patents

Abstract

一种用于水产养殖中的鱼外部寄生虫监测的方法，其包括以下步骤：‑将照相机(52)浸没到容纳鱼的海围栏中，所述照相机具有视场；‑用所述照相机(52)捕获所述鱼的图像；和‑通过分析所捕获的图像来识别所述鱼上的鱼外部寄生虫，其特征在于：用具有不同强度和/或光谱组成的光从上方和下方照亮在所述照相机(52)的视场内的目标区域。

Description

用于水产养殖中的鱼外部寄生虫监测的方法和系统

本案是本申请人于2018年12月19日提交的申请号为201880082865.3、题为“用于水产养殖中的鱼外部寄生虫监测的方法和系统”的专利申请的分案申请，该母案的全部内容通过引用并入本分案。

技术领域

本发明涉及用于水产养殖中的鱼外部寄生虫(如海虱)监测的方法，其包括以下步骤：

-将照相机浸没到容纳鱼的海围栏(sea pen)中，所述照相机具有视场；

-用所述照相机捕获所述鱼的图像；和

-通过分析所捕获的图像而识别所述鱼上的鱼外部寄生虫如海虱。

在本说明书中，术语“监测”是指目的在于为给定鱼群是否受到外部寄生虫侵染的决定提供经验基础的任何活动。术语监测还可以包括确定鱼被外部寄生虫侵染的程度的方式。尽管监测可以与破坏或杀死寄生虫的措施相结合，但术语监测本身并不包括这样的措施。

背景技术

像人类和其他动物一样，鱼也遭受疾病和寄生虫。寄生虫可以是内部的(内寄生虫)或外部的(外寄生虫)。鱼鳃是许多鱼外部寄生虫的优选栖息地，该寄生虫附着至鳃但生活在其外。最常见的是单殖亚纲和某些组的寄生桡足动物，其可以是极为众多的。在鳃上发现的其他鱼外部寄生虫有水蛭，和在海水中，水虱(gnathiid)等足类动物的幼虫。等足类动物的鱼寄生虫大多数是外部的，并且以血液为食。水虱科(Gnathiidae family)的幼虫和成年缩头水虱(cymothoidids)具有刺穿和吮吸式口器，以及适于紧贴至其宿主上的有爪的肢体。缩头鱼虱(Cymothoa exigua)是各种各样海水鱼的寄生虫。它导致鱼的舌头萎缩，并且发生在据信是在动物中发现功能性地取代宿主结构的寄生虫的第一个实例。在最常见的鱼外部寄生虫中的是所谓的海虱。

海虱是小型寄生甲壳纲动物(鱼虱科)，其以海水鱼的粘液、组织和血液为食。海虱(sea louse)(复数海虱(sea lice))是管口(Siphonostomatoida)目中的成员——鱼虱科。在37个属中有大约559个种，包括大约162个疮痂鱼虱属(Lepeophtheirus)和268个鱼虱属(Caligus)的种。虽然海虱存在于野生鲑鱼群中，但是养殖鲑鱼群中的海虱侵染尤其带来了严重的挑战。已经开发了多种用于控制目的的抗寄生虫药。鲑鱼虱(L.salmonis)是在挪威受到关注的主要海虱。智利鱼虱(Caligus rogercresseyi)已成为智利的鲑鱼养殖场关注的主要寄生虫。

海虱具有自由游动(浮游生物)和寄生生命阶段两者。所有阶段均以蜕皮来分隔。鲑鱼虱从卵到成体的发育速率取决于温度而从17到72天而变化。卵孵化成无节幼体I，其蜕皮至第二无节幼体阶段；两个无节幼体阶段都不进食，依赖于卵黄的能量储备，并且适于游动。桡脚幼虫阶段是感染阶段，且它搜索合适的宿主，可能是通过化学和机械感知线索。

一旦附着至宿主，桡脚幼虫阶段开始进食并开始发育到第一稚虫(chalimus)阶段。桡足动物和稚虫阶段具有已发育的胃肠道，并以其附着范围内的宿主粘液和组织为食。成体前和成体海虱(特别是妊娠雌性)是侵略性的进食者，在某些情况下，除了组织和粘液外，还以血液为食。

与缓解工作相关的时间和费用以及鱼的死亡使鱼生产成本增加大约0.2欧元/千克。因此，鱼外部寄生虫如海虱是当代鲑鱼养殖者的主要顾虑，其需要大量资源用于避免侵染和遵守目的在于避免更广泛的生态影响的政府法规。

有效的缓解(例如，评估疫苗接种或化学治疗的需要和时机)和法规遵从两者都依赖于对鱼外部寄生虫(例如单个养殖操作中的海虱群体)的准确定量。目前，对鱼外部寄生虫(例如海虱)进行计数是完全人工的，因此是非常耗时的过程。例如，在挪威，必须每周进行计数并报告，仅此一项就带来每年2400万美元的直接成本。同样麻烦的是，当10至20条服用镇静剂的鱼的样本上的鱼外部寄生虫(例如成体雌虱)的计数被外推以确定对超过50,000条鱼的群体的适当处理时，基于人工计数的统计数据的有效性存疑。因此，过度处理和处理不足都是常见的。

WO2017/068127A1描述了一种在权利要求1的前序部分中指出的类型的系统，目的在于能够自动且准确地检测和计数鱼群内的鱼外部寄生虫，例如海虱。

任何基于光学成像的这样的系统都必须克服与海洋环境和动物行为相关的多个重大挑战。

-由密度梯度导致的光学失真。温水与冷水，或者特别是，盐水与淡水(例如，在峡湾内)的湍流混合产生小规模密度变化，从而导致光学失真。对小于1-3mm的物体(例如海虱幼虫)的成像的影响特别严重。

-鱼对陌生光源的厌恶。鱼可表现出对陌生位置、强度或光谱的光源的恐惧反应或更一般的厌恶。鱼群在这样的光源周围的失真通常将增加典型的成像器到鱼的距离，从而降低成像系统的有效敏锐度。所引用的文献通过提供用于沿着期望成像轨迹引导鱼的引导系统来解决该问题。

-在高度动态的海洋环境中的焦点跟踪。可商购焦点跟踪系统在其中在视场内同时存在大量快速移动的、看似真实的焦点目标(即，一群游动的鱼)的高度动态场景中表现不佳。

本发明的目的是提供解决这些挑战并提供准确自动计数的系统和方法，以减少与鱼外部寄生虫相关的人工劳动(例如海虱计数)的量，并使得能够更有效地预测和预防有害侵染。

发明内容

为了达到这个目的，根据本发明的方法的特征在于用具有不同强度和/或光谱组成的光从上方和下方照亮在所述照相机的视场内的目标区域。

本发明考虑到鱼通常在其身体的顶侧具有相对深的颜色而在底侧具有相对明亮的颜色的事实。通过使照明光的强度和/或光谱组成特定地适应这些不同颜色，可以为鱼外部寄生虫(例如海虱)的检测提供最佳对比度条件，无论它们是居于鱼的顶侧还是底侧。

本发明的更具体的任选特征在从属权利要求中指出。

优选地，该系统能够检测和分类处于各种各样的固着、活动和产卵生命阶段(例如，幼体、成体前、成体雄性、成体带卵雌性和成体非带卵雌性)的两种性别的鱼外部寄生虫如海虱。

而且，该系统可以构成改善基于海洋的水产养殖的运行性能、动物健康和可持续性的综合决策支持平台的基础。

附图说明

现将结合附图描述实施方式实例，其中：

图1示出了根据本发明的优选实施方式的照相机和照明配件(camera andlighting rig)的侧视图；

图2是海围栏的视图，其中有悬浮的根据图1的配件；

图3示出了照相机和照明配件的正视图；

图4示出了安装在配件上的测距检测器的角视场的侧视图以及照明配件的侧视图；

图5和图6是说明测距检测器的检测结果的图表；

图7-10示出了图像帧，其说明了图像捕获和分析程序的多个步骤；

图11示出了流程图，其详述了注释图像以及根据本发明的实施方式的电子图像处理系统(机器视觉系统)内的鱼外部寄生虫检测器训练、验证和测试的过程；和

图12示出了流程图，其详述了在推断模式下的鱼外部寄生虫检测器的操作。

具体实施方式

图像捕获系统

如图1所示，图像捕获系统包括照相机和照明配件10以及照相机和照明控制系统12，其使得能够自动获取鱼的高质量图像。

照相机和照明配件10包括垂直支撑构件14、上部吊杆16、下部吊杆18、照相机外壳20、上部照明阵列22和下部照明阵列24。照相机外壳20连接至垂直支撑构件14并且优选地是高度可调节的。照相机的垂直定位优选地使得照相机的视场至少部分地(优选地大部分或全部)被上部和下部照明阵列22、24的照明锥覆盖。而且，优选地在照相机视场的中心线与照明锥的中心线之间有相当大的角度偏移。这使(通过水中的颗粒)反向散射到照相机的光的量最小化，从而(相对地)使从鱼组织返回的光的量最大化。在所示的设置中，照相机可以安装在垂直支撑构件的长度的1/4至3/4之间的高度处，如从支撑构件14的下端(blowerend)测量的。

上部吊杆16和下部吊杆18分别在肘部接头26和28处与垂直支撑构件14联接，这允许上部吊杆和下部吊杆相对于垂直支撑构件的成角度铰接。上部照明阵列22和下部照明阵列24分别在可枢转接头30和32处联接至上部吊杆和下部吊杆，这允许上部照明阵列和下部照明阵列相对于上部吊杆和下部吊杆的成角度铰接。

在所示的实例中，悬吊绳34构成用于照相机和照明配件10的双线悬吊。悬吊绳允许控制该配件在方位方面的姿态(posture)，并且可以在不同位置连接至支架36，从而对于吊杆16和18的给定构造保持配件的平衡。这使得能够精细地调节照相机和照明配件的定向(即，俯仰角)，因为照相机和照明配件的质心位于连接点以下。

优选地，布线导管38承载照相机和照明配件与照相机和照明控制系统12之间的上部照明阵列、下部照明阵列和照相机外壳所需的所有数据和电源。

图2示出了浸没到海围栏40中的照相机和照明配件10的图解。所示的示例性海围栏被坞(dock)42围绕，垂直支撑构件44从坞42向上延伸。张紧的缆绳46跨越在支撑构件之间。悬吊绳34可连接至张紧的缆绳46以允许将照相机和照明配件10插入和移出海围栏，以及控制该配件相对于坞42的水平位置。

然而应注意，海围栏也可以具有不同于图2所示形状的形状。

支撑缆绳和绳索的延长还允许调节照相机和照明配件在水面以下的深度。优选地，将照相机和照明配件放置在一定深度处，该深度将照相机外壳20定位在温水与冷水或盐水与淡水的湍流混合最为明显的表面混合层的下方。这进一步减少了与密度梯度相关的光学失真。所需深度基于位置和季节而变化，但是通常2-3m的深度是优选的。

如图3所示，上部照明阵列22和下部照明阵列24包括水平构件48，该水平构件48沿其长度支撑照明阵列内的一个或多个照明单元50。在图3所示的实施方式中，上部照明阵列和下部照明阵列各自包括两个照明单元50，然而可以使用不同数量的照明单元。水平构件48在可枢转接头30、32处联接至上部吊杆和下部吊杆。

垂直支撑构件14与上部吊杆16和下部吊杆18之间的肘部接头26、28以及上部吊杆和下部吊杆与水平构件48之间的可枢转接头30、32共同地允许对以下各项的独立调节：

-照相机外壳20和上部照明阵列22之间的水平偏移，

-照相机外壳20和下部照明阵列24之间的水平偏移，

-上部照明阵列22内的照明单元50的角度定向，和

-下部照明阵列24内的照明单元50的角度定向。

通常，上部照明阵列和下部照明阵列相对于照相机外壳定位以在目标区域内提供充足的照明，在那里将对鱼进行成像以用于鱼外部寄生虫(例如海虱)检测。照相机和照明配件10的纵向垂直设计和配置使鱼(其表现出对长的、水平定向的物体的厌恶)将在极为靠近照相机外壳的地方游动的可能性最大化。此外，单独的且可独立调节的上部照明阵列和下部照明阵列允许专门设计用于解决鱼独有的照明挑战的照明方案，如下文更详细讨论的。

在图3中以正视图示出的照相机外壳20包括照相机52、测距检测器54(例如基于光的飞行时间检测和测距单元)和姿态感测单元56，其包括例如磁力计和惯性测量单元(IMU)或其他已知姿态感测系统。

照相机优选是具有高灵敏度、低噪声传感器，能够在相对低的照明下捕获快速移动的鱼的清晰图像的可商购数字照相机。在本发明的优选实施方式中，使用Raytrix C42i照相机，其提供大约60°的水平视场和大约45°的垂直视场。当然，可以使用具有类似性能(包括电子可控焦距)的任何其他照相机作为替代。

测距检测器54用于检测照相机52的视场内鱼游动的范围和方位。该检测器包括发射光学器件58和接收光学器件60。发射光学器件58产生在垂直方向上定向、但优选在水平方向上准直(collimate)的光的扇区。即，扇区呈平行于垂直支撑构件俯仰地发散，但垂直于垂直支撑构件相对小地偏摆地发散。

接收光学器件60包括光检测器元件的阵列，每个光检测器元件检测从跨越照相机的垂直视场的至少一部分的接受角内入射的光。相邻检测器元件的角度彼此俯仰邻接，共同建立完全覆盖垂直视场的接受扇区(acceptance fan)。发射和接收光学器件的这种定向和配置被优化以检测和定位平行于水平水面游动的鱼体(其通常是高纵横比)。

优选地，测距检测器54在光的波长上操作，从而提供在水中的有效透射。例如，可以使用蓝光或绿光以在海水中提供有效透射。在本发明的优选实施方式中，测距检测器是

检测器，如LeddarTech M16，其发射和接收465nm的光。当然，本发明不限于测距检测器的该实施方式。

同样在本发明的优选实施方式中，由发射光学器件产生的照明扇区俯仰发散大约45°，从而有效跨越照相机的垂直视场，且偏摆发散大约7.5°。接收光学器件60包括16个检测器元件的阵列，每个检测器元件具有跨越大约3°俯仰和跨越大约7.5°偏摆的视场。当然，检测器元件的数量可以小于或大于16，但优选不小于4。优选地，照明扇区和接受扇区两者在照相机视场内水平居中，从而确保所检测到的鱼可以被照相机完全捕获。

也可以设想具有两个或更多个测距检测器的系统。例如，可以将扇区定位在中心线的“上游”(由鱼游动的主要方向定义)以提供鱼进入框架的“高级警告”。类似地，可以将单元放置在下游以确认鱼离开框架。

姿态感测单元56中的IMU包括加速度计和陀螺仪，例如，类似于见于可商购智能电话中的那些。在本发明的优选实施方式中，磁力计和IMU并置在照相机外壳20内的单个印刷电路板上。共同地，IMU和磁力计测量照相机外壳(和因此由照相机获取的图像)相对于水面和海围栏的定向。因为鱼通常平行于水面并沿海围栏的边缘游动，所以该信息可用于将所捕获的图像中的预期的鱼定向告知机器视觉系统。

上部照明阵列22和下部照明阵列24可以包括发射任意数量的波长的光的各种各样类型的一个或多个灯(例如白炽灯、气体放电灯或LED)。优选地，选择特定类型的灯以为鱼外部寄生虫(例如海虱)提供足够的颜色信息(即，足够宽的发射光谱)以与鱼组织充分对比。另外，优选地，选择上部照明阵列和下部照明阵列内的灯的类型和强度以产生反射到照相机的相对均匀强度的光，尽管鱼有着典型的、明显相反明暗(countershaded)的身体。

在这里提出的实施方式中，上部照明阵列22包括一对氙气闪光管。下部照明阵列24包括一对LED灯，各自包括具有128个白色LED管芯的芯片。这种混合照明系统提供比可以用单一照明类型实现的更大范围的照明强度。具体地，闪光管与照相机快门的操作同步，从鱼上方提供短暂但强烈的照明(大约3400lx)。这确保从鱼的通常深色的、高吸收性的上表面反射到照相机的充足光线。(这需要比下部照明阵列的LED灯可以递送的更大强度的光。)相应地，LED灯为鱼的通常明亮的、高反射性的下表面提供充足照明强度。(这需要低于上部照明阵列的氙气闪光管可以提供的强度。)从鱼反射的所得均匀亮光允许照相机以较低灵敏度(例如，低于ISO 3200)操作，以向机器视觉系统提供低噪声图像。最后，氙气闪光管和LED灯两者提供足够宽的光谱，以允许区分鱼组织与鱼外部寄生虫如海虱。

如上所述，上部照明阵列22和下部照明阵列24被定位成在整个目标区域中提供期望的照明。目标区域的特征在于照相机的垂直视场和沿着照相机的轴的近边界和远边界。从照相机到近边界的距离是以下中的较远者：(a)照相机的最近可到达焦距，和(b)典型的鱼跨越照相机的整个水平视角的距离。从照相机到远边界的距离是照相机的角分辨率不再可以分辨必须被检测的最小鱼外部寄生虫(例如海虱)的距离。近边界“a”和远边界“b”在图4中说明。

上部照明阵列和下部照明阵列内的每个灯提供大致轴对称的照明模式。因为沿着水平构件的长度在每个阵列内有多个灯，所以照明模式可以通过俯仰平面中的角度跨度而有效地表征。垂直支撑构件14的长度、上部吊杆16和下部吊杆18的角度位置以及上部照明阵列22和下部照明阵列24的角度定向优选地被调节成使得上部照明阵列和下部照明阵列的角跨度有效覆盖目标区域。从照相机到“最佳点”(sweet spot)的距离取决于要监测的鱼的大小，且例如，可以在200mm至2000mm的范围内。在鲑鱼的情况下，例如，合适值可以是约500mm。

实际上，由上部照明阵列和下部照明阵列提供的照明的强度在它们的角跨度上不是完全均匀的。然而以上方法确保在目标区域上提供了可接受量的照明。它还在近边界之外的短距离处产生“最佳点”，在此处在上部照明阵列、下部照明阵列和照相机之间的照明的角度是最佳的。这产生被最好地照亮的图像，从而也提供照相机可达到的最佳角分辨率，且最小程度地受到密度梯度失真的影响。

现将参考图4来解释照明配件的合适的配置和尺寸设计的实例，其示出了根据本发明的优选实施方式的照相机和照明配件的特定几何形状，假设要监测的鱼的平均长度为80cm。肘部接头26、28被调节成使得照相机外壳(具体地，照相机内的传感器平面)与上部照明阵列和下部照明阵列之间的相应水平偏移HO1和HO2分别为大约33cm和21cm。以鱼的平均长度为单位，合适的值分别可以是0.41±0.04和0.26±0.03。上部吊杆16和下部吊杆18的这些角度定向还分别在照相机外壳与上部照明阵列和下部照明阵列之间提供了垂直偏移VO1＝71cm和VO2＝52cm。以鱼的平均长度为单位，合适的值分别可以是0.89±0.09和0.65±0.07。可枢转接头30、32被调节以使上部照明阵列在水平线之下倾斜63°(±10％)的角度α1，并使下部照明阵列在水平线之上倾斜47°(±10％)的角度α2。如上所述，在优选实施方式中，照相机的垂直视场γ为大约45°(±10％)。上部照明阵列和下部照明阵列的角度跨度分别为大约δ1＝62°(±10％)和δ2＝60°(±10％)。(本领域的技术人员将理解，这些角度跨度测量值是近似的，因为在角度跨度的边缘处的光强度的“下降”是逐渐的。)视场和角度跨度结合以产生目标区域，其具有距离照相机外壳大约30cm的近边界NB和距离照相机外壳大约110cm的远边界FB。这产生了深度为大约80cm的目标区域TR，其具有深度为大约40cm的最佳点SP(大约对应于目标区域的近一半)。目标区域的宽度和高度将是大约80cm。

可以使用广泛多样的其他照相机和照明几何形状而不脱离本发明的范围。特别是，可以将照相机和照明配件构造成并定位在除图1的垂直方向以外的定向上。例如，照相机和照明配件可以平行于水面水平定向。照相机和照明配件还可构造成将一个或多个照相机保持在除图1所示位置以外的固定位置(相对于目标区域)。此外，本发明的一些实施方式可整合多个照相机和照明配件，例如对称地定位在目标区域的前方和后方的两个照相机和照明配件，从而使得能够同时捕获单个鱼的两个侧面的图像。

照相机和照明控制系统

照相机和照明控制系统12控制图像捕获系统的操作。照相机和照明控制系统：

-从测距检测器54接收并分析数据，以确定合适的照相机焦距，

-控制照相机焦距和快门，

-控制上部照明阵列22和下部照明阵列24的照明相对于照相机52的快门的时机，和

-接收、分析和存储图像数据和图像元数据，包括测距检测器、磁力计和IMU测量结果。

在本实施方式中，照相机和照明控制系统12包括计算机62和动力控制单元64，其驻留在物理上邻近照相机和照明配件10的干燥位置(例如，坞42)处。在一个替代实施方式中，由计算机提供的照相机和照明控制系统功能的至少一部分是由水面以下(例如，安装至垂直支撑构件14或集成在照相机外壳内)的嵌入式系统执行。通常，计算机62包括用于照相机和照明配件10内的每个传感器的设备驱动器。特别地，计算机包括用于照相机52、测距检测器54以及姿态感测单元56的磁力计和IMU的设备驱动器。设备驱动器允许计算机从相关传感器获取测量数据和将控制数据发送到相关传感器。在优选实施方式中，测量数据和控制数据在计算机上运行的装置和过程之间作为机器人操作系统(ROS)中的消息传递。来自传感器(包括测距检测器)的数据以10Hz的频率到达，而来自磁力计和IMU的测量结果以100Hz的频率到达。每条消息都记录于计算机上的磁盘。

计算机62向动力控制单元64提供控制信号，并且任选地从动力控制单元接收诊断数据。动力控制单元通过线缆38向上部照明阵列22和下部照明阵列24提供动力。在优选实施方式中，动力控制单元接收220V交流电，其可以直接传送到用于电容器组的充电器，以用于上部照明阵列22内的氙气闪光管(在被触发时)。动力控制单元将动力传送到水下接线盒(未示出)，其将交流电转换成直流电(例如36V或72V)用于上部照明阵列24内的LED灯。

由计算机62执行的焦点计算过程连续监测测距数据以检测目标区域内的鱼的存在并测定其范围。对于每个检测器元件，测距数据由一个或多个距离组成，光从该距离反射回到其在接受扇区内的接受角内的检测器元件。

图4示出了测距接受扇区68内接收光学器件60中的检测器元件的角视场66的侧视图。如上所述，相邻检测器的接受角彼此俯仰邻接以建立接受扇区。图4示出了16个检测器的阵列，各检测器具有跨越大约俯仰3°的视场。

图4示出了测距接受扇区68内检测器的平均俯仰角。每个平均俯仰角由将相应检测器的视场66二等分的中心线70说明。平均俯仰角是二等分中心线70和接受扇区68整体的中心线之间的角度，接受扇区68整体的中心线通常平行于照相机52的光轴。

图4还示出了测距接受扇区68内的鱼72，74挡住的若干检测器元件的距离和平均俯仰角的侧视图。通常，当若干相邻检测器元件报告相似距离时，焦点计算过程检测到鱼。在本发明的优选实施方式中，当M个或更多个相邻检测器元件报告相似距离d_i时，检测到鱼。数字M可以是在检测器总数(即，在该实例中为8)的1至1/2的范围内。具体地，焦点计算过程寻找M个或更多个相邻距离d_i的相邻集合，对于其而言[max(d_i)-min(d_i)]≤W。M和W是可由图像捕获系统的操作员调节的参数，其中W表示最大允许厚度，大约对应于将要检测的最大鱼的厚度的一半。根据鱼的大小或年龄，参数M和W针对每个系统或围栏优化。对于每次这样的检测，焦点计算将计算平均距离

D＝(1/M)Σ₁ ^Md_i

和平均方位

β＝(1/M)Σ₁ ^Mβ_i

其中β_i是各相邻检测器元件的平均俯仰角。然后焦点计算过程返回焦距D_f＝D*cosβ，其表示从照相机沿着照相机的光轴到推荐焦平面的距离。

由于水中的散射颗粒或仅朝着检测器接受角的一部分的物体(例如鱼)，可以由单个检测器报告多个距离。在实际的实施方式中，在单个检测器报告多个距离的那些情况下，焦点计算使用最远距离。这使水中的颗粒引起的错误检测的数量最小化。在多个距离实际上与两条鱼(其中一条仅挡住检测器的接受角的一部分)相关联的情况下，很可能相邻检测器仍将成功地检测到部分挡住的鱼。

由焦点计算过程确定的鱼的存在和范围信息可用于控制照相机的图像采集。例如，仅当在提供最佳照明的“最佳点”的预定距离内检测到鱼时才可以捕获图像。例如，如果“最佳点”位于500mm处，则仅当在300至1100mm的距离范围内检测到鱼时才可以捕获图像。无论何时捕获图像，照相机和照明控制系统将照相机的焦距设置到由焦点计算过程确定的最近范围值。

在本发明的优选实施方式中，照相机和照明控制系统连续地周期性触发照相机以获取图像，例如以4Hz的频率或更通常地以2至10Hz之间的频率。焦点计算过程连续地且周期性地(例如，以10Hz或更通常地以4至20Hz)报告基于最新鱼检测的当前焦距和距离，并且照相机和照明控制系统将照相机的焦距设置到最新的可用焦距。

当照相机快门打开时，照相机向照相机和照明控制系统12发送同步信号，其被传递到动力控制单元64。动力控制单元与快门同步照亮上部照明阵列22和下部照明阵列24，以确保所捕获的图像的恰当照明。在上部照明阵列或下部照明阵列内的灯不能维持等于照相机的占空比的本发明的那些实施方式中(例如，本发明的优选实施方式的氙气闪光管)，动力控制单元还可以包括照明抑制过程，其连续地评估动力控制单元是否应照亮上部照明阵列和下部照明阵列。在本发明的优选实施方式中，如果(a)上部照明阵列内的氙气闪光管的发射历史接近其热极限，或者(b)焦点计算过程最近没有检测到鱼且报告更新范围，则照明抑制。

在本发明的优选实施方式中，下部照明阵列内的较低强度的LED灯在照相机曝光的持续时间内照亮。曝光的长度设置为LED灯提供充足照明所需的最小长度。上部照明阵列中的氙气闪光管的闪光长度被调节以考虑典型鱼的相反明暗提供平衡的照明。

由下部照明阵列中的LED灯提供的照明的强度优选地足够大以提供足够短的曝光而在游动鱼的所捕获的图像内产生可接受的低运动模糊。在本发明的优选实施方式中，照相机内的传感器(特别是其像素计数)、照相机的光学器件(特别是视场的角跨度)和到目标区域的距离被选择以确保(a)可以在照相机的视场内捕获完整的鱼，而且(b)甚至可以充分解析幼年鱼外部寄生虫，例如幼海虱。在照相机的60°水平视场跨越典型成体鱼的宽度的目标距离处提供每2mm(相当于幼海虱的大小)10个像素需要每像素7.6×10^-3°的角像素间距。对于以0.2m/sec的典型速度游动的鱼，以小于0.6×10^-3s的快门时间确保亚像素运动模糊。为了向机器视觉系统提供足够低噪点的图像，小于ISO 3200的传感器增益是优选的。这进而需要在整个目标区域内大约3000lux的照明。

图5说明了在图4描绘的情况下用测距检测器54获得的结果。所示出的是具有在+6°至-15°范围内中心线的视场的检测器元件的检测结果。图5中的每个黑点代表其中反射光已经被相关的检测器元件接收到的检测事件。点在d轴方向上的位置代表检测到的物体的距离，如从光信号从发射光学器件58到物体并回到接收光学器件60的运行时间计算的。

如前所述，对于多个相邻检测器，鱼72和74分别由在大约相同的距离d1和d2处的检测代表。对于每个个体检测器，鱼的距离是该检测器测量的距离中最大的。较小距离处的点表示由接受扇区中的小颗粒物质引起的噪音。

在图4和图5中说明的情况下，鱼74被鱼72部分地挡住，使得仅对于在较小距离d1处的鱼72可以获得鱼的整个轮廓的图像。因此，照相机的焦距将被调节到该距离d1。

图6是示出在距离d1处的检测作为时间t的函数的时间图表。可以看出，从鱼72获得的检测(对于-3°至-15°范围的角度β)在对应于鱼游过接受扇区68花费的时间的长时间段内是稳定的。因此，也可能通过要求检测在某个最小时间间隔内稳定，或者等效地，通过对在某个时间上从每个检测器元件接收的信号进行积分和然后对积分结果进行阈值化，来滤除噪声。

原则上，具有图6中说明的类型的检测历史也可能用于优化照相机52在其中拍摄一系列图像的时间间隔，以便确保一方面图像数量不变得不合理地巨大，和另一方面该系列图像包括至少一个其中整个鱼在照相机的视场内的图像。例如，如图6所示，可以在当一定数量的相邻检测器元件(三个)检测到可能是鱼的物体时的时间t1启动计时器。然后，可以在时间t2以一定延迟触发照相机以开始拍摄一系列图像，并且最晚在当检测器元件指示鱼的尾端离开接受扇区时的时间t3，停止该系列。

图7示出了当鱼72的鼻子刚越过接受扇区68时，图6中时间t1时照相机的视场76。

图8示出了当鱼72的整个轮廓在视场76内时，照相机52在比图6中的t2更晚的时间捕获的图像。在那一刻，可以从图6中β＝-3°到-15°处的检测器元件的检测结果推断，鱼的中心线将在β＝-9°处，如图8所示。该信息可以传递给图像处理系统，并可以帮助识别所捕获的图像中的鱼的轮廓。

回到图1，照相机和照明控制系统12的计算机62连接至图像处理系统78，其通过数据管理系统82访问数据库80。

资料管理系统

用于检测和计数鱼外部寄生虫(例如海虱)的自动化系统还包括数据管理系统82，其包括支持在图像处理系统78运行时创建的图像数据、图像元数据、图像注释和检测数据的获取、存储、搜索、检索和分发的界面。

数据存储

数据管理系统82例如以ROS“包”的形式从图像捕获系统接收图像。数据管理系统将每个包解包成例如JPEG或PNG图像以及JSON(JavaScript Object Notation)元数据。JPEG图像各自被存储在数据存储区内。

数据库

从每个ROS包解包的JSON元数据被存储在与数据存储区关联的数据库80内。通常，元数据描述关联的JPEG或PNG图像的图像捕获参数。例如，元数据包括由LEDDAR单元检测到的鱼的轮廓内的质心像素位置的指示(例如，在图像内水平居中的像素、鱼的纵向中心线)。该像素位置可以任选地被图像处理系统使用(在下文更详细描述)以促进图像内鱼的检测。

数据库80还存储在用于训练图像处理系统78(下文更详细地描述)的注释过程期间创建的注释数据。该数据库还存储表征机器视觉系统检测到的鱼和鱼外部寄生虫(例如海虱)的位置、大小和类型的信息。最后，数据库存储使用户能够通过验证模块登录各种界面(例如，注释界面或最终用户界面)的验证凭证。

图像处理系统

在某个实施方式中，本发明使用图像处理系统78以执行鱼外部寄生虫(例如海虱)检测的任务。在本发明的优选实施方式中，训练单独的神经网络以提供鱼检测器84和鱼外部寄生虫检测器86。鱼检测器84首先检测在由图像捕获系统获取的图像内的个体鱼。然后鱼外部寄生虫检测器86检测每条检测到的鱼的表面上的个体鱼外部寄生虫，例如海虱(如果存在)。优选地，鱼外部寄生虫检测器还对每个检测到的虱子的性别和生命阶段进行分类。

检测器是通过摄取人类注释的图像的语料库的机器学习程序进行训练。神经网络的使用消除了对明确定义鱼或鱼外部寄生虫(例如海虱)的特性(例如广度、形状、亮度、颜色或纹理)的需要，而是直接利用如被注释的图像的语料库内编码的人类注释者的知识。

图9示出了鱼72在视场76中的位置和轮廓，如由鱼检测器84检测到的。图4、7和8中显示的另一条鱼74已经被从该实施方式中的考虑中排除，因为它被鱼72部分地挡住。然而在修改的实施方式中，同样检测鱼74并寻找鱼74的皮肤上的鱼外部寄生虫(例如海虱)是可能的，只要其是可见的。

在本发明的一个实施方式中，已经选择照相机52的焦深以使得对于鱼72的整个轮廓获得清晰图像。在修改的实施方式中，如图9所示，由鱼检测器识别的鱼的轮廓被分段成子区域88，它们在与照相机52的距离上不同。不同子区域88中的距离是基于从测距检测器54获得的测距结果计算的。由测距检测器的各个检测器元件获得的距离值已经反映了视场的中心线70与照相机的光轴之间在俯仰方向上的角度偏差的影响。此外，对于鱼72的轮廓内的每个点，可以从视场76中鱼上的像素的位置推断在水平方向上的角度偏差的影响。任选地，可以针对鱼体在水平方向上的浮凸(relief)作出另外的距离校正，该浮雕对于考虑中的鱼的物种至少大体上是知晓的。

然后，当从鱼72获取一系列图像时(例如，如上所述，以4Hz的频率)，焦点可以在图像之间变化，使得焦点分别适于图9中的子区域88之一。这允许获得鱼的所有子区域88的高分辨率图像且具有减少的焦深，并因此具有需要较低照明光强度的照相机的光圈设置。

图10示出了鱼72的标准化图像，其最终被提交给鱼外部寄生虫检测器86。该图像可以任选地包含用不同照相机焦距捕获的子区域88的若干图像。此外，图10中所示的图像可以在尺寸上针对标准尺寸被标准化，这利于将鱼的捕获的图像与注释的图像进行比较。

将观察到，如果鱼的定向与照相机的光轴不成直角，则如图9中识别的鱼72的图像可发生失真(水平压缩)。产生如图10所示的鱼的轮廓的标准化过程可以补偿这种失真。

进一步地，图10说明了任选的实施方式，其中鱼的轮廓已经被分段成不同的区域90、92和94-100。区域90和92允许图像处理系统在鱼的顶侧和底侧之间进行区分，为此，一方面鱼的皮肤颜色将不同，和另一方面由上部和下部照明阵列22和24提供的照明强度和光谱将不同。知晓鱼上的像素所位于的区域90或92使鱼外部寄生虫检测器86更容易搜索鱼外部寄生虫(例如海虱)与鱼组织之间形成对照的特征性特征。

在该实例中示出的另外的区域94-100指定了与在鱼上的不同物种的鱼外部寄生虫(如海虱)的特征性群体密度相关的鱼的选定解剖特征。还将在用于机器学习的注释的图像上标识相同的解剖区域94-100。这允许训练或配置鱼外部寄生虫检测器以使得用于检测鱼外部寄生虫(例如海虱)的置信度适于当前正在检查的区域。

而且，当鱼外部寄生虫检测器86以推断模式操作时，为鱼上的不同区域94-100提供单独的统计信息是可能的，这可以提供用于识别外部鱼寄生虫(如海虱)的物种、性别和/或生命阶段，和/或侵染程度的有用信息。

注释、训练、验证和测试

图11示出了详述图像的注释以及图像处理系统78内的检测器84、86的训练、验证和测试的流程图。注释和训练过程开始于图像的获取。注释界面102允许人类创建一组注释，其当与相应图像相关联时，产生被注释的图像的语料库。

在本发明的优选实施方式中，注释界面与连接至数据库80中的数据存储的介质服务器通信。注释界面可以是基于HTML的，从而允许人类注释者在网络浏览器中加载、查看和注释图像。对于每个图像，注释者创建包围每条明显可见的鱼的多边形，和包围存在于鱼的表面上的任何鱼外部寄生虫(例如海虱)的矩形边界框。优选地，注释界面还允许注释者创建包围鱼眼的矩形边界框(其可能在视觉上类似于鱼外部寄生虫，例如海虱)。优选地，注释者还指示每个虱子的种类、性别和生命阶段。

使用注释界面102创建的注释被存储在数据库80中。在从数据库插入和检索时，单个图像的注释通过指向相关图像的指针被序列化为JSON对象。这简化了通过机器学习程序对被注释的语料库的摄取。

在本发明的优选实施方式中，机器学习程序包括在被注释的图像的语料库上训练神经网络。如图11所示，注释的图像可以分为三组图像。前两组图像用于训练和验证神经网络。更具体地，第一组图像(例如，注释的图像的大约80％)用于迭代地调节神经网络内的权重。定期地(即，在一定数量的额外迭代之后)，第二组图像(注释的图像的大约10％)用于验证演化的检测器，以防止过度拟合。训练和同时验证过程的结果是经训练的检测器84、86。第三组图像(例如，注释的图像的大约10％)用于测试经训练的检测器。测试程序表征经训练的检测器的性能，从而产生一组性能指标104。

如图11所示，作为更广泛的神经网络设计过程的一部分，整个训练、验证和测试过程可以迭代多次，直到获得可接受的性能指标。如上所述，在本发明的优选实施方式中，图11的过程执行至少一次以产生鱼检测器84，并且执行至少一次以产生鱼外部寄生虫检测器86。

在本发明的替代实施方式中，为了改善训练、验证和测试过程的质量，机器学习程序包括数据增强过程以增加被注释的语料库的大小。例如，将增强技术如噪声添加和透视变换应用于人类注释的语料库可使训练语料库的大小增加多达64倍。

操作

一旦完成图11的注释、训练、验证和测试过程，可以以推断模式运行检测器以检测新采集的(未注释的)图像中的鱼和鱼外部寄生虫，例如海虱。

具体地，首先将每个要处理的图像传递到鱼检测器84。如果鱼检测器在图像内定位其认为是鱼的一个或多个斑块(patch)，则将图像传递到鱼外部寄生虫检测器86，使得鱼的轮廓(和任选地，区域90-100)被描绘。

图12示出了流程图，其详述了在图像处理系统78内以推断模式操作鱼外部寄生虫检测器86。图像处理系统首先为每个获取的图像计算图像质量指标。质量指标评估图像用于检测鱼上的鱼外部寄生虫(例如海虱)的各个生命阶段的适用性。在本发明的优选实施方式中，图像质量指标包括：

-曝光过度像素的部分。图像内亮度值超过最大可允许值(例如，对于具有8位位深的像素为250)的像素的部分

-曝光不足像素的部分。图像内亮度值低于最小可允许值(例如，对于具有8位位深的像素为10)的像素的部分

-焦点得分；使用像素值的方差或应用于像素值的拉普拉斯过滤器的输出的方差计算的、图像内焦点质量的量度。

将来自训练、验证和测试程序的获取的图像、相应的图像质量指标和经训练的检测器传递到检测操作，其检测鱼检测器识别的图像的区域(例如90)内的一个或多个类别的鱼外部寄生虫，例如海虱(即，处于特定生命阶段的虱)。然后检测基于图像质量指标过滤；如果图像质量指标表明图像质量不足以允许可靠地检测特定类别的鱼外部寄生虫(例如海虱)，则排除该类别的检测。在排除检测时，将图像完全排除在该类别的检测率计算之外。(即，从检测率的分子中排除该检测，并且从检测率的分母中排除该图像)。经过滤的检测可以存储在检测数据库106中。

然后图像处理系统78将检测数据库内的检测与来自训练、验证和测试程序的性能指标104相结合，以对鱼外部寄生虫(如海虱)群体的统计结果进行建模。基于已知的性能指标，机器视觉系统从获取的图像中的检测率外推到鱼群中的鱼外部寄生虫(例如海虱)的实际发生率。

如上所述，图像处理系统78可以任选地使用由测距检测器确定的鱼位置信息来通知其对鱼的检测。具体地，鱼检测器可以降低检测每个图像报告的纵向中心线附近的鱼所需的置信度阈值。

在整合了具有不同定向的多个照相机的本发明的实施方式中，图像处理系统还可以在图像捕获时使用由照相机外壳20内的姿态感测单元56报告的定向信息。例如，由于鱼通常平行于水面游动，因此定向信息可用于使鱼检测偏向有利于高纵横比斑块，其中长轴垂直于重力矢量而定向。确定鱼相对于照相机的定向还使具有鱼检测器的图像处理系统能够结合多个神经网络，其各自针对特定鱼定向进行训练(例如，针对相对深色的上表面或相对浅色的下表面)。鱼定向也可告知鱼外部寄生虫检测器的操作，因为鱼外部寄生虫(例如海虱)更可能附着至鱼上的特定位置。

最终用户界面

最后，根据本发明的系统可以包括最终用户界面108(图1)。最终用户界面提供对机器视觉系统内的检测操作的结果的访问。例如，连接至数据库80和数据存储的介质服务器可以呈现具有指示图像中检测到鱼和鱼外部寄生虫(例如海虱)的区域的机器生成的注释的图像。最终用户界面还可以提供对感兴趣的鱼群(例如，在个体海围栏内或整个养殖场内)的汇总统计(例如，鱼计数、鱼外部寄生虫(例如海虱)计数、侵染率)。

在本发明的优选实施方式中，最终用户界面还包括使管理依从性变得容易的工具。例如，图像处理系统的检测操作的结果可以被自动总结并以所需形式发送给管理机构。最终用户界面还可以包括预测分析工具，从而预测鱼群的侵染率，预测产生的经济影响，以及评估可能的行动方案(例如化学处理)。最终用户界面还可以与更广泛的水产养殖设备集(例如，监测生物量、氧气水平和盐度水平的工具)集成。

任选地，最终用户界面包括上述注释界面102，从而允许高级的最终用户改善或扩展机器视觉系统的性能。同样任选地，最终用户界面可以包括允许调节管理照相机和照明控制系统的行为的参数的界面。

Claims (7)

1.一种用于水产养殖中的鱼外部寄生虫监测的方法，其包括以下步骤：

-将照相机(52)浸没到容纳鱼(72，74)的海围栏(40)中，所述照相机具有视场；

-用所述照相机(52)捕获所述鱼(72，74)的图像；和

-通过分析所捕获的图像来识别所述鱼(72，74)上的鱼外部寄生虫，

其特征在于：

用具有不同强度和/或光谱组成的光从上方和下方照亮在所述照相机(52)的视场内的目标区域。

2.根据权利要求1所述的系统，其中被所述上部照明阵列和所述下部照明阵列两者照亮的所述目标区域的尺寸设置为容纳鱼的整个轮廓。

3.根据权利要求1或2所述的方法，其中所述电子图像处理系统(78)用于检测由所述照相机(52)捕获的图像中的鱼(72，74)，并且用于检测所检测到的鱼的轮廓内的给定位置处的鱼外部寄生虫。

4.根据权利要求3所述的方法，其中在所述鱼上的给定位置处检测所述鱼外部寄生虫的步骤包括区分所述给定位置是在所述鱼的顶侧区域(90)中还是在底侧区域(92)中。

5.根据权利要求3或4所述的方法，其包括以下步骤：

-训练神经网络以检测所述鱼外部寄生虫；和

-使用所述图像处理系统(78)中的经训练的神经网络。

6.根据前述权利要求中任一项所述的方法，其包括以下步骤：

-操作测距检测器(54)以连续监测所述海围栏(40)的一部分以检测所述海围栏的该部分中鱼的存在，并在已经检测到鱼时，测量从所述照相机(52)到所述鱼(72，74)的距离；和

-在已经检测到鱼时，基于所测量的距离计算所述照相机(52)的焦距设置；和

-在所检测到的鱼(72，74)在预定距离范围内时，触发所述照相机(72)。

7.根据权利要求6所述的方法，其中所述测距检测器(54)用于测量所检测的鱼(72)的方位角，并且所测量的方位角用于所述图像处理系统(78)以在所捕获的图像中搜索所述鱼的所述轮廓。

Images