CN109981929B - 水下浮游生物光学成像装置及方法 - Google Patents

Abstract

本发明涉及一种水下浮游生物光学成像装置及方法，包括：光学成像单元(1)，用于通过收集水下浮游生物被所述激光照明单元照射发出的散射光或荧光，对水下浮游生物成像；激光照明单元(2)，包括激光照明模组，用于对水下成像区域进行照明；其中，所述激光照明模组通过向照明中心发射扇形光层而进行成像照明。相比于已有装置和方法，本发明能够提升水下浮游生物成像的对比度和信噪比，有利于后续基于图像分析的浮游生物鉴定与定量；此外，本发明还可以拓展水下浮游生物光学成像的应用方式和应用场景，同时降低系统功耗，实现系统的紧凑化、小型化和智能化。

Description

水下浮游生物光学成像装置及方法

技术领域

本发明涉及水下光学仪器领域，更具体涉及一种水下浮游生物光学成像装置及方法。

背景技术

浮游生物是海洋生态系统中基础性的组成部分，在海洋食物链物质循环和能量传递中起到重要的作用。浮游生物的生理、生态、多样性和过程研究是理解海洋资源、生物多样性水平、气候变化对生态系统影响等必不可少的重要环节。

目前，海洋浮游生物的观测多依赖于网采结合显微镜检等传统人工手段，其自动化程度难以满足海洋微小生物观测对时间分辨率的高要求。作为公认的海洋观测发展趋势之一，原位观测技术是可以在水下对海洋浮游生物进行原位测量，避免了费时费力的样品采集和人工分析步骤。将原位观测技术及传感器整合到各种海洋观测平台对于拓展观测平台信息获取能力、增强观测实时性、以及深入理解海洋生物地球化学耦合过程等均具有十分重要的意义。

利用水下光学显微成像装置对浮游生物进行直接的粒级数字图像记录是进行海洋浮游生物观测最直观的方法。其中，针对中型以上粒级(大于100微米)的浮游动物，已经有多种成像装置成功地应用于面上调查或种类鉴定，如视频浮游生物记录仪(VideoPlankton Recorder,VPR)、原位鱼食浮游生物成像装置(In Situ IchthyoplanktonImaging System,ISIIS)、水下视频剖面仪(Underwater Video Profiler,UVP)、斯克里普斯浮游生物相机(Scripps Plankton Camera,SPC)、层状光照明典型种类调查系统(Lightframe On-sight Keyspecies Investigation System,LOKI)和连续颗粒物成像及分类系统(Continuous Particle Imaging and Classification System,CPICS)等。这些水下成像装置可以记录从十几微米到几厘米大小不同的浮游生物数字图像，通过图像识别处理可以对浮游生物进行种类鉴定与定量。

依据成像原理的不同，上述成像装置大体可分为剪影成像和暗场成像两类。其中VPR和ISIIS系统属于剪影成像，所获取的图像对比度来自于浮游生物对光的吸收；利用线阵CCD器件，剪影成像更适合于以拖曳的工作方式对浮游生物丰度较低的水体进行走航观测。UVP、SPC、LOKI和CPICS等系统均属于暗场成像，所获取的图像对比度取决于浮游生物对光的散射和衍射。相比于剪影成像，暗场成像可以获得更高的分辨率，更丰富的浮游生物形态、纹理和色彩信息，因此可以据其得到更好的浮游生物分类和鉴定结果。暗场成像装置采用面阵CCD和掠射式照明，其工作方式和成像特点更适合于对浮游生物丰度较高的水体进行定点观测。

在暗场成像装置工作时，处于物空间视场角内、景深以外的目标如被照明，将会产生离焦光晕，形成背景噪声，导致浮游生物暗场图像对比度下降，不利于后续图像处理分析。而对视场内景深范围里的目标，若掠射照明所涵盖的方位角有限的话，则有可能会造成浮游生物图像中的影子效应，产生图像纹理人为假象，也会对后续图像处理分析产生不利影响。因此，现有暗场成像装置在照明设计中，一方面普遍对掠射照明光束在空间上加以限制，使照明区域的轴向深度尽量与成像装置的景深匹配，以抑制背景噪声，保证成像对比度。例如，LOKI系统的圆环形照明器利用线性菲涅尔透镜的一维聚光作用，尽可能将LED光源发出的光汇聚到成像视场的中心区域。另一方面，暗场成像装置也会尽可能增大掠射照明方位角的涵盖范围，使照明均匀化，避免采集图像中的目标产生阴影效应。例如，UVP系统采用了双侧对向的照明方式，SPC采用了传统的库尔勒暗场照明方式，而LOKI和CPICS系统均采用了环状照明的方式。库尔勒照明和环状照明的方位角均达到了360度，是真正的“无影”照明。

除了在空间上对照明光加以调制，暗场成像在时间维度上也需要对照明光加以调制，以提升成像质量。由于受游动能力和水下水流推动作用的影响，相比于成像快门速度，浮游生物的移动速度常处于较快的状态。当这种情况发生时，成像产生拖尾效应，造成目标的运动模糊，导致后续图像分析处理困难。为了避免拖尾模糊，需要缩短成像相机的等效曝光时间，实现“抓拍”。目前，数字相机一般都采用电子快门，可以直接通过电子设定实现极短的曝光时间。相比之下，水下暗场成像装置一般采用闪光照明工作方式，照明光以脉冲形式照射目标，在照明目标的瞬间触发数字相机曝光，记录目标图像。相比于连续照明结合快速电子快门所实现的抓拍工作方式，闪光照明一方面可以减少光源耗能，另一方面可以避免多种浮游生物因趋光性引致的在光照区域聚集，造成定量的不准确，失去原位测量的意义。

诸如VPR、UVP、ISIIS、LOKI、SPC、CPICS等系统的水下光学成像装置采用白光发光二极管(Light emitting diode,LED)作为光源。LED是一种非相干光源，具有体积小、亮度高、光束集中、波长选择丰富、光电转换效率高、易于电流调制、寿命长等光电特性。

然而，LED光源作为一种非相干光源，仍然有其不足。首先，其发散角仍然较大，在被应用于分辨率要求较高的水下成像装置时，很难将LED发射的光在空间上限制在较浅的景深范围内，从而导致焦面外颗粒物被照亮且被成像装置收集，造成图像对比度下降。其次，由于LED照明的功率密度仍然较低，当利用其实现闪光照明时，为了保证照明瞬间的亮度足够强，需要使用很大的脉冲电流对其进行驱动。这不仅需要专门的驱动电路，而且导致总功耗加大，不利于水下原位观测系统的可靠性和延长工作时间。

相比于LED，激光二极管(Laser diode,LD)发出的激光具有更好的相干性，发散角更小，方向性更好，照明功率密度更高，更有利于作为暗场成像的照明光源。此外，LD体积小、功耗低，有助于原位成像装置的小型化、可靠性和长时间工作能力。

发明内容

有鉴于此，本发明的发明人针对上述技术问题，提出一种基于LD激光照明的浮游生物光学成像装置及方法，适用于对100微米以上的浮游生物实现高质量的原位成像。该系统可在水下以定点观测、水平拖曳观测、垂直剖面观测或被搭载在水下航行器上观测工作。

根据本发明的实施例，提供了一种水下浮游生物光学成像装置，包括：光学成像单元，用于通过收集水下浮游生物被所述激光照明单元照射发出的散射光或荧光，对水下浮游生物成像；激光照明单元，包括激光照明模组，用于对水下成像区域进行照明；其中，所述激光照明模组通过向照明中心发射扇形光层而进行成像照明。

根据本发明的实施例，所述成像装置由激光照明单元、光学成像单元组成。其中，光学成像单元包括光学模块、电子控制驱动模块、图像处理存储模块和数据传输模块。上述模块在密封舱内部，激光照明单元位于密封舱外部，与密封舱之间通过多个管状支撑结构相连。

根据本发明的实施例，所述激光照明单元由多个激光扇形照明模组和深紫外波段LED组成。所述激光扇形照明模组在同一平面上以等角度间隔圆形分布，照明中心方向指向圆心，发射厚度一致的扇形光层并构成相互重叠的多边形层状照明区域；多边形层状照明区域与成像光轴垂直并位于景深范围内，光层厚度小于或等于景深，其对称中心与成像光轴相交。所述深紫外LED与所述激光扇形照明模组相邻，且具有相同的空间等角度间隔圆形分布，照射方向亦指向圆心。

根据本发明的实施例，所述激光扇形照明模组由一个LD激光器、一组光束直径调节透镜组、一个直角棱镜、一个鲍威尔棱镜、一个线型光阑、一组深紫外LED和一个水密结构组成。所述LD激光器发出激光的波长可为单一可见光波段波长，或红、绿、蓝三种颜色波长的组合。所述激光扇形照明模组被封装成一个水密的管状结构，整个结构呈“L”形。

根据本发明的实施例，提供了一种水下浮游生物光学成像装置辅助水样操控单元，其特征在于所述水样操控单元由一个步进电机、一个传动装置、一个滚珠丝杆活塞、一个步进电机控制器、一个管状套筒和一个水密管状结构组成。所述水样操控单元的电子机械模块被封装在所述水密管状结构中，整体构成一个有开口的柱塞结构，其开口指向光学成像单元的光学窗口，开口端口所在平面与成像焦面紧邻。

根据本发明的实施例，提供了一种水下浮游生物光学成像装置，其特征在于所述光学模块由光学窗口、远心镜头、光学分束器、带通滤光片、会聚透镜、单点光探测器和面阵数字相机组成。所述光学窗口由熔融石英或蓝宝石材料制成，表面镀有二氧化钛超疏水膜。所述远心镜头收集的物光经分束器分为透射和反射两路，透射光经过带通滤光片投射至数字相机面阵传感器成像；反射光通过另一个带通滤光片后经会聚透镜聚焦至单点光探测器，用于产生拍照触发信号。所述数字相机可以为单色或彩色CCD或CMOS相机。成像单元的视场大小略小于激光照明单元生成的多边形层状照明区域面积。

根据本发明的实施例，所述电子控制驱动模块由单片机、LD激光驱动、深紫外LED驱动、相机外触发电路和相机控制电路构成。

根据本发明的实施例，提供了一种水下浮游生物光学成像装置，其特征在于所述图像处理存储模块由基于嵌入式平台的分立FPGA、DSP、GPU和固态存储器等构成，或由集成了FPGA+DSP+ARM等的异构嵌入式处理器芯片、GPU和固态存储器构成。所述FPGA用于原始图像的预处理，所述DSP用于高级图像处理算法实现，所述GPU用于图像并行处理和基于深度神经网络模型的浮游生物识别算法实现，所述固态存储器用于浮游生物原始图像、压缩图像和图像处理所得统计信息的存储。

根据本发明的实施例，所述数据传输模块通过密封舱体端面上的数据传输接口向外部传输数据。所述数据传输模块采用以太网或光纤与外部数据中心之间以有线方式传输数据，或通过手机通信网络或卫星通信信道与数据中心之间以无线方式传输数据。

根据本发明的实施例，所述密封舱为有机物或金属材料制成的内部中空的圆柱体，密封舱体一端有透明窗口，另一端有气嘴、数据传输和外部电缆水密接口。密封舱内部有用于防止生物附着的深紫外LED，有用于远心镜头、数字相机和各个电子模块的支撑与固定结构，有与数字相机热沉结构和密封舱体紧密接触的热导体，用于散热及稳定系统工作温度。

根据本发明的实施例，所述密封舱内部有多颗呈圆形等角度间隔分布的深紫外LED，可通过直射、折射、反射、衍射、散射等光路在所述光学窗口形成照射面积大于等于窗口的交叠区域，通过定时照射防止生物附着。

根据本发明的实施例，当所述密封舱内部所有单元安装完毕后，利用一个两位三通阀和抽气泵将惰性气体(如氮气)充入密封舱，最后采用一个螺栓盖头将所述气嘴密封。

根据本发明的实施例，所述激光照明单元可由多个波长相同的单色激光扇形照明模组组成，生成一个单色光多边形层状照明区域，通过所述光学成像单元中的单色数字相机实现浮游生物灰度成像。

根据本发明的实施例，所述激光照明单元可由多个波长同时包括红、绿、蓝三色的相同激光扇形照明模组组成，生成一个白色光多边形层状照明区域，通过所述光学成像单元中的彩色数字相机实现浮游生物彩色成像。

根据本发明的实施例，所述激光照明单元可由多个波长分别包括红、绿、蓝三色的不同激光扇形照明模组组成，生成一个白色光多边形层状照明区域，通过所述光学成像单元中的彩色数字相机实现浮游生物彩色成像。

根据本发明的实施例，所述数字相机的曝光信号上升沿触发所述激光照明单元进行短脉冲闪光照明，单个光脉冲脉宽小于或等于相机的曝光时间，实现针对自由漂浮或游动浮游生物目标的离散单帧抓拍。

根据本发明的实施例，所述激光照明单元连续照明，利用所述数字相机的自由运转软件内触发短时曝光，实现针对自由漂浮或游动浮游生物目标的离散单帧抓拍。

根据本发明的实施例，所述激光照明单元连续照明，利用所述水样操控单元驱动浮游生物垂直流经焦面进入所述光学成像装置视场，利用所述数字相机曝光读出的重叠工作模式，实现对浮游生物目标的多帧连拍。

根据本发明的实施例，所述水下光学成像装置可以以预先设定好的固定工作参数拍摄浮游生物目标，所述工作参数包括相机帧率、图像大小、等效曝光时间和激光照明强度。

根据本发明的实施例，所述水下光学成像装置可以通过对前序帧所得的浮游生物目标实时分析结果，动态自动调整后采集续帧时的系统工作参数，以自适应的方式拍摄浮游生物目标。所述工作参数包括相机帧率、等效曝光时间和激光照明强度。

根据本发明的实施例，所述激光照明单元连续照明，利用所述单点光探测器外触发所述数字相机，实现针对自由漂浮或游动浮游生物目标的离散单帧抓拍。

根据本发明的实施例，所述激光照明单元连续照明，利用所述水样操控单元驱动浮游生物垂直流经焦面进入所述光学成像装置视场，利用所述单点光探测器外触发所述数字相机，实现对透明度较高个体较大的浮游生物目标的三维层析图像拍摄和个体较小的浮游生物目标的二维图像拍摄。

根据本发明的实施例，所述激光照明单元发出的激光无论以所述连续照明还是脉冲照明的工作模式下，照明激光均进行高频调制，在所述数字相机的实际曝光时间内高频闪光多次，以消除浮游生物图像中的激光散斑噪声。

根据本发明的实施例，所述水下光学成像装置在水下固定位置定点工作，由水流推送或浮游动物自身游动进入所述成像装置视野范围内成像。

根据本发明的实施例，提供了一种水下浮游生物光学成像方法，所述水下光学成像装置在水下固定位置定点工作，由所述水下光学成像装置的水样操控单元驱动水团包裹浮游生物进入所述成像装置视野范围内成像。

根据本发明的实施例，所述光学成像装置可在一定的水体空间中垂直升降，由水体与所述光学成像装置在垂直方向上的相对运动使浮游生物随水流进入所述成像装置视野范围内成像。

根据本发明的实施例，所述光学成像装置可以被固定于框架中，由水面航行器在一定水深下水平拖曳，由水体与所述光学成像装置在水平方向上的相对运动使得浮游生物随水流进入所述光学成像装置视野范围成像。

根据本发明的实施例，所述光学成像装置可以被搭载固定于水下航行器上，随水下航行器在水面以下三维空间运动，由水体与水下航行器前进方向的相对运动使得浮游生物随水流进入所述光学成像装置视野范围成像。

根据本发明的实施例，提供了一种水下浮游生物图像处理方法，其特征在于利用所述图像处理存储模块中的FPGA对所述水下光学成像装置采集的原始图像进行预处理。通过对所述原始图像阈值设定、二值化和目标轮廓扩展操作，以高度并行的方式实时剪切出每个浮游生物目标子图，去除图像背景数据冗余，统计浮游生物丰度，计算单帧像素总值。

根据本发明的实施例，提供了一种水下浮游生物图像识别方法，其特征在于利用所述图像处理存储模块中的DSP对经过FPGA预处理的原始图像应用高级图像处理算法进行进一步处理。

根据本发明的实施例，提供了一种水下浮游生物图像识别分类方法，其特征在于所述图像处理存储模块中的嵌入式GPU对经FPGA及DSP预处理后的图像进行处理分析，基于深度神经网络识别模型对浮游生物实现智能识别与分类。

相比于已有装置和方法，本发明能够提升水下浮游生物成像的对比度和信噪比，有利于后续基于图像分析的浮游生物鉴定与定量；此外，本发明还可以拓展水下浮游生物光学成像的应用方式和应用场景，同时降低系统功耗，实现系统的紧凑化、小型化和智能化。

附图说明

图1是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置的结构示意图；

图2是根据本发明实施例的基于LD激光照明的浮游生物光学成像装置照明效果示意图；

图3是根据本发明的实施例的基于单色或三色LD激光的扇形层状照明模组的结构及原理示意图；

图4是彩色数字相机红绿蓝三色滤光片光谱响应与红绿蓝三色LD中心波长对应关系示意图；

图5是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置的光学成像单元示意图；

图6是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置的深紫外LED分布示意图；

图7是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置的深紫外LED安装位置原理图，其中(a)为侧视图，(b)为后视图；

图8是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置的深紫外LED照射方式示意图，其中(a)为直接照射，(b)为通过透镜的会聚照射，(c)为经平面镜反射照射；

图9是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置辅助水样操控单元的示意图；

图10是集成了辅助水样操控单元的根据本发明的实施例的LD激光照明浮游生物光学成像装置的示意图；

图11是根据本发明的实施例的基于LD激光照明的浮游生物光学成像方法不同工作模式的照明、触发、相机曝光和读出时序示意图，其中(a)为连续照明结合相机短曝光时间离散单帧抓拍模式，(b)为短脉冲照明触发相机离散单帧抓拍模式，(c)为连续照明结合相机重叠曝光多帧连拍模式，(d)为连续照明结合外部信号触发相机离散单帧抓拍模式，(e)为连续照明结合外部信号触发相机B门曝光拍摄模式，(f)为连续照明结合外部信号触发相机高速层析3D成像拍摄模式；

图12是根据本发明的实施例的基于LD激光照明的水下浮游生物成像装置的搭载平台示意图，其中(a)为岸基/浮标水下定点观测，(b)为水面航行器水平拖曳水下观测，(c)为水下垂直剖面观测，(d)为水下航行器搭载水下三维空间运动观测。

附图标记说明：

1、光学成像单元；2、激光照明单元；3、管状支撑连接结构；4、LD激光管；5、光束直径调节透镜组；6、直角棱镜；7、鲍威尔棱镜；8、深紫外LED；9、激光照明模组光学窗口；10、线形光阑；11、成像单元光学窗口；12、远心镜头；13、双色镜或分束器；14、第一带通滤光片；15、数字相机；16、电子控制驱动模块；17、图像处理存储模块；18、第二带通滤光片；19、会聚透镜；20、单点光探测器；21、密封舱；22、数据传输模块；23、气嘴；24、会聚透镜；25、反射镜；26、水密结构；27、步进电机驱动器；28、步进电机；29、传动装置；30、管状套筒；31、滚珠丝杆；32、活塞；33、水样操控单元。

具体实施方式

下面，结合附图对技术方案的实施作进一步的详细描述。

本领域的技术人员能够理解，尽管以下的说明涉及到有关本发明的实施例的很多技术细节，但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合，只要它们不背离本发明的原理和精神即可。

另外，为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。

下文中，将结合附图描述用于实现本发明的实施例。

图1是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置的结构示意图。

如图1所示，本发明的水下浮游生物成像装置利用LD激光器产生的层状照明光于成像景深范围内以垂直系统光轴侧向照明目标，通过收集待测目标发出的散射光或荧光实现对浮游生物的暗场成像。所述成像装置主要由光学成像单元1和激光照明单元2组成。

图5是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置的光学成像单元示意图。如图5所示，光学成像单元1包括光学模块、电子控制驱动模块16、图像处理存储模块17和数据传输模块22。光学成像单元1位于密封舱21内部；激光照明单元2位于密封舱21外部，与密封舱21之间通过多个管状支撑结构3相连。

图2是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置的照明效果示意图；图3是根据本发明的实施例的基于单色或三色LD激光的激光照明单元2的扇形层状照明模组的结构及原理示意图。

激光照明单元2由多个(如3个)扇形激光照明模组组成，如图2所示。每个激光扇形照明模组包括在光路上依次布置的LD激光管4、一组光束直径调节透镜组5、直角棱镜6、鲍威尔棱镜7、一组深紫外LED 8、激光照明模组光学窗口9和线型光阑10，如图3所示。LD激光管4发出的激光经光束直径调节透镜组5后被直角棱镜6以90度反射，反射光束经过鲍威尔棱镜7折射后形成一个发散的扇形光层；通过光束直径调节透镜组5调节入射光束直径，可以控制出射扇形光层的厚度；扇形出射光束经过激光照明模组光学窗口9后被线型光阑10进一步抑制杂散光后射出；利用激光照明模组光学窗口9与管状结构将上述元件(除了线型光阑10之外)水密封装，出射扇形光束与管状结构均呈“L”形。

所述激光照明模组在同一平面上以等角度间隔圆周分布，如图2所示，扇形照明中心方向指向对称圆心，发射厚度一致的扇形光层。这些扇形光层相互重叠，形成一个多边形层状照明区域，该区域与成像光轴垂直并位于景深范围内，厚度小于或等于景深，对称中心与成像光轴相交或紧邻。成像时，待测目标位于多边形区域的圆对称中心附近，因此可接受来自多个角度的照射，使照明更为均匀，避免成像产生阴影。

当利用水下浮游生物成像装置进行灰度成像时，激光照明单元2中的所有激光照明模组(LD激光器)可采用相同波长单色照明，例如可采用可见光波段或者近红外波段的某一常见波长，如图2(a)所示。当利用水下浮游生物成像装置进行彩色成像时，可采用分别单独发射蓝、绿、红单色激光的多个扇形激光照明模组构成激光照明单元2(如图2(b)所示)，也可以采用可同时发射由蓝、绿、红波长构成的“白光”激光的多个扇形激光照明模组构成激光照明单元2(如图2(c)所示)。上述任一彩色成像照明方案中所使用的蓝、绿、红三色激光波长和彩色数字相机成像芯片上的红绿蓝三色滤光片的光谱响应对应关系如图4所示。当水下浮游生物成像装置采用外部触发方式工作时，可以在上述单色或三色激光照明单元2中额外增加一路由近红外LD激光器构成的扇形激光照明模组，通过光学成像单元1中的单点探测通道产生触发信号，触发可见光波段的激光照明和相机曝光，实现对浮游生物的成像(如图2(d)所示)。为了防止激光照明模组光学窗口9的生物附着污损，可以通过一组深紫外LED 8从激光照明模组内部照射激光照明模组光学窗口9(如图2(e)所示)，深紫外LED8的分布方式和位置可如图6和图7所示确定。

图5是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置的光学成像单元1的结构示意图。

如图5所示，水下浮游生物成像装置的光学成像单元1的光学模块包括成像单元光学窗口11、远心镜头12、双色镜/分束器13、第一带通滤光片14和第二带通滤光片18、会聚透镜19、单点光探测器20和面阵数字相机15组成。所述成像单元光学窗口11为一块具有一定厚度的圆形透光平板，可由熔融石英或蓝宝石材料制成，与外部水体接触表面镀有二氧化钛超疏水膜。浮游生物目标被激光照明单元2照射发出的光穿过成像单元光学窗口11，被远心镜头12收集；穿过远心镜头12的物光经双色镜/分束器13分为透射和反射两路光。当激光照明单元2中配备的近红外LD扇形激光模组常亮时(如图2(d)所示)，进入其照明区域的浮游生物散射近红外光，该近红外光被双色镜13反射，通过第二带通滤光片18后经透镜19会聚至单点光探测器20，用于产生照明和拍照触发信号。这里采用通带较窄的第二带通滤光片18可以防止水下环境中其它来源的近红外光(如太阳光)被探测而造成误触发。透射的可见光如只有一个波长，则选用一个通带的带通滤光片，如有蓝、绿、红三个波长，则选用与之对应的具有三个通带的带通滤光片，最终经过第一带通滤光片14后的可见光投射至数字相机面阵传感器15成像。在透射光路使用带通滤光片14可以将照明光波长以外的光谱成分复杂的杂散光滤除，有助于水下成像装置的环境适应性，有效提升最终拍摄图像的信噪比。数字相机15的成像芯片可以为单色或彩色的CCD或CMOS，成像芯片的面积应与远心镜头12的放大倍率和光学接口匹配，以使得成像视场的大小略小于激光照明单元生成的多边形层状照明区域面积。

光学成像单元1被封装在由有机物(PVC或POM)或金属材料(可以是铝合金、不锈钢、钛合金或白铜合金)制成的内部中空的圆柱体密封舱21内。透明的成像单元光学窗口11位于密封舱21一端，由密封圈和机械卡环或法兰盘固定密封，密封舱21的另一端有数据传输和外部电缆水密接口。

为了防止成像单元光学窗口11在密封舱内凝结水雾影响成像质量，可在成像装置下水工作前对其密封舱内实施惰性气体充入处理。具体方法为，在密封舱21后端设有一个气嘴接头23，当密封舱21内部所有器件安装完毕后，关闭密封舱。利用两位三通阀连接抽气泵、密封舱21和惰性气体瓶。首先将两位三通阀门调至抽气泵和密封舱21连接状态，然后利用抽气泵将密封舱21内原有空气抽出。待抽到一定的压强下，再将两位三通阀门调至密封舱21与惰性气体瓶连接状态，可将惰性气体/保护气体(如氮气)慢慢充入密封舱21。最后采用螺栓盖头将气嘴23密封。此时由于密封舱21内部几乎没有水蒸气，所以不会产生起雾现象。

密封舱21内部采用UVC波段(250-280nm)深紫外LED 8，从多角度照射成像单元光学窗口11，通过UVC紫外光对水中微生物的DNA复制破坏作用和与二氧化钛超疏水膜的光催化作用，抑制成像单元光学窗口11外表面的生物膜形成，从而避免生物附着。深紫外LED8被放置在密封舱21内部，多颗LED在密封舱内部呈圆形等角度形式分布，其照明交叠区域面积大于等于成像单元光学窗口11面积，如图6所示。

图7是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置的深紫外LED 8的安装位置原理图，其中(a)为侧视图，(b)为后视图。图7示意了深紫外LED 8的几何光学追迹。A点为深紫外LED 8所在位置，OA表示LED8与成像单元光学窗口11的轴向距离d，OC表示深紫外LED8到成像单元光学窗口11的纵向距离l，BE是成像单元光学窗口11直径D，α是直线OA与AC的夹角，θ是直线CA与AE的夹角，即LED 8的照明半角，l'是AC的长度，AF和AG表示深紫外LED 8到成像单元光学窗口11的横向边缘的距离。深紫外LED 8照明应遵循以下分布公式：

紫外照明除遵循以上公式外，d应小于远心镜头12的工作距离。以成像单元光学窗口11口径70mm、深紫外LED 8发散半角7.5°为例，当采用如图8(a)所示的直接照射方案时，LED 8距离成像单元光学窗口11的轴向距离和径向距离分别为230mm和132mm，LED 8中心线与成像单元光学窗口11呈60°夹角。深紫外LED8的安装位置遵循上公式的目的是为了一方面使其在光学窗口的照明能够完全覆盖通光区域，另一方面其距离照明/成像光轴的轴向距离尽可能短，以保持装置整体的紧凑性。

为使仪器内部空间紧凑，深紫外LED 8不一定要直射成像单元光学窗口11，还可通过添加折射式、反射式或衍射式光学元件改变照明角大小或光线传播方向来压缩空间体积，例如，由此可缩小远心镜头12及数字相机15到成像单元光学窗口11的距离、缩小深紫外LED 8的径向间距，进而缩小密封舱21的轴向和径向尺寸。例如，图8(b)是采用会聚透镜24的一种折射式照射，通过调整深紫外LED 8与会聚透镜24的距离大于或小于会聚透镜24焦距，从而压缩或扩展深紫外LED 8的发射角，实现深紫外LED 8在轴向和径向上所占空间体积的压缩。图8(c)是一种采用平面反射镜25的一种反射式照射方案，通过采用与深紫外LED8光轴呈一定角度的反射镜25来改变照射光的传播方向，实现深紫外LED 8在轴向和径向上所占空间体积的压缩。

此外，本领域的技术人员能够理解，对于激光照明单元2的深紫外LED 8来说，上述布置原理及具体方案也是适用的。即，关于深紫外LED 8的上述布置原理及具体方案同时适用于光学成像单元1和激光照明单元2，且可有任意不同的组合。

为了增强密封舱21的耐腐蚀性，可以采用镁、铝、锌等材料，采用牺牲阳极法加以保护。另外，还可以通过在密封舱21外表面涂覆防污涂料，下水使用前外壳包裹保鲜膜等方法增加密封舱21的抗生物附着能力，或方便后期的污损清除。

为了提高抗生物附着能力，还可以除了用于远心镜头12、数字相机15和各个电子模块的支撑与固定结构以外，密封舱21内还有与数字相机15热沉结构和密封舱21紧密接触的热导体用于散热。密封舱21内的电子控制驱动模块16由单片机、LD激光驱动、紫外LED驱动、相机外触发电路和相机控制电路构成。图像处理存储模块17由基于嵌入式平台的分立FPGA、DSP、GPU和固态存储器等构成，或由集成了FPGA+DSP+ARM等的异构嵌入式处理器、GPU和固态存储器构成。所述FPGA对所述水下光学成像装置采集的原始图像进行预处理，所述DSP对经过FPGA预处理的原始图像应用高级图像处理算法进行进一步处理，所述嵌入式GPU对经FPGA及DSP处理后的图像进行处理分析，基于深度神经网络识别模型对浮游生物实现智能识别与分类。所述异构嵌入式处理器是将FPGA、DSP和ARM集成于一块芯片的新型处理芯片(或称片上系统SOC,system on a chip)。

数据传输模块22通过密封舱体端面上的数据传输接口向外部传输各种图像或处理所得数据。依据浮游生物水下成像装置的部署位置，可采用以太网或光纤与外部数据中心之间以有线方式传输数据，或通过手机通信网络(如4G网络)或卫星通信信道与数据中心之间以无线方式传输数据。

在天然的水下环境里，浮游生物可以自由游动或受局部水团的裹挟流动，运动的方向是随机的。而水下成像装置由于视场和景深都很小，因此在对流动缓慢或者静止的水体抓拍成像时，实际有效采样水体积很小。当浮游生物的浓度较低时，在该体积内的浮游生物数量稀少，成像效率很低。因此，可以操控水流裹挟浮游生物快速流经焦面，在此过程中对其成像，以提升检测通量。

图9是根据本发明的实施例的基于LD激光照明的浮游生物光学成像装置配有的水样操控单元33的示意图。图9示意了一种利用步进电机驱动的活塞式水样操控装置，可以作为水下浮游生物成像装置的辅助单元，实现这一目的。水样操控单元由步进电机28经过传动装置29连接滚珠丝杆31驱动活塞32，在开口的圆筒状结构(玻璃或石英管)30内往复运动实现。电子控制驱动模块16通过步进电机28的驱动器27控制其旋转转速和方向，从而可以驱动活塞32推动管内的水做层流运动。上述步进电机28及其驱动器27和滚珠丝杆31等元件都被封装在水密结构26中，只有活塞32的外端面与外部水体接触。在使用水样操控单元时，可以按照如图10所示的结构与水下浮游生物成像装置的密封舱21通过管状支撑结构3连接，使得其活塞32的运动方向与成像装置的光轴共线，管口紧邻照明光层的外侧。这样当管内的浮游生物被活塞32推出管口时，恰好位于成像装置的焦平面内，且被激光照明单元2的出射光层照亮，从而不仅可以清晰成像，还可以大大提高成像通量。

通过对激光照明单元2、光学成像单元1和水样操控单元33的设置和操控，水下浮游生物成像装置可以实现多种不同的成像模式，在这些不同成像模式下得到的图像也具有不同的图像特点。不同成像模式下的照明、触发、相机曝光和读出的时序关系如图11所示。

图11(a)示意了连续照明下的自由抓拍模式。在该模式下，激光照明单元2连续照明，利用数字相机的自由运转软件内触发短时曝光(几微秒至几十微秒)，可以有效避免运动模糊，实现针对自由漂浮或游动浮游生物目标的离散单帧抓拍成像。图11(b)示意了触发照明下的自由抓拍模式。在该模式下，数字相机15的曝光信号上升沿触发激光照明单元，进行短脉冲闪光照明，单个光脉冲脉宽(几微秒至几十微秒)小于或等于相机的曝光时间(十几至几十毫秒)，以避免运动模糊，实现针对自由漂浮或游动浮游生物目标的离散单帧抓拍成像。图11(c)示意了连续照明下的重叠曝光连拍模式。在该模式下，激光照明单元2连续照明，利用水样操控单元33驱动浮游生物垂直流经焦平面进入成像装置视场，利用所述数字相机15曝光(曝光时间十几至几十毫秒)读出的重叠工作模式，可实现对浮游生物目标的多帧连拍成像。图11(d)示意了连续照明下的外触发抓拍模式。在该模式下，激光照明单元2中的近红外光连续照明，利用所述单点光探测器20外触发激光照明单元2中的可见光激光器闪光照明(脉宽几微秒至几十微秒)和数字相机15曝光(曝光时间十几至几十毫秒)，可实现针对自由漂浮或游动浮游生物目标的离散单帧抓拍。图11(e)示意了外触发焦面叠加二维投影成像模式。在该模式下，激光照明单元2可见或近红外光连续照明，通过水样操控单元33驱动浮游生物垂直流经焦面进入成像装置视场，利用所述单点光探测器20探测的近红外散射信号或可见光激发的荧光信号外触发数字相机15采用B门连续曝光积分成像，可实现对浮游生物目标的焦面叠加二维投影成像。图11(f)示意了外触发三维层析成像拍摄模式。在该模式下，激光照明单元2可见或近红外光连续照明，通过水样操控单元33驱动浮游生物垂直流经焦面进入成像装置视场，利用所述单点光探测器20探测的近红外散射信号或可见光激发的荧光信号外触发数字相机15高速连拍，实现对透明度较高个体较大(大于光层厚度)的浮游生物三维层析成像和个体较小(小于光层厚度)的浮游生物目标二维成像。在上述六种成像模式下，均可以通过高频调制激光脉冲重复率降低其时间相干性，即，在数字相机15每一帧的实际曝光时间内多次闪光，照明目标，以消除激光高相干性引致的成像散斑噪声，提升成像质量。

在上述六种成像模式下，包括相机帧率、等效曝光时间、激光照明强度和水样操控流速等工作参数可以在图像采集过程中保持不变，也可以通过对前序帧所得的浮游生物目标实时分析结果，动态地自动调整后采集续帧时的系统工作参数，以自适应的方式拍摄浮游生物目标。例如，当前序图像的信噪比较差时，可以在后续图像采集时逐步提升激光照明强度以改善信噪比。再比如，在操控水样流动成像模式中，当前序图像中浮游生物目标的稀疏度较高时，可以同时提升水流速度和激光照明强度，以保证在图像信噪比不变的前提下，提升后续图像中浮游生物的占空比。

图12示意了基于LD激光照明的水下浮游生物光学成像装置可以被搭载应用的四种主要场景平台：

一，水下定点工作。系统可以被固定在岸边水下或悬挂在锚系浮标下方的仪器井架上，由水流推送，浮游动物自身游动，或者水样操控单元33驱动水团包裹浮游生物进入所述成像装置视野范围内成像；

二，水下垂直剖面工作。系统可由船载的绞车通过缆绳在一定的水体空间中垂直升降，由水体与所述光学成像装置在垂直方向上的相对运动使浮游生物随水流进入所述成像装置视野范围内成像；

三，水下拖曳走航工作。系统可以被固定于框架中，由水面航行器通过缆绳在一定水深下水平拖曳，由水体与所述光学成像装置在水平方向上的相对运动使得浮游生物随水流进入所述光学成像装置视野范围成像。

四，水下自由工作。系统可以被搭载固定于水下航行器上，随水下航行器在水下三维空间自由运动，由水体与水下航行器前进方向的相对运动使得浮游生物随水流进入所述光学成像装置视野范围成像。

无论水下浮游生物成像装置以何种工作方式工作于何种场景下，其采集到的浮游生物原始图像可以被图像处理存储模块17中的FPGA进行实时预处理。图像处理存储模块中的DSP对经过FPGA预处理的原始图像应用高级图像处理算法进行进一步处理。图像处理存储模块17中的嵌入式GPU对经FPGA及DSP预处理后的图像进行处理分析，对浮游生物图像进行智能化识别与分类，从而达到浮游生物鉴定与定量的分析目的。

由上，将理解，为了说明的目的，这里已描述了本发明的具体实施例，但是，可作出各个修改，而不会背离本发明的范围。本领域的技术人员将理解，流程图步骤中所绘出或这里描述的操作和例程可以多种方式变化。更具体地，可重新安排步骤的次序，可并行执行步骤，可省略步骤，可包括其它步骤，可作出例程的各种组合或省略。因而，本发明仅由所附权利要求限制。

Claims (26)

1.一种水下浮游生物光学成像装置，包括：

光学成像单元(1)，用于通过收集水下浮游生物被激光照明单元(2)照射发出的散射光或荧光，对水下浮游生物成像；

所述激光照明单元(2)，包括激光照明模组，用于对水下成像区域进行照明；

其中，所述激光照明模组通过向照明中心发射扇形光层而进行成像照明；

所述激光照明单元(2)包括多个激光扇形照明模组，其同一平面上以等角度间隔圆周分布，照明中心方向指向圆心，各个激光扇形照明模组发射厚度一致的扇形光层，并构成相互重叠的多边形层状照明区域。

2.根据权利要求1所述的水下浮游生物光学成像装置，其中，所述多个激光扇形照明模组是多个波长相同的单色激光扇形照明模组，或者，

所述多个激光扇形照明模组是多个波长同时包括红、绿、蓝三色的相同激光扇形照明模组，或者，

所述多个激光扇形照明模组是多个波长分别包括红、绿、蓝三色的不同激光扇形照明模组，或者，

其中，所述多个激光扇形照明模组包括发射可见光和近红外光的激光扇形照明模组。

3.根据权利要求2所述的水下浮游生物光学成像装置，其中，所述多边形层状照明区域与成像光轴垂直并位于景深范围内，扇形光层的厚度小于或等于景深，其对称中心与成像光轴相交。

4.根据权利要求1所述的水下浮游生物光学成像装置，其中，所述光学成像单元(1)位于密封舱(21)内部，所述激光照明单元(2)位于密封舱(21)外部，所述激光照明单元(2)与密封舱之间通过多个管状支撑连接结构(3)相连。

5.根据权利要求4所述的水下浮游生物光学成像装置，其中，构成所述激光照明单元(2)的每个激光照明模组被封装成L型的水密管状结构，所述激光照明模组包括沿光路方向依次布置的激光二极管(4)、光束直径调节透镜组(5)、直角棱镜(6)、鲍威尔棱镜(7)、激光照明模组光学窗口(9)、线型光阑(10)。

6.根据权利要求5所述的水下浮游生物光学成像装置，其中，所述光学成像单元(1)包括单点光探测器(20)，用于探测从浮游生物散射的可见光或近红外光，并由此产生照明触发信号和拍照触发信号，所述激光照明单元(2)可连续照明或根据所述照明触发信号进行闪光照明，所述光学成像单元(1)可自由运转拍照或根据拍照触发信号进行拍照。

7.根据权利要求6所述的水下浮游生物光学成像装置，其中，所述光学成像单元(1)包括沿光路方向依次布置的成像单元光学窗口(11)、远心镜头(12)、双色镜或分束器(13)、数字相机(15)、第一和第二带通滤光片(14、18)、以及所述单点光探测器(20)，

其中，在所述光学成像单元(1)包括所述分束器(13)时，所述分束器(13)将所述远心镜头(12)收集的从浮游生物发出的光分为两束，其中一束经过所述第一带通滤光片(14)进入所述数字相机(15)成像，另一束经过所述第二带通滤光片(18)进入所述单点光探测器(20)产生触发信号，或者，

其中，在所述光学成像单元(1)包括所述双色镜(13)时，所述双色镜(13)将浮游生物发出的光分为可见光和近红外光两束，所述可见光进入所述数字相机(15)成像，所述近红外光进入所述单点光探测器(20)产生触发信号。

8.根据权利要求5所述的水下浮游生物光学成像装置，其中，所述激光照明模组光学窗口(9)的光路前级还具有深紫外LED(8)，用于照射所述激光照明模组光学窗口(9)。

9.根据权利要求7所述的水下浮游生物光学成像装置，其中，所述成像单元光学窗口(11)的光路后级还具有深紫外LED(8)，用于照射所述成像单元光学窗口(11)。

10.根据权利要求1所述的水下浮游生物光学成像装置，还连接有水样操控单元(33)，

其中，所述水样操控单元(33)包括步进电机(28)、传动装置(29)、滚珠丝杆(31)、活塞(32)、管状套筒(30)，

其中，所述步进电机(28)经过所述传动装置(29)连接滚珠丝杆(31)驱动活塞(32)在管状套筒(30)内往复运动。

11.根据权利要求10所述的水下浮游生物光学成像装置，其中，所述水样操控单元(33)的电子机械模块被封装在水密的管状结构中，整体构成有开口的柱塞结构，其开口指向所述光学成像单元(1)的光学窗口，开口端口所在平面与所述光学成像单元(1)的成像焦面紧邻。

12.根据权利要求7所述的水下浮游生物光学成像装置，其中，所述成像单元光学窗口(11)由熔融石英或蓝宝石材料制成，表面镀有超疏水膜，所述数字相机(15)可以为单色或彩色CCD或CMOS相机，

其中，所述光学成像单元(1)的视场大小略小于所述激光照明单元(2)生成的多边形层状照明区域的面积。

13.根据权利要求7所述的水下浮游生物光学成像装置，其中，所述光学成像单元(1)包括电子控制驱动模块，其包括单片机、LD激光驱动、紫外LED驱动、相机外触发电路和相机控制电路。

14.根据权利要求7所述的水下浮游生物光学成像装置，其中，所述光学成像单元(1)包括图像处理存储模块，其包括基于嵌入式平台的分立FPGA、DSP、GPU和固态存储器等构成，或者由集成了FPGA、DSP和ARM的异构嵌入式处理器、GPU和固态存储器构成；其中，所述FPGA用于原始图像的预处理，所述DSP用于高级图像处理算法实现，所述GPU用于图像并行处理和基于深度神经网络模型的浮游生物识别算法实现，所述固态存储器用于浮游生物原始图像、压缩图像和图像处理所得统计信息的存储。

15.根据权利要求8或9所述的水下浮游生物光学成像装置，其中，所述深紫外LED(8)呈圆形等角度间隔分布，可通过直射、折射、反射、衍射、散射等光路在所述光学窗口形成照射面积大于等于窗口的交叠区域，通过定时照射防止生物附着。

16.根据权利要求15所述的水下浮游生物光学成像装置，其中，所述深紫外LED(8)的分布遵循以下公式：

其中，d为深紫外LED(8)与光学窗口(9、11)的轴向距离，l为深紫外LED(8)到光学窗口(9、11)的纵向距离，D为光学窗口(9、11)直径，α是深紫外LED(8)与光学窗口(9、11)的中心的连线与轴向之间的夹角，θ是深紫外LED(8)与光学窗口(9、11)的中心的连线、和深紫外LED(8)与光学窗口(9、11)的下沿的连线之间的夹角，l'是深紫外LED(8)与光学窗口(9、11)的中心的连线的长度。

17.根据权利要求7所述的水下浮游生物光学成像装置，其中，所述密封舱(21)内部有用于所述远心镜头(12)、所述数字相机(15)和各个电子模块的支撑与固定结构，还有与所述数字相机(15)热沉结构和密封舱体紧密接触的热导体用于散热。

18.根据权利要求17所述的水下浮游生物光学成像装置，所述激光照明单元(2)无论进行连续照明或闪光照明，所发出的激光进行几十兆赫至上百兆赫的高频调制，在所述光学成像单元(1)的每一帧图像实际曝光时间内高频闪光多次。

19.根据权利要求17所述的水下浮游生物光学成像装置，其中，所述水下浮游生物光学成像装置通过对前序帧所得的浮游生物目标实时分析结果，动态自动调整后采集续帧时的系统工作参数，以自适应的方式拍摄浮游生物目标，所述工作参数包括相机帧率、等效曝光时间和激光照明强度。

20.根据权利要求10所述的水下浮游生物光学成像装置，其在水下固定位置定点工作，由所述水样操控单元(33)驱动水团包裹浮游生物进入成像系统视野范围内成像。

21.根据权利要求1所述的水下浮游生物光学成像装置，其被搭载固定于水下航行器上，随水下航行器在水面以下三维空间运动，由水体与水下航行器前进方向的相对运动使得浮游生物随水流进入所述光学成像系统视野范围成像。

22.根据权利要求1所述的水下浮游生物光学成像装置，其能够在水体空间中垂直升降，由水体与所述水下浮游生物光学成像装置在垂直方向上的相对运动使浮游生物随水流进入所述水下浮游生物光学成像装置的视野范围内成像。

23.根据权利要求1所述的水下浮游生物光学成像装置，其被固定于框架中，由水面航行器在一定水深下水平拖曳，由水体与所述水下浮游生物光学成像装置在水平方向上的相对运动使得浮游生物随水流进入所述水下浮游生物光学成像装置的视野范围成像。

24.一种利用权利要求1至16任一所述的水下浮游生物光学成像装置来实现水下浮游生物光学成像的方法，包括以下并列可选工作模式：

工作模式1、所述光学成像单元(1)的曝光信号触发所述激光照明单元(2)进行短脉冲闪光照明，单个光脉冲脉宽小于或等于曝光时间；和/或

工作模式2、所述激光照明单元(2)连续照明，所述光学成像单元(1)进行短时曝光单帧抓拍成像。

25.一种利用权利要求10所述的水下浮游生物光学成像装置来实现水下浮游生物光学成像的方法，可以具有以下工作模式：

工作模式3、所述激光照明单元(2)连续照明，利用所述水样操控单元(33)驱动浮游生物垂直流经焦面进入所述光学成像单元(1)的视场，所述光学成像单元(1)进行多帧连拍重叠曝光成像、B门连续曝光积分成像、或高速连拍三维层析成像。

26.一种利用根据权利要求7所述的水下浮游生物光学成像装置来实现水下浮游生物光学成像的方法，可以具有以下工作模式：

工作模式4、所述激光照明单元(2)连续照明，利用所述单点光探测器(20)外触发所述光学成像单元(1)进行短时曝光单帧抓拍成像。

Images