CN220858219U - 多光谱镜头模组及监控相机 - Google Patents

Abstract

本实用新型提供了一种多光谱镜头模组及监控相机，其中，所述多光谱镜头模组包括：镜头；分光棱镜，所述分光棱镜安装于所述镜头的后端，用于将所述镜头的出射光分光为第一出射光和第二出射光；第一滤光片，所述第一滤光片安装于所述第一出射光的路径上；第一图像传感器，所述第一图像传感器安装于所述第一出射光的路径上；第二滤光片，所述第二滤光片安装于所述第二出射光的路径上，且与所述第一滤光片非同轴设置；第二图像传感器，所述第二图像传感器安装于所述第二出射光的路径上。本实用新型中的多光谱镜头模组应用于光谱遥感监测时，可以解决相关技术中光谱遥感监测所存在的缺陷，且能对特定区域实现精细化的实时监测。

Description

多光谱镜头模组及监控相机

技术领域

本实用新型涉及监控技术领域，尤其涉及一种多光谱镜头模组及监控相机。

背景技术

全色相机和彩色相机的机器视觉系统，已经得到了广泛的发展和应用，形成了规模化的市场，但随着市场需求的升级，现有的成像技术已经不足以满足复杂的监控和检测任务，机器视觉需要从获取可见光范围内宽波段图像，升级到可见光和不可见光范围内，利用目标光谱响应的特性，进行更复杂的检验和分析。而基于多光谱的机器视觉系统，可以结合目标的空间图像信息和光谱信息，利用目标不同部位或成分的光谱特征，进行无损、无接触、快速高效的发现识别、分类筛选和分析应用。

基于多光谱成像的遥感技术便是多光谱的机器视觉系统的一种应用，其可以获取物体在不同波长范围内的光谱信息，生成对应的空间分布图像，空谱融合分析计算，可获取被测物的特征信息，在监控领域，图像监控已迅速向基于机器视觉的智能图像监控方向发展，应用范围也扩展到了农业、林业、环保等各个领域，如何将多光谱成像和分析技术应用于监控领域是当前迫切和需求和挑战。

光谱遥感监测便是多光谱成像和分析技术应用于监控领域的一种体现，其多搭载卫星平台和无人机平台，前者监测尺度大，采集效率高，但空间分辨率低、结果输出滞后，后者监测尺度小，空间分辨率比卫星平台高，但需要飞行作业和离线的数据处理，实施成本较高，两者均不能对特定区域实现精细化的实时监测。

其中，相关技术中的光谱遥感监测主要包括以下几种方式：

1、多镜头多通道式，其采用多个独立的成像通道(镜头、滤光片、图像传感器)，可以同时拍摄和记录同一景物的不同光谱通道信息。但其多镜头多通道的方式带来的不同通道之间的光学视差，难以进行像素级的多光谱配准对齐，且随之工作距离的减少而误差增加，无法实现光学变倍。

2、滤光片轮转式，其通过安装在传感器前面的滤光片轮切换不同的滤光片，可在单个图像传感器上，轮流拍摄和记录同一个景物的不同光谱通道信息。但该方案的光谱成像速度慢，图像配准复杂，且需要复杂的光机机构，多用于科研应用，不适合普及型的光谱成像应用。

3、棱镜式分光，其通过N个棱镜分光，输出N+1束光到不同的滤光片和传感器上，同时拍摄和记录N+1路光谱通道信息。但N个棱镜实现N+1路光谱通道，其分光效率低下，增加了成本和复杂度，降低了其通光量和产品稳定性。

4、高光谱相机(多光谱输出)，其利用推扫式或凝视型高光谱相机，输出和记录挑选的多路光谱通道信息。但其统复杂价格昂贵，多用于科研应用，不适合普及型的光谱成像应用。

5、像素级马赛克式分光，其使用MFA(多光谱滤光片阵列)技术，在单个键合了像素级马赛克式滤光片的图像传感器，同时拍摄和记录同一景物的多个光谱通道信息。但其需要专用的传感器芯片，且该技术方案目前尚未成熟，不适合大规模的商业化应用。

实用新型内容

针对以上现有技术的不足，本实用新型提出了一种多光谱镜头模组及监控相机，以解决相关技术中的光谱遥感监测的方式无法对特定区域实现精细化的实时监测的问题。

为了解决上述技术问题，本实用新型采用如下技术方案：

第一方面，本实用新型提供了一种多光谱镜头模组，其包括：

镜头；

分光棱镜，所述分光棱镜安装于所述镜头的后端，用于将所述镜头的出射光分光为第一出射光和第二出射光；

第一滤光片，所述第一滤光片安装于所述第一出射光的路径上；

第一图像传感器，所述第一图像传感器安装于所述第一出射光的路径上，并位于所述第一滤光片远离所述分光棱镜的一侧；

第二滤光片，所述第二滤光片安装于所述第二出射光的路径上，且与所述第一滤光片非同轴设置；

第二图像传感器，所述第二图像传感器安装于所述第二出射光的路径上，并位于所述第二滤光片远离所述分光棱镜的一侧；

所述第一滤光片和所述第二滤光片均为三带通滤光片，用于分别将所述第一出射光和所述第二出射光分光为具有三个波段的光；所述第一滤光片分光出的三个波段的光中的其中一个光的波段和所述第二滤光片分光出的三个波段的光中的其中一个光的波段重合。

优选的，所述第一图像传感器和所述第二图像传感器均为RGB图像传感器；所述第一图像传感器和所述第二图像传感器分别将各自接收的光分光为具有三个波段的光；所述第一图像传感器和所述第二图像传感器各自分光出的三个波段的光相对于所述第一滤光片和所述第二滤光片各自分光出的三个波段的光的波段皆更宽。

第二方面，本实用新型提供了一种多光谱监控相机，其包括具备外部接口的云台整机以及与所述云台整机连接的光谱机芯；所述光谱机芯包括如上所述的多光谱镜头模组。

优选的，所述云台整机包括云台控制板、与所述云台控制板连接的云台传动机构、与所述云台控制板连接的云台滑环以及与所述云台滑环连接的防雷保护结构；所述外部接口与所述防雷保护结构连接，所述光谱机芯与所述云台滑环连接。

优选的，所述外部接口包括电源接口、零线接口、RJ-45网口、RS-48串口以及报警接口；所述电源接口、所述零线接口、所述RJ-45网口、所述RS-48串口以及所述报警接口集成于一个线缆。

优选的，所述光谱机芯还包括与所述多光谱镜头模组连接的主板、与所述主板连接的传感器以及与所述主板连接的云台通信板；所述云台通信板与所述云台滑环连接。

优选的所述光谱机芯还包括microSD卡接口、DC电源接口、网口接口、通信接口、通用接口以及音频接口。

与相关技术相比，本实用新型中的多光谱镜头模组通过一个分光棱镜直接镜头的出射光分光为第一出射光和第二出射光，再通过第一滤光片和第二滤光片分别将第一出射光和第二出射光分光为具有三个波段的光，并使第一滤光片分光出的三个波段的光中的其中一个光的波段和第二滤光片分光出的三个波段的光中的其中一个光的波段重合，最后便可以通过第一图像传感器和第二图像传感器分别输出RAW图像，且使每个像素都对应于一个精细波段的光谱分光，从而实现像素级的五通道多光谱分光。同时该多光谱镜头模组使用单一镜头，结构简单，成本低，图像分辨率高，多个光谱通道还可以实现像素级对准，即使在近距离上也不会影响图像重叠精度，当将其应用于光谱遥感监测时，可以解决相关技术中光谱遥感监测所存在的缺陷，且能对特定区域实现精细化的实时监测。

附图说明

为了更清楚地说明本实用新型实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本实用新型实施例提供的一种多光谱镜头模组的结构示意图；

图2为本实用新型实施例提供的一种多光谱镜头模组中的第一图像传感器的CFA阵列示意图；

图3为本实用新型实施例提供的一种多光谱镜头模组中第一出射光的光谱响应图；

图4为本实用新型实施例提供的一种多光谱镜头模组中第二出射光的光谱响应图；

图5为本实用新型实施例提供的一种多光谱监控相机的结构示意图；

图6为本实用新型实施例提供的一种多光谱监控相机中光谱机芯的部分结构示意图；

图7为本实用新型实施例提供的一种多光谱监控相机拍摄的林区监控场景图；

图8为本实用新型实施例提供的一种多光谱监控相机的双通道输出图(林木监控智能分析的彩图+RGB彩图)；

图9为本实用新型实施例提供的一种多光谱监控相机与基于ONVIF的监控平台的对接和显示示意图。

其中，100、多光谱镜头模组；101、镜头；102、分光棱镜；103、第一滤光片；104、第一图像传感器；105、第二滤光片；106、第二图像传感器；200、多光谱监控相机；201、云台整机；2011、云台控制板；2012、云台传动机构；2013、云台滑环；2014、防雷保护结构；2015、外部接口；202、光谱机芯；2021、主板；2022、传感器；2023、云台通信板。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

需要注意的是，本实用新型实施例中提及的“上”、“下”、“左”、“右”等表述是参照附图中的放置状态进行描述的，不应被解释为本实用新型的限制性实施例。此外，还应理解的是，在文中，在指构成另一元素“之上”或“之下”的元素时，有可能该元素是直接构成另一元素“之上”或“之下”的，也有可能该元素是通过中间元素构成另一元素“之上”或“之下”。

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

实施例一

本实用新型实施例提供了一种多光谱镜头模组100，结合图1至图4所示，其包括镜头101、分光棱镜102、第一滤光片103、第一图像传感器104、第二滤光片105以及第二图像传感器106。

其中，分光棱镜102安装于镜头101的后端，用于将镜头101的出射光分光为第一出射光和第二出射光；第一滤光片103安装于第一出射光的路径上；第一图像传感器104安装于第一出射光的路径上，并位于第一滤光片103远离分光棱镜102的一侧；第二滤光片105安装于第二出射光的路径上，且与第一滤光片非同轴设置；第二图像传感器106安装于第二出射光的路径上，并位于第二滤光片105远离分光棱镜102的一侧。

第一滤光片103和第二滤光片105均为三带通滤光片，用于分别将第一出射光和第二出射光分光为具有三个波段的光；第一滤光片103分光出的三个波段的光中的其中一个光的波段和第二滤光片105分光出的三个波段的光中的其中一个光的波段重合。这样设计可以实现第一图像传感器104和第二图像传感器106的光谱配准校正。

本实施例中，第一图像传感器104和第二图像传感器106均为RGB图像传感器2022；第一图像传感器104和第二图像传感器106分别将各自接收的光分光为具有三个波段的光；第一图像传感器104和第二图像传感器106各自分光出的三个波段的光相对于第一滤光片103和第二滤光片105各自分光出的三个波段的光的波段皆更宽。

第一图像传感器104和第二图像传感器106分别通过其表面的CFA阵列将接收的光分光为具有三个波段的光，以透射到CFA阵列下面的像素单元上，从而实现RGB三通道的输出。

第一滤光片103和第二滤光片105分光出的三个波段的光分别对应第一图像传感器104和第二图像传感器106的RGB三通道。

本实施例中多光谱镜头模组100经过光谱图像处理，输出以下图像：

RGB彩色图像，光谱处理软件通过R(650nm)、G(550nm)、B(450nm)三个光谱通道，合成并输出RGB彩色图像；RGB彩色图像经过白平衡校正和色彩优化处理，能真实还原彩色世界。

光谱灰度图像，光谱处理软件输出多个通道的光谱灰度图像，光谱图像输出的效果应能反映物质的光谱特征。

光谱合成伪彩，光谱处理软件根据选定的3个通道，输出该3个通道做为RGB通道的光谱合成伪彩图像。

应用伪彩，光谱处理软件根据选定的应用类型，计算合成并输出应用的伪彩图。

本实施例中的多光谱镜头模组100通过一个分光棱镜102直接镜头101的出射光分光为第一出射光和第二出射光，再通过第一滤光片103和第二滤光片105分别将第一出射光和第二出射光分光为具有三个波段的光，并使第一滤光片103分光出的三个波段的光中的其中一个光的波段和第二滤光片105分光出的三个波段的光中的其中一个光的波段重合，最后便可以通过第一图像传感器104和第二图像传感器106分别输出RAW图像，且使每个像素都对应于一个精细波段的光谱分光，从而实现像素级的五通道多光谱分光。同时该多光谱镜头模组100使用单一镜头101，结构简单，成本低，图像分辨率高，多个光谱通道还可以实现像素级对准，即使在近距离上也不会影响图像重叠精度，当将其应用于光谱遥感监测时，可以解决相关技术中光谱遥感监测所存在的缺陷，且能对特定区域实现精细化的实时监测。

实施例二

本实用新型实施例提供了一种多光谱监控相机200，结合图5至图9所示，其包括具备外部接口2015的云台整机201以及与云台整机201连接的光谱机芯202；光谱机芯202包括实施例一中的多光谱镜头模组100。

其中，云台整机201用于实现云台运动、通信控制以及产品防护；光谱机芯202用于实现光谱图像的采集和处理、边缘计算、图像压缩和输出、控制多光谱镜头模组100变倍聚焦、控制云台运动以及外部通信等。

本实施例中，云台整机201包括云台控制板2011、与云台控制板2011电连接的云台传动机构2012、与云台控制板2011电连接的云台滑环2013以及与云台滑环2013电连接的防雷保护结构2014；外部接口2015与防雷保护结构2014电连接，光谱机芯202与云台滑环2013铰接。

外部接口2015包括电源接口、零线接口、RJ-45网口、RS-48串口以及报警接口；电源接口、零线接口、RJ-45网口、RS-48串口以及报警接口集成于一个线缆。

电源接口采用DC24V/6A接头，通过外部供电；零线接口采用钳型端子，用于接地；RJ-45网口采用RJ-45插座，用于实现100/1000M自适应以太网；RS-48串口采用RS-485插座；报警接口采用多芯端子，包括报警输入、报警输出、继电器输出和共地。

本实施例中，光谱机芯202还包括与多光谱镜头模组100连接的主板2021、与主板2021电连接的传感器2022以及与主板2021电连接的云台通信板2023；云台通信板2023与云台滑环2013电连接。光谱机芯202还包括收容多光谱镜头模组100、主板2021、传感器2022以及云台通信板2023的外壳(图未示)，外壳与云台滑环2013铰接。

光谱机芯202还包括microSD卡接口、DC电源接口、网口接口、通信接口、通用接口以及音频接口。

microSD卡接口用于插入microSD卡；DC电源接口采用板线连接器，为DC12V/3A，通过外部供电；网口接口采用网络接插件，用于实现100/1000M自适应以太网；通信接口包括1路RS485串口和1路RS232接口；通用接口包括GPIO，用于Reset复位、报警输出/输出、触发控制和保留用途等；音频接口采用板线连接器，包括1路音频输入和1路音频输出。

当然，根据实际需求，光谱机芯202还可以包括其他的相机模块或其他模块，在此不作具体限定。

本实施例中的多光谱监控相机200的光谱应用算法(前端边缘计算)，其内置的光谱应用包括植被参数和特定应用。

其中，植被参数包括但不限于：NDVI(归一化差异植被指数)、GNDVI(绿光归一化差值植被指数)、EVI(增强植被指数)以及RVI(比值植被指数)。

特定应用包括但不限于：农作物长势计算、松林木的识别、松林线虫病监测以及油品泄漏监测。

本实施例中的多光谱监控相机200的光谱校正：根据每套设备的光学特性，在出厂前进行均匀性校正，以消除视野范围内的照度差异；均匀性校正应该考虑到光路中的所有变化，包括镜头101的光圈变化、光学变倍和调焦；内置一套不依赖标准参考板或下行光传感器的辐射校正机制，数据精度只要能满足应用计算的要求即可，因为使用标准参考板或下行光传感器，对于野外无人值守的场景，会有很大的应用困难。

本实施例中的多光谱监控相机200的应用功能包括自动曝光、自动对焦、云台运动、实时屏显、预置位功能、巡航扫描、定时任务、存储和计划管理以及通过浏览器进行操控和配置管理。

本实施例中的多光谱监控相机200在高度集成的产品结构内，包含了电动变倍镜头(实施例一种的多光谱镜头模组100)、分光系统、图像传感器2022、ISP处理平台和接口模块等多个组成部件，基于嵌入式软硬件处理平台，可以实现实时多光谱视频成像、生产反射率数据、应用模型的边缘计算、和多路数据流的传输，并支持与主流视频监控平台系统的对接。具有以下的优点：

1、相较于相关技术中的多镜头光谱相机，该多光谱监控相机200使用单一镜头101，结构简单，成本低、图像分辨率高，多个光谱通道可以实现像素级对准，即使在近距离上也不会影响图像重叠精度，可以灵活适应由近到远拍摄的应用场景。

2、独特的分光设计，可输出5个光谱通道和1个彩色RGB通道，覆盖农业、林业和生态环境的常用波段。

3、相机使用水平-垂直运动的高速云台机构，集成电动变倍镜头101，实现PTZ功能，拍摄方向和视野范围可动态调整，灵活适应不同应用场景的需求，包括科学研究、野外监测、远距离监测、工业监测等。

4、高防护等级，宽工作温度范围，内置防雷/浪涌保护/电压瞬变保护，可工作在7x24小时野外无人值守环境下。

5、前置边缘计算，内置多种植被参数(NDVI/NDRE/PSRI/EVI)，监测模型算法(松林线虫病/油泄漏)，光谱融合+AI算法，准确识别实时监测。

6、内置ONVIF协议和专有协议，既能与主流的图像监控管理平台对接融合，传输保存彩色和监测伪彩色视频流，也能与专有的光谱云台对接，实现更为丰富和精细化的光谱监测功能和结果展现。

另外，由于本实施例中的多光谱监控相机200还包含了实施例一中的多光谱镜头模组100，其还能达到实施例一中多光谱镜头模组100所达到的技术效果，在此不作赘述。

需要说明的是，以上参照附图所描述的各个实施例仅用以说明本实用新型而非限制本实用新型的范围，本领域的普通技术人员应当理解，在不脱离本实用新型的精神和范围的前提下对本实用新型进行的修改或者等同替换，均应涵盖在本实用新型的范围之内。此外，除上下文另有所指外，以单数形式出现的词包括复数形式，反之亦然。另外，除非特别说明，那么任何实施例的全部或一部分可结合任何其它实施例的全部或一部分来使用。

Claims (7)

1.一种多光谱镜头模组，其特征在于，所述多光谱镜头模组包括：

镜头；

分光棱镜，所述分光棱镜安装于所述镜头的后端，用于将所述镜头的出射光分光为第一出射光和第二出射光；

第一滤光片，所述第一滤光片安装于所述第一出射光的路径上；

第一图像传感器，所述第一图像传感器安装于所述第一出射光的路径上，并位于所述第一滤光片远离所述分光棱镜的一侧；

第二滤光片，所述第二滤光片安装于所述第二出射光的路径上，且与所述第一滤光片非同轴设置；

第二图像传感器，所述第二图像传感器安装于所述第二出射光的路径上，并位于所述第二滤光片远离所述分光棱镜的一侧；

所述第一滤光片和所述第二滤光片均为三带通滤光片，用于分别将所述第一出射光和所述第二出射光分光为具有三个波段的光；所述第一滤光片分光出的三个波段的光中的其中一个光的波段和所述第二滤光片分光出的三个波段的光中的其中一个光的波段重合。

2.如权利要求1所述的多光谱镜头模组，其特征在于，所述第一图像传感器和所述第二图像传感器均为RGB图像传感器；所述第一图像传感器和所述第二图像传感器分别将各自接收的光分光为具有三个波段的光；所述第一图像传感器和所述第二图像传感器各自分光出的三个波段的光相对于所述第一滤光片和所述第二滤光片各自分光出的三个波段的光的波段皆更宽。

3.一种多光谱监控相机，其特征在于，所述多光谱监控相机包括具备外部接口的云台整机以及与所述云台整机连接的光谱机芯；所述光谱机芯包括如权利要求1或2所述的多光谱镜头模组。

4.如权利要求3所述的多光谱监控相机，其特征在于，所述云台整机包括云台控制板、与所述云台控制板连接的云台传动机构、与所述云台控制板连接的云台滑环以及与所述云台滑环连接的防雷保护结构；所述外部接口与所述防雷保护结构连接，所述光谱机芯与所述云台滑环连接。

5.如权利要求4所述的多光谱监控相机，其特征在于，所述外部接口包括电源接口、零线接口、RJ-45网口、RS-48串口以及报警接口；所述电源接口、所述零线接口、所述RJ-45网口、所述RS-48串口以及所述报警接口集成于一个线缆。

6.如权利要求4所述的多光谱监控相机，其特征在于，所述光谱机芯还包括与所述多光谱镜头模组连接的主板、与所述主板连接的传感器以及与所述主板连接的云台通信板；所述云台通信板与所述云台滑环连接。

7.如权利要求6所述的多光谱监控相机，其特征在于，所述光谱机芯还包括microSD卡接口、DC电源接口、网口接口、通信接口、通用接口以及音频接口。