CN118138723A - 模拟动物视觉的低空目标光学探测系统 - Google Patents

模拟动物视觉的低空目标光学探测系统 Download PDF

Info

Publication number
CN118138723A
CN118138723A CN202410261506.1A CN202410261506A CN118138723A CN 118138723 A CN118138723 A CN 118138723A CN 202410261506 A CN202410261506 A CN 202410261506A CN 118138723 A CN118138723 A CN 118138723A
Authority
CN
China
Prior art keywords
video
target
type detection
compound eye
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410261506.1A
Other languages
English (en)
Inventor
吴宏刚
隋运峰
魏楷臻
车耀鸣
江玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN202410261506.1A priority Critical patent/CN118138723A/zh
Publication of CN118138723A publication Critical patent/CN118138723A/zh
Pending legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供的模拟动物视觉的低空目标光学探测系统,复眼凝视式探测设备中所有第一视频设备以扇形、多排多列的方式分布;所有第一视频设备的光轴相交于一点;相邻第一视频设备的视野依次衔接;转动跟踪式探测设备中转台能够在水平方向和俯仰方向上转动;信号处理模块根据视频信号进行宽场景拼接,目标检测、定位和追踪;显示操控终端显示拼接后宽场景的全景视频;当在全景视频中选中一目标时,查看目标的视频信息。该低空目标光学探测系统适用于大范围低空监视的应用场景,通过设计多个光学成像设备视野组合的复眼凝视式探测设备来模仿动物复眼,实现监视低空大范围区域的功能。该系统不需要人工进行目标探测,目标追踪精确度高。

Description

模拟动物视觉的低空目标光学探测系统
技术领域
本发明属于目标探测、三维定位技术领域,具体涉及模拟动物视觉的低空目标光学探测系统。
背景技术
低空探测常用雷达等技术手段。但是面对低空环境的复杂性,雷达等探测技术存在难以突破的技术瓶颈。近年来,光学探测方法受到关注,成为研究的热门方向。但要在低空探测场景中应用,仍需解决一系列问题。这些问题包括:光学成像设备视野有限;需要人工观察进行目标探测;相似目标群追踪易出错等等。
发明内容
针对现有技术中的缺陷,本发明提供一种模拟动物视觉的低空目标光学探测系统,能够监视低空大范围区域,克服现有技术存在的光学成像设备视野有限的缺陷,不需要人工进行目标探测,目标追踪精确度高。
一种模拟动物视觉的低空目标光学探测系统,包括:
至少一台复眼凝视式探测设备;复眼凝视式探测设备包括多个第一视频设备;所有第一视频设备以扇形、多排多列的方式分布;所有第一视频设备的光轴相交于一点;相邻第一视频设备的视野依次衔接;
转动跟踪式探测设备:包括转台,以及设置在转台上的可见光视频设备和红外视频设备;转台能够在水平方向和俯仰方向上转动;
网络传输模块:用于接收来自复眼凝视式探测设备、转动跟踪式探测设备的视频信号,将视频信号发送给信号处理模块;
信号处理模块:用于根据视频信号进行宽场景拼接,目标检测、定位和追踪;
显示操控终端:用于显示拼接后宽场景的全景视频;当在全景视频中选中一目标时,查看目标的视频信息。
进一步地,根据单台复眼凝视式探测设备输出的视频信号进行目标检测、定位、追踪具体包括:
采集单台复眼凝视式探测设备输出的视频信息;
利用帧差法检测视频信息中前后两帧图像的运动目标;
使用小目标分类识别算法排除检测到的运动目标中的干扰目标;
根据目标的像素坐标、第一视频设备的设计朝向、复眼凝视式探测设备的安装朝向计算目标的水平角和俯仰角;
获取目标的历史坐标,根据水平角、俯仰角和历史坐标估算目标的当前坐标估算值,定义探测到的、与当前坐标估算值最接近的坐标为目标的当前坐标;
将当前坐标添加至目标的历史坐标中,利用当前坐标对目标进行追踪。
进一步地,当存在两台复眼凝视式探测设备时,部署两台复眼凝视式探测设备的安装距离大于安装距离最小值;调整复眼凝视式探测设备的安装朝向,使得复眼凝视式探测设备的视野覆盖更多的监视区域,两台复眼凝视式探测设备的视野重叠区域更多。
进一步地,根据两台复眼凝视式探测设备输出的视频信号进行目标检测和定位具体包括:
对两台复眼凝视式探测设备探测到的目标进行配对;
利用三角定位方法对配对好的目标的水平角、俯仰角,以及复眼凝视式探测设备的安装朝向进行计算,以得到目标的距离。
进一步地,对两台复眼凝视式探测设备探测到的目标进行配对具体包括:
在每台复眼凝视式探测设备探测到目标中,将目标间距离小于合并阈值的多个目标合并形成一个待匹配的组群;将与其他目标间距离都大于合并阈值的目标独立形成一个待匹配的组群;
对所有待匹配的组群进行配对,以得到多对配对组群;其中每对配对组群包括两个已配对好的组群;
当配对组群中组群存在多个目标时,依次在配对组群的组群间对目标进行配对,以得到多对配对目标;其中每对配对目标包括两个已配对好的目标。
进一步地,配对的方法包括:
配置多种配对原则;
选用其中一配对原则对组群或目标进行配对;
若配对得到的配对组群或配对目标的距离差值小于配对阈值时,选用另一配对原则对组群或目标进行配对,直至距离差值大于配对阈值。
进一步地,根据视频信号进行目标追踪具体包括:
当复眼凝视式探测设备和转动跟踪式探测设备的距离小于安装距离最大值时,获取复眼凝视式探测设备探测到的目标的水平角和俯仰角,将水平角和俯仰角发送给转动跟踪式探测设备,控制转动跟踪式探测设备按照水平角和俯仰角转动;
当两台复眼凝视式探测设备的安装距离大于安装距离最小值时,获取复眼凝视式探测设备探测到的目标的水平角、俯仰角和距离,将水平角、俯仰角和距离发送给转动跟踪式探测设备;转动跟踪式探测设备根据自身安装位置、水平角、俯仰角和距离计算相对朝向角度,按照相对朝向角度转动。
进一步地,复眼凝视式探测设备还包括一广角视频设备;广角视频设备的光轴与所有第一视频设备的光轴相交于一点,且视野包含所有第一视频设备的视野;定义广角视频设备的光轴为复眼凝视式探测设备的中心轴;
控制所有第一视频设备和广角视频设备同时拍摄校正图案,以得到多个校正图像;
将第一视频设备获得的校正图像与广角视频设备获得的校正图像进行子区域匹配;
根据匹配的子区域的像素目标计算第一视频设备的光轴与复眼凝视式探测设备的中心轴之间的水平夹角和俯仰夹角,以得到第一视频设备的设计朝向。
进一步地,第一视频设备出厂前的校正方法包括:
在设定位置上设置聚焦标靶,调整每台第一视频设备的聚焦参数,使得聚焦标靶能够在第一视频设备上清晰成像;
选择其中一台第一视频设备作为基准视频设备,记录基准视频设备的聚焦参数与其它第一视频设备的聚焦参数的误差;
将基准视频设备安装在复眼凝视式探测设备中最低一排的中间位置。
进一步地,第一视频设备安装后的校正方法包括:
调整复眼凝视式探测设备的俯仰角,使得基准视频设备视野能够覆盖预设的地面参照物;
定义地面参照物为聚焦标靶;定时调整基准视频设备的整焦参数,使得聚焦标靶能够在基准视频设备上清晰成像;在其他第一视频设备的聚焦参数上累加误差。
由上述技术方案可知,本发明提供的低空目标光学探测系统适用于大范围低空监视的应用场景,通过设计多个光学成像设备视野组合的复眼凝视式探测设备来模仿动物复眼,实现监视低空大范围区域的功能,克服现有技术存在的光学成像设备视野有限的缺陷。该系统还能够对拼接后的宽场景进行自动目标检测和追踪,不需要人工进行目标探测,目标追踪精确度高。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为实施例提供的低空目标光学探测系统的模块框图。
图2为实施例提供的单台复眼凝视式探测设备的工作流程图。
图3为实施例提供的两台复眼凝视式探测设备的工作流程图。
图4为实施例提供的配对方法的流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
实施例:
一种模拟动物视觉的低空目标光学探测系统,参见图1,包括:
至少一台复眼凝视式探测设备;复眼凝视式探测设备包括多个第一视频设备;所有第一视频设备以扇形、多排多列的方式分布;所有第一视频设备的光轴相交于一点;相邻第一视频设备的视野依次衔接;
转动跟踪式探测设备:包括转台,以及设置在转台上的可见光视频设备和红外视频设备;转台能够在水平方向和俯仰方向上转动;
网络传输模块:用于接收来自复眼凝视式探测设备、转动跟踪式探测设备的视频信号,将视频信号发送给信号处理模块;
信号处理模块:用于根据视频信号进行宽场景拼接,目标检测、定位和追踪;
显示操控终端:用于显示拼接后宽场景的全景视频;当在全景视频中选中一目标时,查看目标的视频信息。
在本实施例中,该低空目标光学探测系统由复眼凝视式探测设备、转动跟踪式探测设备、网络传输模块、信号处理模块、显示操控终端组成。复眼凝视式探测设备由多个第一视频设备组成。多个第一视频设备的焦距、分辨率等参数都相同,可以工作在可见光波段或红外波段,第一视频设备的镜头焦距相对较小(100mm以下)。所有第一视频设备按照扇形分布,以多排多列的方式排列组合。所有第一视频设备的光轴相交于一点,相邻第一视频设备间视野依次衔接,组合成连续更大视野。转动跟踪式探测系统由一个可见光视频设备、一个红外视频设备以及转台组成。可见光视频设备和红外视频设备的焦距相对较大(100mm以上)。转台能够在水平方向和俯仰方向上转动,并带动可见光视频设备和红外视频设备在水平方向和俯仰方向上转动。第一视频设备、可见光视频设备、红外视频设备输出的视频信号都可以通过网络传输模块传送给信号处理模块。信号处理模块根据视频信号进行宽场景视频拼接、目标定位、目标检测、目标追踪等信号处理任务。显示操控终端可以用于观看拼接后宽场景的全景视频,并在全景视频中选择任意一个矩形区域进行放大查看,也可以选择任意一个被追踪的目标,锁定查看该目标的视频信息。
该低空目标光学探测系统适用于大范围低空监视的应用场景,通过设计多个光学成像设备视野组合的复眼凝视式探测设备来模仿动物复眼,实现监视低空大范围区域的功能,克服现有技术存在的光学成像设备视野有限的缺陷。该系统还能够对拼接后的宽场景进行自动目标检测和追踪,不需要人工进行目标探测,目标追踪精确度高。
进一步地,在一些实施例中,参见图2,根据单台复眼凝视式探测设备输出的视频信号进行目标检测、定位、追踪具体包括:
采集单台复眼凝视式探测设备输出的视频信息;
利用帧差法检测视频信息中前后两帧图像的运动目标;
使用小目标分类识别算法排除检测到的运动目标中的干扰目标;
根据目标的像素坐标、第一视频设备的设计朝向、复眼凝视式探测设备的安装朝向计算目标的水平角和俯仰角;
获取目标的历史坐标,根据水平角、俯仰角和历史坐标估算目标的当前坐标估算值,定义探测到的、与当前坐标估算值最接近的坐标为目标的当前坐标;
将当前坐标添加至目标的历史坐标中,利用当前坐标对目标进行追踪。
在本实施例中,单台复眼凝视式探测设备的工作方式为:
(1)使用帧差法检测单个第一视频设备输出的视频信息中前后两帧图像中的运动目标,其中不运动的目标为干扰目标;
(2)对检测到的运动目标使用小目标分类识别算法,保留关注的目标,排除不关注的干扰目标;
(3)根据目标的像素坐标、第一视频设备的设计朝向、复眼凝视式探测设备的安装朝向计算出目标在水平方向和俯仰方向上的角度,从而实现对目标的定位。
(4)根据目标的水平角、俯仰角和历史坐标,估算目标的当前坐标估算值,定义探测到的、与当前坐标估算值最接近的坐标为目标的当前坐标;将当前坐标添加至目标的历史坐标中,利用当前坐标对目标进行追踪。由于通过单台复眼凝视式探测设备难以计算出目标的距离,所以该方法根据目标的水平角、俯仰角、上一坐标估算出目标的当前坐标估计值,然后将探测到的与坐标估计值最接近的坐标为目标的当前坐标,从而获得单台复眼凝视式探测设备下目标的水平角、俯仰角、坐标,实现对目标的追踪。该低空目标光学探测系统中目标定位和追踪算法简单,算力消耗低,提高了低空大范围中小目标的检测能力。
进一步地,在一些实施例中,当存在两台复眼凝视式探测设备时,部署两台复眼凝视式探测设备的安装距离大于安装距离最小值;调整复眼凝视式探测设备的安装朝向,使得复眼凝视式探测设备的视野覆盖更多的监视区域,两台复眼凝视式探测设备的视野重叠区域更多。
在本实施例中,由于一般的光学探测手段都缺少测距信息,所以该低空目标光学探测系统通过设置两台复眼凝视式探测设备,模仿人类视觉两只眼睛感知距离的原理,提出了两台复眼凝视式探测设备进行双目视觉距离测定的方法。该低空目标光学探测系统可以将两台复眼凝视式探测设备安装在相距较远的两个位置,即两台复眼凝视式探测设备的安装距离大于安装距离最小值,其中安装距离最小值可以为100米。然后调整复眼凝视式探测设备的安装朝向,使得复眼凝视式探测设备的视野尽量多覆盖监视区域,且两台复眼凝视式探测设备的视野尽量多重叠。
进一步地,在一些实施例中,参见图3,根据两台复眼凝视式探测设备输出的视频信号进行目标检测和定位具体包括:
对两台复眼凝视式探测设备探测到的目标进行配对;
利用三角定位方法对配对好的目标的水平角、俯仰角,以及复眼凝视式探测设备的安装朝向进行计算,以得到目标的距离。
在本实施例中,该低空目标光学探测系统首先对两台复眼凝视式探测设备探测到的目标进行配对。假设存在复眼凝视式探测设备A和复眼凝视式探测设备B,复眼凝视式探测设备A输出的视频信息中识别出目标a、目标b和目标c,复眼凝视式探测设备B输出的视频信息中识别出目标d、目标e和目标f。由于两台复眼凝视式探测设备对同一个目标的拍摄角度不同,所以该方法利用目标配对方法,识别出复眼凝视式探测设备A识别到的目标与复眼凝视式探测设备B识别到的目标之间的一一对应关系。例如目标a与目标d配对成功说明目标a与目标d是同一个目标。该方法然后利用三角定位方法对配对好的目标(即同一个目标在不同设备下的呈现)的水平角、俯仰角,以及复眼凝视式探测设备的安装朝向进行计算,以得到目标的距离,目标的距离为目标与设备的距离。该方法面临宽基线双目匹配易错,导致定位误差大的问题,提出了一种高可靠性的目标距离测定方法。
进一步地,在一些实施例中,参见图4,对两台复眼凝视式探测设备探测到的目标进行配对具体包括:
在每台复眼凝视式探测设备探测到目标中,将目标间距离小于合并阈值的多个目标合并形成一个待匹配的组群;将与其他目标间距离都大于合并阈值的目标独立形成一个待匹配的组群;
对所有待匹配的组群进行配对,以得到多对配对组群;其中每对配对组群包括两个已配对好的组群;
当配对组群中组群存在多个目标时,依次在配对组群的组群间对目标进行配对,以得到多对配对目标;其中每对配对目标包括两个已配对好的目标。
在本实施例中,该系统的目标配对方法为:
(1)在每台复眼凝视式探测设备探测到的目标中,目标间距离小于合并阈值(一般取10-100像素)的多个目标合并为一个待匹配的组群。若单个目标距离其它目标距离都大于合并阈值,则该目标独立形成待匹配的组群。例如在目标a、目标b和目标c中,目标a和目标b之间的距离小于合并阈值,则目标a和目标b为一个待匹配的组群A,目标c与目标a、目标b之间的距离都大于合并阈值,则目标c为一个待匹配的组群B。同理得到目标d、目标e为一个待匹配的组群C,目标f为一个待匹配的组群D。
(2)进行组群配对。对所有待匹配的组群进行配对,以得到多对配对组群;其中每对配对组群包括两个已配对好的组群。例如经过组群配对后,得到组群A和组群C是一对配对组群,组群B和组群D是另一对配对组群。
(3)进行目标配对。当配对组群中组群存在多个目标时,依次在配对组群的组群间对目标进行配对,以得到多对配对目标;其中每对配对目标包括两个已配对好的目标。例如由于组群B和组群D中都只有一个目标,所以目标c和目标f就是一对配对目标。由于组群A和组群C中都包含两个目标,所以需要分别匹配目标a和目标d是配对目标,还是和目标e是配对目标,从而实现多目标组群中的目标配对。
进一步地,在一些实施例中,配对的方法包括:
配置多种配对原则;
选用其中一配对原则对组群或目标进行配对;
若配对得到的配对组群或配对目标的距离差值小于配对阈值时,选用另一配对原则对组群或目标进行配对,直至距离差值大于配对阈值。
在本实施例中,该系统配对时,配置多种配对原则,例如配对原则包括方向射线间距离总和最小原则、成像大小偏差系数最小原则等等。然后选用其中一配对原则对组群或目标进行配对。例如使用方向射线间距离总和最小原则对组群或目标进行配对包括:取包含待匹配的组群中所有目标的最小矩形图像区域的中心,作为该组群的水平角和俯仰角,分别沿着组群或目标的水平角和俯仰角方向延伸出一条射线,作为该组群或目标的方向射线,计算两个方向射线间的距离,方向射线间距离总和最小的两个组群或目标为配对组群或配对目标。
还例如若多种配对原则的配对结果的距离相差较小(一般取相差小于5%-20%),说明多种配对原则的配对结果相似,例如无人机、鸟类等目标从不同角度观察成像的大小差异不大,此时可以成像大小偏差系数最小原则进行配对。成像大小偏差系数计算公式如下:其中S1、S2为同一目标在两个复眼凝视式探测设备中的成像尺寸,D1、D2为该目标到两个复眼凝视式探测设备的距离。
进一步地,在一些实施例中,根据视频信号进行目标追踪具体包括:
当复眼凝视式探测设备和转动跟踪式探测设备的距离小于安装距离最大值时,获取复眼凝视式探测设备探测到的目标的水平角和俯仰角,将水平角和俯仰角发送给转动跟踪式探测设备,控制转动跟踪式探测设备按照水平角和俯仰角转动;
当两台复眼凝视式探测设备的安装距离大于安装距离最小值时,获取复眼凝视式探测设备探测到的目标的水平角、俯仰角和距离,将水平角、俯仰角和距离发送给转动跟踪式探测设备;转动跟踪式探测设备根据自身安装位置、水平角、俯仰角和距离计算相对朝向角度,按照相对朝向角度转动。
在本实施例中,该系统除了利用单台复眼凝视式探测设备计算目标的坐标实现追踪,还可以进行柱状体锥状体协同式小目标追踪。该系统中复眼凝视式探测设备以两种方式引导转动跟踪式探测设备对小目标进行追踪拍摄和识别。
方式1)安装要求:复眼凝视式探测设备与转动跟踪式探测设备安装位置相距很近,即距离小于安装距离最大值,安装距离最大值一般不超过5米,此时只需一台复眼凝视式探测设备即可完成追踪。工作方式:复眼凝视式探测设备将探测到目标的水平角、俯仰角传送给转动跟踪式探测设备,转动跟踪式探测设备按照水平角和俯仰角转动,搜索目标并进行跟踪识别。
方式2)安装要求:复眼凝视式探测设备与转动跟踪式探测设备可以安装在任意位置,监视覆盖区域重合,此时需要至少两台复眼凝视式探测设备。工作方式:两台复眼凝视式探测设备将探测到目标的水平角、俯仰角、距离发送给转动跟踪式探测设备。转动跟踪式探测设备结合自身安装位置计算出相对朝向角度,按照相对朝向角度转动,搜索目标并进行跟踪识别。
该系统解决了监视区域覆盖大的前提下难以对小目标进行高分辨率成像的缺陷。该系统模仿了人眼柱状体发现目标、锥状体识别目标的原理,提出了转动跟踪式探测设备与复眼凝视式探测设备协同工作的目标追踪方法,实现对小目标更高分辨率成像能力。
进一步地,在一些实施例中,复眼凝视式探测设备还包括一广角视频设备;广角视频设备的光轴与所有第一视频设备的光轴相交于一点,且视野包含所有第一视频设备的视野;定义广角视频设备的光轴为复眼凝视式探测设备的中心轴;
控制所有第一视频设备和广角视频设备同时拍摄校正图案,以得到多个校正图像;
将第一视频设备获得的校正图像与广角视频设备获得的校正图像进行子区域匹配;
根据匹配的子区域的像素目标计算第一视频设备的光轴与复眼凝视式探测设备的中心轴之间的水平夹角和俯仰夹角,以得到第一视频设备的设计朝向。
在本实施例中,因为设备加工精度有限,产品与设计参数往往存在一定差异。传统视野组合的方式主要追求视觉感官舒适,对定位精度没有过高要求,往往忽略该差异。目标的朝向角(水平角和俯仰角)是通过目标中心像素与视频设备光轴间夹角、视频设备光轴与复眼凝视式探测设备中心轴夹角、复眼凝视式探测设备朝向角三者叠加计算得。其中视频设备光轴与复眼凝视式探测设备中心轴夹角的实际值可能与设计值存在误差。所以该系统提出了一种差异校正方法,实现更准确的方向测定能力,步骤包括:
(1)安装一个广角视频设备,使其光轴与所有第一视频设备的光轴相交于一点,且视野正好包含所有第一视频设备的视野,定义广角视频设备的光轴设定为复眼凝视式探测设备的中心轴。
(2)控制所有第一视频设备和广角视频设备同时拍摄校正图案。
(3)对每个第一视频设备获得的校正图像与广角视频设备获得的校正图像的子区域进行匹配,根据匹配的子区域的像素目标计算第一视频设备的光轴与复眼凝视式探测设备的中心轴之间的水平夹角和俯仰夹角,其中水平夹角为:俯仰夹角为:其中(x1,y1)、(x2,y2)分别是子区域中心点、广角视频设备中心点的像素坐标,a、b分别是广角视频设备的水平角、俯仰角,w、h分别是广角视频设备的宽和高。
进一步地,在一些实施例中,第一视频设备出厂前的校正方法包括:
在设定位置上设置聚焦标靶,调整每台第一视频设备的聚焦参数,使得聚焦标靶能够在第一视频设备上清晰成像;
选择其中一台第一视频设备作为基准视频设备,记录基准视频设备的聚焦参数与其它第一视频设备的聚焦参数的误差;
将基准视频设备安装在复眼凝视式探测设备中最低一排的中间位置。
在本实施例中,该系统还在可以在出厂前对复眼凝视式探测设备进行前期校正,包括:
(1)将聚焦标靶放置在设定距离上,调整每台第一视频设备的聚焦参数,让聚焦标靶清晰成像。
(2)选一台第一视频设备作为基准视频设备,记录其它第一视频设备聚焦参数与基准视频设备的聚焦参数误差。
(3)将基准视频设备安装在复眼凝视式探测设备的最低一排中间位置。
进一步地,在一些实施例中,第一视频设备安装后的校正方法包括:
调整复眼凝视式探测设备的俯仰角,使得基准视频设备视野能够覆盖预设的地面参照物;
定义地面参照物为聚焦标靶;定时调整基准视频设备的整焦参数,使得聚焦标靶能够在基准视频设备上清晰成像;在其他第一视频设备的聚焦参数上累加误差。
在本实施例中,该系统还在可以在复眼凝视式探测设备安装后进行调整,包括:
(1)调整复眼凝视式探测设备的俯仰角,使基准视频设备视野能覆盖地面参照物。
(2)将合适距离的地面参照物作为聚焦标靶。基准视频设备每隔固定时间间隔调整焦距参数,使聚焦标靶清晰成像。其它第一视频设备用基准视频设备的聚焦参数加上误差作为聚焦参数。
户外应用环境温差变化大,导致光学器件热胀冷缩产生形变,所以该系统需要重新调整复眼凝视式探测设备的聚焦。而低空监测一般缺少合适参照物确认聚焦调整是否合适,因此该系统提出了聚焦参数智能调整方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种模拟动物视觉的低空目标光学探测系统,其特征在于,包括:
至少一台复眼凝视式探测设备;所述复眼凝视式探测设备包括多个第一视频设备;所有第一视频设备以扇形、多排多列的方式分布;所有第一视频设备的光轴相交于一点;相邻第一视频设备的视野依次衔接;
转动跟踪式探测设备:包括转台,以及设置在转台上的可见光视频设备和红外视频设备;所述转台能够在水平方向和俯仰方向上转动;
网络传输模块:用于接收来自所述复眼凝视式探测设备、所述转动跟踪式探测设备的视频信号,将所述视频信号发送给信号处理模块;
信号处理模块:用于根据所述视频信号进行宽场景拼接,目标检测、定位和追踪;
显示操控终端:用于显示拼接后宽场景的全景视频;当在所述全景视频中选中一目标时,查看所述目标的视频信息。
2.根据权利要求1所述模拟动物视觉的低空目标光学探测系统,其特征在于,根据单台所述复眼凝视式探测设备输出的视频信号进行目标检测、定位、追踪具体包括:
采集单台所述复眼凝视式探测设备输出的视频信息;
利用帧差法检测所述视频信息中前后两帧图像的运动目标;
使用小目标分类识别算法排除检测到的运动目标中的干扰目标;
根据目标的像素坐标、所述第一视频设备的设计朝向、所述复眼凝视式探测设备的安装朝向计算所述目标的水平角和俯仰角;
获取所述目标的历史坐标,根据水平角、俯仰角和历史坐标估算目标的当前坐标估算值,定义探测到的、与所述当前坐标估算值最接近的坐标为所述目标的当前坐标;
将所述当前坐标添加至所述目标的历史坐标中,利用所述当前坐标对所述目标进行追踪。
3.根据权利要求2所述模拟动物视觉的低空目标光学探测系统,其特征在于,当存在两台所述复眼凝视式探测设备时,部署两台所述复眼凝视式探测设备的安装距离大于安装距离最小值;调整所述复眼凝视式探测设备的安装朝向,使得所述复眼凝视式探测设备的视野覆盖更多的监视区域,两台所述复眼凝视式探测设备的视野重叠区域更多。
4.根据权利要求3所述模拟动物视觉的低空目标光学探测系统,其特征在于,根据两台所述复眼凝视式探测设备输出的视频信号进行目标检测和定位具体包括:
对两台所述复眼凝视式探测设备探测到的所述目标进行配对;
利用三角定位方法对配对好的目标的水平角、俯仰角,以及所述复眼凝视式探测设备的安装朝向进行计算,以得到所述目标的距离。
5.根据权利要求4所述模拟动物视觉的低空目标光学探测系统,其特征在于,所述对两台所述复眼凝视式探测设备探测到的所述目标进行配对具体包括:
在每台所述复眼凝视式探测设备探测到目标中,将目标间距离小于合并阈值的多个目标合并形成一个待匹配的组群;将与其他目标间距离都大于所述合并阈值的目标独立形成一个待匹配的组群;
对所有待匹配的组群进行配对,以得到多对配对组群;其中每对配对组群包括两个已配对好的组群;
当配对组群中组群存在多个目标时,依次在所述配对组群的组群间对目标进行配对,以得到多对配对目标;其中每对配对目标包括两个已配对好的目标。
6.根据权利要求5所述模拟动物视觉的低空目标光学探测系统,其特征在于,配对的方法包括:
配置多种配对原则;
选用其中一配对原则对组群或目标进行配对;
若配对得到的配对组群或配对目标的距离差值小于配对阈值时,选用另一配对原则对组群或目标进行配对,直至距离差值大于配对阈值。
7.根据权利要求4所述模拟动物视觉的低空目标光学探测系统,其特征在于,根据所述视频信号进行目标追踪具体包括:
当所述复眼凝视式探测设备和所述转动跟踪式探测设备的距离小于安装距离最大值时,获取复眼凝视式探测设备探测到的目标的水平角和俯仰角,将所述水平角和俯仰角发送给所述转动跟踪式探测设备,控制转动跟踪式探测设备按照所述水平角和俯仰角转动;
当两台所述复眼凝视式探测设备的安装距离大于安装距离最小值时,获取复眼凝视式探测设备探测到的目标的水平角、俯仰角和距离,将所述水平角、俯仰角和距离发送给所述转动跟踪式探测设备;转动跟踪式探测设备根据自身安装位置、水平角、俯仰角和距离计算相对朝向角度,按照所述相对朝向角度转动。
8.根据权利要求1所述模拟动物视觉的低空目标光学探测系统,其特征在于,所述复眼凝视式探测设备还包括一广角视频设备;所述广角视频设备的光轴与所有第一视频设备的光轴相交于一点,且视野包含所有第一视频设备的视野;定义广角视频设备的光轴为复眼凝视式探测设备的中心轴;
控制所有第一视频设备和广角视频设备同时拍摄校正图案,以得到多个校正图像;
将第一视频设备获得的校正图像与广角视频设备获得的校正图像进行子区域匹配;
根据匹配的子区域的像素目标计算第一视频设备的光轴与复眼凝视式探测设备的中心轴之间的水平夹角和俯仰夹角,以得到所述第一视频设备的设计朝向。
9.根据权利要求1所述模拟动物视觉的低空目标光学探测系统,其特征在于,所述第一视频设备出厂前的校正方法包括:
在设定位置上设置聚焦标靶,调整每台所述第一视频设备的聚焦参数,使得聚焦标靶能够在所述第一视频设备上清晰成像;
选择其中一台第一视频设备作为基准视频设备,记录所述基准视频设备的聚焦参数与其它第一视频设备的聚焦参数的误差;
将所述基准视频设备安装在所述复眼凝视式探测设备中最低一排的中间位置。
10.根据权利要求9所述模拟动物视觉的低空目标光学探测系统,其特征在于,所述第一视频设备安装后的校正方法包括:
调整所述复眼凝视式探测设备的俯仰角,使得所述基准视频设备视野能够覆盖预设的地面参照物;
定义所述地面参照物为聚焦标靶;定时调整所述基准视频设备的整焦参数,使得聚焦标靶能够在所述基准视频设备上清晰成像;在其他第一视频设备的聚焦参数上累加所述误差。
CN202410261506.1A 2024-03-07 2024-03-07 模拟动物视觉的低空目标光学探测系统 Pending CN118138723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410261506.1A CN118138723A (zh) 2024-03-07 2024-03-07 模拟动物视觉的低空目标光学探测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410261506.1A CN118138723A (zh) 2024-03-07 2024-03-07 模拟动物视觉的低空目标光学探测系统

Publications (1)

Publication Number Publication Date
CN118138723A true CN118138723A (zh) 2024-06-04

Family

ID=91237071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410261506.1A Pending CN118138723A (zh) 2024-03-07 2024-03-07 模拟动物视觉的低空目标光学探测系统

Country Status (1)

Country Link
CN (1) CN118138723A (zh)

Similar Documents

Publication Publication Date Title
CN107659774B (zh) 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN112164015B (zh) 单目视觉自主巡检图像采集方法、装置及电力巡检无人机
CN107707810B (zh) 基于红外热像仪的热源追踪方法、装置及系统
US8488001B2 (en) Semi-automatic relative calibration method for master slave camera control
CN103558910B (zh) 一种自动跟踪头部姿态的智能显示器系统
CN105118055A (zh) 摄影机定位修正标定方法及系统
US8289393B2 (en) Camera control unit, camera display system, and camera control method
CN112949478A (zh) 基于云台相机的目标检测方法
CN107509055A (zh) 一种旋转式全景焦点识别光电跟踪仪及其实施方法
KR20130114899A (ko) 듀얼 카메라를 이용한 화상 감지 방법 및 장치
EP4296973A1 (en) System and method for localization of anomalous phenomena in assets
CN100384222C (zh) 一种调整摄像机位置的方法及装置
KR101452342B1 (ko) 감시카메라 유닛 및 그 구동방법
CN109785562B (zh) 一种立式光电地面威胁警戒系统及可疑目标识别方法
CN112764052A (zh) 防空导弹飞行监测系统
CN113743286A (zh) 一种多源信号融合的目标监测系统及方法
CN118138723A (zh) 模拟动物视觉的低空目标光学探测系统
CN115337581B (zh) 一种基于多目视觉消防系统的消防灭火方法
CN104104919A (zh) 一种监视仪的镜头同轴矫正方法
CN102866776B (zh) 电网调度运行的眼控输入系统及其应用方法
CN110989645A (zh) 一种基于复眼成像原理的目标空间姿态处理方法
CN207200874U (zh) 一种旋转式全景焦点识别光电跟踪仪
US10750132B2 (en) System and method for audio source localization using multiple audio sensors
CN114500839A (zh) 一种基于注意力跟踪机制的视觉云台控制方法及系统
JPH103109A (ja) 架空線撮影装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination