CN105744229B - 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法 - Google Patents

基于红外全景环视融合的无人艇自动锚泊系统及其工作方法 Download PDF

Info

Publication number
CN105744229B
CN105744229B CN201610104897.1A CN201610104897A CN105744229B CN 105744229 B CN105744229 B CN 105744229B CN 201610104897 A CN201610104897 A CN 201610104897A CN 105744229 B CN105744229 B CN 105744229B
Authority
CN
China
Prior art keywords
unmanned boat
infrared
fusion
module
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610104897.1A
Other languages
English (en)
Other versions
CN105744229A (zh
Inventor
李垣江
黄亚萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China E Tech Ningbo Maritime Electronics Research Institute Co ltd
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN201610104897.1A priority Critical patent/CN105744229B/zh
Publication of CN105744229A publication Critical patent/CN105744229A/zh
Application granted granted Critical
Publication of CN105744229B publication Critical patent/CN105744229B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种基于红外全景环视融合的无人艇自动锚泊系统,包括无人艇中央集控系统和岸基控制系统。采用四个安装在无人艇四周的红外与可见光双通道监控摄像机获取无人艇四周的景物信息,并利用均匀搜索风模型融合可见光和红外图像,最终将四个方向的融合结果拼接在一起,构成平铺展开的红外全景图像。最后,无人艇中央集控系统将无人艇位置、运动轨迹信息、融合全景图像及障碍物信息,传递给岸基控制系统。由操作人员判断无人艇锚泊地点、校正无人艇运动轨迹。本发明能够实现基于光强信息的广阔红外及可见光视角监控,为监控无人艇周围环境提供了方便,同时弥补了无人艇在夜间锚泊的局限性。

Description

基于红外全景环视融合的无人艇自动锚泊系统及其工作方法
技术领域
本发明涉及自动控制领域,尤其涉及一种基于红外全景环视融合的无人艇自动锚泊系统及基于均匀搜索风模型的红外/可见光融合方法。
背景技术
随着经济和社会的发展,无人艇技术运用在军事产业的诸多方面,然而视觉信息是实现环境感知与监控、系统智能的主要技术手段,与传统视觉环境感知系统视场较小不同,全景视觉能够实现水平方向360度,垂直方向240度范围内的大视场监控,其广阔的视角为监控周围环境提供了方便,同时可见光传感器与红外线传感器的双重结合,弥补了无人艇在时间上的局限性。
因此,实有必要提供一种基于红外全景环视融合的无人艇自动锚泊系统及基于均匀搜索风模型的红外/可见光融合方法
发明内容
为了解决上述问题,本发明的一个方面提供一种基于红外全景环视融合的无人艇自动锚泊系统,包括无人艇中央集控系统和岸基控制系统;所述无人艇中央集控系统由光强传感模块、表面流速传感器、无线信号收发器、红外与可见光双通道监控摄像机、图像融合及拼接处理模块、避障模块、锚泊模块、存储模块、电源及GPS模块组成;所述的岸基控制系统由无线信号收发器、显示模块、报警模块组成。
进一步地,所述光强传感模块安装于无人艇艇身的前、后、左、右,通过计算四个方向感知的光强数据,采用加权方法,融合不同位置的光强传感模块的状态信息,获得无人艇环视融合信号。
进一步地,采用四个安装在无人艇四周的红外与可见光双通道监控摄像机获取无人艇四周的景物信息,并利用均匀搜索风模型融合可见光和红外图像,最终将四个方向的融合结果拼接在一起,构成平铺展开的红外全景图像。
进一步地,基于红外全景环视融合的无人艇自动锚泊系统的工作方法包括:所述光强传感器模块通过计算四个方向感知的光强数据,采用加权策略,比较不同时刻、不同位置光强传感模块的状态信息,获得无人艇环视融合信号。所述图像融合及拼接处理模块根据光强传感器信息,判断是否启动红外监控功能。若启动红外监控功能则调用图像融合及拼接处理模块,利用均匀搜索风模型融合可见光和红外图像,最终将四个方向的融合结果拼接在一起,构成平铺展开的红外全景图像。若不需要启动红外监控功能,则只调用拼接处理模块,将无人艇周围的可见光图像进行拼接处理,获得可见光全景图像。
进一步地,所述避障模块是无人艇集控系统通过提取融合全景图像的HOG-CHT组合特征特征,基于障碍物数据库,分析障碍物类型。若有则将信息反馈至岸基控制系统,供操作人员修改锚泊指令。若没有,则继续航行,直到到达指定地点,实现锚泊。
与现有技术相比,本申请具有以下有益效果:本发明基于红外全景环视融合的无人艇自动锚泊系统能够实现基于光强信息的广阔红外及可见光视角监控,为监控周围环境提供了方便,同时弥补了无人艇在夜间锚泊的局限性。
附图说明
图1是本发明基于红外全景环视融合的无人艇自动锚泊系统;
图2是本发明基于全景环视融合的无人艇自动锚泊方法;
图3是本发明HOG-CHT特征的提取过程。
具体实施方式
一种基于红外全景环视融合的无人艇自动锚泊系统,包括无人艇中央集控系统和岸基控制系统。
所述无人艇中央集控系统由至少四个红外及可见光双通道摄像机、光强传感模块、表面流速传感器、无线信号收发器、图像融合及拼接处理模块、避障模块、锚泊模块、存储模块、电源及GPS模块组成。无人艇中央集控系统根据GPS模块根据捕获到的卫星信号,根据定位解算法计算并存储用户所在地理位置的经纬度、深度及无人艇的运动轨迹;同时表面流速传感器获取的海洋流速、流向信息,采用混沌最小二乘支持向量机(Chaos-LSSVM)算法预测下一时刻无人艇的运动方向。
所述光强传感器模块通过计算四个方向感知的光强数据,采用加权策略,比较不同时刻、不同位置光强传感模块的状态信息,获得无人艇环视融合信号。
所述红外及可见光双通道摄像机针对白天、夜晚等不同照明情况下对无人艇四周环境进行图像采集;根据安装于无人艇四周的光强传感模块获取环境光强融合信息,判断是否启动红外摄像功能。当光强融合信息低于预定阈值时,红外摄像功能开始工作。此时,图像融合及拼接处理模块开始运作。
假定Li(n)为各方向获取的光强信息,其中n代表时刻,i代表四个方向的光强传感模块。则基于光强的无人艇环视融合信号Light(n)为
其中,maxLi(n)为某一时刻,某个方向的光强最大值。n的取值大于等于5。Light(n)的预设阈值为0.037。
所述图像融合及拼接处理模块利用均匀搜索风模型融合可见光和红外图像,最终将四个方向的融合结果拼接在一起,构成平铺展开的红外全景图像。若不需要启动红外监控功能,则只调用拼接处理模块,将无人艇周围的可见光图像进行拼接处理,获得可见光全景图像。基于均匀搜索风模型的红外与可见光图像融合方法如下:首先,采用各类小波变换(例如NSCT)对红外与可见光图像进行分解。分解层数为2层。对于低频子带采用取平均值策略,获得低频融合子带。其次,采用下式获得高频融合子带,加权系数w采用均匀搜索风模型进行优化,核相关性定义如下:
F(A,B)=wA+(1-w)B (2)
其中,A,B为高频子带块,F(A,B)为为高频子带块的相关系数。初始化加权系数所需的群体规模,定义最大迭代次数、摩擦系数α、风速度矢量u、重力加速度矢量g;然后,随机产生当前状态的初始空气质点群体,并随机分配起始速度和位置;再计算当前迭代中加权系数所产生融合图像的熵即适应度值,并将加权系数按照适应度值重新排列;按照优化的速度和位置更新方程实现加权系数优化:
unew=(1-α)ucur+c[rwcur+(1-r)wopt]-gwcur
wnew=wcur+(unew*c) (3)
其中,wcur代表质点当前位置即加权系数的当前值,wnew为位置的更新值即加权系数的单次更新值,wopt为最优位置即最佳加权系数。unew为速度的更新值,ucur为速度的当前值。r为符合均匀分布的随机数,其范围在[0,1];c为学习系数,范围在[1,5]。
最后,对融合后的高低频子带进行逆变换,就可得到融合后的图像。
所述图像拼接处理模块工作方法如下:
首先,所述图像拼接处理模块采用球面坐标定位法,用扫描线逼近法求取鱼眼图像半径、中心点,当所拍摄得到的图像不是标准圆,要通过转换,使图像成为标准圆,并且,用扫描线逼近法在上、下、左、右四个方向上求得边缘切线,该四条边缘切线组成圆形有效区域的外切正方形,求得圆形区域的圆心坐标和半径;对校正后的可见光图像或红外/可见光融合图像进行鸟瞰俯视变换,利用棋盘标定法,因棋盘网格在俯视成像时,网格成方形,在侧视成像时,呈梯形,通过求得梯形到方形的透视变换矩阵,对整幅图像进行透视变换,从而得到鸟瞰俯视图;最后校正后的鸟瞰俯视图像进行视频图像拼接处理,依次实现特征提取、特征匹配、删除误匹配、映射关系求取、拼接图像、拼接缝隙消除。
无人艇中央集控系统同时将无人艇位置、运动轨迹信息及全景图像,传递给岸基控制系统。当所岸基控制系统接收到这些信息后,由操作人员判断是否需要锚泊。若需要锚泊,则调用所述锚泊模块,设定锚泊目标点的经纬度,并根据无人艇位置和运动轨迹信息,实时校正无人艇运动方向。
所述避障模块是无人艇集控系统通过提取全景图像的HOG-CHT组合特征,比对障碍物数据库,判断无人艇的前进方向是否存在障碍物。若有则将障碍物信息反馈至岸基控制系统,供操作人员修改锚泊指令。若没有,则继续航行,直到到达指定地点,实现锚泊。
HOG-CHT组合特征特征提取采用LBP特征的稀疏化方案。首先,引入0-1变换的概念。由0到1或由1到0都认为是一次0-1变换。这样,中心像素点pc的0-1变换次数u的计算可用下式表示:
式中,s(pc-pi)表示当前像素点pc与第i邻域点pi之间的符号差分值。此时,就可以根据像素点的0-1变换次数来统一化CHT值,如下式所示:
式中,N为邻域像素点数量通过统计上述稀疏化的CHT值的直方图,便可以得到相应的特征。为了融合HOG和CHT特征,对Block块中的CHT直方图进行L2-norm归一化处理。CHT特征段是在16×16像素尺度的无重叠图像块上提取的,其特征矢量的维度为:8×4×(8+2)=320。HOG-CHT组合特征的矢量维度为:3780+320=4100。该维度数只是在HOG特征的基础上稍有增加,在远小于多尺度HOG和原始的CHT特征的条件下,大大地提高了系统的检测性能。后续可采用支持向量机(SVM)、增强算法(Adaboost)和级联分类器从预设的障碍物数据库中比对特征,识别障碍物类型。
无人艇中央集控系统将无人艇位置、运动轨迹信息、全景图像及障碍物类型,传递给岸基控制系统。当所述岸基控制系统接收到这些信息后,由操作人员实时校正无人艇运动方向。

Claims (3)

1.一种基于红外全景环视融合的无人艇自动锚泊系统的工作方法,采用的红外全景环视融合的无人艇自动锚泊系统包括无人艇中央集控系统和岸基控制系统;所述无人艇中央集控系统包括光强传感模块、表面流速传感器、无线信号收发器、红外与可见光双通道监控摄像机、图像融合及拼接处理模块、避障模块、锚泊模块、存储模块、电源及GPS模块;所述的岸基控制系统包括无线信号收发器、显示模块、报警模块;采用四个安装在无人艇四周的红外与可见光双通道监控摄像机获取无人艇四周的景物信息,并利用均匀搜索风模型融合可见光和红外图像,最终将四个方向的融合结果拼接在一起,构成平铺展开的红外全景图像;
其特征在于:所述工作方法包括:
所述光强传感器模块通过计算四个方向感知的光强数据,采用加权策略,比较不同时刻、不同位置光强传感模块的状态信息,获得无人艇环视融合信号;所述图像融合及拼接处理模块根据光强传感器信息,判断是否启动红外监控功能;若启动红外监控功能则调用图像融合及拼接处理模块,利用均匀搜索风模型融合可见光和红外图像,最终将四个方向的融合结果拼接在一起,构成平铺展开的红外全景图像;若不需要启动红外监控功能,则只调用拼接处理模块,将无人艇周围的可见光图像进行拼接处理,获得可见光全景图像;
所述避障模块是无人艇集控系统通过提取融合全景图像的HOG-CHT组合特征特征,基于障碍物数据库,分析障碍物类型;若有则将信息反馈至岸基控制系统,供操作人员修改锚泊指令;若没有,则继续航行,直到到达指定地点,实现锚泊;
所述无人艇中央集控系统将无人艇位置、运动轨迹信息、全景图像及障碍物类型,传递给岸基控制系统;当所述岸基控制系统接收到这些信息后,由操作人员实时校正无人艇运动方向。
2.根据权利要求1所述的基于红外全景环视融合的无人艇自动锚泊系统的工作方法,其特征在于:光强传感模块安装于无人艇艇身的前、后、左、右,通过计算四个方向感知的光强数据,采用加权方法,融合不同位置的光强传感模块的状态信息,获得无人艇环视融合信号;基于加权策略的光强信息融合方法;该方法工作过程如下:
假定Li(n)为各方向获取的光强信息,其中n代表时刻,i代表四个方向的光强传感模块;则基于光强的无人艇环视融合信号Light(n)为
其中,maxLi(n)为某一时刻,某个方向的光强最大值;n的取值大于等于5。
3.根据权利要求2所述的基于红外全景环视融合的无人艇自动锚泊系统的工作方法,其特征在于:基于红外全景环视融合的无人艇自动锚泊系统的工作方法还包括基于均匀搜索风模型的红外与可见光图像融合方法,其工作过程如下:基于均匀搜索风模型的红外与可见光图像融合方法如下:首先,采用各类小波变换对红外与可见光图像进行分解;分解层数为2层;对于低频子带采用取平均值策略,获得低频融合子带;其次,采用下式获得高频融合子带,加权系数w采用均匀搜索风模型进行优化:
F(A,B)=wA+(1-w)B
其中,A,B分别为红外与可见光图像的高频子带,F(A,B)为为高频子带块的相关系数;初始化加权系数所需的群体规模,定义最大迭代次数、摩擦系数α、风速度矢量u、重力加速度矢量g;然后,随机产生当前状态的初始空气质点群体,并随机分配起始速度和位置;再计算当前迭代中加权系数所产生融合图像的熵即适应度值,并将加权系数按照适应度值重新排列;按照优化的速度和位置更新方程实现加权系数优化:
unew=(1-α)ucur+c[rwcur+(1-r)wopt]-gwcur
wnew=wcur+(unew*c)
其中,wcur代表质点当前位置即加权系数的当前值,wnew为位置的更新值即加权系数的单次更新值,wopt为最优位置即最佳加权系数;unew为速度的更新值,ucur为速度的当前值;r为符合均匀分布的随机数,其范围在[0,1];c为学习系数,范围在[1,5];
最后,达到最大迭代次数或迭代停止条件,停止优化、完成融合。
CN201610104897.1A 2016-02-25 2016-02-25 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法 Expired - Fee Related CN105744229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610104897.1A CN105744229B (zh) 2016-02-25 2016-02-25 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610104897.1A CN105744229B (zh) 2016-02-25 2016-02-25 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法

Publications (2)

Publication Number Publication Date
CN105744229A CN105744229A (zh) 2016-07-06
CN105744229B true CN105744229B (zh) 2019-01-15

Family

ID=56249337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610104897.1A Expired - Fee Related CN105744229B (zh) 2016-02-25 2016-02-25 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法

Country Status (1)

Country Link
CN (1) CN105744229B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492335B (zh) * 2018-03-27 2020-10-20 长春理工大学 一种双相机透视畸变校正方法及系统
CN108566538A (zh) * 2018-05-22 2018-09-21 华电电力科学研究院有限公司 基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法
CN109308686B (zh) * 2018-08-16 2022-06-24 北京市商汤科技开发有限公司 一种鱼眼图像处理方法及装置、设备和存储介质
CN111242998B (zh) * 2018-11-28 2023-04-25 株式会社理光 图像融合方法和装置
CN109591966B (zh) * 2018-12-03 2021-05-04 江苏科技大学 一种内河湖泊水域监测双体体无人艇及信息协同艇
CN109934112B (zh) * 2019-02-14 2021-07-13 青岛小鸟看看科技有限公司 一种人脸对齐方法和相机
CN110197231B (zh) * 2019-06-04 2023-06-27 南京华格信息技术有限公司 基于可见光和红外光图像融合的鸟情探测设备及识别方法
CN110673638B (zh) * 2019-10-15 2022-10-11 中国特种飞行器研究所 一种无人飞艇避让系统和无人飞艇飞行控制系统
CN111142538B (zh) * 2020-01-08 2023-03-24 北京工商大学 一种水环境监测的无人船运行策略实时决策方法
CN115471782B (zh) * 2022-09-22 2023-06-16 中国人民解放军国防科技大学 一种面向无人艇的红外舰船目标检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101214851A (zh) * 2008-01-10 2008-07-09 黄席樾 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN103139482A (zh) * 2013-03-08 2013-06-05 上海海事大学 海难搜救机器视觉系统
CN104494794A (zh) * 2014-07-15 2015-04-08 李�荣 一种船舶预警方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101214851A (zh) * 2008-01-10 2008-07-09 黄席樾 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN103139482A (zh) * 2013-03-08 2013-06-05 上海海事大学 海难搜救机器视觉系统
CN104494794A (zh) * 2014-07-15 2015-04-08 李�荣 一种船舶预警方法

Also Published As

Publication number Publication date
CN105744229A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105744229B (zh) 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法
US20210217212A1 (en) Method and system for automatically colorizing night-vision images
US11900668B2 (en) System and method for identifying an object in water
CN111242025B (zh) 一种基于yolo的动作实时监测方法
IT201900011403A1 (it) Detecting illegal use of phone to prevent the driver from getting a fine
WO2020083355A1 (en) Systems and methods for intelligent video surveillance
CN111338382B (zh) 一种安全态势引导的无人机路径规划方法
CN109104561A (zh) 用于追踪场景中的移动对象的系统及方法
EP1854083A1 (de) Kamera zum verfolgen von objekten
KR100326203B1 (ko) 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
CN108650495A (zh) 一种车用全景环视系统及其自适应补光方法
CN106060479A (zh) 一种基于超视距视频技术的智能放牧监控系统
CN110276254A (zh) 基于无人机的禁止摆摊区域摊贩自动识别预警方法
KR102392822B1 (ko) 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법
US20220343650A1 (en) Image based aquatic alert system
CN110619276A (zh) 基于无人机移动监控的异常及暴力检测系统和方法
US11703820B2 (en) Monitoring management and control system based on panoramic big data
JPWO2020174916A1 (ja) 撮影システム
CN113507577A (zh) 目标对象检测方法、装置、设备及存储介质
CN113194249A (zh) 一种基于摄像头的运动物体实时追踪系统及方法
US20230005239A1 (en) Image capturing method and device, apparatus, and storage medium
CN114783147B (zh) 智能监控方法、装置、可穿戴设备和可读存储介质
US20240153109A1 (en) Image based tracking system
Denman et al. Multi-view intelligent vehicle surveillance system
CN106339666A (zh) 一种人体目标的夜间监控方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191127

Address after: 315000 a2-17f, Lane 587, Juxian Road, hi tech Zone, Ningbo City, Zhejiang Province

Patentee after: CHINA E-TECH (NINGBO) MARITIME ELECTRONICS RESEARCH INSTITUTE Co.,Ltd.

Address before: 212003, No. 2, Mengxi Road, Zhenjiang, Jiangsu

Patentee before: Jiangsu University of Science and Technology

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190115