CN107291088A - 一种水下机器人图像识别和目标跟踪系统 - Google Patents

一种水下机器人图像识别和目标跟踪系统 Download PDF

Info

Publication number
CN107291088A
CN107291088A CN201710424070.3A CN201710424070A CN107291088A CN 107291088 A CN107291088 A CN 107291088A CN 201710424070 A CN201710424070 A CN 201710424070A CN 107291088 A CN107291088 A CN 107291088A
Authority
CN
China
Prior art keywords
image
module
target
underwater robot
target tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710424070.3A
Other languages
English (en)
Inventor
王晓鸣
林兴华
张敏革
武建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Publication of CN107291088A publication Critical patent/CN107291088A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/06Rate of change of altitude or depth
    • G05D1/0692Rate of change of altitude or depth specially adapted for under-water vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种水下机器人图像识别和目标跟踪系统,属于水下机器人技术领域,包括图像采集模块、图像处理模块、目标识别模块、目标跟踪模块、通讯模块和运动控制模块,所述的图像采集模块的输出端与图像处理模块的输入端相连,图像处理模块将所得图像特征信息传输到目标识别模块和目标跟踪模块进行信息指令的处理,并通过通讯模块传输到运动控制模块对水下机器人的位姿进行调整。本发明的有益效果为:采用图像识别和跟踪技术,可实现对目标区域的精确搜索、识别、定位和跟踪,提高了水下机器人的可操控性和环境自适应能力,降低了操作人员的工作难度,使得微小型水下机器人在复杂环境下的精细观察和作业得以实现。

Description

一种水下机器人图像识别和目标跟踪系统
技术领域
本发明涉及水下机器人技术领域,尤其涉及一种水下机器人图像识别和目标跟踪系统。
背景技术
目前,小型缆控水下机器人(ROV)的操作者在水面上通过手柄进行远程操作,通过安装在ROV上的摄像头进行观测。该方法操作单调、耗时,易造成操作者的疲劳,易出错。另外,由于水下光照不均匀,对比度低,水质混浊以及ROV易受到水流的影响造成运动不稳定等因素,更增加了操作者的难度。
同时由于小型ROV的质量较小、动力较弱,进行水下观察、作业时容易受外部干扰,特别是受到水流冲击的影响,产生运动不稳定性,使得ROV的悬停、艏向角锁定等运动控制变的更加困难,而且光学或声学图像采集设备的视角较小,容易产生目标逸出探测图像的情况,使得操作人员不容易进行操控和探测,必须经过长时间训练的操作人员才能稳定地进行操作。
发明内容
本发明提供了一种水下机器人图像识别和目标跟踪系统,采用图像识别和跟踪技术,可实现对目标区域的精确搜索、识别、定位和跟踪,提高了水下机器人的可操控性和环境自适应能力,降低了操作人员的工作难度,使得微小型水下机器人在复杂环境下的精细观察和作业得以实现。
为解决上述技术问题,本申请实施例提供了一种水下机器人图像识别和目标跟踪系统,其特征在于,包括图像采集模块、图像处理模块、目标识别模块、目标跟踪模块、通讯模块和运动控制模块,所述的图像采集模块的输出端与图像处理模块的输入端相连,图像处理模块包括波门设定、预处理、图像分割和特征提取四个部分,图像处理模块将所得图像特征信息传输到目标识别模块和目标跟踪模块进行信息指令的处理,并通过通讯模块传输到运动控制模块对水下机器人的位姿进行调整。
作为本方案的优选实施例,所述的图像采集模块为光学防抖摄像头,可以为CCD摄像头。
作为本方案的优选实施例,所述的波门设定中采用的波门算法为双边缘检测跟踪算法,波门中心按目标图像的中心设置,波门尺寸采用自适应调节算法对图像边缘像素进行放大设置。
作为本方案的优选实施例,所述的预处理中包括去噪处理、图像校正、数据压缩和图像增强及补偿四个流程,其中去噪处理采用中值滤波法进行图像质量的改善。
作为本方案的优选实施例,所述的图像分割中采用并行算法中的自适应阈值方法进行目标图像的分割,并采用二分法逐步缩小阈值运算灰度取值范围得出最佳阈值。
作为本方案的优选实施例,所述的特征提取利用目标的矩特征作为不变量来识别目标。
作为本方案的优选实施例,所述的目标识别模块利用目标图像和测试图像的归一化特征向量的欧氏距离作为两幅图像相似度的判断依据。
作为本方案的优选实施例,所述的目标跟踪模块采用图像匹配法对目标进行跟踪,其中将目标图像作为样板,可针对多线索信息进行融合,建立一个多线索融合的鲁棒跟踪模型,通过颜色分布、运动轨迹预测、被跟踪对象轮廓和辅助物多线索实现自动跟踪。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
采用图像识别和跟踪技术,可实现对目标区域的精确搜索、识别、定位和跟踪,提高了水下机器人的可操控性和环境自适应能力,降低了操作人员的工作难度,使得微小型水下机器人在复杂环境下的精细观察和作业得以实现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例的系统结构示意图。
图1中:1、图像采集模块,2、图像处理模块,3、预处理,4、波门设定,5、特征提取,6、目标识别模块,7、目标跟踪模块,8、通讯模块,9、运动控制模块,10、图像分割。
具体实施方式
本发明提供了一种水下机器人图像识别和目标跟踪系统,采用图像识别和跟踪技术,可实现对目标区域的精确搜索、识别、定位和跟踪,提高了水下机器人的可操控性和环境自适应能力,降低了操作人员的工作难度,使得微小型水下机器人在复杂环境下的精细观察和作业得以实现。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示,一种水下机器人图像识别和目标跟踪系统,其特征在于,包括图像采集模块1、图像处理模块2、目标识别模块6、目标跟踪模块7、通讯模块8和运动控制模块9,所述的图像采集模块1的输出端与图像处理模块2的输入端相连,图像处理模块2包括波门设定4、预处理3、图像分割10和特征提取5四个部分,图像处理模块2将所得图像特征信息传输到目标识别模块6和目标跟踪模块7进行信息指令的处理,并通过通讯模块7传输到运动控制模块9对水下机器人的位姿进行调整。
其中,在实际应用中,所述的图像采集模块1为光学防抖摄像头,可以为CCD摄像头,CCD图像的帧频为25Hz,帧图像分辨率为512×512像素,每个像素点8bit量化,可直接将光学信号转换为模拟电流信号,电流信号经过放大和模数转换,实现图像的获取、存储、传输、处理和复现,具有体积小、重量轻、功耗小、抗冲击与震动、性能稳定、寿命长、灵敏度高,噪声低、动态范围大、响应速度快等优点,并且有自扫描功能、图像畸变小、无残像、像素集成度高、尺寸精确、商品化生产成本低。
其中,在实际应用中,所述的波门设定4中采用的波门算法为双边缘检测跟踪算法,设置波门可以非常有效地排除背景干扰,还可以大大减少计算量以提高计算速度,波门中心按目标图像的中心设置,波门尺寸采用自适应调节算法对图像边缘像素进行放大设置,以保证在满足跟踪精度的前提下,尽量减少计算量和增强系统的抗干扰能力。
其中,在实际应用中,所述的预处理3中包括去噪处理、图像校正、数据压缩和图像增强及补偿四个流程,用以降低图像噪声和失真程度,增强图像中的有用信号,改善图像的质量,以利于后续处理,其中去噪处理采用中值滤波法进行图像质量的改善,中值滤波是一种非线形滤波技术,可对图像中的噪声进行有效的抑制,在灰度值变化比较小的情况下可以得到很好的平滑处理,同时降低了图像边界部分的模糊程度。
其中,在实际应用中,所述的图像分割10中采用并行算法中的自适应阈值方法进行目标图像的分割,并采用二分法逐步缩小阈值运算灰度取值范围得出最佳阈值,该类方法计算简单,自适应性强,在一定条件下不受图像对比度与亮度变化的影响,同时可以提高系统的实时性。
其中,在实际应用中,所述的特征提取5利用目标的矩特征作为不变量来识别目标,在目标跟踪系统中通常只需辨明目标的类型,并不需要了解有关运动目标图像中更多的细节,不变矩是图像的统计特性,满足平移、伸缩、旋转均不变的不变性,而重心、长轴、短轴等惯性矩也可以由矩得到,所以采用不变矩特征足以满足要求,
其中,在实际应用中,所述的目标识别模块6利用目标图像和测试图像的归一化特征向量的欧氏距离作为两幅图像相似度的判断依据,利用图像的不变矩组成这个图像的特征向量,计算两幅图像特征向量的欧氏距离,将此欧氏距离值与预先设定的阈值进行比较,如果小于预定值,则认为测试图像为目标图像,反之则不是。
其中,在实际应用中,所述的目标跟踪模块7采用图像匹配法对目标进行跟踪,其中将目标图像作为样板,可针对多线索信息进行融合,建立一个多线索融合的鲁棒跟踪模型,通过颜色分布、运动轨迹预测、被跟踪对象轮廓和辅助物多线索实现自动跟踪,这种方法对相关度的取值有一定的要求,对与选定的跟踪目标图像不相似的一切景物都不敏感,具有较好跟踪能力和抗背景干扰能力,可以满足水下环境中帧间抖动较大的特点。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (8)

1.一种水下机器人图像识别和目标跟踪系统,其特征在于,包括图像采集模块(1)、图像处理模块(2)、目标识别模块(6)、目标跟踪模块(7)、通讯模块(8)和运动控制模块(9),所述的图像采集模块(1)的输出端与图像处理模块(2)的输入端相连,图像处理模块(2)包括波门设定(4)、预处理(3)、图像分割(10)和特征提取(5)四个部分,图像处理模块(2)将所得图像特征信息传输到目标识别模块(6)和目标跟踪模块(7)进行信息指令的处理,并通过通讯模块(7)传输到运动控制模块(9)对水下机器人的位姿进行调整。
2.根据权利要求1所述的一种水下机器人图像识别和目标跟踪系统,其特征在于,所述的图像采集模块(1)为光学防抖摄像头,可以为CCD摄像头。
3.根据权利要求1所述的一种水下机器人图像识别和目标跟踪系统,其特征在于,所述的波门设定(4)中采用的波门算法为双边缘检测跟踪算法,波门中心按目标图像的中心设置,波门尺寸采用自适应调节算法对图像边缘像素进行放大设置。
4.根据权利要求1所述的一种水下机器人图像识别和目标跟踪系统,其特征在于,所述的预处理(3)中包括去噪处理、图像校正、数据压缩和图像增强及补偿四个流程,其中去噪处理采用中值滤波法进行图像质量的改善。
5.根据权利要求1所述的一种水下机器人图像识别和目标跟踪系统,其特征在于,所述的图像分割(10)中采用并行算法中的自适应阈值方法进行目标图像的分割,并采用二分法逐步缩小阈值运算灰度取值范围得出最佳阈值。
6.根据权利要求1所述的一种水下机器人图像识别和目标跟踪系统,其特征在于,所述的特征提取(5)利用目标的矩特征作为不变量来识别目标。
7.根据权利要求1所述的一种水下机器人图像识别和目标跟踪系统,其特征在于,所述的目标识别模块(6)利用目标图像和测试图像的归一化特征向量的欧氏距离作为两幅图像相似度的判断依据。
8.根据权利要求1所述的一种水下机器人图像识别和目标跟踪系统,其特征在于,所述的目标跟踪模块(7)采用图像匹配法对目标进行跟踪,其中将目标图像作为样板,可针对多线索信息进行融合,建立一个多线索融合的鲁棒跟踪模型,通过颜色分布、运动轨迹预测、被跟踪对象轮廓和辅助物多线索实现自动跟踪。
CN201710424070.3A 2016-10-20 2017-06-07 一种水下机器人图像识别和目标跟踪系统 Pending CN107291088A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016109154057 2016-10-20
CN201610915405 2016-10-20

Publications (1)

Publication Number Publication Date
CN107291088A true CN107291088A (zh) 2017-10-24

Family

ID=60096072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710424070.3A Pending CN107291088A (zh) 2016-10-20 2017-06-07 一种水下机器人图像识别和目标跟踪系统

Country Status (1)

Country Link
CN (1) CN107291088A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992881A (zh) * 2017-11-13 2018-05-04 广州中国科学院先进技术研究所 一种机器人动态抓取方法及系统
CN108415441A (zh) * 2018-03-05 2018-08-17 中国海洋大学 基于单目视觉的水下机器人目标跟随系统及其方法
CN109949338A (zh) * 2019-02-20 2019-06-28 博雅工道(北京)机器人科技有限公司 一种基于cpg模型仿生水下机器鱼的目标跟踪识别方法
CN109961012A (zh) * 2019-02-20 2019-07-02 博雅工道(北京)机器人科技有限公司 一种水下目标跟踪识别方法
CN110262565A (zh) * 2019-05-28 2019-09-20 深圳市吉影科技有限公司 应用于水下六推无人机的目标跟踪运动控制方法及装置
CN111275683A (zh) * 2020-01-20 2020-06-12 上海云从汇临人工智能科技有限公司 图像质量评分处理方法、系统、设备及介质
CN111612824A (zh) * 2020-05-26 2020-09-01 天津市微卡科技有限公司 一种用于机器人控制的意识跟踪识别算法
CN115631477A (zh) * 2022-11-29 2023-01-20 天津所托瑞安汽车科技有限公司 目标识别方法及终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052967A (zh) * 2014-06-04 2014-09-17 河海大学 智能水下偏振目标深度图获取系统及其方法
CN104092991A (zh) * 2014-07-11 2014-10-08 金陵科技学院 针对目标跟踪控制的图像信号综合处理装置及实现方法
CN104199447A (zh) * 2014-08-18 2014-12-10 江苏科技大学 水下结构物检测机器人控制系统及运动控制方法
CN104281832A (zh) * 2013-07-04 2015-01-14 上海高威科电气技术有限公司 视觉识别工业机器人
CN104850133A (zh) * 2015-05-18 2015-08-19 哈尔滨工程大学 一种模块化的rov控制系统
CN104881859A (zh) * 2014-02-28 2015-09-02 上海辉珺信息科技有限公司 基于多维识别技术的3d机器视觉系统
CN105945390A (zh) * 2015-01-24 2016-09-21 张兰花 基于图像识别的水下焊接机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281832A (zh) * 2013-07-04 2015-01-14 上海高威科电气技术有限公司 视觉识别工业机器人
CN104881859A (zh) * 2014-02-28 2015-09-02 上海辉珺信息科技有限公司 基于多维识别技术的3d机器视觉系统
CN104052967A (zh) * 2014-06-04 2014-09-17 河海大学 智能水下偏振目标深度图获取系统及其方法
CN104092991A (zh) * 2014-07-11 2014-10-08 金陵科技学院 针对目标跟踪控制的图像信号综合处理装置及实现方法
CN104199447A (zh) * 2014-08-18 2014-12-10 江苏科技大学 水下结构物检测机器人控制系统及运动控制方法
CN105945390A (zh) * 2015-01-24 2016-09-21 张兰花 基于图像识别的水下焊接机器人
CN104850133A (zh) * 2015-05-18 2015-08-19 哈尔滨工程大学 一种模块化的rov控制系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
彭真明 等: "《光电图像处理及应用》", 30 April 2013, 电子科技大学出版社 *
李明明: "基于机器视觉的水下目标检测与跟踪技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
赵小川 等: "《MATLAB图像处理》", 31 January 2014, 北京航空航天大学出版社 *
赵春晖 等: "《视频图像运动目标》", 30 June 2011, 国防工业出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992881A (zh) * 2017-11-13 2018-05-04 广州中国科学院先进技术研究所 一种机器人动态抓取方法及系统
CN107992881B (zh) * 2017-11-13 2024-06-04 深圳市中科德睿智能科技有限公司 一种机器人动态抓取方法及系统
CN108415441A (zh) * 2018-03-05 2018-08-17 中国海洋大学 基于单目视觉的水下机器人目标跟随系统及其方法
CN108415441B (zh) * 2018-03-05 2020-03-10 中国海洋大学 基于单目视觉的水下机器人目标跟随系统的跟随方法
CN109949338A (zh) * 2019-02-20 2019-06-28 博雅工道(北京)机器人科技有限公司 一种基于cpg模型仿生水下机器鱼的目标跟踪识别方法
CN109961012A (zh) * 2019-02-20 2019-07-02 博雅工道(北京)机器人科技有限公司 一种水下目标跟踪识别方法
CN110262565A (zh) * 2019-05-28 2019-09-20 深圳市吉影科技有限公司 应用于水下六推无人机的目标跟踪运动控制方法及装置
CN111275683A (zh) * 2020-01-20 2020-06-12 上海云从汇临人工智能科技有限公司 图像质量评分处理方法、系统、设备及介质
CN111612824A (zh) * 2020-05-26 2020-09-01 天津市微卡科技有限公司 一种用于机器人控制的意识跟踪识别算法
CN115631477A (zh) * 2022-11-29 2023-01-20 天津所托瑞安汽车科技有限公司 目标识别方法及终端

Similar Documents

Publication Publication Date Title
CN107291088A (zh) 一种水下机器人图像识别和目标跟踪系统
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN110866903B (zh) 基于霍夫圆变换技术的乒乓球识别方法
CN101383004A (zh) 一种红外和可见光图像相结合的乘客目标检测方法
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN108022249A (zh) 一种遥感视频卫星运动车辆目标感兴趣区域自动提取方法
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN107133610B (zh) 一种复杂路况下行车流量视觉检测与计数方法
CN108133491A (zh) 一种实现动态目标跟踪的方法
CN103198491A (zh) 室内的视觉定位方法
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
CN112720408B (zh) 一种全地形机器人视觉导航控制方法
CN113205494B (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统
Nagarajan et al. Obstacle detection and avoidance for mobile robots using monocular vision
CN107437071B (zh) 一种基于双黄线检测的机器人自主巡检方法
CN116977902B (zh) 一种边海防车载光电稳定平台目标跟踪方法及系统
CN113689365A (zh) 一种基于Azure Kinect的目标跟踪定位方法
CN109102520A (zh) 基于模糊均值聚类与卡尔曼滤波跟踪相结合的运动目标检测方法
CN112446851B (zh) 一种基于高速脉冲式图像传感器的端点检测算法
CN106851106A (zh) 一种增强ar追踪稳定性的电子稳像方法
CN113255455B (zh) 基于矢量去光照影响算法的单目相机物体识别与定位方法
CN113591705B (zh) 巡检机器人仪表识别系统及方法、存储介质
CN106447685B (zh) 一种红外跟踪方法
Wang et al. An efficient method of shadow elimination based on image region information in HSV color space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171024