CN113721615B - 一种基于机器视觉的海航路径规划方法及系统 - Google Patents
一种基于机器视觉的海航路径规划方法及系统 Download PDFInfo
- Publication number
- CN113721615B CN113721615B CN202110992227.9A CN202110992227A CN113721615B CN 113721615 B CN113721615 B CN 113721615B CN 202110992227 A CN202110992227 A CN 202110992227A CN 113721615 B CN113721615 B CN 113721615B
- Authority
- CN
- China
- Prior art keywords
- target
- sea
- planning
- path
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims description 29
- 238000005265 energy consumption Methods 0.000 claims description 26
- 230000000694 effects Effects 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000004297 night vision Effects 0.000 claims description 6
- 208000012788 shakes Diseases 0.000 claims description 6
- 238000012876 topography Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 208000034699 Vitreous floaters Diseases 0.000 description 1
- 230000010391 action planning Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于机器视觉的海航路径规划方法及系统,该方法包括以下步骤:S1:识别目标对象的类型、周围环境类型;S2:根据周围环境类型对多组海面图像进行环境处理,得到多组预处理图像;S3:根据对不同类别的目标对象的类型进行优先等级的分类,对优先等级为最高优先等级的对象进行优先规划躲避路线;S4:识别海浪状态;S5:分析目标移动状态;S6:根据优先等级、目标移动状态、海浪状态进行规划自身的最佳全局路径;S7:利用反馈数据得到下一步行驶控制信息;S8:建立记忆数据,根据记忆数据划分危险等级,基于危险等级进行局部路径规划。该方法避免了局部路径规划容易在特殊复杂情况下陷入死区,使得整个路径规划质量更优。
Description
技术领域
本发明涉及路径规划技术领域,具体涉及一种基于机器视觉的海航路径规划方法及系统。
背景技术
海面进行探测或垃圾回收等自主作业的智能机器人或中小型船只往往会遭遇海面的动物、波浪、其他船只、恶劣天气等复杂、突发情况的影响。现有的技术主要依靠全局路径规划、局部路径规划或两种路径规划混合。全局路径规划需要获取电子海图、环境海图然后再利用路径规划算法进行路径优化,只适用于比较长远距离的航道规划、应对静态的障碍物,无法对机器人眼前的目标或突发情况(海浪、海洋动物、其他船只的出现)起作用;而现有的海面局部路径规划主要依靠VFH*等算法对局部的路径和障碍做出处理,但缺乏视觉识别系统,无法高效准确应对复杂情况;
发明人发现,现有的海上中小船只、机器人一般都是通过卫星导航系统或对海图进行全局路径规划提供的宏观数据进行海上航行控制,往往只适用于长距离航行,不仅依赖信号强度,而且没有结合海上的各种视觉图像处理、实时目标检测,在面对周围的短距离路径规划、身边的复杂情况时无法及时做出有效的识别和下一步控制操作;而也有部分技术利用视觉技术识别障碍物或进行局部路径规划,但这种局部路径规划容易在特殊复杂情况下陷入死区或无法得到最优规划,缺乏连贯性、实时性和预测性。
发明内容
为了克服现有技术存在的缺陷与不足,本发明的第一目的在于提供一种基于机器视觉的海航路径规划方法,该方法不仅解决了海上导航船只、海上机器人在海面时对障碍物的躲避,还避免了局部路径规划容易在特殊复杂情况下陷入死区,使得整个路径规划质量更优,提高了海航的运行效率,具有实用性和高效性。
本发明的第二目的在于提供一种基于机器视觉的海航路径规划系统。
为了达到上述第一目的,本发明采用以下技术方案:
一种基于机器视觉的海航路径规划方法,包括以下步骤:
S1:截取预设时间段的视频内的多组海面图像,分别对每组海面图像检测,识别得到目标对象的类型、周围环境类型,其中目标对象为与自身的相隔距离值低于预设距离阈值时的检测目标;
S2:根据周围环境类型对多组海面图像进行环境处理,得到多组预处理图像;
S3:根据不同类别的目标对象的类型进行优先等级的分类,对优先等级为最高优先等级的对象进行优先规划躲避路线;
S4:对多组预处理图像进行识别海浪状态,海浪状态包括自身与海浪的相对移动状态和移动距离;
S5:选择跟踪目标,对跟踪目标进行测距,根据自身与跟踪目标的相对位置建立坐标系,计算跟踪目标在跟踪时间内的运动速度,进而分析得到目标移动状态;
S6:根据优先等级、目标移动状态、海浪状态进行规划自身的最佳全局路径;
S7:利用反馈数据对当前的路径控制进行辅助计算得到下一步行驶控制信息,所述反馈数据包括最佳全局路径、预测行驶控制信息、当前能源状态和当前功耗状态,其中预测行驶控制信息为根据局部格栅地图进行局部路径规划得到;
S8:建立记忆数据,根据记忆数据划分危险等级,基于危险等级进行局部路径规划,所述记忆数据为在海上的路径规划中曾经探测到并躲避的非目标对象特征、位置、移动状态,所述非目标对象为对自身任务的路径有影响或对自身安全有影响的海上物体。
作为优选的技术方案,在步骤S2中,所述环境处理具体为去雨处理、夜视处理、去雾处理以及防抖处理中的任一或多种组合方法。
作为优选的技术方案,在步骤S3中,还引入预测功耗,根据目标对象的类型、预测功耗进行优先等级的分类,对优先等级为最高优先等级的对象进行优先规划躲避路线。
作为优选的技术方案,还引入能耗,根据目标对象的类型、预测功耗、能耗进行优先等级的分类,对优先等级为最高优先等级的对象进行优先规划躲避路线。
作为优选的技术方案,在步骤S6中,具体包步骤包括:面对自身任务时,根据目标信息与任务的相关程度进行设置优先度,对于存在多个目标的优先度相近的情况下,则将前往指定地点的路径复杂程度的大小作为判断依据,所述目标信息包括目标的位置、运动状态、种类。
作为优选的技术方案,在步骤S8中,具体步骤包括:
若探测到与记忆数据匹配的目标地形或物体,则设置较高处理优先级;
对记忆数据中曾对自身安全具有威胁倾向的物体进行划分危险等级;
对记忆数据中曾在路径规划中躲避过的目标进行划分第一危险等级,规划第一局部优化路径进行躲避;
若躲避过的目标为移动状态,则根据该目标在预设时间段内的速度、相对位置进行预测其运动路径,并结合自身运动数据进行预测是否发生碰撞,将该躲避过的目标划分为第二危险等级,若预测为发生碰撞,则规划第二局部优化路径进行躲避,所述自身运动数据包括行驶速度、行驶加速度、行驶方向;
若躲避过的目标为静止状态或移速缓慢的目标,结合记忆数据与地形信息进行最佳全局路径规划得到记忆路径,判断记忆路径与当前的最佳全局路径是否存在冲突,若存在冲突则规划第三局部优化路径进行躲避,将该躲避过的目标划分为第三危险等级;
所述生成的第一局部优化路径、第二局部优化路径或第三局部优化路径用于辅助下一步行驶控制信息。
作为优选的技术方案,还包括以下步骤:
S9:根据规划后的目标危险情况或任务完成效率进行评估海航规划效果,根据海航规划效果或海航能耗效果进行自适应调整识别精度;
若目标的危险情况未改善,即目标危险等级无降低时,视为海航规划规划差,则提高识别精度,以在下一次规划中寻求更好效果;
若当前任务完成效率超过历史任务完成效率的平均值时,视为海航规划规划好,则降低识别精度,若当前任务完成效率低于历史任务完成效率的平均值时,视为海航规划规划差,则提高识别精度;
若规划后的能耗超出预设任务能耗阈值时,视为海航能源效果差,则降低识别精度。
作为优选的技术方案,在步骤S4中,所述对多组预处理图像进行识别海浪状态,具体包括以下步骤:
S4-1:采用SVO算法对多组预处理图像中的海浪进行位姿优化;
S4-2:计算自身与海浪的相对移动距离,根据移动阈值判断自身与海浪的相对移动状态。
作为优选的技术方案,所述采用SVO算法对多组预处理图像中的海浪进行位姿优化,具体步骤包括:
对每组预处理图像执行以下操作:
S4-1-1:先利用稀疏直接法对预处理图像进行计算残差的第一海浪特征点个数、每前一帧中所有海浪特征点块像素投影后在该当前帧中的像素个数;
S4-1-2:对每一帧进行重投影得到第二海浪特征点,将海图中的地图点投影到当前帧中,进而得到海图的地图点和关键帧的图像特征点之间的关系信息,其中海图中的地图点为与关键帧相邻部分观测到的点;
S4-1-3:基于第二海浪特征点进行位姿优化,根据第一海浪特征点与第二海浪特征点得到投影误差,设置预设投影阈值,将投影误差大于预设投影阈值的第二海浪特征点进行去除,将经过筛选后的第二海浪特征点用于评价跟踪质量。
为了达到上述第二目的,本发明采用以下技术方案:
一种基于机器视觉的海航路径规划系统,包括图像处理模块、视觉识别模块、位置检测模块、角速度检测模块、通信模块以及主控模块,所述图像处理模块、视觉识别模块、位置检测模块、角速度检测模块分别与通信模块连接,通信模块还与主控模块连接;
所述视觉识别模块用于对采集的多组海面图像进行检测,识别得到目标对象的类型、周围环境类型,对多组预处理图像进行识别海浪状态,海浪状态包括自身与海浪的相对移动状态和移动距离;
所述多组预处理图像为通过图像处理模块根据周围环境类型对多组海面图像进行环境处理得到,从而为视觉识别处理提供更稳定的环境场景,其中环境处理具体为去雨处理、夜视处理、去雾处理以及防抖处理中的任一或多种组合方法,目标对象为与自身的相隔距离值低于预设距离阈值时的检测目标;
所述位置检测模块用于检测目标的相对距离,计算目标的位置、自身与跟踪目标的相对位置;
所述角速度检测模块用于采集角速度,角速度用于计算自身运动数据,自身运动数据包括行驶速度、行驶加速度、行驶方向;
所述视觉识别模块还用于选择跟踪目标,对跟踪目标进行测距,根据自身与跟踪目标的相对位置建立坐标系,计算跟踪目标在跟踪时间内的运动速度,分析目标移动状态;
所述主控模块用于根据目标对象的类型、预测功耗、能耗进行优先等级的分类,对优先等级为最高优先等级的对象进行优先规划躲避路线,根据优先等级、目标移动状态、海浪状态进行规划自身的最佳全局路径,利用反馈数据对当前的路径控制进行辅助计算得到下一步行驶控制信息,建立记忆数据,根据记忆数据划分危险等级,基于危险等级进行局部路径规划,从而辅助当前的路径控制,根据规划后的目标危险情况、任务完成效率或能耗进行评估海航规划效果,根据海航规划效果进行自适应调整识别精度。
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明提出的一种基于机器视觉的海航路径规划方法,该方法对海面上的目标对象进行识别后,通过判断它们的类型、位置等深度信息,再以此结合全局和局部路径规划算法对其进行优先级或危险等级分类并做出判断,达到实时路径和行动的规划;并在规划后,针对功耗进行自适应调整识别精度,改善了海上自主或半自主智能机器人的续航和能源消耗问题,使其可以不断自动调整适应海上的复杂情况的同时,往节约能源的方向进行调整,从而增长执行航海任务的周期。
(2)本发明提出的一种基于机器视觉的海航路径规划方法对于本系统或系统内部算法规划计算出的最终结果以及中间运算值进行收集,通过对影响其计算过程的因子随时进行更新、调整或删除,并设置优先等级和危险等级,以优先等级和危险等级为依据,使得海上机器人或装置能够针对不同海域、不同任务、自身的不同状态进行修改调整以做出最佳的适应。
(3)本发明提出的一种基于机器视觉的海航路径规划方法,该方法通过结合记忆数据进行规划路径,基于危险等级的划分以避免自身进入更危险或更复杂等难以脱离的情况,形成对危险的感知预测,提前将其避开;相比每次躲避和危险等级划分都以实时数据作为依据的路径规划方法而言,本发明通过结合记忆数据进行规划路径,通过危险感知,在海面情况较为复杂时能够预测危险并及时躲避,从而避免陷入难以逃脱的情况;该方法通过结合记忆数据解决了海上导航船只、海上机器人在海面时对障碍物的躲避,避免了局部路径规划容易在特殊复杂情况下陷入死区,使得整个路径规划质量更优,提高了海航的运行效率,具有实用性和高效性。
附图说明
图1为本发明实施例1中基于机器视觉的海航路径规划方法的步骤流程图;
图2为本发明实施例1中获取目标移动状态的步骤流程图;
图3为本发明实施例1中下一步行驶控制信息的步骤流程图;
图4为本发明实施例1中海浪位姿优化的步骤流程图;
图5为本发明实施例2中基于机器视觉的海航路径规划系统的结构示意图。
具体实施方式
在本公开的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本公开和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本公开的限制。
此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。同样,“一个”、“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同,而不排除其他元素或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
在本公开的描述中,需要说明的是,除非另有明确的规定和限定,否则术语“安装”、“相连”、“连接”应做广义理解。例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本公开中的具体含义。此外,下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例
实施例1
如图1所示,本实施例提供了一种基于机器视觉的海航路径规划方法,该方法包括以下步骤:
S1:截取预设时间段的视频内的多组海面图像,分别对每组海面图像检测,识别得到目标对象的类型、周围环境类型,其中目标对象为与自身的相隔距离值低于预设距离阈值时的检测目标;实际应用时,利用yolov4对视野内的海面目标进行检测和判断。
S2:根据周围环境类型对多组海面图像进行环境处理,得到多组预处理图像,从而为视觉识别处理提供更稳定的环境场景,其中环境处理具体为去雨处理、夜视处理、去雾处理以及防抖处理中的任一或多种组合方法;
S3:对不同类别的目标对象的类型进行优先等级的分类,当同时出现多个目标对象时,对优先等级为最高优先等级的对象进行优先规划躲避路线;
若有储能和续航的需求,利用功耗模型生成预测功耗,则结合当前的预测功耗和不同类别的目标对象的类型进行优先等级的分类,在整个系统的规划和执行过程中,预测功耗可能会不断改变,实际产生的真实能耗与预测能耗有出入,通过多次迭代优化功耗模型,提高预测功耗的准确度。
实际应用时,因海面复杂多变,若存在多个相同优先级别目标时,通过引入能耗作为判断依据,将能耗最低的目标对象设置为最高优先等级进行优先规划躲避路线。
S4:对多组预处理图像进行识别海浪状态,海浪状态包括自身与海浪的相对移动状态和移动距离;
S5:选择跟踪目标,对跟踪目标进行测距,根据自身与跟踪目标的相对位置建立坐标系,计算跟踪目标在跟踪时间内的运动速度,进而分析得到目标移动状态,具体结合图2所示;
S6:根据优先等级、目标移动状态、海浪状态进行规划自身的最佳全局路径;
面对自身任务时,根据目标信息与任务的相关程度进行设置优先度,对于存在多个目标的优先度相近的情况下,则将前往指定地点的路径复杂程度的大小作为判断依据,其中往指定地点的路径复杂程度根据相对距离、海浪、目标移动速度、天气等外界环境因素进行量化评价分析得到。实际应用时,目标信息包括目标的位置、运动状态、种类等信息,目标的种类为根据多组预处理图像进行目标识别得到,目标的运动状态为根据探测时间内目标的位置变化计算得到。以执行搜寻任务为例,将搜寻物体设置为最高优先等级;而在执行巡航任务时,若发现目标对自身的最佳全局路径有影响或预测将要对最佳全局路径造成影响,则将该目标设置为最高优先等级。
S7:利用反馈数据对当前的路径控制进行辅助计算得到下一步行驶控制信息,具体结合图3所示,反馈数据包括最佳全局路径、预测行驶控制信息、当前能源状态和当前功耗状态,其中预测行驶控制信息为根据局部格栅地图采用VFH*算法进行局部路径规划得到。
S8:建立记忆数据,根据记忆数据划分危险等级,基于危险等级进行优化局部路径规划,从而辅助当前的路径控制。
记忆数据为在海上的路径规划中曾经探测到并躲避的非目标对象特征、位置、移动状态,其中非目标对象可以为其他船只、海上漂浮物、海洋动物、海图上未标记的岛屿和礁石等任何对自身任务的路径有影响或对自身安全有影响的海上物体;
若探测到与记忆数据匹配的目标地形或物体,则设置较高处理优先级;
对记忆数据中曾对自身安全具有威胁倾向的物体进行划分危险等级;实际应用时,威胁倾向包括碰撞、攻击等形式。
对记忆数据中曾在路径规划中躲避过的目标进行划分第一危险等级,规划第一局部优化路径进行躲避。实际应用时,例如地形、各种船只等,对于某次曾经避障过的地形,当再次识别到它们,执行只针对该地形进行局部路径规划,其作用只针对要提前预测到并避开它,避开它之后自身仍执行原任务,重新按照最佳全局路径的路线航行,如果躲避已经完成了,原任务不变。
若躲避过的目标为移动状态,则根据该目标在预设时间段内的速度、相对位置进行预测其运动路径,并结合自身运动数据进行预测是否发生碰撞,将该躲避过的目标划分为第二危险等级,若预测为发生碰撞,则规划第二局部优化路径进行躲避。实际应用时,自身运动数据包括行驶速度、行驶加速度、行驶方向,自身运动数据为利用陀螺仪或电子水平仪采集的角速度经过辅助和修正计算得到。
若躲避过的目标为静止状态或移速缓慢的目标,结合记忆数据与地形信息进行最佳全局路径规划得到记忆路径,判断记忆路径与当前的最佳全局路径是否存在冲突,若存在冲突则规划第三局部优化路径进行躲避,将该躲避过的目标划分为第三危险等级。实际应用时,将移速缓慢的目标视为固定地形进行整合处理,从而简化处理条件,达到更高的处理效率;地形信息为根据目标类型、相对位置进行三维点云建图得到。
在本实施例中,生成的第一局部优化路径、第二局部优化路径或第三局部优化路径用于辅助下一步行驶控制信息,对其产生间接影响。
在本实施例中,记忆数据可在航行中自主记录也可人为事先记录或在线更新。自身任务包括海上作业与往返航行,其中本领域技术人员应当明白海上作业包括但不限于搜寻、打捞、探测等作业类型,往返航行包括自主前往目标海域、完成作业后返航至指定地点。
在本实施例中,对于本系统或系统内部算法规划计算出的最终结果以及中间运算值进行收集,该中间运算值为对最终结果有影响的或对自身任务有关键作用的数据,具体包括但不限于路径规划、等级分类、控制方案规划等中间结果和最终结果,中间运算值能够在系统内部运行时得到,通过对影响其计算过程的因子随时进行更新、调整或删除,并设置优先等级和危险等级,以优先等级和危险等级为依据,使得海上机器人或装置能够针对不同海域、不同任务、自身的不同状态进行修改调整以做出最佳的适应。
结合图1所示,基于机器视觉的海航路径规划方法还包括以下步骤:
S9:根据规划后的目标危险情况或任务完成效率进行评估海航规划效果,根据海航规划效果或海航能耗效果进行自适应调整识别精度;
若目标的危险情况未改善,即目标危险等级无降低时,视为海航规划规划差,则提高识别精度,以在下一次规划中寻求更好效果;
若当前任务完成效率超过历史任务完成效率的平均值时,视为海航规划规划好,则降低识别精度,若当前任务完成效率低于历史任务完成效率的平均值时,视为海航规划规划差,则提高识别精度;
若规划后的能耗超出预设任务能耗阈值时,视为海航能源效果差,则降低识别精度,通过适当减少计算、预测和控制,以达到提高续航能力的效果。
如图4所示,对多组预处理图像进行识别海浪状态,具体包括以下步骤:
S4-1:采用SVO算法对多组预处理图像中的海浪进行位姿优化;
S4-2:计算自身与海浪的相对移动距离,根据移动阈值判断自身与海浪的相对移动状态。实际应用时,移动阈值设置为1m,本领域技术人员可根据实际情况调整数值大小。
在本实施例中,采用SVO算法对多组预处理图像中的海浪进行位姿优化,具体步骤包括:
对每组预处理图像执行以下操作:
S4-1-1:先利用稀疏直接法对预处理图像进行计算残差的第一海浪特征点个数、每前一帧中所有海浪特征点块像素投影后在该当前帧中的像素个数;
S4-1-2:对每一帧进行重投影得到第二海浪特征点,将海图中的地图点(map_point)投影到当前帧中,进而得到海图的地图点和关键帧的图像特征点之间的关系信息,其中海图中的地图点为与关键帧相邻部分观测到的点;
S4-1-3:基于第二海浪特征点进行位姿优化,根据第一海浪特征点与第二海浪特征点得到投影误差,设置预设投影阈值,将投影误差大于预设投影阈值的第二海浪特征点进行去除,将经过筛选后的第二海浪特征点用于评价跟踪质量。实际应用时,本领域技术人员可设置质量数量阈值,基于质量数量阈值与经过筛选后的第二海浪特征点的个数进行比较大小判断当前帧的跟踪质量,或者与上一帧中经过筛选后的第二海浪特征点的个数进行比较判断当前帧的跟踪质量。
在本实施例中,路线的规划受到跟踪目标相对距离与跟踪目标的优先等级的双重约束,当跟踪目标进入到相距自身1m内时则设置该跟踪目标为最高优先等级,判定的距离值为可调控参数,可根据实际情况修改。
实施例2
如图5所示,本实施例提供了一种基于机器视觉的海航路径规划系统,该系统包括图像处理模块、视觉识别模块、位置检测模块、角速度检测模块、通信模块以及主控模块,图像处理模块、视觉识别模块、位置检测模块、角速度检测模块分别与通信模块连接,通信模块还与主控模块连接。
在本实施例中,视觉识别模块用于对采集的多组海面图像进行检测,识别得到目标对象的类型、周围环境类型,对多组预处理图像进行识别海浪状态,海浪状态包括自身与海浪的相对移动状态和移动距离;
多组预处理图像为通过图像处理模块根据周围环境类型对多组海面图像进行环境处理得到,从而为视觉识别处理提供更稳定的环境场景,其中环境处理具体为去雨处理、夜视处理、去雾处理以及防抖处理中的任一或多种组合方法,目标对象为与自身的相隔距离值低于预设距离阈值时的检测目标。
位置检测模块用于检测目标的相对距离,计算目标的位置、自身与跟踪目标的相对位置。实际应用时,位置检测模块具体采用激光雷达。
角速度检测模块用于采集角速度,角速度用于计算自身运动数据,自身运动数据包括行驶速度、行驶加速度、行驶方向。实际应用时,角速度检测模块具体采用利用陀螺仪或电子水平仪。
视觉识别模块还用于选择跟踪目标,对跟踪目标进行测距,根据自身与跟踪目标的相对位置建立坐标系,计算跟踪目标在跟踪时间内的运动速度,分析目标移动状态;
主控模块用于根据目标对象的类型、预测功耗、能耗进行优先等级的分类,对优先等级为最高优先等级的对象进行优先规划躲避路线,根据优先等级、目标移动状态、海浪状态进行规划自身的最佳全局路径,利用反馈数据对当前的路径控制进行辅助计算得到下一步行驶控制信息,建立记忆数据,根据记忆数据划分危险等级,基于危险等级进行局部路径规划,从而辅助当前的路径控制,根据规划后的目标危险情况、任务完成效率或能耗进行评估海航规划效果,根据海航规划效果进行自适应调整识别精度。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种基于机器视觉的海航路径规划方法,其特征在于,包括以下步骤:
S1:截取预设时间段的视频内的多组海面图像,分别对每组海面图像检测,识别得到目标对象的类型、周围环境类型,其中目标对象为与自身的相隔距离值低于预设距离阈值时的检测目标;
S2:根据周围环境类型对多组海面图像进行环境处理,得到多组预处理图像;
S3:根据不同类别的目标对象的类型进行优先等级的分类,对优先等级为最高优先等级的对象进行优先规划躲避路线;
S4:对多组预处理图像进行识别海浪状态,海浪状态包括自身与海浪的相对移动状态和移动距离;
S5:选择跟踪目标,对跟踪目标进行测距,根据自身与跟踪目标的相对位置建立坐标系,计算跟踪目标在跟踪时间内的运动速度,进而分析得到目标移动状态;
S6:根据优先等级、目标移动状态、海浪状态进行规划自身的最佳全局路径;
S7:利用反馈数据对当前的路径控制进行辅助计算得到下一步行驶控制信息,所述反馈数据包括最佳全局路径、预测行驶控制信息、当前能源状态和当前功耗状态,其中预测行驶控制信息为根据局部格栅地图进行局部路径规划得到;
S8:建立记忆数据,根据记忆数据划分危险等级,基于危险等级进行局部路径规划,所述记忆数据为在海上的路径规划中曾经探测到并躲避的非目标对象特征、位置、移动状态,所述非目标对象为对自身任务的路径有影响或对自身安全有影响的海上物体;
在步骤S8中,具体步骤包括:
若探测到与记忆数据匹配的目标地形或物体,则设置较高处理优先级;
对记忆数据中曾对自身安全具有威胁倾向的物体进行划分危险等级;
对记忆数据中曾在路径规划中躲避过的目标进行划分第一危险等级,规划第一局部优化路径进行躲避;
若躲避过的目标为移动状态,则根据该目标在预设时间段内的速度、相对位置进行预测其运动路径,并结合自身运动数据进行预测是否发生碰撞,将该躲避过的目标划分为第二危险等级,若预测为发生碰撞,则规划第二局部优化路径进行躲避,所述自身运动数据包括行驶速度、行驶加速度、行驶方向;
若躲避过的目标为静止状态或移速缓慢的目标,结合记忆数据与地形信息进行最佳全局路径规划得到记忆路径,判断记忆路径与当前的最佳全局路径是否存在冲突,若存在冲突则规划第三局部优化路径进行躲避,将该躲避过的目标划分为第三危险等级;
生成的第一局部优化路径、第二局部优化路径或第三局部优化路径用于辅助下一步行驶控制信息。
2.根据权利要求1所述的基于机器视觉的海航路径规划方法,其特征在于,在步骤S2中,所述环境处理具体为去雨处理、夜视处理、去雾处理以及防抖处理中的任一或多种组合方法。
3.根据权利要求1-2任一所述的基于机器视觉的海航路径规划方法,其特征在于,在步骤S3中,还引入预测功耗,根据目标对象的类型、预测功耗进行优先等级的分类,对优先等级为最高优先等级的对象进行优先规划躲避路线。
4.根据权利要求3所述的基于机器视觉的海航路径规划方法,其特征在于,在步骤S3中,还引入能耗,根据目标对象的类型、预测功耗、能耗进行优先等级的分类,对优先等级为最高优先等级的对象进行优先规划躲避路线。
5.根据权利要求1所述的基于机器视觉的海航路径规划方法,其特征在于,在步骤S6中,具体包步骤包括:面对自身任务时,根据目标信息与任务的相关程度进行设置优先度,对于存在多个目标的优先度相近的情况下,则将前往指定地点的路径复杂程度的大小作为判断依据,所述目标信息包括目标的位置、运动状态、种类。
6.根据权利要求1所述的基于机器视觉的海航路径规划方法,其特征在于,还包括以下步骤:
S9:根据规划后的目标危险情况或任务完成效率进行评估海航规划效果,根据海航规划效果或海航能耗效果进行自适应调整识别精度;
若目标的危险情况未改善,即目标危险等级无降低时,视为海航规划规划差,则提高识别精度,以在下一次规划中寻求更好效果;
若当前任务完成效率超过历史任务完成效率的平均值时,视为海航规划规划好,则降低识别精度,若当前任务完成效率低于历史任务完成效率的平均值时,视为海航规划规划差,则提高识别精度;
若规划后的能耗超出预设任务能耗阈值时,视为海航能源效果差,则降低识别精度。
7.根据权利要求1所述的基于机器视觉的海航路径规划方法,其特征在于,在步骤S4中,所述对多组预处理图像进行识别海浪状态,具体包括以下步骤:
S4-1:采用SVO算法对多组预处理图像中的海浪进行位姿优化;
S4-2:计算自身与海浪的相对移动距离,根据移动阈值判断自身与海浪的相对移动状态。
8.根据权利要求7所述的基于机器视觉的海航路径规划方法,其特征在于,所述采用SVO算法对多组预处理图像中的海浪进行位姿优化,具体步骤包括:
对每组预处理图像执行以下操作:
S4-1-1:先利用稀疏直接法对预处理图像进行计算残差的第一海浪特征点个数、每前一帧中所有海浪特征点块像素投影后在当前帧中的像素个数;
S4-1-2:对每一帧进行重投影得到第二海浪特征点,将海图中的地图点投影到当前帧中,进而得到海图的地图点和关键帧的图像特征点之间的关系信息,其中海图中的地图点为与关键帧相邻部分观测到的点;
S4-1-3:基于第二海浪特征点进行位姿优化,根据第一海浪特征点与第二海浪特征点得到投影误差,设置预设投影阈值,将投影误差大于预设投影阈值的第二海浪特征点进行去除,将经过筛选后的第二海浪特征点用于评价跟踪质量。
9.一种基于机器视觉的海航路径规划系统,其特征在于,包括图像处理模块、视觉识别模块、位置检测模块、角速度检测模块、通信模块以及主控模块,所述图像处理模块、视觉识别模块、位置检测模块、角速度检测模块分别与通信模块连接,通信模块还与主控模块连接;
所述视觉识别模块用于对采集的多组海面图像进行检测,识别得到目标对象的类型、周围环境类型,对多组预处理图像进行识别海浪状态,海浪状态包括自身与海浪的相对移动状态和移动距离;
所述多组预处理图像为通过图像处理模块根据周围环境类型对多组海面图像进行环境处理得到,从而为视觉识别处理提供更稳定的环境场景,其中环境处理具体为去雨处理、夜视处理、去雾处理以及防抖处理中的任一或多种组合方法,目标对象为与自身的相隔距离值低于预设距离阈值时的检测目标;
所述位置检测模块用于检测目标的相对距离,计算目标的位置、自身与跟踪目标的相对位置;
所述角速度检测模块用于采集角速度,角速度用于计算自身运动数据,自身运动数据包括行驶速度、行驶加速度、行驶方向;
所述视觉识别模块还用于选择跟踪目标,对跟踪目标进行测距,根据自身与跟踪目标的相对位置建立坐标系,计算跟踪目标在跟踪时间内的运动速度,分析目标移动状态;
所述主控模块用于根据目标对象的类型、预测功耗、能耗进行优先等级的分类,对优先等级为最高优先等级的对象进行优先规划躲避路线,根据优先等级、目标移动状态、海浪状态进行规划自身的最佳全局路径,利用反馈数据对当前的路径控制进行辅助计算得到下一步行驶控制信息,建立记忆数据,根据记忆数据划分危险等级,基于危险等级进行局部路径规划,从而辅助当前的路径控制,根据规划后的目标危险情况、任务完成效率或能耗进行评估海航规划效果,根据海航规划效果进行自适应调整识别精度;
若探测到与记忆数据匹配的目标地形或物体,则设置较高处理优先级;
对记忆数据中曾对自身安全具有威胁倾向的物体进行划分危险等级;
对记忆数据中曾在路径规划中躲避过的目标进行划分第一危险等级,规划第一局部优化路径进行躲避;
若躲避过的目标为移动状态,则根据该目标在预设时间段内的速度、相对位置进行预测其运动路径,并结合自身运动数据进行预测是否发生碰撞,将该躲避过的目标划分为第二危险等级,若预测为发生碰撞,则规划第二局部优化路径进行躲避,所述自身运动数据包括行驶速度、行驶加速度、行驶方向;
若躲避过的目标为静止状态或移速缓慢的目标,结合记忆数据与地形信息进行最佳全局路径规划得到记忆路径,判断记忆路径与当前的最佳全局路径是否存在冲突,若存在冲突则规划第三局部优化路径进行躲避,将该躲避过的目标划分为第三危险等级;
生成的第一局部优化路径、第二局部优化路径或第三局部优化路径用于辅助下一步行驶控制信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110992227.9A CN113721615B (zh) | 2021-08-27 | 2021-08-27 | 一种基于机器视觉的海航路径规划方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110992227.9A CN113721615B (zh) | 2021-08-27 | 2021-08-27 | 一种基于机器视觉的海航路径规划方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113721615A CN113721615A (zh) | 2021-11-30 |
CN113721615B true CN113721615B (zh) | 2023-08-15 |
Family
ID=78678434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110992227.9A Active CN113721615B (zh) | 2021-08-27 | 2021-08-27 | 一种基于机器视觉的海航路径规划方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113721615B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114386696B (zh) * | 2022-01-12 | 2024-03-08 | 常州大学 | 一种对机器视觉数据模糊运算的路径规划方法 |
CN114862893A (zh) * | 2022-06-01 | 2022-08-05 | 集美大学 | 基于风浪识别的高速全电船智能航行预警系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11249734A (ja) * | 1998-03-03 | 1999-09-17 | Mitsubishi Heavy Ind Ltd | 自律誘導装置 |
KR20050024840A (ko) * | 2003-09-05 | 2005-03-11 | 학교법인 인하학원 | 자율이동로봇을 위한 경로계획방법 |
CN104407616A (zh) * | 2014-12-03 | 2015-03-11 | 沈阳工业大学 | 基于免疫网络算法的移动机器人动态路径规划方法 |
KR20180094286A (ko) * | 2017-02-15 | 2018-08-23 | 국방과학연구소 | 수중음향 자율추적용 무인수상정의 운항경로생성시스템 |
CN108489492A (zh) * | 2018-02-13 | 2018-09-04 | 上海大学 | 一种考虑海况因素的无人艇路径规划系统和方法 |
CN112631294A (zh) * | 2020-12-16 | 2021-04-09 | 上海应用技术大学 | 一种移动机器人智能路径规划方法 |
-
2021
- 2021-08-27 CN CN202110992227.9A patent/CN113721615B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11249734A (ja) * | 1998-03-03 | 1999-09-17 | Mitsubishi Heavy Ind Ltd | 自律誘導装置 |
KR20050024840A (ko) * | 2003-09-05 | 2005-03-11 | 학교법인 인하학원 | 자율이동로봇을 위한 경로계획방법 |
CN104407616A (zh) * | 2014-12-03 | 2015-03-11 | 沈阳工业大学 | 基于免疫网络算法的移动机器人动态路径规划方法 |
KR20180094286A (ko) * | 2017-02-15 | 2018-08-23 | 국방과학연구소 | 수중음향 자율추적용 무인수상정의 운항경로생성시스템 |
CN108489492A (zh) * | 2018-02-13 | 2018-09-04 | 上海大学 | 一种考虑海况因素的无人艇路径规划系统和方法 |
CN112631294A (zh) * | 2020-12-16 | 2021-04-09 | 上海应用技术大学 | 一种移动机器人智能路径规划方法 |
Non-Patent Citations (1)
Title |
---|
UUV自主航行路径规划方法;温志文;蔡卫军;杨春武;;制造业自动化(第11期);第1-5页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113721615A (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11885910B2 (en) | Hybrid-view LIDAR-based object detection | |
CN110362077B (zh) | 无人驾驶车辆紧急避险决策系统、方法及介质 | |
Polvara et al. | Obstacle avoidance approaches for autonomous navigation of unmanned surface vehicles | |
US10310087B2 (en) | Range-view LIDAR-based object detection | |
CN112327885B (zh) | 一种无人船自适应全局-局部混合路径规划的方法 | |
US20190310651A1 (en) | Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications | |
CN113721615B (zh) | 一种基于机器视觉的海航路径规划方法及系统 | |
US20180349746A1 (en) | Top-View Lidar-Based Object Detection | |
CN107894773A (zh) | 一种移动机器人的导航方法、系统及相关装置 | |
US20100104199A1 (en) | Method for detecting a clear path of travel for a vehicle enhanced by object detection | |
CN106257242A (zh) | 用于调节道路边界的单元和方法 | |
CN115661204B (zh) | 一种无人机集群对运动目标的协同搜寻与跟踪定位方法 | |
US20220188695A1 (en) | Autonomous vehicle system for intelligent on-board selection of data for training a remote machine learning model | |
CN112798002A (zh) | 一种智能车辆自主路径规划方法、系统及可读存储介质 | |
CN112171675B (zh) | 一种移动机器人的避障方法、装置、机器人及存储介质 | |
CN114140503A (zh) | 基于深度学习的配电网危险区域识别装置及方法 | |
CN115346399B (zh) | 基于相控阵雷达、ais和lstm网络的大桥防船撞预警系统 | |
CN115147790A (zh) | 一种基于图神经网络的车辆未来轨迹预测方法 | |
CN114387822B (zh) | 船舶避碰方法 | |
CN110865394A (zh) | 一种基于激光雷达数据的目标分类系统及其数据处理方法 | |
CN116977902B (zh) | 一种边海防车载光电稳定平台目标跟踪方法及系统 | |
CN115373383A (zh) | 一种垃圾回收无人艇的自主避障方法、装置及相关设备 | |
Wallace | Robot road following by adaptive color classification and shape tracking | |
CN115690343A (zh) | 一种基于视觉跟随的机器人激光雷达扫描建图方法 | |
CN116052469A (zh) | 一种基于车路协同轨迹预测的车辆碰撞预警方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |