CN109375210B - 基于雷达和全景联合的无人装置目标检测系统和方法 - Google Patents

基于雷达和全景联合的无人装置目标检测系统和方法 Download PDF

Info

Publication number
CN109375210B
CN109375210B CN201811503237.6A CN201811503237A CN109375210B CN 109375210 B CN109375210 B CN 109375210B CN 201811503237 A CN201811503237 A CN 201811503237A CN 109375210 B CN109375210 B CN 109375210B
Authority
CN
China
Prior art keywords
target
detection
suspected target
suspected
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811503237.6A
Other languages
English (en)
Other versions
CN109375210A (zh
Inventor
张静
王佳军
张帆
桑柳
李云松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201811503237.6A priority Critical patent/CN109375210B/zh
Publication of CN109375210A publication Critical patent/CN109375210A/zh
Application granted granted Critical
Publication of CN109375210B publication Critical patent/CN109375210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/91Radar or analogous systems specially adapted for specific applications for traffic control

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于雷达和全景联合的无人装置目标检测系统和方法,解决了目标检测中信息量少、流程易死锁的问题,检测系统包括检测状态转移控制子系统、运动模块、感知子系统和路径规划子系统;检测状态转移控制子系统在接收和发送模块间并列设有巡航模块、靠近疑似目标模块、判定疑似目标模块、确认疑似目标模块、逃离放弃目标模块,与之对应路径规划子系统也设有保持运动单元,靠近目标单元、逃离目标单元。检测方法通过巡航初检测疑似目标、判断是否靠近疑似目标、对已靠近疑似目标再判定、及确认疑似目标完成复杂情况下的目标检测。本发明检测结果更精确,目标信息更丰富,避免了检测过程中的死循环,可以应对多种复杂检测情况。

Description

基于雷达和全景联合的无人装置目标检测系统和方法
技术领域
本发明属于无人装置智能目标检测技术领域,主要涉及无人装置目标检测,具体是一种无人装置中基于雷达和全景联合的无人装置目标检测系统和方法,可用于雷达和全景设备联合进行智能目标检测。
背景技术
随着科学技术的发展,无人装置的目标检测受到了汽车企业、研究机构以及各高校的关注。在进行智能目标检测时,无人装置上单个设备获得的信息往往有限,要提高无人装置目标检测的效果,就需要获取周围环境的多方面信息。因此需要在无人装置上搭载多个设备进行联合检测,从多角度、多方位感受周围环境。现有的无人设备智能目标检测,仅考虑了融合多种设备信息联合标定的算法,例如,申请公开号为CN105678783B,名称为“折反射全景相机与激光雷达数据融合标定方法”的专利提出了一种标定方法将全景相机与雷达数据进行融合,该方法在一定程度上提高了在目标检测过程中标定的准确度,但由于未将无人装置的路径规划纳入考虑,使无人装置整个检测过程的算法流程缺少适应性和严密性考虑。
在设备方面,多为基于雷达或红外设备的目标检测,存在精度低,可融合信息少等问题。在系统流程方面,多为针对检测效果的优化,在路径规划和系统控制上缺少对复杂情况的考虑,使得整个系统流程容易死锁,适应性低。
发明内容
本发明的目的在于针对上述技术存在的不足,提出一种得到目标信息更加丰富、检测过程不易死锁的基于雷达和全景联合的无人装置目标检测系统和方法。
本发明首先是一种雷达和全景联合的无人装置目标检测系统,包括有:检测状态转移控制子系统、运动模块、感知子系统和路径规划子系统,由感知子系统采集信息,感知子系统接收检测状态转移控制子系统的指令来完成目标检测,通过运动模块接收检测状态转移控制子系统发送的路径规划结果进行无人装置在目标检测过程中的运动控制,其特征在于,还包括有路径规划子系统,路径规划子系统也接收检测状态转移控制子系统的指令,将路径规划的结果发送至检测状态转移控制子系统,再由检测状态转移控制子系统将规划结果发送到运动模块控制无人装置的运动;所述感知子系统包含有接收雷达信息和全景图像的模块,分别接收目标的雷达方位信息和全景图像信息,并对这两种信息进行融合检测后作为感知结果信号传输给检测状态转移控制子系统。
本发明还是一种基于雷达和全景联合的无人装置目标检测方法,在前述 的任一基于雷达和全景联合的无人装置目标检测系统上运行,其特征在于,包括有如下步骤:
(1)通过巡航初始检测疑似目标:在巡航时,无人装置通过全景设备拍摄单帧图像,并结合连续多帧图像进行目标检测,若在检测过程中未发现疑似目标,则继续巡航;若在检测过程中发现疑似目标,将检测概率最大的疑似目标作为初检疑似目标并得到其全景检测概率,利用雷达信息对该初检疑似目标进行方位匹配,得到初检疑似目标的方位信息,根据检测概率的大小再进行或靠近或确认的选择;在检测概率大于目标检测概率上限阈值时,转到步骤(4),进行初检疑似目标确认;在初检疑似目标检测概率大于目标检测概率下限阈值且小于目标检测概率上限阈值时,靠近初检疑似目标,转到步骤(2),判断是否到达初检疑似目标周围;
(2)判断无人设备是否靠近疑似目标:设定最大误差距离D和规定时间T,若在规定时间内,达到了最大误差距离大于无人装置和疑似目标之间距离的条件,则认为靠近了疑似目标,执行步骤(3);若在规定的时间内,最大误差距离始终小于无人装置和疑似目标之间的距离,则认为无法靠近疑似目标,执行步骤(4);
(3)对已靠近的疑似目标再做判定:针对靠近了的疑似目标,利用全景设备对疑似目标所在范围拍摄多帧全景图像,对拍摄到的全景图像再次进行目标检测,若未检测到疑似目标则返回执行步骤(1),进行巡航初始检测;若检测到疑似目标并得到了疑似目标的全景检测概率,利用雷达信息对该疑似目标进行方位匹配,得到疑似目标的方位信息,并取全景检测概率最大的目标作为复检疑似目标,再根据复检疑似目标的全景检测概率大小进行或靠近或确认选择,并规划出相应的直线或螺旋线;在复检疑似目标全景检测概率大于目标检测概率下限阈值且小于目标检测概率上限阈值时,属于靠近复检疑似目标的选择,由路径规划子系统规划出直线路径,转到步骤(2),判断无人设备是否到达复检疑似目标周围;在复检疑似目标全景检测概率大于目标检测概率上限阈值时,属于确认复检疑似目标的选择,由路径规划子系统规划出螺旋线路径,执行步骤(4),进行复检疑似目标的确认;
(4)确认疑似目标:在无人装置沿着所规划的螺旋线路径运动时,全景设备不断拍摄疑似目标所在方位的图像,由感知子系统对拍摄得到的全景图像再次进行目标检测,并根据疑似目标的全景检测概率进行判断;具体包括有:
(4a)在感知子系统对全景图像进行多帧检测后,如果多次得到的全景检测概率都大于所设定的目标检测概率上限阈值时,则判定疑似目标为真实目标;
(4b)若在无人装置走完所规划的螺旋线路径后,仍无法判定疑似目标是否为真实目标,则认为该疑似目标为错检目标,放弃该目标,规划逃离路线,逃离被放弃的目标,并返回步骤(1),进行巡航初始检测。
本发明能够将目标检测与路径规划和控制系统融合在联合了雷达和全景设备的无人装置中,完成复杂情况下的目标检测任务。
本发明与现有技术相比较,具有如下优点:
1.检测结果更精确,目标信息更丰富:本发明在无人设备上设有全景设备和雷达设备,通过融合全景图像信息和雷达目标信息,在目标检测的同时还得到了目标的方位,使得检测结果更加精确,得到的目标信息更加丰富,为后续的追踪目标、打击目标提供了信息基础。
2.避免了检测过程中的死循环,本发明,包含有检测状态转移控制子系统、路径规划子系统、运动模块和感知子系统,通过路径规划子系统和感知子系统的配合,可以应对多种检测情况,提高了整个检测系统在复杂检测情况下的适应性。
3.智能化提高,本发明通过目标检测概率的不同,来进行巡航初始检测、判断无人设备是否靠近疑似目标、对已靠近的疑似目标再做判定、确认疑似目标的操作,提高了整个检测过程的智能化与流畅化。
附图说明
图1是本发明系统结构示意图。
图2是检测状态转移控制子系统结构示意图。
图3是路径规划子系统结构示意图。
图4是本发明方法流程图。
具体实施方式
下面结合附图和具体实施例,对本发明详细描述。
实施例1
由于人工进行目标检测存在耗时高、效率低的问题,所以用无人装置来进行目标检测成为了各大高校与研究所的研究热点。无人装置是集合了多种传感器、多种控制模块的智能化装置,是自动化、人工智能、运动控制等多学科融合的产物,具有效率高、机动灵活等优点,但现有的无人装置在进行目标检测的过程中存在获得检测信息不够丰富,检测流程设计容易死锁,就智能程度而言还不能实现在复杂情况下的目标检测的问题。
针对此现状,本发明展开了研究与创新,提出一种雷达和全景联合的无人装置目标检测系统,参见图1,本发明包括有:检测状态转移控制子系统、路径规划子系统、运动模块和感知子系统,由感知子系统采集信息,感知子系统接收检测状态转移控制子系统的指令来完成目标检测,通过运动模块接收检测状态转移控制子系统发送的路径规划结果进行无人装置在目标检测过程中的运动控制,参见图1,本发明还包括有路径规划子系统,路径规划子系统也接收检测状态转移控制子系统的指令,将路径规划的结果发送至检测状态转移控制子系统,再由检测状态转移控制子系统将规划结果发送到运动模块控制无人装置的运动。本发明的感知子系统包含有接收雷达信息和全景图像的模块,既能接收目标的雷达方位信息也能接收全景图像信息,由雷达和全景相机联合实现检测,对这两种信息进行融合检测后作为感知结果信号传输给检测状态转移控制子系统。
本发明在无人设备上设有全景设备和雷达设备,通过融合全景图像信息和雷达目标信息,在目标检测的同时可以得到目标的方位,使得检测结果更加精确,得到的目标信息更加丰富,不仅得到了目标的检测概率还得到了目标的方位信息。
实施例2
雷达和全景联合的无人装置智能目标检测系统的总体构成同实施例1,检测状态转移控制子系统接收感知子系统的感知结果信号,根据感知子系统得到的目标检测概率来选择检测状态转移控制子系统中的检测状态转移,根据不同的检测状态给路径规划子系统发送不同的路径规划指令。检测状态转移控制子系统接收路径规划子系统规划的路径结果,再将路径规划结果发送给运动模块。
参见图2所示,本发明的检测状态转移控制子系统包含有接收模块和发送模块,在接收模块和发送模块之间并列连接有巡航模块、靠近疑似目标模块、判定疑似目标模块、确认疑似目标模块、逃离放弃目标模块。
检测状态转移控制子系统通过接收模块、巡航模块、靠近疑似目标模块、判定疑似目标模块、确认疑似目标模块、逃离放弃目标模块、发送模块之间的严密配合,使得整个检测状态转移控制子系统可以应对复杂的检测情况,整个状态转移流畅性强,适应性高。
实施例3
雷达和全景联合的无人装置智能目标检测系统的总体构成同实施例1-2,本发明的路径规划子系统根据接收的检测状态转移控制子系统的路径规划指令,进行不同的规划,完成保持无人装置运动状态、靠近目标、逃离目标等路径规划任务,并将路径规划的结果发送给检测状态转移控制子系统;参见图3,本发明的路径规划子系统包含有接收单元、发送单元,在这两个单元之间并列连接有保持运动状态单元、靠近目标单元、逃离目标单元。
在检测状态转移控制子系统的巡航模块工作时,由路径规划子系统的保持运动单元维护巡航路径。在检测状态转移控制子系统的靠近疑似目标模块工作前,由路径规划子系统的靠近目标单元规划直线路径靠近疑似目标。在检测状态转移控制子系统的确认疑似目标模块工作前,由路径规划子系统的靠近目标单元来规划螺旋线路径确认疑似目标。在检测状态转移控制子系统的逃离放弃目标模块工作前,由路径规划子系统的逃离目标单元规划逃离路径。
路径规划子系统在保持运动状态单元、靠近目标单元、逃离目标单元的作用下可以完成直线型和螺旋线型的路径规划,使得路径规划子系统在疑似目标检测概率较低、无法靠近疑似目标、错检目标时都不会死锁,可以应对复杂的检测情况。
实施例4
本发明还是一种基于雷达和全景联合的无人装置目标检测方法,在上述的任一基于雷达和全景联合的无人装置目标检测系统上运行,雷达和全景联合的无人装置智能目标检测系统的总体构成同实施例1-3,
参见图3,基于雷达和全景联合的无人装置目标检测方法,包括有如下步骤:
(1)通过巡航初始检测疑似目标:在巡航时,无人装置通过全景设备拍摄单帧图像,并结合连续多帧图像进行目标检测,由感知子系统对拍摄到的全景图像进行检测,若在检测过程中未发现疑似目标,则由路径规划子系统的保持运动单元维持无人装置当前运动状态,继续巡航。若在检测过程中发现了疑似目标,将检测概率最大的疑似目标作为初检疑似目标,检测的同时得到初检疑似目标的全景检测概率,同时利用雷达信息对该初检疑似目标进行方位匹配,得到初检疑似目标的方位信息。感知子系统把得到的初检疑似目标的全景检测概率发送至检测状态控制转移子系统的接收模块,检测状态控制转移子系统根据接收到的全景检测概率的大小再进行或靠近初检疑似目标或确认初检疑似目标的选择。
具体是,在初检疑似目标的全景检测概率大于目标检测概率上限阈值时,即选定了确认初检疑似目标,此时,检测状态转移控制子系统的发送模块给路径规划子系统的接收单元发送规划螺旋线的指令,路径规划子系统在其接收单元收到规划螺旋线的指令后,规划出螺旋线路径,用于对该初检疑似目标进行确认。路径规划完成后,由路径规划子系统的发送单元将规划完成的结果发送至检测状态转移控制子系统的接收模块,检测状态转移控制子系统的接收模块在收到规划的螺旋线路径结果后,将规划结果由检测状态转移控制子系统的发送模块发送至运动模块,然后转到步骤(4),由检测状态转移控制子系统的确认疑似目标模块进行初检疑似目标确认。
在初检疑似目标检测概率大于目标检测概率下限阈值且小于目标检测概率上限阈值时,由路径规划子系统的靠近目标单元规划出直线路径,规划完成后,由其发送单元将规划完成的结果发送至检测状态转移控制子系统的接收模块,检测状态转移控制子系统的接收模块在收到规划的直线路径结果后,将规划结果由检测状态转移控制子系统的发送模块发送至运动模块,靠近初检疑似目标,转到步骤(2),由检测状态转移控制子系统的靠近疑似目标模块判断是否到达初检疑似目标周围。
(2)判断无人设备是否靠近疑似目标:对步骤(1)得到的初检疑似目标或步骤 (3)中得到的复检疑似目标,设定无人装置和疑似目标之间距离最大误差距离D 和无人装置和疑似目标之间靠近的规定时间T,若在规定时间内,达到了最大误差距离大于无人装置和疑似目标之间距离的条件,则认为靠近了疑似目标,执行步骤 (3),由检测状态转移控制子系统的判定疑似目标模块对疑似目标进行判定。若在规定的时间内,最大误差距离始终小于无人装置和疑似目标之间的距离,则认为无法靠近疑似目标,返回执行步骤(1),由检测状态转移控制子系统的巡航模块进行巡航初始检测。
(3)对已靠近的疑似目标再做判定:对疑似目标精确检测,无人设备到达疑似目标周围后,针对靠近了的疑似目标,利用全景设备对疑似目标所在范围拍摄多帧全景图像,由感知子系统对拍摄到的全景图像再次进行目标检测,若未检测到疑似目标则返回执行步骤(1),由检测状态转移控制子系统的巡航模块进行巡航初始检测。若检测到疑似目标并得到了疑似目标的全景检测概率,利用雷达信息对疑似目标进行方位匹配,得到疑似目标的方位信息,并取全景检测概率最大的目标作为复检疑似目标,再根据复检疑似目标的全景检测概率大小进行或靠近复检疑似目标或确认复检疑似目标选择,并规划出相应的直线或螺旋线。
具体是,在复检疑似目标全景检测概率大于目标检测概率下限阈值且小于目标检测概率上限阈值时,属于靠近复检疑似目标的选择,此时,检测状态转移控制子系统的发送模块给路径规划子系统的接收单元发送规划直线路径的指令,路径规划子系统在接收单元接收到规划直线路径的指令后,由其靠近目标单元规划出直线路径,规划完成后,路径规划子系统的发送单元将规划的路径结果发送至检测状态转移控制子系统,检测状态转移控制子系统在收到路径规划结果后,由其发送模块将路径规划的结果发送至运动模块,转到步骤(2),由检测状态转移控制子系统的靠近疑似目标模块判断无人设备是否到达复检疑似目标周围。
在复检疑似目标全景检测概率大于目标检测概率上限阈值时,属于确认复检疑似目标的选择,由检测状态转移控制子系统的发送模块给路径规划子系统的接收单元发送规划螺旋线路径的指令,路径规划子系统在接收单元收到规划螺旋线路径的指令后,由其靠近目标单元规划出螺旋线路径,规划完成后,路径规划子系统的发送单元将规划的路径结果发送至检测状态转移控制子系统,检测状态转移控制子系统在收到螺旋线路径规划结果后,由其发送模块将螺旋线路径的规划结果发送至运动模块,执行步骤(4),由检测状态转移控制子系统的确认疑似目标模块进行复检疑似目标的确认。
(4)确认疑似目标:在无人装置沿着所规划的螺旋线路径运动时,全景设备不断拍摄疑似目标所在方位的图像,疑似目标包括步骤(1)得到的初检疑似目标和步骤3得到的复检疑似目标,由感知子系统对拍摄得到的全景图像再次进行目标检测,并根据疑似目标的全景检测概率进行判断;具体包括有:
(4a)在感知子系统对全景图像进行多帧检测后,如果多次得到的全景检测概率都大于所设定的目标检测概率上限阈值时,则判定疑似目标为真实目标。
(4b)若在无人装置走完所规划的螺旋线路径后,仍无法判定疑似目标是否为真实目标,则认为该疑似目标为错检目标,放弃该目标,由检测状态转移控制子系统的发送模块给路径规划子系统的接收单元发送规划逃离路线的指令,路径规划子系统的接收单元在收到规划逃离路线的指令后,由路径规划子系统的逃离目标单元规划出逃离路线,规划完成后,路径规划子系统的发送单元将路径规划的结果发送至检测状态转移控制子系统的接收模块,检测状态转移控制子系统在收到路径规划结果后将路径规划结果由发送模块发送至运动模块,逃离被放弃的目标,并返回步骤(1),进行巡航初始检测。
本发明在最后确认疑似目标时,对多次检测概率进行了判断,提高了整个检测算法的容错率,在错检目标时增加了逃离目标的操作,避免无人装置在错检目标周围陷入检测死循环。
实施例5
基于雷达和全景联合的无人装置目标检测系统和方法同实施例1-4,步骤1中所述的通过巡航初始检测疑似目标,包括有如下步骤:
(1a)若感知子系统对多帧全景图像进行检测综合判断后未发现疑似目标,则由路径规划子系统的保持运动状态单元保持无人装置当前的运动状态。
(1b)若感知子系统对多帧全景图像进行检测综合判断后发现了疑似目标,且最大疑似目标概率大于设定的目标概率下限阈值且小于目标概率上限阈值,则将多帧检测中检测概率最大的目标作为疑似目标,由路径规划子系统做直线路径规划靠近此疑似目标,并进入步骤(2)。
(1c)若在多帧全景图像判断中发现了疑似目标,且最大疑似目标概率大于设定的目标概率上限阈值,则以疑似目标为中心,由路径规划子系统进行螺旋线路径规划逐步靠近目标,并进入步骤(4)。
目标检测概率上限阈值Ph和目标检测概率下限阈值Pl,根据无人装置的类型、搜索目标的类型,以及实际的检测环境和所使用的目标检测算法进行设定。
巡航初始检测疑似目标,分别针对未检测到目标、目标检测概率不够高、目标检测概率足够高的三种情况,进行了保持运动状态、规划直线路径靠近疑似目标、规划螺旋线路径靠近疑似目标的路径规划,无人装置在对不同的检测概率结果有不同的响应,最大化的利用了检测概率结果。
实施例6
基于雷达和全景联合的无人装置目标检测系统和方法同实施例1-5,步骤2中所述的判断无人设备是否靠近疑似目标,需要实时计算当前无人装置和疑似目标方位的欧氏距离D1,在规定时间T内与设定最大误差距离D比较,判断无人装置是否到达疑似目标周围。包括有如下步骤:
(2a)若在规定时间T内达到D1<D,则判定无人装置到达疑似目标周围,执行步骤(3),进行疑似目标的判定;
(2b)若在规定时间T内始终无法达到D1<D,则判定无人装置无法到达疑似目标周围,放弃该疑似目标,返回执行步骤(1),进入巡航初始检测。
由于实际的搜索环境往往比较复杂和无人设备的本身的设备精度存在限制,在实际检测过程中,要设定最大误差距离D和规定时间T,来判断无人装置是否到达疑似目标周围。
本发明,在判断是否靠近疑似目标时,针对可以到达疑似目标附近、无法到达疑似目标附近两种情况,分别跳转至步骤(3)和步骤(1),进行判定疑似目标或巡航初始检测,使得在复杂的检测情况下,即使无人装置无法按照路径规划到达疑似目标附近,也不会造成检测流程死锁,保证了检测流程在复杂情况下的正常运行。
实施例7
基于雷达和全景联合的无人装置目标检测系统和方法同实施例1-6,步骤3所述的对已靠近的疑似目标再做判定,包括有如下步骤:
(3a)若在感知子系统对多帧全景图像进行检测综合判断后未发现疑似目标,则返回步骤(1),进行巡航初始检测。
(3b)若在感知子系统对多帧全景图像进行检测综合判断后发现了疑似目标,利用雷达信息对疑似目标进行方位匹配,得到疑似目标的方位信息,并取全景检测概率最大的目标作为复检疑似目标。
(3c)若复检疑似目标全景检测概率大于全景目标概率下限阈值且小于目标检测概率上限阈值,则进行直线路径规划靠近复检疑似目标,并返回到步骤(2),判断是否靠近复检疑似目标。
(3d)若复检疑似目标概率大于所设定的目标检测概率上限阈值,则以复检疑似目标为中心,进行螺旋线路径规划逐步靠近目标,并进入步骤(4),确认复检疑似目标。
本发明,在对疑似目标进行判定时,针对目标概率不够高、目标概率足够高、目标丢失三种可能出现的情况,分别跳转至步骤(2)、步骤(4)、步骤(1),进行靠近疑似目标、确认疑似目标、巡航初始检测的操作,可以应对在判定疑似目标时出现的所有情况,特别是在疑似目标丢失时,不会导致程序陷入死循环。
实施例8
基于雷达和全景联合的无人装置目标检测系统和方法同实施例1-7,在步骤1和步骤3中均涉及到的根据目标检测得到的概率大小,在靠近疑似目标或确认疑似目标中进行选择,并规划出相应的直线或螺旋线路径,具体是:
(a)在靠近疑似目标时,首先规划出到达疑似目标范围的直线路径;
(b)在确认疑似目标时,首先以疑似目标为中心,规划出相应的螺旋线路径。
在规划螺旋线路径时,首先计算疑似目标与无人装置的距离,记为m;接着以疑似目标为中心、m为半径的外接圆为边界规划一条螺旋形扩展路径。
在靠近疑似目标时进行直线路径规划,可以更快速的靠近疑似目标附近,在确认疑似目标时,进行螺旋线路径规划,在按照螺旋线路径对疑似目标进行确认时,可以达到检测覆盖范围广,检测包含角度多的效果。
简而言之,本发明公开的一种基于雷达和全景联合的无人装置目标检测系统和方法,主要解决现有技术可融合信息少、系统流程容易死锁等问题,其中目标检测系统包括,检测状态转移控制子系统、运动模块、感知子系统和路径规划子系统;检测状态转移控制子系统,在接收模块和发送模块之间并列连接有巡航模块、靠近疑似目标模块、判定疑似目标模块、确认疑似目标模块、逃离放弃目标模块。与之对应的是路径规划子系统包含有保持运动单元,靠近目标单元、逃离目标单元。在检测状态转移子系统的巡航模块工作时,路径规划子系统通过保持运动单元来维护巡航。在检测状态转移子系统的确认疑似目标模块工作前,先由路径规划子系统的靠近目标单元规划出螺旋线路径。在检测状态转移子系统的靠近疑似目标模块工作前,先由路径规划子系统的靠近目标单元规划出直线路径。在检测状态转移子系统的逃离放弃目标模块工作前,先由路径规划子系统的逃离目标单元,规划出逃离路径。通过多个子系统之间的配合,进行通过巡航初始检测疑似目标、判断无人设备是否靠近疑似目标、对已靠近的疑似目标再做判定、以及最终确认疑似目标,来保证无人设备可以完成在复杂情况下的目标检测。本发明检测结果更精确,目标信息更丰富,避免了检测过程中的死循环,可以应对多种检测情况,提高了整个检测系统在复杂检测情况下的适应性。

Claims (4)

1.一种基于雷达和全景联合的无人装置目标检测方法,其特征在于,包括有如下步骤:
(1)搭建雷达和全景联合的无人装置目标检测系统,包括有:检测状态转移控制子系统、路径规划子系统、运动模块和感知子系统,由感知子系统采集信息,感知子系统接收检测状态转移控制子系统的指令来完成目标检测,通过运动模块接收检测状态转移控制子系统发送的路径规划结果进行无人装置在目标检测过程中的运动控制,路径规划子系统也接收检测状态转移控制子系统的指令,将路径规划的结果发送至检测状态转移控制子系统,再由检测状态转移控制子系统将规划结果发送到运动模块控制无人装置的运动;所述感知子系统包含有接收雷达信息和全景图像的模块,分别接收目标的雷达方位信息和全景图像信息,并对这两种信息进行融合检测后作为感知结果信号传输给检测状态转移控制子系统;
(2)通过巡航初始检测疑似目标:在巡航时,无人装置通过全景设备拍摄单帧图像,并结合连续多帧图像进行目标检测,若在检测过程中未发现疑似目标,则继续巡航;若在检测过程中发现疑似目标,将检测概率最大的疑似目标作为初检疑似目标并得到其全景检测概率,同时利用雷达信息对该初检疑似目标进行方位匹配,得到初检疑似目标的方位信息,根据检测概率的大小再进行或靠近或确认的选择;在检测概率大于目标检测概率上限阈值时,转到步骤(5),进行初检疑似目标确认;在初检疑似目标检测概率大于目标检测概率下限阈值且小于目标检测概率上限阈值时,靠近初检疑似目标,转到步骤(3),判断是否到达初检疑似目标周围;
(3)判断无人设备是否靠近疑似目标:设定最大误差距离D和规定时间T,若在规定时间内,达到了最大误差距离大于无人装置和疑似目标之间距离的条件,则认为靠近了疑似目标,执行步骤(4);若在规定的时间内,最大误差距离始终小于无人装置和疑似目标之间的距离,则认为无法靠近疑似目标,返回执行步骤(2);
(4)对已靠近的疑似目标再做判定:针对靠近了的疑似目标,利用全景设备对疑似目标所在范围拍摄多帧全景图像,对拍摄到的全景图像再次进行目标检测,若未检测到疑似目标则返回执行步骤(2),进行巡航初始检测;若检测到疑似目标并得到了疑似目标的全景检测概率,利用雷达信息对疑似目标进行方位匹配,得到疑似目标的方位信息,并取全景检测概率最大的目标作为复检疑似目标,再根据复检疑似目标的全景检测概率大小进行或靠近或确认选择,并规划出相应的直线或螺旋线;在复检疑似目标全景检测概率大于目标检测概率下限阈值且小于目标检测概率上限阈值时,属于靠近复检疑似目标的选择,由路径规划子系统规划出直线路径,转到步骤(3),判断无人设备是否到达复检疑似目标周围;在复检疑似目标全景检测概率大于目标检测概率上限阈值时,属于确认复检疑似目标的选择,由路径规划子系统规划出螺旋线路径,执行步骤(5),进行复检疑似目标的确认;
(5)确认疑似目标:在无人装置沿着所规划的螺旋线路径运动时,全景设备不断拍摄疑似目标所在方位的图像,由感知子系统实时对拍摄得到的全景图像再次进行目标检测,并根据疑似目标的全景检测概率进行判断;具体包括有:
(5a)在感知子系统对全景图像进行多帧检测后,如果多次得到的全景检测概率都大于所设定的目标检测概率上限阈值时,则判定疑似目标为真实目标;
(5b)若在无人装置走完所规划的螺旋线路径后,仍无法判定疑似目标是否为真实目标,则认为该疑似目标为错检目标,放弃该目标,规划逃离路线,逃离被放弃的目标,并返回步骤(2),进行巡航初始检测。
2.根据权利要求1所述的基于雷达和全景联合的无人装置目标检测方法,其特征在于,步骤(2)中所述的通过巡航初始检测疑似目标,包括有如下步骤:
(2a)在巡航时,无人装置通过全景设备拍摄单帧图像,并结合连续多帧图像进行目标检测,若感知子系统对多帧全景图像进行检测综合判断后未发现疑似目标,则保持无人装置当前的运动状态;
(2b)若感知子系统对多帧全景图像进行检测综合判断后发现了疑似目标,将多帧检测中检测概率最大的目标作为初检疑似目标,利用雷达信息对该初检疑似目标进行方位匹配,得到初检疑似目标的方位信息;
(2c)若在多帧全景图像判断中发现了疑似目标,且最大疑似目标概率大于设定的目标概率下限阈值且小于目标概率上限阈值,由路径规划子系统做直线路径规划靠近此初检疑似目标,并进入步骤(3),判断无人装置是否到达初检疑似目标周围;
(2d)若在多帧全景图像判断中发现了疑似目标,且最大疑似目标概率大于设定的目标概率上限阈值,则以初检疑似目标为中心,进行螺旋线路径规划逐步靠近目标,并进入步骤(5),对初检疑似目标进行确认。
3.根据权利要求1所述的基于雷达和全景联合的无人装置目标检测方法,其特征在于,步骤(3)中所述的判断无人设备是否靠近疑似目标,需要实时计算当前无人装置和疑似目标方位的欧氏距离D1,在规定时间T内与设定最大误差距离D比较,判断无人装置是否到达疑似目标周围;包括有如下步骤:
(3a)若在规定时间T内达到D1<D,则判定无人装置到达疑似目标周围,执行步骤(3),进行疑似目标的判定;
(3b)若在规定时间T内始终无法达到D1<D,则判定无人装置无法到达疑似目标周围,放弃该疑似目标,返回执行步骤(2),进入巡航初始检测。
4.根据权利要求1所述的基于雷达和全景联合的无人装置目标检测方法,其特征在于,在步骤(2)和步骤(4)中均涉及到的根据目标检测得到的概率大小,在靠近疑似目标或确认疑似目标中进行选择,并规划出相应的直线或螺旋线路径,具体是:
(a)在靠近疑似目标时,首先规划出到达疑似目标范围的直线路径;
(b)在确认疑似目标时,首先以疑似目标为中心,规划出相应的螺旋线路径。
CN201811503237.6A 2018-12-10 2018-12-10 基于雷达和全景联合的无人装置目标检测系统和方法 Active CN109375210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811503237.6A CN109375210B (zh) 2018-12-10 2018-12-10 基于雷达和全景联合的无人装置目标检测系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811503237.6A CN109375210B (zh) 2018-12-10 2018-12-10 基于雷达和全景联合的无人装置目标检测系统和方法

Publications (2)

Publication Number Publication Date
CN109375210A CN109375210A (zh) 2019-02-22
CN109375210B true CN109375210B (zh) 2022-10-21

Family

ID=65372907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811503237.6A Active CN109375210B (zh) 2018-12-10 2018-12-10 基于雷达和全景联合的无人装置目标检测系统和方法

Country Status (1)

Country Link
CN (1) CN109375210B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045364A (zh) * 2019-03-01 2019-07-23 上海大学 基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统与方法
CN110515378A (zh) * 2019-08-09 2019-11-29 西安电子科技大学 一种应用于无人艇的智能目标搜索方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104267721A (zh) * 2014-08-29 2015-01-07 陈业军 一种智能汽车的无人驾驶系统
JP2016057128A (ja) * 2014-09-08 2016-04-21 株式会社東芝 目標検出装置、目標検出方法及び目標検出プログラム
CN105946853A (zh) * 2016-04-28 2016-09-21 中山大学 基于多传感器融合的长距离自动泊车的系统及方法
CN106292704A (zh) * 2016-09-07 2017-01-04 四川天辰智创科技有限公司 规避障碍物的方法及装置
CN108107887A (zh) * 2017-03-10 2018-06-01 南京沃杨机械科技有限公司 农机导航用农田环境感知方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2713340A1 (en) * 2008-05-02 2009-11-05 Tomtom International B.V. Navigation device and method
US9174672B2 (en) * 2013-10-28 2015-11-03 GM Global Technology Operations LLC Path planning for evasive steering maneuver in presence of target vehicle and surrounding objects
US10325169B2 (en) * 2016-10-09 2019-06-18 Airspace Systems, Inc. Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction
CN108489500A (zh) * 2018-03-13 2018-09-04 安徽江淮汽车集团股份有限公司 一种基于能耗经济性的全局路径规划方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104267721A (zh) * 2014-08-29 2015-01-07 陈业军 一种智能汽车的无人驾驶系统
JP2016057128A (ja) * 2014-09-08 2016-04-21 株式会社東芝 目標検出装置、目標検出方法及び目標検出プログラム
CN105946853A (zh) * 2016-04-28 2016-09-21 中山大学 基于多传感器融合的长距离自动泊车的系统及方法
CN106292704A (zh) * 2016-09-07 2017-01-04 四川天辰智创科技有限公司 规避障碍物的方法及装置
CN108107887A (zh) * 2017-03-10 2018-06-01 南京沃杨机械科技有限公司 农机导航用农田环境感知方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Review of Motion Planning Techniques;David González et al.;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20160325;第17卷(第4期);全文 *
实时的移动机器人语义地图构建系统;李秀智等;《仪器仪表学报》;20171130(第11期);全文 *
未知环境下移动机器人实时路径规划;张捍东等;《计算机工程与应用》;20180426;第54卷(第19期);全文 *
矿山应急救援机器人全局路径规划的研究;李起伟等;《煤炭技术》;20160831;第35卷(第8期);全文 *

Also Published As

Publication number Publication date
CN109375210A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
US20230288209A1 (en) Aligning measured signal data with slam localization data and uses thereof
US20220371602A1 (en) Vehicle positioning method, apparatus, and controller, intelligent vehicle, and system
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
US8180107B2 (en) Active coordinated tracking for multi-camera systems
WO2020069160A1 (en) Self-aware visual-textual co-grounded navigation agent
US20190243376A1 (en) Actively Complementing Exposure Settings for Autonomous Navigation
JP2020067439A (ja) 移動体位置推定システムおよび移動体位置推定方法
CN109509230A (zh) 一种应用于多镜头组合式全景相机的slam方法
US9058538B1 (en) Bundle adjustment based on image capture intervals
Deng et al. Indoor multi-camera-based testbed for 3-D tracking and control of UAVs
CN109375211B (zh) 基于雷达和多光学设备的可移动无人平台目标搜索方法
CN109375210B (zh) 基于雷达和全景联合的无人装置目标检测系统和方法
CN110515378A (zh) 一种应用于无人艇的智能目标搜索方法
WO2019080113A1 (zh) 无人机的巡检规划方法、控制终端、无人机及无人机系统
JP2021512297A (ja) 可変シーンでの複数の設備による視覚ナビゲーション方法及びシステム
CN113238554A (zh) 一种基于激光与视觉融合slam技术的室内导航方法及系统
CN111812978B (zh) 一种多无人机协作slam方法与系统
CN112180401A (zh) 移动对象的位置确定
EP4040400A1 (en) Guided inspection with object recognition models and navigation planning
CN114217303A (zh) 目标定位跟踪方法及装置、水下机器人和存储介质
EP3097435B1 (en) Method for estimating the position of a portable device
CN112911151A (zh) 目标跟随方法、装置、设备、系统及存储介质
CN111142515A (zh) 一种基于视觉引导的agv小车定位与导航方法
CN109375212A (zh) 可移动无人平台中基于雷达和光电转台的目标检测方法
KR102521235B1 (ko) 설비의 이상 유무를 모니터링하는 자율주행 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant