CN117115262B - 基于视觉和tof的定位方法、装置、设备及存储介质 - Google Patents

基于视觉和tof的定位方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117115262B
CN117115262B CN202311380783.6A CN202311380783A CN117115262B CN 117115262 B CN117115262 B CN 117115262B CN 202311380783 A CN202311380783 A CN 202311380783A CN 117115262 B CN117115262 B CN 117115262B
Authority
CN
China
Prior art keywords
positioning
image
visual image
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311380783.6A
Other languages
English (en)
Other versions
CN117115262A (zh
Inventor
唐龙
周士博
刘智鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruichi Laser Shenzhen Co ltd
Original Assignee
Ruichi Laser Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruichi Laser Shenzhen Co ltd filed Critical Ruichi Laser Shenzhen Co ltd
Priority to CN202311380783.6A priority Critical patent/CN117115262B/zh
Publication of CN117115262A publication Critical patent/CN117115262A/zh
Application granted granted Critical
Publication of CN117115262B publication Critical patent/CN117115262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及TOF定位技术领域,并公开了一种基于视觉和TOF的定位方法、装置、设备及存储介质,该方法包括:响应于定位需求获取待定位区域的区域视觉图像,根据区域视觉图像和待定位区域确定包括可定位的第一特征信息和不可定位的第二特征信息的图像定位特征信息;若图像定位特征信息与第一特征信息匹配,则确定图像定位特征信息中的第一定位点位置,根据第一定位点位置在所述区域视觉图像中进行TOF定位得到待定位区域的目标定位;若图像定位特征信息与第二特征信息匹配,则基于图像定位特征信息更新区域视觉图像,根据更新之后的区域视觉图像进行TOF定位得到待定位区域的目标定位。本申请提高了野外TOF定位的准确率。

Description

基于视觉和TOF的定位方法、装置、设备及存储介质
技术领域
本申请涉及TOF定位技术领域,尤其涉及一种基于视觉和TOF的定位方法、装置、设备及存储介质。
背景技术
随着TOF(Timeofflight,飞行时间)定位技术的高速发展,TOF定位技术在不同场景下得到广泛应用,同时也对TOF定位技术在不同场景下的准确性提出了更高的要求。
传统的TOF定位技术方法是通过测量超声波/微波/光等信号在发射器和反射器之间的“飞行时间”来计算TOF测试点到待测位置之间距离,这种TOF定位技术方法存在很大的缺陷,在野外的使用场景中,会存在超声波/微波/光等信号由于折射造成“飞行时间”错误的问题,即,这种TOF定位方法会由于在野外超声波/微波/光等信号发生折射造成“飞行时间”错误,进而使野外TOF定位的准确率不高。
发明内容
本申请的主要目的在于提出一种基于视觉和TOF的定位方法、设备及存储介质,旨在提高野外TOF定位的准确率。
为实现上述目的,本申请提供一种基于视觉和TOF的定位方法,所述基于视觉和TOF的定位方法步骤,包括:
响应于定位需求获取待定位区域的区域视觉图像,并根据所述区域视觉图像和所述待定位区域确定图像定位特征信息;其中,所述图像定位特征信息包括所述区域视觉图像可定位的第一特征信息和所述区域视觉图像不可定位的第二特征信息;
若所述图像定位特征信息与所述第一特征信息匹配,则确定所述图像定位特征信息中的第一定位点位置,并根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位;
若所述图像定位特征信息与所述第二特征信息匹配,则基于所述图像定位特征信息更新所述区域视觉图像,并根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位。
可选地,所述根据所述区域视觉图像和所述待定位区域确定图像定位特征信息的步骤,包括:
确定所述待定位区域在所述区域视觉图像上的第一图像特征,并检测所述第一图像特征是否与预设的可定位特征匹配;
若所述第一图像特征与预设的可定位特征匹配,则将所述待定位区域作为第一定位点位置,并将第一特征信息和所述第一定位点位置作为图像定位特征信息;
若所述第一图像特征与预设的可定位特征不匹配,则确定所述区域视觉图像上与所述待定位区域匹配的全部可选位置,并依次检测所述可选位置在所述区域视觉图像上的第二图像特征是否与所述可定位特征匹配;
若所述可选位置在所述区域视觉图像上的第二图像特征与预设的可定位特征匹配,则将所述可选位置作为第一定位点位置,并将第一特征信息和所述第一定位点位置作为图像定位特征信息;
若所述可选位置在所述区域视觉图像上的第二图像特征与预设的可定位特征不匹配,则将第二特征信息和所述待定位区域作为图像定位特征信息。
可选地,所述根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位的步骤,包括:
确定所述第一定位点位置与所述待定位区域之间的第一变化定位,并对所述第一定位点位置进行TOF定位确定第一实际定位;其中,所述第一变化定位包括平面定位变化和高度定位变化;
若所述第一变化定位为所述平面定位变化,则基于所述第一变化定位和所述第一实际定位确定所述待定位区域的目标定位;
若所述第一变化定位为所述高度定位变化,则将所述第一变化定位映射到所述待定位区域的平面得到第一平面变化定位,并基于所述第一平面变化定位和所述第一实际定位确定所述待定位区域的目标定位。
可选地,所述图像定位特征信息中还包括所述待定位区域的平面特征,所述基于所述图像定位特征信息更新所述区域视觉图像的步骤,包括:
确定所述图像定位特征信息中的所述平面特征对应的平面图像位置;
若所述平面图像位置与预设的边缘图像位置匹配,则基于预设第一更新规则更新所述区域视觉图像;其中,预设所述第一更新规则为朝平面图像位置的方向重新获取所述待定位区域的区域视觉图像;
若所述平面图像位置与预设的边缘图像位置不匹配,则确定所述区域视觉图像上与所述待定位区域匹配的全部预选位置,并依次检测所述预选位置在所述区域视觉图像上的第三图像特征是否与所述可定位特征匹配;其中,所述预选位置为满足高度阈值条件的位置;
若所述预选位置在所述区域视觉图像上的第三图像特征与所述可定位特征匹配,则将所述预选位置作为第一定位点位置,并执行所述根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位的步骤;
若所述预选位置在所述区域视觉图像上的第三图像特征与所述可定位特征不匹配,则基于预设第二更新规则和所述区域视觉图像更新所述区域视觉图像。
可选地,所述基于预设第二更新规则和所述区域视觉图像更新所述区域视觉图像的步骤,包括:
确定所述区域视觉图像上与所述待定位区域匹配的图像邻接位置,并确定所述图像邻接位置的邻接平面特征;其中,所述图像邻接位置包括邻接所述待定位区域和所述区域视觉图像的边缘,且包括单一平面特征的位置;
确定所述平面特征与所述邻接平面特征的高度差值,基于所述高度差值和预设第二更新规则更新所述区域视觉图像;其中,预设所述第二更新规则为朝图像邻接位置的方向重新获取所述待定位区域且满足所述高度差值的区域视觉图像。
可选地,所述根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位的步骤,包括:
确定更新之后的所述区域视觉图像中与所述待定位区域匹配的第二定位点位置;其中,所述第二定位点位置包括更新之后的所述区域视觉图像中与所述待定位区域的平面特征相似且满足预设的可定位特征的位置点;
基于预设的图像高度比例确定所述第二定位点位置与所述待定位区域之间的第二变化定位,并对所述第二定位点位置进行TOF定位确定第二实际定位;其中,所述第二变化定位包括平面定位变化和高度定位变化;
若所述第二变化定位为所述平面定位变化,则基于所述第二变化定位和所述第二实际定位确定所述待定位区域的目标定位;
若所述第二变化定位为所述高度定位变化,则将所述第二变化定位映射为所述平面定位变化的第二平面变化定位,并基于所述第二平面变化定位和所述第二实际定位确定所述待定位区域的目标定位;
确定所述平面特征与所述邻接平面特征的高度差值的步骤之后,包括:
若朝图像邻接位置的方向重新获取所述待定位区域的区域视觉图像不满足所述高度差值,则确定所述待定位区域的全部邻接位置;
确定各所述邻接位置中与所述待定位区域高度差最小的目标邻接位置,并将所述目标邻接位置作为所述第二定位点位置,并执行所述基于预设的图像高度比例确定所述第二定位点位置与所述待定位区域之间的第二变化定位的步骤。
可选地,所述响应于定位需求获取待定位区域的区域视觉图像的步骤,包括:
响应于定位需求获取实时视觉图像,并检测所述实时视觉图像中是否包含待定位区域;
若所述实时视觉图像中包含待定位区域,则将所述实时视觉图像作为待定位区域的区域视觉图像;
若所述实时视觉图像中不包含待定位区域,则执行所述获取实时视觉图像的步骤。
此外,为实现上述目的,本申请还提供一种基于视觉和TOF的定位装置,所述基于视觉和TOF的定位装置,包括:
特征确定模块,用于响应于定位需求获取待定位区域的区域视觉图像,并根据所述区域视觉图像和所述待定位区域确定图像定位特征信息;其中,所述图像定位特征信息包括所述区域视觉图像可定位的第一特征信息和所述区域视觉图像不可定位的第二特征信息;
第一定位模块,用于若所述图像定位特征信息与所述第一特征信息匹配,则确定所述图像定位特征信息中的第一定位点位置,并根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位;
第二定位模块,用于若所述图像定位特征信息与所述第二特征信息匹配,则基于所述图像定位特征信息更新所述区域视觉图像,并根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位。
此外,为实现上述目的,本申请还提供一种基于视觉和TOF的定位设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上所述的基于视觉和TOF的定位方法的步骤。
此外,为实现上述目的,本申请还提供一种基于视觉和TOF的定位存储介质,所述存储介质上存储有基于视觉和TOF的定位程序,所述基于视觉和TOF的定位程序被处理器执行时实现如上所述的基于视觉和TOF的定位方法的步骤。
本申请通过响应于定位需求获取待定位区域的区域视觉图像,并根据所述区域视觉图像和所述待定位区域确定图像定位特征信息;其中,所述图像定位特征信息包括所述区域视觉图像可定位的第一特征信息和所述区域视觉图像不可定位的第二特征信息;若所述图像定位特征信息与所述第一特征信息匹配,则确定所述图像定位特征信息中的第一定位点位置,并根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位;若所述图像定位特征信息与所述第二特征信息匹配,则基于所述图像定位特征信息更新所述区域视觉图像,并根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位,一方面通过区域视觉图像分析之后进行TOF定位得到待定位区域的目标定位进而保证在野外TOF定位的特异性,另一方面通过区域视觉图像的可定位的第一特征信息和不可定位的第二特征信息进行分开分析,进而保证针对不同区域视觉图像中的待定位区域进行定位,可以提高野外TOF定位的准确性,从而避免了现有技术中在野外的使用TOF的场景中,会存在超声波/微波/光等信号由于折射造成“飞行时间”错误的现象发生,这种基于视觉和TOF的定位方法不仅通过区域视觉图像分析,而且针对不同区域视觉图像进行分开处理,进而可以避免信号被折射,进而提高野外TOF定位的准确性。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的基于视觉和TOF的定位设备结构示意图;
图2为本申请基于视觉和TOF的定位方法第一实施例的流程示意图;
图3为本申请基于视觉和TOF的定位的装置模块示意图;
图4为本申请基于视觉和TOF的定位系统的场景示意图;
图5为本申请基于视觉和TOF的定位方法的一流程示意图。
附图标号说明:
本申请目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,图1为本申请实施例方案涉及的硬件运行环境的基于视觉和TOF的定位设备结构示意图。
如图1所示,该基于视觉和TOF的定位设备可以包括:处理器0003,例如中央处理器(CentralProcessingUnit,CPU),通信总线0001、获取接口0002,处理接口0004,存储器0005。其中,通信总线0001用于实现这些组件之间的连接通信。获取接口0002可以包括信息采集装置、获取单元比如计算机,可选获取接口0002还可以包括标准的有线接口、无线接口。处理接口0004可选的可以包括标准的有线接口、无线接口。存储器0005可以是高速的随机存取存储器(RandomAccessMemory,RAM),也可以是稳定的非易失性存储器(Non-VolatileMemory,NVM),例如磁盘存储器。存储器0005可选的还可以是独立于前述处理器0003的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对基于视觉和TOF的定位设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器0005中可以包括操作系统、获取接口模块、处理接口模块以及基于视觉和TOF的定位程序。
在图1所示的基于视觉和TOF的定位设备中,通信总线0001主要用于实现组件之间的连接通信;获取接口0002主要用于连接后台服务器,与后台服务器进行数据通信;处理接口0004主要用于连接部署端(用户端),与部署端进行数据通信;本申请基于视觉和TOF的定位设备中的处理器0003、存储器0005可以设置在基于视觉和TOF的定位设备中,所述基于视觉和TOF的定位设备通过处理器0003调用存储器0005中存储的基于视觉和TOF的定位程序,并执行本申请实施例提供的基于视觉和TOF的定位方法。
为了下述各实施例的描述清楚简洁,首先给出一种基于视觉和TOF的定位方法的实现的简要介绍:
随着TOF定位技术的高速发展,TOF定位技术在不同场景下得到广泛应用,而野外TOF定位没有得到发展。因野外环境复杂,而TOF定位的原理在于利用超声波/微波/光等信号的传输时间进行测距,针对野外光照、信号损耗(如积水处、地形位置及其他影响信号传输或者阻断信号传输的因素)等不足,进而导致现有TOF定位未使用到野外场景,进而造成野外TOF定位的使用场景不高或者是直接使用到野外场景的准确性不高,因此提出了本申请基于视觉和TOF的定位方法,也就是在野外使用TOF定位的基于视觉和TOF的野外定位方法。
本申请通过一种基于视觉和TOF的定位方法,通过响应于定位需求获取待定位区域的区域视觉图像,并根据所述区域视觉图像和所述待定位区域确定图像定位特征信息;其中,所述图像定位特征信息包括所述区域视觉图像可定位的第一特征信息和所述区域视觉图像不可定位的第二特征信息;若所述图像定位特征信息与所述第一特征信息匹配,则确定所述图像定位特征信息中的第一定位点位置,并根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位;若所述图像定位特征信息与所述第二特征信息匹配,则基于所述图像定位特征信息更新所述区域视觉图像,并根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位,一方面通过区域视觉图像分析之后进行TOF定位得到待定位区域的目标定位进而保证在野外TOF定位的特异性,另一方面通过区域视觉图像的可定位的第一特征信息和不可定位的第二特征信息进行分开分析,进而保证针对不同区域视觉图像中的待定位区域进行定位,可以提高野外TOF定位的准确性,从而避免了现有技术中在野外的使用TOF的场景中,会存在超声波/微波/光等信号由于折射造成“飞行时间”错误的现象发生,这种基于视觉和TOF的定位方法不仅通过区域视觉图像分析,而且针对不同区域视觉图像进行分开处理,进而可以避免信号被折射,进而提高野外TOF定位的准确性。
基于上述硬件结构,提出本申请基于视觉和TOF的定位方法实施例。
本申请实施例提供了一种基于视觉和TOF的定位方法,参照图2,图2为本申请基于视觉和TOF的定位方法第一实施例的流程示意图。
本实施例中,所述基于视觉和TOF的定位方法包括:
步骤S10,响应于定位需求获取待定位区域的区域视觉图像,并根据所述区域视觉图像和所述待定位区域确定图像定位特征信息;其中,所述图像定位特征信息包括所述区域视觉图像可定位的第一特征信息和所述区域视觉图像不可定位的第二特征信息;
示例性的,参照图4,图4为本申请基于视觉和TOF的定位系统的场景示意图,整个基于视觉和TOF的定位方法应用在基于视觉和TOF的定位系统,整个系统设计在野外,通过在视觉相机1 1a-视觉相机n 1n处均相同的设置TOF11A-TOF2 1B进而在整个系统开始工作时,控制视觉相机1 1a-视觉相机n 1n采集区域视觉图像,进而再控制TOF11A-TOF2 1B进行定位。如用户需要对M位置进行定位,整个系统就会通过视觉相机1 1a-视觉相机n 1n对全部区域进行图像检测,直到检测到图像中含有M位置并能够清晰看到。如视觉相机1 1a可以隐约看到M位置,就会继续查看,或者基于内部定义的各个视觉相机的范围进行选择视觉相机并控制该视觉相机采集到包含M位置的随机图像(视觉相机可以实时变化角度进而采集一片范围内的图像,进而可以通过控制采集一片范围内下不同角度的图像),进而通过多选一选择器200选择对应的TOF进行定位,也就是先对视觉图像进行处理(控制对应视觉图像采集图像)进而再控制对应采集图像的视觉相机对应的TOF进行定位,实现野外TOF定位,克服了野外环境复杂造成TOF定位准确性不高的问题。
在本实施例中,当整个系统设置在野外,在接收到定位需求之后就会获取待定位区域的区域视觉图像,在获取过程中只需要含有对应待定位区域且清晰可见的图像,清晰可见是指待定位区域不存在被遮挡等情况,可以清晰看到。定位需求是指对某一区域的定位需求,至少包括了待定位区域的特征,如定位一颗树的位置、一块石头位置或一个水坑位等,待定位区域是指定位需求包含的需要进行定位的区域,该区域也可以是精确到一个点,区域视觉图像是指清晰包含该待定位区域的一帧采集的图像,进而可以根据区域视觉图像和待定位区域确定图像定位特征信息;其中,图像定位特征信息包括区域视觉图像可定位的第一特征信息和区域视觉图像不可定位的第二特征信息,也就是基于区域视觉图像和该区域视觉图像上待定位区域的一些特征确定是否可以直接将该待定位区域作为定位位置进行TOF,进而可以确定可以以该待定位区域作为定位位置进行TOF的第一特征信息和不可以以该待定位区域作为定位位置进行TOF的第二特征信息,进而保证后续处理的准确性,同时整个方案也是针对野外TOF定位的特殊处理方式,进而可以保证后续野外TOF定位的准确性。
值得说明的是,基于区域视觉图像可以确定此时的光照,进而在光照较强的时刻使用非光信号进行TOF定位,避免对光线对TOF定位影响。采集时还可以分为白天和夜晚的方式,针对白天和夜晚对图像特征的判断不同,进而可以自定义不同时段的图像特征判断依据,进而可以保证图像特征判断的准确性,以保证后续TOF定位准确性。
步骤S20,若所述图像定位特征信息与所述第一特征信息匹配,则确定所述图像定位特征信息中的第一定位点位置,并根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位;
在本实施例中,针对图像定位特征信息的判断,进而将整个定位流程分为两种情况,一种就是图像定位特征信息与第一特征信息匹配,也即是可以基于当前采集的区域视觉图像中的图像定位特征信息对待定位区域进行定位。进而通过确定图像定位特征信息中的第一定位点位置,进而就可以根据第一定位点位置在区域视觉图像中进行TOF定位得到所述待定位区域的目标定位。也即是根据在图像中确定的第一定位点位置,通过确定到第一定位点位置的距离,进而确定第一定位点位置到待定位区域的距离进行确定待定位区域的定位。其中,第一定位点位置是指在区域视觉图像中选择的可以进而TOF定位的位置,该位置至少还要保证与待定位区域的地形相差不大,进而可以避免后续判断的误差。通过将野外TOF定位分为直接基于最初采集的区域视觉图像可以定位的情况,进而可以基于区域视觉图像进行定位,避免了直接定位造成定位到不可定位区域(针对野外情况定义的不可定位情况,如水坑存在折射、不可直接照射区域被遮挡及其他的情况)的情况,进而提高了野外TOF定位的准确性。
步骤S30,若所述图像定位特征信息与所述第二特征信息匹配,则基于所述图像定位特征信息更新所述区域视觉图像,并根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位。
在本实施例中,当图像定位特征信息与第二特征信息匹配时,也即是不可以基于当前采集的区域视觉图像中的图像定位特征信息对待定位区域进行定位,也就是当前采集的区域视觉图像存在极限情况,如整片区域为不可定位的情况,如全部为水坑区域或其他不可定位情况,或者待定位区域直接为一个高度差较大的凸位或者坑位,进而无法基于当前的区域视觉图像进行定义,此处也可以为其他TOF不可定位的情况,在此不予限定。在确定此时的区域视觉图像不可定位之后,就会基于图像定位特征信息更新所述区域视觉图像,并在更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位。也就是对图像进行更新进而进行TOF定位,因为图像采集为随机的,故可以进一步采集更加贴合实际的图像,如将待定位区域采集到图像中央或者延某一位置延伸,也可以以其他方式进行采集,如从其他视觉相机的角度进行采集其他角度的图像进而进行判断。进行在更新之后的区域视觉图像执行步骤S10的判断之后执行步骤S20,如若发现执行步骤S10之后一直在执行步骤S30,则基于最近一次采集的图像或最初采集的图像进行处理,也可以是自定义选择以采集的图像进行处理。进而可以将TOF野外定位分为更新定位点进行处理,可以提高野外TOF定位的准确性。
进一步,为本实施例还提供了一种基于视觉和TOF的定位方法的一流程示意图,参照图5,在本实施例中,通过对传回区域视觉图像进行处理,此时传回区域视觉图像为视觉相机采集并满足包含待定位区域且待定位区域清晰的图像,进而判断是否可以基于传回区域视觉图像对待定位区域进行定位,当确定可以进行定位时,则控制对应TOF进行定位,也就是基于此时传回区域视觉图像进行定位;当不可以进行定位时(是否可以进行定位取决于对传回区域视觉图像内部图像特征判断),就会判断是否可以进行图像更新(只要依据不同方法进行不同位置图像延伸,同时确定更新之后的图像是否可以满足可以定位条件)。当不可以进行图像更新时,则选择已经采集的区域视觉图像找邻近相似区域作为定位点进行定位,反之可以更新则是基于本身或者邻近图像进行更新,也就是分为本身为图像边缘就是朝该边缘进行更新,反之朝邻近的其他区域进行更新,进而可以在更新的图像中确定满足定位条件的区域,进而控制对应TOF进行定位,在控制对应TOF进行定位之后,基于图像确定定位的区域与待定位区域的关系,进而可以完成野外TOF定位,可以避免信号被折射等不可定位或影响定位的情况,进而提高野外TOF定位的准确性。
本实施例中通过响应于定位需求获取待定位区域的区域视觉图像,并根据所述区域视觉图像和所述待定位区域确定图像定位特征信息;其中,所述图像定位特征信息包括所述区域视觉图像可定位的第一特征信息和所述区域视觉图像不可定位的第二特征信息;若所述图像定位特征信息与所述第一特征信息匹配,则确定所述图像定位特征信息中的第一定位点位置,并根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位;若所述图像定位特征信息与所述第二特征信息匹配,则基于所述图像定位特征信息更新所述区域视觉图像,并根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位,一方面通过区域视觉图像分析之后进行TOF定位得到待定位区域的目标定位进而保证在野外TOF定位的特异性,另一方面通过区域视觉图像的可定位的第一特征信息和不可定位的第二特征信息进行分开分析,进而保证针对不同区域视觉图像中的待定位区域进行定位,可以提高野外TOF定位的准确性,从而避免了现有技术中在野外的使用TOF的场景中,会存在超声波/微波/光等信号由于折射造成“飞行时间”错误的现象发生,这种基于视觉和TOF的定位方法不仅通过区域视觉图像分析,而且针对不同区域视觉图像进行分开处理,进而可以避免信号被折射,进而提高野外TOF定位的准确性。
进一步地,基于本申请基于视觉和TOF的定位方法第一实施例,提出本申请基于视觉和TOF的定位方法第二实施例,所述根据所述区域视觉图像和所述待定位区域确定图像定位特征信息的步骤,包括:
步骤C11,确定所述待定位区域在所述区域视觉图像上的第一图像特征,并检测所述第一图像特征是否与预设的可定位特征匹配;
步骤C12,若所述第一图像特征与预设的可定位特征匹配,则将所述待定位区域作为第一定位点位置,并将第一特征信息和所述第一定位点位置作为图像定位特征信息;
在本实施例中,在对区域视觉图像进行判断时,通过确定待定位区域在所述区域视觉图像上的第一图像特征,进而检测第一图像特征是否与预设的可定位特征匹配。当第一图像特征与预设的可定位特征匹配,则将待定位区域作为第一定位点位置,并将第一特征信息和第一定位点位置作为图像定位特征信息。其中,第一图像特征是指在区域视觉图像上待定位区域的图像特征,预设的可定位特征是指用户定义的可以进行定位的图像特征,如将区域视觉图像灰度化,灰度值在M的定义为可定位特征,灰度值为其他值的则可能为水坑或者其他定义的不可以定位的区域,第一定位点位置是指区域视觉图像可定位时确定的进行TOF定位的位置,进而后续可以基于第一定位点位置进行TOF定位,同时将第一特征信息作为图像定位特征信息,以便于执行步骤S20。进而可以基于图像特征判断确定可以进行定位的位置,进而进行定位,避免了直接定位到不可定义的位置造成定位误差,提高定位的准确性。
步骤C13,若所述第一图像特征与预设的可定位特征不匹配,则确定所述区域视觉图像上与所述待定位区域匹配的全部可选位置,并依次检测所述可选位置在所述区域视觉图像上的第二图像特征是否与所述可定位特征匹配;
步骤C14,若所述可选位置在所述区域视觉图像上的第二图像特征与预设的可定位特征匹配,则将所述可选位置作为第一定位点位置,并将第一特征信息和所述第一定位点位置作为图像定位特征信息;
步骤C15,若所述可选位置在所述区域视觉图像上的第二图像特征与预设的可定位特征不匹配,则将第二特征信息和所述待定位区域作为图像定位特征信息。
在本实施例中,当第一图像特征与预设的可定位特征不匹配,则会确定区域视觉图像上与待定位区域匹配的全部可选位置,进而依次检测可选位置在区域视觉图像上的第二图像特征是否与可定位特征匹配,进而在分为两种情况进行判断。其中,可选位置是指区域视觉图像上与待定位区域水平相差在预设范围内的位置,如水平相差在图像上的显示不超过0.1CM的位置,第二图像特征是指可选位置在区域视觉图像上的特征,也即是判断这些第二图像特征是否与用户定义的可以进行定位的图像特征匹配,此时可选位置依次判断的方式可以是基于与待定位区域的图像距离由近到远检测,也可以水平相差值由低到高进行检测。当匹配时,也就是可选位置在区域视觉图像上的第二图像特征与可定位特征匹配,则将可选位置作为第一定位点位置,并将第一特征信息和第一定位点位置作为图像定位特征信息。也就是区域视觉图像还是可以对待定位区域进行定位,只是选择的定位点并非待定位区域,也就继续执行步骤S20。当不匹配时,也就是可选位置在区域视觉图像上的第二图像特征与可定位特征不匹配,则第二特征信息和待定位区域作为图像定位特征信息,也就是执行步骤S30更新区域视觉图像的步骤。进而将整个定位流程进行细化处理,针对图像确定是否进行定位,进而避免野外定位对TOF造成的影响,提高了野外TOF定位的准确性。
进一步的,所述响应于定位需求获取待定位区域的区域视觉图像的步骤,包括:
步骤C101,响应于定位需求获取实时视觉图像,并检测所述实时视觉图像中是否包含待定位区域;
步骤C102,若所述实时视觉图像中包含待定位区域,则将所述实时视觉图像作为待定位区域的区域视觉图像;
步骤C103,若所述实时视觉图像中不包含待定位区域,则执行所述获取实时视觉图像的步骤。
在本实施例中,在获取区域视觉图像时,会通过视觉相机获取的实时视觉图像进行判断,视觉相机本就是对整个野外区域进行监控的效果,进而通过响应于此时的定位需求获取各个视觉相机的实时视觉图像,进而判定实时视觉图像中是否包含待定位区域,因为视觉相机的布置可以覆盖整个野外待定位的区域(控制视觉相机角度不同实现整个区域图像采集),实时视觉图像是指各个视觉相机当前时刻采集的图像。当实时视觉图像中包含待定位区域,则将实时视觉图像作为待定位区域的区域视觉图像,反之,当实时视觉图像中不包含待定位区域,则执行所述获取实时视觉图像的步骤。在确定实时视觉图像作为待定位区域的区域视觉图像时,需要判断待定位区域在实时视觉图像中的清晰度,也就是判断是否拍摄全面或者拍摄到必要点,如将待定位区域百分之85的部分拍摄出来,则将实时视觉图像作为待定位区域的区域视觉图像,反之,则控制该视觉相机角度拍摄其他实时视觉图像进而进行判断。当继续执行所述获取实时视觉图像的步骤时,也可以基于用户的需求对视觉相机进行控制,如正常视觉相机拍摄频率较低且转动较慢,则在继续执行所述获取实时视觉图像的步骤时,适当加快视觉相机的拍摄频率和转动速度,进而可以大大降低确定待定位区域的区域视觉图像的时间,提高了野外TOF定位的效率。
进一步地,基于本申请基于视觉和TOF的定位方法第一实施例和第二实施例,提出本申请基于视觉和TOF的定位方法第三实施例,所述根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位的步骤,包括:
步骤a,确定所述第一定位点位置与所述待定位区域之间的第一变化定位,并对所述第一定位点位置进行TOF定位确定第一实际定位;其中,所述第一变化定位包括平面定位变化和高度定位变化;
步骤b,若所述第一变化定位为所述平面定位变化,则基于所述第一变化定位和所述第一实际定位确定所述待定位区域的目标定位;
步骤c,若所述第一变化定位为所述高度定位变化,则将所述第一变化定位映射到所述待定位区域的平面得到第一平面变化定位,并基于所述第一平面变化定位和所述第一实际定位确定所述待定位区域的目标定位。
在本实施例中,在确定第一定位点位置之后就会确定其与待定位区域之间的第一变化定位,进而通过TOF对第一定位点位置进而定位确定第一实际定位,其中,第一变化定位包括平面定位变化和高度定位变化,也就是第一定位点位置可以直接就是待定位区域,也可以是非待定位区域,如待定位区域为地面的某个区域,而选择的第一定位点位置则是为该区域几乎在同一水平面上的树上,则会存在高度差,进而需要对高度差进行处理。第一变化定位是指第一定位点位置到待定位区域之间的位置距离,例如以待定位区域为中心点在区域视觉图像中建立对个同心圆,进而可以确定待定位区域到第一定位点位置的距离,因选择的第一定位点位置均为相似的平面上,进而可以确定待定位区域的定位(可以为基于其他参照物的定位),第一实际定位是指基于TOF定位确定的第一定位点位置距TOF的距离。当第一变化定位为平面定位变化,也即是第一定位点位置直接在待定位区域的平面上,就无需考虑高度影响,直接基于第一变化定位和第一实际定位确定待定位区域的目标定位,也就是将待定位区域的目标定位以第一实际定位作为参照物进行定位。当第一变化定位为高度定位变化时,则将第一变化定位映射到待定位区域的平面得到第一平面变化定位,进而基于第一平面变化定位和第一实际定位确定待定位区域的目标定位,也就是第一定位点位置与待定位区域存在高度差时,则将第一定位点位置映射到待定位区域的平面,第一平面变化定位是指第一定位点位置映射到待定位区域的平面上的位置与待定位区域的定位距离,如使用树木进行TOF定位时,则确定树木的根部(第一定位点位置映射到待定位区域的平面)到待定位区域的定位距离,而此时可以自定义选择树木上的TOF定位的高度可以忽略不计,选择树木等物体优势在于有一定高度,可以便于TOF安装高度不受限,树木上较比较地面影响TOF定位的因素较少。整个方法是针对环境和地形较复杂的森林、山地等场景,而对应的当野外环境为草坪时,则可以选择地势较高的位置点作为第一定位点位置,而不会存在必须保证与待定位区域在同一平面的要求。如选择第一定位点位置的第一实际定位为距TOF为A米,而第一变化定位为待定位区域在第一定位点位置的正东南(图像中基于视觉相机已定义方位)A1米,则就可以确定待定位区域的目标定位为A米位置点处正东南A1米,进而可以基于参照物在野外对待定位区域进行定位,进而保证野外TOF定位的准确性。
进一步地,基于本申请基于视觉和TOF的定位方法第一实施例、第二实施例和第三实施例,提出本申请基于视觉和TOF的定位方法第四实施例,所述图像定位特征信息中还包括所述待定位区域的平面特征,所述基于所述图像定位特征信息更新所述区域视觉图像的步骤,包括:
步骤d,确定所述图像定位特征信息中的所述平面特征对应的平面图像位置;
步骤e,若所述平面图像位置与预设的边缘图像位置匹配,则基于预设第一更新规则更新所述区域视觉图像;其中,预设所述第一更新规则为朝平面图像位置的方向重新获取所述待定位区域的区域视觉图像;
在本实施例中,图像定位特征信息中还包括待定位区域的平面特征,进而当确定最初的区域视觉图像不可以进行定位时,则需要更新区域视觉图像。通过确定图像定位特征信息中的平面特征对应的平面图像位置,也就判断待定位区域在最初的区域视觉图像中的位置,平面图像位置即是指待定位区域的平面在最初的区域视觉图像中的位置,待定位区域的平面是指高度值变化不大的平面,进而在平面图像位置与预设的边缘图像位置匹配,就会基于预设第一更新规则更新区域视觉图像;其中,预设第一更新规则为朝平面图像位置的方向重新获取待定位区域的区域视觉图像。预设的边缘图像位置是指在整个最初的区域视觉图像的四边的位置,也就是如平面特征为高度为F米的平整平面,且该平面处于图像的上边的位置,则延上边位置继续采集图像。当延长之后还是找不到与可定位特征匹配的位置,则执行步骤g。反之在更新的区域视觉图像中找到与可定位特征匹配,则将该位置作为第二定位点位置。以确定上边未在此次图像拍摄出来的位置有符合定位的位置。进而可以保证后续定位准确性。
步骤f,若所述平面图像位置与预设的边缘图像位置不匹配,则确定所述区域视觉图像上与所述待定位区域匹配的全部预选位置,并依次检测所述预选位置在所述区域视觉图像上的第三图像特征是否与所述可定位特征匹配;其中,所述预选位置为满足高度阈值条件的位置;
步骤g,若所述预选位置在所述区域视觉图像上的第三图像特征与所述可定位特征匹配,则将所述预选位置作为第一定位点位置,并执行所述根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位的步骤;
在本实施例中,当平面图像位置与预设的边缘图像位置不匹配,则会确定区域视觉图像上与待定位区域匹配的全部预选位置,并依次检测预选位置在所述区域视觉图像上的第三图像特征是否与所述可定位特征匹配;其中,预选位置为满足高度阈值条件的位置,也就是基于平面特征找到相差不大的其他位置的平面,例如平面特征为0(整个图最低位置),则确定与其相差在a米的其他位置作为预选位置,a米可以为实际高度距离也可以为图像中的高度距离,预选位置是指满足与平面特征高度相差不大的其他位置的平面,高度阈值条件即是指用户定义的可以相差的高度,而不影响实际定位。进而可以在预选位置确定各个位置确定是否满足可定位特征条件,第三图像特征为预选位置上各个位置的图像特征,进而可以在预选位置确定是否有可以进行定位的位置。当预选位置在区域视觉图像上的第三图像特征与可定位特征匹配,则将预选位置作为第一定位点位置,并执行所述根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位的步骤,也即是后续处理可以确定图像中可以作为第一定位点位置的位置,但该位置不是与待定位区域在同一平面,会存在定位误差,而该误差可以接受,预选位置可以是指预选位置的平面上的某一个位置,一般的选择原则为距待定位区域由近到远,由低到高的选择。进而可以基于对野外TOF定位进行处理,通过确定第一定位点位置作为参照物进行定位进而可以保证野外TOF定位的准确性。
步骤g,若所述预选位置在所述区域视觉图像上的第三图像特征与所述可定位特征不匹配,则基于预设第二更新规则和所述区域视觉图像更新所述区域视觉图像。
在本实施例中,当预选位置在区域视觉图像上的第三图像特征与可定位特征不匹配时,则可以知道本次采集的最初的区域视觉图像不能延待定位区域的边缘更新且图像内也没有满足不影响误差高度的预选位置,进而就需要基于预设第二更新规则和区域视觉图像更新区域视觉图像,也就是此时还是基于图像和一种新型的更新规则进行更新。进而可以保证整个定位方法的实用性,可以针对不同的野外环境。
进一步地,基于本申请基于视觉和TOF的定位方法第一实施例、第二实施例、第三实施例和第四实施例,提出本申请基于视觉和TOF的定位方法第五实施例,基于预设第二更新规则和所述区域视觉图像更新所述区域视觉图像的步骤,包括:
步骤h,确定所述区域视觉图像上与所述待定位区域匹配的图像邻接位置,并确定所述图像邻接位置的邻接平面特征;其中,所述图像邻接位置包括邻接所述待定位区域和所述区域视觉图像的边缘,且包括单一平面特征的位置;
步骤i,确定所述平面特征与所述邻接平面特征的高度差值,基于所述高度差值和预设第二更新规则更新所述区域视觉图像;其中,预设所述第二更新规则为朝图像邻接位置的方向重新获取所述待定位区域且满足所述高度差值的区域视觉图像。
在本实施例中,在基于预设第二更新规则进行更新时,通过确定区域视觉图像上与待定位区域匹配的图像邻接位置,并确定图像邻接位置的邻接平面特征;其中,所述图像邻接位置包括邻接待定位区域和区域视觉图像的边缘,且包括单一平面特征的位置,也就是基于间隔一个位置进行延伸摄像,如待定位区域R间隔了一个图像邻接位置R1与区域视觉图像的边界连接,进而可以延图像邻接位置进行延伸摄像,邻接平面特征是指该平面(图像邻接位置的平面)的特征,一般是指高度。再通过确定平面特征与所述邻接平面特征的高度差值,高度差值是指两个平面的高度差值(待定位区域R平面的高度与图像邻接位置R1的高度相差了r)。因为整个方法是基于图像进行判断,在横向距离与实际距离可以成比例,而纵向距离则会因为角度不同比例存在区别,故一般不使用纵向距离(高度值)进行处理。就会基于高度差值和预设第二更新规则更新区域视觉图像;其中,预设第二更新规则为朝图像邻接位置的方向重新获取待定位区域且满足高度差值的区域视觉图像。也就是说延图像邻接位置R1进行拍摄,且后续拍摄图像需要满足待定位区域R在图像内,在后续拍摄的图像中确定其他位置中是否有满足与图像邻接位置R1高度相差在r的目标位置,进而确定该目标位置是否可以进行定位,当可以进行定位时,则将该目标位置作为第二定位点位置。当目标位置中不存在可以进行定位的第二定位点位置,则选择与待定位区域高度差最小的、可定位的位置作为第二定位点位置,并确定此时视觉相机的角度,基于此时的角度确定实际高度值,进而确定待定位区域的定位,因为需要确定视觉相机的角度,而后进行其他计算故最为最后的备选方案。通过在最初的区域视觉图像的多种处理,进而可以提高整个定位方法的功能性,而针对不同的使用环境进而可以提高定位的准确性。
进一步的,所述根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位的步骤,包括:
步骤j,确定更新之后的所述区域视觉图像中与所述待定位区域匹配的第二定位点位置;其中,所述第二定位点位置包括更新之后的所述区域视觉图像中与所述待定位区域的平面特征相似且满足预设的可定位特征的位置点;
步骤k,基于预设的图像高度比例确定所述第二定位点位置与所述待定位区域之间的第二变化定位,并对所述第二定位点位置进行TOF定位确定第二实际定位;其中,所述第二变化定位包括平面定位变化和高度定位变化;
在本实施例中,当基于更新之后的区域视觉图像进行定位时,会确定更新之后的区域视觉图像中与待定位区域匹配的第二定位点位置,其中,第二定位点位置包括更新之后的所述区域视觉图像中与待定位区域的平面特征相似且满足预设的可定位特征的位置点,也就是与待定位区域的平面特征相同或者相似的位置,进而基于预设的图像高度比例确定第二定位点位置与待定位区域之间的第二变化定位,通过TOF对第而定位点位置进而定位确定第二实际定位,其中,第二变化定位包括平面定位变化和高度定位变化,也就是第二定位点位置是非待定位区域,但属于本次图像中的可定位的位置,如待定位区域为地面的某个区域,而选择的第二定位点位置则是为该区域几乎在同一水平面上的树上,则会存在高度差,进而需要对高度差进行处理,预设的图像高度比例也就是选择在不同平面的高度差,可以基于本处视觉相机的角度确定高度比例,进而将其高度值转化为距离,如高度高M米,实际到TOF距离多M1米。第二变化定位是指第二定位点位置到待定位区域之间的位置距离,例如以待定位区域为中心点在区域视觉图像中建立对个同心圆,进而可以确定待定位区域到第二定位点位置的距离,因选择的第二定位点位置均为相似的平面上,进而可以确定待定位区域的定位(可以为基于其他参照物的定位),第二实际定位是指基于TOF定位确定的第二定位点位置距TOF的距离。进而实现不同平面高度的两个位置的定位,保证了定位的功能性。
步骤l,若所述第二变化定位为所述平面定位变化,则基于所述第二变化定位和所述第二实际定位确定所述待定位区域的目标定位;
步骤m,若所述第二变化定位为所述高度定位变化,则将所述第二变化定位映射为所述平面定位变化的第二平面变化定位,并基于所述第二平面变化定位和所述第二实际定位确定所述待定位区域的目标定位;
在本实施例中,当第二变化定位为平面定位变化,也即是第二定位点位置直接在待定位区域的相似平面(误差允许范围供电)上,就无需考虑高度影响(只考虑平面高度补偿即可),直接基于第二变化定位和第二实际定位确定待定位区域的目标定位,也就是将待定位区域的目标定位以第二实际定位作为参照物进行定位,并以预设的图像高度比例对平面高度进行补偿。当第二变化定位为高度定位变化时,则将第二变化定位映射到待定位区域的平面得到第二平面变化定位,进而基于第二平面变化定位和第二实际定位确定待定位区域的目标定位,也就是第二定位点位置与待定位区域存在高度差时,则将第二定位点位置映射到待定位区域的平面,第二平面变化定位是指第二定位点位置映射到待定位区域的平面上的位置与待定位区域的定位距离,如使用树木进行TOF定位时,则确定树木的根部(第二定位点位置映射到待定位区域的平面)到待定位区域的定位距离,而此时可以自定义选择树木上的TOF定位的高度可以忽略不计,选择树木等物体优势在于有一定高度,可以便于TOF安装高度不受限,树木上较比较地面影响TOF定位的因素较少。如选择第二定位点位置的第二实际定位为距TOF为A米,而第二变化定位为待定位区域在第二定位点位置的正东南(图像中基于视觉相机已定义方位)A1米(确定的平面高度差异的补偿值为A2),则就可以确定待定位区域的目标定位为A+A2米位置点处正东南A1米,进而可以基于参照物在野外对待定位区域进行定位,进而保证野外TOF定位的准确性。确定所述平面特征与所述邻接平面特征的高度差值的步骤之后,包括:
步骤n,若朝图像邻接位置的方向重新获取所述待定位区域的区域视觉图像不满足所述高度差值,则确定所述待定位区域的全部邻接位置;
步骤o,确定各所述邻接位置中与所述待定位区域高度差最小的目标邻接位置,并将所述目标邻接位置作为所述第二定位点位置,并执行所述基于预设的图像高度比例确定所述第二定位点位置与所述待定位区域之间的第二变化定位的步骤。
在本实施例中,当在更新区域视觉图像时,发现朝图像邻接位置的方向重新获取待定位区域的区域视觉图像不满足高度差值,也就是朝图像邻接位置的方向重新获取的图像中不存在满足高度差值的位置,如待定位区域R平面的高度与图像邻接位置R1的高度相差了r,而后续基于图像邻接位置R1方向更新的区域视觉图像与图像邻接位置R1的高度均相差r以上,则确定重新获取待定位区域的区域视觉图像不满足高度差值。就会确定待定位区域的全部邻接位置,邻接位置是指与待定位区域相邻的各个位置所在的平面,进而确定各个邻接位置中与待定位区域高度差最小的目标邻接位置,并将目标邻接位置中满足可定位特征的位置作为第二定位点位置,并执行所述基于预设的图像高度比例确定所述第二定位点位置与所述待定位区域之间的第二变化定位的步骤。此时还需要判断高度差是否小于最大允许值,若小于,则选择该位置,当不小于则直接以待定位区域作为第二定位点位置。也就是只要定位误差(直接体现为高度值造成的误差)小于待定位区域本身误差(各种因素造成的误差),则可以将目标邻接位置中满足可定位特征的位置作为第二定位点位置,反之则直接将待定位区域作为第二定位点位置反而误差更小。进而通过不同的情况分析可以保证整个定位方法的实用性,可以针对不同的野外环境提高了野外TOF定位的准确性。
本申请还提供一种基于视觉和TOF的定位装置模块示意图,参照图3,所述基于视觉和TOF的定位装置包括:
模式判断模块A10,用于若接收到输入的用户通行信息,则确定所述用户通行信息对应的闸机工作模式,其中,所述闸机工作模式包括单开模式和常开模式;
特征确定模块A10,用于响应于定位需求获取待定位区域的区域视觉图像,并根据所述区域视觉图像和所述待定位区域确定图像定位特征信息;其中,所述图像定位特征信息包括所述区域视觉图像可定位的第一特征信息和所述区域视觉图像不可定位的第二特征信息;
第一定位模块A20,用于若所述图像定位特征信息与所述第一特征信息匹配,则确定所述图像定位特征信息中的第一定位点位置,并根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位;
第二定位模块A30,用于若所述图像定位特征信息与所述第二特征信息匹配,则基于所述图像定位特征信息更新所述区域视觉图像,并根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位。
可选地,所述特征确定模块A10,还用于:
确定所述待定位区域在所述区域视觉图像上的第一图像特征,并检测所述第一图像特征是否与预设的可定位特征匹配;
若所述第一图像特征与预设的可定位特征匹配,则将所述待定位区域作为第一定位点位置,并将第一特征信息和所述第一定位点位置作为图像定位特征信息;
若所述第一图像特征与预设的可定位特征不匹配,则确定所述区域视觉图像上与所述待定位区域匹配的全部可选位置,并依次检测所述可选位置在所述区域视觉图像上的第二图像特征是否与所述可定位特征匹配;
若所述可选位置在所述区域视觉图像上的第二图像特征与预设的可定位特征匹配,则将所述可选位置作为第一定位点位置,并将第一特征信息和所述第一定位点位置作为图像定位特征信息;
若所述可选位置在所述区域视觉图像上的第二图像特征与预设的可定位特征不匹配,则将第二特征信息和所述待定位区域作为图像定位特征信息。
可选地,所述第一定位模块A20,还用于:
确定所述第一定位点位置与所述待定位区域之间的第一变化定位,并对所述第一定位点位置进行TOF定位确定第一实际定位;其中,所述第一变化定位包括平面定位变化和高度定位变化;
若所述第一变化定位为所述平面定位变化,则基于所述第一变化定位和所述第一实际定位确定所述待定位区域的目标定位;
若所述第一变化定位为所述高度定位变化,则将所述第一变化定位映射到所述待定位区域的平面得到第一平面变化定位,并基于所述第一平面变化定位和所述第一实际定位确定所述待定位区域的目标定位。
可选地,所述第一定位模块A20,还用于:
确定所述图像定位特征信息中的所述平面特征对应的平面图像位置;
若所述平面图像位置与预设的边缘图像位置匹配,则基于预设第一更新规则更新所述区域视觉图像;其中,预设所述第一更新规则为朝平面图像位置的方向重新获取所述待定位区域的区域视觉图像;
若所述平面图像位置与预设的边缘图像位置不匹配,则确定所述区域视觉图像上与所述待定位区域匹配的全部预选位置,并依次检测所述预选位置在所述区域视觉图像上的第三图像特征是否与所述可定位特征匹配;其中,所述预选位置为满足高度阈值条件的位置;
若所述预选位置在所述区域视觉图像上的第三图像特征与所述可定位特征匹配,则将所述预选位置作为第一定位点位置,并执行所述根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位的步骤;
若所述预选位置在所述区域视觉图像上的第三图像特征与所述可定位特征不匹配,则基于预设第二更新规则和所述区域视觉图像更新所述区域视觉图像。
可选地,所述第二定位模块A30,还用于:
确定所述区域视觉图像上与所述待定位区域匹配的图像邻接位置,并确定所述图像邻接位置的邻接平面特征;其中,所述图像邻接位置包括邻接所述待定位区域和所述区域视觉图像的边缘,且包括单一平面特征的位置;
确定所述平面特征与所述邻接平面特征的高度差值,基于所述高度差值和预设第二更新规则更新所述区域视觉图像;其中,预设所述第二更新规则为朝图像邻接位置的方向重新获取所述待定位区域且满足所述高度差值的区域视觉图像。
可选地,所述第二定位模块A30,还用于:
确定更新之后的所述区域视觉图像中与所述待定位区域匹配的第二定位点位置;其中,所述第二定位点位置包括更新之后的所述区域视觉图像中与所述待定位区域的平面特征相似且满足预设的可定位特征的位置点;
基于预设的图像高度比例确定所述第二定位点位置与所述待定位区域之间的第二变化定位,并对所述第二定位点位置进行TOF定位确定第二实际定位;其中,所述第二变化定位包括平面定位变化和高度定位变化;
若所述第二变化定位为所述平面定位变化,则基于所述第二变化定位和所述第二实际定位确定所述待定位区域的目标定位;
若所述第二变化定位为所述高度定位变化,则将所述第二变化定位映射为所述平面定位变化的第二平面变化定位,并基于所述第二平面变化定位和所述第二实际定位确定所述待定位区域的目标定位;
确定所述平面特征与所述邻接平面特征的高度差值的步骤之后,包括:
若朝图像邻接位置的方向重新获取所述待定位区域的区域视觉图像不满足所述高度差值,则确定所述待定位区域的全部邻接位置;
确定各所述邻接位置中与所述待定位区域高度差最小的目标邻接位置,并将所述目标邻接位置作为所述第二定位点位置,并执行所述基于预设的图像高度比例确定所述第二定位点位置与所述待定位区域之间的第二变化定位的步骤。
可选地,所述特征确定模块A10,还用于:
响应于定位需求获取实时视觉图像,并检测所述实时视觉图像中是否包含待定位区域;
若所述实时视觉图像中包含待定位区域,则将所述实时视觉图像作为待定位区域的区域视觉图像;
若所述实时视觉图像中不包含待定位区域,则执行所述获取实时视觉图像的步骤。
本申请还提供一种基于视觉和TOF的定位设备。
本申请设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于视觉和TOF的定位程序,所述基于视觉和TOF的定位程序被处理器执行时实现如上所述的基于视觉和TOF的定位方法的步骤。
本申请还提供一种存储介质。
本申请存储介质上存储有基于视觉和TOF的定位程序,所述基于视觉和TOF的定位程序被处理器执行时实现如上所述的基于视觉和TOF的定位方法的步骤。
其中,在所述处理器上运行的基于视觉和TOF的定位程序被执行时所实现的方法可参照本申请基于视觉和TOF的定位方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还 包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、 方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通 过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光 盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种基于视觉和TOF的定位方法,其特征在于,所述基于视觉和TOF的定位方法,包括以下步骤:
响应于定位需求获取待定位区域的区域视觉图像,并根据所述区域视觉图像和所述待定位区域确定图像定位特征信息;其中,所述图像定位特征信息包括所述区域视觉图像可定位的第一特征信息和所述区域视觉图像不可定位的第二特征信息;
若所述图像定位特征信息与所述第一特征信息匹配,则确定所述图像定位特征信息中的第一定位点位置,并根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位;
若所述图像定位特征信息与所述第二特征信息匹配,则基于所述图像定位特征信息更新所述区域视觉图像,并根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位,其中,所述图像定位特征信息中还包括所述待定位区域的平面特征,所述基于所述图像定位特征信息更新所述区域视觉图像的步骤,包括:确定所述图像定位特征信息中的所述平面特征对应的平面图像位置;若所述平面图像位置与预设的边缘图像位置匹配,则基于预设第一更新规则更新所述区域视觉图像;其中,预设所述第一更新规则为朝平面图像位置的方向重新获取所述待定位区域的区域视觉图像;若所述平面图像位置与预设的边缘图像位置不匹配,则确定所述区域视觉图像上与所述待定位区域匹配的全部预选位置,并依次检测所述预选位置在所述区域视觉图像上的第三图像特征是否与所述可定位特征匹配;其中,所述预选位置为满足高度阈值条件的位置;若所述预选位置在所述区域视觉图像上的第三图像特征与所述可定位特征匹配,则将所述预选位置作为第一定位点位置,并执行所述根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位的步骤;若所述预选位置在所述区域视觉图像上的第三图像特征与所述可定位特征不匹配,则基于预设第二更新规则和所述区域视觉图像更新所述区域视觉图像,所述基于预设第二更新规则和所述区域视觉图像更新所述区域视觉图像的步骤,包括:确定所述区域视觉图像上与所述待定位区域匹配的图像邻接位置,并确定所述图像邻接位置的邻接平面特征;其中,所述图像邻接位置包括邻接所述待定位区域和所述区域视觉图像的边缘,且包括单一平面特征的位置;确定所述平面特征与所述邻接平面特征的高度差值,基于所述高度差值和预设第二更新规则更新所述区域视觉图像;其中,预设所述第二更新规则为朝图像邻接位置的方向重新获取所述待定位区域且满足所述高度差值的区域视觉图像。
2.如权利要求1所述基于视觉和TOF的定位方法,其特征在于,所述根据所述区域视觉图像和所述待定位区域确定图像定位特征信息的步骤,包括:
确定所述待定位区域在所述区域视觉图像上的第一图像特征,并检测所述第一图像特征是否与预设的可定位特征匹配;
若所述第一图像特征与预设的可定位特征匹配,则将所述待定位区域作为第一定位点位置,并将第一特征信息和所述第一定位点位置作为图像定位特征信息;
若所述第一图像特征与预设的可定位特征不匹配,则确定所述区域视觉图像上与所述待定位区域匹配的全部可选位置,并依次检测所述可选位置在所述区域视觉图像上的第二图像特征是否与所述可定位特征匹配;
若所述可选位置在所述区域视觉图像上的第二图像特征与预设的可定位特征匹配,则将所述可选位置作为第一定位点位置,并将第一特征信息和所述第一定位点位置作为图像定位特征信息;
若所述可选位置在所述区域视觉图像上的第二图像特征与预设的可定位特征不匹配,则将第二特征信息和所述待定位区域作为图像定位特征信息。
3.如权利要求1所述基于视觉和TOF的定位方法,其特征在于,所述根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位的步骤,包括:
确定所述第一定位点位置与所述待定位区域之间的第一变化定位,并对所述第一定位点位置进行TOF定位确定第一实际定位;其中,所述第一变化定位包括平面定位变化和高度定位变化;
若所述第一变化定位为所述平面定位变化,则基于所述第一变化定位和所述第一实际定位确定所述待定位区域的目标定位;
若所述第一变化定位为所述高度定位变化,则将所述第一变化定位映射到所述待定位区域的平面得到第一平面变化定位,并基于所述第一平面变化定位和所述第一实际定位确定所述待定位区域的目标定位。
4.如权利要求1所述基于视觉和TOF的定位方法,其特征在于,所述根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位的步骤,包括:
确定更新之后的所述区域视觉图像中与所述待定位区域匹配的第二定位点位置;其中,所述第二定位点位置包括更新之后的所述区域视觉图像中与所述待定位区域的平面特征相似且满足预设的可定位特征的位置点;
基于预设的图像高度比例确定所述第二定位点位置与所述待定位区域之间的第二变化定位,并对所述第二定位点位置进行TOF定位确定第二实际定位;其中,所述第二变化定位包括平面定位变化和高度定位变化;
若所述第二变化定位为所述平面定位变化,则基于所述第二变化定位和所述第二实际定位确定所述待定位区域的目标定位;
若所述第二变化定位为所述高度定位变化,则将所述第二变化定位映射为所述平面定位变化的第二平面变化定位,并基于所述第二平面变化定位和所述第二实际定位确定所述待定位区域的目标定位;
确定所述平面特征与所述邻接平面特征的高度差值的步骤之后,包括:
若朝图像邻接位置的方向重新获取所述待定位区域的区域视觉图像不满足所述高度差值,则确定所述待定位区域的全部邻接位置;
确定各所述邻接位置中与所述待定位区域高度差最小的目标邻接位置,并将所述目标邻接位置作为所述第二定位点位置,并执行所述基于预设的图像高度比例确定所述第二定位点位置与所述待定位区域之间的第二变化定位的步骤。
5.如权利要求1-4任一项所述基于视觉和TOF的定位方法,其特征在于,所述响应于定位需求获取待定位区域的区域视觉图像的步骤,包括:
响应于定位需求获取实时视觉图像,并检测所述实时视觉图像中是否包含待定位区域;
若所述实时视觉图像中包含待定位区域,则将所述实时视觉图像作为待定位区域的区域视觉图像;
若所述实时视觉图像中不包含待定位区域,则执行所述获取实时视觉图像的步骤。
6.一种基于视觉和TOF的定位装置,其特征在于,所述基于视觉和TOF的定位装置包括:
特征确定模块,用于响应于定位需求获取待定位区域的区域视觉图像,并根据所述区域视觉图像和所述待定位区域确定图像定位特征信息;其中,所述图像定位特征信息包括所述区域视觉图像可定位的第一特征信息和所述区域视觉图像不可定位的第二特征信息;
第一定位模块,用于若所述图像定位特征信息与所述第一特征信息匹配,则确定所述图像定位特征信息中的第一定位点位置,并根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位;
第二定位模块,用于若所述图像定位特征信息与所述第二特征信息匹配,则基于所述图像定位特征信息更新所述区域视觉图像,并根据更新之后的所述区域视觉图像进行TOF定位得到所述待定位区域的目标定位,其中,所述图像定位特征信息中还包括所述待定位区域的平面特征,所述基于所述图像定位特征信息更新所述区域视觉图像的步骤,包括:确定所述图像定位特征信息中的所述平面特征对应的平面图像位置;若所述平面图像位置与预设的边缘图像位置匹配,则基于预设第一更新规则更新所述区域视觉图像;其中,预设所述第一更新规则为朝平面图像位置的方向重新获取所述待定位区域的区域视觉图像;若所述平面图像位置与预设的边缘图像位置不匹配,则确定所述区域视觉图像上与所述待定位区域匹配的全部预选位置,并依次检测所述预选位置在所述区域视觉图像上的第三图像特征是否与所述可定位特征匹配;其中,所述预选位置为满足高度阈值条件的位置;若所述预选位置在所述区域视觉图像上的第三图像特征与所述可定位特征匹配,则将所述预选位置作为第一定位点位置,并执行所述根据所述第一定位点位置在所述区域视觉图像中进行TOF定位得到所述待定位区域的目标定位的步骤;若所述预选位置在所述区域视觉图像上的第三图像特征与所述可定位特征不匹配,则基于预设第二更新规则和所述区域视觉图像更新所述区域视觉图像,所述基于预设第二更新规则和所述区域视觉图像更新所述区域视觉图像的步骤,包括:确定所述区域视觉图像上与所述待定位区域匹配的图像邻接位置,并确定所述图像邻接位置的邻接平面特征;其中,所述图像邻接位置包括邻接所述待定位区域和所述区域视觉图像的边缘,且包括单一平面特征的位置;确定所述平面特征与所述邻接平面特征的高度差值,基于所述高度差值和预设第二更新规则更新所述区域视觉图像;其中,预设所述第二更新规则为朝图像邻接位置的方向重新获取所述待定位区域且满足所述高度差值的区域视觉图像。
7.一种基于视觉和TOF的定位设备,其特征在于,所述基于视觉和TOF的定位设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于视觉和TOF的定位程序,所述基于视觉和TOF的定位程序被所述处理器执行时实现如权利要求1至5中任一项所述基于视觉和TOF的定位方法的步骤。
8.一种存储介质,其特征在于,所述存储介质上存储有基于视觉和TOF的定位程序,所述基于视觉和TOF的定位程序被处理器执行时实现如权利要求1至5中任一项所述基于视觉和TOF的定位方法的步骤。
CN202311380783.6A 2023-10-24 2023-10-24 基于视觉和tof的定位方法、装置、设备及存储介质 Active CN117115262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311380783.6A CN117115262B (zh) 2023-10-24 2023-10-24 基于视觉和tof的定位方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311380783.6A CN117115262B (zh) 2023-10-24 2023-10-24 基于视觉和tof的定位方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117115262A CN117115262A (zh) 2023-11-24
CN117115262B true CN117115262B (zh) 2024-03-26

Family

ID=88811412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311380783.6A Active CN117115262B (zh) 2023-10-24 2023-10-24 基于视觉和tof的定位方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117115262B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991439A (zh) * 2019-12-02 2021-06-18 宇龙计算机通信科技(深圳)有限公司 定位目标物体的方法、装置、电子设备及介质
CN114450717A (zh) * 2019-10-07 2022-05-06 Oppo广东移动通信有限公司 用于增强现实应用的遮挡和碰撞检测
CN115439536A (zh) * 2022-08-18 2022-12-06 北京百度网讯科技有限公司 视觉地图更新方法、装置及电子设备
CN116563384A (zh) * 2023-03-28 2023-08-08 联想(北京)有限公司 一种图像采集装置标定方法、设备及计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2489668A (en) * 2011-03-28 2012-10-10 Delaval Holding Ab A method and apparatus for locating the teats of an animal
US20220308228A1 (en) * 2019-05-21 2022-09-29 Starship Technologies Oü System and method for robot localisation in reduced light conditions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114450717A (zh) * 2019-10-07 2022-05-06 Oppo广东移动通信有限公司 用于增强现实应用的遮挡和碰撞检测
CN112991439A (zh) * 2019-12-02 2021-06-18 宇龙计算机通信科技(深圳)有限公司 定位目标物体的方法、装置、电子设备及介质
CN115439536A (zh) * 2022-08-18 2022-12-06 北京百度网讯科技有限公司 视觉地图更新方法、装置及电子设备
CN116563384A (zh) * 2023-03-28 2023-08-08 联想(北京)有限公司 一种图像采集装置标定方法、设备及计算机设备

Also Published As

Publication number Publication date
CN117115262A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN112017251B (zh) 标定方法、装置、路侧设备和计算机可读存储介质
CN109275093A (zh) 基于uwb定位与激光地图匹配的定位方法和移动终端
CN111123912B (zh) 行车定位坐标的标定方法和装置
CN112489091B (zh) 一种基于直瞄模板的全捷联图像导引头目标跟踪方法
CN112444374B (zh) 一种基于光学跟踪测量设备伺服系统的跟踪评估方法
CN113093128A (zh) 用于标定毫米波雷达的方法、装置、电子设备及路侧设备
EP2755046A1 (en) System and method for autotilting a ground-mapping radar
CN108318458B (zh) 一种适用于不同天气条件下的室外典型地物pBRDF的测量方法
CN117115262B (zh) 基于视觉和tof的定位方法、装置、设备及存储介质
CN106780323B (zh) 一种基于智能手机的农情采集与实时更新方法及系统
CN115265544A (zh) 基于视觉地图的定位方法及装置
US20180313650A1 (en) Fixing magnetometer based azimuth according to sun positioning
CN114114272A (zh) 一种基于双偏振天气雷达的人工防雹作业指挥方法
CN110929691B (zh) 一种冰层检测方法、装置、设备及可读存储介质
CN113763457B (zh) 落差地形的标定方法、装置、电子设备和存储介质
CN114648575A (zh) 一种基于orb算法的轨道边坡位移双目视觉检测方法及系统
US20100109942A1 (en) Method for Processing Measured Vertical Profiles of the Power of the Echoes Returned Following a Transmission of Radar Signals
CN116125488A (zh) 目标追踪方法、信号融合方法、装置、终端和存储介质
US7239265B2 (en) Method for evaluating and controlling a radar installation
CN114859337A (zh) 数据处理方法、装置、电子设备、计算机存储介质
CN113168530A (zh) 目标检测设备及方法、成像装置和可移动平台
CN117495933B (zh) 基于视差修正的光电望远镜外挂镜头图像实时配准方法
CN113721249A (zh) 一种管道内缺陷检测方法、系统及设备
US20230274462A1 (en) System and method for camera calibration
EP4067820A1 (en) Survey data processing apparatus, survey data processing method and survey data processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant