CN116499470B - 环视相机定位系统优化控制方法、装置及系统 - Google Patents

环视相机定位系统优化控制方法、装置及系统 Download PDF

Info

Publication number
CN116499470B
CN116499470B CN202310773869.9A CN202310773869A CN116499470B CN 116499470 B CN116499470 B CN 116499470B CN 202310773869 A CN202310773869 A CN 202310773869A CN 116499470 B CN116499470 B CN 116499470B
Authority
CN
China
Prior art keywords
camera
area
mark
marks
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310773869.9A
Other languages
English (en)
Other versions
CN116499470A (zh
Inventor
李涛
孙波
陈欧美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhongde Ruibo Intelligent Technology Co ltd
Original Assignee
Suzhou Zhongde Ruibo Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhongde Ruibo Intelligent Technology Co ltd filed Critical Suzhou Zhongde Ruibo Intelligent Technology Co ltd
Priority to CN202310773869.9A priority Critical patent/CN116499470B/zh
Publication of CN116499470A publication Critical patent/CN116499470A/zh
Application granted granted Critical
Publication of CN116499470B publication Critical patent/CN116499470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开一种环视相机定位系统优化控制方法、装置及系统,该优化控制方法步骤包括:S01.对环视相机采集到的待测环境区域的图像进行处理,得到待测环境区域的地图以及各个标记的初始位置;S02.对地图中机器人需经过区域的目标区域进行遍历,以根据机器人经过地图中各目标区域时相对于各可见标记的位置计算定位精度评估值;S03.根据定位精度评估值进行定位精度评估并优化当前目标环境区域内各标记的布置。本发明具有实现方法简单、成本低、控制精度以及可靠性高、灵活性强等优点。

Description

环视相机定位系统优化控制方法、装置及系统
技术领域
本发明涉及移动定位技术领域,尤其涉及一种环视相机定位系统优化控制方法、装置及系统。
背景技术
环视相机,也即为全景相机,通常是由多个相机分布安装于车辆前后左右等多点构成,或者采用多个相机集中(传感器法向量)非平行安装构成,典型的如FLIR ladybug3全景系统,因而具有视场角大等特点,在安防、汽车辅助驾驶、消费、机器人等均有大量应用。为了构成全景或者环视系统,现有技术中通常是将多个相机得到的图像进行拼接,识别出全景图像中的自然环境特征后,再将相机间的重叠部分去掉,最终构成一个完整无重叠的环视或者全景图像。而自然环境特征识别以及拼接处理的计算密集度、复杂度均较高,使得必须依赖于高性能的处理器来处理,导致实现成本高、计算量大,若进一步利用该类环视系统实现机器人自身位置定位,会导致定位实现复杂以及定位效率低,且往往难以兼顾定位精度以及定位效率。
将环视相机搭载在移动载体上即可实现移动定位,现有技术中针对于如地面移动机器人的移动定位,通常都是直接采用传统基于视觉感知的定位方式,即通过采用相机采集机器人周围的环境图像,提取自然环境中的特征后,借助SLAM算法最终解算出机器人的位姿,但是该类方式需要进行大量的计算处理,且自然特征易受环境等的影响,还会存在不稳定不可靠等问题。而例如无人割草机、扫地机器人等地面移动机器人在运行过程中其运行环境通常是固定的,对于运行在固定环境下的定位,可以利用固定运行环境中的信息为定位提供一定的先验信息,如可以通过预先在运行环境中布置标记,利用标记的位置辅助完成移动机器人在移动过程中的定位。但是利用标记辅助实现移动定位的过程中,标记布置的合理性会直接影响定位的效果,例如,如果标记在运行环境中布置分布不均匀、布置位置不合理等致使环视相机在移动过程中无法采集到所有标记的图像,或者环视相机虽然能够采集到标记图像,但是所采集到的标记图案缺失严重,均会导致无法利用标记的位置信息辅助实现定位。
发明内容
本发明要解决的技术问题就在于:针对现有技术存在的技术问题,本发明提供一种实现方法简单、成本低、控制精度以及可靠性高、灵活性强的环视相机定位系统优化控制方法、装置及系统,能够实现环视相机定位系统的优化控制调整,提高环视相机定位系统的定位精度。
为解决上述技术问题,本发明提出的技术方案为:
一种环视相机定位系统优化控制方法,所述环视相机定位系统包括环视相机以及处理单元,所述环视相机搭载在移动机器人上以采集待测环境区域及预先布置的标记的图像,由所述处理单元根据所述环视相机采集到的各标记相对于环视相机的位姿实现定位,该优化控制方法步骤包括:
S01.获取环视相机采集到的待测环境区域的图像进行处理,处理后得到待测环境区域的地图以及各个标记的初始位置;
S02.对待测环境区域的地图中机器人需要经过的各目标区域进行遍历,根据遍历过程中机器人经过地图中各目标区域时相对于各可见标记的位置计算得到定位精度评估值;
S03.根据所述定位精度评估值评估是否需要优化待测环境区域内标记的布置,并根据评估结果控制优化待测环境区域内标记的布置。
进一步的,所述步骤S02中根据待测环境区域的地图中机器人需要经过的各目标区域的位置点与各可见标记的位置,按照下式计算定位精度评估值CDOP:
其中,,/>,/>为第i个相机可见标记的水平位置坐标,/>为机器人需要经过的目标区域中各位置点的水平位置坐标,/>,CDOP越大对应表示标记布局越差。
进一步的,所述步骤S03中,当判断到所述定位精度评估值大于预设阈值时,判定当前位置需要优化标记的布置,通过增加布置标记以使得所述定位精度评估值满足预设精度要求。
进一步的,遍历过程中,每次遍历时判断当前位置对应的所述定位精度评估值是否大于预设阈值,若判断到当前位置对应的所述定位精度评估值大于预设评估阈值,则计算当前位置与上一个判断到的所述定位精度评估值大于预设阈值的位置之间的距离差,如果所述距离差在预设范围(比如机器人的工作半径)内,则将当前位置与上一个位置合并形成待优化区域,遍历完待检测区域后形成一个或多个待优化区域;通过在每个所述待优化区域的中心区域增加一个标记以完成表记优化,并输出增加标记的位置;返回步骤S02以重新遍历判断待检测区域内的所述定位精度评估值,直至待检测区域内所有位置的所述定位精度评估值均满足预设精度要求。
进一步的,还包括计算各个标记需要的特征图案的面数,步骤包括:计算当前目标环境区域的地图在各顶点位置的覆盖角度θ,并按照式n=[]计算出各顶点位置处布置的标记的平面数n,其中/>为相机可检测特征图案的角度阈值,[ ]表示向上取整,输出各顶点位置处标记所具有的平面数n,以在各顶点位置处配置具有对应平面数n的标记,各标记的每个平面上设有不同的特征图案。
进一步的,所述步骤S03后还包括移动定位步骤S04,包括:
S401.接收所述环视相机中各个相机采集到的标记的图像并对各个标记上的特征码图案进行识别;
S402.根据识别出的特征图像计算识别出的各图案相对于对应相机的位姿信息;
S403.根据各个图案相对于对应相机的位姿信息,计算出环视相机定位系统当前位姿和各个标记的位姿。
进一步的,所述步骤S402中,根据相机内参以及标记实际尺寸计算各个图案相对于对应相机的位姿信息{},其中/>表示tk时刻第Mj个图案相对第Ci个相机的包含位姿信息的欧氏空间转换矩阵, i=1,...,I,I表示环视相机中相机的个数,j=1,...,J,J表示环视相机能够探测到的标记的个数,C1表示主相机;所述步骤S403具体按照下式计算出移动机器人当前位姿/>和标记图案Mj在世界坐标系下的位姿/>
其中,为tk时刻世界坐标系下包含第Ci个相机位姿信息的欧氏空间转换矩阵,/>为主相机C1与第Ci个相机之间的空间转换矩阵,/>为tk时刻世界坐标系下包含主相机C1位姿信息的欧氏空间转换矩阵,/>为tk时刻世界坐标系下包含移动机器人v位姿信息的欧氏空间转换矩阵,/>为环视相机与移动机器人之间的欧氏空间转换矩阵,/>为第Mj个图案在世界坐标系下包含位姿信息的欧氏空间转换矩阵,/>为tk时刻观测噪声协方差矩阵。
一种环视相机定位系统优化控制装置,所述环视相机定位系统包括环视相机以及处理单元,所述环视相机搭载在移动机器人上以采集待测环境区域内预先在指定位置布置的标记图像,由所述处理单元根据所述环视相机采集到的各标记相对于环视相机的位姿实现定位,所述优化控制装置包括:
初始位置获取模块,获取机器人在待测环境区域中运行时,获取环视相机采集到的待测环境区域的图像进行处理,处理后得到待测环境区域的地图以及各个标记的初始位置;
评估值计算模块,用于对待测环境区域的地图中机器人需要经过的各目标区域进行遍历,根据遍历过程中机器人经过地图中各目标区域时相对于各可见标记的位置计算得到定位精度评估值;
优化模块,用于根据所述定位精度评估值评估是否需要优化各标记的布置,并根据评估结果控制优化当前目标环境区域内标记的布置。
一种环视相机定位系统优化控制装置,包括处理器以及存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序以执行如上述方法。
一种环视相机定位系统优化控制系统,包括:
环视相机,搭载于移动机器人上;
如上述环视相机定位系统优化控制装置;
多个标记,布置于目标环境区域中指定位置处,各个标记包括一个以上的平面,每个平面上设有不同的特征图案
与现有技术相比,本发明的优点在于:
1、本发明针对于结合环视相机定位系统与预先布置的标记实现移动地位的方式,通过获取目标环境区域的地图以及各个标记的初始位置,依据环视相机中各相机所在位置与各相机所测量到的各可见标记的位置计算出一个定位精度评估值,以利用环视相机中各相机所在位置相对于各相机所测量到的各可见标记位置评价当前的定位效果,进而依据该定位精度评估值评估是否需要优化当前目标环境区域内各标记的布置,可以实现标记布置合理性的量化评估,同时借助于对标记布置合理性的量化评估实现对标记布置方式进行优化调整,从而提高环视相机定位系统的定位精度。
2、本发明进一步借鉴传统DOP的思想,本实施例通过基于矩阵的迹定义定位精度评估值CDOP,根据机器人工作区域的位置以及该位置可见标记位置计算出定位精度评估值CDOP,以充分利用该定位精度评估值CDOP评估标记布置对于环视相机定位系统定位精度的影响,能够有效精准量化标记配置的合理性,从而大大提高环视相机系统定位的精度以及可靠性。
3、本发明进一步通过不断遍历待检测区域中机器人需要经过的区域,利用遍历迭代的方式查找出不符合精度要求的区域,并将在一定距离范围内的区域合并形成一个待优化区域,进而通过在待优化区域的中心区域增加设置标记的方式,使得可以不断的消除待检测区域中定位精度不符合要求的区域,确保环视相机系统在整个待测环境区域中的定位精度以及可靠性。
附图说明
图1是本实施例地面移动机器人用环视相机定位系统的结构示意图。
图2是本实施例环视相机定位系统优化控制方法的实现流程示意图。
图3是本发明在具体应用实施例中标记布置优化的原理示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述,但并不因此而限制本发明的保护范围。
本实施例环视相机定位系统如图1所示,包括环视相机以及处理单元,环视相机包括多个具有不同视场角的相机且搭载在移动机器人上,以用于采集待测环境区域及预先布置在指定位置的标记的图像,标记布置时尽可能布置在目标区域最外侧的特殊位置,比如转角、顶点等;各个布置在待测环境区域内的标记上分别在一个以上的视角方向设置不同的预设特征码图案,图案可采用如二维码等的特征码,由处理单元根据环视相机采集到的各标记相对于环视相机的位姿实现定位,使得无需识别和依赖自然特征,仅依赖识别出来的特定特征码图案进行位姿计算,从而可以大大降低所需计算量。环视相机具体采用M个相机(相机1~相机M)实现,M>=2,各相机在配置时使得各自的环视方向视场不同,通过设置多个相机形成环视系统以增加地面移动机器人的水平视场角。
如图2所示,本实施例环视相机定位系统优化控制方法的步骤包括:
S01.获取环视相机采集到的待测环境区域的图像进行处理,处理后得到待测环境区域的地图以及各个标记的初始位置;
S02.对待测环境区域的地图中机器人需要经过的各目标区域进行遍历,根据遍历过程中机器人经过地图中各目标区域时相对于各可见标记的位置计算得到定位精度评估值;
S03.根据定位精度评估值评估是否需要优化待测环境区域内各标记的布置,并根据评估结果控制优化待测环境区域内标记的布置。
针对于结合环视相机定位系统与预先布置的标记实现移动地位的方式,本实施例通过获取待测环境区域的地图以及各个标记的初始位置,依据环视相机中各相机所在位置与各相机所测量到的各可见标记(相机能够采集到的标记)位置计算出一个定位精度评估值,以利用环视相机所在位置相对于各相机所测量到的各可见标记的位置评价当前的定位效果,进而依据该定位精度评估值评估是否需要优化当前环境区域内各标记的布置,可以实现标记布置合理性的量化评估,同时借助于对标记布置合理性的量化评估实现对标记布置方式进行优化调整,从而提高环视相机定位系统的定位精度以及可靠性。
由于待测环境区域内可能会存在无需机器人经过的区域,例如存在干扰物、障碍物等的区域,去除上述干扰物、障碍物等区域后即为机器人需要经过的目标区域。机器人需要经过的目标区域具体可以依据待测环境区域内环境状况确定。
预先将多个标记布置在目标环境区域后,利用环视相机采集待测环境区域的图像,本实施例步骤S01中通过对采集到的待测环境区域的图像进行图像处理,分割出待测环境区域的地图,同时确定出各个标记的位置坐标,即得到各个标记的初始位置,后续再根据各标记的位置计算定位精度评估值。
假设为相机可见的第i个标记的水平位置坐标,/>为机器人需要经过目标区域中各位置点,相机测量得到的距离标记的距离为/>,则有:
(1)
在相机近似位置,对上述方程进行线性化,则有:
(2)
当有k个标记可见时,则写成矩阵形式有,其中:
(3)
(4)
(5)
则可得:
(6)
由上述式(6)可得,矩阵能够反映测量误差对定位精度的影响,该矩阵越大,则定位误差越大,因此可以利用该矩阵的迹的大小衡量对定位精度的影响。
本实施例具体定义定位精度评估值CDOP:
(7)
即定位精度评估值CDOP为矩阵迹的大小,CDOP的大小与可识别标记到相机的多矢量单位化后的面积相关,面积越大则CDOP越小,则CDOP越大对应表示标记布局越差。本实施例步骤S02中根据待测环境区域的地图中机器人需要经过的各目标位置与各可见标记的位置,具体按照式(7)计算定位精度评估值CDOP,进而基于该定位精度评估值CDOP评估当前标记布置的合理性,以判断是否需要对当前标记布置进行优化调整。考虑到定位精度评估值CDOP的大小与可识别标记到相机的多矢量单位化后的面积相关,优选的,初始布置标记时,在相机可识别距离以内尽可能在相机的四周均匀布设标记,以避免仅在一个方向上有标记。
传统DOP(Dilution of Precision,精度因子)是用于评估GPS等卫星导航卫星构型对定位精度的影响,借鉴传统DOP的思想,本实施例通过基于矩阵的迹定义定位精度评估值CDOP,获取到环视相机采集到的标记位置相对于各相机之间的距离后计算出定位精度评估值CDOP,以充分利用该定位精度评估值CDOP评估标记布置对于环视相机定位系统定位精度的影响,能够有效精准量化标记配置的合理性,从而大大提高环视相机系统定位的精度以及可靠性。
本实施例步骤S03中当判断到定位精度评估值大于预设阈值时,判定当前位置需要优化标记的布置,通过增加布置标记以使得定位精度评估值满足预设精度要求,增加布置标记即为在指定位置增设标记,各平面上设置有不同的预设特征码图案。
如图2所示,本实施例中当判断到需要优化各标记的布置时包括:遍历过程中,每次遍历时判断当前位置对应的所述定位精度评估值是否大于预设阈值,若判断到当前位置对应的所述定位精度评估值大于预设评估阈值,则计算当前位置与上一个判断到的所述定位精度评估值大于预设阈值的位置之间的距离差,如果所述距离差在预设范围(比如机器人的工作半径)内,则将当前位置与上一个位置合并形成待优化区域,遍历完待检测区域后形成一个或多个待优化区域;通过在每个待优化区域的中心区域增加一个标记以完成表记优化,并输出增加标记的位置;返回步骤S02以重新遍历判断待检测区域内的所述定位精度评估值,直至待检测区域内所有位置的所述定位精度评估值均满足预设精度要求。本实施例通过不断遍历待检测区域中机器人需要经过的区域,利用遍历迭代的方式查找出不符合精度要求的区域,并将在一定距离范围内的区域合并形成一个待优化区域,进而通过在待优化区域的中心区域增加设置标记的方式,使得可以不断的消除待检测区域中定位精度不符合要求的区域,确保环视相机系统在整个待测环境区域中的定位精度以及可靠性。
以如图3所示的标记布置为例,当前待测环境区域为四边形区域,预先分别在四个顶点上设置一个标记(L1~L4),按照步骤S1获取到各个标记的初始位置,步骤S2机器人按照预设遍历路线(如图3中虚线所示)遍历待测环境区域,每次遍历时根据环视相机中各个相机相对于各相机可见的各个标记的位置,进而计算出定位精度评估值CDOP,如果当前得到的定位精度评估值CDOP大于预设阈值,则判定需要优化标记的布置;同时在遍历过程中,将定位精度评估值CDOP大于预设阈值且距离在预设范围内的各个位置区域合并为一个待优化区域(如图3中的中心区域的矩形区域所示),以迭代查找出需要优化的待优化区域;通过在该待优化区域的中心位置增加一个标记(如图3中标记L5),完成当前次遍历的标记布置优化。按照上述步骤重新执行下一次遍历,直至待测环境区域内各位置区域的定位精度评估值CDOP均大于预设阈值,即待测环境区域内各位置区域的定位精度均满足预设精度要求。
如图2所示,本实施例中还包括:计算当前目标环境区域的地图在各顶点位置的覆盖角度θ,并按照式n=[]计算出各顶点位置处布置的标记的平面数n,其中/>为相机可检测特征图案的角度阈值,[ ]表示向上取整,输出各顶点位置处标记所具有的平面数n,以在各顶点位置处配置具有对应平面数n的标记,各标记的每个平面上设有不同的特征图案。各标记可能在两个或多个的视角方向设置不同的预设特征码图案,以使得在不能视角方向均能够被采集到,则各标记所设置的平面数也会影响定位精度。对各顶点位置处的标记,本实施例通过按照n=[/>]计算出所需的平面数,以使得在各顶点位置布置具有相应的n个平面数的标记,可以适用于不同形状结构的环境区域,尽可能的确保各顶点位置标记在环视相机定位系统移动过程中均能够被采集到,从而进一步确保标记布置的合理性,提高环视相机定位系统的定位精度以及可靠性。以图3为例,其中θ=360°,/>=90°,因而对应的n=4,即出各顶点位置处需布置具有4个平面的标记。
本实施例步骤S03后还包括移动定位步骤S04,步骤包括:
S401.接收环视相机中各个相机采集到的标记的图像并对各个标记上的特征码图案进行识别;
S402.根据识别出的特征图像计算识别出的各图案相对于对应相机的位姿信息;
S403.根据各个图案相对于对应相机的位姿信息,计算出环视相机定位系统当前位姿和各个标记的位姿。
由于各标记在固定运行环境下的位置是固定的,标记在不同视角方向设置有不同的预设特征码图案,则环视相机定位系统在不同位置时所能够采集到的各标记的图案是不同的,因此根据识别出的各个标记上的特征码图案即可计算出移动机器人当前位姿输出。本实施例通过充分利用环视相机以及布置的标记,仅需根据各标记相对于相机的位姿信息即可以实现定位,可以避免进行图像拼接过程以及复杂的图像处理过程,能在确保定位精度的前提下,大大降低数据处理量、提高定位效率。
本实施例步骤S402中,具体根据相机内参以及标记实际尺寸计算各个图案相对于对应相机的位姿信息{},其中/>表示tk时刻第Mj个图案相对第Ci个相机的包含位姿信息的欧氏空间转换矩阵, i=1,...,I,I表示环视相机中相机的个数,j=1,...,J,J表示环视相机能够探测到的标记的个数,C1表示主相机;步骤S403具体按照下式计算出移动机器人当前位姿/>和标记图案Mj在世界坐标系下的位姿/>
其中,为tk时刻世界坐标系下包含第Ci个相机位姿信息的欧氏空间转换矩阵,/>为主相机C1与第Ci个相机之间的空间转换矩阵,/>为tk时刻世界坐标系下包含主相机C1位姿信息的欧氏空间转换矩阵,/>为tk时刻世界坐标系下包含移动机器人v位姿信息的欧氏空间转换矩阵,/>为环视相机与移动机器人之间的欧氏空间转换矩阵,/>为图案Mj在世界坐标系下包含位姿信息的欧氏空间转换矩阵,/>为tk时刻观测噪声协方差矩阵。
本实施例环视相机定位系统优化控制装置,环视相机定位系统包括环视相机以及处理单元,环视相机搭载在移动机器人上以采集待测环境区域及预先在指定位置布置的标记的图像,由处理单元根据环视相机采集到的各标记相对于环视相机的位姿实现定位,优化控制装置包括:
初始位置获取模块,用于获取机器人在待测环境区域中运行时,获取环视相机采集到的待测环境区域的图像进行处理,处理后得到目标环境区域的地图以及各个标记的初始位置;
评估值计算模块,用于对待测环境区域的地图中机器人需要经过的各目标位置进行遍历,以根据机器人经过地图中各目标位置时相对于各可见标记的位置计算得到定位精度评估值;
优化判断模块,用于根据定位精度评估值评估是否需要优化各标记的布置,并根据评估结果控制优化待测环境区域内标记的布置。
本实施例中,还包括优化策略反馈模块,用于当判断到需要优化各标记的布置时,反馈优化调整策略,优化调整策略包括增设标记策略:遍历过程中,每次遍历时判断当前位置对应的所述定位精度评估值是否大于预设阈值,若判断到当前位置对应的所述定位精度评估值大于预设评估阈值,则计算当前位置与上一次判断到的所述定位精度评估值大于预设阈值的目标位置之间的距离差,如果所述距离差在预设范围内,则将当前位置与目标位置合并形成待优化区域,遍历完待检测区域后形成一个或多个待优化区域;通过在每个待优化区域的中心区域增加一个标记以完成优化,使得提升系统在待优化区域的定位精度,并输出增加标记的位置。优化调整策略还包括顶点标记优化策略,包括:计算当前目标环境区域的地图在各顶点位置的覆盖角度θ,并按照式n=[]计算出各顶点位置处布置的标记的平面数n,其中/>为相机可检测特征图案的角度阈值,[ ]表示向上取整,输出各顶点位置处标记所具有的平面数n。上述优化策略当然还可以根据实际需求进行选择配置。
本实施例环视相机定位系统优化控制装置与上述环视相机定位系统优化控制方法为一一对应,在此不再一一赘述。
在另一实施例中,本发明环视相机定位系统优化控制装置还可以为:包括处理器以及存储器,存储器用于存储计算机程序,处理器用于执行计算机程序以执行如上述方法。
本实施例还提供环视相机定位系统优化控制系统,包括:
环视相机,搭载于移动机器人上;
如上述环视相机定位系统优化控制装置;
多个标记,布置于目标环境区域中指定位置处,各个标记包括一个以上的平面,每个平面上设有不同的特征图案。
上述环视相机定位系统优化控制装置可以布置于移动机器人上,以在移动机器人移动过程中实时反馈标记布置的状态,也可以布置在远程控制端,具体可以根据实际需求配置。
上述只是本发明的较佳实施例,并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明。因此,凡是未脱离本发明技术方案的内容,依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均应落在本发明技术方案保护的范围内。

Claims (9)

1.一种环视相机定位系统优化控制方法,所述环视相机定位系统包括环视相机以及处理单元,所述环视相机搭载在移动机器人上以采集待测环境区域及预先布置的标记的图像,由所述处理单元根据所述环视相机采集到的各标记相对于环视相机的位姿实现定位,其特征在于,该优化控制方法步骤包括:
S01.获取环视相机采集到的待测环境区域的图像进行处理,处理后得到待测环境区域的地图以及各个标记的初始位置;
S02.对待测环境区域的地图中机器人需要经过的各目标区域进行遍历,根据机器人遍历过程中经过地图中各目标区域时相对于各可见标记的位置计算得到定位精度评估值;
S03.根据所述定位精度评估值评估是否需要优化待测环境区域内标记的布置,并根据评估结果控制优化待测环境区域内标记的布置;
所述步骤S02中根据待测环境区域的地图中机器人需要经过的各目标区域的位置点与各可见标记的位置,按照下式计算定位精度评估值CDOP:
其中,,/>,/>为第i个相机可见标记的水平位置坐标,/>为机器人需要经过的目标区域中各位置点的水平位置坐标,/>,CDOP越大对应表示标记布局越差。
2.根据权利要求1所述的环视相机定位系统优化控制方法,其特征在于,所述步骤S03中,当判断到所述定位精度评估值大于预设评估阈值时,判定当前位置需要优化标记的布置,通过增加布置标记以使得所述定位精度评估值满足预设精度要求。
3.根据权利要求2所述的环视相机定位系统优化控制方法,其特征在于,遍历过程中,每次遍历时判断当前位置对应的所述定位精度评估值是否大于预设阈值,若判断到当前位置对应的所述定位精度评估值大于预设评估阈值,则计算当前位置与上一个判断到的所述定位精度评估值大于预设阈值的位置之间的距离差,如果所述距离差在预设范围内,则将当前位置与上一个位置合并形成待优化区域,遍历完待检测区域后形成一个或多个待优化区域;通过在每个所述待优化区域的中心区域增加一个标记以完成标记优化,并输出增加标记的位置;返回步骤S02以重新遍历判断待检测区域内的所述定位精度评估值,直至待检测区域内所有位置的所述定位精度评估值均满足预设精度要求。
4.根据权利要求3所述的环视相机定位系统优化控制方法,其特征在于,还包括计算各个标记需要的特征图案的面数,步骤包括:计算当前目标环境区域的地图在各顶点位置的覆盖角度θ,并按照式n=[]计算出各顶点位置处布置的标记的平面数n,其中/>为相机可检测特征图案的角度阈值,[ ]表示向上取整,输出各顶点位置处标记所具有的平面数n,以在各顶点位置处配置具有对应平面数n的标记,各标记的每个平面上设有不同的特征图案。
5.根据权利要求1~4中任意一项所述的环视相机定位系统优化控制方法,其特征在于,所述步骤S03后还包括移动定位步骤S04,包括:
S401.接收所述环视相机中各个相机采集到的标记的图像并对各个标记上的特征码图案进行识别;
S402.根据识别出的特征图像计算识别出的各图案相对于对应相机的位姿信息;
S403.根据各个图案相对于对应相机的位姿信息,计算出环视相机定位系统当前位姿和各个标记的位姿。
6.根据权利要求5所述的环视相机定位系统优化控制方法,其特征在于,所述步骤S402中,根据相机内参以及标记实际尺寸计算各个图案相对于对应相机的位姿信息{},其中/>表示tk时刻第Mj个图案相对第Ci个相机的包含位姿信息的欧氏空间转换矩阵, i=1,...,I,I表示环视相机中相机的个数,j=1,...,J,J表示环视相机能够探测到的标记的个数,C1表示主相机;所述步骤S403具体按照下式计算出移动机器人当前位姿/>和标记图案Mj在世界坐标系下的位姿/>
其中,为tk时刻世界坐标系下包含第Ci个相机位姿信息的欧氏空间转换矩阵,/>为主相机C1与第Ci个相机之间的空间转换矩阵,/>为tk时刻世界坐标系下包含主相机C1位姿信息的欧氏空间转换矩阵,/>为tk时刻世界坐标系下包含移动机器人v位姿信息的欧氏空间转换矩阵,/>为环视相机与移动机器人之间的欧氏空间转换矩阵,/>为图案Mj在世界坐标系下包含位姿信息的欧氏空间转换矩阵,/>为tk时刻观测噪声协方差矩阵。
7.一种环视相机定位系统优化控制装置,所述环视相机定位系统包括环视相机以及处理单元,所述环视相机搭载在移动机器人上以采集待测环境区域及预先在指定位置布置的标记的图像,由所述处理单元根据所述环视相机采集到的各标记相对于环视相机的位姿实现定位,其特征在于,所述优化控制装置包括:
初始位置获取模块,获取机器人在待测环境区域中运行时,获取环视相机采集到的待测环境区域的图像进行处理,处理后得到待测环境区域的地图以及各个标记的初始位置;
评估值计算模块,用于对待测环境区域的地图中机器人需要经过的各目标区域进行遍历,根据遍历过程中机器人经过地图中各目标区域时相对于各可见标记的位置计算得到定位精度评估值;
优化模块,用于根据所述定位精度评估值评估是否需要优化各标记的布置,并根据评估结果控制优化当前目标环境区域内标记的布置;
所述评估值计算模块中根据待测环境区域的地图中机器人需要经过的各目标区域的位置点与各可见标记的位置,按照下式计算定位精度评估值CDOP:
其中,,/>,/>为第i个相机可见标记的水平位置坐标,/>为机器人需要经过的目标区域中各位置点的水平位置坐标,/>,CDOP越大对应表示标记布局越差。
8.一种环视相机定位系统优化控制装置,包括处理器以及存储器,所述存储器用于存储计算机程序,其特征在于,所述处理器用于执行所述计算机程序以执行如权利要求1~6中任意一项所述方法。
9.一种环视相机定位系统优化控制系统,其特征在于,包括:
环视相机,搭载于移动机器人上;
如权利要求7或8所述的环视相机定位系统优化控制装置;
多个标记,布置于待测环境区域中指定位置处,各个标记包括一个以上的平面,每个平面上设有不同的特征图案。
CN202310773869.9A 2023-06-28 2023-06-28 环视相机定位系统优化控制方法、装置及系统 Active CN116499470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310773869.9A CN116499470B (zh) 2023-06-28 2023-06-28 环视相机定位系统优化控制方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310773869.9A CN116499470B (zh) 2023-06-28 2023-06-28 环视相机定位系统优化控制方法、装置及系统

Publications (2)

Publication Number Publication Date
CN116499470A CN116499470A (zh) 2023-07-28
CN116499470B true CN116499470B (zh) 2023-09-05

Family

ID=87330557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310773869.9A Active CN116499470B (zh) 2023-06-28 2023-06-28 环视相机定位系统优化控制方法、装置及系统

Country Status (1)

Country Link
CN (1) CN116499470B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844624A (zh) * 2016-03-18 2016-08-10 上海欧菲智能车联科技有限公司 动态标定系统、动态标定系统中的联合优化方法及装置
CN107180215A (zh) * 2017-05-31 2017-09-19 同济大学 基于库位和二维码的停车场自动建图与高精度定位方法
CN108986129A (zh) * 2018-06-06 2018-12-11 上海商泰汽车信息系统有限公司 标定板检测方法
CN109668568A (zh) * 2019-01-25 2019-04-23 天津煋鸟科技有限公司 一种利用环视全景成像进行定位导航的方法
CN109905612A (zh) * 2019-03-25 2019-06-18 山东省交通规划设计院 便携式公路设计全景影像外业调查系统及方法
CN111179339A (zh) * 2019-12-13 2020-05-19 深圳市瑞立视多媒体科技有限公司 基于三角测量的坐标定位方法、装置、设备及存储介质
CN113276106A (zh) * 2021-04-06 2021-08-20 广东工业大学 一种攀爬机器人空间定位方法及空间定位系统
CN113804222A (zh) * 2021-11-16 2021-12-17 浙江欣奕华智能科技有限公司 一种定位精度的测试方法、装置、设备及存储介质
EP4020392A1 (en) * 2020-12-24 2022-06-29 Stjepan Cajic Optical tracking system and marker for optical tracking system
CN115456898A (zh) * 2022-09-09 2022-12-09 雄狮汽车科技(南京)有限公司 停车场的建图方法、装置、车辆及存储介质
CN116205986A (zh) * 2022-12-28 2023-06-02 武汉极目智能技术有限公司 车载环视相机外参的标定方法、装置、计算机设备及介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844624A (zh) * 2016-03-18 2016-08-10 上海欧菲智能车联科技有限公司 动态标定系统、动态标定系统中的联合优化方法及装置
CN107180215A (zh) * 2017-05-31 2017-09-19 同济大学 基于库位和二维码的停车场自动建图与高精度定位方法
CN108986129A (zh) * 2018-06-06 2018-12-11 上海商泰汽车信息系统有限公司 标定板检测方法
CN109668568A (zh) * 2019-01-25 2019-04-23 天津煋鸟科技有限公司 一种利用环视全景成像进行定位导航的方法
CN109905612A (zh) * 2019-03-25 2019-06-18 山东省交通规划设计院 便携式公路设计全景影像外业调查系统及方法
CN111179339A (zh) * 2019-12-13 2020-05-19 深圳市瑞立视多媒体科技有限公司 基于三角测量的坐标定位方法、装置、设备及存储介质
EP4020392A1 (en) * 2020-12-24 2022-06-29 Stjepan Cajic Optical tracking system and marker for optical tracking system
CN113276106A (zh) * 2021-04-06 2021-08-20 广东工业大学 一种攀爬机器人空间定位方法及空间定位系统
CN113804222A (zh) * 2021-11-16 2021-12-17 浙江欣奕华智能科技有限公司 一种定位精度的测试方法、装置、设备及存储介质
CN115456898A (zh) * 2022-09-09 2022-12-09 雄狮汽车科技(南京)有限公司 停车场的建图方法、装置、车辆及存储介质
CN116205986A (zh) * 2022-12-28 2023-06-02 武汉极目智能技术有限公司 车载环视相机外参的标定方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
CN116499470A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN103064417B (zh) 一种基于多传感器的全局定位导引系统及方法
CN104864889B (zh) 一种基于视觉的机器人里程计校正系统及方法
CN102997910B (zh) 一种基于地面路标的定位导引系统及方法
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN106607907A (zh) 一种移动视觉机器人及其测控方法
CN107422730A (zh) 基于视觉导引的agv运输系统及其驾驶控制方法
CN110108269B (zh) 基于多传感器数据融合的agv定位方法
CN109556616A (zh) 一种基于视觉标记的自动建图机器人建图修整方法
CN112396656B (zh) 一种视觉与激光雷达融合的室外移动机器人位姿估计方法
CN108961811A (zh) 停车场车辆定位方法、系统、移动终端及存储介质
Sujiwo et al. Monocular vision-based localization using ORB-SLAM with LIDAR-aided mapping in real-world robot challenge
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN107957725A (zh) 一种基于单磁钉的高精度自动导引车定位定向装置及方法
CN114413909A (zh) 一种室内移动机器人定位方法及系统
CN116499470B (zh) 环视相机定位系统优化控制方法、装置及系统
CN113971697A (zh) 一种空地协同车辆定位定向方法
JP2010225126A (ja) 移動経路計画装置、移動体制御装置及び移動体
CN116957360A (zh) 一种基于无人机的空间观测与重建方法及系统
CN115871660A (zh) 双模态特征融合的无人驾驶压路机避障方法及系统
Jingjing et al. Research on autonomous positioning method of UAV based on binocular vision
CN115267756A (zh) 一种基于深度学习目标检测的单目实时测距方法
CN115471555A (zh) 一种基于图像特征点匹配的无人机红外巡检位姿确定方法
CN111141252B (zh) 一种单目标定测距的方法及系统
CN113403942A (zh) 一种基于标签辅助的桥梁检测无人机视觉导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant