CN116719067B - 基准站位置变动的检测方法、设备及可读存储介质 - Google Patents
基准站位置变动的检测方法、设备及可读存储介质 Download PDFInfo
- Publication number
- CN116719067B CN116719067B CN202310992635.3A CN202310992635A CN116719067B CN 116719067 B CN116719067 B CN 116719067B CN 202310992635 A CN202310992635 A CN 202310992635A CN 116719067 B CN116719067 B CN 116719067B
- Authority
- CN
- China
- Prior art keywords
- self
- mobile device
- positioning
- visual image
- reference station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 178
- 230000008569 process Effects 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 17
- 230000007613 environmental effect Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 abstract description 31
- 230000002159 abnormal effect Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 16
- 238000013507 mapping Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 241000255969 Pieris brassicae Species 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000449 premovement Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 102000027426 receptor tyrosine kinases Human genes 0.000 description 1
- 108091008598 receptor tyrosine kinases Proteins 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/40—Correcting position, velocity or attitude
- G01S19/41—Differential correction, e.g. DGPS [differential GPS]
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/006—Control or measuring arrangements
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/006—Control or measuring arrangements
- A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请实施例公开了一种基准站位置变动的检测方法、设备及可读存储介质,当自移动设备从非工作状态切换为工作状态时行进一段距离,行进过程中,获取视觉图像和RTK定位,并根据视觉图像和RTK定位对自移动设备进行重定位。当重定位成功时,确定基准站未被移动。采用该种方案,自移动设备通过结合视觉图像和自移动设备的运动特性,来判断基准站是否被移动,无需安装额外的传感器,避免基准站被移动后导致自移动设备定位异常,实现提高自移动设备定位准确性的目的。
Description
技术领域
本申请实施例涉及割草机技术领域,特别涉及一种基准站位置变动的检测方法、设备及可读存储介质。
背景技术
实时动态载波相位差分 (Real-time kinematic,RTK)定位技术,是一种基于全球导航卫星系统(Global Navigation Satellite System,GNSS)的高精度定位方法。视觉即时定位与地图构建(Visual Simultaneous Localizationand Mapping,SLAM)技术是一种基于视觉传感器的机器人自主定位与环境地图构建方法。
机器人领域中,往往结合RTK技术和视觉SLAM技术对机器人进行定位,从而充分利用两者的优势。然而,一旦基准站被移动,则机器人定位异常。因此,需要保证基准站不被移动。常见的方式中,在基准站上安装陀螺仪或加速度传感器等,如果根据传感器检测到基准站明显运动时,则认为基准站被移动。
然而,上述的检测方式需要为基准站安装额外的传感器,成本高。
发明内容
本申请实施例提供一种基准站位置变动的检测方法、设备及可读存储介质,通过结合视觉图像和自移动设备的运动特性,来判断基准站是否被移动,无需安装额外的传感器,提高自移动设备定位的准确性。
第一方面,本申请实施例提供一种基准站位置变动的检测方法,应用于自移动设备,所述方法包括:
当自移动设备从非工作状态切换为工作状态时,控制所述自移动设备行进;
在所述自移动设备行进过程中,控制所述自移动设备获取视觉图像和实时动态载波相位差分RTK定位;
根据所述视觉图像和所述RTK定位对所述自移动设备执行重定位;
当所述自移动设备重定位成功时,确定基准站未被移动,所述基准站用于向所述自移动设备提供差分信号,以使得所述自移动设备根据所述差分信号获得RTK定位。
第二方面,本申请实施例提供一种基准站位置变动的检测装置,集成在自移动设备上,所述装置包括:
行进模块,用于当自移动设备从非工作状态切换为工作状态时,控制所述自移动设备行进;
获取模块,用于在所述自移动设备行进过程中,控制所述自移动设备获取视觉图像和实时动态载波相位差分RTK定位;
处理模块,用于根据所述视觉图像和所述RTK定位对所述自移动设备执行重定位;
确定模块,用于当所述自移动设备重定位成功时,确定基准站未被移动,所述基准站用于向所述自移动设备提供差分信号,以使得所述自移动设备根据所述差分信号获得RTK定位。
第三方面,本申请实施例提供一种自移动设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时使得所述自移动设备实现如第一方面或第一方面各种可能的实现方式所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令,所述计算机指令在被处理器执行时用于实现如上第一方面或第一方面各种可能的实现方式所述的方法。
第五方面,本申请实施例提供一种包含计算程序的计算机程序产品,所述计算机程序被处理器执行时实现如上第一方面或第一方面各种可能的实现方式所述的方法。
本申请实施例提供的基准站位置变动的检测方法、设备及可读存储介质,当自移动设备从非工作状态切换为工作状态时行进一段距离,行进过程中,获取视觉图像和RTK定位,并根据视觉图像和RTK定位对自移动设备进行重定位。当重定位成功时,确定基准站未被移动。采用该种方案,自移动设备通过结合视觉图像和自移动设备的运动特性,来判断基准站是否被移动,无需安装额外的传感器,避免基准站被移动后导致自移动设备定位异常,实现提高自移动设备定位准确性的目的。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基准站位置变动的检测方法的实施环境示意图;
图2是本申请实施例提供的基准站位置变动的检测方法的流程图;
图3是本申请实施例提供的基准站位置变动的检测方法中重定位的流程图;
图4是本申请实施例提供的基准站位置变动的检测方法中环境地图的示意图;
图5是本申请实施例提供的基准站位置变动的检测方法中第一次重定位时,将环境地图中的特征点投影到当前视觉图像的流程图;
图6是本申请实施例提供的基准站位置变动的检测方法的另一个流程图;
图7是本申请实施例提供的基准站位置变动的检测装置的示意图;
图8为本申请实施例提供的一种自移动设备的结构示意图。
具体实施方式
机器人领域中,定位技术尤为重要,精确的定位结果能够极大程度上保障自移动设备顺利完成任务以及安全性。常见的定位技术包括VSLAM定位技术、RTK定位,融合RTK的VSLAM定位等。下面,对该些定位方法分别进行介绍。
1、VSLAM定位技术。
VSLAM技术是一种基于视觉传感器的机器人自主定位与环境地图构建方法。VSLAM技术的目标是在未知环境中,通过机器人自身的移动与观测,同时估计机器人的位置和环境的地图。VSLAM技术主要使用摄像头作为传感器,通过处理摄像头拍摄的图像序列实现定位和建图功能。VSLAM技术包括如下步骤:
(1)特征提取与匹配。
机器人从摄像头拍摄的图像中提取具有区分度的特征点,然后在连续的图像之间进行特征点的匹配,以计算相邻帧之间的相对运动。
(2)运动估计。
机器人通过特征点匹配得到相邻图像之间的特征点的对应关系后,根据这些对应关系计算相邻图像之间的相对运动,该过程称之为运动估计。常用的方法包括视觉里程计(Visual Odometry,VO)、光流法等。
(3)位姿优化。
由于运动估计过程中会存在误差,因此需要对机器人的整个轨迹进行优化,以减少累积误差。常用的优化方法包括非线性优化、图优化等。
(4)地图构建。
机器人运动过程中,根据运动估计的结果将观测到的特征点投影到全局世界坐标系中,形成一个三维特征点地图,即环境地图。
(5)闭环检测。
当机器人回到之前经过的区域时,闭环检测模块识别出重复情况,并将闭环信息引入到位置优化中,以消除累积误差。其中,机器人之前经过的区域包括但不限于基站所在的区域、基站所在区域以外的区域。
(6)重定位。
与闭环检测类似,机器人按照环境地图规划路径并行进的过程中,倘若定位丢失,则重新匹配当前视觉数据与环境地图的数据来快速恢复自身的位姿。导致机器人定位丢失的原因包括:机器人运行时被搬动、机器人关机状态下被搬到其他地方后重新开机。常用的视觉重定位方法包括词袋模型(Bag of Words,BOW)等。
BOW是一种基于词袋模型的重定位方法。预先利用训练数据构建一个视觉词典,将特征点映射到视觉词汇上。重定位过程中,机器人确定当前帧和环境地图包含的各关键帧的相似度,根据相似度最大的关键帧得到重定位结果。其中,当前帧是机器人定位丢失后在当前位置拍摄的图像帧。
确定相似度的过程中,机器人确定当前帧的稀疏向量,以及各关键帧的稀疏向量。以下为清楚起见,将当前帧的稀疏向量简称为第一向量,将关键帧的稀疏向量简称为第二向量。机器人确定第一向量和各第二向量的相似度,从而得到当前帧和各关键帧的相似度。
BOW方法具有较好的重定位性能,尤其在大规模环境中表现优异。
2、RTK定位。
RTK定位是一种基于GNSS的高精度定位方法。RTK定位技术利用卫星信号中的载波相位观测值实现厘米级的定位精度,通常误差小于2厘米(cm)。因此,RTK定位技术广泛应用于测量、无人机、自动驾驶等领域。
RTK定位存在一定的局限性,比如,需要架设固定的基准站,并需要通信设备将基准站计算出的误差信息传输给机器人,才能实现厘米级的定位精度,该定位是指相对于基准站的定位。若基准站发生移动,则机器人的输出定位也会发生相应的移动,导致定位偏差。
此外,RTK定位的定位精度还会受到多路径效应、遮挡、信号干扰等因素。
3、融合RTK的VSLAM定位。
RTK定位精度高,但容易受房屋树木遮挡的影响。VSLAM定位技术精度稍差,但是不受周围环境遮挡的影响。将RTK定位和VSLAM定位相结合,充分利用两者的优势,从而提高定位和建图的准确性和可靠性。
一种结合方案中,将RTK数据作为高精度的全局定位参考,VSLAM技术提供相对运动信息,从而克服RTK定位短暂的信号中断或VSLAM技术在特征匮乏环境中的不稳定性。利用RTK数据和VSLAM的相对运动信息,通过卡尔曼(kalman)滤波、非线性优化等方案,来估计相机的位置,即机器人的位置和姿态。
由于RTK定位中,若基准站移动,则导致机器人的定位偏差。为此,当机器人采用RTK定位技术时,需要保证基准站不被移动。常见的判断方法包括如下几种:
a、监控基准站的坐标是否发送变化。
长时间监控基准站自身的坐标。例如,基于基准站自身的单点解定位,监控基准站的位置坐标。如果基准站的位置坐标发生显著变化,则认为基准站被移动。该方案的缺点是:基准站的位置坐标变化明显时才能检测出来。也就是说,只有在基准站的移动距离大于阈值距离时,才能检测出基准站被移动。倘若基准站的移动距离比较小,如1米、2米等,则无法检测出基准站发生了位移。
b、利用陀螺仪或加速度传感器检测基准站的运动状态。
该方案中,在基准站上安装陀螺仪或加速度传感器,依靠陀螺仪或加速度传感器检测基准站的运动状态。如果检测到基准站明显运动,则认为基准站被移动。该方案的缺点是:需要安装额外的传感器,且只有在基准站发生倾翻或明显运动时才能检测出来,若基准站少许平移,则无法检测出基准站发生了位移。
c、利用地磁传感器检测基准站的运动状态。
该方案中,在基准站上安装地磁传感器,地磁传感器用于检测地磁的变化。当基准站被移动时,基准站周围的磁场会发生变化,利用地磁传感器检测出基准站周围的磁场发生变化时,认为基准站被移动。该方案的缺点是:需要在基准站上安装额外的传感器,且只有在基准站角度变化才能检测出来。
d、结合机器人基站的位置,判断基准站的位置是否发生变化。
该方案中,机器人进入基站,判断当前位置和基站位置偏差的大小。当偏差比较大时,提示用户确认是基站位置变动还是基准站的位置发生变动。该方案的缺点是:需要机器人位于基站位置。即便如此,若基站处RTK信号弱,也无法判断。而且,用户搬动基站后,例如,机器人具体为割草机器人,用户家有多个草坪,用户将基站从一个草坪搬移到另一个草坪,以便于机器人自动割草。此时,当机器人判断出当前位置和基站位置偏差比较大时,需要人工介入进行判断,不够智能。
基于此,本申请实施例提供一种基准站位置变动的检测方法、设备及可读存储介质,通过结合视觉图像和自移动设备的运动特性,来判断基准站是否被移动,无需安装额外的传感器,提高自移动设备定位的准确性。
图1是本申请实施例提供的基准站位置变动的检测方法的实施环境示意图。请参照图1,该实施环境包括:自移动设备11、基准站12、维护站13。自移动设备11与基准站12之间建立网络连接,基准站12用于为自移动设备11提供差分信号。自移动设备11行进过程中利用定位模块获得定位信息,并利用差分信号对定位信息进行修正,以得到RTK定位。
自移动设备11又称作移动站、机器人、自主移动设备等,是能够自主在工作区域内行进,并基于环境地图执行任务的设备,包括但不限于割草机器人、户外导航机器人、自动喷洒设备等。
基准站12又称作RTK基准站,用于为自移动设备11提供差分信号。在户外机器人应用中,基准站12的移动会导致自移动设备11的RTK定位异常。定位异常时,需要重新校准基准站12的位置或重新建图。
维护站13又称作基站、基座、充电座等,通常设置于固定位置。自移动设备11在维护站13进行充电、清理等维护工作。
图2是本申请实施例提供的基准站位置变动的检测方法的流程图。本实施例的执行主体是自移动设备。本实施例包括:
201、当自移动设备从非工作状态切换为工作状态时,控制所述自移动设备行进。
通常情况下,自移动设备暂停、休眠或关机时间可能比较长,这段时间内,基准站被移动的概率更高。而且,自移动设备暂停时,更容易进行基准站是否被移动的判断。因此,本申请实施例中,自移动设备从非工作状态切换为工作状态、工作之前,先进行基准站是否被移动的判断。
一种方式中,自移动设备一旦从非工作状态切换为工作状态,则触发重定位。重定位过程中,自移动设备向前行进,行进过程中,采集视觉图像和RTK定位,基于视觉图像和RTK定位执行重定位。
另一种方式中,自移动设备从非工作状态切换为工作状态后,只有在满足预设条件的时候才触发重定位,该预设条件例如是自移动设备的周围环境发生变化。也就是说,自移动设备从非工作状态切换为工作状态后,先对比状态切换前后的环境图像,以确定周围环境是否发生变化。只有在周围环境发生变化的条件下,才触发重定位。
其中,自移动设备的周围环境发生变化,可能的原因如下:原因1、自移动设备在非工作状态期间发生运动。运动包括自移动设备未发生位移但朝向发生变化、发生位移但朝向未发生变化、发生位移且朝向发生变化等。例如,用户将自移动设备从A地搬移到B地,A地和B地的环境特征不同;再如,自移动设备的朝向发生了变化,不同朝向时摄像头等视觉传感器采集的环境图像不同。
原因2、自移动设备在非工作状态期间并未发生运动,但是周围环境发生了变化。例如,自移动设备进入非工作状态时,周围具有动态障碍物。自移动设备从非工作状态切换至工作状态时,动态障碍物已离开。再如,自移动设备的朝向发生了变化,不同朝向时摄像头等视觉传感器采集的环境图像不同。
202、在所述自移动设备行进过程中,控制所述自移动设备获取视觉图像和实时动态载波相位差分RTK定位。
本申请实施例中,自移动设备上设置视觉传感器、定位模块以及RTK传感器等,RTK传感器用于接收来自基准站的差分信号。自移动设备行进过程中,不断的利用视觉传感器采集视觉图像,例如,自移动设备以每秒10帧的速度采集视觉图像。
同时,自移动设备利用RTK传感器接收来自基准站的差分信号,利用差分信号对定位模块确定出的定位信息进行修正,从而得到RTK定位。例如,自移动设备以每秒10次的速度接收差分信号,从而每秒产生10个RTK定位。RTK定位和视觉图像一一对应。
203、根据所述视觉图像和所述RTK定位对所述自移动设备执行重定位。
自移动设备每次获取到一帧视觉图像和对应的RTK定位后,根据该视觉图像和RTK定位对自移动设备进行重定位。
204、当所述自移动设备重定位成功时,确定基准站未被移动。
每次重定位后,若重定位成功,则自移动设备认为基准站未被移动。之后,自移动设备依据环境地图执行任务等。
若重定位失败,则自移动设备执行进一步的判断逻辑,以判断基准站是否被移动等。或者,若自移动设备根据视觉图像和RTK定位重定位失败,则默认基准站被移动。
本申请实施例提供的基准站位置变动的检测方法,当自移动设备从非工作状态切换为工作状态时行进一段距离,行进过程中,获取视觉图像和RTK定位,并根据视觉图像和RTK定位对自移动设备进行重定位。当重定位成功时,确定基准站未被移动。采用该种方案,自移动设备通过结合视觉图像和自移动设备的运动特性,来判断基准站是否被移动,无需安装额外的传感器,避免基准站被移动后导致自移动设备定位异常,实现提高自移动设备定位准确性的目的。
可选的,上述实施例中,非工作状态包括下述状态中的任意一种:暂停状态、休眠状态或关机状态。
本申请实施例中,主要是对自移动设备从非工作状态到工作状态切换时,进行基准站是否被移动的判断。例如,自移动设备因为低电量、传感器异常、下雨等自动进入暂停状态。一段时间后,当自移动设备充电完毕、传感器正常或雨停后切换为工作状态,此时,自移动设备需要判断基准站是否被移动。
再如,自移动设备执行任务完毕回到维护站进入休眠状态。一段时间后,自移动设备识别到工作指令后再次进入工作状态。工作指令可以是用户按压物理按键下发、用户通过应用程序(application,APP)下发或通过语音下发等,本申请实施例并不限制。
又如,用户通过物理按键或APP等控制自移动设备进入暂停状态。一段时间后,自移动设备重新进入工作状态。此时,自移动设备需要判断基准站是否被移动
又如,用户通过物理按键或APP等关闭自移动设备。一段 时间后,自移动设备重新开机。此时,自移动设备需要判断基准站是否被移动。
之所以在自移动设备从非工作状态切换为工作状态后判断基准站是否被移动,是因为自移动处于非工作状态的时间可能比较长,即自移动设备处于暂停状态、休眠状态或关机状态的时间比较长,在此期间基准站被移动的概率更高。
另外,自移动设备处于工作状态时,结合RTK定位技术和VSLAM定位技术定位或建图。若基准站移动,则导致RTK数据异常,进而导致定位异常。倘若环境地图创建过程中移动基准站,则导致创建出异常的环境地图。一旦环境地图异常,则自移动设备的定位必然异常。
采用该种方案,自移动设备从暂停状态、休眠状态或关机状态切换为工作状态时,均判断基准站是否被移动,避免因为非工作状态期间基准站被移动,导致重新进入工作状态后定位异常,提高自移动设备定位的准确性。
图3是本申请实施例提供的基准站位置变动的检测方法中重定位的流程图。本实施例包括:
301、自移动设备确定预测位置和预测角度。
自移动设备根据视觉图像和RTK定位对自移动设备执行重定位时,每次获取到视觉图像和RTK定位时,则根据该视觉图像和RTK定位确定出一个预测位置和一个预测角度。该预测角度和预测位置用于执行重定位。
确定预测位置时,自移动设备获得当前RTK定位后,以当前RTK定位作为预测位置。
确定预测角度时,自移动设备根据当前RTK定位和上一定位确定出自移动设备的预测角度,即自移动设备根据相邻两个RTK定位计算自移动设备的朝向角,将该朝向角作为预测角度。上一定位是自移动设备获取当前RTK定位之前获取到的、且与当前RTK定位相邻的RTK定位。例如,自移动设备每秒依次确定出10个RTK定位,记为RTK定位1、RTK定位2……RTK定位10。当当前RTK定位为RTK定位10时,自移动设备根据RTK定位9和RTK定位10确定预测角度。
再如,自移动设备从非工作状态切换为工作状态,判断出自移动设备状态切换前后周围环境发生变化。恢复为工作状态后,第一次获得的RTK定位为RTK定位1。此时,自移动设备根据RTK定位1和目标RTK定位确定预测角度。目标RTK定位是自移动设备进入非工作状态时,最近一次获取并保存的RTK定位。
以当前RTK定位为、上一定位为/>为例,则预测角度θ可通过如下公式(1)计算:
公式(1)
需要说明的是,由于自移动设备从非工作状态切换为工作状态后,若自移动设备状态切换前后周围环境发生变化,则向前行进,从而处于行进状态。行进过程中,自移动设备不断的获取视觉图像和RTK定位。每次获得视觉图像和RTK定位后,均执行重定位。若重定位成功,则无需再行进。若重定位不成功,则一直行进。因此,预测位置和预测角度是不断变化的。
302、根据所述预测位置、所述预测角度和所述当前视觉图像对所述自移动设备执行重定位。
自移动设备结合预测位置、预测角度和当前视觉图像等,对自移动设备执行从定位。其中,预测位置、预测角度等表征自移动设备的运动特征。由此可见,自移动设备将当前视觉图像和运动特性结合起来执行重定位,进而根据重定位结果来判断基准站是否被移动,无需安装额外的传感器,提高自移动设备定位的准确性。
可选的,上述实施例中,自移动设备根据所述预测位置、所述预测角度和所述当前视觉图像对所述自移动设备执行重定位时,根据所述预测位置和所述预测角度,将环境地图中的特征点投影到所述当前视觉图像中,以得到匹配的第一点数。当所述第一点数大于第一阈值时,确定所述自移动设备重定位成功。
示例性的,自移动设备确定出预测角度和预测位置后,根据预测角度和预测位置,将环境地图中的特征点投影到当前视觉图像中,和当前视觉图像的特征点进行匹配,从而得到匹配的第一点数。特征点例如是3维(threedimensional,3D)特征点等,本申请实施例并不限制。特征点匹配的方案包括但不限于尺度不变特征转换(Scale-invariant featuretransform ,SIFT)匹配法、定向简报(Oriented Brief,ORB)特征点匹配法等。
环境地图是存储在自移动设备本地的地图。自移动设备预先采用融合RTK的VSLAM定位技术创建环境地图。该环境地图包含三维视觉特征点,并且,该环境地图和RTK在同一个坐标系下。其中,融合RTK的VSLAM定位技术包括但不限于激光点探测器-即时定位与地图构建(Laser Spot Detector- Simultaneous Localizationand Mapping ,LSD-SLAM)、ORB-SLAM、半直接单目视觉里程计(Semi-Direct Monocular Visual Odometry,SVO)、密集跟踪和映射( Dense Tracking and Mapping i,DTAM)等。
本申请实施例中,环境地图包含具有区分度的特征点,特征点例如为2D特征点、3D特征点等。图4是本申请实施例提供的基准站位置变动的检测方法中环境地图的示意图。
请参照图4,粗黑实线表示边界,包括工作区域的外边界和内部禁区的边界。黑色点为三维特征点。
特征点匹配过程中,对于环境地图中的任意一个特征点,若自移动设备能够在当前视觉图像中找到相应的特征点,则表示特征点匹配成功。自移动设备累计匹配成功的特征点的数量,从而得到第一点数。
之后,自移动设备判断第一点数是否大于第一阈值。若第一点数大于第一阈值,则表示基准站并未被搬移,自移动设备重定位成功。之后,自移动设备根据当前RTK定位在环境地图中的位置规划路径等。
若第一点数小于或等于第一阈值,则有可能是基准站被搬移,也有可能是自移动设备被移动了等。
采用该种方案,自移动设备根据当前RTK定位和当前视觉图像确定预测位置和预测角度,基于预测位置和预测角度确定第一点数,进而根据第一点数确定基准站是否被移动,准确率高,速度快。
可选的,上述实施例中,当自移动设备重定位失败时,即第一点数小于或等于第一阈值时,自移动设备基于BOW字典纯视觉定位。纯视觉定位过程中,自移动设备从环境地图的多个关键帧中确定出目标关键帧。之后,将目标关键帧中的特征点投影到当前视觉图像中,以得到匹配的第二点数。当第二点数大于第二阈值时,自移动设备确定基准站被移动,第二阈值大于第一阈值。
基于BOW字典纯视觉定位过程中,自移动设备确定当前视觉图像的稀疏向量,以及环境图像的各环境帧的稀疏向量。以下为清楚起见,将当前视觉图像的稀疏向量简称为第一向量,将关键帧的稀疏向量简称为第二向量。之后,自移动设备确定第一向量和各第二向量的相似度,从而得到当前视觉图像和各关键帧的相似度。
接着,自移动设备按照相似度从高到低的顺序,对各关键帧排序,将排序靠前的1个或多个关键帧作为目标关键帧。
之后,自移动设备进行特征点匹配。即:将目标关键帧中的特征点投影到当前视觉图像中,从而得到匹配的第二点数。得到第二点数后,自移动设备判断第二点数是否大于第二阈值。若第二点数大于第二阈值,则说明基准站被移动。若第二点数小于或等于第二阈值,则表示基于BOW字典纯视觉定位失败。其中,第二点数大于第一点数,这样能够防止误重定位成功。
采用该种方案,自移动设备根据当前RTK定位和当前视觉图像重定位失败后,进一步的基于BOW字典纯视觉重定位得到第二点数,进而根据第二点数确定基准站是否被移动,准确率高,速度快。
可选的,上述实施例中,当自移动设备基于BOW字典纯视觉重定位失败后,即第二点数小于或等于第一点数时,则自移动设备确定出无法判断出所述基准站是否被移动。之后,继续行进。
示例性的,如果自移动设备执行两种重定位,均重定位失败后,则继续行进。行进过程中,继续获取视觉图像和RTK定位,并执行图2流程图所示方案。其中,两种重定位包括:根据当前视觉图像和当前RTK定位的重定位,以及基于BOW字典纯视觉重定位。
采用该种方案,若自移动设备执行两种重定位均失败后,则继续行进以获取新的视觉图像和RTK定位,重新判断基准站是否被移动,实现准确判断出基准站是否被移动的目的。
图5是本申请实施例提供的基准站位置变动的检测方法中第一种重定位时,将环境地图中的特征点投影到当前视觉图像的流程图。本实施例包括:
501、根据所述预测位置和所述预测角度,确定所述自移动设备的当前位姿对应的位姿矩阵。
例如,自移动设备根据预测位置和预测角度计算出当前时刻的位姿矩阵。
需要说明的是,虽然此处,自移动设备根据预测位置和预测角度计算出当前时刻的位姿矩阵。然而,本申请实施例并不限制,其他可行的实现方式中,自移动设备还可以通过重定位等方式得到当前时刻的位姿矩阵/>。
502、根据所述位姿矩阵和转换矩阵,确定所述环境地图中特征点在相机坐标系下的位置坐标,所述转换矩阵是所述自移动设备中心到相机中心的转换矩阵。
示例性的,将环境地图中的3D特征点投影到当前视觉图像中的过程中,由于环境地图一般是世界坐标系下的地图。因此,首先要确定出一个转换公式,该转换公式用于将环境地图中的3D 特征点从世界坐标系转换到相机坐标系。
示例性的,自移动设备根据当前时刻的位姿矩阵确定出两个参数/>、/>,该两个参数用于确定环境地图中的3D特征点,从世界坐标系转换到相机坐标系下的转换公式。
假设环境地图中的一个3D特征点在世界坐标系下的坐标为P,该特征点在相机坐标系下的位置为,则转换公式如公式(2):
公式(2)
其中,为自移动中心到相机中心的转换矩阵,是一个由自移动设备的相机的安装位置结构确定的固定参数。/>、/>是根据当前时刻的位姿/>求逆得到的两个参数。如公式(3)所示:
公式(3)
得到转换公式后,自移动设备就能确定出环境地图中各特征点在相机坐标系下位置坐标,即上述的。之后,自移动设备将相机坐标系下的各位置坐标,投影到当前视觉图像中。例如,自移动设备通过投影函数/>实现。其中,/>为输入信息,即相机坐标系下特征点的位置/>。当采用全方位(Omnidirection)模型时,计算过程如公式(4)所示:
公式(4)
其中,、/>,/>、/>和/>为相机固有内参,相机出厂时就已标定好,/>表示计算欧式距离。
、/>表示相机坐标系下特征点的位置/>投影到图像平面的像素坐标,用于表示特征点匹配时,特征点在图像平面上的位置。特征点匹配过程中,自移动设备计算出环境图像中的一个3D特征点在当前视觉图像上的位置,如果在该位置附近能够搜索到特征点,则进行特征点的描述子匹配。
503、根据所述环境地图中各特征点在相机坐标系下位置坐标,将环境地图中的特征点投影到所述当前视觉图像中,以得到匹配的第一点数。
特征点匹配过程中,对于环境地图中的任意一个特征点,若匹配成功,则自移动设备累计匹配成功的特征点的数量,从而得到第一点数。
采用该种方案,自移动设备自移动设备根据预测位置和预测角度计算出当前时刻的位姿矩阵,进而根据位置矩阵和转换矩阵等将环境地图中的特征点投影到当前视觉图像,投影速度快,精度高。
可选的,上述实施例中,当所述自移动设备从非工作状态切换为工作状态时,控制所述自移动设备行进时,首先,控制自移动设备获取环境图像,并根据获取的环境图像和状态切换前的环境图像,确定自移动设备状态切换前后周围环境是否发送变化。之后,若环境图像指示所述自移动设备的周围环境发生变化,则控制所述自移动设备行进。
示例性的,自移动设备从非工作状态切换为工作状态后,只有在满足预设条件的时候才触发重定位,该预设条件例如是自移动设备的周围环境发生变化。也就是说,自移动设备从非工作状态切换为工作状态后,先对比状态切换前后的环境图像,以确定周围环境是否发生变化。只有在周围环境发生变化的条件下,才触发重定位。
采用该种方案,只有在自移动设备状态切换前后周围环境发生变化时,才结合当前视觉图像和当前RTK定位的重定位以判断基准站是否被移动,提高基准站位置变动检测的准确性。
可选的,上述实施例中,自移动设备从非工作状态切换为工作状态后,若环境图像指示自移动设备的周围环境未发生变化,则自移动设备进一步的对比目标定位和初始定位。当目标定位和初始定位之间的距离大于预设距离时,自移动设备确定基准站被移动。其中,目标定位是自移动设备进入非工作状态之前获取到的RTK定位,初始定位是自移动设备切换至工作状态后的RTK定位。
示例性的,自移动设备从非工作状态切换为工作状态后,若环境图像指示自移动设备的周围环境未发生变化,一种可能的原因是自移动设备在非工作状态期间确实没有发生运动,即没有移动或转动;另一种可能的原因是自移动设备在非工作状态期间发生运动,如发生位移或转动,但是运动后周围环境和运动前周围环境相似。以自移动设备为割草机器人为例,自移动设备非工作状态期间前方是大白墙,周围是草坪,草坪上没有明显特征,如大树、花坛等。在非工作状态期间,自移动设备被移动至另一个地方,也是正对着大白墙,且周围是草坪。自移动设备进入工作状态后,发现周围环境并未发生变化。
为了防止发生误判,自移动设备确定出状态切换前后周围环境未发生变化后,进一步的判断自移动设备状态切换前后RTK定位是否发生变化,即判断状态切换前的目标定位和状态切换后的初始定位之间的距离是否大于预设距离。当状态切换前的目标定位和状态切换后的初始定位之间的距离大于预设距离时,自移动设备确定基准站被移动;当状态切换前的目标定位和状态切换后的初始定位之间的距离小于或等于预设距离,则自移动设备确定基准站未被移动。
采用该种方案,自移动设备从非工作状态切换为工作状态后,若自移动设备状态切换前后周围环境未发生变化,则进一步的判断自移动设备状态切换前后RTK定位是否发生变化,从而准确确定出基准站是否被移动,避免误判。
可选的,上述实施例中,自移动设备从非工作状态切换至工作状态时,对比目标图像和初始视觉图像,当目标图像和初始视觉图像的相似度小于预设相似度时,确定自移动设备的周围环境发生变化。其中,目标图像和初始视觉图像相邻,目标图像是自移动设备进入非工作状态之前拍摄的图像,初始视觉图像是自移动设备切换至工作状态后拍摄的图像。
示例性的,自移动设备从非工作状态切换至工作状态时,为了判断自移动设备状态切换前后周围环境是否发生变化,则对比状态切换前拍摄的目标图像和状态切换后的初始视觉图像。其中,目标图像是自移动设备进入非工作状态之前最后一次拍摄的一帧或多帧图像,初始视觉图像是自移动设备从非工作状态切换为工作状态后,第一次拍摄的图像。
一种方式中,自移动设备通过特征点匹配的方法,判断目标图像和初始视觉图像的相似度。该种方式中,自移动设备从目标图像中提取出特征点,从初始视觉图像中提取出特征点,如果匹配的特征点的数量超过一定阈值,则认为目标图像和初始视觉图像的相似度大于或等于预设相似度,说明自移动设备状态切换前后周围环境未发生变化。如果匹配的特征点的数量未超过阈值,则认为目标图像和初始视觉图像的相似度小于预设相似度,说明自移动设备状态切换前后周围环境发生变化。
另一种方式中,自移动设备逐像素对比目标图像和初始视觉图像,如果相似像素的个数超过预设的像素阈值,则认为目标图像和初始视觉图像的相似度大于或等于预设相似度,说明自移动设备状态切换前后周围环境未发生变化。若相似像素的个数未超过像素阈值,则认为目标图像和初始视觉图像的相似度小于预设相似度,说明自移动设备状态切换前后周围环境发生变化。
采用该种方案,自移动设备通过图像对比的方式判断自移动设备状态切换前后周围环境是否发生变化,准确率高,速度快。
可选的,上述实施例中,自移动设备从非工作状态切换至工作状态时,对比目标图像和初始视觉图像,当目标图像和初始视觉图像的大于或等于预设相似度时,确定所述自移动设备状态切换前后周围环境未发生变化。其中,目标图像和初始视觉图像相邻,目标图像是自移动设备进入非工作状态之前拍摄的图像,初始视觉图像是自移动设备切换至工作状态后拍摄的图像。
具体判断过程可参见上述目标图像和初始视觉图像的相似度小于预设相似度时的处理过程,此处不再赘述。
可选的,上述实施例中,自移动设备正常运行过程中,即处于工作状态时,实时获取最新视觉图像和最新RTK定位。当自移动设备从工作状态切换为非工作状态时,存储所述最新视觉图像和所述最新RTK定位,以使得所述自移动设备从非工作状态切换为工作状态后,将所述最新视觉图像作为目标图像,将所述最新RTK定位作为目标定位。
示例性的,自移动设备工作过程中不断的获取视觉图像和RTK定位。每次获取到最新视觉图像和最新RTK定位后,利用最新视觉图像覆盖上一次获取到的视觉图像,利用最新RTK定位覆盖上一次获取到的RTK定位。之后,一旦自移动设备从工作状态切换为非工作状态,则将最新视觉图像和最新RTK定位存储至闪存(flash)、嵌入式多媒体卡(EmbeddedMulti Media Card,EMMC)等非易失性存储器中。
之后,当自移动设备从非工作状态切换为工作状态后,自移动设备将存储在非易失性存储器中的最新视觉图像作为目标图像,将存储在非易失性存储器中的最新RTK定位作为目标定位,并基于目标图像和进入工作状态后首次拍摄的初始视觉图像判断自移动设备状态切换前后周围环境是否发生变化。若自移动设备状态切换前后周围环境未发生变化,则基于目标定位和进入工作状态后首次获得的初始定位,确定基准站是否被移动。若自移动设备状态切换前后周围环境发生变化,则自移动设备向前行进,并基于当前RTK定位、当前视觉图像等确定基准站是否被移动。
采用该种方案,工作状态下的自移动设备不断的获取最新视觉图像和最新RTK定位,一旦自移动设备从工作状态切换为非工作状态,则将最新视觉图像和最新RTK定位分别作为目标图像和目标定位,便于后续自移动设备从非工作状态切换为工作状态时,判断基准站是否移动。
可选的,上述实施例中,RTK定位的结算状态为固定解。
示例性的,RTK定位存在3种解算状态:固定解、浮点解和单点解。其中,固定解时定位精度最高,一般小于2厘米。浮点解误差较大,单点解时误差最大。固定解和浮点解通过“模糊度”来进行区分,模糊度为整数时即为固定解,模糊度不是整数时为浮点解。本申请实施例可采用任一种模糊度计算方式。单点解表示未使用任何基准站的差分信号,因此精度和普通的全球定位系统(Global Positioning System,GPS)差不多。
因此,为了精确判断基准站是否被移动,上述实施例中涉及的RTK定位,如目标定位、初始定位、当前RTK定位、最新RTK定位等的解算状态均为固定解。
采用该种方案,本申请实施例涉及的RTK定位的解算状态为固定解,精度高,实现准确确定出基准站是否被移动的目的。
图6是本申请实施例提供的基准站位置变动的检测方法的另一个流程图。本实施例包括:
601、自移动设备进入非工作状态之前,保存至少一个最新RTK定位和最新视觉图像。之后,当自移动设备恢复工作状态时,最新RTK定位成为目标定位,最新视觉图像成为目标图像。
示例性的,自移动设备正常工作时,不断的获取最新视觉图像和最新RTK定位,一旦自移动设备从工作状态切换为非工作状态,则将最新视觉图像和最新RTK定位分别作为目标图像和目标定位。其中,非工作状态包括暂停状态、休眠状态或关机状态。
602、自移动设备恢复工作状态后,判断自移动设备状态切换前后周围环境是否发生变化,若自移动设备状态切换前后周围环境发生未发生变化,则执行步骤603;若自移动设备状态切换前后周围环境发生变化,则执行步骤606。
示例性的,自移动设备恢复工作状态后,拍摄周围环境得到当前视觉图像。之后,自移动设备确定当前视觉图像和目标图像的相似度,根据相似度确定自移动设备状态切换前后周围环境是否发生变化。
603、自移动设备确定目标定位和初始定位之间的距离是否大于预设距离,若目标定位和初始定位之间的距离大于预设距离,则执行步骤604;若目标定位和初始定位之间的距离小于或等于预设距离,则执行步骤605。
示例性的,自移动设备恢复工作状态后,基于RTK技术定位,从而获得初始定位。之后,根据初始定位和目标定位之间的距离判断基准站是否被移动。
604、自移动设备确定基准站被移动并发出告警。
605、自移动设备确定基准站未被移动。
606、触发自移动设备执行重定位。
示例性的,当自移动设备从非工作状态切换为工作状态后,若环境图像指示自移动设备状态切换前后周围环境发生变化,则有可能是自移动设备被搬动了,也有可能是自移动设备并未被搬动到其他位置,但是周围环境发生变化。此时,触发自移动设备执行重定位。
607、自移动设备向前行行进,行进过程中获取当前视觉图像和当前RTK定位。
608、自移动设备根据当前视觉图像和当前RTK定位确定预测位置和预测角度。
609、自移动设备根据预测位置和预测角度,将环境地图中的特征点投影到当前视觉图像中,以得到匹配的第一点数。
610、自移动设备判断第一点数是否大于第一阈值,若第一点数大于第一阈值,则重定位成功并执行步骤605;若第一点数小于或等于第一阈值,则执行步骤611。
611、自移动设备基于BOW字典纯视觉重定位以得到第二点数。
示例性的,即从环境地图的多个关键帧中确定出目标关键帧,将目标关键帧中的特征点投影到当前视觉图像中,以得到匹配的第二点数。
612、自移动设备判断第二点数是否大于第二阈值。若第二点数大于第二阈值,则重定位成功并执行步骤604;若第二点数小于或等于第二阈值,则认为重定位失败并执行步骤607。
示例性的,若匹配点数大于第二阈值,则说明自移动设备找到了比预测位置更佳的重定位结果,即自移动设备的实际位置与预测位置是不符合,进而判断出基准站被移动。例如,移动了至少10厘米。
若匹配的点数小于或等于第二阈值,则表示重定位失败,可能是周围场景变化较大,或者,自移动设备处于环境地图以外位置,导致基于BOW字典纯视觉重定位失败,此时无法判断出基准站是否被移动。此时自移动设备继续向前移动。例如,自移动设备主动向前行进;再如,自移动设备提示用户,以使得用户控制自移动设备继续向前行进。行进过程中,继续采集视觉图像和RTK定位,并执行步骤607及后续步骤。
需要说明的是,上述实施例中涉及到的RTK定位均为RTK固定解定位。这是因为非固定解时RTK定位误差比较大,无法用于精确判断基准站是否被移动。
以下以自移动设备为割草机器人,结合具体的应用场景,对上述的基准站位置变动的检测方法进行详细说明。
应用场景一:
自移动设备正常工作过程中,不断的获取最新视觉图像和最新RTK定位。当自移动设备从工作状态切换为非工作状态时,将最新视觉图像和最新RTK定位保存在非易失性存储器中。最新视觉图像显示自移动设备面对大白墙,周围是草坪A,草坪A上没有明显特征,如大树、花坛等。
情况a:自移动设备处于非工作状态期间未发生运动,但是基准站被搬移。
一段时间后,自移动设备重新进入工作状态,工作之前判断基准站是否被移动。判断过程中,自移动设备拍摄当前环境得到初始视觉图像,执行定位得到初始定位,并从非易失性存储器中取出最新视觉图像和最新RTK定位,分别作为目标图像和目标定位。
之后,自移动设备确定初始视觉图像和目标图像的相似度。初始视觉图像对应草坪A,目标图像对应草坪A。这种情况下,自移动设备确定出初始视觉图像和目标图像很相似,暂认为自移动设备状态切换前后周围环境未发生变化。之后,自移动设备确定初始定位和目标定位之间的距离,由于初始定位和目标定位之间的距离比较大,因此自移动设备判断出基准站被移动。
情况b:自移动设备处于非工作状态期间发生运动,但是基准站被搬移。
自移动设备在草坪A上进入非工作状态后,被人为的搬到草坪B。草坪A和草坪B的环境差异很大。自移动设备在草坪B切换为工作状态后,发现周围环境发生变化。之后,自移动设备向前行进并执行重定位。
行进过程中,每次获得当前视觉图像和当前RTK定位后,确定预测角度和预测位置。然后基于预测角度和预测位置,将环境图像的3D特征点投影到当前视觉图像中,以得到匹配的第一点数。
由于第一点数比较低,则自移动设备基于BOW字典纯视觉重定位以得到匹配的第二点数,即环境图像中的目标关键帧和当前视觉图像匹配的特征点的数量。当第二点数大于第二阈值时,自移动设备认为纯视觉重定位成功,确定自基准站被移动并发出告警。当第二点数小于或等于第二阈值时,自移动设备认为纯视觉重定位失败,继续向前移动并执行上述的重定位逻辑。
情况c:自移动设备处于非工作状态期间发生运动,但是基准站被搬移。
自移动设备在草坪A上进入非工作状态后,被人为的搬到草坪B。草坪A和草坪B的环境差异很大。自移动设备在草坪B切换为工作状态后,发现周围环境发生变化。之后,自移动设备向前行进并执行重定位。
行进过程中,每次获得当前视觉图像和当前RTK定位后,确定预测角度和预测位置。然后基于预测角度和预测位置,将环境图像的3D特征点投影到当前视觉图像中,以得到匹配的第一点数。由于第一点数大于第一阈值,则自移动设备认为重定位成功,基准站未被移动。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图7是本申请实施例提供的基准站位置变化的检测装置的示意图。该基准站位置变化的检测装置700包括:
行进模块71,用于当自移动设备从非工作状态切换为工作状态时,控制所述自移动设备行进;
获取模块72,用于在所述自移动设备行进过程中,控制所述自移动设备获取视觉图像和实时动态载波相位差分RTK定位;
处理模块73,用于根据所述视觉图像和所述RTK定位对所述自移动设备执行重定位;
确定模块74,用于当所述自移动设备重定位成功时,确定基准站未被移动,所述基准站用于向所述自移动设备提供差分信号,以使得所述自移动设备根据所述差分信号获得RTK定位。
一种可行的实现方式中,所述处理模块73,用于根据所述自移动设备获取到的当前RTK定位,确定所述自移动设备的预测位置,所述RTK定位包括当前RTK定位,所述视觉图像包括当前视觉图像;根据所述当前RTK定位和上一定位确定所述自移动设备的预测角度,所述上一定位是所述自移动设备获取所述当前RTK定位之前获取到的、且与所述当前定位相邻的RTK定位;根据所述预测位置、所述预测角度和所述当前视觉图像对所述自移动设备执行重定位。
一种可行的实现方式中,所述处理模块73根据所述预测位置、所述预测角度和所述当前视觉图像对所述自移动设备执行重定位时,用于根据所述预测位置和所述预测角度,将环境地图中的特征点投影到所述当前视觉图像中,以得到匹配的第一点数;当所述第一点数大于第一阈值时,确定所述自移动设备重定位成功。
一种可行的实现方式中,所述处理模块73,还用于当所述自移动设备重定位失败时,从所述环境地图的多个关键帧中确定出目标关键帧,所述目标关键帧是所述多个关键帧中与所述当前视觉图像的相似度最高的关键帧;将所述目标关键帧中的特征点投影到所述当前视觉图像中,以得到匹配的第二点数;当所述第二点数大于第二阈值时,确定所述基准站被移动,所述第二阈值大于所述第一阈值。
一种可行的实现方式中,所述处理模块73,还用于当所述第二点数小于或等于第二阈值时,确定无法判断出所述基准站是否被移动;继续控制所述自移动设备行进。
一种可行的实现方式中,所述处理模块73根据所述预测位置和所述预测角度,将环境地图中的特征点投影到所述当前视觉图像中,以得到匹配的第一点数时,用于根据所述预测位置和所述预测角度,确定所述自移动设备的当前位姿对应的位姿矩阵;根据所述位姿矩阵和转换矩阵,确定所述环境地图中特征点在相机坐标系下的位置坐标,所述转换矩阵是所述自移动设备中心到相机中心的转换矩阵;根据所述环境地图中各特征点在相机坐标系下位置坐标,将环境地图中的特征点投影到所述当前视觉图像中,以得到匹配的第一点数。
一种可行的实现方式中,所述处理模块73,用于当所述自移动设备从非工作状态切换为工作状态时,控制所述自移动设备获取环境图像;
所述行进模块71,用于若所述环境图像指示所述自移动设备的周围环境发生变化,则控制所述自移动设备行进。
一种可行的实现方式中,所述处理模块73,还用于当所述自移动设备从非工作状态切换为工作状态后,若所述环境图像指示所述自移动设备的周围环境未发生变化,则对比目标定位和初始定位,所述目标定位是所述自移动设备进入所述非工作状态之前获取到的RTK定位,所述初始定位是所述自移动设备切换至工作状态后的RTK定位;当所述目标定位和所述初始定位之间的距离大于预设距离时,确定所述基准站被移动。
一种可行的实现方式中,所述处理模块73,还用于对比目标图像和初始视觉图像,所述目标图像和所述初始视觉图像相邻,所述目标图像是所述自移动设备进入所述非工作状态之前拍摄的图像,所述初始视觉图像是所述自移动设备切换至工作状态后拍摄的图像;当所述目标图像和所述初始视觉图像的相似度小于预设相似度时,确定所述自移动设备的周围环境发生变化。
一种可行的实现方式中,所述处理模块73,还用于对比目标图像和初始视觉图像,所述目标图像和所述初始视觉图像相邻,所述目标图像是所述自移动设备进入所述非工作状态之前拍摄的图像,所述初始视觉图像是所述自移动设备切换至工作状态后拍摄的图像;当所述目标图像和所述初始视觉图像的相似度大于或等于预设相似度时,确定所述自移动设备的周围环境未发生变化。
一种可行的实现方式中,所述处理模块73,在对比目标图像和初始视觉图像之前,还用于当所述自移动设备处于工作状态时,实时获取最新视觉图像和最新RTK定位;当所述自移动设备从工作状态切换为非工作状态时,存储所述最新视觉图像和所述最新RTK定位,以使得所述自移动设备从非工作状态切换为工作状态后,将所述最新视觉图像作为目标图像,将所述最新RTK定位作为目标定位。
一种可行的实现方式中,所述RTK定位的解算状态为固定解。
一种可行的实现方式中,所述非工作状态包括下述状态中的任意一种:暂停状态、休眠状态或关机状态。
本申请实施例提供的控制装置,可以执行上述实施例清洁设备的动作,其实现原理和技术效果类似,在此不再赘述。
图8为本申请实施例提供的一种自移动设备的结构示意图。如图8所示,该自移动设备800包括:
处理器81和存储器82;
所述存储器82存储计算机指令;
所述处理器81执行所述存储器82存储的计算机指令,使得所述处理器81执行如上所述的自移动设备的控制方法。
处理器81的具体实现过程可参见上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
可选地,该自移动设备800还包括通信部件83。其中,处理器81、存储器82以及通信部件83可以通过总线84连接。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令,所述计算机指令被处理器执行如上所述的基准站位置变化的检测方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包含计算机程序,计算机程序被处理器执行如上所述的基准站位置变化的检测方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (15)
1.一种基准站位置变动的检测方法,其特征在于,包括:
当自移动设备从非工作状态切换为工作状态时,控制所述自移动设备行进;
在所述自移动设备行进过程中,控制所述自移动设备获取视觉图像和实时动态载波相位差分RTK定位;
根据所述视觉图像和所述RTK定位对所述自移动设备执行重定位;
当所述自移动设备重定位成功时,确定基准站未被移动,所述基准站用于向所述自移动设备提供差分信号,以使得所述自移动设备根据所述差分信号获得RTK定位;
其中,所述根据所述视觉图像和所述RTK定位对所述自移动设备执行重定位,包括:
根据所述自移动设备获取到的当前RTK定位,确定所述自移动设备的预测位置,所述RTK定位包括当前RTK定位,所述视觉图像包括当前视觉图像;
根据所述当前RTK定位和上一定位确定所述自移动设备的预测角度,所述上一定位是所述自移动设备获取所述当前RTK定位之前获取到的、且与所述当前定位相邻的RTK定位;
根据所述预测位置、所述预测角度和所述当前视觉图像对所述自移动设备执行重定位。
2.根据权利要求1所述的方法,其特征在于,所述根据所述预测位置、所述预测角度和所述当前视觉图像对所述自移动设备执行重定位,包括:
根据所述预测位置和所述预测角度,将环境地图中的特征点投影到所述当前视觉图像中,以得到匹配的第一点数;
当所述第一点数大于第一阈值时,确定所述自移动设备重定位成功。
3.根据权利要求1所述的方法,其特征在于,还包括:
当所述自移动设备重定位失败时,从环境地图的多个关键帧中确定出目标关键帧,所述目标关键帧是所述多个关键帧中与所述当前视觉图像的相似度最高的关键帧;
将所述目标关键帧中的特征点投影到所述当前视觉图像中,以得到匹配的第二点数;
当所述第二点数大于第二阈值时,确定所述基准站被移动,所述第二阈值大于第一阈值。
4.根据权利要求3所述的方法,其特征在于,还包括:
当所述第二点数小于或等于第二阈值时,确定无法判断出所述基准站是否被移动;
继续控制所述自移动设备行进。
5.根据权利要求2所述的方法,其特征在于,所述根据所述预测位置和所述预测角度,将环境地图中的特征点投影到所述当前视觉图像中,以得到匹配的第一点数,包括:
根据所述预测位置和所述预测角度,确定所述自移动设备的当前位姿对应的位姿矩阵;
根据所述位姿矩阵和转换矩阵,确定所述环境地图中特征点在相机坐标系下的位置坐标,所述转换矩阵是所述自移动设备中心到相机中心的转换矩阵;
根据所述环境地图中各特征点在相机坐标系下位置坐标,将环境地图中的特征点投影到所述当前视觉图像中,以得到匹配的第一点数。
6.根据权利要求1~5任一项所述的方法,其特征在于,所述当所述自移动设备从非工作状态切换为工作状态时,控制所述自移动设备行进,包括:
当所述自移动设备从非工作状态切换为工作状态时,控制所述自移动设备获取环境图像;
若所述环境图像指示所述自移动设备的周围环境发生变化,则控制所述自移动设备行进。
7.根据权利要求6所述的方法,其特征在于,还包括:
当所述自移动设备从非工作状态切换为工作状态后,若所述环境图像指示所述自移动设备的周围环境未发生变化,则对比目标定位和初始定位,所述目标定位是所述自移动设备进入所述非工作状态之前获取到的RTK定位,所述初始定位是所述自移动设备切换至工作状态后的RTK定位;
当所述目标定位和所述初始定位之间的距离大于预设距离时,确定所述基准站被移动。
8.根据权利要求6所述的方法,其特征在于,还包括:
对比目标图像和初始视觉图像,所述目标图像和所述初始视觉图像相邻,所述目标图像是所述自移动设备进入所述非工作状态之前拍摄的图像,所述初始视觉图像是所述自移动设备切换至工作状态后拍摄的图像;
当所述目标图像和所述初始视觉图像的相似度小于预设相似度时,确定所述自移动设备的周围环境发生变化。
9.根据权利要求6所述的方法,其特征在于,还包括:
对比目标图像和初始视觉图像,所述目标图像和所述初始视觉图像相邻,所述目标图像是所述自移动设备进入所述非工作状态之前拍摄的图像,所述初始视觉图像是所述自移动设备切换至工作状态后拍摄的图像;
当所述目标图像和所述初始视觉图像的相似度大于或等于预设相似度时,确定所述自移动设备的周围环境未发生变化。
10.根据权利要求8所述的方法,其特征在于,所述对比目标图像和初始视觉图像之前,还包括:
当所述自移动设备处于工作状态时,实时获取最新视觉图像和最新RTK定位;
当所述自移动设备从工作状态切换为非工作状态时,存储所述最新视觉图像和所述最新RTK定位,以使得所述自移动设备从非工作状态切换为工作状态后,将所述最新视觉图像作为所述目标图像,将所述最新RTK定位作为目标定位。
11.根据权利要求1~5任一项所述的方法,其特征在于,
所述RTK定位的解算状态为固定解。
12.根据权利要求1~5任一项所述的方法,其特征在于,
所述非工作状态包括下述状态中的任意一种:暂停状态、休眠状态或关机状态。
13.一种基准站位置变动的检测装置,其特征在于,集成在自移动设备上,所述装置包括:
行进模块,用于当自移动设备从非工作状态切换为工作状态时,控制所述自移动设备行进;
获取模块,用于在所述自移动设备行进过程中,控制所述自移动设备获取视觉图像和实时动态载波相位差分RTK定位;
处理模块,用于根据所述视觉图像和所述RTK定位对所述自移动设备执行重定位;
确定模块,用于当所述自移动设备重定位成功时,确定基准站未被移动,所述基准站用于向所述自移动设备提供差分信号,以使得所述自移动设备根据所述差分信号获得RTK定位;
所述处理模块,具体用于根据所述自移动设备获取到的当前RTK定位,确定所述自移动设备的预测位置,所述RTK定位包括当前RTK定位,所述视觉图像包括当前视觉图像;根据所述当前RTK定位和上一定位确定所述自移动设备的预测角度,所述上一定位是所述自移动设备获取所述当前RTK定位之前获取到的、且与所述当前定位相邻的RTK定位;根据所述预测位置、所述预测角度和所述当前视觉图像对所述自移动设备执行重定位。
14.一种自移动设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时使得所述自移动设备实现如权利要求1至12任一所述的方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至12任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310992635.3A CN116719067B (zh) | 2023-08-08 | 2023-08-08 | 基准站位置变动的检测方法、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310992635.3A CN116719067B (zh) | 2023-08-08 | 2023-08-08 | 基准站位置变动的检测方法、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116719067A CN116719067A (zh) | 2023-09-08 |
CN116719067B true CN116719067B (zh) | 2023-10-17 |
Family
ID=87875514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310992635.3A Active CN116719067B (zh) | 2023-08-08 | 2023-08-08 | 基准站位置变动的检测方法、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116719067B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108917761A (zh) * | 2018-05-07 | 2018-11-30 | 西安交通大学 | 一种无人车在地下车库中的精确定位方法 |
CN111142142A (zh) * | 2018-11-06 | 2020-05-12 | 千寻位置网络有限公司 | Rtk参考站切换的处理方法及其装置 |
CN113485441A (zh) * | 2021-08-03 | 2021-10-08 | 国网江苏省电力有限公司泰州供电分公司 | 结合无人机高精度定位和视觉跟踪技术的配网巡检方法 |
WO2022242717A1 (zh) * | 2021-05-19 | 2022-11-24 | 苏州宝时得电动工具有限公司 | 一种地图选择方法、自移动设备、电子终端 |
CN115512124A (zh) * | 2022-10-20 | 2022-12-23 | 亿咖通(湖北)技术有限公司 | 一种重定位帧的确定方法、装置、车辆及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116430838A (zh) * | 2022-01-04 | 2023-07-14 | 未岚大陆(北京)科技有限公司 | 自移动设备、及其控制方法 |
-
2023
- 2023-08-08 CN CN202310992635.3A patent/CN116719067B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108917761A (zh) * | 2018-05-07 | 2018-11-30 | 西安交通大学 | 一种无人车在地下车库中的精确定位方法 |
CN111142142A (zh) * | 2018-11-06 | 2020-05-12 | 千寻位置网络有限公司 | Rtk参考站切换的处理方法及其装置 |
WO2022242717A1 (zh) * | 2021-05-19 | 2022-11-24 | 苏州宝时得电动工具有限公司 | 一种地图选择方法、自移动设备、电子终端 |
CN113485441A (zh) * | 2021-08-03 | 2021-10-08 | 国网江苏省电力有限公司泰州供电分公司 | 结合无人机高精度定位和视觉跟踪技术的配网巡检方法 |
CN115512124A (zh) * | 2022-10-20 | 2022-12-23 | 亿咖通(湖北)技术有限公司 | 一种重定位帧的确定方法、装置、车辆及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116719067A (zh) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10133278B2 (en) | Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof | |
CN108051002B (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及系统 | |
KR101948728B1 (ko) | 데이터 수집 방법 및 시스템 | |
CN107992052B (zh) | 目标跟踪方法及装置、移动设备及存储介质 | |
US9686653B2 (en) | Predictive directional antenna targeting | |
Agrawal et al. | Rough terrain visual odometry | |
US10222807B2 (en) | Method, mobile device and computer storage medium for processing information | |
KR20170061373A (ko) | 이동 로봇 및 그 제어 방법 | |
WO2020051923A1 (en) | Systems And Methods For VSLAM Scale Estimation Using Optical Flow Sensor On A Robotic Device | |
US20180275663A1 (en) | Autonomous movement apparatus and movement control system | |
Puthussery et al. | A deep vision landmark framework for robot navigation | |
CN112033391B (zh) | 一种基于充电桩的机器人重定位方法及装置 | |
JP2007200070A (ja) | 移動ロボット | |
Nobre et al. | Drift-correcting self-calibration for visual-inertial SLAM | |
Velasquez et al. | Multi-sensor fusion based robust row following for compact agricultural robots | |
KR102481615B1 (ko) | 데이터 수집 방법 및 시스템 | |
Höffmann et al. | Coverage path planning and precise localization for autonomous lawn mowers | |
CN116719067B (zh) | 基准站位置变动的检测方法、设备及可读存储介质 | |
CN114115214A (zh) | 一种基于视觉的农机驾驶方法、系统、设备及存储介质 | |
CN111580530A (zh) | 一种定位方法、装置、自主移动设备及介质 | |
Yuan et al. | Lost robot self-recovery via exploration using hybrid topological-metric maps | |
US20210053232A1 (en) | Information processing apparatus, information processing method and program | |
Kozák et al. | Robust visual teach and repeat navigation for unmanned aerial vehicles | |
Zhang et al. | GCMVF-AGV: Globally Consistent Multi-View Visual-Inertial Fusion for AGV Navigation in Digital Workshops | |
CN117554989A (zh) | 视觉融合激光雷达slam定位导航的方法及其无人机系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |