CN113406682B - 一种定位方法、装置、电子设备及存储介质 - Google Patents
一种定位方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113406682B CN113406682B CN202110689398.4A CN202110689398A CN113406682B CN 113406682 B CN113406682 B CN 113406682B CN 202110689398 A CN202110689398 A CN 202110689398A CN 113406682 B CN113406682 B CN 113406682B
- Authority
- CN
- China
- Prior art keywords
- information
- positioning
- matrix
- data
- positioning information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000012545 processing Methods 0.000 claims abstract description 187
- 238000005259 measurement Methods 0.000 claims abstract description 127
- 238000012937 correction Methods 0.000 claims abstract description 114
- 239000011159 matrix material Substances 0.000 claims description 389
- 238000004422 calculation algorithm Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 37
- 230000001133 acceleration Effects 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 23
- 230000007704 transition Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000005484 gravity Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000009432 framing Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 23
- 238000013473 artificial intelligence Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000230491 Gulo Species 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000002425 crystallisation Methods 0.000 description 1
- 230000008025 crystallization Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本申请涉及计算机技术领域,可应用的场景包括但不限于地图、导航、自动驾驶、车联网,以及车路协同等,公开了一种定位方法、装置、电子设备及存储介质,该方法为:响应于针对待定位对象的定位请求,对所述待定位对象进行定位修正处理,获得所述待定位对象的目标定位信息,定位修正处理包括:基于速度测量数据,获得更新初始定位信息后得到的中间定位信息,并分别采用获得的卫星观测数据和特征点坐标数据,对中间定位信息进行迭代修正,获得所述目标定位信息,进而将所述待定位对象对应的目标定位信息,呈现在所述可操作页面上。这样,规避了对于单一定位因素的过度依赖,提高定位精度和鲁棒性,能够在各样复杂的路况中实现有效定位。
Description
技术领域
本申请涉及计算机技术领域,特别涉及人工智能技术领域,公开了一种定位方法、装置、电子设备及存储介质。
背景技术
随着导航定位技术的发展,处理设备能够通过对指定对象进行位置定位,指导指定对象的运动趋势。
相关技术中,通常借助于惯性导航(inertial navigation syste,INS)系统和全球卫星导航系统(the Global Navigation Statellite System,GNSS)的共同作用,实现对指定对象的定位。
然而,在依赖GNSS进行导航定位的场景下,定位精度受限于GNSS信号质量,在复杂的道路环境下和信号较弱的区域内,极容易出现定位不准确、位置漂移,或者,位置跳变的问题,无法满足定位需求。
发明内容
本申请实施例提供一种定位方法、装置、电子设备及存储介质,用以提高定位精度,避免出现由于GNSS信号质量下降所造成的定位不准确问题。
第一方面,本申请实施例提供了一种定位方法,应用于处理设备,所述方法包括:
响应于在可操作页面上发起的,针对待定位对象的定位请求,获得所述待定位对象的初始定位信息,所述初始定位信息中至少包括所述待定位对象的位姿信息;
基于获取的与所述待定位对象相匹配的卫星观测数据、速度测量数据和关联的特征点坐标数据,对所述初始定位信息进行定位修正处理,获得所述待定位对象的目标定位信息,所述特征点坐标数据是对关联的图像帧进行特征点匹配后得到的;其中,所述定位修正处理包括:基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息,分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述目标定位信息;
将所述待定位对象对应的目标定位信息,呈现在所述可操作页面上。
可选的,所述基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息,分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述目标定位信息,包括:
获取与所述待定位对象相匹配的卫星观测数据,并获取惯性传感器采集的速度测量数据,以及基于图像采集设备采集的图像数据确定特征点坐标数据;
基于所述待定位对象的初始定位信息、所述速度测量数据、所述惯性传感器的零偏信息,以及载波相位双差模糊度参数,建立所述待定位对象关联的参数矩阵;
基于所述速度测量数据,对所述待定位对象的初始定位信息进行更新,获得中间定位信息,并获得对所述参数矩阵进行更新后得到的中间参数矩阵和中间参数协方差矩阵;
分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述待定位对象的目标定位信息,以及获得对所述中间参数矩阵进行修正后得到的第二参数矩阵和对所述中间参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
可选的,所述分别采用卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,包括:
基于所述卫星观测数据,建立实时动态RTK差分约束关系,并基于所述RTK差分约束关系、所述中间参数协方差矩阵,以及用于修正所述中间参数矩阵的第一增量矩阵,建立卡尔曼修正方程,获得对所述中间参数矩阵进行修正后得到的第一参数矩阵和所述中间定位信息的第一次修正结果,以及获得对所述中间参数协方差矩阵进行修正后得到的第一参数协方差矩阵;
基于所述特征点坐标数据,确定所述待定位对象的位姿增量信息,并基于所述位姿增量信息、所述第一参数协方差矩阵,以及用于修正所述第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对所述第一参数矩阵进行修正后得到的第二参数矩阵和所述中间定位信息的第二次修正结果,以及获得对所述第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
可选的,所述分别采用卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,包括:
基于所述特征点坐标数据,确定所述待定位对象的位姿增量信息,并基于所述位姿增量信息、所述中间参数协方差矩阵,以及用于修正所述中间参数矩阵的第一增量矩阵,建立卡尔曼修正方程,获得对所述中间参数矩阵进行修正后得到的第一参数矩阵和所述中间定位信息的第一次修正结果,以及获得对所述中间参数协方差矩阵进行修正后得到的第一参数协方差矩阵;
基于所述卫星观测数据,建立实时动态RTK差分约束关系,并基于所述RTK差分约束关系、所述第一参数协方差矩阵,以及用于修正所述第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对所述第一参数矩阵进行修正后得到的第二参数矩阵和所述中间定位信息的第二次修正结果,以及获得对所述第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
可选的,所述基于所述卫星观测数据,建立实时动态RTK差分约束关系,包括:
根据所述卫星观测数据,以及所述待定位对象的中间定位信息,建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵,作为建立的RTK差分约束关系;
所述基于所述特征点坐标数据,确定所述待定位对象的位姿增量信息,包括:
采用随机抽样一致算法和正态分布变换算法,基于所述特征点坐标数据和所述图像采集设备的标定参数,确定所述待定位对象的姿态增量信息和位置增量信息。
可选的,所述根据所述卫星观测数据,以及所述待定位对象的中间定位信息,建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵,包括:
根据所述卫星观测数据,确定各个定位卫星的位置信息,并获取目标基准站的位置信息,以及基于所述各个定位卫星的位置信息、所述目标基准站的位置信息和所述待定位对象的中间定位信息,分别确定所述各个定位卫星与所述目标基准站之间的第一几何距离,并分别确定所述各个定位卫星与所述待定位对象之间的第二几何距离,并基于所述第一几何距离和第二几何距离,确定伪距双差估计值和载波相位双差估计值;
基于所述卫星观测数据中的伪距信息,分别确定所述目标基准站和所述待定位对象观测到的,参考卫星与其他各个定位卫星之间的伪距双差观测值,以及根据所述卫星观测数据中的载波相位观测值,分别确定所述目标基准站和所述待定位对象观测到的,所述参考卫星与所述其他各个定位卫星之间的载波相位双差观测值;
基于所述伪距双差观测值与所述伪距双差估计值的差值,建立伪距双差残差矩阵,并基于所述载波相位双差观测值与所述载波相位双差估计值之间的差值,建立载波相位双差残差矩阵;
建立包括所述伪距双差残差矩阵和所述载波相位双差残差矩阵的残差矩阵。
可选的,所述获得所述待定位对象的初始定位信息,包括:
若确定所述待定位对象为初次定位,则获取所述处理设备的第一网络定位信息,并将所述第一网络定位信息确定为所述待定位对象的初始位置信息,以及根据与惯性传感器对应的惯性坐标系相对于地球坐标系的偏移情况,确定所述待定位对象的初始姿态信息,并将所述初始位置信息和所述初始姿态信息,作为所述待定位对象的初始定位信息,所述处理设备和所述惯性传感器均安装于所述待定位对象上;
若确定所述待定位对象为非初次定位,则获取上一次定位所述待定位对象时得到的历史目标定位信息,并将所述历史目标定位信息确定为当前时刻所述待定位对象的初始定位信息。
可选的,所述获取的与所述待定位对象相匹配的卫星观测数据,包括:
获取所述处理设备的第二网络定位信息,并基于所述第二网络定位信息向卫星数据服务器发送数据获取请求,以使所述卫星数据服务器基于所述第二网络定位信息,确定所述待定位对象对应的目标基准站;
通过所述卫星数据服务器,接收所述目标基准站发送的星历信息和第一类卫星观测数据,所述第一类卫星观测数据中至少包括:通过所述目标基准站观测各个定位卫星后得到的伪距信息和载波相位观测值;
获取所述待定位对象上的卫星定位设备观测的第二类卫星观测数据,并将所述星历信息、所述第一类卫星观测数据,以及所述第二类卫星观测数据,作为获取的与所述待定位对象相匹配的卫星观测数据。
可选的,所述获取的与所述待定位对象关联的特征点坐标数据,包括:
获取所述待定位对象上的图像采集设备采集的图像数据,并采用维纳滤波的处理方式,对所述图像数据进行去噪处理,以及基于所述图像采集设备的内参数对所述图像数据进行去畸变处理,得到处理后的图像数据;
对所述处理后的图像数据进行分帧处理,获得在当前时刻采集的第一图像帧,以及获得在所述当前时刻的后一定位时刻采集的第二图像帧;
采用图像特征点提取算法,提取所述第一图像帧和所述第二图像帧中各自包括的特征点,并采用特征点匹配算法,筛选出所述第一图像帧和第二图像帧中匹配成功的各个目标特征点,以及将所述各个目标特征点分别在所述第一图像帧和第二图像帧中的坐标数据,作为获取的与所述待定位对象相匹配的特征点坐标数据。
可选的,所述基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息,包括:
基于当前时刻获得的所述速度测量数据中的角速度测量数据、在所述当前时刻的前一定位时刻确定的姿态信息,以及所述当前时刻与所述前一定位时刻之间的时间间隔,确定所述待定位对象在所述当前时刻的姿态信息;
基于所述当前时刻获得的所述速度测量数据中的加速度测量数据、所述前一定位时刻的速度信息、所述当前时刻对应的重力值信息,以及所述时间间隔,确定所述当前时刻的速度信息,并基于所述当前时刻的速度信息、所述前一定位时刻的速度信息、所述时间间隔,以及所述前一定位时刻的位置信息,确定所述当前时刻的位置信息;
基于确定的所述当前时刻对应的姿态信息、速度信息,以及位置信息,对所述参数矩阵中对应的参数进行更新,获得中间参数矩阵,并将所述当前时刻对应的姿态信息和位置信息,作为所述当前时刻的中间定位信息。
可选的,还包括:
基于所述当前时刻所述速度测量数据中的加速度测量数据,以及姿态信息,构建卡尔曼滤波算法对应的状态转移矩阵;
根据所述状态转移矩阵,以及由所述惯性传感器的属性信息确定的误差矩阵,更新初始参数协方差矩阵,获得中间参数协方差矩阵,所述初始的参数协方差矩阵为上一次定位完成后得到的参数协方差矩阵。
第二方面,提出一种定位装置,包括:
获得单元,响应于在可操作页面上发起的,针对待定位对象的定位请求,获得所述待定位对象的初始定位信息,所述初始定位信息中至少包括所述待定位对象的位姿信息;
处理单元,基于获取的与所述待定位对象相匹配的卫星观测数据、速度测量数据和关联的特征点坐标数据,对所述初始定位信息进行定位修正处理,获得所述待定位对象的目标定位信息,所述特征点坐标数据是对关联的图像帧进行特征点匹配后得到的;其中,所述定位修正处理包括:基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息,分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述目标定位信息;
呈现单元,将所述待定位对象对应的目标定位信息,呈现在所述可操作页面上。
可选的,所述基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息,分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述目标定位信息时,所述处理单元用于:
获取与所述待定位对象相匹配的卫星观测数据,并获取惯性传感器采集的速度测量数据,以及基于图像采集设备采集的图像数据确定特征点坐标数据;
基于所述待定位对象的初始定位信息、所述速度测量数据、所述惯性传感器的零偏信息,以及载波相位双差模糊度参数,建立所述待定位对象关联的参数矩阵;
基于所述速度测量数据,对所述待定位对象的初始定位信息进行更新,获得中间定位信息,并获得对所述参数矩阵进行更新后得到的中间参数矩阵和中间参数协方差矩阵;
分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述待定位对象的目标定位信息,以及获得对所述中间参数矩阵进行修正后得到的第二参数矩阵和对所述中间参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
可选的,所述分别采用卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正时,所述处理单元用于:
基于所述卫星观测数据,建立实时动态RTK差分约束关系,并基于所述RTK差分约束关系、所述中间参数协方差矩阵,以及用于修正所述中间参数矩阵的第一增量矩阵,建立卡尔曼修正方程,获得对所述中间参数矩阵进行修正后得到的第一参数矩阵和所述中间定位信息的第一次修正结果,以及获得对所述中间参数协方差矩阵进行修正后得到的第一参数协方差矩阵;
基于所述特征点坐标数据,确定所述待定位对象的位姿增量信息,并基于所述位姿增量信息、所述第一参数协方差矩阵,以及用于修正所述第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对所述第一参数矩阵进行修正后得到的第二参数矩阵和所述中间定位信息的第二次修正结果,以及获得对所述第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
可选的,所述分别采用卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正时,所述处理单元用于:
基于所述特征点坐标数据,确定所述待定位对象的位姿增量信息,并基于所述位姿增量信息、所述中间参数协方差矩阵,以及用于修正所述中间参数矩阵的第一增量矩阵,建立卡尔曼修正方程,获得对所述中间参数矩阵进行修正后得到的第一参数矩阵和所述中间定位信息的第一次修正结果,以及获得对所述中间参数协方差矩阵进行修正后得到的第一参数协方差矩阵;
基于所述卫星观测数据,建立实时动态RTK差分约束关系,并基于所述RTK差分约束关系、所述第一参数协方差矩阵,以及用于修正所述第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对所述第一参数矩阵进行修正后得到的第二参数矩阵和所述中间定位信息的第二次修正结果,以及获得对所述第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
可选的,所述基于所述卫星观测数据,建立实时动态RTK差分约束关系时,所述处理单元用于:
根据所述卫星观测数据,以及所述待定位对象的中间定位信息,建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵,作为建立的RTK差分约束关系;
所述基于所述特征点坐标数据,确定所述待定位对象的位姿增量信息,包括:
采用随机抽样一致算法和正态分布变换算法,基于所述特征点坐标数据和图像采集设备的标定参数,确定所述待定位对象的姿态增量信息和位置增量信息。
可选的,所述根据所述卫星观测数据,以及所述待定位对象的中间定位信息,建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵时,所述处理单元用于:
根据所述卫星观测数据,确定各个定位卫星的位置信息,并获取目标基准站的位置信息,以及基于所述各个定位卫星的位置信息、所述目标基准站的位置信息和所述待定位对象的中间定位信息,分别确定所述各个定位卫星与所述目标基准站之间的第一几何距离,并分别确定所述各个定位卫星与所述待定位对象之间的第二几何距离,并基于所述第一几何距离和第二几何距离,确定伪距双差估计值和载波相位双差估计值;
基于所述卫星观测数据中的伪距信息,分别确定所述目标基准站和所述待定位对象观测到的,参考卫星与其他各个定位卫星之间的伪距双差观测值,以及根据所述卫星观测数据中的载波相位观测值,分别确定所述目标基准站和所述待定位对象观测到的,所述参考卫星与所述其他各个定位卫星之间的载波相位双差观测值;
基于所述伪距双差观测值与所述伪距双差估计值的差值,建立伪距双差残差矩阵,并基于所述载波相位双差观测值与所述载波相位双差估计值之间的差值,建立载波相位双差残差矩阵;
建立包括所述伪距双差残差矩阵和所述载波相位双差残差矩阵的残差矩阵。
可选的,所述获得所述待定位对象的初始定位信息时,所述获得单元用于:
若确定所述待定位对象为初次定位,则获取所述处理设备的第一网络定位信息,并将所述第一网络定位信息确定为所述待定位对象的初始位置信息,以及根据与惯性传感器对应的惯性坐标系相对于地球坐标系的偏移情况,确定所述待定位对象的初始姿态信息,并将所述初始位置信息和所述初始姿态信息,作为所述待定位对象的初始定位信息,所述处理设备和所述惯性传感器均安装于所述待定位对象上;
若确定所述待定位对象为非初次定位,则获取上一次定位所述待定位对象时得到的历史目标定位信息,并将所述历史目标定位信息确定为当前时刻所述待定位对象的初始定位信息。
可选的,获取与所述待定位对象相匹配的卫星观测数据时,所述处理单元用于:
获取所述处理设备的第二网络定位信息,并基于所述第二网络定位信息向卫星数据服务器发送数据获取请求,以使所述卫星数据服务器基于所述第二网络定位信息,确定所述待定位对象对应的目标基准站;
通过所述卫星数据服务器,接收所述目标基准站发送的星历信息和第一类卫星观测数据,所述第一类卫星观测数据中至少包括:通过所述目标基准站观测各个定位卫星后得到的伪距信息和载波相位观测值;
获取所述待定位对象上的卫星定位设备观测的第二类卫星观测数据,并将所述星历信息、所述第一类卫星观测数据,以及所述第二类卫星观测数据,作为获取的与所述待定位对象相匹配的卫星观测数据。
可选的,获取与所述待定位对象关联的特征点坐标数据时,所述处理单元用于:
获取所述待定位对象上的图像采集设备采集的图像数据,并采用维纳滤波的处理方式,对所述图像数据进行去噪处理,以及基于所述图像采集设备的内参数对所述图像数据进行去畸变处理,得到处理后的图像数据;
对所述处理后的图像数据进行分帧处理,获得在当前时刻采集的第一图像帧,以及获得在所述当前时刻的后一定位时刻采集的第二图像帧;
采用图像特征点提取算法,提取所述第一图像帧和所述第二图像帧中各自包括的特征点,并采用特征点匹配算法,筛选出所述第一图像帧和第二图像帧中匹配成功的各个目标特征点,以及将所述各个目标特征点分别在所述第一图像帧和第二图像帧中的坐标数据,作为获取的与所述待定位对象相匹配的特征点坐标数据。
可选的,所述基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息时,所述处理单元用于:
基于当前时刻获得的所述速度测量数据中的角速度测量数据、在所述当前时刻的前一定位时刻确定的姿态信息,以及所述当前时刻与所述前一定位时刻之间的时间间隔,确定所述待定位对象在所述当前时刻的姿态信息;
基于所述当前时刻获得的所述速度测量数据中的加速度测量数据、所述前一定位时刻的速度信息、所述当前时刻对应的重力值信息,以及所述时间间隔,确定所述当前时刻的速度信息,并基于所述当前时刻的速度信息、所述前一定位时刻的速度信息、所述时间间隔,以及所述前一定位时刻的位置信息,确定所述当前时刻的位置信息;
基于确定的所述当前时刻对应的姿态信息、速度信息,以及位置信息,对所述参数矩阵中对应的参数进行更新,获得中间参数矩阵,并将所述当前时刻对应的姿态信息和位置信息,作为所述当前时刻的中间定位信息。
可选的,所述处理单元还用于:
基于所述当前时刻所述速度测量数据中的加速度测量数据,以及姿态信息,构建卡尔曼滤波算法对应的状态转移矩阵;
根据所述状态转移矩阵,以及由所述惯性传感器的属性信息确定的误差矩阵,更新初始参数协方差矩阵,获得中间参数协方差矩阵,所述初始的参数协方差矩阵为上一次定位完成后得到的参数协方差矩阵。
第三方面,提出了一种电子设备,其包括处理器和存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行上述第一方面中任一所述方法的步骤。
第四方面,提出一种计算机可读存储介质,其包括程序代码,当所述程序代码在电子设备上运行时,所述程序代码用于使所述电子设备执行上述第一方面中任一所述方法的步骤。
本申请有益效果如下:
本申请实施例提供了一种定位方法、装置、电子设备及存储介质。在本申请实施例中,响应于在可操作页面上发起的,针对待定位对象的定位请求,获得待定位对象的初始定位信息,初始定位信息中至少包括待定位对象的位姿信息,再基于获取的与待定位对象相匹配的卫星观测数据、速度测量数据和关联的特征点坐标数据,对初始定位信息进行定位修正处理,获得待定位对象的目标定位信息,特征点坐标数据是对关联的图像帧进行特征点匹配后得到的;其中,定位修正处理包括:基于速度测量数据,对初始定位信息进行更新,获得中间定位信息,并分别采用卫星观测数据和特征点坐标数据,对中间定位信息进行迭代修正,获得目标定位信息,然后将待定位对象对应的目标定位信息,呈现在可操作页面上。
这样,通过融合卫星观测数据、速度测量数据,以及特征点坐标数据这三类数据,对待定位对象进行定位,规避了对于卫星数据的过度依赖,提高定位精度和鲁棒性,在卫星信号偏弱的情况下,能够基于速度测量数据和特征点坐标数据辅助实现有效的定位,使得本申请的方案能够在复杂路况或隧道中,实现高精度的定位,优化了用户的使用体验。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中对于待定位对象的不准确定位示意图;
图2a为本申请实施例中应用场景示意图;
图2b为本申请实施例中对待定位对象进行定位的场景下的可操作界面示意图;
图3a为本申请实施例中定位过程的流程示意图;
图3b为本申请实施例中定位修正处理过程示意图;
图4a为本申请实施例中确定特征点坐标数据的流程示意图;
图4b为本申请实施例中处理前后的图像帧示意图;
图4c为本申请实施例中建立的图像坐标系示意图;
图4d为本申请实施例中匹配的特征点示意图;
图5a为本申请实施例中车辆定位的算法流程图;
图5b为本申请实施例中包含各部分的定位系统的框架示意图;
图5c为本申请实施例中定位过程的流程示意图;
图6为本申请实施例提供的一种定位装置的逻辑结构示意图;
图7为应用本申请实施例的一种电子设备的一个硬件组成结构示意图;
图8为本申请实施例中的一个计算装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请技术方案的一部分实施例,而不是全部的实施例。基于本申请文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请技术方案保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够在除了这里图示或描述的那些以外的顺序实施。
以下对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
惯性传感器:一种传感器,能够检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(degree of freedom,DoF)运动,是解决导航、定向和运动载体控制的重要部件,目前配置在处理设备中使用较多的惯性传感器为微机电系统(Micro-Electro-MechanicalSystem,MEMS)惯性传感器。
实时动态差分定位:实时动态(Real-time kinematic,RTK)差分定位技术又称为载波相位差分定位技术,RTK差分定位技术是基于载波相位观测值完成定位的实时动态定位技术,能够实时地提供测站点在指定坐标系中的三维定位结果并达到厘米级精度;在RTK定位模式下,基准站通过数据链将其观测值和测站坐标信息一起传送给流动站,流动站不仅通过数据链接收来自基准站的数据,还采集卫星观测数据,进而基于获得的数据进行实时定位处理。
全球卫星导航系统:(the Global Navigation Satellite System,GNSS),也称为全球导航卫星系统,是能够在地球表面或近地空间的任何地点为用户提供全天候的三维坐标、速度,以及时间信息的空基无线电导航定位系统。常见系统有:全球定位系统(GlobalPositioning System,GPS)、北斗卫星导航系统(BeiDou Navigation Satellite System,BDS)、格洛纳斯卫星导航系统(GLOBAL NAVIGATION SATELLITE SYSTEM,GLONASS)和伽利略卫星导航系统GALILEO四大卫星导航系统。
视觉传感器:成像原理是将真实的三维空间中的三维点映射到二维空间的成像平面中,具体的,可以使用小针孔成像模型来描述该过程,本公开实施例中,图像采集设备本质上是一种视觉传感器,利用计算机视觉对实时影像数据进行处理。
特征点:是指图像中图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点),能够反映图像本质特征,标识图像中目标物体,再者,通过特征点的匹配能够完成图像的匹配。特征点主要由两部分组成:关键点(keypoint)和描述子(descriptor)。
关键点:指特征点在图像中的位置,有些还具有方向、尺度等信息。
描述子:通常是一个向量,按照基于实际需求设计的方式,描述关键点与周围像素的关系信息,通常外观相似的特征具有相似的描述子。故在匹配的时候,若两个特征点描述子在向量空间的距离(马氏距离、汉明距离等)相近,则可以认为是同一个特征点。
匹配的特征点:将特征点描述子在向量空间的距离,低于设定值的两个特征点,称为匹配的特征点,具体的,比较位于不同图像帧中两个特征点的描述子,若确定两个特征点描述子在向量空间的距离(如马氏距离)相近,则可认为是匹配的同一个特征点。
卫星数据服务器:能够基于设置的数据传输系统,获得基准站网络中各个基准站观测得到的卫星观测数据,并能够接收处理设备的注册请求,以及响应于已注册的处理设备发送的数据获取请求,向已注册的处理设备播发星历信息,并向已注册的处理设备提供目标基准站的卫星观测数据。
基准站:是对卫星导航信号进行长期连续观测,并由通信设施将观测数据实时或定时传送至卫星数据服务器的地面固定观测站。
卡尔曼滤波:是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。本公开实施例中,用于建立一定时间段内的,观测数据增量与修正后的估计数据增量之间的转换关系,以及建立修正后的参数协方差矩阵与预测的参数协方差矩阵之间的转换关系。
本申请实施例涉及人工智能(ArtificialIntelligence,AI)和机器学习技术,基于人工智能中的计算机视觉技术和机器学习(MachineLearning,ML)而设计。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能是一门综合学科,涉及的领域广泛,既有硬件层面的技术,也有软件层面的技术。人工智能的基础技术一般包括传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作交互系统、机电一体化等技术;人工智能的软件技术一般包括计算机视觉技术、自然语言处理技术、以及机器学习/深度学习等几大方向。随着人工智能的发展与进步,人工智能在多个领域中进行研究和应用,如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等,相信随着未来技术的进一步发展,人工智能将在更多的领域中得到应用,发挥出越来越重要的价值。
其中,自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术,自动驾驶技术有着广泛的应用前景。再这其中,精准定位是实现自动驾驶的基础,是实现行为决策、路径规划,运动控制,以及构建高精地图的重要操作。
需要说明的是,本申请提出的定位方法,可应用的场景包括但不限于地图、导航、自动驾驶、车联网,以及车路协同等等。
下面对本申请实施例的设计思想进行简要介绍:
相关技术下,在对待定位对象进行定位时,通常借助于惯性导航系统和GNSS系统的共同作用,以实现对待定位对象的定位,这样,定位的精度受限于GNSS信号质量,在诸如城市复杂路况、隧道等复杂场景下,GNSS信号质量将极大的降低,无法保证对待定位对象的精准定位,进而在对待定位对象进行连续定位的过程中,极容易出现待定位对象的位置漂移、定位不连续,以及位置跳变的现象。
参阅图1所示,其为本申请实施例中对于待定位对象的不准确定位示意图,图1中,示意由于GNSS信号质量差造成的位置漂移的情况,基于图1所示意的内容可以明显的看出定位结果中存在位置跳变和定位不连续的问题。
有鉴于此,本申请实施例中,处理设备通过融合卫星观测数据、速度测量数据,以及特征点坐标数据这三类数据,对待定位对象进行定位,规避了对于卫星数据的过度依赖,提高定位精度和鲁棒性,在卫星信号偏弱的情况下,能够基于速度测量数据和特征点坐标数据辅助实现有效的定位,使得本申请的方案能够在复杂路况或隧道中,实现高精度的定位。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请实施例及实施例中的特征可以相互组合。
如图2a所示,其为本申请实施例中应用场景示意图。该应用场景示意图中包括卫星数据服务器210,位于待定位对象220上的处理设备221、位于待定位对象220上的图像采集设备222、位于待定位对象220上的惯性传感器223,以及位于待定位对象220上的卫星定位数据224,可通过处理设备221登录或打开应用操作界面2210。处理设备221和卫星数据服务器210之间可以通过通信网络进行通信,其中,该通信网络可以是第四代移动通信技术(the 4th generation mobile communication technology,4G)、第五代移动通信技术(the 5th generation mobile communication technology,5G),或者无线通信技术(WIreless Fidelity,WIFI)等能够建立通信连接的网络。
在本申请实施例中,处理设备221为安装在待定位对象上的电子设备,该电子设备可以是个人计算机、车载终端、平板电脑、笔记本等设备。处理设备221接收待定位对象220上的图像采集设备222采集的图像数据,并接收惯性传感器223采集的速度测量数据,以及接收卫星定位设备224观测获得的卫星观测数据,其中,处理设备221和图像采集设备222之间、处理设备221和惯性传感器223之间,以及处理设备221和卫星定位设备224之间,可以采用有线连接或无线连接的方式,进行数据的传输,本申请实施例在此不做具体限制。
操作界面2210对应本申请实施例中不同的应用场景,可能包括不同内容,在本申请实施例一些可能的场景中,参阅图2b所示,其为本申请实施例中对对待定位对象进行定位的场景下的可操作界面示意图,当在可操作界面中触发“定位”指示时,则自动定位当前的位置信息,并在可操作界面上显示当前的定位信息,或者,当在搜索框中对目的地址进行搜索,以希望进行导航定位时,可以在自动规划路线的同时,实时定位变化的位置,直至导航定位结束。
卫星数据服务器210可以是独立的物理服务器210,也可以是提供云服务、云数据库、云计算、云存储、云函数、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN),以及大数据和人工智能平台等基础云计算服务的云端服务器210。
其中,本申请实施例中,当在处理设备221上的操作界面2210中,发起对于待定位对象220的定位操作指示时,处理设备221从卫星数据服务器210处,接收播放的实时星历信息和目标基准站的卫星观测数据,从图像采集设备222处获得采集的图像帧,并从惯性传感器223处获得采集的速度测量数据,以及从卫星定位设备224处获得观测得到的卫星观测数据。进而基于获得的各类数据,融合计算待定位对象220的位置信息。
下面结合附图,对本申请实施例中定位的流程进行说明,本申请实施例中的定位过程可应用于图2a所示的处理设备221,具体的定位过程如下:
参阅图3a所示,其为本申请实施例中定位过程的流程示意图,下面结合附图3a,进行详细说明:
步骤301:处理设备响应于在可操作页面上发起的,针对待定位对象的定位请求,获得待定位对象的初始定位信息,初始定位信息中至少包括待定位对象的位姿信息。
处理设备确定操作页面中,用于指示发起定位请求的组件被触发时,则确定接收到针对待定位对象的定位请求,进而获得待定位对象的初始定位信息,初始定位信息中至少包括待定位对象的位姿信息,位姿信息是位置信息和姿态信息的统称,其中,考虑到定位请求发起的时机,处理设备所获得的初始定位信息存在以下两种情况:
情况一、处理设备确定初次对待定位对象进行定位。
具体的,处理设备若确定待定位对象为初次定位,则获取处理设备的第一网络定位信息,并将第一网络定位信息确定为待定位对象的初始位置信息,以及根据与惯性传感器对应的惯性坐标系相对于地球坐标系的偏移情况,确定待定位对象的初始姿态信息,并将初始位置信息和初始姿态信息,作为待定位对象的初始定位信息,处理设备和惯性传感器均安装于待定位对象上。
需要说明的是,处理设备连接网络后,获取后台数据库根据其在网络中的接入位置所确定的位置信息,作为第一网络定位信息,其中,第一网络定位信息仅能表征处理设备的概略位置,具有较大的定位误差。
本申请实施例中,由于处理设备安装在待定位对象上,故根据处理设备自身接入网络的情况所确定的网络定位信息,可以视为待定位对象的网络定位信息。
本申请实施例中,可选的,当待定位对象自身具有网络连接功能时,处理设备也可以直接获取针对待定位对象自身确定的网络定位信息,作为第一网络定位信息。
情况二、处理设备确定非初次对待定位对象进行定位。
处理设备确定待定位对象为非初次定位,则获取上一次定位待定位对象时得到的历史目标定位信息,并将历史目标定位信息确定为当前时刻待定位对象的初始定位信息。
具体的,处理设备确定先前已经对待定位对象进行过定位修正处理后,则基于当前获得的定位请求,获取上一次定位待定位对象时得到的历史目标定位信息,作为当前待定位对象的初始定位信息。
例如,假设处理设备接收到对于待定位对象的定位请求后,确定历史记录中记录有上次对待定位对象的定位结束时间是某日期下的13:26:27,则处理设备获取在该日期下的13:26:27时,处理得到并记录的历史目标定位信息,作为待定位对象的初始定位信息。
这样,针对待定位对象确定的初始定位信息,或者是待定位对象的网络定位信息,或者是,上一次定位结束时的位置信息,考虑到目前定位技术的广泛应用,在待定位对象每次移动都进行定位的场景下,初始定位信息的确定一定程度上降低了定位的难度。
步骤302:处理设备基于获取的与待定位对象相匹配的卫星观测数据、速度测量数据和关联的特征点坐标数据,对初始定位信息进行定位修正处理,获得待定位对象的目标定位信息,特征点坐标数据是对关联的图像帧进行特征点匹配后得到的。
其中,定位修正处理包括:基于速度测量数据,对初始定位信息进行更新,获得中间定位信息,并分别采用卫星观测数据和特征点坐标数据,对中间定位信息进行迭代修正,获得目标定位信息。
参阅图3b所示,其为本申请实施例中定位修正处理过程示意图,下面截图附图3b,对定位修正处理的具体过程进行详细说明:
步骤3021:处理设备获取与待定位对象相匹配的卫星观测数据,并获取惯性传感器采集的速度测量数据,以及基于图像采集设备采集的图像数据确定特征点坐标数据。
处理设备在获取与待定位对象相匹配的卫星观测数据时,获取自身的第二网络定位信息,并基于第二网络定位信息向卫星数据服务器发送数据获取请求,以使卫星数据服务器基于第二网络定位信息,确定待定位对象对应的目标基准站,再通过卫星数据服务器,接收目标基准站发送的星历信息和第一类卫星观测数据,第一类卫星观测数据中至少包括:通过目标基准站观测各个定位卫星后得到的伪距信息和载波相位观测值,然后获取待定位对象上的卫星定位设备观测的第二类卫星观测数据,并将星历信息、第一类卫星观测数据,以及第二类卫星观测数据,作为获取的与待定位对象相匹配的卫星观测数据。
具体的,第二网络定位信息为当前时刻获得的网络定位结果,第二网络定位信息与第一网络定位信息可能指代相同的内容,如可能都指代处理设备的网络定位信息,也可能指代不同的内容,如,第一网络定位信息是待定位对象直接对应的网络定位信息,第二网络信息指代处理设备的网络定位信息。
处理设备基于表征自身概略位置的第二网络定位信息,采用4G、5G、WIFI等网络传输方式,向卫星数据服务器发送数据获取请求,以使卫星数据服务器基于第二网络定位信息确定待定位对象对应的目标基准站,并获取卫星数据服务器播发的星历信息和目标基准站观测的第一类卫星观测数据,与此同时,处理设备获取安装于待定位对象上的,卫星定位设备观测的第二类卫星观测数据。
其中,卫星服务器将覆盖范围包含第二网络定位信息的基准站,作为目标基准站,卫星数据服务器能够获取各个基准站对应的卫星观测数据,并能够获得不同卫星导航系统中的星历参数表,即星历信息,进而向请求数据的处理设备播放实时导航星历。
特殊的,处理设备对持续运动的待定位设备进行定位时,若基于定位得到的定位信息确定待定位设备脱离当前目标基准站所覆盖的范围,则需要重新基于当前的定位信息,确定新的目标基准站,并获得新的目标基准站观测得到的卫星观测数据。
处理设备在获取惯性传感器采集的速度测量数据时,处理设备在通过有线或无线的连接方式,与安装于待定位对象上的惯性传感器建立连接,进而获得惯性传感器实时采集的速度测量数据,其中,速度测量数据中包括角速度测量数据和加速度测量数据。
需要说明的是,由于惯性传感器安装于待定位对象上,故惯性传感器采集的速度测量数据,即为待定位对象的速度测量数据。
处理设备在基于图像采集设备采集的图像数据确定特征点坐标数据时,首先通过有线或无线的连接方式,与图像采集设备建立连接,获得图像采集设备采集的实时图像数据,进而对去噪和去畸变处理的图像数据进行分帧,并将对待定位对象进行定位的当前时刻采集的图像帧,与后一定位时刻采集的图像帧作为待定位对象匹配的图像帧,并确定图像帧之间匹配的特征点,以及确定特征点坐标,并将确定的特征点坐标作为待定位对象关联的特征点坐标数据。
参阅图4a所示,其为本申请实施例中确定特征点坐标数据的流程示意图,下面结合附图4a,对基于获得的图像数据,确定待定位对象关联的特征点坐标数据的过程进行具体说明:
步骤1:处理设备获取待定位对象上的图像采集设备采集的图像数据,并采用维纳滤波的处理方式,对图像数据进行去噪处理,以及基于图像采集设备的内参数对图像数据进行去畸变处理,得到处理后的图像数据。
处理设备获取安装在待定位对象上的图像采集设备采集的图像数据,具体的,处理设备可以通过通用串行总线(Universal Serial Bus,USB),或者,通过高清多媒体接口(High Definition Multimedia Interface,HDMI)连接线,或者,能够实现图像数据传输的其他方式,获取图像采集设备采集的红绿蓝(Red Green Blue,RGB)格式的图像数据。
进一步的,处理设备针对实时获取的图像数据,利用维纳滤波的处理方式对图像数据进行去噪处理,与此同时,处理设备根据图像采集设备的内参数,对图像数据进行去畸变处理,得到经过去噪和去畸变处理后的图像数据。
需要说明的是,图像处理设备的内参数确定方式,是本领域的常规技术,在此不再对内参数的获得方式进行赘述。
这样,通过对获取的图像数据进行滤波和去噪处理,能够降低图像数据的噪声,使得后续的处理过程能够基于高质量的图像数据进行,保证后续针对图像数据进行的处理能够有效进行。
步骤2:处理设备对处理后的图像数据进行分帧处理,获得在当前时刻采集的第一图像帧,以及获得在当前时刻的后一定位时刻采集的第二图像帧。
处理设备对处理后的图像数据进行分帧,得到各个处理后的图像帧,且每个图像帧各自关联有对应的采集时间。
例如,参阅图4b所示,其为本申请实施例中处理前后的图像帧示意图,基于图4b所示意的内容可知,假设在1S时间内,处理设备获取的图像数据中存在n帧图像,如图4b左侧所示意的,存在噪声点的n帧图像I1、I2、I3…In,在经过滤波去噪和去畸变处理后,能够极大的消除噪声点,进而得到图4b中右侧所示意的,处理后的图像数据。
进而为了实现在当前时刻对待定位对象进行定位,处理设备获得在当前时刻采集的第一图像帧,以及获取在当前时刻的后一定位时刻采集的第二图像帧,并将第一图像帧和第二图像帧作为待定位对象关联的图像帧,其中,第二图像帧可以是连续获取的各个图像帧中,在第一图像帧之后获取,且与第一图像帧相邻的一帧图像。
步骤3:采用图像特征点提取算法,提取第一图像帧和第二图像帧中各自包括的特征点,并采用特征点匹配算法,筛选出第一图像帧和第二图像帧中匹配成功的各个目标特征点,以及将各个目标特征点分别在第一图像帧和第二图像帧中的坐标数据,作为获取的与待定位对象相匹配的特征点坐标数据。
处理设备确定第一图像帧和第二图像帧之后,基于图像帧建立图像坐标系,用以表示特征点位置坐标。
参阅图4c所示,其为本申请实施例中建立的图像坐标系示意图,以获取的图像帧In为例,可以基于图像帧的边缘建立图像坐标系。
处理设备采用图像特征点提取算法,分别针对第一图像帧和第二图像帧进行特征提取,提取出第一图像帧和第二图像帧中各自包括的特征点,其中,可以采用的图像特征点提取算法可以是:尺度不变特征变换(Scale-invariant feature transform,SIFT)算法、加速健壮特征算法(Speed-up robust features,SURF)、快速特征点提取和描述的算法(Oriented FAST and Rotated BRIEF,ORB)、二进制鲁棒不变可扩展关键点算法(BinaryRobust Invariant Scalable Keypoints,BRISK)、特征点描述算法(Binary RobustIndependent Elementary Features,BRIEF),以及用于角点检测的算法(Features fromaccelerated segment test,FAST)。
那么,针对采用特征提取算法进行特征点提取的图像Ii来说,i=1、2、……n,Ii中包括的特征点可以表示为如下形式,其中,n为图像帧的总数。
其中,mi表示图像Ii中的特征点总数,为特征点1的坐标,/>为特征点1的描述子。
进一步的,针对第一图像帧和第二图像帧中,各自提取出的特征点,处理设备采用特征点匹配算法,筛选出第一图像帧和第二图像帧中匹配成功的各个目标特征点。
具体的,处理设备可以采用暴力匹配算法BruteForce、最邻近规则分类算法(K-Nearest-Neighbors,KNN),或者基于最近邻开源库的算法(Fast Library forApproximate Nearest Neighbors,Flann-based)等匹配算法。在进行特征点匹配时,通常需要以下三个步骤:首先,提取图像帧中的关键点,并查找图像中具有某些特征的像素;其次,根据得到的关键点位置信息,计算特征点描述子;再次,根据特征点的描述子,进行匹配。
在匹配时,可以以两个特征点描述子的马氏距离或汉明距离作为匹配准则,将特征点描述子马氏距离或汉明距离低于对应设置的阈值的两个特征点,确定为匹配的特征点,每个匹配特征点由第一图像帧和第二图像帧中相应的特征点以及坐标组成。
具体参阅图4d所示,其为本申请实施例中匹配的特征点示意图,图4d中,示出了采用特征点匹配算法,对Ii和Ii+1中的特征点进行匹配后得到的匹配示意图,则匹配完成后,得到4组匹配成功的特征点,一条虚线表示一组匹配特征点。
这样,通过对待定位对象关联的第一图像帧和第二图像帧进行特征提取和特征匹配,能够确定第一图像帧和第二图像帧中匹配成功的特征点,进而能够获得与待定位对象相匹配的特征点坐标数据,使得后续能够基于匹配的特征点确定位姿的变化情况,为后续的定位修正操作提供了依据。
步骤3022:处理设备基于待定位对象的初始定位信息、速度测量数据、惯性传感器的零偏信息,以及载波相位双差模糊度参数,建立待定位对象关联的参数矩阵。
处理设备获取待定位对象的初始定位信息后,可以基于待定位对象的初始定位信息、惯性传感器采集的速度测量数据、惯性传感器的零偏信息,以及载波相位双差模糊度参数,建立关联的参数矩阵。
具体的,处理设备建立的参数矩阵形如以下形式:
其中,x表征建立的参数矩阵,为待定位对象的姿态参数,v和p为待定位对象在地心地固坐标系(Earth-Centered,Earth-Fixed,ECEF)下的速度信息和位置信息,ba和bg为惯性传感器陀螺仪和加速度计的零偏,用于校正惯性传感器的角速度和加速度的测量偏差。
本申请实施例中,待定位对象的姿态表示的是惯性传感器三轴与ECEF(地心地固坐标系)的欧拉角,即
式中,φz、φy和φx为惯性传感器三轴所在坐标系绕z轴、y轴和x轴转换至ECEF所转动的欧拉角;惯性传感器三轴所在坐标系与ECEF的转换关系,可用矩阵形式表示为:
在确定参数矩阵中各个参数的初始值时,基于惯性传感器与ECEF之间的欧拉角,采用下述公式,确定位姿参数
其中,表示待定位对象的姿态,Log为李群SO3的Log运算,/>为/>的反对称矩阵;/>为载波相位双差模糊度参数,1表示设置为参考卫星的卫星1,m表示用于定位的卫星总数,参考卫星可以根据实际处理需要选取。参数矩阵中初始位置信息由待定位对象的初始定位信息确定,可以将参数矩阵中的速度信息初始值设置为0,并将参数矩阵中的其他参数初始值也设置为0,在后续的估计计算中再进行更新和修正即可。
参数矩阵x的增量矩阵用δx表示,形式如下:
步骤3023:处理设备基于速度测量数据,对待定位对象的初始定位信息进行更新,获得中间定位信息,并获得对参数矩阵进行更新后得到的中间参数矩阵和中间参数协方差矩阵。
处理设备基于速度测量数据,对待定位对象的初始位置信息进行更新,获得中间定位信息时,处理设备首先基于当前时刻获得的速度测量数据中的角速度测量数据、在当前时刻的前一定位时刻确定的姿态信息,以及当前时刻与前一定位时刻之间的时间间隔,确定待定位对象在当前时刻的姿态信息。
以下的说明中,仅以当前时刻为tk,当前时刻的前一定位时刻为tk-1为例,对基于速度测量数据对初始定位信息、参数矩阵,以及参数协方差矩阵进行更新的过程进行说明。
处理设备得到的惯性传感器采集的速度测量数据,包括角速度测量数据和加速度测量数据,处理设备在tk时获得的速度测量数据,形如如下所示:
其中,ωx(tk)表征角速度测量值ω(tk)在惯性传感器三轴中,x轴的分解结果;ωy(tk)表征角速度测量值ω(tk)在惯性传感器三轴中,y轴的分解结果;ωz(tk)表征角速度测量值ω(tk)在惯性传感器三轴中,z轴的分解结果;ax(tk)表征加速度测量值a(tk)在惯性传感器三轴中,x轴的分解结果;ay(tk)表征加速度测量值a(tk)在惯性传感器三轴中,x轴的分解结果;az(tk)表征加速度测量值a(tk)在惯性传感器三轴中,x轴的分解结果。
进一步的,处理设备采用如下公式,确定待定位对象在当前时刻的姿态信息:
其中,ωe为地球自转加速度值,Δt=tk-tk-1为更新时间间隔,为tk-1时刻惯性传感器与ECEF的坐标系转换矩阵,在初始定位时刻,/>由参数矩阵中/>的初始值确定,而/>为tk时刻惯性传感器三轴与ECEF的坐标系转换矩阵,进而能够基于确定参数矩阵中在tk更新的待定位对象的姿态信息。
进一步的,处理设备基于当前时刻tk获得的速度测量数据中的加速度测量数据、前一定位时刻tk-1的速度信息、当前时刻tk对应的重力值信息,以及时间间隔,确定当前时刻tk的速度信息和位置信息。
具体的,处理设备基于当前时刻tk获得的速度测量数据中的加速度测量数据、前一定位时刻tk-1的速度信息、当前时刻tk对应的重力值信息,以及时间间隔,确定当前时刻tk的速度信息,并基于当前时刻tk的速度信息、前一定位时刻tk-1的速度信息、时间间隔,以及前一定位时刻tk-1的位置信息,确定当前时刻tk的位置信息。
具体实现时,处理设备采用以下公式,确定tk时刻的速度信息:
式中,g(tk)为在tk时刻ECEF坐标系下的重力值,v(tk-1)为tk-1时刻待定位对象的速度信息,v(tk)为tk时刻待定位对象的速度信息,即更新后的待定位对象的速度信息;a(tk)为待定位对象tk-1时刻的加速度测量数据。
在获得tk时刻的速度信息后,基于速度信息,确定待定位对象的位置信息:
/>
式中,r(tk-1)为tk-1时刻用户的位置,r(tk)为tk时刻待定位对象的位置信息,即更新后的待定位对象的位置信息。
处理设备基于当前时刻获得的速度测量数据,得到当前时刻的姿态信息、速度信息和位置信息后,基于确定的当前时刻对应的姿态信息、速度信息,以及位置信息,对参数矩阵中对应的参数进行更新,获得中间参数矩阵,并将当前时刻对应的姿态信息和位置信息,作为当前时刻的中间定位信息。
进一步的,处理设备基于当前时刻速度测量数据中的加速度测量数据,以及姿态信息,构建卡尔曼滤波算法对应的状态转移矩阵,并根据状态转移矩阵,以及由惯性传感器的属性信息确定的误差矩阵,更新初始参数协方差矩阵,获得中间参数协方差矩阵,初始的参数协方差矩阵为上一次定位完成后得到的参数协方差矩阵。
特殊的,当对待定位对象进行初次定位时,初始参数协方差矩阵为设置的协方差矩阵初始值,具体可以是预设为设定维度的对角矩阵。
进而采用如下公式更新滤波算法的参数协方差矩阵,即
P(tk)=Φ(tk)·P(t0)·Φ(tk)T+Q(tk)
其中,Φ(tk)表示滤波算法中的系统状态转移矩阵,Q(tk)为系统噪声,可直接由惯性传感器的说明书得到,滤波算法具体可以是卡尔曼滤波算法。
系统状态转移矩阵Φ(tk)采用以下公式得到:
其中,I3×3为3×3的单位矩阵,Ωe、F21和F23为计算Φ(tk)的中间变量。
其中,rs(tk)表示当前待定位对象的位置与地心的距离,rS(tk)≈|r(tk)|,r(tk)表示tk时待定位对象的位置信息,Q(t0,tk)为系统噪声,可直接由惯性传感器产品说明书获得,即:
式中,和/>为加速度计和陀螺仪的系统噪声谱密度,可直接由惯性传感器的说明书获得。
同理,当处理设备接收到下一时刻tk+1惯性传感器发送的速度测量数据时重复步骤3023的操作进行处理。
这样,基于惯性传感器采集的速度观测数据,实现了对初始定位信息的更新和对初始协方差矩阵的更新,相当于将待定位对象的位置信息,更新至基于惯性传感器采集的数据确定的位置,使得后续再进行修正处理时,无需进行大幅度的调整,保证了定位的精度。
步骤3024:处理设备分别采用卫星观测数据和特征点坐标数据,对中间定位信息进行迭代修正,获得待定位对象的目标定位信息,以及获得对中间参数矩阵进行修正后得到的第二参数矩阵和对中间参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
处理设备基于惯性传感器采集的速度测量数据,对待定位对象的初始位置信息进行更新,得到中间定位信息、中间参数矩阵和中间参数协方差矩阵之后,分别采用卫星观测数据和特征点坐标数据,对中间定位信息、中间参数矩阵和中间参数协方差矩阵进行迭代修正。
需要说明的是,本公开实施例中,处理设备进行迭代修改时,按照迭代修征所依据的数据的不同,存在以下两种迭代处理方式:
方式一、处理设备先基于卫星观测数据,进行第一次定位修正,再基于特征点坐标数据,进行第二次定位修正。
具体的,处理设备先基于卫星观测数据,建立实时动态RTK差分约束关系,并基于RTK差分约束关系、中间参数协方差矩阵,以及用于修正中间参数矩阵的第一增量矩阵,建立卡尔曼修正方程,获得对中间参数矩阵进行修正后得到的第一参数矩阵和中间定位信息的第一次修正结果,以及获得对中间参数协方差矩阵进行修正后得到的第一参数协方差矩阵。
具体实施时,为了基于待定位对象关联的卫星观测数据进行定位,处理设备需要预先计算卫星位置、速度、钟差以及钟差变率等信息,本申请实施例中,处理设备基于卫星观测数据中包括的,卫星数据服务器播发的实时导航星历信息进行计算,计算出当前时刻(当前时刻可由处理设备计算系统时间确定)的卫星位置、速度、钟差以及钟差变率等,其中,卫星的星历信息表示的是一组用于计算卫星位置的参数,可以通过4G、5G或WIFI等通信方式以二进制流的形式进行传输。
进一步的,处理设备基于卫星观测数据中包括的目标基准站和自身观测获得的伪距和载波相位观测值,构建RTK差分约束关系时,处理设备根据卫星观测数据,以及待定位对象的中间定位信息,建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵,作为建立的RTK差分约束关系。
具体的,处理设备根据卫星观测数据,确定各个定位卫星的位置信息,并获取目标基准站的位置信息,以及基于各个定位卫星的位置信息、目标基准站的位置信息和待定位对象的中间定位信息,分别确定各个定位卫星与目标基准站之间的第一几何距离,并分别确定各个定位卫星与待定位对象之间的第二几何距离,并基于第一几何距离和第二几何距离,确定伪距双差估计值和载波相位双差估计值,再基于卫星观测数据中的伪距信息,分别确定目标基准站和待定位对象观测到的,参考卫星与其他各个定位卫星之间的伪距双差观测值,以及根据卫星观测数据中的载波相位观测值,分别确定目标基准站和待定位对象观测到的,参考卫星与其他各个定位卫星之间的载波相位双差观测值,然后,基于伪距双差观测值与伪距双差估计值的差值,建立伪距双差残差矩阵,并基于载波相位双差观测值与载波相位双差估计值之间的差值,建立载波相位双差残差矩阵,进而建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵。
具体建立残差矩阵的公式如下:
其中,zρ表示伪距双差残差,表示载波相位双差残差,/>表示处理设备与卫星i的第二几何距离,m为参与对待定位对象进行定位的定位卫星的数目,/>表示卫星1和目标基准站b的第一几何距离,/>表示卫星1和卫星2之间伪距双差观测值,/>表示卫星1和卫星2的载波相位双差观测值,以此类推;为双差电离层延迟,/>为双差对流层延迟,卫星1参考卫星。由于双差电离层延迟和双参对流层延迟的计算方式,是本领域的成熟技术,在此不再进行具体说明。
进而将获得的伪距双差残差矩阵和载波相位双差残差矩阵组合得到残差矩阵并建立残差矩阵与预设的第一增量矩阵δx之间的卡尔曼修正方程:
其中,HRTK为卡尔曼滤波公式中构建的雅克比矩阵,表示惯性传感器和卫星天线的杆臂,/>表示处理设备至卫星m的单位观测向量,/>(rr表示待定位对象的位置估计值,rm表示卫星m的位置,λ为载波波长。
进而基于建立的卡尔曼修正方程,解算第一增量矩阵如下:
式中,P-(tk)为tk时刻第一参数协方差矩阵预测值,具体为获得的中间参数协方差矩阵;为卡尔曼增益,RRTK(tk)为测量误差矩阵,滤波参数/>为整数,是采用MLAMBDA方法进行模糊度固定后得到的;P+(tk)为修正后得到的第一参数协方差矩阵。
处理设备得到第一增量矩阵后,将第一增量矩阵与中间参数矩阵的叠加结果,作为修正后的中间参数矩阵,即为第一参数矩阵,并将第一参数矩阵中与中间定位信息对应的各个参数,确定为中间定位信息的第一次修正结果。
处理设备基于卫星观测数据,完成第一次定位修正后,基于特征点坐标数据,进行第二次定位修正。
具体的,处理设备先基于特征点坐标数据,确定待定位对象的位姿增量信息,其中,在确定待定位对象位姿增量时,处理设备采用随机抽样一致算法和正态分布变换算法,基于特征点坐标数据和图像采集设备的标定参数,确定待定位对象的姿态增量信息和位置增量信息。
进而基于位姿增量信息、第一参数协方差矩阵,以及用于修正第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对第一参数矩阵进行修正后得到的第二参数矩阵和中间定位信息的第二次修正结果,以及获得对第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵.
具体实施时,假设处理设备在tk时刻获得的第一图像帧和tk+1时刻获得的第二图像帧之间,匹配的特征点为P1,P2,P3,......,Pn,在tk时刻它们在图像中的坐标为F={f1,f2,…fn},在tk+1时刻它们在图像中的坐标为F′={f′1,f′2,…,f′n}/>利用随机抽样一致算法(RANdom SAmple Consensus,RANSAC)和正态分布变换(NormalDistribution Transform,NDT)算法求解下列方程式,即针对下述方程进行求解。
其中,表示相机坐标系中坐标的姿态变量,K为待定位对象上的图像采集设备的标定参数,/>表示在图像采集设备坐标系中tk和tk+1时刻坐标的姿态增量;和表示车辆位置在tk和tk+1时刻在图像采集坐标系中的位置增量;n表示匹配的特征点的数目。
利用上式计算可获得图像采集设备对应的坐标系下的位姿变量和与此同时,根据下式计算惯性传感器坐标系下的/>和/>即:
/>
其中,和/>表征图像采集设备所对应的坐标系与惯性传感器所对应的坐标系之间的相对位置关系,也就是,两个三维坐标系之间的转换关系,可事先标定得到。
进而,处理设备基于特征点坐标数据,确定待定位对象的位姿增量信息,并基于位姿增量信息、第一参数协方差矩阵,以及用于修正第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对第一参数矩阵进行修正后得到的第二参数矩阵和中间定位信息的第二次修正结果,以及获得对第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
具体实现时,处理设备基于以下公式,得到姿态增量信息与预设的第二增量矩阵之间的对应关系:
式中,为SO3李群的右雅克比矩阵的逆,Jr为SO3李群的右雅克比矩阵,中/>是/>的参数,/>表征的是tk时刻待定位对象位姿的转置,为姿态变化量观测值。
进而,处理设备基于下述公式,构建位置增量信息与第二增量矩阵之间的对应关系:
其中,表示位置增量信息;/>为雅克比矩阵,由观测方程对参数进行微分后获得;/>表示惯性传感器坐标下tk-tk+1之间的位置增量,/>表示估计的位置增量。
采用以下公式,确定各个矩阵中的各个中间参数:/>
式中,γ(ti)为ti时刻车辆的重力向量在ECEF坐标系的投影,a(ti)为惯性传感器的加速度测量值,Δti是对Δt进行拆分后得到的。
进一步的,建立第二增量矩阵δx与位姿增量信息之间的对应关系如下:
进而基于卡尔曼修正方程,解算第二增量矩阵如下:/>
式中,为具体指代第一参数协方差矩阵;/>为卡尔曼增益,Rz(tk)为测量误差矩阵,由测量设备的固有属性确定的,通常可视为已知;/>为修正后融合滤波器协方差矩阵。
处理设备得到第二增量矩阵后,将第二增量矩阵与第一参数矩阵的叠加结果,作为修正后的第一参数矩阵,即为第二参数矩阵,其中,第二参数矩阵中对应位姿信息的参数,即为中间定位信息对应的第二次修正结果。
方式二、处理设备先基于特征点坐标数据,进行第一次定位修正,再基于卫星观测数据,进行第二次定位修正。
具体的,处理设备可以先基于特征点坐标数据,确定待定位对象的位姿增量信息,并基于位姿增量信息、中间参数协方差矩阵,以及用于修正中间参数矩阵的第一增量矩阵,建立卡尔曼修正方程,获得对中间参数矩阵进行修正后得到的第一参数矩阵和中间定位信息的第一次修正结果,以及获得对中间参数协方差矩阵进行修正后得到的第一参数协方差矩阵;
再基于卫星观测数据,建立实时动态RTK差分约束关系,并基于RTK差分约束关系、第一参数协方差矩阵,以及用于修正第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对第一参数矩阵进行修正后得到的第二参数矩阵和中间定位信息的第二次修正结果,以及获得对第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
其中,在采用卫星观测数据进行定位修正的过程中,采用的算法原理与方式一中相同,同时,在采用特征点坐标数据,进行定位修正的过程中,采用的算法原理与方式一中相同,在此不再赘述。
这样,基于卫星观测数据和特征点坐标数据,实现了对定位信息的两次修正,提高了定位的精度,避免了过分依赖于单个定位因素的弊端,提高了定位系统的鲁棒性。
步骤303:处理设备将待定位对象对应的目标定位信息,呈现在可操作页面上。
处理设备针对待定位对象,完成定位修正处理后,将对应得到的目标定位信息,呈现在可操作页面上,以直观的展示待定位对象的位置信息。
需要说明的是,本申请实施例中,对于待定位对象的定位过程,可以是一个连续的过程,在各个定位时刻,分别采用步骤301-303所示意的步骤,最终得到各个定位时刻分别对应的位置信息,进而确定待定位对象的运动轨迹和运动趋势。同时,可以根据实际的处理需要,基于坐标系之间的转换关系,将计算得到的一种坐标系下的位置信息,转换至另一种坐标系下,如,将惯性传感器坐标系下的定位信息切换至地球坐标系下,其中,坐标系之间的转换,是本领域的常规技术,在此不再进行具体说明。
这样,通过在可操作页面上显示待定位对象的目标定位信息,能够直观的呈现待定位对象的定位结果,为确定待定位对象的运动趋势和位置信息提供了可靠的依据。
需要说明的是,本申请所提出的技术方案,可以应用于对车辆、无人机、机器人,以及其他有定位需要对象进行定位的场景中,下面结合附图5a-5c,对在车辆定位的场景下,对于车辆的定位过程进行说明。
在对车辆进行定位的场景下,执行定位修正处理的处理设备具体可以是车辆上的车载终端。
图像采集设备具体可以是车载摄像头,本申请实施例中,可以选择性的将前置摄像头或行车记录仪摄像头作为获取车载图像数据的车载摄像头。通常来说,车载摄像头主要包括有内视摄像头、后视摄像头、前置摄像头、侧视摄像头、环视摄像头等,其中,在自动驾驶的场景下,前置摄像头的类型主要包括单目和双目,其中双目摄像头拥有更好的测距功能,但需要装在两个不同的位置,环视摄像头的类型是广角镜头,在车四周装配4个进行图像拼接实现全景图,加入算法可实现道路线感知;而后视摄像头则是广角或鱼眼镜头,主要为倒车后置镜头,通常情况下,需要满足的功能越复杂,需要摄像头的数目越多。
卫星数据服务器,具体可以是由多个功能技术组成的定位系统中的一部分,对外提供基准站的卫星观测数据和星历信息,其中,该定位系统可以是卫星定位技术、计算机网络技术、数字通讯技术等高新科技多方位、深度结晶的产物。由基准站网、数据处理中心、数据传输系统、定位导航数据播发系统、用户应用系统五个部分组成,各基准站与数据处理中心间通过数据传输系统连接成一体,形成专用网络。
参阅附图5a,其为本申请实施例中车辆定位的算法流程图,基于图5a所示意的算法流程可知:
待定位车辆上安装有惯性传感器、车载摄像头,以及卫星定位数据,其中,针对惯性传感器采集加速度和角速度测量数据,进行积分处理,能够得到待定位车辆的位置、速度和方向信息;针对车载摄像头提供的车载图像数据,通过对车载图像数据进行图像特征点提取和匹配,估计待定位车辆的位姿变化,进而构建车辆位姿变化的约束关系;基于卫星定位设备能够提供卫星观测数据,能够构建伪距和载波相位的RTK差分约束关系。
进一步的,本申请实施例中,基于卡尔曼滤波算法构建修正方程,实现对各类别定位信息的修正,相当于对各类定位信息进行融合滤波处理,进而基于修正后的定位信息,确定待定位车辆的定位信息,得到最终的定位结果。
参阅图5b所示,其为本申请实施例中包含各部分的定位系统的框架示意图。
车载终端在对待定位车辆进行定位的过程中,能够从多方获取数据,获得的数据包括:由卫星数据服务器播发的导航星历和目标基准站观测的第一类卫星观测数据;从车载摄像头处获得的车载图像数据;从卫星定位设备处获得的第二类卫星观测数据,包括伪距和载波相位观测值;从惯性传感器处获得的速度测量数据,包括角速度测量数据和加速度测量数据。
卫星数据服务器能够接收车载终端发送的,携带有待定位车辆的网络定位信息的数据获取请求,并基于车辆的网络定位信息,确定待定位车辆的归属的目标基准站,进而将目标基准站观测得到的第一类卫星观测数据,以及卫星导航星历(星历信息)发送至车载终端。
参阅图5c所示,其为本申请实施例中定位过程中的流程示意图,下面结合附图5c,对定位过程进行说明:
步骤501:车载终端通过通信网络发送获取星历和观测数据的请求至卫星数据服务器。
步骤502:车载终端获取卫星数据服务器播放的星历信息和第一类卫星观测数据。
步骤503:车载终端根据星历信息计算卫星位置、钟差、速度和钟差变化率。
需要说明的是,车载终端可以在卫星位置信息、钟差、速度和钟差变化率被使用之前的任意时刻,基于星历信息进行卫星位置、钟差、速度和钟差变化率的计算。
步骤504:车载终端建立包括位置信息和姿态信息的参数矩阵。
步骤505:车载终端根据惯性传感器采集的速度测量值,辅助车辆运动状态更新。
车载终端根据惯性传感器采集的角速度测量数据和加速度测量数据,辅助车辆运动状态更新。进而得到更新后的中间参数矩阵,以及更新后的中间参数协方差矩阵。
步骤506:车载终端根据获得的星历和第一类卫星观测数据,以及车载卫星定位设备采集的第二类卫星观测数据,建立RTK差分约束,并通过构建卡尔曼修正方程,修正车辆的运动状态。
步骤507:车载终端根据车载摄像头发送的车载图像数据,建立位姿变量约束关系,并通过构建卡尔曼修正方程,修正车辆的运行状态。
步骤508:车载终端输出车辆的定位信息。
其中,步骤506和步骤507的执行顺序不固定,可以根据实际的数据获取情况,确定执行的步骤。
例如,假设先获取到了卫星观测数据,则基于先采用步骤506所限定的操作进行定位修正,再采用步骤507所限定的操作进行定位修正;
又例如,假设先获取到了车载图像数据,则先采用步骤507所限定的操作对定位信息进行修正,再采用步骤506所限定的操作进行定位修正。
这样,在车辆定位过程中,能够基于卫星观测数据建立的RTK差分约束、惯性传感器采集的速度测量数据和车载图像数据的共同作用,实现车辆的定位。在定位过程中,先通过惯性传感器采集的速度测量信息辅助车辆运动状态更新、再选择性地基于星历、卫星观测数据等信息构建RTK差分约束并进行卡尔曼滤波修正,实现对定位信息的修正,并能够使得定位精度达到厘米级,进而可以根据车载图像数据提取图像特征点并进行特征点的匹配,估计相邻图像帧之间的车辆位姿变化量,并以此作为观测量约束车辆位姿误差,实现对定位信息的再修正,这种先更新再修正的定位方式,能够有效提高车载定位系统鲁棒性和导航定位精度,并能够辅助车道级导航,优化用户的使用体验。
参阅图6所示,其为本申请实施例提供的一种定位装置的逻辑结构示意图,定位装置600可以包括:
获得单元601,响应于在可操作页面上发起的,针对待定位对象的定位请求,获得待定位对象的初始定位信息,初始定位信息中至少包括待定位对象的位姿信息;
处理单元602,基于获取的与待定位对象相匹配的卫星观测数据、速度测量数据和关联的特征点坐标数据,对初始定位信息进行定位修正处理,获得待定位对象的目标定位信息,特征点坐标数据是对关联的图像帧进行特征点匹配后得到的;其中,定位修正处理包括:基于速度测量数据,对初始定位信息进行更新,获得中间定位信息,分别采用卫星观测数据和特征点坐标数据,对中间定位信息进行迭代修正,获得目标定位信息;
呈现单元603,将待定位对象对应的目标定位信息,呈现在可操作页面上。
可选的,基于速度测量数据,对初始定位信息进行更新,获得中间定位信息,分别采用卫星观测数据和特征点坐标数据,对中间定位信息进行迭代修正,获得目标定位信息时,处理单元602用于:
获取与待定位对象相匹配的卫星观测数据,并获取惯性传感器采集的速度测量数据,以及基于图像采集设备采集的图像数据确定特征点坐标数据;
基于待定位对象的初始定位信息、待定位对象的速度测量数据、惯性传感器的零偏信息,以及载波相位双差模糊度参数,建立待定位对象关联的参数矩阵;
基于速度测量数据,对待定位对象的初始定位信息进行更新,获得中间定位信息,并获得对参数矩阵进行更新后得到的中间参数矩阵和中间参数协方差矩阵;
分别采用卫星观测数据和特征点坐标数据,对中间定位信息进行迭代修正,获得待定位对象的目标定位信息,以及获得对中间参数矩阵进行修正后得到的第二参数矩阵和对中间参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
可选的,分别采用卫星观测数据和特征点坐标数据,对中间定位信息进行迭代修正时,处理单元602用于:
基于卫星观测数据,建立实时动态RTK差分约束关系,并基于RTK差分约束关系、中间参数协方差矩阵,以及用于修正中间参数矩阵的第一增量矩阵,建立卡尔曼修正方程,获得对中间参数矩阵进行修正后得到的第一参数矩阵和中间定位信息的第一次修正结果,以及获得对中间参数协方差矩阵进行修正后得到的第一参数协方差矩阵;
基于特征点坐标数据,确定待定位对象的位姿增量信息,并基于位姿增量信息、第一参数协方差矩阵,以及用于修正第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对第一参数矩阵进行修正后得到的第二参数矩阵和中间定位信息的第二次修正结果,以及获得对第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
可选的,分别采用卫星观测数据和特征点坐标数据,对中间定位信息进行迭代修正时,处理单元602用于:
基于特征点坐标数据,确定待定位对象的位姿增量信息,并基于位姿增量信息、中间参数协方差矩阵,以及用于修正中间参数矩阵的第一增量矩阵,建立卡尔曼修正方程,获得对中间参数矩阵进行修正后得到的第一参数矩阵和中间定位信息的第一次修正结果,以及获得对中间参数协方差矩阵进行修正后得到的第一参数协方差矩阵;
基于卫星观测数据,建立实时动态RTK差分约束关系,并基于RTK差分约束关系、第一参数协方差矩阵,以及用于修正第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对第一参数矩阵进行修正后得到的第二参数矩阵和中间定位信息的第二次修正结果,以及获得对第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
可选的,基于卫星观测数据,建立实时动态RTK差分约束关系时,处理单元602用于:
根据卫星观测数据,以及待定位对象的中间定位信息,建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵,作为建立的RTK差分约束关系;
基于特征点坐标数据,确定待定位对象的位姿增量信息,包括:
采用随机抽样一致算法和正态分布变换算法,基于特征点坐标数据和图像采集设备的标定参数,确定待定位对象的姿态增量信息和位置增量信息。
可选的,根据卫星观测数据,以及待定位对象的中间定位信息,建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵时,处理单元602用于:
根据卫星观测数据,确定各个定位卫星的位置信息,并获取目标基准站的位置信息,以及基于各个定位卫星的位置信息、目标基准站的位置信息和待定位对象的中间定位信息,分别确定各个定位卫星与目标基准站之间的第一几何距离,并分别确定各个定位卫星与待定位对象之间的第二几何距离,并基于第一几何距离和第二几何距离,确定伪距双差估计值和载波相位双差估计值;
基于卫星观测数据中的伪距信息,分别确定目标基准站和待定位对象观测到的,参考卫星与其他各个定位卫星之间的伪距双差观测值,以及根据卫星观测数据中的载波相位观测值,分别确定目标基准站和待定位对象观测到的,参考卫星与其他各个定位卫星之间的载波相位双差观测值;
基于伪距双差观测值与伪距双差估计值的差值,建立伪距双差残差矩阵,并基于载波相位双差观测值与载波相位双差估计值之间的差值,建立载波相位双差残差矩阵;
建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵。
可选的,获得待定位对象的初始定位信息时,获得单元601用于:
若确定待定位对象为初次定位,则获取处理设备的第一网络定位信息,并将第一网络定位信息确定为待定位对象的初始位置信息,以及根据与惯性传感器对应的惯性坐标系相对于地球坐标系的偏移情况,确定待定位对象的初始姿态信息,并将初始位置信息和初始姿态信息,作为待定位对象的初始定位信息,处理设备和惯性传感器均安装于待定位对象上;
若确定待定位对象为非初次定位,则获取上一次定位待定位对象时得到的历史目标定位信息,并将历史目标定位信息确定为当前时刻待定位对象的初始定位信息。
可选的,获取与待定位对象相匹配的卫星观测数据时,处理单元602用于:
获取处理设备的第二网络定位信息,并基于第二网络定位信息向卫星数据服务器发送数据获取请求,以使卫星数据服务器基于第二网络定位信息,确定待定位对象对应的目标基准站;
通过卫星数据服务器,接收目标基准站发送的星历信息和第一类卫星观测数据,第一类卫星观测数据中至少包括:通过目标基准站观测各个定位卫星后得到的伪距信息和载波相位观测值;
获取待定位对象上的卫星定位设备观测的第二类卫星观测数据,并将星历信息、第一类卫星观测数据,以及第二类卫星观测数据,作为获取的与待定位对象相匹配的卫星观测数据。
可选的,获取与待定位对象关联的特征点坐标数据时,处理单元602用于:
获取待定位对象上的图像采集设备采集的图像数据,并采用维纳滤波的处理方式,对图像数据进行去噪处理,以及基于图像采集设备的内参数对图像数据进行去畸变处理,得到处理后的图像数据;
对处理后的图像数据进行分帧处理,获得在当前时刻采集的第一图像帧,以及获得在当前时刻的后一定位时刻采集的第二图像帧;
采用图像特征点提取算法,提取第一图像帧和第二图像帧中各自包括的特征点,并采用特征点匹配算法,筛选出第一图像帧和第二图像帧中匹配成功的各个目标特征点,以及将各个目标特征点分别在第一图像帧和第二图像帧中的坐标数据,作为获取的与待定位对象相匹配的特征点坐标数据。
可选的,基于速度测量数据,对初始定位信息进行更新,获得中间定位信息时,处理单元602用于:
基于当前时刻获得的速度测量数据中的角速度测量数据、在当前时刻的前一定位时刻确定的姿态信息,以及当前时刻与前一定位时刻之间的时间间隔,确定待定位对象在当前时刻的姿态信息;
基于当前时刻获得的速度测量数据中的加速度测量数据、前一定位时刻的速度信息、当前时刻对应的重力值信息,以及时间间隔,确定当前时刻的速度信息,并基于当前时刻的速度信息、前一定位时刻的速度信息、时间间隔,以及前一定位时刻的位置信息,确定当前时刻的位置信息;
基于确定的当前时刻对应的姿态信息、速度信息,以及位置信息,对参数矩阵中对应的参数进行更新,获得中间参数矩阵,并将当前时刻对应的姿态信息和位置信息,作为当前时刻的中间定位信息。
可选的,处理单元602还用于:
基于当前时刻速度测量数据中的加速度测量数据,以及姿态信息,构建卡尔曼滤波算法对应的状态转移矩阵;
根据状态转移矩阵,以及由惯性传感器的属性信息确定的误差矩阵,更新初始参数协方差矩阵,获得中间参数协方差矩阵,初始的参数协方差矩阵为上一次定位完成后得到的参数协方差矩阵。
在介绍了本申请示例性实施方式的定位方法和装置之后,接下来,介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思,本申请实施例中还提供了一种电子设备,参阅图7所示,其为应用本申请实施例的一种电子设备的一个硬件组成结构示意图,电子设备700可以至少包括处理器701、以及存储器702。其中,存储器702存储有程序代码,当程序代码被处理器701执行时,使得处理器701执行上述任意一种关键点检测方法的步骤。
在一些可能的实施方式中,根据本申请的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的关键点检测的步骤。例如,处理器可以执行如图3a中所示的步骤。
下面参照图8来描述根据本申请的这种实施方式的计算装置800。如图8所示,计算装置800以通用计算装置的形式表现。计算装置800的组件可以包括但不限于:上述至少一个处理单元801、上述至少一个存储单元802、连接不同系统组件(包括存储单元802和处理单元801)的总线803。
总线803表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元802可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)8021和/或高速缓存存储单元8022,还可以进一步包括只读存储器(ROM)8023。
存储单元802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025,这样的程序模块8024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置800也可以与一个或多个外部设备804(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与计算装置800交互的设备通信,和/或与使得该计算装置800能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且,计算装置800还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器806通过总线803与用于计算装置800的其它模块通信。应当理解,尽管图中未示出,可以结合计算装置800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
与上述方法实施例基于同一发明构思,本申请提供的关键点检测方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在电子设备上运行时,程序代码用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的关键点检测方法中的步骤,例如,电子设备可以执行如图3a中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (15)
1.一种定位方法,其特征在于,应用于处理设备,包括:
响应于在可操作页面上发起的,针对待定位对象的定位请求,获得所述待定位对象的初始定位信息,所述初始定位信息中至少包括所述待定位对象的位姿信息;
基于获取的与所述待定位对象相匹配的卫星观测数据、速度测量数据和关联的特征点坐标数据,对所述初始定位信息进行定位修正处理,得到所述待定位对象的目标定位信息,所述特征点坐标数据是对关联的图像帧进行特征点匹配后得到的;其中,所述定位修正处理包括:基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息,分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述目标定位信息;所述速度测量数据包括:通过惯性传感器采集的角速度测量数据和加速度测量数据;所述待定位对象相匹配的卫星观测数据包括:由所述待定位对象对应的目标基准站发送的星历信息和第一类卫星观测数据,以及安装于所述待定位对象上的卫星定位设备观测的第二类卫星观测数据;
将所述待定位对象对应的目标定位信息,呈现在所述可操作页面上。
2.如权利要求1所述的方法,其特征在于,所述基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息,分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述目标定位信息,包括:
获取与所述待定位对象相匹配的卫星观测数据,并获取惯性传感器采集的速度测量数据,以及基于图像采集设备采集的图像数据确定特征点坐标数据;
基于所述待定位对象的初始定位信息、所述速度测量数据、所述惯性传感器的零偏信息,以及载波相位双差模糊度参数,建立所述待定位对象关联的参数矩阵;
基于所述速度测量数据,对所述待定位对象的初始定位信息进行更新,获得中间定位信息,并获得对所述参数矩阵进行更新后得到的中间参数矩阵和中间参数协方差矩阵;
分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述待定位对象的目标定位信息,以及获得对所述中间参数矩阵进行修正后得到的第二参数矩阵和对所述中间参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
3.如权利要求2所述的方法,其特征在于,所述分别采用卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,包括:
基于所述卫星观测数据,建立实时动态RTK差分约束关系,并基于所述RTK差分约束关系、所述中间参数协方差矩阵,以及用于修正所述中间参数矩阵的第一增量矩阵,建立卡尔曼修正方程,获得对所述中间参数矩阵进行修正后得到的第一参数矩阵和所述中间定位信息的第一次修正结果,以及获得对所述中间参数协方差矩阵进行修正后得到的第一参数协方差矩阵;
其中,所述第一增量矩阵的解算公式如下:
式中,为tk时刻的第一增量矩阵;P-(tk)为tk时刻第一参数协方差矩阵预测值,具体为获得的中间参数协方差矩阵;/>为卡尔曼增益,RRTK(tk)为测量误差矩阵,滤波参数/>为整数,是采用MLAMBDA方法进行模糊度固定后得到的;P+(tk)为修正后得到的第一参数协方差矩阵;/>是残差矩阵;HRTK为卡尔曼滤波公式中构建的雅克比矩阵;
基于所述特征点坐标数据,确定所述待定位对象的位姿增量信息,并基于所述位姿增量信息、所述第一参数协方差矩阵,以及用于修正所述第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对所述第一参数矩阵进行修正后得到的第二参数矩阵和所述中间定位信息的第二次修正结果,以及获得对所述第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵;
其中,所述第二增量矩阵的解算公式如下:
式中,为tk时刻的第二增量矩阵;/>为具体指代第一参数协方差矩阵;为卡尔曼增益,Rz(tk)为测量误差矩阵,由测量设备的固有属性确定的,通常可视为已知;/>为修正后融合滤波器协方差矩阵;/>为位姿增量信息;/>为雅克比矩阵;/>为推导得到的参数矩阵。
4.如权利要求2所述的方法,其特征在于,所述分别采用卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,包括:
基于所述特征点坐标数据,确定所述待定位对象的位姿增量信息,并基于所述位姿增量信息、所述中间参数协方差矩阵,以及用于修正所述中间参数矩阵的第一增量矩阵,建立卡尔曼修正方程,获得对所述中间参数矩阵进行修正后得到的第一参数矩阵和所述中间定位信息的第一次修正结果,以及获得对所述中间参数协方差矩阵进行修正后得到的第一参数协方差矩阵;
其中,所述第一增量矩阵的解算公式如下:
式中,为tk时刻的第一增量矩阵;P-(tk)为tk时刻第一参数协方差矩阵预测值,具体为获得的中间参数协方差矩阵;/>为卡尔曼增益,RRTK(tk)为测量误差矩阵,滤波参数/>为整数,是采用MLAMBDA方法进行模糊度固定后得到的;P+(tk)为修正后得到的第一参数协方差矩阵;/>是残差矩阵;HRTK为卡尔曼滤波公式中构建的雅克比矩阵;
基于所述卫星观测数据,建立实时动态RTK差分约束关系,并基于所述RTK差分约束关系、所述第一参数协方差矩阵,以及用于修正所述第一参数矩阵的第二增量矩阵,建立卡尔曼修正方程,获得对所述第一参数矩阵进行修正后得到的第二参数矩阵和所述中间定位信息的第二次修正结果,以及获得对所述第一参数协方差矩阵进行修正后得到的第二参数协方差矩阵;
其中,所述第二增量矩阵的解算公式如下:
式中,为tk时刻的第二增量矩阵;/>为具体指代第一参数协方差矩阵;为卡尔曼增益,Rz(tk)为测量误差矩阵,由测量设备的固有属性确定的,通常可视为已知;/>为修正后融合滤波器协方差矩阵;/>为位姿增量信息;/>为雅克比矩阵;/>为推导得到的参数矩阵。
5.如权利要求3或4任一项所述的方法,其特征在于,所述基于所述卫星观测数据,建立实时动态RTK差分约束关系,包括:
根据所述卫星观测数据,以及所述待定位对象的中间定位信息,建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵,作为建立的RTK差分约束关系;
所述基于所述特征点坐标数据,确定所述待定位对象的位姿增量信息,包括:
采用随机抽样一致算法和正态分布变换算法,基于所述特征点坐标数据和所述图像采集设备的标定参数,确定所述待定位对象的姿态增量信息和位置增量信息。
6.如权利要求5所述的方法,其特征在于,所述根据所述卫星观测数据,以及所述待定位对象的中间定位信息,建立包括伪距双差残差矩阵和载波相位双差残差矩阵的残差矩阵,包括:
根据所述卫星观测数据,确定各个定位卫星的位置信息,并获取目标基准站的位置信息,以及基于所述各个定位卫星的位置信息、所述目标基准站的位置信息和所述待定位对象的中间定位信息,分别确定所述各个定位卫星与所述目标基准站之间的第一几何距离,并分别确定所述各个定位卫星与所述待定位对象之间的第二几何距离,并基于所述第一几何距离和第二几何距离,确定伪距双差估计值和载波相位双差估计值;
基于所述卫星观测数据中的伪距信息,分别确定所述目标基准站和所述待定位对象观测到的参考卫星与其他各个定位卫星之间的伪距双差观测值,以及根据所述卫星观测数据中的载波相位观测值,分别确定所述目标基准站和所述待定位对象观测到的所述参考卫星与所述其他各个定位卫星之间的载波相位双差观测值;
基于所述伪距双差观测值与所述伪距双差估计值的差值,建立伪距双差残差矩阵,并基于所述载波相位双差观测值与所述载波相位双差估计值之间的差值,建立载波相位双差残差矩阵;
建立包括所述伪距双差残差矩阵和所述载波相位双差残差矩阵的残差矩阵。
7.如权利要求1-4任一项所述的方法,其特征在于,所述获得所述待定位对象的初始定位信息,包括:
若确定所述待定位对象为初次定位,则获取所述处理设备的第一网络定位信息,并将所述第一网络定位信息确定为所述待定位对象的初始位置信息,以及根据与惯性传感器对应的惯性坐标系相对于地球坐标系的偏移情况,确定所述待定位对象的初始姿态信息,并将所述初始位置信息和所述初始姿态信息,作为所述待定位对象的初始定位信息,所述处理设备和所述惯性传感器均安装于所述待定位对象上;
若确定所述待定位对象为非初次定位,则获取上一次定位所述待定位对象时得到的历史目标定位信息,并将所述历史目标定位信息确定为当前时刻所述待定位对象的初始定位信息。
8.如权利要求1-4任一项所述的方法,其特征在于,所述获取的与所述待定位对象相匹配的卫星观测数据,包括:
获取所述处理设备的第二网络定位信息,并基于所述第二网络定位信息向卫星数据服务器发送数据获取请求,以使所述卫星数据服务器基于所述第二网络定位信息,确定所述待定位对象对应的目标基准站;
通过所述卫星数据服务器,接收所述目标基准站发送的星历信息和第一类卫星观测数据,所述第一类卫星观测数据中至少包括:通过所述目标基准站观测各个定位卫星后得到的伪距信息和载波相位观测值;
获取所述待定位对象上的卫星定位设备观测的第二类卫星观测数据,并将所述星历信息、所述第一类卫星观测数据,以及所述第二类卫星观测数据,作为获取的与所述待定位对象相匹配的卫星观测数据。
9.如权利要求1-4任一项所述的方法,其特征在于,所述获取的与所述待定位对象关联的特征点坐标数据,包括:
获取所述待定位对象上的图像采集设备采集的图像数据,并采用维纳滤波的处理方式,对所述图像数据进行去噪处理,以及基于所述图像采集设备的内参数对所述图像数据进行去畸变处理,得到处理后的图像数据;
对所述处理后的图像数据进行分帧处理,获得在当前时刻采集的第一图像帧,以及获得在所述当前时刻的后一定位时刻采集的第二图像帧;
采用图像特征点提取算法,提取所述第一图像帧和所述第二图像帧中各自包括的特征点,并采用特征点匹配算法,筛选出所述第一图像帧和第二图像帧中匹配成功的各个目标特征点,以及将所述各个目标特征点分别在所述第一图像帧和第二图像帧中的坐标数据,作为获取的与所述待定位对象相匹配的特征点坐标数据。
10.如权利要求2-4任一项所述的方法,其特征在于,所述基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息,包括:
基于当前时刻获得的所述速度测量数据中的角速度测量数据、在所述当前时刻的前一定位时刻确定的姿态信息,以及所述当前时刻与所述前一定位时刻之间的时间间隔,确定所述待定位对象在所述当前时刻的姿态信息;
基于所述当前时刻获得的所述速度测量数据中的加速度测量数据、所述前一定位时刻的速度信息、所述当前时刻对应的重力值信息,以及所述时间间隔,确定所述当前时刻的速度信息,并基于所述当前时刻的速度信息、所述前一定位时刻的速度信息、所述时间间隔,以及所述前一定位时刻的位置信息,确定所述当前时刻的位置信息;
基于确定的所述当前时刻对应的姿态信息、速度信息,以及位置信息,对所述参数矩阵中对应的参数进行更新,获得中间参数矩阵,并将所述当前时刻对应的姿态信息和位置信息,作为所述当前时刻的中间定位信息。
11.如权利要求10所述的方法,其特征在于,还包括:
基于所述当前时刻所述速度测量数据中的加速度测量数据,以及姿态信息,构建卡尔曼滤波算法对应的状态转移矩阵;
根据所述状态转移矩阵,以及由所述惯性传感器的属性信息确定的误差矩阵,更新初始参数协方差矩阵,获得中间参数协方差矩阵,所述初始的参数协方差矩阵为上一次定位完成后得到的参数协方差矩阵。
12.一种定位装置,其特征在于,包括:
获得单元,响应于在可操作页面上发起的,针对待定位对象的定位请求,获得所述待定位对象的初始定位信息,所述初始定位信息中至少包括所述待定位对象的位姿信息;
处理单元,基于获取的与所述待定位对象相匹配的卫星观测数据、速度测量数据和关联的特征点坐标数据,对所述初始定位信息进行定位修正处理,得到所述待定位对象的目标定位信息,所述特征点坐标数据是对关联的图像帧进行特征点匹配后得到的;其中,所述定位修正处理包括:基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息,分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述目标定位信息;所述速度测量数据包括:通过惯性传感器采集的角速度测量数据和加速度测量数据;所述待定位对象相匹配的卫星观测数据包括:由所述待定位对象对应的目标基准站发送的星历信息和第一类卫星观测数据,以及安装于所述待定位对象上的卫星定位设备观测的第二类卫星观测数据;
呈现单元,将所述待定位对象对应的目标定位信息,呈现在所述可操作页面上。
13.如权利要求12所述的装置,其特征在于,所述基于所述速度测量数据,对所述初始定位信息进行更新,获得中间定位信息,分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述目标定位信息时,所述处理单元用于:
获取与所述待定位对象相匹配的卫星观测数据,并获取惯性传感器采集的速度测量数据,以及基于图像采集设备采集的图像数据确定特征点坐标数据;
基于所述待定位对象的初始定位信息、所述速度测量数据、所述惯性传感器的零偏信息,以及载波相位双差模糊度参数,建立所述待定位对象关联的参数矩阵;
基于所述速度测量数据,对所述待定位对象的初始定位信息进行更新,获得中间定位信息,并获得对所述参数矩阵进行更新后得到的中间参数矩阵和中间参数协方差矩阵;
分别采用所述卫星观测数据和所述特征点坐标数据,对所述中间定位信息进行迭代修正,获得所述待定位对象的目标定位信息,以及获得对所述中间参数矩阵进行修正后得到的第二参数矩阵和对所述中间参数协方差矩阵进行修正后得到的第二参数协方差矩阵。
14.一种电子设备,其特征在于,其包括处理器和存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行权利要求1~11中任一所述方法的步骤。
15.一种计算机可读存储介质,其特征在于,其包括程序代码,当所述程序代码在电子设备上运行时,所述程序代码用于使所述电子设备执行权利要求1~11中任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110689398.4A CN113406682B (zh) | 2021-06-22 | 2021-06-22 | 一种定位方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110689398.4A CN113406682B (zh) | 2021-06-22 | 2021-06-22 | 一种定位方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113406682A CN113406682A (zh) | 2021-09-17 |
CN113406682B true CN113406682B (zh) | 2024-03-12 |
Family
ID=77682134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110689398.4A Active CN113406682B (zh) | 2021-06-22 | 2021-06-22 | 一种定位方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113406682B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114155290B (zh) * | 2021-11-18 | 2022-09-09 | 合肥富煌君达高科信息技术有限公司 | 一种用于大视场高速运动测量的系统与方法 |
CN114510679B (zh) * | 2021-12-15 | 2024-04-12 | 成都飞机工业(集团)有限责任公司 | 设备位置信息的获得方法、装置、终端设备以及存储介质 |
CN114093189B (zh) * | 2021-12-28 | 2023-03-14 | 中国人民解放军火箭军工程大学 | 一种车队路径优化方法及系统 |
CN114413890A (zh) * | 2022-01-14 | 2022-04-29 | 广州小鹏自动驾驶科技有限公司 | 车辆轨迹的生成方法、生成装置、电子设备及存储介质 |
CN114519820B (zh) * | 2022-02-11 | 2023-05-16 | 常州刘国钧高等职业技术学校 | 一种基于机器视觉的柑橘筛选自动修正控制方法及系统 |
CN114202621B (zh) * | 2022-02-17 | 2022-06-24 | 北京开运联合信息技术集团股份有限公司 | 基于b/s架构实现海量太空目标展示方法和装置 |
CN114777745A (zh) * | 2022-04-08 | 2022-07-22 | 南京信息工程大学 | 一种基于无迹卡尔曼滤波的倾斜取证建模方法 |
CN116704037B (zh) * | 2023-08-08 | 2024-01-05 | 南京遇简信息科技有限公司 | 一种基于图像处理技术的卫星失锁重定位方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020048394A1 (zh) * | 2018-09-04 | 2020-03-12 | 腾讯科技(深圳)有限公司 | 定位方法、装置、设备和计算机可读存储介质 |
WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
CN111929718A (zh) * | 2020-06-12 | 2020-11-13 | 东莞市普灵思智能电子有限公司 | 一种自动驾驶对象探测和定位系统及方法 |
CN112556696A (zh) * | 2020-12-03 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 一种对象定位方法、装置、计算机设备以及存储介质 |
CN112558125A (zh) * | 2021-02-22 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 一种车辆定位的方法、相关装置、设备以及存储介质 |
KR20210072738A (ko) * | 2020-05-28 | 2021-06-17 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 차량 측위 방법, 장치, 전자 기기 및 컴퓨터 저장 매체 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10007825B2 (en) * | 2014-12-29 | 2018-06-26 | Automotive Research & Testing Center | Positioning system using triangulation positioning based on three pixel positions, a focal length and the two-dimensional coordinates |
-
2021
- 2021-06-22 CN CN202110689398.4A patent/CN113406682B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020048394A1 (zh) * | 2018-09-04 | 2020-03-12 | 腾讯科技(深圳)有限公司 | 定位方法、装置、设备和计算机可读存储介质 |
WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
KR20210072738A (ko) * | 2020-05-28 | 2021-06-17 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 차량 측위 방법, 장치, 전자 기기 및 컴퓨터 저장 매체 |
CN111929718A (zh) * | 2020-06-12 | 2020-11-13 | 东莞市普灵思智能电子有限公司 | 一种自动驾驶对象探测和定位系统及方法 |
CN112556696A (zh) * | 2020-12-03 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 一种对象定位方法、装置、计算机设备以及存储介质 |
CN112558125A (zh) * | 2021-02-22 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 一种车辆定位的方法、相关装置、设备以及存储介质 |
Non-Patent Citations (2)
Title |
---|
城市环境下BDS/GPS单频RTK定位算法研究;苏景岚 等;《大地测量学与地球动力学》;第第38卷卷(第第10期期);第1033-1037+1067页 * |
基于POS与图像匹配的无人机目标定位方法研究;张岩 等;《军械工程学院学报》;第27卷(第1期);第39-45页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113406682A (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113406682B (zh) | 一种定位方法、装置、电子设备及存储介质 | |
CN109059906B (zh) | 车辆定位方法、装置、电子设备、存储介质 | |
Cortés et al. | ADVIO: An authentic dataset for visual-inertial odometry | |
CN112268559B (zh) | 复杂环境下融合slam技术的移动测量方法 | |
CN110412635B (zh) | 一种环境信标支持下的gnss/sins/视觉紧组合方法 | |
US8933986B2 (en) | North centered orientation tracking in uninformed environments | |
CN113916243B (zh) | 目标场景区域的车辆定位方法、装置、设备和存储介质 | |
CN109461208B (zh) | 三维地图处理方法、装置、介质和计算设备 | |
CN112230242B (zh) | 位姿估计系统和方法 | |
JP2020067439A (ja) | 移動体位置推定システムおよび移動体位置推定方法 | |
US11875519B2 (en) | Method and system for positioning using optical sensor and motion sensors | |
CN111427061A (zh) | 一种机器人建图方法、装置,机器人及存储介质 | |
JP2022531679A (ja) | デバイス測位方法、装置、及びデバイス | |
CN105229490A (zh) | 使用卫星可见性数据来用于提升的位置准确性 | |
KR102127679B1 (ko) | 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템 | |
Tomažič et al. | Fusion of visual odometry and inertial navigation system on a smartphone | |
CN113899375A (zh) | 车辆定位方法和装置、存储介质及电子设备 | |
WO2023226155A1 (zh) | 多源数据融合定位方法、装置、设备及计算机存储介质 | |
WO2022055582A1 (en) | Systems and methods for gps-based and sensor-based relocalization | |
US20220398825A1 (en) | Method for generating 3d reference points in a map of a scene | |
CN115326084A (zh) | 车辆定位方法、装置、计算机设备、存储介质 | |
CN114396943A (zh) | 一种融合定位方法与终端 | |
Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
KR102506411B1 (ko) | 차량의 위치 및 자세 추정 방법, 장치 및 이를 위한 기록매체 | |
KR20200032776A (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40051721 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |