CN116797499A - 数据融合方法、装置、设备及计算机可读存储介质 - Google Patents
数据融合方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116797499A CN116797499A CN202210253628.7A CN202210253628A CN116797499A CN 116797499 A CN116797499 A CN 116797499A CN 202210253628 A CN202210253628 A CN 202210253628A CN 116797499 A CN116797499 A CN 116797499A
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- cloud data
- optimized
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种数据融合方法、装置、设备及计算机可读存储介质,本公开通过获取第一图像、以及与第一图像对应的第二图像,根据历史点云数据包括的历史点云的位置,将第一图像与第二图像进行融合,得到第三图像,为后续第三图像的优化做数据基础;基于所述移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,对所述第三图像进行优化,使得图像的准确度得以提升;从全局图像中获取与第三图像对应的第四图像,若第四图像相对于优化后的第三图像的差异小于预设值,则确定优化后的第三图像为融合后的图像,进一步提升图像融合的准确度,实现地图局部更新和扩展,提高工作效率。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种数据融合方法、装置、设备及计算机可读存储介质。
背景技术
点云是大多数三维信息获取设备的原始输出数据,与二维图像相比,点云数据能提供对真实世界的场景更全面的描述。近年来,随着计算机硬件性能的提升和点云数据获取设备的普及,点云数据利用技术在智能机器人、无人驾驶、先进制造、虚拟现实和增强现实等领域的应用越来越多。
在一些情况下,需要将点云对应的图像进行融合处理,但是在融合过程中,存在融合不准确的情况,导致融合花费时间长,效率低等不足。
发明内容
为了解决上述技术问题,本公开提供了一种数据融合方法、装置、设备及计算机可读存储介质,以提高融合准确度,提升效率。
第一方面,本公开实施例提供一种数据融合方法,包括:
获取第一图像、以及与第一图像对应的第二图像,所述第一图像为移动载体在预设长度的路线上行驶的过程中采集到的当前点云数据的二维图像,所述第二图像是历史点云数据的二维图像,所述当前点云数据和所述历史点云数据对应于同一个预设长度的路线;
根据所述历史点云数据包括的历史点云的位置,将所述第一图像与所述第二图像进行融合,得到第三图像;
基于所述移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,对所述第三图像进行优化,所述预设轨迹包括多个所述预设长度的路线;
从所述全局图像中获取与所述第三图像对应的第四图像,所述第三图像和所述第四图像对应于同一个预设长度的路线;
若所述第四图像相对于所述优化后的第三图像的差异小于预设值,则确定所述优化后的第三图像为融合后的图像。
在一些实施例中,若所述第四图像相对于所述优化后的第三图像的差异大于或等于预设值,则将所述优化后的第三图像作为所述第二图像,再次获取第一图像与所述第二图像进行融合,得到新的融合图像,对所述新的融合图像进行优化,直至所述第四图像相对于所述优化后的新的融合图像的差异小于预设值。
在一些实施例中,将所述第一图像与所述第二图像进行融合,得到第三图像,包括:
将所述第一图像叠加到所述第二图像中,得到第三图像。
在一些实施例中,对所述第三图像进行优化,包括:
对所述第三图像进行位姿图优化。
在一些实施例中,所述第一图像是将所述当前点云数据拍平后得到的二维图像;所述第二图像是将所述历史点云数据拍平后得到的二维图像;所述二维图像用于表征所述当前点云数据对应的目标物体的强度信息和高度信息。
第二方面,本公开实施例提供一种数据融合装置,包括:
第一获取模块,用于获取第一图像、以及与第一图像对应的第二图像,所述第一图像为移动载体在预设长度的路线上行驶的过程中采集到的当前点云数据的二维图像,所述第二图像是历史点云数据的二维图像,所述当前点云数据和所述历史点云数据对应于同一个预设长度的路线;
融合模块,用于根据所述历史点云数据包括的历史点云的位置,将所述第一图像与所述第二图像进行融合,得到第三图像;
优化模块,用于基于所述移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,对所述第三图像进行优化,所述预设轨迹包括多个所述预设长度的路线;
第二获取模块,用于从所述全局图像中获取与所述第三图像对应的第四图像,所述第三图像和所述第四图像对应于同一个预设长度的路线;
确定模块,用于若所述第四图像相对于所述优化后的第三图像的差异小于预设值,则确定所述优化后的第三图像为融合后的图像。
第三方面,本公开实施例提供一种电子设备,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如第一方面所述的方法。
第四方面,本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现第一方面所述的方法。
第五方面,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行以实现第一方面所述的方法。
本公开实施例提供的数据融合方法、装置、设备及计算机可读存储介质,通过获取第一图像、以及与第一图像对应的第二图像,根据历史点云数据包括的历史点云的位置,将第一图像与第二图像进行融合,得到第三图像,为后续第三图像的优化做数据基础;基于所述移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,对所述第三图像进行优化,使得图像的准确度得以提升;从全局图像中获取与第三图像对应的第四图像,若第四图像相对于优化后的第三图像的差异小于预设值,则确定优化后的第三图像为融合后的图像,进一步提升图像的准确度,实现地图局部更新和扩展,提高工作效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的数据融合方法流程图;
图2为本公开实施例提供的数据融合方法流程图;
图3为本公开实施例提供的数据融合装置的结构示意图;
图4为本公开实施例提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
本公开实施例提供了一种数据融合方法,下面结合具体的实施例对该方法进行介绍。
图1为本公开实施例提供的数据融合方法流程图。该方法可以应用于图像融合的应用场景,可以理解的是,本公开实施例提供的数据融合方法还可以应用在其他场景中,下面对图1所示的数据融合方法进行介绍,该方法包括的具体步骤如下:
S101、获取第一图像、以及与第一图像对应的第二图像,所述第一图像为移动载体在预设长度的路线上行驶的过程中采集到的当前点云数据的二维图像,所述第二图像是历史点云数据的二维图像,所述当前点云数据和所述历史点云数据对应于同一个预设长度的路线。
雷达(radio detection and ranging,Radar),全称为“无线电探测和测距”,也被称为“无线电定位”,即用无线电的方法发现目标并测定它们的空间位置。雷达测量速度原理是雷达根据自身和目标之间有相对运动产生的频率多普勒效应。雷达测量距离原理是测量发射脉冲与回波脉冲之间的时间差,因电磁波以光速传播,据此就能换算成雷达与目标的精确距离。
点云,在逆向工程中通过测量仪器得到的产品外观表面的点数据集合也称之为点云,通常使用三维坐标测量机所得到的点数量比较少,点与点的间距也比较大,叫稀疏点云;而使用三维激光扫描仪或照相式扫描仪得到的点云,点数量比较大并且比较密集,叫密集点云。
实时动态(Real-time kinematic,RTK)载波相位差分技术,是实时处理两个测量站载波相位观测量的差分方法,将基准站采集的载波相位发给用户接收机,进行求差解算坐标。
移动载体上装有RTK,为了使定位更加准确,例如,移动载体可以是车辆等;移动载体上还装有雷达传感器,用来提取移动载体在在预设长度的路线上行驶的过程中采集到的点云数据,例如,可以是移动载体行驶轨迹前向120度的点云数据;移动载体在预设轨迹行驶预设长度时,可以将该预设长度进行分割,例如,以50米为单位进行分割,分割称多个数据单元,可以理解的是,当该预设长度小于等于50米,那么该预设长度便无需分割;当该预设长度大于50米,且该预设长度是50米的整倍时,则以50米为一个数据单元进行分割;当该预设长度大于50米,且该预设长度不是50米的整倍时,将先以50米为一个数据单元进行分割,分割到最后一个数据单元小于50米为止。可以理解的是,预设长度可以是其他长度,本实施例以50米为单位进行分割,在其他实施例中,也可能以其他长度进行分割,本实施例对此不做具体限定。
第一图像为移动载体在预设长度的路线上行驶的过程中采集到的当前点云数据拍平后得到的二维图像,第二图像是历史点云数据拍平后得到的二维图像,当前点云数据和历史点云数据对应于同一个预设长度的路线。该二维图像用于表征所述当前点云数据对应的目标物体的强度信息和高度信息。
其中,强度信息,是指测量仪器测量后得到的表征目标物体亮度的强弱的信息。在本实施例中,测量仪器为雷达。高度信息,是指测量仪器测量后得到的表征目标物体高度的信息。
可选的,雷达测量也可以是激光测量、摄影测量等其他测量方式,本实施例不做具体限定。
可以理解的是,当云端无与第一图像对应的第二图像时,可以将第一图像作为第二图像使用,移动载体在预设长度的路线上第二次采集点云数据,云端第二次接收移动载体发送的多个数据单元,每个数据单元包括第二次采集的当前点云数据拍平后得到的二维图像。
S102、根据所述历史点云数据包括的历史点云的位置,将所述第一图像与所述第二图像进行融合,得到第三图像。
点云数据(point cloud data)是指在一个三维坐标系统中的一组向量的集合。扫描资料以点的形式记录,每一个点包含有三维坐标,有些可能含有反射强度信息等。
根据历史点云数据包括历史点云的三维坐标位置,将第一图像叠加到所述第二图像中,以第一图像为准,以第二图像为辅,得到第三图像。
例如,当第一图像上正中心位置有红绿灯的点云数据,而第二图像同一位置上没有红路灯的点云数据,那么,可以认为该位置在获取第一图像和获取第二图像的时间差期间,新设置了红绿灯设备,以第一图像为准,进行叠加,那么在第三图像同一位置也有红绿灯的点云数据。可以理解的是,本公开实施例指示做一个示例性的说明,点云数据不仅仅局限于红绿灯,还可能是护栏、隔离带、交通标志标牌等,位置也不仅仅局限于正中心位置,也可以是其他位置。
S103、基于所述移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,对所述第三图像进行优化,所述预设轨迹包括多个所述预设长度的路线。
位姿图(Pose Graph)优化,是用顶点表示优化变量,用边表示误差项。pose graph利用短间隔的相对位姿测量来构建一个涵盖长时间跨度的关键帧的全局优化问题,平摊累积误差,以各关键帧位姿为节点,以相邻的关键帧间相对位姿计算结果作为测量,这样可以避免优化海量地图点,减小计算规模。
根据移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,该全局图像指的是在该预设轨迹上的唯一图像,对第三图像进行优化,该预设轨迹包括多个所述预设长度的路线,也就是移动载体在预设轨迹上行驶的路线。
S104、从所述全局图像中获取与所述第三图像对应的第四图像,所述第三图像和所述第四图像对应于同一个预设长度的路线。
从全局图像中获取与第三图像对应的第四图像,该第四图像与第三图像对应于同一个预设长度的路线,也就是说,第四图像和第三图像所表示的位置信息是一致的。
S105、若所述第四图像相对于所述优化后的第三图像的差异小于预设值,则确定所述优化后的第三图像为融合后的图像。
优化后的第三图像需要保存二领域图像上的边界节点的位姿变化信息,与全局图像中的相邻节点进行对比;若第四图像相对于所述优化后的第三图像的差异小于预设值,那么确定所述优化后的第三图像为融合后的图像。
本公开实施例通过获取第一图像、以及与第一图像对应的第二图像,根据历史点云数据包括的历史点云的位置,将第一图像与第二图像进行融合,得到第三图像,为后续第三图像的优化做数据基础;基于所述移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,对所述第三图像进行优化,使得图像的准确度得以提升;从全局图像中获取与第三图像对应的第四图像,若第四图像相对于优化后的第三图像的差异小于预设值,则确定优化后的第三图像为融合后的图像,进一步提升图像的准确度,实现地图局部更新和扩展,提高工作效率。
图2为本公开另一实施例提供的数据融合方法流程图,如图2所示,该方法包括如下几个步骤:
S201、获取第一图像、第二图像,将第一图像第二图像进行融合得到第三图像,对第三图像进行优化。
具体的,S201和上述的S101-S103的实现原理和具体方法是一致的,此处不再赘述。
S202、从全局图像中获取与第三图像对应的第四图像。
具体的,S202和上述的S104的实现原理和具体方法是一致的,此处不再赘述。
S203、判断第四图像相对于优化后的第三图像的差异是否小于预设值,若是,则执行步骤S204;若否,则执行步骤S205。
优化后的第三图像需要保存二领域图像上的边界节点的位姿变化信息,与全局图像中的相邻节点进行对比,判断第四图像相对于优化后的第三图像的差异是否小于预设值,若是,则执行步骤S204;若否,则执行步骤S205。
S204、确定优化后的第三图像为融合后的图像。
S205、将优化后的第三图像作为第二图像。
将优化后的第三图像作为预设轨迹上行驶的过程中,同一个预设长度的历史点云数据第二图像。
S206、再次获取第一图像,将第一图像与第二图像进行融合,得到新的融合图像,对新的融合图像进行优化,得到优化后的第三图像。
移动载体再次在预设轨迹上行驶后,再次获取优化后的第三图像,具体的,S206和上述的S101-S103的实现原理和具体方法是一致的,此处不再赘述。
本公开实施例通过在云端不断迭代优化后的第三图像,使得误差减小,数据更加精准,提高融合的准确率。
图3为本公开实施例提供的数据融合装置的结构示意图。该数据融合装置可以是如上实施例所述的电子设备,或者该数据融合装置可以该电子设备中的部件或组件。本公开实施例提供的数据融合装置可以执行数据融合方法实施例提供的处理流程,如图3所示,数据融合装置30包括:第一获取模块31、融合模块32、优化模块33、第二获取模块34、确定模块35;其中,第一获取模块31,用于获取第一图像、以及与第一图像对应的第二图像,所述第一图像为移动载体在预设长度的路线上行驶的过程中采集到的当前点云数据的二维图像,所述第二图像是历史点云数据的二维图像,所述当前点云数据和所述历史点云数据对应于同一个预设长度的路线;融合模块32,用于根据所述历史点云数据包括的历史点云的位置,将所述第一图像与所述第二图像进行融合,得到第三图像;优化模块33,用于基于所述移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,对所述第三图像进行优化,所述预设轨迹包括多个所述预设长度的路线;第二获取模块34,用于从所述全局图像中获取与所述第三图像对应的第四图像,所述第三图像和所述第四图像对应于同一个预设长度的路线;确定模块35,用于若所述第四图像相对于所述优化后的第三图像的差异小于预设值,则确定所述优化后的第三图像为融合后的图像。
可选的,数据融合装置30还包括:判断模块36。其中,判断模块36,用于若所述第四图像相对于所述优化后的第三图像的差异大于或等于预设值,则将所述优化后的第三图像作为所述第二图像,再次获取第一图像与所述第二图像进行融合,得到新的融合图像,对所述新的融合图像进行优化,直至所述第四图像相对于所述优化后的新的融合图像的差异小于预设值。
可选的,融合模块32,还用于将所述第一图像与所述第二图像进行融合,得到第三图像,包括:
将所述第一图像叠加到所述第二图像中,得到第三图像。
可选的,优化模块33,用于对所述第三图像进行位姿图优化。
可选的,所述第一图像是将所述当前点云数据拍平后得到的二维图像;所述第二图像是将所述历史点云数据拍平后得到的二维图像;所述二维图像用于表征所述当前点云数据对应的目标物体的强度信息和高度信息。
图3所示实施例的数据融合装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图4为本公开实施例提供的电子设备的结构示意图。本公开实施例提供的电子设备可以执行数据融合方法实施例提供的处理流程,如图4所示,电子设备40包括:存储器41、处理器42、计算机程序和通讯接口43;其中,计算机程序存储在存储器41中,并被配置为由处理器42执行如上所述的数据融合方法。
另外,本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现上述实施例所述的数据融合方法。
此外,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现如上所述的数据融合方法。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
获取第一图像、以及与第一图像对应的第二图像,所述第一图像为移动载体在预设长度的路线上行驶的过程中采集到的当前点云数据的二维图像,所述第二图像是历史点云数据的二维图像,所述当前点云数据和所述历史点云数据对应于同一个预设长度的路线;
根据所述历史点云数据包括的历史点云的位置,将所述第一图像与所述第二图像进行融合,得到第三图像;
基于所述移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,对所述第三图像进行优化,所述预设轨迹包括多个所述预设长度的路线;
从所述全局图像中获取与所述第三图像对应的第四图像,所述第三图像和所述第四图像对应于同一个预设长度的路线;
若所述第四图像相对于所述优化后的第三图像的差异小于预设值,则确定所述优化后的第三图像为融合后的图像。
另外,该电子设备还可以执行如上所述的数据融合方法中的其他步骤。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据融合方法,其特征在于,所述方法包括:
获取第一图像、以及与第一图像对应的第二图像,所述第一图像为移动载体在预设长度的路线上行驶的过程中采集到的当前点云数据的二维图像,所述第二图像是历史点云数据的二维图像,所述当前点云数据和所述历史点云数据对应于同一个预设长度的路线;
根据所述历史点云数据包括的历史点云的位置,将所述第一图像与所述第二图像进行融合,得到第三图像;
基于所述移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,对所述第三图像进行优化,所述预设轨迹包括多个所述预设长度的路线;
从所述全局图像中获取与所述第三图像对应的第四图像,所述第三图像和所述第四图像对应于同一个预设长度的路线;
若所述第四图像相对于所述优化后的第三图像的差异小于预设值,则确定所述优化后的第三图像为融合后的图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述第四图像相对于所述优化后的第三图像的差异大于或等于预设值,则将所述优化后的第三图像作为所述第二图像,再次获取第一图像与所述第二图像进行融合,得到新的融合图像,对所述新的融合图像进行优化,直至所述第四图像相对于所述优化后的新的融合图像的差异小于预设值。
3.根据权利要求1所述的方法,其特征在于,将所述第一图像与所述第二图像进行融合,得到第三图像,包括:
将所述第一图像叠加到所述第二图像中,得到第三图像。
4.根据权利要求1所述的方法,其特征在于,对所述第三图像进行优化,包括:
对所述第三图像进行位姿图优化。
5.根据根据权利要求1所述的方法,其特征在于,所述第一图像是将所述当前点云数据拍平后得到的二维图像;所述第二图像是将所述历史点云数据拍平后得到的二维图像;所述二维图像用于表征所述当前点云数据对应的目标物体的强度信息和高度信息。
6.一种数据融合装置,其特征在于,所述装置包括:
第一获取模块,用于获取第一图像、以及与第一图像对应的第二图像,所述第一图像为移动载体在预设长度的路线上行驶的过程中采集到的当前点云数据的二维图像,所述第二图像是历史点云数据的二维图像,所述当前点云数据和所述历史点云数据对应于同一个预设长度的路线;
融合模块,用于根据所述历史点云数据包括的历史点云的位置,将所述第一图像与所述第二图像进行融合,得到第三图像;
优化模块,用于基于所述移动载体在预设轨迹上行驶的过程中的历史点云数据对应的全局图像,对所述第三图像进行优化,所述预设轨迹包括多个所述预设长度的路线;
第二获取模块,用于从所述全局图像中获取与所述第三图像对应的第四图像,所述第三图像和所述第四图像对应于同一个预设长度的路线;
确定模块,用于若所述第四图像相对于所述优化后的第三图像的差异小于预设值,则确定所述优化后的第三图像为融合后的图像。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括,判断模块,用于若所述第四图像相对于所述优化后的第三图像的差异大于或等于预设值,则将所述优化后的第三图像作为所述第二图像,再次获取第一图像与所述第二图像进行融合,得到新的融合图像,对所述新的融合图像进行优化,直至所述第四图像相对于所述优化后的新的融合图像的差异小于预设值。
8.根据权利要求6所述的装置,其特征在于,所述融合模块,还用于将所述第一图像与所述第二图像进行融合,得到第三图像,包括:
将所述第一图像叠加到所述第二图像中,得到第三图像。
9.一种电子设备,其特征在于,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210253628.7A CN116797499A (zh) | 2022-03-15 | 2022-03-15 | 数据融合方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210253628.7A CN116797499A (zh) | 2022-03-15 | 2022-03-15 | 数据融合方法、装置、设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116797499A true CN116797499A (zh) | 2023-09-22 |
Family
ID=88045455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210253628.7A Pending CN116797499A (zh) | 2022-03-15 | 2022-03-15 | 数据融合方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116797499A (zh) |
-
2022
- 2022-03-15 CN CN202210253628.7A patent/CN116797499A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10901429B2 (en) | Method and apparatus for outputting information of autonomous vehicle | |
US11009355B2 (en) | Method and apparatus for positioning vehicle | |
JP7186607B2 (ja) | 電子地図を更新する方法、装置、およびコンピュータ読み取り可能な記憶媒体 | |
US11030803B2 (en) | Method and apparatus for generating raster map | |
JP6862409B2 (ja) | 地図生成及び移動主体の位置決めの方法及び装置 | |
CN109285188B (zh) | 用于生成目标物体的位置信息的方法和装置 | |
JP2022509302A (ja) | 地図生成方法、運転制御方法、装置、電子機器及びシステム | |
CN111461981B (zh) | 点云拼接算法的误差估计方法和装置 | |
CN114111775B (zh) | 一种多传感器融合定位方法、装置、存储介质及电子设备 | |
CN113989451B (zh) | 高精地图构建方法、装置及电子设备 | |
CN113269878B (zh) | 一种基于多传感器的建图方法及系统 | |
CN114119886A (zh) | 高精地图点云重建方法、装置、车辆、设备和存储介质 | |
CN114034295A (zh) | 高精地图生成方法、装置、电子设备、介质及程序产品 | |
CN113706594A (zh) | 三维场景信息生成的系统、方法及电子设备 | |
CN114140592A (zh) | 高精地图生成方法、装置、设备、介质及自动驾驶车辆 | |
CN112616118B (zh) | 一种车辆所经过的etc门架确定方法、装置及存储介质 | |
CN112630798B (zh) | 用于估计地面的方法和装置 | |
CN112965076A (zh) | 一种用于机器人的多雷达定位系统及方法 | |
CN116758503A (zh) | 车道线自动标注方法、装置、设备及存储介质 | |
CN116797499A (zh) | 数据融合方法、装置、设备及计算机可读存储介质 | |
CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
CN115100231A (zh) | 一种区域边界的确定方法和装置 | |
CN115147561A (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
CN116022198A (zh) | 一种地铁隧道内的列车定位方法、装置、设备及存储介质 | |
CN111461982B (zh) | 用于拼接点云的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |