CN114332174A - 轨迹图像对齐方法、装置、计算机设备以及存储介质 - Google Patents

轨迹图像对齐方法、装置、计算机设备以及存储介质 Download PDF

Info

Publication number
CN114332174A
CN114332174A CN202111536367.1A CN202111536367A CN114332174A CN 114332174 A CN114332174 A CN 114332174A CN 202111536367 A CN202111536367 A CN 202111536367A CN 114332174 A CN114332174 A CN 114332174A
Authority
CN
China
Prior art keywords
processed
track
image
depth
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111536367.1A
Other languages
English (en)
Inventor
谭川奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111536367.1A priority Critical patent/CN114332174A/zh
Publication of CN114332174A publication Critical patent/CN114332174A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及一种轨迹图像对齐方法、装置、计算机设备、存储介质和计算机程序产品,本发明实施例可应用于地图领域,其中方法通过在对待处理轨迹图像初始对齐后,基于初始对齐位置信息,以及相邻图路标识对应的目标检测结果、语义分割结果以及景深估计结果来对确定轨迹之间的偏移量,从而进行轨迹图像的对齐处理,可以在定位效果较差时保证轨迹图像的对齐精度。

Description

轨迹图像对齐方法、装置、计算机设备以及存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种轨迹图像对齐方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,计算机视觉技术也在不断地随之发展进步,计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。道路轨迹图像是计算机视觉处理中的基础数据。道路轨迹图像是指车辆在行驶过程中,使用车载摄像头拍摄到的图片,为减少数据冗余,在道路中的每个轨迹点上只拍摄并存储一张图片。而道路轨迹图像的对齐,在基于计算机视觉技术的地图数据采集任务、高精地图自动生成、道路数据作业和自动驾驶等领域中都有广泛的应用。
目前,对于道路轨迹图像的对齐,一般需要先采集轨迹图像对应的位置信息,而后将一条轨迹上的点投影到另一条轨迹上,从而基于投影结果来进行轨迹图像的对齐,然而这种对齐方法依赖于轨迹图像对应的位置信息的准确性,在定位效果较差时无法保证对齐精度。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高轨迹图像对齐精度的轨迹图像对齐方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种轨迹图像对齐方法。所述方法包括:
获取待处理轨迹图像;
根据所述待处理轨迹图像对应的路网线路与定位信息,对所述待处理轨迹图像进行初始对齐,获取所述待处理轨迹图像对应的初始对齐位置信息;
对所述待处理轨迹图像进行内容解析处理,获取所述待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果;
基于所述初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定所述待处理轨迹图像中相邻图像对之间的相对距离;
根据所述相邻图像对之间的相对距离确定所述待处理轨迹图像中轨迹之间的偏移量,根据所述偏移量对所述待处理轨迹图像进行对齐处理。
第二方面,本申请还提供了一种轨迹图像对齐装置。所述装置包括:
图像获取模块,用于获取待处理轨迹图像;
初始对齐模块,用于根据所述待处理轨迹图像对应的路网线路与定位信息,对所述待处理轨迹图像进行初始对齐,获取所述待处理轨迹图像对应的初始对齐位置信息;
内容解析模块,用于对所述待处理轨迹图像进行内容解析处理,获取所述待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果;
相对距离计算模块,用于基于所述初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定所述待处理轨迹图像中相邻图像对之间的相对距离;
图像对齐模块,用于根据所述相邻图像对之间的相对距离确定所述待处理轨迹图像中轨迹之间的偏移量,根据所述偏移量对所述待处理轨迹图像进行对齐处理。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待处理轨迹图像;
根据所述待处理轨迹图像对应的路网线路与定位信息,对所述待处理轨迹图像进行初始对齐,获取所述待处理轨迹图像对应的初始对齐位置信息;
对所述待处理轨迹图像进行内容解析处理,获取所述待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果;
基于所述初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定所述待处理轨迹图像中相邻图像对之间的相对距离;
根据所述相邻图像对之间的相对距离确定所述待处理轨迹图像中轨迹之间的偏移量,根据所述偏移量对所述待处理轨迹图像进行对齐处理。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待处理轨迹图像;
根据所述待处理轨迹图像对应的路网线路与定位信息,对所述待处理轨迹图像进行初始对齐,获取所述待处理轨迹图像对应的初始对齐位置信息;
对所述待处理轨迹图像进行内容解析处理,获取所述待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果;
基于所述初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定所述待处理轨迹图像中相邻图像对之间的相对距离;
根据所述相邻图像对之间的相对距离确定所述待处理轨迹图像中轨迹之间的偏移量,根据所述偏移量对所述待处理轨迹图像进行对齐处理。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待处理轨迹图像;
根据所述待处理轨迹图像对应的路网线路与定位信息,对所述待处理轨迹图像进行初始对齐,获取所述待处理轨迹图像对应的初始对齐位置信息;
对所述待处理轨迹图像进行内容解析处理,获取所述待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果;
基于所述初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定所述待处理轨迹图像中相邻图像对之间的相对距离;
根据所述相邻图像对之间的相对距离确定所述待处理轨迹图像中轨迹之间的偏移量,根据所述偏移量对所述待处理轨迹图像进行对齐处理。
上述轨迹图像对齐方法、装置、计算机设备、存储介质和计算机程序产品,其中方法通过在获取待处理轨迹图像后;根据待处理轨迹图像对应的路网线路与定位信息,对待处理轨迹图像进行初始对齐,从而获取待处理轨迹图像对应的初始对齐位置信息;对待处理轨迹图像进行内容解析处理,获取待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果;基于初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定待处理轨迹图像中的相邻图像对相邻图像对之间的相对距离;根据相邻图像对之间的相对距离确定待处理轨迹图像中轨迹之间的偏移量,根据偏移量对待处理轨迹图像进行对齐处理。本申请通过在对待处理轨迹图像初始对齐后,基于初始对齐位置信息,以及相邻图路标识对应的目标检测结果、语义分割结果以及景深估计结果来对确定轨迹之间的偏移量,从而进行轨迹图像的对齐处理,可以在定位效果较差时保证轨迹图像的对齐精度。
附图说明
图1为一个实施例中轨迹图像对齐方法的应用环境示意图;
图2为一个实施例中轨迹图像对齐方法的流程示意图;
图3为一个实施例中对待处理轨迹图像进行初始对齐步骤的流程示意图;
图4为一个实施例中轨迹点投影步骤的示意图;
图5为一个实施例中对待处理轨迹图像进行内容解析步骤的流程示意图;
图6为一个实施例中神经网络模型的整体网络结构示意图;
图7为一个实施例中目标检测头的网络结构示意图;
图8为一个实施例中语义分割头的网络结构示意图;
图9为一个实施例中景深估计过程中的小孔成像的原理示意图;
图10为一个实施例中获取相邻图像对之间的相对距离步骤的流程示意图;
图11为一个实施例中确定相邻图像步骤的流程示意图;
图12为另一个实施例中获取相邻图像对之间的相对距离步骤的流程示意图;
图13为一个实施例中对待处理轨迹图像中两条轨迹进行对齐处理步骤的流程示意图;
图14为一个实施例中矩阵网格的结构示意图;
图15为一个实施例中轨迹的对齐效果示意图;
图16为另一个实施例中轨迹图像对齐方法的流程示意图;
图17为一个实施例中轨迹图像对齐装置的结构框图;
图18为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请的技术方案主要涉及到了机器学习中的计算机视觉技术与机器学习技术。
其中,计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
而机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的轨迹图像对齐方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102可以向服务器104发送待处理轨迹图像,以通过服务器104来对这些轨迹图像进行对齐,服务器104获取待处理轨迹图像;根据待处理轨迹图像对应的路网线路与定位信息,对待处理轨迹图像进行初始对齐,获取待处理轨迹图像对应的初始对齐位置信息;对待处理轨迹图像进行内容解析处理,获取待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果;基于初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定待处理轨迹图像中的相邻图像对相邻图像对之间的相对距离;根据相邻图像对之间的相对距离确定待处理轨迹图像中轨迹之间的偏移量,根据偏移量对待处理轨迹图像进行对齐处理。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种轨迹图像对齐方法,以该方法应用于图1中的服务器104端为例进行说明,包括以下步骤:
步骤201,获取待处理轨迹图像。
其中,待处理轨迹图像是指本申请的轨迹图像对齐方法所处理目标图像,轨迹图像具体可以是指通过车载摄像头,在行车期间所采集到的图像,这些图像一般为行车对应轨迹点的道路图像。在其中一个实施例中,车载摄像头具体可以为单目摄像头。在汽车上,因为成本限制,一般只配备了单一的光学摄像头,从而不能利用多个摄像头之间的视差关系来估计图像的几何特性等等。而轨迹点是指车辆沿道路行驶的路线,为减少数据冗余,一般按固定的距离间隔采集一次当前所处的地理位置所形成的序列信息,地理位置则一般为GPS(Global Positioning System,全球定位系统)位置。汽车在行驶途中采集到的多个轨迹点组合起来即为轨迹图像,其具体是指车辆在行驶过程中,使用车载单目光学摄像头拍摄到的图片,同样为减少数据冗余,在每个轨迹点上只拍摄并存储一张图片。在其中一个实施例中,为了处理的便捷性,本申请的待处理轨迹图像可以一次只对两条轨迹对应的轨迹图像进行处理。
具体地,当终端102方的工作人员需要进行地图数据采集任务、高精地图自动生成、道路数据作业和自动驾驶等任务时,一般需要使用道路上的轨迹图像来作为完成这些任务的基础数据。这些待处理轨迹图像可能是由不同车辆在行车路途中采集到的多条轨迹图像所组成,因此可能需要在使用这些轨迹图像前,先对这些轨迹图像进行对齐处理。因此可以通过本申请的轨迹图像对齐方法,来对不同车辆对应的轨迹图像进行两两之间的对齐。
步骤203,根据待处理轨迹图像对应的路网线路与定位信息,对待处理轨迹图像进行初始对齐,获取待处理轨迹图像对应的初始对齐位置信息。
其中,路网信息具体是指待处理轨迹图像所采集地点对应的道路信息。而定位信息则是指每张待处理轨迹图像所采集的轨迹点对应的位置信息,该定位信息受限于定位设施的精度,可能无法实现精准定位,例如可能无法将待处理轨迹图像的采集位置定位到道路上。对待处理轨迹图像进行初始对齐,则具体是指对待处理轨迹图像对应的路网线路与定位信息进行对齐,使其统一化。具体可以是指将定位信息不在道路上的轨迹点投影到路网上。初始对齐位置信息即是指将不在道路上的轨迹点投影到道路上后的位置信息。
具体地,由于汽车上定位装置的精度,在采集完道路上的轨迹信息后,在每个轨迹点可能无法准确地将轨迹点定位到道路上,而由于轨迹点一定是在道路上拍摄的。所以可以先根据待处理轨迹图像对应的路网线路与定位信息,对待处理轨迹图像进行初始对齐,将位置不在道路上的轨迹点定位到道路上,得到待处理轨迹图像对应的初始对齐位置信息。待处理轨迹图像中的每个点的位置不一定与拍摄地点对应,但是都根据路网信息投影到了实际得到道路上。
步骤205,对待处理轨迹图像进行内容解析处理,获取待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果。
其中,内容解析处理具体是指通过计算机视觉技术来对每张待处理轨迹图像进行处理。其中内容解析处理具体可以包括目标检测处理以及景深估计。目标检测是指将图像中感兴趣的目标用一个矩形框标识出来,在本申请中,处理的图像为道路上的轨迹图像,而在道路数据中感兴趣的目标一般指涉及到交通要素的道路标识,因此可以将这些道路标识作为参照物来进行轨迹图像的对齐。比如目标检测对图像中的路牌感兴趣,即通过深度学习算法将这些路牌检测出来并给出相应的在图像中的矩形框的定位。也可以对图像中的交通信息灯感兴趣,即通过深度学习算法将这些交通信息灯检测出来并给出相应的在图像中的矩形框的定位。而景深估计则是与目标检测对应,当采集代理轨迹图像的摄像头为单目摄像头时。语义分割结果是指通过语义分割技术得到待处理轨迹图像中的感兴趣部分。语义分割技术用于对关键区域进行分割,可以通过语义分割技术从图像中把感兴趣的区域和不感兴趣的区域分割出来,在本申请的方案中,不感兴趣的区域具体是指会对距离估计产生干扰的区域,如本车内景、外车、行人、水印。景深估计具体为单目视觉景深估计,根据单目摄像头采集到的图片,对图像中每个物体,每个像素的深度进行估计,从而判断图像中每个物体离摄像头的距离。而本申请的方案中目标检测过程需要检测出图像中的参照物,而景深估计结果则是指对参照物对应的景深进行估计。
具体地,在步骤203中,通过待处理轨迹图像对应的路网线路与定位信息,对待处理轨迹图像进行了粗略对齐,从而使得不在道路上的轨迹点投影到了道路上。而由于轨迹图像上参照物的位置是不变的,因此可以通过待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果,对拍摄时摄像头的位置也就是汽车的位置进行估计,从而实现不同轨迹之间的对齐。因此,可以在得到初始对齐位置信息后,通过计算机视觉技术来对待处理轨迹图像进行内容解析处理,确定待处理轨迹图像中的参照物目标,通过语义分割,确定出图像中哪些部分会对相对距离的估计产生干扰,并且识别出其中的目标距离摄像头的位置,得到景深估计信息。
步骤207,基于初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定待处理轨迹图像中的相邻图像对相邻图像对之间的相对距离。
其中,待处理轨迹图像中相邻图像对之间的相对距离具体包括了同一条轨迹中,相邻的不同轨迹点之间的距离,还包括两条不同轨迹中,相邻的轨迹点之间的距离。而相邻图像对之间的相对距离则具体是指相邻图像在道路上实际的轨迹点之间的距离。
具体地,在得到初始对齐位置信息后,可以先粗略地识别出所有的待处理轨迹图像中哪些图像为相邻轨迹点的图像,这些相邻轨迹点的图像中可能都拍摄进行了道路上的参照物,且在不同的待处理轨迹图像中,同一个参照物是不会变的。因此,两张待处理轨迹图像所对应的目标检测结果、语义分割结果以及景深估计结果,来对相邻的待处理轨迹图像之间的距离进行估计。例如目标检测结果表示待处理轨迹图像A的轨迹点在路牌甲的前面,且通过景深估计得到拍摄待处理轨迹图像A的摄像头距离路牌甲为400m,而待处理轨迹图像B的轨迹点也在路牌甲的前面,且通过景深估计得到拍摄待处理轨迹图像B的摄像头距离路牌甲为200m。则可以通过对比得知待处理轨迹图像A与待处理轨迹图像B的相对距离为400-200=200m。
步骤209,根据相邻图像对之间的相对距离确定待处理轨迹图像中轨迹之间的偏移量,根据偏移量对待处理轨迹图像进行对齐处理。
其中,轨迹对齐具体用于把两条轨迹根据它们是实际拍摄距离拉齐。轨迹之间的偏移量具体是指两条轨迹之间的相对距离。在确定轨迹之间的偏移量之后,即可确定两条轨迹中相对距离比较短的轨迹点,从而对不同的两条轨迹进行对齐。
具体地,在得到待处理轨迹图像中每个相邻轨迹图像之间的相对距离之后,即可根据相邻轨迹图像之间的相对距离来确定轨迹图像中比较接近的轨迹点,从而对待处理轨迹图像中的轨迹进行两两对齐。例如一条轨迹A的轨迹图像由图A1、A2、A3、A4以及A5这些轨迹点对应的轨迹图像组成,而一条轨迹B的轨迹图像由B1、B2、B3、B4、B5以及B6这些轨迹点对应的轨迹图像组成。在通过相邻图像对之间的相对距离计算后,得到轨迹之间的偏移量,从而可以确定A4与B2偏移量最小,A5与B3偏移量最小,从而可以根据A4、A5、B2以及B3来对这两条轨迹进行对齐处理。
上述轨迹图像对齐方法,通过在获取待处理轨迹图像后;根据待处理轨迹图像对应的路网线路与定位信息,对待处理轨迹图像进行初始对齐,从而获取待处理轨迹图像对应的初始对齐位置信息;对待处理轨迹图像进行内容解析处理,获取待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果;基于初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定待处理轨迹图像中的相邻图像对相邻图像对之间的相对距离;根据相邻图像对之间的相对距离确定待处理轨迹图像中轨迹之间的偏移量,根据偏移量对待处理轨迹图像进行对齐处理。本申请通过在对待处理轨迹图像初始对齐后,基于初始对齐位置信息,以及相邻图路标识对应的目标检测结果、语义分割结果以及景深估计结果来对确定轨迹之间的偏移量,从而进行轨迹图像的对齐处理,可以在定位效果较差时保证轨迹图像的对齐精度。
在其中一个实施例中,如图3所示,步骤201包括:
步骤302,根据待处理轨迹图像对应的定位信息,确定待处理轨迹图像对应的轨迹点。
步骤304,将轨迹点对路网线路的切线方向做投影,获取轨迹点对应的投影位置。
步骤306,根据各待处理轨迹图像对应的投影位置,获取待处理轨迹图像对应的初始对齐位置信息。
其中,处理轨迹图像对应的轨迹点即是指通过定位信息,识别到的待处理轨迹图像的拍摄点,由于定位技术的精度问题,这个轨迹点可能不会定位的不会十分精确,可能不会位于道路上。轨迹点对应的投影位置即是指将不在道路上的轨迹点投影到道路上所得到的位置点。
具体地,由于定位技术的精度问题,定位得到的待处理轨迹图像的定位点可能不会定位的不会十分精确,可能不会位于道路上,因此可以通过投影来将不在道路上的轨迹点近似地投影到道路上,在将待处理轨迹图像中所有的轨迹点都投影到道路上后,即完成了投影处理的任务,得到待处理轨迹图像对应的初始对齐位置信息。其中,投影的过程具体可以使之将轨迹点对路网线路的切线方向做投影,获取轨迹点对应的投影位置,如图4所示,图中的曲线表示路网线路,而路网线路外的点为待处理轨迹图像对应的轨迹点。在进行投影处理时,可以将轨迹点对路网线路的切线方向做投影,获取轨迹点对应的投影位置,确定轨迹点在道路上的投影位置,图中曲线在做切线位置的点即为轨迹点对应的投影点。将待处理轨迹图像中所有不在道路上的点投影到路网线路后,即可完成对待处理轨迹图像的初始对齐。本实施例中,通过待处理轨迹图像对应的路网信息与定位信息,来对待处理轨迹图像进行初始对齐,可以有效地将待处理轨迹图像对应的位置点投影到实际的道路中,从而有效地对待处理轨迹图像之间的相对位置进行初始估计,保证轨迹图像对齐过程的处理效率。
在其中一个实施例中,如图5所示,步骤205包括:
步骤502,通过目标检测技术,获取待处理轨迹图像中参照物对应的目标检测结果。
步骤504,通过语义分割技术,确定待处理轨迹图像中的相对距离干扰区域,基于确定的相对距离干扰区域,获取待处理轨迹图像对应的语义分割结果。
步骤506,通过小孔成像原理获取待处理轨迹图像对应的绝对深度图,通过绝对深度图,获取待处理轨迹图像对应的景深估计结果。
其中,目标检测结果是指通过计算机视觉的目标检测技术,从待处理轨迹图像中识别出的包含参照物的矩阵框。语义分割技术用于对关键区域进行分割,可以通过语义分割技术从图像中把感兴趣的区域和不感兴趣的区域分割出来。而相对距离干扰区域是指可能会对相对距离的估计产生干扰的物体,在具体实施例中,可以通过语义分割技术将待处理轨迹图像中的车辆、车内景以及水印部分等相对距离干扰区域从原图中分离出来,并加以去除。小孔成像是指用一个带有小孔的板遮挡在墙体与物之间,墙体上就会形成物的倒立的实像。本申请中,将摄像头作为小孔来进行成像的估计,从而得到深度估计区域对应的绝对深度图。
具体地,本申请中在进行轨迹图像对齐前,可以对待处理轨迹图像进行内容解析处理,从而得到其中包含的参照物对应的目标检测结果、语义分割结果以及景深估计结果。在进行内容解析时,可以通过计算机视觉相关模型来对待处理轨迹图像进行并行处理,分别得到待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果。在一个具体的实施例中,对待处理轨迹图像进行内容解析处理的过程具体可以通过多任务学习的神经网络模型来实现,该神经网络模型包含一个共同的骨干网络和三个不同的头部子神经网络,其中一个头部网络用来做目标检测,一个头部用来做语义分割,另一个头部网络用来做景深估计。整体网络结构可以参照图6所示。其中,对于目标检测头网络,可以使用类似于YOLOv3检测头的网络结构来做目标检测,提取图像中感兴趣的目标,本申请中,则主要用于检测出参照物相关的目标,如道路标牌,警示牌,危险标牌等等。这些检测出的目标,在后续的相对距离估计步骤中用来作为距离估计的描点。其中目标检测头的网络结构具体可以参照图7。而对于语义分割头网络,可以使用了类似于DeepLabV3的语义分割网络头,把待处理轨迹图像中会对相对距离估计产生干扰的区域去除掉。结合待处理轨迹图像的实际内容进行分析,本申请中语义分割主要检测:本车内景、外车、行人、水印4大类。落在这4类区域中的像素点不参与后续的相对距离估计,这些区域就被识别为是相对距离干扰区域,语义分割头的网络结构具体可以参照图8。最后,对于景深估计头网络,则可以利用在KITTI标准数据集上标注的深度信息训练模型,获得无绝对尺度的深度图。然后借助于轨迹的定位距离差,通过小孔成像原理获取绝对深度图,再基于获得的绝对深度图,来确定目标检测中识别出的参照物对应的景深估计结果,其中小孔成像的原理图可以参照图9所示。结合图9,最终的景深估计结果具体可以参照下列公式:
Figure BDA0003413234700000121
Figure BDA0003413234700000122
其中,d表示图9中C到X的距离,也就是第一张待处理轨迹图像拍摄点距离参照物的绝对距离,即第一张待处理轨迹图像中参照物对应的景深估计结果,dGPS是两张轨迹图像的定位距离差,x1是第一张待处理轨迹图像对参照物的相对深度估计。x2是第二张图对参照物的相对深度估计。例如在一个具体实施例中,A图估计目标参照物深度是0.2;B图估计同一个目标参照物的深度是0.1;而A和B图的GPS距离差为10米。则A图到目标物体的绝对距离估计为:(0.2*10)/(0.2-0.1)=20米。本实施例中,通过依次对待处理轨迹图像进行目标检测、语义分割以及景深识别处理,可以有效地识别出待处理轨迹图像中参照物对应的景深信息,从而提高轨迹对齐的准确性。
在其中一个实施例中,如图10所示,步骤207包括:
步骤1001,基于初始对齐位置信息获取待处理轨迹图像中相邻图像。
步骤1003,根据语义分割结果识别相邻图像中的深度估计区域,获取深度估计区域内的景深估计结果。
步骤1005,根据目标检测结果识别深度估计区域中的目标检测框以及目标检测框对应的目标类型。
步骤1007,根据目标检测框、目标检测框对应的目标类型以及深度估计区域内的景深估计结果,获取相邻图像对之间的相对距离。
其中,相邻图像是指定位距离相近,同时方位角相近的两张图片,只有定位距离相近,同时方位角相近才可能在图像中出现相同的参照物,从而可以基于相同的参照物来进行轨迹图像的对齐。而深度估计区域是指待处理轨迹图像中除了相对距离干扰区域外的其他区域。而参照物对应的矩形框也位于该深度估计区域内。因此可以基于深度估计区域内像素点对应的景深估计结果来进行相对距离的估算,并无视待处理轨迹图像中的其他部分的像素点。而相邻图像中的深度估计区域具体是指两张相邻图像做交集后得到区域。目标检测具体会检测出参照物所在的区域以及参照物的类型,此处参照物的类型具体可以是指道路标志的类型,包括交通指示灯、交通指示牌以及交通摄像头等。可以结合目标检测框以及目标检测框对应的目标类型来进行相对距离的估算。
具体地,在进行相对距离计算时,可以基于待处理轨迹图像中相邻图像之中相同的参照物来进行距离估算。因此,需要先通过初始对齐位置信息,来查找所有待处理轨迹图像中的相邻图像,而后基于语义分割结果确定这两张相邻图像中哪些区域可以用来计算相对距离。并根据目标检测结果识别深度估计区域中的目标检测框以及目标检测框对应的目标类型,确定两张图像中检测目标的重合程度。根据目标检测框、目标检测框对应的目标类型以及深度估计区域内每个像素点所对应的景深估计结果,来获取相邻图像对之间的相对距离。本实施例中,通过结合相邻图像中的参照物对应的目标检测框以及对应的景深估计结果来进行相对距离的估算,可以更精确地计算出相邻图像之间的距离,保证待处理轨迹图像对齐处理的有效性。
在其中一个实施例中,如图11所示,步骤1001之前,还包括:
步骤1102,获取待处理轨迹图像对应的方位角信息。
步骤1104,根据初始对齐位置信息以及方位角信息确定待处理轨迹图像中的相邻图像对。
其中,方位角具体是指待处理轨迹图像对应的拍摄角度。具体地,只有位置与拍摄角度相近的待处理轨迹图像才会拍摄到相同的参照物,因此,在进行相邻图像识别时,除了考虑初始对齐位置信息之外,还需要考虑方位角信息,否则,拍摄角度完全相反的两张图像,即使拍摄地点相同,其图像识别出的检测目标也不会是相同的检测目标。因此,在需要识别出能检测到相同参照物的相邻图像时,可以根据初始对齐位置信息以及方位角信息确定待处理轨迹图像中的相邻图像对,只有当初始对齐位置之差小于预设位置差阈值,且方位角之差小于预设方位角阈值时,才会将两个待处理轨迹图像识别为相邻图像,而当某个待处理轨迹图像存在多个初始对齐位置之差小于预设位置差阈值,且方位角之差小于预设方位角阈值的轨迹图像时,则可以将差值进行归一化处理后,将差值之和最小的一张轨迹图像,作为该待处理轨迹图像的相邻图像。本实施例中,通过方位角信息结合初始对齐位置信息,来识别出待处理轨迹图像中的相邻图像,可以有效保证相邻图像识别的准确性,从而保证轨迹对齐的效果。
在其中一个实施例中,如图12所示,步骤1007包括:
步骤1201,根据深度估计区域内的目标检测框,确定深度估计区域中的背景区域以及检测框区域。
步骤1203,基于相邻图像对之间的背景区域对应的景深估计结果的差值,获取背景距离差。
步骤1205,基于相邻图像对之间的检测框区域对应的景深估计结果的差值以及目标检测框对应的目标类型,获取检测框距离差。
步骤1207,根据背景距离差以及检测框距离差,获取相邻图像对之间的相对距离。
其中,检测框区域是指两个相邻图像中检测框覆盖的区域,此处是指两张图像检测框所在区域的并集,而背景区域则是深度估计区域中除检测框区域以外的其他区域。背景距离差是结合两张相邻图像在背景区域中景深的差值,来对两张图像的相对距离进行估计,而检测框距离差则是结合两张相邻图像在检测框区域中景深的差值,来对两张图像的相对距离进行估计。在计算时,可以为这两者分别赋予一定的权重,而后结合背景距离差以及检测框距离差来进行相对距离的估算,保证距离估计的准确性。
具体地,在识别出相同的参照物后,即可基于参照物在不同待处理轨迹图像中的景深,同时结合两张图像中的背景内容,来估计这两个待处理轨迹图像之间的相对距离。在估计时,先根据深度估计区域内的目标检测框,确定深度估计区域中的背景区域以及检测框区域,而后结合两者对应的景深距离差来进行两张相邻图像间距离差的估算。具体的相对距离的计算公式具体如下所示:
Figure BDA0003413234700000151
其中,D是指两种轨迹图像的相对距离,其中α是背景点的权重,通常取一个非常小的数值。β是检测框的权重,通常取一个比较大的数值。检测框交集的数值指两张轨迹图像中检测出来的同类型检测框数的个数,即识别出的相同参照物的数量;检测框并集的数值指两张轨迹图像中所有检测框的并集。xi指第一张图中的像素点的深度值,yi指第二张图中的像素点的深度值。kj是容错系数,深度估计差小于kj的像素点视为相同深度。h,w分别指轨迹图像的高度和宽度。本实施例中,通过结合相邻图像内检测框区域和背景区域的景深估计结果来进行相邻图像的距离估算,可以更精确地计算出相邻图像之间的距离,保证待处理轨迹图像对齐处理的有效性。
在其中一个实施例中,如图13所示,步骤209包括:
步骤1302,根据相邻图像对之间的相对距离,通过动态时间规整构建待处理轨迹图像中两条轨迹对应的矩阵网格。
步骤1304,通过动态规划算法求解矩阵网格对应的最短路径,将最短路径只作为两条轨迹之间的偏移量。
步骤1306,根据最短路径对处理轨迹图像中两条轨迹进行对齐处理。
其中,动态时间规整即Dynamic Time Warping算法,是一种研究序列信息的对齐问题的方法,主要是在模板匹配中,比如说用在孤立词语音识别(识别两段语音是否表示同一个单词),手势识别,数据挖掘和信息检索等中。而本申请中则是将动态时间规整算法应用到了对齐估计优化,用于寻找两条轨迹中最匹配的图像对,从而实现两条轨迹之间的对齐。通过动态时间规整可以构建出两条轨迹之间的网格。而动态规划算法是运筹学的一个分支,是求解决策过程最优化的过程,是一种时间复杂度为多项式的算法。在通过动态时间规整构建待处理轨迹图像中两条轨迹对应的矩阵网格后,为了对该动态时间规整问题求解,可以通过动态规划算法来构建递归推导式,通过求解递归推导式来获取动态时间规整问题的最优解,从而得到矩阵网格对应的最短路径以进行轨迹对齐。
具体地,本申请中参考了常用于语音识别中的动态时间规整算法,它用满足一定条件的时间规整函数W(n)描述测试模板和参考模板的时间对应关系,求解两模板匹配时累计距离最小所对应的规整函数。语音识别中用动态时间规整来判断两对语音序列的相似性,我们将动态时间规整算法应用到对齐估计优化中。通过动态时间规整算法来构建轨迹对应的矩阵网格,通过动态规划对矩阵网格进行求解,从而确定求解矩阵网格对应的最短路径,将最短路径作为两条轨迹之间的偏移量,从而实现轨迹的对齐。在其中一个实施例中,如图14所示,轨迹X中包含有x1到x9九张待处理轨迹图像,轨迹Y中包含有y1到y7七张待处理轨迹图像,基于两条轨迹可以构建出7*9的矩阵网格。矩阵网格中的矩阵元素(i,j)表示xi和yj两个点的距离d(xi,yj)(也就是轨迹X的每一个轨迹点和轨迹Y的每一个轨迹点之间的相对距离,距离越小则相似度越高。这里先不管顺序),一般采用欧式距离,d(xi,yj)=(xi-yj)2(也可以理解为失真度)。每一个矩阵元素(i,j)表示点xi,yj的对齐。动态规划算法则可以归结为寻找一条通过此网格中若干格点的路径,路径通过的格点即为两个序列进行计算的对齐的点。动态规划算法的递归推导式为
r(i,j)=d(xi,yj)+min{(i-1,j),(i-1,j-1),(i,j-1)}
其中,r(i,j)表示累加距离,从(0,0)点开始匹配这两个序列X和Y,每到一个点,之前所有的点计算的距离都会累加。到达终点(9,7)后,这个累积距离就是我们上面说的最后的总的距离,也就是序列X和Y之间的偏移量。该动态规划能得到最优解,且时间复杂度低,只需要O(n*m),其n,m指需要对齐的两条轨迹的长度。而两条轨迹的对齐效果具体可以参照图15所示。本实施例中,通过动态时间规整算法来计算轨迹之间的偏移量,从而进行轨迹之间的对齐处理,可以有效降低对齐计算过程的时间复杂度,提高对齐过程的运算效率。
本申请还提供一种应用场景,该应用场景应用上述的轨迹图像对齐方法。具体地,该轨迹图像对齐方法在该应用场景的应用如下:
当用户在进行高精地图自动化生成任务时,需要采集一些道路轨迹图像来作为参照,而在采集道路轨迹图像时,不同的道路轨迹图像之间需要进行对齐处理,从而保证能在同一个轨迹点处,得到不同的道路轨迹图像。在进行轨迹对齐前,先确定下这些道路轨迹图像的定位是否足够准确,当定位精度较高时,可以直接进行对齐,而当定位精度较差时,则需要借助本申请的轨迹图像对齐方法来进行轨迹对齐。本申请中轨迹对齐的整体流程可以参照图16所示,通过本申请的轨迹图像对齐方法进行道路轨迹图像的对齐时,需要先获取到两条同一道路上的轨迹图像,而后将两条轨迹上的轨迹图像作为待处理轨迹图像进行轨迹对齐。在进行轨迹对齐时,先获取待处理轨迹图像对应的路网线路与定位信息,可以根据待处理轨迹图像对应的定位信息,确定待处理轨迹图像对应的轨迹点;将轨迹点对路网线路的切线方向做投影,获取轨迹点对应的投影位置;根据各待处理轨迹图像对应的投影位置,获取待处理轨迹图像对应的初始对齐位置信息。完成对待处理轨迹图像的初始对齐,将定位不在道路上的轨迹点投影到道路轨迹上。而后需要通过计算机视觉技术来对每张待处理轨迹图像进行内容解析处理,具体包括:获取待处理轨迹图像中参照物对应的目标检测结果;通过语义分割技术,确定待处理轨迹图像中的相对距离干扰区域;基于确定的相对距离干扰区域,获取待处理轨迹图像对应的深度估计区域;通过小孔成像原理获取深度估计区域对应的绝对深度图;通过绝对深度图,获取待处理轨迹图像中参照物对应的景深估计结果。而后基于内容解析的结果来进行相邻图像对之间的相对距离估计,先基于初始对齐位置信息获取待处理轨迹图像中相邻图像;根据目标检测结果识别相邻图像中的相同参照物;根据相同参照物所对应的景深估计结果,获取相邻图像对之间的相对距离。其中,相邻图像具体可以根据初始对齐位置信息以及方位角信息来确定。最终则是根据相邻图像对之间的相对距离,通过动态时间规整构建待处理轨迹图像中两条轨迹对应的矩阵网格;通过动态规划算法求解矩阵网格对应的最短路径,将最短路径只作为两条轨迹之间的偏移量;根据最短路径对处理轨迹图像中两条轨迹进行对齐处理。而后基于对齐后的轨迹图像来进行后续的高精地图自动化生成任务。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的轨迹图像对齐方法的轨迹图像对齐装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个轨迹图像对齐装置实施例中的具体限定可以参见上文中对于轨迹图像对齐方法的限定,在此不再赘述。
在一个实施例中,如图17所示,提供了一种轨迹图像对齐装置,包括:
图像获取模块1702,用于获取待处理轨迹图像。
初始对齐模块1704,用于根据待处理轨迹图像对应的路网线路与定位信息,对待处理轨迹图像进行初始对齐,获取待处理轨迹图像对应的初始对齐位置信息。
内容解析模块1706,用于对待处理轨迹图像进行内容解析处理,获取待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果。
相对距离计算模块1708,用于基于初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定待处理轨迹图像中的相邻图像对之间的相对距离。
图像对齐模块1710,用于根据相邻图像对之间的相对距离确定待处理轨迹图像中轨迹之间的偏移量,根据偏移量对待处理轨迹图像进行对齐处理。
在其中一个实施例中,初始对齐模块1704具体用于:根据待处理轨迹图像对应的定位信息,确定待处理轨迹图像对应的轨迹点;将轨迹点对路网线路的切线方向做投影,获取轨迹点对应的投影位置;根据各待处理轨迹图像对应的投影位置,获取待处理轨迹图像对应的初始对齐位置信息。
在其中一个实施例中,内容解析模块1706具体用于:通过目标检测技术,获取待处理轨迹图像中参照物对应的目标检测结果;通过语义分割技术,确定待处理轨迹图像中的相对距离干扰区域,基于确定的相对距离干扰区域,获取待处理轨迹图像对应的语义分割结果;通过小孔成像原理获取待处理轨迹图像对应的绝对深度图,通过绝对深度图,获取待处理轨迹图像对应的景深估计结果。
在其中一个实施例中,相对距离计算模块1708具体用于:基于初始对齐位置信息获取待处理轨迹图像中相邻图像;根据语义分割结果识别相邻图像中的深度估计区域,获取深度估计区域内的景深估计结果;根据目标检测结果识别深度估计区域中的目标检测框以及目标检测框对应的目标类型;根据目标检测框、目标检测框对应的目标类型以及深度估计区域内的景深估计结果,获取相邻图像对之间的相对距离。
在其中一个实施例中,相对距离计算模块1708还用于:获取待处理轨迹图像对应的方位角信息;根据初始对齐位置信息以及方位角信息确定待处理轨迹图像中的相邻图像对。
在其中一个实施例中,相对距离计算模块1708还用于:根据深度估计区域内的目标检测框,确定深度估计区域中的背景区域以及检测框区域;基于相邻图像对之间的背景区域对应的景深估计结果的差值,获取背景距离差;基于相邻图像对之间的检测框区域对应的景深估计结果的差值以及目标检测框对应的目标类型,获取检测框距离差;根据背景距离差以及检测框距离差,获取相邻图像对之间的相对距离。
在其中一个实施例中,图像对齐模块1710具体用于:根据相邻图像对之间的相对距离,通过动态时间规整构建待处理轨迹图像中两条轨迹对应的矩阵网格;通过动态规划算法求解矩阵网格对应的最短路径,将最短路径只作为两条轨迹之间的偏移量;根据最短路径对处理轨迹图像中两条轨迹进行对齐处理。
上述轨迹图像对齐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储轨迹图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种轨迹图像对齐方法。
本领域技术人员可以理解,图18中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种轨迹图像对齐方法,其特征在于,所述方法包括:
获取待处理轨迹图像;
根据所述待处理轨迹图像对应的路网线路与定位信息,对所述待处理轨迹图像进行初始对齐,获取所述待处理轨迹图像对应的初始对齐位置信息;
对所述待处理轨迹图像进行内容解析处理,获取所述待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果;
基于所述初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定所述待处理轨迹图像中相邻图像对之间的相对距离;
根据所述相邻图像对之间的相对距离确定所述待处理轨迹图像中轨迹之间的偏移量,根据所述偏移量对所述待处理轨迹图像进行对齐处理。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待处理轨迹图像对应的路网信息与定位信息,对所述待处理轨迹图像进行初始对齐,获取所述待处理轨迹图像对应的初始对齐位置信息包括:
根据待处理轨迹图像对应的定位信息,确定所述待处理轨迹图像对应的轨迹点;
将所述轨迹点对所述路网线路的切线方向做投影,获取所述轨迹点对应的投影位置;
根据各待处理轨迹图像对应的投影位置,获取所述待处理轨迹图像对应的初始对齐位置信息。
3.根据权利要求1所述的方法,其特征在于,所述对所述待处理轨迹图像进行内容解析处理,获取所述待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果包括:
通过目标检测技术,获取所述待处理轨迹图像中参照物对应的目标检测结果;
通过语义分割技术,确定所述待处理轨迹图像中的相对距离干扰区域,基于确定的相对距离干扰区域,获取所述待处理轨迹图像对应的语义分割结果;
通过小孔成像原理获取所述待处理轨迹图像对应的绝对深度图,通过所述绝对深度图,获取所述待处理轨迹图像对应的景深估计结果。
4.根据权利要求1所述的方法,其特征在于,所述基于所述初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定所述待处理轨迹图像中相邻图像对之间的相对距离包括:
基于所述初始对齐位置信息获取所述待处理轨迹图像中相邻图像;
根据所述语义分割结果识别所述相邻图像中的深度估计区域,获取所述深度估计区域内的景深估计结果;
根据所述目标检测结果识别所述深度估计区域中的目标检测框以及所述目标检测框对应的目标类型;
根据所述目标检测框、目标检测框对应的目标类型以及所述深度估计区域内的景深估计结果,获取所述相邻图像对之间的相对距离。
5.根据权利要求4所述的方法,其特征在于,所述基于所述初始对齐位置信息获取所述待处理轨迹图像中相邻图像包括:
获取待处理轨迹图像对应的方位角信息;
根据所述初始对齐位置信息以及所述方位角信息确定所述待处理轨迹图像中相邻图像。
6.根据权利要求4所述的方法,其特征在于,所述根据所述目标检测框、目标检测框对应的目标类型以及所述深度估计区域内的景深估计结果,获取所述相邻图像对之间的相对距离包括:
根据所述深度估计区域内的所述目标检测框,确定所述深度估计区域中的背景区域以及检测框区域;
基于所述相邻图像对之间的所述背景区域对应的景深估计结果的差值,获取背景距离差;
基于所述相邻图像对之间的所述检测框区域对应的景深估计结果的差值以及目标检测框对应的目标类型,获取检测框距离差;
根据所述背景距离差以及所述检测框距离差,获取所述相邻图像对之间的相对距离。
7.根据权利要求1所述的方法,其特征在于,所述根据所述相邻图像对之间的相对距离确定所述待处理轨迹图像中轨迹之间的偏移量,根据所述偏移量对所述待处理轨迹图像进行对齐处理包括:
根据所述相邻图像对之间的相对距离,通过动态时间规整构建所述待处理轨迹图像中两条轨迹对应的矩阵网格;
通过动态规划算法求解所述矩阵网格对应的最短路径,将所述最短路径只作为所述两条轨迹之间的偏移量;
根据所述最短路径对所述处理轨迹图像中两条轨迹进行对齐处理。
8.一种轨迹图像对齐装置,其特征在于,所述装置包括:
图像获取模块,用于获取待处理轨迹图像;
初始对齐模块,用于根据所述待处理轨迹图像对应的路网线路与定位信息,对所述待处理轨迹图像进行初始对齐,获取所述待处理轨迹图像对应的初始对齐位置信息;
内容解析模块,用于对所述待处理轨迹图像进行内容解析处理,获取所述待处理轨迹图像中参照图对应的目标检测结果、语义分割结果以及景深估计结果;
相对距离计算模块,用于基于所述初始对齐位置信息、目标检测结果、语义分割结果以及景深估计结果,确定所述待处理轨迹图像中相邻图像对之间的相对距离;
图像对齐模块,用于根据所述相邻图像对之间的相对距离确定所述待处理轨迹图像中轨迹之间的偏移量,根据所述偏移量对所述待处理轨迹图像进行对齐处理。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111536367.1A 2021-12-15 2021-12-15 轨迹图像对齐方法、装置、计算机设备以及存储介质 Pending CN114332174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111536367.1A CN114332174A (zh) 2021-12-15 2021-12-15 轨迹图像对齐方法、装置、计算机设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111536367.1A CN114332174A (zh) 2021-12-15 2021-12-15 轨迹图像对齐方法、装置、计算机设备以及存储介质

Publications (1)

Publication Number Publication Date
CN114332174A true CN114332174A (zh) 2022-04-12

Family

ID=81053347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111536367.1A Pending CN114332174A (zh) 2021-12-15 2021-12-15 轨迹图像对齐方法、装置、计算机设备以及存储介质

Country Status (1)

Country Link
CN (1) CN114332174A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701492A (zh) * 2023-08-03 2023-09-05 智慧足迹数据科技有限公司 轨迹匹配程度校验方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701492A (zh) * 2023-08-03 2023-09-05 智慧足迹数据科技有限公司 轨迹匹配程度校验方法、装置、计算机设备及存储介质
CN116701492B (zh) * 2023-08-03 2023-11-24 智慧足迹数据科技有限公司 轨迹匹配程度校验方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Garg et al. Lost? appearance-invariant place recognition for opposite viewpoints using visual semantics
Garg et al. Don't look back: Robustifying place categorization for viewpoint-and condition-invariant place recognition
US9984280B2 (en) Object recognition system using left and right images and method
CN105608417A (zh) 交通信号灯检测方法及装置
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
Shi et al. An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
CN109523570A (zh) 运动参数计算方法及装置
Lee et al. Learning to distill convolutional features into compact local descriptors
Fang et al. CFVL: A coarse-to-fine vehicle localizer with omnidirectional perception across severe appearance variations
CN114332174A (zh) 轨迹图像对齐方法、装置、计算机设备以及存储介质
Tsintotas et al. Visual place recognition for simultaneous localization and mapping
CN112270748A (zh) 基于图像的三维重建方法及装置
Wang et al. 3D object detection algorithm for panoramic images with multi-scale convolutional neural network
CN111767839A (zh) 一种车辆行驶轨迹确定方法、装置、设备及介质
Shi et al. Dense semantic 3D map based long-term visual localization with hybrid features
CN117011481A (zh) 构建三维地图的方法、装置、电子设备及存储介质
CN115661444A (zh) 图像处理方法、装置、设备、存储介质及产品
Lyrio et al. Image-based global localization using VG-RAM Weightless Neural Networks
CN114119757A (zh) 图像处理方法、装置、设备、介质和计算机程序产品
Tian et al. Efficient ego-motion estimation for multi-camera systems with decoupled rotation and translation
Sun et al. Accurate deep direct geo-localization from ground imagery and phone-grade gps
CN113705304A (zh) 一种图像处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination