CN110148164A - 转换矩阵生成方法及装置、服务器及计算机可读介质 - Google Patents

转换矩阵生成方法及装置、服务器及计算机可读介质 Download PDF

Info

Publication number
CN110148164A
CN110148164A CN201910457461.4A CN201910457461A CN110148164A CN 110148164 A CN110148164 A CN 110148164A CN 201910457461 A CN201910457461 A CN 201910457461A CN 110148164 A CN110148164 A CN 110148164A
Authority
CN
China
Prior art keywords
cloud
point
map
characteristic points
transition matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910457461.4A
Other languages
English (en)
Other versions
CN110148164B (zh
Inventor
郑超
蔡育展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910457461.4A priority Critical patent/CN110148164B/zh
Publication of CN110148164A publication Critical patent/CN110148164A/zh
Application granted granted Critical
Publication of CN110148164B publication Critical patent/CN110148164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种转换矩阵生成方法,包括:提取出地图图片的地图特征点集合及与所述地图图片对应的点云的点云特征点集合,对所述地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合,用全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵。本公开还提供了一种转换矩阵生成装置、服务器及计算机可读介质。

Description

转换矩阵生成方法及装置、服务器及计算机可读介质
技术领域
本公开涉及计算机技术领域,具体地,涉及转换矩阵生成方法及装置、服务器及计算机可读介质。
背景技术
自动驾驶技术为交通出行带来了巨大的变革,面对复杂的交通环境,自动驾驶过程需基于高精地图服务实现。现有技术通过比对摄像头感知结果和当前高精地图的方式实现高精地图更新,该更新过程的核心问题为如何对高精地图(三维点云)和摄像头感知结果(二维图片)进行配准,也即为如何计算出三维点云和二维图片间的转换矩阵。
应该注意,上面对技术背景的介绍只是为了方便对本公开的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本公开的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
本公开实施例提出了转换矩阵生成方法及装置、服务器及计算机可读介质。
第一方面,本公开实施例提供了一种转换矩阵生成方法,包括:
提取出地图图片的地图特征点集合及与所述地图图片对应的点云的点云特征点集合,所述地图特征点集合包括多个地图特征点,所述地图特征点用于表征所述地图图片的特征,所述点云特征点集合包括多个点云特征点,所述点云特征点用于表征所述点云的空间特征,所述地图图片的特征与所述点云的空间特征对应;
对所述地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合,所述点云匹配特征点集合为所述点云特征点集合的子集,所述点云匹配特征点集合包括多个点云匹配特征点;
用全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵。
在一些实施例中,在提取出地图图片的地图特征点集合及与所述地图图片对应的点云的点云特征点集合之前还包括:
根据地图图片采集与所述地图图片对应的点云。
在一些实施例中,所述提取出地图图片的地图特征点集合及与所述地图图片对应的点云的点云特征点集合包括:
用Mask R-CNN检测网络从所述地图图片中提取出所述地图图片的地图特征点,全部地图特征点形成地图特征点集合;
用PointNet检测网络从所述点云中提取出所述点云的点云特征点,全部点云特征点形成点云特征点集合。
在一些实施例中,所述对所述地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合包括:
用Ransac特征匹配算法以地图特征点集合为参考调整点云特征点集合后得到所述点云匹配特征点集合。
在一些实施例中,所述用全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵包括:
用三层全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵,所述转换矩阵为三维转换矩阵,所述转换矩阵用于将任一地图图片投影至点云空间中以生成与所述任一地图图片对应的点云。
第二方面,本公开实施例提供了一种转换矩阵生成装置,包括:
提取模块,用于提取出地图图片的地图特征点集合及与所述地图图片对应的点云的点云特征点集合,所述地图特征点集合包括多个地图特征点,所述地图特征点用于表征所述地图图片的特征,所述点云特征点集合包括多个点云特征点,所述点云特征点用于表征所述点云的空间特征,所述地图图片的特征与所述点云的空间特征对应;
特征匹配模块,用于对所述地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合,所述点云匹配特征点集合为所述点云特征点集合的子集,所述点云匹配特征点集合包括多个点云匹配特征点;
得出模块,用于用全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵。
在一些实施例中,还包括:
采集模块,用于根据地图图片采集与所述地图图片对应的点云。
在一些实施例中,所述提取模块包括:
第一提取子模块,用于用Mask R-CNN检测网络从所述地图图片中提取出所述地图图片的地图特征点,全部地图特征点形成地图特征点集合;
第二提取子模块,用于用PointNet检测网络从所述点云中提取出所述点云的点云特征点,全部点云特征点形成点云特征点集合。
在一些实施例中,所述特征匹配模块用于用Ransac特征匹配算法以地图特征点集合为参考调整点云特征点集合后得到所述点云匹配特征点集合。
在一些实施例中,所述得出模块用于用三层全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵,所述转换矩阵为三维转换矩阵,所述转换矩阵用于将任一地图图片投影至点云空间中以生成与所述任一地图图片对应的点云。
第三方面,本公开实施例提供了一种服务器,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的转换矩阵生成方法。
第四方面,本公开实施例一种计算机可读介质,其上存储有计算机程序,其中,所述程序被执行时实现如上所述的转换矩阵生成方法。
本公开实施例提供的转换矩阵生成方法,提取出地图图片的地图特征点集合及与所述地图图片对应的点云的点云特征点集合,对所述地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合,用全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵。该方法能够基于神经网络实现地图图片和点云间的配准,并得出地图图片和点云间的转换矩阵。
附图说明
附图用来提供对本公开的实施例作进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开,并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述,以上和其他特征和优点对本领域技术人员将变得更加显而易见,在附图中:
图1为本公开实施例提供的一种转换矩阵生成方法的流程示意图;
图2为本公开实施例提供的另一种转换矩阵生成方法的流程示意图;
图3为步骤S1的一种可选实现方式的流程示意图;
图4为步骤S2的一种可选实现方式的流程示意图;
图5为本公开实施例提供的一种转换矩阵生成装置的结构示意图;
图6为本公开实施例提供的另一种转换矩阵生成装置的结构示意图;
图7为提取模块的一种可选结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案,下面结合附图对本公开提供的转换矩阵生成方法及装置、服务器及计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例,但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之,提供这些实施例的目的在于使本公开透彻和完整,并将使本领域技术人员充分理解本公开的范围。
本文所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。
图1为本公开实施例提供的一种转换矩阵生成方法的流程示意图,如图1所示,该方法可以由转换矩阵生成装置来执行,该装置可以通过软件和/或硬件的方式实现,该装置可以集成在服务器中。该方法包括:
步骤S1、提取出地图图片的地图特征点集合及与该地图图片对应的点云的点云特征点集合。
图2为本公开实施例提供的另一种转换矩阵生成方法的流程示意图,如图2所示,在步骤S1之前还包括:
步骤S0、根据地图图片采集与该地图图片对应的点云。
地图图片可以为预先通过摄像头拍摄的地图图片,地图图片中的每个点具有二维坐标。通过现有的点云采集方式(如:激光扫描方式)采集与该地图图片对应的点云,点云中的每个点均具有三维坐标。具体地,根据与地图图片对应的GPS(Global Posit ioningSystem,全球定位系统)信息索引至与该地图图片对应的位置,并在该位置处采集与该地图图片对应的点云。
图3为步骤S1的一种可选实现方式的流程示意图,如图3所示,步骤S1包括:
步骤S11、用Mask R-CNN检测网络从地图图片中提取出地图图片的地图特征点,全部地图特征点形成地图特征点集合。
Mask R-CNN检测网络可以从地图图片中识别出路标、指示牌和车辆等单个目标,本实施例中设置Mask R-CNN检测网络所要识别出的目标为地图特征点,多个地图特征点形成地图特征点集合G1((x0,y0),(x1,y1)…)。地图特征点集合包括多个地图特征点,地图特征点用于表征地图图片的特征,地图特征点具有二维坐标。如:地图特征点为地图图片中所示的交通指示牌的角点,或路灯杆的角点。
值得说明的是,在地图图片所在平面构建二维坐标系,地图图片中的每个点在该二维坐标系中具有二维坐标。
步骤S12、用PointNet检测网络从点云中提取出点云的点云特征点,全部点云特征点形成点云特征点集合。
PointNet检测网络为一种点云分类/分割的深度学习框架,其可从点云中提取出点云特征点。
点云特征点集合G2((x0,y0,z0),(x1,y1,z1)…)包括多个点云特征点,点云特征点用于表征点云的空间特征,点云特征点具有三维坐标,地图图片的特征与点云的空间特征对应。如:点云特征点为点云中所示的交通指示牌的角点,或路灯杆的角点。
步骤S2、对地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合。
点云匹配特征点集合为点云特征点集合的子集,点云匹配特征点集合包括多个点云匹配特征点,点云匹配特征点具有三维坐标。
图4为步骤S2的一种可选实现方式的流程示意图,如图4所示,步骤S2包括:
步骤S20、用Ransac特征匹配算法以地图特征点集合为参考调整点云特征点集合后得到点云匹配特征点集合。
Ransac(Random Sample Consensus,随机抽样一致性)特征匹配算法用于从匹配样本中随机抽样并寻找一致的样本点。本实施例中,Ransac特征匹配算法以地图特征点集合中的各地图特征点为参考调整点云特征点集合中的各点云特征点,调整后所生成的点云匹配特征点集合为点云特征点集合的一部分。通过Ransac特征匹配算法对点云特征点集合进行调整并得到点云匹配特征点集合,点云匹配特征点集合与地图特征点集合的匹配度更高,后续地,根据该点云匹配特征点集合与该地图特征点集合所获得的转换矩阵更准确。
如:以地图特征点集合G1((x0,y0),(x1,y1)…)中的各地图特征点为参考调整点云特征点集合G2((x0,y0,z0),(x1,y1,z1)…)中的各点云特征点,调整后所生成的点云匹配特征点集合为G2’((x0,y0,z0)’,(x1,y1,z1)’…)。
步骤S3、用全连接层神经网络对地图特征点集合和点云匹配特征点集合进行处理以得出地图图片和点云间的转换矩阵。
具体地,用三层全连接层(Full Connected,FC)神经网络对地图特征点集合和点云匹配特征点集合进行计算处理以得出地图图片和点云间的转换矩阵。转换矩阵为三维转换矩阵,转换矩阵用于将任一地图图片投影至点云空间中以生成与该任一地图图片对应的点云。
值得说明的是,以上各Mask R-CNN检测网络、PointNet检测网络、Ransac特征匹配算法和三层FC神经网络可集成于同一个神经网络中,该神经网络的输入为地图图片和点云,输出为该地图图片和点云间的转换矩阵。
应当注意,尽管在附图中以特定顺序描述了本公开方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本公开实施例提供的转换矩阵生成方法,提取出地图图片的地图特征点集合及与该地图图片对应的点云的点云特征点集合,对地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合,用全连接层神经网络对地图特征点集合和点云匹配特征点集合进行处理以得出地图图片和点云间的转换矩阵。该方法能够基于神经网络实现地图图片和点云间的配准,并得出地图图片和点云间的转换矩阵。
图5为本公开实施例提供的一种转换矩阵生成装置的结构示意图,如图5所示,该转换矩阵生成装置包括:提取模块11、特征匹配模块12和得出模块13。
提取模块11用于提取出地图图片的地图特征点集合及与该地图图片对应的点云的点云特征点集合,地图特征点集合包括多个地图特征点,地图特征点用于表征地图图片的特征,点云特征点集合包括多个点云特征点,点云特征点用于表征点云的空间特征,地图图片的特征与点云的空间特征对应。
特征匹配模块12用于对地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合,点云匹配特征点集合为点云特征点集合的子集,点云匹配特征点集合包括多个点云匹配特征点。
得出模块13用于用全连接层神经网络对地图特征点集合和点云匹配特征点集合进行处理以得出地图图片和点云间的转换矩阵。
图6为本公开实施例提供的另一种转换矩阵生成装置的结构示意图,如图6所示,唯一不同于上图5所提供的转换矩阵生成装置,该转换矩阵生成装置还包括:采集模块14。采集模块14用于根据地图图片采集与地图图片对应的点云。
图7为提取模块的一种可选结构示意图,如图7所示,提取模块11包括:第一提取子模块11a和第二提取子模块11b。
第一提取子模块11a用于用Mask R-CNN检测网络从地图图片中提取出地图图片的地图特征点,全部地图特征点形成地图特征点集合。第二提取子模块11b用于用PointNet检测网络从点云中提取出点云的点云特征点,全部点云特征点形成点云特征点集合。
进一步地,特征匹配模块12用于用Ransac特征匹配算法以地图特征点集合为参考调整点云特征点集合后得到点云匹配特征点集合。
进一步地,得出模块13用于用三层全连接层神经网络对地图特征点集合和点云匹配特征点集合进行处理以得出地图图片和点云间的转换矩阵,转换矩阵为三维转换矩阵,转换矩阵用于将任一地图图片投影至点云空间中以生成与任一地图图片对应的点云。
需要说明的是,在本公开中,上述各实施例中所涉及的技术手段在不相违背的情况可以相互结合。
另外,对于上述各模块、子模块、单元和子单元的实现细节和技术效果的描述,可以参见前述方法实施例的说明,此处不再赘述。
本公开实施例还提供了一种服务器,该服务器包括:一个或多个处理器以及存储装置;其中,存储装置上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如前述各实施例所提供的转换矩阵生成方法。
本公开实施例还提供了一计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被执行时实现如前述各实施例所提供的转换矩阵生成方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本公开的范围的情况下,可进行各种形式和细节上的改变。

Claims (12)

1.一种转换矩阵生成方法,包括:
提取出地图图片的地图特征点集合及与所述地图图片对应的点云的点云特征点集合,所述地图特征点集合包括多个地图特征点,所述地图特征点用于表征所述地图图片的特征,所述点云特征点集合包括多个点云特征点,所述点云特征点用于表征所述点云的空间特征,所述地图图片的特征与所述点云的空间特征对应;
对所述地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合,所述点云匹配特征点集合为所述点云特征点集合的子集,所述点云匹配特征点集合包括多个点云匹配特征点;
用全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵。
2.根据权利要求1所述的转换矩阵生成方法,其中,在提取出地图图片的地图特征点集合及与所述地图图片对应的点云的点云特征点集合之前还包括:
根据地图图片采集与所述地图图片对应的点云。
3.根据权利要求1所述的转换矩阵生成方法,其中,所述提取出地图图片的地图特征点集合及与所述地图图片对应的点云的点云特征点集合包括:
用Mask R-CNN检测网络从所述地图图片中提取出所述地图图片的地图特征点,全部地图特征点形成地图特征点集合;
用PointNet检测网络从所述点云中提取出所述点云的点云特征点,全部点云特征点形成点云特征点集合。
4.根据权利要求1所述的转换矩阵生成方法,其中,所述对所述地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合包括:
用Ransac特征匹配算法以地图特征点集合为参考调整点云特征点集合后得到所述点云匹配特征点集合。
5.根据权利要求1所述的转换矩阵生成方法,其中,所述用全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵包括:
用三层全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵,所述转换矩阵为三维转换矩阵,所述转换矩阵用于将任一地图图片投影至点云空间中以生成与所述任一地图图片对应的点云。
6.一种转换矩阵生成装置,包括:
提取模块,用于提取出地图图片的地图特征点集合及与所述地图图片对应的点云的点云特征点集合,所述地图特征点集合包括多个地图特征点,所述地图特征点用于表征所述地图图片的特征,所述点云特征点集合包括多个点云特征点,所述点云特征点用于表征所述点云的空间特征,所述地图图片的特征与所述点云的空间特征对应;
特征匹配模块,用于对所述地图特征点集合和点云特征点集合进行特征匹配并得到点云匹配特征点集合,所述点云匹配特征点集合为所述点云特征点集合的子集,所述点云匹配特征点集合包括多个点云匹配特征点;
得出模块,用于用全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵。
7.根据权利要求6所述的转换矩阵生成装置,其中,还包括:
采集模块,用于根据地图图片采集与所述地图图片对应的点云。
8.根据权利要求6所述的转换矩阵生成装置,其中,所述提取模块包括:
第一提取子模块,用于用Mask R-CNN检测网络从所述地图图片中提取出所述地图图片的地图特征点,全部地图特征点形成地图特征点集合;
第二提取子模块,用于用PointNet检测网络从所述点云中提取出所述点云的点云特征点,全部点云特征点形成点云特征点集合。
9.根据权利要求6所述的转换矩阵生成装置,其中,所述特征匹配模块用于用Ransac特征匹配算法以地图特征点集合为参考调整点云特征点集合后得到所述点云匹配特征点集合。
10.根据权利要求6所述的转换矩阵生成装置,其中,所述得出模块用于用三层全连接层神经网络对所述地图特征点集合和点云匹配特征点集合进行处理以得出所述地图图片和点云间的转换矩阵,所述转换矩阵为三维转换矩阵,所述转换矩阵用于将任一地图图片投影至点云空间中以生成与所述任一地图图片对应的点云。
11.一种服务器,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-5中任一所述的转换矩阵生成方法。
12.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被执行时实现如权利要求1-5中任一所述的转换矩阵生成方法。
CN201910457461.4A 2019-05-29 2019-05-29 转换矩阵生成方法及装置、服务器及计算机可读介质 Active CN110148164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910457461.4A CN110148164B (zh) 2019-05-29 2019-05-29 转换矩阵生成方法及装置、服务器及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910457461.4A CN110148164B (zh) 2019-05-29 2019-05-29 转换矩阵生成方法及装置、服务器及计算机可读介质

Publications (2)

Publication Number Publication Date
CN110148164A true CN110148164A (zh) 2019-08-20
CN110148164B CN110148164B (zh) 2021-10-26

Family

ID=67592267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457461.4A Active CN110148164B (zh) 2019-05-29 2019-05-29 转换矩阵生成方法及装置、服务器及计算机可读介质

Country Status (1)

Country Link
CN (1) CN110148164B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462029A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN112629546A (zh) * 2019-10-08 2021-04-09 宁波吉利汽车研究开发有限公司 一种位置调节参数确定方法、装置、电子设备及存储介质
WO2022048493A1 (zh) * 2020-09-04 2022-03-10 华为技术有限公司 摄像头外参标定的方法与装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术(北京)有限公司 高精地图数据配准关系确定方法及装置
CN105856230A (zh) * 2016-05-06 2016-08-17 简燕梅 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法
US20170046840A1 (en) * 2015-08-11 2017-02-16 Nokia Technologies Oy Non-Rigid Registration for Large-Scale Space-Time 3D Point Cloud Alignment
US20170278231A1 (en) * 2016-03-25 2017-09-28 Samsung Electronics Co., Ltd. Device for and method of determining a pose of a camera
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉系统及控制方法
CN109087342A (zh) * 2018-07-12 2018-12-25 武汉尺子科技有限公司 一种基于特征匹配的三维点云全局配准方法及系统
CN109308737A (zh) * 2018-07-11 2019-02-05 重庆邮电大学 一种三阶段式点云配准方法的移动机器人v-slam方法
CN109523581A (zh) * 2017-09-19 2019-03-26 华为技术有限公司 一种三维点云对齐的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046840A1 (en) * 2015-08-11 2017-02-16 Nokia Technologies Oy Non-Rigid Registration for Large-Scale Space-Time 3D Point Cloud Alignment
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术(北京)有限公司 高精地图数据配准关系确定方法及装置
US20170278231A1 (en) * 2016-03-25 2017-09-28 Samsung Electronics Co., Ltd. Device for and method of determining a pose of a camera
CN105856230A (zh) * 2016-05-06 2016-08-17 简燕梅 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法
CN109523581A (zh) * 2017-09-19 2019-03-26 华为技术有限公司 一种三维点云对齐的方法和装置
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉系统及控制方法
CN109308737A (zh) * 2018-07-11 2019-02-05 重庆邮电大学 一种三阶段式点云配准方法的移动机器人v-slam方法
CN109087342A (zh) * 2018-07-12 2018-12-25 武汉尺子科技有限公司 一种基于特征匹配的三维点云全局配准方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QI ZHANG 等: "A fast Automatic and Robust Image Registration Algorithm", 《IEEE》 *
伍尤富: "基于神经网络的摄像机平面模板标定方法", 《计算机工程与设计》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112629546A (zh) * 2019-10-08 2021-04-09 宁波吉利汽车研究开发有限公司 一种位置调节参数确定方法、装置、电子设备及存储介质
CN112629546B (zh) * 2019-10-08 2023-09-19 宁波吉利汽车研究开发有限公司 一种位置调节参数确定方法、装置、电子设备及存储介质
CN111462029A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111462029B (zh) * 2020-03-27 2023-03-03 阿波罗智能技术(北京)有限公司 视觉点云与高精地图融合方法、装置和电子设备
WO2022048493A1 (zh) * 2020-09-04 2022-03-10 华为技术有限公司 摄像头外参标定的方法与装置

Also Published As

Publication number Publication date
CN110148164B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
US10964049B2 (en) Method and device for determining pose of camera
CN110427917B (zh) 用于检测关键点的方法和装置
CN110148164A (zh) 转换矩阵生成方法及装置、服务器及计算机可读介质
CN109753885B (zh) 一种目标检测方法、装置以及行人检测方法、系统
US8798357B2 (en) Image-based localization
US11328401B2 (en) Stationary object detecting method, apparatus and electronic device
CN105493078B (zh) 彩色草图图像搜索
WO2015155628A1 (en) Apparatus and method for image-based positioning, orientation and situational awareness
CN107438853A (zh) 在上载之前区域描述文件的隐私过滤
US20200184697A1 (en) Image Modification Using Detected Symmetry
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
US20210248765A1 (en) Deep learning to correct map and image features
CN110428490A (zh) 构建模型的方法和装置
US9727785B2 (en) Method and apparatus for tracking targets
CN103902561B (zh) 一种在线用户分布的处理方法及装置
CN110148099A (zh) 投影关系的修正方法及装置、电子设备、计算机可读介质
US20210303905A1 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
US20150346915A1 (en) Method and system for automating data processing in satellite photogrammetry systems
JP2022130588A (ja) 自動運転車両の位置合わせ方法、装置、電子機器及び車両
Huo et al. Three-dimensional mechanical parts reconstruction technology based on two-dimensional image
US11657568B2 (en) Methods and systems for augmented reality tracking based on volumetric feature descriptor data
Bae et al. Fast and scalable 3D cyber-physical modeling for high-precision mobile augmented reality systems
Lin et al. Scale alignment of 3D point clouds with different scales
CN115661444A (zh) 图像处理方法、装置、设备、存储介质及产品
KR101962388B1 (ko) 위성 영상 지도의 자동 생성 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20211013

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right