CN111735439B - 地图构建方法、装置和计算机可读存储介质 - Google Patents

地图构建方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111735439B
CN111735439B CN201910220911.8A CN201910220911A CN111735439B CN 111735439 B CN111735439 B CN 111735439B CN 201910220911 A CN201910220911 A CN 201910220911A CN 111735439 B CN111735439 B CN 111735439B
Authority
CN
China
Prior art keywords
laser
pose information
visual
pose
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910220911.8A
Other languages
English (en)
Other versions
CN111735439A (zh
Inventor
张鹏
许腾
康轶非
李雨倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN201910220911.8A priority Critical patent/CN111735439B/zh
Publication of CN111735439A publication Critical patent/CN111735439A/zh
Application granted granted Critical
Publication of CN111735439B publication Critical patent/CN111735439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种地图构建方法、装置和计算机可读存储介质，涉及数据处理领域。地图构建方法包括：获取在多个帧采集的激光点云数据和相应的激光位姿信息，以及在多个帧采集的视觉位姿信息；基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系，确定转换到视觉坐标系下的激光位姿信息；基于转换到视觉坐标系下的激光位姿信息，将激光点云数据转换到视觉坐标系中；采用视觉坐标系中的激光点云数据构建地图。本发明的实施例在利用视觉定位和定姿的结果优化激光点云数据的同时，还可以保持激光点云的连续性，因此提升了地图构建的准确度。

Description

地图构建方法、装置和计算机可读存储介质
技术领域
本发明涉及数据处理领域，特别涉及一种地图构建方法、装置和计算机可读存储介质。
背景技术
在当前的机器人定位导航等领域，重建地图具有很重要的作用。当前常用的建图方法为激光建图以及视觉建图。
激光建图方法采用激光雷达以一定的频率发射激光，通过激光反射的结果测得每个激光点到雷达设备的距离。通过匹配相邻两帧的激光点数据，可以得到相邻两帧的位姿变化。然后，可以将在这两帧测得的激光点拼接到一起，从而完成地图重建。
视觉建图方法采用双目相机、深度相机等视觉传感器采集图像数据。对于双目相机，可以通过确定像素在两个相机中的视差来计算出深度；对于深度相机，可以通过借助红外结构光等，采用物理传感器直接测量得到深度。通过每个像素的深度信息，可以得到每个像素在相机坐标系下的三维坐标，即一组三维空间点。然后，可以通过特征点法、光流法等匹配方法得到相邻两个图像帧之间的位姿关系，并将两个相机坐标系下的三维空间点拼接起来，从而重建出三维地图。
发明内容
发明人经过分析后发现，激光建图方法在长走廊等一些特殊结构化场景下有很大的局限性。而视觉建图方法对于相机视野边缘的像素点深度精度很低，测量距离有限。因此，相关技术中的地图构建方法准确度较低。
本发明实施例所要解决的一个技术问题是：提高地图构建的准确度。
根据本发明一些实施例的第一个方面，提供一种地图构建方法，包括：获取在多个帧采集的激光点云数据和相应的激光位姿信息，以及在多个帧采集的视觉位姿信息；基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系，确定转换到视觉坐标系下的激光位姿信息；基于转换到视觉坐标系下的激光位姿信息，将激光点云数据转换到视觉坐标系中；采用视觉坐标系中的激光点云数据构建地图。
在一些实施例中，基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系，确定转换到视觉坐标系下的激光位姿信息包括：根据基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系构建目标函数；以目标函数达到最小值为求解目标，采用最优化方法对激光位姿信息进行优化，以便确定转换到视觉坐标系下的激光位姿信息。
在一些实施例中，相邻帧的激光位姿信息的位姿变换约束关系包括：相邻帧的两帧激光位姿信息中，第一帧激光位姿信息的逆矩阵变换结果与第二帧激光位姿信息的乘积等于相对位姿变换约束值，其中，相对位姿变换约束值等于转换前的第一帧激光位姿信息的逆矩阵变换结果与转换前的第二帧激光位姿信息的乘积。
在一些实施例中，激光位姿信息和视觉位姿信息的位姿匹配关系包括：通过对两帧激光位姿信息进行插值而生成的、待匹配的视觉位姿信息所在帧对应的插值结果等于待匹配的视觉位姿信息。
在一些实施例中，基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系，确定转换到视觉坐标系下的激光位姿信息包括：构建目标函数，目标函数中包括：每个相对位姿变换约束值与对应的相邻两帧激光位姿信息的位姿变换乘积之差，其中，位姿变换乘积为第一帧激光位姿信息的逆矩阵变换结果、第二帧激光位姿信息的乘积；以及每个视觉位姿信息与插值结果之差，其中，插值结果是通过对两帧激光位姿信息进行插值而生成的、并且与待匹配的视觉位姿信息所在帧对应；以目标函数达到最小值为求解目标，采用最优化方法对激光位姿信息进行优化，以便确定转换到视觉坐标系下的激光位姿信息。
在一些实施例中，激光位姿信息、视觉位姿信息、插值结果中的每一个包括位置信息和姿态信息；插值结果中的位置信息是通过对两帧激光位姿信息中的位置信息进行线性插值而生成的，插值结果中的姿态信息是通过对两帧激光位姿信息中的姿态信息进行球面线性插值而生成的。
在一些实施例中，基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系，确定转换到视觉坐标系下的激光位姿信息包括将以下公式作为目标函数以求解转换到视觉坐标系下的激光位姿信息：
Figure BDA0002003573130000031
其中，TL为待求解的激光位姿信息的集合；i为激光位姿信息的帧的标识，
Figure BDA0002003573130000032
为第i帧的激光位姿信息，
Figure BDA0002003573130000033
为第i-1帧到第i帧的相对位姿变换约束值；m为视觉位姿信息的帧的标识，n为激光位姿信息的帧的标识，
Figure BDA0002003573130000034
为第m帧视觉位姿信息中的位置信息，
Figure BDA0002003573130000035
为第m帧视觉位姿信息中的姿态信息，
Figure BDA0002003573130000036
为第n帧激光位姿信息中的位置信息，
Figure BDA0002003573130000037
为第n帧激光位姿信息中的姿态信息，r为插值比例系数，θn-1,n为
Figure BDA0002003573130000038
和
Figure BDA0002003573130000039
的夹角。
在一些实施例中，响应于待构建的地图属于长走廊环境，采用视觉坐标系中的激光点云数据构建地图，否则采用采集的激光点云数据构建地图。
根据本发明一些实施例的第二个方面，提供一种地图构建装置，包括：信息获取模块，被配置为获取在多个帧采集的激光点云数据和相应的激光位姿信息，以及在多个帧采集的视觉位姿信息；激光位姿信息转换模块，被配置为基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系，确定转换到视觉坐标系下的激光位姿信息；激光点云数据转换模块，被配置为基于转换到视觉坐标系下的激光位姿信息，将激光点云数据转换到视觉坐标系中；构建模块，被配置为采用视觉坐标系中的激光点云数据构建地图。
根据本发明一些实施例的第三个方面，提供一种地图构建装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种地图构建方法。
根据本发明一些实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意一种地图构建方法。
上述发明中的一些实施例具有如下优点或有益效果：本发明的实施例可以借助特殊场景下视觉定位更准确的特点，基于相邻帧的激光位姿信息的位姿变换约束关系，将激光点云数据转换到视觉坐标系中。从而，在利用视觉定位和定姿的结果优化激光点云数据的同时，还可以保持激光点云的连续性，因此提升了地图构建的准确度。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明一些实施例的地图构建方法的流程示意图。
图2为根据本发明一些实施例的确定转换到视觉坐标系下的激光位姿信息的方法的流程示意图。
图3为根据本发明另一些实施例的确定转换到视觉坐标系下的激光位姿信息的方法的流程示意图。
图4为根据本发明另一些实施例的地图构建方法的流程示意图。
图5为根据本发明一些实施例的地图构建装置的结构示意图。
图6为根据本发明另一些实施例的地图构建装置的结构示意图。
图7为根据本发明又一些实施例的地图构建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
发明人经过分析后发现，对于激光建图方式，当激光雷达与激光反射点之间的距离比较固定时，即周围的结构变化较小时，激光雷达难以感知当前位置或环境的变化。因此，在“长走廊”等结构化场景中，激光建图方式的精度较低。而视觉建图方式虽然存在视野边缘的像素点的深度精度低、测量距离有限的缺陷，但是由于视觉建图方式借助视觉传感器捕捉的纹理信息进行定位，因此，在结构化场景中，视觉建图方式的定位精度比激光建图方式更高。从而，发明人认识到，可以通过将激光建图和视觉建图进行结合的方式来结合两种不同类型的传感器的优势，来进一步提高地图构建的精确性。
发明人经过进一步分析后发现，邻两帧激光点云需要遵循约束关系。如果在结合两种方式所采集的点云时，不考虑该约束关系，而是仅将每一帧激光点云直接转换到视觉点云所在的视觉坐标系下，会导致应当重叠的区域出现错位等问题。因此，发明人提出了基于相邻帧的激光位姿信息的位姿变换约束关系来构建地图的方法。
图1为根据本发明一些实施例的地图构建方法的流程示意图。如图1所示，该实施例的地图构建方法包括步骤S102～S108。
在步骤S102中，获取在多个帧采集的激光点云数据和相应的激光位姿信息，以及在多个帧采集的视觉位姿信息。
每一帧采集的激光点云数据表示这一帧激光传感器所感知的周围的环境数据。每一帧采集的激光位姿信息表示激光采集设备在当前的位置和姿态，每一帧采集的视觉位姿信息表示视觉采集设备在当前的位置和姿态。在一些实施例中，激光采集设备上的激光传感器以及视觉采集设备上的视觉传感器均可以以预设的频率采集数据。激光传感器和视觉传感器的采集频率可以相同，也可以不同。
在一些实施例中，可以采用欧式变换矩阵表示位姿信息。欧式变换矩阵T例如可以采用公式(1)表示。
Figure BDA0002003573130000061
其中，q为由四元数表示的姿态信息，R(q)为q对应的3*3旋转矩阵，p为3*1的位置信息向量。
在步骤S104中，基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系，确定转换到视觉坐标系下的激光位姿信息。
通过激光方式采集的相邻帧的激光位姿信息之间具有一定的关系。当将激光位姿信息转换到视觉坐标系下时，虽然激光位姿信息的坐标值发生了变化，但是转换后的激光位姿信息仍然需要尽量满足位姿变换约束关系，这样才能够使得转换后的结果是准确的。
由于激光和视觉两种测量方式的机制不同，测量过程中也存在一定的误差，因此无法保证转换到视觉坐标系下的激光位姿信息严格地符合位姿变换约束关系。本发明的实施例是基于位姿变换约束关系对激光位姿信息进行优化，使得转换后的相邻帧的激光位姿信息尽可能地符合位姿变换约束关系。
在一些实施例中，相邻帧的激光位姿信息的位姿变换约束关系包括：相邻帧的两帧激光位姿信息中，第一帧激光位姿信息的逆矩阵变换结果与第二帧激光位姿信息的乘积等于相对位姿变换约束值，其中，相对位姿变换约束值等于转换前的第一帧激光位姿信息的逆矩阵变换结果与转换前的第二帧激光位姿信息的乘积。例如，在优化激光位姿信息之前，可以预先计算相邻帧的激光位姿信息对应的位姿变换约束值；在优化激光位姿信息的过程中，尽量使得优化后的相邻帧的激光位姿信息的计算结果接近该位姿变换约束值。该约束关系例如可以采用公式(2)表示。
Figure BDA0002003573130000071
在公式(2)中，t为帧的标识，
Figure BDA0002003573130000072
为第t帧的激光位姿信息的逆矩阵变换结果，
Figure BDA0002003573130000073
为第t+1帧的激光位姿信息，
Figure BDA0002003573130000074
为第t帧到第t+1帧的相对位姿变换约束值。
激光位姿信息和视觉位姿信息的位姿匹配关系是指空间上的匹配关系。在测量准确的前提下，同一帧的激光位姿信息和视觉位姿信息应当是相同的。因此，可以通过位姿变换约束关系和位姿匹配关系共同对激光位姿信息进行优化，提高地图构建的准确性。
在步骤S106中，基于转换到视觉坐标系下的激光位姿信息，将激光点云数据转换到视觉坐标系中。由于同一帧的激光点云数据和激光位姿信息之间的相对位置是固定的，因此可以基于转换到视觉坐标系下的激光位姿信息来对激光点云数据进行转换。
在步骤S108中，采用视觉坐标系中的激光点云数据构建地图。例如，可以通过迭代最近点(Iterative Closest Point，简称：ICP)、正态分布变换(Normal DistributionTransform，简称：NDT)等方法匹配相邻两帧的转换后的激光点云数据，以将两帧激光点云拼接到一起，以此类推，以实现地图的构建过程。
通过上述实施例的方法，可以借助特殊场景下视觉定位更准确的特点，基于相邻帧的激光位姿信息的位姿变换约束关系，将激光点云数据转换到视觉坐标系中。从而，在利用视觉定位和定姿的结果优化激光点云数据的同时，还可以保持激光点云的连续性，因此提升了地图构建的准确度。
在一些实施例中，可以采用最优化方法确定转换到视觉坐标系下的激光位姿信息。下面参考图2描述本发明确定转换到视觉坐标系下的激光位姿信息的方法的实施例。
图2为根据本发明一些实施例的确定转换到视觉坐标系下的激光位姿信息的方法的流程示意图。如图2所示，该实施例的确定转换到视觉坐标系下的激光位姿信息的方法包括步骤S202～S204。
在步骤S202中，根据基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系构建目标函数。
在步骤S204中，以目标函数达到最小值为求解目标，采用最优化方法对激光位姿信息进行优化，以便确定转换到视觉坐标系下的激光位姿信息。
例如，根据公式(2)中的约束关系，可以以公式(3)为目标函数之一，以求解优化后的激光位姿信息。公式(3)中各个参数的含义可以参考公式(2)。
Figure BDA0002003573130000081
在优化过程中，
Figure BDA0002003573130000082
和
Figure BDA0002003573130000083
的值可能会发生变化，但是二者的关系仍尽量符合公式(2)的约束关系的要求，即，使得
Figure BDA0002003573130000091
与
Figure BDA0002003573130000092
的差尽可能小。
通过上述实施例的方法，可以以保持转换后的激光点云的连续性为目标获得最优解，提升了地图构建的准确度。
由于通过激光方式和视觉方式进行采集的时间点可能不是重合的，因此可以借助插值的方式对激光位姿信息和视觉位姿信息进行匹配。在一些实施例中，激光位姿信息和视觉位姿信息的位姿匹配关系包括：通过对两帧激光位姿信息进行插值而生成的、待匹配的视觉位姿信息所在帧对应的插值结果等于待匹配的视觉位姿信息。
表1示例性地描述了不同时刻获得的位姿信息的采集方式。在理想的情况下，应当使得在时刻2通过激光方式和视觉方式采集的位姿信息一致。然而，时刻2仅通过了视觉方式进行采集，而没有通过激光方式进行采集。因此，仅基于表1中的数据难以实现激光点云数据的坐标转换。但是，可以通过插值的方式生成视觉位姿信息所在帧对应的插值结果。例如，可以基于时刻1和时刻5的激光位姿信息进行插值计算，生成时刻2的激光位姿信息。通过令采用时刻1和时刻5的激光位姿信息表示的时刻2的激光位姿信息趋近于待匹配的时刻2的视觉位姿信息，可以实现激光位姿信息和视觉位姿信息的位姿匹配。
表1
时刻 1 2 5 7 9 12 13 17
采集方式 激光 视觉 激光 视觉 激光 视觉 激光 视觉
通过上述实施例的方法，即使在激光定位信息和视觉定位信息的采集时刻不同的情况下，也能够实现激光位姿信息和视觉位姿信息的匹配，提高了地图构建方法的适用性。
下面参考图3描述基于位姿变换约束关系和位姿匹配关系确定转换到视觉坐标系下的激光位姿信息的方法的实施例。
图3为根据本发明另一些实施例的确定转换到视觉坐标系下的激光位姿信息的方法的流程示意图。如图3所示，该实施例的确定转换到视觉坐标系下的激光位姿信息的方法包括步骤S302～S304。
在步骤S302中，构建目标函数，目标函数中包括：每个相对位姿变换约束值与对应的相邻两帧激光位姿信息的位姿变换乘积之差，其中，位姿变换乘积为第一帧激光位姿信息的逆矩阵变换结果、第二帧激光位姿信息的乘积；以及每个视觉位姿信息与插值结果之差，其中，插值结果是通过对两帧激光位姿信息进行插值而生成的、并且与待匹配的视觉位姿信息所在帧对应。
在一些实施例中，每个相对位姿变换约束值与对应的相邻两帧激光位姿信息的位姿变换计算结果之差可以采用
Figure BDA0002003573130000101
表示，其中，t为帧的标识，
Figure BDA0002003573130000102
为第t帧的激光位姿信息的逆矩阵变换结果，
Figure BDA0002003573130000103
为第t+1帧的激光位姿信息，
Figure BDA0002003573130000104
为第t帧到第t+1帧的相对位姿变换约束值。即，将公式(2)中表示的等式约束关系转换为一个求差值的公式。
在一些实施例中，每个视觉位姿信息与插值结果之差可以采用
Figure BDA0002003573130000105
表示，其中，m为视觉位姿信息的帧的标识，n为激光位姿信息的帧的标识，
Figure BDA0002003573130000106
为第m帧视觉位姿信息，
Figure BDA0002003573130000107
分别为第n-1帧、第n帧的激光位姿信息，I为插值结果的计算函数。根据需要，也可以对非连续的两帧激光位姿信息进行插值。
理想情况下，目标函数中的各个差值公式的值应当等于0。而实际求解中的目的则为尽量使该差值公式的值最小化以接近0。在目标函数可以包括帧的标识取各个值时，相应的差值公式的值总和，以获得全局最优解。
在步骤S304中，以目标函数达到最小值为求解目标，采用最优化方法对激光位姿信息进行优化，以便确定转换到视觉坐标系下的激光位姿信息。
通过上述实施例的方法，可以基于多个激光位姿信息涉及的约束条件构建目标函数，并采用最优化方法求解，从而可以获得更准确的转换结果，提高了地图构建的准确性。
发明人经过进一步分析后发现，在一般情况下，位置呈线性变化，使用四元数表示的姿态呈非线性变化。因此，在一些实施例中，插值结果中的位置信息是通过对两帧激光位姿信息中的位置信息进行线性插值而生成的，插值结果中的姿态信息是通过对两帧激光位姿信息中的姿态信息进行球面线性插值而生成的。激光位姿信息和视觉位姿信息在同一帧的位姿匹配关系例如可以参考公式(4)和(5)。
Figure BDA0002003573130000111
Figure BDA0002003573130000112
其中，m为视觉位姿信息的帧的标识，n为激光位姿信息的帧的标识，
Figure BDA0002003573130000113
为第m帧视觉位姿信息中的位置信息，
Figure BDA0002003573130000114
为第m帧视觉位姿信息中的姿态信息，
Figure BDA0002003573130000115
为第n帧激光位姿信息中的位置信息，
Figure BDA0002003573130000116
为第n帧激光位姿信息中的姿态信息，r为插值比例系数，θn-1,n为
Figure BDA0002003573130000117
和
Figure BDA0002003573130000118
的夹角，满足
Figure BDA0002003573130000119
r的值可以根据两帧激光位姿信息所在帧以及待匹配的视觉位姿信息所在帧确定，例如可以采用公式(6)进行计算。
Figure BDA00020035731300001110
其中，
Figure BDA00020035731300001111
分别为通过激光方式进行采集的第n帧、第n-1帧所对应的时刻，
Figure BDA00020035731300001112
为通过视觉方式进行采集的第m帧所对应的时刻。
在一些实施例中，可以根据位姿变换约束关系以及激光位姿信息和视觉位姿信息的位姿匹配关系建立目标函数，以求解转换到视觉坐标系下的激光位姿信息。该目标函数例如可以如公式(7)所示。
Figure BDA00020035731300001113
其中，TL为待求解的激光位姿信息的集合；i为帧的标识，
Figure BDA00020035731300001114
为第i帧的激光位姿信息，
Figure BDA00020035731300001115
为第i-1帧到第i帧的相对位姿变换约束值，相对位姿变换约束值可以在优化过程开始之前预先计算；m为视觉位姿信息的帧的标识，n为激光位姿信息的帧的标识，
Figure BDA00020035731300001116
为第m帧视觉位姿信息中的位置信息，
Figure BDA00020035731300001117
为第m帧视觉位姿信息中的姿态信息，
Figure BDA00020035731300001118
为第n帧激光位姿信息中的位置信息，
Figure BDA00020035731300001119
为第n帧激光位姿信息中的姿态信息，r为插值比例系数，θn-1,n为
Figure BDA0002003573130000121
和
Figure BDA0002003573130000122
的夹角。
在一些实施例中，可以使用高斯牛顿法、列文伯格-马夸尔特法等最小二乘优化方法求解TL。
本发明的实施例可以应用于多种场景中地图的构建。在一些实施例中，可以在长走廊环境中选择使用将激光点云数据转换到视觉坐标系中的方法。长走廊环境是指地形狭长、结构单一的环境，例如室内通道、仓库、货架之间的空间等等都属于长走廊环境的范畴。下面参考图4描述本发明在不同环境中采用不同方法构建地图的实施例。
图4为根据本发明另一些实施例的地图构建方法的流程示意图。如图4所示，该实施例的地图构建方法包括步骤S402～S410。
在步骤S402中，机器人在移动过程中，通过激光传感器和视觉传感器进行定姿和定位，并获取点云数据。
在步骤S404中，判断待构建的地图是否属于长走廊环境。如果是，执行步骤S406；如果不是，执行步骤S412。
在步骤S406中，确定转换到视觉坐标系下的激光位姿信息。
在步骤S408中，基于转换到视觉坐标系下的激光位姿信息，将激光点云数据转换到视觉坐标系中。
在步骤S410中，采用视觉坐标系中的激光点云数据构建地图。
在步骤S412中，采用采集的激光点云数据构建地图。
通过上述实施例的方法，可以采用转换到视觉坐标系中的激光点云数据构建长走廊环境的地图，以及直接采用采集的激光点云数据构建非长走廊环境的地图，从而可以提升地图构建的准确性。
下面参考图5描述本发明地图构建装置的实施例。
图5为根据本发明一些实施例的地图构建装置的结构示意图。如图5所示，该实施例的地图构建装置50包括：信息获取模块510，被配置为获取在多个帧采集的激光点云数据和相应的激光位姿信息，以及在多个帧采集的视觉位姿信息；激光位姿信息转换模块520，被配置为基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系，确定转换到视觉坐标系下的激光位姿信息；激光点云数据转换模块530，被配置为基于转换到视觉坐标系下的激光位姿信息，将激光点云数据转换到视觉坐标系中；构建模块540，被配置为采用视觉坐标系中的激光点云数据构建地图。
在一些实施例中，激光位姿信息转换模块520进一步被配置为根据基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系构建目标函数；以目标函数达到最小值为求解目标，采用最优化方法对激光位姿信息进行优化，以便确定转换到视觉坐标系下的激光位姿信息。
在一些实施例中，相邻帧的激光位姿信息的位姿变换约束关系包括：相邻帧的两帧激光位姿信息中，第一帧激光位姿信息的逆矩阵变换结果与第二帧激光位姿信息的乘积等于相对位姿变换约束值，其中，相对位姿变换约束值等于转换前的第一帧激光位姿信息的逆矩阵变换结果与转换前的第二帧激光位姿信息的乘积。
在一些实施例中，激光位姿信息和视觉位姿信息的位姿匹配关系包括：通过对两帧激光位姿信息进行插值而生成的、待匹配的视觉位姿信息所在帧对应的插值结果等于待匹配的视觉位姿信息。
在一些实施例中，激光位姿信息转换模块520进一步被配置为构建目标函数，目标函数中包括：每个相对位姿变换约束值与对应的相邻两帧激光位姿信息的位姿变换乘积之差，其中，位姿变换乘积为第一帧激光位姿信息的逆矩阵变换结果、第二帧激光位姿信息的乘积；以及每个视觉位姿信息与插值结果之差，其中，插值结果是通过对两帧激光位姿信息进行插值而生成的、并且与待匹配的视觉位姿信息所在帧对应；以目标函数达到最小值为求解目标，采用最优化方法对激光位姿信息进行优化，以便确定转换到视觉坐标系下的激光位姿信息。
在一些实施例中，激光位姿信息、视觉位姿信息、插值结果中的每一个包括位置信息和姿态信息；插值结果中的位置信息是通过对两帧激光位姿信息中的位置信息进行线性插值而生成的，插值结果中的姿态信息是通过对两帧激光位姿信息中的姿态信息进行球面线性插值而生成的。
在一些实施例中，激光位姿信息转换模块520进一步被配置为将以下公式作为目标函数以求解转换到视觉坐标系下的激光位姿信息：
Figure BDA0002003573130000141
其中，TL为待求解的激光位姿信息的集合；i为激光位姿信息的帧的标识，
Figure BDA0002003573130000142
为第i帧的激光位姿信息，
Figure BDA0002003573130000143
为第i-1帧到第i帧的相对位姿变换约束值；m为视觉位姿信息的帧的标识，n为激光位姿信息的帧的标识，
Figure BDA0002003573130000144
为第m帧视觉位姿信息中的位置信息，
Figure BDA0002003573130000145
为第m帧视觉位姿信息中的姿态信息，
Figure BDA0002003573130000146
为第n帧激光位姿信息中的位置信息，
Figure BDA0002003573130000147
为第n帧激光位姿信息中的姿态信息，r为插值比例系数，θn-1,n为
Figure BDA0002003573130000148
和
Figure BDA0002003573130000149
的夹角。
图6为根据本发明另一些实施例的地图构建装置的结构示意图。如图6所示，该实施例的地图构建装置60包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的地图构建方法。
其中，存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图7为根据本发明又一些实施例的地图构建装置的结构示意图。如图7所示，该实施例的地图构建装置70包括：存储器710以及处理器720，还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730，740，750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种地图构建方法。
本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种地图构建方法，包括：
获取在多个帧采集的激光点云数据和相应的激光位姿信息，以及在多个帧采集的视觉位姿信息；
根据所述激光位姿信息和所述视觉位姿信息，对目标函数进行求解，以确定转换到视觉坐标系下的激光位姿信息，其中，所述目标函数是基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系构建，且以目标函数达到最小值为求解目标；
基于转换到视觉坐标系下的激光位姿信息，将激光点云数据转换到视觉坐标系中；
采用视觉坐标系中的激光点云数据构建地图。
2.根据权利要求1所述的地图构建方法，其中，所述相邻帧的激光位姿信息的位姿变换约束关系包括：
相邻帧的两帧激光位姿信息中，第一帧激光位姿信息的逆矩阵变换结果与第二帧激光位姿信息的乘积等于相对位姿变换约束值，其中，所述相对位姿变换约束值等于转换前的第一帧激光位姿信息的逆矩阵变换结果与转换前的第二帧激光位姿信息的乘积。
3.根据权利要求1所述的地图构建方法，其中，所述激光位姿信息和视觉位姿信息的位姿匹配关系包括：
通过对两帧激光位姿信息进行插值而生成的、待匹配的视觉位姿信息所在帧对应的插值结果等于待匹配的视觉位姿信息。
4.根据权利要求3所述的地图构建方法，其中，所述目标函数包括：每个相对位姿变换约束值与对应的相邻两帧激光位姿信息的位姿变换乘积之差，其中，所述位姿变换乘积为第一帧激光位姿信息的逆矩阵变换结果、第二帧激光位姿信息的乘积；以及每个视觉位姿信息与插值结果之差，其中，所述插值结果是通过对两帧激光位姿信息进行插值而生成的、并且与所述待匹配的视觉位姿信息所在帧对应。
5.根据权利要求3所述的地图构建方法，其中，所述激光位姿信息、视觉位姿信息、插值结果中的每一个包括位置信息和姿态信息；
插值结果中的位置信息是通过对两帧激光位姿信息中的位置信息进行线性插值而生成的，插值结果中的姿态信息是通过对两帧激光位姿信息中的姿态信息进行球面线性插值而生成的。
6.根据权利要求5所述的地图构建方法，其中，所述基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系，确定转换到视觉坐标系下的激光位姿信息包括将以下公式作为目标函数以求解转换到视觉坐标系下的激光位姿信息：
Figure FDA0003715227020000021
其中，TL为待求解的激光位姿信息的集合；i为激光位姿信息的帧的标识，
Figure FDA0003715227020000022
为第i帧的激光位姿信息，
Figure FDA0003715227020000023
为第i-1帧到第i帧的相对位姿变换约束值；m为视觉位姿信息的帧的标识，n为激光位姿信息的帧的标识，
Figure FDA0003715227020000024
为第m帧视觉位姿信息中的位置信息，
Figure FDA0003715227020000025
为第m帧视觉位姿信息中的姿态信息，
Figure FDA0003715227020000026
为第n帧激光位姿信息中的位置信息，
Figure FDA0003715227020000027
为第n帧激光位姿信息中的姿态信息，r为插值比例系数，θn-1,n为
Figure FDA0003715227020000028
和
Figure FDA0003715227020000029
的夹角。
7.根据权利要求1所述的地图构建方法，其中，响应于待构建的地图属于长走廊环境，采用视觉坐标系中的激光点云数据构建地图，否则采用采集的激光点云数据构建地图。
8.一种地图构建装置，包括：
信息获取模块，被配置为获取在多个帧采集的激光点云数据和相应的激光位姿信息，以及在多个帧采集的视觉位姿信息；
激光位姿信息转换模块，被配置为根据所述激光位姿信息和所述视觉位姿信息，对目标函数进行求解，以确定转换到视觉坐标系下的激光位姿信息，其中，所述目标函数是基于相邻帧的激光位姿信息的位姿变换约束关系、以及激光位姿信息和视觉位姿信息的位姿匹配关系构建，且以目标函数达到最小值为求解目标；
激光点云数据转换模块，被配置为基于转换到视觉坐标系下的激光位姿信息，将激光点云数据转换到视觉坐标系中；
构建模块，被配置为采用视觉坐标系中的激光点云数据构建地图。
9.一种地图构建装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～7中任一项所述的地图构建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1～7中任一项所述的地图构建方法。
CN201910220911.8A 2019-03-22 2019-03-22 地图构建方法、装置和计算机可读存储介质 Active CN111735439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910220911.8A CN111735439B (zh) 2019-03-22 2019-03-22 地图构建方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910220911.8A CN111735439B (zh) 2019-03-22 2019-03-22 地图构建方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111735439A CN111735439A (zh) 2020-10-02
CN111735439B true CN111735439B (zh) 2022-09-30

Family

ID=72645584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910220911.8A Active CN111735439B (zh) 2019-03-22 2019-03-22 地图构建方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111735439B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348897A (zh) * 2020-11-30 2021-02-09 上海商汤临港智能科技有限公司 位姿确定方法及装置、电子设备、计算机可读存储介质
CN112486171B (zh) * 2020-11-30 2022-08-30 中科院软件研究所南京软件技术研究院 一种基于视觉的机器人避障方法
CN112710318B (zh) * 2020-12-14 2024-05-17 深圳市商汤科技有限公司 地图生成方法、路径规划方法、电子设备以及存储介质
CN112880674A (zh) * 2021-01-21 2021-06-01 深圳市镭神智能系统有限公司 一种行驶设备的定位方法、装置、设备及存储介质
CN113112478B (zh) * 2021-04-15 2023-12-15 深圳市优必选科技股份有限公司 一种位姿的识别方法及终端设备
CN113295175A (zh) * 2021-04-30 2021-08-24 广州小鹏自动驾驶科技有限公司 一种地图数据修正的方法和装置
CN113252042B (zh) * 2021-05-18 2023-06-13 杭州迦智科技有限公司 一种隧道内基于激光和uwb定位方法、装置
CN113124880B (zh) * 2021-05-18 2023-06-13 杭州迦智科技有限公司 一种基于两种传感器数据融合的建图及定位方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
CN106441151A (zh) * 2016-09-30 2017-02-22 中国科学院光电技术研究所 一种基于视觉和主动光学融合的三维目标欧式空间重建的测量系统
CN107515891A (zh) * 2017-07-06 2017-12-26 杭州南江机器人股份有限公司 一种机器人地图制作方法、装置和存储介质
CN109064506A (zh) * 2018-07-04 2018-12-21 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置及存储介质
WO2019040800A1 (en) * 2017-08-23 2019-02-28 TuSimple SYSTEM AND METHOD FOR 3D SUB-CARD RECONSTRUCTION FOR CENTIMETRIC PRECISION LOCATION USING A CAMERA-BASED SUB-CARD AND A GLOBAL LIDAR-BASED CARD

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920279B (zh) * 2017-03-07 2018-06-19 百度在线网络技术（北京）有限公司 三维地图构建方法和装置
CN108732584B (zh) * 2017-04-17 2020-06-30 百度在线网络技术（北京）有限公司 用于更新地图的方法和装置
EP3615955A4 (en) * 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS
WO2019127445A1 (zh) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108319976B (zh) * 2018-01-25 2019-06-07 北京三快在线科技有限公司 建图方法及装置
CN108665496B (zh) * 2018-03-21 2021-01-26 浙江大学 一种基于深度学习的端到端的语义即时定位与建图方法
CN109341706B (zh) * 2018-10-17 2020-07-03 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
CN106441151A (zh) * 2016-09-30 2017-02-22 中国科学院光电技术研究所 一种基于视觉和主动光学融合的三维目标欧式空间重建的测量系统
CN107515891A (zh) * 2017-07-06 2017-12-26 杭州南江机器人股份有限公司 一种机器人地图制作方法、装置和存储介质
WO2019040800A1 (en) * 2017-08-23 2019-02-28 TuSimple SYSTEM AND METHOD FOR 3D SUB-CARD RECONSTRUCTION FOR CENTIMETRIC PRECISION LOCATION USING A CAMERA-BASED SUB-CARD AND A GLOBAL LIDAR-BASED CARD
CN109064506A (zh) * 2018-07-04 2018-12-21 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置及存储介质

Also Published As

Publication number Publication date
CN111735439A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111735439B (zh) 地图构建方法、装置和计算机可读存储介质
WO2020037492A1 (en) Distance measuring method and device
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
US20160364885A1 (en) Photogrammetric methods and devices related thereto
US10977857B2 (en) Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
KR20150112362A (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
CN114119864A (zh) 一种基于三维重建与点云匹配的定位方法和装置
US20190221000A1 (en) Depth camera 3d pose estimation using 3d cad models
CN101865656B (zh) 一种使用少数共面点精确定位多摄像头系统位姿的方法
JP2021103168A (ja) 拡張現実装置及び位置決め方法
CN114494629A (zh) 一种三维地图的构建方法、装置、设备及存储介质
Zhou et al. Semi-dense visual odometry for RGB-D cameras using approximate nearest neighbour fields
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN111856499A (zh) 基于激光雷达的地图构建方法和装置
CN105339981B (zh) 用于使用一组基元配准数据的方法
Galego et al. Uncertainty analysis of the DLT-Lines calibration algorithm for cameras with radial distortion
Kawanishi et al. Parallel line-based structure from motion by using omnidirectional camera in textureless scene
CN115063489A (zh) 一种外参标定方法、装置、设备和存储介质
CN116136408A (zh) 室内导航方法、服务器、装置和终端
CN114814875A (zh) 一种机器人定位建图方法、装置、可读存储介质及机器人
JPWO2021111613A1 (ja) ３次元地図作成装置、３次元地図作成方法、及び３次元地図作成プログラム
Penne et al. Planar segmentation by time-of-flight cameras
Li et al. A high-accuracy monocular self-calibration method based on the essential matrix and bundle adjustment
US11282280B2 (en) Method and system for node vectorisation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210301

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

Effective date of registration: 20210301

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

GR01 Patent grant
GR01 Patent grant