CN110532963A - 一种车载激光雷达点云驱动的道路标线精准提取方法 - Google Patents

一种车载激光雷达点云驱动的道路标线精准提取方法 Download PDF

Info

Publication number
CN110532963A
CN110532963A CN201910818155.9A CN201910818155A CN110532963A CN 110532963 A CN110532963 A CN 110532963A CN 201910818155 A CN201910818155 A CN 201910818155A CN 110532963 A CN110532963 A CN 110532963A
Authority
CN
China
Prior art keywords
point
density
roadmarking
value
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910818155.9A
Other languages
English (en)
Other versions
CN110532963B (zh
Inventor
扆亮海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Asia Pacific Wenrong Data Technology Research Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910818155.9A priority Critical patent/CN110532963B/zh
Publication of CN110532963A publication Critical patent/CN110532963A/zh
Application granted granted Critical
Publication of CN110532963B publication Critical patent/CN110532963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供的一种车载激光雷达点云驱动的道路标线精准提取方法,首先利用点强度值生成平面直方图;接着根据点密度以及点强度值将点云数据进行分割,得到不同点密度的分组数据;然后利用平面直方图进行阈值分割使得类间方差最大,得到类间方差最大处的强度等级临界值,利用强度等级临界值和松弛因子提取数据中的道路标线;最后利用点密度生成提取结果的研判图,根据研判图对提取结果进行密度聚合,得到客体化的道路标线结果。方法的有效性和可行性好,解决了难以从具有强度噪声及强度分布不均的车载激光雷达点云数据中快速完整提取道路标线的问题,实现了海量车载激光雷达点云数据中的道路标线快速客体化提取。

Description

一种车载激光雷达点云驱动的道路标线精准提取方法
技术领域
本发明涉及一种道路标线精准提取方法,特别涉及一种车载激光雷达点云驱动的道路标线精准提取方法,属于激光雷达点云数据提取技术领域。
背景技术
道路交通的发展,直接关系到国家经济的发展和人民生活水平的提高,道路标线作为道路的附属信息,能够管制和引导交通,是保证道路交通安全顺畅的重要措施。在辅助驾驶、自主导航等领域,道路标线作为三维高精度地图的重要组成部分,能够为用户提供精确的驾驶引导,保证了驾驶过程的安全性和实用性。而在道路施工、路网建设更新等领域,道路标线作为特殊的材料不可避免地存在磨损、被破坏等现象,此时精确地道路标线提取能够为其提供准确的信息,方便道路标线的快速制作与更新。因此,如何快速精确的获取高精度的三维道路环境要素如道路标线等,是路网建设更新、三维导航、辅助驾驶等领域中的关键。
车载激光雷达移动测量是计算机技术、高精度GNSS定位技术、高动态载体姿态测定技术迅速发展的集中体现,它以车辆为搭载平台,集全球卫星导航系统、激光扫描仪、CCD相机、惯性测量单元等多种传感器为一体,快速获取道路及其两侧地物表面点云数据。搭载车辆在道路上行驶,GNSS传感器实时获取车辆移动瞬间的大地坐标,IMU惯性测量单元记录车辆移动瞬间的姿态角,激光扫描仪在移动瞬间通过线性扫描方式发射并接收返回的激光束,记录扫描点距离扫描仪中心的扫描角度及距离,CCD相机或者全景相机以一定的频率获取车辆周围的影像信息。利用激光扫描仪的扫描频率以及视场角等信息,同时结合测量获取得到的扫描点的扫描角度和其与扫描中心的距离,可计算出扫描点在扫描仪中心坐标系下的三维坐标,利用GNSS、扫描仪和IMU之间的位置关系,通过坐标转换即可得出扫描点的三维坐标,实现道路环境中地物的几何信息和纹理信息的实时快速获取。
利用车载激光雷达移动测量系统能快速获取道路目标精确、海量激光点云数据,免去大量的人工野外测量工作,获取公路沿线的三维以及纹理信息,具有测量人工少、周期短、作业方便简单等优点,激光点云数据具有丰富的细节特征,通过利用从激光点云数据中提取得到的道路高精度三维信息,可以方便道路工程中标线精准提取工作,提取得到的道路标线具有准确的地理坐标信息。
随着道路网络建设进一步完善,路网变得愈发复杂,特别是城市和高速公路环境中,三维导航的出现能够有效缓解驾驶者面对复杂路网的负担,在三维实景数据模型中,高精度的三维道路信息是关键,它不仅提供道路几何信息如道路宽度,而且提供道路辅助信息如车道信息、道路标线等。车载激光雷达移动测量系统的数据获取快,能够得到道路及其两侧地物海量点云数据,数据不仅包含三维几何信息,而且包含强度、纹理信息。利用车载激光雷达点云数据可以有效地提取道路并得到道路的车道信息和道路标线,方便三维导航地图的快速制作与更新。
车载激光雷达移动测量系统在大规模城市、高速公路等场景下激光点云场景复杂、目标多样,不同目标相互交错、重叠,点云数据还存在缺失等现象,这对从车载激光雷达点云数据中快速、正确、完整地提取道路信息特别是道路标线提出了严峻的挑战。
现有技术基于车载激光雷达点云数据的道路环境特别是道路标线提取主要存在以下几个方面的问题:一是车载激光雷达获取的点云数据量庞大,造成计算量大,不利于道路标线的快速提取;二是由于道路上车辆、行人等的存在,道路点云数据中存在遮挡现象,造成道路标线点云不完整,这些目标会对道路标线要素提取产生干扰,同时一些道路标线磨损严重,丧失道路标线的固有特征,而且点云强度信息噪声大,不利于道路标线的提取与客体化;三是距离激光雷达近的地物获取的点云密度大,而距离激光雷达远的地物获取的点云密度小,使得点云密度不均匀,造成不同区域的道路标线点云强度信息不一致,点强度信息噪声大且分布受密度影响,提取准确、完整特别是一些强度值受点密度影响严重的道路标线具有很大的难度;四是现有技术一般为根据几何特征的道路标线提取,需要实现将道路区域的点云投影成二值栅格图像,利用道路标线的几何特征通过直线检测提取道路标线,这种方法一方面结果受到生成的二值图像的影响很大,提取的效果很差,另一方面利用标线的结合特征一般为直线特征,当道路标线为其它类型时无法检测,无法提取完整的结果。
发明内容
针对现有技术的不足,本发明提供的一种车载激光雷达点云驱动的道路标线精准提取方法,针对车载激光雷达点云数据,在利用提取得到的道路区域块结果基础上,首先利用点强度值生成平面强度特征矩阵,并利用该特征矩阵生成平面直方图;接着根据点密度以及点强度值将点云数据进行分割,得到不同点密度的分组数据;然后利用平面直方图进行阈值分割使得类间方差最大,得到类间方差最大处的强度等级临界值,利用强度等级临界值和松弛因子提取数据中的道路标线;最后利用点密度生成提取结果的研判图,根据研判图对提取结果进行密度聚合,得到客体化的道路标线结果。道路标线提取的完整率均大于91.32%、正确率均大于90.36%、有效率均大于95.18%,方法的有效性和可行性好,解决了难以从具有强度噪声及强度分布不均的车载激光雷达点云数据中快速、完整提取道路标线的问题,实现了海量车载激光雷达点云数据中的道路标线快速客体化提取。
为达到以上技术效果,本发明所采用的技术方案如下:
一种车载激光雷达点云驱动的道路标线精准提取方法,在利用提取得到的道路分段区域块基础上,利用车载激光雷达点云数据的强度值信息和密度信息,对道路标线进行提取,先后包括平面特征谱提取道路标线和道路标线的研判图聚合两个过程,平面特征谱提取道路标线具体包括点强度平面特征谱生成、点云密度分割分组、点强度平面特征谱临界值分划三个步骤,道路标线的研判图聚合具体包括密度研判图驱动的道路标线聚合一个步骤。
一种车载激光雷达点云驱动的道路标线精准提取方法,进一步的,具体步骤为:
第一步,点强度平面特征谱生成,利用点云点的强度值和点云点邻域内的平均强度值生成点强度平面特征矩阵,并利用点强度平面特征矩阵生成点强度平面特征谱;
第二步,点云密度分割分组,根据点密度和强度值将点云分划,获得不同点密度的分组点云数据;
第三步,点强度平面特征谱临界值分划,利用点强度平面特征谱完成临界值分划,使类间方差最大,得到类间方差最大处的强度等级临界值,利用强度等级临界值和松弛因子提取点云数据中的道路标线;
第四步,密度研判图驱动的道路标线聚合,利用点密度特征生成密度研判图,根据密度研判图对道路标线的提取结果进行密度聚合,得到客体化的道路标线结果。
一种车载激光雷达点云驱动的道路标线精准提取方法,进一步的,第一步,点强度平面特征谱生成中,
以任意区域块A为单位,设区域块中点的总数为BA,C(x,y)为区域块中点(x,y)的强度值,CP(x,y)为以区域块中点(x,y)的d邻域内点的平均强度值,设将点云强度值分割为E等份,设C(x,y)和CP(x,y)的强度最大与最小值分别为CMAX和CMIN,则C(x,y)和CP(x,y)中任意点(x,y)的等级数F(x,y)和FP(x,y)分别为:
定义点强度平面特征矩阵G(i,j),其值表示区域块中点h(x,y)的强度值Ch(x,y)=i且同时该点d邻域内点的平均强度值CPh(x,y)=j的点的个数值,即:
根据点强度平面特征矩阵G(i,j)绘制点强度二维直方图,生成点强度平面特征谱。
一种车载激光雷达点云驱动的道路标线精准提取方法,进一步的,第二步,点云密度分割分组中,
对区域块A中任意一点L(x,y),利用k-d树取半径为R内的邻域点,R的取值很小。设通过搜索得到邻域内点的个数为Mi,则设该点的密度值为Ni,其值等于Mi
C(x,y)为区域块中点(x,y)的强度值,Q(x,y)为区域块中点(x,y)的密度值,设将点云强度值分割为E等份,C(x,y)中任意点(x,y)的等级数F(x,y)已得出;同理,设将点云密度值分割为Q等份,且区域块中点的密度最大最小值分别为QMAX和QMIN,则Q(x,y)中任意点(x,y)的等级数S(x,y)为:
区域块中点的总数为BA,定义平面强度与密度特征矩阵Tia,其值为区域块中点h(x,y)的强度值Ch(x,y)=i且同时该密度值Qh(x,y)=a的点的个数,即:
根据平面强度与密度特征矩阵Tia绘制强度与密度二维直方图,即为强度与密度平面特征谱。
一种车载激光雷达点云驱动的道路标线精准提取方法,进一步的,强度与密度平面特征谱中,强度与密度特征值主要分布于横坐标的两边,即高密度区域和低密度区域,且高密度区域要比低密度区域的强度值大,将区域块中点分割为三部分,包括左侧峰值区域、右侧峰值区域、两者中间区域;
分别在密度为两个区域求得特征矩阵Tia的最大值分别为左右峰值,所对应的密度值分别为Qh1(x,y)与Qh2(x,y)利用点云密度分割得到的三个区域的点密度值分别满足:
[0,3·Qh1(x,y)],(3·Qh1(x,y),Q-3·Qh2(x,y)],(Q-3·Qh2(x,y),Q]
再求得三个区域中点集的道路标线,将点云数据进行分割,得到不同点密度的分组数据。
一种车载激光雷达点云驱动的道路标线精准提取方法,进一步的,第三步,点强度平面特征谱临界值分划中,
设点强度平面特征矩阵中基元(i,j)出现的频率数为Vij,Vij在数值上等于点强度平面特征矩阵G(i,j),BA为截面段中点的总数,基元(i,j)的联合概率密度Uij为:
基于松弛变量的二维最大类间方差法中,加入一个松弛因子n,松弛因子n所组成的两对与对角线平行的直线将对角线附近的点云平面强度特征值全部包含在内,同时选取C(x,y)方向的临界值L,点云数据中道路标线处的点及道路表面处的点位于松弛因子n所组成的两条直线之间,而临界值L所形成的直线将该区域分为区域W与Z。
临界值L的取值直接影响区域W的概率分布GW(L),概率分布GW(L)的值为区域W的面积,其值为:
上式中,Uij为计算得到的基元(i,j)的联合概率密度,n为松弛因子,L为C(x,y)方向的临界值,E为点云强度值分割等份数;
设区域W与Z的总概率为G(L),则有:
G(L)=Gw(E-1)
同理可得区域Z的概率分布GZ(L):
Gz(L)=G(L)-Gw(L)
区域W的加权平均HW(L)为:
同理可得区域Z与总体的加权平均,分别为HZ(L),H(L),则区域W与Z的类间方差为:
g=GW(L)·(HW(L)-H(L))2+GZ(L)·(HZ(L)-H(L))2
最优临界值LY
LY=argmax(g)
根据最优临界值LY和松弛因子n,设区域Z即道路标线中点的强度值应满足条件:
C(x,y)>LY&&CP(x,y)-C(x,y)+n≥0&&CP(x,y)-C(x,y)-n≤0
点的强度值满足上式,则该点属于类别Z,即为道路标线。
一种车载激光雷达点云驱动的道路标线精准提取方法,进一步的,第四步,密度研判图驱动的道路标线聚合中,
对于提取得到的道路标线中任意一点Si(x,y),设qi和pi分别为点的局部密度和该点到具有更高局部密度的点的平面距离,
qi=∑j r(dij-dc)
上式中,dij为点i与j之间的平面距离,dc为截断距离,qi为道路标线中与点i的距离值小于dc的点个数,表示对于密度大且点聚集的区域,越接近该区域的中心,局部密度qi越大;
点Si(x,y)的pi定义为:
截断距离dc的选取依赖于dij,将dij(i<j)共t=(BA(BA-1))/2个点升序排列,得到的序列为d1≤d2≤…≤dt,则dc的值为:
dc=df(ty)
其中,f(ty)为对ty进行四舍五入得到的整数,y∈(0,1);
pi为点i到比该点局部密度更大的点的平面距离最小值,表示对于比点局部密度值更大的区域,距离比该点局部密度更小的区域的相对距离更大;
对于道路标线SZ中每一个点Si(x,y),计算该点的特征值(qi,pi),i∈SZ,设点云数据的点数为BA,以q为横轴,p为纵轴,绘制二元对该图即为道路标线SZ的密度研判图;
聚合分析时,根据密度研判图选取(qi,pi)都大的点作为聚合中心,选定中心后让周围的点采取跟随策略,归类到密度比自己大的最近邻所在的簇,直至所有点聚合完毕为止。
与现有技术相比,本发明的优点在于:
1.本发明提供的一种车载激光雷达点云驱动的道路标线精准提取方法,利用点强度平面特征谱提取道路标线,能够有效减小强度噪声对车载激光雷达点云数据的影响,在一些强度噪声明显的点云数据中也能得到效果比较好的结果;
2.本发明提供的一种车载激光雷达点云驱动的道路标线精准提取方法,通过对点云数据进行密度分割分组,有效地减小了车载激光雷达点云数据的点密度对点强度值的影响,一些处于道路边缘区域的道路标线,由于激光雷达距离该目标较远,扫描得到的点云数据不仅点密度很低,且强度值比道路中间的道路标线强度值显著低,通过利用点密度以及点强度生成强度与密度二维直方图,同时利用直方图并根据点密度对点云数据分割,有效减小点密度对点强度的影响,对处于边缘区域的道路标线也能得出较好结果;
3.本发明提供的一种车载激光雷达点云驱动的道路标线精准提取方法,通过利用点的密度生成密度研判图,并根据密度研判图对提取得到的道路标线结果进行聚合,两边的道路标线都有很好的聚合效果,聚合结果的完整性好,每个道路标线对象在道路中的位置规则,基本与道路中间线平行,每个道路标线聚合簇的原始点密度基本相同,局部区域内大体都为同一客体,能够有效地将结果客体化,同时进一步排除提取结果中的噪声影响。
4.本发明提供的一种车载激光雷达点云驱动的道路标线精准提取方法,针对车载激光雷达点云数据,在利用提取得到的道路区域块结果基础上,首先利用点强度值生成平面强度特征矩阵,并利用该特征矩阵生成平面直方图;接着根据点密度以及点强度值将点云数据进行分割,得到不同点密度的分组数据;然后利用平面直方图进行阈值分割使得类间方差最大,得到类间方差最大处的强度等级临界值,利用强度等级临界值和松弛因子提取数据中的道路标线;最后利用点密度生成提取结果的研判图,根据研判图对提取结果进行密度聚合,得到客体化的道路标线结果。利用多份不同区域的点云数据进行实验验证,最终结果中道路标线提取的完整率均大于91.32%、正确率均大于90.36%、有效率均大于95.18%,验证了本发明提出的一种车载激光雷达点云驱动的道路标线精准提取方法的有效性和可行性,解决了难以从具有强度噪声及强度分布不均的车载激光雷达点云数据中快速、完整提取道路标线的问题,实现了海量车载激光雷达点云数据中的道路标线快速客体化提取。
附图说明
图1是本发明一种车载激光雷达点云驱动的道路标线精准提取方法的步骤图。
图2是本发明前三步完成后的道路标线提取结果与原始结果对比图。
图3是本发明最终的道路标线提取结果和密度研判图。
具体实施方式
下面结合附图,对本发明提供的一种车载激光雷达点云驱动的道路标线精准提取方法的技术方案进行进一步的描述,使本领域的技术人员可以更好的理解本发明并能予以实施。
参见图1至图3,本发明提供的一种车载激光雷达点云驱动的道路标线精准提取方法,在利用提取得到的道路分段区域块基础上,利用车载激光雷达点云数据的强度值信息和密度信息,对道路标线进行提取,先后包括平面特征谱提取道路标线和道路标线的研判图聚合两个过程,平面特征谱提取道路标线具体包括点强度平面特征谱生成、点云密度分割分组、点强度平面特征谱临界值分划三个步骤,道路标线的研判图聚合具体包括密度研判图驱动的道路标线聚合一个步骤。
车载激光雷达点云数据分段得到一系列区域块,利用道路边界的几何特征和剖面中道路及其它地物点云的空间分布特征提取道路边界格网,取道路边界格网之间的格网作为提取得到的道路区域,由于车载激光雷达点云数据的强度存在噪声影响,点云密度也影响点云强度的整体分布,为提高提取道路标线的效率,将点云数据进行区域分段,提取道路标线。
道路表面一般是由混凝土以及沥青等材质组成,而道路标线一般采用白色或黄色特殊涂层,相对于道路表面的材质,对激光呈现高反射特征,所以在一定区域范围内,道路标线要比道路表面的激光强度值高。在相同材质下,由于激光的回波强度存在衰减,距离激光雷达远的地物比距离激光雷达近的地物回波强度低。所以在车载激光雷达点云数据中,道路标线比道路表面的激光强度值高,距离激光雷达远的道路标线比距离激光雷达近的道路标线激光强度值高。
通过将道路分割为一系列区域块使道路标线提取范围限定为一定区域内,利用车载激光雷达点云数据的强度值和密度信息,对道路标线进行提取。
一种车载激光雷达点云驱动的道路标线精准提取方法的具体步骤为:
第一步,点强度平面特征谱生成,利用点云点的强度值和点云点邻域内的平均强度值生成点强度平面特征矩阵,并利用点强度平面特征矩阵生成点强度平面特征谱;
第二步,点云密度分割分组,根据点密度和强度值将点云分划,获得不同点密度的分组点云数据;
第三步,点强度平面特征谱临界值分划,利用点强度平面特征谱完成临界值分划,使类间方差最大,得到类间方差最大处的强度等级临界值,利用强度等级临界值和松弛因子提取点云数据中的道路标线;
第四步,密度研判图驱动的道路标线聚合,利用点密度特征生成密度研判图,根据密度研判图对道路标线的提取结果进行密度聚合,得到客体化的道路标线结果。
一、点强度平面特征谱生成
以任意区域块A为单位,设区域块中点的总数为BA,C(x,y)为区域块中点(x,y)的强度值,CP(x,y)为以区域块中点(x,y)的d邻域内点的平均强度值,设将点云强度值分割为E等份,设C(x,y)和CP(x,y)的强度最大与最小值分别为CMAX和CMIN,则C(x,y)和CP(x,y)中任意点(x,y)的等级数F(x,y)和FP(x,y)分别为:
定义点强度平面特征矩阵G(i,j),其值表示区域块中点h(x,y)的强度值Ch(x,y)=i且同时该点d邻域内点的平均强度值CPh(x,y)=j的点的个数值,即:
根据点强度平面特征矩阵G(i,j)绘制点强度二维直方图,生成点强度平面特征谱。
二、点云密度分割分组
对区域块A中任意一点L(x,y),利用k-d树取半径为R内的邻域点,R的取值很小。设通过搜索得到邻域内点的个数为Mi,则设该点的密度值为Ni,其值等于Mi
道路上点云点密度沿与道路前进相垂直的方向呈近似正态分布,道路两边的点密度小,越靠近道路中央,道路的点密度越大,且在道路中心线上达到最大,这直接影响点云的强度值,使道路两边的道路标线强度值小于道路中间的道路标线强度值,为排除点密度对点强度的影响,分析点密度与点强度的关系。
C(x,y)为区域块中点(x,y)的强度值,Q(x,y)为区域块中点(x,y)的密度值,设将点云强度值分割为E等份,C(x,y)中任意点(x,y)的等级数F(x,y)已得出;同理,设将点云密度值分割为Q等份,且区域块中点的密度最大最小值分别为QMAX和QMIN,则Q(x,y)中任意点(x,y)的等级数S(x,y)为:
区域块中点的总数为BA,定义平面强度与密度特征矩阵Tia,其值为区域块中点h(x,y)的强度值Ch(x,y)=i且同时该密度值Qh(x,y)=a的点的个数,即:
根据平面强度与密度特征矩阵Tia绘制强度与密度二维直方图,即为强度与密度平面特征谱。
强度与密度平面特征谱中,强度与密度特征值主要分布于横坐标的两边,即高密度区域和低密度区域,且高密度区域要比低密度区域的强度值大,强度值大的区域最可能是道路标线,且该区域一般位于道路中间,点密度值也大。为将点密度对点强度的影响消除到最小,将区域块中点分割为三部分,包括左侧峰值区域、右侧峰值区域、两者中间区域。
分别在密度为两个区域求得特征矩阵Tia的最大值分别为左右峰值,所对应的密度值分别为Qh1(x,y)与Qh2(x,y),利用点云密度分割得到的三个区域的点密度值分别满足:
[0,3·Qh1(x,y)],(3·Qh1(x,y),Q-3·Qh2(x,y)],(Q-3·Qh2(x,y),Q]
再求得三个区域中点集的道路标线,将点云数据进行分割,得到不同点密度的分组数据。
三、点强度平面特征谱临界值分划
利用点云的强度值及其邻域平均强度值生成点强度平面特征矩阵,同时将点强度平面特征矩阵映射得到点强度平面特征谱,设点强度平面特征矩阵中基元(i,j)出现的频率数为Vij,即Vij在数值上等于点强度平面特征矩阵G(i,j),则基元(i,j)的联合概率密度Uij为:
上式中,BA为截面段中点的总数。
道路区域仅存在道路标线与道路表面两类目标,在道路标线和道路表面处,点云的强度值相近,点的强度值与点的邻域平均强度值接近,在道路标线与道路表面的分界或者强度噪声点处,由于材质不同或噪声的影响,点的强度值与点的邻域平均强度值差距较大,由于点强度平面特征矩阵G(i,j)为点的强度值与其邻域平均强度值为同一强度等级的个数,G(i,j)的值域分布表示道路目标的空间分布特征,对角线区域所对应的点云数据最可能为道路标线或道路表面,而远离对角线区域所对应的点云数据最可能为道路标线与道路表面的交界处或强噪声处。
最大类间方差法是一种自适应的临界值分划方法,按图像的灰度特征,将图像分成目标和背景两个部分,目标和背景之间的类间方差值越大,则表明构成图像的两部分之间的差别越大。当部分目标被错分为背景或部分背景被错分为目标时都会导致两部分类别差别变小,使类间方差值最大的分割错分概率最小。利用最大类间方差法对区域块A中的点云分类,以得出最佳的强度临界值,将区域块A中的两类即道路标线和道路表面区分,由于最大类间方差法容易受噪声影响,故需要对该算法改进,本发明采用基于松弛变量的二维最大类间方差法,以适用基于点云强度与密度信息的点云目标分类。
基于松弛变量的二维最大类间方差法中,加入一个松弛因子n,松弛因子n所组成的两对与对角线平行的直线将对角线附近的点云平面强度特征值全部包含在内,同时选取C(x,y)方向的临界值L,点云数据中道路标线处的点及道路表面处的点位于松弛因子n所组成的两条直线之间,而临界值L所形成的直线将该区域分为区域W与Z。
临界值L的取值直接影响区域W的概率分布GW(L),概率分布GW(L)的值为区域W的面积,其值为:
上式中,Uij为计算得到的基元(i,j)的联合概率密度,n为松弛因子,L为C(x,y)方向的临界值,E为点云强度值分割等份数。
设区域W与Z的总概率为G(L),则有:
G(L)=GW(E-1)
同理可得区域Z的概率分布GZ(L):
GZ(L)=G(L)-GW(L)
区域W的加权平均HW(L)为:
同理可得区域Z与总体的加权平均,分别为HZ(L),H(L),则区域W与Z的类间方差为:
g=GW(L).(HW(L)-H(L))2+GZ(L).(HZ(L)-H(L))2
最优临界值LY
LY=argmax(g)
根据最优临界值LY和松弛因子n,设区域Z即道路标线中点的强度值应满足条件:
C(x,y)>LY&&CP(x,y)-C(x,y)+n≥0&&CP(x,y)-C(x,y)-n≤0
点的强度值满足上式,则该点属于类别Z,即为道路标线。
四、密度研判图驱动的道路标线聚合
经过第一步至第三步方法后,获取整个数据的道路标线,结果为离散的三维点。由于车载激光雷达点云数据的强度值存在噪声,会导致提取的道路标线结果中存在噪声点,分布为离散的无聚合特征的点,而提取结果中真实的道路标线为相互聚集且具有标线几何特征的点,但这些道路标线点并没有客体化,无法有效表示真实道路中的标线,所以需对提取得到的道路标线结果进行聚合分析,剔除散乱的噪声点,并将标线进行客体化。
如图2所示,左图为车载激光雷达原始点云数据,并以强度赋色,右图为道路标线提取的结果,道路表面本身具有低反射特征,其强度值很小,从左图中可以看出,道路中间区域表面点的强度值存在明显的噪声,使左侧道路提取结果中存在杂乱无章的点。所以,需要将提取结果中的噪声点去除,同时对标线进行客体化。
聚合是依据基元的相似性将基元分类成类别,本发明依据道路标线提取结果的特征,提取完整并具有客体化的道路标线结果。聚合中心作为类簇中心具有以下两个特点:一是密度大于其邻近的局部区域,且被该区域所包围;二是与比其密度更高的其它点的距离相对更大。
对于提取得到的道路标线中任意一点Si(x,y),设qi和pi分别为点的局部密度和该点到具有更高局部密度的点的平面距离,
qi=∑j r(dij-dc)
上式中,dij为点i与j之间的平面距离,dc为截断距离,qi为道路标线中与点i的距离值小于dc的点个数,表示对于密度大且点聚集的区域,越接近该区域的中心,局部密度qi越大,满足聚合中心两个特点中的第一个特点。
点Si(x,y)的pi定义为:
截断距离dc的选取依赖于dij,将dij(i<j)共t=(BA(BA-1))/2个点升序排列,得到的序列为d1≤d2≤…≤dt,则dc的值为:
dc=df(ty)
其中,f(ty)为对ty进行四舍五入得到的整数,y∈(0,1)。
上式中,pi为点i到比该点局部密度更大的点的平面距离最小值,表示对于比点局部密度值更大的区域,距离比该点局部密度更小的区域的相对距离更大,满足聚合中心两个特点中的第二个特点。
对于道路标线SZ中每一个点Si(x,y),计算该点的特征值(qi,pi),i∈SZ,设点云数据的点数为BA,以q为横轴,p为纵轴,绘制二元对该图即为道路标线SZ的密度研判图。
聚合分析时,根据密度研判图选取(qi,pi)都大的点作为聚合中心,选定中心后让周围的点采取跟随策略,归类到密度比自己大的最近邻所在的簇,直至所有点聚合完毕为止。如图3中,左图为提取得到的道路标线的聚合结果,由于专利文献无法用不同颜色表示,暂以方框示意不同的聚合簇,离散点表示噪声,右图中右上角特征值(qi,pi)的值都相对比较大,每个特征值所对应的点都为聚合中心点,且每个颜色对应于左图中相同颜色的聚合簇。
从图3左图的结果可以看出,两边的道路标线都有很好的聚合效果,聚合结果的完整性好,每个道路标线对象在道路中的位置规则,基本与道路中间线平行,每个道路标线聚合簇的原始点密度基本相同,局部区域内大体都为同一客体。
五、实验验证和结果分析
利用一种车载激光雷达点云驱动的道路标线精准提取方法,反复实验并总结分析,得出以下结论:
一是利用点强度平面特征谱提取道路标线,能够有效减小强度噪声对车载激光雷达点云数据的影响,在一些强度噪声明显的点云数据中也能得到效果比较好的结果;
二是通过对点云数据进行密度分割分组,有效地减小了车载激光雷达点云数据的点密度对点强度值的影响,一些处于道路边缘区域的道路标线,由于激光雷达距离该目标较远,扫描得到的点云数据不仅点密度很低,且强度值比道路中间的道路标线强度值显著低,通过利用点密度以及点强度生成强度与密度二维直方图,同时利用直方图并根据点密度对点云数据分割,有效减小点密度对点强度的影响,对处于边缘区域的道路标线也能得出较好结果;
三是通过利用点的密度生成密度研判图,并根据密度研判图对提取得到的道路标线结果进行聚合,能够有效地将结果客体化,同时进一步排除提取结果中的噪声影响。
本发明提供的一种车载激光雷达点云驱动的道路标线精准提取方法,针对车载激光雷达点云数据,在利用提取得到的道路区域块结果基础上,首先利用点强度值生成平面强度特征矩阵,并利用该特征矩阵生成平面直方图;接着根据点密度以及点强度值将点云数据进行分割,得到不同点密度的分组数据;然后利用平面直方图进行阈值分割使得类间方差最大,得到类间方差最大处的强度等级临界值,利用强度等级临界值和松弛因子提取数据中的道路标线;最后利用点密度生成提取结果的研判图,根据研判图对提取结果进行密度聚合,得到客体化的道路标线结果。利用多份不同区域的点云数据进行实验验证,最终结果中道路标线提取的完整率均大于91.32%、正确率均大于90.36%、有效率均大于95.18%,验证了本发明提出的一种车载激光雷达点云驱动的道路标线精准提取方法的有效性和可行性,对道路标线客体化提取解决了难以从具有强度噪声及强度分布不均的车载激光雷达点云数据中快速、完整提取道路标线的问题,实现了海量车载激光雷达点云数据中的道路标线快速客体化提取。

Claims (7)

1.一种车载激光雷达点云驱动的道路标线精准提取方法,其特征在于:在利用提取得到的道路分段区域块基础上,利用车载激光雷达点云数据的强度值信息和密度信息,对道路标线进行提取,先后包括平面特征谱提取道路标线和道路标线的研判图聚合两个过程,平面特征谱提取道路标线具体包括点强度平面特征谱生成、点云密度分割分组、点强度平面特征谱临界值分划三个步骤,道路标线的研判图聚合具体包括密度研判图驱动的道路标线聚合一个步骤。
2.根据权利要求1所述的一种车载激光雷达点云驱动的道路标线精准提取方法,其特征在于:具体步骤为:
第一步,点强度平面特征谱生成,利用点云点的强度值和点云点邻域内的平均强度值生成点强度平面特征矩阵,并利用点强度平面特征矩阵生成点强度平面特征谱;
第二步,点云密度分割分组,根据点密度和强度值将点云分划,获得不同点密度的分组点云数据;
第三步,点强度平面特征谱临界值分划,利用点强度平面特征谱完成临界值分划,使类间方差最大,得到类间方差最大处的强度等级临界值,利用强度等级临界值和松弛因子提取点云数据中的道路标线;
第四步,密度研判图驱动的道路标线聚合,利用点密度特征生成密度研判图,根据密度研判图对道路标线的提取结果进行密度聚合,得到客体化的道路标线结果。
3.根据权利要求1所述的一种车载激光雷达点云驱动的道路标线精准提取方法,其特征在于:第一步,点强度平面特征谱生成中,
以任意区域块A为单位,设区域块中点的总数为BA,C(x,y)为区域块中点(x,y)的强度值,CP(x,y)为以区域块中点(x,y)的d邻域内点的平均强度值,设将点云强度值分割为E等份,设C(x,y)和CP(x,y)的强度最大与最小值分别为CMAX和CMIN,则C(x,y)和CP(x,y)中任意点(x,y)的等级数F(x,y)和FP(x,y)分别为:
定义点强度平面特征矩阵G(i,j),其值表示区域块中点h(x,y)的强度值Ch(x,y)=i且同时该点d邻域内点的平均强度值CPh(x,y)=j的点的个数值,即:
根据点强度平面特征矩阵G(i,j)绘制点强度二维直方图,生成点强度平面特征谱。
4.根据权利要求1所述的一种车载激光雷达点云驱动的道路标线精准提取方法,其特征在于:第二步,点云密度分割分组中,
对区域块A中任意一点L(x,y),利用k-d树取半径为R内的邻域点,设通过搜索得到邻域内点的个数为Mi,则设该点的密度值为Ni,其值等于Mi
C(x,y)为区域块中点(x,y)的强度值,Q(x,y)为区域块中点(x,y)的密度值,设将点云强度值分割为E等份,C(x,y)中任意点(x,y)的等级数F(x,y)第一步已得出;同理,设将点云密度值分割为Q等份,且区域块中点的密度最大最小值分别为QMAX和QMIN,则Q(x,y)中任意点(x,y)的等级数S(x,y)为:
区域块中点的总数为BA,定义平面强度与密度特征矩阵Tia,其值为区域块中点h(x,y)的强度值Ch(x,y)=i且同时该密度值Qh(x,y)=a的点的个数,即:
根据平面强度与密度特征矩阵Tia绘制强度与密度二维直方图,即为强度与密度平面特征谱。
5.根据权利要求4所述的一种车载激光雷达点云驱动的道路标线精准提取方法,其特征在于:强度与密度平面特征谱中,强度与密度特征值主要分布于横坐标的两边,即高密度区域和低密度区域,且高密度区域要比低密度区域的强度值大,将区域块中点分割为三部分,包括左侧峰值区域、右侧峰值区域、两者中间区域;
分别在密度为两个区域求得特征矩阵Tia的最大值分别为左右峰值,所对应的密度值分别为Qh1(x,y)与Qh2(x,y),利用点云密度分割得到的三个区域的点密度值分别满足:
[0,3·Qh1(x,y)],(3·Qh1(x,y),Q-3·Qh2(x,y)],(Q-3·Qh2(x,y),Q]
求得三个区域中点集的道路标线,将点云数据进行分割,得到不同点密度的分组数据。
6.根据权利要求1所述的一种车载激光雷达点云驱动的道路标线精准提取方法,其特征在于:第三步,点强度平面特征谱临界值分划中,
设点强度平面特征矩阵中基元(i,j)出现的频率数为Vij,Vij在数值上等于点强度平面特征矩阵G(i,j),BA为截面段中点的总数,基元(i,j)的联合概率密度Uij为:
基于松弛变量的二维最大类间方差法中,加入一个松弛因子n,松弛因子n所组成的两对与对角线平行的直线将对角线附近的点云平面强度特征值全部包含在内,同时选取C(x,y)方向的临界值L,点云数据中道路标线处的点及道路表面处的点位于松弛因子n所组成的两条直线之间,而临界值L所形成的直线将该区域分为区域W与Z;
临界值L的取值直接影响区域W的概率分布GW(L),概率分布GW(L)的值为区域W的面积,其值为:
上式中,Uij为计算得到的基元(i,j)的联合概率密度,n为松弛因子,L为C(x,y)方向的临界值,E为点云强度值分割等份数;
设区域W与Z的总概率为G(L),则有:
G(L)=GW(E-1)
同理可得区域Z的概率分布GZ(L):
GZ(L)=G(L)-GW(L)
区域W的加权平均HW(L)为:
同理可得区域Z与总体的加权平均,分别为HZ(L),H(L),则区域W与Z的类间方差为:
g=GW(L)·(HW(L)-H(L))2+GZ(l)·(HZ(L)-H(L))2
最优临界值LY
LY=argmax(g)
根据最优临界值LY和松弛因子n,设区域Z即道路标线中点的强度值应满足条件:
C(x,y)>LY&&CP(x,y)-C(x,y)+n&&CP(x,y)-C(x,y)-n≤0
点的强度值满足上式,则该点属于类别Z,即为道路标线。
7.根据权利要求1所述的一种车载激光雷达点云驱动的道路标线精准提取方法,其特征在于:第四步,密度研判图驱动的道路标线聚合中,
对于提取得到的道路标线中任意一点Si(x,y),设qi和pi分别为点的局部密度和该点到具有更高局部密度的点的平面距离,
qi=∑jr(dij-dc)
上式中,dij为点i与j之间的平面距离,dc为截断距离,qi为道路标线中与点i的距离值小于dc的点个数,表示对于密度大且点聚集的区域,越接近该区域的中心,局部密度qi越大;
点Si(x,y)的pi定义为:
截断距离dc的选取依赖于dij,将dij(i<j)共t=(BA(BA-1))/2个点升序排列,得到的序列为d1≤d2≤…≤dt,则dc的值为:
dc=df(ty)
其中,f(ty)为对ty进行四舍五入得到的整数,y∈(0,1);
pi为点i到比该点局部密度更大的点的平面距离最小值,对于道路标线SZ中每一个点Si(x,y),计算该点的特征值(qi,pi),i∈SZ,设点云数据的点数为BA,以q为横轴,p为纵轴,绘制二元对该图即为道路标线SZ的密度研判图;
聚合分析时,根据密度研判图选取(qi,pi)都大的点作为聚合中心,选定中心后让周围的点采取跟随策略,归类到密度比自己大的最近邻所在的簇,直至所有点聚合完毕为止。
CN201910818155.9A 2019-08-30 2019-08-30 一种车载激光雷达点云驱动的道路标线精准提取方法 Active CN110532963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910818155.9A CN110532963B (zh) 2019-08-30 2019-08-30 一种车载激光雷达点云驱动的道路标线精准提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910818155.9A CN110532963B (zh) 2019-08-30 2019-08-30 一种车载激光雷达点云驱动的道路标线精准提取方法

Publications (2)

Publication Number Publication Date
CN110532963A true CN110532963A (zh) 2019-12-03
CN110532963B CN110532963B (zh) 2022-08-12

Family

ID=68665766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910818155.9A Active CN110532963B (zh) 2019-08-30 2019-08-30 一种车载激光雷达点云驱动的道路标线精准提取方法

Country Status (1)

Country Link
CN (1) CN110532963B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686089A (zh) * 2020-10-10 2021-04-20 星际空间(天津)科技发展有限公司 道路信息智能化自动提取方法
CN113484844A (zh) * 2021-08-24 2021-10-08 扆亮海 LiDAR全波形控制分解驱动的点云分类法
CN116188334A (zh) * 2023-05-04 2023-05-30 四川省公路规划勘察设计研究院有限公司 一种车道线点云自动修补方法及装置
CN117132508A (zh) * 2023-10-26 2023-11-28 汉达科技发展集团有限公司 基于gis+bim技术的数字孪生数据驱动方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260737A (zh) * 2015-11-25 2016-01-20 武汉大学 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法
CN106525000A (zh) * 2016-10-31 2017-03-22 武汉大学 基于激光扫描离散点强度梯度的道路标线自动化提取方法
CN106845324A (zh) * 2015-12-03 2017-06-13 高德软件有限公司 路牌信息的处理方法和装置
CN107895151A (zh) * 2017-11-23 2018-04-10 长安大学 一种强光照条件下基于机器视觉的车道线检测方法
WO2018127789A1 (en) * 2017-01-03 2018-07-12 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
CN108681525A (zh) * 2018-05-16 2018-10-19 福州大学 一种基于车载激光扫描数据的路面点云强度增强方法
CN109712146A (zh) * 2018-12-14 2019-05-03 广东水利电力职业技术学院(广东省水利电力技工学校) 一种基于直方图的em多阈值图像分割方法及装置
CN110147775A (zh) * 2019-05-24 2019-08-20 北京建筑大学 利用细化空间分隔法从点云提取室内导航元素的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260737A (zh) * 2015-11-25 2016-01-20 武汉大学 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法
CN106845324A (zh) * 2015-12-03 2017-06-13 高德软件有限公司 路牌信息的处理方法和装置
CN106525000A (zh) * 2016-10-31 2017-03-22 武汉大学 基于激光扫描离散点强度梯度的道路标线自动化提取方法
WO2018127789A1 (en) * 2017-01-03 2018-07-12 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
CN107895151A (zh) * 2017-11-23 2018-04-10 长安大学 一种强光照条件下基于机器视觉的车道线检测方法
CN108681525A (zh) * 2018-05-16 2018-10-19 福州大学 一种基于车载激光扫描数据的路面点云强度增强方法
CN109712146A (zh) * 2018-12-14 2019-05-03 广东水利电力职业技术学院(广东省水利电力技工学校) 一种基于直方图的em多阈值图像分割方法及装置
CN110147775A (zh) * 2019-05-24 2019-08-20 北京建筑大学 利用细化空间分隔法从点云提取室内导航元素的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YONGTAO YU 等: "Learning Hierarchical Features for Automated Extraction of Road Markings From 3-D Mobile of Road Markings From 3-D Mobile", 《IEEE》 *
李明辉 等: "基于车载三维激光扫描的道路线提取研究", 《测绘与空间地理信息》 *
韩婷: "OpenStreetMap辅助的车载激光点云道路几何特征提取", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686089A (zh) * 2020-10-10 2021-04-20 星际空间(天津)科技发展有限公司 道路信息智能化自动提取方法
CN112686089B (zh) * 2020-10-10 2023-06-13 星际空间(天津)科技发展有限公司 道路信息智能化自动提取方法
CN113484844A (zh) * 2021-08-24 2021-10-08 扆亮海 LiDAR全波形控制分解驱动的点云分类法
CN116188334A (zh) * 2023-05-04 2023-05-30 四川省公路规划勘察设计研究院有限公司 一种车道线点云自动修补方法及装置
CN116188334B (zh) * 2023-05-04 2023-07-18 四川省公路规划勘察设计研究院有限公司 一种车道线点云自动修补方法及装置
CN117132508A (zh) * 2023-10-26 2023-11-28 汉达科技发展集团有限公司 基于gis+bim技术的数字孪生数据驱动方法及系统
CN117132508B (zh) * 2023-10-26 2024-02-23 汉达科技发展集团有限公司 基于gis+bim技术的数字孪生数据驱动方法及系统

Also Published As

Publication number Publication date
CN110532963B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Cheng et al. Extraction and classification of road markings using mobile laser scanning point clouds
CN110532963A (zh) 一种车载激光雷达点云驱动的道路标线精准提取方法
CN107092020B (zh) 融合无人机LiDAR和高分影像的路面平整度监测方法
Wu et al. Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach
Yu et al. Semiautomated extraction of street light poles from mobile LiDAR point-clouds
Guan et al. Automated road information extraction from mobile laser scanning data
Hu et al. Road centerline extraction in complex urban scenes from LiDAR data based on multiple features
Yu et al. Automated extraction of urban road facilities using mobile laser scanning data
Guan et al. Using mobile LiDAR data for rapidly updating road markings
Bue et al. Machine detection of Martian impact craters from digital topography data
CN106199558A (zh) 障碍物快速检测方法
Teo et al. Pole-like road object detection from mobile lidar system using a coarse-to-fine approach
Sithole et al. Bridge detection in airborne laser scanner data
CN106780524A (zh) 一种三维点云道路边界自动提取方法
CN109544612A (zh) 基于特征点几何表面描述的点云配准方法
CN106842231A (zh) 一种道路边界检测及跟踪方法
Rastiveis et al. Automated extraction of lane markings from mobile LiDAR point clouds based on fuzzy inference
CN105260737A (zh) 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法
CN103500338A (zh) 基于车载激光扫描点云的道路斑马线自动提取方法
CN109584294A (zh) 一种基于激光点云的路面点云提取方法和装置
Ye et al. Robust lane extraction from MLS point clouds towards HD maps especially in curve road
WO2023060632A1 (zh) 基于点云数据的街景地物多维度提取方法和系统
Zhang et al. 3D highway curve reconstruction from mobile laser scanning point clouds
Fang et al. Extraction 3D road boundaries from mobile laser scanning point clouds
Xu et al. A method of 3d building boundary extraction from airborne lidar points cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220728

Address after: 100000 room 402, 4th floor, building 2, Jin'an bridge, No. 68, Shijingshan Road, Shijingshan District, Beijing

Applicant after: Beijing Asia Pacific Cultural finance data Technology Research Institute

Address before: No.20, Ganwang Road, Shangcheng District, Hangzhou City, Zhejiang Province, 310016

Applicant before: Bright Sea

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100000 room 402, 4th floor, building 2, Jin'an bridge, No. 68, Shijingshan Road, Shijingshan District, Beijing

Patentee after: Beijing Asia Pacific Wenrong Data Technology Research Co.,Ltd.

Country or region after: China

Address before: 100000 room 402, 4th floor, building 2, Jin'an bridge, No. 68, Shijingshan Road, Shijingshan District, Beijing

Patentee before: Beijing Asia Pacific Cultural finance data Technology Research Institute

Country or region before: China

CP03 Change of name, title or address