CN112308912B - 一种路面病害同源多特征图像获取系统、装置及方法 - Google Patents

一种路面病害同源多特征图像获取系统、装置及方法 Download PDF

Info

Publication number
CN112308912B
CN112308912B CN202011210756.0A CN202011210756A CN112308912B CN 112308912 B CN112308912 B CN 112308912B CN 202011210756 A CN202011210756 A CN 202011210756A CN 112308912 B CN112308912 B CN 112308912B
Authority
CN
China
Prior art keywords
camera
image
road surface
images
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011210756.0A
Other languages
English (en)
Other versions
CN112308912A (zh
Inventor
杨旭
管进超
丁玲
汪海年
刘经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202011210756.0A priority Critical patent/CN112308912B/zh
Publication of CN112308912A publication Critical patent/CN112308912A/zh
Application granted granted Critical
Publication of CN112308912B publication Critical patent/CN112308912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种路面病害同源多特征图像获取系统、装置及方法，该方法通过相隔固定时间，采集k个相机在t个时刻拍摄的所有的路面图像，获得k个相机在t个时刻内拍摄到路面的三维点云模型；通过路面的三维点云模型，获得路面的深度图像、彩色图像和重叠图像，得到了路面病害同源的多特征图像；该方法通过校准点云模型，使得生成图像为正射图像，不受拍摄角度、位置的影响，该方法生成同源多特征图像，包括三维深度图像、二维彩色图像和叠加图像，这些图像具有完全重合特性，便于提升深度学习效率。

Description

一种路面病害同源多特征图像获取系统、装置及方法
【技术领域】
本发明涉及路面病害检测领域，具体涉及一种路面病害同源多特征图像获取系统、装置及方法。
【背景技术】
截止2019年末，全国公路总里程已达501万公里，其中公路养护里程495万公里。随着道路基础设施规模的快速增长，路面病害检测和养护的需求愈加迫切。目前，路面病害自动化检测的最佳方法是采用深度学习，而深度学习是一种数据驱动的方法，需要通过大量图像样本进行自学习。通常，在路面病害识别中，深度学习所采用的图像普遍是二维彩色图像，也有少量学者采用三维深度图像进行学习和识别。
虽然通过普通相机采集路面病害彩色图像是简单、低廉的方法，但彩色图像受环境影响剧烈，比如树木阴影、光照强度、路面污渍，会对深度学习的精度产生巨大影响。为了消除色彩噪声，三维检测技术被引入来采集路面病害深度图像，而这些三维成像技术大多基于激光测量系统。
现有的基于激光设备的三维图像采集系统能够基本实现路面病害三维信息的获取，但还存在如下问题：(1)仅能够生成深度图像，不能同时生成完全重合的彩色图像；(2)激光设备受强光、震动、粉尘影响大，容易产生大量噪声和误差；(3)激光设备需要保证精确的安装位置，使用过程需经常校准；(4)激光设备成本高昂，为消除震动等影响需安装复杂的电子设备。
【发明内容】
本发明的目的在于克服上述现有技术的缺点，提供一种路面病害同源多特征图像获取系统、装置及方法，以解决现有技术中设备成本高，路面三维模型重建精度低和稳定性差的技术问题。
为达到上述目的，本发明采用以下技术方案予以实现：
一种路面病害同源多特征图像获取方法，包括以下步骤：
步骤1，相隔固定时间，采集k个相机在t个时刻拍摄的所有的路面图像；
步骤2，通过所有的路面图像，获得k个相机在t个时刻内拍摄到路面的三维点云模型；
步骤2.1，通过第1时刻的第1相机空间坐标，以及第1时刻的第2相机拍摄的路面图像，获得第1时刻的第2相机空间坐标；通过第2相机的空间坐标获得第1时刻的第3相机的空间坐标，依次类推，确定第1时刻的k个相机各自的空间坐标，以及第1时刻的k个路面图像上所有特征点的空间坐标，组合获得第1时刻拍摄到路面的点云模型；
步骤2.2，通过第1相机在第1时刻的空间坐标，以及第1相机在第2时刻拍摄的路面图像，获得第1相机在第2时刻的空间位置；通过第1相机在第2时刻的空间位置获得第3时刻的空间位置，依次类推，获得第1相机在t个时刻的空间位置，以及t个路面图像上所有特征点的空间坐标，获得第1相机拍摄到路面的点云模型；
步骤2.3，重复步骤2.2，获得k个相机中每一个相机拍摄到路面的点云模型，进而获得k个相机在t个时刻内拍摄到路面的三维点云模型；
所述三维点云模型由N个特征点构成，特征点的数据包括特征点的x坐标、y坐标、z坐标和特征点的RGB颜色，记为{[xi,yi,zi,Ri,Gi,Bi]|i＝1,2,...,N}；
步骤3，校准路面的三维点云模型；
步骤4，通过路面的三维点云模型，获得路面的深度图像、彩色图像和重叠图像，得到了路面病害同源的多特征图像。
本发明的进一步改进在于：
优选的，步骤1中，同一相机相邻时刻拍摄路面图像的重合率≥70％，同一时刻相邻相机拍摄的路面图像的重合率≥70％。
优选的，步骤2.1的具体步骤为，
步骤2.1.1，找出第1时刻的第1相机拍摄的图像和第2相机拍摄的图像通过图像特征提取算法，提取两张图像的特征点描述子集合；
步骤2.1.2，计算和两张图像各特征点之间的相似度，通过设定阈值判断各特征点是否匹配，生成两张图像之间相互匹配的特征点对；
步骤2.1.3，基于两张图像之间相互匹配的特征点对，根据相机的内参和两张图像空间点之间的对极几何关系，以及第1时刻的第1相机的空间坐标，确定出第2相机在第1时刻的空间位置；
步骤2.1.4，基于两个相机在第1时刻拍摄时的空间位置，通过三角测量法测量得到在第1时刻两个图像上所有特征点的空间点坐标；
步骤2.1.5，重复步骤2.1.1-步骤2.1.4，通过第2相机获得第3个相机的空间坐标，通过第3个相机获得第4个相机的空间坐标…直至获得所有相机在第1时刻的空间坐标，以及第1时刻所有路面图像的特征点的空间点坐标，获得第1时刻拍摄到的路面点云模型。
优选的，步骤2.1.1中，所述图像特征提取算法为SIFT算法、SUFR算法或FAST算法；
步骤2.1.2中，计算两张图像各特征点之间相似度的方法为欧氏距离、马氏距离或hausdorff距离。
优选的，步骤2.1.3的具体过程为：
设图像和图像之间有匹配特征点对为(q1,q2)，对应于空间点Q＝(X,Y,Z)；设第1相机的坐标系为O1-xyz，光心为O1，q1图像上的坐标是[x1,y1]T；设第2相机的相机坐标系为O2-xyz，光心为O2，q2图像上的坐标是[x2，y2]T；设两个相机具有相同的相机内参矩阵K，则在各自相机坐标系内，空间点Q和图像点q1,q2之间的关系根据小孔成像模型表达为：
O1-xyz相机坐标系：
O2-xyz相机坐标系：
其中，d1为第1相机的光心到空间点Q的距离，d2为第2相机的光心到空间点Q的距离；
设第1相机的坐标系O1-xyz位于世界坐标系原点，第2相机的坐标系O2-xyz通过旋转和平移操作变换到原点，设有旋转矩阵R3×3和平移矩阵T3×1，则相机坐标系O1-xyz和O2-xyz通过以下公式联系：
设向量 垂直于和T，则上式(3)可以进一步简化为：
式(4)中内参矩阵K已知，通过多组特征点对，求得[T]×R的值；进一步通过奇异值分解算法求出旋转矩阵R3×3和平移矩阵T3×1，获得两个相机之间的相对空间位置，进而获得第2相机的空间位置。
优选的，步骤2.1.4中，通过空间位置获得特征点的空间点坐标的具体公式为：
优选的，步骤3的具体步骤为：
步骤3.1，通过主成分分析法提取路面点云模型的坐标数据{[xi，yi,zi]|i＝1,2,...,N}的三个特征向量P1,P2,P3；
步骤3.2，选取最小信息量对应的特征向量作为路表面的法向，构成旋转校准矩阵将原始点云的位置坐标与校准矩阵相乘：
步骤3.3，将旋转校准后的坐标减去各坐标平均值使点云位置居中，得到旋转、平移校准后的路面点云坐标数据，记为：
校准后的路面点云模型为{[xi′,yi′,zi′,Ri,Gi,Bi]|i＝1,2,...,N}。
优选的，步骤4的具体过程为：
步骤4.1，搜索xi′的范围[-X,X]和yi′的范围[-Y,Y]，确定生成图像的宽度分辨率为W，计算宽度分割步长L＝2X/W，计算图像的高度分辨率为H＝2Y/L；
步骤4.2，计算深度图、彩色图和重叠图上的每个像素的值Pixelw,h,其中w＝1,2,...W,h＝1,2,...H；
对于深度图像：Pixelw,h＝∑zi′/S，i满足(w-1)L≤xi′≤wL，(h-1)L≤yi′≤hL，S为该区域内的特征点总数；
对于彩色图像：Pixelw,h＝[∑Ri/S,∑Gi/S,∑Bi/S]，i满足(w-1)L≤xi′≤wL，(h-1)L≤yi′≤hL，S为该区域内的特征点总数；
对于重叠图像：Pixelw,h＝1/2·[∑Ri/S+∑zi′/S,∑Gi/S+∑zi′/S,∑Bi/S+∑zi′/S]，i满足(w-1)L≤xi′≤wL，(h-1)L≤yi′≤hL，S为该区域内的特征点总数；
一种路面病害同源多特征图像获取系统，包括：
采集模块，用于通过采集t个时刻的k个相机拍摄的路面图像，并传递至模型建立模块；
模型建立模块，用于根据k个相机在t个时刻内拍摄到的路面图像，建立路面的三维点云模型；
校准模块，用于校准路面的三维点云模型；
生成模块，用于通过校准后的三维点云模型，获得路面的深度图像、彩色图像和重叠图像。
一种路面病害同源多特征图像获取装置，包括：相机系统和装载在其内的电子控制系统，所述电子控制系统和上述的多特征图像获取系统无线连接；
所述相机系统包括固定设置在车尾顶部的固定卡扣，固定卡扣通过固定绷带连接有上横杆；所述上横杆铰接有两根主纵杆；
车身后部连接有下横杆，下横杆铰接有两根支撑杆，每一个支撑杆和一个主纵杆铰接；
主纵杆的外端部嵌套连接有拓展纵杆，两个拓展纵杆的外端部共同固定连接有相机固定横杆，相机固定横杆上连接有多个滑动相机支架，每一个滑动相机支架上安装有一个相机。
与现有技术相比，本发明具有以下有益效果：
本发明公开了一种路面病害同源多特征图像获取方法，该方法通过相隔固定时间，采集k个相机在t个时刻拍摄的所有的路面图像，获得k个相机在t个时刻内拍摄到路面的三维点云模型；通过路面的三维点云模型，获得路面的深度图像、彩色图像和重叠图像，得到了路面病害同源的多特征图像；该方法通过校准点云模型，使得生成图像为正射图像，不受拍摄角度、位置的影响，该方法生成同源多特征图像，包括三维深度图像、二维彩色图像和叠加图像，这些图像具有完全重合特性，便于提升深度学习效率。
本发明还公开了一种路面病害同源多特征图像获取系统，该系统包括采集模块、模型建立模块、校准模块和生成模块，通过模块之间的相互作用，该系统基于普通彩色相机实现路面三维信息提取，降低设备成本并提高路面三维模型重建精度和稳定性。通过配套点云处理算法生成同源的三维深度图像、二维彩色图像和叠加图像，为深度学习提供多特征图像集，同时利用多特征图像相互重叠的特性来减少深度学习中图像标注的工作量。
本发明还公开了一种路面病害同源多特征图像获取装置，该装置通过将相机固定在车尾，能够获得任意时刻的路面图像，相机能够根据需求设定，该图像采集系统硬件仅由普通二维相机组成，能够提取路面三维信息，降低三维图像采集的成本；整个装置不受车辆震动、强环境光影响，使用过程中不需要校准硬件设备位置。
【附图说明】
图1为本发明图像采集装置结构示意图；
其中，1为固定卡扣，2为固定绑带，3为上横杆，4为主纵杆，5为锁紧器，6为拓展纵杆，7为下横杆，8为下铰链，9为支撑杆，10为上铰链，11为相机固定横杆，12为滑动相机支架，13为相机，14为警示灯；
图2为本发明中下横杆7的结构示意图；
其中，7-1为电源开关，7-2为充电接口，7-3为电池组，7-4为WIFI发射器，7-5为电源线，7-6为数据线；
图3为本发明的流程框架图；
图4为相机框架参数设置图；
图5为相机拍摄图像位置关系图；
图6为图像特征点提取与匹配图；
图7为相机位置与特征点空间坐标计算原理图；
图8为相机空间位置与路面点云模型图；
图9为主成分分析法计算点云主方向图；
图10为校准后的路面点云模型图；
图11为生成的同源多特征路面病害图。
【具体实施方式】
下面结合附图对本发明做进一步详细描述：
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性；此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明公开了一种路面病害同源多特征图像获取系统及方法，包括相机系统和电子控制系统；相机系统包括固定卡扣1、上横杆3、主纵杆4、相机固定横杆11、滑动相机支架12和下横杆7，相机系统整体安装在车辆尾部。所述固定卡扣1固定在车尾的顶部，优选的，固定卡扣1插入在车尾顶部的接缝中，固定卡扣1通过固定绷带2与上横杆3连接；所述上横杆3与车尾接触，通过固定卡扣1收紧固定绷带2增大接触压力，固定绷带2给予了上横杆3水平方向的压力，上横杆3中部固定连接有两根带有上铰链的主纵杆4；所述下横杆7固定安置在车尾下部位置，下横杆7的中部固定有两组下铰链；所述上铰链和下铰链通过两组支撑杆9连接，两组支撑杆9支撑两根主纵杆4保持水平；所述主纵杆4的内端和上横杆3固定连接，主纵杆4的内嵌套有拓展纵杆6，拓展纵杆6从主纵杆4的一端凸出，凸出的长度能够调节，通过主纵杆4的外端锁紧器以控制拓展纵杆6伸出的长度；两个拓展纵杆6的外端安装有相机固定横杆11，所述相机固定横杆11的两个侧端安装有警示灯14，相机固定横杆11中部嵌套有多个滑动相机支架12；每一个滑动相机支架12上固定安装有一个相机13，相机13的角度能够沿着相机固定横杆11调整。上横杆3和下横杆7外部采用橡胶材质保护套，提高摩擦力，防止划伤车辆。下横杆7的内侧壁上嵌有磁铁，吸附车体以提高接触压力，保证框架的稳定性。
优选的，相机固定横杆11的长度大于1.2米，相机固定横杆11上带有刻度，最多可安装8组相机；优选的，安装在相机固定横杆11的相机应间隔均匀，间隔0.15米至0.5米可调，以满足不同的拍摄精度，相隔越近，采集到的相片越多，精度越高；上横杆3与下横杆7的之间距离可调节，使得相机组距地面的距离在0.6米至1米可调，以满足不同的拍摄范围和精度；拓展纵杆伸出长度可调，使得相机组距离车体后部的距离在0.4米至0.8米可调，防止拍摄到车体。相机13的安装数量、间隔、角度等参数能够影响后面方法生成图像的效果。所述相机13为普通彩色相机，分辨率越高越好，多特征图像的分辨率也越高，现在采用的是3000*4000像素的相机。
参见图2，电子控制系统内置在下横杆7内，包括固定在下横杆7端部外侧的电源开关7-1和充电接口7-2；所述充电接口7-2与电池组7-3连接供电，当充电接口7-2外接电源时，向电池组7-3充入电；电源开关7-1和电池组7-3连接，用于控制电池组7-3向整个电子控制系统通电，所述电池组7-3通过电源线7-5为WIFI发射器7-4和相机13供电；所述WIFI发射器7-4通过数据线7-6与所有的相机13进行连接通讯，且外界设备与WIFI发射器7-4连接后，可控制相机13的拍摄参数和传输照片。
参见图3，通过上述装置获取路面病害同源多特征图像获取的方法包括以下步骤：
步骤1，基于相机系统上的多组普通彩色相机，采集路面病害图像。
步骤1.1，根据所需的检测精度和检测范围调整相机支架参数，所述相机支架参数包括在相机固定横杆11上的相机13安装数量，相邻相机13之间的间隔距离，相机13的最低像素，相机固定横杆11和地面之间的距离。安装的控制图像的覆盖范围和图像上地面最小分辨率，满足设定要求。
步骤1.2，根据检测车辆的运行速度，设定相机的拍摄帧率、曝光时间和感光度，以保证图像的清晰度和重合率；在车辆启动后，联控多组相机同时拍摄路面高清照片；每隔一定时间，将多组相机拍摄的照片通过WIFI回传到外界设备，集中储存在一个文件夹内，并以相机编号和拍摄时序命名图像文件。
步骤1中，图像拍摄帧率应根据车速调整，保证不同时刻拍摄图像的重合率，相邻时刻同一个相机13拍摄图像的重合率应大于70％，同一时刻，相邻两个相机13拍摄图像的重合率应大于70％；优选的，采取录像方式拍摄路面，根据设定时间并提视频取关键帧，作为不同相机不同时刻拍摄的图像。
步骤2，处理文件夹内的时序照片，即文件夹内有k个相机在t个时刻拍摄的照片，建立路面三维点云模型，包括以下步骤：
步骤2.1，处理初始时刻，不同相机所拍摄的图像。
步骤2.1.1，搜索第1时刻，第1相机所拍的照片和第2相机所拍的照片采用特征提取算法提取两张图像的特征点描述子集合。
步骤2.1.2，计算和两张图像各特征点描述子集之间的相似度，通过设定阈值判断各特征点是否匹配，生成两张图像之间相互匹配的特征点对；
具体的为，基于SUFR算法产生图像的特征点，并通过欧氏距离计算相似度，匹配第1时刻图像1-1和图像1-2之间的有效特征点，生成特征点对。以此类推，建立所有相邻照片间的特征点对。”即两张图片欧氏距离相近，则认为相似度大。
判断两张图片欧式距离计算相似度时，当照片1某个点欧氏距离值和照片2某个点欧式距离值之差，小于某一个给定的值，则认为两个点相同，构成点对。
步骤2.1.3，基于求出的两张图像上的多个特征点对，根据相机内参和图像空间点之间的对极几何关系，计算出两个相机在第1时刻拍摄时的空间位置。
基于相邻照片间的特征点对，通过相机内参矩阵和对极几何关系，求解相机的空间位置，进而计算图像上特征点的空间坐标，包括以下步骤。
设图像和图像之间有匹配特征点对(q1,q2)，对应于空间点Q＝(X，Y,Z)；设第1台相机坐标系为O1-xyz，光心为O1，q1图像上的坐标是[x1,y1]T；设第2台相机的相机坐标系为O2-xyz，光心为O2，q2图像上的坐标是[x2，y2]T；设两台相机具有相同的相机内参矩阵K，其可通过相机校准得到；则在各自相机坐标系内，空间点Q和图像点q1，q2之间的关系根据小孔成像模型可以表达为：
O1-xyz相机坐标系：
O2-xyz相机坐标系：
其中d1和d2为相机光心到目标点的距离，为未知参数。
设相机1的坐标系O1-xyz位于世界坐标系原点，相机2的坐标系O2-xyz可以通过旋转和平移操作变换到原点，设有旋转矩阵R3×3和平移矩阵T3×1，则相机坐标系O1-xyz和O2-xyz可以通过以下公式联系：
设向量 垂直于和T，则上式可以进一步简化为：
上式中内参矩阵K已知，通过多组特征点对(多组已知的[x1,y1]T和[x2,y2]T)，即可求出[T]×R的值；进一步通过奇异值分解算法(SVD)即可求出旋转矩阵R3×3和平移矩阵T3×1。即可知道两个相机之间的相对空间位置，进而获得第2相机的空间位置。
步骤2.1.4，在获得两个相机在第1时刻拍摄时的空间位置后，通过三角测量法计算出第1时刻两个相机所拍的两张照片和上所有特征点的空间点坐标；以此类推，将第1时刻所有相机拍摄的照片上的各特征点的空间坐标都计算出来，得到初始时刻所拍摄到的路表面的点云模型。特征点的计算过程为，先计算第一个相机和第二个相机的特征点，然后计算第二个相机和第三个相机的特征点，顺序为相邻两个相机的特征点依次计算。
基于已知的相机空间位置，通过三角测量法计算图像上特征点的空间位置，即Q点坐标(X,Y,Z)可以根据以下公式和奇异值分解算法求出：
步骤2.2，基于初始时刻不同相机所拍摄的图像的空间信息，处理各相机不同时刻所拍摄的图像。
步骤2.2.1，搜索第1相机在第1时刻和第2时刻所拍的照片和通过上述特征提取和特征匹配方法，生成两张图像之间匹配的特征点对。
步骤2.2.2，已知第1时刻(初始时刻)第1相机所拍照片上所有特征点的空间坐标，通过两张图像和之间匹配的特征点对，即可获得第2时刻所拍照片上部分特征点的空间位置，获得的第2时刻的部分特征点为与第1时刻重合的特征点。K
步骤2.2.3基于已知的部分特征点的空间位置和对极几何关系，计算出第1相机在第2时刻拍摄时的空间位置。
步骤2.2.4，在获得第1相机在第2时刻的空间位置后，通过三角测量法计算出第1相机在第2时刻所拍的照片上所有特征点的空间坐标；以此类推，通过2时刻计算出第3时刻的特征点的空间坐标，通过第3时刻的计算出第4时刻的…，将第1相机各个时刻拍摄照片上的特征点的空间坐标都计算出来，得到第1相机所拍摄到的路表面的点云模型。
重复步骤2.2.1、步骤2.2.2、步骤2.2.3和步骤2.2.4，计算出所有相机在各个时刻拍摄照片上的特征点的空间坐标，生成k个相机在t个时刻内所拍摄到路面的三维点云模型，由N个特征点构成，点云数据由特征点的x坐标、y坐标、z坐标和特征点的RGB颜色构成，记{[xi,yi,zi,Ri,Gi,Bi]|i＝1,2,...,N}。
步骤2中，图像特征提取算法可采用SIFT(Scale Invariant Feature Transform)算法、SURF(Speeded Up Robust Feature)算法、FAST(Features From AcceleratedSegment Test)算法等。
步骤2中，不同照片之间，各特征点描述子之间的相似度用欧氏距离、马氏距离、hausdorff距离等计算。
步骤3，校准路面的三维点云模型，使其表面水平。
步骤3.1，通过主成分分析法(PCA)算法提取路面点云模型的坐标数据{[xi,yi,zi]|i＝1,2,...,N}的三个特征向量P1,P2,P3，即点云的三个主方向。
步骤3.2，选取最小信息量对应的特征向量即路表面的法向，构成旋转校准矩阵将原始点云的位置坐标与校准矩阵相乘：
步骤3.3，将旋转校准后的坐标减去各坐标平均值以使点云位置居中，得到旋转、平移校准后的路面点云坐标数据，记为：
则校准后的路面点云模型为{[xi′,yi′,zi′,Ri,Gi,Bi]|i＝1,2,...,N}，该点云模型消除了路面点云平面的倾斜和偏移。
步骤4，通过校准后的路面点云模型{[xi′,yi′,zi′,Ri,Gi,Bi]|i＝1，2，...，N}，生成路面多特征重叠图像。
步骤4.1，搜索xi′的范围[-X，X]和yi′的范围[-Y，Y]，确定生成图像的宽度分辨率为W，计算宽度分割步长L＝2X/W，高度分割步长采用相同尺寸，计算图像的高度分辨率为H＝2Y/L；宽度分割步长可以与高度分割步长不等，即利用长方形网格框来将点云数据转化为图像；
步骤4.2，计算深度图、彩色图和重叠图上的每个像素的值Pixelw,h,其中w＝1，2,...W,h＝1,2,...H；
对于深度图像：Pixelw,h＝∑zi′/S，i需满足(w-1)L≤xi′≤wL，(h-1)L≤yi′≤hL，S为该区域内的特征点总数；
对于彩色图像：Pixelw,h＝[∑Ri/S,∑Gi/S,∑Bi/S]，i需满足(w-1)L≤xi′≤wL，(h-1)L≤yi′≤hL，S为该区域内的特征点总数；
对于重叠图像：Pixelw,h＝1/2·[∑Ri/S+∑zi′/S,∑Gi/S+∑zi′/S,∑Bi/S+∑zi′/S]，i需满足(w-1)L≤xi′≤wL，(h-1)L≤yi′≤hL，S为该区域内的特征点总数；
由于所有图像同源生成，即生成像素时选取的范围一致，因此这些多特征图像具有完全重叠特性。
实施例1
参考图1和图2，一种基于立体成像的路面病害同源多特征图像采集装置包括相机系统和电子控制系统；相机系统由固定卡扣1、上横杆3和下横杆7与车辆尾部连接；所述固定卡扣1插入车尾顶部接缝中，通过固定绷带2与上横杆连接3；所述上横杆3与车尾上部接触，通过收紧固定绷带2增大接触压力，上横杆3中部固定有两根带有上铰链10的主纵杆4；所述下横杆7安置在车尾下部凸出位置，通过内置磁块使得下横杆7与车辆吸附增强稳定性，下横杆7中部固定有两组下铰链8；所述上铰链10和下铰链8通过两组支撑杆9连接，支撑两根主纵杆4保持水平；所述主纵杆4内嵌套有拓展纵杆6，通过主纵杆4尾端锁紧器5控制拓展纵杆6伸出长度；所述拓展纵杆6尾端安装有相机固定横杆11；所述相机固定横杆11两端安装有警示灯14，相机固定横杆11中部嵌套有多组滑动相机支架12；所述滑动相机支架12上固定有相机13，相机13的角度可调。
所述电子控制系统内置在下横杆7内，包括固定在下横杆端部侧面的电源开关7-1和充电接口7-2；所述充电接口7-2与电池组7-3连接供电；所述电池组7-3通过内部电源线7-5为WIFI发射器7-4和相机13供电；所述WIFI发射器7-4通过内部数据线7-6与多组相机13进行通讯，且外界设备与WIFI发射器7-4连接后，可控制相机13的拍摄参数和传输照片。
实施例3
在实施例2的基础上，参考图4，设定相机框架参数，确定图像采集范围和精度。采用3台1200万像素相机13，通过滑动相机支架12固定在相机固定横杆11上，相机13的间距设置为0.6m，调整相机固定横杆11距离地面0.8米。在此设置下，单次拍摄的图像可以覆盖1×2.5＝2.5m2的路表面积，图像上的最小分辨距离是0.27mm/像素。
参考图5，设定相机拍摄参数，确定图像采集速度和位置关系。预设检测车辆运行速度为20km/h，设定相机13拍摄帧率为10张/秒。则第1时刻，第1台相机13拍摄得到图像1-1，第2台相机13拍摄得到图像1-2，第3台相机13拍摄得到图像1-3，3张图像两两之间有75％的重合率；第2时刻，第1台相机13拍摄得到图像2-1，第2台相机13拍摄得到图像2-2，第3台相机13拍摄得到图像2-3，3张图像两两之间有75％的重合率；以此类推，共拍摄45张照片，相邻时刻两组图像之间的间距为0.5m。
参考图6，提取图像的特征点，进行相邻图像的特征的匹配。基于SUFR算法产生图像的特征点，并通过欧氏距离计算相似度，匹配第1时刻图像1-1和图像1-2之间的有效特征点，生成特征点对。以此类推，建立所有相邻照片间的特征点对。
参考图7，基于相邻照片间的特征点对，通过相机内参矩阵和对极几何关系，求解相机的空间位置，进而计算图像上特征点的空间坐标，包括以下步骤。
设图像1-1和图像1-2之间有匹配特征点对(q1,q2)，对应于空间点Q＝(X,Y,Z)；设第1台相机坐标系为O1-xyz，光心为O1，q1图像上的坐标是[x1,y1]T；设第2台相机的相机坐标系为O2-xyz，光心为O2，q2图像上的坐标是[x2,y2]T；设两台相机具有相同的相机内参矩阵K，其可通过相机校准得到；则在各自相机坐标系内，空间点Q和图像点q1,q2之间的关系根据小孔成像模型可以表达为：
O1-xyz相机坐标系：
O2-xyz相机坐标系：
其中d1和d2为相机光心到目标点的距离，为未知参数。
设相机1的坐标系O1-xyz位于世界坐标系原点，相机2的坐标系O2-xyz可以通过旋转和平移操作变换到原点，设有旋转矩阵R3×3和平移矩阵T3×1，则相机坐标系O1-xyz和O2-xyz可以通过以下公式联系：
设向量 垂直于和T，则上式可以进一步简化为：
上式中内参矩阵K已知，通过多组特征点对(多组已知的[x1,y1]T和[x2,y2]T)，即可求出[T]×R的值；进一步通过奇异值分解算法(SVD)即可求出旋转矩阵R3×3和平移矩阵T3×1。即可知道两个相机之间的相对空间位置。
基于已知的相机空间位置，通过三角测量法计算图像上特征点的空间位置，即P点坐标(X,Y,Z)可以根据以下公式和奇异值分解算法求出：
参考图8，展示了计算出的相机的空间位置与重建的路面三维点云模型。通过以上方法，计算出45张照片拍摄时的相机空间位置，共产生了15746981个特征点，估计这些特征点的空间坐标，进而得到路面点云模型。其点云数据信息为：
表1原始点云数据信息
参考图9，使用主成分分析法算法寻找三维重建的路面点云模型的主方向。计算得到15746981个特征点空间位置的主方向，计算得到三个方向的特征向量和特征信息量：
选取最小特征信息量所对应的特征向量P3，组成校准矩阵：
参考图10，显示了通过旋转和平移校准后的路面点云。利用校准矩阵与15746981个特征点的空间坐标相乘。以第1个特征点的旋转校准计算为例：
通过将校准坐标减去各方向坐标平均值进行居中，得到校准后水平居中的点云模型。以第1个特征点的平移校准计算为例：
[0.918,-0.459,-2.109]-[0.389,-3.541,-2.115]＝[0.529,3.082,0.00627]
表2校准点云数据信息
参考图11，展示了在固定分辨率和分割步长下，生成的同源多特征路面病害图像。x的范围是(-13.11.13.11)，y的范围是(-15.23.15.23)，设定宽度分辨率为1000像素，宽度分割步长为0.026，高度分割步长采用相同大小，高度分辨率为1162。根据分割步长生成深度图像、彩色图像和重叠图像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种路面病害同源多特征图像获取方法，其特征在于，包括以下步骤：
步骤1，相隔固定时间，采集k个相机(13)在t个时刻拍摄的所有的路面图像；
步骤2，通过所有的路面图像，获得k个相机(13)在t个时刻内拍摄到路面的三维点云模型；
步骤2.1，通过第1时刻的第1相机空间坐标，以及第1时刻的第2相机拍摄的路面图像，获得第1时刻的第2相机空间坐标；通过第2相机的空间坐标获得第1时刻的第3相机的空间坐标，依次类推，确定第1时刻的k个相机各自的空间坐标，以及第1时刻的k个路面图像上所有特征点的空间坐标，组合获得第1时刻拍摄到路面的点云模型；具体的，包括以下步骤：
步骤2.1.1，找出第1时刻的第1相机拍摄的图像和第2相机拍摄的图像通过图像特征提取算法，提取两张图像的特征点描述子集合；
步骤2.1.2，计算和两张图像各特征点之间的相似度，通过设定阈值判断各特征点是否匹配，生成两张图像之间相互匹配的特征点对；
步骤2.1.3，基于两张图像之间相互匹配的特征点对，根据相机(13)的内参和两张图像空间点之间的对极几何关系，以及第1时刻的第1相机的空间坐标，确定出第2相机在第1时刻的空间位置；
步骤2.1.4，基于两个相机在第1时刻拍摄时的空间位置，通过三角测量法测量得到在第1时刻两个图像上所有特征点的空间点坐标；
步骤2.1.5，重复步骤2.1.1-步骤2.1.4，通过第2相机获得第3个相机的空间坐标，通过第3个相机获得第4个相机的空间坐标…直至获得所有相机在第1时刻的空间坐标，以及第1时刻所有路面图像的特征点的空间点坐标，获得第1时刻拍摄到的路面点云模型；
步骤2.2，通过第1相机在第1时刻的空间坐标，以及第1相机在第2时刻拍摄的路面图像，获得第1相机在第2时刻的空间位置；通过第1相机在第2时刻的空间位置获得第3时刻的空间位置，依次类推，获得第1相机在t个时刻的空间位置，以及t个路面图像上所有特征点的空间坐标，获得第1相机拍摄到路面的点云模型；
步骤2.3，重复步骤2.2，获得k个相机中每一个相机拍摄到路面的点云模型，进而获得k个相机在t个时刻内拍摄到路面的三维点云模型；
所述三维点云模型由N个特征点构成，特征点的数据包括特征点的x坐标、y坐标、z坐标和特征点的RGB颜色，记为{[xi，yi，zi，Ri，Gi，Bi]|i＝1，2，...，N}；
步骤3，校准路面的三维点云模型；具体的，包括以下步骤：
步骤3.1，通过主成分分析法提取路面点云模型的坐标数据{[xi，yi，zi]|i＝1，2，...，N}的三个特征向量P1，P2，P3；
步骤3.2，选取最小信息量对应的特征向量作为路表面的法向，构成旋转校准矩阵将原始点云的位置坐标与校准矩阵相乘：
步骤3.3，将旋转校准后的坐标减去各坐标平均值使点云位置居中，得到旋转、平移校准后的路面点云坐标数据，记为：
校准后的路面点云模型为{[xi′，yi′，zi′，Ri，Gi，Bi]|i＝1，2，...，N}；
步骤4，通过路面的三维点云模型，获得路面的深度图像、彩色图像和重叠图像，得到了路面病害同源的多特征图像；具体的，包括以下步骤：
步骤4.1，搜索xi′的范围[-X，X]和yi′的范围[-Y，Y]，确定生成图像的宽度分辨率为W，计算宽度分割步长L＝2X/W，计算图像的高度分辨率为H＝2Y/L；
步骤4.2，计算深度图、彩色图和重叠图上的每个像素的值Pixelw，h，其中w＝1，2，...W，h＝1，2，...H；
对于深度图像：Pixelw，h＝∑zi′/S，i满足(w-1)L≤xi′≤wL，(h-1)L≤yi′≤hL，S为该区域内的特征点总数；
对于彩色图像：Pixelw，h＝[∑Ri/S，∑Gi/S，∑Bi/S]，i满足(w-1)L≤xi′≤wL，(h-1)L≤yi′≤hL，S为该区域内的特征点总数；
对于重叠图像：Pixelw，h＝1/2·[∑Ri/S+∑zi′/S，∑Gi/S+∑zi′/S，∑Bi/S+∑zi′/S]，i满足(w-1)L≤xi′≤wL，(h-1)L≤yi′≤hL，S为该区域内的特征点总数。
2.根据权利要求1所述的一种路面病害同源多特征图像获取方法，其特征在于，步骤1中，同一相机(13)相邻时刻拍摄路面图像的重合率≥70％，同一时刻相邻相机(13)拍摄的路面图像的重合率≥70％。
3.根据权利要求1所述的一种路面病害同源多特征图像获取方法，其特征在于，步骤2.1.1中，所述图像特征提取算法为SIFT算法、SUFR算法或FAST算法；
步骤2.1.2中，计算两张图像各特征点之间相似度的方法为欧氏距离、马氏距离或hausdorff距离。
4.根据权利要求1所述的一种路面病害同源多特征图像获取方法，其特征在于，步骤2.1.3的具体过程为：
设图像和图像之间有匹配特征点对为(q1，q2)，对应于空间点Q＝(X，Y，Z)；设第1相机的坐标系为O1-xyz，光心为O1，q1图像上的坐标是[x1，y1]T；设第2相机的相机坐标系为O2-xyz，光心为O2，q2图像上的坐标是[x2，y2]T；设两个相机具有相同的相机内参矩阵K，则在各自相机坐标系内，空间点Q和图像点q1，q2之间的关系根据小孔成像模型表达为：
O1-xyz相机坐标系：
O2-xyz相机坐标系：
其中，d1为第1相机的光心到空间点Q的距离，d2为第2相机的光心到空间点Q的距离；
设第1相机的坐标系O1-xyz位于世界坐标系原点，第2相机的坐标系O2-xyz通过旋转和平移操作变换到原点，设有旋转矩阵R3×3和平移矩阵T3×1，则相机坐标系O1-xyz和O2-xyz通过以下公式联系：
设向量垂直于和T，则上式(3)可以进一步简化为：
式(4)中内参矩阵K已知，通过多组特征点对，求得T×R的值；进一步通过奇异值分解算法求出旋转矩阵R3×3和平移矩阵T3×1，获得两个相机之间的相对空间位置，进而获得第2相机的空间位置。
5.根据权利要求4所述的一种路面病害同源多特征图像获取方法，其特征在于，步骤2.1.4中，通过空间位置获得特征点的空间点坐标的具体公式为：
6.一种用于实现权利要求1获取方法的路面病害同源多特征图像获取系统，其特征在于，包括：
采集模块，用于通过采集t个时刻的k个相机拍摄的路面图像，并传递至模型建立模块；
模型建立模块，用于根据k个相机在t个时刻内拍摄到的路面图像，建立路面的三维点云模型；
校准模块，用于校准路面的三维点云模型；
生成模块，用于通过校准后的三维点云模型，获得路面的深度图像、彩色图像和重叠图像。
7.一种路面病害同源多特征图像获取装置，其特征在于，包括：相机系统和装载在其内的电子控制系统，所述电子控制系统和权利要求6的多特征图像获取系统无线连接；
所述相机系统包括固定设置在车尾顶部的固定卡扣(1)，固定卡扣(1)通过固定绷带(2)连接有上横杆(3)；所述上横杆(3)铰接有两根主纵杆(4)；
车身后部连接有下横杆(4)，下横杆(4)铰接有两根支撑杆(9)，每一个支撑杆(9)和一个主纵杆(4)铰接；
主纵杆(4)的外端部嵌套连接有拓展纵杆(6)，两个拓展纵杆(6)的外端部共同固定连接有相机固定横杆(11)，相机固定横杆(11)上连接有多个滑动相机支架(12)，每一个滑动相机支架(12)上安装有一个相机(13)。
CN202011210756.0A 2020-11-03 2020-11-03 一种路面病害同源多特征图像获取系统、装置及方法 Active CN112308912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011210756.0A CN112308912B (zh) 2020-11-03 2020-11-03 一种路面病害同源多特征图像获取系统、装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011210756.0A CN112308912B (zh) 2020-11-03 2020-11-03 一种路面病害同源多特征图像获取系统、装置及方法

Publications (2)

Publication Number Publication Date
CN112308912A CN112308912A (zh) 2021-02-02
CN112308912B true CN112308912B (zh) 2023-09-15

Family

ID=74332746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011210756.0A Active CN112308912B (zh) 2020-11-03 2020-11-03 一种路面病害同源多特征图像获取系统、装置及方法

Country Status (1)

Country Link
CN (1) CN112308912B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780259B (zh) * 2021-11-15 2022-03-15 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质
CN116664582B (zh) * 2023-08-02 2023-10-27 四川公路桥梁建设集团有限公司 一种基于神经视觉网络的路面检测方法及装置
CN117951540B (zh) * 2023-10-19 2024-10-18 中国水利水电科学研究院 一种基于特征立方体的流域相似性分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196371A1 (zh) * 2017-04-26 2018-11-01 华南理工大学 一种三维手指静脉识别方法及系统
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN111340873A (zh) * 2020-02-28 2020-06-26 广东工业大学 一种多视角图像的物体最小外包络尺寸测算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196371A1 (zh) * 2017-04-26 2018-11-01 华南理工大学 一种三维手指静脉识别方法及系统
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN111340873A (zh) * 2020-02-28 2020-06-26 广东工业大学 一种多视角图像的物体最小外包络尺寸测算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
席小霞 ; 宋文爱 ; 邱子璇 ; 史磊 ; .基于RGB-D值的三维图像重建系统研究.测试技术学报.2015,(第05期),全文. *
赵矿军 ; .基于RGB-D摄像机的室内三维彩色点云地图构建.哈尔滨商业大学学报(自然科学版).2018,(第01期),全文. *

Also Published As

Publication number Publication date
CN112308912A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112308912B (zh) 一种路面病害同源多特征图像获取系统、装置及方法
CN110285793B (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN108317953A (zh) 一种基于无人机的双目视觉目标表面3d检测方法及系统
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
WO2019067298A2 (en) EXTRINSIC CALIBRATION OF CAMERA SYSTEMS
CN106375706B (zh) 利用双摄像头进行运动物体测速的方法、装置及移动终端
CN105741379A (zh) 一种变电站全景巡检方法
CN103533237B (zh) 一种从视频中提取视频关键帧的方法
CN112949478B (zh) 基于云台相机的目标检测方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
JP2020506487A (ja) シーンから深度情報を取得するための装置および方法
CN106570899B (zh) 一种目标物体检测方法及装置
CN105378794A (zh) 3d拍摄装置、用于建立3d图像的方法和用于构建3d拍摄装置的方法
CN106033614B (zh) 一种强视差下的移动相机运动目标检测方法
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
WO2023046211A1 (zh) 摄影测量方法、装置、设备及存储介质
KR20170086476A (ko) 동영상 카메라 초점 응용을 위한 거리 측정 디바이스
CN202058221U (zh) 一种基于双目视觉的客流统计装置
CN115019208A (zh) 一种面向动态交通场景的路面三维重建方法和系统
JP2015121524A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
CN111998834B (zh) 一种裂缝监测方法及系统
CN116704111B (zh) 图像处理方法和设备
Chidburee et al. Toward 3D reconstruction of damaged vehicles for investigating traffic accidents in Thailand using a photogrammetric approach.
CN109463306A (zh) 移动式智慧物联电动测量车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant