CN112991369B - 基于双目视觉的行驶车辆外廓尺寸检测方法 - Google Patents

基于双目视觉的行驶车辆外廓尺寸检测方法 Download PDF

Info

Publication number
CN112991369B
CN112991369B CN202110322147.2A CN202110322147A CN112991369B CN 112991369 B CN112991369 B CN 112991369B CN 202110322147 A CN202110322147 A CN 202110322147A CN 112991369 B CN112991369 B CN 112991369B
Authority
CN
China
Prior art keywords
vehicle
pixel
image
value
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110322147.2A
Other languages
English (en)
Other versions
CN112991369A (zh
Inventor
王正家
陈长乐
何嘉奇
王少东
邵明志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202110322147.2A priority Critical patent/CN112991369B/zh
Publication of CN112991369A publication Critical patent/CN112991369A/zh
Application granted granted Critical
Publication of CN112991369B publication Critical patent/CN112991369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目视觉的行驶车辆外廓尺寸检测方法，包括：双目摄像头标定及校正；对校正后视图进行运动物体识别与追踪，获取车辆特征区；对所识别车辆表面做纹理增强处理，解决弱纹理表面检测精度低的问题；基于车辆行驶场景特点，提出基于时序传播的立体匹配算法生成标准视差图，提高车辆外廓尺寸测量精度；对所生成视差图进行三维重建生成点云图；提出空间坐标拟合算法，拟合所追踪车辆多帧点云图，生成标准车辆外廓尺寸图，解决单帧点云图无法完整显示车辆外廓尺寸问题。该方法测量效果不受车速限制、测量精度高、测量范围广、成本低。且双目摄像头具有结构灵活、安装方便，可适用于所有路段测量的优点。

Description

基于双目视觉的行驶车辆外廓尺寸检测方法
技术领域
本发明属于计算机视觉技术领域，涉及一种车辆外廓尺寸检测方法，尤其涉及一种基于双目视觉的行驶车辆外廓尺寸检测方法。
背景技术
我国检测车辆外饰违法改装的主要途经为交警巡查，该种方法效率低下，在交通网络中大部分路段处于漏检状态。因此部分货运车主为了经济利益擅改车辆外廓尺寸，部分轿车主擅加车顶箱、行李框等，对道路交通安全造成极大隐患。针对行驶车辆外廓尺寸高效化、智能化检测不仅能及时检测车辆违法改装，在限高限宽等路段也能发挥重要作用。
现有技术中，车辆外廓尺寸检测分为静止状态检测、行驶状态检测两种。如中国发明专利CN111966857A、CN109373928A、CN107167090A为静止状态检测方法，通过多传感器融合方式测量检测区中所停车辆的外廓尺寸。该方法相比人工检测效率有所提高，但效率仍然较低。仅适用于车管所等固定场所，无法在道路上进行设备安装。
行驶状态车辆外廓尺寸检测以激光雷达检测为主。如中国发明专利CN104655249A、CN108592801A、CN111649678A，通过多个激光雷达对行驶车辆进行外廓尺寸测量。该方法测量时不影响车辆正常行驶，能够准确测量车辆外廓尺寸信息。但存在以下缺点：1、激光雷达作为主动式测量设备仅能测量速度小于30km/h的车辆外廓尺寸；2、硬件成本高，中距激光雷达市场价格5000元以上；3、环境适应性差，且无法通过遮罩进行保护，室外环境下需经常清洁；4、无法识别车辆牌照，无法保存车辆管理信息。
双目视觉的物体测量是基于视差原理并由多幅图像获取物体三维几何信息的方法。其非接触、安装方便、成本低、自动化程度高等诸多优点而在工业生产中得到了越来越广泛的应用。如中国发明专利CN110425996A、CN110672007A、CN107588721，在工业环境下通过双目视觉技术对2m内零件进行轮廓尺寸测量。但现有双目视觉三维轮廓测量在硬件上受相机基线、焦距、光轴参数影响，距离越远物体成相效果越差，测量精度越低。在算法上存在弱纹理物体误匹配率高的技术问题。因此无法应用于道路行驶车辆外廓尺寸测量。
发明内容
为了解决背景技术中存在的上述技术问题，本发明提供了一种测量效果不受车速限制以及测量精度高的基于双目视觉的行驶车辆外廓尺寸检测方法。
为了实现上述目的，本发明采用如下技术方案：
一种基于双目视觉的行驶车辆外廓尺寸检测方法，其特征在于：所述基于双目视觉的行驶车辆外廓尺寸检测方法包括以下步骤：
1)对所采集的双目视觉图像进行双目校正，获取左视图集以及右视图集；
2)对左视图集以及右视图集分别进行运动物体识别与追踪，分别获取左视图中车辆特征区以及右视图中车辆特征区；
3)使用边缘检测算子分别将左视图中车辆特征区以及右视图中车辆特征区分割成多个像素子集；不同像素子集通过不同阈值进行灰度增强，增强车体表面纹理；
4)分别以左右视图为基准图像，进行基于时序传播的半全局立体匹配，生成标准视差图；
5)对标准视差图内车辆特征区进行空间坐标转换，生成具有实际空间大小的三维点云图；
6)重复步骤2)至步骤5)，对追踪车辆生成多个三维点云图；基于空间几何特征对多个三维点云图进行坐标拟合，生成车辆外廓三维图。
作为优选，本发明所采用的步骤1)的具体实现方式是：
1.1)对两摄像头分别进行标定，获得相机内参：焦距(fx，fy)、中心点在像素坐标系中的位置(cx，cy)、径向畸变系数(k1，k2，k3)以及切向畸变系数(p1，p2)；所述两摄像头的参数相同，摄像头摆放须保证光轴平行，两摄像头之间基线距离不小于300mm；
1.2)对两摄像头进行双目标定，获得相机外参：相对平移量T以及相对转动量R；
1.3)对所采集图像根据径向畸变系数以及切向畸变系数进行畸变校正，根据相机外参进行立体校正，使所获取的左视图、右视图完全共面且像素点对准。
作为优选，本发明所采用的步骤2)的具体实现方式是：
2.1)利用灰度转换函数对左视图集、右视图集进行灰度化；所述灰度转换的公式为：
其中：
R、G、B分别为图像像素三通道的值；
Gray为所计算像素的灰度值；
2.2)灰度化后视图集中第n+1帧、第n帧和第n-1帧的灰度值分别记为fn+1(x，y)、fn(x，y)和fn-1(x，y)，按图像差分公式分别得到差分图像Dn+1和Dn；所述图像差分公式为：
Dn(x，y)＝|fn(x，y)-fn-1(x，y)|
对差分图像Dn+1和Dn按照三帧差分公式进行操作，得到图像D′n；所述三帧差分公式为：
D′n(x，y)＝|fn+1(x，y)-fn(x，y)|∩|fn(x，y)-fn-1(x，y)|；
2.3)对图像D′n中各像素点进行二值化处理，得到二值化图像R′n；其中，灰度值为255的点即运动目标点，灰度值为0的点即为背景点；所述二值化处理公式为：
其中：
NA为待检测区域中像素的总数目；
T为二值化的阈值，用于分析图像序列的运动特性，确定图像序列中有无物体运动。
D′n(x，y)为图像D′n上像素灰度值。
λ为光照的抑制系数；
A可设为整帧视图；
添加项表达了整帧图像中光照的变化情况；
2.4)视图中车辆特征区Rn(x，y)为图像R′n中灰度值为255像素点集；对Rn(x，y)进行边界提取公式获取车辆轮廓像素区R″n(x，y)；所述边界提取公式为：
其中：
B是一个适当的结构元。
作为优选，本发明所采用的步骤3)的具体实现方式是：
3.1)使用Sobel算子对左右视图中车辆特征区Rn(x，y)进行边缘检测，将像素区按不同梯度进行区域划分；将划分后的车辆像素子区记为Sn，n为划分后区域个数；
3.2)对车辆像素子区Sn进行灰度增强，所述灰度增强公式为：
Sn(x，y)＝Tn[Sn(x，y)]
其中：
Tn是灰度变换函数；
Sn(x，y)是灰度增强后车辆特征区的灰度值合集。
作为优选，本发明所采用的步骤4)的具体实现方式是：
4.1)以左视图为基准图像对右视图进行匹配代价计算；所述匹配代价计算以AD法与Census法相结合的算法进行运算；
所述AD法为左右视图车辆特征区域内Sn(x，y)的灰度差的绝对值；所述AD法计算公式为：
其中：
CAD(x，y)为匹配代价；
为左视图像素点的灰度值。
为右视图像素点的灰度值。
所述Census法为通过将邻域窗口(窗口大小为n×m，n和m都为奇数)内的像素灰度值与窗口中心像素的灰度值进行比较，将比较得到的布尔值映射到一个比特串中，然后用比特串的值作为中心像素的Census变换值Cs；所述窗口大小为n×m，n和m都为奇数；所述Census变换值Cs的公式是：
其中：
n′和m′分别为不大于n和m的一半的最大整数；
I(x，y)为窗口中心像素的灰度值。
I(x+i，y+j)为窗口内其他像素的灰度值。
为比特位的逐位连接运算，ξ运算公式为：
基于Census变换的匹配代价计算方法是计算左右影像对应的两个像素的Census变换值的汉明距离，即：
CCensus(x，y)：＝Hamming(Csl(xi，yi)，Csr(xi，yi))
其中：
Csl(xi，yi)为左视图像素点的Census变换值，即位数为n×m-1的比特串。
Csr(xi，yi)为右视图像素点的Census变换值，即位数为n×m-1的比特串。
Hamming(Csl(xi，yi)，Csr(xi，yi))为两个比特串的对应位不相同的数量，计算方法为将两个比特串进行亦或运算，再统计亦或运算结果的比特位中不为1的个数；
所述AD法与Census法相结合的匹配代价计算方法为将AD法匹配代价CAD(x，y)，Census法匹配代价CCensus(x，y)归一化到相同的范围区间；计算公式为：
C(x，y)＝ρ(Ccensus(x，y)，λcensus)+ρ(CAD(x，y)，λAD)
其中：
ρ运算公式为：
其中：
c是代价值；
λ是控制参数；
λcensus是Ccensus(x，y)的控制参数；
λAD是CAD(x，y)的控制参数；
所述控制参数的目的在于，当c和λ都为正值时，这个函数的值区间在[0，1]的。因此可以通过该函数将任意代价值归一化到[0，1]的范围。
4.2)对计算了匹配代价后的左视图进行基于时序传播的代价聚合，使聚合后的代价值能够更准确的反应像素之间的相关性；
所述基于时序传播的代价聚合算法是：基于车辆行驶的特征构件能量函数，将寻找每个像素最优视差的问题转换成求解能量函数最小值得问题；所述基于车辆行驶的特征所构件能量函数为：
其中：
C为匹配代价，公式的第一项是数据项，表示当视差图为D时，所有像素的匹配代价的累加；
第二项和第三项是平滑项，表示对像素p的Np邻域内的所有像素q进行惩罚，其中P1较小，对相邻像素视差变化小于1个像素进行惩罚；
第三项惩罚力度较大(P2＞P1)，对相邻像素视差变化大于1个像素的情况进行惩罚；
第四项为时序传播惩罚项，fn(p，Dp)为当前帧像素p的邻域Np上所有像素q所求取的灰度平均值，fn-1(p，Dp)为上一帧像素p的邻域Np上所有像素q所求取的灰度平均值；
4.3)对代价聚合后的左视图进行视差计算，选取每个像素选择最小聚合代价值所对应的视差值作为最终视差，生成左视差图；
4.4)以右视图为基准图像，左视图为待匹配图像，重复步骤4.1)至步骤4.3)，获得右视图差；基于视差的唯一性约束，将左右视差图中对应像素点视差值进行对比，剔除两视差值之间差值大于1像素的视差值，获得精准视差图Dp；其计算公式为：
作为优选，本发明所采用的步骤5)的具体实现方式是：
5.1)由三角测量原理对视差图Dp中各像素视差值d进行深度转换，获得车辆特征区中各像素在世界坐标系D轴坐标，即车辆外廓距离相机的距离；所述深度转换公式为：
其中：
D为像素在世界坐标系下与相机的距离；
b为两相机之间的基线距离；
fx为相机在相机坐标系上x轴方向的焦距；
5.2)对车辆特征区各像素进行空间坐标转换，获得各像素在世界坐标系下x与y坐标；所述空间坐标转换为像素坐标系到图像坐标系转换、图像坐标系到相机坐标系转换、相机坐标系到世界坐标系转换；其转换公式简化为：
其中：
(u，v)为像素坐标；
fx，fy分别为相机焦距；
cx，cy分别为中心点在像素坐标系中的位置；
(x，y，D)为像素在世界坐标系下坐标；
为相机外参矩阵；
其中为1.2)中标定所测得的转动矩阵R。
为1.2)中标定所测得的平移矩阵T。
坐标转换后所得车辆点云图为S(x，y，D)。
作为优选，本发明所采用的步骤6)的具体实现方式是：
6.1)设Si(x，y，D)为三维点云图，i为三维点云图份数；基于车辆在空间中运动，存在车身偏移，但车辆尺寸不发生变换；即Si(xi，yi，Di)与Si-1(xi-1，yi-1，Di-1)空间坐标拟合时存在相对转动角θ；
设车辆左右后视镜区域点集为Kl、Kr，世界坐标系分为x轴、y轴、D轴；在Si(xi，yi，Di)的Kl、Kr上选取特征点A、B，Si-1(xi-1，yi-1，Di-1)的Kl、Kr上选取特征点C、D，根据所述特征点空间几何特征算得特征点坐标A、B、C、D，所述空间几何特征为：
其中：
yA、yB、yC、yD为对应特征点的y轴坐标。
lAB、lCD为线段长；
xmin、xmax分别为区域Kl、Kr内x轴上的极限值；
Dmin为区域Kl、Kr内D轴上最小值；
所述Si-1相对Si的转动角θ计算公式为：
6.2)所述多个三维点云图进行坐标拟合方法为，以Si(x，y，D)为标准点云图，根据步骤6.1)计算其他点云图的相对转动角θi；以点云图上所求A点为车辆坐标原点，对点云图上点p(x，y，D)进行坐标转换，所述点p为点云图上任意一点；所述坐标转换公式为：
p(x-xA，y-yA，D-DA)
其中xA、yA、DA为A点的x轴、y轴、D轴坐标。
对标准点云图以外所有云图根据相对转动角θi进行坐标拟合，所述坐标拟合公式为：
所述q为拟合后坐标；
为点云图内任意一点坐标；
所有点云图相对标准点云图Si进行拟合后所得点云图为完整车辆外廓尺寸图。
与现有技术相比，本发明具有如下的有益效果：
1)测量效果不受车速限制：车辆驶入双目相机成像范围即可完成测量。
2)测量精度高：相比于传统双目视觉算法，本方法通过识别车辆并增强车体表面纹理提高了左右视图匹配准确度；基于车辆行驶场景提出基于时序传播的立体匹配算法，增强视频帧间车辆特征区相关性，提高视差图精度；提出坐标拟合算法，对车辆进入成像范围期间的多次测量结果进行坐标拟合，解决车辆轮廓测量不全的问题。
3)结构灵活、安装方便：适用于所有路段，安装时只需调整两相机相对位置即可。
4)成本低：由两个相同参数摄像头组成，单个摄像头价格200-500元。
本发明所提供的基于双目视觉的行驶车辆外廓尺寸检测方法是通过双目相机实时采集道路图像，对所采集图像进行运动物体识别与追踪，获取车辆特征区，对所识别车辆特征区进行图像增强，提高图像中车辆与道路对比度，从而提高用于立体匹配的车辆成像效果。对车辆特征区进行边缘检测、区域划分，不同区域按不同阈值进行灰度变换，实现增强车体表面纹理作用，提高立体匹配中像素点匹配准确率。针对车辆行驶场景，提出基于时序传播的立体匹配算法，提高车辆外廓尺寸测量精度。图像进行立体匹配后，进行坐标转换、三维重建生成车辆外廓尺寸三维图。对所追踪车辆多次三维重建、坐标拟合，实现行驶车辆外廓尺寸高精度、高效化测量，且该测量方法不受车速影响。
附图说明
图1为本发明实施例的整理流程图；
图2为本发明实施例的基于时序传播立体匹配算法流程图；
图3为空间中点与双目相机的位置关系图。
具体实施方式
下面将结合附图和实施例对本发明进行详细说明，对本发明实施例中的技术方案进行完整、清晰地描述。
参见图1，本发明所提供的基于双目视觉的行驶车辆外廓尺寸检测方法的具体实施流程，包括：
S110所采集双目视觉图像进行双目校正，获取左视图集、右视图集。
本具体实施方式中，采用张正友标定法对双目摄像头进行标定。张正友标定方法为：1、打印一张棋盘格标定图纸，将其贴在屏幕物体的表；2、通过移动标定图片拍摄一组不同方向棋盘格的图片。3、对于每张拍摄的棋盘图片，检测图片中所有棋盘格的角点。4、定义打印的棋盘图纸位于世界坐标系D＝0的平面上，世界坐标系的原点位于棋盘图纸的固定一角，像素坐标系原点位于图片左上角。5、基于角点信息，利用极大似然估计法求解双目摄像头的内参、外参、畸变系数。6、利用内参、外参、畸变系数对双目摄像头所拍摄图像进行校正，获取左视图集、右视图集。对两摄像头分别进行标定，获得相机内参：焦距(fx，fy)、中心点在像素坐标系中的位置(cx，cy)、径向畸变系数(k1，k2，k3)、切向畸变系数(p1，p2)。
S120校正后视图进行运动物体识别与追踪，获取视图中车辆特征区。对所采集图像根据畸变系数进行畸变校正，根据相机外参进行立体校正，使所获取的左视图、右视图完全共面且像素点对准。
本具体实施方式中，运动物体识别与追踪方法可采用背景减法、两帧差分法、三帧差分法。其中三帧差分法进行运动目标检测可以较强地适应动态环境的变化，有效地去除系统误差和噪声的影响，对场景中光照的变化不敏感而且不易受阴影，特别适合本发明的应用场景。
下面将以三帧差分法为例，提供运动物体识别与追踪过程：
步骤S120具体包括图1中未示出的子步骤S1201至S1204。
子步骤S1201，利用灰度转换函数对左视图集、右视图集进行灰度化。灰度转换的公式为：
其中RGB为图像像素三通道的值，Gray为所计算像素的灰度值。
子步骤S1202，灰度化后视图集中第n+1帧、第n帧和第n-1帧的灰度值记为fn+1(x，y)、fn(x，y)和fn-1(x，y)，按图像差分公式分别得到差分图像Dn+1和Dn。图像差分公式为：
Dn(x，y)＝|fn(x，y)-fn-1(x，y)|
对差分图像Dn+1和Dn按照三帧差分公式进行操作，得到图像D′n。三帧差分公式为：
D′n(x，y)＝|fn+1(x，y)-fn(x，y)|∩|fn(x，y)-fn-1(x，y)|
子步骤S1203，对图像D′n中各像素点进行二值化处理，得到二值化图像R′n。其中，灰度值为255的点即运动目标点，灰度值为0的点即为背景点。二值化处理公式为：
其中，NA为待检测区域中像素的总数目，λ为光照的抑制系数，A可设为整帧视图。添加项表达了整帧图像中光照的变化情况。如果场景中的光照变化较小，则该项的值趋向于零；如果场景中的光照变化明显，则该项的值明显增大，因此能有效地抑制光线变化对运动目标检测结果的影响。
子步骤S1204，视图中车辆特征区Rn(x，y)为图像R′n中灰度值为255像素点集。对Rn(x，y)进行边界提取公式获取车辆轮廓像素区R″n(x，y)。边界提取公式为：
其中B是一个适当的结构元。
S130使用边缘检测算子将左右视图中车辆特征区分割成多个像素子集。不同像素子集通过不同阈值进行灰度增强，提高车辆表面纹理。
本具体实施方式中，边缘检测算子可采用Sobel算子、Canny算子、Prewitt算子。其中Sobel算子具有对噪声有抑制作用，因此不会出现很多孤立的边缘像素点，适合用来对本发明中车辆特征区进行分区。
下面将以Sobel算子为例子，提供提高车辆表面纹理性的方法：
使用Sobel算子对左右视图中车辆特征区Rn(x，y)进行边缘检测，将像素区按不同梯度进行区域划分。将划分后的车辆像素子区记为Sn，n为划分后区域个数。
对车辆像素子区Sn进行灰度增强，灰度增强公式为：Sn(x，y)＝Tn[Sn(x，y)]
其中，Tn是灰度变换函数；Sn(x，y)是灰度增强后车辆特征区的灰度值合集。
S140分别以左右视图为基准图像，进行基于时序传播的立体匹配，生成标准视差图。
本具体实施方式中，结合图2，提供生成标准视差图方法：
S21以左视图为基准图像对右视图进行匹配代价计算。匹配代价计算以AD法与Census法相结合的算法进行运算。
AD法为左右视图车辆特征区域内Sn(x，y)的灰度差的绝对值。AD法计算公式为：
其中CAD(x，y)为匹配代价。
Census法为通过将邻域窗口(窗口大小为n×m，n和m都为奇数)内的像素灰度值与窗口中心像素的灰度值进行比较，将比较得到的布尔值映射到一个比特串中，然后用比特串的值作为中心像素的Census变换值Cs。如公式：
其中，n′和m′分别为不大于n和m的一半的最大整数，为比特位的逐位连接运算，ζ运算公式为：
基于Census变换的匹配代价计算方法是计算左右影像对应的两个像素的Census变换值的汉明(Hamming)距离，即：
CCensus(x，y)：＝Hamming(Csl(xi，yi)，Csr(xi，yi))
汉明距离即两个比特串的对应位不相同的数量，计算方法为将两个比特串进行亦或运算，再统计亦或运算结果的比特位中不为1的个数。
AD法与Census法相结合的匹配代价计算方法为将AD法匹配代价CAD(x，y)，Census法匹配代价CCensus(x，y)归一化到相同的范围区间。计算公式为：
C(x，y)＝ρ(Ccensus(x，y)，λcensus)+ρ(CAD(x，y)，λAD)
其中ρ运算公式为：
其中c是代价值，λ是控制参数。
S22对匹配代价后的左视图进行基于时序传播的代价聚合。
由于S21步骤只考虑了像素间局部的相关性，对噪声非常敏感，因此对计算了匹配代价后的左视图进行基于时序传播的代价聚合，使聚合后的代价值能够更准确的反应像素之间的相关性。
基于时序传播的代价聚合算法为，基于车辆行驶的特征构件能量函数，将寻找每个像素最优视差的问题转换成求解能量函数最小值得问题。基于车辆行驶的特征所构件能量函数为：
其中，C为匹配代价，公式的第一项是数据项，表示当视差图为D时，所有像素的匹配代价的累加。第二项和第三项是平滑项，表示对像素p的Np邻域内的所有像素q进行惩罚，其中P1较小，对相邻像素视差变化小于1个像素进行惩罚；第三项惩罚力度较大(P2＞P1)，对相邻像素视差变化大于1个像素的情况进行惩罚。
第四项为时序传播惩罚项，fn(p，Dp)为当前帧像素p的邻域Np上所有像素q所求取的灰度平均值，fn-1(p，Dp)为上一帧像素p的邻域Np上所有像素q所求取的灰度平均值。其目的在于相邻帧的车辆特征区相同位置的像素大概率有相似的灰度值，因此对相邻帧灰度平均值做差进行惩罚。其中P3惩罚力度最大。
S23使用WTA算法计算最优视差，生成左视差图。WTA算法为对像素所对应的视差值进行比较，选取最小视差值作为最终视差，生成左视差图。
S24以右视差图为基准图重复步骤S21-S32，获右视差图。对比左右视差图进行视差优化，获得精准视差图。
基于视差的唯一性约束，将左右视差图中对应像素点视差值进行对比，剔除两视差值之间差值大于1像素的视差值，获得精准视差图Dp。其计算公式为：
S150对视差图内车辆特征区进行空间坐标转换，生成具有实际空间大小的三维点云图。
本具体实施方式中，结合图3，提供生成具有实际空间大小的三位点云图方法：
如图3所示，建立世界坐标系(x，y，D)与左摄像头相机坐标系重合。
相机坐标系以摄像机光心为原点，Zc轴与光轴重合。
建立图像坐标系，图像坐标系用物理长度单位表示像素的位置，坐标原点为摄像机光轴与图像物理坐标系的交点位置。坐标系为图上x′O′y′。
建立像素坐标系，坐标原点在图像左上角，以像素为单位，用于表示全画面的像素长和像素长宽。坐标系为图上uOv。
如图3所示，物距D为车辆特征区中各像素在世界坐标系下D轴坐标，即车辆外廓距离相机的距离。物距D计算方法为：
对车辆特征区各像素进行空间坐标转换，获得各像素在世界坐标系下x与y坐标。空间坐标转换为像素坐标系到图像坐标系转换、图像坐标系到相机坐标系转换、相机坐标系到世界坐标系转换。其转换公式简化为：
其中(u，v)为像素坐标、fx，fy为相机焦距、cx，cy为中心点在像素坐标系中的位置、(x，y，D)为像素在世界坐标系下坐标，为相机外参矩阵。
坐标转换后所得车辆点云图为S(x，y，D)。
S160基于空间几何特征对多个三维点云图进行坐标拟合，生成车辆外廓三维图。
本具体实施方式中，提供车辆外廓三维图生成方法：
设Si(x，y，D)为三维点云图，i为三维点云图份数。基于车辆在空间中运动，存在车身偏移，但车辆尺寸不发生变换。即Si(xi，yi，Di)与Si-1(xi-1，yi-1，Di-1)空间坐标拟合时存在相对转动角θ。
设车辆左右后视镜区域点集为Kl、Kr，世界坐标系分为x轴、y轴、D轴。在Si(xi，yi，Di)的Kl、Kr上选取特征点A、B，Si-1(xi-1，yi-1，Di-1)的Kl、Kr上选取特征点C、D，根据特征点空间几何特征算得特征点坐标A、B、C、D，空间几何特征为：
其中lAB、lCD为线段长。xmin、xmax为区域Kl、Kr内x轴上的极限值。Dmin为区域Kl、Kr内D轴上最小值。
Si-1相对Si的转动角θ计算公式为：
子步骤620，多个三维点云图进行坐标拟合方法为，以Si(x，y，D)为标准点云图，根据子步骤610计算其他点云图的相对转动角θi。以点云图上所求A点为车辆坐标原点，对点云图上点p(x，y，D)进行坐标转换，点p为点云图上任意一点。坐标转换公式为：
p(x-xA，y-yA，D-DA)
对标准点云图以外所有云图根据相对转动角θi进行坐标拟合，坐标拟合公式为：
q为拟合后坐标，为点云图内任意一点坐标。
综上，本发明提供一种基于双目视觉的行驶车辆外廓尺寸检测方法。通过双目相机实时采集道路图像，对所采集图像进行运动物体识别与追踪，获取车辆特征区。对所识别车辆特征区进行图像增强，提高图像中车辆与道路对比度，从而提高用于立体匹配的车辆成像效果。对车辆特征区进行边缘检测、区域划分，不同区域按不同阈值进行灰度变换，实现增强车体表面纹理作用，提高立体匹配中像素点匹配准确率。
针对车辆行驶场景，提出基于时序传播的立体匹配算法，提高车辆外廓尺寸测量精度。图像进行立体匹配后，进行坐标转换、三维重建生成车辆外廓尺寸三维图。
对所追踪车辆多次三维重建、坐标拟合，实现行驶车辆外廓尺寸高精度、高效化测量。

Claims (6)

1.一种基于双目视觉的行驶车辆外廓尺寸检测方法，其特征在于：所述基于双目视觉的行驶车辆外廓尺寸检测方法包括以下步骤：
1)对所采集的双目视觉图像进行双目校正，获取左视图集以及右视图集；
2)对左视图集以及右视图集分别进行运动物体识别与追踪，分别获取左视图中车辆特征区以及右视图中车辆特征区；
3)使用边缘检测算子分别将左视图中车辆特征区以及右视图中车辆特征区分割成多个像素子集；不同像素子集通过不同阈值进行灰度增强，增强车体表面纹理；
4)分别以左右视图为基准图像，进行基于时序传播的半全局立体匹配，生成标准视差图；具体是：
4.1)以左视图为基准图像对右视图进行匹配代价计算；所述匹配代价计算以AD法与Census法相结合的算法进行运算；
所述AD法为左右视图车辆特征区域内Sn(x，y)的灰度差的绝对值；所述AD法计算公式为：
其中：
CAD(x，y)为匹配代价；
为左视图像素点的灰度值；
为右视图像素点的灰度值；
所述Census法为通过将邻域窗口内的像素灰度值与窗口中心像素的灰度值进行比较，其中，窗口大小为n×m，n和m都为奇数，将比较得到的布尔值映射到一个比特串中，然后用比特串的值作为中心像素的Census变换值Cs；所述窗口大小为n×m，n和m都为奇数；所述Census变换值Cs的公式是：
其中：
n′和m′分别为不大于n和m的一半的最大整数；
I(x，y)为窗口中心像素的灰度值；
I(x+i，y+j)为窗口内其他像素的灰度值；
为比特位的逐位连接运算，ξ运算公式为：
基于Census变换的匹配代价计算方法是计算左右影像对应的两个像素的Census变换值的汉明距离，即：
CCensus(x，y):＝Hamming(Csl(xi，yi)，Csr(xi，yi))
其中：
Csl(xi，yi)为左视图像素点的Census变换值，即位数为n×m-1的比特串；
Csr(xi，yi)为右视图像素点的Census变换值，即位数为n×m-1的比特串；
Hamming(Csl(xi，yi)，Csr(xi，yi))为两个比特串的对应位不相同的数量，计算方法为将两个比特串进行亦或运算，再统计亦或运算结果的比特位中不为1的个数；
所述AD法与Census法相结合的匹配代价计算方法为将AD法匹配代价CAD(x，y)，Census法匹配代价CCensus(x，y)归一化到相同的范围区间；计算公式为：
C(x，y)＝ρ(Ccensus(x，y)，λcensus)+ρ(CAD(x，y)，λAD)
其中：
ρ运算公式为：
其中：
c是代价值；
λ是控制参数；
λcensus是Ccensus(x，y)的控制参数；
λAD是CAD(x，y)的控制参数；
所述控制参数的目的在于，当c和λ都为正值时，这个函数的值区间在[0,1]的；通过该函数将任意代价值归一化到[0,1]的范围；
4.2)对计算了匹配代价后的左视图进行基于时序传播的代价聚合，使聚合后的代价值能够更准确的反应像素之间的相关性；
所述基于时序传播的代价聚合算法是：基于车辆行驶的特征构件能量函数，将寻找每个像素最优视差的问题转换成求解能量函数最小值得问题；所述基于车辆行驶的特征所构件能量函数为：
其中：
C为匹配代价，公式的第一项是数据项，表示当视差图为D时，所有像素的匹配代价的累加；
第二项和第三项是平滑项，表示对像素p的Np邻域内的所有像素q进行惩罚，其中P1较小，对相邻像素视差变化小于1个像素进行惩罚；
第三项惩罚力度较大，其中P2>P1，对相邻像素视差变化大于1个像素的情况进行惩罚；
第四项为时序传播惩罚项，fn(p，Dp)为当前帧像素p的邻域Np上所有像素q所求取的灰度平均值，fn-1(p，Dp)为上一帧像素p的邻域Np上所有像素q所求取的灰度平均值；
4.3)对代价聚合后的左视图进行视差计算，选取每个像素选择最小聚合代价值所对应的视差值作为最终视差，生成左视差图；
4.4)以右视图为基准图像，左视图为待匹配图像，重复步骤4.1)至步骤4.3)，获得右视图差；基于视差的唯一性约束，将左右视差图中对应像素点视差值进行对比，剔除两视差值之间差值大于1像素的视差值，获得精准视差图Dp精准；其计算公式为：
5)对标准视差图内车辆特征区进行空间坐标转换，生成具有实际空间大小的三维点云图；
6)重复步骤2)至步骤5)，对追踪车辆生成多个三维点云图；基于空间几何特征对多个三维点云图进行坐标拟合，生成车辆外廓三维图。
2.根据权利要求1所述的基于双目视觉的行驶车辆外廓尺寸检测方法，其特征在于：所述步骤1)的具体实现方式是：
1.1)对两摄像头分别进行标定，获得相机内参：焦距(fx，fy)、中心点在像素坐标系中的位置(cx，cy)、径向畸变系数(k1，k2，k3)以及切向畸变系数(p1，p2)；所述两摄像头的参数相同，摄像头摆放须保证光轴平行，两摄像头之间基线距离不小于300mm；
1.2)对两摄像头进行双目标定，获得相机外参：相对平移量T以及相对转动量R；
1.3)对所采集图像根据径向畸变系数以及切向畸变系数进行畸变校正，根据相机外参进行立体校正，使所获取的左视图、右视图完全共面且像素点对准。
3.根据权利要求2所述的基于双目视觉的行驶车辆外廓尺寸检测方法，其特征在于：所述步骤2)的具体实现方式是：
2.1)利用灰度转换函数对左视图集、右视图集进行灰度化；所述灰度转换的公式为：
其中：
R、G、B分别为图像像素三通道的值；
Gray为所计算像素的灰度值；
2.2)灰度化后视图集中第n+1帧、第n帧和第n-1帧的灰度值分别记为fn+1(x，y)、fn(x，y)和fn-1(x，y)，按图像差分公式分别得到差分图像Dn+1和Dn；所述图像差分公式为：
Dn(x，y)＝|fn(x，y)-fn-1(x，y)|
对差分图像Dn+1和Dn按照三帧差分公式进行操作，得到图像D′n；所述三帧差分公式为：
D′n(x，y)＝|fn+1(x，y)-fn(x，y)|∩|fn(x，y)-fn-1(x，y)|；
2.3)对图像D′n中各像素点进行二值化处理，得到二值化图像R′n；其中，灰度值为255的点即运动目标点，灰度值为0的点即为背景点；所述二值化处理公式为：
其中：
NA为待检测区域中像素的总数目；
T为二值化的阈值，用于分析图像序列的运动特性，确定图像序列中有无物体运动；
D′n(x，y)为图像D′n上像素灰度值；
λ为光照的抑制系数；
A可设为整帧视图；
添加项表达了整帧图像中光照的变化情况；
2.4)视图中车辆特征区Rn(x，y)为图像R′n中灰度值为255像素点集；对Rn(x，y)进行边界提取公式获取车辆轮廓像素区R′n″(x，y)；所述边界提取公式为：
其中：
B是一个适当的结构元。
4.根据权利要求3所述的基于双目视觉的行驶车辆外廓尺寸检测方法，其特征在于：所述步骤3)的具体实现方式是：
3.1)使用Sobel算子对左右视图中车辆特征区Rn(x，y)进行边缘检测，将像素区按不同梯度进行区域划分；将划分后的车辆像素子区记为Sn，n为划分后区域个数；
3.2)对车辆像素子区Sn进行灰度增强，所述灰度增强公式为：
Sn(x，y)＝Tn[Sn(x，y)]
其中：
Tn是灰度变换函数；
Sn(x，y)是灰度增强后车辆特征区的灰度值合集。
5.根据权利要求4所述的基于双目视觉的行驶车辆外廓尺寸检测方法，其特征在于：所述步骤5)的具体实现方式是：
5.1)由三角测量原理对视差图Dp中各像素视差值d进行深度转换，获得车辆特征区中各像素在世界坐标系D轴坐标，即车辆外廓距离相机的距离；所述深度转换公式为：
其中：
D为像素在世界坐标系下与相机的距离；
b为两相机之间的基线距离；
fx为相机在相机坐标系上x轴方向的焦距；
5.2)对车辆特征区各像素进行空间坐标转换，获得各像素在世界坐标系下x与y坐标；所述空间坐标转换为像素坐标系到图像坐标系转换、图像坐标系到相机坐标系转换、相机坐标系到世界坐标系转换；其转换公式简化为：
其中：
(u，v)为像素坐标；
fx，fy分别为相机焦距；
cx，cy分别为中心点在像素坐标系中的位置；
(x，y，D)为像素在世界坐标系下坐标；
为相机外参矩阵；
其中为1.2)中标定所测得的转动矩阵R；
为1.2)中标定所测得的平移矩阵T；
坐标转换后所得车辆点云图为S(x，y，D)。
6.根据权利要求5所述的基于双目视觉的行驶车辆外廓尺寸检测方法，其特征在于：所述步骤6)的具体实现方式是：
6.1)设Si(x，y，D)为三维点云图，i为三维点云图份数；基于车辆在空间中运动，存在车身偏移，但车辆尺寸不发生变换；即Si(xi，yi，Di)与Si-1(xi-1，yi-1，Di-1)空间坐标拟合时存在相对转动角θ；
设车辆左右后视镜区域点集为Kl、Kr，世界坐标系分为x轴、y轴、D轴；在Si(xi，yi，Di)的Kl、Kr上选取特征点A、B，Si-1(xi-1，yi-1，Di-1)的Kl、Kr上选取特征点C、D，根据所述特征点空间几何特征算得特征点坐标A、B、C、D，所述空间几何特征为：
其中：
yA、yB、yC、yD分别为对应特征点的y轴坐标；
lAB、lCD为线段长；
xmin、xmax分别为区域Kl、Kr内x轴上的极限值；
Dmin为区域Kl、Kr内D轴上最小值；
所述Si-1相对Si的转动角θ计算公式为：
6.2)所述多个三维点云图进行坐标拟合方法为，以Si(x，y，D)为标准点云图，根据步骤6.1)计算其他点云图的相对转动角θi；以点云图上所求A点为车辆坐标原点，对点云图上点p(x，y，D)进行坐标转换，所述点p为点云图上任意一点；所述坐标转换公式为：
p(x-xA，y-yA，D-DA)
其中xA、yA、DA分别为A点的x轴、y轴、D轴坐标；
对标准点云图以外所有云图根据相对转动角θi进行坐标拟合，所述坐标拟合公式为：
所述q为拟合后坐标；
为点云图内任意一点坐标；
所有点云图相对标准点云图Si进行拟合后所得点云图为完整车辆外廓尺寸图。
CN202110322147.2A 2021-03-25 2021-03-25 基于双目视觉的行驶车辆外廓尺寸检测方法 Active CN112991369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322147.2A CN112991369B (zh) 2021-03-25 2021-03-25 基于双目视觉的行驶车辆外廓尺寸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322147.2A CN112991369B (zh) 2021-03-25 2021-03-25 基于双目视觉的行驶车辆外廓尺寸检测方法

Publications (2)

Publication Number Publication Date
CN112991369A CN112991369A (zh) 2021-06-18
CN112991369B true CN112991369B (zh) 2023-11-17

Family

ID=76333688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322147.2A Active CN112991369B (zh) 2021-03-25 2021-03-25 基于双目视觉的行驶车辆外廓尺寸检测方法

Country Status (1)

Country Link
CN (1) CN112991369B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688846B (zh) * 2021-08-24 2023-11-03 成都睿琪科技有限责任公司 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
CN113673493B (zh) * 2021-10-22 2022-02-01 浙江建木智能系统有限公司 一种基于工业车辆视觉的行人感知和定位的方法和系统
CN114112448B (zh) * 2021-11-24 2024-02-09 中车长春轨道客车股份有限公司 基于f轨的磁浮车辆动态限界的测试装置和测试方法
CN114972471A (zh) * 2021-12-22 2022-08-30 江苏小白兔智造科技有限公司 一种基于双目视觉的轴距测量方法
CN114255286B (zh) * 2022-02-28 2022-05-13 常州罗博斯特机器人有限公司 一种多视角双目视觉感知的目标尺寸测量方法
CN114898577B (zh) * 2022-07-13 2022-09-20 环球数科集团有限公司 一种用于高峰期道路管理的道路智能管理系统与方法
CN115496757B (zh) * 2022-11-17 2023-02-21 山东新普锐智能科技有限公司 基于机器视觉的液压翻板余料量检测方法及系统
CN115862472B (zh) * 2022-11-29 2024-08-06 重庆长安汽车股份有限公司 显示屏、遮阳板、车辆的三维视觉识别方法、车辆及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN104236478A (zh) * 2014-09-19 2014-12-24 山东交通学院 一种基于视觉的车辆外廓尺寸自动测量系统及方法
CN108108680A (zh) * 2017-12-13 2018-06-01 长安大学 一种基于双目视觉的后方车辆识别与测距方法
CN207703161U (zh) * 2018-01-22 2018-08-07 西安建筑科技大学 一种货车外廓尺寸自动测量系统
CN108491810A (zh) * 2018-03-28 2018-09-04 武汉大学 基于背景建模和双目视觉的车辆限高方法及系统
CN111508030A (zh) * 2020-04-10 2020-08-07 湖北工业大学 一种计算机视觉的立体匹配方法
CN111611872A (zh) * 2020-04-27 2020-09-01 江苏新通达电子科技股份有限公司 新型双目视觉车辆检测方法及检测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101583950B1 (ko) * 2014-06-30 2016-01-08 현대자동차주식회사 차량정보 표시장치 및 그 표시방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN104236478A (zh) * 2014-09-19 2014-12-24 山东交通学院 一种基于视觉的车辆外廓尺寸自动测量系统及方法
CN108108680A (zh) * 2017-12-13 2018-06-01 长安大学 一种基于双目视觉的后方车辆识别与测距方法
CN207703161U (zh) * 2018-01-22 2018-08-07 西安建筑科技大学 一种货车外廓尺寸自动测量系统
CN108491810A (zh) * 2018-03-28 2018-09-04 武汉大学 基于背景建模和双目视觉的车辆限高方法及系统
CN111508030A (zh) * 2020-04-10 2020-08-07 湖北工业大学 一种计算机视觉的立体匹配方法
CN111611872A (zh) * 2020-04-27 2020-09-01 江苏新通达电子科技股份有限公司 新型双目视觉车辆检测方法及检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EVALUATION OF VARIANTS OF THE SGM ALGORITHM AIMED AT IMPLEMENTATION ON EMBEDDED OR RECONFIGURABLE DEVICES;Matteo Poggi;《Department of Computer Science and Engineering (DISI)》;全文 *
基于双目视觉的货车尺寸测量;王潜等;《计算机技术与发展》;第28卷(第06期);全文 *
基于视觉感知机制的轮廓检测方法;蔡超;王梦;;华中科技大学学报(自然科学版)(第07期);全文 *

Also Published As

Publication number Publication date
CN112991369A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112991369B (zh) 基于双目视觉的行驶车辆外廓尺寸检测方法
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN102999759B (zh) 一种基于光流的车辆运动状态估计方法
CN101527046B (zh) 一种运动检测方法、装置和系统
US10909395B2 (en) Object detection apparatus
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN112505684A (zh) 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法
CN110307791B (zh) 基于三维车辆边界框的车辆长度及速度计算方法
JP2004086779A (ja) 障害物検出装置及びその方法
CN112541953B (zh) 一种基于雷达信号和视频同步坐标映射的车辆检测方法
CN105718865A (zh) 一种自动驾驶中基于双目摄像头的道路安全检测系统及其方法
CN113554646B (zh) 基于计算机视觉的智慧城市道路路面检测方法及系统
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN111681275B (zh) 一种双特征融合的半全局立体匹配方法
JP3710548B2 (ja) 車両検出装置
CN111678518A (zh) 一种用于修正自动泊车路径的视觉定位方法
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN110889874B (zh) 一种双目相机标定结果的误差评估方法
US9098774B2 (en) Method for detection of targets in stereoscopic images
CN109859235B (zh) 一种夜间移动车灯跟踪检测系统、方法及设备
CN116973857A (zh) 一种雷达与视觉检测在线联合标定方法
CN103453890A (zh) 一种基于尾灯检测的夜间车距测量方法
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
CN117406234A (zh) 基于单线激光雷达与视觉融合的目标测距和追踪的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant