CN111862234A - 双目相机自标定方法及系统 - Google Patents

双目相机自标定方法及系统 Download PDF

Info

Publication number
CN111862234A
CN111862234A CN202010711704.5A CN202010711704A CN111862234A CN 111862234 A CN111862234 A CN 111862234A CN 202010711704 A CN202010711704 A CN 202010711704A CN 111862234 A CN111862234 A CN 111862234A
Authority
CN
China
Prior art keywords
binocular camera
deviation
self
calibration method
parameter group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010711704.5A
Other languages
English (en)
Other versions
CN111862234B (zh
Inventor
王磊
李嘉茂
朱冬晨
刘衍青
张晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN202010711704.5A priority Critical patent/CN111862234B/zh
Publication of CN111862234A publication Critical patent/CN111862234A/zh
Application granted granted Critical
Publication of CN111862234B publication Critical patent/CN111862234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种双目相机自标定方法及系统，包括：1)获取左右原始图像；2)校正左右原始图像；3)从左右校正图像中提取特征点并匹配；4)统计左右图像纵坐标偏差的平均值，若大于对应阈值则修正估计第一参数组，反复迭代修正，直至小于对应阈值；5)找到静态物体；6)处于移动状态时，追踪静态物体的视差及车轮运动信息；7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差，若大于对应阈值则修正估计第二参数组，反复迭代校正，直至小于对应阈值，完成自标定。本发明利用实时图像追踪和车体运动信息，对内外参进行优化标定，完成图像校正工作，为车体提供准确的三维识别数据。

Description

双目相机自标定方法及系统
技术领域
本发明涉及图像处理领域，特别是涉及一种双目相机自标定方法及系统。
背景技术
双目传感器作为可应用于室外场景的立体相机，可以为机器人提供立体障碍物检测功能，双目相机通过对机器人前进方向的图像分析识别可以计算视野内障碍物的三维位置信息，为机器人的安全行驶提供保障。然而双目相机在作为立体相机使用前，需要经过严格的标定过程。
如“A Flexible New Technique for Camera Calibration”文章给出了经典的双目棋盘格标定方法，该标定方法可以对双目相机的内外参进行估计，但由于双目使用过程中受到外力挤压撞击，甚至是环境的温度湿度影响，均会导致双目相机的内外参，特别是外参的变化。
现有技术中还给出了一些对双目相机的内外参进行估计的方法，但是普遍存在受外界环境影响大、非线性优化无法收敛等问题。
因此，如何提出一种基于实时数据对内外参进行优化标定的方法以使得双目相机提供准确的三维识别数据，已成为本领域技术人员亟待解决的问题之一。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种双目相机自标定方法及系统，用于解决现有技术中内外参在使用过程中受环境影响发生变化、非线性优化无法收敛等问题。
为实现上述目的及其他相关目的，本发明提供一种双目相机自标定方法，所述双目相机自标定方法至少包括：
1)分别从双目相机的两个图像采集单元获取左右原始图像；
2)根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；
3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；
4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与对应阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于对应阈值，更新所述第一参数组；
5)对场景内的物体进行分类，找到场景中的静态物体；
6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；
7)基于所述车轮运动信息得到至少两个方向的车轮运动距离，基于所述静态物体的视差得到与车轮运动距离方向对应的静态物体的三维距离变化值，分别比较同一方向的车轮运动距离与静态物体的三维距离变化值得到对应的距离偏差；若任意距离偏差大于对应阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至各距离偏差均小于对应阈值，更新所述第二参数组，完成对双目相机参数的自标定。
可选地，所述第一参数组中的参数包括双目相机左右镜头的焦距偏差、俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。
更可选地，所述第二参数组中的参数包括双目相机的镜头焦距、偏航角偏差及基线长。
更可选地，步骤4)中所述纵坐标偏差的平均值满足如下关系式：
Figure BDA0002596775110000021
Figure BDA0002596775110000022
Figure BDA0002596775110000023
Figure BDA0002596775110000024
Figure BDA0002596775110000025
Figure BDA0002596775110000026
Figure BDA0002596775110000027
其中，VErr为所述纵坐标偏差值的平均值，wk为第k对特征点对的权重，VLk为第k对特征点对在左图像中的纵坐标，VRk为第k对特征点对在右图像中的纵坐标，N为特征点对的数量，UCk，VCk，UDk，VDk为中间变量，ULk为第k对特征点对在左图像中的横坐标，URk为第k对特征点对在右图像中的横坐标，Δdf为双目相机左右镜头的焦距偏差，f为双目相机的镜头焦距，Δp为双目相机的俯仰角偏差，Δr为双目相机的翻滚角偏差，ΔH为双目相机的高度偏差，ΔD为双目相机的前后偏差，b为双目相机的基线长。
更可选地，将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。
更可选地，第k对特征点对的权重wk为默认值或第k对特征点对的权重wk满足如下关系：
Figure BDA0002596775110000031
其中，ResU为左右图像每行的像素数，ResV为左右图像每列的像素数。
更可选地，步骤3)中对所述第一参数组中的参数进行修正时，将修正量乘以第一系数后进行修正，得到修正的参数，其中，所述第一系数大于0且小于等于1。
可选地，步骤3)中基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布。
可选地，步骤5)中采用语义识别找到所述静态物体。
可选地，步骤7)中，得到第一方向及第二方向的车轮运动距离，所述第一方向为车身前后方向，所述第二方向为车身左右方向；对应计算第一方向及第二方向上所述静态物体的三维距离变化值，满足如下关系式：
Figure BDA0002596775110000032
Figure BDA0002596775110000033
Figure BDA0002596775110000034
其中，ΔZ为第一方向上静态物体的三维距离变化值合集；b为双目相机的基线长；f为双目相机的镜头焦距；D1、D2分别为静态物体在t1时刻及t2时刻的视差合集；Δd为视差偏差；ΔX为第二方向上静态物体的三维距离变化值合集；U1、U2分别为静态物体在t1时刻及t2时刻的横坐标合集；Δy为双目相机的偏航角偏差。
更可选地，第一方向上的距离偏差满足如下关系式：
Figure BDA0002596775110000035
第二方向上的距离偏差满足如下关系式：
Figure BDA0002596775110000041
其中，Δf为双目相机焦距的修正量，ΔM为车轮在第一方向上的运动距离，Δb为双目相机基线长的修正量，f为双目相机的镜头焦距，D1i、D2i分别为第i个静态物体在t1时刻及t2时刻的视差值，ΔN为车轮在第二方向上的运动距离，U1i、U2i分别为第i个静态物体在t1时刻及t2时刻的横坐标。
更可选地，步骤7)中对所述第二参数组中的参数进行修正时，将修正量乘以第二系数后进行修正，得到修正的参数，其中，所述第二系数大于0且小于等于1。
可选地，步骤7)中追踪的起始时刻及追踪的最终时刻，所述双目相机的朝向一致。
可选地，所述双目相机自标定方法还包括8)根据修正的所述第二参数组计算视野环境内的三维信息。
为实现上述目的及其他相关目的，本发明提供一种双目相机自标定系统，所述双目相机自标定系统至少包括：
移动平台、双目相机、图像处理单元及移动平台控制单元；
所述双目相机设置于所述移动平台上，用于获取左右图像；
所述图像处理单元设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元连接，执行上述双目相机自标定方法，实现自标定；
所述移动平台控制单元设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。
可选地，所述双目相机的两个图像采集单元具有同步触发关系、同样的分辨率、同样焦段的镜头，镜头的调整过程具有同步调整关系，成像平面处于同一个平面上。
可选地，所述移动平台的车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动，所述编码器用于记录所述轮子的转动角度及圈数。
如上所述，本发明的双目相机自标定方法及系统，具有以下有益效果：
本发明的双目相机自标定方法及系统不依靠事先准备的标定工具，利用实时图像追踪和车体运动信息，对包括内参的焦距及外参的旋转以及平移偏差在内的内外参参数进行优化标定，并完成相关图像校正工作，使双目相机能够为车体提供准确的三维识别数据。本发明的双目相机自标定方法及系统适用于镜头焦距未知的定焦双目相机及变焦双目相机。
附图说明
图1显示为本发明的双目相机自标定方法的流程示意图。
图2显示为本发明的校正图像的中坐标系的示意图。
图3显示为本发明t1时刻及t2时刻的运动方向及坐标系示意图。
图4显示为本发明的双目相机自标定系统的结构示意图。
元件标号说明
101～102 第一～第二图像采集单元
110 图像处理单元
201～204 第一～第四车轮
210 移动平台控制单元
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1～图4。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
如图1所示，本实施例提供一种双目相机自标定方法，所述双目相机自标定方法包括：
1)分别从双目相机的两个图像采集单元获取左右原始图像。
具体地，双目相机包括两个图像采集单元(镜头)，两个图像采集单元具备硬件触发同步关系，采用同样分辨率的成像元件、同样焦段的镜头构成，采用变焦镜头时左右镜头的变焦过程具备同步调整关系，且两个图像采集单元的成像平面处于同一个平面上，图像中心位于同一水平线，图像成像中心的间距为双目相机的基线长。所述双目相机为镜头焦距未知的定焦双目相机或变焦双目相机，基于所述双目相机获取左、右两幅原始图像。
2)根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组主要影响垂直方向视差，第二参数组主要影响水平方向视差。
具体地，假定所述双目相机的畸变已被修正，并且左右成像元件结构设计中处于同一平面上呈水平方向排列，由于结构或者环境影响导致的变形并不会导致很大的物理误差情况。所述双目相机的内参包括镜头焦距f(设左右焦距的中位数为f，左右焦距的偏差值设为2Δdf，其中，Δdf定义为双目相机左右镜头的焦距偏差，则左镜头焦距为f-Δdf，右镜头焦距为f+Δdf)、左右成像元件中心位置(cx1，cy1)和(cx2，cy2)。所述双目相机的外参包括俯仰角偏差Δp(Δpitch)、偏航角偏差Δy(Δyaw)、翻滚角偏差Δr(Δroll)以及基线长b(baseline)、高度偏差ΔH和前后偏差ΔD。
在本实施例中，将参数按照是否会影响水平视差匹配运算(主要影响垂直方向视差)而分组，影响水平视差匹配运算的参数有双目相机的左右镜头焦距偏差Δdf、左右成像元件中心位置的纵坐标cy、双目相机的俯仰角偏差Δp、双目相机的翻滚角偏差Δr、双目相机的高度偏差ΔH和双目相机的前后偏差ΔD，记为第一参数组A；不影响水平视差匹配运算的参数有双目相机的镜头焦距f、左右成像元件中心位置的横坐标cx、双目相机的偏航角偏差Δy(通常，当双目相机的偏航角偏差Δy的角度小于5度时可以忽略台形畸变产生的垂直视差)和双目相机的基线长b，记为第二参数组B。当双目相机的偏航角偏差Δy和俯仰角偏差Δp不大于5度时，其偏差对图像造成的影响与元件中心位置的横纵坐标cx和cy类似，在本实施例中将元件中心位置的横纵坐标cx和cy默认在图像的中心位置，双目相机的中心点偏差通过双目相机的偏航角偏差Δy和俯仰角偏差Δp进行修正；最终得到的所述第一参数组A及所述第二参数组B的参数如下：
第一参数组A＝{Δdf，Δp，Δr，ΔH，ΔD}
第二参数组B＝{f，Δy，b}
其中，所述第一参数组A中参数的偏差将导致双目图像产生垂直方向的偏差，影响深度匹配运算过程，修正所述第一参数组A的参数，可以使左右图像匹配像素在同一水平线上，从而大幅减轻视差计算步骤的计算量；所述第二参数组B中参数的偏差将导致双目图像产生水平方向偏差，即造成视差偏差或深度偏差，修正所述第二参数组B的参数可以通过视差得到准确的三维数据结果。
需要说明的是，在实际使用中，可根据需要将相关的内参或外参加入到本发明的所述第一参数组A或所述第二参数组B中，不以本实施例为限。
具体地，在已知所述双目相机的内外参的情况下，采用标准校正算法对左右原始图像进行校正，所述标准校正算法包括但不限于opencv算法库当中的stereoRectify函数，matlab也有这种函数，在此不一一赘述。校正后所述第一参数组A中的双目相机的左右焦距偏差Δdf、俯仰角偏差Δp、翻滚角偏差Δr、高度偏差ΔH、前后偏差ΔD(均为偏差参数)的值均为0(或接近0的一阈值范围内)；所述第二参数组B中的双目相机的偏航角偏差Δy(偏差参数)的值为0(或接近0的一阈值范围内)；所述双目相机的镜头焦距f更新为f+Δf，Δf为双目相机焦距的修正量，可通过非线性优化计算得到；实际应用中，双目相机的基线长b更新为b+Δb，Δb为双目相机基线长的修正量，可通过非线性优化计算得到，理论上更新后的双目相机的基线长b满足：sqrt(b*b+ΔH′*ΔH′+ΔD′*ΔD′)，其中，ΔH′为高度偏差ΔH的修正量，ΔD′为前后偏差ΔD的修正量。
3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤。
具体地，作为示例，在本实施例中，基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布；在实际使用中任意提取特征点的方法均适用于本发明，不限于本实施例。提取特征点后基于匹配算法对左右校正图像中的特征点进行匹配，得到特征点对；并过滤误匹配的特征点。
4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于第一阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与所述第一阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于所述第一阈值，更新所述第一参数组。
具体地，将图像分辨率记为ResU x ResV，其中ResU为每行的像素数，ResV为每列的像素数。特征点对在左右图的像素坐标设为(UL，VL)和(UR，VR)，坐标系如图2所示，原点为图像中心位置，U轴向右，V轴向下，特征对数量为N。所述纵坐标偏差的平均值满足如下关系式：
Figure BDA0002596775110000071
其中，VErr为所述纵坐标偏差值的平均值；wk为第k对特征点对的权重，在本示例中，默认为1，在实际使用中可根据需要设定权重wk的值，各特征点对的权重wk可以是相同值，也可以是不同值；VLk为第k对特征点对在左图像中的纵坐标；VRk为第k对特征点对在右图像中的纵坐标；N为特征点对的数量。
作为本发明的一种实现方式，在本实施例中，在修正所述第一参数组A之前，设置如下中间变量：
Figure BDA0002596775110000081
由几何关系可得出所述第一参数组A中各参数的解算方程如下：
Figure BDA0002596775110000082
Figure BDA0002596775110000083
Figure BDA0002596775110000084
Figure BDA0002596775110000085
Figure BDA0002596775110000086
其中，UCk，VCk，UDk，VDk为中间变量，ULk为第k对特征点对在左图像中的横坐标，URk为第k对特征点对在右图像中的横坐标。双目相机的基线长b及双目相机的镜头焦距f可采用默认值或出厂设置值，通过反复迭代修正可将垂直偏差修正，其值不准确并不影响修正效果。基于双目相机的左右镜头焦距偏差Δdf、俯仰角偏差Δp、翻滚角偏差Δr、高度偏差ΔH及前后偏差ΔD估计的修正量对图像整体进行平移和/或旋转操作，使得各特征点对左在右图像中的纵坐标基本一致(位于同一行)，即所述纵坐标偏差值的平均值VErr趋近于0(小于第一阈值)。
需要说明的是，在实际修正时，可以根据实际情况仅对影响比较严重的一个或多个参数进行修正，包括但不限于仅修正双目相机的俯仰角偏差Δp和翻滚角偏差Δr。所述第一阈值可基于实际需要设定具体数值，不以本实施例为限。
作为本发明的另一种实现方式，由于上述公式中存在近似关系，且实际情况中特征点对多个误差混合在一起，也可以通过矩阵运算或者非线性优化的方式对所述第一参数组A求解，在此不一一赘述。
作为本发明的另一种实现方式，实际操作中多种偏差混合在一起，公式计算偏差的结果往往不够精确，直接按照公式来修正的话会导致修正过量(超调)，本示例采用类似PID控制的方法，给所述第一参数组A的各修正量乘以第一系数后与对应的当前外参结果相加得到修正的参数，通过反复迭代修正的方式，首先将大误差修正到小误差，再将小误差逐渐缩小，最终完成修正过程，以此得到精确的所述第一参数组A的参数，其中，所述第一系数大于0且小于等于1。
作为本发明的另一种实现方式，各特征点对的权重wk根据特征点位置到图像中心的距离来设置，作为示例，满足如下关系式：
Figure BDA0002596775110000091
5)对场景内的物体进行分类，找到场景中的静态物体。
具体地，在本实施例中，利用语义识别算法对场景内的物体进行分类，找到所述场景中处于静止状态的物体，包括但不限于建筑、道路、路标，在此不一一列举。
6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息。
具体地，所述双目相机处于移动状态时，通过筛选获得静态物体范围内的特征点对，并基于特征点对计算静态物体的视差。双目相机的偏航角偏差Δy角度较小(一般角度小于5度)时，会对全图整体视差造成等量的视差偏差Δd，Δy和Δd的关系如下：
Figure BDA0002596775110000092
具体地，对所述静态物体的三维信息进行追踪，并记录追踪过程中的车轮运动信息用以计算车轮里程计。
7)基于所述车轮运动信息得到至少两个方向的车轮运动距离，基于所述静态物体的视差得到与车轮运动距离方向对应的静态物体的三维距离变化值，分别比较同一方向的车轮运动距离与静态物体的三维距离变化值得到对应的距离偏差，若任意距离偏差大于对应阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至各距离偏差均小于对应的阈值，更新所述第二参数组，完成对双目相机参数的自标定。
如图3所示，假设车体带动所述双目相机在t1到t2时间段内行驶，且t1时刻和t2时刻由车轮里程计计算的朝向基本一致，即t1时刻和t2时刻之间的行驶路径可以不保持绝对直线行驶，t1时刻和t2时刻的朝向一致即可，作为示例，汽车换道过程，换道前和换到后朝向一致，由所述车轮里程计得到在前进方向的车轮运动距离为ΔM，在车体横向上的车轮运动距离为ΔN(在本实施中，以两个相互垂直方向上的移动进行第二参数组的修正，在实际使用中，可基于两个以上任意方向上的移动进行修正，不以本实施例为限)。在本实施例中，以左图像采集单元的光学中心为原点建立坐标系，X轴指向车身右侧，Z轴指向车身正前方，则在车体向前行进ΔM、向右移动ΔN距离后，静态物体在Z方向的移动距离应该接近ΔM，在X方向上的移动距离应该接近ΔN。此时间段对静态物体的特征点集合进行追踪，对应t1时刻和t2时刻的左图(或右图)的像素坐标分别为(U1，V1)和(U2，V2)，视差集合分别为D1和D2，静态特征集合在t1时刻和t2时刻在Z方向的三维距离变化值合集ΔZ及X方向的三维距离变化值合集ΔX的解算方程分别如下：
Figure BDA0002596775110000101
Figure BDA0002596775110000102
由于在Z方向上所述静态物体的三维距离变化值合集ΔZ中的每一个变化值与所述车轮运动距离ΔM接近，在X方向上所述静态物体的三维距离变化值合集ΔX中的每一个变化值与所述车轮运动距离ΔN接近，因此可以得出如下非线性方程对所述第二参数组B求解：
Figure BDA0002596775110000103
Figure BDA0002596775110000104
基于以上两式分别求解右侧式子值最小时的Δf，以及Δb和Δd，其中，Δf为双目相机焦距的修正量，Δb为双目相机基线长的修正量，D1i、D2i分别为第i个静态物体在t1时刻及t2时刻的视差值，U1i、U2i分别为第i个静态物体在t1时刻及t2时刻的横坐标。经过多组数据反复迭代修正所述第二参数组B，当上述非线性方程的误差分别小于第二阈值及第三阈值时结束参数修正，并用新的参数更新当前所述第二参数组B，即可完成对双目相机的自标定。所述第二阈值及所述第三阈值可基于实际需要设定具体数值，不以本实施例为限。
作为本发明的另一种实现方式，为了防止修正过量(超调)，对所述第二参数组B中的参数进行修正时，给所述第二参数组B的各修正量乘以第二系数后与对应的当前外参结果相加得到修正的参数，通过反复迭代修正的方式最终完成修正过程，其中，所述第二系数大于0且小于等于1。
作为本发明的另一种实现方式，所述双目相机自标定方法还包括：8)根据修正的所述第一参数组及所述第二参数组计算视野环境内的三维信息并输出。
实施例二
如图4所示，本实施例提供一种双目相机自标定系统，所述双目相机自标定系统包括：
移动平台、双目相机、图像处理单元110及移动平台控制单元210。
如图4所示，所述移动平台包括但不限于移动机器人平台、车体，在此不一一列举。
具体的，所述移动平台包括承载台及车轮，在本实施例中，包括四个车轮，分别为第一车轮201、第二车轮202、第三车轮203及第四车轮204。各车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动；所述编码器用于记录所述轮子的转动角度及圈数，实时读回各编码器的值，并根据各编码器的值可推算所述移动平台的位移变化。
如图4所示，所述双目相机设置于所述移动平台上，用于获取左右图像。
具体地，所述双目相机包括两个图像采集单元，第一图像采集单元101及第二图像采集单元102，所述第一图像采集单元101及所述第二图像采集单元102设置并朝向所述移动平台的前端，且所述第一图像采集单元101及所述第二图像采集单元102具有同步触发关系、同样的分辨率、同样焦段的镜头，采用变焦镜头时左右镜头的变焦过程具备同步调整关系，且两个图像采集单元的成像平面处于同一个平面上。
如图4所示，所述图像处理单元110设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元210连接，执行实施例一的双目相机自标定方法，实现自标定。
具体地，所述图像处理单元110从所述第一图像采集单元101及所述第二图像采集单元102获取实时图像数据，并进行数据处理；同时从所述移动平台控制单元210获取车轮里程；进而通过实时图像追踪和车体运动信息，对内外参进行优化标定，并完成相关图像校正工作，使双目相机能够为移动平台提供准确的三维识别数据。
需要说明的是，自标定的方法参见实施例一，在此不一一赘述。
如图4所示，所述移动平台控制单元210设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。
综上所述，本发明提供一种双目相机自标定方法及系统，包括：1)分别从双目相机的两个图像采集单元获取左右原始图像；2)根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与对应阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于对应阈值，更新所述第一参数组；5)对场景内的物体进行分类，找到场景中的静态物体；6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；7)基于所述车轮运动信息得到至少两个方向的车轮运动距离，基于所述静态物体的视差得到与车轮运动距离方向对应的静态物体的三维距离变化值，分别比较同一方向的车轮运动距离与静态物体的三维距离变化值得到对应的距离偏差；若任意距离偏差大于对应阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至各距离偏差均小于对应阈值，更新所述第二参数组，完成对双目相机参数的自标定。本发明的双目相机自标定方法及系统不依靠事先准备的标定工具，利用实时图像追踪和车体运动信息，对包括内参的焦距及外参的旋转以及平移偏差在内的内外参参数进行优化标定，并完成相关图像校正工作，使双目相机能够为车体提供准确的三维识别数据。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (17)

1.一种双目相机自标定方法，其特征在于，所述双目相机自标定方法至少包括：
1)分别从双目相机的两个图像采集单元获取左右原始图像；
2)根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；
3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；
4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与对应阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于对应阈值，更新所述第一参数组；
5)对场景内的物体进行分类，找到场景中的静态物体；
6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；
7)基于所述车轮运动信息得到至少两个方向的车轮运动距离，基于所述静态物体的视差得到与车轮运动距离方向对应的静态物体的三维距离变化值，分别比较同一方向的车轮运动距离与静态物体的三维距离变化值得到对应的距离偏差；若任意距离偏差大于对应阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至各距离偏差均小于对应阈值，更新所述第二参数组，完成对双目相机参数的自标定。
2.根据权利要求1所述的双目相机自标定方法，其特征在于：所述第一参数组中的参数包括双目相机左右镜头的焦距偏差、俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。
3.根据权利要求2所述的双目相机自标定方法，其特征在于：所述第二参数组中的参数包括双目相机的镜头焦距、偏航角偏差及基线长。
4.根据权利要求3所述的双目相机自标定方法，其特征在于：步骤4)中所述纵坐标偏差的平均值满足如下关系式：
Figure FDA0002596775100000011
Figure FDA0002596775100000021
Figure FDA0002596775100000022
Figure FDA0002596775100000023
Figure FDA0002596775100000024
Figure FDA0002596775100000025
Figure FDA0002596775100000026
其中，VErr为所述纵坐标偏差值的平均值，wk为第k对特征点对的权重，VLk为第k对特征点对在左图像中的纵坐标，VRk为第k对特征点对在右图像中的纵坐标，N为特征点对的数量，UCk,VCk,UDk,VDk为中间变量，ULk为第k对特征点对在左图像中的横坐标，URk为第k对特征点对在右图像中的横坐标，Δdf为双目相机左右镜头的焦距偏差，f为双目相机的镜头焦距，Δp为双目相机的俯仰角偏差，Δr为双目相机的翻滚角偏差，ΔH为双目相机的高度偏差，ΔD为双目相机的前后偏差，b为双目相机的基线长。
5.根据权利要求4所述的双目相机自标定方法，其特征在于：将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。
6.根据权利要求4所述的双目相机自标定方法，其特征在于：第k对特征点对的权重wk为默认值或第k对特征点对的权重wk满足如下关系：
Figure FDA0002596775100000027
其中，ResU为左右图像每行的像素数，ResV为左右图像每列的像素数。
7.根据权利要求4～6任意一项所述的双目相机自标定方法，其特征在于：步骤3)中对所述第一参数组中的参数进行修正时，将修正量乘以第一系数后进行修正，得到修正的参数，其中，所述第一系数大于0且小于等于1。
8.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤3)中基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布。
9.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤5)中采用语义识别找到所述静态物体。
10.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤7)中，得到第一方向及第二方向的车轮运动距离，所述第一方向为车身前后方向，所述第二方向为车身左右方向；对应计算第一方向及第二方向上所述静态物体的三维距离变化值，满足如下关系式：
Figure FDA0002596775100000031
Figure FDA0002596775100000032
Figure FDA0002596775100000033
其中，ΔZ为第一方向上静态物体的三维距离变化值合集；b为双目相机的基线长；f为双目相机的镜头焦距；D1、D2分别为静态物体在t1时刻及t2时刻的视差合集；Δd为视差偏差；ΔX为第二方向上静态物体的三维距离变化值合集；U1、U2分别为静态物体在t1时刻及t2时刻的横坐标合集；Δy为双目相机的偏航角偏差。
11.根据权利要求10所述的双目相机自标定方法，其特征在于：第一方向上的距离偏差满足如下关系式：
Figure FDA0002596775100000034
第二方向上的距离偏差满足如下关系式：
Figure FDA0002596775100000035
其中，Δf为双目相机焦距的修正量，ΔM为车轮在第一方向上的运动距离，Δb为双目相机基线长的修正量，D1i、D2i分别为第i个静态物体在t1时刻及t2时刻的视差值，ΔN为车轮在第二方向上的运动距离，U1i、U2i分别为第i个静态物体在t1时刻及t2时刻的横坐标。
12.根据权利要求10或11所述的双目相机自标定方法，其特征在于：步骤7)中对所述第二参数组中的参数进行修正时，将修正量乘以第二系数后进行修正，得到修正的参数，其中，所述第二系数大于0且小于等于1。
13.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤7)中追踪的起始时刻及追踪的最终时刻，所述双目相机的朝向一致。
14.根据权利要求1所述的双目相机自标定方法，其特征在于：所述双目相机自标定方法还包括8)根据修正的所述第一参数组及所述第二参数组计算视野环境内的三维信息。
15.一种双目相机自标定系统，其特征在于，所述双目相机自标定系统至少包括：
移动平台、双目相机、图像处理单元及移动平台控制单元；
所述双目相机设置于所述移动平台上，用于获取左右图像；
所述图像处理单元设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元连接，执行如权利要求1～14任意一项所述的双目相机自标定方法，实现自标定；
所述移动平台控制单元设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。
16.根据权利要求15所述的双目相机自标定系统，其特征在于：所述双目相机的两个图像采集单元具有同步触发关系、同样的分辨率、同样焦段的镜头，镜头的变焦过程具有同步调整关系，成像平面处于同一个平面上。
17.根据权利要求15所述的双目相机自标定系统，其特征在于：所述移动平台的车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动，所述编码器用于记录所述轮子的转动角度及圈数。
CN202010711704.5A 2020-07-22 2020-07-22 双目相机自标定方法及系统 Active CN111862234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010711704.5A CN111862234B (zh) 2020-07-22 2020-07-22 双目相机自标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010711704.5A CN111862234B (zh) 2020-07-22 2020-07-22 双目相机自标定方法及系统

Publications (2)

Publication Number Publication Date
CN111862234A true CN111862234A (zh) 2020-10-30
CN111862234B CN111862234B (zh) 2023-10-20

Family

ID=72949466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010711704.5A Active CN111862234B (zh) 2020-07-22 2020-07-22 双目相机自标定方法及系统

Country Status (1)

Country Link
CN (1) CN111862234B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308932A (zh) * 2020-11-04 2021-02-02 中国科学院上海微系统与信息技术研究所 一种注视检测方法、装置、设备及存储介质
CN112734859A (zh) * 2021-01-11 2021-04-30 Oppo广东移动通信有限公司 摄像模组参数的标定方法及装置、电子设备、存储介质
CN112907487A (zh) * 2021-03-23 2021-06-04 东软睿驰汽车技术（沈阳）有限公司 双目校正结果的确定方法、装置和电子设备
CN112929535A (zh) * 2021-01-25 2021-06-08 北京中科慧眼科技有限公司 基于双目相机的镜头姿态修正方法、系统和智能终端
CN113267137A (zh) * 2021-05-28 2021-08-17 北京易航远智科技有限公司 一种轮胎形变的实时测量方法和装置
CN113327198A (zh) * 2021-06-04 2021-08-31 武汉卓目科技有限公司 一种远距离双目视频拼接方法及系统
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN117516594A (zh) * 2024-01-08 2024-02-06 元橡科技（北京）有限公司 一种双目相机测距自校正方法、系统及存储介质
CN112907487B (zh) * 2021-03-23 2024-10-29 东软睿驰汽车技术（沈阳）有限公司 双目校正结果的确定方法、装置和电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231750A (zh) * 2008-02-21 2008-07-30 南京航空航天大学 一种双目立体测量系统的标定方法
CN102323878A (zh) * 2011-05-31 2012-01-18 电子科技大学 一种用于cordic算法模校正的电路装置及方法
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
US20160073102A1 (en) * 2014-09-05 2016-03-10 Intel Corporation Camera calibration
CN105631853A (zh) * 2015-11-06 2016-06-01 湖北工业大学 车载双目相机标定及参数验证方法
CN106558080A (zh) * 2016-11-14 2017-04-05 天津津航技术物理研究所 一种单目相机外参在线标定系统及方法
CN106683139A (zh) * 2017-02-20 2017-05-17 南京航空航天大学 基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
US20180356526A1 (en) * 2017-06-13 2018-12-13 TuSimple Sensor calibration and time method for ground truth static scene sparse flow generation
CN109767476A (zh) * 2019-01-08 2019-05-17 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定及深度计算方法
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN109919856A (zh) * 2019-01-21 2019-06-21 重庆交通大学 基于双目视觉的沥青路面构造深度检测方法
CN110197510A (zh) * 2019-06-05 2019-09-03 广州极飞科技有限公司 双目相机的标定方法、装置、无人机和存储介质
CN110321877A (zh) * 2019-06-04 2019-10-11 中北大学 一种三目后视镜和三目视觉安全驾驶方法和系统
CN110517303A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于双目相机和毫米波雷达的融合slam方法及系统
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231750A (zh) * 2008-02-21 2008-07-30 南京航空航天大学 一种双目立体测量系统的标定方法
CN102323878A (zh) * 2011-05-31 2012-01-18 电子科技大学 一种用于cordic算法模校正的电路装置及方法
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
US20160073102A1 (en) * 2014-09-05 2016-03-10 Intel Corporation Camera calibration
CN105631853A (zh) * 2015-11-06 2016-06-01 湖北工业大学 车载双目相机标定及参数验证方法
CN106558080A (zh) * 2016-11-14 2017-04-05 天津津航技术物理研究所 一种单目相机外参在线标定系统及方法
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN106683139A (zh) * 2017-02-20 2017-05-17 南京航空航天大学 基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法
US20180356526A1 (en) * 2017-06-13 2018-12-13 TuSimple Sensor calibration and time method for ground truth static scene sparse flow generation
CN109767476A (zh) * 2019-01-08 2019-05-17 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定及深度计算方法
CN109919856A (zh) * 2019-01-21 2019-06-21 重庆交通大学 基于双目视觉的沥青路面构造深度检测方法
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110321877A (zh) * 2019-06-04 2019-10-11 中北大学 一种三目后视镜和三目视觉安全驾驶方法和系统
CN110197510A (zh) * 2019-06-05 2019-09-03 广州极飞科技有限公司 双目相机的标定方法、装置、无人机和存储介质
CN110517303A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于双目相机和毫米波雷达的融合slam方法及系统
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
C.T.HUANG, ET AL.,: ""Dynamic camera calibration"", 《PROCEEDINGS OF INTERNATIONAL SYMPOSIUM ON COMPUTER VISION-ISCV》 *
孙冬梅;张广明;陈玉明;: "双目视觉测量系统摄像机外部参数标定研究", 控制工程, no. 04 *
袁建英;吴思东;刘甲甲;蒋涛;黄小燕;: "双目三维重建实验平台设计", 西部素质教育, no. 11 *
郑榜贵;段建民;田炳香;: "移动机器人视觉传感器的现场标定技术", 现代电子技术, no. 22 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308932A (zh) * 2020-11-04 2021-02-02 中国科学院上海微系统与信息技术研究所 一种注视检测方法、装置、设备及存储介质
CN112308932B (zh) * 2020-11-04 2023-12-08 中国科学院上海微系统与信息技术研究所 一种注视检测方法、装置、设备及存储介质
CN112734859A (zh) * 2021-01-11 2021-04-30 Oppo广东移动通信有限公司 摄像模组参数的标定方法及装置、电子设备、存储介质
CN112929535A (zh) * 2021-01-25 2021-06-08 北京中科慧眼科技有限公司 基于双目相机的镜头姿态修正方法、系统和智能终端
CN112907487B (zh) * 2021-03-23 2024-10-29 东软睿驰汽车技术（沈阳）有限公司 双目校正结果的确定方法、装置和电子设备
CN112907487A (zh) * 2021-03-23 2021-06-04 东软睿驰汽车技术（沈阳）有限公司 双目校正结果的确定方法、装置和电子设备
CN113267137A (zh) * 2021-05-28 2021-08-17 北京易航远智科技有限公司 一种轮胎形变的实时测量方法和装置
CN113267137B (zh) * 2021-05-28 2023-02-03 北京易航远智科技有限公司 一种轮胎形变的实时测量方法和装置
CN113327198A (zh) * 2021-06-04 2021-08-31 武汉卓目科技有限公司 一种远距离双目视频拼接方法及系统
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113610932B (zh) * 2021-08-20 2024-06-04 苏州智加科技有限公司 双目相机外参标定方法和装置
CN117516594B (zh) * 2024-01-08 2024-03-22 元橡科技（北京）有限公司 一种双目相机测距自校正方法、系统及存储介质
CN117516594A (zh) * 2024-01-08 2024-02-06 元橡科技（北京）有限公司 一种双目相机测距自校正方法、系统及存储介质

Also Published As

Publication number Publication date
CN111862234B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN111862234B (zh) 双目相机自标定方法及系统
CN111862235B (zh) 双目相机自标定方法及系统
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN109631896B (zh) 一种基于车辆视觉和运动信息的停车场自主泊车定位方法
CN110136208B (zh) 一种机器人视觉伺服系统的联合自动标定方法及装置
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN104299244B (zh) 基于单目相机的障碍物检测方法及装置
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及系统
CN109767476A (zh) 一种自动对焦双目摄像头标定及深度计算方法
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN112669354B (zh) 一种基于车辆非完整约束的多相机运动状态估计方法
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN104539928A (zh) 一种光栅立体印刷图像合成方法
CN112184792B (zh) 一种基于视觉的道路坡度计算方法及装置
CN114022560A (zh) 标定方法及相关装置、设备
CN114693787B (zh) 停车库建图与定位方法、系统及车辆
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN102842117A (zh) 显微视觉系统中运动误差矫正方法
CN107845145B (zh) 一种电子显微场景下的三维重构系统及方法
CN111862236B (zh) 定焦双目相机自标定方法及系统
CN113239072B (zh) 一种终端设备定位方法及其相关设备
CN104167001B (zh) 基于正交补偿的大视场摄像机标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant