CN112947569B - 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 - Google Patents

基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 Download PDF

Info

Publication number
CN112947569B
CN112947569B CN202110258315.6A CN202110258315A CN112947569B CN 112947569 B CN112947569 B CN 112947569B CN 202110258315 A CN202110258315 A CN 202110258315A CN 112947569 B CN112947569 B CN 112947569B
Authority
CN
China
Prior art keywords
axis
image plane
target
image
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110258315.6A
Other languages
English (en)
Other versions
CN112947569A (zh
Inventor
李繁飙
鲁建权
阳春华
黄科科
周灿
尹蒙蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110258315.6A priority Critical patent/CN112947569B/zh
Publication of CN112947569A publication Critical patent/CN112947569A/zh
Application granted granted Critical
Publication of CN112947569B publication Critical patent/CN112947569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，包括：步骤1，通过四旋翼无人机的机载相机获取目标特征点的空间图像坐标和目标特征点的图像平面坐标，获得四旋翼无人机机载相机焦距，计算目标特征点的图像特征和目标特征点的雅可比矩阵，将多个目标特征点的图像特征构成图像特征向量，将多个目标特征点的雅可比矩阵构成叠加阵，获取机载相机的速度。本发明从四旋翼无人机机载相机的视角约束出发，对目标跟踪时的动态和稳态性能进行定量设计，引入预设性能函数，使得特征误差满足相应的预设性能约束，保证图像特征误差渐进稳定和目标特征的跟踪误差能收敛到预先设定的任意小的区域，实现四旋翼无人机对运动目标的跟踪控制。

Description

基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法
技术领域
本发明涉及飞行机器人控制技术领域，特别涉及一种基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法。
背景技术
如今，多旋翼飞行器，尤其是四旋翼飞行器，由于具有很高的机动性，较低的购置和维护成本以及出色的垂直起降能力，即使在恶劣的环境下，也被认为是最受欢迎的自动驾驶空中平台。此外，导航、感知传感器和高性能电池技术的快速进展显著提高了四旋翼无人机的续航和载荷能力，使其成为各种任务的理想平台，例如搜索和救援、区域覆盖、监视、物体运输和智能农业。
尽管在自主多旋翼操作过程中使用了许多导航传感器(GPS，INS等)，但由于摄像机重量轻、体积小、无源、低功耗等有点，使得其在机器人运动控制中至关重要，以便能够精确监视和跟踪感兴趣的区域和目标。如果是无人飞行系统，例如四旋翼飞行器，则可以通过将摄像头传感器直接安装在机器人上来轻松实现，从而形成所谓的“眼在手”系统。传统的视觉伺服方法依赖于一组视觉特征的提取，跟踪和匹配，这些视觉特征被用作控制器的输入，以引导机器人完成相应的控制任务。
由于对视觉伺服方法和应用的研究的持续深入，图像处理的逐渐成熟，和各种控制方法的发展，视觉伺服控制在机器人系统的发展和应用等方面展现出了巨大的价值。关于视觉伺服控制，可以定义四个主要类别：i)基于位置的视觉伺服(PBVS)，其中所选用的控制误差定义在笛卡尔空间中。ii)基于图像的视觉伺服(IBVS)，其中控制误差函数在图像空间中定义；iii)2-1/2或混合视觉伺服，其中控制误差函数在笛卡尔和图像空间中部分定义；iv)直接视觉伺服，无需提取特定特征，而是在控制设计中利用完整图像。上述方法各有利弊，其功效在很大程度上取决于应用需求。但是，IBVS被认为对航空器应用特别有效，特别是对移动目标的跟踪，因为它具有更好的局部稳定性和收敛性，这是因为它具有针对相机校准缺陷和建模误差的固有鲁棒性。
但由于四旋翼无人机动力学与机载相机运动学的耦合关系以及机载相机的视角限制给基于IBVS的四旋翼无人机控制器设计带来了困难。此外，机载相机的校准以及目标特征的深度的精确性也制约着四旋翼无人机视觉伺服控制器的设计，与传统控制系统相比，四旋翼无人机由于无人机自身结构决定着他具有欠驱动、非线性、强耦合等动力学特性。同时在四旋翼无人机视觉伺服控制中，由于机载相机的视角限制和无人机运动与机载相机的运动耦合导致无人机所跟踪的目标极易丢失，从而导致任务失败。
发明内容
本发明提供了一种，其目的是为了解决四旋翼无人机视觉伺服控制中，由于机载相机的视角限制和无人机运动与机载相机的运动耦合导致无人机所跟踪的目标极易丢失，从而导致任务失败的问题。
为了达到上述目的，本发明的实施例提供了一种基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，包括：
步骤1，通过四旋翼无人机的机载相机获取目标特征点的空间图像坐标和目标特征点的图像平面坐标，获得四旋翼无人机机载相机焦距，计算目标特征点的图像特征和目标特征点的雅可比矩阵，将多个目标特征点的图像特征构成图像特征向量，将多个目标特征点的雅可比矩阵构成叠加阵，获取机载相机的速度；
步骤2，根据多个目标特征点的雅可比矩阵构成的叠加阵和机载相机的速度构建四旋翼无人机机载相机透视投影模型；
步骤3，根据机载相机的视角限制设定图像特征坐标的可视约束；
步骤4，根据当前图像特征和设定的期望图像特征构建图像特征误差；
步骤5，选取预设性能函数为指数性能函数对图像特征误差的稳态和瞬态性能进行性能不等式约束；
步骤6，对图像特征误差进行归一化处理并设计同胚映射函数；
步骤7，根据设定的雅可比矩阵的伪逆、设定的雅可比矩阵的估计、设定的控制增益和同胚映射函数设计伺服控制器，通过伺服控制器进行目标的视觉跟踪控制。
其中，所述步骤1具体包括：
计算目标特征点i的图像特征，如下所示：
Figure BDA0002968472980000031
其中，si表示目标特征点i的图像特征，ui表示目标特征点i在图像平面u轴的坐标，i表示目标特征点，vi表示目标特征点i在图像平面v轴的坐标，xi表示目标特征点i在空间图像x轴的坐标，yi表示目标特征点i在空间图像y轴的坐标，zi表示目标特征点i在空间图像z轴的坐标，λ表示四旋翼无人机机载相机焦距；
将多个目标特征点i的图像特征构成的图像特征向量，如下所示：
Figure BDA0002968472980000032
其中，s表示多个目标特征点i的图像特征构成的图像特征向量；
计算目标特征点i的雅可比矩阵，如下所示：
Figure BDA0002968472980000033
其中，Li表示目标特征点i的雅可比矩阵；
将多个目标特征点i的雅可比矩阵构成的叠加阵，如下所示：
Figure BDA0002968472980000034
其中，L(z,s)表示多个目标特征点i的雅可比矩阵构成的叠加阵。
其中，所述步骤2具体包括：
根据多个目标特征点i的雅可比矩阵构成的叠加阵和机载相机的速度构建四旋翼无人机机载相机透视投影模型，如下所示：
Figure BDA0002968472980000035
其中，V表示机载相机的速度，V＝[Tx Ty Tz ωz]T，Tx表示机载相机x轴的线速度，Ty表示机载相机y轴的线速度，Tz表示机载相机z轴的线速度，ωz表示机载相机z轴的角速度。
其中，所述步骤3具体包括：
设定目标特征点i在图像平面u轴的坐标的可视约束，如下所示：
umin≤ui≤umax,i＝1,...,n (6)
其中，umin表示图像平面中u轴坐标的下边界，umax表示图像平面中u轴坐标的上边界；
设定目标特征点i在图像平面u轴的坐标的可视约束，如下所示：
vmin≤vi≤vmax,i＝1,...,n (7)
其中，vmin表示图像平面中v轴坐标的下边界，vmax表示图像平面中v轴坐标的上边界。
其中，所述步骤4具体包括：
根据目标特征点i在图像平面u轴的坐标和设定的目标特征点i在图像平面u轴的坐标的期望值计算目标特征点i在图像平面u轴的图像特征误差，如下所示：
Figure BDA0002968472980000041
其中，
Figure BDA0002968472980000042
表示目标特征点i在图像平面u轴的图像特征误差，
Figure BDA0002968472980000043
表示目标特征点i在图像平面u轴坐标的期望值；
根据目标特征点i在图像平面v轴的坐标和设定的目标特征点i在图像平面v轴的坐标的期望值定义目标特征点i在图像平面v轴的图像特征误差，如下所示：
Figure BDA0002968472980000044
其中，
Figure BDA0002968472980000045
表示目标特征点i在图像平面v轴的图像特征误差，
Figure BDA0002968472980000046
表示目标特征点i在图像平面v轴坐标的期望值。
其中，所述步骤5具体包括：
计算目标特征点i在图像平面u轴坐标的期望值
Figure BDA0002968472980000047
与图像平面中u轴坐标的下边界umin之间的距离，如下所示：
Figure BDA0002968472980000048
其中，
Figure BDA0002968472980000049
表示目标特征点i在图像平面u轴坐标的期望值
Figure BDA00029684729800000410
与图像平面中u轴坐标的下边界umin之间的距离，
Figure BDA00029684729800000411
为正常数；
计算目标特征点i在图像平面u轴坐标的期望值
Figure BDA00029684729800000412
与图像平面中u轴坐标的上边界umax之间的距离，如下所示：
Figure BDA0002968472980000051
其中，
Figure BDA0002968472980000052
表示目标特征点i在图像平面u轴坐标的期望值
Figure BDA0002968472980000053
与图像平面中u轴坐标的上边界umax之间的距离，
Figure BDA0002968472980000054
为正常数；
计算目标特征点i在图像平面v轴坐标的期望值
Figure BDA0002968472980000055
与图像平面中v轴坐标的下边界vmin之间的距离，如下所示：
Figure BDA0002968472980000056
其中，
Figure BDA0002968472980000057
表示目标特征点i在图像平面v轴坐标的期望值
Figure BDA0002968472980000058
与图像平面中v轴坐标的下边界vmin之间的距离，
Figure BDA0002968472980000059
为正常数；
计算目标特征点i在图像平面v轴坐标的期望值
Figure BDA00029684729800000510
与图像平面中v轴坐标的上边界vmax之间的距离，如下所示：
Figure BDA00029684729800000511
其中，
Figure BDA00029684729800000512
表示目标特征点i在图像平面v轴坐标的期望值
Figure BDA00029684729800000513
与图像平面中v轴坐标的上边界vmax之间的距离，
Figure BDA00029684729800000514
为正常数；
Figure BDA00029684729800000515
其中，ρ∞表示性能函数的稳态界值，ρ∞均为正常数；
根据式(10)-式(14)确定预设性能函数，并将预设性能函数作为指数性能函数，如下所示：
Figure BDA00029684729800000516
其中，
Figure BDA00029684729800000517
表示目标特征点i在图像平面u轴的指数性能函数，l表示性能函数的收敛速度，t表示时间；
Figure BDA00029684729800000518
其中，
Figure BDA00029684729800000519
表示目标特征点i在图像平面v轴的指数性能函数。
其中，所述步骤5还包括：
目标特征点i在图像平面u轴的图像特征误差
Figure BDA00029684729800000520
满足以下性能不等式约束，如下所示：
Figure BDA00029684729800000521
目标特征点i在图像平面v轴的图像特征误差
Figure BDA0002968472980000061
满足以下性能不等式约束，如下所示：
Figure BDA0002968472980000062
其中，所述步骤6具体包括：
根据目标特征点i在图像平面u轴的指数性能函数
Figure BDA0002968472980000063
对目标特征点i在图像平面u轴的图像特征误差
Figure BDA0002968472980000064
进行归一化处理，如下所示：
Figure BDA0002968472980000065
其中，
Figure BDA0002968472980000066
表示目标特征点i在图像平面u轴的图像特征误差函数；
根据目标特征点i在图像平面v轴的指数性能函数
Figure BDA0002968472980000067
对目标特征点i在图像平面v轴的图像特征误差
Figure BDA0002968472980000068
进行归一化处理，如下所示：
Figure BDA0002968472980000069
其中，
Figure BDA00029684729800000610
表示目标特征点i在图像平面v轴的图像特征误差函数。
其中，所述步骤6还包括：
根据目标特征点i在图像平面u轴的图像特征误差函数设计目标特征点i在图像平面u轴的同胚映射函数，如下所示：
Figure BDA00029684729800000611
其中，
Figure BDA00029684729800000612
表示目标特征点i在图像平面u轴的同胚映射函数；
根据目标特征点i在图像平面v轴的图像特征误差函数设计目标特征点i在图像平面v轴的同胚映射函数，如下所示：
Figure BDA00029684729800000613
其中，
Figure BDA00029684729800000614
表示目标特征点i在图像平面v轴的同胚映射函数。
其中，所述步骤7具体包括：
设定雅可比矩阵的伪逆
Figure BDA00029684729800000615
雅可比矩阵的估计
Figure BDA00029684729800000616
和控制增益k，根据设定雅可比矩阵的伪逆
Figure BDA00029684729800000617
雅可比矩阵的估计
Figure BDA00029684729800000618
控制增益k、目标特征点i在图像平面u轴的同胚映射函数
Figure BDA00029684729800000619
和目标特征点i在图像平面v轴的同胚映射函数
Figure BDA00029684729800000620
设计预设性能视觉伺服控制器，如下所示：
Figure BDA0002968472980000071
其中，E(s,t)表示目标特征点i在图像平面u轴的同胚映射函数
Figure BDA0002968472980000072
和目标特征点i在图像平面v轴的同胚映射函数
Figure BDA0002968472980000073
的叠加；
Figure BDA0002968472980000074
其中，V(s,t)表示伺服控制器的输出，V(s,t)＝[ub,vb,wb,rb]T，其中，ub表示u轴的线速度，vb表示v轴的线速度，wb表示w轴的线速度，rb表示绕z轴旋转的角速度，
Figure BDA0002968472980000075
表示雅可比矩阵的伪逆，
Figure BDA0002968472980000076
表示雅可比矩阵的估计，
Figure BDA0002968472980000077
表示雅可比矩阵估计的转置，k表示控制增益。
本发明的上述方案有如下的有益效果：
本发明的上述实施例所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，从四旋翼无人机机载相机的视角约束出发，对目标跟踪时的动态和稳态性能进行定量设计，引入预设性能函数，使得特征误差满足相应的预设性能约束，保证图像特征误差的局部渐进稳定，在保证目标特征的跟踪误差能收敛到预先设定的任意小的区域的同时，保证收敛速度及超调量满足预先设定的条件，从而最大程度的保证跟踪目标不丢失，实现四旋翼无人机对运动目标的跟踪控制，对于未校准的机载摄像头和不够精确的目标特征的深度估计具有较强的鲁棒性。
附图说明
图1为本发明的流程图；
图2为本发明的四旋翼无人机机载相机成像模型；
图3为本发明的四旋翼无人机串级PID控制示意图；
图4为本发明的多个地面运动目标特征误差曲线示意图；
图5为本发明的四旋翼无人机速度控制命令曲线示意图；
图6为本发明的四旋翼无人机与地面运动物体的三维轨迹示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的四旋翼无人机视觉伺服控制中，由于机载相机的视角限制和无人机运动与机载相机的运动耦合导致无人机所跟踪的目标极易丢失，从而导致任务失败的问题，提供了一种基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法。
如图1至图6所示，本发明的实施例提供了一种基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，包括：步骤1，通过四旋翼无人机的机载相机获取目标特征点的空间图像坐标和目标特征点的图像平面坐标，获得四旋翼无人机机载相机焦距，计算目标特征点的图像特征和目标特征点的雅可比矩阵，将多个目标特征点的图像特征构成图像特征向量，将多个目标特征点的雅可比矩阵构成叠加阵，获取机载相机的速度；步骤2，根据多个目标特征点的雅可比矩阵构成的叠加阵和机载相机的速度构建四旋翼无人机机载相机透视投影模型；步骤3，根据机载相机的视角限制设定图像特征坐标的可视约束；步骤4，根据当前图像特征和设定的期望图像特征构建图像特征误差；步骤5，选取预设性能函数为指数性能函数对图像特征误差的稳态和瞬态性能进行性能不等式约束；步骤6，对图像特征误差进行归一化处理并设计同胚映射函数；步骤7，根据设定的雅可比矩阵的伪逆、设定的雅可比矩阵的估计、设定的控制增益和同胚映射函数设计伺服控制器，通过伺服控制器进行目标的视觉跟踪控制。
本发明的上述实施例所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，使用透视投影的方法来提取地面目标的特征点，来获取适当的图像特征，构建四旋翼无人机机载相机透视投影模型，根据当前和期望的图像特征构建特征误差，引入预设性能函数，根据预设性能函数，设置误差函数和同胚映射函数，并设计伺服控制器对四旋翼无人机视觉伺服追踪进行控制，使得特征误差满足相应的预设性能约束，实现四旋翼无人机对运动目标的跟踪控制。
其中，所述步骤1具体包括：计算目标特征点i的图像特征，如下所示：
Figure BDA0002968472980000081
其中，si表示目标特征点i的图像特征，ui表示目标特征点i在图像平面u轴的坐标，i表示目标特征点，vi表示目标特征点i在图像平面v轴的坐标，xi表示目标特征点i在空间图像x轴的坐标，yi表示目标特征点i在空间图像y轴的坐标，zi表示目标特征点i在空间图像z轴的坐标，λ表示四旋翼无人机机载相机焦距；
将多个目标特征点i的图像特征构成的图像特征向量，如下所示：
Figure BDA0002968472980000091
其中，s表示多个目标特征点i的图像特征构成的图像特征向量；
计算目标特征点i的雅可比矩阵，如下所示：
Figure BDA0002968472980000092
其中，Li表示目标特征点i的雅可比矩阵；
将多个目标特征点i的雅可比矩阵构成的叠加阵，如下所示：
Figure BDA0002968472980000093
其中，L(z,s)表示多个目标特征点i的雅可比矩阵构成的叠加阵。
其中，所述步骤2具体包括：根据多个目标特征点i的雅可比矩阵构成的叠加阵和机载相机的速度构建四旋翼无人机机载相机透视投影模型，如下所示：
Figure BDA0002968472980000094
其中，V表示机载相机的速度，V＝[Tx Ty Tz ωz]T，Tx表示机载相机x轴的线速度，Ty表示机载相机y轴的线速度，Tz表示机载相机z轴的线速度，ωz表示机载相机z轴的角速度。
其中，所述步骤3具体包括：设定目标特征点i在图像平面u轴的坐标的可视约束，如下所示：
umin≤ui≤umax,i＝1,...,n (6)
其中，umin表示图像平面中u轴坐标的下边界，umax表示图像平面中u轴坐标的上边界；
设定目标特征点i在图像平面u轴的坐标的可视约束，如下所示：
vmin≤vi≤vmax,i＝1,...,n (7)
其中，vmin表示图像平面中v轴坐标的下边界，vmax表示图像平面中v轴坐标的上边界。
其中，所述步骤4具体包括：根据目标特征点i在图像平面u轴的坐标和设定的目标特征点i在图像平面u轴的坐标的期望值计算目标特征点i在图像平面u轴的图像特征误差，如下所示：
Figure BDA0002968472980000101
其中，
Figure BDA0002968472980000102
表示目标特征点i在图像平面u轴的图像特征误差，
Figure BDA0002968472980000103
表示目标特征点i在图像平面u轴坐标的期望值；
根据目标特征点i在图像平面v轴的坐标和设定的目标特征点i在图像平面v轴的坐标的期望值定义目标特征点i在图像平面v轴的图像特征误差，如下所示：
Figure BDA0002968472980000104
其中，
Figure BDA0002968472980000105
表示目标特征点i在图像平面v轴的图像特征误差，
Figure BDA0002968472980000106
表示目标特征点i在图像平面v轴坐标的期望值。
其中，所述步骤5具体包括：计算目标特征点i在图像平面u轴坐标的期望值
Figure BDA0002968472980000107
与图像平面中u轴坐标的下边界umin之间的距离，如下所示：
Figure BDA0002968472980000108
其中，
Figure BDA0002968472980000109
表示目标特征点i在图像平面u轴坐标的期望值
Figure BDA00029684729800001010
与图像平面中u轴坐标的下边界umin之间的距离，
Figure BDA00029684729800001011
为正常数；
计算目标特征点i在图像平面u轴坐标的期望值
Figure BDA00029684729800001012
与图像平面中u轴坐标的上边界umax之间的距离，如下所示：
Figure BDA00029684729800001013
其中，
Figure BDA00029684729800001014
表示目标特征点i在图像平面u轴坐标的期望值
Figure BDA00029684729800001015
与图像平面中u轴坐标的上边界umax之间的距离，
Figure BDA00029684729800001016
为正常数；
计算目标特征点i在图像平面v轴坐标的期望值
Figure BDA00029684729800001017
与图像平面中v轴坐标的下边界vmin之间的距离，如下所示：
Figure BDA00029684729800001018
其中，
Figure BDA00029684729800001019
表示目标特征点i在图像平面v轴坐标的期望值
Figure BDA00029684729800001020
与图像平面中v轴坐标的下边界vmin之间的距离，
Figure BDA00029684729800001021
为正常数；
计算目标特征点i在图像平面v轴坐标的期望值
Figure BDA00029684729800001022
与图像平面中v轴坐标的上边界vmax之间的距离，如下所示：
Figure BDA0002968472980000111
其中，
Figure BDA0002968472980000112
表示目标特征点i在图像平面v轴坐标的期望值
Figure BDA0002968472980000113
与图像平面中v轴坐标的上边界vmax之间的距离，
Figure BDA0002968472980000114
为正常数；
Figure BDA0002968472980000115
其中，ρ∞表示性能函数的稳态界值，ρ∞均为正常数；
根据式(10)-式(14)确定预设性能函数，并将预设性能函数作为指数性能函数，如下所示：
Figure BDA0002968472980000116
其中，
Figure BDA0002968472980000117
表示目标特征点i在图像平面u轴的指数性能函数，l表示性能函数的收敛速度，t表示时间；
Figure BDA0002968472980000118
其中，
Figure BDA0002968472980000119
表示目标特征点i在图像平面v轴的指数性能函数。
本发明的上述实施例所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，通过引入指数预设性能函数
Figure BDA00029684729800001110
使得图像特征误差的运动始终严格处在有界的区域，同时保证该区域的指数快速收敛于
Figure BDA00029684729800001111
Figure BDA00029684729800001112
其中，所述步骤5还包括：目标特征点i在图像平面u轴的图像特征误差
Figure BDA00029684729800001113
满足以下性能不等式约束，如下所示：
Figure BDA00029684729800001114
目标特征点i在图像平面v轴的图像特征误差
Figure BDA00029684729800001115
满足以下性能不等式约束，如下所示：
Figure BDA00029684729800001116
其中，所述步骤6具体包括：根据目标特征点i在图像平面u轴的指数性能函数
Figure BDA00029684729800001117
对目标特征点i在图像平面u轴的图像特征误差
Figure BDA00029684729800001118
进行归一化处理，如下所示：
Figure BDA0002968472980000121
其中，
Figure BDA0002968472980000122
表示目标特征点i在图像平面u轴的图像特征误差函数；
根据目标特征点i在图像平面v轴的指数性能函数
Figure BDA0002968472980000123
对目标特征点i在图像平面v轴的图像特征误差
Figure BDA0002968472980000124
进行归一化处理，如下所示：
Figure BDA0002968472980000125
Figure BDA0002968472980000126
其中，
Figure BDA0002968472980000127
表示目标特征点i在图像平面v轴的图像特征误差函数。
其中，所述步骤6还包括：根据目标特征点i在图像平面u轴的图像特征误差函数设计目标特征点i在图像平面u轴的同胚映射函数，如下所示：
Figure BDA0002968472980000128
其中，
Figure BDA0002968472980000129
表示目标特征点i在图像平面u轴的同胚映射函数；
根据目标特征点i在图像平面v轴的图像特征误差函数设计目标特征点i在图像平面v轴的同胚映射函数，如下所示：
Figure BDA00029684729800001210
其中，
Figure BDA00029684729800001211
表示目标特征点i在图像平面v轴的同胚映射函数。
本发明的上述实施例所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，由于引入了上下界约束，进而增加了相应的控制设计的复杂度。因此需要进行无约化处理，即通过定义同胚映射函数，实现预定性能不等式约束到等式约束的对等变换。
其中，所述步骤7具体包括：设定雅可比矩阵的伪逆
Figure BDA00029684729800001212
雅可比矩阵的估计
Figure BDA00029684729800001213
和控制增益k，根据设定雅可比矩阵的伪逆
Figure BDA00029684729800001214
雅可比矩阵的估计
Figure BDA00029684729800001215
控制增益k、目标特征点i在图像平面u轴的同胚映射函数
Figure BDA00029684729800001216
和目标特征点i在图像平面v轴的同胚映射函数
Figure BDA00029684729800001217
设计预设性能视觉伺服控制器，如下所示：
Figure BDA00029684729800001218
其中，E(s,t)表示目标特征点i在图像平面u轴的同胚映射函数
Figure BDA00029684729800001219
和目标特征点i在图像平面v轴的同胚映射函数
Figure BDA00029684729800001220
的叠加；
Figure BDA0002968472980000131
其中，V(s,t)表示伺服控制器的输出，V(s,t)＝[ub,vb,wb,rb]T，其中，ub表示u轴的线速度，vb表示v轴的线速度，wb表示w轴的线速度，rb表示绕z轴旋转的角速度，
Figure BDA0002968472980000132
表示雅可比矩阵的伪逆，
Figure BDA0002968472980000133
表示雅可比矩阵的估计，
Figure BDA0002968472980000134
表示雅可比矩阵估计的转置，k表示控制增益。
本发明的上述实施例所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，如图3将伺服控制器的输出，同时将作为四旋翼无人机运动控制器(串级PID控制)的控制输入。
本发明的上述实施例所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，使用机器人操作系统(ROS)和Gazebo框架进行了模拟测试。实验场景设置为四旋翼无人机跟随一个地面移动机器人，地面移动机器人以恒定的线速度um＝0.05m/s和角速度ωm＝0.01rad/s运动。四旋翼无人机机载相机的分辨率为640*480。期望的特征点为
Figure BDA0002968472980000135
Figure BDA0002968472980000136
机器人操作的系统参数l＝1/5，ρ∞＝20(px),控制增益k＝1，仿真结果如图4和图5所示，图4中，展示了4个特征点误差的变化曲线以及定义的误差函数曲线，可以看出，跟踪误差能够快速收敛于0并且始终处于性能函数的范围内，因此满足机载相机的视角约束。图5所示为伺服控制器的控制输出，图6所示为四旋翼无人机和地面移动机器人的三维运动轨迹，可以看出，所述基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法能够实现对运动目标有着较好的跟踪效果，实现在室内无GPS信号的环境下，通过四旋翼无人机对地面运动物体的跟踪控制。
本发明的上述实施例所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，从四旋翼无人机机载相机的视角约束出发，对目标跟踪时的动态和稳态性能进行定量设计，引入预设性能函数，使得特征误差满足相应的预设性能约束，保证图像特征误差的局部渐进稳定，在保证目标特征的跟踪误差能收敛到预先设定的任意小的区域的同时，保证收敛速度及超调量满足预先设定的条件，从而最大程度的保证跟踪目标不丢失，实现四旋翼无人机对运动目标的跟踪控制，对于未校准的机载摄像头和不够精确的目标特征的深度估计具有较强的鲁棒性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，其特征在于，包括：
步骤1，通过四旋翼无人机的机载相机获取目标特征点的空间图像坐标和目标特征点的图像平面坐标，获得四旋翼无人机机载相机焦距，计算目标特征点的图像特征和目标特征点的雅可比矩阵，将多个目标特征点的图像特征构成图像特征向量，将多个目标特征点的雅可比矩阵构成叠加阵，获取机载相机的速度；
步骤2，根据多个目标特征点的雅可比矩阵构成的叠加阵和机载相机的速度构建四旋翼无人机机载相机透视投影模型；
步骤3，根据机载相机的视角限制设定图像特征坐标的可视约束；
步骤4，根据当前图像特征和设定的期望图像特征构建图像特征误差；
步骤5，选取预设性能函数为指数性能函数对图像特征误差的稳态和瞬态性能进行性能不等式约束；
所述步骤5具体包括：
计算目标特征点i在图像平面u轴坐标的期望值
Figure FDA0003705350530000011
与图像平面中u轴坐标的下边界umin之间的距离，如下所示：
Figure FDA0003705350530000012
其中，
Figure FDA0003705350530000013
表示目标特征点i在图像平面u轴坐标的期望值
Figure FDA0003705350530000014
与图像平面中u轴坐标的下边界umin之间的距离，
Figure FDA0003705350530000015
为正常数；
计算目标特征点i在图像平面u轴坐标的期望值
Figure FDA0003705350530000016
与图像平面中u轴坐标的上边界umax之间的距离，如下所示：
Figure FDA0003705350530000017
其中，
Figure FDA0003705350530000018
表示目标特征点i在图像平面u轴坐标的期望值
Figure FDA0003705350530000019
与图像平面中u轴坐标的上边界umax之间的距离，
Figure FDA00037053505300000110
为正常数；
计算目标特征点i在图像平面v轴坐标的期望值
Figure FDA00037053505300000111
与图像平面中v轴坐标的下边界vmin之间的距离，如下所示：
Figure FDA00037053505300000112
其中，
Figure FDA0003705350530000021
表示目标特征点i在图像平面v轴坐标的期望值
Figure FDA0003705350530000022
与图像平面中v轴坐标的下边界vmin之间的距离，
Figure FDA0003705350530000023
为正常数；
计算目标特征点i在图像平面v轴坐标的期望值
Figure FDA0003705350530000024
与图像平面中v轴坐标的上边界vmax之间的距离，如下所示：
Figure FDA0003705350530000025
其中，
Figure FDA0003705350530000026
表示目标特征点i在图像平面v轴坐标的期望值
Figure FDA0003705350530000027
与图像平面中v轴坐标的上边界vmax之间的距离，
Figure FDA0003705350530000028
为正常数；
Figure FDA0003705350530000029
其中，ρ∞表示性能函数的稳态界值，ρ∞均为正常数；
根据式(10)-式(14)确定预设性能函数，并将预设性能函数作为指数性能函数，如下所示：
Figure FDA00037053505300000210
其中，
Figure FDA00037053505300000211
表示目标特征点i在图像平面u轴的指数性能函数，l表示性能函数的收敛速度，t表示时间；
Figure FDA00037053505300000212
其中，
Figure FDA00037053505300000213
表示目标特征点i在图像平面v轴的指数性能函数；
步骤6，对图像特征误差进行归一化处理并设计同胚映射函数；
步骤7，根据设定的雅可比矩阵的伪逆、设定的雅可比矩阵的估计、设定的控制增益和同胚映射函数设计伺服控制器，通过伺服控制器进行目标的视觉跟踪控制。
2.根据权利要求1所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，其特征在于，所述步骤1具体包括：
计算目标特征点i的图像特征，如下所示：
Figure FDA00037053505300000214
其中，si表示目标特征点i的图像特征，ui表示目标特征点i在图像平面u轴的坐标，i表示目标特征点，vi表示目标特征点i在图像平面v轴的坐标，xi表示目标特征点i在空间图像x轴的坐标，yi表示目标特征点i在空间图像y轴的坐标，zi表示目标特征点i在空间图像z轴的坐标，λ表示四旋翼无人机机载相机焦距；
将多个目标特征点i的图像特征构成的图像特征向量，如下所示：
Figure FDA0003705350530000031
其中，s表示多个目标特征点i的图像特征构成的图像特征向量；
计算目标特征点i的雅可比矩阵，如下所示：
Figure FDA0003705350530000032
其中，Li表示目标特征点i的雅可比矩阵；
将多个目标特征点i的雅可比矩阵构成的叠加阵，如下所示：
Figure FDA0003705350530000033
其中，L(z,s)表示多个目标特征点i的雅可比矩阵构成的叠加阵。
3.根据权利要求2所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，其特征在于，所述步骤2具体包括：
根据多个目标特征点i的雅可比矩阵构成的叠加阵和机载相机的速度构建四旋翼无人机机载相机透视投影模型，如下所示：
Figure FDA0003705350530000034
其中，V表示机载相机的速度，V＝[Tx Ty Tz ωz]T，Tx表示机载相机x轴的线速度，Ty表示机载相机y轴的线速度，Tz表示机载相机z轴的线速度，ωz表示机载相机z轴的角速度。
4.根据权利要求3所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，其特征在于，所述步骤3具体包括：
设定目标特征点i在图像平面u轴的坐标的可视约束，如下所示：
umin≤ui≤umax,i＝1,...,n (6)
其中，umin表示图像平面中u轴坐标的下边界，umax表示图像平面中u轴坐标的上边界；
设定目标特征点i在图像平面u轴的坐标的可视约束，如下所示：
vmin≤vi≤vmax,i＝1,...,n (7)
其中，vmin表示图像平面中v轴坐标的下边界，vmax表示图像平面中v轴坐标的上边界。
5.根据权利要求4所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，其特征在于，所述步骤4具体包括：
根据目标特征点i在图像平面u轴的坐标和设定的目标特征点i在图像平面u轴的坐标的期望值计算目标特征点i在图像平面u轴的图像特征误差，如下所示：
Figure FDA0003705350530000041
其中，
Figure FDA0003705350530000042
表示目标特征点i在图像平面u轴的图像特征误差，
Figure FDA0003705350530000043
表示目标特征点i在图像平面u轴坐标的期望值；
根据目标特征点i在图像平面v轴的坐标和设定的目标特征点i在图像平面v轴的坐标的期望值定义目标特征点i在图像平面v轴的图像特征误差，如下所示：
Figure FDA0003705350530000044
其中，
Figure FDA0003705350530000045
表示目标特征点i在图像平面v轴的图像特征误差，
Figure FDA0003705350530000046
表示目标特征点i在图像平面v轴坐标的期望值。
6.根据权利要求5所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，其特征在于，所述步骤5还包括：
目标特征点i在图像平面u轴的图像特征误差
Figure FDA0003705350530000047
满足以下性能不等式约束，如下所示：
Figure FDA0003705350530000048
目标特征点i在图像平面v轴的图像特征误差
Figure FDA0003705350530000049
满足以下性能不等式约束，如下所示：
Figure FDA00037053505300000410
7.根据权利要求6所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，其特征在于，所述步骤6具体包括：
根据目标特征点i在图像平面u轴的指数性能函数
Figure FDA00037053505300000411
对目标特征点i在图像平面u轴的图像特征误差
Figure FDA00037053505300000412
进行归一化处理，如下所示：
Figure FDA0003705350530000051
其中，
Figure FDA0003705350530000052
表示目标特征点i在图像平面u轴的图像特征误差函数；
根据目标特征点i在图像平面v轴的指数性能函数
Figure FDA0003705350530000053
对目标特征点i在图像平面v轴的图像特征误差
Figure FDA0003705350530000054
进行归一化处理，如下所示：
Figure FDA0003705350530000055
其中，
Figure FDA0003705350530000056
表示目标特征点i在图像平面v轴的图像特征误差函数。
8.根据权利要求7所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，其特征在于，所述步骤6还包括：
根据目标特征点i在图像平面u轴的图像特征误差函数设计目标特征点i在图像平面u轴的同胚映射函数，如下所示：
Figure FDA0003705350530000057
其中，
Figure FDA0003705350530000058
表示目标特征点i在图像平面u轴的同胚映射函数；
根据目标特征点i在图像平面v轴的图像特征误差函数设计目标特征点i在图像平面v轴的同胚映射函数，如下所示：
Figure FDA0003705350530000059
其中，
Figure FDA00037053505300000510
表示目标特征点i在图像平面v轴的同胚映射函数。
9.根据权利要求8所述的基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法，其特征在于，所述步骤7具体包括：
设定雅可比矩阵的伪逆
Figure FDA00037053505300000511
雅可比矩阵的估计
Figure FDA00037053505300000512
和控制增益k，根据设定雅可比矩阵的伪逆
Figure FDA00037053505300000513
雅可比矩阵的估计
Figure FDA00037053505300000514
控制增益k、目标特征点i在图像平面u轴的同胚映射函数
Figure FDA00037053505300000515
和目标特征点i在图像平面v轴的同胚映射函数
Figure FDA00037053505300000519
设计预设性能视觉伺服控制器，如下所示：
Figure FDA00037053505300000516
其中，E(s,t)表示目标特征点i在图像平面u轴的同胚映射函数
Figure FDA00037053505300000517
和目标特征点i在图像平面v轴的同胚映射函数
Figure FDA00037053505300000518
的叠加；
Figure FDA0003705350530000061
其中，V(s,t)表示伺服控制器的输出，V(s,t)＝[ub,vb,wb,rb]T，其中，ub表示u轴的线速度，vb表示v轴的线速度，wb表示w轴的线速度，rb表示绕z轴旋转的角速度，
Figure FDA0003705350530000062
表示雅可比矩阵的伪逆，
Figure FDA0003705350530000063
Figure FDA0003705350530000064
表示雅可比矩阵的估计，
Figure FDA0003705350530000065
表示雅可比矩阵估计的转置，k表示控制增益。
CN202110258315.6A 2021-03-09 2021-03-09 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 Active CN112947569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110258315.6A CN112947569B (zh) 2021-03-09 2021-03-09 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110258315.6A CN112947569B (zh) 2021-03-09 2021-03-09 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法

Publications (2)

Publication Number Publication Date
CN112947569A CN112947569A (zh) 2021-06-11
CN112947569B true CN112947569B (zh) 2022-08-12

Family

ID=76229077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110258315.6A Active CN112947569B (zh) 2021-03-09 2021-03-09 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法

Country Status (1)

Country Link
CN (1) CN112947569B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114545907B (zh) * 2022-03-15 2023-12-19 中南大学 一种基于滤波器的飞行控制系统的故障检测方法
CN116700348B (zh) * 2023-07-12 2024-03-19 湖南文理学院 一种四旋翼飞行器视觉受限的视觉伺服控制方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011083374A1 (en) * 2010-01-08 2011-07-14 Koninklijke Philips Electronics N.V. Uncalibrated visual servoing using real-time velocity optimization
WO2016193781A1 (en) * 2015-05-29 2016-12-08 Benemérita Universidad Autónoma De Puebla Motion control system for a direct drive robot through visual servoing
CN107901041A (zh) * 2017-12-15 2018-04-13 中南大学 一种基于图像混合矩的机器人视觉伺服控制方法
CN108839026A (zh) * 2018-07-19 2018-11-20 浙江工业大学 一种移动机器人视觉伺服跟踪预测控制方法
CN109358507A (zh) * 2018-10-29 2019-02-19 东北大学 一种时变性能边界约束的视觉伺服自适应跟踪控制方法
CN110039542A (zh) * 2019-06-13 2019-07-23 东北大学 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统
CN110362098A (zh) * 2018-03-26 2019-10-22 北京京东尚科信息技术有限公司 无人机视觉伺服控制方法、装置以及无人机
CN111443724A (zh) * 2020-04-20 2020-07-24 中南大学 一种基于自抗扰混合切换控制的四旋翼无人机的控制方法
CN111596693A (zh) * 2020-06-17 2020-08-28 中国人民解放军国防科技大学 基于云台相机的无人机对地面目标跟踪控制方法及系统
CN111931387A (zh) * 2020-09-23 2020-11-13 湖南师范大学 一种面向移动柱状组合体的视觉伺服趋近方法
CN112256001A (zh) * 2020-09-29 2021-01-22 华南理工大学 一种视角约束下的移动机器人视觉伺服控制方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011083374A1 (en) * 2010-01-08 2011-07-14 Koninklijke Philips Electronics N.V. Uncalibrated visual servoing using real-time velocity optimization
WO2016193781A1 (en) * 2015-05-29 2016-12-08 Benemérita Universidad Autónoma De Puebla Motion control system for a direct drive robot through visual servoing
CN107901041A (zh) * 2017-12-15 2018-04-13 中南大学 一种基于图像混合矩的机器人视觉伺服控制方法
CN110362098A (zh) * 2018-03-26 2019-10-22 北京京东尚科信息技术有限公司 无人机视觉伺服控制方法、装置以及无人机
CN108839026A (zh) * 2018-07-19 2018-11-20 浙江工业大学 一种移动机器人视觉伺服跟踪预测控制方法
CN109358507A (zh) * 2018-10-29 2019-02-19 东北大学 一种时变性能边界约束的视觉伺服自适应跟踪控制方法
CN110039542A (zh) * 2019-06-13 2019-07-23 东北大学 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统
CN111443724A (zh) * 2020-04-20 2020-07-24 中南大学 一种基于自抗扰混合切换控制的四旋翼无人机的控制方法
CN111596693A (zh) * 2020-06-17 2020-08-28 中国人民解放军国防科技大学 基于云台相机的无人机对地面目标跟踪控制方法及系统
CN111931387A (zh) * 2020-09-23 2020-11-13 湖南师范大学 一种面向移动柱状组合体的视觉伺服趋近方法
CN112256001A (zh) * 2020-09-29 2021-01-22 华南理工大学 一种视角约束下的移动机器人视觉伺服控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Finite-time asynchronous sliding mode control for Markovian jump systems;李繁飙;《Automatica》;20190831;全文 *
Neuroadaptive integral robust control of visual quadrotor for tracking a moving object;Xingling Shao;《Mechanical Systems and Signal Processing》;20191130;全文 *
Output based Observation and Control for Visual Servoing of VTOL;Florent Le Bras;《IFAC Proceedings Volumes》;20081231;全文 *

Also Published As

Publication number Publication date
CN112947569A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN110222581B (zh) 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
Barry et al. High‐speed autonomous obstacle avoidance with pushbroom stereo
Kong et al. Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system
Martínez et al. On-board and ground visual pose estimation techniques for UAV control
CN111596693B (zh) 基于云台相机的无人机对地面目标跟踪控制方法及系统
Hernandez-Lopez et al. An automatic approach to UAV flight planning and control for photogrammetric applications
CN106931963A (zh) 环境数据共享平台、无人飞行器、定位方法和定位系统
CN112947569B (zh) 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法
CN206804018U (zh) 环境数据服务器、无人飞行器及定位系统
Gur fil et al. Partial aircraft state estimation from visual motion using the subspace constraints approach
Sanfourche et al. Perception for UAV: Vision-Based Navigation and Environment Modeling.
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
Eynard et al. Real time UAV altitude, attitude and motion estimation from hybrid stereovision
Li et al. UAV autonomous landing technology based on AprilTags vision positioning algorithm
CN112363528B (zh) 基于机载视觉的无人机抗干扰集群编队控制方法
Mills et al. Vision based control for fixed wing UAVs inspecting locally linear infrastructure using skid-to-turn maneuvers
CN112136137A (zh) 一种参数优化方法、装置及控制设备、飞行器
CN110737283A (zh) 一种面向视觉集群的编队解耦控制方法
Zhang et al. Autonomous landing on ground target of UAV by using image-based visual servo control
CN109521785A (zh) 一种随身拍智能旋翼飞行器系统
CN113110597A (zh) 一种基于ros系统的室内无人机自主飞行系统
Duan et al. Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance
Cui et al. Landmark extraction and state estimation for UAV operation in forest
Yang et al. Autonomous landing of a rotor unmanned aerial vehicle on a boat using image-based visual servoing
Denuelle et al. Biologically-inspired visual stabilization of a rotorcraft UAV in unknown outdoor environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant