CN108780331B - 云台控制方法和设备、云台以及无人机 - Google Patents

云台控制方法和设备、云台以及无人机 Download PDF

Info

Publication number
CN108780331B
CN108780331B CN201780014495.5A CN201780014495A CN108780331B CN 108780331 B CN108780331 B CN 108780331B CN 201780014495 A CN201780014495 A CN 201780014495A CN 108780331 B CN108780331 B CN 108780331B
Authority
CN
China
Prior art keywords
instruction
attitude data
coordinate system
holder
body coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780014495.5A
Other languages
English (en)
Other versions
CN108780331A (zh
Inventor
刘帅
王映知
王振动
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN108780331A publication Critical patent/CN108780331A/zh
Application granted granted Critical
Publication of CN108780331B publication Critical patent/CN108780331B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D41/00—Power installations for auxiliary purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G01P15/08—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Toys (AREA)

Abstract

一种云台控制方法和设备、云台以及无人机，可以实现对云台的灵活设置，以及在此基础上，不增加用户对云台控制的难度。该云台控制方法(300)包括：获取对云台(100,610)的运动进行控制的第一指令；获取该云台(100,610)自身的第一姿态数据；获取该云台(100,610)所连接的无人机(200,600)的第二姿态数据；基于该第一姿态数据以及该第二姿态数据，调整该第一指令中的控制方向，以获取对该云台(100,610)进行控制的第二指令；利用该第二指令，对该云台(100,610)的运动进行控制。

Description

云台控制方法和设备、云台以及无人机
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请实施例涉及控制领域，并且更具体地，涉及一种云台控制方法和设备、云台以及无人机。
背景技术
随着飞行技术的发展，飞行器，例如，UAV(Unmanned Aerial Vehicle，无人飞行器)，也称为无人机，已经从军用发展到越来越广泛的民用，例如，UAV植物保护、UAV航空拍摄、UAV森林火警监控等等，而民用化也是UAV未来发展的趋势。
云台可以设置在飞行器的下部，云台上可以搭载负载，用于负载的固定，随意调节负载的姿态(例如，改变负载的高度、倾角和/或方向)，或者用于负载稳定保持在确定的姿态上。例如，在负载为拍摄设备时，其搭载在云台上可以实现稳定、流畅且多角度拍摄。但是云台设置在飞行器的下部，限制了负载的功能。
因此,如何实现对云台的灵活设置，以及在此基础上，不增加用户对云台控制的难度，是一项亟待解决的问题。
发明内容
本申请实施例提供了一种云台控制方法和设备、云台以及无人机，可以实现对云台的灵活设置，以及在此基础上，不增加用户对云台控制的难度。
一方面，提供了一种云台控制方法，包括：
获取对云台的运动进行控制的第一指令；
获取该云台自身的第一姿态数据；
获取该云台所连接的无人机的第二姿态数据；
基于该第一姿态数据以及该第二姿态数据，调整该第一指令中的控制方向，以获取对该云台进行控制的第二指令；
利用该第二指令，对该云台的运动进行控制。
另一方面，提供了一种控制设备，包括：获取单元、调整单元和控制单元；
该获取单元用于：获取对云台的运动进行控制的第一指令；获取该云台自身的第一姿态数据；获取该云台所连接的无人机的第二姿态数据；
该调整单元用于：基于该第一姿态数据以及该第二姿态数据，调整该第一指令中的控制方向，以获取对该云台进行控制的第二指令；
该控制单元用于：利用该第二指令，对该云台的运动进行控制。
另一方面，提供了一种云台，包括处理器、转轴机构以及用于带动该转轴机构运动的电机，以及第一传感器；
该第一传感器用于获取该云台自身的第一姿态数据；
该处理器用于获取对云台的运动进行控制的第一指令；从该第一传感器获取该第一姿态数据；获取该云台所连接的无人机的第二姿态数据；并基于该第一姿态数据以及该第二姿态数据，调整该第一指令中的控制方向，以获取对该云台进行控制的第二指令；利用该第二指令，控制该电机的运动；
该电机基于该处理器的控制进行运动，并带动该转轴机构的运动。
另一方面，提供了一种存储介质，包括指令，当其在计算机上运行时，使得该计算机执行以下方法：
获取对云台的运动进行控制的第一指令；
获取该云台自身的第一姿态数据；
获取该云台所连接的无人机的第二姿态数据；
基于该第一姿态数据以及该第二姿态数据，调整该第一指令中的控制方向，以获取对该云台进行控制的第二指令；
利用该第二指令，对该云台的运动进行控制。
另一方面，提供了一种无人机，包括：通信系统、飞控系统、动力系统、包括第二传感器的传感系统和云台；
所述通信系统用于获取对所述无人机的运动进行控制的指令；
所述飞控系统用于基于所述通信系统获取的指令，向所述动力系统输出驱动信号；
所述动力系统用于基于所述飞控系统输出的驱动信号，驱动所述无人机的运动；
所述第二传感器用于获取所述无人机的姿态数据；
所述云台包括处理器、转轴机构以及用于带动所述转轴机构运动的电机，以及第一传感器；所述第一传感器用于获取所述云台自身的第一姿态数据；所述处理器用于获取对云台的运动进行控制的第一指令；从所述第一传感器获取所述第一姿态数据；从所述第二传感器获取第二姿态数据；并基于所述第一姿态数据以及所述第二姿态数据，调整所述第一指令中的控制方向，以获取对所述云台进行控制的第二指令；利用所述第二指令，控制所述电机的运动；所述电机基于所述处理器的控制进行运动，并带动所述转轴机构的运动。
因此，在本申请实施例中，由于可以根据无人机的姿态数据和云台的姿态数据对控制云台的运动的指令中的控制方向进行调整，可以实现将云台设置在无人机的不同的位置时，可以根据位置自动更改指令中的控制方向，即自动切换控制策略，无需用户手动设定，可以尽量减少用户对云台转动的控制的麻烦度以及尽量避免用户所造成的控制出错的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的云台的示意性结构图。
图2是根据本申请实施例的云台在无人机上的设置方式的示意性图。
图3是根据本申请实施例的云台在无人机上的设置方式的示意性图。
图4是根据本申请实施例的云台控制方法的示意性流程图。
图5a-5d是根据本申请实施例的无人机和云台的相对姿态的示意性图。
图6是根据本申请实施例的无人机的体坐标系和云台的体坐标系的示意性图。
图7是根据本申请实施例的无人机的体坐标系和云台的体坐标系的示意性图。
图8是根据本申请实施例的控制设备的示意性框图。
图9是根据本申请实施例的无人机的示意性结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中当一组件与另一组件“固定连接”或“连接”，或者，一组件“固定于”另一组件时，它可以直接在另一组件上，或者也可以存在居中的组件。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。
云台上可以承载负载(例如，拍摄设备)，用于负载的固定，改变负载的高度、倾角和/或方向，或者用于负载稳定保持在确定的姿态上。
本申请实施例的云台可以设置于可移动设备上，例如，设置于无人机或机动车上等。
本申请实施例的云台也可以用于承载非拍摄设备的其它设备，例如，分光仪或雷达的微波天线等。本申请实施例的云台也可以是具有其它的名字，例如，负载支持架等，本申请实施例对此不作具体限定。
图1是根据本申请实施例的云台100的示意性图。如图1所示，该云台100可以包括基座110，负载支架140以及偏航轴(yaw)机构122，横滚轴(Roll)机构124和俯仰轴(pitch)机构126，以及航向轴电机132，横滚轴电机134和俯仰轴电机136，其中，航向轴电机132安装于所述基座110用于带动转轴机构122的转动，所述横滚轴电机134安装于所述横滚轴机构124用于带动转轴机构124的转动，所述俯仰轴电机136安装于所述横滚轴机构124用于带动转轴机构126的转动。
应理解，云台也可以只包括一个或两个转轴机构。另外，虽然图1中所示，偏航轴机构连接于横滚轴机构的一端，横滚轴机构的另一端连接于俯仰轴机构，负载支架140直接连接在了俯仰轴机构上，但是本申请实施例并不限于此，偏航轴机构、横滚轴机构和俯仰轴机构也可以以其它顺序进行连接。
负载支架140可以用于支持负载199，负载支架140上可以设置有惯性传感器，例如，加速度计或陀螺仪中的至少一种。
图1所示的云台100可以通过基座110安装于可移动设备(例如，无人机)上。云台100可以通过基座110获取电能或收发电子信号，云台100也可以收发无线信号。
基座110中可以设置处理器，用于输入的控制指令进行处理，或者收发信号等。
以可移动设备为无人机例，云台可以通过基座安装于无人机的底部，例如，如图2所示，云台100设置于无人机200的底部。或者，云台也可以通过基座安装于无人机的顶部，例如，如图3所示云台100设置于无人机200的上部。当然，云台也可以安装于非顶部或下部的任何位置。
随着云台的安装位置的灵活多变，将会增加用户对云台的控制的难度，例如，如果无人机的姿态保持不变，在云台设置于无人机的下部时，如果用户希望云台向上运动，则用户可以拨动pitch轴的摇杆向上，如果用户希望云台顺时针转动时，会拨动yaw轴的摇杆向右；在云台设置于无人机的上部时，如果用户希望云台向上运动，则用户需要拨动pitch轴的摇杆向下，如果用户希望云台顺时针转动时，会拨动yaw轴的摇杆向左。
也就是说，此时用户需要按照云台在无人机设置的位置进行控制指令的输入，造成用户控制较为麻烦且容易出错。
因此，本申请实施例提供了以下的方法300，可以尽量减少用户对云台转动的控制的麻烦度以及尽量避免用户所造成的控制出错的问题。
图4是根据本申请实施例的云台控制方法300的示意性流程图。该方法300包括以下内容中的至少部分内容。该方法300可以由控制设备实现，其中，该控制设备设置于云台中，也可以设置在其他设备中，例如可以设置在无人机中，由无人机的飞控系统实现。
在310中，控制设备获取对云台的运动进行控制的第一指令。
可选地，控制设备可以从终端设备(例如，遥控设备或者携带控制应用的手机等)获取第一指令，或者从软件开发工具包(Software Development Kit，SDK)获取第一指令。
具体地，用户可以通过终端设备实时向控制设备输入对云台的运动进行控制的指令；或者，用户可以在SDK中写入对云台的运动进行控制的指令，控制设备可以读取该SDK，以获取用户对云台的运动进行控制的指令。
可选地，控制设备获取用户输入的多个指令；对该多个指令进行合成，以获取该第一指令。
可选地，该多个指令包括用户通过终端设备输入的指令和/或通过SDK写入的指令。
具体地，用户可以通过多个途径向控制设备输入对云台的运动进行控制的控制指令，例如，用户通过SDK输入一次指令，以及通过终端设备实时调整通过SDK输入的指令，控制设备接收到该多个指令后，可以对该多个指令进行处理，例如，进行合成处理，具体地，可以对指令中的速度矢量以加的方式进行处理，或者，将在后输入的指令替代在前输入的指令等。
在320中，控制设备获取该云台自身的第一姿态数据。
可选地，可以在云台(例如，如图2所示的负载支架140)上设置第一传感器，控制设备可以通过设置在该云台上的第一传感器，获取该第一姿态数据。
可选地，该第一传感器是加速度计或陀螺仪中的至少一种。当然，该第一传感器也可以是其它传感器，本申请实施例对此不作具体限定。
可选地，该第一姿态数据用于表征该云台的体坐标系的方向。
可选地，该云台的体坐标系是遵循右手法则的三维正交直接坐标系，其原点可以位于云台的重心，OX轴平行于在拍摄设备轴线(拍摄设备的变焦的方向)并指向拍摄设备前方(镜头朝向为前方)，OY轴垂直于拍摄设备轴线并指向拍摄设备右方，OZ轴在垂直于XOY平面，指向拍摄设备下方。
其中，在确定云台的体坐标系时，云台的各个转轴机构的相对位置关系，以及转轴机构相对于基座的位置关系，可以均处于特定的状态，如此，可以实现在多次确定云台的体坐标系时，使用的准则是一致的。
其中，云台的体坐标系的方向可以是云台的体坐标系的三个轴的指向。
应理解，本申请实施例的云台的体坐标系的建立也可以是按照其它方式，例如，遵循左手法则的三维正交直接坐标系，或者，在遵循右手法则的三维正交直接坐标系时，OX轴可以是朝向拍摄设备的后方等。
可选地，该云台的体坐标系的方向可以是相对大地坐标系的方向。以下结合图5a-d进行说明，其中，图5a和5d的无人机是倒立的，图5b和5c的无人机是正立的，这可以通过螺旋桨201的姿态得出。
例如，如图5a和5b所示，虽然云台均设置在了无人机的顶部，但是由于无人机的姿态的变化，其云台的体坐标系相对大地坐标系的方向是不同的，类似地，如图5c和5d所示，虽然云台均设置在了无人机的底部，但是由于无人机的姿态的变化，其云台的体坐标系相对大地坐标系的方向是不同的。以及，如图5a和5c所示，虽然云台分别设置在了无人机的顶部和底部，但是由于无人机的姿态的变化，其云台的体坐标系相对大地坐标系的方向是相同的，类似地，如图5b和5d所示，虽然云台分别设置在了无人机的顶部和底部，但是由于无人机的姿态的变化，其云台的体坐标系相对大地坐标系的方向是相同的。
当然，该云台的体坐标系的方向也可以是相对于无人机的体坐标系的方向。
其中，无人机的体坐标系可以是遵循右手法则的三维正交直角坐标系，其原点位于飞行器的重心，OX轴位于无人机参考平面内平行于机身轴线并指向无人机前方，OY轴垂直于无人机参考面并指向无人机右方，OZ轴在参考面内垂直于XOY平面，指向无人机下方。
应理解，本申请实施例的无人机的体坐标系的建立也可以是按照其它方式，例如，遵循左手法则的三维正交直接坐标系，或者，在遵循右手法则的三维正交直接坐标系时，OX轴可以是朝向无人机的后方等。
在330中，获取该云台所连接的无人机的第二姿态数据。
可选地，可以在无人机上设置第二传感器，通过设置在该无人机上的第二传感器，获取该第二姿态数据。
可选地，该第二传感器是加速度计和陀螺仪中的至少一种。当然，该第一传感器也可以是其它传感器，本申请实施例对此不作具体限定。
可选地，该第二姿态数据用于表征该无人机的体坐标系的方向。
其中，无人机的体坐标系的方向可以是无人机的体坐标系的三个轴的指向。
可选地，该无人机的体坐标系的方向可以是相对大地坐标系的方向。
例如，如图5a和5d中，无人机的体坐标系的方向是相同；如图5b和5c中，无人机的体坐标系的方向是相同；图5a和5d无人机的体坐标系的方向，与图5b和5c中的无人机的体坐标系的方向是不同的。
在340中，控制器可以基于该第一姿态数据以及该第二姿态数据，调整该第一指令中的控制方向，以获取对该云台进行控制的第二指令。
可选地，控制设备基于该无人机的体坐标系的方向，以及该云台的体坐标系的方向，将该第一指令中的控制方向，调整为在该云台的体坐标系下的控制方向，以获取该第二指令。
具体地，云台控制指令可以统一为无人机的体坐标系下，比如用户通过云台摇杆输入控制指令，通过应用(app)指点飞行控制等，控制设备通过对各指令进行叠加，得到无人机的体坐标系下的总指令，云台根据无人机的姿态数据以及云台的姿态数据，判断无人机与云台的相对姿态，从而根据调整矩阵计算得到云台的体坐标系下的指令表示，从而算出输出指令发送给闭环模块。
可选地，控制设备基于该第一姿态数据，以及该第二姿态数据，获取调整矩阵；利用该调整矩阵，调整该第一指令中的控制方向，以获取该第二指令。
可选地，调整矩阵的元素数量可以是3，也即分别用于调整第一控制指令中分解到OX轴、OY轴和OZ轴的速度分量的方向。
可选地，调整矩阵中各个元素的取值可以与无人机的体坐标系的方向，以及云台的体坐标系的方向有关。
例如，如图5d所示的场景，此时，无人机的体坐标系可以是图6中的a所示，云台的体坐标系的可以是如图6中的b所示，其中，a所示的坐标系与b所示的坐标系在三个方向均是相同的，则该种情况下，调整矩阵中三个元素的值可以均为1，也无需对第一指令中的控制方向进行调整。
再例如，如图5a所示的场景，此时，无人机的体坐标系可以是如图7中的a所示，云台的体坐标系可以是如图7中的b所示，其中，a所示的坐标系与b所示的坐标系在OX轴的方向是相同的，在OY轴和OZ轴的方向是相反的，其中，调整矩阵的元素的取值可以为1，-1，-1，其中，第一个元素用于对第一指令中的OX轴的控制方向进行调整，第二个元素用于对第一指令中的OY轴的控制方向进行调整，第三个元素用于对第一指令中的OZ轴的控制方向进行调整。
其中，调整矩阵中的元素取值并非必须是1或-1，具体的取值大小可以与云台的体坐标系和无人机的体坐标系的相应的轴的方向夹角有关。
可选地，虽然调整矩阵是对各个方向分别进行调整，但是第二指令中的速度的方向可以是调整后的各个方向的速度的矢量和。
可选地，在该无人机的体坐标系与该云台的体坐标系在至少一个方向相反时，在该至少一个方向，对该将该第一指令中的控制方向取反，以获取该第二指令。
例如，如图5a所示的场景，此时，无人机的体坐标系可以是如图7中的a所示，云台的体坐标系可以是如图7中的b所示，其中，图7中的a所示的坐标系与图7中的b所示的坐标系在OX轴的方向是相同的，在OY轴和OZ轴的方向是相反的，其中，则可以对OY轴和OZ轴的控制方向进行取反。
在350中，利用该第二指令，控制设备对该云台的运动进行控制。
因此，在本申请实施例中，由于可以根据无人机的姿态数据和云台的姿态数据对控制云台的运动的指令中的控制方向进行调整，可以实现将云台设置在无人机的不同的位置时，可以根据位置自动更改指令中的控制方向，即自动切换控制策略，无需用户手动设定，可以尽量减少用户对云台转动的控制的麻烦度以及尽量避免用户所造成的控制出错的问题。
图8是根据本申请实施例的控制设备400的示意性框图。如图8所示，该控制设备可以包括获取单元410、调整单元420和控制单元430。
该获取单元410用于：获取对云台的运动进行控制的第一指令；获取该云台自身的第一姿态数据；获取该云台所连接的无人机的第二姿态数据；该调整单元420用于：基于该第一姿态数据以及该第二姿态数据，调整该第一指令中的控制方向，以获取对该云台进行控制的第二指令；该控制单元430用于：利用该第二指令，对该云台的运动进行控制。
可选地，该获取单元410进一步用于：通过设置在该云台上的第一传感器，获取该第一姿态数据。
可选地，该第一传感器是加速度计或陀螺仪中的至少一种。
可选地，该获取单元410进一步用于：通过设置在该无人机上的第二传感器，获取该第二姿态数据。
可选地，该第二传感器是加速度计或陀螺仪中的至少一种。
可选地，该调整单元420进一步用于：基于该第一姿态数据，以及该第二姿态数据，获取调整矩阵；利用该调整矩阵，调整该第一指令中的控制方向，以获取该第二指令。
可选地，该第一姿态数据用于表征该云台的体坐标系的方向，该第二姿态数据用于表征该无人机的体坐标系的方向。
可选地，该第一指令是该无人机的体坐标系下的指令；该调整单元420进一步用于：基于该无人机的体坐标系的方向，以及该云台的体坐标系的方向，将该第一指令中的控制方向，调整为在该云台的体坐标系下的控制方向，以获取该第二指令。
可选地，该调整单元420进一步用于：在该无人机的体坐标系与该云台的体坐标系在至少一个方向相反时，在该至少一个方向，对该将该第一指令中的控制方向取反，以获取该第二指令。
可选地，该获取单元410进一步用于：获取用户输入的多个指令；对该多个指令进行合成，以获取该第一指令。
可选地，该多个指令包括通过终端设备输入的指令和/或通过软件开发工具包SDK写入的指令。
应理解，该控制设备400可以实现方法300中控制设备实现的操作，为了简洁，在此不再赘述。
本申请实施例提供了一种云台，该云台可以包括处理器、转轴机构以及用于带动该转轴机构运动的电机，以及第一传感器。
可选地，此处云台的结构可以如图1所示100。其中，处理器可以设置在基座110中，当然，也可以设置在其他的位置。此处的转轴机构可以包括图1所示的转轴机构122，124和126。此处的电机可以包括如图1所示的电机132，134和136。此处的第一传感器可以设置负载支架140，当然，也可以设置在其他位置。
该云台的处理器可以实现方法300中由控制设备实现的相应操作，为了简洁，在此不再赘述。
可选地，本申请实施例的云台可以位于可移动设备中。可移动设备可以在任何合适的环境下移动，例如，空气中(例如，定翼飞机、旋翼飞机，或既没有定翼也没有旋翼的飞机)、水中(例如，轮船或潜水艇)、陆地上(例如，汽车或火车)、太空(例如，太空飞机、卫星或探测器)，以及以上各种环境的任何组合。可移动设备可以是飞机，例如无人机(UnmannedAerial Vehicle，简称为“UAV”)。在一些实施例中，可移动设备可以承载生命体，例如，人或动物。为了便于理解，以下结合图9，以无人机600为例进行说明。
图9是根据本申请实施例的无人机600的示意性框图。如图9所示，无人机600包括云台610和相机620。图9中将无人机描述为无人机仅仅是为了描述方面。相机620可以通过云台610连接到无人机上。无人机600还可以包括动力系统630、传感系统640和通信系统650和飞控系统660。
动力系统630可以包括电子调速器(简称为电调)、一个或多个螺旋桨以及与一个或多个螺旋桨相对应的一个或多个电机。电机和螺旋桨设置在对应的机臂上；电子调速器用于接收飞控系统660产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速和/或转向。电机用于驱动螺旋桨旋转，从而为无人机的飞行提供动力，该动力使得无人机能够实现一个或多个自由度的运动。在某些实施例中，无人机可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、平移轴和俯仰轴。应理解，电机可以是直流电机，也可以交流电机。另外，电机可以是无刷电机，也可以有刷电机。
传感系统640用于测量无人机的姿态信息，即无人机在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统例如可以包括陀螺仪、加速度计、电子罗盘、惯性测量单元(Inertial Measurement Unit，简称为“IMU”)、视觉传感器、全球定位系统(Global Positioning System，简称为“GPS”)和气压计等传感器中的至少一种。飞行控制器用于控制无人机的飞行，例如，可以根据传感系统测量的姿态信息控制无人机的飞行。应理解，飞行控制器可以按照预先编好的程序指令对无人机进行控制，也可以通过响应来自操纵设备的一个或多个控制指令对无人机进行控制。该传感系统640可以包括根据本申请实施例的第二传感器，该第二传感器用于获取无人机的姿态数据。其中，该第二传感器可以包括陀螺仪和加速度计中的至少一种。
通信系统650能够与一个具有通信系统670的终端设备680通过无线信号690进行通信。通信系统650和通信系统670可以包括多个用于无线通信的发射机、接收机和/或收发机。这里的无线通信可以是单向通信，例如，只能是无人机600向终端设备680发送数据。或者无线通信可以是双向通信，数据即可以从无人机600发送给终端设备680，也可以由终端设备680发送给无人机600。
所述飞控系统660可以基于通信系统650获取的指令，对无人机600的飞行进行控制，向动力系统610输出驱动信号。或者，通过通信系统650向终端设备680反馈当前的飞行状态等。
可选地，该云台610可以包括处理器、第一传感器、转轴机构以及用于带动该转轴机构运动的电机；该第一传感器用于获取该云台自身的第一姿态数据。该处理器可以执行本申请实施例中方法300实现的操作，以获取第二指令，控制该电机的运动；该电机基于该处理器的控制进行运动，并带动该转轴机构的运动。
可选地，终端设备680能够提供针对于一个或多个无人机600、云台610和相机620的控制数据，并能接收无人机600、云台610和相机620发送的信息。终端设备680提供的控制数据能够用于控制一个或多个无人机600、云台610和相机620的状态。可选地，云台610和相机620中包括用于与终端设备680进行通信的通信模块。
可以理解的是，图9所示出的无人机包括的云台960可以参照上文方法实施例的描述，为了简洁，在此不再赘述。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (32)

1.一种云台控制方法，其特征在于，包括：
获取对云台的运动进行控制的第一指令；
获取所述云台自身的第一姿态数据；
获取所述云台所连接的无人机的第二姿态数据；
基于所述第一姿态数据以及所述第二姿态数据，调整所述第一指令中的控制方向，以获取对所述云台进行控制的第二指令；
利用所述第二指令，对所述云台的运动进行控制。
2.根据权利要求1所述的方法，其特征在于，所述获取所述云台自身的第一姿态数据，包括：
通过设置在所述云台上的第一传感器，获取所述第一姿态数据。
3.根据权利要求2所述的方法，其特征在于，所述第一传感器是加速度计或陀螺仪中的至少一种。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取所述云台所连接的无人机的第二姿态数据，包括：
通过设置在所述无人机上的第二传感器，获取所述第二姿态数据。
5.根据权利要求4所述的方法，其特征在于，所述第二传感器是加速度计或陀螺仪中的至少一种。
6.根据权利要求1至3中任一项所述的方法，其特征在于，所述基于所述第一姿态数据，以及所述第二姿态数据，调整所述第一指令中的控制方向，以获取所述第二指令，包括：
基于所述第一姿态数据，以及所述第二姿态数据，获取调整矩阵；
利用所述调整矩阵，调整所述第一指令中的控制方向，以获取所述第二指令。
7.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一姿态数据用于表征所述云台的体坐标系的方向，所述第二姿态数据用于表征所述无人机的体坐标系的方向。
8.根据权利要求7所述的方法，其特征在于，所述第一指令是所述无人机的体坐标系下的指令；
所述基于所述第一姿态数据，以及所述第二姿态数据，调整所述第一指令中的控制方向，以获取所述第二指令，包括：
基于所述无人机的体坐标系的方向，以及所述云台的体坐标系的方向，将所述第一指令中的控制方向，调整为在所述云台的体坐标系下的控制方向，以获取所述第二指令。
9.根据权利要求8所述的方法，其特征在于，所述基于所述无人机的体坐标系的方向，以及所述云台的体坐标系的方向，将所述第一指令中的控制方向，调整为在所述云台的体坐标系下的控制方向，以获取所述第二指令，包括：
在所述无人机的体坐标系与所述云台的体坐标系在至少一个方向相反时，在所述至少一个方向，对所述将所述第一指令中的控制方向取反，以获取所述第二指令。
10.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取用户输入的对云台进行控制的第一指令，包括：
获取用户输入的多个指令；
对所述多个指令进行合成，以获取所述第一指令。
11.根据权利要求10所述的方法，其特征在于，所述多个指令包括通过终端设备输入的指令和/或通过软件开发工具包SDK写入的指令。
12.一种控制设备，其特征在于，包括用于执行根据权利要求1至11中任一项所述的方法。
13.一种存储介质，其特征在于，包括指令，当其在计算机上运行时，使得所述计算机执行如权利要求1至11中任一项所述的方法。
14.一种云台，其特征在于，包括处理器、转轴机构以及用于带动所述转轴机构运动的电机，以及第一传感器；
所述第一传感器用于获取所述云台自身的第一姿态数据；
所述处理器用于获取对云台的运动进行控制的第一指令；从所述第一传感器获取所述第一姿态数据；获取所述云台所连接的无人机的第二姿态数据；并基于所述第一姿态数据以及所述第二姿态数据，调整所述第一指令中的控制方向，以获取对所述云台进行控制的第二指令；利用所述第二指令，控制所述电机的运动；
所述电机基于所述处理器的控制进行运动，并带动所述转轴机构的运动。
15.根据权利要求14所述的云台，其特征在于，所述第一传感器是加速度计或陀螺仪。
16.根据权利要求14所述的云台，其特征在于，所述处理器进一步用于：
通过设置在所述无人机上的第二传感器，获取所述第二姿态数据。
17.根据权利要求16所述的云台，其特征在于，所述第二传感器是加速度计或陀螺仪。
18.根据权利要求14至17中任一项所述的云台，其特征在于，所述处理器进一步用于：
基于所述第一姿态数据，以及所述第二姿态数据，获取调整矩阵；
利用所述调整矩阵，调整所述第一指令中的控制方向，以获取所述第二指令。
19.根据权利要求14至17中任一项所述的云台，其特征在于，所述第一姿态数据用于表征所述云台的体坐标系的方向，所述第二姿态数据用于表征所述无人机的体坐标系的方向。
20.根据权利要求19所述的云台，其特征在于，所述第一指令是所述无人机的体坐标系下的指令；
所述处理器进一步用于：
基于所述无人机的体坐标系的方向，以及所述云台的体坐标系的方向，将所述第一指令中的控制方向，调整为在所述云台的体坐标系下的控制方向，以获取所述第二指令。
21.根据权利要求20所述的云台，其特征在于，所述处理器进一步用于：
在所述无人机的体坐标系与所述云台的体坐标系在至少一个方向相反时，在所述至少一个方向，对所述将所述第一指令中的控制方向取反，以获取所述第二指令。
22.根据权利要求14至17中任一项所述的云台，其特征在于，所述处理器进一步用于：
获取用户输入的多个指令；
对所述多个指令进行合成，以获取所述第一指令。
23.根据权利要求22所述的云台，其特征在于，所述多个指令包括所述用户通过终端设备输入的指令和/或所述用户通过软件开发工具包SDK写入的指令。
24.一种无人机，其特征在于，包括通信系统、飞控系统、动力系统、包括第二传感器的传感系统和云台；
所述通信系统用于获取对所述无人机的运动进行控制的指令；
所述飞控系统用于基于所述通信系统获取的指令，向所述动力系统输出驱动信号；
所述动力系统用于基于所述飞控系统输出的驱动信号，驱动所述无人机的运动；
所述第二传感器用于获取所述无人机的姿态数据；
所述云台包括处理器、转轴机构以及用于带动所述转轴机构运动的电机，以及第一传感器；所述第一传感器用于获取所述云台自身的第一姿态数据；所述处理器用于获取对云台的运动进行控制的第一指令；从所述第一传感器获取所述第一姿态数据；从所述第二传感器获取第二姿态数据；并基于所述第一姿态数据以及所述第二姿态数据，调整所述第一指令中的控制方向，以获取对所述云台进行控制的第二指令；利用所述第二指令，控制所述电机的运动；所述电机基于所述处理器的控制进行运动，并带动所述转轴机构的运动。
25.根据权利要求24所述的无人机，其特征在于，所述第一传感器是加速度计或陀螺仪。
26.根据权利要求24或25所述的无人机，其特征在于，所述第二传感器是加速度计或陀螺仪。
27.根据权利要求25所述的无人机，其特征在于，所述处理器进一步用于：
基于所述第一姿态数据，以及所述第二姿态数据，获取调整矩阵；
利用所述调整矩阵，调整所述第一指令中的控制方向，以获取所述第二指令。
28.根据权利要求25所述的无人机，其特征在于，所述第一姿态数据用于表征所述云台的体坐标系的方向，所述第二姿态数据用于表征所述无人机的体坐标系的方向。
29.根据权利要求28所述的无人机，其特征在于，所述第一指令是所述无人机的体坐标系下的指令；
所述处理器进一步用于：
基于所述无人机的体坐标系的方向，以及所述云台的体坐标系的方向，将所述第一指令中的控制方向，调整为在所述云台的体坐标系下的控制方向，以获取所述第二指令。
30.根据权利要求29所述的无人机，其特征在于，所述处理器进一步用于：
在所述无人机的体坐标系与所述云台的体坐标系在至少一个方向相反时，在所述至少一个方向，对所述将所述第一指令中的控制方向取反，以获取所述第二指令。
31.根据权利要求25所述的无人机，其特征在于，所述处理器进一步用于：
获取用户输入的多个指令；
对所述多个指令进行合成，以获取所述第一指令。
32.根据权利要求31所述的无人机，其特征在于，所述多个指令包括所述用户通过终端设备输入的指令和/或所述用户通过软件开发工具包SDK写入的指令。
CN201780014495.5A 2017-12-21 2017-12-21 云台控制方法和设备、云台以及无人机 Expired - Fee Related CN108780331B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/117668 WO2019119340A1 (zh) 2017-12-21 2017-12-21 云台控制方法和设备、云台以及无人机

Publications (2)

Publication Number Publication Date
CN108780331A CN108780331A (zh) 2018-11-09
CN108780331B true CN108780331B (zh) 2021-02-05

Family

ID=64034075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780014495.5A Expired - Fee Related CN108780331B (zh) 2017-12-21 2017-12-21 云台控制方法和设备、云台以及无人机

Country Status (3)

Country Link
US (1) US20200319642A1 (zh)
CN (1) CN108780331B (zh)
WO (1) WO2019119340A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214093A1 (zh) 2017-05-25 2018-11-29 深圳市大疆创新科技有限公司 一种跟踪方法及装置
CN111258240A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 一种控制云台的方法及装置
CN109828274B (zh) * 2019-01-07 2022-03-04 深圳市道通智能航空技术股份有限公司 调整机载雷达的主探测方向的方法、装置和无人机
CN111959802A (zh) * 2019-05-20 2020-11-20 辽宁巨维建设工程有限公司 一种多角度可变式三维建模云台
CN114967737A (zh) * 2019-07-12 2022-08-30 深圳市道通智能航空技术股份有限公司 一种飞行器控制方法及飞行器
WO2021012081A1 (zh) * 2019-07-19 2021-01-28 深圳市大疆创新科技有限公司 云台控制方法、设备和计算机可读存储介质
CN113212770B (zh) * 2021-05-25 2023-05-05 象限空间（天津）科技有限公司 飞行器动力装置控制系统
CN113741497A (zh) * 2021-08-25 2021-12-03 深圳市道通智能航空技术股份有限公司 云台方向的控制方法、装置及终端
WO2023028830A1 (zh) * 2021-08-31 2023-03-09 深圳市大疆创新科技有限公司 一种无人机的控制方法、设备、无人机及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1590770A2 (en) * 2003-01-17 2005-11-02 The Insitu Group Compensation for overflight velocity when stabilizing an airborne camera
CN103336532A (zh) * 2013-04-26 2013-10-02 杨毅 3d视听觉系统的支持装置及3d视听觉系统
WO2015014116A1 (en) * 2013-07-31 2015-02-05 SZ DJI Technology Co., Ltd Remote control method and terminal
CN104483977A (zh) * 2014-10-11 2015-04-01 国家电网公司 一种舵机云台的无速度反馈动态面控制方法
CN104571140A (zh) * 2014-11-20 2015-04-29 中国建材检验认证集团股份有限公司 一种光伏组件巡检拍照控制系统
CN104881049A (zh) * 2015-05-28 2015-09-02 天津大学 有限空间内无人机全景拍摄云台
CN104965527A (zh) * 2015-07-03 2015-10-07 深圳市大疆创新科技有限公司 云台控制方法及云台
CN104995575A (zh) * 2014-07-21 2015-10-21 深圳市大疆创新科技有限公司 一种数据处理方法、装置及飞行器
JP2016143309A (ja) * 2015-02-04 2016-08-08 株式会社Ｊｖｃケンウッド ジンバル制御装置及びジンバル制御方法
CN107223223A (zh) * 2016-04-29 2017-09-29 深圳市大疆创新科技有限公司 一种无人机第一视角飞行的控制方法及系统、智能眼镜

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446351B (zh) * 2015-11-16 2018-03-16 杭州码全信息科技有限公司 一种能够锁定目标区域瞭望基于自主导航的无人飞艇系统
CN105607653A (zh) * 2016-01-05 2016-05-25 深圳一电航空技术有限公司 云台控制方法和系统
US20190127067A1 (en) * 2016-05-03 2019-05-02 Sunshine Aerial Systems, Inc. Autonomous aerial vehicle
CN106094865A (zh) * 2016-07-15 2016-11-09 陈昊 无人飞行器拍摄系统及其拍摄方法
CN106525074B (zh) * 2016-10-13 2019-11-08 天津远度科技有限公司 一种云台漂移的补偿方法、装置、云台和无人机

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1590770A2 (en) * 2003-01-17 2005-11-02 The Insitu Group Compensation for overflight velocity when stabilizing an airborne camera
CN103336532A (zh) * 2013-04-26 2013-10-02 杨毅 3d视听觉系统的支持装置及3d视听觉系统
WO2015014116A1 (en) * 2013-07-31 2015-02-05 SZ DJI Technology Co., Ltd Remote control method and terminal
CN105283816A (zh) * 2013-07-31 2016-01-27 深圳市大疆创新科技有限公司 远程控制方法及终端
CN104995575A (zh) * 2014-07-21 2015-10-21 深圳市大疆创新科技有限公司 一种数据处理方法、装置及飞行器
CN104483977A (zh) * 2014-10-11 2015-04-01 国家电网公司 一种舵机云台的无速度反馈动态面控制方法
CN104571140A (zh) * 2014-11-20 2015-04-29 中国建材检验认证集团股份有限公司 一种光伏组件巡检拍照控制系统
JP2016143309A (ja) * 2015-02-04 2016-08-08 株式会社Ｊｖｃケンウッド ジンバル制御装置及びジンバル制御方法
CN104881049A (zh) * 2015-05-28 2015-09-02 天津大学 有限空间内无人机全景拍摄云台
CN104965527A (zh) * 2015-07-03 2015-10-07 深圳市大疆创新科技有限公司 云台控制方法及云台
CN107223223A (zh) * 2016-04-29 2017-09-29 深圳市大疆创新科技有限公司 一种无人机第一视角飞行的控制方法及系统、智能眼镜

Also Published As

Publication number Publication date
US20200319642A1 (en) 2020-10-08
WO2019119340A1 (zh) 2019-06-27
CN108780331A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
CN108780331B (zh) 云台控制方法和设备、云台以及无人机
US11233943B2 (en) Multi-gimbal assembly
US11949992B2 (en) UAV panoramic imaging
US11118728B2 (en) Method and system for stabilizing a payload
CN108351574B (zh) 用于设置相机参数的系统、方法和装置
WO2021008628A1 (zh) 飞行器控制方法及飞行器
US10657832B2 (en) Method and apparatus for target relative guidance
US10281930B2 (en) Gimbaled universal drone controller
WO2019223270A1 (zh) 云台电机角度和角速度估算方法、装置、云台及飞行器
US11156905B2 (en) Control method for gimbal, controller, and gimbal
CN104808674A (zh) 多旋翼飞行器的控制系统、终端及机载飞控系统
CN110440805B (zh) 一种偏航角的融合方法、装置及飞行器
CN111433702B (zh) 无人机及其云台控制方法
CN110568860A (zh) 一种无人飞行器的返航方法、装置及无人飞行器
CN109032184B (zh) 飞行器的飞行控制方法、装置、终端设备及飞行控制系统
TW201825354A (zh) 用於無人機和機器人的360度照相機架
JP2019156127A (ja) 無人飛行装置
CN111052020B (zh) 导航设备
CN114489103B (zh) 一种耦合单轴云台的手机无人机及控制方法
US20240327044A1 (en) Unmanned aerial vehicle suspended propulsion systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210205