CN118917841B - 一种基于视觉算法的无人机回收方法、装置、设备及介质 - Google Patents

一种基于视觉算法的无人机回收方法、装置、设备及介质 Download PDF

Info

Publication number
CN118917841B
CN118917841B CN202411409540.5A CN202411409540A CN118917841B CN 118917841 B CN118917841 B CN 118917841B CN 202411409540 A CN202411409540 A CN 202411409540A CN 118917841 B CN118917841 B CN 118917841B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
algorithm
image data
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411409540.5A
Other languages
English (en)
Other versions
CN118917841A (zh
Inventor
王博文
王剑峰
吕小兵
郭颜
李鹏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qianfang Innovation Technology Co ltd
Original Assignee
Beijing Qianfang Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qianfang Innovation Technology Co ltd filed Critical Beijing Qianfang Innovation Technology Co ltd
Priority to CN202411409540.5A priority Critical patent/CN118917841B/zh
Publication of CN118917841A publication Critical patent/CN118917841A/zh
Application granted granted Critical
Publication of CN118917841B publication Critical patent/CN118917841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/30—Administration of product recycling or disposal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Sustainable Development (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明属于复杂场景下无人机回收技术领域，具体公开了一种基于视觉算法的无人机回收方法、装置、设备及介质。方法包括：获取无人机飞行时的实时坐标以及对应的地面降落点坐标；当实时坐标与地面降落点坐标的距离在预设范围内时，确定无人机与地面降落点的相对位置；基于相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据；从视频图像数据中识别出无人机，并对无人机进行定位；持续跟踪无人机，并更新无人机的飞行轨迹；依据无人机的飞行轨迹，确定无人机的下降梯度；基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线，更适合在复杂环境中进行无人机回收。

Description

一种基于视觉算法的无人机回收方法、装置、设备及介质
技术领域
本发明属于复杂场景下无人机回收技术领域，具体涉及一种基于视觉算法的无人机回收方法、装置、设备及介质。
背景技术
随着无人机技术的快速发展，无人机在各个领域的应用日益广泛。然而，无人机的自动回收问题一直是制约其进一步应用的重要瓶颈之一。
在无人机回收技术的发展过程中，虽然已有多种回收方法被提出并应用，但仍存在一些明显的缺陷和不足，例如部分无人机回收技术仍然需要人工干预或操作，如人工引导无人机降落、手动控制无人机进入回收区域等，增加了操作难度，降低了回收的效率和安全性。
发明内容
本发明的目的在于提供一种基于视觉算法的无人机回收方法、装置、设备及介质，以解决现有无人机回收技术仍然需要人工干预或操作，操作难度大，回收的效率和安全性低的技术问题。
为实现上述目的，本发明采用如下技术方案予以实现：
第一方面，本发明提供一种基于视觉算法的无人机回收方法，包括以下步骤：
获取无人机飞行时的实时坐标，以及对应的地面降落点坐标；当实时坐标与地面降落点坐标的距离在预设范围内时，确定无人机与地面降落点的相对位置；基于所述相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据；
从所述视频图像数据中识别出无人机，并对无人机进行定位；持续跟踪无人机，并更新无人机的飞行轨迹；其中，当无人机从视频图像数据中消失时，采用轨迹预测算法预测无人机的可能位置，依据可能位置对无人机持续跟踪；
依据无人机的飞行轨迹，确定无人机的下降梯度；
基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线。
进一步的，基于所述相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据的步骤中：
当相对位置的距离小于或者等于预设范围时，地面降落点处的摄像机开始对无人机所在位置区域进行拍摄；否则，摄像机不工作。
进一步的，从所述视频图像数据中识别出无人机，并对无人机进行定位，包括：
对视频图像数据进行预处理，得到连续的视频帧数据；
将视频帧数据输入YOLO算法中的卷积神经网络进行特征提取；
基于提取的特征，将视频帧数据划分为若干网格并在每个网格中预测边界框及对应的置信度；
基于提取的特征，预测每个边界框的类别概率向量；
根据每个边界框的类别概率向量和置信度得分，得到若干预测无人机位置坐标；
采用非极大值预测算法处理预测无人机位置坐标，得到最终的无人机位置坐标。
进一步的，依据无人机的飞行轨迹，确定无人机的下降梯度，包括：
根据无人机的飞行轨迹确定无人机的下降阶段；
在下降阶段内选择起点和终点；
使用起点和终点的高度数据来计算下降高度，根据位置坐标来计算起点和终点的水平距离，依据下降高度与水平距离计算下降梯度。
进一步的，采用路径规划算法规划无人机的最优降落航线的步骤后，无人机依据最优降落航线进行下降；其中，在无人机依据最优降落航线降落时，获取周围环境数据，采用预设的识别模型识别所述周围环境数据；当识别到的障碍物后，基于路径规划算法重新规划航线。
进一步的，在无人机依据最优降落航线降落时，获取周围环境数据，采用预设的识别模型识别所述周围环境数据；当识别到的障碍物后，基于路径规划算法重新规划航线，包括：
在无人机依据最优降落航线降落时，获取周围环境数据；其中，所述周围环境数据包括：利用无人机搭载的摄像头向无人机航行方向拍摄的第一图像，以及地面降落点向上对无人机所在位置区域拍摄的视频图像数据；
分别基于第一图像、视频图像数据，采用预设的识别模型进行障碍物识别，得到第一识别结果和第二识别结果；根据第一识别结果判断无人机航行方向是否存在障碍物，根据第二识别结果识别无人机所在位置区域是否有障碍物；
当第一识别结果和第二识别结果中的任一显示有障碍物时，基于路径规划算法重新规划航线。
进一步的，基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线的步骤中，路径规划算法为A*算法或RRT算法。
第二方面，本发明提供一种基于视觉算法的无人机回收装置，包括：
图像获取模块，用于获取无人机飞行时的实时坐标，以及对应的地面降落点坐标；当实时坐标与地面降落点坐标的距离在预设范围内时，确定无人机与地面降落点的相对位置；基于所述相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据；
无人机识别跟踪模块，用于从所述视频图像数据中识别出无人机，并对无人机进行定位；持续跟踪无人机，并更新无人机的飞行轨迹；其中，当无人机从视频图像数据中消失时，采用轨迹预测算法预测无人机的可能位置，依据可能位置对无人机持续跟踪；
下降梯度计算模块，用于依据无人机的飞行轨迹，确定无人机的下降梯度；
航线规划模块，用于基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线。
第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的基于视觉算法的无人机回收方法。
第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于视觉算法的无人机回收方法。
与现有技术相比，本发明至少包括以下有益效果：
本发明提供的无人机回收方法，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据；从视频图像数据中识别出无人机，并对无人机进行定位；持续跟踪无人机，并更新无人机的飞行轨迹；其中，当无人机从视频图像数据中消失时，采用轨迹预测算法预测无人机的可能位置，依据可能位置对无人机持续跟踪；依据无人机的飞行轨迹，确定无人机的下降梯度；基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线。本方案通过视觉算法自动识别和跟踪无人机，减少了人工干预，提高了回收的自动化程度。实时获取无人机的飞行坐标和轨迹，并据此进行路径规划，能够迅速响应无人机的动态变化。通过路径规划和轨迹预测，可以降低无人机在回收过程中的碰撞风险，提高回收的安全性。自动化流程减少了人为错误和延误，提高了回收的效率和准确性。
本方案通过引入视觉算法和自动化技术，有效地解决了现有无人机回收技术中的多个关键问题，包括人工干预需求高、操作难度大、回收效率和安全性低等。通过实时获取无人机的飞行数据并进行智能处理，实现了无人机的自动识别和跟踪，以及基于飞行轨迹的路径规划和轨迹预测，从而提高了回收的自动化程度、效率和安全性。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一种基于视觉算法的无人机回收方法的流程图；
图2为本发明实施例一种基于视觉算法的无人机回收装置的结构框图；
图3为本发明实施例一种电子设备的结构框图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
名词解释：
‌YOLO算法（You Only Look Once），基于单个神经网络的目标检测系统。
A*算法(A-star Algorithm)，启发式搜索算法。
RRT算法(Rapidly Exploring Random Tree)，快速扩展随机树算法。
交并比IoU（Intersection over Union）是一个比值，表示预测边界框（PredictedBounding Box）与真实边界框（Ground Truth Bounding Box）之间的交集面积与并集面积的比值。
实施例1
实施例1
现有无人机回收技术中，存在人工干预需求高、操作难度大、回收效率和安全性低的问题。具体而言，传统方法需要人工引导无人机降落、手动控制无人机进入回收区域等，这些操作增加了操作的复杂性和成本，可能导致人为错误和安全隐患。此外，由于人工操作的局限性，往往难以实时响应无人机的动态变化，从而降低了回收的效率和准确性。
为解决上述问题，本发明提供了一种基于视觉算法的无人机回收方法，如图1所示，包括以下步骤：
S100、获取无人机飞行时的实时坐标，以及对应的地面降落点坐标；当实时坐标与地面降落点坐标的距离在预设范围内时，确定无人机与地面降落点的相对位置；基于所述相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据。
S200、从所述视频图像数据中识别出无人机，并对无人机进行定位；持续跟踪无人机，并更新无人机的飞行轨迹；其中，当无人机从视频图像数据中消失时，采用轨迹预测算法预测无人机的可能位置，依据可能位置对无人机持续跟踪。
S300、依据无人机的飞行轨迹，确定无人机的下降梯度。
S400、基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线。
本方案通过视觉算法自动识别和跟踪无人机，大大减少了人工干预的需求，降低了操作难度和成本。整个回收过程高度自动化，从无人机的识别、定位、跟踪到路径规划，均由算法自动完成，提高了回收的自动化程度。实时获取无人机的飞行坐标和轨迹，并据此进行路径规划，能够迅速响应无人机的动态变化，从而提高回收的效率。通过路径规划和轨迹预测，能够提前预测并避免无人机在回收过程中的潜在碰撞风险，提高了回收的安全性。并且，自动化流程减少了人为错误和延误的可能性，提高了回收的准确性和可靠性。
为了对本方案进行进一步的解释和说明，更为具体的一些实施例中，还提供了一种基于视觉算法的无人机回收方法，包括以下步骤：
S1、获取无人机飞行时的实时坐标，以及对应的地面降落点坐标；当实时坐标与地面降落点坐标的距离在预设范围内时，确定无人机与地面降落点的相对位置；基于所述相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据。
具体的，获取无人机的实时坐标；根据无人机的实时坐标和地面降落点坐标计算，得到无人机和地面降落点的相对位置；当相对位置的距离小于或者等于预设范围时，地面降落点处的摄像机开始对无人机所在位置区域进行拍摄；否则，摄像机不工作。
具体的，地面降落点设置在无障碍区域，且满足安全距离和地面条件等要求。地面降落点处设有摄像机，通过摄像机对无人机所在位置区域进行实时拍摄，得到视频图像数据。
可选地，地面降落点处的摄像机下方设有云台，云台用于控制摄像机转动角度，便于对无人机进行追踪拍摄。
S2、从所述视频图像数据中识别出无人机，并对无人机进行定位；持续跟踪无人机，并更新无人机的飞行轨迹；其中，当无人机从视频图像数据中消失时，采用轨迹预测算法预测无人机的可能位置，依据可能位置对无人机持续跟踪。
具体的，从所述视频图像数据中识别出无人机，并对无人机进行定位，包括：
S201、对视频图像数据进行预处理，得到连续的视频帧数据；
具体的，将输入的视频图像数据转换为YOLO算法可以处理的格式和大小。
作为示例，读取视频图像数据，并将其分解为连续的帧。对每一帧进行大小调整，以匹配YOLO算法的大小（如416x416或640x640）。
可选实施例中，还对视频图像数据进行归一化、去噪等预处理步骤。
S202、将视频帧数据输入YOLO算法中的卷积神经网络进行特征提取；
作为示例，卷积神经网络通过卷积层、池化层等结构提取图像中的高级特征（如形状、纹理等）。
S203、基于提取的特征，将视频帧数据划分为若干网格并在每个网格中预测边界框及对应的置信度；
例如，可以将图像划分为S×S个网格，每个网格预测B个边界框及其对应的置信度得分。边界框用于框选出图像中的目标（在本方案中是无人机），而置信度得分则表示该边界框内存在目标的概率以及边界框与真实目标之间的拟合程度。
S204、基于提取的特征，预测每个边界框的类别概率向量；
具体的，对于每个边界框，YOLO算法输出一个类别概率向量，表示该边界框内目标属于各个类别的概率。在本方案无人机识别任务中，类别概率向量包含一个较高的“无人机”类别概率。
S205、根据每个边界框的类别概率向量和置信度得分，得到若干预测无人机位置坐标；
使用简化方法计算边界框的中心坐标(x,y)、宽度w和高度h，表示图像中无人机的预测位置。需要说明的是，每个网格单元预测边界框的宽度w和高度h，是相对于整个图像尺寸的。边界框的中心坐标(x,y)是相对于网格单元左上角的偏移量，并且是归一化的（即值在0到1之间）。
可选实施例中，简化方法如下：
x=sigmoid(tx)+cx
y=sigmoid(ty)+cy
w=pw*exp(tw)
h= ph*exp(th)
其中，x和y表示边界框中心的坐标；sigmoid表示Sigmoid函数；(tx,ty)是预测的坐标偏移量，(cx,cy)是网格单元左上角的坐标（归一化），(pw,ph)是先验边界框（anchorbox）的宽度和高度，(tw,th)是网络学习的宽度和高度缩放因子；w 和 h 分别表示边界框的宽度和高度；exp代表指数函数。
需要说明的是，每个边界框都有一个置信度得分，表示该边界框内存在目标的概率以及预测的准确性。置信度得分是边界框内存在目标的概率和边界框与真实目标之间的IoU（交并比）的乘积。
可选实施例中，置信度简化公式如下：
confidence=Pr(Object)×IoU(Predicted, Truth)
其中，confidence为置信度；Pr(Object)表示边界框内存在目标（无人机）的概率；IoU(Predicted, Truth)表示边界框与真实目标之间的交并比。
S206、采用非极大值预测算法处理预测无人机位置坐标，得到最终的无人机位置坐标。
具体的，非极大值抑制算法通过比较边界框的置信度得分和重叠程度，筛选出最优的边界框作为最终的检测结果。
具体的，持续跟踪无人机，并更新无人机的飞行轨迹，包括：
S211、在视频图像数据的初始帧中，使用YOLO算法识别、定位无人机，并获取无人机边界框信息，作为跟踪边界框，并为这个无人机分配一个唯一的ID，以便后续跟踪。
S212、在视频图像数据的后续帧中，再次使用YOLO算法检测出所有可能的目标。然后，通过计算这些目标与上一帧中已知无人机之间的位置关系（如IoU值）和类别一致性，进行目标匹配。找到与上一帧中无人机ID匹配的目标，即为当前帧中的无人机。
S213、根据匹配结果，更新无人机的轨迹信息（如位置、速度等）。同时，也可以计算无人机的飞行姿态、速度等参数，为后续的决策和控制提供依据。
优选的，如果无人机在视频帧数据中暂时消失或无法被检测到，可以使用轨迹预测算法来预测无人机的可能位置，并在后续帧中继续跟踪。
一个可选实施例中，轨迹预测算法可以采用扩展卡尔曼滤波法、卡尔曼滤波法或者无迹卡尔曼滤波法等。
卡尔曼滤波是一种用于估计线性动态系统状态的方法，使用递归的方式来估计一个系统的状态，并通过测量更新这些估计，使用系统的动态模型来预测下一个状态。
本方案中以卡尔曼滤波为例进行无人机跟踪说明：
1.初始化
定义系统状态：首先定义无人机的状态向量x_0，包括位置（如x,y,z坐标）、速度（v x ,v y ,v z）等。可选实施例中还包括其他状态如加速度、姿态等。
初始化状态估计：设置初始状态估计的初始值。
初始化误差协方差：设置初始误差协方差矩阵P 0，表示对初始状态估计的不确定性。
设置过程噪声协方差Q：根据系统动态的不确定性设置过程噪声协方差矩阵Q。
设置测量噪声协方差R：根据测量设备的不确定性设置测量噪声协方差矩阵R。
定义系统模型：确定状态转移矩阵A和控制矩阵B。
定义测量模型：确定测量矩阵H，用于描述状态如何映射到测量值上。
2.预测步骤
在每个时间步k，使用前一时刻的状态估计来预测当前时刻的状态：
预测状态：
预测误差协方差：
其中：表示在获得新的测量值之前，对时间步k的状态向量的预测；A表示状态转移矩阵；表示上一时间步k−1的状态估计；B表示控制矩阵；u k−1表示上一时间步k−1的控制输入；P k −表示预测误差协方差矩阵，表示对预测状态x k −的不确定性的估计；P k−1表示上一时间步k−1的误差协方差矩阵；A T表示状态转移矩阵A的转置；Q表示过程噪声协方差矩阵，表示系统动态过程中的不确定性。
3.更新步骤
当接收到新的测量值zk时，使用它来更新状态估计和误差协方差：
计算卡尔曼增益：
其中：K k表示卡尔曼增益，用于权衡预测状态和测量值之间的相对重要性。H表示测量矩阵，描述了系统状态如何映射到测量值上。H T表示测量矩阵H的转置。R表示测量噪声协方差矩阵，表示测量过程中的不确定性。(HP k − H T+R)−1表示测量预测误差协方差的逆，用于计算卡尔曼增益。
更新状态估计：
其中，表示时间步k的状态估计，结合了预测状态和新的测量值。表示时间步k的测量值。表示预测测量值，即根据预测状态和测量矩阵H计算得到的测量值的预测。表示测量残差（实际测量值与预测测量值之差）的加权，用于校正预测状态。
更新误差协方差：
其中，P k表示时间步k的误差协方差矩阵，表示对状态估计的不确定性的估计。I表示单位矩阵。用于根据卡尔曼增益和测量矩阵来调整预测误差协方差矩阵。
4.重复预测与更新
重复上述预测和更新步骤，随着新的测量值的不断获取，不断更新无人机的状态估计。
优选实施例中，还包括如下：
5.融合其他传感器数据
GPS数据：将GPS位置数据作为测量值之一，通过卡尔曼滤波与视觉或其他传感器数据进行融合，提高位置估计的精度。
IMU数据：使用IMU数据（如加速度计和陀螺仪）来估计无人机的姿态和速度，并通过卡尔曼滤波与位置估计进行融合。
S3、依据无人机的飞行轨迹，确定无人机的下降梯度。
具体的，根据无人机的飞行轨迹确定无人机的下降阶段，例如可以通过监测高度数据的变化来识别，当高度数据开始持续下降时，即认为无人机进入了下降阶段。在下降阶段内选择起点（可以是下降开始时的位置点）和终点（地面降落点）。使用起点和终点的高度数据来计算下降高度（Hdescent），根据位置坐标来计算起点和终点的水平距离（Dhorizontal）。最后，依据下降高度与水平距离计算下降梯度（Gradient）。下降梯度计算公式为：。下降高度是无人机当前高度与降落点高度之差，水平距离是无人机到降落点的直线距离。
可选方案中，下降梯度计算后，可以根据无人机的速度、重量、悬挂的设备、天气等因素进行调整，以确保安全着陆。
可选方案中，使用无人机上的GPS等确定无人机的当前位置（X_current, Y_current）。通过气压计、雷达高度计或其他传感器等测量无人机的当前高度（H_current）。确定地面降落点的坐标（X_landing, Y_landing）。
降落点的高度（H_landing）可以根据降落区域的地形信息或预先测量的数据获得。
根据无人机当前位置（X_current, Y_current）和降落点位置（X_landing, Y_landing），计算两者之间的直线距离，即水平距离（D_horizontal）。
下降高度（H_descent）是无人机当前高度与降落点高度之间的差值。
H_descent=H_current−H_landing
S4、基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线。
通过计算得到的下降梯度，可以为无人机规划一个合适的下降路径，确保无人机能够以安全、稳定的方式降落到指定的位置。
例如，本方案中，根据下降梯度和降落点位置，使用路径规划算法（如A*算法、RRT算法等）来生成航线。
优选的实施例中，在无人机依据最优降落航线降落时，获取周围环境数据，采用预设的识别模型识别所述周围环境数据；当识别到的障碍物后，基于路径规划算法重新规划航线。
具体的，在无人机依据最优降落航线降落时，获取周围环境数据；其中，所述周围环境数据包括：利用无人机搭载的摄像头向无人机航行方向拍摄的第一图像，以及地面降落点向上对无人机所在位置区域拍摄的视频图像数据；分别基于第一图像、视频图像数据，采用预设的识别模型进行障碍物识别，得到第一识别结果和第二识别结果；根据第一识别结果判断无人机航行方向是否存在障碍物，根据第二识别结果识别无人机所在位置区域是否有障碍物；当第一识别结果和第二识别结果中的任一显示有障碍物时，基于路径规划算法重新规划航线。
作为示例，预设的识别模型可以是深度学习模型等。
可选地实施例中，在无人机的降落过程中，通过摄像机和无人机传回的视频，实时检测周边环境的变化情况。如发现障碍物或其他影响降落的因素，及时调整降落航线，确保无人机能够安全降落。
无人机通过搭载的摄像头实时捕获环境信息，并使用基于深度学习的识别模型进行障碍物检测。障碍物如树木、建筑物或其他飞行物等。
无人机还可以配备激光雷达、超声波传感器等，用于获取更精确的距离和位置信息。
在无人机避障过程中，RRT算法可以帮助无人机在检测到障碍物后快速重新规划路径。具体方法下：
假设无人机的当前航向为θ_current（单位为度），目标航向为θ_goal（单位为度），由于角度是周期性的（即360°和0°是相同的），本方案需要考虑角度的“环绕”情况。通过模运算来实现，则航向差Δθ计算公式：
弧度调整与角度调整的原理相同，但模运算的基数为2π而不是360°。
具体的，当无人机在返航过程中遇到障碍物时，首先会触发避障程序进行紧急机动。同时，无人机的路径规划系统会根据当前的环境和无人机状态重新规划航线。这个过程涉及到对A*或RRT等算法的调用，以生成新的飞行路径。新的飞行路径将被发送到无人机的飞行控制系统进行执行。飞行控制系统将根据新的路径调整无人机的飞行姿态、速度和航向等参数，确保无人机能够安全地避开障碍物并到达降落点。
实施例2
如图2所示，基于与上述实施例的同一发明构思，本发明还提供了一种基于视觉算法的无人机回收装置，其特征在于，包括：
图像获取模块，用于获取无人机飞行时的实时坐标，以及对应的地面降落点坐标；当实时坐标与地面降落点坐标的距离在预设范围内时，确定无人机与地面降落点的相对位置；基于所述相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据；
无人机识别跟踪模块，用于从所述视频图像数据中识别出无人机，并对无人机进行定位；持续跟踪无人机，并更新无人机的飞行轨迹；其中，当无人机从视频图像数据中消失时，采用轨迹预测算法预测无人机的可能位置，依据可能位置对无人机持续跟踪；
下降梯度计算模块，用于依据无人机的飞行轨迹，确定无人机的下降梯度；
航线规划模块，用于基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线。
实施例3
如图3所示，本发明还提供一种用于实现上述实施例一种基于视觉算法的无人机回收方法的电子设备100；
电子设备100包括存储器101、至少一个处理器102、存储在存储器101中并可在至少一个处理器102上运行的计算机程序103及至少一条通讯总线104。
存储器101可用于存储计算机程序103，处理器102通过运行或执行存储在存储器101内的计算机程序，以及调用存储在存储器101内的数据，实现实施例1一种基于视觉算法的无人机回收方法步骤。
处理器102可以为AI处理器。
存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据)等。此外，存储器101可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
至少一个处理器102可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以是微处理器或者该处理器102也可以是任何常规的处理器等，处理器102是电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。
电子设备100中的存储器101存储多个指令以实现一种基于视觉算法的无人机回收方法，处理器102可执行多个指令从而实现：
获取无人机飞行时的实时坐标，以及对应的地面降落点坐标；当实时坐标与地面降落点坐标的距离在预设范围内时，确定无人机与地面降落点的相对位置；基于所述相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据；
从所述视频图像数据中识别出无人机，并对无人机进行定位；持续跟踪无人机，并更新无人机的飞行轨迹；其中，当无人机从视频图像数据中消失时，采用轨迹预测算法预测无人机的可能位置，依据可能位置对无人机持续跟踪；
依据无人机的飞行轨迹，确定无人机的下降梯度；
基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线。
实施例4
电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器及只读存储器(ROM，Read-Only Memory)。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于视觉算法的无人机回收方法，其特征在于，包括以下步骤：
获取无人机飞行时的实时坐标，以及对应的地面降落点坐标；当实时坐标与地面降落点坐标的距离在预设范围内时，确定无人机与地面降落点的相对位置；基于所述相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据；
从所述视频图像数据中识别出无人机，并对无人机进行定位；持续跟踪无人机，并更新无人机的飞行轨迹；其中，当无人机从视频图像数据中消失时，采用轨迹预测算法预测无人机的可能位置，依据可能位置对无人机持续跟踪；
依据无人机的飞行轨迹，确定无人机的下降梯度；
基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线；
从所述视频图像数据中识别出无人机，并对无人机进行定位，包括：对视频图像数据进行预处理，得到连续的视频帧数据；将视频帧数据输入YOLO算法中的卷积神经网络进行特征提取；基于提取的特征，将视频帧数据划分为若干网格并在每个网格中预测边界框及对应的置信度；基于提取的特征，预测每个边界框的类别概率向量；根据每个边界框的类别概率向量和置信度得分，得到若干预测无人机位置坐标；采用非极大值预测算法处理预测无人机位置坐标，得到最终的无人机位置坐标；
持续跟踪无人机，并更新无人机的飞行轨迹，包括：识别、定位无人机，并获取无人机边界框信息作为跟踪边界框，为无人机分配一个唯一的ID；在视频图像数据的后续帧中，再次使用YOLO算法检测出所有可能的目标，通过计算所有可能的目标与上一帧中已知无人机之间的位置关系和类别一致性，进行目标匹配；找到与上一帧中无人机ID匹配的目标，即为当前帧中的无人机；根据匹配结果，更新无人机的轨迹信息；
采用路径规划算法规划无人机的最优降落航线的步骤后，无人机依据最优降落航线进行下降；其中，在无人机依据最优降落航线降落时，获取周围环境数据，采用预设的识别模型识别所述周围环境数据；当识别到的障碍物后，基于路径规划算法重新规划航线；具体包括：在无人机依据最优降落航线降落时，获取周围环境数据；其中，所述周围环境数据包括：利用无人机搭载的摄像头向无人机航行方向拍摄的第一图像，以及地面降落点向上对无人机所在位置区域拍摄的视频图像数据；分别基于第一图像、视频图像数据，采用预设的识别模型进行障碍物识别，得到第一识别结果和第二识别结果；根据第一识别结果判断无人机航行方向是否存在障碍物，根据第二识别结果识别无人机所在位置区域是否有障碍物；当第一识别结果和第二识别结果中的任一显示有障碍物时，基于路径规划算法重新规划航线。
2.根据权利要求1所述的基于视觉算法的无人机回收方法，其特征在于，基于所述相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据的步骤中：
当相对位置的距离小于或者等于预设范围时，地面降落点处的摄像机开始对无人机所在位置区域进行拍摄；否则，摄像机不工作。
3.根据权利要求1所述的基于视觉算法的无人机回收方法，其特征在于，依据无人机的飞行轨迹，确定无人机的下降梯度，包括：
根据无人机的飞行轨迹确定无人机的下降阶段；
在下降阶段内选择起点和终点；
使用起点和终点的高度数据来计算下降高度，根据位置坐标来计算起点和终点的水平距离，依据下降高度与水平距离计算下降梯度。
4.根据权利要求1所述的基于视觉算法的无人机回收方法，其特征在于，基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线的步骤中，路径规划算法为A*算法或RRT算法。
5.一种基于视觉算法的无人机回收装置，其特征在于，包括：
图像获取模块，用于获取无人机飞行时的实时坐标，以及对应的地面降落点坐标；当实时坐标与地面降落点坐标的距离在预设范围内时，确定无人机与地面降落点的相对位置；基于所述相对位置，从地面降落点向上对无人机所在位置区域进行实时拍摄，得到视频图像数据；
无人机识别跟踪模块，用于从所述视频图像数据中识别出无人机，并对无人机进行定位；持续跟踪无人机，并更新无人机的飞行轨迹；其中，当无人机从视频图像数据中消失时，采用轨迹预测算法预测无人机的可能位置，依据可能位置对无人机持续跟踪；
下降梯度计算模块，用于依据无人机的飞行轨迹，确定无人机的下降梯度；
航线规划模块，用于基于下降梯度和地面降落点坐标，采用路径规划算法规划无人机的最优降落航线；
从所述视频图像数据中识别出无人机，并对无人机进行定位，包括：对视频图像数据进行预处理，得到连续的视频帧数据；将视频帧数据输入YOLO算法中的卷积神经网络进行特征提取；基于提取的特征，将视频帧数据划分为若干网格并在每个网格中预测边界框及对应的置信度；基于提取的特征，预测每个边界框的类别概率向量；根据每个边界框的类别概率向量和置信度得分，得到若干预测无人机位置坐标；采用非极大值预测算法处理预测无人机位置坐标，得到最终的无人机位置坐标；
持续跟踪无人机，并更新无人机的飞行轨迹，包括：识别、定位无人机，并获取无人机边界框信息作为跟踪边界框，为无人机分配一个唯一的ID；在视频图像数据的后续帧中，再次使用YOLO算法检测出所有可能的目标，通过计算所有可能的目标与上一帧中已知无人机之间的位置关系和类别一致性，进行目标匹配；找到与上一帧中无人机ID匹配的目标，即为当前帧中的无人机；根据匹配结果，更新无人机的轨迹信息；
采用路径规划算法规划无人机的最优降落航线的步骤后，无人机依据最优降落航线进行下降；其中，在无人机依据最优降落航线降落时，获取周围环境数据，采用预设的识别模型识别所述周围环境数据；当识别到的障碍物后，基于路径规划算法重新规划航线；具体包括：在无人机依据最优降落航线降落时，获取周围环境数据；其中，所述周围环境数据包括：利用无人机搭载的摄像头向无人机航行方向拍摄的第一图像，以及地面降落点向上对无人机所在位置区域拍摄的视频图像数据；分别基于第一图像、视频图像数据，采用预设的识别模型进行障碍物识别，得到第一识别结果和第二识别结果；根据第一识别结果判断无人机航行方向是否存在障碍物，根据第二识别结果识别无人机所在位置区域是否有障碍物；当第一识别结果和第二识别结果中的任一显示有障碍物时，基于路径规划算法重新规划航线。
6.一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现权利要求1-4中任一项所述的基于视觉算法的无人机回收方法。
7.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现权利要求1-4中任一项所述的基于视觉算法的无人机回收方法。
CN202411409540.5A 2024-10-10 2024-10-10 一种基于视觉算法的无人机回收方法、装置、设备及介质 Active CN118917841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411409540.5A CN118917841B (zh) 2024-10-10 2024-10-10 一种基于视觉算法的无人机回收方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411409540.5A CN118917841B (zh) 2024-10-10 2024-10-10 一种基于视觉算法的无人机回收方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN118917841A CN118917841A (zh) 2024-11-08
CN118917841B true CN118917841B (zh) 2025-02-07

Family

ID=93307331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411409540.5A Active CN118917841B (zh) 2024-10-10 2024-10-10 一种基于视觉算法的无人机回收方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN118917841B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120707599B (zh) * 2025-08-26 2025-12-12 公安部第三研究所 一种基于大语言模型获取无人机航线方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544550A (zh) * 2016-06-24 2018-01-05 西安电子科技大学 一种基于视觉引导的无人机自动着陆方法
CN114564034A (zh) * 2022-03-04 2022-05-31 福云智控(厦门)智能科技有限公司 一种无gnss环境下基于云台视觉伺服的无人机自主降落策略

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3142590A1 (fr) * 2022-11-24 2024-05-31 Thales Système de gestion de trajectoire d'atterrissage d'urgence d'un drone ou aéronef sans pilote.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544550A (zh) * 2016-06-24 2018-01-05 西安电子科技大学 一种基于视觉引导的无人机自动着陆方法
CN114564034A (zh) * 2022-03-04 2022-05-31 福云智控(厦门)智能科技有限公司 一种无gnss环境下基于云台视觉伺服的无人机自主降落策略

Also Published As

Publication number Publication date
CN118917841A (zh) 2024-11-08

Similar Documents

Publication Publication Date Title
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
KR102732956B1 (ko) 멀티 센서 기반의 무인 비행체 및 그 제어 방법
EP4318397A2 (en) Method of computer vision based localisation and navigation and system for performing the same
EP2818957A1 (en) System and method for UAV landing
CN107656545A (zh) 一种面向无人机野外搜救的自主避障与导航方法
EP3842836A1 (en) Method, apparatus and storage medium for positioning object
CN113218389B (zh) 一种车辆定位方法、装置、存储介质及计算机程序产品
WO2018221454A1 (ja) 地図作成装置、制御方法、プログラム及び記憶媒体
CN118917841B (zh) 一种基于视觉算法的无人机回收方法、装置、设备及介质
JP2025142320A (ja) 情報処理装置、方法、プログラム及び記憶媒体
CN117518198A (zh) 一种自适应障碍物检测方法和系统
JP7594691B2 (ja) 自動運転および／または支援運転のための駆動装置、車両、および方法
Xia et al. Integrated emergency self-landing method for autonomous uas in urban aerial mobility
CN117745765A (zh) 一种基于深度视觉的室内无人机目标跟踪系统
CN112686951B (zh) 用于确定机器人位置的方法、装置、终端及存储介质
CN113741550B (zh) 移动机器人跟随方法和系统
CN112597946A (zh) 障碍物表示方法、装置、电子设备及可读存储介质
CN115755575A (zh) 一种基于ros的双云台无人机自主降落方法
CN120740607A (zh) 基于多源数据融合的无人机视觉定位飞行优化系统
CN119620767B (zh) 一种基于无人机的激光射向自动调节方法及系统
CN116125980B (zh) 无人货车驾驶方法、装置、电子设备及存储介质
CN116149233B (zh) 车辆控制方法、装置、电子设备和存储介质
CN109901589B (zh) 移动机器人控制方法和装置
US12260667B1 (en) Robot for identifying person to be rescued within space when emergency situation occurs and method of controlling the robot
EP4586036A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant