CN108156819B - 用于计算从飞行器到地面目标的距离的方法 - Google Patents

用于计算从飞行器到地面目标的距离的方法 Download PDF

Info

Publication number
CN108156819B
CN108156819B CN201680022611.3A CN201680022611A CN108156819B CN 108156819 B CN108156819 B CN 108156819B CN 201680022611 A CN201680022611 A CN 201680022611A CN 108156819 B CN108156819 B CN 108156819B
Authority
CN
China
Prior art keywords
image
target feature
height
aircraft
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680022611.3A
Other languages
English (en)
Other versions
CN108156819A (zh
Inventor
J·H·梅尔拜
J·塞沃特森
P·穆伦
T-I·约翰森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flir Unmanned Aerial Systems AS
Original Assignee
Flir Unmanned Aerial Systems AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Unmanned Aerial Systems AS filed Critical Flir Unmanned Aerial Systems AS
Publication of CN108156819A publication Critical patent/CN108156819A/zh
Application granted granted Critical
Publication of CN108156819B publication Critical patent/CN108156819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/18—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with one observation point at each end of the base
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G01C5/005—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels altimeters for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G05D1/046—Control of altitude or depth specially adapted for aircraft to counteract a perturbation, e.g. gust of wind
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Paper (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明涉及用于测量和确定与装备图像传感器的UAV的视野中的一个或多个特征相关的深度、偏移和平移的系统和方法。UAV至少包括能够估计旋转和平移的自动驾驶系统、处理装置、高度测量装置和一个或多个成像传感器装置。给定由自动驾驶系统提供的估计平移，本发明的目的通过以下方法实现：捕获图像，开始海拔高度变化，捕获第二图像，比较图像和由传感器提供的高度变化以产生比例因子或深度。如果估计深度，则根据深度计算比例因子，并用所得的比例因子计算实际平移。

Description

用于计算从飞行器到地面目标的距离的方法
技术领域
本发明涉及用于测量和确定与装备图像传感器的UAV的视野中的一个或多个特征相关的深度、偏移和平移的系统和方法。
背景技术
无人机(UAV)被广泛用于各种应用中，既有民用，也有军用，包括视察、情报、侦察和救援任务。UAV的设计范围从大型固定翼喷气式飞机到具有一个或多个转子的较小的旋翼飞机。电子行业在过去几十年的进步使得缩小UAV系统所必须的部件而成为掌上型微型航空器(MAV)成为可能。例如，这些航空器可以提升相机并发送图像，同时仍然是高度机动的。尺寸和机动性使MAV成为近距离应用的理想工具，例如侦察、视察和监视。
现代UAV在更长的距离且在农村或城市的所有环境中运行。UAV的控制依赖于从机载传感器到由飞行员操作的远程单元的传输，远程单元包含显示单元。飞行员能够只依靠接收到的图像而在整个任务中操纵飞机。
还实施了复杂的自动驾驶系统，以帮助飞机保持稳定，从而为飞行员提供更容易的操作控制。为了最佳地运行，这些自动驾驶系统必须知道飞机的位置，即它在哪以及曾经在哪。这样做可以保持飞机相对于一个位置是稳定的，也可以应对例如风吹。
在户外作业中，可以依靠GPS系统为自动驾驶提供必要的位置，然后将其用于进一步的计算。然而，UAV设计和新应用领域的最新进展也使得在低GPS覆盖或无GPS覆盖的区域内运行或提高自动驾驶系统的准确性是令人期望的。例如，室内GPS信号接收不良或不存在；需要其他手段来确定必要的信息。
为了在具有低GPS或无GPS的区域内提高准确性或操作，自动驾驶系统需要通过其他方式获得位置。在不同时间捕获的图像可用于确定相机从一个图像到另一个图像的3D平移和旋转。然而，图像具有固有的尺度模糊性，因此为了使自动驾驶系统利用如此所得到的平移，必须首先将其转换成正确的尺度。这可以用比例因子来完成，当与平移相乘时，将平移转换成所需单位。为了实际的目的，本文档中的测量将在公制系统中引用。如果知道从相机到图像中的一个或几个特征的深度，即距离，则可以计算这样的比例因子。特征可以是可以在图像中识别的任何可检测对象或结构。
几种解决方案提供了通过利用机载相机功能来计算比例因子所需的深度测量。这些解决方案之一的例子，在每个相关取向上利用具有两个相机的立体视觉系统。通过将相机A和B捕获的两张或更多张照片同时与从相机A到相机B的已知平移进行比较，确定距离每个特征的深度。然而，如果想要测量深度，这种解决方案确实需要在每个方向上有两个独立的相机，使UAV系统不必要地复杂化。随着MAV的严格的重量和尺寸要求，通常不可能将这个系统包括在设计中。
解决这个问题的系统的另一个例子是单目视觉深度估计。该解决方案在每个特征计算中利用所谓的卡尔曼滤波器，通过随时间推移的一系列测量提供深度。然而，这意味着系统将必须在一定数量的时间步长中观察每个特征以能够计算实际深度。因此，该解决方案在计算上是昂贵的。
因此，需要能够用在UAV系统中的计算深度的系统，该系统在计算上较便宜且仅需要很少的额外装置、但仍然满足现代UAV的要求。
发明内容
本文的实施例的目的是克服或至少减轻上述缺点。该目的和其它目的通过在此随附的独立权利要求来实现。
一种用于计算从飞行器到目标特征的距离的方法，所述飞行器配备有具有特定焦距(f)的图像传感器和高度测量装置，所述图像传感器能够在具有定义为0°方向的垂直向下方向的垂直平面中定向，所述高度测量装置被调整以测量所述飞行器的飞行高度，其中：
在所述飞行器的第一位置中，通过图像传感器捕获包括所述目标特征和多个相邻特征的第一图像并测量第一飞行高度(PA)，
将所述飞行器的位置从所述第一位置改变到第二位置，
在所述飞行器的第二位置中，通过图像传感器捕获包括所述特征和所述多个相邻特征的第二图像并且测量第二飞行高度(PB)，
通过第一飞行高度(PA)、第二飞行高度(PB)、根据所述第一图像内的图像像素坐标(xA，yA)的所述目标特征的第一位置、和根据所述第二图像内的图像像素坐标(xB，yB)的目标特征的第二位置，计算从处于所述第二位置的所述飞行器到所述目标特征的距离。
如在替代实施例中定义的方法，其中当在垂直平面中所述图像传感器在＜335°，25°]或＜155°，205°]的区间中定向时，则计算从处于第二位置的航空器到目标特征的距离的步骤按照下式执行：
Figure BDA0001437343900000031
其中sdA是就第一图像内的图像像素来说从所述目标特征到多个相邻特征的相应距离的和，并且sdB是就第二图像内的图像像素来说从目标特征到多个相邻特征的相应距离的和。
如在替代实施例中定义的方法，其中当所述图像传感器在垂直平面中在＜25°，65°]或＜115°，155°]或＜205°，245°]或＜295°，335°]之间定向时，则计算从处于第二位置的飞行器到目标特征的距离的步骤按照下式执行：
Figure BDA0001437343900000032
其中sdA是就所述第一图像内的图像像素来说从所述目标特征到多个相邻特征的相应距离的和，并且sdB是就所述第二图像内的图像像素来说从所述目标特征到多个相邻特征的相应距离的和。
如在替代实施例中定义的方法，其中当所述图像传感器在垂直平面内在＜65°，115°]或＜245°，295°]的区间中定向时，则计算从处于第二位置的飞行器到所述目标特征的距离的步骤按照下式执行：
Figure BDA0001437343900000041
附图说明
图1a示出了从侧面看的根据一个示例性实施例的飞机，其具有相关联的一般方向轴。请注意，Z轴具有正下移动方向。
图1b示出了从上方看的根据一个示例性实施例的飞机，具有一般方向轴。
图2示出了为了说明的目的而部署在场景中的根据一个示例性实施例的飞机。这里，飞机从压力传感器读数P等于高度H的位置启动，偏移量O为零。飞机进一步爬升到超过箱子的海拔高度，其中P等于偏移量O和飞机的相对高度H。
图3a示出了根据一个示例性实施例的飞机，其中示出相机角度的方向和取向。
图3b示出了相机在360度上的取向以及用于计算各个点处的深度的相关联的方法。
图4a示出了当飞机经历海拔高度增加时水平捕获的图像中的特征运动的方向。
图4b示出了当飞机经历海拔高度增加时垂直捕获的图像中的特征运动的方向。
图5a示出了在海拔高度变化之前用水平相机位置捕获的图像A以及从捕获到的图像的边缘到特征的测量方向的示例。
图5b示出了在海拔高度变化之后用水平相机位置捕获的图像B以及从捕获到的图像的边缘到特征的测量方向的示例。
图6a示出了在海拔高度变化之前用垂直相机位置捕获的图像A的示例。
图6b示出了在海拔高度变化之后用垂直相机位置捕获的图像B的示例。比较图像A和B，并计算位置差。
图7a示出了在高度变化之前用垂直相机位置捕获的图像A的示例。这里测量从一个特征到几个特征的距离。
图7b示出了在高度变化之后用垂直相机位置捕获的图像B的示例。再次测量从一个特征到几个特征的距离，并与距图像A的距离进行比较。
具体实施方式
本发明涉及用于测量和确定与装备图像传感器的UAV的视野中的一个或多个特征相关的深度、偏移和平移的系统和方法。在下文中，将讨论本发明，并且在示例中说明的示例性实施例示出了相机垂直、水平地并且在这两者之间取向。
本文的实施例涉及UAV，其至少包括能够估计旋转和平移的自动驾驶系统、处理装置、高度测量装置和一个或多个成像传感器装置。该飞机还能够跟踪成像传感器的位置并确定至少一个或多个成像传感器中的每一个位于至少三个预定义阈值中的哪一个。纯粹作为示例，这些至少三个阈值可以以相对于水平轴在0°-25°，25°-65°和65°-90°之间按度划分。此外，这些值可以用于确定进一步采用哪种方法来计算距特征的深度，如下文所解释的。
可替代地，根据示例性实施例的飞机可以具有几个成像传感器，其中一个或多个指向大致水平方向，一个或多个指向大致垂直方向，并且一个或多个指向两者之间的方向。在该示例性实施例中，飞机可以连续计算这些深度。此外，成像传感器可以被设置为根据它们的取向提供的方法来计算深度，这将在下面解释。
根据本实施例的一个方面，一个或多个成像传感器可以是几种类型的成像传感器中的一种或多种，例如静止帧相机、摄像机、热成像相机、雷达和/或任何其他相关的成像传感器，或成像传感器的组合。为了便于阅读，成像传感器还被称为相机。
此外，根据本实施例的一个方面，高度测量装置可以是几个不同的高度测量传感器中的一个。在下文中，将描述具有作为高度测量装置的空气压力传感器的示例实施例，但是该系统将以最小的适应性与能够进行深度或高度测量的任何其它传感器一起工作。例如，传感器可以是超声传感器、激光传感器、雷达传感器或任何其它相关的测距传感器。
由自动驾驶系统提供估计的平移，本发明的目的通过以下方法实现：捕获图像，开始海拔高度的变化，捕获第二图像，比较图像和由传感器提供的高度变化以产生比例因子或深度，如下文所解释的。如果估计深度，则随后从深度计算比例因子，并用所得比例因子计算实际平移。
根据本发明的一个实施例，由于两个原因，有必要开始飞行器的海拔高度变化，也称为飞行高度。首先，为处理装置提供定义的运动测量，从中可以按米来计算飞机的实际平移。由高度测量装置提供。第二，为处理能力提供两个图像，从中可以计算与某些特征相关的深度，如所提及的和要解释的。由相机提供。
此外，根据一个示例性实施例，传感器装置是空气压力传感器。空气压力传感器测量当前的空气压力，并可用于测量相对于定义的参考值的海拔高度的变化。换句话说，将一个位置处的空气压力与另一个位置处的参考空气压力进行比较，然后将它们之差转换成以米为单位的高度。
在实际的实施方式中，空气压力传感器将随着时间的推移而漂移，但是在短时间间隔内，漂移很小，因此可以假设为零。本领域技术人员将理解，压力的差异因此是对飞机经历的高度的实际变化的精确测量。
地面以上的实际高度由下式给出：
H＝P+o
其中：H是地面、地板、桌子等以上的局部高度，以米为单位，P是转换为米的气压传感器读数，O是压力传感器测量结果与单位为米的相对局部高度之间的差值。参考图1A和图2所示的场景，飞机的Z轴向下取向。
进一步解释什么是偏移；压力传感器测量结果是某个预定义参考点(例如起始位置)以上的高度。换句话说，Phn＝Pn-PO，时间n处的压力传感器高度测量值Phn是在时间n的压力传感器读数Pn和参考点处的压力传感器读数PO之间的差值。参考点处的压力对于在这一点上地面以上的高度没有说明。然而，可以假设关于参考点的某些事物，例如，参考点处于地平面或例如地平面以上2米处。只要假设有效，例如地面平坦，无建筑物，压力传感器将给出精确的高度测量。在这种情况下，通过假设得知偏移量。换句话说，偏移量是测量的压力传感器高度与距地面的相对高度之差，如图2所示。
图2示出了在场景中移动的飞机。这里的空气压力传感器可以提供空气压力，并给出以米为单位的可计算高度，这是空气压力参考高度。换句话说，由于没有什么位于飞机下方，高度＝空气压力传感器读数，并且没有偏移。然而，当飞机改变高度并在箱子上方移动时，飞机在地面以上的相对高度不再是H＝P，而是H＝P+O。飞机出发的参考高度与地面之间的差值则是偏移量O。记住沿着Z轴的运动具有向下的正方向。因此，由于传感器漂移以及飞机在斜坡、楼梯、建筑物和物体上平移时的实际运动，偏移量将发生变化。
根据本发明，更好地估计空气压力传感器偏移而不是深度，因为偏移将比深度变化更慢。例如，当在任何其他方向上改变海拔高度而不移动时，深度将连续变化，而偏移量将保持不变，因为飞机水平静止，下方的风景不变。
重要的是要再次指出，本发明的方法也可以以最小的适应与任何其他类型的测距传感器一起工作，但是适应是该特定传感器所需的。
海拔高度的变化
飞机海拔高度的变化可以测量以下内容：
1.相机的3D平移的绝对比例因子
2.深度，即从相机到每个特征的距离
3.空气压力传感器偏移，即绝对空气压力传感器读数与地面之间的差值。
根据这里公开的示例实施例，飞机可以在每当海拔高度变化时执行这些测量。为了能够提供深度的连续计算，例如可以通过使飞机以预定义的模式上下移动来有意地改变海拔高度。例如，在低振幅正弦/余弦波或相对于飞机的Z轴的任何其它模式中。根据预定义的模式的运动将进一步使得飞机能够频繁地测量，从而通过去除测量噪声来提高估计的准确度。
由于空气压力传感器中的噪声以及像素位移的计算中的噪声，比例因子、深度和偏移测量均受到噪声影响。然而，本领域技术人员将认识到，从随时间变化缓慢的测量中去除噪声更容易。因此，只要有可能，最好使用空气压力传感器偏移，而不是深度测量作为依据。此外，最好使用深度，而不是直接从空气压力读数的差得到的绝对比例因子。
绝对比例因子
根据本发明，平移的无单位测量结构是存在的并由自动驾驶系统提供。通过进一步提供在单个方向上的平移的绝对测量，例如在这里详细描述的示例实施例的Z方向上，可以通过简单的计算来确定另一方向上的平移的绝对尺度。
相对于Z方向的平移，X和Y方向的平移是已知的。也即，
Figure BDA0001437343900000081
其中，X方向的估计平移是：tex，tey是Y方向的估计平移，tez是Z方向的估计平移，dAp是转换成米的空气压力差。
如上所述，归一化无单位相对运动[tex，tev，tez]由飞机估算。在第一步中，我们需要相对于Z值缩放向量函数，因为这是由如上所述的海拔高度变化决定的。tez将变为1，通过乘以由转换为米的空气压力差确定的Z运动，提供在所有三轴上的所确定的平移。
如果使用可以确定X或Y方向的平移的不同距离测量装置，则只需要将等式除以相应的tex或tev值以相对于该值来缩放等式，来提供结果。这样，飞机能够确定飞机的实际平移。
确定深度和空气压力偏移
利用根据本发明的示例性实施例的系统，还可以确定飞机周围的特征的深度和偏移。为了确定这一点，还需要测量由海拔高度变化引起的从图像A到图像B的特征位置的变化。本领域技术人员将知道，通过将图像A中的一个可识别特征的像素位置与图像B中的相同可识别特征的像素位置进行比较，以像素来测量该位移，如图5-7中的不同实现方式所示。
换句话说，我们测量了飞机的Z方向上的由相机从A点到B点所行进的距离，并且需要测量在图像中行进的视距，dPx，也是在飞机的Z方向上。
根据本发明的一个示例性实施例，确定该位移的方法取决于相机相对于地面的角度。UAV的性质意味着它们在几个角度和位置上运行。还实现了电子和/或机械摇摄和倾斜功能以增加操作能力。因此，相机可能不以任何固定的方向定向，并且必须考虑到所有取向。参考图3b，因为可以在整个可能的相机取向的圆圈中镜像方法。在图3b中，示出了各个扇区，并且被称为1、2和3，这对应于计算深度的方法，如所要解释的。为了简单起见，角度被称为在0°-90°之间，但是这可以涉及任何扇区，参考图3b。
类似地，旋翼式UAV的性质意味着它们可以在水平面，偏航方向上旋转航向，并且这里的示例性实施例说明飞机在该水平圆圈中的所有旋转位置。因此，飞机的旋转可能会从图像A略微变化到图像B，但是只要在两个图像中可见相同的特征，则该旋转由自动驾驶系统来处理。
根据本示例性实施例，参考图4a、图5a和图5b，第一种方法测量dPx作为相机的Y轴的变化，即图像中的上/下。根据示例性实施例，如果相机被认为是水平定向的并且飞机平移是垂直的，则利用该方法。纯粹作为示例，这可能意味着相机取向在60°和90°之间，更优选在65°和90°之间。在水平相机取向上，如图5a和5b所示，当存在从A点到B点的海拔高度变化时，从A点和B点的图像中观察到的特征将在图像中上下移动。
一旦特征位于图像A和图像B中，则直接地测量相机的Y轴上的变化。公式如下：
dPx＝yB-yA
其中，参考图5a和图5b中提供的轴线，yA是图像A中特征的y坐标，yB是图像B中的特征的y坐标。
根据本示例性实施例，第二种方法测量dPx作为相机的Z轴的变化，即，图像的进/出。根据示例性实施例，如果飞机的运动平行于相机取向，则利用该方法。这可以是例如在飞机的Z轴上的上下运动，相机处于垂直取向。垂直取向优选地意味着在0°和30°之间，更优选在0°和25°之间的相机取向。如图4b所示，在垂直相机取向上，当存在从A点到B点的海拔高度变化时，从A点和B点的图像中观察到的特征将表现为移入/移出图像。但是，在相机指向X或Y方向并且大致水平取向的情况下，飞机的X或Y轴上的运动也会导致A点和B点的图像表现为移入/移出。
确定由于相机的Z轴上的变化引起的特征位移不如确定相机的Y轴上的变化那样直接。如图6a和图6b所示，当飞机改变海拔高度时，特征将从一个图像移入或移出到下一个图像，并且集体表现为展开或收缩。然而，可以将来自特征之一(比如图像A中的特征1，fA1)到该同一图像中的所有其它特征的距离的总和sdA与从位于点B处捕获的图像中的同一特征fB1到图像B中的所有其它特征的距离的总和进行比较。
Figure BDA0001437343900000101
同样：
Figure BDA0001437343900000102
当移入时，值sdA将小于sdB，并且当移出时，值sdA将大于sdB。
当以这种方式测量特征位移时，以下关系成立：
深度A*sdA＝深度B*sdB
用于第一方法和第二方法的这些等式均从本文所述的本发明的示例性实施例为实际实现方式中的未来计算提供了基础，从而得到了深度或压力传感器偏移的测量结果。
可替代地，飞机可以具有在不同方向上定向的多个相机，并且每个方向然后将与要描述的三种方法之一相关联。
实际的实现方式：偏移计算，垂直相机取向
根据一个示例，有必要用相机观察地面，以便估计压力传感器偏移，然后压力传感器偏移可以用于计算当前飞机位置处的地面以上的高度。出于实际目的，还可以将该高度视为垂直深度。
作为示例，垂直取向可以优选地意味着相机取向在0°至30°之间，更优选地在0°和25°之间。这对应于图3b中的扇区1。这进一步要求可以利用深度关系：深度A*sdA＝深度B*sdB。从这个关系，我们得到；
Figure BDA0001437343900000111
在这个实际的实现方式中，我们正在确定偏移量，所以让：
Figure BDA0001437343900000112
并且从以下等式中：H＝P+O，得到：
深度A＝PA+O，以及：深度B＝PB+O
此外，通过组合这两个等式，提供了：
PB+O＝PA*sd+O*sd
O(sd-1)＝PB-(PA*sd)
Figure BDA0001437343900000121
通过确定A，B中的空气压力高度，以及特征位置sdA和sdB的变化，得到偏移量，偏移量可用于确定垂直深度为。
深度B＝PB+O
实际的实现方式：深度计算，相机取向在25°和65°之间
纯粹作为示例，如果相机被定位在30°至60°之间的角度，更优选定位在25°和65°之间的角度，则认为相机在垂直位置和水平位置之间取向。这对应于图3b中的扇区2。此外，当相机以25°和65°之间的角度向下成角度时，海拔高度的变化将导致相机的Y方向和Z方向的平移，并且用于计算这两个实例的方法都不可以用作深度计算的基础。
然而，通过利用与相机垂直时的相同的像素变化度量，可以得到：
深度A*sdA＝深度B*sdB
重写上述为：
Figure BDA0001437343900000122
为了简单起见，请记住：
Figure BDA0001437343900000123
然后得到：
深度B＝深度A*sd
这是一个有两个未知数的等式。然而，可以假设海拔高度的变化dAp相比于距特征的相对深度来说如此小以至于可以通过将深度A+dAp替换为深度B来简化表达式。因此，我们被提供了单一的未知数：
深度A+dAp＝深度A*sd
重新排列：
dAp＝深度A*sd-深度A
并进行简化，我们得到：
dAp＝深度A(sd-1)
且然后：
Figure BDA0001437343900000131
但是由于深度B是所讨论的深度，所以我们替换深度A如下
深度A＝深度B-dAp
得到：
Figure BDA0001437343900000132
并重新排列：
Figure BDA0001437343900000133
因此，当相机在水平位置和垂直位置之间定向时，我们有计算深度B的方法。
实际的实现方式：深度估计，水平相机取向
根据本发明的示例性实施例，还需要能够计算当相机与水平面近似平行时的深度。仅仅作为一个示例，如果相机被定位在60°和90°之间的角度，更优选在65°和60°之间的角度，则认为相机是水平取向的。这对应于图3b中的扇区3。当相机与地面取向平行时，计算中使用的特征通常是面向相机的物体上的点，而不是水平面上的点。在这种情况下，海拔高度的变化对应于相机的Y轴上的变化，如图5a和图5b中所示。
根据现有技术，所谓的立体视觉，利用成直线安装的两个相机捕获两个图像。比较图像，并从中计算深度。根据这里描述的示例实施例，在单独的海拔高度处拍摄两张图片，并且通过利用与立体视觉相同的原理，可以用水平相机取向来计算深度。
从立体视觉，得到：
Figure BDA0001437343900000134
其中f是相机的焦距，b是在以米为单位测得的单个维度中从相机位置A到B的物理距离，d是特征从图像A移动到图像B的距离(以像素为单位)。也就是说，在来自图像A和图像B的特征位置在相对方向上的差。在具有立体视觉系统的应用中，b是固定测量值，并由校准程序确定。
在本文所述的示例实施例中可以应用相同的等式。然而，在这种情况下，b不是固定的，而是由空气压力传感器提供，作为确定的海拔高度变化。
换句话说，如前所述，b＝dAp，而d＝dPx。在这种情况下，记住深度A＝深度B，则等式变为：
Figure BDA0001437343900000141

Claims (20)

1.一种使用图像传感器和飞行高度传感器确定从飞行器到目标特征的距离的方法，所述图像传感器和所述飞行高度传感器均耦接到所述飞行器，所述方法包括：
在所述飞行器的第一位置处，捕获包括目标特征和多个相邻特征的第一图像；
接收与所述飞行器的所述第一位置相对应的第一飞行高度；
将所述飞行器的垂直位置从所述第一位置更改为所述飞行器的第二位置；
在所述飞行器的所述第二位置处，捕获包括所述目标特征和所述多个相邻特征的第二图像；
接收与所述飞行器的所述第二位置相对应的第二飞行高度；以及
确定从所述飞行器的所述第二位置到所述目标特征的目标距离，其中所述目标距离至少部分基于所述第一飞行高度、所述第二飞行高度、所述第一图像中所述目标特征的第一像素位置和所述第二图像中所述目标特征的第二像素位置。
2.根据权利要求1所述的方法，其中：
所述图像传感器基本上垂直地定向；并且
所述目标距离与所述第一飞行高度、所述第二飞行高度、所述第一图像中所述目标特征的第一像素位置和所述第二图像中所述目标特征的第二像素位置的关系至少通过以下方程获得：
Figure FDA0002978381000000011
其中，sdA是就所述第一图像内的图像像素来说从所述目标特征的所述第一像素位置到所述多个相邻特征的相应距离的和，sdB是就所述第二图像内的图像像素来说从所述目标特征的所述第二像素位置到所述多个相邻特征的相应距离的和，PA是所述第一飞行高度，并且PB是所述第二飞行高度。
3.根据权利要求2所述的方法，其中：
所述图像传感器在[335°,360°]或[0°,25°]或[155°,205°]的区间中基本上垂直地定向；并且
所述图像传感器能够在垂直平面内定向，使得0°被定义为垂直向下方向。
4.根据权利要求1所述的方法，其中：
所述图像传感器基本上在垂直和水平之间定向；并且
所述目标距离与所述第一飞行高度、所述第二飞行高度、所述第一图像中所述目标特征的第一像素位置和所述第二图像中所述目标特征的第二像素位置的关系至少通过以下方程获得：
Figure FDA0002978381000000021
其中，sdA是就所述第一图像内的图像像素来说从所述目标特征的所述第一像素位置到所述多个相邻特征的相应距离的和，sdB是就所述第二图像内的图像像素来说从所述目标特征的所述第二像素位置到所述多个相邻特征的相应距离的和，PA是所述第一飞行高度，并且PB是所述第二飞行高度。
5.根据权利要求4所述的方法，其中：
所述图像传感器在[25°,65°]或[115°,155°]或[205°,245°]或[295°,335°]的区间中基本上在垂直和水平之间定向；并且
0°被定义为垂直向下方向。
6.根据权利要求1所述的方法，其中：
所述图像传感器基本上水平地定向；并且
所述目标距离与所述第一飞行高度、所述第二飞行高度、所述第一图像中所述目标特征的第一像素位置和所述第二图像中所述目标特征的第二像素位置的关系至少通过以下方程获得：
Figure FDA0002978381000000031
其中，f是与所述图像传感器相关联的焦距，yA是与所述目标特征的所述第一像素位置相对应的所述目标特征的垂直像素位置，yB是与所述目标特征的所述第二像素位置相对应的所述目标特征的垂直像素位置，PA是所述第一飞行高度，并且PB是所述第二飞行高度。
7.根据权利要求6所述的方法，其中：
所述图像传感器在[65°,115°]或[245°,295°]的区间中基本上水平地定向；并且
0°被定义为垂直向下方向。
8.根据权利要求1所述的方法，其中：
所述飞行高度传感器包括被配置为测量和提供飞行高度的雷达传感器、气压传感器、超声传感器和/或激光传感器；并且
所述方法还包括使用所述目标距离来确定所述飞行器的位置。
9.根据权利要求1所述的方法，其中，所述飞行高度传感器包括气压传感器，所述气压传感器被配置为测量并提供飞行高度，所述方法还包括：
确定与气压传感器相对应的气压传感器偏移，其中所述气压传感器偏移与所述第一飞行高度、所述第二飞行高度、所述第一图像中所述目标特征的第一像素位置和所述第二图像中所述目标特征的第二像素位置的关系至少通过以下方程获得：
Figure FDA0002978381000000032
其中，sdA是就所述第一图像内的图像像素来说从所述目标特征的所述第一像素位置到所述多个相邻特征的相应距离的和，sdB是就所述第二图像内的图像像素来说从所述目标特征的所述第二像素位置到所述多个相邻特征的相应距离的和，PA是所述第一飞行高度，并且PB是所述第二飞行高度。
10.根据权利要求1所述的方法，还包括：
将所述飞行器的垂直位置从所述第二位置更改为所述飞行器的所述第一位置；
在所述飞行器的所述第一位置处，捕获至少包括所述目标特征的第三图像；
接收与所述飞行器的所述第一位置相对应的第三飞行高度；以及
确定从所述飞行器的所述第一位置到所述目标特征的第二目标距离，其中所述第二目标距离至少部分基于所述第二飞行高度、所述第三飞行高度、所述第二图像中所述目标特征的所述第二像素位置和所述第三图像中所述目标特征的第三像素位置。
11.一种确定从飞行器到目标特征的距离的系统，所述系统包括：
用于所述飞行器的自动驾驶仪；
可定向图像传感器，所述可定向图像传感器被配置为耦接到所述飞行器；以及
飞行高度传感器，所述飞行高度传感器耦接到所述飞行器，其中所述自动驾驶仪被配置为：
在所述飞行器的第一位置处，捕获包括所述目标特征和多个相邻特征的第一图像；
接收与所述飞行器的所述第一位置相对应的第一飞行高度；
将所述飞行器的垂直位置从所述第一位置更改为第二位置；
在所述飞行器的所述第二位置处，捕获包括所述目标特征和所述多个相邻特征的第二图像；
接收与所述飞行器的所述第二位置相对应的第二飞行高度；以及
确定从所述飞行器的所述第二位置到所述目标特征的目标距离，其中所述目标距离至少部分基于所述第一飞行高度、所述第二飞行高度、所述第一图像中所述目标特征的第一像素位置和所述第二图像中所述目标特征的第二像素位置。
12.根据权利要求11所述的系统，其中：
所述图像传感器基本上垂直地定向；并且
所述目标距离与所述第一飞行高度、所述第二飞行高度、所述第一图像中所述目标特征的第一像素位置和所述第二图像中所述目标特征的第二像素位置的关系至少通过以下方程获得：
Figure FDA0002978381000000051
其中，sdA是就所述第一图像内的图像像素来说从所述目标特征的所述第一像素位置到所述多个相邻特征的相应距离的和，sdB是就所述第二图像内的图像像素来说从所述目标特征的所述第二像素位置到所述多个相邻特征的相应距离的和，PA是所述第一飞行高度，并且PB是所述第二飞行高度。
13.根据权利要求12所述的系统，其中：
所述图像传感器在[335°,360°]或[0°,25°]或[155°,205°]的区间中基本上垂直地定向；并且
0°被定义为垂直向下方向。
14.根据权利要求11所述的系统，其中：
所述图像传感器基本上在垂直和水平之间定向；并且
所述目标距离与所述第一飞行高度、所述第二飞行高度、所述第一图像中所述目标特征的第一像素位置和所述第二图像中所述目标特征的第二像素位置的关系至少通过以下方程获得：
Figure FDA0002978381000000061
其中，sdA是就所述第一图像内的图像像素来说从所述目标特征的所述第一像素位置到所述多个相邻特征的相应距离的和，sdB是就所述第二图像内的图像像素来说从所述目标特征的所述第二像素位置到所述多个相邻特征的相应距离的和，PA是所述第一飞行高度，并且PB是所述第二飞行高度。
15.根据权利要求14所述的系统，其中：
所述图像传感器在[25°,65°]或[115°,155°]或[205°,245°]或[295°,335°]的区间中基本上在垂直和水平之间定向；并且
0°被定义为垂直向下方向。
16.根据权利要求11所述的系统，其中：
所述图像传感器基本上水平地定向；并且
所述目标距离与所述第一飞行高度、所述第二飞行高度、所述第一图像中所述目标特征的第一像素位置和所述第二图像中所述目标特征的第二像素位置的关系至少通过以下方程获得：
Figure FDA0002978381000000062
其中，f是与所述图像传感器相关联的焦距，yA是与所述目标特征的所述第一像素位置相对应的所述目标特征的垂直像素位置，yB是与所述目标特征的所述第二像素位置相对应的所述目标特征的垂直像素位置，PA是所述第一飞行高度，并且PB是所述第二飞行高度。
17.根据权利要求16所述的系统，其中：
所述图像传感器在[65°,115°]或[245°,295°]的区间中基本上水平地定向；并且
0°被定义为垂直向下方向。
18.根据权利要求11所述的系统，其中：
所述飞行高度传感器包括被配置为测量和提供飞行高度的雷达传感器、气压传感器、超声传感器和/或激光传感器；以及
所述系统被配置为使用所述目标距离来确定所述飞行器的位置。
19.根据权利要求11所述的系统，其中，所述飞行高度传感器包括气压传感器，所述气压传感器被配置为测量并提供飞行高度，并且其中所述自动驾驶仪被配置为：
确定与所述气压传感器相对应的气压传感器偏移，其中所述气压传感器偏移与所述第一飞行高度、所述第二飞行高度、所述第一图像中所述目标特征的第一像素位置和所述第二图像中所述目标特征的第二像素位置的关系至少通过以下方程获得：
Figure FDA0002978381000000071
其中，sdA是就所述第一图像内的图像像素来说从所述目标特征的所述第一像素位置到所述多个相邻特征的相应距离的和，sdB是就所述第二图像内的图像像素来说从所述目标特征的所述第二像素位置到所述多个相邻特征的相应距离的和，PA是所述第一飞行高度，并且PB是所述第二飞行高度。
20.根据权利要求11所述的系统，其中所述自动驾驶仪还被配置为：
将所述飞行器的垂直位置从所述第二位置更改为所述飞行器的所述第一位置；
在所述飞行器的所述第一位置处，捕获至少包括所述目标特征的第三图像；
接收与所述飞行器的所述第一位置相对应的第三飞行高度；以及
确定从所述飞行器的所述第一位置到所述目标特征的第二目标距离，其中所述第二目标距离至少部分基于所述第二飞行高度、所述第三飞行高度、所述第二图像中所述目标特征的所述第二像素位置和所述第三图像中所述目标特征的第三像素位置。
CN201680022611.3A 2015-02-20 2016-02-17 用于计算从飞行器到地面目标的距离的方法 Active CN108156819B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NO20150246A NO343441B1 (en) 2015-02-20 2015-02-20 Depth measurement system
NO20150246 2015-02-20
PCT/EP2016/053302 WO2016131847A1 (en) 2015-02-20 2016-02-17 Method for calculating the distance to a ground target from an aerial vehicle

Publications (2)

Publication Number Publication Date
CN108156819A CN108156819A (zh) 2018-06-12
CN108156819B true CN108156819B (zh) 2021-06-08

Family

ID=53396532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022611.3A Active CN108156819B (zh) 2015-02-20 2016-02-17 用于计算从飞行器到地面目标的距离的方法

Country Status (4)

Country Link
US (1) US10337864B2 (zh)
CN (1) CN108156819B (zh)
NO (1) NO343441B1 (zh)
WO (1) WO2016131847A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018504652A (ja) * 2015-10-09 2018-02-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 顕著特徴ベースの移動体測位
CN106168807B (zh) * 2016-09-09 2018-01-09 腾讯科技（深圳）有限公司 一种飞行器的飞行控制方法和飞行控制装置
CN106289184B (zh) * 2016-11-01 2018-11-13 华中师范大学 一种无gnss信号和无控制点下无人机协同视觉形变监测方法
CN107077741A (zh) * 2016-11-11 2017-08-18 深圳市大疆创新科技有限公司 深度图生成方法和基于该方法的无人机
CN106840085B (zh) * 2016-12-20 2019-02-15 长安大学 一种基于多层信息融合的无人机测高方法
CN106871864B (zh) * 2017-02-13 2019-03-01 中科宇图科技股份有限公司 一种基于立体卫星影像自动提取建筑物高度的方法
US10353401B2 (en) * 2017-05-01 2019-07-16 EAVision Corporation Detecting and following terrain height autonomously along a flight path
US10514554B2 (en) * 2017-09-30 2019-12-24 Pixart Imaging Inc. Optical motion detecting device for a flight vehicle
CN109520477B (zh) * 2018-10-30 2021-01-26 成都飞机工业（集团）有限责任公司 一种基于二维摄影的高精度测量比例因子的方法
CN110132060A (zh) * 2019-04-26 2019-08-16 南京理工大学 一种基于视觉导航的拦截无人机的方法
KR102502334B1 (ko) * 2020-02-10 2023-02-23 주식회사 클라리파이 이동 중인 무인 항공기에서 연속 촬영된 항공 이미지를 이용한 물체 높이 계산 방법
US11691643B2 (en) 2020-08-27 2023-07-04 Here Global B.V. Method and apparatus to improve interaction models and user experience for autonomous driving in transition regions
EP3992580B1 (en) * 2020-11-03 2022-12-21 Everdrone AB Method for calibrating an altitude sensing stereo vision device of a uav
CN116953680B (zh) * 2023-09-15 2023-11-24 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103017730A (zh) * 2012-11-30 2013-04-03 中兴通讯股份有限公司 一种单摄像头测距的方法和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5104217A (en) * 1986-03-17 1992-04-14 Geospectra Corporation System for determining and controlling the attitude of a moving airborne or spaceborne platform or the like
US5606627A (en) 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
GB0019399D0 (en) 2000-08-07 2001-08-08 Bae Systems Plc Height measurement enhancemsnt
EP1584896A1 (en) 2004-04-06 2005-10-12 Saab Ab Passive measurement of terrain parameters
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
EP2207010B1 (en) * 2007-10-19 2015-05-20 PASCO Corporation House change judgment method and house change judgment program
US8548194B1 (en) * 2008-11-12 2013-10-01 Mustang Tchnology Group, L.P. System and method for determining altitude
US8610708B2 (en) * 2010-09-22 2013-12-17 Raytheon Company Method and apparatus for three-dimensional image reconstruction
JP5882693B2 (ja) * 2011-11-24 2016-03-09 株式会社トプコン 航空写真撮像方法及び航空写真撮像装置
CN102496141B (zh) * 2011-12-12 2013-06-19 中国科学院长春光学精密机械与物理研究所 将基准地图变换成与实时图相同视角的图像的装置
JP5991821B2 (ja) * 2012-02-03 2016-09-14 三菱電機株式会社 写真測量装置
US20140316614A1 (en) * 2012-12-17 2014-10-23 David L. Newman Drone for collecting images and system for categorizing image data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103017730A (zh) * 2012-11-30 2013-04-03 中兴通讯股份有限公司 一种单摄像头测距的方法和系统

Also Published As

Publication number Publication date
NO343441B1 (en) 2019-03-11
WO2016131847A9 (en) 2017-03-30
NO20150246A1 (en) 2016-08-22
US10337864B2 (en) 2019-07-02
US20180051986A1 (en) 2018-02-22
CN108156819A (zh) 2018-06-12
WO2016131847A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
CN108156819B (zh) 用于计算从飞行器到地面目标的距离的方法
CN109556577B (zh) 用于空中非破坏性检查的定位系统
EP3158293B1 (en) Sensor fusion using inertial and image sensors
US10565732B2 (en) Sensor fusion using inertial and image sensors
CN107223275B (zh) 多路传感数据融合的方法和系统
EP3158417B1 (en) Sensor fusion using inertial and image sensors
EP3158411B1 (en) Sensor fusion using inertial and image sensors
CN107727079B (zh) 一种微小型无人机全捷联下视相机的目标定位方法
KR100761011B1 (ko) 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법
Wu et al. Autonomous flight in GPS-denied environments using monocular vision and inertial sensors
WO2018086133A1 (en) Methods and systems for selective sensor fusion
US8315748B2 (en) Altitude measurement apparatus and method
Helgesen et al. Real-time georeferencing of thermal images using small fixed-wing UAVs in maritime environments
US20210229810A1 (en) Information processing device, flight control method, and flight control system
US10412372B2 (en) Dynamic baseline depth imaging using multiple drones
US20180164122A1 (en) Electronic Control Device for Controlling a Drone, Related Drone, Controlling Method and Computer Program
WO2021216159A2 (en) Real-time thermal camera based odometry and navigation systems and methods
Tehrani et al. Horizon-based attitude estimation from a panoramic vision sensor
US11514597B1 (en) Single-camera stereoaerophotogrammetry using UAV sensors
Hao et al. Assessment of an effective range of detecting intruder aerial drone using onboard EO-sensor
CN114078142A (zh) 主动式万向支架稳定的航空视觉惯性导航系统
Liuswanto et al. Vision-based Positioning System for a Micro-UAV Flight in an Indoor Operation
Truong et al. Non-GPS UAV positioning algorithm based on two ground reference point
Wu et al. Micro-air-vehicle-borne near-range SAR with motion compensation
CN114127510A (zh) 3d定位和测绘系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant