CN112904892A - 用于利用视觉标记进行监视的系统和方法 - Google Patents

用于利用视觉标记进行监视的系统和方法 Download PDF

Info

Publication number
CN112904892A
CN112904892A CN202110067486.0A CN202110067486A CN112904892A CN 112904892 A CN112904892 A CN 112904892A CN 202110067486 A CN202110067486 A CN 202110067486A CN 112904892 A CN112904892 A CN 112904892A
Authority
CN
China
Prior art keywords
uav
visual
environment
pattern
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110067486.0A
Other languages
English (en)
Inventor
刘昂
胡骁
周谷越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202110067486.0A priority Critical patent/CN112904892A/zh
Publication of CN112904892A publication Critical patent/CN112904892A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers

Abstract

提供了用于在环境中定位无人飞行器(UAV)的系统和方法。所述UAV可以能够辨别环境中的视觉标记和图案。所述UAV可以区分视觉标记与环境中的其他特征。可以用视觉传感器来分析视觉标记以确定UAV在环境中的位置。所述视觉标记可以将指令编码至UAV。

Description

用于利用视觉标记进行监视的系统和方法
背景技术
诸如无人飞行器(UAV)等飞行器可以用于执行监视、侦查和勘探任务以供军事和民用应用。这样的飞行器可以携带被配置用于执行特定功能的负载(payload)。
当在环境中导航时，典型的UAV可能与外部系统通信。UAV可能在导航信号(诸如来自全球定位软件(GPS)信号的信号)较弱的环境中操作。这可能对UAV的自主导航带来挑战。
发明内容
需要提供一种无需依赖于诸如全球定位软件(GPS)信号等导航传感器的信号强度和可靠性而在环境中导航无人飞行器(UAV)的方法。本文提供了用于在环境中定位和导航UAV的系统和方法。所述系统和方法还提供了向UAV传送方向以供监视和导航用途的能力。可以在环境中提供标记以辅助UAV导航。所述标记可以是视觉标记，其可以允许UAV获得其方位和/或向所述UAV传送指令。
在本公开内容的一方面，一种用于进行环境监视的方法包括在所述环境内定位无人飞行器(UAV)，其中所述定位通过以下方式来确定：使用所述UAV的一个或多个视觉传感器检测具有视觉图案并附着至所述环境内的一个或多个表面的一个或多个视觉标记；以及使用所述UAV的一个或多个传感器来收集所述环境内的视觉图像和/或音频数据，从而进行所述环境监视。
所述环境可以是室内环境。所述环境可以是在其中全球定位系统(GPS)信号不可靠的环境。所述UAV的定位可以包括确定所述UAV在三维空间中的位置。
在一些实施方式中，所述UAV的重量可以小于1000g并且具有不超过100cm的最大尺寸。
所述视觉图案中的形状的顶点可以被检测并用于计算相对于一个或多个视觉标记的定位。所述一个或多个视觉标记可以包括具有包括正方形的视觉图案的带。所述视觉图案可以包括不同颜色的正方形。所述正方形的顶点可以被检测并用于计算所述视觉图案的所述部分的尺寸。
所述方法还可以包括借助于一个或多个处理器，基于所述视觉图案来确定所述UAV在三维坐标系内的位置。所述三维坐标系可以是全局坐标系。所述三维坐标系可以是局部坐标系。
所述方法还可以包括辨别所述视觉图案并由所述UAV基于辨别出的视觉图案来实现响应。
在一些情况下，定位可以包括使用(1)所述UAV机载的所述一个或多个视觉传感器的一个或多个固有特性、(2)视觉标记的已知位置以及(3)由所述UAV机载的所述视觉传感器拍摄的所述视觉标记的图像中的一组点来计算所述UAV相对于所述视觉标记的旋转和位置。
所述一个或多个视觉传感器中的至少一个可以是相机。所述UAV可以在自主移动的同时在所述环境内进行监视。所述UAV的定位可以借助于所述UAV机载的一个或多个处理器而发生。
在一些实施方式中，所述方法还可以包括借助于所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物。
可以借助于红外检测器或雷达检测器来确定定位。
在本公开内容的一方面，一种定位无人飞行器(UAV)的方法可以包括：在所述UAV飞行的同时，借助于所述UAV的一个或多个视觉传感器来捕捉包括视觉标记的图像，所述视觉标记具有视觉图案并附着至所述环境内的表面；计算所述图像中的所述视觉标记的所述视觉图案的至少一部分的尺寸；以及借助于一个或多个处理器，基于所述视觉图案的所述部分的尺寸来确定所述UAV在三维坐标系内的位置。
所述环境可以是室内环境。所述环境可以是全球定位系统(GPS)信号不可靠所在的环境。
在一些实施方式中，所述UAV的重量可以小于1000g并且具有不超过100cm的最大尺寸。
所述尺寸可以是在所述视觉图案中的形状的顶点之间。
所述视觉图案中的形状的顶点可以被检测并用于计算相对于一个或多个视觉标记的定位。所述一个或多个视觉标记可以包括具有包括正方形的视觉图案的带。所述视觉图案可以包括不同颜色的正方形。所述正方形的顶点可以被检测并用于计算所述视觉图案的所述部分的尺寸。
所述方法还可以包括借助于一个或多个处理器，基于所述视觉图案来确定所述UAV在三维坐标系内的位置。所述三维坐标系可以是全局坐标系。所述三维坐标系可以是局部坐标系。
所述方法还可以包括辨别所述视觉图案并由所述UAV基于辨别出的视觉图案来实现响应。
在一些情况下，定位可以包括使用(1)所述UAV机载的所述一个或多个视觉传感器的一个或多个固有特性、(2)视觉标记的已知位置以及(3)由所述UAV机载的所述视觉传感器拍摄的所述视觉标记的图像中的一组点来计算所述UAV相对于所述视觉标记的旋转和位置。所述尺寸可以用于计算所述UAV距所述视觉标记的距离。所述尺寸可以用于计算所述UAV相对于所述视觉标记的角度。
所述一个或多个视觉传感器中的至少一个可以是相机。当所述一个或多个视觉传感器捕捉所述图像时，所述UAV可以正自主地巡逻所述环境。一个或多个处理器可以是所述UAV机载的。
在一些实施方式中，所述方法还可以包括借助于所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物。
所述方法还可以包括借助于所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物。
可以借助于红外检测器或雷达检测器来确定定位。
在本公开内容的一方面，一种在环境内定位无人飞行器(UAV)的系统可以包括：所述UAV的一个或多个视觉传感器，其被配置用于在所述UAV飞行的同时捕捉包括视觉标记的图像，所述视觉标记具有视觉图案并附着至所述环境内的表面；以及一个或多个处理器，其被单独地或共同地配置用于：(1)计算所述图像中的所述视觉标记的所述视觉图案的至少一部分的尺寸；以及(2)基于所述视觉图案的所述部分的尺寸，确定所述UAV在三维坐标系内的位置。
所述环境可以是室内环境。所述环境可以是在其中GPS信号不可靠的环境。所述UAV的重量可以小于1000g并且具有不超过100cm的最大尺寸。
所述标记尺寸可以是在所述视觉图案中的形状的顶点之间。所述视觉标记可以是具有包括正方形的视觉图案的带。所述视觉图案可以包括不同颜色的正方形。所述正方形的顶点可以被检测并用于计算所述视觉图案的所述部分的尺寸。所述三维坐标系可以是三维全局坐标系。所述三维坐标系可以是三维局部坐标系。可以辨别所述视觉图案，并且可以由所述UAV基于辨别出的视觉图案来实现响应。
所述一个或多个处理器可被配置用于使用所述UAV机载的所述一个或多个视觉传感器的一个或多个固有特性、视觉标记的已知位置以及由所述UAV机载的所述视觉传感器拍摄的所述视觉标记的图像中的一组点来计算所述UAV相对于所述视觉标记的旋转和位置。
所述一个或多个视觉传感器中的至少一个可以是相机。所述尺寸可以用于计算所述UAV距所述视觉标记的距离。所述尺寸可以用于计算所述UAV相对于所述视觉标记的角度。
当所述一个或多个视觉传感器捕捉所述图像时，所述UAV可以自主地巡逻所述环境。所述一个或多个处理器可以是所述UAV机载的。所述UAV还可被配置用于借助所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物。
可以借助于红外检测器或雷达检测器来确定定位。
在本公开内容的另一方面，一种在环境内定位无人飞行器(UAV)的方法可以包括：在所述UAV飞行的同时，借助于所述UAV的一个或多个视觉传感器来捕捉包括视觉标记的图像，所述视觉标记具有所述环境内的唯一视觉图案并附着至所述环境内的表面；基于所述图像中的所述视觉标记的所述唯一视觉图案，从多个不同的标记中辨别和区分所述视觉标记，其中辨别出的视觉标记具有已知位置，所述已知位置不同于所述多个不同的标记的位置；以及借助于一个或多个处理器，基于辨别出的视觉标记的所述已知位置来确定所述UAV在三维坐标系内的位置。
所述环境可以是室内环境。所述环境可以是在其中GPS信号不可靠的环境。所述UAV的重量可以小于1000g并且具有不超过100cm的最大尺寸。
所述视觉图案中的形状的顶点可以被检测并用于计算相对于所述一个或多个视觉标记的定位。所述视觉标记可以是具有包括正方形的唯一视觉图案的带。所述唯一视觉图案可以包括不同颜色的正方形。所述唯一视觉图案可以包括AprilTag。所述唯一视觉图案可以包括QR码。所述唯一视觉图案可以包括条形码。
所述方法还可以包括计算所述图像中的所述视觉标记的所述唯一视觉图案的至少一部分的尺寸；以及借助于所述一个或多个处理器，基于所述唯一视觉图案的所述部分的尺寸来确定UAV在所述三维坐标系内的位置。
所述三维坐标系可以是三维全局坐标系。所述三维坐标系可以是三维局部坐标系。
所述方法还可以包括辨别所述视觉图案并由所述UAV基于辨别出的视觉图案来实现响应。
所述方法还可以包括通过使用所述UAV机载的所述一个或多个视觉传感器的一个或多个固有特性、视觉标记的已知位置以及由所述UAV机载的所述视觉传感器拍摄的所述视觉标记的图像中的一组点计算所述UAV相对于所述视觉标记的旋转和位置来在所述环境内定位所述UAV。
所述一个或多个处理器可以是所述UAV机载的。当所述一个或多个视觉传感器捕捉所述图像时，所述UAV可以自主地巡逻所述环境。所述方法还可以包括借助于所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物。
可以借助于红外检测器或雷达检测器来确定定位。
在本公开内容的另一方面，一种用于在环境内定位无人飞行器(UAV)的系统可以包括：所述UAV的一个或多个视觉传感器，其被配置用于在所述UAV飞行的同时捕捉包括视觉标记的图像，所述视觉标记具有所述环境内的唯一视觉图案并附着至所述环境内的表面；以及一个或多个处理器，其被单独地或共同地配置用于：基于所述图像中的所述视觉标记的所述唯一视觉图案，从多个不同的标记中辨别和区分所述视觉标记，其中辨别出的视觉标记具有已知位置，所述已知位置不同于所述多个不同的标记的位置；以及基于辨别出的视觉标记的所述已知位置，确定所述UAV在三维坐标系内的位置。
所述环境可以是室内环境。所述环境可以是GPS信号不可靠所在的环境。所述UAV的重量可以小于1000g并且具有不超过1000cm的最大尺寸。
所述视觉图案中的形状的顶点可以被检测并用于计算相对于所述一个或多个视觉标记的定位。所述视觉标记可以是具有包括正方形的唯一视觉图案的带。所述唯一视觉图案可以包括不同颜色的正方形。所述唯一视觉图案可以包括AprilTag。所述唯一视觉图案可以包括QR码。所述唯一视觉图案可以包括条形码。
所述一个或多个处理器可被配置用于计算所述图像中的所述视觉标记的所述唯一视觉图案的至少一部分的尺寸；以及基于所述唯一视觉图案的所述部分的尺寸，确定UAV在所述三维坐标系内的位置。
所述三维坐标系可以是三维全局坐标系。所述三维坐标系可以是三维局部坐标系。
可以辨别所述视觉图案，并且可以由所述UAV基于辨别出的视觉图案来实现响应。
所述一个或多个处理器可被配置用于使用所述UAV机载的所述一个或多个视觉传感器的一个或多个固有特性、视觉标记的已知位置以及由所述UAV机载的所述视觉传感器拍摄的所述视觉标记的图像中的一组点来计算所述UAV相对于所述视觉标记的旋转和位置。
所述一个或多个视觉传感器中的至少一个可以是相机。当所述一个或多个视觉传感器捕捉所述图像时，所述UAV可以自主地巡逻所述环境。一个或多个处理器可以是所述UAV机载的。可以借助于红外检测器或雷达检测器来确定定位。
在本公开内容的另一方面，一种在环境内定位无人飞行器(UAV)的方法可以包括：在所述UAV飞行的同时，借助于所述UAV的一个或多个视觉传感器来捕捉包括视觉标记的图像，所述视觉标记具有视觉图案；借助于一个或多个处理器，从多个不同的图案中辨别和区分所述视觉图案，其中辨别出的视觉图案引发来自所述UAV的响应，所述响应不同于由所述多个不同的图案引发的响应；以及由所述UAV实现对所述视觉标记的辨别出的视觉图案的响应。
所述环境可以是室内环境。所述环境可以是GPS信号不可靠所在的环境。所述UAV的重量可以小于1000g并且具有不超过100cm的最大尺寸。
所述视觉图案中的形状的顶点可以被检测并用于计算相对于所述一个或多个视觉标记的定位。所述视觉标记可以是具有包括正方形的唯一视觉图案的带。所述唯一视觉图案可以包括不同颜色的正方形。所述唯一视觉图案可以包括AprilTag。所述唯一视觉图案可以包括QR码。所述唯一视觉图案可以包括条形码。
所述响应可以独立于所述UAV的飞行。所述响应可以包括调整所述UAV的负载的位置。所述负载可以是所述UAV机载的相机。所述响应可以包括捕捉选定主体的图像。所述响应可以发生在辨别和区分所述视觉图案之后的预定时间量内。所述响应可以发生在辨别和区分所述视觉图案之后的预定距离内。所述响应可以包括改变所述UAV的姿态。所述响应可以包括使所述UAV在特定的方向上和/或以特定的速度飞行。所述响应可以包括使所述UAV飞上楼梯或飞下楼梯。所述响应可以影响所述UAV的飞行。所述响应可以包括使所述UAV的飞行遵循一组预设指令。在一些情况下，所述视觉标记是带，并且所述响应包括使所述UAV的飞行遵循所述带。
所述方法还可以包括计算所述图像中的所述视觉标记的所述唯一视觉图案的至少一部分的尺寸；以及借助于所述一个或多个处理器，基于所述唯一视觉图案的所述部分的尺寸来确定UAV在所述三维坐标系内的位置。
所述三维坐标系可以是三维全局坐标系。所述三维坐标系可以是三维局部坐标系。可以通过采用N点透视(PNP)算法来计算所述UAV的局部坐标。
所述方法还可以包括通过使用所述UAV机载的所述一个或多个视觉传感器的一个或多个固有特性、视觉标记的已知位置以及由所述UAV机载的所述视觉传感器拍摄的所述视觉标记的图像中的一组点计算所述UAV相对于所述视觉标记的旋转和位置来定位所述UAV。所述一个或多个视觉传感器中的至少一个可以是相机。
所述一个或多个处理器可以是所述UAV机载的。当所述一个或多个视觉传感器捕捉所述图像时，所述UAV可以自主地巡逻所述环境。所述方法还可以包括借助于所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物。所述定位还可以借助于红外检测器或雷达检测器来确定。
在本发明的另一方面，一种用于在环境内定位无人飞行器(UAV)的系统可以包括：所述UAV的一个或多个视觉传感器，其被配置用于在所述UAV飞行的同时捕捉包括视觉标记的图像，所述视觉标记具有视觉图案；以及一个或多个处理器，其被单独地或共同地配置用于：(1)借助于一个或多个处理器，从多个不同的图案中辨别和区分所述视觉图案，其中辨别出的视觉图案引发来自所述UAV的响应，所述响应不同于由所述多个不同的图案引发的响应；以及(2)由所述UAV实现对所述视觉标记的辨别出的视觉图案的响应。
所述环境可以是室内环境。所述环境可以是在其中GPS信号不可靠的环境。所述UAV的重量可以小于1000g并且具有不超过100cm的最大尺寸。
所述视觉图案中的形状的顶点可以被检测并用于计算相对于所述一个或多个视觉标记的定位。所述视觉标记可以是具有包括正方形的唯一视觉图案的带。所述唯一视觉图案可以包括不同颜色的正方形。所述唯一视觉图案可以包括AprilTag。所述唯一视觉图案可以包括QR码。所述唯一视觉图案可以包括条形码。
所述响应可以独立于所述UAV的飞行。所述响应可以包括调整所述UAV的负载的位置。所述负载可以是所述UAV机载的相机。所述响应可以包括捕捉选定主体的图像。所述响应可以发生在辨别和区分所述视觉图案之后的预定时间量内。所述响应可以发生在辨别和区分所述视觉图案之后的预定距离内。所述响应可以包括改变所述UAV的姿态。所述响应可以包括使所述UAV在特定的方向上和/或以特定的速度飞行。所述响应可以包括使所述UAV飞上楼梯或飞下楼梯。所述响应可以影响所述UAV的飞行。所述响应可以包括使所述UAV的飞行遵循一组预设指令。在一些情况下，所述视觉标记是带，并且所述响应包括使所述UAV的飞行遵循所述带。
所述系统还可以包括计算所述图像中的所述视觉标记的所述视觉图案的至少一部分的尺寸；以及借助于所述一个或多个处理器，基于所述视觉图案的所述部分的尺寸来确定UAV在所述三维坐标系内的位置。
所述三维坐标系可以是三维全局坐标系。所述三维坐标系可以是三维局部坐标系。可以通过采用N点透视(PNP)算法来计算所述UAV的局部坐标。
所述一个或多个处理器被配置用于使用所述UAV机载的所述一个或多个视觉传感器的一个或多个固有特性、视觉标记的已知位置以及由所述UAV机载的所述视觉传感器拍摄的所述视觉标记的图像中的一组点来计算所述UAV相对于所述视觉标记的旋转和位置。所述一个或多个视觉传感器中的至少一个可以是相机。
当所述一个或多个视觉传感器捕捉所述图像时，所述UAV可以自主地巡逻所述环境。所述一个或多个处理器可以是所述UAV机载的。所述系统还可以包括借助于所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物。所述定位还可以借助于红外检测器或雷达检测器来确定。
在本公开内容的另一方面，一种在环境内定位无人飞行器(UAV)的方法可以包括：在所述环境内提供多个视觉标记，其中所述环境内的所述视觉标记中的每一个具有对于所述环境是唯一的视觉图案；在所述UAV在所述环境内飞行的同时，借助于所述UAV的一个或多个视觉传感器来捕捉包括检测到的视觉标记的图像，所述视觉标记具有从所述多个视觉标记辨别出的视觉图案；借助于一个或多个处理器，由所述UAV来实现对具有辨别出的视觉图案的检测到的视觉标记的导航响应。
所述导航响应可以包括确定所述UAV在三维坐标系中的位置。所述导航响应可以包括使所述UAV根据一组预设飞行命令飞行。所述导航响应可以包括使所述UAV飞行至相对于所述检测到的视觉标记的预定位置。所述导航响应可以包括使所述UAV飞行至一位置，所述UAV的所述一个或多个视觉传感器被配置用于从所述位置捕捉与所述检测到的视觉标记不同的视觉标记的图像。所述环境可以是室内环境。所述环境可以是全球定位系统(GPS)信号不可靠所在的环境。所述UAV的重量可以小于1000g并且具有不超过100cm的最大尺寸。
所述视觉图案中的形状的顶点可以被检测并用于计算相对于所述一个或多个视觉标记的定位。所述视觉标记可以是具有包括正方形的唯一视觉图案的带。所述唯一视觉图案可以包括不同颜色的正方形。所述唯一视觉图案可以包括AprilTag。所述唯一视觉图案可以包括QR码。所述唯一视觉图案可以包括条形码。
所述响应可以独立于所述UAV的飞行。所述响应可以包括调整所述UAV的负载的位置。所述负载可以是所述UAV机载的相机。所述响应可以包括捕捉选定主体的图像。所述响应可以发生在辨别和区分所述视觉图案之后的预定时间量内。所述响应可以发生在辨别和区分所述视觉图案之后的预定距离内。所述响应可以包括改变所述UAV的姿态。所述响应可以包括使所述UAV在特定的方向上和/或以特定的速度飞行。所述响应可以包括使所述UAV飞上楼梯或飞下楼梯。所述响应可以影响所述UAV的飞行。所述响应可以包括使所述UAV的飞行遵循一组预设指令。在一些情况下，所述视觉标记是带，并且所述响应包括使所述UAV的飞行遵循所述带。
所述方法还可以包括计算所述图像中的所述视觉标记的所述视觉图案的至少一部分的尺寸；以及借助于所述一个或多个处理器，基于所述视觉图案的所述部分的尺寸来确定UAV在所述三维坐标系内的位置。
所述三维坐标系可以是三维全局坐标系。所述三维坐标系可以是三维局部坐标系。可以通过采用N点透视(PNP)算法来计算所述UAV的局部坐标。
所述方法还可以包括通过使用所述UAV机载的所述一个或多个视觉传感器的一个或多个固有特性、视觉标记的已知位置以及由所述UAV机载的所述视觉传感器拍摄的所述视觉标记的图像中的一组点计算所述UAV相对于所述视觉标记的旋转和位置来在所述环境内定位所述UAV。
所述一个或多个视觉传感器中的至少一个可以是相机。当所述一个或多个视觉传感器捕捉所述图像时，所述UAV可以自主地巡逻所述环境。所述一个或多个处理器可以是所述UAV机载的。所述方法还可以包括借助于所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物。所述定位还可以借助于红外检测器或雷达检测器来确定。
在本公开内容的另一方面，一种在环境内定位无人飞行器(UAV)的方法可以包括：在所述环境内提供连续的视觉标记，其中所述连续的视觉标记在所述环境内提供路径；在所述UAV在所述环境内飞行的同时，借助于所述UAV的一个或多个视觉传感器来捕捉包括具有视觉图案的所述连续的视觉标记的至少一部分的图像；由所述UAV实现飞行响应，以保持所述连续的视觉标记处于所述UAV的视距内。
所述连续的标记可以是带。所述环境可以是室内环境。所述环境可以是GPS信号不可靠所在的环境。所述UAV的重量可以小于1000g并且具有不超过100cm的最大尺寸。
所述视觉图案中的形状的顶点可以被检测并用于计算相对于所述一个或多个视觉标记的定位。所述视觉标记可以是具有包括正方形的唯一视觉图案的带。所述唯一视觉图案可以包括不同颜色的正方形。所述唯一视觉图案可以包括AprilTag。所述唯一视觉图案可以包括QR码。所述唯一视觉图案可以包括条形码。
所述响应可以独立于所述UAV的飞行。所述响应可以包括调整所述UAV的负载的位置。所述负载可以是所述UAV机载的相机。所述响应可以包括捕捉选定主体的图像。所述响应可以发生在辨别和区分所述视觉图案之后的预定时间量内。所述响应可以发生在辨别和区分所述视觉图案之后的预定距离内。所述响应可以包括改变所述UAV的姿态。所述响应可以包括使所述UAV在特定的方向上和/或以特定的速度飞行。所述响应可以包括使所述UAV飞上楼梯或飞下楼梯。所述响应可以影响所述UAV的飞行。所述响应可以包括使所述UAV的飞行遵循一组预设指令。在一些情况下，所述视觉标记是带，并且所述响应包括使所述UAV的飞行遵循所述带。
当所述一个或多个视觉传感器捕捉所述图像时，所述UAV可以自主地巡逻所述环境。所述方法还可以包括借助于所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物。还可以借助于红外检测器或雷达检测器来确定定位。
通过考察说明书、权利要求书和附图，本发明的其他目的和特征将会变得清楚。
援引并入
本说明书中所提及的所有出版物、专利和专利申请均通过引用而并入本文，其程度犹如具体地和个别地指出要通过引用而并入每一单个出版物、专利或专利申请。
附图说明
在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本发明原理的说明性实施方式加以阐述的以下详细描述和附图，将会对本发明的特征和优势获得更好的理解；在附图中：
图1示出了被配置用于在环境中进行监视的UAV。
图2示出了视觉标记的示例。
图3示出了可以由UAV检测到的视觉标记的顶点的示例。
图4示出了具有机载部件的UAV。
图5示出了UAV从两个垂直位置检测视觉标记。
图6示出了UAV从两个水平位置检测视觉标记。
图7示出了UAV通过基于对视觉标记的检测来确定位置而检测和避开障碍物。
图8示出了UAV排除对视觉标记的误检事件。
图9示出了视觉标记，所述视觉标记包括标志以将指令传递给UAV。
图10示出了UAV沿着一路径遵循视觉标记带。
图11示出了UAV响应于来自多个视觉标记的位置指令。
图12示出了UAV根据编码于视觉标记上的信息来解译环境。
图13示出了UAV响应于由视觉标记编码的指令而调整负载的位置。
图14示出了根据本发明实施方式的无人飞行器。
图15示出了根据本发明实施方式的包括载体和负载的可移动物体。
图16是根据本发明实施方式的用于控制可移动物体的系统的示意图，所述示意图通过框图来说明。
具体实施方式
本发明的系统、装置和方法提供了用于自动辅助无人飞行器(UAV)在环境中导航的定位方法。对UAV的描述可适用于任何其他类型的无人载运工具或者任何其他类型的可移动物体。
可以提供UAV用于巡逻环境，以收集关于所述环境或者所述环境中一个或多个主体的信息。UAV可以遵循穿过环境的限定路径，或者UAV可以遵循非结构化路径。UAV可以自主地或半自主地跟随感兴趣的主体并且收集关于所述感兴趣的主体的传感数据。传感数据可以是视觉数据、音频数据、位置数据和/或移动数据。位于监视环境中的UAV可以通过通信网络而从机外控制中心接收命令。通信网络可以是有线的或无线的。在一些情况下，UAV可以从图案识别机构接收通信，所述图案识别机构对放置于环境中的视觉标记上所编码的指令进行解译。
UAV可以收集环境中的视觉信息。可以使用视觉传感器来收集视觉信息。在一些情况下，视觉传感器可以是相机。视觉传感器还可以用于检测视觉标记，以确定UAV在环境中的位置。在一些情况下，一个视觉传感器可以用于检测视觉标记和收集环境中的视觉信息二者。在其他情况下，UAV可以具有至少两个视觉传感器，以使得第一视觉传感器被配置用于检测视觉标记而第二视觉传感器被配置用于收集环境中的视觉信息。视觉传感器可以位于UAV的机身中，或者视觉传感器可以是附着至UAV的外部负载。UAV还可以使用音频传感器(例如，麦克风)来收集环境中的音频信息。所收集的信息可以被收集并存储在位于UAV机载或机外的存储器存储装置上。所收集的信息可以由用户实时地监控。备选地，所收集的信息可以在收集之后由用户存储在存储器存储装置上并审查。在一些情况下，UAV可以发出音频或视觉信号作为对所述UAV已经进入或离开指定位置的警告或指示。
可由UAV的一个或多个视觉传感器检测的视觉标记可以分布在环境中。视觉标记可以是或者可以不是可在视觉上彼此区分的。视觉标记可以位于已知位置处，并且可以用于确定UAV位置。视觉标记还可以用于辅助UAV在环境中导航和/或在所述环境内执行任务。
UAV可被配置用于在环境中执行监视任务，以进行安全评估。UAV可以使用多个传感器在环境中收集信息，所述多个传感器与UAV机载或机外的一个或多个处理器通信。所述处理器可以解译所收集的信息，以便确定可以指示出危险或不安全条件的事件。当由处理器检测到危险或不安全条件时，所述处理器可以指令UAV产生警报。
图1示出了无人飞行器(UAV)101的示例。UAV 101可以具有一个或多个传感器。UAV101可以包括一个或多个视觉传感器102，诸如图像传感器。例如，图像传感器可以是单目相机、立体视觉相机、雷达、声呐或红外相机。UAV 101还可以包括可以用于确定UAV的位置的其他传感器，诸如全球定位系统(GPS)传感器、可以用作惯性测量单元(IMU)的一部分或者与其分开的惯性传感器(例如，加速度计、陀螺仪、磁力计)、激光雷达、超声传感器、声传感器、WiFi传感器。UAV可以具有UAV机载的传感器，所述传感器直接从环境中收集信息，而不为了附加信息或处理来联系UAV机外的附加部件。例如，直接在环境中收集数据的传感器可以是视觉传感器或音频传感器。备选地，UAV可以具有UAV机载但与UAV机外的一个或多个部件联系以收集关于环境的数据的传感器。例如，联系UAV机外的部件以收集关于环境的数据的传感器可以是GPS传感器或依赖于到另一装置(诸如卫星、塔、路由器、服务器或其他外部装置)的连接的另一传感器。传感器的各种示例可以包括但不限于位置传感器(例如，全球定位系统(GPS)传感器、支持位置三角测量法的移动装置发射器)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像装置，诸如相机)、接近度或范围传感器(例如，超声传感器、激光雷达、飞行时间相机或深度相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或场传感器(例如，磁力计、电磁传感器)。可以使用任何合适数目和组合的传感器，诸如一个、两个、三个、四个、五个或更多个传感器。可选地，可以从不同类型(例如，两种、三种、四种、五种或更多种类型)的传感器接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、定向、速度、加速度、接近度、压力等)和/或利用不同类型的测量技术来获取数据。例如，传感器可以包括主动式传感器(例如，生成和测量来自其自身能源的能量的传感器)和被动式传感器(例如，检测可用能量的传感器)的任何合适的组合。又例如，一些传感器可以生成依据全局坐标系提供的绝对测量数据(例如，由GPS传感器提供的位置数据、由罗盘或磁力计提供的姿态数据)，而其他传感器可以生成依据局部坐标系提供的相对测量数据(例如，由陀螺仪提供的相对角速度；由加速度计提供的相对平移加速度；由视觉传感器提供的相对姿态信息；由超声传感器、激光雷达或飞行时间相机提供的相对距离信息)。UAV机载或机外的传感器可以收集信息，诸如UAV的位置、其他物体的位置、UAV 101的定向或者环境信息。单个传感器可以能够在环境中收集完整的一组信息，或者一组传感器可以共同工作以在环境中收集完整的一组信息。传感器可以用于位置的映射、位置之间的导航、障碍物的检测或者目标的检测。传感器可以用于对环境或感兴趣的主体103的监视。
本文对UAV 101的任何描述均可适用于任何类型的可移动物体。对UAV的描述可以适用于任何类型的无人可移动物体(例如，其可以穿越天空、陆地、水或空间)。UAV可以能够响应于来自遥控器的命令。遥控器可以不连接至UAV，所述遥控器可以从一距离与所述UAV无线通信。在一些情况下，UAV可以能够自主地或半自主地操作。UAV可以能够遵循一组预编程的指令。在一些情况下，UAV可以通过响应于来自遥控器的一个或多个命令而半自主地操作，而否则自主地操作。例如，来自遥控器的一个或多个命令可以根据一个或多个参数而发起由UAV进行的一系列自主或半自主动作。
所述UAV 101可以是飞行器。UAV可以具有可允许所述UAV在空中四处移动的一个或多个动力单元。所述一个或多个动力单元可以使得UAV能够关于一个或多个、两个或更多个、三个或更多个、四个或更多个、五个或更多个、六个或更多个自由度移动。在一些情况下，UAV可以能够围绕一个、两个、三个或更多个旋转轴旋转。旋转轴可以彼此正交。旋转轴可以在UAV的整个飞行过程中保持彼此正交。旋转轴可以包括俯仰轴、横滚轴和/或偏航轴。UAV可以能够沿着一个或多个维度移动。例如，UAV可以能够由于一个或多个旋翼所生成的升力而向上移动。在一些情况下，UAV可以能够沿着Z轴(其可以是相对于UAV的定向而向上的)、X轴和/或Y轴(其可以是横向的)移动。UAV可以能够沿着一个、两个或三个可彼此正交的轴移动。
UAV 101可以是旋翼飞机。在一些情况下，UAV可以是可包括多个旋翼的多旋翼飞机。所述多个旋翼可以能够旋转以便为UAV生成升力。旋翼可以是动力单元，其可以使得UAV能够在空中自由移动。旋翼可以按同一速率旋转和/或可以生成等量的升力或推力。旋翼可以可选地以不同的速率旋转，这可以生成不等量的升力或推力和/或允许UAV旋转。在一些情况下，可以在UAV上提供一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多个旋翼。可以布置旋翼以使得它们的旋转轴彼此平行。在一些情况下，旋翼可以具有相对于彼此成任何角度的旋转轴，这可以影响UAV的运动。
所示的UAV可以具有多个旋翼。所述旋翼可以连接至UAV的机身，所述机身可以包括控制单元、一个或多个传感器、处理器和电源。传感器可以包括视觉传感器和/或可以收集关于UAV环境的信息的其他传感器。来自传感器的信息可以用于确定UAV的位置。旋翼可以经由可从机身的中心部分分出的一个或多个臂或延伸物而连接至所述机身。例如，一个或多个臂可以从UAV的中央机身径向延伸，并且在所述臂的末端或所述末端附近可以具有旋翼。
通过维持和/或调整对UAV的一个或多个动力单元的输出，可以控制所述UAV的垂直位置和/或速度。例如，增大UAV的一个或多个旋翼的旋转速度可以辅助使所述UAV增加高度或者以更快的速率增加高度。增大所述一个或多个旋翼的旋转速度可以增大旋翼的推力。减小UAV的一个或多个旋翼的旋转速度可以辅助使UAV降低高度或以更快的速率降低高度。减小所述一个或多个旋翼的旋转速度可以减小所述一个或多个旋翼的推力。当UAV起飞时，可以将可以提供给动力单元的输出从其先前的已降落状态增大。当UAV降落时，可以将提供给动力单元的输出从其先前的飞行状态减小。UAV可被配置成以实质垂直的方式起飞和/或降落。
通过维持和/或调整对UAV的一个或多个动力单元的输出，可以控制所述UAV的横向位置和/或速度。UAV的高度和UAV的一个或多个旋翼的旋转速度可以影响UAV的横向移动。例如，UAV可以于特定的方向上倾斜以在所述方向上移动，而UAV的旋翼的速度可以影响横向移动的速度和/或移动轨迹。可以通过改变或维持UAV的一个或多个旋翼的旋转速度来控制UAV的横向位置和/或速度。
UAV 101可以具有小尺寸。UAV可以能够由人类搬运和/或携带。UAV可以能够由人类单手携带。
UAV 101可以具有不超过100cm的最大尺寸(例如，长度、宽度、高度、对角线、直径)。在一些情况下，所述最大尺寸可以小于或等于1mm、5mm、1cm、3cm、5cm、10cm、12cm、15cm、20cm、25cm、30cm、35cm、40cm、45cm、50cm、55cm、60cm、65cm、70cm、75cm、80cm、85cm、90cm、95cm、100cm、110cm、120cm、130cm、140cm、150cm、160cm、170cm、180cm、190cm、200cm、220cm、250cm或300cm。可选地，UAV的最大尺寸可以大于或等于本文所描述的值中的任一。UAV可以具有落在本文所描述的值中任何两个之间的范围内的最大尺寸。
UAV 101可以是轻型的。例如，UAV的重量可以小于或等于1mg、5mg、10mg、50mg、100mg、500mg、1g、2g、3g、5g、7g、10g、12g、15g、20g、25g、30g、35g、40g、45g、50g、60g、70g、80g、90g、100g、120g、150g、200g、250g、300g、350g、400g、450g、500g、600g、700g、800g、900g、1kg、1.1kg、1.2kg、1.3kg、1.4kg、1.5kg、1.7kg、2kg、2.2kg、2.5kg、3kg、3.5kg、4kg、4.5kg、5kg、5.5kg、6kg、6.5kg、7kg、7.5kg、8kg、8.5kg、9kg、9.5kg、10kg、11kg、12kg、13kg、14kg、15kg、17kg或20kg。UAV可以具有大于或等于本文所描述的值中的任一的重量。UAV可以具有落在本文所描述的值中任何两个之间的范围内的重量。
UAV 101可以包括视觉传感器，诸如单目相机、立体视觉相机、雷达、声呐或红外相机。UAV 101还可以包括传感器，诸如GPS、IMU、激光雷达或本文别处所描述的任何其他类型的传感器。UAV机载的传感器可以收集信息，诸如UAV的位置、其他物体的位置、UAV 101的定向或者环境信息。单个传感器可以能够完全确定上述参数中的任一个，或者一组传感器可以共同工作以确定所列参数之一。传感器可以用于位置的映射、位置之间的导航、障碍物的检测、目标的检测或者对感兴趣的物体或环境的监视。
传感器可以位于UAV机上或机外。机载传感器可以位于UAV 101的机身上。传感器可以附着至UAV 101的机身外部和/或传感器可以附着至UAV 101的机身内部。传感器可以位于机身上的单一区域中心。备选地，传感器可以位于机身上的不同位置。传感器可以永久地或可移除地附着至UAV 101。UAV 101可以具有可被配置用于携带负载的载体。传感器可以附着至所述载体。
传感器可以以一个或多个传感器参数为特征。传感器参数可以是固有参数或外部参数。固有参数可以涉及传感器的内部配置。固有参数的示例可以包括焦距、比例因子、径向畸变系数和切向畸变系数。固有参数可以是取决于硬件配置的任何参数，在一些情况下，可以通过传感器的出厂设置来设定固有参数。外部参数可以涉及任何两个或更多个传感器之间的空间关系。每个传感器可以具有独立于UAV机载的其他传感器的相对坐标系。外部特性对于传感器融合(组合来自UAV上不同位置处的传感器的数据)可能是重要的。传感器融合可以涉及变换给定传感器的相对坐标以匹配另一传感器的参考系的过程。
UAV可被配置用于在空间或环境中进行监视。所述空间可以是室外空间或室内空间或者室内空间和室外空间的组合。UAV可以自动地或半自动地在空间中定位其自身。UAV可以用位置传感器(例如，GPS传感器)来定位其自身。备选地，UAV可以通过解译视觉标记的图像来定位其自身。视觉标记可以是用于在定位传感器不可靠的环境中对定位传感器的备选定位机制。视觉标记可以与一种或多种类型的定位传感器组合使用。视觉标记可以具有定位标记。视觉标记可以粘附或附着至空间或环境中的一个或多个表面。
关于UAV飞行的数据可以与用于监视的UAV的一个或多个传感器所捕捉的数据相关。例如，可以存储UAV的位置(例如，纬度、经度、高度或任何其他坐标系)、UAV的姿态(例如，关于横滚轴、俯仰轴和/或偏航轴的角度)。诸如位置和姿态等关于UAV的信息可以与定时数据相关。例如，时钟可以提供于UAV机上或者外部装置上，其可记录时间用于UAV定位。时间数据可以与UAV的对应位置和/或姿态相关联。此基于时间的数据可以与UAV的一个或多个传感器所捕捉的数据(诸如由UAV机载的相机捕捉的图像数据)相关。可选地，相机数据(例如，相机相对于UAV的姿态和/或定时信息)可以与其他数据相关。在一些实施方式中，UAV可以能够围绕本文所描述的轴中的任一自由旋转至少约45度、90度、180度、270度、360度或720度。负载(例如，相机)可以能够相对于UAV围绕本文所描述的轴中的任一自由旋转至少约45度、90度、180度、270度、360度或720度。在监视期间，此数据可以用于确定UAV的定位以及理解由传感器捕捉的区域(例如，由相机捕捉的视野)的定位。
图2示出了定位标记的示例。定位标记可以存在于室内环境中，诸如在建筑物内。建筑物的内部可能具有微弱的GPS信号或者没有GPS信号。定位标记可以粘附至环境中的表面。在整个环境中，可以存在一个或多个定位标记和/或定位标记的连续带。一个或多个定位标记和/或定位标记的连续带可以粘附至房间、走廊、壁龛、壁橱或其他围绕物中的一个表面或多个表面。环境可以是室内环境。定位标记可以具有离散形状。例如，定位标记可以是正方形、矩形、圆形、三角形、六边形或者具有任何其他形状。定位标记可以粘附至室内环境中的天花板、墙壁、支撑梁、物体或地板。定位标记可以是连续带。定位标记可以是具有统一或不统一尺寸的一系列不连接的标记。定位标记可以是黑色的和白色的，或者定位标记可以是多种颜色的。定位标记可以包括具有可识别顶点的多种几何形状。所述多种几何形状可以包括视觉图案。几何形状可以是三角形、正方形、五边形、六边形或任何其他规则或不规则的多边形。定位标记视觉图案可以包括至少一种类型的多边形。定位标记可以包括重复图案、棋盘、成行和/或成列的重复多边形或者多边形阵列。定位标记可以具有在一致的重复图案中的颜色交替的形状。在图2中所示的示例中，标记包括一组正方形。图2中的示例标记示出了黑色的和白色的正方形，备选地，所述正方形可以是其他颜色。
在备选实施方式中，标记可以不是视觉标记。标记可以通过另一传感交互来检测。在一些情况下，标记可以是音频标记。当UAV离开或进入指定位置时，标记可以提供音频或视觉警告。标记可以发出可由UAV检测到的频率范围内的声干扰。发出的声干扰的频率范围可以处于人类检测到的频率范围之外的频率范围中。UAV可以通过分析声干扰中的畸变来确定其位置。声干扰可以指令UAV移动以执行任务。在另一情况下，标记可以发出RFID、无线电或WiFi信号，所述信号可以由UAV检测到并由UAV处理以确定位置。在一些实施方式中，标记可以发出可检测的物质，例如气体。所述可检测物质对于由人类和其他动物吸入和消耗可以是安全的。UAV可以使用所述气体在UAV检测到所述气体的位置处的浓度以及所述气体的扩散特性来确定其相对于标记的位置。
不同位置处的不同标记可以彼此区分。例如，不同的标记可以发出不同的信号。在一个示例中，由第一音频标记发出的声音可以不同于由第二音频标记发出的声音。所述声音可以具有不同的频率、谐波或模式。因此，通过识别声音模式，UAV可以能够区分所述UAV是靠近第一位置处的第一音频标记还是第二位置处的第二音频标记。类似地，不同的无线电可以发出不同的信号，或者不同的气体标记可以发出不同组成的气体。UAV可以能够基于辨别出的标记以及辨别出的标记的已知位置来确定其位置。
本文对视觉标记或定位标记的任何描述均可适用于包括非视觉标记在内的任何其他类型的标记，并且反之亦然。
定位标记可以由纸或塑料材料制成。定位标记可以是屏幕显示器(例如，液晶显示器(LCD)、触摸屏、LED屏、OLED屏或等离子屏幕显示器)。备选地，定位标记可以从安装在环境中的投影仪投影到表面上。定位标记可以是与计算机单元通信的屏幕显示器或投影仪。定位标记可以是静态(例如，不变的)的或动态的(例如，可变的)。计算机单元可以改变定位标记上的图案。改变图案可以改变UAV与定位标记的交互。可以用胶、树脂、磁体或硬件部件(例如，螺钉、紧固件、Velcro、铆钉、钉或卡扣)将定位标记粘附至表面。定位标记可以永久地或可移除地附着至表面。
在环境中，视觉标记可以是统一的。环境可以仅包含一种类型的视觉标记，其中视觉标记的类型可以是指视觉标记上的特定图案。视觉标记上的图案的差异可以是图案中形状类型、图案中形状数目、图案中形状颜色、图案中形状大小比例中的差异和/或者编码图案中的差异。在一些情况下，环境可以包含一种以上类型的视觉标记。环境中的不同视觉标记可以由不同的UAV所识别。UAV机载或机外的处理器可被配置用于在不同的视觉标记之间进行区分。在示例中，不同的UAV可以是具有不同任务、具有不同功能或属于不同公司的UAV。在一些实施方式中，UAV可被配置成仅识别并遵循一种类型的视觉标记。
例如，第一UAV可被配置成识别第一类型的视觉标记，而不识别第二类型的视觉标记。第二UAV可被配置成识别第二类型的视觉标记，而不识别第一类型的视觉标记。例如，第一视觉标记类型可以包括交替的黑色正方形和白色正方形。第二视觉标记类型可以包括交替的红色圆形和绿色圆形。第一UAV可以仅将黑色正方形和白色正方形图案识别为视觉标记，而忽略红色圆形和绿色圆形图案。类似地，第二UAV可以仅将红色圆形和绿色圆形图案识别为视觉标记，而忽略黑色正方形和白色正方形图案。
UAV可以识别静态图案。例如，UAV可以将静止图像识别为视觉标记。所述静止图像可以从第一静止图像变成第二静止图像。例如，可以将视觉标记实现为可以示出第一静止图像并继而变成第二静止图像的屏幕。在一些情况下，UAV可以将两个静止图像都识别为标记，或者不同的UAV可以将静止图像识别为标记(例如，第一UAV可以将第一静止图像识别为标记，而第二UAV可以将第二静止图像识别为标记)。在一些情况下，UAV可以识别可以改变的视觉标记。改变的实际变化或序列可以是允许UAV识别视觉标记之物的一部分。UAV可以识别视觉标记随时间推移的改变，以辨别所述视觉标记。例如，可以将视觉标记实现为可以示出视频序列的屏幕。
视觉标记可由UAV解译，以确定所述UAV在环境中的定位或位置。在全球定位系统(GPS)信号不可靠的情况下，可以使用视觉标记在环境中定位UAV。在示例中，GPS信号在室内环境和在远程位置中可能是不可靠的。UAV可以能够局部地或全局地在环境内确定其位置。局部位置可以是指相对于物体、地标或环境中已知定位的位置。在示例中，局部位置可以是环境的基本方向极限(例如，建筑物的北端)或者距物体或地标的上方距离以及角度(例如，方位角为30°、姿态为45°以及距地标的径向距离为10英尺)。备选地，UAV可以确定其在环境中的全局位置。全局位置可以是空间中的位置，例如经度和纬度。UAV可以在环境中进行监视。此外，视觉标记可以向UAV传达指令。指令可以是与UAV位置、UAV任务、UAV传感器、信息处理有关和/或与环境中的人、物体或载运工具的交互有关的命令。UAV可以在接收到命令之后的指定时间间隔内执行所述命令。UAV可以在行进与传达命令的标记距离指定距离之后执行所述命令。命令可以涉及控制UAV的运动。在示例中，指令可以是增加或减小高度、改变定向航向、降落在表面上、开启或关闭传感器、用传感器捕捉数据、向机外服务器或处理器传输传感器数据或者与环境中的另一载运工具或物体交互。指令可以引发来自UAV的响应。在示例中，响应可以是调整负载的位置、负载的调换、捕捉选定主体的图像、使UAV在特定的方向上以特定速度或加速度和/或高度飞行或前进或者使UAV飞上楼梯或飞下楼梯。切换负载的指令可以包括拾取负载、卸载负载和/或添加附加负载的指令。指令可以指定特定的位置以带来负载。在一些情况下，指令可以使提供于UAV机上的警报响起。
视觉标记可以由UAV机载的视觉传感器来检测。图4示出了UAV400机上可能存在的可能部件的框图。UAV 400可以具有一个或多个传感器401。所述一个或多个传感器可以包括视觉传感器，诸如单目相机。所述一个或多个传感器可以通过有线或无线连接而与处理器402电子通信或网络通信。所述处理器可被配置用于对传感器数据进行分析。分析可以包括使用传感器数据来确定或计算UAV的位置。UAV还可以包括机载存储器存储装置403。存储器存储装置可以通过有线或无线连接而与处理器和/或一个或多个传感器电子或网络通信。存储器存储装置可以具有关于环境的存储信息。所述关于环境的存储信息可以与全局坐标系中环境的地理位置、环境的布局、环境中一个或多个空间的尺寸、环境中的特征和/或环境中物体的位置和尺寸有关。在示例中，所述存储信息可以是蓝图、地图或平面图。所述存储信息还可以包括视觉标记的位置。标记的位置可以与蓝图、地图或平面图有关。存储在存储器存储装置上的信息可以周期性地更新或者当环境中发生改变时更新。存储在存储器存储装置上的信息可以由无线地或通过有线连接而与存储器存储装置通信的装置来更新。在备选实施方式中，可以从UAV机外的存储装置为UAV提供关于环境的信息。UAV 400还可以包括UAV机载的电源404，例如电池。UAV可被配置用于携带负载405，所述负载可以是附加传感器、货物或备用电池。可以旋转和平移负载405以实现相对于UAV 400的多个定向。
视觉传感器可以通过图案识别机构向UAV传达指令。图案识别可以由UAV上的处理器执行。所述处理器可被配置用于识别图案并且可以确定所述图案传达针对功能或动作的命令。在一些情况下，所述图案可以是QR码、AprilTag或条形码。图案可以包括任何形状、图像、图标、字母、符号、数字或图案。图案可以是一维图案、二维图案或三维图案。例如，图案可以包括脊或突起，其可以突出并且可由UAV识别。
UAV可以获知每个视觉标记或视觉标记带的位置。视觉标记的位置可以存储在UAV机上或机外的存储器装置中。每个视觉标记或视觉标记带可以具有唯一的位置。UAV可被配置用于定位特定的视觉标记以及获知所述视觉标记的位置。
UAV可被配置用于对所述定位标记上的一个多边形或多个多边形的顶点进行定位。图3示出了可以由UAV检测的顶点。UAV可以检测正方形或其他多边形的顶点，并计算视觉图案的尺寸。可以解译视觉图案的尺寸以确定UAV的位置。可以在三维坐标系中确定UAV的位置。所述三维坐标系可以是全局坐标系或者相对或局部坐标系。
UAV可以用相机来检测视觉图案并捕捉所述视觉图案的图像。UAV可以捕捉视觉图案的一部分或整个视觉图案的图像。UAV可以具有被配置用于处理视觉图案的图像的一个或多个处理器。所述一个或多个处理器可以在UAV机上或机外。处理器可以与一个或多个存储器存储装置通信。视觉图案的图像可以存储在存储器存储装置上。UAV可以使用所述一个或多个处理器来确定两个或更多个顶点之间的距离。UAV可以使用所述一个或多个处理器来确定一个或多个顶点之间的角度。顶点之间的距离和角度可以包括视觉标记的尺寸。视觉标记的尺寸可以用作输入，以计算UAV与标记的距离以及UAV相对于标记的角度。
UAV对视觉标记的尺寸感知可以是UAV相对于视觉标记的位置的函数。感知到的视觉标记的大小可以随着UAV与视觉标记之间的距离而变化。标记的大小可被描述为标记上的多边形的检测到的顶点之间的距离。基于相对于已知标记大小的标记表观大小，UAV可以确定其高度或其与标记的垂直距离。当UAV与标记的垂直距离相对较大时，标记可能显得小于其实际尺寸。图5中示出了作为UAV垂直位置(高度)的函数的、标记的视觉感知的改变的示例。在第一位置501上，UAV垂直地相对远离于视觉标记。UAV可以垂直地接近视觉标记，使得在第二位置502上视觉标记显得相对较大。表观标记大小中的改变作为与标记的垂直距离的函数可以是已知的，并且可以存储在UAV机上或机外的存储器存储装置中。表观标记大小中的改变作为与标记的垂直距离的函数可以通过校准或者通过已知的数学关系来确定。
UAV可以检测标记形状中的畸变作为从所述标记的偏移或者从所述标记的水平位移的函数。可以测量畸变作为标记多边形的检测到的顶点的坐标之间的角度差异。在所述多边形是正方形的情况下，UAV可以预期正方形具有相对于彼此成90°角的四个顶点。当UAV从包含正方形或其他多边形的标记偏移时，顶点之间的角度可能出现畸变。在UAV从包含正方形的标记偏移的情况下，正方形的形状可能畸变而使得其对于UAV显现为菱形。类似的畸变可发生在其他形状中。图6中描述了所述畸变检测的示例，UAV可以水平地接近标记。顶点的角度可以作为与标记的水平距离的函数而变化。当UAV距标记某一距离时，顶点之间的角度可能畸变。在第一种情况601中，当UAV远离标记一水平距离时，顶点之间的角度对于UAV可能显得缩短。当UAV水平地接近标记使得UAV处于标记的正上方时，顶点之间的角度可伸长至真正的无畸变角度602。
可以分析视觉标记的感知到的畸变以确定UAV相对于所述标记的水平和垂直位置。基于视觉标记，一个或多个处理器可以确定UAV在三维坐标系中的位置或定位。在UAV飞行时，所述一个或多个处理器可以基于视觉标记确定UAV在三维坐标系中的位置或定位。在三维空间中的标记位置可以是已知的，因此确定UAV相对于标记的位置可以导致对UAV在三维空间中的位置的确定。
雷达或红外检测器也可以辅助确定UAV在三维空间中的位置。在雷达检测的情况下，UAV可以发出雷达信号或者标记可以发出雷达信号。UAV可以解译发出的或反射的雷达信号，以确定其与表面或障碍物之间的距离。UAV可以使用对表面或障碍物的检测并对比于存储的平面图或蓝图以确定UAV在环境中的位置。类似地，UAV可以包括红外检测器来检测环境中的表面或障碍物。UAV可以将检测到的障碍物和/或表面与已知的环境布局相对比，以确定其在环境中的位置。
UAV在三维空间中的位置可以是全局或局部三维空间中的位置。UAV可以使用UAV机载的视觉传感器来捕捉视觉标记的图像。UAV机载的视觉传感器可以是用于环境监视的视觉传感器，或者视觉传感器可以是被配置用于检测视觉标记的单独的视觉传感器。视觉传感器可以是单目相机、立体视觉相机、雷达、声呐或红外相机。在一些情况下，视觉传感器可以捕捉图像。图像可以存储在UAV机载或机外的存储器存储装置上。视觉传感器图像可以由UAV机载或机外的处理器来分析。所述处理器可以分析视觉传感器图像以确定视觉传感器的外部特性。在视觉传感器为相机的情况下，相机的外部特性可以是所述相机相对于视觉标记的旋转(R)和所述相机相对于视觉标记的位置(t)。可以使用N-点透视(n点透视)算法来计算外部特性，所述算法可以基于从三维点到二维点的对应关系来求解相机的位置。在这种情况下，三维点可以是视觉标记顶点的已知位置。二维点可以是一个或多个相机图像中对应于视觉标记的顶点的点。相机图像可以表示三维视觉标记的二维投影。所述算法还可以包括对应于相机的固有特性的变量。固有特性(K)可以是特定于相机设计或部件的参数。固有特性可以改变或漂移，并且可以在UAV的监视任务开始之前被预校准或重新校准。相机的固有特性可以是焦距、主点和/或镜头畸变。用下列方程使得图像顶点在三维空间中的已知位置(Xi)与相机图像中的顶点位置(xi)之间的误差最小化，可以求解由R和t定义的相机位置作为三维点、二维点以及相机固有特性(K)的函数，
Figure BDA0002904672890000271
n点透视算法可以确定UAV机载的相机或其他视觉传感器的位置。UAV机载的相机相对于UAV的质心和/或相对于UAV机载的其他传感器或部件的位置可以是已知的。相机相对于UAV机载的其他部件或传感器的位置可以与相机的已确定位置相组合，以确定UAV机载的部件或传感器的位置。
基于对UAV机载的相机的确定对UAV位置的确定可以用于避障。视觉标记可以粘附至障碍物，例如，墙壁、柱、门或其他物体。UAV可以自动识别障碍物，或者视觉标记可以具有特定图案，所述特定图案向UAV传达视觉标记被粘附至障碍物。UAV可以捕捉并分析视觉标记，以确定与障碍物的距离。响应于确定的距离，UAV可以调整其航向和/或高度以避开检测到的障碍物。UAV可以在其接近障碍物时收集一系列图像，以确定当其改变其航向和/或高度时所述UAV与障碍物之间的相对位置的改变。图7中示出了用视觉标记进行障碍物检测和避障事件的示例。在第一位置701上，UAV 703可以检测到视觉标记704。视觉标记704可以具有可向UAV 703指示出视觉标记704被粘附至障碍物705的图案。UAV可以捕捉视觉标记的图像，并且可以分析所述图像以确定UAV相对于视觉标记位置的位置。UAV可以调整其位置以达到第二位置702。在调整位置之后，UAV 703可以捕捉视觉标记704的第二图像，以确定新位置并证实所述新位置将会避开与障碍物705的碰撞或相互作用。在第二位置不足以避开障碍物的情况下，UAV可以再次改变位置并且捕捉另一图像，以确认UAV处于避开障碍物的轨迹上。可以重复捕捉图像并确定UAV位置的过程，直到成功地避开障碍物。
在备选实施方式中，UAV可以自动地检测和避开障碍物。UAV可以使用诸如单目相机、立体视觉相机、雷达、声呐或红外相机等视觉传感器来检测障碍物。UAV机载或机外的处理器可被配置用于解译来自图像传感器的数据以便检测障碍物。UAV可以自动地调整其路线，以避开检测到的障碍物。在一些情况下，UAV可以具有对障碍物位置的先验知识。在一些情况下，这些障碍物可能是永久建筑物特征，诸如墙壁、梁或柱。UAV可以从存储在UAV机载或机外的存储器存储装置上的环境地图或平面图知晓这些永久建筑物特征。UAV可以自动地调整其路线以避开可能是障碍物的永久建筑物特征。UAV可以遵循视觉标记的连续带或者一系列连续的离散视觉标记。当遵循视觉标记时，UAV可能遇到障碍物。通过重新制定UAV路径绕开障碍物并继而返回至视觉标记的路径，UAV可以避开所述障碍物。在一些情况下，视觉标记可以通知UAV障碍物正在阻碍沿着视觉标记带或一系列视觉标记的路径，视觉标记可以指令所述UAV移动以避开障碍物并沿着所述路径继续。
UAV可以检测环境中的视觉标记。所述环境可具有其他物体和图案，UAV可以将其与所述标记相区分。UAV可被配置用于排除误检事件。当UAV检测到具有与UAV可能感兴趣的视觉标记相似的视觉结构的图案或物体时，可能发生误检事件。UAV可被配置用于分析检测到的图案或物体，以确定它是感兴趣的视觉标记还是被错误辨别的假视觉标记。在环境中，UAV可以尝试通过扫描环境中具有预期视觉标记的颜色和/或形状的区域来辨别视觉标记。扫描预期形状和颜色图案或其组合的方法可以产生一组检测区域。UAV可以进一步分析检测到的区域以排除误检事件。图8示出了环境中的UAV 801的示例。UAV 801被配置用于识别视觉标记，所述视觉标记包括具有给定的一种或多种颜色的一组形状(例如，正方形)的重复图案。UAV可以即时检测一组可能的视觉标记802、803和804。UAV可以进一步分析检测到的可能的视觉标记802、803和804以排除误检事件。所述进一步分析可以包括处理视觉标记的确切颜色、图案、形状和/或所述标记中相对形状的一个或多个大小。通过进一步分析，UAV可以确定802和804不是感兴趣的视觉标记并因此表示误检事件。
当UAV检测视觉标记时，UAV可以基于所述视觉标记的一个或多个图像来确定其位置，和/或接收由所述视觉标记编码的指令。所述指令可以引发由UAV进行的导航响应。视觉标记可以包括可由UAV辨别的差别图案。当UAV飞行时，所述UAV可以检测具有视觉差别图案的视觉标记并且可以使用视觉传感器来捕捉所述视觉标记的图像。视觉图案的图像可以由UAV机载或机外的处理器来解译。所述处理器可以从多个可能的视觉图案中区分和辨别视觉图案，并且确定所辨别出的视觉图案引发了与多个其他可能的视觉图案所引发的响应不同的来自UAV的响应。处理器可以发起由检测到的视觉图案引发的响应。
包括差别图案的视觉标记可以具有与没有差别图案的视觉标记相似的元素。除了具有可以将命令或一条信息传达给UAV的图案之外，包括差别图案的视觉标记还可以具有处于重复图案中的彩色形状。UAV可以知晓包括差别图案的视觉标记在环境中的位置。在一些情况下，差别图案可以是Apriltag、QR码或条形码。图9示出了具有差别图案的视觉标记的示例。UAV可以将包括差别图案的视觉标记与看起来类似于包括差别图案的视觉标记的标志加以区分，以避免误检事件。
差别图案可以指令UAV执行任务或者执行导航响应。任务或导航响应可以是沿着从一个地点到另一地点的路径行进、移动传感器、改变UAV的姿态、以指定的或特定的方向飞行、飞上楼梯或飞下楼梯、调整负载的位置、根据预设的飞行命令飞行、开启或关闭传感器、以指定方向引导传感器或者捕捉物体。指令可以包括UAV在执行所述任务或导航响应之前应当等待的指定时间间隔。指令可以包括UAV在执行所述任务或导航响应之前应当距视觉标记的预定距离。差别图案可以指令UAV遵循沿着路径的视觉标记带或者沿着路径的一系列离散的视觉标记。当UAV遵循沿着路径的带或一系列离散的视觉标记时，差别图案可以指令所述UAV距所述带指定的距离。所述路径可以是在室内、室外或者同时在室内和室外环境中。图10示出了可由UAV 1002遵循的视觉标记带1001的示例。视觉标记带1001可以粘附于表面上，以使得UAV 1002可以遵循带1001而不碰撞或遇到障碍物。UAV可被配置成在遵循标记时保持处于距视觉标记附着距离。在示例中，所述附着距离可以是至少1cm、5cm、10cm、20cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm或100cm。UAV可以在遵循视觉标记时相对于所述视觉标记保持处于附着定向。例如，UAV可以保持在与视觉标记齐平的高度上(例如，大约90度)。备选地，UAV可以按预定的度数或在预定的度数范围内(例如，在30度-60度内)在视觉标记下方或视觉标记上方飞行。UAV可以在其遵循标记时通过分析视觉标记1001的图像而连续地确定其位置，以检测并避开由视觉传感器检测到的障碍物或者从环境地图知晓的障碍物。在图10中所示的情况下，视觉标记带1001可以引导UAV 1002上楼梯。在另一情况下，差别图案可以通过指令UAV在指定的方向和距离上移动而指令UAV遵循路径。差别图案可以指令UAV在三维空间中以一角度移动。差别图案可以指令UAV移动指定距离。通过可位于UAV机上或机外的速度和时间传感器的分析，UAV可以计算行进的距离。图11示出了示例，其中包括差别图案的所述一个或多个视觉标记通过向UAV提供在离散方向和距离上移动的指令来指令UAV沿着路径移动。在图11中，UAV 1101可以检测具有差别图案1102的第一视觉标记。差别图案1102可以指令UAV向上和向右移动指定距离1103。由UAV检测到的具有差别图案1104的下一视觉标记可以指令UAV 1101以30°角向上移动1105。由UAV检测到的具有差别图案1106的下一视觉标记可以指令UAV 1101水平地移动指定的距离1107。
在另一示例中，差别图案可以通知UAV关于环境的布局。差别图案可以通知UAV在环境中存在特征。特征可以是开口、过道、角落、障碍物、斜坡、斜面或物体。在图12中所示的示例中，具有差别图案1201的视觉标记可以通知UAV 1202环境具有诸如过道开口1203等特征。
差别图案可以指令UAV执行监视任务。监视任务可以涉及移动传感器以捕捉关于感兴趣的主体的数据。在图13中所示的示例中，在第一位置1301上，UAV 1302可以具有用于在环境中收集监视数据的传感器，例如，被配置用于在环境中收集监视数据的相机1303，所述相机具有被引导远离感兴趣主体1305的视野1304。UAV 1302可以使用被配置用于检测视觉标记的第一视觉传感器来检测具有差别图案1306的视觉标记。差别图案1306可以指令UAV 1302将相机1303移动或旋转至第二位置1302，以使得相机的视野1304包含感兴趣的主体1305。差别图案还可以指令UAV对感兴趣的主体1305执行特定的监视任务。监视任务可以包括从一个或多个传感器收集关于感兴趣的主体1305的数据并且存储或传输所述数据至机外计算机系统。
UAV可以用于对环境的监视。例如，UAV可以巡逻环境。当执行对环境的监视时，UAV可以使用一个或多个传感器来收集关于环境的信息。UAV可以遵循用于巡逻环境的预定或常规路径。备选地，UAV可以遵循随机的飞行路径。UAV可以检测和/或跟随感兴趣的主体，诸如人、动物或载运工具。UAV可以响应于在环境内的一个或多个检测到的事件并进行进一步调查。
如前文所讨论，UAV可以通过在环境内收集一个或多个图像来巡逻所述环境。UAV可以将收集到的图像发送至外部装置。可以在UAV机外发送所述图像。在一些情况下，图像可以存储在UAV机外的一个或多个存储器单元中。图像可以显示在远离UAV的显示装置上。例如，安全监视器可以示出从UAV流传输的图像。人类查看者可以查看来自巡逻所述区域的UAV的即时馈送。
在一些实施方式中，所述环境可以是室内环境。室内环境可以包括建筑物或建筑物群的内部。室内环境可以包括多层建筑物。UAV可以通过沿一层或多层楼梯上行或下行或者直接飞上或飞下楼梯井来穿越多层建筑物。UAV还可以能够通过使用电梯或者飞上或飞下电梯井来穿越多层建筑物。UAV还可以能够通过从一个楼层上的窗户离开并经过另一楼层上的窗户进入来穿越多层建筑物。室内建筑物的一些示例可以包括住宅、办公建筑物、购物商场、医院、学校或任何其他类型的建筑物。UAV可以用于巡逻所述环境。
如本文所描述的视觉标记可以辅助UAV巡逻环境。视觉标记可以在环境内定向UAV。UAV可以能够确定相对于环境的各个部分的UAV位置。例如，UAV可以能够确定所述UAV在哪个楼层上。UAV还可以能够告知其在哪个房间或走廊中。UAV可以能够确定其定向(例如，相对于基本方向或其他类型的方向)。UAV可以能够确定其相对于环境的其他房间或走廊的位置。UAV可以能够确定其局部或全局坐标。UAV可以能够将其坐标确定至大约50m、30m、20m、15m、10m、7m、5m、3m、2m、1.5m、1m、50cm、30cm、10cm、5cm或1cm内的准确度水平。
视觉标记可以可选地向UAV提供用于在环境内导航的指令。例如，视觉标记可以分布于环境内。多个视觉标记可以分布在整个环境中。可以将视觉标记定位成使得其处于彼此的视线内，或者可以不如此定位。在巡逻期间，UAV可能遇到第一视觉标记。UAV可以辨别并响应于使用视觉标记所显示的指令。如本文别处所描述，所述指令可以被编码到视觉标记的视觉图案中。第一视觉标记可以引导UAV以将会把UAV带至第二视觉标记的某种方式飞行。当UAV到达第二视觉标记时，所述UAV可以辨别并响应于第二视觉标记中的指令。第二视觉标记可以引导UAV以将会把UAV带至第三视觉标记的某种方式飞行，并依此类推。这可以为UAV提供点到点导航。在一些情况下，点到点导航可以引导UAV在环境内循环，以定期地巡逻环境。在一些情况下，点到点导航可以允许UAV确定其相对于视觉标记的位置。UAV可以确定其到标记的相对位置，而不必确定其全局位置(例如，全局坐标)。UAV可以能够巡逻一区域而不计算或确定其全局位置。
在一些情况下，视觉标记可以改变，或者与视觉标记相关联的飞行指令可以改变。例如，可以在屏幕上显示视觉标记，所述屏幕可以动态地改变视觉标记。在另一情况下，视觉标记可以是静态的，但是可以将与视觉标记相关联的新飞行指令与所述视觉标记相关联。可以将新飞行指令下载至UAV。在一些情况下，UAV可以具有与特定的视觉标记相关联的多组飞行指令，并且可以根据其他参数来选择关联的飞行指令。例如，UAV可以随机地、基于由UAV的时钟指示出的时间(例如，如果时间在下午3点与下午6点之间，则UAV将会遵循第一组指令，而在下午6点与午夜之间，则UAV将会遵循第二组指令)、基于感测到的环境条件(例如，基于温度、光量、检测到的运动、检测到的声音)或者任何其他因素从与视觉标记相关联的多个飞行指令中选择一组飞行指令。不同组的飞行路径可以引导UAV到达相同的视觉标记或不同的视觉标记。例如，在第一情景中，可以经由第一飞行路径将UAV从第一视觉标记引导至第二视觉标记。在第二情景中，可以经由第二飞行路径将UAV从第一视觉标记引导至第二视觉标记。备选地，在所述第二情景中，可以将UAV从第一视觉标记引导至第三视觉标记。这可以允许UAV根据不同的飞行指令遵循不同的飞行路径。这可以向UAV巡逻路径提供一些改变或不可预测性，所述改变或不可预测性可以在一些情况下提供提高的巡逻效能。这还可以允许UAV巡逻路径以可以适应不同检测到的情景的方式改变。
使用用于点到点导航的视觉标记可以允许UAV以不需要来自远程用户的输入的方式执行监视或巡逻。UAV可以能够使用视觉标记在环境中飞行导航而不接收来自外部装置(例如，遥控器、卫星、塔、路由器)的任何信号。UAV机载的传感器(诸如视觉传感器)可以检测足够的信息来允许UAV导航。
如前文所讨论，可以将各种类型的指令视觉编码到视觉标记中。可以将飞行指令编码到视觉标记中或者将其与视觉标记相关联。可以包括其他指令，诸如关于传感器的操作或移动的指令、为UAV充电的指令或者关于待传输的数据的指令。关于传感器的指令的示例可以包括用于操作载体的指令，所述载体可以使传感器移动。视觉标记可以使UAV关于一个、两个、三个或更多个轴来重新定向传感器(诸如相机)。视觉标记可以直接控制传感器(例如，开启传感器、关闭传感器、变焦、改变传感器模式)。这可以辅助UAV安全巡逻，并且允许UAV使用一个或多个传感器执行数据收集而无需来自外部源或装置的指令。可以单独地或者与来自单个视觉标记的飞行指令相组合地提供传感器指令或其他指令。
借助于所述视觉标记，UAV可以能够自主地或半自主地巡逻环境。UAV可以能够自主地巡逻环境而无需人类干预。视觉标记可以辅助UAV在环境中导航而无需来自人类操作者的输入。UAV可以确定如何飞行而无需人类手动引导UAV的飞行。视觉标记可以允许UAV对其自身进行定向而不使用GPS或需要外部通信的其他位置传感器。UAV可以能够在环境内对其自身进行定向而无需与外部装置的任何通信。UAV可以能够在环境内飞行而无需与外部装置的通信。UAV可以能够在进行环境监视而无需与外部装置的通信。
在一些实施方式中，人类操作者可以经由遥控器与UAV通信，或者可以不进行通信。在一些实施方式中，UAV可以自主地操作而不经由遥控器接收来自人类的任何输入。在一些情况下，人类可以能够使用遥控器来进行干预。例如，如果人类通过由UAV捕捉到的即时馈送目击一事件，则所述人类可以能够使用遥控器来进行干预。在不存在人类干预时，UAV可以能够在没有来自人类操作者的输入的情况下继续其巡逻。
本文所描述的系统、装置和方法可以适用于众多可移动物体。如前文所提及，本文对飞行器(诸如UAV)的任何描述均可适用于和用于任何可移动物体。本文对飞行器的任何描述均可具体适用于UAV。本发明的可移动物体可被配置用于在任何合适的环境内移动，诸如在空中(例如，附着翼航空器、旋转翼航空器或者既不具有附着翼也不具有旋转翼的航空器)、在水中(例如，船舶或潜艇)、在地面上(例如，机动车，诸如轿车、卡车、公交车、厢式货车、摩托车、自行车；可移动结构或框架，诸如棒、钓鱼竿；或者火车)、在地下(例如，地铁)、在太空(例如，太空飞机、卫星或探测器)或者这些环境的任何组合。可移动物体可以是载运工具，诸如本文别处所描述的载运工具。在一些实施方式中，可移动物体可以由诸如人类或动物等活体所携带，或者从活体起飞。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚、啮齿类或昆虫。
可移动物体可以能够在所述环境内关于六个自由度(例如，三个平移自由度和三个旋转自由度)自由移动。备选地，可移动物体的移动可能关于一个或多个自由度受到约束，诸如由预定路径、轨迹或定向所约束。所述移动可以由诸如引擎或马达等任何合适的致动机构所致动。可移动物体的致动机构可以由任何合适的能源提供动力，所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。可移动物体可以如本文别处所述经由动力系统自推进。所述动力系统可以可选地依靠能源运行，所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。备选地，可移动物体可以由生物所携带。
在一些情况下，所述可移动物体可以是飞行器。例如，飞行器可以是附着翼航空器(例如，飞机、滑翔机)、旋转翼航空器(例如，直升机、旋翼飞机)、同时具有附着翼和旋转翼的航空器或者既无附着翼又无旋转翼的航空器(例如，飞艇、热气球)。飞行器可以是自推进式，诸如在空中自推进。自推进式飞行器可以利用动力系统，诸如包括一个或多个引擎、马达、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的动力系统。在一些情况下，动力系统可以用于使可移动物体能够从表面起飞、降落到表面上、维持其当前位置和/或定向(例如，悬停)、改变定向和/或改变位置。
可移动物体可以由用户遥控或者由可移动物体之内或之上的乘员在本地控制。可移动物体可以经由单独的载运工具内的乘员来遥控。在一些实施方式中，可移动物体是无人可移动物体，诸如UAV。无人可移动物体，诸如UAV，可以不具有乘员在所述可移动物体上。可移动物体可以由人类或自主控制系统(例如，计算机控制系统)或者其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器人，诸如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中，可移动物体可以具有使人类乘员身处载运工具之内或之上的大小和/或尺寸。备选地，可移动物体可以具有比能够使人类乘员身处载运工具之内或之上的大小和/或尺寸更小的大小/或尺寸。可移动物体可以具有适合于由人类搬运或携带的大小和/或尺寸。备选地，可移动物体可以大于适合由人类搬运或携带的大小和/或尺寸。在一些情况下，可移动物体可以具有的最大尺寸(例如，长度、宽度、高度、直径、对角线)小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。所述最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。备选地，相对旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中，可移动物体可以具有小于100cm x 100cm x 100cm、小于50cmx 50cm x 30cm或小于5cm x 5cm x 3cm的体积。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施方式中，可移动物体可以具有的占地面积(这可以指由所述可移动物体所包围的横截面面积)小于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地，所述占地面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情况下，可移动物体可以为不超过1000kg重。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地，所述重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中，可移动物体相对于所述可移动物体所携带的负荷可以较小。如本文别处进一步详述，所述负荷可以包括负载和/或载体。在一些示例中，可移动物体重量与负荷重量之比可以大于、小于或等于约1:1。在一些情况下，可移动物体重量与负荷重量之比可以大于、小于或等于约1:1。可选地，载体重量与负荷重量之比可以大于、小于或等于约1:1。当需要时，可移动物体重量与负荷重量之比可以小于或等于：1:2、1:3、1:4、1:5、1:10或者甚至更小。相反地，可移动物体重量与负荷重量之比还可以大于或等于：2:1、3:1、4:1、5:1、10:1或者甚至更大。
在一些实施方式中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情况下，可移动物体的载体可以具有低能耗。例如，所述载体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的负载可以具有低能耗，诸如小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。
图14图示了根据本发明的实施方式的无人飞行器(UAV)1400。所述UAV可以是本文所述的可移动物体的示例。UAV 1400可以包括具有四个旋翼1402、1404、1406和1408的动力系统。可以提供任何数目的旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)。无人飞行器的旋翼、旋翼组件或其他动力系统可使所述无人飞行器能够悬停/维持位置、改变定向和/或改变位置。相对旋翼的轴之间的距离可以是任何合适的长度1410。例如，长度1410可以小于或等于2m，或者小于或等于5m。在一些实施方式中，长度1410可以在从40cm到1m、从10cm到2m或者从5cm到5m的范围内。本文对UAV的任何描述均可适用于可移动物体，诸如不同类型的可移动物体，并且反之亦然。UAV可以使用如本文所描述的辅助起飞系统或方法。
在一些实施方式中，可移动物体可以被配置用于携带负荷。所述负荷可以包括乘客、货物、器材、仪器等之中的一种或多种。所述负荷可以提供在外壳内。所述外壳可以与可移动物体的外壳相分离，或者是可移动物体的外壳的一部分。备选地，负荷可以具备外壳，而可移动物体不具有外壳。备选地，负荷的部分或者整个负荷可以在不具有外壳的情况下提供。负荷相对于所述可移动物体可以刚性附着。可选地，负荷相对于可移动物体可以是可移动的(例如，相对于可移动物体可平移或可旋转)。如本文别处所描述，所述负荷可以包括负载和/或载体。
在一些实施方式中，可移动物体、载体和负载相对于附着参考系(例如，周围环境)和/或相对于彼此的移动可以由终端来控制。所述终端可以是处于远离所述可移动物体、载体和/或负载的位置处的遥控装置。终端可以安置于支撑平台上或者附着至支撑平台。备选地，终端可以是手持式或可穿戴式装置。例如，终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或者其合适的组合。终端可以包括用户接口，诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互，诸如手动输入命令、语音控制、手势控制或位置控制(例如，经由终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或负载的任何合适的状态。例如，终端可以用于控制可移动物体、载体和/或负载相对于附着参考物从和/或相对于彼此的位置和/或定向。在一些实施方式中，终端可以用于控制可移动物体、载体和/或负载的单独元件，诸如载体的致动组件、负载的传感器或者负载的发射体。终端可以包括适于与可移动物体、载体或负载中的一个或多个通信的无线通信装置。
终端可以包括用于查看可移动物体、载体和/或负载的信息的合适的显示单元。例如，终端可被配置用于显示可移动物体、载体和/或负载关于位置、平移速度、平移加速度、定向、角速度、角加速度或其任何合适的组合的信息。在一些实施方式中，终端可以显示由负载提供的信息，诸如由功能性负载提供的数据(例如，由相机或其他图像捕捉装置记录的图像)。
可选地，同一终端可以同时控制可移动物体、载体和/或负载或者所述可移动物体、载体和/或负载的状态，以及接收和/或显示来自所述可移动物体、载体和/或负载的信息。例如，终端可以控制负载相对于环境的定位，同时显示由负载捕捉的图像数据，或者关于负载的位置的信息。备选地，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或负载的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或负载的信息。例如，第一终端可以用于控制负载相对于环境的定位，而第二终端显示由所述负载捕捉的图像数据。可以在可移动物体与同时控制所述可移动物体并接收数据的集成式终端之间或者在可移动物体与同时控制所述可移动物体并接收数据的多个终端之间利用各种通信模式。例如，可以在可移动物体与同时控制所述可移动物体并接收来自所述可移动物体的数据的终端之间形成至少两种不同的通信模式。
图15图示了根据实施方式的包括载体1502和负载1504的可移动物体1500。虽然可移动物体1500被描绘为航空器，但此描绘并不旨在成为限制性的，并且如本文前文所述可以使用任何合适类型的可移动物体。本领域技术人员将会理解，本文在航空器系统的情景下描述的实施方式中的任一均可适用于任何合适的可移动物体(例如，UAV)。在一些情况下，可以在可移动物体1500上提供负载1504而无需载体1502。可移动物体1500可以包括动力机构1506、感测系统1508和通信系统1510。
如前文所述，动力机构1506可以包括旋翼、螺旋桨、桨叶、引擎、马达、轮子、轮轴、磁体或喷嘴中的一种或多种。可移动物体可以具有一个或多个、两个或更多个、三个或更多个或者四个或更多个动力机构。动力机构可以全都是同一类型。备选地，一个或多个动力机构可以是不同类型的动力机构。动力机构1506可以使用任何合适的手段安装在可移动物体1500上，诸如为本文别处所述的支撑元件(例如，驱动轴)。动力机构1506可以安装在可移动物体1500的任何合适的部分上，诸如顶部、底部、前面、后面、侧面或其合适的组合。
在一些实施方式中，动力机构1506可以使得可移动物体1500能够从表面垂直地起飞或者垂直地降落在表面上而无需可移动物体1500的任何水平移动(例如，无需沿着跑道行进)。可选地，动力机构1506可以可操作地允许可移动物体1500以指定位置和/或定向悬停于空中。动力机构1500中的一个或多个可以独立于其他动力机构得到控制。备选地，动力机构1500可被配置成同时受到控制。例如，可移动物体1500可以具有多个水平定向的旋翼，所述旋翼可以向所述可移动物体提供升力和/或推力。可以致动所述多个水平定向的旋翼以向可移动物体1400提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中，所述水平定向的旋翼中的一个或多个可以在顺时针方向上旋转，同时所述水平旋翼中的一个或多个可以在逆时针方向上旋转。例如，顺时针旋翼的数目可以等于逆时针旋翼的数目。水平定向的旋翼中每个的旋转速率可独立地改变，以便控制由每个旋翼产生的升力和/或推力，并从而调整可移动物体1500的空间布局、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。
感测系统1508可以包括一个或多个传感器，所述传感器可以感测可移动物体1500的空间布局、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、接近度传感器或图像传感器。由感测系统1508提供的感测数据可以用于控制可移动物体1500的空间布局、速度和/或定向(例如，使用合适的处理单元和/或控制模块，如下文所述)。备选地，感测系统1508可以用于提供关于可移动物体周围环境的数据，诸如气象条件、至潜在障碍物的接近度、地理特征的位置、人造结构的位置等。
通信系统1510支持经由无线信号1516与具有通信系统1514的终端1512的通信。通信系统1510、通信系统1514可以包括任何数目的适合于无线通信的发射器、接收器和/或收发器。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体1500向终端1512传输数据，或者反之亦然。数据可以从通信系统1510的一个或多个发射器传输至通信系统1512的一个或多个接收器，或者反之亦然。备选地，所述通信可以是双向通信，使得数据在可移动物体1500与终端1512之间的两个方向上均可传输。双向通信可以涉及从通信系统1510的一个或多个发射器向通信系统1514的一个或多个接收器传输数据，并且反之亦然。
在一些实施方式中，终端1512可以向可移动物体1500、载体1502和负载1504中的一个或多个提供控制数据，以及从可移动物体1500、载体1502和负载1504中的一个或多个接收信息(例如，可移动物体、载体或负载的位置和/或运动信息；由负载感测的数据，诸如由负载相机捕捉的图像数据)。在一些情况下，来自终端的控制数据可以包括针对可移动物体、载体和/或负载的相对位置、移动、致动或控制的指令。例如，控制数据可以导致可移动物体的位置和/或定向的修改(例如，经由动力机构1506的控制)，或者负载相对于可移动物体的移动(例如，经由载体1502的控制)。来自终端的控制数据可以导致对负载的控制，诸如对相机或其他图像捕捉装置的操作的控制(例如，拍摄静止或移动图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变视角或视野)。在一些情况下，来自可移动物体、载体和/或负载的通信可以包括来自(例如，感测系统1508的或负载1504的)一个或多个传感器的信息。所述通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、接近度传感器或图像传感器)的感测到的信息。这样的信息可以关于可移动物体、载体和/或负载的定位(例如，位置、定向)、移动或加速度。来自负载的这样的信息可以包括由所述负载捕捉的数据或所述负载的感测到的状态。由终端1512提供并传输的控制数据可被配置用于控制可移动物体1500、载体1502或负载1504中的一个或多个的状态。备选地或组合地，载体1502和负载1504还可以每个包括通信模块，所述通信模块被配置用于与终端1512通信，以使得所述终端可独立地与可移动物体1500、载体1502和负载1504中的每一个通信和对其加以控制。
在一些实施方式中，可移动物体1500可被配置用于与除终端1512以外或代替终端1512的另一远程装置通信。终端1512也可被配置用于与另一远程装置以及可移动物体1500通信。例如，可移动物体1500和/或终端1512可以与另一可移动物体或者另一可移动物体的载体或负载通信。当需要时，所述远程装置可以是第二终端或其他计算装置(例如，计算机、膝上型计算机、平板计算机、智能电话或其他移动装置)。远程装置可被配置用于向可移动物体1500传输数据、从可移动物体1500接收数据、向终端1512传输数据和/或从终端1512接收数据。可选地，远程装置可以连接至因特网或其他电信网络，以使得从可移动物体1500和/或终端1512接收的数据可被上传至网站或服务器。
图16是根据实施方式的用于控制可移动物体的系统1600的通过框图来说明的示意图。系统1600可以与本文所公开的系统、装置和方法的任何合适的实施方式组合使用。系统1600可以包括感测模块1602、处理单元1604、非暂时性计算机可读介质1606、控制模块1608和通信模块1610。
感测模块1602可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或者来自不同来源的信号。例如，所述传感器可以包括惯性传感器、GPS传感器、接近度传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块1602可以可操作地耦合至具有多个处理器的处理单元1604。在一些实施方式中，感测模块可以可操作地耦合至传输模块1612(例如，Wi-Fi图像传输模块)，所述传输模块被配置用于向合适的外部装置或系统直接传输感测数据。例如，传输模块1612可以用于向远程终端传输由感测模块1602的相机捕捉的图像。
处理单元1604可以具有一个或多个处理器，诸如可编程处理器(例如，中央处理单元(CPU))。处理单元1604可以可操作地耦合至非暂时性计算机可读介质1606。非暂时性计算机可读介质1606可以存储可由处理单元1604执行的逻辑、代码和/或程序指令，用以执行一个或多个步骤。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储装置，诸如SD卡或随机存取存储器(RAM))。在一些实施方式中，来自感测模块1602的数据可直接传送至并存储于非暂时性计算机可读介质1606的存储器单元内。非暂时性计算机可读介质1606的存储器单元可以存储可由处理单元1604执行的逻辑、代码和/或程序指令，用以执行本文所描述的方法的任何合适的实施方式。例如，处理单元1604可被配置用于执行指令，从而使处理单元1604的一个或多个处理器分析由感测模块产生的感测数据。存储器单元可以存储待由处理单元1604处理的来自感测模块的感测数据。在一些实施方式中，非暂时性计算机可读介质1606的存储器单元可以用于存储由处理单元1604产生的处理结果。
在一些实施方式中，处理单元1604可以可操作地耦合至控制模块1608，所述控制模块1608被配置用于控制可移动物体的状态。例如，控制模块1608可被配置用于控制可移动物体的动力机构以调整可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合地，控制模块1608可以控制载体、负载或感测模块中的一个或多个的状态。
处理单元1604可以可操作地耦合至通信模块1510，所述通信模块被配置用于传输和/或接收来自一个或多个外部装置(例如，终端、显示装置或其他遥控器)的数据。可以使用任何合适的通信手段，诸如有线通信或无线通信。例如，通信模块1610可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等之中的一种或多种。可选地，可以使用中继站，诸如塔、卫星或移动台。无线通信可以依赖于接近度或独立于接近度。在一些实施方式中，通信可能需要或者可能不需要视线。通信模块1610可以传输和/或接收来自感测模块1602的感测数据、由处理单元1604产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等之中的一个或多个。
系统1600的部件可以按任何合适的配置来布置。例如，系统1600的部件中的一个或多个可以位于可移动物体、载体、负载、终端、感测系统或与上述的一个或多个通信的附加外部装置上。此外，虽然图16描绘了单一处理单元1604和单一非暂时性计算机可读介质1606，但本领域技术人员将会理解，这并不旨在成为限制性的，并且系统1600可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施方式中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，诸如在可移动物体、载体、负载、终端、感测模块、与上述的一个或多个通信的附加外部装置上或其合适的组合上，以使得由系统1600执行的处理和/或存储器功能的任何合适的方面可以发生于上述位置中的一个或多个处。
虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员明显的是，这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多变化、改变和替代。应当理解，在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种备选方案。所附权利要求旨在限定本发明的范围，并因此覆盖这些权利要求及其等效项的范围内的方法和结构。

Claims (23)

1.一种在环境内定位无人飞行器(UAV)的方法，所述方法包括：
在所述环境内提供多个视觉标记，其中所述环境内的所述视觉标记中的每一个具有对于所述环境是唯一的视觉图案；
在所述UAV在所述环境内飞行的同时，借助于所述UAV的一个或多个视觉传感器来捕捉包括检测到的视觉标记的图像，所检测到的视觉标记具有从所述多个视觉标记辨别出的视觉图案；
借助于一个或多个处理器，由所述UAV实现对具有所辨别出的视觉图案的所述所检测到的视觉标记的导航响应。
2.根据权利要求1所述的方法，其中所述导航响应包括确定所述UAV在三维坐标系中的位置；
或，其中所述导航响应包括使所述UAV根据一组预设飞行命令飞行；
或，其中所述导航响应包括使所述UAV飞行至相对于所述所检测到的视觉标记的预定位置；
或，其中所述导航响应包括使所述UAV飞行至一位置，所述UAV的所述一个或多个视觉传感器被配置用于从所述位置捕捉与所述检测到的视觉标记不同的视觉标记的图像；
或，其中所述环境是室内环境；
或，其中所述环境是在其中全球定位系统(GPS)信号不可靠的环境；
或，其中所述UAV的重量小于1000g并且具有不超过100cm的最大尺寸；
或，其中所述视觉图案中的形状的顶点被检测并用于计算相对于所述一个或多个视觉标记的定位；
或，其中所述视觉标记是具有包括正方形的视觉图案的带；
或，其中所述视觉图案包括不同颜色的正方形；
或，其中所述视觉图案包括AprilTag；
或，其中所述视觉图案包括QR码；
或，其中所述视觉图案包括条形码。
3.根据权利要求1所述的方法，其中所述响应独立于所述UAV的飞行。
4.根据权利要求4所述的方法，其中所述响应包括调整所述UAV的负载的位置。
5.根据权利要求5所述的方法，其中所述负载是所述UAV机载的相机。
6.根据权利要求4所述的方法，其中所述响应包括捕捉选定主体的图像；
或，其中所述响应发生在辨别和区分所述视觉图案之后的预定时间量内；
或，其中所述响应发生在辨别和区分所述视觉图案之后的预定距离内；
或，其中所述响应包括改变所述UAV的姿态；
或，其中所述响应包括使所述UAV在特定的方向上飞行；
或，其中所述响应包括使所述UAV飞上楼梯或飞下楼梯。
7.根据权利要求1所述的方法，其中所述响应影响所述UAV的飞行。
8.根据权利要求7所述的方法，其中所述响应包括使所述UAV的所述飞行遵循一组预设指令；
或，其中所述视觉标记是带，并且所述响应包括使所述UAV的所述飞行遵循所述带。
9.根据权利要求1所述的方法，其还包括计算所述图像中的所述视觉标记的所述视觉图案的至少一部分的尺寸；以及
借助于所述一个或多个处理器，基于所述视觉图案的所述部分的所述尺寸来确定UAV在所述三维坐标系内的所述位置；
或，其中所述三维坐标系是三维全局坐标系。
10.根据权利要求1所述的方法，其中所述三维坐标系是三维局部坐标系。
11.根据权利要求10所述的方法，其中通过采用N点透视(PNP)算法来计算所述UAV的局部坐标。
12.根据权利要求10所述的方法，其还包括通过使用所述UAV机载的所述一个或多个视觉传感器的一个或多个固有特性、视觉标记的已知位置以及由所述UAV机载的所述视觉传感器拍摄的所述视觉标记的图像中的一组点计算所述UAV相对于所述视觉标记的旋转和位置来在所述环境内定位所述UAV。
13.根据权利要求12所述的方法，其中所述一个或多个视觉传感器中的至少一个是相机；
或，其中当所述一个或多个视觉传感器捕捉所述图像时，所述UAV自主地巡逻所述环境。
14.根据权利要求1所述的方法，其中所述一个或多个处理器是所述UAV机载的；
或，其还包括：借助于所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物；
或，其中所述定位还借助于红外检测器或雷达检测器来确定。
15.一种在环境内定位无人飞行器(UAV)的方法，所述方法包括：
在所述环境内提供连续的视觉标记，其中所述连续的视觉标记在所述环境内提供路径；
在所述UAV在所述环境内飞行的同时，借助于所述UAV的一个或多个视觉传感器来捕捉图像，所述图像包括具有视觉图案的所述连续的视觉标记的至少一部分；
由所述UAV实现飞行响应，以保持所述连续的视觉标记处于所述UAV的视距内。
16.根据权利要求15所述的方法，其中所述连续的视觉标记是带；
或，其中所述环境是室内环境；
或，其中所述环境是在其中全球定位系统(GPS)信号不可靠的环境；
或，其中所述UAV的重量小于1000g并且具有不超过100cm的最大尺寸；
或，其中所述视觉图案中的形状的顶点被检测并用于计算相对于所述视觉标记的定位；
或，其中所述视觉标记是具有包括正方形的视觉图案的带；
或，其中所述视觉图案包括不同颜色的正方形；
或，其中所述视觉图案包括AprilTag；
或，其中所述视觉图案包括QR码；
或，其中所述视觉图案包括条形码。
17.根据权利要求15所述的方法，其中所述响应独立于所述UAV的飞行。
18.根据权利要求17所述的方法，其中所述响应包括调整所述UAV的负载的位置。
19.根据权利要求18所述的方法，其中所述负载是所述UAV机载的相机。
20.根据权利要求17所述的方法，其中所述响应包括捕捉选定主体的图像；
或，其中所述响应发生在辨别和区分所述视觉图案之后的预定时间量内；
或，其中所述响应发生在辨别和区分所述视觉图案之后的预定距离内；
或，其中所述响应包括改变所述UAV的姿态；
或，其中所述响应包括使所述UAV在特定的方向上飞行；
或，其中所述响应包括使所述UAV飞上楼梯或飞下楼梯。
21.根据权利要求15所述的方法，其中所述响应影响所述UAV的飞行。
22.根据权利要求21所述的方法，其中所述响应包括使所述UAV的所述飞行遵循一组预设指令；
或，其中所述视觉标记是带，并且所述响应包括使所述UAV的所述飞行遵循所述带。
23.根据权利要求15所述的方法，其中当所述一个或多个视觉传感器捕捉所述图像时，所述UAV自主地巡逻所述环境；
或，其还包括：借助于所述UAV机载的一个或多个传感器来检测障碍物；以及调整所述UAV的飞行方向以避开所述障碍物；
或，其中所述定位还借助于红外检测器或雷达检测器来确定。
CN202110067486.0A 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法 Pending CN112904892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110067486.0A CN112904892A (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201480079892.7A CN106687878B (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法
CN202110067486.0A CN112904892A (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法
PCT/CN2014/090078 WO2016065623A1 (en) 2014-10-31 2014-10-31 Systems and methods for surveillance with visual marker

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480079892.7A Division CN106687878B (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法

Publications (1)

Publication Number Publication Date
CN112904892A true CN112904892A (zh) 2021-06-04

Family

ID=55856439

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202110067808.1A Pending CN112904880A (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法
CN202110067486.0A Pending CN112904892A (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法
CN202110067820.2A Pending CN112859899A (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法
CN201480079892.7A Active CN106687878B (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110067808.1A Pending CN112904880A (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202110067820.2A Pending CN112859899A (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法
CN201480079892.7A Active CN106687878B (zh) 2014-10-31 2014-10-31 用于利用视觉标记进行监视的系统和方法

Country Status (3)

Country Link
US (3) US10691141B2 (zh)
CN (4) CN112904880A (zh)
WO (1) WO2016065623A1 (zh)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9791865B2 (en) * 2014-10-29 2017-10-17 Amazon Technologies, Inc. Multi-scale fiducials
CN112904880A (zh) 2014-10-31 2021-06-04 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
US10358214B2 (en) 2015-01-04 2019-07-23 Hangzhou Zero Zro Technology Co., Ltd. Aerial vehicle and method of operation
US9836053B2 (en) 2015-01-04 2017-12-05 Zero Zero Robotics Inc. System and method for automated aerial system operation
US10126745B2 (en) 2015-01-04 2018-11-13 Hangzhou Zero Zero Technology Co., Ltd. System and method for automated aerial system operation
EP3062066A1 (en) * 2015-02-26 2016-08-31 Hexagon Technology Center GmbH Determination of object data by template-based UAV control
CN105573330B (zh) * 2015-03-03 2018-11-09 广州亿航智能技术有限公司 基于智能终端的飞行器操控方法
JP6843773B2 (ja) 2015-03-03 2021-03-17 プレナヴ インコーポレイテッド 環境の走査及び無人航空機の追跡
US9964951B1 (en) * 2015-09-25 2018-05-08 Amazon Technologies, Inc. Fiducial-based navigation of unmanned vehicles
GB201518652D0 (en) * 2015-10-21 2015-12-02 F Robotics Acquisitions Ltd Domestic robotic system and method
US10042360B2 (en) 2015-11-18 2018-08-07 Aerovironment, Inc. Unmanned aircraft turn and approach system
DE102015122183B4 (de) * 2015-12-18 2018-12-06 Antony Pfoertzsch Vorrichtung und Verfahren für ein unbemanntes Flugobjekt
US10197998B2 (en) 2015-12-27 2019-02-05 Spin Master Ltd. Remotely controlled motile device system
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US9758246B1 (en) 2016-01-06 2017-09-12 Gopro, Inc. Systems and methods for adjusting flight control of an unmanned aerial vehicle
US10029790B2 (en) * 2016-01-28 2018-07-24 Panasonic Intellectual Property Corporation Of America Device that controls flight altitude of unmanned aerial vehicle
US10553122B1 (en) * 2016-03-22 2020-02-04 Amazon Technologies, Inc. Unmanned aerial vehicle data collection for routing
US10074226B2 (en) 2016-04-05 2018-09-11 Honeywell International Inc. Systems and methods for providing UAV-based digital escort drones in visitor management and integrated access control systems
WO2017187275A2 (en) 2016-04-24 2017-11-02 Hangzhou Zero Zero Technology Co., Ltd. Aerial system propulsion assembly and method of use
US20190127067A1 (en) * 2016-05-03 2019-05-02 Sunshine Aerial Systems, Inc. Autonomous aerial vehicle
US11404056B1 (en) * 2016-06-30 2022-08-02 Snap Inc. Remoteless control of drone behavior
CN109690438A (zh) 2016-07-07 2019-04-26 深圳市大疆创新科技有限公司 用于使用机器可读码控制可移动物体的方法和系统
DE102016214655A1 (de) * 2016-08-08 2018-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System zum zerstörungsfreien Untersuchen eines über wenigstens eine frei zugängliche Oberfläche verfügenden dreidimensionalen Objektes
CN107976669B (zh) * 2016-10-21 2020-03-31 法法汽车(中国)有限公司 一种确定相机与激光雷达之间的外参数的装置
WO2018087596A1 (en) * 2016-11-11 2018-05-17 Hangzhou Zero Zero Technology Co., Ltd. System and method for automated aerial system operation
US11068837B2 (en) * 2016-11-21 2021-07-20 International Business Machines Corporation System and method of securely sending and receiving packages via drones
WO2018095278A1 (zh) * 2016-11-24 2018-05-31 腾讯科技（深圳）有限公司 飞行器的信息获取方法、装置及设备
KR101765235B1 (ko) * 2016-11-28 2017-08-04 한국건설기술연구원 사물인터넷 기반 센서와 무인비행체를 이용한 시설물 유지관리 시스템 및 그 방법
US11049374B2 (en) * 2016-12-22 2021-06-29 Nec Corporation Tracking support apparatus, terminal, tracking support system, tracking support method and program
WO2018134677A1 (en) 2017-01-23 2018-07-26 Hangzhou Zero Technology Co., Ltd Multi-camera system and method of use
US11010614B2 (en) * 2017-01-26 2021-05-18 Matias Klein Total property intelligence system
WO2018144396A1 (en) 2017-02-02 2018-08-09 PreNav, Inc. Tracking image collection for digital capture of environments, and associated systems and methods
US10725139B1 (en) 2017-02-07 2020-07-28 Amazon Technologies, Inc. Organic navigational beacons
SG11201907910WA (en) * 2017-03-06 2019-09-27 Spiral Inc Control system for a flying object, control device therefor, and marker thereof
JP6917756B2 (ja) * 2017-04-17 2021-08-11 日鉄テックスエンジ株式会社 測位システム、装置、方法及びプログラム
US11046430B1 (en) * 2017-04-17 2021-06-29 United States Of America As Represented By The Administrator Of Nasa Intelligent trajectory adviser system for unmanned aerial vehicles in complex environments
US10761541B2 (en) * 2017-04-21 2020-09-01 X Development Llc Localization with negative mapping
US10769844B1 (en) 2017-05-12 2020-09-08 Alarm.Com Incorporated Marker aided three-dimensional mapping and object labeling
US10453215B2 (en) * 2017-05-19 2019-10-22 Qualcomm Incorporated Detect, reflect, validate
CN109121143A (zh) * 2017-06-23 2019-01-01 联芯科技有限公司 一种位置标记方法、终端与计算机可读存储介质
US20190012943A1 (en) * 2017-07-07 2019-01-10 Pointr Data Inc. Lighter than air monitoring device and advertisement platform
CN107610212B (zh) * 2017-07-25 2020-05-12 深圳大学 场景重建方法、装置、计算机设备以及计算机存储介质
CN108513642B (zh) * 2017-07-31 2021-08-27 深圳市大疆创新科技有限公司 一种图像处理方法、无人机、地面控制台及其图像处理系统
EP3438978B1 (en) * 2017-08-02 2023-12-27 Rohde & Schwarz GmbH & Co. KG Signal assessment system and signal assessment method
CN107589758A (zh) * 2017-08-30 2018-01-16 武汉大学 一种基于双源视频分析的智能化野外无人机搜救方法与系统
CN107483096B (zh) * 2017-09-18 2020-07-24 河南科技学院 一种面向复杂环境的自主排爆机器人通信链路重构方法
US11753142B1 (en) 2017-09-29 2023-09-12 Snap Inc. Noise modulation for unmanned aerial vehicles
US11531357B1 (en) 2017-10-05 2022-12-20 Snap Inc. Spatial vector-based drone control
CN107729565A (zh) * 2017-11-13 2018-02-23 国网福建省电力有限公司 基于无人机巡视图像处理的输电线路全息全景处理方法
US10657833B2 (en) 2017-11-30 2020-05-19 Intel Corporation Vision-based cooperative collision avoidance
DE102017223753A1 (de) * 2017-12-22 2019-06-27 Thyssenkrupp Ag Drohnensystem, Schächte für ein Drohnensystem und Verfahren zum Transport von Lasten in einem Schacht mit einer Drohne
US10944573B1 (en) * 2018-01-02 2021-03-09 Amazon Technologies, Inc. Determining relative positions and trusting data based on locally sensed events
CN111526973B (zh) * 2018-01-05 2023-10-20 艾罗伯特公司 用移动清洁机器人映射、控制和显示网络设备
FR3078170B1 (fr) * 2018-02-22 2021-04-09 Flyinstinct Procede de positionnement d'un vehicule par rapport a une structure
US10776987B2 (en) * 2018-03-05 2020-09-15 Disney Enterprises, Inc. Aerial imaging high-accuracy scale calibration
CN109559342B (zh) * 2018-03-05 2024-02-09 北京佳格天地科技有限公司 动物体长的测量方法和装置
US11822346B1 (en) 2018-03-06 2023-11-21 Snap Inc. Systems and methods for estimating user intent to launch autonomous aerial vehicle
US10733896B2 (en) * 2018-03-30 2020-08-04 Intel Corporation Projection-based cooperative collision avoidance
CN108828599B (zh) * 2018-04-06 2021-11-16 东莞市华睿电子科技有限公司 一种基于救援无人机的受灾人员搜寻方法
WO2019220273A1 (en) * 2018-05-14 2019-11-21 3M Innovative Properties Company Guidance of unmanned aerial inspection vehicles in work environments using optical tags
US20190370638A1 (en) * 2018-06-01 2019-12-05 Thales Canada Inc System for and method of data encoding and/or decoding using neural networks
US10831211B1 (en) * 2018-06-11 2020-11-10 United Services Automobile Association (Usaa) Marker based navigation system for robotic vehicle
CN108828500A (zh) * 2018-06-22 2018-11-16 深圳草莓创新技术有限公司 无人机精准的降落引导方法及相关产品
CN110686664A (zh) * 2018-07-04 2020-01-14 上海峰飞航空科技有限公司 视觉定位系统、无人机以及自检测无人机自身位置的方法
WO2020018029A1 (en) * 2018-07-18 2020-01-23 Yildiz Mehmet Ali Video tracking maze recognition strip
DE112018007929T5 (de) * 2018-08-24 2021-05-06 Mitsubishi Electric Corporation Markierungspositionierungsvorrichtung für einen Aufzug
EP3845992A4 (en) * 2018-08-31 2022-04-20 SZ DJI Technology Co., Ltd. MOBILE PLATFORM CONTROL METHOD, MOBILE PLATFORM, TERMINAL DEVICE AND SYSTEM
DE102018217734A1 (de) * 2018-10-17 2020-04-23 Robert Bosch Gmbh System von künstlichen Landmarken in einer Umgebung zur Verwendung für eine sensorgestützte Lokalisierung von mobilen Plattformen
CN109521781A (zh) * 2018-10-30 2019-03-26 普宙飞行器科技（深圳）有限公司 无人机定位系统、无人机以及无人机定位方法
US11467582B2 (en) 2018-11-05 2022-10-11 Usic, Llc Systems and methods for an autonomous marking apparatus
US11726478B2 (en) 2018-11-05 2023-08-15 Usic, Llc Systems and methods for autonomous marking maintenance
US10728536B2 (en) 2018-11-21 2020-07-28 Ubicquia Iq Llc System and method for camera commissioning beacons
CN109634305A (zh) * 2018-12-21 2019-04-16 国网安徽省电力有限公司淮南供电公司 基于图像辅助定位的无人机位姿调整方法及系统
WO2020170510A1 (ja) * 2019-02-19 2020-08-27 パナソニックＩｐマネジメント株式会社 無人飛行体、情報処理方法およびプログラム
US11094077B2 (en) * 2019-03-18 2021-08-17 John Lindsay System and process for mobile object tracking
CN113632032A (zh) * 2019-03-29 2021-11-09 三菱电机株式会社 物流系统及无人飞行体
DE102019204953B4 (de) * 2019-04-08 2022-03-31 Volkswagen Aktiengesellschaft Autonomes Luftfahrzeug zur Bereitstellung einer medizinischen Erstversorgung
CN110113094B (zh) * 2019-05-09 2021-08-13 西安爱生技术集团公司 一种升空通信中继无人机通视计算方法
US10999075B2 (en) 2019-06-17 2021-05-04 Advanced New Technologies Co., Ltd. Blockchain-based patrol inspection proof storage method, apparatus, and electronic device
US10854016B1 (en) 2019-06-20 2020-12-01 Procore Technologies, Inc. Computer system and method for creating an augmented environment using QR tape
EP3901727B1 (en) * 2019-07-08 2022-09-28 Panasonic Intellectual Property Management Co., Ltd. Information processing device, information processing method, and unmanned aerial vehicle
KR20210029518A (ko) * 2019-09-06 2021-03-16 삼성전자주식회사 멀티 센서 기반의 무인 비행체 및 그 제어 방법
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN110687929B (zh) * 2019-10-10 2022-08-12 辽宁科技大学 基于单目视觉与运动想象的飞行器三维空间目标搜索系统
JPWO2021075090A1 (zh) * 2019-10-17 2021-04-22
DE102019128782B4 (de) * 2019-10-24 2022-06-09 Sick Ag Bewegbare Maschine mit einem Sicherheitssystem, mit einer Sicherheitssteuerung, mit einem Lokalisierungssystem, mit einem Entfernungssensor und mit einer Konturerkennungseinheit
DE102019217393A1 (de) * 2019-11-11 2021-05-12 Robert Bosch Gmbh Verfahren zum Betreiben einer autonomen Fahrfunktion eines Fahrzeugs
CN110865650B (zh) * 2019-11-19 2022-12-20 武汉工程大学 基于主动视觉的无人机位姿自适应估计方法
CN113155117A (zh) * 2020-01-23 2021-07-23 阿里巴巴集团控股有限公司 导航系统、方法和装置
EP4104030A1 (en) 2020-02-13 2022-12-21 Tinamu Labs AG Uav positioning system and method for controlling the position of an uav
KR20210114647A (ko) * 2020-03-11 2021-09-24 엘지전자 주식회사 무인비행체를 제어하기 위한 장치, 시스템 및 방법
JP7227936B2 (ja) 2020-03-31 2023-02-22 西武建設株式会社 ドローン誘導方法およびその装置
WO2021242414A2 (en) * 2020-04-06 2021-12-02 Workhorse Group Inc. Flying vehicle systems and methods
CN111486849B (zh) * 2020-05-29 2021-08-27 北京大学 一种基于二维码路标的移动视觉导航方法及系统
EP3926432A1 (en) * 2020-06-16 2021-12-22 Hexagon Geosystems Services AG Touch control of unmanned aerial vehicles
EP3929613A1 (en) * 2020-06-22 2021-12-29 Carnegie Robotics, LLC A method for navigating a movable device along an inclined surface
EP3929690A1 (en) 2020-06-22 2021-12-29 Carnegie Robotics, LLC A method and a system for analyzing a scene, room or venueby determining angles from imaging elements to visible navigation elements
KR102182912B1 (ko) * 2020-08-28 2020-11-25 (주)군집텍 드론 군집 비행 제어 방법 및 장치
CN112050814A (zh) * 2020-08-28 2020-12-08 国网智能科技股份有限公司 一种室内变电站无人机视觉导航系统及方法
US11662208B2 (en) * 2020-10-06 2023-05-30 Ford Global Technologies, Llc Dead reckoning correction utilizing patterned light projection
CN112327898B (zh) * 2020-11-06 2023-08-29 日立楼宇技术（广州）有限公司 无人机的井道巡检导航方法、装置和无人机
US20220375324A1 (en) * 2021-05-24 2022-11-24 Mpics Innovations Pte. Ltd Sensor device for detecting disinfecting state
CN113391642B (zh) * 2021-05-28 2022-06-03 西南交通大学 一种基于单目视觉的无人机自主避障方法及系统
KR102584931B1 (ko) * 2021-07-05 2023-11-09 주식회사 삼영기술 구조물 유지 보수용 드론
KR102648850B1 (ko) * 2021-08-12 2024-03-19 네이버랩스 주식회사 로봇이 인식 가능한 패턴을 생성하는 패턴 조사 장치 및 이를 포함하는 건물
WO2023053561A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 推定装置、撮像装置、移動体、推定システム、推定方法、及びプログラム
DE102021130335A1 (de) 2021-11-19 2023-05-25 Tk Elevator Innovation And Operations Gmbh Drohnensystem und Verfahren zum Erfassen der dreidimensionalen räumlichen Ausgestaltung eines Schachts
KR20230077300A (ko) * 2021-11-25 2023-06-01 이승호 지리적 좌표 획득 방법 및 시스템
US11830219B2 (en) * 2021-12-29 2023-11-28 Midea Group Co., Ltd. Joint visual localization and orientation detection method
CN114104310A (zh) * 2021-12-31 2022-03-01 重庆高新区飞马创新研究院 一种基于GPS和AprilTag的视觉辅助无人机降落的设备与方法
CN114783211B (zh) * 2022-03-22 2023-09-15 南京莱斯信息技术股份有限公司 一种基于视频数据融合的场面目标监视增强系统及方法
DE102022119057A1 (de) * 2022-07-29 2024-02-01 Sick Ag System zum Ermitteln des Abstands eines Objekts

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01175610A (ja) * 1987-12-29 1989-07-12 Toyota Autom Loom Works Ltd 画像式無人車における画像処理方法
US20090140884A1 (en) * 2007-12-04 2009-06-04 Honeywell International Inc. Apparatus and method for aligning an aircraft
CN102789234A (zh) * 2012-08-14 2012-11-21 广东科学中心 基于颜色编码标识的机器人导航方法及系统
CN103869819A (zh) * 2014-03-10 2014-06-18 中国矿业大学 一种基于多旋翼无人机的带式输送机自动巡检系统及方法
CN104035091A (zh) * 2014-06-11 2014-09-10 江苏数字鹰科技发展有限公司 室内无人机定位系统

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59112312A (ja) 1982-12-20 1984-06-28 Nippon Yusoki Co Ltd 無人搬送車の誘導帯
WO1988003675A1 (en) 1986-11-14 1988-05-19 Kabushiki Kaisha Komatsu Seisakusho Guide method of unmanned travelling vehicle by following up luminous spots
DE69927215T2 (de) 1998-07-31 2006-06-29 Matsushita Electric Industrial Co., Ltd., Kadoma Strassenabbildungsverwaltungsvorrichtung
US7634662B2 (en) * 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US6779716B1 (en) * 2003-07-10 2004-08-24 Ivan W. Grow Rifled weapon engraver and scanner
JP2005293041A (ja) 2004-03-31 2005-10-20 Shijin Kogyo Sakushinkai バーコードを利用した自走プラットフォームの案内、位置決め方法及びシステム
US7706917B1 (en) * 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
US7845560B2 (en) * 2004-12-14 2010-12-07 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
JP4665710B2 (ja) * 2005-10-21 2011-04-06 株式会社デンソーウェーブ 情報コード担体
CN100464271C (zh) * 2005-10-28 2009-02-25 南京航空航天大学 无人机自主着陆的合作目标识别方法
KR100649674B1 (ko) * 2005-11-28 2006-11-27 한국전자통신연구원 이동단말의 내장 카메라를 이용한 위치인식 방법 및 그장치
EP2065774B1 (en) * 2005-12-02 2013-10-23 iRobot Corporation Autonomous coverage robot navigation system
US7581702B2 (en) * 2006-06-09 2009-09-01 Insitu, Inc. Wirelessly controlling unmanned aircraft and accessing associated surveillance data
DE112007002460B4 (de) 2006-10-16 2018-03-22 Kao Corp. Toner für die Elektrophotographie
KR100906974B1 (ko) * 2006-12-08 2009-07-08 한국전자통신연구원 카메라를 이용한 위치 인식 장치 및 그 방법
US20100250022A1 (en) * 2006-12-29 2010-09-30 Air Recon, Inc. Useful unmanned aerial vehicle
CN101244765B (zh) * 2008-03-14 2010-06-02 南京航空航天大学 低能见度下飞机起飞着陆的视觉导引和监控系统及方法
US20100047756A1 (en) * 2008-08-25 2010-02-25 U.S. Security Associates, Inc. Systems and methods for training security officers
US8422777B2 (en) * 2008-10-14 2013-04-16 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-D pose of the target
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9428336B2 (en) * 2010-07-28 2016-08-30 Par Systems, Inc. Robotic storage and retrieval systems
US8862395B2 (en) * 2011-01-31 2014-10-14 Raytheon Company Coded marker navigation system and method
CN102426019B (zh) * 2011-08-25 2014-07-02 航天恒星科技有限公司 一种无人机景象匹配辅助导航方法及系统
US8958945B2 (en) * 2012-02-07 2015-02-17 Ge Aviation Systems Llc System and methods for maintaining and operating an aircraft
US9841761B2 (en) * 2012-05-04 2017-12-12 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles
US9384668B2 (en) * 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
US20130317642A1 (en) * 2012-05-28 2013-11-28 Well.Ca Inc. Order processing systems using picking robots
CN102779344B (zh) * 2012-07-02 2014-08-27 济南大学 空间变换用配准块及其使用方法
CN102967305B (zh) * 2012-10-26 2015-07-01 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
US9085362B1 (en) * 2012-11-21 2015-07-21 Lockheed Martin Corporation Counter-unmanned aerial vehicle system and method
CN102991681A (zh) * 2012-12-25 2013-03-27 天津工业大学 无人机视觉着陆系统中地面目标识别方法
US8909391B1 (en) * 2012-12-28 2014-12-09 Google Inc. Responsive navigation of an unmanned aerial vehicle to a remedial facility
EP2778819A1 (en) * 2013-03-12 2014-09-17 Thomson Licensing Method for shooting a film performance using an unmanned aerial vehicle
CN103218607B (zh) * 2013-04-11 2016-08-24 北京航空航天大学 一种用于无人机自主着舰的合作目标设计与定位方法
US10332405B2 (en) * 2013-12-19 2019-06-25 The United States Of America As Represented By The Administrator Of Nasa Unmanned aircraft systems traffic management
US20150193982A1 (en) * 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
US9764822B2 (en) * 2014-05-01 2017-09-19 Alakai Technologies Corporation Clean fuel electric multirotor aircraft for personal air transportation and manned or unmanned operation
CN104049641B (zh) * 2014-05-29 2017-08-25 深圳市大疆创新科技有限公司 一种自动降落方法、装置及飞行器
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
EP3167535B1 (en) * 2014-08-08 2020-09-23 SZ DJI Technology Co., Ltd. Systems and methods for uav battery exchange
JP6395835B2 (ja) * 2014-08-08 2018-09-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｕａｖのバッテリー電源バックアップシステムおよび方法
JP6390022B2 (ja) * 2014-08-08 2018-09-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ エネルギー提供ステーション
US10139819B2 (en) * 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
WO2016033796A1 (en) * 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Context-based flight mode selection
US9359074B2 (en) * 2014-09-08 2016-06-07 Qualcomm Incorporated Methods, systems and devices for delivery drone security
CN113628500A (zh) * 2014-09-30 2021-11-09 深圳市大疆创新科技有限公司 用于支持模拟移动的系统和方法
US9754496B2 (en) * 2014-09-30 2017-09-05 Elwha Llc System and method for management of airspace for unmanned aircraft
US20160180884A1 (en) * 2014-10-15 2016-06-23 Benjamin Nowak Method and system for synchronization of multiple content streams
JP6425968B2 (ja) * 2014-10-29 2018-11-21 ヤンマー株式会社 ヘリコプター
CN112904880A (zh) 2014-10-31 2021-06-04 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
US9479337B2 (en) * 2014-11-14 2016-10-25 Motorola Solutions, Inc. Method and apparatus for deriving a certificate for a primary device
WO2016078093A1 (en) * 2014-11-21 2016-05-26 SZ DJI Technology Co., Ltd. System and method for managing unmanned aerial vehicles
US10334223B2 (en) * 2015-01-30 2019-06-25 Qualcomm Incorporated System and method for multi-view video in wireless devices
US9540121B2 (en) * 2015-02-25 2017-01-10 Cisco Technology, Inc. Pre-flight self test for unmanned aerial vehicles (UAVs)
US10192354B2 (en) * 2015-04-14 2019-01-29 ETAK Systems, LLC Systems and methods for obtaining accurate 3D modeling data using UAVS for cell sites
WO2016205415A1 (en) * 2015-06-15 2016-12-22 ImageKeeper LLC Unmanned aerial vehicle management
US10586464B2 (en) * 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
US9740208B2 (en) * 2015-07-30 2017-08-22 Deere & Company UAV-based sensing for worksite operations
US9947230B2 (en) * 2015-08-03 2018-04-17 Amber Garage, Inc. Planning a flight path by identifying key frames
US9928649B2 (en) * 2015-08-03 2018-03-27 Amber Garage, Inc. Interface for planning flight path
US10633115B2 (en) * 2015-08-17 2020-04-28 Skyyfish, LLC Autonomous system for unmanned aerial vehicle landing, charging and takeoff
US10077984B2 (en) * 2015-09-25 2018-09-18 International Business Machines Corporation Indoor positioning system training
US9412280B1 (en) * 2015-11-05 2016-08-09 Daniel Ian Zwillinger Cooperative system and method for precise autonomous delivery
US9740200B2 (en) * 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9513635B1 (en) * 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9714012B1 (en) * 2016-01-22 2017-07-25 International Business Machines Corporation Power source element replacement during vehicle operation
US9764703B2 (en) * 2016-01-22 2017-09-19 International Business Machines Corporation Power source element detection and monitoring
US9898638B2 (en) * 2016-01-22 2018-02-20 International Business Machines Corporation Optical marker for delivery drone cargo delivery
US9998854B2 (en) * 2016-04-11 2018-06-12 Qualcomm Incorporated Access point mobility indication
US10023309B2 (en) * 2016-04-15 2018-07-17 James Brown Remote controlled aircraft
US10232940B2 (en) * 2016-09-09 2019-03-19 Wing Aviation Llc Methods and systems for raising and lowering a payload
US10364030B2 (en) * 2016-09-09 2019-07-30 Wing Aviation Llc Methods and systems for user interaction and feedback via control of tether
US10414488B2 (en) * 2016-09-09 2019-09-17 Wing Aviation Llc Methods and systems for damping oscillations of a payload
US10000285B2 (en) * 2016-09-09 2018-06-19 X Development Llc Methods and systems for detecting and resolving failure events when raising and lowering a payload
US9815633B1 (en) * 2016-09-19 2017-11-14 Amazon Technologies, Inc. Automated fulfillment of unmanned aerial vehicles
US10614515B1 (en) * 2016-10-01 2020-04-07 Stuart Brisson System for rental dispensing of UAVs
US10467685B1 (en) * 2016-10-01 2019-11-05 Stuart Brisson System and device for rental dispensing of UAVs
US10384692B2 (en) * 2017-03-16 2019-08-20 Amazon Technologies, Inc. Demand-based distribution of items using intermodal carriers and unmanned aerial vehicles
US9718564B1 (en) * 2017-03-16 2017-08-01 Amazon Technologies, Inc. Ground-based mobile maintenance facilities for unmanned aerial vehicles
US10421542B2 (en) * 2017-03-16 2019-09-24 Amazon Technologies, Inc. Mobile fulfillment centers with intermodal carriers and unmanned aerial vehicles
US10899473B2 (en) * 2017-07-17 2021-01-26 Christopher Julian Scherz Docking station for unmanned aerial vehicles
US10642264B2 (en) 2017-07-19 2020-05-05 Superior Communications, Inc. Security drone system
US10974911B2 (en) * 2017-12-22 2021-04-13 Wing Aviation Llc Replenishment station for aerial vehicle with robotic device and conveyor
US10780975B2 (en) * 2018-04-27 2020-09-22 Wing Aviation Llc Clip-on propeller mount
US10703480B1 (en) * 2018-06-14 2020-07-07 Kitty Hawk Corporation Modular personal transportation system
US10493863B1 (en) * 2018-06-14 2019-12-03 Kitty Hawk Corporation Charge related processing for a personal transportation system with removable battery
US10532815B1 (en) * 2018-06-14 2020-01-14 Kitty Hawk Corporation Two vehicle transportation system
US11287835B2 (en) * 2019-03-21 2022-03-29 Wing Aviation Llc Geo-fiducials for UAV navigation
US10953754B1 (en) * 2019-09-05 2021-03-23 Beta Air, Llc Systems and methods for restricting power to a load to prevent engaging circuit protection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01175610A (ja) * 1987-12-29 1989-07-12 Toyota Autom Loom Works Ltd 画像式無人車における画像処理方法
US20090140884A1 (en) * 2007-12-04 2009-06-04 Honeywell International Inc. Apparatus and method for aligning an aircraft
CN102789234A (zh) * 2012-08-14 2012-11-21 广东科学中心 基于颜色编码标识的机器人导航方法及系统
CN103869819A (zh) * 2014-03-10 2014-06-18 中国矿业大学 一种基于多旋翼无人机的带式输送机自动巡检系统及方法
CN104035091A (zh) * 2014-06-11 2014-09-10 江苏数字鹰科技发展有限公司 室内无人机定位系统

Also Published As

Publication number Publication date
CN112904880A (zh) 2021-06-04
US20190235531A1 (en) 2019-08-01
US10698423B2 (en) 2020-06-30
US20200310468A1 (en) 2020-10-01
CN106687878B (zh) 2021-01-22
US20170031369A1 (en) 2017-02-02
CN112859899A (zh) 2021-05-28
WO2016065623A1 (en) 2016-05-06
CN106687878A (zh) 2017-05-17
US11442473B2 (en) 2022-09-13
US10691141B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
US11442473B2 (en) Systems and methods for surveillance with a visual marker
US11697411B2 (en) Apparatus and methods for obstacle detection
US11810465B2 (en) Flight control for flight-restricted regions
US10599149B2 (en) Salient feature based vehicle positioning
CN107850902B (zh) 可移动物体上的相机配置
CN107209514B (zh) 传感器数据的选择性处理
CN108351653B (zh) 用于uav飞行控制的系统和方法
JP6900608B2 (ja) 静止及び移動体に対する無人航空機の飛行方法
EP3783454B1 (en) Systems and methods for adjusting uav trajectory
EP3428766B1 (en) Multi-sensor environmental mapping
CN109219785B (zh) 一种多传感器校准方法与系统
CN109661694B (zh) 控制无人飞行器飞行的方法和设备、限飞区生成方法和设备
EP3312560A1 (en) Method and system for indoor navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination