CN110799921A - 拍摄方法、装置和无人机 - Google Patents

拍摄方法、装置和无人机 Download PDF

Info

Publication number
CN110799921A
CN110799921A CN201880038902.0A CN201880038902A CN110799921A CN 110799921 A CN110799921 A CN 110799921A CN 201880038902 A CN201880038902 A CN 201880038902A CN 110799921 A CN110799921 A CN 110799921A
Authority
CN
China
Prior art keywords
feature point
target
feature
characteristic
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880038902.0A
Other languages
English (en)
Inventor
周游
刘洁
严嘉祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110799921A publication Critical patent/CN110799921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft

Abstract

本发明提供一种拍摄方法、装置和无人机，其中所述方法包括：基于视觉技术建立目标的三维模型，三维模型包括目标在不同角度的二维信息以及各二维信息对应的三维信息；控制无人机绕目标运动；获取无人机上的拍摄模块拍摄的实时图像；根据实时图像、目标在不同角度的二维信息和各二维信息对应的三维信息，调整无人机的飞行轨迹和/或拍摄模块的拍摄方向。通过视觉技术获得目标的三维模型，在无人机环绕目标运动的过程中，即使拍摄到的仅仅为目标的局部信息，也可根据三维模型确定出无人机当前与目标之间的位姿关系，从而自动调整无人机的飞行轨迹和/或拍摄模块的拍摄方向，使得无人机的构图更加专业。

Description

拍摄方法、装置和无人机
技术领域
本发明涉及拍摄领域，尤其涉及一种拍摄方法、装置和无人机。
背景技术
环绕拍摄是航拍构图手法中常用的一种拍摄方案，拍摄过程中，无人机会围绕“兴趣点”做圆周运动，并可以在此过程中随意拍摄目标。如果需要实现环绕拍摄，不仅需要控制无人机在目标附近周旋，还要调整无人机航向和云台的俯仰角度以实现更好的构图。单个操作者在完成这种拍摄时，需要较高的操作技巧。
为了方便单个操作者完成环绕拍摄，基于GPS打点的自主“兴趣点环绕”功能应运而生，简称为POI(英文全称：Point of Interest)。POI需要操作者有着较为娴熟的操作技巧，在完成无人机环绕的轨迹变换同时，还要操作无人机上的拍摄模块的朝向，从而保证拍摄平滑稳定。而现有自动POI一般采用GPS信息，由于GPS信息有偏差，所以拍摄的镜头并不能保证构图(比如，把目标放置在构图的中央)，且在GPS信号比较差的地方(比如，楼宇之间)，基于GPS的POI就无法使用。另外一种方案是基于视觉自动跟踪环绕目标，一般针对于容易看到全貌的小目标，但对于较为庞大的目标，效果比较差，这是由于无人机在环绕较为庞大的目标的时候只能看到目标的一部分，而无法在任何时刻都观测到目标的全貌，无人机环绕目标拍摄局限性较强。
发明内容
本发明提供一种拍摄方法、装置和无人机。
具体地，本发明是通过如下技术方案实现的：
根据本发明的第一方面，提供一种拍摄方法，应用于无人机，所述方法包括：
基于视觉技术建立目标的三维模型，其中，所述三维模型包括所述目标在不同角度的二维信息以及各二维信息对应的三维信息；
控制所述无人机绕所述目标运动；
获取所述无人机上的拍摄模块拍摄的实时图像；
根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，调整所述无人机的飞行轨迹和/或所述拍摄模块的拍摄方向。
根据本发明的第二方面，提供一种拍摄装置，应用于无人机，所述装置包括：
拍摄模块、存储装置和处理器，所述拍摄模块和所述处理器电连接；
所述存储装置，用于存储程序指令；
所述处理器，调用所述程序指令，当所述程序指令被执行时，用于：
基于视觉技术建立目标的三维模型，其中，所述三维模型包括所述目标在不同角度的二维信息以及各二维信息对应的三维信息；
获取所述无人机上的拍摄模块跟随所述无人机移动而拍摄的实时图像；
根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，使所述无人机调整飞行轨迹和/或调整所述拍摄模块的拍摄方向。
根据本发明的第三方面，提供一种无人机，所述无人机包括：
机身，所述机身搭载有拍摄模块；
动力组件，用于驱动所述机身移动；以及
处理器，设于所述机身内，并且所述处理器与所述动力组件电连接；其中，所述处理器用于：
基于视觉技术建立目标的三维模型，其中，所述三维模型包括所述目标在不同角度的二维信息以及各二维信息对应的三维信息；
控制所述无人机绕所述目标运动；
获取所述无人机上的拍摄模块拍摄的实时图像；
根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，调整所述无人机的飞行轨迹和/或所述拍摄模块的拍摄方向。
由以上本发明实施例提供的技术方案可见，本发明通过视觉技术获得目标的三维模型，在无人机环绕目标运动(尤其是近距离环绕目标运动)的过程中，即使拍摄到的仅仅为目标的局部信息，也可根据三维模型确定出无人机当前与目标之间的位姿关系，从而根据确定出的无人机当前与目标之间的位姿关系，自动调整无人机的飞行轨迹和/或拍摄模块的拍摄方向，使得无人机的构图更加专业，本发明的拍摄方法和装置尤其适用于针对大型目标的近距离环绕拍摄。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中的拍摄方法的流程示意图；
图2是本发明一实施例中的拍摄方法的应用场景图；
图3是本发明一实施例中的拍摄方法的一种具体实现方式的流程示意图；
图4是本发明一实施例中的终端设备的界面示意图；
图5是本发明一实施例中的拍摄方法的另一种具体实现方式的流程示意图；
图6是本发明一实施例中的拍摄方法的又一种具体实现方式的流程示意图；
图7是本发明一实施例中的特征点跟踪算法获取特征点的示意图；
图8是本发明一实施例中的拍摄方法的还一种具体实现方式的流程示意图；
图9是本发明一实施例中的拍摄装置的结构框图；
图10是本发明一实施例中的无人机的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的拍摄方法、装置和无人机进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
图1为本发明实施例提供的一种拍摄方法的流程示意图。本实施例的拍摄方法应用于无人飞行器，例如无人机。以所述拍摄方法应用于无人机为例进一步说明。参见图2，无人机包括飞行控制器100、云台200和拍摄模块300，其中，拍摄模块300通过云台200搭载在无人机的机身上。
云台200可以为单轴云台或两轴云台，也可以为三轴云台或四轴云台。本实施例的拍摄模块300不限于传统意义上的相机，具体而言，拍摄模块300可以为影像捕获设备或者摄像设备(如相机、摄录机、红外线摄像设备、紫外线摄像设备或者类似的设备)，音频捕获装置(例如，抛物面反射传声器)，红外线摄像设备等，拍摄模块300可以提供静态感应数据(如图片)或者动态感应数据(如视频)。
云台200与飞行控制器100通信连接，例如，基于CAN总线(Controller AreaNetwork，控制器局域网络)或者其他方式通信连接。可通过飞行控制器100控制云台200的转动，从而控制挂载在云台200上的拍摄模块300的转动。此外，在某些实施例中，拍摄模块300与飞行控制器100通信连接，例如，拍摄模块300与飞行控制器100直接通信连接，或者，拍摄模块300通过云台200与飞行控制器100通信连接。可通过飞行控制器100控制拍摄模块300的工作、从拍摄模块300获取拍摄画面等。
本实施例中，无人机可以包括动力组件400。其中，动力组件400可以包括一个或者多个旋转体、螺旋桨、桨叶、电机、电子调速器等。例如，动力组件400的旋转体可以是自紧固(self-tightening)旋转体、旋转体组件、或者其它的旋转体动力单元。无人机可以有一个或多个动力组件400。所有的动力组件400可以是相同的类型。可选的，一个或者多个动力组件400可以是不同的类型。动力组件400可以通过合适的手段安装在无人机上，如通过支撑元件(如驱动轴)。动力组件400可以安装在无人机任何合适的位置，如顶端、下端、前端、后端、侧面或者其中的任意结合。通过控制一个或多个动力组件400，以控制无人机的飞行。
在某些实施例中，无人机可与终端500通信连接(例如，飞行控制器100与终端500通信连接)，终端500可以向无人机、云台200及拍摄模块300中的一个或者多个提供控制数据，并且从无人机、云台200及负载拍摄模块300中的一个或者多个中接收信息(如无人机、云台200或者拍摄模块300的位置及/或运动信息，拍摄模块300捕获的影像数据)。
以下实施例将对拍摄方法进行详细描述。如图1所示，所述拍摄方法可以包括如下步骤：
步骤S101：基于视觉技术建立目标的三维模型。
本实施例的目标是指体积较大的物体，例如，楼宇、山峦、河流、大海等。进一步的，本实施例的三维模型可以包括完整的二维信息和完整的三维信息，也可以包括部分二维信息和部分三维信息。在本实施例中，为了加快对目标进行三维建模的速度，三维模型包括部分二维信息和部分三维信息，从而获得目标的粗略三维模型。具体地，三维模型包括目标在不同角度的二维信息以及各二维信息对应的三维信息。
参见图3，建立目标的三维模型的过程可包括但不限于以下步骤：
步骤S301：控制无人机以大于特定距离的半径绕目标运动。
本实施例的特定距离是指无人机至目标的距离，例如，无人机中心至目标中心的距离。其中，特定距离需要满足无人机上的拍摄模块300能够拍摄到目标的全景图，但特定距离不宜过大，这是由于特定距离过大，拍摄模块300拍摄到的全景图中的目标太小，提取到目标的信息量有限，不利于快速建模。可选的，特定距离可以为400米、500米、600米、700米、800米等。而在无人机飞行过程中，特定距离的大小可不变，也可以变化，具体可根据需要选择。例如，在其中一实施例中，在无人机飞行过程中，特定距离的大小为恒定值，这种情况下，无人机是绕目标做圆周运动的。在另一实施例中，在无人机飞行过程中，特定距离的大小是变化的，例如，无人机绕目标做椭圆形的环绕运动。
步骤S302：获取拍摄模块300针对目标采集的不同角度的全景图。
其中，步骤S302是在步骤S301之后执行的。
本实施例中，不同的角度可以为无人机以大于特定距离的半径绕目标飞行过程中，同一飞行平面上的多个角度，也可以为无人机以大于特定距离的半径绕目标飞行过程中，不同飞行平面上的角度。
本实施例中，获取拍摄模块300针对同一目标在不同时刻采集的全景图，从而获得不同角度的全景图。具体而言，在确定无人机的飞行路径、运行速度和拍摄间隔后，无人机会根据所确定的飞行路径和运行速度飞行，比如，绕行一栋建筑，接着，无人机控制其上的拍摄模块300按照指定的拍摄间隔采集目标的全景图。本实施例中，飞行路径和运行速度可由用户预先设定，也可以为默认的飞行路径和运行速度。本实施例中，拍摄间隔可根据需要设定，例如，拍摄间隔为2s，拍摄模块300每隔2s拍摄拍摄一幅目标的全景图。进一步的，本实施例中，无人机会记录每一幅全景图的拍摄时刻t1、t2、t3….，其中，t1、t2、t3….是按照每一幅全景图的拍摄时刻的先后顺序排列的。需要说明的是，本实施例中，步骤S302可以与拍摄模块300针对同一目标在不同角度采集全景图的同时进行，也可以在拍摄模块300针对同一目标在不同角度采集全景图执行完毕后进行。
步骤S303：根据所获取的不同角度的全景图，获得目标在不同角度的二维信息和各二维信息对应的三维信息。
二维信息包括全景图上每个特征点(features extraction)的二维坐标(像素坐标)，三维信息包括全景图上每个特征点的二维坐标和深度信息。其中，特征点的像素坐标可以以特征描述子的形式来表征，也可以为能够表征各幅全景图之间的缩放、方向变化、光照变化和畸变等变化关系的其他描述形式。在本实施例中，由于特征描述子对于缩放、方向变化、光照变化和畸变等有较好的适应性，故使用特征描述子来表征特征点的像素坐标，具体的，特征点经过特征描述得到特征描述子。进一步的，特征描述子可采用特征向量来表征。
步骤S303可包括但不限于以下步骤：
(1)从每一幅全景图中提取对应的特征点的特征描述子。
具体可采用SIFT(尺度不变特征变换，Scale-invariant feature transform)、SURF(加速稳健特征，Speeded Up Robust Features)或GLOH(梯度位置方向直方图，Gradient location-orientation histogram)从每一幅全景图中获取各全景图的特征点的特征描述子。在本实施例中，由于SIFT特征描述子对于缩放、方向变化、光照变化，以及略微的仿射畸变都有很好的适应性，故采用SIFT从每一幅全景图中获取各全景图的特征点的特征描述子。
本实施例中，为降低处理的复杂度，需要对全景图进行预处理，具体地，从每一幅全景图中提取对应的特征点的特征描述子之前，首先，接收终端设备发送的待跟踪目标，再根据所接收到的目标，确定出每一幅全景图中目标对应的目标框(Banding Box)。具体地，拍摄模块300拍摄的全景图可实时显示在终端设备(如智能手机、平板电脑或智能眼镜等设备)，参见图4，用户在终端设备点选待跟踪的目标，用户可采用画框的方式对待跟踪目标进行框选，终端设备将待跟踪目标发送至无人机。接着，无人机根据接收到的待跟踪目标，对步骤S302获取的每一幅全景图中的目标对应的目标框，从而获得目标在每一幅全景图中的大概位置。
为进一步加快处理速度，在根据所接收到的目标，确定出每一幅全景图中目标对应的目标框之后，从每一幅全景图中提取对应的特征点的特征描述子之前，还需对所确定出的每一幅全景图中目标对应的目标框进行超像素分割处理，获得对应的像素块。可采用SLIC(简单的线性迭代聚类，simple linear iterativeclustering)、Graph-based(基于图的图像分割，Graph-Based Image Segmentation)、NCut(聚类算法，Normalized cuts andimage segmentation)、Turbopixel、Quick-shift、Graph-cut a和Graph-cut b中的至少一种对所确定出的每一幅全景图中目标对应的目标框进行超像素分割处理。本实施例中，获取到对应的像素块后，采用SIFT、SURF或GLOH从每一幅全景图对应的像素块获取各全景图对应的特征点的特征描述子。
用户框选出的待跟踪目标的步骤并不是很精准的操作，需要对各像素块进行细微的调整，以提高目标框的精确度。具体的，对所确定出的每一幅全景图中目标对应的目标框进行超像素分割处理，获得对应的像素块之后，对各全景图对应的像素块的边界像素点进行调整。在一可行的实现方式中，当边界像素点位于对应的目标框的像素区域的占比大于或等于预设阈值时，确定该边界像素点为像素块的一部分。而当边界像素点位于对应的目标框的像素区域的占比小于预设阈值时，确定该边界像素点非像素块的一部分。预设阈值可以选择为50％、55％、60％、65％、70％等等，具体可根据需要调整该预设阈值。
(2)根据各幅全景图的特征点的特征描述子，确定每个特征点的三维坐标，及不同角度的全景图之间的位姿关系。
具体的，参见图5，根据各幅全景图的特征点的特征描述子，确定每个特征点的三维坐标，及不同角度的全景图之间的位姿关系包括但不限于以下步骤：
步骤S501：根据各幅全景图对应的特征点的特征描述子，确定采集时刻相邻的两幅全景图之间的变换矩阵。
步骤S502：根据变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定当前全景图对应的特征点的三维坐标，及当前全景图与下一采集时刻的全景图之间的位姿关系。在本实施例中，下一采集时刻的全景图是指采集时刻在当前全景图的采集时刻之后，并且与当前全景图的采集时刻相邻的全景图。
参见图6，步骤S501的过程可包括但不限于如下步骤：
步骤S601：针对每一特征点，基于特征点跟踪算法从获取的所有全景图中确定该特征点相关联的目标全景图；
步骤S601通过特征点跟踪算法跟踪不同时刻的全景图之间的特征点，以便计算各特征点的图像特征光流(移动情况)。
在本实施例中，特征点跟踪算法可以为KLT(Kanade–Lucas–Tomasi featuretracker)，但不限于此。参见图7，为步骤S302中获取的目标框，例如，全景图a中包括1、2、3、4共4个特征点(实际中远远大于4个)，在无人机环绕目标飞行的过程中获得全景图b，全景图a中的特征点4已经不在全景图b的视野中，但是全景图a中的特征点1、2和3还在。继续在无人机环绕目标飞行的过程中获得全景图c，全景图b中的特征点1已经不再全景图c的视野中，但全景图b中的特征点2和3还在。本实施例中，对于特征点1，目标全景图包括全景图a和全景图b，对于特征点2，目标全景图包括全景图a、全景图b和全景图c，对于特征点3，目标全景图包括全景图a、全景图b和全景图c，对于特征点4，目标全景图包括全景图a。当然，全景图a中的特征点1、2和3的在全景图b中的位置、以及全景图b中的特征点2和4在全景图c中的位置均通过KLT算法计算获得的。
另外，在步骤S601之后，建立目标的三维模型的过程进一步包括：针对确定出的该特征点的目标全景图，根据特征点跟踪算法，确定该特征点在当前目标全景图中的位置与该特征点在与当前目标全景图相邻的上一时刻的目标全景图中的位置之间的偏移量(displacement between two images)；根据偏移量，确定当前目标全景图相关联的特征点在当前目标全景图中的位置信息(特征点的位置信息根据该特征点的特征描述子确定)是否准确，即可确定每一特征点的运动轨迹是否准确。具体的，根据偏移量，确定当前目标全景图相关联的特征点在当前标全景图中的位置信息是否准确包括：针对确定出的目标全景图，根据征点跟踪算法，确定该特征点从上一时刻的目标全景图中的位置移动至当前目标全景图中的位置之间的第一偏移量；针对确定出的该特征点的目标全景图，根据征点跟踪算法，确定该特征点从当前目标全景图中的位置移动至上一时刻的目标全景图中的位置的第二偏移量；根据第一偏移量和第二偏移量，确定该特征点在当前目标全景图中的位置信息是否准确。
在一具体实施例中，设定h作为前后两幅目标全景图的偏移量，两幅目标全景图分别为F(x)和G(x)＝F(x+h)，其中，F(x)为当前幅目标全景图，G(x)为前一幅目标全景图，F(x)和G(x)的采集时刻相邻并且F(x)的采集时刻在G(x)的采集时刻之后。针对F(x)所包含的每个特征点，通过下述公式(1)迭代可以得到每一特征点在前后两幅目标全景图的偏移量h：
Figure BDA0002313785860000091
公式(1)中，h0为每一特征点首次出现的全景图的偏移量，hk+1为第k幅目标全景图所包含的特征点在第k幅目标全景图和第k-1幅目标全景图的偏移量，w(x)为窗函数，x为特征点。
本实施例中，先令后一幅目标全景图为F(x)，前一幅目标全景图为G(x)，算出某一个特征点在后一幅目标全景图中的位置相对于前一幅目标全景图中的位置的第一偏移量h，再反过来，计算该特征点在前一幅目标全景图的位置相对于后一幅目标全景图中的位置的第二偏移h’，理论上h＝-h’，满足此条件，则说明该特征点在当前目标全景图(即F(x))中的位置信息正确。实际上，本实施例中，|h-h’|在允许的误差范围内时，均认为该特征点在当前目标全景图中的位置信息准确；若|h-h’|在允许的误差范围外时，则认为该特征点在当前目标全景图中的位置信息不准确，需要重新追踪以确定该特征点在当前目标全景图中的准确位置信息。
步骤S602：根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的映射关系；
步骤S602具体包括：根据该特征点在采集时刻相邻的两幅目标全景图中的位置信息，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的线性映射关系。本实施例中，采用Homography Matrix(单应性矩阵，即射影线性变换)来表征该特征点在采集时刻相邻的两幅目标全景图中的位置的线性映射关系。
步骤S603：根据多个特征点在相邻两幅目标全景图中的位置的映射关系，确定采集时刻相邻的两幅全景图之间的变换矩阵。
在上述步骤中，参见图7，根据KLT的结果，能够得到全景图b中特征点1、2和3的准确位置，然后根据征描述子1、2和3在全景图a和全景图b的位置，计算出全景图b与全景图a之间的变换矩阵Hab。
例如，在全景图a中，特征点1的位置为pa，在全景图b中，特征点1的位置为pb，其中，
Figure BDA0002313785860000092
则：
pb′＝Habpa；
其中，
Figure BDA0002313785860000101
Figure BDA0002313785860000102
在本实施例中，可以将Hab归一化，整体除以h33，所以Hab就是8个未知数，需要至少4个特征点来解算。
此外，在步骤S603之后，步骤S502之前，根据当前全景图与上一采集时刻的全景图之间的变换矩阵，更新当前全景图中目标对应的目标框，例如，根据图7中的全景图b与全景图a之间的变换矩阵Hab，以及全景图a中的特征点，更新全景图b中的目标框，获得新的目标框。
进一步的，根据当前全景图与上一全景图之间的变换矩阵，更新当前全景图中目标对应的目标框之后，步骤S502之前，采用SIFT、SURF或GLOH从当前全景图的更新目标框中提取新的特征点的特征描述子，比如，全景图b中的特征点5，就是更新目标框中新加入的特征点(上一幅全景图的目标框中不存在该新加入的特征点)，再采用SIFT、SURF或GLOH图区特征点5的特征描述子。而全景图a中的特征点4在全景图b中观测不到，就去除。全景图c，重复全景图a至全景图b的步骤，去掉观测不到的特征点1，新加入特征点6。
当然，在实际使用过程中，计算相邻两幅全景图之间的变换矩阵至少需要4个点，上述实施例只是举例说明更新过程，实际过程中也每幅全景图不会只提取3个特征点，一般对每幅全景图提取几十、上百个特征点。本实施例中，可根据需要调整全景图数量、特征点的数量等。
步骤S502具体包括：根据变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法(集束调整算法)估算当前全景图对应的特征点的三维坐标，及当前全景图与下一采集时刻的全景图之间的位姿关系。
一般拍摄模块300的模型：
其中：
[u,v,1]T表示Homogeneous image coordinates(相机坐标系)中的2D点；
[xw,yw,zw,1]T表示World coordinates(世界坐标系，包括X轴、Y轴和Z轴)中的3D点；
矩阵K称为Camera calibration matrix，即每个拍摄模块300的内参IntrinsicParameters；
对于Finite projective camera来说Intrinsic Matrix K包含了5个内参
Figure BDA0002313785860000112
其中，αx＝fmx，αy＝fmy，f为拍摄模块300的焦距，mx、my分别为X轴和Y轴方向上单位距离的像素数，γ为X轴和Y轴之间的畸变参数(例如，当拍摄模块300为CCD相机时，像素非正方形)，μ0、v0为光心位置；R为拍摄模块300在两个相邻时刻所采集的两幅图像之间的旋转变换关系R(Rotation，即旋转变换矩阵)；T(Translation)为两个相邻时刻所采集的两幅图像之间的位移变换关系；R和T为拍摄模块300的外参(ExtrinsicMatrix)，表达的是三维空间中，世界坐标系到相机坐标系的旋转与位移变换(Transform)。
本实施例中，位姿关系包括相邻两幅全景图之间的旋转变换关系R以及平移变换关系T。其中，Bundle Adjustment算法的公式如下：
在公式(3)中，n个3D点在m个view(m幅连拍全景图上，能够连续track的n个3D点)；
vij：如果特征点i在第j幅全景图(image j)上有映射，则vij＝1，否则vij＝0；
aj为每个image j的参数，包括R和T，以及拍摄模块内参K(这里是同一个拍摄模块300连拍的多幅全景图，故K不变)；
每个3D点用bi表示，第i个点bi在第j幅全景图上的投影即为xij；
Q(aj,bi):点i在image j上，通过aj计算的预计投影(predicted projection)；
向量xij：第j幅全景图(image j)上的第i个特征点的真实投影(projection)；
d(x,y):向量x和向量y之间的欧式距离。
针对上述步骤中，KLT追踪的特征点使用Bundle Adjustment算法，计算出每个3D点的相对位置(无scale)，即bi，以及每幅全景图的位姿关系，即aj。
为了减少迭代次数，加快Bundle Adjustment算法收敛时间，同时减少出错的概率，进一步的，在根据变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算当前全景图对应的特征点的三维坐标，及当前全景图与下一采集时刻的全景图之间的位姿关系之前，通过无人机上的视觉模块(如VO，Visual Odometry，或者，VIO，Visual Inertial Odometry)和惯性测量单元(IMU、Inertial measurement unit)、或者无人机上的导航系统(例如，GPS或北斗等)和惯性测量单元、或者无人机上的视觉模块、导航系统和惯性测量单元，获得相邻全景图之间的位姿关系。根据变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算当前全景图对应的特征点的三维坐标，及当前全景图与下一采集时刻的全景图之间的位姿关系，具体包括：将位姿关系作为Bundle Adjustment的初始值；根据变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，估算当前全景图对应的特征点的三维坐标，及当前全景图与下一采集时刻的全景图之间的位姿关系。本实施例首先通过无人机上的视觉模块和惯性测量单元、或者无人机上的导航系统和惯性测量单元、或者无人机上的视觉模块、导航系统和惯性测量单元给出两幅全景图之间的粗略位姿关系，把这个粗略位姿关系作为Bundle Adjustment算法的初始值，代入计算，减少迭代次数，加快算法收敛时间，同时减少出错的概率。
此外，还需要说明的是，当前全景图对应的特征点的三维坐标，及当前全景图与下一采集时刻的全景图之间的位姿关系的估算也可采用其他算法，不限于本实施例的BundleAdjustment算法。
至此，即可确定目标的中心位置，根据Bundle Adjustment算法获得的结果是以第一幅全景图的位置作为坐标原点，接着，需要将整体建模得到的特征点的特征描述子全部转换到以目标的中心为起始坐标的坐标系上，从而获得目标的三维模型(以特征描述子、特征向量的形式存储)。
在后续无人机环绕目标飞行过程中，可将当前图像的特征向量与三维模型中的特征向量相比较，从而得出相对的位置，完成拍摄模块300朝向的调整与拍摄，保证朝向目标的特定位置(如中心位置)拍摄，且由位置规划、反馈，可以实时修正无人机的飞行轨迹，从而更加精准、平滑的完成整个飞行过程，具体可参见步骤S102至步骤S103。
步骤S102：控制无人机绕目标运动；
该步骤中，无人机可环绕目标运动，例如，无人机可环绕目标做圆周运动，无人机也可环绕目标做椭圆形或其他形状的环绕运动。
由于无人机远距离环绕目标运动时，无人机能够根据拍摄模块300拍摄到的图像较为快速确定其与目标之间的相对位置，从而控制无人机的飞行轨迹和拍摄模块300的朝向，而无人机近距离环绕目标运动时，无人机根据拍摄模块300拍摄到的图像不能确定其与目标之间的相对位置，故无法随时调整无人机的飞行轨迹和拍摄模块300的朝向，以获得较为合适的构图。故本实施例中，相对步骤S101中的无人机绕目标运动，步骤S102中无人机环绕目标运动的距离较小，拍摄模块300拍摄到的为目标的局部图像。
步骤S103：获取无人机上的拍摄模块300拍摄的实时图像；
步骤S103中，可获取拍摄模块300针对同一目标采集的不同角度的实时图像，也可获取拍摄模块300针对同一目标在不同时刻采集的全景图，具体原理与步骤S302类似，此处不再赘述。
步骤S104：根据实时图像、目标在不同角度的二维信息和各二维信息对应的三维信息，调整无人机的飞行轨迹和/或拍摄模块300的拍摄方向。
其中，步骤S104之前，采用SIFT、SURF或GLOH从实时图像中提取实时图像对应的特征点的特征描述子，实时图像对应的特征点的特征描述子的提取过程与步骤S303中的提取全景图中的特征点的特征描述子的过程类似，此处不再赘述。需要说明的是，本步骤中，提取实时图像对应的特征点的特征描述子所采用的算法需要与步骤S303中的提取全景图中的特征点的特征描述子所采用的算法相一致。
参见图8，步骤S104可以包括但不限于如下步骤：
步骤S801：针对实时图像中的每一特征点，查找三维模型中与该特征点相匹配的特征点的二维信息；
该步骤中，二维信息以特征向量形式体现，具体的，将每一特征点的特征向量与三维模型中的所有特征向量进行比较，获得三维模型中与该特征点最相近的特征向量，从而确定出三维模型中与该特征点相匹配的特征点的二维信息。具体的，针对实时图像中的每一特征点，查找三维模型中与该特征点最接近的特征点的二维信息。如果只是找最匹配的特征点的二维信息，那一定会在三维模型中找到一个最接近的特征点，但该特征点与最接近的特征点是否误匹配，需要进一步判定。比如，数据库包括数字1、5、11、17、25，给定一个数字1.2，那么最接近的是1，认为1.2与1匹配没问题，但是如果给定数字1000，那也能在数据库中找到最接近的数字为25，但明显25与1000相差甚多，并不能算作匹配。在本实施例中，为了避免误匹配，需要做个判定，具体过程包括：
(1)针对实时图像中的每一特征点，确定三维模型中与该特征点最接近的特征点的二维信息，及三维模型中与该特征点第二接近的特征点的二维信息；
(2)根据该特征点至该特征点所匹配到的最接近的特征点的的距离d最近、及该特征点至该特征点所匹配到的第二接近的特征点的的距离d次近，判断该特征点所匹配到的最接近的特征点的是否匹配准确。具体的，d最近是根据该特征点的二维信息和该特征点所匹配到的最接近的特征点的二维信息计算获得的，d次近是根据该特征点的二维信息和该特征点所匹配到的第二接近的特征点的二维信息计算获得的。d最近、d次近的计算方式与现有二维坐标系中两个坐标点之间的距离计算方式相类似，此处不再赘述。
在该步骤中，当d最近、及d次近之间的比值大于比值阈值Td时(即满足下述实施例中的公式4)，确定出该特征点所匹配到的最接近的特征点的匹配准确；否则，匹配错误。
Figure BDA0002313785860000141
其中，比值阈值Td为工程经验值，可根据实际需要调整。
步骤S802：根据查找到的与该特征点相匹配的特征点所对应的三维信息，确定该特征点的相对位置，及实时图像的相对姿态；
具体的，根据查找到的与该特征点相匹配的特征点所对应的三维信息，采用PnP算法确定该特征点的相对位置，及实时图像的相对姿态，即获得了该特征点的三维信息。
PnP算法是通过一系列世界坐标系(World Coordinates)的3D点以及图像中对应的像素坐标系(Pixel Coordinates)2D点，估算拍摄模块300姿态，也就是需要的位置信息。
Figure BDA0002313785860000151
其中，[xc,yc,zc,1]T表示Camera Coordinates(相机坐标系)中的3D点，公式(5)中的其他参数可参见公式(2)，此处不再赘述。
步骤S803：根据各特征点的相对位置，调整无人机的飞行轨迹；
步骤S803中的相对位置可以包括高度、水平距离等，从而获得无人机当前相对目标的位置。例如，在一实施例中，步骤S802能够获得实时图像中每一特征点相对目标的中心位置的高度，根据实时图像中每一特征点相对目标的中心位置的高度，来调整无人机的飞行轨迹。具体的，需要控制无人机从目标的底部环绕运动至目标的顶部，环绕的圈数为10圈，则无人机每圈需要飞行目标高度的1/10，本实施例根据确定的出实时图像中每一特征点相对目标的中心位置的高度，判断出无人机当前至目标底部的高度，再根据判断出的无人机当前至目标底部的高度，调整无人机的飞行轨迹，确保无人机飞行的准确性。
步骤S804：根据实时图像的相对姿态，调整拍摄模块300的拍摄方向，使得拍摄模块300的拍摄方向朝向目标的特定位置。
在该步骤中，相对姿态能够反映出无人机上的拍摄模块300相对目标特定位置的方向。其中，特定位置可以为目标的中心位置，也可以为目标的顶点位置。在本实施例中，特定位置为目标的中心位置，无人机飞行过程中，根据实时图像的相对姿态，控制云台200的姿态(以三轴云台200为例，可控制三轴云台200的偏航角、俯仰角和横滚角，实现对云台200姿态的控制)，从而调整拍摄模块300朝向，确保拍摄模块300的镜头始终朝向目标的中心位置，确保拍摄模块300所拍摄到的图像是变化平缓的。
本实施例的拍摄方法的执行主体为无人机，其中，步骤S101可以由无人机上的图像处理单元和飞行控制器100配合执行，具体的，飞行控制器100执行步骤S301，图像处理单元执行步骤S302和步骤S303。步骤S102和步骤S103可由飞行控制器100、和/或云台控制器执行。步骤S104可由图像处理单元和飞行控制器100，具体的，步骤S801和步骤S802可由图像处理单元执行，步骤S803和步骤S804可由飞行控制器100执行。当然，步骤S101、步骤S102、步骤S103和步骤S104也可由设于无人机上的同一独立控制器执行。
本发明实施例的拍摄方法，通过视觉技术获得目标的三维模型，在无人机环绕目标运动(尤其是近距离环绕目标运动)的过程中，即使拍摄到的仅仅为目标的局部信息，也可根据三维模型确定出无人机当前与目标之间的位姿关系，从而根据确定出的无人机当前与目标之间的位姿关系，自动调整无人机的飞行轨迹和/或拍摄模块300的拍摄方向，使得无人机的构图更加专业，本发明的拍摄方法尤其适用于针对大型目标的近距离环绕拍摄。
与上述实施例的拍摄方法相对应，本发明实施例还提供一种拍摄装置。图9是本发明实施例的一种拍摄装置的结构框图。参见图9，该拍摄装置包括：拍摄模块300、处理器110以及存储装置120，其中所述拍摄模块300与处理器110电连接。
所述存储装置120可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置120也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储装置120还可以包括上述种类的存储器的组合。
所述处理器110可以是中央处理器(central processing unit，CPU)。所述处理器110还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logicdevice，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。在本实施例中，处理器110可包括一个或多个。可选的，处理器110可以包括图像处理单元、飞行控制器100和/或云台控制器。
所述处理器110，调用所述存储装置120中存储的程序指令，当所述程序指令被执行时，用于：
基于视觉技术建立目标的三维模型，其中，所述三维模型包括所述目标在不同角度的二维信息以及各二维信息对应的三维信息；
获取所述无人机上的拍摄模块300跟随无人机绕所述目标移动而拍摄的实时图像；
根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，使所述无人机调整飞行轨迹和/或调整所述拍摄模块300的拍摄方向。
在一实施例中，所述处理器110用于：获取所述拍摄模块300跟随所述无人机以特定具有的半径绕所述目标运动并针对所述目标采集的不同角度的全景图；根据所获取的不同角度的全景图，获得所述目标在不同角度的二维信息和各二维信息对应的三维信息。
在一实施例中，所述二维信息为特征点的特征描述子，所述三维信息包括每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系；所述处理器110用于：从每一幅全景图中提取对应的特征点的特征描述子；根据各幅全景图的特征描述子，确定每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系。
在一实施例中，所述处理器110从每一幅全景图中提取对应的特征点的特征描述子之前，还用于：接收终端设备发送的待跟踪目标；根据所接收到的目标，确定出每一幅全景图中所述目标对应的目标框。
在一实施例中，所述处理器110根据所接收到的目标，确定出每一幅全景图中所述目标对应的目标框之后，从每一幅全景图中提取对应的特征点的特征描述子之前，还用于：对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，获得对应的像素块。
在一实施例中，所述处理器110对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，获得对应的像素块之后，还用于：对各全景图对应的像素块的边界像素点进行调整。
在一实施例中，所述处理器110用于：当所述边界像素点位于对应的目标框的像素区域的占比大于或等于预设阈值时，确定所述边界像素点为所述像素块的一部分。
在一实施例中，所述处理器110用于：采用SLIC、Graph-based、NCut、Turbopixel、Quick-shift、Graph-cut a和Graph-cut b中的至少一种对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理。
在一实施例中，所述处理器110用于：采用SIFT、SURF或GLOH从每一幅全景图对应的像素块获取各全景图对应的特征点的特征描述子。
在一实施例中，所述处理器110用于：根据各幅全景图对应的特征点的特征描述子，确定采集时刻相邻的两幅全景图之间的变换矩阵；根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
在一实施例中，所述处理器110用于：针对每一特征点，基于特征点跟踪算法从获取的所有全景图中确定该特征点相关联的目标全景图；根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的映射关系；根据多个特征点在相邻两幅目标全景图中的位置的映射关系，确定采集时刻相邻的两幅全景图之间的变换矩阵。
在一实施例中，所述特征点跟踪算法为KLT。
在一实施例中，所述处理器110用于：根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的线性映射关系。
在一实施例中，所述处理器110根据当前第二目标全景图对应的特征点在当前第二目标全景图的位置、与当前第二目标全景图对应的特征点在上一采集时刻的全景图中的位置之间的映射关系，确定所述当前第二目标全景图与所述上一采集时刻的全景图之间的变换矩阵之后，根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，还用于：根据当前全景图与上一采集时刻的全景图之间的变换矩阵，更新当前全景图中所述目标对应的目标框。
在一实施例中，所述处理器110根据当前全景图与上一全景图之间的变换矩阵，更新当前全景图中所述目标对应的目标框之后，根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，
还用于：采用SIFT、SURF或GLOH从当前全景图的更新目标框中提取新的特征点的特征描述子。
在一实施例中，所述处理器110用于：根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用BundleAdjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
在一实施例中，所述处理器110根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，还用于：通过所述无人机上的视觉模块和惯性测量单元、或者所述无人机上的导航系统和惯性测量单元、或者所述无人机上的视觉模块、导航系统和惯性测量单元，获得相邻全景图之间的位姿关系；所述根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系，包括：将所述位姿关系作为所述BundleAdjustment的初始值；根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
在一实施例中，所述处理器110根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，使所述无人机调整飞行轨迹和/或调整所述拍摄模块的拍摄方向之前，还用于：采用SIFT、SURF或GLOH从所述实时图像中提取所述实时图像对应的特征点的特征描述子。
在一实施例中，所述处理器110用于：针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点相匹配的特征点的二维信息；根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，确定该特征点的相对位置，及所述实时图像的相对姿态；根据各特征点的相对位置，使所述无人机调整飞行轨迹；根据所述实时图像的相对姿态，调整所述拍摄模块的拍摄方向，使得所述拍摄模块的拍摄方向朝向所述目标的特定位置。
在一实施例中，所述处理器110用于：针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点最接近的特征点的二维信息。
在一实施例中，所述处理器110用于：针对所述实时图像中的每一特征点，确定所述三维模型中与该特征点最接近的特征点的二维信息，及所述三维模型中与该特征点第二接近的特征点的二维信息；根据该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离，判断该特征点所匹配到的最接近的特征点是否匹配准确。
在一实施例中，所述处理器110用于：当该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离之间的比值大于比值阈值时，确定出该特征点所匹配到的最接近的特征点匹配准确。
在一实施例中，所述处理器110用于：根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，采用PnP算法确定该特征点的相对位置，及所述实时图像的相对姿态。
需要说明的是，可参考上述实施例的拍摄方法对本实施例的拍摄装置进一步解释。
本发明实施例的拍摄装置，通过视觉技术获得目标的三维模型，在无人机环绕目标运动(尤其是近距离环绕目标运动)的过程中，即使拍摄到的仅仅为目标的局部信息，也可根据三维模型确定出无人机当前与目标之间的位姿关系，从而根据确定出的无人机当前与目标之间的位姿关系，自动调整无人机的飞行轨迹和/或拍摄装置的拍摄方向，使得无人机的构图更加专业，本发明的拍摄装置尤其适用于针对大型目标的近距离环绕拍摄。
另外，参见图10，本发明实施例还提供一种无人机，包括机身(未显示)、动力组件400以及处理器110，其中，机身搭载有拍摄模块，动力组件400用于驱动所述机身移动。本实施例的处理器110设于所述机身内，并且所述处理器110与所述动力组件400及所述拍摄模块分别电连接。
所述处理器110可以是中央处理器(central processing unit，CPU)。所述处理器110还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logicdevice，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。在本实施例中，处理器110可包括一个或多个。可选的，处理器110可以包括图像处理单元、飞行控制器100和/或云台控制器。
所述处理器110可以实现如本发明图1、图3、图5、图6以及图8实施例中所示的相应方法。
具体的，所述处理器110，用于：基于视觉技术建立目标的三维模型，其中，所述三维模型包括所述目标在不同角度的二维信息以及各二维信息对应的三维信息；
控制所述无人机绕所述目标运动；
获取所述无人机上的拍摄模块拍摄的实时图像；
根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，调整所述无人机的飞行轨迹和/或所述拍摄模块的拍摄方向。
在一实施例中，所述处理器110用于：获取所述拍摄模块针对所述目标采集的不同角度的全景图；根据所获取的不同角度的全景图，获得所述目标在不同角度的二维信息和各二维信息对应的三维信息。
在一实施例中，所述二维信息为特征点的像素坐标，所述三维信息包括每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系，所述像素坐标采用特征描述子表征；所述处理器110用于：从每一幅全景图中提取对应的特征点的特征描述子；根据各幅全景图的特征描述子，确定每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系。
在一实施例中，所述处理器110从每一幅全景图中提取对应的特征点的特征描述子之前，还用于：接收终端设备发送的待跟踪目标；根据所接收到的目标，确定出每一幅全景图中所述目标对应的目标框。
在一实施例中，所述处理器110根据所接收到的目标，确定出每一幅全景图中所述目标对应的目标框之后，从每一幅全景图中提取对应的特征点的特征描述子之前，还用于：对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，获得对应的像素块。
在一实施例中，所述处理器110对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，获得对应的像素块之后，还用于：对各全景图对应的像素块的边界像素点进行调整。
在一实施例中，所述处理器110用于：当所述边界像素点位于对应的目标框的像素区域的占比大于或等于预设阈值时，确定所述边界像素点为所述像素块的一部分。
在一实施例中，所述处理器110用于：采用SLIC、Graph-based、NCut、Turbopixel、Quick-shift、Graph-cut a和Graph-cut b中的至少一种对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理。
在一实施例中，所述处理器110用于：采用SIFT、SURF或GLOH从每一幅全景图对应的像素块获取各全景图对应的特征点的特征描述子。
在一实施例中，所述处理器110用于：根据各幅全景图对应的特征点的特征描述子，确定采集时刻相邻的两幅全景图之间的变换矩阵；根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
在一实施例中，所述处理器110用于：针对每一特征点，基于特征点跟踪算法从获取的所有全景图中确定该特征点相关联的目标全景图；根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的映射关系；根据多个特征点在相邻两幅目标全景图中的位置的映射关系，确定采集时刻相邻的两幅全景图之间的变换矩阵。
在一实施例中，所述特征点跟踪算法为KLT。
在一实施例中，所述处理器110用于：根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的线性映射关系。
在一实施例中，所述处理器110根据当前第二目标全景图对应的特征点在当前第二目标全景图的位置、与当前第二目标全景图对应的特征点在上一采集时刻的全景图中的位置之间的映射关系，确定所述当前第二目标全景图与所述上一采集时刻的全景图之间的变换矩阵之后，根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，还用于：根据当前全景图与上一采集时刻的全景图之间的变换矩阵，更新当前全景图中所述目标对应的目标框。
在一实施例中，所述处理器110根据当前全景图与上一全景图之间的变换矩阵，更新当前全景图中所述目标对应的目标框之后，根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，还用于：采用SIFT、SURF或GLOH从当前全景图的更新目标框中提取新的特征点的特征描述子。
在一实施例中，所述处理器110用于：根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用BundleAdjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
在一实施例中，所述处理器110根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，还用于：通过所述无人机上的视觉模块和惯性测量单元、或者所述无人机上的导航系统和惯性测量单元、或者所述无人机上的视觉模块、导航系统和惯性测量单元，获得相邻全景图之间的位姿关系；所述根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系，包括：将所述位姿关系作为所述BundleAdjustment的初始值；根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
在一实施例中，所述处理器110根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，调整所述无人机的飞行轨迹和/或所述拍摄模块的拍摄方向之前，还用于：采用SIFT、SURF或GLOH从所述实时图像中提取所述实时图像对应的特征点的特征描述子。
在一实施例中，所述处理器110用于：针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点相匹配的特征点的二维信息；根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，确定该特征点的相对位置，及所述实时图像的相对姿态；根据各特征点的相对位置，调整所述无人机的飞行轨迹；根据所述实时图像的相对姿态，调整所述拍摄模块的拍摄方向，使得所述拍摄模块的拍摄方向朝向所述目标的特定位置。
在一实施例中，所述处理器110用于：针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点最接近的特征点的二维信息。
在一实施例中，所述处理器110用于：针对所述实时图像中的每一特征点，确定所述三维模型中与该特征点最接近的特征点的二维信息，及所述三维模型中与该特征点第二接近的特征点的二维信息；根据该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离，判断该特征点所匹配到的最接近的特征点是否匹配准确。
在一实施例中，所述处理器110用于：当该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离之间的比值大于比值阈值时，确定出该特征点所匹配到的最接近的特征点匹配准确。
在一实施例中，所述处理器110用于：根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，采用PnP算法确定该特征点的相对位置，及所述实时图像的相对姿态。
此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器110执行时实现上述实施例的拍摄方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (71)

1.一种拍摄方法，其特征在于，应用于无人机，所述方法包括：
基于视觉技术建立目标的三维模型，其中，所述三维模型包括所述目标在不同角度的二维信息以及各二维信息对应的三维信息；
控制所述无人机绕所述目标运动；
获取所述无人机上的拍摄模块拍摄的实时图像；
根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，调整所述无人机的飞行轨迹和/或所述拍摄模块的拍摄方向。
2.根据权利要求1所述的方法，其特征在于，所述基于视觉技术建立目标的三维模型，包括：
控制所述无人机以大于特定距离的半径绕所述目标运动；
获取所述拍摄模块针对所述目标采集的不同角度的全景图；
根据所获取的不同角度的全景图，获得所述目标在不同角度的二维信息和各二维信息对应的三维信息。
3.根据权利要求2所述的方法，其特征在于，所述二维信息为特征点的像素坐标，所述三维信息包括每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系，所述像素坐标采用特征描述子表征；
所述根据所获取的不同角度的全景图，获得所述目标不同角度的二维信息和各二维信息对应的三维信息，包括：
从每一幅全景图中提取对应的特征点的特征描述子；
根据各幅全景图的特征描述子，确定每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系。
4.根据权利要求3所述的方法，其特征在于，所述从每一幅全景图中提取对应的特征点的特征描述子之前，还包括：
接收终端设备发送的待跟踪目标；
根据所接收到的目标，确定出每一幅全景图中所述目标对应的目标框。
5.根据权利要求4所述的方法，其特征在于，所述根据所接收到的目标，确定出每一幅全景图中所述目标对应的目标框之后，所述从每一幅全景图中提取对应的特征点的特征描述子之前，还包括：
对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，获得对应的像素块。
6.根据权利要求5所述的方法，其特征在于，所述对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，获得对应的像素块之后，还包括：
对各全景图对应的像素块的边界像素点进行调整。
7.根据权利要求6所述的方法，其特征在于，所述对各全景图对应的像素块的边界像素点进行调整，包括：
当所述边界像素点位于对应的目标框的像素区域的占比大于或等于预设阈值时，确定所述边界像素点为所述像素块的一部分。
8.根据权利要求5所述的方法，其特征在于，所述对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，包括：
采用SLIC、Graph-based、NCut、Turbopixel、Quick-shift、Graph-cut a和Graph-cut b中的至少一种对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理。
9.根据权利要求5所述的方法，其特征在于，所述从每一幅全景图中提取对应的特征点的特征描述子，包括：
采用SIFT、SURF或GLOH从每一幅全景图对应的像素块获取各全景图对应的特征点的特征描述子。
10.根据权利要求3所述的方法，其特征在于，所述根据各幅全景图的特征点的特征描述子，确定每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系，包括：
根据各幅全景图对应的特征点的特征描述子，确定采集时刻相邻的两幅全景图之间的变换矩阵；
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
11.根据权利要求10所述的方法，其特征在于，所述根据各幅全景图对应的特征点的特征描述子，确定采集时刻相邻的两幅全景图之间的变换矩阵，包括：
针对每一特征点，基于特征点跟踪算法从获取的所有全景图中确定该特征点相关联的目标全景图；
根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的映射关系；
根据多个特征点在相邻两幅目标全景图中的位置的映射关系，确定采集时刻相邻的两幅全景图之间的变换矩阵。
12.根据权利要求11所述的方法，其特征在于，所述特征点跟踪算法为KLT。
13.根据权利要求11所述的方法，其特征在于，所述根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的映射关系，包括：
根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的线性映射关系。
14.根据权利要求11所述的方法，其特征在于，所述根据多个特征点在相邻两幅目标全景图中的位置的映射关系，确定采集时刻相邻的两幅全景图之间的变换矩阵之后，
所述根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，
还包括：
根据当前全景图与上一采集时刻的全景图之间的变换矩阵，更新当前全景图中所述目标对应的目标框。
15.根据权利要求14所述的方法，其特征在于，所述根据当前全景图与上一全景图之间的变换矩阵，更新当前全景图中所述目标对应的目标框之后，
所述根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，
还包括：
采用SIFT、SURF或GLOH从当前全景图的更新目标框中提取新的特征点的特征描述子。
16.根据权利要求15所述的方法，其特征在于，所述根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系，包括：
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
17.根据权利要求16所述的方法，其特征在于，所述根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，还包括：
通过所述无人机上的视觉模块和惯性测量单元、或者所述无人机上的导航系统和惯性测量单元、或者所述无人机上的视觉模块、导航系统和惯性测量单元，获得相邻全景图之间的位姿关系；
所述根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系，包括：
将所述位姿关系作为所述Bundle Adjustment的初始值；
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
18.根据权利要求1所述的方法，其特征在于，所述根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，调整所述无人机的飞行轨迹和/或所述拍摄模块的拍摄方向之前，还包括：
采用SIFT、SURF或GLOH从所述实时图像中提取所述实时图像对应的特征点的特征描述子。
19.根据权利要求18所述的方法，其特征在于，所述根据所述实时图像和所述目标的三维信息，调整所述无人机的飞行轨迹和/或所述拍摄模块的拍摄方向，包括：
针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点相匹配的特征点的二维信息；
根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，确定该特征点的相对位置，及所述实时图像的相对姿态；
根据各特征点的相对位置，调整所述无人机的飞行轨迹；
根据所述实时图像的相对姿态，调整所述拍摄模块的拍摄方向，使得所述拍摄模块的拍摄方向朝向所述目标的特定位置。
20.根据权利要求19所述的方法，其特征在于，所述针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点相匹配的特征点的二维信息，包括：
针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点最接近的特征点的二维信息。
21.根据权利要求20所述的方法，其特征在于，所述针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点最接近的特征点的二维信息，包括：
针对所述实时图像中的每一特征点，确定所述三维模型中与该特征点最接近的特征点的二维信息，及所述三维模型中与该特征点第二接近的特征点的二维信息；
根据该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离，判断该特征点所匹配到的最接近的特征点是否匹配准确。
22.根据权利要求21所述的方法，其特征在于，所述根据该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离，判断该特征点所匹配到的最接近的特征点是否匹配准确，包括：
当该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离之间的比值大于比值阈值时，确定出该特征点所匹配到的最接近的特征点匹配准确。
23.根据权利要求19所述的方法，其特征在于，所述根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，确定该特征点的相对位置，及所述实时图像的相对姿态，包括：
根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，采用PnP算法确定该特征点的相对位置，及所述实时图像的相对姿态。
24.一种拍摄装置，其特征在于，应用于无人机，所述装置包括：
拍摄模块、存储装置和处理器，所述拍摄模块和所述处理器电连接；
所述存储装置，用于存储程序指令；
所述处理器，调用所述程序指令，当所述程序指令被执行时，用于：
基于视觉技术建立目标的三维模型，其中，所述三维模型包括所述目标在不同角度的二维信息以及各二维信息对应的三维信息；
获取所述拍摄模块跟随所述无人机绕所述目标移动而拍摄的实时图像；
根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，使所述无人机调整飞行轨迹和/或调整所述拍摄模块的拍摄方向。
25.根据权利要求24所述的装置，其特征在于，所述处理器用于：
获取所述拍摄模块跟随所述无人机以特定距离的半径绕所述目标运动并针对所述目标采集的不同角度的全景图；
根据所获取的不同角度的全景图，获得所述目标在不同角度的二维信息和各二维信息对应的三维信息。
26.根据权利要求25所述的装置，其特征在于，所述二维信息为特征点的像素坐标，所述三维信息包括每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系，所述像素坐标采用特征描述子表征；
所述处理器用于：
从每一幅全景图中提取对应的特征点的特征描述子；
根据各幅全景图的特征描述子，确定每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系。
27.根据权利要求26所述的装置，其特征在于，所述处理器从每一幅全景图中提取对应的特征点的特征描述子之前，还用于：
接收终端设备发送的待跟踪目标；
根据所接收到的目标，确定出每一幅全景图中所述目标对应的目标框。
28.根据权利要求27所述的装置，其特征在于，所述处理器根据所接收到的目标，确定出每一幅全景图中所述目标对应的目标框之后，从每一幅全景图中提取对应的特征点的特征描述子之前，还用于：
对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，获得对应的像素块。
29.根据权利要求28所述的装置，其特征在于，所述处理器对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，获得对应的像素块之后，还用于：
对各全景图对应的像素块的边界像素点进行调整。
30.根据权利要求29所述的装置，其特征在于，所述处理器用于：
当所述边界像素点位于对应的目标框的像素区域的占比大于或等于预设阈值时，确定所述边界像素点为所述像素块的一部分。
31.根据权利要求28所述的装置，其特征在于，所述处理器用于：
采用SLIC、Graph-based、NCut、Turbopixel、Quick-shift、Graph-cut a和Graph-cut b中的至少一种对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理。
32.根据权利要求28所述的装置，其特征在于，所述处理器用于：
采用SIFT、SURF或GLOH从每一幅全景图对应的像素块获取各全景图对应的特征点的特征描述子。
33.根据权利要求26所述的装置，其特征在于，所述处理器用于：
根据各幅全景图对应的特征点的特征描述子，确定采集时刻相邻的两幅全景图之间的变换矩阵；
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
34.根据权利要求33所述的装置，其特征在于，所述处理器用于：
针对每一特征点，基于特征点跟踪算法从获取的所有全景图中确定该特征点相关联的目标全景图；
根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的映射关系；
根据多个特征点在相邻两幅目标全景图中的位置的映射关系，确定采集时刻相邻的两幅全景图之间的变换矩阵。
35.根据权利要求34所述的装置，其特征在于，所述特征点跟踪算法为KLT。
36.根据权利要求34所述的装置，其特征在于，所述处理器用于：
根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的线性映射关系。
37.根据权利要求34所述的装置，其特征在于，所述处理器根据当前第二目标全景图对应的特征点在当前第二目标全景图的位置、与当前第二目标全景图对应的特征点在上一采集时刻的全景图中的位置之间的映射关系，确定所述当前第二目标全景图与所述上一采集时刻的全景图之间的变换矩阵之后，
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，
还用于：
根据当前全景图与上一采集时刻的全景图之间的变换矩阵，更新当前全景图中所述目标对应的目标框。
38.根据权利要求37所述的装置，其特征在于，所述处理器根据当前全景图与上一全景图之间的变换矩阵，更新当前全景图中所述目标对应的目标框之后，
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，
还用于：
采用SIFT、SURF或GLOH从当前全景图的更新目标框中提取新的特征点的特征描述子。
39.根据权利要求38所述的装置，其特征在于，所述处理器用于：
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
40.根据权利要求39所述的装置，其特征在于，所述处理器根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，还用于：
通过所述无人机上的视觉模块和惯性测量单元、或者所述无人机上的导航系统和惯性测量单元、或者所述无人机上的视觉模块、导航系统和惯性测量单元，获得相邻全景图之间的位姿关系；
所述根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系，包括：
将所述位姿关系作为所述Bundle Adjustment的初始值；
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
41.根据权利要求24所述的装置，其特征在于，所述处理器根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，使所述无人机调整飞行轨迹和/或调整所述拍摄模块的拍摄方向之前，还用于：
采用SIFT、SURF或GLOH从所述实时图像中提取所述实时图像对应的特征点的特征描述子。
42.根据权利要求41所述的装置，其特征在于，所述处理器用于：
针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点相匹配的特征点的二维信息；
根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，确定该特征点的相对位置，及所述实时图像的相对姿态；
根据各特征点的相对位置，使所述无人机调整飞行轨迹；
根据所述实时图像的相对姿态，调整所述拍摄模块的拍摄方向，使得所述拍摄模块的拍摄方向朝向所述目标的特定位置。
43.根据权利要求42所述的装置，其特征在于，所述处理器用于：
针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点最接近的特征点的二维信息。
44.根据权利要求43所述的装置，其特征在于，所述处理器用于：
针对所述实时图像中的每一特征点，确定所述三维模型中与该特征点最接近的特征点的二维信息，及所述三维模型中与该特征点第二接近的特征点的二维信息；
根据该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离，判断该特征点所匹配到的最接近的特征点是否匹配准确。
45.根据权利要求44所述的装置，其特征在于，所述处理器用于：
当该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离之间的比值大于比值阈值时，确定出该特征点所匹配到的最接近的特征点匹配准确。
46.根据权利要求42所述的装置，其特征在于，所述处理器用于：
根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，采用PnP算法确定该特征点的相对位置，及所述实时图像的相对姿态。
47.根据权利要求24所述的装置，其特征在于，所述处理器包括一个或多个。
48.一种无人机，其特征在于，所述无人机包括：
机身，所述机身搭载有拍摄模块；
动力组件，用于驱动所述机身移动；以及
处理器，设于所述机身内，并且所述处理器与所述动力组件及所述拍摄模块分别电连接；其中，所述处理器用于：
基于视觉技术建立目标的三维模型，其中，所述三维模型包括所述目标在不同角度的二维信息以及各二维信息对应的三维信息；
控制所述无人机绕所述目标运动；
获取所述无人机上的拍摄模块拍摄的实时图像；
根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，调整所述无人机的飞行轨迹和/或所述拍摄模块的拍摄方向。
49.根据权利要求48所述的无人机，其特征在于，所述处理器用于：
获取所述拍摄模块针对所述目标采集的不同角度的全景图；
根据所获取的不同角度的全景图，获得所述目标在不同角度的二维信息和各二维信息对应的三维信息。
50.根据权利要求49所述的无人机，其特征在于，所述二维信息为特征点的像素坐标，所述三维信息包括每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系，所述像素坐标采用特征描述子表征；
所述处理器用于：
从每一幅全景图中提取对应的特征点的特征描述子；
根据各幅全景图的特征描述子，确定每个特征点的三维坐标，及所述不同角度的全景图之间的位姿关系。
51.根据权利要求50所述的无人机，其特征在于，所述处理器从每一幅全景图中提取对应的特征点的特征描述子之前，还用于：
接收终端设备发送的待跟踪目标；
根据所接收到的目标，确定出每一幅全景图中所述目标对应的目标框。
52.根据权利要求51所述的无人机，其特征在于，所述处理器根据所接收到的目标，确定出每一幅全景图中所述目标对应的目标框之后，从每一幅全景图中提取对应的特征点的特征描述子之前，还用于：
对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，获得对应的像素块。
53.根据权利要求52所述的无人机，其特征在于，所述处理器对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理，获得对应的像素块之后，还用于：
对各全景图对应的像素块的边界像素点进行调整。
54.根据权利要求53所述的无人机，其特征在于，所述处理器用于：
当所述边界像素点位于对应的目标框的像素区域的占比大于或等于预设阈值时，确定所述边界像素点为所述像素块的一部分。
55.根据权利要求52所述的无人机，其特征在于，所述处理器用于：
采用SLIC、Graph-based、NCut、Turbopixel、Quick-shift、Graph-cut a和Graph-cut b中的至少一种对所确定出的每一幅全景图中所述目标对应的目标框进行超像素分割处理。
56.根据权利要求52所述的无人机，其特征在于，所述处理器用于：
采用SIFT、SURF或GLOH从每一幅全景图对应的像素块获取各全景图对应的特征点的特征描述子。
57.根据权利要求50所述的无人机，其特征在于，所述处理器用于：
根据各幅全景图对应的特征点的特征描述子，确定采集时刻相邻的两幅全景图之间的变换矩阵；
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
58.根据权利要求57所述的无人机，其特征在于，所述处理器用于：
针对每一特征点，基于特征点跟踪算法从获取的所有全景图中确定该特征点相关联的目标全景图；
根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的映射关系；
根据多个特征点在相邻两幅目标全景图中的位置的映射关系，确定采集时刻相邻的两幅全景图之间的变换矩阵。
59.根据权利要求58所述的无人机，其特征在于，所述特征点跟踪算法为KLT。
60.根据权利要求58所述的无人机，其特征在于，所述处理器用于：
根据该特征点在采集时刻相邻的两幅目标全景图中的特征描述子，确定该特征点在采集时刻相邻的两幅目标全景图中的位置的线性映射关系。
61.根据权利要求58所述的无人机，其特征在于，所述处理器根据当前第二目标全景图对应的特征点在当前第二目标全景图的位置、与当前第二目标全景图对应的特征点在上一采集时刻的全景图中的位置之间的映射关系，确定所述当前第二目标全景图与所述上一采集时刻的全景图之间的变换矩阵之后，
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，
还用于：
根据当前全景图与上一采集时刻的全景图之间的变换矩阵，更新当前全景图中所述目标对应的目标框。
62.根据权利要求61所述的无人机，其特征在于，所述处理器根据当前全景图与上一全景图之间的变换矩阵，更新当前全景图中所述目标对应的目标框之后，
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，确定所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，
还用于：
采用SIFT、SURF或GLOH从当前全景图的更新目标框中提取新的特征点的特征描述子。
63.根据权利要求62所述的无人机，其特征在于，所述处理器用于：
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
64.根据权利要求63所述的无人机，其特征在于，所述处理器根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系之前，还用于：
通过所述无人机上的视觉模块和惯性测量单元、或者所述无人机上的导航系统和惯性测量单元、或者所述无人机上的视觉模块、导航系统和惯性测量单元，获得相邻全景图之间的位姿关系；
所述根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，采用Bundle Adjustment算法估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系，包括：
将所述位姿关系作为所述Bundle Adjustment的初始值；
根据所述变换矩阵、当前全景图对应的特征点的特征描述子、及下一采集时刻的全景图对应的特征点的特征描述子，估算所述当前全景图对应的特征点的三维坐标，及所述当前全景图与所述下一采集时刻的全景图之间的位姿关系。
65.根据权利要求48所述的无人机，其特征在于，所述处理器根据所述实时图像、所述目标在不同角度的二维信息和各二维信息对应的三维信息，调整所述无人机的飞行轨迹和/或所述拍摄模块的拍摄方向之前，还用于：
采用SIFT、SURF或GLOH从所述实时图像中提取所述实时图像对应的特征点的特征描述子。
66.根据权利要求65所述的无人机，其特征在于，所述处理器用于：
针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点相匹配的特征点的二维信息；
根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，确定该特征点的相对位置，及所述实时图像的相对姿态；
根据各特征点的相对位置，调整所述无人机的飞行轨迹；
根据所述实时图像的相对姿态，调整所述拍摄模块的拍摄方向，使得所述拍摄模块的拍摄方向朝向所述目标的特定位置。
67.根据权利要求66所述的无人机，其特征在于，所述处理器用于：
针对所述实时图像中的每一特征点，查找所述三维模型中与该特征点最接近的特征点的二维信息。
68.根据权利要求67所述的无人机，其特征在于，所述处理器用于：
针对所述实时图像中的每一特征点，确定所述三维模型中与该特征点最接近的特征点的二维信息，及所述三维模型中与该特征点第二接近的特征点的二维信息；
根据该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离，判断该特征点所匹配到的最接近的特征点是否匹配准确。
69.根据权利要求68所述的无人机，其特征在于，所述处理器用于：
当该特征点至该特征点所匹配到的最接近的特征点的距离、及该特征点至该特征点所匹配到的第二接近的特征点的距离之间的比值大于比值阈值时，确定出该特征点所匹配到的最接近的特征点匹配准确。
70.根据权利要求66所述的无人机，其特征在于，所述处理器用于：
根据查找到的与该特征点相匹配的特征点的二维信息所对应的三维信息，采用PnP算法确定该特征点的相对位置，及所述实时图像的相对姿态。
71.根据权利要求48所述的无人机，其特征在于，所述处理器包括一个或多个。
CN201880038902.0A 2018-07-18 2018-07-18 拍摄方法、装置和无人机 Pending CN110799921A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/096180 WO2020014909A1 (zh) 2018-07-18 2018-07-18 拍摄方法、装置和无人机

Publications (1)

Publication Number Publication Date
CN110799921A true CN110799921A (zh) 2020-02-14

Family

ID=69163592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880038902.0A Pending CN110799921A (zh) 2018-07-18 2018-07-18 拍摄方法、装置和无人机

Country Status (4)

Country Link
US (1) US20210141378A1 (zh)
EP (1) EP3825954A1 (zh)
CN (1) CN110799921A (zh)
WO (1) WO2020014909A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586360A (zh) * 2020-05-14 2020-08-25 佳都新太科技股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN111698422A (zh) * 2020-06-10 2020-09-22 百度在线网络技术（北京）有限公司 一种全景图像的采集方法、装置、电子设备及存储介质
CN112327946A (zh) * 2020-11-09 2021-02-05 国网山东省电力公司威海供电公司 一种基于最优姿态路径的云台控制方法及其系统
CN113168188A (zh) * 2020-04-28 2021-07-23 深圳市大疆创新科技有限公司 无人机控制方法、运动信息确定方法、装置及无人机
CN113483771A (zh) * 2021-06-30 2021-10-08 北京百度网讯科技有限公司 实景地图的生成方法、装置及系统
CN113688847A (zh) * 2021-08-25 2021-11-23 徐州徐工矿业机械有限公司 一种挖掘机运行模式切换的控制方法、装置和挖掘机
CN114095662A (zh) * 2022-01-20 2022-02-25 荣耀终端有限公司 拍摄指引方法及电子设备
CN115100813A (zh) * 2022-06-07 2022-09-23 慧之安信息技术股份有限公司 基于数字孪生的智慧社区系统
WO2022205294A1 (zh) * 2021-04-01 2022-10-06 深圳市大疆创新科技有限公司 无人机的控制方法、装置、无人机及存储介质
CN115451920A (zh) * 2022-10-27 2022-12-09 南京航空航天大学 一种面向无人自主着降的相对位姿测量方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481327B (zh) * 2017-09-08 2019-03-15 腾讯科技（深圳）有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
WO2021184289A1 (zh) * 2020-03-19 2021-09-23 深圳市大疆创新科技有限公司 对象解算、绕点飞行方法及设备
CN112907662B (zh) * 2021-01-28 2022-11-04 北京三快在线科技有限公司 特征提取方法、装置、电子设备及存储介质
CN115729250A (zh) * 2021-09-01 2023-03-03 中移(成都)信息通信科技有限公司 一种无人机的飞行控制方法、装置、设备及存储介质
CN115578677B (zh) * 2022-10-28 2023-04-18 众芯汉创（北京）科技有限公司 一种基于视频流的隐患抓拍和识别的智能装置
CN116105766B (zh) * 2022-12-06 2024-04-05 国网安徽省电力有限公司马鞍山供电公司 一种基于数据采集的无人机位置综合定位系统
CN116109807B (zh) * 2023-04-11 2023-06-09 深圳市其域创新科技有限公司 一种全景slam方法、装置、计算设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009096893A1 (en) * 2008-02-01 2009-08-06 Imint Image Intelligence Ab Generation of aerial images
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法
CN105388905A (zh) * 2015-10-30 2016-03-09 深圳一电航空技术有限公司 无人机飞行控制方法及装置
CN106485736A (zh) * 2016-10-27 2017-03-08 深圳市道通智能航空技术有限公司 一种无人机全景视觉跟踪方法、无人机以及控制终端
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
CN106603970A (zh) * 2016-11-11 2017-04-26 重庆零度智控智能科技有限公司 视频拍摄方法、系统及无人机
CN106909172A (zh) * 2017-03-06 2017-06-30 重庆零度智控智能科技有限公司 环绕跟踪方法、装置和无人机
US20170244937A1 (en) * 2014-06-03 2017-08-24 Gopro, Inc. Apparatus and methods for aerial video acquisition
CN107168362A (zh) * 2017-05-26 2017-09-15 昊翔电能运动科技(昆山)有限公司 一种监控方法、系统及飞行机器人
CN107300377A (zh) * 2016-11-01 2017-10-27 北京理工大学 一种绕飞轨迹下的旋翼无人机三维目标定位方法
CN107807659A (zh) * 2017-10-24 2018-03-16 北京臻迪科技股份有限公司 一种无人机飞行控制方法及装置
CN108038417A (zh) * 2017-11-14 2018-05-15 上海歌尔泰克机器人有限公司 云台控制方法、装置及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3549332B2 (ja) * 1996-05-24 2004-08-04 日本放送協会 自動撮影カメラシステム
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
EP2849150A1 (en) * 2013-09-17 2015-03-18 Thomson Licensing Method for capturing the 3D motion of an object, unmanned aerial vehicle and motion capture system
CN106296801B (zh) * 2015-06-12 2019-11-26 联想(北京)有限公司 一种建立物体三维图像模型的方法及电子设备
CN205263655U (zh) * 2015-08-03 2016-05-25 余江 一种用于自动生成全景照片的系统、无人飞行器及地面站
CN105136064A (zh) * 2015-09-13 2015-12-09 维希艾信息科技（无锡）有限公司 一种运动目标三维尺寸检测系统及其方法
CN106506956A (zh) * 2016-11-17 2017-03-15 歌尔股份有限公司 基于无人机的跟踪拍摄方法、跟踪拍摄装置及系统
CN107124606A (zh) * 2017-05-31 2017-09-01 东莞市妙音广告传媒有限公司 基于无人机航拍的数字视频广告远程拍摄方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009096893A1 (en) * 2008-02-01 2009-08-06 Imint Image Intelligence Ab Generation of aerial images
US20170244937A1 (en) * 2014-06-03 2017-08-24 Gopro, Inc. Apparatus and methods for aerial video acquisition
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法
CN105388905A (zh) * 2015-10-30 2016-03-09 深圳一电航空技术有限公司 无人机飞行控制方法及装置
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
CN106485736A (zh) * 2016-10-27 2017-03-08 深圳市道通智能航空技术有限公司 一种无人机全景视觉跟踪方法、无人机以及控制终端
CN107300377A (zh) * 2016-11-01 2017-10-27 北京理工大学 一种绕飞轨迹下的旋翼无人机三维目标定位方法
CN106603970A (zh) * 2016-11-11 2017-04-26 重庆零度智控智能科技有限公司 视频拍摄方法、系统及无人机
CN106909172A (zh) * 2017-03-06 2017-06-30 重庆零度智控智能科技有限公司 环绕跟踪方法、装置和无人机
CN107168362A (zh) * 2017-05-26 2017-09-15 昊翔电能运动科技(昆山)有限公司 一种监控方法、系统及飞行机器人
CN107807659A (zh) * 2017-10-24 2018-03-16 北京臻迪科技股份有限公司 一种无人机飞行控制方法及装置
CN108038417A (zh) * 2017-11-14 2018-05-15 上海歌尔泰克机器人有限公司 云台控制方法、装置及系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168188A (zh) * 2020-04-28 2021-07-23 深圳市大疆创新科技有限公司 无人机控制方法、运动信息确定方法、装置及无人机
CN111586360B (zh) * 2020-05-14 2021-09-10 佳都科技集团股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN111586360A (zh) * 2020-05-14 2020-08-25 佳都新太科技股份有限公司 一种无人机投影方法、装置、设备及存储介质
WO2021227359A1 (zh) * 2020-05-14 2021-11-18 佳都新太科技股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN111698422B (zh) * 2020-06-10 2022-01-25 百度在线网络技术（北京）有限公司 一种全景图像的采集方法、装置、电子设备及存储介质
CN111698422A (zh) * 2020-06-10 2020-09-22 百度在线网络技术（北京）有限公司 一种全景图像的采集方法、装置、电子设备及存储介质
CN112327946A (zh) * 2020-11-09 2021-02-05 国网山东省电力公司威海供电公司 一种基于最优姿态路径的云台控制方法及其系统
WO2022205294A1 (zh) * 2021-04-01 2022-10-06 深圳市大疆创新科技有限公司 无人机的控制方法、装置、无人机及存储介质
CN113483771A (zh) * 2021-06-30 2021-10-08 北京百度网讯科技有限公司 实景地图的生成方法、装置及系统
CN113483771B (zh) * 2021-06-30 2024-01-30 北京百度网讯科技有限公司 实景地图的生成方法、装置及系统
CN113688847A (zh) * 2021-08-25 2021-11-23 徐州徐工矿业机械有限公司 一种挖掘机运行模式切换的控制方法、装置和挖掘机
CN114095662A (zh) * 2022-01-20 2022-02-25 荣耀终端有限公司 拍摄指引方法及电子设备
CN115100813A (zh) * 2022-06-07 2022-09-23 慧之安信息技术股份有限公司 基于数字孪生的智慧社区系统
CN115100813B (zh) * 2022-06-07 2023-02-17 慧之安信息技术股份有限公司 基于数字孪生的智慧社区系统
CN115451920A (zh) * 2022-10-27 2022-12-09 南京航空航天大学 一种面向无人自主着降的相对位姿测量方法
CN115451920B (zh) * 2022-10-27 2023-03-14 南京航空航天大学 一种面向无人自主着降的相对位姿测量方法

Also Published As

Publication number Publication date
US20210141378A1 (en) 2021-05-13
EP3825954A1 (en) 2021-05-26
WO2020014909A1 (zh) 2020-01-23

Similar Documents

Publication Publication Date Title
US20210141378A1 (en) Imaging method and device, and unmanned aerial vehicle
US11830163B2 (en) Method and system for image generation
US10871258B2 (en) Method and system for controlling gimbal
US11070725B2 (en) Image processing method, and unmanned aerial vehicle and system
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
EP3028252B1 (en) Rolling sequential bundle adjustment
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
WO2019119328A1 (zh) 一种基于视觉的定位方法及飞行器
CN112444242B (zh) 一种位姿优化方法及装置
JP2014529727A (ja) 自動シーン較正
WO2021035731A1 (zh) 无人飞行器的控制方法、装置及计算机可读存储介质
CN110223380B (zh) 融合航拍与地面视角图像的场景建模方法、系统、装置
CN111433818A (zh) 目标场景三维重建方法、系统及无人机
WO2019126930A1 (zh) 测距方法、装置以及无人机
WO2020014987A1 (zh) 移动机器人的控制方法、装置、设备及存储介质
CN109900274B (zh) 一种图像匹配方法及系统
WO2019100219A1 (zh) 输出影像生成方法、设备及无人机
CN110337668B (zh) 图像增稳方法和装置
JP2015114954A (ja) 撮影画像解析方法
US20210264666A1 (en) Method for obtaining photogrammetric data using a layered approach
WO2020181506A1 (zh) 一种图像处理方法、装置及系统
CN110730934A (zh) 轨迹切换的方法和装置
Tsao et al. Stitching aerial images for vehicle positioning and tracking
CN110036411B (zh) 生成电子三维漫游环境的装置和方法
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200214