CN109241820A - 基于空间探索的无人机自主拍摄方法 - Google Patents

基于空间探索的无人机自主拍摄方法 Download PDF

Info

Publication number
CN109241820A
CN109241820A CN201810748205.6A CN201810748205A CN109241820A CN 109241820 A CN109241820 A CN 109241820A CN 201810748205 A CN201810748205 A CN 201810748205A CN 109241820 A CN109241820 A CN 109241820A
Authority
CN
China
Prior art keywords
unmanned plane
target
shooting
destination locations
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810748205.6A
Other languages
English (en)
Other versions
CN109241820B (zh
Inventor
毛年
毛一年
刘新民
张邦彦
袁欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Airlango Technology Co Ltd
Original Assignee
Beijing Airlango Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Airlango Technology Co Ltd filed Critical Beijing Airlango Technology Co Ltd
Priority to CN201810748205.6A priority Critical patent/CN109241820B/zh
Publication of CN109241820A publication Critical patent/CN109241820A/zh
Application granted granted Critical
Publication of CN109241820B publication Critical patent/CN109241820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及一种基于空间探索的无人机自主拍摄方法,其包括以下步骤:1、设定需要探索的目的位置;2、无人机从其当前位置向目的位置飞行,且在飞行过程中不断拍摄当前画面;3、从当前画面中提取画面特征,将画面特征输入到目标识别模型,目标识别模型输出在当前画面中识别出的目标的类型;4、如果识别出的目标类型属于预设目标类型,则无人机调整自身的当前位置以及拍摄视角,并进行目标拍摄;5、如果无人机尚未到达目的位置,则返回到步骤2。通过无人机飞行过程中的场景和目标物体分析,快速到达最佳拍摄位置后取景拍照,这样,用户就可以节约控制无人机拍照所需的时间和精力,也不需要具备熟练的操作技能,用户体验和产品吸引力大大提升。

Description

基于空间探索的无人机自主拍摄方法
技术领域
本公开涉及计算机视觉信息处理技术领域,尤其涉及应用于无人机的计算机视觉信息处理和拍摄控制方法,更具体地,涉及一种基于空间探索和目标识别/场景识别的无人机自主拍摄方法。
背景技术
近年来,随着人工智能和机器学习的算法的发展,摄像头有条件具备智能场景识别以及智能拍照功能,具备这样的智能功能的摄像头可被称为智能拍照摄像头。
智能拍照摄像头的主要功能是根据已知的用户需求,智能识别当前场景并自主拍照,而无需用户操作/干预;其中,作为自主决定是否对当前场景拍照的依据,智能拍照摄像头需要先判断当前场景的类别(或其它属性),识别场景中的目标(包括各类物体、人、动物,等等)。
然而,传统的摄像头多被安装于固定位置,其只能拍摄距自身一定距离/一定角度范围(取决于摄像头的视角范围、朝向可以变化的范围)内的景物,即便这类摄像头具有无需用户干预的智能拍照功能,但如果用户期望的场景(对用户来说有意义的场景)超出了其拍摄范围,则用户仍然需要人工将摄像头移动到更适合的位置,这会造成较大不便,或无法满足实际需要。
不同于固定摄像头,无人机载摄像头是典型的可移动摄像头,其被广泛应用于户外场景,例如用户远足、登山、郊游等场景,无人机航拍为用户带来了拍摄的便利。无人机能飞到较远距离或用户不容易到达的地点进行拍照。
然而,传统的无人机拍照需要用户控制飞机飞到指定地点,然后手动遥控飞机选取场景,这样的飞行操作一般只有熟练甚至专业用户才能完成。例如,如果用户在操作无人机飞行的同时、查看无人机远程实时传送的画面并看到了需要拍摄的目标,则用户需要在看到目标之后,即刻通过飞行控制将无人机调整到目标出现的位置,由于数据传输延时和操作延时的因素,这种操作是极为困难的,尤其对于运动的目标,几乎不可能通过手动操作而把握抓拍时机。
有鉴于此,存在开发应用于无人机的空间探索和自主拍照方法的需求。
下面举例说明现有技术的技术方案,以便理解本发明的背景。
现有技术一的技术方案
中国专利申请CN108009525A公开了一种基于卷积神经网络的无人机对地特定目标识别方法,其采用卷积神经网络模型对无人机对地特定目标进行识别,并提出了不同深度卷积神经网络模型的构造方法,针对不同的数据集,改变网络模型深度进行训练测试,得到深度最优的卷积神经网络模型,以便能够适应不同的数据集,从而实现卷积神经网络模型结构与参数的最优化。
现有技术一的缺点
该技术方案仅涉及无人机在飞行中的目标检测,目的仅在于实时识别出地面出现的特定目标,而不涉及对目标进行进一步探索(拍摄)以获取目标细节的需求,也不涉及对特定场景的探索式拍摄。参见现有技术一的图5可以看出,由于无人机实时采集的图像仅用于目标识别,目标在画面中的位置、相对于无人机的朝向、以及其它构图要素都是随机的,具体地,如图5中的第一行最右侧和第二行最左侧的图像所示,由于无人机飞行位置的原因,尽管无人机识别出车辆,但由于其无法进一步探索并优化拍摄角度,用户仅能够通过图像看到车辆的基本外形,而无法看到更多细节(例如车牌号等)。同样,对于人的识别,如第二行最右侧所示,在人背对无人机时,尽管无人机能够识别出其出现,但用户无法看到该人的面貌。
发明内容
考虑到现有技术的上述问题,发明人提出了本发明,其涉及一种新颖的无人机自主探索拍摄方法,其可具有目标探索拍摄和场景探索拍摄功能。这种方法能够让用户在无需操作无人机的情况下,仍然能够拍到有意义/感兴趣的画面,其中用户能够简单地通过客户端(例如手机上的APP)选择无人机的探索范围,然后启动无人机自主探索拍照。
根据本发明的实施例,提供了一种基于空间探索和目标识别的无人机自主拍摄方法,其包括以下步骤:步骤1、设定需要探索的目的位置;步骤2、无人机从其当前位置向所述目的位置飞行,且在飞行过程中不断拍摄当前画面;步骤3、从所述当前画面中提取画面特征,将画面特征输入到目标识别模型,所述目标识别模型输出在所述当前画面中识别出的目标的类型;步骤4、如果识别出的目标类型属于预设目标类型,则所述无人机调整自身的当前位置以及拍摄视角,并进行目标拍摄;步骤5、如果所述无人机尚未到达目的位置,则返回到步骤2。
根据本发明的实施例,还提供了一种基于空间探索和场景识别的无人机自主拍摄方法,其包括以下步骤:步骤1、设定需要探索的目的位置;步骤2、无人机从其当前位置向所述目的位置飞行,且在飞行过程中不断拍摄当前画面;步骤3、从所述当前画面中提取画面特征,将画面特征输入场景识别模型,所述场景识别模型输出当前画面所对应的场景;步骤4、如果当前画面所对应的场景属于预设场景之一,则所述无人机调整自身位置以及拍摄视角,并进行拍摄;步骤5、如果所述无人机尚未到达目的位置,则返回到步骤2。
此外,本发明还提供了一种计算机可读存储介质,其上存储有用于执行根据所述方法的程序,所述程序被处理器执行时,执行所述方法的步骤。
本发明的有益效果主要包括:通过无人机飞行过程中的场景和目标物体分析,并结合视觉信息和飞行控制调整无人机的位置和姿态,能够快速到达最佳拍摄位置和拍摄角度,之后悬停并取景拍照。这样用户就可以节约控制无人机拍照所需的时间和精力,也不需要具备熟练的操作技能,用户体验和产品吸引力大大提升。
附图说明
图1至5为根据本发明的实施例的基于空间探索和目标识别的无人机自主拍摄方法的流程示意图;
图6为根据本发明的实施例的基于空间探索和场景识别的无人机自主拍摄方法的流程示意图;以及
图7为根据本发明实施例的安装了应用程序的系统的运行环境的示意图。
具体实施方式
下面,结合附图对技术方案的实施作进一步的详细描述。
本领域的技术人员能够理解,尽管以下的说明涉及到有关本发明的实施例的很多技术细节,但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合,只要它们不背离本发明的原理和精神即可。
另外,为了避免使本说明书的描述限于冗繁,在本说明书中的描述中,可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理,这对于本领域的技术人员来说是可以理解的,并且这不会影响本说明书的公开充分性。
下文中,将描述用于进行本发明的实施例。注意,将以下面的次序给出描述:1、发明构思的概要;2、基于空间探索和目标识别的无人机自主拍摄方法(图1至5);3、基于空间探索和场景识别的无人机自主拍摄方法(图6);4、根据本发明的实施例的安装了应用程序的系统(图7)。
1、发明构思的概要
本发明设计实现的思路主要包括以下三个方面/阶段:
1、控制无人机朝向目的位置飞行;
其中,用户可先设定好目的位置,其可包括一个或多个位置点。之后,无人机可通过自动飞行控制而依次到达所设定的位置点。
可以理解,用户希望探索/无人机实际探索的区域并非仅为目的位置,而是沿着整个飞行路径的区域。
2、实时进行目标/场景识别;
在飞行过程中,无人机不断拍摄飞行路径所涉区域的画面,通过事先训练好的模型实时进行目标/场景识别,即,能够实时识别出当前位置中是否出现特定目标、或者特定场景。
3、控制无人机飞行/调整到最佳拍摄位置和朝向,并进行拍摄。
在识别出特定目标或场景之后,以当前位置作为拍摄点(可以是地图上的二维位置),之后,可根据目标的三维位置或场景特点,计算出无人机应调整到的最佳拍摄位置和朝向,进一步控制无人机到达所述最佳位置、锁定飞行姿态(以满足拍摄朝向的需要),进行拍摄;
完成本拍摄点之后,继续向目的位置飞行,重复上述过程。
由上可见,本发明将目标/场景识别与拍摄控制手段相结合,能够在探索到拍摄点之后,进一步基于拍摄点处的目标/场景情况而调整无人机的位置,即可拍摄出细节更丰富或更具个性化的画面,而无需用户干预。同时,上述任务可在无人机的一次飞行作业中完成,而无需重复飞行,大大提高了工作效率。
下面,通过实施例具体说明本发明的基于空间探索的无人机自主拍摄方法的实现方式。
2、基于空间探索和目标识别的无人机自主拍摄方法
如图1所示,根据本发明的实施例,提供了一种基于空间探索和目标识别的无人机自主拍摄方法,其主要包括以下步骤:
步骤S100、设定需要探索的目的位置;
步骤S200、无人机从其当前位置向所述目的位置飞行,且在飞行过程中不断拍摄当前画面;
步骤S300、从所述当前画面中提取画面特征,将画面特征输入目标识别模型,所述目标识别模型输出在所述当前画面中识别出的目标的类型、以及目标在画面中的二维位置及轮廓;
步骤S400、如果识别出的目标类型属于预设目标类型,则所述无人机调整自身的当前位置以及拍摄视角,并进行目标拍摄;
步骤S500、如果无人机尚未到达目的位置,则返回步骤S200。
如图2所示,作为示例,步骤S100可包括:
步骤S110、用户通过客户端接收并查看所述无人机的当前位置;
步骤S120、所述用户通过客户端选择所述当前位置周边的一个或多个位置,作为途经位置,其中,所述途经位置以地面二维位置表示;
其中,如果所述途经位置为多个,则将多个途经位置进行连接,形成所述无人机需要探索的连续飞行路径,以最终的途经位置作为所述目的位置。
可选地,用户也可直接在客户端上描绘飞行路径。
可以理解,无人机在完成整个飞行路径的探索之后,能够记录全部拍摄点的相关数据,包括各个拍摄点的位置、所拍摄的画面、摄像头自身的位置和拍摄参数。这样,用户能够通过查看到已拍摄的画面而了解到自动拍摄过程是否最优,以供开发人员进行进一步的调试和优化。
具体地,作为示例,无人机可将自身当前的GPS坐标发给用户的手机客户端,手机客户端可将无人机所在位置周边的地图下载后,呈现在手机的屏幕上;然后,可用户通过触摸点选方式在地图上标出无人机周边的几个位置点,作为无人机下一步探索拍照的几个区域限定,手机客户端把这个位置点的坐标发送到无人机;同时,用户可在客户端选择一系列感兴趣的目标,例如建筑物、动物、车辆等等,手机客户端会把目标类别作为所述预设目标类型发送到无人机。
其中,所述客户端被配置为呈现用户界面,其中所述用户界面具有至少一个用户界面控件,其配置成显示地图、并允许用户在所述地图上选择希望无人机探索的路径和区域。
如图3所示,作为示例,步骤S200可包括:
步骤S210、所述无人机调整其机头朝向所述目的位置;
步骤S220、当所述机头朝向被调整到正对所述目的位置时,所述无人机朝向所述目的位置飞行;
步骤S230、在飞行过程中,所述无人机不断获取自身位置,并根据自身位置调整飞行方向。
具体地,例如,在飞行过程中,无人机以每秒S(如S>=2且S<=30)次的频率,拍摄当前画面,并识别当前画面中的目标。
具体地,例如,在飞行过程中,无人机以每秒K次的频率更新当前位置,如果机头朝向有所偏差,无人机会调整从当前位置到达目的位置的路径规划。
如图4所示,所述步骤S400可包括:
步骤S410、将所述目标在画面中的二维位置及轮廓转换为所述目标在现实空间中的三维位置及轮廓;
步骤S420、根据所述目标的三维位置及轮廓、以及用于目标拍摄的摄像头的镜头参数,调整无人机自身的当前位置以及拍摄视角,并进行拍摄,使得所述目标出现在拍摄画面的预定范围中。
具体地,通过事先对摄像头的标定,可明确摄像头的拍摄视野,因此,目标在拍摄画面中出现的位置及其大小仅取决于摄像头与目标位置关系(距离/角度)。换句话说,只要能够将无人机(摄像头)调整到与目标具有适合的相对位置关系,便可确保目标在拍摄画面中出现的位置及其大小符合预期。例如,如果欲使目标在拍摄画面中央、且目标占据特定的画面大小(保证有足够的像素用来显示目标),则可由此计算出无人机需要被调整到的位置、以及摄像头拍摄角度,或者,对于焦距电控可变的无人机摄像头来说,也可计算出摄像头在特定位置下所需的焦距,从而在通过飞行控制将无人机调整到特定位置的同时,也将摄像头的焦距调整到所需值。
例如,尽管无人机已处于当前拍摄点位置,但由于其高度和朝向关系,导致构图不够理想,难以拍摄到目标细节(例如,车牌号、人脸等),则需要进行上述细微调整过程,以完善构图,然后进行拍摄。
由此,作为示例,所述镜头参数包括镜头焦距和光圈,在所述步骤S420中,所述镜头参数能够根据所述目标的三维位置而变化。对于光圈来说,一般可由摄像头硬件根据光照条件等因素自动确定,也可根据目标与无人机的距离而调整,以获得理想的景深效果。
其中,作为示例,在所述步骤S300中,所述无人机通过双目摄像头拍摄当前画面,其中,在所述步骤S410中,根据所述目标在双目摄像头拍摄的两个画面中的位置,获取所述目标的三维位置。
具体地,作为可选实施例,如果无人机配有双目摄像头,可直接通过双目摄像头拍摄当前画面(双目形式),并在目标识别和匹配之后,根据双目立体视觉算法获取目标的三维位置。
另一方面,如果无人机未配有双目摄像头,可通过普通单个摄像头拍摄单个当前画面,并通过坐标转换算法将目标在画面中的二维坐标转换为目标实际的三维坐标。
简而言之,无论采用上述双目摄像和单目摄像方式,均可获取目标的三维位置,相关技术手段可采用各类现有技术,这对于本领域的技术人员来说是可以理解的,故在此不再赘述。
如图5所示,作为示例,所述步骤420可包括:
步骤S421,根据用于目标拍摄的摄像头的镜头参数、以及所述目标的三维位置,计算无人机需要移动到的拍摄位置、以及拍摄朝向;
步骤S422、在无人机朝向拍摄位置和拍摄朝向调整的过程中,不断计算无人机自身的当前位置与所述拍摄位置的位置差d、当前朝向与拍摄朝向的角度差a;
步骤S423、如果位置差d和角度差a中的一个不低于各自的预定阈值,则采用步进方式调整无人机的位置和朝向,直至所述位置差d和角度差a均低于各自的预定阈值为止。
也就是说,如果位置差d和朝向角度差a同时满足(小于)拍位置距离差和朝向角度偏差的阈值,即(d<d_th and a<a_th),则认为无人机位置调整已经完成;否则,不断控制无人机向理想拍摄位置逐渐移动,在此过程中,每次位置移动量为上一步骤计算出的位置差d的一部分,即位置移动量为d*d_perc(0<a_perc<1)为位置移动量的一个百分比;每次角度偏转量为a*a_perc(0<a_perc<1)为角度偏转量的一个百分比。
其中,作为示例,所述步骤S410还可包括:所述无人机通过TOF摄像头拍摄所述目标,获取所述目标更精确的三维位置。
具体地,作为对单目摄像头的补充,所述无人机还可配备TOF摄像头,在单目摄像头获取到目标的粗略位置之后,通过TOF摄像头再次拍摄所述目标才,以获取所述目标更精确的三维位置。
其中,作为示例,所述目标识别模型是基于卷积神经网络训练出的模型。即,可采用基于深度学习的目标检测方法来检测当前画面中的目标。深度学习的预测算法可以运行在CPU、GPU、DSP、专用ASIC等硬件平台上。例如在小型无人机上,利用ARM芯片和架构在ARM芯片上的各类预测框架(例如,运行在nVidia GPU显卡上的Caffe、Torch等框架),能够实现高效、低功耗的深度学习算法。
具体地,作为示例,在训练过程中,可预先建立样本空间,样本空间中可存储包含车辆、动物、路牌等物体以及人的图像,在样本空间中进行车辆、动物、路牌等物体以及人的检测和标记(可通过人工标记),通过训练程序得到目标识别模型,从而有效地提高了无人机目标检测时的目标检测效率。
可选地,也可利用传统的机器学习算法来实现上述建模过程,例如,首先通过对画面进行预处理,提取画面帧内的特征向量;并对特征向量进行统计算法的分析(例如支持向量机SVM,二叉树决策算法decision tree等等)来进行分析判断。可以理解,对于目标识别这一目的来说,所述画面特征可包括Harris角点特征、SIFT特征等。
上述概念对于本领域的技术人员来说是熟知的,且具体实现方式可进行适应性变通,故在此不再赘述。
3、基于空间探索和场景识别的无人机自主拍摄方法
基于空间探索和场景识别的无人机自主拍摄方法与上述基于目标识别的无人机自主拍摄方法的原理是相同的,仅在识别方面略有区别,为了简明起见,下面的描述将进行部分简化,并省略重复内容的描述。
如图6所示,根据本发明的实施例,提供了一种基于空间探索和场景识别的无人机自主拍摄方法,其包括以下步骤:
步骤S100、设定需要探索的目的位置;
步骤S200、无人机从其当前位置向所述目的位置飞行,且在飞行过程中不断拍摄当前画面;
步骤S350、从所述当前画面中提取画面特征,将画面特征输入场景识别模型,所述场景识别模型输出当前画面所对应的场景;
步骤S450、如果当前画面所对应的场景属于预设场景之一,则所述无人机调整自身位置以及拍摄视角,并进行场景拍摄;
步骤S500、如果所述无人机尚未到达目的位置,则返回到步骤S200;
其中,作为示例,所述场景识别模型是基于卷积神经网络训练出的模型。即,可采用基于深度学习的场景检测方法来检测当前画面所属的场景类别。深度学习的预测算法可以运行在CPU、GPU、DSP、专用ASIC等硬件平台上。例如在小型无人机上,利用ARM芯片和架构在ARM芯片上的各类预测框架,能够实现高效、低功耗的深度学习算法。
具体地,作为示例,在训练过程中,可预先建立样本空间,样本空间中可存储包含各类场景(如包含动物的场景、包含人类的场景、各类自然风光场景,等等)的图像,在样本空间中进行场景类别的标记(可通过人工标记),通过训练程序得到场景识别模型。
可以理解,由于无需检测具体目标,实现本方法的无人机可无需配置双目摄像头和TOF摄像头。
此外,本方法的步骤S400中无人机调整过程,相对于上述基于目标识别的方法,也是简化的,即,由于无需目标识别,在检测到预设场景时,仅需要将无人机调整到通常合适的高度、朝向、以及拍摄参数(例如,可根据经验,为各个场景设置不同的高度、朝向、拍摄参数等),并悬停拍摄,以便稳定地拍摄到场景的清晰图像。
可选地,无人机也可根据当前光照和天气条件,对高度、朝向、以及拍摄参数等可配置项进行进一步的调整。
可以理解,对于场景识别这一目的来说,所述画面特征可包括颜色特征(直方图)、边缘轮廓特征、形状特征等。
4、根据本发明的实施例的安装了应用程序的系统
参照图7,其示出了根据本发明实施例的安装了应用程序的系统的运行环境。
在本实施例中,所述的安装应用程序的系统安装并运行于电子装置中。所述电子装置可以是桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子装置可包括但不限于存储器、处理器及显示器。该图仅示出了具有上述组件的电子装置,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器在一些实施例中可以是所述电子装置的内部存储单元,例如该电子装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述电子装置的外部存储设备,例如所述电子装置上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器还可以既包括所述电子装置的内部存储单元也包括外部存储设备。所述存储器用于存储安装于所述电子装置的应用软件及各类数据,例如所述安装应用程序的系统的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器在一些实施例中可以是中央处理单元(Central Processing Unit,CPU)、微处理器或其他数据处理芯片,用于运行所述存储器中存储的程序代码或处理数据,例如执行所述安装应用程序的系统等。
所述显示器在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。所述显示器用于显示在所述电子装置中处理的信息以及用于显示可视化的客户界面,例如应用菜单界面、应用图标界面等。所述电子装置的部件通过系统总线相互通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解,上述实施方式中的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件来实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件商品的形式体现出来,该计算机软件商品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明本申请各个实施例所述的方法。
也就是说,根据本发明的实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有用于执行根据本发明的实施例的所述方法的程序,所述程序被处理器执行时,执行所述方法的各个步骤。
由上,将理解,为了说明的目的,这里已描述了本发明的具体实施例,但是,可作出各个修改,而不会背离本发明的范围。本领域的技术人员将理解,流程图步骤中所绘出或这里描述的操作和例程可以多种方式变化。更具体地,可重新安排步骤的次序,可并行执行步骤,可省略步骤,可包括其它步骤,可作出例程的各种组合或省略。因而,本发明仅由所附权利要求限制。

Claims (10)

1.一种基于空间探索和目标识别的无人机自主拍摄方法,其包括以下步骤:
步骤1、设定需要探索的目的位置;
步骤2、无人机从其当前位置向所述目的位置飞行,且在飞行过程中不断拍摄当前画面;
步骤3、从所述当前画面中提取画面特征,将画面特征输入到目标识别模型,所述目标识别模型输出在所述当前画面中识别出的目标的类型;
步骤4、如果识别出的目标类型属于预设目标类型,则所述无人机调整自身的当前位置以及拍摄视角,并进行目标拍摄;
步骤5、如果所述无人机尚未到达所述目的位置,则返回到步骤2。
2.根据权利要求1所述的无人机自主拍摄方法,其中,所述目标识别模型还输出所述目标在当前画面中的二维位置及轮廓,
所述步骤4包括:
步骤4-1、将所述目标在画面中的二维位置及轮廓转换为目标在现实空间中的三维位置及轮廓;
步骤4-2、根据所述目标的三维位置及轮廓、以及用于目标拍摄的摄像头的镜头参数,调整无人机自身的当前位置以及拍摄视角,并进行拍摄,使得所述目标出现在拍摄画面的预定范围中。
3.根据权利要求2所述的无人机自主拍摄方法,其中,所述镜头参数包括镜头焦距和光圈,在所述步骤4-2中,所述镜头参数能够根据所述目标的三维位置而变化。
4.根据权利要求2所述的无人机自主拍摄方法,其中,在所述步骤3中,所述无人机通过双目摄像头拍摄当前画面,
其中,在所述步骤4-1中,根据所述目标在双目摄像头拍摄的两个画面中的位置,获取所述目标的三维位置。
5.根据权利要求2所述的无人机自主拍摄方法,其中,所述步骤4-2包括:
步骤4-2-1,根据用于目标拍摄的摄像头的镜头参数、以及所述目标的三维位置,确定无人机需要移动到的拍摄位置、以及拍摄朝向;
步骤4-2-2、在无人机朝向拍摄位置和拍摄朝向调整的过程中,不断计算无人机自身的当前位置与所述拍摄位置的位置差(d)、当前朝向与拍摄朝向的角度差(a);
步骤4-2-3、如果位置差(d)和角度差(a)中的至少一个不低于对应的阈值,则采用步进方式调整无人机的位置和朝向,重复步骤4-2-1和步骤4-2-2,直至所述位置差(d)和角度差(a)均低于对应的阈值为止。
6.根据权利要求2所述的无人机自主拍摄方法,其中,所述步骤4-1还包括:所述无人机通过TOF摄像头拍摄所述目标,获取所述目标更精确的三维位置及轮廓。
7.根据权利要求1所述的无人机自主拍摄方法,其中,所述目标识别模型是基于卷积神经网络训练出的模型。
8.一种基于空间探索和场景识别的无人机自主拍摄方法,其包括以下步骤:
步骤1、设定需要探索的目的位置;
步骤2、无人机从其当前位置向所述目的位置飞行,且在飞行过程中不断拍摄当前画面;
步骤3、从所述当前画面中提取画面特征,将画面特征输入场景识别模型,所述场景识别模型输出当前画面所对应的场景;
步骤4、如果当前画面所对应的场景属于预设场景之一,则所述无人机调整自身位置以及拍摄视角,并进行拍摄;
步骤5、如果所述无人机尚未到达目的位置,则返回到步骤2。
9.根据权利要求1或8所述的无人机自主拍摄方法,其中,所述步骤1包括:
步骤1-1、用户通过客户端接收并查看所述无人机的当前位置;
步骤1-2、所述用户通过客户端选择所述当前位置周边的一个或多个位置,作为途经位置,其中,所述途经位置以地面二维位置表示;
其中,如果所述途经位置为一个,则以所述途经位置作为所述目的位置,
如果所述途经位置为多个,则将多个途经位置进行连接,形成所述无人机需要探索的连续飞行路径,以最终的途经位置作为所述目的位置,
其中,所述客户端被配置为呈现用户界面,其中所述用户界面具有至少一个用户界面控件,其被配置为显示地图、并允许用户在所述地图上选择希望无人机探索的路径和区域。
10.根据权利要求1或8所述的无人机自主拍摄方法,其中,所述步骤2包括:
步骤2-1、所述无人机调整其机头朝向所述目的位置;
步骤2-2、当所述机头朝向被调整到正对所述目的位置时,所述无人机朝向所述目的位置飞行;
步骤2-3、在飞行过程中,所述无人机不断获取自身位置,并根据自身位置调整飞行方向。
CN201810748205.6A 2018-07-10 2018-07-10 基于空间探索的无人机自主拍摄方法 Active CN109241820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810748205.6A CN109241820B (zh) 2018-07-10 2018-07-10 基于空间探索的无人机自主拍摄方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810748205.6A CN109241820B (zh) 2018-07-10 2018-07-10 基于空间探索的无人机自主拍摄方法

Publications (2)

Publication Number Publication Date
CN109241820A true CN109241820A (zh) 2019-01-18
CN109241820B CN109241820B (zh) 2020-11-27

Family

ID=65071947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810748205.6A Active CN109241820B (zh) 2018-07-10 2018-07-10 基于空间探索的无人机自主拍摄方法

Country Status (1)

Country Link
CN (1) CN109241820B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099215A (zh) * 2019-05-06 2019-08-06 深圳市华芯技研科技有限公司 一种扩展双目相机定位范围的方法和装置
CN110233968A (zh) * 2019-06-21 2019-09-13 上海摩象网络科技有限公司 图像拍摄控制方法及其装置、图像拍摄系统
CN110426970A (zh) * 2019-06-25 2019-11-08 西安爱生无人机技术有限公司 一种无人机拍照系统及其控制方法
CN111854754A (zh) * 2020-06-19 2020-10-30 北京三快在线科技有限公司 无人机航线规划方法、装置、无人机及存储介质
CN112637499A (zh) * 2020-12-22 2021-04-09 广州富港生活智能科技有限公司 影像拍摄方法、装置、控制设备及存储介质
CN112711274A (zh) * 2021-01-19 2021-04-27 四川一电航空技术有限公司 无人机控制方法、装置、无人机及计算机可读存储介质
CN113505667A (zh) * 2021-06-29 2021-10-15 浙江华是科技股份有限公司 一种变电站监控方法、装置、系统及计算机存储介质
CN113569650A (zh) * 2021-06-29 2021-10-29 上海红檀智能科技有限公司 一种基于电力杆塔标牌识别的无人机自主巡检定位方法
WO2022188151A1 (zh) * 2021-03-12 2022-09-15 深圳市大疆创新科技有限公司 影像拍摄方法、控制装置、可移动平台和计算机存储介质
CN115134529A (zh) * 2022-06-29 2022-09-30 广联达科技股份有限公司 一种多视角展示项目模型的方法、设备及可读存储介质
CN115209032A (zh) * 2021-04-09 2022-10-18 美智纵横科技有限责任公司 基于清洁机器人的图像采集方法、装置、电子设备及介质
WO2023087272A1 (zh) * 2021-11-19 2023-05-25 深圳市大疆创新科技有限公司 构图处理方法、装置、系统和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106506956A (zh) * 2016-11-17 2017-03-15 歌尔股份有限公司 基于无人机的跟踪拍摄方法、跟踪拍摄装置及系统
CN106791443A (zh) * 2017-01-24 2017-05-31 上海瞬动科技有限公司合肥分公司 一种无人机拍照方法
CN107305395A (zh) * 2016-04-22 2017-10-31 优利科技有限公司 无人机航拍方法及系统
EP3247103A1 (en) * 2016-05-20 2017-11-22 Lg Electronics Inc. Drone and method for controlling the same
CN107465855A (zh) * 2017-08-22 2017-12-12 上海歌尔泰克机器人有限公司 图像的拍摄方法及装置、无人机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305395A (zh) * 2016-04-22 2017-10-31 优利科技有限公司 无人机航拍方法及系统
EP3247103A1 (en) * 2016-05-20 2017-11-22 Lg Electronics Inc. Drone and method for controlling the same
CN106506956A (zh) * 2016-11-17 2017-03-15 歌尔股份有限公司 基于无人机的跟踪拍摄方法、跟踪拍摄装置及系统
CN106791443A (zh) * 2017-01-24 2017-05-31 上海瞬动科技有限公司合肥分公司 一种无人机拍照方法
CN107465855A (zh) * 2017-08-22 2017-12-12 上海歌尔泰克机器人有限公司 图像的拍摄方法及装置、无人机

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099215A (zh) * 2019-05-06 2019-08-06 深圳市华芯技研科技有限公司 一种扩展双目相机定位范围的方法和装置
CN110233968A (zh) * 2019-06-21 2019-09-13 上海摩象网络科技有限公司 图像拍摄控制方法及其装置、图像拍摄系统
CN110233968B (zh) * 2019-06-21 2021-04-06 上海摩象网络科技有限公司 图像拍摄控制方法及其装置、图像拍摄系统
CN110426970A (zh) * 2019-06-25 2019-11-08 西安爱生无人机技术有限公司 一种无人机拍照系统及其控制方法
CN110426970B (zh) * 2019-06-25 2021-05-25 西安爱生无人机技术有限公司 一种无人机拍照系统及其控制方法
CN111854754A (zh) * 2020-06-19 2020-10-30 北京三快在线科技有限公司 无人机航线规划方法、装置、无人机及存储介质
CN112637499A (zh) * 2020-12-22 2021-04-09 广州富港生活智能科技有限公司 影像拍摄方法、装置、控制设备及存储介质
CN112711274A (zh) * 2021-01-19 2021-04-27 四川一电航空技术有限公司 无人机控制方法、装置、无人机及计算机可读存储介质
WO2022188151A1 (zh) * 2021-03-12 2022-09-15 深圳市大疆创新科技有限公司 影像拍摄方法、控制装置、可移动平台和计算机存储介质
CN115209032A (zh) * 2021-04-09 2022-10-18 美智纵横科技有限责任公司 基于清洁机器人的图像采集方法、装置、电子设备及介质
CN115209032B (zh) * 2021-04-09 2024-04-16 美智纵横科技有限责任公司 基于清洁机器人的图像采集方法、装置、电子设备及介质
CN113569650A (zh) * 2021-06-29 2021-10-29 上海红檀智能科技有限公司 一种基于电力杆塔标牌识别的无人机自主巡检定位方法
CN113505667A (zh) * 2021-06-29 2021-10-15 浙江华是科技股份有限公司 一种变电站监控方法、装置、系统及计算机存储介质
CN113505667B (zh) * 2021-06-29 2023-11-17 浙江华是科技股份有限公司 一种变电站监控方法、装置、系统及计算机存储介质
WO2023087272A1 (zh) * 2021-11-19 2023-05-25 深圳市大疆创新科技有限公司 构图处理方法、装置、系统和存储介质
CN115134529A (zh) * 2022-06-29 2022-09-30 广联达科技股份有限公司 一种多视角展示项目模型的方法、设备及可读存储介质

Also Published As

Publication number Publication date
CN109241820B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN109241820A (zh) 基于空间探索的无人机自主拍摄方法
US11830163B2 (en) Method and system for image generation
US11475247B2 (en) System and method for adaptive generation using feedback from a trained model
US20220262039A1 (en) Positioning method, electronic device, and storage medium
US11721067B2 (en) System and method for virtual modeling of indoor scenes from imagery
US10860882B2 (en) Apparatus and methods for tracking salient features
CN110166685B (zh) 用来捕获与目标图像模型对准的数字图像的智能指导
CN108734120A (zh) 标注图像的方法、装置、设备和计算机可读存储介质
CN104835138B (zh) 使地基图像和航拍图像对准
US20180012411A1 (en) Augmented Reality Methods and Devices
TWI615776B (zh) 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
US10523916B2 (en) Modifying images with simulated light sources
CN109076173A (zh) 输出影像生成方法、设备及无人机
US10769437B2 (en) Adaptive sampling of training views
CN106462943A (zh) 将全景成像与航拍成像对齐
CN112365604A (zh) 基于语义分割和slam的ar设备景深信息应用方法
CN109523499A (zh) 一种基于众包的多源融合全景建模方法
US10885708B2 (en) Automated costume augmentation using shape estimation
CN113379748B (zh) 一种点云全景分割方法和装置
CN112215964A (zh) 基于ar的场景导览方法和设备
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN114627252A (zh) 获取地表温度分布的无人机和地表温度分布图的获取方法
CN113781524A (zh) 一种基于二维标签的目标追踪系统及方法
Chen et al. Influence Factors of 3D Modeling with Aerial Images
CN112070175B (zh) 视觉里程计方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant