CN112313596A - 基于飞行器的巡检方法、设备及存储介质 - Google Patents

基于飞行器的巡检方法、设备及存储介质 Download PDF

Info

Publication number
CN112313596A
CN112313596A CN201980040208.7A CN201980040208A CN112313596A CN 112313596 A CN112313596 A CN 112313596A CN 201980040208 A CN201980040208 A CN 201980040208A CN 112313596 A CN112313596 A CN 112313596A
Authority
CN
China
Prior art keywords
information
aircraft
video
flight
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980040208.7A
Other languages
English (en)
Inventor
杨超锋
何纲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112313596A publication Critical patent/CN112313596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种基于飞行器的巡检方法、设备和存储介质，该方法包括：在飞行器巡检时，采集巡检区的视频录像；获取飞行器在采集所述视频录像时对应的飞行信息，飞行信息包括位置信息和云台姿态信息；将飞行信息和视频录像的相应视频帧绑定，以便根据飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。

Description

基于飞行器的巡检方法、设备及存储介质
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及飞行器巡检技术领域，尤其涉及一种基于飞行器的巡检方法、设备及存储介质。
背景技术
目前，市面上存在很多巡检业务的应用，比如电塔、基站、桥梁和建筑等均需定期巡检，来确保这些设施的安全及正常运行，又如火灾及地震等灾害发生后也需要飞行器进行巡检救援，利用飞行器技术结合摄影测量技术可以提供一种高效的巡检作业模式，但是飞行器在巡检过程中，只是对巡检目标进行录像，在回放事故发生点视频时，只能人工去判断事故发生位置和相关信息，因此造成效率较低，同时耗费大量的人力。
发明内容
基于此，本申请提供了一种基于飞行器的巡检方法、设备及存储介质，可快速定位到目标区域的位置。
第一方面，本申请提供了一种基于飞行器的巡检方法，所述巡检方法包括：
在飞行器巡检时，采集巡检区的视频录像；
获取所述飞行器在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；
将所述飞行信息与所述视频录像的相应视频帧绑定，以便根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
第二方面，本申请还提供了一种飞行器，所述飞行器包括机体、拍摄装置以及存储器和处理器；
所述拍摄装置连接于所述机体以拍摄图像，所述拍摄装置包括云台和安装在所述云台上的相机，可通过调整所述云台调整所述相机的拍摄角度；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
在飞行器巡检时，采集巡检区的视频录像；
获取所述飞行器在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；
将所述飞行信息与所述视频录像的相应视频帧绑定，以便根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
第三方面，本申请还提供了一种接收端，所述接收端包括显示装置；
所述接收端通过所述显示装置显示所述视频录像和与所述视频录像绑定的飞行信息，所述飞行信息包括位置信息和云台姿态信息；根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
第四方面，本申请还提供了一种飞行系统，所述飞行系统包括飞行器和接收端，所述接收端包括显示装置；
所述飞行器用于在巡检时，采集巡检区的视频录像；
所述飞行器用于获取在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；
所述飞行器用于将所述飞行信息与所述视频录像的相应视频帧绑定，并将添加有所述飞行信息的所述视频录像发送至接收端；
所述接收端用于通过所述显示装置显示所述视频录像以及在所述视频录像的视频帧中显示所述飞行信息，根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
第五方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述的巡检方法。
本申请实施例提供了一种基于飞行器的巡检方法、设备及存储介质，通过在飞行器巡检时采集巡检区的视频录像；并获取所述飞行器在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；将所述飞行信息与所述视频录像的相应视频帧绑定，以便根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。从而实现了对目标区域的快速精准定位，提高了目标区域确认效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种飞行系统的示意性框图；
图2是本申请一实施例提供的一种基于飞行器的巡检方法的步骤示意流程图；
图3是本申请实施例提供的基于飞行器的巡检方法的应用场景示意图；
图4是本申请实施例提供的确定目标区域的位置的效果示意图；
图5是本申请一实施例提供的添加飞行信息的步骤示意流程图；
图6是本申请实施例提供的确定字幕显示区域的效果示意图；
图7是本申请一实施例提供的飞行器的示意性框图；
图8是本申请一实施例提供的飞行系统的接收端的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请一实施例提供的一种飞行系统的示意性框图。如图1所示，飞行系统100可以包括飞行器110和接收端120，接收端120与飞行器110通信连接。飞行器110用于巡航检测；接收端120可作为操控装置控制飞行器110飞行以及拍摄，以及接收飞行器110巡检时拍摄的视频。
飞行器110可以为旋翼型飞行器，例如单旋翼飞行器、双旋翼飞行器、三旋翼飞行器、四旋翼飞行器、六旋翼飞行器、八旋翼飞行器、十旋翼飞行器、十二旋翼飞行器等。当然，飞行器也可以是其他类型的无人机或可移动装置，本申请实施例不限于此。
接收端120包括显示装置，用于显示飞行器110采集的视频，以便用户观看。
示例性的，接收端120可以是位于飞行系统100的地面端，可以通过无线方式与飞行器110进行通信，用于接收飞行器110采集的视频，并实时显示接收到的视频。当然，接收端120还用于对飞行器110进行远程操纵。
接收端120可以是遥控器或者安装有控制飞行器110的应用程序的终端。
其中，终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理、穿戴式设备等。
接收端120接收用户输入的飞行控制指令，可例如为通过遥控器上的摇杆、拨轮、按键、按钮等输入装置或者终端上的用户界面(UI)对飞行器110进行操控。
示例性的，接收端120可以是仅包括显示装置的显示设备，比如显示器或投影仪等，用于读取并显示飞行器110采集的视频。
飞行器110包括飞行控制器111、拍摄装置112和定位装置113。
飞行控制器111用于控制飞行器110的飞行，即飞行器110的控制模块。可以理解的，飞行控制器111可以按照预先编好的程序指令对飞行器110进行控制，也可以通过响应接收端的一个或多个控制指令对飞行器110进行控制。
拍摄装置112搭载在飞行器110下方，包括相机1121和云台1122。当然也可以是一体化云台相机。拍摄装置112与飞行控制器111通信连接，并在飞行控制器111的控制下进行图像的拍摄。
定位装置113搭载于飞行器110上，用于实时测量所述飞行器的位置信息。
定位装置113可以包括但不限于GPS定位装置、北斗定位装置或实时动态(Real-time kinematic，RTK)载波相位差分定位装置(简称RTK定位装置)。
RTK载波相位差分技术是实时处理两个测量站载波相位观测量的差分方法，将基准站采集的载波相位发给用户接收机，进行求差解算坐标。RTK载波相位差分技术采用了载波相位动态实时差分方法，RTK载波相位差分技术能够在野外实时得到厘米级定位精度，而不需要事后进行解算才能获得厘米级的精度，采用RTK定位装置可精确检测飞行器的定位信息。
具体地，定位装置113在飞行控制器111的控制下以便实时采集飞行器当前的位置信息。该位置信息可包括经度信息和纬度信息。
飞行器110还包括惯性测量装置，所述惯性测量装置用于测量飞行器的飞行速度和飞行姿态信息等。
云台1122包括电子调速器(简称电调)和电机。飞行控制器111可以通过电调和电机控制云台的运动。当然，云台还可以包括控制器，通过该控制器控制电调和电机实现控制云台的运动。
电机为三轴电机，分别为俯仰(pitch)轴电机、横滚(roll)轴电机和平移(yaw)轴电机，用于改变拍摄时的云台姿态。
可以理解的，云台1122可以独立于飞行器，也可以为飞行器的一部分。可以理解的，电机可以是直流电机，也可以是交流电机。此外，电机可以是无刷电机，也可以是有刷电机，本申请实施例不限于此。
可以理解的，拍摄装置112也可以设于飞行器的其他适宜位置，例如飞行器的机头，本申请实施例不限于此。
在一个实施例中，飞行器110还包括距离测量装置114。距离测量装置114搭载于飞行器上，用于测量所述飞行器与关键目标物的距离、测量所述飞行器的飞行距离或者飞行高度。
该距离测量装置114包括如下至少一种：飞行时间(Time of Flight，TOF)测距探测设备、雷达、超声波探测设备和激光探测设备等。
飞行器110将拍摄的视频发送给接收端120，具体是采用无线图传技术将拍摄的视频发送给接收端120。
飞行器110用于采集视频，对采集的视频进行压缩编码，并将压缩编码后的视频发送至接收端120，接收端120对编码后的视频解码显示。通过对视频进行编码由此提高视频传输的流畅度以及传输速度。
其中，对视频的编码的方式可以采用帧间编码或帧内编码的方式，当然也可以采用其他编码方式，比如采用帧间编码和帧内编码混合编码方式。相应地，采用与编码方式对应的解码方式对编码后的视频进行解码。
当然，飞行器110也可以将拍摄的视频存储在飞行器的存储器中或存储卡内，以便将其发送至或拷贝至接收端120进行显示。
可以理解的，上述对于飞行系统各部件的命名仅仅出于标识的目的，并不因此对本申请实施例进行限制。
以下将基于飞行系统、所述飞行系统中的飞行器和所述飞行系统中的接收端对本申请的实施例提供的巡检方法进行详细介绍。
请参阅图2，图2是本申请一实施例提供的一种基于飞行器的巡检方法的步骤示意流程图。该基于飞行器的巡检方法具体应用于飞行器的飞行控制器，即通过图1的飞行控制器111来执行；当然也可以由飞行器上携带的其它控制装置来实现，本申请实施例不限于此。
为了方便对本申请的实施例作详细阐述，以下以控制装置为飞行控制器为例进行说明。
具体地，如图2所示，该基于飞行器的巡检方法包括步骤S201至步骤S203。
S201、在飞行器巡检时，采集巡检区的视频录像；
S202、获取所述飞行器在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；
S203、将所述飞行信息与所述视频录像的相应视频帧绑定，以便根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
在使用飞行器进行飞行巡检时，比如对电塔、基站、桥梁和建筑等进行定期巡检，需要通过拍摄装置采集巡检路线上个巡检去的视频录像。该视频录像包括多帧视频帧。
采集的视频录像用于确定目标区域是否发生异常事故。该异常事故比如为：发生火灾或地震等灾害，或者基站被毁、桥梁断裂或建筑倒塌等等。
在采集视频录像的同时，还需获取飞行器在采集视频录像时对应的飞行信息。其中，飞行信息至少包括位置信息和云台姿态信息。
位置信息至少包括飞行器的位置信息，即飞行器拍摄视频时对应的实时位置信息，包括经度信息、维度信息和高度信息等。
云台姿态信息为飞行器在拍摄视频时云台姿态参数信息，包括俯仰角、横滚角和航向角等。
在一些实施例中，所述位置信息还包括：起飞点位置信息和/或所述飞行器与所述起飞点的相对位置信息，当飞行器的位置信息不准确时，可以通过起飞点位置信息以及所述飞行器与所述起飞点的相对位置信息确定目标区域的位置。
在一些实施例中，飞行信息还包括飞行参数，其中，飞行参数包括：飞行速度和飞行器姿态参数中的至少一项。以便用户根据飞行参数了解目标区域的详细参数，做精准分析定位以及记录。
在一些实施例中，飞行信息还包括摄像参数，所述摄像参数包括：相机光圈大小、快门时间、曝光强度和曝光值中的至少一项。
示例性的，在确定存在目标区域后，可根据拍摄参数对视频帧进行图像处理，以更为准确地识别目标区域的细节。比如目标区域为桥梁所在区域，若桥梁发生断裂，则可以目标区域的细节确定桥梁的断裂程度等。
将所述飞行信息与所述视频录像的相应视频帧绑定，以便根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
示例性的，如图3所示，飞行器110在巡检时，通过拍摄装置112采集巡检区的视频录像；并获取在采集视频录像时对应的飞行信息，其中，飞行信息包括位置信息和云台姿态信息；以及将飞行信息与视频录像的相应视频帧绑定，并将视频录像和飞行信息发送至接收端120，所述发送，可以是实时发送，也可以是将视频录像保存后上传至接收端，该接收端120可以为手机、平板电脑、其他显示设备或具备显示设备的控制器等；接收端120显示视频录像以及在视频录像的视频帧中显示飞行信息，以便根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
比如，接收端120显示的当前帧130中包括飞行信息，该飞行信息具体如当前帧130中的虚线框内的信息。
其中，在图3中，F表示相机光圈大小，SS表示快门时间，ISO表示曝光强度，EV表示曝光值，GPS/RTK表示飞行器位置信息(经度、纬度、海拔高度)，HOME表示飞行器起飞点位置信息(经度、纬度、海拔高度)，D:表示飞行器距离起飞点水平距离，H表示飞行器相对于起飞点的相对高度，H.S表示飞行器水平向前的飞行速度，V.S表示飞行器垂直上升的飞行速度，F.PRY表示飞行器云台姿态参数，G.PRY表示飞行器飞行姿态参数。
由此，用户在通过接收端观看视频录像时，在播放的视频录像中均可观察到相应的飞行信息，该飞行信息包括位置信息和云台姿态信息。若在观看视频时，发现存在目标区域，则可以根据飞行信息和云台姿态信息确定目标区域的位置。
在一种实施例中，目标区域的位置可以根据飞行器的位置信息确定，例如，可以将飞行器的位置作为目标区域的位置。在另一种实施例中，目标区域的位置可以根据位置信息和云台姿态信息确定，例如，所述位置信息包括飞行器的位置信息，根据云台姿态信息确定目标区域的位置和飞行器位置的方位关系，进而根据飞行器的位置信息以及目标区域和飞行器位置的方位关系判断目标区域的位置。本发明实施例相对于直接将飞行器的位置作为目标区域的位置，能够获得更为准确的目标区域位置信息，这对巡检作业具有较大帮助，并且实现起来简便，无需进行复杂的计算，其结果也较为直观，对于飞行器来说，无需增加其他的检测装置，节省了成本的同时提高了工作效率。
在另一种实施例中，所述位置信息还包括起飞点位置信息和/或所述飞行器与所述起飞点的相对位置信息，当飞行器的位置信息不准确时(例如定位装置定位精度出现较大偏差)，可以通过起飞点位置信息以及所述飞行器与所述起飞点的相对位置信息确定飞行器的位置信息，再结合云台姿态信息进而确定目标区域的位置。
在另一种实施例中，可以根据位置信息和云台姿态信息计算得到更加精确的目标区域位置，具体过程如下：获取用户在显示的视频帧中确定目标区域对应的位置点信息；根据所述位置信息、所述云台姿态信息和所述位置点信息确定所述目标区域的位置。
例如，如图3所示，在用户观看包括飞行信息的视频录像时，若用户确定可能存在目标区域，会在当前帧点击视频暂停播放，并选择目标区域点，则可以根据用户的选择操作获取目标区域在当前帧对应的位置点信息。
从当前帧中提取位置信息和云台姿态信息，所述位置包括：飞行器的位置信息，飞行器与目标区域之间的距离；还可以包括起飞点位置信息和/或所述飞行器与所述起飞点的相对位置信息。所述云台姿态信息包括云台的俯仰角、横滚角和航向角等。根据位置信息、云台姿态信息和位置点信息计算所述目标区域的位置。
具体如图4所示，若用户选择当前帧130的图像中的铁塔131，则确定该铁塔131所在位置为目标区域发生的位置，所述选择可以是点击按钮选项，或者在图像中进行框选，本发明实施例对此不进行限制。假设飞行器110的航向沿着箭头方向，可以将云台姿态角作为飞行器与目标区域点之间的角度信息，也可以根据需要，用云台姿态角估算出飞行器与目标区域点之间的角度信息，具体需根据实际情况确定。利用飞行器的位置，飞行器与目标区域点之间的角度信息，以及飞行器与目标区域之间的距离，通过三角函数公式可以计算出所述目标区域的位置。
在一些实施例中，在根据位置信息和云台姿态信息计算目标区域的位置之后，还可以显示所计算出的目标区域的位置信息。以便用户更为准确地确定目标区域的位置信息。由此可见，在用户观看视频确定目标区域时，可以根据添加在视频录像中的飞行信息中的位置信息和云台姿态信息准确地确定目标区域的位置。以便及时对目标区域进行处理，提高巡检效率。
在一些实施例中，为了节省硬件计算资源以及提高将飞行信息显示在视频录像的效率。可以以预设频率获取所述飞行器在采集所述视频录像时对应的飞行信息。该预设频率与视频帧的采集频率相关，该预设频率小于视频帧的采集频率，且成整数倍关系，比如f＝10F，F为预设频率，f为视频帧的采集频率，即表示采集10帧视频帧时才采集一次飞行信息。
相应地，将所述飞行信息与所述视频录像的相应视频帧绑定，具体为：
确定所述飞行信息所对应的视频帧，将所述飞行信息与其对应的视频帧绑定。
其中，确定所述飞行信息所对应的视频帧，具体为根据所述视频录像的帧率和所述预设频率确定每组飞行信息所对应视频帧的数目。
比如，确定10帧视频帧为一组，对应的相同的飞行信息，并将该飞行信息与该组中的10帧视频帧中。
因为视频的采集较快，在相邻的视频帧之间飞行信息变化不大，因此不需要每一帧视频均添加不同的飞行信息，也可以方便用户确定目标区域的位置。由此可以节省硬件计算资源，并且提高飞行信息添加的效率，同时可以节省飞行器的电量。
在另一些实施例中，为了节省硬件计算资源以及提高将飞行信息显示在视频录像的效率。可以确定采集时间点，在所述采集时间点获取所述飞行器在采集所述视频录像时对应的飞行信息。
其中，确定采集时间点，具体为获取定位精度等级，根据定位精度等级确定采集时间点，其中不同的定位精度等级对应不同的定位距离，可以预先设置对应关系并存储。
相应地，将所述采集时间点对应的飞行信息，与所述采集时间点至上一个采集时间点对应的视频录像中的每一帧视频帧相绑定。
比如，采集时间点T5至采集时间点T4拍摄了20帧视频，将在采集时间点T5时获取的飞行信息与该20帧视频绑定。
其中，获取定位精度等级，可以获取用户选择的定位精度等级；或者，获取所述飞行器内默认的定位精度等级。由此，不仅可以节省飞行器的硬件计算资源以及提高飞行信息的添加效率，还可以提高用户的体验度。
在一些实施例中，确定采集时间点，还可以获取所述飞行器的飞行速度，根据所述定位精度等级对应的定位距离和所述飞行速度确定采集时间点。即用定位距离除以飞行速度即可以得到采集时间点。由此可以将飞行信息和飞行速度相关联，实现了在视频录像中添加更为准确的飞行信息，以便能准确地定位目标区域的位置。
在一些实施例中，采用字幕信息的方式将所述飞行信息与所述视频录像的相应视频帧绑定。如图5所示，添加飞行信息的步骤，具体包括以下内容：
S203a、将所述飞行信息转换成字幕信息；S203b、将所述字幕信息与所述视频录像的相应视频帧相绑定。
其中，视频帧中的特定位置是为了方便用户观看时而预先设置的位置，比如特定位置，可以设置在视频画面的下方、上方、左侧或右侧等，比如在图3中，特定位置设置视频画面的下方。
通过字幕信息的方式，将飞行信息显示在视频画面的特定位置，以方便用户查看，由此提高了确定目标区域的位置的准确率和效率。
在一些实施例中，为了方便用户可以清晰地查看巡检对象，采用确定显示区域的方式，将所述字幕信息显示在所述显示区域中。
具体地，在所述视频录像的相应视频帧中确定所述字幕信息的显示区域，所述显示区域远离所述视频帧中的关键目标物；以及将所述字幕信息显示在所述显示区域中。
其中，该关键目标物即为巡检对象，比如为线缆、水坝、楼宇或铁塔等。可以使用图像识别技术先在视频图像中确定关键目标物对应的目标区域，再在远离目标区域的区域选择一块用于显示字幕信息的区域作为显示区域。
在一些实施例中，在所述视频录像的相应视频帧中确定所述字幕信息的显示区域，具体为：在所述视频录像的相应视频帧中确定多个用于添加所述字幕信息的候选区域；以及计算每个所述候选区域的像素能量和，并根据所述像素能量和从多个所述候选区域中确定所述字幕信息的显示区域。
可以将视频录像的相应视频帧划分为几个区，如图6所示，采用九宫格的方式将视频画面划分为9个区域，分别为区域1、区域2、区域3、区域4、区域5、区域6、区域7、区域8和区域9，将这九个区域作为候选区域。当然也可以采用其他划分方式，在此不做限定。
分别计算9个区域中每个候选区域的像素能量和，像素能量和根据区域内的像素值进行计算。根据所述像素能量和从多个所述候选区域中确定所述字幕信息的显示区域。比如，选择最小的所述像素能量和对应的候选区域作为所述字幕信息的显示区域。
由于，9个候选区域中区域1和区域9没有铁塔覆盖，因此可以确定区域1和区域9像素能量和最小，可以从区域1和区域9其中一个区域作为显示区域。当然在实际应用中，视频画面还可能包括其他物体，在计算每个候选区域的像素能量和，可以用候选区域中像素与关键目标物对应的像素差的绝对值计算每个候选区域的像素能量和，再选择最大像素能量和对应的候选区域作为所述字幕信息的显示区域。
通过区域划分和像素能量和计算的方式，可以快速地确定与巡检对象无关的区域作为显示区域，由此避免字幕信息遮挡巡检对象，以便用户可以清晰地观察巡检对象，找到目标区域。
在一些实施例中，为了方便用户清晰地看到视频画面中的飞行信息，具体
采用将所述字幕信息采用白色显示在所述显示区域中。比如，如图3中的虚线框内字幕信息采用白色。
在一些实施例中，为了方便用户更清晰地看到视频画面中的飞行信息，可以采用反色差的方式，将字幕信息显示在显示区域。
具体地，根据所述显示区域的像素值计算所述显示区域的颜色值，根据所述显示区域的颜色值确定所述字幕信息的字幕颜色值，将所述字幕信息采用所述字幕颜色值对应的颜色显示至所述显示区域中。
其中所述字幕颜色值和所述显示区域的颜色值对应的颜色互为反差色。
互为反差色，可例如为在颜色环形图上选择成相互对称的颜色，以便用户可以清晰看到字幕信息。
在一些实施例中，在将所述飞行信息与所述视频录像的相应视频帧绑定之后，还需发送所述视频录像至接收端，以使所述接收端显示所述视频录像。
具体地，可以采用无线图传技术对绑定有飞行信息的视频录像进行编码压缩，在将编码压缩后的视频录像发送至接收端，接收端在接收到编码压缩后的视频录像后，对该视频录像进行解码，并显示所述视频录像。使用无线图传技术可以防止视频传输和播放时出现卡顿。
其中，编码方式可以采用帧间编码或帧内编码的方式，当然也可以采用其他编码方式，比如采用帧间编码和帧内编码混合编码方式。相应地，采用与编码方式对应的解码方式对编码后的视频进行解码。
在对视频数据进行编码时，需要对视频数据中的视频图像进行宏块划分，即每个宏块包括多个像素，比如16×16个像素为一个宏块。
当然，一帧视频图像可编码成一个或者多个片，每片包含整数个宏块。其中，每片至少一个宏块，最多时包含整个图像的宏块。
其中，片组是一个编码图像中若干宏块的一个子集，包含一个或若干个片。
飞行器和接收端对视频图像进行编码和解码，分别是通过编码器、解码器进行编码解码的。
在一些实施例中，为了防止视频出现卡顿，提高视频播放的流畅性，可以将每帧视频图像和对应的飞行信息解除绑定后打包并建立对应关系。比如，通过建立相同的标号以建立对应关系，即飞行信息的数据包用视频帧的标识号进行标识。将视频录像和飞行信息分开发送。
具体地，确定所述解码器解码的所述视频录像中的当前帧输出的部分数据是否大于预设宏块数据；若输出的部分数据大于预设宏块数据，加载飞行信息的数据包并生成定时信号并将所述定时信号发送至显示装置，以使显示装置显示当前帧，当前帧中包括飞行信息。
由于该解码显示的方式，不是采用定频刷新显示方式，由此不会造成显示卡顿或不流畅等情况，进而提高视频播放的流畅性，以便快速确定目标区域的位置。
上述实施例通过在飞行器巡检时采集巡检区的视频录像；并获取所述飞行器在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；将所述飞行信息与所述视频录像的相应视频帧绑定，以便用户在观看视频时根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。从而实现了对目标区域的快速精准定位。
请参阅图7，图7是本申请一实施例提供的飞行器的示意性框图。该飞行器400包括拍摄装置410、处理器411和存储器412，处理器411、存储器412和拍摄装置410通过总线连接，该总线比如为I2C(Inter-integrated Circuit)总线。
飞行器400还包括机体，拍摄装置410连接于所述机体以拍摄图像，所述拍摄装置包括云台和安装在所述云台上的相机，可通过调整所述云台调整所述相机的拍摄角度，即云台姿态信息。
具体地，处理器411可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器412可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：
在飞行器巡检时，采集巡检区的视频录像；
获取所述飞行器在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；
将所述飞行信息与所述视频录像的相应视频帧绑定，以便根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
在一些实施例中，所述处理器在实现所述获取所述飞行器在采集所述视频录像时对应的飞行信息时，实现如下步骤：
获取定位精度等级，根据定位精度等级确定采集时间点；
在所述采集时间点获取所述飞行器在采集所述视频录像时对应的飞行信息。
在一些实施例中，所述处理器在实现所述将所述飞行信息与所述视频录像的相应视频帧绑定时，具体实现：
将所述采集时间点对应的飞行信息，与所述采集时间点至上一个采集时间点对应的视频录像中的每一帧视频帧相绑定。
在一些实施例中，所述处理器在实现所述将所述飞行信息与所述视频录像的相应视频帧绑定时，具体实现：
将所述飞行信息转换成字幕信息；以及
将所述字幕信息与所述视频录像的相应视频帧相绑定。
在一些实施例中，所述处理器在实现所述将所述字幕信息与所述视频录像的相应视频帧相绑定时，具体实现：
在所述视频录像的相应视频帧中确定所述字幕信息的显示区域，所述显示区域远离所述视频帧中的关键目标物；以及
将所述字幕信息显示在所述显示区域中。
在一些实施例中，所述处理器在实现所述将所述字幕信息显示在所述显示区域中之前，还实现：
根据所述显示区域的像素值计算所述显示区域的颜色值，根据所述显示区域的颜色值确定所述字幕信息的字幕颜色值，其中所述字幕颜色值和所述显示区域的颜色值对应的颜色互为反差色；
所述将所述字幕信息显示在所述显示区域中，包括：将所述字幕信息采用所述字幕颜色值对应的颜色显示至所述显示区域中。
在一些实施例中，所述处理器在实现所述将所述飞行信息与所述视频录像的相应视频帧绑定之后，还实现：
发送所述视频录像至接收端，以使所述接收端显示所述视频录像。
在一些实施例中，所述位置信息包括所述飞行器的位置信息；或者，所述位置信息包括所述飞行器的位置信息、起飞点位置信息以及所述飞行器与所述起飞点的相对位置信息。
在一些实施例中，所述处理器在实现所述根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置时，具体实现：
获取用户在显示的视频帧中确定的目标区域对应的位置点信息；
根据所述飞行器的位置信息、所述云台姿态信息和所述位置点信息确定所述目标区域的位置。
在一些实施例中，所述飞行信息还包括飞行参数和/或摄像参数；所述飞行参数包括：飞行速度和飞行器姿态参数中的至少一项；所述摄像参数包括：相机光圈大小、快门时间、曝光强度和曝光值中的至少一项。
请参阅图8，图8是本申请一实施例提供的接收端的示意性框图。该接收端500包括显示装置510、处理器511和存储器512，处理器511和存储器512通过总线连接，该总线比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器511可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器512可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
可以理解的是，接收端500可以是显示器，该显示器包括LED显示器、LCD显示器或OLED显示器等。
其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：
显示所述视频录像，所述视频录像的视频帧包括飞行信息，所述飞行信息包括位置信息和云台姿态信息；根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
在一些实施例中，所述位置信息包括所述飞行器的位置信息；或者，所述位置信息包括所述飞行器的位置信息、起飞点位置信息以及所述飞行器与所述起飞点的相对位置信息。
在一些实施例中，所述处理器在实现所述根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置时，具体实现：
获取用户在显示的视频帧中确定目标区域对应的位置点信息；
根据所述飞行器的位置信息、所述云台姿态信息和所述位置点信息确定所述目标区域的位置。
在一些实施例中，所述飞行信息还包括飞行参数和/或摄像参数；所述飞行参数包括：飞行速度和飞行器姿态参数中的至少一项；所述摄像参数包括：相机光圈大小、快门时间、曝光强度和曝光值中的至少一项。
在一些实施例中，所述视频录像的视频帧包括飞行信息，包括：所述飞行信息以字幕信息显示在所述视频帧中；所述字幕信息显示在所述视频帧的特定位置，所述特定位置包括在视频帧的视频画面的下方、上方、左侧或右侧。
本申请的实施例还提供了一种飞行系统，所述飞行系统包括飞行器和接收端，所述接收端包括显示装置。
需要说明的是，飞行器可以为图7中示例的飞行器；接收端可以为图8中示例的接收端。
所述飞行器用于在巡检时，采集巡检区的视频录像；
所述飞行器用于获取在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；
所述飞行器用于将所述飞行信息与所述视频录像的相应视频帧绑定，并将添加有所述飞行信息的所述视频录像发送至接收端；
所述接收端用于通过所述显示装置显示所述视频录像以及在所述视频录像的视频帧中显示所述飞行信息，根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
在一些实施例中，所述飞行器用于获取在采集所述视频录像时对应的飞行信息，包括：
获取定位精度等级，根据定位精度等级确定采集时间点；
在所述采集时间点获取所述飞行器在采集所述视频录像时对应的飞行信息。
在一些实施例中，所述飞行器用于将所述飞行信息与所述视频录像的相应视频帧绑定，包括：
将所述采集时间点对应的飞行信息，与所述采集时间点至上一个采集时间点对应的视频录像中的每一帧视频帧相绑定。
在一些实施例中，所述飞行器用于将所述飞行信息与所述视频录像的相应视频帧绑定，包括：
将所述飞行信息转换成字幕信息；以及
将所述字幕信息与所述视频录像的相应视频帧相绑定。
在一些实施例中，所述飞行器用于将所述字幕信息与所述视频录像的相应视频帧相绑定，包括：
在所述视频录像的相应视频帧中确定所述字幕信息的显示区域，所述显示区域远离所述视频帧中的关键目标物；以及
将所述字幕信息显示在所述显示区域中。
在一些实施例中，所述将所述字幕信息显示在所述显示区域中之前，还包括：
根据所述显示区域的像素值计算所述显示区域的颜色值，根据所述显示区域的颜色值确定所述字幕信息的字幕颜色值，其中所述字幕颜色值和所述显示区域的颜色值对应的颜色互为反差色；
所述将所述字幕信息显示在所述显示区域中，包括：将所述字幕信息采用所述字幕颜色值对应的颜色显示至所述显示区域中。
在一些实施例中，所述位置信息包括所述飞行器的位置信息；或者，所述位置信息包括所述飞行器的位置信息、起飞点位置信息以及所述飞行器与所述起飞点的相对位置信息。
在一些实施例中，所述根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置，包括：
获取用户在显示的视频帧中确定的目标区域对应的位置点信息；
根据所述飞行器的位置信息、所述云台姿态信息和所述位置点信息确定所述目标区域的位置。
在一些实施例中，所述飞行信息还包括飞行参数和/或摄像参数；所述飞行参数包括：飞行速度和飞行器姿态参数中的至少一项；所述摄像参数包括：相机光圈大小、快门时间、曝光强度和曝光值中的至少一项。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的巡检方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的飞行器的内部存储单元，例如所述飞行器的硬盘或内存。所述计算机可读存储介质也可以是所述飞行器的外部存储设备，例如所述飞行器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (35)

1.一种基于飞行器的巡检方法，其特征在于，包括：
在飞行器巡检时，采集巡检区的视频录像；
获取所述飞行器在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；
将所述飞行信息与所述视频录像的相应视频帧绑定，以便根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
2.根据权利要求1所述的巡检方法，其特征在于，所述获取所述飞行器在采集所述视频录像时对应的飞行信息，包括：
获取定位精度等级，根据定位精度等级确定采集时间点；
在所述采集时间点获取所述飞行器在采集所述视频录像时对应的飞行信息。
3.根据权利要求2所述的巡检方法，其特征在于，所述将所述飞行信息与所述视频录像的相应视频帧绑定，包括：
将所述采集时间点对应的飞行信息，与所述采集时间点至上一个采集时间点对应的视频录像中的每一帧视频帧相绑定。
4.根据权利要求1至3任一项所述的巡检方法，其特征在于，所述将所述飞行信息与所述视频录像的相应视频帧绑定，包括：
将所述飞行信息转换成字幕信息；以及
将所述字幕信息与所述视频录像的相应视频帧相绑定。
5.根据权利要求4所述的巡检方法，其特征在于，所述将所述字幕信息与所述视频录像的相应视频帧相绑定，包括：
在所述视频录像的相应视频帧中确定所述字幕信息的显示区域，所述显示区域远离所述视频帧中的关键目标物；以及
将所述字幕信息显示在所述显示区域中。
6.根据权利要求5所述的巡检方法，其特征在于，所述将所述字幕信息显示在所述显示区域中之前，还包括：
根据所述显示区域的像素值计算所述显示区域的颜色值，根据所述显示区域的颜色值确定所述字幕信息的字幕颜色值，其中所述字幕颜色值和所述显示区域的颜色值对应的颜色互为反差色；
所述将所述字幕信息显示在所述显示区域中，包括：将所述字幕信息采用所述字幕颜色值对应的颜色显示至所述显示区域中。
7.根据权利要求1至5任一项所述的巡检方法，其特征在于，所述将所述飞行信息与所述视频录像的相应视频帧绑定之后，还包括：
发送所述视频录像至接收端，以使所述接收端显示所述视频录像。
8.根据权利要求1所述的巡检方法，其特征在于，所述位置信息包括所述飞行器的位置信息；或者，所述位置信息包括所述飞行器的位置信息、起飞点位置信息以及所述飞行器与所述起飞点的相对位置信息。
9.根据权利要求8所述的巡检方法，其特征在于，所述根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置，包括：
获取用户在显示的视频帧中确定的目标区域对应的位置点信息；
根据所述飞行器的位置信息、所述云台姿态信息和所述位置点信息确定所述目标区域的位置。
10.根据权利要求1所述的巡检方法，其特征在于，所述飞行信息还包括飞行参数和/或摄像参数；所述飞行参数包括：飞行速度和飞行器姿态参数中的至少一项；所述摄像参数包括：相机光圈大小、快门时间、曝光强度和曝光值中的至少一项。
11.一种飞行器，其特征在于，包括机体、拍摄装置以及存储器和处理器；
所述拍摄装置连接于所述机体以拍摄图像，所述拍摄装置包括云台和安装在所述云台上的相机，可通过调整所述云台调整所述相机的拍摄角度；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
在飞行器巡检时，采集巡检区的视频录像；
获取所述飞行器在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；
将所述飞行信息与所述视频录像的相应视频帧绑定，以便根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
12.根据权利要求11所述的飞行器，其特征在于，所述处理器在实现所述获取所述飞行器在采集所述视频录像时对应的飞行信息时，具体实现：
获取定位精度等级，根据定位精度等级确定采集时间点；
在所述采集时间点获取所述飞行器在采集所述视频录像时对应的飞行信息。
13.根据权利要求12所述的飞行器，其特征在于，所述处理器在实现所述将所述飞行信息与所述视频录像的相应视频帧绑定时，具体实现：
将所述采集时间点对应的飞行信息，与所述采集时间点至上一个采集时间点对应的视频录像中的每一帧视频帧相绑定。
14.根据权利要求11至13任一项所述的飞行器，其特征在于，所述处理器在实现所述将所述飞行信息与所述视频录像的相应视频帧绑定时，具体实现：
将所述飞行信息转换成字幕信息；以及
将所述字幕信息与所述视频录像的相应视频帧相绑定。
15.根据权利要求14所述的飞行器，其特征在于，所述处理器在实现所述将所述字幕信息与所述视频录像的相应视频帧相绑定时，具体实现：
在所述视频录像的相应视频帧中确定所述字幕信息的显示区域，所述显示区域远离所述视频帧中的关键目标物；以及
将所述字幕信息显示在所述显示区域中。
16.根据权利要求15所述的飞行器，其特征在于，所述处理器在实现所述将所述字幕信息显示在所述显示区域中之前，还实现：
根据所述显示区域的像素值计算所述显示区域的颜色值，根据所述显示区域的颜色值确定所述字幕信息的字幕颜色值，其中所述字幕颜色值和所述显示区域的颜色值对应的颜色互为反差色；
所述将所述字幕信息显示在所述显示区域中，包括：将所述字幕信息采用所述字幕颜色值对应的颜色显示至所述显示区域中。
17.根据权利要求11至15任一项所述的飞行器，其特征在于，所述处理器在实现所述将所述飞行信息与所述视频录像的相应视频帧绑定之后，还实现：
发送所述视频录像至接收端，以使所述接收端显示所述视频录像。
18.根据权利要求11所述的飞行器，其特征在于，所述位置信息包括所述飞行器的位置信息；或者，所述位置信息包括所述飞行器的位置信息、起飞点位置信息以及所述飞行器与所述起飞点的相对位置信息。
19.根据权利要求18所述的飞行器，其特征在于，所述处理器在实现所述根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置时，实现：
获取用户在显示的视频帧中确定的目标区域对应的位置点信息；
根据所述飞行器的位置信息、所述云台姿态信息和所述位置点信息确定所述目标区域的位置。
20.根据权利要求11所述的飞行器，其特征在于，所述飞行信息还包括飞行参数和/或摄像参数；所述飞行参数包括：飞行速度和飞行器姿态参数中的至少一项；所述摄像参数包括：相机光圈大小、快门时间、曝光强度和曝光值中的至少一项。
21.一种接收端，其特征在于，所述接收端包括显示装置；所述接收端通过所述显示装置显示所述视频录像和与所述视频录像绑定的飞行信息，所述飞行信息包括位置信息和云台姿态信息；根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
22.根据权利要求21所述的接收端，其特征在于，所述位置信息包括所述飞行器的位置信息；或者，所述位置信息包括所述飞行器的位置信息、起飞点位置信息以及所述飞行器与所述起飞点的相对位置信息。
23.根据权利要求22所述的接收端，其特征在于，所述根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置，包括：
获取用户在显示的视频帧中确定目标区域对应的位置点信息；
根据所述飞行器的位置信息、所述云台姿态信息和所述位置点信息确定所述目标区域的位置。
24.根据权利要求21所述的接收端，其特征在于，所述飞行信息还包括飞行参数和/或摄像参数；所述飞行参数包括：飞行速度和飞行器姿态参数中的至少一项；所述摄像参数包括：相机光圈大小、快门时间、曝光强度和曝光值中的至少一项。
25.根据权利要求21至24任一项所述的接收端，其特征在于，所述视频录像的视频帧包括飞行信息，包括：所述飞行信息以字幕信息显示在所述视频帧中；所述字幕信息显示在所述视频帧的特定位置，所述特定位置包括在视频帧的视频画面的下方、上方、左侧或右侧。
26.一种飞行系统，其特征在于，所述飞行系统包括飞行器和接收端，所述接收端包括显示装置；
所述飞行器用于在巡检时，采集巡检区的视频录像；
所述飞行器用于获取在采集所述视频录像时对应的飞行信息，所述飞行信息包括位置信息和云台姿态信息；
所述飞行器用于将所述飞行信息与所述视频录像的相应视频帧绑定，并将添加有所述飞行信息的所述视频录像发送至接收端；
所述接收端用于通过所述显示装置显示所述视频录像以及在所述视频录像的视频帧中显示所述飞行信息，根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置。
27.根据权利要求26所述的飞行系统，其特征在于，所述飞行器用于获取在采集所述视频录像时对应的飞行信息，包括：
获取定位精度等级，根据定位精度等级确定采集时间点；
在所述采集时间点获取所述飞行器在采集所述视频录像时对应的飞行信息。
28.根据权利要求27所述的飞行系统，其特征在于，所述飞行器用于将所述飞行信息与所述视频录像的相应视频帧绑定，包括：
将所述采集时间点对应的飞行信息，与所述采集时间点至上一个采集时间点对应的视频录像中的每一帧视频帧相绑定。
29.根据权利要求26至28任一项所述的飞行系统，其特征在于，所述飞行器用于将所述飞行信息与所述视频录像的相应视频帧绑定，包括：
将所述飞行信息转换成字幕信息；以及
将所述字幕信息与所述视频录像的相应视频帧相绑定。
30.根据权利要求29所述的飞行系统，其特征在于，所述飞行器用于将所述字幕信息与所述视频录像的相应视频帧相绑定，包括：
在所述视频录像的相应视频帧中确定所述字幕信息的显示区域，所述显示区域远离所述视频帧中的关键目标物；以及
将所述字幕信息显示在所述显示区域中。
31.根据权利要求30所述的飞行系统，其特征在于，所述将所述字幕信息显示在所述显示区域中之前，还包括：
根据所述显示区域的像素值计算所述显示区域的颜色值，根据所述显示区域的颜色值确定所述字幕信息的字幕颜色值，其中所述字幕颜色值和所述显示区域的颜色值对应的颜色互为反差色；
所述将所述字幕信息显示在所述显示区域中，包括：将所述字幕信息采用所述字幕颜色值对应的颜色显示至所述显示区域中。
32.根据权利要求26所述的飞行系统，其特征在于，所述位置信息包括所述飞行器的位置信息；或者，所述位置信息包括所述飞行器的位置信息、起飞点位置信息以及所述飞行器与所述起飞点的相对位置信息。
33.根据权利要求32所述的飞行系统，其特征在于，所述根据所述飞行信息中的位置信息和云台姿态信息获取所述视频帧中的目标区域的位置，包括：
获取用户在显示的视频帧中确定的目标区域对应的位置点信息；
根据所述飞行器的位置信息、所述云台姿态信息和所述位置点信息确定所述目标区域的位置。
34.根据权利要求26所述的飞行系统，其特征在于，所述飞行信息还包括飞行参数和/或摄像参数；所述飞行参数包括：飞行速度和飞行器姿态参数中的至少一项；所述摄像参数包括：相机光圈大小、快门时间、曝光强度和曝光值中的至少一项。
35.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至10中任一项所述的巡检方法。
CN201980040208.7A 2019-08-31 2019-08-31 基于飞行器的巡检方法、设备及存储介质 Pending CN112313596A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/103893 WO2021035756A1 (zh) 2019-08-31 2019-08-31 基于飞行器的巡检方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112313596A true CN112313596A (zh) 2021-02-02

Family

ID=74336507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980040208.7A Pending CN112313596A (zh) 2019-08-31 2019-08-31 基于飞行器的巡检方法、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112313596A (zh)
WO (1) WO2021035756A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379908A (zh) * 2021-04-08 2021-09-10 贵州电网有限责任公司 一种电力设备自动巡检用的三维gisvr线路实景平台搭建系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113720721B (zh) * 2021-08-16 2024-05-03 中国飞机强度研究所 一种飞机疲劳试验中内舱结构巡检的标定融合方法
CN114785961B (zh) * 2022-06-21 2022-09-20 山东信通电子股份有限公司 一种基于云台相机的巡视路线生成方法、设备及介质
CN115455275B (zh) * 2022-11-08 2023-02-03 广东卓维网络有限公司 融合巡检设备的视频处理系统
CN116597327B (zh) * 2023-05-15 2024-04-12 岳阳市水利水电规划勘测设计院有限公司 基于无人机的水利设施隐患排查系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255259A (zh) * 2011-03-29 2011-11-23 山东鲁能智能技术有限公司 适合于无人飞行器的输电线路巡检装置
CN103942273A (zh) * 2014-03-27 2014-07-23 北京空间机电研究所 一种空中快速响应动态监测系统及其动态监测方法
CN105100665A (zh) * 2015-08-21 2015-11-25 广州飞米电子科技有限公司 存储飞行器采集的多媒体信息的方法和装置
CN105698762A (zh) * 2016-01-15 2016-06-22 中国人民解放军国防科学技术大学 一种单机航迹上基于不同时刻观测点的目标快速定位方法
CN108680143A (zh) * 2018-04-27 2018-10-19 南京拓威航空科技有限公司 基于远程测距的目标定位方法、装置及无人机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650866A (zh) * 2009-09-22 2010-02-17 华南理工大学 一种应用于无人机的火灾检测系统及其火灾检测方法
CN105790155B (zh) * 2016-04-08 2018-11-13 四川桑莱特智能电气设备股份有限公司 一种基于差分gps的输电线路无人机自主巡检系统及方法
CN109239725A (zh) * 2018-08-20 2019-01-18 广州极飞科技有限公司 基于激光测距装置的地图测绘方法及终端
CN110033103A (zh) * 2019-04-12 2019-07-19 合肥佳讯科技有限公司 一种光伏板巡检系统及巡检方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255259A (zh) * 2011-03-29 2011-11-23 山东鲁能智能技术有限公司 适合于无人飞行器的输电线路巡检装置
CN103942273A (zh) * 2014-03-27 2014-07-23 北京空间机电研究所 一种空中快速响应动态监测系统及其动态监测方法
CN105100665A (zh) * 2015-08-21 2015-11-25 广州飞米电子科技有限公司 存储飞行器采集的多媒体信息的方法和装置
CN105698762A (zh) * 2016-01-15 2016-06-22 中国人民解放军国防科学技术大学 一种单机航迹上基于不同时刻观测点的目标快速定位方法
CN108680143A (zh) * 2018-04-27 2018-10-19 南京拓威航空科技有限公司 基于远程测距的目标定位方法、装置及无人机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379908A (zh) * 2021-04-08 2021-09-10 贵州电网有限责任公司 一种电力设备自动巡检用的三维gisvr线路实景平台搭建系统

Also Published As

Publication number Publication date
WO2021035756A1 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
CN112313596A (zh) 基于飞行器的巡检方法、设备及存储介质
CN109661812B (zh) 多视点摄像系统、三维空间重构系统及三维空间识别系统
EP3606038B1 (en) Imaging system and correction method
US11024052B2 (en) Stereo camera and height acquisition method thereof and height acquisition system
US20200027242A1 (en) Imaging system, calibration method, and calibrator
WO2017173734A1 (zh) 调整拍摄角度的方法、装置和无人驾驶飞行器
CN106406343B (zh) 无人飞行器的控制方法、装置和系统
CN110009675B (zh) 生成视差图的方法、装置、介质及设备
CA3154717A1 (en) Real-time moving platform management system
CN112154649A (zh) 航测方法、拍摄控制方法、飞行器、终端、系统及存储介质
CN110493524A (zh) 一种测光调整方法、装置、设备和存储介质
CN113056904A (zh) 图像传输方法、可移动平台及计算机可读存储介质
CN110187720B (zh) 无人机导引方法、装置、系统、介质及电子设备
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
CN106060523A (zh) 全景立体图像采集、显示方法及相应的装置
CN105892638A (zh) 一种虚拟现实交互方法、装置和系统
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
CN105721776A (zh) 一种带数字稳像功能的运动摄像机装置及数字稳像方法
CN111325201A (zh) 影像处理方法、装置与可移动设备、无人机遥控器及系统
KR20210104033A (ko) 측량 및 매핑 표본점의 계획 방법, 장치, 제어 단말기 및 저장 매체
CN110800023A (zh) 图像处理方法和设备、摄像装置以及无人机
WO2021115192A1 (zh) 图像处理装置、图像处理方法、程序及记录介质
JP7437930B2 (ja) 移動体及び撮像システム
CN115690573A (zh) 基站验收方法、装置、设备及存储介质
Whitley Unmanned aerial vehicles (UAVs) for documenting and interpreting historical archaeological Sites: Part II—return of the drones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210202