CN113938663A - 用于组合和编辑uav操作数据和视频数据的方法和系统 - Google Patents

用于组合和编辑uav操作数据和视频数据的方法和系统 Download PDF

Info

Publication number
CN113938663A
CN113938663A CN202111234156.2A CN202111234156A CN113938663A CN 113938663 A CN113938663 A CN 113938663A CN 202111234156 A CN202111234156 A CN 202111234156A CN 113938663 A CN113938663 A CN 113938663A
Authority
CN
China
Prior art keywords
data
video
information
video data
operational data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111234156.2A
Other languages
English (en)
Other versions
CN113938663B (zh
Inventor
白高平
霍达君
张若颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202111234156.2A priority Critical patent/CN113938663B/zh
Publication of CN113938663A publication Critical patent/CN113938663A/zh
Application granted granted Critical
Publication of CN113938663B publication Critical patent/CN113938663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9206—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a character code signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Abstract

公开了一种用于组合数据的系统。该系统可以包括：接收由至少一个传感器记录的视频数据和载有所述至少一个传感器的可移动物体的操作数据，所述操作数据包括在记录所述视频数据的时间段期间所述可移动物体的运动状态数据和/或所述可移动物体的控制命令数据；识别与视频编辑模型对应的操作数据以及与所识别的操作数据对应的视频数据；将所述操作数据与所述视频数据相关联；以及，基于所述视频编辑模型混合所识别的视频数据。

Description

用于组合和编辑UAV操作数据和视频数据的方法和系统
技术领域
本发明总体上涉及用于数据组合和编辑的方法和系统，更具体地，涉及用于组合和编辑无人机(UAV)操作数据和视频数据的方法和系统。
背景技术
由于视频捕捉装置的可用性的增加，为了处理捕捉的视频，对视频编辑工具的需求很高。除了普通的摄像机之外，消费者还可获得众多的手持和空中视频装置，例如便携式摄像机、相机手机和相机无人驾驶机。由于这些装置还配备了数据存储和传输功能，因此可以捕捉、存储和传输视频以进行回放或编辑。
然而，视频编辑技术并没有像装置领域那样有太大的改变。目前，由于各种原因，用户在获得可呈现的片段之前仍然需要花费相当多的时间来编辑视频。在一个示例中，捕捉的素材可能包含不需要的场景，例如相机抖动过多的部分或者意想不到的物体阻挡视野的部分。在另一个示例中，期望的视频主题可以通过多于一个的片段捕捉，或者在同一片段中的不同时间戳处捕捉。在这种情况下，使用现有技术，用户必须浏览所捕捉的原始片段并手动选择场景以产生最终的视频。这种编辑过程对于大多数消费者而言可能变得耗时且令人沮丧。
发明内容
本发明的一个方面针对一种用于组合数据的系统。该系统可以包括：一个或多个处理器，单独地或共同地被配置为：接收由至少一个传感器记录的视频数据和载有所述至少一个传感器的可移动物体的操作数据，所述操作数据包括在记录所述视频数据的时间段期间所述可移动物体的运动状态数据和/或所述可移动物体的控制命令数据；识别与视频编辑模型对应的操作数据以及与所识别的操作数据对应的视频数据；将所述操作数据与所述视频数据相关联；以及，基于所述视频编辑模型混合所识别的视频数据。
本发明的另一个方面针对一种成像装置，其配置有本发明的一个方面针对的用于组合数据的系统。
应理解，前面的概述和下文的具体描述仅是示例性和说明性的，而并不作为对要求保护的本发明的限制。
附图说明
附图构成本说明书的一部分，其示出了若干个实施例，并且连同说明书一起用于说明所公开的原理。
图1是示出与本发明的示例性实施例一致的、用于组合和/或编辑操作数据和视频数据的系统的框图。
图2是示出与本发明的示例性实施例一致的、用于组合和/或编辑UAV操作数据和视频数据的系统的框图。
图3是示出与本发明的示例性实施例一致的、用于组合UAV操作数据和视频数据的UAV的图形表示。
图4是示出与本发明的示例性实施例一致的、用于编辑UAV操作数据和视频数据的系统的框图。
图5是示出与本发明的示例性实施例一致的、用于组合UAV操作数据和视频数据的方法的流程图。
图6是示出与本发明的示例性实施例一致的、用于编辑UAV操作数据和视频数据的方法的流程图。
图7是示出与本发明的示例性实施例一致的方法400和方法500的图形表示。
具体实施方式
现将详细参照多个示例性实施例，其示例在附图中示出。以下的描述参照附图，不同附图中的相同数字表示相同或相似的元件，除非另有说明。为了简洁，一个实施例中的部件的描述可适用于不同实施例中的相同或相似部件，尽管不同的参考标号可用于指代不同实施例中的部件。在与本发明一致的示例性实施例的以下描述中阐述的实现不代表与本发明一致的所有实现。相反，它们仅仅是与本发明的相关方面一致的系统和方法的示例。
对于根据原始素材制作期望的视频片段而言，目前的视频编辑技术对用户是不方便的。所公开的系统和方法可以减轻或克服以上阐述的一个或多个问题和/或现有技术中的其他问题。
图1是示出与本发明的示例性实施例一致的、用于组合和/或编辑操作数据和视频数据的系统10的框图。在一些实施例中，系统10可以包括比图1所示更多的部件。然而，为了公开说明性实施例，并不需要示出所有这些部件。系统10可以包括处理单元2，处理单元2可以包括一个或多个处理器。在操作中，系统10可以与存储单元4耦接，存储单元4可以包括存储数据的计算机存储器。系统10可以从外部源接收视频数据，外部源例如是记录单元6(例如可移动物体上的传感器)。该系统还可以从操作数据感测单元8接收操作数据。操作数据可以与视频数据有关。例如，在记录单元6是可移动物体上的相机的示例性实施例中，可移动物体的操作数据表示在记录视频数据的时间段期间可移动物体的一个或多个操作状态。处理单元2的一个或多个处理器可以单独地或共同地操作以将操作数据与视频数据相关联。处理单元2还可以将关联的操作数据和视频数据存储在存储单元4中的视频文件中。
系统10可以被实现为独立装置或实现为计算机或智能装置(例如智能电话或平板电脑)上的应用。在一些实施例中，系统10可以包括如上所述的存储单元4、记录单元6(例如相机或麦克风)和/或操作数据感测单元8(例如，惯性测量单元或GPS)。在如下所述的一些实施例中，系统10可以在可移动物体上和/或可移动物体的控制器上实现。
图2是示出与本发明的示例性实施例一致的、用于组合和/或编辑UAV操作数据和视频数据的系统100的框图。在一些实施例中，系统100可以包括比图2所示更多的部件。然而，为了公开说明性实施例，并不需要示出所有这些部件。系统100可以包括经由网络102连接的装置101和终端装置103。虽然图2示出了系统100的几个示例性部件，但是不需要全部这些部件来组合和/或编辑操作数据和视频数据。也不需要要求所有这些部件执行本发明中描述的其他步骤和方法。例如，装置101或处理单元12本身可以组合操作数据和视频数据。终端装置103本身可以编辑操作数据和视频数据。也就是说，装置101和终端装置103可以独立工作以执行本发明中描述的一种或多种方法。此外，视频数据和/或操作数据可以如下所述由装置101捕捉、由装置101外部的另一个模块或装置捕捉、或者由装置101与外部模块或装置这两者的组合来捕捉。由外部模块或装置捕捉的数据可以通过网络、云连接或可移动存储器传输到装置101和/或终端装置103，以进行数据组合或编辑。网络102可以是允许在装置101和终端装置103之间进行数据传输和控制的基于电线/电缆的连接或无线连接，例如无线电、蓝牙、云连接或WiFi。作为网络102的替代，数据、文件和/或指令可以通过诸如安全数字(SD)卡或拇指驱动器之类的可移除存储装置104在装置101和终端装置103之间传输或交换。图2中连接到可移除存储装置104的虚线可以表示借助于可移除存储装置将数据从一个装置传输到另一个装置的连接，这种连接是通过将可移除存储装置插入这些装置而实现的。例如，在捕捉视频数据之后，装置101可以将捕捉的视频数据存储在装置101中和/或通过云网络或通过可移除存储卡发送捕捉的视频数据以存储在终端装置103中。又如，终端装置103可以控制装置101根据预定模式移动(例如，装置101是被控制为根据预定飞行样式飞行的UAV)。装置101可以通过网络102连接到一个或多个其他装置，例如计算机、膝上型计算机、平板电脑、手机和服务器。
在一些实施例中，装置101可以是可移动物体，例如UAV。以下参考图3来描述示例性UAV。装置101可以被配置为组合UAV操作数据和视频数据，例如，执行以下参照图5描述的方法400。终端装置103可以是控制终端或监控终端。终端装置103可以是手持装置，例如手机。终端装置103也可以是专用计算机。以下参考图4来描述示例性终端装置103，其体现为系统300。终端装置103可以被配置为编辑UAV操作数据和视频数据，例如，执行以下参考图6描述的方法500。
本发明的可移动物体可以是UAV和/或诸如移动电话、手柄、云台、云台平台或云台稳定器等手持式装置。本发明的可移动物体可以被配置为在任何合适的环境中移动，例如空中(例如，固定翼飞行器、旋转翼飞行器、或既不具有固定翼也不具有旋转翼的飞行器)、水中(例如，船舶或潜艇)、地上(例如，机动车辆，如轿车、卡车、公共汽车、厢式货车、摩托车；可移动的结构或框架，如棒、钓鱼竿；或火车)、地下(例如地铁)、太空(例如，太空飞机、卫星或探测器)或这些环境的任意组合。可移动物体可以是运载工具，诸如本文其他地方描述的运载工具。可移动物体可以安装在诸如人或动物的活体上。合适的动物可以包括：禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚类、啮齿类或昆虫类。
可移动物体可以相对于六个自由度(例如平移的三个自由度和旋转的三个自由度)在环境内自由移动。备选地，可移动物体的移动可以例如通过预定的路径、轨道或朝向，来相对于一个或多个自由度进行约束。该移动可以通过任何合适的致动机构(例如引擎或电机)来致动。可移动物体的致动机构可以由任何合适的能源供电，例如电能、磁能、太阳能、风能、引力能、化学能、核能或其任何合适的组合。可移动物体可以通过推进系统自推进，如本文其他地方所描述。推进系统可以可选地使用例如以下能源：电能、磁能、太阳能、风能、引力能、化学能、核能或其任何合适的组合。备选地，可移动物体可以由生物携带。
在一些情况下，可移动物体可以是运载工具。合适的运载工具可以包括水上运载工具、飞行器、空间飞行器或地面运载工具。例如，飞行器可以是固定翼飞行器(例如飞机、滑翔机)、旋转翼飞行器(例如直升机、旋翼机)、既具有固定翼又具有旋转翼的飞行器、或者既不具有固定翼也不具有旋转翼的飞行器(例如飞艇、热气球)。
运载工具可以自推进，例如通过空气、在水上或水中、在太空中、或在地面上或地面下自推进。自推进运载工具可以利用推进系统，例如包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、叶片、喷嘴或其任何适当组合的推进系统。在一些情况下，推进系统可用于使可移动物体能够从表面起飞、降落在表面上、保持其当前位置和/或朝向(例如悬停)、改变朝向、和/或改变位置。
可移动物体可以由用户远程控制。例如，可以借助控制终端和/或监控终端来控制可移动物体。用户可以远离可移动物体或在可移动物体上或其中，并同时使用控制终端和/或监控终端来控制可移动物体。可移动物体可以是无人的可移动物体，例如UAV。诸如UAV之类的无人的可移动物体可以不具有搭乘在可移动物体上的乘员。可移动物体可以由人或自主控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主或半自主机器人，例如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施例中，可移动物体可以具有在运载工具内或运载工具上搭载人类乘员的大小和/或尺寸。备选地，可移动物体的大小和/或尺寸可以小于能够在运载工具内或运载工具上搭载人类乘员的大小和/或尺寸。可移动物体可以具有适合于被人举起或携带的大小和/或尺寸。备选地，可移动物体可以大于适合于被人举起或携带的大小和/或尺寸。
装置101可以包括多个部件和子部件，其中的一些可以是可选的。装置101可以包括传感器单元11、处理单元12、存储单元13、驱动单元和电源单元15。装置101的部件可以经由总线或其他类型的通信通道可操作地彼此连接。装置101的一些部件可以被集成到一个单元或一个部件中。例如，传感器单元11可以与处理单元12集成。
传感器单元11可以包括记录单元16和操作数据感测单元17。传感器单元11可以包括一个或多个传感器。记录单元16和操作数据感测单元17可以被集成为一个传感器或者作为独立的传感器来操作。传感器单元11可以利用收集与设备101的周围有关的信息的不同类型的传感器。不同类型的传感器可以检测和/或测量不同类型的信号。
在一些实施例中，记录单元16可以包括视觉/图像传感器以收集视觉信号(例如视频数据)和/或麦克风以收集声音。记录单元16可以包括能够将音频、视频、静止图像或其他信号记录和/或处理为模拟或数字数据的任何装置。记录单元的示例可以包括相机(例如数码相机)、便携式摄像机、摄像机、数字媒体播放器(PMP)、照相手机、智能手机、个人数字助理(PDA)、平板计算装置、膝上型计算机、台式计算机、智能电视、游戏控制台等。记录单元16可以包括图像传感器(例如，光传感器)、透镜或其他光学部件、麦克风等。记录单元16还可以被配置为在各种数据存储装置(例如，存储单元13)上存储表示音频、视频、图像、文本或其它模拟或数字信号的数据，和/或基于记录的数据生成用于回放或流式传输的媒体文件。
在一些实施例中，操作数据感测单元17可以包括被配置为捕捉下面参照图5描述的操作数据的传感器。例如，操作数据感测单元17可以包括惯性传感器、位置传感器(例如，GPS和磁力计)、距离传感器(例如，超声波、红外线和LIDAR)等，以收集与装置101的状态有关的操作数据。如下所述，操作数据不限于由感测单元17收集的数据。操作数据还可以包括由处理单元12生成或接收的与装置101的操作状态或状态有关的数据。例如，处理单元12可以从终端装置103接收指示装置101悬停在对象周围的控制命令。控制命令数据可以是操作数据的示例。传感器单元11及其部件可以可操作地耦接到多种可移动物体(例如UAV)，和/或作为搭载物而由多种可移动物体(例如UAV)载运。
处理单元12可以控制装置101的操作。例如，处理单元12可控制记录单元16捕捉视频数据，控制操作数据感测单元17捕捉装置101的操作数据，和/或控制驱动单元14操作装置101。
在一些实施例中，处理单元12可以执行音频、视频或其他信号的模数转换，使用一个或多个编码算法对信号进行压缩或解压缩，对记录的数据进行加密和/或解密，对记录的数据进行回放、传输和/或流式传输，以及其他功能。
存储单元13可以存储由装置101和/或终端装置103捕捉、处理、生成或以其他方式使用的数据。在各种实施例中，数据存储装置可以基于半导体、磁、光或任何合适的技术，并且可以包括闪存、USB驱动器、存储卡、固态驱动器(SSD)、硬盘驱动器(HDD)、软盘、光盘、磁带等。在一些实施例中，存储装置可以包括一个或多个内部存储介质和一个或多个外部存储介质。
内部存储介质可以包括一个或多个数据存储装置，该数据存储装置通常是装置101的必需部分并且一般不与装置101分离。例如，内部存储单元可以位于装置101的主体或外壳内并且不容易拆卸。这种内部存储介质的示例包括内部闪存(例如NAND型闪存)和其他合适类型的存储器部件。在一些情况下，记录单元16可以通过内部总线直接访问内部存储介质。
外部存储介质可以包括可分离地与装置101耦接的可移除存储装置。例如，可移除存储装置可以经由有线连接或基于硬件的连接可操作地连接到记录单元16，能够被插入到记录单元16和从记录单元16弹出，或者可以附接到记录单元16的主体的外部。这种可移除存储装置可以包括任何合适格式的存储卡，例如PC卡、CompactFlash、SmartMedia、存储棒、存储棒Duo、存储棒PRO Duo、微型卡、多媒体卡(MMC)、缩小尺寸多媒体卡(RSMMC)、MMCmicro卡(MMCmicro)、PS2卡、安全数字(SD)卡、SxS、通用闪存(UFS)、miniSD、microSD、xD图像卡、智能棒(iStick)、串行闪存模块(SFM)、NT卡、XQD卡等。外部存储介质还可以包括可以可操作地连接到记录单元16的外部硬盘驱动器、光盘驱动器、磁带驱动器、软盘驱动器和其他合适的存储装置。在一些情况下，外部存储介质还可以包括可以经由有线或无线网络连接与记录单元16通信而不要求与记录单元16物理连接的联网存储介质，例如数据存储服务器(诸如云存储)。可移除存储装置104可以是外部存储介质的一个示例。
在一些实施例中，存储单元13可以是存储指令的非暂时性计算机可读存储介质，所述指令在由处理单元12执行时使装置101的一个或多个部件执行下面参照图5描述的方法400。
驱动单元14可以控制装置101的移动。例如，驱动单元14可以包括UAV的旋翼。
电源单元15可以向装置101的一个或多个部件供电。电源单元15可以包括普通电池(例如锂离子电池)、可无线充电电池、和太阳能面板供电的电池(例如，与设置在UAV上的轻质太阳能面板连接的电池)。
图3是示出与本发明的示例性实施例一致的、用于组合UAV操作数据和视频数据的UAV 200的图形表示。UAV 200可以载有上述系统100的一个或多个部件。UAV 200可以是如本文所述的装置101(例如，可移动物体)的示例。UAV 200可以包括具有四个旋翼202、204、206和208的推进系统。可以设置任何数量的旋翼(例如，1、2、3、4、5、6或更多)。无人驾驶飞行器的旋翼、旋翼组件或其他推进系统可使无人驾驶飞行器悬停/保持位置、改变朝向和/或改变位置。相对的旋翼的轴之间的距离可以是任何合适的长度210。本文对UAV的任何描述都可以应用于可移动物体，例如不同类型的可移动物体，反之亦然。
在一些实施例中，可移动物体可以被配置为载有负载212。负载212可以包括乘客、货物、设备、仪器等中的一个或多个。负载212可以设置在壳体内。该壳体可以与可移动物体的壳体分离，或者可以是可移动物体的壳体的一部分。备选地，负载212可以设置有壳体，而可移动物体不具有壳体。备选地，可以在没有壳体的情况下设置负载的一部分或整个负载。负载可以相对于可移动物体刚性固定。可选地，负载可以相对于可移动物体可移动(例如，相对于可移动物体可平移或可旋转)。
在一些实施例中，负载212可以包括搭载物。在一些实施例中，搭载物可以被配置为实现如本文所公开的用于组合UAV操作数据和视频数据的方法。例如，可移动物体可以是UAV，并且搭载物可以包括上面参照图2描述的记录单元16。记录单元可以被配置成捕捉UAV的周围的视频、声音和其他数据。诸如视频之类的捕捉数据可以被流传输回控制终端或基站。如本文所公开的用于组合UAV操作数据和视频数据的方法对于UAV或其他移动运载工具可能是特别重要的。UAV通常暴露于自然界的要素和/或敌对势力的攻击下，例如由于天气条件、来自降落/起飞或周围障碍物的影响等等，会导致故障和/或UAV及UAV所载的搭载物的损坏。例如，气流、UAV的碰撞甚至撞毁可能导致记录单元的记录操作的关键部件的断开或损坏，从而中断记录。因此，由这样的UAV载运的记录单元应该准备好从由这样的异常事件导致的可能频繁的记录中断中平稳地恢复，以便保护所记录的媒体内容数据。
搭载物可以被配置为不执行任何操作或功能。备选地，搭载物可以是被配置为执行操作或功能的搭载物，也被称为功能性搭载物。例如，搭载物可以是图像捕捉装置。可以将任何合适的传感器结合到搭载物中，例如图像捕捉装置(例如相机)、音频捕捉装置(例如抛物面麦克风)、红外成像装置或紫外成像装置。传感器可以提供静态感测数据(例如照片)或动态感测数据(例如，视频)。在一些实施例中，传感器为搭载物的目标提供感测数据。
备选地或组合地，搭载物可以包括用于向一个或多个目标提供信号的一个或多个发射器。可以使用任何合适的发射器，例如照明源或声源。在一些实施例中，搭载物包括一个或多个收发器，例如用于与远离可移动物体的模块进行通信。例如，通信可以是与本文描述的终端装置进行的。可选地，可以将搭载物配置为与环境或目标进行交互。例如，搭载物可以包括能够操纵物体的工具、仪器或机构，例如机器人手臂。
可选地，负载212可以包括载体。载体可以为搭载物提供，搭载物可以通过载体直接(例如，直接接触可移动物体)或间接(例如，不接触可移动物体)与可移动物体耦接。相反，搭载物可以安装在可移动物体上而不需要载体。搭载物可以与载体一体形成。备选地，搭载物可以可开释地与载体耦接。在一些实施例中，搭载物可以包括一个或多个搭载物元件，并且一个或多个搭载物元件可以如上所述相对于可移动物体和/或载体可移动。
载体可以与可移动物体一体形成。备选地，载体可以可开释地与可移动物体耦接。载体可以直接或间接地与可移动物体耦接。载体可以对搭载物提供支持(例如，承载搭载物的至少一部分重量)。载体可以包括能够稳定和/或引导搭载物的移动的合适的安装结构(例如，云台平台或云台稳定器)。在一些实施例中，载体可以被适配为控制搭载物相对于可移动物体的状态(例如，位置和/或朝向)。例如，载体可以被配置成相对于可移动物体移动(例如相对于一个、两个或三个平移自由度和/或一个、两个或三个旋转自由度)，使得搭载物保持其相对于合适的参考系统的位置和/或朝向，而与可移动物体的移动无关。参考系统可以是固定参考系统(例如周围环境)。备选地，参考系统可以是移动参考系统(例如，可移动物体、搭载物目标)。
在一些实施例中，载体可以被配置成允许搭载物相对于载体和/或可移动物体的移动。该移动可以是关于多达三个自由度(例如，沿着一个、两个或三个轴)的平移或关于多达三个自由度的旋转(例如，关于一个、两个或三个轴)或其任何合适的组合。
在一些情况下，载体可以包括载体框架组件和载体致动组件。载体框架组件可以为搭载物提供结构支撑。载体框架组件可以包括单独的载体框架部件，其中一些可以相对于彼此可移动。载体致动组件可以包括驱使上述单独的载体框架部件移动的一个或多个致动器(例如，电机)。致动器可以同时允许多个载体框架部件的移动，或者可以被配置为一次允许单个载体框架部件的移动。载体框架部件的移动可以产生搭载物的相应移动。例如，载体致动组件可驱使一个或多个载体框架部件围绕一个或多个旋转轴(例如，横滚轴、俯仰轴或偏航轴)旋转。一个或多个载体框架部件的旋转可使搭载物围绕相对于可移动物体关于一个或多个旋转轴旋转。备选地或组合地，载体致动组件可驱使一个或多个载体框架部件沿着一个或多个平移轴平移，并由此产生搭载物的沿着一个或多个对应轴线相对于可移动物体的平移。
图4是示出与本发明的示例性实施例一致的、用于编辑UAV操作数据和视频数据的系统300(例如视频编辑装置)的框图。例如，系统300可以被配置为在终端装置(例如图2中讨论的终端装置103)或其部件上实施。在一些实施例中，系统300可以包括比图4所示更多的部件。然而，为了公开说明性实施例，并不需要示出所有这些部件。系统300可以包括网络接口302、处理单元304、存储器306、显示器308和I/O单元310，其中的一些可以是可选的。系统300的部件可以经由总线或其他类型的通信通道可操作地彼此连接。系统300还可以通过网络连接到其他计算机、移动电话和服务器，以共享所编辑的视频和/或远程编辑视频。系统300也可以通过云连接而连接到UAV。系统300还可以经由诸如安全数字(SD)卡或拇指驱动器之类的可移除存储装置与UAV传输或交换数据、文件或指令。
处理单元304可以包括一个或多个处理器，例如可编程处理器(例如，中央处理单元(CPU))。处理单元304可以可操作地与存储器306耦接。存储器306可以包括暂时性和/或非暂时性存储介质，其被配置为存储数据、和/或逻辑、代码和/或程序指令，它们可由处理单元304执行，用于执行一个或多个例程或功能、和/或本文公开的步骤和方法。存储器可以包括一个或多个存储器单元(例如，闪存卡、随机存取存储器(RAM)、只读存储器(ROM)等)。在一些实施例中，来自I/O单元310的输入可被传送到并存储在存储器306的存储器单元内。
存储器306的存储器单元可以存储例程、逻辑和/或代码，其包括可由处理单元304执行的程序指令，以执行本文描述的方法的任何合适的实施例。例如，存储器306可以是存储指令的非暂时性计算机可读存储介质，所述指令在由处理单元304执行时使系统300执行下面参照图6描述的方法500。尽管图4描绘了单个处理单元304和单个存储器306，但是本领域的技术人员将会理解，这不旨在是限制性的，并且系统300可以包括多个处理单元和/或存储器的存储器单元。在一些实施例中，存储器306可以存储多个视频编辑模型。如下面参考方法500所描述的，每个视频编辑模型可以与一种或多种类型的操作数据相关联。
如图4所示，系统300可以包括被配置为允许与外部装置通信的网络接口302。通信可以是无线的或基于电线/线缆的。例如，网络接口302可以包括用于向外部装置发送数据和/或从外部装置接收数据的发送器、接收器和/或收发器。网络接口302还可以包括用于通过一个或多个网络(诸如因特网、无线网络、蜂窝网络和任何其它网络)进行通信的一个或多个网卡。在一些实施例中，系统300可以不包括任何网络接口302。
显示器308可以被配置为向操作该系统300的用户提供图形用户界面以接收用户输入(例如，视频编辑界面)和/或显示输出(例如，方法500中的步骤的执行结果的音频和视频)。在一些实施例中，系统300可以不包括任何显示器308。
I/O单元310可以被配置为提供用户界面来操作该系统300(例如，接收用户输入的用于编辑视频的关键字)。以下参照方法500描述用户与系统300的交互的细节。
图5是示出与本发明的示例性实施例一致的、用于组合UAV操作数据和视频数据的方法400的流程图。方法400可以包括多个步骤，其中的一些可以是可选的或者可以以其他顺序重新排列。
在步骤402中，系统100的一个或多个部件可以记录视频数据。例如，以上参照图2描述的装置101的记录单元16或以上参照图3描述的负载212的搭载物可以包括具有至少一个传感器的系统，该至少一个传感器可以记录视频数据。视频数据可以包括逐帧记录的视觉图像。
在步骤404中，系统100的一个或多个部件可以接收载有至少一个传感器的可移动物体的视频数据和操作数据，所述操作数据指示在记录所述视频数据的时间段期间所述可移动物体的一个或多个操作状态。例如，以上参考图2描述的处理单元12的一个或多个处理器可以单独地或共同地接收视频数据和操作数据。操作数据可以包括记录单元16或UAV200的位置、姿态或移动信息，并且将在下面更详细地描述。
在步骤406中，系统100的一个或多个部件可以将所述操作数据与所述视频数据相关联。例如，以上参考图2描述的处理单元12的一个或多个处理器可以单独地或共同地将所述操作数据与所述视频数据相关联。在一些实施例中，处理单元12可以确定视频数据的时间戳，使得视频数据的每个帧可以包括该帧被捕捉时的时间。视频时间戳可以与视频帧一起存储。
在步骤406中描述的关联可以通过同步或异步方法来执行。关于同步方法，处理单元12可将操作数据与视频数据的每一帧相关联。例如，帧1到帧100可以各自与诸如UAV的当前飞行高度、当前飞行速度和当前飞行方向之类的信息相关联。关于异步方法，处理单元12可以将时间戳添加到用于与视频数据同步的操作数据。例如，处理单元12可以接收操作数据并将时间戳添加到接收到的操作数据。由于视频帧包含相应的时间戳，所以视频数据和操作数据可以通过时间戳进行关联或链接。在稍后的步骤中，处理单元12可通过匹配视频数据时间戳和操作数据时间戳来进一步将任何视频帧与对应的操作数据进行关联或识别。
在步骤408中，系统100的一个或多个部件可以将相关联的所述操作数据与所述视频数据存储在视频文件中。例如，以上参考图2描述的处理单元12的一个或多个处理器可以单独地或者共同地将相关联的操作数据和视频数据存储在系统300的存储器306中的存储单元13中的单个视频文件中，和/或通过网络102存储在其他装置中。单个视频文件可以以诸如MP4、MOV或AVI之类的视频格式存储。将操作数据和视频数据存储在单个视频文件中可以有助于下面参照图6描述的数据存储、数据传输和视频编辑。例如，在传输视频文件时，用户可以只复制主视频文件而不复制其他关联文件，通过将操作数据和视频数据存储在一起以生成单个视频文件就可以避免这个问题。
以下参考图7来描述方法400的示例性结果。如图7所示，通过方法400，视频数据602和操作数据604可以存储在视频文件606中，而视频数据与操作数据相关联。从一个块指向另一个块的箭头可以表示已经通过该方法转换的数据段。视频文件606可以包括诸如文件头、视频数据、音频数据、元数据、字幕数据和帧描述等内容，其中的一些可以是可选的。每个内容可以包括一个或多个轨道或帧。例如，视频文件606的视频数据可以包括时间相关的视频轨道或视频帧。文件头和/或帧描述可以包括描述内容数据的信息，诸如视频文件的大小、长度、高度/宽度、帧率、编码参数和时间戳。视频文件606中的内容的顺序可以重新排列。
在一些实施例中，系统100的一个或多个部件可以将操作数据与视频数据的帧相关联。例如，处理单元12的一个或多个处理器可以单独地或共同地将视频数据的帧100-300与高于10米的飞行高度和直线飞行样式相关联，并且将视频数据的帧400-500与15米的飞行高度和圆形飞行模式相关联。
在一些实施例中，系统100的一个或多个部件可以将操作数据与一组时间戳相关联。例如，处理单元12的一个或多个处理器可以单独地或共同地将飞行高度(实时记录的操作数据的子集)相应地与一组时间戳相关联。
在一些实施例中，当传感器正在记录视频数据时，系统100的一个或多个部件可以实时地接收操作数据。例如，当记录单元16正在记录视频数据时，处理单元12的一个或多个处理器可以单独地或共同地从操作数据感测单元17实时接收和记录操作数据。
在一些实施例中，当传感器正在记录视频数据时，系统100的一个或多个部件可以将操作数据与视频数据实时地相关联。例如，当正在捕捉视频数据的帧10并且正在测量飞行高度时，与此同时，处理单元12的一个或多个处理器可以单独地或共同地将帧10与10米的飞行高度相关联。
在一些实施例中，当传感器正在记录视频数据时，系统100的一个或多个部件可以将相关联的操作数据和视频数据实时地存储在视频文件中。例如，当记录单元16正在记录视频数据时，处理单元12的一个或多个处理器可以单独地或共同地将相关联的操作数据和视频数据实时地存储在视频文件中。处理单元12可以将视频文件存储在存储单元13中。
在一些实施例中，系统100的一个或多个部件可以接收关于操作数据的设置，并且根据设置将操作数据和视频数据存储在视频文件中。处理单元12可以生成被配置为从用户接收设置的界面。处理单元12的一个或多个处理器可以单独地或共同地接收用户设置，并根据用户设置将操作和视频数据存储在视频文件中。例如，用户设置可以包括选择跟踪模式(例如，跟踪人、动物或物体)。在选择用于跟踪人的跟踪模式(该模式可以是用于实时自动的人物检测、跟踪、以及对所检测和跟踪的一个或多个人的拍摄的UAV飞行和操作模式)的示例中，处理单元12可以识别与跟踪模式相关联的操作数据，识别与所识别的操作数据相关联的视频数据，并且将所识别的操作数据和视频数据存储在视频文件中。在一些实施例中，跟踪模式可以是装置101和/或UAV 200的飞行模式。在此模式下，装置或UAV 200可以通过一个或多个机载传感器和所存储的人物识别算法来检测一个或多个人，并且以预定样式移动以保持捕捉所检测到的人的视频数据。预定样式可以包括装置101的操作参数，例如装置101的预定飞行模式和记录单元16的预定角度。参数还可以包括可根据装置101的当前状态/状态和/或被跟踪人物的当前状态/状态进行调节的参数范围或选择。在该模式下捕捉的装置101或UAV 200的操作数据可以根据跟踪模式设置与所捕捉的视频数据相关联，并且存储在视频文件中。例如，操作数据可以指示UAV 200在跟踪模式下飞行。所捕捉的视频数据与这样的操作数据相关联。当用户例如在终端装置103中输入搜索查询“跟踪模式”时，终端装置103将能够识别相关联的视频数据。
在一些实施例中，设置可以包括定义要与视频数据相关联并存储在视频文件中的操作数据的子集。系统100的一个或一个以上部件可将与视频数据相关联的操作数据的子集存储在视频文件中。
在一些实施例中，设置可以包括要记录的操作数据的类型。例如，系统100的一个或多个部件可根据用户定义的设置来记录操作数据的飞行样式和飞行位置。
在一些实施例中，设置可以包括：将操作数据存储为元数据或字幕数据、将字幕数据存储为活动或非活动的字幕数据、将相关联的操作数据存储为视频文件的元数据、和/或将操作数据以加密形式或非加密形式进行存储。元数据可以包括提供关于其他数据的信息的数据。某些元数据(如协议状态)可能不可配置。字幕数据可以包括可显示在视频数据上的字幕。活动的字幕数据可以显示在视频数据的视频帧上。非活动的字幕数据可以在视频数据的视频帧上隐藏。图7中描述的视频文件606可以示出通过方法400存储在其中的各种数据成分。
在一些实施例中，操作数据可以包括与可移动物体(例如，UAV200或负载212)相关联的以下类型的信息中的一个或多个：飞行控制信息、位置信息、返航点信息、云台状态信息、跟踪状态信息、障碍物信息、高度信息、速度信息、飞行模式信息、移动方向信息、电池信息和云台信息。任何上述信息或部分信息都可以作为元数据或字幕数据存储。飞行控制信息可以包括用于控制装置101的、存储在存储单元13中的指令或者来自终端装置103的指令。位置信息可以包括UAV的GPS位置和/或UAV与另一个物体的相对位置。返航点信息可以包括UAV在起飞之后返回的位置。云台状态信息可以包括3轴云台角度。对于安装在云台上的相机，云台状态信息可以指示相机相对于云台面向哪个方向。基于相机相对于云台的相对方向、相机在云台上的位置、云台在UAV上的位置、以及UAV在3D空间中的位置，装置101的一个或多个部件可实时确定相机在3D空间中面向的方向。跟踪状态信息可以包括UAV是否在跟踪任何物体和/或是否存在任何被跟踪的物体。障碍物信息可以包括是否检测到障碍物、障碍物的位置、用于规避障碍物的飞行控制选择、和/或是否规避了障碍物。高度信息可以包括UAV的飞行高度。速度信息可以包括UAV的飞行速度。飞行模式信息可以包括装置101或UAV 200的飞行状态。飞行模式信息可以包括存储在存储单元13或终端装置103中的预定飞行模式，或者可以动态确定。例如，飞行模式可以包括上述跟踪模式、观看模式(例如，通过实时调整正在工作的UAV的相机的云台配置使得一个或多个物体保持在相机的视场中，从而观看该一个或多个物体)、兴趣点(POI)模式(例如，控制UAV悬停在用户定义的兴趣点和/或拍摄兴趣点的360度视频)等。移动方向信息可以包括UAV的飞行方向。电池信息可以包括电源单元15的剩余电池量或剩余工作时间。云台信息可以包括UAV上搭载的云台的参数和配置。
在一些实施例中，操作数据可以包括与至少一个传感器(例如，传感器单元11的相机，该相机可以安装在云台中)相关联的以下类型的信息中的一个或多个：自动对焦(AF)信息、自动曝光(AE)信息和自动白平衡(AWB)信息、清晰度信息、对比度信息、饱和度信息、快门速度信息、变焦信息、数字效果信息、镜头信息、测光模式信息、对焦区域信息和虹膜信息。任何上述信息或部分信息都可以存储为元数据或字幕数据。
在一些实施例中，操作数据也可以根据数据的呈现界面而包括反向操作数据。例如，上述信息(例如云台信息和与至少一个传感器相关联的信息)可以在云台参考坐标系中捕捉，但是当在终端装置103(例如手机)处呈现时可以将其转换为不同的坐标系，以便于查看和编辑。
在一些实施例中，系统100的一个或多个部件可以加密相关联的操作数据的至少一部分，并将相关联的操作数据的加密部分存储为视频文件的元数据。例如，处理单元12的一个或多个处理器可以单独或共同地加密相关联的操作数据的一部分或全部，并将加密的操作数据存储为视频文件的元数据。
在一些实施例中，系统100的一个或多个部件可以将相关联的操作数据存储为视频文件的字幕数据。例如，处理单元12的一个或多个处理器可以单独地或共同地将相关联的操作数据存储为视频文件的字幕数据。
在一些实施例中，系统100的一个或多个部件可以以非活动形式存储字幕数据的至少一部分。例如，处理单元12的一个或多个处理器可以单独地或共同地以非活动形式存储字幕数据的一部分或全部。例如，UAV的处理单元12可以将位置信息存储为非活动的字幕数据，并且将高度信息存储为活动的字幕数据，因为UAV的用户可能不喜欢其他人知道视频是在哪里拍摄的，而是希望在视频帧上显示UAV的高度以便于视频编辑。用户定义的字幕数据的设置可以为下面描述的视频编辑提供便利，并且提供在背景部分中描述的现有技术中不存在的功能。
在一些实施例中，系统100的一个或多个部件可以将相关联的操作数据以可搜索的形式存储在视频文件中，分析相关联的操作数据的至少一个子集，和/或识别与所分析的相关联的操作数据的子集对应的视频数据的至少一部分。以可搜索的形式存储相关联的操作数据通常意味着使所存储的操作数据可搜索，例如，将操作数据存储在可搜索的数据库中、使操作数据的文本可搜索、通过搜索标签对相关联的操作数据进行分类，使得当用户通过关键字搜索特定的操作数据时，可以通过将搜索标签与关键字进行匹配来识别特定的操作数据。本领域普通技术人员应该理解，可以使用其他常规技术来使操作数据可搜索。例如，处理单元12的一个或多个处理器可以单独地或共同地将相关联的操作数据以可搜索的形式存储在视频文件中，分析相关联的操作数据的至少一个子集，和/或识别与所分析的相关联的操作数据的子集对应的视频数据的至少一部分。与视频数据相关联并作为元数据或字幕数据存储的操作数据可以利用用户通过用户界面(例如通过关键字)输入的查询来搜索，以定位被搜索的视频帧。例如，如果用户输入对位置或地点的搜索，则处理单元12可以搜索或分析相关联的操作数据以获得与POI飞行模式对应的操作数据，在POI飞行模式中，UAV在POI周围环绕以允许机载相机捕捉该POI的360度全周视图。因此，处理单元12也可以识别与所获得的POI操作数据相关联的视频数据的帧。
图6是示出与本发明的示例性实施例一致的、用于编辑UAV操作数据和视频数据的方法500的流程图。方法500可以包括多个步骤，其中的一些可以是可选的或者可以以其他顺序重新排列。
在步骤502中，系统300的一个或多个部件可以接收用于搜索由可移动物体获得的视频文件的用户输入。例如，I/O单元310可以接收用于搜索由可移动物体获得的视频文件的用户输入，所述视频文件包括由至少一个传感器记录的视频数据以及载有所述至少一个传感器的所述可移动物体的操作数据，所述操作数据指示在记录所述视频数据的时间段期间所述可移动物体的一个或多个操作状态并且与所述视频数据相关联。I/O输入310可以将接收到的输入发送到处理单元304。可移动物体、操作数据和关联处理可以是以上参照图1至图4描述的那些或者与它们类似。
在步骤504中，系统300的一个或多个部件可以从视频文件识别与用户输入对应的操作数据。例如，处理单元304可以搜索操作数据以识别与用户输入对应的操作数据。
在步骤506中，系统300的一个或多个部件可以识别与所识别的操作数据对应的视频数据。例如，处理单元304可以识别与所识别的操作数据对应的视频数据。
在一些实施例中，例如，如果用户输入要识别POI操作数据，则处理单元304可以搜索操作数据并识别当UAV在POI模式下飞行时捕捉的操作数据，并且识别与POI操作数据对应的视频数据。步骤505和506可以与以上参考图5描述的实施例类似。
以下参考图7来描述方法500的示例性结果。如图7所示，通过方法500，可以从视频文件606获得文件608。文件608可以包括诸如所识别的视频数据、所识别的元数据和所识别的字幕数据之类的内容，其中的一些可以是可选的。文件608中的内容的顺序可以重新排列。每个内容可以包括一个或多个轨道或帧。例如，所识别的视频可以包括时间相关的视频轨道或视频帧。在一些实施例中，所识别的视频数据的每个帧或轨道可以与所识别的元数据和/或所识别的字幕相关联，并且所述关联可以基于时间戳。
在一些实施例中，由可移动物体获得的视频文件可以是以上参照图5描述的视频文件。如已经描述的那样，在一些实施例中，视频数据的每个帧可以与操作数据相关联。在一些实施例中，操作数据可以与一组时间戳相关联。
在一些实施例中，处理单元304可通过操作数据的时间戳与视频数据的帧的时间戳之间的匹配，来将操作数据与视频数据相关联。例如，处理单元304可以将在时间T1捕捉的视频帧与在时间T1捕捉的飞行高度数据相关联。
在一些实施例中，当传感器记录视频数据时，可以由可移动物体实时地接收或者生成操作数据。
在一些实施例中，当传感器记录视频数据时，可以将操作数据与视频数据实时地相关联。在一些实施例中，当传感器记录视频数据时，相关联的操作数据和视频数据可以被实时地存储在视频文件中。在一些实施例中，根据设置，操作数据的至少一个子集与视频数据相关联并存储在视频文件中。该关联可以如上所述进行。
在一些实施例中，操作数据和视频数据可以根据由可移动物体接收的设置而存储在视频文件中。该设置可以包括将操作数据存储为元数据或者字幕数据。该设置可以包括将字幕数据存储为活动或非活动的字幕数据。该设置可以包括将操作数据存储为加密或非加密数据。该设置、元数据和字幕数据可以与以上参照方法400所描述的类似。
在一些实施例中，相关联的操作数据可以存储为视频文件的元数据。在一些实施例中，相关联的操作数据的至少一部分可以加密并存储为视频文件的元数据。在一些实施例中，相关联的操作数据可以存储为视频文件的字幕数据。在一些实施例中，字幕数据的至少一部分可以以非活动的形式存储，例如，不显示在视频帧上。在一些实施例中，相关联的操作数据可以以可搜索的形式存储在视频文件中。
在一些实施例中，系统300的一个或多个部件可根据用户输入识别视频编辑模型中的至少一个。视频编辑模型可以存储在上述的存储器306中。例如，用户可以在I/O单元310输入兴趣点。处理单元304可以确定是否任一所存储的视频编辑模型与用户输入相匹配。在一些实施例中，处理单元304可以识别与用户输入匹配的一个或多个视频编辑模型。例如，通过从操作数据搜索输入的兴趣点，处理单元304可以识别具有相同兴趣点并且在飞行期间被采用的“个人热点”模式。因此，处理单元304可以识别与POI模式对应的POI视频编辑模型。备选地，用户可以直接输入命令或进行选择，例如基于飞行模式生成视频模型，处理单元304可以搜索飞行中采用的所有飞行模式，并识别一个或多个对应的视频编辑模型。
在一些实施例中，系统300的一个或多个部件可以基于所识别的至少一个视频编辑模型，来生成呈现所识别的视频数据的视频编辑界面。视频编辑界面也可以访问与所识别的视频编辑模型对应的操作数据。例如，处理单元304的一个或多个处理器可以基于所识别的至少一个视频编辑模型，来生成呈现所识别的视频数据(例如，来自步骤506的所识别的视频数据)的视频编辑界面。又如，如果用户输入是POI，则处理单元304可以识别与该POI对应的视频编辑模型，从操作数据中进行搜索以识别与该POI对应的操作数据，识别与POI操作数据对应的视频数据，并且生成视频编辑界面以呈现所识别的视频数据。基于所识别的视频编辑模型，所生成的视频编辑界面可以提供对应的编辑功能。例如，与POI对应的视频编辑界面可以提供独特的编辑功能，例如POI视角调整选项。
在一些实施例中，视频编辑模型可以包括用于基于操作数据来识别视频数据的模型。系统300的一个或多个部件可以基于所识别的至少一个视频编辑模型来识别视频数据。例如，处理单元304的一个或多个处理器可接收用户输入POI并识别与POI对应的视频编辑模型。视频编辑模型可以包括用于识别POI操作数据的识别规则以及操作数据与视频数据之间的关联规则。例如，POI视频编辑模型可以需要在UAV以POI模式飞行时捕捉的视频帧和操作数据。因此，处理单元304可以基于识别和关联规则来识别与该模型对应的操作数据以及与所识别的操作数据对应的视频数据。又如，处理单元304可以例如通过滤除具有大的高度波动的操作数据来识别指示平滑飞行的操作数据，识别与过滤后的操作数据相关联的视频帧，并且呈现所识别的视频帧。
在一些实施例中，视频编辑模型可以包括用于重新混合所识别的视频数据的模型。系统300的一个或多个部件可以基于所识别的至少一个视频编辑模型来重新混合所识别的视频数据。在一些实施例中，系统300的一个或多个部件可以通过将所识别的视频数据与音乐相关联来重新混合所识别的视频数据。例如，处理单元304的一个或多个处理器可以通过将所识别的视频数据与音乐相关联，从而基于所识别的至少一个视频编辑模型来重新混合所识别的视频数据。例如，如果用户识别视频编辑模型“添加音乐”，则处理单元304可以通过将音乐作为背景音乐添加到所识别的视频数据来将所识别的视频数据与音乐重新混合。
在一些实施例中，系统300的一个或多个部件可以根据与视频数据相关联的操作数据和音乐的一个或多个特征将视频数据与音乐相关联，如以下示例中所述。以下示例或功能可以集成在系统300的应用中，使得用户可以通过输入简单的命令来执行功能。
系统300的一个或多个部件可以基于音乐的节奏来定义视频数据的播放速度。例如，处理单元304可以将视频数据的帧与音乐相关联。在具有快节奏的音乐部分(例如，急板)，处理单元304可以通过在每单位时间内关联更多的帧或者减少每帧的显示时间，来提高相关联的视频帧的播放速度。在具有慢节奏的音乐部分(例如，慢板)，处理单元304可通过在每单位时间内关联更少的帧或增加每帧的显示时间，来降低相关联的视频帧的播放速度。又如，处理单元304可以将在稳定飞行(例如，低于预定阈值的高度波动)和直线方向中捕捉的视频帧与具有慢节奏的音乐部分相关联。高度和方向信息可以是与视频数据相关联的操作数据的一部分。
系统300的一个或多个部件可以根据音乐的节奏来识别视频数据。例如，处理单元304可以基于记录装置的移动速度或飞行高度来将视频数据的帧与音乐相关联，移动速度和飞行高度是操作数据的一部分。处理单元304可以将在UAV的快速飞行速度或低的高度(例如，高于或低于预定阈值)下捕捉的视频帧与具有快节奏的音乐部分相关联，该UAV载有该记录装置。处理单元304可以将在慢速飞行速度或高的高度下捕捉的视频帧与具有慢节奏的音乐部分相关联。
系统300的一个或多个部件可以基于视频数据的场景来识别音乐。例如，处理单元304可以确定视频帧是否包含缓慢变化的场景和快速变化的场景，并且可以选择慢节奏的音乐以添加到缓慢变化的场景，选择快节奏的音乐以添加到快速变化的场景。又如，处理单元304可以基于包括在操作数据中的位置信息来确定视频数据被捕捉的位置，例如海滩、森林或城市都市区域中。处理单元304可以根据每个位置的预定音乐特征来确定音乐。例如，在森林中捕捉的场景可以与具有神秘气氛的缓慢和安静的音乐相匹配。
系统300的一个或多个部件可以将所识别的视频数据与音乐相关联。例如，处理单元304可以通过将音乐与所识别的视频帧相关联并在显示相关联的帧时播放音乐，来将所识别的视频数据与音乐相关联。处理单元304还可以根据各个场景将所识别的视频数据划分为帧组，并将这些场景与音乐的各个部分相关联。
系统300的一个或多个部件可以基于可移动物体的障碍物信息来删除视频数据的一部分。例如，处理单元304可以确定一些视频帧可能是在UAV正在操纵以规避障碍物时(例如，在障碍规避模式下飞行)捕捉的，并相应地删除这些视频帧，从而减少用户的视频编辑工作量。障碍物信息可以是操作数据的一部分。
在参考方法400和500这两者的一个示例中，用户可以使用上述的UAV来捕捉视频。捕捉的视频可以包括视频数据。UAV也可以在捕捉视频数据时捕捉UAV的操作数据。用户可以使用手机来控制UAV。在视频捕捉期间或之后，用户还可以运行手机应用程序来编辑所捕捉的视频(例如，通过手机处理器)。用户可以输入命令“自动视频生成并添加音乐ABC”。应用程序可以识别与该命令对应的“自动视频生成”模型和“音乐添加”模型。“自动视频生成”模型的默认设置可以包括选择具有在5到10米之间的飞行高度和低于每秒0.02米的高度波动的操作数据。根据该默认设置，应用程序可以识别操作数据。应用程序还可以通过匹配操作数据和视频数据的时间戳(例如，通过上述异步方式)，或者通过识别与所识别的操作数据相关联的视频帧(例如，通过上述的同步方式)，来识别与所识别的操作数据对应的视频帧。根据“音乐添加”模型，应用程序可以通过编辑所识别的视频帧来将所识别的视频帧与音乐相关联。在音乐的慢速部分，应用程序可以降低视频的播放速度。在音乐的快速部分，应用程序可以关联那些与大于每秒15米的UAV飞行速度相关联的视频帧。在编辑之后，应用程序可以将经编辑的视频数据与背景音乐一起呈现给手机的用户。
如上所述，用户可以使用期望的内容和合适的背景音乐，方便地从捕捉的原始素材(例如UAV捕捉的视频数据)生成视频片段。所公开的方法和系统可以显著减少视频编辑的工作量和对专业知识的需要，使得本领域普通技术人员能够容易地从原始素材中获得自动编辑的视频片段。例如，利用所公开的方法和装置，用户可以仅通过几次点击来获得可呈现的视频，甚至不必回顾或选择原始素材。这样的功能由上述的系统100、装置200、系统300、方法400和/或方法500来实现。例如，将操作数据与视频数据相关联可以利用各种统计来标记每个视频帧，并提供用于编辑每个视频帧的入口，无论是由用户还是由自动处理来执行。这样的功能由本文描述的可移动物体所载的系统进一步增强，该系统提供用于标记与用户输入相匹配的视频帧的统计。
本发明的另一方面针对存储指令的非暂时性计算机可读存储介质，所述指令在被执行时使得一个或多个处理器执行如上所述的方法。计算机可读存储介质可以包括易失性或非易失性、磁性、半导体、磁带、光学、可移除、不可移除或其他类型的计算机可读存储介质或计算机可读存储装置。例如，如所公开的，计算机可读存储介质可以是其上存储有计算机指令的存储单元或存储模块。在一些实施例中，计算机可读存储介质可以是其上存储有计算机指令的盘或闪存驱动器。
本领域技术人员还将理解，参考本发明所描述的各种示例性的逻辑块、模块、电路和算法步骤可以被实现为专用电子硬件、计算机软件或二者的组合。例如，模块/单元可以由一个或多个处理器来实现，以使该一个或多个处理器成为一个或多个专用处理器，用于执行存储在计算机可读存储介质中的软件指令以执行模块/单元的专用功能。
附图中的流程图和框图示出了根据本发明的多个实施例的系统和方法的可能实现的系统架构、功能和操作。就这一点而言，流程图或框图中的每个框可以表示一个模块、一个程序段或代码的一部分，其中模块、程序段或代码的一部分包括用于实现指定的逻辑功能的一个或多个可执行指令。还应该注意的是，在一些备选实施方式中，框中标记的功能还可以以与附图中标记的顺序不同的顺序发生。例如，实际上可以基本并行地执行两个连续的块，并且有时也可以以相反的顺序执行，这取决于所涉及的功能。框图和/或流程图中的每个框以及框图和/或流程图中的框的组合可以由用于执行相应的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件和计算机指令的组合来实现。
如本领域技术人员将理解的，本发明的实施例可以体现为方法、系统、或计算机程序产品。因此，本发明的实施例可以采取完全硬件实施例、完全软件实施例或组合了软件和硬件的实施例的形式，以允许专用部件来执行上述功能。此外，本发明的实施例可以采取计算机程序产品的形式，其体现在包含计算机可读程序代码的一个或多个有形和/或非暂时性计算机可读存储介质中。一般形式的非暂时性计算机可读介质包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或其它任何磁性数据存储介质、CD-ROM、任何其它光学数据存储介质、具有孔形式的任何物理介质、RAM、PROM和EPROM、FLASH-EPROM或任何其他闪存存储器、NVRAM、高速缓存、寄存器、任何其他存储芯片或胶卷、以及它们的联网版本。
参照根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图，来描述本发明的各实施例。应当理解，流程图和/或框图中的每个流程和/或框，以及流程图和/或框图中的多个流程和/或框的组合，可以通过计算机程序指令来实现。这些计算机程序指令可以提供给计算机的处理器、嵌入式处理器或其他可编程数据处理装置以产生专用机器，使得经由计算机的处理器或其他可编程数据处理装置执行的这些指令创建用来实现流程图中的一个或多个流程和/或框图中的一个或多个框中指定的功能的装置。
这些计算机程序指令也可以存储在指导计算机或其他可编程数据处理装置以特定方式运行的计算机可读存储器中，使得计算机可读存储器中存储的指令产生包括指令装置的制造产品，该指令装置实现流程图中的一个或多个流程和/或框图中的一个或多个框中指定的功能。
这些计算机程序指令也可以装载在计算机或其他可编程数据处理装置中，使一系列可操作步骤在计算机或其他可编程装置上执行以产生由计算机实现的处理，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图中的一个或多个流程和/或框图中的一个或多个框中指定的功能的步骤。在典型配置中，计算机装置包括一个或多个中央处理单元(CPU)、输入/输出接口、网络接口和存储器。存储器可以包括易失性存储器、随机存取存储器(RAM)和/或非易失性存储器等形式，例如计算机可读存储介质中的只读存储器(ROM)或闪存RAM。存储器是计算机可读存储介质的示例。
计算机可读存储介质是指可以存储处理器可读的信息或数据的任何类型的物理存储器。因此，计算机可读存储介质可以存储用于由一个或多个处理器执行的指令，包括用于使处理器执行与本文描述的实施例一致的步骤或阶段的指令。计算机可读介质包括非易失性和易失性介质以及可移除和不可移除介质，其中信息存储可以用任何方法或技术来实现。信息可以是计算机可读指令的模块、数据结构和程序、或其他数据。非暂时性计算机可读介质的示例包括但不限于：相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其它存储器技术、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光存储器、盒式磁带、磁带或磁盘存储器或其他磁存储装置、高速缓存、寄存器或可用于存储能够被计算机装置访问的信息的任何其他非传输介质。计算机可读存储介质是非暂时性的，并且不包括诸如调制数据信号和载波之类的暂时性介质。
本说明书描述了用于组合和编辑UAV操作数据和视频数据的方法、装置和系统。对所示步骤进行阐述以解释所示的示例性实施例，并且应当预料到，正在进行的技术发展将改变执行特定功能的方式。因此，本文出于说明而非限制的目的给出这些示例。例如，本文公开的步骤或过程不限于按照所描述的顺序执行，而是可以以任何顺序执行，并且可以省略与公开的实施例一致的一些步骤。此外，为便于描述，本文任意定义了功能构建块的边界。只要所指定的功能及其关系被适当地执行，就可以定义替代的边界。基于本文所包含的教导，替代物(包括本文描述的内容的等价物、扩展、变化、偏离等)对于相关领域的技术人员将是显而易见的。这样的替代物落入所公开的实施例的范围和精神内。
尽管本文描述了所公开的原理的示例和特征，但是在不脱离所公开的实施例的精神和范围的情况下，可以进行修改、适应性改变和其他实现。此外，词语“包含”、“具有”、“包含有”和“包括”以及其它类似形式旨在在含义上是等同的并且是开放性的，这些词语中的任何一个之后的一个或多个项目并不意在作为这样的一个或多个项目的详尽列表，也并不意在仅限于所列出的一个或多个项目。还必须注意，如本文和所附权利要求书中所使用的，除非上下文另有明确说明，否则单数形式“一”、“一个”和“所述”包括复数指示物。
应该理解的是，本发明不限于上面已经描述并在附图中示出的确切结构，并且可以在不脱离本发明范围的情况下进行各种修改和变化。用意在于，本发明的范围应当仅由所附权利要求限定。

Claims (13)

1.一种用于组合数据的系统，包括：
一个或多个处理器，单独地或共同地被配置为：
接收由至少一个传感器记录的视频数据和载有所述至少一个传感器的可移动物体的操作数据，所述操作数据包括在记录所述视频数据的时间段期间所述可移动物体的运动状态数据和/或所述可移动物体的控制命令数据；
识别与视频编辑模型对应的操作数据以及与所识别的操作数据对应的视频数据；
将所述操作数据与所述视频数据相关联；以及，
基于所述视频编辑模型混合所识别的视频数据。
2.根据权利要求1所述的系统，其中所述一个或多个处理器单独地或共同地被配置为：将所述操作数据与所述视频数据的每一帧相关联和/或将所述操作数据与一组时间戳相关联。
3.根据权利要求1所述的系统，其中所述操作数据包括与所述可移动物体相关联的以下类型的信息中的至少一项：飞行控制信息、位置信息、返航点信息、云台状态信息、跟踪状态信息、障碍物信息、高度信息、速度信息、飞行模式信息、移动方向信息、电池信息和云台信息；和/或
所述操作数据包括与所述至少一个传感器相关联的以下类型的信息中的至少一项：自动对焦AF信息、自动曝光AE信息、自动白平衡AWB信息、清晰度信息、对比度信息、饱和度信息、快门速度信息、变焦信息、数字效果信息、镜头信息、测光模式信息、对焦区域信息和虹膜信息。
4.根据权利要求1所述的系统，还包括存储多个所述视频编辑模型的存储器。
5.根据权利要求4所述的系统，其中每个所述视频编辑模型与一个或多个类型的操作数据相关联。
6.根据权利要求4或5所述的系统，其中所述一个或多个处理器单独地或共同地被配置为：
根据用户输入识别所述视频编辑模型中的至少一个；和/或
识别与POI模式对应的所述视频编辑模型；和/或
搜索可移动物体采用的飞行模式，并识别一个或多个对应的所述视频编辑模型。
7.根据权利要求6所述的系统，其中，所述视频编辑模型包括括用于识别POI操作数据的识别规则。
8.根据权利要求1或7所述的系统，其中，所述视频编辑模型包括所述操作数据与所述视频数据之间的关联规则。
9.根据权利要求8所述的系统，其中所述一个或多个处理器单独地或共同地被配置为：通过过滤识别指示平滑飞行的所述操作数据，以及识别与过滤后的所述操作数据相关联的所述视频数据。
10.根据权利要求1所述的系统，其中所述一个或多个处理器单独地或共同地被配置为：
通过将所识别的视频数据与音乐相关联来混合所识别的视频数据。
11.根据权利要求10所述的系统，其中所述处理器还被配置为：根据以下项目将所述视频数据与所述音乐相关联：
与所述视频数据相关联的所述操作数据；以及
所述音乐的一个或多个特征。
12.根据权利要求10所述的系统，其中所述处理器还被配置为：
基于所述音乐的节奏来定义所述视频数据的播放速度；和/或
根据所述音乐的节奏来识别所述视频数据；和/或
基于所述视频数据的场景来识别所述音乐。
13.一种成像装置，其配置有如权利要求1-12中任一项所述的用于组合数据的系统。
CN202111234156.2A 2016-07-08 2016-07-08 用于组合和编辑uav操作数据和视频数据的方法和系统 Active CN113938663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111234156.2A CN113938663B (zh) 2016-07-08 2016-07-08 用于组合和编辑uav操作数据和视频数据的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2016/089340 WO2018006399A1 (en) 2016-07-08 2016-07-08 Method and system for combining and editing uav operation data and video data
CN201680087397.XA CN109417609B (zh) 2016-07-08 2016-07-08 用于组合和编辑uav操作数据和视频数据的方法和系统
CN202111234156.2A CN113938663B (zh) 2016-07-08 2016-07-08 用于组合和编辑uav操作数据和视频数据的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680087397.XA Division CN109417609B (zh) 2016-07-08 2016-07-08 用于组合和编辑uav操作数据和视频数据的方法和系统

Publications (2)

Publication Number Publication Date
CN113938663A true CN113938663A (zh) 2022-01-14
CN113938663B CN113938663B (zh) 2024-02-20

Family

ID=60901546

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680087397.XA Expired - Fee Related CN109417609B (zh) 2016-07-08 2016-07-08 用于组合和编辑uav操作数据和视频数据的方法和系统
CN202111234156.2A Active CN113938663B (zh) 2016-07-08 2016-07-08 用于组合和编辑uav操作数据和视频数据的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680087397.XA Expired - Fee Related CN109417609B (zh) 2016-07-08 2016-07-08 用于组合和编辑uav操作数据和视频数据的方法和系统

Country Status (3)

Country Link
US (1) US11107506B2 (zh)
CN (2) CN109417609B (zh)
WO (1) WO2018006399A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6349448B1 (ja) * 2017-08-23 2018-06-27 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
CN110781859B (zh) * 2019-11-05 2022-08-19 深圳奇迹智慧网络有限公司 图像标注方法、装置、计算机设备和存储介质
US11778306B2 (en) * 2020-01-08 2023-10-03 Innolux Corporation Method for editing an image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140072284A1 (en) * 2012-09-12 2014-03-13 Intel Corporation Techniques for indexing video files
US20160049173A1 (en) * 2014-08-13 2016-02-18 Glen J. Anderson Techniques and apparatus for editing video
US20160071541A1 (en) * 2014-09-10 2016-03-10 Fleye, Inc. Storage and editing of video of activities using sensor and tag data of participants and spectators
US20160117931A1 (en) * 2014-09-30 2016-04-28 Elwha Llc System and method for management of airspace for unmanned aircraft
CN105635616A (zh) * 2016-01-27 2016-06-01 中测新图(北京)遥感技术有限责任公司 一种视频数据和地理位置信息的融合方法和装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096617A (ja) * 2002-09-03 2004-03-25 Sharp Corp ビデオ編集方法、ビデオ編集装置、ビデオ編集プログラム、及び、プログラム記録媒体
US20070244608A1 (en) * 2006-04-13 2007-10-18 Honeywell International Inc. Ground control station for UAV
US8788519B2 (en) * 2008-10-24 2014-07-22 John C. Canessa System and methods for metadata management in content addressable storage
US9848114B2 (en) * 2009-12-07 2017-12-19 Cobra Electronics Corporation Vehicle camera system
US20120148216A1 (en) * 2010-12-14 2012-06-14 Qualcomm Incorporated Self-editing video recording
US9344606B2 (en) * 2012-01-24 2016-05-17 Radical Switchcam Llc System and method for compiling and playing a multi-channel video
US9841761B2 (en) * 2012-05-04 2017-12-12 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles
WO2014094859A1 (en) * 2012-12-20 2014-06-26 Widex A/S Hearing aid and a method for audio streaming
WO2014116689A1 (en) * 2013-01-23 2014-07-31 Fleye, Inc. Storage and editing of video and sensor data from athletic performances of multiple individuals in a venue
WO2014172321A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Access and portability of user profiles stored as templates
CN104301629A (zh) * 2013-07-16 2015-01-21 梦蝶股份有限公司 供影音播放装置播放个人化影音的系统与方法
WO2015102731A2 (en) * 2013-10-18 2015-07-09 Aerovironment, Inc. Privacy shield for unmanned aerial systems
US10331661B2 (en) * 2013-10-23 2019-06-25 At&T Intellectual Property I, L.P. Video content search using captioning data
US9467643B2 (en) * 2014-01-06 2016-10-11 Progress Rail Services Corporation Event recorder playback with integrated GPS mapping
CN103795897A (zh) * 2014-01-21 2014-05-14 深圳市中兴移动通信有限公司 自动生成背景音乐的方法和装置
CN103942273B (zh) * 2014-03-27 2017-03-15 北京空间机电研究所 一种空中快速响应动态监测系统及其动态监测方法
CN104103300A (zh) * 2014-07-04 2014-10-15 厦门美图之家科技有限公司 一种根据音乐节拍自动处理视频的方法
US9792502B2 (en) * 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
WO2016014724A1 (en) * 2014-07-23 2016-01-28 Gopro, Inc. Scene and activity identification in video summary generation
US11768508B2 (en) * 2015-02-13 2023-09-26 Skydio, Inc. Unmanned aerial vehicle sensor activation and correlation system
WO2016174524A2 (en) * 2015-04-29 2016-11-03 Tomtom International B.V. Data processing systems
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN205263814U (zh) * 2015-12-30 2016-05-25 谭圆圆 基于无人飞行器拍摄的图像处理装置
US9740200B2 (en) * 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
CN105611277B (zh) * 2016-01-16 2018-03-09 深圳先进技术研究院 一种基于无障碍导航飞艇的视频地图绘制系统
US10154080B2 (en) * 2016-05-23 2018-12-11 Accenture Global Solutions Limited Enhancing digital content provided from devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140072284A1 (en) * 2012-09-12 2014-03-13 Intel Corporation Techniques for indexing video files
US20160049173A1 (en) * 2014-08-13 2016-02-18 Glen J. Anderson Techniques and apparatus for editing video
US20160071541A1 (en) * 2014-09-10 2016-03-10 Fleye, Inc. Storage and editing of video of activities using sensor and tag data of participants and spectators
US20160117931A1 (en) * 2014-09-30 2016-04-28 Elwha Llc System and method for management of airspace for unmanned aircraft
CN105635616A (zh) * 2016-01-27 2016-06-01 中测新图(北京)遥感技术有限责任公司 一种视频数据和地理位置信息的融合方法和装置

Also Published As

Publication number Publication date
CN109417609B (zh) 2021-10-29
US20190164575A1 (en) 2019-05-30
CN113938663B (zh) 2024-02-20
CN109417609A (zh) 2019-03-01
WO2018006399A1 (en) 2018-01-11
US11107506B2 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
US11649052B2 (en) System and method for providing autonomous photography and videography
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
CN108351649B (zh) 用于控制可移动物体的方法和设备
EP2853086B1 (en) Portable mobile light stage
EP3167604B1 (en) Methods and systems of video processing
US20180150073A1 (en) Unmanned aerial vehicle and method for controlling flight of the same
US20180102143A1 (en) Modification of media creation techniques and camera behavior based on sensor-driven events
CN115220475A (zh) 用于uav飞行控制的系统和方法
US11107506B2 (en) Method and system for combining and editing UAV operation data and video data
CN105120136A (zh) 基于无人飞行器的拍摄装置及其拍摄处理方法
JP6496955B1 (ja) 制御装置、システム、制御方法、及びプログラム
JP6384000B1 (ja) 制御装置、撮像装置、撮像システム、移動体、制御方法、及びプログラム
JP6596741B2 (ja) 生成装置、生成システム、撮像システム、移動体、生成方法、及びプログラム
JP6630939B2 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6790318B2 (ja) 無人航空機、制御方法、及びプログラム
JP6481228B1 (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
JP6565072B2 (ja) 制御装置、レンズ装置、飛行体、制御方法、及びプログラム
JP6565071B2 (ja) 制御装置、撮像装置、飛行体、制御方法、及びプログラム
JP6710863B2 (ja) 飛行体、制御方法、及びプログラム
JP6459012B1 (ja) 制御装置、撮像装置、飛行体、制御方法、及びプログラム
JP6409239B1 (ja) 撮像装置、撮像システム、飛行体、記録方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant