CN110383228B - 生成装置、生成系统、摄像系统、移动体以及生成方法 - Google Patents

生成装置、生成系统、摄像系统、移动体以及生成方法 Download PDF

Info

Publication number
CN110383228B
CN110383228B CN201880014838.2A CN201880014838A CN110383228B CN 110383228 B CN110383228 B CN 110383228B CN 201880014838 A CN201880014838 A CN 201880014838A CN 110383228 B CN110383228 B CN 110383228B
Authority
CN
China
Prior art keywords
time points
image
color
time
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880014838.2A
Other languages
English (en)
Other versions
CN110383228A (zh
Inventor
邵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110383228A publication Critical patent/CN110383228A/zh
Application granted granted Critical
Publication of CN110383228B publication Critical patent/CN110383228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种生成装置，具备第一获取部(402)，其获取包括按时间序列获取的信息的内容；提取部(404)，其从信息中提取多个时间点中的每个时间点的特征；确定部(406)，其基于多个时间点中的每个时间点的特征，来确定多个时间点中的每个时间点的颜色或亮度；第一生成部(408)，其在多个时间点中的每个时间点生成包括颜色或亮度的像素的图像，图像用于生成按时间序列排列并与内容相对应的拖动条(704)。实现了在视觉上掌握内容的过渡。

Description

生成装置、生成系统、摄像系统、移动体以及生成方法
技术领域
本发明涉及一种生成装置、生成系统、摄像系统、移动体以及生成方法。
背景技术
专利文献1公开了一种相对应于摄影位置的标高、气压、温度及移动距离的曲线状拖动条。
专利文献1国际公开2017/145763
发明内容
【发明所要解决的技术问题】
通过参照如上所述的拖动条，例如，能够掌握动态图像等内容的播放位置。但是，即使参照这种拖动条，也难以在视觉上掌握内容的过渡。
【用于解决技术问题的手段】
本发明的一个方面所涉及的生成装置可以具备第一获取部，其获取包括按时间序列获取的信息的内容。生成装置可以具备提取部，其从信息中提取多个时间点中的每个时间点的特征。生成装置可以具备确定部，其基于多个时间点中的每个时间点的特征来确定多个时间点中的每个时间点的颜色或亮度。生成装置可以具备第一生成部，其在多个时间点中的每个时间点生成包括颜色或亮度的像素的图像，该图像用于生成按时间序列排列并与内容相对应的拖动条。
内容可以包括动态图像。提取部可以从动态图像中的多个时间点的静态图像中提取多个时间点中的每个时间点的特征。
提取部可以通过提取多个时间点的静态图像的像素值来提取多个时间点中的每个时间点的特征。确定部可以基于多个时间点的静态图像的像素值来确定多个时间点中的每个时间点的颜色或亮度。
提取部可以通过提取多个时间点的静态图像的第一方向上的每个像素的像素值，来提取多个时间点中的每个时间点的特征。确定部可以通过对多个时间点的静态图像的第一方向上的每个像素的像素值进行平均化，来确定多个时间点中的每个时间点的颜色或亮度。第一生成部可以通过将静态图像的第一方向上的像素替换成颜色或亮度的预定数量的像素、并以预定的压缩比压缩静态图像的第二方向上的像素，而在多个时间点中的每个时间点生成图像。
提取部可以提取满足多个时间点的静态图像中包含的预定条件的对象的颜色或亮度，作为多个时间点中的每个时间点的特征。确定部可以基于对象的颜色或亮度来确定多个时间点中的每个时间点的颜色或亮度。
提取部可以提取满足多个时间点的静态图像中包含的预定条件的对象的动作状态，作为多个时间点中的每个时间点的特征。确定部可以基于与对象的动作状态和颜色或亮度相对应的预定条件来确定多个时间点中的每个时间点的颜色或亮度。
提取部可以提取多个时间点的静态图像的空间频率分量，作为多个时间点中的每个时间点的特征。确定部可以基于与空间频率分量与颜色或亮度相对应的预定条件来确定多个时间点中的每个时间点的颜色或亮度。
内容可以包括由摄像装置拍摄的动态图像。信息可以表示按时间序列获取的摄像装置的摄像状态。提取部可以多个时间点的信息中提取多个时间点的摄像装置的摄像状态，作为多个时间点的特征。确定部可以基于将摄像装置的摄像状态与颜色或亮度相对应的预定条件来确定多个时间点中的每个时间点的颜色或亮度。
内容可以包括由摄像装置拍摄的动态图像。摄像装置可以搭载于移动体来进行移动。信息可以表示按时间序列获取的移动体的移动状态。提取部可以从多个时间点的信息中提取多个时间点的移动体的移动状态，作为多个时间点的特征。确定部可以基于将移动体的移动状态与颜色或亮度相对应的预定条件来确定多个时间点中的每个时间点的颜色或亮度。
移动体可以是飞行体。信息可以表示将按时间序列获取的飞行体的飞行状态，作为移动体的移动状态。提取部可以从多个时间点的信息中提取多个时间点的飞行体的飞行状态，作为多个时间点的特征。确定部可以基于将飞行体的飞行状态与颜色或亮度相对应的预定条件来确定多个时间点中的每个时间点的颜色或亮度。
生成装置可以具备第二获取部，其获取多个时间点中的每个时间点的图像。生成装置可以具备第二生成部，其将多个时间点中的每个时间点的图像按时间序列排列，来生成与内容相对应的拖动条。
内容可以包括由摄像装置从第一时间点到第二时间点拍摄的动态图像。第二生成部可以生成拖动条，其一端是与动态图像中的第一时间点的静态图像相对应的图像，另一端是与动态图像中的第二时间点的静态图像相对应的图像。
内容可以包括由摄像装置从第一时间点到第二时间点拍摄的动态图像。第二生成部可以生成拖动条，其一端是与动态图像中的第一时间点与第二时间点之间的从第二时间点起预定的期间之前的第三时间点的静态图像相对应的图像，另一端是与动态图像中的第二时间点的静态图像相对应的图像。
内容可以包括由摄像装置从第一时间点到第二时间点拍摄的动态图像。第二生成部可以生成拖动条，其一端是与动态图像中的第一时间点的静态图像相对应的图像，另一端是与动态图像中的第二时间点的静态图像相对应的图像，一端与另一端之间的预定的部分是与动态图像中的第一时间点与第二时间点之间的从第二时间点起预定的期间之前的第三时间点的静态图像相对应的图像。
第二生成部可以生成拖动条，其包括表示内容的状态切换的时间点的位置的信息。
本发明的一个方面所涉及的生成系统可以具备上述生成装置。生成系统可以具备终端。终端可以具有第二获取部，其获取多个时间点中的每个时间点的图像。终端可以具有第二生成部，其将多个时间点中的每个时间点的图像按时间序列排列，来生成与内容相对应的拖动条。终端可以具有显示部，其显示拖动条。
本发明的一个方面所涉及的摄像系统可以具备上述生成装置。摄像系统可以具备摄像装置，其对内容中包含的动态图像进行拍摄。
本发明的一个方面所涉及的移动体具备上述摄像系统，并进行移动。
本发明的一个方面所涉及的生成方法可以具备获取包括按时间序列获取的信息的内容的阶段。生成方法可以具备从信息中提取多个时间点中的每个时间点的特征的阶段。生成方法可以具备基于多个时间点中的每个时间点的特征来确定多个时间点中的每个时间点的颜色或亮度的阶段。生成方法可以具备在多个时间点中的每个时间点生成包括颜色或亮度的像素的图像的阶段，该图像用于生成按时间序列排列并与内容相对应的拖动条。
本发明的一个方面所涉及的程序可以使计算机执行获取包括按时间序列获取的信息的内容的阶段。程序可以使计算机执行从信息中提取多个时间点中的每个时间点的特征的阶段。程序可以使计算机执行基于多个时间点中的每个时间点的特征来确定多个时间点中的每个时间点的颜色或亮度的阶段。程序还可以使计算机执行在多个时间点中的每个时间点生成包括颜色或亮度的像素的图像的阶段，其中，该图像用于生成按时间序列排列并与内容相对应的拖动条。
根据本发明的一个方面，可以提供一种能够在视觉上掌握内容的过渡的拖动条。
另外，上述的发明内容中没有穷举本发明的所有必要特征。此外，这些特征组的子组合也可以构成发明。
附图说明
图1是示出无人驾驶飞机及远程操作装置的外观的一个示例的图。
图2是示出无人驾驶飞机的功能块的一个示例的图。
图3是示出生成拖动条的生成系统的功能块的一个示例的图。
图4A是示出拖动条的一个示例的图。
图4B是示出拖动条的一个示例的图。
图4C是示出拖动条的一个示例的图。
图5是用于对由动态图像生成拖动条的过程进行说明的图。
图6是示出生成拖动条用图像的过程的一个示例的流程图。
图7是示出由拖动条用图像生成拖动条的过程的一个示例的流程图。
图8是示出包括拖动条的图像的一个示例的图。
图9是示出由动态图像生成拖动条的过程的一个示例的流程图。
图10是用于对硬件构成进行说明的一个示例的图。
附图标记：
10 UAV 400 图像生成部
20 UAV主体 402 获取部
30 UAV控制部 404 提取部
32 存储器 406 确定部
36 通信接口 408 生成部
40 推进部 500 显示装置
41 GPS接收器 502 获取部
42 惯性测量装置 504 生成部
43 磁罗盘 506 显示部
44 气压高度计 600 动态图像
45 温度传感器 602 快照
46 湿度传感器 604、604a、604b、604b、604c、604c 拖动条用图像
50 万向支架 610、610A、610B、610C 拖动条
60 摄像装置 700 图像
100 摄像装置 702 快照
102 摄像部 704 拖动条
110 摄像控制部 706 图标
120 图像传感器 708 图标
130 存储器 710 操作按钮
200 镜头部 1200 计算机
210 镜头 1210 主机控制器
212 镜头驱动部 1212 CPU
214 位置传感器 1214 RAM
220 镜头控制部 1220 输入/输出控制器
222 存储器 1222 通信接口
300 远程操作装置 1230 ROM
具体实施方式
以下，通过发明的实施方式来对本发明进行说明，但是以下实施方式并非限制权利要求书所涉及的发明。此外，实施方式中说明的特征的所有组合未必是发明的解决方案所必须的。对本领域普通技术人员来说，显然可以对以下实施方式加以各种变更或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制，著作权人就无法异议。但是，在除此以外的情况下，保留一切的著作权。
本发明的各种实施方式可参照流程图及框图来描述，这里，方框可表示(1)执行操作的过程的阶段或者(2)具有执行操作的作用的装置的“部”。特定的阶段和“部”可以通过可编程电路和/或处理器来实现。专用电路可以包括数字和/或模拟硬件电路。可以包括集成电路(IC)和/或分立电路。可编程电路可以包括可重构硬件电路。可重构硬件电路可以包括逻辑与、逻辑或、逻辑异或、逻辑与非、逻辑或非、及其它逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储器元件等。
计算机可读介质可以包括可以对由适宜的设备执行的指令进行储存的任意有形设备。其结果是，其上存储有指令的计算机可读介质具备一种包括指令的产品，该指令可被执行以创建用于执行流程图或框图所指定的操作的手段。作为计算机可读介质的示例，可以包括电子存储介质、磁存储介质、光学存储介质、电磁存储介质、半导体存储介质等。作为计算机可读介质的更具体的示例，可以包括软盘(注册商标)、软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪存)、电可擦可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字多用途光盘(DVD)、蓝光(RTM)光盘、记忆棒、集成电路卡等。
计算机可读指令可以包括由一种或多种编程语言的任意组合记述的源代码或者目标代码中的任意一个。源代码或者目标代码包括传统的过程化编程语言。传统的过程化编程语言可以为汇编指令、指令集架构(ISA)指令、机器指令、与机器相关的指令、微代码、固件指令、状态设置数据、或者Smalltalk、JAVA(注册商标)、C++等面向对象编程语言以及“C”编程语言或者类似的编程语言。计算机可读指令可以在本地或者经由局域网(LAN)、互联网等广域网(WAN)提供给通用计算机、专用计算机或者其它可编程数据处理装置的处理器或可编程电路。处理器或可编程电路可以执行计算机可读指令，以创建用于执行流程图或框图所指定操作的手段。作为处理器的示例，包括计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。
图1是示出无人驾驶飞机(UAV)10及远程操作装置300的外观的一个示例的图。UAV10具备UAV主体20、万向支架50、多个摄像装置60、以及摄像装置100。万向支架50及摄像装置100为摄像系统的一个示例。UAV10，即移动体，是指包括在空中移动的飞行体、在地面上移动的车辆、在水上移动的船舶等的概念。在空中移动的飞行体是指不仅包括UAV、还包括在空中移动的其它的飞行器、飞艇、直升机等的概念。
UAV主体20具备多个旋翼。多个旋翼为推进部的一个示例。UAV主体20通过控制多个旋翼的旋转而使UAV10飞行。UAV主体20使用例如四个旋翼来使UAV10飞行。旋翼的数量不限于四个。此外，UAV10也可以是没有旋翼的固定翼机。
摄像装置100为对包含在期望的摄像范围内的被摄体进行摄像的摄像用相机。万向支架50可旋转地支撑摄像装置100。万向支架50为支撑机构的一个示例。例如，万向支架50使用致动器以俯仰轴可旋转地支撑摄像装置100。万向支架50使用致动器进一步分别以翻滚轴和偏航轴为中心可旋转地支撑摄像装置100。万向支架50可通过使摄像装置100以偏航轴、俯仰轴以及翻滚轴中的至少一个为中心旋转，来变更摄像装置100的姿势。
多个摄像装置60是为了控制UAV10的飞行而对UAV10的周围进行摄像的传感用相机。两个摄像装置60可以设置于UAV10的机头、即正面。并且，其它两个摄像装置60可以设置于UAV10的底面。正面侧的两个摄像装置60可以成对，起到所谓的立体相机的作用。底面侧的两个摄像装置60也可以成对，起到所谓的立体相机的作用。可以基于由多个摄像装置60拍摄的图像来生成UAV10周围的三维空间数据。UAV10所具备的摄像装置60的数量不限于四个。UAV10只要具备至少一个摄像装置60即可。UAV10也可以在UAV10的机头、机尾、侧面、底面及顶面分别具备至少一个摄像装置60。摄像装置60中可设定的视角可大于摄像装置100中可设定的视角。摄像装置60也可以具有单焦点镜头或鱼眼镜头。
远程操作装置300与UAV10通信，以远程操作UAV10。远程操作装置300可以与UAV10进行无线通信。远程操作装置300向UAV10发送表示上升、下降、加速、减速、前进、后退、旋转等与UAV10的移动有关的各种指令的指示信息。指示信息包括例如使UAV10高度上升的指示信息。指示信息可示出UAV10应该位于的高度。UAV10移动以位于从远程操作装置300接收的指示信息所表示的高度。指示信息可以包括使UAV10上升的上升指令。UAV10在接受上升指令的期间上升。UAV10的高度已达到上限高度时，即使接受上升指令，UAV10也可以限制上升。
图2示出了UAV10的功能块的一个示例。UAV10具备UAV控制部30、存储器32、通信接口36、推进部40、GPS接收器41、惯性测量装置42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向支架50、摄像装置60及摄像装置100。
通信接口36与远程操作装置300等其它装置通信。通信接口36可以从远程操作装置300接收包括对UAV控制部30的各种指令的指示信息。存储器32对UAV控制部30控制推进部40、GPS接收器41、惯性测量装置(IMU)42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向支架50、摄像装置60及摄像装置100所需的程序等进行储存。存储器32可以为计算机可读记录介质，可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。存储器32可以设置于UAV主体20的内部。其可以设置成可从UAV主体20中拆卸下来。
UAV控制部30按照储存在存储器32中的程序来控制UAV10的飞行及摄像。UAV控制部30可以由CPU或MPU等微处理器、MCU等微控制器等构成。UAV控制部30按照经由通信接口36从远程操作装置300接收到的指令来控制UAV10的飞行及摄像。推进部40推进UAV10。推进部40具有多个旋翼及使多个旋翼旋转的多个驱动马达。推进部40按照来自UAV控制部30的指令，经由多个驱动马达使多个旋翼旋转，以使UAV10飞行。
GPS接收器41接收表示从多个GPS卫星发送的时间的多个信号。GPS接收器41基于所接收的多个信号来计算出GPS接收器41的位置(纬度及经度)、即UAV10的位置(纬度及经度)。IMU42检测UAV10的姿势。IMU42检测UAV10的前后、左右以及上下的三轴方向的加速度和俯仰轴、翻滚轴以及偏航轴的三轴方向的角速度，作为UAV10的姿势。磁罗盘43检测UAV10的机头的方位。气压高度计44检测UAV10的飞行高度。气压高度计44检测UAV10周围的气压，并将检测到的气压换算为高度，以检测高度。温度传感器45检测UAV10周围的温度。湿度传感器46检测UAV10周围的湿度。
摄像装置100具备摄像部102及镜头部200。镜头部200为镜头装置的一个示例。摄像部102具有图像传感器120、摄像控制部110及存储器130。图像传感器120可以由CCD或CMOS构成。图像传感器120拍摄经由多个镜头210成像的光学图像，并将所拍摄的图像数据输出至摄像控制部110。摄像控制部110可以由CPU或MPU等微处理器、MCU等微控制器等构成。摄像控制部110可以根据来自UAV控制部30的摄像装置100的动作指令来控制摄像装置100。存储器130可以为计算机可读记录介质，可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。存储器130储存摄像控制部110对图像传感器120等进行控制所需的程序等。存储器130可以设置于摄像装置100的壳体内部。存储器130可以设置成可从摄像设备100的壳体中拆卸下来。
镜头部200具有多个镜头210、多个镜头驱动部212、以及镜头控制部220。多个镜头210可以起到变焦镜头、手动变焦镜头及聚焦镜头的作用。多个镜头210中的至少一部分或全部被配置为能够沿着光轴移动。镜头部200可以是被设置成能够相对摄像部102拆装的交换镜头。镜头驱动部212经由凸轮环等机构构件使多个镜头210中的至少一部分或全部沿着光轴移动。镜头驱动部212可以包括致动器。致动器可以包括步进马达。镜头控制部220按照来自摄像部102的镜头控制指令来驱动镜头驱动部212，以经由机构构件使一个或多个镜头210沿着光轴方向移动。镜头控制指令例如为变焦控制指令及聚焦控制指令。
镜头部200还具有存储器222和位置传感器214。镜头控制部220按照来自摄像部102的镜头动作指令，经由镜头驱动部212来控制镜头210向光轴方向的移动。镜头控制部220按照来自摄像部102的镜头动作指令，经由镜头驱动部212来控制镜头210向光轴方向的移动。镜头210的部分或全部沿着光轴移动。镜头控制部220通过使镜头210中的至少一个沿着光轴移动，来执行变焦动作和聚焦动作中的至少一个。位置传感器214检测镜头210的位置。位置传感器214可以检测当前的变焦位置或聚焦位置。
镜头驱动部212可以包括抖动校正机构。镜头控制部220可以经由抖动校正机构使镜头210在沿着光轴的方向或垂直于光轴的方向上移动，来执行抖动校正。镜头驱动部212可以由步进马达驱动抖动校正机构，以执行抖动校正。另外，抖动校正机构可以由步进马达驱动，以使图像传感器120在沿着光轴的方向或垂直于光轴的方向上移动，来执行抖动校正。
存储器222存储经由镜头驱动部212而移动的多个镜头210的控制值。存储器222可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。
有时，在将由上述那样的搭载于UAV10等的摄像装置100拍摄的图像显示在例如远程操作装置300所具备的显示部上的同时，用户操作远程操作装置300来控制UAV10及摄像装置100。通过参照显示在显示部上的图像，能够掌握摄像装置100拍摄的当前图像的状态。但是，难以掌握由摄像装置100拍摄的图像的过渡。例如，难以在视觉上掌握从摄像装置100的动态图像拍摄的开始时间点到当前时间点，正在拍摄什么样的动态图像。
因此，根据本实施方式，能够在视觉上容易地掌握由摄像装置100拍摄的图像的过渡。
摄像控制部110具有图像生成部400。图像生成部400可以设置在UAV控制部30、远程操作装置300或经由网络连接到UAV10的服务器等其它装置上。
图3是示出生成拖动条的生成系统的功能块的一个示例的图。生成系统具备图像生成部400以及显示装置500。图像生成部400具备获取部402、提取部404、确定部406以及生成部408。显示装置500例如可以设置在远程操作装置300上。显示装置500是终端的一个示例。
获取部402获取包括按时间序列获取的信息的内容。获取部402是第一获取部的一个示例。内容例如包括由摄像装置100拍摄的动态图像。按时间序列获取的信息可以是构成由摄像装置100拍摄的动态图像的多个静态图像。静态图像可以是从动态图像中以预定间隔提取的快照。静态图像可以是作为预览图像显示在显示装置500上的图像。除动态图像之外，内容还可以是音频数据、依次显示一系列图像的幻灯片数据等。
提取部404从多个时间点中的每个时间点的信息中提取多个时间点中的每个时间点的特征。提取部404可以从动态图像中的多个时间点的静态图像中提取多个时间点中的每个时间点的特征。提取部404可以通过提取多个时间点的静态图像的像素值来提取多个时间点中的每个时间点的特征。提取部404可以通过提取多个时间点的静态图像的水平方向上的每个像素的像素值来提取多个时间点中的每个时间点的特征。水平方向是第一方向的一个示例。
确定部406基于多个时间点中的每个时间点的特征来确定多个时间点中的每个时间点的颜色或亮度。确定部406可以基于多个时间点的静态图像的像素值来确定多个时间点中的每个时间点的颜色或亮度。像素值可以包括R分量、G分量以及B分量。确定部406可以通过对多个时间点的静态图像的水平方向上的每个像素的像素值进行平均化来确定多个时间点中的每个时间点的颜色或亮度。确定部406可以通过对静态图像的水平方向上的像素中包含在预定范围内的像素的像素值进行平均化，来确定颜色或亮度。确定部406可以通过对静态图像的水平方向上的像素中包含在静态图像的中央范围内的像素的像素值进行平均化来确定颜色或亮度。确定部406可以基于静态图像的水平方向上的预定位置的像素的像素值来确定颜色或亮度。
生成部408将内容按时间序列排列，来生成与此内容相对应的拖动条。生成部408在多个时间点中的每个时间点生成拖动条用图像，其包括由确定部406确定的颜色或亮度的像素。生成部408是第一生成部的一个示例。生成部408可以通过将静态图像的水平方向上的像素替换成由确定部406确定的颜色或亮度的预定数量的像素、并以预定的压缩比压缩静态图像的垂直方向上的像素，而在多个时间点中的每个时间点生成拖动条用图像。生成部408可以通过将静态图像的水平方向上的像素替换成由确定部406确定的颜色或亮度的一个像素、并以预定的压缩比压缩静态图像的垂直方向上的像素，而在多个时间点中的每个时间点生成拖动条用图像。生成部408可以生成由确定部406确定的颜色或亮度的像素构成的预定尺寸的图像，作为拖动条用图像。
显示装置500具备获取部502、生成部504以及显示部506。显示装置500例如可以设置在远程操作装置300上。获取部502获取由生成部408生成的拖动条用图像。获取部502是第二获取部的一个示例。获取部502可以依次获取由摄像装置100拍摄的动态图像的快照和与该快照相对应的拖动条用图像。
生成部504将多个时间点中的每个时间点的拖动条用图像按时间序列排列，来生成与内容相对应的拖动条。拖动条在视觉上示出内容的过渡。拖动条可以通过与每个时间点的特征相对应的颜色或亮度来表现由摄像装置100拍摄的动态图像的整体或至少一部分的条形图像。拖动条可以是表示内容的播放位置的条形图像。生成部504是第二生成部的一个示例。生成部504可以生成拖动条，该拖动条包括表示内容的状态切换的时间点的位置的信息。可以生成拖动条，该拖动条包括表示内容的转换点的位置的信息。生成部504可以生成拖动条，该拖动条包括表示内容的场景切换的时间点的位置的信息。生成部504可以生成拖动条，该拖动条包括表示动态图像的场景切换的时间点的位置的信息。生成部504可以通过对相邻的拖动条用图像彼此之间进行比较，来判断内容的状态切换的时间点。生成部504还可以通过对相邻的拖动条用图像的像素值彼此之间进行比较，来判断内容的状态切换的时间点。例如，当构成第一拖动条用图像的像素的像素值的平均值与构成与第一拖动条用图像相邻的第二拖动条用图像的像素的像素值的平均值之间的差值在预定的阈值以上变化时，生成部504可以将第一拖动条用图像与第二拖动条用图像之间判断为内容的状态切换的时间点。生成部504还可以判断拖动条用图像的颜色或亮度发生变化的时间点是内容的状态切换的时间点。
在内容例如包括由摄像装置100从第一时间点T0到第二时间点T1拍摄的动态图像时，生成部504可以生成拖动条610A，如图4A所示，其一端是与动态图像中的第一时间点T0的静态图像相对应的拖动条用图像604a，另一端是与动态图像中的第二时间点T1的静态图像相对应的拖动条用图像604b。生成部504可以生成拖动条610B，如图4B所示，其一端是与动态图像中的第一时间点T0与第二时间点T1之间的从第二时间点T1起预定的期间ΔT之前的第三时间点(T1-ΔT)的静态图像相对应的拖动条用图像604c，另一端是与动态图像中的第二时间点T1的静态图像相对应的拖动条用图像604b。生成部504可以生成拖动条610C，如图4C所示，其一端是与动态图像中的第一时间点T0的静态图像相对应的拖动条用图像604a，另一端是与动态图像中的第二时间点T1的静态图像相对应的拖动条用图像604b，一端与另一端之间的预定的部分是与动态图像中的第一时间点T0与第二时间点T1之间的从第二时间点T1起预定的期间ΔT之前的第三时间点(T1-ΔT)的静态图像相对应的拖动条用图像604c。生成部504可以通过从与第一时间点T0的静态图像相对应的拖动条用图像604a开始、在水平方向上进一步压缩到刚好到第三时间点(T1-ΔT)之前的拖动条用图像604d，来生成拖动条610C。
生成部504可以将从摄像装置100开始进行动态图像摄像的开始时间点的快照到当前时间点的快照的拖动条用图像按时间序列排列，来生成拖动条。生成部504可以将从当前时间点开始预定的期间之前由摄像装置100拍摄的动态图像的快照到当前时间点的快照的拖动条用图像按时间序列排列，来生成拖动条。生成部504可以将从摄像装置100开始进行动态图像摄像的开始时间点的快照到从当前时间点开始预定的期间之前由摄像装置100拍摄的动态图像的快照的拖动条用图像在水平方向上进一步压缩，并且，将从当前时间点开始预定的期间之前由摄像装置100拍摄的动态图像的快照到当前时间点的快照的拖动条用图像不压缩而按时间序列排列，来生成拖动条。
显示部506显示由生成部504生成的拖动条。显示部506可以排列并显示快照及拖动条。显示部506可以在显示由摄像装置100拍摄的动态图像的快照作为预览图像的同时显示拖动条。显示部506可以在快照的下方或上方显示拖动条。
例如，如图5所示，获取部402获取从动态图像600中以预定间隔提取的快照602。提取部404提取快照602的特征。提取部404可以通过提取快照602的水平方向上的每个像素的像素值来提取快照602的特征。
确定部406可以通过对快照602的水平方向上的每个像素的像素值进行平均化，来提取快照602的特征。生成部408可以通过将快照602的水平方向上的像素替换成平均像素值的一个像素、并以预定的压缩比压缩快照602的垂直方向上的像素，来生成拖动条用图像604。生成部408可以通过按每预定数量的像素对快照602的垂直方向上的像素的像素值进行平均化，来进行压缩，并生成拖动条用图像604。生成部408可以通过每预定数量提取快照602的垂直方向上的像素，来进行压缩，并生成拖动条用图像604。生成部504可以将由生成部408生成的拖动条用图像604按时间序列排列，来生成拖动条610。
图6是示出图像生成部400生成拖动条用图像的过程的一个示例的图。摄像装置100开始摄像(S100)。当经由远程操作装置300从用户接受录像开始指令时，摄像装置100可以开始动态图像录像。获取部402获取从由摄像装置100拍摄的动态图像中以预定间隔提取的快照(S102)。提取部404通过提取快照的水平方向上的每个像素的像素值来，提取快照的特征。确定部406通过对快照的水平方向上的每个像素的像素值进行平均化，而在每个水平方向上确定快照的特征颜色。生成部408通过将快照的水平方向上的像素替换成具有特征颜色的预定数量的像素、并以预定的压缩比压缩快照的垂直方向上的像素，来生成拖动条用图像(S104)。图像生成部400经由通信接口36，将快照和与快照相对应的拖动条用图像发送到远程操作装置300(S106)。
图7是示出显示装置500显示拖动条的过程的一个示例的流程图。获取部502从图像生成部400获取快照和与快照相对应的拖动条用图像(S200)。生成部504依次将由获取部502获取的拖动条用图像按时间序列排列来生成拖动条(S202)。生成部504可以通过将新获取的拖动条用图像连接到目前为止创建的拖动条的一端，来生成拖动条。若拖动条的长度为预定长度，则每当将新获取的拖动条用图像追加到现有的拖动条上时，生成部504可以在水平方向上压缩拖动条内的拖动条用图像。显示部506排列并显示拖动条及快照(S204)。
图8是示出显示部506中显示的拖动条及快照的一个示例的图。显示部506可以是触控显示器。图像700包括预览用图像即快照702、拖动条704、操作按钮710。操作按钮710包括用于从用户接受与由摄像装置100摄像的快照702对应的动态图像的播放、停止、暂停、后退、快进等操作的按钮。拖动条704包括表示动态图像的播放位置的图标706。拖动条704包括表示动态图像的场景切换的时间点的位置的图标708。生成部504可以基于拖动条用图像的像素值来判定动态图像的场景切换的时间点，并生成包括对应于该时间点的图标708的拖动条704。当拖动条用图像的像素值在预定阈值以上变化时，生成部504可以判定动态图像的场景切换的时间点，并生成包括对应于该时间点的图标708的拖动条704。生成部504可以将拖动条用图像所具有的特征颜色切换的时间点判定为动态图像的场景切换的时间点，并生成包括对应于该时间点的图标708的拖动条704。
由摄像装置100拍摄的动态图像可以被依次存储在UAV10侧的存储器130或存储器32中，并且动态图像的快照及拖动条用图像被依次发送到远程操作装置300。将由摄像装置100拍摄的动态图像存储在远程操作装置300等其它装置中，远程操作装置300等其它装置在播放所存储的动态图像的阶段，可以生成并显示一拖动条，其中将该动态图像的快照及拖动条用图像按时间序列排列。
图9是示出由动态图像生成拖动条的过程的一个示例的流程图。可以由对动态图像进行播放、编辑等的装置来执行。装置可以包括图3所示的各功能块。
获取部402获取从动态图像中以预定间隔提取的快照(S300)。提取部404通过提取快照的水平方向上的每个像素的像素值，来提取快照的特征。确定部406通过对快照的水平方向上的每个像素的像素值进行平均化，而在每个水平方向上确定快照的特征颜色。生成部408通过将快照的水平方向上的像素替换成具有特征颜色的预定数量的像素、并以预定的压缩比压缩快照的垂直方向上的像素，来生成拖动条用图像(S302)。生成部504将由生成部408生成的拖动条用图像按时间序列排列，来生成拖动条(S304)。显示部506排列并显示拖动条及快照(S306)。
以上，根据本实施方式，提供一种按照时间序列排列有具有与动态图像的快照的各个特征相对应的颜色或亮度的拖动条用图像的拖动条。通过提供包括与特征相对应的颜色或亮度的图像的拖动条，能够在视觉上容易地掌握由摄像装置100拍摄的动态图像的过渡。
在上文中，对提取部404提取静态图像(快照)的像素值，作为多个时间点中的每个时间点的特征的示例进行了说明。但是，提取部404也可以从静态图像等按时间序列获取的信息中提取像素值以外的参数。提取部404例如可以提取多个时间点的静态图像中包含的满足预定条件的对象的颜色或亮度，作为多个时间点中的每个时间点的特征。提取部404可以导出满足预定条件的对象的颜色或亮度的分布，并提取分布率最高的颜色或亮度作为该对象的代表颜色或亮度，并作为多个时间点中的每个时间点的特征。提取部404可以从静态图像中提取运动物体，并提取该运动物体的颜色或亮度作为该静态图像的特征。提取部404可以从静态图像中提取人物，并提取人物的肤色、或人物的衣服的颜色作为该静态图像的特征。
提取部404可以提取多个时间点的静态图像中包含的满足预定条件的对象的动作状态，作为多个时间点中的每个时间点的特征。提取部404可以通过比较多个时间点的静态图像来判断对象是移动的还是静止的，从而获取对象是运动物体还是静止物体，作为对象的动作状态。在对象是运动物体时，提取部404可以基于对象的速度或加速度，进一步对运动物体的状态进行分类。在对象的速度或加速度在预定阈值以下时，提取部404可以将该对象分类为第一类运动的运动物体(缓慢运动的运动物体)。在对象的速度或加速度大于预定阈值时，提取部404可以将该对象分类为第二类运动的运动物体(剧烈运动的运动物体)。
确定部406可以基于将对象的动作状态与颜色或亮度相对应的预定条件，来确定多个时间点中的每个时间点的颜色或亮度。在对象是运动物体时，确定部406可以将其确定为第一颜色(例如红色)。在对象是静止物体时，确定部406可以将其确定为第二颜色(例如蓝色)。在对象是第一类运动的运动物体时，确定部406可以将其确定为第三颜色(例如绿色)，在对象是第二类运动的运动物体时，确定部406可以将其确定为第四颜色(例如黄绿色)。
通过参照由按照这样的条件生成的拖动条用图像来生成的拖动条，能够在视觉上容易地掌握摄像装置100是对运动的对象进行摄像、是对未运动的对象进行摄像、还是对剧烈运动的对象进行摄像等动态图像的过渡。
提取部404可以提取多个时间点的静态图像的空间频率分量，作为多个时间点中的每个时间点的特征。确定部406可以基于将空间频率分量与颜色或亮度相对应的预定条件，来确定多个时间点中的每个时间点的颜色或亮度。确定部406可以将具有预定空间频率以上的空间频率分量的静态图像判断为浓淡变化剧烈的图像，并将表征该静态图像的颜色判断为第一颜色(例如红色)。确定部406可以将不具有预定空间频率以上的空间频率分量的静态图像判断为浓淡变化平缓的图像，并可以将表征该静态图像的颜色判断为第二颜色(例如，蓝色)。
通过参照由按照这样的条件生成的拖动条用图像来生成的拖动条，能够在视觉上容易地掌握摄像装置100是对浓淡变化剧烈的图像进行拍摄、还是对浓淡变化平缓的图像进行拍摄等动态图像的过渡。
内容中包含的按时间序列获取的信息也可以是由摄像装置100拍摄的图像之外的信息。信息也可以是表示按时间序列获取的摄像装置100的摄像状态的信息。表示摄像装置100的摄像状态的信息包括有可能影响由摄像装置100拍摄的图像的信息。表示摄像装置100的摄像状态的信息包括与摄像装置100摄像的周围环境相关的信息。与摄像装置100摄像的周围环境相关的信息包括摄像装置100周围的温度、湿度、气压、高度等。表示摄像装置100的摄像状态的信息包括与摄像装置100摄像时的摄像条件相关的信息。表示摄像装置100的摄像状态的信息包括摄像装置100对动态图像进行拍摄时的曝光条件、或者表示从摄像装置100到主要被摄体的距离的被摄体距离。
提取部404可以提取多个时间点的摄像装置100的摄像状态，作为多个时间点的特征。提取部404可以从摄像控制部110为了控制摄像部102或镜头部200而参照的控制信息中提取多个时间点的摄像装置100的曝光条件或被摄体距离。确定部406可以基于将摄像装置100的摄像状态与颜色或亮度相对应的预定条件，来确定多个时间点中的每个时间点的颜色或亮度。确定部406可以根据摄像装置100的曝光条件来判断被摄体的亮度。在对静态图像进行拍摄时的被摄体的亮度比预定亮度亮时，确定部406可以将表征该静态图像的颜色判断为第一颜色。在对静态图像进行拍摄时的被摄体的亮度比预定亮度暗时，确定部406可以将表征该静态图像的颜色判断为第二颜色。在静态图像中包含的被摄体的被摄体距离在预定距离以上时，确定部406可以将表征该静态图像的颜色判断为第一颜色。在静态图像中包含的被摄体的被摄体距离比预定距离短时，确定部406可以将表征该静态图像的颜色判断为第二颜色。
通过参照由按照这样的条件生成的拖动条用图像来生成的拖动条，能够在视觉上容易地掌握摄像装置100是对包含较亮的被摄体的图像进行拍摄、还是对包含较暗的被摄体的图像进行拍摄等动态图像的过渡。或者，能够在视觉上容易地掌握摄像装置100是对包含较近的被摄体的图像进行拍摄、还是对包含较远的被摄体的图像进行拍摄等动态图像的过渡。或者，在视觉上能够较容易地掌握动态图像的过渡，例如摄像装置100是对包含较近被摄体的图像进行拍摄，还是对包含较远被摄体的图像进行拍摄。
内容中所包含的按时间序列获取的信息可以是表示搭载摄像装置100并进行移动的移动体的移动状态的信息。提取部404可以从控制移动体的控制部提取表示移动体的速度或加速度等移动状态的信息，作为移动体的移动状态。确定部406可以基于将移动体的移动状态与颜色或亮度相对应的预定条件，来确定多个时间点中的每个时间点的颜色或亮度。提取部404例如可以提取多个时间点的UAV10的飞行状态，作为多个时间点的特征。表示UAV10的飞行状态的信息例如可以包括UAV10飞行的高度、速度及加速度、UAV10周围的温度、湿度及气压中的至少一个。表示UAV10的飞行状态的信息可以包括：表示UAV10是否沿水平方向移动、UAV10是在上升还是下降、UAV10是否在空中悬停、UAV10是否在旋转、或者UAV10是否在着陆等的信息。
确定部可以基于将UAV10的飞行状态与颜色或亮度相对应的预定条件，来确定多个时间点中的每个时间点的颜色或亮度。在摄像装置100对对应于快照的静态图像进行拍摄时的UAV10的高度在预定高度以上时，确定部406可以将表征该静态图像的颜色确定为第一颜色。在摄像装置100对该静态图像进行拍摄时的UAV10的高度比预定高度低时，确定部406可以将表征该静态图像的颜色确定为第二颜色。
在摄像装置100对该静态图像进行拍摄时的UAV10的速度在预定速度以上时，确定部406可以将表征该静态图像的颜色确定为第一颜色。在摄像装置100对该静态图像进行拍摄时的UAV10的速度比预定速度慢时，确定部406可以将表征该静态图像的颜色确定为第二颜色。在摄像装置100对该静态图像进行拍摄时的UAV10的飞行状态为空中悬停状态时，确定部406可以将表征该静态图像的颜色确定为第三颜色。在摄像装置100对该静态图像进行拍摄时的UAV10的飞行状态为旋转状态时，确定部406可以将表征该静态图像的颜色确定为第四颜色。在摄像装置100对该静态图像进行拍摄时的UAV10的飞行状态为着陆状态时，确定部406可以将表征该静态图像的颜色确定为第五颜色。
通过参照由按照这样的条件生成的拖动条用图像来生成的拖动条，能够在视觉上容易地掌握是UAV10在哪种飞行状态时所拍摄的图像等动态图像的过渡。
图10表示可整体或部分地具体体现本发明的多个方式的计算机1200的一个示例。安装在计算机1200上的程序能够使计算机1200作为与本发明的实施方式所涉及的装置相关联的操作或者该装置的一个或多个“部”而起作用。或者，该程序能够使计算机1200执行该操作或者该一个或多个“部”。该程序能够使计算机1200执行本发明的实施方式所涉及的过程或者该过程的阶段。这种程序可以由CPU1212执行，以使计算机1200执行与本说明书所述的流程图及框图中的一些或者全部方框相关联的特定操作。
本实施方式的计算机1200包括CPU1212及RAM1214，它们通过主机控制器1210相互连接。计算机1200还包括通信接口1222、输入/输出单元，它们通过输入/输出控制器1220与主机控制器1210连接。计算机1200还包括ROM1230。CPU1212按照ROM1230及RAM1214内储存的程序而动作，从而控制各单元。
通信接口1222通过网络与其它电子设备通信。硬盘驱动器可以储存计算机1200内的CPU1212所使用的程序及数据。ROM1230在其中储存运行时由计算机1200执行的引导程序等、和/或依赖于计算机1200的硬件的程序。程序通过CR-ROM、USB存储器或IC卡之类的计算机可读记录介质或者网络来提供。程序安装在也作为计算机可读记录介质的示例的RAM1214或ROM1230中，并通过CPU1212执行。这些程序中记述的信息处理由计算机1200读取，并引起程序与上述各种类型的硬件资源之间的协作。可以通过根据计算机1200的使用而实现信息的操作或者处理来构成装置或方法。
例如，在计算机1200与外部设备之间执行通信时，CPU1212可以执行加载在RAM1214中的通信程序，并基于通信程序所记述的处理，指令通信接口1222进行通信处理。通信接口1222在CPU1212的控制下，读取储存在RAM1214或USB存储器之类的记录介质内提供的发送缓冲区中的发送数据，并将读取的发送数据发送到网络，或者将从网络接收的接收数据写入记录介质内提供的接收缓冲区等中。
此外，CPU1212可以使RAM1214读取USB存储器等外部记录介质所储存的文件或数据库的全部或者需要的部分，并对RAM1214上的数据执行各种类型的处理。接着，CPU1212可以将处理的数据写回到外部记录介质中。
可以将各种类型的程序、数据、表格及数据库之类的各种类型的信息储存在记录介质中，并接受信息处理。对于从RAM1214读取的数据，CPU1212可执行在本公开的各处描述的、包括由程序的指令序列指定的各种类型的操作、信息处理、条件判断、条件转移、无条件转移、信息的检索/替换等各种类型的处理，并将结果写回到RAM1214中。此外，CPU1212可以检索记录介质内的文件、数据库等中的信息。例如，在记录介质中储存具有分别与第二属性的属性值相关联的第一属性的属性值的多个条目时，CPU1212可以从该多个条目中检索出与指定第一属性的属性值的条件相匹配的条目，并读取该条目内储存的第二属性的属性值，从而获取与满足预定条件的第一属性相关联的第二属性的属性值。
以上描述的程序或者软件模块可以储存在计算机1200上或者计算机1200附近的计算机可读存储介质上。此外，与专用通信网络或者互联网连接的服务器系统内提供的硬盘或RAM之类的记录介质可以用作计算机可读存储介质，从而通过网络将程序提供给计算机1200。
应该注意的是，权利要求书、说明书以及说明书附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等各项处理的执行顺序，只要没有特别明示“在…之前”、“事先”等，且只要前面处理的输出并不用在后面的处理中，则可以任意顺序实现。关于权利要求书、说明书以及说明书附图中的操作流程，为方便起见而使用“首先”、“接着”等进行了说明，但并不意味着必须按照这样的顺序实施。
以上使用实施方式对本发明进行了说明，但是本发明的技术范围并不限于上述实施方式所描述的范围。对本领域普通技术人员来说，显然可对上述实施方式加以各种变更或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
应该注意的是，权利要求书、说明书以及说明书附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等各项处理的执行顺序，只要没有特别明示“在…之前”、“事先”等，且只要前面处理的输出并不用在后面的处理中，则可以任意顺序实现。关于权利要求书、说明书以及说明书附图中的操作流程，为方便起见而使用“首先”、“接着”等进行了说明，但并不意味着必须按照这样的顺序实施。

Claims (19)

1.一种生成装置，其具备：
第一获取部，其获取包括按时间序列获取的信息的内容；
提取部，其从所述信息中提取多个时间点中的每个时间点的特征；
确定部，其基于所述多个时间点中的每个时间点的特征来确定所述多个时间点中的每个时间点的颜色或亮度；以及
第一生成部，其在所述多个时间点中的每个时间点生成包括颜色或亮度的像素的图像，该图像用于生成按时间序列排列并与所述内容相对应的拖动条。
2.如权利要求1所述的生成装置，其中，所述内容包括动态图像，所述提取部从所述动态图像中的所述多个时间点的静态图像中提取所述多个时间点中的每个时间点的特征。
3.如权利要求2所述的生成装置，其中，所述提取部通过提取所述多个时间点的静态图像的像素值来提取所述多个时间点中的每个时间点的特征，
所述确定部基于所述多个时间点的静态图像的所述像素值来确定所述多个时间点中的每个时间点的颜色或亮度。
4.如权利要求3所述的生成装置，其中，所述提取部通过提取所述多个时间点的静态图像的第一方向上的每个像素的像素值，来提取所述多个时间点中的每个时间点的特征，
所述确定部通过对所述多个时间点的静态图像的第一方向上的每个像素的像素值进行平均化，来确定所述多个时间点中的每个时间点的颜色或亮度，
所述第一生成部通过将静态图像的第一方向上的像素替换成所述颜色或所述亮度的预定数量的像素、并以预定的压缩比压缩所述静态图像的第二方向上的像素，而在所述多个时间点中的每个时间点生成所述图像。
5.如权利要求2所述的生成装置，其中，所述提取部提取满足所述多个时间点的静态图像中包含的预定条件的对象的颜色或亮度，作为所述多个时间点中的每个时间点的特征，
所述确定部基于所述对象的颜色或亮度来确定所述多个时间点中的每个时间点的颜色或亮度。
6.如权利要求2所述的生成装置，其中，所述提取部提取满足所述多个时间点的静态图像中包含的预定条件的对象的动作状态，作为所述多个时间点中的每个时间点的特征，
所述确定部基于将对象的动作状态与颜色或亮度相对应的预定条件来确定所述多个时间点中的每个时间点的颜色或亮度。
7.如权利要求2所述的生成装置，其中，所述提取部提取所述多个时间点的静态图像的空间频率分量，作为所述多个时间点中的每个时间点的特征，
所述确定部基于将空间频率分量与颜色或亮度相对应的预定条件，来确定所述多个时间点中的每个时间点的颜色或亮度。
8.如权利要求1所述的生成装置，其中，所述内容包括由摄像装置拍摄的动态图像，
所述信息表示按时间序列获取的所述摄像装置的摄像状态，
所述提取部从所述多个时间点的所述信息中提取所述多个时间点的所述摄像装置的摄像状态，作为所述多个时间点的特征，
所述确定部基于将所述摄像装置的摄像状态与颜色或亮度相对应的预定条件来确定所述多个时间点中的每个时间点的颜色或亮度。
9.如权利要求1所述的生成装置，其中，所述内容包括由摄像装置拍摄的动态图像，
所述摄像装置搭载于移动体来进行移动，
所述信息表示按时间序列获取的所述移动体的移动状态，
所述提取部从所述多个时间点的所述信息中提取所述多个时间点的所述移动体的移动状态，作为所述多个时间点的特征，
所述确定部基于将所述移动体的移动状态与颜色或亮度相对应的预定条件来确定所述多个时间点中的每个时间点的颜色或亮度。
10.如权利要求9所述的生成装置，其中，所述移动体是飞行体，
所述信息表示将按时间序列获取的所述飞行体的飞行状态作为所述移动体的移动状态，
所述提取部从所述多个时间点的所述信息中提取所述多个时间点的所述飞行体的飞行状态，作为所述多个时间点的特征，
所述确定部基于将所述飞行体的飞行状态与颜色或亮度相对应的预定条件来确定所述多个时间点中的每个时间点的颜色或亮度。
11.如权利要求1~10中任一项所述的生成装置，其还具备：第二获取部，其获取所述多个时间点中的每个时间点的所述图像；以及
第二生成部，其将所述多个时间点中的每个时间点的所述图像按时间序列排列，来生成与所述内容相对应的所述拖动条。
12.如权利要求11所述的生成装置，其中，所述内容包括由摄像装置从第一时间点到第二时间点拍摄的动态图像，
所述第二生成部生成拖动条，其一端是与所述动态图像中的所述第一时间点的静态图像相对应的所述图像，另一端是与所述动态图像中的所述第二时间点的静态图像相对应的所述图像。
13.如权利要求11所述的生成装置，其中，所述内容包括由摄像装置从第一时间点到第二时间点拍摄的动态图像，
所述第二生成部生成拖动条，其一端是与所述动态图像中的所述第一时间点与所述第二时间点之间的从第二时间点起预定的期间之前的第三时间点的静态图像相对应的所述图像，另一端是与所述动态图像中的所述第二时间点的静态图像相对应的所述图像。
14.如权利要求11所述的生成装置，其中，所述内容包括由摄像装置从第一时间点到第二时间点拍摄的动态图像，
所述第二生成部生成拖动条，其一端是与所述动态图像中的所述第一时间点的静态图像相对应的所述图像，另一端是与所述动态图像中的所述第二时间点的静态图像相对应的所述图像，所述一端与所述另一端之间的预定的部分是与所述动态图像中的所述第一时间点与所述第二时间点之间的从第二时间点起预定的期间之前的第三时间点的静态图像相对应的所述图像。
15.如权利要求11所述的生成装置，其中，所述第二生成部生成所述拖动条，其包括表示所述内容的状态切换的时间点的位置的信息。
16.一种生成系统，其具备：如权利要求1~10中任一项所述的生成装置；以及
终端，
所述终端具有：
第二获取部，其获取所述多个时间点中的每个时间点的所述图像；
第二生成部，其将所述多个时间点中的每个时间点的所述图像按时间序列排列，来生成与所述内容相对应的所述拖动条；以及
显示部，其显示所述拖动条。
17.一种摄像系统，其具备：如权利要求1~10中任一项所述的生成装置；以及
摄像装置，其对所述内容中包含的动态图像进行拍摄。
18.一种移动体，其具备如权利要求17所述的摄像系统，并进行移动。
19.一种生成方法，其具备：获取包括按时间序列获取的信息的内容的阶段；
从所述信息中提取多个时间点中的每个时间点的特征的阶段；
基于所述多个时间点中的每个时间点的特征来确定所述多个时间点中的每个时间点的颜色或亮度的阶段；以及
在所述多个时间点中的每个时间点生成包括所述颜色或所述亮度的像素的图像的阶段，该图像用于生成按时间序列排列并与所述内容相对应的拖动条。
CN201880014838.2A 2017-11-28 2018-11-13 生成装置、生成系统、摄像系统、移动体以及生成方法 Active CN110383228B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017227627A JP6596741B2 (ja) 2017-11-28 2017-11-28 生成装置、生成システム、撮像システム、移動体、生成方法、及びプログラム
JP2017-227627 2017-11-28
PCT/CN2018/115262 WO2019105222A1 (zh) 2017-11-28 2018-11-13 生成装置、生成系统、摄像系统、移动体以及生成方法

Publications (2)

Publication Number Publication Date
CN110383228A CN110383228A (zh) 2019-10-25
CN110383228B true CN110383228B (zh) 2022-09-23

Family

ID=66665403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880014838.2A Active CN110383228B (zh) 2017-11-28 2018-11-13 生成装置、生成系统、摄像系统、移动体以及生成方法

Country Status (4)

Country Link
US (1) US11340772B2 (zh)
JP (1) JP6596741B2 (zh)
CN (1) CN110383228B (zh)
WO (1) WO2019105222A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11804076B2 (en) * 2019-10-02 2023-10-31 University Of Iowa Research Foundation System and method for the autonomous identification of physical abuse
JP6752349B1 (ja) 2019-12-26 2020-09-09 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
US11601598B2 (en) 2020-03-23 2023-03-07 DUBL Development, LLC Methods and systems for displaying and recording multiple video feeds using a single, unified window

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690243A (zh) * 2008-05-14 2010-03-31 松下电器产业株式会社 摄像装置以及摄像方法
CN102487456A (zh) * 2009-11-30 2012-06-06 国际商业机器公司 用于提供网络视频访问热度的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050003210A (ko) * 2003-06-30 2005-01-10 주식회사 대우일렉트로닉스 Ｐｖｒ의 타임 시프트 모드에서의 방송 프로그램 구분정보 설정 및 표시 방법
JP4359085B2 (ja) * 2003-06-30 2009-11-04 日本放送協会 コンテンツ特徴量抽出装置
KR100843087B1 (ko) * 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
US7899240B2 (en) * 2006-09-18 2011-03-01 Sony Ericsson Mobile Communications Ab Video pattern thumbnails and method
WO2009008125A1 (ja) * 2007-07-12 2009-01-15 Olympus Medical Systems Corp. 画像処理装置、該動作方法及び該プログラム
EP2407082B1 (en) * 2009-03-11 2017-04-26 Olympus Corporation Image processing system, external device and image processing method
JP2013164667A (ja) * 2012-02-09 2013-08-22 Nippon Telegr & Teleph Corp <Ntt> 映像検索装置、映像検索方法、および映像検索用プログラム
US20140344730A1 (en) * 2013-05-15 2014-11-20 Samsung Electronics Co., Ltd. Method and apparatus for reproducing content
CN103559117B (zh) * 2013-10-31 2016-08-17 宇龙计算机通信科技(深圳)有限公司 一种显示进度条的方法及装置
CN103761303B (zh) * 2014-01-22 2017-09-15 广东欧珀移动通信有限公司 一种图片的排列显示方法及装置
JP6584978B2 (ja) * 2016-02-24 2019-10-02 京セラ株式会社 電子機器、制御装置、制御プログラム及び表示方法
US10187611B2 (en) * 2016-08-05 2019-01-22 Avigilon Corporation Video surveillance system with aerial camera device
CN107122188B (zh) * 2017-04-26 2021-05-11 网易（杭州）网络有限公司 项目进度条图像生成的方法及装置
US20190130185A1 (en) * 2017-11-01 2019-05-02 International Business Machines Corporation Visualization of Tagging Relevance to Video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690243A (zh) * 2008-05-14 2010-03-31 松下电器产业株式会社 摄像装置以及摄像方法
CN102487456A (zh) * 2009-11-30 2012-06-06 国际商业机器公司 用于提供网络视频访问热度的方法和装置

Also Published As

Publication number Publication date
US11340772B2 (en) 2022-05-24
JP2019097137A (ja) 2019-06-20
US20200142580A1 (en) 2020-05-07
CN110383228A (zh) 2019-10-25
WO2019105222A1 (zh) 2019-06-06
JP6596741B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
CN110383228B (zh) 生成装置、生成系统、摄像系统、移动体以及生成方法
CN110383812B (zh) 控制装置、系统、控制方法以及程序
CN111567032B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
CN109863741B (zh) 控制装置、摄像装置、摄像系统、移动体、控制方法及计算机可读存储介质
CN110809746A (zh) 控制装置、摄像装置、移动体、控制方法以及程序
CN111602384B (zh) 图像处理装置、摄像装置、移动体、图像处理方法
CN112219146B (zh) 控制装置、摄像装置、控制方法以及程序
CN110337609B (zh) 控制装置、镜头装置、摄像装置、飞行体以及控制方法
JP6481228B1 (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
WO2019174343A1 (zh) 活动体检测装置、控制装置、移动体、活动体检测方法及程序
CN111264055A (zh) 确定装置、摄像系统、移动体、合成系统、确定方法以及程序
WO2021017914A1 (zh) 控制装置、摄像装置、移动体、控制方法以及程序
US20200412945A1 (en) Image processing apparatus, image capturing apparatus, mobile body, image processing method, and program
CN110785997B (zh) 控制装置、摄像装置、移动体以及控制方法
CN111357271B (zh) 控制装置、移动体、控制方法
WO2019242611A1 (zh) 控制装置、移动体、控制方法以及程序
CN110383815B (zh) 控制装置、摄像装置、飞行体、控制方法以及存储介质
WO2018163300A1 (ja) 制御装置、撮像装置、撮像システム、移動体、制御方法、及びプログラム
JP6710863B2 (ja) 飛行体、制御方法、及びプログラム
CN112313943A (zh) 装置、摄像装置、移动体、方法以及程序
CN114600446A (zh) 控制装置、摄像装置、移动体、控制方法以及程序
CN112154646A (zh) 确定装置、摄像系统及移动体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant