CN110392891A - 活动体检测装置、控制装置、移动体、活动体检测方法及程序 - Google Patents

活动体检测装置、控制装置、移动体、活动体检测方法及程序 Download PDF

Info

Publication number
CN110392891A
CN110392891A CN201880014365.6A CN201880014365A CN110392891A CN 110392891 A CN110392891 A CN 110392891A CN 201880014365 A CN201880014365 A CN 201880014365A CN 110392891 A CN110392891 A CN 110392891A
Authority
CN
China
Prior art keywords
mobile
subject
movement
detected
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880014365.6A
Other languages
English (en)
Inventor
荒牧典幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110392891A publication Critical patent/CN110392891A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

当从搭载在移动体上的摄像装置所拍摄的图像内的被摄体中检测活动体时，有时不能预先指定活动体的运动。活动体检测装置可以具备获取部，其获取搭载在移动体上的摄像装置所拍摄的多个图像。活动体检测装置可以具备第一指定部，其基于多个图像来指定被摄体的运动。活动体检测装置可以具备第二指定部，其指定移动体的运动。活动体检测装置可以具备检测部，其基于被摄体的运动及移动体的运动从多个图像内的被摄体中检测活动体。

Description

活动体检测装置、控制装置、移动体、活动体检测方法及程序
【技术领域】
本发明涉及活动体检测装置、控制装置、移动体、活动体检测方法及程序。
【背景技术】
专利文献1公开了一种车辆周边监视装置，用于当存在周边接近车辆/周边加塞车辆时，在与假定图像上的运动方向相同的光流中，检测周边接近车辆/周边加塞车辆的存在。
专利文献1日本专利2994170号公报
【发明内容】
发明所要解决的技术问题：
根据专利文献1所述的车辆周边监视装置，当存在周边接近车辆/周边加塞车辆时，有必要预先指定假定图像上的运动。然而，当从搭载在移动体上的摄像装置所拍摄的图像内的被摄体中检测活动体时，有时不能预先指定活动体的运动。
用于解决问题的技术手段：
本发明的一个方面所涉及的活动体检测装置可以具备获取部，其获取搭载在移动体上的摄像装置所拍摄的多个图像。活动体检测装置可以具备第一指定部，其基于多个图像来指定被摄体的运动。活动体检测装置可以具备第二指定部，其指定移动体的运动。活动体检测装置可以具备检测部，其基于被摄体的运动及移动体的运动从多个图像内的被摄体中检测活动体。
活动体检测装置可以具备第三指定部，其指定从摄像装置到被摄体的距离。第一指定部可以基于多个图像及到被摄体的距离来指定被摄体的运动。
活动体检测装置可以具备设定部，其设定待检测活动体的大小条件。检测部基于被摄体的运动及移动体的运动从多个图像内的被摄体中检测出满足待检测活动体的大小条件的被摄体作为活动体。
活动体检测装置可以具备接收部，其接收待检测活动体相对于摄像装置所拍摄的图像的大小。设定部可以基于待检测活动体相对于摄像装置所拍摄的图像的大小，来设定待检测活动体的大小条件。
活动体检测装置可以具备接收部，其接收待检测活动体的实际大小。设定部可以基于待检测活动体的实际大小，来设定待检测活动体的大小条件。
活动体检测装置可以具备接收部，其接收待检测活动体相对于摄像装置所拍摄的图像的大小、或待检测活动体的实际大小。设定部可以基于由接收部接收到的、待检测活动体相对于摄像装置所拍摄的图像的大小、或待检测活动体的实际大小，来设定待检测活动体的大小条件。
移动体上可搭载有可旋转地支撑摄像装置的支撑机构。活动体检测装置可以具备第四指定部，其指定摄像装置相对于支撑机构的运动。检测部可以基于被摄体的运动、移动体的运动及摄像装置的运动，从多个图像内的被摄体中检测活动体。
本发明的一个方面所涉及的控制装置可以具备上述活动体检测装置。控制装置可以具备第一控制部，其基于由活动体检测装置检测出的活动体检测结果来控制摄像装置的摄像条件。
摄像条件可以包括曝光、对焦位置及白平衡中的至少一个条件。
本发明的一个方面所涉及的移动体可以具备上述控制装置及摄像装置并移动。
移动体可以是飞行体。移动体可以具备第二控制部，其基于由活动体检测装置检测出的活动体检测结果来控制飞行体的飞行以跟踪活动体。
第二控制部可以控制飞行体的飞行，以使从摄像装置到最远被摄体的距离保持在预定距离以内。
本发明的一个方面所涉及的活动体检测方法可以包括获取搭载在移动体上的摄像装置所拍摄的多个图像的阶段。活动体检测方法可以包括基于多个图像来指定被摄体的运动的阶段。活动体检测方法可以包括指定移动体的运动的阶段。活动体检测方法可以包括基于被摄体的运动及移动体的运动从多个图像内的被摄体中检测活动体的阶段。
本发明的一个方面所涉及的程序，可以使计算机作为上述活动体检测装置而起作用。
根据本发明的一个方面，无需预先指定活动体的运动，就能够从搭载在移动体上的摄像装置所拍摄的图像内的被摄体中检测出活动体。
另外，上述发明内容中没有穷举本发明的所有必要特征。此外，这些特征组的子组合也可以构成发明。
【附图说明】
图1是示出无人驾驶航空器及远程操作装置的外观的一个示例的图。
图2是示出无人驾驶航空器的功能块的一个示例的图。
图3是示出光流的一个示例的图。
图4是示出光流的一个示例的图。
图5是示出活动体检测的处理过程的一个示例的流程图。
图6是用于对硬件配置进行说明的一个示例的图。
符号说明：
10 UAV
20 UAV主体
30 控制部
31 接收部
32 设定部
33 获取部
34 指定部
35 检测部
36 通信接口
37 存储器
40 推进部
41 GPS接收器
42 惯性测量装置
43 磁罗盘
44 气压高度计
45 温度传感器
46 湿度传感器
50 万向节
60 摄像装置
100 摄像装置
102 摄像部
110 摄像控制部
120 图像传感器
130 存储器
200 镜头部
210 镜头
212 镜头驱动部
214 位置传感器
220 镜头控制部
222 存储器
300 远程操作装置
1200 计算机
1210 主机控制器
1212 CPU
1214 RAM
1220 输入/输出控制器
1222 通信接口
1230 ROM
【具体实施方式】
以下，通过发明的实施方式来对本发明进行说明，但是以下实施方式并非限制权利要求书所涉及的发明。此外，实施方式中说明的特征的所有组合未必是发明的解决方案所必须的。对本领域普通技术人员来说，显然可以对以下实施方式加以各种变更或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制，著作权人就无法异议。但是，在除此以外的情况下，保留一切的著作权。
本发明的各种实施方式可参照流程图及框图来描述，这里，方框可表示(1)执行操作的过程的阶段或者(2)具有执行操作的作用的装置的“部”。特定的阶段和“部”可以通过可编程电路和/或处理器来实现。专用电路可以包括数字和/或模拟硬件电路。可以包括集成电路(IC)和/或分立电路。可编程电路可以包括可重构硬件电路。可重构硬件电路可以包括逻辑与、逻辑或、逻辑异或、逻辑与非、逻辑或非、及其它逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储器元件等。
计算机可读介质可以包括可以对由适宜的设备执行的指令进行储存的任意有形设备。其结果是，其上存储有指令的计算机可读介质具备一种包括指令的产品，该指令可被执行以创建用于执行流程图或框图所指定的操作的手段。作为计算机可读介质的示例，可以包括电子存储介质、磁存储介质、光学存储介质、电磁存储介质、半导体存储介质等。作为计算机可读介质的更具体的示例，可以包括软盘(注册商标)、软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪存)、电可擦可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字多用途光盘(DVD)、蓝光(RTM)光盘、记忆棒、集成电路卡等。
计算机可读指令可以包括由一种或多种编程语言的任意组合描述的源代码或者目标代码中的任意一个。源代码或者目标代码包括传统的程序式编程语言。传统的程序式编程语言可以为汇编指令、指令集架构(ISA)指令、机器指令、与机器相关的指令、微代码、固件指令、状态设置数据、或者Smalltalk、JAVA(注册商标)、C++等面向对象编程语言以及“C”编程语言或者类似的编程语言。计算机可读指令可以在本地或者经由局域网(LAN)、互联网等广域网(WAN)提供给通用计算机、专用计算机或者其它可编程数据处理装置的处理器或可编程电路。处理器或可编程电路可以执行计算机可读指令，以创建用于执行流程图或框图所指定操作的手段。作为处理器的示例，包括计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。
图1表示无人驾驶航空器(UAV)10及远程操作装置300的外观的一个示例。UAV10具备UAV主体20、万向节50、多个摄像装置60、以及摄像装置100。万向节50及摄像装置100为摄像系统的一个示例。UAV10，即移动体，是指包括在空中移动的飞行体、在地面上移动的车辆、在水上移动的船舶等的概念。在空中移动的飞行体是指不仅包括UAV、还包括在空中移动的其它的飞行器、飞艇、直升机等的概念。
UAV主体20具备多个旋翼。多个旋翼为推进部的一个示例。UAV主体20通过控制多个旋翼的旋转而使UAV10飞行。UAV主体20使用例如四个旋翼来使UAV10飞行。旋翼的数量不限于四个。此外，UAV10也可以是没有旋翼的固定翼机。
摄像装置100为对包含在所期望的摄像范围内的被摄体进行拍摄的摄像用相机。万向节50可旋转地支撑摄像装置100。万向节50为支撑机构的一个示例。例如，万向节50使用致动器围绕俯仰轴可旋转地支撑摄像装置100。万向节50使用致动器进一步分别以滚转轴和偏航轴为中心可旋转地支撑摄像装置100。万向节50可通过使摄像装置100以偏航轴、俯仰轴以及滚转轴中的至少一个为中心旋转，来变更摄像装置100的姿势。
多个摄像装置60是为了控制UAV10的飞行而对UAV10的周围进行拍摄的传感用相机。两个摄像装置60可以设置于UAV10的机头、即正面。并且，其它两个摄像装置60可以设置于UAV10的底面。正面侧的两个摄像装置60可以成对，起到所谓的立体相机的作用。底面侧的两个摄像装置60也可以成对，起到立体相机的作用。可以基于由多个摄像装置60拍摄的图像来生成UAV10周围的三维空间数据。UAV10所具备的摄像装置60的数量不限于四个。UAV10只要具备至少一个摄像装置60即可。UAV10也可以在UAV10的机头、机尾、侧面、底面及顶面分别具备至少一个摄像装置60。摄像装置60中可设定的视角可大于摄像装置100中可设定的视角。摄像装置60也可以具有单焦点镜头或鱼眼镜头。
远程操作装置300与UAV10通信，以远程操作UAV10。远程操作装置300可以与UAV10进行无线通信。远程操作装置300向UAV10发送表示上升、下降、加速、减速、前进、后退、旋转等与UAV10的移动有关的各种指令的指示信息。指示信息包括例如使UAV10高度上升的指示信息。指示信息可以示出UAV10应该位于的高度。UAV10移动以位于从远程操作装置300接收的指示信息所表示的高度。指示信息可以包括使UAV10上升的上升指令。UAV10在接收上升指令的期间上升。UAV10的高度已达到上限高度时，即使接收上升指令，UAV10也可以限制上升。
图2示出了UAV10的功能块的一个示例。UAV10具备UAV控制部30、存储器37、通信接口36、推进部40、GPS接收器41、惯性测量装置42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向节50、摄像装置60及摄像装置100。
通信接口36与远程操作装置300等其它装置通信。通信接口36可以从远程操作装置300接收包括对UAV控制部30的各种指令的指示信息。存储器37对UAV控制部30控制推进部40、GPS接收器41、惯性测量装置(IMU)42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向节50、摄像装置60及摄像装置100所需的程序等进行储存。存储器37可以是计算机可读记录介质，可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。存储器37可以设置于UAV主体20的内部。其可以设置成可从UAV主体20中拆卸下来。
UAV控制部30按照储存在存储器37中的程序来控制UAV10的飞行及拍摄。UAV控制部30为第二控制部的一个示例。UAV控制部30可以由CPU或MPU等微处理器、MCU等微控制器等构成。UAV控制部30按照经由通信接口36从远程操作装置300接收到的指令来控制UAV10的飞行及摄像。推进部40推进UAV10。推进部40具有多个旋翼及使多个旋翼旋转的多个驱动马达。推进部40按照来自UAV控制部30的指令，经由多个驱动马达使多个旋翼旋转，以使UAV10飞行。
GPS接收器41接收表示从多个GPS卫星发送的时间的多个信号。GPS接收器41基于所接收的多个信号来计算出GPS接收器41的位置(纬度及经度)、即UAV10的位置(纬度及经度)。IMU42检测UAV10的姿势。IMU42检测UAV10的前后、左右以及上下的三轴方向的加速度和俯仰轴、滚转轴以及偏航轴的三轴方向的角速度，作为UAV10的姿势。磁罗盘43检测UAV10的机头的方位。气压高度计44检测UAV10的飞行高度。气压高度计44检测UAV10周围的气压，并将检测到的气压换算为高度，以检测高度。温度传感器45检测UAV10周围的温度。湿度传感器46检测UAV10周围的湿度。
摄像装置100具备摄像部102及镜头部200。镜头部200为镜头装置的一个示例。摄像部102具有图像传感器120、摄像控制部110及存储器130。图像传感器120可以由CCD或CMOS构成。图像传感器120拍摄经由多个镜头210成像的光学图像，并将所拍摄的图像数据输出至摄像控制部110。摄像控制部110可以由CPU或MPU等微处理器、MCU等微控制器等构成。摄像控制部110可以根据来自UAV控制部30的摄像装置100的动作指令来控制摄像装置100。摄像控制部110为第一控制部的一个示例。存储器130可以为计算机可读记录介质，可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。存储器130储存摄像控制部110对图像传感器120等进行控制所需的程序等。存储器130可以设置于摄像装置100的壳体内部。存储器130可以设置成可从摄像装置100的壳体中拆卸下来。
镜头部200具有多个镜头210、多个镜头驱动部212、以及镜头控制部220。多个镜头210可以起到变焦镜头(zoom lens)、可变焦距镜头(varifocal lens)及对焦镜头的作用。多个镜头210中的至少一部分或全部被配置为能够沿着光轴移动。镜头部200可以是被设置成能够相对摄像部102拆装的可更换镜头。镜头驱动部212经由凸轮环等机构构件使多个镜头210中的至少一部分或全部沿着光轴移动。镜头驱动部212可以包括致动器。致动器可以包括步进马达。镜头控制部220按照来自摄像部102的镜头控制指令来驱动镜头驱动部212，以经由机构构件使一个或多个镜头210沿着光轴方向移动。镜头控制指令例如为变焦控制指令及对焦控制指令。
镜头部200还具有存储器222和位置传感器214。镜头控制部220按照来自摄像部102的镜头动作指令，经由镜头驱动部212来控制镜头210向光轴方向的移动。镜头控制部220按照来自摄像部102的镜头动作指令，经由镜头驱动部212来控制镜头210向光轴方向的移动。镜头210的部分或全部沿着光轴移动。镜头控制部220通过使镜头210中的至少一个沿着光轴移动，来执行变焦动作和对焦动作中的至少一个。位置传感器214检测镜头210的位置。位置传感器214可以检测当前的变焦位置或对焦位置。
镜头驱动部212可以包括抖动校正机构。镜头控制部220可以经由抖动校正机构使镜头210在沿着光轴的方向或垂直于光轴的方向上移动，来执行抖动校正。镜头驱动部212可以由步进马达驱动抖动校正机构，以执行抖动校正。另外，抖动校正机构可以由步进马达驱动，以使图像传感器120在沿着光轴的方向或垂直于光轴的方向上移动，来执行抖动校正。
存储器222存储经由镜头驱动部212而移动的多个镜头210的控制值。存储器222可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。
在如上所述配置的UAV10中，从摄像装置100所拍摄的图像内的被摄体中检测活动体。摄像装置100可以基于活动体的检测结果，控制曝光、对焦位置及白平衡。UAV1 0可以基于活动体的检测结果跟踪活动体。
UAV控制部30具有接收部31、设定部32、获取部33、指定部34及检测部35。UAV控制部30为检测活动体的活动体检测装置的一个示例。
获取部33获取搭载于UAV10上的摄像装置100所拍摄的多个图像。获取部33可以获取由摄像装置100连续拍摄的多个图像。获取部33可以获取摄像装置100所拍摄的且构成动态图像的多个图像。
指定部34基于多个图像来指定拍摄装置100所拍摄的被摄体的运动。指定部34指定被摄体在拍摄装置100所拍摄的图像上的运动。指定部34可以通过比较多个图像，将被摄体在图像上的移动矢量指定为被摄体的运动。指定部34可以通过基于多个图像导出光流，从而指定被摄体的运动。指定部34可以通过将图像划分为多个块并按每个块导出移动矢量来导出光流。指定部34可以通过按构成图像的每个像素导出移动矢量来导出光流。
指定部34还指定UAV10的运动。指定部34可以指定UAV10的速度和移动方向作为UAV10的运动。指定部34可以基于GPS接收器41检测到的UAV10的位置来指定UAV10的运动。指定部34可以基于来自诸如磁罗盘43和惯性测量装置42等其他传感器的信息来指定UAV10的运动。指定部34还可以指定从摄像装置100到被摄体的距离。指定部34可以通过从摄像装置100所拍摄的视差图像导出距离信息，从而指定到被摄体的距离。指定部34可以指定成像装置100相对于万向节50的运动。指定部34为第一指定部、第二指定部、第三指定部及第四指定部的一个示例。
检测部35基于被摄体的运动及UAV10的运动，从多个图像的被摄体中检测活动体。检测部35假设多个图像内的被摄体是不运动物体，并基于UAV10的运动推测多个图像内的被摄体的运动。检测部35基于被摄体的推测的运动及由指定部34指定的被摄体的运动，从多个图像内的被摄体中检测活动体。检测部35可以检测出推测的运动与由指定部34指定的被摄体的运动不同的被摄体作为活动体。当指定部34指定了到被摄体的距离时，检测部35可以从存在于预定距离范围内的被摄体中检测出活动体。检测部35可以基于被摄体的运动及移动体的运动从多个图像内的被摄体中，检测出满足预定的待检测活动体的大小条件的被摄体作为活动体。检测部35可以基于被摄体的运动、移动体的运动及摄像装置100相对于万向节50的运动，从多个图像内的被摄体中检测出活动体。
检测部35从光流内的各个移动矢量中，指定与基于UAV10的运动而推测的被摄体移动矢量不同的移动矢量。检测部35可以检测出与指定的移动矢量对应的被摄体作为活动体。
检测部35可以从构成图像的各个像素中，指定光流中的移动矢量的方向和大小的至少一个与基于UAV10的运动而推测的移动矢量不同的像素。检测部35根据指定的像素，指定由相邻像素组成的一块像素组。该像素组的像素数超过预定阈值时，检测部35可以检测由该像素组构成的图像内区域作为活动体。
检测部35可以在构成图像的块(例如，8×8(像素)，16×16(像素))中，指定光流中的移动矢量的方向和大小的至少一个与基于UAV10的运动而推测的移动矢量不同的块。检测部35可以从指定的块中，指定由相邻块组成的一块块组。该块组的像素数超过预定阈值时，检测部35可以检测出由该块组构成的图像内区域作为活动体。
接收部31接收待检测活动体的大小。例如，接收部31可以经由远程操作装置300从用户接收待检测活动体的大小。接收部31可以接收待检测活动体相对于摄像装置100所拍摄的图像的大小。接收部31可以接收相对于摄像装置100所拍摄的图像的图像尺寸(水平方向上的像素数量×垂直方向上的像素数量)，作为待检测活动体的大小。
当接收部31接收相对于摄像装置100所拍摄的图像的图像尺寸作为待检测活动体的大小时，根据从摄像装置100到活动体的距离，相对于图像的图像尺寸将发生变化。因此，当预定了从待检测活动体到摄像装置100的距离及活动体的大小时，接收部31可以通过相对于图像的图像尺寸来接收待检测活动体的大小。或者，活动体的实际大小可以是任意的，当预定了活动体相对于图像所占的比例时，接收部31可以通过相对于图像的图像尺寸来接收待检测活动体的大小。
接收部31还可以接收待检测活动体的实际大小。接收部31可以接收待检测活动体的宽度及高度中的至少一个，作为待检测活动体的实际大小。在这种情况下，检测部35检测出到作为活动体候选的被摄体的距离后，可以将待检测活动体的实际大小根据该距离转换为相对于图像的图像尺寸。
设定部32基于由接收部31接收的待检测活动体的大小，来设定待检测活动体的大小条件。设定部32可以设定检测部35要作为活动体而检测出的最小图像尺寸的像素数，作为待检测活动体的大小条件。检测部35可以以该像素数作为阈值，从被摄体检测活动体。
摄像控制部110可以基于由检测部35检测出的活动体检测结果来控制摄像装置的摄像条件。摄像控制部110可以基于活动体的检测结果，控制包括曝光、对焦位置及白平衡中的至少一个条件的摄像条件。摄像控制部110可以以通过由检测部35检测出的活动体的检测结果指定的区域为基准，控制曝光、对焦位置及白平衡中的至少一个条件。摄像控制部110可以基于该区域的曝光量执行自动曝光处理。摄像控制部110可以执行自动对焦处理，以使焦点对焦在该区域上。摄像控制部110可以通过指定该区域的光源并导出对应于该光源的白平衡校正值来执行自动白平衡处理。
UAV控制部30可以基于由检测部35检测出的活动体检测结果来控制UAV10的飞行以跟踪活动体。
图3和图4示出了光流的一个示例。图3和图4中所示的光流示出了从在UAV10飞行过程中朝向俯瞰方向的摄像装置100所拍摄的多个图像导出光流的一个示例。也就是说，图3和图4中所示的光流示出了从在UAV10飞行过程中摄像装置100朝向具有垂直向下分量的摄像方向而拍摄的多个图像中导出光流的一个示例。
如图3所示，当作为活动体的人500以与UAV10的移动方向相同的方向、且与UAV10不同的速度移动时，人500的移动矢量501的方向和大小与光流中的其他移动矢量502的方向和大小不同。检测部35检测出具有这样的移动矢量501的像素集合，作为活动体。例如，检测部35检测出长方形区域510中的被摄体，作为活动体。
如图4所示，当作为活动体的人500以与UAV10的移动方向相反的方向移动时，人500的移动矢量503的大小与光流中的其他移动矢量502的大小不同。检测部35检测出具有这样的移动矢量503的像素集合，作为活动体。例如，检测部35检测出长方形区域512中的被摄体，作为活动体。
如上所述，检测部35考虑从摄像装置100所拍摄的多个图像中导出的光流及UAV10的运动，并从光流的移动矢量中指定与UAV10的运动引起的移动矢量的大小及方向中的至少一个不同的移动矢量，以此从多个图像内的被摄体中检测出活动体。另外，当预定了待检测活动体的大小时，检测部35可以从光流中的多个移动矢量中有效地指定与待检测活动体相对应的移动矢量，并检测出活动体。
图5是示出活动体检测的处理过程的一个示例的流程图。UAV控制部30将UAV10设定为活动体检测模式(S100)。接收部31从用户接收与待检测物体的大小对应的像素数的阈值，设定部32将该阈值设定为活动体检测阈值(S102)。UAV控制部30固定万向节50以固定摄像装置100的摄像方向(S104)。UAV控制部30例如控制万向节50以使摄像装置100的摄像方向垂直向下后，固定万向节50，以保持摄像装置100的摄像方向。UAV控制部30开始UAV10的飞行(S106)。
当摄像装置100拍摄的图像中存在无穷远的被摄体时，在光流的移动矢量中，可能会产生几乎不包含伴随UAV10的移动的移动矢量分量的移动矢量。当存在这样的移动矢量时，检测部35可能不能高精度地检测出活动体。因此，UAV控制部30可以控制万向节50以使摄像装置100的摄像方向垂直向下，且可以控制UAV10的飞行以使UAV10离地的高度保持在预定高度以内。UAV控制部30可以控制UAV10的飞行，以使到摄像装置100拍摄的最远被摄体(背景)的距离保持在预定距离以内。例如，UAV控制部30可以控制UAV10的飞行，以使从存在于摄像装置100的摄像方向上的墙壁到UAV10的距离保持在预定距离以内。
接着，在UAV10的飞行过程中，摄像装置100开始拍摄动态图像(S108)。指定部34基于动态图像导出光流(S110)。检测部35检测出光流的移动矢量中的像素组，该像素组具有与基于UAV10的移动方向而推测的移动矢量的大小及方向中的至少一个不同(S112)。检测部35判断检测出的像素组的像素数是否大于或等于阈值(S114)。当检测出的像素组的像素数不大于或等于阈值时，UAV控制部30重复步骤S110之后的处理。
另一方面，当检测出的像素组的像素数大于或等于阈值时，检测部35检测出由该像素组构成的图像内区域作为活动体(S116)。
如上所述，根据本实施方式，检测部35可以从光流的移动矢量中，指定与UAV10的运动引起的移动矢量的大小及方向中的至少一个不同的移动矢量，以此从多个图像内的被摄体中检测出所期望的大小的活动体。因此，无需预先指定活动体的运动，就能够从摄像装置100所拍摄的图像内的被摄体中高精度地检测活动体。
另外，根据上述处理过程，描述了通过固定万向节50来固定摄像装置100的摄像方向的示例。然而，在不固定万向节50的情况下，检测部35可以通过考虑摄像装置100的摄像方向来检测活动体。在这种情况下，检测部35可以检测出像素组，该像素组具有在光流的移动矢量中与基于UAV10的移动方向及摄像装置100的移动方向而推测的移动矢量的大小及方向中的至少一个不同的移动矢量。
图6示出了可全部或部分地体现本发明的多个方式的计算机1200的一个示例。安装在计算机1200上的程序能够使计算机1200作为与本发明的实施方式所涉及的装置相关联的操作或者该装置的一个或多个“部”而起作用。或者，该程序能够使计算机1200执行该操作或者该一个或多个“部”。该程序能够使计算机1200执行本发明的实施方式所涉及的过程或者该过程的阶段。这种程序可以由CPU 1212执行，以使计算机1200执行与本说明书所述的流程图及框图中的一些或者全部方框相关联的特定操作。
本实施方式的计算机1200包括CPU 1212及RAM 1214，它们通过主机控制器1210相互连接。计算机1200还包括通信接口1222、输入/输出单元，它们通过输入/输出控制器1220与主机控制器1210连接。计算机1200还包括ROM 1230。CPU 1212按照ROM 1230及RAM 1214内储存的程序而动作，从而控制各单元。
通信接口1222通过网络与其它电子设备通信。硬盘驱动器可以储存计算机1200内的CPU 1212所使用的程序及数据。ROM 1230在其中储存运行时由计算机1200执行的引导程序等、和/或依赖于计算机1200的硬件的程序。程序通过CR-ROM、USB存储器或IC卡之类的计算机可读记录介质或者网络来提供。程序安装在也作为计算机可读记录介质的示例的RAM1214或ROM 1230中，并通过CPU 1212执行。这些程序中记述的信息处理由计算机1200读取，并引发程序与上述各种类型的硬件资源之间的协作。可以通过根据可随着计算机1200的使用而实现信息的操作或者处理来构成装置或方法。
例如，在计算机1200与外部设备之间执行通信时，CPU 1212可以执行加载在RAM1214中的通信程序，并基于通信程序所记述的处理，指令通信接口1222进行通信处理。通信接口1222在CPU1212的控制下，读取储存在RAM1214或USB存储器之类的记录介质内提供的发送缓冲区中的发送数据，并将读取的发送数据发送到网络，或者将从网络接收的接收数据写入记录介质内提供的接收缓冲区等中。
此外，CPU 1212可以使RAM1214读取USB存储器等外部记录介质所储存的文件或数据库的全部或者需要的部分，并对RAM 1214上的数据执行各种类型的处理。接着，CPU 1212可以将处理过的数据写回到外部记录介质中。
可以将各种类型的程序、数据、表格及数据库之类的各种类型的信息储存在记录介质中，并接收信息处理。对于从RAM 1214读取的数据，CPU 1212可执行在本公开的各处描述的、包括由程序的指令序列指定的各种类型的操作、信息处理、条件判断、条件转移、无条件转移、信息的检索/替换等各种类型的处理，并将结果写回到RAM 1214中。此外，CPU 1212可以检索记录介质内的文件、数据库等中的信息。例如，在记录介质中储存具有分别与第二属性的属性值相关联的第一属性的属性值的多个条目时，CPU 1212可以从该多个条目中检索出与指定第一属性的属性值的条件相匹配的条目，并读取该条目内储存的第二属性的属性值，从而获取与满足预定条件的第一属性相关联的第二属性的属性值。
以上描述的程序或者软件模块可以储存在计算机1200上或者计算机1200附近的计算机可读存储介质上。此外，与专用通信网络或者互联网连接的服务器系统内提供的硬盘或RAM之类的记录介质可以用作计算机可读存储介质，从而通过网络将程序提供给计算机1200。
应该注意的是，权利要求书、说明书以及说明书附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等各项处理的执行顺序，只要没有特别明示“在...之前”、“事先”等，且只要前面处理的输出并不用在后面的处理中，则可以任意顺序实现。关于权利要求书、说明书以及说明书附图中的操作流程，为方便起见而使用“首先”、“接着”等进行了说明，但并不意味着必须按照这样的顺序实施。
以上使用实施方式对本发明进行了说明，但是本发明的技术范围并不限于上述实施方式所描述的范围。对本领域普通技术人员来说，显然可对上述实施方式加以各种变更或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。

Claims (13)

1.一种活动体检测装置，其特征在于，具备：获取部，其获取搭载于移动体上的摄像装置所拍摄的多个图像；
第一指定部，其基于所述多个图像来指定被摄体的运动；
第二指定部，其指定所述移动体的运动；以及
检测部，其基于所述被摄体的运动及所述移动体的运动，从所述多个图像内的被摄体中检测活动体。
2.如权利要求1所述的活动体检测装置，其还具备：第三指定部，其指定从所述摄像装置到所述被摄体的距离；
所述第一指定部基于所述多个图像及到所述被摄体的距离来指定所述被摄体的运动。
3.如权利要求2所述的活动体检测装置，其还具备：设定部，其设定待检测活动体的大小条件；
所述检测部基于所述被摄体的运动及所述移动体的运动，从所述多个图像内的被摄体中，检测出满足所述待检测活动体的大小条件的被摄体作为所述活动体。
4.如权利要求3所述的活动体检测装置，其还具备：接收部，其接收待检测活动体相对于所述摄像装置所拍摄的图像的大小；
所述设定部基于待检测活动体相对于所述摄像装置所拍摄的图像的大小，来设定所述待检测活动体的大小条件。
5.如权利要求3所述的活动体检测装置，其还具备：接收部，其接收待检测活动体的实际大小；
所述设定部基于所述待检测活动体的实际大小，来设定所述待检测活动体的大小条件。
6.如权利要求3所述的活动体检测装置，其还具备：接收部，其接收待检测活动体相对于所述摄像装置所拍摄的图像的大小、或待检测活动体的实际大小；
所述设定部基于由所述接收部接收到的、待检测活动体相对于所述摄像装置所拍摄的图像的大小、或待检测活动体的实际大小，来设定所述待检测活动体的大小条件。
7.如权利要求1所述的活动体检测装置，其中，所述移动体上搭载有可旋转地支撑所述摄像装置的支撑机构，
所述活动体检测装置可以具备第四指定部，其指定所述摄像装置相对于所述支撑机构的运动，
所述检测部基于所述被摄体的运动、所述移动体的运动及所述摄像装置的运动，从所述多个图像内的被摄体中检测活动体。
8.一种控制装置，其特征在于，具备：如权利要求1至7中任一项所述的活动体检测装置；以及
第一控制部，其基于由所述活动体检测装置检测出的所述活动体检测结果来控制所述摄像装置的摄像条件。
9.如权利要求8所述的控制装置，其中，所述摄像条件包括曝光、对焦位置及白平衡中的至少一个条件。
10.一种移动体，其特征在于，具备：如权利要求8所述的控制装置及所述摄像装置。
11.如权利要求10所述的移动体，其中，所述移动体是飞行体，
还具备第二控制部，其基于由所述活动体检测装置检测出的所述活动体检测结果，控制所述飞行体的飞行以跟踪所述活动体。
12.如权利要求11所述的移动体，其中，所述第二控制部控制所述飞行体的飞行，以使从所述摄像装置到最远被摄体的距离保持在预定距离以内。
13.一种活动体检测方法，包括：获取搭载于移动体上的摄像装置所拍摄的多个图像的阶段；
基于所述多个图像来指定被摄体的运动的阶段；
指定所述移动体的运动的阶段；以及
基于所述被摄体的运动及所述移动体的运动，从所述多个图像内的被摄体中检测活动体的阶段。
CN201880014365.6A 2018-03-14 2018-12-18 活动体检测装置、控制装置、移动体、活动体检测方法及程序 Pending CN110392891A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018046807A JP6587006B2 (ja) 2018-03-14 2018-03-14 動体検出装置、制御装置、移動体、動体検出方法、及びプログラム
JP2018-046807 2018-03-14
PCT/CN2018/121799 WO2019174343A1 (zh) 2018-03-14 2018-12-18 活动体检测装置、控制装置、移动体、活动体检测方法及程序

Publications (1)

Publication Number Publication Date
CN110392891A true CN110392891A (zh) 2019-10-29

Family

ID=67907471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880014365.6A Pending CN110392891A (zh) 2018-03-14 2018-12-18 活动体检测装置、控制装置、移动体、活动体检测方法及程序

Country Status (4)

Country Link
US (1) US20200410219A1 (zh)
JP (1) JP6587006B2 (zh)
CN (1) CN110392891A (zh)
WO (1) WO2019174343A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131721B (zh) * 2019-12-30 2022-04-15 深圳市道通智能航空技术股份有限公司 图像曝光方法及装置、无人机
WO2024069789A1 (ja) * 2022-09-28 2024-04-04 株式会社RedDotDroneJapan 空中撮影システム、空中撮影方法および空中撮影プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060014447A1 (en) * 2004-07-15 2006-01-19 Takashi Okuyama Control device for outboard motors
US20060140447A1 (en) * 2004-12-28 2006-06-29 Samsung Electronics Co., Ltd. Vehicle-monitoring device and method using optical flow
WO2009005025A1 (ja) * 2007-07-03 2009-01-08 Konica Minolta Holdings, Inc. 移動物体検出装置
JP2012146146A (ja) * 2011-01-12 2012-08-02 Denso It Laboratory Inc 移動物体検出装置
CN102741884A (zh) * 2010-07-27 2012-10-17 松下电器产业株式会社 移动体检测装置及移动体检测方法
CN104853104A (zh) * 2015-06-01 2015-08-19 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统
CN105955308A (zh) * 2016-05-20 2016-09-21 腾讯科技（深圳）有限公司 一种飞行器的控制方法和装置
CN106774436A (zh) * 2017-02-27 2017-05-31 南京航空航天大学 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008066953A (ja) * 2006-09-06 2008-03-21 Sanyo Electric Co Ltd 画像監視装置
JP4760918B2 (ja) * 2009-01-23 2011-08-31 カシオ計算機株式会社 撮像装置、被写体追従方法、及びプログラム
JP2013074572A (ja) * 2011-09-29 2013-04-22 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP6107844B2 (ja) * 2015-01-28 2017-04-05 カシオ計算機株式会社 検出装置、検出制御方法、及びプログラム
JP6384803B2 (ja) * 2015-03-26 2018-09-05 パナソニックＩｐマネジメント株式会社 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
CN107710727B (zh) * 2015-06-30 2020-03-24 富士胶片株式会社 移动式摄像装置及移动式摄像方法
JP6988146B2 (ja) * 2016-05-25 2022-01-05 ソニーグループ株式会社 演算処理装置及び演算処理方法
JP6738059B2 (ja) * 2016-07-12 2020-08-12 株式会社自律制御システム研究所 表示装置、探索システム、表示方法、およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060014447A1 (en) * 2004-07-15 2006-01-19 Takashi Okuyama Control device for outboard motors
US20060140447A1 (en) * 2004-12-28 2006-06-29 Samsung Electronics Co., Ltd. Vehicle-monitoring device and method using optical flow
WO2009005025A1 (ja) * 2007-07-03 2009-01-08 Konica Minolta Holdings, Inc. 移動物体検出装置
CN102741884A (zh) * 2010-07-27 2012-10-17 松下电器产业株式会社 移动体检测装置及移动体检测方法
JP2012146146A (ja) * 2011-01-12 2012-08-02 Denso It Laboratory Inc 移動物体検出装置
CN104853104A (zh) * 2015-06-01 2015-08-19 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统
CN105955308A (zh) * 2016-05-20 2016-09-21 腾讯科技（深圳）有限公司 一种飞行器的控制方法和装置
CN106774436A (zh) * 2017-02-27 2017-05-31 南京航空航天大学 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法

Also Published As

Publication number Publication date
WO2019174343A1 (zh) 2019-09-19
US20200410219A1 (en) 2020-12-31
JP2019161486A (ja) 2019-09-19
JP6587006B2 (ja) 2019-10-09

Similar Documents

Publication Publication Date Title
JP6496955B1 (ja) 制御装置、システム、制御方法、及びプログラム
CN111567032B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
CN111356954B (zh) 控制装置、移动体、控制方法以及程序
JP6630939B2 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
CN110392891A (zh) 活动体检测装置、控制装置、移动体、活动体检测方法及程序
CN110337609A (zh) 控制装置、镜头装置、摄像装置、飞行体以及控制方法
JP2020085918A (ja) 決定装置、撮像装置、撮像システム、移動体、決定方法、及びプログラム
JP2019220834A (ja) 無人航空機、制御方法、及びプログラム
JP2019096965A (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
CN111357271B (zh) 控制装置、移动体、控制方法
CN111602385B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
CN110785997B (zh) 控制装置、摄像装置、移动体以及控制方法
JP6714802B2 (ja) 制御装置、飛行体、制御方法、及びプログラム
JP6651693B2 (ja) 制御装置、移動体、制御方法、及びプログラム
JP6543859B1 (ja) 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
CN110382359A (zh) 控制装置、摄像装置、飞行体、控制方法以及程序
JP6696094B2 (ja) 移動体、制御方法、及びプログラム
JP6459012B1 (ja) 制御装置、撮像装置、飛行体、制御方法、及びプログラム
JP6710863B2 (ja) 飛行体、制御方法、及びプログラム
JP6746856B2 (ja) 制御装置、撮像システム、移動体、制御方法、及びプログラム
JP2021128208A (ja) 制御装置、撮像システム、移動体、制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191029

WD01 Invention patent application deemed withdrawn after publication