CN111742348B - 图像处理装置、飞行体及程序 - Google Patents

图像处理装置、飞行体及程序 Download PDF

Info

Publication number
CN111742348B
CN111742348B CN201980013537.2A CN201980013537A CN111742348B CN 111742348 B CN111742348 B CN 111742348B CN 201980013537 A CN201980013537 A CN 201980013537A CN 111742348 B CN111742348 B CN 111742348B
Authority
CN
China
Prior art keywords
image
flying object
camera
height
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980013537.2A
Other languages
English (en)
Other versions
CN111742348A (zh
Inventor
田近明彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Publication of CN111742348A publication Critical patent/CN111742348A/zh
Application granted granted Critical
Publication of CN111742348B publication Critical patent/CN111742348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H04B7/18508—Communications with or from aircraft, i.e. aeronautical mobile service with satellite system used as relay, i.e. aeronautical mobile satellite service
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H11/00—Defence installations; Defence devices
    • F41H11/02—Anti-aircraft or anti-guided missile or anti-torpedo defence installations or systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0008—Transmission of traffic-related information to or from an aircraft with other aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0082—Surveillance aids for monitoring traffic from a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请提供一种图像处理装置，具有：图像获取部，获取第一图像和第二图像，第一图像包括作为被摄体的通过第一相机所拍摄的第一区域，所述第一相机拍摄自第一高度到比第一高度低的高度的方向，第二图像包括作为被摄体的通过第二相机所拍摄的第一区域，所述第二相机拍摄自第二高度到比第二高度低的高度的方向；飞行物体检测部，根据第一图像内的第一区域与第二图像内的第一区域的差量，检测比第一高度及第二高度低的高度的飞行物体。

Description

图像处理装置、飞行体及程序
技术领域
本发明涉及图像处理装置、飞行体及程序。
背景技术
已知有检测飞入监视区域内的飞行物体的飞行物体监视系统(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2017-167870号公报
期望提供可以适当检测可疑飞行物体的技术。
发明内容
根据本发明的第一方式，提供一种图像处理装置。图像处理装置可以具有获取第一图像和第二图像的图像获取部，第一图像包括作为被摄体的通过第一相机所拍摄的第一区域，第一相机拍摄自第一高度到比第一高度低的高度的方向，第二图像包括作为被摄体的通过第二相机所拍摄的第一区域，第二相机拍摄自第二高度到比第二高度低的高度的方向。图像处理装置可以具有飞行物体检测部，根据第一图像内的第一区域与第二图像内的第一区域的差量，检测比第一高度及第二高度低的高度的飞行物体。
所述第一相机可以被配置在飞行体的翅翼的一端，所述第二相机可以被配置在所述飞行体的翅翼的另一端。所述第一相机可以被配置在飞行体的前端，所述第二相机可以被配置在所述飞行体的后端。
所述第一相机可以搭载于第一飞行体，所述第二相机可以搭载于与所述第一飞行体不同的第二飞行体。所述图像处理装置还可以具有：估计高度获取部，获取所述飞行物体的估计高度；调整控制部，根据所述估计高度调整所述第一飞行体和所述第二飞行体之间的距离。
所述第一图像的摄影时间和所述第二图像的摄影时间可以相同。所述图像获取部可以获取在通过所述第一相机进行拍摄之后被实施了倾斜校正的所述第一图像、和在通过所述第二相机进行拍摄之后被实施了倾斜校正的所述第二图像。所述图像处理装置还可以具有地图数据参照部，所述地图数据参照部参照包括地形及建筑物的信息的地图数据，所述飞行物体检测部可以根据所述第一图像内的所述第一区域与所述第二图像内的所述第一区域的差量、和所述地图数据中与所述第一区域对应的范围内的地形及建筑物的信息，检测所述飞行物体。所述图像处理装置还可以具有物体识别部，所述物体识别部根据通过所述第一相机所拍摄的图像及通过所述第二相机所拍摄的图像中的至少一方识别所述飞行物体。所述物体识别部可以识别所述飞行物体是否是鸟类。所述图像处理装置还可以具有飞行信息导出部，所述飞行信息导出部根据通过所述第一相机所拍摄的图像及通过所述第二相机所拍摄的图像中的至少一方，导出所述飞行物体的飞行速度、飞行方向及预测飞行路径中的至少一方。所述图像处理装置还可以具有高度导出部，根据从所述第一相机到所述飞行物体的距离及所述第一高度导出所述飞行物体的高度。所述图像处理装置还可以具有警告输出部，所述警告输出部根据所述飞行物体检测部检测出所述飞行物体而输出警告。所述图像处理装置可以搭载于飞行体，所述警告输出部可以根据所述飞行物体检测部检测出所述飞行物体，通过通信卫星向地面上的通信设备发送所述警告。所述图像处理装置可以搭载于飞行体，所述图像处理装置还可以具有与通信卫星进行通信的卫星通信部。
根据本发明的第二方式，提供使计算机作为所述图像处理装置发挥作用的程序。
根据本发明的第三方式，提供具有所述第一相机、所述第二相机和所述图像处理装置的飞行体。
另外，上述的发明的概要并非列举了本发明的必要的全部特征。并且，这些特征组的子组合也可以成为发明。
附图说明
图1是说明图像处理装置100的图像处理的说明图。
图2概略地表示飞行体200的一例。
图3概略地表示飞行体200的硬件结构的一例。
图4概略地表示飞行体200的处理的流程的一例。
图5概略地表示飞行体200的功能结构的一例。
图6概略地表示飞行体400及飞行体500的一例。
图7概略地表示飞行体400、飞行体500及地面站300的硬件结构的一例。
图8概略地表示地面站300的处理的流程的一例。
图9概略地表示地面站300的功能结构的一例。
图10是说明针对飞行体400及飞行体500的图像430及图像530的倾斜校正的说明图。
图11是说明飞行物体800的检测精度的说明图。
图12概略地表示飞行体200的通信环境的一例。
图13概略地表示飞行体400及飞行体500的通信环境的一例。
具体实施方式
下面，通过发明的实施方式来说明本发明，但下面的实施方式不能限定有关权利要求书的发明。并且，在实施方式中所说明的特征的组合未必全部是发明的解决方案所必须的。
图1是说明图像处理装置100的图像处理的说明图。图像处理装置100从相机10获取通过相机10所拍摄的图像14，相机10拍摄自第一高度到比第一高度低的高度的方向。图像处理装置100可以通过有线连接从相机10接收图像14。并且，图像处理装置100可以通过无线连接从相机10接收图像14。图像处理装置100可以通过任意的网络从相机10接收图像14。第一高度可以是相机10的高度。相机10例如是搭载于飞行体并拍摄地上状况的相机。相机10可以是被配置在高层建筑物的上层例如最顶层并拍摄地上状况的相机。相机10可以是可见光相机。相机10可以是红外线相机。相机10可以是多谱相机。相机10可以是所谓雷达。
另外，图像处理装置100从相机20获取通过相机20所拍摄的图像24，相机20拍摄自第二高度到比第二高度低的高度的方向。图像处理装置100可以通过有线连接从相机20接收图像24。并且，图像处理装置100可以通过无线连接从相机20接收图像24。图像处理装置100可以通过任意的网络从相机20接收图像24。第二高度可以是相机20的高度。相机20例如是搭载于飞行体并拍摄地上状况的相机。相机20可以是被配置在高层建筑物的上层例如最顶层并拍摄地上状况的相机。相机20可以是可见光相机。相机20可以是红外线相机。相机20可以是多谱相机。相机20可以是所谓雷达。
图像处理装置100使用包括作为被摄体的第一区域的图像14和包括作为被摄体的第一区域的图像24，检测比第一高度及第二高度低的高度的飞行物体。在图像14的摄像范围12和图像24的摄像范围22相同的情况下，第一区域可以是图像14及图像24的整体。在图像14的摄像范围12和图像24的摄像范围22偏离的情况下，第一区域可以是图像14及图像24中所共同包含的区域。
相机10和相机20沿水平方向离开距离，图像14及图像24中所包含的被摄体中越是位于更高的高度的被摄体，在图像14内的位置和在图像24内的位置越不同。在图1中，飞行物体40的高度比其他被摄体高，图像14内的飞行物体16的位置和图像24内的飞行物体26的位置偏离。
图像处理装置100根据图像14内的第一区域与图像24内的第一区域的差量检测飞行物体。例如，图像处理装置100按照图1示例的那样生成图像14和图像24的差量图像30，在判定为作为差量而抽取的飞行物体16和飞行物体26是同一物体的情况下，将飞行物体16及飞行物体26检测为一个飞行物体。图像14和图像24的摄像时间可以相同。
图像处理装置100可以根据图像14内的第一区域与图像24内的第一区域的差量、和包括地形及建筑物的信息的地图数据中与第一区域对应的范围内的地形及建筑物的信息，检测飞行物体。图像14及图像24的被摄体中除飞行物体16及飞行物体26以外的、高度比较高的高层建筑物及山等被检测为差量，但图像处理装置100可以将被检测为差量的对象物中、被包含于地图数据中的高层建筑物及山等去除。由此，能够提高飞行物体16及飞行物体26的检测精度。
图像处理装置100可以根据通过相机10所拍摄的图像及通过相机20所拍摄的图像中的至少一方识别飞行物体。图像处理装置100可以根据飞行物体的形状及飞行物体的移动中的至少一方识别飞行物体。图像处理装置100例如识别飞行物体是否是无人驾驶飞机等无人机。并且，例如图像处理装置100识别飞行物体是否是鸟类。在飞行物体是鸟类、相机10及相机20是红外线相机及超谱相机的情况下，图像处理装置100可以根据图像14及图像24中的至少一方识别鸟的种类。
图像处理装置100可以根据通过相机10所拍摄的图像及通过相机20所拍摄的图像中的至少一方，导出飞行物体的飞行速度、飞行方向及预测飞行路径中的至少一方。例如，图像处理装置100根据在时间上连续的图像导出飞行物体的飞行速度及飞行方向。并且，例如，图像处理装置100根据所导出的飞行速度及飞行方向导出预测飞行路径。
图2概略地表示飞行体200的一例。飞行体200可以作为图像处理装置100发挥作用。飞行体200具有相机210及相机220。相机210被配置在飞行体200的翅翼的一端，相机220被配置在飞行体200的翅翼的另一端。相机210及相机220可以是相机10及相机20的一例。图2所示的飞行体200是具有螺旋桨、太阳能电池面板、电池及天线的平流层平台。在图2中，以飞行体200是平流层平台的情况为例进行说明，但不限于此，飞行体200也可以是飞机、无人机及气球等。在飞行体200具有前后较长的形状的情况下，也可以是，相机210被配置在飞行体200的前端，相机220被配置在飞行体200的后端。
飞行体200通过地面站300与网络80进行通信。网络80例如包括因特网及移动电话网。
飞行体200根据通过相机210及相机220拍摄的图像检测飞行物体。飞行体200在检测出飞行物体的情况下，可以通过地面站300及网络80向任意的通信设备发送警告。飞行体200还可以向该通信设备发送飞行物体的图像、飞行物体的飞行速度、飞行方向及预测飞行路径等。
图3概略地表示飞行体200的硬件结构的一例。飞行体200具有飞行控制CPU(Central Processing Unit，中央处理单元)202、通信装置204、天线205、DB(Data Base，数据库)206、相机210、相机220及图像处理CPU230。飞行控制CPU202、通信装置204、DB206、图像处理CPU230通过数据总线208进行连接。
飞行控制CPU202控制飞行体200的飞行。通信装置204通过天线205执行通信。通信装置204例如通过天线205与地面站300进行通信。
DB206存储各种处理。DB206例如存储包括地形及建筑物的信息的地图数据。DB206例如存储通信装置204通过地面站300及网络80从任意的通信设备接收到的地图数据。DB206可以存储通过相机210所拍摄的图像。DB206可以存储通过相机220所拍摄的图像。
图像处理CPU230对相机210拍摄的图像及相机220拍摄的图像进行处理。图像处理CPU230根据相机210所拍摄的图像内的第一区域与相机220所拍摄的图像内的第一区域的差量，检测高度比飞行体200低的飞行物体。
图4概略地表示飞行体200的处理的流程的一例。飞行体200例如定期执行图4所示的处理。飞行体200还可以根据从地面站300接收到指示，执行图4所示的处理。
在步骤(有时将步骤简略记述为S)102中，相机210及相机220拍摄图像。在S104中，图像处理CPU230对通过相机210及相机220所拍摄的图像进行校正。图像处理CPU230例如对图像实施倾斜校正。
在S106中，图像处理CPU230比照在S104中进行校正后的图像。图像处理CPU230参照在DB206中存储的地图数据，从比照过的图像中去除已知的建筑物及山等。
在S108中，图像处理CPU230判定在图像内是否存在可疑飞行物体。在判定为有的情况下，进入S110，在判定为无的情况下，进入S112。在S110中，图像处理CPU230使通信装置204通过地面站300及网络80向预先设定的设备发出警报，并且发送可疑飞行物体的图像。
在S112中，判定是否结束处理。在判定为不结束的情况下，返回到S102，在判定为结束的情况下，结束处理。
图5概略地表示图像处理CPU230的功能结构的一例。图像处理CPU230具有图像获取部232、飞行物体检测部234、地图数据参照部236、物体识别部238、飞行信息导出部240、高度导出部242及发送控制部244。
图像获取部232获取由相机210拍摄的图像。图像获取部232获取由相机220拍摄的图像。
飞行物体检测部234根据图像获取部232获取的图像检测飞行物体。地图数据参照部236参照在DB206中存储的地图数据。也可以是，飞行物体检测部234根据图像获取部232获取的图像和地图数据参照部236参照的地图数据检测飞行物体。
物体识别部238根据图像获取部232获取的通过相机210及相机220所拍摄的图像，识别由飞行物体检测部234检测的飞行物体。物体识别部238例如判定飞行物体是否是无人机。物体识别部238还可以识别飞行物体是否是鸟类。
飞行信息导出部240根据图像获取部232获取的通过相机210及相机220所拍摄的图像，导出由飞行物体检测部234检测的飞行物体的飞行速度、飞行方向及预测飞行路径中的至少一方。
高度导出部242导出由飞行物体检测部234检测的飞行物体的高度。高度导出部242例如根据从相机210到飞行物体的距离和相机210的高度，导出飞行物体的高度。高度导出部242例如将通过飞行体200具有的高度计测定的高度作为相机210的高度。并且，高度导出部242例如对通过相机210所拍摄的图像和通过相机220所拍摄的图像适用采用了三角测量的方法等公知的方法，导出相机210和飞行物体的距离。并且，高度导出部242由相机210的高度减去相机210和飞行物体的距离，由此导出飞行物体的高度。
发送控制部244使通信装置204发送各种信息。发送控制部244例如在飞行物体检测部234检测出飞行物体的情况下，使通信装置204对预先设定的通信设备发送警告信息。发送控制部244可以是警告输出部的一例。发送控制部244可以使通信装置204发送物体识别部238的识别结果。发送控制部244可以使通信装置204发送通过飞行信息导出部240所导出的信息。发送控制部244可以使通信装置204发送通过高度导出部242所导出的高度。
另外，在图2～图5中列举飞行体200作为图像处理装置100发挥作用的例子进行了说明，但不限于此。例如也可以是，地面站300作为图像处理装置100发挥作用。在这种情况下，地面站300从飞行体200接收通过相机210及相机220所拍摄的图像，根据接收到的图像检测飞行物体。另外，例如也可以是，与网络80连接的通信设备作为图像处理装置100发挥作用。在这种情况下，该通信设备通过飞行体200、地面站300及网络80接收通过相机210及相机220所拍摄的图像，根据接收到的图像检测飞行物体。
图6概略地表示飞行体400及飞行体500的一例。飞行体400具有相机410。相机410是相机10的一例。飞行体500具有相机510。相机510是相机20的一例。图6所示的飞行体400及飞行体500是平流层平台。在图6中，以飞行体400及飞行体500是平流层平台的情况为例进行说明，但不限于此，飞行体400及飞行体500也可以是飞机、无人机及气球等。
飞行体400通过地面站300与网络80进行通信。飞行体500通过地面站600与网络80进行通信。地面站300还可以作为图像处理装置发挥作用。
地面站300从飞行体400接收通过相机410所拍摄的图像。并且，地面站300通过飞行体500、地面站600及网络80接收通过相机510所拍摄的图像。地面站300根据通过相机410所拍摄的图像和通过相机510所拍摄的图像检测飞行物体。地面站300在检测出飞行物体的情况下，可以通过网络80向任意的通信设备发送警告。地面站300还可以向该通信设备发送飞行物体的图像、飞行物体的飞行速度、飞行方向及预测飞行路径等。
图7概略地表示飞行体400、飞行体500及地面站300的硬件结构的一例。飞行体400具有飞行控制CPU402、通信装置404、天线405、相机410及图像处理CPU420。飞行控制CPU402、通信装置404及图像处理CPU420通过数据总线408进行连接。
飞行控制CPU402控制飞行体400的飞行。通信装置404通过天线405执行通信。通信装置404例如通过天线405与地面站300进行通信。
图像处理CPU420对相机410拍摄的图像进行处理。图像处理CPU420例如使通信装置404对地面站300发送相机410拍摄的图像。也可以是，图像处理CPU420对相机410拍摄的图像实施倾斜校正。
飞行体500具有飞行控制CPU502、通信装置504、天线505、相机510及图像处理CPU520。飞行控制CPU502、通信装置504及图像处理CPU520通过数据总线508进行连接。
飞行控制CPU502控制飞行体500的飞行。通信装置504通过天线505执行通信。通信装置504例如通过天线505与地面站600进行通信。
图像处理CPU520对相机510拍摄的图像进行处理。图像处理CPU520例如使通信装置504对地面站600发送相机510拍摄的图像。也可以是，图像处理CPU520对相机510拍摄的图像实施倾斜校正。
地面站300具有因特网连接部302、通信装置304、天线305、DB306及图像处理CPU308。因特网连接部302、通信装置304、DB306及图像处理CPU308通过数据总线309进行连接。
因特网连接部302与网络80连接，与因特网上的通信设备进行通信。通信装置304通过天线305执行通信。通信装置304例如通过天线305与飞行体400进行通信。
DB306存储各种数据。DB306例如存储包括地形及建筑物的信息的地图数据。DB306例如存储因特网连接部302通过网络80从任意的通信设备接收到的地图数据。DB306还可以存储通信装置304从飞行体400接收到的相机410的拍摄图像。DB306还可以存储因特网连接部302通过网络80及地面站600从飞行体500接收到的相机510的拍摄图像。
图像处理CPU308对相机410的拍摄图像及相机510的拍摄图像进行处理。图像处理CPU308根据相机410的拍摄图像内的第一区域与相机510的拍摄图像内的第一区域的差量，检测高度比飞行体400及飞行体500低的飞行物体。
图8概略地表示地面站300的处理的流程的一例。地面站300例如定期执行图8所示的处理。
在S202中，接收通过飞行体400及飞行体500所拍摄的图像。在S204中，图像处理CPU308对在S202中接收到的图像进行校正。图像处理CPU308例如对图像实施倾斜校正。
在S206中，图像处理CPU308比照在S204中进行校正后的图像。图像处理CPU308参照在DB306中存储的地图数据，由比照过的图像中去除已知的建筑物及山等。
在S208中，图像处理CPU308判定在图像内是否存在可疑飞行物体。在判定为有的情况下，进入S210，在判定为无的情况下，进入S212。在S210中，图像处理CPU308使通信装置304通过网络80向预先设定的设备发出警报，并且发送可疑飞行物体的图像。
在S212中，判定是否结束处理。在判定为不结束的情况下，返回到S202，在判定为结束的情况下，结束处理。
图9概略地表示图像处理CPU308的功能结构的一例。图像处理CPU308具有图像获取部332、飞行物体检测部334、地图数据参照部336、物体识别部338、飞行信息导出部340、高度导出部342、发送控制部344、估计高度获取部352及调整控制部354。
图像获取部332获取由相机410拍摄的图像。图像获取部332获取由相机510拍摄的图像。
飞行物体检测部334根据图像获取部332获取的图像检测飞行物体。地图数据参照部336参照在DB306中存储的地图数据。也可以是，飞行物体检测部334根据图像获取部332获取的图像和地图数据参照部336参照的地图数据检测飞行物体。
物体识别部338根据图像获取部332获取的通过相机410及相机510所拍摄的图像，识别由飞行物体检测部334检测的飞行物体。物体识别部338例如判定飞行物体是否是无人机。物体识别部338还可以识别飞行物体是否是鸟类。
飞行信息导出部340根据图像获取部332获取的通过相机210及相机220所拍摄的图像，导出由飞行物体检测部334检测的飞行物体的飞行速度、飞行方向及预测飞行路径中的至少一方。
高度导出部342导出由飞行物体检测部334检测的飞行物体的高度。高度导出部342例如根据从相机410到飞行物体的距离和相机410的高度，导出飞行物体的高度。高度导出部342例如将通过飞行体400具有的高度计测定的高度作为相机410的高度。并且，高度导出部342例如对通过相机410所拍摄的图像和通过相机510所拍摄的图像适用采用了三角测量的方法等公知的方法，导出相机410和飞行物体的距离。并且，高度导出部342由相机410的高度减去相机410和飞行物体的距离，由此导出飞行物体的高度。
发送控制部344使通信装置304发送各种信息。发送控制部344例如在飞行物体检测部334检测出飞行物体的情况下，使通信装置304对预先设定的通信设备发送警告信息。发送控制部344可以使通信装置304发送物体识别部338的识别结果。发送控制部344可以使通信装置304发送通过飞行信息导出部340所导出的信息。发送控制部344可以使通信装置304发送通过高度导出部342所导出的高度。
另外，在图6～图8中列举地面站300作为图像处理装置100发挥作用的例子进行了说明，但不限于此。例如也可以是，地面站600作为图像处理装置100发挥作用。在这种情况下，地面站600通过从地面站300及网络80从飞行体400接收通过相机410所拍摄的图像，并从飞行体500接收通过相机510所拍摄的图像，根据接收到的图像检测飞行物体。另外，例如也可以是，与网络80连接的通信设备作为图像处理装置100发挥作用。在这种情况下，该通信设备通过地面站300及网络80接收通过相机410所拍摄的图像，并通过地面站600及网络80接收通过相机510所拍摄的图像，根据接收到的图像检测飞行物体。
估计高度获取部352获取飞行物体的估计高度。估计高度获取部352例如从网络80上的通信设备获取飞行物体的估计高度。估计高度例如是指检测对象的飞行物体的平均高度。
调整控制部354根据估计高度获取部352获取的估计高度，使调整飞行体400和飞行体500之间的距离。调整控制部354例如使通信装置304对飞行体400发送飞行体400的飞行控制数据，并使因特网连接部302对飞行体500发送飞行体500的飞行控制数据，以调整飞行体400和飞行体500之间的距离。
估计高度获取部352还可以获取飞行物体的估计位置，在这种情况下，调整控制部354根据估计高度及估计位置使调整飞行体400和飞行体500之间的距离、飞行体400的高度及飞行体500的高度。
图10是说明针对飞行体400及飞行体500的图像430及图像530的倾斜校正的说明图。对图像430的倾斜校正也可以通过飞行体400来执行。另外，在地面站300作为图像处理装置发挥作用的情况下，对图像430的倾斜校正还可以通过地面站300来执行。此外，在网络80上的通信设备作为图像处理装置发挥作用的情况下，对图像430的倾斜校正还可以通过该通信设备来执行。
对图像530的倾斜校正也可以通过飞行体500来执行。另外，在地面站600作为图像处理装置发挥作用的情况下，对图像530的倾斜校正还可以通过地面站600来执行。此外，在网络80上的通信设备作为图像处理装置发挥作用的情况下，对图像530的倾斜校正还可以通过该通信设备来执行。
也可以通过图像处理装置100对图像430进行倾斜校正后得到的校正图像432和对图像530进行倾斜校正后得到的校正图像532来进行比照。
图11是说明飞行物体800的检测精度的说明图。在此，以下述情况为例进行说明，相机410及相机510的拍摄图像的总像素数是1亿像素，纵像素数是1万像素，横像素数是1万像素，相机410及相机510的拍摄范围是1km见方，相机410和相机510的距离710是2km，相机410和相机510的高度是20km，作为对象的飞行物体800的无人机的地面高度是10m。
在这种情况下，1像素尺寸达到0.1m。由于无人机是上下相似的形状，因而高度730/高度720＝距离740/距离710，距离740达到1m，偏离像素数为10像素。
如图11所示，例如在以高度20km飞行的飞行体400及飞行体500从远离2km的位置进行拍摄的情况下，从理论上讲可以检测地面高度10m的无人机。
在上述实施方式中，主要列举飞行体200通过地面站300与网络80进行通信的例子进行了说明，但不限于此。也可以是，飞行体200执行卫星通信。
图12概略地表示飞行体200的通信环境的一例。在此，主要说明与图2不同的部分。
飞行体200具有未图示的卫星通信部，在与通讯卫星900之间进行卫星通信。也可以是，飞行体200通过通讯卫星900与网络80进行通信。通讯卫星900例如通过地面站910对飞行体200和网络80之间的通信进行中继。
也可以是，飞行体200在检测出飞行物体的情况下，通过通讯卫星900、地面站910及网络80向任意的通信设备发送警告。飞行体200还可以向该通信设备发送飞行物体的图像、飞行物体的飞行速度、飞行方向及预测飞行路径等。
图13概略地表示飞行体400及飞行体500的通信环境的一例。在此，主要说明与图6不同的部分。
飞行体400具有未图示的卫星通信部，在与通讯卫星900之间进行卫星通信。也可以是，飞行体400通过通讯卫星900与网络80进行通信。通讯卫星900例如通过地面站910对飞行体400和网络80之间的通信进行中继。
飞行体500具有未图示的卫星通信部，在与通讯卫星900之间进行卫星通信。也可以是，飞行体500通过通讯卫星900与网络80进行通信。通讯卫星900例如通过地面站910对飞行体500和网络80之间的通信进行中继。
也可以是，地面站910具有未图示的卫星通信部，通过飞行体400及通讯卫星900接收通过相机410所拍摄的图像。另外，地面站910还可以通过飞行体500及通讯卫星900接收通过相机510所拍摄的图像。地面站910还可以根据通过相机410所拍摄的图像和通过相机510所拍摄的图像检测飞行物体。地面站910在检测出飞行物体的情况下，还可以通过网络80向任意的通信设备发送警告。地面站910还可以向该通信设备发送飞行物体的图像、飞行物体的飞行速度、飞行方向及预测飞行路径等。
也可以是，飞行体400通过通讯卫星900与飞行体500进行通信。飞行体400例如可以通过飞行体500及通讯卫星900接收通过相机510所拍摄的图像。飞行体400还可以根据通过相机410所拍摄的图像和通过相机510所拍摄的图像检测飞行物体。飞行体400在检测出飞行物体的情况下，还可以通过通讯卫星900、地面站910及网络80向任意的通信设备发送警告。飞行体400还可以向该通信设备发送飞行物体的图像、飞行物体的飞行速度、飞行方向及预测飞行路径等。
在以上的说明中，图像处理装置100的各部分可以通过硬件来实现，还可以通过软件来实现。并且，还可以通过硬件和软件的组合来实现。另外，还可以通过执行程序，由计算机作为图像处理装置100发挥作用。程序可以从计算机可读的介质或者与网络连接的存储装置被安装到构成图像处理装置100的至少一部分的计算机上。
被安装于计算机并使计算机作为有关本实施方式的图像处理装置100发挥作用的程序，使CPU等进行工作，并使计算机作为图像处理装置100的各部分分别发挥作用。在这些程序中记述的信息处理通过被读入计算机中，作为使软件和图像处理装置100的硬件资源协作的具体单元发挥作用。
以上使用实施方式对本发明进行了说明，本发明的技术范围不限于上述实施方式所记述的范围。对于本领域技术人员，显然能够对上述实施方式施加多种多样的变更或者改进。根据权利要求书的记述，施加了这样的变更或者改进的方式显然可以被包含在本发明的技术范围中。
应注意，在权利要求书、说明书及附图中示出的装置、系统、程序及方法中的动作、顺序、步骤及阶段等的各个处理的执行顺序，只要没有特意注明“之前”、“先于”等，而且只要不是在后面的处理中使用前面的处理的输出，则能够以任意的顺序实现。关于权利要求书、说明书及附图中的动作流程，为了方便而使用“首先”、“其次”等进行了说明，但并非是指必须按照该顺序来实施。
附图标记说明
10…相机；12…摄像范围；14…图像；16…飞行物体；20…相机；22…摄像范围；24…图像；26…飞行物体；30…差量图像；40…飞行物体；80…网络；100…图像处理装置；200…飞行体；202…飞行控制CPU；204…通信装置；205…天线；206…DB；208…数据总线；210…相机；220…相机；230…图像处理CPU；232…图像获取部；234…飞行物体检测部；236…地图数据参照部；238…物体识别部；240…飞行信息导出部；242…高度导出部；244…发送控制部；300…地面站；302…因特网连接部；304…通信装置；305…天线；306…DB；308…图像处理CPU；309…数据总线；332…图像获取部；334…飞行物体检测部；336…地图数据参照部；338…物体识别部；340…飞行信息导出部；342…高度导出部；344…发送控制部；352…估计高度获取部；354…调整控制部；400…飞行体；402…飞行控制CPU；404…通信装置；405…天线；408…数据总线；410…相机；420…图像处理CPU；430…图像；432…校正图像；500…飞行体；502…飞行控制CPU；504…通信装置；505…天线；508…数据总线；510…相机；520…图像处理CPU；530…图像；532…校正图像；600…地面站；710…距离；720…高度；730…高度；740…距离；800…飞行物体；900…通信卫星；910…地面站。

Claims (17)

1.一种图像处理装置，具有：
图像获取部，获取第一图像和第二图像，所述第一图像包括作为被摄体的通过第一相机所拍摄的第一区域，所述第一相机搭载于第一飞行体，并拍摄自第一高度到比所述第一高度低的高度的方向，所述第二图像包括作为被摄体的通过第二相机所拍摄的所述第一区域，所述第二相机搭载于与所述第一飞行体不同的第二飞行体，并拍摄自第二高度到比所述第二高度低的高度的方向；
飞行物体检测部，根据所述第一图像内的所述第一区域与所述第二图像内的所述第一区域的差量，检测比所述第一高度及所述第二高度低的高度的飞行物体，
估计高度获取部，获取所述飞行物体的估计高度；以及
调整控制部，根据所述估计高度调整所述第一飞行体和所述第二飞行体之间的距离。
2.根据权利要求1所述的图像处理装置，其中，
所述调整控制部对所述第一飞行体发送所述第一飞行体的飞行控制数据，并对所述第二飞行体发送所述第二飞行体的飞行控制数据，以调整所述第一飞行体和所述第二飞行体之间的距离。
3.根据权利要求1所述的图像处理装置，其中，
所述估计高度获取部还获取所述飞行物体的估计位置，
所述调整控制部根据所述估计高度和所述估计位置，调整所述第一飞行体和所述第二飞行体之间的距离、所述第一飞行体的高度及所述第二飞行体的高度。
4.一种图像处理装置，具有：
图像获取部，获取第一图像和第二图像，所述第一图像包括作为被摄体的通过第一相机所拍摄的第一区域，所述第一相机拍摄自第一高度到比所述第一高度低的高度的方向，所述第二图像包括作为被摄体的通过第二相机所拍摄的所述第一区域，所述第二相机拍摄自第二高度到比所述第二高度低的高度的方向；
地图数据参照部，参照包括地形及建筑物的信息的地图数据；以及
飞行物体检测部，根据所述第一图像内的所述第一区域与所述第二图像内的所述第一区域的差量、和所述地图数据中与所述第一区域对应的范围内的地形及建筑物的信息，检测比所述第一高度及所述第二高度低的高度的飞行物体。
5.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述第一图像的摄影时间和所述第二图像的摄影时间相同。
6.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述图像获取部获取在通过所述第一相机进行拍摄之后被实施了倾斜校正的所述第一图像、和在通过所述第二相机进行拍摄之后被实施了倾斜校正的所述第二图像。
7.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述图像处理装置还具有物体识别部，所述物体识别部根据通过所述第一相机所拍摄的图像及通过所述第二相机所拍摄的图像中的至少一方识别所述飞行物体。
8.根据权利要求7所述的图像处理装置，其中，
所述物体识别部识别所述飞行物体是否是鸟类。
9.根据权利要求7所述的图像处理装置，其中，
所述物体识别部识别所述飞行物体是否是无人机。
10.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述图像处理装置还具有飞行信息导出部，所述飞行信息导出部根据通过所述第一相机所拍摄的图像及通过所述第二相机所拍摄的图像中的至少一方，导出所述飞行物体的飞行速度、飞行方向及预测飞行路径中的至少一方。
11.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述图像处理装置还具有高度导出部，所述高度导出部根据从所述第一相机到所述飞行物体的距离及所述第一高度导出所述飞行物体的高度。
12.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述图像处理装置还具有警告输出部，所述警告输出部根据所述飞行物体检测部检测出所述飞行物体而输出警告。
13.根据权利要求12所述的图像处理装置，其中，
所述图像处理装置搭载于飞行体，
所述警告输出部根据所述飞行物体检测部检测出所述飞行物体，通过通信卫星向地面上的通信设备发送所述警告。
14.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述图像处理装置搭载于飞行体，
所述图像处理装置还具有与通信卫星进行通信的卫星通信部。
15.一种计算机可读取的介质，记录有程序，
所述程序使计算机作为权利要求1至14中任一项所述的图像处理装置发挥作用。
16.一种第一飞行体，具有：
权利要求1所述的图像处理装置；以及
所述第一相机。
17.一种飞行体，具有：
权利要求4所述的图像处理装置；
所述第一相机；以及
所述第二相机。
CN201980013537.2A 2018-02-20 2019-01-30 图像处理装置、飞行体及程序 Active CN111742348B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018027905A JP6652979B2 (ja) 2018-02-20 2018-02-20 画像処理装置、飛行体及びプログラム
JP2018-027905 2018-02-20
PCT/JP2019/003219 WO2019163454A1 (ja) 2018-02-20 2019-01-30 画像処理装置、飛行体及びプログラム

Publications (2)

Publication Number Publication Date
CN111742348A CN111742348A (zh) 2020-10-02
CN111742348B true CN111742348B (zh) 2022-02-15

Family

ID=67687232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980013537.2A Active CN111742348B (zh) 2018-02-20 2019-01-30 图像处理装置、飞行体及程序

Country Status (8)

Country Link
US (1) US11042740B2 (zh)
EP (1) EP3757941B1 (zh)
JP (1) JP6652979B2 (zh)
KR (1) KR102266223B1 (zh)
CN (1) CN111742348B (zh)
CA (1) CA3091897C (zh)
IL (1) IL276818B (zh)
WO (1) WO2019163454A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3107374C (en) * 2018-07-24 2022-09-27 Tg-17, Llc Systems and methods for autonomous machine tracking and localization of mobile objects
US11532155B1 (en) * 2019-07-09 2022-12-20 ACME Atronomatic, LLC Methods and devices for earth remote sensing using stereoscopic hyperspectral imaging in the visible (VIS) and infrared (IR) bands
GB2588893A (en) * 2019-10-23 2021-05-19 Airbus Operations Ltd Aerial vehicle detection
CN116888653A (zh) * 2021-01-29 2023-10-13 日本电气株式会社 空中交通控制系统、识别飞行物的方法、计算机可读介质和飞行物
KR102473353B1 (ko) * 2021-04-01 2022-12-06 주식회사 켐에쎈 드론을 이용한 전신주 새집 생성 방지 시스템 및 그 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969148A (ja) * 1995-08-31 1997-03-11 Tokyo Gas Co Ltd 地図データ作成方法
JPH11257931A (ja) * 1998-03-13 1999-09-24 Matsushita Electric Ind Co Ltd 物体認識装置
JP2000283753A (ja) * 1999-03-31 2000-10-13 Fuji Heavy Ind Ltd ステレオ画像による測距装置
JP2001333416A (ja) * 2000-05-19 2001-11-30 Fujitsu General Ltd ネットワーク監視カメラシステム
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
CN205524962U (zh) * 2016-03-30 2016-08-31 深圳市高巨创新科技开发有限公司 一种组合式无人机
CN106444837A (zh) * 2016-10-17 2017-02-22 北京理工大学 一种无人机避障方法及系统
CN106598075A (zh) * 2016-07-21 2017-04-26 深圳曼塔智能科技有限公司 一种基于发光目标识别的无人机跟踪控制系统及方法
WO2017073310A1 (ja) * 2015-10-27 2017-05-04 三菱電機株式会社 構造物の形状測定用の画像撮影システム、構造物の形状測定に使用する構造物の画像を撮影する方法、機上制御装置、遠隔制御装置、プログラム、および記録媒体
CN107016690A (zh) * 2017-03-06 2017-08-04 浙江大学 基于视觉的无人机入侵检测与识别系统及方法
CN107439004A (zh) * 2016-08-11 2017-12-05 深圳市道通智能航空技术有限公司 一种跟踪和识别的方法、系统及飞行器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4378571B2 (ja) 2007-05-31 2009-12-09 Ｎｅｃシステムテクノロジー株式会社 地図変化検出装置、地図変化検出方法およびプログラム
US8837774B2 (en) * 2010-05-04 2014-09-16 Bae Systems Information Solutions Inc. Inverse stereo image matching for change detection
US8923558B2 (en) * 2012-05-15 2014-12-30 Raytheon Company Moving object detection using stereo rectified images acquired from a moving aircraft
KR101252680B1 (ko) * 2012-11-28 2013-04-08 네이버시스템(주) 디지털 항공이미지를 이용한 영상도화시스템
EP3121675B1 (en) * 2015-07-23 2019-10-02 The Boeing Company Method for positioning aircrafts based on analyzing images of mobile targets
JP2017167870A (ja) 2016-03-17 2017-09-21 セコム株式会社 飛行物体監視システム及び飛行物体監視装置
IL244838A0 (en) * 2016-03-30 2016-07-31 Itai Orr System and method for autonomous driving of vehicles
CN109196441A (zh) * 2016-05-16 2019-01-11 深圳市大疆创新科技有限公司 用于协调设备动作的系统和方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969148A (ja) * 1995-08-31 1997-03-11 Tokyo Gas Co Ltd 地図データ作成方法
JPH11257931A (ja) * 1998-03-13 1999-09-24 Matsushita Electric Ind Co Ltd 物体認識装置
JP2000283753A (ja) * 1999-03-31 2000-10-13 Fuji Heavy Ind Ltd ステレオ画像による測距装置
JP2001333416A (ja) * 2000-05-19 2001-11-30 Fujitsu General Ltd ネットワーク監視カメラシステム
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
WO2017073310A1 (ja) * 2015-10-27 2017-05-04 三菱電機株式会社 構造物の形状測定用の画像撮影システム、構造物の形状測定に使用する構造物の画像を撮影する方法、機上制御装置、遠隔制御装置、プログラム、および記録媒体
CN205524962U (zh) * 2016-03-30 2016-08-31 深圳市高巨创新科技开发有限公司 一种组合式无人机
CN106598075A (zh) * 2016-07-21 2017-04-26 深圳曼塔智能科技有限公司 一种基于发光目标识别的无人机跟踪控制系统及方法
CN107439004A (zh) * 2016-08-11 2017-12-05 深圳市道通智能航空技术有限公司 一种跟踪和识别的方法、系统及飞行器
CN106444837A (zh) * 2016-10-17 2017-02-22 北京理工大学 一种无人机避障方法及系统
CN107016690A (zh) * 2017-03-06 2017-08-04 浙江大学 基于视觉的无人机入侵检测与识别系统及方法

Also Published As

Publication number Publication date
WO2019163454A1 (ja) 2019-08-29
CA3091897A1 (en) 2019-08-29
EP3757941B1 (en) 2023-06-07
CN111742348A (zh) 2020-10-02
KR102266223B1 (ko) 2021-06-18
IL276818A (en) 2020-10-29
IL276818B (en) 2021-04-29
CA3091897C (en) 2021-03-09
US11042740B2 (en) 2021-06-22
JP6652979B2 (ja) 2020-02-26
KR20200115648A (ko) 2020-10-07
EP3757941A4 (en) 2022-03-30
EP3757941C0 (en) 2023-06-07
EP3757941A1 (en) 2020-12-30
JP2019144804A (ja) 2019-08-29
US20200372238A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
CN111742348B (zh) 图像处理装置、飞行体及程序
US10515271B2 (en) Flight device and flight control method
CN108700890B (zh) 无人机返航控制方法、无人机和机器可读存储介质
EP3251953B1 (en) Method and apparatus for landing flight device
JP4624287B2 (ja) 建物形状変化検出方法及び建物形状変化検出システム
KR101634878B1 (ko) 무인 비행체의 군집 비행을 이용한 항공 영상 정합 장치 및 방법
KR20170101516A (ko) 무인 항공기를 이용한 화재 감시 장치 및 방법
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
KR101684293B1 (ko) 무인 비행체의 비상 착륙 지점 검출 시스템 및 그 방법
CN108163203B (zh) 一种拍摄控制方法、装置及飞行器
US11069076B2 (en) Image processing device and image capture apparatus
WO2018179404A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2019144804A5 (zh)
US9571801B2 (en) Photographing plan creation device and program and method for the same
CN113608542A (zh) 一种无人机自动降落的控制方法以及设备
JP2020138681A (ja) 無人飛行体の制御システム
CN113867398A (zh) 无人机手掌降落的控制方法及无人机
KR20170075444A (ko) 영상 처리 장치 및 영상 처리 방법
JP6364101B1 (ja) 空中監視装置、空中監視方法及びプログラム
KR20190012439A (ko) 드론 위치 정보 보정 장치 및 방법
US11740315B2 (en) Mobile body detection device, mobile body detection method, and mobile body detection program
KR20200100944A (ko) 무인기 착륙 시스템
KR102467485B1 (ko) 픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법
JP7028247B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
JP7404041B2 (ja) 誘導装置、飛しょう体、誘導システム、および誘導プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant