CN110366745B - 信息处理装置、飞行控制指示方法、程序及记录介质 - Google Patents

信息处理装置、飞行控制指示方法、程序及记录介质 Download PDF

Info

Publication number
CN110366745B
CN110366745B CN201880014643.8A CN201880014643A CN110366745B CN 110366745 B CN110366745 B CN 110366745B CN 201880014643 A CN201880014643 A CN 201880014643A CN 110366745 B CN110366745 B CN 110366745B
Authority
CN
China
Prior art keywords
aircraft
flight control
information
change operation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880014643.8A
Other languages
English (en)
Other versions
CN110366745A (zh
Inventor
周杰旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110366745A publication Critical patent/CN110366745A/zh
Application granted granted Critical
Publication of CN110366745B publication Critical patent/CN110366745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers

Abstract

本发明期待可使多个飞行器的位置高效地移动。信息处理装置是指示多个飞行器的飞行控制的信息处理装置，其具备处理部，所述处理部获取由各飞行器拍摄的多个第1摄像图像，对所述多个第1摄像图像进行合成以生成第1合成图像，并获取用于变更作为所述第一合成图像的图像范围的第一图像范围的变更操作的信息，基于所述变更操作，指示所述多个飞行器的飞行控制。

Description

信息处理装置、飞行控制指示方法、程序及记录介质
【技术领域】
本发明涉及一种指示多个飞行器的飞行控制的信息处理装置、飞行控制指示方法、程序及记录介质。
【背景技术】
以往，无人驾驶航空器可利用无人驾驶航空器上配备的摄像机进行空中摄像，并正研究用于农业或灾害救援等各个领域。
作为现有技术，已知有配备有摄像机的无人飞行器以及使无人飞行器的位置移动的操作装置的移动控制系统(参照专利文献1)。该移动控制系统中，操作装置具有显示由摄像机拍摄的图像的触控面板。当用户对触控面板的触控操作为捏合放大操作时，无人飞行器沿被摄物体的方向前进，当所述触控操作为捏合缩小操作时，无人飞行器从被摄物体的方向后退。
现有技术文献：
专利文献
专利文献1：日本专利特开2017-139582号公报
【发明内容】
发明要解决的问题：
专利文献1中公开了一个无人飞行器中配备的摄像机进行摄像时，利用捏合放大操作或捏合缩小操作使无人飞行器的位置移动操作相关的技术。另一方面，未曾考虑过利用多个无人飞行器的摄像机同时进行摄像的情况。例如，对于由多个无人飞行器的摄像机同时拍摄的多个图像，变更图像范围时，难以使多个无人飞行器高效地移动。解决问题的技术手段：
在本发明的一个方面中，信息处理装置是指示多个飞行器的飞行控制的信息处理装置，具备处理部，处理部获取由各飞行器拍摄的多个第1摄像图像，对多个第1摄像图像进行合成以生成第1合成图像，并获取用于变更作为第1合成图像的图像范围的第1图像范围的变更操作信息，基于变更操作，指示多个飞行器的飞行控制。
变更操作信息可包括变更操作的类别及变更操作的操作量的信息。处理部也可以计算出第1图像范围，并基于第1图像范围、变更操作的类别及变更操作的操作量，计算出第2图像范围，指示多个飞行器的飞行控制，使得将各飞行器拍摄的多个第2摄像图像合成的情况下的第2合成图像的图像范围成为第2图像范围。
处理部可获取用于变更第1图像范围的大小的变更操作信息，并基于变更操作，进行指示多个飞行器朝向与水平方向垂直的方向移动的第1移动指示。
处理部可进行第1移动指示，使得多个飞行器移动相同距离。
处理部可获取用于变更第1图像范围的大小的变更操作信息，并基于变更操作，进行指示多个飞行器朝向水平方向移动的第2移动指示。
处理部可进行第2移动指示，使得多个飞行器中相邻2个飞行器之间的距离成为等间隔。
处理部可进行第2移动指示，使得多个飞行器中相邻2个飞行器之间的距离成为阈值以上的距离。
处理部可进行第2移动指示，使得由多个飞行器中相邻2个飞行器拍摄的摄像图像的图像范围至少一部分重复。
处理部可决定进行指示多个飞行器朝向与水平方向垂直的方向移动的第1移动指示，还是进行指示多个飞行器朝向水平方向移动的第2移动指示。
处理部可基于多个飞行器可飞行区域的限制信息，决定进行第1移动指示还是进行第2移动指示。
处理部可获取用于选择进行第1移动指示还是进行第2移动指示的操作信息，并基于操作信息，决定进行第1移动指示还是进行第2移动指示。
处理部可获取用于使第1图像范围旋转的变更操作信息，并基于变更操作，指示多个飞行器的飞行控制，以维持多个飞行器的位置关系，以多个飞行器的基准位置为基准进行旋转。
处理部可获取用于将第1图像范围水平方向地移动至其他地理范围的变更操作信息，并基于变更操作，指示多个飞行器移动。
处理部可在获取变更操作信息结束之前，反复地基于变更操作执行多个飞行器的飞行控制指示。
处理部可在获取变更操作信息结束之后，基于变更操作指示飞行器的飞行控制。
在本发明的一个方面中，飞行控制指示方法是指示多个飞行器的飞行控制的飞行控制指示方法，包括以下步骤：获取由各飞行器拍摄的多个第1摄像图像；对多个第1摄像图像进行合成以生成第1合成图像；获取用于变更作为第1合成图像的图像范围的第1图像范围的变更操作信息；及基于变更操作，指示多个飞行器的飞行控制。
变更操作信息可包括变更操作类别及变更操作的操作量的信息。指示多个飞行器的飞行控制的步骤可包括以下步骤：计算出第1图像范围；基于第1图像范围、变更操作类别及变更操作的操作量，计算出第2图像范围；指示多个飞行器的飞行控制，使将各飞行器所拍摄的多个第2摄像图像合成情况下的第2合成图像的图像范围成为第2图像范围。
获取变更操作信息的步骤可包括获取用于变更第1图像范围的大小的变更操作信息的步骤。指示多个飞行器的飞行控制的步骤可包括基于变更操作，进行指示多个飞行器朝向与水平方向垂直的方向移动的第1移动指示的步骤。
指示多个飞行器的飞行控制的步骤可包括进行第1移动指示，使得多个飞行器移动相同距离的步骤。
获取变更操作信息的步骤可包括获取用于变更第1图像范围的大小的变更操作信息的步骤。指示多个飞行器的飞行控制的步骤可包括基于变更操作，进行指示多个飞行器朝向水平方向移动的第2移动指示的步骤。
指示多个飞行器的飞行控制的步骤可包括进行第2移动指示，使得多个飞行器中相邻2个飞行器之间的距离成为等间隔的步骤。
指示多个飞行器的飞行控制的步骤可包括进行第2移动指示，使得多个飞行器中相邻2个飞行器之间的距离成为阈值以上的距离的步骤。
指示多个飞行器的飞行控制的步骤可包括进行第2移动指示，使得由多个飞行器中相邻2个飞行器拍摄的摄像图像的图像范围至少一部分重复的步骤。
飞行控制指示方法可进一步包括以下步骤：决定进行指示多个飞行器朝向与水平方向垂直的方向移动的第1移动指示，还是进行指示多个飞行器朝向水平方向移动的第2移动指示。
进行决定的步骤可包括基于多个飞行器可飞行区域的限制信息，决定进行第1移动指示还是进行第2移动指示的步骤。
进行决定的步骤可包括以下步骤：获取用于选择进行第1移动指示还是进行第2移动指示的操作信息；及基于操作信息，决定进行第1移动指示还是进行第2移动指示。
获取变更操作信息的步骤可包括获取用于使第1图像范围旋转的变更操作信息的步骤。指示多个飞行器的飞行控制的步骤可包括基于变更操作，指示多个飞行器的飞行控制，以维持多个飞行器的位置关系，以多个飞行器的基准位置为基准进行旋转的步骤。
获取变更操作信息的步骤可包括获取用于将第1图像范围水平方向地移动至其他地理范围的变更操作信息的步骤。指示多个飞行器的飞行控制的步骤可包括基于变更操作，指示多个飞行器移动的步骤。
指示多个飞行器的飞行控制的步骤可包括在获取变更操作信息结束之前，反复地基于变更操作执行多个飞行器的飞行控制指示的步骤。
指示多个飞行器的飞行控制的步骤可包括在获取变更操作信息结束之后，基于变更操作指示飞行器的飞行控制的步骤。
在本发明的一个方面中，程序是用于使指示多个飞行器的飞行控制的信息处理装置执行以下步骤的程序：获取由各飞行器拍摄的多个第1摄像图像；对多个第1摄像图像进行合成以生成第1合成图像；获取用于变更作为第1合成图像的图像范围的第1图像范围的变更操作信息；及基于变更操作，指示多个飞行器的飞行控制。
在本发明的一个方面中，记录介质是记录有用于使指示多个飞行器的飞行控制的信息处理装置执行以下步骤的程序的可计算机读取的记录介质：获取由各飞行器拍摄的多个第1摄像图像；对多个第1摄像图像进行合成以生成第1合成图像；获取用于变更作为第1合成图像的图像范围的第1图像范围的变更操作信息；及基于变更操作，指示多个飞行器的飞行控制。
此外，所述发明的概要并未列举本发明的所有特征。此外，该等特征组的子组合也可能成为发明。
【附图说明】
图1是表示实施方式中的飞行器组控制系统的第1构成例的示意图。
图2A是表示实施方式中的飞行器组控制系统的第2构成例的示意图。
图2B是表示实施方式中的飞行器组控制系统的第3构成例的示意图。
图3是表示无人驾驶航空器的具体外观的一个例示图。
图4是表示无人驾驶航空器的硬件配置的一个例示框图。
图5是表示终端的硬件配置的一个例示框图。
图6是表示以由多个无人驾驶航空器拍摄的图像为基础生成的合成图像的图。
图7是表示通过对终端的触控面板进行的捏合缩小操作及捏合放大操作，使合成图像的图像范围的大小放大或缩小的第1操作例的图。
图8是表示通过对终端的触控面板进行的捏合缩小操作及捏合放大操作，使合成图像的图像范围的大小放大或缩小的第2操作例的图。
图9是通过用户的捏合缩小操作及捏合放大操作，使各无人驾驶航空器在水平方向上移动时各无人驾驶航空器所移动的距离的计算例的说明图。
图10是表示操作模式的设置屏幕的一个例示图。
图11是表示通过对触控面板进行的扭转操作，使合成图像的图像范围旋转的操作例的图。
图12是通过用户的扭转操作使无人驾驶飞机组旋转时的旋转角度的计算说明图。
图13是表示通过对触控面板TP进行的滑动操作而使无人驾驶飞机组移动的操作例的图。
图14是表示终端及各无人驾驶航空器的操作流程的时序图。
符号说明：
10 飞行器组控制系统
50 发射机
80 终端
81 终端控制部
83 操作部
85 通信部
87 内存
88 显示部
89 存储器
100 无人驾驶航空器
100G 无人驾驶飞机组
110 UAV 控制部
150 通信接口
160 内存
170 存储器
200 平衡环架
210 旋翼机构
220、230 摄像部
240 GPS 接收机
250 惯性测量装置
260 磁罗盘
270 气压高度表
280 超声波传感器
290 激光测量仪
SA 合成图像的图像范围
【具体实施方式】
以下，通过发明的实施方式对本发明进行说明，但以下的实施方式并非限定根据权利要求书的发明。实施方式中说明的全部特征组合并不一定是发明的解决方法所必需的。
权利要求书、说明书、附图及摘要中，包括作为受著作权保护对象的事项。著作权拥有人对于任何人所进行的该等文件的复制，如果在日本专利厅的档案或备案有显示，则不提出异议。但，除此以外的情况，保留一切著作权。
在以下的实施方式中，作为飞行器，例示了无人驾驶航空器(UAV：UnmannedAerial Vehicle)。无人驾驶航空器包括在空中移动的飞机。在本说明书中随附的附图中，将无人驾驶航空器记作“UAV”。另外，作为信息处理装置，例示出终端。此外，信息处理装置不限于移动终端，也可为PC(personal computer)或发射机(比例控制器(proportionalcontroller))。另外，飞行控制指示方法中规定信息处理装置的操作。此外，记录介质中记录有程序(使信息处理装置执行各种处理的程序)。
图1是表示实施方式中的飞行器组控制系统10的第1构成例的示意图。飞行器组控制系统10具备无人驾驶航空器100及终端80。无人驾驶航空器100及终端80可通过有线通信或无线通信(例如，无线LAN(Local Area Network，局域网))进行相互通信。图1中，例示了终端80为移动终端(例如智能手机、平板终端)的情况。终端80是信息处理装置的一个示例。
图2A是表示实施方式中的飞行器组控制系统10的第2构成例的示意图。图2A中，例示了终端80为PC的情况。无论图1还是图2A中，终端80所具有的功能均可相同。
图2B是表示实施方式中的飞行器组控制系统10的第3构成例的示意图。在图2B中，飞行器组控制系统10是具有无人驾驶航空器100、发射机50及终端80的结构。无人驾驶航空器100、发射机50及终端80可通过有线通信或无线通信进行相互通信。另外，终端80可通过发射机50或不通过发射机50而与无人驾驶航空器100进行通信。
图3是表示无人驾驶航空器100的具体外观的一个例示图。在图3中，表示了无人驾驶航空器100沿移动方向STV0飞行时的透视图。无人驾驶航空器100是飞行器的一个示例。
如图3所示，将滚转轴(参照x轴)定义为与地面平行且沿着移动方向STV0的方向。在此情况下，将俯仰轴(参照y轴)定义为与地面平行且与滚转轴垂直的方向，进而，将偏航轴(参照z轴)定义为与地面垂直且与滚转轴及俯仰轴垂直的方向。
无人驾驶航空器100是包括UAV主体102、平衡环架200、摄像部220及多个摄像部230的结构。
UAV主体102具备多个旋翼(螺旋桨)。UAV主体102通过控制多个旋翼的旋转而使无人驾驶航空器100飞行。UAV主体102例如使用4个旋翼来使无人驾驶航空器100飞行。旋翼的个数不限于4个。此外，无人驾驶航空器100也可以是不具有旋翼的固定翼飞机。
摄像部220是拍摄期望的摄像范围中所包含的被摄物体(例如，作为摄像对象的天空的景象、山川等的景色、地面的建筑物)的摄像用摄像机。
多个摄像部230是用于控制无人驾驶航空器100的飞行而对无人驾驶航空器100的周围进行拍摄的传感用摄像机。2个摄像部230可以设置在无人驾驶航空器100的作为机头的正面。进而，其他2个摄像部230可以设置在无人驾驶航空器100的底面。正面侧的2个摄像部230成对，可起到所谓立体摄像机的作用。底面侧的2个摄像部230也成对，可起到立体摄像机的作用。可基于由多个摄像部230拍摄的图像，生成无人驾驶航空器100周围的三维空间数据。此外，无人驾驶航空器100所具备的摄像部230的个数不限于4个。无人驾驶航空器100可具备至少1个摄像部230。无人驾驶航空器100可在无人驾驶航空器100的机头、机尾、侧面、底面及顶面分别具备至少1个摄像部230。可由摄像部230设定的视角可以大于可由摄像部220设定的视角。摄像部230可具有单焦点镜头、鱼眼镜头，或变焦镜头。
图4是表示无人驾驶航空器100的硬件配置的一个例示框图。无人驾驶航空器100为包括UAV控制部110、通信接口150、内存160、存储器170、平衡环架200、旋翼机构210、摄像部220、摄像部230、GPS接收机240、惯性测量装置(IMU：Inertial Measurement Unit)250、磁罗盘260、气压高度表270、超声波传感器280及激光测量仪290的构造。
UAV控制部110采用例如CPU(Central Processing Unit，中央处理器)、MPU(MicroProcessing Unit，微处理器)或DSP(Digital Signal Processor，数字信号处理器)而构成。UAV控制部110进行用于将无人驾驶航空器100的各部操作总体地控制的信号处理、与其他各部之间的数据输入输出处理、以及数据运算处理及数据存储处理。
UAV控制部110按照内存160中存储的程序，控制无人驾驶航空器100的飞行。UAV控制部110可按照发射机50或终端80发出的飞行控制的指示，控制飞行。UAV控制部110可使摄像部220或摄像部230拍摄图像。
UAV控制部110获取表示无人驾驶航空器100的位置的位置信息。UAV控制部110可以自GPS接收机240，获取表示无人驾驶航空器100所处的纬度、经度及高度的位置信息。UAV控制部110可以自GPS接收机240获取表示无人驾驶航空器100所处的纬度及经度的纬度经度信息作为位置信息，以及自气压高度表270获取表示无人驾驶航空器100所处的高度的高度信息作为位置信息。UAV控制部110可获取超声波传感器280的超声波辐射点与超声波反射点的距离作为高度信息。
UAV控制部110可自磁罗盘260获取表示无人驾驶航空器100朝向的朝向信息。朝向信息可以例如以无人驾驶航空器100的机头朝向对应的方位来表示。
UAV控制部110可获取表示在摄像部220拍摄应当拍摄的摄像范围时无人驾驶航空器100应当存在的位置的位置信息。UAV控制部110可自内存160获取表示无人驾驶航空器100应当存在的位置的位置信息。UAV控制部110可通过通信接口150自其他装置获取表示无人驾驶航空器100应当存在的位置的位置信息。UAV控制部110可参照三维地图数据库，确定无人驾驶航空器100可能存在的位置后，获取该位置作为表示无人驾驶航空器100应当存在的位置的位置信息。
UAV控制部110可获取表示摄像部220及摄像部230各自的摄像范围的摄像范围信息。UAV控制部110可自摄像部220及摄像部230获取表示摄像部220及摄像部230的视角的视角信息，作为用于确定摄像范围的参数。UAV控制部110可获取表示摄像部220及摄像部230的摄像方向的信息，作为用于确定摄像范围的参数。UAV控制部110可自平衡环架200获取表示摄像部220的姿势状态的姿势信息，作为例如表示摄像部220的摄像方向的信息。摄像部220的姿势信息可表示自平衡环架200的俯仰轴及偏航轴的基准旋转角度的旋转角度。
UAV控制部110可获取表示无人驾驶航空器100的所在位置的位置信息，作为用于确定摄像范围的参数。UAV控制部110可基于摄像部220及摄像部230的视角及摄像方向、以及无人驾驶航空器100的所在位置，划定表示摄像部220所拍摄的地理范围的摄像范围，生成摄像范围信息，从而获取摄像范围信息。
UAV控制部110可自内存160获取摄像范围信息。UAV控制部110可通过通信接口150，获取摄像范围信息。
UAV控制部110对平衡环架200、旋翼机构210、摄像部220及摄像部230进行控制。UAV控制部110可通过变更摄像部220的摄像方向或视角来控制摄像部220的摄像范围。UAV控制部110可通过控制平衡环架200的旋转机构来控制由平衡环架200支撑的摄像部220的摄像范围。
所谓摄像范围是指由摄像部220或摄像部230拍摄的地理范围。摄像范围是以纬度、经度及高度定义。摄像范围可以是以纬度、经度及高度定义的三维空间数据中的范围。摄像范围可以是以纬度及经度定义的二维空间数据中的范围。摄像范围可基于摄像部220或摄像部230的视角及摄像方向、以及无人驾驶航空器100的所在位置来确定。摄像部220及摄像部230的摄像方向可根据设置摄像部220及摄像部230的摄像镜头的正面所朝向的方位及俯角来定义。摄像部220的摄像方向可以是根据无人驾驶航空器100的机头方位及摄像部220相对于平衡环架200的姿势状态确定的方向。摄像部230的摄像方向可以是根据无人驾驶航空器100的机头方位及设有摄像部230的位置确定的方向。
UAV控制部110可通过分析由多个摄像部230拍摄的多个图像，确定无人驾驶航空器100的周围环境。UAV控制部110可基于无人驾驶航空器100的周围环境，避开例如障碍物，控制飞行。
UAV控制部110可获取表示存在于无人驾驶航空器100周围的物体的立体形状(三维形状)的立体信息(三维信息)。物体可以是例如建筑物、道路、车辆、树木等风景的一部分。立体信息是例如三维空间数据。UAV控制部110可通过根据自多个摄像部230获取的各个图像，生成表示存在于无人驾驶航空器100周围的物体的立体形状的立体信息来获取立体信息。UAV控制部110可通过参照内存160或存储器170中存储的三维地图数据库，获取表示存在于无人驾驶航空器100周围的物体的立体形状的立体信息。UAV控制部110可通过参照存在于网络上的服务器所管理的三维地图数据库，获取与存在于无人驾驶航空器100周围的物体的立体形状相关的立体信息。
UAV控制部110是通过控制旋翼机构210来控制无人驾驶航空器100的飞行。即，UAV控制部110通过控制旋翼机构210而控制无人驾驶航空器100的包括纬度，经度及高度在内的位置。UAV控制部110可通过控制无人驾驶航空器100的飞行来控制摄像部220的摄像范围。UAV控制部110可通过控制摄像部220所具备的变焦镜头来控制摄像部220的视角。UAV控制部110可利用摄像部220的数字变焦功能，通过数字变焦而控制摄像部220的视角。
当摄像部220固定在无人驾驶航空器100，使摄像部220不能动时，UAV控制部110可通过使无人驾驶航空器100在特定的时期移动至特定位置，而在期望的环境下使摄像部220对期望的摄像范围进行拍摄。或者，即使摄像部220不具变焦功能，无法变更摄像部220的视角，UAV控制部110也可通过在特定的时期使无人驾驶航空器100移动至特定的位置，而在期望的环境下使摄像部220对期望的摄像范围进行拍摄。
通信接口150与终端80或发射机50进行通信。通信接口150可利用任意的无线通信方式进行无线通信。通信接口150可利用任意的有线通信方式进行有线通信。通信接口150可将摄像图像或与摄像图像相关的附加信息(元数据)传送至终端80或发射机50。附加信息可包括与摄像范围相关的信息。
内存160存储有UAV控制部110控制平衡环架200、旋翼机构210、摄像部220、摄像部230、GPS接收机240、惯性测量装置250、磁罗盘260、气压高度表270、超声波传感器280及激光测量仪290所需的程序等。内存160既可以是计算机可进行读取的记录介质，也可以包括SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic RandomAccess Memory，动态随机存取存储器)、EPROM(Erasable Programmable Read OnlyMemory，可擦可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)及USB(Universal Serial Bus，通用串行总线)内存等闪存中的至少1个。内存160可以从UAV主体102中拆卸。内存160可以作为工作用内存运行。
存储器170可包括HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid State Drive，固态硬盘)、SD卡、USB内存及其他存储器中的至少1个。存储器170可保存各种信息、各种数据。存储器170也可以自UAV主体102拆卸。存储器170可记录摄像图像或合成图像。
平衡环架200可支撑摄像部220使之可以偏航轴、俯仰轴及滚转轴为中心旋转。平衡环架200可通过使摄像部220以偏航轴、俯仰轴及滚转轴中的至少1个为中心进行旋转而变更摄像部220的摄像方向。
旋翼机构210具有多个旋翼及使得多个旋翼旋转的多个驱动电动机。旋翼机构210是通过UAV控制部110控制旋转而使无人驾驶航空器100飞行。旋翼211的个数可以是例如4个，也可以是其他个数。旋翼211的个数越多，则无人驾驶航空器100的升力越大。
GPS接收机240接收表示自多个导航卫星(即，GPS卫星)发送的时刻及各GPS卫星的位置(坐标)的多个信号。GPS接收机240基于收到的多个信号，计算出GPS接收机240的位置(即，无人驾驶航空器100的位置)。GPS接收机240将无人驾驶航空器100的位置信息输出至UAV控制部110。此外，GPS接收机240的位置信息的计算也可以利用UAV控制部110取代GPS接收机240进行。在此情况下，对于，将表示GPS接收机240接收到的多个信号中所包含的时刻及各GPS卫星位置的信息输入UAV控制部110。
惯性测量装置250检测无人驾驶航空器100的姿势，且将检测结果输出至UAV控制部110。惯性测量装置250也可检测无人驾驶航空器100的前后、左右及上下3轴方向的加速度与俯仰轴、滚转轴及偏航轴3轴方向的角速度作为无人驾驶航空器100的姿势。
磁罗盘260检测无人驾驶航空器100的机头方位，且将检测结果输出至UAV控制部110。
气压高度表270检测无人驾驶航空器100的飞行高度，且将检测结果输出至UAV控制部110。
超声波传感器280发出超声波，检测被地面或物体反射的超声波，将检测结果输出至UAV控制部110。检测结果可显示无人驾驶航空器100至地面的距离即高度。检测结果可显示无人驾驶航空器100至物体(被摄物体)的距离。
激光测量仪290对物体照射激光，接收被物体反射的反射光，利用反射光测量无人驾驶航空器100与物体(被摄物体)之间的距离。作为一例，激光的距离测量方式可以是飞行时间方式。
图5是表示终端80的硬件配置的一个例示框图。终端80具备：终端控制部81、操作部83、通信部85、内存87、显示部88及存储器89。终端80可以由希望指示多个无人驾驶航空器100的飞行控制的用户持有。
终端控制部81采用例如CPU、MPU或DSP所构成。终端控制部81进行用于将终端80的各部操作总体地控制的信号处理、与其他各部件之间的数据输入输出处理、以及数据运算处理及数据存储处理。
终端控制部81可通过通信部85，获取来自无人驾驶航空器100的数据或信息(例如，各种测量数据、图像数据、无人驾驶航空器100的位置信息)。终端控制部81也可以获取经操作部83输入的数据或信息。终端控制部81也可以获取内存87中保存的数据或信息。终端控制部81也可以通过通信部85对无人驾驶航空器100传送数据或信息。终端控制部81也可以将数据或信息输送到显示部88，使显示部88显示基于该数据或信息的显示信息。
终端控制部81也可以执行用于指示多个无人驾驶航空器100(也称为无人驾驶飞机组100G)的飞行控制的应用。终端控制部81也可以生成应用中使用的各种数据。
操作部83接受并获取由终端80的用户输入的数据或信息。操作部83可包括按钮、键、触摸屏、麦克风等输入装置。此处，主要例示操作部83与显示部88包括触控面板TP的情况。在此情况下，操作部83可接受触控操作、轻拍操作、拖动操作、捏合缩小操作、捏合放大操作、扭转操作、滑动操作等。由操作部83输入的信息可以传送到无人驾驶航空器100。
通信部85利用各种无线通信方式，与无人驾驶航空器100之间进行无线通信。该无线通信的无线通信方式可包括例如通过无线LAN、Bluetooth(注册商标)、或公共无线回路进行通信。通信部85可利用任意的有线通信方式进行有线通信。
内存87可具有例如存储有规定终端80操作的程序或设定值数据的ROM及暂时保存终端控制部81进行处理时使用的各种信息或数据的RAM。内存87可包括ROM及RAM以外的内存。内存87可设置在终端80的内部。内存87可设置为自终端80可拆卸。程序可包括应用程序。
显示部88使用例如LCD(Liquid Crystal Display，液晶显示器)而构成，显示自终端控制部81输出的各种信息或数据。显示部88也可以显示与执行应用相关的各种数据或信息。
存储器89储存并保存各种数据、信息。存储器89可以是HDD、SSD、SD卡、USB内存等。存储器89也可以设置在终端80的内部。存储器89也可设置为自终端80可拆卸。存储器89可保存自无人驾驶航空器100获取的摄像图像、合成图像或附加信息。附加信息可保存在内存87中。
此外，发射机50(参照图2B)因具有与终端80相同的构成部件而省略详细说明。发射机50具有控制部、操作部、通信部及内存等。操作部可包括例如用于指示无人驾驶航空器100的飞行控制的驾驶杆(操控杆)。发射机50具有显示部，也可以显示各种信息。发射机50也可以具有终端80所具有功能的至少一部分。在此情况下，也可以将终端80省略。
接着，对于与包括多个无人驾驶航空器100的无人驾驶飞机组100G的飞行控制指示相关的功能进行说明。
终端80的终端控制部81进行与无人驾驶飞机组100G的飞行控制指示相关的处理。无人驾驶飞机组100G是由相互协同地飞行的多个无人驾驶航空器100组成。无人驾驶飞机组100G中的各无人驾驶航空器100的摄像部220或摄像部230对于例如地面(沿重力方向的方向)，进行摄像(空中摄像)。各无人驾驶航空器100的UAV控制部110通过通信接口150，将由摄像部220或摄像部230拍摄的图像数据传送至终端80。此外，摄像部220、230既可具有视角固定的单焦点镜头(单眼镜头)，也可以具有变焦镜头。
图6是表示以由多个无人驾驶航空器100拍摄的图像为基础生成的合成图像的图。终端80的终端控制部81是通过通信部85，使自无人驾驶飞机组100G的各无人驾驶航空器100接收的多个图像数据存储在内存87中。终端控制部81以由无人驾驶飞机组100G拍摄的多个图像gm1～gm9为基础，生成合成图像GZ。在合成图像GZ中，图中以斜线表示的区域是多个图像gm1～gm9重叠的部分。合成图像GZ可以是例如全景图像、距离图像、立体图像及三维图像等。
合成图像GZ由外周部围绕而成的范围成为合成图像GZ的图像范围SA。图像范围SA可以是由将多个图像gm1～gm9的轮廓中最外侧的轮廓连续地连接而成的线所围绕的范围。图像范围SA是基于由各无人驾驶航空器100拍摄的摄像图像的各摄像范围而定。摄像范围的信息包括在自各无人驾驶航空器100向终端80输送的附加信息中。
终端控制部81可以在变更以无人驾驶飞机组100G拍摄的多个图像gm1～gm9为基础所得的合成图像GZ的图像范围SA时，对于无人驾驶飞机组100G，如同例以下述第1操作例～第4操作例所示地进行各种移动控制指示。例如，终端控制部81通过使无人驾驶飞机组100G的各无人驾驶航空器100移动，获得将图像范围SA放大的合成图像GZ1、或将图像范围SA缩小的合成图像GZ2。
(第1操作例)
图7是表示通过对终端80的触控面板TP进行的捏合缩小操作及捏合放大操作而使合成图像的图像范围SA的大小放大或缩小的第1操作例的图。在第1操作例中，终端控制部81根据捏合缩小操作，使无人驾驶飞机组100G的各无人驾驶航空器100上升。此外，终端控制部81根据捏合放大操作，使无人驾驶飞机组100G的各无人驾驶航空器100下降。捏合缩小操作及捏合放大操作是用于将合成图像的图像范围SA变更的变更操作之一。
在捏合缩小操作或捏合放大操作中，例如，终端控制部81在2个时点获取对于触控面板TP的2个位置输入的信息，并在2个时点分别计算被输入的2个位置之间的距离。当2个时点中的后一时点的距离大于前一时点的距离时，终端控制部81检测出捏合放大操作。当2个时点中的后一时点的距离短于前一时点的距离时，终端控制部81检测出捏合缩小操作。
用户对于触控面板TP，进行使2个手指(例如大拇指fg1与食指fg2)以触摸状态收窄的捏合缩小操作。终端控制部81通过触控面板TP检测出捏合缩小操作及其操作量。终端控制部81在检测到捏合缩小操作之后，计算与该操作量相应的上升距离。上升距离可以是用于使各无人驾驶航空器100的飞行高度变高而上升的无人驾驶航空器100的移动距离。例如，可以是操作量越大，则上升距离越长，而操作量越小，则上升距离越短。
终端控制部81通过通信部85向各无人驾驶飞机组100G传送用于指示以计算出的上升距离上升的指示信息。无人驾驶飞机组100G的各无人驾驶航空器100的UAV控制部110通过通信接口150，接收该指示信息。UAV控制部110按照收到的指示信息，驱动驱动旋翼机构210，使各无人驾驶航空器100上升与捏合缩小的操作量相应的上升距离。
此外，属于无人驾驶飞机组100G的各无人驾驶航空器100的飞行高度在捏合缩小操作前既可相同，也可以不同。就上升距离而言，各无人驾驶航空器100相同。即，各无人驾驶航空器100中高度的变更量相同。此外，各无人驾驶航空器100中高度的变更量也可以不同。
由各无人驾驶航空器100的摄像部220拍摄的各摄像范围例如因各无人驾驶航空器100上升而自区域Sq1扩大为区域Sq2。其结果，基于由无人驾驶飞机组100G的各无人驾驶航空器100拍摄的摄像图像生成的合成图像的图像范围SA比上升前扩大。
用户对于触控面板TP，进行使2个手指(例如大拇指fg1与食指fg2)以触摸的状态放宽的捏合放大操作。终端控制部81通过触控面板TP检测出捏合放大操作及其操作量。终端控制部81在检测到捏合放大操作之后，计算与该操作量对应的下降距离。下降距离可以是用于使各无人驾驶航空器100的飞行高度变低而下降的无人驾驶航空器100的移动距离。例如，可以是操作量越大，则下降距离越长，而操作量越小，则下降距离越短。
终端控制部81通过通信部85向无人驾驶飞机组100G传送用于指示以计算出的下降距离下降的指示信息。无人驾驶飞机组100G的各无人驾驶航空器100的UAV控制部110通过通信接口150，接收该指示信息。UAV控制部110按照收到的指示信息，驱动旋翼机构210，使各无人驾驶航空器100下降与捏合放大的操作量相应的下降距离。
此外，属于无人驾驶飞机组100G的各无人驾驶航空器100的飞行高度在捏合放大操作前既可相同，也可以不同。就下降距离而言，各无人驾驶航空器100相同。即，各无人驾驶航空器100中高度的变更量相同。此外，各无人驾驶航空器100中高度的变更量也可以不同。
由各无人驾驶航空器100的摄像部220拍摄的各摄像范围例如因各无人驾驶航空器100下降而自区域Sq2缩小为区域Sq1。其结果，基于由无人驾驶飞机组100G的各无人驾驶航空器100拍摄的摄像图像生成的合成图像的图像范围SA比下降前缩小。
在使无人驾驶飞机组100G上升或下降，变更高度的情况下，各无人驾驶航空器100中配备的摄像部220所拍摄的摄像范围与无人驾驶飞机组100G的各无人驾驶航空器100水平方向地移动时相比，变化较小。在此情况下，终端80可利用捏合缩小操作或捏合放大操作，细微地调整各无人驾驶飞机组100G进行摄像的摄像范围，由此，可细微地调整合成图像的图像范围SA。
此外，当用户进行捏合缩小操作或捏合放大操作时，终端控制部81可通过操作部83，不仅检测手指移动的操作及其操作量(操作范围)，而且检测手指移动的速度。终端控制部81在检测到手指移动速度时，可将速度包括在指示信息中传送给无人驾驶飞机组100G的各无人驾驶航空器100，以使无人驾驶飞机组100G的各无人驾驶航空器100以与该手指移动速度对应的速度上升或下降。无人驾驶飞机组100G的各无人驾驶航空器100的UAV控制部110可通过通信接口150，接收该指示信息。UAV控制部110可按照指示信息，使无人驾驶航空器100以与手指移动速度对应的速度上升或下降。由此，终端80可根据用户操作，任意地变更使合成图像的图像范围SA的大小变化的速度。
如此一来，终端控制部81可获取用于将合成图像的图像范围SA(第1图像范围的一个示例)的大小变更的捏合缩小操作或捏合放大操作(变更操作的一个示例)的信息。终端控制部81可基于捏合缩小操作或捏合放大操作，指示多个无人驾驶航空器100朝向与水平方向垂直的方向(高度方向)移动。该指示为第1移动指示的一个示例。
由此，终端80因使各无人驾驶航空器100朝向高度方向移动，故合成图像的图像范围SA的变化小于使各无人驾驶航空器100朝向水平方向移动时，故有利于微调。例如，即便因无人驾驶航空器100可飞行的区域在水平方向上受到限制等无人驾驶航空器100难以朝向水平方向移动，也可变更图像范围SA的大小。
此外，终端控制部81可指示多个无人驾驶航空器100的飞行控制，使得多个无人驾驶航空器100在高度方向上移动相同的距离。由此，由各无人驾驶航空器100拍摄的摄像图像的摄像范围各自的大小关系在变更操作前后得以维持，所以，终端80可维持以该等摄像图像为基础生成的合成图像的图像范围SA的图像质量。
(第2操作例)
图8是表示通过对终端80的触控面板TP进行的捏合缩小操作及捏合放大操作，使合成图像的图像范围SA的大小放大或缩小的第2操作例的图。在第2操作例中，终端控制部81根据捏合缩小操作，使无人驾驶飞机组100G在水平方向上扩展(扩张扩张)。此外，终端控制部81根据捏合放大操作，使无人驾驶飞机组100G在水平方向上缩小(收缩)。
在本实施方式中，所谓无人驾驶飞机组100G扩张是指无人驾驶飞机组100G所属的各无人驾驶航空器100的间隔变大，可表示真实空间中无人驾驶飞机组100G所在的范围扩大(扩张)。所谓无人驾驶飞机组100G收缩是指无人驾驶飞机组100G所属的各无人驾驶航空器100的间隔变小，可表示真实空间中无人驾驶飞机组100G所在的范围缩小(收缩)。
用户对触控面板TP进行捏合缩小操作。终端控制部81通过触控面板的操作部83，检测出捏合缩小操作及其操作量。终端控制部81检测到捏合缩小操作之后，计算与该操作量对应的扩张距离。扩张距离可以是用于将相邻无人驾驶航空器100的间隔增大的无人驾驶航空器100的移动距离。例如，可以是操作量越大，则扩张距离越长，而操作量越小，则扩张距离越短。
终端控制部81通过通信部85，对无人驾驶飞机组100G传送用于指示以计算出的扩张距离扩张的指示信息。无人驾驶飞机组100G的各无人驾驶航空器100通过通信接口150，接收该指示信息。UAV控制部110按照收到的信息指示，使各无人驾驶航空器100以与捏合缩小操作量相应的距离的扩张距离在水平方向上移动。
例如，对于无人驾驶飞机组100G所属的多个无人驾驶航空器100中位于中心的无人驾驶航空器100o，由无人驾驶航空器100f拍摄的摄像范围因无人驾驶航空器100f移动而从区域Sq3移动到区域Sq4。其结果，2个无人驾驶航空器100o、100f所拍摄的摄像范围自区域Sq5扩大为区域Sq6。所以，基于由无人驾驶飞机组100G的各无人驾驶航空器100拍摄的多个摄像图像生成的合成图像与无人驾驶飞机组100G扩张前相比，图像范围SA扩大。
用户对触控面板TP进行捏合放大操作。终端控制部81通过触控面板TP检测出捏合放大操作及其操作量。终端控制部81在检测到捏合放大操作之后，计算与该操作量对应的收缩距离。收缩距离可以是用于将相邻无人驾驶航空器100的间隔减小的无人驾驶航空器100的移动距离。例如，可以是操作量越大，则收缩距离越长，而操作量越小，则收缩距离越短。
终端控制部81通过通信部85，向无人驾驶飞机组100G传送用于指示以计算出的收缩距离收缩的指示信息。无人驾驶飞机组100G的各无人驾驶航空器100通过通信接口150，接收该指示信息。UAV控制部110按照收到的指示信息，驱动旋翼机构210，使各无人驾驶航空器100以与捏合放大操作量相应的收缩距离在水平方向上移动。
例如，对于无人驾驶飞机组100G所属的多个无人驾驶航空器100中位于中心的无人驾驶航空器100o，由无人驾驶航空器100f拍摄的摄像范围因无人驾驶航空器100f移动而从区域Sq4移动到区域Sq3。其结果，2个无人驾驶航空器100o、100f所拍摄的摄像范围自区域Sq6缩小为区域Sq5。所以，基于由无人驾驶飞机组100G的各无人驾驶航空器100拍摄的摄像图像生成的合成图像与无人驾驶飞机组100G收缩前相比，图像范围SA缩小。
使无人驾驶飞机组100G的各无人驾驶航空器100在水平方向上移动与使各无人驾驶航空器100在高度方向(重力方向、与水平方向垂直的方向)上移动相比，各无人驾驶航空器100的摄像部220进行拍摄的摄像范围的变化较大。所以，终端80可通过捏合缩小操作或捏合放大操作，将利用各无人驾驶航空器100拍摄所得的合成图像的图像范围SA粗略地调整，从高速地调整。
此外，当用户进行捏合缩小操作或捏合放大操作时，终端控制部81也可通过操作部83，不仅检测手指移动操作及其操作量(操作范围)，而且检测手指移动速度。终端控制部81检测到手指移动速度后，将该手指移动速度包括指示信息中传送至无人驾驶飞机组100G的各无人驾驶航空器100，使无人驾驶飞机组100G以与该手指移动速度对应的速度扩张或缩小。无人驾驶飞机组100G的各无人驾驶航空器100的UAV控制部110可通过通信接口150，接收该指示信息。UAV控制部110可按照指示信息，以与手指移动速度对应的速度，使各无人驾驶航空器100的间隔扩大或缩小。终端80可根据用户操作，任意地变更使合成图像的图像范围SA变化的速度。
终端控制部81在使无人驾驶飞机组100G所属的各无人驾驶航空器100在水平方向上移动的情况下，可考量以下的限制。
例如，在无人驾驶飞机组100G收缩的情况下，终端控制部81可指示多个无人驾驶航空器100的飞行控制，以确保无人驾驶航空器100间的距离为安全距离(例如3～4m)以上、即相邻无人驾驶航空器100之间的距离达到阈值th1以上。由此，终端80即便在多个无人驾驶航空器100同时地在水平方向上移动的情况下，也可以避免相邻的无人驾驶航空器100彼此过度接近而相撞。
例如，在无人驾驶飞机组100G扩张的情况下，终端控制部81可指示多个无人驾驶航空器100的飞行控制，使得相邻无人驾驶航空器100的摄像部220或摄像部230的摄像范围(摄像图像的图像范围)至少一部分重复、即相邻无人驾驶航空器100的间隔达到阈值th2以下。由此，终端80可在由无人驾驶飞机组100G所属的多个无人驾驶航空器100拍摄的多个摄像图像之间确保重叠，从而能够可靠地生成合成图像。
图9是通过用户的捏合缩小操作及捏合放大操作，使各无人驾驶航空器100在水平方向上移动时各无人驾驶航空器100所移动的距离的计算例的说明图。
图9中，以形成矩形网格点的方式配置有9个无人驾驶航空器100c～100k(100c、100d、100e、100f、100o、100h、100i、100j、100k)。图9既可以是自正面或背面观察无人驾驶飞机组100G所得的图，也可以是自正上方或正下方观察无人驾驶飞机组100G所得的图。无人驾驶飞机组100G所属的无人驾驶航空器100的个数仅为一个示例，也可以是9个以外的个数。
将9个无人驾驶航空器100c～100k中，位于中心的无人驾驶航空器100o的位置设为坐标(0、0)。将相对于无人驾驶航空器100o在图中右方向上相邻的无人驾驶航空器100f的位置设为坐标(xf、yf)。将相对于无人驾驶航空器100o在图中右斜上方向上相邻的无人驾驶航空器100k的位置设为坐标(xk、yk)。无人驾驶航空器100o的位置为基准点的一个示例。
当用户对触控面板TP进行捏合缩小操作时，终端控制部81自操作部83获取捏合缩小操作的操作量。终端控制部81以捏合缩小操作量为基础，以维持飞行队形的方式计算各无人驾驶航空器100(100c、100d、100e、100f、100h、100i、100j、100k)自无人驾驶航空器100o的位置分别移动的移动量。
所谓飞行队形是无人驾驶飞机组100G所属的各无人驾驶航空器100在飞行时形成的飞行形状，由各无人驾驶航空器100的位置关系所决定。飞行队形可以三维空间中的队形呈现，也可以二次元空间中的队形呈现。三维空间中飞行队形的形状可包括多棱柱形、多棱锥形、球体形、椭圆体形及其他三维形状。二维空间中飞行队形的形状可包括多边形、圆形、椭圆形及其他二维形状。
终端控制部81可根据捏合缩小操作的操作量，计算无人驾驶飞机组100G扩张时的扩张率。操作量与扩张率的关系性既可具有线性，也可以具有非线性。扩张率也可以是无人驾驶飞机组100G所属的各无人驾驶航空器100在移动前后距离对于基准位置的扩张率。终端控制部81可以各无人驾驶航空器100移动到与计算出的扩张率对应的位置的方式，计算与移动前的各无人驾驶航空器100的位置相距的移动量(扩张距离)。此外，因每一无人驾驶航空器100中与基准位置相距的距离不同，故计算出的扩张距离可以在每一无人驾驶航空器100中不同。所以，传送到各无人驾驶航空器100的指示信息中所包含的扩张距离可以在每一无人驾驶航空器100中不同。
此外，例如，终端控制部81计算用于使无人驾驶航空器100f在图中右方向上移动的移动量df及使无人驾驶航空器100k在图中右斜上方向上移动的移动量dk。当飞行队形为正方形时，以维持飞行队形的方式计算出的移动量dk与移动量df的关系以例如式(1)表示。
移动量dk＝21/2＊移动量df (1)
在式(1)中，(1/2)乘方表示平方根
Figure GPA0000270934820000181
星号(＊)表示乘法符号。移动后的无人驾驶航空器100f的位置为图9中的坐标(xf1、yf1)。移动后的无人驾驶航空器100k的位置为图9中的坐标(x1k、y1k)。
此处，示出了终端控制部81以将无人驾驶飞机组100G的中心设为基准点，各无人驾驶航空器100自基准点扩大(远离)或各无人驾驶航空器100朝向基准点变窄(靠近)的方式，计算各无人驾驶航空器100的移动量。此外，也可以不将无人驾驶飞机组100G的中心设为基准点，而将无人驾驶飞机组100G中的任意位置(例如任意无人驾驶航空器100的位置)设为基准点。此外，在无人驾驶飞机组100G的飞行队形为三角形的情况下，基准点可以是三角形的重心或中心。进而，终端控制部81也能够以飞行队形进行变化而无需维持飞行队形的方式，计算各无人驾驶航空器100的位置。
此外，终端控制部81可以与捏合缩小操作同样地在捏合放大操作中，也相同地进行所述移动量(相当于收缩距离)计算。捏合放大操作与捏合缩小操作相比，无人驾驶飞机组100G的扩张及收缩正好相反。
如此一来，终端控制部81可基于捏合缩小操作或捏合放大操作，指示多个无人驾驶航空器100朝向水平方向移动。该指示为第2移动指示的一个示例。
由此，终端80通过伴随着图像范围SA的变更操作使各无人驾驶航空器100朝向水平方向移动，而与各无人驾驶航空器100朝向高度方向移动相比，可使合成图像的图像范围SA更大地变化。所以，使各无人驾驶航空器100朝向水平方向移动有益于粗略地调整图像范围SA，且调整速度也达到高速。此外，终端80即便在例如因可飞行区域在高度方向上受到限制等无人驾驶航空器100难以朝向高度方向移动的情况下，仍可变更图像范围SA的大小。
此外，各无人驾驶航空器100朝向水平方向移动的结果，终端控制部81可指示多个无人驾驶航空器100的飞行控制，使得相邻2个无人驾驶航空器100之间的距离分别成为相同距离。即，如图9所例示，无人驾驶飞机组100G中各无人驾驶航空器100间的间隔可分别成为等间隔。
由此，由各无人驾驶航空器100拍摄的摄像图像重复部分的面积被统一而变得相同。因此，用于在合成图像的图像范围SA中生成合成图像各部分的信息量被统一为相同程度，所以，终端80可提升合成图像的图像品质。
图10是表示操作模式的设置屏幕的一个例示图。图10中，表示了触控面板TP的操作屏幕及其操作例。该操作模式用于在捏合缩小操作及捏合放大操作时，决定使各无人驾驶航空器100在高度方向上移动，还是在水平方向上移动。操作模式可包括例如细微调整的微调模式、粗略调整的粗调模式及自动地决定细微调整还是粗略调整的自动模式。
终端控制部81使触控面板TP显示用于选择微调模式的fine按钮bn1、用于选择粗调模式的coarse按钮bn2及用于选择自动模式的auto按钮bn3。微调模式是通过第1操作例中所示的无人驾驶飞机组100G的上升/下降而变更合成图像的图像范围SA。粗调模式是通过第2操作例中所示的无人驾驶飞机组100G扩张/收缩而变更合成图像的图像范围SA。自动模式下，终端控制部81自动地决定微调模式与粗调模式的任一模式，进行合成图像的图像范围SA的变更。
终端控制部81在自动模式下，决定微调模式与粗调模式的任一模式时，可以各种制约条件为基础进行判断。终端控制部81可获取制约条件信息，以制约条件为基础，在自动模式下决定设为微调模式还是设为粗调模式。例如，终端控制部81在因制约条件导致水平方向的移动范围受到限制(例如，地理上定为禁飞区域、被高层建筑包围的区域)的情况下，可通过自动模式的设定而设定微调模式。例如，在因制约条件导致高度方向的移动范围受到限制(例如，高度受到限制的室内)的情况下，终端控制部81可通过自动模式的设定而设定粗调模式。此外，终端控制部81在识别出捏合缩小或捏合放大的操作量较大，图像范围SA的变化量为阈值th3以上的情况下，可通过自动模式的设定而设定粗调模式。此外，终端控制部81在识别出捏合缩小或捏合放大的操作量较小，图像范围SA的变化未达阈值th3的情况下，可通过自动模式的设定而设定微调模式。
终端控制部81对于触控面板TP检测对fine按钮bn1、coarse按钮bn2及auto按钮bn3中的任一按钮操作的信息(操作信息的一个示例)后，将操作模式设定为与检测所得的按钮对应的微调模式、粗调模式、自动模式的任一模式。
例如，在微调模式下，用户可对于触控面板TP，进行捏合缩小操作。终端控制部81可获取捏合缩小操作的手指移动范围(例如操作量、操作方向)及手指移动速度(例如操作速度)。终端控制部81可计算与手指移动范围及速度对应的无人驾驶飞机组100G的下降量及下降速度，且通过通信部85，通知用于使无人驾驶飞机组100G下降的指示信息。各无人驾驶航空器100的UAV控制部110通过通信接口150，自终端80收到包括下降量及下降速度的指示信息之后，可按照该下降量及下降速度，使无人驾驶航空器100移动。
例如，在粗调模式下，用户可对触控面板TP，进行捏合放大操作。终端控制部81可获取捏合放大操作的手指移动范围(例如操作量、操作方向)及速度(例如操作速度)。终端控制部81可计算出与手指移动范围及速度对应的无人驾驶飞机组100G的水平方向移动量及移动速度，且通过通信部85，通知用于使无人驾驶飞机组100G在水平方向上移动的指示信息。各无人驾驶航空器100的UAV控制部110通过通信接口150，收到包括自终端80朝向水平方向的移动量及移动速度的指示信息之后，可按照该朝向水平方向的移动量及移动速度，使无人驾驶航空器100移动。
如此一来，终端控制部81可决定指示多个无人驾驶航空器100在高度方向上移动(第1移动指示的一个示例)，还是指示多个无人驾驶航空器100在水平方向上移动(第2移动指示的一个示例)。由此，终端80可在变更图像范围SA的大小时，根据多种变更方法的变化来决定1个。
此外，终端控制部81可基于多个无人驾驶航空器100可飞行区域的限制信息，决定使得多个无人驾驶航空器100在高度方向上移动还是在水平方向上移动。由此，终端80可考虑可飞行区域的制约，指示多个无人驾驶航空器100移动。从而，终端80可在考虑制约条件的同时，变更合成图像的图像范围SA的大小。此外，终端80在考虑制约条件，指示多个无人驾驶航空器100移动的情况下，可不必接收用户对操作部83(例如触控面板TP)的操作，亦不必考虑用户操作。
此外，终端控制部81可获取终端控制部81对于触控面板TP1的各种按钮(例如fine按钮bn1、coarse按钮bn2、auto按钮bn3)操作的信息，并基于操作信息，决定使得多个无人驾驶航空器100在高度方向上移动还是在水平方向上移动。由此，终端80可利用用户期望的移动指示方法，指示各无人驾驶航空器100移动。
(第3操作例)
图11是表示利用对触控面板TP的扭转操作，使合成图像的图像范围SA旋转的操作例(第3操作例)的图。在第3操作例中，表示使无人驾驶飞机组100G以基准点(例如无人驾驶飞机组100G的中心点)为中心在水平方向上旋转的操作。在图11中，示出了各无人驾驶航空器100自身不旋转(也称为自转)，而使无人驾驶飞机组100G以基准点为中心进行旋转(也称为公转)的情况。扭转操作是用于使合成图像的图像范围SA变更的变更操作之一。此外，在自转中，变更无人驾驶航空器100的朝向，而无人驾驶航空器100并不移动。
终端80的终端控制部81可使无人驾驶飞机组100G进行公转，并且使各无人驾驶航空器100自身进行自转。在使无人驾驶飞机组100G公转且自转的情况下，合成图像的图像范围SA的轮廓在无人驾驶飞机组100G旋转前后不发生变化。例如，在旋转前的无人驾驶飞机组100G的飞行队形为矩形时，旋转后的无人驾驶飞机组100G的飞行队形也维持相同的矩形。另一方面，在终端控制部81不使各无人驾驶航空器100自身进行自转而使无人驾驶飞机组100G进行公转的情况下，合成图像的图像范围SA的轮廓在无人驾驶飞机组100G旋转前后可能产生变化。例如，在旋转前的无人驾驶飞机组100G的飞行队形为矩形时，旋转后的无人驾驶飞机组100G的飞行队形可能变化为近似平行四边形的形状。
在扭转操作中，例如，终端控制部81在2个时点获取对触控面板TP中的2个位置输入的信息，并在所述2个时点获取(例如计算)将被输入的2个位置连结而成的线。终端控制部81可计算2个时点中获取的2条线所成的角度(旋转角度)，且当计算出的角度为阈值th4以上时，检测出扭转操作。
用户对于触控面板TP，进行将2个手指(例如大拇指fg1与食指fg2)以触摸状态进行扭转的扭转操作。终端控制部81通过触控面板TP，检测扭转操作及其操作量。终端控制部81在检测到扭转操作之后，计算与该操作量相应的旋转角度。旋转角度表示旋转前后无人驾驶飞机组100G所旋转的角度、即无人驾驶飞机组100G的各无人驾驶航空器100以基准点为中心旋转的角度。例如，可以是操作量越大，则旋转角度越大，而操作量越小，则上升距离越小。
终端控制部81通过通信部85，对于无人驾驶飞机组100G的各无人驾驶航空器100，传送用于指示以计算出的旋转角度旋转的指示信息。无人驾驶飞机组100G的各无人驾驶航空器100通过通信接口150，接收该指示信息。UAV控制部110按照收到的指示信息，驱动旋翼机构210，移动各无人驾驶航空器100，以使无人驾驶飞机组100G以基准点为中心以旋转角度进行旋转。
图12是通过用户的扭转操作而使无人驾驶飞机组100G旋转时的旋转角度θ的计算例的说明图。旋转角度θ可以是例如将大拇指fg1及食指fg2分别对于操作前(旋转前)触控面板TP的触点连接而成的直线、与将大拇指fg1及食指fg2分别对于操作后触控面板TP的触点连接而成的直线所成的角度。旋转角度θ也可以是对于所述2个直线所成的角度进行特定的运算(例如以特定系数进行乘法)所得的值。
图12中，与图9同样地表示以形成矩形网格点的方式配置有9个无人驾驶航空器100c～100k。9个无人驾驶航空器100c～100k中，将相对于位于中心的无人驾驶航空器100o为图中左斜上方的无人驾驶航空器100i的位置设为坐标(xi、yi)。
在用户对于触控面板TP进行扭转操作的情况下，终端控制部81自操作部83获取扭转操作的操作量。终端控制部81以扭转操作量为基础，计算旋转角度θ。终端控制部81以旋转角度θ为基础，计算无人驾驶航空器100i以作为一例基准点的无人驾驶航空器100o为中心所移动的位置坐标(x′i、y′i)。在此情况下，终端控制部81可按照使用旋转矩阵的式(2)进行计算。
式(2)
Figure GPA0000270934820000211
终端控制部81传送用于以无人驾驶飞机组100G旋转的方式使各无人驾驶航空器100移动的指示信息。在此情况下，终端控制部81可通过通信部85，将包括计算出的旋转后无人驾驶飞机组100G的位置坐标的指示信息通知无人驾驶飞机组100G。各无人驾驶航空器100的UAV控制部110通过通信接口150，自终端80收到包括旋转后的位置坐标的指示信息之后，驱动旋翼机构210，使无人驾驶航空器100移动到所接收的旋转后的位置坐标。在图12中，基于由旋转后的无人驾驶飞机组100G的各无人驾驶航空器100拍摄的摄像图像生成的合成图像的图像范围SA(图中的斜线范围)与旋转前相比，转移到与旋转角度θ对应的区域，变为近似平行四边形的轮廓。
此外，当用户进行扭转操作时，终端控制部81可通过操作部83，不仅检测手指移动操作及其操作量，而且检测手指移动速度。终端控制部81在检测到手指移动速度的情况下，可基于该手指移动速度，决定无人驾驶飞机组100G的旋转速度，再将包括旋转速度的指示信息传送至各无人驾驶航空器100。各无人驾驶航空器100的UAV控制部110可通过通信接口150，接收该指示信息。UAV控制部110可按照指示信息，以无人驾驶飞机组100G按决定的无人驾驶飞机组100G的旋转速度旋转的方式，使各无人驾驶航空器100移动。由此，终端80可根据用户操作，任意地变更使合成图像的图像范围SA旋转的速度。
如此一来，终端80的终端控制部81可获取用于使合成图像的图像范围SA旋转的扭转操作(变更操作的一个示例)的信息，并基于扭转操作，对各无人驾驶航空器100指示飞行控制，使各无人驾驶航空器100维持无人驾驶飞机组100G中的各无人驾驶航空器100的位置关系，以基准位置为基准进行旋转。由此，终端80可根据用户操作使图像范围SA旋转，因此，可以用户所期望的方式使图像范围SA直观地旋转。
(第4操作例)
图13是表示通过对触控面板TP的滑动操作而使无人驾驶飞机组100G移动的操作例(第4操作例)的图。第4操作例中，表示使无人驾驶飞机组100G在期望的方向上移动特定距离的操作。滑动操作是将合成图像的图像范围SA变更的变更操作之一。
在滑动操作中，例如，终端控制部81在2个时点获取对于触控面板TP中的1个位置的输入。终端控制部81检测到例如在该2个时点之间输入位置连续地变化之后，检测出滑动操作。
用户对于触控面板TP进行以1个手指(例如食指fg2)触摸翻转的滑动操作。终端控制部81通过触控面板TP，以食指fg2的接触起点ti与接触终点to为基础，检测出滑动操作及其操作量。终端控制部81在检测到滑动操作之后，计算与该操作量相应的各无人驾驶航空器100的移动距离。该移动距离可以是各无人驾驶航空器100朝向水平方向的移动距离。各无人驾驶航空器100的移动距离可以相同。例如，可以是操作量越大，则移动距离越长，而操作量越小，则移动距离越短。
此外，终端控制部81可决定与滑动操作相应的各无人驾驶航空器100的移动方向。终端控制部81可基于触控面板TP中接触起点ti的位置及接触终点to的位置，决定各无人驾驶航空器100的移动方向。例如，终端控制部81可将自真实空间中与触控面板TP中显示的接触起点ti对应的位置朝向真实空间中与接触终点to对应的位置的方向设为各无人驾驶航空器100的移动方向。其结果，触控面板TP中显示的被摄物体的位置可在与各无人驾驶航空器100的移动方向α相反的方向上移动。
终端控制部81通过通信部85，对无人驾驶飞机组100G传送用于指示以计算出的移动距离及移动方向移动的指示信息。无人驾驶飞机组100G的各无人驾驶航空器100的UAV控制部110通过通信接口150，接收该指示信息。UAV控制部110按照收到的指示信息，驱动旋翼机构210，使各无人驾驶航空器100朝向与滑动操作相应的移动方向以移动距离移动。在此情况下，因无人驾驶飞机组100G的各无人驾驶航空器100在相同移动方向上移动相同的移动距离，故合成图像的图像范围SA的大小不变，图像范围SA中所包含的地理范围产生变化(移动)。
此外，当用户进行滑动操作时，终端控制部81可通过操作部83，不仅检测手指移动操作及其操作量，而且检测手指移动速度。终端控制部81在检测到手指移动速度之后，可将移动速度包括在指示信息中对无人驾驶飞机组100G的各无人驾驶航空器100传送，使无人驾驶飞机组100G以与该手指移动速度对应的移动初速度移动。无人驾驶飞机组100G的各无人驾驶航空器100的UAV控制部110可通过通信接口150，接收该指示信息。UAV控制部110可按照指示信息，使无人驾驶航空器100以与手指移动速度对应的移动初速度移动。由此，终端80可根据用户操作，任意地变更使合成图像的图像范围SA移动的速度。此外，无人驾驶航空器100可基于滑动操作，最初先以移动初速度移动，受到与移动方向相反方向的加速度后，在减小移动速度的同时进行移动。所以，移动距离可长于真实空间中与触控面板TP中显示的接触起点ti对应的位置和真实空间中与接触终点to对应的位置的距离。
如此一来，终端80的终端控制部81可获取用于使合成图像的图像范围SA水平方向地移动到其他地理范围的滑动操作(变更操作的一个示例)的信息，并基于滑动操作，对各无人驾驶航空器100指示飞行(水平方向移动)控制。由此，终端80可根据用户操作，任意地变更图像范围SA的地理范围，因此，可以用户期望的方式直观地移动合成图像的图像范围SA。
接着，对于飞行器组控制系统10的操作进行说明。
图14是表示终端80及各无人驾驶航空器100的操作流程的时序图。图14中，示出了在无人驾驶飞机组100G飞行并进行摄像的状态下，对由无人驾驶飞机组100G拍摄的图像范围SA进行变更的操作。此处，作为无人驾驶航空器100的操作，例示了无人驾驶航空器100的移动。
在各无人驾驶航空器100中，UAV控制部110在飞行中，使摄像部220拍摄被摄物体(例如地面方向)，并通过通信接口150，将拍摄所得的摄像图像的图像数据传送到终端80(S11)。
在终端80中，终端控制部81自各无人驾驶航空器100通过通信部85，接收获取图像数据(S1)。此外，终端控制部81自各无人驾驶航空器100通过通信部85，接收获取与摄像图像相关的附加信息。附加信息中，包括有摄像图像的摄像范围信息。终端控制部81将由各无人驾驶航空器100拍摄的图像合成以生成合成图像(S2)。此外，终端控制部81基于自各无人驾驶航空器100获取的摄像范围信息，计算合成图像的图像范围SA。终端控制部81将生成的合成图像显示在触控面板TP(S3)。
终端控制部81通过触控面板TP，获取用于变更图像范围SA的变更操作信息(S4)。变更操作是例如捏合缩小操作、捏合放大操作、扭转操作、或滑动操作。终端控制部81基于变更操作，生成用于控制各无人驾驶航空器100飞行的移动控制信息，并将生成的移动控制信息传送到各无人驾驶航空器100(S5)。该移动控制信息相当于例如上述指示信息。
终端控制部81判别用于变更图像范围SA的变更操作是否结束(S6)。变更操作是否结束既可通过例如用于变更操作的用户对于触控面板TP的操作是否结束来判定，也可以通过为进行变更操作而接触的用户手指是否离开触控面板TP而判定。在变更操作未结束时，终端控制部81返回S1处理。在结束变更操作的情况下，终端控制部81将本操作结束。
在各无人驾驶航空器100中，UAV控制部110自终端80通过通信接口150，接收移动控制信息(S12)。UAV控制部110驱动旋翼机构210，使无人驾驶航空器100移动至基于移动控制信息的位置(S13)。接着，UAV控制部110返回到S11处理。
如此一来，终端80的终端控制部81获取由各无人驾驶航空器100拍摄的多个摄像图像(第1摄像图像的一个示例)。终端控制部81将多个摄像图像合成以生成合成图像(第1合成图像的一个示例)。终端控制部81获取用于变更合成图像的图像范围SA(第1图像范围的一个示例)的变更操作信息。终端控制部81基于变更操作，指示多个无人驾驶航空器100的飞行控制。
由此，终端80可基于变更操作，指示无人驾驶飞机组100G中的多个无人驾驶航空器100移动。因此，例如，与不使各无人驾驶航空器100移动的情况下而变更利用各无人驾驶航空器100所具有的数字变焦拍摄的摄像图像的图像范围相比，终端80可抑制摄像图像的图像质量劣化。所以，终端80也可以抑制将多个摄像图像合成的合成图像的图像质量劣化。此外，终端80可通过由用户操作，指示变更合成图像的图像范围SA而使无人驾驶航空器100更直观地移动。
此外，变更操作信息可包括变更操作的类别(例如捏合缩小操作、捏合放大操作、扭转操作、滑动操作中的任一个操作)与变更操作的操作量的信息。终端控制部81可计算图像范围SA，并基于图像范围SA、变更操作类别及变更操作的操作量，计算图像范围SA2(第2图像范围的一个示例)。终端控制部81可基于变更操作，指示多个无人驾驶航空器100的飞行控制，使将各无人驾驶航空器100移动后所拍摄的多个摄像图像(第2摄像图像的一个示例)合成情况下的合成图像(第2合成图像的一个示例)的图像范围成为图像范围SA2。在此情况下，终端控制部81可基于例如变更操作的操作量，决定无人驾驶航空器100的移动量或旋转角度。终端控制部81可以变更前的图像范围SA与经决定的移动量或旋转角度为基础，将变更后的图像范围SA2导出。
由此，终端80可以用户期待的变更操作的操作量，指示无人驾驶飞机组100G的飞行控制，从而可变更为用户期待的合成图像的图像范围SA，进而可使无人驾驶航空器100更直观地移动。
此外，在图14中，终端控制部81在S5中基于变更操作，生成移动控制信息并进行传送，在S6中变更操作结束之前，反复进行S5基于变更操作的移动控制信息的生成及传送。即，终端控制部81在获取变更操作信息完成之前，可反复地执行基于变更操作指示多个无人驾驶航空器100的飞行控制。
由此，终端80可在持续进行变更操作的同时，依次移动多个无人驾驶航空器100。通过终端80依次显示基于由已移动的无人驾驶航空器100拍摄的摄像图像合成的合成图像，用户可以在通过显示直接确认是否已达成期望的合成图像的同时，确定变更操作结束的时机。此外，终端80可以高速地移动无人驾驶航空器组100G，而不是移动多个无人驾驶航空器100等待变更操作的结束。
此外，与图14不同，终端控制部81也可以在完成获取变更操作信息之后，基于变更操作指示无人驾驶航空器100的飞行控制。
由此，终端80可在变更操作结束之后，使得多个无人驾驶航空器100一起移动。因此，终端80与变更操作的操作中使得多个无人驾驶航空器100依次地移动相比，可削减终端80与多个无人驾驶航空器100之间的通信量，从而可降低网络负载。
以上通过实施方式对本发明进行了说明，但本发明的技术范围不限于上述实施方式中描述的范围。对于本领域技术人员来说，显而易见可对上述实施方式进行各种变更或改善。根据权利要求书的描述显而易见的是，进行如此变更或改善的方式也可包括在本发明的技术范围内。
权利要求书、说明书及附图中所示的装置、系统、程序及方法中的操作、流程、步骤及阶段等各处理的执行顺序只要未特别地明确“之前”、“先于”等，未将前一处理的输出用于后一处理，则可以任意的顺序实现。就权利要求书、说明书及附图中的操作流程而言，为方便起见而使用“首先”、“接着”等进行了说明，但并非表示必须以此顺序实施。
所述实施方式中，主要表现了无人驾驶飞机组100G中的各无人驾驶航空器100自上方朝向地面(即，沿重力方向)进行拍摄。此外，各无人驾驶航空器100也可以在重力方向以外的方向上进行拍摄。例如，无人驾驶飞机组100G中的各无人驾驶航空器100以重力方向排列、拍摄处于水平方向的被摄物体、或无人驾驶飞机组100G相对于重力方向或水平方向具有角度地排列均可应用本实施方式。在此情况下，所述(拍摄地面时)重力方向(高度方向)上的移动成为沿着被摄物体方向即摄像方向移动，所述水平方向的移动成为沿着与摄像方向垂直的方向移动。

Claims (31)

1.一种信息处理装置，其特征在于：指示多个飞行器的飞行控制，且
具备处理部；
所述处理部获取由各飞行器拍摄的多个第1摄像图像；且
对所述多个第1摄像图像进行合成以生成第1合成图像；
并获取用于变更作为所述第1合成图像的图像范围的第1图像范围的变更操作的信息；
基于所述变更操作，指示所述多个飞行器的飞行控制。
2.如权利要求1所述的信息处理装置，其特征在于：
所述变更操作的信息包括所述变更操作的类别及所述变更操作的操作量的信息；
所述处理部计算出所述第1图像范围；
基于所述第1图像范围、所述变更操作的类别及所述变更操作的操作量，计算出第2图像范围；
指示所述多个飞行器的飞行控制，使得将各飞行器拍摄的多个第2摄像图像合成情况下的第2合成图像的图像范围成为所述第2图像范围。
3.如权利要求1所述的信息处理装置，其特征在于：
所述处理部获取用于变更所述第1图像范围的大小的所述变更操作的信息；
基于所述变更操作，进行指示所述多个飞行器朝向与水平方向垂直的方向移动的第1移动指示。
4.如权利要求3所述的信息处理装置，其特征在于：
所述处理部进行所述第1移动指示，使得所述多个飞行器移动相同距离。
5.如权利要求1至4中任一项所述的信息处理装置，其特征在于：
所述处理部获取用于变更所述第1图像范围的大小的所述变更操作信息；
基于所述变更操作，进行指示所述多个飞行器朝向水平方向移动的第2移动指示。
6.如权利要求5所述的信息处理装置，其特征在于：
所述处理部进行所述第2移动指示，使得所述多个飞行器中相邻2个飞行器之间的距离成为等间隔。
7.如权利要求5所述的信息处理装置，其特征在于：
所述处理部进行所述第2移动指示，使得所述多个飞行器中相邻2个飞行器之间的距离成为阈值以上的距离。
8.如权利要求5所述的信息处理装置，其特征在于：
所述处理部进行所述第2移动指示，使得由所述多个飞行器中相邻2个飞行器拍摄的摄像图像的图像范围至少一部分重复。
9.如权利要求3所述的信息处理装置，其特征在于：
所述处理部决定进行指示所述多个飞行器朝向与水平方向垂直的方向移动的第1移动指示，还是进行指示所述多个飞行器朝向水平方向移动的第2移动指示。
10.如权利要求9所述的信息处理装置，其特征在于：
所述处理部基于所述多个飞行器可飞行区域的限制信息，决定进行所述第1移动指示还是进行所述第2移动指示。
11.如权利要求9所述的信息处理装置，其特征在于：
所述处理部获取用于选择进行所述第1移动指示还是进行所述第2移动指示的操作信息，
基于所述操作信息，决定进行所述第1移动指示还是进行所述第2移动指示。
12.如权利要求1所述的信息处理装置，其特征在于：
所述处理部获取用于使所述第1图像范围旋转的所述变更操作信息，
基于所述变更操作，指示所述多个飞行器的飞行控制，以维持所述多个飞行器的位置关系，以所述多个飞行器的基准位置为基准进行旋转。
13.如权利要求1所述的信息处理装置，其特征在于：
所述处理部获取用于将所述第1图像范围水平方向地移动至其他地理范围的所述变更操作信息，
基于所述变更操作，指示多个飞行器移动。
14.如权利要求1所述的信息处理装置，其特征在于：
所述处理部在获取所述变更操作信息结束之前，反复地基于所述变更操作执行所述多个飞行器的飞行控制指示。
15.如权利要求1所述的信息处理装置，其特征在于：
所述处理部在获取所述变更操作信息结束之后，基于所述变更操作指示飞行器的飞行控制。
16.一种指示多个飞行器的飞行控制的信息处理装置中的飞行控制指示方法，其特征在于，包括以下步骤：
获取由各飞行器拍摄的多个第1摄像图像；
对所述多个第1摄像图像进行合成以生成第1合成图像；
获取用于将所述第1合成图像的图像范围即第1图像范围变更的变更操作信息；及
基于所述变更操作，指示所述多个飞行器的飞行控制。
17.如权利要求16所述的飞行控制指示方法，其特征在于：
所述变更操作信息包括所述变更操作的类别及所述变更操作的操作量的信息；
指示所述多个飞行器的飞行控制的步骤包括以下步骤：
计算出所述第1图像范围；
基于所述第1图像范围、所述变更操作类别及所述变更操作的操作量，计算出第2图像范围；及
指示所述多个飞行器的飞行控制，使得将各飞行器拍摄的多个第2摄像图像合成情况下的第2合成图像的图像范围成为所述第2图像范围。
18.如权利要求16所述的飞行控制指示方法，其特征在于：
获取所述变更操作信息的步骤包括获取用于变更所述第1图像范围的大小的所述变更操作信息的步骤；
指示所述多个飞行器的飞行控制的步骤包括基于所述变更操作，进行指示所述多个飞行器朝向与水平方向垂直的方向移动的第1移动指示的步骤。
19.如权利要求18所述的飞行控制指示方法，其特征在于：
指示所述多个飞行器的飞行控制的步骤包括进行所述第1移动指示，使得所述多个飞行器移动相同距离的步骤。
20.如权利要求16至19中任一项所述的飞行控制指示方法，其特征在于：
获取所述变更操作信息的步骤包括获取用于变更所述第1图像范围的大小的所述变更操作信息的步骤；
指示所述多个飞行器的飞行控制的步骤包括基于所述变更操作，进行指示所述多个飞行器朝向水平方向移动的第2移动指示的步骤。
21.如权利要求20所述的飞行控制指示方法，其特征在于：
指示所述多个飞行器的飞行控制的步骤包括进行所述第2移动指示，使得所述多个飞行器中相邻2个飞行器之间的距离成为等间隔的步骤。
22.如权利要求20所述的飞行控制指示方法，其特征在于：
指示所述多个飞行器的飞行控制的步骤包括进行所述第2移动指示，使得所述多个飞行器中相邻2个飞行器之间的距离成为阈值以上的距离的步骤。
23.如权利要求20所述的飞行控制指示方法，其特征在于：
指示所述多个飞行器的飞行控制的步骤包括进行所述第2移动指示，使得由所述多个飞行器中相邻2个飞行器拍摄的摄像图像的图像范围的至少一部分重复的步骤。
24.如权利要求18所述的飞行控制指示方法，其特征在于，进一步包括以下步骤：
决定进行指示所述多个飞行器朝向与水平方向垂直的方向移动的第1移动指示，还是进行指示所述多个飞行器朝向水平方向移动的第2移动指示。
25.如权利要求24所述的飞行控制指示方法，其特征在于：
进行决定的步骤包括基于所述多个飞行器可飞行区域的限制信息，决定进行所述第1移动指示还是进行所述第2移动指示的步骤。
26.如权利要求24所述的飞行控制指示方法，其特征在于：
进行决定的步骤包括以下步骤：
获取用于选择进行所述第1移动指示还是进行所述第2移动指示的操作信息；及
基于所述操作信息，决定进行所述第1移动指示还是进行所述第2移动指示。
27.如权利要求16所述的飞行控制指示方法，其特征在于：
获取所述变更操作信息的步骤包括获取用于使所述第1图像范围旋转的所述变更操作信息的步骤；且
指示所述多个飞行器的飞行控制的步骤包括基于所述变更操作，指示所述多个飞行器的飞行控制，以维持所述多个飞行器的位置关系，以所述多个飞行器的基准位置为基准进行旋转的步骤。
28.如权利要求16所述的飞行控制指示方法，其特征在于：
获取所述变更操作信息的步骤包括获取用于将所述第1图像范围水平方向地移动至其他地理范围的所述变更操作信息的步骤；
指示所述多个飞行器的飞行控制的步骤包括基于所述变更操作，指示所述多个飞行器移动的步骤。
29.如权利要求16所述的飞行控制指示方法，其特征在于：
指示所述多个飞行器的飞行控制的步骤包括在获取所述变更操作信息结束之前，反复地基于所述变更操作执行所述多个飞行器的飞行控制指示的步骤。
30.如权利要求16所述的飞行控制指示方法，其特征在于：
指示所述多个飞行器的飞行控制的步骤包括在获取所述变更操作信息结束之后，基于所述变更操作指示飞行器的飞行控制的步骤。
31.一种可计算机读取的记录介质，其特征在于：记录有用于使指示多个飞行器的飞行控制的信息处理装置执行以下步骤的程序：
获取由各飞行器拍摄的多个第1摄像图像；
对所述多个第1摄像图像进行合成以生成第1合成图像；
获取用于变更所述第1合成图像的图像范围即第1图像范围的变更操作信息；及
基于所述变更操作，指示所述多个飞行器的飞行控制。
CN201880014643.8A 2017-12-26 2018-12-14 信息处理装置、飞行控制指示方法、程序及记录介质 Active CN110366745B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017249297A JP6962812B2 (ja) 2017-12-26 2017-12-26 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP2017-249297 2017-12-26
PCT/CN2018/121186 WO2019128737A1 (zh) 2017-12-26 2018-12-14 信息处理装置、飞行控制指示方法、程序及记录介质

Publications (2)

Publication Number Publication Date
CN110366745A CN110366745A (zh) 2019-10-22
CN110366745B true CN110366745B (zh) 2022-02-11

Family

ID=67066501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880014643.8A Active CN110366745B (zh) 2017-12-26 2018-12-14 信息处理装置、飞行控制指示方法、程序及记录介质

Country Status (4)

Country Link
US (1) US20200320886A1 (zh)
JP (1) JP6962812B2 (zh)
CN (1) CN110366745B (zh)
WO (1) WO2019128737A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210125505A1 (en) * 2018-04-05 2021-04-29 Ntt Docomo, Inc. Flight vehicle management apparatus
JPWO2021070464A1 (zh) * 2019-10-07 2021-04-15
US20210349478A1 (en) * 2020-05-11 2021-11-11 Soter Technology Inc Methods, systems, apparatuses, and devices for facilitating managing of paths for unmanned vehicles
JP6949417B1 (ja) * 2020-05-18 2021-10-13 防衛装備庁長官 車両操縦システムと車両操縦方法
KR102347325B1 (ko) * 2021-03-09 2022-01-06 주식회사 파블로항공 무인 비행체 편대 비행 지원 장치
JP2022152525A (ja) 2021-03-29 2022-10-12 株式会社Subaru 慣性航法装置の誤差補正システム及び慣性航法装置の誤差補正方法
CN113867405A (zh) * 2021-11-09 2021-12-31 广东电网有限责任公司江门供电局 一种基于5g网络回传的输电线路无人机巡检方法及系统
WO2023188299A1 (ja) 2022-03-31 2023-10-05 三菱電機株式会社 無人機管理システム、無人機管理方法、データ蓄積装置、データ分析装置、災害予測装置、無人機制御装置、および情報提供装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105448137A (zh) * 2014-07-31 2016-03-30 深圳市大疆创新科技有限公司 飞行器及其控制方法、飞行器的智能管理系统及方法
CN105556408A (zh) * 2014-09-15 2016-05-04 深圳市大疆创新科技有限公司 一种飞行器的飞行控制方法及相关装置
WO2016108342A1 (en) * 2014-12-29 2016-07-07 Lg Electronics Inc. Mobile device and method for controlling the same
CN106373088A (zh) * 2016-08-25 2017-02-01 中国电子科技集团公司第十研究所 大倾斜低重叠率航空图像的快速拼接方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747577B2 (en) * 2001-11-26 2004-06-08 The Boeing Company Methods and systems for air vehicle telemetry
FR2875004B1 (fr) * 2004-09-07 2007-02-16 Thales Sa Dispositif de signalisation de risques
US9330573B2 (en) * 2009-06-25 2016-05-03 Honeywell International Inc. Automated decision aid tool for prompting a pilot to request a flight level change
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP6367759B2 (ja) * 2015-06-01 2018-08-01 日本電信電話株式会社 表示画像ズーム端末、表示画像ズーム方法及び表示画像ズームプログラム
JP6557534B2 (ja) * 2015-07-22 2019-08-07 鹿島建設株式会社 監視装置
JP6685713B2 (ja) * 2015-12-15 2020-04-22 キヤノン株式会社 撮像システムおよびその制御方法、通信装置、移動撮像装置
JP6391880B2 (ja) * 2016-05-20 2018-09-19 誠 高宮 カメラシステム
KR20180074325A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 복수의 드론을 제어하는 전자 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105448137A (zh) * 2014-07-31 2016-03-30 深圳市大疆创新科技有限公司 飞行器及其控制方法、飞行器的智能管理系统及方法
CN105556408A (zh) * 2014-09-15 2016-05-04 深圳市大疆创新科技有限公司 一种飞行器的飞行控制方法及相关装置
WO2016108342A1 (en) * 2014-12-29 2016-07-07 Lg Electronics Inc. Mobile device and method for controlling the same
CN106373088A (zh) * 2016-08-25 2017-02-01 中国电子科技集团公司第十研究所 大倾斜低重叠率航空图像的快速拼接方法

Also Published As

Publication number Publication date
JP2019115012A (ja) 2019-07-11
WO2019128737A1 (zh) 2019-07-04
US20200320886A1 (en) 2020-10-08
JP6962812B2 (ja) 2021-11-05
CN110366745A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110366745B (zh) 信息处理装置、飞行控制指示方法、程序及记录介质
US20210116944A1 (en) Systems and methods for uav path planning and control
US10897567B2 (en) Systems and methods for controlling an image captured by an imaging device
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
JP6735821B2 (ja) Ｕａｖ経路を計画し制御するシステム及び方法
US20200218289A1 (en) Information processing apparatus, aerial photography path generation method, program and recording medium
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
US20200221056A1 (en) Systems and methods for processing and displaying image data based on attitude information
CN111344650B (zh) 信息处理装置、飞行路径生成方法、程序以及记录介质
WO2019105231A1 (zh) 信息处理装置、飞行控制指示方法及记录介质
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
JP7435599B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3967599A1 (en) Information processing device, information processing method, program, and information processing system
JP6875269B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
CN109891188B (zh) 移动平台、摄像路径生成方法、程序、以及记录介质
WO2021014752A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP2020003428A (ja) 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant