CN114270284A - 控制设备、控制方法、无人驾驶飞行器、信息处理设备、信息处理方法及程序 - Google Patents

控制设备、控制方法、无人驾驶飞行器、信息处理设备、信息处理方法及程序 Download PDF

Info

Publication number
CN114270284A
CN114270284A CN202080058352.6A CN202080058352A CN114270284A CN 114270284 A CN114270284 A CN 114270284A CN 202080058352 A CN202080058352 A CN 202080058352A CN 114270284 A CN114270284 A CN 114270284A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
unit
image
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080058352.6A
Other languages
English (en)
Inventor
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114270284A publication Critical patent/CN114270284A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D25/00—Emergency apparatus or devices, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及被配置为能够反映用户的意图并在无人驾驶飞行设备发生故障的情况下减少损害的控制设备、控制方法、无人驾驶飞行器、信息处理设备、信息处理方法以及程序。本发明的第一方面的控制设备根据关于由无人驾驶飞行设备拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行设备的移动。本发明能够应用于控制无人机的设备，其中在机器本体发生故障时控制移动以偏移坠落位置。

Description

控制设备、控制方法、无人驾驶飞行器、信息处理设备、信息处 理方法及程序
技术领域
本技术特别涉及能够反映用户的意图并且在无人驾驶飞行器发生故障的情况下减少损害的控制设备、控制方法、无人驾驶飞行器、信息处理设备、信息处理方法以及程序。
背景技术
近年来，可以被遥控的称为无人机的小型无人驾驶飞行器一直备受关注。如果无人驾驶飞行器在飞行期间出现故障并变得无法控制，那么它会坠落并导致重大事故。因此，已经提出了用于在发生故障的情况下减少损害的各种技术。
例如，PTL 1提出了一种用于基于通过对飞行器的下部进行摄像获得的图像来估计坠落范围和检测人、并且控制飞行器以使得人的位置和坠落范围不重叠的技术。
[引用列表]
[专利文献]
[PTL 1]
WO 2017/033976
发明内容
[技术问题]
在PTL 1中公开的技术中，有必要预先决定检测目标。另外，由于飞行器的控制委托给自持控制(self-sustaining control)，因此不可能根据情况反映操作无人驾驶飞行器的用户的价值观和用户的意图。
本技术正是针对这种情况而做出的，并且反映了用户的意图，使得可以减少在无人驾驶飞行器发生故障的情况下的损害。
[问题解决方案]
根据本技术的第一方面的控制设备包括控制单元，该控制单元根据针对由无人驾驶飞行器拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
根据本技术的第二方面的无人驾驶飞行器包括：成像单元，其拍摄周围情况；以及，控制单元，其根据针对由成像单元拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
根据本技术的第三方面的信息处理设备包括：显示控制单元，其显示由无人驾驶飞行器拍摄的示出坠落位置的图像；生成单元，其针对所述图像生成用于控制无人驾驶飞行器的移动的控制命令；以及传送单元，其向无人驾驶飞行器传送控制命令。
在本技术的第一方面中，根据针对由无人驾驶飞行器拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
在本技术的第二方面中，拍摄周围情况，并根据针对示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
在本技术的第三方面中，显示由无人驾驶飞行器拍摄的示出坠落位置的图像，针对所述图像生成用于控制无人驾驶飞行器的移动的控制命令，并且向无人驾驶飞行器传送控制命令。
附图说明
图1是示出根据本技术的实施例的控制系统的配置示例的图。
图2是示出坠落时的状态的图。
图3是示出合成图像的显示示例的图。
图4是示出用户操作的示例的图。
图5是示出由无人驾驶飞行器拍摄的图像与智能电话上显示的合成图像之间的关系的图。
图6是示出控制器的另一个配置示例的图。
图7是示出无人驾驶飞行器的配置示例的框图。
图8是示出估计坠落位置的方法的示例的图。
图9是示出用于生成合成图像的图像的示例的图。
图10是示出合成拍摄的图像的方法的示例的图。
图11是示出由控制命令表示的合成图像坐标系上的方向的示例的图。
图12是示出控制已接收到控制命令的无人驾驶飞行器的移动的示例的图。
图13是示出坠落模式下马达的旋转方向的示例的图。
图14是示出控制器的配置示例的图。
图15是图示用于无人驾驶飞行器的坠落损害减轻处理的流程图。
图16是图示控制器的合成图像显示处理的流程图。
图17是示出用户的用于指定坠落位置的操作的示例的图。
图18是示出已接收到控制命令的无人驾驶飞行器的移动的示例的图。
图19是示出接收用于指定坠落位置的控制命令的无人驾驶飞行器的配置示例的框图。
图20是示出无人驾驶飞行器的坠落位置附近的物体的示例的图。
图21是示出其中合成了物体检测结果的合成图像的显示示例的图。
图22是示出检测出现在合成图像中的物体的无人驾驶飞行器的配置示例的框图。
图23是图示由无人驾驶飞行器执行的坠落损害减轻处理的流程图。
图24是示出用于避免碰撞的动作的示例的图。
图25是示出根据计划示出移动方向的合成图像的显示示例的图。
图26是示出用户的指示在与计划的方向不同的方向上移动的操作的示例的图。
图27是示出无人驾驶飞行器的移动的示例的图。
图28是示出具有自主避开功能的无人驾驶飞行器的配置示例的框图。
图29是图示由无人驾驶飞行器执行的坠落损害减轻处理的流程图。
图30是示出智能电话的配置示例的图。
图31是示出计算机硬件的配置示例的框图。
具体实施方式
在下文中，将描述本技术的实施例。注意的是，将按以下次序给出描述。
1.无人驾驶飞行器的第一控制的示例
2.每个设备的配置
3.每个设备的操作
4.无人驾驶飞行器的第二控制的示例
5.无人驾驶飞行器的第三控制的示例
6.无人驾驶飞行器的第四控制的示例
7.变更
<无人驾驶飞行器的第一控制的示例>
图1是示出了根据本技术的实施例的控制系统的配置示例的图。
图1的控制系统包括无人驾驶飞行器1和控制器2。
无人驾驶飞行器1是所谓的无人机，并且根据来自控制器2的信号移动(飞行)。无人驾驶飞行器1可以是自主移动的飞行器。在图1中，无人驾驶飞行器1在房屋O1上空移动，并且汽车O2停在房子O1旁边。
无人驾驶飞行器1是配备有相机的飞行器。在无人驾驶飞行器1移动时拍摄的图像如虚线箭头所指示的那样通过无线通信被传送到控制器2。
从无人驾驶飞行器1传送的图像可以是移动图像或静止图像。也可以通过有线通信而不是无线通信来传送图像。
作为无人驾驶飞行器1的发送器的控制器2接收从无人驾驶飞行器1传送的图像并将其显示在智能电话3上。在图1的示例中，控制器2是使用附接到控制器2的壳体的智能电话3的显示器作为由无人驾驶飞行器1的相机拍摄的图像的显示目的地的设备。
以这种方式，即使在无人驾驶飞行器1远离用户移动时，用户也可以在观看显示在智能电话3上的图像的同时操作控制器2并且控制无人驾驶飞行器1。
顺便说一下，可能会发生诸如螺旋桨脱落或马达故障之类的事故。在这种情况下，无人驾驶飞行器1将坠落。
在图1的控制系统中，即使在无人驾驶飞行器1坠落时也继续成像，并且将坠落期间的图像呈现给用户。用户可以在坠落期间通过观看图像来控制无人驾驶飞行器1的移动。
图2是示出坠落时的状态的图。
当飞行器的一部分发生故障时，无人驾驶飞行器1在旋转的同时坠落，例如，如点线箭头A1所指示的那样。
在坠落时，无人驾驶飞行器1将指示坠落位置的信息与由相机拍摄的图像进行合成，并向控制器2传送合成图像。
附接到控制器2的智能电话3显示从无人驾驶飞行器1传送来的合成图像。
由于显示了指示坠落位置的信息，因此用户可以在观看智能电话3上显示的合成图像的同时在避开房屋O1和汽车O2的方向上移动无人驾驶飞行器1。在图2的示例中，无人驾驶飞行器1响应于用户执行诸如在由空箭头A2所指示的方向上移动无人驾驶飞行器1的操作而如实线箭头A3所指示的那样避开房屋O1和汽车O2。
图3是示出合成图像的显示示例的图。
如图3中所示，智能电话3的显示器3A显示示出无人驾驶飞行器1的坠落位置的合成图像。无人驾驶飞行器1的坠落位置是考虑到诸如风速之类的周围环境信息的估计位置。
例如，无人驾驶飞行器1的坠落位置由坠落位置图像P表示。在图3的示例中，坠落位置图像P是其中十字布置在圆圈中的图像。构成坠落位置图像P的十字的中心表示坠落位置。坠落位置可以由点或区域表示。
在图3的示例中，坠落位置是房屋O1上的位置。汽车O2在房屋O1的右侧。如果无人驾驶飞行器1就这样坠落，那么无人驾驶飞行器1将与房屋O1相撞。
由于显示了坠落位置和诸如房屋O1之类的物体，用户可以在观看合成图像的同时在避开预计无人驾驶飞行器1会碰撞的物体的方向上或者即使无人驾驶飞行器1与物体发生碰撞也减少损害的方向上指示无人驾驶飞行器1的移动方向。在图3的示例中，合成图像上的左方向是认为避开物体或减少损害的方向。
图4是示出用户操作的示例的图。
通过观看合成图像的显示，如图4中所示，用户将控制器2的摇杆(stick)向左倾斜并将合成图像中的左方向(即，避开房屋O1和汽车O2的方向)指示为移动方向。在图4中，所示的合成图像上的阴影线箭头指示无人驾驶飞行器1期望被移动的方向，而不是在合成图像上叠加显示的图像。
由无人驾驶飞行器1在坠落时拍摄的图像是成像范围以高速不断变化的图像。为此，用户仅通过观看拍摄的图像难以确认无人驾驶飞行器1可能坠落的位置或无人驾驶飞行器1可能碰撞的物体。
通过显示其中显示有坠落位置图像P的合成图像，用户可以根据用户的价值观和在坠落时的情况来允许无人驾驶飞行器1坠落在认为坠落时的损害减小的位置。
此外，有可能避免与通过物体检测等难以检测的物体发生碰撞。
在无人驾驶飞行器1坠落期间，用户可以参考合成图像中的方向来指定无人驾驶飞行器1被移动的方向。根据当时无人驾驶飞行器1的姿态，将由用户指定的方向转换成无人驾驶飞行器1的坐标系中的方向，并控制移动方向。
图5是示出由无人驾驶飞行器1拍摄的图像与智能电话3上显示的合成图像之间的关系的图。
如图5左侧所示，当飞行器中发生故障时，无人驾驶飞行器1在旋转的同时坠落。图5示出了无人驾驶飞行器1在时间T1至T7的每个时间的状态。指示正下方方向的点线箭头A11指示没有用户操作时的坠落方向。
无人驾驶飞行器1的底表面侧上所示的空白三角形表示在无人驾驶飞行器1上提供的相机的视角。例如，时间T1时相机的视角的方向是正下方方向。
在这种情况下，如箭头#1的尖端处所示，相机的视角与合成图像的显示范围整体重叠。
图5右侧所示的矩形框F表示合成图像的显示范围(显示器3A上显示的范围)。合成图像的显示范围被设置为使得例如坠落位置在中心。阴影线范围表示相机的视角的范围。
在时间T1，使用由无人驾驶飞行器1拍摄的图像原样显示合成图像。
在时间T2相机的视角的方向向右对角线朝下。在这种情况下，如箭头#2的尖端处所示，相机的视角与合成图像的显示范围部分重叠。
在时间T2，使用由无人驾驶飞行器1拍摄的图像中与合成图像的显示范围重叠的部分来显示合成图像。在整个合成图像中，使用例如在时间T2之前的时间拍摄的图像来显示使用在时间T2拍摄的图像显示的范围以外的范围。
在时间T3相机的视角的方向向右对角线朝上。在这种情况下，如箭头#3的尖端处所示，相机的视角与合成图像的显示范围不重叠。
在时间T3，使用在时间T3之前的时间拍摄的图像显示合成图像。
如果相机的视角与合成图像的显示范围不匹配，那么合成图像可能不会显示。
在时间T4和T5相机的视角与合成图像的显示范围不重叠，如箭头#4和#5中的每一个的尖端处所示，如时间T3相机的视角。
在时间T4和T5，分别使用在时间T4和T5之前的时间拍摄的图像显示合成图像。
在时间T6相机的视角与合成图像的显示范围部分重叠，如箭头#6的尖端处所示。
在时间T6，使用由无人驾驶飞行器1拍摄的图像中与合成图像的显示范围重叠的部分来显示合成图像。
在时间T7相机的视角与合成图像的显示范围整体重叠，如箭头#7的尖端处所示。
在时间T7，使用由无人驾驶飞行器1拍摄的图像原样显示合成图像。
以这种方式，用户观看的智能电话3的显示器3A仅继续显示在坠落期间拍摄的图像当中包括坠落位置的范围。以这种方式，即使当无人驾驶飞行器1在旋转的同时坠落时，用户也可以在观看示出坠落位置的合成图像的同时指示无人驾驶飞行器1的移动方向。
在上文中，假设控制器2是其中附接有智能电话3的控制器，但它可以是另一种形式的控制器。
图6是示出控制器2的另一个配置示例的图。
图6的A中所示的控制器2是其中在壳体中提供显示器2A的控制器。用户可以通过观看显示在显示器2A等上的合成图像来使无人驾驶飞行器1转向。例如，移动方向由用户倾斜摇杆的方向指示，并且移动量由倾斜摇杆的量指示。
如图6的B中所示，智能电话3本身可以用作发送器。用户可以通过观看显示在显示器3A等上的合成图像执行握杆(swipe)操作等来使无人驾驶飞行器1转向。
<每个设备的配置>
·无人驾驶飞行器1的配置
图7是示出无人驾驶飞行器1的配置示例的框图。
如图7中所示，无人驾驶飞行器1包括传感器11和信息处理单元12。
传感器11包括风速传感器21、成像传感器22、位置传感器23和IMU(惯性测量单元)24。成像传感器22在安装在无人驾驶飞行器1上的相机中提供。
风速传感器21检测并输出包括风向和风速(风量)的风速向量。
成像传感器22由图像传感器、立体相机、ToF(飞行时间)传感器、LiDER(光检测和测距，激光成像检测和测距)等配置。
构成成像传感器22的图像传感器对周围情况进行成像并输出图像数据。
另外，例如，构成成像传感器22的立体相机基于通过成像获得的图像计算到图像中拍摄的每个物体的距离，并输出距离信息。到物体的距离可以由ToF传感器等检测。
位置传感器23由GPS(全球定位系统)传感器、气压计等配置。位置传感器23从卫星接收无线电波，执行定位，并输出无人驾驶飞行器1的位置信息。
IMU 24包括加速度传感器、陀螺仪传感器、磁传感器等。IMU24测量无人驾驶飞行器1的速度、加速度、磁场强度等并将其作为IMU信息输出。
信息处理单元12包括风速向量获取单元31、图像获取单元32、位置信息获取单元33、IMU信息获取单元34、内部状态获取单元35、自身位置和运动估计单元36、坠落位置估计单元37、故障和坠落确定单元38、图像合成单元39、数据传送单元40、数据接收单元41以及飞行器控制单元42。
风速向量获取单元31获取从风速传感器21输出的风速向量，并将表示获取的风速向量的风速信息输出到坠落位置估计单元37。
图像获取单元32获取从成像传感器22输出的图像数据和距离信息，并将其输出到自身位置和运动估计单元36。图像获取单元32将图像数据输出到图像合成单元39。
位置信息获取单元33获取从位置传感器23输出的位置信息并将其输出到自身位置和运动估计单元36。
IMU信息获取单元34获取从IMU 24输出的IMU信息并将其输出到自身位置和运动估计单元36。
内部状态获取单元35获取无人驾驶飞行器1的电流监视器、电压监视器、编码器等的输出值作为指示内部状态的信息，并将输出值输出到故障和坠落确定单元38。
自身位置和运动估计单元36基于从图像获取单元32供应的图像数据和距离信息、从位置信息获取单元33供应的位置信息以及从IMU信息获取单元34供应的IMU信息来计算无人驾驶飞行器1的飞行状态。飞行状态包括无人驾驶飞行器1的飞行器的位置、姿态、速度、角速度、加速度、角加速度等。
自身位置和运动估计单元36基于飞行状态来估计施加到无人驾驶飞行器1的惯性力和重力。
自身位置和运动估计单元36输出表示飞行状态以及施加到无人驾驶飞行器1的惯性力和重力的信息作为自身位置和运动估计结果。从自身位置和运动估计单元36输出的自身位置和运动估计结果被供应给坠落位置估计单元37、故障和坠落确定单元38、图像合成单元39和飞行器控制单元42。
坠落位置估计单元37基于从风速向量获取单元31供应的风速信息以及从自身位置和运动估计单元36供应的自身位置和运动估计结果来估计坠落的无人驾驶飞行器1的坠落位置。
图8是示出估计坠落位置的方法的示例的图。
如图8中的空白箭头所指示的，向在飞行期间发生故障的无人驾驶飞行器1施加在与到那个点的移动方向对应的方向上的惯性力，并施加向下的重力。此外，施加与风向对应的风力。施加到无人驾驶飞行器的惯性力、重力和风力被统称为外力。
坠落位置估计单元37基于飞行状态和外力来估计坠落位置。在图8中，作为从发生故障的位置正下方偏离的位置的位置C1被估计为坠落位置。
坠落位置估计单元37将具有以估计的坠落位置为中心的预定形状的区域设置为估计的坠落位置范围。估计的坠落位置范围被设置为随着无人驾驶飞行器1接近地面而逐渐变窄的区域。
返回到图7的描述，坠落位置估计单元37将表示估计的坠落位置和估计的坠落位置范围的坠落位置估计结果输出到图像合成单元39。
故障和坠落确定单元38基于从内部状态获取单元35供应的表示内部状态的信息和从自身位置和运动估计单元36供应的自身位置和运动估计结果来确定无人驾驶飞行器1的飞行器的故障或坠落。
具体而言，故障和坠落确定单元38使用内部状态诊断故障，诸如无人驾驶飞行器1的马达故障、螺旋桨的损害和异物的缠绕。故障和坠落确定单元38基于实际内部状态与在没有故障时假设的内部状态之间的偏差量来诊断故障。
以这种方式，故障和坠落确定单元38检测到妨碍移动的故障已经发生并且无人驾驶飞行器1不能如预期地移动并且开始坠落。对于故障和坠落的确定，可以执行基于规则的确定，或者可以使用通过机器学习获得的模型。
故障和坠落确定单元38将故障和坠落确定信息输出到图像合成单元39和飞行器控制单元42。故障和坠落确定信息包括例如指示是否发生故障的信息和指示无人驾驶飞行器1的故障部分的信息。
图像合成单元39通过将坠落位置图像与其中拍摄坠落位置的图像合成来生成合成图像。为了生成合成图像，使用从图像获取单元32供应的图像数据、从自身位置和运动估计单元36供应的自身位置和运动估计结果、从坠落位置估计单元37供应的坠落位置估计结果、以及从故障和坠落确定单元38供应的故障和坠落确定信息。
图9是示出用于生成合成图像的图像的示例的图。
图9示出了无人驾驶飞行器1在时间T1至T3的每个时间的状态。在此，假设无人驾驶飞行器1设有一个相机。由虚线指示的范围表示每次相机的视角的范围。
在时间T1至T3，分别在相机向下、向左对角线朝下和比时间T2的方向更向左的状态下拍摄图像，并且获取具有由图9中的梯形指示的视角的拍摄的图像P11至P13。
例如，在时间T3，基于以这种方式拍摄的拍摄的图像P11至P13生成合成图像。
在图9的示例中，在时间T3，估计由椭圆表示的估计的坠落位置范围。在拍摄的图像P11至P13当中，其中拍摄在时间T3估计的坠落位置范围和无人驾驶飞行器1的正下方位置的区域被用于生成合成图像。
图10是示出合成拍摄的图像的方法的示例的图。
当从正上方查看拍摄的图像P11至P13时，每个图像的视角被表示为如图10中所示的形状。图10示出了当相对于表示地面的平面从正上方查看时每个图像的形状。
在图像合成单元39中，使用无人驾驶飞行器1的位置和姿态以及相机的内部和外部参数相对于表示地面的平面投影和转换拍摄的图像P11至P13。
在图像合成单元39中，合成投影转换之后的拍摄的图像P11至P13以拼接在一起，并切出包括与时间T3的正下方位置对应的位置和估计的坠落位置范围的范围。在图10的示例中，示出用虚线指示的范围的图像被切出，作为切出图像P21。
在图像合成单元39中，通过在切出图像P21上合成表示估计的坠落位置范围的坠落位置图像和与正下方位置对应的位置来生成合成图像。以这种方式生成的合成图像从图像合成单元39输出到图7的数据传送单元40。
当在无人驾驶飞行器1中提供多个相机时，将其中估计的坠落位置范围和视角重叠的拍摄的图像用于生成合成图像。
数据传送单元40将从图像合成单元39供应的合成图像传送到控制器2。由数据传送单元40传送的合成图像显示在智能电话3的显示器3A上并且被用于指示无人驾驶飞行器1的移动方向。
数据接收单元41接收从控制器2传送来的表示用户的操作的内容的控制命令，并将该控制命令输出到飞行器控制单元42。例如，控制命令指示由查看合成图像的用户指示的方向。
飞行器控制单元42基于从故障和坠落确定单元38供应的故障和坠落确定信息来确定是否发生了故障，并设置操作模式。
无人驾驶飞行器1的操作模式包括飞行模式和坠落模式。飞行模式是在没有发生故障时设置的操作模式，而坠落模式是在已发生故障时设置的操作模式。
飞行器控制单元42响应于从数据接收单元41供应的控制命令而控制无人驾驶飞行器1的移动。
当操作模式是飞行模式时，飞行器控制单元42控制飞行器坐标系中的位置和姿态。
飞行器坐标系表示无人驾驶飞行器1中的坐标系。当操作模式是飞行模式时，操作控制器2的用户对飞行器坐标系执行操作以控制无人驾驶飞行器1的移动。
另一方面，当操作模式是坠落模式时，飞行器控制单元42基于从自身位置和运动估计单元36供应的自身位置和运动估计结果以及从故障和坠落确定单元38供应的故障和坠落确定信息来执行考虑故障地点的控制。
在这种情况下，飞行器控制单元42将由合成图像坐标系表示的用户的指令的方向转换成飞行器坐标系的方向并执行控制。由于控制命令所表示的用户的指令的方向是查看合成图像的方向，因此它被表示为合成图像坐标系的方向，合成图像坐标系是合成图像中的坐标系。
即，当操作模式是坠落模式时，操作控制器2的用户对合成图像坐标系执行操作以控制无人驾驶飞行器1的移动。
图11是示出由控制命令表示的合成图像坐标系上的方向的示例的图。
当在估计的坠落位置范围内存在要避免碰撞的物体时，通过诸如将控制器2的摇杆向左倾斜之类的操作向无人驾驶飞行器1传送指示相对于合成图像向左移动的控制命令。此时，如图11中的箭头A12所指示的，向无人驾驶飞行器1传送指示在合成图像坐标系上向左移动的控制命令。
通过在合成图像中指示在深度方向上的移动，有可能执行控制以加速坠落。
图12是示出控制已接收到控制命令的无人驾驶飞行器1的移动的示例的图。
当在合成图像上指示如参考图11描述的向左移动时，飞行器控制单元42控制飞行器使得实际坠落位置位于如图12中箭头A13所指示的估计的坠落位置范围的左侧。
具体而言，飞行器控制单元42使用预定的转换矩阵将用户指定的方向转换成在时间T3飞行器坐标系上的方向并控制飞行器。
当由于马达故障等而不可能在任何方向上移动时，飞行器控制单元42考虑飞行器的位置和姿态，并控制可操作马达的旋转方向，使得在由用户指定的方向上生成推力。
图13是示出坠落模式下马达的旋转方向的示例的图。
图13示出了在T1至T9的每个时间在旋转的同时坠落的无人驾驶飞行器1的状态。另外，如空白箭头所指示的，假设已查看合成图像的用户已指定向左移动。
当只有一个可操作的马达时，飞行器控制单元42在马达被旋转时生成的推力向量和指向由用户指定的方向的方向向量的内积变为正的方向上旋转马达。
在图13中，假设例如，在两个螺旋桨马达当中，参考在时间T1垂直方向正确的方向，左侧螺旋桨马达发生故障，并且只有右侧螺旋桨马达可以操作。右侧螺旋桨马达附近示出的实线箭头表示通过马达的正向旋转生成的推力向量。点线箭头表示通过马达的反向旋转生成的推力向量。在此，正向旋转表示在正常状态下生成浮力的方向上的旋转。
在飞行器的上表面笔直向上的时间T1，通过旋转马达生成的推力向量和面向由用户指定的方向的方向向量的内积变为0，因此飞行器控制单元42不旋转马达。
另一方面，在时间T2至T4，当飞行器的上表面面向左侧时，飞行器控制单元42在正向方向上旋转马达以生成推力向量，该推力向量和指向由用户指定的方向的方向向量的内积为正。以这种方式，无人驾驶飞行器1将在向左移的同时坠落。
在飞行器的上表面笔直向下的时间T5，通过旋转马达生成的推力向量和面向由用户指定的方向的方向向量的内积变为0，因此飞行器控制单元42不旋转马达。
在时间T6至T8，当飞行器的上表面面向右侧时，飞行器控制单元42在相反方向上旋转马达以生成推力向量，该推力向量与指向由用户指定的方向的方向向量的内积为正。以这种方式，无人驾驶飞行器1将在向左移的同时坠落。
在飞行器的上表面笔直向上的时间T9，通过旋转马达生成的推力向量和指向由用户指定的方向的方向向量的内积为0，因此飞行器控制单元42不旋转马达。
如上所述，飞行器控制单元42可以通过控制可以操作的马达的旋转方向以生成由用户指定的向左的推力来将坠落位置向左移。
·控制器2的配置
图14是示出控制器2的配置示例的图。智能电话3经由有线或无线通信连接到控制器2。
如图14中所示，控制器2包括信息处理单元51和输入单元52。
信息处理单元51包括数据接收单元61、数据显示控制单元62、输入获取单元63和数据传送单元64。
数据接收单元61接收从无人驾驶飞行器1传送的合成图像，并将其输出至数据显示控制单元62。
数据显示控制单元62将从数据接收单元61供应的合成图像输出到智能电话3的显示器3A并显示它。
输入获取单元63获取从输入单元52输出的指令信息并将指令信息输出到数据传送单元64。指令信息表示由用户指定的移动的方向和量。
数据传送单元64将从输入获取单元63供应的指令信息作为控制命令传送到无人驾驶飞行器1。
输入单元52由摇杆、触摸面板等配置。输入单元52检测用户的操作并根据检测到的用户的操作来输出指令信息。
<每个设备的操作>
在此，将描述具有上述配置的每个设备的操作。
·无人驾驶飞行器1的操作
首先，将参考图15的流程图描述无人驾驶飞行器1的坠落损害减轻处理。
例如，当无人驾驶飞行器1开始飞行时，开始图15的坠落损害减轻处理。无人驾驶飞行器1在处理开始时的操作模式是飞行模式。
在步骤S1中，信息处理单元12获取从传感器11供应的传感器数据。具体而言，风速向量获取单元31、图像获取单元32、位置信息获取单元33和IMU信息获取单元34分别获取风速信息、图像数据和距离信息、位置信息和IMU信息。
在步骤S2中，自身位置和运动估计单元36基于图像数据、距离信息、位置信息和IMU信息来估计自身位置和运动估计结果。
在步骤S3中，故障和坠落确定单元38基于指示内部状态的信息以及自身位置和运动估计结果来确定无人驾驶飞行器1的飞行器是否已发生故障或坠落。
如果在步骤S3中确定无人驾驶飞行器1的飞行器已发生故障或坠落，那么处理前进到步骤S4。
在步骤S4中，坠落位置估计单元37基于风速信息以及自身位置和运动估计结果来估计坠落期间的无人驾驶飞行器1的坠落位置。
在步骤S5中，图像合成单元39基于图像数据、自身位置和运动估计结果、坠落位置估计结果以及故障和坠落确定信息通过将坠落位置图像与示出坠落位置的图像合成来生成合成图像。
在步骤S6中，飞行器控制单元42基于故障和坠落确定信息将操作模式设置为坠落模式。
在步骤S7中，数据传送单元40向控制器2传送合成图像。
如果在步骤S7中向控制器2传送合成图像，或者如果在步骤S3中确定无人驾驶飞行器1的飞行器既没有发生故障也没有坠落，那么处理前进到步骤S8。
在步骤S8中，数据接收单元41确定是否已经从控制器2接收到控制命令。
如果在步骤S8中确定没有接收到控制命令，那么处理返回到步骤S1并且执行后续处理。
另一方面，如果在步骤S8中确定已经接收到控制命令，那么处理前进到步骤S9。控制命令是从数据接收单元41向飞行器控制单元42供应的。
在步骤S9中，飞行器控制单元42确定操作模式是否是坠落模式。
如果在步骤S9中确定操作模式是坠落模式，那么处理前进到步骤S10。
在步骤S10中，飞行器控制单元42基于合成图像将由控制命令表示的方向从合成图像坐标系中的方向转换成飞行器坐标系中的方向。
在步骤S11中，飞行器控制单元42基于自身位置和运动估计结果以及故障和坠落确定信息考虑故障地点来控制无人驾驶飞行器1的马达，并在与控制命令对应的期望方向上移动无人驾驶飞行器1。
另一方面，如果在步骤S9中确定操作模式不是坠落模式，那么处理前进到步骤S12。
在步骤S12中，飞行器控制单元42控制无人驾驶飞行器1的马达，并在与控制命令对应的期望方向上移动无人驾驶飞行器1。
在无人驾驶飞行器1飞行或坠落期间重复上述处理。
·控制器2的操作
接下来，将参考图16的流程图描述控制器2的合成图像显示处理。
在步骤S21中，控制器2的数据接收单元61接收从无人驾驶飞行器1传送的合成图像。
在步骤S22中，数据显示控制单元62将合成图像输出到智能电话3的显示器3A并显示它。
在步骤S23中，输入单元52接收用户的操作并生成指令信息。
在步骤S24中，输入获取单元63获取指令信息。
在步骤S25中，数据传送单元64将指令信息作为控制指令向无人驾驶飞行器1传送。
通过上述处理，用户可以根据用户的价值观和在坠落时的情况来允许无人驾驶飞行器1坠落到被认为在坠落时损害减小的位置。
<无人驾驶飞行器的第二控制的示例>
用户可以指定坠落位置而不是坠落方向。在这种情况下，无人驾驶飞行器1的飞行器被控制为坠落在用户指定的位置。
图17是示出用户的用于指定坠落位置的操作的示例的图。
如图17中所示，用户通过触摸具有触摸面板的显示器3A来指定坠落位置。在图17中，用空白十字指示的没有房屋O1或汽车O2的位置是由用户指定的。
在这种情况下，用作发送器的智能电话3向无人驾驶飞行器1传送表示由用户指定的位置的控制命令。
图18是示出已接收到控制指令的无人驾驶飞行器1的移动的示例的图。
图18左侧的空白十字所指示的位置C11表示与由用户指定的合成图像上的位置对应的实际三维空间中的位置。
在接收到控制指令后，无人驾驶飞行器1根据控制指令控制飞行器坠落在位置C11，如虚线所指示的。
图19是示出接收用于指定坠落位置的控制命令的无人驾驶飞行器的配置示例的框图。
除了坠落位置估计单元37和飞行器控制单元42连接之外，图19中所示的无人驾驶飞行器1的配置与参考图7描述的配置相同。将适当地省略重复的解释。
图19的飞行器控制单元42被供以与从坠落位置估计单元37供应给图像合成单元39的坠落位置估计结果相同的信息。
飞行器控制单元42基于从数据接收单元61供应的用于指定坠落位置的控制命令来计算由用户指定的三维空间中的坠落位置。飞行器控制单元42基于由用户指定的坠落位置与坠落位置估计结果之间的差来执行反馈控制，并将无人驾驶飞行器1的飞行器移动到由用户指定的坠落位置。
如上所述，用户可以根据用户的价值观和情况允许无人驾驶飞行器1坠落在指定位置。例如，当期望无人驾驶飞行器1坠落在合成图像中所示的物体之间时，用户可以允许无人驾驶飞行器1坠落在这样期望的位置。
<无人驾驶飞行器的第三控制的示例>
作为检测出现在合成图像中的物体的结果的物体检测结果可以与合成图像合成，作为辅助用户的信息。
图20是示出无人驾驶飞行器1的坠落位置附近的物体的示例的图。
在图20的示例中，无人驾驶飞行器1的坠落位置是房屋O1上的位置。汽车O2停在房屋O1旁边，并且汽车O2旁边站着一个人O3。
无人驾驶飞行器1检测示出坠落位置的图像上的物体，并检测房屋O1、汽车O2和人O3。检测特定物体，诸如房屋、汽车和人。
无人驾驶飞行器1生成其中合成了表示房屋O1、汽车O2和人O3的信息片段的合成图像，并将合成图像传送到控制器2以将其显示在智能电话3上。
图21是示出其中合成了物体检测结果的合成图像的显示示例的图。
如图21中所示，合成图像显示在智能电话3的显示器3A上。在合成图像中，房屋O1、汽车O2和人O3被并排摄像。
在图21的合成图像中，其中合成了L形的线的矩形信息R1被显示为包围房屋O1。矩形信息R1表示合成图像上检测到房屋的区域。在矩形信息R1的上方，显示有指示存在房屋的字符信息“房屋”。
类似地，矩形信息R2被显示为包围汽车O2。矩形信息R2表示合成图像上检测到汽车的区域。在矩形信息R2的上方，显示有指示存在汽车的字符信息“汽车”。
矩形信息R3被显示为包围人O3。矩形信息R3表示合成图像上检测到人的区域。在矩形信息R3的上方，显示有表示人的字符信息“人”。
用户可以通过观看合成图像上显示的矩形信息和字符信息来识别无人驾驶飞行器1可能碰撞的物体的类型。
可以基于物体检测结果和坠落估计范围在合成图像上显示指示为用户推荐的移动方向的信息。
图22是示出检测合成图像中出现的物体的无人驾驶飞行器1的配置示例的框图。
除了提供物体检测单元101之外，图22中所示的无人驾驶飞行器1的配置与参考图7描述的配置相同。将适当地省略重复的解释。
图像合成单元39将其中拍摄坠落位置的图像输出到物体检测单元101。例如，物体检测单元101被供以其中拍摄坠落位置的图像，该图像由图像合成单元39生成，如参考图10所描述的。
图像合成单元39基于从物体检测单元101供应的物体检测结果通过将矩形信息和字符信息连同坠落位置图像与示出坠落位置的图像一起合成来生成合成图像。
物体检测单元101检测从图像合成单元39供应的图像上的物体。物体检测单元101将物体检测结果输出到图像合成单元39。
在此，参考图23的流程图，将描述由具有上述配置的无人驾驶飞行器1执行的坠落损害减轻处理。
步骤S51至S56的处理分别与图15的步骤S1至S6的处理相同。即，当无人驾驶飞行器1的飞行器发生故障时，合成示出坠落位置的图像，并且将无人驾驶飞行器1的操作模式设置为坠落模式。
在步骤S57中，物体检测单元101在其中拍摄坠落位置的图像上检测物体。
在步骤S58中，图像合成单元39基于物体检测结果通过将矩形信息和字符信息连同坠落位置图像与示出坠落位置的图像一起合成来生成合成图像。
步骤S59至S64的处理分别与图15的步骤S7至S12的处理相同。即，合成图像被传送到控制器2，并且根据用户的操作来控制无人驾驶飞行器1的移动。
如上所述，用户可以识别无人驾驶飞行器1可能碰撞的物体的类型，并且可以根据用户的价值观和在坠落时的情况允许无人驾驶飞行器1坠落在认为坠落时损害减小的位置。
<无人驾驶飞行器的第四控制的示例>
可以基于物体检测结果等对无人驾驶飞行器1制定动作计划，并且可以根据计划的动作自主地控制无人驾驶飞行器1的移动。例如，计划避免与合成图像中的物体发生碰撞所需的动作。
图24是示出用于避免碰撞的动作的示例的图。
如图24中所示，当房屋O1上的位置是坠落位置时，无人驾驶飞行器1基于示出坠落位置的图像来检测房屋O1、汽车O2和人O3，并计划避免与这些物体发生碰撞所必需的动作。例如，如阴影线箭头所指示的，计划允许飞行器在房屋O1、汽车O2和人O3前方的位置坠落的动作，并执行自主避让。
图25是示出根据计划示出移动方向的合成图像的显示示例的图。
如图25中所示，在合成图像中显示指示根据计划的移动方向的箭头。图25中所示的合成图像的其它显示与参考图21描述的合成图像的显示相同。
如果无人驾驶飞行器1计划的动作不符合用户的价值观和情况，那么已查看合成图像的用户可以指示在与计划的移动方向不同的方向上移动，如图26中所示。
在图26的示例中，自主避让的方向被表示为由阴影线箭头指示的向下方向，而用户指示向左移动。表示用户指示的方向的控制命令被传送到无人驾驶飞行器1。
图27是示出无人驾驶飞行器1的移动的示例的图。
当用户指定与自主避让方向不同的方向时，如参考图26描述的，无人驾驶飞行器1优先考虑用户的指令，如图27中的空白箭头所指示的，并控制飞行器在用户指示的方向上移动。
以这种方式，用户可以能够干预无人驾驶飞行器1的自主避让。
代替简单地优先考虑用户的指令，可以将自主避让的方向和用户指示的方向结合起来以计划新的动作。
为了使用户更容易确定移动方向，可以显示表示无人驾驶飞行器1可以被容易地移动的方向的信息。例如，显示风向和风量作为表示无人驾驶飞行器1可以被容易地移动的方向的信息。
可以显示直到无人驾驶飞行器1坠落的时间。
图28是示出具有自主避让功能的无人驾驶飞行器1的配置示例的框图。
除了提供有避让动作生成单元111之外，图28中所示的无人驾驶飞行器1的配置与参考图22描述的配置相同。将适当地省略重复的解释。
飞行器控制单元42根据从避让动作生成单元111供应的用于自主避让的动作计划来控制无人驾驶飞行器1的飞行器。当接收到表示用户的指令的控制命令时，飞行器控制单元42如上所述以用户的操作优先来控制无人驾驶飞行器1的飞行器。
物体检测单元101计算检测到的物体在其中拍摄坠落位置的图像中的三维位置。到地面的距离信息和到物体的距离信息被适当地用于计算三维位置。物体检测单元101将表示物体的三维位置的信息和物体检测结果输出到避让动作生成单元111。
自身位置和运动估计结果从自身位置和运动估计单元36被供应给避让动作生成单元111。另外，避让动作生成单元111被供以来自坠落位置估计单元37的坠落位置估计结果以及来自故障和坠落确定单元38的故障和坠落确定信息。
避让动作生成单元111基于从每个单元供应的信息来计划避免与合成图像中示出的物体发生碰撞所必需的动作。表示由避让动作生成单元111计划的动作的信息被供应给飞行器控制单元42。
当在合成图像中示出移动物体时，可以通过避让动作生成单元111预测当无人驾驶飞行器1与地面或物体碰撞时移动物体的位置。在这种情况下，使用移动物体的预测的位置来计划动作。
在此，参考图29的流程图，将描述由具有上述配置的无人驾驶飞行器1执行的坠落损害减轻处理。
步骤S101至S109的处理分别与图23的步骤S51至S59的处理相同。即，将无人驾驶飞行器1的操作模式设置为坠落模式，并将合成图像传送到控制器2。
在步骤S110中，数据接收单元41确定是否已从控制器2接收到控制命令。
如果在步骤S110中确定没有接收到控制命令，那么处理前进到步骤S111。
在步骤S111中，飞行器控制单元42确定操作模式是否是坠落模式。
如果在步骤S111中确定操作模式不是坠落模式，那么处理返回到步骤S101，并且执行后续处理。
另一方面，如果在步骤S111中确定操作模式是坠落模式，那么处理前进到步骤S112。
在步骤S112中，避让动作生成单元111计划用于自主避让的动作。在计划好用于自主避让的动作之后，在步骤S115中，根据规划的动作控制无人驾驶飞行器1的移动方向。
另一方面，如果在步骤S110中确定已接收到控制命令，那么处理前进到步骤S113。
步骤S113至S116的处理分别与图23的步骤S61至S64的处理相同。即，确定操作模式是否为坠落模式，并且根据确定结果根据用户的操作控制无人驾驶飞行器1的移动。
如上所述，无人驾驶飞行器1可以自主地采取避免与合成图像中示出的物体发生碰撞的动作。
<变更>
·系统配置
虽然传感器11和信息处理单元12被设置在无人驾驶飞行器1中(图7)，但是信息处理单元12的功能中的一些可以在控制器2或智能电话3的任何设备中实现。
图30是示出智能电话3的配置示例的图。
如图30中所示，信息处理单元151在智能电话3中实现。除了设置显示单元161、输入获取单元162、控制命令生成单元163和数据传送单元164之外，图30中所示的信息处理单元151的配置与参考图7描述的无人驾驶飞行器1的信息处理单元12的配置相同。将适当省略重复的解释。
信息处理单元151从在无人驾驶飞行器1和各种设备中设置的传感器11获取包括拍摄的图像和内部状态的传感器数据。
显示单元161使显示器3A显示从图像合成单元39供应的合成图像。
输入获取单元162向控制命令生成单元163输出表示用户在具有触摸面板的显示器3A上执行的操作的内容的指令信息。
控制命令生成单元163被供以来自自身位置和运动估计单元36的自身位置和运动估计结果以及来自故障和坠落确定单元38的故障和坠落确定信息。另外，合成图像被从图像合成单元39供应给控制命令生成单元163。
控制命令生成单元163基于故障和坠落确定信息确定是否存在故障，并设置智能电话3的操作模式。如果已在无人驾驶飞行器1中发生故障，那么动作模式被设置为坠落模式，而如果未发生故障，那么动作模式被设置为飞行模式。
控制命令生成单元163根据从输入获取单元162供应的指令信息生成表示由用户指示的方向的控制命令。当操作模式是飞行模式时，照原样使用从输入获取单元162供应的指令信息。
另一方面，当操作模式是坠落模式时，控制命令生成单元163基于合成图像将从输入获取单元162供应的关于合成图像坐标系的指令信息转换到飞行器坐标系中以生成控制命令。
控制命令生成单元163将自身位置和运动估计结果、故障和坠落确定信息以及控制命令输出到数据传送单元164。
数据传送单元164将从控制命令生成单元163供应的自身位置和运动估计结果、故障和坠落确定信息以及控制命令传送到无人驾驶飞行器1。
如上所述，图7中所示的无人驾驶飞行器1的配置的一部分可以在智能电话3上提供。
·计算机的示例
上述一系列处理可以由硬件或软件执行。当由软件执行一系列处理时，构成软件的程序从程序记录介质安装在嵌入专用硬件的计算机、通用个人计算机等上。
图31是图示执行程序以执行上述一系列处理的计算机的硬件的配置示例的框图。
中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003经由总线1004彼此连接。
输入/输出接口1005还连接到总线1004。包括键盘和鼠标的输入单元1006以及包括显示器和扬声器的输出单元1007连接到输入/输出接口1005。包括硬盘或非易失性存储器的存储单元1008、包括网络接口的通信单元1009、驱动可移动介质1011的驱动器1010连接到输入/输出接口1005。
在具有这种配置的计算机中，例如，CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM1003并执行该程序以执行上述一系列处理。
由CPU 1001执行的程序被记录在例如可移动介质1011上，或者经由诸如局域网、互联网、数字广播之类的有线或无线传送介质提供以安装在存储单元1008中。
由计算机执行的程序可以是在本说明书中描述的过程中按时间顺序执行处理的程序，或者可以是在必要的定时(诸如并行地或在被调用时)执行处理的程序。
在本说明书中，系统是多个组成要素(设备、模块(组件)等)的集合，并且所有组成要素可以位于或不位于同一外壳中。因此，容纳在不同壳体中并经由网络连接的多个设备和其中多个模块容纳在一个壳体中的一个设备都是系统。
而且，本说明书中描述的有利效果仅仅是示例性的而不是限制性的，并且可以获得其它有利效果。
本技术的实施例不限于上述实施例，并且可以在不脱离本技术的主旨的情况下进行各种变更。
例如，本技术可以被配置为云计算，其中一个功能由多个设备经由网络共享和共同处理。
另外，上述流程图中描述的相应步骤可以由一个设备执行，或者由多个设备以共享方式执行。
此外，在单个步骤中包括多种处理的情况下，该单个步骤中包括的多种处理可以由一个设备执行，或者由多个设备以共享方式执行。
<配置的组合示例>
本技术可以配置如下。
(1)一种控制设备，包括：控制单元，其根据针对由无人驾驶飞行器拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
(2)根据(1)所述的控制设备，还包括：合成单元，其将表示坠落位置的信息与由在无人驾驶飞行器上设置的成像设备拍摄的图像合成，并生成被用于用户的操作的合成图像。
(3)根据(2)所述的控制设备，还包括：估计单元，其基于由在无人驾驶飞行器上设置的传感器输出的传感器数据来估计无人驾驶飞行器的飞行状态；以及坠落位置估计单元，其基于所述飞行状态和施加到无人驾驶飞行器的外力来估计坠落位置。
(4)根据(3)所述的控制设备，还包括：确定单元，其基于所述飞行状态和无人驾驶飞行器的内部状态中的至少一个来检测无人驾驶飞行器的坠落。
(5)根据(3)或(4)所述的控制设备，其中合成单元通过基于所述飞行状态和成像设备的参数相对于表示地面的平面投影和转换由成像设备拍摄的图像、并且将表示坠落位置的信息与通过投影和转换获得的图像合成，生成合成图像。
(6)根据(2)至(5)中的任一项所述的控制设备，其中合成单元生成包括表示坠落位置的信息和表示无人驾驶飞行器正下方的位置的信息的合成图像。
(7)根据(1)至(6)中的任一项所述的控制设备，其中控制单元根据由用户指定的图像上的方向或位置来控制无人驾驶飞行器的移动。
(8)根据(7)所述的控制设备，其中控制单元将由用户指定的方向转换成无人驾驶飞行器的坐标系上的方向，并控制无人驾驶飞行器的移动。
(9)根据(7)所述的控制设备，其中控制单元基于由用户指定的位置与坠落位置之间的差来控制无人驾驶飞行器的移动。
(10)根据(2)至(9)中的任一项所述的控制设备，还包括：检测单元，其检测出现在由成像设备拍摄的图像中的物体，其中合成单元将表示由检测单元检测到的物体的物体信息合成到合成图像。
(11)根据(10)所述的控制设备，还包括：动作计划单元，其计划无人驾驶飞行器用于避免与由检测单元检测到的物体接触的动作，其中控制单元基于计划的动作和用户的操作来控制无人驾驶飞行器的移动。
(12)根据(11)所述的控制设备，其中控制单元优先考虑用户的操作以控制无人驾驶飞行器的移动。
(13)一种控制方法，包括：允许控制设备根据针对由无人驾驶飞行器拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
(14)一种用于使计算机执行以下控制的程序：根据针对由无人驾驶飞行器拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
(15)一种无人驾驶飞行器，包括：成像单元，其拍摄周围情况；以及，控制单元，其根据针对由成像单元拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
(16)一种信息处理设备，包括：显示控制单元，其显示由无人驾驶飞行器拍摄的示出坠落位置的图像；生成单元，其针对所述图像生成用于控制无人驾驶飞行器的移动的控制命令；以及传送单元，其向无人驾驶飞行器传送控制命令。
(17)一种信息处理方法，用于允许信息处理设备执行：显示由无人驾驶飞行器拍摄的示出坠落位置的图像；针对所述图像生成用于控制无人驾驶飞行器的移动的控制命令；以及向无人驾驶飞行器传送控制命令。
(18)一种程序，用于使计算机执行：显示由无人驾驶飞行器拍摄的示出坠落位置的图像；针对所述图像生成用于控制无人驾驶飞行器的移动的控制命令；以及向无人驾驶飞行器传送控制命令。
[附图标记列表]
1 无人驾驶飞行器
2 控制器
3 智能电话
11 传感器
12 信息处理单元
31 风速向量获取单元
32 图像获取单元
33 位置信息获取单元
34 IMU信息获取单元
35 内部信息获取单元
36 自身位置和运动估计单元
37 坠落位置估计单元
38 故障和坠落确定单元
39 图像合成单元
40 数据传送单元
41 数据接收单元
42 飞行器控制单元
101 物体检测单元
111 避让动作生成单元
151 信息处理单元
161 显示单元
162 输入获取单元
163 控制命令生成单元
164 数据传送单元

Claims (18)

1.一种控制设备，包括：
控制单元，其根据针对由无人驾驶飞行器拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
2.根据权利要求1所述的控制设备，还包括：
合成单元，其将表示坠落位置的信息与由在无人驾驶飞行器上设置的成像设备拍摄的图像合成，并生成被用于用户的操作的合成图像。
3.根据权利要求2所述的控制设备，还包括：
估计单元，其基于由在无人驾驶飞行器上设置的传感器输出的传感器数据来估计无人驾驶飞行器的飞行状态；以及，
坠落位置估计单元，其基于所述飞行状态和施加到无人驾驶飞行器的外力来估计坠落位置。
4.根据权利要求3所述的控制设备，还包括：
确定单元，其基于所述飞行状态和无人驾驶飞行器的内部状态中的至少一个来检测无人驾驶飞行器的坠落。
5.根据权利要求3所述的控制设备，其中，
合成单元通过基于所述飞行状态和成像设备的参数相对于表示地面的平面投影和转换由成像设备拍摄的图像、并且将表示坠落位置的信息与通过投影和转换获得的图像合成，生成合成图像。
6.根据权利要求5所述的控制设备，其中，
合成单元生成包括表示坠落位置的信息和表示无人驾驶飞行器正下方的位置的信息的合成图像。
7.根据权利要求1所述的控制设备，其中，
控制单元根据由用户指定的图像上的方向或位置来控制无人驾驶飞行器的移动。
8.根据权利要求7所述的控制设备，其中，
控制单元将由用户指定的方向转换成无人驾驶飞行器的坐标系上的方向，并控制无人驾驶飞行器的移动。
9.根据权利要求7所述的控制设备，其中，
控制单元基于由用户指定的位置与坠落位置之间的差来控制无人驾驶飞行器的移动。
10.根据权利要求2所述的控制设备，还包括：
检测单元，其检测出现在由成像设备拍摄的图像中的物体，其中，
合成单元将表示由检测单元检测到的物体的物体信息合成到合成图像。
11.根据权利要求10所述的控制设备，还包括：
动作计划单元，其计划无人驾驶飞行器用于避免与由检测单元检测到的物体接触的动作，其中，
控制单元基于计划的动作和用户的操作来控制无人驾驶飞行器的移动。
12.根据权利要求11所述的控制设备，其中，
控制单元优先考虑用户的操作以控制无人驾驶飞行器的移动。
13.一种控制方法，包括：
允许控制设备根据针对由无人驾驶飞行器拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
14.一种用于使计算机执行以下控制的程序：
根据针对由无人驾驶飞行器拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
15.一种无人驾驶飞行器，包括：
成像单元，其拍摄周围情况；以及，
控制单元，其根据针对由成像单元拍摄的示出坠落位置的图像生成的控制命令来控制坠落期间的无人驾驶飞行器的移动。
16.一种信息处理设备，包括：
显示控制单元，其显示由无人驾驶飞行器拍摄的示出坠落位置的图像；
生成单元，其针对所述图像生成用于控制无人驾驶飞行器的移动的控制命令；以及，
传送单元，其向无人驾驶飞行器传送控制命令。
17.一种信息处理方法，用于允许信息处理设备执行：
显示由无人驾驶飞行器拍摄的示出坠落位置的图像；
针对所述图像生成用于控制无人驾驶飞行器的移动的控制命令；以及，
向无人驾驶飞行器传送控制命令。
18.一种程序，用于使计算机执行：
显示由无人驾驶飞行器拍摄的示出坠落位置的图像；
针对所述图像生成用于控制无人驾驶飞行器的移动的控制命令；以及，
向无人驾驶飞行器传送控制命令。
CN202080058352.6A 2019-08-26 2020-08-12 控制设备、控制方法、无人驾驶飞行器、信息处理设备、信息处理方法及程序 Pending CN114270284A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-153895 2019-08-26
JP2019153895 2019-08-26
PCT/JP2020/030644 WO2021039387A1 (ja) 2019-08-26 2020-08-12 制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN114270284A true CN114270284A (zh) 2022-04-01

Family

ID=74683312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080058352.6A Pending CN114270284A (zh) 2019-08-26 2020-08-12 控制设备、控制方法、无人驾驶飞行器、信息处理设备、信息处理方法及程序

Country Status (3)

Country Link
US (1) US12103663B2 (zh)
CN (1) CN114270284A (zh)
WO (1) WO2021039387A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117109562A (zh) * 2023-10-25 2023-11-24 中联金冠信息技术(北京)有限公司 一种反馈式无人机定位系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8521339B2 (en) 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
WO2017033976A1 (ja) 2015-08-25 2017-03-02 日本電気株式会社 飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体
CN106598063B (zh) * 2015-10-14 2021-10-26 松下电器（美国）知识产权公司 无人飞行器及飞行控制方法
JP6649051B2 (ja) * 2015-11-17 2020-02-19 Ｋｙｂ株式会社 品質データ管理システム
KR101765039B1 (ko) * 2016-01-18 2017-08-10 김성호 추락 경고장치 및 이를 갖춘 무인항공기
JP6796975B2 (ja) * 2016-09-16 2020-12-09 株式会社トプコン Ｕａｖ測定装置及びｕａｖ測定システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117109562A (zh) * 2023-10-25 2023-11-24 中联金冠信息技术(北京)有限公司 一种反馈式无人机定位系统
CN117109562B (zh) * 2023-10-25 2024-01-12 中联金冠信息技术(北京)有限公司 一种反馈式无人机定位系统

Also Published As

Publication number Publication date
WO2021039387A1 (ja) 2021-03-04
US20220297821A1 (en) 2022-09-22
US12103663B2 (en) 2024-10-01

Similar Documents

Publication Publication Date Title
US9352834B2 (en) Micro unmanned aerial vehicle and method of control therefor
JP6671375B2 (ja) 無人機の飛行補助方法
CN108780316B (zh) 用于飞行装置的移动控制的方法和系统
JP6835871B2 (ja) 飛行制御方法、無人航空機、飛行システム、プログラム、及び記録媒体
CN107087429B (zh) 飞行器的控制方法和装置
WO2019119201A1 (zh) 一种云台控制方法、无人机、云台及存储介质
JP2017065467A (ja) 無人機およびその制御方法
JP2011043884A (ja) 半自律型無人車両の遠隔操縦システム
JP2019207227A (ja) ライダモジュールおよびポータブルライダスキャナユニット
JP6281720B2 (ja) 撮像システム
WO2021168819A1 (zh) 无人机的返航控制方法和设备
WO2020233607A1 (zh) 一种无人机控制方法与装置、计算机可读存储介质
WO2020042159A1 (zh) 一种云台的转动控制方法、装置及控制设备、移动平台
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
JP2011048565A (ja) 半自律型無人車両の遠隔操縦システム
CN114270284A (zh) 控制设备、控制方法、无人驾驶飞行器、信息处理设备、信息处理方法及程序
WO2021237500A1 (zh) 飞行控制方法和设备
JP6910785B2 (ja) 移動撮像装置およびその制御方法、ならびに撮像装置およびその制御方法、無人機、プログラム、記憶媒体
CN113682227A (zh) 车辆周边监视系统
JP7149569B2 (ja) 建造物の測定方法
CN108778931B (zh) 一种摄像装置的转动控制方法、控制设备以及飞行器
EP3845992A1 (en) Control method for movable platform, movable platform, terminal device and system
CN110622486A (zh) 无人机的通信控制方法、系统和无人机
US20230350413A1 (en) Control system for an unmanned autonomous vehicle
WO2020158892A1 (ja) 撮影方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination