CN110366670A - 三维形状推断方法、飞行体、移动平台、程序及记录介质 - Google Patents

三维形状推断方法、飞行体、移动平台、程序及记录介质 Download PDF

Info

Publication number
CN110366670A
CN110366670A CN201780087583.8A CN201780087583A CN110366670A CN 110366670 A CN110366670 A CN 110366670A CN 201780087583 A CN201780087583 A CN 201780087583A CN 110366670 A CN110366670 A CN 110366670A
Authority
CN
China
Prior art keywords
subject
flight
flying
height
radius
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780087583.8A
Other languages
English (en)
Other versions
CN110366670B (zh
Inventor
顾磊
陈斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110366670A publication Critical patent/CN110366670A/zh
Application granted granted Critical
Publication of CN110366670B publication Critical patent/CN110366670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

根据本发明，无论被摄体的形状是否随高度而变化，都能高精度地推断被摄体的形状，避免飞行时飞行体与被摄体发生碰撞。三维形状推断方法在所设定的各飞行高度的飞行范围内飞行期间，通过飞行体获取被摄体的信息，并基于所获取的被摄体信息，推断被摄体的三维形状。

Description

三维形状推断方法、飞行体、移动平台、程序及记录介质
技术领域
本公开涉及一种推断由飞行体拍摄的被摄体的三维形状的三维形状推断方法、飞行体、移动平台、程序及记录介质。
背景技术
已知一种平台(例如无人飞行体)，其搭载摄像设备，在沿预先设定的固定路径飞行的同时进行拍摄(例如，参照专利文献1)。该平台从地面基地接收飞行路径、摄像指示等命令，按照该命令飞行，进行拍摄并将获取的图像发送给地面基地。平台在对摄像对象进行拍摄时，在沿设定的固定路径飞行的同时，根据平台与摄像对象的位置关系，倾斜平台的摄像设备来进行拍摄。
此外，一直以来已知可以基于空中飞行的无人飞行体(例如UAV：Unmanned AerialVehicle)所拍摄的空中照片等摄像图像，推断建筑物等被摄体的三维形状。为了使无人飞行体的拍摄(例如航拍)实现自动化，采用预先生成无人飞行体的飞行路径的技术。因此，为了利用无人飞行体推断建筑物等被摄体的三维形状，需要使无人飞行体沿预先生成的飞行路径飞行，获取无人飞行体在飞行路径中的不同摄像位置所拍摄的被摄体的多个摄像图像。
现有技术文献
专利文献
专利文献1：日本特开2010-61216号公报
发明内容
发明所要解决的技术问题
如果通过无人飞行体推断的建筑物等被摄体的形状相对简单(例如圆柱形)，则基本不会因被摄体的高度而发生形状变化，无人飞行体从固定的飞行中心以固定的飞行半径，沿圆周方向转圈飞行并改变高度，同时拍摄被摄体即可。借此，可以适当地确保无人飞行体到被摄体的距离而不受高度影响，能够拍摄满足无人飞行体中所设定的期望的分辨率的被摄体，从而可以基于该拍摄所获得的摄像图像来推断被摄体的三维形状。
但是，如果建筑物等被摄体的形状是会随高度而变化的复杂形状(例如，斜圆柱形或锥体)，则高度方向上被摄体的中心不固定，进而，无人飞行体飞行时的飞行半径也不固定。因此，在包括专利文献1在内的现有技术中，无人飞行体所拍摄的摄像图像的分辨率可能会因被摄体的高度而出现偏差而降低，可能难以基于拍摄所获得的摄像图像来推断被摄体的三维形状。并且，被摄体的形状会因高度而变化，事先不容易生成无人飞行体的飞行路径，并且，无人飞行体在飞行时还可能会与建筑物等被摄体发生碰撞。
用于解决问题的技术手段
在本发明的一实施形态中，三维形状推断方法包括：在所设定的各飞行高度的飞行范围内飞行期间，通过飞行体获取被摄体信息的步骤；以及
基于所获取的所述被摄体信息，推断所述被摄体的三维形状的步骤。
三维形状推断方法还可以包括根据被摄体的高度，按各飞行高度对在被摄体周围飞行的飞行体的飞行范围进行设定的步骤。
设定飞行范围的步骤可以包括基于飞行体在当前飞行高度飞行期间所获取的被摄体信息，设定飞行体下一个飞行高度的飞行范围的步骤。
设定下一个飞行高度的飞行范围的步骤可以包括：基于在当前飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断当前飞行高度下被摄体的半径及中心的步骤；以及利用所推断的当前飞行高度下被摄体的半径及中心，设定下一个飞行高度的飞行范围的步骤。
设定下一个飞行高度的飞行范围的步骤可以包括：基于在当前飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断下一个飞行高度下被摄体的半径及中心的步骤；以及利用所推断的下一个飞行高度下被摄体的半径及中心，设定下一个飞行高度的飞行范围的步骤。
设定下一个飞行高度的飞行范围的步骤可以包括：基于在当前飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断当前飞行高度下被摄体的半径及中心的步骤；利用所推断的当前飞行高度下被摄体的半径及中心，预测下一个飞行高度下被摄体的半径及中心的步骤；以及利用预测的下一个飞行高度下被摄体的半径及中心，设定下一个飞行高度的飞行范围的步骤。
三维形状推断方法还可以包括控制在各飞行高度的飞行范围内的飞行的步骤。
设定飞行范围的步骤可以包括基于在所设定的各飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断各飞行高度的飞行范围内被摄体的半径及中心的步骤；推断被摄体三维形状的步骤可以包括利用所推断的各飞行高度的飞行范围内被摄体的半径及中心，推断被摄体的三维形状的步骤。
设定飞行范围的步骤可以包括：分别获取被摄体的高度、被摄体的中心、被摄体的半径、飞行体中所包含的摄像部所设定的分辨率的步骤；以及利用所获取的被摄体高度、中心及半径和设定的分辨率，设定以被摄体顶端附近为飞行高度的飞行体的初始飞行范围的步骤。
设定飞行体的飞行范围的步骤可以包括：分别获取被摄体的高度、被摄体的中心、飞行体的飞行半径的步骤；以及利用所获取的被摄体高度、中心及飞行半径，设定以被摄体顶端附近为飞行高度的飞行体的初始飞行范围的步骤。
设定飞行范围的步骤可以包括对各飞行高度的飞行范围设定多个摄像位置的步骤；获取被摄体信息的步骤可以包括在所设定的多个摄像位置中相邻的各个摄像位置，通过飞行体重复拍摄被摄体的一部分的步骤。
三维形状推断方法还可以包括判断飞行体的下一个飞行高度是否在预定飞行高度以下的步骤。获取被摄体信息的步骤可以包括在判断飞行体的下一个飞行高度在预定飞行高度以下之前，反复获取所设定的各飞行高度的飞行体飞行范围内被摄体信息的步骤。
获取被摄体信息的步骤可以包括在所设定的各飞行高度的飞行范围内飞行期间，通过飞行体拍摄被摄体的步骤。推断三维形状的步骤可以包括基于所拍摄的各飞行高度的被摄体多个摄像图像，推断被摄体的三维形状的步骤。
获取被摄体信息的步骤可以包括在所设定的各飞行高度的飞行范围内飞行期间，获取利用飞行体所具备的光照计进行测距的测距结果和被摄体的位置信息的步骤。
设定飞行范围的步骤可以包括：使飞行体在所设定的初始飞行范围内飞行的步骤；基于在初始飞行范围内飞行期间所获取的被摄体信息，推断初始飞行范围内被摄体的半径及中心的步骤；以及利用所推断的初始飞行范围内被摄体的半径及中心，调整初始飞行范围的步骤。
控制飞行的步骤可以包括使飞行体在调整后的初始飞行范围内飞行的步骤；设定飞行范围的步骤可以包括：基于在调整后的初始飞行范围内飞行期间所拍摄的被摄体的多个摄像图像，推断初始飞行范围内被摄体的半径及中心的步骤；以及利用所推断的初始飞行范围内被摄体的半径及中心，设定初始飞行范围的飞行高度的下一个飞行高度的飞行范围的步骤。
在本发明一实施形态中，飞行体包括：获取部，该获取部在所设定的各飞行高度的飞行范围内飞行期间，获取被摄体的信息；以及形状推断部，该形状推断部基于所获取的被摄体信息，推断被摄体的三维形状。
飞行体还可以包括设定部，该设定部根据被摄体的高度，对各飞行高度设定在被摄体周围飞行的飞行体的飞行范围。
设定部可以基于飞行体在当前飞行高度飞行期间所获取的被摄体信息，设定飞行体下一个飞行高度的飞行范围。
设定部可以基于在当前飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断当前飞行高度下被摄体的半径及中心，利用所推断的当前飞行高度下被摄体的半径及中心，设定下一个飞行高度的飞行范围。
设定部可以基于在当前飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断下一个飞行高度下被摄体的半径及中心，利用所推断的下一个飞行高度下被摄体的半径及中心，设定下一个飞行高度的飞行范围。
设定部可以基于在当前飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断当前飞行高度下被摄体的半径及中心，利用所推断的当前飞行高度下被摄体的半径及中心，预测下一个飞行高度下被摄体的半径及中心，并利用预测的下一个飞行高度下被摄体的半径及中心，设定下一个飞行高度的飞行范围。
飞行体还可以包括飞行控制部，该飞行控制部控制在各飞行高度的飞行范围内的飞行。
设定部可以基于在各飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断各飞行高度的飞行范围内被摄体的半径及中心；形状推断部可以利用所推断的各飞行高度的飞行范围内被摄体的半径及中心，推断被摄体的三维形状。
设定部可以分别获取被摄体的高度、被摄体的中心、被摄体的半径、飞行体中所包含的摄像部所设定的分辨率，利用所获取的被摄体高度、中心及半径和设定的分辨率，设定以被摄体顶端附近为飞行高度的飞行体的初始飞行范围。
设定部可以分别获取被摄体的高度、被摄体的中心、飞行体的飞行半径，利用所获取的被摄体高度、中心及飞行半径，设定以被摄体顶端附近为飞行高度的飞行体的初始飞行范围。
设定部可以对各飞行高度的飞行范围设定多个摄像位置，获取部可以在所设定的多个摄像位置中相邻的各个摄像位置，重复拍摄被摄体的一部分。
飞行体还可以包括判断部，该判断部判断飞行体的下一个飞行高度是否在预定飞行高度以下。获取部可以在判断飞行体的下一个飞行高度在预定飞行高度以下之前，反复获取基于飞行控制部的各飞行高度的飞行体飞行范围内被摄体的信息。
获取部可以包括摄像部，该摄像部在所设定的各飞行高度的飞行范围内飞行期间拍摄被摄体。形状推断部可以基于所拍摄的各飞行高度的被摄体多个摄像图像，推断被摄体的三维形状。
获取部可以在所设定的各飞行高度的飞行范围内飞行期间，获取利用飞行体所具备的光照计进行测距的测距结果和被摄体的位置信息。
飞行控制部可以使飞行体在所设定的初始飞行范围内飞行，设定部可以根据基于飞行控制部在初始飞行范围内飞行期间所获取的被摄体信息，推断初始飞行范围内被摄体的半径及中心，利用所推断的初始飞行范围内被摄体的半径及中心，调整初始飞行范围。
飞行控制部可以使飞行体在调整后的初始飞行范围内飞行，设定部可以基于在调整后的初始飞行范围内飞行期间所拍摄的被摄体多个摄像图像，推断初始飞行范围内被摄体的半径及中心，利用所推断的初始飞行范围内被摄体的半径及中心，设定初始飞行范围的飞行高度的下一个飞行高度的飞行范围。
在本发明一实施形态中，移动平台是与在被摄体周围飞行的飞行体可通信地连接的移动平台，包括：获取指示部，该获取指示部在所设定的各飞行高度的飞行范围内飞行期间，指示飞行体获取被摄体的信息；以及形状推断部，该形状推断部基于所获取的被摄体信息，推断被摄体的三维形状。
移动平台还可以包括设定部，该设定部根据被摄体的高度，对各飞行高度设定飞行体的飞行范围。
设定部可以基于飞行体在当前飞行高度飞行期间所获取的被摄体信息，设定飞行体下一个飞行高度的飞行范围。
设定部可以基于在当前飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断当前飞行高度下被摄体的半径及中心，利用所推断的当前飞行高度下被摄体的半径及中心，设定下一个飞行高度的飞行范围。
设定部可以基于在当前飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断下一个飞行高度下被摄体的半径及中心，利用所推断的下一个飞行高度下被摄体的半径及中心，设定下一个飞行高度的飞行范围。
设定部可以基于在当前飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断当前飞行高度下被摄体的半径及中心，利用所推断的当前飞行高度下被摄体的半径及中心，预测下一个飞行高度下被摄体的半径及中心，并利用预测的下一个飞行高度下被摄体的半径及中心，设定下一个飞行高度的飞行范围。
移动平台还可以包括飞行控制部，该飞行控制部控制在各飞行高度的飞行范围内的飞行。
设定部可以基于在各飞行高度的飞行范围内飞行期间所获取的被摄体信息，推断各飞行高度的飞行范围内被摄体的半径及中心；形状推断部可以利用所推断的各飞行高度的飞行范围内被摄体的半径及中心，推断被摄体的三维形状。
设定部可以分别获取被摄体的高度、被摄体的中心、被摄体的半径、飞行体中所包含的摄像部所设定的分辨率，利用所获取的被摄体高度、中心及半径和设定的分辨率，设定以被摄体顶端附近为飞行高度的飞行体的初始飞行范围。
设定部可以分别获取被摄体的高度、被摄体的中心、飞行体的飞行半径，利用所获取的被摄体高度、中心及飞行半径，设定以被摄体顶端附近为飞行高度的飞行体的初始飞行范围。
设定部可以对各飞行高度的飞行范围设定多个摄像位置，获取指示部可以在所设定的多个摄像位置中相邻的各个摄像位置，使飞行体重复拍摄被摄体的一部分。
移动平台还可以包括判断部，该判断部判断飞行体的下一个飞行高度是否在预定飞行高度以下。获取指示部可以在判断飞行体的下一个飞行高度在预定飞行高度以下之前，反复获取基于飞行控制部的各飞行高度的飞行体飞行范围内被摄体的信息。
获取指示部可以在所设定的各飞行高度的飞行范围内飞行期间，将用于拍摄被摄体的指示发送给飞行体。形状推断部可以基于通过飞行体所拍摄的各飞行高度的被摄体多个摄像图像，推断被摄体的三维形状。
获取指示部可以在所设定的各飞行高度的飞行范围内飞行期间，将获取利用飞行体所具备的光照计进行测距的测距结果和被摄体的位置信息的指示发送给飞行体。
飞行控制部可以使飞行体在所设定的初始飞行范围内飞行，设定部可以根据基于飞行控制部在初始飞行范围内飞行期间所获取的被摄体信息，推断初始飞行范围内被摄体的半径及中心，利用所推断的初始飞行范围内被摄体的半径及中心，调整初始飞行范围。
飞行控制部可以使飞行体在调整后的初始飞行范围内飞行，设定部可以基于在调整后的初始飞行范围内飞行期间所获取的被摄体信息，推断初始飞行范围内被摄体的半径及中心，利用所推断的初始飞行范围内被摄体的半径及中心，设定初始飞行范围的飞行高度的下一个飞行高度的飞行范围。
移动平台可以是利用与飞行体之间的通信来远程控制飞行体的操作终端，或者与操作终端连接，经由操作终端来远程控制飞行体的通信终端中的任一个。
在本发明一实施形态中，记录介质是记录有程序的计算机可读记录介质，所述程序用于使作为计算机的飞行体执行如下步骤：在所设定的各飞行高度的飞行范围内飞行期间，通过飞行体获取被摄体的信息的步骤；以及基于所获取的被摄体信息，推断被摄体的三维形状的步骤。
在本发明一实施形态中，程序是用于使作为计算机的飞行体执行如下步骤的程序：在所设定的各飞行高度的飞行范围内飞行期间，通过飞行体获取被摄体的信息的步骤；以及基于所获取的被摄体信息，推断被摄体的三维形状的步骤。
此外，上述发明内容中并未穷举本公开的所有特征。此外，这些特征组的子组合也可以构成发明。
附图说明
图1是示出各实施方式的三维形状推断系统的第一配置示例的图。
图2是示出无人飞行体的外观的一个示例的图。
图3是示出无人飞行体的具体外观的一个示例的图。
图4是示出构成图1的三维形状推断系统的无人飞行体的硬件配置的一个示例的框图。
图5是示出发送器的外观的一个示例的图。
图6是示出构成图1的三维形状推断系统的发送器的硬件配置的一个示例的框图。
图7是示出本实施方式的三维形状推断系统的第二配置示例的图。
图8是示出构成图7的三维形状推断系统的发送器的硬件配置的一个示例的框图。
图9是示出构成图7的三维形状推断系统的无人飞行体的硬件配置的一个示例的框图。
图10是示出本实施方式的三维形状推断系统的第三配置示例的图。
图11是示出构成图10的三维形状推断系统的安装有通信终端(例如平板终端)的发送器的外观的一个示例的立体图。
图12是示出构成图10的三维形状推断系统的安装有通信终端(例如智能手机)的发送器的外观的一个示例的立体图。
图13是示出构成图10的三维形状推断系统的发送器和通信终端的电气连接关系的一个示例的框图。
图14A是从上空观察被摄体周边的俯视图。
图14B是从正面观察被摄体的正视图。
图15是用于计算水平摄像间隔的说明图。
图16是示出水平角度的一个示例的示意图。
图17是实施方式1的被摄体三维形状推断的动作概要说明图。
图18是示出实施方式1的三维形状推断方法的动作步骤的一个示例的流程图。
图19A是示出图18的步骤S7的变形例1的动作步骤的一个示例的流程图。
图19B是示出图18的步骤S7的变形例2的动作步骤的一个示例的流程图。
图20是实施方式2的被摄体三维形状推断的动作概要的说明图。
图21是示出实施方式2的三维形状推断方法的动作步骤的一个示例的流程图。
符号说明
10 三维形状推断系统
50 发送器
61 发送器控制部
61A、81A、111 飞行路径处理部
61B、81B、112 形状数据处理部
63、85 无线通信部
64、87、160 存储器
80 通信终端
81 处理器
89、240 GPS接收器
100 无人飞行体
102 UAV主体
110 UAV控制部
150 通信接口
170 电池
200 万向节
210 旋翼机构
220、230 摄像装置
250 惯性测量装置
260 磁罗盘
270 气压高度计
280 超声波高度计
290 激光测距仪
TPD1、TPD2 触摸屏显示器
OP1、OPn 操作部
具体实施方式
以下，通过发明的实施方式来对本公开进行说明，但是以下实施方式并非限制权利要求书所涉及的发明。实施方式中说明的所有特征的组合对于发明的解决方案未必是必须的。
权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制，著作权人则不会提出异议。但是，在除此以外的情况下，保留一切的著作权。
本公开所涉及的三维形状推断系统包括作为移动体的一个示例的无人飞行体(UAV：Unmanned Aerial Vehicle)和用于远程控制无人飞行体的动作或处理的移动平台。
无人飞行体包括在空中移动的航空器(例如无人机、直升机)。无人飞行体在根据被摄体(例如，具有不规则形状的建筑物)的高度而设定的各飞行高度的飞行范围(以下，有时也称为“飞行路线”)内沿水平且圆周的方向转圈飞行。各飞行高度的飞行范围设定为包围被摄体的周围，例如设定为圆形。无人飞行体在各飞行高度的飞行范围内转圈飞行期间，对被摄体进行航拍。
此外，在以下说明中，为了便于清楚地说明本公开所涉及的三维形状推断系统的特征，被摄体的形状较为复杂。例如为斜圆柱形或锥体，被摄体的形状会随无人飞行体的飞行高度而变化。但是，被摄体的形状也可以为相对简单的形状，例如为圆柱形。也就是说，被摄体的形状也可以不随无人飞行体的飞行高度而变化。
移动平台是计算机，例如是用于指示包括无人飞行体的移动在内的各种处理的远程控制的发送器、或者是以能够进行信息、数据的输入输出的方式与发送器连接的通信终端。另外，无人飞行体本身可以作为移动平台而被包括在内。
本公开所涉及的三维形状推断方法规定了三维形状推断系统、无人飞行体或移动平台中的各种处理(步骤)。
本公开所涉及的记录介质记录有程序(即用于使无人飞行体或移动平台执行各种处理(步骤)的程序)。
本公开所涉及的程序是用于使无人飞行体或移动平台执行各种处理(步骤)的程序。
(实施方式1)
在实施方式1中，无人飞行体100基于输入参数(参照后述内容)，设定在被摄体周围转圈飞行的初始飞行范围(参照图17所示的初始飞行路线C1)。
图1是示出各实施方式的三维形状推断系统10的第一配置示例的图。图1所示的三维形状推断系统10至少包括无人飞行体100和发送器50。无人飞行体100和发送器50能够利用有线通信或无线通信(例如无线LAN(Local Area Network)或Bluetooth(注册商标))，相互进行信息、数据的通信。另外，在图1中省略了在发送器50的壳体上安装有通信终端80的情况的图示。作为操作终端的一个示例的发送器50是在例如利用发送器50的人(以下称为“用户”)用双手握持的状态下利用的。
图2是示出无人飞行体100的外观的一个示例的图。图3是示出无人飞行体100的具体外观的一个示例的图。图2表示无人飞行体100向移动方向STV0飞行时的侧视图，图3表示无人飞行体100向移动方向STV0飞行时的立体图。无人飞行体100是具备作为摄像部一个示例的摄像装置220、230并移动的移动体的一个示例。移动体是指除无人飞行体100之外，包括在空中移动的其他飞行器、在地面上移动的车辆、在水上移动的船舶等的概念。在此，如图2及图3所示，与地面平行且沿着移动方向STV0的方向被定义为滚转轴(参照图2及图3的x轴)。此时，与地面平行且与滚转轴垂直的方向被定义为俯仰轴(参照图2及图3的y轴)，并且，与地面垂直且与滚转轴以及俯仰轴垂直的方向被定义为偏航轴(图2及图3的z轴)。
无人飞行体100包括UAV主体102、万向节200、摄像装置220以及多个摄像装置230。无人飞行体100根据从作为本公开所涉及的移动平台的一个示例的发送器50发送的远程控制指示而移动。无人飞行体100的移动是指飞行，至少包括上升、下降、左回旋、右回旋、左水平移动、右水平移动的飞行。
UAV主体102包括多个旋翼。UAV主体102通过控制多个旋翼的旋转而使无人飞行体100移动。UAV主体102利用例如四个旋翼使无人飞行体100移动。旋翼的数量并不限于四个。另外，无人飞行体100可以是没有旋翼的固定翼机。
摄像装置220是对包含在期望的摄像范围内的被摄体(例如，上述具有不规则形状的建筑物)进行拍摄的拍摄用相机。另外，被摄体可以包括作为无人飞行体100的航拍对象的上空的情况、山川、河流等的景色。
多个摄像装置230是为了控制无人飞行体100的移动而对无人飞行体100的周围进行拍摄的传感用相机。两个摄像装置230可以设置于无人飞行体100的机头、即正面。进而，其他两个摄像装置230可以设置于无人飞行体100的底面。正面侧的两个摄像装置230可以成对，起到所谓的立体相机的作用。底面侧的两个摄像装置230也可以成对，起到立体相机的作用。可以基于由多个摄像装置230拍摄的图像来生成无人飞行体100的周围的三维空间数据。另外，无人飞行体100所包括的摄像装置230的数量不限于四个。无人飞行体100包括至少一个摄像装置230即可。无人飞行体100可以在无人飞行体100的机头、机尾、侧面、底面及顶面分别包括至少一个摄像装置230。摄像装置230中可设定的视角可大于摄像装置220中可设定的视角。摄像装置230可以具有单焦点镜头或鱼眼镜头。
接着，对无人飞行体100的配置示例进行说明。
图4是示出构成图1的三维形状推断系统10的无人飞行体100的硬件配置的一个示例的框图。无人飞行体100的构成为包括UAV控制部110、通信接口150、存储器160、电池170、万向节200、旋翼机构210、摄像装置220、摄像装置230、GPS接收器240、惯性测量装置(IMU：Inertial Measurement Unit)250、磁罗盘260、气压高度计270、超声波高度计280以及激光测距仪290。
UAV控制部110例如由CPU(Central Processing Unit：中央处理器)、MPU(MicroProcessing Unit：微处理器)或DSP(Digital Signal Processor：数字信号处理器)构成。UAV控制部110执行用于总体控制无人飞行体100各部分的动作的信号处理、与其它各部分之间的数据的输入输出处理、数据的运算处理以及数据的存储处理。
UAV控制部110按照存储于存储器160中的程序来控制无人飞行体100的飞行。UAV控制部110按照经由通信接口150从远程发送器50接收到的命令来控制无人飞行体100的移动(即飞行)。存储器160可以从无人飞行体100上拆卸下来。
UAV控制部110可以通过对由多个摄像装置230拍摄的多个图像进行分析，来指定无人飞行体100周围的环境。UAV控制部110基于无人飞行体100周围的环境，例如避开障碍物来控制飞行。UAV控制部110可以基于由多个摄像装置230拍摄到的多个图像来生成无人飞行体100的周围的三维空间数据，并基于三维空间数据来控制飞行。
UAV控制部110获取表示当前日期和时间的日期和时间信息。UAV控制部110可以从GPS接收器240获取表示当前日期和时间的日期和时间信息。UAV控制部110可以从搭载于无人飞行体100的计时器(未图示)获取表示当前日期和时间的日期和时间信息。
UAV控制部110获取表示无人飞行体100的位置的位置信息。UAV控制部110可以从GPS接收器240获取表示无人飞行体100所在的纬度、经度以及高度的位置信息。UAV控制部110可以分别从GPS接收器240获取表示无人飞行体100所在的纬度及经度的纬度经度信息，并从气压高度计270或超声波高度计280获取表示无人飞行体100所在的高度的高度信息，作为位置信息。
UAV控制部110从磁罗盘260获取表示无人飞行体100的朝向的朝向信息。朝向信息表示例如与无人飞行体100的机头的朝向对应的方位。
UAV控制部110可以在摄像装置220对应该拍摄的摄像范围进行拍摄时获取表示无人飞行体100所应该存在的位置的位置信息。UAV控制部110可以从存储器160获取表示无人飞行体100所应该存在的位置的位置信息。UAV控制部110可以经由通信接口150从发送器50等其他装置获取表示无人飞行体100所应该存在的位置的位置信息。为了对应该拍摄的摄像范围进行拍摄，UAV控制部110可以参照三维地图数据库，来指定无人飞行体100所能够存在的位置，并获取该位置作为表示无人飞行体100所应该存在的位置的位置信息。
UAV控制部110获取表示摄像装置220以及摄像装置230各自的摄像范围的摄像信息。UAV控制部110从摄像装置220以及摄像装置230获取表示摄像装置220以及摄像装置230的视角的视角信息，作为用于指定摄像范围的参数。UAV控制部110获取表示摄像装置220以及摄像装置230的摄像方向的信息，作为用于指定摄像范围的参数。UAV控制部110从万向节200获取表示摄像装置220的姿势状态的姿势信息，作为例如表示摄像装置220的摄像方向的信息。UAV控制部110获取表示无人飞行体100的朝向的信息。表示摄像装置220的姿势状态的信息表示万向节200从俯仰轴和偏航轴的基准旋转角度旋转的角度。UAV控制部110获取表示无人飞行体100所在的位置的位置信息，作为用于指定摄像范围的参数。UAV控制部110可以基于摄像装置220和摄像装置230的视角和摄像方向、以及无人飞行体100所在的位置，来划定表示摄像装置220拍摄的地理范围的摄像范围并生成表示摄像范围的摄像信息，从而获取摄像信息。
UAV控制部110可以获取表示摄像装置220应该拍摄的摄像范围的摄像信息。UAV控制部110可以从存储器160获取摄像装置220应该拍摄的摄像信息。UAV控制部110可以经由通信接口150从发送器50等其他装置获取摄像装置220应该拍摄的摄像信息。
UAV控制部110获取表示存在于无人飞行体100周围的对象的立体形状的立体信息。对象是例如建筑物、道路、车辆、树木等风景的一部分。立体信息例如是三维空间数据。UAV控制部110可以通过生成表示存在于无人飞行体100周围的对象的立体形状的立体信息，从由多个摄像装置230得到的各个图像获取立体信息。UAV控制部110可以通过参照存储在存储器160中的三维地图数据库，来获取表示存在于无人飞行体100周围的对象的立体形状的立体信息。UAV控制部110可以通过参照由网络上存在的服务器所管理的三维地图数据库，来获取与存在于无人飞行体100周围的对象的立体形状相关的立体信息。
UAV控制部110获取由摄像装置220和摄像装置230拍摄的被摄体图像数据(以下，有时也称为“摄像图像”)。
UAV控制部110控制万向节200、旋翼机构210、摄像装置220和摄像装置230。UAV控制部110通过变更摄像装置220的摄像方向或视角来控制摄像装置220的摄像范围。UAV控制部110通过控制万向节200的旋转机构来控制万向节200所支持的摄像装置220的摄像范围。
本说明书中，摄像范围是指由摄像装置220或摄像装置230所拍摄的地理范围。摄像范围由纬度、经度和高度定义。摄像范围可以是由纬度、经度和高度定义的三维空间数据的范围。摄像范围基于摄像装置220或摄像装置230的视角和摄像方向、以及无人飞行体100所在的位置而指定。摄像装置220以及摄像装置230的摄像方向由摄像装置220以及摄像装置230的设置有摄像镜头的正面所朝的方位和俯角来定义。摄像装置220的摄像方向是由无人飞行体100的机头的方位和摄像装置220相对于万向节200的姿势状态而指定的方向。摄像装置230的摄像方向是由无人飞行体100的机头的方位和设置有摄像装置230的位置而指定的方向。
UAV控制部110通过控制旋翼机构210来控制无人飞行体100的飞行。即，UAV控制部110通过控制旋翼机构210来对包括无人飞行体100的纬度、经度以及高度的位置进行控制。UAV控制部110可以通过控制无人飞行体100的飞行来控制摄像装置220以及摄像装置230的摄像范围。UAV控制部110可以通过控制摄像装置220所包括的变焦镜头来控制摄像装置220的视角。UAV控制部110可以利用摄像装置220的数字变焦功能，通过数字变焦来控制摄像装置220的视角。UAV控制部110在对各飞行高度所设定的飞行范围(飞行路线)中途所存在的摄像位置(后述Waypoint)，使摄像装置220或摄像装置230沿水平方向、预定角度方向或垂直方向拍摄被摄体。预定角度方向是适合无人飞行体100或者移动平台进行被摄体的三维形状推断的预定值角度方向。
在摄像装置220固定于无人飞行体100，不移动摄像装置220的情况下，UAV控制部110可以通过使无人飞行体100在特定的日期和时间移动到特定的位置，以使摄像装置220在期望的环境下拍摄期望的摄像范围。或者在摄像装置220没有变焦功能，无法改变摄像装置220视角的情况下，UAV控制部110可以通过使无人飞行体100在特定的日期和时间移动到特定的位置，以使摄像装置220在期望的环境下拍摄期望的摄像范围。
此外，UAV控制部110包括：飞行路径处理部111，该飞行路径处理部111进行对无人飞行体100的各飞行高度所设定的飞行范围(飞行路线)的生成的相关处理；形状数据处理部112，该形状数据处理部112进行被摄体的三维形状数据的推断以及生成的相关处理。
作为获取部的一个示例的飞行路径处理部111可以获取输入参数。或者，飞行路径处理部111可以经由通信接口150接收发送器50所输入的输入参数，从而获取。获取的输入参数可以保存于存储器160中。输入参数包括例如在被摄体周围转圈飞行的无人飞行体100的初始的飞行范围(即初始飞行范围或初始飞行路线C1(参照图17))的高度Hstart信息、初始飞行路线C1的中心位置PO(例如纬度及经度)的信息。此外，输入参数可以包括表示沿初始飞行路线C1飞行的无人飞行体100的初始飞行路线的半径的初始飞行半径Rflight0信息，或者被摄体的半径Robj0信息及设定的分辨率信息。另外，设定的分辨率表示由摄像装置220、230拍摄的摄像图像的分辨(即，用于获取适当的摄像图像以确保能高精度地推断被摄体BL的三维形状的分辨率)，可以保存在无人飞行体100的存储器160中。
另外，除了上述参数外，输入参数还可以包括无人飞行体100的初始飞行路线C1中的摄像位置(即Waypoint)信息、用于生成通过摄像位置的飞行路径的各种参数。摄像位置是三维空间中的位置。
此外，输入参数可以包括在例如图17所示的各个飞行高度的飞行范围(初始飞行路线C1、飞行路线C2、C3、C4、C5、C6、C7、C8)内所设定的摄像位置(Waypoint)，无人飞行体100拍摄被摄体BL时摄像范围的重复率信息。另外，输入参数还可以包括表示无人飞行体100为了推断被摄体BL的三维形状而飞行的最终飞行高度的结束高度信息、飞行路线的初始摄像位置信息中的至少一个。此外，输入参数可以包括在各个飞行高度的飞行范围(初始飞行路线C1、飞行路线C2～C8)内的摄像位置间隔信息。
此外，飞行路径处理部111可以从其他装置获取输入参数中所包含的至少一部分信息，而不是从发送器50获取。例如，飞行路径处理部111可以通过发送器50接收指定的被摄体的识别信息并获取。飞行路径处理部111可以根据指定的被摄体的识别信息，经由通信接口150而与外部服务器通信，接收对应于被摄体识别信息的被摄体的半径信息、被摄体的高度信息并获取。
摄像范围的重复率表示在水平方向或上下方向上相邻的摄像位置，摄像装置220或摄像装置230进行拍摄时两个摄像范围的重复比例。摄像范围的重复率可以包括水平方向上摄像范围的重复率(也称为水平重复率)信息、上下方向上摄像范围的重复率(也称为上下重复率)信息中的至少一个。水平重复率及上下重复率可以相同，也可以不同。水平重复率及上下重复率为不同值时，水平重复率信息及上下重复率信息均可包含在输入参数中。水平重复率及上下重复率为相同值时，相同值的一个重复率信息可以包含在输入参数中。
摄像位置间隔是空间上的摄像间隔，是飞行路径中无人飞行体100应该拍摄图像的多个摄像位置中相邻的摄像位置之间的距离。摄像位置间隔可以包括水平方向上的摄像位置间隔(也称为水平摄像间隔)及垂直方向的摄像位置间隔(也称为上下摄像间隔)中的至少一个。飞行路径处理部111可以计算出包括水平摄像间隔及上下摄像间隔的摄像位置间隔并获取，也可以从输入参数中获取。
也就是说，飞行路径处理部111可以在各飞行高度的飞行范围(飞行路线)内配置由摄像装置220或230进行拍摄的摄像位置(Waypoint)。摄像位置的间隔(摄像位置间隔)例如可以等间隔地配置。将摄像位置配置为相邻的摄像位置处摄像图像的相关摄像范围有一部分重复。从而可以利用多个摄像图像来推断三维形状。摄像装置220或230具有预定的视角，因此，通过缩短摄像位置间隔，两个摄像范围就有一部分会重复。
飞行路径处理部111可以基于例如摄像位置的配置高度(摄像高度)、摄像装置220或230的分辨率，计算出摄像位置间隔。摄像高度越高或者摄像距离越长，摄像范围的重复率就越大，因此，可以延长(稀疏化)摄像位置间隔。摄像高度越低或者摄像距离越短，摄像范围的重复率就越小，因此，可以缩短(密集化)摄像位置间隔。飞行路径处理部111进而可以基于摄像装置220或230的视角，计算出摄像位置间隔。飞行路径处理部111可以通过其他周知的方法计算出摄像位置间隔。
飞行范围(飞行路线)是在周端部包含无人飞行体100在被摄体周围沿水平(换言之，基本不改变飞行高度)且圆周方向转圈飞行的飞行路径的范围。飞行范围(飞行路线)可以是从正上方观察飞行范围时的截面形状近似于圆形的范围。从正上方观察飞行范围(飞行路线)时的截面形状也可以是圆形以外的形状(例如多边形)。飞行路径(飞行路线)可以具有高度(摄像高度)不同的多个飞行路线。飞行路径处理部111可以根据被摄体的中心位置信息(例如，纬度及经度信息)和被摄体的半径信息，计算出飞行范围。飞行路径处理部111可以根据被摄体的中心位置和被摄体的半径，使被摄体近似于圆形，计算出飞行范围。此外，飞行路径处理部111可以获取输入参数中所包含的、发送器50所生成的飞行范围信息。
飞行路径处理部111可以从摄像装置220或摄像装置230获取摄像装置220的视角或摄像装置230的视角信息。水平方向和上下方向上摄像装置220的视角或摄像装置230的视角可以相同，也可以不同。水平方向上摄像装置220的视角或摄像装置230的视角也称为水平视角。上下方向上摄像装置220的视角或摄像装置230的视角也称为上下视角。水平视角及上下视角为相同值时，飞行路径处理部111可以获取相同值的一个视角信息。
飞行路径处理部111可以基于被摄体的半径、飞行范围的半径、摄像装置220的水平视角或摄像装置230的水平视角、摄像范围的水平重复率，计算出水平摄像间隔。飞行路径处理部111可以基于被摄体的半径、飞行范围的半径、摄像装置220的上下视角或摄像装置230的上下视角、摄像范围的上下重复率，计算出上下摄像间隔。
飞行路径处理部111基于飞行范围及摄像位置间隔，确定无人飞行体100拍摄被摄体的摄像位置(Waypoint)。无人飞行体100的摄像位置可以在水平方向上等间隔地配置，最后的摄像位置和最初的摄像位置之间的距离可以比摄像位置间隔短。该间隔为水平摄像间隔。无人飞行体100的摄像位置可以在上下方向上等间隔地配置，最后的摄像位置和最初的摄像位置之间的距离可以比摄像位置间隔短。该间隔为上下摄像间隔。
飞行路径处理部111生成通过所确定的摄像位置的飞行范围(飞行路线)。飞行路径处理部111在一个飞行路线上依次通过水平方向上相邻的各摄像位置，全部通过该飞行路线上的各摄像位置后，可以生成进入下一个飞行路线的飞行路径。飞行路径处理部111在下一个飞行路线上也一样依次通过水平方向上相邻的各摄像位置，全部通过该飞行路线上的各摄像位置后，可以生成进入再下一个飞行路线的飞行路径。飞行路径可以形成为以上空侧为起点，随着沿飞行路径的行进，高度逐渐下降。另一方面，飞行路径也可以形成为以地面侧为起点，随着沿飞行路径的行进，高度逐渐上升。
飞行路径处理部111可以依照所生成的飞行路径，控制无人飞行体100的飞行。飞行路径处理部111可以在存在于飞行路径中途的摄像位置，通过摄像装置220或摄像装置230拍摄被摄体。无人飞行体100可以绕被摄体的侧方旋转，依照飞行路径进行飞行。因此，摄像装置220或摄像装置230可以在飞行路径中的摄像位置拍摄被摄体的侧面。由摄像装置220或摄像装置230拍摄的摄像图像可以保存在存储器160中。UAV控制部110可以适当地(例如，生成三维形状数据时)参照存储器160。
形状数据处理部112可以基于摄像装置220、230中的任一个在不同摄像位置所拍摄的多个摄像图像，生成表示对象(被摄体)立体形状(三维形状)的立体信息(三维信息、三维形状数据)。因此，可以利用摄像图像作为用于复原三维形状数据的一个图像。用于复原三维形状数据的摄像图像可以是静态图像。关于基于多个摄像图像生成三维形状数据的方法，可以利用周知的方法。作为周知的方法，可列举例如MVS(Multi View Stereo：多视角立体视觉)、PMVS(Patch-based MVS：基于面片三维多视角立体视觉算法)、SfM(Structurefrom Motion：运动恢复结构)。
三维形状数据的生成中所利用的摄像图像可以是静态图像。三维形状数据的生成中所利用的多个摄像图像中包括摄像范围互相之间有一部分重复的两个摄像图像。该重复的比例(即，摄像范围的重复率)越高，在同一范围内生成三维形状数据时，生成三维形状数据所利用的摄像图像数量就越多。因此，形状数据处理部112可以提高三维形状的复原精度。另一方面，摄像范围的重复率越低，在同一范围内生成三维形状数据时，生成三维形状数据所利用的摄像图像数量就越少。因此，形状数据处理部112可以缩短三维形状数据的生成时间。另外，在多个摄像图像中，也可以不包括摄像范围互相之间有一部分重复的两个摄像图像。
形状数据处理部112获取包含对被摄体侧面进行拍摄的摄像图像作为多个摄像图像。因此，和获取一律从上空对垂直方向进行拍摄而获得的摄像图像的情况相比，形状数据处理部112可以收集多个被摄体侧面的图像特征，可以提高被摄体周边三维形状的复原精度。
通信接口150与发送器50进行通信(参照图4)。通信接口150从远程发送器50接收对UAV控制部110的各种命令。
存储器160存储UAV控制部110对万向节200、旋翼机构210、摄像装置220、摄像装置230、GPS接收器240、惯性测量装置250、磁罗盘260以及气压高度计270进行控制所需的程序等。存储器160可以是计算机可读记录介质，可以包括SRAM(Static Random AccessMemory：静态随机存取存储器)、DRAM(Dynamic Random Access Memory：动态随机存取存储器)、EPROM(Erasable Programmable Read Only Memory：可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory：电可擦除可编程只读存储器)以及USB存储器等闪存中的至少一个。存储器160可以设置在UAV主体102的内部。其可以设置成可从UAV主体102上拆卸下来。
电池170具有作为无人飞行体100的各部分的驱动源的功能，向无人飞行体100的各部分提供所需的电源。
万向节200以至少一个轴为中心，可旋转地支持摄像装置220。万向节200可以以偏航轴、俯仰轴以及滚转轴为中心，可旋转地支持摄像装置220。万向节200可以通过使摄像装置220以偏航轴、俯仰轴以及滚转轴中的至少一个为中心进行旋转，来变更摄像装置220的摄像方向。
旋翼机构210具有多个旋翼和使多个旋翼旋转的多个驱动电机。
摄像装置220对期望的摄像范围的被摄体进行拍摄并生成摄像图像的数据。通过摄像装置220的拍摄而得到的图像数据保存于摄像装置220所具有的存储器、或存储器160中。
摄像装置230对无人飞行体100的周围进行拍摄并生成摄像图像的数据。摄像装置230的图像数据存储于存储器160中。
GPS接收器240接收从多个导航卫星(即GPS卫星)发送的、表示时间以及各GPS卫星的位置(坐标)的多个信号。GPS接收器240基于接收到的多个信号，计算出GPS接收器240的位置(即无人飞行体100的位置)。GPS接收器240将无人飞行体100的位置信息输出到UAV控制部110。另外，可以由UAV控制部110代替GPS接收器240来进行GPS接收器240的位置信息的计算。这时，在UAV控制部110中输入GPS接收器240所接收的多个信号中包含的表示时间以及各GPS卫星的位置的信息。
惯性测量装置250检测无人飞行体100的姿势，并将检测结果输出到UAV控制部110。惯性测量装置IMU250检测无人飞行体100的前后、左右和上下3轴方向的加速度以及俯仰轴、滚转轴和偏航轴3轴方向的角速度，作为无人飞行体100的姿势。
磁罗盘260检测无人飞行体100的机头的方位，并将检测结果输出到UAV控制部110。
气压高度计270检测无人飞行体100飞行的高度，并将检测结果输出到UAV控制部110。
超声波高度计280照射超声波，检测地面、物体反射的超声波，并将检测结果输出到UAV控制部110。检测结果表示例如从无人飞行体100到地面的距离(即高度)。检测结果还可以表示例如从无人飞行体100到物体的距离。
无人飞行体100在对各飞行高度所设定的飞行范围(飞行路线)内飞行期间，作为光照计的一个示例的激光测距仪290朝向被摄体照射激光，测量无人飞行体100与被摄体之间的距离。测距结果输入到UAV控制部110。另外，光照计并不限定于激光测距仪290，也可以是例如照射红外线的红外线测距仪。
接着，对发送器50的配置示例进行说明。
图5是示出发送器50的外观的一个示例的立体图。相对于发送器50的上下前后左右方向分别遵从图5所示的箭头方向。发送器50是在例如利用发送器50的用户用两手握持的状态下使用的。
发送器50具有树脂制的壳体50B，其具有例如大致正方形的底面，且呈高度比底面的一边短的大致长方体(换言之即大致箱形)的形状。关于发送器50的具体配置，参照图6，如后所述。在发送器50的壳体表面的大致中央突出设置有左控制杆53L和右控制杆53R。
左控制杆53L、右控制杆53R分别被用于用户远程控制无人飞行体100的移动(例如，无人飞行体100的前后移动、左右移动、上下移动、朝向变更)的操作。在图5中，左控制杆53L和右控制杆53R表示未由用户的双手分别施加外力的初始状态的位置。左控制杆53L和右控制杆53R在由用户施加的外力被释放后，自动地回到预定位置(例如图5所示的初始位置)。
在左控制杆53L的近前侧(换言之，用户侧)配置有发送器50的电源按钮B1。当用户按下一次电源按钮B1时，例如在电池余量显示部L2上显示内置于发送器50的电池(未图示)的剩余容量。当用户再次按下电源按钮B1时，例如发送器50的电源接通，向发送器50的各部分(参照图6)供电而能够利用。
在右控制杆53R的近前侧(换言之，用户侧)配置有RTH(Return To Home)按钮B2。当用户按下RTH按钮B2时，发送器50向无人飞行体100发送用于使其自动回到预定位置的信号。由此，发送器50能够使无人飞行体100自动返回到预定位置(例如无人飞行体100所存储的起飞位置)。RTH按钮B2例如能够用于在室外通过无人飞行体100进行航拍期间，用户看丢了无人飞行体100的机体的情况，或者遭遇电波干扰或非预期的故障而不能操作的情况等。
在电源按钮B1以及RTH按钮B2的近前侧(换言之，用户侧)配置有远程状态显示部L1以及电池余量显示部L2。远程状态显示部L1例如由LED(Light Emission Diode)构成，显示发送器50与无人飞行体100的无线连接状态。电池余量显示部L2例如由LED构成，显示内置于发送器50的电池(未图示)的剩余容量。
在左控制杆53L和右控制杆53R的后侧，且发送器50的壳体50B的后方侧面突出设置有两个天线AN1、AN2。天线AN1、AN2基于用户的左控制杆53L和右控制杆53R的操作，将由发送器控制部61生成的信号(即，用于控制无人飞行体100的移动的信号)发送到无人飞行体100。天线AN1、AN2能够覆盖例如2km的收发范围。此外，在从无人飞行体100发送由与发送器50无线连接的无人飞行体100所具有的摄像装置220、230所拍摄的图像、或由无人飞行体100获取的各种数据的情况下，天线AN1、AN2能够接收这些图像或各种数据。
触摸屏显示器TPD1例如由LCD(Crystal Liquid Display)或有机EL(Electroluminescence)构成。触摸屏显示器TPD1的形状、尺寸和配置位置是任意的，不限于图6的图示例。
图6是示出构成图1的三维形状推断系统10的发送器50的硬件配置的一个示例的框图。发送器50包括左控制杆53L、右控制杆53R、发送器控制部61、无线通信部63、存储器64、电源按钮B1、RTH按钮B2、操作部组OPS、远程状态显示部L1、电池余量显示部L2以及触摸屏显示器TPD1。发送器50是用于远程控制无人飞行体100的操作终端的一个示例。
左控制杆53L例如用于通过用户的左手远程控制无人飞行体100的移动的操作。右控制杆53R例如用于通过用户的右手远程控制无人飞行体100的移动的操作。无人飞行体100的移动例如为前进方向的移动、后退方向的移动、向左方向的移动、向右方向的移动、上升方向的移动、下降方向的移动、向左方向使无人飞行体100旋转的移动、向右方向使无人飞行体100旋转的移动中的任一个或它们的组合，以下相同。
当按下一次电源按钮B1时，意指被按下一次的信号则被输入到发送器控制部61。发送器控制部61按照该信号将内置于发送器50的电池(未图示)的剩余容量显示于电池余量显示部L2。由此，用户能够简单地确认内置于发送器50的电池的剩余容量。另外，当按下两次电源按钮B1时，意指被按下两次的信号则被传递给发送器控制部61。发送器控制部61按照该信号，指示内置于发送器50的电池(未图示)向发送器50内的各部分供电。由此，发送器50的电源接通，用户能够简单地开始发送器50的使用。
当按下RTH按钮B2时，意指被按下的信号则被输入到发送器控制部61。发送器控制部61按照该信号，生成用于使无人飞行体100自动回到预定位置(例如无人飞行体100的起飞位置)的信号，并经由无线通信部63以及天线AN1、AN2发送到无人飞行体100。由此，用户能够通过对发送器50的简单操作，使无人飞行体100自动地回到(返回)预定位置。
操作部组OPS由多个操作部(例如，操作部OP1、...、操作部OPn)(n为大于等于2的整数)构成。操作部组OPS由除了图5所示的左控制杆53L、右控制杆53R、电源按钮B1以及RTH按钮B2以外的其他操作部(例如，用于辅助发送器50对无人飞行体100进行的远程控制的各种操作部)构成。这里所说的各种操作部相当于例如指示利用无人飞行体100的摄像装置220拍摄静态图像的按钮、指示利用无人飞行体100的摄像装置220开始及结束录制动态图像的按钮、调整无人飞行体100的万向节200(参照图4)在倾斜方向的倾斜度的拨盘、切换无人飞行体100的飞行模式的按钮、对无人飞行体100的摄像装置220进行设定的拨盘。
此外，操作部组OPS包括用于输入输入参数信息的参数操作部OPA，该输入参数用于生成无人飞行体100的摄像间隔位置、摄像位置或飞行路径。参数操作部OPA可以通过操作杆、按钮、按键、触摸屏等形成。参数操作部OPA也可以通过左控制杆53L、右控制杆53R形成。参数操作部OPA对输入参数中所包含的各参数进行输入的时机可以相同，也可以不同。
输入参数可以包括飞行范围信息、飞行范围的半径(飞行路径的半径)信息、飞行范围的中心位置信息、被摄体的半径信息、被摄体的高度信息、水平重复率信息、上下重复率信息、摄像装置220或摄像装置230的分辨率信息中的至少一个。另外，输入参数可以包括飞行路径的初始高度信息、飞行路径的结束高度信息、飞行路线的初始摄像位置信息中的至少一个。另外，输入参数可以包括水平摄像间隔信息、上下摄像间隔信息中的至少一个。
参数操作部OPA可以通过输入纬度/经度的具体值或范围，来输入飞行范围信息、飞行范围的半径(飞行路径的半径)信息、飞行范围的中心位置信息、被摄体的半径信息、被摄体的高度(例如初始高度、结束高度)信息、水平重复率信息、上下重复率信息、摄像装置220或摄像装置230的分辨率信息中的至少一个。参数操作部OPA可以通过输入纬度/经度的具体值或范围，来输入飞行路径的初始高度信息、飞行路径的结束高度信息、飞行路线的初始摄像位置信息中的至少一个。参数操作部OPA可以通过输入纬度/经度的具体值或范围，来输入水平摄像间隔信息、上下摄像间隔信息中的至少一个。
由于已经参照图5对远程状态显示部L1及电池余量显示部L2进行了说明，所以在此省略说明。
发送器控制部61由处理器(例如CPU、MPU或DSP)构成。发送器控制部61进行用于整体控制发送器50各部分的动作的信号处理、与其它各部分之间的数据的输入输出处理、数据的运算处理以及数据的存储处理。
例如，发送器控制部61通过用户的左控制杆53L和右控制杆53R的操作，生成用于控制通过该操作而指定的无人飞行体100的移动的信号。发送器控制部61经由无线通信部63及天线AN1、AN2，将该生成的信号发送给无人飞行体100来远程控制无人飞行体100。由此，发送器50能够远程控制无人飞行体100的移动。例如，作为设定部的一个示例的发送器控制部61对无人飞行体100设定各飞行高度的飞行范围(飞行路线)。此外，作为判断部的一个示例的发送器控制部61判断无人飞行体100的下一个飞行高度是否在预定飞行高度(即，结束高度Hend)以下。此外，作为飞行控制部的一个示例的发送器控制部61针对无人飞行体100，控制其在各飞行高度的飞行范围(飞行路线)内的飞行。
例如，发送器控制部61经由无线通信部63，获取外部服务器等存储的地图数据库的地图信息。发送器控制部61可以经由显示部DP来显示地图信息，经由参数操作部OPA，并通过地图信息的触控操作等，选择飞行范围，获取飞行范围信息、飞行范围的半径(飞行路径的半径)信息。发送器控制部61可以经由参数操作部OPA，并通过地图信息的触控操作等，选择被摄体，获取被摄体的半径信息、被摄体的高度信息。此外，发送器控制部61可以根据被摄体的高度信息，计算出飞行路径的初始高度信息、飞行路径的结束高度信息并获取。可以在能够拍摄被摄体的侧面端部的范围内计算出该初始高度及结束高度。
例如，发送器控制部61经由无线通信部63，将通过参数操作部OPA而输入的输入参数发送给无人飞行体100。输入参数中所包含的各参数的发送时刻可以全部为相同的时刻，也可以为不同的时刻。
发送器控制部61获取通过参数操作部OPA而获得的输入参数信息并发送给显示部DP及无线通信部63。
无线通信部63与两个天线AN1、AN2连接。无线通信部63经由两个天线AN1、AN2，与无人飞行体100之间执行通过预定的无线通信方式(例如Wifi(注册商标))的信息、数据的收发。无线通信部63将来自发送器控制部61的输入参数信息发送给无人飞行体100。
存储器64例如包括存储有对发送器控制部61的动作进行规定的程序、设定值数据的ROM(Read Only Memory)，以及暂时保存发送器控制部61进行处理时利用的各种信息、数据的RAM(Random Access Memory)。存储在存储器64的ROM中的程序、设定值数据可以被复制到预定的记录介质中(例如CD-ROM、DVD-ROM)。存储器64的RAM中例如保存有由无人飞行体100的摄像装置220拍摄的航拍图像数据。
触摸屏显示器TPD1可以显示通过发送器控制部61实施处理后的各种数据。触摸屏显示器TPD1显示所输入的输入参数信息。因此，发送器50的用户通过参照触摸屏显示器TPD1，能够确认输入参数内容。
另外，发送器50也可以不包括触摸屏显示器TPD1，而通过有线或无线方式与后述通信终端80(参照图13)连接。和触摸屏显示器TPD1一样，通信终端80也可以显示输入参数信息。通信终端80可以是智能手机、平板终端、PC(Personal Computer，个人计算机)等。此外，通信终端80也可以输入至少一个输入参数，通过有线通信或无线通信将输入参数发送给发送器50，再由发送器50的无线通信部63将输入参数发送给无人飞行体100。
图7是示出本实施方式的三维形状推断系统的第二配置示例的图。图7所示的三维形状推断系统10A至少包括无人飞行体100A和发送器50A。无人飞行体100A和发送器50A可以通过有线通信或无线通信(例如无线LAN、Bluetooth(注册商标))进行通信。在三维形状推断系统的第二配置示例中，对于和三维形状推断系统的第一配置示例相同的事项，省略或简化说明。
图8是示出构成图7的三维形状推断系统的发送器的硬件配置的一个示例的框图。和发送器50相比，发送器50A包括发送器控制部61AA代替发送器控制部61。在图8的发送器50A中，对于和图6的发送器50相同的配置赋予相同的符号，并省略或简化说明。
发送器控制部61AA除了发送器控制部61的功能外，还包括：飞行路径处理部61A，该飞行路径处理部61A进行对无人飞行体100的各飞行高度所设定的飞行范围(飞行路线)的生成的相关处理；以及形状数据处理部61B，该形状数据处理部61B进行被摄体的三维形状数据的推断以及生成的相关处理。飞行路径处理部61A和三维形状推断系统的第一配置示例中无人飞行体100的UAV控制部110的飞行路径处理部111相同。形状数据处理部61B和三维形状推断系统的第一配置示例中无人飞行体100的UAV控制部110的形状数据处理部112相同。
飞行路径处理部61A获取输入到参数操作部OPA中的输入参数。飞行路径处理部61A根据需要，将输入参数保存于存储器64中。飞行路径处理部61A根据需要(例如，计算摄像位置间隔时、确定摄像位置时、生成飞行范围(飞行路线)时)从存储器64中读取输入参数的至少一部分。
存储器64对控制发送器50A内的各部分所需要的程序等进行存储。存储器64对飞行路径处理部61A及形状数据处理部61B执行处理所需要的程序等进行存储。存储器64可以是计算机可读记录介质，可以包括SRAM(Static Random Access Memory：静态随机存取存储器)、DRAM(Dynamic Random Access Memory：动态随机存取存储器)、EPROM(ErasableProgrammable Read Only Memory：可擦除可编程只读存储器)、EEPROM(ElectricallyErasable Programmable Read-Only Memory：电可擦除可编程只读存储器)以及USB存储器等闪存中的至少一个。存储器64可以设置在发送器50A的内部。其可以设置成可从发送器50A上拆卸下来。
飞行路径处理部61A可以按照和三维形状推断系统的第一配置示例的飞行路径处理部111相同的方法，进行摄像位置间隔的获取(例如，计算)、摄像位置的确定、飞行范围(飞行路线)的生成及设定等。这里省略详细说明。从参数操作部OPA进行的输入参数的输出到摄像位置间隔的获取(例如，计算)、摄像位置的确定、飞行范围(飞行路线)的生成及设定，发送器50A可以通过一台装置进行处理。因此，在摄像位置的确定以及飞行范围(飞行路线)的生成及设定中不发生通信，从而可以不受通信环境良好与否的影响，实现摄像位置的确定以及飞行范围(飞行路线)的生成及设定。飞行路径处理部61A经由无线通信部63，将确定的摄像位置信息以及所生成的飞行范围(飞行路线)信息发送给无人飞行体100A。
形状数据处理部61B可以经由无线通信部63，接收由无人飞行体100A所拍摄的摄像图像并获取。接收的摄像图像可以保存于存储器64中。形状数据处理部61B可以根据所获取的多个摄像图像，生成表示对象(被摄体)立体形状(三维形状)的立体信息(三维信息、三维形状数据)。关于基于多个摄像图像生成三维形状数据的方法，可以利用周知的方法。作为周知的方法，例如可列举MVS、PMVS、SfM。
图9是示出构成图7的三维形状推断系统的无人飞行体的硬件配置的一个示例的框图。和无人飞行体100相比，无人飞行体100A包括UAV控制部110A代替UAV控制部110。UAV控制部110A不包括图4所示的飞行路径处理部111及形状数据处理部112。在图9的无人飞行体100A中，对于和图4的无人飞行体100相同的配置赋予相同的符号，并省略或简化其说明。
UAV控制部110A可以经由通信接口150，从发送器50A接收各摄像位置信息及飞行范围(飞行路线)信息并获取。摄像位置信息及飞行范围(飞行路线)信息可以保存于存储器160中。UAV控制部110A基于从发送器50A获取的摄像位置信息及飞行范围(飞行路线)信息，控制无人飞行体100A的飞行，并在飞行范围(飞行路线)内的各摄像位置对被摄体的侧面进行拍摄。各摄像图像可以保存于存储器160中。UAV控制部110A可以经由通信接口150，将摄像装置220或230所拍摄的摄像图像发送给发送器50A。
图10是示出本实施方式的三维形状推断系统的第三配置示例的图。图10所示的三维形状推断系统10B至少包括无人飞行体100A(参照图7)和发送器50(参照图1)。无人飞行体100A和发送器50能够利用有线通信或无线通信(例如无线LAN(Local Area Network)或Bluetooth(注册商标))，相互进行信息、数据的通信。另外，在图10中省略了在发送器50的壳体上安装有通信终端80的情况的图示。在三维形状推断系统的第三配置示例中，对于和三维形状推断系统的第一配置示例或第二配置示例相同的事项，省略或简化说明。
图11是示出构成图10的三维形状推断系统10B的安装有通信终端(例如平板终端80T)的发送器50的外观的一个示例的立体图。在第三配置示例中，上下前后左右的方向分别遵循图11所示的箭头方向。
支架支撑部51例如使用加工成大致T字形的金属而构成，并且具有三个接合部。三个接合部中的两个接合部(第一接合部、第二接合部)与壳体50B接合，一个接合部(第三接合部)与支架HLD接合。第一接合部插设在发送器50的壳体50B的表面大致中央处(例如，由左控制杆53L、右控制杆53R、电源按钮B1以及RTH按钮B2包围的位置)。第二接合部经由螺钉(未图示)插设在发送器50的壳体50B的表面后侧(例如，比左控制杆53L和右控制杆53R靠后侧的位置)。第三接合部设置在背离发送器50的壳体50B的表面的位置，经由铰链(未图示)固定于支架HLD上。第三接合部具有作为支撑支架HLD的支点的作用。支架支撑部51在背离发送器50的壳体50B的表面的状态下支撑支架HLD。通过用户的操作，能够经由铰链来调整支架HLD的角度。
支架HLD具有通信终端(例如图11中的平板终端80T)的载置面、在载置面的一端侧以载置面为基准向上侧立起大致90度的上端壁部UP1、以及在载置面的另一端侧以载置面为基准向上侧立起大致90度的下端壁部UP2。支架HLD能够固定保持平板终端80T，以夹持在上端壁部UP1、载置面以及下端壁部UP2之间。载置面的宽度(换言之，上端壁部UP1与下端壁部UP2之间的距离)可以由用户进行调整。载置面的宽度例如被调整为与平板终端80T的壳体的一个方向宽度大致相同，以夹持平板终端80T。
在图11所示的平板终端80T上设有供USB电缆(未图示)的一端插入的USB连接器UJ1。平板终端80T具有作为显示部的一个示例的触摸屏显示器TPD2。因此，发送器50可以经由USB电缆(未图示)，与平板终端80T的触摸屏显示器TPD2连接。另外，发送器50在壳体50B的背面侧具有USB端口(未图示)。USB电缆(未图示)的另一端插入到发送器50的USB端口(未图示)。由此，发送器50与通信终端80(例如平板终端80T)之间可以经由例如USB电缆(未图示)进行信息、数据的输入输出。另外，发送器50可以具有微型USB端口(未图示)。微型USB端口(未图示)上连接有微型USB电缆(未图示)。
图12是示出构成图10的三维形状推断系统10B的安装有通信终端(例如智能手机80S)的发送器50的壳体正面侧外观的一个示例的立体图。在图12的说明中，对于与图11的说明重复的部分，标注相同的符号来简化或省略说明。
支架HLD可以在上端壁部UP1与下端壁部UP2之间的大致中央部具有左爪部TML和右爪部TMR。例如，当支架HLD保持较宽的平板终端80T时，左爪部TML和右爪部TMR沿承载面倾倒。另一方面，例如当支架HLD保持宽度较平板终端80T窄的智能手机80S时，左爪部TML和右爪部TMR以承载面为基准向上侧立起约90度。由此，智能手机80S由支架HLD的上端壁部UP1、左爪部TML以及右爪部TMR保持。
在图12所示的智能手机80S中设有供USB电缆(未图示)的一端插入的USB连接器UJ2。智能手机80S具有作为显示部的一个示例的触摸屏显示器TPD2。因此，发送器50可以经由USB电缆(未图示)，与智能手机80S的触摸屏显示器TPD2连接。由此，发送器50与通信终端80(例如智能手机80S)之间可以经由例如USB电缆(未图示)等进行信息、数据的输入输出。
此外，在左控制杆53L和右控制杆53R的后侧，且自发送器50的壳体50B的后方侧面突出配置有两个天线AN1、AN2。天线AN1、AN2基于用户的左控制杆53L和右控制杆53R的操作，将由发送器控制部61生成的信号(即，用于控制无人飞行体100的运动、处理的信号)发送到无人飞行体100。天线AN1、AN2能够覆盖例如2km的收发范围。此外，在从无人飞行体100发送由与发送器50无线连接的无人飞行体100所具有的摄像装置220、230所拍摄的图像、或由无人飞行体100获取的各种数据的情况下，天线AN1、AN2能够接收这些图像或各种数据。
图13是示出构成图10的三维形状推断系统10B的、发送器50和通信终端80的电气连接关系的一个示例的框图。例如，如参照图11或图12说明的那样，发送器50和通信终端80经由USB电缆(未图示)，以能够进行信息、数据的输入输出的方式连接。
发送器50的构成为包括左控制杆53L、右控制杆53R、发送器控制部61、无线通信部63、存储器64、发送器侧USB接口部65、电源按钮B1、RTH按钮B2、操作部组OPS、远程状态显示部L1以及电池余量显示部L2。发送器50可以具有能够检测用户操作(例如触摸或轻击)的触摸屏显示器TPD1。
另外，发送器控制部61例如经由无线通信部63获取由无人飞行体100的摄像装置220拍摄的航拍图像数据，保存在存储器64中，并显示在触摸屏显示器TPD1上。由此，由无人飞行体100的摄像装置220拍摄的航拍图像能够在发送器50的触摸屏显示器TPD1上显示。
另外，发送器控制部61例如可以经由发送器侧USB接口部65将由无人飞行体100的摄像装置220拍摄的航拍图像数据输出到通信终端80。即，发送器控制部61可以将航拍图像数据显示在通信终端80的触摸屏显示器TPD2上。由此，由无人飞行体100的摄像装置220拍摄的航拍图像能够在通信终端80的触摸屏显示器TPD2上显示。
无线通信部63例如通过与无人飞行体100的无线通信，接收由无人飞行体100的摄像装置220拍摄的航拍图像数据。无线通信部63将航拍图像数据输出到发送器控制部61。另外，无线通信部63接收由具有GPS接收器240(参照图4)的无人飞行体100计算出的无人飞行体100的位置信息。无线通信部63将无人飞行体100的位置信息输出到发送器控制部61。
发送器侧USB接口部65进行发送器50与通信终端80之间的信息、数据的输入输出。发送器侧USB接口部65例如由设置在发送器50上的USB端口(未图示)构成。
通信终端80包括处理器81、终端侧USB接口部83、无线通信部85、存储器87、GPS(Global Positioning System，全球定位系统)接收器89、触摸屏显示器TPD2。通信终端80例如为平板终端80T(参照图11)或智能手机80S(参照图12)。
处理器81例如由CPU、MPU或DSP构成。处理器81进行用于整体控制通信终端80各部分的动作的信号处理、与其它各部分之间的数据的输入输出处理、数据的运算处理以及数据的存储处理。
例如，作为设定部的一个示例的处理器81对无人飞行体100设定各飞行高度的飞行范围(飞行路线)。此外，作为判断部的一个示例的处理器81判断无人飞行体100的下一个飞行高度是否在预定飞行高度(即，结束高度Hend)以下。此外，作为飞行控制部的一个示例的处理器81针对无人飞行体100，控制其在各飞行高度的飞行范围(飞行路线)内的飞行。
处理器81通过读取存储在存储器87中的程序及数据并执行，从而作为飞行路径处理部81A和形状数据处理部81B进行相关操作，所述飞行路径处理部81A进行对无人飞行体100的各飞行高度所设定的飞行范围(飞行路线)的生成的相关处理，所述形状数据处理部81B进行被摄体的三维形状数据的推断以及生成的相关处理。飞行路径处理部81A和三维形状推断系统的第一配置示例中无人飞行体100的UAV控制部110的飞行路径处理部111相同。形状数据处理部81B和三维形状推断系统的第一配置示例中无人飞行体100的UAV控制部110的形状数据处理部112相同。
飞行路径处理部81A获取输入到触摸屏显示器TPD2中的输入参数。飞行路径处理部81A根据需要，将输入参数保存于存储器87中。飞行路径处理部81A根据需要(例如，计算摄像位置间隔时、确定摄像位置时、生成飞行范围(飞行路线)时)从存储器87中读取输入参数的至少一部分。
飞行路径处理部81A可以按照和三维形状推断系统的第一配置示例的飞行路径处理部111相同的方法，进行摄像位置间隔的获取(例如，计算)、摄像位置的确定、飞行范围(飞行路线)的生成及设定等。这里省略详细说明。从通过触摸屏显示器TPD2输入输入参数到摄像位置间隔的获取(例如，计算)、摄像位置的确定、飞行范围(飞行路线)的生成及设定，通信终端80可以通过一台装置进行处理。因此，在摄像位置的确定以及飞行范围(飞行路线)的生成及设定中不发生通信，从而可以不受通信环境良好与否的影响，实现摄像位置的确定以及飞行范围(飞行路线)的生成及设定。飞行路径处理部81A经由无线通信部63，将确定的摄像位置信息以及所生成的飞行范围(飞行路线)信息经由发送器50发送给无人飞行体100A。
作为形状推断部的一个示例的形状数据处理部81B可以经由发送器50，接收由无人飞行体100A所拍摄的摄像图像并获取。接收的摄像图像可以保存于存储器87中。形状数据处理部81B可以根据所获取的多个摄像图像，生成表示对象(被摄体)立体形状(三维形状)的立体信息(三维信息、三维形状数据)。关于基于多个摄像图像生成三维形状数据的方法，可以利用周知的方法。作为周知的方法，例如可列举MVS、PMVS、SfM。
此外，例如处理器81将经由终端侧USB接口部83而获取的摄像图像数据保存于存储器87中，并显示在触摸屏显示器TPD2上。换言之，处理器81将由无人飞行体100拍摄的航拍图像数据显示于触摸屏显示器TPD2上。
终端侧USB接口部83进行通信终端80与发送器50之间的信息、数据的输入输出。终端侧USB接口部83例如由设置在平板终端80T上的USB连接器UJ1、或设置在智能手机80S上的USB连接器UJ2构成。
无线通信部85经由内置于通信终端80的天线(未图示)与因特网等广域网(未图示)连接。无线通信部85和连接于广域网的其他通信设备(未图示)之间收发信息、数据。
存储器87例如具有：存储有对通信终端80的动作(例如，作为本实施方式所涉及的飞行路径显示方法进行的处理(步骤))进行规定的程序、设定值数据的ROM，以及暂时保存处理器81进行处理时利用的各种信息、数据的RAM。存储在存储器87的ROM中的程序、设定值数据可以被复制到预定的记录介质中(例如CD-ROM、DVD-ROM)。存储器87的RAM中例如保存有由无人飞行体100的摄像装置220拍摄的航拍图像数据。
GPS接收器89接收从多个导航卫星(即GPS卫星)发送的、表示时间以及各GPS卫星的位置(坐标)的多个信号。GPS接收器89基于接收到的多个信号，计算出GPS接收器89的位置(即通信终端80的位置)。虽然通信终端80和发送器50经由USB电缆(未图示)连接，但可以理解为两者处于大致相同的位置。因此，可以理解为通信终端80的位置与发送器50的位置大致相同。另外，虽然以GPS接收器89设置在通信终端80内的方式进行了说明，但也可以设置在发送器50内。另外，通信终端80与发送器50的连接方法并不限定于基于USB电缆CBL的有线连接，也可以是基于既定的近距离无线通信(例如Bluetooth(注册商标)或Bluetooth(注册商标)Low Energy)的无线连接。GPS接收器89将通信终端80的位置信息输出到处理器81。另外，可以由处理器81代替GPS接收器89来进行GPS接收器89的位置信息的计算。在此情况下，由GPS接收器89接收的多个信号中所包含的表示时间及各GPS卫星位置的信息被输入到处理器81中。
触摸屏显示器TPD2例如由LCD或有机EL构成，并显示由处理器81输出的各种信息、数据。触摸屏显示器TPD2例如显示由无人飞行体100拍摄的航拍图像数据。触摸屏显示器TPD2可以检测用户操作(例如触摸或轻击)中的输入操作。
接着，针对表示无人飞行体100的飞行范围(飞行路线)内摄像位置的间隔的摄像位置间隔的具体计算方法进行说明。另外，在图14A、图14B、图15及图16的说明中，为了便于理解说明，将被摄体BLz的形状设为简单形状(例如圆柱形)进行说明。但是，图14A、图14B、图15及图16的说明也可以针对被摄体BLz的形状为复杂形状的情况(即，被摄体的形状随无人飞行体的飞行高度而变化)。
图14A是从上空观察被摄体BL周边的俯视图。图14B是从正面观察被摄体BL的正视图。被摄体BLz的正面是从侧方(水平方向)观察被摄体BLz的侧视图的一个示例。在图14A及图14B中，被摄体BLz可以为大厦。
飞行路径处理部111可以利用数学式(1)，计算出表示对无人飞行体100的各飞行高度所设定的飞行范围(飞行路线)在水平方向上的摄像位置间隔的水平摄像间隔dforward。
式1
数学式(1)中各参数的意义如下所示。
Rflight0：无人飞行体100在初始飞行路线C1(参照图17)上的初始飞行半径
Robj0：对应于无人飞行体100在初始飞行路线C1(参照图17)上的飞行高度的被摄体BL半径(即，表示被摄体BLz的近似圆半径)
FOV(Field of View：视场)1：摄像装置220或摄像装置230的水平视角
rforward：水平重复率
飞行路径处理部111可以经由通信接口150，从发送器50接收输入参数中所包含的被摄体BLz的中心位置BLc(参照图15)信息(例如纬度及经度各信息)。
飞行路径处理部111可以基于摄像装置220或摄像装置230的设定的分辨率，计算出初始飞行半径Rflight0。这种情况下，飞行路径处理部111可以经由通信接口150，从发送器50接收输入参数中所包含的设定的分辨率信息。飞行路径处理部111可以接收输入参数中所包含的初始飞行半径Rflight0信息。飞行路径处理部111可以经由通信接口150，从发送器50接收输入参数中所包含的、对应于无人飞行体100在初始飞行路线C1(参照图17)上的飞行高度的被摄体BLz的半径Robj0信息。
可以将水平视角FOV1的信息作为无人飞行体100的相关硬件信息保存于存储器160中，或者从发送器50获取。在计算水平摄像间隔时，飞行路径处理部111可以从存储器160读取水平视角FOV1的信息。飞行路径处理部111可以经由通信接口150，从发送器50接收水平重复率rtorward信息。水平重复率rtorward例如为90％。
飞行路径处理部111基于获取(计算或接收)的摄像位置间隔，计算飞行路径上各飞行路线FC的摄像位置CP(Waypoint)。飞行路径处理部111可以在各飞行路线FC上按水平摄像间隔等间隔地配置摄像位置CP。飞行路径处理部111可以在上下方向上相邻的飞行路线FC之间按上下摄像间隔等间隔地配置摄像位置CP。
飞行路径处理部111在水平方向上配置摄像位置CP时，可以将任意的飞行路线FC上的初始摄像位置CP(最初的摄像位置CP)确定为一点并进行配置，以初始摄像位置CP为基点，按水平摄像间隔在飞行路线FC上依次等间隔地配置摄像位置CP。飞行路径处理部111按水平摄像间隔配置摄像位置CP后，也可以不将绕飞行路线FC一周后的摄像位置CP配置在和初始摄像位置CP相同的位置处。也就是说，也可以不利用摄像位置CP对飞行路线一周即360度进行等间隔地分割。因此，在同一飞行路线FC上可以存在水平摄像间隔并非等间隔的间隔。摄像位置CP和初始摄像位置CP的距离和水平摄像间隔相同或者比水平摄像间隔短。
图15是用于计算水平摄像间隔dforward的说明图。
水平视角FOV1可以利用摄像装置220或摄像装置230的摄像范围的水平方向分量ph1以及作为摄像距离的与被摄体BLz之间的距离，按照数学式(2)得到近似值。
式2
因此，飞行路径处理部111计算出数学式(1)的一部分即(Rflight0-Robj0)×FOV1＝ph1。通过上式可以知晓，视角FOV(这里为FOV1)可以通过长度(距离)比来示出。
飞行路径处理部111通过摄像装置220或摄像装置230获取多个摄像图像时，可以使相邻两个摄像图像的摄像范围有一部分重复。飞行路径处理部111通过使多个摄像范围有一部分重复，可以生成三维形状数据。
飞行路径处理部111将摄像范围的水平方向分量ph1中与相邻的摄像范围的水平方向分量不重复的非重复部分作为数学式(1)的一部分即ph1×(1一rforward)进行计算。飞行路径处理部111基于初始飞行半径Rflight0和初始飞行路线C1上的被摄体BLz的半径Robj0之比，将摄像范围的水平方向分量ph1中的非重复部分扩大至到达飞行范围的周端(飞行路径)，作为水平摄像间隔dforward进行拍摄。
飞行路径处理部111可以计算出水平角度θforward代替水平摄像间隔dforward。图16是示出水平角度θforward的一个示例的示意图。水平角度可以利用例如数学式(3)计算。
式3
此外，飞行路径处理部111可以利用数学式(4)，计算出表示上下方向上的摄像位置间隔的上下摄像间隔dside。
式4
dside＝(Rflight0-Robj0)×FOV2×(1-rside)...(4)
数学式(4)中各参数的意义如下所示。另外，对于数学式(1)中利用的参数，省略说明。
FOV(Field of View)2：摄像装置220或摄像装置230的上下视角
rside：上下重复率
可以将上下视角FOV2的信息作为硬件信息保存于存储器160中。在计算上下摄像间隔时，飞行路径处理部111可以从存储器160读取水平视角FOV1的信息。飞行路径处理部111可以经由通信接口150，从发送器50接收输入参数中所包含的上下重复率rside的信息。上下重复率rforward例如为60％。
比较数学式(1)和数学式(4)后发现，上下摄像间隔dside的计算方法和水平摄像间隔dforward的计算方法基本相同，但数学式(4)中不存在数学式(1)最后的项(Rflight0/Robj0)。其原因在于，不同于摄像范围的水平方向分量ph1，摄像范围的上下方向分量ph2(未图示)直接相当于上下方向上相邻的摄像位置间的距离。
另外，这里主要示出了飞行路径处理部111计算而得到摄像位置间隔的情况。取而代之，飞行路径处理部111也可以经由通信接口150，从发送器50接收而获得摄像位置间隔信息。
如上所述，摄像位置间隔包括水平摄像间隔，借此，无人飞行体100可以在同一飞行路线上配置多个摄像位置。因此，无人飞行体100可以不变更高度地通过多个摄像位置，稳定地飞行。此外，无人飞行体100沿水平方向绕被摄体BLz的周围一周，稳定地获取摄像图像。此外，可以按不同的角度对相同被摄体BLz获取多个摄像图像，从而可以提高被摄体BLz侧方全周的三维形状数据的复原精度。
此外，飞行路径处理部111可以至少基于被摄体BLz的半径、初始飞行半径、摄像装置220或230的水平视角和水平重复率，确定水平摄像间隔。因此，无人飞行体100可以结合特定被摄体BLz的大小及飞行范围等各种参数，适当地获取三维复原所需要的水平方向上的多个摄像图像。此外，如果增大水平重复率等，摄像位置间隔变窄，则水平方向上的摄像图像张数增加，无人飞行体100可以进一步提高三维复原的精度。
此外，由于摄像位置间隔包括上下摄像间隔，因此，无人飞行体100可以在上下方向的不同位置、即不同高度处获取摄像图像。也就是说，无人飞行体100尤其可以获取从上空统一拍摄时难以获取的不同高度处的摄像图像。从而可以抑制在生成三维形状数据时产生缺损区域。
此外，飞行路径处理部111可以至少基于被摄体BLz的半径、初始飞行半径、摄像装置220或230的上下视角和上下重复率，确定上下摄像间隔。借此，无人飞行体100可以结合特定被摄体BLz的大小及飞行范围等各种参数，适当地获取三维复原所需要的上下方向上的多个摄像图像。此外，如果增大上下重复率等，摄像位置间隔变窄，则上下方向上的摄像图像张数增加，无人飞行体100可以进一步提高三维复原的精度。
接着，参照图17及图18，对实施方式1的被摄体BL的三维形状推断的动作内容进行说明。图17是实施方式1的被摄体三维形状推断的动作概要说明图。图18是示出实施方式1的三维形状推断方法的动作步骤的一个示例的流程图。以下，针对无人飞行体100推断被摄体BL的三维形状的情况进行说明。
如图17所示，关于具有不规则形状的被摄体BL，根据无人飞行体100的飞行高度的飞行范围(飞行路线)，对应于其飞行高度的飞行范围(飞行路线)的被摄体BL的形状半径及中心位置不同，连续地发生变化。
对此，在实施方式1中，如图17所示，无人飞行体100例如首先在被摄体BL的顶端附近(即，高度Hstart的位置)周围转圈飞行。无人飞行体100在其飞行期间，对相应飞行高度的被摄体BL进行航拍，在多个摄像位置(参照图14A的摄像位置CP)中相邻的摄像位置使摄像范围有一部分重复。无人飞行体100基于通过航拍而获得的多个摄像图像，计算出下一个飞行高度的飞行范围(飞行路线)并设定。
无人飞行体100下降到所设定的下一个飞行高度(例如，对应于从高度Hstart减去上下摄像间隔dside所得值的飞行高度)，同样在该飞行高度的飞行范围(飞行路线)内转圈飞行。在图17中，初始飞行路线C1和飞行路线C2之间的间隔对应于从高度Hstart减去上下摄像间隔dside所得值。同样，飞行路线C2和飞行路线C3之间的间隔对应于从飞行路线C2的飞行高度减去上下摄像间隔dside所得值。以下相同，飞行路线C7和飞行路线C8之间的间隔对应于从飞行路线C7的飞行高度减去上下摄像间隔dside所得值。
无人飞行体100在其飞行期间，对相应飞行高度的被摄体BL进行航拍，在多个摄像位置(参照图14A的摄像位置CP)中相邻的摄像位置使摄像范围有一部分重复。无人飞行体100基于通过航拍而获得的作为被摄体信息的一个示例的多个摄像图像，计算出下一个飞行高度的飞行范围(飞行路线)并进行设定。另外，无人飞行体100计算出下一个飞行高度的飞行范围(飞行路线)并设定的方法并不限定于利用通过无人飞行体100的航拍而获得的多个摄像图像的方法。例如，无人飞行体100可以利用例如来自无人飞行体100所包括的红外线测距仪(未图示)的红外线或来自激光测距仪290的激光和GPS的位置信息作为被摄体信息的一个示例，计算出下一个飞行高度的飞行范围(飞行路线)并设定，以下相同。
如上所述，无人飞行体100基于在当前飞行高度的飞行范围(飞行路线)内飞行期间所获得的多个摄像图像，设定下一个飞行高度的飞行范围(飞行路线)。无人飞行体100反复实施各飞行高度的飞行范围(飞行路线)内被摄体BL的航拍和下一个飞行高度的飞行范围(飞行路线)的设定，直至当前飞行高度变为预定结束高度Hend以下。
在图17中，为了推断具有不规则形状的被摄体BL的三维形状，无人飞行体100基于输入参数设定初始飞行范围(初始飞行路线C1)，设定例如合计8个飞行范围(即，初始飞行路线C1、飞行路线C2、C3、C4、C5、C6、C7、C8)。然后，无人飞行体100基于在各飞行高度的飞行路线上拍摄的被摄体BL的多个摄像图像，推断被摄体BL的三维形状。
在图18中，UAV控制部110的飞行路径处理部111获取输入参数(S1)。输入参数可以全部保存于例如无人飞行体100的存储器160中，或者也可以经由来自发送器50或通信终端80的通信，通过无人飞行体100进行接收。
这里，输入参数包括无人飞行体100的初始飞行路线C1的高度(换言之，表示被摄体BL的高度的高度Hstart)信息，以及初始飞行路线C1的中心位置PO(换言之，被摄体BL的顶端附近的中心位置)信息(例如纬度及经度)。此外，输入参数还可以包括初始飞行路线C1上的初始飞行半径Rflight0信息。作为设定部的一个示例的UAV控制部110的飞行路径处理部111设定由这些输入参数而确定的、包围被摄体BL顶端附近周围的圆形范围作为无人飞行体100的初始飞行路线C1。借此，无人飞行体100可以简易且合理地设定初始飞行路线C1，用于推断具有不规则形状的被摄体BL的三维形状。另外，初始飞行范围(初始飞行路线C1)的设定并不仅限于无人飞行体100，也可以在作为移动平台的一个示例的发送器50或通信终端80中进行设定。
输入参数包括无人飞行体100的初始飞行路线C1的高度(换言之，表示被摄体BL的高度的高度Hstart)信息，以及初始飞行路线C1的中心位置PO(换言之，被摄体BL的顶端附近的中心位置)信息(例如纬度及经度)。此外，输入参数可以包括初始飞行路线C1上的被摄体半径Robj0信息以及摄像装置220、230的设定的分辨率信息。UAV控制部110的飞行路径处理部111设定由这些输入参数而确定的、包围被摄体BL顶端附近周围的圆形范围作为无人飞行体100的初始飞行路线C1。借此，无人飞行体100可以在反映摄像装置220、230的设定的分辨率的基础上合理地设定初始飞行路线C1，用于推断具有不规则形状的被摄体BL的三维形状。另外，初始飞行范围(初始飞行路线C1)的设定并不仅限于无人飞行体100，也可以在作为移动平台的一个示例的发送器50或通信终端80中进行设定。
UAV控制部110的飞行路径处理部111利用步骤S1所获取的输入参数，设定初始飞行路线C1，进而依据数学式(1)及数学式(4)，计算出初始飞行路线C1的水平方向上的水平摄像间隔dforward(参照图14A)以及表示上下方向上飞行路线间的间隔的上下摄像间隔dside(参照图14B)(S2)。
在步骤S2的计算之后，UAV控制部110一边控制万向节200及旋翼机构210一边上升、移动至初始飞行路线C1的飞行高度位置(S3)。另外，无人飞行体100已上升至初始飞行路线C1的飞行高度位置时，可以省略步骤S3的处理。
UAV控制部110的飞行路径处理部111利用步骤S2中计算出的水平摄像间隔dforward(参照图14A)的计算结果，对应初始飞行路线C1，追加设定该初始飞行路线C1的摄像位置(Waypoint)(S4)。
UAV控制部110一边控制万向节200及旋翼机构210，一边使无人飞行体100沿当前飞行路线转圈飞行，围绕被摄体BL的周围。在飞行期间，在步骤S4中追加设定的多个摄像位置，UAV控制部110使摄像装置220、230朝向当前飞行路线(例如，初始飞行路线C1或其他飞行路线C2～C8中的任一条)上的被摄体BL进行拍摄(航拍)(S5)。具体而言，UAV控制部110在各摄像位置(Waypoint)对摄像装置220、230的摄像范围进行拍摄，使得被摄体BL的一部分有重复。借此，无人飞行体100可以根据在相邻的摄像位置(Waypoint)上拍摄的多个摄像图像中重复的被摄体BL区域的存在，高精度地推断该飞行高度的飞行路线上被摄体BL的形状。另外，可以根据作为移动平台的一个示例的发送器50或通信终端80中所包含的、作为获取指示部的一个示例的发送器控制部61或处理器81的摄像指示，对被摄体BL进行拍摄。
此外，UAV控制部110一边控制激光测距仪290一边朝向当前飞行路线(例如，初始飞行路线C1或其他飞行路线C2～C8中的任一条)上的被摄体BL照射激光(S5)。
UAV控制部110的形状数据处理部112基于步骤S5中所拍摄的当前飞行高度的飞行路线上的被摄体BL的多个摄像图像以及来自激光测距仪290的激光受光结果，采用例如SfM等周知技术推断当前飞行高度的被摄体BL的形状(例如图17所示形状Dm2、Dm3、Dm4、Dm5、Dm6、Dm7、Dm8)。UAV控制部110的飞行路径处理部111基于多个摄像图像以及激光测距仪290的测距结果，推断当前飞行高度的飞行路线上被摄体BL的形状半径及中心位置(S6)。
UAV控制部110的飞行路径处理部111利用当前飞行高度的飞行路线上被摄体BL的形状半径及中心位置的推断结果，设定下一个飞行高度(例如，初始飞行路线C1的下一个飞行路线C2)的飞行范围(飞行路线)(S7)。借此，对于形状半径及中心位置因飞行高度而不统一的不规则形状的被摄体BL(例如建筑物)，无人飞行体100可以按无人飞行体100的各飞行高度依次推断被摄体BL的形状，从而可以对整个被摄体BL高精度地推断三维形状。另外，飞行范围(飞行路线)的设定并不仅限于无人飞行体100，也可以在作为移动平台的一个示例的发送器50或通信终端80中进行设定。
例如在步骤S7中，和利用步骤S1中获取的输入参数来设定初始飞行路线C1的方法一样，飞行路径处理部111利用步骤S6的推断结果作为输入参数，设定下一个飞行路线。
在步骤S7中，具体而言，飞行路径处理部111将当前飞行高度的飞行路线上被摄体BL的形状半径及中心位置的推断结果视为和下一个飞行高度的飞行路线上被摄体BL的形状半径及中心位置相同，设定下一个飞行高度的飞行范围(飞行路线)。下一个飞行高度的飞行范围的飞行半径是在例如步骤S6中推断的被摄体半径加上被摄体BL与无人飞行体100之间的摄像距离所得值，所述被摄体BL与无人飞行体100之间的摄像距离对应于适于摄像装置220、230拍摄的设定的分辨率。
步骤S7后，UAV控制部110例如根据气压高度计270或超声波高度计280的输出，获取当前的飞行高度。UAV控制部110判断当前飞行高度是否在作为预定飞行高度的一个示例的结束高度Hend以下(S8)。
判断当前飞行高度在预定结束高度Hend以下时(S8，YES)，UAV控制部110一边缓缓下降飞行高度一边结束在被摄体BL周围的飞行。之后，UAV控制部110基于在各飞行高度的飞行路线上航拍而获得的多个摄像图像，推断被摄体BL的三维形状。借此，无人飞行体100可以利用在各飞行高度的飞行路线上推断出的被摄体BL的形状半径及中心来推断被摄体BL的形状，因此，可以高精度地推断具有不规则形状的被摄体BL的三维形状。另外，被摄体BL的三维形状的推断并不仅限于无人飞行体100，也可以在作为移动平台的一个示例的发送器50或通信终端80中进行推断。
另一方面，判断当前飞行高度不在预定结束高度Hend以下时(S8，NO)，UAV控制部110一边控制万向节200及旋翼机构210一边下降至下一个飞行高度的飞行路线，所述下一个飞行高度对应于从当前飞行高度减去步骤S2中计算出的上下摄像间隔dside所得值。进而，下降后，UAV控制部110在下降后的飞行高度的飞行路线上进行步骤S4～步骤S8的处理。对无人飞行体100的各飞行路线反复执行步骤S4～步骤S8的处理，直至判断当前飞行高度在预定结束高度Hend以下。借此，无人飞行体100可以推断多个飞行高度的飞行路线上被摄体BL的三维形状，因此，可以高精度地推断整个被摄体BL的三维形状。另外，飞行范围(飞行路线)的设定并不仅限于无人飞行体100，也可以在作为移动平台的一个示例的发送器50或通信终端80中进行设定。
借此，无人飞行体100可以利用当前飞行高度的飞行路线上被摄体BL的形状半径及中心位置作为下一个飞行高度的飞行路线上被摄体BL的形状半径及中心位置，简易地设定飞行范围，因此，可以提前实施用于推断被摄体BL的三维形状的飞行及航拍控制。另外，飞行范围(飞行路线)的设定并不仅限于无人飞行体100，也可以在作为移动平台的一个示例的发送器50或通信终端80中进行设定。
关于图18的步骤S7，作为步骤S7的变形例1，例如可以替换为图19A所示的步骤S9及步骤S7的处理，或者作为步骤S7的变形例2，可以替换为图19B所示的步骤S10及步骤S7的处理。
图19A是示出图18的步骤S7的变形例1的动作步骤的一个示例的流程图。也就是说，UAV控制部110的形状数据处理部112可以在图18的步骤S6之后，基于步骤S5中所拍摄的当前飞行高度的飞行路线上的被摄体BL的多个摄像图像以及来自激光测距仪290的激光受光结果，采用例如SfM等周知技术推断下一个飞行高度的被摄体BL的形状(例如图17所示形状Dm2、Dm3、Dm4、Dm5、Dm6、Dm7、Dm8)(S9)。即，步骤S9是以无人飞行体100的当前飞行高度的飞行路线上的摄像图像中映射下一个飞行高度的飞行路线上被摄体BL的形状为前提的处理。UAV控制部110判断为满足这一前提时，可以进行上述步骤S9的处理。
UAV控制部110的飞行路径处理部111利用步骤S9的推断结果，设定无人飞行体100飞行期间当前飞行高度的下一个飞行高度(例如，初始飞行路线C1的下一个飞行路线C2)的飞行范围(飞行路线)(S7)。借此，无人飞行体100可以根据当前飞行高度的飞行路线上的被摄体BL的多个摄像图像以及来自激光测距仪290的激光受光结果，推断下一个飞行高度的被摄体BL的形状，因此，可以缩短被摄体BL的三维形状推断处理。另外，飞行范围(飞行路线)的设定并不仅限于无人飞行体100，也可以在作为移动平台的一个示例的发送器50或通信终端80中进行设定。
图19B是示出图18的步骤S7的变形例2的动作步骤的一个示例的流程图。也就是说，UAV控制部110的形状数据处理部112可以在图18的步骤S6之后，基于步骤S5中所拍摄的当前飞行高度的飞行路线上的被摄体BL的多个摄像图像以及来自激光测距仪290的激光受光结果，采用例如SfM等周知技术预测并推断下一个飞行高度的被摄体BL的形状(例如图17所示形状Dm2、Dm3、Dm4、Dm5、Dm6、Dm7、Dm8)(S10)。形状的预测可以通过微分处理等来预测例如当前飞行高度的飞行路线上被摄体BL的形状。即，步骤S9是以无人飞行体100的当前飞行高度的飞行路线上的摄像图像不映射下一个飞行高度的飞行路线上被摄体BL的形状，当前飞行高度的被摄体BL的形状和下一个飞行高度的被摄体BL的形状基本相同为前提的处理。UAV控制部110判断为满足这一前提时，可以进行上述步骤S10的处理。
UAV控制部110的飞行路径处理部111利用步骤S9的推断结果，设定无人飞行体100飞行期间当前飞行高度的下一个飞行高度(例如，初始飞行路线C1的下一个飞行路线C2)的飞行范围(飞行路线)(S7)。借此，无人飞行体100可以根据当前飞行高度的飞行路线上被摄体BL的多个摄像图像以及来自激光测距仪290的激光受光结果，并利用当前飞行高度的被摄体BL形状的推断结果，预测并推断下一个飞行高度的被摄体BL的形状，因此，可以缩短被摄体BL的三维形状推断处理。另外，飞行范围(飞行路线)的设定并不仅限于无人飞行体100，也可以在作为移动平台的一个示例的发送器50或通信终端80中进行设定。
如上所述，在实施方式1中，无人飞行体100根据被摄体BL的高度，对各飞行高度设定在被摄体BL周围飞行的飞行范围，控制在所设定的各飞行高度的飞行范围内的飞行，在所设定的各飞行高度的飞行范围内飞行期间，拍摄被摄体BL。无人飞行体100基于所拍摄的各飞行高度的被摄体BL的多个摄像图像，推断被摄体的三维形状。借此，无人飞行体100可以对各飞行高度推断被摄体BL的形状，因此，无论被摄体BL的形状是否随高度而变化，都能高精度地推断被摄体BL的形状，避免飞行时飞行体与被摄体发生碰撞。
(实施方式2)
在实施方式1中，无人飞行体100基于输入参数(参照后述内容)，设定了在被摄体周围转圈飞行的初始飞行范围(参照图17所示的初始飞行路线C1)。这种情况下，优选输入一定准确程度的初始飞行半径，因此，用户需要事先了解被摄体BL的半径大概值，增加了用户的些许负担。
对此，在实施方式2中，即便用户事先并不了解被摄体BL的半径大概值，无人飞行体100也能调整初始飞行路线C1，因此，可以根据作为输入参数的一部分而获取的高度Hstart，在相关高度的被摄体BL周围至少转圈两次飞行。
图20是实施方式2的被摄体BL三维形状推断的动作概要说明图。具体而言，无人飞行体100利用输入参数中包含的被摄体BL的半径Robj0及初始飞行半径Rflight0-temp，设定第一次飞行时的初始飞行路线C1-0。无人飞行体100根据在所设定的初始飞行路线C1-0飞行期间获得的被摄体BL的多个摄像图像及激光测距仪290的测距结果，推断初始飞行路线C1-0上被摄体BL的形状半径及中心位置，并利用该推断结果，调整初始飞行路线C1-0。
无人飞行体100在第二次飞行中一边沿调整后的初始飞行路线C1飞行，一边同样地对被摄体BL进行拍摄，根据多个摄像图像及激光测距仪290的测距结果，推断调整后的初始飞行路线C1上被摄体BL的形状半径及中心位置。例如，无人飞行体100可以通过第一次飞行，准确地调整初始飞行半径Rflight0-temp，由初始飞行半径Rflight0-temp调整为初始飞行半径Rflight0，利用该调整结果，设定下一个飞行路线C2。
接着，参照图20及图21，对实施方式2的被摄体BL的三维形状推断的动作内容进行说明。图21是示出实施方式2的三维形状推断方法的动作步骤的一个示例的流程图。以下，针对无人飞行体100推断被摄体BL的三维形状的情况进行说明。另外，在图21的说明中，对于与图18的说明相同的内容，标注相同的步骤编号并简化或省略说明，对不同的内容进行说明。
在图21中，UAV控制部110的飞行路径处理部111获取输入参数(S1A)。和实施方式1一样，步骤S1A中获取的输入参数包括无人飞行体100的初始飞行路线C1-0的高度(换言之，表示被摄体BL的高度的高度Hstart)信息，以及初始飞行路线C1-0的中心位置PO(换言之，被摄体BL的顶端附近的中心位置)信息(例如纬度及经度)。此外，输入参数还包括初始飞行路线C1-0上的初始飞行半径Rflight0-temp信息。
步骤S1A之后，关于无人飞行体100的第一次的初始飞行路线C1-0，开展步骤S2～步骤S6的处理。在步骤S6之后，UAV控制部110判断当前飞行路线的飞行高度和步骤S1A中所获取的输入参数中包含的初始飞行路线C1-0的高度(换言之，表示被摄体BL的高度的高度Hstart)是否相同(S11)。
UAV控制部110的飞行路径处理部111判断当前飞行路线的飞行高度和步骤S1A中所获取的输入参数中包含的初始飞行路线C1-0的高度相同时(S11，YES)，利用步骤S6的推断结果，调整初始飞行范围(例如初始飞行半径)并设定(S12)。
步骤S12之后，无人飞行体100的处理返回步骤S4。另外，步骤S12之后，无人飞行体100的处理也可以返回步骤S5。也就是说，第二次初始飞行路线的飞行中的摄像位置(Waypoint)可以和第一次飞行路线的飞行中的摄像位置(Waypoint)相同。借此，无人飞行体100可以省略同一飞行高度的初始飞行路线C1上的摄像位置的设定处理，从而可以减轻负荷。
另一方面，判断当前飞行路线的飞行高度和步骤S1A中所获取的输入参数中包含的初始飞行路线C1-0的高度不同时(S11，NO)，和实施方式1一样，执行步骤S7之后的处理。
如上所述，在实施方式2中，无人飞行体100在基于所获取的输入参数而设定的第一次飞行对象即初始飞行范围(初始飞行路线C1-0)内飞行，基于在该初始飞行路线C1-0飞行期间获得的被摄体BL的多个摄像图像及激光测距仪290的测距结果，推断初始飞行路线C1-0上被摄体BL的半径及中心位置。无人飞行体100利用所推断的初始飞行路线C1-0上被摄体BL的半径及中心位置，调整初始飞行范围。借此，例如即便用户没有输入正确的初始飞行半径，无人飞行体100也能通过第一次初始飞行路线C1-0的飞行，简易地判断该初始飞行半径的适合性，能够获取正确的初始飞行半径，设定适于推断被摄体BL的三维形状的初始飞行路线C1。另外，初始飞行范围(初始飞行路线C1-0)的飞行及调整指示并不仅限于无人飞行体100，也可以在作为移动平台的一个示例的发送器50或通信终端80中进行飞行及调整指示。
此外，无人飞行体100沿通过第一次飞行进行调整后的初始飞行路线C1飞行，基于在其飞行期间获得的被摄体BL的多个摄像图像及激光测距仪290的测距结果，推断初始飞行范围(即，初始飞行路线C1)上被摄体BL的半径及中心位置，并利用该推断结果，设定初始飞行范围(即，初始飞行路线C1)的飞行高度的下一个飞行高度的飞行范围。借此，即便用户事先并不了解被摄体BL的半径大概值，无人飞行体100也能调整初始飞行路线C1。另外，基于初始飞行范围(初始飞行路线C1-0)的飞行，进行下一个飞行路线的设定并不仅限于无人飞行体100，也可以在作为移动平台的一个示例的发送器50或通信终端80中进行设定。
以上通过实施方式对本公开进行了说明，但是本公开所涉及的发明的技术范围并不限于上述实施方式所记载的范围。对本领域普通技术人员来说，显然可以在上述实施方式的基础上，加以各种变更或改良。从权利要求书的记载即可明白，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
权利要求书、说明书以及说明书附图中所示的装置、系统、程序和方法中的动作、顺序、步骤、以及阶段等各项处理的执行顺序，只要没有特别明示“在...之前”、“事先”等，且只要前面处理的输出并不用在后面的处理中，即可以以任意顺序实现。关于权利要求书、说明书以及附图中的操作流程，为方便起见而使用“首先”、“接着”等进行了说明，但并不意味着必须按照这样的顺序实施。

Claims (51)

1.一种三维形状推断方法，其特征在于，包括：
在所设定的各飞行高度的飞行范围内飞行期间，通过飞行体获取被摄体信息的步骤；以及
基于所获取的所述被摄体信息，推断所述被摄体的三维形状的步骤。
2.如权利要求1所述的三维形状推断方法，其特征在于，
还包括根据所述被摄体的高度，按所述各飞行高度对在所述被摄体周围飞行的所述飞行体的飞行范围进行设定的步骤。
3.如权利要求2所述的三维形状推断方法，其特征在于，
所述设定飞行范围的步骤包括基于所述飞行体在当前飞行高度飞行期间所获取的所述被摄体信息，对所述飞行体下一个飞行高度的飞行范围进行设定的步骤。
4.如权利要求3所述的三维形状推断方法，其特征在于，
所述设定下一个飞行高度的飞行范围的步骤包括：
基于在所述当前飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述当前飞行高度下所述被摄体的半径及中心的步骤；以及
利用所推断的所述当前飞行高度下所述被摄体的半径及中心，设定所述下一个飞行高度的飞行范围的步骤。
5.如权利要求3所述的三维形状推断方法，其特征在于，
所述设定下一个飞行高度的飞行范围的步骤包括：
基于在所述当前飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述下一个飞行高度下所述被摄体的半径及中心的步骤；以及
利用所推断的所述下一个飞行高度下所述被摄体的半径及中心，设定所述下一个飞行高度的飞行范围的步骤。
6.如权利要求3所述的三维形状推断方法，其特征在于，
所述设定下一个飞行高度的飞行范围的步骤包括：
基于在所述当前飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述当前飞行高度下所述被摄体的半径及中心的步骤；
利用所推断的所述当前飞行高度下所述被摄体的半径及中心，预测所述下一个飞行高度下所述被摄体的半径及中心的步骤；以及
利用所预测的所述下一个飞行高度下所述被摄体的半径及中心，设定所述下一个飞行高度的飞行范围的步骤。
7.如权利要求2～6中任一项所述的三维形状推断方法，其特征在于，
还包括控制在所述各飞行高度的飞行范围内飞行的步骤。
8.如权利要求7所述的三维形状推断方法，其特征在于，
所述设定飞行范围的步骤包括基于在所设定的所述各飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述各飞行高度的飞行范围内所述被摄体的半径及中心的步骤；
所述推断被摄体的三维形状的步骤包括利用所推断的所述各飞行高度的飞行范围内所述被摄体的半径及中心，推断所述被摄体的三维形状的步骤。
9.如权利要求7所述的三维形状推断方法，其特征在于，
所述设定飞行范围的步骤包括：
分别获取所述被摄体的高度、所述被摄体的中心、所述被摄体的半径、所述飞行体中所包含的摄像部所设定的分辨率的步骤；以及
利用所获取的所述被摄体高度、中心及半径和所述设定的分辨率，设定以所述被摄体顶端附近为飞行高度的所述飞行体的初始飞行范围的步骤。
10.如权利要求7所述的三维形状推断方法，其特征在于，
所述设定飞行体的飞行范围的步骤包括：
分别获取所述被摄体的高度、所述被摄体的中心、所述飞行体的飞行半径的步骤；以及
利用所获取的所述被摄体高度、中心及所述飞行半径，设定以所述被摄体顶端附近为飞行高度的所述飞行体的初始飞行范围的步骤。
11.如权利要求7所述的三维形状推断方法，其特征在于，
所述设定飞行范围的步骤包括对所述各飞行高度的飞行范围设定多个摄像位置的步骤；
所述获取被摄体信息的步骤包括在所设定的所述多个摄像位置中相邻的各个摄像位置，通过所述飞行体重复拍摄所述被摄体的一部分的步骤。
12.如权利要求7所述的三维形状推断方法，其特征在于，
所述三维形状推断方法还包括判断所述飞行体的下一个飞行高度是否在预定飞行高度以下的步骤；
所述获取被摄体信息的步骤包括直到判断所述飞行体的下一个飞行高度在所述预定飞行高度以下之前，反复获取所设定的所述各飞行高度的所述飞行体飞行范围内所述被摄体信息的步骤。
13.如权利要求7所述的三维形状推断方法，其特征在于，
所述获取被摄体信息的步骤包括在所设定的所述各飞行高度的飞行范围内飞行期间，通过所述飞行体对所述被摄体进行拍摄的步骤；
所述推断三维形状的步骤包括基于所拍摄的所述各飞行高度的所述被摄体的多个摄像图像，推断所述被摄体的三维形状的步骤。
14.如权利要求7所述的三维形状推断方法，其特征在于，
所述获取被摄体信息的步骤包括在所设定的所述各飞行高度的飞行范围内飞行期间，获取利用所述飞行体所具备的光照计进行测距的测距结果和所述被摄体的位置信息的步骤。
15.如权利要求10所述的三维形状推断方法，其特征在于，
所述设定飞行范围的步骤包括：
使所述飞行体在所设定的所述初始飞行范围内飞行的步骤；
基于在所述初始飞行范围内飞行期间所获取的所述被摄体信息，推断所述初始飞行范围内所述被摄体的半径及中心的步骤；以及
利用所推断的所述初始飞行范围内所述被摄体的半径及中心，调整所述初始飞行范围的步骤。
16.如权利要求15所述的三维形状推断方法，其特征在于，
所述控制飞行的步骤包括使所述飞行体在调整后的所述初始飞行范围内飞行的步骤；
所述设定飞行范围的步骤包括：
基于在调整后的所述初始飞行范围内飞行期间所拍摄的所述被摄体的多个摄像图像，推断所述初始飞行范围内所述被摄体的半径及中心的步骤；以及
利用所推断的所述初始飞行范围内所述被摄体的半径及中心，设定所述初始飞行范围的飞行高度的下一个飞行高度的飞行范围的步骤。
17.一种飞行体，其特征在于，包括：
获取部，其在所设定的各飞行高度的飞行范围内飞行期间，获取被摄体的信息；以及
形状推断部，其基于所获取的所述被摄体信息，推断所述被摄体的三维形状。
18.如权利要求17所述的飞行体，其特征在于，
还包括设定部，所述设定部根据所述被摄体的高度，对所述各飞行高度设定在所述被摄体周围飞行的所述飞行体的飞行范围。
19.如权利要求18所述的飞行体，其特征在于，
所述设定部基于所述飞行体在当前飞行高度飞行期间所获取的所述被摄体信息，设定所述飞行体下一个飞行高度的飞行范围。
20.如权利要求19所述的飞行体，其特征在于，
所述设定部基于在所述当前飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述当前飞行高度下所述被摄体的半径及中心，利用所推断的所述当前飞行高度下所述被摄体的半径及中心，设定所述下一个飞行高度的飞行范围。
21.如权利要求19所述的飞行体，其特征在于，
所述设定部基于在所述当前飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述下一个飞行高度下所述被摄体的半径及中心，利用所推断的所述下一个飞行高度下所述被摄体的半径及中心，设定所述下一个飞行高度的飞行范围。
22.如权利要求19所述的飞行体，其特征在于，
所述设定部基于在所述当前飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述当前飞行高度下所述被摄体的半径及中心，利用所推断的所述当前飞行高度下所述被摄体的半径及中心，预测所述下一个飞行高度下所述被摄体的半径及中心，利用所预测的所述下一个飞行高度下所述被摄体的半径及中心，设定所述下一个飞行高度的飞行范围。
23.如权利要求18～22中任一项所述的飞行体，其特征在于，
还包括飞行控制部，所述飞行控制部控制在所述各飞行高度的飞行范围内的飞行。
24.如权利要求23所述的飞行体，其特征在于，
所述设定部基于在所述各飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述各飞行高度的飞行范围内所述被摄体的半径及中心；
所述形状推断部利用所推断的所述各飞行高度的飞行范围内所述被摄体的半径及中心，推断所述被摄体的三维形状。
25.如权利要求23所述的飞行体，其特征在于，
所述设定部分别获取所述被摄体的高度、所述被摄体的中心、所述被摄体的半径、所述飞行体中所包含的摄像部所设定的分辨率，利用所获取的所述被摄体高度、中心及半径和所述设定的分辨率，设定以所述被摄体顶端附近为飞行高度的所述飞行体的初始飞行范围。
26.如权利要求23所述的飞行体，其特征在于，
所述设定部分别获取所述被摄体的高度、所述被摄体的中心、所述飞行体的飞行半径，利用所获取的所述被摄体高度、中心及所述飞行半径，设定以所述被摄体顶端附近为飞行高度的所述飞行体的初始飞行范围。
27.如权利要求23所述的飞行体，其特征在于，
所述设定部对所述各飞行高度的飞行范围设定多个摄像位置；
所述获取部在所设定的所述多个摄像位置中相邻的各个摄像位置，重复拍摄所述被摄体的一部分。
28.如权利要求23所述的飞行体，其特征在于，
所述飞行体还包括判断部，所述判断部判断所述飞行体的下一个飞行高度是否在预定飞行高度以下；
所述获取部在直到判断所述飞行体的下一个飞行高度在所述预定飞行高度以下之前，反复获取基于所述飞行控制部的所述各飞行高度的所述飞行体飞行范围内所述被摄体的信息。
29.如权利要求23所述的飞行体，其特征在于，
所述获取部包括摄像部，所述摄像部在所设定的所述各飞行高度的飞行范围内飞行期间拍摄所述被摄体；
所述形状推断部基于所拍摄的所述各飞行高度的所述被摄体的多个摄像图像，推断所述被摄体的三维形状。
30.如权利要求23所述的飞行体，其特征在于，
所述获取部在所设定的所述各飞行高度的飞行范围内飞行期间，获取利用所述飞行体所具备的光照计进行测距的测距结果和所述被摄体的位置信息。
31.如权利要求26所述的飞行体，其特征在于，
所述飞行控制部使所述飞行体在所设定的所述初始飞行范围内飞行；
所述设定部根据基于所述飞行控制部在所述初始飞行范围内飞行期间所获取的所述被摄体信息，推断所述初始飞行范围内所述被摄体的半径及中心，利用所推断的所述初始飞行范围内所述被摄体的半径及中心，调整所述初始飞行范围。
32.如权利要求31所述的飞行体，其特征在于，
所述飞行控制部使所述飞行体在调整后的所述初始飞行范围内飞行；
所述设定部基于在调整后的所述初始飞行范围内飞行期间所拍摄的所述被摄体的多个摄像图像，推断所述初始飞行范围内所述被摄体的半径及中心，利用所推断的所述初始飞行范围内所述被摄体的半径及中心，设定所述初始飞行范围的飞行高度的下一个飞行高度的飞行范围。
33.一种移动平台，其是与在被摄体周围飞行的飞行体可通信地连接的移动平台，其特征在于，包括：
获取指示部，其指示部在所设定的各飞行高度的飞行范围内飞行期间，指示所述飞行体获取所述被摄体的信息；以及
形状推断部，其基于所获取的所述被摄体信息，推断所述被摄体的三维形状。
34.如权利要求33所述的移动平台，其特征在于，
还包括设定部，所述设定部根据所述被摄体的高度，对所述各飞行高度设定所述飞行体的飞行范围。
35.如权利要求34所述的移动平台，其特征在于，
所述设定部基于所述飞行体在当前飞行高度飞行期间所获取的所述被摄体信息，设定所述飞行体下一个飞行高度的飞行范围。
36.如权利要求35所述的移动平台，其特征在于，
所述设定部基于在所述当前飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述当前飞行高度下所述被摄体的半径及中心，利用所推断的所述当前飞行高度下所述被摄体的半径及中心，设定所述下一个飞行高度的飞行范围。
37.如权利要求35所述的移动平台，其特征在于，
所述设定部基于在所述当前飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述下一个飞行高度下所述被摄体的半径及中心，利用所推断的所述下一个飞行高度下所述被摄体的半径及中心，设定所述下一个飞行高度的飞行范围。
38.如权利要求35所述的移动平台，其特征在于，
所述设定部基于在所述当前飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述当前飞行高度下所述被摄体的半径及中心，利用所推断的所述当前飞行高度下所述被摄体的半径及中心，预测所述下一个飞行高度下所述被摄体的半径及中心，利用所预测的所述下一个飞行高度下所述被摄体的半径及中心，设定所述下一个飞行高度的飞行范围。
39.如权利要求34～38中任一项所述的移动平台，其特征在于，
还包括飞行控制部，所述飞行控制部控制在所述各飞行高度的飞行范围内的飞行。
40.如权利要求39所述的移动平台，其特征在于，
所述设定部基于在所述各飞行高度的飞行范围内飞行期间所获取的所述被摄体信息，推断所述各飞行高度的飞行范围内所述被摄体的半径及中心；
所述形状推断部利用所推断的所述各飞行高度的飞行范围内所述被摄体的半径及中心，推断所述被摄体的三维形状。
41.如权利要求39所述的移动平台，其特征在于，
所述设定部分别获取所述被摄体的高度、所述被摄体的中心、所述被摄体的半径、所述飞行体中所包含的摄像部所设定的分辨率，利用所获取的所述被摄体高度、中心及半径和所述设定的分辨率，设定以所述被摄体顶端附近为飞行高度的所述飞行体的初始飞行范围。
42.如权利要求39所述的移动平台，其特征在于，
所述设定部分别获取所述被摄体的高度、所述被摄体的中心、所述飞行体的飞行半径，利用所获取的所述被摄体高度、中心及所述飞行半径，设定以所述被摄体顶端附近为飞行高度的所述飞行体的初始飞行范围。
43.如权利要求39所述的移动平台，其特征在于，
所述设定部对所述各飞行高度的飞行范围设定多个摄像位置；
所述获取指示部在所设定的所述多个摄像位置中相邻的各个摄像位置，使所述飞行体重复拍摄所述被摄体的一部分。
44.如权利要求39所述的移动平台，其特征在于，
还包括判断部，所述判断部判断所述飞行体的下一个飞行高度是否在预定飞行高度以下；
所述获取指示部在判断所述飞行体的下一个飞行高度在所述预定飞行高度以下之前，反复获取基于所述飞行控制部的所述各飞行高度的所述飞行体飞行范围内所述被摄体的信息。
45.如权利要求39所述的移动平台，其特征在于，
所述获取指示部在所设定的所述各飞行高度的飞行范围内飞行期间，将用于拍摄所述被摄体的指示发送给所述飞行体；
所述形状推断部基于由所述飞行体拍摄的所述各飞行高度的所述被摄体的多个摄像图像，推断所述被摄体的三维形状。
46.如权利要求39所述的移动平台，其特征在于，
所述获取指示部在所设定的所述各飞行高度的飞行范围内飞行期间，将获取利用所述飞行体所具备的光照计进行测距的测距结果和所述被摄体的位置信息的指示发送给所述飞行体。
47.如权利要求42所述的移动平台，其特征在于，
所述飞行控制部使所述飞行体在所设定的所述初始飞行范围内飞行；
所述设定部根据基于所述飞行控制部在所述初始飞行范围内飞行期间所获取的所述被摄体信息，推断所述初始飞行范围内所述被摄体的半径及中心，利用所推断的所述初始飞行范围内所述被摄体的半径及中心，调整所述初始飞行范围。
48.如权利要求47所述的移动平台，其特征在于，
所述飞行控制部使所述飞行体在调整后的所述初始飞行范围内飞行；
所述设定部基于在调整后的所述初始飞行范围内飞行期间所获取的所述被摄体信息，推断所述初始飞行范围内所述被摄体的半径及中心，利用所推断的所述初始飞行范围内所述被摄体的半径及中心，设定所述初始飞行范围的飞行高度的下一个飞行高度的飞行范围。
49.如权利要求33～48中任一项所述的移动平台，其特征在于，
所述移动平台为利用与所述飞行体之间的通信来远程控制所述飞行体的操作终端或者与所述操作终端连接、经由所述操作终端来远程控制所述飞行体的通信终端中的任一个。
50.一种记录介质，其特征在于，其是记录有程序的计算机可读记录介质，所述程序用于使作为计算机的飞行体执行以下步骤：
在所设定的各飞行高度的飞行范围内飞行期间，通过所述飞行体获取被摄体信息的步骤；以及
基于所获取的所述被摄体信息，推断所述被摄体的三维形状的步骤。
51.一种程序，其特征在于，用于使作为计算机的飞行体执行以下步骤：
在所设定的各飞行高度的飞行范围内飞行期间，通过所述飞行体获取被摄体信息的步骤；以及
基于所获取的所述被摄体信息，推断所述被摄体的三维形状的步骤。
CN201780087583.8A 2017-03-02 2017-03-02 三维形状推断方法、飞行体、移动平台、程序及记录介质 Active CN110366670B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008385 WO2018158927A1 (ja) 2017-03-02 2017-03-02 ３次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN110366670A true CN110366670A (zh) 2019-10-22
CN110366670B CN110366670B (zh) 2021-10-26

Family

ID=63369875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087583.8A Active CN110366670B (zh) 2017-03-02 2017-03-02 三维形状推断方法、飞行体、移动平台、程序及记录介质

Country Status (4)

Country Link
US (1) US20190385322A1 (zh)
JP (1) JP6878567B2 (zh)
CN (1) CN110366670B (zh)
WO (1) WO2018158927A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11000078B2 (en) * 2015-12-28 2021-05-11 Xin Jin Personal airbag device for preventing bodily injury
US20190324447A1 (en) * 2018-04-24 2019-10-24 Kevin Michael Ryan Intuitive Controller Device for UAV
JP7017998B2 (ja) * 2018-09-13 2022-02-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体
DE102018123411A1 (de) * 2018-09-24 2020-03-26 Autel Robotics Europe Gmbh Zielbeobachtungsverfahren, zugehörige Vorrichtung und System
CN109240314B (zh) * 2018-11-09 2020-01-24 百度在线网络技术（北京）有限公司 用于采集数据的方法和装置
EP3875901B1 (en) * 2018-11-21 2024-01-10 Guangzhou Xaircraft Technology Co., Ltd Planning method and apparatus for surveying and mapping sampling points
JP2020095519A (ja) * 2018-12-13 2020-06-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 形状推定装置、形状推定方法、プログラム、及び記録媒体
JP6611147B1 (ja) * 2019-05-16 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP6611149B1 (ja) * 2019-05-16 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP6611148B1 (ja) * 2019-05-16 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP6611152B1 (ja) * 2019-08-22 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP7384042B2 (ja) 2020-01-09 2023-11-21 三菱電機株式会社 飛行ルート学習装置、飛行ルート決定装置及び飛行装置
US11977694B2 (en) * 2020-07-14 2024-05-07 Steven Quinn McCain Remote pointing device

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006290014A (ja) * 2005-04-06 2006-10-26 National Institute Of Advanced Industrial & Technology 空間移送システム
CN101405566A (zh) * 2006-03-17 2009-04-08 株式会社博思科 建筑物形状变化检测方法以及建筑物形状变化检测系统
EP2629166A1 (en) * 2012-02-17 2013-08-21 The Boeing Company An unmanned aerial vehicle harvesting energy in updraft
US20140008490A1 (en) * 2008-06-20 2014-01-09 Brigham Young University Aerial recovery of small and micro air vehicles
CN104330022A (zh) * 2013-07-22 2015-02-04 赫克斯冈技术中心 使用从运动恢复结构算法的体积确定方法和系统
CN105329456A (zh) * 2015-12-07 2016-02-17 武汉金运激光股份有限公司 用于人体三维建模的无人机及其应用
CN105388905A (zh) * 2015-10-30 2016-03-09 深圳一电航空技术有限公司 无人机飞行控制方法及装置
CN105519246A (zh) * 2014-11-28 2016-04-20 深圳市大疆创新科技有限公司 紧固组件、固持机构、使用该固持机构的支架以及遥控器
CN105825518A (zh) * 2016-03-31 2016-08-03 西安电子科技大学 基于移动平台拍摄的序列图像快速三维重建方法
CN105928498A (zh) * 2015-02-26 2016-09-07 赫克斯冈技术中心 通过基于模板的uav控制来确定对象数据
WO2016149513A1 (en) * 2015-03-18 2016-09-22 Izak Van Cruyningen Flight planning for unmanned aerial tower inspection with long baseline positioning
CN105979147A (zh) * 2016-06-22 2016-09-28 上海顺砾智能科技有限公司 一种无人机智能拍摄方法
CN106054920A (zh) * 2016-06-07 2016-10-26 南方科技大学 一种无人机飞行路径规划方法和装置
CN106295141A (zh) * 2016-08-01 2017-01-04 清华大学深圳研究生院 用于三维模型重建的多条无人机路径确定方法及装置
CN205940552U (zh) * 2016-07-28 2017-02-08 四川省川核测绘地理信息有限公司 一种多旋翼无人机倾斜摄影系统
US20170046873A1 (en) * 2015-04-14 2017-02-16 ETAK Systems, LLC Systems and methods for obtaining accurate 3d modeling data using uavs for cell sites

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100580385C (zh) * 2008-01-18 2010-01-13 天津大学 建筑物理数据快速三维采样方法
JP5947634B2 (ja) * 2012-06-25 2016-07-06 株式会社トプコン 航空写真撮像方法及び航空写真撮像システム
JP2015058758A (ja) * 2013-09-17 2015-03-30 一般財団法人中部電気保安協会 構造物点検システム
JP6326237B2 (ja) * 2014-01-31 2018-05-16 株式会社トプコン 測定システム
JP6648971B2 (ja) * 2014-03-27 2020-02-19 株式会社フジタ 構造物の点検装置
JP6486024B2 (ja) * 2014-07-02 2019-03-20 三菱重工業株式会社 構造物の屋内監視システム及び方法
JP6438234B2 (ja) * 2014-08-25 2018-12-12 三菱重工業株式会社 データ処理方法、及び、データ処理装置
EP3428766B1 (en) * 2014-09-05 2021-04-07 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
CN105556408B (zh) * 2014-09-15 2018-02-13 深圳市大疆创新科技有限公司 一种飞行器的飞行控制方法及相关装置
JP5775632B2 (ja) * 2014-09-16 2015-09-09 株式会社トプコン 飛行体の飛行制御システム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006290014A (ja) * 2005-04-06 2006-10-26 National Institute Of Advanced Industrial & Technology 空間移送システム
CN101405566A (zh) * 2006-03-17 2009-04-08 株式会社博思科 建筑物形状变化检测方法以及建筑物形状变化检测系统
US20140008490A1 (en) * 2008-06-20 2014-01-09 Brigham Young University Aerial recovery of small and micro air vehicles
EP2629166A1 (en) * 2012-02-17 2013-08-21 The Boeing Company An unmanned aerial vehicle harvesting energy in updraft
CN104330022A (zh) * 2013-07-22 2015-02-04 赫克斯冈技术中心 使用从运动恢复结构算法的体积确定方法和系统
CN105519246A (zh) * 2014-11-28 2016-04-20 深圳市大疆创新科技有限公司 紧固组件、固持机构、使用该固持机构的支架以及遥控器
CN105928498A (zh) * 2015-02-26 2016-09-07 赫克斯冈技术中心 通过基于模板的uav控制来确定对象数据
WO2016149513A1 (en) * 2015-03-18 2016-09-22 Izak Van Cruyningen Flight planning for unmanned aerial tower inspection with long baseline positioning
US20170046873A1 (en) * 2015-04-14 2017-02-16 ETAK Systems, LLC Systems and methods for obtaining accurate 3d modeling data using uavs for cell sites
CN105388905A (zh) * 2015-10-30 2016-03-09 深圳一电航空技术有限公司 无人机飞行控制方法及装置
CN105329456A (zh) * 2015-12-07 2016-02-17 武汉金运激光股份有限公司 用于人体三维建模的无人机及其应用
CN105825518A (zh) * 2016-03-31 2016-08-03 西安电子科技大学 基于移动平台拍摄的序列图像快速三维重建方法
CN106054920A (zh) * 2016-06-07 2016-10-26 南方科技大学 一种无人机飞行路径规划方法和装置
CN105979147A (zh) * 2016-06-22 2016-09-28 上海顺砾智能科技有限公司 一种无人机智能拍摄方法
CN205940552U (zh) * 2016-07-28 2017-02-08 四川省川核测绘地理信息有限公司 一种多旋翼无人机倾斜摄影系统
CN106295141A (zh) * 2016-08-01 2017-01-04 清华大学深圳研究生院 用于三维模型重建的多条无人机路径确定方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
D.H. KIM: "A Study on Generation of 3D Model and Mesh Image of Excavation Work using UAV", 《INTERNATIONALSYMPOSIUMONAUTOMATION& ROBOTICS IN CONSTRUCTION》 *
S. LAGÜELA: "Aerial oblique thermographic imagery for the generation of building 3D models to complement Geographic Information Systems", 《QUANTITATICE INFRARED THERMOGRAPHY》 *
崔红霞: "大重叠度无人机遥感影像的三维建模方法研究", 《测绘科学》 *
李康: "基于无人机的大场景序列图像自动采集和三维建模", 《西北大学学报》 *
王平论: "基于低空摄影数据的三维校园场景构建", 《测绘与空间地理信息》 *
金昱洋: "基于倾斜摄影重叠度设置的三维建模精度分析", 《测绘》 *

Also Published As

Publication number Publication date
CN110366670B (zh) 2021-10-26
JPWO2018158927A1 (ja) 2019-12-26
JP6878567B2 (ja) 2021-05-26
WO2018158927A1 (ja) 2018-09-07
US20190385322A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN110366670A (zh) 三维形状推断方法、飞行体、移动平台、程序及记录介质
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
US10648809B2 (en) Adaptive compass calibration based on local field conditions
CN110249281B (zh) 位置处理装置、飞行体、及飞行系统
JP6899846B2 (ja) 飛行経路表示方法、モバイルプラットフォーム、飛行システム、記録媒体及びプログラム
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
CN113875222B (zh) 拍摄控制方法和装置、无人机及计算机可读存储介质
CN110383004A (zh) 信息处理装置、空中摄像路径生成方法、程序、及记录介质
US20200221056A1 (en) Systems and methods for processing and displaying image data based on attitude information
WO2018150492A1 (ja) 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
CN109863745A (zh) 移动平台、飞行体、支持装置、便携式终端、摄像辅助方法、程序以及记录介质
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
JP6329219B2 (ja) 操作端末、及び移動体
JP2019179507A (ja) 送信機、飛行体、飛行制御指示方法、飛行制御方法、プログラム、及び記憶媒体
JPWO2018138882A1 (ja) 飛行体、動作制御方法、動作制御システム、プログラム及び記録媒体
US20230296793A1 (en) Motion-Based Calibration Of An Aerial Device
CN110402453A (zh) 形状生成方法、图像获取方法、移动平台、飞行体、程序以及记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant