CN110249281A - 位置处理装置、飞行体、位置处理系统、飞行系统、位置处理方法、飞行控制方法、程序以及记录介质 - Google Patents

位置处理装置、飞行体、位置处理系统、飞行系统、位置处理方法、飞行控制方法、程序以及记录介质 Download PDF

Info

Publication number
CN110249281A
CN110249281A CN201780085560.3A CN201780085560A CN110249281A CN 110249281 A CN110249281 A CN 110249281A CN 201780085560 A CN201780085560 A CN 201780085560A CN 110249281 A CN110249281 A CN 110249281A
Authority
CN
China
Prior art keywords
flight
flying
information
relative position
push
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780085560.3A
Other languages
English (en)
Other versions
CN110249281B (zh
Inventor
川口贵义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110249281A publication Critical patent/CN110249281A/zh
Application granted granted Critical
Publication of CN110249281B publication Critical patent/CN110249281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/102UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/28Mobile studios

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Toys (AREA)

Abstract

期望在多台飞行体协同飞行时能够提高飞行体的飞行自由度。飞行体和其他飞行体共同形成飞行组并进行飞行。飞行体包括:第一获取部,其从指示控制属于飞行组的多台飞行体的操作装置获取指示飞行控制的指示信号以及飞行体相对于属于飞行组的多台飞行体的基准位置的相对位置信息即第一相对位置信息;以及控制部,其基于指示信号和第一相对位置信息,使基准位置和飞行体之间的相对位置关系固定,从而控制飞行体的飞行。

Description

位置处理装置、飞行体、位置处理系统、飞行系统、位置处理方 法、飞行控制方法、程序以及记录介质
技术领域
本公开涉及一种对多台飞行体的位置信息进行处理的位置处理装置、位置处理系统、位置处理方法、程序以及记录介质。本公开还涉及一种基于处理后的位置信息进行飞行的飞行体、飞行系统、飞行控制方法、程序以及记录介质。
背景技术
近年来,已知有多台无人驾驶航空器在一个区域协同飞行的情形。为了让多台无人驾驶航空器协同飞行,例如可以通过执行预先设定的飞行程序,使多台无人驾驶航空器能够协同飞行(参照专利文献1)。在专利文献1中,作为多台无人驾驶航空器,多台飞行体根据地面站的指令,移动到空中的指定位置后停止,然后发光。由此,观测者可以模拟观测星座等。
现有技术文献
专利文献
专利文献1:日本特开2016-206443号公报
发明内容
发明所要解决的技术问题
专利文献1中记载的飞行体可以依照事先设定的飞行路线或飞行位置飞行,但若飞行路线或飞行位置事先未设定,则较难飞行。因此,专利文献1中记载的系统无法实时指定飞行路线等,无人驾驶航空器飞行时的自由度较低。
此外,如果使用操作装置(发射器)操纵无人驾驶航空器的飞行,就能实时反映操纵者的意向,对无人驾驶航空器进行飞行路线或飞行位置的指示。但是,要操纵多台无人驾驶航空器则需要多个操作装置,难以对多台无人驾驶航空器协同操纵。
用于解决问题的技术手段
在本发明的一个方面中,提供一种对多台飞行体的位置信息进行处理的位置处理装置,包括:选择部,其选择多台飞行体,形成所选择的多台飞行体所属的飞行组;以及确定部,其确定在指示控制飞行体的操作装置进行操作期间属于飞行组的多台飞行体的相对位置信息即第一相对位置信息。
确定部可以确定多台飞行体分别相对于属于飞行组的多台飞行体的基准位置的相对位置信息作为第一相对位置信息。
确定部可以将多台飞行体各自的识别信息和通过识别信息识别的飞行体各自的相对位置信息建立关联并确定。
第一相对位置信息可以包括多台飞行体在三维空间内的相对位置信息。
第一相对位置信息可以包括多台飞行体在水平方向上的距离信息。
第一相对位置信息可以包括多台飞行体在重力方向上的距离信息。
位置处理装置还可以包括:显示部,其显示表示多台飞行体的多个飞行体图像;以及操作部,其接受输入。确定部可以利用对操作部的输入来变更显示于显示部的多个飞行体图像的位置,从而变更第一相对位置信息。
操作部可以接受拖动操作输入。
显示部可以基于通过拖动操作而变更的多个飞行体图像的位置,显示多台飞行体之间的距离信息。
位置处理装置还可以包括接受输入的操作部。确定部可以基于向操作部输入的多台飞行体之间的距离信息,确定第一相对位置信息。
位置处理装置还可以包括获取部,该获取部获取多台飞行体各自的位置信息。确定部可以基于第二相对位置信息来确定第一相对位置信息,所述第二相对位置信息是基于所获取的多个位置信息差分的相对位置信息。
位置处理装置还可以包括输出部,该输出部输出第一相对位置信息。
在本发明的一个方面中,提供一种与其他飞行体共同形成飞行组并进行飞行的飞行体,包括:第一获取部,其从指示控制属于飞行组的多台飞行体的操作装置获取指示飞行控制的指示信号以及飞行体相对于属于飞行组的多台飞行体的基准位置的相对位置信息即第一相对位置信息;以及控制部,其基于指示信号和第一相对位置信息,使基准位置和飞行体之间的相对位置关系固定而控制飞行体的飞行。
指示信号可以包括用于指示多台飞行体回旋的第一回旋指示信息。控制部可以基于第一回旋指示信息,使飞行体和属于飞行组的多台飞行体的基准位置之间的距离固定而控制飞行体使得飞行体以基准位置为中心进行回旋。
指示信号可以包括用于指示多台飞行体回旋的第二回旋指示信息。控制部可以基于第二回旋指示信息,使飞行体的位置固定而控制飞行体的飞行使得飞行体以飞行体的位置为中心进行回旋。
飞行体还可以包括第一摄像部。控制部可以基于协同飞行的飞行体台数控制第一摄像部的视角,并基于第一相对位置信息控制第一摄像部的摄像方向。
飞行体还可以包括:第二获取部,其获取表示飞行体飞行位置的第一飞行位置信息;以及计算部,其根据基准位置和第一相对位置信息,计算表示飞行体飞行位置的第二飞行位置信息。控制部可以控制飞行体的飞行使得第一飞行位置信息和第二飞行位置信息一致。
第一摄像部可以获取表示第一摄像部视角的第一视角信息。第一获取部可以获取表示其他飞行体所具备的第二摄像部视角的第二视角信息。控制部可以控制飞行体的飞行使得第一视角和第二视角之差大体固定。
第一获取部可以获取其他飞行体所具备的第二摄像部所拍摄的第二摄像图像。计算部可以基于第一摄像部所拍摄的第一摄像图像及第二摄像图像,计算飞行体相对于其他飞行体的相对位置信息即第二相对位置信息。第一相对位置信息可以包括飞行体相对于其他飞行体的相对位置信息即第三相对位置信息。第一控制部可以控制飞行体的飞行使得第二相对位置信息和第三相对位置信息一致。
飞行体还可以包括测距传感器,该测距传感器测量飞行体与其他飞行体之间的距离,获得第一距离信息。第一相对位置信息可以包括表示飞行体与其他飞行体之间的距离的第二距离信息。控制部可以控制飞行体的飞行使得第一距离信息和第二距离信息一致。
在本发明的一个方面中,提供一种对多台飞行体的位置信息进行处理的位置处理系统,包括:选择部,其选择多台飞行体,形成所选择的多台飞行体所属的飞行组;确定部,其确定在指示控制飞行体的操作装置进行操作期间属于飞行组的多台飞行体的相对位置信息即第一相对位置信息;以及设定部,其对多台飞行体设定第一相对位置信息。
在本发明的一个方面中,提供一种包括形成飞行组并进行飞行的多台飞行体和指示多台飞行体控制的操作装置的飞行系统,其中,操作装置发送指示多台飞行体飞行控制的指示信号,多台飞行体分别接收指示信号,获取在利用操作装置进行操作期间属于飞行组的多台飞行体的相对位置信息,并基于指示信号和相对位置信息,使多台飞行体的相对位置关系固定而控制飞行体各自的飞行。
飞行系统还可以包括图像处理装置。多台飞行体可以分别对不同的摄像方向进行拍摄,获取摄像图像,并将摄像图像发送给图像处理装置。图像处理装置可以接收分别来自多台飞行体的多个摄像图像,基于多个摄像图像,生成全景图像及立体图像中的至少一个。
在本发明的一个方面中,提供一种对飞行体的位置信息进行处理的位置处理装置的位置处理方法,包括以下步骤:选择多台飞行体,形成所选择的多台飞行体所属的飞行组;以及确定在指示控制飞行体的操作装置进行操作期间属于飞行组的多台飞行体的相对位置信息即第一相对位置信息。
确定位置信息的步骤可以包括确定多台飞行体分别相对于属于飞行组的多台飞行体的基准位置的相对位置信息作为第一相对位置信息的步骤。
确定位置信息的步骤可以包括确定多台飞行体分别相对于属于飞行组的多台飞行体的基准位置的相对位置信息作为第一相对位置信息的步骤。
确定位置信息的步骤可以包括将多台飞行体各自的识别信息和通过识别信息识别的飞行体各自的相对位置信息建立关联并确定的步骤。
第一相对位置信息可以包括多台飞行体在三维空间的相对位置信息。
第一相对位置信息可以包括多台飞行体在水平方向上的距离信息。
第一相对位置信息可以包括多台飞行体在重力方向上的距离信息。
位置处理方法还可以包括以下步骤:显示表示多台飞行体的多个飞行体图像;以及接受对操作部的输入。确定位置信息的步骤可以包括通过输入来变更所显示的多个飞行体图像的位置来变更第一相对位置信息的步骤。
接受输入的步骤可以包括接受拖动操作输入的步骤。
显示飞行体图像的步骤可以包括基于通过拖动操作而变更的多个飞行体图像的位置,显示多台飞行体之间的距离信息的步骤。
位置处理方法还可以包括接受对操作部的输入的步骤。确定位置信息的步骤可以包括基于向操作部输入的多台飞行体之间的距离信息,确定第一相对位置信息的步骤。
位置处理方法还可以包括获取多台飞行体各自的位置信息的步骤。确定位置信息的步骤可以包括基于第二相对位置信息来确定第一相对位置信息的步骤,所述第二相对位置信息是基于所获取的多个位置信息差分的相对位置信息。
位置处理方法还可以包括输出第一相对位置信息的步骤。
在本发明的一个方面中,提供一种与其他飞行体共同形成飞行组并进行飞行的飞行体中的飞行控制方法,包括以下步骤:从指示控制属于飞行组的多台飞行体的操作装置获取指示飞行控制的指示信号;获取飞行体相对于属于飞行组的多台飞行体的基准位置的相对位置信息即第一相对位置信息;以及基于指示信号和第一相对位置信息,使基准位置和飞行体之间的相对位置关系固定而控制飞行体飞行。
指示信号可以包括用于指示多台飞行体回旋的第一回旋指示信息。控制飞行体飞行的步骤可以包括基于第一回旋指示信息,使飞行体和属于飞行组的多台飞行体的基准位置之间的距离固定而控制飞行体使得飞行体以基准位置为中心进行回旋的步骤。
指示信号可以包括用于指示多台飞行体回旋的第二回旋指示信息。控制飞行体飞行的步骤可以包括基于第二回旋指示信息,使飞行体的位置固定而控制飞行体的飞行使得飞行体以飞行体的位置为中心进行回旋的步骤。
飞行控制方法还可以包括以下步骤:基于属于飞行组的飞行体台数,控制飞行体所具备的第一摄像部的视角;以及基于第一相对位置信息,控制第一摄像部的摄像方向。
飞行控制方法还可以包括以下步骤:获取表示飞行体飞行位置的第一飞行位置信息;以及根据基准位置和第一相对位置信息,计算表示飞行体飞行位置的第二飞行位置信息。控制飞行体飞行的步骤可以包括控制飞行体的飞行使得第一飞行位置信息和第二飞行位置信息一致的步骤。
飞行控制方法还可以包括以下步骤:获取表示第一摄像部视角的第一视角信息;以及获取表示其他飞行体所具备的第二摄像部视角的第二视角信息。控制飞行体飞行的步骤可以包括控制飞行体的飞行使得第一视角和第二视角之差大体固定的步骤。
飞行控制方法还可以包括以下步骤:利用第一摄像部进行拍摄,获得第一摄像图像;获取由其他飞行体所具备的第二摄像部拍摄的第二摄像图像;以及基于第一摄像图像及第二摄像图像,计算飞行体相对于其他飞行体的相对位置信息即第二相对位置信息。第一相对位置信息可以包括飞行体相对于其他飞行体的相对位置信息即第三相对位置信息。控制飞行体飞行的步骤可以包括控制飞行体的飞行使得第二相对位置信息和第三相对位置信息一致的步骤。
飞行控制方法还可以包括测量飞行体与其他飞行体之间的距离,获得第一距离信息的步骤。第一相对位置信息可以包括表示飞行体与其他飞行体之间的距离的第二距离信息。控制飞行体飞行的步骤可以包括控制飞行体的飞行使得第一距离信息和第二距离信息一致的步骤。
在本发明的一个方面中,提供一种位置处理方法,用于对飞行体的位置信息进行处理的位置处理系统中,其包括以下步骤:选择多台飞行体,形成所选择的多台飞行体所属的飞行组;确定在指示控制飞行体的操作装置进行操作期间属于飞行组的多台飞行体的相对位置信息即第一相对位置信息;以及对多台飞行体设定第一相对位置信息。
在本发明的一个方面中,提供一种飞行控制方法,用于包括形成飞行组并进行飞行的多台飞行体和指示控制多台飞行体的操作装置的飞行系统中,其包括以下步骤:获取指示多台飞行体飞行控制的指示信号;获取在利用操作装置进行操作期间属于飞行组的多台飞行体的相对位置信息;以及基于指示信号和相对位置信息,使多台飞行体的相对位置关系固定而控制飞行体各自的飞行。
飞行控制方法还可以包括以下步骤:通过多台飞行体分别对不同的摄像方向进行拍摄;获取所拍摄的多个摄像图像;以及基于多个摄像图像,生成全景图像及立体图像中的至少一个。
在本发明的一个方面中,提供一种程序,其使处理多台飞行体的位置信息的位置处理装置即计算机执行如下步骤:选择多台飞行体,形成所选择的多台飞行体所属的飞行组;以及确定在指示控制飞行体的操作装置进行操作期间属于飞行组的多台飞行体的相对位置信息即第一相对位置信息。
在本发明的一个方面中,提供一种程序,其使与其他飞行体共同形成飞行组并进行飞行的飞行体执行如下步骤:从指示控制属于飞行组的多台飞行体的操作装置获取指示飞行控制的指示信号;获取在指示控制飞行体的操作装置进行操作期间飞行体相对于属于飞行组的多台飞行体的基准位置的相对位置信息;以及基于指示信号和相对位置信息,使基准位置和飞行体之间的相对位置关系固定而控制飞行体飞行。
在本发明的一个方面中,提供一种记录介质,其是记录有程序的计算机可读记录介质,所述程序用于使处理多台飞行体的位置信息的位置处理装置即计算机执行如下步骤:选择多台飞行体,形成所选择的多台飞行体所属的飞行组;以及确定在指示控制飞行体的操作装置进行操作期间属于飞行组的多台飞行体的相对位置信息即第一相对位置信息。
在本发明的一个方面中,提供一种记录介质,其是记录有程序的计算机可读记录介质,所述程序用于使与其他飞行体共同形成飞行组并进行飞行的飞行体即计算机执行如下步骤:从指示控制属于飞行组的多台飞行体的操作装置获取指示飞行控制的指示信号;获取在指示控制飞行体的操作装置进行操作期间飞行体相对于属于飞行组的多台飞行体的基准位置的相对位置信息;以及基于指示信号和相对位置信息,使基准位置和飞行体之间的相对位置关系固定而控制飞行体飞行。
此外,上述发明内容中并未穷举本公开的所有特征。此外,这些特征组的子组合也可以构成发明。
附图说明
图1是示出第一实施方式中的飞行系统的配置示例的示意图。
图2是示出无人驾驶航空器的外观的一个示例的图。
图3是示出无人驾驶航空器的具体外观的一个示例的图。
图4是示出第一实施方式中的无人驾驶航空器的硬件配置的一个示例的框图。
图5是示出发送器及便携式终端(智能手机)外观的一个示例的立体图。
图6是示出发送器及便携式终端(平板终端)外观的一个示例的立体图。
图7是示出发送器的硬件配置的一个示例的框图。
图8是示出便携式终端的硬件配置的一个示例的框图。
图9是示出便携式终端的功能配置的一个示例的框图。
图10是示出位置关系处理画面上属于同一飞行组的无人驾驶航空器的指定示例的图。
图11是示出位置关系处理画面上无人驾驶航空器在水平方向上的位置调整示例的图。
图12是示出位置关系处理画面上无人驾驶航空器在高度方向上的位置调整示例的图。
图13是示出形成飞行组的多台无人驾驶在航空器在水平方向上的基准位置的一个示例的示意图。
图14是示出形成飞行组的多台无人驾驶航空器在高度方向上的基准位置的一个示例的示意图。
图15是示出形成飞行组的多台无人驾驶航空器的第一排列确定示例的示意图。
图16是示出形成飞行组的多台无人驾驶航空器的第二排列确定示例的示意图。
图17是示出形成飞行组的多台无人驾驶航空器的第三排列确定示例的示意图。
图18是示出形成飞行组的多台无人驾驶航空器的第四排列确定示例的示意图。
图19是示出形成飞行组的多台无人驾驶航空器的第五排列确定示例的示意图。
图20是示出飞行系统的操作示例的流程图。
图21是示出第二实施方式中的飞行系统的配置示例的示意图。
图22是示出第二实施方式中的无人驾驶航空器的硬件配置的一个示例的框图。
图23是示出无人驾驶航空器的功能配置的一个示例的框图。
图24是示出便携式终端的功能配置的一个示例的框图。
图25是用于说明旋翼相应于来自发送器的指示信号类型的旋转方法的图。
图26是示出形成飞行组的多台无人驾驶航空器与位于基准位置的虚拟机的一个示例的示意图。
图27是示出无人驾驶航空器在第一回旋模式下的回旋示例的示意图。
图28是示出无人驾驶航空器在第二回旋模式下的回旋示例的示意图。
图29是示出形成飞行组的3台无人驾驶航空器飞行时的第一排列示例的示意图。
图30是示出图29所示的3台无人驾驶航空器在第一回旋模式下的回旋示例的示意图。
图31是示出形成飞行组的5台无人驾驶航空器飞行时的排列示例的示意图。
图32A是示出形成飞行组的3台无人驾驶航空器飞行时水平方向上的第二排列示例的示意图。
图32B是示出形成飞行组的3台无人驾驶航空器飞行时高度方向上的第二排列示例的示意图。
图33是示出无人驾驶航空器的操作示例的流程图。
具体实施方式
以下,通过本发明的实施方式来对本公开进行说明,但是以下实施方式并非限定权利要求书所涉及的发明。实施方式中说明的特征的所有组合未必是发明的解决方案所必须的。
权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样对这些文件进行复制,著作权人则不会提出异议。但是,在除此以外的情况下,保留一切的著作权。
在以下实施方式中,飞行体以无人驾驶航空器(UAV:Unmanned Aerial Vehicle)为例。无人驾驶航空器包括在空中移动的航空器。在本说明书的附图中,无人驾驶航空器标记为“UAV”。飞行控制方法规定了飞行体及飞行系统中的操作。此外,记录介质记录有程序(例如,使无人驾驶航空器执行各种处理的程序)。
在以下实施方式中,位置处理系统以飞行系统为例。位置处理装置以便携式终端为例。便携式终端可以包括智能手机或平板终端。位置处理方法规定了位置处理装置及位置处理系统中的操作。此外,记录介质记录有程序(例如,使便携式终端执行各种处理的程序)。
(第一实施方式)
图1是示出第一实施方式中的飞行系统10的配置示例的示意图。飞行系统10具备无人驾驶航空器100、发送器50和便携式终端80。无人驾驶航空器100、发送器50和便携式终端80互相之间可以通过有线通信或无线通信(例如,无线LAN(Local Area Network))进行通信。
接着,对无人驾驶航空器100的配置示例进行说明。图2是示出无人驾驶航空器100的外观的一个示例的图。图3是示出无人驾驶航空器100的具体外观的一个示例的图。图2表示无人驾驶航空器100向移动方向STV0飞行时的侧视图,图3表示无人驾驶航空器100向移动方向STV0飞行时的立体图。
如图2及图3所示,将滚转轴(参照x轴)定义为与地面平行且沿着移动方向STV0的方向。此时,将俯仰轴(参照y轴)确定为与地面相平行并与滚转轴垂直的方向,进一步,将偏航轴(参照z轴)确定为与地面垂直并与滚转轴以及俯仰轴垂直的方向。
无人驾驶航空器100的配置为包括UAV主体102、万向节200、摄像装置220和多个摄像装置230。摄像装置220、230是摄像部的一个示例。
UAV主体102具备多个旋翼(螺旋浆)。UAV主体102通过控制多个旋翼的旋转而使无人驾驶航空器100飞行。UAV主体102使用例如四个旋翼使无人驾驶航空器100飞行。旋翼的数量并不限于四个。另外,无人驾驶航空器100可以是没有旋翼的固定翼飞机。
摄像装置220是对包含在期望的摄像范围内的被摄体(例如,作为航拍对象的上空的情况、山川、河流等的景色、地上的建筑物)进行拍摄的拍摄用相机。
多个摄像装置230可以是为了控制无人驾驶航空器100的飞行而对无人驾驶航空器100的周围进行拍摄的传感用相机。两个摄像装置230可以设置于无人驾驶航空器100的机头即正面。进而,其他两个摄像装置230可以设置于无人驾驶航空器100的底面。正面侧的两个摄像装置230可以成对,起到所谓的立体相机的作用。底面侧的两个摄像装置230也可以成对,起到立体相机的作用。可以基于由多个摄像装置230拍摄的图像来生成无人驾驶航空器100周围的三维空间数据。另外,无人驾驶航空器100所具备的摄像装置230的数量不限于四个。无人驾驶航空器100具备至少一个摄像装置230即可。无人驾驶航空器100可以在无人驾驶航空器100的机头、机尾、侧面、底面及顶面分别具备至少一个摄像装置230。摄像装置230中可设定的视角可大于摄像装置220中可设定的视角。摄像装置230可以具有单焦点镜头或鱼眼镜头。
图4是示出无人驾驶航空器100的硬件配置的一个示例的框图。无人驾驶航空器100的配置为包括UAV控制部110、通信接口150、存储器160、万向节200、旋翼机构210、摄像装置220、摄像装置230、GPS接收器240、惯性测量装置(IMU:Inertial Measurement Unit)250、磁罗盘260、气压高度计270、超声波传感器280、激光测量仪290。通信接口150是通信部的一个示例。超声波传感器280及激光测量仪290是测距传感器的一个示例。
UAV控制部110例如由CPU(Central Processing Unit:中央处理器)、MPU(MicroProcessing Unit:微处理器)或DSP(Digital Signal Processor:数字信号处理器)构成。UAV控制部110执行用于总体控制无人驾驶航空器100的各部分的动作的信号处理、与其它各部分之间的数据输入输出处理、数据的运算处理以及数据的存储处理。
UAV控制部110按照存储于存储器160中的程序来控制无人驾驶航空器100的飞行。UAV控制部110按照通过通信接口150从远程发送器50接收到的指令来控制无人驾驶航空器100的飞行。存储器160可以从无人驾驶航空器100上拆卸下来。
UAV控制部110可以通过对由多个摄像装置230拍摄的多个图像进行分析,来确定无人驾驶航空器100周围的环境。UAV控制部110根据无人驾驶航空器100周围的环境,例如避开障碍物来控制飞行。
UAV控制部110获取表示当前日期和时间的信息。UAV控制部110可以从GPS接收器240获取表示当前日期和时间的日期和时间信息。UAV控制部110可以从搭载于无人驾驶航空器100的计时器(未图示)获取表示当前日期和时间的日期和时间信息。
UAV控制部110获取表示无人驾驶航空器100的位置的位置信息。UAV控制部110可以从GPS接收器240获取表示无人驾驶航空器100所在的纬度、经度以及高度的位置信息。UAV控制部110可以分别从GPS接收器240获取表示无人驾驶航空器100所在的纬度以及经度的纬度经度信息、并从气压高度计270获取表示无人驾驶航空器100所在的高度的高度信息,作为位置信息。UAV控制部110可以获取超声波传感器280产生的超声波发射点与超声波反射点之间的距离作为高度信息。
UAV控制部110从磁罗盘260获取表示无人驾驶航空器100的朝向的朝向信息。朝向信息表示例如与无人驾驶航空器100的机头的朝向对应的方位。
UAV控制部110可以在摄像装置220对应该拍摄的摄像范围进行拍摄时,获取表示无人驾驶航空器100所应该存在的位置的位置信息。UAV控制部110可以从存储器160获取表示无人驾驶航空器100所应该存在的位置的位置信息。UAV控制部110可以通过通信接口150从发送器50等其他装置获取表示无人驾驶航空器100应该存在的位置的位置信息。为了拍摄要拍摄的摄像范围,UAV控制部110可以参照三维地图数据库,确定无人驾驶航空器100能够存在的位置,并获取该位置作为表示无人驾驶航空器100应该存在的位置的位置信息。
UAV控制部110获取表示摄像装置220以及摄像装置230各自的摄像范围的摄像信息。UAV控制部110从摄像装置220以及摄像装置230获取表示摄像装置220以及摄像装置230的视角的视角信息,作为用于确定摄像范围的参数。UAV控制部110获取表示摄像装置220以及摄像装置230的摄像方向的信息,作为用于确定摄像范围的参数。UAV控制部110从万向节200获取表示摄像装置220的姿势状态的姿势信息,作为例如表示摄像装置220的摄像方向的信息。UAV控制部110获取表示无人驾驶航空器100的朝向的信息。表示摄像装置220的姿势状态的信息表示万向节200从俯仰轴和偏航轴的基准旋转角度旋转的角度。UAV控制部110获取表示无人驾驶航空器100所在位置的位置信息,作为用于确定摄像范围的参数。UAV控制部110可以根据摄像装置220和摄像装置230的视角和摄像方向、以及无人驾驶航空器100所在的位置,通过划定表示摄像装置220拍摄的地理范围的摄像范围并生成表示摄像范围的摄像信息,从而获取摄像信息。
UAV控制部110可以获取表示摄像装置220应该拍摄的摄像范围的摄像信息。UAV控制部110可以从存储器160获取摄像装置220应该拍摄的摄像信息。UAV控制部110可以经由通信接口150从发送器50等其他装置获取摄像装置220应该拍摄的摄像信息。
UAV控制部110可以获取表示存在于无人驾驶航空器100周围的对象的立体形状(三维形状)的立体信息(三维信息)。对象是例如建筑物、道路、车辆、树木等风景的一部分。立体信息例如是三维空间数据。UAV控制部110可以根据由多个摄像装置230得到的各个图像,生成表示存在于无人驾驶航空器100周围的对象的立体形状的立体信息,从而获取立体信息。UAV控制部110可以通过参照存储在存储器160中的三维地图数据库,获取表示存在于无人驾驶航空器100周围的对象的立体形状的立体信息。UAV控制部110可以通过参照由网络上存在的服务器所管理的三维地图数据库,来获取与存在于无人驾驶航空器100周围的对象的立体形状相关的立体信息。
UAV控制部110获取由摄像装置220和摄像装置230拍摄到的图像数据。
UAV控制部110控制万向节200、旋翼机构210、摄像装置220和摄像装置230。UAV控制部110通过变更摄像装置220的摄像方向或视角来控制摄像装置220的摄像范围。UAV控制部110通过控制万向节200的旋转机构来控制万向节200所支持的摄像装置220的摄像范围。
本说明书中,摄像范围是指由摄像装置220或摄像装置230所拍摄的地理范围。摄像范围由纬度、经度和高度定义。摄像范围可以是由纬度、经度和高度定义的三维空间数据的范围。摄像范围根据摄像装置220或摄像装置230的视角和摄像方向、以及无人驾驶航空器100所在的位置而指定。摄像装置220以及摄像装置230的摄像方向由摄像装置220以及摄像装置230的设置有摄像镜头的正面所朝的方位和俯角来定义。摄像装置220的摄像方向是由无人驾驶航空器100的机头方位和相对于万向节200的摄像装置220的姿势状态而指定的方向。摄像装置230的摄像方向是由无人驾驶航空器100的机头方位和设置有摄像装置230的位置而指定的方向。
UAV控制部110通过控制旋翼机构210来控制无人驾驶航空器100的飞行。即,UAV控制部110通过控制旋翼机构210来对包括无人驾驶航空器100的纬度、经度以及高度的位置进行控制。UAV控制部110可以通过控制无人驾驶航空器100的飞行来控制摄像装置220以及摄像装置230的摄像范围。UAV控制部110可以通过控制摄像装置220所具备的变焦镜头来控制摄像装置220的视角。UAV控制部110可以利用摄像装置220的数字变焦功能,通过数字变焦来控制摄像装置220的视角。
在摄像装置220固定于无人驾驶航空器100,不移动摄像装置220的情况下,UAV控制部110可以通过使无人驾驶航空器100在特定的日期和时间向特定的位置移动,使摄像装置220在期望的环境下拍摄期望的摄像范围。或者在摄像装置220没有变焦功能,无法改变摄像装置220视角的情况下,UAV控制部110可以通过使无人驾驶航空器100在特定的日期和时间向特定的位置移动,使摄像装置220在期望的环境下拍摄期望的摄像范围。
UAV控制部110可以经由例如通信接口150来获取协同飞行的、属于飞行组的多台无人驾驶航空器100的相对位置信息。UAV控制部110可以通过将相对位置信息保存在存储器160中来设定该相对位置信息。因此,UAV控制部110是设定部的一个示例。通过设定相对位置信息,可以结合相对位置信息(例如,维持相对位置关系)来进行飞行控制。
通信接口150与发送器50进行通信。通信接口150从远程发送器50接收对UAV控制部110的各种指令、信息。
存储器160存储UAV控制部110对万向节200、旋翼机构210、摄像装置220、摄像装置230、GPS接收器240、惯性测量装置250、磁罗盘260、气压高度计270、超声波传感器280以及激光测量仪290进行控制所需的程序等。存储器160可以是计算机可读记录介质,可以包括SRAM(Static Random Access Memory:静态随机存取存储器)、DRAM(Dynamic RandomAccess Memory:动态随机存取存储器)、EPROM(Erasable Programmable Read OnlyMemory:可擦除可编程只读存储器)、EEPROM(Electrically Erasable ProgrammableRead-Only Memory:电可擦除可编程只读存储器)以及USB存储器等闪存中的至少一个。存储器160可以设置在UAV主体102的内部。其可以设置成可从UAV主体102上拆卸下来。
万向节200以至少一个轴为中心可旋转地支持摄像装置220。万向节200可以以偏航轴、俯仰轴以及滚转轴为中心可旋转地支持摄像装置220。万向节200可以通过使摄像装置220以偏航轴、俯仰轴以及滚转轴中的至少一个为中心旋转,来变更摄像装置220的摄像方向。
旋翼机构210包括:多个旋翼211、使多个旋翼211旋转的多个驱动电机212、以及测量用于驱动驱动电机212的驱动电流的电流值(实测值)的电流传感器213。驱动电流被供给至驱动电机212。
摄像装置220对期望的摄像范围内的被摄体进行拍摄并生成摄像图像的数据。通过摄像装置220的拍摄而得到的图像数据保存于摄像装置220所具有的存储器、或存储器160中。
摄像装置230拍摄无人驾驶航空器100的周围并生成摄像图像的数据。摄像装置230的图像数据存储于存储器160中。
GPS接收器240接收从多个导航卫星(即GPS卫星)发送的、表示时间以及各GPS卫星的位置(坐标)的多个信号。GPS接收器240根据接收到的多个信号,计算出GPS接收器240的位置(即无人驾驶航空器100的位置)。GPS接收器240将无人驾驶航空器100的位置信息输出到UAV控制部110。另外,可以由UAV控制部110代替GPS接收器240来进行GPS接收器240的位置信息的计算。这时,在UAV控制部110中输入GPS接收器240所接收的多个信号中包含的表示时间以及各GPS卫星的位置的信息。
惯性测量装置250检测无人驾驶航空器100的姿势,并将检测结果输出到UAV控制部110。惯性测量装置IMU250检测无人驾驶航空器100的前后、左右和上下3轴方向的加速度以及俯仰轴、滚转轴和偏航轴3轴方向的角速度,作为无人驾驶航空器100的姿势。
磁罗盘260检测无人驾驶航空器100的机头的方位,并将检测结果输出到UAV控制部110。
气压高度计270检测无人驾驶航空器100的飞行高度,并将检测结果输出到UAV控制部110。
超声波传感器280发射超声波,检测地面、物体反射的超声波,并将检测结果输出到UAV控制部110。检测结果可以表示从无人驾驶航空器100到地面的距离,即高度。检测结果可以表示从无人驾驶航空器100到物体的距离。
激光测量仪290将激光照射在物体上,接收物体反射的反射光,并通过反射光测量无人驾驶航空器100与物体之间的距离。作为基于激光的距离测量方法的一个示例,可以为飞行时间法。
接着,对发送器50以及便携式终端80的配置示例进行说明。图5是示出安装有发送器50的便携式终端80的外观的一个示例的立体图。在图5中,示出了智能手机80S,作为便携式终端80的一个示例。相对于发送器50的上下前后左右的方向分别遵从图5所示的箭头的方向。发送器50是在例如使用发送器50的人(以下称为“操作者”)用两手握持的状态下使用的。
发送器50具有树脂制壳体50B,其具有例如大致正方形底面,且呈高度比底面的一边短的大致长方体(换言之即大致箱形)的形状。在发送器50的壳体表面的大致中央突出设置有左控制杆53L和右控制杆53R。
左控制杆53L、右控制杆53R分别在用于远程控制(例如,无人驾驶航空器100的前后移动、左右移动、上下移动、朝向变更)由操作者进行无人驾驶航空器100的移动的操作中使用。在图5中示出了左控制杆53L和右控制杆53R未由操作者的双手分别施加外力的初始状态的位置。左控制杆53L和右控制杆53R在由操作者施加的外力被释放后,自动地恢复到预定位置(例如图5所示的初始位置)。
在左控制杆53L的近前侧(换言之,操作者侧)配置有发送器50的电源按钮B1。当操作者按下一次电源按钮B1时,内置于例如发送器50的电池(未图示)的剩余容量会显示在电池余量显示部L2中。当操作者再次按下电源按钮B1时,例如发送器50的电源接通,向发送器50的各部分(参照图7)供电而能够使用。
在右控制杆53R的近前侧(换言之,操作者侧)配置有RTH(Return To Home)按钮B2。当操作者按下RTH按钮B2时,发送器50向无人驾驶航空器100发送用于使其自动恢复到预定位置的信号。由此,发送器50能够使无人驾驶航空器100自动返回到预定位置(例如无人驾驶航空器100所存储的起飞位置)。例如在室外利用无人驾驶航空器100进行航拍中操作者看不到无人驾驶航空器100的机体的情况下,或者遭遇电波干扰或非预期的故障而不能操作等情况下,能够利用RTH按钮B2。
在电源按钮B1以及RTH按钮B2的近前侧(换言之,操作者侧)配置有远程状态显示部L1以及电池余量显示部L2。远程状态显示部L1例如由LED(Light Emission Diode)构成,显示发送器50与无人驾驶航空器100的无线连接状态。电池余量显示部L2例如由LED构成,显示内置于发送器50的电池(未图示)剩余容量。
在左控制杆53L和右控制杆53R的后侧,且发送器50的壳体50B的后方侧面突出设置有两个天线AN1、AN2。天线AN1、AN2基于操作者的左控制杆53L和右控制杆53R的操作,将由发送器控制部61生成的信号(即,用于控制无人驾驶航空器100的移动的信号)发送到无人驾驶航空器100。该信号是由发送器50输入的操作输入信号之一。天线AN1、AN2能够覆盖例如2km的收发范围。此外,在从无人驾驶航空器100发送由与发送器50无线连接的无人驾驶航空器100所具有的摄像装置220、230拍摄到的图像、或者无人驾驶航空器100所获取的各种数据的情况下,天线AN1、AN2能够接收这些图像或各种数据。
在图5中,发送器50虽然不具备显示部,但也可以具备显示部。
便携式终端80可以装载安装在支架HLD上。支架HLD可以接合安装在发送器50上。由此,便携式终端80通过支架HLD安装在发送器50上。便携式终端80和发送器50可以通过有线电缆(例如USB电缆)连接。也可以不将便携式终端80安装在发送器50上,而是将便携式终端80和发送器50分别独立设置。
图6是示出发送器50及便携式终端80的外观的一个示例的立体图。在图6中,示出了平板80T,作为便携式终端80的一个示例。
图7是示出发送器50的硬件配置的一个示例的框图。发送器50的配置为包括:左控制杆53L、右控制杆53R、发送器控制部61、无线通信部63、接口部65、电源按钮B1、RTH按钮B2、操作部组OPS、远程状态显示部L1、电池余量显示部L2和显示部DP。发送器50是对无人驾驶航空器100的控制进行指示的操作装置的一个示例。
左控制杆53L例如用于通过操作者的左手远程控制无人驾驶航空器100的移动的操作。右控制杆53R例如用于通过操作者的右手远程控制无人驾驶航空器100的移动的操作。无人驾驶航空器100的移动例如为前进方向的移动、后退方向的移动、向左方向的移动、向右方向的移动、上升方向的移动、下降方向的移动、向左方向旋转无人驾驶航空器100的移动、向右方向旋转无人驾驶航空器100的移动中的任一个或它们的组合,以下相同。
当按下一次电源按钮B1时,意指被按下一次的信号则被输入到发送器控制部61。发送器控制部61按照该信号将内置于发送器50的电池(未图示)的剩余容量显示于电池余量显示部L2。由此,操作者能够简单地确认内置于发送器50的电池的剩余容量。另外,当按下两次电源按钮B1时,意指被按下两次的信号则被传递给发送器控制部61。发送器控制部61按照该信号,指示内置于发送器50的电池(未图示)向发送器50内的各部分供电。由此,发送器50的电源接通,操作者能够简单地开始发送器50的使用。
当按下RTH按钮B2时,意指被按下的信号则被输入到发送器控制部61。发送器控制部61按照该信号,生成用于使无人驾驶航空器100自动恢复到预定位置(例如无人驾驶航空器100的起飞位置)的信号,并通过无线通信部63以及天线AN1、AN2发送到无人驾驶航空器100。由此,操作者能够通过对发送器50的简单操作,使无人驾驶航空器100自动地恢复(返回)到预定位置。
操作部组OPS由多个操作部OP(例如操作部OP1、…、操作部OPn)(n:2以上的整数)构成。操作部组OPS由除了图4所示的左控制杆53L、右控制杆53R、电源按钮B1以及RTH按钮B2以外的其他操作部(例如,对利用发送器50对无人驾驶航空器100进行远程控制提供辅助的各种操作部)构成。这里所说的各种操作部例如相当于对使用了无人驾驶航空器100的摄像装置220的静态图像的拍摄进行指示的按钮、对使用了无人驾驶航空器100的摄像装置220的动态图像的录像开始以及结束进行指示的按钮、调整无人驾驶航空器100的万向节200(参照图4)在倾斜方向的倾斜度的拨盘、切换无人驾驶航空器100的飞行模式的按钮、以及进行无人驾驶航空器100的摄像装置220的设定的拨盘。
由于已经参照图6对远程状态显示部L1及电池余量显示部L2进行了说明,所以在此省略说明。
发送器控制部61由处理器(例如CPU、MPU或DSP)构成。发送器控制部61进行用于整体控制发送器50各部分的操作的信号处理、与其它各部分之间的数据的输入输出处理、数据的运算处理以及数据的存储处理。
发送器控制部61可以通过无线通信部63获取无人驾驶航空器100的摄像装置220拍摄到的摄像图像的数据并保存到存储器(未图示),并通过接口部65输出到便携式终端80。换言之,发送器控制部61可以将由无人驾驶航空器100的摄像装置220拍摄到的航拍图像数据显示在便携式终端80上。由此,由无人驾驶航空器100的摄像装置220拍摄到的航拍图像能够在便携式终端80中显示。
发送器控制部61可以通过操作者的左控制杆53L和右控制杆53R的操作,生成用于控制通过该操作而指定的无人驾驶航空器100的飞行的指示信号。发送器控制部61可以通过无线通信部63以及天线AN1、AN2向无人驾驶航空器100发送此指示信号来远程控制无人驾驶航空器100。由此,发送器50能够远程控制无人驾驶航空器100的移动。
发送器控制部61可以基于对发送器50所具有的任意按钮或任意操作部的操作,生成操作输入信号,并通过无线通信部63将操作输入信号发送至无人驾驶航空器100。这种情况下,无人驾驶航空器100从发送器50接收操作输入信号,从而能够识别出发送器50在操作者的控制之下。
无线通信部63与两个天线AN1、AN2连接。无线通信部63通过两个天线AN1、AN2,与无人驾驶航空器100之间执行使用预定的无线通信方式(例如Wifi(注册商标))的信息、数据的收发。
接口部65执行发送器50与便携式终端80之间的信息、数据的输入输出。接口部65可以是例如设置在发送器50上的USB端口(未图示)。接口部65也可以是USB端口以外的接口。
图8是示出便携式终端80的硬件配置的一个示例的框图。便携式终端80可以具备处理器81、接口部82、操作部83、无线通信部85、存储器87以及显示屏88。便携式终端80是位置处理装置的一个示例。
处理器81例如由CPU、MPU或DSP构成。处理器81进行用于整体控制便携式终端80各部分的操作的信号处理、与其它各部分之间的数据的输入输出处理、数据的运算处理以及数据的存储处理。
处理器81可以通过无线通信部85获取来自无人驾驶航空器100的数据、信息。处理器81可以通过接口部82获取来自发送器50的数据、信息。处理器81可以获取通过操作部83而输入的数据、信息。处理器81可以获取保存在存储器87中的数据、信息。处理器81可以将数据、信息发送到显示屏88,在显示屏88上显示基于该数据、信息的显示信息。
处理器81执行用于对无人驾驶航空器100的控制进行指示的应用程序。应用程序可以包括相对位置处理应用程序,用于对使多台无人驾驶航空器100协同飞行的相对位置信息进行处理。处理器81可以生成应用程序中使用的各种数据。
接口部82执行发送器50与便携式终端80之间的信息、数据的输入输出。接口部82例如可以是设置于便携式终端80的USB连接器(未图示)。接口部65也可以是USB连接器以外的接口。
操作部83接收由便携式终端80的操作者输入的数据、信息。操作部83可以包括按钮、按键、触控显示屏、话筒等。此处主要示出了操作部83和显示屏88由触控显示屏构成。在此情况下,操作部83可以接受触控操作、点击操作、拖动操作等。
无线通信部85通过各种无线通信方式与无人驾驶航空器100B之间进行通信。该无线通信方式例如可以包括通过无线LAN、Bluetooth(注册商标)、近距离无线通信或公共无线线路进行的通信。无线通信部85是输出部的一个示例。
存储器87例如可以包括:保存有对便携式终端80的操作进行规定的程序、设定值的数据的ROM,以及暂时保存处理器81进行处理时所使用的各种信息、数据的RAM。存储器87可以包括ROM和RAM以外的存储器。存储器87可以设置在便携式终端80的内部。存储器87可以设置成可从便携式终端80上拆卸下来。程序可以包括应用程序。
显示屏88例如使用LCD(Liquid Crystal Display)构成,显示从处理器81输出的各种信息、数据。显示屏88可以显示由无人驾驶航空器100的摄像装置220拍摄到的航拍图像数据。显示屏88可以显示相对位置处理应用程序中所使用的相对位置处理画面。
图9是示出便携式终端80的功能配置的一个示例的框图。处理器81执行保存于存储器87中的程序,从而具有UAV指定部811、位置信息获取部812、相对位置处理部813以及摄像信息处理部814的功能。UAV指定部811是选择部的一个示例。位置信息获取部812是获取部的一个示例。相对位置处理部813是确定部的一个示例。
UAV指定部811从多台(例如3台)无人驾驶航空器100中指定(选择)形成一个飞行组的多台(例如2台)无人驾驶航空器100。也就是说,UAV指定部811指定多台无人驾驶航空器100,形成一个以上飞行组。UAV指定部811可以根据输入到操作部83的指定信息来指定无人驾驶航空器100。输入到操作部83的指定信息可以是针对触控显示屏的触控信息,也可以是用于识别无人驾驶航空器100的识别信息的输入(例如按键输入、按钮输入、语音输入)。
UAV指定部811可以通过操作部83,在显示于各种处理画面(例如相对位置处理画面)的多台无人驾驶航空器100中,指定形成飞行组的无人驾驶航空器100。可以基于位置信息获取部812所获取的各无人驾驶航空器100的位置信息,确定显示于处理画面的多台无人驾驶航空器100的位置。
位置信息获取部812获取无人驾驶航空器100的位置信息(例如当前位置信息)。位置信息获取部812可以通过例如无线通信部85获取无人驾驶航空器100的位置信息。位置信息获取部812可以通过例如发送器50及接口部82获取无人驾驶航空器100的位置信息。该无人驾驶航空器100的位置信息可以是无人驾驶航空器100的绝对位置信息。
无人驾驶航空器100的位置信息可以包括由无人驾驶航空器100的GPS接收器240接收到的位置信息。无人驾驶航空器100的位置信息可以包括参照三维地图数据库而获得的位置信息。无人驾驶航空器100的位置信息可以包括通过气压高度计270、超声波传感器280或激光测量仪290所获得的高度信息。
另外,在本实施方式中,绝对位置信息是通过一台无人驾驶航空器100等物体的位置而规定的位置信息(例如纬度、经度、高度信息)。与此相对,相对位置信息可以是通过多台无人驾驶航空器等物体间的位置关系而规定的位置信息(例如相对于某一基准位置的距离、方向信息)。
相对位置处理部813确定包含于同一飞行组的多台无人驾驶航空器100的相对位置信息。多台无人驾驶航空器100的相对位置信息也可以称为多台无人驾驶航空器100各自的相对位置关系的信息。相对位置处理部813可以确定多台无人驾驶航空器100在飞行期间且利用发送器50进行飞行操作期间的相对位置关系。
相对位置处理部813能以包含于同一飞行组的多台无人驾驶航空器100中特定的1台无人驾驶航空器100为基准,确定其他无人驾驶航空器100分别相对于该无人驾驶航空器100的位置信息,作为相对位置信息。
相对位置处理部813可以根据包含于同一飞行组的多台无人驾驶航空器100的位置(绝对位置),确定飞行组内作为基准的位置(基准位置)。相对位置处理部813能以基准位置为基准,确定多台无人驾驶航空器100分别相对于基准位置的位置信息,作为相对位置信息。
相对位置处理部813可以通过操作部83,针对显示于各种处理画面(例如相对位置处理画面)的多台无人驾驶航空器100中要设定相对位置的无人驾驶航空器100,利用拖动操作来变更其位置,从而变更相对位置信息。也就是说,相对位置处理部813可以通过拖动操作来调整相对位置信息。相对位置处理部813可以通过操作部83获取多台无人驾驶航空器100之间的距离值,并基于该距离确定相对位置信息。
接着,对属于同一飞行组的多台无人驾驶航空器100的相对位置信息的确定示例进行说明。
包含于同一飞行组的多台无人驾驶航空器100可以分别协同飞行。飞行组可以通过便携式终端80形成。相对位置信息可以通过便携式终端80确定。
图10是示出位置关系处理画面SG上属于同一飞行组的无人驾驶航空器100的确定示例的图。位置关系处理画面SG可以显示于显示屏88的至少一部分上。之后的位置关系处理画面SG也相同。
在图10的位置关系处理画面SG上显示有UAV图像G11~G13。UAV图像G11、G12、G13对应各无人驾驶航空器100的绝对位置而显示,表示3台无人驾驶航空器100G11、100G12、100G13(均未图示)各自的位置。位置关系处理画面SG所表示的区域对应于实际空间中无人驾驶航空器100所在的区域,也可以针对实际空间区域,用预定的比例尺示出。位置关系处理画面SG上的UAV图像G11~G13的显示位置可以是相应于位置信息获取部812所获取的绝对位置的位置。UAV图像是飞行体图像的一个示例。
在图10中,UAV图像G11可以显示于位置关系处理画面SG的中心位置,确保UAV图像G11处于显眼的位置。另外,其他UAV图像G11也可以显示于中心位置。
在图10中,操作部83接受对UAV图像G11、G12的触控操作。相对位置处理部813获取针对操作部83的该触控操作信息,将对应于UAV图像G11、G12的无人驾驶航空器100G11、100G12指定为用于形成飞行组的无人驾驶航空器100。另一方面,相对位置处理部813不获取操作部83对UAV图像G13的触控操作信息,因此,不将对应于UAV图像G13的无人驾驶航空器100G13指定为用于形成飞行组的无人驾驶航空器100。
图11是示出位置关系处理画面SG上无人驾驶航空器100在水平方向上的位置调整示例的图。图11中也可以示出从上方观察所选择的多台无人驾驶航空器100的位置关系。
图11中显示了在图10的位置关系处理画面SG上所选择的UAV图像G11、G12,没有显示未选择的UAV图像G13。在图11中,操作部83可以接受对UAV图像G12的拖动操作。相对位置处理部813获取对操作部83的相关拖动操作信息,并根据拖动操作,变更UAV图像G12的显示位置。在图11中,在表示水平方向坐标的xy坐标中,为了使无人驾驶航空器100G12相对于无人驾驶航空器100G11的距离为沿x方向为距离L1(例如50cm)、沿y方向为距离0,相对位置处理部813通过操作部83调整位置关系处理画面SG上的UAV图像G12的位置。这种情况下,由UAV图像G12a拖动操作至UAV图像G12b的位置。显示屏88可以对应该拖动操作,显示相对位置信息(例如距离信息)。由此,便携式终端80的操作者可以具体地理解拖动操作所变更的距离。
另外,在图11中,各UAV图像G12内所绘制的箭头ar表示摄像装置220或230的朝向,也就是摄像方向。以下相同。摄像装置220也可以起到主相机的作用。摄像装置230也可以起到副相机的作用。
图12是示出位置关系处理画面SG上无人驾驶航空器100在高度方向(重力方向)上的位置调整示例的图。图12中也可以示出从水平方向观察所选择的多台无人驾驶航空器100的位置关系。
图12中显示了在图10的位置关系处理画面SG1上所选择的UAV图像G11、G12,没有显示未选择的UAV图像G13。在图12中,操作部83可以接受对UAV图像G12的拖动操作。相对位置处理部813获取对操作部83的相关拖动操作信息,并根据拖动操作,变更UAV图像G12的显示位置。在图12中,在表示高度方向坐标的xz坐标中,为了使无人驾驶航空器100G12相对于无人驾驶航空器100G11的距离为沿x方向为距离L1、沿z方向为距离L2(例如80cm),相对位置处理部813通过操作部83调整位置关系处理画面SG3上的UAV图像G12的位置。这种情况下,可以自UAVG12a拖动操作至UAV图像G12b的位置。
设定相对位置信息时,可以按照位置关系处理画面SG1、SG2、SG3的顺序显示,按照水平方向、高度方向的顺序确定、设定相对位置信息。此外,确定相对位置信息时,可以按照位置关系处理画面SG1、SG2、SG3的顺序显示,按照高度方向、水平方向的顺序确定、设定相对位置信息。
根据图11、图12所示的调整示例,便携式终端80的操作者可以在显示屏88上确认对应于实际无人驾驶航空器100G11、100G12的UAV图像G11、G12的显示位置,同时简单调整UAV图像G11、G12的位置。通过该简单操作,便携式终端80可以确定UAV图像G11和UAV图像G12之间的相对位置关系。此外,便携式终端80的操作者可以识别三维空间内实施位置调整的方向(例如水平方向、高度方向),从而调整相对位置关系。此外,便携式终端80的操作者可以通过对所显示画面的直观操作(例如拖动操作),确定无人驾驶航空器100G11、100G12之间的距离。
和图11、图12不同,操作部83也可以输入无人驾驶航空器100G11、100G12之间的具体距离值。相对位置处理部813也可以确定该距离信息(例如水平方向上50cm、高度方向上80cm)作为相对位置信息。由此,便携式终端80的操作者无需使用显示屏88便能确定相对位置信息。
如上所述,通过确定包括水平方向及高度方向在内的三维空间内的相对位置信息,便携式终端80可以规定多台无人驾驶航空器100在可飞行的飞行范围即三维空间内的相对位置关系。由此,便携式终端80可以根据无人驾驶航空器100的实际飞行情况,确定相对位置信息。
另外,并不仅限于确定三维空间内的相对位置信息,也可以确定二维空间内的相对位置信息。例如,便携式终端80也可以以多台无人驾驶航空器100配置在同一平面上(例如水平面上)为前提,确定各无人驾驶航空器100排列在该平面的何处。
图13是示出形成飞行组的多台无人驾驶航空器100的水平方向基准位置的一个示例的示意图。在图13中,飞行组包括对应于UAV图像G11、G12的2台无人驾驶航空器100G11、100G12。飞行组中用于确定相对位置关系的基准位置用基准位置RP表示。水平方向基准位置RP可以是包含于同一飞行组的多台无人驾驶航空器100G11、100G12的水平方向的中间位置、中心位置、重心位置或其他作为基准的位置。
在图13中,作为基准位置RP的一个示例,示出了无人驾驶航空器100G11、100G12的水平方向的中心位置。作为多台无人驾驶航空器100G11、100G12的相对位置信息,可以包括无人驾驶航空器100G11、100G12分别在水平方向上相对于基准位置RP的位置信息。具体而言,无人驾驶航空器100G11相对于基准位置RP的相对位置信息可以包括-x方向上相距(1/2)×L1这一信息。此外,无人驾驶航空器100G12相对于基准位置RP的相对位置信息可以包括+x方向上相距(1/2)×L1这一信息。
图14是示出形成飞行组的多台无人驾驶航空器100的高度方向基准位置的一个示例的示意图。在图14中,飞行组包括对应于UAV图像G11、G12的2台无人驾驶航空器100G11、100G12。飞行组中用于确定相对位置关系的基准位置用基准位置RP表示。高度方向基准位置RP可以是包含于同一飞行组的多台无人驾驶航空器100G11、100G12的高度方向的中间位置、中心位置、重心位置或其他作为基准的位置。
在图14中,作为基准位置RP的一个示例,示出了无人驾驶航空器100G11、100G12的高度方向的中心位置。作为多台无人驾驶航空器100G11、100G12间的相对位置信息,可以包括无人驾驶航空器100G11、100G12分别在高度方向上相对于基准位置RP的位置信息。具体而言,无人驾驶航空器100G11相对于基准位置RP的相对位置信息可以包括-z方向上相距(1/2)×L2这一信息。此外,无人驾驶航空器100G12相对于基准位置RP的相对位置信息可以包括+z方向上相距(1/2)×L2这一信息。
如上所述,相对位置处理部813可以确定各无人驾驶航空器100相对于基准位置RP的相对位置信息。由此,根据各无人驾驶航空器100与基准位置RP的差分,便携式终端80便可以容易地生成相对位置信息。另外,多台无人驾驶航空器100飞行时,便携式终端80也能使其以飞行组的基准位置为基准,处于飞行形态。由此,便携式终端80可以针对多台无人驾驶航空器100,提供将单个无人驾驶航空器100的飞行形态单纯地扩展到多台的飞行方法,从而可以使发送器50的操作者对无人驾驶航空器100的操作更加容易。
相对位置处理部813可以使多台无人驾驶航空器100G11、100G12的相对位置信息包括水平方向及高度方向中的至少一个距离信息,同时还包括无人驾驶航空器100G11、100G12的识别信息。这种情况下,相对位置信息中可以关联地包括无人驾驶航空器100G11、100G12的识别信息和距离信息。无人驾驶航空器100的识别信息可以是例如制造时提供的个体识别编号、对操作者设定的用户识别编号或者其他识别信息。
如上所述,相对位置信息中可以关联地包括无人驾驶航空器100G11、100G12的识别信息和无人驾驶航空器100G11、100G12的相对位置信息。由此,在无人驾驶航空器100G11飞行期间或利用发送器50进行飞行操作期间,相对于基准位置RP等,飞行系统10可以规定哪个无人驾驶航空器100应该在哪个位置飞行。
接着,对形成飞行组的多台无人驾驶航空器100的排列确定示例进行说明。
图15是示出形成飞行组的多台无人驾驶航空器100的第一排列确定示例的示意图。
在图15中,以基准位置RP为中心位置,在基准位置RP周围对称地排列四个UAV图像G11、G12、G13、G14,也就是无人驾驶航空器100G11、100G12、100G13、100G14。在图15中,在边长为L3的正方形顶点处分别配置各无人驾驶航空器100G11、100G12、100G13、100G14。在图15中,对应于无人驾驶航空器100G11的UAV图像G11处于xy坐标的中心位置。无人驾驶航空器100G11可以是处理相对位置信息的便携式终端80利用所安装的发送器50对飞行控制进行指示的无人驾驶航空器100。第一排列确定示例可以是+y方向为飞行组前进时的行进方向。
图16是示出形成飞行组的多台无人驾驶航空器100的第二排列确定示例的示意图。
第二排列确定示例与第一排列确定示例基本相同,但图16中基准位置RP为xy坐标的中心位置。在图16中,无人驾驶航空器100G11相对于基准位置RP的位置为从+y方向向-x方向倾斜45°方向上相距(1/)×L3,相对位置信息中可以包括这一信息。相对位置信息中也可以包括无人驾驶航空器100G12、100G13、100G14各自相对于基准位置RP的位置。第二排列确定示例可以是+y方向为飞行组前进时的行进方向。
图17是示出形成飞行组的多台无人驾驶航空器100的第三排列确定示例的示意图。
和第二排列确定示例相比,第三排列确定示例的不同之处在于,各无人驾驶航空器100所具备的各摄像装置220或230的朝向不同,各摄像装置220或230进行拍摄的摄像方向不同。在图17中,相对位置处理部813可以确定多台无人驾驶航空器100的相对位置信息,同时,摄像信息处理部814可以确定多台无人驾驶航空器100各自的摄像方向信息。摄像信息处理部814可以基于形成飞行组的无人驾驶航空器100的台数,确定各无人驾驶航空器100的摄像方向信息。摄像信息处理部814可以事先将指定为同一飞行组的无人驾驶航空器100的台数保存到存储器87中,然后获取。例如,当形成飞行组的无人驾驶航空器100的台数为4台时,摄像信息处理部814计算出相差将1周即360度均匀地4等分即90度的摄像方向信息并确定。此外,摄像信息处理部814可以将从基准位置RP分别观察多台无人驾驶航空器100的方向视为无人驾驶航空器100各自的摄像方向,确定为摄像方向信息。
在图17中,无人驾驶航空器100G11以上方(例如飞行组前进时的行进方向)为摄像方向,无人驾驶航空器100G12以右方为摄像方向,无人驾驶航空器100G13以下方为摄像方向,无人驾驶航空器100G14以左方为摄像方向,确定摄像方向信息。
此外,摄像信息处理部814在确定各无人驾驶航空器100的摄像方向时,可以确定各无人驾驶航空器100所具备的各摄像装置220或230的视角信息。根据视角确定摄像范围。摄像信息处理部814可以基于形成飞行组的无人驾驶航空器100的台数,确定各无人驾驶航空器100所具备的各摄像装置220或230的视角信息。当形成飞行组的无人驾驶航空器100的台数为4台时,摄像信息处理部814计算出将1周即360度均匀地4等分即90度及以上作为视角信息并确定。
如果各无人驾驶航空器100依据该摄像方向及视角信息拍摄图像,可以获得飞行组周围360度的摄像图像。由此,图像处理装置(例如便携式终端80)获取这些摄像图像进行预定的图像处理,从而可以获得以飞行组周围为被摄体的全景图像及立体图像。
图18是示出形成飞行组的多台无人驾驶航空器100的第四排列确定示例的示意图。
第四排列确定示例与第三排列确定示例基本相同,但设想的形成飞行组的无人驾驶航空器100的台数为3台。此外,对应于UAV图像G11、G12、G13的无人驾驶航空器100G11、100G12、100G13分别排列在正三角形的顶点位置。因此,摄像信息处理部814可以计算出相差将1周即360度均匀地3等分即120度的摄像方向信息并确定。
在图18中,无人驾驶航空器100G11以上方(例如飞行组前进时的行进方向)为摄像方向,无人驾驶航空器100G12以沿顺时针方向使无人驾驶航空器100G11的摄像方向旋转120度后的方向为摄像方向,无人驾驶航空器100G13以沿顺时针方向使无人驾驶航空器100G12的摄像方向旋转120度后的方向为摄像方向,确定摄像方向信息。
摄像信息处理部814可以计算出将1周即360度均匀地3等分即120度及其以上的视角信息并确定。如果各无人驾驶航空器100拍摄图像,就可以获得飞行组周围360度的摄像图像。由此,图像处理装置(例如便携式终端80)获取这些摄像图像进行预定的图像处理,从而可以获得以飞行组周围为被摄体的全景图像及立体图像。
图19是示出形成飞行组的多台无人驾驶航空器100的第五排列确定示例的示意图。
如第五排列确定示例所示,可以相对于基准位置RP非对称地排列多台无人驾驶航空器100G11~100G14,确定相对位置信息。此外,也可以确定摄像方向信息使得无人驾驶航空器100G11~100G14的摄像方向不均等、不规则。
摄像信息处理部814也可以通过操作部83获取包括各无人驾驶航空器100的摄像方向、视角的摄像参数作为输入信息,而不是根据无人驾驶航空器100的台数进行确定。由此,在没有对称性之类,难以通过运算等统一地确定摄像方向、视角参数时,便携式终端80也可以对多台无人驾驶航空器100分别单个地确定摄像参数。
如上所述,不仅可以确定、设定具有对称性、均等性或规则性的相对位置信息、摄像方向等参数,也可以确定、设定具有非对称性、不均等性或不规则性的相对位置信息、摄像方向等参数。可以在飞行前分别对无人驾驶航空器100G11~100G14设定相对位置信息、摄像方向等参数并保存。由此,形成同一飞行组的无人驾驶航空器100G11~100G14可以分别一边维持所设定的相对位置信息、摄像参数所表示的摄像方向、视角,一边协同飞行。
以下,对飞行系统10的操作示例进行说明。
图20是示出飞行系统10的操作示例的流程图。
位置信息获取部812从多台无人驾驶航空器100中指定形成同一飞行组的多台无人驾驶航空器100(S11)。相对位置处理部813确定属于同一飞行组的多台无人驾驶航空器100的相对位置信息(S12)。摄像信息处理部814可以确定多台无人驾驶航空器100各自的摄像参数(例如摄像方向、视角信息)(S13)。无线通信部85或接口部82可以将确定信息(例如相对位置信息、摄像参数)发送至多台无人驾驶航空器100的每一个(S14)。
在多台无人驾驶航空器100的每一个中,通信接口150接收来自便携式终端80的确定信息(S15)。UAV控制部110通过接收到的确定信息保存到存储器160中,从而设定确定信息(S16)。由此设定相对位置信息及摄像参数。在多台无人驾驶航空器100协同飞行前,对各无人驾驶航空器100设定(保存到存储器160)相对位置信息即可。
另外,S14中例示了通过便携式终端80发送确定信息的情况,也可以利用其他方法输出确定信息。例如,处理器81可以对任意记录介质记录确定信息。这种情况下,即便无人驾驶航空器100和便携式终端80之间无法通信,也能通过记录介质对各无人驾驶航空器100设定确定信息。
通过便携式终端80,在无人驾驶航空器100飞行期间利用发送器50对飞行控制进行指示时,可以确定属于飞行组的多台无人驾驶航空器100的相对位置信息。可以对无人驾驶航空器100设定该经确定的信息。便携式终端80通过由发送器50对无人驾驶航空器100进行飞行操作,即便是事先未设定的飞行路线或飞行位置,多台无人驾驶航空器100也能够协同飞行。即便在无人驾驶航空器100协同飞行时,便携式终端80也能利用发送器50实时地指定飞行路线等,可以提高协同飞行时无人驾驶航空器的自由度。此外,通过将相对位置信息提供给飞行组的各无人驾驶航空器100,便携式终端80可以利用一个发送器50使多台无人驾驶航空器协同飞行。
此外,通过飞行系统10,在无人驾驶航空器100飞行期间利用发送器50对飞行控制进行指示时,可以确定属于飞行组的多台无人驾驶航空器100的相对位置信息。可以对无人驾驶航空器100设定该经确定的信息。飞行系统10通过由发送器50对无人驾驶航空器100进行飞行操作,即便是事先未设定的飞行路线或飞行位置,多台无人驾驶航空器100也能够协同飞行。由此,即便在无人驾驶航空器100协同飞行时,飞行系统10也能利用发送器50实时地指定飞行路线等,可以提高协同飞行时无人驾驶航空器的自由度。此外,通过将相对位置信息提供给飞行组的各无人驾驶航空器100,飞行系统10可以利用一个发送器50使多台无人驾驶航空器协同飞行。
以上说明了便携式终端80利用GPS等检测位于预定区域的多台无人驾驶航空器100的位置信息,并显示于显示屏88中,再通过触控操作或拖动操作对UAV图像G11~G13等的相对位置关系进行调整。取而代之,相对位置处理部813也可以根据多台无人驾驶航空器100各自中利用GPS等检测出的多个位置信息(绝对位置信息),计算出这些多个位置信息之间的差分,并将该差分确定为多台无人驾驶航空器100的相对位置信息。
也就是说,便携式终端80可以根据GPS等所获取的位置信息,不经由操作部83的操作便能确定多台无人驾驶航空器100的相对位置信息。因此,不需要开展特别操作以确定相对位置信息,用户的便利性得到了提升。
另外,发送器50也可以具有便携式终端80所具有的功能。这种情况下,也可以省略发送器50。此外,便携式终端80也可以具有发送器50所具有的功能。这种情况下,也可以省略发送器50。
(第二实施方式)
在第二实施方式中,设想为形成飞行组的多台无人驾驶航空器考虑到所设定的相对位置信息,依照发送器的操作信号进行飞行。相对位置信息可以是第一实施方式中所说明的相对位置信息。
图21是示出第二实施方式中的飞行系统10A的配置示例的示意图。飞行系统10A包括无人驾驶航空器100A、发送器50A和便携式终端80A。无人驾驶航空器100A、发送器50A和便携式终端80A互相之间可以通过有线通信或无线通信(例如,无线LAN(Local AreaNetwork))进行通信。在第二实施方式中,对于和第一实施方式相同的配置及操作,省略或简化说明。
图22是示出无人驾驶航空器100A的硬件配置的一个示例的框图。和第一实施方式中的无人驾驶航空器100相比,无人驾驶航空器100A具备存储器160A代替存储器160。在图22的无人驾驶航空器100A中,对于和图4的无人驾驶航空器100相同的配置赋予相同的符号,并省略或简化其说明。
存储器160A具有存储器160的功能,并保存协同控制信息CC。协同控制信息CC包括用于确保属于同一飞行组的多台无人驾驶航空器100A协同飞行的控制信息。协同控制信息CC包括属于同一飞行组的多台无人驾驶航空器100A的相对位置信息。该相对位置信息可以包括表示基准位置RP与各无人驾驶航空器100A之间的距离的距离信息。该相对位置信息可以包括表示从基准位置RP观察到的各无人驾驶航空器100A所在方向的方向信息。协同控制信息CC可以包括摄像参数(例如摄像方向信息、视角信息)。在多台无人驾驶航空器100A通过发送器50的飞行操作进行协同飞行前,将协同控制信息CC保存到存储器160A中。
存储器160A可以保存关于同一飞行组的多个不同的协同控制信息CC。也就是说,存储器160A可以保存关于同一飞行组的多个不同的相对位置信息。
图23是示出UAV控制部110A的功能配置的一个示例的框图。UAV控制部110A具备信号获取部111、第一相对位置获取部112、第一绝对位置获取部113、第二绝对位置获取部114、摄像图像获取部115、第二相对位置获取部116、视角信息获取部117、动作模式设定部118、飞行控制部119以及摄像控制部120。
信号获取部111是第一获取部的一个示例。第一相对位置获取部112是第一获取部的一个示例。第一绝对位置获取部113是计算部的一个示例。第二绝对位置获取部114是第二获取部的一个示例。第二相对位置获取部116是计算部的一个示例。摄像图像获取部115是第一获取部的一个示例。视角信息获取部117是第一获取部的一个示例。飞行控制部119是控制部的一个示例。摄像控制部120是控制部的一个示例。
信号获取部111获取各种信号。信号获取部111可以经由通信接口150获取来自发送器50A的指示信号。指示信号可以是指示无人驾驶航空器100A的飞行控制的信号。指示信号可以包括用于使无人驾驶航空器100A上升或下降的节流阀指示信息。指示信号可以包括用于使无人驾驶航空器100A前进或后退的俯仰指示信息。指示信号可以包括用于使无人驾驶航空器100A向右行进(也称为“右进”)或向左行进(也称为“左进”)的滚转指示信息。指示信号可以包括用于使无人驾驶航空器100A向右回旋或向左回旋的方向舵指示信息(回旋指示信息的一个示例)。
第一相对位置获取部112获取属于同一飞行组的多台无人驾驶航空器100A的相对位置信息。第一相对位置获取部112可以从存储器160获取相对位置信息。第一相对位置获取部112可以经由通信接口150,从外部装置(例如发送器50A)获取相对位置信息。
相对位置信息可以包括以飞行组中的基准位置RP为基准的、无人驾驶航空器100A(本机)相对于基准位置RP的相对位置信息。相对位置信息可以包括其他无人驾驶航空器100A(其他机)相对于基准位置RP的相对位置信息。和第一实施方式一样,基准位置RP可以是包含于同一飞行组的多台无人驾驶航空器100A的中间位置、中心位置、重心位置或其他作为基准的位置。
相对位置信息可以包括以飞行组中的任意无人驾驶航空器100A为基准,无人驾驶航空器100A(本机)相对于该任意无人驾驶航空器100A的相对位置信息。也就是说,可以将任意无人驾驶航空器100A的所在位置设为基准位置RP。相对位置信息可以包括以飞行组中的任意无人驾驶航空器100A为基准的、其他无人驾驶航空器100A(其他机)相对于该任意无人驾驶航空器100A的相对位置信息。
包括本机的相对位置信息及其他机的相对位置信息时,第一相对位置获取部112可以参照与相对位置信息相关联的无人驾驶航空器100A的识别信息,识别并获取本机的相对位置信息。
第一绝对位置获取部113可以根据基准位置RP的位置信息以及无人驾驶航空器100A相对于基准位置的相对位置信息,生成(例如计算)无人驾驶航空器100A的位置信息(绝对位置信息)(第二飞行位置信息的一个示例)。基准位置的位置信息可以包含在来自发送器50A的指示信息中,也可以作为以往的计算结果保存在存储器160中。
第二绝对位置获取部114可以获取通过GPS接收器240而获取的无人驾驶航空器100A的位置信息(第一飞行位置信息的一个示例)。第二绝对位置获取部114也可以获取除GPS接收器240以外而获取的无人驾驶航空器100A的位置信息。
摄像图像获取部115可以获取由无人驾驶航空器100A的摄像装置220或230拍摄的摄像图像。可以通过通信接口150,获取由其他无人驾驶航空器100A的摄像装置220或230拍摄的摄像图像。摄像图像获取部115可以获取保存在存储器160中的摄像图像。保存在存储器160中的摄像图像可以是由无人驾驶航空器100A拍摄的摄像图像,也可以是由其他无人驾驶航空器100A拍摄的摄像图像。
第二相对位置获取部116获取与任意物体(例如其他无人驾驶航空器100A)之间的相对位置信息。第二相对位置获取部116可以获取表示与任意物体之间的距离的距离信息。第二相对位置获取部116可以获取由超声波传感器280所获得的距离信息。第二相对位置获取部116可以获取由激光测量仪290所获得的距离信息。
第二相对位置获取部116可以从摄像图像获取部115获取摄像图像。第二相对位置获取部116可以基于摄像图像,计算并获取无人驾驶航空器100A相对于摄像图像中所包含的特定物体(例如其他无人驾驶航空器100A)的相对位置信息。第二相对位置获取部116可以提取特定物体相对于摄像图像的尺寸,从而计算出与特定物体之间的距离,获取距离信息。如果预先将特定物体的实际尺寸信息保存于存储器160等中,就可以获取距离信息。第二相对位置获取部116可以根据摄像图像中映射有特定物体的区域的位置,计算并获取特定物体相对于无人驾驶航空器100A所在的方向。
第二相对位置获取部116使用所获取的多个摄像图像作为立体图像,计算出与映射在多个摄像图像中的特定物体之间的距离信息。这种情况下,即便特定物体的实际尺寸不明,也可以获取距离信息。例如,设定属于同一飞行组的3台无人驾驶航空器100A中,前方有1台、后方有2台无人驾驶航空器飞行。这种情况下,通过后方2台无人驾驶航空器100A对前方1台无人驾驶航空器100A进行拍摄,第二相对位置获取部116可以依据例如三角法,获取前方1台无人驾驶航空器100A相对于后方2台无人驾驶航空器100A的相对位置信息(例如距离、方向信息)。
视角信息获取部117可以从无人驾驶航空器100A所具备的摄像装置220或230获取摄像装置220或230的视角信息。视角信息获取部117可以通过通信接口150,从其他无人驾驶航空器100A获取其他无人驾驶航空器100A所具备的摄像装置220或230的视角信息。
动作模式设定部118设定无人驾驶航空器100A飞行期间的动作模式。动作模式可以包括无人驾驶航空器100A单独飞行的单体动作模式。单体动作模式下1台无人驾驶航空器100A基于从发送器50A获取的指示信号,单独飞行。动作模式可以包括包含于同一飞行组的多台无人驾驶航空器100A协同飞行的协同动作模式。协同动作模式下,同一飞行组的多台无人驾驶航空器100A基于从一个发送器50A获取的指示信号,协同飞行。
因此,无人驾驶航空器100A可以根据动作模式设定为协同动作模式或是单体动作模式,来确定多台无人驾驶航空器100A飞行时是否进行协同飞行。动作模式可以通过例如无人驾驶航空器100的操作部(未图示)设定,也可以根据来自发送器50A的指示信息进行设定。
协同动作模式可以包括用于使属于同一飞行组的多台无人驾驶航空器100A进行回旋(旋转)的回旋模式。回旋模式可以包括多个回旋模式,表示回旋的形态。
第一回旋模式可以是使各无人驾驶航空器100A和基准位置RP的距离固定,以基准位置RP为中心,各无人驾驶航空器100A回旋的回旋模式。也就是说,第一回旋模式可以改变各无人驾驶航空器100A的绝对位置,然后再进行回旋。
第二回旋模式可以是使各无人驾驶航空器100A的位置固定,以各无人驾驶航空器100A为中心,各无人驾驶航空器100A回旋的回旋模式。也就是说,第二回旋模式下各无人驾驶航空器100A进行回旋而绝对位置不会改变。
飞行控制部119使属于同一飞行组的多台无人驾驶航空器100A的相对位置关系固定而控制无人驾驶航空器100A(本机)的飞行。飞行控制部119可以使无人驾驶航空器100A相对于基准位置RP的相对位置关系固定而控制无人驾驶航空器100A(本机)的飞行。这种情况下,属于飞行组的各无人驾驶航空器100A相对于基准位置RP的相对位置关系固定,因此,属于飞行组的多台无人驾驶航空器100A整体的相对位置关系也固定。
相对位置关系固定可以包括不变更无人驾驶航空器100A相对于基准位置RP的距离,维持不变。相对位置关系固定也可以包括不变更摄像装置220或230相对于基准方向(例如飞行组前进时的行进方向)的摄像方向,维持不变。
飞行控制部119基于来自发送器50A的指示信号,维持各无人驾驶航空器100A的相对位置关系不变,控制无人驾驶航空器100A的飞行。因此,飞行控制部119可以基于来自发送器50A的节流阀指示信息,维持各无人驾驶航空器100A的相对位置关系不变,进行上升或下降的飞行控制。飞行控制部119可以基于来自发送器50A的俯仰指示信息,维持各无人驾驶航空器100A的相对位置关系不变,进行前进或后退的飞行控制。飞行控制部119也可以基于来自发送器50A的滚转指示信息,维持各无人驾驶航空器100A的相对位置关系不变,进行右进或左进的飞行控制。飞行控制部119也可以基于来自发送器50A的方向舵指示信息,维持各无人驾驶航空器100A的相对位置关系不变,进行右回旋或左回旋的飞行控制。
关于基于来自发送器50A的指示信号控制无人驾驶航空器100A飞行的控制量,多台无人驾驶航空器100A各自的控制量可以相同。例如,各无人驾驶航空器100A收到方向舵指示信息时,各无人驾驶航空器100A进行回旋的回旋量或回旋角度可以相同。
当动作模式设定为协同动作模式时,飞行控制部119可以使属于同一飞行组的多台无人驾驶航空器100A的相对位置关系固定而控制无人驾驶航空器100A的飞行。当动作模式没有设定为协同动作模式时,飞行控制部119可以不固定该相对位置关系,控制无人驾驶航空器100A的飞行。
当动作模式设定为协同动作模式时,飞行控制部119可以根据回旋模式设定为哪个回旋模式来变更属于同一飞行组的各无人驾驶航空器100A的回旋方式。
第一回旋模式下,飞行控制部119可以实施控制,使各无人驾驶航空器100A和基准位置RP的距离固定,以基准位置RP为中心,各无人驾驶航空器100A进行回旋。也就是说,飞行控制部119在第一回旋模式下可以改变各无人驾驶航空器100A的位置,进而使各无人驾驶航空器100A回旋。
第二回旋模式下,飞行控制部119可以实施控制,使各无人驾驶航空器100A的位置固定,以各无人驾驶航空器100A为中心,各无人驾驶航空器100A进行回旋。也就是说,在第二回旋模式下,飞行控制部119可以不改变各无人驾驶航空器100A的绝对位置,使各无人驾驶航空器100A回旋。
飞行控制部119可以基于关于同一飞行组的多个不同的相对位置信息,对多台无人驾驶航空器100A进行飞行控制为不同的相对位置关系。因此,无人驾驶航空器100A可以通过变更所使用的相对位置信息来变更多台无人驾驶航空器100A的相对位置关系。
当动作模式设定为协同动作模式时,摄像控制部120可以基于属于同一飞行组的无人驾驶航空器100A的台数,控制无人驾驶航空器100A所具备的摄像装置220或230的视角。属于同一飞行组的无人驾驶航空器100A的台数信息可以预先保存在存储器160中。摄像控制部120可以从存储器160获取该无人驾驶航空器100A的台数信息。
摄像控制部120可以获取保存在存储器160中的摄像参数所包含的视角信息,基于视角信息,控制摄像装置220或230的视角。
摄像控制部120可以计算出摄像装置220或230的视角并获取。例如,当形成同一飞行组的无人驾驶航空器100A的台数为4台时,摄像控制部120可以计算出将1周即360度均匀地4等分即90度及其以上作为4台无人驾驶航空器100A各自的视角。这种情况下,摄像控制部120可以实施控制,使4台无人驾驶航空器100A各自的视角在90度以上。例如,当形成同一飞行组的无人驾驶航空器100A的台数为3台时,摄像控制部120可以将1周即360度均匀地3等分计算出120度及其以上作为3台无人驾驶航空器100A各自的视角。这种情况下,摄像控制部120可以实施控制,使3台无人驾驶航空器100A各自的视角在120度以上。
当动作模式设定为协同动作模式时,摄像控制部120可以基于属于同一飞行组的无人驾驶航空器100A的台数,控制无人驾驶航空器100A所具备的摄像装置220或230的摄像方向。
摄像控制部120可以获取保存在存储器160中的摄像参数所包含的摄像方向信息,基于摄像方向信息,控制摄像装置220或230的摄像方向。
摄像控制部120可以计算出摄像装置220或230的摄像方向并获取。例如,当形成同一飞行组的无人驾驶航空器100A的台数为4台时,摄像控制部120可以计算获取各自相差将1周即360度均匀地4等分即90度的摄像方向。当形成同一飞行组的无人驾驶航空器100A的台数为3台时,摄像控制部120可以计算并获取各自相差将1周即360度均匀地3等分即120度的摄像方向。摄像控制部120可以控制摄像装置220或230的摄像方向成为计算出的摄像方向。
摄像控制部120可以控制摄像方向,使得从飞行组的基准位置RP观察到多台无人驾驶航空器100A的各个位置的方向为无人驾驶航空器100A各自的摄像方向。
图24是示出便携式终端80A的功能配置的一个示例的框图。处理器81A执行保存于存储器87中的程序,因此,便携式终端80A具有摄像图像获取部816及图像处理部817的功能。
摄像图像获取部816获取由形成同一飞行组的多台无人驾驶航空器100A各自所拍摄的各个摄像图像。摄像图像获取部816可以通过接口部82或无线通信部85,获取各个摄像图像。
图像处理部817对摄像图像获取部816所获取的多个摄像图像进行任意的图像处理。图像处理部817可以基于多个摄像图像,生成全景图像或立体图像。图像处理部817可以通过合成摄像方向不同的多个摄像图像来生成全景图像。利用多个图像覆盖360度全方位时,图像处理部817可以生成全方位的全景图像。多个摄像图像所包含的摄像方向相邻的两个摄像图像有一部分摄像范围重复时,图像处理部817可以生成立体图像。相邻的两个摄像图像有一部分摄像范围重复,利用多个图像覆盖360度全方位时,图像处理部817可以生成全方位的立体图像。
另外,也可以在便携式终端80A以外的装置中进行基于摄像图像生成全景图像或立体图像等的图像处理。也可以利用发送器50A、任一个或一个以上无人驾驶航空器100A、PC(Personal Computer,个人计算机)(未图示)来进行该图像处理。例如,在各无人驾驶航空器100A飞行期间,由各无人驾驶航空器100A拍摄的摄像图像可以保存在作为各无人驾驶航空器100A所具备的存储器160的SD卡中。可以在各无人驾驶航空器100A着陆后,将保存在SD卡中的多个摄像图像导入PC等中,进行图像处理。
接着,对旋翼211相应于来自发送器50A的指示信号类型的旋转方法进行说明。
飞行控制部119基于来自发送器50A的指示信号,控制无人驾驶航空器100A的飞行。这种情况下,飞行控制部119可以控制各旋翼211的转速(单位时间的转速)。
图25是用于说明旋翼211相应于来自发送器50A的指示信号类型的旋转方法的图。如图24所示,在从上方观察无人驾驶航空器100A的俯视时,相对于UAV主体102,安装有电池103方向的相反方向(箭头α方向)为无人驾驶航空器100A前进时的行进方向。无人驾驶航空器100A前进时的行进方向。四个旋翼211可以包括旋翼211a、211b、211c、211d。旋翼211a、211b可以沿逆时针方向旋转,旋翼211b、211b可以沿逆时针方向旋转。来自发送器50A的指示信号可以包括节流阀指示信息、俯仰指示信息、滚转指示信息以及方向舵指示信息中的至少一个。
如果收到节流阀指示信息,飞行控制部119会控制四个旋翼211a、211b、211c、211d的转速。节流阀指示信息可以包括上升指示信息和下降指示信息。如果收到上升指示信息,飞行控制部119会增大四个旋翼211a~211d的转速。如果四个旋翼211a~211d的转速增大,无人驾驶航空器100A就会上升。如果收到下降指示信息,飞行控制部119会减小四个旋翼211a~211d的转速。如果四个旋翼211a~211d的转速减小,无人驾驶航空器100A就会下降。
如果收到俯仰指示信息,飞行控制部119可以控制位于无人驾驶航空器100A后方的旋翼211a、211b或者位于无人驾驶航空器100A前方的旋翼211c、211d的转速。俯仰指示信息可以包括前进指示信息和后退指示信息。如果收到前进指示信息,飞行控制部119会增大两个旋翼211a、211b的转速。如果两个旋翼211a、211b的转速增大,无人驾驶航空器100A就会沿箭头α方向前进。如果收到后退指示信息,飞行控制部119会增大两个旋翼211c、211d的转速。如果两个旋翼211c、211d的转速增大,无人驾驶航空器100A就会后退。
如果收到滚转指示信息,飞行控制部119可以控制位于无人驾驶航空器100A左侧的旋翼211a、211c或者位于无人驾驶航空器100A右侧的旋翼211b、211d的转速。滚转指示信息可以包括右进指示信息和左进指示信息。如果收到右进指示信息,飞行控制部119会增大两个旋翼211a、211c的转速。如果两个旋翼211a、211c的转速增大,无人驾驶航空器100A就会右进。如果收到左进指示信息,飞行控制部119会增大两个旋翼211b、211d的转速。如果两个旋翼211b、211d的转速增大,无人驾驶航空器100A就会左进。
如果收到方向舵指示信息,飞行控制部119可以控制位于无人驾驶航空器100A的对角线上的旋翼211a、211d或者旋翼211b、211c的转速。方向舵指示信息可以包括右回旋指示信息和左回旋指示信息。如果收到右回旋指示信息,飞行控制部119会增大两个旋翼211b、211c的转速。如果两个旋翼211b、211c的转速增大,无人驾驶航空器100A就会右回旋。如果收到左回旋指示信息,飞行控制部119会增大两个旋翼211a、211d的转速。如果两个旋翼211a、211d的转速增大,无人驾驶航空器100A就会左回旋。
接着,对多台无人驾驶航空器100A的相对位置关系的维持方法进行说明。
飞行控制部119可以控制无人驾驶航空器100A的飞行使得保存(设定)在存储器160中的协同控制信息CC中所包含的相对位置信息和第二相对位置获取部116所获取的相对位置信息一致。
协同控制信息CC中所包含的相对位置信息是飞行前所获得的信息,也可以称之为协同飞行时相对位置信息的预测值。利用第二相对位置获取部116获取的相对位置信息是根据飞行期间的某些信息而获得的信息,也可以称之为实际协同飞行时的相对位置信息的实测值。
利用第二相对位置获取部116获取的相对位置信息可以是根据从无人驾驶航空器100A对其他无人驾驶航空器100A的方向进行拍摄所得摄像图像而获取的信息。
飞行控制部119可以进行反馈,控制飞行使得通过摄像图像而获得的无人驾驶航空器100A与其他无人驾驶航空器100A之间的距离信息、方向信息固定。由此,可以将距离信息、方向信息维持为固定,维持无人驾驶航空器100A与其他无人驾驶航空器100A之间的相对位置关系。此外,由于使用摄像图像,因此,只需设置摄像装置220或230,不需要设置特殊传感器(例如GPS接收器240、超声波传感器280、激光测量仪290)以维持相对位置关系。
协同控制信息CC中所包含的相对位置信息可以是无人驾驶航空器100A与其他无人驾驶航空器100A之间的距离信息。利用第二相对位置获取部116获取的相对位置信息可以是无人驾驶航空器100A与其他无人驾驶航空器100A之间的距离信息。也就是说,飞行控制部119可以控制无人驾驶航空器100A的飞行使得协同控制信息CC中所包含的距离信息和第二相对位置获取部116所获取的距离信息一致。
协同控制信息CC中所包含的距离信息是飞行前所获得的信息,也可以称之为协同飞行时距离信息的预测值。利用第二相对位置获取部116获取的距离信息是根据飞行期间的某些信息而获得的信息,也可以称之为实际协同飞行时的距离信息的实测值。
飞行控制部119可以进行反馈,控制飞行使得通过超声波传感器280或激光测量仪290而获得的无人驾驶航空器100A与其他无人驾驶航空器100A之间的距离信息固定。由此,可以将距离信息维持为固定,维持无人驾驶航空器100A与其他无人驾驶航空器100A之间的相对位置关系。此外,通过使用超声波传感器280或激光测量仪290,无人驾驶航空器100A可以获取更高精度的距离信息。
飞行控制部119可以控制无人驾驶航空器100A的飞行使得利用第一绝对位置获取部113而获取的无人驾驶航空器100A的位置信息和利用第二绝对位置获取部114而获取的无人驾驶航空器100A的位置信息一致。
利用第一绝对位置获取部113获取的无人驾驶航空器100A的位置信息是飞行前所获得的信息,也可以称之为协同飞行时无人驾驶航空器100A的绝对位置信息的预测值。利用第二相对位置获取部116获取的无人驾驶航空器100A的位置信息是根据飞行期间的某些信息而获得的信息,也可以称之为实际协同飞行时无人驾驶航空器100A的绝对位置信息的实测值。
飞行控制部119可以进行反馈,控制飞行使得通过GPS接收器240等而获取的无人驾驶航空器100A的位置信息与基于飞行前的相对位置信息而得出的无人驾驶航空器100A的位置信息一致。由此,可以维持无人驾驶航空器100A与其他无人驾驶航空器100A之间的相对位置关系。此外,GPS接收器240等的安装相对容易,轻松便能维持相对位置关系。
飞行控制部119可以控制无人驾驶航空器100A的飞行,维持利用视角信息获取部117而获取的无人驾驶航空器100A(本机)的视角信息和其他无人驾驶航空器100A(其他机)的视角信息的差分。
如果相对位置关系发生变化,则例如多台无人驾驶航空器100A各自所具备的各个摄像装置220或230拍摄同一被摄体时的视角发生变化。因此,各个摄像装置220或230的视角差分发生变化。为了确保该视角差分固定,飞行控制部119可以通过在无人驾驶航空器100A飞行时进行反馈控制来维持多台无人驾驶航空器100A的相对位置关系。此外,由于使用摄像装置220或230所具有的视角信息,因此,不需要设置特殊传感器(例如GPS接收器240、超声波传感器280、激光测量仪290)以维持相对位置关系。
接着,对维持相对位置关系的多台无人驾驶航空器100A的飞行形态进行说明。
图26是示出形成飞行组的多台无人驾驶航空器100A与位于基准位置RP的虚拟机100v的一个示例的示意图。在图26中,作为多台无人驾驶航空器100A,示出了2台无人驾驶航空器100r1、100r2。虚拟机100v表示位于基准位置RP的虚拟的无人驾驶航空器。虚拟直线VL1、VL2是分别虚拟地连结基准位置RP即虚拟机100v与无人驾驶航空器100r1、100r2的直线。
在图26中,相对于基准位置RP,2台无人驾驶航空器100r1、100r2对称排列。因此,连结基准位置RP和无人驾驶航空器100r1的虚拟直线VL1与连结基准位置RP和无人驾驶航空器100r2的虚拟直线VL2为一条直线。另外,多条虚拟直线VL1、VL2也可以不是一条直线。
在图26中,飞行组各无人驾驶航空器100r1、100r2前进时的行进方向均为箭头α1所示的上方。飞行组的行进方向可以根据来自发送器50A的指示信号进行变更。
另外,在图26中,各无人驾驶航空器100A(例如无人驾驶航空器100r1、100r2)内绘制的箭头ar表示摄像装置220或230的朝向,也就是摄像方向。以下相同。
由发送器50A对各无人驾驶航空器100r1、100r2的飞行控制进行指示。发送器50A以虚拟机100v的绝对位置为基准,将指示信号提供给各无人驾驶航空器100r1、100r2。各无人驾驶航空器100A可以固定相对于基准位置RP即虚拟机100v的相对位置关系,同时根据来自发送器50A的指示信号,控制飞行。由于相对位置关系固定,因此,不会变更虚拟直线VL的长度,也不会变更各无人驾驶航空器100r1、100r2相对于基准位置RP的位置关系,对各无人驾驶航空器100r1、100r2进行飞行控制。
在各无人驾驶航空器100r1、100r2中,即便来自发送器50A的指示信号包括任一关于飞行的指示信息(例如节流阀指示信息、俯仰指示信息、滚转指示信息、方向舵指示信息),飞行控制部119仍会维持协同飞行的多台无人驾驶航空器100r1、100r2的相对位置关系不变,使其固定,并根据来自发送器50A的指示信息来控制飞行。由此,各无人驾驶航空器100r1、100r2可以基于来自一个发送器50A的指示信号,进行协同飞行。发送器50A能够以对一台虚拟机100v进行操作的感觉,容易地对多台无人驾驶航空器100r1、100r2的飞行控制进行指示。
图27是示出动作模式设定为协同模式且第一回旋模式时各无人驾驶航空器100A的回旋示例的示意图。
第一回旋模式下,使各无人驾驶航空器100r1、100r2和基准位置RP的距离固定,以基准位置RP为中心,各无人驾驶航空器100r1、100r2进行回旋。也就是说,虚拟直线VL以基准位置RP为中心进行回旋,位于虚拟直线VL1、VL2端部epl、ep2的各无人驾驶航空器100r1、100r2也随之回旋。从发送器50A侧来看,发送器50A对虚拟机100v发送方向舵指示信息,各无人驾驶航空器100r1、r2接收方向舵指示信息,基于方向舵指示信息,固定相对位置关系并回旋。
在图27中,飞行组各无人驾驶航空器100r1、100r2的行进方向均为箭头α2所示的左上方向。也就是说,飞行组各无人驾驶航空器100r1、100r2的行进方向可以根据来自发送器50A的方向舵指示信息,由箭头α1变更为箭头α2。
根据第一回旋模式下的回旋,协同飞行的多台无人驾驶航空器100A可以按虚拟直线VL旋转的方式回旋。这种情况下,行进方向α2和虚拟直线VL1、VL2所成的角度不改变。因此,即便各无人驾驶航空器100r1、100r2回旋,利用各无人驾驶航空器100r1、100r2拍摄的摄像范围的位置关系也不会改变。由此,根据由无人驾驶航空器100r1、100r2拍摄的多个摄像图像生成全景图像时,摄像图像的位置关系不会因参与全景图像的无人驾驶航空器100r1、100r2而改变。因此,发送器50A的操作者可以按照虚拟机100v回旋的同等间隔操作多台无人驾驶航空器100A,而该虚拟机100v具备一台摄像范围广的摄像装置。
图28是示出动作模式设定为协同模式且第二回旋模式时各无人驾驶航空器100A的回旋示例的示意图。
第二回旋模式下,使各无人驾驶航空器100r1、100r2的位置固定,以各无人驾驶航空器100A为中心,各无人驾驶航空器100r1、100r2进行回旋。即,可以说虚拟直线VL不回旋,位于虚拟直线VL端部ep1、ep2的各无人驾驶航空器100r1、100r2在该端部ep1、ep2回旋。由于虚拟直线VL不回旋,因此,仅根据方向舵指示信息,各无人驾驶航空器100r1、100r2的绝对位置不改变。从发送器50A侧来看,发送器50A对虚拟机100v发送方向舵指示信息,各无人驾驶航空器100r1、100r2接收方向舵指示信息,基于方向舵指示信息,固定相对位置关系并回旋。
在图28中,飞行组各无人驾驶航空器100r1、100r2的行进方向均为箭头α3所示的左上方向。也就是说,飞行组各无人驾驶航空器100r1、100r2的行进方向可以根据来自发送器50A的方向舵指示信息,由箭头α1变更为箭头α3。
根据第二回旋模式下的回旋,飞行系统10A可以使协同飞行的多台无人驾驶航空器100A回旋而虚拟直线VL不旋转。因此,和第一回旋模式相比,第二回旋模式下多台无人驾驶航空器100A基于方向舵指示信息飞行的飞行范围变窄。换言之,第一回旋模式下虚拟直线VL以基准位置RP为中心进行旋转,由此,飞行组的各无人驾驶航空器100A的飞行轨迹例如为圆形,圆形内侧即为回旋时所需要的飞行范围。而在第二回旋模式下,虚拟直线VL所示的直线范围成为回旋时所需要的飞行范围。因此,即便多台无人驾驶航空器100A在例如相对较窄的空间内行进,各无人驾驶航空器100A也可以依据方向舵指示信息飞行。
图29是示出形成飞行组的3台无人驾驶航空器100r1、100r2、100r3飞行时的第一排列示例的示意图。
在图29中,3台无人驾驶航空器100r1~100r3与基准位置RP的距离相等地排列在相当于正三角形各顶点的位置。分别连结基准位置RP和3台无人驾驶航空器100r1~100r3的各虚拟直线表示为虚拟直线VL1、VL2、VL3。3台无人驾驶航空器100r1~100r3位于各虚拟直线VL1~VL3的端部ep1、ep2、ep3。在图29中,飞行组各无人驾驶航空器100r1~100r3的行进方向均为箭头α4所示的左上方向。
在图29中,各无人驾驶航空器100r1~100r3的摄像方向以基准位置RP为起点,和虚拟直线VL1~VL3的延伸方向一致。因此,各摄像方向均等地相差120度。各无人驾驶航空器100r1~100r3的摄像方向可以通过无人驾驶航空器100r1~100r3各自的摄像控制部120进行设定。此外,各无人驾驶航空器100r1~100r3所具备的摄像装置220或230的视角可以设定为120度以上。
各无人驾驶航空器100r1~100r3可以分别将无人驾驶航空器100r1~100r3各自的摄像装置220或230所拍摄的摄像图像发送给便携式终端80A。便携式终端80A可以接收来自各无人驾驶航空器100r1~100r3的摄像图像。
便携式终端80A可以获取以相差120度的摄像方向、120度以上的视角所拍摄的多个摄像图像。这种情况下,可以基于无人驾驶航空器100r1~100r3中的至少2台所拍摄的摄像图像,生成全景图像。便携式终端80A可以基于无人驾驶航空器100r1~100r3所拍摄的摄像图像,生成全方位全景图像。
另外,可以基于属于同一飞行组的无人驾驶航空器100A的台数,确定属于该飞行组的多台无人驾驶航空器100A的排列,以确保能够生成全景图像。也就是说,第一相对位置获取部112可以基于无人驾驶航空器100A的台数,自动排列各无人驾驶航空器100A。这种情况下,各无人驾驶航空器100A的第一相对位置获取部112可以确定各无人驾驶航空器100A分别相对于基准位置RP的配置位置。例如,各无人驾驶航空器100A的第一相对位置获取部112可以按照无人驾驶航空器100A的识别编号顺序,相对于基准位置RP等距离、等角度地配置各无人驾驶航空器100。这种情况下,可以在以基准位置RP为重心的正三角形的顶点位置配置各无人驾驶航空器100r1~100r3。
图30是示出图29所示的3台无人驾驶航空器100r1、100r2、100r3在第一回旋模式下的回旋示例的示意图。
在图30中,使各无人驾驶航空器100r1、100r2、100r3和基准位置RP的距离固定,以基准位置RP为中心,各无人驾驶航空器100r1~100r3进行回旋。也就是说,虚拟直线VL1、VL2、VL3以基准位置RP为中心进行回旋,位于虚拟直线VL1~VL3端部ep1、ep2、ep3的各无人驾驶航空器100r1~100r3也随之回旋。也就是说,即便3台以上无人驾驶航空器100A形成飞行组时,各无人驾驶航空器100A也能按照第一回旋模式进行回旋。在图30中,飞行组各无人驾驶航空器100r1~100r3的回旋行进方向均为箭头α5所示的左上方向。
另外,虽然省略了详细说明,但和第一回旋模式一样,即便3台以上无人驾驶航空器100A形成飞行组时,各无人驾驶航空器100A也能按照第二回旋模式进行回旋。
图31是示出形成飞行组的5台无人驾驶航空器100r1、100r2、100r3、100r4、100r5飞行时的排列示例的示意图。
在图31中,以基准位置RP为基准,配置5台无人驾驶航空器100r1~100r5。分别利用虚拟直线VL1、VL2、VL3、VL4、VL5连接各无人驾驶航空器100r1~100r5和基准位置RP。
同一飞行组中位于前方(各无人驾驶航空器100r1~100r5前进时的行进方向α6)的2台无人驾驶航空器100r1、100r2的摄像方向为前方(上方)。同一飞行组中位于前方以外的3台无人驾驶航空器100r3、100r4、100r5的摄像方向分别相差90度。具体而言,在图31中,无人驾驶航空器100r3的摄像方向为右方,无人驾驶航空器100r4的摄像方向为后方(下方),无人驾驶航空器100r5的摄像方向为左方。此外,各无人驾驶航空器100r1~100r5可以将各机所具备的摄像装置220或230的视角设定为90度以上。各摄像方向及各视角可以通过无人驾驶航空器100r1~100r5所具备的摄像控制部120进行设定。
各无人驾驶航空器100r1~100r5可以分别将由无人驾驶航空器100r1~100r5各自的摄像装置220或230拍摄的摄像图像发送给便携式终端80A。便携式终端80A可以接收来自各无人驾驶航空器100r1~100r5的摄像图像。
无人驾驶航空器100r1、100r2的摄像装置220或230的摄像范围可以有部分重复。便携式终端80A可以基于无人驾驶航空器100r1、100r2分别所拍摄的摄像图像,生成立体图像。
此外,便携式终端80A可以获取以相差90度的摄像方向、90度以上的视角所拍摄的摄像图像。这种情况下,可以基于无人驾驶航空器100r1、100r2的至少一个所拍摄的摄像图像和无人驾驶航空器100r1~100r3所拍摄的摄像图像,生成全景图像(例如全方位全景图像)。
如上所述,在飞行系统10A中,无人驾驶航空器100A基于形成飞行组的无人驾驶航空器100A的台数(例如4台)来控制视角(例如90度以上)及摄像方向(例如各自相差90度的方向),从而无需对发送器50A进行精密的飞行操作,便能获取多个适合生成全景图像或立体图像的摄像图像。尤其是多台无人驾驶航空器100A所拍摄的摄像图像中,即便只有一个画质劣化,或被摄体相对于摄像图像的位置发生偏移,也会影响全景图像或立体图像的画质。便携式终端80A可以从属于一个飞行组的多台无人驾驶航空器100A获取画质劣化及被摄体相对于摄像图像的位置偏移得到抑制的多个摄像图像。因此,便携式终端80A可以获取期望的全景图像或立体图像。
另外,虽然省略了详细说明,但如果从发送器50A获取到方向舵指示信息,各无人驾驶航空器100r1~100r5可以用第一回旋模式或第二回旋模式的回旋方法,使相对位置关系固定,进行回旋。
图32A是示出形成飞行组的3台无人驾驶航空器100r1、100r2、100r3飞行时水平方向上的第二排列示例的示意图。图32B是示出形成飞行组的3台无人驾驶航空器100r1、100r2、100r3飞行时高度方向上的第二排列示例的示意图。
在图32A、图32B中,2台无人驾驶航空器100r1、100r2在飞行组的前方(前进时的行进方向α7)飞行。1台无人驾驶航空器100r3排列在飞行组的后方。此外,1台无人驾驶航空器100r3在比2台无人驾驶航空器100r1、100r2高的高度处飞行。无人驾驶航空器100r1~100r3各自的摄像方向均为前进时的行进方向。无人驾驶航空器100r3在比无人驾驶航空器100r1、100r2高的高度处飞行,因此,容易对无人驾驶航空器100r1、100r2的飞行进行管理。
各无人驾驶航空器100r1~100r3可以分别将由无人驾驶航空器100r1~100r3各自的摄像装置220或230拍摄的摄像图像发送给便携式终端80A。便携式终端80A可以接收来自各无人驾驶航空器100r1~100r3的摄像图像。
在无人驾驶航空器100r3的摄像装置220或230的摄像范围内,可以包含在前方飞行的无人驾驶航空器100r1、100r2。这种情况下,由无人驾驶航空器100r3的摄像装置220或230所拍摄的摄像图像中映射有无人驾驶航空器100r1、100r2。这种情况下,发送器50A的操作者可以一边确认显示于便携式终端80A中的、来自无人驾驶航空器100r3的摄像图像(操作用图像),一边对多台无人驾驶航空器100r1~100r3的协同飞行控制进行指示。
无人驾驶航空器100r1、100r2的摄像范围可以有部分重复。这种情况下,便携式终端80A可以基于无人驾驶航空器100r1、100r2分别所拍摄的摄像图像,生成立体图像。
此外,在前方飞行的2台无人驾驶航空器100r1、100r2中一个的摄像装置230可以对2台无人驾驶航空器100r1、100r2中的另一个进行拍摄。这种情况下,可以将水平方向设为摄像方向,将摄像装置230固定配置于UAV主体102等,以便能够互相进行拍摄。这种情况下,即便不是水平方向上的前后方向,而是左右方向,无人驾驶航空器100A也能获取协同飞行的其他无人驾驶航空器100A的相对位置信息(例如距离信息)。
根据图32A、图32B所示的排列示例,飞行系统10A在利用发送器50A进行操作时,可以提供映射有协同飞行的飞行组内至少一部分无人驾驶航空器100A的图像,以确保发送器50A的操作者容易操作。因此,发送器50A可以一边观察确认飞行组内至少一部分无人驾驶航空器100A,一边以简单操作对多台无人驾驶航空器100A进行操作,使多台无人驾驶航空器100A行进到期望获取立体图像的区域。
接着,对无人驾驶航空器100A的操作示例进行说明。
图33是示出无人驾驶航空器100A的操作示例的流程图。另外,属于同一飞行组的多台无人驾驶航空器100A分别进行相同的操作。
飞行控制部119获取保存在存储器160中的协同控制信息CC,该协同控制信息CC包括属于飞行组的多台无人驾驶航空器100A的相对位置信息(S21)。信号获取部111接收来自发送器50A的指示信号(S22)。飞行控制部119基于来自发送器50A的指示信号,使属于同一飞行组的各无人驾驶航空器100A的相对位置关系固定而控制无人驾驶航空器100A(本机)的飞行(S23)。
通过无人驾驶航空器100A,在飞行期间通过发送器50A收到飞行控制的指示时,可以获取属于飞行组的多台无人驾驶航空器100A的相对位置信息。通过一个发送器50A对无人驾驶航空器100A进行飞行操作,因此,即便是事先未设定的飞行路线或飞行位置,无人驾驶航空器100A也能使其与其他无人驾驶航空器100A之间的相对位置关系固定,与其他无人驾驶航空器100A协同飞行。因此,即便在与其他无人驾驶航空器100A协同飞行时,无人驾驶航空器100A也能利用一个发送器50A实时地指定飞行路线等。即,无人驾驶航空器100A可以提高协同飞行时的飞行自由度。
通过飞行系统10A,在各无人驾驶航空器100A飞行期间通过发送器50A收到飞行控制的指示时,可以获取属于飞行组的多台无人驾驶航空器100A的相对位置信息。通过一个发送器50A对各无人驾驶航空器100A进行飞行操作,因此,即便是事先未设定的飞行路线或飞行位置,飞行系统10A也能使多台无人驾驶航空器100A之间的相对位置关系固定,使得多台无人驾驶航空器100A协同飞行。因此,即便飞行系统10A中的多台无人驾驶航空器100A在协同飞行时,也能利用一个发送器50A实时地指定飞行路线等。即,飞行系统10A可以提高多台无人驾驶航空器100A协同飞行时的飞行自由度。
以上使用实施方式对本公开进行了说明,但是本公开的技术范围并不限于上述实施方式所描述的范围。对本领域普通技术人员来说,显然可对上述实施方式加以各种变更或改良。从权利要求书的记载即可明白,加以了这样的变更或改良的方式都可包含在本公开的技术范围之内。
权利要求书、说明书以及说明书附图中所示的装置、系统、程序和方法中的操作、顺序、步骤、以及阶段等各项处理的执行顺序,只要没有特别明示“在…之前”、“事先”等,且只要前面处理的输出并不用在后面的处理中,即可以以任意顺序实现。关于权利要求书、说明书以及附图中的操作流程,为方便起见而使用“首先”、“接着”等进行了说明,但并不意味着必须按照这样的顺序实施。
符号说明
10、10A 飞行系统
50、50A 发送器
50B 壳体
53L 左控制杆
53R 右控制杆
61 发送器控制部
63 无线通信部
65 接口部
80、80A 便携式终端
81、81A 处理器
82 接口部
83 操作部
85 无线通信部
87 存储器
88 显示屏
100、100A、100r1、100r2、100r3、100r4、100r5 无人驾驶航空器
102 UAV主体
103 电池
110、110A UAV控制部
111 信号获取部
112 第一相对位置获取部
113 第一绝对位置获取部
114 第二绝对位置获取部
115 摄像图像获取部
116 第二相对位置获取部
117 视角信息获取部
118 动作模式设定部
119 飞行控制部
120 摄像控制部
150 通信接口
160 存储器
200 万向节
210 旋翼机构
211、211a、211b、211c、211d 旋翼
212 驱动电机
213 电流传感器
220、230 摄像装置
230 摄像装置
240 GPS接收器
250 惯性测量装置
260 磁罗盘
270 气压高度计
280 超声波传感器
290 激光测量仪
811 UAV指定部
812 位置信息获取部
813 相对位置处理部
814 摄像信息处理部
816 摄像图像获取部
817 图像处理部
AN1、AN2 天线
B1 电源按扭
B2 RTH按扭
L1 远程状态显示部
L2 电池余量显示部
OPS 操作部组
G11、G12、G13、G14 UAV图像

Claims (50)

1.一种位置处理装置,其对多台飞行体的位置信息进行处理,其特征在于,包括:
选择部,其选择所述多台飞行体,所选择的所述多台飞行体形成飞行组;以及
确定部,其确定在指示控制所述飞行体的操作装置进行操作期间属于所述飞行组的所述多台飞行体的相对位置信息即第一相对位置信息。
2.如权利要求1所述的位置处理装置,其特征在于,
所述确定部确定所述多台飞行体分别相对于属于所述飞行组的多台飞行体的基准位置的相对位置信息,作为所述第一相对位置信息。
3.如权利要求2所述的位置处理装置,其特征在于,
所述确定部将所述多台飞行体各自的识别信息和通过所述识别信息识别的飞行体各自的相对位置信息建立关联并确定。
4.如权利要求1~3中任一项所述的位置处理装置,其特征在于,
所述第一相对位置信息包括所述多台飞行体在三维空间内的相对位置信息。
5.如权利要求4所述的位置处理装置,其特征在于,
所述第一相对位置信息包括所述多台飞行体在水平方向上的距离信息。
6.如权利要求4所述的位置处理装置,其特征在于,
所述第一相对位置信息包括所述多台飞行体在重力方向上的距离信息。
7.如权利要求1~6中任一项所述的位置处理装置,其特征在于,还包括:
显示部,其显示表示所述多台飞行体的多个飞行体图像;以及
操作部,其接受输入,
所述确定部利用对所述操作部的输入来变更显示于所述显示部的所述多个飞行体图像的位置,从而变更所述第一相对位置信息。
8.如权利要求7所述的位置处理装置,其特征在于,
所述操作部接受拖动操作输入。
9.如权利要求8所述的位置处理装置,其特征在于,
所述显示部基于通过所述拖动操作而变更的多个所述飞行体图像的位置,显示所述多台飞行体之间的距离信息。
10.如权利要求1~6中任一项所述的位置处理装置,其特征在于,还包括接受输入的操作部,
所述确定部基于向所述操作部输入的所述多台飞行体之间的距离信息,确定所述第一相对位置信息。
11.如权利要求1~6中任一项所述的位置处理装置,其特征在于,还包括获取部,所述获取部获取所述多台飞行体各自的位置信息,
所述确定部基于第二相对位置信息确定所述第一相对位置信息,所述第二相对位置信息是基于所获取的多个所述位置信息差分的相对位置信息。
12.如权利要求1~11中任一项所述的位置处理装置,其特征在于,
还包括输出部,所述输出部输出所述第一相对位置信息。
13.一种飞行体,其是和其他飞行体共同形成飞行组并进行飞行的飞行体,其特征在于,包括:
第一获取部,其从指示控制属于所述飞行组的多台飞行体的操作装置获取指示飞行控制的指示信号以及所述飞行体相对于属于所述飞行组的所述多台飞行体的基准位置的相对位置信息即第一相对位置信息;以及
控制部,该控制部基于所述指示信号和所述第一相对位置信息,使所述基准位置和所述飞行体之间的相对位置关系固定而控制所述飞行体的飞行。
14.如权利要求13所述的飞行体,其特征在于,
所述指示信号包括用于指示所述多台飞行体回旋的第一回旋指示信息,
所述控制部基于所述第一回旋指示信息,使所述飞行体和属于所述飞行组的所述多台飞行体的基准位置之间的距离固定而控制所述飞行体使得所述飞行体以所述基准位置为中心进行回旋。
15.如权利要求13所述的飞行体,其特征在于,
所述指示信号包括用于指示所述多台飞行体回旋的第二回旋指示信息,
所述控制部基于所述第二回旋指示信息,使所述飞行体的位置固定而控制所述飞行体的飞行使得所述飞行体以所述飞行体的位置为中心进行回旋。
16.如权利要求13~15中任一项所述的飞行体,其特征在于,
还包括第一摄像部,
所述控制部基于协同飞行的所述飞行体台数,控制所述第一摄像部的视角,并基于所述第一相对位置信息,控制所述第一摄像部的摄像方向。
17.如权利要求16任一项所述的飞行体,其特征在于,还包括:
第二获取部,其获取表示所述飞行体飞行位置的第一飞行位置信息;以及
计算部,其根据所述基准位置和所述第一相对位置信息,计算表示所述飞行体飞行位置的第二飞行位置信息,
所述控制部控制所述飞行体的飞行使得所述第一飞行位置信息和所述第二飞行位置信息一致。
18.如权利要求16所述的飞行体,其特征在于,
所述第一摄像部获取表示所述第一摄像部视角的第一视角信息,
所述第一获取部获取表示所述其他飞行体所具备的第二摄像部视角的第二视角信息,
所述控制部控制所述飞行体的飞行使得所述第一视角和所述第二视角之差大体固定。
19.如权利要求17所述的飞行体,其特征在于,
所述第一获取部获取所述其他飞行体所具备的第二摄像部所拍摄的第二摄像图像,
所述计算部基于所述第一摄像部所拍摄的第一摄像图像以及所述第二摄像图像,计算所述飞行体相对于所述其他飞行体的相对位置信息即第二相对位置信息,
所述第一相对位置信息包括所述飞行体相对于所述其他飞行体的相对位置信息即第三相对位置信息,
所述控制部控制所述飞行体的飞行使得所述第二相对位置信息和所述第三相对位置信息一致。
20.如权利要求13~16中任一项所述的飞行体,其特征在于,
还包括测距传感器,所述测距传感器测量所述飞行体与所述其他飞行体之间的距离,获得第一距离信息,
所述第一相对位置信息包括表示所述飞行体与所述其他飞行体之间的距离的第二距离信息,
所述控制部控制所述飞行体的飞行使得所述第一距离信息和所述第二距离信息一致。
21.一种位置处理系统,其对处理多台飞行体位置信息进行处理,其特征在于,包括:
选择部,其选择所述多台飞行体,形成所选择的所述多台飞行体所属的飞行组;
确定部,其确定在指示控制所述飞行体的操作装置进行操作期间属于所述飞行组的所述多台飞行体的相对位置信息;以及
设定部,其对所述多台飞行体设定所述相对位置信息。
22.一种飞行系统,其包括形成飞行组并进行飞行的多台飞行体和指示控制所述多台飞行体的操作装置,其特征在于,
所述操作装置发送指示控制所述多台飞行体飞行的指示信号,
所述多台飞行体分别接收所述指示信号,获取属于所述飞行组的所述多台飞行体的相对位置信息,并基于所述指示信号和所述相对位置信息,使所述多台飞行体的相对位置关系固定而控制所述飞行体各自的飞行。
23.如权利要求22所述的飞行系统,其特征在于,
还包括图像处理装置,
所述多台飞行体分别对不同的摄像方向进行拍摄,获取摄像图像,并将所述摄像图像发送给所述图像处理装置,
所述图像处理装置接收分别来自所述多台飞行体的多个摄像图像,并基于所述多个摄像图像,生成全景图像及立体图像中的至少一个。
24.一种位置处理方法,其用于对多台飞行体的位置信息进行处理的位置处理装置中,其特征在于,包括以下步骤:
选择所述多台飞行体,形成所选择的所述多台飞行体所属的飞行组;以及
确定在指示控制所述飞行体的操作装置进行操作期间属于所述飞行组的多台飞行体的相对位置信息即第一相对位置信息。
25.如权利要求24所述的位置处理方法,其特征在于,
所述确定位置信息的步骤包括确定所述多台飞行体分别相对于属于所述飞行组的多台飞行体的基准位置的相对位置信息作为所述第一相对位置信息的步骤。
26.如权利要求25所述的位置处理方法,其特征在于,
所述确定位置信息的步骤包括将所述多台飞行体各自的识别信息和通过所述识别信息识别的飞行体各自的相对位置信息建立关联并确定的步骤。
27.如权利要求24~26中任一项所述的位置处理方法,其特征在于,
所述第一相对位置信息包括所述多台飞行体在三维空间内的相对位置信息。
28.如权利要求27任一项所述的位置处理方法,其中特征在于,
所述第一相对位置信息包括所述多台飞行体在水平方向上的距离信息。
29.如权利要求27所述的位置处理方法,其特征在于,
所述第一相对位置信息包括所述多台飞行体在重力方向上的距离信息。
30.如权利要求24~29中任一项所述的位置处理方法,其特征在于,
还包括以下步骤:显示表示所述多台飞行体的多个飞行体图像;以及
接受对操作部的输入,
所述确定位置信息的步骤包括通过所述输入来变更所显示的所述多个飞行体图像的位置,从而变更所述第一相对位置信息的步骤。
31.如权利要求30所述的位置处理方法,其特征在于,
所述接受输入的步骤包括接受拖动操作输入的步骤。
32.如权利要求31所述的位置处理方法,其中,
所述显示飞行体图像的步骤包括基于通过所述拖动操作而变更的多个所述飞行体图像的位置,显示所述多台飞行体之间的距离信息的步骤。
33.如权利要求24~29中任一项所述的位置处理方法,其特征在于,
还包括接受对操作部的输入的步骤,
所述确定位置信息的步骤包括基于向所述操作部输入的所述多台飞行体之间的距离信息,确定所述第一相对位置信息的步骤。
34.如权利要求24~29中任一项所述的位置处理方法,其特征在于,
还包括获取所述多台飞行体各自的位置信息的步骤,
所述确定位置信息的步骤包括基于第二相对位置信息来确定所述第一相对位置信息的步骤,所述第二相对位置信息是基于所获取的多个所述位置信息差分的相对位置信息。
35.如权利要求24~34中任一项所述的位置处理方法,其特征在于,
还包括输出所述第一相对位置信息的步骤。
36.一种飞行控制方法,其用于与其他飞行体共同形成飞行组并进行飞行的飞行体中,其特征在于,包括以下步骤:
从指示控制属于所述飞行组的多台飞行体的操作装置获取指示飞行控制的指示信号;
获取所述飞行体相对于属于所述飞行组的所述多台飞行体的基准位置的相对位置信息即第一相对位置信息;以及
基于所述指示信号和所述第一相对位置信息,使所述基准位置和所述飞行体之间的相对位置关系固定而控制所述飞行体飞行。
37.如权利要求36所述的飞行控制方法,其特征在于,
所述指示信号包括用于指示所述多台飞行体回旋的第一回旋指示信息,
所述控制飞行体飞行的步骤包括基于所述第一回旋指示信息,使所述飞行体和属于所述飞行组的所述多台飞行体的基准位置之间的距离固定而控制所述飞行体使得所述飞行体以所述基准位置为中心进行回旋的步骤。
38.如权利要求36所述的飞行控制方法,其特征在于,
所述指示信号包括用于指示所述多台飞行体回旋的第二回旋指示信息,
所述控制飞行体飞行的步骤包括基于所述第二回旋指示信息,使所述飞行体的位置固定而控制所述飞行体的飞行使得所述飞行体以所述飞行体的位置为中心进行回旋的步骤。
39.如权利要求36~38中任一项所述的飞行控制方法,其特征在于,还包括以下步骤:
基于属于所述飞行组的所述飞行体台数,控制所述飞行体所具备的第一摄像部的视角;以及
基于所述第一相对位置信息,控制所述第一摄像部的摄像方向。
40.如权利要求39所述的飞行控制方法,其特征在于,还包括以下步骤:
获取表示所述飞行体飞行位置的第一飞行位置信息;以及
根据所述基准位置和所述第一相对位置信息,计算表示所述飞行体飞行位置的第二飞行位置信息,
所述控制飞行体飞行的步骤包括控制所述飞行体的飞行使得所述第一飞行位置信息和所述第二飞行位置信息一致的步骤。
41.如权利要求39所述的飞行控制方法,其特征在于,还包括以下步骤:
获取表示所述第一摄像部视角的第一视角信息;以及
获取表示所述其他飞行体具备的第二摄像部视角的第二视角信息,
所述控制飞行体飞行的步骤包括控制所述飞行体的飞行使得所述第一视角和所述第二视角之差大体固定的步骤。
42.如权利要求40所述的飞行控制方法,其特征在于,还包括以下步骤:
利用所述第一摄像部进行拍摄,获得第一摄像图像;
获取所述其他飞行体所具备的第二摄像部所拍摄的第二摄像图像;以及
基于所述第一摄像图像及所述第二摄像图像,计算所述飞行体相对于所述其他飞行体的相对位置信息即第二相对位置信息,
所述第一相对位置信息包括所述飞行体相对于所述其他飞行体的相对位置信息即第三相对位置信息,
所述控制飞行体飞行的步骤包括控制所述飞行体的飞行使得所述第二相对位置信息和所述第三相对位置信息一致的步骤。
43.如权利要求36~39中任一项所述的飞行控制方法,其特征在于,
还包括测量所述飞行体与所述其他飞行体之间的距离,获得第一距离信息的步骤,
所述第一相对位置信息包括表示所述飞行体与所述其他飞行体之间的距离的第二距离信息,
所述控制飞行体飞行的步骤包括控制所述飞行体的飞行使得所述第一距离信息和所述第二距离信息一致的步骤。
44.一种位置处理方法,用于对多台飞行体的位置信息进行处理的位置处理系统中,其特征在于,包括以下步骤:
选择所述多台飞行体,形成所选择的所述多台飞行体所属的飞行组;
确定在指示控制所述飞行体的操作装置进行操作期间属于所述飞行组的多台飞行体的相对位置信息;以及
对所述多台飞行体设定所述相对位置信息。
45.一种飞行控制方法,其用于包括形成飞行组并进行飞行的多台飞行体和指示控制所述多台飞行体的操作装置的飞行系统中,其特征在于,包括以下步骤:
获取指示所述多台飞行体飞行控制的指示信号;
获取属于所述飞行组的所述多台飞行体的相对位置信息;以及
基于所述指示信号和所述相对位置信息,使所述多台飞行体的相对位置关系固定而控制所述飞行体各自的飞行。
46.如权利要求45所述的飞行控制方法,其特征在于,包括以下步骤:
通过所述多台飞行体分别对不同的摄像方向进行拍摄;
获取所拍摄的所述多个摄像图像的步骤;以及
基于所述多个摄像图像,生成全景图像及立体图像中的至少一个。
47.一种程序,其特征在于,其使处理多台飞行体位置信息的位置处理装置即计算机执行如下步骤:
选择所述多台飞行体,形成所选择的所述多台飞行体所属的飞行组;以及
确定在指示控制所述飞行体的操作装置进行操作期间属于所述飞行组的多台飞行体的相对位置信息即第一相对位置信息。
48.一种程序,其特征在于,其使与其他飞行体共同形成飞行组并进行飞行的飞行体执行如下步骤:
从指示控制属于所述飞行组的多台飞行体的操作装置获取指示飞行控制的指示信号;
获取所述飞行体相对于属于所述飞行组的所述多台飞行体的基准位置的相对位置信息;以及
基于所述指示信号和所述相对位置信息,使所述基准位置和所述飞行体之间的相对位置关系固定而控制所述飞行体飞行。
49.一种记录介质,其特征在于,其是记录有程序的计算机可读记录介质,所述程序用于使处理多台飞行体位置信息的位置处理装置即计算机执行如下步骤:
选择所述多台飞行体,形成所选择的所述多台飞行体所属的飞行组;以及
确定在指示控制所述飞行体的操作装置进行操作期间属于所述飞行组的多台飞行体的相对位置信息即第一相对位置信息。
50.一种记录介质,其特征在于,其是记录有程序的计算机可读记录介质,所述程序用于使与其他飞行体共同形成飞行组并进行飞行的飞行体即计算机执行如下步骤:
从指示控制属于所述飞行组的多台飞行体的操作装置获取指示飞行控制的指示信号;
获取所述飞行体相对于属于所述飞行组的所述多台飞行体的基准位置的相对位置信息;以及
基于所述指示信号和所述相对位置信息,使所述基准位置和所述飞行体之间的相对位置关系固定而控制所述飞行体飞行。
CN201780085560.3A 2017-02-10 2017-02-10 位置处理装置、飞行体、及飞行系统 Active CN110249281B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/005016 WO2018146803A1 (ja) 2017-02-10 2017-02-10 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
CN110249281A true CN110249281A (zh) 2019-09-17
CN110249281B CN110249281B (zh) 2022-11-22

Family

ID=63108283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085560.3A Active CN110249281B (zh) 2017-02-10 2017-02-10 位置处理装置、飞行体、及飞行系统

Country Status (4)

Country Link
US (1) US11513514B2 (zh)
JP (1) JP6862477B2 (zh)
CN (1) CN110249281B (zh)
WO (1) WO2018146803A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114599581A (zh) * 2019-12-13 2022-06-07 深圳市大疆创新科技有限公司 确定装置、飞行体、确定方法以及程序
CN114599582A (zh) * 2019-12-13 2022-06-07 深圳市大疆创新科技有限公司 确定装置、飞行体、确定方法以及程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029906B1 (ko) * 2017-11-10 2019-11-08 전자부품연구원 이동수단의 가상현실 콘텐츠 제공 장치 및 방법
JP6974290B2 (ja) * 2018-10-31 2021-12-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 位置推定装置、位置推定方法、プログラム、及び記録媒体
JP7369093B2 (ja) 2020-05-28 2023-10-25 株式会社日立製作所 距離計測システム、及び距離計測方法
JP7412041B2 (ja) 2020-07-20 2024-01-12 株式会社ナイルワークス 無人航空機制御システム
JP7063966B1 (ja) * 2020-10-21 2022-05-09 西日本電信電話株式会社 移動体制御システム
WO2023203673A1 (ja) * 2022-04-20 2023-10-26 株式会社クボタ 飛行体制御システムおよび飛行体システム

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6926233B1 (en) * 2004-02-21 2005-08-09 Corcoran, Iii James John Automatic formation flight control system (AFFCS)—a system for automatic formation flight control of vehicles not limited to aircraft, helicopters, or space platforms
US20060167596A1 (en) * 2005-01-24 2006-07-27 Bodin William K Depicting the flight of a formation of UAVs
US20090118875A1 (en) * 2007-11-01 2009-05-07 Stroud Ken A Systems and methods for coordination of entities and/or communicating location information
US20100168937A1 (en) * 2005-08-09 2010-07-01 Eads Deutschland Gmbh Method for Flight Control of a Plurality of Aircraft Flying in Formation
JP2010188893A (ja) * 2009-02-19 2010-09-02 Japan Aerospace Exploration Agency 移動体の三次元群制御方法
CN102591353A (zh) * 2011-01-04 2012-07-18 株式会社拓普康 飞行体的飞行控制系统
CN102847324A (zh) * 2011-06-28 2013-01-02 鹦鹉股份有限公司 动态地控制遥控飞机的姿态以自动执行翻滚式动作的方法
CN103336660A (zh) * 2012-03-07 2013-10-02 佳能株式会社 信息处理设备及其控制方法
CN104062980A (zh) * 2014-06-10 2014-09-24 北京空间机电研究所 一种无人机机载全景监测系统
JP2015191254A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム
CN105425817A (zh) * 2015-12-09 2016-03-23 周润华 一种多无人机编组飞行控制系统
CN105518415A (zh) * 2014-10-22 2016-04-20 深圳市大疆创新科技有限公司 一种飞行航线设置方法及装置
CN105511494A (zh) * 2016-01-20 2016-04-20 浙江大学 一种多无人机分布式队形控制的方法
CN105518487A (zh) * 2014-10-27 2016-04-20 深圳市大疆创新科技有限公司 飞行器的位置提示方法及装置
RU2585204C1 (ru) * 2015-01-29 2016-05-27 Открытое акционерное общество "Раменское приборостроительное конструкторское бюро" (ОАО "РПКБ") Способ управления летательным аппаратом при заходе на навигационную точку с заданного направления
CN105717933A (zh) * 2016-03-31 2016-06-29 深圳奥比中光科技有限公司 无人机以及无人机防撞方法
CN105955308A (zh) * 2016-05-20 2016-09-21 腾讯科技(深圳)有限公司 一种飞行器的控制方法和装置
US20160282875A1 (en) * 2015-03-23 2016-09-29 Megachips Corporation Moving object controller, landmark, and moving object control method
JP2016206443A (ja) * 2015-04-23 2016-12-08 有限会社大平技研 飛翔体を用いた発光点図形パターン表示システム,発光点図形パターン表示方法ならびに該システムおよび方法に用いる飛翔体
CN106227224A (zh) * 2016-07-28 2016-12-14 零度智控(北京)智能科技有限公司 飞行控制方法、装置及无人机
CN106292294A (zh) * 2016-10-20 2017-01-04 南京航空航天大学 基于模型参考自适应控制的舰载无人机自动着舰控制装置
US20180231972A1 (en) * 2014-10-03 2018-08-16 Infinium Robotics Pte Ltd System for performing tasks in an operating region and method of controlling autonomous agents for performing tasks in the operating region

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050230563A1 (en) * 2004-02-21 2005-10-20 Corcoran James J Iii Automatic formation flight control system
IL162767A (en) * 2004-06-29 2008-04-13 Israel Aerospace Ind Ltd Collision avoidance system and a method thereof
US8538673B2 (en) * 2008-10-31 2013-09-17 Czech Technical University In Prague System and method for planning/replanning collision free flight plans in real or accelerated time
US9762795B2 (en) * 2013-09-04 2017-09-12 Gyeongil Kweon Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
WO2012002976A1 (en) * 2010-07-01 2012-01-05 Mearthane Products Corporation High performance resilient skate wheel with compression modulus gradient
US8949090B2 (en) * 2013-01-28 2015-02-03 The Boeing Company Formation flight control
US9997079B2 (en) * 2014-12-12 2018-06-12 Amazon Technologies, Inc. Commercial and general aircraft avoidance using multi-spectral wave detection
US11034443B2 (en) * 2015-06-12 2021-06-15 Sunlight Aerospace Inc. Modular aircraft assembly for airborne and ground transport
WO2017019595A1 (en) * 2015-07-27 2017-02-02 Genghiscomm Holdings, LLC Airborne relays in cooperative-mimo systems
US9928748B2 (en) * 2015-11-25 2018-03-27 International Business Machines Corporation Dynamic geo-fence for drone
CN107368084A (zh) * 2016-05-11 2017-11-21 松下电器(美国)知识产权公司 飞行控制方法及无人飞行器
US10118292B2 (en) * 2016-08-18 2018-11-06 Saudi Arabian Oil Company Systems and methods for configuring field devices using a configuration device
US10163357B2 (en) * 2016-08-24 2018-12-25 Qualcomm Incorporated Navigation assistance data and route planning for drones
US10114384B2 (en) * 2016-09-13 2018-10-30 Arrowonics Technologies Ltd. Formation flight path coordination of unmanned aerial vehicles
KR20210084768A (ko) * 2019-12-27 2021-07-08 엘지전자 주식회사 무인 비행체

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6926233B1 (en) * 2004-02-21 2005-08-09 Corcoran, Iii James John Automatic formation flight control system (AFFCS)—a system for automatic formation flight control of vehicles not limited to aircraft, helicopters, or space platforms
US20060167596A1 (en) * 2005-01-24 2006-07-27 Bodin William K Depicting the flight of a formation of UAVs
US20100168937A1 (en) * 2005-08-09 2010-07-01 Eads Deutschland Gmbh Method for Flight Control of a Plurality of Aircraft Flying in Formation
US20090118875A1 (en) * 2007-11-01 2009-05-07 Stroud Ken A Systems and methods for coordination of entities and/or communicating location information
JP2010188893A (ja) * 2009-02-19 2010-09-02 Japan Aerospace Exploration Agency 移動体の三次元群制御方法
CN102591353A (zh) * 2011-01-04 2012-07-18 株式会社拓普康 飞行体的飞行控制系统
CN102847324A (zh) * 2011-06-28 2013-01-02 鹦鹉股份有限公司 动态地控制遥控飞机的姿态以自动执行翻滚式动作的方法
CN103336660A (zh) * 2012-03-07 2013-10-02 佳能株式会社 信息处理设备及其控制方法
JP2015191254A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム
CN104062980A (zh) * 2014-06-10 2014-09-24 北京空间机电研究所 一种无人机机载全景监测系统
US20180231972A1 (en) * 2014-10-03 2018-08-16 Infinium Robotics Pte Ltd System for performing tasks in an operating region and method of controlling autonomous agents for performing tasks in the operating region
CN105518415A (zh) * 2014-10-22 2016-04-20 深圳市大疆创新科技有限公司 一种飞行航线设置方法及装置
CN105518487A (zh) * 2014-10-27 2016-04-20 深圳市大疆创新科技有限公司 飞行器的位置提示方法及装置
RU2585204C1 (ru) * 2015-01-29 2016-05-27 Открытое акционерное общество "Раменское приборостроительное конструкторское бюро" (ОАО "РПКБ") Способ управления летательным аппаратом при заходе на навигационную точку с заданного направления
US20160282875A1 (en) * 2015-03-23 2016-09-29 Megachips Corporation Moving object controller, landmark, and moving object control method
JP2016206443A (ja) * 2015-04-23 2016-12-08 有限会社大平技研 飛翔体を用いた発光点図形パターン表示システム,発光点図形パターン表示方法ならびに該システムおよび方法に用いる飛翔体
CN105425817A (zh) * 2015-12-09 2016-03-23 周润华 一种多无人机编组飞行控制系统
CN105511494A (zh) * 2016-01-20 2016-04-20 浙江大学 一种多无人机分布式队形控制的方法
CN105717933A (zh) * 2016-03-31 2016-06-29 深圳奥比中光科技有限公司 无人机以及无人机防撞方法
CN105955308A (zh) * 2016-05-20 2016-09-21 腾讯科技(深圳)有限公司 一种飞行器的控制方法和装置
CN106227224A (zh) * 2016-07-28 2016-12-14 零度智控(北京)智能科技有限公司 飞行控制方法、装置及无人机
CN106292294A (zh) * 2016-10-20 2017-01-04 南京航空航天大学 基于模型参考自适应控制的舰载无人机自动着舰控制装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
丁帆等: "无人机主动协同式编队飞行指挥与控制研究", 《飞航导弹》 *
张森等: "多机编队队形控制建模及可视化仿真系统设计", 《系统仿真学报》 *
洪晔等: "基于长机―僚机模式的无人机编队方法及飞行实验研究", 《机器人》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114599581A (zh) * 2019-12-13 2022-06-07 深圳市大疆创新科技有限公司 确定装置、飞行体、确定方法以及程序
CN114599582A (zh) * 2019-12-13 2022-06-07 深圳市大疆创新科技有限公司 确定装置、飞行体、确定方法以及程序

Also Published As

Publication number Publication date
JPWO2018146803A1 (ja) 2019-11-21
WO2018146803A1 (ja) 2018-08-16
JP6862477B2 (ja) 2021-04-21
CN110249281B (zh) 2022-11-22
US20190361435A1 (en) 2019-11-28
US11513514B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
CN110249281A (zh) 位置处理装置、飞行体、位置处理系统、飞行系统、位置处理方法、飞行控制方法、程序以及记录介质
US11797009B2 (en) Unmanned aerial image capture platform
US20200394009A1 (en) Systems and methods for gimbal simulation
CN109952755A (zh) 飞行路径生成方法、飞行路径生成系统、飞行体、程序以及记录介质
CN106662793B (zh) 使用稳定用常平架的常平架系统
US10852723B2 (en) Unmanned aerial vehicle swarm photography
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
CN107438804B (zh) 一种用于控制无人机的穿戴式设备及无人机系统
CN205263655U (zh) 一种用于自动生成全景照片的系统、无人飞行器及地面站
CN110366670A (zh) 三维形状推断方法、飞行体、移动平台、程序及记录介质
CN108351653A (zh) 用于uav飞行控制的系统和方法
CN108521812A (zh) 无人机的控制方法、无人机以及机器可读存储介质
CN105045279A (zh) 一种利用无人飞行器航拍自动生成全景照片的系统及方法
CN108351574A (zh) 用于设置相机参数的系统、方法和装置
CN107923567A (zh) 用于图像捕捉的云台
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
CN108885451A (zh) 用于控制可移动物体的方法和系统
JP7153306B2 (ja) 検出対象位置特定システム
CN110249625A (zh) 图像显示方法、图像显示系统、飞行体、程序以及记录介质
CN108731681A (zh) 旋翼无人机领航方法、相关计算机程序、电子设备和无人机
CN109032184A (zh) 飞行器的飞行控制方法、装置、终端设备及飞行控制系统
US20200221056A1 (en) Systems and methods for processing and displaying image data based on attitude information
KR102542181B1 (ko) 360도 vr 영상 제작을 위한 무인 비행체 제어 방법 및 장치
CN110402453A (zh) 形状生成方法、图像获取方法、移动平台、飞行体、程序以及记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant