CN114829896A - 感测系统、感测数据取得方法、及控制装置 - Google Patents

感测系统、感测数据取得方法、及控制装置 Download PDF

Info

Publication number
CN114829896A
CN114829896A CN202080037168.3A CN202080037168A CN114829896A CN 114829896 A CN114829896 A CN 114829896A CN 202080037168 A CN202080037168 A CN 202080037168A CN 114829896 A CN114829896 A CN 114829896A
Authority
CN
China
Prior art keywords
sensing
sensing data
ugv2
data
traveling body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080037168.3A
Other languages
English (en)
Inventor
中泽满
滝泽顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lotte Group Co ltd
Original Assignee
Lotte Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lotte Group Co ltd filed Critical Lotte Group Co ltd
Publication of CN114829896A publication Critical patent/CN114829896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G25/00—Watering gardens, fields, sports grounds or the like
    • A01G25/16—Control of watering
    • A01G25/167—Control by humidity of the soil itself or of devices simulating soil or of the atmosphere; Soil humidity sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Soil Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Environmental Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Communication Control (AREA)

Abstract

本发明的感测系统S基于通过空中UAV1对下方进行远距离感测而得的远距离感测数据，撷取应由UGV2进行近距离感测的对象区域，进行用于使UGV2朝所述撷取出的对象区域移动的移动控制。且，本发明的感测系统S取得通过依照移动控制移动的UGV2对整个或一部分对象区域进行近距离感测而得的近距离感测数据。

Description

感测系统、感测数据取得方法、及控制装置
技术领域
本发明涉及一种取得通过飞行体从上空对地面进行感测而得的感测数据的系统等技术领域。
背景技术
近年来，使用飞行体从上空进行摄影等感测正变得越来越普通。例如在专利文献1记载有：从搭载在工业用无人直升机的摄像机拍摄整个农场取得表示图像与自然光的反射率的数据。
[背景技术文献]
[专利文献]
专利文献1：日本专利特开2011-254711号公报
发明内容
[发明所要解决的问题]
通过像上文所述这样使用飞行体，能够对相对较广的范围进行俯瞰感测。然而，对相对较窄的范围进行精微感测的情况下，很难说使用飞行体的感测是适宜的。例如，如果飞行体为从尽可能接近地面的位置进行感测而进行低空飞行，那么可能会产生地面效应使得飞行体变得不稳定。另外，虽然也有可能在飞行体着陆的状态下进行感测，但在所述情况下，除了飞行体的稳定性的观点以外，从能量消耗的观点来说也非优选。另外，在飞行体从上空使用高倍率传感器进行感测的情况下，即使是滞空时的稍微振动，也会造成与倍率相应的影响，而难以实现精微的感测。
因此，提供一种能够取得考虑到俯瞰感测与精微感测这两个的优点的适宜的感测数据的感测系统、感测数据取得方法、及控制装置。
[解决问题的技术手段]
为解决所述问题，技术方案1所述的发明的特征在于具备：第1取得部，取得通过空中飞行体对下方进行感测而得的第1感测数据；撷取部，基于所述第1感测数据，撷取由能够在地面行走的行走体进行感测的对象区域；控制部，进行用于使所述走行体朝所述对象区域移动的移动控制；及第2取得部，取得通过依照所述移动控制移动的所述行走体对整个或一部分所述对象区域进行感测而得的第2感测数据。由此，为迅速发现并调查对象区域，能够取得考虑到俯瞰感测与精微感测这两个的优点的适宜的感测数据。
技术方案2所述的发明的特征在于，在技术方案1所述的感测系统中，还具备显示控制部，基于所述第2感测数据，使显示终端显示所述对象区域相关的信息。由此，能够使管理者视觉上掌握撷取出的对象区域相关的信息。
技术方案3所述的发明的特征在于，在技术方案1或2所述的感测系统中，所述撷取部基于所述第1感测数据，撷取在所述下方发生异常的可能性较高的区域作为所述对象区域。由此，为迅速发现并调查发生异常的可能性较高的区域，能够取得考虑到俯瞰感测与精微感测这两个的优点的适宜的感测数据。
技术方案4所述的发明的特征在于，在技术方案1到3中任一技术方案所述的感测系统中，所述第1感测数据包含植被覆盖度图像，所述撷取部基于所述植被覆盖度图像的覆盖度，撷取所述对象区域。由此，为迅速发现并调查发生植物异常的可能性较高的区域，能够取得考虑到俯瞰感测与精微感测这两个的优点的适宜的感测数据。
技术方案5所述的发明的特征在于，在技术方案1到4中任一技术方案所述的感测系统中，所述第2感测数据包含所述对象区域的地中的水分量、温度、盐分浓度、导电度、及酸性度中的至少任一个相关的数据。由此，能够更精微地观测植物或土壤的状态。
技术方案6所述的发明的特征在于，在技术方案1到5中任一技术方案所述的感测系统中，所述第2感测数据使用插入上述对象区域的地中的传感器而取得。由此，能够更精微地观测植物或土壤的状态。
技术方案7所述的发明的特征在于，在技术方案1到6中任一技术方案所述的感测系统中，还具备基于所述第2感测数据，判定所述对象区域是否发生异常的判定部。由此，使用考虑到俯瞰感测与精微感测这两个的优点的适宜的感测数据，能够迅速且高精度地判定对象区域是否发生异常。
技术方案8所述的发明的特征在于，在技术方案3或7所述的感测系统中，所述异常是植物、土壤、及道路中的任一个的异常。
技术方案9所述的发明的特征在于，在技术方案8所述的感测系统中，还具备发送部，将所述第2感测数据发送到所述植物、所述土壤、及所述道路中的任一个的管理者具有的终端。由此，管理者能够确认第2感测数据，更详细地调查植物、土壤、或道路是否发生异常。
技术方案10所述的发明的特征在于，在技术方案1到9中任一技术方案所述的感测系统中，所述控制部为使整个所述对象区域相关的数据包含在所述第2感测数据，一边使所述行走体移动，一边使所述行走体连续多次对所述对象区域进行感测。由此，即使在整个对象区域未落在例如相机的视角的情况下，也能够针对整个对象区域获得第2感测数据。
技术方案11所述的发明的特征在于，在技术方案1到10中任一技术方案所述的感测系统中，还具备第3取得部，在使所述行走体朝所述对象区域移动之前，取得通过所述行走体对地面进行而得的第3感测数据，所述控制部基于所述第1感测数据与所述第3感测数据，进行用于使所述行走体朝所述对象区域移动的移动控制。由此，能够将行走体准确引导到对象区域。
技术方案12所述的发明的特征在于，在技术方案11所述的感测系统中，所述控制部通过匹配所述第1感测数据与所述第3感测数据而进行用于使所述行走体朝从所述第3感测数据检测出的所述对象区域移动的移动控制。由此，能够将行走体准确引导到对象区域。
技术方案13所述的发明的特征在于，在技术方案1到12中任一技术方案所述的感测系统中，在由所述撷取部撷取出所述对象区域的情况下，所述控制部在使所述行走体移动到由处于悬停状态的所述飞行体进行的所述感测范围内之后，基于所述第1感测数据，进行用于使所述行走体朝所述对象区域移动的移动控制。由此，能够将行走体准确引导到对象区域。
技术方案14所述的发明的特征在于，在技术方案13所述的感测系统中，所述飞行体一边在预先确定的飞行路线移动一边进行所述感测，在由所述撷取部撷取出所述对象区域的情况下，所述控制部使所述飞行体中断沿所述路线的移动并移行到所述悬停状态。由此，能够将行走体更准确引导到对象区域。
技术方案15所述的发明的特征在于，在技术方案1到13中任一技术方案所述的感测系统中，所述对象区域与所述飞行体之间的距离大于所述对象区域与所述行走体之间的距离。
技术方案16所述的发明的特征在于，在技术方案1到15中任一技术方案所述的感测系统中，由所述飞行体进行的所述感测范围比由所述行走体进行的所述感测范围更广。
技术方案17所述的发明的特征在于包含以下步骤：取得通过空中飞行体对下方进行感测而得的第1感测数据；基于所述第1感测数据，撷取由能够在地面行走的行走体进行感测的对象区域；控制部，进行用于使所述行走体朝所述对象区域移动的移动控制；及取得通过依照所述移动控制移动的所述行走体对整个或一部分所述对象区域进行感测而得的第2感测数据。
技术方案18所述的发明的特征在于具备：第1取得部，取得通过空中飞行体对下方进行感测而得的第1感测数据；撷取部，基于所述第1感测数据，撷取由能够在地面行走的行走体进行感测的对象区域；控制部，用于进行使所述行走体朝所述对象区域移动的移动控制；及第2取得部，取得通过依照所述移动控制移动的所述行走体对整个或一部分所述对象区域进行感测而得的第2感测数据。
[发明的效果]
根据本发明的一实施方式，能够取得考虑到俯瞰感测与精微感测这两个的优点的适宜的感测数据。
附图说明
图1是表示感测系统S的概要构成例的图。
图2是表示UAV1的概要构成例的图。
图3是表示控制部15的功能块例的图。
图4是表示UGV2的概要构成例的图。
图5是表示控制部25的功能块例的图。
图6是表示由UAV1进行的远距离感测的范围、与由UGV2进行的近距离感测的范围的关系的图。
图7是表示管理服务器3的概要构成例的图。
图8是表示控制部33的功能块例的图。
图9是表示实施例1中在UAV1、UGV2、及管理服务器3之间执行的处理的一例的顺序图。
图10是表示实施例2中在UAV1、UGV2、及管理服务器3之间执行的处理的一例的顺序图。
图11是表示实施例3中在UAV1、UGV2、及管理服务器3之间执行的处理的一例的顺序图。
图12是表示实施例4中在UAV1、UGV2、及管理服务器3之间执行的处理的一例的顺序图。
图13是表示实施例5中在UAV1、UGV2、及管理服务器3之间执行的处理的一例的顺序图。
具体实施方式
以下，参考附图对本发明的一实施方式进行说明。
[1.感测系统S的构成]
首先，参考图1，对本发明的一实施方式的感测系统S的构成进行说明。图1是表示感测系统S的概要构成例的图。如图1所示，感测系统S包含无人机(以下，称为“UAV(Unmanned Aerial Vehicle)”)1、无人地面机(以下，称为“UGV(Unmanned GroundVehicle)”)2、及管理服务器3而构成。UAV1及UGV2能够分别经由通信网络NW与管理服务器3之间相互通信。通信网络NW由例如互联网、移动体通信网络及其无线基地站等构成。
此外，UAV1是飞行体的一例，也称为无人机、或多轴飞行器。UAV1能够依照操作员的远程操纵从地面飞行、或自主飞行。另外，UAV1由GCS(Ground Control Station：地面控制站)管理。GCS例如可作为应用程序搭载在由操作员操作的操纵终端，也可由管理服务器3等服务器构成。
另一方面，UGV2为能够无人在地面自主行走的行走体的一例。这里，行走是指在地面(也可包含植物上或障碍物上)移动，以与飞行区分。另外，移动是指当前位置按时间顺序变化。UGV2可为具有多个车轮的车辆，也可为不具有车轮的机器人(例如双脚步行机器人)等。
[1-1.UAV1的构成及功能]
接下来，参考图2及图3，对UAV1的构成及功能进行说明。图2是表示UAV1的概要构成例的图。如图2所示，UAV1具备驱动部11、无线通信部12、传感器部13、测位部14、及控制部15等。图3是表示控制部15的功能块例的图。此外，虽未图示，但是UAV1具备作为水平旋转翼的转子(螺旋桨)、及向UAV1的各部供给电力的电池。
驱动部11具备发动机及旋转轴等。驱动部11通过依照从控制部15输出的控制信号驱动的发动机及旋转轴等使多个转子旋转。无线通信部12负责控制经由通信网络NW与管理服务器3之间进行的通信。另外，无线通信部12也可具备Bluetooth(蓝牙)(注册商标)等近距离无线通信功能。
传感器部13具备UAV1的飞行控制所需的各种传感器。各种传感器包含例如光学传感器、3轴角速度传感器、3轴加速度传感器、及地磁传感器等。向控制部15输出由传感器部13检测出的检测数据。光学传感器例如由相机(RGB相机或红外线相机)构成，也使用于从空中对下方俯瞰地进行感测(以下，称为“远距离感测(第1感测的一例)”)。
这里，远距离感测包含通过在空中UAV1的下方拍摄能够感测的范围(例如落在相机视角内的范围)内的地表来观测地表的状态(例如植物或土壤的状态)。此外，为制作稍后叙述的地图图像，光学传感器也可包含LiDAR(Light Detection and Ranging：光检测与测距、或Laser Imaging Detection and Ranging：激光成像检测与测距)。
成为远距离感测的对象的区域(以下，称为“感测区域”)是需要从上空进行感测的较广的区域。尤其，也可将从地面生长的植物的修整(换句话说，维护管理)较为重要的区域设为感测区域。作为感测区域的例，列举培育草坪的高尔夫球场或球赛场、或培育农作物等的农场等。
远距离感测例如在UAV1到达感测区域时，或一边在感测区域内外的飞行路线飞行一边进行1次以上。为提高远距离感测的精度，可按时间序列连续进行，远距离感测的时间间隔可为固定间隔，也可为不定间隔。
测位部14具备电波接收机及高度传感器等。测位部14通过电波接收机接收从例如GNSS(Global Navigation Satellite System：全球导航卫星系统)卫星发送的电波，并基于所述电波来检测UAV1的水平方向的当前位置(纬度及经度)。UAV1的当前位置是飞行中的UAV1的飞行位置。
此外，UAV1的水平方向的当前位置也可基于由光学传感器拍摄的图像或从所述无线基地站发送的电波进行修正。向控制部15输出由测位部14检测出的表示当前位置的位置信息。此外，测位部14也可通过气压传感器等高度传感器来检测UAV1的垂直方向的当前位置(高度)。在所述情况下，位置信息包含表示UAV1的高度的高度信息。
控制部15具备作为处理器的CPU(Central Processing Unit：中央处理单元)、ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)、及非易失性存储器等。控制部15依照例如存储在ROM或非易失性存储器的程序(程序代码群)，如图3所示，作为感测控制部15a、感测数据取得部15b(第1取得部的一例)、及飞行控制部15c发挥功能。此外，控制部15使无线通信部12在UAV1飞行中，将UAV1的位置信息及飞行体ID逐次发送到管理服务器3(或经由GCS发送到管理服务器3)。所述飞行体ID为能够识别UAV1的识别信息。
感测控制部15a控制由传感器部13进行的远距离感测的时刻。远距离感测的时刻可由所述程序预先规定，也可由来自GCS或管理服务器3的感测控制命令表示。
感测数据取得部15b取得通过远距离感测而得的远距离感测数据(第1感测数据的一例)。远距离感测数据由无线通信部12发送到管理服务器3，用于撷取应由UGV2进行感测的对象区域。作为所述对象区域的一例，列举UAV1下方发生植物或土壤异常的可能性较高的区域。
这里，“在UAV1的下方”意为“远距离感测时UAV1的下方的区域”。这是因为在UAV1的远距离感测时，即使为UAV1的下方，也存在UAV1在进行对象区域撷取的时点正在移动的可能性。远距离感测数据可为从传感器部13输出的原始检测数据，也可为基于所述输出的原始检测数据进行解析处理后的数据。
另外，远距离感测数据是例如构成地表的RGB图像、植被覆盖度图像、及热图像(温度分布图像)等中的至少1个的地图图像的数据。这里，植被覆盖度图像是将草坪或农作物等植物的有无及多少进行颜色区分并显示的图像。覆盖度(植被覆盖度)也可由NDVI(Normalized Difference Vegetation Index：归一化差值植被指数)表示。
NDVI是表示植物的健康状态、与可见域到近红外域的各波长的反射率的关系的值(指标)。例如，因为植物具有吸收可见域的电波，同时较强地反射近红外域的电波的特性，所以NDVI越高意为越健康的状态。将位置信息与所述地图图像的各像素值(例如相当于RGB值、覆盖度、或温度，它们是测定值)建立对应。所述位置关系(也就是，远距离感测数据的位置信息)由例如表示UAV1在水平方向的当前位置的位置信息、及SLAM(SimultaneousLocalization and Mapping：同时定位与地图构建)処理(同时进行地图产生与自身位置推定的处理)而特定。
飞行控制部15c进行用于使UAV1在感测区域内外飞行的飞行控制。在所述飞行控制中，使用来自传感器部13的检测数据、来自测位部14的位置信息、及来自管理服务器3的飞行控制信息等，进行转子的转速控制、UAV1的位置、姿势及行进方向的控制。这里，飞行控制信息包含例如沿着飞行路线的飞行命令。飞行路线例如由管理服务器3预先确定。UAV1能够根据飞行控制信息，一边在飞行路线飞行一边进行远距离感测。
此外，使UAV1飞行包含使UAV1悬停。这里，悬停不限定于使UAV1在空中完全静止，UAV1也可发生稍许移动(也就是朝水平方向、垂直方向、或斜向移动)(也就是UAV1只要不着陆而在空中悬浮即可)。
通过飞行控制部15c，能够使UAV1在感测区域内外受远程操纵或自主飞行。此外，UAV1的自主飞行并非限定于由飞行控制部15c进行飞行控制的自主飞行，UAV1的自主飞行也包含例如作为整个感测系统S进行飞行控制的自主飞行。
[1-2.UGV2的构成及功能]
接下来，参考图4～图6，对UGV2的构成及功能进行说明。图4是表示UGV2的概要构成例的图。如图4所示，UGV2具备驱动部21、无线通信部22、传感器部23、测位部24、及控制部25等。图5是表示控制部25的功能块例的图。此外，虽未图示，但是UGV2具备向UGV2的各部供给电力的电池。
驱动部21具备发动机及旋转轴等。驱动部21通过依照从控制部25输出的控制信号驱动的发动机及旋转轴等使多个车轮旋转。无线通信部22负责控制经由通信网络NW与管理服务器3之间进行的通信。另外，无线通信部22也可具备Bluetooth(注册商标)等近距离无线通信功能。
传感器部23具备UGV2的移动控制所需要的各种传感器。各种传感器包含例如光学传感器。向控制部25输出由传感器部23检测出的检测数据。光学传感器由例如相机构成，也使用于对基于远距离感测数据撷取出的整个或一部分对象区域进行精微感测(以下，称为“近距离感测(第2感测的一例)”)。
这里，近距离感测包含通过拍摄能够感测的范围内的对象区域中的地表来观测地表的状态(例如植物或土壤的状态)。此外，为制作地图图像，光学传感器也可包含LiDAR。图6是表示由UAV1进行的远距离感测的范围(也就是能够感测的范围)、与由UGV2进行的近距离感测的范围的关系的图。如图6所示，在感测区域(例如高尔夫球场)A1中进行的远距离感测的范围R1比在对象区域A2中进行的近距离感测的范围R2广。
另外，在图6的例中，虽近距离感测的范围R2比对象区域A2大(也就是说，在近距离感测的范围R2内包含着对象区域A2)，但也有近距离感测的范围R2比对象区域A2窄(例如整个对象区域A2未落在相机的视角内)的情况。在所述情况下，可通过连续多次对对象区域A2进行近距离感测而对整个对象区域A2进行感测。此外，例如在近距离感测的时点，对象区域A1与UAV1之间的距离大于(长于)对象区域A2与UGV2之间的距离。
另外，传感器部23也可包含土壤传感器。在所述情况下，近距离感测包含测量对象区域的地中的水分量(含水量)、温度、盐分浓度、导电度、及酸性度中的至少任一个。能够通过所述近距离感测精微地观测植物或土壤的状态。另外，UGV2中具备用于将土壤传感器插入对象区域的地中的臂(例如油压臂)。所述臂由驱动部21驱动。
近距离感测例如在UGV2到达对象区域附近或对象区域内时进行1次以上。为提高近距离感测的精度，可按时间序列连续进行，近距离感测的时间间隔可为固定间隔，也可为不定间隔。
此外，也可在UGV2朝对象区域移动之前，由光学传感器进行地面感测。将所述感测称为“地面感测(第3感测的一例)”。
测位部24具备电波接收机等。测位部24例如通过电波接收机接收从GNSS卫星发送的电波，基于所述电波检测UGV2的当前位置(纬度及经度)。此外，UGV2的当前位置除了从GNSS卫星发送的电波以外，还可由SLAM处理来特定。另外，UGV2的当前位置也可基于由光学传感器拍摄的图像进行修正。向控制部25输出由测位部24检测出的表示当前位置的位置信息。
控制部25具备CPU、ROM、RAM、及非易失性存储器等。控制部25例如依照存储在ROM或非易失性存储器的程序(程序代码群)，如图5所示，作为感测控制部25a、感测数据取得部25b(第2取得部及第3取得部的一例)、及移动控制部25c发挥功能。此外，控制部25使无线通信部22将UGV2的位置信息及飞行体ID逐次发送到管理服务器3。所述飞行体ID为能够识别UGV2的识别信息。
感测控制部25a控制由传感器部23进行的各近距离感测及地面感测的时刻。近距离感测及地面感测的时刻可由所述程序预先规定，也可由来自管理服务器3的感测控制命令表示。
感测数据取得部25b取得通过近距离感测而得的近距离感测数据(第2感测数据的一例)。近距离感测数据由无线通信部22发送到管理服务器3，例如，用于判定在基于远距离感测数据撷取出的对象区域中是否发生异常。近距离感测数据可为从传感器部23输出的原始检测数据，也可为基于所述输出的原始检测数据进行解析处理后的数据。
另外，近距离感测数据也可为构成对象区域中的地表的RGB图像、植被覆盖度图像、及热图像等中的至少1个的地图图像的数据。将位置信息与所述地图图像的各像素值(例如相当于RGB值、覆盖度、或温度)建立对应。所述位置信息(也就是，近距离感测数据的位置信息)例如由表示UGV2的当前位置的位置信息、及SLAM处理而特定。
另外，在传感器部23中包含土壤传感器的情况下(也就是，使用插入地中的土壤传感器取得近距离感测数据的情况)，所述近距离感测数据中包含对象区域的地中的水分量、温度、盐分浓度、导电率、及酸性度中的至少任一个相关的数据。可将所述位置信息与所述数据建立对应。此外，感测数据取得部25b也可取得通过地面感测而得的地面感测数据(第3感测数据的一例)。由无线通信部22向管理服务器3发送地面感测数据。
移动控制部25c进行用于使UGV2朝对象区域移动的移动控制。在所述移动控制中，使用来自传感器部23的检测数据、来自测位部24的位置信息、及来自管理服务器3的移动控制信息等，进行车轮的转速控制、UGV2的位置及行进方向的控制。这里，移动控制信息包含例如使UGV2朝对象区域移动的移动命令。通过移动控制部25c，能够使UGV2朝对象区域移动。且，依照移动控制移动的UGV2能够通过传感器部23对于整个或一部分对象区域进行感测。
[1-3.管理服务器3的构成及功能]
接下来，参考图7及图8，对管理服务器3的构成及功能进行说明。图7是表示管理服务器3的概要构成例的图。如图7所示，管理服务器3具备通信部31、存储部32、及控制部33等。图8是表示控制部33的功能块例的图。通信部31负责控制经由通信网络NW，与各UAV1及UGV2之间进行的通信。由通信部31接收从UAV1发送的远距离感测数据、UAV1的位置信息及飞行体ID。管理服务器3能够通过UAV1的位置信息辨识UAV1的当前位置。
另外，由通信部31接收从UGV2发送的近距离感测数据、地面感测数据、UGV2的位置信息及飞行体ID。管理服务器3能够通过UGV2的位置信息辨识UGV2的当前位置。存储部32具备例如硬盘驱动器等。在存储部32设置感测数据库(DB：Database)32a。
在感测数据库32a中，将感测区域的位置信息、通过所述感测区域的远距离感测而得的远距离感测数据、进行所述远距离感测的UAV1的飞行体ID、从所述感测区域撷取出的对象区域的位置信息、通过所述对象区域的近距离感测而得的近距离感测数据、及进行所述近距离感测的UGV2的行走体ID等与每个对象区域建立对应并存储。这里，感测区域的位置信息可以是表示所述感测区域的外缘的纬度及经度的。同样地，对象区域的位置信息可以是表示所述对象区域的外缘的纬度及经度的。此外，也可将所述感测区域相关的管理者等的认证用信息(ID及密码)及电子邮件地址与感测区域的位置信息建立对应并存储到存储部32。
控制部33具备作为处理器的CPU、ROM、RAM、及非易失性存储器等。控制部33例如依照存储在ROM或非易失性存储器的程序(程序代码群)，如图8所示，作为感测数据取得部33a(第1取得部、第2取得部、及第3取得部的一例)、对象区域撷取部33b(撷取部的一例)、机体控制部33c、异常判定部33d(判定部的一例)、及信息提供部33e(显示控制部、及发送部的一例)等发挥功能。
感测数据取得部33a经由通信部31取得从UAV1发送的远距离感测数据。另外，感测数据取得部33a经由通信部31取得从UGV2发送的近距离感测数据。另外，感测数据取得部33a经由通信部31取得从UGV2发送的地面感测数据。
对象区域撷取部33b基于由感测数据取得部33a取得的远距离感测数据，撷取由UGV2进行感测的对象区域。例如，对象区域撷取部33b基于远距离感测数据，撷取在UAV1下方的区域中发生异常的可能性较高的区域(异常候补区域)作为对象区域。这种对象区域也可基于远距离感测数据所包含的植被覆盖度图像的覆盖度撷取。由此，能够迅速发现发生植物的异常的可能性较高的区域。例如，在植被覆盖度图像中撷取覆盖度为阈值以下的区域作为对象区域。
或者，所述对象区域也可基于远距离感测数据所包含的RGB图像的RGB值而撷取。例如，在RGB图像中撷取与特定适宜的植物颜色(RGB值)的差异为阈值以上的区域作为对象区域。或者，所述对象区域也可基于远距离感测数据所包含的热图像的温度而撷取。例如，在热图像中撷取与特定适宜温度的差异为阈值以上的区域作为对象区域。此外，也可基于植被覆盖度图像的覆盖度、RGB图像的RGB值、及热图像的温度中的任意2个以上的测定值撷取对象区域。
机体控制部33c能够进行用于使UAV1在感测区域内外飞行的飞行控制。例如，机体控制部33c通过由通信部31将飞行控制信息发送到UAV1而控制UAV1的飞行。另外，机体控制部33c能够进行用于使UGV2朝由对象区域撷取部33b撷取出对象区域的对象区域移动的移动控制。例如，机体控制部33c通过由通信部31将移动控制信息发送到UGV2而控制UGV2的移动。
UGV2的移动控制可基于UAV1的位置信息、与来自UAV1的远距离感测数据(例如RGB图像)进行。例如，机体控制部33c在使UGV2朝由对象区域撷取部33b撷取出的对象区域移动之前，基于UAV1的位置信息，使UGV2移动到由UAV1进行的远距离感测的范围(例如UAV1的相机的摄影范围)。也就是说，机体控制部33c使UGV2移动到一定程度上接近UAV1为止。这时，通过感测数据取得部33a取得由UAV1进行远距离感测而得的远距离感测数据、与由UGV2进行地面感测而得的地面感测数据。
机体控制部33c基于此时取得的远距离感测数据与地面感测数据，进行使UGV2朝对象区域移动的移动控制。例如，机体控制部33c通过匹配远距离感测数据与地面感测数据而进行用于使UGV2朝从地面感测数据检测出的对象区域移动的移动控制。由此，能够将UGV2更准确地引导到对象区域。
此外，远距离感测数据与地面感测数据的匹配通过以下而进行：例如从地面感测数据所包含的地图图像撷取与远距离感测数据包含的地图图像(例如RGB图像)中的若干个特徵点中的每个对应的特徵点(例如匹配度最大的特徵点)。此外，UAV1还能够通过UGV2将相机从通过相机观察的一侧朝向对象区域进行远距离感测(例如摄像)，而更容易地进行匹配。
另外，在由对象区域撷取部33b撷取出对象区域的情况下，机体控制部33c可进行使UAV1中断移动(例如沿着飞行路线的移动)并移行到悬停状态的控制。例如，对象区域撷取部33b使UAV1在对象区域的上空悬停。且，机体控制部33c使UGV2移动到由处于悬停状态的UAV1进行的远距离感测的范围(例如UAV1的相机的摄影范围)内。此外，也可使UGV2移动到UAV1的正下方附近。
之后，机体控制部33c基于远距离感测数据，进行用于使UGV2朝对象区域移动的移动控制。例如，机体控制部33c从远距离感测数据(例如RGB图像)连续取得UGV2与对象区域的位置关系，使UGV2朝对象区域移动，所述远距离感测数据从UAV1连续接收多次而得。由此，能够将UGV2更准确地引导到对象区域。
另外，在UGV2通过相机进行近距离感测的情况下，在整个对象区域未落在相机的视角的情况下，机体控制部33c为了使所述整个对象区域相关的数据(例如，包含整个对象区域的地图图像)包含在近距离感测数据内，可以一边使UGV2移动，一边使所述UGV2连续多次对对象区域进行近距离感测的方式控制。由此，即使在整个对象区域未落在相机视角内的情况下，也能够针对整个对象区域获得近距离感测数据(例如多张静止图像或动态图像)。
此外，整个对象区域是否落在相机视角内的判定可由控制部33进行，也可由UGV2进行。在由控制部33进行所述判定的情况下，机体控制部33c以整个对象区域相关的数据包含在近距离感测数据内的方式决定行走路线，由通信部31向UGV2发送包含沿着所述决定的行走路线的移动命令及近距离感测的执行命令的移动控制信息。另一方面，在由UGV2进行所述判定的情况下，UGV2也可不从机体控制部33c接收所述命令，而以整个对象区域相关的数据包含在近距离感测数据内的方式，一边自主移动，一边连续多次对所述对象区域进行感测。
异常判定部33d基于由感测数据取得部33a取得的近距离感测数据，判定由对象区域撷取部33b撷取出的对象区域中是否发生异常。也就是说，确定地判断由对象区域撷取部33b撷取出的对象区域是否发生异常。例如，也可基于近距离感测数据，进行更高精度的异常判定，而判定对象区域中是否发生异常。
在更高精度的异常判定中，例如可利用机械学习。在所述情况下，使用通过输入近距离感测数据，输出有无发生异常的训练数据学习的已学习的模型。异常判定部33d将由UGV2进行近距离感测而得的近距离感测数据输入到所述已学习模型，由此，能够输出所述近距离感测的对象区域是否发生异常。由此，异常判定部33d能够判定对象区域是否发生异常。此外，也可利用机械学习以外的解析算法判定对象区域是否发生异常。
信息提供部33e在所述管理者通过植物及土壤中的任一个的管理者具有的管理者终端利用自身的认证用信息登录之后，经由通信部31向所述管理者终端发送由感测数据取得部33a取得的近距离感测数据。由此，管理者能够确认近距离感测数据，更详细地调查植物(例如草坪或农作物等)是否发生疾病。管理者能够依照调查结果，指示例如施药、施肥、施水、施砂、或除草等适当的处置。这里，在感测区域为高尔夫球场的情况下，管理者为例如草坪管理者。或者，在感测区域为农场的情况下，管理者为例如农作物的管理者(生产者)。此外，如上所述，将通过UGV2连续多次对对象区域进行近距离感测而得的包含多张静止图像或动态图像的近距离感测数据发送到管理者终端。
另外，信息提供部33e也可通过将基于由感测数据取得部33a取得的近距离感测数据，由对象区域撷取部33b撷取出的对象区域相关的信息发送到显示终端而加以显示。由此，能够使管理者视觉上掌握撷取出的对象区域相关的信息。此外，显示终端可为管理者终端，也可为感测区域的使用者或工作者使用的终端。另外，对象区域相关的信息也可为例如对象区域的地图图像(例如RGB图像、植被覆盖度图像、或热图像)。也可在所述地图图像上重叠显示地图区域(例如高尔夫球场的名称)或对象区域的名称及位置信息等。
[2.感测系统S的动作]
接下来，对感测系统S的动作，分为实施例1～实施例5进行说明。此外，在感测系统S的动作中，管理服务器3将远距离感测使用的UAV1的飞行体ID、与近距离感测使用的UGV2的行走体ID建立对应而管理。且，UAV1在飞行过程中，将自身的位置信息及飞行体ID逐次发送到管理服务器3，UGV2在行走过程中，将自身的位置信息及行走体ID逐次发送到管理服务器3。
(实施例1)
首先，参考图9，对感测系统S的动作的实施例1进行说明。图9是表示实施例1中在UAV1、UGV2、及管理服务器3之间执行的处理的一例的顺序图。图9中，管理服务器3将包含沿着通往感测区域的飞行路线的飞行命令的飞行控制信息经由通信网络NW发送到UAV1(步骤S1)。
接下来，UAV1取得(接收)来自管理服务器3的飞行控制信息后，沿着通往感测区域的飞行路线开始飞行(步骤S2)。接下来，UAV1到达感测区域的上空后(步骤S3)，启动传感器部13开始远距离感测，取得通过对UAV1的下方进行远距离感测而得的远距离感测数据(步骤S4)。此外，远距离感测可由UAV1一边移动一边进行，也可由其一边悬停一边进行。接下来，UAV1将由步骤S4取得的远距离感测数据及UAV1的飞行体ID经由通信网络NW发送到管理服务器3(步骤S5)。
接下来，管理服务器3取得来自UAV1的远距离感测数据及飞行体ID后，基于所述远距离感测数据，撷取由UGV2感测的对象区域(步骤S6)。所述UGV2例如基于和与远距离感测数据一起从管理服务器3取得的飞行体ID建立对应的行走体ID而特定。接下来，管理服务器3将包含向由步骤S6撷取出的对象区域移动的移动命令的移动控制信息经由通信网络NW发送到UGV2(步骤S7)。所述移动控制信息包含所述撷取出的对象区域的位置信息。
接下来，UGV2取得来自管理服务器3的移动控制信息后，开始朝对象区域移动(步骤S8)。接下来，UGV2到达对象区域的附近或对象区域内(步骤S9)后，启动传感器部23开始近距离感测，取得通过对整个或一部分对象区域进行近距离感测而得的近距离感测数据(步骤S10)。接下来，UGV2将由步骤S10取得的近距离感测数据及UGV2的行走体ID经由通信网络NW发送到管理服务器3(步骤S11)。
接下来，管理服务器3取得来自UGV2的近距离感测数据及行走体ID后，基于所述近距离感测数据，判定在由步骤S6撷取出的对象区域中是否发生异常(步骤S12)。判定为对象区域未发生异常的情况下(步骤S12：否(NO))，结束处理。
另一方面，判定为对象区域发生异常的情况下(步骤S12：是(YES))，将记述用于存取由步骤S6撷取出的对象区域相关的信息(例如对象区域的地图图像)的URL(UniformResource Locator：统一资源定位器)的电子邮件发送到所述感测区域相关的管理者的电子邮件地址(步骤S13)。这样发送的电子邮件由管理者的管理者终端接收并显示。且，通过指定电子邮件所记述的URL而由管理者终端显示对象区域相关的信息。
(实施例2)
接下来，参考图10，对感测系统S的动作的实施例2进行说明。实施例2是基于由管理服务器3进行的远距离感测数据与地面感测数据的匹配的结果，使UGV2朝对象区域移动的情况的例。图10是表示实施例2中在UAV1、UGV2、及管理服务器3之间执行的处理的一例的顺序图。此外，图10所示的步骤S21～S26的处理与图9所示的步骤S1～步骤S6的处理同样。在步骤S27中，管理服务器3基于UAV1的位置信息与UGV2的位置信息，决定UGV2进入由UAV1进行的远距离感测的范围(例如UAV1的相机的摄影范围)内的地点。接下来，管理服务器3将包含向由步骤S27决定的地点移动的移动命令的移动控制信息经由通信网络NW发送到UGV2(步骤S28)。所述移动控制信息包含所述决定的地点的位置信息。
接下来，UGV2取得来自管理服务器3的移动控制信息后，开始朝所述地点移动(步骤S29)。接下来，UGV2到达所述移动控制信息所示的地点后(步骤S30)，启动传感器部23开始地面感测，取得通过地面感测而得的地面感测数据(步骤S31)。接下来，UGV2将由步骤S31取得的地面感测数据及UGV2的行走体ID经由通信网络NW发送到管理服务器3(步骤S32)。
接下来，管理服务器3取得地面感测数据及行走体ID后，匹配远距离感测数据与地面感测数据，从地面感测数据检测由步骤S26撷取出的对象区域(步骤S33)。接下来，管理服务器3将包含向由步骤S33检测出的对象区域移动的移动命令的移动控制信息经由通信网络NW发送到UGV2(步骤S34)。此外，图10所示的步骤S35～S40的处理与图9所示的步骤S8～S13的处理同样。
(实施例3)
接下来，参考图11，对感测系统S的动作的实施例3进行说明。实施例3是基于由UGV2进行的远距离感测数据与地面感测数据的匹配结果，使UGV2朝对象区域移动的情况的例。图11是表示实施例3中在UAV1、UGV2、及管理服务器3之间执行的处理的一例的顺序图。此外，图11所示的步骤S51～S57的处理与图10所示的步骤S21～步骤S27的处理同样。步骤S58中，管理服务器3将表示包含由步骤S56撷取出的对象区域的远距离感测数据、与经由由步骤S57决定的地点向对象区域移动的移动命令的移动控制信息经由通信网络NW发送到UGV2。所述移动控制信息包含所述决定的地点的位置信息。
接下来，UGV2取得来自管理服务器3的远距离感测数据及移动控制信息后，开始朝所述地点移动(步骤S59)。接下来，UGV2到达所述移动控制信息所示的地点(步骤S60)，启动传感器部23开始地面感测，并取得通过地面感测而得的地面感测数据(步骤S61)。接下来，UGV2匹配从管理服务器3取得的远距离感测数据、与由步骤S61取得的地面感测数据，从地面感测数据检测所述远距离感测数据所示的对象区域(步骤S62)。接下来，UGV2一边进行地面感测，一边开始朝从地面感测数据检测出的对象区域移动(步骤S63)。此外，图11所示的步骤S64～S68的处理与图10所示的步骤S36～步骤S40的处理同样。
(实施例4)
接下来，参考图12，对感测系统S的动作的实施例4进行说明。实施例4是基于由管理服务器3特定的对象区域与UGV2的位置关系，使UGV2朝对象区域移动的情况的例。图12是表示实施例4中在UAV1、UGV2、及管理服务器3之间执行的处理的一例的顺序图。此外，图12所示的步骤S71～S76的处理与图9所示的步骤S1～步骤S6的处理同样。在步骤S77中，管理服务器3将包含向由步骤S76撷取出的对象区域飞行的飞行命令的飞行控制信息经由通信网络NW发送到UAV1。
接下来，UAV1取得来自管理服务器3的飞行控制信息后，开始朝对象区域飞行(步骤S78)。接下来，UAV1到达对象区域的上空(步骤S79)后，UAV1在所述对象区域的上空中断移动并移行到悬停状态(步骤S80)。接下来，UAV1将通过进行远距离感测而得的远距离感测数据及飞行体ID经由通信网络NW发送到管理服务器3(步骤S81)。所述远距离感测数据连续地重复发送到管理服务器3。
接下来，管理服务器3取得来自UAV1的远距离感测数据及飞行体ID后，基于处于悬停状态的UAV1的位置信息、及UGV2的位置信息，决定UGV2进入由UAV1进行的远距离感测的范围(例如UAV1的相机的摄影范围)内的地点(步骤S82)。接下来，管理服务器3将包含向由步骤S82决定的地点移动的移动命令的移动控制信息经由通信网络NW发送到UGV2(步骤S83)。
接下来，UGV2取得来自管理服务器3的移动控制信息后，开始朝所述地点移动(步骤S84)。在UGV2朝所述地点移动的期间，由管理服务器3连续地重复接收来自UAV1的远距离感测数据。
接下来，管理服务器3通过使UGV2进入由UAV1进行的远距离感测的范围，而从自UAV1连续接收到的远距离感测数据检测UGV2后，基于所述远距离感测数据特定(取得)UGV2与对象区域的位置关系(步骤S85)。所述位置关系表示例如以UGV2为基准的对象区域的方位、及UGV2与区域距离之间的距离。接下来，管理服务器3将包含向由步骤S76撷取出的对象区域移动的移动命令的移动控制信息经由通信网络NW发送到UGV2(步骤S86)。所述移动控制信息也可包含表示时时刻刻变化的所述位置关系的信息，将所述信息连续重复发送到UGV2，直到UGV2到达对象区域为止。
接下来，UGV2取得来自管理服务器3的移动控制信息后，基于所述UGV2与对象区域的位置关系，开始向对象区域移动(步骤S87)。也就是说，UGV2向所述位置关系所示的方位角移动所述位置关系所示的距离。此外，UGV2也可依照从管理服务器3重复接收到的移动控制信息中时时刻刻变化的所述位置关系，向对象区域移动直到到达对象区域为止。此外，图12所示的步骤S88～S92的处理与图9所示的步骤S9～S13的处理同样。
(实施例5)
接下来，参考图13，对感测系统S的动作的实施例5进行说明。实施例5是基于由UAV1特定的对象区域与UGV2的位置关系，使UGV2向对象区域移动的情况的例。图13是表示实施例5中在UAV1、UGV2、及管理服务器3之间执行的处理的一例的顺序图。此外，图13所示的步骤S101～S114的处理与图12所示的步骤S71～步骤S84的处理同样。
UAV1通过UGV2进入远距离感测的范围，从远距离感测数据检测UGV2后，基于所述远距离感测数据来特定UGV2与对象区域的位置关系(步骤S115)。接下来，UAV1通过近距离无线通信功能将包含向由步骤S107取得的飞行控制信息所示的对象区域移动的移动命令的移动控制信息发送到UGV2(步骤S116)。所述移动控制信息中也可包含表示时时刻刻变化的所述位置关系的信息，将所述信息连续重复发送到UGV2，直到UGV2到达对象区域为止。
接下来，UGV2取得来自UAV1的移动控制信息后，基于所述UGV2与对象区域的位置关系，开始向对象区域移动(步骤S117)。此外，UGV2也可依照从UAV1重复接收到的移动控制信息中时时刻刻变化的所述位置关系，向对象区域移动直到到达对象区域为止。此外，图13所示的步骤S118～S122的处理与图12所示的步骤S88～S92的处理同样。
如以上所说明，根据所述实施方式，因感测系统S如下地构成，所以为了迅速发现并调查对象区域，能够取得考虑到俯瞰的远距离感测与精微的近距离感测这两个的优点的适宜的感测数据，所述构成为：基于通过空中UAV1对下方进行远距离感测而得的远距离感测数据撷取应由UGV2进行近距离感测的对象区域，进行用于使UGV2向所述对象区域移动的移动控制，取得由依照所述移动控制移动的UGV2对整个或一部分对象区域进行近距离感测而得的近距离感测数据。
也就是说，根据本实施方式，通过UAV1的俯瞰的远距离感测能够迅速发现在UAV1的下方例如发生异常的可能性较高的对象区域，之后，通过UGV2的精微的近距离感测能够详细地调查所述对象区域。因此，因为UAV1无需一边进行低空飞行一边对下方进行感测，所以能够防止由于地面效应使得UAV1变得不稳定。另外，因为也无需在UAV1着陆的状态下对周围进行感测，所以能够防止UAV1变得不稳定，同时抑制用于UAV1的起飞着陆的能量(电池或燃料)的消耗。此外，因为UAV1也可不从上空使用高倍率的传感器进行感测，所以能够避免由于UAV1的振动等对感测造成的不良影响。此外，根据本实施方式，能够使用考虑到俯瞰感测与精微感测这两个的优点的感测数据，迅速且高精度地判定对象区域是否发生异常。
此外，所述实施方式是本发明的一实施方式，本发明并非限定在所述实施方式，也能够在不脱离本发明的主旨的范围内从所述实施方式对各种构成等施加变更，所述情况也包含在本发明的技术范围内。在所述实施方式中，虽假设管理高尔夫球场的草坪或管理农场的农作物等，但除所述管理以外，本发明也能适宜地应用于从相对较广的范围发现发生异常的部位。例如，本发明也能够应用于道路的管理等。在所述情况下，例如，撷取道路中发生裂缝的可能性较高的区域、或道路中发生阈值以上的倾斜或凹凸的可能性较高的区域作为对象区域。另外，在所述实施方式中，虽作为飞行体，以载人飞机为例进行说明，但飞行体也能够应用于即使机内不存在操纵者(飞行员)也能够飞行的载人飞机。
另外，在所述实施方式中，虽表示了将感测数据取得部33a、对象区域撷取部33b、机体控制部33c、异常判定部33d、及信息提供部33e备置于管理服务器3的控制部33的情况的例，但所述构成要件的全部或一部分可备置于UAV1的控制部15或UGV2的控制部25。例如，UAV1的控制部15可基于远距离感测数据撷取应进行近距离感测数据的对象区域，并通过近距离无线通信功能将所述移动控制信息发送到UGV2，由此进行用于使UGV2朝所述对象区域移动的移动控制。另外，UAV1的控制部15可从UGV2或管理服务器3取得近距离感测数据，并基于所述近距离感测数据判定对象区域中是否发生异常。另外，UAV1的控制部15可将近距离感测数据发送到管理者终端，也可基于所述近距离感测数据使显示终端显示对象区域相关的信息。或者，UGV2的控制部25也可从UAV1或管理服务器3取得远距离感测数据，基于所述远距离感测数据撷取应进行近距离感测数据的对象区域，并进行用于使UGV2朝所述对象区域移动的移动控制。另外，UGV2的控制部25也可基于近距离感测数据判定所述对象区域是否发生异常。另外，UGV2的控制部25可将近距离感测数据发送到管理者终端，也可基于所述近距离感测数据使显示终端显示对象区域相关的信息。
[符号的说明]
1:UAV
2:UGV
3:管理服务器
11,12:驱动部
12,22:无线通信部
13,23:传感器部
14,24:测位部
15,25:控制部
31:通信部
32:存储部
33:控制部
15a,25a:感测控制部
15b,25b:感测数据取得部
15c:飞行控制部
25c:移动控制部
33a:感测数据取得部
33b:对象区域撷取部
33c:机体控制部
33d:异常判定部
33e:信息提供部
S:感测系统。

Claims (18)

1.一种感测系统，特征在于具备：
第1取得部，取得通过空中飞行体对下方进行感测而得的第1感测数据；
撷取部，基于所述第1感测数据，撷取由能够在地面行走的行走体进行感测的对象区域；
控制部，进行用于使所述行走体朝所述对象区域移动的移动控制；及
第2取得部，取得通过依照所述移动控制移动的所述行走体对整个或一部分所述对象区域进行感测而得的第2感测数据。
2.根据权利要求1所述的感测系统，特征在于还具备：显示控制部，基于所述第2感测数据，使显示终端显示所述对象区域相关的信息。
3.根据权利要求1或2所述的感测系统，特征在于，所述撷取部基于所述第1感测数据，撷取所述下方发生异常的可能性较高的区域作为所述对象区域。
4.根据权利要求1到3中任一权利要求所述的感测系统，特征在于，所述第1感测数据包含植被覆盖度图像，
所述撷取部基于所述植被覆盖度图像的覆盖度，撷取所述对象区域。
5.根据权利要求1到4中任一权利要求所述的感测系统，特征在于，所述第2感测数据包含所述对象区域的地中的水分量、温度、盐分浓度、导电度、及酸性度中的至少任一个相关的数据。
6.根据权利要求1到5中任一权利要求所述的感测系统，特征在于，使用插入上述对象区域的地中的传感器取得所述第2感测数据。
7.根据权利要求1到6中任一权利要求所述的感测系统，特征在于，还具备基于所述第2感测数据，判定所述对象区域是否发生异常的判定部。
8.根据权利要求3或7所述的感测系统，特征在于，所述异常是植物、土壤、及道路中的任一个的异常。
9.根据权利要求8所述的感测系统，特征在于，还具备发送部，将所述第2感测数据发送到所述植物、所述土壤、及所述道路中的任一个的管理者具有的终端。
10.根据权利要求1到9中任一权利要求所述的感测系统，特征在于，所述控制部为使整个所述对象区域的数据包含在所述第2感测数据内，一边使所述行走体移动，一边使所述行走体连续多次对所述对象区域进行感测。
11.根据权利要求1到10中任一权利要求所述的感测系统，特征在于，还具备第3取得部，在使所述行走体朝所述对象区域移动之前，取得通过所述行走体对地面进行感测而得的第3感测数据，
所述控制部基于所述第1感测数据与所述第3感测数据，进行用于使所述行走体朝所述对象区域移动的移动控制。
12.根据权利要求11所述的感测系统，特征在于，所述控制部通过匹配所述第1感测数据与所述第3感测数据，进行用于使所述行走体朝从所述第3感测数据检测出的所述对象区域移动的移动控制。
13.根据权利要求1到12中任一权利要求所述的感测系统，特征在于，在由所述撷取部撷取出所述对象区域的情况下，所述控制部在使所述行走体移动到由处于悬停状态的所述飞行体进行的所述感测范围内之后，基于所述第1感测数据，进行用于使所述行走体朝所述对象区域移动的移动控制。
14.根据权利要求13所述的感测系统，特征在于，所述飞行体一边在预先确定的飞行路线移动一边进行所述感测，
在由所述撷取部撷取出所述对象区域的情况下，所述控制部使所述飞行体中断沿所述路线的移动并移行到所述悬停状态。
15.根据权利要求1到13中任一权利要求所述的感测系统，特征在于，所述对象区域与所述飞行体之间的距离大于所述对象区域与所述行走体之间的距离。
16.根据权利要求1到15中任一权利要求所述的感测系统，特征在于，由所述飞行体进行的所述感测范围比由所述行走体进行的所述感测范围广。
17.一种感测数据取得方法，特征在于包含以下步骤：
取得通过空中飞行体对下方进行感测而得的第1感测数据；
基于所述第1感测数据，撷取由能够在地面行走的行走体进行感测的对象区域；
控制部，进行用于使所述行走体朝所述对象区域移动的移动控制；及
取得由依照所述移动控制移动的所述行走体对整个或一部分所述对象区域进行感测而得的第2感测数据。
18.一种控制装置，特征在于具备：
第1取得部，取得通过空中飞行体对下方进行感测而得的第1感测数据；
撷取部，基于所述第1感测数据，撷取由能够在地面行走的行走体进行感测的对象区域；
控制部，用于进行使所述行走体朝所述对象区域移动的移动控制；及
第2取得部，取得通过依照所述移动控制移动的所述行走体对整个或一部分所述对象区域进行感测而得的第2感测数据。
CN202080037168.3A 2020-11-27 2020-11-27 感测系统、感测数据取得方法、及控制装置 Pending CN114829896A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/044196 WO2022113260A1 (ja) 2020-11-27 2020-11-27 センシングシステム、センシングデータ取得方法、及び制御装置

Publications (1)

Publication Number Publication Date
CN114829896A true CN114829896A (zh) 2022-07-29

Family

ID=81214352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080037168.3A Pending CN114829896A (zh) 2020-11-27 2020-11-27 感测系统、感测数据取得方法、及控制装置

Country Status (6)

Country Link
US (1) US20230116047A1 (zh)
EP (1) EP4033322A1 (zh)
JP (1) JP7041794B1 (zh)
CN (1) CN114829896A (zh)
TW (1) TWI771231B (zh)
WO (1) WO2022113260A1 (zh)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0659733A (ja) * 1991-09-04 1994-03-04 Nec Home Electron Ltd 自律走行ロボット及びその電源コード搬送方法
JP3631431B2 (ja) * 2000-12-05 2005-03-23 独立行政法人科学技術振興機構 探知装置、探知方法
JP2003006612A (ja) * 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
JP2011254711A (ja) 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム，その方法，産業用ヘリコプタ，サーバ，可変施肥機
JP6069882B2 (ja) * 2012-04-27 2017-02-01 三菱電機株式会社 農業用管理システム
US10234439B2 (en) * 2012-11-07 2019-03-19 Airscout Inc. Methods and systems for analyzing a field
US10165722B2 (en) * 2014-12-05 2019-01-01 Deere & Company Scouting systems
JP6285875B2 (ja) * 2015-01-06 2018-02-28 株式会社日立製作所 植物成長分析システム、及び植物成長分析方法
US9625904B2 (en) * 2015-03-24 2017-04-18 Southwest Research Institute Unmanned ground/aerial vehicle system having autonomous ground vehicle that remotely controls one or more aerial vehicles
JP6598154B2 (ja) * 2015-11-05 2019-10-30 株式会社Ｉｈｉエアロスペース 爆発物探知システム
TW201810185A (zh) * 2016-06-20 2018-03-16 帕戈技術股份有限公司 影像對準系統及方法
US10351237B2 (en) * 2016-07-28 2019-07-16 Qualcomm Incorporated Systems and methods for utilizing unmanned aerial vehicles to monitor hazards for users
JP6138326B1 (ja) * 2016-08-05 2017-05-31 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
WO2018071727A1 (en) * 2016-10-12 2018-04-19 Aker Technologies, Inc. System for monitoring crops and soil conditions
JP6644729B2 (ja) * 2017-03-31 2020-02-12 株式会社日本総合研究所 情報処理装置、プログラム、情報処理システム及びデータ構造
JP6898589B2 (ja) * 2017-08-21 2021-07-07 コニカミノルタ株式会社 刈り取りスケジュール決定方法及び刈り取りスケジュール決定プログラム
JP6333456B1 (ja) * 2017-08-30 2018-05-30 アビームコンサルティング株式会社 生産管理装置、生産管理方法及びプログラム
JP7076969B2 (ja) * 2017-09-06 2022-05-30 株式会社トプコン 施肥を行う装置、施肥を行う方法およびプログラム
JP2019095937A (ja) * 2017-11-20 2019-06-20 ナブテスコ株式会社 農作物育成支援システム、情報収集装置、育成支援サーバ、および農作物販売支援システム
JP7225600B2 (ja) * 2018-08-10 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
US20200217830A1 (en) * 2019-01-08 2020-07-09 AgroScout Ltd. Autonomous crop monitoring system and method
JP7176980B2 (ja) * 2019-02-27 2022-11-22 株式会社日立製作所 作物管理システム及び作物管理方法
US20230136009A1 (en) * 2020-03-23 2023-05-04 Bayer Aktiengesellschaft Method, vehicle and system for weed control management

Also Published As

Publication number Publication date
EP4033322A4 (en) 2022-07-27
US20230116047A1 (en) 2023-04-13
JPWO2022113260A1 (zh) 2022-06-02
JP7041794B1 (ja) 2022-03-24
WO2022113260A1 (ja) 2022-06-02
TW202221438A (zh) 2022-06-01
TWI771231B (zh) 2022-07-11
EP4033322A1 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
US20200344464A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects
EP2772814B1 (en) Tree metrology system
US20190068829A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
EP3735624B1 (en) Adjustable object avoidance proximity threshold
JP6390013B2 (ja) 小型無人飛行機の制御方法
WO2020115902A1 (ja) 物品受け渡し場所の決定方法、着陸場所の決定方法、物品受け渡しシステム、及び情報処理装置
US10313575B1 (en) Drone-based inspection of terrestrial assets and corresponding methods, systems, and apparatuses
JP2017116305A (ja) 水位測定システムおよび水位制御システム、並びに、これらを用いた水位測定方法および水位制御方法
Merz et al. Autonomous unmanned helicopter system for remote sensing missions in unknown environments
JP2023041675A (ja) ドローン作業支援システム及びドローン作業支援方法
Takahashi et al. Evaluation of safe landing area determination algorithms for autonomous rotorcraft using site benchmarking
CN115427756A (zh) 测量系统、测量方法以及测量程序
JP7041794B1 (ja) センシングシステム、センシングデータ取得方法、及び制御装置
US20220197314A1 (en) Travel control system, control method, and control device
EP3761136B1 (en) Control device, mobile body, and program
KR102467855B1 (ko) 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템
CN116612062A (zh) 信息处理装置、难视辨地点特定方法、及无人飞行器
US20220201922A1 (en) Industrial machinery system, industrial machine, control apparatus, control method for industrial machinery system, and control program for industrial machinery system
Conte et al. Performance evaluation of a light-weight multi-echo lidar for unmanned rotorcraft applications
Jiménez López et al. Crops diagnosis using digital image processing and precision agriculture technologies
Naufal et al. Vision-based Autonomous Landing System for Quadcopter Drone Using OpenMV
US11990051B2 (en) Flight system, flight route determination method, and flight route determination device
US20230260410A1 (en) Information processing device, landing suitability determining method, and non-transitory computer readable memory
US20240071237A1 (en) Information processing apparatus, method, and non-transitory computer readable medium
US20240168493A1 (en) Automatic Selection of Delivery Zones Using Survey Flight 3D Scene Reconstructions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination