CN109373975A - 检测车辆控制设备、控制方法和计算机程序 - Google Patents

检测车辆控制设备、控制方法和计算机程序 Download PDF

Info

Publication number
CN109373975A
CN109373975A CN201811272015.8A CN201811272015A CN109373975A CN 109373975 A CN109373975 A CN 109373975A CN 201811272015 A CN201811272015 A CN 201811272015A CN 109373975 A CN109373975 A CN 109373975A
Authority
CN
China
Prior art keywords
image
information
mobile device
hovering camera
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811272015.8A
Other languages
English (en)
Other versions
CN109373975B (zh
Inventor
佐部浩太郎
P·杜尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109373975A publication Critical patent/CN109373975A/zh
Application granted granted Critical
Publication of CN109373975B publication Critical patent/CN109373975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G05D1/224—
    • G05D1/689—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports

Abstract

本申请涉及检测车辆控制设备、控制方法和计算机程序。车辆控制系统包括附接到车辆并捕获多个图像的至少一个成像设备，以及控制电路，其从多个图像生成合成图像，并在显示单元上显示该合成图像。车辆根据正在显示合成图像的显示单元的一部分上的用户操作来操作。

Description

检测车辆控制设备、控制方法和计算机程序
本申请是中国专利申请号为201580054839.6、申请日为2015年10月9日的PCT申请PCT/JP2015/005142、名称为“检测车辆控制设备、控制方法和计算机程序”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2014年10月17日提交的日本优先权专利申请JP2014-212953的权益，其全部内容通过引用并入本文。
技术领域
本公开涉及控制设备、控制方法和计算机程序。
背景技术
已经公开了与用于使用安装在无线电可控飞行体中的相机捕获照片的方法有关的技术(例如，参考专利文献1)。使用安装在这种飞行体中的相机，能够从天空或三脚架难以设置的位置捕获照片。使用安装在飞行体中的相机进行捕获带来了各种优点，因为其可以抑制成本，并且与当使用真实的飞机或直升机时的情况相比，安全捕获、在低海拔或狭窄地方捕获、在目标附近捕获等是可能的。
引用列表
专利文献
PTL 1：JP 2006-27448A
发明内容
技术问题
为了操作诸如可以是汽车、飞行体或配备有这种相机的机器人的车辆的移动对象，通常需要专用控制器。这里，当用户可以使用由移动对象捕获的图像简单地向移动对象的指定移动指令时，即使不习惯移动对象的操作的用户也被认为能够容易地将移动对象移动到期望的位置。
在这点上，本公开提出了新颖的和改进的并且能够使用通过捕获移动对象而获得的图像来给出直观地移动移动对象的指令的控制系统、控制方法和计算机程序。
问题的解决方案
根据本公开的一个方面，提供了一种车辆控制系统，包括：至少一个成像设备，附接到车辆并且被配置为捕获多个图像；以及控制电路，其被配置为从所述多个图像生成合成图像，并且在显示单元上显示所述合成图像，其中所述车辆根据正在显示所述合成图像的显示单元的一部分上的用户操作来操作。
根据本公开的另一方面，提供了一种车辆控制方法，包括：经由附接到车辆的至少一个成像设备捕获多个图像；从所述多个图像生成合成图像，并且在显示单元上显示所述合成图像；以及根据正在显示所述合成图像的所述显示单元的一部分上的用户操作来操作所述车辆。
根据本公开的另一方面，计算机系统包括：至少一个处理单元；和存储器，所述存储器包括存储指令的非暂时性计算机可读介质，所述指令在被所述至少一个处理单元执行时使得所述计算机系统使得附接到车辆的至少一个成像设备捕获多个图像，从所述多个图像产生合成图像，在显示单元上显示所述合成图像，以及根据用户对正在显示所述合成图像的显示单元的一部分上的用户操作来操作所述车辆。
发明效果
如上所述，根据本公开的实施例中的一个或多个，提供了新颖的和改进的并且能够使用通过移动对象捕获的图像来给出直观地移动移动对象的指令的控制系统、控制方法和计算机程序。
注意，上述效果不一定受到限制，并且与效果一起或代替效果，可以呈现期望在本说明书中引入的任何效果或可以从本说明书预期的其他效果。
附图说明
[图1]图1是用于描述本公开的实施例的概要的说明图。
[图2]图2是示出根据本公开的实施例的检测系统10的示例性系统配置的说明图。
[图3]图3是示出根据本公开的实施例的悬停相机100的示例性功能配置的说明图。
[图4]图4是示出根据本公开的实施例的控制端子200的示例性功能配置的说明图。
[图5]图5是示出根据本公开的实施例的检测系统10的示例性操作的流程图。
[图6]图6是示出在控制端子200的显示单元210上显示的示例性画面的说明图。
[图7]图7是示出在控制端子200的显示单元210上显示的示例性画面的说明图。
[图8]图8是示出在控制端子200的显示单元210上显示的示例性画面的说明图。
[图9]图9是概念性地示出通过悬停相机100捕获桥1的底面的示例的说明图。
[图10]图10是概念性地示出根据本公开的实施例的检测系统10中的悬停相机100的操作的说明图。
[图11]图11是概念性地示出根据本公开的实施例的检测系统10中的悬停相机100的操作的说明图。
[图12]图12是示出在控制端子200的显示单元210上显示的示例性画面的说明图。
[图13]图13是示出当检测桥梁3的底面时的概要的说明图。
[图14]图14是示出通过拼接由悬停相机100捕获的静止图像而获得的图像20的示例的说明图。
[图15]图15是示出根据本公开的实施例的信息处理设备300的示例性功能配置的说明图。
[图16]图16是示出根据本公开的实施例的信息处理设备300的示例性操作的流程图。
[图17]图17是示出根据本公开的实施例的控制端子200的示例性操作的流程图。
[图18]图18是示出使得悬停相机100捕获地面方向的示例的说明图。
[图19]图19是示出使得用户使用组合图像指定悬停相机100的飞行路径的示例的说明图。
[图20]图20是示出使得悬停相机100捕获向上方向(桥的背面)的示例的说明图。
[图21]图21是示出使得用户使用组合图像指定悬停相机100的飞行路径的示例的说明图。
[图22]图22是示出控制端子200生成并显示组合图像的示例的说明图。
[图23]图23是用于基于用户对组合图像的输入来描述控制端子200的飞行路径生成处理的说明图。
[图24]图24是示出示例性组合图像的说明图。
[图25]图25是示出示例性组合图像的说明图。
[图26]图26是示出根据本公开的实施例的控制端子200的示例性操作的流程图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施例(一个或多个)。注意，在本说明书和附图中，用相同的附图标记表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
将按照以下顺序进行描述。
1.本公开的实施例
1.1.概述
1.2.示例性系统配置
1.3.示例性功能配置
1.4.示例性操作
1.5.示例性损坏数据生成
1.5.1.示例性功能配置
1.5.2.示例性操作
1.6.使用组合图像的示例飞行指令
2.结论
<1.本公开的实施例>
(1.1.概述)
在本公开的实施例的具体实施方式中，将首先描述本公开的实施例的概述。
在诸如道路、桥、隧道或建筑物的结构的操作和维护中，由人来检查结构的状态是不可缺少的。通常，为了视觉地检查这种结构，通常，工人接近结构，并且在视觉上检查在结构中是否发生诸如螺栓等的耦接构件的腐蚀或破裂或松动的损坏，或者执行锤击测试以检查这种异常的存在或不存在。
例如，对于桥梁，特别是混凝土桥梁的操作和维护，需要为执行对桥梁或桥墩的视觉检测和锤击测试的工人在桥墩或桥梁的背面部分处设置脚手架或者需要关闭一些车道或所有车道，以确保工人的安全或放置工作车辆。因此，检测所需的成本，因道路关闭而放置道路引导人员所需的成本以及由于道路关闭而发生的绕道的交通堵塞可能是有问题的。
此外，例如，当在河流或海上进行建造时，存在不容易设置脚手架或者难以设置脚手架的桥。因此，考虑到这种情况，期望能够以低成本且高安全性地实现结构检测而不影响交通的技术。
因此，本申请的公开者已经审查了考虑到这种情况能够以低成本且高安全性地实现结构检测而不影响交通的技术。此外，本申请的公开者以提出了一种能够使用配备有成像设备的飞行体(在下面的描述中，配备有成像设备的飞行体也被称为“悬停相机”)来以低成本且高安全性地实现检测而不影响交通的技术结束，这将在下面描述。
图1是用于描述本公开的实施例的概要的说明图。例如，图1示意性地示出由混凝土构成的桥1。当检测由混凝土构成的桥1时，在相关技术中，需要在桥墩2或桥梁3的背面部分处设置脚手架，以便工人视觉地检测是否已发生诸如破裂或腐蚀的损坏，或者需要关闭一些车道或所有车道以确保工人的安全或放置工作车辆。
在本公开的实施例中，当检测桥1时使用悬停相机100。悬停相机100是配备有成像设备的飞行体，其被配置为根据预先设置的飞行信息(在本实施例中包括飞行路径和静止图像的成像位置的信息)来执行自动飞行。静止图像的成像位置的信息的示例包括执行成像处理的位置、成像方向和行进到执行下一成像处理的位置的时间。
例如，当检测桥梁3的背面(底面)时，操作悬停相机100以执行自动飞行以捕获桥梁3的背面。通过使得悬停相机100捕获桥梁3的背面，不需要在桥墩2或桥梁3的背面部分处设置脚手架，以用于检测桥梁3，车道关闭的频率减小，或者不需要执行车道关闭。此外，例如，当检测桥梁3的侧面(侧面)时，操作悬停相机100以执行自动飞行以捕获桥梁3的侧面。因此，通过使得悬停相机100执行自动飞行并使得悬停相机100捕获桥梁3的背面或侧面，能够在确保工人的安全性而不影响交通的情况下以低成本检测桥梁1。
为了使得悬停相机100执行自动飞行以捕获桥梁3的背面，需要设置悬停相机100的飞行路径和设置桥梁3的背面的位置处的静止图像的成像位置的信息。在本公开的实施例中，目的是使得能够通过使用与与桥1的典型状况有关的信息高效地创建要为悬停相机100设置的飞行信息来执行桥梁1的高效检测。
以上已经描述了本公开的实施例的概述。接下来，将描述根据本公开的实施例的检测系统的示例性配置。
(1.2.示例性系统配置)
图2是示出根据本公开的实施例的检测系统10的示例性系统配置的说明图。根据图2所示的本公开的实施例的检测系统10是配置为高效地检查例如桥1的结构的系统。下面将参考图2描述根据本公开的实施例的检测系统10的示例性系统配置。
如图2所示，根据本公开的实施例的检测系统10包括悬停相机100、控制端子200、信息处理设备300、无线中继节点400、位置估计节点500、基站600、充电站700以及服务器设备800。
悬停相机100是本公开的示例性成像设备，并且用作上述配备有成像设备的飞行体。悬停相机100是被配置为能够基于指定的飞行路径执行自动飞行并通过成像设备在指定的成像位置捕获静止图像的飞行体。例如，悬停相机100可以通过四个转子飞行，并且通过控制每个转子的旋转而在向上、向下或向前移动的同时飞行。当然，转子的数量不限于相关示例。
例如，将从飞行开始位置到飞行结束位置的飞行路径和为悬停相机100设置的成像位置设置为全球定位系统(GPS)的位置信息。因此，可以将从GPS卫星接收无线电波并计算当前位置的GPS接收器并入到悬停相机100中。可以使用纬度、经度和海拔中的全部作为GPS位置信息来设置为悬停相机100设置的飞行路径，或者可以仅使用纬度和经度作为GPS位置信息来设置为悬停相机100设置的飞行路径，并且例如，可以将将在下面描述的与基站600的相对高度设置为海拔。
控制端子200是本公开的示例性控制设备，并且用作执行与悬停相机100的飞行相关的控制的端子。例如，作为与悬停相机100的飞行相关的控制，控制端子200生成要发送到悬停相机100的飞行信息，向悬停相机100给出起飞指令，向将在下面描述的基站600给出返回指令，或者当悬停相机100由于某种原因不会自动飞行时驾驶悬停相机100。下面将详细描述由控制端子200对悬停相机100的飞行信息的生成处理，但将在此简要描述。
当生成悬停相机100的飞行信息时，控制端子200读取与要检测的桥1的典型状况有关的信息(例如要检查的桥1的典型状况图)，并且使得在屏幕上显示所读取的信息。桥1的典型状况图上的点与包括更详细的GPS信息的地图数据上的点相关联。优选地通过至少两组点来执行关联。桥1的典型状况图预先与包括详细的GPS信息的地图数据上的点相关联，并且因此将悬停相机100的飞行路径定义为GPS值。然后，控制端子200基于桥1的典型状况图生成悬停相机100的飞行路径。悬停相机100的飞行路径以重叠方式显示在典型状况图上，使得容易由用户(结构检测工人)理解。
控制端子200在生成悬停相机100的飞行信息时可以考虑要由悬停相机100捕获的桥1或桥1的一部分的结构或尺寸。控制端子200在生成悬停相机100的飞行信息时可以生成飞行信息，以使得悬停相机100捕获具体而言被认为可能被损坏的部分。
如上所述，设置到悬停相机100的飞行路径可以使用纬度、经度和海拔中的全部作为GPS位置信息来设置，但是考虑在桥1的典型状况图中不包括海拔数据的情况。当在桥梁1的典型状况图中不包括海拔数据时，仅使用纬度和经度作为GPS位置信息来设置设置到悬停相机100的飞行路径，并且例如，与基站600的相对高度可以被设置为海拔。
当为悬停相机100设置飞行信息时，控制端子200优选地生成飞行信息，使得当悬停相机100捕获桥1时与成像目标面的距离变得恒定。由于飞行信息被生成为使得当悬停相机100捕获桥1时，与成像目标面的距离变得恒定，因此控制端子200可以使得悬停相机100生成具有相同尺度的图像。
控制端子200是诸如膝上型计算机或平板端子的便携式设备，并且执行向/从悬停相机100的信息的无线发送和接收。控制端子200可以直接与悬停相机100进行与悬停相机100的无线通信，但是由于存在在检测结构，特别是桥1时，悬停相机100飞越控制端子200的通信范围的情况，因此控制端子200可以通过在检测时安装的无线中继节点400进行与悬停相机100的无线通信。
控制端子200获取在悬停相机100飞行时由成像设备捕获的图像，并且根据需要显示所获取的图像。控制端子200可以在悬停相机100飞行的同时以流方式获取由成像设备捕获的运动图像，并显示所获取的运动图像。由于由成像设备捕获的运动图像被在悬停相机100飞行的同时以流方式获取并显示，因此控制端子200可以向用户呈现悬停相机100正在飞行的位置。
信息处理设备300是处理各种信息的设备，并且可以是例如具有处理信息的功能的设备，诸如个人计算机(PC)、游戏机等。在本实施例中，信息处理设备300是具有显示特别是由悬停相机100捕获的图像的功能的设备并且使得用户能够检查桥1的状态。信息处理设备300具有根据由悬停相机100捕获的图像计算桥梁3的损坏的绝对位置并生成将在下面描述的损坏数据的功能。信息处理设备300可以具有将所生成的损坏数据发送到服务器设备800的功能。此外，控制端子200可以具有根据由悬停相机100捕获的图像来计算桥梁3的损坏的绝对位置并生成将在下面描述的损坏数据的功能。
例如，信息处理设备300从控制端子200获取由悬停相机100捕获的图像。通过信息处理设备300对由悬停相机100捕获的图像的获取不限于特定时间，并且，例如，信息处理设备300可以在悬停相机100的一次飞行结束时从控制端子200获取由悬停相机100捕获的图像。
无线中继节点400是中继在悬停相机100和控制端子200之间的无线通信的设备。如上所述，在检测结构，特别是桥1时，悬停相机100可能飞越控制端子200的通信范围。因此，可以通过在检测结构时安装的无线中继节点400来执行悬停相机100和控制端子200之间的无线通信。无线中继节点400的数量不限于1，并且可以根据桥1的检测范围安装多个无线中继节点400。因此，可以通过多个无线中继节点400来执行悬停相机100和控制端子200之间的无线通信。悬停相机100可以根据无线电波的情况在控制端子200和无线中继节点400之间切换通信目的地。
无线中继节点400可以在检测桥1时安装在桥面上(优选地，人行道上)的适当位置处。无线中继节点400可以被安装为从以便从桥梁3的护栏悬挂。此外，检测桥1之前，期望例如通过某种方法来使用控制端子200检查无线中继节点400是否正常操作。
位置估计节点500是使得悬停相机100估计当前位置的设备。如上所述，例如，使用GPS位置信息来设置悬停相机100的飞行路径。此时，当来自GPS卫星的无线电波没有被阻挡时，悬停相机100可以以高精度检测当前位置。然而，当悬停相机100在桥梁3下方飞行并且因此来自GPS卫星的无线电波被桥梁3阻挡或者例如由于桥1的无线电波的反射而发生多路径时，悬停相机100不可能以高精度检测当前位置。
在这点上，在本实施例中，位置估计节点500被安装在桥梁3下方，以使得悬停相机100能够精确地获取当前位置。例如，增强现实(AR)标记或GPS信号发送器可以用作位置估计节点500。
当使用AR标记作为位置估计节点500时，为了使悬停相机100能够识别当前位置，例如，从桥1的两端悬挂位置估计节点500，并且使悬停相机100捕获位置估计节点500。此外，使已经捕获了位置估计节点500的悬停相机100在指定的位置估计节点500之间飞行。例如，悬停相机100可以基于安装在悬停相机100中的传感器(例如，惯性测量单元(IMU)传感器)的积分值以及从捕获图像计算出的到移动目的地的位置估计节点500的距离来检测位置估计节点500之间的位置。因此，悬停相机100捕获位置估计节点500，并且因此可以精确地获取甚至在桥梁3下方的当前位置。
此外，当GPS信号发送器用作位置估计节点500时，为了使悬停相机100能够识别当前位置，例如，将位置估计节点500安装在桥1的相对角或四个角。悬停相机100接收从位置估计节点500发送的GPS信号，并且因此即使在桥梁3下方也可以精确地获取当前位置。
基站600是为悬停相机100的起飞和着陆而安装的设备。基站600包括GPS接收器，并且接收来自GPS卫星的无线电波并计算当前位置。由基站600计算的当前位置被发送到控制端子200。由于由基站600计算的当前位置被发送到控制端子200，因此控制端子200可以使得基站600的位置显示在桥1的典型状况图上。
基站600可以具有检查悬停相机100的操作的功能。由基站600执行的悬停相机100的操作检查的示例包括通信功能检查、成像功能检查、飞行功能检查和各种类型的传感器的校准。此外，悬停相机100的传感器的校准方法不限于使用基站600的方法。例如，作为悬停相机100的传感器的校准方法，可以使用以专用校准固定悬停相机100，并通过沿俯仰方向或滚动方向旋转悬停相机100来校正传感器的方法。
充电站700对安装在悬停相机100中的二次电池进行充电。悬停相机100使用电池作为电源，并且在飞行或捕获期间消耗在电池中累积的电力。当安装在悬停相机100中的电池是二次电池时，充电站700可以通过对电池充电来恢复由悬停相机100消耗的电力。充电站700可以通过将线缆等连接到悬停相机100并向悬停相机100提供电力来对悬停相机100充电，或者可以通过非接触式电力传输方案向悬停相机100提供电力来对悬停相机100充电。
服务器设备800是存储各种类型的数据的设备。在本实施例中，服务器设备800可以存储由信息处理设备300生成的损坏数据。
根据本公开的实施例的检测系统10具有图2所示的配置，并且可以使得悬停相机100捕获桥1并获取桥1的图像。由于使得悬停相机100捕获桥1，因此在根据本公开的实施例的检测系统10中，不需要在桥墩或桥梁处设置脚手架，减少了关闭一些车道或所有车道以确保工人安全的频率，并且不需要关闭车道，因此能够以低成本来高效地进行桥1的检测。
上面已经描述了根据本公开的实施例的检测系统10的示例性系统配置。接下来，将描述根据本公开的实施例的配置检测系统10的悬停相机100和控制端子200的示例性功能配置。
(1.3.示例性功能配置)
首先将描述根据本公开的实施例的悬停相机100的示例性功能配置。图3是示出根据本公开的实施例的悬停相机100的示例性功能配置的说明图。下面将参考图3描述根据本公开的实施例的悬停相机100的示例性功能配置。
如图3所示，根据本公开的实施例的悬停相机100被配置为包括成像设备101、转子104a至104d、电机108a至108d、控制单元110、通信单元120、传感器单元130、位置信息获取单元132、存储单元140和电池150。
控制单元110控制悬停相机100的操作。例如，控制单元110可以控制经由调整电机108a至108d的旋转速度来调整转子104a至104d的旋转速度、经由成像设备101的成像处理、通过通信单元120向/从其他设备(例如，控制端子200)的信息的发送和接收处理以及信息在存储单元140中的存储和从存储单元140的读取。
在本实施例中，控制单元110基于从控制端子200发送的飞行信息，控制其中调整电机108a至108d的旋转速度的飞行和通过成像设备101的静止图像的成像处理的执行。控制单元110基于从控制端子200发送的飞行信息来控制电机108a至108d或成像设备101，并且因此可以基于控制端子200的请求向控制端子200提供图像。
成像设备101配置有透镜、诸如CCD图像传感器或CMOS图像传感器的图像传感器、闪光灯等。安装在悬停相机100中的成像设备101根据来自控制端子200的控制捕获静止图像或运动图像。由成像设备101捕获的图像从通信单元120发送到控制端子200。在本实施例中，成像设备101基于从控制端子200发送的飞行信息中包括的静止图像的成像位置的信息来执行成像处理。通过成像设备101的成像处理获得的图像被存储在存储单元140或从通信单元120发送到控制端子200。当桥1的底侧被悬停相机100捕获时，由于太阳被桥1阻挡，而使得亮度被认为不足，因此当捕获桥1的底侧时，悬停相机100可以打开闪光灯。
例如，成像设备101可以通过来自控制单元110的控制将成像方向改变为任意方向。例如，当假设悬停相机的水平方向为0°时，可以在由±90°的范围指示的成像方向上垂直地执行捕获。当成像设备101改变成像方向时，悬停相机100可以捕获特定方向上的图像，并将捕获的图像提供给控制端子200。然后，控制单元110将当成像设备101捕获静止图像时悬停相机100的位置信息(其可以包括通过使用GPS的位置测量或使用位置估计节点500的位置测量获得的位置信息。下面将描述使用位置估计节点500的位置测量)、捕获时的机身信息(例如，偏转角、俯仰角、加速度和角速度)和作为静止图像的元数据的成像方向的信息相关联。作为存储相关联的元数据的方法，可以将元数据添加到静止图像数据的附加信息区域(例如，Exif格式的特定区域)，或者可以将元数据记录在图像文件、单独文件等中作为单独数据。
转子104a至104d通过从其旋转产生举升力而使悬停相机100飞行。转子104a至104d的旋转是由电机108a至108d的旋转引起的。电机108a至108d使转子104a至104d旋转。电机108a至108d的旋转可以由控制单元110控制。
通信单元120通过无线通信执行向/从控制端子200的信息的发送和接收处理。悬停相机100将由成像设备101捕获的图像从通信单元120发送到控制端子200。另外，悬停相机100使用通信单元120从控制端子200接收与飞行相关的指令。
传感器单元130是获取悬停相机100的状态的一组设备，并且可以包括例如加速度传感器、陀螺仪传感器、超声波传感器、气动传感器、光流传感器、激光器范围取景器等。传感器单元130可以将获取的悬停相机100的状态转换为预定信号，并且在必要时将该信号提供给控制单元110。位置信息获取单元132使用例如GPS、视觉传感器等获取悬停相机100的当前位置的信息。当必要时，位置信息获取单元132可以将获取的悬停相机100的当前位置的信息提供给控制单元110。控制单元110使用由位置信息获取单元132获取的悬停相机100的当前位置的信息，基于从控制端子200接收的飞行信息来执行悬停相机100的飞行的控制。
传感器单元130检测在飞行时可能干扰飞行的障碍物。当传感器单元130检测到障碍物时，悬停相机100可以向控制端子200提供与检测到的障碍物相关的信息。
存储单元140存储各种信息。存储在存储单元140中的信息的示例包括从控制端子200发送的悬停相机100的飞行信息和由成像设备101捕获的图像。
电池150累积用于操作悬停相机100的电力。电池150可以是仅能够放电的一次电池，或者可以是也能够充电的二次电池，但是当电池150是二次电池时，例如，可以从图12所示的充电站700向电池150供应电力。
根据本公开的实施例的悬停相机100可以具有图3所示的配置，从而可以基于从控制端子200发送的飞行信息中包括的飞行路径来执行自动飞行，并且基于从控制端子200发送的飞行信息中包括的静止图像的成像位置的信息来执行成像处理。
以上已经参考图3描述了根据本公开的实施例的悬停相机100的示例性功能配置。接下来，将描述根据本公开的实施例的控制端子200的示例性功能配置。
图4是示出根据本公开的实施例的控制端子200的示例性功能配置的说明图。下面将参考图4描述根据本公开的实施例的控制端子200的示例性功能配置。
如图4所示，根据本公开的实施例的控制端子200被配置为包括显示单元210、通信单元220、控制单元230和存储单元240。
显示单元210包括平面显示设备，例如液晶显示设备、有机EL显示设备等。显示单元210可以显示例如由成像设备101捕获的图像或用于控制悬停相机100的操作的信息。显示单元210设置有触摸面板，因此用户可以通过用他或她的手指等触摸显示单元210来关于显示在显示单元210上的信息执行直接操作。
通信单元220通过无线通信向/从悬停相机100发送和接收信息。控制端子200使用通信单元220从悬停相机100接收由成像设备101捕获的图像。此外，控制端子200将与悬停相机100的飞行有关的指令从通信单元220发送到悬停相机100。与悬停相机100的飞行相关的命令可以由控制单元230生成。
控制单元230控制控制端子200的操作。例如，控制单元230可以控制在显示单元210上显示文本、图形、图像或其他信息的处理以及通过通信单元220向/从其他设备(例如，悬停相机100)的信息的发送和接收处理。控制单元230被配置为包括飞行信息生成单元232和显示控制单元234。
飞行信息生成单元232生成要发送到悬停相机100的飞行信息。例如，在生成飞行信息时，飞行信息生成单元232使用与存储在下面将描述的存储单元240中的检测目标的结构相关的信息。当生成飞行信息时，飞行信息生成单元232使得在悬停相机100起飞之前从通信单元220发送所生成的飞行信息。
下面将描述由飞行信息生成单元232进行的飞行信息生成处理，但将简要描述由飞行信息生成单元232进行的飞行信息生成处理的示例。飞行信息生成单元232在生成悬停相机100的飞行信息时读取要检测的桥1的典型状况图。所读取的桥1的典型状况图通过显示控制单元234显示在显示单元210上。如上所述，桥1的典型状况图上的点与包括详细的GPS信息的地图数据上的点预先相关联。优选地通过至少两组点来执行关联。桥1的典型状况图与包括详细GPS信息的地图数据上的点预先相关联，因此，使用GPS值(纬度和经度的集合)定义悬停相机100的飞行路径。
然后，飞行信息生成单元232基于桥1的典型状况图生成悬停相机100的飞行路径。飞行信息生成单元232在生成悬停相机100的飞行路径时使用与诸如桥1的施工方法、宽度和跨度长度相关的信息，悬停相机100的可用飞行时间段，以及桥1的检测方法的信息。混凝土桥根据加固方法被分类为钢筋混凝土(RC)和预应力混凝土(PC)，并且分类为例如RCT梁桥、PCT梁桥、PC中空板桥、RC箱梁桥、PC箱梁桥等等。因此，当作为检测目标的桥1的施工方法已知时，飞行信息生成单元232可以生成适合桥1的施工方法的飞行路径。然后，飞行信息生成单元232使悬停相机100的飞行路径以重叠的方式显示在桥1的典型状况图上。
飞行信息生成单元232使用如上所述的GPS值(纬度和经度的集合)定义悬停相机100的飞行路径。当飞行信息生成单元232使用GPS值定义悬停相机100的飞行路径时，悬停相机100可以基于GPS值确定在飞行时执行成像处理的位置。
显示控制单元234控制文本、图形、图像和其他信息在显示单元210上的显示。假定在下面的描述中将参考的附图中文本、图形、符号、图像和其他信息在显示单元210上的显示由显示控制单元234控制。例如，当飞行信息生成单元232生成要发送到悬停相机100的飞行信息时，显示控制单元234执行控制，使得在显示单元210上显示检测目标的结构(桥1)的典型状况图和所生成的飞行信息。
存储单元240存储各种类型的信息。存储在存储单元240中的信息的示例包括与检测目标的结构相关的信息。与检测目标的结构相关的信息的示例包括检测目标的结构(桥1)的典型状况图和检测目标的结构的施工方法。此外，当预先知道被认为可能被损坏的检测目标的结构的位置时，与检测目标的结构相关的信息可以包括被认为可能被损坏的部分的信息。
此外，控制端子200即使在与检测目标的结构(桥1)有关的信息没有预先存储在存储单元240中的情况下，也可以例如在结构的检查时从信息处理设备300接收与检测目标的结构相关的信息。
根据本公开的实施例的控制端子200具有图4所示的配置，并且可以基于与检测目标的结构(桥1)相关的信息生成要发送到悬停相机100的飞行信息，并且获取通过基于飞行信息飞行的悬停相机100基于飞行信息捕获的图像。
以上已经参考图4描述了根据本公开的实施例的控制端子200的示例性功能配置。接下来，将描述根据本公开的实施例的检测系统10的示例性操作。
(1.4.示例性操作)
图5是示出根据本公开的实施例的检测系统10的示例性操作的流程图。图5示出了当通过使得悬停相机100飞行并使得悬停相机100捕获桥1来检测桥1时根据本公开的实施例的检测系统10的示例性操作。此外，当使用悬停相机100检测桥1时，假设将无线中继节点400或位置估计节点500预先安装在桥1的适当位置处。下面将参考图5描述根据本公开的实施例的检测系统10的示例性操作。
生成悬停相机100的飞行信息的控制端子200读取包括桥1(检测目标)的典型状态图的与桥1相关的信息，并且使桥1的典型状况图显示在显示单元210上(步骤S101)。例如，通过飞行信息生成单元232执行与桥1相关的信息的读取，并且例如通过显示控制单元234执行桥1的典型状况图在显示单元210上的显示。其中桥1的典型状况图显示在单元210上的控制端子200使得用户能够使用显示在显示单元210上的桥1的典型状况图来指定要检测的桥1的区域(步骤S102)。例如，通过飞行信息生成单元232执行步骤S102中使用户能够指定的处理。
例如，当桥1的一部分被设置为检查目标时，控制端子200使得用户能够在显示单元210上显示的桥1的典型状况图中指定检测目标区域。此外，例如，当整个桥1被设置为检测目标时，控制端子200使得用户能够在显示单元210上显示的桥1的典型状况图中指定桥1的所有区域。
图6是示出在控制端子200的显示单元210上显示的示例性画面的说明图。图6示出当在步骤S102中请求用户指定要检测的桥1的区域时在显示单元210上显示的示例性画面。在图6中，假设显示当桥梁被指定为要检测的桥1的区域时在显示单元210上显示的画面。控制端子200可以包括例如作为输入单元(未示出)的触摸面板，并且使得用户能够通过使用户能够在屏幕上拖动或使用户能够选择检测目标的跨度来指定桥1的区域。当然，使用户能够指定要检测的桥1的区域的方法不限于相关示例。此外，由用户指定的区域的显示不限于图6所示的示例。
图6示出了其中以重叠的方式在桥1的典型状况图上显示指示基站600的位置的标记B1的示例。如上所述，基站600可以包括GPS接收器，并且接收来自GPS卫星的无线电波并计算当前位置。因此，控制端子200可以基于由基站600计算的当前位置的信息，以叠加的方式，使指示基站600的位置的标记B1显示在桥1的典型状况图上。
当用户指定了要检查的桥1的区域时，控制端子200然后基于与桥1相关的信息在由用户指定的检测区域中生成悬停相机100的飞行信息(步骤S103)。例如，由飞行信息生成单元232执行步骤S103中的飞行信息生成处理。
控制端子200当在步骤S103中生成悬停相机100的飞行信息时使用与诸如桥梁1的施工方法、宽度和跨度长度的结构相关的信息，悬停相机100的可用飞行时间段，以及诸如桥1的检测方法的信息，例如，当在桥1的施工方法中使用T梁时，控制端子200生成其中悬停相机100在桥1的底侧处重复升降的飞行路径作为飞行信息。此外，控制端子200当在步骤S103中生成悬停相机100的飞行信息时可以使用桥1的图像目标面的信息。例如，当用户选择捕获桥1的侧面时，控制端子200，控制端子200生成沿桥1的侧面的飞行路径作为飞行信息，并且当用户选择捕获桥1的底面时，控制端子200生成其中它在桥1的底侧下来回行进的飞行路径作为飞行信息。
将描述由控制端子200生成的飞行信息的示例。作为飞行信息，例如，可以以以下格式指定执行成像处理的位置的列表：
ID：(成像点的相对坐标、成像方向、成像时的速度、到下一成像点的行进时间等)
成像点的相对坐标由X轴、Y轴和Z轴的三个点指定。将X轴设定为纬度方向，将Y轴设定为经度方向，并且将Z轴设定为高度方向。此外，例如，可以包括用于控制特殊捕获的信息作为其他信息。用于控制特殊捕获的信息的示例包括用于在多个成像方向上捕获相同位置的信息，与用于支架捕获的参数相关的信息(其指示在相同位置和相同成像方向通过不同曝光、不同快门速度、不同ISO感光度等的捕获)，以及关于捕获时的红外线的波长的信息。根据该格式，由控制端子200生成的飞行信息可以配置有以下各种值的以下列表：
0：(0,0,0,0,0,2,1.0)
1：(5,0,0,0,0,2,1.0)
2：(7,0,0,0,0,2,1.0)
3：(9,0,0,0,0,2,1.0)
例如，包括在由控制端子200生成的飞行信息中的成像点可以通过使用基站600的绝对坐标或诸如第一成像位置的任意位置的绝对坐标作为参考点来指定为距离参考点的相对坐标。悬停相机100可以将相对坐标从参考点的绝对坐标转换成绝对坐标，并在飞行时参考转换的坐标。此外，可以通过绝对坐标而不是相对坐标来指定包括在由控制端子200生成的飞行信息中的成像点。此外，可以将特定值存储在包括在由端子200生成的飞行信息中的用于控制特殊捕获的信息中。例如，诸如1：在多个成像方向上的捕获)、2：支架捕获(快门速度的变化)、3：支架捕获(ISO感光度的变化)等的值可以存储在用于控制特殊捕获的信息中。控制端子200可以使得用于控制特殊捕获的信息包括在飞行信息中，例如，用于被认为可能被损坏并存储在存储单元240中的桥3的位置。
控制端子200可以在步骤S103的飞行信息生成处理时生成用于使得悬停相机100以相等的间隔捕获例如桥1的桥梁3的后面的飞行信息。因此，控制端子200可以生成飞行信息，使得静止图像的成像位置在步骤S103的飞行信息生成处理时是相等的间隔。
当预先将被认为可能被损坏的部分的信息存储在存储单元140中时，控制端子200当在步骤S103中生成悬停相机100的飞行信息时可以读取所存储的信息并生成飞行信息，使得该部分被详细捕获。当通过悬停相机100捕获被认为可能被损坏的部分时，控制端子200可以使用于控制特殊捕获的信息包括在飞行信息中。当然，被认为可能被损坏的部分的信息可以不被预先存储在存储单元140中，并且在这种情况下，被认为可能被损坏的部分的信息可以在检测时由用户输入。
当使悬停相机100在待检测的桥1的区域上飞行时，考虑根据悬停相机100的可用飞行时间段难以使悬停相机100在该区域上飞行一次的情况。悬停相机100的可用飞行时间段可以基于电池150的容量，用于驱动转子104a至104d的电机108a至108d的功率消耗，成像设备101、控制单元110和通信单元120的功率消耗等来预先获得。此外，当生成飞行信息时，还能够基于从开始位置(例如，基站600)到第一成像点的预定行进时间、成像点之间的预定行进时间、从最后成像点到开始位置的预定行进时间等来估计用于悬停相机100的单次检测飞行所需的时间段。因此，当悬停相机100不能在单次检测飞行期间沿着待检测的桥1的区域的整个飞行路径飞行时，控制端子200可以将所生成的飞行路径划分为若干路径。
此外，控制端子200当在步骤S103中生成悬停相机100的飞行信息时，可以生成多个飞行路径，并且使所述多个飞行路径显示在显示单元210上。图7是示出显示在控制端子200的显示单元210上的示例性画面的说明图。图7示出了当在步骤S103中生成悬停相机100的飞行信息时生成多个飞行路径，并在显示单元210上显示飞行路径R1和R2的状态的示例。控制端子200使得多个飞行路径显示在显示单元210上，并且使得用户能够选择一个飞行路径。控制端子200基于用户选择的飞行路径生成飞行信息。
当在步骤S103中生成悬停相机100的飞行信息时，控制端子200然后将生成的飞行信息发送到悬停相机100，并向悬停相机100发送起飞指令(步骤S104)。例如，通过通信单元220来由飞行信息生成单元232执行生成的飞行信息的发送和起飞指令的发送。
图8是示出在控制端子200的显示单元210上显示的示例性画面的说明图。图8是当起飞指令被发送到悬停相机100时在控制端子200的显示单元210上显示的示例性画面。用户可以通过触摸显示在显示单元210上的起飞指令按钮211来使得将起飞指令从控制端子200发送到悬停相机100。此外，当从控制端子200向悬停相机100发送起飞指令时，可以在发送起飞指令之前将在步骤S103中生成的飞行信息从控制端子200发送到悬停相机100，但是可以在将起飞指令从控制端子200发送到悬停相机100之后，将在步骤S103中生成的飞行信息从控制端子200发送到悬停相机100。
已经从控制端子200接收到飞行信息和起飞指令，并且然后从基站600起飞的悬停相机100基于从控制端子200发送的飞行信息飞行，执行成像处理，并获得静止图像(步骤S105)。悬停相机100获取当执行获取静止图像的成像处理是的位置信息或在成像处理时的机身信息，并且将获取的信息与静止图像相关联。例如，诸如偏航角、俯仰角、加速度或角速度的信息可以包括在成像处理时的机身信息中。此外，悬停相机100可以以流方式将在飞行期间正由成像设备101捕获的运动图像发送到控制端子200。当控制端子200获取并显示通过悬停相机100在飞行期间通过成像设备捕获的运动图像时，控制端子200可以向用户呈现悬停相机100正在飞行的位置。
优选地，当执行成像处理时，悬停相机100在所有成像点处保持与图像目标面(例如，桥梁3的侧面或底面)的距离恒定。由于在所有成像点处与图像目标面的距离保持恒定，因此悬停相机100可以获得以相同尺寸捕获的静止图像。
当被认为可能被损坏的部分包括在悬停相机100的飞行路径中时，悬停相机100可以改变成像设备的成像方向，使用具有不同波长的红外线，或者改变该部分的快门速度，以及然后捕获多个静止图像。此外，当被认为可能被损坏的部分包括在悬停相机100的飞行路径中时，悬停相机100可以将执行该部分的成像处理的位置的间隔缩小为小于其他部分。
图9是概念性地示出根据本公开的实施例的检测系统10中的悬停相机100的操作的说明图。当悬停相机100基于飞行信息在桥1的底侧下方飞行时，例如，悬停相机100在时间t1停止并捕获桥1的底面，在成像之后飞行到并停止在待在时间t2执行捕获的位置，在时间t2在不同位置捕获桥1的底面，并且然后重复飞行、停止和捕获直到时间tn。当悬停相机100重复飞行、停止和捕获时，获得桥1的底面的图像。
当悬停相机100基于飞行信息飞行时，能够在能够无干扰地接收来自GPS卫星的无线电波时精确地检测当前位置。然而，悬停相机100难以在难以从诸如桥1下方的位置接收来自GPS卫星的无线电波的位置处精确地检测当前位置。在这点上，在本实施例中，使用位置估计节点500，因此悬停相机100在难以从GPS卫星接收无线电波的位置处精确地检测当前位置。
图10是概念性地示出根据本公开的实施例的检测系统10中的悬停相机100的操作的说明图。例如，当图10中从起点到终点的间隔被设置为悬停相机100飞行的路径时，悬停相机100无干扰地从GPS卫星30接收无线电波，并且在执行位置测量的GPS位置测量区40和其中例如使用视觉传感器来估计当前位置的传感器位置测量区50中前后移动。
在GPS位置测量区40中，悬停相机100使用从GPS卫星30接收的无线电波来检测当前位置。在传感器位置测量区50中，悬停相机100检测位置估计节点500之间的位置，即，基于安装在悬停相机100中的传感器(例如，IMU传感器)的积分值和当位置估计节点500是AR标记时从由成像设备101捕获的图像计算出的到移动目的地的位置估计节点500的距离的当前位置。当位置估计节点500是GPS信号发送器时，悬停相机100使用从位置估计节点500发送的信号来检测当前位置。
使用如上所述的位置估计节点500，即使当悬停相机100移动到几乎接收不到来自GPS卫星的无线电波的位置时，悬停相机100也可以检测精确的当前位置。
当完成最后成像点处的成像处理时，悬停相机100自动飞向基站600，以返回到基站600(步骤S106)。然后，控制端子200从悬停相机100获取由已经返回到基站600的悬停相机100捕获的图像(步骤S107)。如上所述可以在悬停相机100返回到基站600之后执行由悬停相机100捕获的图像的获取，但是控制端子200可以在每次悬停相机100执行成像处理并获取静止图像时顺序地获取静止图像。
当悬停相机100和控制端子200执行图5所示的上述操作时，如图5所示，根据本公开的实施例的检测系统10可以通过控制端子200来基于与检测目标的结构(桥1)相关的信息生成要发送到悬停相机100的飞行信息，通过基于飞行信息飞行的悬停相机100来基于飞行信息捕获图像，并通过控制端子200获取由悬停相机100捕获的图像。
此外，假设用户在悬停相机100飞行时在查看由悬停相机100捕获的运动图像之后已经找到希望被捕获的部分。在这种情况下，例如，用户可以操作控制端子200以停止悬停相机100的自动飞行，并且使得从控制端子200发送切换到手动操作的指令。
已经结合通过控制端子200生成飞行信息的过程描述了上述示例，悬停相机100基于所生成的飞行信息执行自动飞行并且执行成像处理。然而，还考虑在飞行路径中存在桥梁1的典型状况图上未发现的障碍物的情况。
图11是概念性地示出根据本公开的实施例的检测系统10中的悬停相机100的操作的说明图。图11示出了树4在桥梁3下方的示例。树4是在桥1的典型状况图上未示出的障碍物，并且存在其中第一次在悬停相机100的飞行时发现树的存在的情况。
因此，在本实施例中，可以通过使得悬停相机100基于由控制端子200生成的飞行信息执行一次测试飞行来检查包括在飞行信息中的飞行路径中是否存在障碍物。
当基于由控制端子200生成的飞行信息使得悬停相机100执行一次测试飞行时，控制端子200可以以流方式接收由悬停相机100捕获的运动图像，并且用户可以在查看运动图像的同时检查包括在飞行信息中的飞行路径中是否存在障碍物。可以通过悬停相机100的传感器单元130检测障碍物。当安装立体相机作为悬停相机100的成像设备101，并且通过由立体相机执行的捕获检测到障碍物的距离，或者根据悬停相机100的方向指定障碍物的方向时可以检测障碍物的详细位置。此外，当使得悬停相机100执行测试飞行时，当飞行路径中存在障碍物时，悬停相机100可以停止自动飞行，在悬停状态下移动，并且可以等待来自用户的操作或者可以自动返回到基站600。
当发现在飞行信息中包括的飞行路径中存在障碍物时，控制端子200可以在桥1的典型状况图中登记障碍物的位置。障碍物的位置可以通过用户手动输入，并且当悬停相机100通过传感器单元130检测到障碍物时，可以从悬停相机100获取检测到的障碍物的位置，并且然后可以将障碍物的位置登记在桥1的典型状况图中。
图12是示出在控制端子200的显示单元210上显示的示例性画面的说明图。图12是当通过悬停相机100的测试飞行发现在飞行路径中存在障碍物时在显示单元210上显示的示例性画面。当通过悬停相机100的测试飞行发现在飞行路径中存在障碍物时，控制端子200使得表示障碍物的位置的标记O1以叠加的方式显示在桥1的典型状况图上。
当障碍物的位置已知时，控制端子200再生包括避开障碍物的位置的飞行路径的飞行信息，并将生成的飞行信息发送到悬停相机100。悬停相机100基于由控制端子200再生的飞行信息飞行，并由此在避开障碍物(树4)的同时执行飞行和成像处理。
使得悬停相机100飞行并且检测障碍物的位置的方法不限于相关示例。例如，可以在通过成像设备101捕获运动图像的同时，使悬停相机100通过简单的路径沿着由控制端子200生成的飞行路径的外周飞行，并且可以检查桥梁3下是否存在障碍物。
(1.5.示例性损坏数据生成)
例如，可以通过使悬停相机100飞行并捕获桥1来检测诸如桥梁3的底面的不容易接近的位置。由悬停相机100捕获的静止图像与例如捕获静止图像的悬停相机100的位置信息(其可以包括通过使用GPS的位置测量或使用位置估计节点500的位置测量获得的位置信息)、捕获时的机身信息(例如，偏航角、俯仰角、加速度和角速度)以及成像方向的信息。此外，当悬停相机100在保持与图像目标面的距离恒定的同时在所有成像点处执行捕获时，检测到图像中发生损坏的位置的相对位置。因此，当由悬停相机100捕获的静止图像包括桥梁3的损坏部分时，能够检测损坏部分的绝对位置。例如，通过将静止图像的中心设置为原点，计算损坏部分的相对值，并计算当图像被捕获时悬停相机100的位置信息的相对值，获得损坏部分的位置信息。例如，以下数据可以被记录为损坏部分的位置信息。
(1)静止图像的成像位置的信息被记录为损坏部分的位置(未记录相对值(偏移))。
(2)将与静止图像和损坏部分的成像位置的信息相对应的相对值(偏移)记录为损坏部分的位置。
(3)用作参考的绝对值(例如，如下所述，被认为在位置信息中高度精确的四个角的静止图像的成像位置或者位置估计节点500的坐标)和相对值(偏移)被记录为损坏部分的位置。
(4)将所计算的绝对值(例如，纬度、经度和高度)记录为损坏部分的位置。
已知使用诸如透镜的焦距、图像传感器的尺寸、到成像目标的距离等数值获得成像范围的物理尺寸的技术。因此，当检测到损坏部分时，可以使用从悬停相机100到成像目标(例如，桥的后面或侧面)的距离信息或成像设备101的视角信息来估计悬停相机100的成像范围的物理尺寸。通过将捕获图像的中心位置(悬停相机100执行捕获的位置)设置为原点、估计从原点到损坏部分的物理相对位置、以及将捕获图像的原点的位置坐标添加到相对位置来确定损坏部分的物理位置信息。此外，当可以在捕获时通过安装在悬停相机100中的传感器获取距离信息和视角信息时，可以使用与图像相关联地记录的信息，并且可以使用为悬停相机100或成像设备101设置的值。此外，可以使用捕获时的机身信息(例如，偏航角、俯仰角、加速度和角速度)和成像方向的信息而不是成像位置信息、距离信息和视角信息来计算损坏部分的位置信息。
基于由悬停相机100捕获的静止图像的损坏部分的检测可以由用户可视地执行，但是可以通过例如信息处理设备300的成像处理自动执行。例如，当自动执行损坏部分的检测时，可以使用诸如模式匹配的图像处理技术。
损坏数据的数据配置例如以以下格式定义：
(图像ID、损坏ID、损坏部分的位置信息、损坏部分在图像上的坐标、损坏类型ID、损坏程度)
损坏类型ID是指分配给诸如破裂、剥离、漏水或游离石灰的损坏类型的ID。此外，数据的最大宽度、图像中损坏部分的长度等可以记录在损坏度字段中。根据本实施例的检测系统10可以从通过用户的手动输入或信息处理设备300的自动处理由悬停相机100捕获的静止图像来根据上述格式生成损坏数据。此外，由根据本实施例的检测系统10生成的损坏数据可以用于向维修桥1中发生的损坏的施工承包商下订单的处理。
然而，悬停相机100在单次检测飞行期间捕获多个静止图像。因此，逐个检查在飞行期间由悬停相机100捕获的静止图像增加了用户的负担。
在这点上，通过拼接由悬停相机100捕获的静止图像获得一个图像。例如，当拼接由悬停相机100捕获的静止图像时，对应于一个跨度的桥梁3的底面的外观作为一个图像获得。然后，通过检查通过拼接由悬停相机100捕获的静止图像而获得的对应于一个跨度的桥梁3的底面的图像，用户可以检查桥梁3的底面是否有损坏。静止图像拼接处理可以由控制端子200执行，或者可以由信息处理设备300执行。
图13是示出当基于由悬停相机100捕获的静止图像来检测桥梁3的底面时的概述的说明图。通过捕获桥梁3的底面而获得的一个图像20是通过捕获桥梁3的底面的某一部分(例如，桥梁3的对应于一个跨度长度的部分)，并拼接由悬停相机100捕获的静止图像获得的。附图标记21表示在悬停相机100的单个成像过程中捕获的图像。
当基于通过拼接由悬停相机100捕获的静止图像而获得的图像获得损坏部分的绝对位置时，可以选择拼接图像中捕获时作为相对高精度的位置信息的位置信息作为参考点。在捕获时用作拼接图像的基础的四个角的静止图像的悬停相机100的位置信息可以用作参考点。用作拼接图像的基础的四个角的静止图像具有最小的失真，GPS位置测量区域在位置信息中具有小的误差，并且认为期望使用位于GPS位置测量区域并且在捕获时靠近GPS位置测量区域的四个角的位置信息作为参考点，并且因此能够通过从对应于四个角的静止图像的悬停相机100的位置信息获得损坏部分的绝对位置来更准确地获得损坏部分的位置。此外，例如，GPS位置测量数据中的位置测量状态信息(指示正在执行2D位置测量的状态、正在执行3D位置测量的状态、位置测量禁用状态的信息或诸如接收卫星数的数据)可以用作位置信息的精度。
图14是示出通过拼接由悬停相机100捕获的静止图像而获得的图像20的示例的说明图。用作图像20的基础的四个角的静止图像C1至C4的中心G1至G4中的每一个对应于捕获每个静止图像时的悬停相机100的位置。在本实施例中，使用与四个角的静止图像C1至C4相对应的悬停相机100的位置信息来计算图像20中的损坏部分的绝对位置。
当从拼接图像生成损坏数据时，例如以下面的格式定义损坏数据的数据配置。换句话说，从损坏数据中删除图像ID。
(损坏ID、损坏部分的位置信息、损坏部分在图像上的坐标、损坏类型ID、损坏程度)
此外，可以生成拼接图像的图像ID并将其包括在损坏数据中。根据本实施例的检测系统10可以通过用户的手动输入或信息处理设备300的自动处理从拼接图像根据上述格式生成损坏数据。
(1.5.1.示例性功能配置)
图15是示出根据本公开的实施例的信息处理设备300的示例性功能配置的说明图。图15示出根据本公开的实施例的信息处理设备300的示例性功能配置，其具有从由悬停相机100捕获的静止图像获得桥梁3的损坏的绝对位置并生成损坏数据的功能。下面将参考图15描述根据本公开的实施例的信息处理设备300的示例性功能配置。
如图15所示，根据本公开的实施例的信息处理设备300包括显示单元310、通信单元320、控制单元330和存储单元340。
例如，显示单元310配置有诸如液晶显示(LCD)设备或有机EL显示设备的平板显示设备。例如，显示单元310可以显示由悬停相机100的成像设备101捕获的图像，与由通过成像设备101捕获的图像获得的桥1的损坏有关的信息等。
例如，通信单元320通过无线通信执行向/从控制端子200的信息发送和接收。信息处理设备300通过通信单元320从控制端子200接收由悬停相机100捕获的图像连同图像的绝对成像位置的信息。
控制单元330控制信息处理设备300的操作。例如，控制单元330可以控制在显示单元210上显示文本、图形、图像或其他信息的处理以及通过通信单元320向/从其他设备(例如，控制端子200)的信息发送和接收处理。控制单元330包括成像位置信息获取单元332、损坏位置计算单元334、图像组合单元336和损坏数据生成单元338。
成像位置信息获取单元332获取在悬停相机100捕获桥1时由悬停相机100获取的捕获时的成像位置的信息。损坏位置计算单元334例如使用诸如模式匹配的图像处理技术从由悬停相机100捕获的图像检测桥1的损坏部分，并且使用由成像位置信息获取单元332获取的成像位置的信息来计算损坏部分的绝对位置。
图像组合单元336执行对由悬停相机100捕获的静止图像进行拼接并生成一个图像的图像处理。当拼接由悬停相机100捕获的静止图像时，图像组合单元336可以使用捕获时静止图像的成像位置的信息。
在计算损坏位置时，损坏位置计算单元334可以使用用作由图像组合单元336拼接的图像基础的捕获图像中的角的捕获图像(例如，四个角中的每一个)的成像位置的信息。如上所述，由于用作拼接图像的基础的捕获图像中的四个角的静止图像被认为在失真方面最小，因此损坏位置计算单元334可以使用用作拼接图像的基础的捕获图像中的四个角的静止图像的成像位置的信息获得更准确的损坏位置。
损坏数据生成单元338使用由损坏位置计算单元334计算的桥1的损坏部分的绝对位置来生成损坏数据。损坏数据生成单元338可以以静止图像为单位生成损坏数据，或者可以生成关于由图像组合单元336拼接的一个图像的损坏数据。
存储单元340存储各种类型的信息。存储在存储单元340中的信息可以包括例如由悬停相机100的成像设备101捕获的静止图像，当捕获静止图像时悬停相机100的绝对成像位置的信息，以及由损坏数据生成单元338生成的损坏数据的信息。
根据本公开的实施例的信息处理设备300具有图15所示的配置，并且可以从由悬停相机100捕获的静止图像生成损坏数据，因此，根据本公开的实施例的信息处理设备300可以高效地生成用作检测目标的结构的桥1的检测结果。如上所述，损坏数据可以由控制端子200而不是信息处理设备300生成。因此，控制端子200可以具有图15所示的信息处理设备300的控制单元330的配置。此外，用作检测目标的结构的桥1的检查结果可以积累在公共或私人数据库中并使用。此外，如上所述，损坏数据可以由控制端子200而不是信息处理设备300生成。因此，控制端子200可以具有图15所示的信息处理设备300的控制单元330的配置。
以上已经参考图15描述了根据本公开的实施例的信息处理设备300的示例性功能配置。接下来，将描述根据本公开的实施例的信息处理设备300的示例性操作。
(1.5.2.示例性操作)
图16是示出根据本公开的实施例的信息处理设备300的示例性操作的流程图。图16示出当从由悬停相机100捕获的静止图像获取桥梁3的损坏的绝对位置，并且生成损坏数据时，根据本公开的实施例的信息处理设备300的示例性操作。下面将参考图16描述根据本公开的实施例的信息处理设备300的示例性操作。
首先，信息处理设备300获取与成像位置的信息相关联并且由在桥1的周围飞过的悬停相机100捕获的图像(步骤S301)。当在步骤S301中获取与成像位置的信息相关联的图像时，信息处理设备300然后例如使用诸如模式匹配的图像处理技术从图像中检测损坏部分(步骤S302)。步骤S302的损坏部分检测处理例如可以由损坏位置计算单元334执行。
当在步骤S302中从图像检测到损坏部分时，信息处理设备300然后计算损坏部分的绝对位置(步骤S303)。步骤S303的计算处理可以例如由损坏位置计算单元334执行。信息处理设备300基于由悬停相机100捕获的静止图像的成像位置的信息，在步骤S303中执行损坏部分的绝对位置的计算。在计算损坏部分的绝对位置时，信息处理设备300可以基于从悬停相机100到成像目标(例如，桥梁3的背面或侧面)的距离信息或成像设备101的视角信息来估计悬停相机100的成像范围的物理尺寸。信息处理设备300可以通过估计从捕获图像的中心到损坏部分的物理相对位置，以及将用作原点的捕获图像的位置坐标添加到相对位置来确定损坏部分的物理位置信息。信息处理设备300生成包括损坏部分的绝对位置的损坏数据(步骤S304)。步骤S304的损坏数据生成处理可以例如由损坏数据生成单元338执行。
根据本公开的实施例的信息处理设备300可以通过执行图15所示的操作来从由悬停相机100捕获的静止图像生成损坏数据，并且因此，根据本公开的实施例的信息处理设备300可以高效地生成用作检测目标的结构的桥1的检测结果。此外，如上所述，损坏数据可以由控制端子200而不是信息处理设备300生成。因此，图16所示的操作可以由控制端子200执行。
图17是示出根据本公开的实施例的控制端子200的示例性操作的流程图。图17示出了由控制端子200使用由信息处理设备300生成的损坏数据的飞行信息生成处理的示例。下面将参考图17描述根据本公开的实施例的控制端子200的示例性操作。
当在控制端子200上显示由悬停相机100捕获的静止图像，并且由用户指定了静止图像上的损坏部分时(步骤S311)，控制端子200从由信息处理设备300生成的损坏数据获取指定部分的损坏位置(步骤S312)。指定损坏部分的方法不受限制，例如，可以显示静止图像，并且用户可以通过用他/她的手指触摸控制端子200的触摸面板来指定损坏部分。
当从损坏数据获取由用户指定的部分的损坏位置时，控制端子200然后生成使得悬停相机100飞过从损坏数据获取的损坏位置并捕获损坏位置的飞行信息(步骤S313)。步骤S313的处理可以例如由飞行信息生成单元232执行。由于由控制端子200在步骤S313中生成的飞行信息被用于详细地检查损坏位置，因此可以使用指示悬停相机100将成像位置的间隔减小为小于上面参考图5描述的由控制端子200生成的飞行信息中的间隔，或者在每个成像位置处执行特殊捕获的飞行信息。
当在步骤S313中生成飞行信息时，控制端子200将生成的飞行信息发送到悬停相机100，并且悬停相机100基于如在图5的步骤S104和S105中描述的飞行信息执行飞行和成像处理。然后，如在图5的步骤S106和S107中所述，当最后成像点处的成像处理完成时，悬停相机100自动飞到基站600以便返回到基站600，并且控制端子200从悬停相机100获取由悬停相机100捕获的图像。
根据本公开的实施例的控制端子200可以通过执行如图17所示的操作来使用由信息处理设备300生成的损坏数据生成用于使悬停相机100捕获桥梁3的损坏部分的飞行信息。
(1.6.使用组合图像的示例性飞行指令)
虽然使用设置在飞行体上的悬停相机的示例来提供以下描述，但是本公开不限于此，并且可以应用于具有至少一个相机的任何车辆。例如，以下可以应用于诸如配备有至少一个成像设备的无人机，并且可以沿着二维或三维飞行路径移动的悬停车辆。然而，以下也可以类似地应用于诸如配备有至少一个成像设备的汽车，并且可以沿着二维(基于地面的)驱动路径移动的陆基车辆。因此，“悬停相机”的以下描述仅是说明性的而不是限制性的。另外，下面描述的控制端子可以生成用于车辆所遵循的非线性或折线飞行(驱动)路径，而不是下面描述的线性路径的飞行(驱动)信息。
当通过悬停相机100以特定间隔捕获运动图像或静止图像，并且然后将运动图像或静止图像发送到控制端子200时，控制端子200可以实时执行以某些帧为单位组合由悬停相机100捕获的运动图像，或者组合以特定间隔捕获的静止图像的处理(实时拼接处理)。这里提到的实时是随着时间顺序地更新合成图像(特别是组合图像)的显示的处理，并且包括其中由于处理延迟等导致的在捕获时间和图像组合处理或者图像显示时间之间存在时间差的处理。控制端子200可以使用户使用组合图像指定悬停相机100的目标位置。然后，控制端子200将用于飞行到由用户指定的目标位置的飞行信息发送到悬停相机100。
控制端子200可以通过组合图像、使得组合图像显示在显示单元210上、并且生成用于飞行到包括组合图像的显示单元210的显示画面上指定的目标位置的飞行信息，来更直观地为用户生成悬停相机100的飞行路径。此外，通过从由悬停相机100捕获的运动图像或静止图像生成组合图像并且使组合图像显示在显示单元210上，当难以获得航空照片时，例如，即使对于诸如桥的背面的地方，控制端子200可以使用精细的图像信息或通过地图或航空照片难以获得的当前情况来指定飞行路径，并且不必访问外部地图信息数据库等。此外，当控制端子200从由悬停相机100捕获的运动图像或静止图像生成组合图像时，能够在室内指定悬停相机100的飞行路径。
图18是示出使悬停相机100在地面方向上飞行和成像的示例的说明图。图19是示出组合由悬停相机100捕获的图像并且使用户使用组合图像指定悬停相机100的飞行路径的示例的说明图。
参考图9，指示悬停相机100的当前位置的当前位置标记252显示在作为从天空以重叠方式捕获的结果获得的组合图像251上。控制端子200在生成如下所述的组合图像251时使用例如特征点匹配等。
例如，当用户在合成图像251上指定悬停相机100的目标位置253时，如图19所示，控制端子200生成用于使悬停相机100沿着从当前位置标记252到目标位置253的飞行路径254飞行的飞行信息，并将飞行信息发送到悬停相机100。悬停相机100基于从控制端子200发送的飞行信息执行飞行。
图20是示出使悬停相机100在向上方向(桥的背面)上飞行并捕获的示例的说明图。图21是示出组合由悬停相机100捕获的图像并且使用户使用组合图像指定悬停相机100的飞行路径的示例的说明图。
参考图21，类似于图19，指示悬停相机100的当前位置的当前位置标记262被显示在作为以重叠方式捕获桥的背面的结果而获得的组合图像261上。控制端子200在生成如下所述的组合图像261时使用例如特征点匹配。
例如，当用户在合成图像261上指定悬停相机100的目标位置263时，如图21所示，控制端子200生成用于使悬停相机100沿着从当前位置标记262到目标位置263的飞行路径264飞行的飞行信息，并将飞行信息发送到悬停相机100。悬停相机100基于从控制端子200发送的飞行信息执行飞行。
首先将描述通过控制端子200的组合图像生成示例。图22是示出组合图像由控制端子200生成并显示在显示单元210上的示例的说明图。以下处理可以例如由控制端子200的显示控制单元234执行。因此，显示控制单元234可以用作本公开的图像处理单元的示例。
图22示出了控制端子200例如使用在时间t-5到t-1捕获的图像组271和在时间t捕获的图像272生成组合图像的示例。当在时间t捕获的图像272被发送到控制端子200时，控制端子200在图像组271中执行在时间t捕获的图像272的特征点与在时间t-1捕获的图像的特征点之间的匹配。控制端子200执行在时间t捕获的图像272的特征点与使用图像组271预先组合的组合图像的特征点之间的匹配。
然后，控制端子200获得特征点的位置误差中最小的旋转×转换参数(或仿射变换参数)。然后，控制端子200通过使用旋转×变换参数(或仿射变换参数)的变换，基于新图像272来组合到目前为止通过拼接处理生成的组合图像(对其执行α混合)。控制端子200可以生成例如新的组合图像，其中通过该组合，在时间t捕获的图像位于组合图像的中心。然后，控制端子200显示组合图像，使得组合图像的中心(即在时间t捕获的图像的中心273)是悬停相机100的位置。
接下来，将描述基于对如上所述生成的组合图像的用户输入的控制端子200的飞行路径生成处理。
图23是用于基于用户对组合图像的用户输入来描述控制端子200的飞行路径生成处理的说明图。当用户在由控制端子200生成的组合图像275上指定目标位置276时，获取从悬停相机100的当前位置到目标位置的方向。由于基于由悬停相机100捕获的图像来生成组合图像，所以目标位置的方向表示来自悬停相机100的当前方向。当悬停相机100处于其中能够通过GPS获取位置信息的模式时，基于GPS位置信息执行自主飞行(自主飞行模式)。当检测到GPS的异常时，关于悬停相机100的模式，执行切换到其中通过用户操作指定目标位置并且使用组合图像来估计位置的用户操作飞行模式，并且基于目标位置信息和估计的位置信息执行自主飞行。GPS的异常是指悬停相机100难以稳定地接收来自GPS卫星的无线电波的状态，例如，GPS信号电平低于阈值GPS位置信息急剧变化，或者从GPS卫星获取的位置信息与加速度传感器的值不同的状态。在用户操作飞行模式中，悬停相机100的控制单元110通过诸如同时定位与地图创建(SLAM)的图像识别处理来识别真实空间。随后，控制单元110将真实空间与组合图像上的坐标相关联，并且因此能够计算从当前位置查看的目标位置的方向和距离。在通过图像识别处理的位置估计的情况下，可以通过控制单元110使用加速度传感器和陀螺仪传感器估计移动量，并在图像识别处理中组合。在自主飞行模式和用户操作飞行模式之间的切换由悬停相机100的控制单元110或控制端子200的控制单元控制。GPS的异常也由悬停相机100的控制单元110或控制端子200的控制单元检测。
控制端子200可以使用户适当地改变组合图像的缩小比例。特别地，当用户在组合图像上输入目标位置时，控制端子200可以通过使用户改变组合图像的缩小比例来设置更详细的目标位置。此外，能够将包括组合图像的显示单元210的显示画面上的任意部分指定为目标位置276。换句话说，除了组合图像中的一部分之外，不被悬停相机100捕获的部分(例如，除了图25中的组合图像275之外的显示区域)可以由用户指定。
例如，假设成像设备向下安装在悬停相机100中，使得捕获图像的向上方向是悬停相机100的前方向，并且左方向是悬停相机100的左方向。因此，当用户在图23所示的组合图像275上指定目标位置276时，当从悬停相机100的当前位置(即，中心273)查看时，目标位置276处于左后方向。
因此，控制端子200确定其中当从悬停相机100的当前位置查看时，悬停相机100在向左后方向飞行的飞行路径277，生成用于执行沿着飞行路径277的水平飞行的飞行信息，以及将所生成的飞行信息发送到悬停相机100。可以例如由飞行信息生成单元232执行飞行路径277的确定和飞行信息的生成。悬停相机100基于从控制端子200发送的飞行信息来执行沿左后方向的水平飞行。飞行信息可以仅是到目标位置276的方向，或者可以包括到目标位置276的方向和距离。当只有到目标位置276的方向被用作飞行信息时，如果连续执行将航向引导向目的地的处理，则执行反馈，使得即使在到达之后悬停相机100仍停留在目标位置276，并且因此悬停相机100可以到达目的地。在这种情况下，不需要根据组合图像的比例计算到目标位置的距离的处理，并且控制单元110的处理负荷减小。控制单元110可以使用图像识别处理来确定悬停相机100是否已到达目的地。当使用图像识别处理执行确定时，即使在难以接收GPS信息的环境中也可以确定到达目的地。当到目标位置276的方向和距离被用作飞行信息时，可以通过控制端子200向用户给出指示悬停相机100已到达目的地附近的通知。例如，当从当前位置到目标位置的剩余距离在组合图像上低于5个像素时，可以通过控制端子200向用户给出指示悬停相机100已到达目的地附近的通知。
然后，随着悬停相机100的水平飞行的开始，控制端子200可以通过悬停相机100获得新的捕获图像。控制端子200使用通过悬停相机100的移动获得的新的捕获图像来更新组合图像。控制端子200在更新组合图像时，不仅更新图像的方向或位置，而且更新目标位置。当更新图像和目标位置的方向或位置时，目标位置与用户指定的位置一起移动。图24是示出使用通过悬停相机100的目标位置276的移动获得的新捕获图像而更新的示例性组合图像的说明图。在图24中，当与图23相比时，中心273的位置基本上相同，并且目标位置276接近中心273。换句话说，从图24看到的是目标位置276已经从其在图23中示出的位置移动。
控制端子200通过执行反馈控制，使得目标位置276通过悬停相机100的新捕获和组合图像的更新而接近中心273一定距离或更小来生成飞行信息，并且将生成的飞行信息发送到悬停相机100。
在该示例中，已经描述了将悬停相机100移动到目标位置而没有旋转悬停相机100的方法，但是本公开不限于相关示例。当指定目标位置时，控制端子200可以首先生成用于使悬停相机100朝向目标位置旋转的飞行信息，并且可以生成用于在旋转悬停相机100之后朝向目标位置移动的飞行信息。即使当使得悬停相机100旋转时，控制端子200也执行如上所述的特征点匹配，并且因此能够随着悬停相机100的旋转而旋转组合图像。
此外，根据将成像设备附接到悬停相机100的方法，图像中的移动方向不同。因此，例如，当成像设备101向上附接到悬停相机100时，移动方向与当向下附接时的移动方向相反。此外，在本实施例中，除了悬停相机100在水平方向上的移动之外，控制端子200还可以控制悬停相机100在垂直方向上的移动。例如，当在水平移动之后操作悬停相机100以降落时，控制端子200在屏幕上显示用于在垂直方向上移动的滑块，并且用户可以通过操作滑块来执行使悬停相机100着陆的操作。
当然，成像设备101也可以沿横向方向安装在悬停相机100中。当沿横向方向将成像设备101安装在悬停相机100中时，悬停相机100的移动方向变为垂直方向和旋转的组合或者垂直和水平方向的组合。图25是示出当沿横向方向将成像设备101安装在悬停相机100中时的示例性组合图像的说明图。图25示出了从由悬停相机100捕获的图像生成的组合图像281。由附图标记282包围的部分指示由悬停相机100在当前位置捕获的图像。
将基于上述描述描述根据本公开的实施例的控制端子200的示例性操作。
图26是示出根据本公开的实施例的控制端子200的示例性操作的流程图。图26示出了当从由悬停相机100捕获的图像生成组合图像、基于组合图像生成飞行信息、并且将飞行信息发送到悬停相机100时，控制端子200的示例性操作。
控制端子200首先通过显示控制单元234执行初始化处理(步骤S401)。初始化处理是将从悬停相机100初始发送的捕获图像用作输入图像并将输入图像用作第一组合图像的处理。
然后，控制端子200将由悬停相机100捕获的图像用作输入图像，并且通过显示控制单元234提取输入图像和组合图像的特征点(步骤S402)。当提取特征点时，控制端子200然后执行所提取的特征点的匹配，并且通过显示控制单元234计算特征点之间的移动量或旋转量(步骤S403)。
然后，控制端子200通过显示控制单元234根据在步骤S403中获得的特征点之间的移动量或旋转量来转换组合图像(步骤S404)。在转换时，当已经指定了目标位置时，控制端子200通过显示控制单元234根据甚至目标位置执行转换。
然后，控制端子200将先前的组合图像与输入图像组合以生成新的组合图像，并且通过显示控制单元234执行显示组合图像的处理(步骤S405)。
然后，控制端子200通过显示控制单元234确定在正在显示组合图像的显示单元210上是否存在用户输入(步骤S406)。例如，在正在显示组合图像的显示单元210上的用户输入是在安装在显示单元210中的触摸面板上的用户输入。此外，当在显示单元210上安装的触摸面板上存在用户输入时，控制端子200例如通过显示控制单元234检测用户输入的图像的坐标位置。当在组合图像上存在用户输入时(步骤S406中的“是”)，控制端子200通过显示控制单元234执行将用户的触摸位置登记为目标位置的处理(步骤S407)。当在组合图像上没有用户输入时(步骤S406中的“否”)，控制端子200跳过步骤S407的处理。
然后，控制端子200通过显示控制单元234确定是否已经登记了目标位置(步骤S408)。当已经登记了目标位置时(步骤S408中为是)，控制端子200然后通过显示控制单元234获得目标位置距当前位置的方向(步骤S409)。
当获得了目标位置距当前位置的方向时，控制端子200然后基于成像设备101(根据成像设备101的附接)的成像方向信息执行从图像上的方向到悬停相机100的机身的移动方向的转换)(步骤S410)。然后，控制端子200通过飞行信息生成单元232生成用于在转换的移动方向上执行移动的命令作为飞行信息，并将所生成的飞行信息发送到悬停相机100(步骤S411)。
当飞行信息被发送到悬停相机100时，控制端子200返回到步骤S402的特征点提取处理。
另一方面，当在步骤S408中确定还没有登记目标位置(步骤S408中的“否”)时，控制端子200跳过步骤S409至S411的处理，并返回到步骤S402的特征点提取处理。
根据本公开的实施例的控制端子200执行上述处理，并且因此可以根据需要组合由悬停相机100捕获的图像，生成组合图像，生成用于飞行到在组合图像上指定的位置，并将飞行信息发送到悬停相机100。
在上述示例中，控制端子200根据对组合图像的触摸处理生成用于控制悬停相机100的飞行的飞行信息，但是本公开不限于相关示例。
例如，控制端子200可以根据通过对组合图像的缩进(pinch-in)操作的缩小处理，通过对组合图像的扩大操作的放大处理，或者对组合图像的旋转操作生成用于控制悬停相机100的飞行的飞行信息。
换句话说，当执行对组合图像的缩进操作(缩小组合图像的操作)时，控制端子200可以生成用于使得悬停相机100远离成像目标移动的飞行信息。此外，当执行对组合图像的扩大操作(放大组合图像的操作)时，控制端子200可以生成用于使得悬停相机100接近成像目标的飞行信息。具体地，执行控制，使得基于指示安装在悬停相机100中的成像设备101的成像方向的信息来生成飞行信息。例如，在对组合图像执行的缩小操作中，当成像方向是悬停相机的向下方向时，生成用于指示悬停相机的上升的飞行路径信息，并且悬停相机移动远离成像目标，并且当成像方向是悬停相机的向上方向时，生成用于指示悬停相机的下降的飞行路径信息，并且悬停相机移动远离成像目标。此外，当通过对组合图像的触摸操作执行旋转操作时，控制端子200可以生成飞行信息，使得在悬停相机100的成像设备101面向成像目标的状态下执行旋转。
在上述示例中，虽然由控制端子200执行由悬停相机100捕获的图像的组合处理，并且将飞行指令从控制端子200发送到悬停相机100，但是本实施例的技术可以应用于例如所有移动对象(诸如配备有成像设备的机器人)的控制。
在上述示例中，由悬停相机100捕获的图像的组合处理由控制端子200执行，并且飞行指令从控制端子200发送到悬停相机100。在这种情况下，每次进行捕获时将通过悬停相机100捕获的图像从悬停相机100发送到控制端子200，并且每次生成和更新飞行信息时将由控制端子200生成的飞行信息(即，用于使悬停相机100直接解释移动方向的信息)从控制端子200发送到悬停相机100。
然而，本公开不限于相关示例。例如，悬停相机100可以执行通过对由悬停相机100捕获的图像的成像处理而进行的参数的提取和用于控制悬停相机100的飞行的命令的生成，并且控制端子200可以对由悬停相机100捕获的图像执行组合处理，且可以仅接收来自用户的目标位置的输入。在这种情况下，每当执行捕获时，将由悬停相机100捕获的图像从悬停相机100发送到控制端子200，并且每当用户指定目标位置时将由用户指定的目标位置的信息从控制端子200发送到悬停相机100。
因为悬停相机100执行通过对由悬停相机100捕获的图像的成像处理而进行的参数的提取和用于控制悬停相机100的飞行的命令的生成，因此反馈控制仅在悬停相机100内完成。因此，即使当在控制端子200和悬停相机100之间的信息交换所必要的通信量减少或控制端子200和悬停相机100之间的通信断开时，它也能够使悬停相机100安全飞行。
此外，在上述示例中，生成组合图像，使得由悬停相机100最近捕获的图像位于屏幕的中心，但是本公开不限于相关示例。换句话说，由悬停相机100捕获的图像可以在组合图像的显示位置固定的状态下与组合图像组合。当组合图像的显示位置固定时，目标位置是固定的，并且当更新组合图像时移动悬停相机100的当前位置。此外，当组合图像的显示位置是固定的并且组合图像通过组合图像的更新到达屏幕的端部时，可以通过滚动整个组合图像来更新当前位置和目标位置，使得最近捕获的图像适合在屏幕内。
成像设备101可以不附接到悬停相机100，使得成像方向是固定的，并且例如，成像设备101可以附接到悬停相机100，使得成像方向通过电机等改变。当成像设备101附接到悬停相机100使得成像方向改变时，例如，控制单元110可以检测成像设备101的成像方向，并且可以根据由控制单元110检测到的成像方向来执行指定悬停相机100的移动方向处理和组合图像生成处理。
<2.结论>
如上所述，根据本公开的实施例，设置了基于设置的飞行信息执行自动飞行并捕获检测目标的结构的悬停相机100以及能够基于由悬停相机100捕获的静止图像检查结构的损坏状态的检测系统10。
根据本公开的实施例的检测系统10在生成要发送到悬停相机100的飞行信息时，使用与检测目标的结构相关的信息。使用与检测目标的结构相关的信息，控制端子200可以生成用于使得悬停相机100飞行并且高效地检测检测目标的结构的飞行信息。
此外，根据本公开的实施例，设置了能够从由悬停相机100捕获的图像生成组合图像并且根据对组合图像的输入生成用于移动悬停相机100的飞行信息的控制端子200。根据本公开的实施例的控制端子200可以使用户能够通过从由悬停相机100捕获的图像生成组合图像并且根据对组合图像的输入生成用于移动悬停相机100的飞行信息来直观地操作悬停相机100。因此，根据本公开的实施例的控制端子200可以使得用户能够容易地操作悬停相机100，而不强迫用户执行复杂的操作。
在上述实施例中，已经描述了其中由悬停相机100捕获的图像是静止图像，并且使用静止图像检测桥1的损坏状态的检测系统10的示例，但是本公开不限于相关示例。悬停相机100可以在飞行时捕获桥1的运动图像，并且信息处理设备300可以使用由悬停相机100捕获的运动图像来生成损坏数据。悬停相机100在执行移动图像成像处理时周期性地获取位置信息，并且将运动图像的成像时间与位置信息的获取时间相关联，并且因此信息处理设备300可以使用运动图像来生成损坏数据。
不必按照在序列图或流程图中描述的时间顺序执行由本说明书的每个设备执行的处理的每个步骤。例如，由每个设备执行的处理的每个步骤可以按照与作为流程图描述的顺序不同的顺序执行，或者可以并行执行。
此外，还可以创建用于使安装在每个设备中的诸如CPU、ROM和RAM的硬件展示与上述每个设备的等同功能的计算机程序。此外，还可以设置其中存储这样的计算机程序的存储介质。另外，通过将功能框图中所示的每个功能块配置为硬件或硬件电路，还可以使用硬件或硬件电路来实现一系列处理。此外，在上述描述中使用的功能框图中示出的一些或所有功能块可以由经由诸如因特网的网络连接的服务器设备实现。此外，在上述描述中使用的功能框图中所示的功能块的每个组件可以由单个设备实现，或者可以由多个设备彼此协作的系统来实现。多个设备彼此协作的系统的示例包括多个服务器设备的组合以及服务器设备和端子设备的组合。此外，该系统可以应用于汽车。例如，驾驶员可以触摸合成图像上的优选的停车空间。然后，汽车可以根据触摸处理自动地移动到优选的停车空间。
本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改，组合，子组合和替换，只要它们在随附权利要求或其等同物的范围内。
另外，本说明书中描述的效果仅仅是说明性和说明性的，而不是限制性的。换句话说，连同或者代替基于本说明书的效果，根据本公开的实施例的技术还可以呈现对于本领域技术人员显而易见的其他效果。
本公开还可以采用以下配置。
(1)一种车辆控制系统，包括：至少一个成像设备，其附接到车辆并且被配置为捕获多个图像；以及控制电路，其被配置为从所述多个图像生成合成图像，并且在显示单元上显示所述合成图像，其中所述车辆根据正在显示所述合成图像的显示单元的一部分上的用户操作来操作。
(2)根据(1)所述的车辆控制系统，其中，所述用户操作是对所述合成图像的操作。
(3)根据(1)或(2)所述的车辆控制系统，其中，所述显示单元包括用于显示所述合成图像的第一显示区域，所述用户操作是在所述显示单元的不同于第一显示区域的第二显示区域上的操作。
(4)根据(1)至(3)中任一项所述的车辆控制系统，其中，所述控制电路被配置为基于所述用户操作在所述显示单元上相对于显示在所述显示单元上的车辆位置的输入位置来生成目标位置信息，所述输入位置表示目标位置，以及
目标位置信息包括在真实坐标系中从车辆位置到目标位置的方向。
(5)根据(4)所述的车辆控制系统，其中，所述目标位置信息包括在所述真实坐标系中从所述车辆位置到所述目标位置的距离。
(6)根据(4)或(5)所述的车辆控制系统，其中，所述控制电路被配置为将所述目标位置信息发送到所述车辆。
(7)根据(4)至(6)中任一项所述的车辆控制系统，其中，所述控制电路被配置为显示所述合成图像，使得所述合成图像上的车辆位置位于所述显示单元的中心。
(8)根据(4)至(7)中任一项所述的车辆控制系统，其中，所述控制电路被配置为改变所述合成图像的显示，使得在车辆接近真实坐标系中的目标位置时所述显示单元上的目标位置接近所述显示单元的中心。
(9)根据(4)至(8)中任一项所述的车辆控制系统，其中，所述用户操作是缩小操作，并且所述车辆被配置为响应于所述缩小操作来接近真实坐标系中的目标位置。
(10)根据(1)至(9)中任一项所述的车辆控制系统，其中，所述车辆是悬停机。
(11)根据(1)至(10)中任一项所述的车辆控制系统，其中，所述车辆是汽车。
(12)根据(1)至(11)中任一项所述的车辆控制系统，其中，所述合成图像是拼接图像。
(13)根据(10)所述的车辆控制系统，其中，所述控制电路被配置为在自主飞行模式和用户操作飞行模式之间切换飞行模式，并且其中所述悬停机根据在用户操作飞行模式中的用户操作来操作。
(14)根据(13)所述的车辆控制系统，其中所述控制电路被配置为根据位置信息获取电路的异常从自主飞行模式切换到用户操作飞行模式。
(15)根据(14)所述的车辆控制系统，其中，所述位置信息获取电路被配置为基于全球定位系统接收器信息获取位置信息。
(16)一种车辆控制方法，包括：经由附接到车辆的至少一个成像设备捕获多个图像；从所述多个图像生成合成图像，并且在显示单元上显示所述合成图像；以及根据正在显示所述合成图像的所述显示单元的一部分上的用户操作来操作所述车辆。
(17)根据(16)所述的车辆控制方法，其中，所述用户操作是对所述合成图像的操作。
(18)根据(16)或(17)所述的车辆控制方法，其中在所述显示单元上显示所述合成图像包括在所述显示单元的第一显示区域上显示所述合成图像，并且所述用户操作是所述显示单元的不同于所述第一显示区域的第二显示区域上的操作。
(19)根据(16)至(18)中任一项所述的车辆控制方法，还包括：基于所述用户操作在所述显示单元上相对于在所述显示单元上显示的车辆位置的输入位置生成目标位置，所述输入位置表示目标位置，其中所述目标位置信息包括在真实坐标系中从所述车辆位置到所述目标位置的方向。
(20)根据(19)所述的车辆控制方法，其中，所述目标位置信息包括在所述真实坐标系中从所述车辆位置到所述目标位置的距离。
(21)根据(19)或(20)所述的车辆控制方法，还包括：将所述目标位置信息发送到所述车辆。
(22)根据(19)至(21)中任一项所述的车辆控制方法，还包括：显示所述合成图像，使得所述合成图像上的车辆位置位于所述显示单元的中心。
(23)根据(19)至(22)中任一项所述的车辆控制方法，还包括：改变所述合成图像的显示，使得当所述车辆接近真实坐标系中的目标位置时所述显示单元上的目标位置接近所述显示单元的中心。
(24)根据(19)至(23)中任一项所述的车辆控制方法，还包括：响应于所述用户操作，使所述车辆接近真实坐标系中的目标位置，其中所述用户操作是缩小操作。
(25)根据(16)至(24)中任一项所述的车辆控制方法，其中，所述车辆是悬停机。
(26)根据(16)至(24)中任一项所述的车辆控制方法，其中，所述车辆是汽车。
(27)根据(16)至(26)中任一项所述的车辆控制方法，其中，所述合成图像是拼接图像。
(28)一种计算机系统，包括：至少一个处理单元；以及存储器，所述存储器包括存储指令的非暂时性计算机可读介质，所述指令在被所述至少一个处理单元执行时使得所述计算机系统：使得附接到车辆的至少一个成像设备捕获多个图像，从所述多个图像生成合成图像，在显示单元上显示合成图像，以及根据正在显示合成图像的显示单元的一部分上的用户操作来操作车辆。
(29)一种控制设备，包括：图像处理单元，被配置为从配备有成像设备的移动对象捕获的图像生成组合图像；以及移动信息生成单元，被配置为根据对由所述图像处理单元生成的组合图像的操作，生成用于移动所述移动对象的移动信息。
(30)根据(29)所述的控制设备，其中，所述移动信息生成单元基于在所述组合图像上指定的指定位置，生成用于将所述移动对象移动到地点的移动信息。
(31)根据(30)所述的控制设备，其中，当生成所述移动信息时，所述移动信息生成单元基于所述成像设备在所述移动对象中的安装状态来确定所述移动对象的移动方向。
(32)根据(30)或(31)所述的控制设备，其中，当生成所述组合图像时，所述图像处理单元将在生成组合图像之前所述组合图像中的指定位置移动到在生成所述组合图像之后所述组合图像中的位置。
(33)根据(30)至(32)中任一项所述的控制设备，其中，所述移动信息生成单元生成用于在以移动对象的前面面向该地点的方式改变所述移动对象的方向之后将所述移动对象移动到基于指定位置的地点的移动信息。
(34)根据(29)至(33)中任一项所述的控制设备，其中，所述移动信息生成单元基于对组合图像的放大处理生成用于以所述移动对象接近所述成像设备的成像目标的方式移动所述移动对象的移动信息。
(35)根据(29)至(33)中任一项所述的控制设备，其中，所述移动信息生成单元基于对组合图像的缩小处理来生成用于以所述移动对象移动远离所述成像的成像目标的方式移动所述移动对象的移动信息。
(36)根据(29)至(33)中任一项所述的控制设备，其中，所述移动信息生成单元基于对组合图像的旋转处理生成用于以所述移动对象在所述成像设备面向成像目标的状态下旋转的方式移动所述移动对象的移动信息。
(37)根据(29)至(36)中任一项所述的控制设备，其中，所述图像处理单元以如下方式生成所述组合图像：由所述移动对象最近捕获的图像的中心位于屏幕的中心。
(38)根据(29)至(37)中任一项所述的控制设备，其中所述移动对象是飞行设备。
(39)一种控制方法，包括：从配备有成像设备的移动对象捕获的图像生成组合图像；以及根据对所生成的组合图像的操作来生成用于移动所述移动对象的移动信息。
(40)一种计算机程序，使计算机执行：从配备有成像设备的移动对象捕获的图像生成组合图像；以及根据对所生成的组合图像的操作来生成用于移动所述移动对象的移动信息。
附图标记说明：
10 检测系统
100 悬停相机
101 成像设备
104a至104d 转子
108a至108d 电机
110 控制单元
120 通信单元
130 传感器单元
132 位置信息获取单元
140 存储单元
150 电池
200 控制端子
300 信息处理设备
400 无线中继节点
500 位置估计节点
600 基站
700 充电站

Claims (17)

1.一种移动装置，包括：
至少一个电机，被配置为移动所述移动装置；
成像设备，被配置为在所述移动装置移动时捕获多个图像；以及控制单元，被配置为
从控制终端获取与指定操作对应的移动信息，所述指定操作被输入到控制终端并在控制终端的画面上的显示图像中指定地点，
所述显示图像基于所述多个图像，以及
基于移动信息控制电机将所述移动装置移动到与所述地点对应的位置。
2.根据权利要求1所述的移动装置，其中所述控制终端包括配置为接收指定操作的触摸面板。
3.根据权利要求1所述的移动装置，其中所述控制终端包括：
图像处理单元，被配置为从由成像设备捕获的所述多个图像生成组合图像；
移动信息生成单元，被配置为根据在组合图像上的指定操作生成移动信息；
通信单元，被配置为与所述移动装置无线通信；以及
显示单元，被配置为显示图像。
4.根据权利要求3所述的移动装置，其中移动信息生成单元被配置为在生成移动信息时基于成像设备的成像方向确定移动方向。
5.根据权利要求3所述的移动装置，其中当生成组合图像时，图像处理单元将在生成组合图像之前组合图像中的指定位置移动到在生成组合图像之后组合图像中的位置。
6.根据权利要求3所述的移动装置，其中移动信息生成单元生成用于在以所述移动装置的前面面向所述地点的方式改变所述移动装置的方向之后将所述移动装置移动到基于指定位置的所述地点的移动信息。
7.根据权利要求3所述的移动装置，其中图像处理单元以由所述移动装置最近捕获的图像的中心位于画面的中心的方式生成图像。
8.根据权利要求1所述的移动装置，其中成像设备被配置为捕获向上方向上的图像。
9.根据权利要求1所述的移动装置，其中指定操作是扩大操作，并且所述移动装置被配置为响应于扩大操作接近真实坐标系中的目标位置。
10.根据权利要求1所述的移动装置，其中指定操作是缩进操作，并且所述移动装置被配置为响应于缩进操作移动远离真实坐标系中的目标位置。
11.根据权利要求1所述的移动装置，其中指定操作是旋转操作，并且所述移动装置被配置为以所述移动装置的成像设备面向成像目标的状态旋转。
12.根据权利要求1所述的移动装置，其中所述移动装置是悬停机。
13.根据权利要求1所述的移动装置，其中所述移动装置包括存储单元以存储由于所述移动装置的移动而获取的信息。
14.根据权利要求13所述的移动装置，其中移动信息是通过基于由移动装置检测到的对象的信息生成的。
15.根据权利要求1所述的移动装置，其中图像是基于由成像设备捕获的所述多个图像到目前为止通过拼接处理生成的图像。
16.一种控制移动装置的方法，包括：
移动所述移动装置；
在所述移动装置移动时捕获多个图像；
从控制终端获取与指定操作对应的移动信息，所述指定操作被输入到控制终端并在控制终端的画面上的显示图像中指定地点，所述显示图像基于所述多个图像，以及
基于移动信息控制电机将所述移动装置移动到与所述地点对应的位置。
17.一种其上存储有指令的计算机可读介质，所述指令在被计算机系统执行时，使所述计算机系统：
移动所述移动装置；
在所述移动装置移动时捕获多个图像；
从控制终端获取与指定操作对应的移动信息，所述指定操作被输入到控制终端并在控制终端的画面上的显示图像中指定地点，所述显示图像基于所述多个图像，以及
基于移动信息控制电机将所述移动装置移动到与所述地点对应的位置。
CN201811272015.8A 2014-10-17 2015-10-09 检测车辆控制设备、控制方法 Active CN109373975B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-212953 2014-10-17
JP2014212953A JP6387782B2 (ja) 2014-10-17 2014-10-17 制御装置、制御方法及びコンピュータプログラム
PCT/JP2015/005142 WO2016059785A1 (en) 2014-10-17 2015-10-09 Inspection vehicle control device, control method, and computer program
CN201580054839.6A CN106796112B (zh) 2014-10-17 2015-10-09 检测车辆控制设备、控制方法和计算机程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580054839.6A Division CN106796112B (zh) 2014-10-17 2015-10-09 检测车辆控制设备、控制方法和计算机程序

Publications (2)

Publication Number Publication Date
CN109373975A true CN109373975A (zh) 2019-02-22
CN109373975B CN109373975B (zh) 2022-08-30

Family

ID=54360508

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201811272015.8A Active CN109373975B (zh) 2014-10-17 2015-10-09 检测车辆控制设备、控制方法
CN201580054839.6A Active CN106796112B (zh) 2014-10-17 2015-10-09 检测车辆控制设备、控制方法和计算机程序
CN201911346231.7A Active CN111009156B (zh) 2014-10-17 2015-10-09 检测车辆控制设备、控制方法和计算机程序

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201580054839.6A Active CN106796112B (zh) 2014-10-17 2015-10-09 检测车辆控制设备、控制方法和计算机程序
CN201911346231.7A Active CN111009156B (zh) 2014-10-17 2015-10-09 检测车辆控制设备、控制方法和计算机程序

Country Status (7)

Country Link
US (3) US10198003B2 (zh)
EP (2) EP4253911A3 (zh)
JP (1) JP6387782B2 (zh)
CN (3) CN109373975B (zh)
AU (2) AU2015331965A1 (zh)
CA (1) CA2959471A1 (zh)
WO (1) WO2016059785A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10518411B2 (en) * 2016-05-13 2019-12-31 General Electric Company Robotic repair or maintenance of an asset
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP6454793B2 (ja) 2015-09-16 2019-01-16 富士フイルム株式会社 健全度判定装置、健全度判定方法および健全度判定プログラム
JP6685742B2 (ja) * 2016-02-02 2020-04-22 キヤノン株式会社 操作装置、移動装置、およびその制御システム
CN107077140B (zh) 2016-03-28 2018-11-30 深圳市大疆创新科技有限公司 无人飞行器的悬停控制方法、控制系统和无人飞行器
JP6626970B2 (ja) * 2016-06-14 2019-12-25 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法
JP6156605B1 (ja) * 2016-07-20 2017-07-05 中国電力株式会社 無人飛行体、充電システム、及び充電システムの制御方法
KR101850617B1 (ko) * 2016-09-26 2018-04-20 부산대학교 산학협력단 케이블 교량의 처짐 모니터링 시스템 및 케이블 교량의 처짐 모니터링 방법
JP6715340B2 (ja) * 2016-10-14 2020-07-01 富士フイルム株式会社 撮影計画生成装置、撮影計画生成方法、およびプログラム
DE102017205647A1 (de) 2017-03-14 2018-09-20 Bitmanagement Software GmbH Verfahren zum bestimmen eines pfades entlang eines objekts, system und verfahren zum automatischen inspizieren eines objekts
JP6716015B2 (ja) * 2017-03-16 2020-07-01 富士フイルム株式会社 撮影制御装置、撮影システム、および撮影制御方法
JP2018160196A (ja) * 2017-03-23 2018-10-11 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、無人航空機制御システムの制御方法、およびプログラム
JP6811483B2 (ja) * 2017-03-30 2021-01-13 株式会社スカイマティクス ドローンを用いた作業を支援するシステムおよび方法
US11543836B2 (en) 2017-04-28 2023-01-03 Optim Corporation Unmanned aerial vehicle action plan creation system, method and program
CA3051611A1 (en) * 2017-05-26 2018-11-29 Guangzhou Xaircraft Technology Co., Ltd. Method for determining heading of unmanned aerial vehicle and unmanned aerial vehicle
JP2019045898A (ja) * 2017-08-29 2019-03-22 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行体制御方法、飛行体、プログラム及び記録媒体
EP3460729A1 (en) * 2017-09-26 2019-03-27 Ricoh Company, Ltd. Information processing apparatus, system of assessing structural object, method of assessing structural object system of assessing structural object, and carrier means
CN109708636B (zh) * 2017-10-26 2021-05-14 广州极飞科技股份有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
US10872534B2 (en) * 2017-11-01 2020-12-22 Kespry, Inc. Aerial vehicle inspection path planning
JP7084571B2 (ja) * 2017-11-29 2022-06-15 エンジェルスウィング インコーポレイテッド 需要者と供給者とをマッチングさせ、ドローンデータを提供する方法及びその装置
JP7153442B2 (ja) * 2017-12-19 2022-10-14 株式会社ダイヘン 移動体
WO2019163119A1 (ja) * 2018-02-26 2019-08-29 株式会社オプティム コンピュータシステム、ドローン制御方法及びプログラム
CN112106342B (zh) * 2018-02-26 2023-06-23 株式会社OPTiM 计算机系统、无人机控制方法以及记录介质
CN108647563A (zh) * 2018-03-27 2018-10-12 阿里巴巴集团控股有限公司 一种车辆定损的方法、装置及设备
JP6989849B2 (ja) * 2018-04-19 2022-01-12 株式会社Ｇｅｏソリューションズ 被検査構造体の検査システム
TWI682877B (zh) * 2018-06-04 2020-01-21 宏碁股份有限公司 移動裝置控制方法、伺服器裝置及移動裝置控制系統
JP6719738B2 (ja) * 2018-06-19 2020-07-08 電源開発株式会社 自律移動撮影制御システムおよび自律移動体
KR102225112B1 (ko) * 2018-08-30 2021-03-09 한국공항공사 비행체를 이용한 항행안전시설 점검 장치 및 방법
JP7195117B2 (ja) * 2018-11-14 2022-12-23 エヌ・ティ・ティ・コムウェア株式会社 情報表示システム、情報表示方法及び情報表示プログラム
CN109739234B (zh) * 2019-01-02 2022-05-17 中电海康集团有限公司 一种基于gps轨迹数据的车辆实时图像追踪方法
WO2020145004A1 (ja) * 2019-01-10 2020-07-16 日本電気株式会社 撮影ガイド装置
JP7412983B2 (ja) 2019-02-04 2024-01-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20220157179A1 (en) * 2019-03-06 2022-05-19 Sony Group Corporation Action control device and action control method, and program
CN109982049B (zh) * 2019-04-04 2020-10-13 郑州和光电子科技有限公司 一种全景融合显控系统
WO2021039387A1 (ja) * 2019-08-26 2021-03-04 ソニー株式会社 制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム
JP7263983B2 (ja) * 2019-08-30 2023-04-25 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法
JP6684507B1 (ja) * 2019-10-09 2020-04-22 株式会社エイテック 橋梁検査方法及び橋梁検査システム
WO2021081830A1 (en) * 2019-10-30 2021-05-06 SZ DJI Technology Co., Ltd. Computation load distribution
JP7352908B2 (ja) * 2019-12-11 2023-09-29 株式会社Acsl 無人航空機の推定位置を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体
CN111174765B (zh) * 2020-02-24 2021-08-13 北京航天飞行控制中心 基于视觉引导的行星车目标探测控制方法及装置
JP7047180B2 (ja) * 2020-07-16 2022-04-04 Kddi株式会社 管理装置
JP2023117420A (ja) * 2020-07-16 2023-08-24 ソニーグループ株式会社 情報処理方法、プログラム、及びシステム
JP6994087B2 (ja) * 2020-07-16 2022-01-14 Kddi株式会社 飛行装置、飛行制御方法及びプログラム
JP2021047205A (ja) * 2020-12-10 2021-03-25 Kddi株式会社 判定装置、判定方法及びプログラム
US20220292633A1 (en) * 2021-03-15 2022-09-15 International Business Machines Corporation Image stitching for high-resolution scans
WO2023047859A1 (ja) * 2021-09-22 2023-03-30 富士フイルム株式会社 情報処理装置、方法及びプログラム、並びに、画像データ構造

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963806A (zh) * 2010-10-15 2011-02-02 农业部南京农业机械化研究所 基于gps导航的无人机施药作业自动控制系统及方法
CN102566580A (zh) * 2011-12-27 2012-07-11 中国直升机设计研究所 一种无人直升机飞行航迹规划方法
CN102982515A (zh) * 2012-10-23 2013-03-20 中国电子科技集团公司第二十七研究所 一种无人机图像实时拼接的方法
CN103604427A (zh) * 2013-12-10 2014-02-26 中国航天空气动力技术研究院 对地面移动目标动态定位的无人机系统和方法
CN103942273A (zh) * 2014-03-27 2014-07-23 北京空间机电研究所 一种空中快速响应动态监测系统及其动态监测方法
US20140279733A1 (en) * 2013-03-14 2014-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2923634C2 (de) * 1979-06-11 1985-01-17 Siemens AG, 1000 Berlin und 8000 München Leitsystem für den Individualverkehr
JPS57186111A (en) * 1981-05-13 1982-11-16 Nissan Motor Co Ltd Map display device for vehicle
JPS61245015A (ja) * 1985-04-23 1986-10-31 Mitsubishi Electric Corp 方向表示装置
JP2891795B2 (ja) * 1991-04-12 1999-05-17 パイオニア株式会社 車載ナビゲーション装置
JPH0729099A (ja) * 1993-07-13 1995-01-31 Kunimichi Takada 配送用地図表示装置
JP2001292444A (ja) * 2000-04-10 2001-10-19 Mitsubishi Electric Corp 撮影システム
US6845297B2 (en) * 2000-05-01 2005-01-18 Irobot Corporation Method and system for remote control of mobile robot
EP2363775A1 (en) * 2000-05-01 2011-09-07 iRobot Corporation Method and system for remote control of mobile robot
JP2003195941A (ja) 2001-12-26 2003-07-11 Matsushita Electric Ind Co Ltd 移動体を移動させるサービスを提供する方法
US7496226B2 (en) 2003-09-19 2009-02-24 University Of Miami Multi-camera inspection of underwater structures
JP2005269413A (ja) 2004-03-19 2005-09-29 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空中撮影システム
JP2006027448A (ja) 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2006113858A (ja) 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd 移動体の遠隔操作支援方法及びシステム
JP4502793B2 (ja) * 2004-12-14 2010-07-14 三菱電機株式会社 撮影映像処理システム
JP2006308311A (ja) 2005-04-26 2006-11-09 Xanavi Informatics Corp ナビゲーション装置
JP4222355B2 (ja) * 2005-09-29 2009-02-12 トヨタ自動車株式会社 駐車支援装置および車両と地上機器との間の電力授受方法
JP4306670B2 (ja) * 2005-10-31 2009-08-05 トヨタ自動車株式会社 駐車支援装置
US8581981B2 (en) 2006-04-28 2013-11-12 Southwest Research Institute Optical imaging system for unmanned aerial vehicle
JP5140887B2 (ja) * 2006-11-07 2013-02-13 株式会社小松製作所 無人車両の誘導走行制御方法および制御装置
AU2007354885B2 (en) * 2006-12-06 2011-10-20 Honeywell International, Inc. Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles
US8983649B2 (en) * 2007-02-16 2015-03-17 Boomerang Systems, Inc. Automated storage system and transport vehicle
US20090281727A1 (en) * 2008-05-06 2009-11-12 Matsushita Electric Industrial Co., Ltd. Car navigation system
US20100286859A1 (en) 2008-11-18 2010-11-11 Honeywell International Inc. Methods for generating a flight plan for an unmanned aerial vehicle based on a predicted camera path
AU2009316987B2 (en) * 2008-11-20 2012-09-06 Bae Systems Plc Unmanned aerial vehicle (UAV)
JP5402057B2 (ja) 2009-02-16 2014-01-29 トヨタ自動車株式会社 移動ロボット制御システム、経路探索方法、経路探索プログラム
JP5326678B2 (ja) 2009-03-09 2013-10-30 トヨタ自動車株式会社 ナビゲーション装置
JP5326794B2 (ja) 2009-05-15 2013-10-30 トヨタ自動車株式会社 遠隔操作システム及び遠隔操作方法
JP2011065202A (ja) 2009-09-15 2011-03-31 Hitachi Ltd 自律移動装置
CN201575814U (zh) * 2009-12-17 2010-09-08 北京华旗随身数码股份有限公司 可视化车载导航装置
DE202010000176U1 (de) * 2010-02-12 2011-06-30 AL-KO Kober AG, 89359 Fernbedienung
JP2011174799A (ja) 2010-02-24 2011-09-08 Mitsubishi Electric Corp 撮影経路計算装置
US8743199B2 (en) * 2010-03-09 2014-06-03 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
FR2957266B1 (fr) * 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP5610870B2 (ja) 2010-06-21 2014-10-22 三菱重工業株式会社 無人走行車両の誘導装置及び無人走行車両の誘導方法
EP2423873B1 (en) * 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane
JP5618840B2 (ja) 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
JP2012179682A (ja) 2011-03-01 2012-09-20 Nec Corp 移動ロボットシステム、移動ロボット制御装置、該制御装置に用いられる移動制御方法及び移動制御プログラム
FR2972364B1 (fr) * 2011-03-08 2014-06-06 Parrot Procede de pilotage suivant un virage curviligne d'un drone a voilure tournante a rotors multiples.
DE102011017564B4 (de) * 2011-04-26 2017-02-16 Airbus Defence and Space GmbH Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler
US20140297066A1 (en) 2011-11-04 2014-10-02 Panasonic Corporation Remote control system
FR2988618B1 (fr) 2012-03-30 2014-05-09 Parrot Estimateur d'altitude pour drone a voilure tournante a rotors multiples
US9581438B2 (en) 2012-12-31 2017-02-28 General Electric Company Systems and methods for control of a non-destructive testing system
US9215448B2 (en) * 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
US9429425B2 (en) * 2013-03-05 2016-08-30 Here Global B.V. Aerial image collection
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
DE102013110580A1 (de) * 2013-09-24 2015-03-26 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Szene
US9986154B2 (en) * 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
CN105517664B (zh) * 2014-05-30 2018-11-20 深圳市大疆创新科技有限公司 无人飞行器对接系统及方法
CN107291104A (zh) 2014-07-30 2017-10-24 深圳市大疆创新科技有限公司 目标追踪系统及方法
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US20170221241A1 (en) * 2016-01-28 2017-08-03 8681384 Canada Inc. System, method and apparatus for generating building maps
US9823658B1 (en) * 2016-11-04 2017-11-21 Loveland Innovations, LLC Systems and methods for adaptive property analysis via autonomous vehicles
US20180184073A1 (en) * 2016-12-23 2018-06-28 Red Hen Systems Llc Systems and Methods For Recording Stereo Pairs From Independent Camera Platforms

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963806A (zh) * 2010-10-15 2011-02-02 农业部南京农业机械化研究所 基于gps导航的无人机施药作业自动控制系统及方法
CN102566580A (zh) * 2011-12-27 2012-07-11 中国直升机设计研究所 一种无人直升机飞行航迹规划方法
CN102982515A (zh) * 2012-10-23 2013-03-20 中国电子科技集团公司第二十七研究所 一种无人机图像实时拼接的方法
US20140279733A1 (en) * 2013-03-14 2014-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
CN103604427A (zh) * 2013-12-10 2014-02-26 中国航天空气动力技术研究院 对地面移动目标动态定位的无人机系统和方法
CN103942273A (zh) * 2014-03-27 2014-07-23 北京空间机电研究所 一种空中快速响应动态监测系统及其动态监测方法

Also Published As

Publication number Publication date
US11520334B2 (en) 2022-12-06
US11927960B2 (en) 2024-03-12
WO2016059785A1 (en) 2016-04-21
CN111009156A (zh) 2020-04-14
JP6387782B2 (ja) 2018-09-12
US20230106526A1 (en) 2023-04-06
EP3206768A1 (en) 2017-08-23
AU2018222910B2 (en) 2019-08-08
US20170308088A1 (en) 2017-10-26
CN109373975B (zh) 2022-08-30
CN106796112B (zh) 2020-01-21
CA2959471A1 (en) 2016-04-21
CN106796112A (zh) 2017-05-31
JP2016082441A (ja) 2016-05-16
US10198003B2 (en) 2019-02-05
AU2015331965A1 (en) 2017-02-09
CN111009156B (zh) 2022-06-07
EP4253911A3 (en) 2023-12-13
EP3206768B1 (en) 2023-11-29
EP4253911A2 (en) 2023-10-04
US20190146503A1 (en) 2019-05-16
AU2018222910A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
US11927960B2 (en) Control device, control method, and computer program
US11657534B2 (en) Information processing device, information processing method, and computer program
JP6795073B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2024020389A (ja) 制御方法、制御装置及びプログラム
JP2018174002A (ja) 移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant