CN112449104A - 存储有计算机程序的计算机存储介质 - Google Patents

存储有计算机程序的计算机存储介质 Download PDF

Info

Publication number
CN112449104A
CN112449104A CN202010189898.7A CN202010189898A CN112449104A CN 112449104 A CN112449104 A CN 112449104A CN 202010189898 A CN202010189898 A CN 202010189898A CN 112449104 A CN112449104 A CN 112449104A
Authority
CN
China
Prior art keywords
image
unmanned aerial
detailed
aerial vehicle
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010189898.7A
Other languages
English (en)
Other versions
CN112449104B (zh
Inventor
丰嶋进
长尾吉伸
德田靖之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nomura Research Institute Ltd
Original Assignee
Nomura Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nomura Research Institute Ltd filed Critical Nomura Research Institute Ltd
Priority to CN202210093679.8A priority Critical patent/CN114489131A/zh
Publication of CN112449104A publication Critical patent/CN112449104A/zh
Application granted granted Critical
Publication of CN112449104B publication Critical patent/CN112449104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种存储有计算机程序的计算机存储介质,提供一种抑制成本增大、同时能够使用无人机进行对象的详细检查的辅助技术。计算机程序使对具有拍摄功能的无人飞行装置进行控制的终端实现:获取用于设定无人飞行装置的第1动作以使得能够对对象进行拍摄的信息的功能;从无人飞行装置获取无人飞行装置进行第1动作而得到的图像的功能;使用图像从用户接受对象的一部分的指定的功能;和设定无人飞行装置的第2动作,以获取比第1动作中得到的对象的指定的一部分的图像更详细的对象的指定的一部分的图像的功能。

Description

存储有计算机程序的计算机存储介质
技术领域
本发明涉及对具有拍摄功能的无人飞行装置进行控制用的计算机程序和存储有改计算机程序的计算机存储介质。
背景技术
因为近年来的电池的小型轻量化、陀螺仪传感器和加速度传感器等传感器先进化,称为无人机的无人小型飞行装置的操作稳定性提高,这样的无人机正在逐渐变得可以廉价地供给。我国的经济产业省提倡“空中产业革命”,正在促进为了无人机的安全利用的技术开发和环境建设(例如参考非专利文献4)。
专利文献1中,公开了用无人机进行航拍而生成对象的三维模型的技术。
现有技术文献
专利文献
专利文献1:美国专利申请公开第2018/0218533号公报
非专利文献
非专利文献1:https://www.dji.com/jp/mavic,令和1年8月21日检索
非专利文献2:https://dronebank.jp/dronedeploy/index.html,令和1年8月21日检索
非专利文献3:https://www.softbank.jp/corp/news/press/sbkk/2018/20181107_01/,令和1年8月22日检索
非专利文献4:https://www.meti.go.jp/policy/mono_info_service/mono/robot/drone.html,令和1年8月22日检索
发明内容
发明要解决的课题
根据用无人机的摄像机拍摄的图像生成三维模型的情况下,存在无人机与其控制终端的通信速度成为瓶颈的可能性。特别是为了生成对象的详细的三维模型,需要获取大量的分辨率高即尺寸大的图像,并从无人机发送至处理终端。但是,无人机与处理终端的通信是无线的,不适于在短期间内发送接收大量的数据。或者,如果要装载实现这样的发送接收的高速、大容量的无线通信模块,则无人机的成本增大。
本发明是鉴于这样的课题得出的,其目的在于提供一种抑制成本增大、同时能够使用无人机进行对象的详细检查的辅助技术。
用于解决课题的方法
本发明的一个方式涉及计算机程序和存储有改计算机程序的计算机存储介质。该计算机程序使对具有拍摄功能的无人飞行装置进行控制的终端实现以下功能:获取用于设定无人飞行装置的第1动作以使得能够对对象进行拍摄的信息的功能;从无人飞行装置获取无人飞行装置进行第1动作而得到的图像的功能;使用图像从用户接受对象的一部分的指定的功能;和设定无人飞行装置的第2动作,以获取比第1动作中得到的对象的指定的一部分的图像更详细的对象的指定的一部分的图像的功能。
另外,以上构成要素的任意的组合、和使本发明的构成要素和表达在装置、方法、系统、保存了计算机程序的记录介质之间相互置换得到的结果,作为本发明的方式也是有效的。
发明的效果
根据本发明,能够提供一种抑制成本增大、同时能够使用无人机进行对象的详细检查的辅助技术。
附图说明
图1是用于说明实施方式的检查辅助系统的示意图。
图2是表示无人机按照与基站装置对应地设定的概略飞行路径飞行、对基站装置进行拍摄的状况的示意图。
图3是表示在生成的概略三维模型中从用户接受确认详情的部位的指定的状况的示意图。
图4是表示无人机按照与基站装置的指定部位对应地设定的详细飞行路径飞行、对指定部位进行拍摄的状况的示意图。
图5是表示用户确认生成的详细三维模型的状况的示意图。
图6是图1的便携终端的硬件结构图。
图7是表示图1的便携终端的功能和结构的模块图。
图8是表示图7的概略图像信息保持部的一例的数据结构图。
图9是表示图7的详细图像信息保持部的一例的数据结构图。
图10是表示图7的详细飞行历史保持部的一部分的数据结构图。
图11是表示图1的便携终端中的一系列处理的流程的流程图。
图12是在便携终端的显示器上显示的详细拍摄历史选择画面的代表画面图。
图13是在便携终端的显示器上显示的指定部位确认画面的代表画面图。
图14是在便携终端的显示器上显示的指定部位变迁画面的代表画面图。
附图标记说明
2 检查辅助系统
4 用户
6 基站装置
8 无人机
10 便携终端。
具体实施方式
以下,对于各图中示出的相同或同等的构成要素、部件、处理,附加同一符号,适当省略重复的说明。另外,在各图中省略表示说明上并不重要的部件的一部分。
图1是用于说明实施方式的检查辅助系统2的示意图。检查辅助系统2对于作业人员(用户4)进行的检查对象的检查,使用无人机8等无人飞行装置进行辅助。本实施方式中,设想移动电话网的基站装置6作为检查对象,但检查对象不限于基站装置6,在其他实施方式中例如也可以将输电线等电力相关的基础设施和楼、桥梁、水坝等建筑物作为检查对象。
检查辅助系统2包括用户4的便携终端10、和无人机8。便携终端10与无人机8构成为能够通信,该通信可以通过Bluetooth(注册商标)和WiFi(注册商标)等直接的无线通信手段实现,也可以经由移动电话网和互联网等网络实现。便携终端10是对无人机8进行控制的终端。
便携终端10是智能手机或平板型终端或笔记本PC或专用的控制器等便携终端。用户4从下载站点经由网络将检查辅助应用程序(以下简称检查辅助应用)下载至便携终端10并安装。或者,检查辅助应用也可以预安装在便携终端10中。进而,检查辅助应用也可以构成为ASP型或SaaS型。便携终端10执行检查辅助应用,由此便携终端10与无人机8通信,实现各种功能。以下,有时将通过便携终端10(的CPU(Central Processing Unit)等处理单元)执行检查辅助应用而实现的功能作为便携终端10的功能进行说明,但这些功能实际上是检查辅助应用使便携终端10实现的功能。
无人机8是无人飞行的比较小型的装置,可以按照经由无线通信进行的远程操作飞行,也可以自主飞行。本实施方式中,设想无人机8是具有摄像机等的拍摄功能、和GPS(Global Positioning System)等的定位功能、和与便携终端10的通信功能的通用的无人机,例如DJI Mavic Pro(参考非专利文献1)。
参考图1,首先用户4在便携终端10的显示器102上,指定用无人机8进行拍摄的区域(以下称为拍摄区域12)。特别是,用户4在显示器102上显示的电子地图上,指定作为检查对象的基站装置6,在此基础上以该基站装置6处于拍摄区域12中的方式设定拍摄区域12。基站装置6等检查对象可以在电子地图上显示为可指定的对象。拍摄区域12可以用将用户4在显示器102上触击的点14连结的多边形指定。或者,拍摄区域12也可以在电子地图上选择与基站装置6对应的对象时自动地设定。例如,拍摄区域12可以设定为以基站装置6的位置为中心的规定半径的圆形区域。
图2是表示无人机8按照与基站装置6对应地设定的概略飞行路径16飞行、对基站装置6进行拍摄的状况的示意图。用户4指定基站装置6和与其相关的拍摄区域12时,便携终端10为了能够获取生成指定的基站装置6的概略的或粗略的三维模型(以下称为概略三维模型)所需的图像,而设定无人机8的概略飞行路径16。
参考图2,无人机8在按照概略飞行路径16飞行的同时,对基站装置6进行拍摄,将得到的图像发送至便携终端10。便携终端10使用获取的图像生成基站装置6的概略三维模型。无人机8的概略飞行路径16的设定和使用从无人机8获取的图像生成概略三维模型,可以使用公知的Drone 3D Mapping技术(例如参考非专利文献2)实现。
图3是表示在生成的概略三维模型18中从用户4接受确认详情的部位的指定的状况的示意图。便携终端10使显示器102显示生成的基站装置6的概略三维模型18。用户4通过对于在显示器102上显示的概略三维模型18描绘矩形20,而指定基站装置6的部位中的想要确认详情的部位。便携终端10将矩形20内的部位确定为指定部位。便携终端10基于概略飞行路径16中对指定部位进行拍摄时的定位信息等,为了能够获取生成指定部位的详细的或精细的三维模型(以下称为详细三维模型)所需的图像,而设定无人机8的详细飞行路径22。详细三维模型比概略三维模型粒度更小,和/或分辨率更高,和/或每个对象的数据量更大。
另外,也可以是能够使用颜色或线种或形状不同的多个种类的矩形20,该情况下,不同种类的矩形可以对应于不同的指示内容。例如,用红框的矩形指定的情况下,便携终端10可以将其解释为仅对该矩形的面进行详细拍摄的指示。用蓝框的矩形指定的情况下,便携终端10可以将其解释为对该矩形内的部位全方位地进行详细拍摄的指示。另外,可以不仅是矩形,也可以是圆形、三角形等形状,只要能够指定区域即可。也可以不是区域,而是用户仅指定点,将该点周围作为对象区域。
图4是表示无人机8按照与基站装置6的指定部位对应地设定的详细飞行路径22飞行、对指定部位进行拍摄的状况的示意图。无人机8在按照详细飞行路径22飞行的同时,对基站装置6的指定部位进行拍摄,将得到的图像发送至便携终端10。便携终端10使用获取的图像生成指定部位的详细三维模型24。
图5是表示用户4确认生成的详细三维模型24的状况的示意图。便携终端10使显示器102显示生成的指定部位的详细三维模型24。用户4根据显示的指定部位的详细图像,确认指定部位的状态(裂缝、断裂、变色、劣化、脱落、异物附着等)。
在基础设施和建筑物的检查中,通常要求发现1mm~数mm量级的裂缝等异常。为了发现该级别的异常,需要获取比较详细的图像,但生成检查对象全体的三维模型时获取该级别的图像在时间上和处理负荷上都不现实。于是,本实施方式的辅助系统2中,首先生成检查对象的概略三维模型18,使用该概略三维模型18从用户4接受要检查的部位的指定。接着,为了对用户4指定的部位进行详细拍摄而使无人机8再次飞行,生成详细三维模型24。由此,用户4在检查中,能够在概略地了解检查对象全体的基础上,详细地确认必要的部位的状态。另外,因为不需要生成检查对象全体的详细的三维模型,所以也能够缩短检查耗费的时间。进而,因为对无人机8不会要求更高的通信性能,所以能够抑制成本。
图6是图1的便携终端10的硬件结构图。便携终端10包括存储器104、处理器106、通信接口108、显示器102、和输入接口110。这些要素分别与总线112连接,经由总线112相互通信。
存储器104是存储数据和程序用的存储区域。数据和程序在存储器104中可以永久地存储,也可以临时地存储。存储器104特别存储检查辅助应用。处理器106通过执行存储器104中存储的程序、特别是检查辅助应用,而实现便携终端10中的各种功能。通信接口108是与便携终端10的外部之间进行数据的发送接收用的接口。例如,通信接口108包括访问网络用的接口、和与无人机8直接进行无线通信用的接口。显示器102是显示各种信息用的设备,例如是液晶显示器或有机EL(Electroluminescence)显示器等。输入接口110是接受来自用户的输入用的设备。输入接口110例如包括在显示器102上设置的触摸面板、和各种输入按键等。
图7是表示图1的便携终端10的功能和结构的模块图。此处所示的各模块,在硬件上能够用计算机的CPU等元件或机械装置实现,在软件上用计算机程序等实现,但此处描绘了通过其协作而实现的功能模块。从而,这些功能模块能够用硬件、软件的组合以各种形式实现,这一点是接触本说明书的本领域技术人员理解的。
便携终端10包括概略处理部114、详细处理部116、模型使用部118、概略图像信息保持部120、三维模型保持部122、详细图像信息保持部124、和详细飞行历史保持部126。概略处理部114进行关于生成概略三维模型18的处理。详细处理部116进行关于生成详细三维模型24的处理。模型使用部118进行关于使用生成的详细三维模型24的处理。
图8是表示图7的概略图像信息保持部120的一例的数据结构图。概略图像信息保持部120保持无人机8在按照概略飞行路径16飞行的同时获取的概略的或粗略的图像(以下称为概略图像)和获取概略图像时的状况。概略图像信息保持部120将识别按照概略飞行路径16进行的无人机8的飞行的概略飞行ID、无人机8获取概略图像时的时刻、无人机8获取概略图像时的无人机8的位置、与概略图像的文件关联地保持。无人机8获取概略图像时的无人机8的位置,可以由无人机8的定位功能提供。概略图像的文件的尺寸可以是比较小的。
图9是表示图7的详细图像信息保持部124的一例的数据结构图。详细图像信息保持部124保持无人机8在按照详细飞行路径22飞行的同时获取的详细的或精细的图像(以下称为详细图像)和获取详细图像时的状况。详细图像信息保持部124将识别按照详细飞行路径22进行的无人机8的飞行(以下称为详细飞行)的详细飞行ID、识别由用户4指定的部位的指定部位ID、无人机8获取详细图像时的时刻、无人机8获取详细图像时的无人机8的位置、与详细图像的文件关联地保持。详细图像的文件的尺寸可以是比较大的,例如可以比概略图像的文件的尺寸更大。
图10是表示图7的详细飞行历史保持部126的一例的数据结构图。详细飞行历史保持部126保持详细飞行的历史。详细飞行历史保持部126将详细飞行ID、识别检查对象的对象ID、指定部位ID、指定矩形图像文件、进行详细飞行的时刻、详细飞行中的详细飞行路径22的信息、与指定部位的详细图像的文件关联地保持。指定矩形图像文件是从用户4接受指定部位的指定时、包括用户4对概略三维模型18描绘的矩形20的图像的文件。例如,指定矩形图像文件可以是图3所示的显示器102的画面截图。指定部位的详细图像的文件可以是后述的指定详细图像的文件。
返回图7,概略处理部114包括拍摄区域获取部128、概略飞行路径设定部130、概略图像获取部132、和概略模型生成部134。拍摄区域获取部128获取为了对基站装置6进行拍摄而设定无人机8的动作用的信息。拍摄区域获取部128使便携终端10的显示器102显示电子地图,经由该电子地图从用户4接受作为检查对象的基站装置6的指定、和拍摄区域12的指定。
概略飞行路径设定部130基于用拍摄区域获取部128获取的信息,为了对基站装置6进行拍摄而生成无人机8的动作即概略飞行路径16。概略飞行路径设定部130将生成的概略飞行路径16发送至无人机8,由此对无人机8设定概略飞行路径16。
概略图像获取部132从无人机8获取无人机8按照概略飞行路径16进行飞行(以下称为概略飞行)结果得到的概略图像。概略图像获取部132接受在无人机8的概略飞行中从无人机8逐次发送来的概略图像和该概略图像的获取时刻和获取位置,并保存在概略图像信息保持部120中。
概略模型生成部134读取在概略图像信息保持部120中保持的概略图像,基于读取的概略图像生成基站装置6的概略三维模型18。概略模型生成部134将生成的概略三维模型18登记到三维模型保持部122。
详细处理部116包括指定接受部136、详细飞行路径设定部138、位置姿态控制部140、详细图像获取部142、和详细模型生成部144。指定接受部136使用根据概略图像生成的概略三维模型18,从用户4接受基站装置6的部位的指定。指定接受部136从用户4接受基站装置6的详细确认请求时,读取在三维模型保持部122中保持的基站装置6的概略三维模型18,并使显示器102显示。指定接受部136将用户4对于显示的概略三维模型18描绘的矩形20中显示的基站装置6的部位确定为指定部位。指定接受部136的再次指定时的功能在后文中叙述。
详细飞行路径设定部138为了获取比在概略飞行中得到的指定部位的概略图像更详细的指定部位的详细图像,而生成无人机8的动作即详细飞行路径22。详细飞行路径设定部138将生成的详细飞行路径22发送至无人机8,由此对无人机8设定详细飞行路径22。
详细飞行路径设定部138生成详细飞行路径22时,使用在概略飞行中得到的定位信息。具体而言,详细飞行路径设定部138首先确定映出了指定部位的概略图像。这例如可以通过确定作为构成概略三维模型18中的指定部位的原本的概略图像而实现,也可以通过从在概略图像信息保持部120中保持的概略图像中确定与在指定部位时用户4描绘的矩形20对应的概略图像而实现。详细飞行路径设定部138参照概略图像信息保持部120获取与确定的概略图像关联的位置。详细飞行路径设定部138基于获取的位置设定详细飞行路径22的最初的目的地的位置。详细飞行路径设定部138为了对指定部位从多个不同视点进行拍摄,而设定到达最初的目的地之后的无人机8的飞行路径。从出发地点到最初的目的地的详细飞行路径22的形状,可以设定为如果途中存在障碍物则避开它地到指定部位(或者最初的目的地的位置)的最短路径。
位置姿态控制部140以通过对由详细飞行路径设定部138确定映出了指定部位的概略图像、与用无人机8的拍摄功能获取的当前的图像进行比较而调整对指定部位进行拍摄用的位置或姿态的方式控制无人机8。位置姿态控制部140将由详细飞行路径设定部138确定的映出了指定部位的概略图像发送至无人机8。无人机8按照详细飞行路径22飞行并到达最初的目的地附近时,对接收的概略图像、与用无人机8的拍摄功能得到的当前的指定部位的图像进行比较。无人机8以两个图像的差异变小的方式调整无人机8的位置、姿态和/或无人机8的摄像机的视线方向和焦距。将用这样调整了位置、姿态后的无人机8拍摄得到的指定部位的详细图像称为指定详细图像。
另外,也能够用其他方法调整无人机8的位置、姿态。例如,位置姿态控制部140也可以使用与用户4进行部位指定时在显示器102上显示的概略三维模型18的显示方向和描绘的矩形20对应的位置,调整由详细飞行路径设定部138生成的详细飞行路径22。或者,在对概略三维模型18的各对象附加了比较详细的定位信息的情况下(例如参考非专利文献3),位置姿态控制部140也可以基于与用矩形20指定的部位对应的对象的定位信息,生成或调整详细飞行路径22。
以下示出详细飞行路径22的具体例。
(1)从出发地点直线飞行至最初的目的地→基于图像比较进行位置、姿态调整→拍摄指定详细图像→绕指定部位飞行同时从多个角度拍摄→返航
(2)从出发地点圆弧飞行至最初的目的地(为了避开障碍物)→在最初的目的地悬停同时控制PTZ(摇摄/倾斜/变焦)而将摄像机调整为指定的方向、焦距→拍摄指定详细图像→绕指定部位飞行同时从多个角度拍摄→返航
详细图像获取部142从无人机8获取无人机8进行详细飞行结果得到的详细图像。详细图像获取部142接受在无人机8的详细飞行中从无人机8逐次发送来的详细图像和该详细图像的获取时刻和获取位置,并保存在详细图像信息保持部124中。
详细模型生成部144读取在详细图像信息保持部124中保持的详细图像,基于读取的详细图像生成指定部位的详细三维模型24。详细模型生成部144将生成的详细三维模型24登记到三维模型保持部122。
详细处理部116在一次详细飞行完成、将对应的详细三维模型24保存在三维模型保持部122中时,将关于该详细飞行的信息登记到详细飞行历史保持部126。
模型使用部118包括详细图像提供部146、和对比图像提供部148。详细图像提供部146读取在三维模型保持部122中保持的指定部位的详细三维模型24,并使显示器102显示。或者,详细图像提供部146也可以代替详细三维模型24地,使显示器102显示指定详细图像。对比图像提供部148的功能在后文中叙述。
对基于以上结构的便携终端10的动作进行说明。
图11是表示图1的便携终端10中的一系列处理的流程图。便携终端10接受用户4进行的拍摄区域12的指定(S202)。便携终端10基于接受的拍摄区域12设定概略飞行路径16(S204)。便携终端10从无人机8获取概略图像(S206)。便携终端10使用获取的概略图像生成概略三维模型18(S208)。便携终端10经由概略三维模型18的显示从用户4接受作为详细检查的对象的部位的指定(S210)。便携终端10为了获取指定部位的详细图像而设定详细飞行路径22(S212)。便携终端10从无人机8获取详细图像(S214)。便携终端10使用获取的详细图像生成详细三维模型24(S216)。便携终端10对用户4展示指定部位的详细三维模型24或指定详细图像(S218)。便携终端10将指定部位ID和详细飞行路径22和指定详细图像登记到详细飞行历史保持部126(S220)。
图12是在便携终端10的显示器102上显示的详细拍摄历史选择画面150的代表画面图。详细拍摄历史选择画面150对于过去的每次详细飞行,显示识别过去的详细飞行的信息152、和图像确认按钮154。识别过去的详细飞行的信息152包括进行该详细飞行的日期、检查对象的名称、和指定部位的名称。指定接受部136从用户4接受拍摄历史的显示请求时,通过参照详细飞行历史保持部126而生成详细拍摄历史选择画面150,并使显示器102显示。详细拍摄历史选择画面150的日期对应于详细飞行历史保持部126的进行详细飞行的时刻,详细拍摄历史选择画面150的检查对象的名称对应于详细飞行历史保持部126的对象ID,详细拍摄历史选择画面150的指定部位的名称对应于详细飞行历史保持部126的指定部位ID。
图13是在便携终端10的显示器102上显示的指定部位确认画面156的代表画面图。在详细拍摄历史选择画面150中用户4触击要求的详细飞行的确认按钮154时,指定接受部136从详细飞行历史保持部126读取与触击的确认按钮154的详细飞行对应的指定矩形图像文件,生成指定部位确认画面156。指定部位确认画面156具有包括在关于触击的确认按钮154的详细飞行从用户4接受指定部位的指定时用户4对于概略三维模型18描绘的矩形20的图像、和再次指定按钮158。例如,用户4在图12的详细拍摄历史选择画面150所示的详细飞行的历史中,触击识别为“8/15,BS#1000,1号天线下端”的过去的详细飞行的确认按钮时,画面转移而显示指定部位确认画面156,在该指定部位确认画面156中,显示用户4在8/15(过去的时刻)在显示了BS#1000(基站装置6的名称)的概略三维模型的显示器102上、为了指定1号天线下端(指定部位)而描绘的矩形,以及该概略三维模型。
用户4在指定部位确认画面156中确认指定部位,如果没有问题则触击再次指定按钮158。这样,指定接受部136接受该触击作为对指定部位再次进行拍摄用的请求。详细飞行路径设定部138从详细飞行历史保持部126读取与生成指定部位确认画面156时读取的指定矩形图像文件对应的详细飞行路径并发送至无人机8,由此对无人机8再次设定与过去的详细飞行路径相同的详细飞行路径。
另外,在其他实施方式中,指定接受部136也可以使显示器102显示代替指定部位确认画面156地显示过去获取的指定详细图像或详细三维模型的画面。该情况下,用户4请求再次指定时,指定接受部136从详细飞行历史保持部126读取与显示的指定详细图像或详细三维模型对应的详细飞行路径并对无人机8再次设定。
在基站装置等基础设施或建筑物的检查中,在经验上已知要优先检查的场所和每次必须检查的场所。在基站装置的例子中,因为劣化从天线的前端部开始,所以该前端部是每次检查中必须确认的部位。本实施方式中,对于这样需要反复检查的指定部位,只要在最初的检查中从概略三维模型中指定,在下次起的检查中仅从详细飞行的历史中选择就可以简便地完成对无人机8的详细飞行路径的设定。由此,用户便利性提高。
图14是在便携终端10的显示器102上显示的指定部位变迁画面160的代表画面图。对比图像提供部148使显示器102显示以能够比较的方式显示在不同时刻的详细飞行路径22中得到的同一指定部位的详细图像或详细三维模型的指定部位变迁画面160。对比图像提供部148在从用户4接受附带检查对象和指定部位的指定的对比请求时,从详细飞行历史保持部126获取与指定的检查对象(对象ID)和指定的指定部位(指定部位ID)对应的指定详细图像的文件。对比图像提供部148通过将获取的指定详细图像时序地排列而生成指定部位变迁画面160。另外,也可以代替指定详细图像地或者在此之外地,在指定部位变迁画面160中显示能够从三维模型保持部122获取的详细三维模型。
在指定部位变迁画面160中显示的指定详细图像中,与同一画面中显示的前一指定详细图像的差异被强调地显示。例如,在图14的指定部位变迁画面160的与“8/17”对应的指定详细图像中,与前一个“8/15”的指定详细图像的差异即新的裂缝162以与其他裂缝不同的方式、例如较粗的显示等强调的方式显示。
这样,通过时序地显示指定的指定部位的指定详细图像,用户4能够一目了然地确认劣化场所和劣化的进展程度。
上述实施方式中,保持部的例子是硬盘和半导体存储器。另外,能够基于本说明书的记载,用未图示的CPU、安装的应用程序的模块、系统程序的模块、临时存储从硬盘读取的数据的内容的半导体存储器等实现各部,这一点是接触本说明书的本领域技术人员理解的。
根据本实施方式的检查辅助系统2,通过将使用无人机8的航拍进行的三维模型的生成分为概略、详细这两个阶段,而不再需要生成检查对象中要求的/必要的部位以外的详细三维模型。由此,能够实现要求的/必要的部位的详细确认,同时减小处理负荷和处理时间。另外,对无人机8要求的通信性能也不太高,所以能够通过使用比较廉价的无人机而抑制成本增大。
以上,对于实施方式的检查辅助系统2的结构和动作进行了说明。该实施方式是示例,能够用各构成要素和各处理的组合实现各种变形例,并且这样的变形例也在本发明的范围内,这一点是本领域技术人员理解的。
实施方式中,说明了用户4通过前往基站装置6附近操作便携终端10而进行检查的情况,但不限于此。例如,作为检查对象的基站装置6的指定、拍摄区域12的指定、使用得到的概略三维模型18进行的指定部位的指定、指定详细图像的确认,也可以由位于远离基站装置6的位置的中心设施的操作者进行。作业者也可以仅将无人机8搬运至基站装置6附近。该情况下的处理,理解为将实施方式的便携终端10置换为操作者的桌面终端。
或者,也可以在操作者的桌面终端中预先保存基站装置6的各部件的三维模型,使操作者从该三维模型中选择指定部位。

Claims (5)

1.一种存储有计算机程序的计算机存储介质,其特征在于:
所述计算机程序使对具有拍摄功能的无人飞行装置进行控制的终端实现以下功能:
获取用于设定所述无人飞行装置的第1动作以使得能够对对象进行拍摄的信息的功能;
从所述无人飞行装置获取所述无人飞行装置进行所述第1动作而得到的图像的功能;
使用所述图像从用户接受所述对象的一部分的指定的功能;和
设定所述无人飞行装置的第2动作,以获取比所述第1动作中得到的所述对象的指定的一部分的图像更详细的所述对象的指定的一部分的图像的设定功能。
2.如权利要求1所述的存储有计算机程序的计算机存储介质,其特征在于:
所述无人飞行装置具有定位功能,
所述设定功能,包括基于所述第1动作中得到的定位信息、设定对所述对象的指定的一部分进行拍摄用的所述无人飞行装置的飞行路径的功能。
3.如权利要求2所述的存储有计算机程序的计算机存储介质,其特征在于:
所述计算机程序还使所述终端实现:
将识别所述对象的指定的一部分的识别信息、与为了对该一部分进行拍摄而决定的飞行路径关联地登记到保持单元的功能;和
接受对所述对象的指定的一部分再次进行拍摄用的请求时,参照所述保持单元,再次设定与该一部分关联地保持的飞行路径的功能。
4.如权利要求1~3中任一项所述的存储有计算机程序的计算机存储介质,其特征在于:
所述计算机程序还使所述终端实现以通过对接受所述对象的一部分的指定时使用的图像、与用所述无人飞行装置的拍摄功能获取的当前的图像进行比较,来调整对所述对象的指定的一部分进行拍摄用的位置或姿态的方式,控制所述无人飞行装置的功能。
5.如权利要求1~4中任一项所述的存储有计算机程序的计算机存储介质,其特征在于:
所述计算机程序还使所述终端实现以能够比较的方式使显示器显示在不同时刻的所述第2动作中得到的所述对象的指定的一部分的图像或用该图像生成的三维模型的功能。
CN202010189898.7A 2019-09-02 2020-03-18 存储有计算机程序的计算机存储介质 Active CN112449104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210093679.8A CN114489131A (zh) 2019-09-02 2020-03-18 终端

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019159699A JP7377651B2 (ja) 2019-09-02 2019-09-02 コンピュータプログラム
JP2019-159699 2019-09-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210093679.8A Division CN114489131A (zh) 2019-09-02 2020-03-18 终端

Publications (2)

Publication Number Publication Date
CN112449104A true CN112449104A (zh) 2021-03-05
CN112449104B CN112449104B (zh) 2022-02-18

Family

ID=74679699

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210093679.8A Pending CN114489131A (zh) 2019-09-02 2020-03-18 终端
CN202010189898.7A Active CN112449104B (zh) 2019-09-02 2020-03-18 存储有计算机程序的计算机存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210093679.8A Pending CN114489131A (zh) 2019-09-02 2020-03-18 终端

Country Status (3)

Country Link
US (3) US11048258B2 (zh)
JP (1) JP7377651B2 (zh)
CN (2) CN114489131A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343177A (zh) * 2017-08-07 2017-11-10 深圳市华琥技术有限公司 一种无人机全景视频的拍摄控制方法
US20180330528A1 (en) * 2017-05-12 2018-11-15 Loveland Innovations, LLC Systems and methods for context-rich annotation and report generation for uav microscan data
US20190023418A1 (en) * 2017-07-21 2019-01-24 Jin Seok RO Device and method for managing drone
US20190068962A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects
CN109765930A (zh) * 2019-01-29 2019-05-17 理光软件研究所(北京)有限公司 一种无人机视觉导航系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3161755A1 (en) * 2014-01-10 2015-07-16 Pictometry International Corp. Unmanned aircraft structure evaluation system and method
CN111717407B (zh) 2014-04-25 2023-09-29 索尼公司 控制方法和控制装置
US9740200B2 (en) * 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US10083616B2 (en) * 2015-12-31 2018-09-25 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
WO2018073878A1 (ja) 2016-10-17 2018-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 3次元形状推定方法、3次元形状推定システム、飛行体、プログラム、及び記録媒体
US9639960B1 (en) * 2016-11-04 2017-05-02 Loveland Innovations, LLC Systems and methods for UAV property assessment, data capture and reporting
WO2018144929A1 (en) * 2017-02-02 2018-08-09 Infatics, Inc. (DBA DroneDeploy) System and methods for improved aerial mapping with aerial vehicles
JP2018160228A (ja) 2017-03-21 2018-10-11 株式会社東芝 経路生成装置、経路制御システム、及び経路生成方法
JP6740170B2 (ja) 2017-04-25 2020-08-12 Kddi株式会社 移動体制御システム、プログラム、及び制御方法
US10364027B2 (en) * 2017-10-24 2019-07-30 Loveland Innovations, LLC Crisscross boustrophedonic flight patterns for UAV scanning and imaging
CN108955645A (zh) * 2018-07-16 2018-12-07 福州日兆信息科技有限公司 应用于通信铁塔智能巡检的三维建模方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180330528A1 (en) * 2017-05-12 2018-11-15 Loveland Innovations, LLC Systems and methods for context-rich annotation and report generation for uav microscan data
US20190023418A1 (en) * 2017-07-21 2019-01-24 Jin Seok RO Device and method for managing drone
CN107343177A (zh) * 2017-08-07 2017-11-10 深圳市华琥技术有限公司 一种无人机全景视频的拍摄控制方法
US20190068962A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects
CN109765930A (zh) * 2019-01-29 2019-05-17 理光软件研究所(北京)有限公司 一种无人机视觉导航系统

Also Published As

Publication number Publication date
US20230043274A1 (en) 2023-02-09
JP2021040220A (ja) 2021-03-11
US11507095B2 (en) 2022-11-22
US11048258B2 (en) 2021-06-29
US20210064038A1 (en) 2021-03-04
CN112449104B (zh) 2022-02-18
JP2024016114A (ja) 2024-02-06
US20210255626A1 (en) 2021-08-19
JP7377651B2 (ja) 2023-11-10
CN114489131A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
JP6572618B2 (ja) 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム
CN111436208B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
US10373483B2 (en) Electronic device for controlling unmanned aerial vehicle and method of operating the same
WO2018120351A1 (zh) 一种对无人机进行定位的方法及装置
CN111766951B (zh) 图像显示方法和装置、计算机系统和计算机可读存储介质
CN115578433A (zh) 图像处理方法、装置、电子设备及存储介质
EP3875902B1 (en) Planning method and apparatus for surveying and mapping sampling points, control terminal and storage medium
US20220114813A1 (en) Detecting obstacle
CN114549988A (zh) 用于智能交通的图像处理方法、装置、电子设备和介质
WO2021253996A1 (zh) 一种为用户提供实景图的方法及系统
CN112449104B (zh) 存储有计算机程序的计算机存储介质
JP2000304559A (ja) ナビゲーション装置および情報提供システム
JP7511735B2 (ja) コンピュータプログラム
CN110942521B (zh) 一种ar信息点显示方法及装置
WO2021134715A1 (zh) 一种控制方法、设备、无人机及存储介质
CN112634371B (zh) 用于输出信息、标定相机的方法和装置
CN114554108B (zh) 图像处理方法、装置和电子设备
CN114359362A (zh) 房源信息采集方法、装置和电子设备
CN107704579B (zh) 基于路网的众包数据处理方法、装置、设备及存储介质
CN114285119A (zh) 连接的方法、充电装置、终端及非暂时性存储介质
CN117140185A (zh) 切管机托料轴的零点标定方法、装置、设备及介质
JP2023009643A (ja) ウェイポイント設定方法及びウェイポイント修正方法、管理サーバ、情報処理システム、プログラム
CN117762284A (zh) 坐标信息的显示方法、装置、电子设备及其无人机系统
CN117726740A (zh) 信息生成方法、装置、设备、计算机可读介质和程序产品
CN114495473A (zh) 基于无人机的配送方法、装置、无人机及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant