CN115167529A - 监控方法及系统、无人机、移动终端和存储介质 - Google Patents

监控方法及系统、无人机、移动终端和存储介质 Download PDF

Info

Publication number
CN115167529A
CN115167529A CN202211096936.XA CN202211096936A CN115167529A CN 115167529 A CN115167529 A CN 115167529A CN 202211096936 A CN202211096936 A CN 202211096936A CN 115167529 A CN115167529 A CN 115167529A
Authority
CN
China
Prior art keywords
point cloud
aerial vehicle
unmanned aerial
data
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211096936.XA
Other languages
English (en)
Other versions
CN115167529B (zh
Inventor
李冀
郭可贵
李卫国
葛健
杜鹏
严波
尹悦
秦龙
章丹
郭振宇
王远
王法治
田龙
谭弘武
孙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
Original Assignee
Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
Beijing Yupont Electric Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd, Beijing Yupont Electric Power Technology Co ltd filed Critical Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
Priority to CN202211096936.XA priority Critical patent/CN115167529B/zh
Publication of CN115167529A publication Critical patent/CN115167529A/zh
Application granted granted Critical
Publication of CN115167529B publication Critical patent/CN115167529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明公开了一种基于边缘计算终端的无人机激光点云采集实时监控方法及系统、无人机、移动终端和存储介质。其中,监控方法用于移动终端,监控方法包括:响应选择作业范围的操作,自动生成无人机的巡检航线,并生成激光扫描作业起点标记以辅助无人机上搭载的激光雷达设备的惯导校准;接收无人机发送的原始点云数据和POS数据;基于边缘计算终端解算原始点云数据和POS数据,以实现原始点云的坐标系统转换;基于边缘计算终端的解算结果动态显示实时点云模型和实时惯导姿态参数。如此,通过规划巡检航线便于无人机稳定自动地执行激光雷达设备惯导校准,还能通过接收、处理并显示处理后的点云数据和POS数据,提升采集点云的质量和效率。

Description

监控方法及系统、无人机、移动终端和存储介质
技术领域
本发明涉及无人机激光点云数据采集实时监控技术领域,尤其涉及一种基于边缘计算终端的无人机激光点云采集实时监控方法及系统、无人机、移动终端、无人机激光点云采集实时监控系统和存储介质。
背景技术
需要说明的是,随着无人机巡检技术的快速发展,无人机激光扫描技术已广泛应用在电力设备激光点云采集工作中,相较于传统直升机激光扫描作业,无人机激光扫描的机动灵活性以及使用便携性能够很好地进行采集工作,同时也大大降低了工作成本。然而在使用无人机进行激光点云采集的过程中,存在对无人机上的设备无法进行自动校准以及无法实时对采集的点云数据进行监控等问题,影响点云采集的作业质量和工作效率。
发明内容
本发明实施方式提供一种基于边缘计算终端的无人机激光点云采集实时监控方法及系统、无人机、移动终端和存储介质。
本发明实施方式的基于移动终端的无人机激光点云采集实时监控方法,用于移动终端,所述监控方法包括:
响应选择作业范围的操作,自动生成无人机的巡检航线,并生成激光扫描作业起点标记以辅助无人机上搭载的激光雷达设备的惯导校准;
接收所述无人机发送的原始点云数据和POS数据;
基于边缘计算终端解算所述原始点云数据和所述POS数据,以实现原始点云的坐标系统转换;
基于边缘计算终端的解算结果动态显示实时点云模型和实时惯导姿态参数。
如此,能够通过规划巡检航线便于无人机稳定自动地执行激光雷达设备惯导校准,还能通过接收、处理并显示处理后的点云数据和POS数据,从而实现对无人机采集激光点云数据的实时监控,提升采集点云的质量和效率。
在某些实施方式中,所述响应选择作业范围的操作,自动生成无人机的巡检航线,并生成激光扫描作业起点标记以辅助无人机上搭载的激光雷达设备的惯导校准,包括:
获取起止杆塔的三维坐标;
根据预设算法生成预定轨迹的所述巡检航线,所述巡检航线位于杆塔正上方且以杆塔中心为起降点;
设置所述无人机为预设飞行模式;
控制所述无人机以预设速度按所述巡检航线飞行作业。
在某些实施方式中,所述生成激光扫描作业起点标记以辅助无人机上搭载的激光雷达设备的惯导校准,包括:
在所述巡检航线上预设多个校准点,所述多个校准点位于所述巡检航线的起降点和终点之间;
在所述起降点和第一个所述校准点之间校准一次所述激光雷达设备的惯导;
在所述终点和最后一个所述校准点之间再次校准一次所述激光雷达设备的惯导。
在某些实施方式中,所述接收所述无人机发送的原始点云数据和POS数据,包括:
接收无线电台和无人机网口发送的所述原始点云数据和所述POS数据,其中,所述原始点云数据由所述激光雷达设备扫描得到,所述POS数据与所述原始点云数据对应。
在某些实施方式中,解算所述原始点云数据和所述POS数据,以实现原始点云的坐标系统转换,包括:
调用实时点云解算与插值算法处理所述原始点云数据和所述POS数据;
将处理后的数据映射至投影坐标系。
在某些实施方式中,所述基于解算结果动态显示实时点云模型和实时惯导姿态参数,包括:
获取所述处理后的数据;
基于所述处理后的数据,调用实时点云显示算法并借助LOD分层显示渲染技术,在所述移动终端的显示屏上动态显示所述实时点云模型;
基于所述处理后的数据,在所述移动终端的显示屏上动态显示所述激光雷达设备的横滚角、俯仰角、航向角、北向速度、东向速度等至少一个参数。
本发明提供一种基于边缘计算终端的无人机激光点云采集实时监控方法,用于无人机,所述监控方法包括:
接收并执行移动终端发送的巡检航线以进行激光雷达设备的惯导校准;
通过所述激光雷达设备获取原始点云数据和POS数据;
向所述移动终端发送所述原始点云数据和所述POS数据。
本发明提供一种无人机,所述无人机包括:
无人机本体;
搭载于所述无人机本体上的激光雷达设备、第一处理器以及与所述第一处理器连接的第一存储器;
所述激光雷达设备用于获取原始点云数据和POS数据,所述第一存储器用于存储第一计算机程序,所述第一处理器用于调用并执行所述第一计算机程序以实现用于无人机的所述监控方法。
本发明提供一种移动终端,所述移动终端包括显示屏、第二处理器和与所述第二处理器连接的第二存储器,所述第二存储器用于存储第二计算机程序,所述第二处理器用于调用并执行所述第二计算机程序以实现上述任一实施方式所述的用于移动终端的监控方法。
本发明实施方式提供一种无人机激光点云采集实时监控系统,包括本发明中提供的无人机和本发明中提供的移动终端。
本发明实施方式提供一种计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行上述任一实施方式所述的监控方法。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式中的用于移动终端的监控方法的流程示意图;
图2是本发明实施方式中的用于无人机的监控方法的流程示意图;
图3是本发明实施方式中的无人机的结构示意图;
图4是本发明实施方式中的移动终端的结构示意图;
图5是本发明实施方式中的监控系统的结构示意图;
图6是本发明实施方式中的用于移动终端的监控方法的流程示意图;
图7是本发明实施方式中的用于移动终端的监控方法的流程示意图;
图8是本发明实施方式中的用于移动终端的监控方法的流程示意图;
图9是本发明实施方式中的用于移动终端的监控方法的流程示意图;
图10是本发明实施方式中的移动终端动态显示实时点云模型和实时惯导姿态参数的场景示意图;
图11是本发明实施方式中的监控系统执行监控方法的整体流程示意图。
主要元件符号说明:
监控系统1000、移动终端100、显示屏11、第二处理器12、第二存储器13、无人机200、无人机本体21、激光雷达设备22、第一处理器23、第一存储器24。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
请参阅图1,本发明实施方式提供一种基于边缘计算终端的无人机激光点云采集实时监控方法,用于移动终端100,其中监控方法包括:
步骤S10:响应选择作业范围的操作,自动生成无人机200的巡检航线,并生成激光扫描作业起点标记以辅助无人机200上搭载的激光雷达设备22的惯导校准;
步骤S20:接收无人机200发送的原始点云数据和POS数据;
步骤S30:基于边缘计算终端解算原始点云数据和POS数据,以实现原始点云的坐标系统转换;
步骤S40:基于边缘计算终端的解算结果动态显示实时点云模型和实时惯导姿态参数。
请参阅图2,本发明实施方式还提供一种无人机激光点云采集实时监控方法,用于无人机200,监控方法包括:
步骤S1:接收并执行移动终端100发送的巡检航线以进行激光雷达设备22的惯导校准;
步骤S2:通过激光雷达设备22获取原始点云数据和POS数据;
步骤S3:向移动终端100发送原始点云数据和POS数据。
请参阅图3,本发明实施方式提供一种无人机200,无人机200包括无人机本体21、激光雷达设备22、第一处理器23和第一存储器24。其中,激光雷达设备22搭载在无人机本体21上,用于获取原始点云数据和POS数据,第一存储器24和第一处理器23连接,第一存储器24存储有第一计算机程序,第一处理器23用于调用并执行第一计算机程序以实现本发明中提供的用于无人机200的无人机激光点云采集实时监控方法。
也即是说,第一处理器23用于接收并执行移动终端100发送的巡检航线以进行激光雷达设备22的惯导校准;及用于通过激光雷达设备22获取原始点云数据和POS数据;以及用于向移动终端100发送原始点云数据和POS数据。
请参阅图4,本发明实施方式提供一种移动终端100,移动终端100包括显示屏11、第二存储器13和第二处理器12,第二存储器13用于存储第二计算机程序,第二处理器12用于调用并执行第二计算机程序以实现本发明中提供的用于移动终端100的无人机激光点云采集实时监控方法。
也即是说,第二处理器12用于规划巡检航线以辅助无人机200上搭载的激光雷达设备22的惯导校准;及用于接收无人机200发送的原始点云数据和POS数据;及用于解算原始点云数据和POS数据,以实现原始点云的坐标系统转换;以及用于基于解算结果动态显示实时点云模型和实时惯导姿态参数。
请参阅图5,本发明实施方式还提供了一种基于边缘计算终端的无人机激光点云采集实时监控系统1000,包括本发明中提供的无人机200和移动终端100。
本发明实施方式的基于边缘计算终端的无人机激光点云采集实时监控方法及系统1000、无人机200和移动终端100中,能够通过规划巡检航线便于无人机200稳定自动地执行激光雷达设备22惯导校准,还能通过接收、处理并显示处理后的点云数据和POS数据,从而实现对无人机200采集激光点云数据的实时监控,提升采集点云的质量和效率。
需要说明的是,随着无人机巡检技术的快速发展,无人机激光扫描技术已广泛应用在电力设备激光点云采集工作中,相较于传统直升机激光扫描作业,无人机激光扫描的机动灵活性以及使用便携性能够很好地进行采集工作,同时也大大降低了工作成本。
然而,在使用无人机搭载激光雷达设备进行激光点云采集的过程中,常需要通过无人机地面站手动控制无人机进行激光雷达设备的惯导校准,然后手动采集航点并复飞以进行点云数据采集工作。在惯导校准的步骤中,一般单凭无人机操作人员的飞行经验使得无人机按照预定估计,如“8”字轨迹进行飞行来校准惯导,这使得校准结果与操作人员的飞行经验和飞行密度有直接关系,使得校准惯导的人为影响因素较大,容易导致点云采集质量参差不齐。
另外,由于无人机地面站一般没有显示实时扫描点云以及雷达惯导实时姿态数据,使得无法在无人机飞行扫描数据的过程中实时确认搭载的激光雷达是否正常工作、实时点云数据以及扫描范围是否符合要求。若在作业结束离开现场后,将雷达数据通过PC端软件解算后发现点云质量或者扫描范围异常,则需重新回到现场再次作业,严重影响作业质量及效率。
有鉴于此,本发明提供一种基于边缘计算终端的无人机激光点云采集实时监控方法,可以用于移动终端100。监控方法能够通过规划巡检航线便于无人机200稳定自动地执行激光雷达设备22惯导校准,还能通过接收、处理并显示处理后的点云数据等,从而实现对无人机200采集激光点云数据的实时监控,提升点云采集质量和工作人员的体验。
具体地,本发明中所提及的移动终端100可以包括智能手机、平板电脑、笔记本电脑等带有数据处理功能的便携电子设备。下文以移动终端100为手机为例进行解释说明。移动终端100上运行有监控无人机激光点云采集作业的应用程序。可以理解,相较于一些实施方式中的服务器、台式计算机以及无人机地面站等大型终端而言,本发明中的移动终端100小巧便携,灵活性强,适用于工作人员随时外出作业等应用场景。
对应的,本发明中提及的无人机200可以为多种类型的无人机,以旋翼无人机进行解释说明。本发明中的无人机200能够与移动终端100进行数据通信,组成无人机激光点云采集实时监控系统1000,实时监控点云采集作业。可选的,无人机200上还可以搭载遥感模块、摄像机、交换机、无线通信模块及微型计算机等,本实施例不再一一举例说明。
在步骤S10-步骤S40以及步骤S1-步骤S3中,无人机200上搭载有激光雷达设备22,激光雷达设备22包含于无人机200的激光雷达系统中,能够使用激光技术去进行探测和测距,本发明中的激光雷达可以选用脉冲式激光雷达,可以抵抗太阳光干扰。激光点云作为扫描点的集合,是激光雷达设备22对地面扫描获得地面反射点的三维坐标,每个地面反射点按三维坐标以点的形式分布在三维空间中。
还需要说明的是,激光雷达系统集测距和定位技术为一体,激光雷达可用于测距,系统中的定位基于无人机200的定位数据,定位数据可以包括全球定位系统(GPS)、全球导航卫星系统(GNSS)和惯性导航系统(INS)的综合数据,从而满足精准定位的需求,进而满足获得数据并生成精确的三维地形(DEM)的需求。
其中,若要获得无人机200的位置信息,可基于GNSS获取。且虽然GNSS获取位置信息的速度较慢,然而可以得到较为精确的位置信息。若要进一步获得无人机200的位姿信息,即位置信息和姿态信息,可以基于INS获取。
那么为了使激光雷达设备22的工作更加精准,提高激光点云的采集质量,在步骤S10中,在无人机200进行激光点云采集作业前,可以对激光雷达设备22进行惯导校准。为了简化校准流程,提升校准流程的便利性,第二处理器12能够根据规划算法生成巡检航线,用以让无人机200按照巡检航线飞行从而实现对激光雷达设备22的校准,为精准扫描地物打下基础。对应的,在步骤S1中,无人机200可以获取到移动终端100根据规划算法生成的巡检航线,并按照巡检航线进行飞行从而执行激光雷达设备22的惯导校准。
在步骤S20中,为了实现在移动终端100的显示屏11上实时显示无人机200执行扫描作业得到的实时点云,移动终端100需要获取必要的数据,并对数据进行解算和显示。那么,在一些实施方式中,移动终端100可以通过无线电台与无人机200进行通信,以接收通过无人机固定网口、无线电台所发送的原始点云数据和POS数据。可以理解,联合多个原始点云数据和POS数据可以得到三维实时点云图,POS数据可以包括POS位置数据。
原始点云数据和POS数据可以是在步骤S2中,无人机200通过激光雷达设备22获取的。具体而言,在无人机200的激光雷达设备22开机后,第一处理器23运行在第一存储器24中的第一计算机程序,通过相关的接口获取到无人机200的GNSS实时差分定位结果(RTK信息)及时间同步信息,同时第一处理器23将激光雷达设备22自身扫描得到的原始点云数据进行一定比例的抽稀,此处的一定比例的范围可以在0-100倍,具体的抽稀比例可以根据实际需求而定。需要解释的是,RTK技术通过结合GPS和数传技术而成,可以在短时间内获得高精度的位置信息。在一些实施方式中,基于RTK信息可以优化POS数据。
这样,在步骤S3中,无人机200可以通过固定网口、无线电台向移动终端100发送激光雷达设备22获取的原始点云数据和POS数据。
然后在步骤S30和步骤S40中,移动终端100可以对接收到的原始点云数据和POS数据并基于边缘计算终端进行解算,从而对上述实时数据进行处理,进行坐标转换,实现原始点云的局部坐标系统与现实三维世界的坐标系统的转换,使得能够与现实世界的地物进行真实位置匹配。在完成坐标系统转换后,可以在移动终端100的显示屏11上动态显示实时点云模型,可以理解,这样能够起到实时监控激光点云采集的工作,确认扫描范围以及实时点云数据质量是否符合要求。当然,移动终端100的显示屏11上同时还显示雷达惯导实时姿态数据,从而可以监控激光雷达设备22的工作状态。
请参阅图6,在某些实施方式中,响应选择作业范围的操作,自动生成无人机的巡检航线,并生成激光扫描作业起点标记以辅助无人机上搭载的激光雷达设备的惯导校准(步骤S10),包括:
步骤S11:获取起止杆塔的三维坐标;
步骤S12:根据预设算法生成预定轨迹的巡检航线,巡检航线位于杆塔正上方且以杆塔中心为起降点;
步骤S13:设置无人机200为预设飞行模式;
步骤S14:控制无人机200以预设速度按巡检航线飞行作业。
在某些实施方式中,第二处理器12用于获取起止杆塔的三维坐标;及用于根据预设算法生成预定轨迹的巡检航线,巡检航线位于杆塔正上方且以杆塔中心为起降点;及用于设置无人机200为预设飞行模式;以及用于控制无人机200以预设速度按巡检航线飞行作业。
如此,移动终端100可以通过获取起止杆塔的三维坐标,按照一定的生成规则自动生成预定轨迹的巡检航线,然后控制无人机200能够自动地按巡检航线飞行,从而实现自动校准激光雷达设备22的目的,与操作人员人工控制无人机200飞行校准相比,能够一定程度上提升无人机200采集激光点云的质量和效率。
具体地,在一个实施例中,在步骤S11-步骤S14中,起止杆塔可以为操作人员选择的,预定轨迹可以为“8”字轨迹,预设飞行模式可以为根据预定轨迹的具体形状来选择,例如在为“8”字轨迹的巡检航线时,预设飞行模式可以为曲线飞行模式,预设速度可以按照实际需要来决定。
那么,在获取操作人员所选择的起止杆塔的三维坐标后,可以根据规划算法在杆塔正上方先选择多个航点,多个航点组合近似“8”字,然后以杆塔中心为起降点,按照“8”字顺序组合多个航点形成巡检航线,如此便完成了巡检航线的规划。然后,可以控制将无人机200设置为曲线飞行模式,从而即可控制无人机200在杆塔正上方以预设速度飞行作业规划好的“8”字巡检航线。这样便可以实施激光雷达设备22的校准,为激光雷达设备22的精准扫描地物打下基础。特别地,控制无人机200在杆塔正上方以预设速度飞行作业时,可以控制无人机200匀速飞行。
在某些实施方式中,所述生成激光扫描作业起点标记以辅助无人机上搭载的激光雷达设备的惯导校准,包括:
在所述巡检航线上预设多个校准点,所述多个校准点位于所述巡检航线的起降点和终点之间;
在所述起降点和第一个所述校准点之间校准一次所述激光雷达设备的惯导;
在所述终点和最后一个所述校准点之间再次校准一次所述激光雷达设备的惯导。
在某些实施方式中,第二处理器12用于在所述巡检航线上预设多个校准点,所述多个校准点位于所述巡检航线的起降点和终点之间;及用于在所述起降点和第一个所述校准点之间校准一次所述激光雷达设备的惯导;以及用于在所述终点和最后一个所述校准点之间再次校准一次所述激光雷达设备的惯导。
如此,对激光雷达设备的惯导进行多次校准,能够一定程度上提升无人机200采集激光点云的质量和效率。
示例性的,关于无人机激光点云采集的作业流程为:从起降点A点起飞,对扫描范围B点~C点~D点进行激光扫描作业。无人机搭载激光雷达装置即无人机激光扫描系统,在无人机移动地面站(即移动终端)操控软件(APP)的地图上选择扫描作业的起始位置B点、途经位置C点和结束位置D点,操控APP则自动生成本次激光扫描作业巡检航线,并再起始位置(B点)前、结束位置(D点)后各自动生成一个惯导(IMU)校准的巡检航线(即飞一个“8”字,以便在数据处理过程中更精准地选择有效数据的范围)从起降点A上电自检后起飞,根据自动生成的巡检航线,在到达起始位置B点前约20~40米的位置进行惯导(IMU)校准后,沿巡检航线按设定速度,开始从B点开始激光扫描作业,经过途径位置C点后,到达结束位置D点,在D点后约20~40米的位置再次进行惯导(IMU)校准后,继续沿巡检航线返回起降点。而无人机激光扫描系统在整个飞行作业过程中的实时轨迹、采集的激光点云三维数据,均在无人机移动终端操控软件(APP)上可视化呈现,便于作业人员直观的监控,及时调整无人机激光扫描作业过程中的飞行姿态、航向、安全距离和激光点云数据质量,然后动态调整无人机的飞速、巡检航线、高度等,提升无人机巡检过程管控的质效。
请参阅图7,在某些实施方式中,接收无人机200发送的原始点云数据和POS数据(步骤S20),包括:
步骤S21:接收无线电台和无人机网口发送的原始点云数据和POS数据,其中,原始点云数据由激光雷达设备22扫描得到,POS数据与原始点云数据对应。
在某些实施方式中,第二处理器12用于接收无线电台和无人机网口发送的原始点云数据和POS数据,其中,原始点云数据由激光雷达设备22扫描得到,POS数据与原始点云数据对应。
如此,可以对原始点云数据和POS数据进行解算处理,以便生成实时点云模型在显示屏11上动态显示,起到实时三维监控作用。
具体地,移动终端100可以通过步骤S21,接收无线电台和无人机200固定网口转发的原始点云数据和POS数据。如上文所述,无人机200上安装有激光雷达系统,在扫描得到原始点云数据的同时,无人机200还可以通过相关接口获取姿态和位置信息。移动终端100最终通过无线电台以及无人机固定网口获取原始点云数据和POS数据,其中POS数据与原始点云数据相对应,融合原始点云数据和POS数据可得到实时点云模型。
请参阅图8,在某些实施方式中,解算原始点云数据和POS数据,以实现原始点云的坐标系统转换(步骤S30),包括:
步骤S31:调用实时点云解算与插值算法处理原始点云数据和POS数据;
步骤S32:将处理后的数据映射至投影坐标系。
在某些实施方式中,第二处理器12用于调用实时点云解算与插值算法处理原始点云数据和POS数据;以及用于将处理后的数据映射至投影坐标系。
这样,在步骤S31和步骤S32中,移动终端100收到无人机200实时发送过来的原始点云数据及对应的POS数据后,调用实时点云解算与插值方法,将激光扫描的实时数据进行处理,并映射到投影坐标系,投影坐标系可以使得地图分析和空间分析能够定量计算。最终,解算后可以实现原始点云的局部坐标系统与现实三维世界的坐标系统的转换,使其与现实世界的地物进行真实位置匹配,便于后续动态显示实时点云图。
可以理解,上述点云加载、差值算法均在移动终端100上完成,在一些实施方式中可以对点云数据和POS数据的解算进行优化,使得移动终端100所需的运算力和资源减小,从而能够在移动终端100上进行数据处理和数据显示,优化用户体验。
请参阅图9和图10,基于解算结果动态显示实时点云模型和实时惯导姿态参数(步骤S40),包括:
步骤S41:获取处理后的数据;
步骤S42:基于处理后的数据,调用实时点云显示算法并借助LOD分层显示渲染技术,在移动终端100的显示屏11上动态显示实时点云模型;
步骤S43:基于处理后的数据,在移动终端100的显示屏11上动态显示激光雷达设备22的横滚角、俯仰角、航向角、北向速度、东向速度等至少一个参数。
在某些实施方式中,第二处理器12用于获取处理后的数据;及用于基于处理后的数据,调用实时点云显示算法并借助LOD分层显示渲染技术,在移动终端100的显示屏11上动态显示实时点云模型;以及用于基于处理后的数据,在移动终端100的显示屏11上动态显示激光雷达设备22的横滚角、俯仰角、航向角、北向速度、东向速度等至少一个参数。
如此,使得工作人员能够及时对无人机200的激光点云采集工作和激光雷达设备22的工作状态进行判断,确认激光点云质量是否符合要求,提高工作效率,改善工作体验。
具体地,图10为在移动终端100的显示屏11上显示实时点云模型和实时惯导姿态参数的示意图。其中,移动终端100基于步骤S31和步骤S32解算完激光雷达设备22实时发送的原始点云数据及对应的POS数据后,第二处理器12进一步地调用实时点云显示算法,借助LOD动态加载点云技术及高程渲染技术,在相关应用程序界面上进行动态显示实时扫描到的点云,最终实现“所扫即所见”效果。应用LOD分层显示渲染技术能够流畅的显示出作业范围内的实时点云。
另外,移动终端100还可以基于对激光雷达设备22发送的POS数据等参数的解算结果,同时实时显示出激光雷达设备22的横滚角、俯仰角、航向角、北向速度、东向速度等参数数据,实时展示设备的整体工作状态。
综上,请参阅图11,图11为监控系统1000实施有本发明提供的两种监控方法的整体流程示意图。其中,无人机200和移动终端100均与无线电台进行指令交互和数据传输。无人机200获取移动终端100自动规划的巡检航线后,按照巡检航线飞行进行惯导校准。校准完成后,激光雷达设备22开机后,获取原始点云数据和POS数据,并且基于相关接口获取RTK信息,从而获取精确的定位信息。无人机200将数据通过固定网口、无线电台发送至移动终端100,移动终端100接收到数据后进行实时数据接收、数据插值解算和点云动态显示三个步骤。
最终,实现了无人机稳定、自动执行激光雷达设备惯导校准、动态显示实时点云模型和实时惯导姿态参数。从而显著提升无人机激光雷达设备采集质量与效率,也便于工作人员监控无人机激光点云采集工作,能够实时感知激光雷达识别是否正常工作、实时点云数据及扫描范围是否符合要求。
本发明实施方式还提供一种存储有计算机程序的非易失性计算机可读存储介质,当计算机程序被一个或多个处理器执行时,使得处理器执行以上任一实施方式的监控方法。
具体地,在一个实施例中,处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
计算机程序可以被存储在存储器中,存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如上述方法实施例中的方法所对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的方法。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,实现的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
在本说明书的描述中,参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (11)

1.一种基于边缘计算终端的无人机激光点云采集实时监控方法,用于移动终端,其特征在于,所述监控方法包括:
响应选择作业范围的操作,自动生成无人机的巡检航线,并生成激光扫描作业起点标记以辅助无人机上搭载的激光雷达设备的惯导校准;
接收所述无人机发送的原始点云数据和POS数据;
基于边缘计算终端解算所述原始点云数据和所述POS数据,以实现原始点云的坐标系统转换;
基于边缘计算终端的解算结果动态显示实时点云模型和实时惯导姿态参数。
2.根据权利要求1所述的监控方法,其特征在于,所述响应选择作业范围的操作,自动生成无人机的巡检航线,并生成激光扫描作业起点标记以辅助无人机上搭载的激光雷达设备的惯导校准,包括:
获取起止杆塔的三维坐标;
根据预设算法生成预定轨迹的所述巡检航线,所述巡检航线位于杆塔正上方且以杆塔中心为起降点;
设置所述无人机为预设飞行模式;
控制所述无人机以预设速度按所述巡检航线飞行作业。
3.根据权利要求1所述的监控方法,其特征在于,所述生成激光扫描作业起点标记以辅助无人机上搭载的激光雷达设备的惯导校准,包括:
在所述巡检航线上预设多个校准点,所述多个校准点位于所述巡检航线的起降点和终点之间;
在所述起降点和第一个所述校准点之间校准一次所述激光雷达设备的惯导;
在所述终点和最后一个所述校准点之间再次校准一次所述激光雷达设备的惯导。
4.根据权利要求1所述的监控方法,其特征在于,所述接收所述无人机发送的原始点云数据和POS数据,包括:
接收无线电台和无人机网口发送的所述原始点云数据和所述POS数据,其中,所述原始点云数据由所述激光雷达设备扫描得到,所述POS数据与所述原始点云数据对应。
5.根据权利要求1所述的监控方法,其特征在于,解算所述原始点云数据和所述POS数据,以实现原始点云的坐标系统转换,包括:
调用实时点云解算与插值算法处理所述原始点云数据和所述POS数据;
将处理后的数据映射至投影坐标系。
6.根据权利要求5所述的监控方法,其特征在于,所述基于解算结果动态显示实时点云模型和实时惯导姿态参数,包括:
获取所述处理后的数据;
基于所述处理后的数据,调用实时点云显示算法并借助LOD分层显示渲染技术,在所述移动终端的显示屏上动态显示所述实时点云模型;
基于所述处理后的数据,在所述移动终端的显示屏上动态显示所述激光雷达设备的横滚角、俯仰角、航向角、北向速度、东向速度等至少一个参数。
7.一种基于边缘计算终端的无人机激光点云采集实时监控方法,用于无人机,其特征在于,所述监控方法包括:
接收并执行移动终端发送的巡检航线以进行激光雷达设备的惯导校准;
通过所述激光雷达设备获取原始点云数据和POS数据;
向所述移动终端发送所述原始点云数据和所述POS数据。
8.一种无人机,其特征在于,所述无人机包括:
无人机本体;
搭载于所述无人机本体上的激光雷达设备、第一处理器以及与所述第一处理器连接的第一存储器;
所述激光雷达设备用于获取原始点云数据和POS数据,所述第一存储器用于存储第一计算机程序,所述第一处理器用于调用并执行所述第一计算机程序以实现如权利要求7所述的监控方法。
9.一种移动终端,其特征在于,所述移动终端包括显示屏、第二处理器和与所述第二处理器连接的第二存储器,所述第二存储器用于存储第二计算机程序,所述第二处理器用于调用并执行所述第二计算机程序以实现如权利要求1-6任一项所述的监控方法。
10.一种无人机激光点云采集实时监控系统,其特征在于,所述监控系统包括如权利要求8所述的无人机和如权利要求9所述的移动终端。
11.一种计算机可执行指令的非易失性计算机可读存储介质,其特征在于,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行权利要求1-7中任一项所述的监控方法。
CN202211096936.XA 2022-09-08 2022-09-08 监控方法及系统、无人机、移动终端和存储介质 Active CN115167529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211096936.XA CN115167529B (zh) 2022-09-08 2022-09-08 监控方法及系统、无人机、移动终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211096936.XA CN115167529B (zh) 2022-09-08 2022-09-08 监控方法及系统、无人机、移动终端和存储介质

Publications (2)

Publication Number Publication Date
CN115167529A true CN115167529A (zh) 2022-10-11
CN115167529B CN115167529B (zh) 2022-12-13

Family

ID=83482467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211096936.XA Active CN115167529B (zh) 2022-09-08 2022-09-08 监控方法及系统、无人机、移动终端和存储介质

Country Status (1)

Country Link
CN (1) CN115167529B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116627164A (zh) * 2023-04-13 2023-08-22 北京数字绿土科技股份有限公司 一种基于地形高度的无人机仿地飞行控制方法和系统
CN116667219A (zh) * 2023-06-29 2023-08-29 国网电力空间技术有限公司 一种输电线路激光雷达巡检系统、方法、装置及存储介质
CN117635889A (zh) * 2024-01-26 2024-03-01 南京柠瑛智能科技有限公司 激光点云数据实时渲染方法及系统、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306344A1 (en) * 2016-10-07 2018-04-11 Leica Geosystems AG Flying sensor
CN108647607A (zh) * 2018-04-28 2018-10-12 国网湖南省电力有限公司 用于输变电工程的地物识别方法
CN111343287A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 一种输电线路巡检的直升机激光雷达远程监控系统与方法
CN112378336A (zh) * 2020-11-13 2021-02-19 南通中远海运川崎船舶工程有限公司 一种基于无人机的舱容测量系统及其测量方法
CN114898234A (zh) * 2022-05-17 2022-08-12 厦门大招科技有限公司 搭载激光雷达热成像技术的无人机电网巡检三维成像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306344A1 (en) * 2016-10-07 2018-04-11 Leica Geosystems AG Flying sensor
CN108647607A (zh) * 2018-04-28 2018-10-12 国网湖南省电力有限公司 用于输变电工程的地物识别方法
CN111343287A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 一种输电线路巡检的直升机激光雷达远程监控系统与方法
CN112378336A (zh) * 2020-11-13 2021-02-19 南通中远海运川崎船舶工程有限公司 一种基于无人机的舱容测量系统及其测量方法
CN114898234A (zh) * 2022-05-17 2022-08-12 厦门大招科技有限公司 搭载激光雷达热成像技术的无人机电网巡检三维成像方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116627164A (zh) * 2023-04-13 2023-08-22 北京数字绿土科技股份有限公司 一种基于地形高度的无人机仿地飞行控制方法和系统
CN116627164B (zh) * 2023-04-13 2024-04-26 北京数字绿土科技股份有限公司 一种基于地形高度的无人机仿地飞行控制方法和系统
CN116667219A (zh) * 2023-06-29 2023-08-29 国网电力空间技术有限公司 一种输电线路激光雷达巡检系统、方法、装置及存储介质
CN116667219B (zh) * 2023-06-29 2023-12-22 国网电力空间技术有限公司 一种输电线路激光雷达巡检系统、方法、装置及存储介质
CN117635889A (zh) * 2024-01-26 2024-03-01 南京柠瑛智能科技有限公司 激光点云数据实时渲染方法及系统、装置
CN117635889B (zh) * 2024-01-26 2024-04-23 南京柠瑛智能科技有限公司 激光点云数据实时渲染方法及系统、装置

Also Published As

Publication number Publication date
CN115167529B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN115167529B (zh) 监控方法及系统、无人机、移动终端和存储介质
CN109596118B (zh) 一种用于获取目标对象的空间位置信息的方法与设备
US10181211B2 (en) Method and apparatus of prompting position of aerial vehicle
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
CN107950506B (zh) 移动装置、基于移动装置的喷洒控制方法及装置
CN108344397B (zh) 基于倾斜摄影技术的自动化建模方法、系统及其辅助装置
US20200004272A1 (en) System and method for intelligent aerial inspection
CN108496130B (zh) 飞行控制方法、设备、控制终端及其控制方法、无人机
WO2016192249A1 (zh) 一种飞行器的操控方法和装置
CN117310739A (zh) 在可移动物体之间共享绘图数据的技术
JP2016082441A (ja) 制御装置、制御方法及びコンピュータプログラム
EP3567445A1 (en) Transferring annotations to images captured by remote vehicles between displays
WO2019080113A1 (zh) 无人机的巡检规划方法、控制终端、无人机及无人机系统
WO2018120351A1 (zh) 一种对无人机进行定位的方法及装置
CN110530366A (zh) 一种输电线路建模的航线规划系统和方法
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
JP6289750B1 (ja) 移動体、移動体制御方法、移動体制御システム、及び移動体制御プログラム
JP2020170213A (ja) ドローン作業支援システム及びドローン作業支援方法
JP2018156491A (ja) 設備点検システム
CN113140003A (zh) 使用图像中所示的现有界标创建地面控制点文件
CN113009505A (zh) 机载激光雷达数据采集设备、系统及无人机飞行器
US10891770B2 (en) Systems and methods for augmented reality video feed on an unmanned vehicle
CN112286228A (zh) 无人机三维可视化避障方法及系统
US11566894B2 (en) Systems and methods for generating a two-dimensional map
WO2020143004A1 (zh) 一种信息处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230329

Address after: No. 397 Tongcheng South Road, Baohe District, Hefei City, Anhui Province, 232001

Patentee after: Super high voltage branch of State Grid Anhui Electric Power Co.,Ltd.

Address before: 10th Floor, China Blue Star Building, No. 19 North Third Ring East Road, Chaoyang District, Beijing 100029

Patentee before: BEIJING YUPONT ELECTRIC POWER TECHNOLOGY Co.,Ltd.

Patentee before: Super high voltage branch of State Grid Anhui Electric Power Co.,Ltd.