CN108955647B - 基于无人机的火场定位方法及系统 - Google Patents

基于无人机的火场定位方法及系统 Download PDF

Info

Publication number
CN108955647B
CN108955647B CN201810823879.8A CN201810823879A CN108955647B CN 108955647 B CN108955647 B CN 108955647B CN 201810823879 A CN201810823879 A CN 201810823879A CN 108955647 B CN108955647 B CN 108955647B
Authority
CN
China
Prior art keywords
coordinate system
self
shooting
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810823879.8A
Other languages
English (en)
Other versions
CN108955647A (zh
Inventor
路博超
廖春生
郭江凌
许自然
丁文倩
吴振恒
许春宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunduan Zhijiao (Guangzhou) Internet of Things Technology Co., Ltd.
Original Assignee
Shenzhen Rongsheng Intelligent Equipment Co ltd
Yunduan Smart Manufacturing Guangzhou Internet Of Things Technology Co ltd
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Rongsheng Intelligent Equipment Co ltd, Yunduan Smart Manufacturing Guangzhou Internet Of Things Technology Co ltd, Jinan University filed Critical Shenzhen Rongsheng Intelligent Equipment Co ltd
Priority to CN201810823879.8A priority Critical patent/CN108955647B/zh
Publication of CN108955647A publication Critical patent/CN108955647A/zh
Application granted granted Critical
Publication of CN108955647B publication Critical patent/CN108955647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications

Abstract

本发明公开了一种基于无人机的火场定位方法及系统，方法包括：获取火场周围多个地方放置实物标志物或特殊建筑物作为标志物的数据建立自定坐标系；在无人机拍摄的图片中手动点出两个所述标志物，结合点击位置和姿态角计算自定坐标系下的无人机位置进行无人机定位；根据两幅无人机拍摄的图片中，手动点出同一个关键点的位置，结合点击位置，姿态角和该关键点的两个拍摄位置，计算所述关键点在所述自定坐标系下的位置坐标，完成火场对于关键点的定位；其中，所述无人机位置即为拍摄位置。本发明对火灾现场进行准确、快速定位，并标注关键点和楼层，为火场指挥人员提供直观的现场情况，辅助其进行救灾战术决策，极大地提高了效率。

Description

基于无人机的火场定位方法及系统
技术领域
本发明涉及无人机和火灾检测的技术领域，尤其涉及一种基于无人机的火场定位方法及系统。
背景技术
俗话说：“水火无情”，火灾的处理在当今仍然是世界性的难题。火灾具有偶发性，频发性，突发性，火势也极容易扩散。当火灾发生时，消防人员需要在第一时间对火场进行侦查，确定火灾情况，针对现场建筑结构进行战术部署，寻找求援目标和救援路线。火场指挥员只有及时全面细致的了解火场情况，才能做出正确的判断和部署，以达到控制火情蔓延，减少经济损失和人员伤亡的目的。
目前，火情侦查的方法往往是侦查人员通过人眼，在火场外围进行观察，亦或询问当地知情人员。但火灾现场往往情况复杂，高温、浓烟等环境干扰较强，现场人员紧张不安不知所措，部分建筑结构倒塌变形。传统的侦查方法存在一定的问题。
近年来，旋翼无人机得到了快速发展，飞行稳定、易控制、低风险等特点使其在航空拍摄、灾情考察等多个领域得到了广泛应用。火灾发生时，通过无人机对火场进行拍摄侦察，可以达到快速、准确、全面的效果。
现有技术中，通过无人机进行火灾现场侦察的并不多。大多技术专利使用无人机对森林进行火灾预警和检测。与森林火灾不同，城市火灾的发生往往伴随复杂的建筑结构和耸立的高楼，对侦察的速度和精准度要求更高，一分一秒，一毫一厘都人命关天。如专利1(公布号：CN106530589A)、专利2(公布号：CN106448019A)和专利3(公布号：CN102819926A)中所述专利技术，在获取无人机位置时，均以使用GPS为主，而在复杂的城市环境下，GPS信号容易受到楼房遮挡和气象条件影响，在低楼层和阴雨天的情况下尤为严重，与此同时，建筑物墙面的反射会造成GPS定位误差，再加上其本身的定位误差，便无法进行可靠定位。在专利4(公布号：CN105282517A)所述的针对高楼火灾的勘查技术中，也仅使用GPS作为无人机的定位方法，这会产生上述定位误差的风险。可见，目前在无人机火场侦察技术领域，大部分技术以GPS定位作为无人机定位的主要方法。
利用无人机对火场进行侦查时，可通过拍摄的图片，对火场内指定位置进行定位，对现场建筑物进行简单建模。而常用的建模和定位技术，重点在于自动识别、自动生成以及生成的效果，例如专利5(公布号：CN106054931A)中所述视觉定位系统，为自动识别其特定标志，需要进行较多图像处理操作，以确定标志在图片中的位置；专利6(公布号：CN102142153A)所述图像三维重建方法，同样进行了较多操作，对图像进行分割，识别建筑边缘和纹理。这些方法具有全自动的优点，但操作复杂，花费时间较多，不利于火场求援。
综上，无人机虽然是火场侦察的得力帮手，但如何快速、精准的使用无人机仍是技术难点。当火灾发生时，对现场情况精确的定位是最为重要的，而在满足精确的同时，如何提高速度，如何简化操作流程，如何降低设备成本，如何做到可视化的现场重建，则是相应的技术挑战。
发明内容
本发明提供一种基于无人机的火场定位方法及系统，实现快速、精准火场定位。
本发明基于无人机的火场定位方法采用以下技术方案，包括步骤：
获取火场周围多个地方放置实物标志物或特殊建筑物作为标志物的数据建立自定坐标系；
在无人机拍摄的图片中手动点出两个所述标志物，结合点击位置和姿态角计算自定坐标系下的无人机位置进行无人机定位；
根据两幅无人机拍摄的图片中，手动点出同一个关键点的位置，结合点击位置，姿态角和该关键点的两个拍摄位置，计算所述关键点在所述自定坐标系下的位置坐标，完成火场对于关键点的定位；
其中，所述无人机位置即为拍摄位置。
本方案中，无人机快速、灵活，可以从很多不同的地方、角度进行拍摄，这是人眼所不能及的；而要从拍摄后的图片中识别出，哪些是建筑，哪些是火点，哪些是需抢救人员则电脑是不及人眼的。在火灾现场，这种特殊的环境下，对识别的精度要求非常高，大多自动算法存在一定的误判，同时也需要大量的预处理。而通过人工操作，手动指出关键点在图片中的位置，则非常的快速准确。在此基础上，降低人工操作的次数，依靠手动确定的关键点进行定位、建模，则将无人机和指挥人员的长处结合在一起，快速精准的完成了火场侦察任务。
由于火灾现场千变万化，本技术方案中，GPS作为辅助定位手段。救灾人员在火灾现场，自行建立坐标系(后统称为自定坐标系)。在靠近火场并且视野较好的地方，设立标志物作为坐标原点并设定坐标系XYZ轴方向，记录该点GPS的参数。在火场周围多个地方放置标志物，并确定标志物在自定坐标系中的位置。火场周围若有已知其坐标的标志性建筑或路标如路灯、信号灯、标志牌、十字路口等，可同样视为标志物使用，而不需再摆放标志物。为所有标志物进行标号，并记录其在自定坐标系中的坐标位置。自行建立坐标系可以避免天气、城市建筑物墙面的反射造成的定位误差。
作为上述方案的改进，所述在无人机拍摄的图片中手动点出两个所述标志物，结合点击位置和姿态角计算自定坐标系下的无人机位置步骤具体包括：
以拍摄的所述图片中心点作为原点，图片水平向左为x轴正方向，垂直向上为y轴正方向，从传感器区域中心点指向焦点的方向为z轴正方向，建立拍摄坐标系；
在拍摄坐标系和自定坐标系之间，将无人机姿态角的水平角转化为自定坐标系X轴和拍摄坐标系x轴之间的角度差，将无人机姿态角的俯仰角转化为自定坐标系Z轴和拍摄坐标系z轴之间的角度差；按照右手螺旋定则，以自定坐标系Z轴正方向为大拇指方向，从自定坐标系X轴正方向转向拍摄坐标系x轴正方向的方向，为角度的正方向；按照右手螺旋定则，以拍摄坐标系x轴正方向为大拇指方向，从自定坐标系Z轴正方向转向拍摄坐标系z轴正方向的方向，为角度的正方向；
将拍摄坐标系中两个标志物坐标和焦点坐标按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正；
根据拍摄位置射向矫正后的所述标志物的两个方向向量，与已知的在自定坐标系下的所述两个标志物坐标，联立自定坐标系下拍摄位置的超定方程，计算自定坐标系下拍摄位置。
作为上述方案的改进，所述根据两幅无人机拍摄的图片中，手动点出同一个关键点的位置，结合点击位置，姿态角和该关键点的两个拍摄位置，计算所述关键点在所述自定坐标系下的位置坐标，完成火场对于关键点的定位的步骤，其中，每幅图片对应一个拍摄坐标系，该步骤具体包括：
分别将两幅图片对应的两个所述拍摄坐标系中的关键点坐标和焦点坐标，按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正；
根据拍摄位置射向矫正后的所述关键点的两个方向向量，与已知的在自定坐标系下的所述拍摄位置坐标，联立自定坐标系下所述关键点的超定方程，计算自定坐标系下所述关键点的坐标。
无人机定位方案和关键点定位方案的优点在于，快速的实现了火灾现场的精确定位。由于使用自定坐标系，这使得定位精度较高。虽然在方案实施前需要救援人员对火灾现场进行标志物的摆放和测量，但在火灾现场，救援人员始终都要对现场先进行简单的侦查，疏散现场群众并隔离区域。在这些必须的基本处理过程中，可轻松的进行标志物的布置工作，可谓一举两得。
火灾现场往往混乱不堪，浓烟滚滚。在这种情况下使用自动识别进行定位，则需要进行大量图像处理操作，准确率也不高。而通过操作人员准确的点击，配合后台相应的计算，则快速准确的实现了定位功能。人眼识别的准确率和速度是自动识别算法所无法匹敌的，整个识别过程也仅需操作人员进行简单的点击，无需其他复杂的操作。
作为上述方法的改进，完成火场对于关键点的定位步骤之后还包括如下步骤：
将建筑顶层外轮廓所有建筑关键点进行标注；
根据图片的拍摄位置，所述建筑关键点在自定坐标系中的坐标及拍摄角度，计算所述建筑关键点在图片中的对应位置；
截取图片中两个建筑关键点之间的区域，使用canny算子对剪切下来的区域进行检测，判断两点是否需要连线，连线构建整个建筑的外表面轮廓形成封闭区域；
形成封闭区域的建筑关键点在一副图片中找出，并将图片中对应的区域剪切下来进行贴图以完成建筑重构。
本方案中，建筑重构方案的实施阶段，系统自动的进行判定和计算，构建出火灾现场建筑的简单模型。操作人员仅需对结果进行简单的修正，即可获得直观精确的现场结构。不同于其他一般方法，方案的实施过程并没有大量的计算。所有的矫正和检测算法，都限制在一个较小的剪切区域内，降低的计算量。而其他关于空间位置的计算，虽然原理和表述较为复杂，但计算上只是简单的运算和解方程，不会消耗太多的时间。通过利用操作人员简单的点击，结合空间信息进行关键点的定位、连线，并剪切图片构成直观的三维模型，快速、精准的完成了火灾现场的侦查任务。
进一步地，所述判断两点是否需要连线，连线构建整个建筑的外表面轮廓形成封闭区域步骤具体包括：
对剪切下来的所述区域检测结果计算在所述两个建筑关键点连线上的投影；
所述投影结果为零的部分占所述两个建筑关键点连线总长的比例H％，根据已设定的阀值，判断若H高于阀值，则认为所述两个建筑关键点之间相连，是建筑的一个边缘，否则认为所述两个建筑关键点之间不应连线；
所有建筑关键点中，位于边缘的建筑关键点则认为是建筑的边缘关键点；
判断建筑边缘关键点的Z坐标是否大于预设第一阈值，若大于则将所述建筑边缘关键点与其垂直投影在水平面上的点连线；若两个建筑边缘关键点之间连线，则其投影点也连线，形成封闭区域。
本方案中，当操作人员将关键点都点出后，后台处理设备构建虚拟三维空间，将所有点都展示出来。通过对图片局部进行边缘检测，判断不同的建筑关键点之间是否需要连线。在完成连线处理后，需操作人员进行简单审核和修改。
在确定建筑物的整体轮廓后，则根据建筑关键点的位置和所构成的区域，对图片局部进行剪切，校正后贴到建立的三维模型上。根据一层的高度和相应的位置，在建筑物每一层面上画一个平面，分割各个楼层，并标识每个特殊关键点在第几楼层以及其水平坐标。至此，火场辅助定位系统便快速精准的完成了火灾现场的侦察任务。该系统对火灾现场进行准确、快速的三维重构，并标注关键点和楼层，为火场指挥人员提供直观的现场情况，辅助其进行救灾战术决策，极大地提高了效率。
附图说明
图1是本发明提供的实施例1的一种基于无人机的火场定位方法的流程示意图；
图2是本发明提供的实施例2的一种基于无人机的火场定位方法的流程示意图；
图3是本发明提供实施例3的一种基于无人机的火场定位系统之后台处理设备内的功能模块结构示意图。
图4是本发明提供实施例4的一种基于无人机的火场定位系统之后台处理设备内的功能模块结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明提供的实施例1的一种基于无人机的火场定位方法的流程示意图。该方法包括步骤如下：
步骤S11：获取火场周围多个地方放置实物标志物或特殊建筑物作为标志物的数据建立自定坐标系。
具体地，火灾发生时，救灾人员疏散现场，对周围环境进行简单的勘察。勘察过程中，将多个标志物摆放至较为明显的地方，并设定一些特殊建筑为标志物，放飞无人机，对火灾现场进行环绕式的拍摄。若需对特定位置进行观察，则将无人机移动到相应位置后，先向下拍摄标志物，后对特定位置进行拍摄。拍摄数据无线传输至后台处理设备用以建立自定坐标系。
步骤S12：在无人机拍摄的图片中手动点出两个所述标志物，结合点击位置和姿态角计算自定坐标系下的无人机位置进行无人机定位。
具体地，在后台处理设备上，操作人员挑选清晰的，拍摄到至少两个标志物的图片。在图片中，操作人员点出标志物，并尽可能多的点出建筑关键点和特殊关键点，并对各类点进行编号。同一编号的点在两张图片中被点出后，便直接显示其坐标。若某一编号的点没有在两张图片中点出，则提示操作人员。
无人机上配有陀螺仪，摄像机，可向后台处理设备发送图片以及拍摄时相应的角度和GPS参数。摄像机应使用标准镜头，若使用广角镜头则需对图像进行矫正。以摄像机传感器区域中心点为原点，建立坐标系(后统称为拍摄坐标系)，并设定XYZ轴方向。以拍摄的图片中心点作为原点，图片水平向左为x轴正方向，垂直向上为y轴正方向，从传感器区域中心点指向焦点的方向为z轴正方向。拍摄坐标系以拍摄图片的像素边长作为单位(传感器尺寸行的宽度除以分辨率行的宽度，一般为正方形)。若摄像机能传送拍摄时焦距长度，则直接将焦距长度转化为以像素边长为单位的数值；若摄像机没有此功能，则在摄像机最外侧镜头边缘处沿x轴方向粘贴小型长条标志物，已知标志物长度，已知最外侧镜头中心点到传感器区域中心点的距离并且该距离不变，焦距改变时，通过计算标志物在图片中的长度便可推算出焦距大小。
无人机拍摄时保持水平姿态，陀螺仪应以自定坐标系的方向为标准，记录摄像机拍摄的水平角和俯仰角。后台处理设备则按照拍摄坐标系的定义，在拍摄坐标系和自定坐标系之间，将陀螺仪记录的姿态角的水平角转化为自定坐标系X轴和拍摄坐标系x轴之间的角度差，将陀螺仪记录的姿态角的俯仰角转化为自定坐标系Z轴和拍摄坐标系z轴之间的角度差；按照右手螺旋定则，以自定坐标系Z轴正方向为大拇指方向，从自定坐标系X轴正方向转向拍摄坐标系x轴正方向的方向，为角度的正方向；按照右手螺旋定则，以拍摄坐标系x轴正方向为大拇指方向，从自定坐标系Z轴正方向转向拍摄坐标系z轴正方向的方向，为角度的正方向。
在上述坐标系定义下，仅使用X轴和Z轴两个轴之间的夹角，若使用其他定义方式，则需要计算三轴的夹角。无人机拍摄时，图片中包含两个标志物即可对无人机进行定位。若某一拍摄位置和角度无法拍摄到两个标志物，则操作人员可使无人机保持拍摄位置转换拍摄角度，使其拍摄到两个标志物后再对目标进行观测。
针对包含两个标志物A和B的图片，操作人员手动点出其在图片中的位置，并提供标志物的相应标号。后台处理设备由此可知标志物在图片中的位置为(Aox，Aoy)和(Box，Boy)，并将其转化为拍摄坐标系中的坐标值Pa＝(Apx，Apy，0)和Pb＝(Bpx，Bpy，0)(水平坐标以图像中心为原点，根据分辨率大小进行简单加减法计算即可获得，而AB两点实际上均在传感器区域，其纵坐标均为0)。同时，获得焦距的长度为Fpz，则焦点在拍摄坐标系中的坐标值为Pf＝(0，0，Fpz)。通过陀螺仪的记录，获得此拍摄坐标系x与自定坐标系之间X轴之间的角度差为α，和拍摄坐标系z与自定坐标系之间Z轴之间的角度差为β。将A点、B点和焦点在拍摄坐标系中的坐标值按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正。公式如下：
绕x轴旋转矩阵：
Figure GDA0002983710800000071
绕z轴旋转矩阵：
Figure GDA0002983710800000072
Qa＝Pa×Rx×Rz＝(Aqx，Aqy，Aqz)
Qb＝Pb×Rx×Rz＝(Bqx，Bqy，Bqz)
Qf＝Pf×Rx×Rz＝(Fqx，Fqy，Fqz)
其中，Qa、Qb、Qf是经过矫正后的A、B、F三点的坐标。由此可以获得从自定坐标系中摄像机位置T＝(Xt，Yt，Zt)射向A点的方向向量为(B点同理)：
摄像机看向A点方向：(Fqx-Aqx，Fqy-Aqy，Fqz-Aqz)
摄像机看向B点方向：(Fqx-Bqx，Fqy-Bqy，Fqz-Bqz)
标志物在自定坐标系中的位置已知为(Acx，Acy，Acz)和(Bcx，Bcy，Bcz)。和摄像机的位置可联立方程组：
Figure GDA0002983710800000073
Figure GDA0002983710800000074
此为超定方程，理想情况下有唯一解。但实际使用时存在误差，求解时可先联立求解出Xt和Yt值，后分别求出两个Zt值并求平均作为最终Zt值。而求解出的Xt、Yt、Zt值即为摄像机在自定坐标系中拍着的位置。若出现无法拍摄到两个标志物的情况，则使用GPS参数。其中，所述无人机位置即为摄像机拍摄位置。
步骤S13：根据两幅无人机拍摄的图片中，手动点出同一个关键点的位置，结合点击位置，姿态角和该关键点的两个拍摄位置，计算所述关键点在所述自定坐标系下的位置坐标，完成火场对于关键点的定位；
具体地，对于同一关键点，无人机从两个位置上对其进行拍照。操作人员则从两张图片中分别点出关键点的位置。后台处理设备由此可知关键点在图片C和D中的位置为(Cox，Coy)和(Dox，Doy)，并将其转化为拍摄坐标系中的坐标值Pc＝(Cpx，Cpy，0)和Pd＝(Dpx，Dpy，0)。同时，获得焦距的长度为Fpz，则焦点在拍摄坐标系中的坐标值为Pf＝(0，0，Fpz)。通过陀螺仪的记录，获得拍摄坐标系x与自定坐标系之间X轴之间的角度差为α,和拍摄坐标系z与自定坐标系之间Z轴之间的角度差为β。将C、D图中关键点和焦点在拍摄坐标系中的坐标值按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正，矫正后C、D点和焦点F三点在自定坐标系下的坐标：
Qc＝Pc×Rx×Rz＝(Cqx，Cqy，Cqz)
Qd＝Pd×Rx×Rz＝(Dqx，Dqy，Dqz)
Qf＝Pf×Rx×Rz＝(Fqx，Fqy，Fqz)
无人机拍摄C图和D图时的位置已知为(Ccx，Ccy，Ccz)和(Dcx，Dcy，Dcz)。假设关键点的坐标为K＝(Xk，Yk，Zk)，则可联立方程组：
Figure GDA0002983710800000081
Figure GDA0002983710800000082
此方程同为超定方程，求解后Xk，Yk，Zk即为关键点在自定坐标系中的坐标。关键点分为两类，一类为建筑关键点，另一类为特殊关键点。在获得所有关键点后，后台处理设备建立虚拟三维空间，并将所有关键点在空间内标出。
参见图2，是本发明提供的实施例2的一种基于无人机的火场定位方法的流程示意图。该基于无人机的火场定位方法基于实施例1，其区别在于，完成火场对于关键点的定位步骤之后还包括如下步骤：
步骤S14：将建筑顶层外轮廓所有建筑关键点进行标注。
步骤S15：根据图片的拍摄位置，所述建筑关键点在自定坐标系中的坐标及拍摄角度，计算所述建筑关键点在图片中的对应位置。
具体地，选出两个建筑关键点M、N，以其中一个M点位基础，选出M点所在的图片。由于无法确定操作人员在同一张图片中同时点出了M点和N点，需要自动在图片中找出N点的位置。已知N点的自定坐标系坐标为(Ncx，Ncy，Ncz)，已知M点所在图片的拍摄位置为T＝(Xt，Yt，Zt)，焦距为Fpz，此拍摄坐标系x与自定坐标系之间X轴之间的角度差为α,和拍摄坐标系z与自定坐标系之间Z轴之间的角度差为β。假设N点在图片中的位置为(Nox，Noy)，则在拍摄坐标系中，N点坐标为Pn＝(Npx，Npy，0)，焦点为Pf＝(0，0，Fpz)。经过旋转校正后：
Qn＝Pn×Rx×Rz＝(Nqx，Nqy，Nqz)
Qf＝Pf×Rx×Rz＝(Fqx，Fqy，Fqz)
至此，可联立超定方程组：
Figure GDA0002983710800000091
要注意方程中只有Nox、Noy两个未知量，求解后需判断Nox、Noy的值是否在图片大小范围内，若不在则判定N点没有在本张图片中显示。
步骤S16：截取图片中两个建筑关键点之间的区域，使用canny算子对剪切下来的区域进行检测，判断两点是否需要连线，连线构建整个建筑的外表面轮廓形成封闭区域。
具体地，在同一张图片中寻找到M点和N点后，则将两点和两点连线周围的区域剪切下来，进行边缘检测。使用canny算子对剪切下来的所述区域检测结果计算在所述两个建筑关键点连线上的投影；所述投影结果为0的部分占所述两个建筑关键点连线总长的比例H％，根据已设定的阀值，判断若H高于阀值，则认为所述两个建筑关键点之间相连，是建筑的一个边缘，否则认为所述两个建筑关键点之间不应连线。
如果M点所在图片和N点所在图片均可判定MN相连，则MN两点在后台处理设备建立的虚拟三维空间中连实线。若仅有一张图片可以判定MN相连，则虚拟三维空间中连虚线。若没有图片可以判定MN相连，则不连线。操作人员可选择连线功能，点击MN连线之间的区域时，左键点击则连实线或将虚线变为实线，右键则取消连线。
所有建筑关键点中，位于边缘的建筑关键点则认为是建筑的边缘关键点。
判断建筑边缘关键点的Z坐标是否大于预设第一阈值，优选第一阈值为1米，若大于则将所述建筑边缘关键点与其垂直投影在水平面上的点连线；若两个建筑边缘关键点之间连线，则其投影点也连线，形成封闭区域。
步骤S17：形成封闭区域的建筑关键点在一副图片中找出，并将图片中对应的区域剪切下来进行贴图以完成建筑重构。
具体地，在整个建筑的外表面轮廓构建完成后，进行简单的贴图操作。首先挑选出形成同一个封闭区域的所有建筑关键点，在其相关的图片中找出相应关键点的位置并将相应区域剪切下来，一个区域可能对应多张图片。对剪切后的图片进行矫正后，贴在虚拟三维空间中相应的平面上。操作人员可选择贴图功能，左键点击一个贴图区域时则更换贴图，右键则隐藏贴图。
操作人员可在一副图片中点出任意一层楼的上平面一点和下平面一点。后台处理设备则按照两点坐标，自动将虚拟三维空间的建筑分为多层，并标注所有特殊关键点所在楼层。
本发明提供实施例3的一种基于无人机的火场定位系统。该系统包括无人机、设置在无人机上的摄像机和陀螺仪、以及后台处理设备。参见图3，是后台处理设备内的功能模块结构示意图。
后台处理设备内设置自定坐标系建立模块100，用于获取火场周围多个地方放置实物标志物或特殊建筑物作为标志物的数据；
无人机定位模块200，用于在无人机拍摄的图片中手动点出两个所述标志物，结合点击位置和姿态角计算自定坐标系下的无人机位置；
关键点定位模块300，根据两幅无人机拍摄的图片中，手动点出同一个关键点的位置，结合点击位置，姿态角和该关键点的两个拍摄位置，计算所述关键点在所述自定坐标系下的位置坐标，完成火场对于关键点的定位；
其中，所述无人机位置即为拍摄位置。
当火灾发生时，救灾人员疏散现场，对周围环境进行简单的勘察。勘察过程中，将多个标志物摆放至较为明显的地方，并设定一些特殊建筑为标志物。放飞无人机，对火灾现场进行环绕式的摄像机拍摄。若需对特定位置进行观察，则将无人机移动到相应位置后，先向下拍摄标志物，后对特定位置进行拍摄。在后台处理设备上，操作人员挑选清晰的，拍摄到至少两个标志物的图片。在图片中，操作人员点出标志物，并尽可能多的点出建筑关键点和特殊关键点，并对各类点进行编号。同一编号的点在两张图片中被点出后，便直接显示其坐标。若某一编号的点没有在两张图片中点出，则提示操作人员。
无人机定位模块200具体包括：
第一矫正模块201，用于以拍摄的所述图片中心点作为原点，图片水平向左为x轴正方向，垂直向上为y轴正方向，从传感器区域中心点指向焦点的方向为z轴正方向，建立拍摄坐标系；
在拍摄坐标系和自定坐标系之间，将无人机姿态角的水平角转化为自定坐标系X轴和拍摄坐标系x轴之间的角度差，将无人机姿态角的俯仰角转化为自定坐标系Z轴和拍摄坐标系z轴之间的角度差；按照右手螺旋定则，以自定坐标系Z轴正方向为大拇指方向，从自定坐标系X轴正方向转向拍摄坐标系x轴正方向的方向，为角度的正方向；按照右手螺旋定则，以拍摄坐标系x轴正方向为大拇指方向，从自定坐标系Z轴正方向转向拍摄坐标系z轴正方向的方向，为角度的正方向；
用于将拍摄坐标系中两个标志物坐标和焦点坐标按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正；
自定坐标系下拍摄位置计算模块202，用于根据拍摄位置射向矫正后的所述标志物的两个方向向量，与已知的在自定坐标系下的所述两个标志物坐标，联立自定坐标系下拍摄位置的超定方程，以计算自定坐标系下拍摄位置。
关键点定位模块300具体包括
第二矫正模块301，用于分别将两幅图片对应的两个所述拍摄坐标系中的关键点坐标和焦点坐标，按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正；每幅图片对应一个拍摄坐标系。
关键点坐标计算模块302，用于根据拍摄位置射向矫正后的所述关键点的两个方向向量，与已知的在自定坐标系下的所述拍摄位置坐标，联立自定坐标系下所述关键点的超定方程，计算自定坐标系下所述关键点的坐标。
后台处理设备接收无人机发送的图片以及拍摄时相应的角度和GPS参数。自定坐标系建立模块100获取火场周围多个地方放置实物标志物或特殊建筑物作为标志物的数据以备建立自定坐标系用。摄像机应使用标准镜头，若使用广角镜头则需对图像进行矫正。以摄像机传感器区域中心点为原点，建立坐标系(后统称为拍摄坐标系)，并设定XYZ轴方向。以拍摄的图片中心点作为原点，图片水平向左为x轴正方向，垂直向上为y轴正方向，从传感器区域中心点指向焦点的方向为z轴正方向。拍摄坐标系以拍摄图片的像素边长作为单位(传感器尺寸行的宽度除以分辨率行的宽度，一般为正方形)。若摄像机能传送拍摄时焦距长度，则直接将焦距长度转化为以像素边长为单位的数值；若摄像机没有此功能，则在摄像机最外侧镜头边缘处沿x轴方向粘贴小型长条标志物，已知标志物长度，已知最外侧镜头中心点到传感器区域中心点的距离并且该距离不变，焦距改变时，通过计算标志物在图片中的长度便可推算出焦距大小。
无人机拍摄时保持水平姿态，陀螺仪应以自定坐标系的方向为标准，记录摄像机拍摄的水平角和俯仰角。后台处理设备则按照拍摄坐标系的定义，在拍摄坐标系和自定坐标系之间，将陀螺仪记录的姿态角的水平角转化为自定坐标系X轴和拍摄坐标系x轴之间的角度差，将陀螺仪记录的姿态角的俯仰角转化为自定坐标系Z轴和拍摄坐标系z轴之间的角度差；按照右手螺旋定则，以自定坐标系Z轴正方向为大拇指方向，从自定坐标系X轴正方向转向拍摄坐标系x轴正方向的方向，为角度的正方向；按照右手螺旋定则，以拍摄坐标系x轴正方向为大拇指方向，从自定坐标系Z轴正方向转向拍摄坐标系z轴正方向的方向，为角度的正方向。
在上述坐标系定义下，仅使用X轴和Z轴两个轴之间的夹角，若使用其他定义方式，则需要计算三轴的夹角。无人机拍摄时，图片中包含两个标志物即可对无人机进行定位。若某一拍摄位置和角度无法拍摄到两个标志物，则操作人员可使无人机保持拍摄位置转换拍摄角度，使其拍摄到两个标志物后再对目标进行观测。
无人机定位模块200针对包含两个标志物A和B的图片，操作人员手动点出其在图片中的位置，并提供标志物的相应标号。第一矫正模块201可知标志物在图片中的位置为(Aox，Aoy)和(Box，Boy)，并将其转化为拍摄坐标系中的坐标值Pa＝(Apx，Apy，0)和Pb＝(Bpx，Bpy，0)(水平坐标以图像中心为原点，根据分辨率大小进行简单加减法计算即可获得，而AB两点实际上均在传感器区域，其纵坐标均为0)。同时，获得焦距的长度为Fpz，则焦点在拍摄坐标系中的坐标值为Pf＝(0，0，Fpz)。通过陀螺仪的记录，第一矫正模块201获得此拍摄坐标系x与自定坐标系之间X轴之间的角度差为α，和拍摄坐标系z与自定坐标系之间Z轴之间的角度差为β。将A点、B点和焦点在拍摄坐标系中的坐标值按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正。公式如下：
绕x轴旋转矩阵：
Figure GDA0002983710800000121
绕z轴旋转矩阵：
Figure GDA0002983710800000122
Qa＝Pa×Rx×Rz＝(Aqx，Aqy，Aqz)
Qb＝Pb×Rx×Rz＝(Bqx，Bqy，Bqz)
Qf＝Pf×Rx×Rz＝(Fqx，Fqy，Fqz)
其中，Qa、Qb、Qf是经过矫正后的A、B、F三点的坐标。自定坐标系下拍摄位置计算模块202可以获得从自定坐标系中摄像机位置T＝(Xt，Yt，Zt)射向A点的方向向量为(B点同理)：
摄像机看向A点方向：(Fqx-Aqx，Fqy-Aqy，Fqz-Aqz)
摄像机看向B点方向：(Fqx-Bqx，Fqy-Bqy，Fqz-Bqz)
标志物在自定坐标系中的位置已知为(Acx，Acy，Acz)和(Bcx，Bcy，Bcz)。和摄像机的位置可联立方程组：
Figure GDA0002983710800000131
Figure GDA0002983710800000132
此为超定方程，理想情况下有唯一解。但实际使用时存在误差，求解时可先联立求解出Xt和Yt值，后分别求出两个Zt值并求平均作为最终Zt值。自定坐标系下拍摄位置计算模块202求解出的Xt、Yt、Zt值即为摄像机在自定坐标系中拍着的位置。若出现无法拍摄到两个标志物的情况，则使用GPS参数。其中，所述无人机位置即为摄像机拍摄位置。
关键点定位模块300对于同一关键点，无人机摄像机从两个位置上对其进行拍照。操作人员则从两张图片中分别点出关键点的位置。第二矫正模块301由此可知关键点在图片C和D中的位置为(Cox，Coy)和(Dox，Doy)，并将其转化为拍摄坐标系中的坐标值Pc＝(Cpx，Cpy，0)和Pd＝(Dpx，Dpy，0)。同时，获得焦距的长度为Fpz，则焦点在拍摄坐标系中的坐标值为Pf＝(0，0，Fpz)。通过陀螺仪的记录，第二矫正模块301获得拍摄坐标系x与自定坐标系之间X轴之间的角度差为α,和拍摄坐标系z与自定坐标系之间Z轴之间的角度差为β。将C、D图中关键点和焦点在拍摄坐标系中的坐标值按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正，矫正后C、D点和焦点F三点在自定坐标系下的坐标：
Qc＝Pc×Rx×Rz＝(Cqx，Cqy，Cqz)
Qd＝Pd×Rx×Rz＝(Dqx，Dqy，Dqz)
Qf＝Pf×Rx×Rz＝(Fqx，Fqy，Fqz)
关键点坐标计算模块302根据无人机拍摄C图和D图时的位置已知为(Ccx，Ccy，Ccz)和(Dcx，Dcy，Dcz)。假设关键点的坐标为K＝(Xk，Yk，Zk)，则可联立方程组：
Figure GDA0002983710800000133
Figure GDA0002983710800000134
此方程同为超定方程，关键点坐标计算模块302求解后Xk，Yk，Zk即为关键点在自定坐标系中的坐标。关键点分为两类，一类为建筑关键点，另一类为特殊关键点。在获得所有关键点后，后台处理设备建立虚拟三维空间，并将所有关键点在空间内标出。
本发明提供实施例4的一种基于无人机的火场定位系统，该基于无人机的火场定位系统基于实施例3，其区别在于，在关键点定位模块300定位建筑关键点之后，还包括建筑重构模块400。参见图4，为后台处理设备内的功能模块结构示意图。
建筑重构模块400包括
标注模块410，用于将建筑顶层外轮廓所有建筑关键点进行标注；
图片中关键点计算模块420，根据图片的拍摄位置，所述建筑关键点在自定坐标系中的坐标及拍摄角度，计算所述建筑关键点在图片中的对应位置；
构建封闭区间模块430，用于截取图片中两个建筑关键点之间的区域，使用canny算子对剪切下来的区域进行检测，判断两点是否需要连线，连线构建整个建筑的外表面轮廓形成封闭区域；
贴图模块440，用于形成所述封闭区域的建筑关键点在一副图片中找出，并将图片中对应的区域剪切下来进行贴图以完成建筑重构。
所述构建封闭区间模块430具体包括：
投影计算模块431，用于对剪切下来的所述区域检测结果计算在所述两个建筑关键点连线上的投影；
判断两个建筑关键点连线模块432，用于所述投影结果为零的部分占所述两个建筑关键点连线总长的比例H％，根据已设定的阀值，判断若H高于阀值，则认为所述两个建筑关键点之间相连，是建筑的一个边缘，否则认为所述两个建筑关键点之间不应连线；
选择边缘关键点模块433，用于在所有建筑关键点中，位于边缘的建筑关键点则认为是建筑的边缘关键点；
选择边缘关键点连线模块444，用于判断建筑边缘关键点的Z坐标是否较高，若较高则将所述建筑边缘关键点与其垂直投影在水平面上的点连线；若两个建筑边缘关键点之间连线，则其投影点也连线，形成封闭区域。
本实施例中，标注模块410将建筑顶层外轮廓所有建筑关键点进行标注。图片中关键点计算模块420根据上述标注获得图片的拍摄位置，所述建筑关键点在自定坐标系中的坐标及拍摄角度，计算所述建筑关键点在图片中的对应位置；具体地，手动选出两个建筑关键点M、N，以其中一个M点位基础，选出M点所在的图片。由于无法确定操作人员在同一张图片中同时点出了M点和N点，需要自动在图片中找出N点的位置。已知N点的自定坐标系坐标为(Ncx，Ncy，Ncz)，已知M点所在图片的拍摄位置为T＝(Xt，Yt，Zt)，焦距为Fpz，此拍摄坐标系x与自定坐标系之间X轴之间的角度差为α,和拍摄坐标系z与自定坐标系之间Z轴之间的角度差为β。假设N点在图片中的位置为(Nox，Noy)，则在拍摄坐标系中，N点坐标为Pn＝(Npx，Npy，0)，焦点为Pf＝(0，0，Fpz)。经过旋转校正后：
Qn＝Pn×Rx×Rz＝(Nqx，Nqy，Nqz)
Qf＝Pf×Rx×Rz＝(Fqx，Fqy，Fqz)
至此，可联立超定方程组：
Figure GDA0002983710800000151
要注意方程中只有Nox、Noy两个未知量，求解后需判断Nox、Noy的值是否在图片大小范围内，若不在则判定N点没有在本张图片中显示。
构建封闭区间模块430在同一张图片中寻找到M点和N点后，则投影计算模块431将两点和两点连线周围的区域剪切下来，进行边缘检测，使用canny算子对剪切下来的所述区域检测结果计算在所述两个建筑关键点连线上的投影；判断两个建筑关键点连线模块432判断所述投影结果为0的部分占所述两个建筑关键点连线总长的比例H％，若H高于已设定的阀值，则认为所述两个建筑关键点之间相连，是建筑的一个边缘，否则认为所述两个建筑关键点之间不应连线。
如果M点所在图片和N点所在图片均可判定MN相连，则MN两点在后台处理设备建立的虚拟三维空间中连实线。若仅有一张图片可以判定MN相连，则虚拟三维空间中连虚线。若没有图片可以判定MN相连，则不连线。操作人员可选择连线功能，点击MN连线之间的区域时，左键点击则连实线或将虚线变为实线，右键则取消连线。
选择边缘关键点模块433在所有建筑关键点中，位于边缘的建筑关键点则认为是建筑的边缘关键点。
选择边缘关键点连线模块444判断建筑边缘关键点的Z坐标是否大于预设第一阈值，第一阈值优选1米，若大于则将所述建筑边缘关键点与其垂直投影在水平面上的点连线；若两个建筑边缘关键点之间连线，则其投影点也连线，形成封闭区域。
贴图模块440在形成封闭区域的建筑关键点在一副图片中找出，并将图片中对应的区域剪切下来进行贴图以完成建筑重构。具体地，在整个建筑的外表面轮廓构建完成后，进行简单的贴图操作。首先挑选出形成同一个封闭区域的所有建筑关键点，在其相关的图片中找出相应关键点的位置并将相应区域剪切下来，一个区域可能对应多张图片。对剪切后的图片进行矫正后，贴在虚拟三维空间中相应的平面上。操作人员可选择贴图功能，左键点击一个贴图区域时则更换贴图，右键则隐藏贴图。
操作人员可在一副图片中点出任意一层楼的上平面一点和下平面一点。后台处理设备则按照两点坐标，自动将虚拟三维空间的建筑分为多层，并标注所有特殊关键点所在楼层。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (10)

1.基于无人机的火场定位方法，其特征在于，包括：
在火场周围选定一点作为自定坐标系原点，放置标志物或此点已有标志物；记录该点GPS参数，并自行选定XYZ轴方向建立自定坐标系；
在火场周围多个地方放置实物标志物或特殊建筑物作为标志物，并记录这些标志物在自定坐标系中的坐标；
利用保持在水平姿态下的无人机在空中拍摄火场周围同时包含任意两个标志物的图片，在无人机拍摄的图片中手动点击两个所述标志物，获取所述标志物在图片中的坐标点，并记录无人机在自定坐标系中的姿态角，结合所述标志物在图片中的坐标和所述无人机的姿态角计算自定坐标系下的无人机位置坐标进行无人机定位；
当消防员需要知道某个关键点的坐标时，利用无人机在两个不同位置拍摄到该关键点，获得两幅图片，手动点击两幅图片中该关键点的位置，结合点击位置在自定坐标系中的坐标、无人机拍摄关键点时的姿态角和该关键点的两个拍摄位置，计算所述关键点在所述自定坐标系下的位置坐标，完成火场对于关键点的定位；
其中，所述无人机位置坐标即为拍摄位置。
2.如权利要求1所述的基于无人机的火场定位方法，其特征在于，在无人机拍摄的图片中手动点出两个所述标志物，获取所述标志物在图片中的坐标点，并记录无人机在自定坐标系中的姿态角，结合所述标志物在图片中的坐标和所述无人机的姿态角计算自定坐标系下的无人机位置坐标进行无人机定位步骤具体包括：
以拍摄的所述图片中心点作为原点，图片水平向左为x轴正方向，垂直向上为y轴正方向，从传感器区域中心点指向焦点的方向为z轴正方向，建立拍摄坐标系；
在拍摄坐标系和自定坐标系之间，将无人机姿态角的水平角转化为自定坐标系X轴和拍摄坐标系x轴之间的角度差，将无人机姿态角的俯仰角转化为自定坐标系Z轴和拍摄坐标系z轴之间的角度差；按照右手螺旋定则，以自定坐标系Z轴正方向为大拇指方向，从自定坐标系X轴正方向转向拍摄坐标系x轴正方向的方向，为角度的正方向；按照右手螺旋定则，以拍摄坐标系x轴正方向为大拇指方向，从自定坐标系Z轴正方向转向拍摄坐标系z轴正方向的方向，为角度的正方向；
将拍摄坐标系中两个标志物坐标和焦点坐标按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正；
根据拍摄位置射向矫正后的所述标志物的两个方向向量，与已知的在自定坐标系下的所述两个标志物坐标，联立自定坐标系下拍摄位置的超定方程，计算自定坐标系下拍摄位置。
3.如权利要求1所述的基于无人机的火场定位方法，其特征在于，根据两幅无人机拍摄的图片中，手动点出同一个关键点的位置，结合点击位置，姿态角和该关键点的两个拍摄位置，计算所述关键点在所述自定坐标系下的位置坐标，完成火场对于关键点的定位的步骤，其中，每幅图片对应一个拍摄坐标系，该步骤具体包括：
分别将两幅图片对应的两个所述拍摄坐标系中的关键点坐标和焦点坐标，按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正；
根据拍摄位置射向矫正后的所述关键点的两个方向向量，与已知的在自定坐标系下的所述拍摄位置坐标，联立自定坐标系下所述关键点的超定方程，计算自定坐标系下所述关键点的坐标。
4.如权利要求1所述基于无人机的火场定位方法，其特征在于，完成火场对于关键点的定位步骤之后还包括如下步骤：
将建筑顶层外轮廓所有建筑关键点进行标注；
根据图片的拍摄位置，所述建筑关键点在自定坐标系中的坐标及拍摄角度，计算所述建筑关键点在图片中的对应位置；
截取图片中两个建筑关键点之间的区域，使用canny算子对剪切下来的区域进行检测，判断两点是否需要连线，连线构建整个建筑的外表面轮廓形成封闭区域；
形成封闭区域的建筑关键点在一副图片中找出，并将图片中对应的区域剪切下来进行贴图以完成建筑重构。
5.如权利要求4所述基于无人机的火场定位方法，其特征在于，所述判断两点是否需要连线，连线构建整个建筑的外表面轮廓形成封闭区域步骤具体包括：
对剪切下来的所述区域检测结果计算在所述两个建筑关键点连线上的投影；
所述投影结果为零的部分占所述两个建筑关键点连线总长的比例H％，根据已设定的阀值，判断若H高于阀值，则认为所述两个建筑关键点之间相连，是建筑的一个边缘，否则认为所述两个建筑关键点之间不应连线；
所有建筑关键点中，位于边缘的建筑关键点则认为是建筑的边缘关键点；
判断建筑边缘关键点的Z坐标是否较高，若较高则将所述建筑边缘关键点与其垂直投影在水平面上的点连线；若两个建筑边缘关键点之间连线，则其投影点也连线，形成封闭区域。
6.基于无人机的火场定位系统，其特征在于，包括：
自定坐标系建立模块，用于获取火场周围多个地方放置实物标志物或特殊建筑物作为标志物的坐标数据以及自行选定XYZ轴方向建立自定坐标系；
无人机定位模块，用于在无人机拍摄的图片中手动点击两个所述标志物，结合点击位置在自定坐标系中的坐标和无人机拍摄标志物时的姿态角计算自定坐标系下的无人机位置坐标；
关键点定位模块，根据两幅无人机拍摄的图片中，手动点击同一个关键点的位置，结合点击位置在自定坐标系中的坐标、无人机拍摄关键点时的姿态角和该关键点的两个拍摄位置，计算所述关键点在所述自定坐标系下的位置坐标，完成火场对于关键点的定位；
其中，所述无人机位置坐标即为拍摄位置。
7.如权利要求6所述的基于无人机的火场定位系统，其特征在于，所述无人机定位模块具体包括：
第一矫正模块，用于以拍摄的所述图片中心点作为原点，图片水平向左为x轴正方向，垂直向上为y轴正方向，从传感器区域中心点指向焦点的方向为z轴正方向，建立拍摄坐标系；
在拍摄坐标系和自定坐标系之间，将无人机姿态角的水平角转化为自定坐标系X轴和拍摄坐标系x轴之间的角度差，将无人机姿态角的俯仰角转化为自定坐标系Z轴和拍摄坐标系z轴之间的角度差；按照右手螺旋定则，以自定坐标系Z轴正方向为大拇指方向，从自定坐标系X轴正方向转向拍摄坐标系x轴正方向的方向，为角度的正方向；按照右手螺旋定则，以拍摄坐标系x轴正方向为大拇指方向，从自定坐标系Z轴正方向转向拍摄坐标系z轴正方向的方向，为角度的正方向；
用于将拍摄坐标系中两个标志物坐标和焦点坐标按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正；
自定坐标系下拍摄位置计算模块，用于根据拍摄位置射向矫正后的所述标志物的两个方向向量，与已知的在自定坐标系下的所述两个标志物坐标，联立自定坐标系下拍摄位置的超定方程，以计算自定坐标系下拍摄位置。
8.如权利要求7所述的基于无人机的火场定位系统，其特征在于，每幅图片对应一个拍摄坐标系，所述关键点定位模块具体包括：
第二矫正模块，用于分别将两幅图片对应的两个所述拍摄坐标系中的关键点坐标和焦点坐标，按照以拍摄坐标系原点为原点，自定坐标系XYZ轴方向为方向，进行矫正；
关键点坐标计算模块，用于根据拍摄位置射向矫正后的所述关键点的两个方向向量，与已知的在自定坐标系下的所述拍摄位置坐标，联立自定坐标系下所述关键点的超定方程，计算自定坐标系下所述关键点的坐标。
9.如权利要求6所述基于无人机的火场定位系统，其特征在于，还包括建筑重构模块，其包括：
标注模块，用于将建筑顶层外轮廓所有建筑关键点进行标注；
图片中关键点计算模块，根据图片的拍摄位置，所述建筑关键点在自定坐标系中的坐标及拍摄角度，计算所述建筑关键点在图片中的对应位置；
构建封闭区间模块，用于截取图片中两个建筑关键点之间的区域，使用canny算子对剪切下来的区域进行检测，判断两点是否需要连线，连线构建整个建筑的外表面轮廓形成封闭区域；
贴图模块，用于形成所述封闭区域的建筑关键点在一副图片中找出，并将图片中对应的区域剪切下来进行贴图以完成建筑重构。
10.如权利要求9所述基于无人机的火场定位系统，其特征在于，所述构建封闭区间模块具体包括：
投影计算模块，用于对剪切下来的所述区域检测结果计算在所述两个建筑关键点连线上的投影；
判断两个建筑关键点连线模块，用于所述投影结果为零的部分占所述两个建筑关键点连线总长的比例H％，根据已设定的阀值，判断若H高于阀值，则认为所述两个建筑关键点之间相连，是建筑的一个边缘，否则认为所述两个建筑关键点之间不应连线；
选择边缘关键点模块，用于在所有建筑关键点中，位于边缘的建筑关键点则认为是建筑的边缘关键点；
选择边缘关键点连线模块，用于判断建筑边缘关键点的Z坐标是否大于预设第一阈值，若大于则将所述建筑边缘关键点与其垂直投影在水平面上的点连线；若两个建筑边缘关键点之间连线，则其投影点也连线，形成封闭区域。
CN201810823879.8A 2018-07-25 2018-07-25 基于无人机的火场定位方法及系统 Active CN108955647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810823879.8A CN108955647B (zh) 2018-07-25 2018-07-25 基于无人机的火场定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810823879.8A CN108955647B (zh) 2018-07-25 2018-07-25 基于无人机的火场定位方法及系统

Publications (2)

Publication Number Publication Date
CN108955647A CN108955647A (zh) 2018-12-07
CN108955647B true CN108955647B (zh) 2021-06-11

Family

ID=64463739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810823879.8A Active CN108955647B (zh) 2018-07-25 2018-07-25 基于无人机的火场定位方法及系统

Country Status (1)

Country Link
CN (1) CN108955647B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112378385B (zh) * 2020-07-31 2022-09-06 浙江宇视科技有限公司 一种关注信息的位置确定方法、装置、介质及电子设备
CN115631416A (zh) * 2022-10-31 2023-01-20 南京林业大学 一种基于modis燃烧数据产品的火灾足迹提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101858750A (zh) * 2009-04-07 2010-10-13 南开大学 用于大型建筑物内救援辅助的智能定位导航系统
CN102419171A (zh) * 2011-08-10 2012-04-18 王桥生 一种基于无人机航拍的灾害监测电子勾绘系统
CN106225787A (zh) * 2016-07-29 2016-12-14 北方工业大学 一种无人机视觉定位方法
CN106683097A (zh) * 2017-03-03 2017-05-17 广东工业大学 一种无人机定位的方法以及系统
CN107339988A (zh) * 2017-06-21 2017-11-10 上海木爷机器人技术有限公司 定位处理方法和装置
CN108319964A (zh) * 2018-02-07 2018-07-24 嘉兴学院 一种基于混合特征和流形学习的火灾图像识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130275041A1 (en) * 2012-04-17 2013-10-17 Unication Group/Unication Co., LTD. Method for creating a map for use in a two-way radio device
US9158304B2 (en) * 2013-11-10 2015-10-13 Google Inc. Methods and systems for alerting and aiding an emergency situation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101858750A (zh) * 2009-04-07 2010-10-13 南开大学 用于大型建筑物内救援辅助的智能定位导航系统
CN102419171A (zh) * 2011-08-10 2012-04-18 王桥生 一种基于无人机航拍的灾害监测电子勾绘系统
CN106225787A (zh) * 2016-07-29 2016-12-14 北方工业大学 一种无人机视觉定位方法
CN106683097A (zh) * 2017-03-03 2017-05-17 广东工业大学 一种无人机定位的方法以及系统
CN107339988A (zh) * 2017-06-21 2017-11-10 上海木爷机器人技术有限公司 定位处理方法和装置
CN108319964A (zh) * 2018-02-07 2018-07-24 嘉兴学院 一种基于混合特征和流形学习的火灾图像识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
以人工标志物为基准的无人机定位系统;李季远，修俊山，林杉，郭照师，李宗文，王超凡;《单片机与嵌入式系统》;20170930;全文 *
基于人工标志的无人机视觉导航方法;杨成顺，杨忠，薛八阳;《应用科技》;20151031;全文 *
无人机低成本微小型自主定位系统技术研究;赵搏欣;《万方学位论文数据》;20180321;全文 *

Also Published As

Publication number Publication date
CN108955647A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN106054929B (zh) 一种基于光流的无人机自动降落引导方法
EP3321888B1 (en) Projected image generation method and device, and method for mapping image pixels and depth values
CN103175524B (zh) 一种无标识环境下基于视觉的飞行器位置与姿态确定方法
JP6510247B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
CN106796112A (zh) 检测车辆控制设备、控制方法和计算机程序
KR20190051703A (ko) 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템
CN110865650B (zh) 基于主动视觉的无人机位姿自适应估计方法
JP2005268847A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
CN106940181B (zh) 一种无人机影像像控分布网构建与航片可选范围匹配方法
US20060061752A1 (en) Information sensing and sharing system for supporting rescue operations from burning buildings
JP7113611B2 (ja) 位置特定装置、位置特定プログラム及び位置特定方法、並びに、撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法
CN106408601A (zh) 一种基于gps的双目融合定位方法及装置
US10890447B2 (en) Device, system and method for displaying measurement gaps
CN106370160A (zh) 一种机器人室内定位系统和方法
CN110827353B (zh) 一种基于单目摄像头辅助的机器人定位方法
CN108955647B (zh) 基于无人机的火场定位方法及系统
WO2021250914A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
KR20160082886A (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
JP2011169658A (ja) 撮影位置特定装置および撮影位置特定方法
US11460302B2 (en) Terrestrial observation device having location determination functionality
CN115371673A (zh) 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
JP6482856B2 (ja) 監視システム
CN106959051A (zh) 基于空间感知定位技术的武器瞄准系统的自动化校准方法
CN107323677B (zh) 无人机辅助降落方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190228

Address after: 510000 West 601 Huangpu Avenue, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: Jinan University

Applicant after: Shenzhen Rongsheng Intelligent Equipment Co., Ltd.

Applicant after: Yunduan Zhijiao (Guangzhou) Internet of Things Technology Co., Ltd.

Address before: 510632 Whampoa Avenue, Guangzhou, Guangzhou, Guangdong Province, No. 601

Applicant before: Jinan University

Applicant before: Shenzhen Rongsheng Intelligent Equipment Co., Ltd.

Applicant before: GUANGDONG YOUNGHEAD ELECTRONIC TECHNOLOGY CO., LTD.

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Lu Bochao

Inventor after: Liao Chunsheng

Inventor after: Guo Jiangling

Inventor after: Xu Ziran

Inventor after: Ding Wenqian

Inventor after: Wu Zhenheng

Inventor after: Xu Chunyu

Inventor before: Guo Jiangling

Inventor before: Lu Bochao

Inventor before: Xu Ziran

Inventor before: Liao Chunsheng

Inventor before: Ding Wenqian

Inventor before: Wu Zhenheng

Inventor before: Xu Chunyu

GR01 Patent grant
GR01 Patent grant