CN116447979A - 一种基于无人机的双目视觉边坡位移监测方法及装置 - Google Patents

一种基于无人机的双目视觉边坡位移监测方法及装置 Download PDF

Info

Publication number
CN116447979A
CN116447979A CN202310236619.1A CN202310236619A CN116447979A CN 116447979 A CN116447979 A CN 116447979A CN 202310236619 A CN202310236619 A CN 202310236619A CN 116447979 A CN116447979 A CN 116447979A
Authority
CN
China
Prior art keywords
monitoring
unmanned aerial
image
aerial vehicle
identification target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310236619.1A
Other languages
English (en)
Inventor
庞荣
张朋
秦峰
王吉龙
刘力
陈卓
王进松
王敦
薛长博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Chongqing Highway Engineering Testing Center Co ltd
Original Assignee
China Merchants Chongqing Highway Engineering Testing Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Chongqing Highway Engineering Testing Center Co ltd filed Critical China Merchants Chongqing Highway Engineering Testing Center Co ltd
Priority to CN202310236619.1A priority Critical patent/CN116447979A/zh
Publication of CN116447979A publication Critical patent/CN116447979A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/23—Dune restoration or creation; Cliff stabilisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及边坡位移监测技术领域，具体涉及一种基于无人机的双目视觉边坡位移监测方法及装置。通过监测辅助定位标识靶点和无人机定位标识靶点对无人机准确定位后，再利用无人机拍摄的原始图像获取监测标识靶点的三维空间坐标信息，进而根据监测标识靶点的三维空间坐标信息获取边坡位移，实现对边坡位移的监测。这样，只需要远程操控无人机定位和拍摄，外业工作强度低。同时设备简单，购买成本和设备维护成本低廉，自动化程度高。且通过双目定位法获取图像中监测标识靶点的三维空间坐标信息，进而获取边坡位移，精确度较高，满足工程实践要求。这样同时满足设备维护成本低、边坡测量精度满足工程实践要求和外业工作强度小的要求，效益更高。

Description

一种基于无人机的双目视觉边坡位移监测方法及装置
技术领域
本发明涉及边坡位移监测技术领域，具体涉及一种基于无人机的双目视觉边坡位移监测方法及装置。
背景技术
在公路日常使用过程中，边坡的稳定与否将直接影响到边坡的安全态势，进而影响公路的安全使用。边坡的稳定性可直观地反映在位移变形上，如何准确的把控边坡位移变形信息，对评判边坡安全态势有重大意义。在边坡位移监测中常见的方法为仪表监测法、GPS卫星测量法、激光雷达扫描法和视频图像监测法。
但是在现有技术中，仪表监测法只能监测固定位置的位移如若更换监测位置，则需要重新固定高边坡位移监测装置，外业工作强度较大，为使用者带来不便；GPS卫星测量法误差较大，最大误差可达米量级，精度无法满足工程实践应用的需求；激光雷达扫描法不单单设备昂贵，在监测边坡时还需要用激光逐个扫描目标，所需时间较长；视频图像监测法则需要若干台固定的相机进行图像获取，布设成本和维护成本高。因此，为了同时满足设备维护成本低、边坡测量精度满足工程实践要求和外业工作强度小的要求，需要一种效益更高的边坡位移监测方法。
发明内容
针对现有技术存在的不足，本发明提出一种基于无人机的双目视觉边坡位移监测方法，能够同时符合监测精度要求、成本低和外业工作强度小，从而提高效益。
第一方面，本发明提供一种基于无人机的双目视觉边坡位移监测方法。
在第一种可实现方式中，一种基于无人机的双目视觉边坡位移监测方法包括：
在待测边坡环境中布设监测标识靶点、监测辅助定位标识靶点和无人机定位标识靶点；
根据监测辅助定位标识靶点和无人机定位标识靶点对无人机进行定位；
获取无人机定位后拍摄的原始图像，并对原始图像进行增强处理，获得监测图像；
采用双目定位法获取监测图像中的监测标识靶点的三维空间坐标信息；
根据监测标识靶点的三维空间坐标信息和监测标识靶点的初始坐标信息获取边坡位移。
结合第一种可实现方式，在第二种可实现方式中，在待测边坡环境中布设监测标识靶点、监测辅助定位标识靶点和无人机定位标识靶点，包括：
确定待测边坡的环境特征，环境特征包括边坡的形状与位置；
根据环境特征选取无人机定位标识靶点位置、多个辅助定位标识靶点位置；
并根据各辅助定位标识靶点确定监测标识靶点的位置，并通过使用喷漆的方式进行各标识靶点的布设。
结合第一种可实现方式，在第三种可实现方式中，根据监测辅助定位标识靶点和无人机定位标识靶点对无人机进行定位，包括：
控制无人机从无人机定位标识靶点处垂直向上飞行；
在无人机的两个摄像头视野覆盖全部的监测辅助定位标识靶点的情况下，确定无人机完成初步定位；
获取无人机初步定位后拍摄的定位图像；
根据定位图像对无人机进行图像定位。
结合第三种可实现方式，在第四种可实现方式中，根据定位图像对无人机进行图像定位，包括：
获取定位图像中监测辅助定位标识靶点的当前位置；
判断监测辅助定位标识靶点的当前位置与监测辅助定位标识靶点的初始位置是否一致；
在当前位置与初始位置不一致的情况下，对无人机进行调整，直到监测辅助定位标识靶点的当前位置与初始位置一致。
结合第一种可实现方式，在第五种可实现方式中，对原始图像进行增强处理，获得监测图像，包括：
采用图像直方图规定化映射增强法对原始图像进行图像增强处理，获得增强图像；
获取无人机的两个摄像机对应的转换矩阵，并将转换矩阵作为矫正参数；
根据矫正参数对增强图像进行畸变矫正处理，获得监测图像。
结合第五种可实现方式，在第六种可实现方式中，采用图像直方图规定化映射增强法对原始图像进行图像增强处理，获得增强图像，包括：
将原始图像进行灰度处理，获得灰度统计直方图；
获取灰度统计直方图的灰度级别，并对灰度统计直方图的各灰度级别进行归一化处理；
将原始图像规定化处理，获得规定化图像；
获取规定化图像的灰度级别，并对规定化图像的各灰度级别进行归一化处理；
获取原始图像的灰度级别与规定化图像的灰度级别的映射关系；
根据映射关系获取灰度统计直方图对应的规定化直方图，并将规定化直方图确定为增强图像。
结合第一种可实现方式，在第七种可实现方式中，采用双目定位法获取监测图像中的监测标识靶点的三维空间坐标信息，包括：
利用轻量化YOLOv6模型获取监测图像中各监测标识靶点的像素坐标；
根据空间坐标转换公式将各监测标识靶点的像素坐标转换为三维空间坐标信息。
结合第七种可实现方式，在第八种可实现方式中，空间坐标转换公式为：
在上式中，X、Y、Z为监测标识靶点的三维空间坐标，D为无人机上两个摄像机的焦点连线的距离，f为摄像机的焦距，两摄像机在同一时刻观看空间物体的同一特征点坐标为P(x，y，z)，左侧摄像机上P点的投影坐标Pleft(xl,yl)，右侧摄像机上P点的投影坐标Pright(xr,yr)。
结合第一种可实现方式，在第九种可实现方式中，根据监测标识靶点的三维空间坐标信息和监测标识靶点的初始坐标信息获取边坡位移，包括：
根据各监测标识靶点的三维空间坐标信息和各监测标识靶点的初始坐标信息获取各监测标识靶点的位移变化；
根据各监测标识靶点的位移变化获取边坡位移。
第二方面，本发明提供一种基于无人机的双目视觉边坡位移监测装置。
在第十种可实现方式中，一种基于无人机的双目视觉边坡位移监测装置，包括：
各标识靶点布设模块，用于在待测边坡环境中布设监测标识靶点、监测辅助定位标识靶点和无人机定位标识靶点；
无人机定位模块，用于根据监测辅助定位标识靶点和无人机定位标识靶点对无人机进行定位；
监测图像获取模块，用于获取无人机定位后拍摄的原始图像，并对原始图像进行增强处理，获得监测图像；
三维空间坐标信息获取模块，用于采用双目定位法获取监测图像中的监测标识靶点的三维空间坐标信息；
边坡位移获取模块，用于根据监测标识靶点的三维空间坐标信息和监测标识靶点的初始坐标信息获取边坡位移。
由上述技术方案可知，本发明的有益技术效果如下：
通过监测辅助定位标识靶点和无人机定位标识靶点对无人机准确定位后，再利用无人机拍摄的原始图像获取监测标识靶点的三维空间坐标信息，进而根据监测标识靶点的三维空间坐标信息获取边坡位移，实现对边坡位移的监测。这样，只需要远程操控无人机定位和拍摄，外业工作强度低。同时设备简单，购买成本和设备维护成本低廉，自动化程度高。且通过双目定位法获取图像中监测标识靶点的三维空间坐标信息，进而获取边坡位移，精确度较高，满足工程实践要求。这样，同时满足设备维护成本低、边坡测量精度满足工程实践要求和外业工作强度小的要求，效益更高，更加适用。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本实施例提供的一种基于无人机的双目视觉边坡位移监测方法的示意图；
图2为本实施例提供的一种监测标识靶点图案的示意图；
图3为本实施例提供的一种无人机定位标识靶点图案的示意图；
图4为本实施例提供的一种监测辅助定位标识靶点图案的示意图；
图5为本实施例提供的在边坡表面布设监测标识靶点和监测辅助标识靶点的平面示意图；
图6为本实施例提供的监测标识靶点布设间距的示意图；
图7为本实施例提供的一种无人机初步定位的示意图；
图8为本实施例提供的一种双目视觉三维空间定位示意图；
图9为本实施例提供的一种基于无人机的双目视觉边坡位移监测装置的结构示意图；
附图标记：
1-无人机，2-监测辅助定位标识靶点，3-监测标识靶点，4-无人机定位标识靶点，5-待测边坡，6-行车道。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有说明，术语“多个”表示两个或两个以上。本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
结合图1所示，本实施例提供了一种基于无人机的双目视觉边坡位移监测方法，包括：
步骤S01、在待测边坡环境中布设监测标识靶点、监测辅助定位标识靶点和无人机定位标识靶点；
步骤S02、根据监测辅助定位标识靶点和无人机定位标识靶点对无人机进行定位；
步骤S03、获取无人机定位后拍摄的原始图像，并对原始图像进行增强处理，获得监测图像；
步骤S04、采用双目定位法获取监测图像中的监测标识靶点的三维空间坐标信息；
步骤S05、根据监测标识靶点的三维空间坐标信息和监测标识靶点的初始坐标信息获取边坡位移。
通过监测辅助定位标识靶点和无人机定位标识靶点对无人机准确定位后，再利用无人机拍摄的原始图像获取监测标识靶点的三维空间坐标信息，进而根据监测标识靶点的三维空间坐标信息获取边坡位移，实现对边坡位移的监测。这样，只需要远程操控无人机定位和拍摄，外业工作强度低。同时设备简单，购买成本和设备维护成本低廉，自动化程度高。且通过双目定位法获取图像中监测标识靶点的三维空间坐标信息，进而获取边坡位移，精确度较高，满足工程实践要求。这样同时满足设备维护成本低、边坡测量精度满足工程实践要求和外业工作强度小的要求，更加适用。
可选地，在待测边坡环境中布设监测标识靶点、监测辅助定位标识靶点和无人机定位标识靶点，包括：确定待测边坡的环境特征，环境特征包括边坡的形状与位置；根据环境特征选取无人机定位标识靶点位置、多个辅助定位标识靶点位置；并根据各辅助定位标识靶点确定监测标识靶点的位置，并通过使用喷漆的方式进行各标识靶点的布设。
在一些实施例中，在离待测边坡预设距离，或，位于待测边坡对应的行车道另一侧，选取地质坚固、不易滑动、地面无遮挡且视野开阔的位置喷涂第一预设图案，并将喷涂位置作为无人机定位标识靶点。第一预设图案的形状如图2所示。
在一些实施例中，在待测边坡四周选取多个较为平稳的区域，这些区域相连后，可将待测边坡完整地围在中间。在这些区域上喷涂第二预设图案作为监测辅助定位标识靶点，若待测边坡四周没有较为平稳的区域或区域不够，则浇灌结构稳定的标识柱，在标识柱上喷涂第二预设图案。第二预设图案的形状如图3所示。
在一些实施例中，将监测辅助定位标识靶点相连，形成方形区域，在方形区域内按照预设间隔距离均匀喷涂第三预设图案作为监测标识靶点。第三预设图案的形状如图4所示。监测标识靶点及监测辅助定位标识靶点在待测边坡平面相对位置如图5所示，其中监测标识靶点为黑红相间的十字标识，以n×n方阵的形式排列；监测辅助标识靶点为黑白相间的斜十字标识，布设在待测边坡边缘区域。监测标识靶点的间距如图6所示，Δx为各监测标识靶点横向间距、Δy为纵向间距。
在一些实施例中，边坡控制测量应选择与无人机监测手段匹配的高精度、低误差、易实施的技术方法，可以选择全站仪进行监测标识靶点的确定，对于一些高陡边坡，可以采用多种技术相结合的手段。
在一些实施例中，各标识靶点具有图案比较规则且辨识度高，取色穿透力强、抗干扰性好、稳定性好的特点。各预设图案选取与待测边坡表面颜色形成明显的反差且有利于目标靶点的提取的图案。如图3、图4和图5所示，两种反差大的颜色相间以确保标识靶点的区分度强，且醒目。正方形的规则图案有利于提高目标识别时的检测正确率。在一些实施例中，第一预设图案、第二预设图案和第三预设图案分别为图3、图4和图5，第一预设图案、第二预设图案和第三预设图案形状各不相同。图3和图5中的图案为红黑相间。
可选地，根据监测辅助定位标识靶点和无人机定位标识靶点对无人机进行定位，包括：控制无人机从无人机定位标识靶点处垂直向上飞行；在无人机的两个摄像头视野覆盖全部的监测辅助定位标识靶点的情况下，确定无人机完成初步定位；获取无人机初步定位后拍摄的定位图像；根据定位图像对无人机进行图像定位。
结合图7所示，在一些实施例中，待测边坡5上布设有四个监测辅助定位标识靶点2，四个监测辅助定位标识靶点2相连的区域内均匀布设有多个监测标识靶点3，待测边坡对应的行车道6另一侧布设有无人机定位标识靶点4，无人机1从无人机定位标识靶点4处垂直向上飞行，直到无人机的两个摄像头的视野将监测辅助定位标识靶点全部覆盖，实现无人机三维空间位置初步定位。在无人机在监测过程中，确保无人机状态稳定、各项参数正常，能够实时对边坡状况进行监测。在拍摄过程中，确保无人机拍摄照片清晰，并且摄像头视野能够覆盖全部区域。
可选地，根据定位图像对无人机进行图像定位，包括：获取定位图像中监测辅助定位标识靶点的当前位置；判断监测辅助定位标识靶点的当前位置与监测辅助定位标识靶点的初始位置是否一致；在当前位置与初始位置不一致的情况下，对无人机进行调整，直到监测辅助定位标识靶点的当前位置与初始位置一致。
可选地，初始位置为无人机上一次拍摄原始图像时，监测辅助定位标识靶点在原始图像中的位置。
在一些实施例中，在无人机完成初步定位后，无人机拍摄当前原始图像，并识别当前原始图中中监测辅助定位标识靶点的当前位置，将当前位置与无人机上一次拍摄原始图像时的初始位置进行对比，若不一致，则按照初始位置进行微调，使监测辅助定位标识靶点的当前位置与初始位置完全一致，从而达到前后两次监测中无人机在三维空间位置无偏移，减少无人机三维空间位置变化对边坡监测位移结果的影响，提高边坡位移监测的准确性。
可选地，对原始图像进行增强处理，获得监测图像，包括：采用图像直方图规定化映射增强法对原始图像进行图像增强处理，获得增强图像；获取无人机的两个摄像机对应的转换矩阵，并将转换矩阵作为矫正参数；根据矫正参数对增强图像进行畸变矫正处理，获得监测图像。
可选地，采用图像直方图规定化映射增强法对原始图像进行图像增强处理，获得增强图像，包括：将原始图像进行灰度处理，获得灰度统计直方图；获取灰度统计直方图的灰度级别，并对灰度统计直方图的各灰度级别进行归一化处理；将原始图像规定化处理，获得规定化图像；获取规定化图像的灰度级别，并对规定化图像的各灰度级别进行归一化处理；获取原始图像的灰度级别与规定化图像的灰度级别的映射关系；根据映射关系获取灰度统计直方图对应的规定化直方图，并将规定化直方图确定为增强图像。
可选地，灰度统计直方图的归一化概率的表达式为：
ps(si)＝ni/N
其中，si为第i级别灰度的归一化灰度值，si＝i/255，ni为灰度统计直方图的灰度级别的总像素量，N为图像像素总量。
可选地，规定化图像各灰度级别的归一化概率的表达式为：
pt(tj)＝nj/N
其中，tj为第j级别灰度的归一化灰度值，为tj＝j/255，nj为规定化图像的灰度级别的总像素量，N为图像像素总量。
可选地，通过整数函数表征原始直方图与目标直方图的关系，即从目标累计直方图映射到原始累计直方图，为每个目标累计直方图找到一组映射。整数函数H(l)，其中各元素满足关系：0≤H(0)≤H(1)≤…≤H(J-1)≤I-1，其中，J为规定化图像灰度级别数，I为原始图像灰度级别数，并且I≥J。0为确定各灰度值映射最小值。
可选地，原始图像的灰度级别与规定化图像的灰度级别的映射关系通过以下公式表示：
在一些实施例中，根据组映射规则，l＝0将时，将的ps(si)映射到pt(t0)；当l≥1时，将/>的ps(si)映射到pt(tl)。通过映射关系得到的规定化直方图将原始图像对应级别的像素点进行图像增强处理，从而扩大图像中不同物体特征之间的差别，突出各标识靶点特征。
在一些实施例中，原始累计直方图概率为：0.1、0.15、0.3、0.5、0.7、0.85、0.9、1。目标累计直方图概率为：0.3、0.75、1。根据原始图像的灰度级别与规定化图像的灰度级别的映射关系表达公式得到映射关系，则有对应映射关系：0.1、0.15、0.3、0.5—>0.3；0.7、0.85—>0.75；0.9、1—>1。最后汇总各映射数量得到规定化直方图，即目标直方图。这样，规定化直方图将原始图像各灰度级别统计无偏地映射到规定化的灰度级别上，从而实现图像增强，提高了边坡位移监测的准确性。
可选地，无人机的两个摄像机对应的转换矩阵包括内参矩阵和外参矩阵。
可选地，根据仿射变换矩阵和透视投影矩阵获取内参矩阵，计算方式如下：
其中，f为相机焦距，dX表示X方向上的一个像素在摄像机拍摄图像上的物理长度，dY表示Y方向上的一个像素在摄像机拍摄图像上的物理长度。u0，v0分别表示摄像机在像素坐标系下的坐标，θ表示摄像机感光板的横边和纵边之间的角度。
可选地，外参矩阵决定相机图像像素坐标与三维空间坐标的相对位置关系，外参矩阵的表达式如下：
其中，R表示旋转矩阵，T表示平移矢量。
可选地，将转换矩阵中的内参矩阵和外参矩阵作为矫正参数，利用矫正参数获得摄像机拍摄图像畸变矫正模型关系公式如下所示：
其中，X、Y、Z为目标点的三维空间坐标，u、v为目标点的图像平面的像素坐标。
在一些实施例中，通过图像参数标定实验，根据相机图像畸变矫正模型关系公式求解出各相机的内参矩阵和外参矩阵相应值，即求得R、T、dX、dY。然后将边坡现场图像中的各像素点带入矫正模型关系公式，得到矫正后的目标图像。
在一些实施例中，通过图像参数标定实验，求解出各摄像机的内参矩阵和外参矩阵的参数值，再将内参矩阵和外参矩阵代入畸变矫正模型关系公式实现对增强图像的畸变矫正处理。
可选地，采用双目定位法获取监测图像中的监测标识靶点的三维空间坐标信息，包括：利用轻量化YOLOv6模型获取监测图像中各监测标识靶点的像素坐标；根据空间坐标转换公式将各监测标识靶点的像素坐标转换为三维空间坐标信息。
在一些实施例中，轻量化YOLOv6模型的网络架构是将其主干网络替换为更适用于无人机的Mobilenetv3并于PANet融合。将图像数据传入Mobilenetv3中，再将Mobilenetv3的输出传入PANet网络中，进行分层卷积提取不同深度特征图，同时对PANet网络超参数进行调整，以便进一步减小模型的大小，让无人机能更好的提取相关特征信息。
在一些实施例中，将监测图像输入轻量化YOLOv6模型，分割提取出各个监测标识靶点像素区域，得到监测标识靶点的像素坐标。
可选地，轻量化YOLOv6模型部署于无人机上，这样，能够对边坡上的监测标识靶点进行快速定位，实时高效识别待测边坡的位移，有利于在边坡位移超过预警阀值的时候及时预警，提高行车道安全。
可选地，无人机上设置有两个摄像机，且设置有图像处理设备、处理器、信息传输设备。图像处理设备用于根据原始图像获取监测图像，处理器布设有有轻量化YOLOv6模型用于识别监测标识点的坐标，还用于计算边坡位移，信息传输设备用于将数据传输给云服务器。这样，在边坡位移较大时利用无人机直接识别出来，有利于及时高效预警。在边坡位移较小时利用服务器识别。
可选地，空间坐标转换公式为：
在上式中，X、Y、Z为监测标识靶点的三维空间坐标，D为无人机上两个摄像机的焦点连线的距离，f为摄像机的焦距，两摄像机在同一时刻观看空间物体的同一特征点P坐标为(x，y，z)，左侧摄像机上P点的投影坐标Pleft(xl,yl)，右侧摄像机上P点的投影坐标Pright(xr,yr)。
结合图8所示，在一些实施例中，无人机上左右两侧摄像机分别拍摄左侧图像和右侧图像，左摄像机在左侧图像中的焦点与右摄像头在右侧图像中的焦点连线的距离为D，特征点P(x，y，z)在左侧图像中的投影为Pleft(xl,yl)，特征点P(x，y，z)在左侧图像中的投影为Pright（xr,yr）。
可选地，根据监测标识靶点的三维空间坐标信息和监测标识靶点的初始坐标信息获取边坡位移，包括：根据各监测标识靶点的三维空间坐标信息和各监测标识靶点的初始坐标信息获取各监测标识靶点的位移变化；根据各监测标识靶点的位移变化获取边坡位移。
可选地，通过以下公式获取边坡位移：
其中，各监测标识靶点的三维空间坐标为(xi′,yi′,zi′)，各监测标识靶点的初始坐标为(xi,yi,zi)，i表示第i个监测标识靶点，i和n均为正整数。
结合图9所示，一种基于无人机的双目视觉边坡位移监测装置，包括：
各标识靶点布设模块101，用于在待测边坡环境中布设监测标识靶点、监测辅助定位标识靶点和无人机定位标识靶点；
无人机定位模块102，用于根据监测辅助定位标识靶点和无人机定位标识靶点对无人机进行定位；
监测图像获取模块103，用于获取无人机定位后拍摄的原始图像，并对原始图像进行增强处理，获得监测图像；
三维空间坐标信息获取模块104，用于采用双目定位法获取监测图像中的监测标识靶点的三维空间坐标信息；
边坡位移获取模块105，用于根据监测标识靶点的三维空间坐标信息和监测标识靶点的初始坐标信息获取边坡位移。
在一些实施例中，小型无人机越来越多的被用于对地表的观测中，且计算视觉技术也得到了快速的发展。与传统的方法相比，本方案提供的基于无人机的双目视觉边坡位移监测方法具有众多优势：1、作业方式更加灵活，外业工作强度小；2、不受量程控制、非接触且能动态的反应边坡变形的特征；3、不容易受到环境光线的干扰，边坡位移监测适用度高；4、能够更加精确的计算边坡发生变形的位移，误差较小。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于无人机的双目视觉边坡位移监测方法，其特征在于，包括：
在待测边坡环境中布设监测标识靶点、监测辅助定位标识靶点和无人机定位标识靶点；
根据所述监测辅助定位标识靶点和所述无人机定位标识靶点对无人机进行定位；
获取无人机定位后拍摄的原始图像，并对所述原始图像进行增强处理，获得监测图像；
采用双目定位法获取所述监测图像中的监测标识靶点的三维空间坐标信息；
根据所述监测标识靶点的三维空间坐标信息和所述监测标识靶点的初始坐标信息获取边坡位移。
2.根据权利要求1所述的方法，其特征在于，在待测边坡环境中布设监测标识靶点、监测辅助定位标识靶点和无人机定位标识靶点，包括：
确定待测边坡的环境特征，所述环境特征包括边坡的形状与位置；
根据所述环境特征选取无人机定位标识靶点位置、多个辅助定位标识靶点位置；
根据各辅助定位标识靶点确定监测标识靶点的位置，并通过使用喷漆的方式进行各标识靶点的布设。
3.根据权利要求1所述的方法，其特征在于，根据所述监测辅助定位标识靶点和所述无人机定位标识靶点对无人机进行定位，包括：
控制无人机从所述无人机定位标识靶点处垂直向上飞行；
在无人机的两个摄像头视野覆盖全部的监测辅助定位标识靶点的情况下，确定无人机完成初步定位；
获取无人机初步定位后拍摄的定位图像；
根据所述定位图像对无人机进行图像定位。
4.根据权利要求3所述的方法，其特征在于，根据所述定位图像对无人机进行图像定位，包括：
获取所述定位图像中监测辅助定位标识靶点的当前位置；
判断所述监测辅助定位标识靶点的当前位置与所述监测辅助定位标识靶点的初始位置是否一致；
在所述当前位置与所述初始位置不一致的情况下，对所述无人机进行调整，直到监测辅助定位标识靶点的当前位置与所述初始位置一致。
5.根据权利要求1所述的方法，其特征在于，对所述原始图像进行增强处理，获得监测图像，包括：
采用图像直方图规定化映射增强法对所述原始图像进行图像增强处理，获得增强图像；
获取无人机的两个摄像机对应的转换矩阵，并将转换矩阵作为矫正参数；
根据所述矫正参数对增强图像进行畸变矫正处理，获得监测图像。
6.根据权利要求5所述的方法，其特征在于，采用图像直方图规定化映射增强法对所述原始图像进行图像增强处理，获得增强图像，包括：
将所述原始图像进行灰度处理，获得灰度统计直方图；
获取灰度统计直方图的灰度级别，并对灰度统计直方图的各灰度级别进行归一化处理；
将所述原始图像规定化处理，获得规定化图像；
获取规定化图像的灰度级别，并对规定化图像的各灰度级别进行归一化处理；
获取所述原始图像的灰度级别与所述规定化图像的灰度级别的映射关系；
根据映射关系获取灰度统计直方图对应的规定化直方图，并将所述规定化直方图确定为增强图像。
7.根据权利要求1所述的方法，其特征在于，采用双目定位法获取所述监测图像中的监测标识靶点的三维空间坐标信息，包括：
利用轻量化YOLOv6模型获取所述监测图像中各监测标识靶点的像素坐标；
根据空间坐标转换公式将各监测标识靶点的像素坐标转换为三维空间坐标信息。
8.根据权利要求7所述的方法，其特征在于，所述空间坐标转换公式为：
在上式中，X、Y、Z为监测标识靶点的三维空间坐标，D为无人机上两个摄像机的焦点连线的距离，f为摄像机的焦距，两摄像机在同一时刻观看空间物体的同一特征点坐标为P(x，y，z)，左侧摄像机上P点的投影坐标Pleft(xl,yl)，右侧摄像机上P点的投影坐标Pright(xr,yr)。
9.根据权利要求1所述的方法，其特征在于，根据所述监测标识靶点的三维空间坐标信息和所述监测标识靶点的初始坐标信息获取边坡位移，包括：
根据各所述监测标识靶点的三维空间坐标信息和各所述监测标识靶点的初始坐标信息获取各监测标识靶点的位移变化；
根据各监测标识靶点的位移变化获取边坡位移。
10.一种基于无人机的双目视觉边坡位移监测装置，其特征在于，包括：
各标识靶点布设模块，用于在待测边坡环境中布设监测标识靶点、监测辅助定位标识靶点和无人机定位标识靶点；
无人机定位模块，用于根据所述监测辅助定位标识靶点和所述无人机定位标识靶点对无人机进行定位；
监测图像获取模块，用于获取无人机定位后拍摄的原始图像，并对所述原始图像进行增强处理，获得监测图像；
三维空间坐标信息获取模块，用于采用双目定位法获取所述监测图像中的监测标识靶点的三维空间坐标信息；
边坡位移获取模块，用于根据所述监测标识靶点的三维空间坐标信息和所述监测标识靶点的初始坐标信息获取边坡位移。
CN202310236619.1A 2023-03-13 2023-03-13 一种基于无人机的双目视觉边坡位移监测方法及装置 Pending CN116447979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310236619.1A CN116447979A (zh) 2023-03-13 2023-03-13 一种基于无人机的双目视觉边坡位移监测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310236619.1A CN116447979A (zh) 2023-03-13 2023-03-13 一种基于无人机的双目视觉边坡位移监测方法及装置

Publications (1)

Publication Number Publication Date
CN116447979A true CN116447979A (zh) 2023-07-18

Family

ID=87126758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310236619.1A Pending CN116447979A (zh) 2023-03-13 2023-03-13 一种基于无人机的双目视觉边坡位移监测方法及装置

Country Status (1)

Country Link
CN (1) CN116447979A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778094A (zh) * 2023-08-15 2023-09-19 深圳眸瞳科技有限公司 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN116952144A (zh) * 2023-08-09 2023-10-27 中国地质大学（北京） 结构位移长期监测方法、装置、系统及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116952144A (zh) * 2023-08-09 2023-10-27 中国地质大学（北京） 结构位移长期监测方法、装置、系统及介质
CN116778094A (zh) * 2023-08-15 2023-09-19 深圳眸瞳科技有限公司 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN116778094B (zh) * 2023-08-15 2023-11-24 深圳眸瞳科技有限公司 一种基于优选视角拍摄的建筑物变形监测方法及装置

Similar Documents

Publication Publication Date Title
CN110148169B (zh) 一种基于ptz云台相机的车辆目标三维信息获取方法
CN112435300B (zh) 定位方法及装置
CN116447979A (zh) 一种基于无人机的双目视觉边坡位移监测方法及装置
CN104200086B (zh) 宽基线可见光相机位姿估计方法
CN109685855B (zh) 一种道路云监控平台下的摄像机标定优化方法
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN111241988B (zh) 一种结合定位信息的大场景内运动目标检测识别方法
CN110763204B (zh) 一种平面编码靶标及其位姿测量方法
CN111260539B (zh) 鱼眼图目标识别方法及其系统
CN113240747B (zh) 一种基于计算机视觉的户外结构振动位移自动化监测方法
CN109063632B (zh) 一种基于双目视觉的泊车位特征筛选方法
CN110766170B (zh) 基于图像处理的多传感器融合和人员定位的方法
CN113496528B (zh) 固定交通路侧场景下视觉检测目标位置标定方法及装置
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
CN110084743A (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN115079143B (zh) 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置
CN115984766A (zh) 一种煤矿井下快速单目视觉三维目标检测方法
CN117078717A (zh) 基于无人机单目相机的道路车辆轨迹提取方法
CN115267756A (zh) 一种基于深度学习目标检测的单目实时测距方法
CN105447431A (zh) 一种基于机器视觉的入坞飞机跟踪定位方法及系统
CN112488022A (zh) 一种环视全景监控方法、装置及系统
CN116430879A (zh) 基于合作目标的无人机精准引导降落方法及系统
CN114782556A (zh) 相机与激光雷达的配准方法、系统及存储介质
CN109410272A (zh) 一种变压器螺母识别与定位装置及方法
CN112258391B (zh) 一种基于道路交通标线的碎片化地图拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination