CN110992291A - 基于三目视觉的测距方法、系统及存储介质 - Google Patents

基于三目视觉的测距方法、系统及存储介质 Download PDF

Info

Publication number
CN110992291A
CN110992291A CN201911251231.9A CN201911251231A CN110992291A CN 110992291 A CN110992291 A CN 110992291A CN 201911251231 A CN201911251231 A CN 201911251231A CN 110992291 A CN110992291 A CN 110992291A
Authority
CN
China
Prior art keywords
vision
acquisition device
detection result
image
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911251231.9A
Other languages
English (en)
Other versions
CN110992291B (zh
Inventor
汪晓
郭可贵
万能
王国杰
白若蓉
季海波
尹悦
宁彦
黄杰
焦玉平
高剑
张阳
吴睿
魏南
刘鑫
王远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Overhaul Branch of State Grid Anhui Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Overhaul Branch of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Overhaul Branch of State Grid Anhui Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201911251231.9A priority Critical patent/CN110992291B/zh
Publication of CN110992291A publication Critical patent/CN110992291A/zh
Application granted granted Critical
Publication of CN110992291B publication Critical patent/CN110992291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于三目视觉的测距方法、系统及存储介质，属于无人机的控制技术领域。所述测距方法包括：接收第一双目视觉系统的第一数值检测结果，第一双目视觉系统包括设置于两侧的第一视觉采集装置和第二视觉采集装置；判断第一数值检测结果是否有效；在判断第一数值检测结果无效的情况下，调整第三视觉采集装置的位置以形成第二双目视觉系统和第三双目视觉系统；接收第二双目视觉系统检测的第二数值检测结果；接收第三双目视觉系统检测的第三数值检测结果；采用融合求解加权平均的方法计算实际的距离；在判断第一数值检测结果有效的情况下，根据第一数值检测结果计算实际的距离。

Description

基于三目视觉的测距方法、系统及存储介质
技术领域
本发明涉及无人机的控制技术领域，具体地涉及一种基于三目视觉的测距方法、系统及存储介质。
背景技术
随着现代科技的不断进步与发展，无人机技术被逐步的应用到各行各业领域范畴内，其中在带电作业中的应用尤为突出。基于无人机是运用自备的程序控制装置和无线电遥控设备操纵控制的不载人飞机，其主要优点主要体现在以下方面：用途广泛、成本低、降低人员伤亡率、生存能力强、机动性好等。在现代的各类带电作业中，无人机由于其独特的作用和优势发挥着重要的作用。
对输电线路设备进行带电水冲洗是防止电网发生污闪、冰闪事故的简便有效且经济效益高的方法。带电水冲洗具有污秽(覆冰)清洗彻底、冲洗效率高、不停电作业、对生产运行影响小等优点，在110kV和220kV等级系统已经普遍开展，在安全距离、水电阻率及有效控制喷嘴散射范围等措施下，500kV以上的高压输电线路带电水冲洗是安全的。
利用计算机视觉技术对目标物进行识别、定位以及建模测距的方案较其他方案具有成本低，实时性高，适应性强等特点。目前双目立体视觉系统已被广泛应用，其通过两个相机对同一目标物拍摄图像，利用两张图像中目标物所处的像素位置计算视差，最后通过三角原理计算目标物空间距离，即恢复图像深度信息。在北京博瑞空间科技发展有限公司冯伟明申请、2016年8月10日公开、公开号为CN 105844692A、发明名称为“基于双目立体视觉的三维重建装置、方法、系统及无人机”的中国发明专利申请中，专利申请人提出了一种基于从候选像素块集合中确定匹配像素块的目标物匹配识别和基于三维立体图像的视图重建方法。该发明虽然能够有效减小双目视觉导航算法的计算量，但是由于双目视觉在左右视图匹配中存在部分区域无法获得匹配，需要通过插值法进行补充，这将带来较大的误差，影响匹配精度。
而针对双目视觉受相机噪声影响及针对细线性障碍物无法有效测距的问题，河海大学李庆武等人于2016年8月11日申请，公开号为CN 106356757A，发明名称为“一种基于人眼视觉特性的电力线路无人机巡检方法”的中国发明专利申请中提到利用人眼视觉注意机制完成图像中电力线分割，在利用SURF算法进行特征点匹配进而通过三角原理计算出无人机到电力线的垂直距离的方法。
该方法虽然将双目视觉的测距功能应用到电力线路的测距避障领域中，但是针对在电力线处于与相机基线共面的特殊位置，该方法仍无法对其进行有效的空间距离测量。
发明内容
本发明实施方式的目的是提供一种基于三目视觉的测距方法、系统及存储介质，该方法、系统及存储介质能够克服在电力线处于与相机机线共面的特殊位置的情况下出现的无法有效测量空间距离的问题。
为了实现上述目的，本发明实施方式提供一种基于三目视觉的测距方法，所述测距方法包括：
接收第一双目视觉系统的第一数值检测结果，其中，所述第一双目视觉系统包括设置于两侧的第一视觉采集装置和第二视觉采集装置；
判断所述第一数值检测结果是否有效；
在判断所述第一数值检测结果无效的情况下，调整设置于中部的第三视觉采集装置的位置以使得所述第三视觉采集装置与第一视觉采集装置形成第二双目视觉系统、所述第三视觉采集装置与所述第二视觉采集装置形成第三双目视觉系统；
接收所述第二双目视觉系统检测的第二数值检测结果；
接收所述第三双目视觉系统检测的第三数值检测结果；
根据所述第二数值检测结果和所述第三数值检测结果采用融合求解加权平均的方法计算实际的距离；
在判断所述第一数值检测结果有效的情况下，根据所述第一数值检测结果计算实际的距离。
另一方面，本发明还提供一种基于三目视觉的测距系统，所述测距系统包括：
设置于两侧的第一视觉采集装置和第二视觉采集装置，用于相互配合以构成第一视觉采集单元；
设置于中部的第三视觉采集装置，用于与所述第一视觉采集装置形成第二双目视觉单元，与所述第二视觉采集装置形成第三双目视觉单元；
控制单元，用于：
接收所述第一视觉采集单元采集的第一数值检测结果；
判断所述第一数值检测结果是否有效；
在判断所述第一数值检测结果无效的情况下，调整所述第三视觉采集装置的位置以使得所述第三视觉采集装置与第一视觉采集装置形成第二双目视觉单元、所述第三视觉采集装置与所述第二视觉采集装置形成第三双目视觉单元；
接收所述第二双目视觉单元检测的第二数值检测结果；
接收所述第三双目视觉单元检测的第三数值检测结果；
根据所述第二数值检测结果和所述第三数值检测结果采用融合求解加权平均的方法计算实际的距离；
在判断所述第一数值检测结果有效的情况下，根据所述第一数值检测结果计算实际的距离。
另一方面，本发明还提供一种基于三目视觉的无人机的控制方法，所述控制方法包括：
采用如上述所述的测距系统采集所述无人机周围的图像；
采用预设的图像识别算法判断所述图像中是否存在目标；
在所述图像中存在目标的情况下，进一步判断所述目标是否包括预设的目标物；
在判断所述目标包括所述目标物的情况下，控制所述无人机以使得所述目标物位于所述图像的中央，并提取所述图像的位置并显示给所述无人机的操控人员；
在判断所述目标不包括所述目标物的情况下，采用所述测距系统测量所述无人机与所述目标之间的距离，控制所述无人机与所述目标保持安全距离。
可选地，采用预设的图像识别算法判断所述图像中是否存在目标具体包括：
采用数学形态学运算和中值滤波方法消除所述图像中的噪声；
采用公式(1)至公式(4)表示从所述图像中提取的图像特征，
Figure BDA0002309094960000041
其中，UNI为均匀度，Pd(i,j)为特征描述矩阵Pd的第i行第j列的元素，L为灰度级别，
Figure BDA0002309094960000042
其中，CON为对比度，
Figure BDA0002309094960000043
为元素Pd(i,j)的归一化计算后的值，L为灰度级别，
Figure BDA0002309094960000044
其中，COR为相关度，
Figure BDA0002309094960000051
为元素Pd(i,j)的归一化计算后的值，
Figure BDA0002309094960000052
Figure BDA0002309094960000053
μ1、μ2、
Figure BDA0002309094960000054
和
Figure BDA0002309094960000055
均为用于表示特征描述矩阵中的各个元素的相似程度的参量，L为灰度级别，
Figure BDA0002309094960000056
其中，ENT为复杂度，
Figure BDA0002309094960000057
为元素Pd(i,j)的归一化计算后的值，L为灰度级别。
可选地，控制所述无人机以使得所述目标物位于所述图像的中央具体包括：
判断所述目标物是否位于所述图像的中央；
在判断所述目标物未位于所述图像的中央的情况下，控制所述无人机向所述目标物飞行；
采用所述测距系统测量所述无人机与所述目标物之间的距离；
根据所述距离修正所述无人机的飞行位移，并再次判断所述目标物是否位于所述图像的中央；
在判断所述目标物位于所述图像的中央的情况下，进一步判断所述测距系统的第三视觉采集装置是否位于预设的标准位置；
在判断所述第三视觉采集装置位于所述标准位置的情况下，控制所述无人机执行控制悬停指令；
在判断所述第三视觉采集装置未位于所述标准位置的情况下，控制所述无人机向所述第三视觉采集装置回归所述标准位置的反方向飞行；
采用所述测距系统测量所述无人机和所述目标物之间的距离；
根据所述距离修正所述无人机的飞行位移，再次判断所述目标物是否位于所述图像的中央。
可选地，提取所述图像的位置并显示给所述无人机的操控人员具体包括：
根据公式(5)和公式(6)对所述目标物执行目标分割和提取操作，
Figure BDA0002309094960000061
Figure BDA0002309094960000062
其中，
Figure BDA0002309094960000063
为泛函极小值，f1(x)和f2(x)为像素点x在曲线C的内部区域和外部区域的灰度拟合值，y为由预设的限定取值范围|x-y|≤3σ、权重系数α1和α2表示的像素点，K为核函数，in(C)为曲线C的内部区域，out(C)为曲线C的内部区域的外部区域，σ为标准差；
采用高亮矩形框标注所述目标物。
可选地，所述控制方法进一步包括：
预设所述测距系统的内部相机参数和外部参数；
其中，所述内部参数包括从所述视觉采集装置的说明书中获得的相机焦距f、水平不确定比例因子s和图像主点二维坐标(U0,V0)；
所述外部参数包括矩阵H和向量P，且矩阵H包括公式(7)，
Figure BDA0002309094960000064
其中，
Figure BDA0002309094960000065
τ，θ分别表示倾斜角、俯仰角和旋转角，
向量P＝(Px,Py,Pz)，其中，Px、Py和Pz为向量P的分量。
再一方面，本发明还提供一种基于三目视觉的无人机的控制系统，所述控制系统包括处理器，所述处理器用于执行如上述任一所述的控制方法。
再一方面，本发明还提供一种存储介质，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的控制方法。
通过上述技术方案：
本发明提供的基于三目视觉的测距方法、系统及存储介质通过采用第一视觉采集装置、第二视觉采集装置、第三视觉采集装置形成多个双目视觉单元，并进一步采用融合家求解算法计算出实际的距离，克服了现有技术中在电力线处于与相机机线共面的特殊位置的情况下出现的无法有效测量空间距离的问题。
本发明提供的基于三目视觉的无人机的控制方法及存储介质通过采用上述测距方法实现了无人机在飞行过程中对障碍物或目标的有效测距，从而保证了无人机作业的安全性以及效率。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是根据本发明的一个实施方式的基于三目视觉的测距方法的流程图；
图2是根据本发明的一个实施方式的基于三目视觉的无人机的控制方法的部分流程图；以及
图3是根据本发明的一个实施方式的基于三目视觉的无人机的控制方法的部分流程图。
具体实施方式
以下结合附图对本发明实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。
在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。
另外，若本发明实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示是根据本发明的一个实施方式的基于三目视觉的测距方法的流程图。在图1中，该测距方法可以包括：
在步骤S10中，接收第一双目视觉系统的第一数值检测结果。其中，该第一双目视觉系统可以包括设置于两侧的第一视觉采集装置和第二视觉采集装置。对于该第一双目视觉系统获得该第一数值检测结果的具体方式，可以是本领域人员所知的多种形式。在本发明的一个示例中，该具体方式可以是例如根据公式(1)和公式(2)获得该第一数值检测结果，
Figure BDA0002309094960000081
y＝FxY/Z， (2)
其中，(X,Y,Z)为测量点在该第一双目视觉系统的坐标系中的坐标，Z为测量点距离该第一双目视觉系统的相机平面的距离，即第一数值检测结果，(xl,y1)和(xr,yr)为第一视觉采集装置和第二视觉采集装置的相机项平面的坐标，T为基线距离，即该第一视觉采集装置和第二视觉采集装置在平行放置状态下的光心距离，Fx为第一视觉采集装置和第二视觉采集装置的相机焦距。
在步骤S11中，判断该第一数值检测结果是否有效。
在步骤S12中，在判断第一数值检测结果无效的情况下，调整设置于中部的第三视觉采集装置的位置以使得第三视觉采集装置与第一视觉采集装置形成第二双目视觉系统、第三视觉采集装置与第二视觉采集装置形成第三双目视觉系统。
在步骤S13中，接收第二双目视觉系统检测的第二数值检测结果。
在步骤S14中，接收第三双目视觉系统检测的第三数值检测结果。
在步骤S15中，根据第二数值检测结果和第三数值检测结果(以及调整后的第一数值检测结果)采用融合求解加权平均的方法计算实际的距离。在该实施方式中，对于该融合求解加权平均的方法，可以是本领域人员所知的多种形式。在本发明的一个优选示例中，该融合求解加权平均的方法可以是例如采用公式(3)和公式(4)来计算，
Figure BDA0002309094960000091
n＝n1+n2+n3， (4)
其中，Zo为该实际的距离，α，β，γ为权重系数，且α>、α>γ，Zi为第一视觉采集装置和第二视觉采集装置组成的第一双目视觉系统检测到的第一数值测量结果，n1为该第一双目视觉系统所采集到的有效测量数据的个数，Zj为第二双目视觉系统检测到的第二数值检测结果，Zk为第三双目视觉系统检测到的第三数值检测结果，n2为该第二双目视觉系统所采集到的有效测量数据的个数，n3为该第三双目视觉系统所采集到的有效测量数据的个数。
在步骤S16中，在判断第一数值检测结果有效的情况下，根据第一数值检测结果计算实际的距离。
另一方面，本发明还提供一种基于三目视觉的测距系统，该测距系统可以用于执行上述测距方法。具体地，该测距系统可以包括第一视觉采集装置、第二视觉采集装置、第三视觉采集装置和控制单元。
第一视觉采集装置和第二视觉采集装置可以设置于两侧，用于相互配合以构成第一视觉采集单元；
第三视觉采集装置可以设置于中部的，用于与第一视觉采集装置形成第二双目视觉单元，与第二视觉采集装置形成第三双目视觉单元；
控制单元可以用于接收第一视觉采集单元采集的第一数值检测结果；判断第一数值检测结果是否有效；在判断第一数值检测结果无效的情况下，调整第三视觉采集装置的位置以使得第三视觉采集装置与第一视觉采集装置形成第二双目视觉单元、第三视觉采集装置与第二视觉采集装置形成第三双目视觉单元；接收第二双目视觉单元检测的第二数值检测结果；接收第三双目视觉单元检测的第三数值检测结果；根据第二数值检测结果和第三数值检测结果采用融合求解加权平均的方法计算实际的距离；以及在判断第一数值检测结果有效的情况下，根据第一数值检测结果计算实际的距离。
另一方面，本发明还提供一种基于三目视觉的无人机的控制方法，如图2所示。在图2中，该控制方法可以包括：
在步骤S20中，采用如上述所述的测距系统采集无人机周围的图像。具体地，该第一视觉采集装置和第二视觉采集装置可以是例如高清工业相机，且设置与该无人机的两侧。对于第三视觉采集装置，则可以例如可转动地设置在该无人机中部的云台相机。另外，在设置该云台相机和高清工业相机前，可以先预设测距系统的内部相机参数和外部参数。其中，内部参数可以包括从视觉采集装置的说明书中获得的相机焦距f、水平不确定比例因子s和图像主点二维坐标(U0,V0)；外部参数包括矩阵H和向量P，且矩阵H可以包括公式(5)，
Figure BDA0002309094960000101
Figure BDA0002309094960000111
其中，
Figure BDA0002309094960000112
τ，θ分别表示倾斜角、俯仰角和旋转角，
向量P＝(Px,Py,Pz)，其中，Px、Py和Pz为向量P的分量。
在步骤S21中，采用预设的图像识别算法判断图像中是否存在目标。其中，对于该图像识别算法，可以是例如首先根据公式(6)和公式(7)对目标物执行目标分割和提取操作，
Figure BDA0002309094960000113
Figure BDA0002309094960000114
其中，
Figure BDA0002309094960000115
为泛函极小值，f1(x)和f2(x)为像素点x在曲线C的内部区域和外部区域的灰度拟合值，y为由预设的限定取值范围|x-y|≤3σ、权重系数α1和α2表示的像素点，K为核函数，in(C)为曲线C的内部区域，out(C)为曲线C的内部区域的外部区域，σ为标准差；再采用高亮矩形框标注该目标物。在该示例中，该图像识别算法的特征匹配步骤可以采用如公式(8)示出的约束条件，
|K1K′1|≤εand|K2K′2|≤εand|K3K′3|≤ε， (8)
其中，K1、K2和K3空间中的同一点K在第一双目视觉系统、第二双目视觉系统以及第三双目视觉系统的视图上的像点，K′1为由点K在第二双目视觉系统以及第三双目视觉系统的视图上的像点得到的外极线与第一双目视觉系统的视图的交点，K′2和K′3与K′1类似，因此不再赘述。Ε为预设的阈值。|K1K′1|为点K1和点K′1之间的距离。
另外，考虑到无人机在飞行时，由于天气等因素会导致拍摄的照片产生模糊、多噪声等问题。因此，在该示例中，还可以在处理前，先采用数学形态学运算和中值滤波方法消除图像中的噪声；再采用公式(8)至公式(11)表示从图像中提取的图像特征，
Figure BDA0002309094960000121
其中，UNI为均匀度，Pd(i,j)为特征描述矩阵Pd的第i行第j的元素，L为灰度级别，
Figure BDA0002309094960000122
其中，CON为对比度，
Figure BDA0002309094960000123
为元素Pd(i,j)的归一化计算后的值，L为灰度级别，
Figure BDA0002309094960000124
其中，COR为相关度，
Figure BDA0002309094960000125
为元素Pd(i,j)的归一化计算后的值，
Figure BDA0002309094960000126
Figure BDA0002309094960000127
μ1、μ2、
Figure BDA0002309094960000128
和
Figure BDA0002309094960000129
均为用于表示特征描述矩阵中的各个元素的相似程度的参量，L为灰度级别，
Figure BDA00023090949600001210
其中，ENT为复杂度，
Figure BDA00023090949600001211
为元素Pd(i,j)的归一化计算后的值，L为灰度级别。
在步骤S22中，在图像中存在目标的情况下，进一步判断该目标是否包括预设的目标物。
在步骤S23中，在判断目标包括目标物的情况下，控制无人机以使得目标物位于图像的中央，并提取图像的位置并显示给无人机的操控人员。对于控制该无人机以使得该目标物位于图像的中央的具体操作，可以是本领域人员所知的多种方式。在本发明的一个优选示例中，该具体操作可以包括如图3中所示出的步骤。在图3中，该具体操作可以包括：
在步骤S30中，判断该目标物是否位于图像的中央；
在步骤S31中，在判断该目标物未位于图像的中央的情况下，控制无人机向目标物飞行；
在步骤S32中，采用测距系统测量无人机与目标物之间的距离；
在步骤S33中，根据距离修正无人机的飞行位移，并再次判断该目标物是否位于图像的中央；
在步骤S34中，在判断目标物位于图像的中央的情况下，进一步判断测距系统的第三视觉采集装置是否位于预设的标准位置；
在步骤S35中，在判断第三视觉采集装置未位于(预设的)标准位置的情况下，控制无人机向第三视觉采集装置回归标准位置的反方向飞行；
在步骤S36中，采用测距系统测量无人机和目标物之间的距离；
在步骤S37中，根据该距离修正无人机的飞行位移，再次判断目标物是否位于图像的中央；
在步骤S38中，在判断第三视觉采集装置位于标准位置的情况下，控制无人机执行控制悬停指令。
在步骤S24中，在判断目标不包括目标物的情况下，采用测距系统测量无人机与目标之间的距离，控制无人机与目标保持安全距离。
再一方面，本发明还提供一种基于三目视觉的无人机的控制系统，该控制系统可以包括处理器，该处理器可以用于执行如上述任一所述的控制方法。
再一方面，本发明还提供一种存储介质，该存储介质可以存储有指令，该指令可以用于被机器读取以使得机器执行如上述任一所述的控制方法。
通过上述技术方案：
本发明提供的基于三目视觉的测距方法、系统及存储介质通过采用第一视觉采集装置、第二视觉采集装置、第三视觉采集装置形成多个双目视觉单元，并进一步采用融合家求解算法计算出实际的距离，克服了现有技术中在电力线处于与相机机线共面的特殊位置的情况下出现的无法有效测量空间距离的问题。
本发明提供的基于三目视觉的无人机的控制方法及存储介质通过采用上述测距方法实现了无人机在飞行过程中对障碍物或目标的有效测距，从而保证了无人机作业的安全性以及效率。
以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施方式的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (9)

1.一种基于三目视觉的测距方法，其特征在于，所述测距方法包括：
接收第一双目视觉系统的第一数值检测结果，其中，所述第一双目视觉系统包括设置于两侧的第一视觉采集装置和第二视觉采集装置；
判断所述第一数值检测结果是否有效；
在判断所述第一数值检测结果无效的情况下，调整设置于中部的第三视觉采集装置的位置以使得所述第三视觉采集装置与第一视觉采集装置形成第二双目视觉系统、所述第三视觉采集装置与所述第二视觉采集装置形成第三双目视觉系统；
接收所述第二双目视觉系统检测的第二数值检测结果；
接收所述第三双目视觉系统检测的第三数值检测结果；
根据所述第二数值检测结果和所述第三数值检测结果采用融合求解加权平均的方法计算实际的距离；
在判断所述第一数值检测结果有效的情况下，根据所述第一数值检测结果计算实际的距离。
2.一种基于三目视觉的测距系统，其特征在于，所述测距系统包括：
设置于两侧的第一视觉采集装置和第二视觉采集装置，用于相互配合以构成第一视觉采集单元；
设置于中部的第三视觉采集装置，用于与所述第一视觉采集装置形成第二双目视觉单元，与所述第二视觉采集装置形成第三双目视觉单元；
控制单元，用于：
接收所述第一视觉采集单元采集的第一数值检测结果；
判断所述第一数值检测结果是否有效；
在判断所述第一数值检测结果无效的情况下，调整所述第三视觉采集装置的位置以使得所述第三视觉采集装置与第一视觉采集装置形成第二双目视觉单元、所述第三视觉采集装置与所述第二视觉采集装置形成第三双目视觉单元；
接收所述第二双目视觉单元检测的第二数值检测结果；
接收所述第三双目视觉单元检测的第三数值检测结果；
根据所述第二数值检测结果和所述第三数值检测结果采用融合求解加权平均的方法计算实际的距离；
在判断所述第一数值检测结果有效的情况下，根据所述第一数值检测结果计算实际的距离。
3.一种基于三目视觉的无人机的控制方法，其特征在于，所述控制方法包括：
采用如权利要求2所述的测距系统采集所述无人机周围的图像；
采用预设的图像识别算法判断所述图像中是否存在目标；
在所述图像中存在目标的情况下，进一步判断所述目标是否包括预设的目标物；
在判断所述目标包括所述目标物的情况下，控制所述无人机以使得所述目标物位于所述图像的中央，并提取所述图像的位置并显示给所述无人机的操控人员；
在判断所述目标不包括所述目标物的情况下，采用所述测距系统测量所述无人机与所述目标之间的距离，控制所述无人机与所述目标保持安全距离。
4.根据权利要求3所述的控制方法，其特征在于，采用预设的图像识别算法判断所述图像中是否存在目标具体包括：
采用数学形态学运算和中值滤波方法消除所述图像中的噪声；
采用公式(1)至公式(4)表示从所述图像中提取的图像特征，
Figure FDA0002309094950000031
其中，UNI为均匀度，Pd(i,j)为特征描述矩阵Pd的第i行第j列的元素，L为灰度级别，
Figure FDA0002309094950000032
其中，CON为对比度，
Figure FDA0002309094950000033
为元素Pd(i,j)的归一化计算后的值，L为灰度级别，
Figure FDA0002309094950000034
其中，COR为相关度，
Figure FDA0002309094950000035
为元素Pd(i,j)的归一化计算后的值，
Figure FDA0002309094950000036
Figure FDA0002309094950000037
μ1、μ2、
Figure FDA0002309094950000038
和
Figure FDA0002309094950000039
均为用于表示特征描述矩阵中的各个元素的相似程度的参量，L为灰度级别，
Figure FDA00023090949500000310
其中，ENT为复杂度，
Figure FDA00023090949500000311
为元素Pd(i,j)的归一化计算后的值，L为灰度级别。
5.根据权利要求3所述的控制方法，其特征在于，控制所述无人机以使得所述目标物位于所述图像的中央具体包括：
判断所述目标物是否位于所述图像的中央；
在判断所述目标物未位于所述图像的中央的情况下，控制所述无人机向所述目标物飞行；
采用所述测距系统测量所述无人机与所述目标物之间的距离；
根据所述距离修正所述无人机的飞行位移，并再次判断所述目标物是否位于所述图像的中央；
在判断所述目标物位于所述图像的中央的情况下，进一步判断所述测距系统的第三视觉采集装置是否位于预设的标准位置；
在判断所述第三视觉采集装置位于所述标准位置的情况下，控制所述无人机执行控制悬停指令；
在判断所述第三视觉采集装置未位于所述标准位置的情况下，控制所述无人机向所述第三视觉采集装置回归所述标准位置的反方向飞行；
采用所述测距系统测量所述无人机和所述目标物之间的距离；
根据所述距离修正所述无人机的飞行位移，再次判断所述目标物是否位于所述图像的中央。
6.根据权利要求3所述的控制方法，其特征在于，提取所述图像的位置并显示给所述无人机的操控人员具体包括：
根据公式(5)和公式(6)对所述目标物执行目标分割和提取操作，
Figure FDA0002309094950000041
Figure FDA0002309094950000042
其中，
Figure FDA0002309094950000043
为泛函极小值，f1(x)和f2(x)为像素点x在曲线C的内部区域和外部区域的灰度拟合值，y为由预设的限定取值范围|x-y|≤3σ、权重系数α1和α2表示的像素点，K为核函数，in(C)为曲线C的内部区域，out(C)为曲线C的内部区域的外部区域，σ为标准差；
采用高亮矩形框标注所述目标物。
7.根据权利要求3所述的控制方法，其特征在于，所述控制方法进一步包括：
预设所述测距系统的内部相机参数和外部参数；
其中，所述内部参数包括从所述视觉采集装置的说明书中获得的相机焦距f、水平不确定比例因子s和图像主点二维坐标(U0,V0)；
所述外部参数包括矩阵H和向量P，且矩阵H包括公式(7)，
Figure FDA0002309094950000051
其中，
Figure FDA0002309094950000052
τ，θ分别表示倾斜角、俯仰角和旋转角，
向量P＝(Px,Py,Pz)，其中，Px、Py和Pz为向量P的分量。
8.一种基于三目视觉的无人机的控制系统，其特征在于，所述控制系统包括处理器，所述处理器用于执行如权利要求3至7任一所述的控制方法。
9.一种存储介质，其特征在于，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如权利要求1、3至7任一所述的方法。
CN201911251231.9A 2019-12-09 2019-12-09 基于三目视觉的测距方法、系统及存储介质 Active CN110992291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911251231.9A CN110992291B (zh) 2019-12-09 2019-12-09 基于三目视觉的测距方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911251231.9A CN110992291B (zh) 2019-12-09 2019-12-09 基于三目视觉的测距方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110992291A true CN110992291A (zh) 2020-04-10
CN110992291B CN110992291B (zh) 2023-07-21

Family

ID=70091342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911251231.9A Active CN110992291B (zh) 2019-12-09 2019-12-09 基于三目视觉的测距方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110992291B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111855501A (zh) * 2020-07-30 2020-10-30 华北电力大学（保定） 基于无人机的自动喷水复合绝缘子憎水性检测系统及方法
CN116132814A (zh) * 2022-04-01 2023-05-16 港珠澳大桥管理局 海底沉管拼接结构信息采集设备、采集方法、装置和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094932A1 (zh) * 2016-11-23 2018-05-31 北京清影机器视觉技术有限公司 用于立体视觉呈现的人眼观察图像的生成方法和装置
CN108317953A (zh) * 2018-01-19 2018-07-24 东北电力大学 一种基于无人机的双目视觉目标表面3d检测方法及系统
CN109211198A (zh) * 2018-08-15 2019-01-15 河海大学常州校区 一种基于三目视觉的智能目标检测和测量系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094932A1 (zh) * 2016-11-23 2018-05-31 北京清影机器视觉技术有限公司 用于立体视觉呈现的人眼观察图像的生成方法和装置
CN108317953A (zh) * 2018-01-19 2018-07-24 东北电力大学 一种基于无人机的双目视觉目标表面3d检测方法及系统
CN109211198A (zh) * 2018-08-15 2019-01-15 河海大学常州校区 一种基于三目视觉的智能目标检测和测量系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯宏录;王敏;: "硅棒特征点三维坐标视觉检测技术研究" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111855501A (zh) * 2020-07-30 2020-10-30 华北电力大学（保定） 基于无人机的自动喷水复合绝缘子憎水性检测系统及方法
CN111855501B (zh) * 2020-07-30 2024-02-20 华北电力大学（保定） 基于无人机的自动喷水复合绝缘子憎水性检测系统及方法
CN116132814A (zh) * 2022-04-01 2023-05-16 港珠澳大桥管理局 海底沉管拼接结构信息采集设备、采集方法、装置和设备
CN116132814B (zh) * 2022-04-01 2023-12-22 港珠澳大桥管理局 海底沉管拼接结构信息采集设备、采集方法、装置和设备

Also Published As

Publication number Publication date
CN110992291B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN101216304B (zh) 物体尺寸估测之系统及方法
KR101489984B1 (ko) 스테레오-영상 정합 및 변화 검출 시스템 및 방법
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN111259706B (zh) 一种车辆的车道线压线判断方法和系统
CN111091023B (zh) 一种车辆检测方法、装置及电子设备
CN111126116A (zh) 无人船河道垃圾识别方法及系统
CN107843251A (zh) 移动机器人的位姿估计方法
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN114862973B (zh) 基于固定点位的空间定位方法、装置、设备及存储介质
CN111383257A (zh) 一种车厢装卸率确定方法和装置
CN110992291A (zh) 基于三目视觉的测距方法、系统及存储介质
CN113034605B (zh) 目标对象的位置确定方法、装置、电子设备及存储介质
CN113436313B (zh) 一种基于无人机的三维重建误差主动修正方法
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN111402324B (zh) 一种目标测量方法、电子设备以及计算机存储介质
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及系统
Oniga et al. Curb detection based on elevation maps from dense stereo
KR101241813B1 (ko) Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법
CN116151320A (zh) 一种抗动态目标干扰的视觉里程计方法及视觉里程计装置
CN114742955A (zh) 洪灾预警方法、装置、电子设备及存储介质
Aliakbarpour et al. Geometric exploration of virtual planes in a fusion-based 3D data registration framework
CN114140659A (zh) 一种基于无人机视角下人体检测的社交距离监控方法
CN115564836B (zh) 幕墙机器人的单目坐标转换方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 397, Tongcheng South Road, Baohe District, Hefei City, Anhui Province 230061

Applicant after: Super high voltage branch of State Grid Anhui Electric Power Co.,Ltd.

Applicant after: STATE GRID CORPORATION OF CHINA

Address before: No. 397, Tongcheng South Road, Baohe District, Hefei City, Anhui Province 230061

Applicant before: STATE GRID ANHUI POWER SUPPLY COMPANY OVERHAUL BRANCH

Applicant before: STATE GRID CORPORATION OF CHINA

GR01 Patent grant
GR01 Patent grant