CN115223031A - 一种单目边框测距方法、装置、介质及幕墙机器人 - Google Patents

一种单目边框测距方法、装置、介质及幕墙机器人 Download PDF

Info

Publication number
CN115223031A
CN115223031A CN202211142781.9A CN202211142781A CN115223031A CN 115223031 A CN115223031 A CN 115223031A CN 202211142781 A CN202211142781 A CN 202211142781A CN 115223031 A CN115223031 A CN 115223031A
Authority
CN
China
Prior art keywords
image
edge
curtain wall
line
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211142781.9A
Other languages
English (en)
Other versions
CN115223031B (zh
Inventor
黄俊生
张志忠
张飞扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingdu Guangdong Intelligent Technology Development Co Ltd
Original Assignee
Lingdu Guangdong Intelligent Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingdu Guangdong Intelligent Technology Development Co Ltd filed Critical Lingdu Guangdong Intelligent Technology Development Co Ltd
Priority to CN202211142781.9A priority Critical patent/CN115223031B/zh
Publication of CN115223031A publication Critical patent/CN115223031A/zh
Application granted granted Critical
Publication of CN115223031B publication Critical patent/CN115223031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L1/00—Cleaning windows
    • A47L1/02—Power-driven machines or devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/38—Machines, specially adapted for cleaning walls, ceilings, roofs, or the like
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A47L11/4008—Arrangements of switches, indicators or the like
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/028—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种单目边框测距方法，其包括如下步骤：S10，获取单目相机拍摄的包含有幕墙边框的第一图像；S20，分别使用第一参数、第二参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图、第二边缘图；将所述第一边缘图和所述第二边缘图进行融合获取第三边缘图；其中第一参数、第二参数不同；S30，检测所述第三边缘图像中的水平直线，获取所述水平直线到第一图像底部的像素距离，并根据IMU的角度信息和玻璃幕墙边框转换模型计算水平边框距离；S40，检测所述第三边缘图像中的垂直直线，并根据IMU的角度信息和将所述垂直直线的斜率和截距代入玻璃幕墙边框转换模型计算垂直边框距离。本发明的玻璃幕墙边框转换模型更简单、运算量更低，不需要更重的运算模块以应对大运算量。

Description

一种单目边框测距方法、装置、介质及幕墙机器人
技术领域
本发明涉及机器人技术领域，具体来说，涉及一种单目边框测距、装置、介质及幕墙机器人。
背景技术
近年来，随着大量以玻璃幕墙为外立面的摩天大楼的崛起，以及对建筑群清洁和美观的需求，对玻璃幕墙的清洗任务越来越繁重。传统的人工清洁方法工作效率低、危险系数高。随着机器人技术的发展，使用专用的玻璃幕墙清洁机器人进行幕墙的清洁已成为发展趋势。
随着幕墙清洁机器人的自动化和智能化程度的提高，降低了现场操作人员工作量以及人为操作失误几率。幕墙清洁机器人的自动化和智能化，首先需要机器人能够感知周围的工作环境。在各类型感知系统和方案中，单目视觉是在价格低廉、重量轻的同时能够获取丰富信息，适合对价格和重量有要求的幕墙清洁机器人。
然而，在单目摄像机将三维现实空间投影到二维图像的过程中，会丢失了深度信息，无法记录需要识别的目标物体到摄像机的距离。对于幕墙清洁机器人，主要需要测量的就是到玻璃边框的距离，实现机器人的路线规划、避免碰撞。
现有的玻璃幕墙清洁机器人绝大部分是手动操作，主流的测距方案是人工目测、单点激光测距和超声波测距。
虽然单目测距技术在学术领域已有大量的相关研究，在自动驾驶和机器人的应用领域也有不少技术方案，但是还没有适用于幕墙清洁机器人的单目测距技术方案。
本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。
发明内容
针对相关技术中的上述技术问题，本发明提出一种单目边框测距方法，其包括如下步骤：
S10，获取单目相机拍摄的包含有幕墙边框的第一图像；
S20，分别使用第一参数、第二参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图、第二边缘图；将所述第一边缘图和所述第二边缘图进行融合获取第三边缘图；其中第一参数、第二参数不同；
S30，检测所述第三边缘图像中的水平直线，获取所述水平直线到第一图像底部的像素距离，并根据IMU的角度信息和玻璃幕墙边框转换模型计算水平边框距离；
S40，检测所述第三边缘图像中的垂直直线，并根据IMU的角度信息和将所述垂直直线的斜率和截距代入玻璃幕墙边框转换模型计算垂直边框距离。
具体的，步骤S20还包括：
S21、获取所述单目相机拍摄的包含有幕墙边框的第一图像；
S22、使用第一参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图；
S23、使用第二参数的canny算子对所述第一图像进行边缘提取以获取第二边缘图；
S24、将所述第一边缘图、第二边缘图加权融合获取第三边缘图；
S25、提取所述第三边缘图的像素群的轮廓，去除非矩形的像素以获取去除噪声的第三边缘图像。
具体的，步骤S20还包括：
S26、从所述去除噪声的第三边缘图或第三边缘图的中间开始，向顶部和底部搜索横线；
S27、从横线的中点开始，向左右延伸搜索左右两端的像素坐标；
S28、根据左右两端的长度，等间距提取数个横线上的像素坐标；
S29、利用这些像素坐标计算横线的斜率，并换算为与水平线的夹角；如果夹角不为0°，则将图像按照夹角进行旋转。
具体的，步骤S30具体包括：
S31、提取长度不小于5像素，宽度大于等于1像素的横线；
S32、利用累计概率霍夫变换检测直线，并计算所有直线的斜率；
S33、根据斜率去除水平直线以外的直线；
S34、固定步长调整霍夫变换的接受直线最小长度的阈值，重复S32-S33；
S35、计算每条水平线到图像底部的像素距离；
S36、根据IMU测得的俯仰角，将像素距离带入玻璃幕墙边框转换模型计算水平直线到机器人的距离。
具体的，形成玻璃幕墙边框转换模型的流程如下：
S02、将相机俯仰角调整为工作角度，将等间距黑白间隔的网格板移到相机的视野中，并且网格板中点与相机视野中心重合，网格板水平线与相机水平线平行，网格板中间的垂直线与机器人中线重合；
S03、拍摄图片，记录此时的相机俯仰角，测量机器人到图片底部的距离；
S04、根据图片中网格板每两条水平线之间的像素距离和实际间距，建立水平边界的转换模型；
S05、根据图片中网格板每条垂直线的像素，计算每条垂直线在像素坐标系的斜率和截距，并根据垂直线与中线的距离，建立垂直边界的转换模型；
S06、根据机器人工作过程中可能出现的最大俯角和最大仰角，将相机俯仰角在该俯仰角区间按等步长进行调整，每次调整后重复S02-S05；
S07、根据俯仰角变化时水平边界转换模型和垂直边界转换模型的变化情况，建立玻璃幕边框转换模型。
具体的，步骤S40具体包括：
S41、提取长度不小于30像素的横线，通过与边缘图相减来去除横线；
S42、识别像素群的连通区域，去除连通区域小于300像素的噪声；
S43、利用累计概率霍夫变换检测直线，并计算所有直线的斜率和截距；
S44、去除部分非垂直线的直线；去除坐标在左半边、斜率不大于0，和坐标在右半边、斜率不小于0的直线，保留下来的直线累加；
S45、固定步长调整霍夫变换的接受直线最小长度的阈值，重复S42- S44；
S46、根据IMU测得的俯仰角，将每条直线的斜率和截距代入玻璃幕墙边框转换模型，计算垂直直线到机器人的距离。
第二方面本发明的另一个实施例公开了一种单目边框测距装置，其包括如下单元：
幕墙边框图像获取单元，用于获取单目相机拍摄的包含有幕墙边框的第一图像；
边缘图像获取单元，用于分别使用第一参数、第二参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图、第二边缘图；将所述第一边缘图和所述第二边缘图进行融合获取第三边缘图；其中第一参数、第二参数不同；
水平边框距离获取单元，用于检测所述第三边缘图像中的水平直线，获取所述水平直线到第一图像底部的像素距离，并根据IMU的角度信息和玻璃幕墙边框转换模型计算水平边框距离；
垂直边框距离获取单元，用于检测所述第三边缘图像中的垂直直线，并根据IMU的角度信息和将所述垂直直线的斜率和截距代入玻璃幕墙边框转换模型计算垂直边框距离。
具体的，所述边缘图像获取单元还包括：
第一参数canny算子提取单元、用于使用第一参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图；
第二参数canny算子提取单元、用于使用第二参数的canny算子对所述第一图像进行边缘提取以获取第二边缘图；
边缘图融合单元、用于将所述第一边缘图、第二边缘图加权融合获取第三边缘图；
噪声去除单元、用于提取所述第三边缘图的像素群的轮廓，去除非矩形的像素以获取去除噪声的第三边缘图像。
具体的，所述边缘图像获取单元还包括：
横线搜索单元、用于从所述去除噪声的第三边缘图或第三边缘图的中间开始，向顶部和底部搜索横线；
横线像素坐标搜索单元、用于从横线的中点开始，向左右延伸搜索左右两端的像素坐标；
横线像素坐标获取单元、用于根据左右两端的长度，等间距提取数个横线上的像素坐标；
横线斜率计算单元、用于利用所述像素坐标计算横线的斜率，并换算为与水平线的夹角；如果夹角不为0°，则将图像按照夹角进行旋转。
具体的，所述水平边框距离获取单元还包括：
横线提取单元、用于提取长度不小于5像素，宽度大于等于1像素的横线；
直线检测单元、用于利用累计概率霍夫变换检测直线，并计算所有直线的斜率；
水平线获取单元、用于根据斜率去除水平直线以外的直线；
直线检测的最小长度阈值调整单元、用于固定步长调整霍夫变换的接受直线最小长度的阈值，重复执行直线检测单元、水平线获取单元；
水平线的像素距离获取单元、用于计算每条水平线到图像底部的像素距离；
水平边框距离计算单元、用于根据IMU测得的俯仰角，将像素距离带入玻璃幕墙边框转换模型计算水平直线到机器人的距离。
具体的，所述装置还包括：
网格板调整单元、用于将相机俯仰角调整为工作角度，将网格板移到相机的视野中，并且网格板中点与相机视野中心重合，网格板水平线与相机水平线平行，网格板中间的垂直线与机器人中线重合；
机器人到图片底部的距离获取单元、用于拍摄图片，记录此时的相机俯仰角，测量机器人到图片底部的距离；
水平边界的转换模型建立单元、用于根据图片中网格板每两条水平线之间的像素距离和实际间距，建立水平边界的转换模型；
垂直边界的转换模型建立单元、用于根据图片中网格板每条垂直线的像素，计算每条垂直线在像素坐标系的斜率和截距，并根据垂直线与中线的距离，建立垂直边界的转换模型；
俯仰角调整单元、用于根据机器人工作过程中可能出现的最大俯角和最大仰角，将相机俯仰角在该俯仰角区间按等步长进行调整，每次调整后重复网格板调整单元、机器人到图片底部的距离获取单元、水平边界的转换模型建立单元、垂直边界的转换模型建立单元；
玻璃幕边框转换模型建立单元、用于根据俯仰角变化时水平边界转换模型和垂直边界转换模型的变化情况，建立玻璃幕边框转换模型。
具体的，所述垂直边框距离获取单元还包括：
第二横线获取单元、用于提取长度不小于30像素的横线，通过与边缘图相减来去除横线；
像素群连通获取单元、用于识别像素群的连通区域，去除连通区域小于300像素的噪声；
直线斜率和截距计算单元、用于利用累计概率霍夫变换检测直线，并计算所有直线的斜率和截距；
垂直线获取单元、用于去除部分非垂直线的直线；去除坐标在左半边、斜率不大于0，和坐标在右半边、斜率不小于0的直线；保留下来的直线累加。
垂直线最小长度阈值调整单元、用于固定步长调整霍夫变换的接受直线最小长度的阈值，重复像素群连通获取单元、直线斜率和截距计算单元、垂直线获取单元；
垂直边框距离计算单元、用于根据IMU测得的俯仰角，将每条直线的斜率和截距代入玻璃幕墙边框转换模型，计算垂直直线到机器人的距离。
第三方面，本发明的另一个实施例公开了一种幕墙机器人，所述幕墙机器人具有单目相机、处理器、存储器，所述存储器上存储有指令，所述指令被处理器执行时，用以实现上述的单目边框测距方法。
第四方面，本方的另一个实施例公开了一种非易失性存储介质，所述非易失性存储介质上存储有指令，所述指令被处理器执行时，用以实现上述的单目边框测距方法。
本发明先建立玻璃幕墙边框转换模型，其中玻璃幕墙边框转换模型记录了机器人俯仰角、水平线的像素距离与实际间距的对应关系以及机器人俯仰角、垂直线的斜率和截距与中线的距离的对应关系。本发明的玻璃幕墙边框转换模型在使用仅需要获取幕墙图像中幕墙的水平线以及幕墙的垂直线，并根据所述玻璃幕墙边框转换模型进行转换即可，幕墙上的水平线，在图像上也是水平线；但幕墙上的垂直线，在图像上则是有不同角度的斜线。本发明的玻璃幕墙边框转换模型更简单、运算量更低，还能够消除翻滚角和俯仰角的变化对识别和测距精度的影响，因此既不需要更重的运算模块以应对大运算量，也不需要更重的电池以应对运算的能耗。进一步的，本发明的单目边框测距方法仅需使用普通单目相机，总体重量也能降低。因此，对于靠负压吸附的幕墙清洁机器人，特别是应用于小面积的小型机器人，视觉模块越轻，机器人的续航和吸附能力就越强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种单目边框测距方法流程图；
图2是本发明实施例提供的边缘提取流程图；
图3是本发明实施例提供的旋转变换流程图；
图4是本发明实施例提供的水平边框距离计算方法流程图；
图5是本发明实施例提供的形成玻璃幕墙边框转换模型的方法流程图；
图6是本发明实施例提供的垂直边框距离计算方法流程图；
图7是本发明实施例提供的一种单目边框测距装置示意图；
图8是本发明实施例提供的边缘提取示意图；
图9是本发明实施例提供的旋转变换示意图；
图10是本发明实施例提供的水平边框距离计算方法示意图；
图11是本发明实施例提供的形成玻璃幕墙边框转换模型的方法示意图；
图12是本发明实施例提供的垂直边框距离计算方法示意图；
图13是本发明实施例提供的一种单目边框测距设备示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参考图1-6，本实施例公开了一种单目边框测距方法其包括如下步骤：
S10，获取单目相机拍摄的包含有幕墙边框的第一图像；
本实施例的单目边框测距方法应用于幕墙机器人，所述幕墙机器人配置有一单目相机。在幕墙机器人执行清洁幕墙时，由搭载在幕墙机器人上的单目相机拍摄照片或视频，以形成所述第一图像。所述第一图像中包含有幕墙的边框。
S20，分别使用第一参数、第二参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图、第二边缘图；将所述第一边缘图和所述第二边缘图进行融合获取第三边缘图；其中第一参数、第二参数不同；
在对图像进行边缘提取时，如果使用单一的边缘提取方法，会带来比较大的噪声，本实施例利用不同参数的Canny算子所提取边缘融合，以此来确保尽可能的提取到所有边缘。同时，采用不同参数的Canny算子所提取边缘融合的方式，计算效率快，且避免了采用其他方式可能出现的边缘线显示宽度不一致，进一步影响最终测距精度的问题。具体的，步骤S20还包括：
S21、获取所述单目相机拍摄的包含有幕墙边框的第一图像；
本实施例的，单目相机输出的第一图像是RGB图像。本领域技术人员知晓，在单目相机输出不是RGB图像时，可以使用图像的转换算法将单目相机输出的图像转换为RGB格式的图像。
具体的，在本步骤中使用高斯滤波对所述第一图像进行滤波以获取去除噪声后的第一图像。
S22、使用第一参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图；
本实施例的第一参数的canny算子的最小阈值设为40、最大阈值为100，获取窄阈值范围的第一边缘图。
S23、使用第二参数的canny算子对所述第一图像进行边缘提取以获取第二边缘图；
本实施例的第二参数的canny算子的最小阈值设为10、最大阈值为200，获取宽阈值范围的第二边缘图。
S24、将所述第一边缘图、第二边缘图加权融合获取第三边缘图；
本实施例使用利用不同参数的Canny算子所提取边缘融合，以此来确保尽可能的提取到所有边缘，并将两种Canny算子获取的边缘图各赋权重0.5后融合，根据Canny算子两种阈值设置下获取不同边缘的特性，在保证较完整的获取图像边缘的同时降低噪声。
本实施例使用不同参数的canny算子进行边缘提取，不仅计算效率高，并且识别出的边缘线粗细均匀，以此测量的距离精确度高，相对于使用不同的边缘提取算子，例如canny+Laplacian提取的边缘图，其清晰的边界会比较粗，不清晰的会比较细，这种算法提取的边缘图，无法进行精确测距。并且，本实施例使用Hough变换提取线段，不需要边缘的粗细，且使用Hough其效率会更高。
S25、提取所述第三边缘图的像素群的轮廓，去除非矩形的像素以获取去除噪声的第三边缘图像。
幕墙的边缘一般是矩形，本实施例对第三边缘图进行像素群的轮廓检测，去除非矩形的像素，从而去除噪声。
具体的，幕墙机器人在工作过程中车身晃动会导致图像沿着顺时针或逆时针偏转，因此，本实施例根据图像中线附近的水平边界进行图像旋转校正。具体流程如下：
S26、从所述去除噪声的第三边缘图或第三边缘图的中间开始，向顶部和底部搜索横线；
S27、从横线的中点开始，向左右延伸搜索左右两端的像素坐标；
S28、根据左右两端的长度，等间距提取数个横线上的像素坐标；
S29、利用这些像素坐标计算横线的斜率，并换算为与水平线的夹角；如果夹角不为0°，则将图像按照夹角进行旋转。
S30，检测所述第三边缘图像中的水平直线，获取所述水平直线到第一图像底部的像素距离，并根据IMU的角度信息和玻璃幕墙边框转换模型计算水平边框距离；
具体的，本步骤是利用累计概率霍夫变换hough检测边缘图中的直线，通过定步长调整霍夫变换的阈值，尽可能完整的检测边缘图中的直线，并提取其中的水平直线。
具体流程如下。
S31、提取长度不小于5像素，宽度大于等于1像素的横线；
本实施例使用利用腐蚀和膨胀对图像进行处理，并进而提取长度不小于5像素，宽度大于等于1像素的横线；
S32、利用累计概率霍夫变换检测直线，并计算所有直线的斜率；
S33、根据斜率去除水平直线以外的直线；
S34、固定步长调整霍夫变换的接受直线最小长度的阈值，重复S32-S33；
S35、计算每条水平线到图像底部的像素距离；
S36、根据IMU测得的俯仰角，将像素距离带入玻璃幕墙边框转换模型计算水平直线到机器人的距离。
具体的，本实施例的玻璃幕墙边框转换模型是事先根据幕墙机器人拍摄的等间距网络来获取玻璃幕墙边框转换模型。其中玻璃幕墙边框转换模型记录了机器人俯仰角、水平线的像素距离与实际间距的对应关系以及机器人俯仰角、垂直线的斜率和截距与中线的距离的对应关系。
由于机器人在启动、刹车、越障过程中，车身会产生一定的俯仰角，因此还需要根据机器人能够产生的最大俯仰角变化范围，定步长测量俯仰角变化范围内的两种距离转换模型，形成考虑俯仰角的玻璃幕墙边框距离转换模型。
本实施例形成玻璃幕墙边框转换模型的流程如下：
S01、相机固定在机器人上，准备等间距黑白间隔网格板；
其中等间距黑白间隔网格板是类似国际象棋棋盘的等间距黑白间隔网格板。
S02、将相机俯仰角调整为工作角度，将网格板移到相机的视野中，并且网格板中点与相机视野中心重合，网格板水平线与相机水平线平行，网格板中间的垂直线与机器人中线重合；
S03、拍摄图片，记录此时的相机俯仰角，测量机器人到图片底部的距离；
S04、根据图片中网格板每两条水平线之间的像素距离和实际间距，建立水平边界的转换模型；
S05、根据图片中网格板每条垂直线的像素，计算每条垂直线在像素坐标系的斜率和截距，并根据垂直线与中线的距离，建立垂直边界的转换模型；
S06、根据机器人工作过程中可能出现的最大俯角和最大仰角，将相机俯仰角在该俯仰角区间按等步长进行调整，每次调整后重复S02-S05；
S07、根据俯仰角变化时水平边界转换模型和垂直边界转换模型的变化情况，建立玻璃幕边框转换模型。
S40，检测所述第三边缘图像中的垂直直线，并根据IMU的角度信息和将所述垂直直线的斜率和截距代入玻璃幕墙边框转换模型计算垂直边框距离；
本步骤与步骤S30类似，但是在调整阈值进行霍夫变换检测直线时，计算每条直线的斜率和截距，以此去除非垂直线的直线。具体流程如下。
S41、提取长度不小于30像素的横线，通过与边缘图相减来去除横线；
具体的，本实施例利用腐蚀和膨胀先对图像进行操作，然后提取长度不小于30像素的横线；
S42、识别像素群的连通区域，去除连通区域小于300像素的噪声；
S43、利用累计概率霍夫变换检测直线，并计算所有直线的斜率和截距；
S44、去除部分非垂直线的直线。去除坐标在左半边、斜率不大于0，和坐标在右半边、斜率不小于0的直线。保留下来的直线累加；
S45、固定步长调整霍夫变换的接受直线最小长度的阈值，重复S42- S44；
S46、根据IMU测得的俯仰角，将每条直线的斜率和截距代入玻璃幕墙边框转换模型，计算垂直直线到机器人的距离。
本实施例先建立玻璃幕墙边框转换模型，其中玻璃幕墙边框转换模型记录了机器人俯仰角、水平线的像素距离与实际间距的对应关系以及机器人俯仰角、垂直线的斜率和截距与中线的距离的对应关系。本实施例的玻璃幕墙边框转换模型在使用仅需要获取幕墙图像中幕墙的水平线以及幕墙的垂直线，并根据所述玻璃幕墙边框转换模型进行转换即可，幕墙上的水平线，在图像上也是水平线；但幕墙上的垂直线，在图像上则是有不同角度的斜线。本实施例的玻璃幕墙边框转换模型更简单、运算量更低，还能够消除翻滚角和俯仰角的变化对识别和测距精度的影响，因此既不需要更重的运算模块以应对大运算量，也不需要更重的电池以应对运算的能耗。进一步的，本实施例的单目边框测距方法仅需使用普通单目相机，总体重量也能降低。因此，对于靠负压吸附的幕墙清洁机器人，特别是应用于小面积的小型机器人，视觉模块越轻，机器人的续航和吸附能力就越强。
实施例二
参考图7-12，本实施例公开了一种单目边框测距装置，其包括如下单元：
幕墙边框图像获取单元，用于获取单目相机拍摄的包含有幕墙边框的第一图像；
具体的，本实施例的单目边框测距方法应用于幕墙机器人，所述幕墙机器人配置有一单目相机。在幕墙机器人执行清洁幕墙时，由搭载在幕墙机器人上的单目相机拍摄照片或视频，以形成所述第一图像。所述第一图像中包含有幕墙的边框。
边缘图像获取单元，用于分别使用第一参数、第二参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图、第二边缘图；将所述第一边缘图和所述第二边缘图进行融合获取第三边缘图；其中第一参数、第二参数不同；
在对图像进行边缘提取时，如果使用单一的边缘提取方法，会带来比较大的噪声，本实施例利用不同参数的Canny算子所提取边缘融合，以此来确保尽可能的提取到所有边缘。具体的，本实施例的边缘图像获取单元还包括如下子单元：
幕墙边框图像读取单元、用于获取所述单目相机拍摄的包含有幕墙边框的第一图像；
本实施例的，单目相机输出的第一图像是RGB图像。本领域技术人员知晓，在单目相机输出不是RGB图像时，可以使用图像的转换算法将单目相机输出的图像转换为RGB格式的图像。
具体的，在本步骤中使用高斯滤波对所述第一图像进行滤波以获取去除噪声后的第一图像。
第一参数canny算子提取单元、用于使用第一参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图；
本实施例的第一参数的canny算子的最小阈值设为40、最大阈值为100，获取窄阈值范围的第一边缘图。
第二参数canny算子提取单元、用于使用第二参数的canny算子对所述第一图像进行边缘提取以获取第二边缘图；
本实施例的第二参数的canny算子的最小阈值设为10、最大阈值为200，获取宽阈值范围的第二边缘图。
边缘图融合单元、用于将所述第一边缘图、第二边缘图各赋权重0.5后融合获取第三边缘图；
本实施例使用利用不同参数的Canny算子所提取边缘融合，以此来确保尽可能的提取到所有边缘，并将两种Canny算子获取的边缘图加权融合，根据Canny算子两种阈值设置下获取不同边缘的特性，在尽可能完整的获取图像边缘的同时降低噪声。
噪声去除单元、用于提取所述第三边缘图的像素群的轮廓，去除非矩形的像素以获取去除噪声的第三边缘图像。
幕墙的边缘一般是矩形，本实施例对第三边缘图进行像素群的轮廓检测，去除非矩形的像素，从而去除噪声。
具体的，幕墙机器人在工作过程中车身晃动会导致图像沿着顺时针或逆时针偏转，因此，本实施例根据图像中线附近的水平边界进行图像旋转校正。其包括如下子单元：
横线搜索单元、用于从所述去除噪声的第三边缘图或第三边缘图的中间开始，向顶部和底部搜索横线；
横线像素坐标搜索单元、用于从横线的中点开始，向左右延伸搜索左右两端的像素坐标；
横线像素坐标获取单元、用于根据左右两端的长度，等间距提取数个横线上的像素坐标；
横线斜率计算单元、用于利用所述像素坐标计算横线的斜率，并换算为与水平线的夹角；如果夹角不为0°，则将图像按照夹角进行旋转。
水平边框距离获取单元，用于检测所述第三边缘图像中的水平直线，获取所述水平直线到第一图像底部的像素距离，并根据IMU的角度信息和玻璃幕墙边框转换模型计算水平边框距离；
具体的，本步骤是利用累计概率霍夫变换检测边缘图中的直线，通过定步长调整霍夫变换的阈值，尽可能完整的检测边缘图中的直线，并提取其中的水平直线。其包括如下子单元：
横线提取单元、用于提取长度不小于5像素，宽度大于等于1像素的横线；
直线检测单元、用于利用累计概率霍夫变换检测直线，并计算所有直线的斜率；
水平线获取单元、用于根据斜率去除水平直线以外的直线；
直线检测的最小长度阈值调整单元、用于固定步长调整霍夫变换的接受直线最小长度的阈值，重复执行直线检测单元、水平线获取单元；
水平线的像素距离获取单元、用于计算每条水平线到图像底部的像素距离；
水平边框距离计算单元、用于根据IMU测得的俯仰角，将像素距离带入玻璃幕墙边框转换模型计算水平直线到机器人的距离。
具体的，本实施例的玻璃幕墙边框转换模型是事先根据幕墙机器人拍摄的等间距网络来获取玻璃幕墙边框转换模型。其中玻璃幕墙边框转换模型记录了机器人俯仰角、水平线的像素距离与实际间距的对应关系以及机器人俯仰角、垂直线的斜率和截距与中线的距离的对应关系。
由于机器人在启动、刹车、越障过程中，车身会产生一定的俯仰角，因此还需要根据机器人能够产生的最大俯仰角变化范围，定步长测量俯仰角变化范围内的两种距离转换模型，形成考虑俯仰角的玻璃幕墙边框距离转换模型。
本实施例的装置还包括如下形成玻璃幕墙边框转换模型的子单元：
相机固定在机器人上，准备等间距黑白间隔网格板；其中等间距黑白间隔网格板是类似国际象棋棋盘的等间距黑白间隔网格板。
网格板调整单元、用于将相机俯仰角调整为工作角度，将网格板移到相机的视野中，并且网格板中点与相机视野中心重合，网格板水平线与相机水平线平行，网格板中间的垂直线与机器人中线重合；
机器人到图片底部的距离获取单元、用于拍摄图片，记录此时的相机俯仰角，测量机器人到图片底部的距离；
水平边界的转换模型建立单元、用于根据图片中网格板每两条水平线之间的像素距离和实际间距，建立水平边界的转换模型；
垂直边界的转换模型建立单元、用于根据图片中网格板每条垂直线的像素，计算每条垂直线在像素坐标系的斜率和截距，并根据垂直线与中线的距离，建立垂直边界的转换模型；
俯仰角调整单元、用于根据机器人工作过程中可能出现的最大俯角和最大仰角，将相机俯仰角在该俯仰角区间按等步长进行调整，每次调整后重复网格板调整单元、机器人到图片底部的距离获取单元、水平边界的转换模型建立单元、垂直边界的转换模型建立单元；
玻璃幕边框转换模型建立单元、用于根据俯仰角变化时水平边界转换模型和垂直边界转换模型的变化情况，建立玻璃幕边框转换模型。
垂直边框距离获取单元，用于检测所述第三边缘图像中的垂直直线，并根据IMU的角度信息和将所述垂直直线的斜率和截距代入玻璃幕墙边框转换模型计算垂直边框距离；
垂直边框距离获取单元与水平边框距离获取单元类似，但是在调整阈值进行霍夫变换检测直线时，计算每条直线的斜率和截距，以此去除非垂直线的直线。具体包括如下子单元：
第二横线获取单元、用于提取长度不小于30像素的横线，通过与边缘图相减来去除横线；
像素群连通获取单元、用于识别像素群的连通区域，去除连通区域小于300像素的噪声；
直线斜率和截距计算单元、用于利用累计概率霍夫变换检测直线，并计算所有直线的斜率和截距；
垂直线获取单元、用于去除部分非垂直线的直线；去除坐标在左半边、斜率不大于0，和坐标在右半边、斜率不小于0的直线；保留下来的直线累加。
垂直线最小长度阈值调整单元、用于固定步长调整霍夫变换的接受直线最小长度的阈值，重复像素群连通获取单元、直线斜率和截距计算单元、垂直线获取单元；
垂直边框距离计算单元、用于根据IMU测得的俯仰角，将每条直线的斜率和截距代入玻璃幕墙边框转换模型，计算垂直直线到机器人的距离。
本实施例先建立玻璃幕墙边框转换模型，其中玻璃幕墙边框转换模型记录了机器人俯仰角、水平线的像素距离与实际间距的对应关系以及机器人俯仰角、垂直线的斜率和截距与中线的距离的对应关系。本实施例的玻璃幕墙边框转换模型在使用仅需要获取幕墙图像中幕墙的水平线以及幕墙的垂直线，并根据所述玻璃幕墙边框转换模型进行转换即可，幕墙上的水平线，在图像上也是水平线；但幕墙上的垂直线，在图像上则是有不同角度的斜线。本实施例的玻璃幕墙边框转换模型更简单、运算量更低，还能够消除翻滚角和俯仰角的变化对识别和测距精度的影响，因此既不需要更重的运算模块以应对大运算量，也不需要更重的电池以应对运算的能耗。进一步的，本实施例的单目边框测距方法仅需使用普通单目相机，总体重量也能降低。因此，对于靠负压吸附的幕墙清洁机器人，特别是应用于小面积的小型机器人，视觉模块越轻，机器人的续航和吸附能力就越强。
实施例三
参考图13，图13是本实施例的一种单目边框测距设备的结构示意图。该实施例的单目边框测距设备20包括处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述单目边框测距设备20中的执行过程。例如，所述计算机程序可以被分割成实施例二中的各个模块,各模块具体功能请参考上述实施例所述的装置的工作过程，在此不再赘述。
所述单目边框测距设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是单目边框测距设备20的示例，并不构成对单目边框测距设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述单目边框测距设备20还可以包括输入输出设备、网络接入设备、总线等。
所述处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述单目边框测距设备20的控制中心，利用各种接口和线路连接整个单目边框测距设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述单目边框测距设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述单目边框测距设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种单目边框测距方法，其包括如下步骤：
S10，获取单目相机拍摄的包含有幕墙边框的第一图像；
S20，分别使用第一参数、第二参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图、第二边缘图；将所述第一边缘图和所述第二边缘图进行融合获取第三边缘图；其中第一参数、第二参数不同；
S30，检测所述第三边缘图中的水平直线，获取所述水平直线到第一图像底部的像素距离，并根据IMU的角度信息和玻璃幕墙边框转换模型计算水平边框距离；
S40，检测所述第三边缘图中的垂直直线，并根据IMU的角度信息和将所述垂直直线的斜率和截距代入玻璃幕墙边框转换模型计算垂直边框距离。
2.根据权利要求1所述的方法，步骤S20还包括：
S21、获取所述单目相机拍摄的包含有幕墙边框的第一图像；
S22、使用第一参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图；
S23、使用第二参数的canny算子对所述第一图像进行边缘提取以获取第二边缘图；
S24、将所述第一边缘图、第二边缘图使用加权融合获取第三边缘图；
S25、提取所述第三边缘图的像素群的轮廓，去除非矩形的像素以获取去除噪声的第三边缘图。
3.根据权利要求2所述的方法，步骤S20还包括：
S26、从所述去除噪声的第三边缘图或第三边缘图的中间开始，向顶部和底部搜索横线；
S27、从横线的中点开始，向左右延伸搜索左右两端的像素坐标；
S28、根据左右两端的长度，等间距提取数个横线上的像素坐标；
S29、利用这些像素坐标计算横线的斜率，并换算为与水平线的夹角；如果夹角不为0°，则将图像按照夹角进行旋转。
4.根据权利要求1所述的方法，步骤S30具体包括：
S31、提取长度不小于5像素，宽度大于等于1像素的横线；
S32、利用累计概率霍夫变换检测直线，并计算所有直线的斜率；
S33、根据斜率去除水平直线以外的直线；
S34、固定步长调整霍夫变换的接受直线最小长度的阈值，重复S32-S33；
S35、计算每条水平线到图像底部的像素距离；
S36、根据IMU测得的俯仰角，将像素距离带入玻璃幕墙边框转换模型计算水平直线到机器人的距离。
5.根据权利要求4所述的方法，形成玻璃幕墙边框转换模型的流程如下：
S02、将相机俯仰角调整为工作角度，将等间距黑白间隔的网格板移到相机的视野中，并且网格板中点与相机视野中心重合，网格板水平线与相机水平线平行，网格板中间的垂直线与机器人中线重合；
S03、拍摄图片，记录此时的相机俯仰角，测量机器人到图片底部的距离；
S04、根据图片中网格板每两条水平线之间的像素距离和实际间距，建立水平边界的转换模型；
S05、根据图片中网格板每条垂直线的像素，计算每条垂直线在像素坐标系的斜率和截距，并根据垂直线与中线的距离，建立垂直边界的转换模型；
S06、根据机器人工作过程中可能出现的最大俯角和最大仰角，将相机俯仰角在该俯仰角区间按等步长进行调整，每次调整后重复S02-S05；
S07、根据俯仰角变化时水平边界转换模型和垂直边界转换模型的变化情况，建立玻璃幕边框转换模型。
6.根据权利要求5所述的方法，步骤S40具体包括：
S41、提取长度不小于30像素的横线，通过与边缘图相减来去除横线；
S42、识别像素群的连通区域，去除连通区域小于300像素的噪声；
S43、利用累计概率霍夫变换检测直线，并计算所有直线的斜率和截距；
S44、去除部分非垂直线的直线；去除坐标在左半边、斜率不大于0，和坐标在右半边、斜率不小于0的直线，保留下来的直线累加；
S45、固定步长调整霍夫变换的接受直线最小长度的阈值，重复S42- S44；
S46、根据IMU测得的俯仰角，将每条直线的斜率和截距代入玻璃幕墙边框转换模型，计算垂直直线到机器人的距离。
7.一种单目边框测距装置，其包括如下单元：
幕墙边框图像获取单元，用于获取单目相机拍摄的包含有幕墙边框的第一图像；
边缘图像获取单元，用于分别使用第一参数、第二参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图、第二边缘图；将所述第一边缘图和所述第二边缘图进行融合获取第三边缘图；其中第一参数、第二参数不同；
水平边框距离获取单元，用于检测所述第三边缘图中的水平直线，获取所述水平直线到第一图像底部的像素距离，并根据IMU的角度信息和玻璃幕墙边框转换模型计算水平边框距离；
垂直边框距离获取单元，用于检测所述第三边缘图中的垂直直线，并根据IMU的角度信息和将所述垂直直线的斜率和截距代入玻璃幕墙边框转换模型计算垂直边框距离。
8.根据权利要求7所述的装置，所述边缘图像获取单元还包括：
第一参数canny算子提取单元、用于使用第一参数的canny算子对所述第一图像进行边缘提取以获取第一边缘图；
第二参数canny算子提取单元、用于使用第二参数的canny算子对所述第一图像进行边缘提取以获取第二边缘图；
边缘图融合单元、用于将所述第一边缘图、第二边缘图各赋权重0.5后融合获取第三边缘图；
噪声去除单元、用于提取所述第三边缘图的像素群的轮廓，去除非矩形的像素以获取去除噪声的第三边缘图。
9.一种幕墙机器人，所述幕墙机器人具有单目相机、处理器、存储器，所述存储器上存储有指令，所述指令被处理器执行时，用以实现如权利要求1-6中任一项所述的单目边框测距方法。
10.一种非易失性存储介质，所述非易失性存储介质上存储有指令，所述指令被处理器执行时，用以实现如权利要求1-6中任一项所述的单目边框测距方法。
CN202211142781.9A 2022-09-20 2022-09-20 一种单目边框测距方法、装置、介质及幕墙机器人 Active CN115223031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211142781.9A CN115223031B (zh) 2022-09-20 2022-09-20 一种单目边框测距方法、装置、介质及幕墙机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211142781.9A CN115223031B (zh) 2022-09-20 2022-09-20 一种单目边框测距方法、装置、介质及幕墙机器人

Publications (2)

Publication Number Publication Date
CN115223031A true CN115223031A (zh) 2022-10-21
CN115223031B CN115223031B (zh) 2022-12-20

Family

ID=83616989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211142781.9A Active CN115223031B (zh) 2022-09-20 2022-09-20 一种单目边框测距方法、装置、介质及幕墙机器人

Country Status (1)

Country Link
CN (1) CN115223031B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661267A (zh) * 2022-11-10 2023-01-31 凌度(广东)智能科技发展有限公司 单目测距模型标定方法、电子设备及幕墙机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274353A1 (en) * 2010-05-07 2011-11-10 Hailong Yu Screen area detection method and screen area detection system
CN104881672A (zh) * 2015-06-15 2015-09-02 广西科技大学 野外勘探机器人目标识别特征提取方法
JP2020091799A (ja) * 2018-12-07 2020-06-11 富士通株式会社 画像変換装置、画像変換プログラム、および画像変換方法
JP2022066697A (ja) * 2020-10-19 2022-05-02 セイコーエプソン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
CN114972537A (zh) * 2022-05-27 2022-08-30 武汉理工大学 一种考虑车身俯仰角度影响的路肩高度测量方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274353A1 (en) * 2010-05-07 2011-11-10 Hailong Yu Screen area detection method and screen area detection system
CN104881672A (zh) * 2015-06-15 2015-09-02 广西科技大学 野外勘探机器人目标识别特征提取方法
JP2020091799A (ja) * 2018-12-07 2020-06-11 富士通株式会社 画像変換装置、画像変換プログラム、および画像変換方法
JP2022066697A (ja) * 2020-10-19 2022-05-02 セイコーエプソン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
CN114972537A (zh) * 2022-05-27 2022-08-30 武汉理工大学 一种考虑车身俯仰角度影响的路肩高度测量方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蒋境伟: "玻璃幕墙清洗机器人控制系统的设计", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661267A (zh) * 2022-11-10 2023-01-31 凌度(广东)智能科技发展有限公司 单目测距模型标定方法、电子设备及幕墙机器人

Also Published As

Publication number Publication date
CN115223031B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
US9536147B2 (en) Optical flow tracking method and apparatus
US10163256B2 (en) Method and system for generating a three-dimensional model
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN112172797B (zh) 泊车控制方法、装置、设备和存储介质
CN115223031B (zh) 一种单目边框测距方法、装置、介质及幕墙机器人
CN111243003A (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN103049909A (zh) 一种以车牌为焦点的曝光方法
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
CN111488762A (zh) 一种车道级定位方法、装置及定位设备
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
CN110020572B (zh) 基于视频图像的人数统计方法、装置、设备及存储介质
JP2020095631A (ja) 画像処理装置および画像処理方法
CN112529943B (zh) 一种物体检测方法、物体检测装置及智能设备
CN114428259A (zh) 一种基于地图车采集的地库激光点云中车辆自动提取方法
CN113066100A (zh) 目标跟踪方法、装置、设备及存储介质
CN113435287A (zh) 草地障碍物识别方法、装置、割草机器人及可读存储介质
CN112364693A (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN110264531A (zh) 一种棋盘格角点的捉取方法、装置、系统及可读存储介质
CN113255405A (zh) 车位线识别方法及其系统、车位线识别设备、存储介质
JP4236154B2 (ja) 電力線の揺れ解析用画像における気象性ノイズの除去方法および装置およびプログラム
CN115082662B (zh) 目标区域的定位方法和目标区域的定位装置
JP2018084925A (ja) 駐車枠検知装置、駐車枠検知方法、プログラム、および非一時的記録媒体
CN115578627A (zh) 一种单目图像边界识别方法、装置、介质及幕墙机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant