CN112419400A - 机器人的位置检测方法、检测装置、处理器和电子设备 - Google Patents

机器人的位置检测方法、检测装置、处理器和电子设备 Download PDF

Info

Publication number
CN112419400A
CN112419400A CN202011043168.2A CN202011043168A CN112419400A CN 112419400 A CN112419400 A CN 112419400A CN 202011043168 A CN202011043168 A CN 202011043168A CN 112419400 A CN112419400 A CN 112419400A
Authority
CN
China
Prior art keywords
determining
line
coordinate system
image
wall surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011043168.2A
Other languages
English (en)
Inventor
赵瑞欣
黄以恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN202011043168.2A priority Critical patent/CN112419400A/zh
Publication of CN112419400A publication Critical patent/CN112419400A/zh
Priority to CN202110252404.XA priority patent/CN112907656A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Abstract

本申请提供了一种机器人的位置检测方法、检测装置、处理器和电子设备,该机器人的位置检测方法包括:采用激光三角测距法,确定像素坐标系与相机坐标系的转换关系;获取待施工墙面的图像;根据图像以及转换关系确定机器人的位置信息,位置信息至少包括机器人与待施工墙面之间的距离。该检测方法通过激光三角测距法原理确定像素坐标系和相机坐标系的转换关系,根据待施工墙面面的图像以及转换方法,确定机器人与待施工墙面之间的距离等位置信息,缓解了现有的难以精确地检测到建筑机器人和墙面之间的位置关系的问题,可以较为准确的确定机器人的位置信息,保证了后续机器人可以根据位置信息较为准确的对待施工墙面进行施工,更好的保证施工的效果。

Description

机器人的位置检测方法、检测装置、处理器和电子设备
技术领域
本申请涉及智能机器人领域,具体而言,涉及一种机器人的位置检测方法、检测装置、计算机可读存储介质、处理器和电子设备。
背景技术
近年来,随着计算机视觉技术的迅速发展,机器人在各行各业都有广泛的应用,如医疗机器人、警务机器人、服务机器人和建筑机器人等。
其中,随着建筑行业日益发展,建筑工人日益短缺,且效率低下,建筑机器人的需求越来越大;而在建筑机器人中,视觉对其智能化起到关键作用,在视觉测量过程中,激光因其具有非接触性、高精度以及高效率而广泛应用。
现有技术中,利用激光来检测建筑机器人与墙面的位置关系,来保证建筑机器人施工的准确性,但是,现有技术难以精确地检测到建筑机器人和墙面之间的位置关系,导致建筑机器人难以精准地施工。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解,因此,背景技术中可能包含某些信息,这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
发明内容
本申请的主要目的在于提供一种机器人的位置检测方法、检测装置、计算机可读存储介质、处理器和电子设备,以解决现有技术中难以精确地检测到建筑机器人和墙面之间的位置关系,导致建筑机器人难以精准地施工的问题。
根据本身请实施例的一个方面,提供了一种机器人的位置检测方法,包括:采用激光三角测距法,确定像素坐标系与相机坐标系的转换关系;获取待施工墙面的图像;根据所述图像以及所述转换关系确定所述机器人的位置信息,所述位置信息至少包括所述机器人与所述待施工墙面之间的距离。
可选地,采用激光三角测距法,确定像素坐标系与相机坐标系的第一转换关系,包括:利用三角形相似性,确定所述像素坐标系与所述相机坐标系的转换公式;确定激光平面方程在相机坐标系的表达式,所述表达式和所述转换公式构成所述转换关系,所述激光平面为安装在所述机器人上的激光器发出的激光形成的平面。
可选地,根据所述图像以及所述转换关系确定所述机器人的位置信息,包括:确定所述图像上的预定点在所述像素坐标系的坐标,所述预定点包括所述图像的中心点;根据所述预定点的在所述像素坐标系的坐标以及所述转换关系,确定所述预定点在所述相机坐标系中的坐标;根据所述预定点在所述相机坐标系中的坐标,确定至少部分所述位置信息。
可选地,确定所述图像上的预定点在所述像素坐标系的坐标,包括:确定在第一预定点在所述像素坐标系的坐标,所述第一预定点为所述图像的中心点;确定第二预定点和第三预定点分别在所述像素坐标系的坐标,所述第二预定点为竖直激光线的中心线的中心点,所述竖直激光线为安装在所述机器人上的激光器发射至所述待施工墙面上的激光线,所述第三预定点为所述图像上的黏贴物体的边缘线的中心点,所述黏贴物体位于所述待施工墙面,且所述黏贴物体的边缘线为所述黏贴物体与所述待施工墙面之间的边缘线,根据所述预定点在所述相机坐标系中的坐标,确定至少部分所述位置信息,包括:根据所述第一预定点在所述相机坐标系中的坐标,确定所述机器人与所述待施工墙面之间的距离;根据所述第二预定点和所述第三预定点分别在所述相机坐标系中的坐标,确定所述竖直激光线和所述黏贴物体的边缘线的距离。
可选地,确定第二预定点和第三预定点在所述像素坐标系的坐标,包括:根据所述图像,确定所述竖直激光线的中心线的位置和所述黏贴物体的边缘线的位置;根据所述竖直激光线的位置,确定所述第二预定点在所述像素坐标系的坐标;根据所述黏贴物体的边缘线的位置,确定所述第三预定点在所述像素坐标系的坐标。
可选地,所述图像包括所述竖直激光线、所述黏贴物体以及待施工墙面的裸露表面,根据所述图像,确定所述竖直激光线的中心线的位置和所述黏贴物体的边缘线的位置,包括:计算所述图像的像素矩阵的每个像素列的平均灰度值,得到第一平均灰度值;对所述第一平均灰度值进行差分运算,得到多个第一差分值;确定最大的所述第一差分值对应的所述像素列的位置为所述竖直激光线的预备位置;确定预定极大值对应的所述像素列的位置为所述黏贴物体的边缘线的预备位置,所述预定极大值为在预定方向上出现的第一个所述第一差分值的极大值;根据所述竖直激光线的预备位置,确定所述竖直激光线的中心线的位置;根据所述黏贴物体的边缘线的预备位置,确定所述黏贴物体的边缘线的位置。
可选地,根据所述竖直激光线的预备位置,确定所述竖直激光线的中心线的位置,包括:根据所述竖直激光线的预备位置,确定所述图像中的第一感兴趣区域,所述竖直激光线的预备位置在所述第一感兴趣区域内;根据所述第一感兴趣区域求解y方向的索贝尔算子,得到第一卷积结果,所述y方向为所述像素坐标系的纵轴方向;对所述第一卷积结果依次进行裁剪与归一化处理,得到第一裁剪图;对所述第一裁剪图阈值化,并确定阈值化后的第一有效信息点;根据所述第一有效信息点在所述像素坐标系的坐标,进行拟合直线,得到所述竖直激光线的中心线的方程式。
可选地,根据所述黏贴物体的边缘线的预备位置,确定所述黏贴物体的边缘线的位置,包括:根据所述黏贴物体的边缘线的预备位置,确定所述图像中的第二感兴趣区域,所述黏贴物体的边缘线的预备位置在所述第二感兴趣区域内;根据所述第二感兴趣区域求解y方向的索贝尔算子,得到第二卷积结果,所述y方向为所述像素坐标系的纵轴方向;对所述第二卷积结果依次进行裁剪与归一化处理,得到第二裁剪图;对所述第二裁剪图阈值化,并确定阈值化后的第二有效信息点;根据所述第二有效信息点在所述像素坐标系的坐标,进行拟合直线,得到所述黏贴物体的边缘线的中心线的方程式。
可选地,根据所述图像以及所述转换关系确定所述机器人的位置信息,包括:确定所述图像上的横向激光线的中心线的位置;根据所述横向激光线的中心线的位置、待施工墙面的法向量以及所述转换关系,计算激光器和所述待施工墙面的夹角,所述激光器安装在所述机器人上。
可选地,所述图像包括横向激光线,所述横向激光线由激光器发射至所述待施工墙面上的激光线,确定所述图像上的横向激光线的中心线的位置,包括:计算所述图像的像素矩阵的每个像素行的平均灰度值,得到第二平均灰度值;对所述第二平均灰度值进行差分运算,得到多个第二差分值;确定最大的所述第二差分值对应的所述像素行的位置为所述横向激光线的预备位置;根据所述横向激光线的预备位置,确定所述横向激光线的中心线的位置。
可选地,根据所述横向激光线的预备位置,确定所述横向激光线的中心线的位置,包括:根据所述横向激光线的预备位置,确定所述图像中的第三感兴趣区域,所述横向激光线的预备位置在所述第三感兴趣区域内;根据所述第三感兴趣区域求解y方向的索贝尔算子,得到第三卷积结果,所述y方向为所述像素坐标系的纵轴方向;对所述第三卷积结果依次进行裁剪与归一化处理,得到第三裁剪图;对所述第三裁剪图阈值化,并确定阈值化后的第三有效信息点;根据所述第三有效信息点在所述像素坐标系的坐标,进行拟合直线,得到所述横向激光线的中心线的位置。
可选地,所述检测方法包括:根据所述横向激光线的中心线的位置、所述待施工墙面的法向量以及所述转换关系,计算所述激光器和所述待施工墙面的夹角,包括:将所述横向激光线的方程转换为相机坐标系的方程,得到目标直线方程;计算所述目标直线方程的方向向量与所述待施工墙面的法向量的夹角,得到激光器和所述待施工墙面的夹角。
可选地,所述待施工墙面为墙面,所述黏贴物体包括墙纸。
根据本申请实施例的另一方面,还提供了一种机器人的位置检测装置,包括第一确定单元、获取单元和第二确定单元,其中,所述第一确定单元用于采用激光三角测距法,确定像素坐标系与相机坐标系的转换关系;所述获取单元用于获取待施工墙面的图像;所述第二确定单元用于根据所述图像以及所述转换关系确定所述机器人的位置信息,所述位置信息至少包括所述机器人与所述待施工墙面之间的距离。
根据本身请实施例的另一方面,还提供了一种计算机可读存储介质,所述存储介质包括存储的程序,其中,所述程序执行任一种所述的方法。
根据本身请实施例的又一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行任一种所述的方法。
根据本申请实施例的再一方面,还提供了一种电子设备,包括:一个或多个处理器,存储器以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行任一种所述的方法。
本申请提供了一种机器人的检测方法,所述检测方法,通过所述激光三角测距法确定像素坐标系和相机坐标系的转换关系,根据获取的待施工墙面的图像以及所述转换方法,确定机器人与待施工墙面之间的距离等位置信息,缓解了现有的难以精确地检测到建筑机器人和墙面之间的位置关系的问题,可以较为准确的确定机器人的位置信息,保证了后续机器人可以根据所述位置信息较为准确的对待施工墙面进行施工,保证了施工的效果较好。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
为了使本技术领域的人员更好地理解本申请方案,下面将对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是,当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时,该元件可直接在该另一元件上,或者也可存在中间元件。而且,在说明书以及权利要求书中,当描述有元件“连接”至另一元件时,该元件可“直接连接”至该另一元件,或者通过第三元件“连接”至该另一元件。
正如背景技术中所说的,现有技术中难以精确地检测到建筑机器人和墙面之间的位置关系,导致建筑机器人难以精准地施工,为了解决上述问题,本申请的一种典型的实施方式中,提供了一种机器人的位置检测方法、计算机可读存储介质、处理器和电子设备。
根据本申请的实施例,提供了一种机器人的位置检测方法。该方法包括以下步骤:
步骤S101,采用激光三角测距法,确定像素坐标系与相机坐标系的转换关系;
步骤S102,获取待施工墙面的图像;
步骤S103,根据上述图像以及上述转换关系确定上述机器人的位置信息,上述位置信息至少包括上述机器人与上述待施工墙面之间的距离。
上述机器人的位置检测方法,通过上述激光三角测距法确定像素坐标系和相机坐标系的转换关系,根据获取的待施工墙面的图像以及上述转换方法,确定机器人与待施工墙面之间的距离等位置信息,缓解了现有的难以精确地检测到建筑机器人和墙面之间的位置关系的问题,可以较为准确的确定机器人的位置信息,保证了后续机器人可以根据上述位置信息较为准确的对待施工墙面进行施工,保证了施工的效果较好。
为了进一步地保证确定的像素坐标系与相机坐标系的转换关系较为精确,进而保证对机器人的位置信息的准确标定,根据本申请的一种具体的实施例,采用激光三角测距法,确定像素坐标系与相机坐标系的第一转换关系,包括:利用三角形相似性,确定上述像素坐标系与上述相机坐标系的转换公式;确定激光平面方程在相机坐标系的表达式,上述表达式和上述转换公式构成上述转换关系,上述激光平面为安装在机器人上的激光器发出的激光形成的平面。
具体的一种实施例中,确定像素坐标系与相机坐标系的第一转换关系的具体过程如下:
首先对像素坐标进行畸变矫正,公式如下式1.1和1.2所示:
Figure RE-GDA0002905469350000051
Figure RE-GDA0002905469350000052
其中,K1,K2,K3表示径向畸变参数,P1,P2表示切向畸变参数,
Figure RE-GDA0002905469350000053
表示畸变矫正前的像素坐标系的坐标点,u′,v′表示畸变矫正后的像素坐标系的坐标点,
Figure RE-GDA0002905469350000054
然后转换像素坐标系和像平面坐标系,如下公式所示:
Figure RE-GDA0002905469350000055
其中,sx,sy分别表示图像物理坐标系与像素坐标系的缩放因子,cx,cy表示到像素坐标系原点的移动距离,u,v分别表示图像物理坐标系的坐标点,u′,v′分别表示矫正后的像素坐标系上坐标点;
进而根据三角相似性得出像素坐标系和相机坐标系转换关系,如1.4所示:
Figure RE-GDA0002905469350000056
其中,f为相机焦距,xc,yc,zc为相机坐标系的点,λ为相似比;
激光平面方程在相机坐标系下表达式为:
Nx(xc-Ox)+Ny(yc-Oy)+Nz(zc-Oz)=0---------------------------(1.5)
其中,(Nx,Ny,Nz)为激光平面的法向量,(Ox,Oy,Oz)为激光平面上一点;
联立1.4和1.5可解出λ,如式1.6所示:
Figure RE-GDA0002905469350000061
从而可以得出xc,yc,zc
Figure RE-GDA0002905469350000062
在实际的应用过程中,确定激光平面的具体过程如下:
通过相似原理,
ΔABOC~ΔoCOC----------------------------------(4.1)
ΔPBOC~ΔpCOC----------------------------------(4.2)
得到如下公式:
Figure RE-GDA0002905469350000063
故,得到
Figure RE-GDA0002905469350000064
Figure RE-GDA0002905469350000065
其中,o-xy是图像物理坐标系,Oc-XcYc是相机坐标系,p(x,y)是图像物理坐标系中坐标点,P(Xc,Yc,Zc)为相机坐标系坐标点;
结合在像素坐标系和相机坐标系的转换关系,通过以下步骤拟合激光平面:
步骤一:计算出横向激光线上的每个像素点在相机坐标系下对应的坐标点,分别记为 (P11,P12,…,P1n),相机光心位置作为光心原点O1(Xo1,Yo1,Zo1),
步骤二:直线后退机器,循环步骤一两次,转换的激光点坐标分别为(P21,P22,...,P2n)和 (P31,P32,…,P3n),分别记光心坐标原点为O2(Xo2,Yo2,Zo2)和O3(Xo3,Yo3,Zo3);
步骤三:由于机器直线后移,横向激光线在同一个平面上,由于移动时候不能保证绝对直线,因此需要通过拟合直线平面减小误差,坐标原点通过均值记作激光平面一点 O(Ox,Oy,Oz):
Figure RE-GDA0002905469350000071
通过最小二乘拟合激光平面Nx(xc-Ox)+Ny(yc-Oy)+Nz(zc-Oz)=0,得出法向量 (Nx,Ny,Nz):令
Figure RE-GDA0002905469350000072
令εi=Nxxi+Nyyi+Nzzi,转换关系为:
Figure RE-GDA0002905469350000073
Figure RE-GDA0002905469350000074
Figure RE-GDA0002905469350000075
Figure RE-GDA0002905469350000076
Figure RE-GDA0002905469350000077
记为Ax=0,对A进行svd分解,最小特征向量即为(Nx,Ny,Nz)。
根据本申请的另一种具体的实施例,根据上述图像以及上述转换关系确定上述机器人的位置信息,包括:确定上述图像上的预定点在上述像素坐标系的坐标,上述预定点包括上述图像的中心点;根据上述预定点的在上述像素坐标系的坐标以及上述转换关系,确定上述预定点在上述相机坐标系中的坐标;根据上述预定点在上述相机坐标系中的坐标,确定至少部分上述位置信息。通过确定包括上述图像的中心点的上述预定点在上述像素坐标系的坐标,根据上述转换关系,确定上述预定点在上述相机坐标系中的坐标,进而确定至少部分上述位置信息,进一步地实现了对机器人部分上述位置信息的确定,且得到的上述位置信息较为准确。
在实际的应用过程中,确定上述图像上的预定点在上述像素坐标系的坐标,包括:确定在第一预定点在上述像素坐标系的坐标,上述第一预定点为上述图像的中心点;确定第二预定点和第三预定点分别在上述像素坐标系的坐标,上述第二预定点为竖直激光线的中心线的中心点,上述竖直激光线为安装在上述机器人上的激光器发射至上述待施工墙面上的激光线,上述第三预定点为上述图像上的黏贴物体的边缘线的中心点,上述黏贴物体位于上述待施工墙面,且上述黏贴物体的边缘线为上述黏贴物体与上述待施工墙面之间的边缘线,根据上述预定点在上述相机坐标系中的坐标,确定至少部分上述位置信息,包括:根据上述第一预定点在上述相机坐标系中的坐标,确定上述机器人与上述待施工墙面之间的距离;根据上述第二预定点和上述第三预定点分别在上述相机坐标系中的坐标,确定上述竖直激光线和上述黏贴物体的边缘线的距离。上述检测方法,通过确定图像中的上述中心点在上述相机坐标系中的坐标,确定上述机器人与上述待施工墙面间的距离,通过确定图像中的上述竖直激光线的中心线的中心点以及上述黏贴物体的边缘线的中心点在上述相机坐标系中的坐标,确定上述竖直激光线以及上述黏贴物体的边缘线的间距离,从而较为准确的确定了上述机器人到上述待施工墙面间的距离以及机器人发出的上述激光线到待施工墙面边缘线的距离,保证了机器人根据上述距离可以较为准确的移动到待施工墙面边缘,进一步地保证了施工的精度较好。
在实际的应用过程中,得到上述竖直激光线与上述黏贴物体的边缘线的距离的具体计算过程如下:
通过式(1.4)和式(1.5)联立,带入畸变矫正后的像素坐标系上的坐标点u,v以及图像中的竖直激光线和黏贴物体的边缘线中心点(clx,cly),(cwx,cwy),分别计算得出对应的三维坐标点记为(xl,yl,zl)和(xw,yw,zw),计算两点距离记为d1,代表竖直激光线和墙纸边缘的距离;
Figure RE-GDA0002905469350000081
同理通过式(1.4)和式(1.5)联立,带入畸变矫正后的像素坐标系上的坐标点u,v以及图像中心点(cx,cy),转换得到对应的三维点记为(xc,yc,zc),则机器人上相机距离墙面距离记为d2
Figure RE-GDA0002905469350000082
本申请的一种具体的实施例中,确定第二预定点和第三预定点在上述像素坐标系的坐标,包括:根据上述图像,确定上述竖直激光线的中心线的位置和上述黏贴物体的边缘线的位置;根据上述竖直激光线的位置,确定上述第二预定点在上述像素坐标系的坐标;根据上述黏贴物体的边缘线的位置,确定上述第三预定点在上述像素坐标系的坐标。根据上述竖直激光线的中心线与上述黏贴物体的边缘线在上述图像中的位置,可以准确的得到上述竖直激光线的中心线的中心点与上述黏贴物体的边缘线的中心点在上述像素坐标系中的坐标,进而保证了后续使用上述转换关系得到对应的相机坐标系中的坐标比较精确,进一步地保证了对上述机器人的位置信息的精确定位。
在本申请的又一种具体的实施例中,上述图像包括上述竖直激光线、上述黏贴物体以及待施工墙面的裸露表面,根据上述图像,确定上述竖直激光线的中心线的位置和上述黏贴物体的边缘线的位置,包括:计算上述图像的像素矩阵的每个像素列的平均灰度值,得到第一平均灰度值;对上述第一平均灰度值进行差分运算,得到多个第一差分值;确定最大的上述第一差分值对应的上述像素列的位置为上述竖直激光线的预备位置;确定预定极大值对应的上述像素列的位置为上述黏贴物体的边缘线的预备位置,上述预定极大值为在预定方向上出现的第一个上述第一差分值的极大值;根据上述竖直激光线的预备位置,确定上述竖直激光线的中心线的位置;根据上述黏贴物体的边缘线的预备位置,确定上述黏贴物体的边缘线的位置。上述检测方法,通过确定图像的上述像素矩阵的每列的平均灰度值,再将上述平均灰度值进行差分运算得到多个第一差分值,上述第一差分值中的最大值对应的像素列位置为上述竖直激光线的预备位置,在预定方向上出现的第一个上述第一差分值的极大值对应的像素列位置为上述黏贴物体的边缘线的预备位置,上述竖直激光线的中心线的位置和上述黏贴物体的边缘线的位置,利用激光器高亮度的特性,以及墙纸边缘两侧信息对比度大且墙面光滑的特性,实现了对竖直激光线位置和待施工墙面边缘线位置简单、高效的初步定位,避免了墙纸颜色、纹理以及胶水等对定位的干扰,同时,该方法也可以避免由拍摄的补光光源带来的干扰,具体地,补光光源照射到的相邻两列的平均灰度值的差值较小,经差分运算后差分值基本一致;而被竖直激光线照射的像素列的平均灰度值与未被竖直激光线照射的像素列平均灰度值的差值大,经差分运算后对应的最大的上述第一差分值对应的像素列的位置即为上述竖直激光线的预备位置。同理,墙面相邻两像素列的平均灰度值的差值也较小,经差分运算后差分值基本一致;而粘黏了黏贴物体的墙面因纹理、颜色等因素的反光,在黏贴物体的边缘像素列与墙面像素列的差值较大,故经差分运算后得到的第一个上述第一差分值的极大值即为上述黏贴物体的边缘线的预备位置,上述第一差分值中的最大值对应的像素列的中心线位置即为上述黏贴物体的边缘线的位置。
具体地,上述预定极大值为在预定方向上出现的第一个上述第一差分值的极大值,确定上述预定极大值对应的上述像素列的位置为上述黏贴物体的边缘线的预备位置,包括了两种情况,施工过程从左向右在待施工墙面贴附黏贴物体(例如墙纸)的情况下况下,右边的待施工墙面上无黏贴物体,这样该部分的像素列的差分值较小,且不同位置处的上述像素列的差分值基本一致,到了黏贴物体的边缘线处像素列的差分值发生突变,故上述黏贴物体的边缘线的预备位置为从右向左的方向上出现的第一个上述第一差分值的极大值;施工过程中从右向左在待施工墙面贴附黏贴物体(例如墙纸)的情况下况,左边的待施工墙面上无黏贴物体,这样该部分的像素列的差分值较小,且不同位置处的上述像素列的差分值基本一致,到了黏贴物体的边缘线处像素列的差分值发生突变,故上述黏贴物体的边缘线的预备位置为从左向右的方向上出现的第一个上述第一差分值的极大值,上述第一差分值中的最大值对应的像素列的中心线位置即为上述黏贴物体的边缘线的位置。
在实际的应用过程中,根据上述图像,确定上述竖直激光线的中心线的位置和上述黏贴物体的边缘线的位置,具体实施过程如下:
计算灰度图的列灰度均值,得到第一平均灰度值,如公式2.1所示:
Figure RE-GDA0002905469350000091
其中,M(i)表示第i列的均值,H表示图像的高度,W表示图像的宽度,G(i,j)表示灰度图中i行j列的灰度值;
得到竖直激光线的列均值投影图。
计算平均灰度值的差分,得到多个第一差分值,如公式2.2所示:
D(s)=M(t+1)-M(t),t∈(1,W-1)--------------------------------(2.2) 其中,D(s)为第(t+1)列与s列的均值差分结果,M为式(2.1)中列均值数组;
得到竖直激光线的列差分图。
根据所得差分数组,计算其中极值所在位置,定位竖直激光线和墙纸边缘,如公式2.3所示:
E(x)=max(D(p),...,D(p+k))----------------------------------(2.3)
其中,p表示差分数组D中极值的起始位置,K表示极值区域长度,E(x)表示D(p+k)D(p)到D(p+k)区间的极大值,判断E(x)大于某阈值,则选定该点为激光线或墙纸边缘的候选点;
根据提取的极值点,结合峰值的分布结构特点,选取波峰值最大的,即最大的第一差分值对应的像素列的位置为竖直激光线的预备位置,选取在预定方向上出现的第一个第一差分值的极大值,为黏贴物体的边缘线的预备位置,其中,从左向右铺设墙纸的情况下,上述黏贴物体的边缘线的预备位置为从右向左出现的第一个第一差分值的极大值。
为了更加准确地确定上述竖直激光线的中心线的位置,根据本申请的再一种具体的实施例中,根据上述竖直激光线的预备位置,确定上述竖直激光线的中心线的位置,包括:根据上述竖直激光线的预备位置,确定上述图像中的第一感兴趣区域,上述竖直激光线的预备位置在上述第一感兴趣区域内;根据上述第一感兴趣区域求解y方向的索贝尔算子,得到第一卷积结果,上述y方向为上述像素坐标系的纵轴方向;对上述第一卷积结果依次进行裁剪与归一化处理,得到第一裁剪图;对上述第一裁剪图阈值化,并确定阈值化后的第一有效信息点;根据上述第一有效信息点在上述像素坐标系的坐标,进行拟合直线,得到上述竖直激光线的中心线的方程式。上述检测方法通过对上述第一有效信息点进行筛选,并通过直线拟合得到上述竖直激光线的中心线的方程式,实现了对上述竖直激光线的中心线的精确定位,进一步地保证了对机器人的位置信息的精确定位,进而保证施工的精度较好。
具体的一种实施例中,通过设定一个阈值并进行二值化处理,得到上述第一有效信息点。
需要说明的是,上述拟合直线可以通过直线拟合法得到上述竖直激光线的中心线的方程式,还可以通过Hough变换改进结合拟合算法得到。
为了更加准确地确定上述黏贴物体的边缘线的位置,本身请的又一种具体的实施例中,根据上述黏贴物体的边缘线的预备位置,确定上述黏贴物体的边缘线的位置,包括:根据上述黏贴物体的边缘线的预备位置,确定上述图像中的第二感兴趣区域,上述黏贴物体的边缘线的预备位置在上述第二感兴趣区域内;根据上述第二感兴趣区域求解y方向的索贝尔算子,得到第二卷积结果,上述y方向为上述像素坐标系的纵轴方向;对上述第二卷积结果依次进行裁剪与归一化处理,得到第二裁剪图;对上述第二裁剪图阈值化,并确定阈值化后的第二有效信息点;根据上述第二有效信息点在上述像素坐标系的坐标,进行拟合直线,得到上述黏贴物体的边缘线的中心线的方程式。上述检测方法通过对上述第二有效信息点进行筛选,并通过直线拟合得到上述黏贴物体的边缘线的中心线的方程式,实现了对上述黏贴物体的边缘线的中心线的精确定位,进一步地保证了对机器人的位置信息的精确定位,进而保证施工的精度较好。
具体的一种实施例中,通过设定一个阈值并进行二值化处理,得到上述第二有效信息点。
具体地,上述的裁剪为将需要的局部区域的图像从整个图像中区分出来,可以对坐标系中窗口边界进行裁剪,然后把窗口内的部分映射到视区中,也可以将坐标系的图像映射到设备坐标系中,再用视区边界裁剪。上述的阈值化为利用图像像素点分布规律,设定阈值进行像素点分割,进而得到图像的二值图像,常用的方法有OTSU(大律法或最大类间方差法)、固定阈值法、自适应阈值法、双阈值法及半阈值化法等。当然,还可以采用本领域其他手段实现上述裁剪和阈值化的操作。
需要说明的是,上述拟合直线可以通过直线拟合法得到上述黏贴物体的边缘线的中心线的方程式,还可以通过Hough变换改进结合拟合算法得到。
在实际的应用过程中,根据上述竖直激光线的预备位置和上述黏贴物体的边缘线的预备位置,得到上述竖直激光线的中心线的方程式和上述黏贴物体的边缘线的中心线的方程式的具体过程如下:
根据场景特殊性,求y方向索贝尔算子结果,如公式3.1所示:
Figure RE-GDA0002905469350000111
Figure RE-GDA0002905469350000112
其中,K为卷积核,SG为第一卷积结果,
Figure RE-GDA0002905469350000113
为卷积符,G为感兴趣区域,是根据上述差分得到的预备位置的区域;
为降低根据极值位置信息,裁剪SG,并做归一化操作,如下所示:
Figure RE-GDA0002905469350000114
其中,μ为裁剪图的均值,σ为裁剪图的标准差,x为裁剪图中的某点灰度值,x′为归一化结果,得到裁切图;
将归一化的裁剪图阈值化,收集阈值化后的有效信息点,进行拟合直线,得出激光线和墙纸边缘线结果,如下公式所示:
Figure RE-GDA0002905469350000115
其中,n为待拟合点集合个数,(x,y)为其中坐标值,方程表达式为y=ax+b,通过解方程,可得方程关系式;
最终,通过拟合出的关系式计算述竖直激光线的中心线的位置和上述黏贴物体的边缘线的中心线的位置。
本申请的又一种具体的实施例中,根据上述图像以及上述转换关系确定上述机器人的位置信息,包括:确定上述图像上的横向激光线的中心线的位置;根据上述横向激光线的中心线的位置、待施工墙面的法向量以及上述转换关系,计算上述激光器和上述待施工墙面的夹角。上述检测方法通过确定上述图像上的上述横向激光线的中心线的位置,并根据上述横向激光线的中心线的位置、上述待施工墙面的法向量以及上述转换关系,计算得到上述激光器和上述施工墙面的夹角,进而较为精确地得到上述机器人与上述施工墙面的夹角,上述机器人通过上述夹角信息自动调整施工角度,使得施工时与墙面保持垂直状态,方便机器人正常作业,且进一步地保证了施工的精度较高。
一种具体地实施例中,上述图像包括横向激光线,上述横向激光线由激光器发射至上述待施工墙面上的激光线,确定上述图像上的横向激光线的中心线的位置,包括:计算上述图像的像素矩阵的每个像素行的平均灰度值,得到第二平均灰度值;对上述第二平均灰度值进行差分运算,得到多个第二差分值;确定最大的上述第二差分值对应的上述像素行的位置为上述横向激光线的预备位置;根据上述横向激光线的预备位置,确定上述横向激光线的中心线的位置。上述检测方法,通过确定图像的上述像素矩阵的每行的平均灰度值,再将上述平均灰度值进行差分运算得到多个第二差分值,上述第二差分值中的最大值对应的像素列位置为上述横向激光线的预备位置,从而得到上述横向激光线的中心线的位置,利用激光器高亮度的特性,实现了对横向激光线位置简单、高效的初步定位,避免了墙纸颜色、纹理以及胶水等对定位的干扰。
具体地,确定上述图像上的横向激光线的中心线的位置的具体实施过程,与确定上述竖直激光线的中心线的位置和上述黏贴物体的边缘线的位置的具体实施过程相同,分别得到横向激光线的行均值投影图和横向激光线的行差分图。
为了避免拍照光源对上述竖直激光线的中心线的定位产生影响,在实际的应用过程中,根据上述横向激光线的预备位置,确定上述横向激光线的中心线的位置,包括:根据上述横向激光线的预备位置,确定上述图像中的第三感兴趣区域,上述横向激光线的预备位置在上述第三感兴趣区域内;根据上述第三感兴趣区域求解y方向的索贝尔算子,得到第三卷积结果,上述y方向为上述像素坐标系的纵轴方向;对上述第三卷积结果依次进行裁剪与归一化处理,得到第三裁剪图;对上述第三裁剪图阈值化,并确定阈值化后的第三有效信息点;根据上述第三有效信息点在上述像素坐标系的坐标,进行拟合直线,得到上述横向激光线的中心线的位置。上述检测方法通过对上述第三有效信息点进行筛选,并通过直线拟合得到上述横向激光线的中心线的位置,实现了对上述横向激光线的精确定位,进一步地保证了对机器人的位置信息的精确定位,进而保证施工的精度较好。
具体的一种实施例中,通过设定一个阈值并进行二值化处理,得到上述第三有效信息点。
需要说明的是,上述拟合直线可以通过直线拟合法得到上述横向激光线的中心线的位置,还可以通过Hough变换改进结合拟合算法得到。
具体地,得到上述横向激光线的中心线的方程式的具体过程,与得到上述竖直激光线的中心线的方程式和上述黏贴物体的边缘线的中心线的方程式的过程相同,此处不再赘述。
本申请的另一种具体的实施例中,上述检测方法包括:根据上述横向激光线的中心线的位置、上述待施工墙面的法向量以及上述转换关系,计算上述激光器和上述待施工墙面的夹角,包括:将上述横向激光线的方程转换为相机坐标系的方程,得到目标直线方程;计算上述目标直线方程的方向向量与上述待施工墙面的法向量的夹角,得到激光器和上述待施工墙面的夹角。这样进一步地保证了得到的上述夹角较为准确,上述机器人通过上述夹角自动调整施工角度,使得施工时与墙面保持垂直状态,进一步方便了机器人正常作业,且进一步地保证了施工的精度较高。
在实际的应用过程中,将上述横向激光线的方程转换为相机坐标系的方程,得到目标直线方程;计算上述目标直线方程的方向向量与上述待施工墙面的法向量的夹角,得到激光器和上述待施工墙面的夹角,具体过程如下:
通过上述拟合的横向激光线结果,结合上述像素坐标系转换相机坐标系的公式,横向激光线转化为像素坐标系,计算出空间直线表达式:
(x-x0)/X=(y-y0)/Y=(z-z0)/Z----------------------------(3.4)
通过该方程方向向量(X,Y,Z)与待施工墙面法向量(0,1,0)求取夹角θ,即激光器与待施工墙面角度;
Figure RE-GDA0002905469350000131
需要说明的是,上述待施工墙面为墙面,上述黏贴物体包括墙纸。
根据本申请的一种典型的实施例,提供了一种机器人的位置检测装置,上述检测装置包括第一确定单元、获取单元和第二确定单元,其中,上述第一确定单元用于采用激光三角测距法,确定像素坐标系与相机坐标系的转换关系;上述获取单元用于获取待施工墙面的图像,上述第二确定单元用于根据上述图像以及上述转换关系确定上述机器人的位置信息,上述位置信息至少包括上述机器人与上述待施工墙面之间的距离。
上述机器人的位置检测装置,通过上述第一确定单元确定像素坐标系和相机坐标系的转换关系,通过上述获取单元获取待施工墙面的图像以及上述转换方法,通过上述第二确定单元确定机器人与待施工墙面之间的距离等位置信息,缓解了现有的难以精确地检测到建筑机器人和墙面之间的位置关系的问题,可以较为准确的确定机器人的位置信息,保证了后续机器人可以根据上述位置信息较为准确的对待施工墙面进行施工,保证了施工的效果较好。
为了进一步地保证确定的像素坐标系与相机坐标系的转换关系较为精确,进而保证对机器人的位置信息的准确标定,本申请的一种具体的实施例中,上述第一确定单元包括第一确定模块和第二确定模块,其中上述第一确定模块用于利用三角形相似性,确定上述像素坐标系与上述相机坐标系的转换公式;上述第二确定模块用于确定激光平面方程在相机坐标系的表达式,上述表达式和上述转换公式构成上述转换关系,上述激光平面为安装在机器人上的激光器发出的激光形成的平面。
具体的一种实施例中,确定像素坐标系与相机坐标系的第一转换关系的具体过程如下:
首先对像素坐标进行畸变矫正,公式如下式1.1和1.2所示:
Figure RE-GDA0002905469350000141
Figure RE-GDA0002905469350000142
其中,K1,K2,K3表示径向畸变参数,P1,P2表示切向畸变参数,
Figure RE-GDA0002905469350000143
表示畸变矫正前的像素坐标系的坐标点,u′,v′表示畸变矫正后的像素坐标系的坐标点,
Figure RE-GDA0002905469350000144
然后转换像素坐标系和像平面坐标系,如下公式所示:
Figure RE-GDA0002905469350000145
其中,sx,sy分别表示图像物理坐标系与像素坐标系的缩放因子,cx,cy表示到像素坐标系原点的移动距离,u,v分别表示图像物理坐标系的坐标点,u′,v′分别表示矫正后的像素坐标系上坐标点;
进而根据三角相似性得出像素坐标系和相机坐标系转换关系,如1.4所示:
Figure RE-GDA0002905469350000146
其中,f为相机焦距,xc,yc,zc为相机坐标系的点,λ为相似比;
激光平面方程在相机坐标系下表达式为:
Nx(xc-Ox)+Ny(yc-Oy)+Nz(zc-Oz)=0---------------------------(1.5)
其中,(Nx,Ny,Nz)为激光平面的法向量,(Ox,Oy,Oz)为激光平面上一点;
联立1.4和1.5可解出λ,如式1.6所示:
Figure RE-GDA0002905469350000147
从而可以得出xc,yc,zc
Figure RE-GDA0002905469350000148
在实际的应用过程中,确定激光平面的具体过程如下:
通过相似原理,
ΔABOC~ΔoCOC-----------------------------------(4.1)
ΔPBOC~ΔpCOC-----------------------------------(4.2)
得到如下公式:
Figure RE-GDA0002905469350000151
故,得到
Figure RE-GDA0002905469350000152
Figure RE-GDA0002905469350000153
其中,o-xy是图像物理坐标系,Oc-XcYc是相机坐标系,p(x,y)是图像物理坐标系中坐标点,P(Xc,Yc,Zc)为相机坐标系坐标点;
结合在像素坐标系和相机坐标系的转换关系,通过以下步骤拟合激光平面:
步骤一:计算出横向激光线上的每个像素点在相机坐标系下对应的坐标点,分别记为 (P11,P12,...,P1n),相机光心位置作为光心原点O1(Xo1,Yo1,Zo1),
步骤二:直线后退机器,循环步骤一两次,转换的激光点坐标分别为(P21,P22,...,P2n)和 (P31,P32,...,P3n),分别记光心坐标原点为O2(Xo2,Yo2,Zo2)和O3(Xo3,Yo3,Zo3);
步骤三:由于机器直线后移,横向激光线在同一个平面上,由于移动时候不能保证绝对直线,因此需要通过拟合直线平面减小误差,坐标原点通过均值记作激光平面一点 O(Ox,Oy,Oz):
Figure RE-GDA0002905469350000154
通过最小二乘拟合激光平面Nx(xc-Ox)+Ny(yc-Oy)+Nz(zc-Oz)=0,得出法向量 (Nx,Ny,Nz):令
Figure RE-GDA0002905469350000155
令εi=Nxxi+Nyyi+Nzzi,转换关系为:
Figure RE-GDA0002905469350000161
Figure RE-GDA0002905469350000162
Figure RE-GDA0002905469350000163
Figure RE-GDA0002905469350000164
Figure RE-GDA0002905469350000165
记为Ax=0,对A进行svd分解,最小特征向量即为(Nx,Ny,Nz)。
根据本申请的另一种具体的实施例,上述第二确定单元包括第三确定模块、第四确定模块和第五确定模块,其中上述第三确定模块用于确定上述图像上的预定点在上述像素坐标系的坐标,上述预定点包括上述图像的中心点;上述第四确定模块用于根据上述预定点的在上述像素坐标系的坐标以及上述转换关系,确定上述预定点在上述相机坐标系中的坐标;上述第五确定模块用于根据上述预定点在上述相机坐标系中的坐标,确定至少部分上述位置信息。通过确定包括上述图像的中心点的上述预定点在上述像素坐标系的坐标,根据上述转换关系,确定上述预定点在上述相机坐标系中的坐标,进而确定至少部分上述位置信息,进一步地实现了对机器人部分上述位置信息的确定,且得到的上述位置信息较为准确。
根据本申请的再一种具体的实施例,上述第三确定模块包括第一确定子模块和第二确定子模块,其中上述第一确定子模块用于确定在第一预定点在上述像素坐标系的坐标,上述第一预定点为上述图像的中心点;上述第二确定子模块用于确定第二预定点和第三预定点分别在上述像素坐标系的坐标,上述第二预定点为竖直激光线的中心线的中心点,上述竖直激光线为安装在上述机器人上的激光器发射至上述待施工墙面上的激光线,上述第三预定点为上述图像上的黏贴物体的边缘线的中心点,上述黏贴物体位于上述待施工墙面,且上述黏贴物体的边缘线为上述黏贴物体与上述待施工墙面之间的边缘线。上述四五确定模块包括第三确定子模块和第四确定子模块,其中上述第三确定子模块用于根据上述第一预定点在上述相机坐标系中的坐标,确定上述机器人与上述待施工墙面之间的距离;上述第四确定子模块用于根据上述第二预定点和上述第三预定点分别在上述相机坐标系中的坐标,确定上述竖直激光线和上述黏贴物体的边缘线的距离。上述检测装置,通过确定图像中的上述中心点在上述相机坐标系中的坐标,确定上述机器人与上述待施工墙面间的距离,通过确定图像中的上述竖直激光线的中心线的中心点以及上述黏贴物体的边缘线的中心点在上述相机坐标系中的坐标,确定上述竖直激光线以及上述黏贴物体的边缘线的间距离,从而较为准确的确定了上述机器人到上述待施工墙面间的距离以及机器人发出的上述激光线到待施工墙面边缘线的距离,保证了机器人根据上述距离可以较为准确的移动到待施工墙面边缘,进一步地保证了施工的精度较好。
在实际的应用过程中,得到上述竖直激光线与上述黏贴物体的边缘线的距离的具体计算过程如下:
通过式(1.4)和式(1.5)联立,带入畸变矫正后的像素坐标系上的坐标点u,v以及图像中的竖直激光线和黏贴物体的边缘线中心点(clx,cly),(cwx,cwy),分别计算得出对应的三维坐标点记为(xl,yl,zl)和(xw,yw,zw),计算两点距离记为d1,代表竖直激光线和墙纸边缘的距离;
Figure RE-GDA0002905469350000171
同理通过式(1.4)和式(1.5)联立,带入畸变矫正后的像素坐标系上的坐标点u,v以及图像中心点(cx,cy),转换得到对应的三维点记为(xc,yc,zc),则机器人上相机距离墙面距离记为d2
Figure RE-GDA0002905469350000172
在实际的应用过程中,上述第二确定子模块还用于根据上述图像,确定上述竖直激光线的中心线的位置和上述黏贴物体的边缘线的位置;根据上述竖直激光线的位置,确定上述第二预定点在上述像素坐标系的坐标;根据上述黏贴物体的边缘线的位置,确定上述第三预定点在上述像素坐标系的坐标。根据上述竖直激光线的中心线与上述黏贴物体的边缘线在上述图像中的位置,可以准确的得到上述竖直激光线的中心线的中心点与上述黏贴物体的边缘线的中心点在上述像素坐标系中的坐标,进而保证了后续使用上述转换关系得到对应的相机坐标系中的坐标比较精确,进一步地保证了对上述机器人的位置信息的精确定位。
根据本申请的又一种具体的实施例,上述图像包括上述竖直激光线、上述黏贴物体以及待施工墙面的裸露表面,上述第二确定子模块还用于计算上述图像的像素矩阵的每个像素列的平均灰度值,得到第一平均灰度值;对上述第一平均灰度值进行差分运算,得到多个第一差分值;确定最大的上述第一差分值对应的上述像素列的位置为上述竖直激光线的预备位置;确定预定极大值对应的上述像素列的位置为上述黏贴物体的边缘线的预备位置,上述预定极大值为在预定方向上出现的第一个上述第一差分值的极大值;根据上述竖直激光线的预备位置,确定上述竖直激光线的中心线的位置;根据上述黏贴物体的边缘线的预备位置,确定上述黏贴物体的边缘线的位置。上述检测装置,通过确定图像的上述像素矩阵的每列的平均灰度值,再将上述平均灰度值进行差分运算得到多个第一差分值,上述第一差分值中的最大值对应的像素列位置为上述竖直激光线的预备位置,在预定方向上出现的第一个上述第一差分值的极大值对应的像素列位置为上述黏贴物体的边缘线的预备位置,上述竖直激光线的中心线的位置和上述黏贴物体的边缘线的位置,利用激光器高亮度的特性,以及墙纸边缘两侧信息对比度大且墙面光滑的特性,实现了对竖直激光线位置和待施工墙面边缘线位置简单、高效的初步定位,避免了墙纸颜色、纹理以及胶水等对定位的干扰,同时,该方法也可以避免由拍摄的补光光源带来的干扰,具体地,补光光源照射到的相邻两列的平均灰度值的差值较小,经差分运算后差分值基本一致;而被竖直激光线照射的像素列的平均灰度值与未被竖直激光线照射的像素列平均灰度值的差值大,经差分运算后对应的最大的上述第一差分值对应的像素列的位置即为上述竖直激光线的预备位置。同理,墙面相邻两像素列的平均灰度值的差值也较小,经差分运算后差分值基本一致;而粘黏了黏贴物体的墙面因纹理、颜色等因素的反光,在黏贴物体的边缘像素列与墙面像素列的差值较大,故经差分运算后得到的第一个上述第一差分值的极大值即为上述黏贴物体的边缘线的预备位置,上述第一差分值中的最大值对应的像素列的中心线位置即为上述黏贴物体的边缘线的位置。
具体地,上述预定极大值为在预定方向上出现的第一个上述第一差分值的极大值,确定上述预定极大值对应的上述像素列的位置为上述黏贴物体的边缘线的预备位置,包括了两种情况,施工过程从左向右在待施工墙面贴附黏贴物体(例如墙纸)的情况下况,右边的待施工墙面上无黏贴物体,这样该部分的像素列的差分值较小,且不同位置处的上述像素列的差分值基本一致,到了黏贴物体的边缘线处像素列的差分值发生突变,故上述黏贴物体的边缘线的预备位置为从右向左的方向上出现的第一个上述第一差分值的极大值;施工过程中从右向左在待施工墙面贴附黏贴物体(例如墙纸)的情况下况,左边的待施工墙面上无黏贴物体,这样该部分的像素列的差分值较小,且不同位置处的上述像素列的差分值基本一致,到了黏贴物体的边缘线处像素列的差分值发生突变,故上述黏贴物体的边缘线的预备位置为从左向右的方向上出现的第一个上述第一差分值的极大值,上述第一差分值中的最大值对应的像素列的中心线位置即为上述黏贴物体的边缘线的位置。
在实际的应用过程中,根据上述图像,确定上述竖直激光线的中心线的位置和上述黏贴物体的边缘线的位置,具体实施过程如下:
计算灰度图的列灰度均值,得到第一平均灰度值,如公式2.1所示:
Figure RE-GDA0002905469350000181
其中,M(i)表示第i列的均值,H表示图像的高度,W表示图像的宽度,G(i,j)表示灰度图中i行j列的灰度值;
得到竖直激光线的列均值投影图。
计算平均灰度值的差分,得到多个第一差分值,如公式2.2所示:
D(s)=M(t+1)-M(t),t∈(1,W-1)--------------------------------(2.2) 其中,D(s)为第(t+1)列与s列的均值差分结果,M为式(2.1)中列均值数组;
得到竖直激光线的列差分图。
根据所得差分数组,计算其中极值所在位置,定位竖直激光线和墙纸边缘,如公式2.3所示:
E(x)=max(D(p),...,D(p+k))----------------------------------(2.3)
其中,p表示差分数组D中极值的起始位置,K表示极值区域长度,E(x)表示D(p+k)D(p)到D(p+k)区间的极大值,判断E(x)大于某阈值,则选定该点为激光线或墙纸边缘的候选点;
根据提取的极值点,结合峰值的分布结构特点,选取波峰值最大的,即最大的第一差分值对应的像素列的位置为竖直激光线的预备位置,选取在预定方向上出现的第一个第一差分值的极大值,为黏贴物体的边缘线的预备位置,其中,从左向右铺设墙纸的情况下,上述黏贴物体的边缘线的预备位置为从右向左出现的第一个第一差分值的极大值。
为了更加准确地确定上述竖直激光线的中心线的位置,根据本申请的再一种具体的实施例中,需要说明的是,上述第二确定子模块还用于根据上述竖直激光线的预备位置,确定上述图像中的第一感兴趣区域,上述竖直激光线的预备位置在上述第一感兴趣区域内;根据上述第一感兴趣区域求解y方向的索贝尔算子,得到第一卷积结果,上述y方向为上述像素坐标系的纵轴方向;对上述第一卷积结果依次进行裁剪与归一化处理,得到第一裁剪图;对上述第一裁剪图阈值化,并确定阈值化后的第一有效信息点;根据上述第一有效信息点在上述像素坐标系的坐标,进行拟合直线,得到上述竖直激光线的中心线的方程式。上述检测装置通过对上述第一有效信息点进行筛选,并通过直线拟合得到上述竖直激光线的中心线的方程式,实现了对上述竖直激光线的中心线的精确定位,进一步地保证了对机器人的位置信息的精确定位,进而保证施工的精度较好。
具体的一种实施例中,通过设定阈值并进行二值化处理,得到上述第一有效信息点。
需要说明的是,上述拟合直线可以通过直线拟合法得到上述竖直激光线的中心线的方程式,还可以通过Hough变换改进结合拟合算法得到。
为了更加准确地确定上述黏贴物体的边缘线的位置,本申请的又一种具体的实施例中,上述第二确定子模块还用于根据上述黏贴物体的边缘线的预备位置,确定上述图像中的第二感兴趣区域,上述黏贴物体的边缘线的预备位置在上述第二感兴趣区域内;根据上述第二感兴趣区域求解y方向的索贝尔算子,得到第二卷积结果,上述y方向为上述像素坐标系的纵轴方向;对上述第二卷积结果依次进行裁剪与归一化处理,得到第二裁剪图;对上述第二裁剪图阈值化,并确定阈值化后的第二有效信息点;根据上述第二有效信息点在上述像素坐标系的坐标,进行拟合直线,得到上述黏贴物体的边缘线的中心线的方程式。上述检测装置通过对上述第二有效信息点进行筛选,并通过直线拟合得到上述黏贴物体的边缘线的中心线的方程式,实现了对上述黏贴物体的边缘线的中心线的精确定位,进一步地保证了对机器人的位置信息的精确定位,进而保证施工的精度较好。
具体的一种实施例中,通过设定阈值并进行二值化处理,得到上述第二有效信息点。
具体地,上述的裁剪为将需要的局部区域的图像从整个图像中区分出来,可以对坐标系中窗口边界进行裁剪,然后把窗口内的部分映射到视区中,也可以将坐标系的图像映射到设备坐标系中,再用视区边界裁剪。上述的阈值化为利用图像像素点分布规律,设定阈值进行像素点分割,进而得到图像的二值图像,常用的方法有OTSU(大律法或最大类间方差法)、固定阈值法、自适应阈值法、双阈值法及半阈值化法等。当然,还可以采用本领域其他手段实现上述裁剪和阈值化的操作。
需要说明的是,上述拟合直线可以通过直线拟合法得到上述粘附物体的边缘线的中心线的方程式,还可以通过Hough变换改进结合拟合算法得到。
在实际的应用过程中,根据上述竖直激光线的预备位置和上述黏贴物体的边缘线的预备位置,得到上述竖直激光线的中心线的方程式和上述黏贴物体的边缘线的中心线的方程式的具体过程如下:
根据场景特殊性,求y方向索贝尔算子结果,如公式3.1所示:
Figure RE-GDA0002905469350000201
Figure RE-GDA0002905469350000202
其中,K为卷积核,SG为第一卷积结果,
Figure RE-GDA0002905469350000203
为卷积符,G为感兴趣区域,是根据上述差分得到的预备位置的区域;
为降低根据极值位置信息,裁剪SG,并做归一化操作,如下所示:
Figure RE-GDA0002905469350000204
其中,μ为裁剪图的均值,σ为裁剪图的标准差,x为裁剪图中的某点灰度值,x′为归一化结果,得到裁切图;
将归一化的裁剪图阈值化,收集阈值化后的有效信息点,进行拟合直线,得出激光线和墙纸边缘线结果,如下公式所示:
Figure RE-GDA0002905469350000205
其中,n为待拟合点集合个数,(x,y)为其中坐标值,方程表达式为y=ax+b,通过解方程,可得方程关系式;
最终,通过拟合出的关系式计算述竖直激光线的中心线的位置和上述黏贴物体的边缘线的中心线的位置。
在本申请的一种实施例中,上述第二确定单元包括第六确定模块和计算模块,其中上述第六确定模块用于确定上述图像上的横向激光线的中心线的位置;上述计算模块用于根据上述横向激光线的中心线的位置、待施工墙面的法向量以及上述转换关系,计算上述激光器和上述待施工墙面的夹角。上述检测装置通过确定上述图像上的上述横向激光线的中心线的位置,并根据上述横向激光线的中心线的位置、上述待施工墙面的法向量以及上述转换关系,计算得到上述激光器和上述施工墙面的夹角,进而较为精确地得到上述机器人与上述施工墙面的夹角,上述机器人通过上述夹角信息自动调整施工角度,使得施工时与墙面保持垂直状态,方便机器人正常作业,且进一步地保证了施工的精度较高。
具体地,上述图像包括横向激光线,上述横向激光线由激光器发射至上述待施工墙面上的激光线,上述第六确定模块包括第一计算子模块、差分子模块、第五确定子模块和第六确定子模块,其中,上述第一计算子模块用于计算上述图像的像素矩阵的每个像素行的平均灰度值,得到第二平均灰度值;上述差分子模块用于对上述第二平均灰度值进行差分运算,得到多个第二差分值;上述第五确定子模块用于确定最大的上述第二差分值对应的上述像素行的位置为上述横向激光线的预备位置;上述第六确定子模块用于根据上述横向激光线的预备位置,确定上述横向激光线的中心线的位置。上述检测装置,通过确定图像的上述像素矩阵的每行的平均灰度值,再将上述平均灰度值进行差分运算得到多个第二差分值,上述第二差分值中的最大值对应的像素列位置为上述横向激光线的预备位置,从而得到上述横向激光线的中心线的位置,利用激光器高亮度的特性,实现了对横向激光线位置简单、高效的初步定位,避免了墙纸颜色、纹理以及胶水等对定位的干扰。
具体地,确定上述图像上的横向激光线的中心线的位置的具体实施过程,与确定上述竖直激光线的中心线的位置和上述黏贴物体的边缘线的位置的具体实施过程相同,分别得到横向激光线的行均值投影图和横向激光线的行差分图。
为了避免拍照光源对上述竖直激光线的中心线的定位产生影响,根据本申请的另一种实施例,上述第六确定子模块还用于根据上述横向激光线的预备位置,确定上述图像中的第三感兴趣区域,上述横向激光线的预备位置在上述第三感兴趣区域内;根据上述第三感兴趣区域求解y方向的索贝尔算子,得到第三卷积结果,上述y方向为上述像素坐标系的纵轴方向;对上述第三卷积结果依次进行裁剪与归一化处理,得到第三裁剪图;对上述第三裁剪图阈值化,并确定阈值化后的第三有效信息点;根据上述第三有效信息点在上述像素坐标系的坐标,进行拟合直线,得到上述横向激光线的中心线的位置。上述检测装置通过对上述第三有效信息点进行筛选,并通过直线拟合得到上述横向激光线的中心线的位置,实现了对上述横向激光线的精确定位,进一步地保证了对机器人的位置信息的精确定位,进而保证施工的精度较好。
具体的一种实施例中,通过设定阈值并进行二值化处理,得到上述第三有效信息点。
需要说明的是,上述拟合直线可以通过直线拟合法得到上述横向激光线的中心线的位置,还可以通过Hough变换改进结合拟合算法得到。
具体地,得到上述横向激光线的中心线的方程式的具体过程,与得到上述竖直激光线的中心线的方程式和上述黏贴物体的边缘线的中心线的方程式的过程相同,此处不再赘述。
在实际的应用过程中,上述第六确定模块还包括第二计算子模块,上述第二计算子模块用于根据上述横向激光线的中心线的位置、上述待施工墙面的法向量以及上述转换关系,计算上述激光器和上述待施工墙面的夹角;上述第二计算子模块还用于将上述横向激光线的方程转换为相机坐标系的方程,得到目标直线方程;计算上述目标直线方程的方向向量与上述待施工墙面的法向量的夹角,得到激光器和上述待施工墙面的夹角。这样进一步地保证了得到的上述夹角较为准确,上述机器人通过上述夹角自动调整施工角度,使得施工时与墙面保持垂直状态,进一步方便了机器人正常作业,且进一步地保证了施工的精度较高。
在实际的应用过程中,将上述横向激光线的方程转换为相机坐标系的方程,得到目标直线方程;计算上述目标直线方程的方向向量与上述待施工墙面的法向量的夹角,得到激光器和上述待施工墙面的夹角,具体过程如下:
通过上述拟合的横向激光线结果,结合上述像素坐标系转换相机坐标系的公式,横向激光线转化为像素坐标系,计算出空间直线表达式:
(x-x0)/X=(y-y0)/Y=(z-z0)/Z----------------------------(3.4)
通过该方程方向向量(X,Y,Z)与待施工墙面法向量(0,1,0)求取夹角θ,即激光器与待施工墙面角度;
Figure RE-GDA0002905469350000221
具体地,上述待施工墙面为墙面,上述黏贴物体包括墙纸。
本身请实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现上述机器人的位置检测方法。
本身请实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述机器人的位置检测方法。
本身请实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
步骤S101,采用激光三角测距法,确定像素坐标系与相机坐标系的转换关系;
步骤S102,获取待施工墙面的图像;
步骤S103,根据上述图像以及上述转换关系确定上述机器人的位置信息,上述位置信息至少包括上述机器人与上述待施工墙面之间的距离。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:
步骤S101,采用激光三角测距法,确定像素坐标系与相机坐标系的转换关系;
步骤S102,获取待施工墙面的图像;
步骤S103,根据上述图像以及上述转换关系确定上述机器人的位置信息,上述位置信息至少包括上述机器人与上述待施工墙面之间的距离。
在本身请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本身请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本身请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本身请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
为了使得本领域的技术人员更加直观地了解本申请的技术方案,下面通过具体的实施例来进行说明。
实施例1
本实施例在机器人上安装激光器和摄像头,采用上述激光三角测距法,通过标定摄像头进行相机标定,可以确定像素坐标系和墙面所在相机坐标系的转换关系;
根据机器人视觉检测采集的图像数据中的激光线和墙纸边缘线,进行激光线定位和墙纸边缘定位,确定是否有激光线和墙纸边缘线;
在确定有激光线和墙纸边缘线的情况下,根据上述检测方法对激光线与墙纸边缘线进行直线拟合,得到相机坐标系中的上述激光线与上述墙纸边缘线的位置;
根据上述位置计算激光线和墙纸边缘线的实际距离、机器人与墙面的前后距离和左右夹角等有效信息,从而提高机器人左右、前后移动的距离精度和调整机器人与墙面的角度。
当然,上述的相机标定还可以通过传统算法进行标定,也可通过现有的软件接口进行标定。上述的机器人检测方法并不限于机器人铺贴墙纸领域,其还可以应用于其他领域,比如机器人抹灰领域、机器人砌砖领域等。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
1)、本申请提供了一种机器人的位置检测方法,上述检测方法通过上述激光三角测距法确定像素坐标系和相机坐标系的转换关系,根据获取的待施工墙面的图像以及上述转换方法,确定机器人与待施工墙面之间的距离等位置信息,缓解了现有的难以精确地检测到建筑机器人和墙面之间的位置关系的问题,可以较为准确的确定机器人的位置信息,保证了后续机器人可以根据上述位置信息较为准确的对待施工墙面进行施工,保证了施工的效果较好。
2)、本申请还提供了一种机器人的位置检测装置,上述检测装置通过上述第一确定单元确定像素坐标系和相机坐标系的转换关系,通过上述获取单元获取待施工墙面的图像以及上述转换方法,通过上述第二确定单元确定机器人与待施工墙面之间的距离等位置信息,缓解了现有的难以精确地检测到建筑机器人和墙面之间的位置关系的问题,可以较为准确的确定机器人的位置信息,保证了后续机器人可以根据上述位置信息较为准确的对待施工墙面进行施工,保证了施工的效果较好。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (17)

1.一种机器人的位置检测方法,其特征在于,包括:
采用激光三角测距法,确定像素坐标系与相机坐标系的转换关系;
获取待施工墙面的图像;
根据所述图像以及所述转换关系确定所述机器人的位置信息,所述位置信息至少包括所述机器人与所述待施工墙面之间的距离。
2.根据权利要求1所述的检测方法,其特征在于,采用激光三角测距法,确定像素坐标系与相机坐标系的第一转换关系,包括:
利用三角形相似性,确定所述像素坐标系与所述相机坐标系的转换公式;
确定激光平面方程在相机坐标系的表达式,所述表达式和所述转换公式构成所述转换关系,所述激光平面为安装在所述机器人上的激光器发出的激光形成的平面。
3.根据权利要求1所述的检测方法,其特征在于,根据所述图像以及所述转换关系确定所述机器人的位置信息,包括:
确定所述图像上的预定点在所述像素坐标系的坐标,所述预定点包括所述图像的中心点;
根据所述预定点的在所述像素坐标系的坐标以及所述转换关系,确定所述预定点在所述相机坐标系中的坐标;
根据所述预定点在所述相机坐标系中的坐标,确定至少部分所述位置信息。
4.根据权利要求3所述的检测方法,其特征在于,
确定所述图像上的预定点在所述像素坐标系的坐标,包括:
确定在第一预定点在所述像素坐标系的坐标,所述第一预定点为所述图像的中心点;
确定第二预定点和第三预定点分别在所述像素坐标系的坐标,所述第二预定点为竖直激光线的中心线的中心点,所述竖直激光线为安装在所述机器人上的激光器发射至所述待施工墙面上的激光线,所述第三预定点为所述图像上的黏贴物体的边缘线的中心点,所述黏贴物体位于所述待施工墙面,且所述黏贴物体的边缘线为所述黏贴物体与所述待施工墙面之间的边缘线,
根据所述预定点在所述相机坐标系中的坐标,确定至少部分所述位置信息,包括:
根据所述第一预定点在所述相机坐标系中的坐标,确定所述机器人与所述待施工墙面之间的距离;
根据所述第二预定点和所述第三预定点分别在所述相机坐标系中的坐标,确定所述竖直激光线和所述黏贴物体的边缘线的距离。
5.根据权利要求4所述的检测方法,其特征在于,确定第二预定点和第三预定点在所述像素坐标系的坐标,包括:
根据所述图像,确定所述竖直激光线的中心线的位置和所述黏贴物体的边缘线的位置;
根据所述竖直激光线的位置,确定所述第二预定点在所述像素坐标系的坐标;
根据所述黏贴物体的边缘线的位置,确定所述第三预定点在所述像素坐标系的坐标。
6.根据权利要求5所述的检测方法,其特征在于,所述图像包括所述竖直激光线、所述黏贴物体以及待施工墙面的裸露墙面,
根据所述图像,确定所述竖直激光线的中心线的位置和所述黏贴物体的边缘线的位置,包括:
计算所述图像的像素矩阵的每个像素列的平均灰度值,得到第一平均灰度值;
对所述第一平均灰度值进行差分运算,得到多个第一差分值;
确定最大的所述第一差分值对应的所述像素列的位置为所述竖直激光线的预备位置;
确定预定极大值对应的所述像素列的位置为所述黏贴物体的边缘线的预备位置,所述预定极大值为在预定方向上出现的第一个所述第一差分值的极大值;
根据所述竖直激光线的预备位置,确定所述竖直激光线的中心线的位置;
根据所述黏贴物体的边缘线的预备位置,确定所述黏贴物体的边缘线的位置。
7.根据权利要求6所述的检测方法,其特征在于,根据所述竖直激光线的预备位置,确定所述竖直激光线的中心线的位置,包括:
根据所述竖直激光线的预备位置,确定所述图像中的第一感兴趣区域,所述竖直激光线的预备位置在所述第一感兴趣区域内;
根据所述第一感兴趣区域求解y方向的索贝尔算子,得到第一卷积结果,所述y方向为所述像素坐标系的纵轴方向;
对所述第一卷积结果依次进行裁剪与归一化处理,得到第一裁剪图;
对所述第一裁剪图阈值化,并确定阈值化后的第一有效信息点;
根据所述第一有效信息点在所述像素坐标系的坐标,进行拟合直线,得到所述竖直激光线的中心线的方程式。
8.根据权利要求6所述的检测方法,其特征在于,根据所述黏贴物体的边缘线的预备位置,确定所述黏贴物体的边缘线的位置,包括:
根据所述黏贴物体的边缘线的预备位置,确定所述图像中的第二感兴趣区域,所述黏贴物体的边缘线的预备位置在所述第二感兴趣区域内;
根据所述第二感兴趣区域求解y方向的索贝尔算子,得到第二卷积结果,所述y方向为所述像素坐标系的纵轴方向;
对所述第二卷积结果依次进行裁剪与归一化处理,得到第二裁剪图;
对所述第二裁剪图阈值化,并确定阈值化后的第二有效信息点;
根据所述第二有效信息点在所述像素坐标系的坐标,进行拟合直线,得到所述黏贴物体的边缘线的中心线的方程式。
9.根据权利要求1所述的检测方法,其特征在于,根据所述图像以及所述转换关系确定所述机器人的位置信息,包括:
确定所述图像上的横向激光线的位置;
根据所述横向激光线的位置、待施工墙面的法向量以及所述转换关系,计算激光器和所述待施工墙面的夹角,所述激光器安装在所述机器人上。
10.根据权利要求9所述的检测方法,其特征在于,所述图像包括横向激光线,所述横向激光线由激光器发射至所述待施工墙面上的激光线,
确定所述图像上的横向激光线的位置,包括:
计算所述图像的像素矩阵的每个像素行的平均灰度值,得到第二平均灰度值;
对所述第二平均灰度值进行差分运算,得到多个第二差分值;
确定最大的所述第二差分值对应的所述像素行的位置为所述横向激光线的预备位置;
根据所述横向激光线的预备位置,确定所述横向激光线的中心线的位置。
11.根据权利要求10所述的检测方法,其特征在于,根据所述横向激光线的预备位置,确定所述横向激光线的中心线的位置,包括:
根据所述横向激光线的预备位置,确定所述图像中的第三感兴趣区域,所述横向激光线的预备位置在所述第三感兴趣区域内;
根据所述第三感兴趣区域求解y方向的索贝尔算子,得到第三卷积结果,所述y方向为所述像素坐标系的纵轴方向;
对所述第三卷积结果依次进行裁剪与归一化处理,得到第三裁剪图;
对所述第三裁剪图阈值化,并确定阈值化后的第三有效信息点;
根据所述第三有效信息点在所述像素坐标系的坐标,进行拟合直线,得到所述横向激光线的中心线的位置。
12.根据权利要求10所述的检测方法,其特征在于,包括:根据所述横向激光线的中心线的位置、所述待施工墙面的法向量以及所述转换关系,计算所述激光器和所述待施工墙面的夹角,包括:
将所述横向激光线的方程转换为相机坐标系的方程,得到目标直线方程;
计算所述目标直线方程的方向向量与所述待施工墙面的法向量的夹角,得到激光器和所述待施工墙面的夹角。
13.根据权利要求4至8中任一项所述的检测方法,其特征在于,所述待施工墙面为墙面,所述黏贴物体包括墙纸。
14.一种机器人的位置检测装置,其特征在于,包括:
第一确定单元,用于采用激光三角测距法,确定像素坐标系与相机坐标系的转换关系;
获取单元,用于获取待施工墙面的图像;
第二确定单元,用于根据所述图像以及所述转换关系确定所述机器人的位置信息,所述位置信息至少包括所述机器人与所述待施工墙面之间的距离。
15.一种计算机可读存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至13中任意一项所述的方法。
16.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至13中任意一项所述的方法。
17.一种电子设备,其特征在于,包括:一个或多个处理器,存储器以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求1至13中任意一项所述的方法。
CN202011043168.2A 2020-09-28 2020-09-28 机器人的位置检测方法、检测装置、处理器和电子设备 Withdrawn CN112419400A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011043168.2A CN112419400A (zh) 2020-09-28 2020-09-28 机器人的位置检测方法、检测装置、处理器和电子设备
CN202110252404.XA CN112907656A (zh) 2020-09-28 2021-03-08 机器人的位置检测方法、检测装置、处理器和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011043168.2A CN112419400A (zh) 2020-09-28 2020-09-28 机器人的位置检测方法、检测装置、处理器和电子设备

Publications (1)

Publication Number Publication Date
CN112419400A true CN112419400A (zh) 2021-02-26

Family

ID=74854274

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011043168.2A Withdrawn CN112419400A (zh) 2020-09-28 2020-09-28 机器人的位置检测方法、检测装置、处理器和电子设备
CN202110252404.XA Pending CN112907656A (zh) 2020-09-28 2021-03-08 机器人的位置检测方法、检测装置、处理器和电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110252404.XA Pending CN112907656A (zh) 2020-09-28 2021-03-08 机器人的位置检测方法、检测装置、处理器和电子设备

Country Status (1)

Country Link
CN (2) CN112419400A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902700A (zh) * 2021-09-30 2022-01-07 北京博清科技有限公司 焊接过程中激光线质量的确定方法、确定装置与焊接装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277187B2 (en) * 2001-06-29 2007-10-02 Quantronix, Inc. Overhead dimensioning system and method
EP3351899B1 (en) * 2017-01-24 2020-06-17 Leica Geosystems AG Method and device for inpainting of colourised three-dimensional point clouds
CN107727079B (zh) * 2017-11-30 2020-05-22 湖北航天飞行器研究所 一种微小型无人机全捷联下视相机的目标定位方法
CN109238288A (zh) * 2018-09-10 2019-01-18 电子科技大学 一种无人机室内自主导航方法
CN110617766A (zh) * 2019-10-16 2019-12-27 广东博智林机器人有限公司 平面位姿测量方法、装置及存储介质
CN111178317A (zh) * 2020-01-06 2020-05-19 广东博智林机器人有限公司 检测定位方法、系统、装置、电子设备及存储介质
CN111336948B (zh) * 2020-03-02 2021-11-02 武汉理工大学 基于成像平面转换的非标定手持式廓形检测方法及装置
CN111707187B (zh) * 2020-05-12 2022-05-24 深圳大学 一种大型零件的测量方法及系统

Also Published As

Publication number Publication date
CN112907656A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
US9251399B2 (en) Method of separating object in three dimension point cloud
US7844133B2 (en) Method and system for filtering, registering, and matching 2.5D normal maps
JP7004826B2 (ja) 寸法計測装置、寸法計測方法及び半導体製造システム
CN106650701B (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
EP3766644A1 (en) Workpiece picking device and workpiece picking method
CN110610505A (zh) 一种融合深度和色彩信息的图像分割方法
CN108362205B (zh) 基于条纹投影的空间测距方法
CN113409382A (zh) 车辆损伤区域的测量方法和装置
CN111640180B (zh) 一种三维重建方法、装置及终端设备
CN111964680B (zh) 一种巡检机器人的实时定位方法
CN112880562A (zh) 一种机械臂末端位姿误差测量方法及系统
CN108596947B (zh) 一种适用于rgb-d相机的快速目标跟踪方法
CN110827361A (zh) 基于全局标定架的相机组标定方法及装置
CN112419400A (zh) 机器人的位置检测方法、检测装置、处理器和电子设备
CN113642397A (zh) 一种基于手机视频的物体长度测量方法
CN116091603A (zh) 一种基于点特征的箱体工件位姿测量方法
CN111964681B (zh) 一种巡检机器人的实时定位系统
Delmas et al. Stereo camera visual odometry for moving urban environments
CN115187769A (zh) 一种定位方法及装置
Lin et al. An improved sum of squared difference algorithm for automated distance measurement
Liu et al. A Method for Synchronous Automated Extrinsic Calibration of LiDAR and Cameras Based on a Circular Calibration Board
RU2788666C1 (ru) Способ взаимной калибровки видеокамеры и устройства веерного лазерного подсвета
CN112489240B (zh) 一种商品陈列巡检方法、巡检机器人以及存储介质
CN112669388B (zh) 激光雷达与摄像装置的标定方法及装置、可读存储介质
CN117974810A (zh) 基于双目视觉的目标定位方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210226