CN110108231B - 基于角点检测的钜体箱体三维尺寸测量方法及存储介质 - Google Patents

基于角点检测的钜体箱体三维尺寸测量方法及存储介质 Download PDF

Info

Publication number
CN110108231B
CN110108231B CN201910380192.6A CN201910380192A CN110108231B CN 110108231 B CN110108231 B CN 110108231B CN 201910380192 A CN201910380192 A CN 201910380192A CN 110108231 B CN110108231 B CN 110108231B
Authority
CN
China
Prior art keywords
point
corner
rectangular box
map
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910380192.6A
Other languages
English (en)
Other versions
CN110108231A (zh
Inventor
陈达权
康博程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Jaten Robot and Automation Co Ltd
Original Assignee
Guangdong Jaten Robot and Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Jaten Robot and Automation Co Ltd filed Critical Guangdong Jaten Robot and Automation Co Ltd
Priority to CN201910380192.6A priority Critical patent/CN110108231B/zh
Publication of CN110108231A publication Critical patent/CN110108231A/zh
Application granted granted Critical
Publication of CN110108231B publication Critical patent/CN110108231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的基于角点检测的钜体箱体三维尺寸测量方法及存储介质,利用RGB摄像头所获取的彩色图信息,找到矩体箱体的端点在图像上可能存在的位置,再有效利用深度摄像头所获取的深度图信息及其内参,通过结合彩色图信息和深度图信息结合实现快速高效精确地获取到矩体箱体的三维尺寸信息,适用范围较广,通用性高。

Description

基于角点检测的钜体箱体三维尺寸测量方法及存储介质
技术领域
本发明属于计算机视觉测量领域,具体涉及基于角点检测的钜体箱体三维尺寸测量方法及存储介质。
背景技术
随着电子商务的快速发展,市场对物流仓储的需求和要求不断增加,而物流行业中的多个环节均需要对操作对象获取其有效的三维尺寸等信息,但目前行业内的大多数都是通过传统的人工方式实现获取,存在工作量大、工作内容繁琐、人力成本高、人力资源浪费及信息获取效率低等突出问题。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于角点检测的矩体箱体三维尺寸视觉测量方法及存储介质,能够快速高效精确地获取到矩体箱体的三维尺寸信息,适用范围较广,通用性高。
为了达到上述目的,本发明采用以下技术方案:
基于角点检测的钜体箱体三维尺寸测量方法,包括以下步骤:
a.通过深度摄像头和RGB摄像头对钜体箱体分别进行拍摄,获取含有至少一个顶点和连接该顶点三条棱边钜体箱体的图像作为深度标定图B0及彩色标定图B1,并将深度标定图B0转换成与彩色标定图B1相同的分辨率,得出深度标定图B2。
b.根据彩色标定图B1和深度标定图B2通过标定算法分别对深度摄像头及RGB摄像头进行标定;获取深度摄像头的外参和内参,所述深度摄像头外参包括深度摄像头旋转矩阵RIR,深度摄像头平移向量TIR,以及获取RGB摄像头的外参,所述RGB摄像头的外参包括RGB摄像头旋转矩阵RRGB,RGB摄像头平移向量TRGB,深度摄像头的深度图上一点PIR(uIR,vIR)对应于在RGB摄像头的彩色图上的一点PRGB(uRGB,vRGB),则根据
Figure GDA0002562757860000011
得出点PIR(uIR,vIR)。
c.通过深度摄像头和RGB摄像头获取钜体箱体的深度图DSO及彩色图CSO,对深度图DS0进行数据预处理,将预处理深度图DS0转换成与彩色图CSO相同的分辨率,得出深度图DS3,对彩色图CSO进行数据预处理和灰度处理得出灰度图GS3,以及进行边缘提取操作和二值化处理得出灰度图GS5。
d.对灰度图GS5进行角点检测操作,得出由n个角点O1(u′1,v′1),O2(u′2,v′2),O3(u′3,v′3),……,On(u′n,v′n)所组成的角点集合O={O1,O2,O3,......,On},其中n≥7。
e.分别创建矩体箱体端点子集合PA、PB、PC、PD、PE、PF和PG;将角点O1归入矩体箱体端点子集合PA中,在角点O2,O3,……,On中找出与角点O1的距离最大的角点OB,并将角点OB归入矩体箱体端点子集合PB中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1及角点OB的距离之和最大的角点OC,并将角点OC归入矩体箱体端点子集合PC中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB及角点OC的距离之和最大的角点OD,并将角点OD归入矩体箱体端点子集合PD中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB、角点OC及角点OD的距离之和最大的角点OE,并将角点OE归入矩体箱体端点子集合PE中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB、角点OC、角点OD及角点OE的距离之和最大的角点OF,并将角点OF归入矩体箱体端点子集合PF中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB、角点OC、角点OD、角点OE及角点OF的距离之和最大的角点OG,并将角点OG归入矩体箱体端点子集合PG中。
对角点集合O={O1,O2,O3,......,On}中的其他角点依次分别计算到角点O1的距离DA、角点OB的距离DB、角点OC的距离DC、角点OD的距离DD、角点OE的距离DE、角点OF的距离DF及角点OG的距离DG,若DA=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PA中,若DB=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PB中,若DC=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PC中,若DD=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PD中,若DE=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PE中,若DF=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PF中,若DG=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PG中。
计算矩体箱体端点子集合PA中所有角点的质量中心Pa,计算矩体箱体端点子集合PB中所有角点的质量中心Pb,计算矩体箱体端点子集合PC中所有角点的质量中心Pc,计算矩体箱体端点子集合PD中所有角点的质量中心Pd,计算矩体箱体端点子集合PE中所有角点的质量中心Pe,计算矩体箱体端点子集合PF中所有角点的质量中心Pf,计算矩体箱体端点子集合PG中所有角点的质量中心Pg,则点Pa、点Pb、点Pc、点Pd、点Pe、点Pf及点Pg即为矩体箱体的7个端点。
f.在灰度图GS5中选取钜体箱体中点Pa、点Pb、点Pc、点Pd、点Pe、点Pf和点Pg7个端点的中心端点P0,以该中心端点P0为极点,随机选取平面上任意一个方向为正方向建立极坐标系,将其余6个质量中心点根据极坐标系中的极角坐标从大到小进行排序,并按照该次序分别设置为矩体箱体的一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6
g.根据
Figure GDA0002562757860000031
找到灰度图GS5中矩体箱体的中心端点P0、一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6在深度图DS3中的坐标;并根据其在深度图DS3中的坐标值、深度值及深度摄像头的内参计算出对应三维空间中的坐标点P′0、点P1′、点P′2、点P′3、点P′4、点P′5及点P′6
h.计算点P′0与点P1′的三维欧氏距离D1,计算点P′0与点P′2的三维欧氏距离D2,计算点P′0与点P′3的三维欧氏距离D3,计算点P′0与点P′4的三维欧氏距离D4,计算点P′0与点P′5的三维欧氏距离D5,计算点P′0与点P′6的三维欧氏距离D6,计算距离和D1′=D1+D3+D5,计算距离和D2′=D2+D4+D6,若D1′≤D2′,则三维欧氏距离D1、三维欧氏距离D3及三维欧氏距离D5即为矩体箱体的三维尺寸,否则三维,距离D2、三维欧氏距离D4及三维欧氏距离D6即为矩体箱体的三维尺寸。
与现有技术相比,本发明的基于角点检测的钜体箱体三维尺寸测量方法,利用RGB摄像头所获取的彩色图信息,找到矩体箱体的端点在图像上可能存在的位置,再有效利用深度摄像头所获取的深度图信息,通过结合彩色图信息和深度图信息结合实现快速高效精确地获取到矩体箱体的三维尺寸信息,适用范围较广,通用性高。
进一步的,所述深度图DS0数据预处理包括对深度图DS0进行中值滤波操作得到深度图DS1,对深度图DS1进行漫水填充操作得到深度图DS2;对深度图DS2利用4×4邻域双3次插值算法实现转换成与彩色图CSO相同的分辨率,得到深度图DS3;使深度图转换从与灰度图相同分辨率的尺寸,便于深度图上寻找与灰度图上对应端点坐标。
进一步的,所述彩色图CSO进行数据预处理包括将彩色图CS0转换为灰度图GS0,对灰度图GS0进行中值滤波操作得到灰度图GS1,对灰度图GS1进行高斯滤波操作得到灰度图GS2,对灰度图GS2进行双边滤波操作得到灰度图GS3,对灰度图GS3利用Canny边缘检测算法进行边缘提取操作得到灰度图GS4;通过对彩色图灰度处理,使钜体箱体的顶点和棱边更清晰显示,便于在灰度图上寻找目标端点。
进一步的,彩色图CS0的R通道值为RCS,G通道值为GCS,B通道值为BCS,灰度图GS0通道值为IGS,根据IGS=0.3·RCS+0.59·GCS+0.11·BCS,将彩色图CS0转换为灰度图GS0。
进一步的,所述深度摄像头和RGB摄像头集成在深度相机上,通过这样设置,保证深度摄像头和RGB摄像头所获取的图像视角相同。
本发明的另一目的在于提供一种应用所述基于角点检测的钜体箱体三维尺寸测量方法的存储介质,计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如基于角点检测的钜体箱体三维尺寸测量方法的所有步骤。
附图说明
图1本发明的基于角点检测的钜体箱体三维尺寸测量方法的流程图
图2为深度相机和钜体箱体的示意图
具体实施方式
以下结合附图说明本发明的技术方案:
实施例一:
参见图1和图2,本发明的基于角点检测的钜体箱体三维尺寸测量方法,包括以下步骤:
a.通过深度摄像头和RGB摄像头分别对钜体箱体2进行拍摄,获取含有至少一个顶点和连接该顶点三条棱边钜体箱体2的图像作为深度标定图B0及彩色标定图B1,并将深度标定图B0转换成与彩色标定图B1相同的分辨率,得出深度标定图B2,具体为:例如RGB摄像头的原始彩色图的分辨率为a×b,深度摄像头的原始深度图的分辨率为c×d,其中c<a且d<b,则对深度标定图B0利用4×4邻域双3次插值算法实现分辨率由c×d变为a×b。
b.根据彩色标定图B1和深度标定图B2通过张正友标定算法分别对深度摄像头及RGB摄像头进行标定;获取深度摄像头的外参和内参(所述内参包括图像中心cx和cy,以及X轴和Y轴上的归一化焦距fx和fy),所述深度摄像头外参包括深度摄像头旋转矩阵RIR,深度摄像头平移向量TIR,以及获取RGB摄像头的外参,所述RGB摄像头的外参包括RGB摄像头旋转矩阵RRGB,RGB摄像头平移向量TRGB,深度摄像头的深度图上一点PIR(uIR,vIR)对应于在RGB摄像头的彩色图上的一点PRGB(uRGB,vRGB),则根据
Figure GDA0002562757860000051
得出点PIR(uIR,vIR)。
c.通过深度摄像头和RGB摄像头获取钜体箱体的深度图DSO及彩色图CSO,对深度图DS0进行数据预处理,将预处理深度图DS0转换成与彩色图CSO相同的分辨率,得出深度图DS3,对彩色图CSO进行数据预处理和灰度处理得出灰度图GS3,以及进行边缘提取操作和二值化处理得出灰度图GS5。
d.对灰度图GS5进行角点检测操作,具体为对灰度图GS5中钜体箱体2的各个顶点进行检测,得到由n个角点O1(u′1,v′1),O2(u′2,v′2),O3(u′3,v′3),……,On(u′n,v′n)所组成的角点集合O={O1,O2,O3,......,On},其中n≥7,由于图像是由多个像素组成,灰度图GS5中的每个顶点可能由多个像素组成,但每个顶点至少有一个像素组成。
e.分别创建矩体箱体端点子集合PA、PB、PC、PD、PE、PF和PG;将角点O1归入矩体箱体端点子集合PA中,在角点O2,O3,……,On中找出与角点O1的距离最大的角点OB,并将角点OB归入矩体箱体端点子集合PB中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1及角点OB的距离之和最大的角点OC,并将角点OC归入矩体箱体端点子集合PC中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB及角点OC的距离之和最大的角点OD,并将角点OD归入矩体箱体端点子集合PD中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB、角点OC及角点OD的距离之和最大的角点OE,并将角点OE归入矩体箱体端点子集合PE中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB、角点OC、角点OD及角点OE的距离之和最大的角点OF,并将角点OF归入矩体箱体端点子集合PF中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB、角点OC、角点OD、角点OE及角点OF的距离之和最大的角点OG,并将角点OG归入矩体箱体端点子集合PG中。
对角点集合O={O1,O2,O3,......,On}中的其他角点依次分别计算到角点O1的距离DA、角点OB的距离DB、角点OC的距离DC、角点OD的距离DD、角点OE的距离DE、角点OF的距离DF及角点OG的距离DG,若DA=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PA中,若DB=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PB中,若DC=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PC中,若DD=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PD中,若DE=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PE中,若DF=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PF中,若DG=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PG中。
计算矩体箱体端点子集合PA中所有角点的质量中心Pa,计算矩体箱体端点子集合PB中所有角点的质量中心Pb,计算矩体箱体端点子集合PC中所有角点的质量中心Pc,计算矩体箱体端点子集合PD中所有角点的质量中心Pd,计算矩体箱体端点子集合PE中所有角点的质量中心Pe,计算矩体箱体端点子集合PF中所有角点的质量中心Pf,计算矩体箱体端点子集合PG中所有角点的质量中心Pg,则点Pa、点Pb、点Pc、点Pd、点Pe、点Pf及点Pg即为矩体箱体的7个端点。
f.在灰度图GS5中选取钜体箱体中点Pa、点Pb、点Pc、点Pd、点Pe、点Pf和点Pg7个端点的中心端点P0,以该中心端点P0为极点,随机选取平面上任意一个方向为正方向建立极坐标系,将其余6个质量中心点根据极坐标系中的极角坐标从大到小进行排序,并按照该次序分别设置为矩体箱体的一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6
g.根据
Figure GDA0002562757860000061
找到灰度图GS5中矩体箱体的中心端点P0、一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6在深度图DS3中的坐标;并根据其在深度图DS3中的坐标值、深度值及深度摄像头的内参计算出对应三维空间中的坐标点P′0、点P1′、点P′2、点P′3、点P′4、点P′5及点P′6
h.计算点P′0与点P1′的三维欧氏距离D1,计算点P′0与点P′2的三维欧氏距离D2,计算点P′0与点P′3的三维欧氏距离D3,计算点P′0与点P′4的三维欧氏距离D4,计算点P′0与点P5′的三维欧氏距离D5,计算点P′0与点P′6的三维欧氏距离D6,计算距离和D1′=D1+D3+D5,计算距离和D2′=D2+D4+D6,若D1′≤D2′,则距离三维D1、三维欧氏距离D3及三维欧氏距离D5即为矩体箱体的三维尺寸,否则,三维欧氏距离D2、三维欧氏距离D4及三维欧氏距离D6即为矩体箱体的三维尺寸。
与现有技术相比,本发明的基于角点检测的钜体箱体2三维尺寸测量方法,利用RGB摄像头所获取的彩色图信息,找到矩体箱体的端点在图像上可能存在的位置,再有效利用深度摄像头所获取的深度图信息及其内参,通过结合彩色图信息和深度图信息结合实现快速高效精确地获取到矩体箱体的三维尺寸信息,适用范围较广,通用性高。
作为优选方案,所述深度图DS0数据预处理包括对深度图DS0进行中值滤波操作得到深度图DS1,其中滤波模板的尺寸大小可根据具体实际情况进行选择;对深度图DS1进行漫水填充操作得到深度图DS2;对深度图DS2利用4×4邻域双3次插值算法实现转换成与彩色图CSO相同的分辨率,得到深度图DS3;使深度图转换从与灰度图相同分辨率的尺寸,便于深度图上寻找与灰度图上对应端点坐标。
作为优选方案,所述彩色图CSO进行数据预处理包括将彩色图CS0转换为灰度图GS0,对灰度图GS0进行中值滤波操作得到灰度图GS1,其中滤波模板的尺寸大小可根据具体实际情况进行选择对灰度图GS1进行高斯滤波操作得到灰度图GS2,其中滤波模板的尺寸大小及方差大小可根具体实际情况进行选择;对灰度图GS2进行双边滤波操作得到灰度图GS3,其中滤波核半径大小、sigmas空间大小及相似因子sigmar大小可根据具体实际情况进行选择;对灰度图GS3利用Canny边缘检测算法进行边缘提取操作得到灰度图GS4其中小阈值大小、大阈值大小及Sobel算子大小可根据具体实际情况进行选择;通过对彩色图灰度处理,使钜体箱体2的顶点和棱边更清晰显示,便于在灰度图上寻找目标端点。
作为优选方案,彩色图CS0的R通道值为RCS,G通道值为GCS,B通道值为BCS,灰度图GS0通道值为IGS,根据IGS=0.3·RCS+0.59·GCS+0.11·BCS,将彩色图CS0转换为灰度图GS0。
作为优选方案,步骤f.如何计算7个质量中心点在灰度图GS5中钜体箱体2的中心端点P0,具体为:计算点Pa与点Po的欧氏距离Da,计算点Pb与点Po的欧氏距离Db,计算点Pc与点Po的欧氏距离Dc,计算点Pd与点Po的欧氏距离Dd,计算点Pe与点Po的欧氏距离De,计算点Pf与点Po的欧氏距离Df,计算点Pg与点Po的欧氏距离Dg,若Da=min(Da,Db,Dc,Dd,De,Df,Dg),则点Pa为矩体箱体的中心端点P0,以P0为极点,随机选取平面上任意一个方向为正方向建立极坐标系,将点Pb、点Pc、点Pd、点Pe、点Pf及点Pg根据极坐标系中的极角坐标从大到小进行排序,并按照该次序分别设置为矩体箱体的一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6
若Db=min(Da,Db,Dc,Dd,De,Df,Dg),则点Pb为矩体箱体的中心端点P0,以P0为极点,随机选取平面上任意一个方向为正方向建立极坐标系,点Pa、点Pc、点Pd、点Pe、点Pf及点Pg根据极坐标系中的极角坐标从大到小进行排序,并按照该次序分别设置为矩体箱体的一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6;若Dc=min(Da,Db,Dc,Dd,De,Df,Dg),则点Pc为矩体箱体的中心端点P0,以P0为极点,随机选取平面上任意一个方向为正方向建立极坐标系,点Pa、点Pb、点Pd、点Pe、点Pf及点Pg根据极坐标系中的极角坐标从大到小进行排序,并按照该次序分别设置为矩体箱体的一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6;若Dd=min(Da,Db,Dc,Dd,De,Df,Dg),则点Pd为矩体箱体的中心端点P0,以P0为极点,随机选取平面上任意一个方向为正方向建立极坐标系,点Pa、点Pb、点Pc、点Pe、点Pf及点Pg根据极坐标系中的极角坐标从大到小进行排序,并按照该次序分别设置为矩体箱体的一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6;若De=min(Da,Db,Dc,Dd,De,Df,Dg),则点Pe为矩体箱体的中心端点P0,以P0为极点,随机选取平面上任意一个方向为正方向建立极坐标系,点Pa、点Pb、点Pc、点Pd、点Pf及点Pg根据极坐标系中的极角坐标从大到小进行排序,并按照该次序分别设置为矩体箱体的一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6;若Df=min(Da,Db,Dc,Dd,De,Df,Dg),则点Pf为矩体箱体的中心端点P0,以P0为极点,随机选取平面上任意一个方向为正方向建立极坐标系,点Pa、点Pb、点Pc、点Pd、点Pe及点Pg根据极坐标系中的极角坐标从大到小进行排序,并按照该次序分别设置为矩体箱体的一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6;若Dg=min(Da,Db,Dc,Dd,De,Df,Dg),则点Pg为矩体箱体的中心端点P0,以P0为极点,随机选取平面上任意一个方向为正方向建立极坐标系,点Pa、点Pb、点Pc、点Pd、点Pe及点Pf根据极坐标系中的极角坐标从大到小进行排序,并按照该次序分别设置为矩体箱体的一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6
作为优选方案,所述深度摄像头和RGB摄像头集成在深度相机1上,通过这样设置,保证深度摄像头和RGB摄像头所获取的图像视角相同。
实施例二:
本实施例的目的在于提供一种应用实施例一的存储介质,计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如实施例一的基于角点检测的钜体箱体2三维尺寸测量方法的所有步骤。
根据上述说明书的揭示和教导,本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此,本发明并不局限于上面揭示和描述的具体实施方式,对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对本发明构成任何限制。

Claims (6)

1.基于角点检测的钜体箱体三维尺寸测量方法,包括以下步骤:
a.通过深度摄像头和RGB摄像头对钜体箱体分别进行拍摄,获取含有至少一个顶点和连接该顶点三条棱边钜体箱体的图像作为深度标定图B0及彩色标定图B1,并将深度标定图B0转换成与彩色标定图B1相同的分辨率,得出深度标定图B2;
b.根据彩色标定图B1和深度标定图B2通过标定算法分别对深度摄像头及RGB摄像头进行标定;获取深度摄像头的外参和内参,所述深度摄像头外参包括深度摄像头旋转矩阵RIR,深度摄像头平移向量TIR,以及获取RGB摄像头的外参,所述RGB摄像头的外参包括RGB摄像头旋转矩阵RRGB,RGB摄像头平移向量TRGB,深度摄像头的深度图上一点PIR(uIR,vIR)对应于在RGB摄像头的彩色图上的一点PRGB(uRGB,vRGB),则根据
Figure FDA0002562757850000011
得出点PIR(uIR,vIR);
c.通过深度摄像头和RGB摄像头获取钜体箱体的深度图DSO及彩色图CSO,对深度图DS0进行数据预处理,将预处理深度图DS0转换成与彩色图CSO相同的分辨率,得出深度图DS3,对彩色图CSO进行数据预处理和灰度处理得出灰度图GS3,以及进行边缘提取操作和二值化处理得出灰度图GS5;
d.对灰度图GS5进行角点检测操作,得出由n个角点O1(u′1,v′1),O2(u′2,v′2),O3(u′3,v′3),……,On(u′n,v′n)所组成的角点集合O={O1,O2,O3,......,On},其中n≥7;
e.分别创建矩体箱体端点子集合PA、PB、PC、PD、PE、PF和PG;将角点O1归入矩体箱体端点子集合PA中,在角点O2,O3,……,On中找出与角点O1的距离最大的角点OB,并将角点OB归入矩体箱体端点子集合PB中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1及角点OB的距离之和最大的角点OC,并将角点OC归入矩体箱体端点子集合PC中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB及角点OC的距离之和最大的角点OD,并将角点OD归入矩体箱体端点子集合PD中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB、角点OC及角点OD的距离之和最大的角点OE,并将角点OE归入矩体箱体端点子集合PE中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB、角点OC、角点OD及角点OE的距离之和最大的角点OF,并将角点OF归入矩体箱体端点子集合PF中;在角点集合O={O1,O2,O3,......,On}中找出与角点O1、角点OB、角点OC、角点OD、角点OE及角点OF的距离之和最大的角点OG,并将角点OG归入矩体箱体端点子集合PG中;
对角点集合O={O1,O2,O3,......,On}中的其他角点依次分别计算到角点O1的距离DA、角点OB的距离DB、角点OC的距离DC、角点OD的距离DD、角点OE的距离DE、角点OF的距离DF及角点OG的距离DG,若DA=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PA中,若DB=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PB中,若DC=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PC中,若DD=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PD中,若DE=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PE中,若DF=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PF中,若DG=min(DA,DB,DC,DD,DE,DF,DG),则该角点归入矩体箱体端点子集合PG中;
计算矩体箱体端点子集合PA中所有角点的质量中心Pa,计算矩体箱体端点子集合PB中所有角点的质量中心Pb,计算矩体箱体端点子集合PC中所有角点的质量中心Pc,计算矩体箱体端点子集合PD中所有角点的质量中心Pd,计算矩体箱体端点子集合PE中所有角点的质量中心Pe,计算矩体箱体端点子集合PF中所有角点的质量中心Pf,计算矩体箱体端点子集合PG中所有角点的质量中心Pg,则点Pa、点Pb、点Pc、点Pd、点Pe、点Pf及点Pg即为矩体箱体的7个端点;
f.在灰度图GS5中选取钜体箱体中点Pa、点Pb、点Pc、点Pd、点Pe、点Pf和点Pg7个端点的中心端点P0,以该中心端点P0为极点,随机选取平面上任意一个方向为正方向建立极坐标系,将其余6个质量中心点根据极坐标系中的极角坐标从大到小进行排序,并按照该次序分别设置为矩体箱体的一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6
g.根据
Figure FDA0002562757850000021
找到灰度图GS5中矩体箱体的中心端点P0、一般端点P1、一般端点P2、一般端点P3、一般端点P4、一般端点P5及一般端点P6在深度图DS3中的坐标;并根据其在深度图DS3中的坐标值、深度值及深度摄像头的内参计算出对应三维空间中的坐标点P′0、点P′1、点P′2、点P′3、点P′4、点P′5及点P′6
h.计算点P′0与点P′1的三维欧氏距离D1,计算点P′0与点P′2的三维欧氏距离D2,计算点P′0与点P′3的三维欧氏距离D3,计算点P′0与点P′4的三维欧氏距离D4,计算点P′0与点P′5的三维欧氏距离D5,计算点P′0与点P′6的三维欧氏距离D6,计算距离和D1′=D1+D3+D5,计算距离和D2′=D2+D4+D6,若D1′≤D2′,则三维欧氏距离D1、三维欧氏距离D3及三维欧氏距离D5即为矩体箱体的三维尺寸,否则,三维欧氏距离D2、三维欧氏距离D4及三维欧氏距离D6即为矩体箱体的三维尺寸。
2.根据权利要求1所述的基于角点检测的钜体箱体三维尺寸测量方法,其特征在于:所述深度图DS0数据预处理包括对深度图DS0进行中值滤波操作得到深度图DS1,对深度图DS1进行漫水填充操作得到深度图DS2;对深度图DS2利用4×4邻域双3次插值算法实现转换成与彩色图CSO相同的分辨率,得到深度图DS3。
3.根据权利要求1所述的基于角点检测的钜体箱体三维尺寸测量方法,其特征在于:所述彩色图CSO进行数据预处理包括将彩色图CS0转换为灰度图GS0,对灰度图GS0进行中值滤波操作得到灰度图GS1,对灰度图GS1进行高斯滤波操作得到灰度图GS2,对灰度图GS2进行双边滤波操作得到灰度图GS3,对灰度图GS3利用Canny边缘检测算法进行边缘提取操作得到灰度图GS4。
4.根据权利要求3所述的基于角点检测的钜体箱体三维尺寸测量方法,其特征在于:彩色图CS0的R通道值为RCS,G通道值为GCS,B通道值为BCS,灰度图GS0通道值为IGS,根据IGS=0.3·RCS+0.59·GCS+0.11·BCS,将彩色图CS0转换为灰度图GS0。
5.根据权利要求1所述的基于角点检测的钜体箱体三维尺寸测量方法,其特征在于:所述深度摄像头和RGB摄像头集成在深度相机上。
6.一种存储介质,其特征在于,计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如权利要求1至5中任一项所述的基于角点检测的钜体箱体三维尺寸测量方法的步骤。
CN201910380192.6A 2019-05-08 2019-05-08 基于角点检测的钜体箱体三维尺寸测量方法及存储介质 Active CN110108231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910380192.6A CN110108231B (zh) 2019-05-08 2019-05-08 基于角点检测的钜体箱体三维尺寸测量方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910380192.6A CN110108231B (zh) 2019-05-08 2019-05-08 基于角点检测的钜体箱体三维尺寸测量方法及存储介质

Publications (2)

Publication Number Publication Date
CN110108231A CN110108231A (zh) 2019-08-09
CN110108231B true CN110108231B (zh) 2020-10-27

Family

ID=67488827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910380192.6A Active CN110108231B (zh) 2019-05-08 2019-05-08 基于角点检测的钜体箱体三维尺寸测量方法及存储介质

Country Status (1)

Country Link
CN (1) CN110108231B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2806064C1 (ru) * 2022-12-15 2023-10-25 Общество с ограниченной ответственностью "ГАРПИКС МЕДИА" Автоматизированная система определения габаритов объекта

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706267B (zh) * 2019-09-04 2022-11-15 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4784500B2 (ja) * 2006-12-08 2011-10-05 日本電気株式会社 画像傾き補正装置及び画像傾き補正方法
CN202748012U (zh) * 2012-08-16 2013-02-20 哈尔滨理工大学 一种用于金属零件三维测量的立体拼接块
CN103679175A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于深度摄像机的快速3d骨骼模型检测方法
CN104315995A (zh) * 2014-11-15 2015-01-28 中国科学院光电研究院 基于虚拟多立方体标准目标的tof深度相机三维坐标标定装置和方法
CN105606040A (zh) * 2016-01-26 2016-05-25 天津博迈科海洋工程有限公司 基于三维激光检测的大型液化天然气模块姿态检测方法
CN108053367A (zh) * 2017-12-08 2018-05-18 北京信息科技大学 一种基于rgb-d特征匹配的3d点云拼接与融合方法
US20180241985A1 (en) * 2014-05-19 2018-08-23 Occipital, Inc. Methods for automatic registration of 3d image data
CN108550141A (zh) * 2018-03-29 2018-09-18 上海大学 一种基于深度视觉信息的运动车斗自动识别与定位方法
CN108981569A (zh) * 2018-07-09 2018-12-11 南京农业大学 一种基于多光谱点云融合的高通量温室植物表型测量系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6032163B2 (ja) * 2013-09-11 2016-11-24 トヨタ自動車株式会社 三次元物体認識装置、三次元物体認識方法、及び移動体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4784500B2 (ja) * 2006-12-08 2011-10-05 日本電気株式会社 画像傾き補正装置及び画像傾き補正方法
CN202748012U (zh) * 2012-08-16 2013-02-20 哈尔滨理工大学 一种用于金属零件三维测量的立体拼接块
CN103679175A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于深度摄像机的快速3d骨骼模型检测方法
US20180241985A1 (en) * 2014-05-19 2018-08-23 Occipital, Inc. Methods for automatic registration of 3d image data
CN104315995A (zh) * 2014-11-15 2015-01-28 中国科学院光电研究院 基于虚拟多立方体标准目标的tof深度相机三维坐标标定装置和方法
CN105606040A (zh) * 2016-01-26 2016-05-25 天津博迈科海洋工程有限公司 基于三维激光检测的大型液化天然气模块姿态检测方法
CN108053367A (zh) * 2017-12-08 2018-05-18 北京信息科技大学 一种基于rgb-d特征匹配的3d点云拼接与融合方法
CN108550141A (zh) * 2018-03-29 2018-09-18 上海大学 一种基于深度视觉信息的运动车斗自动识别与定位方法
CN108981569A (zh) * 2018-07-09 2018-12-11 南京农业大学 一种基于多光谱点云融合的高通量温室植物表型测量系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于角点检测的服装尺寸在线测量技术;王生伟等;《信息技术与信息化》;20181231(第12期);第73-75页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2806064C1 (ru) * 2022-12-15 2023-10-25 Общество с ограниченной ответственностью "ГАРПИКС МЕДИА" Автоматизированная система определения габаритов объекта

Also Published As

Publication number Publication date
CN110108231A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110443836B (zh) 一种基于平面特征的点云数据自动配准方法及装置
CN113344931B (zh) 一种插件视觉检测识别方法、可读存储介质及设备
CN111401266B (zh) 绘本角点定位的方法、设备、计算机设备和可读存储介质
CN115170669B (zh) 基于边缘特征点集配准的识别定位方法及系统、存储介质
CN110443199B (zh) 一种基于二维几何轮廓的点云姿态识别方法
CN110033407B (zh) 一种盾构隧道表面图像标定方法、拼接方法及拼接系统
CN109087325B (zh) 一种基于单目视觉的直接法点云三维重建及尺度确定方法
CN111814792B (zh) 一种基于rgb-d图像的特征点提取与匹配方法
Serna et al. Data fusion of objects using techniques such as laser scanning, structured light and photogrammetry for cultural heritage applications
CN111768452A (zh) 一种基于深度学习的非接触式自动贴图方法
CN109767431A (zh) 零件外观缺陷检测方法、装置、设备及可读存储介质
WO2017113692A1 (zh) 一种图像匹配方法及装置
CN109242787A (zh) 一种中小学艺术测评中绘画录入方法
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
CN107507263B (zh) 一种基于图像的纹理生成方法及系统
CN110108231B (zh) 基于角点检测的钜体箱体三维尺寸测量方法及存储介质
CN105513074A (zh) 一种羽毛球机器人相机标定方法
CN111784768B (zh) 基于三色四灯标记识别的无人机姿态估计方法及系统
CN110751690B (zh) 铣床刀头视觉定位方法
CN108416815B (zh) 大气光值的测定方法、设备及计算机可读存储介质
CN108205641B (zh) 手势图像处理方法及装置
CN108428250A (zh) 一种应用于视觉定位和标定的x角点检测方法
CN110136193B (zh) 基于深度图像的矩体箱体三维尺寸测量方法及存储介质
Wang et al. Multi-surface hydraulic valve block technique hole plug inspection from monocular image
CN112304291B (zh) 基于hud的车道线显示方法及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant