CN113538557A - 基于三维视觉的箱体积测量装置 - Google Patents

基于三维视觉的箱体积测量装置 Download PDF

Info

Publication number
CN113538557A
CN113538557A CN202010293595.XA CN202010293595A CN113538557A CN 113538557 A CN113538557 A CN 113538557A CN 202010293595 A CN202010293595 A CN 202010293595A CN 113538557 A CN113538557 A CN 113538557A
Authority
CN
China
Prior art keywords
boundary line
box body
pixel
target box
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010293595.XA
Other languages
English (en)
Other versions
CN113538557B (zh
Inventor
黄龙祥
刘涛
汪博
朱力
吕方璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Guangjian Technology Co Ltd
Original Assignee
Shenzhen Guangjian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Guangjian Technology Co Ltd filed Critical Shenzhen Guangjian Technology Co Ltd
Priority to CN202010293595.XA priority Critical patent/CN113538557B/zh
Publication of CN113538557A publication Critical patent/CN113538557A/zh
Application granted granted Critical
Publication of CN113538557B publication Critical patent/CN113538557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于三维视觉的箱体积测量装置,包括:相机,用于采集目标箱体的RGB图像和点云数据;控制模块,用于在RGB图像上确定至少一待检测边界线的延伸方向,以及包括待检测边界线的局部像素区域,并对局部像素区域进行单向的像素梯度值计算,控制预设置的移动窗口逐行或逐列的在局部像素区域中进行单向移动,根据预设置的梯度阀值选择显著像素点,根据多个显著像素点在RGB图像提取目标箱体的边界线,进而根据目标箱体边界线上的点云数据生成目标箱体的体积;显示模块,用于显示目标箱体的体积。本发明根据显著像素点提取出目标箱体的边界线,根据边界线上的点云数据计算出目标箱体的体积,从而能够应用于物流计费以及物体的自动装载等领域。

Description

基于三维视觉的箱体积测量装置
技术领域
本发明涉及箱体体积测量,具体地,涉及一种基于三维视觉的箱体积测量装置。
背景技术
体积数据作为物体的一项最为基本的属性信息,被广泛应用生产和物流等领域中,如基于物体体积的物流计费、物体的自动装载等。其中,在进行物流计费或物体的自动装载中的物体常常使用标准的长方体箱体。然后通过三维测头进行自动化、高效、准确地计算出箱体的体积,以解决人工拉尺慢,手动输入繁琐,运费计算出错,存储存档困难等问题。
在规则箱体的三维视觉测量中,准确获取箱体的三维边界线是计算箱体体积的关键因素。在实际测量中,由于受周围环境、箱体颜色及三维测头本身的影响,通过点云数据往往不能准确地获取箱体的某些边界线。如图1所示,由顶面和侧面点云的交线,即基准边L,可以较为准确的计算;然而顶面的其余三条边界线不能准确的获取。为了提高箱体边界线提取的准确性,需要结合箱体的RGB图像信息来对这些不准确边界进行修正,因此需要提供一种能够对边界线进行准确提取的方案。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于三维视觉的箱体积测量装置。
根据本发明提供的基于三维视觉的箱体积测量装置,包括如下模块:
相机,用于采集目标箱体的RGB图像和点云数据;
控制模块,用于在RGB图像上确定至少一待检测边界线的延伸方向,以及包括所述待检测边界线的局部像素区域,并对所述局部像素区域进行单向的像素梯度值计算,控制预设置的移动窗口逐行或逐列的在所述局部像素区域中进行单向移动,并根据预设置的梯度阀值选择显著像素点,根据多个所述显著像素点在所述RGB图像中提取所述目标箱体的边界线,进而根据所述目标箱体的边界线上的点云数据生成所述目标箱体的体积;
显示模块,用于显示所述目标箱体的体积。
优选地,所述相机采用深度相机,当确定一待检测边界线延伸方向及梯度值计算方向时,具体为:
获取所述目标箱体的点云数据;
根据所述点云数据确定所述目标箱体的至少一侧面和顶面,并进而确定所述至少一侧面和所述顶面相交的基准边;
根据所述目标箱体的形状以及所述基准边确定所述目标箱体的至少一待检测边界线的延伸方向,以及包括所述待检测边界线的局部像素区域;
根据所述边界线的延伸方向确定另一方向,沿所述另一方向对所述边界线进行梯度值的计算。
优选地,当根据预设置的梯度阈值选择显著像素点时,具体为:
预设置一线型移动窗口,控制所述移动窗口逐行的沿所述局部像素区域的横向方向移动或逐列的沿所述局部像素区域的纵向方向移动;
所述移动窗口每移动一个像素时,判断位于所述移动窗口内的中心像素所对应的梯度值是否大于预设置的梯度阈值;
当所述移动窗口的中心像素所对应的梯度值大于预设置的梯度阈值时,则保存该中心像素为显著像素点并移动至下一像素进行检测,否则直接移动至下一像素进行检测。
优选地,根据多个所述显著像素点在所述RGB图像上提取所述目标箱体的边界线时,具体为:
随机地提取一显著像素点,通过所述待检测边界线的延伸方向和所述显著像素点构建一直线模型;
选取所有满足所述直线模型的显著像素点,并使用选取的所有显著像素点来更新所述直线模型;
重复更新所述直线模型直至前后两次选取的显著像素点数量变化小于预设置的第一数量阀值或者重复执行次数大于预设置的第一次数阀值;
判断所述直线模型所包含的显著像素点的数量是否大于第二数量阀值,当大于所述第二数量阀值时,则保存该直线模型作为边界线,否则抛弃迭代生成的所述直线模型;
重复进行所述直线模型的计算,当重复执行次数大于等于第二次数阀值时停止更新所述直线模型。
优选地,当在一延伸方向上提取到多条边界线时,通过如下方式进行目标边界线的选择:
计算所述目标箱体的顶面上点云所对应的所有像素点的平均RGB值
Figure BDA0002451347460000031
Figure BDA0002451347460000032
其中,pi为像素点i的RGB值;n为像素点的数量;
对于一边界线L1以预设定的像素数量分别向两侧平移边界线L1来获得边界线L1的内侧边界线L11和外侧边界线L12,设内侧边界线L11上的对应像素点的RGB值为C1,外侧边界线L12的像素点的RGB值为C2,将C1和C2表示为:
C1={c11,c12,c13,...,c1m} (2)
C2={c21,c22,c23,...,c2n} (3)
其中,c1m为内侧边界线L11的像素点;c2n为外侧边界线L12的像素点;m为内侧边界线L11上的像素点的数量,n为外侧边界线L12上的像素点的数量;
分别计算所述平均RGB值
Figure BDA0002451347460000033
与C1、C2的相似度e1和e2,e1和e2分别表示为:
Figure BDA0002451347460000034
Figure BDA0002451347460000035
将e1与e2相减并取绝对值,以表示边界线L1的可靠度指标E,E表示为:
E=|e1-e2| (6)
计算出的多条边界线L1的E值,选择最大E值的边界线L1作为目标边界线。
优选地,在所述局部像素区域建立像素坐标系,若所述待检测边界线的延伸方向偏向像素坐标系的X轴方向,则逐列的沿Y轴方向进行线型梯度值计算,若所述待检测边界线的延伸方向偏向像素坐标系的Y轴方向,则逐行的沿X轴方向进行线型梯度值计算。
优选地,根据预设置的体积与费用相关联的费用系数,对所述目标箱体的体积输出对应的费用;
所述显示模块,用于同时显示所述目标箱体的体积及对应的费用。
优选地,所述目标箱体为长方体或正方体。
优选地,根据所述目标箱体的边界线生成所述目标箱体的体积时具体为:
提取所述目标箱体顶面的边界线进而确定所述顶面的端点;
根据所述顶面的法向量将所述顶面的端点投射到所述目标箱体的底面上来确定所述底面的端点;
根据所述顶面和所述底面的端点确定所述目标箱体的长宽高,进而生成所述目标箱体的体积。
优选地,所述深度相机包括光投射模块、光探测器以及处理器模块;
所述光束投射器,用于所述目标箱体投射点阵光;
所述光探测器,用于接收经所述目标箱体反射后的所述点阵光生成采集光信号;
所述处理器模块,用于根据采集光信号生成所述目标箱体的点云数据。
与现有技术相比,本发明具有如下的有益效果:
在本发明中,通过相机采集目标箱体的RGB图像,在RGB图像上确定一边界线延伸方向,通过在包括待检测边界线的局部像素区域中逐行或逐列的单向计算梯度值,进而根据梯度阈值选择显著像素点,根据显著像素点提取出目标箱体的边界线,然后根据边界线上的点云数据计算出所述目标箱体的体积,实现目标箱体体积的自动计算,从而能够应用于物流计费以及物体的自动装载等领域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例中基于三维视觉的箱体积测量装置的模块示意图;
图2为本发明实施例中边界线的延伸方向确定和局部像素区域的梯度计算流程图;
图3为本发明实施例中显著像素点提取的步骤流程图;
图4为本发明实施例中根据显著像素点拟合生成边界线的步骤流程图;
图5为本发明实施例中根据显著像素点拟合生成边界线具体实施的步骤流程图;
图6为本发明实施例中根据点云数据确定基准边及初步确定边界线的示意图;
图7为本发明实施例中在多条边界线中提取目标边界线的示意图;
图8为本发明实施例中根据目标箱体的边界线生成目标箱体的体积的步骤流程图;
图9为本发明实施例中深度相机的模块示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例,例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供的基于三维视觉的箱体积测量装置,旨在解决现有技术中存在的问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
图1为本发明实施例中基于三维视觉的箱体积测量装置的模块示意图,如图1所示,本发明提供的基于三维视觉的箱体积测量装置,包括如下模块:
相机,用于采集目标箱体的RGB图像和点云数据;
控制模块,用于在RGB图像上确定至少一待检测边界线的延伸方向,以及包括所述待检测边界线的局部像素区域,并对所述局部像素区域进行单向的像素梯度值计算,控制预设置的移动窗口逐行或逐列的在所述局部像素区域中进行单向移动,并根据预设置的梯度阀值选择显著像素点,根据多个所述显著像素点在所述RGB图像中提取所述目标箱体的边界线,进而根据所述目标箱体的边界线上的点云数据生成所述目标箱体的体积;
显示模块,用于显示所述目标箱体的体积。
图2为本发明实施例中边界线的延伸方向确定和局部像素区域的梯度计算流程图,如图2所示,所述相机采用深度相机,当确定一边界线延伸方向时,具体包括如下步骤:
步骤A101:获取所述目标箱体的点云数据;
步骤A102:根据所述点云数据确定所述目标箱体的至少一侧面和顶面,并进而确定所述至少一侧面和所述顶面的相交的基准边;
步骤A103:根据所述目标箱体的形状以及所述基准边确定所述目标箱体的至少一待检测边界线的延伸方向,以及包括所述待检测边界线的局部像素区域;
步骤A104:根据所述边界线的延伸方向确定另一方向,沿所述另一方向对所述边界线进行梯度值的计算
在本发明实施例中,在所述局部像素区域建立像素坐标系,若所述待检测边界线的延伸方向偏向像素坐标系的X轴方向,则逐列的沿Y轴方向进行线型梯度值计算,若所述待检测边界线的延伸方向偏向像素坐标系的Y轴方向,则逐行的沿X轴方向进行线型梯度值计算。
在本发明实施例中,所述目标箱体为长方体或正方体。所述像素坐标系为以所述局部像素区域的横向延伸方向为X轴,纵向延伸方向为Y轴建立的二维坐标系。
本发明相对于传统的双梯度边界提取方法,仅沿一方向进行梯度计算,明显提高梯度计算的效率,且保证了算法的准确性。
所述点云数据和所述RGB图像采用深度相机采集,采集步骤如下:
通过深度相机的光束投射器端向所述目标箱体投射点阵光;
通过深度相机的探测器端接收经所述目标箱体反射后的所述点阵光;
通过深度相机的处理器根据所述探测器端接收到的所述点阵光生成所述目标箱体的点云数据;
通过深度相机上的RGB摄像头采集所述RGB图像。
图3为本发明实施例中显著像素点提取的步骤流程图,如图3所示,具体包括如下步骤:
步骤B101:预设置一线型移动窗口,控制所述移动窗口逐行的沿所述局部像素区域的横向方向移动或逐列的沿所述局部像素区域的纵向方向移动;
步骤B102:所述移动窗口每移动一个像素时,判断位于所述移动窗口内的中心像素所对应的梯度值是否大于预设置的梯度阈值;
步骤B103:当所述移动窗口的中心像素所对应的梯度值大于预设置的梯度阈值时,则保存该中心像素为显著像素点并移动至下一像素进行检测,否则直接移动至下一像素进行检测。
在本发明实施例中,所述移动窗口的大小可以设置为长度为5像素。所述预设置的梯度阈值为梯度变化计算时生成的最大的梯度值的70%。
图4为本发明实施例中根据显著像素点拟合生成边界线的步骤流程图,图5为本发明实施例中根据显著像素点拟合生成边界线具体实施的步骤流程图,如图4、图5所示,根据多个所述显著像素点在所述RGB图像中提取所述目标箱体的边界线时,具体为:
步骤M101:随机地提取一显著像素点,通过所述待检测边界线的延伸方向和所述显著像素点构建一直线模型;
步骤M102:选取所有满足所述直线模型的显著像素点,并使用选取的所有显著像素点来更新所述直线模型;
步骤M103:更新所述直线模型直至前后两次的选取的显著像素点数量变化小于预设置的第一数量阀值或者重复执行次数大于预设置的第一次数阀值;
步骤M104:判断所述直线模型所包含的显著像素点的数量是否大于第二数量阀值,当大于所述第二数量阀值时,则保存该直线模型作为一边界线,否则抛弃迭代生成的所述直线模型。
在本发明实施例中,还包括如下步骤;
步骤M105:重复执行步骤M101至步骤M104,当重复执行次数大于等于第二次数阀值时停止。
在本发明实施例中,所述第一数量阀值可以设置为5个像素;所述第一次数阀值可以设置为100次;所述第二数量阀值根据所述显著像素点总数来确定,如可以设置为显著像素点总数的20%。所述第二次数阀值可以设置为50至200之间的任意数值。
图7为本发明实施例中在多条边界线提取目标边界线的示意图,如图7所示,当在一延伸方向上提取到多条边界线时,通过如下步骤进行目标边界线的选择:
步骤S101:计算所述目标箱体的顶面上点云所对应的所有像素点的平均RGB值
Figure BDA0002451347460000071
Figure BDA0002451347460000072
其中,pi为像素点i的RGB值;n为像素点的数量;
步骤S102:对于一边界线L1以预设定的像素数量分别向两侧平移边界线L1来获得边界线L1的内侧边界线L11和外侧边界线L12,设内侧边界线L11上的对像素点的RGB值为C1,外侧边界线L12的对像素点的RGB值为C2,则C1和C2表示为:
C1={c11,c12,c13,...,c1m} (2)
C2={c21,c22,c23,...,c2n} (3)
其中,c1m为内侧边界线L11的像素点;c2n为外侧边界线L12的像素点;m为内侧边界线L11上的像素点的数量,n为外侧边界线L12上的像素点的数量;
步骤S103:分别计算所述平均RGB值
Figure BDA0002451347460000081
与C1、C2的相似度e1和e2,e1和e2表示为:
Figure BDA0002451347460000082
Figure BDA0002451347460000083
步骤S104:将e1与e2相减并取绝对值,以表示边界线L1的可靠度指标E,E表示为:
E=|e1-e2| (6)
步骤S105:重复执行步骤S102至步骤S103计算出的多条边界线L1的E值,选择最大E值的边界线L1作为目标边界线。
在本发明实施例中,所述像素数量为5个,边界线L1的两侧为靠近所述目标箱体的顶面中心一侧和远离所述目标箱体的顶面中心的一侧。
在本发明一实施例中,根据预设置的体积与费用相关联的费用系数,对所述目标箱体的体积输出对应的费用;
所述显示模块,用于同时显示所述目标箱体的体积及对应的费用。
图8为本发明实施例中根据目标箱体的边界线生成目标箱体的体积的步骤流程图,如图8所示,根据所述目标箱体的边界线生成所述目标箱体的体积时具体为:
步骤N101:提取所述目标箱体顶面的边界线进而确定所述顶面的端点;
步骤N102:根据所述顶面的法向量将所述顶面的端点投射到所述目标箱体的底面上来确定所述底面的端点;
步骤N103:根据所述顶面和所述底面的端点确定所述目标箱体的长宽高,进而生成所述目标箱体的体积。
图9为本发明实施例中深度相机的模块示意图,如图9所示,所述深度相机包括光投射模块、光探测器以及处理器模块;
所述光束投射器,用于所述目标箱体投射点阵光;
所述光探测器,用于接收经所述目标箱体反射后的所述点阵光生成采集光信号;
所述处理器模块,用于根据采集光信号生成所述目标箱体的点云数据。
在本发明实施例中,通过相机采集目标箱体的RGB图像,在RGB图像上确定至少一待检测边界线的延伸方向,以及包括待检测边界线的局部像素区域,并对局部像素区域进行单向的像素梯度值计算,控制预设置的移动窗口逐行或逐列的在局部像素区域中进行单向移动,并根据预设置的梯度阀值选择显著像素点,进而根据显著像素点提取出目标箱体的边界线,然后根据边界线上的点云数据计算出所述目标箱体的体积,实现目标箱体体积的自动计算,从而能够应用于物流计费以及物体的自动装载等领域。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (10)

1.一种基于三维视觉的箱体积测量装置,其特征在于,包括如下模块:
相机,用于采集目标箱体的RGB图像和点云数据;
控制模块,用于在RGB图像上确定至少一待检测边界线的延伸方向,以及包括所述待检测边界线的局部像素区域,并对所述局部像素区域进行单向的像素梯度值计算,控制预设置的移动窗口逐行或逐列的在所述局部像素区域中进行单向移动,并根据预设置的梯度阀值选择显著像素点,根据多个所述显著像素点在所述RGB图像中提取所述目标箱体的边界线,进而根据所述目标箱体的边界线上的点云数据生成所述目标箱体的体积;
显示模块,用于显示所述目标箱体的体积。
2.根据权利要求1所述的基于三维视觉的箱体积测量装置,其特征在于,所述相机采用深度相机,当确定一待检测边界线延伸方向及梯度值计算方向时,具体为:
获取所述目标箱体的点云数据;
根据所述点云数据确定所述目标箱体的至少一侧面和顶面,并进而确定所述至少一侧面和所述顶面相交的基准边;
根据所述目标箱体的形状以及所述基准边确定所述目标箱体的至少一待检测边界线的延伸方向,以及包括所述待检测边界线的局部像素区域;
根据所述边界线的延伸方向确定另一方向,沿所述另一方向对所述边界线进行梯度值的计算。
3.根据权利要求1所述的基于三维视觉的箱体积测量装置,其特征在于,当根据预设置的梯度阈值选择显著像素点时,具体为:
预设置一线型移动窗口,控制所述移动窗口逐行的沿所述局部像素区域的横向方向移动或逐列的沿所述局部像素区域的纵向方向移动;
所述移动窗口每移动一个像素时,判断位于所述移动窗口内的中心像素所对应的梯度值是否大于预设置的梯度阈值;
当所述移动窗口的中心像素所对应的梯度值大于预设置的梯度阈值时,则保存该中心像素为显著像素点并移动至下一像素进行检测,否则直接移动至下一像素进行检测。
4.根据权利要求1所述的基于三维视觉的箱体积测量装置,其特征在于,根据多个所述显著像素点在所述RGB图像上提取所述目标箱体的边界线时,具体为:
随机地提取一显著像素点,通过所述待检测边界线的延伸方向和所述显著像素点构建一直线模型;
选取所有满足所述直线模型的显著像素点,并使用选取的所有显著像素点来更新所述直线模型;
重复更新所述直线模型直至前后两次选取的显著像素点数量变化小于预设置的第一数量阀值或者重复执行次数大于预设置的第一次数阀值;
判断所述直线模型所包含的显著像素点的数量是否大于第二数量阀值,当大于所述第二数量阀值时,则保存该直线模型作为边界线,否则抛弃迭代生成的所述直线模型;
重复进行所述直线模型的计算,当重复执行次数大于等于第二次数阀值时停止更新所述直线模型。
5.根据权利要求1所述的基于三维视觉的箱体积测量装置,其特征在于,当在一延伸方向上提取到多条边界线时,通过如下方式进行目标边界线的选择:
计算所述目标箱体的顶面上点云所对应的所有像素点的平均RGB值
Figure FDA0002451347450000025
Figure FDA0002451347450000021
其中,pi为像素点i的RGB值;n为像素点的数量;
对于一边界线L1以预设定的像素数量分别向两侧平移边界线L1来获得边界线L1的内侧边界线L11和外侧边界线L12,设内侧边界线L11上的对应像素点的RGB值为C1,外侧边界线L12的像素点的RGB值为C2,将C1和C2表示为:
C1={c11,c12,c13,...,c1m} (2)
C2={c21,c22,c23,...,c2n} (3)
其中,c1m为内侧边界线L11的像素点;c2n为外侧边界线L12的像素点;m为内侧边界线L11上的像素点的数量,n为外侧边界线L12上的像素点的数量;
分别计算所述平均RGB值
Figure FDA0002451347450000022
与C1、C2的相似度e1和e2,e1和e2分别表示为:
Figure FDA0002451347450000023
Figure FDA0002451347450000024
将e1与e2相减并取绝对值,以表示边界线L1的可靠度指标E,E表示为:
E=|e1-e2| (6)
计算出的多条边界线L1的E值,选择最大E值的边界线L1作为目标边界线。
6.根据权利要求2所述的基于三维视觉的箱体积测量装置,其特征在于,在所述局部像素区域建立像素坐标系,若所述待检测边界线的延伸方向偏向像素坐标系的X轴方向,则逐列的沿Y轴方向进行线型梯度值计算,若所述待检测边界线的延伸方向偏向像素坐标系的Y轴方向,则逐行的沿X轴方向进行线型梯度值计算。
7.根据权利要求1所述的基于三维视觉的箱体积测量装置,其特征在于,根据预设置的体积与费用相关联的费用系数,对所述目标箱体的体积输出对应的费用;
所述显示模块,用于同时显示所述目标箱体的体积及对应的费用。
8.根据权利要求1所述的基于三维视觉的箱体积测量装置,其特征在于,
所述目标箱体为长方体或正方体。
9.根据权利要求1所述的基于三维视觉的箱体积测量装置,其特征在于,根据所述目标箱体的边界线生成所述目标箱体的体积时具体为:
提取所述目标箱体顶面的边界线进而确定所述顶面的端点;
根据所述顶面的法向量将所述顶面的端点投射到所述目标箱体的底面上来确定所述底面的端点;
根据所述顶面和所述底面的端点确定所述目标箱体的长宽高,进而生成所述目标箱体的体积。
10.根据权利要求2所述的基于三维视觉的箱体积测量装置,其特征在于,所述深度相机包括光投射模块、光探测器以及处理器模块;
所述光束投射器,用于所述目标箱体投射点阵光;
所述光探测器,用于接收经所述目标箱体反射后的所述点阵光生成采集光信号;
所述处理器模块,用于根据采集光信号生成所述目标箱体的点云数据。
CN202010293595.XA 2020-04-15 2020-04-15 基于三维视觉的箱体积测量装置 Active CN113538557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010293595.XA CN113538557B (zh) 2020-04-15 2020-04-15 基于三维视觉的箱体积测量装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010293595.XA CN113538557B (zh) 2020-04-15 2020-04-15 基于三维视觉的箱体积测量装置

Publications (2)

Publication Number Publication Date
CN113538557A true CN113538557A (zh) 2021-10-22
CN113538557B CN113538557B (zh) 2024-05-03

Family

ID=78088135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010293595.XA Active CN113538557B (zh) 2020-04-15 2020-04-15 基于三维视觉的箱体积测量装置

Country Status (1)

Country Link
CN (1) CN113538557B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114396875A (zh) * 2022-01-18 2022-04-26 安徽工业大学 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN115950375A (zh) * 2022-12-30 2023-04-11 三一筑工科技股份有限公司 预制构件安装外轮廓平齐度检测方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101903910A (zh) * 2007-10-19 2010-12-01 瓦斯科普斯公司 用于管状结构的自动几何和力学分析方法及系统
US20150022640A1 (en) * 2013-07-22 2015-01-22 Hexagon Technology Center Gmbh Method and system for volume determination using a structure from motion algorithm
CN109655019A (zh) * 2018-10-29 2019-04-19 北方工业大学 一种基于深度学习和三维重建的货物体积测量方法
CN109870106A (zh) * 2019-02-14 2019-06-11 南京邮电大学 一种基于无人机图片的建筑物体积测量方法
CN109900338A (zh) * 2018-12-25 2019-06-18 西安中科天塔科技股份有限公司 一种路面坑槽体积测量方法及装置
CN110189347A (zh) * 2019-05-15 2019-08-30 深圳市优博讯科技股份有限公司 一种测量物体体积的方法及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101903910A (zh) * 2007-10-19 2010-12-01 瓦斯科普斯公司 用于管状结构的自动几何和力学分析方法及系统
US20150022640A1 (en) * 2013-07-22 2015-01-22 Hexagon Technology Center Gmbh Method and system for volume determination using a structure from motion algorithm
CN109655019A (zh) * 2018-10-29 2019-04-19 北方工业大学 一种基于深度学习和三维重建的货物体积测量方法
CN109900338A (zh) * 2018-12-25 2019-06-18 西安中科天塔科技股份有限公司 一种路面坑槽体积测量方法及装置
CN109870106A (zh) * 2019-02-14 2019-06-11 南京邮电大学 一种基于无人机图片的建筑物体积测量方法
CN110189347A (zh) * 2019-05-15 2019-08-30 深圳市优博讯科技股份有限公司 一种测量物体体积的方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
巫荣: "基于图像序列的物体体积测量方法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2, pages 1 - 75 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114396875A (zh) * 2022-01-18 2022-04-26 安徽工业大学 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN114396875B (zh) * 2022-01-18 2023-11-10 安徽工业大学 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN115950375A (zh) * 2022-12-30 2023-04-11 三一筑工科技股份有限公司 预制构件安装外轮廓平齐度检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN113538557B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
WO2021051344A1 (zh) 高精度地图中车道线的确定方法和装置
US20110188708A1 (en) Three-dimensional edge extraction method, apparatus and computer-readable medium using time of flight camera
CN103295239A (zh) 一种基于平面基准影像的激光点云数据的自动配准方法
CN112085838A (zh) 自动清洁设备控制方法、装置及存储介质
CN113538557B (zh) 基于三维视觉的箱体积测量装置
CN113362385A (zh) 一种基于深度图像的货物体积测量方法及设备
EP4375924A1 (en) Cell alignment degree measurement method, controller, detection system, and storage medium
CN116863371A (zh) 一种基于深度学习的agv叉车货物托盘位姿识别方法
CN108803659A (zh) 基于魔方模型的多窗口启发式三维空间路径规划方法
US11699303B2 (en) System and method of acquiring coordinates of pupil center point
CN117671637A (zh) 物体点云重叠识别方法、装置、设备、机器人和存储介质
CN111563895A (zh) 一种图片清晰度确定方法、装置、设备及存储介质
CN113658274B (zh) 用于灵长类动物种群行为分析的个体间距自动计算方法
CN112446842A (zh) 基于稀疏和稠密深度图图像重建方法、系统、设备及介质
CN113538556B (zh) 基于ir图的体积测量装置
CN110728222B (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
CN114862953A (zh) 一种基于视觉特征和3d激光的移动机器人重定位方法及装置
CN114219871A (zh) 一种基于深度图像的障碍物检测方法、装置和移动机器人
CN114463751A (zh) 基于神经网络和检测算法的边角定位方法及装置
CN109087338B (zh) 一种图像稀疏光流的提取方法和装置
CN113532267B (zh) 基于深度相机的体积测量装置
Chen et al. A 3-D point clouds scanning and registration methodology for automatic object digitization
CN113538478B (zh) 基于图像的箱体边界提取方法、系统、设备及存储介质
CN113532265B (zh) 基于三维视觉的箱体积测量装置
CN111553210B (zh) 车道线检测模型的训练方法、车道线检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant