CN113538478B - 基于图像的箱体边界提取方法、系统、设备及存储介质 - Google Patents
基于图像的箱体边界提取方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN113538478B CN113538478B CN202010293399.2A CN202010293399A CN113538478B CN 113538478 B CN113538478 B CN 113538478B CN 202010293399 A CN202010293399 A CN 202010293399A CN 113538478 B CN113538478 B CN 113538478B
- Authority
- CN
- China
- Prior art keywords
- boundary line
- pixel
- boundary
- image
- box body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 17
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Abstract
本发明提供了一种基于图像的箱体边界提取方法、系统、设备及存储介质，包括如下步骤：获取目标箱体的RGB图像，在RGB图像上确定至少一待检测边界线的延伸方向，以及包括待检测边界线的局部像素区域，并对局部像素区域进行单向的像素梯度值计算；预设置一线型移动窗口，控制移动窗口逐行或逐列的在局部像素区域中进行单向移动，并根据预设置的梯度阀值选择显著像素点；根据多个显著像素点在RGB图像中提取目标箱体的边界线。在本发明中能够根据显著像素点提取出目标箱体的边界线，进而能够根据边界线计算出目标箱体的体积，实现目标箱体体积的自动计算，能够应用于物流计费以及物体的自动装载等领域。
Description
技术领域
本发明涉及箱体体积测量，具体地，涉及一种基于图像的箱体边界提取方法、系统、设备及存储介质。
背景技术
体积数据作为物体的一项最为基本的属性信息，被广泛应用生产和物流等领域中，如基于物体体积的物流计费、物体的自动装载等。其中，在进行物流计费或物体的自动装载中的物体常常使用标准的长方体箱体。然后通过三维测头进行自动化、高效、准确地计算出箱体的体积，以解决人工拉尺慢，手动输入繁琐，运费计算出错，存储存档困难等问题。
在规则箱体的三维视觉测量中，准确获取箱体的三维边界线是计算箱体体积的关键因素。在实际测量中，由于受周围环境、箱体颜色及三维测头本身的影响，通过点云数据往往不能准确地获取箱体的某些边界线。如图6所示，顶面和侧面点云的交线(即基准边L)可以较为准确的计算；然而顶面的其余三条边界线不能准确的获取。为了提高箱体边界线提取的准确性，需要结合箱体的RGB图像信息来对这些不准确边界进行修正，因此需要提供一种能够对边界线进行准确提取的方案。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于图像的箱体边界提取方法、系统、设备及存储介质。
根据本发明提供的基于图像的箱体边界提取方法，包括如下步骤：
步骤S1：获取目标箱体的RGB图像，在RGB图像上确定至少一待检测边界线的延伸方向，以及包括所述待检测边界线的局部像素区域，并对所述局部像素区域进行单向的像素梯度值计算；
步骤S2：预设置一线型移动窗口，控制所述移动窗口逐行或逐列的在所述局部像素区域中进行单向移动，并根据预设置的梯度阀值选择显著像素点；
步骤S3：根据多个所述显著像素点在所述RGB图像中提取所述目标箱体的边界线。
优选地，所述步骤S1包括如下步骤：
步骤S101：获取所述目标箱体的点云数据；
步骤S102：根据所述点云数据确定所述目标箱体的至少一侧面和顶面，并进而确定所述至少一侧面和所述顶面相交的基准边；
步骤S103：根据所述目标箱体的形状以及所述基准边确定所述目标箱体的至少一待检测边界线的延伸方向，以及包括所述待检测边界线的局部像素区域；
步骤S104：根据所述边界线的延伸方向确定另一方向，沿所述另一方向对所述边界线进行梯度值的计算。
优选地，所述步骤S2包括如下步骤：
步骤S201：预设置一线型移动窗口，控制所述移动窗口逐行的沿所述局部像素区域的横向方向移动或逐列的沿所述局部像素区域的纵向方向移动；
步骤S202：所述移动窗口每移动一个像素时，判断位于所述移动窗口内的中心像素所对应的梯度值是否大于预设置的梯度阈值；
步骤S203：当所述移动窗口的中心像素所对应的梯度值大于预设置的梯度阈值时，则保存该中心像素为显著像素点并移动至下一像素进行检测，否则直接移动至下一像素进行检测。
优选地，所述步骤S3包括如下步骤：
步骤S301：随机地提取一显著像素点，通过所述待检测边界线的延伸方向和所述显著像素点构建一直线模型；
步骤S302：选取所有满足所述直线模型的显著像素点，并使用选取的所有显著像素点来更新所述直线模型；
步骤S303：重复执行步骤S302直至前后两次的选取的显著像素点数量变化小于预设置的第一数量阀值或者重复执行次数大于预设置的第一次数阀值；
步骤S304：判断所述直线模型所包含的显著像素点的数量是否大于第二数量阀值，当大于所述第二数量阀值时，则保存该直线模型作为边界线，否则抛弃迭代生成的所述直线模型；
步骤S305：重复执行步骤S301至步骤S304，当重复执行次数大于等于第二次数阀值时停止更新所述直线模型。
优选地，当步骤S3中在一所述待检测边界的区域提取到多条边界线时，通过如下步骤进行目标边界线的选择：
步骤S401：计算所述目标箱体的顶面上点云所对应的所有像素点的平均RGB值
其中，pi为像素点i的RGB值；n为像素点的数量；
步骤S402：对于一边界线L1以预设定的像素数量分别向两侧平移边界线L1来获得边界线L1的内侧边界线L11和外侧边界线L12，设内侧边界线L11上的对应像素点的RGB值为C1，外侧边界线L12的像素点的RGB值为C2，将C1和C2表示为：
C1＝{c11，c12，c13，...，c1m} (2)
C2＝{c21，c22，c23，...，c2n} (3)
其中，c1m为内侧边界线L11的像素点；c2n为外侧边界线L12的像素点；m为内侧边界线L11上的像素点的数量，n为外侧边界线L12上的像素点的数量；
步骤S403：分别计算所述平均RGB值与C1、C2的相似度e1和e2，e1和e2分别表示为：
步骤S404：将e1与e2相减并取绝对值，以表示边界线L1的可靠度指标E，E表示为：
E＝|e1-e2| (6)
步骤S405：重复执行步骤S402至步骤S404，选择最大E值的边界线L1作为目标边界线。
优选地，所述步骤S104具体为：
在所述局部像素区域建立像素坐标系，若所述待检测边界线的延伸方向偏向像素坐标系的x方向，则逐列的沿y方向进行线型梯度值计算，若所述待检测边界线的延伸方向偏向像素坐标系的y方向，则逐行的沿x方向进行线型梯度值计算。
优选地，所述点云数据和所述RGB图像采用深度相机采集；
所述目标箱体为长方体或正方体。
根据本发明提供的基于图像的箱体边界提取系统，包括如下模块：
边界线定位模块，用于获取目标箱体的RGB图像，在RGB图像上确定至少一待检测边界线的延伸方向，以及包括所述待检测边界线的局部像素区域，并对所述局部像素区域进行单向的像素梯度值计算；
显著像素点生成模块，用于控制一设置的移动窗口逐行或逐列的在所述局部像素区域中进行单向移动，并根据预设置的梯度阀值选择显著像素点；
边界线提取模块，用于根据多个所述显著像素点在所述RGB图像提取所述目标箱体的边界线。
根据本发明提供的基于图像的箱体边界提取设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的基于图像的箱体边界提取方法的步骤。
根据本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的基于图像的箱体边界提取方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
在本发明中，通过在包括待检测边界线的局部像素区域中逐行或逐列的单向计算梯度值，根据梯度阈值选择显著像素点，进而根据显著像素点提取出目标箱体的边界线，进而能够根据边界线计算出所述目标箱体的体积，实现目标箱体体积的自动计算，能够应用于物流计费以及物体的自动装载等领域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例中基于图像的箱体边界提取方法的步骤流程图；
图2为本发明实施例中边界线的延伸方向及梯度变化计算方向确定的步骤流程图；
图3为本发明实施例中显著像素点提取的步骤流程图；
图4为本发明实施例中根据显著像素点拟合生成边界线的步骤流程图；
图5为本发明实施例中根据显著像素点拟合生成边界线具体实施的步骤流程图；
图6为本发明实施例中根据点云数据确定基准边及初步确定边界线的示意图；
图7为本发明实施例中在多条边界线提取目标边界线的示意图；
图8为本发明实施例中基于图像的箱体边界提取系统的模块示意图；
图9为本发明实施例中基于图像的箱体边界提取设备的结构示意图；以及
图10为本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供的基于图像的箱体边界提取方法，旨在解决现有技术中存在的问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图1为本发明实施例中基于图像的箱体边界提取方法的步骤流程图，如图1所示，本发明提供的基于图像的箱体边界提取方法，包括如下步骤：
步骤S1：获取目标箱体的RGB图像，在RGB图像上确定至少一待检测边界线的延伸方向，以及包括所述待检测边界线的局部像素区域，并对所述局部像素区域进行单向的像素梯度值计算；
图2为本发明实施例中边界线的延伸方向及梯度变化计算方向确定的步骤流程图，如图2所示，所述步骤S1包括如下步骤：
步骤S101：获取所述目标箱体的点云数据；
步骤S102：根据所述点云数据确定所述目标箱体的至少一侧面和顶面，并进而确定所述至少一侧面和所述顶面相交的基准边；
步骤S103：根据所述目标箱体的形状以及所述基准边确定所述目标箱体的至少一待检测边界线的延伸方向，以及包括所述待检测边界线的局部像素区域；
步骤S104：根据所述边界线的延伸方向确定另一方向，沿所述另一方向对所述边界线进行梯度值的计算。
在本发明实施例中，所述步骤S104具体为：在所述局部像素区域建立像素坐标系，若所述待检测边界线的延伸方向偏向像素坐标系的x方向，则逐列的沿y方向进行线型梯度值计算，若所述待检测边界线的延伸方向偏向像素坐标系的y方向，则逐行的沿x方向进行线型梯度值计算。
在本发明实施例中，所述目标箱体为长方体或正方体。所述像素坐标系为根据所述局部像素区域的横向延伸方向为X轴，纵向延伸方向为Y轴建立的二维坐标系。
本发明相对于传统的双梯度边界提取方法，仅沿一方向进行梯度计算，明显提高梯度计算的效率，且保证了算法的准确性。
所述点云数据和所述RGB图像采用深度相机采集，采集步骤如下：
通过深度相机的光束投射器端向所述目标箱体投射点阵光；
通过深度相机的探测器端接收经所述目标箱体反射后的所述点阵光；
通过深度相机的处理器根据所述探测器端接收到的所述点阵光生成所述目标箱体的点云数据；
通过深度相机上的RGB摄像头采集所述RGB图像。
步骤S2：预设置一移动窗口，控制所述移动窗口在沿所述延伸方向上移动，以根据预设置的梯度阈值选择显著像素点；
图3为本发明实施例中显著像素点提取的步骤流程图，如图3所示，所述步骤S2包括如下步骤：
步骤S201：预设置一线型移动窗口，控制所述移动窗口逐行的沿所述局部像素区域的横向方向移动或逐列的沿所述局部像素区域的纵向方向移动；
步骤S202：所述移动窗口每移动一个像素时，判断位于所述移动窗口内的中心像素所对应的梯度值是否大于预设置的梯度阈值；
步骤S203：当所述移动窗口的中心像素所对应的梯度值大于预设置的梯度阈值时，则保存该中心像素为显著像素点并移动至下一像素进行检测，否则直接移动至下一像素进行检测。
步骤S3：根据多个所述显著像素点在所述RGB图像提取所述目标箱体的边界线。
在本发明实施例中，所述移动窗口的大小可以设置为长度为5个像素。所述预设置的梯度阈值为步骤S104计算生成的最大的梯度值的70％。
图4为本发明实施例中根据显著像素点拟合生成边界线的步骤流程图，如图4所示，所述步骤S3包括如下步骤：
步骤S301：随机地提取一显著像素点，通过所述待检测边界线的延伸方向和所述显著像素点构建一直线模型；
步骤S302：选取所有满足所述直线模型的显著像素点，并使用选取的所有显著像素点来更新所述直线模型；
步骤S303：重复执行步骤S302直至前后两次的选取的显著像素点数量变化小于预设置的第一数量阀值或者重复执行次数大于预设置的第一次数阀值；
步骤S304：判断所述直线模型所包含的显著像素点的数量是否大于第二数量阀值，当大于所述第二数量阀值时，则保存该直线模型作为边界线，否则抛弃迭代生成的所述直线模型。
在本发明变形例中，还包括步骤S305；
所述步骤S305具体为，重复执行步骤S301至步骤S304，当重复执行次数大于等于第二次数阀值时停止更新所述直线模型。
所述第二次数阀值可以设置为50至200之间的任意数值。
在本发明实施例中，所述第一数量阀值可以设置为5个像素；所述第一次数阀值可以设置为100次；所述第二数量阀值根据所述显著像素点总数来确定，如可以设置为显著像素点总数的20％。所述第二次数阀值可以设置为50至200之间的任意数值。
图7为本发明实施例中在多条边界线提取目标边界线的示意图，如图7所示，当步骤S3中在一所述待检测边界的区域提取到多条边界线时，通过如下步骤进行目标边界线的选择：
步骤S401：计算所述目标箱体的顶面上点云所对应的所有像素点的平均RGB值
其中，pi为像素点i的RGB值；n为像素点的数量；
步骤S402：对于一边界线L1以预设定的像素数量分别向两侧平移边界线L1来获得边界线L1的内侧边界线L11和外侧边界线L12，设内侧边界线L11上的对应像素点的RGB值为C1，外侧边界线L12的像素点的RGB值为C2，将C1和C2表示为：
C1＝{c11，c12，c13，...，c1m} (2)
C2＝{c21，c22，c23，...，c2n} (3)
其中，c1m为内侧边界线L11的像素点；c2n为外侧边界线L12的像素点；m为内侧边界线L11上的像素点的数量，n为外侧边界线L12上的像素点的数量；
步骤S403：分别计算所述平均RGB值与C1、C2的相似度e1和e2，e1和e2分别表示为：
步骤S404：将e1与e2相减并取绝对值，以表示边界线L1的可靠度指标E，E表示为：
E＝|e1-e2| (6)
步骤S405：重复执行步骤S402至步骤S404，选择最大E值的边界线L1作为目标边界线。
在本发明实施例中，所述像素数量为5个，边界线L1的两侧为靠近所述目标箱体的顶面中心一侧和远离所述目标箱体的顶面中心的一侧。
图8为本发明实施例中基于图像的箱体边界提取系统的模块示意图，如图8所示，本发明提供的基于图像的箱体边界提取系统，包括如下模块：
边界线定位模块，用于获取目标箱体的RGB图像，在RGB图像上确定至少一待检测边界线的延伸方向，以及包括所述待检测边界线的局部像素区域，并对所述局部像素区域进行单向的像素梯度值计算；
显著像素点生成模块，用于控制一设置的移动窗口逐行或逐列的在所述局部像素区域中进行单向移动，并根据预设置的梯度阀值选择显著像素点；
边界线提取模块，用于根据多个所述显著像素点在所述RGB图像提取所述目标箱体的边界线。
本发明实施例中还提供一种基于图像的箱体边界提取设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于图像的箱体边界提取方法的步骤。
如上，该实施例中通过在包括待检测边界线的局部像素区域中逐行或逐列的单向计算梯度值，根据梯度阈值选择显著像素点，进而根据显著像素点提取出目标箱体的边界线，进而能够根据边界线计算出所述目标箱体的体积，实现目标箱体体积的自动计算，能够应用于物流计费以及物体的自动装载等领域。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图9是本发明实施例中的基于图像的箱体边界提取设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述基于图像的箱体边界提取方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图9中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于图像的箱体边界提取方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述基于图像的箱体边界提取方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，通过在包括待检测边界线的局部像素区域中逐行或逐列的单向计算梯度值，根据梯度阈值选择显著像素点，进而根据显著像素点提取出目标箱体的边界线，进而能够根据边界线计算出所述目标箱体的体积，实现目标箱体体积的自动计算，能够应用于物流计费以及物体的自动装载等领域。
图10是本发明实施例中的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本发明实施例中，通过在包括待检测边界线的局部像素区域中逐行或逐列的单向计算梯度值，根据梯度阈值选择显著像素点，进而根据显著像素点提取出目标箱体的边界线，进而能够根据边界线计算出所述目标箱体的体积，实现目标箱体体积的自动计算，能够应用于物流计费以及物体的自动装载等领域。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (10)
1.一种基于图像的箱体边界提取方法，其特征在于，包括如下步骤：
步骤S1：获取目标箱体的RGB图像，在RGB图像上确定至少一待检测边界线的延伸方向，以及包括所述待检测边界线的局部像素区域，并对所述局部像素区域进行单向的像素梯度值计算；
步骤S2：预设置一移动窗口，控制所述移动窗口逐行或逐列的在所述局部像素区域中进行单向移动，并根据预设置的梯度阀值选择显著像素点；
步骤S3：根据多个所述显著像素点在所述RGB图像中提取所述目标箱体的边界线。
2.根据权利要求1所述的基于图像的箱体边界提取方法，其特征在于，所述步骤S1包括如下步骤：
步骤S101：获取所述目标箱体的点云数据；
步骤S102：根据所述点云数据确定所述目标箱体的至少一侧面和顶面，并进而确定所述至少一侧面和所述顶面相交的基准边；
步骤S103：根据所述目标箱体的形状以及所述基准边确定所述目标箱体的至少一待检测边界线的延伸方向，以及包括所述待检测边界线的局部像素区域；
步骤S104：根据所述边界线的延伸方向确定另一方向，沿所述另一方向对所述边界线进行梯度值的计算。
3.根据权利要求1所述的基于图像的箱体边界提取方法，其特征在于，所述步骤S2包括如下步骤：
步骤S201：预设置一线型移动窗口，控制所述移动窗口逐行的沿所述局部像素区域的横向方向移动或逐列的沿所述局部像素区域的纵向方向移动；
步骤S202：所述移动窗口每移动一个像素时，判断位于所述移动窗口内的中心像素所对应的梯度值是否大于预设置的梯度阈值；
步骤S203：当所述移动窗口的中心像素所对应的梯度值大于预设置的梯度阈值时，则保存该中心像素为显著像素点并移动至下一像素进行检测，否则直接移动至下一像素进行检测。
4.根据权利要求1所述的基于图像的箱体边界提取方法，其特征在于，所述步骤S3包括如下步骤：
步骤S301：随机地提取一显著像素点，通过所述待检测边界线的延伸方向和所述显著像素点构建一直线模型；
步骤S302：选取所有满足所述直线模型的显著像素点，并使用选取的所有显著像素点来更新所述直线模型；
步骤S303：重复执行步骤S302直至前后两次的选取的显著像素点数量变化小于预设置的第一数量阀值或者重复执行次数大于预设置的第一次数阀值；
步骤S304：判断所述直线模型所包含的显著像素点的数量是否大于第二数量阀值，当大于所述第二数量阀值时，则保存该直线模型作为边界线，否则抛弃迭代生成的所述直线模型；
步骤S305：重复执行步骤S301至步骤S304，当重复执行次数大于等于第二次数阀值时停止更新所述直线模型。
5.根据权利要求1所述的基于图像的箱体边界提取方法，其特征在于，当步骤S3中在一所述待检测边界的区域提取到多条边界线时，通过如下步骤进行目标边界线的选择：
步骤S401：计算所述目标箱体的顶面上点云所对应的所有像素点的平均RGB值
其中，pi为像素点i的RGB值；n为像素点的数量；
步骤S402：对于一边界线L1以预设定的像素数量分别向两侧平移边界线L1来获得边界线L1的内侧边界线L11和外侧边界线L12，设内侧边界线L11上的对应像素点的RGB值为c1，外侧边界线L12的像素点的RGB值为c2，将c1和c2表示为：
C1＝{c11,c12,c13,...,c1m} (2)
C2＝{c21,c22,c23,...,c2n} (3)
其中，c1m为内侧边界线L11的像素点；c2n为外侧边界线L12的像素点；m为内侧边界线L11上的像素点的数量，n为外侧边界线L12上的像素点的数量；
步骤S403：分别计算所述平均RGB值与c1、c2的相似度e1和e2，e1和e2分别表示为：
步骤S404：将e1与e2相减并取绝对值，以表示边界线L1的可靠度指标E，E表示为：
E＝|e1-e2| (6)
步骤S405：重复执行步骤S402至步骤S404，选择最大E值的边界线L1作为目标边界线。
6.根据权利要求2所述的基于图像的箱体边界提取方法，其特征在于，所述步骤S104具体为：
在所述局部像素区域建立像素坐标系，若所述待检测边界线的延伸方向偏向像素坐标系的x方向，则逐列的沿y方向进行线型梯度值计算，若所述待检测边界线的延伸方向偏向像素坐标系的y方向，则逐行的沿x方向进行线型梯度值计算。
7.根据权利要求2所述的基于图像的箱体边界提取方法，其特征在于，所述点云数据和所述RGB图像采用深度相机采集；
所述目标箱体为长方体或正方体。
8.一种基于图像的箱体边界提取系统，其特征在于，包括如下模块：
边界线定位模块，用于获取目标箱体的RGB图像，在RGB图像上确定至少一待检测边界线的延伸方向，以及包括所述待检测边界线的局部像素区域，并对所述局部像素区域进行单向的像素梯度值计算；
显著像素点生成模块，用于控制一设置的移动窗口逐行或逐列的在所述局部像素区域中进行单向移动，并根据预设置的梯度阀值选择显著像素点；
边界线提取模块，用于根据多个所述显著像素点在所述RGB图像提取所述目标箱体的边界线。
9.一种基于图像的箱体边界提取设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的基于图像的箱体边界提取方法的步骤。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7任一项所述的基于图像的箱体边界提取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010293399.2A CN113538478B (zh) | 2020-04-15 | 基于图像的箱体边界提取方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010293399.2A CN113538478B (zh) | 2020-04-15 | 基于图像的箱体边界提取方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538478A CN113538478A (zh) | 2021-10-22 |
| CN113538478B true CN113538478B (zh) | 2024-06-04 |
Family
ID=
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103927751A (zh) * | 2014-04-18 | 2014-07-16 | 哈尔滨工程大学 | 基于梯度信息融合的水面光视觉图像目标区域检测方法 |
| CN106780332A (zh) * | 2016-12-14 | 2017-05-31 | 中国科学院地质与地球物理研究所兰州油气资源研究中心 | 全井眼测井图像生成装置 |
| CN108596923A (zh) * | 2018-05-14 | 2018-09-28 | 江苏哈工智能机器人股份有限公司 | 三维数据的获取方法、装置以及电子设备 |
| CN109033972A (zh) * | 2018-06-27 | 2018-12-18 | 上海数迹智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
| CN109242807A (zh) * | 2018-11-07 | 2019-01-18 | 厦门欢乐逛科技股份有限公司 | 渲染参数自适应的边缘软化方法、介质及计算机设备 |
| CN109325930A (zh) * | 2018-09-12 | 2019-02-12 | 苏州优纳科技有限公司 | 边界缺陷的检测方法、装置及检测设备 |
| CN110120050A (zh) * | 2019-05-07 | 2019-08-13 | 西安电子科技大学 | 基于素描信息和超像素分割的光学遥感图像海陆分割方法 |
| CN110517246A (zh) * | 2019-08-23 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103927751A (zh) * | 2014-04-18 | 2014-07-16 | 哈尔滨工程大学 | 基于梯度信息融合的水面光视觉图像目标区域检测方法 |
| CN106780332A (zh) * | 2016-12-14 | 2017-05-31 | 中国科学院地质与地球物理研究所兰州油气资源研究中心 | 全井眼测井图像生成装置 |
| CN108596923A (zh) * | 2018-05-14 | 2018-09-28 | 江苏哈工智能机器人股份有限公司 | 三维数据的获取方法、装置以及电子设备 |
| CN109033972A (zh) * | 2018-06-27 | 2018-12-18 | 上海数迹智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
| CN109325930A (zh) * | 2018-09-12 | 2019-02-12 | 苏州优纳科技有限公司 | 边界缺陷的检测方法、装置及检测设备 |
| CN109242807A (zh) * | 2018-11-07 | 2019-01-18 | 厦门欢乐逛科技股份有限公司 | 渲染参数自适应的边缘软化方法、介质及计算机设备 |
| CN110120050A (zh) * | 2019-05-07 | 2019-08-13 | 西安电子科技大学 | 基于素描信息和超像素分割的光学遥感图像海陆分割方法 |
| CN110517246A (zh) * | 2019-08-23 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于全卷积神经网络的表面缺陷检测方法研究;于志洋;《全国优秀博硕士学位论文全文库(硕士) 信息科技辑》;全文 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209978B (zh) | 三维视觉重定位方法、装置及计算设备、存储介质 | |
| JP7273129B2 (ja) | 車線検出方法、装置、電子機器、記憶媒体及び車両 | |
| CN111402413B (zh) | 三维视觉定位方法、装置及计算设备、存储介质 | |
| WO2024083006A1 (zh) | 一种三维成像方法、装置、设备和存储介质 | |
| CN115205128A (zh) | 基于结构光的深度相机温漂校正方法、系统、设备及介质 | |
| CN115719436A (zh) | 模型训练方法、目标检测方法、装置、设备以及存储介质 | |
| CN114926549B (zh) | 三维点云处理方法、装置、设备以及存储介质 | |
| CN112991459A (zh) | 一种相机标定方法、装置、设备以及存储介质 | |
| CN114565916A (zh) | 目标检测模型训练方法、目标检测方法以及电子设备 | |
| CN112509126A (zh) | 三维物体检测的方法、装置、设备及存储介质 | |
| CN115330940A (zh) | 一种三维重建方法、装置、设备和介质 | |
| CN113532266B (zh) | 基于三维视觉的箱体积测量方法、系统、设备及存储介质 | |
| CN114283398A (zh) | 车道线的处理方法、装置和电子设备 | |
| CN115249266A (zh) | 航路点位置预测方法、系统、设备及存储介质 | |
| CN114299242A (zh) | 高精地图中图像处理方法、装置、设备以及存储介质 | |
| CN113538557B (zh) | 基于三维视觉的箱体积测量装置 | |
| CN113538478B (zh) | 基于图像的箱体边界提取方法、系统、设备及存储介质 | |
| CN113538558B (zh) | 基于ir图的体积测量优化方法、系统、设备及存储介质 | |
| CN114723894B (zh) | 一种三维坐标获取方法、装置及电子设备 | |
| CN112446842A (zh) | 基于稀疏和稠密深度图图像重建方法、系统、设备及介质 | |
| CN115346020A (zh) | 点云处理方法、避障方法、装置、机器人和存储介质 | |
| CN113538478A (zh) | 基于图像的箱体边界提取方法、系统、设备及存储介质 | |
| CN114066980A (zh) | 对象检测方法、装置、电子设备及自动驾驶车辆 | |
| CN113538554B (zh) | 基于深度相机的体积测量方法、系统、设备及存储介质 | |
| CN114581523A (zh) | 一种用于单目3d目标检测的标注数据确定方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |