CN111161263A - 一种包装平整度检测方法、系统、电子设备和存储介质 - Google Patents

一种包装平整度检测方法、系统、电子设备和存储介质 Download PDF

Info

Publication number
CN111161263A
CN111161263A CN202010252642.6A CN202010252642A CN111161263A CN 111161263 A CN111161263 A CN 111161263A CN 202010252642 A CN202010252642 A CN 202010252642A CN 111161263 A CN111161263 A CN 111161263A
Authority
CN
China
Prior art keywords
depth
package
value
information
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010252642.6A
Other languages
English (en)
Other versions
CN111161263B (zh
Inventor
钱浩
刘丽凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute Of Collaborative Innovation
Original Assignee
Beijing Yunshi Power Technology Co Ltd
Beijing Institute Of Collaborative Innovation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunshi Power Technology Co Ltd, Beijing Institute Of Collaborative Innovation filed Critical Beijing Yunshi Power Technology Co Ltd
Priority to CN202010252642.6A priority Critical patent/CN111161263B/zh
Publication of CN111161263A publication Critical patent/CN111161263A/zh
Application granted granted Critical
Publication of CN111161263B publication Critical patent/CN111161263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种包装平整度检测方法、系统、电子设备和存储介质，所述方法包括：确定包含待检测包装的图像信息和深度信息；对深度信息进行平面校正；其中，平面校正是基于平面深度最大值和传送带平面与深度采集设备像平面的夹角，对深度信息中的每一像素点的深度值进行校正；基于图像信息和校正后的深度信息，确定感兴趣区域的深度图；基于感兴趣区域的深度图，对待检测包装进行平整度检测。本发明实施例提供的一种包装平整度检测方法、系统、电子设备和存储介质，实现了包装平整度的自动检测，提高了生产效率，保证了包装平整度检测的准确度，有利于后续产品装箱。

Description

一种包装平整度检测方法、系统、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种包装平整度检测方法、系统、电子设备和存储介质。
背景技术
食品包装检测是食品生产流水线中的一个关键环节，主要应用于真空包装食品加工厂。在食品生产流水线作业中，保证食品包装表面的凹凸程度和弯曲程度在一定合理范围内，能够有效提高后续的食品装箱的效率。不同食品包装的检测技术需要根据食品包装实际的材质、光照、检测环境和设备进行定制。
现有的食品包装表面平整度检测均采用人工进行，无自动或智能检测装备。例如，在大蒜、藕带等食品在流水线上被封入真空包装袋后，会被平铺在传送带上进入人工检测区域，由人工进行合格包装的筛选。而人工检测存在以下缺陷：其一，人工检测不利于长时间工作，需要工人交替工作，提高了生产成本；其二，真空包装食品的生产线大多处于低温环境，人工检测行动不便，工作容易疲劳；其三，人工检测的准确率无法得到保证，为后续装箱带来不便。
因此，如何实现包装表面平整度的自动检测，进而判别包装表面凹凸程度及弯曲程度是否达标，成为亟待解决的问题。
发明内容
本发明实施例提供一种包装平整度检测方法、系统、电子设备和存储介质，用以解决现有的人工检测包装平整度生产成本高、生产效率低和准确率不高的问题。
第一方面，本发明实施例提供一种包装平整度检测方法，包括：
确定包含待检测包装的图像信息和深度信息；
对所述深度信息进行平面校正；其中，所述平面校正是基于平面深度最大值和传送带平面与深度采集设备像平面的夹角，对所述深度信息中的每一像素点的深度值进行校正；
基于所述图像信息和校正后的深度信息，确定感兴趣区域的深度图；
基于所述感兴趣区域的深度图，对所述待检测包装进行平整度检测。
进一步地，所述确定包含待检测包装的图像信息和深度信息，具体包括：
采集所述图像信息和所述深度信息；
对所述图像信息和所述深度信息进行预处理；
其中，所述预处理包括反光抑制、坏点去除、前景分离和形态学处理中的至少一种。
进一步地，所述反光抑制是修正所述深度信息中大于正常像素阈值的像素点的深度值；
所述坏点去除是基于所述深度信息中任一坏点的周边像素点的深度值，更新所述任一坏点的深度值；其中，所述坏点为深度值为0的像素点；
所述前景分离是基于预设前景阈值对所述深度信息进行阈值分割；
所述形态学处理是对二值化后的图像信息进行闭运算。
进一步地，所述预设前景阈值是基于如下步骤确定的：
将样本深度信息转换为一维数组，所述一维数组中的深度值按照从高到低的顺序排列；
对所述一维数组进行一阶后向差分，将差分绝对值最大的像素点对应的深度值作为所述预设前景阈值。
进一步地，所述基于所述图像信息和所述校正后的深度信息，确定感兴趣区域的深度图，具体包括：
对所述图像信息进行边缘提取，得到包含所述待检测包装的边缘图；
基于所述边缘图，从所述校正后的深度信息中提取所述感兴趣区域的深度图。
进一步地，所述基于所述感兴趣区域的深度图，对所述待检测包装进行平整度检测，具体包括：
确定所述感兴趣区域的深度图中每一像素点的高度值和梯度值；
若每一像素点的高度值均小于预设高度阈值，且每一像素点的梯度值均小于预设梯度阈值，则确定所述待检测包装的平整度合格；否则，确定所述待检测包装的平整度不合格。
进一步地，所述基于所述图像信息和所述校正后的深度信息，确定感兴趣区域的深度图，之后还包括：
确定所述感兴趣区域的深度图中所有像素点的最大高度值；
基于所述最大高度值判断所述待检测包装的高度是否合格。
第二方面，本发明实施例提供一种包装平整度检测系统，包括：
获取模块，用于确定包含待检测包装的图像信息和深度信息；
校正模块，用于对所述深度信息进行平面校正；其中，所述平面校正是基于平面深度最大值和传送带平面与深度采集设备像平面的夹角，对所述深度信息中的每一像素点的深度值进行校正；
处理模块，用于基于所述图像信息和所述深度信息，确定感兴趣区域的深度图；
检测模块，用于基于所述感兴趣区域的深度图，对所述待检测包装进行平整度检测。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的包装平整度检测方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的包装平整度检测方法。
本发明实施例提供的一种包装平整度检测方法、系统、电子设备和存储介质，通过确定包含待检测包装的图像信息和深度信息，对深度信息进行平面校正，进而得到感兴趣区域的深度图，并据此对待检测包装进行平整度检测，实现了包装平整度的自动检测，提高了生产效率，保证了包装平整度检测的准确度，有利于后续产品装箱。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的包装平整度检测方法的流程示意图；
图2为本发明实施例提供的包装平整度检测系统的结构示意图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的包装平整度检测方法的流程示意图，如图1所示，本发明实施例提供的包装平整度检测方法包括：
步骤110，确定包含待检测包装的图像信息和深度信息。
具体地，在产品生产的流水线作业中，产品被封装在包装袋中，平铺在传送带上，传送带运动至检测区域，对待检测包装进行包装平整度检测。本发明实施例中，首先确定包含待检测包装的图像信息和深度信息，其中包含待检测包装的图像信息和深度信息指的是采集设备获取的检测区域的图像信息和深度信息。上述检测区域的图像信息和深度信息包含有待检测包装的图像信息和深度信息，也可能包含有传送带和其他杂物的图像信息和深度信息。
步骤120，对深度信息进行平面校正；其中，平面校正是基于平面深度最大值和传送带平面与深度采集设备像平面的夹角，对深度信息中的每一像素点的深度值进行校正。
具体地，由于深度采集设备在安装过程中相对于传送带平面可能存在轻微的倾斜，使得采集的深度信息与待检测包装表面各点到深度采集设备像平面的实际距离存在一定误差。为更准确的计算待检测包装表面各点相对传送带平面的实际高度，需要对深度信息中每一像素点的深度值进行校正。平面校正是利用平面深度最大值和传送带平面与深度采集设备像平面的夹角进行校正的，其中平面深度最大值为深度信息中的最大深度值。
进一步地，平面校正的具体公式如下：
Figure 462017DEST_PATH_IMAGE001
其中，
Figure 441475DEST_PATH_IMAGE002
为平面深度最大值，
Figure 17949DEST_PATH_IMAGE003
为深度信息中任一非零像素点的深度值，
Figure 974011DEST_PATH_IMAGE004
为传送 带平面与深度采集设备像平面之间的夹角，
Figure 850700DEST_PATH_IMAGE005
为上述任一非零像素点与平面深度最大值对 应的像素点的纵向像素差。
传送带平面与深度采集设备像平面的夹角为两平面夹角，该夹角可用两平面的法向量计算得出。
以像平面为参考系，则像平面的法向量
Figure 735479DEST_PATH_IMAGE006
。
传送带平面法向量可由传送带平面上两个不平行的向量的外积求出。取传送带平 面上的两个向量
Figure 64829DEST_PATH_IMAGE007
，
Figure 827511DEST_PATH_IMAGE008
，则传送带平面法向量
Figure 558707DEST_PATH_IMAGE009
可用两向量外积求出，计算公式如下：
Figure 614388DEST_PATH_IMAGE010
则传送带平面与深度采集设备像平面之间的夹角的计算公式如下：
Figure 165455DEST_PATH_IMAGE011
步骤130，基于图像信息和校正后的深度信息，确定感兴趣区域的深度图。
具体地，由于产品包装在传送带上分布的随机性，可能存在检测区域内出现一个或者多个完整或者残缺的待检测包装的情况，为区分每一个待检测包装，需要利用产品包装的图像信息和校正后的深度信息，得到感兴趣区域的深度图，以供检测产品包装的平整度，其中，一个感兴趣区域对应一个待检测包装。
步骤140，基于感兴趣区域的深度图，对待检测包装进行平整度检测。
具体地，利用感兴趣区域的深度图，可以得到每一个待检测包装表面各点相对于传送带平面的高度值，通过判断该高度值的数值大小和变化率，进而检测产品包装的平整度。例如，若产品包装表面中某点的高度值超出正常阈值且产品包装表面高度值起伏较大，则确定该产品包装的平整度不合格。
本发明实施例提供的包装平整度检测方法，通过确定包含待检测包装的图像信息和深度信息，对深度信息进行平面校正，进而得到感兴趣区域的深度图，并据此对待检测包装进行平整度检测，实现了包装平整度的自动检测，提高了生产效率，保证了包装平整度检测的准确度，有利于后续产品装箱。
基于上述实施例，步骤110具体包括；
步骤111，采集图像信息和深度信息。
具体地，图像信息可以通过类似于数码相机或摄像头的图像采集设备获取。深度信息可以通过类似于TOF（Time of Flight）相机或结构光传感器的深度采集设备获取，TOF相机通过对目标场景发射连续的近红外脉冲，然后接收经过待检测物体反射的光脉冲，通过比较发射光脉冲与经过待检测物体反射的光脉冲的相位差，得到待检测物体的深度信息；结构光传感器将具有特定模式图案的光，即结构光，投射至目标场景，然后采集待检测物体的图像，由于结构光的模式图案会因待检测物体产生变形，通过计算模式图案在采集到的图像中的位置和形变程度，得到待检测物体的深度信息，本发明实施例对图像信息和深度信息的采集方式不作具体限定。
步骤112，对图像信息和深度信息进行预处理；
其中，预处理包括反光抑制、坏点去除、前景分离和形态学处理中的至少一种。
具体地，由于采集的深度信息中存在一些噪声数据，例如某个像素点的深度值明显过大或者因深度值计算失败像素点的深度值为0，为去除噪声数据，消除无关的其他信息，需要对图像信息和深度信息进行预处理。预处理包括反光抑制、坏点去除、前景分离和形态学处理中的至少一种，本发明实施例中，对图像信息和深度信息进行预处理的过程可以采用上述方法中的一种，也可以采用上述方法中的多种，例如先对深度信息进行反光抑制、然后对经过反光抑制之后的深度信息进行坏点去除，最后对图像信息进行形态学处理，本发明实施例对预处理方法的选取和各种方法的执行顺序不作具体限定。图像信息和深度信息经过预处理之后，对深度信息进行平面校正。
本发明实施例提供的包装平整度检测方法，通过采集图像信息和深度信息，并对图像信息和深度信息进行预处理，消除了噪声数据和无关信息，简化了后续数据处理的复杂度。
基于上述任一实施例，该包装平整度检测方法中，反光抑制是修正深度信息中大于正常像素阈值的像素点的深度值。
具体地，由于产品包装表面可能存在镜面反射，使得采集的深度信息中存在一些像素点的深度值明显过大。反光抑制是修正深度信息中大于正常像素阈值的像素点的深度值，例如，若深度信息中某像素点的深度值大于正常像素阈值，则将该像素点的深度值置零，或者基于该像素点周围的像素点的深度值更新该像素点的深度值。其中，正常像素阈值为正常光照条件下待检测包装的深度信息中的最大深度值。
本发明实施例提供的包装平整度检测方法，通过对深度信息进行反光抑制，消除了镜面反射的影响，提高了待检测包装深度信息的准确性，进而提高了包装平整度检测的准确性。
基于上述任一实施例，该包装平整度检测方法中，坏点去除是基于深度信息中任一坏点的周边像素点的深度值，更新该坏点的深度值；其中，坏点为深度值为0的像素点。
具体地，在采集待检测包装的深度信息的过程中，一些像素点的深度值计算失败，导致这些像素点的深度值为0，例如结构光传感器在采集一些透明包装表面的深度信息时，部分像素点无法计算出深度值。这些深度值为0的像素点称为坏点，坏点去除是基于深度信息中任一坏点的周边像素点的深度值，更新任一坏点的深度值，例如，从深度信息左上方开始遍历数组，当检测出坏点时，以该坏点为中心，向周边扩展一个5×5的矩阵，计算该矩阵中非零的最小深度值，并该最小深度值作为该坏点新的深度值。
本发明实施例提供的包装平整度检测方法，通过对深度信息进行坏点去除，消除了噪声数据，提高了待检测包装深度信息的准确性，进而提高了包装平整度检测的准确性。
基于上述任一实施例，该包装平整度检测方法中，前景分离是基于预设前景阈值对深度信息进行阈值分割。
具体地，由于产品包装放置在传送带平面上，采集的深度信息包含了传送带背景的深度信息，而检测包装平整度不需要利用传送带背景的深度信息，为消除无关信息，简化后续深度信息处理的复杂度，需要将待检测包装与传送带背景进行前景分离，前景分离是基于预设前景阈值对深度信息进行阈值分割，深度信息中大于预设前景阈值的像素点为后景，将其深度值置零，小于预设前景阈值的像素点为前景，保持其深度值不变，其中，预设前景阈值是根据深度信息中深度值的数值变化梯度确定的。
本发明实施例提供的包装平整度检测方法，通过对深度信息进行前景分离，消除了传送带背景的深度信息，简化了后续数据处理的复杂度。
基于上述任一实施例，该包装平整度检测方法中，形态学处理是对二值化后的图像信息进行闭运算。
具体地，为有效地提取图像信息中的感兴趣区域，避免大量的错误识别，需要对图像信息进行二值化，并对二值化后的图像信息进行闭运算，其中闭运算是指首先对二值化后的图像信息进行一次膨胀操作，然后进行一次腐蚀操作，以去除图像信息中的细小空洞。
本发明实施例提供的包装平整度检测方法，通过对图像信息进行形态学处理，消除了噪声数据和无关信息，简化了后续数据处理的复杂度。
基于上述任一实施例，该包装平整度检测方法中，预设前景阈值是基于如下步骤确定的：将样本深度信息转换为一维数组，一维数组中的深度值按照从高到低的顺序排列；对一维数组进行一阶后向差分，将差分绝对值最大的像素点对应的深度值作为预设前景阈值。
具体地，预设前景阈值用于将待检测包装与传动带背景分离开来，由于待检测包装放置在传送带平面上方，传送带平面到深度采集设备像平面的距离大于或等于待检测包装到深度采集设备像平面的距离。样本深度信息即通过深度采集设备采集得到的深度信息，具体可以表示为一个二维像素矩阵，首先将其转换为一维数组，并将一维数组中深度值按照从高到低的顺序排列，对一维数组进行一阶后向差分，得到差分绝对值最大的像素点，该像素点的深度值可以有效地区分待检测包装的深度信息和传送带背景的深度信息，将该深度值作为预设前景阈值。
本发明实施例提供的包装平整度检测方法，通过设置预设前景阈值，以供深度信息的前景分离，消除了传送带背景的深度信息，简化了后续数据处理的复杂度。
基于上述任一实施例，步骤130具体包括：
步骤131，对图像信息进行边缘提取，得到包含待检测包装的边缘图。
具体地，为提取图像信息中的感兴趣区域，首先利用边缘检测算子对图像信息进行边缘提取，然后进行一次膨胀操作，以消除提取出的边框的断点，并检测边缘图中的闭合边框，如果存在多个闭合边框嵌套的情况，只检测最外侧的边框。最后，删除点数过少的边框，保留点数较多的边框，得到包含待检测包装的边缘图。边缘图中保留的每一个边框即为一个感兴趣区域的边框，对应一个待检测包装。其中，边缘检测算子可以是Canny算子、Robert算子、Sobel算子或Prewitt算子，本发明实施例对此不作具体限定。
步骤132，基于边缘图，从校正后的深度信息中提取感兴趣区域的深度图。
具体地，为区分边缘图中不同的感兴趣区域，以供后续检测和标注，对于边缘图中保留的每一个边框，将边框内的区域的像素值设置为1，将边框外的区域的像素值设置为0。通过二值化后的边缘图与校正后的深度信息进行点乘，得到感兴趣区域的深度图。
本发明实施例提供的包装平整度检测方法，通过对图像信息进行边缘提取，得到包含待检测包装的边缘图，并基于边缘图和校正后的深度信息，得到感兴趣区域的深度图，提取出了待检测包装的深度信息，去除了杂物的深度信息，有利于后续包装平整度的检测。
基于上述任一实施例，步骤140具体包括：
步骤141，确定感兴趣区域的深度图中每一像素点的高度值和梯度值。
具体地，待检测包装的平整度是由待检测包装表面各点相对传送带平面的高度的数值大小和变化率来确定的。通过感兴趣区域的深度图中每一像素点的像素值，可以得到高度值；通过对感兴趣区域的深度图的每一像素点进行卷积运算，可以得到梯度值，例如，利用上、下、左、右四个方向的卷积算子计算得到每一像素点上、下、左、右四个方向的梯度值。
步骤142，若每一像素点的高度值均小于预设高度阈值，且每一像素点的梯度值均小于预设梯度阈值，则确定待检测包装的平整度合格；否则，确定待检测包装的平整度不合格。
具体地，在得到感兴趣区域的深度图中每一像素点的高度值和梯度值之后，如果每一像素点的高度值均小于预设高度阈值，而且每一像素点各个方向的梯度值均小于预设梯度阈值，可以得出待检测包装表面各点相对传送带平面高度没有过高且高度变化较为平缓，则确定待检测包装的平整度合格。如果感兴趣区域的深度图中存在某一像素点的高度值大于预设高度阈值，或者存在某一像素点至少一个方向的梯度值大于预设梯度阈值，则确定待检测包装平整度不合格。需要说明的是，预设高度阈值和预设梯度阈值可以根据不同产品包装的实际情况进行设定，本发明实施例对此不作具体限定。
本发明实施例提供的包装平整度检测方法，通过基于感兴趣区域的深度图中每一像素点的高度值和梯度值进行包装平整度的检测，实现了包装平整度的自动检测，提高了生产效率，保证了包装平整度检测的准确度，有利于后续产品装箱。
基于上述任一实施例，步骤130之后还包括：
确定感兴趣区域的深度图中所有像素点的最大高度值；
基于最大高度值判断待检测包装的高度是否合格。
具体地，由于一些产品包装需要保证其高度在一定范围内，例如，真空包装的蒜瓣，如果出现某一区域堆叠多个蒜瓣导致包装高度过高，不便于后续装箱。为检测这类产品包装的高度是否合格，首先得到感兴趣区域的深度图中所有像素点的最大高度值，如果该最大高度值小于预设阈值，则确定待检测包装的高度合格，否则，则确定待检测包装的高度不合格。
本发明实施例提供的包装平整度检测方法，通过基于感兴趣区域的深度图的最大高度值进行包装高度的检测，实现了包装高度的自动检测，提高了生产效率，有利于后续产品装箱。
基于上述任一实施例，图2为本发明实施例提供的包装平整度检测系统的结构示意图，如图2所示，本发明实施例提供的包装平整度检测系统包括：
获取模块210，用于确定包含待检测包装的图像信息和深度信息；
校正模块220，用于对深度信息进行平面校正；其中，平面校正是基于平面深度最大值和传送带平面与深度采集设备像平面的夹角，对深度信息中的每一像素点的深度值进行校正；
处理模块230，用于基于图像信息和深度信息，确定感兴趣区域的深度图；
检测模块240，用于基于感兴趣区域的深度图，对待检测包装进行平整度检测。
具体地，获取模块首先确定包含待检测包装的图像信息和深度信息，其中包含待检测包装的图像信息和深度信息指的是采集设备获取的检测区域的图像信息和深度信息。上述检测区域的图像信息和深度信息包含有待检测包装的图像信息和深度信息，也可能包含有传送带和其他杂物的图像信息和深度信息。
由于深度采集设备在安装过程中相对于传送带平面可能存在轻微的倾斜，使得采集的深度信息与待检测包装表面各点到深度采集设备像平面的实际距离存在一定误差。为更准确的计算待检测包装表面各点相对传送带平面的实际高度，校正模块对深度信息中每一像素点的深度值进行平面校正。平面校正是利用平面深度最大值和传送带平面与深度采集设备像平面的夹角进行校正的，其中平面深度最大值为深度信息中的最大深度值。
由于产品包装在传送带上分布的随机性，可能存在检测区域内出现一个或者多个完整或者残缺的待检测包装的情况，为区分每一个待检测包装，处理模块基于图像信息和校正后的深度信息，得到感兴趣区域的深度图，以供检测产品包装的平整度。
检测模块利用感兴趣区域的深度图，可以得到待检测包装表面各点相对于传送带平面的高度值，通过判断该高度值的数值大小和变化率，进而检测产品包装的平整度
本发明实施例提供的包装平整度检测系统，通过获取模块确定包含待检测包装的图像信息和深度信息，校正模块对深度信息进行平面校正，处理模块得到感兴趣区域的深度图，检测模块对待检测包装进行平整度检测，实现了包装平整度的自动检测，提高了生产效率，保证了包装平整度检测的准确度，有利于后续产品装箱。
基于上述任一实施例，获取模块210具体用于：
采集图像信息和深度信息；
对图像信息和深度信息进行预处理；
其中，预处理包括反光抑制、坏点去除、前景分离和形态学处理中的至少一种。
具体地，图像信息可以通过数码相机、摄像头等图像采集设备获取。深度信息可以通过类似于TOF相机、结构光传感器等深度采集设备获取获取，本发明实施例对图像信息和深度信息的采集方式不作具体限定。
为去除噪声数据，消除无关的其他信息，需要对图像信息和深度信息进行预处理。预处理包括反光抑制、坏点去除、前景分离和形态学处理中的至少一种，本发明实施例中，对图像信息和深度信息进行预处理的过程可以采用上述方法中的一种，也可以采用上述方法中的多种，本发明实施例对预处理方法的选取和各种方法的执行顺序不作具体限定。图像信息和深度信息经过预处理之后，用于确定感兴趣区域的深度图。
本发明实施例提供的包装平整度检测系统，通过采集图像信息和深度信息，并对图像信息和深度信息进行预处理，消除了噪声数据和无关信息，简化了后续数据处理的复杂度。
基于上述任一实施例，处理模块220具体用于：
对图像信息进行边缘提取，得到包含待检测包装的边缘图；
基于边缘图，从校正后的深度信息中提取感兴趣区域的深度图。
具体地，为提取图像信息中的感兴趣区域，首先利用边缘检测算子对图像信息进行边缘提取，然后进行一次膨胀操作，以消除提取出的边框的断点，并检测边缘图中的闭合边框，如果存在多个闭合边框嵌套的情况，只检测最外侧的边框。最后，删除点数过少的边框，保留点数较多的边框，得到包含待检测包装的边缘图。其中，边缘检测算子可以是Canny算子、Robert算子、Sobel算子或Prewitt算子，本发明实施例对此不作具体限定。
为区分边缘图中不同的感兴趣区域，以供后续检测和标注，对于边缘图中保留的每一个边框，将边框内的区域的像素值设置为1，将边框外的区域的像素值设置为0。通过二值化后的边缘图与校正后的深度信息进行点乘，得到感兴趣区域的深度图。
本发明实施例提供的包装平整度检测系统，通过对图像信息进行边缘提取，得到包含待检测包装的边缘图，并基于边缘图和校正后的深度信息，得到感兴趣区域的深度图，提取出了待检测包装的深度信息，去除了杂物的深度信息，有利于后续包装平整度的检测。
基于上述任一实施例，检测模块230具体用于：
确定感兴趣区域的深度图中每一像素点的高度值和梯度值；
若每一像素点的高度值均小于预设高度阈值，且每一像素点的梯度值均小于预设梯度阈值，则确定待检测包装的平整度合格；否则，确定待检测包装的平整度不合格。
具体地，待检测包装的平整度是由待检测包装表面各点相对传送带平面的高度的数值大小和变化率来确定的。通过感兴趣区域的深度图中每一像素点的像素值，可以得到高度值；通过对感兴趣区域的深度图的每一像素点进行卷积运算，可以得到梯度值。
在得到感兴趣区域的深度图中每一像素点的高度值和梯度值之后，如果每一像素点的高度值均小于预设高度阈值，而且每一像素点各个方向的梯度值均小于预设梯度阈值，可以得出待检测包装表面各点相对传送带平面高度没有过高且高度变化较为平缓，则确定待检测包装的平整度合格，否则，则确定待检测包装平整度不合格。需要说明的是，预设高度阈值和预设梯度阈值可以根据不同产品包装的实际情况进行设定，本发明实施例对此不作具体限定。
本发明实施例提供的包装平整度检测系统，通过基于感兴趣区域的深度图中每一像素点的高度值和梯度值进行包装平整度的检测，实现了包装平整度的自动检测，提高了生产效率，保证了包装平整度检测的准确度，有利于后续产品装箱。
图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行如下方法：确定包含待检测包装的图像信息和深度信息；对深度信息进行平面校正；其中，平面校正是基于平面深度最大值和传送带平面与深度采集设备像平面的夹角，对深度信息中的每一像素点的深度值进行校正；基于图像信息和校正后的深度信息，确定感兴趣区域的深度图；基于感兴趣区域的深度图，对待检测包装进行平整度检测。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定包含待检测包装的图像信息和深度信息；对深度信息进行平面校正；其中，平面校正是基于平面深度最大值和传送带平面与深度采集设备像平面的夹角，对深度信息中的每一像素点的深度值进行校正；基于图像信息和校正后的深度信息，确定感兴趣区域的深度图；基于感兴趣区域的深度图，对待检测包装进行平整度检测。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种包装平整度检测方法，其特征在于，包括：
确定包含待检测包装的图像信息和深度信息；
对所述深度信息进行平面校正；其中，所述平面校正是基于平面深度最大值和传送带平面与深度采集设备像平面的夹角，对所述深度信息中的每一像素点的深度值进行校正；
基于所述图像信息和校正后的深度信息，确定感兴趣区域的深度图；
基于所述感兴趣区域的深度图，对所述待检测包装进行平整度检测。
2.根据权利要求1所述的包装平整度检测方法，其特征在于，所述确定包含待检测包装的图像信息和深度信息，具体包括：
采集所述图像信息和所述深度信息；
对所述图像信息和所述深度信息进行预处理；
其中，所述预处理包括反光抑制、坏点去除、前景分离和形态学处理中的至少一种。
3.根据权利要求2所述的包装平整度检测方法，其特征在于，所述反光抑制是修正所述深度信息中大于正常像素阈值的像素点的深度值；
所述坏点去除是基于所述深度信息中任一坏点的周边像素点的深度值，更新所述任一坏点的深度值；其中，所述坏点为深度值为0的像素点；
所述前景分离是基于预设前景阈值对所述深度信息进行阈值分割；
所述形态学处理是对二值化后的图像信息进行闭运算。
4.根据权利要求3所述的包装平整度检测方法，其特征在于，所述预设前景阈值是基于如下步骤确定的：
将样本深度信息转换为一维数组，所述一维数组中的深度值按照从高到低的顺序排列；
对所述一维数组进行一阶后向差分，将差分绝对值最大的像素点对应的深度值作为所述预设前景阈值。
5.根据权利要求1至4中任一项所述的包装平整度检测方法，其特征在于，所述基于所述图像信息和校正后的深度信息，确定感兴趣区域的深度图，具体包括：
对所述图像信息进行边缘提取，得到包含所述待检测包装的边缘图；
基于所述边缘图，从所述校正后的深度信息中提取所述感兴趣区域的深度图。
6.根据权利要求1至4中任一项所述的包装平整度检测方法，其特征在于，所述基于所述感兴趣区域的深度图，对所述待检测包装进行平整度检测，具体包括：
确定所述感兴趣区域的深度图中每一像素点的高度值和梯度值；
若每一像素点的高度值均小于预设高度阈值，且每一像素点的梯度值均小于预设梯度阈值，则确定所述待检测包装的平整度合格；否则，确定所述待检测包装的平整度不合格。
7.根据权利要求1至4中任一项所述的包装平整度检测方法，其特征在于，所述基于所述图像信息和校正后的深度信息，确定感兴趣区域的深度图，之后还包括：
确定所述感兴趣区域的深度图中所有像素点的最大高度值；
基于所述最大高度值判断所述待检测包装的高度是否合格。
8.一种包装平整度检测系统，其特征在于，包括：
获取模块，用于确定包含待检测包装的图像信息和深度信息；
校正模块，用于对所述深度信息进行平面校正；其中，所述平面校正是基于平面深度最大值和传送带平面与深度采集设备像平面的夹角，对所述深度信息中的每一像素点的深度值进行校正；
处理模块，用于基于所述图像信息和所述深度信息，确定感兴趣区域的深度图；
检测模块，用于基于所述感兴趣区域的深度图，对所述待检测包装进行平整度检测。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的包装平整度检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的包装平整度检测方法的步骤。
CN202010252642.6A 2020-04-02 2020-04-02 一种包装平整度检测方法、系统、电子设备和存储介质 Active CN111161263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010252642.6A CN111161263B (zh) 2020-04-02 2020-04-02 一种包装平整度检测方法、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010252642.6A CN111161263B (zh) 2020-04-02 2020-04-02 一种包装平整度检测方法、系统、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111161263A true CN111161263A (zh) 2020-05-15
CN111161263B CN111161263B (zh) 2020-08-21

Family

ID=70567741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010252642.6A Active CN111161263B (zh) 2020-04-02 2020-04-02 一种包装平整度检测方法、系统、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111161263B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232345A (zh) * 2020-10-10 2021-01-15 安徽淘云科技有限公司 配置信息确定和图像有效区域提取方法和装置
CN113689420A (zh) * 2021-09-03 2021-11-23 凌云光技术股份有限公司 电路板焊点缺陷检测方法、装置以及检测设备
CN113763350A (zh) * 2021-09-03 2021-12-07 苏州凌云光工业智能技术有限公司 一种胶线检测方法、装置、胶线检测设备及存储介质
CN114690730A (zh) * 2022-06-01 2022-07-01 南通科特森新材料科技有限公司 一种复合材料生产工艺中工艺参数的自动控制方法及系统
WO2022252562A1 (zh) * 2021-05-31 2022-12-08 梅卡曼德（北京）机器人科技有限公司 基于机器人的非平面结构判定方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103940382A (zh) * 2014-04-24 2014-07-23 广东辛格林电梯有限公司 一种电梯导轨平整度检测系统及其检测方法
CN106338263A (zh) * 2016-08-30 2017-01-18 常州正易晟网络科技有限公司 一种金属件表面平整度检测装置和检测方法
CN106981081A (zh) * 2017-03-06 2017-07-25 电子科技大学 一种基于深度信息提取的墙面平整度检测方法
CN108007364A (zh) * 2018-01-22 2018-05-08 广东理工学院 一种基于rgb-d相机的瓷砖检测装置及检测方法
US20180313647A1 (en) * 2012-05-01 2018-11-01 Texas Department Of Transportation System and method for measuring three-dimensional surface features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180313647A1 (en) * 2012-05-01 2018-11-01 Texas Department Of Transportation System and method for measuring three-dimensional surface features
CN103940382A (zh) * 2014-04-24 2014-07-23 广东辛格林电梯有限公司 一种电梯导轨平整度检测系统及其检测方法
CN106338263A (zh) * 2016-08-30 2017-01-18 常州正易晟网络科技有限公司 一种金属件表面平整度检测装置和检测方法
CN106981081A (zh) * 2017-03-06 2017-07-25 电子科技大学 一种基于深度信息提取的墙面平整度检测方法
CN108007364A (zh) * 2018-01-22 2018-05-08 广东理工学院 一种基于rgb-d相机的瓷砖检测装置及检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林怀德 等: "一种利用深度图像进行电缆弯曲度测量方法", 《电力大数据》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232345A (zh) * 2020-10-10 2021-01-15 安徽淘云科技有限公司 配置信息确定和图像有效区域提取方法和装置
WO2022252562A1 (zh) * 2021-05-31 2022-12-08 梅卡曼德（北京）机器人科技有限公司 基于机器人的非平面结构判定方法、装置、电子设备和存储介质
CN113689420A (zh) * 2021-09-03 2021-11-23 凌云光技术股份有限公司 电路板焊点缺陷检测方法、装置以及检测设备
CN113763350A (zh) * 2021-09-03 2021-12-07 苏州凌云光工业智能技术有限公司 一种胶线检测方法、装置、胶线检测设备及存储介质
CN113689420B (zh) * 2021-09-03 2024-04-26 凌云光技术股份有限公司 电路板焊点缺陷检测方法、装置以及检测设备
CN113763350B (zh) * 2021-09-03 2024-05-21 苏州凌云光工业智能技术有限公司 一种胶线检测方法、装置、胶线检测设备及存储介质
CN114690730A (zh) * 2022-06-01 2022-07-01 南通科特森新材料科技有限公司 一种复合材料生产工艺中工艺参数的自动控制方法及系统

Also Published As

Publication number Publication date
CN111161263B (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN111161263B (zh) 一种包装平整度检测方法、系统、电子设备和存储介质
CN109059770B (zh) 一种基于tof深度相机的包裹体积测量方法
EP3176751B1 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
EP3709266A1 (en) Human-tracking methods, apparatuses, systems, and storage media
US10445868B2 (en) Method for detecting a defect on a surface of a tire
US20050238248A1 (en) Image processing apparatus using morphology
Yan et al. Towards automated detection and quantification of concrete cracks using integrated images and lidar data from unmanned aerial vehicles
CN112215810B (zh) 一种疲劳测试裂纹监测方法及装置
US20230080178A1 (en) Automated assessment of cracks using lidar and camera data
CN110032946B (zh) 一种基于机器视觉的铝/铝泡罩包装药片识别与定位方法
WO2021249406A1 (zh) 货箱的提取方法、装置、系统、机器人和存储介质
CN112345534B (zh) 一种基于视觉的泡罩板中颗粒的缺陷检测方法及系统
CN113298769B (zh) Fpc软排线外观缺陷检测方法、系统和介质
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
Felipe et al. Vision-based liquid level detection in amber glass bottles using OpenCV
JP2022551366A (ja) カメラストリームのためのマスクを生成する方法、コンピュータープログラム製品およびコンピューター可読媒体
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
CN105787429A (zh) 采用机器视觉用于检查物体的方法和设备
CN113658141A (zh) 透明包装袋封口识别方法、装置、存储介质及电子设备
Khule et al. Automated object counting for visual inspection applications
CN114092385A (zh) 基于机器视觉的工业机械故障检测方法及装置
CN115731195A (zh) 一种缺陷检测方法、装置、设备以及系统
CN109934817A (zh) 一种果体外部轮廓畸形检测方法
CN115526878A (zh) 一种带式输送机的煤流检测方法及装置
KR101150754B1 (ko) 영상처리를 이용한 약품상자 영역 검출 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230118

Address after: Institute of Mechanics, Chinese Academy of Sciences, No. 15, North Fourth Ring West Road, Haidian District, Beijing 100089

Patentee after: Liu Lifeng

Address before: 100094 Building 1, Cui Hunan Ring Road, Sujia Tuo Town, Haidian District, Beijing, 1

Patentee before: BEIJING INSTITUTE OF COLLABORATIVE INNOVATION

Patentee before: Beijing Yunshi Power Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231106

Address after: 100089 Building 1, courtyard 13, cuihunanhuan Road, Haidian District, Beijing

Patentee after: BEIJING INSTITUTE OF COLLABORATIVE INNOVATION

Address before: Institute of Mechanics, Chinese Academy of Sciences, No. 15, North Fourth Ring West Road, Haidian District, Beijing 100089

Patentee before: Liu Lifeng

TR01 Transfer of patent right