CN116297453B - 基于自动化涂胶的品质辅助检测视觉系统 - Google Patents

Abstract

本发明公开了基于自动化涂胶的品质辅助检测视觉系统，包括图像采集模块、图像传输模块和图像识别模块；图像采集模块用于对已完成自动化涂胶的产品进行拍摄，获得包含涂胶区域的检测图像；图像传输模块用于将检测图像传输至图像识别模块；图像识别模块用于对检测图像进行识别，获取涂胶区域的参数，并基于涂胶区域的参数判断涂胶质量是否合格。在本发明中，通过视觉检测的方式来对自动化涂胶的质量进行检测，能够显著提高检测的效率，从而缩短整个涂胶工艺流程的耗时，有利于提高生产效率。

Description

基于自动化涂胶的品质辅助检测视觉系统

技术领域

本发明涉及视觉检测领域，尤其涉及基于自动化涂胶的品质辅助检测视觉系统。

背景技术

自动化涂胶是指工人只需要将原材料倒入到进料口中，然后通过工业机器人来自动对需要涂胶的位置进行涂胶，例如对汽车的挡风玻璃进行涂胶。在涂胶之后，对涂胶质量的检测也是一个重要的步骤。现有技术中，一般是通过人工检测的方式来对涂胶的质量进行检测，这就导致检测效率不够高，使得整个涂胶工艺流程的耗时较长。

发明内容

本发明的目的在于公开基于自动化涂胶的品质辅助检测视觉系统，解决如何缩短对自动化涂胶产品进行质量检测的问题。

为了达到上述目的，本发明采用如下技术方案：

本发明提供了基于自动化涂胶的品质辅助检测视觉系统，包括图像采集模块、图像传输模块和图像识别模块；

图像采集模块用于对已完成自动化涂胶的产品进行拍摄，获得包含涂胶区域的检测图像；

图像传输模块用于将检测图像传输至图像识别模块；

图像识别模块用于对检测图像进行识别，获取涂胶区域的参数，并基于涂胶区域的参数判断涂胶质量是否合格；

图像采集模块包括打光单元和拍摄单元；

打光单元用于基于胶浆的颜色向已完成自动化涂胶的产品发出不同颜色的光线；

拍摄单元用于在不同颜色的光线下获取包含涂胶区域的拍摄图像，并基于拍摄图像选出传输至图像图像识别模块的检测图像。

可选的，打光单元包括拍摄子单元、分析子单元和打光子单元；

拍摄子单元用于对胶浆进行拍摄，获得胶浆的图像；

分析子单元用于对胶浆的图像进行分析，获得胶浆的颜色，以及用于基于胶浆的颜色获取需要向已完成自动化涂胶的产品发出的光线的颜色的颜色集合；

打光子单元用于向已完成自动化涂胶的产品发出颜色集合中包含的颜色的光线。

可选的，对胶浆的图像进行分析，获得胶浆的颜色，包括：

获取胶浆的图像的RGB特征，基于RGB特征获取胶浆的颜色。

可选的，获取胶浆的图像的RGB特征，包括：

获取胶浆的图像在RGB颜色空间中的每种基本色的数值，将所有基本色的数值作为胶浆的图像的RGB特征。

可选的，获取胶浆的图像在RGB颜色空间中的每种基本色的数值，包括：

分别获取胶浆的图像中的每个像素点在RGB颜色空间中的每种基本色的数值；

对于基本色bsclr，分别计算每种数值的基本色bsclr的出现频率，将出现频率最高的数值作为胶浆的图像在RGB颜色空间中的基本色bsclr的数值，bsclr∈{R,G,B}，R、G、B分别表示红色基本色、绿色基本色和蓝色基本色。

可选的，分别计算每种数值的基本色bsclr的出现频率，包括：

对于数值为q的基本色bsclr，其出现频率的计算函数为：

其中，freqocc_q,bsclr为数值为q的基本色bsclr的出现频率，num_q,bsclr为基本色bsclr中，数值为q的像素点的数量，M为胶浆的图像的像素点的总数。

可选的，基于胶浆的颜色获取需要向已完成自动化涂胶的产品发出的光线的颜色的颜色集合，包括：

获取胶浆的颜色的波长wavleg；

将打光单元能够发出的且波长在[wavleg-T,wavleg+T]范围内的颜色存入到颜色集合，T为预设的大于0的范围参数。

可选的，基于拍摄图像选出传输至图像图像识别模块的检测图像，包括：

分别获取每张拍摄图像的图像优势值；

将图像优势值最大的拍摄图像作为检测图像。

在本发明中，通过视觉检测的方式来对自动化涂胶的质量进行检测，能够显著提高检测的效率，从而缩短整个涂胶工艺流程的耗时，有利于提高生产效率。

发出的光线的颜色不仅是一种，而是基于胶浆的颜色获得的颜色的集合，从而提高了基于检测图像进行涂胶质量判断的结果的准确性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。

图1为本发明基于自动化涂胶的品质辅助检测视觉系统的一种示意图。

图2为本发明图像采集模块的一种示意图。

图3为本发明图像优势值的计算方式的一种示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。

如图1所示的一种实施例，本发明提供了基于自动化涂胶的品质辅助检测视觉系统，包括包括图像采集模块101、图像传输模块201和图像识别模块301。

图像采集模块101用于对已完成自动化涂胶的产品进行拍摄，获得包含涂胶区域的检测图像。

在一种实施例中，如图2所示，图像采集模块101包括打光单元111和拍摄单元121；

打光单元111用于基于胶浆的颜色向已完成自动化涂胶的产品发出不同颜色的光线；

拍摄单元121用于在不同颜色的光线下获取包含涂胶区域的拍摄图像，并基于拍摄图像选出传输至图像图像识别模块301的检测图像。

现有技术中，一般是采用单一颜色的光线对包含涂胶的区域进行打光，但是由于对不同的零件进行涂胶时，胶浆的颜色可能不一致，这就导致需要手动地去调节打光单元111的颜色，从而增加了涂胶前的准备工作的工作量，影响涂胶的效率。

因此，本发明通过对胶浆进行颜色识别，然后基于得到的颜色来获取需要发射的光线的不同的颜色的集合，实现了需要打光单元111发出的光线的颜色的自动识别，减少了涂胶前的准备工作的工作量，从而提高整个涂胶流程的效率。

在一种实施例中，打光单元111包括拍摄子单元、分析子单元和打光子单元；

拍摄子单元用于对胶浆进行拍摄，获得胶浆的图像；

分析子单元用于对胶浆的图像进行分析，获得胶浆的颜色，以及用于基于胶浆的颜色获取需要向已完成自动化涂胶的产品发出的光线的颜色的颜色集合；

打光子单元用于向已完成自动化涂胶的产品发出颜色集合中包含的颜色的光线。

在本发明中，打光子单元发出的光线的颜色不仅是一种，而是基于胶浆的颜色获得的颜色的集合，这是因为不同的传感器对不同的颜色的敏感程度不一致，若打光子单元直接发出与胶浆的颜色相同的光线，则得到的拍摄图像中，涂胶的区域不一定是最显著的，这就会影响后续进行涂胶质量判断的结果的准确性。因此，本发明将于涂胶的颜色相近的颜色也一起进行发射，然后再进行选择，得到涂胶区域最显著的拍摄图像，从而提高了基于检测图像进行涂胶质量判断的结果的准确性。

这里的显著是指涂胶区域的像素值显著大于非涂胶区域的像素值。

具体的，打光子单元可以按顺序每隔固定的时间发出颜色集合中的一种颜色的光线，以使得拍摄单元121能够得到在不同颜色的光线下的包含涂胶区域的拍摄图像。

在一种实施例中，对胶浆的图像进行分析，获得胶浆的颜色，包括：

获取胶浆的图像的RGB特征，基于RGB特征获取胶浆的颜色。

具体的，知道了RGB特征后，便能基于RGB特征与颜色之间的关系得到颜色的名称。

在一种实施例中，获取胶浆的图像的RGB特征，包括：

获取胶浆的图像在RGB颜色空间中的每种基本色的数值，将所有基本色的数值作为胶浆的图像的RGB特征。

在这里，基本色包括红色、绿色和蓝色。

在一种实施例中，获取胶浆的图像在RGB颜色空间中的每种基本色的数值，包括：

分别获取胶浆的图像中的每个像素点在RGB颜色空间中的每种基本色的数值；

对于基本色bsclr，分别计算bsclr对应的图像中每种像素值的出现频率，将出现频率最高的像素值作为胶浆的图像在RGB颜色空间中的基本色bsclr的数值，bsclr∈{R,G,B}，R、G、B分别表示红色基本色、绿色基本色和蓝色基本色。

具体的，同一个基本色图像中，不同的像素点的像素值并不一致，因此，通过计算出现频率的方式能够选出最能够代表基本色图像的像素值。频率越高，则表示该像素值的像素点在基本色图像中的占比越高，越具有代表性。

在一种实施例中，分别计算bsclr对应的图像中每种像素值的出现频率，包括：

对于bsclr对应的图像中像素值q，其出现频率的计算函数为：

其中，freqocc_q,bsclr为bsclr对应的图像中像素值q的出现频率，num_q,bsclr为基本色bsclr中，像素值为q的像素点的数量，M为胶浆的图像的像素点的总数。

具体的，出现频率是将不同的像素值的像素点的数量与总数进行比较得到。

在一种实施例中，基于胶浆的颜色获取需要向已完成自动化涂胶的产品发出的光线的颜色的颜色集合，包括：

获取胶浆的颜色的波长wavleg；

将打光单元111能够发出的且波长在[wavleg-T,wavleg+T]范围内的颜色存入到颜色集合，T为预设的大于0的范围参数。

具体的，打光子单元发出的光线的波长与胶浆的颜色，即涂胶区域的颜色的波长之间越接近，则获得涂胶区域最显著的拍摄图像的概率越大。

在一种实施例中，基于拍摄图像选出传输至图像图像识别模块301的检测图像，包括：

分别获取每张拍摄图像的图像优势值；

将图像优势值最大的拍摄图像作为检测图像。

具体的，通过图像优势值，能够从所有的拍摄图像中选出涂胶区域最显著、有效细节最多的拍摄图像。从而得到高质量的检测图像，提高对涂胶质量进行检测的准确性。

在一种实施例中，如图3所示，拍摄图像的图像优势值的计算方式包括：

计算拍摄图像的环境值；

基于环境值调节模板图像中的非零像素点的分布范围，得到调整图像；

基于调整图像获取拍摄图像中的代表像素点的集合；

基于代表像素点的集合计算图像优势值。

本发明不是针对拍摄图像中所有的像素点来进行图像优势值的计算，而是分别根据不同的拍摄图像的环境值，去得到调整图像，然后基于调整图像来得到确定参与图像优势值计算的像素点，这就使得参与图像优势值的计算的像素点的分布范围能够随着拍摄图像的不同而自适应地进行变化，在计算效率和计算效果之间取得了平衡。缩短了对所有的拍摄图像进行图像优势值计算的时间。

在一种实施例中，计算拍摄图像的环境值，包括：

获取距离拍摄图像中心最近的像素点nrpx；

获取以nrpx为中心的，半径为D的范围内的所有像素点的集合salu；

基于salu计算环境值：

公式中，vlsr为环境值，sblu为将salu中的亮度最大的像素点和最小的像素点去掉之后的集合，ligt_i为像素点i的亮度值，nsblu为sblu中的像素点的总数。

本发明的环境值是基于拍摄图像中心附近的像素点来计算得到的，而且不是依据单个像素点计算得到，从而能够提高环境值的有效性，同时也提高了环境值的计算速度，因为只有少部分的像素点参与到环境值的计算。而本发明在计算的过程中还去掉了最高值和最低值，避免了噪声对环境值的有效性的影响。

在一种实施例中，基于环境值调节模板图像中的非零像素点的分布范围，得到调整图像，包括：

模板图像的分辨率与拍摄图像一致；

模板图像中均匀分布着P×Q个圆心；

基于环境值计算自适应半径：

公式中，adprs表示自适应半径，vlsr表示环境值，basr表示设定的正常数，Θ为设定的半径基准值；

将模板图像中，与圆心之间距离小于等于自适应半径的像素点的像素值设置为1，将与圆心之间距离大于自适应半径的像素点的像素值设置为0，得到调整图像。

具体的，模板图像的作用是用来得到代表像素点的集合，因此，在本发明中，模板图像中的非零像素点的分布范围会随着环境值的变化儿自适应变化，环境值越大，则表示拍摄图像的光线充足的概率越大，此时，仅需要对较小范围内的像素点进行图像优势值的计算便能够得到对拍摄图像的有效细节、涂胶区域的显著性进行表示的结果；环境值越小，则表示拍摄图像的光线充足的概率越小，此时，需要对较大范围内的像素点进行图像优势值的计算才能够得到对拍摄图像的有效细节、涂胶区域的显著性进行表示的结果。因此，本发明实现了结果的代表性和计算效率之间的平衡。

若采用固定的半径来获取进行图像优势值的计算的像素点，则在光线较为充足时浪费计算时间，在光线不足时，又得不到具有代表性的结果。

在一种实施例中，基于调整图像获取拍摄图像中的代表像素点的集合，包括：

将调整图像和拍摄图像放在同一个直角坐标系中；

将调整图像中像素值不为0的像素点存入集合nzer；

在拍摄图像中获取与集合nzer中的像素点的坐标相同的像素点的集合nyer；

将集合nyer中的像素点作为代表像素点的集合中的像素点。

具体的，放置在同一个坐标系下之后，调整图像中像素值为1的像素点所处的位置便是拍摄图像中的代表像素点的位置。

在一种实施例中，基于代表像素点的集合计算图像优势值，包括：

图像优势值的计算函数为：

公式中，advl表示图像优势值，α、δ为求和权重，reps为代表像素点的集合，nreps为代表像素点的集合中的像素点的总数，pxvu_k为集合reps中的元素k的像素值，pxvu_max为集合reps中的像素值最大值，mifl和mafl分别表示reps中的像素点的图像梯度的最小值和最大值，nfllo_d为图像梯度为d的像素点的总数，fllosa为设定的对比值。

具体的，图像优势值从像素值和图像梯度两个方面进行加权计算得到，图像的像素点之间的差距越大，图像梯度差距越大，则有效细节的含量越大，涂胶的区域显著的可能性越大。利用图像优势值能够选出满足基于检测图像对涂胶质量进行准确判断的图像。

图像传输模块201用于将检测图像传输至图像识别模块301。

在一种实施例中，图像传输模块201包括信息精简单元和传输单元；

信息精简单元用于对检测图像中的信息进行精简，得到发送数据；

传输单元用于将发送数据传输至图像识别模块301。

进行信息精简，能够减少需要发送的数据的大小，从而提高传输的效率，降低传输带宽的压力。

在一种实施例中，对检测图像中的信息进行精简，得到发送数据，包括：

分别获取检测图像在RGB颜色空间中的每种基本色对应的图像；

分别获取每种基本色对应的图像的精简参考值；

基于精简参考值对基本色对应的图像中的像素值进行重新表示，得到表示图像；

将所有基本色对应的表示图像作为发送数据。

具体的，本发明是分别对每种基本色对应的图像中的像素值进行了重新表示，得到了表示图像，然后将所有的表示图像发送至图像识别模块301。发送的数据变少了，传输的效率也提高了。

在一种实施例中，分别获取每种基本色对应的图像的精简参考值，包括：

获取基本色对应的图像的像素值直方图；

使用预设长度的滑动窗口在像素值直方图上从左到右按照预设的滑动步长进行滑动，获取每次滑动后落入到滑动窗口的范围内的直方图的面积；

将滑动完成后，得到的多个面积存入集合area；

获取集合area中最大的面积；

获取最大的面积所对应的像素值的区间；

将区间的中间值作为精简参考值。

本发明的精简原理是利用像素点之间的相对差值来表示像素点的像素值，对于原数值而言，相对差值的数值一般更小，从而占据更小的存储空间，在保留原本信息的同时，实现了数据的精简。

在像素值直方图中，横坐标是像素值，纵坐标是基本色对应的图像中该像素值的像素点的数量；

因此，本发明利用像素值直方图来选出最佳的精简参考值，在滑动窗口滑动时，不同的横坐标值，即不同的像素值会出现在滑动窗口中，然后通过对出现在滑动窗口中的不同的像素值对应的面积进行计算，便能够知道哪个数值区间的像素值分布越集中，从而选出能够以最小的相对差值总和对基本色对应的图像进行信息精简表示的精简参考值。

在一种实施例中，基于精简参考值对基本色对应的图像中的像素值进行重新表示，得到表示图像，包括：

对于基本色bsclr，将其对应的图像用img_bsclr表示；

从img_bsclr中随机获取一个像素值等于精简参考值的像素点sampx；

在img_bsclr中保留sampx的像素值；

对于img_bsclr中的其余像素点，采用如下公式计算其重新表示后的像素值：

otrpx_d＝ptrpx_d-ptrpx_sampx

其中，otrpx_d为像素点d重新表示后的像素值，ptrpx_d为像素点d重新表示前的像素值，ptrpx_sampx为sampx的像素值。

具体的，在进行信息精简之后，表示图像中除了sampx的像素值之外，其余的像素点的像素值会用重新表示后的像素值进行替代，从而在保留基本色对应的图像的信息的同时，降低了基本色对应的图像的大小。

相应的，图像识别模块301在接收到发送数据后，基于表示图像中像素点sampx的像素值，以及其余像素点的像素值便能够还原基本色对应的图像中的像素点的真实像素值。

图像识别模块301用于对检测图像进行识别，获取涂胶区域的参数，并基于涂胶区域的参数判断涂胶质量是否合格。

具体的，涂胶区域的参数包括面积、宽度、长度等。

在一种实施例中，基于涂胶区域的参数判断涂胶质量是否合格，包括：

若存在超出对应的参数阈值范围的参数，则涂胶质量不合格。

例如，若宽度大于设定的参数阈值的最大值或小于设定的参数阈值的最小值，则可判断涂胶质量不合格。

在本发明中，通过视觉检测的方式来对自动化涂胶的质量进行检测，能够显著提高检测的效率，从而缩短整个涂胶工艺流程的耗时，有利于提高生产效率。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (2)

1.基于自动化涂胶的品质辅助检测视觉系统，其特征在于，包括图像采集模块、图像传输模块和图像识别模块；

图像采集模块用于对已完成自动化涂胶的产品进行拍摄，获得包含涂胶区域的检测图像；

图像传输模块用于将检测图像传输至图像识别模块；

图像识别模块用于对检测图像进行识别，获取涂胶区域的参数，并基于涂胶区域的参数判断涂胶质量是否合格；

图像采集模块包括打光单元和拍摄单元；

打光单元用于基于胶浆的颜色向已完成自动化涂胶的产品发出不同颜色的光线；

拍摄单元用于在不同颜色的光线下获取包含涂胶区域的拍摄图像，并基于拍摄图像选出传输至图像图像识别模块的检测图像；

打光单元包括拍摄子单元、分析子单元和打光子单元；

拍摄子单元用于对胶浆进行拍摄，获得胶浆的图像；

分析子单元用于对胶浆的图像进行分析，获得胶浆的颜色，以及用于基于胶浆的颜色获取需要向已完成自动化涂胶的产品发出的光线的颜色的颜色集合；

打光子单元用于向已完成自动化涂胶的产品发出颜色集合中包含的颜色的光线；

对胶浆的图像进行分析，获得胶浆的颜色，包括：

获取胶浆的图像的RGB特征，基于RGB特征获取胶浆的颜色；

获取胶浆的图像的RGB特征，包括：

获取胶浆的图像在RGB颜色空间中的每种基本色的数值，将所有基本色的数值作为胶浆的图像的RGB特征；

获取胶浆的图像在RGB颜色空间中的每种基本色的数值，包括：

分别获取胶浆的图像中的每个像素点在RGB颜色空间中的每种基本色的数值；

对于基本色bsclr，分别计算bsclr对应的图像中每种像素值的出现频率，将出现频率最高的像素值作为胶浆的图像在RGB颜色空间中的基本色bsclr的数值，bsclr∈{R,G,B}，R、G、B分别表示红色基本色、绿色基本色和蓝色基本色；

分别计算bsclr对应的图像中每种像素值的出现频率，包括：

对于bsclr对应的图像中像素值q，其出现频率的计算函数为：

其中，freqocc_q,bsclr为bsclr对应的图像中像素值q的出现频率，num_q,bsclr为基本色bsclr中，像素值为q的像素点的数量，M为胶浆的图像的像素点的总数；

基于胶浆的颜色获取需要向已完成自动化涂胶的产品发出的光线的颜色的颜色集合，包括：

获取胶浆的颜色的波长wavleg；

将打光单元能够发出的且波长在[wavleg-T,wavleg+T]范围内的颜色存入到颜色集合，T为预设的大于0的范围参数。

2.根据权利要求1所述的基于自动化涂胶的品质辅助检测视觉系统，其特征在于，基于拍摄图像选出传输至图像图像识别模块的检测图像，包括：

分别获取每张拍摄图像的图像优势值；

将图像优势值最大的拍摄图像作为检测图像；

拍摄图像的图像优势值的计算方式包括：

计算拍摄图像的环境值；

基于环境值调节模板图像中的非零像素点的分布范围，得到调整图像；

基于调整图像获取拍摄图像中的代表像素点的集合；

基于代表像素点的集合计算图像优势值；

计算拍摄图像的环境值，包括：

获取距离拍摄图像中心最近的像素点nrpx；

获取以nrpx为中心的，半径为D的范围内的所有像素点的集合salu；

基于salu计算环境值：

公式中，vlsr为环境值，sblu为将salu中的亮度最大的像素点和最小的像素点去掉之后的集合，ligt_i为像素点i的亮度值，nsblu为sblu中的像素点的总数；

基于环境值调节模板图像中的非零像素点的分布范围，得到调整图像，包括：

模板图像的分辨率与拍摄图像一致；

模板图像中均匀分布着P×Q个圆心；

基于环境值计算自适应半径：

公式中，adprs表示自适应半径，vlsr表示环境值，basr表示设定的正常数，Θ为设定的半径基准值；

将模板图像中，与圆心之间距离小于等于自适应半径的像素点的像素值设置为1，将与圆心之间距离大于自适应半径的像素点的像素值设置为0，得到调整图像；

基于调整图像获取拍摄图像中的代表像素点的集合，包括：

将调整图像和拍摄图像放在同一个直角坐标系中；

将调整图像中像素值不为0的像素点存入集合nzer；

在拍摄图像中获取与集合nzer中的像素点的坐标相同的像素点的集合nyer；

将集合nyer中的像素点作为代表像素点的集合中的像素点；

基于代表像素点的集合计算图像优势值，包括：

图像优势值的计算函数为：

公式中，advl表示图像优势值，α、δ为求和权重，reps为代表像素点的集合，nreps为代表像素点的集合中的像素点的总数，pxvu_k为集合reps中的元素k的像素值，pxvu_max为集合reps中的像素值最大值，mifl和mafl分别表示reps中的像素点的图像梯度的最小值和最大值，nfllo_d为图像梯度为d的像素点的总数，fllosa为设定的对比值。