CN113689447A - 用于识别带状固定件的方法、装置、设备和系统 - Google Patents

Abstract

本发明涉及一种用于在车辆制造中识别带状固定件的方法，所述方法包括：接收带状固定件的规定区域的图像；对所拍摄的图像进行预处理以产生灰度图像；对灰度图像进行边缘提取：计算图像中各像素之间的灰度梯度，基于所述灰度梯度选取符合带状固定件的规定走向的边缘直线段以及对所选取的边缘直线段进行线段融合；计算所融合的线段的特征值，并且根据所述特征值判定带状固定件是否存在。此外，本发明涉及计算机可读存储介质、用于在车辆制造中识别带状固定件的装置、设备和系统以及包括所述系统的车辆生产线。

Description

用于识别带状固定件的方法、装置、设备和系统

技术领域

本发明涉及一种用于在车辆制造中识别带状固定件的方法、一种用于在车辆制造中识别带状固定件的装置、一种计算机可读存储介质、一种用于在车辆制造中识别带状固定件的设备、一种用于在车辆制造中识别带状固定件的系统以及一种包括所述系统的车辆生产线。

背景技术

在车辆制造中，车辆通常经理冲压、焊接、涂装、总装到检验合格后出厂。其中涂装工艺是车辆总装之前的一道重要工艺，经过冲压和焊接后的车身称白车身。白车身在进入涂装车间时车门和车辆机箱盖是没有经过固定的，在涂装车间进行电泳喷漆烘干等工序，全部生产流程完成后车身会进入立体库等待总装生产线调取。在白车身经过涂装生产线的过程中为保证白车身上漆均匀，会用一些支架固定车门和撑起车辆机箱盖。而在进入立体库之前，生产线上有一个生产点位是将用于固定的支架取下，同时利用带状固定件来固定相应部件，例如在车辆左右两侧B柱处绑上用于固定前后车门的粘扣绑带，以用于防止车身在进入总装车间之前车门松脱而造成不必要的剐蹭。该过程由站在车身左右两侧的两名操作工人分别完成，并在下一个点位需要由另外操作工人进行人工检验。这样仍无法保证所述带状固定件均安装到位。在未安装带状固定件时可能出现车门松脱、产生安全风险并影响后续生产流程。

发明内容

本发明的任务在于，提供在车辆制造中能够简单且可靠地自动识别带状固定件的可能性，从而能够取代传统的人工检验，以尽可能低的计算量快速准确地识别带状固定件，降低人工成本并且提高生产效率。

为了解决上述任务，本发明提供用于在车辆制造中识别带状固定件的方法、装置、计算机可读存储介质、设备、系统以及包括所述系统的车辆生产线。

本发明的第一方面涉及一种用于在车辆制造中识别带状固定件的方法，所述方法包括：

-接收带状固定件的规定区域的图像；

-对所拍摄的图像进行预处理以产生灰度图像；

-对灰度图像进行边缘提取：

-计算图像中各像素之间的灰度梯度，基于所述灰度梯度选取符合带状固定件的规定走向的边缘直线段；

-对所选取的边缘直线段进行线段融合；

-计算所融合的线段的特征值，并且

-根据所述特征值判定带状固定件是否存在。

车辆制造中使用带状固定件，所述带状固定件构成为柔性的并且可以是粘扣绑带、胶带、自锁扎带或绳带。带状固定件纵向延伸并且具有连续的平行边缘。在对所述带状固定件进行图像拍摄时，所述带状固定件能够与被固定件在颜色上有所区别从而在图像中能够呈现其纵向延伸的平行边缘。

需要说明的是，在车辆制造中使用带状固定件时，通常会与被固定的车辆车身的部件或结构相绑定、包围或缠绕。首先，这使得带状固定件至少部分地与车身的部件或结构的轮廓相吻合或融入到其走向中、从而在对带状固定件拍摄的图像中将无法呈现严格的矩形。其次，被固定件通常也不是平面的，这造成带状固定件纵向延伸方向上不会平直地伸展。由此，在带状固定件的纵向延伸方面上也存在一定的弯曲、弯折或扭转等。再次，在使用某些带状固定件如粘扣绑带时还可能存在相互接合的部分不完全重叠。而且，由于所拍摄的图像不可避免会涉及到车辆其他部件，这同样带来边缘提取与图像识别中的大量噪音和干扰。基于这样的原因，在车辆制造过程中的带状固定件可能无法通过现有技术中的轮廓发现和几何图形识别而检测到。按照现有技术，为了识别到具有这样的不规则形状的带状固定件可能需要动用针对不规则形状的模糊识别、神经网络识别和支持向量机等运算量非常大的算法。

针对以上存在的情况，本发明规定了一种简单、可靠且运算量小的带状固定件识别方法。为了在车辆制造中识别出带状固定件，首先可以对应设置有带状固定件的区域进行图像拍摄。所拍摄的图像可以是灰度图像或彩色图像、特别是RGB图像。然后可以对所拍摄的图像进行预处理以产生灰度图像。在此，预处理不仅可以包括灰度转化以产生所需的灰度图像，而且可以包括图像的截取、缩放、旋转、调整亮度、对比度、分辨率和饱和度等。接着，对灰度图像进行边缘提取。所述边缘提取可以包括：计算图像中各像素之间的灰度梯度，基于所述灰度梯度选取符合带状固定件的规定走向的边缘直线段；对所选取的边缘直线段进行线段融合。在车辆制造中，对于带状固定件通常会存在一定的安装要求，例如沿一定方向(水平、竖直或一定角度)安装并且需要保证带状固定件张紧。由此若按照规定安装有带状固定件，则在其图像中应能识别到在一定取向范围内的连续边缘的线段。为了最终确定带状固定件，计算上述融合的线段的特征值，并且根据所述特征值判定带状固定件是否存在。

按照本发明提供一种计算机实现的识别方法，其能够通过针对性设计的图像处理流程来识别这样的带状固定件，而未用到不规则形状的复杂算法，从而也不会对于计算机的运算性能提出较高要求。因此，本发明能够以低成本费用部署在车辆生产线中、有效节省原本需要的人工成本并且优化生产流程。

按照本发明的一个实施方式，所述带状固定件的规定区域的图像为RGB图像，并且在对所拍摄的图像进行预处理以产生灰度图像时，根据被固定件的颜色来适配各个颜色通道的权重。在一条车辆生产线上通常会生产不同车身颜色的车辆，而车身颜色可能深浅不一，有些车身颜色可能还与带状固定件相近。为了更好地进行识别，在预处理过程中，根据被固定件、如车身的颜色来适配各个颜色通道的权重，从而得出更易于后续的边缘提取的灰度图像。在此，特别是可以从车辆制造系统获取关于被固定件、如车身的颜色的信息。基于该信息调用预设的RGB颜色通道权重，通过对RGB图像中每个像素点的RGB值按照各个颜色通道分别加权计算，以产生优化的灰度值，从而产生优化的灰度图像。表1示出被固定件颜色与RGB各通道权重的关系的示例性列表。

表1不同被固定件颜色所对应的RGB通道权重列表

被固定件颜色	R通道权重R<sub>w</sub>	G通道权重G<sub>w</sub>	B通道权重B<sub>w</sub>
				白色/默认	0.299	0.587	0.114
红色	1	0	0
				蓝色	0	0	1
黄色	0.5	0.5	0
				金色	0.6	0.2	0.2
黑色	0.299	0.587	0.114

按照该实施方式，在将RGB图像转化为按照本发明的灰度图像时，将RGB图像中像素点(i,j)的RGB值中各个分量R(i,j)、G(i,j)、B(i,j)分别按照根据对应被固定件颜色所预设的权重来加权处理得到如下优化的灰度值I(i,j)：

I(i,j)＝R(i,j)·R_w+G(i,j)·G_w+B(i,j)·B_w。

按照本发明的一个实施方式，对于规定应近似水平安装的带状固定件，选取与水平方向成±30°范围内的边缘直线段。在车辆制造中、例如为了固定上漆后的白车身的车门，在B柱处用带状固定件(这里为粘扣绑带)水平地捆绕前后车门。由此，在要识别的图像中，绑带的边缘将水平延伸。但由于安装时存在一定的操作公差，带状固定件可能不是绝对水平。为此，在对经预处理的灰度图像进行边缘提取时，选取与水平方向成±30°范围内的边缘直线段，以便在考虑安装公差的情况下过滤掉图像中其他干扰性的边缘直线段。

按照本发明的一个实施方式，在对所选取的边缘直线段进行线段融合时，计算彼此分开的边缘直线段之间的绝对距离和相对距离，在绝对距离和相对距离中至少之一小于相应配设的阈值的情况下将所述彼此分开的边缘直线段相互连接。由于图像噪声、被固定件结构线条或带状固定件弯曲等干扰性因素，所选取的边缘直线段不是相互接连的而有可能是断续的，为了判断是否存在代表带状固定件的边缘，需要对边缘直线段进行融合，以尽可能地还原出带状固定件的边缘。在此，对彼此分开的各个边缘直线段逐一衡量是否存在融合条件，在此基于两个边缘直线段之间的距离作为判断标准。在此，计算它们之间的绝对距离和相对距离。在此，绝对距离定义为，一条直线段在另一条直线段所在直线上的投影与所述另一条直线段的最近距离；相对距离定义为，所述最近距离除以两条边缘直线段中最小长度绝对值的商。在此，所述绝对距离配设有绝对距离阈值，而所述相对距离配设有相对距离阈值。对于两条分开的边缘直线段来说，满足绝对距离小于绝对距离阈值或者相对距离小于相对距离阈值，就可以认定两条边缘直线段可以相互连接。通过该实施方式，即使带状固定件未能完全平直地伸展或者存在一定的弯曲、弯折或扭转，也能够识别到其边缘。此外，可以一定程度上还原出由于前期处理和选取而造成的信息损失。

按照本发明的一个实施方式，所述特征值为所融合的线段的长度、长度平方和、长度平方根、水平度、竖直度或密度。在本发明中，从数值上来判断带状固定件的存在，而不使用形状、色块等识别方式。由此减少了运算量并且避免使用复杂的算法。在此，将所述特征值、特别是长度有关的数值作为带状固定件边缘的判断标准，简单而有效地实现这样的判断。此外，基于带状固定件的安装规定，还可以考虑使用水平度或竖直度。此外，还能够基于所融合的线段在图像区域中的密度或者说在所述图像区域中的占比来判断。

按照本发明的一个实施方式，通过滑动窗口算法找出其中所述特征值高于相应的特征值阈值的窗口；并且在出现这样的窗口的情况下判定存在带状固定件，而在未出现这样的窗口的情况下判定不存在带状固定件。由于带状固定件的安装可以在车辆的一定区域内进行，还可能存在一定的位置上的差异，例如用于捆绕固定上漆后的白车身的车门的带状固定件(这里为粘扣绑带)可能被安装在车门上缘也可能安装在车门中部位置。为了能够在较大范围内准确找到代表带状固定件并且避免由于噪声的误判，在此使用滑动窗口算法。为了判定带状固定件存在，需要在图像中找到所述特征值高于相应的特征值阈值的窗口。优选地，附加地对这样的窗口进行标记，以供存档和追溯。此外，使用滑动窗口算法还能够进一步降低运算量，使得能够快速准确地实现带状固定件的识别。

本发明的第二方面涉及一种用于在车辆制造中识别带状固定件的装置，所述装置包括：

-接收模块，用于接收带状固定件的规定区域的图像；

-预处理模块，用于对所拍摄的图像进行预处理以产生灰度图像；

-边缘提取模块，用于对灰度图像进行边缘提取，所述边缘提取模块包括：

-直线段选取单元，用于计算图像中各像素之间的灰度梯度并且基于所述灰度梯度选取符合带状固定件的规定走向的边缘直线段；

-线段融合单元，用于对所选取的边缘直线段进行线段融合；

-特征值计算模块，用于计算所融合的线段的特征值，以及

-判定模块，根据所述特征值判定带状固定件是否存在。

通过按照本发明的用于在车辆制造中识别带状固定件的装置，能够取代传统的人工检验，以尽可能低的计算量快速准确地识别带状固定件，降低人工成本并且提高生产效率。

按照本发明的一个实施方式，所述带状固定件的规定区域的图像为RGB图像，并且所述预处理模块根据被固定件的颜色来适配各个颜色通道的权重。

按照本发明的一个实施方式，对于规定应近似水平安装的带状固定件，所述直线段选取单元选取与水平方向成±30°范围内的边缘直线段。

按照本发明的一个实施方式，所述线段融合单元设置为用于：计算彼此分开的边缘直线段之间的绝对距离和相对距离并且在绝对距离和相对距离中至少之一小于相应配设的阈值的情况下将所述彼此分开的边缘直线段相互连接。

按照本发明的一个实施方式，所述判定模块设置为用于：通过滑动窗口算法找出其中所述特征值高于相应的特征值阈值的窗口；并且在出现这样的窗口的情况下判定存在带状固定件，而在未出现这样的窗口的情况下则判定不存在带状固定件。

本发明的第三方面涉及一种计算机可读存储介质，所述存储介质具有可执行的指令，在执行所述指令时，所述指令促使计算机执行根据本发明的方法。

本发明的第四方面涉及一种用于在车辆制造中识别带状固定件的设备，所述设备包括：

-存储器，存储有计算机可执行指令；以及

-处理器，被配置为执行计算机可执行指令，其中，所述计算机可执行指令被所述处理器执行时，实现按照本发明的方法。

按照本发明的第五方面涉及一种用于在车辆制造中识别带状固定件的系统，所述系统包括：

-工业相机，用于拍摄带状固定件的规定区域的图像；

-按照本发明的用于在车辆制造中识别带状固定件的设备；

-报警设备，用于在判定不存在带状固定件时输出报警信号。

通过按照本发明的用于在车辆制造中识别带状固定件的设备和系统，能够取代传统的人工检验，以尽可能低的计算量快速准确地识别带状固定件，降低人工成本并且提高生产效率。在按照本发明的系统中能够自动地实现带状固定件的检测并且在带状固定件缺失的情况下，通过报警设备向操作人员发出警报。

按照本发明的一个实施方式，所述系统包括闪光灯，以用于在光线过暗时增加曝光量。如上面所提到的，在一条车辆生产线上通常会生产不同车身颜色的车辆，而车身颜色可能深浅不一。在车身颜色较深时可以使用所述闪光灯来增加曝光量，提高识别准确率。

按照本发明的一个实施方式，所述系统包括数据接口，所述数据接口设置为用于：从车辆制造系统获取关于被固定件的信息；和/或从车辆制造系统接收被固定件就位的信号；和/或向车辆制造系统发送带状固定件识别结果。在此，可以从车辆制造系统获取关于被固定件的信息，如车身颜色、车型等，由此可以在识别时进行适应性的匹配，如调用各个颜色通道的权重等。可以从车辆制造系统接收被固定件就位的信号，以用于触发工业相机的拍摄和接下来的识别过程。还可以向车辆制造系统发送带状固定件识别结果，例如带状固定件是否存在的信号、带有识别出的窗口的图像等。

按照本发明的一个实施方式，所述带状固定件是粘扣绑带、胶带、自锁扎带或绳带，和/或所述被固定件是车身车门。

按照本发明的一个实施方式，所述关于被固定件的信息至少包括车身颜色。

按照本发明的第六方面涉及一种车辆生产线，所述车辆生产线包括按照本发明的用于在车辆制造中识别带状固定件的系统。

需要说明的是，按照本发明一个方面的特征、功能、效果和优势等同样可以参照本发明的其他方面的上述描述。此外，在本文献中所描述的各个方面可以多样化地彼此组合。

附图说明

图1示出按照本发明的用于在车辆制造中识别带状固定件的方法的一种实施方式的流程图；

图2a至图2d分别示出按照本发明预处理后的灰度图像、所选取的近似水平的边缘直线段、融合后的线段和所找出的存在带状固定件的窗口；

图3示出按照本发明定义的绝对距离和相对距离的计算；

图4a和图4b示出按照本发明的线段融合的比较；

图5示出按照本发明的用于在车辆制造中识别带状固定件的装置的一种实施方式的框图；

图6示出按照本发明的用于在车辆制造中识别带状固定件的系统的一种实施方式的示意图。

具体实施方式

图1示出按照本发明的方法的一种实施方式的流程图。用于在车辆制造中识别带状固定件的方法100包括：

-步骤101：接收带状固定件的规定区域的图像；

-步骤102：对所拍摄的图像进行预处理以产生灰度图像；

-步骤103：对灰度图像进行边缘提取：

-步骤103a：计算图像中各像素之间的灰度梯度，基于所述灰度梯度选取符合带状固定件的规定走向的边缘直线段；

-步骤103b：对所选取的边缘直线段进行线段融合；

-步骤104：计算所融合的线段的特征值，并且

-步骤105：根据所述特征值判定带状固定件是否存在。

在步骤101中，所述带状固定件的规定区域的图像优选为RGB图像。特别是，在步骤102中根据被固定件的颜色来适配各个颜色通道的权重。在此，颜色通道的权重可以参考上述表1的数值。

在步骤103a中，对于规定应近似水平安装的带状固定件，有利地选取与水平方向成±30°范围内的边缘直线段。

在步骤103b中，优选地计算彼此分开的边缘直线段之间的绝对距离和相对距离，在绝对距离和相对距离中至少之一小于相应配设的阈值的情况下将所述彼此分开的边缘直线段相互连接。

在步骤104中所使用的特征值优选为所融合的线段的长度、长度平方和、长度平方根、水平度、竖直度或密度。

在步骤105中，优选通过滑动窗口算法找出其中所述特征值高于相应的特征值阈值的窗口；并且在出现这样的窗口的情况下判定存在带状固定件，而在未出现这样的窗口的情况下判定不存在带状固定件。

图2a至图2d分布表示出按照本发明预处理后的灰度图像、所选取的近似水平的边缘直线段、融合后的线段和所找出的存在带状固定件的窗口。

图2a示出经过上述步骤102预处理的灰度图像。在此，步骤101中接收的带状固定件的规定区域的图像可以是RGB图像，该RGB图像可能通过按照本发明的加权转换，其中，特别是根据被固定件的颜色来适配各个颜色通道的权重。图2a中示出的灰度图像是上漆后的白车身在B柱处的车门区域。在此，应该用带状固定件、即这里的粘扣绑带水平地捆绕前后车门，以用于防止车身在进入总装车间之前车门松脱而造成不必要的剐蹭。需要说明的是，步骤102的预处理不仅可以包括上述灰度转化，而且可以包括图像的截取、缩放、旋转、调整亮度、对比度、分辨率和饱和度等。从图2中可以看出所拍摄的图像不可避免会涉及到车辆其他部件。为此，图2a中标记出了一个相对明亮的平行四边形区域，该区域符合车门B柱的走向延伸并且代表带状固定件可能的位置区域。为了简化计算处理，可以有利地选定该区域作为后续方法步骤的实施对象。

在经历了图2a所示的预处理后，对灰度图像进行边缘提取。所述边缘提取可以包括：计算图像中各像素之间的灰度梯度。在此，灰度梯度按照下述公式计算：

G_x(x，y)＝I(x+1，y)-I(x-1，y)

G_y(x，y)＝I(x，y+1)-I(x，y-1)

其中，I表示灰度值、特别是按照前文所述的优化的灰度值。G_x(x,y)为横向上的灰度差，G_x(x,y)为纵向上的灰度差，G(x,y)表示灰度梯度值，而α(x,y)表示灰度梯度方向。通过计算灰度图像、特别是上述选定区域中的每个像素计算灰度梯度值，可以根据一定的梯度阈值和梯度方向阈值选取出图像中灰度变化大且符合带状固定件的规定走向的边缘直线段。

图2b示出所选取的近似水平的边缘直线段，其中，所选取的边缘直线段与水平方向的夹角在±30°范围内。从图2b中可以看出，所选取的边缘直线段不包含图1中沿纵向方向延伸的车门边缘。由此，有效地排除了其他无关线条的干扰和噪音。此外，也可以看出，由于拍摄角度以及被固定件、即车门B柱非平面，带状固定件纵向延伸方向上没有平直地伸展，而是以一定弧度弯曲地延伸。基于这样的原因，带状固定件可能无法容易地通过现有技术中的轮廓发现和几何图形识别而检测到，为了检测在现有技术中可能需要动用针对不规则形状的模糊识别、神经网络识别和支持向量机等运算量非常大的算法。

图2c示出对图2b中选出的边缘直线段融合后的线段。由于图2b中的边缘直线段由于弯曲和噪声而并不是连续的，在此基于一定的标准对这些边缘直线段进行融合，从而获得图2c中连续的线段，从而有效地表示带状固定件的边缘。以下还将详细描述该线段融合。

图2d示出所找出的存在带状固定件的窗口。在此，对于图2c的结果通过滑动窗口算法找出其中所述特征值高于相应的特征值阈值的窗口。在图2d中通过灰色示出的框表示所找出的、其中特征值高于特征值阈值的窗口。由此可以判定存在带状固定件。在此优选地使用长度平方和作为特征值来计算：

T＝∑L²(线段)

其中，T表示特征值，L(线段)为融合后的线段的总长度。

图3示出按照本发明定义的绝对距离和相对距离的计算。图3中示出选取出了两个边缘直线段s1和s2。在此，绝对距离定义为，一条直线段s2在另一条直线段s1所在直线上的投影与所述另一条直线段s1的最近距离。在此，边缘直线段s1的端点为AB，边缘直线段s2的端点为CD，点E为点C在AB延长线的垂足，因此，点E作为边缘直线段s2的端点C在边缘直线段s1的延长线上的投影。按照本发明把边缘直线段BE的长度定义为边缘直线段s1和s2的距离。此外，如果点E落在AB之间，则距离定义为0。相对距离定义为，所述最近距离除以两条边缘直线段中最小长度绝对值的商，即BE/min(|s1|,|s2|)。按照本发明，当绝对距离<绝对距离阈值或者相对距离<相对距离阈值时，我们认为两个边缘直线段是可以融合的。

图4a和图4b示出按照本发明的线段融合的比较。图4a中示出多个选取后的边缘直线段，其中用1至10标出各个线段的端点。图4b示出按照本发明融合后的线段。可以看出，由于图像噪声、被固定件结构线条或带状固定件弯曲等干扰性因素，所选取的边缘直线段不是相互接连的而有可能是断续的。为了判断是否存在代表带状固定件的边缘，在本发明中按照上述标准对边缘直线段进行融合，尽可能地还原出带状固定件的边缘。

图5示出按照本发明的用于在车辆制造中识别带状固定件的装置的一种实施方式的框图。用于在车辆制造中识别带状固定件的装置200包括：

-接收模块201，用于接收带状固定件的规定区域的图像；

-预处理模块202，用于对所拍摄的图像进行预处理以产生灰度图像；

-边缘提取模块203，用于对灰度图像进行边缘提取，所述边缘提取模块包括：

-直线段选取单元203a，用于计算图像中各像素之间的灰度梯度并且基于所述灰度梯度选取符合带状固定件的规定走向的边缘直线段；

-线段融合单元203b，用于对所选取的边缘直线段进行线段融合；

-特征值计算模块204，用于计算所融合的线段的特征值，以及

-判定模块205，根据所述特征值判定带状固定件是否存在。

图6示出按照本发明的用于在车辆制造中识别带状固定件的系统的一种实施方式的示意图。用于在车辆制造中识别带状固定件的系统300包括：

-工业相机301a和301b，用于拍摄带状固定件的规定区域402的图像；

-用于在车辆制造中识别带状固定件的设备302；

-报警设备，用于在判定不存在带状固定件时输出报警信号。

其中，用于在车辆制造中识别带状固定件的设备302包括：

-存储器，存储有计算机可执行指令；以及

-处理器，被配置为执行计算机可执行指令，其中，所述计算机可执行指令被所述处理器执行时，实现按照本发明的方法。

图6中可以看出按照本发明的系统300在车辆传送装置400上的示意性布置。车辆传送装置400涉及在涂装车间之后生产线，在其上运输上漆后的白车身401。为了防止车身在进入总装车间之前车门松脱而造成不必要的剐蹭，在车辆左右两侧B柱处绑上用于固定前后车门的带状固定件、这里为粘扣绑带403。在白车身被运送到识别点位处时，优选通过车辆制造系统IPS向布置在生产线两侧的工业相机301a和301b发送触发信号，以拍摄带状固定件的规定区域402的图像。特别是在通过车辆制造系统IPS获知白车身401为深色时，同时触发闪光灯304a和304b，以用于在光线过暗时增加曝光量。用于在车辆制造中识别带状固定件的设备302接收带状固定件的规定区域402的图像、特别是RGB图像并且执行按照本发明的上述方法，以用于识别绑带403是否被捆绑在白车身401两侧的B柱处。

优选地，所述系统300包括数据接口，所述数据接口设置为用于：从车辆制造系统IPS获取关于被固定件的信息；和/或从车辆制造系统IPS接收被固定件就位的信号；和/或向车辆制造系统IPS发送带状固定件识别结果。其中，所述关于被固定件的信息至少包括车身颜色。所述车身颜色一方面可以作为闪光灯304a和304b是否使用的判据，另一方面在对所拍摄的图像进行预处理时，可以根据车身颜色来适配各个颜色通道的权重，以获得优化的灰度图像。

图6所示的报警设备包括警示灯303a和喇叭303b，用于在判定不存在带状固定件时输出报警信号，从而从视觉上和听觉上向操作人员警示粘扣绑带403的缺失。

利用本发明的系统能够取代传统的人工检验，以尽可能低的计算量快速准确地识别带状固定件，从而降低人工成本并且提高生产效率。

本发明不限于所示的实施例，而是包括或者延及可落入所附权利要求书的有效范围内的所有技术上的等效物。在本申请文件中所公开的特征不仅可以单独地而且可以以任意组合的方式实现。此外需要说明的是，本发明的各个附图均为示意性的并且可能未按比例地示出。在各个实施例中，所述方法、装置、设备、系统和车辆生产线也不限于所示的示例。说明书中所列举的情况仅是示例性的参考情况，在本发明的具体应用中可以依据需要来设计其他实现方式、流程顺序、布置结构和连接关系等。

Claims (20)

1.用于在车辆制造中识别带状固定件的方法，所述方法包括：

-接收带状固定件的规定区域的图像；

-对所拍摄的图像进行预处理以产生灰度图像；

-对灰度图像进行边缘提取：

-计算图像中各像素之间的灰度梯度，基于所述灰度梯度选取符合带状固定件的规定走向的边缘直线段；

-对所选取的边缘直线段进行线段融合；

-计算所融合的线段的特征值，并且

-根据所述特征值判定带状固定件是否存在。

2.按照权利要求1所述的方法，其特征在于，所述带状固定件的规定区域的图像为RGB图像，并且在对所拍摄的图像进行预处理以产生灰度图像时，根据被固定件的颜色来适配各个颜色通道的权重。

3.按照权利要求1或2所述的方法，其特征在于，对于规定应近似水平安装的带状固定件，选取与水平方向成±30°范围内的边缘直线段。

4.按照权利要求1至3之一所述的方法，其特征在于，在对所选取的边缘直线段进行线段融合时，计算彼此分开的边缘直线段之间的绝对距离和相对距离，在绝对距离和相对距离中至少之一小于相应配设的阈值的情况下将所述彼此分开的边缘直线段相互连接。

5.按照权利要求1至4之一所述的方法，其特征在于，所述特征值为所融合的线段的长度、长度平方和、长度平方根、水平度、竖直度或密度。

6.按照权利要求1至4之一所述的方法，其特征在于，通过滑动窗口算法找出其中所述特征值高于相应的特征值阈值的窗口；并且在出现这样的窗口的情况下判定存在带状固定件，而在未出现这样的窗口的情况下判定不存在带状固定件。

7.用于在车辆制造中识别带状固定件的装置，所述装置包括：

-接收模块，用于接收带状固定件的规定区域的图像；

-预处理模块，用于对所拍摄的图像进行预处理以产生灰度图像；

-边缘提取模块，用于对灰度图像进行边缘提取，所述边缘提取模块包括：

-直线段选取单元，用于计算图像中各像素之间的灰度梯度并且基于所述灰度梯度选取符合带状固定件的规定走向的边缘直线段；

-线段融合单元，用于对所选取的边缘直线段进行线段融合；

-特征值计算模块，用于计算所融合的线段的特征值，以及

-判定模块，根据所述特征值判定带状固定件是否存在。

8.按照权利要求7所述装置，其特征在于，所述带状固定件的规定区域的图像为RGB图像，并且所述预处理模块根据被固定件的颜色来适配各个颜色通道的权重。

9.按照权利要求7或8所述的装置，其特征在于，对于规定应近似水平安装的带状固定件，所述直线段选取单元选取与水平方向成±30°范围内的边缘直线段。

10.按照权利要求7至9之一所述的装置，其特征在于，所述线段融合单元设置为用于：计算彼此分开的边缘直线段之间的绝对距离和相对距离并且在绝对距离和相对距离中至少之一小于相应配设的阈值的情况下将所述彼此分开的边缘直线段相互连接。

11.按照权利要求7至10之一所述的装置，其特征在于，所述特征值为所融合的线段的长度、长度平方和、长度平方根、水平度、竖直度或密度。

12.按照权利要求7至11之一所述的装置，其特征在于，所述判定模块设置为用于：通过滑动窗口算法找出其中所述特征值高于相应的特征值阈值的窗口；并且在出现这样的窗口的情况下判定存在带状固定件，而在未出现这样的窗口的情况下则判定不存在带状固定件。

13.计算机可读存储介质，所述存储介质具有可执行的指令，在执行所述指令时，所述指令促使计算机执行根据权利要求1至6之一所述的方法。

14.用于在车辆制造中识别带状固定件的设备，所述设备包括：

-存储器，存储有计算机可执行指令；以及

-处理器，被配置为执行计算机可执行指令，其中，所述计算机可执行指令被所述处理器执行时，实现按照权利要求1至6之一所述的方法。

15.用于在车辆制造中识别带状固定件的系统，所述系统包括：

-工业相机，用于拍摄带状固定件的规定区域的图像；

-按照权利要求14所述的用于在车辆制造中识别带状固定件的设备；

-报警设备，用于在判定不存在带状固定件时输出报警信号。

16.按照权利要求15所述的系统，其特征在于，所述系统包括闪光灯，以用于在光线过暗时增加曝光量。

17.按照权利要求15或16所述的系统，其特征在于，所述系统包括数据接口，所述数据接口设置为用于：

从车辆制造系统获取关于被固定件的信息；和/或

从车辆制造系统接收被固定件就位的信号；和/或

向车辆制造系统发送带状固定件识别结果。

18.按照权利要求17所述的系统，其特征在于，所述带状固定件是粘扣绑带，和/或所述被固定件是车辆的车门。

19.按照权利要求17或18所述的系统，其特征在于，所述关于被固定件的信息至少包括车身颜色。

20.车辆生产线，包括按照权利要求15至19之一所述的用于在车辆制造中识别带状固定件的系统。

Images