CN109614994A - 一种瓷砖分类识别方法及装置 - Google Patents

Abstract

本发明公开了一种瓷砖分类识别方法及装置，系统开始工作时，系统初始化，各模块正常运行。传送带启动，带动待测陶瓷砖进入光电开关检测范围，此时工业相机开始进行图像采集，待被测物体离开传感器检测范围，工业相机停止当前帧的采集并保存图像，接着通过算法对图像进行深度学习训练，如果有本分类深度学习模型，则会对比模型进行分类，否则进行无监督学习分类，最后得出分类结果并把信号传输给陶瓷砖分拣机进行不同类别的分拣，从纹理色差的检测到陶瓷砖的智能分类处理都由系统自动化完成，过程中无需人工干预，以提高产业效率，替换人工，节省劳动力成本。

Description

一种瓷砖分类识别方法及装置

技术领域

本公开涉及图像处理领域，具体涉及一种瓷砖分类识别方法及装置。

背景技术

目前，国内陶瓷砖的表面检测普遍停留在人工检测，许多重要的质量指标如色差、花纹图案等仍由人工肉眼来完成，因此存在人为主观的判断错误。人工检测劳动强度大，劳动力成本高，检测质量因人员检测水平、身体、心理状态等变化，所以用机器视觉方式实现快速、准确、高效的检测是替代人工的一个必然趋势。

发明内容

本公开提供一种瓷砖分类识别方法及装置，系统开始工作时，系统初始化，各模块正常运行。传送带启动，带动待测陶瓷砖进入光电开关检测范围，此时工业相机开始进行图像采集，待被测物体离开传感器检测范围，工业相机停止当前帧的采集并保存图像，接着通过算法对图像进行深度学习训练，如果有本分类深度学习模型，则会对比模型进行分类，否则进行无监督学习分类，最后得出分类结果并把信号传输给陶瓷砖分拣机进行不同类别的分拣，从纹理色差的检测到陶瓷砖的智能分类处理都由系统自动化完成。

为了实现上述目的，根据本公开的一方面，提供一种瓷砖分类识别方法，所述方法包括以下步骤：

步骤1，设置相机参数；

步骤2，传送带启动，带动瓷砖运动；

步骤3，判断瓷砖是否进入光电开关检测范围；

步骤4，当瓷砖进入光电开关检测范围时相机采集图像；

步骤5，当瓷砖离开光电开关检测范围时停止当前图像帧的采集并保存图像；

步骤6，对图像进行深度学习训练并分类；

步骤7，按照分类结果并把信号传输给瓷砖分拣机。

进一步地，在步骤1中，所述相机参数包括曝光时间、白平衡、增益和帧率，相机为采用CCD或CMOS光敏元件的工业相机，相机内部具有闪速存储器或内置硬盘卡。

进一步地，在步骤2中，所述传送带为皮带输送线、滚筒输送线、链板输送线、网带输送线中任意一种输送线的传送带。

进一步地，在步骤3中，所述判断瓷砖是否进入光电开关检测范围方法为，设置一个光电开关在传送带上，光电开关包括红外线检测部分、电压比较器，光电开关的红外线检测部分采用一对红外发送接收管完成，当电路正常工作时，无瓷砖遮挡则红外接收头有红外线照射，正向输入电压高于负向输入电压，电压比较器输出高电平，判定为没有瓷砖进入光电开关检测范围；当在红外发射接收管间有不透光的瓷砖时，红外接收头无红外线照射，正向输入电压低于负向输入电压，则电压比较器输出低电平，判定为瓷砖进入光电开关检测范围；当正向输入电压高于负向输入电压时，电压比较器正向输入电压4V-5V，负向输入电压为3.3V；当正向输入电压低于负向输入电压时，电压比较器正向输入电压2V-3V，负向输入电压为3.3V；电压比较器型号为LM324、LM358、uA741、TL081234、OP07、OP27、LM339、LM393任意一种。

进一步地，在步骤4中，所述相机为线阵CCD工业相机，对待测陶瓷状表明进行图像采集，采集单张图像的开始与结束由光电开关控制。

进一步地，在步骤5中，图像帧的采集并保存图像通过图像采集卡进行，能够适应不同环境下传送带的速度，经过编码器会得到RS422的差分信号，根据图像采集卡相应的线扫面频率，采集并保存图片。

进一步地，在步骤6中，对图像进行深度学习训练并分类的方法为以下步骤：

输入图像I，通过从I中采集W×H×d维的特征图像F，特征向量F(x,y)＝φ(I,x,y)，F的大小为W×H×d维，d为F(x,y)中元素的个数，函数φ为图像颜色的映射，(x,y)表示像素坐标，范围在W，H内，R(x,y),G(x,y),B(x,y)为像素值，分别表示相对x，y的一阶微分的范数，分别表示相对x，y的二阶微分的范数，对于的瓷砖色差分类任务，构造色差采样特征公式F(x,y)：

其中，I(x,y)为图像色差值，图像样本的采样区域{z_k}是采样区域R中d维的采样区域协方差C_R，

n为正整数，k为采样区域R的特征点均值，i＝1…n，j＝1…n，n为正整数；

对于n×n采样矩阵Z_k(i)，Z_k(j)，Z_k(i),Z_k(j)最优核矩阵为：

K^*＝tr(Z_k(i)Z_k(j)^-1)-logdet(Z_k(i)Z_k(j)^-1)-n，其中n为空间的维度，根据得到的最优核矩阵K^*，Tr为线性变换函数，通过直接计算两点之间的相似性进行分类，分类结果为色差不同的瓷砖。

进一步地，在步骤7中，按照分类结果并把信号传输给瓷砖分拣机为根据不同的色差结果将瓷砖进行分拣。

本发明还提供了一种瓷砖分类识别装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

相机参数设置单元，用于设置相机参数；

瓷砖运动单元，用于传送带启动，带动瓷砖运动；

检测范围判断单元，用于判断瓷砖是否进入光电开关检测范围；

图像采集单元，用于当瓷砖进入光电开关检测范围时相机采集图像；

图像保存单元，用于当瓷砖离开光电开关检测范围时停止当前图像帧的采集并保存图像；

学习分类单元，用于对图像进行深度学习训练并分类；

瓷砖分拣单元，用于按照分类结果并把信号传输给瓷砖分拣机。

本公开的有益效果为：本发明提供一种瓷砖分类识别方法及装置，从纹理色差的检测到陶瓷砖的智能分类处理都由系统自动化完成，过程中无需人工干预，以提高产业效率，替换人工，节省劳动力成本。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为瓷砖自动分类系统模块图；

图2所示为瓷砖自动分类系统连接结构图；

图3所示为一种瓷砖分类识别装置图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本公开提出一种瓷砖分类识别方法，具体包括以下步骤：

步骤1，设置相机参数；

步骤2，传送带启动，带动瓷砖运动；

步骤3，判断瓷砖是否进入光电开关检测范围；

步骤4，当瓷砖进入光电开关检测范围时相机采集图像；

步骤5，当瓷砖离开光电开关检测范围时停止当前图像帧的采集并保存图像；

步骤6，对图像进行深度学习训练并分类；

步骤7，按照分类结果并把信号传输给瓷砖分拣机。

进一步地，在步骤1中，所述相机参数包括曝光时间、白平衡、增益和帧率，相机为采用CCD或CMOS光敏元件的工业相机，相机内部具有闪速存储器或内置硬盘卡。

进一步地，在步骤2中，所述传送带为皮带输送线、滚筒输送线、链板输送线、网带输送线中任意一种输送线的传送带。

进一步地，在步骤3中，所述判断瓷砖是否进入光电开关检测范围方法为，设置一个光电开关在传送带上，光电开关包括红外线检测部分、电压比较器，光电开关的红外线检测部分采用一对红外发送接收管完成，当电路正常工作时，无瓷砖遮挡则红外接收头有红外线照射，正向输入电压高于负向输入电压，电压比较器输出高电平，判定为没有瓷砖进入光电开关检测范围；当在红外发射接收管间有不透光的瓷砖时，红外接收头无红外线照射，正向输入电压低于负向输入电压，则电压比较器输出低电平，判定为瓷砖进入光电开关检测范围；当正向输入电压高于负向输入电压时，电压比较器正向输入电压4V-5V，负向输入电压为3.3V；当正向输入电压低于负向输入电压时，电压比较器正向输入电压2V-3V，负向输入电压为3.3V；电压比较器型号为LM324、LM358、uA741、TL081234、OP07、OP27、LM339、LM393任意一种。

进一步地，在步骤4中，所述相机为线阵CCD工业相机，对待测陶瓷状表明进行图像采集，采集单张图像的开始与结束由光电开关控制。

进一步地，在步骤5中，图像帧的采集并保存图像通过图像采集卡进行，能够适应不同环境下传送带的速度，经过编码器会得到RS422的差分信号，根据图像采集卡相应的线扫面频率，采集并保存图片。

进一步地，在步骤6中，对图像进行深度学习训练并分类的方法为以下步骤：

输入图像I，通过从I中采集W×H×d维的特征图像F，特征向量F(x,y)＝φ(I,x,y)，F的大小为W×H×d维，d为F(x,y)中元素的个数，函数φ为图像颜色的映射，(x,y)表示像素坐标，范围在W，H内，R(x,y),G(x,y),B(x,y)为像素值，分别表示相对x，y的一阶微分的范数，分别表示相对x，y的二阶微分的范数，对于的瓷砖色差分类任务，构造色差采样特征公式F(x,y)：

其中，I(x,y)为图像色差值，图像样本的采样区域{z_k}是采样区域R中d维的采样区域协方差C_R，

n为正整数，k为采样区域R的特征点均值，i＝1…n，j＝1…n，n为正整数；

对于n×n采样矩阵Z_k(i)，Z_k(j)，Z_k(i),Z_k(j)最优核矩阵为：

K^*＝tr(Z_k(i)Z_k(j)^-1)-logdet(Z_k(i)Z_k(j)^-1)-n，其中n为空间的维度，根据得到的最优核矩阵K^*，Tr为线性变换函数，通过直接计算两点之间的相似性进行分类，分类结果为色差不同的瓷砖。

进一步地，在步骤7中，按照分类结果并把信号传输给瓷砖分拣机为根据不同的色差结果将瓷砖进行分拣。

如图1所示，陶瓷砖自动分类系统，包括摄像机模块、传感器模块、工控机模块、光源模块、上位机模块和机械模块。其中摄像机模块采用工业线性摄像头对待测陶瓷砖表面进行图像采集，并传输至上位机进行图像处理分类；传感器模块有接近开关、增量式编码器，接近开关主要是检测陶瓷砖出入状态，编码器是对传送带的速度进行图像大小的自适应；工控机模块是桥接摄像机与外触发信号之间的通信，内含单片机对串口信号的处理与控制；光源模块是为了抵消环境光对被测物体的影响及增强亮度；上位机模块主要接收摄像机采集的图像和进行图像处理，并且通过模拟神经网络和深度学习对图像实现智能分类；机械模块包括摄像机支架、光源支架、编码器支架和接近开关固定架。

在图1中，陶瓷砖自动分类系统包括摄像机模块、传感器模块、工控机模块、光源模块、上位机模块和机械模块。摄像机模块包括工业相机、镜头和SaperaCamExpert相机套件；传感器模块包括接近开关和编码器；工控机模块包括微控制单元模块和通信模块；上位机包括图像采集卡、管理和控制计算机硬件与软件资源的操作系统。

在摄像机模块中，工业相机采用线阵CCD相机，对待测陶瓷状表明进行图像采集，经过SaperaCamExpert软件配置相应参数后，导入至自开发的相机采集控制软件，采集单张图像的开始与结束由接近开关控制，获取的图像数据传入至上位机进行图像处理并智能分类，对所获取的图像提取的特征信息与事先确定好的标准进行比较对比，并做出比较精确的判断，同时对图像数据保存作为备份。

在传感器模块中，接近开关传感器和编码器作为摄像头的外触发控制，可以实现摄像头的采集自动化及环境自适应。对于接近开关，当待测陶瓷砖进入或离开传感器检测范围内，会触发内部开关并输出相应的TTL信号至上位机中的图像采集卡中，采集卡会根据信号控制摄像头做出相应的操作；对于编码器，为了适应不同环境下传送带的速度，经过编码器会得到RS422的差分信号，图像采集卡会根据信号得出相应的线扫面频率，从而达到图片大小的自适应。

工控机模块中，主要控制光源模块和传感器模块，以及通过串口的方式对上位机模块进行通信和控制。

光源模块中，由于工业相机对外界环境光较为敏感，需要外加灯光消除影响。在采集前还需通过光源对现场进行平场校正，消除各像素响应不均一，以达到相机对扫描目标的均匀成像。

上位机模块中，包括了图像采集卡、管理和控制计算机硬件与软件资源的操作系统。图像采集卡是将图像信号采集到电脑中，以数据文件的行驶保存在硬盘上；操作系统主要是对图像采集卡以及工控机模块的控制和通信。

机械模块中，主要包括摄像机支架、光源支架、编码器支架和接近开关固定架。

在图2中，本陶瓷砖自动分类系统的连接结构为：工业摄像机经2个Camera link端口连接上位机模块中的图像采集卡，工控机模块通过DH60-I/O端口控制接近开关和编码器，上位机模块通过USB接口连接工控机模块控制光源模块。

程序运行流程图如图3所示，系统开始工作时，系统初始化，各模块正常运行。传送带启动，带动待测陶瓷砖进入光电开关检测范围，此时工业相机开始进行图像采集，待被测物体离开传感器检测范围，工业相机停止当前帧的采集并保存图像，接着通过算法对图像进行深度学习训练，如果有本分类深度学习模型，则会对比模型进行分类，否则进行无监督学习分类，最后得出分类结果并把信号传输给陶瓷砖分拣机进行不同类别的分拣。

本公开的实施例提供的一种瓷砖分类识别装置，如图3所示为本公开的一种瓷砖分类识别装置图，该实施例的一种瓷砖分类识别装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种瓷砖分类识别装置实施例中的步骤。

所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

相机参数设置单元，用于设置相机参数；

瓷砖运动单元，用于传送带启动，带动瓷砖运动；

检测范围判断单元，用于判断瓷砖是否进入光电开关检测范围；

图像采集单元，用于当瓷砖进入光电开关检测范围时相机采集图像；

图像保存单元，用于当瓷砖离开光电开关检测范围时停止当前图像帧的采集并保存图像；

学习分类单元，用于对图像进行深度学习训练并分类；

瓷砖分拣单元，用于按照分类结果并把信号传输给瓷砖分拣机。

所述一种瓷砖分类识别装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种瓷砖分类识别装置，可运行的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种瓷砖分类识别装置的示例，并不构成对一种瓷砖分类识别装置的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种瓷砖分类识别装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种瓷砖分类识别装置运行装置的控制中心，利用各种接口和线路连接整个一种瓷砖分类识别装置可运行装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种瓷砖分类识别装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (8)

1.一种瓷砖分类识别方法，其特征在于，所述方法包括以下步骤：

步骤1，设置相机参数；

步骤2，传送带启动，带动瓷砖运动；

步骤3，判断瓷砖是否进入光电开关检测范围；

步骤4，当瓷砖进入光电开关检测范围时相机采集图像；

步骤5，当瓷砖离开光电开关检测范围时停止当前图像帧的采集并保存图像；

步骤6，对图像进行深度学习训练并分类；

步骤7，按照分类结果并把信号传输给瓷砖分拣机。

2.根据权利要求1所述的一种瓷砖分类识别方法，其特征在于，在步骤1中，所述相机参数包括曝光时间、白平衡、增益和帧率，相机为采用CCD或CMOS光敏元件的工业相机，相机内部具有闪速存储器或内置硬盘卡。

3.根据权利要求1所述的一种瓷砖分类识别方法，其特征在于，在步骤2中，所述传送带为皮带输送线、滚筒输送线、链板输送线、网带输送线中任意一种输送线的传送带。

4.根据权利要求1所述的一种瓷砖分类识别方法，其特征在于，在步骤3中，所述判断瓷砖是否进入光电开关检测范围方法为，设置一个光电开关在传送带上，光电开关包括红外线检测部分、电压比较器，光电开关的红外线检测部分采用一对红外发送接收管完成，当电路正常工作时，无瓷砖遮挡则红外接收头有红外线照射，正向输入电压高于负向输入电压，电压比较器输出高电平，判定为没有瓷砖进入光电开关检测范围；当在红外发射接收管间有不透光的瓷砖时，红外接收头无红外线照射，正向输入电压低于负向输入电压，则电压比较器输出低电平，判定为瓷砖进入光电开关检测范围；当正向输入电压高于负向输入电压时，电压比较器正向输入电压4V-5V，负向输入电压为3.3V；当正向输入电压低于负向输入电压时，电压比较器正向输入电压2V-3V，负向输入电压为3.3V；电压比较器型号为LM324、LM358、uA741、TL081234、OP07、OP27、LM339、LM393任意一种。

5.根据权利要求1所述的一种瓷砖分类识别方法，其特征在于，在步骤4中，所述相机为线阵CCD工业相机，对待测陶瓷状表明进行图像采集，采集单张图像的开始与结束由光电开关控制。

6.根据权利要求1所述的一种瓷砖分类识别方法，其特征在于，在步骤5中，图像帧的采集并保存图像通过图像采集卡进行，能够适应不同环境下传送带的速度，经过编码器会得到RS422的差分信号，根据图像采集卡相应的线扫面频率，采集并保存图片。

7.根据权利要求1所述的一种瓷砖分类识别方法，其特征在于，在步骤6中，对图像进行深度学习训练并分类的方法为以下步骤：

输入图像I，通过从I中采集W×H×d维的特征图像F，特征向量F(x,y)＝φ(I,x,y)，F的大小为W×H×d维，d为F(x,y)中元素的个数，函数φ为图像颜色的映射，(x,y)表示像素坐标，范围在W，H内，R(x,y),G(x,y),B(x,y)为像素值，分别表示相对x，y的一阶微分的范数，分别表示相对x，y的二阶微分的范数，对于的瓷砖色差分类任务，构造色差采样特征公式F(x,y)：

其中，I(x,y)为图像色差值，图像样本的采样区域{z_k}是采样区域R中d维的采样区域协方差C_R，为正整数，k为采样区域R的特征点均值，i＝1…n，j＝1…n，n为正整数；

对于n×n采样矩阵Z_k(i)，Z_k(j)，Z_k(i),Z_k(j)最优核矩阵为：

K^*＝tr(Z_k(i)Z_k(j)^-1)-logdet(Z_k(i)Z_k(j)^-1)-n，其中n为空间的维度，根据得到的最优核矩阵K^*，Tr为线性变换函数，通过直接计算两点之间的相似性进行分类，分类结果为色差不同的瓷砖。

8.一种瓷砖分类识别装置，其特征在于，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

相机参数设置单元，用于设置相机参数；

瓷砖运动单元，用于传送带启动，带动瓷砖运动；

检测范围判断单元，用于判断瓷砖是否进入光电开关检测范围；

图像采集单元，用于当瓷砖进入光电开关检测范围时相机采集图像；

图像保存单元，用于当瓷砖离开光电开关检测范围时停止当前图像帧的采集并保存图像；

学习分类单元，用于对图像进行深度学习训练并分类；

瓷砖分拣单元，用于按照分类结果并把信号传输给瓷砖分拣机。