CN117789132A

CN117789132A - 基于计算机视觉的电子产品外壳缺陷监测方法及系统

Info

Publication number: CN117789132A
Application number: CN202410212171.4A
Authority: CN
Inventors: 程伟; 杨丽丹; 杨顺作; 杨丽香; 杨金燕; 杨丽霞
Original assignee: Shenzhen Shenchuang High Tech Electronic Co ltd
Current assignee: Shenzhen Shenchuang High Tech Electronic Co ltd
Priority date: 2024-02-27
Filing date: 2024-02-27
Publication date: 2024-03-29
Anticipated expiration: 2044-02-27
Also published as: CN117789132B

Abstract

本发明涉及计算机视觉技术领域，提出了基于计算机视觉的电子产品外壳缺陷监测方法及系统，获取电子产品灰度图像；根据灰度分布得到各像素点的区域概率反光度；根据像素点的梯度角度得到各像素点的梯度邻域正弦熵，分析划定区域内的梯度邻域正弦熵得到各像素点的光照梯度正弦熵；结合光照梯度正弦熵及区域概率反光度得到各像素点的区域反光系数；利用区域反光系数得到各像素点外壳光照影响因子；结合各像素点的外壳光照影响因子得到各像素点阈值，从而得到电子产品二值图像，实现电子产品外壳缺陷监测。本发明旨在提高电子产品外壳缺陷监测的准确率，实现电子产品外壳缺陷的精确监测。

Description

基于计算机视觉的电子产品外壳缺陷监测方法及系统

技术领域

本发明涉及计算机视觉领域，具体涉及基于计算机视觉的电子产品外壳缺陷监测方法及系统。

背景技术

随着社会发展和科技进步，电子产品逐渐走入市场。我国是工业大国，被誉为世界工厂。电子产品在我国的经济发展中扮演着重要角色，不仅促进了经济增长和就业，而且推动了科技创新和技术进步。对我国的经济发展起到重要的推动和支撑作用。手机是市场最大的电子产品，其中手机外壳又是重要的手机配件，容易受到划痕，坑洞等外观缺陷。这不仅增加了产品的不良率，增加成本，而且减缓了产品的生产速度。

传统的缺陷监测方法对光照、噪声等因素较为敏感，难以适应新的缺陷类型，从而导致缺陷监测的准确率与稳定性较低。

综上所述，本发明提出基于计算机视觉的电子产品外壳缺陷监测方法，根据电子产品图像的灰度特征及光照影响获取外壳光照影响因子，利用外壳光照因子改进Sauvola算法中的修正系数获取电子产品二值图像，实现电子产品外壳缺陷监测，提高缺陷监测的准确率。

发明内容

为了解决上述技术问题，本发明提供基于计算机视觉的电子产品外壳缺陷监测方法及系统，以解决现有的问题。

本发明的基于计算机视觉的电子产品外壳缺陷监测方法及系统采用如下技术方案：

第一方面，本发明提供了基于计算机视觉的电子产品外壳缺陷监测方法，该方法包括以下步骤：

采集电子产品图像；

获取电子产品图像的反光像素点；根据反光像素点的灰度分布及出现的概率得到各像素点的区域概率反光度；根据各像素点梯度角度出现的概率得到各像素点梯度邻域正弦熵；结合各像素点梯度邻域正弦熵得到各像素点的光照梯度正弦熵；

结合各像素点区域概率反光度与各像素点光照梯度正弦熵得到各像素点的区域反光系数；根据各像素点的区域反光系数获取各像素点的外壳光照影响因子；根据各像素点的外壳光照影响因子及Sauvola算法获取各像素点分割阈值，根据各像素点分割阈值得到电子产品二值化图像；根据电子产品二值化图像实现电子产品外壳缺陷监测。

优选的，所述获取电子产品图像的反光像素点，包括：

将电子产品图像中灰度值大于预设灰度阈值的像素点记为反光像素点，灰度值小于预设灰度阈值的像素点记为正常像素点。

优选的，所述根据反光像素点的灰度分布及出现的概率得到各像素点的区域概率反光度，包括：

对各像素点，计算邻域内全部像素点灰度值与阈值差值的和值，将所述和值与邻域内反光像素点出现的概率的乘积作为各像素点区域概率反光度。

优选的，所述根据各像素点梯度角度出现的概率得到各像素点梯度邻域正弦熵，包括：

对各像素点，计算邻域内像素点梯度角度的正弦值的信息熵，将所述信息熵作为各像素点的梯度邻域正弦熵。

优选的，所述结合各像素点梯度邻域正弦熵得到各像素点的光照梯度正弦熵，包括：

各像素点的光照梯度正弦熵为邻域内像素点的梯度邻域正弦熵之和。

优选的，所述结合各像素点区域概率反光度与各像素点光照梯度正弦熵得到各像素点的区域反光系数，包括：

将各像素点区域概率反光度与光照梯度正弦熵的比值作为各像素点的区域反光系数。

优选的，所述根据各像素点的区域反光系数获取各像素点的外壳光照影响因子，具体包括：将区域反光系数的相反数作为以自然常数e为底的指数函数的幂，将1与所述指数函数的差值作为各像素点的外壳光照影响因子。

优选的，所述根据各像素点的外壳光照影响因子及Sauvola算法获取各像素点分割阈值，表达式为：

式中，为像素点/>处的分割阈值，/>为像素点邻域内的灰度均值，/>为像素点的外壳光照影响因子，/>为像素点邻域内的灰度方差，/>为不为零的调节因子。

优选的，所述根据电子产品二值化图像实现电子产品外壳缺陷监测，具体步骤包括：

将当前电子产品二值化图像与合格产品二值化图像逐像素点比对，若差异像素点数量超过预设数量阈值，则电子产品外壳存在缺陷，若差异像素点数量小于预设数量阈值，则电子产品外壳不存在缺陷。

第二方面，本发明实施例还提供了基于计算机视觉的电子产品外壳缺陷监测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。

本发明至少具有如下有益效果：

本发明主要通过电子产品图像的灰度特征、光照特征对电子产品图像各像素点进行分析，得到各像素点的分割阈值，将电子产品图像转为二值化图像，实现电子产品外壳的缺陷监测，提高了电子产品外壳缺陷监测的准确率。本发明结合电子产品图像像素点的外壳光照影响因子及局部二值化算法进行综合分析，提高了电子产品外壳缺陷监测的稳定度及精度；

进一步，本发明构建各像素点的区域概率反光度及光照梯度正弦熵，结合区域概率反光度与光照梯度正弦熵得到各像素点的外壳光照影响因子，进而获取各像素点的分割阈值，得到电子产品二值图像，实现电子产品外壳缺陷监测，解决了电子产品外壳由于光照影响存在反光区域致使缺陷监测误差较大的问题。本发明具有缺陷监测稳定度高、准确率高、效率高等有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明提供的基于计算机视觉的电子产品外壳缺陷监测方法的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于计算机视觉的电子产品外壳缺陷监测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于计算机视觉的电子产品外壳缺陷监测方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于计算机视觉的电子产品外壳缺陷监测方法的步骤流程图，该方法包括以下步骤：

步骤S001，通过图像采集装置获取电子产品生产线上图像，并进行预处理。

具体的，首先本实施例将通过使用全局快门工业相机在生产线上方俯视拍摄电子产品图像，保证图像内仅有传送带和电子产品两种物体，以此作为电子产品外壳缺陷监测的数据来源，由于生产线是运动的，使用普通相机可能会出现影像资料的拖尾效应，导致监测效果不理想。因此使用全局快门，消除拖尾效应对图像的影响，减少误差，增加监测结果的可靠性。需要说明的是，电子产品图像的获取方法有很多，具体的图像获取方法可通过现有技术实现，不在本实施例保护范围内，不做相关详细阐述；

然后，将电子产品图像转化为灰度图像，具体方法为平均值法，其次，对电子产品灰度图像使用导向滤波去噪算法进行去噪，去除噪声干扰，由于平均值法、导向滤波去噪算法均为现有公知技术，在此不做详细陈述。

至此，即可根据本实施例上述方法获取电子产品去噪灰度图像，作为后续电子产品外壳缺陷监测的数据基础。

步骤S002，基于预处理后的电子产品灰度图像进行特征提取，根据电子产品图像内各个像素点的灰度分布情况以及光照反光特征得到各个像素点的外壳光照影响因子，利用外壳光照影响因子替换Sauvola算法中的修正系数，得到电子产品二值图像。

具体的，本实施例将根据电子产品的灰度图像进行特征提取，通过分析各像素点邻域内的灰度特征、光照特征从而得到各像素点的外壳光照影响因子，由于电子产品外壳容易受光照影响存在反光区域，在缺陷监测过程中导致出现误差，因此本实施例将对电子产品的光照影响进行分析，得到各像素点的外壳光照影响因子，替换Sauvola算法中的修正系数，提高了电子产品外壳缺陷监测的准确率，实现电子产品外壳的缺陷监测。电子产品二值图像的获取过程具体为：

首先，对预处理后的电子产品灰度图像进行仿射变换，对其修正方向，保证电子产品灰度图像方向均为一致，然后通过设定阈值剔除电子产品灰度图像背景部分，将电子产品区域像素点的灰度最小值作为背景阈值，将小于背景阈值的图像部分定义为背景区域，大于背景阈值的图像部分定义为电子产品部分，至此得到仅包含电子产品的完整图像。然后针对仅包含电子产品的图像设定灰度阈值，将大于灰度阈值的像素点记为反光像素点，小于灰度阈值的像素点记为正常像素点，本实施例中灰度阈值取值为130，具体实施过程中可根据实际情况进行调整，本实施例对此不做限制。

对任一像素点，构建/>的邻域，本实施例中/>取7，统计该邻域内像素点灰度值大于第一阈值即反光像素点的个数，记为/>，像素点邻域内全部像素点个数记为/>，由此得到像素点邻域内反光像素点的概率，记为/>，根据像素点邻域内反光像素点出现的概率得到区域概率反光度，所述区域概率反光度具体表达式为：

式中，为像素点/>的区域概率反光度，/>为像素点/>邻域内反光像素点出现的概率，/>为像素点/>邻域内反光像素点的灰度值，/>为灰度阈值。

使用Sobel算子计算电子产品灰度图像的梯度图，所述梯度具体表达式为：

式中，为像素点/>处的灰度值梯度，/>为像素点水平方向的梯度，/>为像素点竖直方向的梯度，/>为像素点的梯度方向，/>为反正切三角函数。

考虑到光照对图像梯度的影响，梯度方向会指向光照最强的方向，计算梯度的方向时，不能仅仅考虑单个像素。像素及其邻域内的梯度方向趋于一致，才是反光区域的特征，为避免光照最强点在像素点邻域的中心位置时邻域内存在像素点梯度方向不一致的情况，如邻域内两侧像素点分别为45°和135°，均指向邻域中心，而计算梯度方向的正弦值可以使互补的梯度方向取值相同，避免造成反光像素点的遗漏，因此，对每个像素点梯度方向的正弦值进行计算，使像素点邻域内梯度方向在0到180°内取值保持一致。故以处像素点为中心，构建/>邻域，本实施例中/>，分析像素点/>邻域内的梯度方向，构建像素点的梯度邻域正弦熵，所述梯度邻域正弦熵的具体表达式为：

式中，为像素点/>处的梯度邻域正弦熵，/>为邻域内像素点个数，/>为像素点/>的梯度角度正弦值在邻域内出现的概率，梯度邻域正弦熵值越小，代表该像素点邻域光照方向越趋于一致，该像素点越可以位于电子产品图像反光区域中。

在像素点的邻域内，记邻域为/>，由邻域内各像素点的梯度邻域正弦熵得到光照梯度正弦熵，所述光照梯度正弦熵的具体表达式为：

式中，为像素点/>的光照梯度正弦熵，/>为像素点邻域/>内各像素点的梯度邻域正弦熵。电子产品区域内受到光照影响越大，像素点的梯度方向越统一，梯度邻域正弦熵减小，整体区域内的光照梯度正弦熵减小。相反，受到光照影响较小的区域，其像素点的梯度混乱，梯度邻域正弦熵增大，整体区域内的光照梯度正弦熵增加。

综上，结合区域概率反光度和光照梯度正弦熵，两个指标综合考虑了像素灰度值和梯度方向的因素，以此衡量电子产品图像区域内的反光程度，得到各像素点区域反光系数，所述区域反光系数的具体表达式为：

式中，为各像素点的区域反光系数，/>为各像素点的区域概率反光度，/>为各像素点的光照梯度正弦熵，/>为调节因子，本实施例中/>，避免因区域概率反光度为0时导致区域反光系数为0的情况出现。

由于Sauvola算法使用矩形滑动窗口来单独计算每个像素点的分割阈值，设滑动窗口大小为，本实施例中/>，将该滑动窗口记为K，将需要计算分割阈值的像素点记为L，若窗口K处在光照的区域，则需要算法中的修正系数将L像素点的二值化分割阈值拉高，以此减少缺陷点的二值化错误。若窗口K不存在反光，则需要减少算法中修正系数的影响程度，基于此，构建各像素点的外壳光照影响因子，所述外壳光照影响因子的具体表达式为：

式中，为像素点的外壳光照影响因子，/>为像素点的区域反光系数。当L处在反光区域时，区域反光系数/>增大，/>减小，外壳光照影响因子/>约等于1。L处在非反光区域时，区域反光系数/>减小，/>增大，外壳光照影响因子/>约等于0。外壳光照影响因子/>的取值为[0,1)。

利用该外壳光照影响因子，改进Sauvola算法中的修正系数k。

在Sauvola算法中，分割阈值的最终确定表达式为：

式中，为像素点/>处的分割阈值，/>为像素点滑动窗口内的灰度均值，/>为像素点滑动窗口内的灰度方差，R为不为零的调节因子，/>为修正系数，Sauvola算法为现有公知技术，在此不作详细赘述。

本实施例中将结合图像光照影响改进Sauvola算法中的修正系数，得到分割阈值，以各像素点为中心，构建滑动窗口，本实施例中/>，所述分割阈值的具体表达式为：

式中，为像素点/>处的分割阈值，/>为像素点/>在/>滑动窗口内的灰度均值，/>为像素点/>在/>滑动窗口内的灰度方差，/>为像素点/>的外壳光照因子，R为不为零的调节因子，本实施例中R取值为电子产品图像总灰度级别个数的二分之一。

基于此，得到各像素点的分割阈值，将像素点灰度值大于分割阈值的置为1，将像素点灰度值小于分割阈值的置为0，故得到待监测电子产品的二值化图像。

步骤S003，根据电子产品二值化图像实现电子产品外壳缺陷监测。

得到待监测电子产品的二值化图像后，将该图像记为A，同理得到合格电子产品的二值化图像，记为B，将图像A与图像B进行逐像素点比对，若图像A与图像B对应位置的像素点值均为0或均为1，则该像素点为一致像素点，若图像A在某位置处像素点值为0，图像B在对应位置像素点值为1，或者图像A在某位置像素点值为1，而图像B在对应位置像素点值为0，则该像素点为差异像素点，设定数量阈值，本实施例中数量阈值取值为50，具体可根据实际情况进行调整，本实施例对此不做限制，在图像A与图像B进行逐像素点比对的过程中，若差异像素点个数大于50个，则判证该电子产品外壳存在缺陷，若差异像素点的个数小于50个，则电子产品外壳不存在缺陷，若连续监测到多个缺陷电子产品即判证是生产线故障，发出警报。

基于与上述方法相同的发明构思，本发明实施例还提供了一种基于计算机视觉的电子产品外壳缺陷监测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于计算机视觉的电子产品外壳缺陷监测方法中任意一项所述方法的步骤。

综上所述，本发明实施例解决了电子产品外壳由于光照影响存在反光区域致使缺陷监测误差较大的问题，结合电子产品图像的外壳光照影响因子，提高了电子产品外壳缺陷监测的准确率，实现电子产品外壳缺陷监测。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于计算机视觉的电子产品外壳缺陷监测方法，其特征在于，该方法包括以下步骤：

采集电子产品图像；

2.根据权利要求1所述的基于计算机视觉的电子产品外壳缺陷监测方法，其特征在于，所述获取电子产品图像的反光像素点，包括：

3.根据权利要求1所述的基于计算机视觉的电子产品外壳缺陷监测方法，其特征在于，所述根据反光像素点的灰度分布及出现的概率得到各像素点的区域概率反光度，包括：

4.根据权利要求1所述的基于计算机视觉的电子产品外壳缺陷监测方法，其特征在于，所述根据各像素点梯度角度出现的概率得到各像素点梯度邻域正弦熵，包括：

5.根据权利要求1所述的基于计算机视觉的电子产品外壳缺陷监测方法，其特征在于，所述结合各像素点梯度邻域正弦熵得到各像素点的光照梯度正弦熵，包括：

6.根据权利要求1所述的基于计算机视觉的电子产品外壳缺陷监测方法，其特征在于，所述结合各像素点区域概率反光度与各像素点光照梯度正弦熵得到各像素点的区域反光系数，包括：

7.根据权利要求1所述的基于计算机视觉的电子产品外壳缺陷监测方法，其特征在于，所述根据各像素点的区域反光系数获取各像素点的外壳光照影响因子，包括：

将区域反光系数的相反数作为以自然常数e为底的指数函数的幂，将1与所述指数函数的差值作为各像素点的外壳光照影响因子。

8.根据权利要求1所述的基于计算机视觉的电子产品外壳缺陷监测方法，其特征在于，所述根据各像素点的外壳光照影响因子及Sauvola算法获取各像素点分割阈值，表达式为：

9.根据权利要求1所述的基于计算机视觉的电子产品外壳缺陷监测方法，其特征在于，所述根据电子产品二值化图像实现电子产品外壳缺陷监测，包括的具体方法为：

10.基于计算机视觉的电子产品外壳缺陷监测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任意一项方法的步骤。