CN114494179A - 一种基于图像识别的手机背部破损点检测方法及系统 - Google Patents

一种基于图像识别的手机背部破损点检测方法及系统 Download PDF

Info

Publication number
CN114494179A
CN114494179A CN202210080728.4A CN202210080728A CN114494179A CN 114494179 A CN114494179 A CN 114494179A CN 202210080728 A CN202210080728 A CN 202210080728A CN 114494179 A CN114494179 A CN 114494179A
Authority
CN
China
Prior art keywords
image
area
mobile phone
region
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210080728.4A
Other languages
English (en)
Inventor
林乐新
周超
王佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shanhui Technology Co ltd
Original Assignee
Shenzhen Shanhui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shanhui Technology Co ltd filed Critical Shenzhen Shanhui Technology Co ltd
Priority to CN202210080728.4A priority Critical patent/CN114494179A/zh
Publication of CN114494179A publication Critical patent/CN114494179A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于图像识别的手机背部破损点检测方法，获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域，截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，提取目标区域特征为对目标分割区域进行需求提取，根据已有轮廓线测量并分析结果，对获取到的图像做ROI区域提取得到目标区域特征，进行Blob分析以确定手机的破损点，待测手机的轮廓线有效的打在轮廓模式下图像界面中数据显示，有效区域越大，需要处理的数据越多，对于手机内壳的数据采集，需要根据待检测手机的大小来调整一个可靠的TOI有效区域来加快图像的采集速度，从而提高检测手机背部破损点的精准检测和图像识别的准确性。

Description

一种基于图像识别的手机背部破损点检测方法及系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于图像识别的手机背部破损点检测方法及系统。
背景技术
近年来移动互联网发展迅速，随着4G手机的普及和5G手机的面世智能手机已成为当今社会不可或缺的一部分。对于几乎人手一个或者多个手机的时代，人们对自己手机的保护和美观自然也会有更高要求，消费者购买手机保护套时主要关注的是美观耐压、柔然舒适和价格低廉等。手机制造作为国内智能制造的一个突破点，提高其生产效率与良品率需要多方面的智能化，而点胶工艺是电子机械工业中及其重要的工序，作为封装技术的重要环节，智能手机外壳的壳体内都有许多部件需要通过热熔胶来粘连，随着胶粘技术的提升，在涂胶过程中对出胶量、涂胶位置、涂胶宽度和胶水混合成分的比例较为严苛。由于生产厂家在生产和运输过程中，经常会出现生产工艺的不足或是运输不当使产品出现或大或小的划痕、缺块等缺陷，严重影响手机套的质量和外观。通常人工检测是基于人的眼睛长时间观测进一步判断结果，长久下来会导致肉眼疲劳，人为主观评判标准不一，会出现露肩、误检，人工检测的效率远远不能达到自动化发展的要求。
发明内容
有鉴于此，本发明提供了一种基于图像识别的手机背部破损点检测方法及系统，解决了对手机背部破损点的精准检测和图像识别的准确性，提高检测效率，具体采用以下技术方案来实现。
第一方面，本发明提供了一种基于图像识别的手机背部破损点检测方法，包括以下步骤：
获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道 ROI区域，其中，将图像像素灰度幅度进行分割，并将图像的灰度分成不同等级，设置灰度阈值以确定手机边框壳的深度图；
截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，提取目标区域特征为对目标分割区域进行需求提取，其中，图像获取为通过设备得到的原始图像，图像分割为通过预设阈值和区域轮廓将目标区域与图像背景分离；
根据已有轮廓线测量并分析结果，对获取到的图像做ROI区域提取得到目标区域特征，进行Blob分析以确定手机的破损点，其中Blob分析是对被提出的目标区域进行特征分析，Blob为图像中具有相似纹理、颜色特征的组成区域。
作为上述技术方案的进一步改进，提取目标区域特征为对目标分割区域进行需求提取，包括：
采用阈值分割算法确定分割区域，其表达式为： S＝{(c,r)T∈R|hmin≤fc,r≤hmax}，S为阈值分割算法分割出的输出区域，R为被分割出的特征区域，(c,r)是区域R内灰度点的横纵坐标，hmin和hmin为制定阈值区间的上限、下限，fc,r为待分割图像ROI；通过使用threshold算子对图像进行全局高度灰度阈值分割，通过算子min_max_gray的结果数值来设定出最低高度阈值和在矩形区域内深度最大值为最大高度阈值；
通过阈值分割法得到的深度图像进行区域连通性的计算，使用算子 connection来计算区域内连接的组件，使用算子area_center来计算各区域的面积，选取最大区域面积，使用reduce_domain算子裁剪区域以去除背景后的边框壳的深度图像。
作为上述技术方案的进一步改进，消除背景后使用算子gen_rectangle 生成一个轮廓矩形，以初步提取胶壳胶道ROI区域，该轮廓矩形通过两坐标点法即开始点与结束点来确定大小，其表达式为：
Figure RE-GDA0003574976890000031
ROI_EndRow＝Dy-ROI_StartRow，ROI_EndColumn＝Dx，其中，轮廓矩形在 ROI区域的开始点和结束点坐标分别为(ROI_StartColumn，ROI_StartRow)、 (ROI_EndColumn，ROI_EndRow)，Dx、Dy深度图像的宽度和长度，Dr为弯角长度，μy为Y方向深度图像的分辨率，确定参数后Dr后使用算子 reduce_domain裁剪出初步提取胶壳胶道ROI区域。
作为上述技术方案的进一步改进，根据已有轮廓线测量并分析结果，对获取到的图像做ROI区域提取得到目标区域特征，包括：
使用ResNet的前两层对预处理后的图片进行特征提取，通过多个卷积神经网络进行特征提取，得到多个大小不同的特征图；
将高层特征依次回溯与低层特征相加，在训练时为预测训练宇哥与候选框相结合的编码向量；
在预测时使用训练所得编码向量解码得到候选预测框，使用非极大值抑制算法筛选出最优的预设框并作为最终结果的生成。
作为上述技术方案的进一步改进，使用ResNet的前两层对预处理后的图片进行特征提取，包括：
采用BSSD模型检测微小缺陷，获取多个不同尺寸的特征图，回溯层将深层特征依次回溯相加到浅层特征上，以强化浅层特征向量；
输入图像按照预设比例用零进行补充，使用正向卷积对图像进行处理得到扩大后的图像。
作为上述技术方案的进一步改进，截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，包括：
将初提取的胶壳胶道ROI区域做边缘轮廓的提取，通过在矩形测量区域中，依次等距截取Y方向的高度像素值；
沿X方向从左到右读取每一格像素所对应的值依次计算，对有效的边缘点做点标记，其中，采用Y长度未N个像素，从胶壳胶道ROI区域内的开始点以Y方向N个像素为宽度为一个小矩形测量区域为基准，依次对ROI 区域内黑到白这一区间的边缘点进行提取，通过取每个矩形测量区域自左向右计算结果中的最后一个边缘点并进行标记。
作为上述技术方案的进一步改进，获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域，包括：
当待测手机到达固定位置时相机检测到发出的信号并开始进行图像采集，对采集到的图像进行图像处理得到图片源；
对图片源进行灰度化和二值化得到目标图片，截取出手机壳对应的目标图片以定位出目标区域；
根据目标区域对图像进行双边滤波和表面缺陷检测得到深度图像。
作为上述技术方案的进一步改进，根据目标区域对图像进行双边滤波和表面缺陷检测得到深度图像，包括：
采用加权平均进行双边滤波，某个点的亮度需要用周围点亮度进行加权平均得到，
Figure RE-GDA0003574976890000041
其中
Figure RE-GDA0003574976890000042
表示归一化系数，
Figure RE-GDA0003574976890000043
表示范围域权重，
Figure RE-GDA0003574976890000044
表示空间域权重；
当处于图像的平整部分时，像素范围域权重趋近于1，空间域权重起到主导作用，当处于图像边缘时，像素变化大且像素范围域权重变大以保存边缘的信息。
第二方面，本发明还提供了一种基于图像识别的手机背部破损点检测系统，包括：
获取模块，用于获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域，其中，将图像像素灰度幅度进行分割，并将图像的灰度分成不同等级，设置灰度阈值以确定手机边框壳的深度图；
分析模块，用于截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，提取目标区域特征为对目标分割区域进行需求提取，其中，图像获取为通过设备得到的原始图像，图像分割为通过预设阈值和区域轮廓将目标区域与图像背景分离；
检测模块，用于根据已有轮廓线测量并分析结果，对获取到的图像做 ROI区域提取得到目标区域特征，进行Blob分析以确定手机的破损点，其中Blob分析是对被提出的目标区域进行特征分析，Blob为图像中具有相似纹理、颜色特征的组成区域。
本发明提供了一种基于图像识别的手机背部破损点检测方法及系统，相对于现有技术，具有以下的有益效果：
通过获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域，截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，提取目标区域特征为对目标分割区域进行需求提取，根据已有轮廓线测量并分析结果，对获取到的图像做ROI区域提取得到目标区域特征，进行Blob分析以确定手机的破损点，待测手机的轮廓线有效的打在轮廓模式下图像界面中数据显示，有效区域越大，需要处理的数据越多，对于手机内壳的数据采集，需要根据待检测手机的大小来调整一个可靠的TOI有效区域来加快图像的采集速度。通过使用补缺滤波对破损点数据进行最接近数据点信息填充修补，再使用平滑滤波对制定区域内求平均值来降低随机点云数据的干扰，从而提高检测手机背部破损点的精准检测和图像识别的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明提供的基于图像识别的手机背部破损点检测方法的流程图；
图2为本发明提供的特征提取的流程图；
图3为本发明提供的基于图像识别的手机背部破损点检测系统的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参阅图1，本发明提供了一种基于图像识别的手机背部破损点检测方法，包括以下步骤：
S10：获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域，其中，将图像像素灰度幅度进行分割，并将图像的灰度分成不同等级，设置灰度阈值以确定手机边框壳的深度图；
S11：截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，提取目标区域特征为对目标分割区域进行需求提取，其中，图像获取为通过设备得到的原始图像，图像分割为通过预设阈值和区域轮廓将目标区域与图像背景分离；
S12：根据已有轮廓线测量并分析结果，对获取到的图像做ROI区域提取得到目标区域特征，进行Blob分析以确定手机的破损点，其中Blob分析是对被提出的目标区域进行特征分析，Blob为图像中具有相似纹理、颜色特征的组成区域。
本实施例中，提取目标区域特征为对目标分割区域进行需求提取，包括：采用阈值分割算法确定分割区域，其表达式为：S＝{(c,r)T∈R|hmin≤fc,r≤hmax}，S为阈值分割算法分割出的输出区域，R为被分割出的特征区域，(c,r)是区域R内灰度点的横纵坐标，hmin和hmin为制定阈值区间的上限、下限，fc,r为待分割图像ROI；通过使用threshold算子对图像进行全局高度灰度阈值分割，通过算子min_max_gray的结果数值来设定出最低高度阈值和在矩形区域内深度最大值为最大高度阈值；通过阈值分割法得到的深度图像进行区域连通性的计算，使用算子connection来计算区域内连接的组件，使用算子area_center来计算各区域的面积，选取最大区域面积，使用reduce_domain算子裁剪区域以去除背景后的边框壳的深度图像。
需要说明的是，消除背景后使用算子gen_rectangle生成一个轮廓矩形，以初步提取胶壳胶道ROI区域，该轮廓矩形通过两坐标点法即开始点与结束点来确定大小，其表达式为：
Figure RE-GDA0003574976890000071
ROI_EndRow＝Dy-ROI_StartRow，ROI_EndColumn＝Dx，其中，轮廓矩形在 ROI区域的开始点和结束点坐标分别为(ROI_StartColumn，ROI_StartRow)、(ROI_EndColumn，ROI_EndRow)，Dx、Dy深度图像的宽度和长度，Dr为弯角长度，μy为Y方向深度图像的分辨率，确定参数后Dr后使用算子 reduce_domain裁剪出初步提取胶壳胶道ROI区域。
应理解，胶道无胶、胶道缺胶、胶水内偏和胶水外篇，对于无胶和缺胶两种缺陷为缺胶缺陷，通过计算胶水的高度可以判断出胶道上是否有胶，若对胶水的厚度也有要求，可以通过设定胶水高度阈值来判断出是否缺胶。缺胶通常发生在胶水的两边，通过在已点胶的胶水两侧创建两个ROI区域，区域与胶水轮廓重合，计算区域与胶水轮廓的交集并提取各区域内胶水的最高点坐标，将两者最高点坐标的纵坐标的像素值与通过最小二乘法拟合后的胶道纵坐标的像素值相减，将其值作为判断依据，根据需求设定阈值与该差值对比来判断出是否有缺胶缺陷。对于胶水内偏和胶水外偏缺陷可以称为溢胶缺陷，判断胶水溢胶可以根据已经测得的胶水高度和宽度信息做判断，若宽度和高度的数值已超过正常点胶时，可以直接判定为溢胶缺陷，还可以通过胶壳顶点到溢胶槽的范围内加入一个ROI区域，同时在胶道拐点处加入一个ROI区域，根据区域内是否存在轮廓交集来帕努单两侧是否存在溢胶缺陷。
参阅图2，可选地，根据已有轮廓线测量并分析结果，对获取到的图像做ROI区域提取得到目标区域特征，包括：
S20：使用ResNet的前两层对预处理后的图片进行特征提取，通过多个卷积神经网络进行特征提取，得到多个大小不同的特征图；
S21：将高层特征依次回溯与低层特征相加，在训练时为预测训练宇哥与候选框相结合的编码向量；
S22：在预测时使用训练所得编码向量解码得到候选预测框，使用非极大值抑制算法筛选出最优的预设框并作为最终结果的生成。
本实施例中，使用ResNet的前两层对预处理后的图片进行特征提取，包括：采用BSSD模型检测微小缺陷，获取多个不同尺寸的特征图，回溯层将深层特征依次回溯相加到浅层特征上，以强化浅层特征向量；输入图像按照预设比例用零进行补充，使用正向卷积对图像进行处理得到扩大后的图像。
需要说明的是，BSSD(Backtracking Single Shot MultiBox Detector)神经网络，可以提取更多信息的特征提取网络，设计多尺度特征图时，将采用包含更多小目标信息的特征图，包含小目标信息为浅层特征图，为了提高浅层目标的表达能力，将高层信息融入浅层特征图，最终实现提高小目标的检测性能，图片中微小缺陷占图片中极少像素，通过数据扩充、数据增广等策略增加图片中微小缺陷数据量，训练和分类网络中包含更多微小数据信息，提高网络参数拟合。在目标检测任务中，浅层神经网络提取的大尺度特征图可以表达更细微的内容，可以用于检测小物体，深层神经网络提取的小尺度特征图可以表达更抽象的内容，可以用于检测达吾提， BSSD模型提取了多尺寸的图像特征，用于提升小目标检测的性能。
可选地，截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，包括：
将初提取的胶壳胶道ROI区域做边缘轮廓的提取，通过在矩形测量区域中，依次等距截取Y方向的高度像素值；
沿X方向从左到右读取每一格像素所对应的值依次计算，对有效的边缘点做点标记，其中，采用Y长度未N个像素，从胶壳胶道ROI区域内的开始点以Y方向N个像素为宽度为一个小矩形测量区域为基准，依次对ROI 区域内黑到白这一区间的边缘点进行提取，通过取每个矩形测量区域自左向右计算结果中的最后一个边缘点并进行标记。
本实施例中，图像的边缘是图像的基本特征，边缘上的点是指图像周围像素灰度产生变化的像素点，即灰度值导数较大的点，若物体的灰度值和背景的灰度值都是常量，且图像是连续无噪声的状况下，边缘是图像中的一些区域，在这些区域中灰度值变化的较为明显。通过上述胶壳胶道ROI 区域提取方依次提取点胶前无胶壳的胶壳胶道ROI区域和点胶后有胶壳的胶壳胶道ROI区域，依次求每个区域的中心坐标(Column，Row)，为了更精确的匹配点胶前和后壳内胶道与胶水的像素位置，需要计算点胶前和点胶后区域中心点的偏移距离(△Column，△Row)来消除误差，设定点胶前 ROI区域的起始坐标为(Start_Column，Start_Row),对点胶后的ROI区域的起始坐标为(Start_Column+△Column，Start_Row+△Row)，进而依次提取去榆中每行X坐标中所对应点像素的深度数据。
可选地，获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域，包括：
当待测手机到达固定位置时相机检测到发出的信号并开始进行图像采集，对采集到的图像进行图像处理得到图片源；
对图片源进行灰度化和二值化得到目标图片，截取出手机壳对应的目标图片以定位出目标区域；
根据目标区域对图像进行双边滤波和表面缺陷检测得到深度图像。
本实施例中，根据目标区域对图像进行双边滤波和表面缺陷检测得到深度图像，采用加权平均进行双边滤波，某个点的亮度需要用周围点亮度进行加权平均得到，
Figure RE-GDA0003574976890000101
其中
Figure RE-GDA0003574976890000102
表示归一化系数，
Figure RE-GDA0003574976890000103
表示范围域权重，
Figure RE-GDA0003574976890000104
表示空间域权重；当处于图像的平整部分时，像素范围域权重趋近于1，空间域权重起到主导作用，当处于图像边缘时，像素变化大且像素范围域权重变大以保存边缘的信息。在保证图片不失真的前提下使图像边缘更平滑，可以抑制噪声干扰。
参阅图3，本发明还提供了一种基于图像识别的手机背部破损点检测系统，包括：
获取模块，用于获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域，其中，将图像像素灰度幅度进行分割，并将图像的灰度分成不同等级，设置灰度阈值以确定手机边框壳的深度图；
分析模块，用于截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，提取目标区域特征为对目标分割区域进行需求提取，其中，图像获取为通过设备得到的原始图像，图像分割为通过预设阈值和区域轮廓将目标区域与图像背景分离；
检测模块，用于根据已有轮廓线测量并分析结果，对获取到的图像做 ROI区域提取得到目标区域特征，进行Blob分析以确定手机的破损点，其中Blob分析是对被提出的目标区域进行特征分析，Blob为图像中具有相似纹理、颜色特征的组成区域。
本实施例中，在缺陷检测过程中还需对颜色异常进行检测，将颜色进行对比检测，需要将待检测手机套颜色与魔板进行匹配，整个颜色异常检测过程都只是对图像颜色信息进行计算，没无需人眼观察来协同调整的步骤，且考虑到运行速率和节约本地内存的问题，可以选择RGB颜色空间来进行颜色异常检测环节。在三种不同颜色的手机套模板图像上取同样大小的一部分作为颜色模板，将颜色模板上的像素点的RGB值分别对R、G、B 三个颜色的值做平均数并记录作为模板，通过截取区域对比而不是整个手机套RGB值对比。对待检测图像取一块作为训练的窗口再图片标准图像总滑动来寻找相同的进行匹配，然后以此重复直至取完整张待检测图片，先训练好一个合适大小的滑板窗口，在待检测图像汇总进行滑动，从而找出是否存在与魔板匹配的窗口像来确定待测图像有缺陷与否。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种基于图像识别的手机背部破损点检测方法，其特征在于，包括以下步骤：
获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域，其中，将图像像素灰度幅度进行分割，并将图像的灰度分成不同等级，设置灰度阈值以确定手机边框壳的深度图；
截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，提取目标区域特征为对目标分割区域进行需求提取，其中，图像获取为通过设备得到的原始图像，图像分割为通过预设阈值和区域轮廓将目标区域与图像背景分离；
根据已有轮廓线测量并分析结果，对获取到的图像做ROI区域提取得到目标区域特征，进行Blob分析以确定手机的破损点，其中Blob分析是对被提出的目标区域进行特征分析，Blob为图像中具有相似纹理、颜色特征的组成区域。
2.根据权利要求1所述的基于图像识别的手机背部破损点检测方法，其特征在于，提取目标区域特征为对目标分割区域进行需求提取，包括：
采用阈值分割算法确定分割区域，其表达式为：S＝{(c,r)T∈R|hmin≤fc,r≤hmax}，S为阈值分割算法分割出的输出区域，R为被分割出的特征区域，(c,r)是区域R内灰度点的横纵坐标，hmin和hmin为制定阈值区间的上限、下限，fc,r为待分割图像ROI；通过使用threshold算子对图像进行全局高度灰度阈值分割，通过算子min_max_gray的结果数值来设定出最低高度阈值和在矩形区域内深度最大值为最大高度阈值；
通过阈值分割法得到的深度图像进行区域连通性的计算，使用算子connection来计算区域内连接的组件，使用算子area_center来计算各区域的面积，选取最大区域面积，使用reduce_domain算子裁剪区域以去除背景后的边框壳的深度图像。
3.根据权利要求2所述的基于图像识别的手机背部破损点检测方法，其特征在于，还包括：
消除背景后使用算子gen_rectangle生成一个轮廓矩形，以初步提取胶壳胶道ROI区域，该轮廓矩形通过两坐标点法即开始点与结束点来确定大小，其表达式为：
Figure RE-FDA0003574976880000021
ROI_EndRow＝Dy-ROI_StartRow，ROI_EndColumn＝Dx，其中，轮廓矩形在ROI区域的开始点和结束点坐标分别为(ROI_StartColumn，ROI_StartRow)、(ROI_EndColumn，ROI_EndRow)，Dx、Dy深度图像的宽度和长度，Dr为弯角长度，μy为Y方向深度图像的分辨率，确定参数后Dr后使用算子reduce_domain裁剪出初步提取胶壳胶道ROI区域。
4.根据权利要求1所述的基于图像识别的手机背部破损点检测方法，其特征在于，根据已有轮廓线测量并分析结果，对获取到的图像做ROI区域提取得到目标区域特征，包括：
使用ResNet的前两层对预处理后的图片进行特征提取，通过多个卷积神经网络进行特征提取，得到多个大小不同的特征图；
将高层特征依次回溯与低层特征相加，在训练时为预测训练宇哥与候选框相结合的编码向量；
在预测时使用训练所得编码向量解码得到候选预测框，使用非极大值抑制算法筛选出最优的预设框并作为最终结果的生成。
5.根据权利要求4所述的基于图像识别的手机背部破损点检测方法，其特征在于，使用ResNet的前两层对预处理后的图片进行特征提取，包括：
采用BSSD模型检测微小缺陷，获取多个不同尺寸的特征图，回溯层将深层特征依次回溯相加到浅层特征上，以强化浅层特征向量；
输入图像按照预设比例用零进行补充，使用正向卷积对图像进行处理得到扩大后的图像。
6.根据权利要求1所述的基于图像识别的手机背部破损点检测方法，其特征在于，截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，包括：
将初提取的胶壳胶道ROI区域做边缘轮廓的提取，通过在矩形测量区域中，依次等距截取Y方向的高度像素值；
沿X方向从左到右读取每一格像素所对应的值依次计算，对有效的边缘点做点标记，其中，采用Y长度未N个像素，从胶壳胶道ROI区域内的开始点以Y方向N个像素为宽度为一个小矩形测量区域为基准，依次对ROI区域内黑到白这一区间的边缘点进行提取，通过取每个矩形测量区域自左向右计算结果中的最后一个边缘点并进行标记。
7.根据权利要求1所述的基于图像识别的手机背部破损点检测方法，其特征在于，获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域，包括：
当待测手机到达固定位置时相机检测到发出的信号并开始进行图像采集，对采集到的图像进行图像处理得到图片源；
对图片源进行灰度化和二值化得到目标图片，截取出手机壳对应的目标图片以定位出目标区域；
根据目标区域对图像进行双边滤波和表面缺陷检测得到深度图像。
8.根据权利要求7所述的基于图像识别的手机背部破损点检测方法，其特征在于，根据目标区域对图像进行双边滤波和表面缺陷检测得到深度图像，包括：
采用加权平均进行双边滤波，某个点的亮度需要用周围点亮度进行加权平均得到，
Figure RE-FDA0003574976880000031
其中
Figure RE-FDA0003574976880000032
表示归一化系数，
Figure RE-FDA0003574976880000033
表示范围域权重，
Figure RE-FDA0003574976880000034
表示空间域权重；
当处于图像的平整部分时，像素范围域权重趋近于1，空间域权重起到主导作用，当处于图像边缘时，像素变化大且像素范围域权重变大以保存边缘的信息。
9.一种根据权利要求1-8任一项所述的基于图像识别的手机背部破损点检测方法的基于图像识别的手机背部破损点检测系统，其特征在于，包括：
获取模块，用于获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域，其中，将图像像素灰度幅度进行分割，并将图像的灰度分成不同等级，设置灰度阈值以确定手机边框壳的深度图；
分析模块，用于截取已分割区域中所对应坐标的全部像素值，并重构出深度轮廓线，提取目标区域特征为对目标分割区域进行需求提取，其中，图像获取为通过设备得到的原始图像，图像分割为通过预设阈值和区域轮廓将目标区域与图像背景分离；
检测模块，用于根据已有轮廓线测量并分析结果，对获取到的图像做ROI区域提取得到目标区域特征，进行Blob分析以确定手机的破损点，其中Blob分析是对被提出的目标区域进行特征分析，Blob为图像中具有相似纹理、颜色特征的组成区域。
CN202210080728.4A 2022-01-24 2022-01-24 一种基于图像识别的手机背部破损点检测方法及系统 Pending CN114494179A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210080728.4A CN114494179A (zh) 2022-01-24 2022-01-24 一种基于图像识别的手机背部破损点检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210080728.4A CN114494179A (zh) 2022-01-24 2022-01-24 一种基于图像识别的手机背部破损点检测方法及系统

Publications (1)

Publication Number Publication Date
CN114494179A true CN114494179A (zh) 2022-05-13

Family

ID=81473978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210080728.4A Pending CN114494179A (zh) 2022-01-24 2022-01-24 一种基于图像识别的手机背部破损点检测方法及系统

Country Status (1)

Country Link
CN (1) CN114494179A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863258A (zh) * 2022-07-06 2022-08-05 四川迪晟新达类脑智能技术有限公司 海天线场景中基于视角转换检测小目标的方法
CN115147409A (zh) * 2022-08-30 2022-10-04 深圳市欣冠精密技术有限公司 基于机器视觉的手机壳生产品质检测方法
CN116046791A (zh) * 2023-03-30 2023-05-02 深圳市元硕自动化科技有限公司 点胶缺陷检测方法及检测装置
CN116542967A (zh) * 2023-06-29 2023-08-04 厦门微图软件科技有限公司 一种锂电池极柱缺陷的检测方法、装置以及设备
CN117036923A (zh) * 2023-10-08 2023-11-10 广东海洋大学 一种基于机器视觉的水下机器人目标检测方法
CN117237340A (zh) * 2023-11-10 2023-12-15 江西省中鼐科技服务有限公司 一种基于人工智能的手机外壳外观检测方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863258A (zh) * 2022-07-06 2022-08-05 四川迪晟新达类脑智能技术有限公司 海天线场景中基于视角转换检测小目标的方法
CN115147409A (zh) * 2022-08-30 2022-10-04 深圳市欣冠精密技术有限公司 基于机器视觉的手机壳生产品质检测方法
CN116046791A (zh) * 2023-03-30 2023-05-02 深圳市元硕自动化科技有限公司 点胶缺陷检测方法及检测装置
CN116542967A (zh) * 2023-06-29 2023-08-04 厦门微图软件科技有限公司 一种锂电池极柱缺陷的检测方法、装置以及设备
CN116542967B (zh) * 2023-06-29 2023-10-03 厦门微图软件科技有限公司 一种锂电池极柱缺陷的检测方法、装置以及设备
CN117036923A (zh) * 2023-10-08 2023-11-10 广东海洋大学 一种基于机器视觉的水下机器人目标检测方法
CN117036923B (zh) * 2023-10-08 2023-12-08 广东海洋大学 一种基于机器视觉的水下机器人目标检测方法
CN117237340A (zh) * 2023-11-10 2023-12-15 江西省中鼐科技服务有限公司 一种基于人工智能的手机外壳外观检测方法及系统
CN117237340B (zh) * 2023-11-10 2024-01-26 江西省中鼐科技服务有限公司 一种基于人工智能的手机外壳外观检测方法及系统

Similar Documents

Publication Publication Date Title
CN114494179A (zh) 一种基于图像识别的手机背部破损点检测方法及系统
CN113781402B (zh) 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN109377485B (zh) 一种方便面包装缺陷机器视觉检测方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
CN112651968B (zh) 一种基于深度信息的木板形变与凹坑检测方法
CN111179243A (zh) 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统
CN105957059B (zh) 电子元件漏件检测方法和系统
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
Mo et al. Deshadowing of urban airborne imagery based on object-oriented automatic shadow detection and regional matching compensation
CN112734761B (zh) 工业品图像边界轮廓提取方法
CN110210448B (zh) 一种智能人脸皮肤老化程度的识别与评估方法
CN111161222B (zh) 一种基于视觉显著性的印刷辊筒缺陷检测方法
CN114972356B (zh) 塑料制品表面缺陷检测识别方法及系统
CN109540925B (zh) 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法
CN112907519A (zh) 一种基于深度学习的金属曲面缺陷分析系统及方法
CN111415376B (zh) 汽车玻璃亚像素轮廓提取方法及汽车玻璃检测方法
CN114881915A (zh) 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN111738931B (zh) 光伏阵列无人机航拍图像的阴影去除算法
CN114972397A (zh) 一种用于风电叶片复合材料的红外图像缺陷轮廓检测方法
CN116740061A (zh) 一种爆珠生产质量视觉检测方法
CN114627080A (zh) 基于计算机视觉的车辆冲压配件缺陷检测方法
CN110060239A (zh) 一种用于瓶子瓶口的缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination