CN108389181A - 一种基于深度学习和法向图的零件缺陷检测和定位方法 - Google Patents

一种基于深度学习和法向图的零件缺陷检测和定位方法 Download PDF

Info

Publication number
CN108389181A
CN108389181A CN201810063526.2A CN201810063526A CN108389181A CN 108389181 A CN108389181 A CN 108389181A CN 201810063526 A CN201810063526 A CN 201810063526A CN 108389181 A CN108389181 A CN 108389181A
Authority
CN
China
Prior art keywords
image
value
layer
normal direction
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810063526.2A
Other languages
English (en)
Inventor
宋佳
张扬
郭延文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201810063526.2A priority Critical patent/CN108389181A/zh
Publication of CN108389181A publication Critical patent/CN108389181A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习和法向图的零件缺陷检测和定位方法，包括以下步骤：步骤1：采集原始图像并计算得到材质表面法向图；步骤2：对表面法向图进行网格划分；步骤3：用具有不同缺陷的零件划分后的法向图以及正常零件划分后的法向图训练模型；步骤4：采集待检测零件图像并计算材质表面法向图；步骤5：对待检测零件的法向图进行网格划分；步骤6：根据步骤3得到的训练好的模型用步骤5得到的划分后的图像作为输入进行缺陷检测；步骤7：根据步骤6的检测结果以及步骤5的划分结果进行反馈和定位缺陷位置。

Description

一种基于深度学习和法向图的零件缺陷检测和定位方法
技术领域
本发明属于视觉检测技术领域，涉及一种基于深度学习和法向图的零件缺陷检测和定位方法。
背景技术
随着工业的发展，金属零件的需求量和增长量大幅度增长。在工业生产中，对金属零件的加工基本已经全面实现自动化机械生产。在实际应用中，对金属零件的要求往往是非常高的，尤其是在汽车核心部件等精密仪器的要求，往往要求其表面不能有深度或者宽度超过5mm的缺陷。但是，在零件加工过程中，由于本身设备的问题，或者加工过程中的环境因素以及其他因素，不可避免的会出现各种缺陷，比如裂纹、起皮、拉线、划痕、凹坑、凸起、斑点、腐蚀等缺陷，甚至零件偏芯、气孔等严重缺陷。传统零件加工中需要雇佣大量人力来使用人眼的力量检测缺陷，往往浪费大量人力、物力、财力但是缺仍然会有大量漏检。传统的图像处理算法检测零件缺陷又面临着巨大挑战，很难解决这一问题。
随着机器学习算法的发展，尤其是深度学习的发展，越来越多得深度学习模型被用来解决计算机视觉领域的问题，并且表现优异，使得很多传统计算机视觉算法难以解决的问题相继得到了很好的解决，因此，我们尝试利用金属零件的不同缺陷的法向图对深度学习模型进行训练，再利用训练好的模型对金属零件进行检测，并利用GPU(图形处理器)对齐进行优化，以满足工业应用的实时性要求。
发明内容
针对现有技术的不足，本发明提供了一种基于深度学习和法向图的零件缺陷检测和定位方法，从而能够解决传统计算机视觉解决不了的零件缺陷检测问题。
技术方案：本发明公开了一种基于深度学习和法向图的零件缺陷检测和定位方法，其核心在与通过采集零件不同方向光照的照片得到其表面法向信息，并根据表面法向信息来训练深度学习模型，从而达到检测零件缺陷的目的。具体包含以下步骤：
步骤1：采集原始图像并计算得到材质表面法向图；
步骤2：对材质表面法向图进行网格划分，得到划分后的图像；
步骤3：用具有不同缺陷的零件划分后的材质表面法向图以及步骤2划分后的图像训练模型；
步骤4：采集待检测零件图像并计算材质表面法向图；
步骤5：对待检测零件的材质表面法向图进行网格划分；
步骤6：根据步骤3得到的训练好的模型用步骤5得到的划分后的图像作为输入进行缺陷检测；
步骤7：根据步骤6的检测结果以及步骤5的划分结果进行反馈和定位缺陷位置。
步骤1中对原始图像的采集，采集的环境还包括不同角度入射光源拍照得到的结果，不同角度的入射光源包含上、下，以及前、后、左、右等不同角度入射光。然后根据这这些图像计算得到金属零件的表面法向图，步骤1具体包括如下步骤：
步骤1-1，制备或购买遮光箱，遮光箱将遮光箱内侧涂上亚光材料；遮光箱顶端中心处固定相机，在遮光箱底部设置平台，用于放置待拍摄零件；在遮光箱内部设置灯光组，灯光组包括：顶部灯光组，设置在相机镜头下方3cm处；底部灯光组，设置在遮光箱底部，包括四条LED(发光二极管)灯带，在平台下侧；四周灯光组，设置在平台上侧20cm处，并与遮光箱内侧四周与底部夹角呈45°，四周灯光组根据灯光打亮时拍摄图片亮度范围分别命名为东部灯组、南部灯组、西部灯组和北部灯组；在所有灯组上放置滤光膜，以形成方向光源。平台上不放置任何物体，打开顶部灯光组，相机进行拍摄，拍摄图片存储为Top；
步骤1-2，打开东部灯组，相机进行拍摄，拍摄图片存储为East；
步骤1-3，打开西部灯组，相机进行拍摄，拍摄图片存储为West；
步骤1-4，打开北部灯组，相机进行拍摄，拍摄图片存储为North；
步骤1-5，打开南部灯组，相机进行拍摄，拍摄图片存储为South。
步骤1-6，将材质样本平整的放置于半透明平台(匀光板)中央部分，在相机镜头上放置滤光镜，依次打开顶部灯组，东部灯组，西部灯组，北部灯组，南部灯组以及底部灯组，并打开相机进行拍摄，将拍摄的图片依次存储为Image_T1，Image_E1，Image_W1，Image_N1，Image_S1和Image_B1，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F1；
步骤1-7，取下相机镜头上放置的滤光镜，依次打开顶部灯组，东部灯组，西部灯组，北部灯组以及南部灯组，并打开相机进行拍摄，将拍摄的图片依次存储为Image_T2，Image_E2，Image_W2，Image_N2和Image_S2，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F2。
步骤1-8，将拍摄图片North，South，West，East和Top转换为单通道浮点亮度图，分别记为NorthL，SouthL，WestL，EastL和TopL，对于三通道的图片Img，设其三通道为Ir，Ig，Ib，分别代表红，绿，蓝三通道，最后得到的单通道亮度记为ImgL，则：
ImgL＝(Max(Ir，Ig，Ib)+Min(Ir，Ig，Ib))/(2.0*255.0)
其中Max表示取三者中最大值，Min表示取三者中最小值；
步骤1-9，计算(TopL-NorthL)<0的所有像素的平均值的绝对值，记为AvgN；计算(TopL-SouthL)<0的所有像素的平均值的绝对值，记为AvgS；计算(TopL-WestL)<0的所有像素的平均值的绝对值，记为AvgW；计算(TopL-EastL)<0的所有像素的平均值的绝对值，记为AvgE；
步骤1-10，计算(TopL-NorthL)+AvgN的值，即得到北部方向补偿信息，存储为ImageAdjust_N；
计算(topL-SouthL)+AvgS的值，即得到南部方向补偿信息，存储为ImageAdjust_S；
计算(topL-WestL)+AvgW的值，即得到西部方向补偿信息，存储为ImageAdjust_W；
计算(topL-EastL)+AvgE的值，即得到东部方向补偿信息，存储为ImageAdjust_E；
步骤1-11，将图片Image_N1，Image_S1，Image_W1，Image_E1，Image_T1都转换为单通道浮点亮度值，以图片的格式保存，分别记为Image_NL1，Image_SL1，Image_WL1，Image_EL1，Image_TL1；
步骤1-12，使用参数α对Image_NL1，Image_SL1，Image_WL1和Image_EL1进行修正，公式如下：
Image_NLN1＝Image_NL1_Data+ImageAdjust_N*α-Image_TL1，
Image_SLN1＝Image_SL1_Data+ImageAdjust_S*α-Image_TL1，
Image_WLN1＝Image_WL1_Data+ImageAdjust_W*α-Image_TL1，
Image_ELN1＝Image_EL1_Data+ImageAdjust_E*α-Image_TL1；
其中Image_NL1_Data表示Image_NL1的像素值，Image_SL1_Data表示Image_SL1的像素值，Image_WL1_Data表示Image_WL1的像素值，Image_EL1_Data表示Image_EL1的像素值，Image_NLN1、Image_SLN1、Image_WLN1、Image_ELN1为得到的修正结果，以图像的形式存储并参与后续的计算；
步骤1-13，新建两个三通道的图像NorthWest和SouthEast，将Image_WLN1的值作为NorthWest的R通道的值，Image_NLN1的值作为NorthWest的G通道的值，并将NorthWest图像色阶调整到0.5～0，将Image_ELN1的值作为SouthEast的R通道的值，Image_SLN1的值作为SouthEast的G通道的值，并将图像SouthEast的色阶调整到0.5～1.0，然后将NorthWest和SouthEast两张图片以叠加的方式进行混合得到图片Temp1，R通道、G通道、B通道分别表示红通道、绿通道、蓝通道；
假设图像的像素值为p，将色阶调整到A～B的计算方式为：
Pnew＝P*(B-A)+A，
Pnew表示调整后像素值；
叠加方式图像混合方式计算方法为：
Temp1＝2*NorthWest*SouthEast；
Temp1为计算得到的结果，以图片的格式保存并将参与后续计算。
步骤1-14，对图像Temp1进行去褶皱处理：使用高斯滤波对图像Temp1的R通道和G通道分别进行高斯滤波，高斯函数如下：
该高斯函数表示大小为(2k+1)*(2k+1)的高斯卷积核，Gxy表示高斯核在点(x,y)位置处高斯函数值，σ为方差，参数k的值用于确定核矩阵的维数，k取值200个像素值，σ的计算方式为：
根据σ计算出高斯核矩阵的每个像素的权值，对图像Temp1中每个像素进行如下计算：以该像素自身为中心乘以这个核矩阵的值作为该像素新的值，从而得到平滑后的图像，记为Smooth1；
步骤1-15，通过图像Temp1与Smooth1计算出使用滤光膜的一组图片的法向信息Shape1，公式如下：
Shape1＝Temp1-Smooth1+127；
步骤1-16，将图片Image_N2，Image_S2，Image_W2，Image_E2，Image_T2，使用步骤1-11～步骤1-15的方法，得到不使用滤光膜的一组图片的法向信息，记为Shape2，将Shape1与Shape2通过如下公式进行融合得到最终材质表面法向信息Shape：
Shape＝(Shape1+Shape2)*0.5；
步骤1-17，计算材质表面法向信息：由于Shape图像的R通道和B通道已知，而材质表面法向即通过归一化Shape图像的RGB三通道得到，因此假设R通道的像素值为r，G通道的像素值为g，则B通道的像素值b的计算公式如下：
将B通道像素值从[0,1]转到[0,255]即得到最终的材质表面法向图。
步骤2中的网格划分是为了满足深度学习模型数据量的要求，并将原始数据分割成不同的小块，对每一小块进行训练和识别，从而提高识别的准确性。划分的方式为：选定步长s将采集的原始图像分割为n*n大小的正方形图像，s和n取正整数，并且小于图片的长和宽的大小。
步骤3包括如下步骤：
步骤3-1，构造VGG16深度学习模型；
步骤3-2，初始化VGG16模型(引用文献：Simonyan,K.&Zisserman,A.Very deepconvolutional networks for large-scale image recognition.InProc.InternationalConferenceonLearningRepresentations,http://arxiv.org/abs/1409.1556(2014).)；可以使用随机化生成参数的方式，或者使用已有训练模型的参数(比如已经使用ImageNet数据库(目前使用比较广泛图像识别数据库)训练后得到的参数)进行初始化，实验证明后者会更快收敛并且效果更好；
步骤3-3，用步骤2中划分后的正方形图像数据对VGG16模型进行训练，并保存训练好的模型。训练所使用到的技术是常用的神经网络训练方法，包括前向传播、反向传播等方法，使用主流都深度学习框架都可以直接使用这些技术对模型进行训练，并保存训练后的参数，不需要额外操作。
步骤3-1中深度学习模型采用VGG16，具体包括：构造VGG16模型，VGG16模型包含卷积层13层，池化层5层，全连接层3层以及softmax分类层1层，softmax层是神经网层的一种，一般用来分类。
具体结构为，输入为大小为224*224*3的图像，窗口大小为(227,227)，在训练的时候会随机选择中间的(224*224)作为输入。接下来第1层、第2层为卷积层，卷积核的大小都是3*3，并且每层卷积核的数量都是64个，第3层为池化层，采用的池化操作是最大化池化，第4层、第5层为卷积层，卷积核的大小为3*3，并且每层卷积核的数量都是128，第6层为最大值池化层，第7、8、9层为卷积层，卷积核的大小为3*3，并且每层卷积核的数量为256，第10层为最大池化层，第11、12和13层为卷积层，卷积核的大小都为3*3，并且每层的卷积核数量都为512个，第14层为最大值池化层；第15、16和17层为卷积层，卷积核的大小都为3*3，并且每层的卷积核数量都为512个；第18层为最大值池化层；第19，20和21层为全连接层，其中第19，20全连接层有4096个神经节点，第21全连接层有1000个神经节点；第22层为softmax分类层。
卷积层用于提取图像的高层特征，最大值池化层的输入一般来源于上一个卷积层，主要作用是提供了很强的鲁棒性，取一小块区域中的最大值，此时若此区域中的其他值略有变化，或者图像稍有平移，池化后的结果仍不变，并且减少了参数的数量，防止过拟合现象的发生，池化层一般没有参数，所以反向传播的时候，只需对输入参数求导，不需要进行权值更新；而softmax层主要用于分类，针对金属零件直接分为有缺陷的负类以及没有缺陷的正类进行训练。
步骤4中，采用步骤1中采集原始图像和计算材质表面法向图的方法采集待检测零件图像并计算其材质表面法向图。
步骤5中，采用步骤2中的方法对法向图做网格划分，对待检测零件表面法向图进行网格划分的时候，每一个划分出来的图像会根据网格所在位置对应一个编号，编号从1开始，向上增长，每一个划分出来的图像最终都能在图像中定位。
步骤6中，将步骤5中得到的带有编号的划分图像作为输入，使用步骤3中训练好的模型对输入进行检测，判断输入图片是否包含缺陷。
步骤7包括：根据步骤6得到检测结果进行处理，如果检测出缺陷，则根据步骤5中划分时对其作的编号可以在原零件中得到缺陷位置，并做出反馈或相应操作(如警报)。
有益效果
本发明提供的一种基于深度学习和法向图的零件缺陷检测和定位的方法有益效果在于：
1)本基于深度学习的金属零件表面缺陷检测的方法，通过使用金属零件不同缺陷表面法向图训练深度学习算法，然后利用训练好的深度学习算法检测识别出金属零件的缺陷并标注出缺陷位置，解决了传统计算机视觉算法无法解决的问题。
2)本基于深度学习的金属零件表面缺陷检测的方法首次引入了根据不同角度的入射光得到其法向图并根据其得到的方向图当做深度学习模型的输入来训练模型，大大提高了模型的识别准确率。
3)本基于深度学习的金属零件表面缺陷检测的方法提出了对金属零件利用滑动窗口分块作为输入的方法不仅提高了其检测精确度，而且可以提供缺陷的定位，大大提高了应用场景的普适性，及其方便复检。
4)本基于深度学习的金属零件表面缺陷检测的方法通过图像采集模块、数据存储模块、缺陷检测模块、数据存储模块的协同工作，不仅精度极高，而且适用性广泛，鲁棒性好，以及其方便的人机交互模式，非常有利于应用于各种场景中。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为基于深度学习的金属零件表面缺陷检测的方法的流程图。
图2为计算得到的法向图。
图3为本发明对金属零件的窗口划分示意图。
图4为本发明中使用的神经网络的结果示意图。
图5为本发明最终检测缺陷确定位置的结果图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
下面将结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，在不同的实施例中，不仅可以采用法向图作为输入，也可以采用源图像作为输入，同时深度学习模型，可以根据需要检测的零件大小以及复杂度来选择不同的模型，例如对模型较小复杂度较低的模型可以选择VGG16模型，对复杂度较高的可以选择残差网络。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。
实施例1
参照图1所示，一种基于深度学习和法向图的零件缺陷检测和定位的方法，具体包括如下步骤：
步骤1：采集原始图像并计算法向图。
步骤2：对图像进行网格划分。
步骤3：选择不同的缺陷图像以及正常零件图像对模型进行训练。
步骤4：采集待检测零件表面信息并计算法向图。
步骤5：对图像进行网格划分。
步骤6：根据训练好的模型对其进行缺陷检测。
步骤7：根据检测结果进行反馈和定位缺陷位置。
其中步骤1：原始图像的采集并计算法向图。
为了更好地的得到法向图，本实施例中制备了专门的遮光箱箱并搭配了不同方向的光源。遮光箱内侧涂上了黑色亚光材料，为了防止遮光箱内部灯带在摄图像时遮光箱内壁反射光线所造成的图像质量问题。遮光箱顶端中心处固定相机，在遮光箱底部设置平台，用于放置待拍摄物体。
在遮光箱内部设置灯光组。包括：顶部灯光组，设置在机镜头下方3cm处，包括四条LED灯带；底部灯光组，设置在遮光箱底部，包括四条LED灯带，在平台下侧。四周灯光组，设置在平台上侧20cm处，遮光箱内侧四周与底部夹角呈45°，根据灯光打亮时拍摄图片亮度范围分别命名为东部灯组，南部灯组，西部灯组，北部灯组。其中东部灯组拍摄出来的图片右半部分亮，西部灯组拍摄出来的图片左半部分亮，南部灯组拍摄出来的图片下半部分亮，北部灯组拍摄出来的图片上半部分亮。在所有灯组上放着滤光膜。以形成方向光源。
步骤1-1，平台上什么都不放，打开顶部灯组，相机进行拍摄，存储为Top；
步骤1-2，打开东部灯组，相机进行拍摄，存储为East；
步骤1-3，打开西部灯组，相机进行拍摄，存储为West；
步骤1-4，打开北部灯组，相机进行拍摄，存储为North；
步骤1-5，打开南部灯组，相机进行拍摄，存储为South；
步骤1-6，将材质样本平整的放置于半透明平台中央部分(由于遮光箱内侧四周的灯带与平台平面呈45度角，离LED灯带越近亮度越大，越远亮度越低，为了得到光线质量更好的图像，最好将材质放置于平台中央，这里的平台材质为匀光板，所以是半透明平台)，在相机镜头上放置滤光镜，这里使用滤光镜是为了滤除拍摄图像的高光信息，依次打开顶部灯组，东部灯组，西部灯组，北部灯组，南部灯组以及底部灯组，打开相机进行拍摄，将拍摄的图片依次存储为Image_T1，Image_E1，Image_W1，Image_N1，Image_S1，Image_B1，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F1；
步骤1-7，取下相机镜头上放置滤光镜，依次打开顶部灯组，东部灯组，西部灯组，北部灯组以及南部灯组，并打开相机进行拍摄，将拍摄的图片依次存储为Image_T2，Image_E2，Image_W2，Image_N2和Image_S2，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F2。
步骤1-8，将拍摄图片North，South，West，East，Top转换为单通道浮点亮度图，分别记为NorthL，SouthL，WestL，EastL，TopL。对于三通道的图片Img来说，设其三通道为Ir，Ig，Ib代表红，绿，蓝三通道，最后得到的单通道亮度记为ImgL，则
ImgL＝(Max(Ir，Ig，Ib)+Min(Ir，Ig，Ib))/(2.0*255.0)，
其中Max表示取三者中最大值，Min表示取三者中最小值。
步骤1-9，计算(TopL-NorthL)<0的所有像素的平均值的绝对值，记为AvgN；计算(TopL-SouthL)<0的所有像素的平均值的绝对值，记为AvgS；计算(TopL-WestL)<0的所有像素的平均值的绝对值，记为AvgW；计算(TopL-EastL)<0的所有像素的平均值的绝对值，记为AvgE；这里主要是防止Top较其他方向相比出现负数影响之后对于材质的光照补偿。采用平均值的原因也是为了防止出现补偿过度。
步骤1-10，计算(TopL-NorthL)+AvgN的值，得到北部方向补偿信息，存储为ImageAdjust_N；
计算(topL-SouthL)+AvgS的值，得到南部方向补偿信息，存储为ImageAdjust_S；
计算(topL-WestL)+AvgW的值，得到西部方向补偿信息，存储为ImageAdjust_W；
计算(topL-EastL)+AvgE的值，得到东部方向补偿信息，存储为ImageAdjust_E；
步骤1-11，将图片Image_N1，Image_S1，Image_W1，Image_E1，Image_T1都转换为单通道浮点亮度图，分别记为Image_NL1，Image_SL1，Image_WL1，Image_EL1，Image_TL1。
步骤1-12，光线补偿以及去除颜色影响，由于不同颜色对于光线的反应情况不同，因此要去除颜色对于亮度的影响，因此在进行光线补偿以及去除颜色时使用参数α对Image_NL1，Image_SL1，Image_WL1和Image_EL1进行修正，公式如下：
Image_NLN1＝Image_NL1_Data+ImageAdjust_N*α-Image_TL1，
Image_SLN1＝Image_SL1_Data+ImageAdjust_S*α-Image_TL1，
Image_WLN1＝Image_WL1_Data+ImageAdjust_W*α-Image_TL1，
Image_ELN1＝Image_EL1_Data+ImageAdjust_E*α-Image_TL1。
其中Image_NL1_Data表示Image_NL1的像素值，Image_SL1_Data表示Image_SL1的像素值，Image_WL1_Data表示Image_WL1的像素值，Image_EL1_Data表示Image_EL1的像素值，Image_NLN1、Image_SLN1、Image_WLN1、Image_ELN1为得到的修正结果。
步骤1-13，新建两个三通道的图像NorthWest和SouthEast，将Image_WLN1作为NorthWest的R通道，Image_NLN1作为NorthWest的G通道，并将NorthWest图像色阶调整到0.5—0，将Image_ELN1作为SouthEast的R通道，Image_SLN1作为SouthEast的G通道，并将图像SouthEast的色阶调整到0.5—1.0。然后将NorthWest和SouthEast两张图片以叠加的方式进行混合得到图像Temp1(R通道、G通道、B通道分别表示红通道、绿通道、蓝通道)。
假设图像的像素值为p，将色阶调整到A—B的计算方式为：
Pnew＝P*(B-A)+A；
Pnew表示调整后像素值；
叠加方式图像混合方式计算方法为：
Temp1＝2*NorthWest*SouthEast。
Temp1用来保存得到的结果，以图片的形式存储并参与后续计算。
步骤1-14，对图像Temp1进行去褶皱处理。使用高斯滤波对Temp1的R通道和G通道分别进行高斯滤波，高斯滤波器一般是使用一个高斯核的二维卷积算子来进行图像平滑。高斯滤波的思路就是：对高斯函数进行离散化，以离散点上的高斯函数值为权值，对我们采集到的灰度矩阵的每个像素点做一定范围邻域内的加权平均，这里使用的高斯函数如下：
该高斯函数表示大小为(2k+1)*(2k+1)大小的高斯卷积核，Gxy表示高斯核在点(x,y)位置处高斯函数值，σ为方差，k的值用于确定核矩阵的维数。σ的计算方式为：
这里k取值200个像素值，根据σ计算出高斯核矩阵的每个像素的权值，对图像Temp1中每个像素进行如下计算：以该像素自身为中心乘以这个核矩阵的值作为该像素新的值，从而得到平滑后的图像，记为Smooth1。
步骤1-15，通过Temp1与Smooth1计算出使用滤光膜的一组图片的法向信息Shape1的R通道和G通道，方式如下：
Shape1＝Temp1-Smooth1+127；
步骤1-16，将图片Image_N2，Image_S2，Image_W2，Image_E2，Image_T2，使用步骤1-11～步骤1-15的方法，得到不使用滤光膜的一组图像的法向信息记为Shape2(即先将图片Image_N2，Image_S2，Image_W2，Image_E2，Image_T2转换为单通道浮点亮度图，分别记为Image_NL2，Image_SL2，Image_WL2，Image_EL2，Image_TL2；再使用参数α对它们进行调整，得到的调整后的像素值分别记为Image_NLN2，Image_SLN2，Image_WLN2，Image_ELN2，Image_TLN2，新建两个三通道图像NorthWest1和SouthEast1，Image_WLN2的值作为NorthWest1的R通道的值，Image_NLN2的值作为NorthWest1的G通道的值，并将NorthWest1图像色阶调整到0.5—0，将Image_ELN2的值作为SouthEast1的R通道的值，Image_SLN2的值作为SouthEast1的G通道的值，并将图像SouthEast1的色阶调整到0.5—1.0，然后将NorthWest1和SouthEast1两张图片以叠加的方式进行混合得到图像Temp2，对图像Temp2进行去褶皱处理，得到平滑后的图像，记为Smooth2，通过图像Temp2与Smooth2计算出不使用滤光膜的一组图片的法向信息Shape2)，将Shape1与Shape2进行融合得到最终材质表面法向信息，记为Shape：
Shape＝(Shape1+Shape2)*0.5；
步骤1-17，计算材质表面法向信息。由于Shape图像的R通道和B通道已知，而材质表面法向即可以通过归一化Shape图像的RGB三通道得到，因此假设R通道的像素值为r，G通道的像素值为g，则B通道的像素值b的计算公式如下：
最后将B通道像素值从[0,1]转到[0,255]即得到最终的材质表面法向。如附图图2所示为最终计算的法向图。
步骤2：对图像进行网格划分。
在对图像进行网格划分的过程中，本次实例选择的步长s为(150，150)，划分的窗口大小n*n也为(227,227)，图3为窗口划分示意图，每一个划分出来的图像会根据网格所在位置对应一个编号，编号从1开始，向上增长，每一个划分出来的图像最终都能在图像中定位。
步骤3：选择不同的缺陷图像以及正常零件图像对模型进行训练。
如图4所示的网络结构图，本VGG16网络包含卷积层13层，池化层5层，全连接层3层以及softmax分类层1层。图4所示中上面的三个数字叉乘表示的每一层网络的输出的数据格式的矩阵形式，最左面一层下面标注着1表示第一层，最右面标注着22表示第22层也就是最后一层。具体结构可以看到图4中最左边为输入图片，大小为224*224*3，上一步骤中对法向图的窗口大小为(227,227)，在训练的时候会随机选择中间的(224*224)作为输入。接下来第1层、第2层为卷积层，卷积核的大小都是3*3，并且每层卷积核的数量都是64个，第3层为池化层，采用的池化操作是最大化池化，第4层、第5层为卷积层，卷积核的大小为3*3，并且每层卷积核的数量都是128，第6层为最大值池化层，第7、8、9层为卷积层，卷积核的大小为3*3，并且每层卷积核的数量为256，第10层为最大池化层，第11、12和13层为卷积层，卷积核的大小都为3*3，并且每层的卷积核数量都为512个，第14层为最大值池化层；第15、16和17层为卷积层，卷积核的大小都为3*3，并且每层的卷积核数量都为512个；第18层为最大值池化层；第19，20和21层为全连接层，其中第19，20全连接层有4096个神经节点，第21全连接层有1000个神经节点；第22层为softmax分类层。
卷积层用于提取图像的高层特征，最大值池化层的输入一般来源于上一个卷积层，主要作用是提供了很强的鲁棒性，取一小块区域中的最大值，此时若此区域中的其他值略有变化，或者图像稍有平移，池化后的结果仍不变，并且减少了参数的数量，防止过拟合现象的发生，池化层一般没有参数，所以反向传播的时候，只需对输入参数求导，不需要进行权值更新；而softmax层主要用于分类，针对金属零件本实施例直接分为有缺陷的负类以及没有缺陷的正类进行训练。
步骤4中对待检测零件的表面信息采集以及计算法向的方法同步骤一一样，在这里不在具体描述。
步骤5中，采用步骤2中的方法对法向图做网格划分，对待检测零件表面法向图进行网格划分的时候，每一个划分出来的图像会根据网格所在位置对应一个编号，编号从1开始，向上增长，每一个划分出来的图像最终都能在图像中定位。
步骤6中，将步骤5中得到的带有编号的划分图像作为输入，使用步骤3中训练好的模型对输入进行检测，判断输入图片是否包含缺陷。
步骤7中，根据步骤6中对所有输入的网格划分后的图片检测结果，如果检测出缺陷，则根据步骤5中划分是对其作的编号可以在原零件中得到缺陷位置，并做出反馈或相应操作(如警报)。附图图5为缺陷定位图，正方形的网格就是我们用来划分法向图之后的分割线，数字对应了给每一个网格划分窗口图的编号。
本发明提供了一种基于深度学习和法向图的零件缺陷检测和定位方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于深度学习和法向图的零件缺陷检测和定位方法，其特征在于，包括以下步骤：
步骤1：采集原始图像并计算得到材质表面法向图；
步骤2：对材质表面法向图进行网格划分，得到划分后的图像；
步骤3：用具有不同缺陷的零件划分后的材质表面法向图以及步骤2划分后的图像训练模型；
步骤4：采集待检测零件图像并计算材质表面法向图；
步骤5：对待检测零件的材质表面法向图进行网格划分；
步骤6：根据步骤3得到的训练好的模型用步骤5得到的划分后的图像作为输入进行缺陷检测；
步骤7：根据步骤6的检测结果以及步骤5的划分结果进行反馈和定位缺陷位置。
2.如权利要求1所述的方法，其特征在于，步骤1包括如下步骤：
步骤1-1，在遮光箱内侧涂上亚光材料，遮光箱顶端中心处固定相机，在遮光箱底部设置平台，用于放置待拍摄零件；在遮光箱内部设置灯光组，灯光组包括：顶部灯光组，设置在相机镜头下方3cm处；底部灯光组，设置在遮光箱底部，包括四条LED灯带，在平台下侧；四周灯光组，设置在平台上侧20cm处，并与遮光箱内侧四周与底部夹角呈45°，四周灯光组根据灯光打亮时拍摄图片亮度范围分别命名为东部灯组、南部灯组、西部灯组和北部灯组；在所有灯组上放置滤光膜，以形成方向光源；平台上不放置任何物体，打开顶部灯光组，相机进行拍摄，拍摄图片存储为Top；
步骤1-2，打开东部灯组，相机进行拍摄，拍摄图片存储为East；
步骤1-3，打开西部灯组，相机进行拍摄，拍摄图片存储为West；
步骤1-4，打开北部灯组，相机进行拍摄，拍摄图片存储为North；
步骤1-5，打开南部灯组，相机进行拍摄，拍摄图片存储为South；
步骤1-6，将材质样本平整的放置于半透明平台中央部分，在相机镜头上放置滤光镜，依次打开顶部灯组，东部灯组，西部灯组，北部灯组，南部灯组以及底部灯组，并打开相机进行拍摄，将拍摄的图片依次存储为Image_T1，Image_E1，Image_W1，Image_N1，Image_S1和Image_B1，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F1；
步骤1-7，取下相机镜头上放置的滤光镜，依次打开顶部灯组，东部灯组，西部灯组，北部灯组以及南部灯组，并打开相机进行拍摄，将拍摄的图片依次存储为Image_T2，Image_E2，Image_W2，Image_N2和Image_S2，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F2；
步骤1-8，将拍摄图片North，South，West，East和Top转换为单通道浮点亮度图，分别记为NorthL，SouthL，WestL，EastL和TopL；
步骤1-9，计算(TopL-NorthL)<0的所有像素的平均值的绝对值，记为AvgN；计算(TopL-SouthL)<0的所有像素的平均值的绝对值，记为AvgS；计算(TopL-WestL)<0的所有像素的平均值的绝对值，记为AvgW；计算(TopL-EastL)<0的所有像素的平均值的绝对值，记为AvgE；
步骤1-10，计算(TopL-NorthL)+AvgN的值，即得到北部方向补偿信息，存储为ImageAdjust_N；
计算(topL-SouthL)+AvgS的值，即得到南部方向补偿信息，存储为ImageAdjust_S；
计算(topL-WestL)+AvgW的值，即得到西部方向补偿信息，存储为ImageAdjust_W；
计算(topL-EastL)+AvgE的值，即得到东部方向补偿信息，存储为ImageAdjust_E；
步骤1-11，将图片Image_N1，Image_S1，Image_W1，Image_E1，Image_T1都转换为单通道浮点亮度值，以图片的格式保存，分别记为Image_NL1，Image_SL1，Image_WL1，Image_EL1，Image_TL1；
步骤1-12，使用参数α对Image_NL1，Image_SL1，Image_WL1和Image_EL1进行修正，公式如下：
Image_NLN1＝Image_NL1_Data+ImageAdjust_N*α-Image_TL1，
Image_SLN1＝Image_SL1_Data+ImageAdjust_S*α-Image_TL1，
Image_WLN1＝Image_WL1_Data+ImageAdjust_W*α-Image_TL1，
Image_ELN1＝Image_EL1_Data+ImageAdjust_E*α-Image_TL1；
其中Image_NL1_Data表示Image_NL1的像素值，Image_SL1_Data表示Image_SL1的像素值，Image_WL1_Data表示Image_WL1的像素值，Image_EL1_Data表示Image_EL1的像素值，Image_NLN1、Image_SLN1、Image_WLN1、Image_ELN1为得到的修正结果；
步骤1-13，新建两个三通道的图像NorthWest和SouthEast，将Image_WLN1的值作为NorthWest的R通道的值，Image_NLN1的值作为NorthWest的G通道的值，并将NorthWest图像色阶调整到0.5～0，将Image_ELN1的值作为SouthEast的R通道的值，Image_SLN1的值作为SouthEast的G通道的值，并将图像SouthEast的色阶调整到0.5～1.0，然后将NorthWest和SouthEast两张图片以叠加的方式进行混合得到图片Temp1，R通道、G通道、B通道分别表示红通道、绿通道、蓝通道；
假设图像的像素值为p，将色阶调整到A～B的计算方式为：
Pnew＝P*(B-A)+A，
Pnew表示调整后像素值；
叠加方式图像混合方式计算方法为：
Temp1＝2*NorthWest*SouthEast；
Temp1为计算得到的结果，以图片的格式保存；
步骤1-14，对图像Temp1进行去褶皱处理：使用高斯滤波对图像Temp1的R通道和G通道分别进行高斯滤波，高斯函数如下：
该高斯函数表示大小为(2k+1)*(2k+1)的高斯卷积核，Gxy表示高斯核在点(x,y)位置处高斯函数值，σ为方差，参数k的值用于确定核矩阵的维数，σ的计算方式为：
根据σ计算出高斯核矩阵的每个像素的权值，对图像Temp1中每个像素进行如下计算：以该像素自身为中心乘以这个核矩阵的值作为该像素新的值，从而得到平滑后的图像，记为Smooth1；
步骤1-15，通过图像Temp1与Smooth1计算出使用滤光膜的一组图片的法向信息Shape1，公式如下：
Shape1＝Temp1-Smooth1+127；
步骤1-16，将图片Image_N2，Image_S2，Image_W2，Image_E2，Image_T2，使用步骤1-11～步骤1-15的方法，得到不使用滤光膜的一组图片的法向信息，记为Shape2，将Shape1与Shape2通过如下公式进行融合得到最终材质表面法向信息Shape：
Shape＝(Shape1+Shape2)*0.5；
步骤1-17，计算材质表面法向信息：Shape图像的R通道和B通道已知，而材质表面法向即通过归一化Shape图像的RGB三通道得到，假设R通道的像素值为r，G通道的像素值为g，则B通道的像素值b的计算公式如下：
将B通道像素值从[0,1]转到[0,255]即得到最终的材质表面法向图。
3.根据权利要求2所述的方法，其特征在于，步骤1-8和步骤1-11中，将拍摄图片转换为单通道浮点亮度图的方法如下：
对于三通道的图片Img，设其三通道为Ir，Ig，Ib，分别代表红，绿，蓝三通道，最后得到的单通道亮度记为ImgL，计算公式如下：
ImgL＝(Max(Ir，Ig，Ib)+Min(Ir，Ig，Ib))/(2.0*255.0)，
其中Max表示取三者中最大值，Min表示取三者中最小值。
4.根据权利要求3所述的方法，其特征在于，步骤2包括：选定步长s将采集的原始图像分割为n*n大小的正方形图像。
5.根据权利要求4所述的方法，其特征在于，步骤3包括如下步骤：
步骤3-1，构造VGG16模型；
步骤3-2，初始化VGG16模型；使用随机化生成参数的方式，或者使用已有训练模型的参数进行初始化；
步骤3-3，用步骤2中划分后的正方形图像数据对VGG16模型进行训练，并保存训练好的模型。
6.根据权利要求5所述的方法，其特征在于，步骤3-1包括：
构造VGG16模型，VGG16模型包含卷积层13层，池化层5层，全连接层3层以及softmax分类层1层，具体结构为：输入为大小为224*224*3的图像，窗口大小为(227,227)，在训练的时候会随机选择中间的(224*224)作为输入；第1层、第2层为卷积层，卷积核的大小都是3*3，并且每层卷积核的数量都是64个，第3层为池化层，采用的池化操作是最大化池化，第4层、第5层为卷积层，卷积核的大小为3*3，并且每层卷积核的数量都是128，第6层为最大值池化层，第7、8、9层为卷积层，卷积核的大小为3*3，并且每层卷积核的数量为256，第10层为最大池化层，第11、12和13层为卷积层，卷积核的大小都为3*3，并且每层的卷积核数量都为512个，第14层为最大值池化层；第15、16和17层为卷积层，卷积核的大小都为3*3，并且每层的卷积核数量都为512个；第18层为最大值池化层；第19，20和21层为全连接层，其中第19，20全连接层有4096个神经节点，第21全连接层有1000个神经节点；第22层为softmax分类层。
7.根据权利要求6所述方法，其特征在于，步骤4中，采用步骤1中采集原始图像和计算材质表面法向图的方法采集待检测零件图像并计算其材质表面法向图。
8.根据权利要求7所述方法，其特征在于，步骤5中，对待检测零件表面法向图进行网格划分的时候，每一个划分出来的图像会根据网格所在位置对应一个编号，编号从1开始，向上增长，每一个划分出来的图像最终都能在图像中定位。
9.根据权利要求8所述方法，其特征在于，步骤6中，将步骤5中得到的带有编号的划分图像作为输入，使用步骤3中训练好的模型对输入进行检测，判断输入图片是否包含缺陷。
10.根据权利要求9所述方法，其特征在于，步骤7包括：根据步骤6得到检测结果进行处理，如果检测出缺陷，则根据步骤5中划分时对其作的编号在原零件中得到缺陷位置，并做出反馈。
CN201810063526.2A 2018-01-23 2018-01-23 一种基于深度学习和法向图的零件缺陷检测和定位方法 Pending CN108389181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810063526.2A CN108389181A (zh) 2018-01-23 2018-01-23 一种基于深度学习和法向图的零件缺陷检测和定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810063526.2A CN108389181A (zh) 2018-01-23 2018-01-23 一种基于深度学习和法向图的零件缺陷检测和定位方法

Publications (1)

Publication Number Publication Date
CN108389181A true CN108389181A (zh) 2018-08-10

Family

ID=63077298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810063526.2A Pending CN108389181A (zh) 2018-01-23 2018-01-23 一种基于深度学习和法向图的零件缺陷检测和定位方法

Country Status (1)

Country Link
CN (1) CN108389181A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636789A (zh) * 2018-12-13 2019-04-16 银河水滴科技（北京）有限公司 基于图像分割的轨道扣件的零件缺失检测方法及装置
CN109829496A (zh) * 2019-01-30 2019-05-31 广州市载道信息科技有限公司 一种物理测量分类方法及设备
CN109829903A (zh) * 2019-01-28 2019-05-31 合肥工业大学 一种基于卷积去噪自编码器的芯片表面缺陷检测方法
CN109829907A (zh) * 2019-01-31 2019-05-31 浙江工业大学 一种基于深度学习的金属轴表面缺陷识别方法
CN111076667A (zh) * 2019-12-23 2020-04-28 长春工程学院 一种金属表面划痕动态快速测量方法
CN112037205A (zh) * 2020-09-01 2020-12-04 湖北微特传感物联研究院有限公司 一种基于深度学习的起重机裂纹检测方法
CN112348793A (zh) * 2020-11-05 2021-02-09 中国电子科技集团公司第二十九研究所 一种自动识别并计算天线方向图凹坑的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081045A (zh) * 2010-03-24 2011-06-01 上海海事大学 一种基于激光电视全息技术的结构损伤识别方法
CN106290152A (zh) * 2016-08-29 2017-01-04 北京星航机电装备有限公司 一种用于复合材料复杂型面粘接质量的原位检测方法
CN107146264A (zh) * 2017-04-28 2017-09-08 南京大学 一种提取材质表面几何和光照物理属性的方法
CN107392896A (zh) * 2017-07-14 2017-11-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081045A (zh) * 2010-03-24 2011-06-01 上海海事大学 一种基于激光电视全息技术的结构损伤识别方法
CN106290152A (zh) * 2016-08-29 2017-01-04 北京星航机电装备有限公司 一种用于复合材料复杂型面粘接质量的原位检测方法
CN107146264A (zh) * 2017-04-28 2017-09-08 南京大学 一种提取材质表面几何和光照物理属性的方法
CN107392896A (zh) * 2017-07-14 2017-11-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636789A (zh) * 2018-12-13 2019-04-16 银河水滴科技（北京）有限公司 基于图像分割的轨道扣件的零件缺失检测方法及装置
CN109829903A (zh) * 2019-01-28 2019-05-31 合肥工业大学 一种基于卷积去噪自编码器的芯片表面缺陷检测方法
CN109829903B (zh) * 2019-01-28 2020-02-11 合肥工业大学 一种基于卷积去噪自编码器的芯片表面缺陷检测方法
CN109829496A (zh) * 2019-01-30 2019-05-31 广州市载道信息科技有限公司 一种物理测量分类方法及设备
CN109829496B (zh) * 2019-01-30 2021-05-25 广州市载道信息科技有限公司 一种物理测量分类方法及设备
CN109829907A (zh) * 2019-01-31 2019-05-31 浙江工业大学 一种基于深度学习的金属轴表面缺陷识别方法
CN111076667A (zh) * 2019-12-23 2020-04-28 长春工程学院 一种金属表面划痕动态快速测量方法
CN111076667B (zh) * 2019-12-23 2021-07-30 长春工程学院 一种金属表面划痕动态快速测量方法
CN112037205A (zh) * 2020-09-01 2020-12-04 湖北微特传感物联研究院有限公司 一种基于深度学习的起重机裂纹检测方法
CN112348793A (zh) * 2020-11-05 2021-02-09 中国电子科技集团公司第二十九研究所 一种自动识别并计算天线方向图凹坑的方法
CN112348793B (zh) * 2020-11-05 2023-04-25 中国电子科技集团公司第二十九研究所 一种自动识别并计算天线方向图凹坑的方法

Similar Documents

Publication Publication Date Title
CN108389181A (zh) 一种基于深度学习和法向图的零件缺陷检测和定位方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
Liu et al. A method of segmenting apples at night based on color and position information
CA1180438A (en) Method and apparatus for lightness imaging
CN106384117B (zh) 一种车辆颜色识别方法及装置
CN109816725A (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
CN107516319A (zh) 一种高精度简易交互式抠图方法、存储设备及终端
CN109584227A (zh) 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统
CN101425179B (zh) 一种人脸图像重光照的方法及装置
CN106446957B (zh) 一种基于随机森林的雾霾图像分类方法
CN110276386A (zh) 一种基于机器视觉的苹果分级方法及系统
CN109559310A (zh) 基于显著性检测的输变电巡检图像质量评价方法及系统
CN105430376B (zh) 一种全景相机一致性的检测方法及装置
CN107016413A (zh) 一种基于深度学习算法的烟叶在线分级方法
CN109886153B (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN107123088A (zh) 一种自动更换证件照背景颜色的方法
CN105574514B (zh) 温室生西红柿自动识别方法
CN108985337A (zh) 一种基于图像深度学习的产品表面划痕检测方法
CN104680518B (zh) 一种基于色度溢出处理的蓝屏抠像方法
CN109657612A (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN110232326A (zh) 一种三维物体识别方法、装置及存储介质
CN106960175A (zh) 基于深度卷积神经网络的第一视角动态手势检测方法
CN110335221A (zh) 一种基于无监督学习的多曝光图像融合方法
CN107862333A (zh) 一种在复杂环境下判断物体燃烧区域的方法
CN111476153A (zh) 一种水果成熟度计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180810

RJ01 Rejection of invention patent application after publication