CN110148106B - 一种利用深度学习模型检测物体表面缺陷的系统及方法 - Google Patents

一种利用深度学习模型检测物体表面缺陷的系统及方法 Download PDF

Info

Publication number
CN110148106B
CN110148106B CN201910045930.1A CN201910045930A CN110148106B CN 110148106 B CN110148106 B CN 110148106B CN 201910045930 A CN201910045930 A CN 201910045930A CN 110148106 B CN110148106 B CN 110148106B
Authority
CN
China
Prior art keywords
image
identification code
defect
deep learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910045930.1A
Other languages
English (en)
Other versions
CN110148106A (zh
Inventor
戴福双
齐浩楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BMW Brilliance Automotive Ltd
Original Assignee
BMW Brilliance Automotive Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BMW Brilliance Automotive Ltd filed Critical BMW Brilliance Automotive Ltd
Priority to CN201910045930.1A priority Critical patent/CN110148106B/zh
Publication of CN110148106A publication Critical patent/CN110148106A/zh
Application granted granted Critical
Publication of CN110148106B publication Critical patent/CN110148106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor
    • G01N2021/8455—Objects on a conveyor and using position detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8858—Flaw counting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本公开提供了一种利用深度学习模型检测物体的表面的缺陷的系统及方法。该系统包括：处理器，被配置为接收所述物体的表面的第一图像和标识所述物体的标识码信息，以及通过对所述第一图像应用深度学习模型来对第一图像进行处理以生成第二图像和缺陷指示，所述缺陷指示包含关于所述物体的表面的缺陷的信息，并且当所述物体的表面具有缺陷时，所述第二图像包括指示所述缺陷的标记；和存储器，被配置为将所述标识码信息、所述第一图像、所述第二图像和所述缺陷指示相关联地存储。

Description

一种利用深度学习模型检测物体表面缺陷的系统及方法
技术领域
本公开涉及计算机视觉领域，特别涉及一种基于深度学习模型检测物体表面缺陷的系统及方法。
背景技术
产品，特别是对安全性有较高要求的产品，例如汽车的发动机缸盖，在出厂前必须经过缺陷检测。传统上人工用肉眼对发动机缸盖的表面质量进行检测。这种方式由于人工的视觉疲劳而可能出现漏检的情况。此外人工检测方法效率较低。
也存在利用传统的图像处理方法进行物体表面缺陷检测的方法。这种的方法基于传统的图像识别和处理技术，但是由于缺陷的多样性、缺陷形状较小、现场环境的光照、缸盖表面纹理等因素的影响，传统的图像处理方法并不能达到很高的检测准确率，同时还会将缸盖表面的纹理误检成缺陷，导致误检率非常高，因而并不能满足生产线的检测要求。
因此，存在对于高效率地检测物体表面缺陷的系统及方法的需求。
发明内容
本公开提供了基于深度学习模型检测物体表面缺陷的系统及方法。
根据本公开的第一方面，提供了一种用于检测物体的表面的缺陷的系统，包括：处理器，被配置为接收所述物体的表面的第一图像和标识所述物体的标识码信息，以及通过对所述第一图像应用深度学习模型来对第一图像进行处理以生成第二图像和缺陷指示，所述缺陷指示包含关于所述物体的表面的缺陷的信息，并且当所述物体的表面具有缺陷时，所述第二图像包括指示所述缺陷的标记；和存储器，被配置为将所述标识码信息、所述第一图像、所述第二图像和所述缺陷指示相关联地存储。
所述系统还包括：标识码识别装置，被配置为识别所述物体的表面的标识码以生成所述标识码信息；和照相机，被配置为对所述物体进行拍照以生成所述第一图像。
所述物体可以被放置在传送带上。所述系统还包括：传动信号发生设备，被配置为感测所述物体的接近，并且当所述物体接近所述传动信号发生设备时，生成传动暂停信号以使得所述传送带停止传动。所述处理器进一步被配置为在接收到所述第一图像和标识码信息之后向所述传动信号发生设备发送传送恢复指令。所述传动信号发生设备进一步被配置为根据接收的传送恢复指令生成传动恢复信号以使得所述传送带恢复传动。
所述系统还包括：标识码扫描装置，被配置为扫描所述物体的表面的标识码以生成标识码信息；终端设备，连接到所述标识码扫描装置、所述处理器和所述存储器，并且被配置为接收所述扫描的标识码信息、将其发送到所述处理器、以及从所述处理器接收与所述标识码信息相对应的第二图像和缺陷指示；和显示器，连接到所述终端设备并且被配置为显示所述接收的第二图像和缺陷指示。
根据本公开的第二方面，提供了一种用于检测物体的表面的缺陷的方法，包括：接收所述物体的表面的第一图像和标识所述物体的标识码信息；通过对所述第一图像应用深度学习模型来对第一图像进行处理以生成第二图像和缺陷指示，所述缺陷指示包含关于所述物体的表面的缺陷的信息，并且当所述物体的表面具有缺陷时，所述第二图像包括指示所述缺陷的标记；和将所述标识码信息、所述第一图像、所述第二图像和所述缺陷指示相关联地存储。
所述物体可以被放置在传送带上。所述方法还包括：感测所述物体与传动信号发生设备的接近；当所述物体接近所述传动信号发生设备时，生成传动暂停信号以使得所述传送带停止传动；以及在接收所述第一图像和标识码信息之后，生成传动恢复信号以使得所述传送带恢复传动。
所述方法还包括：扫描所述物体的表面的标识码以生成所述标识码信息；从所述存储器中检索与所述标识码信息对应的第二图像和缺陷指示；以及显示检索到的第二图像和缺陷指示。
根据本公开的第三方面，提供了一种非暂态的计算机可读介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或更多个处理器运行时使得所述一个或更多个处理器执行根据本公开记载的方法。
根据本公开的第四方面，提供了一种用于检测物体的表面缺陷的装置，包括用于执行根据本公开记载的方法的步骤的部件。
所述物体是汽车的发动机缸盖。
所述识别码是二维码或条形码。
所述深度学习模型包括卷积神经网络模型，包括YOLO模型。
所述深度学习模型通过使用包括有缺陷的物体表面图片数据和无缺陷的物体表面图片数据的历史数据被训练。
所述深度学习模型通过使用包括有缺陷的物体表面图片数据和无缺陷的物体表面图片数据的实时数据被训练。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得更为清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1示出了根据本发明的一个示例性实施例的系统的示意图。
图2示出了根据本发明的一个示例性实施例的物体表面缺陷检测方法的示意图。
图3示出了根据本发明的另一个示例性实施例的物体表面缺陷检测方法的示意图。
图4示出了根据本发明的一个示例性实施例的查看物体表面缺陷检测结果的方法的示意图。
图5A和5B分别示出了根据本发明的一个示例性实施例的处理前和处理后的图像的示意图。
图6示出了根据本发明的一个示例性实施例的显示缺陷检测结果的图形界面的示意图。
图7A和7B根据本发明的一个示例性实施例的深度学习模型YOLO的原理的示意图。
图8示出了根据本发明的一个示例性实施例的用于训练深度学习模型的流程图。
图9示出了可以实现根据本发明的实施例的计算设备的示例性配置。
具体实施方式
下面将参考附图来详细描述本发明的优选的实施例。不是本发明必需的细节和功能被省略，以便不会混淆本发明的理解。
请注意，类似的参考数字和字母指的是图中的类似的项目，因而一旦在一幅图中定义了一个项目，就不需要在之后的图中讨论了。
在本公开中，术语“第一”、“第二”等仅仅被用来在元件或步骤之间进行区分，而并不意图表示时间顺序、优先级或重要性。
图1示出了根据本发明的一个示例性实施例的系统的示意图。如图1所示，本发明的物体表面缺陷检测系统100可以被配置为对传送带102上的物体101进行实时检测。本领域技术人员应当理解，这仅仅是物体表面缺陷检测系统的一个示例，本发明构思不限于此。例如，本发明的系统可以对不在传送带上的物体进行检测。
在系统100被配置为对传送带102上的物体101进行实时检测的实施例中，系统100可以包括传动信号发生设备103，用于感测101物体的接近，当物体101接近传动信号发生设备103时，生成传动暂停信号以使得所述传送带停止传动。停止传动的时间可以由用户设置，例如可以设置为2秒。
系统100还可以包括标识码识别装置104和照相机105。标识码识别装置104用于识别物体101的表面的标识码。标识码的示例例如二维码或条形码等，或者其他任何可以唯一地标识物体的图形或数字串等。照相机105用于对物体进行拍照以获取物体的表面图像。作为一个示例，照相机105可以是工业级相机，其具有图像像素高、快门时间短、工作之间长、可在较差环境下工作等优点。本领域技术人员应当理解，本发明不局限于此，而是可以采用其他具有类似功能的相机或者可以进行折中而采用其他相机。照相机105可放置在支架上，支架可以架设在物体101的生产线上，以便于照相机对生产线上的物体进行实时拍照。
系统100还可以包括工作站106，其是一种能够进行快速图像处理并支持大容量的图片存储的计算机。工作站106可以与照相机105和标识码识别装置104远程放置，并且照相机105和标识码识别装置104可以通过线缆以有线方式(例如遵循COM协议的线缆和接口)或无线方式连接到工作站106。工作站106至少可以包括处理器107和存储器108。处理器107被配置为对由照相机105拍摄的图像进行处理，分析物体表面是否具有缺陷以及缺陷的数量以生成缺陷指示，并生成标记了缺陷的处理后的图像。存储器108被配置为将由标识码识别装置104识别的标识码、照相机105拍摄的原始图像、处理器107处理后的图像和缺陷指示相关联地存储。
不同于传统的图像处理技术，本发明的处理器107被配置为应用深度学习模型来对照相机105拍摄的图像进行处理。深度学习模型可以作为软件模块存储在存储器中，也可以用硬件来实现并与工作站集成在一起，或者可以用软件和硬件的组合来实现。深度学习模型可以被设计为对物体表面缺陷进行建模，然后可以使用现有数据和/或实时数据对该深度学习模型进行训练。训练后的深度学习模型可以用于分析图像以检测物体表面的缺陷。后文将结合图8详细说明用于训练深度学习模型的流程图。
用户可以查看物体表面缺陷的检测结果。为此，系统100还可以包括标识码扫描装置109、终端设备110和显示器111。标识码扫描装置109被配置为扫描所述物体101的表面的标识码。此时，物体101可以在传送带上或不在传送带上。终端设备110可以是瘦客户端，其连接到所述标识码扫描装置109和工作站106，并且被配置为接收所述标识码扫描装置109扫描的标识码，并且将识别码发送到工作站，以从所述工作站106的存储器108中检索与标识码对应的处理图像和缺陷指示等信息。显示器111连接到终端设备110并且被配置为显示标识码、与标识码对应的处理图像和缺陷指示等信息。应当理解，虽然这里终端设备110和显示器111被示出为是分立的设备，但是它们也可以被制造为一体的设备。
应该认识到的是，图1是说明性的，并且不旨在限制本公开的实施例。例如，图1中所示的各种实体可以根据不同的配置来布置和/或包括未具体描述的子组件或功能。本领域普通技术人员将认识到其它变体、修改和替代方案。
图2示出了根据本发明的一个示例性实施例的物体表面缺陷检测方法的示意图。图2所示的方法可以由工作站执行。如图2所示，在步骤S201中，工作站中的处理器107通过接收单元接收关于物体的表面的第一图像和标识所述物体的标识码信息。如前所述，第一图像可以是由照相机105所拍摄的图像。标识码信息可以是由标识码识别装置通过识别物体表面的识别码所获得的信息。接收的数据可以存储在存储器108中。
在步骤S202中，处理器107对所述第一图像应用深度学习模型以对第一图像进行处理，并生成第二图像和缺陷指示。所述缺陷指示包含关于缺陷的信息，例如所述物体的表面是否具有缺陷以及缺陷的数量。当所述物体的表面具有缺陷时，处理后的图像，即第二图像包括有指示所述缺陷的标记。
第一图像和第二图像的示意图如图5A和5B所示。这里以发动机缸盖为例进行说明，并且为了阐述清楚，仅示出了简略的示意图而非实际的发动机缸盖的完整结构图。图5A示出了由照相机105所拍摄的未经处理的第一图像。图5B示出了在处理器106对图5A所示的图像处理后所生成的第二图像。如图5B所示，第二图像中包含有标记，如501所指示的，其指示物体发动机缸盖的此处具有缺陷。如果有多个缺陷，则第二图像可以包括多个标记以分别指示相应的缺陷。缺陷指示是用于指示关于缺陷的信息，例如缺陷的数量。
本领域技术人员应当理解，这里虽然以缸盖作为示例进行了描述，但是本发明构思不限于汽车缸盖，而是可以应用于适于进行表面检测的任何物体。
在步骤S203中，存储器108将所述标识码信息、所述第一图像、所述第二图像和所述缺陷指示相关联地存储。
通过本发明的方法，可以智能地检测物体，特别是发动机缸盖表面的缺陷，提高了检测精度，降低了漏检率，提高了效率，由此减少了工人的工作量。
下面结合图3说明根据本发明的另一个示例性实施例的物体表面缺陷检测方法。本实施例特别适于对传送带上的物体进行实时的缺陷检测的情况。如图3所示，在步骤S301中，传动信号发生设备103感测物体的接近，并且当所述物体接近所述传动信号发生设备103时，在步骤S302中，生成传动暂停信号以使得所述传送带停止传动。
在步骤S303中，标识码识别装置104识别物体表面的标识码以生成标识码信息，并且同时在步骤S304中，照相机105对传送带上的物体进行拍照以生成第一图像。
在步骤S305中，工作站接收来自标识码识别装置104的标识码信息和来自照相机105的第一图像。
在步骤307中，在接收完成之后，处理器107向所述传动信号发生设备103发送传送恢复指令，以及所述传动信号发生设备107根据接收的传送恢复指令生成传动恢复信号以使得所述传送带恢复传动。
步骤S306和步骤S308与步骤S202和步骤S203相同。即在步骤S306中，处理器107对所述第一图像应用深度学习模型以对第一图像进行处理，并生成第二图像和缺陷指示。缺陷指示是用于指示关于缺陷的信息，例如所述物体的表面是否具有缺陷以及缺陷的数量。当所述物体的表面具有缺陷时，处理后的图像，即第二图像包括有指示所述缺陷的标记。
在步骤S308中，存储器108将所述标识码信息、所述第一图像、所述第二图像和所述缺陷指示相关联地存储。
通过本发明的上述方法，可以实时地智能地检测物体表面的缺陷，进一步提高了效率，提高了生产量，缩短了生产时间。
图4示出了根据本发明的一个示例性实施例的查看物体表面缺陷检测结果的方法的示意图。图4的方法适用于需要对物体进行人工再检测的情况。
如图4所示，当需要对物体进行人工检测时，在步骤S401中，用户利用标识码扫描装置109扫描所述物体的表面的标识码以生成标识码信息。标识码信息被发送到终端设备110。
在步骤S402中，终端设备110将接收的标识码信息发送到工作站。工作站接收到标识码信息后，可以从存储器中检索对应的第二图像和缺陷指示。
在步骤S403中，终端设备110从工作站接收所述第二图像和缺陷指示，并传送到显示器111。
在步骤S404中，显示器111显示所接收的第二图像和缺陷指示。
图6是根据本发明的一个示例性实施例的显示缺陷检测结果的图形界面的示意图。如图6所示，显示在显示器111上的图形用户界面可以至少包括标识码显示区域601、缺陷指示显示区域602和处理后的图像显示区域603。标识码显示区域601可以显示物体的标识码信息，例如与二维码或条形码所对应的数字串。缺陷指示显示区域602可以显示当前图像中的物体表面的缺陷数量。处理后的图像显示区域603可以显示经过处理器利用深度学习模型处理后的图像。该图像可以包含指示缺陷的标记501。
应当理解，该图形界面仅仅是一个示例，本领域技术人员可以在本发明的构思下，对该显示界面做出改变，例如增加或减少图形用户界面的元素。例如当针对同一个物体具有用于表示多个表面的多个图像时，该图形用户界面可以具有多个缺陷指示显示区域602和多个处理后的图像显示区域603，以分别显示每个表面的缺陷指示和处理后的图像。
下面描述可用于本发明的深度学习模型。如本领域技术人员所知的，目前已经提出了用于计算机视觉技术的各种深度学习模型。例如区域卷积神经网络(R-CNN)、快速区域卷积神经网络(fast R-CNN)、You Only Look Once(YOLO，你只需要看一次)、Single ShotMultiBox Detector(SSD)等。其中YOLO以其处理速度快而为本领域技术人员所熟知。本发明采用了YOLO模型作为深度学习模型的示例。但是本领域技术人员应当理解，本发明的构思可以使用其他已知或将来发展的深度学习模型。
下面结合图7描述YOLO模型的一般原理。如图7A所示，YOLO的基本思想是利用整张图作为网络的输入，直接在输出层回归边框(bounding box)的位置和边框所属的类别。其基本流程如下：
·将图片分为S*S个网格(grid cell)，对于图像中出现的物体(object)，如果物体的中心出现在那个网格里，则那个网格负责检测出该物体。
·每个网格生成B个边框(类似于不同比例的检测框)和对应于这些边框的置信度分数(某种表征该框内是否含有物体的置信度)，这样的话，每一个网格要输出的信息包括物体中心点信息(x，y)，该坐标为网格内的相对坐标；以及物体的宽高信息(w，h)，和相应的置信度分数。除此之外还包括对应的物体类别标签信息，由于YOLO采用的是softmax方式确定物体类别，所以类别信息的维度C于要判定的类别个数有关。这样就完成了某一个网格中的某一个边框的回归。因为有S*S个网格，所以YOLO最终的输出层一共含有的信息为S*S*(B*5+C)。
·置信度confidence的计算如下:
confidence＝P(object)*IOU；
其中，若边框包含物体，则P(object)＝1；否则P(object)＝0；
IOU(intersection over union)为预测边框与物体真实区域的交集面积(以像素为单位，用真实区域的像素面积归一化到[0,1]区间)。
·由于输出层为全连接层，因此在检测时，YOLO训练模型只支持与训练图像相同的输入分辨率。
图7B是YOLO的结构的示意图。如图7B所示，YOLO模型包括24个卷积层以及其后的两个全连接层。交替的1×1卷积层减少了来自前一层的特征空间。
下面结合图8描述根据本发明的一个示例性实施例的用于训练深度学习模型的过程。
在步骤S801中，实施深度学习模型的模块从存储有历史数据的知识库接收物体表面图像的历史数据，包括有缺陷的物体表面图片数据作为训练正样本和部分无缺陷的物体表面图片数据作为训练负样本。历史数据的量可以取决于深度学习模型和/或要检测的物体的性质而不同。
在接收历史数据之后且在训练深度学习模型之前，用户可以对这些样本进行标注，以生成表示目标标准框的位置的xml注释文件。用户可以采用本领域常用的标注工具进行标注，例如，目标检测标注工具labelImg。一个示例性xml注释文件如下所示：
Figure BDA0001949166840000111
如上所示，该xml文件标记了图像中的缺陷的坐标和大小等参数。
在步骤S802中，基于这些标注了的历史数据训练/更新深度学习模型。
在完成S802的训练阶段后，在步骤S803中，可以将实施深度学习模型的模块部署在生产现场处，即表面缺陷检测系统100中。然后，在步骤S804和S805中，可以执行类似于上面的第一训练阶段的第二训练阶段，但是使用从系统100复制的实时数据(而不是从知识库接收到的历史数据)来训练深度学习模型。以这种方式，实施深度学习模型的模块可以使用在生产现场处生成的实时数据来细化深度学习模型，从而确保模型尽可能准确和最新。与第一训练阶段一样，在该第二训练阶段期间学习的数据量可以取决于深度学习模型和/或物体的性质而变化。
最后，在步骤S806处，实施深度学习模型的模块可以存储训练后的深度学习模型并将其标记为准备用于检测表面缺陷。在一些实施例中，模块也可以返回到方框S804并在连续或周期性的基础上重复第二训练阶段，以便使深度学习模型相对于物体的表面缺陷类型保持最新。
应该认识到的是，图8的工作流程是说明性的，并且各种修改和增强是可能的。例如，其中执行两个训练阶段的具体方式和/或顺序可以根据具体情况而不同。在一些情况下，可以省略第一训练阶段(基于历史数据)，并且可以仅使用实时数据来训练深度学习模型。在其它情况下，可以省略第二训练阶段并且可以仅使用来自知识库的历史数据来训练深度学习模型。在还有的其它情况下，可以执行第一和第二训练阶段，但是它们可以被同时、以不同顺序或以重叠方式执行。
图9示出了可以实现根据本发明的实施例的计算设备900的示例性配置。计算设备900是可以应用本发明的上述方面的硬件设备的实例。计算设备900可以是被配置为执行处理和/或计算的任何机器。计算设备900可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(PDA)、智能电话、车载计算机或以上组合。
如图9所示，计算设备900可以包括可能经由一个或多个接口与总线902连接或通信的一个或多个元件。总线902可以包括但不限于，工业标准架构(Industry StandardArchitecture，ISA)总线、微通道架构(Micro Channel Architecture，MCA)总线、增强ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及外设组件互连(PCI)总线等。计算设备900可以包括例如一个或多个处理器904、一个或多个输入设备906、以及一个或多个输出设备908。一个或多个处理器904可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。输入设备906可以是能够向计算设备输入信息的任何类型的输入设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备908可以是能够呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。
计算设备900还可以包括或被连接至非暂态存储设备914，该非暂态存储设备914可以是任何非暂态的并且可以实现数据存储的存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。计算设备900还可以包括随机存取存储器(RAM)910和只读存储器(ROM)912。ROM 912可以以非易失性方式存储待执行的程序、实用程序或进程。RAM 910可提供易失性数据存储，并存储与计算设备900的操作相关的指令。计算设备900还可包括耦接至数据链路918的网络/总线接口916。网络/总线接口916可以是能够启用与外部装置和/或网络通信的任何种类的设备或系统，并且可以包括但不限于调制解调器、网络卡、红外线通信设备、无线通信设备和/或芯片集(诸如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设施等)。
可单独地或以任何组合方式来使用前述实施方案的各个方面、实施方案、具体实施或特征。可由软件、硬件或硬件与软件的组合来实现前述实施方案的各个方面。
例如，前述实施方案可体现为计算机可读介质上的计算机可读代码。计算机可读介质为可存储数据的任何数据存储设备，所述数据其后可由计算机系统读取。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、DVD、磁带、硬盘驱动器、固态驱动器和光学数据存储设备。计算机可读介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。
例如，前述实施方案可采用硬件电路的形式。硬件电路可以包括组合式逻辑电路、时钟存储设备(诸如软盘、触发器、锁存器等)、有限状态机、诸如静态随机存取存储器或嵌入式动态随机存取存储器的存储器、定制设计电路、可编程逻辑阵列等的任意组合。
在一个实施方案中，可以通过用诸如Verilog或VHDL的硬件描述语言(HDL)编码电路描述来实现根据本公开的硬件电路。可以针对给定集成电路制造技术设计的单元库合成HDL描述，并可以出于定时、功率和其他原因修改，以获得最终的设计数据库，可以将最终的设计数据库传输到工厂以通过半导体制造系统生产集成电路。半导体制造系统可通过(例如在可包括掩膜的晶片上)沉积半导体材料、移除材料、改变所沉积材料的形状、(例如通过掺杂材料或利用紫外处理修改介电常数)对材料改性等等来生产集成电路。集成电路可以包括晶体管并还可以包括其他电路元件(例如，诸如电容器、电阻器、电感器等无源元件)以及晶体管和电路元件之间的互连。一些实施方案可以实现耦接在一起的多个集成电路，以实现硬件电路，和/或可以在一些实施方案中使用离散元件。
虽然已通过示例详细展示了本发明的一些具体实施例，但是本领域技术人员应当理解，上述示例仅意图是说明性的而不限制本发明的范围。应该认识到的是，前述方法中的一些步骤不一定按照图示的顺序执行，而是它们可以被同时、以不同顺序或以重叠方式执行。此外，本领域技术人员可以根据需要增加一些步骤或省略一些步骤。前述系统中的一些部件不是必须按照图示的布置，本领域技术人员可以根据需要增加一些部件或省略一些部件。本领域技术人员应该理解，上述实施例可以在不脱离本发明的范围和实质的情况下被修改。本发明的范围是通过所附的权利要求限定的。

Claims (19)

1.一种用于利用深度学习模型检测物体的表面的缺陷的系统，包括：
传动信号发生设备，被配置为感测被放置在传送带上的物体的接近，并且当所述物体接近所述传动信号发生设备时，生成传动暂停信号以使得所述传送带停止传动；
标识码识别装置，被配置为识别所述物体的表面的标识码以生成标识码信息；
照相机，被配置为对所述物体进行拍照以生成第一图像；
处理器，被配置为接收所述第一图像和所述标识码信息，以及通过对所述第一图像应用深度学习模型来对第一图像进行处理以生成第二图像和缺陷指示，所述缺陷指示包含关于所述物体的表面的缺陷的信息，并且当所述物体的表面具有缺陷时，所述第二图像包括指示所述缺陷的标记，其中所述处理器进一步被配置为在接收到所述第一图像和标识码信息之后向所述传动信号发生设备发送传送恢复指令；和
存储器，被配置为将所述标识码信息、所述第一图像、所述第二图像和所述缺陷指示相关联地存储。
2.如权利要求1所述的系统，其中所述传动信号发生设备进一步被配置为根据接收的传送恢复指令生成传动恢复信号以使得所述传送带恢复传动。
3.如权利要求1所述的系统，还包括：
标识码扫描装置，被配置为扫描所述物体的表面的标识码以生成标识码信息；
终端设备，连接到所述标识码扫描装置、所述处理器和所述存储器，并且被配置为接收所述扫描的标识码信息、将其发送到所述处理器、以及从所述处理器接收与所述标识码信息相对应的第二图像和缺陷指示；和
显示器，连接到所述终端设备并且被配置为显示所述接收的第二图像和缺陷指示。
4.如权利要求1所述的系统，其中所述标识码是二维码或条形码。
5.如权利要求1所述的系统，其中所述深度学习模型通过使用包括有缺陷的物体表面图片数据和无缺陷的物体表面图片数据的历史数据被训练。
6.如权利要求1所述的系统，其中所述深度学习模型通过使用包括有缺陷的物体表面图片数据和无缺陷的物体表面图片数据的实时数据被训练。
7.如权利要求1所述的系统，其中所述深度学习模型包括卷积神经网络模型。
8.如权利要求7所述的系统，其中所述卷积神经网络模型包括YOLO模型。
9.如权利要求1所述的系统，其中所述物体是汽车的发动机缸盖。
10.一种用于利用深度学习模型检测物体的表面的缺陷的方法，包括：
感测被放置在传送带上的物体与传动信号发生设备的接近；
当所述物体接近所述传动信号发生设备时，生成传动暂停信号以使得所述传送带停止传动；
识别所述物体的表面的标识码以生成标识码信息；
对所述物体进行拍照以生成第一图像；
接收所述第一图像和所述标识码信息；
在接收到所述第一图像和所述标识码信息之后向所述传动信号发生设备发送传送恢复指令以使得所述传送带恢复传动；
通过对所述第一图像应用深度学习模型来对第一图像进行处理以生成第二图像和缺陷指示，所述缺陷指示包含关于所述物体的表面的缺陷的信息，并且当所述物体的表面具有缺陷时，所述第二图像包括指示所述缺陷的标记；和
将所述标识码信息、所述第一图像、所述第二图像和所述缺陷指示相关联地存储在存储器中。
11.如权利要求10所述的方法，还包括：
扫描所述物体的表面的标识码以生成所述标识码信息；
从所述存储器中检索与所述标识码信息对应的第二图像和缺陷指示；以及
显示检索到的第二图像和缺陷指示。
12.如权利要求10所述的方法，其中所述标识码是二维码或条形码。
13.如权利要求10所述的方法，其中所述深度学习模型通过使用包括有缺陷的物体表面图片数据和无缺陷的物体表面图片数据的历史数据被训练。
14.如权利要求10所述的方法，其中所述深度学习模型通过使用包括有缺陷的物体表面图片数据和无缺陷的物体表面图片数据的实时数据被训练。
15.如权利要求10所述的方法，其中所述深度学习模型包括卷积神经网络模型。
16.如权利要求15所述的方法，其中所述卷积神经网络模型包括YOLO模型。
17.如权利要求10所述的方法，其中所述物体是汽车的发动机缸盖。
18.一种非暂态的计算机可读介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或更多个处理器运行时使得所述一个或更多个处理器执行根据权利要求10-17中的任意一个所述的方法。
19.一种用于利用深度学习模型检测物体的表面的缺陷的装置，包括用于执行根据权利要求10-17中的任意一个所述的方法的步骤的部件。
CN201910045930.1A 2019-01-18 2019-01-18 一种利用深度学习模型检测物体表面缺陷的系统及方法 Active CN110148106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910045930.1A CN110148106B (zh) 2019-01-18 2019-01-18 一种利用深度学习模型检测物体表面缺陷的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910045930.1A CN110148106B (zh) 2019-01-18 2019-01-18 一种利用深度学习模型检测物体表面缺陷的系统及方法

Publications (2)

Publication Number Publication Date
CN110148106A CN110148106A (zh) 2019-08-20
CN110148106B true CN110148106B (zh) 2023-06-27

Family

ID=67589292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910045930.1A Active CN110148106B (zh) 2019-01-18 2019-01-18 一种利用深度学习模型检测物体表面缺陷的系统及方法

Country Status (1)

Country Link
CN (1) CN110148106B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110508510A (zh) * 2019-08-27 2019-11-29 广东工业大学 一种塑料泵缺陷检测方法、装置及系统
WO2021042367A1 (en) * 2019-09-06 2021-03-11 Intel Corporation Deep learning based distributed machine vision camera system
CN112525914A (zh) * 2019-09-17 2021-03-19 合肥京东方视讯科技有限公司 产品检测装置及方法、产品流水线
CN111127699A (zh) * 2019-11-25 2020-05-08 爱驰汽车有限公司 汽车缺陷数据自动录入方法、系统、设备及介质
CN113763306A (zh) * 2020-06-01 2021-12-07 杭州海康威视数字技术股份有限公司 一种地标检测方法、装置及电子设备
FR3116119B1 (fr) 2020-11-12 2022-10-21 Saint Gobain Méthode et système d’inspection d’un vitrage transparent muni d’une garniture
CN112669271A (zh) * 2020-12-22 2021-04-16 深圳酷派技术有限公司 物体表面缺陷检测方法、相关装置及计算机存储介质
CN113066087B (zh) * 2021-04-29 2022-08-05 中奥智能工业研究院(南京)有限公司 一种零部件智能检测与标签系统及方法
CN113552132A (zh) * 2021-06-23 2021-10-26 滁州沃博自动化科技有限公司 一种用于视觉检测皮带机上的静态检测产品缺陷设备
TWI823159B (zh) * 2021-10-20 2023-11-21 開必拓數據股份有限公司 具人機互動功能的瑕疵檢測系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471333A (zh) * 2014-07-08 2017-03-01 日产自动车株式会社 缺陷检查装置以及生产系统
CN108061735A (zh) * 2017-12-01 2018-05-22 工业互联网创新中心（上海）有限公司 零部件表面缺陷的识别方法和装置
CN109142371A (zh) * 2018-07-31 2019-01-04 华南理工大学 基于深度学习的高密度柔性基板外观缺陷检测系统与方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471333A (zh) * 2014-07-08 2017-03-01 日产自动车株式会社 缺陷检查装置以及生产系统
CN108061735A (zh) * 2017-12-01 2018-05-22 工业互联网创新中心（上海）有限公司 零部件表面缺陷的识别方法和装置
CN109142371A (zh) * 2018-07-31 2019-01-04 华南理工大学 基于深度学习的高密度柔性基板外观缺陷检测系统与方法

Also Published As

Publication number Publication date
CN110148106A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110148106B (zh) 一种利用深度学习模型检测物体表面缺陷的系统及方法
CN107944450B (zh) 一种车牌识别方法及装置
US20180260669A1 (en) Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program
EP3637310A1 (en) Method and apparatus for generating vehicle damage information
CN113221889A (zh) 一种芯片字符抗干扰识别方法及装置
CN103839255A (zh) 视频抠像篡改检测方法及装置
CN111259969A (zh) 一种报障识别方法、装置、服务器及介质
CN113116377B (zh) 超声成像导航方法、超声设备及存储介质
CN110110110A (zh) 一种以图搜图方法、装置、电子设备及存储介质
CN114693963A (zh) 基于电力数据特征提取的识别模型训练、识别方法及装置
CN114241432A (zh) 车牌识别方法、设备及存储介质
CN109584262A (zh) 基于遥感影像的云检测方法、装置及电子设备
CN112016387A (zh) 适用于毫米波安检仪的违禁品识别方法和装置
CN115205974A (zh) 手势识别方法及相关设备
CN115063473A (zh) 物体高度的检测方法、装置、计算机设备、存储介质
US20230196840A1 (en) Work management device and work state determination method
CN113269730A (zh) 图像处理方法、装置、计算机设备及存储介质
CN113902890A (zh) 用于视觉概念检测的自监督数据增强方法、系统、设备
CN112084364A (zh) 对象分析方法、局部图像搜索方法、设备及存储介质
Sun et al. Cascaded detection method for surface defects of lead frame based on high-resolution detection images
US20220215651A1 (en) Fiber Placement Tow End Detection Using Machine Learning
CN116662211B (zh) 显示界面测试方法、装置及设备和介质
US20240029275A1 (en) System and method for identifying unmoved items on a platform during item identification
US20240029405A1 (en) System and method for selecting an item from a plurality of identified items by filtering out back images of the items
US20240020333A1 (en) System and method for selecting an item from a plurality of identified items based on a similarity value

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant