CN115205670A - 生产速度部件检查系统和方法 - Google Patents
生产速度部件检查系统和方法 Download PDFInfo
- Publication number
- CN115205670A CN115205670A CN202210313308.6A CN202210313308A CN115205670A CN 115205670 A CN115205670 A CN 115205670A CN 202210313308 A CN202210313308 A CN 202210313308A CN 115205670 A CN115205670 A CN 115205670A
- Authority
- CN
- China
- Prior art keywords
- component
- anomaly
- controller
- inspection system
- conveyor structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 75
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000002131 composite material Substances 0.000 claims abstract description 35
- 230000001960 triggered effect Effects 0.000 claims abstract description 9
- 230000001360 synchronised effect Effects 0.000 claims abstract description 8
- 230000007547 defect Effects 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 39
- 230000002950 deficient Effects 0.000 claims description 18
- 238000013473 artificial intelligence Methods 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000007373 indentation Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000009792 diffusion process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000032258 transport Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011143 downstream manufacturing Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本公开提供了“生产速度部件检查系统和方法”。一种用于汽车部件的检查系统包括一个或多个相机、控制器、输送机结构和一排平台。所述相机被配置为收集对应于选定的汽车部件的图像。所述控制器可通信地耦合到所述相机。所述输送机结构可操作以运输所述选定的汽车部件。所述相机通过所述控制器同步和触发以捕获所述选定的汽车部件的图像。所述控制器被配置为基于数据集来生成合成图像,并且在生产速度下生成指示所述选定的汽车部件具有或不具有异常的输出。
Description
技术领域
本公开涉及一种生产速度部件检查系统和方法。
背景技术
本部分中的陈述仅仅提供了与本公开相关的背景信息,并且可能不构成现有技术。
汽车制造涉及对故障部件的检查。例如,在冲压中,缺陷检测依赖于对面板的手动检查,首先由操作员将零件从生产线输送机的末端移动到装运架来进行高级审查。训练有素的质量代表从生产线随机地抽取面板来进行对关键点的深入审查。当识别出缺陷时,检查员预期将通知区域主管。
对于检查员来说,特别是当同一检查员负责将零件移动到装运架中时,要跟上完成其基本任务的生产速度可能是有挑战性的。诸如该任务的可重复性和在零件正在被移动到架时在该零件上必须被评估的面积量等因素可能增加更多挑战。本公开解决了与检查零件相关的这些和其他问题。
发明内容
本部分提供了对本公开的总体概述,并且并不是其全部范围或其所有特征的全面公开。
在一种形式中,一种用于汽车部件的检查系统包括一个或多个相机、控制器、输送机结构和一排平台。所述相机被配置为收集对应于选定的汽车部件的图像。所述控制器可通信地耦合到所述相机。所述输送机结构可操作以运输所述选定的汽车部件。所述相机被同步和触发以捕获所述选定的汽车部件的图像。所述控制器被配置为基于数据集来生成合成图像,经由基于人工智能的训练基于所述选定的汽车部件的所述合成图像来辨识异常的存在或不存在,关于所述选定的汽车部件确定是否存在异常,并且在所述选定的汽车部件从所述输送机结构被取走之前,生成指示所述选定的汽车部件具有或不具有异常的输出。
在一个变型中,所述相机经由光幕被同步并且基本上同时地触发以捕获所述选定的汽车部件的所述图像。在另一个变型中,所述检查系统还包括一排一个或多个平台,所述一排一个或多个平台安装在所述输送机结构的入口点处或与其相邻地安装。每个平台与邻近平台间隔开并且具有安装在其上的多个相机。所述一排一个或多个平台被布置成与所述输送机结构平行,使得所述相机面向在所述输送机结构上运输的所述选定的汽车部件并且捕获其图像。
在另一个变型中,所述控制器还被配置为在检测到所述异常时,通过映射到所述合成图像的原始部件坐标系来在生产速度下识别所述异常的位置。在另外的变型中,所述控制器还被配置为在所述生产速度下在用户界面上显示具有异常的所述选定的汽车部件以及所述异常的位置。
在一些形式中,所述控制器还被配置为经由基于人工智能的训练识别所述异常的类别。
在另一种形式中,所述检查系统还包括发光二极管(LED)故障指示器,所述LED故障指示器安装在所述输送机结构中并且在一定方向上延伸,所述输送机结构沿着所述方向延伸。所述LED故障指示器被配置为在确定所述选定的汽车部件正常时输出第一颜色,并且在确定所述选定的汽车部件有缺陷时输出第二颜色。所述LED故障指示器还包括一系列LED灯,并且所述第二颜色输出的LED光在有缺陷部件在所述输送机结构上运输时跟随所述有缺陷部件。
在另一个变型中,所述控制器还被配置为生成显示所述选定的汽车部件和所述选定的汽车部件的缺陷的缩放视图的输出。所述控制器还被配置为生成包括在确定所述选定的部件有缺陷时提示所述选定的汽车部件的报废的选择的菜单、并排的两个或更多个选定的汽车部件、选定的汽车部件的总计数和有缺陷部件的总计数的输出。所述控制器被配置为在准实时基础上更新所述输出。
在另外一个变型中,所述检查系统还包括多个LED条形灯和多个LED漫射灯。所述多个LED条形灯和所述多个LED漫射灯为所述相机的操作提供照明。
在一些形式中,一种汽车部件的检查方法包括以下步骤:(i)在输送机结构上运输选定的汽车部件,(ii)将相机网络布置成与所述输送机结构相对并平行,(iii)随着所述选定的汽车部件进入所述输送机结构,用所述相机网络以同步方式捕获所述选定的汽车部件的图像数据来获得数据集,(iv)在可通信地耦合到所述相机的控制器处接收来自所述相机的所述图像数据,(v)基于来自所述相机的所述图像数据来生成合成图像,(vi)由包括深度学习网络的所述控制器基于从所述合成图像的识别来确定关于所述选定的汽车部件确定是否存在异常,以及(vii)由所述控制器以生产速度生成指示所述选定的汽车部件具有或不具有异常的输出。
在另一种形式中,所述检查方法还包括在检测到所述异常时,通过映射到所述合成图像的原始部件坐标系来在生产速度下识别所述异常的位置。
在一个变型中,所述检查方法还包括经由基于人工智能分类的训练来识别所述异常的类别。生成所述输出的所述步骤还包括在所述生产速度下在用户界面上显示具有异常的所述选定的汽车部件以及所述异常的位置。
在另一种形式中,所述检查方法还包括响应于所述异常存在而在所述生产速度下在用户界面屏幕上显示所述输出,其中所述输出包括所述异常的缩放视图和提示所述选定的汽车部件的报废的菜单按钮。
在又一种形式中,一种汽车部件的检查方法包括以下步骤:(i)用从输送机结构的入口点安装在所述输送机结构的预定区域之上的一排相机捕获选定的部件的图像数据并且生成数据集,(ii)由控制器生成所述选定的部件的合成图像,(iii)由包括深度学习网络的所述控制器确定是否存在异常,(iv)在检测到所述异常时,基于预存储异常模板的坐标系来识别所述异常的类型和所述异常的位置,其中所述异常包括裂口、毛刺、划痕或压痕中的一者或多者,以及(v)由所述控制器以生产速度在用户界面上生成所述选定的部件、在所述选定的部件的某一位置处的异常和所述异常的缩放视图的显示。
在至少一个变型中,所述检查方法还包括在所述生产速度下生成提示或提醒从生产线取走所述选定的部件的输出。
从本文提供的描述中,另外的适用领域将变得显而易见。应当理解,描述和具体示例仅意图用于说明目的,并且不意图限制本公开的范围。
附图说明
为了可以很好地理解本公开,现在将参考附图来描述通过举例的方式给出的本公开的各种形式,在附图中:
图1示出了出现在汽车上的裂口缺陷的一个示例;
图2是根据本公开的教导的生产速度部件检查系统的框图;
图3示出了图2的检查系统的一个示例性配置;
图4A是在实际制造现场场合中用于部件检查系统中的视觉系统的透视图。
图4B是从不同角度看的图4A的视觉系统的侧透视图。
图5是根据本公开的教导的缺陷异常检测例程的流程图;
图6是根据本公开的教导的具有用户界面的部件检查系统的框图;并且
图7示出了根据用户界面的包括裂口缺陷及其位置的合成图像的显示;
图8示出了根据本公开的教导的合成图像的另一个显示;
图9示出了根据本公开的教导的裂口图像和缩放视图的另一个显示;
图10A示出了根据本公开的教导的裂口图像的一个示例;并且
图10B示出了根据本公开的教导的裂口图像的一个示例;
图11A示出了在一个位置处的裂口图像的一个示例;
图11B示出了在与图11A所示的位置不同的位置处的裂口图像的另一个示例;
图11C示出了在与图11B所示的位置不同的位置处的裂口图像的另一个示例;
图12示出了根据本公开的教导的在用户界面上检查结果的显示;并且
图13示出了根据本公开的教导的在用户界面上检查结果的另一个显示。
本文描述的附图仅用于说明目的,并且不意图以任何方式限制本公开的范围。
具体实施方式
以下描述本质上仅仅是示例性的并且不意图限制本公开、应用或用途。应当理解,贯穿附图,对应的附图标记指示相似或对应的零件和特征。
根据本公开的教导的生产速度部件检查系统(即,“部件检查系统”)和方法可在制造机动车辆的第一过程中检测有缺陷部件,并且因此可缓解对下游过程并最终是最终车辆总成的影响。如本文所提供,部件检查系统/方法基于由一个或多个相机捕获的部件或产品的至少一部分的图像数据来形成二维(2D)图像。基于2D图像以及基于人工智能(AI)的识别和分类,部件检查系统/方法可识别和分析部件并在生产速率或生产速度下提供结果。换句话说,部件检查系统/方法可在将选定的汽车部件从输送机结构取走之前识别和分析该部件并提供结果。
部件检查系统和方法检测汽车部件的异常。汽车部件的异常可包括裂口、毛刺、划痕、压痕等。不同类型的缺陷趋向于更频繁地出现在特定位置处。例如,在门面板的边缘处可能更频繁地出现裂口,并且在弯曲表面的顶部处可能更频繁地出现划痕。作为示例,图1示出了存在于汽车上的裂口缺陷(参见圆圈区域)。根据本公开的教导的部件检查系统和方法在部件被组装到车辆上之前检测部件上的裂口缺陷,并且因此可抑制或减少有缺陷部件前进到下游过程的机会。
图2是根据本公开的一种形式的部件检查系统100的框图。在一种形式中,用于汽车部件的部件检查系统100包括具有一个或多个多维相机C1至CN的视觉系统150。检查系统100还包括服务器5,该服务器包括控制器10和存储器15。检查系统100与输送机结构一起操作,该输送机结构可操作以运输选定的汽车部件,如以下将结合图3示出和描述的。
视觉系统150的相机C1、CN被配置为捕获选定的汽车部件(诸如但不限于冲压面板、门洞面板、发动机罩和/或护板)的图像。在一些形式中,由相机C1、CN捕获的部件数据以2-D图像数据的形式提供,如以下将更详细地描述的。以下将结合图4A和图4B进一步详细地描述视觉系统的另一种形式。
在一些形式中,相机C1、CN是12兆像素单色相机,但是本公开不限于此。相机C1、CN以各种方式通过服务器5的控制被触发来捕获选定的汽车部件的图像数据。在一些形式中,相机C1、CN包括分别捕获提供给服务器5的二维(2D)图像ID1、IDN的2D数字相机(单色相机)。在一种形式中,相机C1、CN被配置为根据需要检测大片的表面区域中的小表面缺陷。
在至少一个变型中,相机C1、CN可提供合起来生成部件的3D图像的信息。
在一些形式中,图像数据共同地表示选定的汽车部件的结构。为了便于解释的目的,选定的汽车部件被描述为前门面板,但是本公开适用于其他部件并且不应限于前门面板。
图3示出了具有相机C1至CN的检查系统的示例性配置。在一种形式中,六个相机C1至C6(即,N=6)被布置成面向彼此的两排。光幕210布置在部件进入输送机250上的入口点处。服务器5耦合到相机C1至CN并且被配置为控制相机C1至CN的操作。例如,服务器5被配置为通过基本上同时地触发相机C1至CN来控制相机C1至CN捕获部件的图像。
在一些形式中,相机C1至CN经由光幕210触发。随着每个部件通过光幕210并前进到输送机250,相机C1至CN被触发以开启并捕获每个部件的图像。一旦捕获图像,相机C1至CN就操作以经由有线或无线通信将图像数据传输到服务器5。替代地或另外地,相机C1至CN可将图像存储在内部存储设备中以供之后传输或备份。
尽管未示出,但是漫射灯可与相机C1至CN一起提供。以下结合图4B描述了漫射灯。在一些形式中,可为相机C1至CN提供附加的LED灯。LED灯可被布置成与相机C1至CN相邻并安装于在输送机250上方的结构中。这便于用LED灯照亮从相机C1至CN下方通过的在输送机250上的部件并为相机C1至CN的操作提供最佳照明。
举例来说,输送机250具有1m/s的带速度。在单个循环中,可运送多个零件。例如,在输送机250上移动的部件或零件的数量可以是每分钟约十五(15)至六十(60)个零件,这取决于正在运送的零件。
输送机250配备有用发光二极管(LED)实施的故障指示线230,如图3所示。举例来说,故障指示线230可包括LED条形灯。在一些形式中,一个或多个LED条形灯可以不同颜色(诸如绿色、红色、蓝色等)显示。例如,绿色可指示正常部件,并且红色可指示有缺陷部件。在一些形式中,在多个正常和有缺陷部件在输送机250上持续地移动时,红色指示器可跟随对应的部件的移动。作为一个示例,红色LED光跟随有缺陷部件,而绿色LED光跟随正常部件,如以下将在图7A中示出的。
故障位置监测器235布置在部件进入输送机250并经过相机C1至C6的位置处。在一些形式中,故障位置监测器235显示进入输送机250上的部件,使得操作员可检测并确定部件是否可能偏离路径或设置在相机C1至C6中的一者或多者可能无法拍摄或获得最佳图像的位置处。
返回参考图2至图3,多维相机C1至CN(或C6)和故障位置监测器235相对于输送机250和输送机结构上的部件布置,以便捕获部件的图像并检测部件的故障位置。在其他形式中,故障位置监测器235可布置在与输送机250不同的位置处。
返回参考图2,服务器5通信地耦合到视觉系统450,该视觉系统包括相机C1、CN以接收图像ID1、IDN。如图3所示,服务器5耦合到相机C1至C6和故障指示线230并且被配置为控制相机C1至C6和故障指示线230的操作。服务器5还耦合到故障位置监测器235。
图4A是在实际制造现场场合中用于部件检查系统100中的视觉系统450的透视图。视觉系统450包括并排布置在棒形结构475上的多个相机425。每个棒形结构或平台475被布置成形成多个排。作为示例,五(5)个相机425安装在每个棒平台475上,并且五(5)个棒平台475如图4A所示布置,其包括视觉系统450中包括的总共二十五(25)个相机425。图4A示出了五排棒平台475,但本公开不限于此。例如,具有多个相机的单个棒平台可足以捕获部件435的图像数据。在使用中的相机的数量可根据部件类型、循环时间和/或输送机250的速度以及其他因素而变化。
图4B是从不同的角度看的视觉系统450的侧透视图。如图4B所示,视觉系统450包括沿所述成排的棒结构475布置的多个LED条形灯480和多个漫射LED灯490。LED条形灯480和漫射LED灯490为相机425的操作提供了最佳照明。举例来说,漫射LED灯490可输出500瓦,并且可提供约八(8)个LED灯。
如图4A和图4B所示,部件435进入输送机250的入口点并且从相机425下方经过。相机425的操作经由图3所示的光幕210同步并基本上同时地触发。返回参考图3,光幕210布置在输送机250的入口点处。当部件435移动通过光幕210时,这种移动通过服务器5的控制来触发相机425的操作。在其他形式中,相机425的操作可不完全地同步并且可以以异步方式执行。
在一些形式中,相机425可一次捕获部件435的全部图像数据。在一些形式中,相机425可两次或更多次捕获部件425的图像数据。相机425彼此间隔开并且捕获部件435的不同部分。指示部件435的不同部分的图像数据被传输到如图1所示的服务器5。在一些形式中,相机425中的每一者配备有CPU和存储器,并且经由有线或无线与服务器通信。服务器5从相机425接收图像数据并且处理图像数据以进行异常检测。
在一些形式中,相机425可捕获部件435的视频数据而不是静态图像。相机425可在不同位置处捕获视频数据达预定时间。
返回参考图2,服务器5包括用于存储可由控制器10执行的指令的存储器15。在一些形式中,在执行指令时,服务器5的控制器10被配置为执行如图5所示的操作。在一些形式中,控制器10用深度神经网络阵列实施,该深度神经网络阵列基本上实时获取图像数据、检测异常并识别它们的位置。通过使用深度神经网络并处理图像数据,即使面板具有大的大小和/或独特曲率或轮廓、缺陷的大小大或所需的循环时间变化,控制器10也可执行异常的检查和检测。在其他形式中,在具有或不具有深度神经网络的情况下可使用不同类型的相机,只要此类相机产生符合规则的图像数据即可。
参考图5,示例性缺陷异常检测例程由部件检查系统100提供并执行。在510处,由一个或多个相机从许多不同方向捕获汽车部件的图像。在510处,相机基于捕获的图像生成图像数据并传输到服务器5。在520处,服务器基于图像数据生成合成图像。
服务器5执行指令以基于合成图像来检测异常。在一些形式中,服务器5被配置为执行人工智能算法以检测异常。例如,服务器5用深度学习网络来实施以检测异常。服务器5处于训练状态,其中训练数据指示各种缺陷,诸如裂口、毛刺、压痕等。举例来说,训练数据可包括各种缺陷的模板图像或CAD模型。通过使用深度学习网络进行训练,在530处,服务器5基于选定的汽车部件435的合成图像来确定异常。在服务器5被训练来学习和了解异常时,服务器5可识别并确定特定类型的缺陷。例如,服务器5的训练过程可涉及在训练过程期间多次将缺陷的一个或多个模板图像与正常状况进行比较。服务器5的训练过程可使用表示与正常状况的偏差和/或与正常状况的那些特性不同的特性的训练数据。在辨识并确定合成图像显示出异常时,在530处,服务器5将合成图像分类为具有特定缺陷的部件。
由于要小得多的可能输出集,深度神经网络具有相对更小的大小。在变型中的至少一者中,神经网络可在数十毫秒内估计面板类型。在530处,服务器5可以某一置信度水平辨识异常。在一些形式中,参考置信度水平是预定的并存储在存储器中。可将置信度水平与参考置信度水平进行比较,并且可在置信度水平超过参考置信度水平的情况下确认异常的识别或确定。
另外,在530处,基于合成图像,服务器5经由例如人工智能分类训练识别在合成图像中提供的汽车部件的类型。具体地,服务器5辨识并确定选定的汽车部件是否是门洞面板、发动机罩、车顶等。在一种形式中,服务器5被训练成例如通过使用涉及不同的汽车部件的训练数据来学习并识别前门面板。在一些形式中,深度神经网络用于识别面板类型,诸如前门面板、后门面板等。
在一些形式中,存储器15还被配置为存储用于训练服务器5来确定选定的汽车部件的异常的训练数据。举例来说,训练数据可包括对应于选定的汽车部件的正常或标称状况(即,没有异常或缺陷)的模板CAD模型和表示各种缺陷的模板CAD模型。如果有偏差,则服务器5前进到步骤540中提供的异常检测过程。
与不同类型的异常有关的不同的训练数据相对于图像数据对准。汽车部件的异常可包括裂口、毛刺、划痕、压痕等。在一些形式中,可对不同类型的缺陷进行分类,并且生成对应于不同缺陷的训练数据并将其预先存储在服务器5的存储器中。例如,生成并预先存储用于训练人工智能的与裂口相关的一个或多个训练数据。同样地,可预先存储与毛刺、划痕、压痕等有关的训练数据以用于使用人工智能程序来训练服务器5。另外地或替代地,训练数据持续经受更新和调整。在一些形式中,可反馈回正确确定和不正确确定并将其用于更新和调整训练数据。可在更新和调整训练数据时调整和更新置信度水平。
在一些形式中,训练服务器5来学习不同类型的异常。在一种形式中,服务器5包括通过训练来学习和辨识不同类型的缺陷的神经网络。在一些形式中,可使用模式辨识技术,并且训练服务器5以通过使用训练数据来学习不同缺陷。
在一些形式中,训练数据包括异常检测模板。异常检测模板可包括表示正常部件或没有特定缺陷的部件的估计的内点模板。例如,关于裂口类型缺陷,异常检测模板表示不具有裂口类型的缺陷的部件。在至少一个变型中,可生成一个或多个异常检测模板。在另一个变型中,异常检测模板可包括表示在正常状况的范围内的特定类型的缺陷的不同程度的不同模板。
在一些形式中,训练数据可用于生成估计的内点模板。训练数据可包括指示不同类型的缺陷的异常值模型。在一种形式中,使用模式辨识技术,服务器5学习检测模式和来自该模式的特性。
在一些形式中,服务器5的训练可涉及用不同模板进行学习,并且最终,可辨识并确定是否存在不同类型的缺陷。例如,如果重建前门面板的图像数据可能具有划痕和毛刺,则服务器5通过用异常模板进行的基于人工智能的训练来辨识这些异常,并且以可靠置信度水平确定这些异常的存在和类型。在其他形式中,可训练服务器5以将异常模板与图像数据的位置相关联。
一旦识别出缺陷,服务器5就识别相对于选定的原点的确切(x.y,z)异常质心位置,如图7B所示。检测到的异常将被映射回原始面板坐标系。异常还可被分类为裂口、毛刺、划痕、压痕等。如图7B所示,缺陷出现在面板的一个位置处,并且该缺陷的位置被映射到原始面板坐标系。
如所描述,服务器5基于合成图像来识别并辨识异常的存在、选定的汽车部件的类型和/或异常的类型。如上所述,服务器5可从相机425接收视频数据。在一些形式中,服务器5可从视频数据中提取静态图像并且与预先存储的模板图像进行比较,如上所述。在其他形式中,可将示出具有正常状况的部件的视频数据存储为预先存储的视频模板。另外,可预先存储示出不同类型的部件和/或不同类型的缺陷的视频数据。
在560处,服务器5在生产速度下生成指示选定的汽车部件有或没有异常的输出。更具体地,如果未检测到差异,则服务器5发出指示部件良好/可接受的通知(例如,屏幕上的文本、有或没有文本的绿色屏幕以及其他指示符)。一旦在540处确定了异常,服务器5就可发出识别异常的通知,从而提供具有估计的异常位置的模型的图像,或其他合适的通知。代替在步骤540之后提供的通知或者作为其补充,在560处,服务器5可指示已经检测到差异。可在一个或多个用户显示器上提供通知,该通知的示例在下面提供。
在一种形式中,由服务器5进行的所有计算花费大约少于10秒,并且更具体地少于3秒。这些计算时间可适应生产速度。仅举例来说,典型的循环时间为约3.5秒,并且输送机结构典型地以约1.0米/秒从生产线的末端移动面板。基于该信息,生产速度计算指示收集和分析来自输送机结构上的面板的数据,并且在少于10秒内显示结果。根据本公开的教导,该检查系统可满足该时间约束。举例来说,检查系统100的计算速度(特别是在服务器5处)为10秒或更少。
另外地或替代地,在550处,相对于选定的汽车部件的相邻部分进行多视图聚合,以便分析相邻部分。更具体地,由于不同扫描仪可提供相邻部分的重叠视图,因此将图像数据切片为选定的汽车部件的相邻部分的一个或多个多视图数据集。相邻部分可具有弯曲形状,因碰撞、接触等而易出现更多缺陷,并且因此可能期望更详细的检查。在将聚合的数据集切片成一个或多个多视图之后,服务器5随后在550处将多视图重新聚合成图像数据。由服务器5生成的数据可用于进一步改进服务器5的操作,并且在一种形式中,可存储在可与服务器5分开的数据库(未示出)中。
图6是另一种形式的部件检查系统600的框图。在图6中,部件检查系统600包括服务器605、用户界面610和视觉系统620。部件650在输送机结构630上以一定速度被运输。部件检查系统600被布置成与输送机结构630相邻,并且在部件650正在输送机结构630上移动时从部件650收集部件数据。在一些形式中,用户界面610是在输送机结构630处工作的操作员可容易地触及或可见的显示器。这允许操作员在用户界面610上检查部件650,并且如果用户界面610指示包括缺陷在内的异常,则从输送机结构630报废部件650。另外或替代地,用户界面610包括产生通知信号或警报的音频扬声器。
服务器605操作以处理和分析由视觉系统620收集和从该视觉系统传输的数据。在一些形式中,关于服务器605的操作,可参考如以上所讨论的服务器5的操作。在一些形式中,服务器605和视觉系统620的结构和操作与检查系统100的结构和操作相同或类似。在其他形式中,服务器605可不包括神经网络并且使用没有神经网络的常规的CPU。在另一种形式中,视觉系统620可用多维相机实施。在另一种形式中,视觉系统620可生成由二维相机捕获的部件650的视频数据。在另一种形式中,视觉系统620包括如图4A和图4B所示布置的相机网络。
为了使操作员从输送机结构630报废具有缺陷的部件,服务器650的计算时间可对应于部件650到达输送机结构630的生产线末端的时间。服务器650布置于在输送机结构630附近的网络中,以便防止潜在的网络延迟或缓冲。在一些形式中,服务器650和视觉系统620被布置成物理上靠近输送机结构630,但是本公开的教导不限于此。
图7A示出了根据本公开的教导的操作员监测器700的一个示例。如图7A所示,操作员监测器700被布置成与运输多个部件750的输送机相邻。布置多个相机725,并且部件750从相机720下方经过。为了便于解释,部件750包括用红色指示符示出的一个有缺陷部件755。用绿色指示符示出的部件750没有缺陷。
图7B示出了在图7A的操作员监测器700上的合成图像的一个示例。在操作员监测器750上,显示了部件的合成图像和缺陷(即,裂口)的缩放视图760。如图7B所示的合成图像传达关于相关部件的位置信息。缺陷的缩放视图760有助于缺陷的详细观察,并且允许操作员容易地且在生产速度下确定相关部件是否应当被报废。另外,缺陷的缩放视图760允许操作员在不指定正在生产的零件号的情况下检查部件的裂口。
图8示出了根据本公开的教导的合成图像的另一个示例。在图8中,合成图像示出了每一部件800(诸如门面板)的多个缺陷。在图8中,显示了最近十个循环的热图800。在其他形式中,可显示十个或更多个循环的热图。
图9示出了根据本公开的教导的合成图像的另一个示例。在图9中,合成图像示出了在部件(诸如面板)上的不同的位置900处的缺陷。如图9所示,显示了裂口的合成图像900和裂口图像的缩放视图950。
图10A和图10B以及图11A至图11C示出了根据本公开的教导的具有裂口缺陷的合成图像的若干示例。裂口缺陷用框指示符标识。图10A至图10B和图11A至图11C示出了裂口缺陷的缩放视图,并且可根据需要调整缩放比率。
另外地,用根据本公开的教导的检查系统识别的缺陷经受附加的审查和最终确认。与特定部件相关联的缺陷存储在训练数据库中并且用于形成该训练数据库。如果可能遗漏任何缺陷,则将此类遗漏缺陷添加到训练数据库。训练数据库将用于训练实施深度学习算法的神经网络,该深度学习算法存储在如图2所示的服务器5的存储器15中。缺陷结果被持续地监测和更新,并且反映在训练数据库中,以提高检查系统的准确度。
图12示出了根据本公开的教导的检查系统的另一个用户界面。用户界面1200准许用户或审查员检查缺陷。在一些形式中,用户界面1200还准许用户通过单击来缩放缺陷并且对图像亮度进行单击调整。用户界面1200显示动作按钮,包括批准、报废、警告等。如图12所示,在一些形式中,部件的批准被显示为“合格”按钮1210,部件的警告被显示为“返工”按钮1220,并且部件的报废被显示为“报废”按钮1230。在其他形式中,不同的动作菜单是可能的。
图13示出了根据本公开的教导的检查系统的另外一个用户界面。用户界面1300示出了在总部件(例如,如图13所示的面板)中缺陷的汇总计数。在一些形式中,可准实时更新缺陷的汇总计数。如图13所示,两个或更多个部件可与动作按钮一起显示,这准许由用户进行更快的处理。图13还示出了“遗漏缺陷”按钮1350,其允许用户将遗漏缺陷(如果有的话)输入并记录到相关存储设备中并且形成数据库。
如上所述,可用通过深度学算法实施的人工智能(AI)执行检查系统和方法。针对门洞面板的三十二(32)个样本,执行了测试,并且审查了AI置信度分数和AI通过/失败结果。三十二(32)个样本包括二十二(22)个已知的有缺陷面板和十(10)个已知的良好面板。所使用的有缺陷面板包括范围为从淡的白线到非常大的裂口的缺陷。观察到,根据本公开的教导的检查系统通过了AI领域中已知的可变和属性量规研究。还观察到,在审查来自检查系统的结果时,由检查系统得出的检查结果和由审查员得出的检查结果匹配高于96%准确度。
根据本公开的教导的部件检查系统和方法提供了一种用来自相机的2-D图像数据在高生产速度下标记可能有缺陷部件的自动检查系统。部件检查系统通过消除手动检查的可变性来提高检查品质。相关的这些和其他优点可通过本公开的部件检查系统/方法来实现。
除非本文另有明确指示,否则指示机械/热性质、组成百分比、尺寸和/或公差或其他特性的所有数值在描述本公开的范围时应理解为由词语“约”或“大约”修饰。出于各种原因期望进行这种修饰,所述原因包括:工业实践;材料、制造和组装公差;以及测试能力。
在本申请中,术语“控制器”和/或“模块”可指、可以是以下的部分或可包括:专用集成电路(ASIC);数字、模拟或混合模拟/数字离散电路;数字、模拟或混合模拟/数字集成电路;组合逻辑电路;现场可编程门阵列(FPGA);执行代码的处理器电路(共享、专用或群组);存储由处理器电路执行的代码的存储器电路(共享、专用或组);提供所描述的功能的其他合适的硬件部件,诸如但不限于移动驱动器和系统、收发器、路由器、输入/输出接口硬件等;或上述的一些或全部的组合,诸如在片上系统中。
术语存储器是术语计算机可读介质的子集。如本文所使用的术语计算机可读介质不涵盖通过介质(诸如在载波上)传播的暂时性电信号或电磁信号;因此,术语计算机可读介质可被认为是有形的和非暂时性的。非暂时性有形计算机可读介质的非限制性示例为非易失性存储器电路(诸如快闪存储器电路、可擦除可编程只读存储器电路或掩模只读电路)、易失性存储器电路(诸如静态随机存取存储器电路或动态随机存取存储器电路)、磁性存储介质(诸如模拟磁带或数字磁带或硬盘驱动器)以及光学存储介质(诸如CD、DVD或蓝光光盘)。
本申请中所描述的设备和方法可由专用计算机部分地或完全地实施,所述专用计算机通过将通用计算机配置为执行计算机程序中体现的一种或多种特定功能来创建。功能框、流程图组成部分和上文描述的其他要素用作软件规范,所述软件规范可通过技术人员或程序员的常规工作来转译成计算机程序。
本公开的描述本质上仅是示例性的,并且因此不脱离本公开的实质的变型意图在本公开的范围内。不应将此类变型视为脱离本公开的精神和范围。
根据本发明的一个实施例,上述发明的特征还在于:多个LED条形灯,所述多个LED条形灯安装在一排平台上;以及多个LED漫射灯,所述多个LED漫射灯与所述一排平台相邻地布置;其中所述多个LED条形灯和所述多个LED漫射灯为相机的操作提供照明。
根据本发明的一个实施例,所述多个LED条形灯安装在所述平台的下表面上,并且所述多个LED漫射灯安装在相邻两排的所述平台之间的空间中。
根据本发明,一种汽车部件的检查方法包括:用在输送机结构的入口点处或与其相邻地安装在所述输送机结构的预定区域之上的一排相机捕获选定的部件的图像数据并且生成数据集;由控制器生成所述选定的部件的合成图像;由所述控制器经由基于人工智能的训练基于所述合成图像的比较来确定是否存在异常;在检测到所述异常时,基于预存储异常模板的坐标系来识别所述异常的存在或不存在以及所述异常的位置,其中所述异常包括裂口、毛刺、划痕或压痕中的一者或多者;以及由所述控制器以生产速度在用户界面上生成所述选定的部件、在所述选定的部件的某一位置处的异常和所述异常的缩放视图的显示。
根据一个实施例,上述发明的特征还在于:在生产速度下生成提示或提醒从生产线取走所述选定的部件的输出。
Claims (15)
1.一种用于汽车部件的检查系统,所述检查系统包括:
一个或多个多维相机,所述一个或多个多维相机被配置为捕获对应于选定的汽车部件的图像,其中所述相机生成对应于所述选定的汽车部件的相同或不同部分的图像的数据集;
控制器,所述控制器可通信地耦合到所述相机以从所述相机接收所述数据集;
输送机结构,所述输送机结构可操作以运输所述选定的汽车部件;并且
其中所述相机通过所述控制器同步和触发以捕获所述选定的汽车部件的所述图像;
其中所述控制器被配置为:
基于所述数据集来生成所述选定的汽车部件的合成图像;
经由基于人工智能的训练基于所述选定的汽车部件的所述合成图像来识别缺陷的存在或不存在;以及
关于所述选定的汽车部件确定是否存在异常;以及
在所述选定的汽车部件从所述输送机结构被取走之前,生成指示所述选定的汽车部件具有或不具有异常的输出。
2.如权利要求1所述的检查系统,所述检查系统还包括一排一个或多个平台,所述一排一个或多个平台安装在所述输送机结构的入口点处或与其相邻地安装,每个平台与邻近平台间隔开并且具有安装在其上的多个相机,
所述一排一个或多个平台被布置成与所述输送机结构平行,使得所述相机面向在所述输送机结构上运输的所述选定的汽车部件并且捕获其图像;并且
其中所述相机经由光幕被同步并且基本上同时地触发以捕获所述选定的汽车部件的所述图像。
3.如权利要求1所述的检查系统,其中所述控制器还被配置为在检测到所述异常时,通过映射到所述合成图像的原始部件坐标系来在生产速度下识别所述异常的位置。
4.如权利要求3所述的检查系统,其中所述控制器还被配置为在所述生产速度下在用户界面上显示具有异常的所述选定的汽车部件以及所述异常的位置。
5.如权利要求1所述的检查系统,其中所述控制器还被配置为经由基于人工智能的训练识别所述异常的类别。
6.如权利要求1所述的检查系统,所述检查系统还包括发光二极管(LED)故障指示器,所述LED故障指示器安装在所述输送机结构中并且在一定方向上延伸,所述输送机结构沿着所述方向延伸。
7.如权利要求6所述的检查系统,其中所述LED故障指示器被配置为:
在确定所述选定的汽车部件正常时输出第一颜色;以及
在确定所述选定的汽车部件有缺陷时输出第二颜色。
8.如权利要求6所述的检查系统,其中所述LED故障指示器还包括一系列LED灯,并且以所述第二颜色输出的LED光在有缺陷部件在所述输送机结构上运输时跟随所述有缺陷部件。
9.如权利要求1所述的检查系统,其中所述控制器还被配置为生成显示所述选定的汽车部件和所述选定的汽车部件的缺陷的缩放视图的输出。
10.如权利要求9所述的检查系统,其中所述控制器还被配置为生成包括以下项的输出:
在确定所述选定的部件有缺陷时提示所述选定的汽车部件的报废的选择的菜单;
并排的两个或更多个选定的汽车部件;
选定的汽车部件的总计数;以及
有缺陷部件的总计数;
其中所述控制器被配置为在准实时基础上更新所述输出。
11.一种汽车部件的检查方法,所述方法包括:
在输送机结构上运输选定的汽车部件;
将相机网络布置成与所述输送机结构相对并平行;
随着所述选定的汽车部件进入所述输送机结构,用所述相机网络以同步方式捕获所述选定的汽车部件的图像数据来获得数据集;
在可通信地耦合到所述相机的控制器处接收来自所述相机的所述图像数据;
基于来自所述相机的所述图像数据来生成合成图像;
由包括深度学习网络的所述控制器基于从所述合成图像的识别来确定关于所述选定的汽车部件确定是否存在异常,以及
在所述选定的汽车部件从所述输送机结构被取走之前,由所述控制器生成指示所述选定的汽车部件具有或不具有异常的输出。
12.如权利要求11所述的检查方法,所述检查方法还包括在检测到所述异常时,通过映射到所述合成图像的原始部件坐标系来在生产速度下识别所述异常的位置。
13.如权利要求11所述的检查方法,所述检查方法还包括经由基于人工智能分类的训练来识别所述异常的类别。
14.如权利要求11所述的检查方法,其中生成所述输出还包括在所述生产速度下在用户界面上显示具有异常的所述选定的汽车部件以及所述异常的位置。
15.如权利要求11所述的检查方法,所述检查方法还包括响应于所述异常存在而在生产速度下在用户界面屏幕上显示所述输出,其中所述输出包括所述异常的缩放视图和提示所述选定的汽车部件的报废的菜单按钮。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/225,404 | 2021-04-08 | ||
US17/225,404 US11475553B1 (en) | 2021-04-08 | 2021-04-08 | Production-speed component inspection system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115205670A true CN115205670A (zh) | 2022-10-18 |
Family
ID=83361977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210313308.6A Pending CN115205670A (zh) | 2021-04-08 | 2022-03-28 | 生产速度部件检查系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11475553B1 (zh) |
CN (1) | CN115205670A (zh) |
DE (1) | DE102022107133A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105069807B (zh) | 2015-08-28 | 2018-03-23 | 西安工程大学 | 一种基于图像处理的冲压工件缺陷检测方法 |
WO2018175999A1 (en) * | 2017-03-23 | 2018-09-27 | Avis Budget Car Rental, LLC | System for managing fleet vehicle maintenance and repair |
US10421736B2 (en) | 2017-07-20 | 2019-09-24 | Eastman Chemical Company | Production of purified dialkyl-furan-2,5-dicarboxylate (DAFD) in a retrofitted DMT plant |
KR102579904B1 (ko) | 2018-01-31 | 2023-09-19 | 삼성전자주식회사 | 비전 검사 관리 방법 및 비전 검사 시스템 |
CN110569699B (zh) * | 2018-09-07 | 2020-12-29 | 创新先进技术有限公司 | 对图片进行目标采样的方法及装置 |
CN111462120B (zh) | 2020-06-17 | 2020-09-29 | 熵智科技(深圳)有限公司 | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 |
KR20210157000A (ko) * | 2020-06-19 | 2021-12-28 | 현대자동차주식회사 | 차량 하부 검사 시스템 및 그 방법 |
-
2021
- 2021-04-08 US US17/225,404 patent/US11475553B1/en active Active
-
2022
- 2022-03-25 DE DE102022107133.2A patent/DE102022107133A1/de active Pending
- 2022-03-28 CN CN202210313308.6A patent/CN115205670A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11475553B1 (en) | 2022-10-18 |
DE102022107133A1 (de) | 2022-10-13 |
US20220327681A1 (en) | 2022-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10878283B2 (en) | Data generation apparatus, data generation method, and data generation program | |
US9471057B2 (en) | Method and system for position control based on automated defect detection feedback | |
US10297021B2 (en) | Defect quantification method, defect quantification device, and defect evaluation value display device | |
CN114972180A (zh) | 用于预测在装配单元中的缺陷的方法 | |
CN102529019B (zh) | 一种模具检测、保护及零件检测、摘取的方法 | |
CN112088387A (zh) | 检测成像物品缺陷的系统和方法 | |
JP2019211288A (ja) | 食品検査システムおよびプログラム | |
US11313765B2 (en) | Systems and methods for remote visual inspection and emissions testing of vehicles | |
CN115144399B (zh) | 一种基于机器视觉的装配质量检测方法及装置 | |
CN113111903A (zh) | 智能产线监测系统及监测方法 | |
US11769248B2 (en) | Image processing device, image processing method, and image processing non-transitory computer readable medium for verifying detectable range of defect image | |
CN113284094A (zh) | 获取玻璃基板缺陷信息的方法、装置、存储介质及设备 | |
US20220284699A1 (en) | System and method of object detection using ai deep learning models | |
US20220164937A1 (en) | Manufacturing management method | |
CN108133900A (zh) | 一种缺陷扫描机台及其缺陷自动分类方法 | |
CN115205670A (zh) | 生产速度部件检查系统和方法 | |
CN116840240A (zh) | 电源分配器视觉检测系统 | |
CN117120951A (zh) | 生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置 | |
US20240104715A1 (en) | Production-speed component inspection system and method | |
JP2006226834A (ja) | 表面検査装置、表面検査の方法 | |
WO2024065189A1 (en) | Method, system, apparatus, electronic device, and storage medium for evaluating work task | |
JP7496080B2 (ja) | 工作機械 | |
Sarkar et al. | Image processing based product label quality control on FMCG products | |
TWI745131B (zh) | 印刷電路板良率和生產設備錯誤率之回溯方法及其系統 | |
JP2013003688A (ja) | 不良要因検知装置および不良要因検知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |