CN113822840A - 车辆车底的检查系统及方法 - Google Patents

车辆车底的检查系统及方法 Download PDF

Info

Publication number
CN113822840A
CN113822840A CN202011560043.7A CN202011560043A CN113822840A CN 113822840 A CN113822840 A CN 113822840A CN 202011560043 A CN202011560043 A CN 202011560043A CN 113822840 A CN113822840 A CN 113822840A
Authority
CN
China
Prior art keywords
vehicle
inspection
image
underbody
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011560043.7A
Other languages
English (en)
Inventor
李康旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN113822840A publication Critical patent/CN113822840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/005—Inspection and final control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Manufacturing & Machinery (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种车辆车底的检查系统及方法，所述检查系统包括：车辆识别单元，其用于通过识别进入检查过程的车辆来获取车辆ID；视觉系统，其通过设置在车辆移动方向(Y轴)下方并且沿车辆的宽度方向(X轴)以竖直和成角度设置的多个摄像机拍摄车辆车底；以及检查服务器，其通过获取车辆车底图像，执行通过基于规则的算法将每个组件的对象图像进行匹配的第一视觉检查或通过深度学习引擎的二次深度学习检查的至少一个，从而检测组件的组装缺陷，所述车辆车底图像通过以根据车辆ID适合于车辆类型和规格的设置信息操作视觉系统而拍摄。

Description

车辆车底的检查系统及方法
相关申请的交叉引用
本申请要求2020年6月19日在韩国知识产权局提交的韩国专利申请No.10-2020-0074743的权益，其全部内容通过引用纳入本文。
技术领域
本发明涉及一种车辆车底的检查系统及车辆车底的检查方法，更具体地，涉及用于自动地检查在工厂中组装的车辆的车底的检查系统及方法。
背景技术
通常，车辆在工厂中通过多条生产线进行组装，并且在完成阶段检查车辆的组装状态。
例如，当组装的车辆进入车辆车底检查过程时，通过位于坑内的操作员用肉眼向上看的动作来检查车辆的车底组件的组装状态。另外，检查结束后，操作员手动地准备检查结果表。
然而，传统的车辆车底的检查方法要求在车辆下方设置的坑中进行持续且重复的向上看的动作，因此，操作员的脖子和肩膀可能会发生肌肉骨骼疾病。
此外，存在由于操作员的向上看的动作而导致的疲劳增加的问题，并且，由于传统检查方法导致的人为错误的发生，可能会增加由于缺陷车辆的后处理流出和分配而导致的质量下降和客户不满意。
此外，在将来发生问题时，依靠操作员所准备的检查结果表，除了直接检查车辆的操作员之外，难以检查出确切原因。
公开于背景技术部分的上述信息仅仅旨在加深对本申请背景技术的理解，因此其可以包含的信息并不构成在本国已为本领域技术人员所公知的现有技术。
发明内容
本发明的示例性实施方案提供一种车辆车底的检查系统及检查方法，其通过利用各种拍摄角度的视觉系统获取车辆车底图像并基于深度学习对图像进行分析，从而自动地检测组件的组装缺陷。
根据本发明的示例性实施方案，一种生产线过程(in-line process)中的车辆车底的检查系统包括：车辆识别单元，其用于通过识别进入检查过程的车辆来获取车辆ID；视觉系统，其通过设置在车辆移动方向(Y轴)下方并且沿车辆宽度方向(X轴)以竖直和成角度设置的多个摄像机拍摄车辆车底；以及检查服务器，其通过获取车辆车底图像，执行通过基于规则的算法将每个组件的对象图像进行匹配的第一视觉检查或通过深度学习引擎的二次深度学习检查的至少一个，从而检测组件的组装缺陷，所述车辆车底图像通过以根据车辆ID适合于车辆类型和规格的设置信息操作视觉系统而拍摄。
所述视觉系统可以包括：多个竖直摄像机，其在基座的上表面上沿宽度方向等间隔地设置，并且拍摄车辆车底的水平组装部件；倾斜摄像机，其在两侧成角度设置在基座上，以获得轮胎内侧的车轮容纳部分(wheel housing part)图像；以及摄像机控制器，其通过根据检查服务器的操作指令驱动所述多个竖直摄像机和所述倾斜摄像机来拍摄车底(例如，移动车辆的车底)的整个区域，并且将所拍摄的车辆车底发送到所述检查服务器。
所述多个摄像机可以应用为用于校正每一帧的检查周期时间和检查位置的区域扫描摄像机类型。
所述多个摄像机可以应用为全局快门类型以拍摄车辆车底(例如，移动车辆的车底)。
所述视觉系统可以包括配置在基座的上表面上的LED平板灯和配置在每个倾斜摄像机的安装表面上的LED环形灯，并且每个灯通过偏振滤光片过滤漫反射。
所述视觉系统可以通过包括至少一个伺服电机的倾斜摄像机安装单元调节每个倾斜摄像机的倾斜角度(θ)，并且改变上/下方向和左/右方向上的设置位置。
所述视觉系统可以进一步包括用于竖直地改变设置有多个摄像机的基座的位置的竖直升降器。
所述视觉系统可以安装为根据设备环境通过安装在下部的线性运动(LM)引导类型的前后移动装置往复移动。
所述检查服务器可以包括：通信单元，其包括用于与车辆识别单元和视觉系统通信的至少一个有线/无线通信装置；图像处理单元，其对于竖直摄像机和倾斜摄像机的每个ID，区分并存储在相同时间点拍摄的车辆车底图像；数据库(DB)，其存储用于车辆车底检查的各种程序和数据，并且通过将每个车辆ID的检查结果数据与相应的图像进行匹配来存储DB形式的数据；以及控制器，其对车辆车底图像进行分析，以检测组件的组装状态和缺陷，但是，对于第一视觉检查结果为正常的车辆，省略二次深度学习检查，而仅对第一视觉检查结果不良的车辆执行二次深度学习检查。
所述图像处理单元可以通过匹配由多个摄像机ID捕获的图像来生成单个车辆车底图像，通过对车辆车底图像的预处理工作来调节噪声和亮度，并且去除背景，以提取每个组件的感兴趣区域(ROI)。
所述控制器可以对车辆车底图像执行根据车辆位置的ROI校正，识别车辆车底图像中每个组件(即，整个图像)的对象图像，并且以对象图像为单位执行ROI的位置校正。
所述控制器可以将对象图像转换为灰度图，通过模板匹配来比较每个角度的区域特征值，根据比较提取匹配得分，如果匹配得分小于预定参考值，则确定为有缺陷。
所述控制器可以将ROI划分为根据组件的特性定义的多个区域，并利用标签区分所划分的区域，并且将标签所划分的每个区域的标签比率与参考比率进行比较，以确定组件是否有组装缺陷。
所述控制器可以将标签所划分的区域中的标签比率进行相互比较，从而根据省略任何一个标签比率时发生变化的比率来确定组件是否有组装缺陷。
深度学习引擎可以仅对于作为第一视觉检查结果为有缺陷的图像利用卷积神经网络(CNN)来分析图像，并且在标记(label)了正常组件和缺陷组件之后进行学习。
所述深度学习引擎可以根据所分析的图像中是否存在组件来确定所述组件是否是有缺陷的，并且将与正常组件相似的背景的图像确定为有缺陷。
另一方面，根据本发明的一方面，一种车辆车底的检查方法，其为生产线过程(in-line process)中的车辆车底的检查系统检查进入检查过程的车辆的车底的方法，所述方法包括：a)通过进入检查过程的车辆的条形码或无线通信天线获得车辆ID；b)通过驱动设置在车辆移动方向(Y轴)下方的视觉系统来拍摄车辆车底，其中，多个摄像机沿着车辆宽度方向(X轴)以竖直和成角度设置；c)通过获取车辆车底图像，通过基于规则的算法执行每个组件的对象图像的第一视觉检查；d)省略对于第一视觉检查结果为正常的车辆的二次深度学习检查，并且仅对于第一视觉检查结果显示为有缺陷的车辆通过深度学习引擎执行二次深度学习检查，以确定组件是否是有缺陷的。
执行第一视觉检查可以包括：对车辆车底图像执行根据车辆位置的感兴趣区域(ROI)校正，对车辆车底图像中每个组件(即，整个图像)进行对象图像识别，并且以对象图像为单位进行ROI位置校正；将对象图像转换为灰度图，通过模板匹配来比较每个角度的区域特征值，根据比较提取匹配得分，如果匹配得分小于预定参考值，则确定为有缺陷；将ROI划分为根据组件的特性定义的多个区域，通过标签区分所划分的区域，并且将标签所划分的每个区域的标签比率与参考比率进行比较，以确定组件是否有组装缺陷；将标签所划分的区域中的标签比率进行相互比较，并且根据省略一个标签比率时变化的比率来确定组件是否有组装缺陷。
执行深度学习检查可以包括：仅对于第一视觉检查结果为有缺陷的图像利用卷积神经网络(CNN)来分析图像；根据所分析的图像中是否存在组件来确定所述组件是否是有缺陷的，并且将与正常组件相似的背景的图像确定为有缺陷。
在步骤d)之后，可以进一步包括：在屏幕上显示确定为最终缺陷的结果，向操作员发送警报，并且将包括车辆ID和缺陷发生位置、组件项、检查时间和对象图像的检查结果数据存储在DB中。
根据本发明的示例性实施方案，具有这样的效果：通过各种拍摄角度的视觉系统检查车辆的车底，可以防止根据常规的操作员肉眼检查导致的肌肉骨骼疾病和人为错误。
另外，通过基于适合于各种车辆类型/规格的视觉系统的精确设置和深度学习数据，基于客观和量化的数据确定是否产生缺陷，具有提高检查的可靠性并减少现场索赔成本(claim cost)的效果。
另外，通过将车辆的基于图像的车辆车底检查结果存储到数据库中，能够预测当时的组装问题，并且通过将其用作用于校正缺陷的发生频率较频繁的过程中组装缺陷原因和组装缺陷过程的基础，可以期望提高工厂中的组装质量和生产数量。
附图说明
图1和图2为示出根据本发明的示例性实施方案的从侧面(X轴)和正面(Y轴)观察的车辆车底的检查系统的配置的示意图。
图3为示意性地示出根据本发明的示例性实施方案的视觉系统的配置的示意图。
图4为示出根据本发明的示例性实施方案的车辆的车底的检查组件的列表的示意图。
图5为示意性地示出根据本发明的示例性实施方案的车辆车底的检查方法的流程图。
图6为详细地示出根据本发明的示例性实施方案的车辆车底的检查方法的第一检查过程和第二检查过程的示意图。
图7为示出根据本发明的示例性实施方案的第一检查过程和第二检查过程的运行机制的示意图。
图8为示出根据本发明的示例性实施方案的第二深度学习检查分析方法的示意图。
图9为示意性示出根据本发明的示例性实施方案的检查结果数据NG的示意图。
图10和图11为示出根据本发明的另一个示例性实施方案的车辆车底的检查系统的配置的示意图。
具体实施方式
应当理解，本文所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非化石的能源的燃料)。正如本文中所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。
本文所使用的术语仅为了描述具体实施方案的目的，并不旨在限制本发明。正如本文所使用的，单数形式“一”、“一个”和“所述”旨在也包括复数形式，除非上下文另有明确指示。应当进一步理解，当在本说明书中使用术语“包含”和/或“包括”时，指明存在所述特征、数值、步骤、操作、元件和/或组件，但是不排除存在或添加一种或多种其他的特征、数值、步骤、操作、元件、组件和/或其群组。正如本文所述的，术语“和/或”包括一种或更多种相关列举项的任何和所有组合。在整个说明书中，除非明确地相反描述，否则术语“包括”和变化形式例如“包含”或“包括有”应被理解为暗示包含所述元件但是不排除任何其它元件。此外，在说明书中描述的术语“单元”，“器”，“部”和“模块”意为用于执行至少一个功能和操作的单元，并且可以由硬件组件或者软件组件以及它们的组合来实现。
此外，本申请的控制逻辑可以实施为计算机可读介质上的非瞬态计算机可读介质，其包含由处理器、控制器等执行的可执行程序指令。计算机可读介质的示例包括但不限于ROM、RAM、光碟(CD)-ROM、磁带、软盘、闪盘驱动器、智能卡和光学数据存储设备。计算机可读介质还可以分布在网络连接的计算机系统上，使得计算机可读介质例如通过远程信息处理服务器或控制器局域网(Controller Area Network，CAN)以分布方式存储和执行。
在下文的详细说明中，仅简单地通过说明示出和描述本发明的某些示例性实施方案。本领域技术人员将意识到，可以对所描述的实施方案进行各种不同方式的修改，所有这些修改将不脱离本发明的精神或范围。相应地，附图和说明书应当被认为本质上是说明性的而非限制性的。在整个说明书中，相同的附图标记表示相同的元件。
在整个说明书中，诸如第一、第二、“A”、“B”，“(a)”，“(b)”等术语仅用于描述各个元件，而不应解释为限制这些元件。这些术语仅用于区分构成元件与其他构成元件，并且构成元件的性质或顺序不受这些术语的限制。
在本说明书中，应当理解，当一个组件被称为“连接”或“联接”到另一个组件时，该组件可以直接连接或联接到另一个组件，也可以通过插入其间的其他组件连接或联接到另一个组件。在本说明书中，应当理解，当一个组件被称为“直接连接或直接联接”到另一组件时，该组件可以连接或联接到另一组件，而没有其他组件插入其间。
现在，参考附图描述根据本发明的示例性实施方案的车辆车底的检查系统及检查方法。
图1和图2为示出根据本发明的示例性实施方案的从侧面(X轴)和正面(Y轴)观察的车辆车底的检查系统的配置的示意图。
参考图1和图2，根据本发明的示例性实施方案的车辆车底的检查系统包括车辆识别单元10、视觉系统20以及检查服务器30。
车辆识别单元10识别安装在作为生产线过程(in-line process)移动装置的吊架(例如，输送机)上的车辆进入了车辆检查过程。
车辆识别单元10可以利用条形码扫描器11和无线通信天线12中的至少一种来实现。
条形码扫描器11识别附着在车辆上的条形码，并且将进入的车辆的ID(例如，车辆识别号码(VIN：vehicle identification number))发送到检查服务器30。条形码扫描器11可以是固定在条形码的附着位置上的自动扫描器，也可以是操作员所使用的手动扫描器。
无线通信天线12可以是定向天线，并且根据进入车辆检查过程的车辆上安装的无线OBD的接入来识别车辆进入，从而将通过无线通信接收到的车辆ID(例如，VIN)发送到检查服务器30。另外，车辆识别单元10还可以包括车辆检查传感器(未示出)，所述车辆检查传感器通过超声波或激光信号检查车辆是否进入并且检查未安装有车辆的吊架。
视觉系统20设置在车辆移动方向(Y轴)的下部，并且通过根据车辆的宽度方向(X轴)而设置在不同角度的多个摄像机22a和22b来拍摄车辆车底。
对于摄像机22a和22b，可以应用区域扫描类型的摄像机以校正每一帧的检查周期时间和检查位置。另外，摄像机22a和22b可以应用具有快速帧速和高分辨率的全局快门方法来拍摄快速移动的车辆的车底。
图3为示意性地示出根据本发明的示例性实施方案的视觉系统的配置的示意图。
参考图3，根据本发明的示例性实施方案，视觉系统20具有在基座21的上表面上沿宽度方向(X轴)等间距地设置的四个竖直摄像机22a，以及在基座21的侧面上沿预定方向(例如，从基座的底部向上倾斜预定角度的方向)倾斜的两个倾斜摄像机22b。这里，四个竖直摄像机22a获取车辆的车底的水平组装部件的图像，并且两个倾斜摄像机22b分别捕获成角度的轮胎内侧的车轮容纳部分的图像。
另外，视觉系统20包括设置在基座21的上表面上的LED平板灯23a和设置在倾斜摄像机22b的安装表面上的LED环形灯23b。LED平板灯23a和LED环形灯23b可以通过相比于检查目标增大光尺寸来抑制直接光方法中的漫反射，并且通过偏振滤光片使漫反射最小化。
视觉系统20利用四个竖直摄像机22a和两个倾斜摄像机22b拍摄车辆的车底的整个区域。此时，视觉系统20确保与实际车辆相比约400mm或更大的可拍摄区域，以应对诸如车辆类型、规格、组件分布和吊架就位状态的各种变化。
视觉系统20可以通过包括至少一个伺服电机的倾斜摄像机安装单元24来调节倾斜摄像机22b的倾斜角度(θ)，并且调节上/下和左/右设置位置。
另外，视觉系统20可以通过竖直升降器25竖直地调节设置有多个摄像机22a和22b的基座21的位置。
摄像机控制器26控制视觉系统20的整体操作，并且为此目的在壳体内部包括至少一个微控制器单元(MCU)、硬件、软件、存储器和通信装置。
摄像机控制器26根据检查服务器30的操作指令驱动视觉系统20以拍摄车辆的车底的整个区域，并且将捕获的车辆车底图像发送到检查服务器30。
通过进一步包括安装在摄像机控制器26下方的LM(线性运动)引导类型的前后移动装置27，视觉系统20可以安装为根据设备环境沿着车辆的移动方向(Y轴方向)可移动。
视觉系统20不限于上述摄像机和灯的数量，而是可以根据车辆的检查条件/环境而改变。
参考图2，根据本发明的示例性实施方案的检查服务器30包括通信单元31、图像处理单元32、数据库(DB)33以及控制器34。
通信单元31包括至少一个用于与车辆识别单元10和视觉系统20进行通信的有线/无线通信装置。
当识别到车辆进入时，控制器34通过通信单元31将操作指令发送到视觉系统20，并且接收由视觉系统20捕获的车辆车底图像。
图像处理单元32对于视觉系统20的竖直摄像机22a和倾斜摄像机22b的每个ID在相同时间点捕获的车辆车底图像进行划分，并将它们存储在数据库33中。
图像处理单元32通过匹配多个竖直摄像机22a和倾斜摄像机22b的每个ID所拍摄的图像来生成单个车辆车底图像。
图像处理单元32通过车辆车底图像的预处理工作来调节图像中包括的噪声和图像的亮度，并且去除背景以提取每个组件的感兴趣区域(region of interest，ROI)。
图4为示出根据本发明的示例性实施方案的车辆的车底的检查组件的列表的示意图。
参考图4，车辆的车底包括各种组件，例如，底盖、传动组件、防倾杆、消声器紧固件和拉杆等作为车辆的主要检查组件，这些组件可以根据车辆类型和规格改变。检查类型包括是否安装了车辆车底组件、所述车辆车底组件是否接合、是否为不同的规格、组件间距、损坏和泄漏。
根据本发明的示例性实施方案，DB 33存储用于车辆车底检查的各种程序和数据，并通过将每个车辆ID的检查结果数据与相应的图像进行匹配来生成数据库。即，DB 33通过基于检查结果数据存储车辆的车底组件的缺陷发生位置、缺陷发生类型、缺陷发生时间、缺陷发生过程等，根据统计数据来确保质量管理，并且可以用作组件缺陷原因和基于此的组件缺陷处理校正的基础。
控制器34控制车辆车底的检查系统的整体操作，所述车辆车底的检查系统通过对利用根据本发明的示例性实施方案的视觉系统20获取的车辆车底图像进行分析来自动地检测组件的组装状态和组件的缺陷发生。
为此，控制器34可以实现为由预定程序操作的至少一个处理器，所述预定程序可以编程为执行根据本发明的示例性实施方案的车辆车底的检查方法中的每个步骤。
参考下面的附图描述车辆车底的检查方法，但是由此具体说明了控制器34的特征。
图5为示意性地示出根据本发明的示例性实施方案的车辆车底的检查方法的流程图。
图6为详细地示出根据本发明的示例性实施方案的车辆车底的检查方法的第一检查过程和第二检查过程的示意图。
图7为示出根据本发明的示例性实施方案的第一检查过程和第二检查过程的运行机制的示意图。
首先，参考图5，根据本发明的示例性实施方案的检查服务器30的控制器34从车辆识别单元10接收车辆ID以识别车辆的进入(S1)。
控制器34基于对应于车辆ID的设置信息，通过操作视觉系统20来拍摄车辆的车底(S2)。此时，控制器34可以从生产信息系统(MES)或DB 33查询与车辆ID相匹配的车辆类型和规格，并且施加操作指令，以利用摄像机和与其对应的光的设定值来设定视觉系统20。
控制器34接收根据视觉系统20的操作而拍摄的车辆车底图像(S3)。在这种情况下，控制器34可以通过图像处理单元32执行车辆车底图像的预处理工作，并且提取每个组件的ROI。
作为第一步骤，控制器34进行第一视觉检查分析，该第一视觉检查分析通过基于规则的算法来分析通过图像处理单元32获取的图像(S5)。
参考图6和图7详细描述第一视觉检查分析过程。
控制器34对车辆车底图像执行根据车辆位置的总体ROI校正(S41)。此时，控制器34可以通过以帧为单位利用整个图像，执行根据车辆位置的ROI校正。
在组装车辆时，由于诸如螺栓的接合组件的油漆可能会剥落，或者每个组件都会发生生产偏差或组装偏差，因此控制器34可以从整个图像中提取每个组件的对象图像，并且以对象图像为单位进行ROI的位置校正(S42)。
控制器34将对象图像转换为灰度图，并且通过转换为灰度图的对象图像与预定模板的模板匹配，比较每个角度的预定区域的特征值(S43)。即，控制器34可以将对象图像的每个角度的预定区域(例如，每20度的预定区域)的特征与模板的每个角度的预定区域的特征进行比较。此时，控制器34可以根据上述比较来提取匹配得分，如果匹配得分小于预定参考值，则确定匹配有缺陷。
控制器34可以通过预先生成参考对象图像的每个划分区域中的边缘像素的方向的直方图作为模板来进行直方图匹配。该直方图匹配方法适合于内部图案不复杂而对象图像的外部轮廓信息具有唯一信息的物体或车辆组件的识别。然而，诸如螺栓的组件的头部具有多边形(正方形、六边形等)形状，并且在接合时会旋转，因此在模板匹配的情况下，可能会影响检查率。因此，控制器34可以通过计算对象图像的每个角度的预定区域的平均像素来将匹配率与模板进行比较。
控制器34将ROI划分为根据组件的特性定义的多个区域，并且利用标签区分所划分的区域(S44)。例如，诸如底盖的组件在部件上具有用于组装工作的油漆标记，在底盖的特定ROI内，所述油漆标记可以划分为车身标签(标签1)、油漆标记标签(标签2)和螺栓颜色标签(标签3)，因此，ROI的区域可以划分到每个标签。
控制器34将标签所划分的每个区域的标签比率与每个预定参考比率进行比较(S45)。例如，车身标签、油漆标记标签和螺栓颜色标签可以以预定比率存在于标签所划分的区域中。在标签所划分的区域中，可以有50％的车身标签、30％的油漆标记标签和20％的螺栓颜色标签。因此，控制器34可以将车身标签(标签1＝50％)、油漆标记标签(标签2＝30％)和螺栓颜色标签(标签3＝20％)的每个比率与标签所划分的区域中的每个参考比率进行比较。通过比较所述比率，可以通过标签比率与参考比率的偏差来确定是否存在缺陷。
另外，控制器34将标签所划分的区域中的每个标签比率进行相互比较(S46)。例如，通过将标签所划分的区域中的车身标签比率(标签1＝50％)与螺栓颜色标签比率(标签3＝20％)进行相互比较，可以根据缺少接合组件时改变的比率来确定是否存在缺陷。
另外，控制器34可以通过梯度直方图(histogram of gradient，HOG)算法将每个角度的预定区域中的像素的矢量分量(大小和方向)与参考值进行比较，以将小于预定值确定为缺陷(S47)。
再次参考图5，如果在如上所述执行第一视觉检查分析之后确定为OK而没有任何缺陷(S5；是)，则控制器34在屏幕上显示车辆车底检查结果(OK)(S6)。然后，控制器34将检查结果数据转换并存储在DB中(S10)。此时，如果在第一视觉检查分析中确定出车辆正常，控制器34结束检查而不进行随后描述的二次深度学习检查。
这是因为：由于在车辆经过视觉系统20后的几秒钟内输出第一视觉检查结果的过程内的周期时间，对所有车辆进行二次深度学习检查需要大量的计算负荷和大量时间。
另一方面，当车辆由于不良的组装而进入维修过程时，通常将其从吊架上卸下并且操作员不得不再次将其抬升进行重新检查以进行车辆的车底检查，因此存在工作繁琐并且需要大量劳动的缺点。
因此，根据本发明的示例性实施方案的控制器34不会立即将第一检查中确定为有缺陷的车辆传送到修理工序，并且利用二次深度学习检查分析来进行验证。
也就是说，如果确定出第一视觉检查分析的结果为有缺陷(NG)(S5；否)，控制器34在将车辆传送到修理工序之前进行二次深度学习检查分析(S7)。
这里，参考图6至图8详细描述二次深度学习检查分析过程。
图8为示出根据本发明的示例性实施方案的第二深度学习检查分析方法的示意图。
参考图6和图8，控制器34将确定为缺陷的图像发送到深度学习引擎34a(S71)，并且通过利用图像作为输入信息来操作适合于相应的组件的深度学习引擎34a(S72)。
深度学习引擎34a将输入的图像分离成相比于ROI预定尺寸(例如，1.5倍的尺寸)的单独的学习图像。此时，深度学习引擎34a通过利用卷积神经网络(convolutionalneural networks，CNN)来分析图像，但是可以通过将3×3尺寸的滤波器应用于输入图像来进行卷积运算。
深度学习引擎34a在标记(label)正常组件和具有缺陷的组件之后进行学习。在这种情况下，因为与正常情况相比，缺陷图像的数量有限(以具有或不具有组件来确定缺陷)，深度学习引擎34a可以学习与缺陷相似的背景的图像。
该深度学习引擎34a利用根据缺陷的存在/不存在来区分正常和缺陷而不检测有缺陷的组件的技术。即，仅确定以第一视觉检查分析的基于规则的算法而确定为有缺陷的图像是否存在额外的缺陷。
再次参考图5，如果上述二次深度学习检查分析的结果确定为正常(OK)(S8；是)，控制器34将确定为正常的最终车辆车底检查结果(OK)显示在屏幕上(S6)。然后，控制器34将检查结果数据存储在DB中(S10)。
另一方面，如果二次深度学习检查分析的结果确定为有缺陷，控制器34可以将确定为最终缺陷的车辆车底检查结果(NG)显示在屏幕上，并且可以警告操作员该车辆车底检查结果(S9)。然后，控制器34将检查结果数据存储在DB中(S10)。
图9为示意性示出根据本发明的示例性实施方案的检查结果数据NG的示意图。
参考图9，根据本发明的示例性实施方案的控制器34基于车辆车底检查结果图形化地显示车辆ID和车辆车底的缺陷发生位置，并且生成已经保存的相应的部件、位置、组件项、检查时间和图像的数据。
控制器34将生成的检查结果数据累积在DB 33中，并且将其存储在DB中，以根据统计数据确保质量管理，并且可以在将来用作用于校正缺陷的发生频率较频繁的过程中组装缺陷原因和组装缺陷过程的基础。
如上所述，根据本发明的示例性实施方案，具有如下效果：通过各种拍摄角度的视觉系统检查车辆的车底，可以避免根据常规的操作员肉眼检查导致的肌肉骨骼疾病和人为错误。
另外，通过基于适合于各种车辆类型/规格的视觉系统的精确设置和深度学习数据、根据客观和量化的数据来确定是否产生缺陷，具有提高检查的可靠性并减少现场索赔成本的效果。
另外，通过将车辆的基于图像的车底检查结果存储到数据库中，能够预测当时的组装问题，并且通过将其用作用于校正频繁发生缺陷的过程中的组装缺陷原因和组装缺陷过程的基础，可以期望提高工厂的组装质量和生产数量。
尽管以上已经描述了示例性实施方案，但是本发明不限于此，并且各种其他修改是可能的。
例如，在本发明的上述示例性实施方案中，已经描述了固定的视觉系统20安装在吊架上以拍摄移动的车辆的车底，但是，本发明不限于此，视觉系统20可以在移动的同时拍摄。
图10和图11为示出根据本发明的另一个示例性实施方案的车辆车底的检查系统的配置的示意图。
首先，参考图10，在上述示例性实施方案中，主要描述了将车辆安装在吊架上并且移动的过程，但是，根据各种处理方法，可以在车辆停在预定的检查位置的同时进行检查。
因此，当视觉系统20通过安装在底部的线性运动(LM)引导类型的前/后移动装置27在停止的车辆下方的空间中沿Y轴方向移动的同时，视觉系统20可以拍摄车辆的车底的整个区域。
另外，参考图11，视觉系统20安装在多关节机器人的端部操纵器上，并且可以在通过机器人的运动学姿态控制而移动的同时拍摄车辆的车底的照片，或者前/后移动装置27可以设置在机器人的底部，从而在移动的同时拍摄照片。
根据本发明，具有能够实现适用于生产线过程的各种环境条件的车辆车底的检查系统的优点。
上述本发明的实施方案不是仅通过方法和装置来实现，而是可以由用于执行对应于本发明的示例性实施方案的配置的功能的程序或者其上记录有该程序的记录介质来实现。通过上述示例性实施方案的描述，本领域普通技术人员可以实现这些实施方案。
虽然结合目前被视为是实际的示例性实施方案的内容来描述本发明，但是应该理解，本发明并不限于所公开的实施方案。相反，本发明旨在覆盖包括在所附权利要求的精神和范围之内的各种修改形式和等同设置。

Claims (20)

1.生产线过程的车辆车底的检查系统，包括：
车辆识别单元，其用于通过识别进入检查过程的车辆来获取车辆ID；
视觉系统，其通过设置在车辆移动方向下方并且沿车辆宽度方向以竖直和成角度设置的多个摄像机拍摄车辆车底，其中，所述车辆移动方向为Y轴方向，所述车辆宽度方向为X轴方向；以及
检查服务器，其通过获取车辆车底图像，执行通过基于规则的算法将每个组件的对象图像进行匹配的第一视觉检查或通过深度学习引擎的二次深度学习检查的至少一个，从而检测组件的组装缺陷，所述车辆车底图像通过以根据车辆ID适合于车辆类型和规格的设置信息操作视觉系统而拍摄。
2.根据权利要求1所述的生产线过程的车辆车底的检查系统，其中，所述视觉系统包括：
多个竖直摄像机，其在基座的上表面上沿宽度方向等间隔地设置，并且拍摄车辆车底的水平组装部件；
倾斜摄像机，其在两侧成角度设置在基座上，以获取轮胎内侧的车轮容纳部分图像；以及
摄像机控制器，其通过根据检查服务器的操作指令驱动所述多个竖直摄像机和所述倾斜摄像机来拍摄车辆车底的整个区域，并且将所拍摄的车辆车底图像发送到检查服务器。
3.根据权利要求1所述的生产线过程的车辆车底的检查系统，其中，所述多个摄像机应用区域扫描摄像机类型，以校正每一帧的检查周期时间和检查位置。
4.根据权利要求1所述的生产线过程的车辆车底的检查系统，其中，所述多个摄像机应用为拍摄车辆车底的全局快门类型。
5.根据权利要求2所述的生产线过程的车辆车底的检查系统，其中，所述视觉系统包括配置在基座的上表面上的LED平板灯和配置在每个倾斜摄像机的安装表面上的LED环形灯，并且每个灯通过偏振滤光片过滤漫反射。
6.根据权利要求2所述的生产线过程的车辆车底的检查系统，其中，所述视觉系统通过包括至少一个伺服电机的倾斜摄像机安装单元调节每个倾斜摄像机的倾斜角度，并且改变上/下方向和左/右方向上的设置位置。
7.根据权利要求6所述的生产线过程的车辆车底的检查系统，其中，所述视觉系统进一步包括竖直升降器，该竖直升降器用于竖直地改变设置有多个摄像机的基座的位置。
8.根据权利要求2所述的生产线过程的车辆车底的检查系统，其中，所述视觉系统安装为根据设备环境通过安装在下部的线性运动引导类型的前后移动装置往复移动。
9.根据权利要求2所述的生产线过程的车辆车底的检查系统，其中，所述检查服务器包括：
通信单元，其包括用于与车辆识别单元和视觉系统通信的至少一个有线/无线通信装置；
图像处理单元，其对于竖直摄像机和倾斜摄像机的每个ID，区分并存储在相同时间点拍摄的车辆车底图像；
数据库，其存储用于车辆车底检查的各种程序和数据，并且通过将每个车辆ID的检查结果数据与相应的图像进行匹配来存储数据库形式的数据；以及
控制器，其对车辆车底图像进行分析，以检测组件的组装状态和缺陷，但是，对于第一视觉检查结果为正常的车辆省略二次深度学习检查，而仅对第一视觉检查结果不良的车辆执行二次深度学习检查。
10.根据权利要求9所述的生产线过程的车辆车底的检查系统，其中，所述图像处理单元通过匹配由多个摄像机ID捕获的图像来生成单个车辆车底图像，通过对车辆车底图像的预处理工作来调节噪声和亮度，并且去除背景，以提取每个组件的感兴趣区域。
11.根据权利要求10所述的生产线过程的车辆车底的检查系统，其中，所述控制器对车辆车底图像执行根据车辆位置的感兴趣区域校正，识别车辆车底图像中每个组件的对象图像，并且以对象图像为单位进行感兴趣区域的位置校正。
12.根据权利要求11所述的生产线过程的车辆车底的检查系统，其中，所述控制器将对象图像转换为灰度图，通过模板匹配来比较每个角度的区域特征值，根据比较提取匹配得分，如果匹配得分小于预定参考值，则确定为有缺陷。
13.根据权利要求12所述的生产线过程的车辆车底的检查系统，其中，所述控制器将感兴趣区域划分为根据组件的特性定义的多个区域，利用标签区分所划分的区域，并且将标签所划分的每个区域的标签比率与参考比率进行比较，以确定组件是否有组装缺陷。
14.根据权利要求13所述的生产线过程的车辆车底的检查系统，其中，所述控制器将标签所划分的区域中的标签比率进行相互比较，从而根据省略任何一个标签比率时发生变化的比率来确定组件是否有组装缺陷。
15.根据权利要求10所述的生产线过程的车辆车底的检查系统，其中，所述深度学习引擎仅对于作为第一视觉检查结果为有缺陷的图像利用卷积神经网络来分析图像，并且在标记了正常组件和缺陷组件之后进行学习。
16.根据权利要求15所述的生产线过程的车辆车底的检查系统，其中，所述深度学习引擎根据所分析的图像中是否存在组件来确定所述组件是否是有缺陷的，并且将与正常组件相似的背景的图像确定为有缺陷。
17.一种车辆车底的检查方法，包括：
a)通过进入检查过程的车辆的条形码或无线通信天线获得车辆ID；
b)通过驱动设置在车辆移动方向下方的视觉系统来拍摄车辆车底，其中，多个摄像机沿着车辆宽度方向以竖直和成角度设置，所述车辆移动方向为Y轴方向，所述车辆宽度方向为X轴方向；
c)通过获取车辆车底图像，执行通过基于规则的算法的每个组件的对象图像的第一视觉检查；
d)省略对于第一视觉检查结果为正常的车辆的二次深度学习检查，并且仅对于第一视觉检查结果显示为有缺陷的车辆通过深度学习引擎执行二次深度学习检查，以确定组件是否是有缺陷的。
18.根据权利要求17所述的检查方法，其中，执行第一视觉检查包括：
对车辆车底图像执行根据车辆位置的感兴趣区域校正，对车辆车底图像中每个组件进行对象图像识别，并且以对象图像为单位进行感兴趣区域的位置校正；
将对象图像转换为灰度图，通过模板匹配来比较每个角度的区域特征值，根据比较提取匹配得分，如果匹配得分小于预定参考值，则确定为有缺陷；
将感兴趣区域划分为根据组件的特性定义的多个区域，通过标签区分所划分的区域，并且将标签所划分的每个区域的标签比率与参考比率进行比较，以确定组件是否有组装缺陷；
将标签所划分的区域中的每个标签比率进行相互比较，并且根据省略一个标签比率时变化的比率来确定组件是否有组装缺陷。
19.根据权利要求17所述的检查方法，其中，执行深度学习检查包括：
仅对于第一视觉检查结果为有缺陷的图像利用卷积神经网络来分析图像；
根据所分析的图像中是否存在组件来确定所述组件是否是有缺陷的，并且将与正常组件相似的背景的图像确定为有缺陷。
20.根据权利要求17所述的检查方法，进一步包括：在步骤d)之后，在屏幕上显示确定为最终缺陷的结果，并且将包括车辆ID和缺陷发生位置、组件项、检查时间和对象图像的检查结果数据存储在数据库中。
CN202011560043.7A 2020-06-19 2020-12-25 车辆车底的检查系统及方法 Pending CN113822840A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200074743A KR20210157000A (ko) 2020-06-19 2020-06-19 차량 하부 검사 시스템 및 그 방법
KR10-2020-0074743 2020-06-19

Publications (1)

Publication Number Publication Date
CN113822840A true CN113822840A (zh) 2021-12-21

Family

ID=78823117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011560043.7A Pending CN113822840A (zh) 2020-06-19 2020-12-25 车辆车底的检查系统及方法

Country Status (4)

Country Link
US (1) US11508057B2 (zh)
KR (1) KR20210157000A (zh)
CN (1) CN113822840A (zh)
DE (1) DE102020216406A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3792619T3 (pl) * 2019-09-11 2024-03-25 Proov Station Zestaw do wykrywania usterek w nadwoziu pojazdu samochodowego
US11475553B1 (en) * 2021-04-08 2022-10-18 Ford Global Technologies, Llc Production-speed component inspection system and method
KR20220146892A (ko) * 2021-04-26 2022-11-02 현대자동차주식회사 Mmp를 이용한 adas 검사 시스템 및 그 방법
US11513036B1 (en) * 2021-05-13 2022-11-29 Ford Global Technologies, Llc Systems and methods for underbody inspection of a moving vehicle with a smartphone
US20230067659A1 (en) * 2021-08-24 2023-03-02 Ford Global Technologies, Llc Systems and methods for detecting vehicle defects
KR102454452B1 (ko) * 2022-07-11 2022-10-14 주식회사 에이투지오토 3d 스캔 데이터를 이용한 차체 구조 역설계 방법, 장치 및 시스템
US20240048848A1 (en) * 2022-08-02 2024-02-08 Hong Kong Applied Science and Technology Resrearch Institute Company Limited Optimized Path Planning for Defect Inspection based on Effective Region Coverage
DE102022124061A1 (de) 2022-09-20 2024-03-21 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur optischen Prüfung wenigstens eines Merkmals wenigstens eines Objekts mit einer reflektierenden Oberfläche sowie ein Fahrzeug
CN115661129A (zh) * 2022-11-21 2023-01-31 湖南视比特机器人有限公司 一种基于协同运动的视觉工件错漏装检测系统及方法
CN117392122B (zh) * 2023-12-07 2024-03-15 深圳前海慧联科技发展有限公司 基于超声波技术的螺栓无损检测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052631A (en) * 1997-08-08 2000-04-18 Management Systems Data Service, Inc. ("Msds, Inc.") Method and system for facilitating vehicle inspection to detect previous damage and repairs
US6856344B2 (en) * 2002-04-02 2005-02-15 Robert H. Franz Vehicle undercarriage inspection and imaging method and system
US20050058242A1 (en) * 2003-09-15 2005-03-17 Peschmann Kristian R. Methods and systems for the rapid detection of concealed objects
US7527439B1 (en) * 2004-05-06 2009-05-05 Dumm Mark T Camera control system and associated pan/tilt head
WO2006093478A1 (en) * 2005-02-24 2006-09-08 Northrop Grumman Corporation Apparatus and method for capturing and displaying images of the undercarriage of vehicles
US7436143B2 (en) * 2005-04-25 2008-10-14 M-Bots, Inc. Miniature surveillance robot
US20070009136A1 (en) * 2005-06-30 2007-01-11 Ivan Pawlenko Digital imaging for vehicular and other security applications
US9244133B2 (en) * 2011-01-13 2016-01-26 Icove And Associates, Llc Handheld devices and structures to detect sticky devices having magnets
AU2015325039A1 (en) * 2014-09-30 2017-05-18 Black Diamond Xtreme Engineering, Inc. Tactical mobile surveillance system
WO2016199171A1 (en) * 2015-06-09 2016-12-15 Vehant Technologies Private Limited System and method for detecting a dissimilar object in undercarriage of a vehicle
US11107306B1 (en) * 2016-12-23 2021-08-31 State Farm Mutual Automobile Insurance Company Systems and methods for machine-assisted vehicle inspection
US10438089B2 (en) * 2017-01-11 2019-10-08 Hendricks Corp. Pte. Ltd. Logo detection video analytics
US20180232874A1 (en) * 2017-02-10 2018-08-16 Ecosubsea As Inspection vehicle
EP3779873A4 (en) * 2018-04-04 2021-06-02 Panasonic Intellectual Property Management Co., Ltd. IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US11770493B2 (en) * 2019-04-02 2023-09-26 ACV Auctions Inc. Vehicle undercarriage imaging system
US11875493B2 (en) * 2019-12-26 2024-01-16 Synax Co., Ltd. Vibrator unit, conveying system, and conveying method

Also Published As

Publication number Publication date
US11508057B2 (en) 2022-11-22
US20210398271A1 (en) 2021-12-23
DE102020216406A1 (de) 2021-12-23
KR20210157000A (ko) 2021-12-28

Similar Documents

Publication Publication Date Title
US11508057B2 (en) Inspection system and method for vehicle underbody
KR20220042916A (ko) 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템
CN113962274B (zh) 一种异常识别方法、装置、电子设备及存储介质
CN111767780B (zh) 一种ai与视觉结合的智能集卡定位方法和系统
US20040247171A1 (en) Image processing method for appearance inspection
CN114758322B (zh) 基于机器识别的道路质量检测系统
CN112465706A (zh) 一种闸口集装箱自动验残方法
CN114881915A (zh) 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法
CN116337887A (zh) 铸造缸体上表面缺陷检测方法及系统
CN113705351A (zh) 车辆定损方法、装置及设备
CN112784814A (zh) 车辆倒车入库的姿态识别方法及输送车倒车入库引导系统
CN113706501B (zh) 一种飞机装配的智能监测方法
US11943570B2 (en) Imaged target detection verification
CN113139943B (zh) 开口圆环工件外观缺陷检测方法、系统及计算机存储介质
CN112444519B (zh) 车辆故障检测装置和方法
KR102428930B1 (ko) 차량 인식을 통한 세차 요금 결제 방법 및 시스템
CN110688876A (zh) 一种基于视觉的车道线检测方法及装置
CN113205687B (zh) 一种基于视频监控的酒驾车辆轨迹识别系统
US20230245299A1 (en) Part inspection system having artificial neural network
CN112560707B (zh) 基于激光光源的移动式道面检测方法及系统
CN116894937B (zh) 获取车轮定位仪参数的方法、系统及电子设备
Dominguez et al. Object recognition and inspection in difficult industrial environments
US20240221143A1 (en) Methods and systems for the automatic quality inspection of materials using infrared radiation
KR101392823B1 (ko) 영상 분석을 이용한 차체 부품 검출 방법 및 그 장치
CN113496144B (zh) 车辆信息检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination