CN114078110A - 识别在可转动支承的车辆部件上零件的方法、设备和系统 - Google Patents

识别在可转动支承的车辆部件上零件的方法、设备和系统 Download PDF

Info

Publication number
CN114078110A
CN114078110A CN202010831309.0A CN202010831309A CN114078110A CN 114078110 A CN114078110 A CN 114078110A CN 202010831309 A CN202010831309 A CN 202010831309A CN 114078110 A CN114078110 A CN 114078110A
Authority
CN
China
Prior art keywords
vehicle
image
rotatably supported
identifying
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010831309.0A
Other languages
English (en)
Inventor
任家超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BMW Brilliance Automotive Ltd
Original Assignee
BMW Brilliance Automotive Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BMW Brilliance Automotive Ltd filed Critical BMW Brilliance Automotive Ltd
Priority to CN202010831309.0A priority Critical patent/CN114078110A/zh
Publication of CN114078110A publication Critical patent/CN114078110A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

本发明涉及一种用于识别在可转动支承的车辆部件上所安装的零件的方法,所述方法包括:获取所述可转动支承的车辆部件的图像;基于模板图中预设的多个特征点对所获取的图像进行特征点匹配;基于匹配到的特征点对所获取的图像进行三角剖分;将剖分出的每个三角区域借助于仿射变换映射到通过所述模板图中预设的特征点所构造的相应的三角区域中,以得到经校正的图像;从所述经校正的图像截取零件的预定区域;在所截取的预定区域中识别零件。本发明还涉及一种计算机可读存储介质、一种用于识别在可转动支承的车辆部件上所安装的零件的设备、一种用于识别在可转动支承的车辆部件上所安装的零件的系统及一种车辆生产线。

Description

识别在可转动支承的车辆部件上零件的方法、设备和系统
技术领域
本发明涉及一种用于识别在可转动支承的车辆部件上所安装的零件的方法、一种计算机可读存储介质、一种用于识别在可转动支承的车辆部件上所安装的零件的设备、一种用于识别在可转动支承的车辆部件上所安装的零件的系统及一种车辆生产线。
背景技术
在整车生产线中,尽管在冲压、车身、涂装等车间中通过机器人及机械手臂实现了大规模的自动化生产,但特别是在最终进行组装的总装车间中仍然需要大量的人工操作,以保证精细组装过程中的工艺质量。特别是,在总装车间中,工人会按照每一台运输至该工位的车辆部件所对应的工单将所需安装的零件依次安装在可转动支承的车辆部件、如仪表盘上。每一个工位各司其职,只负责安装自己所负责的零件,其中,为了安装的便利可能需要对所述车辆部件按需进行0度至180度不等的转动。由此,某一工序所安装的零件常常会在下一工序被新的部件覆盖或被转动至视觉盲区。
然而,所需安装的零件常常对车辆质量起到重要作用,例如保证各项装置设备的定位、防止松动、避免漏水等。在此,以安装在仪表盘下方的卡扣为例。这些卡扣所固定的塑封对空调管道引流将起到至关重要的作用。如果卡扣丢失,会造成空调水泄露至车厢缝隙中,从而产生腐蚀线路、滋生异味等影响。而且由于该卡口紧邻于挡位控制接线,卡扣的缺失甚至可能会干扰档位控制的灵敏度与稳定性,造成行车过程中的安全隐患。这样的零件在后续工序中常常难以被再次核查。而且在返工或维修中,必须将中控台整体拆解后才能补装,其维修费用高昂且耗时长。
基于上述原因,如何判断所需安装的零件是否被正确地安装在了相应位置就成为了车辆质量管控的关键。
现今,例如在车辆的总装车间中,要求工人在手动安装完所述零件后使用手持式移动拍照设备对已安装结束的零件进行拍照,以实现存档等目的。然而这样的流程仅仅能作为事后检查的依据,而不仅无法与实际的工单相互对应因而不具备实时报警的功能,而且额外增加了工人的工作内容,不利于生产效率的提升。
发明内容
本发明的任务在于,提供一种提供在车辆制造中能够自动地识别可转动支承的车辆部件上的零件的可能性,从而能实现对可转动支承的车辆部件的组装过程的实时监控,并且以尽可能低的计算量快速且准确地识别所需安装的零件,从而确保零件在车辆部件上的安装,避免因漏装或错装造成返工或维修,提高车辆质量。在不影响原有安装工位正常生产的前提下,减少生产工人的手工操作量,降低人工成本并且提高生产效率。
本发明的第一方面涉及一种用于识别在可转动支承的车辆部件上所安装的零件的方法,所述方法包括:
-获取所述可转动支承的车辆部件的图像;
-基于模板图中预设的多个特征点对所获取的图像进行特征点匹配;
-基于匹配到的特征点对所获取的图像进行三角剖分;
-将剖分出的每个三角区域借助于仿射变换映射到通过所述模板图中预设的特征点所构造的相应的三角区域中,以得到经校正的图像;
-从所述经校正的图像截取零件的预定区域;
-在所截取的预定区域中识别零件。
在本发明中,可转动支承特别是指车辆部件可以绕轴旋转地支承,但也可能包含对于车辆部件位置的手动翻转来调换其位置朝向等。然而,这样的车辆部件由于工人的调整、支承点的偏移、支架的尺寸误差、安装过程中的施力等可能以不同角度呈现在所获取的图像中。此外,在生产线中还可能出现导轨上的定位偏差以及特别是在混线生产或者说柔性生产中车辆部件的规格差异等。基于这些原因会在获取的车辆部件的二维图像中出现扭曲变形,造成这样的图像将难以通过简单的平移、旋转或缩放来校正图像,从而导致无法在图像中进行精确定位,也难以进行常规的模板匹配。而且,零件的尺寸通常相对于车辆部件整体来说小非常多,对所获取的车辆部件图像进行常规的平移、旋转或缩放不可避免造成局部的失真,从而严重影响零件的识别的准确度。
基于上述背景,本发明规定了一种能够对于安装在这样的车辆部件上的零件进行图像识别的方法。在所述方法中,首先获取应安装有零件的、可转动支承的车辆部件的图像。接着,进行特征点匹配。在此,预置有用作参考的模板图。对所述模板图预先提取出特征点。在此,通过特征点的提取表达了用于区分图像的信息。特征点可以理解为是图像中变化较大的位置,其具有独特性、反映整体轮廓或者变化显著。特征点匹配可以理解为在所获取的图像中查找特征点,并且用向量的方式对特征点进行描述,最后通过对比描述向量实现特征点匹配。由此能够在所获取的图像中得到具有与模板图相同或相似特征的点。然后,基于匹配到的特征点对所获取的图像进行三角剖分、特别是Delaunay三角剖分,从而将所获取的图像分割为若干三角形区域。继而,将剖分出的每个三角区域借助于仿射变换映射到通过所述模板图中预设的特征点所构造的相应的三角区域中,以得到经校正的图像。在此,借助于仿射变换分别将剖分出的每个三角形区域映射或者说对齐到模板图中的相应三角形区域中。由此实现针对于可转动支承的车辆部件的图像的独特状况进行的局域化的变形匹配,克服由于工人的调整、支承点的偏移、支架的尺寸误差、安装过程中的施力等上述原因而产生的图像扭曲变形,更为精确地校正到模板图的状态。由此,可以从所述经校正的图像截取零件的预定区域。在此,所述预定区域为在模板图中标记出各个零件的区域。最后,在所截取的预定区域中识别零件。
通过本发明能够对可转动支承的车辆部件的组装过程进行自动化的实时监控。在图像处理中未使用到车辆部件的三维重建,从而能够以尽可能低的计算量快速且准确地校正图像并识别所需安装的零件。通过按照本发明的局部变形匹配使得零件区域得以复原,保证了识别的准确性。此外,还能在安装工位处及时确保零件在车辆部件上的正确安装,避免因漏装或错装造成返工或维修,提高车辆质量。在不影响原有安装工位正常生产的前提下,减少生产工人的手工操作量,降低人工成本并且提高生产效率。
按照本发明的一种实施形式,所述模板图仅涉及含有零件的图像区域。在此,仅将含有零位的图像区域作为模板图,由此能够在特征点匹配、三角剖分及映射过程中处理相对小的图像区域,从而降低计算量,提高处理速度,从而实现即时的反馈或者说报警。
按照本发明的一种实施形式,所述多个特征点至少具有旋转不变性和平移不变性。为了降低车辆部件的位移和转动的影响,按照本发明优选使用具有旋转不变性和平移不变性的特征点来进行模板图的特征点提取以及所获取的图像的特征点匹配,从而降低所校正图像的失真。
按照本发明的一种实施形式,所述多个特征点为角点、特别是Harris角点或Shi-Tomasi角点。在此,角点可以理解为物体轮廓线的连接点,当拍摄视角变化的时候,角点仍能很好地保持稳定的属性。因而,通过将角点作为特征点能够在保留图像图形重要特征的同时有效地降低图像信息的数据量,提高了计算的速度,有利于图像的可靠匹配,使得实时处理成为可能。在此优选应用Harris角点或Shi-Tomasi角点,或者有利地使用SIFT算法、SURF算法或ORB算法进行特征点匹配。
按照本发明的一种实施形式,利用卷积神经网络二分类器在所截取的预定区域中识别零件的存在,其中,所述卷积神经网络二分类器通过安装有零件的图像作为正样本来训练。在此,利用所述二分类器来判断所获取的图像是否应安装的零件。在此,通过对于零件存在与否的判断仅使用二分类处理,从而降低识别过程中对于运算性能的要求,并且快速得出识别结果,从而能够在安装工位上及时地向工人警示所需安装的零件出现漏装。
按照本发明的一种实施形式,利用卷积神经网络多分类器在所截取的预定区域中识别零件的种类,其中,所述卷积神经网络多分类器通过安装有不同种类的零件的图像来训练。由于在车辆部件上预留的安装位置一般涉及标准尺寸的空隙,在生产过程中也有能发生零件的错装,如在应装入卡扣的位置安装了铆钉。这些错误也可能在人工质检过程中难以发觉。在此,使用卷积神经网络多分类器来判断安装上的零件的种类,从而能够在安装工位上及时地向工人警示所需安装的零件出现错装。
按照本发明的一种实施形式,所述分类器采用MobileNet神经网络。由此,进一步降低识别过程中对于运算性能的要求,提高运算速度,从而快速实现对于零件存在和/或零件种类的判断。
按照本发明的一种实施形式,对获取所述可转动支承的车辆部件的图像进行灰度变换、特别是灰度归一化。对于一般车辆部件和零件而言并没有颜色上的特殊规定。可以有利地对图像进行灰度变换,从而相对于彩色图像的处理进一步降低计算量和计算性能的要求。特别是还可以对图像进行灰度归一化,降低光照差异所造成的影响。
按照本发明的一种实施形式,所述车辆部件包括可转动支承的车辆仪表盘、车辆座椅、车身件、车辆底盘、车辆动力总成等;和/或所述零件包括卡扣、铆钉、螺栓、螺钉、螺母、销钉、保持夹、按钮等。不限于所列出的车辆部件和零件,还可以按照具体需要将本发明适配于车辆中其他位置和/或其他零件。
本发明的第二方面涉及一种计算机可读存储介质,所述存储介质具有可执行的指令,在执行所述指令时,所述指令促使计算机执行根据本发明的用于识别在可转动支承的车辆部件上所安装的零件的方法。
本发明的第三方面涉及一种用于识别在可转动支承的车辆部件上所安装的零件的设备,所述设备包括:
-存储器,存储有计算机可执行指令;以及
-处理器,被配置为执行计算机可执行指令,其中,所述计算机可执行指令被所述处理器执行时,实现按照本发明的用于识别在可转动支承的车辆部件上所安装的零件的方法。
本发明的第四方面涉及一种用于识别在可转动支承的车辆部件上所安装的零件的系统,所述系统包括:
-工业相机,拍摄所述可转动支承的车辆部件的图像;
-按照本发明的用于识别在可转动支承的车辆部件上所安装的零件的设备;
-报警设备,用于在识别出错误时输出报警信号。
通过按照本发明的设备和系统同样能够对可转动支承的车辆部件的组装过程进行自动化的实时监控。能够以尽可能低的计算量快速且准确地校正图像并识别所需安装的零件。由此在安装工位处就能及时向工人警示识别到的错误、如漏装、错装零件,确保零件在车辆部件上的正确安装,避免因漏装或错装造成返工或维修,提高车辆质量。在不影响原有安装工位正常生产的前提下,减少生产工人的手工操作量,降低人工成本并且提高生产效率。
按照本发明的一种实施形式,所述系统包括数据接口,所述数据接口设置为用于:从车辆制造系统获取关于车辆部件和/或零件的信息;和/或从车辆制造系统接收车辆部件就位的信号;和/或向车辆制造系统发送经校正的图像和/或零件的识别结果。在此,可以从车辆制造系统获取关于车辆部件的信息、如车辆部件类型、所需安装的零件等,以此来调取对应的模板图及其特征点,对识别过程进行适应性的匹配等。可以从车辆制造系统接收车辆部件就位的信号,以用于带有时延地触发工业相机的拍摄和接下来的识别过程。还可以向车辆制造系统发送经校正的图像和/或零件的识别结果,例如所需安装的零件是否存在、零件的种类是否正确等等,从而便利于对质量数据进行存档、查询、追溯,还能够对于后续流程优化提供帮助。
本发明的第五方面涉及一种车辆生产线,所述车辆生产线包括按照本发明的用于识别在可转动支承的车辆部件上所安装的零件的系统。
需要说明的是,按照本发明一个方面的特征、功能、效果和优势等同样可以参照本发明的其他方面的上述描述。此外,在本文献中所描述的各个方面可以多样化地彼此组合。
附图说明
图1示出按照本发明的用于识别在可转动支承的车辆部件上所安装的零件的方法的流程图。
图2示例性地示出所获取的可转动支承的车辆部件的图像;
图3a示例性地示出在本发明中使用的模板图;
图3b示例性地示出依照模板图的位置从图2中直接截取的图像区域;
图4示例性地示出基于模板图中预设的多个特征点对所获取的图像进行特征点匹配;
图5示例性地示出基于匹配到的特征点对所获取的图像进行三角剖分;
图6示例性地示出将剖分出的每个三角区域借助于仿射变换映射到通过所述模板图中预设的特征点所构造的相应的三角区域中,以得到经校正的图像;
图7示例性地示出从所述经校正的图像截取零件的预定区域;
图8示例性地示出在所截取的预定区域中识别零件;以及
图9示例性地示出按照本发明的用于识别在可转动支承的车辆部件上所安装的零件的系统。
具体实施方式
图1示出按照本发明的用于识别在可转动支承的车辆部件上所安装的零件的方法100的流程图。所述方法100包括:
步骤S1:获取所述可转动支承的车辆部件的图像;
步骤S2:基于模板图中预设的多个特征点对所获取的图像进行特征点匹配;
步骤S3:基于匹配到的特征点对所获取的图像进行三角剖分;
步骤S4:将剖分出的每个三角区域借助于仿射变换映射到通过所述模板图中预设的特征点所构造的相应的三角区域中,以得到经校正的图像;
步骤S5:从所述经校正的图像截取零件的预定区域;
步骤S6:在所截取的预定区域中识别零件。
图2示例性地示出所获取的可转动支承的车辆部件的图像。在此,以车辆仪表盘为例示出可转动支承的车辆部件,而所需安装的零件以卡扣为例。该车辆仪表盘可绕轴旋转地支承于处于生产线导轨上的托架上。如图2所示,车辆仪表盘被翻转到底面向上的位置。图中以四个圈标记出所需安装的卡扣的位置。如前所述,卡扣所固定的塑封对空调管道引流将起到至关重要的作用。优选地,对获取所述可转动支承的车辆部件的图像进行灰度变换、特别是灰度归一化。
图3a示例性地示出在本发明中使用的模板图。在此,所述模板图有利地仅涉及含有零件的图像区域,从而简化后续的图像处理和计算。图3b示例性地示出依照模板图的位置从图2中直接截取的图像区域。在图3a和3b中分别以方框标记了相对应的位置。从图3a和3b的比较清楚的可见,含有零件的图像区域基于仪表盘的不同支承角度而呈现出图像的变形。其原因可归结为工人的调整、支承点的偏移、支架的尺寸误差、安装过程中的施力等等。如图3b所示,处于下方的两个卡口已然不完全处于模板图中卡口应出现的位置。如图3b这样的图像也难以通过简单的平移、旋转或缩放来校正,因而导致无法在图像中进行精确定位,也难以进行常规的模板匹配。
图4示例性地示出基于模板图中预设的多个特征点对所获取的图像进行特征点匹配。在此,在图4的左上角示出图3a中所示的模板图,而在图4的右边示出图2所示的所获取的车辆仪表盘的图像。在这两幅图中分别标记了对应的特征点,并且以线段将两个对应的特征点相连,以表示对应关系。在本发明中可以规定,所述多个特征点至少具有旋转不变性和平移不变性。通过使用至少具有旋转不变性和平移不变性的特征点预先进行模板图的特征点提取,并且以这样的特征点对所获取的图像进行特征点匹配。在此,优选使用角点作为所述多个特征点。在此,角点可以理解为物体轮廓线的连接点,当拍摄视角变化的时候,角点仍能很好地保持稳定的属性。所述角点特别是Harris角点或Shi-Tomasi角点。此外,还可以有利地使用SIFT算法、SURF算法或ORB算法进行特征点匹配。
图5示例性地示出基于匹配到的特征点对所获取的图像进行三角剖分。在此特别是实施Delaunay三角剖分。由此将所获取的图像中涉及到特征点的图像区域分割为若干三角形区域。
图6示例性地示出将剖分出的每个三角区域借助于仿射变换映射到通过所述模板图中预设的特征点所构造的相应的三角区域中,以得到经校正的图像。在此,图6中的左图示出了图5中进行了三角剖分的图像区域,中间图示出通过所述模板图中预设的特征点所构造的各个相应的三角区域,右图则示出了将左图中的每个三角区域借助于仿射变换映射到中间图中各个三角区域的图像处理结果,即得出经校正的图像。由此可以清楚地看出将图3b所示的区域在不失真的情况下复原为模块图的效果。在此,针对于可转动支承的车辆部件的图像状况进行了局域化的变形匹配,克服由于工人的调整、支承点的偏移、支架的尺寸误差、安装过程中的施力等上述原因而产生的图像扭曲变形,更为精确地校正到模板图的状态。
图7示例性地示出从所述经校正的图像截取零件的预定区域。在此,所述预定区域为在模板图中标记出各个零件的区域。从图7可见,经校正的图像中各个零件的位置均能够良好地对应于模板图,因此可以以此对各个卡扣进行精确定位。
图8示例性地示出在所截取的预定区域中识别零件。在此对图7中所示的四个截取到的零件预定区域分别进行识别。示例性地,利用卷积神经网络十分类器在所截取的预定区域中识别十种不同零件或者识别九种不同零件及一种零件未安装情况,其中,所述卷积神经网络十分类器通过这十种图像来训练。
如图8示出一种示例性的卷积神经网络。该卷积神经网络共包含八层,其中按照输入层、卷积层C1、降采样层或者说池化层S2、卷积层C3、降采样层或者说池化层S4、全连接层C5、全连接层F6、输出层分布。在此使用5*5的卷积核。基于卷积神经网络的局部感知和权值共享所带来的仿射不变性,能够进一步消除车辆部件的转动以及零件安装误差等造成的干扰,进一步准确地识别出零件的存在和/或零件的种类。不限于图8所示的示例,所述分类器还可以优选地采用MobileNet神经网络。
图9示例性地示出按照本发明的用于识别在可转动支承的车辆部件上所安装的零件的系统200。所述系统200包括:
-工业相机201,拍摄所述可转动支承的车辆部件的图像;
-按照本发明的用于识别在可转动支承的车辆部件上所安装的零件的设备202;
-报警设备203,用于在识别出错误时输出报警信号。
在此,所述用于识别在可转动支承的车辆部件上所安装的零件的设备202包括:存储器,存储有计算机可执行指令;以及处理器,被配置为执行计算机可执行指令,其中,所述计算机可执行指令被所述处理器执行时,实现本发明的识别在可转动支承的车辆部件上所安装的零件的方法。
图9中示例性地示出车辆仪表盘可转动地支承在支架上的情况。在此,车辆仪表盘以尚未转动的状态示出,但其可以根据安装需要绕图9中虚线所示的轴线翻转,以方便工人安装零件。在本发明中,工业相机201将在工人安装完成后、特别是在工人离开工位进行再次取件时对所述可转动支承的车辆部件拍摄图像。这样实现对可转动支承的车辆部件的组装过程的实时监控。
有利地,所述系统200还可以包括数据接口,所述数据接口设置为用于:从车辆制造系统IPS获取关于车辆部件和/或零件的信息;和/或从车辆制造系统IPS接收车辆部件就位的信号;和/或向车辆制造系统IPS发送经校正的图像和/或零件的识别结果。在此,系统200可以通过于车辆制造系统IPS的通信来获取关于车辆部件的信息、如车辆部件类型、所需安装的零件等,以此来调取对应的模板图及其特征点,对识别过程进行适应性的匹配等;通过车辆部件就位的信号而带有时延地触发工业相机的拍摄和接下来的识别过程;并且便利于对质量数据进行存档、查询和追溯。
本发明还可以是计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质。
计算机可读存储介质可以是可保留和存储用于由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是,例如但不限于,电子存储设备、磁存储设备、光学存储设备、电磁存储设备、半导体存储设备或上述的任何合适的组合。
计算机可读程序指令可以完全在终端的计算机上执行、部分地在终端的计算机上执行、作为独立的软件包执行、部分地在终端的计算机上并且部分地在远程计算机上执行或者完全在远程计算机或服务器上执行。
本文参考根据本发明的实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本发明的各方面。应当理解的是,流程图和/或框图中的每个方框以及流程图和/或框图中的方框的组合可以由计算机可读程序指令来实现。
本发明不限于所示的实施例,而是包括或者延及可落入所附权利要求书的有效范围内的所有技术上的等效物。在说明书中所选择的位置说明如例如上、下、左、右等等参照直接的描述以及示出的附图并且在位置变化时按照意义能转用到新的位置上。
在本申请文件中公开的特征不仅可以单独地而且可以以任意组合的方式对于实施例在不同的设计方案方面的实现来说是重要的并且可以被实现。
尽管一些方面与设备相关联地描述,但是应理解为:这些方面也是相应的方法的说明,从而模块的一个器件或者系统的一个装置也可以理解为相应的一个方法步骤或者方法步骤的一个特征。与此类似地,与一个方法步骤或者作为一个方法步骤相关联地描述的方面也是相应的设备的相应的模块或者细节或者特征的说明。
因此,计算机可读存储介质可以是机器可读的或者计算机可读的。因此,一些实施例中计算机可读存储介质包括数据载体,所述数据载体具有可执行的指令,所述可执行的指令能够与可编程的计算机系统或者可编程的硬件组件这样配合作用,使得实施在此描述的方法中的一种方法。因此,一种实施例是一种数据载体、一种数字存储介质或者一种计算机可读储存介质,在该数据载体上记录有用于实施在此描述的方法中的一种方法的程序。
此外,另一种实施例是数据流、信号顺序或者信号序列,所述数据流、信号顺序或者信号序列是用于实施在此描述的方法中的一种方法的程序。数据流、信号顺序或者信号序列例如可以配置用于经由数据通信连接、例如经由互联网或者其它网络传输。因此,实施例也可以是代表数据的信号序列,所述信号序列适用于经由网络或者数据通信连接的发送,其中,所述数据是程序。
本发明虽然已以优选实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (15)

1.用于识别在可转动支承的车辆部件上所安装的零件的方法,所述方法包括:
-获取所述可转动支承的车辆部件的图像;
-基于模板图中预设的多个特征点对所获取的图像进行特征点匹配;
-基于匹配到的特征点对所获取的图像进行三角剖分;
-将剖分出的每个三角区域借助于仿射变换映射到通过所述模板图中预设的特征点所构造的相应的三角区域中,以得到经校正的图像;
-从所述经校正的图像截取零件的预定区域;
-在所截取的预定区域中识别零件。
2.按照权利要求1所述的方法,其特征在于,所述模板图仅涉及含有零件的图像区域。
3.按照权利要求1或2所述的方法,其特征在于,所述多个特征点至少具有旋转不变性和平移不变性。
4.按照权利要求3所述的方法,其特征在于,所述多个特征点为角点、特别是Harris角点或Shi-Tomasi角点;或者使用SIFT算法、SURF算法或ORB算法进行特征点匹配。
5.按照权利要求1至4之一所述的方法,其特征在于,利用卷积神经网络二分类器在所截取的预定区域中识别零件的存在,其中,所述卷积神经网络二分类器通过安装有零件的图像作为正样本来训练。
6.按照权利要求1至4之一所述的方法,其特征在于,利用卷积神经网络多分类器在所截取的预定区域中识别零件的种类,其中,所述卷积神经网络多分类器通过安装有不同种类的零件的图像来训练。
7.按照权利要求5或6所述的方法,其特征在于,所述分类器采用MobileNet神经网络。
8.按照权利要求1至7之一所述的方法,其特征在于,对获取所述可转动支承的车辆部件的图像进行灰度变换、特别是灰度归一化。
9.按照权利要求1至8之一所述的系统,其特征在于,
所述车辆部件包括可转动支承的车辆仪表盘、车辆座椅、车身件、车辆底盘、车辆动力总成;和/或
所述零件包括卡扣、铆钉、螺栓、螺钉、螺母、销钉、保持夹、按钮。
10.计算机可读存储介质,所述存储介质具有可执行的指令,在执行所述指令时,所述指令促使计算机执行根据权利要求1至9之一所述的方法。
11.用于识别在可转动支承的车辆部件上所安装的零件的设备,所述设备包括:
-存储器,存储有计算机可执行指令;以及
-处理器,被配置为执行计算机可执行指令,其中,所述计算机可执行指令被所述处理器执行时,实现按照权利要求1至9之一所述的方法。
12.用于识别在可转动支承的车辆部件上所安装的零件的系统,所述系统包括:
-工业相机,拍摄所述可转动支承的车辆部件的图像;
-按照权利要求11所述的用于识别在可转动支承的车辆部件上所安装的零件的设备;
-报警设备,用于在识别出错误时输出报警信号。
13.按照权利要求12所述的系统,其特征在于,所述系统包括数据接口,所述数据接口设置为用于:
从车辆制造系统获取关于车辆部件和/或零件的信息;和/或
从车辆制造系统接收车辆部件就位的信号;和/或
向车辆制造系统发送经校正的图像和/或零件的识别结果。
14.按照权利要求12或13所述的系统,其特征在于,
所述车辆部件包括可转动支承的车辆仪表盘、车辆座椅、车身件、车辆底盘、车辆动力总成;和/或
所述零件包括卡扣、铆钉、螺钉、螺母、保持夹。
15.车辆生产线,包括按照权利要求12至14之一所述的用于识别在可转动支承的车辆部件上所安装的零件的系统。
CN202010831309.0A 2020-08-18 2020-08-18 识别在可转动支承的车辆部件上零件的方法、设备和系统 Pending CN114078110A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010831309.0A CN114078110A (zh) 2020-08-18 2020-08-18 识别在可转动支承的车辆部件上零件的方法、设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010831309.0A CN114078110A (zh) 2020-08-18 2020-08-18 识别在可转动支承的车辆部件上零件的方法、设备和系统

Publications (1)

Publication Number Publication Date
CN114078110A true CN114078110A (zh) 2022-02-22

Family

ID=80281330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010831309.0A Pending CN114078110A (zh) 2020-08-18 2020-08-18 识别在可转动支承的车辆部件上零件的方法、设备和系统

Country Status (1)

Country Link
CN (1) CN114078110A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708234A (zh) * 2022-04-12 2022-07-05 北京优创新港科技股份有限公司 一种识别自动卡口编码一体机上雷管数量的方法及装置
CN116933097A (zh) * 2023-06-27 2023-10-24 广州汽车集团股份有限公司 车辆的变型数据校验方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708234A (zh) * 2022-04-12 2022-07-05 北京优创新港科技股份有限公司 一种识别自动卡口编码一体机上雷管数量的方法及装置
CN116933097A (zh) * 2023-06-27 2023-10-24 广州汽车集团股份有限公司 车辆的变型数据校验方法、装置、设备及存储介质
CN116933097B (zh) * 2023-06-27 2024-04-26 广州汽车集团股份有限公司 车辆的变型数据校验方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10269108B2 (en) Methods and systems for improved quality inspection of products using a robot
EP2416113B1 (en) Position and orientation measurement apparatus and position and orientation measurement method
CN114078110A (zh) 识别在可转动支承的车辆部件上零件的方法、设备和系统
CN107036530B (zh) 工件位置的校准系统及方法
US20200242413A1 (en) Machine vision and robotic installation systems and methods
CN112950667A (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
EP3751976A1 (en) System for creating learned model for component image recognition, and method for creating learned model for component image recognition
CN113850815B (zh) 工件点云获取方法、装置、电子设备及存储介质
CN109986172B (zh) 一种焊缝定位方法、设备及系统
CN110539306B (zh) 工件贴合方法及设备
CN113077437B (zh) 工件质量检测方法及其系统
CN110160528B (zh) 一种基于角度特征识别的移动装置位姿定位方法
US8941731B2 (en) System and method to verify complete connection of two connectors
CN115144399B (zh) 一种基于机器视觉的装配质量检测方法及装置
CN115953373B (zh) 玻璃缺陷检测方法、装置、电子设备及存储介质
CN111583211A (zh) 缺陷检测方法、装置及电子设备
CN113139943A (zh) 开口圆环工件外观缺陷检测方法、系统及计算机存储介质
CN115082552A (zh) 标记孔的定位方法、装置、装配设备及存储介质
KR102598910B1 (ko) 왜곡된 이미지에서 객체를 검출하기 위한 방법, 시스템, 및 장치
JPH09133519A (ja) 3次元形状構造物の検査方法
CN218864993U (zh) 一种基于视觉系统的在线监测系统
Długosz et al. Static camera calibration for advanced driver assistance system used in trucks-robust detector of calibration points
CN110992428B (zh) 一种摄像头一致性的智能检测方法和检测装置
Davies et al. Automated bumper assembly using a vision-guided robot
CN117670770A (zh) 汽车车身配置件的检测方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination