CN110910358B - 线束端子的视觉检测方法 - Google Patents
线束端子的视觉检测方法 Download PDFInfo
- Publication number
- CN110910358B CN110910358B CN201911094370.5A CN201911094370A CN110910358B CN 110910358 B CN110910358 B CN 110910358B CN 201911094370 A CN201911094370 A CN 201911094370A CN 110910358 B CN110910358 B CN 110910358B
- Authority
- CN
- China
- Prior art keywords
- image
- wire harness
- harness terminal
- matched
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title abstract description 7
- 230000000007 visual effect Effects 0.000 title abstract description 7
- 239000002184 metal Substances 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000009825 accumulation Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000011179 visual inspection Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种线束端子的视觉检测方法,包括:将线束端子旋转至少90°,利用相机采集线束端子在旋转过程中的图像,获得线束端子图像序列;通过计算线束端子图像序列中每一帧图像的幅值累加值,获得线束端子图像序列的幅值累加曲线,将幅值累加曲线的峰值所对应的图像作为待匹配图像;计算待匹配图像与模板库中每类线束端子的模板的相关系数,将相关系数最大值所对应的模板作为最佳匹配模板;根据待匹配图像与最佳匹配模板的角度关系,确定该线束端子的待旋转角度。本发明无需360°旋转线束端子就可以确定出线束端子需要旋转到设定的主金属面的旋转角度,且检测成本更低、效率更高。
Description
技术领域
本发明涉及工业视觉检测技术领域,特别涉及一种线束端子的视觉检测方法。
背景技术
在汽车线束生产作业中,线束的插值工序目前多采用人工插值,自动化水平较低,是一项劳动密集的工作。随着汽车线束生产企业致力于推进汽车线束智能自动化生产线,以提升企业生产效率和行业竞争力,线束智能插值设备的研究也相继开展。
线束智能插值工序主要实现机械臂夹取线束,并插入对应护套插孔的功能,然而线束端子是随意放置的,角度具有随机性,若线束端子插入时的角度不对,会导致线束端子无法插入护套插孔或是插入护套插孔后无效,因此该工序的基础前提是夹取的线束端子已旋转到对应角度,才能顺利有效地插入护套插孔,这就需要旋转电机和视觉系统相互协调,先通过视觉系统找到线束端子需旋转的角度,然后通过旋转电机将线束端子旋转至该角度,最终通过机械臂将线束端子插入对应的护套插孔内。
需要进行插值的线束端子有多种,它们具有一些共同的特点,在线束端子的前端都有四个两两相互垂直的金属面,并且在和线束的连接处有金属包裹,在金属交接处有明显的凹槽。插值的角度对应为四个主面之一,若线束端子为左右、上下对称,则插值时线束端子可以上下颠倒。检测角度可以利用凹槽,若采用单个相机,需要对线束端子进行360度旋转,才能观测到凹槽,比较耗时;还可以进行三维重建,该方法不需要旋转线束端子,利用激光扫描重建端子模型,但成分高,并且工作效率并没有优势。
发明内容
本发明的目的是为了克服已有技术的缺陷,提出了一种线束端子的视觉检测方法。
本发明提供的线束端子的视觉检测方法,包括以下步骤:
S1、将线束端子旋转至少90°,利用相机采集线束端子在旋转过程中的图像,获得线束端子图像序列Ik;其中,k=1,2,…,K,K为线束端子图像序列的图像总数;
S2、通过计算线束端子图像序列中每一帧图像的幅值累加值,获得线束端子图像序列的幅值累加曲线,将幅值累加曲线的峰值所对应的图像作为待匹配图像;
S3、计算待匹配图像与模板库中每类线束端子的模板的相关系数,将相关系数最大值所对应的模板作为最佳匹配模板;
S4、根据待匹配图像与最佳匹配模板的角度关系,确定该线束端子的待旋转角度。
优选地,将线束端子匀速旋转90°或以预设角度逐步旋转90°以采集图像。
优选地,每类线束端子的金属面图像构成模板库中的模板,最佳匹配模板为相关系数最大值所对应的金属面图像。
优选地,线束端子图像序列的幅值累加曲线的计算公式为:
其中,cum(k)为线束端子图像序列的幅值累加曲线,M,N分别为每一帧图像的长和宽,线束端子图像序列的幅值累加曲线的峰值所对应的帧数s为:
优选地,在计算待匹配图像与模板库中每类线束端子的模板的相关系数之前,对待匹配图像进行矫正。
优选地,在对待匹配图像进行矫正的过程中,检测待匹配图像Is的倾斜角度α,将待匹配图像Is旋转该倾斜角度α,获得矫正后的待匹配图像Isr:
Isr=R-α{Is}。
其中,R-α为旋转-α角度的操作算子。
优选地,利用投影方法、Hough变换方法或线性拟合方法检测待匹配图像的倾斜角度α。
优选地,待匹配图像与模板库中每类线束端子的金属面图像的相关系数corr的计算公式如下:
其中,Cov为协方差,t为模板库中每类线束端子的金属面模板的个数,T为每类线束端子的金属面模板的最大个数,T=2或4;
根据相关系数corr,求得最大相关系数的峰值位置:
将index对应的索引号作为最佳匹配模板。
本发明能够取得以下技术效果:
1、本发明只需将线束端子旋转90°就可以确定出线束端子需要旋转到设定的主金属面的旋转角度,相比凹槽检测方法,无需对线束端子进行360°旋转,相比激光扫描重建端子模型方法,成本更低、效率更高。
2、本发明通过计算序列图像的幅值累加曲线,可以快速准确地找到金属面正对相机的图像帧,从而计算该金属面旋转到相机的旋转角度。
3、本发明对待匹配图像进行矫正,可以提高匹配准确率,识别线束端子的金属面类型,从而有效准确地计算线束端子需要旋转到设定的主金属面的旋转角度。
4、本发明对线束端子采用90°匀速旋转的图像采集方式,可以提高运算效率。
附图说明
图1是根据本发明实施例的线束端子的视觉检测方法的流程示意图;
图2是根据本发明实施例的序列起始帧图像的示意图;
图3是根据本发明实施例的序列结束帧图像的示意图;
图4是根据本发明实施例的图像序列幅值累加曲线示意图;
图5是根据本发明实施例的待匹配图像的示意图;
图6是根据本发明实施例的待匹配图像矫正后的示意图;
图7是根据本发明实施例的模板库中线束端子的侧金属面图像的示意图;
图8是根据本发明实施例的模板库中线束端子的正金属面图像的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,而不构成对本发明的限制。
参考图1所示,本发明实施例提供了一种线束端子的视觉检测方法,包括如下步骤:
步骤1、将线束端子旋转至少90°,利用相机采集线束端子在旋转过程中的图像,获得线束端子图像序列。
下面以旋转90°为例进行说明,旋转更大的角度同理可知。
本发明可以通过两种方式对线束端子进行旋转,一种是匀速旋转90°,另一种是以预设角度逐步旋转90°,例如每次旋转5°,18次完成90°的旋转。
当对线束端子进行匀速旋转时,通过相机连续采集线束端子在旋转过程中的图像,得到线束端子图像序列Ik,k=1,2,…,K,K为序列的图像总数。
当对线束端子以预设角度逐步旋转90°时,在每旋转预定角度后利用相机对线束端子进行拍照,获得一帧线束端子图像,最终获得线束端子图像序列Ik。
优选采用匀速的方式对线束端子进行旋转,获取线束端子图像序列,以提高工作效率。
将相机拍摄的第一张图像作为线束端子图像序列的起始帧图像,将相机拍摄的最后一张图像作为线束端子图像序列的结束帧图像。
S2、通过计算线束端子图像序列中每一帧图像的幅值累加值,获得线束端子图像序列的幅值累加曲线,将幅值累加曲线的峰值所对应的图像作为待匹配图像。
在线束端子旋转的过程中,线束端子的一个金属面肯定会正对相机,即线束端子图像序列中会存在某一金属面正对相机的图像,而该图像的幅值累加曲线的峰值应为最大。
因此,本发明计算线束端子图像序列中每一帧图像的幅值累加值,获得线束端子图像序列的幅值累加曲线,其目的是为了找到幅值累加曲线的峰值,该峰值对应的帧数即为金属面正对相机的图像帧,将该帧正对相机的图像作为待匹配图像。
线束端子图像序列的幅值累加曲线的计算公式为:
其中,cum(k)为线束端子图像序列的幅值累加曲线,M,N分别为线束端子图像序列中每一帧图像的长和宽,幅值累加曲线的峰值所对应的帧数s为:
S3、计算待匹配图像与模板库中每类线束端子的模板的相关系数,将相关系数最大值所对应的模板作为最佳匹配模板。
模板库中存储的是每类线束端子的金属面图像,即每类线束端子的金属面图像构成模板库中的模板,模板库的建立过程为:采集端子插值工序涉及的所有类型的线束端子的四个金属面图像,若某类线束端子为左右、上下对称,则只需要采集该类线束端子的两个金属面图像,最终获得包括所有类型在内的线束端子的金属面图像的模板库,每类线束端子的金属面图像的模板库t为{t1,…,tT},T=2或4。
如图7和图8所示,线束端子为左右、上下对称结构,模板库中只采集线束端子的侧金属面图像和正金属面图像。
由于待匹配图像大部分是具有倾斜角度的图像,优先对其进行矫正,以提高待匹配图像的匹配准确率,如果待匹配图像不具有倾斜角度,可以忽略图像矫正的步骤。
对待匹配图像进行矫正的过程为:
首先,利用投影、Hough变换或线性拟合等方法检测待匹配图像的倾斜角度α;然后,将待匹配图像旋转该倾斜角度α,获得矫正后的待匹配图像。
待匹配图像为Is,矫正后的待匹配图像Isr为:
Isr=R-α{Is}
其中,R-α为旋转-α角度的操作算子,矫正后的图像如图6所示。
在对待匹配图像进行矫正后,计算矫正后的待匹配图像与每类线束端子的金属面图像的相关系数,将相关系数最大值所对应的金属面图像作为矫正后的待匹配图像的最佳匹配模板。
矫正后的待匹配图像与模板库中每个金属面模板的相关系数corr的计算公式如下:
其中,Cov为协方差,t={t1,…,tT}为每类线束端子的金属面图像的模板库,T为每类线束端子的金属面图像的最大个数,T=2或4。
根据相关系数corr,求得最大相关系数的峰值位置:
将index对应的索引号作为最佳匹配模板,最佳匹配模板即为待匹配图像的最佳匹配的端子金属面类型,图8所示的图像即为矫正后的待匹配图像的最佳匹配模板。
S4、根据待匹配图像与最佳匹配模板的角度关系,确定该线束端子的待旋转角度。
线束端子的待旋转角度可以为线束端子旋转到四个金属面中任意一个金属面的角度,具体的待旋转角度由设定的线束端子的主金属面确定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。
Claims (6)
1.一种线束端子的视觉检测方法,其特征在于,包括如下步骤:
S1、将线束端子旋转至少90°,利用相机采集线束端子在旋转过程中的图像,获得线束端子图像序列Ik;其中,k=1,2,…,K,K为所述线束端子图像序列的图像总数;
S2、通过计算所述线束端子图像序列中每一帧图像的幅值累加值,获得所述线束端子图像序列的幅值累加曲线,将幅值累加曲线的峰值所对应的图像作为待匹配图像;
S3、计算所述待匹配图像与模板库中每类线束端子的模板的相关系数,将相关系数最大值所对应的模板作为最佳匹配模板;
S4、根据所述待匹配图像与所述最佳匹配模板的角度关系,确定该线束端子的待旋转角度;
其中,步骤S2中,线束端子图像序列的幅值累加曲线的计算公式为:
其中,cum(k)为线束端子图像序列的幅值累加曲线,M,N分别为线束端子图像序列中每一帧图像的长和宽,所述线束端子图像序列的幅值累加曲线的峰值所对应的帧数s为:
步骤S3中,所述待匹配图像与所述模板库中每类线束端子的金属面图像的相关系数corr的计算公式如下:
其中,Cov为协方差,t={t1,…,tT}为每类线束端子的金属面图像的模板库,T为每类线束端子的金属面图像的最大个数,T=2或4,Isr为矫正后的待匹配图像;
根据相关系数corr,求得最大相关系数的峰值位置:
将index对应的索引号作为最佳匹配模板;
2.根据权利要求1所述的线束端子的视觉检测方法,其特征在于,所述步骤S1中,将线束端子匀速旋转90°或以预设角度逐步旋转90°以采集图像。
3.根据权利要求2所述的线束端子的视觉检测方法,其特征在于,所述步骤S3中,每类线束端子的金属面图像构成所述模板库中的模板,所述最佳匹配模板为所述相关系数最大值所对应的金属面图像。
4.根据权利要求3所述的线束端子的视觉检测方法,其特征在于,在计算所述待匹配图像与所述模板库中每类线束端子的模板的相关系数之前,对所述待匹配图像进行矫正。
5.根据权利要求4所述的线束端子的视觉检测方法,其特征在于,在对待匹配图像进行矫正的过程中,检测所述待匹配图像Is的倾斜角度α,将所述待匹配图像Is旋转该倾斜角度α,获得矫正后的待匹配图像Isr:
Isr=R-α{Is}
其中,R-α为旋转-α角度的操作算子。
6.根据权利要求5所述的线束端子的视觉检测方法,其特征在于,利用投影方法、Hough变换方法或线性拟合方法检测所述待匹配图像的倾斜角度α。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911094370.5A CN110910358B (zh) | 2019-11-11 | 2019-11-11 | 线束端子的视觉检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911094370.5A CN110910358B (zh) | 2019-11-11 | 2019-11-11 | 线束端子的视觉检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110910358A CN110910358A (zh) | 2020-03-24 |
CN110910358B true CN110910358B (zh) | 2022-08-19 |
Family
ID=69817184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911094370.5A Active CN110910358B (zh) | 2019-11-11 | 2019-11-11 | 线束端子的视觉检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110910358B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112297032B (zh) * | 2020-12-30 | 2021-04-06 | 季华科技有限公司 | 位置检测及姿态微调方法、装置、电子设备、存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107490356A (zh) * | 2017-08-21 | 2017-12-19 | 上海航天控制技术研究所 | 一种非合作目标旋转轴和旋转角测量方法 |
KR101884557B1 (ko) * | 2017-02-08 | 2018-08-01 | 인제대학교 산학협력단 | 머신 비전을 활용한 와이어 하네스 케이블의 터미널 크림핑 검사 방법 |
CN110160493A (zh) * | 2019-05-13 | 2019-08-23 | 季华实验室 | 一种线束压接端子姿态的检测装置及检测方法 |
CN110263812A (zh) * | 2019-05-23 | 2019-09-20 | 季华实验室 | 汽车线束护套分类方法及系统 |
-
2019
- 2019-11-11 CN CN201911094370.5A patent/CN110910358B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101884557B1 (ko) * | 2017-02-08 | 2018-08-01 | 인제대학교 산학협력단 | 머신 비전을 활용한 와이어 하네스 케이블의 터미널 크림핑 검사 방법 |
CN107490356A (zh) * | 2017-08-21 | 2017-12-19 | 上海航天控制技术研究所 | 一种非合作目标旋转轴和旋转角测量方法 |
CN110160493A (zh) * | 2019-05-13 | 2019-08-23 | 季华实验室 | 一种线束压接端子姿态的检测装置及检测方法 |
CN110263812A (zh) * | 2019-05-23 | 2019-09-20 | 季华实验室 | 汽车线束护套分类方法及系统 |
Non-Patent Citations (2)
Title |
---|
基于机器视觉的汽车线束外观检测方法研究;黄思博等;《现代计算机》;20190710(第19期);全文 * |
线束端子角度姿态的视觉检测方法;王雨青等;《国外电子测量技术》;20200331;第39卷(第3期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110910358A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016101643A1 (zh) | 一种仪表数据读取方法及系统 | |
CN110455187B (zh) | 一种基于三维视觉的盒体工件焊缝的检测方法 | |
CN106935683B (zh) | 一种太阳能电池片高速视觉定位及矫正系统及其方法 | |
CN112683191B (zh) | 基于线激光的胎纹沟槽深度测量方法、装置及计算设备 | |
CN110672020A (zh) | 一种基于单目视觉的立木高度测量方法 | |
CN111121655A (zh) | 一种共面等大多孔型工件位姿与孔径视觉检测方法 | |
CN113532277B (zh) | 板状不规则曲面工件的检测方法及系统 | |
CN113340909B (zh) | 一种基于机器视觉的胶线缺陷检测方法 | |
CN109118529B (zh) | 一种基于视觉的螺孔图像快速定位方法 | |
CN114029946A (zh) | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 | |
CN109489581B (zh) | 一种大螺距锥形外螺纹检测装置及方法 | |
CN110910358B (zh) | 线束端子的视觉检测方法 | |
CN113607058B (zh) | 一种基于机器视觉的直刃刀尺寸检测方法及系统 | |
CN116228652A (zh) | 一种基于三维点云曲率的管道焊缝表面缺陷检测方法 | |
CN115014217A (zh) | 一种基于激光测距的管材在线检测方法 | |
CN117367516A (zh) | 基于多维测试的铝塑复合板性能检测系统 | |
JP2008116206A (ja) | パターン寸法測定装置、方法及びプログラム | |
US20170322537A1 (en) | Processing Apparatus with Vision-Based Measurement | |
JP2021021577A (ja) | 画像処理装置及び画像処理方法 | |
CN208399978U (zh) | 一种定位测量装置 | |
CN116465335A (zh) | 基于点云匹配的自动测厚方法和系统 | |
CN206864487U (zh) | 一种太阳能电池片高速视觉定位及矫正系统 | |
JP3537673B2 (ja) | 表面性状測定装置のトレンド補正方法 | |
CN110634136B (zh) | 一种管道壁破损检测方法、装置及系统 | |
CN112837285A (zh) | 一种板面图像的边缘检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |