CN109523539A - 基于多相机阵列的大尺寸的工业板材在线测量系统及方法 - Google Patents

基于多相机阵列的大尺寸的工业板材在线测量系统及方法 Download PDF

Info

Publication number
CN109523539A
CN109523539A CN201811399322.2A CN201811399322A CN109523539A CN 109523539 A CN109523539 A CN 109523539A CN 201811399322 A CN201811399322 A CN 201811399322A CN 109523539 A CN109523539 A CN 109523539A
Authority
CN
China
Prior art keywords
image
plate
array
feature
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811399322.2A
Other languages
English (en)
Inventor
高向军
葛方振
洪留荣
刘怀愚
李想
沈龙凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaibei Normal University
Original Assignee
Huaibei Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaibei Normal University filed Critical Huaibei Normal University
Priority to CN201811399322.2A priority Critical patent/CN109523539A/zh
Publication of CN109523539A publication Critical patent/CN109523539A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/70
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

本发明公开了基于多相机阵列的大尺寸的工业板材在线测量方法,包括如下步骤:S1、根据工业板材形状和目标尺寸构建嵌入式相机阵列;S2、采用ARM控制普通单目相机采集板材局部高分辨率图像;S3、利用嵌入式技术实现局部高分辨率图像目标的特征提取及局部测量;S4、根据局部图像的目标边缘特征,进行图像拼接,重建全局图像,计算工业板材的几何尺寸及多目标的精准分割。本发明采用分布式处理架构,各个子系统同步处理,系统规模具有可扩展性,不受限于工业板材的形状和目标尺寸,测量精度和运行效率高。

Description

基于多相机阵列的大尺寸的工业板材在线测量系统及方法
技术领域
本发明涉及机器视觉的工业智能应用领域,具体涉及一种基于多相机阵列的大尺寸的工业板材在线测量系统及方法。
背景技术
机器视觉技术采用摄像机,不仅可以实现对物体轮廓尺寸、面积、空间位置、形状、缺陷等参数和特征的综合测量和检测,而且具有非接触、高效、可靠、通用性好、易于实现自动化等优点。在大批量、连续自动化生产流水线上,迫切需要利用视觉实现产品目标的自动识别和精准分割。
目前对中小尺寸(100mm以下)机械器件的视觉测量技术相对比较成熟,但是对于尺寸大于100mm的大尺寸器件测量存在诸多问题:
1)多数视觉测量设备有特定量程,对尺寸超过量程的器件,无法测量;
2)相机视场角受限,单目相机对远程的目标边缘畸变严重,常存在伪边缘信息,严重影响目标的精准分割;
3)测量对象形状、大小受测量设备工作台面的限制;
4)多数测量设备都相对独立,较难与生产流水线完全整合;
5)大量程设备相对较重,搬运性能弱,且设备造价较髙。
分析以上问题,相比中小尺寸的机械器件,大尺寸工业板材的机器视觉测量和检测有两大难点:
一是必须建立基于序列不完备图像信息的大尺寸器件高精度测量方法。中小尺寸器件通过显微放大图像或高分辨率单幅图像,运用成熟的图像处理技术,即可获得满意的测量结果。而大尺寸器件要取得较高的测量精度,必须首先获得一张高分辨率全景图,由于拍摄视野与图像分辨率成反比,大尺寸器件无法直接获得单幅高分辨率图像,因为单幅高分辨率图像仅仅表达了大尺寸器件很小部分的信息。一般通过对大尺寸器件一系列高分辨率序列图像进行图像拼接来获得一张器件全景图。而图像拼接的各个环节不可避免地存在误差,这些误差不同程度地影响着拼接精度,从而影响着器件尺寸测量的精度。
二是必须攻克较大数量序列图像处理的实时计算的难题,使得在线测量成为可能。相比于中小尺寸器件,大尺寸器件需要进行的图像处理数据规模和图像处理复杂程度大大増加,而且在相同图像采集条件下,图像处理时间会随着器件的图幅数(器件大小)的增加而增加,从而造成大尺寸器件测量时间的増加,使得大尺寸器件难以实现在线测量。
总之,实现基于机器视觉的大尺寸工业板材在线测量及多目标自动分割存在诸多挑战:
1)相机视场不够,单目相机的视场难于覆盖整个板材平面;
2)获取图像常存在严重畸变,存在目标的伪边缘;
3)通常需要拼接在线获取的多帧序列图像;
4)测量及切割算法复杂度高。
虽然已有许多学者对这些问题和挑战展开了研究,但目前市场上依然没有合适的基于机器视觉的大尺寸工业板材在线测量及多目标提取。
发明内容
为解决上述问题,本发明提供了一种基于多相机阵列的大尺寸的工业板材在线测量系统及方法。
为实现上述目的,本发明采取的技术方案为:
基于多相机阵列的大尺寸的工业板材在线测量方法,包括如下步骤:
S1、根据工业板材形状和目标尺寸构建嵌入式相机阵列;
S2、采用ARM控制普通单目相机采集板材局部高分辨率图像;
S3、利用嵌入式技术实现局部高分辨率图像目标的特征提取及局部测量;
S4、根据局部图像的目标边缘特征,进行图像拼接,重建全局图像,计算工业板材的几何尺寸及多目标的精准分割。
进一步地,所述步骤S1中,根据工业板材形状和目标尺寸,自适应地构建分布式相机阵列,保证相机阵列的总视场角覆盖整个板材,不在盲区,且能够采集到高清目标边缘,减少伪边缘。
进一步地,所述步骤S3中,利用嵌入式技术在末端实现局部高分辨率图像的去噪、畸变矫正及局部目标特征提取。
进一步地,所述步骤S3中,采用Zernike矩以及Zernike矩亚像素精度边缘检测算法。
进一步地,所述步骤S4中,根据局部图像的边缘特征,采用自适应Harris角点匹配算法,快速拼接全局图像。
进一步地,所述步骤S4中,根据局部图像的目标边缘特征,采用轮廓匹配算法,实现多目标的精准分割。
本发明还提供了一种基于多相机阵列的大尺寸的工业板材在线测量系统,包括:
图像采集模块,自适应构建相机阵列,普通单目相机可以获取板材的高清局部图像;
预处理模块,用于建立各单目采集系统分布式处理子系统,各个子系统在末端实现局部图像的预处理,包括图像去噪、畸变矫正、图像目标的特征提取及局部测量等;
图像特征整合模块,用于根据各个子系统的图像边缘特征,采用自适应Harris角点匹配算法和轮廓匹配算法,实现全局图像的快速拼接和多目标的精准分割。
进一步地,所述预处理模块用于对该分布式处理子系统图像采集控制,保证各子系统同步采集图像,获得可信图像,包括:
相机标定单元,用于单目相机参数标定;
噪声处理单元,用于单目相机采集图像,各个子系统进行去噪声处理;
畸形矫正单元,用于各个子系统使用非线性算法对采集的局部图像进行畸形矫正;
图像目标特征提取单元,用于各个子系统的亚像素处理技术进行图像边缘提取。
本发明可以用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、多处理器系统、分布式计算环境等。具有以下有益效果:
(1)自适应不同情况。可以根据待处理板材形状和目标尺寸和分布情况,自适应布局相机的数量和空间位置;
(2)精度提高。自适应构建相机阵列,可降低局部图像的畸变,减弱目标的伪边缘,提高图像精度。
(3)效率提高。采用嵌入式并行处理技术,在系统末端实现边缘计算,所有局部图像同步处理;
(4)成本降低。可采用普通相机构建相机阵列。
附图说明
图1为本发明实施例一种基于多相机阵列的大尺寸工业板材在线测量及多目标提取系统的系统示意图。
图2为本发明实施例一种基于多相机阵列的大尺寸工业板材在线测量及多目标提取系统的系统框图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
实施例1
如图1所示,基于多相机阵列的大尺寸的工业板材在线测量系统,包括:
图像采集模块,自适应构建相机阵列,普通单目相机可以获取板材的局部高分辨率图像;
预处理模块,采用树莓派处理器,用于建立各单目采集系统分布式处理子系统,各个子系统在末端实现局部图像的预处理,包括图像去噪、畸变矫正、图像目标的特征提取及局部测量等;
图像特征整合模块,用于根据各个子系统的图像边缘特征,采用自适应Harris角点匹配算法和轮廓匹配算法,实现全局图像的快速拼接和多目标的精准分割。
所述预处理模块用于对该分布式处理子系统图像采集控制,保证各子系统同步采集图像,获得可信图像,包括:
相机标定单元,用于单目相机参数标定;
噪声处理单元,用于单目相机采集图像,各个子系统进行去噪声处理;
畸形矫正单元,用于各个子系统使用非线性算法对采集的局部图像进行畸形矫正;
图像目标特征提取单元,用于各个子系统的亚像素处理技术进行图像边缘提取。
图1中,实线为相机视场,虚线覆盖的区域为相机中心区域,即待处理区域,该区域在测量之前由人工标定。相机的数量和空间分布可以根据待处理的工业板材来定。设计原则为各相机的待处理区域的合集为整个板材面。
本具体实施采用分布式相机阵列采集数据,仅取每一目图像中心的小区域进行处理,从而减少图像畸变的影响,减弱板材中多目标造成的伪边缘。在系统末端执行边缘计算,提高系统效率。该发明力求解决大尺寸工业板材多目标自动切割存在的问题,是一套性能可靠、成本低廉的系统。
实施例2
如图2所示,基于多相机阵列的大尺寸的工业板材在线测量方法,包括如下步骤:
S1、根据工业板材形状和目标尺寸构建嵌入式相机阵列;
S2、采用ARM控制普通单目相机采集板材局部高分辨率图像;
S3、利用嵌入式技术实现局部高分辨率图像目标的特征提取及局部测量;
S4、根据局部图像的目标边缘特征,进行图像拼接,重建全局图像,计算工业板材的几何尺寸及多目标的精准分割。
本具体实施将局部图像理解信息在嵌入式系统上整合处理,得到器件整体的图像理解信息,包括器件的形状、面积及边缘信息等,进而实现器件的自动切割算法。整个过程避免了多目图像的拼接问题,且并行处理也提高了系统效率。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.基于多相机阵列的大尺寸的工业板材在线测量方法,其特征在于:包括如下步骤:
S1、根据工业板材形状和目标尺寸构建嵌入式相机阵列;
S2、采用ARM控制普通单目相机采集板材局部高分辨率图像;
S3、利用嵌入式技术实现局部高分辨率图像目标的特征提取及局部测量;
S4、根据局部图像的目标边缘特征,进行图像拼接,重建全局图像,计算工业板材的几何尺寸及多目标的精准分割。
2.如权利要求1所述的基于多相机阵列的大尺寸的工业板材在线测量方法,其特征在于:所述步骤S1中,根据工业板材形状和目标尺寸,自适应地构建分布式相机阵列。
3.如权利要求1所述的基于多相机阵列的大尺寸的工业板材在线测量方法,其特征在于:所述步骤S3中,利用嵌入式技术在末端实现局部高分辨率图像的去噪、畸变矫正及局部目标特征提取。
4.如权利要求1所述的基于多相机阵列的大尺寸的工业板材在线测量方法,其特征在于:所述步骤S3中,采用Zernike矩以及Zernike矩亚像素精度边缘检测算法。
5.如权利要求1所述的基于多相机阵列的大尺寸的工业板材在线测量方法,其特征在于:所述步骤S4中,根据局部图像的边缘特征,采用自适应Harris角点匹配算法,快速拼接全局图像。
6.如权利要求1所述的基于多相机阵列的大尺寸的工业板材在线测量方法,其特征在于:所述步骤S4中,根据局部图像的目标边缘特征,采用轮廓匹配算法,实现多目标的精准分割。
7.基于多相机阵列的大尺寸的工业板材在线测量系统,其特征在于:包括:
图像采集模块,自适应构建相机阵列,普通单目相机可以获取板材的高清局部图像;
预处理模块,用于建立各单目采集系统分布式处理子系统,各个子系统在末端实现局部图像的预处理,包括图像去噪、畸变矫正、图像目标的特征提取及局部测量等;
图像拼接模块,用于根据各个子系统的图像边缘特征,将所有特征图像进行拼接,实现全局图像的快速拼接及多目标的精准分割。
8.如权利要求7所述的基于多相机阵列的大尺寸的工业板材在线测量系统,其特征在于:所述预处理模块用于对该分布式处理子系统图像采集控制,保证各子系统同步采集图像,获得可信图像,包括:
相机标定单元,用于单目相机参数标定;
噪声处理单元,用于单目相机采集图像,各个子系统进行去噪声处理;
畸形矫正单元,用于各个子系统使用非线性算法对采集的局部图像进行畸形矫正;
图像目标特征提取单元,用于各个子系统的亚像素处理技术进行图像边缘提取。
CN201811399322.2A 2018-11-22 2018-11-22 基于多相机阵列的大尺寸的工业板材在线测量系统及方法 Pending CN109523539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811399322.2A CN109523539A (zh) 2018-11-22 2018-11-22 基于多相机阵列的大尺寸的工业板材在线测量系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811399322.2A CN109523539A (zh) 2018-11-22 2018-11-22 基于多相机阵列的大尺寸的工业板材在线测量系统及方法

Publications (1)

Publication Number Publication Date
CN109523539A true CN109523539A (zh) 2019-03-26

Family

ID=65778821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811399322.2A Pending CN109523539A (zh) 2018-11-22 2018-11-22 基于多相机阵列的大尺寸的工业板材在线测量系统及方法

Country Status (1)

Country Link
CN (1) CN109523539A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111707187A (zh) * 2020-05-12 2020-09-25 深圳大学 一种大型零件的测量方法及系统
CN112255973A (zh) * 2019-07-02 2021-01-22 库卡机器人(广东)有限公司 工业生产系统中的目标检测方法、检测终端及存储介质
CN112762841A (zh) * 2020-12-30 2021-05-07 天津大学 一种基于多分辨率深度特征的桥梁动位移监测系统及方法
IT202000001816A1 (it) * 2020-01-30 2021-07-30 Maema S R L Unipersonale Apparato e metodo per la rilevazione di immagini multiple di lastre piane
CN114331924A (zh) * 2022-03-15 2022-04-12 四川焱飞科技有限公司 大工件多相机视觉测量方法
CN114827749A (zh) * 2022-04-21 2022-07-29 应急管理部天津消防研究所 一种多视点全景视频无缝切换播放的方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102410811A (zh) * 2011-07-27 2012-04-11 北京理工大学 一种弯管参数的测量方法和系统
CN102914263A (zh) * 2012-10-17 2013-02-06 广州市佳铭工业器材有限公司 基于多相机图像拼接的工件自动检测设备
CN103383609A (zh) * 2012-05-02 2013-11-06 师涛 一种触摸屏用多相机同步追踪方法
CN103615980A (zh) * 2013-12-13 2014-03-05 北京理工大学 一种板件上圆孔参数的测量方法及系统
CN103702099A (zh) * 2013-12-17 2014-04-02 四川大学 一种基于头部追踪的超大视角集成成像3d显示方法
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN105574845A (zh) * 2015-09-01 2016-05-11 湖南大学 一种多相机阵列烟标叠层数量测量方法及装置
CN106204528A (zh) * 2016-06-27 2016-12-07 重庆理工大学 一种零件几何质量的尺寸检测方法
CN207399372U (zh) * 2017-12-18 2018-05-22 易思维(天津)科技有限公司 一种基于Gige的多相机传输系统
CN108240793A (zh) * 2018-01-26 2018-07-03 广东美的智能机器人有限公司 物体尺寸测量方法、装置和系统
CN108562250A (zh) * 2018-05-16 2018-09-21 湖南大学 基于结构光成像的键盘键帽平整度快速测量方法与装置
CN108716890A (zh) * 2018-08-17 2018-10-30 苏州富鑫林光电科技有限公司 一种基于机器视觉的高精度尺寸检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102410811A (zh) * 2011-07-27 2012-04-11 北京理工大学 一种弯管参数的测量方法和系统
CN103383609A (zh) * 2012-05-02 2013-11-06 师涛 一种触摸屏用多相机同步追踪方法
CN102914263A (zh) * 2012-10-17 2013-02-06 广州市佳铭工业器材有限公司 基于多相机图像拼接的工件自动检测设备
CN103615980A (zh) * 2013-12-13 2014-03-05 北京理工大学 一种板件上圆孔参数的测量方法及系统
CN103702099A (zh) * 2013-12-17 2014-04-02 四川大学 一种基于头部追踪的超大视角集成成像3d显示方法
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN105574845A (zh) * 2015-09-01 2016-05-11 湖南大学 一种多相机阵列烟标叠层数量测量方法及装置
CN106204528A (zh) * 2016-06-27 2016-12-07 重庆理工大学 一种零件几何质量的尺寸检测方法
CN207399372U (zh) * 2017-12-18 2018-05-22 易思维(天津)科技有限公司 一种基于Gige的多相机传输系统
CN108240793A (zh) * 2018-01-26 2018-07-03 广东美的智能机器人有限公司 物体尺寸测量方法、装置和系统
CN108562250A (zh) * 2018-05-16 2018-09-21 湖南大学 基于结构光成像的键盘键帽平整度快速测量方法与装置
CN108716890A (zh) * 2018-08-17 2018-10-30 苏州富鑫林光电科技有限公司 一种基于机器视觉的高精度尺寸检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112255973A (zh) * 2019-07-02 2021-01-22 库卡机器人(广东)有限公司 工业生产系统中的目标检测方法、检测终端及存储介质
IT202000001816A1 (it) * 2020-01-30 2021-07-30 Maema S R L Unipersonale Apparato e metodo per la rilevazione di immagini multiple di lastre piane
EP3859318A1 (en) 2020-01-30 2021-08-04 Maema S.R.L. Unipersonale Apparatus and method for capturing multiple images of flat plates
CN111707187A (zh) * 2020-05-12 2020-09-25 深圳大学 一种大型零件的测量方法及系统
CN112762841A (zh) * 2020-12-30 2021-05-07 天津大学 一种基于多分辨率深度特征的桥梁动位移监测系统及方法
CN114331924A (zh) * 2022-03-15 2022-04-12 四川焱飞科技有限公司 大工件多相机视觉测量方法
CN114827749A (zh) * 2022-04-21 2022-07-29 应急管理部天津消防研究所 一种多视点全景视频无缝切换播放的方法

Similar Documents

Publication Publication Date Title
CN109523539A (zh) 基于多相机阵列的大尺寸的工业板材在线测量系统及方法
Chen et al. High-accuracy multi-camera reconstruction enhanced by adaptive point cloud correction algorithm
US10690492B2 (en) Structural light parameter calibration device and method based on front-coating plane mirror
CN110017773B (zh) 一种基于机器视觉的包裹体积测量方法
US10899014B2 (en) Multiple lens-based smart mechanical arm and positioning and assembly method thereof
WO2018028103A1 (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN102589516B (zh) 一种基于双目线扫描摄像机的动态距离测量系统
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
CN112254656B (zh) 一种基于结构表面点特征的立体视觉三维位移测量方法
CN109489566A (zh) 锂电池隔膜材料分切宽度检测方法、检测系统及装置
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
CN110400315A (zh) 一种缺陷检测方法、装置及系统
CN110018170B (zh) 一种基于蜂巢模型的飞机蒙皮小型损伤定位方法
CN113240747B (zh) 一种基于计算机视觉的户外结构振动位移自动化监测方法
CN103852060A (zh) 一种基于单目视觉的可见光图像测距方法
CN107092905B (zh) 一种电力巡检机器人的待识别仪器定位方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
EP3998580A2 (en) Camera calibration method and apparatus, electronic device, storage medium, program product, and road side device
CN111882530A (zh) 一种亚像素定位图生成方法、定位方法及装置
CN105787870A (zh) 一种图形图像拼接融合系统
CN114140534A (zh) 一种用于激光雷达与相机的联合标定方法
CN110223356A (zh) 一种基于能量生长的单目相机全自动标定方法
Guo et al. Binocular stereo vision calibration based on accurate ellipse detection algorithm of direct calculation and grating conversion check
CN113763484A (zh) 基于视频图像分析技术的船舶目标定位及速度估算方法
CN105225232B (zh) 一种基于视觉注意机制的彩色着舰合作目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190326