CN109299689A - 基于机器视觉的环形生产线模台自动化识别装置及其识别方法 - Google Patents

基于机器视觉的环形生产线模台自动化识别装置及其识别方法 Download PDF

Info

Publication number
CN109299689A
CN109299689A CN201811105000.2A CN201811105000A CN109299689A CN 109299689 A CN109299689 A CN 109299689A CN 201811105000 A CN201811105000 A CN 201811105000A CN 109299689 A CN109299689 A CN 109299689A
Authority
CN
China
Prior art keywords
image
die station
station
number mark
protective cover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811105000.2A
Other languages
English (en)
Other versions
CN109299689B (zh
Inventor
梁晓
韩彦军
郭文武
马月辉
张淑凡
庞增拴
赵青龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HEBEI XINDADI ELECTROMECHANICAL MANUFACTURING Co Ltd
Shijiazhuang Tiedao University
Original Assignee
HEBEI XINDADI ELECTROMECHANICAL MANUFACTURING Co Ltd
Shijiazhuang Tiedao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HEBEI XINDADI ELECTROMECHANICAL MANUFACTURING Co Ltd, Shijiazhuang Tiedao University filed Critical HEBEI XINDADI ELECTROMECHANICAL MANUFACTURING Co Ltd
Priority to CN201811105000.2A priority Critical patent/CN109299689B/zh
Publication of CN109299689A publication Critical patent/CN109299689A/zh
Application granted granted Critical
Publication of CN109299689B publication Critical patent/CN109299689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Abstract

一种基于机器视觉的环形生产线模台自动化识别装置及其识别方法,识别装置具有模台、工位支架、数字标识、光电开关、图像采集模块、图像识别模块、带软件交互界面的显示设备。数字标识用于对模台进行编号和对模台所承载构件的生产信息进行定义;光电开关用于通过光电传感器的触发信号来控制图像采集模块采集图像;图像采集模块用于采集包含模台上的数字标识的原始图像信号;图像识别模块用于将采集得到的图像进行复原和分割,并通过标准模板匹配进行数字识别;带软件交互界面的显示设备用于显示实时视频和数字识别结果。本发明还提供了识别方法。它稳定性和准确性高,抗环境干扰,解决了已有模台的识别装置效率低、可靠性差、易受环境干扰的问题。

Description

基于机器视觉的环形生产线模台自动化识别装置及其识别 方法
技术领域
本发明涉及一种模台自动化识别装置,具体是一种基于机器视觉的环形生产线模台自动化识别装置;本发明还涉及所述模台的自动化识别方法。
背景技术
装配式建筑产业对于预制混凝土构件的标准化、工业化生产有着很高的要求,环形刚性流水线是最符合预制混凝土构件生产要求的生产线形式之一。模台在预制混凝土构件生产中起着重要的作用,混凝土构件的浇筑、振捣、赶平、养护、运输等全生产过程中各道工序都离不开模台的承载。环形生产线的模台通过环形辊道和运输车进行工位间的走行,因此模台的识别环节对于环形流水生产线的顺畅进行和节拍控制十分重要。此外,预制混凝土构件生产现场存在众多复杂环境干扰因素,识别的准确度和可靠性极易受影响。因此,如何提高环形生产线模台识别的效率、准确性、可靠性、稳定性是本领域的技术难题。
现阶段应用的生产线模台识别技术,一般采取人工识别和基于RFID电子标签识别两种技术。运用人工进行模台识别效率低下,极其影响环型流水生产线的通畅快速运转,无法满足预制混凝土构件工业化生产的需求,必须采用自动化识别的方法。运用RFID电子标签进行模台识别则极易受混凝土构件生产线现场的金属、高湿、粉尘等复杂环境因素干扰,稳定性和准确性不高,应用范围不广。
发明人检索到以下相关专利文献:CN105701476A公开了一种基于机器视觉的生产线产品自动化识别系统,可解决现有生产线产品自动化识别技术准确率较低的技术问题。包括机器视觉识别算法模块、软件交互界面、系统通信模块和图像采集模块;其中,机器视觉识别算法模块负责将待识别产品图像,与已知类别产品图像进行对比识别,提供待识别产品所属类别信息;软件交互界面用于实时视频显示,算法运行结果展示,以及算法运行参数控制实现;系统通信模块负责利用光电传感器信号来控制工业相机采集图像,以及算法结果的信号输出;图像采集模块负责控制图像采集环境,并进行产品图像采集。相关专利文献还没有给出预制混凝土构件生产线适用的模台自动化识别的解决方案。
以上这些技术对于本发明如何做到稳定性和准确性高,抗环境干扰,适用于预制混凝土构件环形生产线的模台,并未给出具体的指导方案。
发明内容
本发明的目的在于提供一种基于机器视觉的环形生产线模台自动化识别装置,该自动化识别装置基于机器视觉,稳定性和准确性高,抗环境干扰,适用于预制混凝土构件环形生产线的模台,以解决已有模台的识别装置效率低、可靠性差、易受环境干扰的问题。
为此,本发明的另一个目的在于提供一种基于机器视觉的环形生产线模台自动化识别方法。
为解决上述技术问题,本发明采用的技术方案如下:
一种基于机器视觉的环形生产线模台自动化识别装置(或者说是基于视觉的环形生产线模台自动化识别装置),具有模台、环形生产线的工位支架,其技术方案在于所述的基于机器视觉的环形生产线模台自动化识别装置还具有数字标识、光电开关、图像采集模块、图像识别模块、带软件交互界面的显示设备(显示器);其中:数字标识设于模台上,数字标识用于对模台进行编号和对模台所承载构件的生产信息进行定义;光电开关用于通过光电传感器的触发信号来控制图像采集模块(中的工业相机)采集图像;即所述光电开关负责收集环形生产线模台进入工位时光电传感器所产生的光电触发信号,向图像采集模块中的工业相机发出采集指令;图像采集模块用于采集包含模台上的数字标识的原始图像信号;图像识别模块用于将采集得到的图像进行复原和分割,并通过标准模板匹配进行数字识别;带软件交互界面的显示设备用于显示实时视频和数字识别结果,软件交互界面定义数字标识和控制算法运行参数。
上述技术方案中,本发明的优选方案可以是:所述的数字标识直接喷涂于模台的外侧面中央位置(而在模台的外侧面形成涂层),数字标识含多位数字,用于对模台进行编号,并且数字标识所代表的的模台所承载构件的生产信息由生产计划预定义。本发明还具有第一磁力表座,所述光电开关通过第一磁力表座固定于所述工位支架的横梁的端角位置。即光电开关安装在第一磁力表座上,第一磁力表座固定在所述横梁的端角位置上。本发明还具有第二磁力表座,上述的图像采集模块具有图像采集前端、进行A/D转换并将采集得到的模拟图像信号转换为数字化图像信号的图像采集卡,所述的图像采集前端具有提供模台实时视频信息并采集模台原始图像信号的工业相机、对图像采集前端进行防尘处理并屏蔽环境光照干扰的保护罩、对保护罩内补光并确保采集到的图像光照均匀的两个LED补光灯、与两个LED补光灯一一相对应的两个L型支座、将图像信号由工业相机传输给图像采集卡的同轴电缆;工业相机具有工业镜头、电荷耦合器件,上述两个LED补光灯分别安装于与其相对应的一个L型支座上,两个L型支座、工业相机均安装于保护罩的底面基座上。两个LED补光灯分布于工业相机的两侧,以使得保护罩内的光照均匀。保护罩为封闭结构,可拆装(可拆卸),用以对图像采集前端进行防尘处理并屏蔽环境光照干扰,保护罩的前端盖为透明玻璃板,该透明玻璃板由保护罩的本体和卡框通过缓冲胶垫(弹性胶垫)夹紧,保护罩的本体和卡框通过螺栓固定连接,所述螺栓的数量可以为多个,保护罩的本体为两端开口的筒体,保护罩的后端盖上布置有同轴电缆穿过的开口和电源线穿过的开口,保护罩的后端盖的套筒连接端插入保护罩的本体内,保护罩的后端盖的套筒连接端与保护罩的本体通过螺栓固定连接,所述螺栓的数量可以为多个,图像采集前端的保护罩通过第二磁力表座固定于所述工位支架的横梁的上端面中央位置前侧,即保护罩的底端安装在第二磁力表座上,第二磁力表座固定在所述横梁的上端面中央位置前侧。上述图像识别模块包括图像复原算法模块、数字分割算法模块和数字模板匹配识别算法模块,其中:图像复原算法模块负责对采集到的含有移动模糊、散焦模糊等失真现象的模台图像进行复原处理;数字分割算法模块负责对复原后的模台图像进行二值化并逐位分割处理;数字模板匹配识别算法模块负责对分割出来的数字与标准数字模板进行比对,实现逐位识别。所述软件交互界面包含构件库管理部分、数字标识与构件信息的对应管理部分、工业相机采集图像的实时显示部分、数字识别的算法运行参数管理部分、数字识别结果的显示部分,操作人员可以根据生产计划对数字标识与构件信息的对应关系进行重新定义。
具体的,基于机器视觉的环形生产线模台自动化识别方法(或者说是基于机器视觉的环形生产线模台自动化识别装置的识别方法),包括如下步骤:
第一步,原始数字标识图像的采集。当环形生产线的模台按照工序进入工位,到达就位位置后,触发位于所述工位支架的横梁端点位置的光电开关,控制主机接收到触发信号后发出控制信号,控制图像采集前端的工业相机开始采集模台的数字标识的原始图像帧。
第二步,模拟图像信号转换数字化图像信号。采集得到的原始数字标识图像经同轴电缆传输至图像采集卡,经A/D转换为数字化图像,继而输入图像识别模块。
第三步,数字标识图像的复原。在图像识别模块中,原始的数字标识图像首先经过模糊复原处理,去除图像中所含的移动模糊、散焦模糊等失真现象,提升图像质量。
第四步,数字标识的逐位分割。对经过第三步处理得到的高质量数字标识图像,自动裁剪得到用户感兴趣的数字标识区域,并进行二值化,继而通过双线性差值方法缩放至统一尺寸;然后利用垂直投影法对数字标识图像包含的多位数字进行分割提取。
第五步,数字标识的逐位识别。将第四步分割提取的每一位标识数字与标准数字模板进行比对,对模台数字标识进行逐位识别。
第六步,识别结果输出至软件交互界面进行显示,同时输出至生产线的MES制造执行系统,由MES制造执行系统根据模台识别结果和生产计划,转化为各种相关作业设备的动作控制指令,在位于所述工位支架的模台上进行划线、边模安装、预埋件安装、浇筑、振捣、赶平、拉毛等连续预制作业,作业完毕后通过环形生产线的运输车和辊道将模台连同其上的预制混凝土构件共同运输至养护区进行养护作业。
本发明的优选方案还可以是:
进一步地,第三步“数字标识图像的复原”还包括:
1)去除因模台运动或振动所引发的抖动模糊。
模糊图像g(x,y)可以建模为清晰图像f(x,y)与模糊核函数h(x,y)的卷积形式,图像的复原就是根据实际失真形式估计一个合适的模糊核函数,通过模糊核函数进行反卷积来求解得到模糊图像g(x,y)的清晰图像f(x,y)。对于因模台运动或振动所引发的抖动模糊,其模糊核函数建模为矩形函数:h(x,y)={1/s,y=xtanθ,0≤x≤scosθ;0,y≠xtanθ,-∞≤x≤+∞},其中s和θ即分别为抖动模糊的抖动长度和抖动方向。算法对上述第二步采集的数字标识图像进行傅里叶变换,得到具有抖动模糊特征的不断衰减的条纹状频谱图F(g),经中值滤波处理后对其进行Canny边缘检测,得到两条最长的频谱主线。两条主线的法线方向即为抖动方向θ,两线间距的一半(对称)即为抖动长度s。估计出抖动方向θ和抖动长度s之后,对模糊图像g(x,y)进行反卷积运算,即可对所含抖动模糊进行去除。
2)去除因相机聚焦不准或模台位置变动所引发的散焦模糊。
散焦模糊的模糊核函数为高斯密度函数,高斯密度函数的标准差表示散焦半径σ。算法对去除抖动模糊的数字标识图像g′求取其倒频谱C[g′]=|F-1{log[F(g′)]}|,倒频谱呈现不断衰减的圆环纹状,利用霍夫变换检测出最靠近中心的主圆环,其半径即为散焦半径σ。估计出散焦半径σ之后,对g′再次进行反卷积运算,即可对所含散焦模糊进行去除。经1)2)最终复原出高质量的清晰图像f。
进一步地,第四步“数字标识的逐位分割”还包括:
1)设置一个空矩阵X用来存放分割点的垂直投影(横坐标),计算二值化输入图像I的每一列上的值,即Σ(I(:,j))。
2)将每一列的值逻辑化并与flag做比较,即logical(Σ)~=flag,其中flag初值为0。logical(x)将把x中的非0值变成逻辑1、把所有的0值变成逻辑0。如果等式成立就将这个点存入矩阵X,并将逻辑化的每一列的值赋予flag,即flag=logical(Σ)。循环至最后一列为止。这样就能找出并储存每一个分水岭波谷的位置,以此为分割点,完成数字标识的逐位分割。
进一步地,第五步“数字标识的逐位识别”还包括:
1)将待识别数字图像与数字模板分别进行“与”运算,得到共同部分Si(i=0~9)。分别计算待识别数字的白色像素点Di、数字模板的白色像素点Mi和共同部分的白色像素点Gi,然后取平均值Ai=(Di+Mi+Gi)/3。
2)构造判别表达式:Yi={[(Di-Ai)2+(Mi-Ai)2+(Gi-Ai)2]/3}。判别系数Yi值最小的即为最相似的数字模版,所得数字模板即为待识别数字。
本发明的基于机器视觉的环形生产线模台自动化识别装置具有模台、环形生产线的工位支架、数字标识、光电开关、图像采集模块、图像识别模块、带软件交互界面的显示设备。这样,当模台由环形生产线辊道和运输车运输至所述工位支架,触发光电开关,工控主机控制工业相机进行图像采集,得到包含模台数字标识的原始图像帧;该图像信号经同轴电缆传输至图像采集卡进行A/D转换,转换出的数字化图像信号输出至图像识别模块;图像识别模块对数字标识图像进行复原、分割后,与标准数字模板进行比对,实现逐位识别。
本发明采用机器视觉技术,图像信号的采集过程不受生产线现场环境中金属和水汽等干扰因素的影响,图像识别模块中添加模糊复原模块能够大大降低模台移动、振动以及相机散焦、现场粉尘等干扰因素的影响,工业相机的保护罩和LED补光灯的设置也有效剔除了车间灯光的干扰,因此该装置能够稳定获取较高质量的模台数字标识图像;整套环形生产线模台自动化识别装置可以根据光电触发信号自动进行模台数字标识的采集、处理及识别,工作过程无需人工介入,速度快、效率高、准确率高、稳定性强,可以确保预制混凝土构件环形生产线的顺畅进行,大大提高了生产效率,与已有技术相比,本发明的生产效率提高了25%以上。
综上所述,本发明基于机器视觉,稳定性和准确性高,抗环境干扰,适用于预制混凝土构件环形生产线的模台,解决了已有模台的识别装置以及识别方法效率低、可靠性差、易受环境干扰的问题。
附图说明
图1为本发明的结构示意图。
图2为本发明中图像采集前端、光电开关与所述工位支架的横梁相连接的结构示意图(从图像采集前端的正面投影而得)。
图3为本发明中图像采集前端的保护罩的内部结构示意图(侧面图);图3中(a)为所述保护罩的内部结构示意图,图3中(b)为Ⅰ部位的局部放大视图,图3中(c)为Ⅱ部位的局部放大视图。
图4为本发明中图像采集前端的保护罩的后端盖结构示意图。
图5为本发明中图像采集模块、图像识别模块、带软件交互界面的显示设备相连接的电路原理框图。
图6为本发明中图像识别模块的算法逻辑框图。
具体实施方式
现结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构和原理,因此附图仅显示与本发明有关的构成。
实施例1:如图1、图2、图3、图4、图5所示,本发明的基于机器视觉的环形生产线模台自动化识别装置具有模台1、环形生产线的工位支架2、数字标识6、光电开关5、图像采集模块21、图像识别模块23、带软件交互界面的显示设备24。其中:数字标识6设于模台1上,数字标识6用于对模台进行编号和对模台所承载构件的生产信息进行定义。光电开关5用于通过光电传感器的触发信号来控制图像采集模块21(中的工业相机)采集图像;即所述光电开关负责收集环形生产线模台进入工位时光电传感器所产生的光电触发信号,向图像采集模块(中的工业相机)发出采集指令。图像采集模块21用于采集包含模台上的数字标识的原始图像信号。图像识别模块23用于将采集得到的图像进行复原和分割,并通过标准模板匹配进行数字识别。带软件交互界面的显示设备24用于显示实时视频和数字识别结果,所述软件交互界面定义数字标识和控制算法运行参数。
如图1、图2、图3、图4、图5所示,模台1是预制混凝土构件生产、运输和养护等工序的承载体,进入工位后置于环形生产线工位支架2的上端面。上述的数字标识6直接喷涂于模台1的外侧面中央位置,数字标识6含多位数字,用于对模台进行编号,并且数字标识所代表的的模台所承载构件的生产信息由生产计划预定义。本发明还具有第一磁力表座7,所述光电开关5通过第一磁力表座7固定于所述工位支架2的横梁3的端角位置,即光电开关安装在第一磁力表座上,第一磁力表座固定在所述横梁的端角位置上。
本发明还具有第二磁力表座7′,上述的图像采集模块21具有图像采集前端4、进行A/D转换并将采集得到的模拟图像信号转换为数字化图像信号的图像采集卡22,所述的图像采集前端4具有提供模台实时视频信息并采集模台原始图像信号的工业相机11、对图像采集前端进行防尘处理并屏蔽环境光照干扰的保护罩12、对保护罩内补光并确保采集到的图像光照均匀的两个LED补光灯10、与两个LED补光灯一一相对应的两个L型支座9、将图像信号由工业相机传输给图像采集卡的的同轴电缆13。工业相机11具有工业镜头1101、电荷耦合器件1102。上述两个LED补光灯10分别安装于与其相对应的一个L型支座9上,两个L型支座9、工业相机11的电荷耦合器件部位均安装于保护罩12的底面基座8上。两个LED补光灯10分布于工业相机11的两侧,以使得保护罩12内的光照均匀。保护罩12为可拆装的封闭结构,用以对图像采集前端进行防尘处理并屏蔽环境光照干扰,保护罩的前端盖16为透明玻璃板,该透明玻璃板由保护罩12的本体12′和卡框19通过缓冲胶垫(弹性胶垫)20夹紧,保护罩12的本体和卡框19通过螺栓18固定连接,螺栓18的数量可以为多个,保护罩12的本体为两端开口的筒体,保护罩的后端盖14上布置有同轴电缆13穿过的开口1401和电源线15穿过的开口1402,保护罩的后端盖14的套筒连接端插入保护罩12的本体内,保护罩的后端盖14的套筒连接端与保护罩12的本体通过螺栓17固定连接,螺栓17的数量可以为多个。图像采集前端的保护罩12通过第二磁力表座7′固定于所述工位支架2的横梁3的上端面中央位置前侧,即保护罩的底端安装在第二磁力表座上,第二磁力表座固定在所述横梁的上端面中央位置前侧。上述保护罩本体、保护罩的后端盖、L型支座、保护罩的底面基座皆可以由金属、有机玻璃或者工程塑料制成。
如图5所示,上述图像采集前端4的信号输出端与图像采集卡22的信号输入端相连接,图像采集卡22的信号输出端与图像识别模块23的信号输入端相连接,图像识别模块23的信号输出端与带软件交互界面的显示设备24的信号输入端相连接。上述图像识别模块23包括图像复原算法模块、数字分割算法模块和数字模板匹配识别算法模块,其中:图像复原算法模块负责对采集到的含有移动模糊、散焦模糊等失真现象的模台图像进行复原处理。数字分割算法模块负责对复原后的模台图像进行二值化并逐位分割处理。数字模板匹配识别算法模块负责对分割出来的数字与标准数字模板进行比对,实现逐位识别。带软件交互界面的显示设备中所述的软件交互界面包含构件库管理部分、数字标识与构件信息的对应管理部分、工业相机采集图像的实时显示部分、数字识别的算法运行参数管理部分、数字识别结果的显示部分,操作人员可以根据生产计划对数字标识与构件信息的对应关系进行重新定义。
实施例2:如图6、图1、图2、图3、图4、图5所示,所述基于机器视觉的环形生产线模台自动化识别方法包括如下步骤:
1)当环形生产线的模台1按照工序进入工位,到达就位位置后,触发位于所述工位支架2的横梁3端点位置的光电开关5,控制主机接收到触发信号后发出控制信号,控制图像采集前端4的工业相机11开始采集模台的数字标识的原始图像帧。
2)采集得到的原始数字标识图像帧经同轴电缆13传输至图像采集卡22,A/D转换为数字化图像,继而输入图像识别模块23进行图像处理和识别。
3)如图6所示,首先,算法对上述采集的原始数字标识图像g进行傅里叶变换,得到具有抖动模糊特征的不断衰减的条纹状频谱图F(g),经中值滤波处理后对其进行Canny边缘检测,得到两条最长的频谱主线。两条主线的法线方向即为抖动方向θ,两线间距的一半(对称)即为抖动长度s。估计出抖动方向θ和抖动长度s之后,对采集的模糊图像进行反卷积运算,从而去除因模台运动或振动所引发的抖动模糊。其次,算法对去除抖动模糊之后的数字标识图像g′求取其倒频谱|F-1{log[F(g′)]}|,倒频谱呈现不断衰减的圆环纹状,利用霍夫变换检测出最靠近中心的主圆环,其半径即为散焦半径σ。估计出散焦半径σ之后,对g′再次进行反卷积运算,去除因相机聚焦不准或模台位置变动所引发的散焦模糊。经两步反卷积,复原出高质量的清晰图像f。
4)自动裁剪得到用户感兴趣的数字标识区域,并进行二值化,继而双线性差值缩放至统一尺寸;
5)利用垂直投影法,计算二值化输入图像I的每一列上的值,即Σ(I(:,j))。将每一列的值逻辑化并与flag做比较,即logical(Σ)~=flag。等式成立则将逻辑化的列值赋予flag,即flag=logical(Σ)。循环至最后一列为止,找出每一个分水岭波谷的位置,以此为分割点,完成数字标识的逐位分割。
6)将待识别数字图像与数字模板分别进行“与”运算,得到共同部分Si(i=0~9)。分别计算待识别数字的白色像素点Di、数字模板的白色像素点Mi和共同部分的白色像素点Gi,然后取平均值Ai=(Di+Mi+Gi)/3。构造判别表达式:Yi={[(Di-Ai)2+(Mi-Ai)2+(Gi-Ai)2]/3}。判别系数Yi值最小的即为最相似的数字模版,所得数字模板即为待识别数字。
7)识别结果输出至软件交互界面24进行显示,同时输出至生产线的MES制造执行系统,由MES制造执行系统根据模台识别结果和生产计划,转化为各种相关作业设备的动作控制指令,在位于所述工位支架2的模台1上进行划线、边模安装、预埋件安装、浇筑、振捣、赶平、拉毛等连续预制作业,作业完毕后通过环形生产线的运输车和辊道将模台连同其上的预制混凝土构件共同运输至养护区进行养护作业。
实施例3:如图6、图1、图2、图3、图4、图5所示,基于机器视觉的环形生产线模台自动化识别方法使用上述模台自动化识别装置,所述基于机器视觉的环形生产线模台自动化识别方法包括如下步骤:
第一步,原始数字标识图像的采集。当环形生产线的模台(1)按照工序进入工位,到达就位位置后,触发位于所述工位支架(2)的横梁(3)端点位置的光电开关(5),控制主机接收到触发信号后发出控制信号,控制图像采集前端(4)的工业相机(11)开始采集模台的数字标识的原始图像帧。
第二步,模拟图像信号转换数字化图像信号。采集得到的原始数字标识图像经同轴电缆(13)传输至图像采集卡(22),经A/D转换为数字化图像,继而输入图像识别模块(23)。
第三步,数字标识图像的复原。在图像识别模块(23)中,原始的数字标识图像首先经过模糊复原处理,去除图像中所含的移动模糊、散焦模糊等失真现象,提升图像质量。本步骤中,所述“数字标识图像的复原”还包括:
1)去除因模台运动或振动所引发的抖动模糊,
模糊图像g(x,y)可以建模为清晰图像f(x,y)与模糊核函数h(x,y)的卷积形式,图像的复原就是根据实际失真形式估计一个合适的模糊核函数,通过模糊核函数进行反卷积来求解得到模糊图像g(x,y)的清晰图像f(x,y),对于因模台运动或振动所引发的抖动模糊,其模糊核函数建模为矩形函数:h(x,y)={1/s,y=xtanθ,0≤x≤scosθ;0,y≠xtanθ,-∞≤x≤+∞},其中s和θ即分别为抖动模糊的抖动长度和抖动方向,算法对上述第二步采集的数字标识图像进行傅里叶变换,得到具有抖动模糊特征的不断衰减的条纹状频谱图F(f),经中值滤波处理后对其进行Canny边缘检测,得到两条最长的频谱主线,两条主线的法线方向即为抖动方向θ,两线间距的一半(对称)即为抖动长度s,估计出抖动方向θ和抖动长度s之后,对模糊图像g(x,y)进行反卷积运算,即可对所含抖动模糊进行去除;
2)去除因相机聚焦不准或模台位置变动所引发的散焦模糊,
散焦模糊的模糊核函数为高斯密度函数,高斯密度函数的标准差表示散焦半径σ,算法对去除抖动模糊的数字标识图像g′求取其倒频谱C[g′]=|F-1{log[F(f)]}|,倒频谱呈现不断衰减的圆环纹状,利用霍夫变换检测出最靠近中心的主圆环,其半径即为散焦半径σ,估计出散焦半径σ之后,对g′再次进行反卷积运算,即可对所含散焦模糊进行去除,经步骤1)、2)最终复原出高质量的清晰图像f。
第四步,数字标识的逐位分割。对经过第三步处理得到的高质量数字标识图像,自动裁剪得到用户感兴趣的数字标识区域,并进行二值化,继而通过双线性差值方法缩放至统一尺寸;然后利用垂直投影法对数字标识图像包含的多位数字进行分割提取。本步骤中,所述“数字标识的逐位分割”还包括:
1)设置一个空矩阵X用来存放分割点的垂直投影(横坐标),计算二值化输入图像I的每一列上的值,即Σ(I(:,j)),也就是对矩阵I中第j列上的数求和。
2)将每一列的值逻辑化并与flag做比较,即logical(Σ)~=flag,式中“~=”为“不等于”,其中flag初值为0,logical(x)将把x中的非0值变成逻辑1、把所有的0值变成逻辑0,如果等式成立就将这个点存入矩阵X,并将逻辑化的每一列的值赋予flag,即flag=logical(Σ),循环至最后一列为止,这样就能找出并储存每一个分水岭波谷的位置,以此为分割点,完成数字标识的逐位分割。
第五步,数字标识的逐位识别。将第四步分割提取的每一位标识数字与标准数字模板进行比对,对模台数字标识进行逐位识别。
本步骤中,所述“数字标识的逐位识别”还包括:
1)将待识别数字图像与数字模板分别进行“与”运算,得到共同部分Si(i=0~9),分别计算待识别数字的白色像素点Di、数字模板的白色像素点Mi和共同部分的白色像素点Gi,然后取平均值Ai=(Di+Mi+Gi)/3。
2)构造判别表达式:Yi={[(Di-Ai)2+(Mi-Ai)2+(Gi-Ai)2]/3},判别系数Yi值最小的即为最相似的数字模版,所得数字模板即为待识别数字。
第六步,识别结果输出至软件交互界面进行显示,同时输出至生产线的MES制造执行系统,由MES制造执行系统根据模台识别结果和生产计划,转化为各种相关作业设备的动作控制指令,在位于所述工位支架(2)的模台(1)上进行划线、边模安装、预埋件安装、浇筑、振捣、赶平、拉毛等连续预制作业,作业完毕后通过环形生产线的运输车和辊道将模台连同其上的预制混凝土构件共同运输至养护区进行养护作业。
以上实施例中所述图像采集模块、图像识别模块可以为(但不仅限于)CPU Corei7、4GB DDR3内存、MGeFore GTX 570显卡的工控主机,图像采集卡可以采用(但不仅限于)ME-C7600图像采集卡。
上面结合附图和实施例,对本发明的具体实施方式作了进一步详细描述。以上实施例用于说明本发明,但不用来限制本发明的范围。

Claims (9)

1.一种基于机器视觉的环形生产线模台自动化识别装置,具有模台(1)、环形生产线的工位支架(2),其特征在于所述的基于机器视觉的环形生产线模台自动化识别装置还具有数字标识(6)、光电开关(5)、图像采集模块(21)、图像识别模块(23)、带软件交互界面的显示设备(24);其中:
数字标识(6)设于模台(1)上,数字标识(6)用于对模台进行编号和对模台所承载构件的生产信息进行定义;
光电开关(5)用于通过光电传感器的触发信号来控制图像采集模块(21)采集图像;
图像采集模块(21)用于采集包含模台上的数字标识的原始图像信号;
图像识别模块(23)用于将采集得到的图像进行复原和分割,并通过标准模板匹配进行数字识别;
带软件交互界面的显示设备(24)用于显示实时视频和数字识别结果。
2.根据权利要求1所述的基于机器视觉的环形生产线模台自动化识别装置,其特征在于上述的数字标识(6)直接喷涂于模台(1)的外侧面中央位置。
3.根据权利要求1所述的基于机器视觉的环形生产线模台自动化识别装置,其特征在于它还具有第一磁力表座(7),所述光电开关(5)通过第一磁力表座(7)固定于所述工位支架(2)的横梁(3)的端角位置。
4.根据权利要求1所述的基于机器视觉的环形生产线模台自动化识别装置,其特征在于它还具有第二磁力表座(7′),上述的图像采集模块(21)具有图像采集前端(4)、进行A/D转换并将采集得到的模拟图像信号转换为数字化图像信号的图像采集卡(22),所述的图像采集前端(4)具有提供模台实时视频信息并采集模台原始图像信号的工业相机(11)、对图像采集前端进行防尘处理并屏蔽环境光照干扰的保护罩(12)、对保护罩内补光并确保采集到的图像光照均匀的两个LED补光灯(10)、与两个LED补光灯一一相对应的两个L型支座(9)、将图像信号由工业相机传输给图像采集卡的同轴电缆(13);上述两个LED补光灯(10)分别安装于与其相对应的一个L型支座(9)上,两个L型支座(9)、工业相机(11)均安装于保护罩(12)的底面基座(8)上,两个LED补光灯(10)分布于工业相机(11)的两侧,保护罩(12)为可拆装的封闭结构,保护罩的前端盖(16)为透明玻璃板,该透明玻璃板由保护罩(12)的本体和卡框(19)通过缓冲胶垫(20)夹紧,保护罩(12)的本体和卡框(19)通过螺栓(18)固定连接,保护罩(12)的本体为两端开口的筒体,保护罩的后端盖(14)上布置有同轴电缆(13)穿过的开口(1401)和电源线(15)穿过的开口(1402),保护罩的后端盖(14)的套筒连接端插入保护罩(12)的本体内,保护罩的后端盖(14)的套筒连接端与保护罩(12)的本体通过螺栓(17)固定连接,图像采集前端的保护罩(12)通过第二磁力表座(7′)固定于所述工位支架(2)的横梁(3)的上端面中央位置前侧。
5.根据权利要求1所述的基于机器视觉的环形生产线模台自动化识别装置,其特征在于上述图像识别模块(23)包括图像复原算法模块、数字分割算法模块和数字模板匹配识别算法模块,其中:
图像复原算法模块对采集到的含有移动模糊、散焦模糊等失真现象的模台图像进行复原处理;
数字分割算法模块对复原后的模台图像进行二值化并逐位分割处理;
数字模板匹配识别算法模块对分割出来的数字与标准数字模板进行比对,实现逐位识别。
6.一种基于机器视觉的环形生产线模台自动化识别方法,它使用权利要求2-5任一项所述的基于机器视觉的环形生产线模台自动化识别装置,其特征在于所述的识别方法包括如下步骤:
第一步,原始数字标识图像的采集,
当环形生产线的模台(1)按照工序进入工位,到达就位位置后,触发位于所述工位支架(2)的横梁(3)端点位置的光电开关(5),控制主机接收到触发信号后发出控制信号,控制图像采集前端(4)的工业相机(11)开始采集模台的数字标识的原始图像帧;
第二步,模拟图像信号转换数字化图像信号,
采集得到的原始数字标识图像经同轴电缆(13)传输至图像采集卡(22),经A/D转换为数字化图像,继而输入图像识别模块(23);
第三步,数字标识图像的复原,
在图像识别模块(23)中,原始的数字标识图像首先经过模糊复原处理,去除图像中所含的移动模糊、散焦模糊等失真现象,提升图像质量;
第四步,数字标识的逐位分割,
对经过第三步处理得到的高质量数字标识图像,自动裁剪得到用户感兴趣的数字标识区域,并进行二值化,继而通过双线性差值方法缩放至统一尺寸;然后利用垂直投影法对数字标识图像包含的多位数字进行分割提取;
第五步,数字标识的逐位识别,
将第四步分割提取的每一位标识数字与标准数字模板进行比对,对模台数字标识进行逐位识别;
第六步,识别结果输出至软件交互界面进行显示,同时输出至生产线的MES制造执行系统,由MES制造执行系统根据模台识别结果和生产计划,转化为各种相关作业设备的动作控制指令,在位于所述工位支架(2)的模台(1)上进行划线、边模安装、预埋件安装、浇筑、振捣、赶平、拉毛等连续预制作业,作业完毕后通过环形生产线的运输车和辊道将模台连同其上的预制混凝土构件共同运输至养护区进行养护作业。
7.根据权利要求6所述的基于机器视觉的环形生产线模台自动化识别方法,其特征在于:所述第三步“数字标识图像的复原”还包括:
1)去除因模台运动或振动所引发的抖动模糊,
模糊图像g(x,y)可以建模为清晰图像f(x,y)与模糊核函数h(x,y)的卷积形式,图像的复原就是根据实际失真形式估计一个合适的模糊核函数,通过模糊核函数进行反卷积来求解得到模糊图像g(x,y)的清晰图像f(x,y),对于因模台运动或振动所引发的抖动模糊,其模糊核函数建模为矩形函数:h(x,y)={1/s,y=xtanθ,0≤x≤scosθ;0,y≠xtanθ,-∞≤x≤+∞},其中s和θ即分别为抖动模糊的抖动长度和抖动方向,算法对上述第二步采集的数字标识图像进行傅里叶变换,得到具有抖动模糊特征的不断衰减的条纹状频谱图F(f),经中值滤波处理后对其进行Canny边缘检测,得到两条最长的频谱主线,两条主线的法线方向即为抖动方向θ,两线间距的一半(对称)即为抖动长度s,估计出抖动方向θ和抖动长度s之后,对模糊图像g(x,y)进行反卷积运算,即可对所含抖动模糊进行去除;
2)去除因相机聚焦不准或模台位置变动所引发的散焦模糊,
散焦模糊的模糊核函数为高斯密度函数,高斯密度函数的标准差表示散焦半径σ,算法对去除抖动模糊的数字标识图像g′求取其倒频谱C[g′]=|F-1{log[F(f)]}|,倒频谱呈现不断衰减的圆环纹状,利用霍夫变换检测出最靠近中心的主圆环,其半径即为散焦半径σ,估计出散焦半径σ之后,对g′再次进行反卷积运算,即可对所含散焦模糊进行去除,经步骤1)、2)最终复原出高质量的清晰图像f。
8.根据权利要求6所述的基于机器视觉的环形生产线模台自动化识别方法,其特征在于:所述第四步“数字标识的逐位分割”还包括:
1)设置一个空矩阵X用来存放分割点的垂直投影(横坐标),计算二值化输入图像I的每一列上的值,即Σ(I(:,j));
2)将每一列的值逻辑化并与flag做比较,即logical(Σ)~=flag,其中flag初值为0,logical(x)将把x中的非0值变成逻辑1、把所有的0值变成逻辑0,如果等式成立就将这个点存入矩阵X,并将逻辑化的每一列的值赋予flag,即flag=logical(Σ),循环至最后一列为止,这样就能找出并储存每一个分水岭波谷的位置,以此为分割点,完成数字标识的逐位分割。
9.根据权利要求6所述的基于机器视觉的环形生产线模台自动化识别方法,其特征在于:所述第五步“数字标识的逐位识别”还包括:
1)将待识别数字图像与数字模板分别进行“与”运算,得到共同部分Si(i=0~9),分别计算待识别数字的白色像素点Di、数字模板的白色像素点Mi和共同部分的白色像素点Gi,然后取平均值Ai=(Di+Mi+Gi)/3;
2)构造判别表达式:Yi={[(Di-Ai)2+(Mi-Ai)2+(Gi-Ai)2]/3},判别系数Yi值最小的即为最相似的数字模版,所得数字模板即为待识别数字。
CN201811105000.2A 2018-09-21 2018-09-21 基于机器视觉的环形生产线模台自动化识别装置及其识别方法 Active CN109299689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811105000.2A CN109299689B (zh) 2018-09-21 2018-09-21 基于机器视觉的环形生产线模台自动化识别装置及其识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811105000.2A CN109299689B (zh) 2018-09-21 2018-09-21 基于机器视觉的环形生产线模台自动化识别装置及其识别方法

Publications (2)

Publication Number Publication Date
CN109299689A true CN109299689A (zh) 2019-02-01
CN109299689B CN109299689B (zh) 2024-03-08

Family

ID=65164068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811105000.2A Active CN109299689B (zh) 2018-09-21 2018-09-21 基于机器视觉的环形生产线模台自动化识别装置及其识别方法

Country Status (1)

Country Link
CN (1) CN109299689B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515135A (zh) * 2019-08-19 2019-11-29 河南宝合元汽车配件有限公司 一种机器人工作区光电安全监测装置
CN110774419A (zh) * 2019-10-14 2020-02-11 中建材创新科技研究院有限公司 一种基于颜色识别的石膏板生产控制方法及颜色识别系统
CN111582188A (zh) * 2020-05-11 2020-08-25 广东创成建设监理咨询有限公司 一种基于人工智能的混凝土浇筑旁站监理方法
CN115933534A (zh) * 2023-02-09 2023-04-07 山东山科世鑫科技有限公司 一种基于物联网的数控智能检测系统及方法
CN117007469A (zh) * 2023-10-07 2023-11-07 福建路通管业科技股份有限公司 一种玻璃纤维浸润度检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184386A (zh) * 2011-04-22 2011-09-14 马鞍山马钢华阳设备诊断工程有限公司 车轮标识字符在线识别方法及其检测系统
CN105701476A (zh) * 2016-02-04 2016-06-22 合肥泰禾光电科技股份有限公司 一种基于机器视觉的生产线产品自动化识别系统及方法
US20170255837A1 (en) * 2011-08-25 2017-09-07 Cornell University Retinal encoder for machine vision
CN208722227U (zh) * 2018-09-21 2019-04-09 石家庄铁道大学 基于机器视觉的环形生产线模台自动化识别装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184386A (zh) * 2011-04-22 2011-09-14 马鞍山马钢华阳设备诊断工程有限公司 车轮标识字符在线识别方法及其检测系统
US20170255837A1 (en) * 2011-08-25 2017-09-07 Cornell University Retinal encoder for machine vision
CN105701476A (zh) * 2016-02-04 2016-06-22 合肥泰禾光电科技股份有限公司 一种基于机器视觉的生产线产品自动化识别系统及方法
CN208722227U (zh) * 2018-09-21 2019-04-09 石家庄铁道大学 基于机器视觉的环形生产线模台自动化识别装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈伟;庞全;范影乐;徐平;: "基于机器视觉的全自动汽车零件筛选系统", 仪表技术与传感器, no. 09 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515135A (zh) * 2019-08-19 2019-11-29 河南宝合元汽车配件有限公司 一种机器人工作区光电安全监测装置
CN110774419A (zh) * 2019-10-14 2020-02-11 中建材创新科技研究院有限公司 一种基于颜色识别的石膏板生产控制方法及颜色识别系统
CN111582188A (zh) * 2020-05-11 2020-08-25 广东创成建设监理咨询有限公司 一种基于人工智能的混凝土浇筑旁站监理方法
CN115933534A (zh) * 2023-02-09 2023-04-07 山东山科世鑫科技有限公司 一种基于物联网的数控智能检测系统及方法
CN115933534B (zh) * 2023-02-09 2023-11-07 山东山科世鑫科技有限公司 一种基于物联网的数控智能检测系统及方法
CN117007469A (zh) * 2023-10-07 2023-11-07 福建路通管业科技股份有限公司 一种玻璃纤维浸润度检测方法

Also Published As

Publication number Publication date
CN109299689B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN109299689A (zh) 基于机器视觉的环形生产线模台自动化识别装置及其识别方法
CN109454006B (zh) 基于化纤丝锭绊丝缺陷在线检测和分级的装置的检测分级方法
MY128897A (en) Image texture retrieving method and apparatus thereof
CN109085174A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
CN105701476A (zh) 一种基于机器视觉的生产线产品自动化识别系统及方法
CN101456159A (zh) 火花识别对刀方法及磨削加工自动化系统
CN104299246B (zh) 基于视频的生产线物品部件运动检测与跟踪方法
CN102601131A (zh) 一种钢坯表面质量在线检测装置
CN104601956A (zh) 基于固定翼无人机的输电线路在线监测系统及监测方法
CN109297969A (zh) 一种烟叶流水线杂质检测方法及系统
CN109406527B (zh) 一种微型摄像模组镜头精细外观缺陷检测系统及方法
CN113379734A (zh) 质量检测方法、装置、设备及计算机可读存储介质
CN108596173A (zh) 单相机全视角线号实时识别装置及其检测方法
CN111899219A (zh) 一种输电线路机巡的图像识别方法及系统
CN205620323U (zh) 一种基于图像处理的公路路面分析系统
CN110427869A (zh) 一种用于垃圾处理的远端视觉分选识别方法
CN112329584A (zh) 基于机器视觉自动识别电网异物的方法及系统、设备
CN208722227U (zh) 基于机器视觉的环形生产线模台自动化识别装置
CN113245222A (zh) 一种三七异物视觉实时检测分拣系统及分拣方法
CN113705351A (zh) 车辆定损方法、装置及设备
CN108171269A (zh) 一种医疗器械图像识别装置
CN111126402A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN115610739A (zh) 玻璃贴膜机械气泡状态检测平台
CN115731228A (zh) 一种镀金芯片缺陷检测系统和方法
CN113139476A (zh) 一种面向数据中心的人体行为属性实时检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant