CN112489000A - 一种自主可重构零件表面质量检测系统 - Google Patents

一种自主可重构零件表面质量检测系统 Download PDF

Info

Publication number
CN112489000A
CN112489000A CN202011313158.6A CN202011313158A CN112489000A CN 112489000 A CN112489000 A CN 112489000A CN 202011313158 A CN202011313158 A CN 202011313158A CN 112489000 A CN112489000 A CN 112489000A
Authority
CN
China
Prior art keywords
camera
shooting
cameras
normal vector
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011313158.6A
Other languages
English (en)
Inventor
张保伟
靳津
于少冲
马金荣
戈朝波
张青
曹凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Langshuo Robot Technology Co ltd
Original Assignee
Tianjin Langshuo Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Langshuo Robot Technology Co ltd filed Critical Tianjin Langshuo Robot Technology Co ltd
Priority to CN202011313158.6A priority Critical patent/CN112489000A/zh
Publication of CN112489000A publication Critical patent/CN112489000A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

本发明提供一种自主可重构零件表面质量检测系统,包括以下步骤:根据被检零件ASCII格式输出的STL文件得到模型的三角网格模型中各个三角形的面法向量及顶点法向量;根据系统所要求的精度和所采取相机的分辨率,得到相机的视野范围;根据相机的拍摄视野大小及被检零件的尺寸范围确定检测该零件所需的相机个数和拍摄距离;根据步骤一调节每个相机的姿态,使相机的拍摄方向平行于模型三角网格的面法向量或顶点法向量,此时相机垂直于零件表面;根据步骤二所求出的拍摄距离,沿着步骤四所规定的相机拍摄方向平移相机位置;相机拍摄距离和拍摄角度调整完毕后,将每个相机的拍摄画面进行图像融合,生成一个完整画面。本发明能够实现相机姿态计算及相机个数确定。

Description

一种自主可重构零件表面质量检测系统
技术领域
本发明属于视觉智能检测系统中的零件表面领域,尤其涉及一种自主可重构零件表面质量检测系统。
背景技术
当今工业生产处于高度竞争的状态,而其决定因素就在于加工零件的质量,零件质量的好坏基本上决定了工业生产的部门的兴衰。因此工业生产过程进行质量控制就成了各个部门共同关注的课题,各种质量控制技术与手段也被研发出来。
近来迅速发展的以图像处理技术为基础的机器视觉技术恰恰可以解决这一问题。用机器视觉检测方法不仅可以大大提高生产效率和生产的自动化程度,而且机器视觉易于实现信息集成,满足数字化、自动化生产的要求。
然而,以往大多数的视觉技术主要集中在图像采集、图像处理、缺陷检测识别等方面,对于相机姿态调节主要是无序调节,即随机调节相机方向、焦距、拍摄距离、视野大小以期达到最佳效果,并且在确定相机个数方面大多也是进行试验法,所以在自主可重构方面一直是这项技术应用于在线检测的最大障碍。
因此,本发明提供一种自主可重构零件表面质量检测系统,能够实现相机姿态计算及相机个数确定,对相机相关调节具有简单、快捷的操作。
发明内容
为了解决上述技术问题,本发明提供一种自主可重构零件表面质量检测系统,包括以下步骤:
步骤一:根据被检零件ASCII格式输出的STL文件得到模型的三角网格模型中各个三角形的面法向量及顶点法向量;
步骤二:根据系统所要求的精度和所采取相机的分辨率,得到相机的视野范围;
步骤三:根据相机的拍摄视野大小及被检零件的尺寸范围确定检测该零件所需的相机个数和拍摄距离;
步骤四:根据步骤一调节每个相机的姿态,使相机的拍摄方向平行于模型三角网格的面法向量或顶点法向量,此时相机垂直于零件表面;
步骤五:根据步骤二所求出的拍摄距离,沿着步骤四所规定的相机拍摄方向平移相机位置;
步骤六:将相机拍摄距离和拍摄角度调整完毕后,将每个相机的拍摄画面进行图像融合,使之生成一个完整画面。
优选的,所述步骤一具体包括:根据被检零件的ASCII格式输出的STL文件,通过与其相邻的三角面片法向量经过面积加权平均与内角正弦加权平均之和的平均得到被检零件三角面片的顶点法向量,ACSII格式的STL文件能够自动生成三角面片的面法向量。
优选的,所述步骤二具体包括:根据系统要求检测精度n、相机分辨率a×b,可得到相机的拍照视野,横向视野范围:n×a,竖向视野范围:n×b。
优选的,所述步骤三中拍摄距离使根据物距与视野范围成正比的关系
Figure BDA0002790475090000021
并根据步骤一确定的视野范围得到相机的拍摄距离。
优选的,所述步骤三中的相机个数是根据被检测零件外形对零件进行表面区域划分,分为k个子型面,第i个子型面的尺寸为xi×yi,该子型面横向需要相机个数为[xi/(n×a)],该子型面竖向需要相机个数为[yi/(n×b)]。对于k个子型面总计需要相机个数为:
Figure BDA0002790475090000022
优选的,所述步骤四、步骤五是根据步骤一和步骤二求得的三角形的面法向量及顶点法向量、相机的视野范围,调节挂载相机的云台,首先将相机的拍摄方向与零件的面法向量重合,此时相机已经垂直于相机所对应的零件区域表面,然后调节相机拍摄距离,直到调节至所求的拍摄距离,使得相机处于拍摄最优位置。
与现有技术相比,本发明的有益效果为:本发明对任意形状零件均能够实现相机姿态计算及相机个数确定,对相机相关调节具有简单、快捷的操作。
附图说明
图1为本发明的步骤一中顶点的邻域示意图;
图2为本发明的步骤二的相机成像示意图;
图3为本发明的步骤三中相机视野及工作距离示意图;
图4为本发明的相机调节结构示意图。
其中:
1-相机;2-滑动关节;3-旋转关节。
具体实施方式
以下结合附图对本发明做进一步描述:
实施例:
一种自主可重构零件表面质量检测系统,包括以下步骤:
步骤一:根据被检零件ASCII格式输出的STL文件得到模型的三角网格模型中各个三角形的面法向量及顶点法向量;
步骤二:根据系统所要求的精度和所采取相机的分辨率,得到相机的视野范围;
步骤三:根据相机的拍摄视野大小及被检零件的尺寸范围确定检测该零件所需的相机个数和拍摄距离;
步骤四:根据步骤一调节每个相机的姿态,使相机的拍摄方向平行于模型三角网格的面法向量或顶点法向量,此时相机垂直于零件表面;
步骤五:根据步骤二所求出的拍摄距离,沿着步骤四所规定的相机拍摄方向平移相机位置;
步骤六:将相机拍摄距离和拍摄角度调整完毕后,将每个相机的拍摄画面进行图像融合,使之生成一个完整画面。
具体的,所述步骤一中根据被检零件ASCII格式输出的STL文件得到模型的三角网格模型中各个三角形的面法向量及顶点法向量,这一步骤具体包括:
将被检零件的CAD模型进行三角网格化格式转换,通过CAD软件将被检零件模型另存为ACSII格式,该文件格式包含了模型中每个三角形顶点的坐标信息,同时和这些顶点坐标匹配的有该三角形面片的外法向量;
对得到的STL模型数据进行顶点法向量计算。由于STL数据中只有面片的法向量,没有每个三角面片顶点的法向量,为了能够更灵活调节相机角度,并且降低顶点法向量计算误差;
如附图1所示,通过与其相邻的三角面片法向量经过面积加权平均、内角正弦加权平均、与顶点连接的边长加权平均之和的平均得到三角面片顶点法向量,具体公式为:
Figure BDA0002790475090000041
其中:ni,k为顶点Vi邻域三角片的法向量,
Figure BDA0002790475090000042
为每个三角面片的单位法向量,sk为顶点Vi领域三角片fi,k的面积,m为顶点Vi领域三角片数,αk领域三角面片在顶点Vi处的内角,ni为顶点Vi的法向量。
具体的,如附图2所示,所述步骤二具体包括:以被检测零件平台为例,相机处于被检零件上方,相机安装在可以进行多自由度调节的云台上,检测系统的精度要求为n,相机焦距为f,相机分辨率为a×b。
根据镜头到物体的工作距离WD和相机视野FOV两者关系为:
Figure BDA0002790475090000043
由上面的公式可知,相机拍摄距离WD和相机视野FOV是成正比,传感器的尺寸,还能决定视野大小与工作距离。在同样的工作距离、同样的镜头下,传感器尺寸大,可以拍摄更大的视野;
具体的,所述步骤三中根据相机的拍摄视野大小及被检零件的尺寸范围确定检测该零件所需的相机个数和拍摄距离,这一步骤具体包括:
将相机安装在云台上,该云台具有多自由度,可在空间中任意调节拍摄方位,拍摄距离WD是可调参数,相机视野FOV可以根据系统精度和相机分辨率得到。
如附图3所示,根据系统所需精度n和相机的分辨率a×b,可以得到相机视野范围,横向视野范围:n×a,竖向视野范围:n×b。
由于被测零件类型复杂,不一定是平面结构,在不同曲率位置相机拍摄画面会呈现不同变形,曲率越大相机视野越小,将被检零件模型进行平面展开,得到被检零件展开后尺寸。
根据被检测零件外形对零件进行表面区域划分,分为k个子型面,第i个子型面的尺寸为xi×yi,该子型面横向需要相机个数为[xi/(n×a)],该子型面竖向需要相机个数为[yi/(n×b)]。对于k个子型面总计需要相机个数为
Figure BDA0002790475090000051
其中[ ]为向上取整函数,即取不小于自变量的最大整数。
具体的,所述步骤六中将相机拍摄距离和拍摄角度调整完毕后,将每个相机的拍摄画面进行图像融合,使之生成一个完整画面,这一步骤具体包括:
由于被检零件需要多个相机进行检测,多个相机的拍摄视野就会出现重叠。需要对重叠部分进行融合拼接,最后综合成一幅高质量的图像。
对图像进行特征点提取和匹配并进行低通滤波,得到待拼接的匹配点集,然后将需要拼接的图像转换为同一坐标下,将图片进行拼接。
在拼接图的交界处,由于存在光照、色泽的不同,使得拼接交界处的过渡很糟糕,本方案的处理思路是加权融合,在重叠部分由前一幅图像慢慢过渡到第二幅图像,即将图像的重叠区域的像素值按一定的权值相加合成新的图像。
将不同相机图像的重叠区域上对应的像素点的灰度值进行相加,然后求取平均值,假设f1和f2分别表示待拼接的两幅图像,f表示经过融合后的图像,具体公式如下式:
Figure BDA0002790475090000061
如果是多幅图像进行融合,则重叠区域可表示为:
Figure BDA0002790475090000062
如附图4所示,根据以上确定的相机数量、拍摄角度、拍摄距离参数,调节各个相机的云台,首先调节云台的旋转关节3,使相机拍摄方向能够同零件表面法向量重合,此时相机2已垂直于其对应的拍摄区域;然后调节云台的滑动关节2,使相机1沿着零件法向量方向平移,直到调节到对应的拍摄距离,此时相机调节完成。
利用本发明所述的技术方案,或本领域的技术人员在本发明技术方案的启发下,设计出类似的技术方案,而达到上述技术效果的,均是落入本发明的保护范围。

Claims (6)

1.一种自主可重构零件表面质量检测系统,其特征在于,包括以下步骤:
步骤一:根据被检零件ASCII格式输出的STL文件得到模型的三角网格模型中各个三角形的面法向量及顶点法向量;
步骤二:根据系统所要求的精度和所采取相机的分辨率,得到相机的视野范围;
步骤三:根据相机的拍摄视野大小及被检零件的尺寸范围确定检测该零件所需的相机个数和拍摄距离;
步骤四:根据步骤一调节每个相机的姿态,使相机的拍摄方向平行于模型三角网格的面法向量或顶点法向量,此时相机垂直于零件表面;
步骤五:根据步骤二所求出的拍摄距离,沿着步骤四所规定的相机拍摄方向平移相机位置;
步骤六:将相机拍摄距离和拍摄角度调整完毕后,将每个相机的拍摄画面进行图像融合,使之生成一个完整画面。
2.如权利要求1所述的一种自主可重构零件表面质量检测系统,其特征在于,所述步骤一具体包括:根据被检零件的ASCII格式输出的STL文件,通过与其相邻的三角面片法向量经过面积加权平均与内角正弦加权平均之和的平均得到被检零件三角面片的顶点法向量,ACSII格式的STL文件能够自动生成三角面片的面法向量。
3.如权利要求1所述的一种自主可重构零件表面质量检测系统,其特征在于,所述步骤二具体包括:根据系统要求检测精度n、相机分辨率a×b,可得到相机的拍照视野,横向视野范围:n×a,竖向视野范围:n×b。
4.如权利要求1所述的一种自主可重构零件表面质量检测系统,其特征在于,所述步骤三中拍摄距离使根据物距与视野范围成正比的关系
Figure FDA0002790475080000011
并根据步骤一确定的视野范围得到相机的拍摄距离。
5.如权利要求1所述的一种自主可重构零件表面质量检测系统,其特征在于,所述步骤三中的相机个数是根据被检测零件外形对零件进行表面区域划分,分为k个子型面,第i个子型面的尺寸为xi×yi,该子型面横向需要相机个数为[xi/(n×a)],该子型面竖向需要相机个数为[yi/(n×b)]。对于k个子型面总计需要相机个数为:
Figure FDA0002790475080000021
6.如权利要求1所述的一种自主可重构零件表面质量检测系统,其特征在于,所述步骤四、步骤五是根据步骤一和步骤二求得的三角形的面法向量及顶点法向量、相机的视野范围,调节挂载相机的云台,首先将相机的拍摄方向与零件的面法向量重合,此时相机已经垂直于相机所对应的零件区域表面,然后调节相机拍摄距离,直到调节至所求的拍摄距离,使得相机处于拍摄最优位置。
CN202011313158.6A 2020-11-20 2020-11-20 一种自主可重构零件表面质量检测系统 Pending CN112489000A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011313158.6A CN112489000A (zh) 2020-11-20 2020-11-20 一种自主可重构零件表面质量检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011313158.6A CN112489000A (zh) 2020-11-20 2020-11-20 一种自主可重构零件表面质量检测系统

Publications (1)

Publication Number Publication Date
CN112489000A true CN112489000A (zh) 2021-03-12

Family

ID=74932606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011313158.6A Pending CN112489000A (zh) 2020-11-20 2020-11-20 一种自主可重构零件表面质量检测系统

Country Status (1)

Country Link
CN (1) CN112489000A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751005A (zh) * 2008-12-08 2010-06-23 上海开通数控有限公司 通过数控加工程序代码快速生成三维曲面模型的方法
CN105091866A (zh) * 2015-09-11 2015-11-25 天津大学 零件位姿识别视觉系统及其标定方法
CN105381912A (zh) * 2015-10-15 2016-03-09 东南大学 一种基于表面曲率的喷涂机器人自动路径生成方法
CN107741224A (zh) * 2017-08-28 2018-02-27 浙江大学 一种基于视觉测量及标定的agv自动调姿定位方法
US20180137679A1 (en) * 2016-11-15 2018-05-17 Daeguntech Co., Ltd. Stl file coupling method
CN109186546A (zh) * 2018-09-10 2019-01-11 汪俊 隧道病害特征检测系统和方法
CN209881923U (zh) * 2019-06-20 2019-12-31 浙江四点灵机器人股份有限公司 一种曲面玻璃成像系统
CN111921788A (zh) * 2020-08-07 2020-11-13 欣辰卓锐(苏州)智能装备有限公司 高精度动态跟踪点胶方法及其装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751005A (zh) * 2008-12-08 2010-06-23 上海开通数控有限公司 通过数控加工程序代码快速生成三维曲面模型的方法
CN105091866A (zh) * 2015-09-11 2015-11-25 天津大学 零件位姿识别视觉系统及其标定方法
CN105381912A (zh) * 2015-10-15 2016-03-09 东南大学 一种基于表面曲率的喷涂机器人自动路径生成方法
US20180137679A1 (en) * 2016-11-15 2018-05-17 Daeguntech Co., Ltd. Stl file coupling method
CN107741224A (zh) * 2017-08-28 2018-02-27 浙江大学 一种基于视觉测量及标定的agv自动调姿定位方法
CN109186546A (zh) * 2018-09-10 2019-01-11 汪俊 隧道病害特征检测系统和方法
CN209881923U (zh) * 2019-06-20 2019-12-31 浙江四点灵机器人股份有限公司 一种曲面玻璃成像系统
CN111921788A (zh) * 2020-08-07 2020-11-13 欣辰卓锐(苏州)智能装备有限公司 高精度动态跟踪点胶方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KOTARO ASA等: ""Measuring Position Determination for Realization of Automatic Inspection using UAV"", 《IECON 2016-42ND ANNUAL CONFERENCE OF THE IEEE INDUSTRIAL ELECTRONICS SOCIETY》 *
柴敬等: ""DIC在相似材料模型中的裂隙检测"", 《采矿与岩层控制工程学报》 *

Similar Documents

Publication Publication Date Title
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
US9672630B2 (en) Contour line measurement apparatus and robot system
CN109903227B (zh) 基于相机几何位置关系的全景影像拼接方法
US8213707B2 (en) System and method for 3D measurement and surface reconstruction
CN110782394A (zh) 全景视频快速拼接方法及系统
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
JP5872818B2 (ja) 測位処理装置、測位処理方法、および画像処理装置
CN108416812B (zh) 一种单摄像机镜像双目视觉系统的标定方法
CN112985293B (zh) 一种单像机双球面镜镜像双目视觉测量系统和测量方法
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN110288656A (zh) 一种基于单目摄像头的目标定位方法
TW201717613A (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN108827154A (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN112949478A (zh) 基于云台相机的目标检测方法
CN111879354A (zh) 一种无人机精细化测量系统
CN114140534A (zh) 一种用于激光雷达与相机的联合标定方法
CN111866490A (zh) 深度图像成像系统和方法
CN112489000A (zh) 一种自主可重构零件表面质量检测系统
CN113850905B (zh) 一种用于周扫型光电预警系统的全景图像实时拼接方法
JP2005275789A (ja) 三次元構造抽出方法
CN114549634A (zh) 一种基于全景图像的相机位姿估计方法及系统
Schönbein omnidirectional Stereo Vision for autonomous Vehicles
Sueishi et al. Mirror-based high-speed gaze controller calibration with optics and illumination control
Zhu et al. A stereo vision depth estimation method of binocular wide-field infrared camera
Spacek Omnidirectional catadioptric vision sensor with conical mirrors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210312