CN112614098A - 一种基于增强现实的毛坯定位与加工余量分析方法 - Google Patents
一种基于增强现实的毛坯定位与加工余量分析方法 Download PDFInfo
- Publication number
- CN112614098A CN112614098A CN202011494414.6A CN202011494414A CN112614098A CN 112614098 A CN112614098 A CN 112614098A CN 202011494414 A CN202011494414 A CN 202011494414A CN 112614098 A CN112614098 A CN 112614098A
- Authority
- CN
- China
- Prior art keywords
- blank
- camera
- model
- workpiece
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003754 machining Methods 0.000 title claims abstract description 57
- 238000004458 analytical method Methods 0.000 title claims abstract description 20
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 20
- 238000005259 measurement Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000002452 interceptive effect Effects 0.000 claims abstract description 16
- 238000013461 design Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 2
- 238000012634 optical imaging Methods 0.000 abstract description 2
- 238000004445 quantitative analysis Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Computer Hardware Design (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Computational Mathematics (AREA)
- Quality & Reliability (AREA)
- Machine Tool Sensing Apparatuses (AREA)
- Numerical Control (AREA)
Abstract
本发明公开了一种基于增强现实的毛坯定位与加工余量分析方法,此方法包括:第一步,视觉系统自标定;第二步,工件模型与毛坯图像匹配;第三步,交互测量;第四步,加工余量分析。本发明仅需要一组普通光学成像设备来搭建视觉系统,通过安装在数控机床内部的相机组,采集不同相机视角下的毛坯图像,利用增强现实技术将虚拟三维模型动态叠加到毛坯不同角度视图上,从而实现毛坯与工件设计模型的空间配准,指导毛胚加工坐标系定位和加工余量分析。本发明能够克服复杂机械零件加工过程中人工画线摆位方法耗时长的缺陷,提高毛坯定位精度,并给出毛坯加工余量的定量分析,提高机械加工效率。
Description
技术领域
本发明属于数控机床加工制造和计算机视觉测量领域,涉及一种高档数控机床机内毛坯加工定位以及余量分析方法,尤其涉及一种基于增强现实的毛坯定位与加工余量分析方法。
背景技术
在现代制造业中,随着数控技术的广泛应用,零件制造工艺得到了巨大提升。然而,仍然有一些零件的制造工艺相对落后,如汽车曲轴、船舶螺旋桨叶片等具有复杂曲面类的零件及复杂结构体。这些复杂零件的毛坯由铸造或锻造生成,同一零件的每件毛坯实际外形均有所差异,且毛坯余量较小,分布不均。这就导致这些零件在数控加工过程中,若加工前毛坯在机床上放置不当,加工定位困难,余量分配不均。如果毛坯的一部分余量过大,则会出现大面积的负余量,并且加工效率降低;而余量不足又易造成零件过切、毛坯报废,因刀具碰撞而损坏数控机床等威胁。
当前,对于这些具有复杂几何形状的零件,仍然采用人工定位的毛坯余量分配方式。通过人工画线确定初步定位基准,然后使用离线测量(如人工测量和三坐标测量机)技术检查余量,并人工进行余量分配,对定位基准进行精确地修正加工。由于在加工过程中需多次检查余量,造成毛坯多次装夹和测量,因此这种人工定位方法工艺复杂、生产效率非常低,且由于人为因素,毛坯定位精度不高,极易产生零件报废。
随着CAD/CAM技术的发展,将三维测量技术和曲面匹配技术相结合的计算机辅助定位方法逐渐成了研究热点。
专利CN108917600A提供了一种基于三维反求的复杂结构毛坯加工定位方法,首先在毛坯上标记定位基准,通过三维测量系统对其进行测量,最后进行余量分配优化。此方法需要在毛坯装夹前标记定位基准,并获取毛坯点云数据,对设备要求较高。
专利CN106023186B采用超像素分割技术,对视觉图像进行聚类分割,通过分割后的轮毂图像计算圆心和半径,以此为参考进行扫描获取边缘扫描数据,实现毛坯轮毂钻孔的精确定位。此方法只针对轮毂进行定位,精度和要求较低。
专利CN109976261A利用三坐标测量机得到毛坯表面测量点集,并与CAD数模进行粗配准,综合考虑毛坯的最小余量和最大余量,建立两者同时优化的余量优化模型进行求解。此方法仅从三维点集上对毛坯余量进行计算。
专利CN111145254A通过在正上方放置双目相机来采集门阀毛坯图像,通过双目相机的内部参数、外部参数以及视差,确定门阀毛坯的位姿。此方法仅从双目图像上对门阀毛坯进行定位计算。
发明内容
本发明提出了一种基于增强现实的毛坯定位与加工余量分析方法。本发明仅需要一组普通光学成像设备来搭建视觉系统,包括全局测量子系统和局部测量子系统,其中全局测量子系统由一台或多台搭配广角镜头的工业相机组成,局部测量子系统由一台或多台搭配远心镜头的工业相机组成。
通过安装在数控机床内部的相机组,采集不同相机视角下的毛坯图像,并与待加工工件CAD设计模型在各视角下的投影进行比对测量及余量分析,从而调整毛坯的加工坐标系,确定毛坯的最优初始加工位置。
本发明的技术方案为:
一种基于增强现实的毛坯定位与加工余量分析方法,包括如下步骤:
第一步,视觉系统自标定。
使用视觉系统进行定位分析的前提是建立相机标定系统,此步骤可支持500万像素、800万像素、1200万像素等常用分辨率的黑白或彩色相机,远心镜头支持与相机适配的2倍、1倍、0.5倍等常用倍率。在图像采集设备首次安装或重新安装时,需对相机镜头进行标定,获取每组相机镜头的内参数与外参数。本发明采用的镜头方案为一个或多个远心镜头搭配一个或多个广角镜头,其中远心镜头在景深范围内可认为是平行投影,而广角镜头一般具有较大的畸变量,需要进行额外的内参与畸变标定。另外,两种镜头相机都需要进行外参标定。
针对此类相机系统,本发明设计了基于标准加工几何件的自标定方案。本发明采用的多尺寸圆柱标准几何件形状由多个圆柱体呈阶梯状堆叠构成,圆柱体底面半径由上到下依次增大,整体呈金字塔状。如图3所示。
视觉系统的具体标定流程如下:
(1)广角镜头相机内参与畸变标定。
广角镜头由于畸变系数较大,需要预先进行内参与畸变系数标定。使用棋盘格标定板角点特征,通过“张氏标定法”,利用角点检测算法进行检测,并在角点附近区域计算其亚像素精度坐标;根据标定板参数和得到的角点亚像素坐标,求解得到单相机参数,计算出单相机的畸变系数。此步骤可标定多台相机的内部参数,包括相机焦距f,图像物理坐标系(x,y),原点在图像坐标系(u,v)中的坐标(u0,v0),非线性畸变系数等参数。
(2)远心镜头相机标定。
由于远心镜头具有极低的畸变率,在景深范围内可认为是平行投影,因此只需要标定其像素精度。预先设计定制带有加工精度的多尺寸圆柱标准几何件,已知几何件标准尺寸信息,用作标定先验。标准几何件各圆柱底面圆周,在远心镜头相机视角中呈现为多个同心圆,在广角镜头视角中呈现为多个椭圆。
远心镜头相机基于标准几何件的标定流程如下:
a.将标准几何件安装于机床旋转台正中心,调整相机所在轴坐标,使镜头对焦于标准几何件某一圆柱边缘;
b.获取圆柱边缘轮廓图像,使用边缘检测算法提取图像中圆弧特征,得到一段圆弧;相机所在轴固定不动,每次沿固定方向使标准几何件旋转角度Δθ,拍摄图像获取圆弧,直至旋转完成一个圆周,此时共得到段圆弧,其中为向上取整;
(3)相机坐标系与机床坐标系对应标定。
相机镜头标定好内参与畸变参数后,一般不需要再次进行标定。本发明对工件CAD模型与毛坯图像进行匹配,需要将CAD模型按照实际相机外参投影到图像上,因此还需要精确标定所有相机外参。相机设备每次安装使用时,都需要进行外参标定,以确定相机坐标系。本发明使用特定尺寸且带有精度的立方体标准件,结合机床位置探测设备(如接触式探针或非接触式激光等设备)进行相机外参标定,具体步骤如下:
a.确定立方体标准件的一个角点,使其位于相机视域内,并获取图像;
b.利用机床位置探测设备分别在角点三个相邻面上探测N个点,其中N≥3;
c.根据三个面上的探测点分别进行平面拟合,计算交线,即可获得角点机床坐标以及相邻三条边的方向向量,进而计算出所有角点的机床坐标;
d.对图像进行边缘检测,提取角点及相邻边线,由立方体标准件的角点坐标和相邻边方向向量,以及标定好的内参与畸变参数,即可求解相机外参矩阵。
由于立方体标准件选取了机床坐标系坐标值,因此建立了由机床坐标系到相机坐标系的转换,进而计算得到相机组间的变换矩阵,完成相机组标定,并得到相机坐标系与机床坐标系的对应关系。
第二步,工件模型与毛坯图像匹配。
读取工件的三维设计模型CAD数据,根据相机组与机床坐标系的标定信息,将CAD模型同步叠加显示到毛坯图像上,系统界面实时显示毛坯的不同相机视图与虚拟三维模型在对应相机视图下的动态叠加效果。
为了实现工件CAD模型与毛坯图像的匹配,系统提供虚拟三维模型的移动模块,帮助操作人员在交互式系统中对虚拟三维模型进行平移旋转,或反向指导操作人员通过控制机床运动来改变毛坯位置,使其达到相对理想姿态。几种毛坯装卡情况及工件坐标系调整如图2所示。
工件模型与毛坯图像的匹配分为两个步骤:
a.粗略匹配;通过广角镜头相机拍摄机床台面上的毛坯,实时显示拍摄图像,通过控制机床移动使得毛坯位于图像中央;在广角镜头视图窗口使用鼠标键盘等交互设备对工件CAD模型进行平移和旋转,使其与图像中的毛坯位置相吻合;
b.精细匹配;通过远心镜头相机观察毛坯局部细节图像,同步在远心镜头视角下显示CAD模型局部细节;在远心镜头视图窗口中,通过鼠标键盘等交互设备对模型位置进行精细化微调,使工件模型轮廓始终在毛坯轮廓范围内,实现工件模型与毛坯图像精细匹配。
第三步,交互测量。
对工件模型与毛坯图像建立精确匹配之后,需要从多个不同位置对两者的尺寸进行测量,进而确定加工坐标系,以及计算毛坯加工余量。本发明设计了通过屏幕进行交互的测量方法。交互测量主要分为以下两种类型:
(1)二维测量
基于工件模型与毛坯图像的匹配,在屏幕空间中进行距离与角度的测量;针对工件的三维模型投影与毛坯图像,计算两点距离、点到直线距离、两条平行直线距离、相交线夹角、圆弧半径。在屏幕空间中显示毛坯图像与工件CAD在相同视角下的投影,操作人员通过鼠标键盘等交互设备在屏幕中对关注的特征信息进行交互式测量。
(2)三维测量
基于相机精确标定,计算工件CAD模型在相机参数下的机床坐标,结合数控机床位置探测设备(如接触式探针或非接触式激光等)辅助探测,对三维空间中的工件CAD模型数据、位置探测设备获取毛坯数据、以及工件CAD模型与毛坯间的距离进行测量。对于工件CAD模型,在屏幕上实现交互操作,包括选取模型点线面,以及测量距离角度半径等度量,测量结果通过相机标定参数换算到机床坐标系下,得到实际尺寸。对于毛坯,使用位置探测设备探测表面上的点,获得机床坐标。由于以上坐标尺寸均有机床坐标系下对应的度量值,因此可直接计算两者间点线面等特征的距离。
第四步,加工余量分析。
通过对工件CAD模型与毛坯图像及毛坯实物的测量,可以对毛坯多方位余量进行计算,得到最优余量值分布,进而指导加工坐标系的设置。通过调整加工坐标系,计算得到毛坯最优加工方式,达到替代人工毛坯画线确定摆放位置的效果。加工余量分析步骤如下:
a.根据工件CAD设计模型中的特征点集{Pi},借助机床位置探测设备,对毛坯上对应点进行选取和探测,得到对应点集{Qi},且{Pi}和{Qi}的元素个数均为N,则当前条件下最优加工坐标系位置由如下优化问题迭代求解获得:
其中,R为加工坐标系的旋转矩阵,T为加工坐标系的平移矩阵,α为正则项参数,Pi为选取的工件CAD设计模型上特征点集中的点,Qi为毛坯表面上与Pi对应的点,SCAD表示工件CAD模型,dist(Qi,SCAD(R,T))表示点Qi到工件CAD模型SCAD的距离,在模型内部为正值,在模型外部为负值;
b.控制移动数控机床,根据各视图中的增强现实叠加图,检查各视角下的加工坐标系定位情况,验证毛坯整体都在工件CAD模型外部的条件是否满足,若满足,则输出加工坐标系结果;若不满足,则增加新的特征点,或者删除不合理的特征点,更新特征点集{Qk},继续进行步骤a,直至毛坯整体都在工件CAD模型外部的条件满足。
最终得到的加工坐标系即为最优加工姿态,能够使得工件模型各处加工余量为正,且分布均匀。
本发明的有益效果为,提出了一种基于增强现实的复杂机械零件毛坯加工定位与余量分析方法,利用光学测量技术结合工件CAD模型标准数据对毛坯摆放姿态进行分析计算,并结合控制机床运动,调整加工坐标系精确定位。本发明能够克服复杂机械零件加工过程中人工画线摆位方法耗时长的缺陷,提高毛坯定位精度,并给出毛坯加工余量的定量分析,提高机械加工效率。
附图说明
图1是本发明实施方式提供的一种基于增强现实的毛坯定位与加工余量分析方法流程图。
图2是本发明涉及到的几种毛坯装卡位置及工件坐标系调整情况,(a)可被接受装卡位置,(b)不可接受装卡位置,(c)工件坐标系调整后的可接受装卡位置。
图3是本发明在视觉标定步骤中使用的多尺寸圆柱标准几何件模型示意图。
具体实施方式
参照图1。本发明基于增强现实的毛坯定位与加工余量分析方法的具体步骤如下:
实施例1
第一步,视觉系统自标定。
本实施例在数控机床内使用了两台工业相机从不同角度对毛坯进行观察分析与计算。其中,在数控机床主轴上设置一台搭配远心镜头的高分辨率黑白相机,从正上方观察毛坯的局部特征;在机床内壁上设置一台搭配广角镜头的高分辨率彩色相机,从远处固定方位观察毛坯的全局位置。广角相机镜头方面,使用型号为TRI120S-CC的1200万像素彩色相机,分别搭配焦距为8mm、12mm、16mm的C型接口广角镜头;远心镜头相机方面,使用型号为LBAS-GE50-23M的500万像素黑白相机,镜头选用了高分辨率远心镜头,型号为VP-LTCM-05-110,放大倍率0.5倍,工作距离110mm。
针对此相机系统,本实施例设计定制了基于标准加工几何件的自标定方案。本发明采用的多尺寸圆柱标准几何件形状由多个圆柱体呈阶梯状堆叠构成,圆柱体底面半径由上到下依次为30mm、40mm、50mm、60mm、70mm、80mm,每层圆柱高10mm。
视觉系统具体标定流程如下:
(1)广角镜头相机内参与畸变标定。
广角镜头由于畸变系数较大,需要预先进行内参与畸变系数标定。使用棋盘格标定板角点特征,通过“张氏标定法”,利用Harris角点算子进行检测,并在角点附近区域计算其亚像素精度坐标;根据标定板参数和得到的角点亚像素坐标,求解得到单相机参数,计算出单相机的畸变系数。此步骤可标定广角相机的内部参数,包括相机焦距f,图像物理坐标系(x,y),原点在图像坐标系(u,v)中的坐标(u0,v0),非线性畸变系数等参数。
基本公式如下
(2)远心镜头相机标定。
由于远心镜头具有极低的畸变率,在景深范围内可认为是平行投影,因此只需要标定其像素精度。预先设计定制带有加工精度的多尺寸圆柱标准几何件,已知几何件带有标准尺寸信息,用作标定先验。标准几何件各圆柱底面圆周,在远心镜头相机视角中呈现为多个同心圆,在广角镜头视角中呈现为多个椭圆。
远心镜头相机基于标准几何件的标定流程如下:
a.将标准几何件安装于机床旋转台正中心,调整相机所在轴坐标,使镜头对焦于标准几何件半径50mm圆柱边缘;
b.获取圆柱边缘轮廓图像,使用Canny边缘检测算子提取图像中圆弧特征,得到一段圆弧;相机所在轴固定不动,每次沿固定方向使标准几何件旋转20°,直至旋转完成完整圆周,此时共得到18段圆弧;
c.将18段圆弧按旋转步长20°拼接形成完整圆周;
d.对拼接好的完整圆周做拟合,得到完整圆并计算得到像素半径7235.89pixel,再用圆柱体的实际底面半径尺寸50mm除以像素半径,即可得到相机的像素精度结果6.91(微米/像素)。
(3)相机坐标系与机床坐标系对应标定。
相机设备每次安装使用时,都需要进行外参的标定,以确定相机坐标系。本实施例使用棱长5cm且带有精度的立方体标准件,结合机床接触式探针进行相机外参的标定,具体步骤如下:
a.确定立方体标准件一个角点,使其位于相机视域内,并获取图像;
b.用机床接触式探针分别在角点的三个相邻面上探测5个点;
c.根据三个面上的探测点分别进行拟合平面,计算其交线,即获得角点的机床坐标(-105.634,169.177,165.939,0.000,0.000)以及相邻三条边的方向向量,进而可计算出所有角点的机床坐标;
d.对图像通过Canny算子进行边缘检测,提取角点及相邻边线,由立方体标准件的角点坐标和相邻边方向向量,以及标定好的内参与畸变参数,即可求解相机的外参矩阵。
由于立方体标准件选取了机床坐标系坐标值,因此建立了由机床坐标系到相机坐标系的转换,进而计算得到相机组间的变换矩阵,以组成统一的相机坐标系。
第二步,工件模型与毛坯图像匹配。
本实施例主要读取了工件STEP、IGES等常用格式的三维设计模型CAD数据,根据相机组与机床坐标系的标定信息,将CAD模型同步叠加显示到毛坯图像上。软件界面有两个主要视图窗口,分别为广角镜头和远心镜头视角下的毛坯图像,CAD模型分别在两个窗口中实现动态叠加效果。
工件模型与毛坯图像的匹配分为两个步骤:
a.粗略匹配。通过带有广角镜头的工业相机拍摄机床转台上的毛坯,实时显示拍摄图像,毛坯位于图像中央。在广角镜头视图窗口使用鼠标和键盘对工件CAD模型进行平移和旋转,使其与图像中毛坯位置相吻合。
b.精细匹配。工件CAD模型与毛坯粗匹配完成后,通过带有远心镜头的工业相机观察毛坯局部细节图像,CAD模型也同步在相同的视角下显示局部细节。在远心镜头视图窗口中,通过鼠标和键盘对模型位置进行精细化微调,使工件模型轮廓始终在毛坯轮廓范围内,实现工件模型与毛坯图像的精细匹配。
第三步,交互测量。
本实施例设计了通过屏幕进行交互的测量方法。交互测量主要分为以下两种类型:
(1)二维测量
基于工件模型与毛坯图像的匹配,在屏幕空间中进行距离与角度测量。本实施例中针对工件三维模型投影与毛坯图像,通过鼠标键盘在屏幕中对关注的特征信息进行交互式测量,测量的点到直线之间的距离Dp2l为2.307mm。
(2)三维测量
基于相机精确标定,计算工件CAD模型在相机参数下的机床坐标,结合数控机床接触式探针辅助探测,对三维空间距离进行测量。对于工件CAD模型,在屏幕上实现交互操作,使用鼠标在屏幕中选取CAD模型的一个面,使用接触式探针探测毛坯表面上的点,获得机床坐标(-113.658,172.386,169.221,0.000,0.000)。由于两者均得到机床坐标系下的度量值,因此可直接计算探测点到模型指定平面的距离为1.085mm。
第四步,加工余量分析。
通过对工件CAD模型与毛坯图像及毛坯实物的测量,可以对毛坯多方位余量进行计算,得到最优余量值分布,进而指导加工坐标系的设置。通过调整加工坐标系,计算得到毛坯最优加工方式,达到替代人工毛坯画线确定摆放位置的效果。
本实施例中主要在毛坯表面标记一些关键点,通过探针测量获取其机床坐标;在操作界面中,通过鼠标对工件CAD模型选取与毛坯对应的关键点特征。通过对标记选取的特征进行二维测量与三维测量,利用测量值进行加工余量的分析计算。本实施例对于表面关键点类型分为两种处理:
对于凸关键点,系统将标定向量转到远心镜头相机成像平面平行方向,交互式软件呈现局部高分辨率图像,结合交互操作模块,操作员画出关键点,关键平行线,系统通过二维测量快速计算标定点或标定平行线之间的距离;
对于凹关键点,由于相机镜头无法像凸关键点一样从侧面成像,因此系统需要借助辅助工具,利用机床接触式三维测量探针获取毛坯表面点的三维坐标,从而可以与工件CAD模型直接进行距离计算。
加工余量分析步骤如下:
a1.根据工件CAD设计模型中的特征点集{Pk},借助机床位置探测设备,对毛坯上对应点进行选取和探测,得到对应点集{Qk},本实施例中初次选用了30对特征点进行分析,则当前条件下最优加工坐标系位置可由如下优化问题迭代求解获得:
其中,R为加工坐标系的旋转矩阵,T为加工坐标系的平移矩阵,SCAD表示工件CAD模型,dist(p,S)表示点p到工件CAD模型SCAD的距离,在模型内部为正值,在模型外部为负值;
b1.控制移动数控机床,根据两个视图中的增强现实叠加图,检查各视角下的加工坐标系定位情况,验证发现毛坯整体都在工件CAD模型外部的条件并未满足,则调整特征点集{Qk},在不满足条件的部位附近增加20对新的特征点,继续进行步骤a;
a2.针对50对特征点进行分析,则当前条件下最优加工坐标系位置可由如下优化问题迭代求解获得:
b2.控制移动数控机床,根据两个视图中的增强现实叠加图,重新检查各视角下的加工坐标系定位情况,验证发现毛坯整体都在工件CAD模型外部的条件得到满足,此时的加工坐标系即为最优加工姿态,能够使得工件CAD模型各处加工余量为正,且分布均匀。
Claims (5)
1.一种基于增强现实的毛坯定位与加工余量分析方法,其特征在于,包括如下步骤:
第一步,视觉系统自标定;视觉系统包括全局测量子系统和局部测量子系统,其中全局测量子系统由搭配广角镜头的工业相机组成,局部测量子系统由搭配远心镜头的工业相机组成;具体标定流程如下:
1)广角镜头相机内参与畸变标定;使用棋盘格标定板的角点特征,通过“张氏标定法”,利用角点检测算法进行检测,并在角点附近区域计算其亚像素精度坐标;根据标定板参数和检测得到的角点亚像素坐标,求解得到单个广角相机参数,计算出单相机的畸变系数;
2)远心镜头相机标定;定制带有加工精度的圆柱标准几何件,利用标准几何件的尺寸信息作为先验,标定远心镜头相机的像素精度;
3)相机坐标系与机床坐标系对应标定;通过定制立方体标准几何件,结合机床位置探测设备进行相机外参标定,确定相机坐标系与机床坐标系之间的转换矩阵;
第二步,工件模型与毛坯图像匹配;读取工件的三维设计模型CAD数据,根据相机组与机床坐标系的标定信息,将CAD模型同步叠加显示到毛坯图像上,系统界面显示毛坯不同相机视图与虚拟三维模型在对应相机视图下的动态叠加效果;通过交互输入设备对虚拟三维模型进行平移旋转操作,使工件虚拟三维模型与毛坯图像在投影位置上进行匹配;通过广角镜头相机视图对模型位置进行粗略匹配,通过远心镜头相机视图实现工件模型与毛坯图像精细匹配;
第三步,交互测量;对工件模型与毛坯图像建立精确匹配之后,从不同位置对两者的尺寸及偏差进行测量,通过屏幕交互的测量方法,对毛坯图像进行二维测量,对工件模型进行三维测量,以及对机床探测位置进行三维测量;
第四步,加工余量分析;通过对工件CAD模型与毛坯图像以及毛坯实物的测量,得到最优余量值分布,进而指导加工坐标系的设置;通过调整加工坐标系,计算得到毛坯最优加工初始姿态;根据工件设计模型中的特征点集与毛坯表面对应的标记探测点集,通过求解优化模型得到加工坐标系的旋转与平移矩阵,利用增强现实叠加结果进行验证与调整,得到最优加工姿态。
2.根据权利要求1所述的一种基于增强现实的毛坯定位与加工余量分析方法,其特征在于,第一步,视觉系统自标定;
采用的圆柱标准几何件形状由不同圆柱体呈阶梯状堆叠构成,圆柱体的底面半径由上到下依次增大,整体呈金字塔状;
远心镜头相机基于圆柱标准几何件的标定流程如下:
a.将标准几何件安装于机床旋转台正中心,调整相机所在轴坐标,使镜头对焦于标准几何件圆柱边缘;
b.获取圆柱边缘轮廓图像,使用边缘检测算法提取图像中圆弧特征,得到一段圆弧;相机所在轴固定不动,每次沿固定方向使标准几何件旋转角度Δθ,拍摄图像获取圆弧,直至旋转完成一个圆周,此时共得到段圆弧,其中为向上取整;
相机通过立方体标准几何件,结合机床位置探测设备进行相机外参的标定,建立机床坐标系到相机坐标系的转换,步骤如下:
a.确定立方体标准件的一个角点,使其位于相机视域内,并获取图像;
b.利用机床位置探测设备分别在角点三个相邻面上探测N个点,其中N≥3;
c.根据三个面上的探测点分别进行平面拟合,计算交线,获得角点机床坐标以及相邻三条边的方向向量,进而计算出所有角点的机床坐标;
d.对图像进行边缘检测,提取角点及相邻边线,由立方体标准件的角点坐标和相邻边方向向量,以及标定好的内参与畸变参数,求解相机外参矩阵。
3.根据权利要求1所述的一种基于增强现实的毛坯定位与加工余量分析方法,其特征在于,第二步,工件模型与毛坯图像匹配,分为两个步骤:
a.粗略匹配;通过广角镜头相机拍摄机床台面上的毛坯,实时显示拍摄图像,通过控制机床移动使得毛坯位于图像中央;在广角镜头视图窗口使用交互设备对工件CAD模型进行平移和旋转,使其与图像中的毛坯位置相吻合;
b.精细匹配;通过远心镜头相机观察毛坯局部细节图像,同步在远心镜头视角下显示CAD模型局部细节;在远心镜头视图窗口中,通过交互设备对模型位置进行精细化微调,使工件模型轮廓始终在毛坯轮廓范围内,实现工件模型与毛坯图像精细匹配。
4.根据权利要求1所述的一种基于增强现实的毛坯定位与加工余量分析方法,其特征在于,第三步,交互测量;主要分为以下两种类型:
(1)二维测量;基于工件模型与毛坯图像的匹配,在屏幕空间中进行距离与角度的测量;针对工件的三维模型投影与毛坯图像,计算两点距离、点到直线距离、两条平行直线距离、相交线夹角、圆弧半径;
(2)三维测量;基于相机精确标定,计算工件CAD模型在相机参数下的机床坐标,结合数控机床位置探测设备辅助探测,对三维空间中的工件CAD模型数据、位置探测设备获取毛坯数据、以及工件CAD模型与毛坯间的距离进行测量。
5.根据权利要求1所述的一种基于增强现实的毛坯定位与加工余量分析方法,其特征在于,第四步,加工余量分析;
加工余量分析步骤如下:
a.根据工件CAD设计模型中的特征点集{Pi},借助机床位置探测设备,对毛坯上对应点进行选取和探测,得到对应点集{Qi},且{Pi}和{Qi}的元素个数均为N,则当前条件下最优加工坐标系位置由如下优化问题迭代求解获得:
其中,R为加工坐标系的旋转矩阵,T为加工坐标系的平移矩阵,α为正则项参数,Pi为选取的工件CAD设计模型上特征点集中的点,Qi为毛坯表面上与Pi对应的点,SCAD表示工件CAD模型,dist(Qi,SCAD(R,T))表示点Qi到工件CAD模型SCAD的距离,在模型内部为正值,在模型外部为负值;
b.控制移动数控机床,根据各视图中的增强现实叠加图,检查各视角下的加工坐标系定位情况,验证毛坯整体都在工件CAD模型外部的条件是否满足,若满足,则输出加工坐标系结果;若不满足,则增加新的特征点,或者删除不合理的特征点,更新特征点集{Qk},继续进行步骤a,直至毛坯整体都在工件CAD模型外部的条件满足。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011494414.6A CN112614098B (zh) | 2020-12-17 | 2020-12-17 | 一种基于增强现实的毛坯定位与加工余量分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011494414.6A CN112614098B (zh) | 2020-12-17 | 2020-12-17 | 一种基于增强现实的毛坯定位与加工余量分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112614098A true CN112614098A (zh) | 2021-04-06 |
CN112614098B CN112614098B (zh) | 2022-09-20 |
Family
ID=75240465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011494414.6A Active CN112614098B (zh) | 2020-12-17 | 2020-12-17 | 一种基于增强现实的毛坯定位与加工余量分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112614098B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113536488A (zh) * | 2021-08-07 | 2021-10-22 | 西北工业大学 | 基于配准算法的毛坯质量包容性分析和余量优化方法 |
CN114043298A (zh) * | 2021-11-29 | 2022-02-15 | 烟台朗文汽车零部件有限公司 | 一种机器人搬运刹车盘工作站及其加工方法 |
CN114152234A (zh) * | 2021-10-28 | 2022-03-08 | 安徽应流航源动力科技有限公司 | 大型薄壁机匣确定加工余量的方法 |
CN114708587A (zh) * | 2022-06-06 | 2022-07-05 | 中科航迈数控软件(深圳)有限公司 | 一种基于图像识别的数控机床工件加工余量确定方法 |
CN115213736A (zh) * | 2022-07-22 | 2022-10-21 | 昆山西诺巴精密模具有限公司 | 基于视觉检测的铸造零件毛坯余量均匀化加工方法 |
CN115268367A (zh) * | 2022-07-08 | 2022-11-01 | 大连翰宇科技有限公司 | 电火花工件摆放位置的软件调整方法、系统及存储介质 |
CN115876088A (zh) * | 2023-03-06 | 2023-03-31 | 湖南大学 | 基于数字孪生的高铁轮轴3d测量方法及装置 |
CN117282995A (zh) * | 2023-11-24 | 2023-12-26 | 天津航天长征火箭制造有限公司 | 一种航天旋压箱底加工余量检测、加工方法及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952262A (zh) * | 2017-04-25 | 2017-07-14 | 大连理工大学 | 一种基于立体视觉的船板加工精度分析方法 |
CN107101582A (zh) * | 2017-07-03 | 2017-08-29 | 吉林大学 | 基于结构光视觉的轴类零件径向跳动误差在线测量方法 |
-
2020
- 2020-12-17 CN CN202011494414.6A patent/CN112614098B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952262A (zh) * | 2017-04-25 | 2017-07-14 | 大连理工大学 | 一种基于立体视觉的船板加工精度分析方法 |
CN107101582A (zh) * | 2017-07-03 | 2017-08-29 | 吉林大学 | 基于结构光视觉的轴类零件径向跳动误差在线测量方法 |
Non-Patent Citations (1)
Title |
---|
胡国勇等: "基于双目视觉的焊接零件位姿误差检测", 《制造业自动化》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113536488A (zh) * | 2021-08-07 | 2021-10-22 | 西北工业大学 | 基于配准算法的毛坯质量包容性分析和余量优化方法 |
CN113536488B (zh) * | 2021-08-07 | 2023-01-24 | 西北工业大学 | 基于配准算法的毛坯质量包容性分析和余量优化方法 |
CN114152234A (zh) * | 2021-10-28 | 2022-03-08 | 安徽应流航源动力科技有限公司 | 大型薄壁机匣确定加工余量的方法 |
CN114043298A (zh) * | 2021-11-29 | 2022-02-15 | 烟台朗文汽车零部件有限公司 | 一种机器人搬运刹车盘工作站及其加工方法 |
CN114708587A (zh) * | 2022-06-06 | 2022-07-05 | 中科航迈数控软件(深圳)有限公司 | 一种基于图像识别的数控机床工件加工余量确定方法 |
CN114708587B (zh) * | 2022-06-06 | 2022-09-02 | 中科航迈数控软件(深圳)有限公司 | 一种基于图像识别的数控机床工件加工余量确定方法 |
CN115268367A (zh) * | 2022-07-08 | 2022-11-01 | 大连翰宇科技有限公司 | 电火花工件摆放位置的软件调整方法、系统及存储介质 |
CN115213736A (zh) * | 2022-07-22 | 2022-10-21 | 昆山西诺巴精密模具有限公司 | 基于视觉检测的铸造零件毛坯余量均匀化加工方法 |
CN115876088A (zh) * | 2023-03-06 | 2023-03-31 | 湖南大学 | 基于数字孪生的高铁轮轴3d测量方法及装置 |
CN117282995A (zh) * | 2023-11-24 | 2023-12-26 | 天津航天长征火箭制造有限公司 | 一种航天旋压箱底加工余量检测、加工方法及电子设备 |
CN117282995B (zh) * | 2023-11-24 | 2024-02-02 | 天津航天长征火箭制造有限公司 | 一种航天旋压箱底加工余量检测、加工方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112614098B (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112614098B (zh) | 一种基于增强现实的毛坯定位与加工余量分析方法 | |
CN110689579B (zh) | 基于合作目标的快速单目视觉位姿测量方法及测量系统 | |
CN109612390B (zh) | 基于机器视觉的大尺寸工件自动测量系统 | |
CN110370286B (zh) | 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 | |
Orteu et al. | Multiple-camera instrumentation of a single point incremental forming process pilot for shape and 3D displacement measurements: methodology and results | |
CN105252341B (zh) | 五轴数控机床动态误差视觉测量方法 | |
CN109483887B (zh) | 激光选区熔化过程中成形层轮廓精度在线检测方法 | |
CN112880592B (zh) | 一种基于芯轴的数控转台顶尖的倾斜标定方法 | |
CN114037675A (zh) | 一种飞机样板缺陷检测方法及装置 | |
CN111047588A (zh) | 一种轴型小零件尺寸的图像化测量方法 | |
CN113119129A (zh) | 一种基于标准球的单目测距定位方法 | |
CN114001651B (zh) | 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法 | |
CN110455198A (zh) | 基于线结构光视觉的矩形花键轴键宽及直径测量方法 | |
CN115855955A (zh) | 一种基于多束线激光的模具表面结构缺陷检测装置和方法 | |
CN114022530B (zh) | 基于混合现实技术的3d打印辅助方法、系统及应用 | |
CN113566735B (zh) | 一种火箭发动机喷管冷却通道线激光在位测量方法 | |
CN109773589B (zh) | 对工件表面进行在线测量和加工导引的方法及装置、设备 | |
CN109506629B (zh) | 一种水下核燃料组件检测装置旋转中心标定的方法 | |
Wang et al. | A binocular vision method for precise hole recognition in satellite assembly systems | |
CN114295056B (zh) | 一种激光加工设备的视觉定位系统快速校正方法及应用 | |
CN114963981B (zh) | 一种基于单目视觉的筒状零件对接非接触式测量方法 | |
CN116091401A (zh) | 基于目标检测和复合目标码的航天器装配件识别定位方法 | |
CN110021027B (zh) | 一种基于双目视觉的切边点计算方法 | |
Ping et al. | Verification of turning insert specifications through three-dimensional vision system | |
Cheng et al. | New method and system of automatically moving a CMM probe tip into holes with submillimeter diameter and high aspect ratio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |