CN112258445B - 一种航空发动机错漏装检测视点求解方法 - Google Patents
一种航空发动机错漏装检测视点求解方法 Download PDFInfo
- Publication number
- CN112258445B CN112258445B CN202010849102.6A CN202010849102A CN112258445B CN 112258445 B CN112258445 B CN 112258445B CN 202010849102 A CN202010849102 A CN 202010849102A CN 112258445 B CN112258445 B CN 112258445B
- Authority
- CN
- China
- Prior art keywords
- detection
- envelope
- envelope domain
- domain
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Abstract
本发明的目的是提供一种航空发动机错漏装检测视点求解方法,具体内容为:S1、将航空发动机的风扇单元体核心机单元体和低压涡轮单元体构建为不规则回转包络域Dc;Dp={Dp1,Dp2}则为圆柱体包络域Dp;S2、沿竖直方向将Dc划分为和三部分;将Dp和Dc均划分为左右两部分;根据 和的外形尺寸将Dc再进行划分记为子包络域;S3、将各个所述子包络域的中层检测面进行网格划分,求出每个网格中心点坐标和表面法向矢量,所有网格中心点坐标作为子包络域等效检测点;S4、将各个所述子包络域网格中心点坐标和法向矢量转化到所述相机所处的位置坐标和检测方向,求出当前视点在包络域模型坐标系下的空间位置。为航空发动机机器视觉检测提供一种快速视点遍历求解方法。
Description
技术领域
本发明属于机器视觉技术领域,具体涉及一种航空发动机错漏装检测视点求 解方法。
背景技术
在机器视觉技术领域中,基于工业机器人的机器视觉检测系统一直被广泛运 用于各个行业,其中机器人检测视点求解与规划是该领域研究热点及难点。
航空发动机在装配完成后需要对其表面所有紧固件、锁紧丝、铅封、各类止 动垫圈以及表面划痕进行装配质量检测,检测内容覆盖整个发动机表面。传统航 空发动机检测主要是人工目视检测,在未来航空发动机大批量生产及结构越来越 复杂的情况下,机器视觉检测技术将成为未来发展趋势。由于航空发动机结构极 为复杂,附件数量众多,且各组件、附件之间遮挡关系复杂,现有检测视点求解 方法都是基于检测对象完整三维模型,求解过程复杂且视点分布混乱,对复杂装 配体而言适用性较差。目前基于机器人航空发动机检测视点求解大都基于人工示 教的方法获得,求解过程繁琐且效率低下,面对复杂产品不具适用性。
综上所述,对于航空发动机这类结构复杂的装配体,尚没有成熟技术能够应 用于航空发动机错漏装检测视点求解。
发明内容
本发明的目的是提供一种航空发动机错漏装检测视点求解方法,为航空发动 机机器视觉检测提供一种快速视点遍历求解方法。
本发明采用以下技术方案:一种航空发动机错漏装检测视点求解方法,具体 按照以下步骤实施:
S1、航空发动机表面所有待检测目标组成区域记为检测内容包络域Da,将航 空发动机的风扇单元体核心机单元体和低压涡轮单元体构建为不规则 回转包络域Dc;风扇单元体前端面检测内容包络域记为Dp1,尾部低压涡轮后端 面检测内容包络域记为Dp2,Dp={Dp1,Dp2}则为圆柱体包络域Dp;
S3、根据相机成像系统的有效检测视场尺寸,将各个所述子包络域的中层检 测面进行网格划分,求出每个网格中心点坐标和表面法向矢量,所有网格中心点 坐标作为子包络域等效检测点;
S4、根据相机成像系统对焦的工作距离,将各个所述子包络域网格中心点坐 标和法向矢量转化到所述相机所处的位置坐标和检测方向,求出当前视点在包络 域模型坐标系下的空间位置。
进一步的,所述相机成像系统的有效检测视场为所述相机的视场及其沿光轴 旋转90°后视场的重叠视场。
根据检测对象的尺寸选择θ,θ为能被180整除的数值,将划分为n部分, 计算角度边缘位置点坐标分别记为pi(i=1,2…n+1);计算pi点在各角度上 沿视角垂直方向延长工作距离h后的视点坐标p'i(i=1,2…n+1);
定义通过p'i和p'j两点与观察方向平行的平面记为Pij,其中i,j∈(1,2…n+1),判断平面Pij与包络域是否相交,当|i-j|=1时,若其中,φ为空集, 即任意相邻两点p'i组成的平面Pij与包络域不相交,因此将以增量θ划分为 n部分;
进一步的,步骤S3中,中层检测面的求取方法为:
当检测子包络域为Dp类型时,以dmax/2求出包络域的中层检测平面记为Np,dmax为待检测包络域的最大检测厚度尺寸;
当检测子包络域为Dc类型时,分两种求解方法:
若dmax≤Z时,即待检测包络域的最大检测厚度尺寸小于等于景深,此时相机 在对焦工作距离h下清晰成像,以最大检测厚度dmax求出在包络域划分角度内的 最小外切圆柱体,求出包络域外切圆柱体在dmax/2处的中层检测面Nc;
若dmax>Z时,即包络域的最大检测厚度尺寸大于景深,以最大检测厚度dmax求 出在包络域划分角度内的最小外切圆柱体,将外切圆柱体从中间按dmax均匀分为 两层,再分别求出每层包络域外切圆柱体在dmax/2处的中层检测面Nc。
进一步的,步骤S3中,对所述Np划分网格的步骤如下:
a)计算Np直径,记为dp;
c)分别计算每列Np在竖直方向上的最大长度尺寸dmaxi,其中1≤i≤ncol;
f)求取每个网格中心点坐标pi(xi,yi,zi)和该点的单位法向量ni(αi,βi,γi),其中αi,βi,γi为向量ni与模型坐标系中x,y,z轴的夹角。
进一步的,S4中,对所述Nc划分网格步骤如下:
a)计算Nc的弧长Lc和母线长度lc;
d)根据nrow和ncol将Nc划分成num个网格,其中num=nrow·ncol;
e)求取每个网格中心点坐标pj(xj,yj,zj)和该点的单位法向量nj(αj,βj,γj),其中αj,βj,γj为向量nj与模型坐标系中x,y,z轴的夹角。
进一步的,步骤S4中,根据步骤S3中每个网格中心点坐标p(x,y,z)及该点 的法向矢量n(α,β,γ),求出对应的相机视点坐标P(X,Y,Z);其中, X=x+h cosα,Y=y+h cosβ,Z=z+h cosγ;相机视点坐标所处单位向量与网格中心点向 量方向相反,即相机视点所处方向单位向量为-n。
本发明的有益效果是:根据航空发动机外形结构和尺寸构建航空发动机检测 内容包络域模型,通过对包络域进行划分及包络域检测点的求解进一步算出视点 的位置坐标。本发明提供一种航空发动机错漏装检测视点快速求解方法,避免传 统机器人人工示教方法带来的效率低下、工作量大和易出错等问题,而且针对不 同航空发动机型号视点求解方法适用性较好,实现对航空发动机表面所有零件的 图像采集及视觉检测,显著提升航空发动机检测效率和装配一致性,为航空发动 机机器视觉检测提供技术支持。
附图说明
图1为本发明实施例中航空发动机检测内容包络域模型;
图2为本发明实施例中相机成像有效检测视场;
图3为本发明实施例中包络域划分过程示意图;
图4为本发明实施例中子包络域等效检测点分布示意图;
图5为本发明实施例中视点求解最终分布结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明,应该强调的是,下述 说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
本发明提供了一种航空发动机错漏装检测视点求解方法,构建航空发动机检 测内容包络域和包络域划分方法,包括以下步骤:
S1、构建检测内容包络域:
航空发动机视觉检测内容为发动机总装后表面零件、部件装配情况,航空发 动机在未安装各类附件、管路及其他部件时其主体结构形状为回转体,根据航空 发动机主体外形结构尺寸及各类附件空间凸起位置分布构建检测内容包络域,并 定义包络域的空间坐标系。所有航空发动机表面待检测内容所组成的包络域为整 个发动机视觉检测区域。检测内容包络域由不规则回转包络域Dc和圆柱体包络域 Dp组成。其中,在不规则回转包络域中包含多个凸起形状。
S2、划分检测内容包络域:
根据航空发动机的装配方位,从发动机侧面与进气方向垂直将检测内容包络 域从竖直方向分为风扇单元体、核心机单元体和低压涡轮单元体三部分,过发动 机中轴线沿进气方向再将包络域竖直分为左右两部分,最后根据各不规则回转在 系列角度上视点是否发生干涉进一步将包络域划分,划分后的各个检测内容包络 域记为子包络域。
S3、求解包络域等效检测点:
以航空发动机进气方向为观察视角,求取各子包络域的最大检测厚度,将结 果与成像系统景深作对比。如果最大检测厚度小于成像系统景深,以最大检测厚 度值一半求取包络域的中层检测面。若包络域为部分不规则回转,则检测中层面 为部分圆柱表面;若包络域为部分回转体,则检测中心面为部分圆平面。如果最 大检测厚度大于成像系统景深,将检测包络域从内部按厚度分为两层或多层,再 分别求取每层包络域的中层检测面。最后根据相机有效检测视场尺寸将各包络域 的中层检测面进行网格划分,求出每个网格中心点坐标和表面法向矢量,所有网 格中心点坐标作为子包络域内检测目标的等效检测点。
其中,根据航空发动机表面检测内容大小、颜色等选择相应的相机镜头,以 相机分辨率、视场角、镜头焦距、景深、工作距离等为约束求解有效检测视场。 求出固定工作距离下的相机视场,再将相机沿光轴旋转90°后再求取相机视场。 将两次求解的视场进行求交,最终结果作为相机有效检测视场,并计算有效检测 视场重叠率,以此来推算任意两张相邻图像的内容重复率。
S5、计算视点坐标:
根据所有包络域检测视点的空间位置,对检测系统进行干涉检查,将发生干 涉的视点进行修正和剔除。本发明方法可快速求解发动机错漏装检测视点,所求 视点方便后续视点规划。
其中,步骤1的具体过程如下:
航空发动机主要由风扇单元体、核心机单元体及低压涡轮单元体三部分组 成。根据航空发动机主体的外形结构尺寸构建出在未安装各类附件管路时的发动 机主体模型,记为非检测区域Fa。在非检测域外部根据各类附件及管路的位置和 尺寸构建包含待检测项的检测内容包络域,记为不规则回转包络域Dc,结合风扇 单元体前端面检测内容包络域Dp1及尾部低压涡轮后端面检测内容包络域Dp2构 成整个检测内容包络域Da。其中Da如下式所示:
Da={Dp,Dc}
其中Dp={Dp1,Dp2}为圆柱体包络域,以非检测区域Fa为基准构建检测内容包络 域Da,设定世界坐标系OW-XwYwZw,检测内容包络域Da包含航空发动机所有表面 待检测目标,以Da为整个检测内容集去进行视点求解。
其中,步骤2的具体过程如下:
对步骤1所求解的检测内容包络域Da进行划分,具体划分原则如下:
b)以航空发动机固定方位为准,沿进气方向将整个检测内容包络域从竖直方 向分为左右两部分,其中划分方向通过航空发动机主体中心轴线。划分结 果如下:
根据检测对象尺寸选择合适θ,θ的数值可以任意选择,但是选择能被180整 除的数值时,可以将每个区域划分的更加均匀。将划分为n部分,计算角度边缘位置点坐标分别记为pi(i=1,2…n+1);计算pi点在各角度上沿视角垂直方 向延长工作距离h后的视点坐标p'i(i=1,2…n+1);
定义通过p'i和p'j两点与观察方向平行的平面记为Pij,其中i,j∈(1,2…n+1),判断平面Pij与包络域是否相交,当|i-j|=1时,若其中,φ为空集, 即任意相邻两点p'i组成的平面Pij与包络域不相交,因此将以增量θ划分为 n部分;若更换角度增量θ重新划分包络域;根据不规则回转体包络 域在以θ为增量的系列角度上两点平面与包络域相交情况将划分成若干子包 络域。
以θ=45°为例,各角度边缘位置点坐标分别记为pi(i=1,2,3,4,5)。分别计算pi点在以上五个角度上沿视角垂直方向延长工作距离h后的视点坐标p'i(i=1,2,3,4,5)。
如果Value值为1则将包络域以45°分成4部分,否则添加角度进一步划分 包络域,方法同上。根据不规则回转包络域在在以θ为增量的系列角度上两点平 面与包络域相交情况将划分成若干子包络域,剩余其它部分包络域划分方法 同上,此处不再赘述。
其中,步骤3的具体计算过程如下:
根据步骤2划分的子包络域结果,求出每个子包络域的最大检测厚度dmax, 判断厚度值与成像系统景深Z=zmax-zmin的大小关系:
当检测子包络域为Dp类型时,以dmax/2求出包络域的中层检测平面记为Np;
当检测子包络域为Dc类型时,求出包络域中层检测面,具体如下:
若dmax≤Z时,景深大于待检测包络域的最大检测厚度尺寸,此时相机在工作 距离h下可清晰成像,以最大检测厚度dmax求出在包络域划分角度内的最小外切 圆柱体,求出包络域外切圆柱体在dmax/2处的中层检测面Nc。
若dmax>Z时,景深小于包络域的最大检测厚度尺寸,以最大检测厚度dmax求 出在包络域划分角度内的最小外切圆柱体,将外切圆柱体从中间按dmax均匀分为 两层,再分别求出每层包络域外切圆柱体在dmax/2处的中层检测面Nc。
Np和Nc为包络域的两种检测面,以相机有效视场V的尺寸为划分网格依据, 对Np和Nc进行网格划分。
其中,对Np划分网格步骤如下:
a)计算Np直径,记为dp。
c)分别计算每列Np在竖直方向上的最大长度尺寸dmaxi,其中1≤i≤ncol。
f)求取每个网格中心点坐标pi(xi,yi,zi)和该点的单位法向量ni(αi,βi,γi),其中αi,βi,γi为向量ni与模型坐标系中x,y,z轴的夹角。
其中,对Nc划分网格步骤如下:
a)计算Nc的弧长Lc和母线长度lc。
d)根据nrow和ncol将Nc划分成num个网格,其中num=nrowgncol。
e)求取每个网格中心点坐标pj(xj,yj,zj)和该点的单位法向量nj(αj,βj,γj),其中αj,βj,γj为向量nj与模型坐标系中x,y,z轴正向夹角。
步骤3中提到的相机成像系统,其相机在空间成像模型主要由位置参数和光 学参数决定,根据位置和成像参数可确定相机在空间中某个视点所采集到的图 像。具体如下:
a)相机在空间中的坐标的位置:(x,y,z)。
b)相机在空间中与各坐标轴的夹角:(α,β,γ)。
c)成像参数包括:镜头焦距f,感光芯片尺寸a×b,工作距离h。
根据相机位置参数和成像参数,相机在空间中某一视点的采集图像pic由以上 11个参数确定,其表述结果如下:
pic=F(x,y,z,α,β,γ,f,σ,a×b,h)。
在给定的相机成像系统中,当检测目标表面一个点成像在感光芯片上的模糊 圆尺寸小于弥散圆时,则认为成像系统能充分聚焦。此时成像系统聚焦在一个深 度范围内,这一深度范围称作景深Z,通过成像系统及检测对象通过实验测得景 深范围。
除相机在空间成像的位置参数和光学参数外,相机能够正确成像还必须满足 可见性约束、分辨率约束等和采集视角等约束条件。在给定相机成像参数下,在 对焦工作距离h下的视场尺寸记为V1,相机沿光轴旋转90°后的视场尺寸记为V2, 已知镜头焦距f,感光芯片尺寸a×b,则有效检测视场V如下所 示:
其中Va为有效视场边长尺寸,以有效检测视场Va尺寸大小进行视点求解,所采集到的相邻两张图像重叠率Or为:
根据相邻两张图像重叠率Or的大小可对有效检测视场Va尺寸进行调整,以满足 不同检测对象对检测视场的要求。
其中,步骤4的具体计算过程如下:
由于相机所处视点在空间主要包含位置参数及光学参数,当选定相机及镜头 硬件型号后,视点仅由位置参数确定。根据步骤3所求的各包络域网格中心点坐 标pi,pj和该点法向量ni,nj以及工作距离h可算出相机所处位置。
当检测包络域为Dp1,Dp2时,每个网格中心点坐标及该点的法向量为 pi(xi,yi,zi)和ni(αi,βi,γi),对应的相机视点坐标Pi(Xi,Yi,Zi),具体如下:
Xi=xi+hcosαi,Yi=yi+hcosβi,Zi=zi+hcosγi
其中,相机视点坐标所处单位向量与网格中心点向量方向相反,即相机视点所处方向单位向量为-ni。
当检测包络域类型为Dc时,每个网格中心点坐标及该点的法向量为 pj(xj,yj,zj)和nj(αj,βj,γj),对应的相机视点坐标Pj(Xj,Yj,Zj),具体如下:
Xj=xj+hcosαj,Yj=yj+hcosβj,Zj=zj+hcosγj
其中,相机视点坐标所处单位向量与网格中心点向量方向相反,即相机视点所处方向单位向量为-nj。
由以上步骤可求出包络域中相机视点位置坐标Pi(Xi,Yi,Zi)和Pj(Xj,Yj,Zj)以及对应的视点方向-ni和-nj,最后结合航空发动机的装配固定机构,将发生干涉的 视点进行修改和剔除。本发明可快速求解航空发动机错漏装机器视觉检测视点, 适用性较强,通过添加各包络域之间过渡视点可快速进行后续路径规划。
实施例
以某型航空涡扇发动机视点求解为例,通过对航空发动机实际模型的简化, 建立包含所有检测目标的检测内容包络域,通过将包络域分割成若干子包络域, 再分别求出各个子包络域内的等效检测点,最后将等效检测点根据模型坐标系转 化到实际相机所处视点位置,得出所有检测视点,具体包括以下步骤:
S1、构建检测内容包络域:
航空涡扇发动机在未安装各类附件、管路及其他部件时其主体结构形状为回 转体,根据航空发动机主体外形结构尺寸及检测内容的空间位置分布构建检测内 容包络域,并定义包络域的空间坐标系。所有航空发动机表面待检测内容所组成 的包络域为整个发动机视觉检测区域。其中,航空涡扇发动机检测内容包络域由 不规则回转和回转体两种类型包络域组成。
具体求解过程如下:
航空涡扇发动机主要由风扇单元体、核心机单元体及低压涡轮单元体三部分 组成。根据航空发动机主体的外形结构尺寸构建出在未安装各类附件管路时的发 动机主体模型,记为非检测区域Fa。在非检测域外部根据各类附件及管路的位置 和尺寸构建包含待检测项的检测内容包络域,记为不规则回转包络域Dc,结合风 扇单元体前端面检测内容包络域Dp1及尾部低压涡轮后端面检测内容包络域Dp2构成整个检测内容包络域Da,如附图1所示,图1(a)表示航空发动机主体结 构,记为非检测区域Fa,图1(b)为航空发动机表面所有检测内容组成内的检测 内容包络域Da。
其中,Da如下式所示:
Da={(Dp1,Dp2),Dc}
以非检测区域Fa为基准构建检测内容包络域Da,设定世界坐标系OW-XwYwZw, 检测内容包络域Da包含航空发动机所有表面待检测目标,以Da为整个检测内容 集去进行视点求解。
S2、求解有效检测视场:
根据某型航空涡扇发动机表面检测内容大小及目标颜色,选择Basler品牌Aca2440-20gm型号相机和Lens C10-1214-2M-S-f12mm镜头,求出固定工作距离 h下的相机视场,再将相机沿光轴旋转90°后再求取相机视场。将两次求解的视 场进行求交,最终结果作为相机有效检测视场,并计算有效检测视场重叠率。
具体计算过程如下:
相机在空间成像模型主要由位置参数和光学参数决定,根据位置和成像参数 可确定相机在空间中某个视点所采集到的图像。具体如下:
a)相机在空间中的坐标的位置:(x,y,z)。
b)相机在空间中与各坐标轴的夹角:(α,β,γ)。
c)成像参数包括:镜头焦距f=12mm,感光芯片尺寸a×b=8.4mm×7.1mm,工作 距离h=500mm。
在给定的相机成像系统中,当检测目标表面一个点成像在感光芯片上的模糊 圆尺寸小于弥散圆时,则认为成像系统能充分聚焦。此时成像系统聚焦在一个深 度范围内,图像在这一深度范围内清晰成像,这一范围称作景深。由于景深影响 因素较多,通过实验测出本系统下成像景深Z为140mm。
根据相机位置参数和成像参数,相机在空间中某一视点的采集图像pic由以上 10个参数确定,其表述结果如下:
pic=F(x,y,z,α,β,γ,f,σ,a,h)。
除相机在空间成像的位置参数和光学参数外,相机能够正确成像还必须满足 可见性约束、分辨率约束等和采集视角等约束条件。在给定相机成像参数下,在 对焦工作距离h下的视场尺寸记为V1,相机沿光轴旋转90°后的视场尺寸记为V2, 已知镜头焦距f,感光芯片尺寸a×b,则有效检测视场V如下所 示:
其中成像系统的有效视场V如附图2中灰色区域所示。
以有效检测视场V尺寸大小进行视点求解,所采集到的相邻两张图像重叠率 Or为:
S3、划分检测内容包络域:
以航空涡扇发动机进气方向为准,从发动机侧面与进气方向垂直将包络域竖 直分为风扇单元体、核心机单元体和低压涡轮单元体三部分,沿进气方向过发动 机中轴线将检测内容包络域竖直分为左右两部分,最后根据各不规则回转在系列 角度上视点是否发生干涉进一步将包络域划分,划分后的包络域记为子包络域, 包络域划分过程如附图3所示,其中,图3(a)表示将Dc竖直划分为图3(b)表示将和的右半部分和图3(c)表示90°划分的结果, 图3(d)表示45°划分的结果。
具体过程如下:
三部分。
b)以航空发动机固定方位为准,沿进气方向将整个检测内容包络域从竖直方 向分为左右两部分,其中划分方向通过航空发动机主体中心轴线。划分结 果如下:
定义航空发动机进气方向为观察方向,记沿竖直方向朝上记为0°,角度增 量值记为θ,其中0°<θ<90°,沿顺时针方向分别计算角度处包络域外部 边缘位置点坐标pi,其中根据航空涡扇发动机外形结构,角度增量选择 θ=45°,各角度边缘位置点坐标分别记为pi(i=1,2,3,4,5)。分别计算pi点在以上五 个角度上沿视角垂直方向延长工作距离h后的视点坐标p'i(i=1,2,3,4,5)。
S4、求解包络域等效检测点:
以航空涡扇发动机进气方向为观察视角,求取各子包络域的最大检测厚度, 将结果与成像系统景深作对比。根据结果求出各子包络域的中层检测面,最后根 据相机有效检测视场尺寸将各包络域的中层检测面进行网格划分,并求出各网格 中心点坐标和表面法向矢量,所有网格中心点坐标作为子包络域内的等效检测 点,以和为例,其等效检测点分布如附图4所示,其中,图4(a)表示等效检测点分布,图4(b)表示等效检测点分布。
具体计算过程如下:
根据步骤3划分的包络域结果,求出每个子包络域的最大检测厚度dmax,判 断厚度值与成像系统景深Z=140mm的大小关系;
Np和Nc作为包络域的两种检测面,以相机有效视场V的尺寸为划分网格依据, 对Np和Nc进行网格划分。
其中,对Np划分网格步骤如下:
a)计算Np直径dp,其中dp=2360mm。
c)分别计算每列Np在竖直方向上的最大长度尺寸dmaxi。
f)求取每个网格中心点坐标pi(xi,yi,zi)和该点的单位法向量ni(αi,βi,γi),其中αi,βi,γi为向量ni与模型坐标系中x,y,z轴的夹角。
其中,对Nc划分网格步骤如下:
a)由模型得Nc的弧长Lc=610πmm和母线长度lc=1600mm。
d)根据nrow和ncol将Nc划分成42个网格。
e)求取每个网格中心点坐标pj(xj,yj,zj)和该点的单位法向量nj(αj,βj,γj),其中αj,βj,γj为向量nj与模型坐标系中x,y,z轴正向夹角。
S5、求解视点坐标
根据相机成像系统对焦工作距离将各子包络域网格中心点坐标和法向矢量 转化到相机所处的位置坐标和检测方向矢量,求出当前视点在包络域模型坐标系 下的空间位置。根据所有包络域检测视点的空间位置,对检测系统进行干涉检查, 将发生干涉和多余的视点进行修正和剔除。
具体计算过程如下:
由步骤3可知,相机所处视点在空间主要包含位置参数及光学参数,当选定 相机及镜头硬件型号后,视点仅由位置参数确定。根据步骤4所求的各包络域网 格中心点坐标pi,pj和该点法向量ni,nj以及工作距离h可算出相机所处位置
当检测包络域为Dp1,Dp2时,每个网格中心点坐标及该点的法向量为 pi(xi,yi,zi)和ni(αi,βi,γi),对应的相机视点坐标Pi(Xi,Yi,Zi),具体如下:
Xi=xi+hcosαi,Yi=yi+hcosβi,Zi=zi+hcosγi
其中,相机视点坐标所处单位向量与网格中心点向量方向相反,即相机视点所处方向单位向量为-ni。
Xj=xj+hcosαj,Yj=yj+hcosβj,Zj=zj+hcosγj
其中,相机视点坐标所处单位向量与网格中心点向量方向相反,即相机视点所处方向单位向量为-nj。
由以上步骤可求出包络域中相机视点位置坐标Pi(Xi,Yi,Zi)和Pj(Xj,Yj,Zj)以及对应的视点方向-ni和-nj,最后结合航空发动机的固定支撑结构,将发生干涉和 多余的视点进行修改和剔除,视点求解最终结果如附图5所示,本实施例中所求 视点共292个。利用机器人仿真软件对所有检测视点进行验证,采用机器人型号 为FANUC S-900iB系列,结合发动机装配升降机构对所有视点进行仿真验证, 结果表明所有视点均可到达,因此本发明所述视点求解方法有效可靠。
本发明具有以下优点:
航空发动机表面零组件及附件较多,表面凸起附件较多,而且凸起附件尺寸 较大。传统求包络域的方法都是基于检测对象求出最逼近其外形轮廓的圆柱、圆 台作为其包络域,所求包络域包含大量多余部分。本发明在构建检测内容包络域 时充分考虑附件尺寸,在航空发动机表面风扇单元体、核心机单元体和尾部单元 体上构建多个附件凸起包络域单元,结合整机外形轮廓用包含多个凸起的不规则 回转和圆柱体去作为发动机整机表面检测零件的包络域。
目前相机成像视场大小都是基于感光芯片尺寸、焦距及工作距离所确定的相 机成像尺寸,而在发动机错漏装检测过程中,针对具体的检测目标,有些检测对 象在一幅图片中不能拍全,本发明通过求解相机视场及沿光轴旋转90°后两个视 场的公共视场作为其有效检测视场,保证了相邻图片之间有一部分图像内容相互 重叠,保证图像在后期可进行融合判定。
由于航空发动机尺寸较大,检测包络域空间分布较广,一般需多个机器人对 其进行错漏装检测。现有方法都是基于整个检测对象模型进行视点求解,面对航 空发动机这类复杂装配体求解视点数量极多,而且视点顺序混乱,可重复性极低, 机器人任务分工不明确且相互之间容易发生干涉。本发明考虑到整机检测时机器 人的任务分工以及机器人与发动机主体之间的绝对安全,按一定规则将整个检测 包络域划分为若干检测子包络域,明确不同机器人工作时所对应的检测包络域, 而且确保了机器人与发动机之间绝对不会发生碰撞,并且机器人在各区域内运动 角度较小,便于路径规划。
由步骤3可求出各检测子包络域类型及检测厚度,本发明结合将成像系统景 深与检测厚度,将检测包络域按景深分为若干层,再遍历求出其等效检测点,确 保每个检测对象均在成像系统景深内,在面对不同尺寸和类型包络域时均可求解 等效检测点,求解方法具有较强适用性。而且还便于后续所求视点之间的路径规 划。
根据相机成像系统对焦工作距离将各子包络域网格中心点坐标和法向矢量转 化到相机所处的位置坐标和检测方向矢量,求出当前视点在包络域模型坐标系下 的空间位置。
综上,本发明提为航空发动机机器视觉检测提供了一种快速视点遍历求解方 法。根据航空发动机外形结构和尺寸构建航空发动机检测内容包络域模型,通 过对包络域进行划分及包络域检测点的求解进一步算出视点的位置坐标。本发明 提供一种航空发动机错漏装检测视点快速求解方法,避免传统机器人人工示教方 法带来的效率低下、工作量大和易出错等问题,而且针对不同航空发动机型号视 点求解方法适用性较好,实现对航空发动机表面所有零件的图像采集及视觉检 测,显著提升航空发动机检测效率和装配一致性,为航空发动机机器视觉检测提 供技术支持。
Claims (6)
1.一种航空发动机错漏装检测视点求解方法,其特征在于,具体按照以下步骤实施:
S1、航空发动机表面所有待检测目标组成区域记为检测内容包络域Da,将航空发动机的风扇单元体核心机单元体和低压涡轮单元体构建为不规则回转包络域Dc;风扇单元体前端面检测内容包络域记为Dp1,尾部低压涡轮后端面检测内容包络域记为Dp2,Dp={Dp1,Dp2}则为圆柱体包络域Dp;
定义通过p'i和p'j两点与观察方向平行的平面记为Pij,其中i,j∈(1,2…n+1),判断平面Pij与包络域是否相交,当|i-j|=1时,若其中,φ为空集,即任意相邻两点p'i和pj'组成的平面Pij与包络域不相交,因此将以增量θ划分为n部分;
S3、根据相机成像系统的有效检测视场尺寸,将各个所述子包络域的中层检测面进行网格划分,求出每个网格中心点坐标和表面法向矢量,所有网格中心点坐标作为子包络域等效检测点;
S4、根据相机成像系统对焦的工作距离,将各个所述子包络域网格中心点坐标和法向矢量转化到所述相机所处的位置坐标和检测方向,求出当前视点在包络域模型坐标系下的空间位置。
2.如权利要求1所述的一种航空发动机错漏装检测视点求解方法,其特征在于,所述相机成像系统的有效检测视场为所述相机的视场及其沿光轴旋转90°后视场的重叠视场。
3.如权利要求1或2所述的一种航空发动机错漏装检测视点求解方法,其特征在于,所述步骤S3中,中层检测面的求取方法为:
当检测子包络域为Dp类型时,以dmax/2求出包络域的中层检测平面记为Np,dmax为待检测包络域的最大检测厚度尺寸;
当检测子包络域为Dc类型时,分两种求解方法:
若dmax≤Z时,即待检测包络域的最大检测厚度尺寸小于等于景深,此时相机在对焦工作距离h下清晰成像,以最大检测厚度dmax求出在包络域划分角度内的最小外切圆柱体,求出包络域外切圆柱体在dmax/2处的中层检测面Nc;
若dmax>Z时,即包络域的最大检测厚度尺寸大于景深,以最大检测厚度dmax求出在包络域划分角度内的最小外切圆柱体,将外切圆柱体从中间按dmax均匀分为两层,再分别求出每层包络域外切圆柱体在dmax/2处的中层检测面Nc。
4.如权利要求3所述的一种航空发动机错漏装检测视点求解方法,其特征在于,所述步骤S3中,对所述中层检测平面Np划分网格的步骤如下:
a)计算Np直径,记为dp;
c)分别计算每列Np在竖直方向上的最大长度尺寸dmaxk,其中1≤k≤npcol;
f)求取每个网格中心点坐标pi(xi,yi,zi)和该点的单位法向量ni(αi,βi,γi),其中αi,βi,γi为向量ni与模型坐标系中x,y,z轴的夹角。
6.如权利要求1或2所述的一种航空发动机错漏装检测视点求解方法,其特征在于,所述步骤S4中,根据步骤S3中每个网格中心点坐标p(x,y,z)及该点的法向矢量n(α,β,γ),求出对应的相机视点坐标P(X,Y,Z);
其中,X=x+h cosα,Y=y+h cosβ,Z=z+h cosγ;,α,β,γ为向量n与模型坐标系中x,y,z轴的夹角,h为相机对焦工作距离;相机视点坐标所处单位向量与网格中心点向量方向相反,即相机视点所处方向单位向量为-n。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010849102.6A CN112258445B (zh) | 2020-08-21 | 2020-08-21 | 一种航空发动机错漏装检测视点求解方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010849102.6A CN112258445B (zh) | 2020-08-21 | 2020-08-21 | 一种航空发动机错漏装检测视点求解方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112258445A CN112258445A (zh) | 2021-01-22 |
CN112258445B true CN112258445B (zh) | 2022-08-02 |
Family
ID=74224467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010849102.6A Active CN112258445B (zh) | 2020-08-21 | 2020-08-21 | 一种航空发动机错漏装检测视点求解方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112258445B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007334583A (ja) * | 2006-06-14 | 2007-12-27 | Kddi Corp | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム |
CN107066747A (zh) * | 2017-04-24 | 2017-08-18 | 哈尔滨理工大学 | 一种视觉测量网络组网规划方法 |
CN107610212A (zh) * | 2017-07-25 | 2018-01-19 | 深圳大学 | 场景重建方法、装置、计算机设备以及计算机存储介质 |
CN109684709A (zh) * | 2018-12-20 | 2019-04-26 | 中国民航大学 | 一种航空发动机叶片修复的自适应定位方法 |
CN109767497A (zh) * | 2018-12-21 | 2019-05-17 | 杭州测质成科技有限公司 | 一种自动检测航空叶片表面质量的检测方法 |
CN110083906A (zh) * | 2019-04-19 | 2019-08-02 | 大连理工大学 | 一种基于端跳测量计算转子装配位姿的弹性算法 |
JP2019204393A (ja) * | 2018-05-25 | 2019-11-28 | アルパイン株式会社 | 画像処理装置および画像処理方法 |
CN111060006A (zh) * | 2019-04-15 | 2020-04-24 | 深圳市易尚展示股份有限公司 | 一种基于三维模型的视点规划方法 |
CN111351473A (zh) * | 2020-04-27 | 2020-06-30 | 华中科技大学无锡研究院 | 一种基于机器人的视点规划方法、装置及测量系统 |
CN111428334A (zh) * | 2020-01-17 | 2020-07-17 | 西北工业大学 | 激光雷达测量中机器人站位规划方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106643669B (zh) * | 2016-11-22 | 2018-10-19 | 北京空间机电研究所 | 一种多镜头多探测器航空相机单中心投影转换方法 |
CN109341559A (zh) * | 2018-09-30 | 2019-02-15 | 天津大学 | 一种基于双目视觉原理的航空发动机机匣变形测量方法 |
-
2020
- 2020-08-21 CN CN202010849102.6A patent/CN112258445B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007334583A (ja) * | 2006-06-14 | 2007-12-27 | Kddi Corp | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム |
CN107066747A (zh) * | 2017-04-24 | 2017-08-18 | 哈尔滨理工大学 | 一种视觉测量网络组网规划方法 |
CN107610212A (zh) * | 2017-07-25 | 2018-01-19 | 深圳大学 | 场景重建方法、装置、计算机设备以及计算机存储介质 |
JP2019204393A (ja) * | 2018-05-25 | 2019-11-28 | アルパイン株式会社 | 画像処理装置および画像処理方法 |
CN109684709A (zh) * | 2018-12-20 | 2019-04-26 | 中国民航大学 | 一种航空发动机叶片修复的自适应定位方法 |
CN109767497A (zh) * | 2018-12-21 | 2019-05-17 | 杭州测质成科技有限公司 | 一种自动检测航空叶片表面质量的检测方法 |
CN111060006A (zh) * | 2019-04-15 | 2020-04-24 | 深圳市易尚展示股份有限公司 | 一种基于三维模型的视点规划方法 |
CN110083906A (zh) * | 2019-04-19 | 2019-08-02 | 大连理工大学 | 一种基于端跳测量计算转子装配位姿的弹性算法 |
CN111428334A (zh) * | 2020-01-17 | 2020-07-17 | 西北工业大学 | 激光雷达测量中机器人站位规划方法 |
CN111351473A (zh) * | 2020-04-27 | 2020-06-30 | 华中科技大学无锡研究院 | 一种基于机器人的视点规划方法、装置及测量系统 |
Non-Patent Citations (5)
Title |
---|
Configuring use-oriented aero-engine overhaul service with multi-objective optimization for environmental sustainability;Zhan Wang et al;《Journal of Cleaner Production》;20161207;S94eS106 * |
Structural Inspection Path Planning via Iterative Viewpoint Resampling with Application to Aerial Robotics;Andreas Bircher et al;《2015 IEEE International Conference on Robotics and Automation (ICRA)》;20150530;6423-6430 * |
Three-dimensional coverage path planning via viewpoint resampling and tour optimization for aerial robots;Andreas Bircher et al;《Autonomous Robots》;20151102;1059-1078 * |
主动目标几何建模研究方法综述;孔研自 等;《中国图象图形学报》;20190731;第24卷(第7期);1017-1026 * |
单目视觉的大型零件三维测量方法;刘丽丽 等;《机床与液压》;20140228;第42卷(第3期);121-123 * |
Also Published As
Publication number | Publication date |
---|---|
CN112258445A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107292927B (zh) | 一种基于双目视觉的对称运动平台位姿测量方法 | |
US20200061769A1 (en) | Monocular vision six-dimensional measurement method for high-dynamic large-range arbitrary contouring error of cnc machine tool | |
US5850469A (en) | Real time tracking of camera pose | |
Harris et al. | RAPID-a video rate object tracker. | |
CN109483516A (zh) | 一种基于空间距离和极线约束的机械臂手眼标定方法 | |
CN104197960B (zh) | 一种激光跟踪仪视觉导引摄像机的全局标定方法 | |
CN111028340B (zh) | 精密装配中的三维重构方法、装置、设备及系统 | |
CN111256732B (zh) | 一种用于水下双目视觉的目标姿态误差测量方法 | |
CN110849331B (zh) | 基于三维点云数据库模型的单目视觉测量与地面试验方法 | |
CN106157246A (zh) | 一种全自动的快速柱面全景图像拼接方法 | |
CN112419429A (zh) | 一种基于多视角的大型工件表面缺陷检测标定方法 | |
Reinhart | Industrial computer tomography–A universal inspection tool | |
CN112669436A (zh) | 一种基于3d点云的深度学习样本生成方法 | |
CN114654465A (zh) | 一种基于线激光结构光视觉传感的焊缝跟踪提取方法 | |
CN112258445B (zh) | 一种航空发动机错漏装检测视点求解方法 | |
CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
CN100416466C (zh) | 单目视觉半实物仿真系统及方法 | |
CN113763480A (zh) | 一种多镜头全景摄像机组合标定方法 | |
CN113702384A (zh) | 一种回转构件表面缺陷检测装置、检测方法及标定方法 | |
CN115546016B (zh) | Pcb的2d和3d图像的采集和处理方法及相关装置 | |
CN107492124A (zh) | 鱼眼摄像头的平面标定装置 | |
CN207326366U (zh) | 一种狭窄空间螺栓定位安装机器人 | |
Yan et al. | Research on workpiece sorting system based on machine vision mechanism | |
Liu et al. | Pose determination of non-cooperative spacecraft based on multi-feature information fusion | |
CN112465914A (zh) | 基于非共同视场下的相机阵列标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |