CN116994003B - 一种航空结构件二维圆角加底角组合特征识别方法 - Google Patents
一种航空结构件二维圆角加底角组合特征识别方法 Download PDFInfo
- Publication number
- CN116994003B CN116994003B CN202311243918.4A CN202311243918A CN116994003B CN 116994003 B CN116994003 B CN 116994003B CN 202311243918 A CN202311243918 A CN 202311243918A CN 116994003 B CN116994003 B CN 116994003B
- Authority
- CN
- China
- Prior art keywords
- image
- corner
- coordinates
- point
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005520 cutting process Methods 0.000 claims abstract description 37
- 230000009466 transformation Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 239000007787 solid Substances 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 241000786798 Atya Species 0.000 description 3
- 101100218316 Bacillus anthracis atxA gene Proteins 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000010146 3D printing Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种航空结构件二维圆角加底角组合特征识别方法,包括以下步骤:步骤1、获得的航空结构件二维投影图像基于一阶方向差分梯度算子的轮廓图像;构建样本进行学习得到第一识别结果;步骤2、基于第一识别结果框坐标对原图特征区域进行扩充裁剪、极坐标像素区域变换、ROI独立区域特征面片的提取,学习分类得到第二识别结果;步骤3、基于裁剪区域尺度识别结果组合,对图像中圆角与底角成组关系判断得到底角与圆角组合特征的识别结果;本发明可实现航空制造件三维模型在二维投影空间中底角与圆角组合特征的高效率、高精度识别,填补了基于二维图像实现组合特征识别的行业空白,同时为相似的识别场景或是识别对象提供了理论性依据。
Description
技术领域
本发明属于结构件特征识别的技术领域,具体涉及一种航空结构件二维圆角加底角组合特征识别方法。
背景技术
航空领域常见的结构件主要包含框、梁等,这些结构件中主要的特征面包含腹板、侧壁、圆角、底角、筋顶,其中在行业领域腹板通常被视为驱动面,而圆角与侧壁被视为引导面,而底角是由刀具铣削自动形成的面。
由于3D打印技术获得的器件价格昂贵,同时成品的机械强度、刚度等参数在相同的材料情况下往往减材加工方式更有优势,因此现今航空领域数控加工仍主要采用减材的方式实现制造,基于数控程序的加工方式任然是行业主流。在此大背景下,如何准确快速从三维模型中获取驱动面与引导面显得尤为重要。
对于熟练的数控加工程序设计工艺师来说,手动选择加工面的缺陷较为明显,即对于多特征元素零件需要手动的点选所有特征面,效率较低,不能满足自动化、高效率以及低成本的需要。为实现自动化程编的需要,现有的成果主要基于所设计的零件所有面之间的拓扑关系生成刀轨数据。其中,拓扑信息主要由点表示一个面,面与面之间的连接用相邻的线表示。然而拓扑关系的缺陷也较为明显,即不能实现层叠、曲面、异形、台阶式结构的准确判断。
分析现有刀轨数据生成方式可知,为实现自动化程编高效的需要,面片属性特征的准确判断识别是实现自动化程编的关键。尤其是对结构件中的底角与圆角特征进行准确识别是亟待解决的技术问题。本发明针对现有技术中不能对结构复杂的结构件中的底角与圆角特征进行高效准确识别的问题,公开了一种航空结构件二维圆角加底角组合特征识别方法。
发明内容
本发明的目的在于提供一种航空结构件二维圆角加底角组合特征识别方法,实现在二维图像中对航空结构件底角与圆角的组合特征进行高效准确的识别,进而大大提高了后续对结构件上的底角与圆角进行数控加工的效率。
本发明通过下述技术方案实现:
一种航空结构件二维圆角加底角组合特征识别方法,包括以下步骤:
步骤1、获取航空结构件的二维投影图像,基于一阶方向差分梯度算子提取二维投影图像中的轮廓图像,并采用矩形框对轮廓图像中底角与圆角的组合特征进行标注得到预测样本,构建特征识别检测网络对预测样本进行底角与圆角的组合特征识别得到第一识别结果;
步骤2、针对第一识别结果进行扩充裁剪得到扩充裁剪图像,并对扩充裁剪图像进行极坐标像素区域灰度变换处理以得到含有底角与圆角的特征区域,对特征区域中含有底角与圆角的特征面片进行提取得到预测样本,构建基于残差网络的面片分类网络模型对预测样本进行识别得到第二识别结果;
步骤3、基于步骤2中扩充裁剪图像的尺度位置信息构建纯背景图像,将第二识别结果中的底角以不同于背景颜色的第一颜色构建至纯背景图像中,将第二识别结果中圆角以不同于背景颜色的第二颜色构建至纯背景图像中得到组合特征图像;然后采用遍历的方式计算组合特征图像中底角与圆角的数量,将仅含有一个底角与一个圆角的组合特征图像作为结果输出。
为了更好地实现本发明,进一步的,所述步骤1具体包括:
步骤1.1、基于航空结构件的三维图像,采用随机初始化的方式给三维图像的所有面片进行颜色赋值,对三维图像所在背景进行纯色赋值使得背景的灰度值保持一致,然后截取屏幕图像得到具有颜色差异的二维投影图像;
步骤1.2、采用一阶方向差分梯度算子计算二维投影图像上每一个像素点的梯度值,并根据预设的梯度阈值对像素点进行灰度变换处理得到轮廓图像;
步骤1.3、采用矩形框在轮廓图像中对底角与圆角的组合特征进行标注得到预测样本,并基于随机种子点数对预测样本进行增强;
步骤1.4、构建特征识别检测网络对预测样本中底角与圆角的组合特征进行识别,得到底角与圆角的组合特征所在区域的坐标以及概率值;
步骤1.5、将步骤1.4中得到的概率值与预设的概率阈值进行比对,将概率值小于概率阈值的组合特征舍弃,将概率值大于等于概率阈值的组合特征保留作为第一识别结果。
为了更好地实现本发明,进一步的,所述一阶方向差分梯度算子包括方向梯度与梯度大小,所述方向梯度的计算式为:
(1);
(2);
(3);
(4);
(5);
(6);
其中:为二维投影图像中任一像素点的方向梯度;gard为方向梯度的计算式;/>为二维投影图像中坐标为(x,y)处像素点的灰度值;w 1为RGB通道中R通道的灰度变换的权值系数;w 2为RGB通道中G通道的灰度变换的权值系数;w 3为RGB通道中B通道的灰度变换的权值系数;/>为二维投影图像中坐标为(x,y)处像素点在RGB通道中R通道的灰度值;/>为二维投影图像中坐标为(x,y)处像素点在RGB通道中G通道的灰度值;/>为二维投影图像中坐标为(x,y)处像素点在RGB通道中B通道的灰度值;/>为二维投影图像中坐标为(x,y)处像素点在x轴方向的方向梯度;/>为二维投影图像中坐标为(x,y)处像素点在45°和225°方向上的方向梯度;/>为二维投影图像中坐标为(x,y)处像素点在y轴方向的方向梯度;/>二维投影图像中坐标为(x,y)处像素点在135°和315°方向上的方向梯度;
所述梯度大小的计算式为:
(7);
其中:size gra (x,y)为二维投影图像中坐标为(x,y)处像素点的梯度大小。
为了更好地实现本发明,进一步的,所述步骤1.2中,根据预设的梯度阈值对像素点进行灰度变换处理的计算公式为:
(8);
其中:为循环迭代计算二维投影图像中坐标为(x,y)处像素点的梯度数值算法平方和;/>为预设的梯度阈值。
为了更好地实现本发明,进一步的,所述步骤2具体包括:
步骤2.1、对矩形框四个角点的坐标进行扩充,然后按照四个角点扩充后的坐标对第一识别结果进行裁剪得到扩充裁剪图像;
步骤2.2、对扩充裁剪图像中每一个像素点进行极坐标像素区域灰度变换处理;
步骤2.3、以扩充裁剪图像四个角点的像素点作为极坐标像素点,采用四连通域种子点灰度变换的方式进行边界非组合特征区域的灰度变换统一;
步骤2.4、计算经过步骤2.3处理后的扩充裁剪图像的几何中心点,然后以几何中心点为种子点进行255,255,255灰度变换,使得扩充裁剪图像中具有底角与圆角特征的区域的灰度值始终为255,255,255;
步骤2.5、提取扩充裁剪图像中所有像素点的灰度值,并按照灰度值差异对所有像素点进行分类,保留灰度值为255,255,255的像素点,并根据保留的像素点在扩充裁剪图像中相同尺度大小的背景图像中绘制独立的前景区域得到新的扩充裁剪图像;
步骤2.6、采用0倾角最小轮廓矩形框将获取的新的扩充裁剪图像中的前景区域进行裁剪,得到前景特征图像,以前景特征图像作为训练样本;
步骤2.7、基于PyTorch深度学习框架建立基于残差网络的面片分类网络模型,通过面片分类网络模型对训练样本进行网格训练,并得到在不同训练epoch下对应的权重参数,基于loss最小原则优选权重参数,通过优选的权重参数初始化面片分类网络模型;
步骤2.8、通过ROI独立区域特征面片得到预测样本,然后基于0倾角最小包围区域对预测样本进行筛选得到面片分类网络模型的输入预测样本,通过面片分类网络模型对输入预测样本进行分类预测得到带有结果标签的图像作为第二识别结果。
为了更好地实现本发明,进一步的,对扩充裁剪图像中每一个像素点进行极坐标像素区域灰度变换处理的公式为:
(9);
其中:表示矩形框中图像是底角与圆角的组合特征的预测概率结果;threshold result 为预设的概率阈值;x Spro 、y Spro 分别表示极坐标像素区域灰度变换处理的像素点的x坐标值与y坐标值;rows Spro 与cols Spro 分别表示扩充裁剪图像对应的像素行数与像素列数;h R,G,B (x Spro 、y Spro )表示在扩充裁剪图像中坐标为(x Spro 、y Spro )处的像素点分别在R、G、B三个通道变换后的灰度值。
为了更好地实现本发明,进一步的,所述扩充裁剪图像的几何中心点的计算公式为:
xt=(cols Spro -1)/2 (10);
yt=(rows Spro -1)/2 (11);
rows Spro 为扩充裁剪图像对应的像素行数;cols Spro 为扩充裁剪图像对应的像素列数;xt为几何中心点在x轴上的坐标值;yt为几何中心点在y轴上的坐标值。
为了更好地实现本发明,进一步的,所述步骤2.1中,对矩形框四个角点的坐标进行扩充的公式为:
(12);
(13);
(14);
(15);
其中:Point l-up-new (x,y)、Point r-down-new (x,y)、Point l-down-new (x,y)、Point r-up-new (x,y)分别表示扩充后矩形框的左上角、右下角、左下角、右上角四个角点对应的新坐标;pro x-bound 表示在x方向上扩充处理的步长;pro y-bound 表示在y方向上扩充处理的步长;Point l-up (x)表示矩形框的左上角像素点的x坐标;Point l-up (y)表示矩形框的左上角像素点的y坐标;Poin r-down (x)表示矩形框的右下角像素点的x坐标;Point r-down (y)表示矩形框的右下角像素点的y坐标;Point l-down (x)表示矩形框的左下角像素点的x坐标;Point l-down (y)表示矩形框的左下角像素点的y坐标;Poin r-up (x)表示矩形框的右上角像素点的x坐标;Point r-up (y)表示矩形框的右上角像素点的y坐标。
为了更好地实现本发明,进一步的,所述步骤3具体包括:
步骤3.1、筛选第二识别结果中的底角与圆角的图像,并读取相应扩充裁剪图像的几何中心点的尺度位置信息,基于尺度位置信息构建纯背景图像;
步骤3.2、采用第一颜色表示底角,采用第二颜色表示圆角,采用第三颜色表示背景,将底角与圆角构建至纯背景图像中得到组合特征图像;
步骤3.3、采用遍历的方式计算组合特征图像中底角与圆角的数量,将仅含一个底角与一个圆角的组合特征图像作为结果在二维投影图像上映射显示。
本发明与现有技术相比,具有以下优点及有益效果:
本发明可实现航空制造件三维模型在二维投影空间中底角与圆角组合特征的高精度识别,填补了基于二维图像实现组合特征识别的行业空白,可为基于二维图像识别航空结构件所有特征提供了思路参考,摒弃了传统的拓扑关系、数学逻辑关系进行判断的局限性,该发明利于自动化数控加工程编的早日落地,以解决现有人工点选效率低、成本高的问题,同时为相似的识别场景或是识别对象提供了一种指导性参考方法。
附图说明
图1为本发明的流程示意图;
图2为底角与圆角的轮廓图像的示意图;
图3为航空结构件的二维投影图像的示意图;
图4为经过一阶方向差分梯度算子处理后的轮廓图像的示意图;
图5为采用矩形框对轮廓图像进行标注的示意图;
图6为扩充裁剪图像的示意图;
图7为极坐标像素区域的示意图;
图8为对扩充裁剪图像进行极坐标像素区域变换处理的示意图;
图9为底角与圆角的组合特征在二维投影图像上的映射示意图。
具体实施方式
实施例1:
本实施例的一种航空结构件二维圆角加底角组合特征识别方法,包括以下步骤:
步骤1、获取航空结构件的二维投影图像,并基于一阶方向差分梯度算子提取二维投影图像中的轮廓图像,采用矩形框对轮廓图像中底角与圆角的组合特征进行标注得到预测样本,构建特征识别检测网络对预测样本进行底角与圆角的组合特征识别得到第一识别结果;
步骤2、针对第一识别结果进行扩充裁剪得到扩充裁剪图像,并对扩充裁剪图像进行极坐标像素区域灰度变换处理以得到含有底角与圆角的特征区域,对特征区域中含有底角与圆角的特征面片进行提取得到预测样本,构建基于残差网络的面片分类网络模型对预测样本进行识别得到第二识别结果;
步骤3、基于步骤2中扩充裁剪图像的尺度位置信息构建纯背景图像,将第二识别结果中的底角以不同于背景颜色的第一颜色构建至纯背景图像中,将第二识别结果中圆角以不同于背景颜色的第二颜色构建至纯背景图像中得到组合特征图像;然后采用遍历的方式计算组合特征图像中底角与圆角的数量,将仅含有一个底角与一个圆角的组合特征图像作为结果输出。
实施例2:
本实施例在上述实施例1的基础上做进一步优化,所述步骤1具体包括:
步骤1.1、基于航空结构件的三维图像,采用随机初始化的方式给三维图像的所有面片进行颜色赋值,对三维图像所在背景进行纯色赋值使得背景的灰度值保持一致,然后截取屏幕图像得到具有颜色差异的二维投影图像;
步骤1.2、采用一阶方向差分梯度算子计算二维投影图像上每一个像素点的梯度值,并根据预设的梯度阈值对像素点进行灰度变换处理得到轮廓图像;
步骤1.3、采用矩形框在轮廓图像中对底角与圆角的组合特征进行标注得到预测样本,并基于随机种子点数对预测样本进行增强;
步骤1.4、构建特征识别检测网络对预测样本中底角与圆角的组合特征进行识别,得到底角与圆角的组合特征所在区域的坐标以及概率值;
步骤1.5、将步骤1.4中得到的概率值与预设的概率阈值进行比对,将概率值小于概率阈值的组合特征舍弃,将概率值大于等于概率阈值的组合特征保留作为第一识别结果。
本实施例的其他部分与实施例1相同,故不再赘述。
实施例3:
本实施例在上述实施例1或2的基础上做进一步优化,所述一阶方向差分梯度算子包括方向梯度与梯度大小,所述方向梯度的计算式为:
(1);
(2);
(3);
(4);
(5);
(6);
其中:为二维投影图像中任一像素点的方向梯度;gard为方向梯度的计算式;/>为二维投影图像中坐标为(x,y)处像素点的灰度值;w 1为RGB通道中R通道的灰度变换的权值系数;w 2为RGB通道中G通道的灰度变换的权值系数;w 3为RGB通道中B通道的灰度变换的权值系数;/>为二维投影图像中坐标为(x,y)处像素点在RGB通道中R通道的灰度值;/>为二维投影图像中坐标为(x,y)处像素点在RGB通道中G通道的灰度值;为二维投影图像中坐标为(x,y)处像素点在RGB通道中B通道的灰度值;/>为二维投影图像中坐标为(x,y)处像素点在x轴方向的方向梯度;/>为二维投影图像中坐标为(x,y)处像素点在45°和225°方向上的方向梯度;/>为二维投影图像中坐标为(x,y)处像素点在y轴方向的方向梯度;/>二维投影图像中坐标为(x,y)处像素点在135°和315°方向上的方向梯度;
所述梯度大小的计算式为:
(7);
其中:size gra (x,y)为二维投影图像中坐标为(x,y)处像素点的梯度大小。
本实施例的其他部分与上述实施例1或2相同,故不再赘述。
实施例4:
本实施例在上述实施例1-3任一项的基础上做进一步优化,所述步骤1.2中,根据预设的梯度阈值对像素点进行灰度变换处理的计算公式为:
(8);
其中:为循环迭代计算二维投影图像中坐标为(x,y)处像素点的梯度数值算法平方和;/>为预设的梯度阈值。
本实施例的其他部分与上述实施例1-3任一项相同,故不再赘述。
实施例5:
本实施例在上述实施例1-4任一项的基础上做进一步优化,所述步骤2具体包括:
步骤2.1、对矩形框四个角点的坐标进行扩充,然后按照四个角点扩充后的坐标对第一识别结果进行裁剪得到扩充裁剪图像;
步骤2.2、对扩充裁剪图像中每一个像素点进行极坐标像素区域灰度变换处理;
步骤2.3、以扩充裁剪图像四个角点的像素点作为极坐标像素点,采用四连通域种子点灰度变换的方式进行边界非组合特征区域的灰度变换统一;
步骤2.4、计算经过步骤2.3处理后的扩充裁剪图像的几何中心点,然后以几何中心点为种子点进行255,255,255灰度变换,使得扩充裁剪图像中具有底角与圆角特征的区域的灰度值始终为255,255,255;
步骤2.5、提取扩充裁剪图像中所有像素点的灰度值,并按照灰度值差异对所有像素点进行分类,保留灰度值为255,255,255的像素点,并根据保留的像素点在扩充裁剪图像中相同尺度大小的背景图像中绘制独立的前景区域得到新的扩充裁剪图像;
步骤2.6、采用0倾角最小轮廓矩形框将获取的新的扩充裁剪图像中的前景区域进行裁剪,得到前景特征图像,以前景特征图像作为训练样本;
步骤2.7、基于PyTorch深度学习框架建立基于残差网络的面片分类网络模型,通过面片分类网络模型对训练样本进行网格训练,并得到在不同训练epoch下对应的权重参数,基于loss最小原则优选权重参数,通过优选的权重参数初始化面片分类网络模型;
步骤2.8、通过ROI独立区域特征面片得到预测样本,然后基于0倾角最小包围区域对预测样本进行筛选得到面片分类网络模型的输入预测样本,通过面片分类网络模型对输入预测样本进行分类预测得到带有结果标签的图像作为第二识别结果。
本实施例的其他部分与上述实施例1-4任一项相同,故不再赘述。
实施例6:
本实施例在上述实施例1-5任一项的基础上做进一步优化,对扩充裁剪图像中每一个像素点进行极坐标像素区域灰度变换处理的公式为:
(9);
其中:表示矩形框中图像是底角与圆角的组合特征的预测概率结果;threshold result 为预设的概率阈值;x Spro 、y Spro 分别表示极坐标像素区域灰度变换处理的像素点的x坐标值与y坐标值;rows Spro 与cols Spro 分别表示扩充裁剪图像对应的像素行数与像素列数;h R,G,B (x Spro 、y Spro )表示在扩充裁剪图像中坐标为(x Spro 、y Spro )处的像素点分别在R、G、B三个通道变换后的灰度值。
本实施例的其他部分与上述实施例1-5任一项相同,故不再赘述。
实施例7:
本实施例在上述实施例1-5任一项的基础上做进一步优化,所述扩充裁剪图像的几何中心点的计算公式为:
xt=(cols Spro -1)/2 (10);
yt=(rows Spro -1)/2 (11);
其中:rows Spro 为扩充裁剪图像对应的像素行数;cols Spro 为扩充裁剪图像对应的像素列数;xt为几何中心点在x轴上的坐标值;yt为几何中心点在y轴上的坐标值。
本实施例的其他部分与上述实施例1-5任一项相同,故不再赘述。
实施例8:
本实施例在上述实施例1-5任一项的基础上做进一步优化,所述步骤2.1中,对矩形框四个角点的坐标进行扩充的公式为:
(12);
(13);
(14);
(15);
其中:Point l-up-new (x,y)、Point r-down-new (x,y)、Point l-down-new (x,y)、Point r-up-new (x,y)分别表示扩充后矩形框的左上角、右下角、左下角、右上角四个角点对应的新坐标;pro x-bound 表示在x方向上扩充处理的步长;pro y-bound 表示在y方向上扩充处理的步长;Point l-up (x)表示矩形框的左上角像素点的x坐标;Point l-up (y)表示矩形框的左上角像素点的y坐标;Poin r-down (x)表示矩形框的右下角像素点的x坐标;Point r-down (y)表示矩形框的右下角像素点的y坐标;Point l-down (x)表示矩形框的左下角像素点的x坐标;Point l-down (y)表示矩形框的左下角像素点的y坐标;Poin r-up (x)表示矩形框的右上角像素点的x坐标;Point r-up (y)表示矩形框的右上角像素点的y坐标。
本实施例的其他部分与上述实施例1-5任一项相同,故不再赘述。
实施例9:
本实施例在上述实施例1-5任一项的基础上做进一步优化,所述步骤3具体包括:
步骤3.1、筛选第二识别结果中的底角与圆角的图像,并读取相应扩充裁剪图像的几何中心点的尺度位置信息,基于尺度位置信息构建纯背景图像;
步骤3.2、采用第一颜色表示底角,采用第二颜色表示圆角,采用第三颜色表示背景,将底角与圆角构建至纯背景图像中得到组合特征图像;
步骤3.3、采用遍历的方式计算组合特征图像中底角与圆角的数量,将仅含一个底角与一个圆角的组合特征图像作为结果在二维投影图像上映射显示。
本实施例的其他部分与上述实施例1-5任一项相同,故不再赘述。
实施例10:
本发明的基于Windows7 系统64位,处理器为Intel(R) Xeon(R) W-22233.60Ghz,运行内存大小为32GB,频率为3200Mhz,深度学习训练与检测使用的显卡为Nvidia-P2200,显存容量5GB,显卡驱动版本为441.66,CUDA版本为10.2,硬盘容量为256GB。软件开发平台基于Visual Studio 2019,深度学习平台基于Pytorch框架,Python版本为3.7.1,Pytorch版本为1.5.0,Torchvision版本为0.6.0,样本标注工具为labelimg,矩阵运算工具库Numpy版本为1.21.4,SDK版本为10.0.22000.0,编程语言为C++,对应的图像处理库为OpenCV4.5.2,基于Release X64平台。
一种航空结构件程编二维圆角加底角组合特征识别方法主要步骤,如图1所示:
对于获取的航空结构件二维投影图像,由于在图像中不同的结构在轮廓线上的特征差异较大,因此,本发明以对应的轮廓线为特征识别的依据。分析框、梁类型的航空结构件的二维投影图像可知,底角加圆角的组合特征在不同的视角下具有较强的特征唯一性与专一性,更适合用于辨别性特征。因此,本发明以底角加圆角为识别对象,为后续所有面片属性的判断提供了种子特征。底角加圆角的组合特征轮廓线图像,如图2所示。
基于三维建模软件设计的航空结构件的三维图像,采用随机初始化的方式给结构件所有面片进行颜色赋值,对应的背景颜色为纯色,即背景的灰度值相同,采用截屏的方式捕获具有颜色差异的航空架构件二维投影图像。获取的航空结构件二维投影图像,如图3所示。
对于捕获的航空结构件的二维投影图像采用一阶方向差分梯度算子计算每一个像素点的梯度值,一阶即计算像素点的梯度值大小值仅由邻域的像素点灰度值决定,梯度的方向即设计的计算式子得到的方向结果梯度值进行融合的方向梯度。图像中任意一像素点的方向梯度可用式子表示为:
在获取的彩色图像中,任意一像素点位置:
其中,一阶方向差分式子可进一步表示为:
4个角度方向可以表示360°范围内8个方向的一阶差分式子,总的梯度方向用矢量求和的方式进行表示,梯度的大小用算数平方和表示,即大小可以表示为:
其中,为二维投影图像中任一像素点的方向梯度;gard为方向梯度的计算式;/>为二维投影图像中坐标为(x,y)处像素点的灰度值;w 1为RGB通道中R通道的灰度变换的权值系数,优选w 1=0.5;w 2为RGB通道中G通道的灰度变换的权值系数,优选w 2=0.7;w 3为RGB通道中B通道的灰度变换的权值系数,优选w 3=0.9;/>为二维投影图像中坐标为(x,y)处像素点在RGB通道中R通道的灰度值;/>为二维投影图像中坐标为(x, y)处像素点在RGB通道中G通道的灰度值;/>为二维投影图像中坐标为(x,y)处像素点在RGB通道中B通道的灰度值;/>为二维投影图像中坐标为(x,y)处像素点在x轴方向的方向梯度;/>为二维投影图像中坐标为(x,y)处像素点在45°和225°方向上的方向梯度;/>为二维投影图像中坐标为(x,y)处像素点在y轴方向的方向梯度;/>二维投影图像中坐标为(x,y)处像素点在135°和315°方向上的方向梯度。
采用循环迭代的方式处理每一像素点,分别计算其对应的梯度数值算法平方和size gra (x,y),对应的计算式子有:
/>
循环迭代获取每一像素点采用OpenCV图像处理库完成。
设计梯度差异判断器,对图像中每一像素点的梯度值进行筛选,即基于梯度阈值对对应所有像素点位置进行灰度变换处理,即:
其中,为循环迭代计算二维投影图像中坐标为(x,y)处像素点的梯度数值算法平方和;/>为预设的梯度阈值。基于一阶方向差分梯度算子获取的高频轮廓,如图4所示。
在基于一阶方向差分梯度算子获取的高频轮廓图像中进行样本的标注,样本标注的对象为以底角加圆角的组成特征,若在二维投影图像中存在组合特征部分缺失以及不完整的情况则视为背景不进行标注。样本采用矩形框的方式进行标注,对应的标签名称为comp。
设计基于随机种子点数实现特征及样本的增强。随机种子数,即随机的种子对应的数值是在设定的范围随机的取值,实现方式为:有c++的rand得到一随机数num,对其取余得到对应的数值num%times。增强的方式包含:水平翻转、竖直翻转、图像旋转范围(-5,5)度、仿射变换X轴方向上的变化系数为范围为(0.5,1.0)、图像整体尺度缩放范围(0.5,1.0)。获取的具有特征差异的组合特征差异图像,如图5所示。
构建基于残差网络的面片分类网络模型,使用PyTorch深度学习框架实现。对应的backbone基于resnet实现,对应的层数为23,第1层的卷积大小为7*7,特征图数量为64,移动的步长为2,填充大小为3,第2层的卷积大小为3*3,特征图数量为64,移动的步长为2,填充大小为3;第3层至第23层的卷积核包含了3*3与1*1大小,特征图数量包含64、128、256,移动的步长包含了2与1,填充大小包含了3、1、0。基于RPN实现背景的前景的判断,head模块实现组合特征的识别,训练损失使用交叉熵损失函数进行评价。
网络训练的超参数设置方式为:scales=[4,8,16,32]、ratios=[0.5,0.75,1.0,1.5,2.0],strides=[4, 8, 16, 32, 64],num_class=2;优化器的为随机梯度下降优化,学习率lr=0.0004,momentum=0.9,weight_decay=0.0001,训练的迭代的周期为epochs=39。
进行网络训练并得到在不同训练epoch对应的权重文件,基于loss最小原则在epoch中优选出适宜的权重参数去初始化面片分类网络模型。
对于采用一阶方向差分梯度算子获取的具有高频轮廓线特征预测样本,将样本的尺度缩放到同训练样本尺度相同的大小,缩放处理后将样本输入已初始化后预测网络中进行组合特征的识别。尺度的缩放直接使用resize函数实现,对应像素点的差值方式采用最近邻差值。
基于面片分类网络模型得到预测图像中包含组合特征的特征区域坐标及其概率值,输出的数值以矩阵的形式表示M,矩阵M的每一行存储有一组检测结果的数据,若在一个图像中检测存在有n个特征区域则M为n行,矩阵的列数为5,前四列分别存储有检测结果框的左上角的x值与y值以及右下角的x值与y值,第五列对应的数据为组合特征的概率值的大小位于0.00-1.00之间。对应的预测结果矩阵M可表示为M nx5。
设定判断threshold result ,按照行的方式依次读取矩阵M中的数据直接判断第五列的概率结果与结果阈值的相对关系,若大于等于阈值则将对应行的数据进行保留,若小于阈值则对于特征区域是组合特征的概率较小,为提高识别的准确性应将其去除。
对筛选后的每一个矩形框区域S pro 进行扩充处理,主要原因是在结果区域中部分框将圆角加底角的组合特征进行了截断,即结果框不是完整的包含组合特征的情况,为了保证后续处理的识别精度所以设计了扩张处理步骤。扩张的方式为,若矩形框区域S pro 的左上角与右下角的坐标分别为Point l-up 与Point r-down ,扩充后坐标可进行如下表示:
Point l-up-new (x,y)→Point l-up (x)-pro x-bound ,Point l-up (y)-pro y-bound
Point r-down-new (x,y)→Poin r-down (x)+pro x-bound ,Point r-down (y)+pro y-bound
矩形框区域S pro 的左下角与右上角的坐标分别为Point l-down 与Point r-up ,扩充后坐标可进行如下表示:
Point l-down-new (x,y)→Point l-down (x)-pro x-bound ,Point l-down (y)+pro y-bound
Point r-up-new (x,y)→Poin r-up (x)+pro x-bound ,Point r-up (y)-pro y-bound
其中,Point l-up-new (x,y)、Point r-down-new (x,y)、Point l-down-new (x,y)、Point r-up-new (x,y)分别表示扩充后矩形框的左上角、右下角、左下角、右上角四个角点对应的新坐标;pro x-bound 表示在x方向上扩充处理的步长;pro y-bound 表示在y方向上扩充处理的步长,发明中设定的值为10。识别结果表示与区域扩充实现效果,如图6所示。
得到扩充后的坐标后,基于坐标的位置数据对原始一阶方向差分梯度算子处理后的高频轮廓图像进行裁剪,在每一预测图像中得到若干满足阈值要求的扩充裁剪图像。
对于获得的扩充裁剪图像进行极坐标像素区域灰度变换处理,该处理步骤的作用是为后续干扰的非组合特征的滤除提供灰度信息,该步骤是实现后续步骤处理的核心。具体的极坐标像素区域灰度变换处理方式式子有:
其中,表示矩形框中图像是底角与圆角的组合特征的预测概率结果;threshold result 为预设的概率阈值;x Spro 、y Spro 分别表示极坐标像素区域灰度变换处理的像素点的x坐标值与y坐标值;rows Spro 与cols Spro 分别表示扩充裁剪图像对应的像素行数与像素列数;h R,G,B (x Spro 、y Spro )表示在扩充裁剪图像中坐标为(x Spro 、y Spro )处的像素点分别在R、G、B三个通道变换后的灰度值。极坐标像素区域灰度变换处理区域,如图7所示。
以扩充裁剪图像中左上角、左下角、右上角、右下角对应位置的像素点为极坐标像素点,采用上下左右4连通域种子点灰度变换的方式进行边界非组合特征区域的灰度变换统一,4个种子点的被赋予的新的灰度值为0,0,255,分别与蓝绿红灰度通道对应。极坐标像素4连通域种子点灰度变换处理后的效果,如图8所示。
对4连通域种子点灰度变换处理后的扩充裁剪图像计算其几何中心,即x=(cols Spro -1)/2、y=(rows Spro -1)/2。然后基于中心点为种子点进行255,255,255灰度变换,使得到的图像中具有圆角特征的区域灰度值始终为255,255,255,不会因奇异的边界导致处理后的圆角灰度为0,0,255(蓝绿红)情况,利于提升识别方法的召回率的提升。
读取处理后图像中所有像素点的灰度值,并按照灰度值的差异对所有像素点进行分类,共包含3类即以0,0,255(蓝绿红)表示的与边界连通的区域,255,255,255表示的圆角、底角、噪声区域(非底角、圆角区域),0,0,0表示的轮廓线区域。
去除0,0,255(蓝绿红)与0,0,0表示的灰度区域,仅保留255,255,255表示的前景区域,并单独在同扩充裁剪图像中相同尺度大小的背景为0的图像中绘制每一个独立的前景区域。采用0倾角最小轮廓矩形框将获取的新图像中前景区域进行裁剪,得到前景特征图像,以该扩充裁剪图像为深度学习分类训练样本。
为了增加模型的鲁棒性同样需对样本进行基于随机种子数的增强,即随机的种子对应的数值是在设定的范围随机的取值,实现方式为:有c++的rand得到一随机数num,对其取余得到对应的数值num%times。增强的方式包含:水平翻转、竖直翻转、图像旋转范围(-5,5)度、仿射变换X轴方向上的变化系数为范围为(0.5,1.0)、图像整体尺度缩放范围(0.5,1.0)。因此在得到图像中存在大量的小面积噪声区域,应将其去除以降低对整个特征识别的准确率,本发明研究的结构件二维投影图像中底角的面积要小于圆角的面积,且经统计底角的面积大于100,因此设计的面积筛选阈值为50,对大于等于阈值的连通面片区域作为训练样本。
设计基于残差卷积网络的面片分类网络,使用PyTorch深度学习框架实现。对应的特征提取模块基于残差卷积网络实现,block包含{2, 3, 5, 2}对应的特征图数量分别为64,128,256,512,使用最大值池化对应的区域为3*3=9,步长为2,填充范围为1,使用全连接层对特征进行降维,num_classes包含3类,对应的激活函数为relu,使用softmax对类别进行划分,优化器的为随机梯度下降优化SGD,学习率lr=0.0004,momentum=0.9,weight_decay=0.0001,训练的迭代的周期为epochs=200。进行网络训练并得到在不同训练epoch对应的权重文件,基于loss最小原则在epoch中优选出适宜的权重参数去初始化预测分类网络模型。对于预测样本通过ROI独立区域特征面片得到,然后基于0倾角最小包围区域得到分类网络的输入预测样本,并得到图像分类预测结果2,即输入网络的每一组图像有一个结果标签,结果标签包括底角、圆角、其他3类。
筛选处理仅保留预测结果为底角与圆角的图像,同时读取获取的裁剪几何心中变换填充图像的尺度位置信息,基于此信息将构建新的纯背景图像,并将底角与圆角结果组合在构建的纯背景图像中。底角的使用红色表示、圆角采用绿色表示,背景的用黑色表示。纯背景图像中组合特征筛选结果。
图像中圆角与底角组成判断,即满足组合特征关系的区域应有且仅有一个底角与圆角,采用遍历的方式计算构建的图像中具有红色与绿色连通区域的数量,若底角与圆角数量皆为1则对应区域是航空结构件在二维投影图像中底角与圆角的组合特征,令结果为成组关系判断结果,成组关系判断结果即指仅含有一个底角与一个圆角的组合特征图像,仅含有一个底角与一个圆角的组合特征图像同原始二维投影图像映射显示,如图9所示。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。
Claims (9)
1.一种航空结构件二维圆角加底角组合特征识别方法,其特征在于,包括以下步骤:
步骤1、获取航空结构件的二维投影图像,并基于一阶方向差分梯度算子提取二维投影图像中的轮廓图像,并采用矩形框对轮廓图像中底角与圆角的组合特征进行标注得到预测样本,构建特征识别检测网络对预测样本进行底角与圆角的组合特征识别得到第一识别结果;
步骤2、针对第一识别结果进行扩充裁剪得到扩充裁剪图像,并对扩充裁剪图像进行极坐标像素区域灰度变换处理以得到含有底角与圆角的特征区域,对特征区域中含有底角与圆角的特征面片进行提取得到预测样本,构建基于残差网络的面片分类网络模型对预测样本进行识别得到第二识别结果;
步骤3、基于步骤2中扩充裁剪图像的尺度位置信息构建纯背景图像,将第二识别结果中的底角以不同于背景颜色的第一颜色构建至纯背景图像中,将第二识别结果中圆角以不同于背景颜色的第二颜色构建至纯背景图像中得到组合特征图像;然后采用遍历的方式计算组合特征图像中底角与圆角的数量,将仅含有一个底角与一个圆角的组合特征图像作为结果输出。
2.根据权利要求1所述的一种航空结构件二维圆角加底角组合特征识别方法,其特征在于,所述步骤1具体包括:
步骤1.1、基于航空结构件的三维图像,采用随机初始化的方式给三维图像的所有面片进行颜色赋值,对三维图像所在背景进行纯色赋值使得背景的灰度值保持一致,然后截取屏幕图像得到具有颜色差异的二维投影图像;
步骤1.2、采用一阶方向差分梯度算子计算二维投影图像上每一个像素点的梯度值,并根据预设的梯度阈值对像素点进行灰度变换处理得到轮廓图像;
步骤1.3、采用矩形框在轮廓图像中对底角与圆角的组合特征进行标注得到预测样本,并基于随机种子点数对预测样本进行增强;
步骤1.4、构建特征识别检测网络对预测样本中底角与圆角的组合特征进行识别,得到底角与圆角的组合特征所在区域的坐标以及概率值;
步骤1.5、将步骤1.4中得到的概率值与预设的概率阈值进行比对,将概率值小于概率阈值的组合特征舍弃,将概率值大于等于概率阈值的组合特征保留作为第一识别结果。
3.根据权利要求2所述的一种航空结构件二维圆角加底角组合特征识别方法,其特征在于,所述一阶方向差分梯度算子包括方向梯度与梯度大小,所述方向梯度的计算式为:
(1);
(2);
(3);
(4);
(5);
(6);
其中:为二维投影图像中任一像素点的方向梯度;gard为方向梯度的计算式;/>为二维投影图像中坐标为(x,y)处像素点的灰度值;w 1为RGB通道中R通道的灰度变换的权值系数;w 2为RGB通道中G通道的灰度变换的权值系数;w 3为RGB通道中B通道的灰度变换的权值系数;/>为二维投影图像中坐标为(x,y)处像素点在RGB通道中R通道的灰度值;/>为二维投影图像中坐标为(x,y)处像素点在RGB通道中G通道的灰度值;为二维投影图像中坐标为(x,y)处像素点在RGB通道中B通道的灰度值;/>为二维投影图像中坐标为(x,y)处像素点在x轴方向的方向梯度;/>为二维投影图像中坐标为(x,y)处像素点在45°和225°方向上的方向梯度;/>为二维投影图像中坐标为(x,y)处像素点在y轴方向的方向梯度;/>二维投影图像中坐标为(x,y)处像素点在135°和315°方向上的方向梯度;
所述梯度大小的计算式为:
(7);
其中:size gra (x,y)为二维投影图像中坐标为(x,y)处像素点的梯度大小。
4.根据权利要求2所述的一种航空结构件二维圆角加底角组合特征识别方法,其特征在于,所述步骤1.2中,根据预设的梯度阈值对像素点进行灰度变换处理的计算公式为:
(8);
其中:为循环迭代计算二维投影图像中坐标为(x,y)处像素点的梯度数值算法平方和;/>为预设的梯度阈值;size gra (x,y)为二维投影图像中坐标为(x,y)处像素点的梯度大小。
5.根据权利要求1所述的一种航空结构件二维圆角加底角组合特征识别方法,其特征在于,所述步骤2具体包括:
步骤2.1、对矩形框四个角点的坐标进行扩充,然后按照四个角点扩充后的坐标对第一识别结果进行裁剪得到扩充裁剪图像;
步骤2.2、对扩充裁剪图像中每一个像素点进行极坐标像素区域灰度变换处理;
步骤2.3、以扩充裁剪图像四个角点的像素点作为极坐标像素点,采用四连通域种子点灰度变换的方式进行边界非组合特征区域的灰度变换统一;
步骤2.4、计算经过步骤2.3处理后的扩充裁剪图像的几何中心点,然后以几何中心点为种子点进行255,255,255灰度变换,使得扩充裁剪图像中具有底角与圆角特征的区域的灰度值始终为255,255,255;
步骤2.5、提取扩充裁剪图像中所有像素点的灰度值,并按照灰度值差异对所有像素点进行分类,保留灰度值为255,255,255的像素点,并根据保留的像素点在扩充裁剪图像中相同尺度大小的背景图像中绘制独立的前景区域得到新的扩充裁剪图像;
步骤2.6、采用0倾角最小轮廓矩形框将获取的新的扩充裁剪图像中的前景区域进行裁剪,得到前景特征图像,以前景特征图像作为训练样本;
步骤2.7、基于PyTorch深度学习框架建立基于残差网络的面片分类网络模型,通过面片分类网络模型对训练样本进行网格训练,并得到在不同训练epoch下对应的权重参数,基于loss最小原则优选权重参数,通过优选的权重参数初始化面片分类网络模型;
步骤2.8、通过ROI独立区域特征面片得到预测样本,然后基于0倾角最小包围区域对预测样本进行筛选得到面片分类网络模型的输入预测样本,通过面片分类网络模型对输入预测样本进行分类预测得到带有结果标签的图像作为第二识别结果。
6.根据权利要求5所述的一种航空结构件二维圆角加底角组合特征识别方法,其特征在于,对扩充裁剪图像中每一个像素点进行极坐标像素区域灰度变换处理的公式为:
(9);
其中:表示矩形框中图像是底角与圆角的组合特征的预测概率结果;threshold result 为预设的概率阈值;x Spro 、y Spro 分别表示极坐标像素区域灰度变换处理的像素点的x坐标值与y坐标值;rows Spro 与cols Spro 分别表示扩充裁剪图像对应的像素行数与像素列数;h R,G,B (x Spro 、y Spro )表示在扩充裁剪图像中坐标为(x Spro 、y Spro )处的像素点分别在R、G、B三个通道变换后的灰度值。
7.根据权利要求5所述的一种航空结构件二维圆角加底角组合特征识别方法,其特征在于,所述扩充裁剪图像的几何中心点的计算公式为:
xt=(cols Spro -1)/2 (10);
yt=(rows Spro -1)/2 (11);
其中:rows Spro 为扩充裁剪图像对应的像素行数;cols Spro 为扩充裁剪图像对应的像素列数;xt为几何中心点在x轴上的坐标值;yt为几何中心点在y轴上的坐标值。
8.根据权利要求5所述的一种航空结构件二维圆角加底角组合特征识别方法,其特征在于,所述步骤2.1中,对矩形框四个角点的坐标进行扩充的公式为:
(12);
(13);
(14);
(15);
其中:Point l-up-new (x,y)、Point r-down-new (x,y)、Point l-down-new (x,y)、Point r-up-new (x,y)分别表示扩充后矩形框的左上角、右下角、左下角、右上角四个角点对应的新坐标;pro x-bound 表示在x方向上扩充处理的步长;pro y-bound 表示在y方向上扩充处理的步长;Point l-up (x)表示矩形框的左上角像素点的x坐标;Point l-up (y)表示矩形框的左上角像素点的y坐标;Poin r-down (x)表示矩形框的右下角像素点的x坐标;Point r-down (y)表示矩形框的右下角像素点的y坐标;Point l-down (x)表示矩形框的左下角像素点的x坐标;Point l-down (y)表示矩形框的左下角像素点的y坐标;Poin r-up (x)表示矩形框的右上角像素点的x坐标;Point r-up (y)表示矩形框的右上角像素点的y坐标。
9.根据权利要求1所述的一种航空结构件二维圆角加底角组合特征识别方法,其特征在于,所述步骤3具体包括:
步骤3.1、筛选第二识别结果中的底角与圆角的图像,并读取相应扩充裁剪图像的几何中心点的尺度位置信息,基于尺度位置信息构建纯背景图像;
步骤3.2、采用第一颜色表示底角,采用第二颜色表示圆角,采用第三颜色表示背景,将底角与圆角构建至纯背景图像中得到组合特征图像;
步骤3.3、采用遍历的方式计算组合特征图像中底角与圆角的数量,将仅含一个底角与一个圆角的组合特征图像作为结果在二维投影图像上映射显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311243918.4A CN116994003B (zh) | 2023-09-26 | 2023-09-26 | 一种航空结构件二维圆角加底角组合特征识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311243918.4A CN116994003B (zh) | 2023-09-26 | 2023-09-26 | 一种航空结构件二维圆角加底角组合特征识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116994003A CN116994003A (zh) | 2023-11-03 |
CN116994003B true CN116994003B (zh) | 2024-01-12 |
Family
ID=88523467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311243918.4A Active CN116994003B (zh) | 2023-09-26 | 2023-09-26 | 一种航空结构件二维圆角加底角组合特征识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116994003B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205870136U (zh) * | 2016-07-21 | 2017-01-11 | 四川明日宇航工业有限责任公司 | 用于航空结构件加工切削参数判定的试切件 |
CN110263660A (zh) * | 2019-05-27 | 2019-09-20 | 魏运 | 一种自适应场景变化的交通目标检测识别方法 |
CN110293252A (zh) * | 2019-06-20 | 2019-10-01 | 成都飞机工业(集团)有限责任公司 | 一种闭角结构稳定加工方法 |
CN112926213A (zh) * | 2021-03-11 | 2021-06-08 | 郑州轻工业大学 | 一种热损伤边界元测定方法、系统、介质、设备、终端 |
CN113450307A (zh) * | 2021-05-12 | 2021-09-28 | 西安电子科技大学 | 一种产品边缘缺陷检测方法 |
WO2021216473A1 (en) * | 2020-04-20 | 2021-10-28 | Massachusetts Institute Of Technology | Assembly system |
CN114882272A (zh) * | 2022-04-22 | 2022-08-09 | 成都飞机工业(集团)有限责任公司 | 一种航空制造件全角度投影图像面片属性融合分析方法 |
CN115439840A (zh) * | 2022-08-22 | 2022-12-06 | 成都飞机工业(集团)有限责任公司 | 一种航空件槽区识别方法、装置、设备及介质 |
CN115482522A (zh) * | 2022-09-21 | 2022-12-16 | 成都飞机工业(集团)有限责任公司 | 飞机结构件转角特征识别方法、装置、设备及存储介质 |
CN115690204A (zh) * | 2022-09-30 | 2023-02-03 | 成都飞机工业(集团)有限责任公司 | 一种制造件的孔位测量方法、装置、设备及介质 |
-
2023
- 2023-09-26 CN CN202311243918.4A patent/CN116994003B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205870136U (zh) * | 2016-07-21 | 2017-01-11 | 四川明日宇航工业有限责任公司 | 用于航空结构件加工切削参数判定的试切件 |
CN110263660A (zh) * | 2019-05-27 | 2019-09-20 | 魏运 | 一种自适应场景变化的交通目标检测识别方法 |
CN110293252A (zh) * | 2019-06-20 | 2019-10-01 | 成都飞机工业(集团)有限责任公司 | 一种闭角结构稳定加工方法 |
WO2021216473A1 (en) * | 2020-04-20 | 2021-10-28 | Massachusetts Institute Of Technology | Assembly system |
CN112926213A (zh) * | 2021-03-11 | 2021-06-08 | 郑州轻工业大学 | 一种热损伤边界元测定方法、系统、介质、设备、终端 |
CN113450307A (zh) * | 2021-05-12 | 2021-09-28 | 西安电子科技大学 | 一种产品边缘缺陷检测方法 |
CN114882272A (zh) * | 2022-04-22 | 2022-08-09 | 成都飞机工业(集团)有限责任公司 | 一种航空制造件全角度投影图像面片属性融合分析方法 |
CN115439840A (zh) * | 2022-08-22 | 2022-12-06 | 成都飞机工业(集团)有限责任公司 | 一种航空件槽区识别方法、装置、设备及介质 |
CN115482522A (zh) * | 2022-09-21 | 2022-12-16 | 成都飞机工业(集团)有限责任公司 | 飞机结构件转角特征识别方法、装置、设备及存储介质 |
CN115690204A (zh) * | 2022-09-30 | 2023-02-03 | 成都飞机工业(集团)有限责任公司 | 一种制造件的孔位测量方法、装置、设备及介质 |
Non-Patent Citations (4)
Title |
---|
Corner milling force prediction and improvement method of aviation thin‑walled structural parts;Zhitao Chen 等;《TheInternationalJournalofAdvancedManufacturingTechnology》;2785–2801 * |
Design of an innovative multi-stage forming process for a complex aeronautical thin-walled part with very small radii;Yao WANG 等;《Chinese Journal of Aeronautics》;1-14 * |
基于多模态感知融合的钛合金加工刀具磨破损分析;喻志勇 等;《制造技术与机床》(第2023年05期);57-63 * |
飞机结构件筋特征的数控加工刀轨研究;赵呜 等;《南京航空大学学报:自然科学板》;第27卷(第3期);98-102、108 * |
Also Published As
Publication number | Publication date |
---|---|
CN116994003A (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109961049B (zh) | 一种复杂场景下香烟品牌识别方法 | |
CN111640125B (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
EP1267309B1 (en) | 3D Computer Modelling Apparatus | |
US10510148B2 (en) | Systems and methods for block based edgel detection with false edge elimination | |
CN109934826B (zh) | 一种基于图卷积网络的图像特征分割方法 | |
CN108352083B (zh) | 用于拉伸成3d对象的2d图像处理 | |
CN107452010A (zh) | 一种自动抠图算法和装置 | |
CN108038905A (zh) | 一种基于超像素的目标重建方法 | |
CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
CN107358636B (zh) | 一种基于纹理合成的疏松缺陷图像生成方法 | |
CN110084817B (zh) | 基于深度学习的数字高程模型生产方法 | |
Li et al. | An overlapping-free leaf segmentation method for plant point clouds | |
CN104134234A (zh) | 一种全自动的基于单幅图像的三维场景构建方法 | |
Price et al. | Object-based vectorization for interactive image editing | |
CN110544300B (zh) | 一种基于二维手绘图像特征自动生成三维模型的方法 | |
CN107369204B (zh) | 一种从单幅照片恢复出场景基本三维结构的方法 | |
CN114882272A (zh) | 一种航空制造件全角度投影图像面片属性融合分析方法 | |
CN115512073A (zh) | 基于可微分渲染下多阶段训练的三维纹理网格重建方法 | |
CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
CN115937461B (zh) | 多源融合模型构建及纹理生成方法、装置、介质及设备 | |
Yogeswaran et al. | 3d surface analysis for automated detection of deformations on automotive body panels | |
CN111401380A (zh) | 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法 | |
CN111640116A (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
CN115482268A (zh) | 一种基于散斑匹配网络的高精度三维形貌测量方法与系统 | |
CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |