CN116824273B - 一种航空制造件任意视角二维投影图像面片属性判断方法 - Google Patents

一种航空制造件任意视角二维投影图像面片属性判断方法 Download PDF

Info

Publication number
CN116824273B
CN116824273B CN202311083323.7A CN202311083323A CN116824273B CN 116824273 B CN116824273 B CN 116824273B CN 202311083323 A CN202311083323 A CN 202311083323A CN 116824273 B CN116824273 B CN 116824273B
Authority
CN
China
Prior art keywords
image
value
array
area
independent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311083323.7A
Other languages
English (en)
Other versions
CN116824273A (zh
Inventor
喻志勇
曾德标
朱绍维
高鑫
姜振喜
王鹏程
李博
王斌利
游莉萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aircraft Industrial Group Co Ltd
Original Assignee
Chengdu Aircraft Industrial Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aircraft Industrial Group Co Ltd filed Critical Chengdu Aircraft Industrial Group Co Ltd
Priority to CN202311083323.7A priority Critical patent/CN116824273B/zh
Publication of CN116824273A publication Critical patent/CN116824273A/zh
Application granted granted Critical
Publication of CN116824273B publication Critical patent/CN116824273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种航空制造件任意视角二维投影图像面片属性判断方法，属于航空制造领域，包括：使用三维建模软件载入零件图像置显示参数，获取零件二维投影图像，采用随机数种子点对投影图像每一像素4连通区域进行填充，由设计的结构体容器对图像中具有同灰度类别进行归类储存，读取容器数值并生成图像，基于最小区域属性判断方法得到独立面片图像，设计深度学习网络并设置超参数，学习训练基于训练权重初始化模型，基于检测数据得到索引表，并结合原图得到识别结果。本发明可实现零件面片的自动化提取并对面片的属性进行准确分类，基于分类结果可为自动化生成刀轨程序提供可靠的面特征数据，为自动化程编提供了保障。

Description

一种航空制造件任意视角二维投影图像面片属性判断方法
技术领域
本发明涉及航空制造领域，具体涉及一种航空制造件任意视角二维投影图像面片属性判断方法。
背景技术
一航空件从毛坯到成品整个制造过程，需基于高精度的数控加工机床完成，其中加工刀轨数据信息是实现准确加工的基础。因此，如何获取待加工航空件需要的刀轨数据则成为了整个工作的重点及核心。现今在行业内刀轨数据的生成方式，主要包含了2大类技术手段：即手动方式与自动方式。手动方式主要实现流程：手动选择驱动面与引导面再基于三维建模软件并设置对应加工参数即可得到刀轨数据。自动方式主要实现流程：通过设计的准则或是算法自动对特征组进行识别，一组特征由驱动面加引导面组成，基于每一组特征并结合三维建模软件并设置对应加工参数即可得到刀轨数据。
航空领域常见的框、梁结构主要的特征面包含腹板、侧壁、圆角、底角、筋顶，其中在行业领域腹板通常被视为驱动面，而圆角与侧壁被视为引导面。数控加工主要采用减材的方式实现制造，因此对于框、梁结构基于的加工特征组为槽腔结构，要在毛坯上铣削出规定槽腔驱动面与引导面几何属性是重要参数依据。因此，如何准确获取驱动面与引导面工作显得尤为重要。对于熟练的数控加工程序设计工艺师来说，手动选择加工特征的主要优势有，可根据加工面的特征选择适宜的刀轨生成策略。然而手工选择加工面的缺陷也较为明显，即对于多特征元素零件需要手动的点选所有特征面效率较低，不能满足自动化、高效率以及低成本的需要。为实现自动化程编的需要，现有的成果主要基于设计的零件所有面之间的拓扑关系生成刀轨数据。现有的自动化程编方法以三维建模软件程编工具平台为例主要步骤包含：导入待加工零件三维图、获取所有面空间拓扑信息、自动获取法矢方向确定在三维空间中驱动面与引导面、基于确定的面为起始逐步生成刀轨信息直至基于设定的规则得到所有面的加工刀轨信息。
分析现有的刀轨数据生成方式可知，不论是手动的程编还是自动化的基于面拓扑关系的程编，面片的准确选择是工作的核心。但如何准确的判断面片属性则是重要的基础，尤其对于自动化刀轨数据程编对准确的面片属性具有较大依赖，因此，为实现自动化程编高效的需要，同时减少在零件程编中人为介入的需要，准确的面片属性特征判断识别是实现自动化程编的关键，也是行业亟待解决的问题。
发明内容
本发明旨在解决现有技术中存在的上述问题，提出一种航空制造件任意视角二维投影图像面片属性判断方法，实现截取的航空制造件三维视图在屏幕任意方向上的投影图像皆可对其中任意面片的特征属性进行判断，基于识别结果可为零件自动化程编提供有用的面片特征数据，利于三维软件自动生成刀轨程序。
为了实现上述发明目的，本发明的技术方案如下：
一种航空制造件任意视角二维投影图像面片属性判断方法，包括如下步骤：
S1、使用三维建模软件载入零件设计图像，并设置零件显示参数；
S2、在软件中截取零件不同角度视图的二维投影图像并保存；
S3、为投影图像4连通区域的像素点添加语义信息，并对图像边缘区域进行还原处理；
S4、基于设计的结构体容器存储像素点及其相应坐标，并对投影图像中具有同灰度的像素点坐标进行归类储存；
S5、提取同灰度的像素点坐标信息在同原始图像等尺寸的新建图像中绘制出对应的轮廓区域；
S6、对原始输入图像进行灰度化和二值化处理；针对二值化处理后图像，在全局图像中获取独立面片区域的外轮廓数值和封闭区域轮廓线数据；
S7、基于最小矩形区域属性判断方法得到独立面片区域包围的矩形图像，并提取其中的独立面片图像制作深度学习分类样本；
S8、基于设计的深度学习网络学习训练，基于训练权重初始化模型用于独立面片的识别；
S9、建立每一独立面片识别结果的索引表，并结合原图得到识别后的图像。
进一步的，所述的为投影图像4连通区域的像素点添加语义信息包括：使用OpenCV中的Rect定义具有4邻域邻接关系的变量point，RNG rng(time(0))与srand((int)time(0))，得到由时间变化度量的随机数，基于语义信息度量式子对满足对应关系的像素点进行处理使其具有语义信息，所述的度量式子为：
；(1)
；(2)
； (3)
其中，cols与rows分别表示截取的图像列数与行数；h R (x,y)、h G (x,y)、h B (x,y)分别表示截取图像中在(x，y)点处对应像素点R、G、B通道的灰度值；rand()表示基于时间生成的随机数，即对应3个随机数种子number1、number2、number3；S xy 表示在图像中具有相同灰度值的同一片区域，h(x,y)表示截取的图像中（x, y）点所对应的数值。
进一步的，所述的基于最小矩形区域属性判断方法得到独立面片区域包围的矩形图像中，最小矩形区域计算式子为：
x1′ = (x1-x0 ) * cosα-(y1-y0 ) * sinα+x0 ； (7)
y1′ = (y1-x0 ) * sinα-(y1-y0 ) * cosα+y0 ； (8)
Sn=(max{fx(A,B,C,D)}-min{fx(A,B,C,D)})*(max{fy(A,B,C,D)}-min{fy(A,B, C,D)}) ； (9)
其中，x0、y0分别表示原始图像中几何中心点对应的x值与y值；x1、y1分别表示原图像中对应像素点坐标的x值与y值；x1′、y1′分别表示旋转变换后图像中对应像素点坐标的x值与y值；α表示图像的倾斜角度；fx与fy别表示图像在X轴与Y轴方向上面片特征投影点距离的差值；Sn表示得到的独立面片包围的最小矩形区域；A表示图像中独立面片区域对应的左上角角点，B表示图像中独立面片区域对应的左下角角点，C表示图像中独立面片区域对应的右下角角点，D表示图像中独立面片区域对应的右上角角点。
进一步的，深度学习所需的独立面片图像按照如下步骤提取：
计算从矩形区域任意一点出发到与之相邻点对应的距离值l a 与l b ；
比较l a 与l b 大小使得l a 为长边，使得l b 为短边，判断l a 与l b 大小计算对应面片所在矩形区域的长宽比值ratio，并计算对应矩形区域在图像中的面积size all ；
由面积大小与矩形区域的长宽比关系将分割的part图像区域进行刷选，当得到的独立面片大小满足设定的面积筛选阈值，同时对应的长宽比满足筛选范围即得到满足要求的面片，对满足要求的面片进行保存。
进一步的，提取的独立面片图像制作深度学习分类样本，类别包含腹板、侧壁、筋顶、圆角、其他，并使用旋转、缩放、对称处理的方式进行增强以获取相同面片且存在特征差异的训练样本图像。
进一步的，所述的建立每一独立面片识别结果的索引表index tabel，每一行保存有每一个面片的识别结果与属性特征，第一列为包含语义信息的result_hR_hG_hB，第二列为面片的大小信息，第三列为面片的长宽比信息，第四列为与原图对应的位置信息，第五列为对应的识别结果。
进一步的，结合索引表与原始截取图像信息，循环的读取索引表中每一行的数据，并基于数据与原图对应区域对不同属性的面片上色，即得到识别后结果图像。
进一步的，设计的结构体容器中，结构体的变量包括整形数组，用于评价对应像素点所属类别，数组下标与对应数值标识关系，用如下式子进行表示：
； (4)
； (5)
； (6)
其中，array location 表示基于灰度值生成的数组坐标位置；array[array location ]表示对满足关系的数组对应位置，array initializzting 表示对array数组进行初始化处理；array[0-199999]表示初始化值为0的用于存储像素点坐标的数组；flag based表示对应的给数组赋值的标记，flag based值∈[0,1]；array[arraylocation]表示下标为arraylocation位置数组array对应的值为1。
综上所述，本发明具有以下优点：
本发明可实现零件面片的自动化提取并对面片的属性进行准确分类，基于分类结果可为自动化生成刀轨程序提供可靠的面片特征数据，为自动化程编提供了保障。同时为零件二维图像面片属性的准确识别提供了方法参考，对促进智能化特征程编提升刀轨生成效率与准确率具有重要指导意义。
附图说明
图1 为本发明一种航空制造件任意视角二维投影图像面片属性判断方法主要步骤；
图2是基于自动化截屏工具获取的原始图像；
图3是具有相同灰度的同一面片不同倾角区域提取效果；
图4是最小矩形区域属性判断计算式子各个点对应关系；
图5 是不同属性面片的识别结果示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。
本发明提供了一种航空制造件任意视角二维投影图像面片属性判断方法，如图1所示，包括以下步骤：
步骤一、对于设计好的航空制造件设计文件，使用三模建模软件打开并在图像中设置对应的显示参数，以得到利于分析的图像。
下面列举一种显示参数设置方式，该设置方式不唯一：在三维建模软件中选择“零件几何体”，然后选择“属性”与“图像”，“填充”栏中的颜色设置为121、39、215，“边线”栏中的颜色为黑色对应的“线型”为1、“线宽”为3:0.7mm，“直线和曲线”栏中设置“颜色”为黑色、对应“线型”为1、“线宽”为2:0.35mm，隐藏三维图像中的所有点。在“菜单栏”中选中“视图”、“照明”，在打开的“光源”窗口中选择“无光”，对应的“散射”、“反射”、“漫射”参数数值均为1.00。
步骤二、基于三维建模软件的二次开发功能，开发自动获取零件不同角度视图截屏工具，获取不同视角的投影图像并保存，本实施例中，对应的图片格式为无损压缩的.png格式。
开发的零件自动截屏工具界面中，“存储路径”选择C:\part\，“基础信息”中的“第一范围”、“第二范围”、“缩放倍率”、“变换角度”分别为360、360、1、10，点击“开始批量截屏”即可得到不同视角下零件在屏幕方向的投影图像。基于自动化截屏工具获取的原始图像如图2所示。
步骤三、为投影图像4连通区域的像素点添加语义信息。
本实施例中，语义信息的解释为不同像素点具有的灰度值差异，基于这种差异可对不同的像素点进行分类。实现方式为：基于Visual Studio 2019 开发平台、C++编程语言、OpenCV 图像处理库，使用OpenCV中的Rect定义具有4邻域邻接关系的变量point，RNGrng(time(0))与srand((int)time(0))得到由时间变化度量的随机数，基于语义信息度量式子对满足对应关系的像素点进行处理使其具有语义信息，度量式子为：
；(1)
；(2)
； (3)
其中，cols与rows分别表示截取的图像列数与行数；h R (x,y)、h G (x,y)、h B (x,y)分别表示截取图像中在(x，y)点处对应像素点R、G、B通道的灰度值；rand()表示基于时间生成的随机数，即对应3个随机数种子number1、number2、number3；S xy 表示在图像中具有相同灰度值的同一片区域。
由于零件位于截取图像的中心位置，因此需要对整个图像边缘的区域进行还原处理。图像边缘区域对应的灰度应为白色，即R、G、B数值均为255。
步骤四、定义C++容器vector对应的储存类型为结构体struct，结构体的变量包含整形数组用于评价对应像素点所属类别，数组的大小可以设为200000，数组中所有元素数值初始化为0。数组下标与对应数值标识关系，可用如下式子进行表示：
； (4)
； (5)
； (6)
其中，array location 表示基于灰度值生成的数组坐标位置；array[array location ]表示满足关系的数组对应位置，array initializzting 表示对array数组进行初始化处理；array[0-199999]表示初始化值为0的用于存储像素点坐标的数组；flag based表示对应的给数组赋值的标记，flag based值∈[0,1]；array[arraylocation]表示下标为arraylocation位置数组array对应的值为1。
步骤五、在步骤四中的结构体中再定义一个容器vector用于储存满足相同灰度像素点的坐标Point(i, j)，即容器的储存类型也为结构体，在结构体中包含了两个整形变量row与col，分别储存满足关系像素点的行坐标值与列坐标值。
值得说明的是，在上述处理流程中，读取的图片格式为.png，不能对图片的尺寸缩放否则会影响分类的效果及准确率。基于以上步骤可得到将全图像中所有像素点进行分类后包含结果的容器，容器的每一行元素表示具有相同灰度值的区域。
步骤六、从容器中提取具有相同灰度的所有像素点坐标，基于坐标信息在同原始图像等尺寸的新建图像中绘制出这些满足相同灰度关系的区域，填充的R、G、B灰度值为0、0、0，对应区域的颜色同原始区域颜色一致。
本实施例中，基于OpenCV新建同原始图尺寸图像的方式为Mat new (org.rows,org.cols, CV_8UC3, Scalar(0, 0, 0))，其中Mat为图像数据的储存格式；org表示原始图像；CV_8UC3表示图像为8位3通道；Scalar表示填充的颜色信息。使用size()函数计算容器的大小，即表示就有相同灰度值区域的数量，对应flag由数组的元素的值确定。
步骤七、根据具有相同灰度区域所对应的灰度值对其进行灰度化和二值化处理。本实施例中，首先将原始输入图像进行灰度化处理，各个通道所占的权重相同，均为0.33，然后采用0固定阈值实现二值化，对于>0的区域其灰度值转换为255，等于0的灰度值区域灰度值保持不变。具有相同灰度的同一面片不同倾角区域提取效果如图3所示。
步骤八、二值化处理后，图像使用OpenCV的findContours函数在全局图像中获取独立面片区域的外轮廓数值，在findContours函数中使用RETR_EXTERNAL与CHAIN_APPROX_SIMPLE参数实现，并将结果保存在以vector<Point>为数据类型的容器中。其中，嵌套容器的数据类型为Point对应为OpenCV关于点保存方式的变量类型。
步骤九、采用循环遍历的方式读取容器中保存的封闭区域轮廓线数据，容器的遍历下标从0开始，直到将整个容器遍历完成为止，容器大小的判断函数为size()。
步骤十、使用vector<Rect>boundRect(contours8.size())保存遍历后保存的容器数值，由最小矩形区域属性判断方法得到独立面片区域包围的矩形图像如图4所示，图中，A′与A″分别表示图像中不同独立面片区域对应的左上角角点，B′与B″分别表示图像中不同独立面片区域对应的左下角角点，C′与C″分别表示图像中不同独立面片区域对应的右下角角点，D′与D″分别表示图像中不同独立面片区域对应的右上角角点，结合图4计算式子为：
x1′ = (x1-x0 ) * cosα-(y1-y0 ) * sinα+x0； (7)
y1′ = (y1-x0 ) * sinα-(y1-y0 ) * cosα+y0； (8)
Sn=(max{fx(A,B,C,D)}-min{fx(A,B,C,D)})*(max{fy(A,B,C,D)}-min{fy(A,B, C,D)})； (9)
其中，x0、y0分别表示原始图像中几何中心点对应的x值与y值；x1、y1分别表示原图像中对应像素点坐标的x值与y值；x1′、y1′分别表示旋转变换后图像中对应像素点坐标的x值与y值；α表示图像的倾斜角度；fx与fy别表示图像在X轴与Y轴方向上面片特征投影点距离的差值。
最小矩形区域获取方式的进一步解释为：在二维狄克尔坐标系中，以独立面片外轮廓在所的几何中心为旋转中心旋转一个角度α，所有轮廓坐标点经映射函数f(*)在X与Y轴上可以得到无数个投影点，但每个坐标轴上有且仅有两个极值点（x min 、x max 、y min 、y max ），这2组点可以得到面积为Sn的矩形。单次增加1°的方式改变旋转角度，因为在360°内有4个相互垂直的方向上可得到相同面积的矩形，在[0°, 90°]范围内可找到最小面积值对应的角度及其面积。实现方式为：基于OpenCV设计boundingRect函数得到面片的外接矩形。
步骤十一、计算从矩形区域任意一点出发到与之相邻点对应的距离值l a 与l b
比较l a 与l b 大小使得l a 为长边，使得l b 为短边，判断l a 与l b 大小并计算对应面片所在矩形区域的长宽比值ratio，计算对应矩形区域在图像中的面积size all ，面积为像素点的计算单位为pixel。由于存在相除的关系短边宽度可能存在一个像素点的宽度情况，由计算式子可得对应的宽度，为了避免程序异常代码实现时应对l b 进行加1处理。
步骤十二、从原始图像中分割出每一独立面片所在的区域，实现方式为part =org(r1)，r1为图像中对应的独立面片区域。基于面积大小与矩形区域的长宽比将分割的part图像区域进行刷选，去掉面积小于99与长宽比大于50的区域，处理好后使用imwrite函数对满足要求的面片进行保存，保存时命名格式为result_hR_hG_hB，对应的图片格式为.png。
步骤十三、基于提取的独立面片图像制作深度学习分类样本，分类的类别包含了腹板、侧壁、筋顶、圆角、其他，并使用旋转（0至360度以增加1度方式变换图像）、缩放（0.1至2.0倍变换图像）、对称处理（包含了水平与竖直方向的对称操作）方式进行增强以获取相同面片存在特征差异的训练样本图像。获得的不同视角下相同属性特征的样本图像。
由于在对未知的面片进行预测时其对应的灰度值未知的因此需要训练、测试、预测的样本图像处理向相同的灰度，即对应的RGB灰度值分别为125、61、198，统一灰度后不同视角下的样本图像。
对得到的19521张腹板图像、17157张侧壁图像、18364张筋顶图像、19661张圆角图像、19798张其他类图像作为样本，按照9:1的方式随机分成训练与测试样本。值得说明的是为了减小样本不平衡导致的误差，各个类别的数量的比例关系应趋近于1:1:1:1:1。
设计分类网络使用残差网络resnet34提取特征，多分类使用交叉熵损失函数CrossEntropyLoss对每一批次的结果进行评价，网络参数使用Adam优化器进行优化，初始的网络学习率1.0+e-4，分类器为softmax即输出数值最大的那一类，分类网络迭代的周期epoch为68次，使用的batch_size为13，对应类别数num_classes为5，网络参数使用随机的初始化方式。
训练网络使用torch.save对不同训练周期对应的网络权重参数进行保存，对应的保存格式为.pth，并记录每一个周期得到的损失、准确率数值保存为.log日志文件。
步骤十四、训练完成后查看日志文件中最小loss对应epoch保存的权重文件，基于此权重文件对resnet34模型进行初始化，加载训练好的模型model = resnet34(num_classes=5) model_weight_path = "./resNet34.pth" model.load_state_dict(torch.load(model_weight_path))，并设置为评估模式 model.eval() 即可对未知属性特征的面片进行分类识别。
步骤十五、对每一独立面片识别的结果建立索引表index tabel，每一行保存有每一个面片的识别结果与属性特征，第一列为包含语义信息的result_hR_hG_hB，第二列为面片的大小信息，第三列为面片的长宽比信息，第四列为与原图对应的位置信息，第五列为对应的识别结果。
步骤十六、结合索引表与原始截取图像信息，循环的读取索引表中每一行的数据，并基于数据与原图对应区域对不同属性的面片采用不同颜色上色，得到最终的识别结果。图5展示的是腹板、侧壁、圆角、筋顶等不同面片属性的识别结果。
本发明可实现零件面片的自动化提取并对面片的属性进行准确分类，基于分类结果可为自动化生成刀轨程序提供可靠的面片特征数据，为自动化程编提供了保障。同时为零件二维图像面片属性的准确识别提供了方法参考，对促进智能化特征程编提升刀轨生成效率与准确率具有重要指导意义。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种航空制造件任意视角二维投影图像面片属性判断方法，其特征在于，包括如下步骤：
S1、使用三维建模软件载入零件设计图像，并设置零件显示参数；
S2、在软件中截取零件不同角度视图的二维投影图像并保存；
S3、为投影图像4连通区域的像素点添加语义信息，并对图像边缘区域进行还原处理；
S4、基于设计的结构体容器存储像素点及其相应坐标，并对投影图像中具有同灰度的像素点坐标进行归类储存；
S5、提取同灰度的像素点坐标信息在同原始图像等尺寸的新建图像中绘制出对应的轮廓区域；
S6、对原始输入图像进行灰度化和二值化处理；针对二值化处理后图像，在全局图像中获取独立面片区域的外轮廓数值和封闭区域轮廓线数据；
S7、基于最小矩形区域属性判断方法得到独立面片区域包围的矩形图像，并提取其中的独立面片图像制作深度学习分类样本；
S8、基于设计的深度学习网络学习训练，基于训练权重初始化模型用于独立面片的识别；
S9、建立每一独立面片识别结果的索引表，并结合原图得到识别后的图像；
所述的为投影图像4连通区域的像素点添加语义信息包括：使用OpenCV中的Rect定义具有4邻域邻接关系的变量point，RNG rng(time(0))与srand((int)time(0))，得到由时间变化度量的随机数，基于语义信息度量式子对满足对应关系的像素点进行处理使其具有语义信息，所述的度量式子为：
；(1)
；(2)
；(3)
其中，cols与rows分别表示截取的图像列数与行数；h R (x,y)、h G (x,y)、h B (x,y)分别表示截取图像中在(x，y)点处对应像素点R、G、B通道的灰度值；rand()表示基于时间生成的随机数，即对应3个随机数种子number1、number2、number3；S xy 表示在图像中具有相同灰度值的同一片区域，h(x,y)表示截取的图像中（x, y）点所对应的数值。
2.根据权利要求1所述的一种航空制造件任意视角二维投影图像面片属性判断方法，其特征在于，所述的基于最小矩形区域属性判断方法得到独立面片区域包围的矩形图像中，最小矩形区域计算式子为：
x1′= ( x1-x0 ) * cosα-( y1-y0 ) * sinα+ x0 ； (7)
y1′ = ( y1-x0 ) * sinα-( y1-y0 ) * cosα+ y0 ； (8)
Sn=(max{fx(A,B,C,D)}-min{fx(A,B,C,D)})*(max{fy(A,B,C,D)}-min{fy(A,B,C, D)}) ； (9)
其中，x0、y0分别表示原始图像中几何中心点对应的x值与y值；x1、y1分别表示原图像中对应像素点坐标的x值与y值；x1′、y1′分别表示旋转变换后图像中对应像素点坐标的x值与y值；α表示图像的倾斜角度；fx与fy别表示图像在X轴与Y轴方向上面片特征投影点距离的差值；Sn表示得到的独立面片包围的最小矩形区域；A表示图像中独立面片区域对应的左上角角点，B表示图像中独立面片区域对应的左下角角点，C表示图像中独立面片区域对应的右下角角点，D表示图像中独立面片区域对应的右上角角点。
3.根据权利要求1所述的一种航空制造件任意视角二维投影图像面片属性判断方法，其特征在于，深度学习所需的独立面片图像按照如下步骤提取：
计算从矩形区域任意一点出发到与之相邻点对应的距离值l a 与l b ；
比较l a 与l b 大小使得l a 为长边，使得l b 为短边，判断l a 与l b 大小计算对应面片所在矩形区域的长宽比值ratio，并计算对应矩形区域在图像中的面积size all ；
由面积大小与矩形区域的长宽比关系将分割的part图像区域进行刷选，当得到的独立面片大小满足设定的面积筛选阈值，同时对应的长宽比满足筛选范围即得到满足要求的面片，对满足要求的面片进行保存。
4.根据权利要求1或3所述的一种航空制造件任意视角二维投影图像面片属性判断方法，其特征在于，提取的独立面片图像制作深度学习分类样本，类别包含腹板、侧壁、筋顶、圆角、其他，并使用旋转、缩放、对称处理的方式进行增强以获取相同面片且存在特征差异的训练样本图像。
5.根据权利要求1所述的一种航空制造件任意视角二维投影图像面片属性判断方法，其特征在于，所述的建立每一独立面片识别结果的索引表index tabel，每一行保存有每一个面片的识别结果与属性特征，第一列为包含语义信息的result_hR_hG_hB，第二列为面片的大小信息，第三列为面片的长宽比信息，第四列为与原图对应的位置信息，第五列为对应的识别结果。
6.根据权利要求5所述的一种航空制造件任意视角二维投影图像面片属性判断方法，其特征在于，结合索引表与原始截取图像信息，循环的读取索引表中每一行的数据，并基于数据与原图对应区域对不同属性的面片上色，即得到识别后结果图像。
7.根据权利要求1所述的一种航空制造件任意视角二维投影图像面片属性判断方法，其特征在于，设计的结构体容器中，结构体的变量包括整形数组，用于评价对应像素点所属类别，数组下标与对应数值标识关系，用如下式子进行表示：
；(4)
； (5)
；(6)
其中，array location 表示基于灰度值生成的数组坐标位置；h R (x,y)、h G (x,y)、h B (x,y)分别表示截取图像中在(x，y)点处对应像素点R、G、B通道的灰度值；array[array location ]表示对满足关系的数组对应位置；array initializzting 表示对array数组进行初始化处理；array[0-199999]表示初始化值为0的用于存储像素点坐标的数组；flag based表示对应的给数组赋值的标记，flag based值∈[0,1]；array[arraylocation]表示下标为arraylocation位置数组array对应的值为1。
CN202311083323.7A 2023-08-28 2023-08-28 一种航空制造件任意视角二维投影图像面片属性判断方法 Active CN116824273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311083323.7A CN116824273B (zh) 2023-08-28 2023-08-28 一种航空制造件任意视角二维投影图像面片属性判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311083323.7A CN116824273B (zh) 2023-08-28 2023-08-28 一种航空制造件任意视角二维投影图像面片属性判断方法

Publications (2)

Publication Number Publication Date
CN116824273A CN116824273A (zh) 2023-09-29
CN116824273B true CN116824273B (zh) 2024-01-12

Family

ID=88116885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311083323.7A Active CN116824273B (zh) 2023-08-28 2023-08-28 一种航空制造件任意视角二维投影图像面片属性判断方法

Country Status (1)

Country Link
CN (1) CN116824273B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710511B (zh) * 2024-02-05 2024-04-30 浙江托普云农科技股份有限公司 基于光电检测法的叶面积测量仪的叶片成像方法及其应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061010A1 (en) * 2016-09-28 2018-04-05 Pixtier Maps Ltd. Point cloud transforming in large-scale urban modelling
CN109808171A (zh) * 2019-01-28 2019-05-28 杭州电子科技大学 一种面向熔融沉积制造的3d连续路径生成方法
CN111161214A (zh) * 2019-12-09 2020-05-15 江苏大学 一种基于双目视觉的猪只体重测量及饮水行为识别系统及方法
CN112861994A (zh) * 2021-03-12 2021-05-28 中国科学院自动化研究所 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统
CN114549956A (zh) * 2022-02-11 2022-05-27 上海市测绘院 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法
CN114882272A (zh) * 2022-04-22 2022-08-09 成都飞机工业（集团）有限责任公司 一种航空制造件全角度投影图像面片属性融合分析方法
CN115439840A (zh) * 2022-08-22 2022-12-06 成都飞机工业（集团）有限责任公司 一种航空件槽区识别方法、装置、设备及介质
CN115482522A (zh) * 2022-09-21 2022-12-16 成都飞机工业（集团）有限责任公司 飞机结构件转角特征识别方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061010A1 (en) * 2016-09-28 2018-04-05 Pixtier Maps Ltd. Point cloud transforming in large-scale urban modelling
CN109808171A (zh) * 2019-01-28 2019-05-28 杭州电子科技大学 一种面向熔融沉积制造的3d连续路径生成方法
CN111161214A (zh) * 2019-12-09 2020-05-15 江苏大学 一种基于双目视觉的猪只体重测量及饮水行为识别系统及方法
CN112861994A (zh) * 2021-03-12 2021-05-28 中国科学院自动化研究所 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统
CN114549956A (zh) * 2022-02-11 2022-05-27 上海市测绘院 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法
CN114882272A (zh) * 2022-04-22 2022-08-09 成都飞机工业（集团）有限责任公司 一种航空制造件全角度投影图像面片属性融合分析方法
CN115439840A (zh) * 2022-08-22 2022-12-06 成都飞机工业（集团）有限责任公司 一种航空件槽区识别方法、装置、设备及介质
CN115482522A (zh) * 2022-09-21 2022-12-16 成都飞机工业（集团）有限责任公司 飞机结构件转角特征识别方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIGH QUALITY FACADE SEGMENTATION BASED ON STRUCTURED RANDOM FOREST, REGION PROPOSAL NETWORK AND RECTANGULAR FITTING;K. Rahmani 等;《ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci》;223-230 *
面向民机钣金零件喷漆的三维重建系统的研究与开发;张文昊;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;C031-70 *
面向视觉检测的深度学习图像分类网络及在零部件质量检测中应用;刘桂雄等;《中国测试》;第45卷(第7期);1-10 *

Also Published As

Publication number Publication date
CN116824273A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN109446992A (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN116824273B (zh) 一种航空制造件任意视角二维投影图像面片属性判断方法
US20060029257A1 (en) Apparatus for determining a surface condition of an object
CN112613097A (zh) 一种基于计算机视觉的bim快速化建模方法
CN110473201A (zh) 一种刹车片表面缺陷的自动检测方法及装置
CN107590512A (zh) 一种模板匹配中参数的自适应方法和系统
CN115597494B (zh) 一种基于点云的预制构件预留孔的精度检测方法、系统
CN105701805A (zh) 一种基于计算机视觉的猪肉肌内脂肪含量无损检测方法
CN114882272A (zh) 一种航空制造件全角度投影图像面片属性融合分析方法
CN113627257A (zh) 检测方法、检测系统、设备和存储介质
CN110458812A (zh) 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法
CN115147363A (zh) 一种基于深度学习算法的影像缺陷检测和分类方法及系统
CN117854072B (zh) 一种工业视觉缺陷自动标注方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN115984662A (zh) 一种多模态数据预训练及识别方法、装置、设备及介质
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN112926694A (zh) 基于改进的神经网络对图像中的猪只进行自动识别的方法
CN110458231B (zh) 一种陶瓷产品检测方法、装置和设备
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
US7133560B2 (en) Generating processing sequences for image-based decision systems
CN116804865B (zh) 一种三轴自动化程编特征识别与刀轨生成方法
CN110728061A (zh) 基于朗伯体反射建模的陶瓷表面气孔检测方法
CN117726239B (zh) 工程质量验收实测实量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant