CN114419013B - 一种基于机器视觉的三维织造导向棒在线安插检测方法 - Google Patents
一种基于机器视觉的三维织造导向棒在线安插检测方法 Download PDFInfo
- Publication number
- CN114419013B CN114419013B CN202210083899.2A CN202210083899A CN114419013B CN 114419013 B CN114419013 B CN 114419013B CN 202210083899 A CN202210083899 A CN 202210083899A CN 114419013 B CN114419013 B CN 114419013B
- Authority
- CN
- China
- Prior art keywords
- guide
- feature extraction
- extraction frame
- image
- guide rod
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- D—TEXTILES; PAPER
- D03—WEAVING
- D03D—WOVEN FABRICS; METHODS OF WEAVING; LOOMS
- D03D41/00—Looms not otherwise provided for, e.g. for weaving chenille yarn; Details peculiar to these looms
- D03D41/004—Looms for three-dimensional fabrics
-
- D—TEXTILES; PAPER
- D03—WEAVING
- D03J—AUXILIARY WEAVING APPARATUS; WEAVERS' TOOLS; SHUTTLES
- D03J1/00—Auxiliary apparatus combined with or associated with looms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- D—TEXTILES; PAPER
- D03—WEAVING
- D03J—AUXILIARY WEAVING APPARATUS; WEAVERS' TOOLS; SHUTTLES
- D03J2700/00—Auxiliary apparatus associated with looms; Weavening combined with other operations; Shuttles
- D03J2700/06—Auxiliary devices for inspecting, counting or measuring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Textile Engineering (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的三维织造导向棒在线安插检测方法,具体包括以下步骤:收集导向模板上方图像,训练Faster RCNN模型,直至损失函数收敛,使用测试集验证Faster RCNN模型,当输出的导向棒圆形特征提取框与人工标记的导向棒比较,准确率高于95%时,完成对Faster RCNN模型的训练,将实时采集的导向模板上方图像输入训练好的Faster RCNN模型中,输出特征提取框及其几何中心位置,输出的特征提取框及其几何中心位置映射到与导向模板上阵列孔的行数和列数相同的导向孔状态检测矩阵中,定位出导向模板上未插入导向棒的导向孔。本发明基于机器视觉的三维织造导向棒在线安插检测方法具有智能、高效、精确的特点,能极大提高导向棒安插检测的效率与可靠性。
Description
技术领域
本发明涉及视觉检测辅助三维织造机导向棒安插领域,具体地涉及一种基于机器视觉的三维织造导向棒在线安插检测方法。
背景技术
三维织造复合材料因其轻质、高强度、高模量、抗疲劳、耐腐蚀、可设计和工艺性好等优异性能而广泛应用于汽车、航空航天、国防军工等诸多行业。随着相关行业的高速发展,对三维织造复合材料预制体织造成形方法要求越来越高。与传统的二维结构复合材料相比,三维织造复合材料是以三维整体织物作为增强体的复合材料,通过厚度方向在空间相互交织,形成整体结构,可设计性好,同时克服了二维复合材料抗冲击性能差、易分层等缺点,具有优异的力学性能,被广泛地应用于航空航天、军工等关键领域。
申请号为201110458790.4的专利申请公开了基于数字化导向模板的三维织造成形方法,是以导向套为支点进行导向套坎合槽错层缠绕的预制件层间增强织造方法。在导向模板上布置具有等间距坎合槽的导向套阵列,编织时绕着导向套坎合槽交错编织;而基于数字化导向模板的三维织造装备在每次织造前均需重新在导向模板上安插导向棒,由于导向模板上阵列孔径小、孔数多,其检测工作目前仍采用人工检测的方法,检测效率低且成本高,而且人工检测容易漏检,影响织造效果。因此,人工检测方法难以满足基于数字化导向模板的三维织造成形装备的需求。
发明内容
本发明针对现有技术中存在的问题,提供了一种基于机器视觉的三维织造导向棒在线安插检测方法。
为实现上述技术目的,本发明采用如下技术方案:一种基于机器视觉的三维织造导向棒在线安插检测方法,具体包括以下步骤:
(1)通过检测装置搭载线扫相机收集导向模板上方图像,组成图像集,对图像集中插入导向孔中的导向棒进行人工标记,并将图像集分成训练集和测试集;
(2)将Faster RCNN模型中的区域建议生成网络特征提取框设置为圆形,将人工标记的训练集输入Faster RCNN模型中进行训练,直至损失函数收敛,使用测试集验证FasterRCNN模型,当输出的导向棒圆形特征提取框与人工标记的导向棒比较,准确率高于95%时,完成对Faster RCNN模型的训练,否则重复步骤(2);
(3)通过图像采集装置在垂直方向上采集导向模板上方图像,通过图像拼接算法,得到包含所有导向孔的区域图像;
(4)将步骤(3)获得的包含所有导向孔的区域图像输入训练好的Faster RCNN模型中,输出特征提取框及其几何中心位置;
(5)将步骤(4)输出的特征提取框及其几何中心位置映射到与导向模板上阵列孔的行数和列数相同的导向孔状态检测矩阵中,定位出导向模板上未插入导向棒的导向孔。
进一步地,步骤(2)中设置为圆形的特征提取框的半径大于导向棒端面半径,且所述特征提取框的采集间距小于相邻两个导向孔的孔心距。
进一步地,所述孔心距是采集间距的整数倍。
进一步地,步骤(2)中训练过程具体为:将训练集中的一张图像输入Faster RCNN模型中,通过圆形的特征提取框获取特征提取框内包含圆的概率张量,将包含圆的概率大于阈值的特征提取框输出,并保存其圆心位置坐标,通过设置特征提取框的采集间距,完成对该图像上所有导向孔对应特征提取框的提取,再次输入训练集中的图像,重复执行上述过程,直至损失函数收敛。
进一步地,所述损失函数L为:
其中,N表示提取到的特征提取框总数,Lcls表示focal损失函数,Lreg表示交叉熵损失函数,(x,y)表示训练图像中圆几何中心位置坐标,α为超参数,取值为1。
进一步地,步骤(5)具体为:将步骤(4)输出的特征提取框及其几何中心位置映射到与导向模板上阵列孔的行数和列数相同的导向孔状态检测矩阵中,遍历输出的几何中心位置,确定特征提取框在导向孔状态检测矩阵中的区域,导向孔状态检测矩阵中未覆盖区域即为未安插导向棒的区域。
与现有技术相比,本发明的有益效果是:本发明基于机器视觉的三维织造导向棒在线安插检测方法,根据导向棒的实际几何特征设置Faster RCNN模型的特征提取框为圆形,通过设计其半径和采集间距以减少特征提取区域数目从而缩短深度学习算法处理时间,进而大大提高导向棒安插检测速度;本发明将特征提取框及其几何中心位置映射到与导向模板上阵列孔的行数和列数相同的导向孔状态检测矩阵中定位出导向模板上的空孔,实现了对未安插导向棒位置的智能定位。本发明基于机器视觉的三维织造导向棒在线安插检测方法具有智能、高效、精确的特点,能极大提高导向棒安插检测的效率与可靠性。
附图说明
图1为本发明基于机器视觉的三维织造导向棒在线安插检测方法的流程图;
图2为本发明中所采用的图像采集装置的结构示意图;
图3为本发明中导向模板的结构结构图;
图4为本发明基于机器视觉的三维织造导向棒在线安插检测方法进行特征提取的示意图;
图5为本发明经过子区域划分等处理后的结果图。
具体实施方式
下面结合附图对本发明的技术方案作进一步地说明。
针对传统导向棒安插检测大量依赖人工而产生的效率低、成本高等问题,本发明提供了一种基于机器视觉的三维织造导向棒在线安插检测方法,如图1,具体包括以下步骤:
(1)通过检测装置搭载线扫相机收集导向模板上方图像,组成图像集,对图像集中插入导向孔中的导向棒进行人工标记,并将图像集分成训练集和测试集;
(2)将Faster RCNN模型中的区域建议生成网络特征提取框设置为圆形,将人工标记的训练集输入Faster RCNN模型中进行训练,直至损失函数收敛,使用测试集验证FasterRCNN模型,当输出的导向棒圆形特征提取框与人工标记的导向棒比较,准确率高于95%时,完成对Faster RCNN模型的训练,否则重复步骤(2)。
如图3为本发明中导向模板的结构示意图,将圆形的特征提取框的半径R设置为大于导向棒端面半径r,且特征提取框的采集间距B小于相邻两个导向孔的孔心距b,并满足孔心距b是采集间距B的整数倍,使得特征提取框能够包含图像中导向棒端面的同时其几何中心位置与检测到的导向棒中心位置基本重合,因此,检测到圆截面的特征提取框的位置坐标就可以视为对应导向棒的中心位置坐标。
本发明中通过训练集训练Faster RCNN模型的过程具体为:将训练集中的一张图像输入Faster RCNN模型中,通过圆形的特征提取框获取特征提取框内包含圆的概率张量,将包含圆概率大于阈值的特征提取框输出,并保存其圆心位置坐标,本发明中的阈值通过已有经验或试验确定。通过设置特征提取框的采集间距,完成对该图像上所有导向孔对应特征提取框的提取,再次输入训练集中的图像,重复执行上述过程,直至损失函数收敛。
本发明中的损失函数由focal损失函数Lcls和交叉熵损失函数Lreg组成,Lcls表示分类损失,Lreg表示回归损失,因此,本发明中的损失函数能够较好地反映评价模型的预测结果和训练数据集的偏差程度。本发明中涉及的损失函数L为:
其中,N表示提取到的特征提取框总数,Lcls表示focal损失函数,Lreg表示交叉熵损失函数,(x,y)表示训练图像中圆几何中心位置坐标,α为超参数,用于平衡两者损失,取值为1。
(3)通过图像采集装置在垂直方向上采集导向模板上方图像,通过图像拼接算法,得到包含所有导向孔的区域图像;如图2,本发明中所采用的图像采集装置由直线模组10、视觉传感器20、支撑臂40组成,支撑臂40设置于导向模板50的两侧,直线模组10的两端与支撑臂40连接,视觉传感器20与直线模组10连接,视觉传感器20位于导向棒30的上方,拍摄导向模板上方图像,通过调节视觉传感器20景深使导向孔在视觉传感器20的镜头景深以外而导向棒上端面在镜头景深以内,保证视觉传感器20的镜头能采集到导向棒30上端面轮廓而模糊掉导向孔轮廓。
(4)将步骤(3)获得的包含所有导向孔的区域图像输入训练好的Faster RCNN模型中,输出特征提取框及其几何中心位置,如图4所示。
(5)将步骤(4)输出的特征提取框及其几何中心位置映射到与导向模板上阵列孔的行数和列数相同的导向孔状态检测矩阵中,定位出导向模板上未插入导向棒的导向孔;具体地,将步骤(4)输出的特征提取框及其几何中心位置映射到与导向模板上阵列孔的行数和列数相同的导向孔状态检测矩阵中,遍历输出的几何中心位置,确定特征提取框在导向孔状态检测矩阵中的区域,导向孔状态检测矩阵中未覆盖区域即为未安插导向棒的区域,其结果如图5所示,将该结果与人工检测的导向棒安插情况进行比较,准确率大于95%,能较好地满足导向棒安插检测的实际需求。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (6)
1.一种基于机器视觉的三维织造导向棒在线安插检测方法,其特征在于,具体包括以下步骤:
(1)通过图像采集装置收集导向模板上方图像,组成图像集,对图像集中插入导向孔中的导向棒进行人工标记,并将图像集分成训练集和测试集;
(2)将Faster RCNN模型中的区域建议生成网络特征提取框设置为圆形,将人工标记的训练集输入Faster RCNN模型中进行训练,直至损失函数收敛,使用测试集验证FasterRCNN模型,当输出的导向棒圆形特征提取框与人工标记的导向棒比较,准确率高于95%时,完成对Faster RCNN模型的训练,否则重复步骤(2);
(3)通过图像采集装置在垂直方向上采集导向模板上方图像,通过图像拼接算法,得到包含所有导向孔的区域图像;
(4)将步骤(3)获得的包含所有导向孔的区域图像输入训练好的Faster RCNN模型中,输出特征提取框及其几何中心位置;
(5)将步骤(4)输出的特征提取框及其几何中心位置映射到与导向模板上阵列孔的行数和列数相同的导向孔状态检测矩阵中,定位出导向模板上未插入导向棒的导向孔。
2.根据权利要求1所述基于机器视觉的三维织造导向棒在线安插检测方法,其特征在于,步骤(2)中设置为圆形的特征提取框的半径大于导向棒端面半径,且所述特征提取框的采集间距小于相邻两个导向孔的孔心距。
3.根据权利要求2所述基于机器视觉的三维织造导向棒在线安插检测方法,其特征在于,所述孔心距是采集间距的整数倍。
4.根据权利要求1所述基于机器视觉的三维织造导向棒在线安插检测方法,其特征在于,步骤(2)中训练过程具体为:将训练集中的一张图像输入Faster RCNN模型中,通过圆形的特征提取框获取特征提取框内包含圆的概率张量,将包含圆的概率大于阈值的特征提取框输出,并保存其圆心位置坐标,通过设置特征提取框的采集间距,完成对该图像上所有导向孔对应特征提取框的提取,再次输入训练集中的图像,重复执行上述过程,直至损失函数收敛。
6.根据权利要求1所述基于机器视觉的三维织造导向棒在线安插检测方法,其特征在于,步骤(5)具体为:将步骤(4)输出的特征提取框及其几何中心位置映射到与导向模板上阵列孔的行数和列数相同的导向孔状态检测矩阵中,遍历输出的几何中心位置,确定特征提取框在导向孔状态检测矩阵中的区域,导向孔状态检测矩阵中未覆盖区域即为未安插导向棒的区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210083899.2A CN114419013B (zh) | 2022-01-21 | 2022-01-21 | 一种基于机器视觉的三维织造导向棒在线安插检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210083899.2A CN114419013B (zh) | 2022-01-21 | 2022-01-21 | 一种基于机器视觉的三维织造导向棒在线安插检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114419013A CN114419013A (zh) | 2022-04-29 |
CN114419013B true CN114419013B (zh) | 2022-11-01 |
Family
ID=81278256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210083899.2A Active CN114419013B (zh) | 2022-01-21 | 2022-01-21 | 一种基于机器视觉的三维织造导向棒在线安插检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419013B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109518339A (zh) * | 2018-01-30 | 2019-03-26 | 北京机科国创轻量化科学研究院有限公司 | 一种复合材料三维预制体多针织造方法 |
CN111501195A (zh) * | 2020-04-09 | 2020-08-07 | 北京机科国创轻量化科学研究院有限公司 | 基于数字化导向模板的三维织造中空结构预制体及其成形方法 |
CN111531916A (zh) * | 2020-04-01 | 2020-08-14 | 北京机科国创轻量化科学研究院有限公司 | 一种复合材料大型复杂构件及其复合成形方法 |
CN111986145A (zh) * | 2020-07-09 | 2020-11-24 | 浙江工业大学 | 一种基于Faster-RCNN的轴承滚子瑕疵检测方法 |
CN113604940A (zh) * | 2021-08-08 | 2021-11-05 | 南京航空航天大学 | 一种回转异形体预制体纱线张力联合控制试验方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4777985B2 (ja) * | 2004-06-09 | 2011-09-21 | ノヴァートル・アクチボラゲット | 加工物に種々の寸法及び形態の孔を形成するための方法及びシステム |
CN102517791B (zh) * | 2011-12-31 | 2014-09-24 | 机械科学研究总院先进制造技术研究中心 | 复合材料多维织造成形机 |
EP3540514A1 (en) * | 2018-03-13 | 2019-09-18 | ASML Netherlands B.V. | Inspection tool, lithographic apparatus, and inspection method |
-
2022
- 2022-01-21 CN CN202210083899.2A patent/CN114419013B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109518339A (zh) * | 2018-01-30 | 2019-03-26 | 北京机科国创轻量化科学研究院有限公司 | 一种复合材料三维预制体多针织造方法 |
CN111531916A (zh) * | 2020-04-01 | 2020-08-14 | 北京机科国创轻量化科学研究院有限公司 | 一种复合材料大型复杂构件及其复合成形方法 |
CN111501195A (zh) * | 2020-04-09 | 2020-08-07 | 北京机科国创轻量化科学研究院有限公司 | 基于数字化导向模板的三维织造中空结构预制体及其成形方法 |
CN111986145A (zh) * | 2020-07-09 | 2020-11-24 | 浙江工业大学 | 一种基于Faster-RCNN的轴承滚子瑕疵检测方法 |
CN113604940A (zh) * | 2021-08-08 | 2021-11-05 | 南京航空航天大学 | 一种回转异形体预制体纱线张力联合控制试验方法 |
Non-Patent Citations (3)
Title |
---|
Peg-in-Hole Using 3D Workpiece Reconstruction and CNN-based Hole Detection;Michelangelo Nigro等;《2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20210210;4235-4240 * |
三维织造层间增强的纤维棒复合材料细观结构模型及力学性能有限元模拟;单忠德等;《复合材料学报》;20140408;138-149 * |
复合材料柔性导向三维织造防变形方法;李平礼等;《工程塑料应用》;20170410;64-68 * |
Also Published As
Publication number | Publication date |
---|---|
CN114419013A (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104483330B (zh) | 混凝土表面裂缝实时监测系统与开裂风险的动态评估方法 | |
CN111462076B (zh) | 一种全切片数字病理图像模糊区域检测方法及系统 | |
CN111402226A (zh) | 一种基于级联卷积神经网络的表面疵点检测方法 | |
CN111223093A (zh) | 一种aoi缺陷检测方法 | |
CN107564002A (zh) | 塑料管表面缺陷检测方法、系统及计算机可读存储介质 | |
CN104330023A (zh) | 混凝土表面初始开裂信息的采集系统与识别方法 | |
CN115993096A (zh) | 一种高层建筑变形测量方法 | |
CN113962929A (zh) | 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线 | |
CN115063620B (zh) | 一种基于比特分层罗茨风机轴承磨损检测方法 | |
CN115760837A (zh) | 一种基于深度神经网络的晶体质量评估方法及系统 | |
CN110728269B (zh) | 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法 | |
CN114419013B (zh) | 一种基于机器视觉的三维织造导向棒在线安插检测方法 | |
CN110458809B (zh) | 一种基于亚像素边缘检测的纱线条干均匀度检测方法 | |
Jia et al. | A modified centernet for crack detection of sanitary ceramics | |
CN101629812B (zh) | 一种焊接接头成形组织特征的测量方法 | |
CN116109633B (zh) | 一种轴承保持器的窗口检测方法及设备 | |
CN116993804B (zh) | 一种基于lsm算法的箍筋尺寸检测方法及系统 | |
CN109903267B (zh) | 一种基于图像处理技术测试网络丝网络度的方法 | |
CN115937217B (zh) | 一种利用3d卷积和相关性算子来自动检测腐蚀坑的方法 | |
CN112257849A (zh) | 基于深度学习的智能检测方法、系统、装置及其应用 | |
CN107993193A (zh) | 基于光照均衡化和改进surf算法的隧道衬砌图像拼接方法 | |
CN113283499B (zh) | 一种基于深度学习的三维编制物编制密度检测方法 | |
CN111709429A (zh) | 一种基于卷积神经网络的机织物结构参数识别方法 | |
Peng et al. | Application of deep residual neural network to water meter reading recognition | |
CN115147392A (zh) | 一种基于改进YOLOv4的煤矸石检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |