CN117237310B - 一种基于图像识别的钢结构件缺陷检测方法及系统 - Google Patents
一种基于图像识别的钢结构件缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN117237310B CN117237310B CN202311250084.XA CN202311250084A CN117237310B CN 117237310 B CN117237310 B CN 117237310B CN 202311250084 A CN202311250084 A CN 202311250084A CN 117237310 B CN117237310 B CN 117237310B
- Authority
- CN
- China
- Prior art keywords
- image
- structural member
- preset
- steel structural
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 225
- 239000010959 steel Substances 0.000 title claims abstract description 225
- 230000007547 defect Effects 0.000 title claims abstract description 206
- 238000001514 detection method Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000007689 inspection Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000003595 spectral effect Effects 0.000 claims description 24
- 238000001228 spectrum Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 6
- 208000024891 symptom Diseases 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 6
- 238000012372 quality testing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本公开提供了一种基于图像识别的钢结构件缺陷检测方法及系统，涉及缺陷检测技术领域，该方法包括：得到实时工件图像；将实时工件图像划分为N个图像块，进行局部二值转换，得到第一二值码；判断第一二值码是否与第一预定二值码相同，若是不同，将第一图像块添加至待检部件序列；匹配第一预定图像块；得到第一对比特征集；得到缺陷检测结果集，解决了现有技术中存在的大多需要对所有待检零件进行复杂的图像处理进行缺陷识别，导致数据运算量较大，检测效率不佳、检测结果准确度不高的技术问题，通过对钢结构件图像进行局部二值转换，筛选出待检部件序列，从而进行缺陷检测，达到提升检测效率和检测准确度的技术效果。
Description
技术领域
本公开涉及缺陷检测技术领域，具体涉及一种基于图像识别的钢结构件缺陷检测方法及系统。
背景技术
钢结构件是将多种零件通过焊接、铆接或和螺栓连接等多种方式连接成一体的整体结构，比如钢屋架、钢网架、钢托架、钢桁架、钢柱、钢梁等。钢结构件一般用于建筑物的搭建，因此，对于钢结构件的质量检测很有必要，钢结构件存在缺陷，可能会导致带俺而成的建筑物存在安全隐患。
现有技术中进行缺陷检测时，大多需要对所有待检零件进行复杂的图像处理进行缺陷识别，其存在数据运算量较大，且检测结果准确度不高的技术问题。
发明内容
本公开提供了一种基于图像识别的钢结构件缺陷检测方法及系统，用以解决现有技术中存在的由于大多需要对所有待检零件进行复杂的图像处理进行缺陷识别，导致数据运算量较大，检测效率不佳，且检测结果准确度不高的技术问题。
根据本公开的第一方面，提供了一种基于图像识别的钢结构件缺陷检测方法，包括：将所述CCD图像采集器布设至钢结构件的第一质检工位；通过所述CCD图像采集器实时采集得到钢结构件的实时工件图像，其中，所述实时工件图像是指所述钢结构件在所述第一质检工位上基于第一角度采集到的图像；将所述实时工件图像划分为N个图像块，并对所述N个图像块中的第一图像块进行局部二值转换，得到第一二值码，其中，所述第一图像块具备第一唯一标识码；判断所述第一二值码是否与第一预定二值码相同，若是不同，将所述第一图像块添加至待检部件序列，其中，所述第一预定二值码为预定图像的预定二值码中对应所述第一图像块的二值码；基于所述第一唯一标识码在所述预定图像的预定图像块中匹配第一预定图像块；通过数字孪生网络模型对所述待检部件序列中的所述第一图像块与所述第一预定图像块进行对比分析，得到第一对比特征集；根据分析所述第一对比特征集得到的第一缺陷检测结果得到所述钢结构件的缺陷检测结果集。
根据本公开的第二方面，提供了一种基于图像识别的钢结构件缺陷检测系统，包括：图像采集器布设模块，所述图像采集器布设模块用于将所述CCD图像采集器布设至钢结构件的第一质检工位；图像采集模块，所述图像采集模块用于通过所述CCD图像采集器实时采集得到钢结构件的实时工件图像，其中，所述实时工件图像是指所述钢结构件在所述第一质检工位上基于第一角度采集到的图像；局部二值转换模块，所述局部二值转换模块用于将所述实时工件图像划分为N个图像块，并对所述N个图像块中的第一图像块进行局部二值转换，得到第一二值码，其中，所述第一图像块具备第一唯一标识码；二值码比对模块，所述二值码比对模块用于判断所述第一二值码是否与第一预定二值码相同，若是不同，将所述第一图像块添加至待检部件序列，其中，所述第一预定二值码为预定图像的预定二值码中对应所述第一图像块的二值码；第一预定图像块匹配模块，所述第一预定图像块匹配模块用于基于所述第一唯一标识码在所述预定图像的预定图像块中匹配第一预定图像块；图像特征比对模块，所述图像特征比对模块用于通过数字孪生网络模型对所述待检部件序列中的所述第一图像块与所述第一预定图像块进行对比分析，得到第一对比特征集；缺陷检测结果集获取模块，所述缺陷检测结果集获取模块用于根据分析所述第一对比特征集得到的第一缺陷检测结果得到所述钢结构件的缺陷检测结果集。
根据本公开采用的一个或多个技术方案，可达到的有益效果如下：
1.通过CCD图像采集器实时采集得到钢结构件的实时工件图像，将实时工件图像划分为N个图像块，并对N个图像块中的第一图像块进行局部二值转换，得到第一二值码，其中，第一图像块具备第一唯一标识码，判断第一二值码是否与第一预定二值码相同，若是不同，将第一图像块添加至待检部件序列，基于第一唯一标识码在预定图像的预定图像块中匹配第一预定图像块，通过数字孪生网络模型对待检部件序列中的第一图像块与第一预定图像块进行对比分析，得到第一对比特征集，根据分析第一对比特征集得到的第一缺陷检测结果得到钢结构件的缺陷检测结果集，达到提升钢结构件的缺陷检测效率，同时提升缺陷检测准确度的技术效果。
2.获取预设钢结构件，获取预定图像时序，对预定图像时序中的第一预定图像和第二预定图像进行增强融合，得到预定图像，根据划分实时工件图像的方法对预定图像进行划分，得到预定图像块，其中，预定图像块中各图像块均具备唯一标识码，依次进行局部二值转换得到预定图像块的预定二值码。进而判断第一二值码是否与第一预定二值码相同，若是不同，将第一图像块添加至待检部件序列。通过对第一图像块进行初步比对分析，筛选出待检部件序列，可以有效降低后续质检的数据量，达到提升质检效率的技术效果。
3.将激光干涉成像仪布设至钢结构件的第二质检工位，通过激光干涉成像仪对钢结构件进行干涉成像分析，得到钢结构件干涉信息，将钢结构件空间信息与预设钢结构件的预设钢结构件空间信息对比得到第一对比数据，将钢结构件光谱信息与预设钢结构件的预设钢结构件光谱信息对比得到第二对比数据，通过缺陷识别模型对第一对比数据和第二对比数据进行分析，得到第二缺陷检测结果，基于第二缺陷检测结果对缺陷检测结果集进行校验。由此通过对缺陷检测结果集的校验，达到提升钢结构件的缺陷检测结果的可靠性技术效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种基于图像识别的钢结构件缺陷检测方法的流程示意图；
图2为本发明一种基于图像识别的钢结构件缺陷检测方法中硬件连接示意图；
图3为本发明实施例提供的一种基于图像识别的钢结构件缺陷检测系统的结构示意图。
附图标记说明：图像采集器布设模块11，图像采集模块12，局部二值转换模块13，二值码比对模块14，第一预定图像块匹配模块15，图像特征比对模块16，缺陷检测结果集获取模块17。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
说明书中使用的术语用于描述实施例，而不是限制本发明。如在说明书中所使用的，单数术语“一”“一个”和“该”旨在也包括复数形式，除非上下文另有清楚指示。当在说明书中使用时，术语“包括”和/或“包含”指定了步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他步骤、操作、元件、组件和/或其组的存在或添加。
除非另有定义，本说明书中使用的所有术语(包括技术和科学术语)应具有与本发明所属领域的技术人员通常理解的相同含义。术语，如常用词典中定义的术语，不应以理想化或过于正式的意义来解释，除非在此明确定义。在整个说明书中，相同的附图标记表示相同的元件。
需要说明的是，本发明所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
实施例一：
本申请实施例提供了一种基于图像识别的钢结构件缺陷检测方法，兹参照图1和图2进行说明，所述方法应用于一种基于图像识别的钢结构件缺陷检测系统，所述系统与CCD图像采集器通信连接，所述方法包括：
将所述CCD图像采集器布设至钢结构件的第一质检工位；
本申请实施例提供了一种基于图像识别的钢结构件缺陷检测方法，所述方法应用于一种基于图像识别的钢结构件缺陷检测系统，所述系统是用于执行一种基于图像识别的钢结构件缺陷检测方法中任意一项方法的步骤的系统平台，所述系统与CCD图像采集器通信连接，CCD图像采集器是指用于进行图像采集的CCD图像传感器，本申请对CCD图像采集器的型号不作限制，用户可根据实际情况选择市面上已有的CCD图像传感器作为CCD图像采集器。
第一质检工位是指通过CCD图像采集器对钢结构件进行图像采集时，钢结构件的放置平台，钢结构件是指将多种零件通过焊接、铆接或螺栓连接等多种方式连接成一体的整体，本发明中的钢结构件可以是任意类型的钢结构件。将CCD图像采集器安装至第一质检工位，便于后续对钢结构件进行图像采集。
通过所述CCD图像采集器实时采集得到钢结构件的实时工件图像，其中，所述实时工件图像是指所述钢结构件在所述第一质检工位上基于第一角度采集到的图像；
通过所述CCD图像采集器实时采集得到钢结构件的实时工件图像，其中，所述实时工件图像是指所述钢结构件在所述第一质检工位上基于第一角度采集到的图像，第一角度可由用户自行设定，且第一角度可以包括多个角度，比如正视、俯视、侧视等，对应的，实时工件图像是指在第一角度下采集获得的钢结构件的图像，也可包含多幅图像，比如正视图、俯视图、侧视图等。
将所述实时工件图像划分为N个图像块，并对所述N个图像块中的第一图像块进行局部二值转换，得到第一二值码，其中，所述第一图像块具备第一唯一标识码；
将所述实时工件图像划分为N个图像块，N为大于1的整数，N和N个图像块的大小可由本领域技术人员自行设定，示例性的，假设划分出的每个图像块的像素为3×3，根据实时工件图像的实际大小可以划分出N个3×3的图像块，以上只是举例说明，实际应用时，用户可自行设定图像块的大小，对此不做限制。进一步对所述N个图像块中的第一图像块进行局部二值转换，得到第一二值码，第一图像块泛指所述N个图像块中的任意一个图像块，局部二值转换就是将第一图像块的像素点转换为数字（0或1），在此过程中，首先需要对第一图像块进行灰度处理，根据灰度处理结果获取第一图像块中的所有像素点的灰度值，然后获取第一图像块的中心像素点的中心灰度值，进一步对其他像素点的灰度值与中心灰度值进行比较，将灰度值大于等于中心灰度值的像素点标记为1，将灰度值小于中心灰度值的像素点标记为0，然后按照像素点的位置进行排列得到一串二进制数字即为第一二值码。其中，所述第一图像块具备第一唯一标识码，第一唯一标识码类似于人类的身份证号码，用于识别第一图像块，防止后续进行图像特征比对时，比对的图像块出现错误，从而影响缺陷识别准确度，具体可由用户自行设置一个唯一的码，比如可由字母、数字等组成的码，其具有唯一性。
判断所述第一二值码是否与第一预定二值码相同，若是不同，将所述第一图像块添加至待检部件序列，其中，所述第一预定二值码为预定图像的预定二值码中对应所述第一图像块的二值码；
所述第一预定二值码为预定图像的预定二值码中对应所述第一图像块的二值码，预定图像可以简单理解为在钢结构件质检合格时的图像，第一预定二值码为对预定图像进行局部二值转换后获得的标准二值码，就是说，如果所述第一二值码与第一预定二值码相同，就认为第一图像块对应的钢结构件的部位是合格的，不需要进行后续的质检；反之，如果所述第一二值码与第一预定二值码不同，将所述第一图像块添加至待检部件序列，进行后续的质检。通过对第一图像块进行初步比对分析，筛选出待检部件序列，可以有效降低后续质检的数据量，达到提升质检效率的效果。
在一个优选实施例中，还包括：
获取预设钢结构件，其中，所述预设钢结构件为与所述钢结构件同品类的、质检合格无缺陷的钢结构件；获取预定图像时序，所述预定图像时序是指通过所述CCD图像采集器在所述第一质检工位上基于所述第一角度采集到的所述预设钢结构件的图像序列；对所述预定图像时序中的第一预定图像和第二预定图像进行增强融合，得到所述预定图像。
预定图像的获取过程如下：获取预设钢结构件，其中，所述预设钢结构件为与所述钢结构件同品类的、质检合格无缺陷的钢结构件，获取预定图像时序，所述预定图像时序是指通过所述CCD图像采集器在所述第一质检工位上基于所述第一角度采集到的所述预设钢结构件的图像序列，简单来说，预定图像时序中的图像的采集角度与实时工件图像的采集角度相同，只是，在对所述预设钢结构件进行图像采集时，同一个角度下会采集多幅图像，因此，预定图像时序中包括第一角度对应的多幅图像。对所述预定图像时序中的第一预定图像和第二预定图像进行增强融合，第一预定图像和第二预定图像泛指第一角度对应的多幅图像，然后对多幅图像进行图像增强融合，就是将多幅图像在经过去噪、配准等预处理后，合成一幅图像作为所述预定图像，图像融合是本领域技术人员常用技术手段，故在此不进行展开。通过对多幅图像增强融合，可使得预定二值码更加贴近实际应用，达到避免个体偏差影响缺陷检测准确度的效果。
在一个优选实施例中，还包括：
根据划分所述实时工件图像的方法对所述预定图像进行划分，得到所述预定图像块，其中，所述预定图像块中各图像块均具备唯一标识码；依次进行局部二值转换得到所述预定图像块的所述预定二值码。
得到预定图像后，根据划分所述实时工件图像的方法对所述预定图像进行划分，得到所述预定图像块，其中，所述预定图像块中各图像块均具备唯一标识码，需要说明的是，所述预定图像块中各图像块的唯一标识码与第一图像块具备第一唯一标识码具备对应关系，简单来说，因为划分方法一样，属于钢结构件上的同一部位的预定图像块和第一图像块的唯一标识码具备对应关系，便于进行两者的比配，比如同一部位的预定图像块和第一图像块的唯一标识可用相同的数字序列标识，但是用不同的符号进行预定图像块和第一图像块的区分，后续根据唯一标识码就可以直接调取对应的属于钢结构件上的同一部位的预定图像块和第一图像块，便于进行缺陷检测，防止发生图像块匹配错误，提升缺陷检测的准确性。采用与获取第一二值码相同的方法，依次对所述预定图像块进行局部二值转换得到所述预定图像块的所述预定二值码。为后续的缺陷检测提供基础。
基于所述第一唯一标识码在所述预定图像的预定图像块中匹配第一预定图像块；
基于所述第一唯一标识码在所述预定图像的预定图像块中匹配第一预定图像块，简单来说，就是匹配预定图像块中与第一图像块属于钢结构件上的同一部位的预定图像块作为第一预定图像块。
通过数字孪生网络模型对所述待检部件序列中的所述第一图像块与所述第一预定图像块进行对比分析，得到第一对比特征集；
在一个优选实施例中，还包括：
通过所述第一孪生子模型对所述第一预定图像块进行特征识别，得到第一预定特征集；通过所述第二孪生子模型对所述第一图像块进行特征识别，得到第一特征集；将所述第一预定特征集与所述第一特征集的第一区别特征作为所述第一对比特征集。
在一个优选实施例中，还包括：
基于离散余弦变换原理对所述第一预定图像块进行处理，得到第一预定DCT系数；将从所述第一预定DCT系数中提取到的第一预定AC系数作为所述第一预定特征集。
通过数字孪生网络模型对所述待检部件序列中的所述第一图像块与所述第一预定图像块进行对比分析，得到第一对比特征集，所述数字孪生网络模型包括第一孪生子模型和第二孪生子模型，用于进行图像特征提取。根据图像特征提取结果对所述第一图像块与所述第一预定图像块进行对比分析，得到第一对比特征集，具体过程如下：
通过所述第一孪生子模型对所述第一预定图像块进行特征识别，得到第一预定特征集，通过所述第二孪生子模型对所述第一图像块进行特征识别，得到第一特征集。将所述第一预定特征集与所述第一特征集的第一区别特征，也就是特征差异作为所述第一对比特征集。简单来说，第一对比特征集就是待进行质检的图像与合格的标准图像之间的特征差异，第一对比特征集中的特征差异越多，且差异越大，说明钢结构件存在的缺陷越严重。
其中，通过所述第一孪生子模型对所述第一预定图像块进行特征识别，得到第一预定特征集的过程如下：基于离散余弦变换原理对所述第一预定图像块进行处理，得到第一预定DCT系数，离散余弦变换是一种将时域信号转换为频域信号的图像变换方法，DCT系数可以理解为图像的变化程度，DCT系数越大，代表对应的频率对图像的影响越大，在图像中更为显著。离散余弦变换是本领域技术人员常用技术手段，在本实施例中，可通过现有技术对第一预定图像块进行离散余弦变换，即可得到第一预定DCT系数，将从所述第一预定DCT系数中提取到的第一预定AC系数作为所述第一预定特征集，AC系数是指离散余弦变换结果中的交流分量，就是说，为了达到压缩数据的目的，DCT系数需作量化，第一预定DCT系数中，DC系数位于左上角，称直流分量，它是第一预定图像块采样值的平均值，其余系数为AC分量，可根据相邻AC分量之间的差值对AC分量进行编码得到第一预定AC系数，第一预定AC系数反映的是第一预定图像块的纹理特征，由此实现对AC系数的提取并将其作为所述第一预定特征集。
同理，通过所述第二孪生子模型对所述第一图像块进行特征识别，得到第一特征集的过程与获取所述第一预定特征集的方法相同。基于离散余弦变换原理对所述第一图像块进行处理，得到第一DCT系数，将从所述第一DCT系数中提取到的第一AC系数作为所述第一特征集。
根据分析所述第一对比特征集得到的第一缺陷检测结果得到所述钢结构件的缺陷检测结果集。
分析所述第一对比特征集得到第一缺陷检测结果，具体来说，第一对比特征集就是待进行质检的图像与合格的标准图像之间的特征差异，第一对比特征集中的特征差异越多，且差异越大，说明钢结构件存在的缺陷越严重。具体来说，可获取钢结构件在不同缺陷类型和缺陷程度下的样本对比特征，可根据第一对比特征集进行匹配，得到第一图像块对应的钢结构的部位的缺陷类型和缺陷程度作为第一缺陷检测结果，第一缺陷检测结果泛指多个图像块分别对应的缺陷检测结果，将其组合作为缺陷检测结果集。由此实现对钢结构件的缺陷检测，达到提升缺陷检测准确度的技术效果。
在一个优选实施例中，还包括：
将所述激光干涉成像仪布设至所述钢结构件的第二质检工位；通过所述激光干涉成像仪对所述钢结构件进行干涉成像分析，得到钢结构件干涉信息，其中，所述钢结构件干涉信息包括钢结构件空间信息和钢结构件光谱信息；将所述钢结构件空间信息与所述预设钢结构件的预设钢结构件空间信息对比得到第一对比数据；将所述钢结构件光谱信息与所述预设钢结构件的预设钢结构件光谱信息对比得到第二对比数据；通过缺陷识别模型对所述第一对比数据和所述第二对比数据进行分析，得到第二缺陷检测结果；基于所述第二缺陷检测结果对所述缺陷检测结果集进行校验。
在一个优选实施例中，还包括：
所述缺陷识别模型中内嵌有历史钢结构件缺陷数据库；所述缺陷识别模型中的第一识别层基于所述历史钢结构件缺陷数据库对所述第一对比数据进行分析，得到钢结构件空间缺陷结果；所述缺陷识别模型中的第二识别层基于所述历史钢结构件缺陷数据库对所述第二对比数据进行分析，得到钢结构件光谱缺陷结果；其中，所述钢结构件空间缺陷结果是指具备空间缺陷程度标识的空间缺陷结果，所述钢结构件光谱缺陷结果是指具备光谱缺陷程度标识的光谱缺陷结果；将所述钢结构件空间缺陷结果和所述钢结构件光谱缺陷结果共同作为所述第二缺陷检测结果。
所述系统还与激光干涉成像仪通信连接，激光干涉成像仪是一种利用光的干涉原理来测量物体长度、厚度、形状、折射率等参数从而进行成像的仪器，本申请对激光干涉成像仪的型号不作限制。得到缺陷检测结果集之后，将所述激光干涉成像仪布设至所述钢结构件的第二质检工位，第二质检工位是进行激光干涉成像质检时用于放置钢结构件的平台。通过所述激光干涉成像仪对所述钢结构件进行干涉成像分析，得到钢结构件干涉信息，其中，所述钢结构件干涉信息包括钢结构件空间信息和钢结构件光谱信息，钢结构件空间信息是指通过激光干涉成像仪得到的钢结构件的尺寸、形状，钢结构件光谱信息则是指通过激光干涉成像仪得到的光谱图像。具体来说，可对预设钢结构件，即与所述钢结构件同品类的、质检合格无缺陷的钢结构件通过激光干涉成像仪进行干涉成像分析，得到的预设钢结构件的形状、尺寸作为预设钢结构件空间信息，得到的预设钢结构件的光谱信息作为预设钢结构件光谱信息。
进一步将所述钢结构件空间信息与所述预设钢结构件的预设钢结构件空间信息对比得到两者的差异作为第一对比数据，将所述钢结构件光谱信息与所述预设钢结构件的预设钢结构件光谱信息对比得到两者的差异作为第二对比数据。通过缺陷识别模型对所述第一对比数据和所述第二对比数据进行分析，得到第二缺陷检测结果，基于所述第二缺陷检测结果对所述缺陷检测结果集进行校验。
通过缺陷识别模型对所述第一对比数据和所述第二对比数据进行分析，得到第二缺陷检测结果的过程如下：
所述缺陷识别模型中内嵌有历史钢结构件缺陷数据库，历史钢结构件缺陷数据库包括不同缺陷类型、缺陷程度对应的钢结构件空间偏差和钢结构件光谱偏差。所述缺陷识别模型中的第一识别层基于所述历史钢结构件缺陷数据库对所述第一对比数据进行分析，简单来说，就是根据不同缺陷类型对应的钢结构件空间偏差与第一对比数据进行匹配，获得与第一对比数据对应的钢结构件空间偏差，进而得到对应的缺陷类型、缺陷程度作为钢结构件空间缺陷结果。同理，所述缺陷识别模型中的第二识别层基于所述历史钢结构件缺陷数据库对所述第二对比数据进行分析，获得与第二对比数据对应的钢结构件光谱偏差，进而得到对应的缺陷类型、缺陷程度作为钢结构件光谱缺陷结果。其中，所述钢结构件空间缺陷结果是指具备空间缺陷程度标识的空间缺陷结果，所述钢结构件光谱缺陷结果是指具备光谱缺陷程度标识的光谱缺陷结果，将所述钢结构件空间缺陷结果和所述钢结构件光谱缺陷结果共同作为所述第二缺陷检测结果。
进一步基于所述第二缺陷检测结果对所述缺陷检测结果集进行校验，简单来说，就是判断所述第二缺陷检测结果与所述缺陷检测结果集中的缺陷检测结果是否相同，从而确定所述缺陷检测结果集的检测准确性，简单来说，如果所述第二缺陷检测结果与所述缺陷检测结果集中的缺陷检测结果比较接近，说明所述缺陷检测结果集的可靠性较高；如果所述第二缺陷检测结果与所述缺陷检测结果集中的缺陷检测结果相差较大，那么所述缺陷检测结果集的检测结果不可靠，就需要重新进行缺陷检测。由此通过对缺陷检测结果集的校验，达到提升钢结构件的缺陷检测结果的可靠性技术效果。
基于上述分析可知，本公开提供的一个或多个技术方案，可达到的有益效果如下：
1.通过CCD图像采集器实时采集得到钢结构件的实时工件图像，将实时工件图像划分为N个图像块，并对N个图像块中的第一图像块进行局部二值转换，得到第一二值码，其中，第一图像块具备第一唯一标识码，判断第一二值码是否与第一预定二值码相同，若是不同，将第一图像块添加至待检部件序列，基于第一唯一标识码在预定图像的预定图像块中匹配第一预定图像块，通过数字孪生网络模型对待检部件序列中的第一图像块与第一预定图像块进行对比分析，得到第一对比特征集，根据分析第一对比特征集得到的第一缺陷检测结果得到钢结构件的缺陷检测结果集，达到提升钢结构件的缺陷检测效率，同时提升缺陷检测准确度的技术效果。
2.获取预设钢结构件，获取预定图像时序，对预定图像时序中的第一预定图像和第二预定图像进行增强融合，得到预定图像，根据划分实时工件图像的方法对预定图像进行划分，得到预定图像块，其中，预定图像块中各图像块均具备唯一标识码，依次进行局部二值转换得到预定图像块的预定二值码。进而判断第一二值码是否与第一预定二值码相同，若是不同，将第一图像块添加至待检部件序列。通过对第一图像块进行初步比对分析，筛选出待检部件序列，可以有效降低后续质检的数据量，达到提升质检效率的技术效果。
3.将激光干涉成像仪布设至钢结构件的第二质检工位，通过激光干涉成像仪对钢结构件进行干涉成像分析，得到钢结构件干涉信息，将钢结构件空间信息与预设钢结构件的预设钢结构件空间信息对比得到第一对比数据，将钢结构件光谱信息与预设钢结构件的预设钢结构件光谱信息对比得到第二对比数据，通过缺陷识别模型对第一对比数据和第二对比数据进行分析，得到第二缺陷检测结果，基于第二缺陷检测结果对缺陷检测结果集进行校验。由此通过对缺陷检测结果集的校验，达到提升钢结构件的缺陷检测结果的可靠性技术效果。
实施例二：
基于与前述实施例中一种基于图像识别的钢结构件缺陷检测方法同样的发明构思，如图3所示，本申请还提供了一种基于图像识别的钢结构件缺陷检测系统，所述系统与CCD图像采集器通信连接，所述系统包括：
图像采集器布设模块11，所述图像采集器布设模块11用于将所述CCD图像采集器布设至钢结构件的第一质检工位；
图像采集模块12，所述图像采集模块12用于通过所述CCD图像采集器实时采集得到钢结构件的实时工件图像，其中，所述实时工件图像是指所述钢结构件在所述第一质检工位上基于第一角度采集到的图像；
局部二值转换模块13，所述局部二值转换模块13用于将所述实时工件图像划分为N个图像块，并对所述N个图像块中的第一图像块进行局部二值转换，得到第一二值码，其中，所述第一图像块具备第一唯一标识码；
二值码比对模块14，所述二值码比对模块14用于判断所述第一二值码是否与第一预定二值码相同，若是不同，将所述第一图像块添加至待检部件序列，其中，所述第一预定二值码为预定图像的预定二值码中对应所述第一图像块的二值码；
第一预定图像块匹配模块15，所述第一预定图像块匹配模块15用于基于所述第一唯一标识码在所述预定图像的预定图像块中匹配第一预定图像块；
图像特征比对模块16，所述图像特征比对模块16用于通过数字孪生网络模型对所述待检部件序列中的所述第一图像块与所述第一预定图像块进行对比分析，得到第一对比特征集；
缺陷检测结果集获取模块17，所述缺陷检测结果集获取模块17用于根据分析所述第一对比特征集得到的第一缺陷检测结果得到所述钢结构件的缺陷检测结果集。
进一步而言，所述二值码比对模块14还用于：
获取预设钢结构件，其中，所述预设钢结构件为与所述钢结构件同品类的、质检合格无缺陷的钢结构件；
获取预定图像时序，所述预定图像时序是指通过所述CCD图像采集器在所述第一质检工位上基于所述第一角度采集到的所述预设钢结构件的图像序列；
对所述预定图像时序中的第一预定图像和第二预定图像进行增强融合，得到所述预定图像。
进一步而言，所述二值码比对模块14还用于：
根据划分所述实时工件图像的方法对所述预定图像进行划分，得到所述预定图像块，其中，所述预定图像块中各图像块均具备唯一标识码；
依次进行局部二值转换得到所述预定图像块的所述预定二值码。
进一步而言，所述图像特征比对模块16还用于：
通过所述第一孪生子模型对所述第一预定图像块进行特征识别，得到第一预定特征集；
通过所述第二孪生子模型对所述第一图像块进行特征识别，得到第一特征集；
将所述第一预定特征集与所述第一特征集的第一区别特征作为所述第一对比特征集。
进一步而言，所述图像特征比对模块16还用于：
基于离散余弦变换原理对所述第一预定图像块进行处理，得到第一预定DCT系数；
将从所述第一预定DCT系数中提取到的第一预定AC系数作为所述第一预定特征集。
进一步而言，所述系统还包括结果校验模块，所述结果校验模块用于：
将所述激光干涉成像仪布设至所述钢结构件的第二质检工位；
通过所述激光干涉成像仪对所述钢结构件进行干涉成像分析，得到钢结构件干涉信息，其中，所述钢结构件干涉信息包括钢结构件空间信息和钢结构件光谱信息；
将所述钢结构件空间信息与所述预设钢结构件的预设钢结构件空间信息对比得到第一对比数据；
将所述钢结构件光谱信息与所述预设钢结构件的预设钢结构件光谱信息对比得到第二对比数据；
通过缺陷识别模型对所述第一对比数据和所述第二对比数据进行分析，得到第二缺陷检测结果；
基于所述第二缺陷检测结果对所述缺陷检测结果集进行校验。
进一步而言，所述结果校验模块还用于：
所述缺陷识别模型中内嵌有历史钢结构件缺陷数据库；
所述缺陷识别模型中的第一识别层基于所述历史钢结构件缺陷数据库对所述第一对比数据进行分析，得到钢结构件空间缺陷结果；
所述缺陷识别模型中的第二识别层基于所述历史钢结构件缺陷数据库对所述第二对比数据进行分析，得到钢结构件光谱缺陷结果；
其中，所述钢结构件空间缺陷结果是指具备空间缺陷程度标识的空间缺陷结果，所述钢结构件光谱缺陷结果是指具备光谱缺陷程度标识的光谱缺陷结果；
将所述钢结构件空间缺陷结果和所述钢结构件光谱缺陷结果共同作为所述第二缺陷检测结果。
前述实施例一中的一种基于图像识别的钢结构件缺陷检测方法具体实例同样适用于本实施例的一种基于图像识别的钢结构件缺陷检测系统，通过前述对一种基于图像识别的钢结构件缺陷检测方法的详细描述，本领域技术人员可以清楚地知道本实施例中一种基于图像识别的钢结构件缺陷检测系统，所以为了说明书的简洁，在此不再详述。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (6)
1.一种基于图像识别的钢结构件缺陷检测方法，其特征在于，所述方法应用于一种基于图像识别的钢结构件缺陷检测系统，所述系统与CCD图像采集器通信连接，所述方法包括：
将所述CCD图像采集器布设至钢结构件的第一质检工位；
通过所述CCD图像采集器实时采集得到钢结构件的实时工件图像，其中，所述实时工件图像是指所述钢结构件在所述第一质检工位上基于第一角度采集到的图像；
将所述实时工件图像划分为N个图像块，并对所述N个图像块中的第一图像块进行局部二值转换，得到第一二值码，其中，所述第一图像块具备第一唯一标识码；
判断所述第一二值码是否与第一预定二值码相同，若是不同，将所述第一图像块添加至待检部件序列，其中，所述第一预定二值码为预定图像的预定二值码中对应所述第一图像块的二值码；
基于所述第一唯一标识码在所述预定图像的预定图像块中匹配第一预定图像块；
通过数字孪生网络模型对所述待检部件序列中的所述第一图像块与所述第一预定图像块进行对比分析，得到第一对比特征集；
根据分析所述第一对比特征集得到的第一缺陷检测结果得到所述钢结构件的缺陷检测结果集；
其中，所述数字孪生网络模型包括第一孪生子模型和第二孪生子模型，所述通过数字孪生网络模型对所述待检部件序列中的所述第一图像块与所述第一预定图像块进行对比分析，包括：
通过所述第一孪生子模型对所述第一预定图像块进行特征识别，得到第一预定特征集；
通过所述第二孪生子模型对所述第一图像块进行特征识别，得到第一特征集；
将所述第一预定特征集与所述第一特征集的第一区别特征作为所述第一对比特征集；
其中，所述通过所述第一孪生子模型对所述第一预定图像块进行特征识别，得到第一预定特征集，包括：
基于离散余弦变换原理对所述第一预定图像块进行处理，得到第一预定DCT系数；
将从所述第一预定DCT系数中提取到的第一预定AC系数作为所述第一预定特征集。
2.根据权利要求1所述方法，其特征在于，在所述判断所述第一二值码是否与第一预定二值码相同之前，还包括：
获取预设钢结构件，其中，所述预设钢结构件为与所述钢结构件同品类的、质检合格无缺陷的钢结构件；
获取预定图像时序，所述预定图像时序是指通过所述CCD图像采集器在所述第一质检工位上基于所述第一角度采集到的所述预设钢结构件的图像序列；
对所述预定图像时序中的第一预定图像和第二预定图像进行增强融合，得到所述预定图像。
3.根据权利要求2所述方法，其特征在于，在所述得到所述预定图像之后，包括：
根据划分所述实时工件图像的方法对所述预定图像进行划分，得到所述预定图像块，其中，所述预定图像块中各图像块均具备唯一标识码；
依次进行局部二值转换得到所述预定图像块的所述预定二值码。
4.根据权利要求2所述方法，其特征在于，所述系统还与激光干涉成像仪通信连接，在所述根据分析所述第一对比特征集得到的第一缺陷检测结果得到所述钢结构件的缺陷检测结果集之后，还包括：
将所述激光干涉成像仪布设至所述钢结构件的第二质检工位；
通过所述激光干涉成像仪对所述钢结构件进行干涉成像分析，得到钢结构件干涉信息，其中，所述钢结构件干涉信息包括钢结构件空间信息和钢结构件光谱信息；
将所述钢结构件空间信息与所述预设钢结构件的预设钢结构件空间信息对比得到第一对比数据；
将所述钢结构件光谱信息与所述预设钢结构件的预设钢结构件光谱信息对比得到第二对比数据；
通过缺陷识别模型对所述第一对比数据和所述第二对比数据进行分析，得到第二缺陷检测结果；
基于所述第二缺陷检测结果对所述缺陷检测结果集进行校验。
5.根据权利要求4所述方法，其特征在于，所述通过缺陷识别模型对所述第一对比数据和所述第二对比数据进行分析，得到第二缺陷检测结果，包括：
所述缺陷识别模型中内嵌有历史钢结构件缺陷数据库；
所述缺陷识别模型中的第一识别层基于所述历史钢结构件缺陷数据库对所述第一对比数据进行分析，得到钢结构件空间缺陷结果；
所述缺陷识别模型中的第二识别层基于所述历史钢结构件缺陷数据库对所述第二对比数据进行分析，得到钢结构件光谱缺陷结果；
其中，所述钢结构件空间缺陷结果是指具备空间缺陷程度标识的空间缺陷结果，所述钢结构件光谱缺陷结果是指具备光谱缺陷程度标识的光谱缺陷结果；
将所述钢结构件空间缺陷结果和所述钢结构件光谱缺陷结果共同作为所述第二缺陷检测结果。
6.一种基于图像识别的钢结构件缺陷检测系统，其特征在于，用于执行权利要求1至5所述的一种基于图像识别的钢结构件缺陷检测方法中任意一项方法的步骤，所述系统与CCD图像采集器通信连接，所述系统包括：
图像采集器布设模块，所述图像采集器布设模块用于将所述CCD图像采集器布设至钢结构件的第一质检工位；
图像采集模块，所述图像采集模块用于通过所述CCD图像采集器实时采集得到钢结构件的实时工件图像，其中，所述实时工件图像是指所述钢结构件在所述第一质检工位上基于第一角度采集到的图像；
局部二值转换模块，所述局部二值转换模块用于将所述实时工件图像划分为N个图像块，并对所述N个图像块中的第一图像块进行局部二值转换，得到第一二值码，其中，所述第一图像块具备第一唯一标识码；
二值码比对模块，所述二值码比对模块用于判断所述第一二值码是否与第一预定二值码相同，若是不同，将所述第一图像块添加至待检部件序列，其中，所述第一预定二值码为预定图像的预定二值码中对应所述第一图像块的二值码；
第一预定图像块匹配模块，所述第一预定图像块匹配模块用于基于所述第一唯一标识码在所述预定图像的预定图像块中匹配第一预定图像块；
图像特征比对模块，所述图像特征比对模块用于通过数字孪生网络模型对所述待检部件序列中的所述第一图像块与所述第一预定图像块进行对比分析，得到第一对比特征集；
缺陷检测结果集获取模块，所述缺陷检测结果集获取模块用于根据分析所述第一对比特征集得到的第一缺陷检测结果得到所述钢结构件的缺陷检测结果集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311250084.XA CN117237310B (zh) | 2023-09-26 | 2023-09-26 | 一种基于图像识别的钢结构件缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311250084.XA CN117237310B (zh) | 2023-09-26 | 2023-09-26 | 一种基于图像识别的钢结构件缺陷检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237310A CN117237310A (zh) | 2023-12-15 |
| CN117237310B true CN117237310B (zh) | 2024-03-12 |
Family
ID=89096522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311250084.XA Active CN117237310B (zh) | 2023-09-26 | 2023-09-26 | 一种基于图像识别的钢结构件缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237310B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1048149A (ja) * | 1996-08-02 | 1998-02-20 | Ricoh Co Ltd | 画像欠陥検出方法及び装置 |
| CN111445459A (zh) * | 2020-03-27 | 2020-07-24 | 广东工业大学 | 一种基于深度孪生网络的图像缺陷检测方法及系统 |
| CN111795977A (zh) * | 2020-06-08 | 2020-10-20 | 武汉大学 | 金属增材制造多种监测设备在线实时监控系统 |
| CN114387233A (zh) * | 2021-12-29 | 2022-04-22 | 山东大学 | 一种基于机器视觉的砂型缺陷检测方法及系统 |
| CN114627111A (zh) * | 2022-05-12 | 2022-06-14 | 南通英伦家纺有限公司 | 一种纺织品缺陷检测识别装置 |
| CN115096893A (zh) * | 2022-06-07 | 2022-09-23 | 东北大学 | 一种基于机器视觉的飞机结构件缺陷无损检测方法 |
| CN115326745A (zh) * | 2022-08-03 | 2022-11-11 | 温州智点信息科技有限公司 | 一种电力安全工器具的THz时域光谱的无损检测方法 |
| CN116071360A (zh) * | 2023-03-10 | 2023-05-05 | 苏州振畅智能科技有限公司 | 一种工件外观缺陷检测方法、电子设备及存储介质 |
| WO2023168972A1 (zh) * | 2022-03-09 | 2023-09-14 | 三门三友科技股份有限公司 | 一种基于线阵相机的铜表面缺陷检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111060520B (zh) * | 2019-12-30 | 2021-10-29 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
-
2023
- 2023-09-26 CN CN202311250084.XA patent/CN117237310B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1048149A (ja) * | 1996-08-02 | 1998-02-20 | Ricoh Co Ltd | 画像欠陥検出方法及び装置 |
| CN111445459A (zh) * | 2020-03-27 | 2020-07-24 | 广东工业大学 | 一种基于深度孪生网络的图像缺陷检测方法及系统 |
| CN111795977A (zh) * | 2020-06-08 | 2020-10-20 | 武汉大学 | 金属增材制造多种监测设备在线实时监控系统 |
| CN114387233A (zh) * | 2021-12-29 | 2022-04-22 | 山东大学 | 一种基于机器视觉的砂型缺陷检测方法及系统 |
| WO2023168972A1 (zh) * | 2022-03-09 | 2023-09-14 | 三门三友科技股份有限公司 | 一种基于线阵相机的铜表面缺陷检测方法及装置 |
| CN114627111A (zh) * | 2022-05-12 | 2022-06-14 | 南通英伦家纺有限公司 | 一种纺织品缺陷检测识别装置 |
| CN115096893A (zh) * | 2022-06-07 | 2022-09-23 | 东北大学 | 一种基于机器视觉的飞机结构件缺陷无损检测方法 |
| CN115326745A (zh) * | 2022-08-03 | 2022-11-11 | 温州智点信息科技有限公司 | 一种电力安全工器具的THz时域光谱的无损检测方法 |
| CN116071360A (zh) * | 2023-03-10 | 2023-05-05 | 苏州振畅智能科技有限公司 | 一种工件外观缺陷检测方法、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 印刷品缺陷检测的初步方案;邓忠华;刘飞;;计算机技术与发展(10);177-179 * |
| 基于噪声估计和三维DCT的CCD图像去噪;吴兆阳;熊艳;李坤;邓磊;;信息技术(02);81-85 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237310A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108846835B (zh) | 基于深度可分离卷积网络的图像变化检测方法 | |
| CN108090902A (zh) | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 | |
| CN114359283B (zh) | 基于Transformer的缺陷检测方法和电子设备 | |
| CN114998323B (zh) | 基于注意力机制的螺纹钢异常判定方法 | |
| CN111879709B (zh) | 湖泊水体光谱反射率检验方法及装置 | |
| CN110991434B (zh) | 自助终端证件识别方法及装置 | |
| CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及系统 | |
| CN100433047C (zh) | 检测图像模糊性的设备和方法 | |
| KR20080079798A (ko) | 얼굴 검출 및 인식을 위한 방법 | |
| CN117237310B (zh) | 一种基于图像识别的钢结构件缺陷检测方法及系统 | |
| CN113706462A (zh) | 产品表面缺陷检测方法、装置、设备及存储介质 | |
| CN116071335A (zh) | 墙面验收方法、装置、设备及存储介质 | |
| CN115601293A (zh) | 对象检测方法、装置、电子设备及可读存储介质 | |
| CN115239663A (zh) | 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质 | |
| CN114782822A (zh) | 电力设备的状态检测方法、装置、电子设备及存储介质 | |
| CN114783538A (zh) | 一种煤炭灰分预测方法及装置 | |
| CN113239075A (zh) | 一种施工数据自检方法及系统 | |
| Lahoulou et al. | A complete statistical evaluation of state-of-the-art image quality measures | |
| CN115795370B (zh) | 基于重采样痕迹的电子数字信息取证方法及系统 | |
| CN117474915B (zh) | 一种异常检测方法、电子设备及存储介质 | |
| CN115482215B (zh) | 一种适用于pcb板真假缺陷的识别方法及系统 | |
| TW403887B (en) | Method of examining the quality of bar codes | |
| Abdalmajeed et al. | Using the natural scenes’ edges for assessing image quality blindly and efficiently | |
| CN113740463A (zh) | 中药鉴别方法 | |
| CN116664848A (zh) | 免疫层析图像的特征提取方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |