CN112700483B - 用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质 - Google Patents
用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质 Download PDFInfo
- Publication number
- CN112700483B CN112700483B CN202110044942.XA CN202110044942A CN112700483B CN 112700483 B CN112700483 B CN 112700483B CN 202110044942 A CN202110044942 A CN 202110044942A CN 112700483 B CN112700483 B CN 112700483B
- Authority
- CN
- China
- Prior art keywords
- image
- sending
- cone
- images
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/507—Depth or shape recovery from shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了一种用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质,包括:步骤1:拍摄样本的三锥视角图;步骤2:准备该样本对应的无缺陷图并送入特征匹配模型,提取第一特征图;步骤3:将三锥视角图排队送入特征匹配模型,提取第二特征图;步骤4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;步骤5:对第二特征图进行降采样;步骤6:将降采样图片送入转换矩阵,得到变换图形;步骤7:将变换图形进行通道层次的融合,形成三通道融合图;步骤8:将三通道融合图送入检测模型,学习获得深度信息。本发明采用三通道融合和特征匹配等方法,解决了背景干扰和凹凸缺陷的问题,可以有效的表面缺陷检测的精度。
Description
技术领域
本发明涉及计算机视觉技术领域,具体地,涉及一种用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质。
背景技术
在工业表面缺陷质量检测中,缺料、多料、裂纹等凹凸的缺陷经常容易混肴,在金属平整的表面,多料是凸出的部分,缺料和裂纹是凹进的部分,所以在二维平面中,凸出的多料和凹进的缺料看起来极其相似。大部分普通相机拍出的待检测图片都是二维图像,所以这导致了算法只能获得缺陷的二维信息(长度和宽度信息),并不能获得图像的深度信息,所以深度信息的缺乏这是导致检测结果不准、混肴的主要原因。
然而,深度相机的速度、精度和成本都无法满足工厂的实际需求,在以往技术中,多光源图像重建技术可以利用普通相机在一定程度上获得深度信息,但实际上由于背景纹理的复杂性,重建结果经常失败,从而带来更低的检测精度,多光源图像重建其本身更依赖一个细致的调参过程,所以并不适合批量的工程化。
在工业质检领域,精度是一个很严格的指标,但是由于图像缺乏深度信息,所以很多时候会导致严重的精度下降。现有技术中,多光源图像重建是一种解决图像缺乏深度信息的方法,然而由于金属表面的反光性质、背景纹理的不同、以及相机角度的选择问题,导致现有阶段的多光源图像重建技术并不是一个成熟的方案。
专利文献CN111624206A(申请号:CN202010632056.4)公开一种基于线阵相机立体视觉的金属表面缺陷检测方法,包括以下步骤:采用共享光源或者共面光源照射的方式,通过设置多个线阵相机获取不同视角的待测金属表面图像;通过立体匹配计算所述待测金属表面深度以及运动速度,同时确定所述待测金属表面任一点在所述线阵相机采集图像中的灰度对应关系;根据灰度对应关系计算所述待测金属表面的法向角度,通过所述待测金属表面法向角度和深度立体信息与二维灰度图像的融合,对金属表面的缺陷进行检测。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质。
根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合方法,包括:
步骤1:将相机置于检测样本上方,拍摄三锥视角图;
步骤2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取第一特征图;
步骤3:将三锥视角图排队送入特征匹配模型,提取第二特征图;
步骤4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;
步骤5:对第二特征图进行降采样,获得降采样图片;
步骤6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入;
步骤7:采用三锥视角的灰度图作为三通道,将变换后的三锥视角图进行通道层次的融合,形成三通道融合图;
步骤8:将三通道融合图作为输入,送入检测模型学习,通过阴影分布对凸起和凹进的表面进行区分,在图像上获得深度信息。
优选的,在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像,即三锥视角图。
优选的,三锥视角图共含三张照片,每一次特征匹配,只输入一张,重复执行步骤1-6三次,获得矫正后的三张不同光源的正面灰度图像。
优选的,对图片进行降采样,包括缩小图片、低通滤波。
根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合系统,包括:
模块M1:将相机置于检测样本上方,拍摄三锥视角图;
模块M2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取第一特征图;
模块M3:将三锥视角图排队送入特征匹配模型,提取第二特征图;
模块M4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;
模块M5:对第二特征图进行降采样,获得降采样图片;
模块M6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入;
模块M7:采用三锥视角的灰度图作为三通道,将变换后的三锥视角图进行通道层次的融合,形成三通道融合图;
模块M8:将三通道融合图作为输入,送入检测模型学习,通过阴影分布对凸起和凹进的表面进行区分,在图像上获得深度信息。
优选的,在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像,即三锥视角图。
优选的,三锥视角图共含三张照片,每一次特征匹配,只输入一张,重复调用模块M1-M6三次,获得矫正后的三张不同光源的正面灰度图像。
优选的,对图片进行降采样,包括缩小图片、低通滤波。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比,本发明具有如下的有益效果:
本发明在多光源图像重建技术的基础上,采用三通道融合和特征匹配等方法,并利用深度学习领域中的卷积神经网络,建立了一个高精度的缺陷检测模型。该三通道图像融合的模型解决背景干扰和凹凸缺陷的问题。这个模型在缺乏深度信息的情况下,可以有效的表面缺陷检测的精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为特征匹配模型流程图;
图2为检测模型流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例:
如图1、图2,根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合方法,包括如下步骤:
步骤1:将相机置于检测样本的正上方,在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像(即三锥视角图);
步骤2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取特征图甲;
步骤3:将三锥视角图排队送入特征匹配模型,提取特征图乙;三锥视角图共含三张照片,每一次特征匹配,只输入一张。
步骤4:将特征图甲和乙送入单应矩阵网络,并获得转换矩阵;
步骤5:将特征图乙进行降采样(如缩小操作),获得降采样图片;
步骤6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入。重复执行步骤1-6三次,即可以获得矫正后的三张不同光源的正面灰度图像(即三锥视角图)。
步骤7:将三锥视角图经过特征匹配转换,获得三张统一视角的灰度图,即45度左上灰度图,垂直正上方灰度图和45度右上角灰度图;
步骤8:在以往的图像检测中,常规的三通道RGB分别指红绿蓝,而本模型采用三锥视角的灰度图作为三通道,将45度左上灰度图,垂直正上方灰度图和45度右上角灰度图进行通道层次的融合,形成三通道融合图;
步骤9:将三通道融合图作为输入,送入检测模型学习,原本的RGB三通道只能获取一个光源方向的图像特征,缺乏对深度信息的学习,而三锥视角的灰度图,可以有效的通过阴影的分布,一定程度上对凸起和凹进的表面有一个区分,从而在图像上获得深度信息;经检验,得到的检出结果在一定程度上解决了背景干扰和凹凸缺陷的问题。
根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合系统,包括:
模块M1:将相机置于检测样本上方,拍摄三锥视角图;
模块M2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取第一特征图;
模块M3:将三锥视角图排队送入特征匹配模型,提取第二特征图;
模块M4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;
模块M5:对第二特征图进行降采样,获得降采样图片;
模块M6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入;
模块M7:采用三锥视角的灰度图作为三通道,将变换后的三锥视角图进行通道层次的融合,形成三通道融合图;
模块M8:将三通道融合图作为输入,送入检测模型学习,通过阴影分布对凸起和凹进的表面进行区分,在图像上获得深度信息。
优选的,在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像,即三锥视角图。优选的,三锥视角图共含三张照片,每一次特征匹配,只输入一张,重复调用模块M1-M6三次,获得矫正后的三张不同光源的正面灰度图像。优选的,对图片进行降采样,包括缩小图片、低通滤波。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (7)
1.一种用于提高表面缺陷检测精度的三锥视角融合方法,其特征在于,包括:
步骤1:将相机置于检测样本上方,拍摄三锥视角图;在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像,即三锥视角图;
步骤2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取第一特征图;
步骤3:将三锥视角图排队送入特征匹配模型,提取第二特征图;
步骤4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;
步骤5:对第二特征图进行降采样,获得降采样图片;
步骤6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入;
步骤7:将三锥视角图经过特征匹配转换,获得三张统一视角的灰度图,即45度左上灰度图,垂直正上方灰度图和45度右上角灰度图,采用三锥视角的灰度图作为三通道,将变换后的三锥视角图进行通道层次的融合,形成三通道融合图;
步骤8:将三通道融合图作为输入,送入检测模型学习,通过阴影分布对凸起和凹进的表面进行区分,在图像上获得深度信息。
2.根据权利要求1所述的用于提高表面缺陷检测精度的三锥视角融合方法,其特征在于,三锥视角图共含三张照片,每一次特征匹配,只输入一张,重复执行步骤3-6三次,获得矫正后的三张不同光源的正面灰度图像。
3.根据权利要求1所述的用于提高表面缺陷检测精度的三锥视角融合方法,其特征在于,对图片进行降采样,包括缩小图片、低通滤波。
4.一种用于提高表面缺陷检测精度的三锥视角融合系统,其特征在于,包括:
模块M1:将相机置于检测样本上方,拍摄三锥视角图;在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像,即三锥视角图;
模块M2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取第一特征图;
模块M3:将三锥视角图排队送入特征匹配模型,提取第二特征图;
模块M4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;
模块M5:对第二特征图进行降采样,获得降采样图片;
模块M6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入;
模块M7:将三锥视角图经过特征匹配转换,获得三张统一视角的灰度图,即45度左上灰度图,垂直正上方灰度图和45度右上角灰度图,采用三锥视角的灰度图作为三通道,将变换后的三锥视角图进行通道层次的融合,形成三通道融合图;
模块M8:将三通道融合图作为输入,送入检测模型学习,通过阴影分布对凸起和凹进的表面进行区分,在图像上获得深度信息。
5.根据权利要求4所述的用于提高表面缺陷检测精度的三锥视角融合系统,其特征在于,三锥视角图共含三张照片,每一次特征匹配,只输入一张,重复调用模块M3-M6三次,获得矫正后的三张不同光源的正面灰度图像。
6.根据权利要求4所述的用于提高表面缺陷检测精度的三锥视角融合系统,其特征在于,对图片进行降采样,包括缩小图片、低通滤波。
7.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110044942.XA CN112700483B (zh) | 2021-01-13 | 2021-01-13 | 用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110044942.XA CN112700483B (zh) | 2021-01-13 | 2021-01-13 | 用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112700483A CN112700483A (zh) | 2021-04-23 |
CN112700483B true CN112700483B (zh) | 2023-02-17 |
Family
ID=75514527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110044942.XA Active CN112700483B (zh) | 2021-01-13 | 2021-01-13 | 用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112700483B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108535265A (zh) * | 2018-04-10 | 2018-09-14 | 深圳市纳研科技有限公司 | 一种多角度打光装置及采集系统 |
CN110473178A (zh) * | 2019-07-30 | 2019-11-19 | 上海深视信息科技有限公司 | 一种基于多光源融合的外观缺陷检测方法及系统 |
CN111340866A (zh) * | 2020-02-26 | 2020-06-26 | 腾讯科技(深圳)有限公司 | 深度图像生成方法、装置及存储介质 |
CN111445459A (zh) * | 2020-03-27 | 2020-07-24 | 广东工业大学 | 一种基于深度孪生网络的图像缺陷检测方法及系统 |
CN111833237A (zh) * | 2020-01-19 | 2020-10-27 | 宁波大学 | 基于卷积神经网络和局部单应性变换的图像配准方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111340754B (zh) * | 2020-01-18 | 2023-08-25 | 中国人民解放军国防科技大学 | 一种基于飞机蒙皮表面缺陷检测和分类的方法 |
CN111652098B (zh) * | 2020-05-25 | 2022-03-01 | 四川长虹电器股份有限公司 | 产品表面缺陷检测方法及装置 |
-
2021
- 2021-01-13 CN CN202110044942.XA patent/CN112700483B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108535265A (zh) * | 2018-04-10 | 2018-09-14 | 深圳市纳研科技有限公司 | 一种多角度打光装置及采集系统 |
CN110473178A (zh) * | 2019-07-30 | 2019-11-19 | 上海深视信息科技有限公司 | 一种基于多光源融合的外观缺陷检测方法及系统 |
CN111833237A (zh) * | 2020-01-19 | 2020-10-27 | 宁波大学 | 基于卷积神经网络和局部单应性变换的图像配准方法 |
CN111340866A (zh) * | 2020-02-26 | 2020-06-26 | 腾讯科技(深圳)有限公司 | 深度图像生成方法、装置及存储介质 |
CN111445459A (zh) * | 2020-03-27 | 2020-07-24 | 广东工业大学 | 一种基于深度孪生网络的图像缺陷检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112700483A (zh) | 2021-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11748618B2 (en) | Methods for obtaining normal vector, geometry and material of three-dimensional objects based on neural network | |
Zheng et al. | Soil particle size and shape distributions by stereophotography and image analysis | |
CN106683068B (zh) | 一种三维数字化图像采集方法 | |
CN113205593B (zh) | 一种基于点云自适应修复的高反光表面结构光场三维重建方法 | |
Kang et al. | Learning efficient illumination multiplexing for joint capture of reflectance and shape. | |
CN111768452B (zh) | 一种基于深度学习的非接触式自动贴图方法 | |
MacDonald et al. | Polynomial texture mapping and 3d representations | |
Hess et al. | Application of multi-modal 2D and 3D imaging and analytical techniques to document and examine coins on the example of two Roman silver denarii | |
Mousavi et al. | The performance evaluation of multi-image 3D reconstruction software with different sensors | |
CN105678308A (zh) | 一种基于光照方向不一致性的图像拼接检测方法 | |
WO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
CN110458964B (zh) | 一种现实环境动态光照的实时计算方法 | |
US9204130B2 (en) | Method and system for creating a three dimensional representation of an object | |
CN117670961A (zh) | 基于深度学习的低空遥感影像多视立体匹配方法及系统 | |
CN112381751A (zh) | 一种基于图像处理算法的在线智能检测系统及方法 | |
WO2023028939A1 (zh) | 信息采集系统及其标定方法、装置及计算机可读存储介质 | |
CN112700483B (zh) | 用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质 | |
Budianti et al. | Background blurring and removal for 3d modelling of cultural heritage objects | |
CN112595262A (zh) | 一种基于双目结构光的高反光表面工件深度图像获取方法 | |
Puerta et al. | Photogrammetry as an engineering design tool | |
JP2024511083A (ja) | 高次元マテリアルの自由式収集方法 | |
CN115033998B (zh) | 一种面向机械零部件的个性化2d数据集构建方法 | |
CN111630368B (zh) | 物体识别方法、物体识别装置及具有存储功能的装置 | |
Zhu et al. | 3D Real-Scene Model of Oblique Photography Based on Retinex | |
CN116309327A (zh) | 一种用于电力施工的工程管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210423 Assignee: Jiangsu Zhiyun Tiangong Technology Co.,Ltd. Assignor: Shanghai Weiyi Intelligent Manufacturing Technology Co.,Ltd. Contract record no.: X2023980037729 Denomination of invention: Triple cone perspective fusion method, system, and medium for improving surface defect detection accuracy Granted publication date: 20230217 License type: Common License Record date: 20230707 |