CN116523803A - 图像处理方法、阴影去除方法、装置、设备和存储介质 - Google Patents
图像处理方法、阴影去除方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116523803A CN116523803A CN202310806698.5A CN202310806698A CN116523803A CN 116523803 A CN116523803 A CN 116523803A CN 202310806698 A CN202310806698 A CN 202310806698A CN 116523803 A CN116523803 A CN 116523803A
- Authority
- CN
- China
- Prior art keywords
- image
- shadow
- weld bead
- simulated
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 239000011324 bead Substances 0.000 claims abstract description 473
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000003466 welding Methods 0.000 claims description 152
- 238000004590 computer program Methods 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 20
- 238000001514 detection method Methods 0.000 description 17
- 238000007789 sealing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法、阴影去除方法、装置、设备和存储介质。所述方法通过获取焊道图像对应的阴影掩码图像,并提取焊道图像中的非阴影区域,得到模拟非阴影图像,再将阴影掩码图像和模拟非阴影图像输入至生成网络,得到模拟焊道图像,其中模拟非阴影图像和模拟焊道图像用于训练阴影去除模型。上述方法通过对焊道图像进行处理,得到了模拟焊道图像和模拟非阴影图像,且该模拟焊道图像和模拟非阴影图像可以组成图像样本对用于有效训练阴影去除模型,所以可以通过上述方法获取大量的图像样本对来训练阴影去除模型,在一定程度上弥补了因真实的无焊道阴影图片稀缺而导致训练阴影去除模型效果不佳的问题。
Description
技术领域
本申请涉及电池检测技术领域,特别是涉及一种图像处理方法、阴影去除方法、装置和存储介质。
背景技术
密封钉焊道存在阴影,当对包含密封钉焊道的焊道图像进行异常检测时,密封钉焊道的阴影区域会影响检测模型对爆点等异常问题的检测,从而导致检测模型的漏检或误检等问题。因此,在对焊道图像进行检测前,需要将焊道图像中的阴影区域去除。
传统去除阴影的方法通常需要真实的无阴影图片进行有效的监督,但是密封钉焊道无阴影图片获取难度大,导致上述检测模型的训练效果不佳。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提升训练效果的图像处理方法、阴影去除方法、装置、设备和存储介质。
第一方面,本申请实施例提供了一种图像处理方法。所述方法包括:
获取焊道图像对应的阴影掩码图像;
提取所述焊道图像中的非阴影区域,得到模拟非阴影图像;
将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到模拟焊道图像;所述模拟非阴影图像和所述模拟焊道图像用于训练阴影去除模型。
本申请实施例提供的图像处理方法通过对焊道图像进行处理,得到了模拟焊道图像和模拟非阴影图像,且该模拟焊道图像和模拟非阴影图像可以组成图像样本对用于有效训练阴影去除模型,所以可以通过上述方法获取大量的图像样本对来训练阴影去除模型,在一定程度上弥补了因真实的无焊道阴影图片稀缺而导致训练阴影去除模型效果不佳的问题。
在其中一个实施例中,所述获取焊道图像对应的阴影掩码图像,包括:
将所述焊道图像输入至焊道掩码提取网络,得到焊道掩码图像;
从所述焊道掩码图像中提取阴影区域的图像,得到所述阴影掩码图像。
本申请实施例提供的获取阴影掩码图像的方法,通过先得到焊道掩码图像,再基于对焊道掩码图像的处理,可以得到阴影掩码图像,相比于传统直接对焊道图像中的阴影区域进行分割得到阴影掩码图像的方法,本方法中的焊道掩码图像相对于焊道图像,其包含相对较少的背景信息,所以基于该焊道掩码图像进行阴影区域的分割,相比于基于焊道图像进行阴影区域的分割,在一定程度上可以提高阴影分割的准确性,从而可以得到较为准确的阴影掩码图像。
在其中一个实施例中,所述从所述焊道掩码图像中提取阴影区域的图像,得到所述阴影掩码图像,包括:
将所述焊道掩码图像进行二值化处理,得到处理后的焊道掩码图像;
从所述处理后的焊道掩码图像中提取连续区域的图像,得到所述阴影掩码图像。
本申请实施例提供的提取阴影区域的方法,仅包含对焊道掩码图像进行二值化处理和连续区域的提取处理两部分的操作,该方法简单易于实现,可以在一定程度上提升阴影掩码图像的生成速度。
在其中一个实施例中,所述方法还包括:
将所述焊道掩码图像进行色彩空间转换,得到转换后的焊道掩码图像;
所述将所述焊道掩码图像进行二值化处理,得到处理后的焊道掩码图像,包括:
将所述转换后的焊道掩码图像进行二值化处理,得到处理后的焊道掩码图像。
本申请实施例提出对焊道掩码图像进行色彩空间转换后再进行二值化处理,可以提高二值化处理的准确性,从而得到更为准确的包含阴影区域的二值化处理后的焊道掩码图像。
在其中一个实施例中,所述将所述焊道掩码图像进行色彩空间转换,得到转换后的焊道掩码图像,包括:
将所述焊道掩码图像由RGB色彩空间转换到LAB色彩空间,得到转换后的焊道掩码图像。
本申请实施例提出对焊道掩码图像进行LAB色彩空间转换后再进行二值化处理,可以提高二值化处理的准确性,从而得到更为准确的包含阴影区域的二值化处理后的焊道掩码图像。
在其中一个实施例中,所述将所述转换后的焊道掩码图像进行二值化处理,得到处理后的焊道掩码图像,包括:
将所述转换后的焊道掩码图像中亮度值小于预设亮度阈值的像素点的灰度值设置为第一值;
将所述转换后的焊道掩码图像中亮度值不小于预设亮度阈值的像素点的灰度值设置为第二值;所述第一值大于所述第二值。
第二方面,本申请实施例提供了一种阴影去除模型的训练方法。所述方法包括:
获取样本图像对;所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
根据所述样本图像对训练初始阴影去除模型,得到所述阴影去除模型。
本申请实施例所述的训练方法基于模拟非阴影图像和模拟焊道图像进行训练,在一定程度上可以扩充样本集,进而提高阴影去除模型的训练效果。
第三方面,本申请实施例提供了一种阴影去除方法。所述方法包括:
获取待处理焊道图像;
将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于样本图像对训练得到的,所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
本申请实施例所述的阴影去除方法,由于阴影去除模型是基于模拟非阴影图像和模拟焊道图像组成的样本图像对训练得到,而模拟非阴影图像和模拟焊道图像比较容易获得,因此阴影去除模型在大量样本训练的情况下,其训练效果极佳,进而在一定程度上可以提高阴影去除模型的去除准确性。
第四方面,本申请还提供了一种图像处理装置。所述装置包括:
获取模块,用于获取焊道图像和对应的阴影掩码图像;
提取模块,用于提取所述焊道图像中的非阴影区域,得到模拟非阴影图像;
处理模块,用于将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到目标图像对;所述目标图像对包括所述模拟非阴影图像和模拟焊道图像;所述目标图像对用于训练阴影去除模型。
第五方面,本申请还提供了一种阴影去除模型的训练装置。所述装置包括:
获取模块,用于获取目标图像对;所述目标图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
训练模块,用于将所述模拟非阴影图像作为监督信号,根据所述模拟焊道图像对初始阴影去除模型进行训练,得到所述阴影去除模型。
第六方面,本申请还提供了一种阴影去除装置。所述装置包括:
获取模块,用于获取待处理焊道图像;
去除模块,用于将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于目标图像对训练得到的,所述目标图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
第七方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取焊道图像对应的阴影掩码图像;
提取所述焊道图像中的非阴影区域,得到模拟非阴影图像;
将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到模拟焊道图像;所述模拟非阴影图像和所述模拟焊道图像用于训练阴影去除模型。
第八方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取样本图像对;所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
根据所述样本图像对训练初始阴影去除模型,得到所述阴影去除模型。
第九方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待处理焊道图像;
将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于样本图像对训练得到的,所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
第十方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取焊道图像对应的阴影掩码图像;
提取所述焊道图像中的非阴影区域,得到模拟非阴影图像;
将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到模拟焊道图像;所述模拟非阴影图像和所述模拟焊道图像用于训练阴影去除模型。
第十一方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取样本图像对;所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
根据所述样本图像对训练初始阴影去除模型,得到所述阴影去除模型。
第十二方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待处理焊道图像;
将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于样本图像对训练得到的,所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
第十三方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取焊道图像对应的阴影掩码图像;
提取所述焊道图像中的非阴影区域,得到模拟非阴影图像;
将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到模拟焊道图像;所述模拟非阴影图像和所述模拟焊道图像用于训练阴影去除模型。
第十四方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取样本图像对;所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
根据所述样本图像对训练初始阴影去除模型,得到所述阴影去除模型。
第十五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待处理焊道图像;
将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于样本图像对训练得到的,所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读对下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在全部附图中,用相同的附图标号表示相同的部件。在附图中:
图1为一个实施例中计算机设备的内部结构示意图;
图2为一个实施例中图像处理方法的流程示意图;
图3为另一个实施例中图像处理方法的流程示意图;
图4为另一个实施例中图像处理方法的流程示意图;
图5为另一个实施例中图像处理方法的流程示意图;
图6为一个实施例中分割网络的结构框图;
图7为一个实施例中阴影掩码图像的示意图;
图8为另一个实施例中图像处理方法的流程示意图;
图9为另一个实施例中图像处理方法的流程示意图;
图10为另一个实施例中图像处理方法的流程示意图;
图11为一个实施例中阴影去除效果的示意图;
图12为一个实施例中图像处理装置的结构框图;
图13为一个实施例中阴影去除模型的训练装置的结构框图;
图14为一个实施例中阴影去除装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。
在本申请实施例的描述中,技术术语“第一”“第二”等仅用于区别不同对象,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在锂电池生产过程中,通常会对密封钉焊道进行异常检测,从而减少焊道上缺陷对产品质量的影响。目前经常使用机器视觉方法对焊道图像中的缺陷进行检测,但是,在实际的焊道的工业图像中密封钉焊道存在阴影,当对该焊道的工业图像包进行异常检测时,密封钉焊道的阴影区域会极大的影响检测模型的检测效果,会相应导致检测模型的漏检或误检等问题。因此,在对焊道的工业图像进行检测前,需要将焊道的工业图像中的阴影区域去除。而相关去除阴影的方法通常需要真实的无阴影图片进行有效的监督,从而训练出用于阴影去除模型,但是密封钉焊道无阴影图片获取难度大,导致上述阴影去除模型的训练效果不佳。本申请实施例提出了一种图像处理方法,旨在解决上述问题。下面实施例将详细说明该方法。
本申请实施例提供的图像集处理方法,可以应用于如图1所示的计算机设备中。该计算机设备可以是终端,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,如图2所示,提供了一种图像处理方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
S201,获取焊道图像对应的阴影掩码图像。
其中,焊道图像为一种真实的密封钉焊道的工业图像。阴影掩码图像为焊道图像中密封钉焊道的阴影的掩码图像,阴影掩码图像中包括阴影区域的掩码。
本申请实施例中,在电池生产制造过程中产生焊道图像时,计算机设备可以连接相应的图像采集装置采集焊道图像;可选的,计算机设备也可以从云端服务器或网络上下载得到焊道图像。当计算机设备获取到焊道图像时,可以对该焊道图像中的密封钉焊道的阴影进行分割,得到该焊道图像对应的阴影掩码图像,具体的,将焊道图像输入至预先训练好的阴影分割网络中进行阴影分割,得到焊道图像对应的阴影掩码图像;可选的,计算机设备也可以从云端服务器或网络上直接下载得到焊道图像和其对应的阴影掩码图像。
S202,提取焊道图像中的非阴影区域,得到模拟非阴影图像。
其中,非阴影区域包含焊道图像中的密封钉焊道所占区域和其他背景所占区域。模拟非阴影图像中包含非阴影区域的掩码。
本申请实施例中,当计算机设备获取到焊道图像时,可以对该焊道图像中的非阴影区域进行分割,得到该非阴影区域对应的图像,即模拟非阴影图像;可选的,计算机设备还可以提取焊道图像的特征,并根据该特征识别焊道图像中的非阴影区域,再根据识别出的非阴影区域得到模拟非阴影图像。
S203,将阴影掩码图像和模拟非阴影图像输入至生成网络,得到模拟焊道图像,模拟非阴影图像和模拟焊道图像用于训练阴影去除模型。
其中,模拟焊道图像中包含焊道区域的掩码、阴影区域的掩码、背景区域的掩码。生成网络可以为一种神经网络模型,用于将阴影掩码图像和模拟非阴影图像进行融合,生成模拟焊道图像。
本申请实施例中,当计算机设备获取到阴影掩码图像和模拟非阴影图像时,可以将阴影掩码图像和模拟非阴影图像输入至预先训练好的生成网络中进行图像生成,得到模拟焊道图像。之后,计算机设备可以根据机器学习算法构建初始阴影去除模型,然后将模拟焊道图像和模拟非阴影图像组成图像样本对,并将该图像样本对输入至初始阴影去除模型进行训练,得到训练后的阴影去除模型,使训练后的阴影去除模型能够去除焊道图像中的焊道阴影,从而得到去除阴影后的焊道图像,以便之后基于去除阴影后的焊道图像进行检测。
本申请实施例提供的图像处理方法,通过获取焊道图像对应的阴影掩码图像,并提取焊道图像中的非阴影区域,得到模拟非阴影图像,再将阴影掩码图像和模拟非阴影图像输入至生成网络,得到模拟焊道图像,其中模拟非阴影图像和模拟焊道图像用于训练阴影去除模型。上述方法通过对焊道图像进行处理,得到了模拟焊道图像和模拟非阴影图像,且该模拟焊道图像和模拟非阴影图像可以组成图像样本对用于有效训练阴影去除模型,所以可以通过上述方法获取大量的图像样本对来训练阴影去除模型,在一定程度上弥补了因真实的无焊道阴影图片稀缺而导致训练阴影去除模型效果不佳的问题。
在一个实施例中,如图3所示,提供了一种获取阴影掩码图像的方法,即上述S201“获取焊道图像对应的阴影掩码图像”,包括:
S301,将焊道图像输入至焊道掩码提取网络,得到焊道掩码图像。
其中,焊道掩码提取网络可以为一种神经网络模型,用于提取焊道图像中的焊道特征,或对焊道图像中的焊道区域进行分割,得到焊道掩码图像。焊道掩码图像中包括焊道区域的掩码,也包括焊道阴影的掩码。
本申请实施例中,当计算机设备获取到焊道图像时,可以将焊道图像输入至预先训练好的焊道掩码提取网络中进行焊道特征提取或焊道区域分割,得到焊道掩码图像。需要说明的是,由于焊道阴影的目标非常小,且伴随焊道,所以当对焊道区域分割时,得到焊道掩码图像中通常会包含焊道区域的掩码,也会包含焊道阴影的掩码。
S302,从焊道掩码图像中提取阴影区域的图像,得到阴影掩码图像。
其中,阴影区域包含焊道掩码图像中的阴影所占区域。
本申请实施例中,当计算机设备获取到焊道掩码图像时,可以进一步的对该焊道掩码图像中的阴影区域进行分割,得到该阴影区域对应的图像,即阴影掩码图像;可选的,计算机设备还可以对该焊道掩码图像进行裁剪,得到该阴影区域对应的图像,即阴影掩码图像;可选的,计算机设备还可以提取焊道掩码图像的阴影特征,并根据该阴影特征识别焊道掩码图像中的阴影区域,再根据识别出的阴影区域得到阴影掩码图像。
本申请实施例提供的获取阴影掩码图像的方法,通过先得到焊道掩码图像,再基于对焊道掩码图像的处理,可以得到阴影掩码图像,相比于传统直接对焊道图像中的阴影区域进行分割得到阴影掩码图像的方法,本方法中的焊道掩码图像相对于焊道图像,其包含相对较少的背景信息,所以基于该焊道掩码图像进行阴影区域的分割,相比于基于焊道图像进行阴影区域的分割,在一定程度上可以提高阴影分割的准确性,从而可以得到较为准确的阴影掩码图像。
在一个实施例中,如图4所示,提供了一种从焊道掩码图像中提取阴影区域的方法,即上述S302“从焊道掩码图像中提取阴影区域的图像,得到阴影掩码图像”,包括:
S401,将焊道掩码图像进行二值化处理,得到处理后的焊道掩码图像。
其中,处理后的焊道掩码图像中灰度值为0的像素点对应焊道掩码图像中焊道区域的像素点,处理后的焊道掩码图像中灰度值为1的像素点对应焊道掩码图像中焊道阴影区域的像素点。
本申请实施例中,当计算机设备获取到焊道掩码图像时,可以先对焊道掩码图像进行二值化处理,具体的,可以将焊道掩码图像中灰度值小于预设灰度阈值的像素点的灰度值设置为第一数值(例如1),以及将焊道掩码图像中灰度值不小于预设灰度阈值的像素点的灰度值设置为第二数值(例如0),得到二值化处理后的焊道掩码图像,其中的第二数值小于第一数值。需要说明的是,在原始的焊道掩码图像中灰度值小于预设灰度阈值的像素点是对应焊道掩码图像中的焊道阴影所在区域;在原始的焊道掩码图像中灰度值不小于预设灰度阈值的像素点对应焊道掩码图像中的焊道所在区域。由于需要后期从二值化处理后焊道掩码图像提取阴影区域,而在实际应用中,阴影区域对应的像素点的灰度值一般小于焊道区域对应的像素点的灰度值,所以在具体二值化处理过程中,将焊道掩码图像中灰度值小于预设灰度阈值的像素点的灰度值设置为较大的数值,将焊道掩码图像中灰度值不小于预设灰度阈值的像素点的灰度值设置为较小的数值,就可以在最后处理后的焊道掩码图像中清楚的区别显示出阴影区域,以便之后基于阴影区域的图像得到阴影掩码图像。另外,上述预设灰度阈值可以根据实际焊道和焊道阴影的亮度对比结果确定。
S402,从处理后的焊道掩码图像中提取连续区域的图像,得到阴影掩码图像。
本申请实施例中,由于处理后的焊道掩码图像中还可能包括非阴影区域,所以在计算机设备得到处理后的焊道掩码图像后,还需要从处理后的焊道掩码图像中提取真正属于阴影区域的图像,从而得到包含阴影区域的图像,即阴影掩码图像。而一般阴影区域为连续的区域,具体可以为连续像素点所占区域,所以在上述提取真正属于阴影区域的图像时,可以从处理后的焊道掩码图像中提取连续区域的图像;可选的,计算机设备在提取连续区域的图像时,可以先确定处理后的焊道掩码图像中的连续区域,具体可以根据连续像素点对应区域的面积大小来确定处理后的焊道掩码图像中的连续区域,例如,设置面积阈值,将处理后的焊道掩码图像中大于面积阈值的连续像素点对应的区域确定为连续区域;可选的,也可以根据连续像素点的数量来确定处理后的焊道掩码图像中的连续区域,例如,设置数量阈值,将处理后的焊道掩码图像中大于数量阈值的连续像素点对应的区域确定为连续区域。
本申请实施例提供的提取阴影区域的方法,仅包含对焊道掩码图像进行二值化处理和连续区域的提取处理两部分的操作,该方法简单易于实现,可以在一定程度上提升阴影掩码图像的生成速度。
在一个实施例中,计算机设备在对焊道掩码图像进行二值化处理之前,还可以对焊道掩码图像进行亮度处理,即上述图4所述的方法,如图5所示,还包括步骤:
S403,将焊道掩码图像进行色彩空间转换,得到转换后的焊道掩码图像。
本申请实施例中,计算机设备可以将焊道掩码图像中各像素点对应的灰度值转换为亮度值,再由各像素点对应的亮度值重建得到转换后的焊道掩码图像,以便之后计算机设备可以基于转换后的焊道掩码图像上各像素点的亮度值对焊道掩码图像进行二值化处理,使得到更为准确的包含阴影区域的二值化处理后的焊道掩码图像。
本申请实施例提出对焊道掩码图像进行色彩空间转换后再进行二值化处理,可以提高二值化处理的准确性,从而得到更为准确的包含阴影区域的二值化处理后的焊道掩码图像。
可选的,计算机设备可以将焊道掩码图像由RGB色彩空间转换到LAB色彩空间,得到转换后的焊道掩码图像。
其中,RGB为一种三原色的色彩模式,其中,R代表红色red,G代表绿色Green,B代表蓝色Blue。LAB为另一种的色彩模式,其中,L代表红色亮度,A代表红绿色,B代表黄蓝色。
本申请实施例中,计算机设备可以将焊道掩码图像中各像素点对应的RGB值转换为LAB值,再由各像素点对应的LAB值重建得到转换后的焊道掩码图像,以便之后计算机设备可以基于转换后的焊道掩码图像上各像素点的LAB值对焊道掩码图像进行二值化处理,使得到更为准确的包含阴影区域的二值化处理后的焊道掩码图像。
本申请实施例提出对焊道掩码图像进行LAB色彩空间转换后再进行二值化处理,可以提高二值化处理的准确性,从而得到更为准确的包含阴影区域的二值化处理后的焊道掩码图像。
对应的,计算机设备在执行上述S401的步骤时,具体执行:将转换后的焊道掩码图像进行二值化处理,得到处理后的焊道掩码图像。
其中,处理后的焊道掩码图像中灰度值为0的像素点对应焊道掩码图像中焊道区域的像素点,处理后的焊道掩码图像中灰度值为1的像素点对应焊道掩码图像中焊道阴影区域的像素点。
本申请实施例中,当计算机设备获取到色彩空间转换后的焊道掩码图像时,可以先对该焊道掩码图像进行二值化处理,具体的,可以将该焊道掩码图像中亮度值小于预设亮度阈值的像素点的亮度值设置为第一值(例如1),以及将该焊道掩码图像中亮度值不小于预设亮度阈值的像素点的亮度值设置为第二值(例如0),得到二值化处理后的焊道掩码图像,其中的第一值大于第二值。需要说明的是,转换后的焊道掩码图像中亮度值小于预设亮度阈值的像素点对应焊道掩码图像中的焊道阴影所在区域;转换后的焊道掩码图像中亮度值不小于预设亮度阈值的像素点对应焊道掩码图像中的焊道所在区域。由于需要后期从二值化处理后焊道掩码图像提取阴影区域,而在实际应用中,阴影区域对应的像素点的亮度值一般小于焊道区域对应的像素点的亮度值,所以在具体二值化处理过程中,将焊道掩码图像中亮度值小于预设亮度阈值的像素点的亮度值设置为较大的数值,将焊道掩码图像中亮度值不小于预设亮度阈值的像素点的亮度值设置为较小的数值,就可以在最后处理后的焊道掩码图像中清楚的区别显示出阴影区域,以便之后基于阴影区域的图像得到阴影掩码图像。另外,上述预设亮度阈值可以根据实际焊道和焊道阴影的亮度对比结果确定。
本申请实施例所述的二值化处理方法,根据图像中的亮度值进行二值化处理,与实际焊道图像中焊道区域和阴影区域的亮度情况匹配,所以在一定程度上可以得到准确的焊道掩码图像。
综合上述所有实施例所述的图像处理方法,本申请实施例提供了一种阴影掩码图像的分割网络,如图6所示,该分割网络包括焊道掩码提取模块、色彩转换模块、二值化处理模块、区域提取模块;应用该分割网络生成阴影掩码图像的方法包括:将焊道图像输入至焊道掩码提取网络进行焊道特征提取,得到焊道掩码图像(可以简称为焊道mask),再将焊道掩码图像输入至色彩转换模块进行RGB色彩空间到LAB色彩空间的转换,得到转换后的焊道掩码图像,再将转换后的焊道掩码图像输入至二值化处理模块进行图像亮度的二值化处理,得到处理后的焊道掩码图像,最后将处理后的焊道掩码图像输入至区域提取模块进行连续区域提取,从而得到阴影掩码图像。示例性说明通过上述分割网络得到阴影掩码图像的效果,参见图7所示,其中,a图为焊道图像,b为阴影掩码图像。
综合上述所有实施例所述的图像处理方法,本申请实施例还提供了一种图像处理方法,如图8所示,该方法包括:
S501,获取焊道图像。
S502,将焊道图像输入至焊道掩码提取网络,得到焊道掩码图像。
S503,将焊道掩码图像由RGB色彩空间转换到LAB色彩空间,得到转换后的焊道掩码图像。
S504,将转换后的焊道掩码图像中亮度值小于预设亮度阈值的像素点的灰度值设置为1,对应的,将转换后的焊道掩码图像中亮度值不小于预设亮度阈值的像素点的灰度值设置为0。
S505,从处理后的焊道掩码图像中提取连续区域的图像,得到阴影掩码图像。
S506,提取焊道图像中的非阴影区域,得到模拟非阴影图像。
S507,将阴影掩码图像和模拟非阴影图像输入至生成网络,得到模拟焊道图像,模拟非阴影图像和模拟焊道图像用于训练阴影去除模型。
上述各步骤在前述内容中均有说明,详细内容请参见前述说明,此处不赘述。
传统的阴影去除模型着眼于在给定一张真实的有阴影的焊道图片和无阴影的焊道图片进行训练,从而得到可以有效去除阴影的阴影去除模型。但是在训练过程中需要真实的无阴影的焊道图片进行监督训练,而无阴影的焊道图片难以获取,会影响训练阴影去除模型的效果,所以本申请实施例提供的图像处理方法可以提升阴影去除模型的训练效果。
在一个实施例中,基于上述任一实施例所述的图像处理方法,本申请还提供了一种阴影去除模型的训练方法,如图9所示,该训练方法包括:
S601,获取样本图像对;样本图像对包括模拟非阴影图像和模拟焊道图像;模拟焊道图像是生成网络根据模拟非阴影图像和阴影掩码图像生成;模拟非阴影图像通过提取焊道图像中的非阴影区域得到;阴影掩码图像为焊道图像对应的阴影掩码图像。
本申请实施例涉及样本图像对的获取方法,即模拟非阴影图像和模拟焊道图像的获取方法,而该获取方法可以基于前述图2-图8任一实施例所述的图像处理方法得到,详细内容请参见前述说明,此处不赘述。
S602,根据所样本图像对训练初始阴影去除模型,得到阴影去除模型。
本申请实施例中,当计算机设备获取到样本图像对时,可以将该样本图像对中的模拟非阴影图像作为监督信号,以及将该样本图像对中的模拟焊道图像输入至构建的初始阴影去除模型进行训练,从而得到阴影去除模型,以便之后可以基于训练好的阴影去除模型对焊道图像中的阴影区域进行去除处理。可选的,计算机设备获取到样本图像对时,还可以采用对抗训练的方式训练初始阴影去除模型,即,将初始的生成网络和初始阴影去除模型组成对抗网络,并将阴影掩码图像和模拟非阴影图像组成样本图像对,并输入至初始的生成网络,得到模拟焊道图像,再将该模拟焊道图像输入至初始阴影去除模型,得到去除阴影后的非阴影图像,最后根据去除阴影后的非阴影图像和模拟非阴影图像之间的相似度确定目标损失,并根据该目标损失进行对抗训练,得到训练后的生成网络和阴影去除模型。
相应的,本申请实施例提供的训练方法可以应用于图10所示的训练网络,该训练网络包括非阴影区域提取模块、初始生成模型和初始阴影去除模型;应用该训练网络训练阴影去除模型的训练方法包括:获取焊道图像,并将焊道图像输入至非阴影区域提取模块进行非阴影区域提取,得到模拟非阴影图像;再获取焊道图像对应的阴影掩码图像,并将阴影掩码图像和模拟非阴影图像输入至初始生成模型,得到模拟焊道图像;再将模拟焊道图像输入至初始阴影去除模型,得到输出的非阴影图像,最后计算初始阴影去除模型输出的非阴影图像和初始生成模型输入侧的模拟非阴影图像之间的相似度,并根据该相似度分别调整初始阴影生成模型和初始阴影去除模型各自的参数,直到上述相似度满足训练要求为止,最后得到的初始阴影去除模型即为训练好的阴影去除模型。本方法采用了对抗训练的方法,同时提升阴影生成模型和阴影去除模型的训练效果。
本申请实施例所述的训练方法基于模拟非阴影图像和模拟焊道图像进行训练,在一定程度上可以扩充样本集,进而提高阴影去除模型的训练效果。
在一个实施例中,基于上述任一实施例所述的图像处理方法,本申请实施例还提供了一种阴影去除方法,如图10所示,该方法包括:
S701,获取待处理焊道图像。
本申请实施例中,在电池生产制造过程中产生焊道图像时,计算机设备可以连接相应的图像采集装置获取该焊道图像作为待处理焊道图像。
S702,将待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;阴影去除模型是基于样本图像对训练得到的,样本图像对包括模拟非阴影图像和模拟焊道图像;模拟焊道图像是生成网络根据模拟非阴影图像和阴影掩码图像生成;模拟非阴影图像通过提取焊道图像中的非阴影区域得到;阴影掩码图像为焊道图像对应的阴影掩码图像。
其中,阴影去除模型为一种训练好的神经网络,该阴影去除模型用于对输入图像中的阴影进行去除处理。具体的,阴影去除模型可以基于图9实施例所述的训练方法得到。
本申请实施例中,当计算机设备获取到待处理焊道图像时,即可将待处理焊道图像输入至预先训练好的阴影去除模型中进行阴影去除,得到去除阴影后的焊道图像。其中,阴影去除模型可以基于图9实施例所述的训练方法得到,以及训练阴影去除模型所需的样本图像对包括模拟非阴影图像和模拟焊道图像,关于模拟非阴影图像和模拟焊道图像的获取方法可以基于前述图2-图8任一实施例所述的图像处理方法得到,详细内容请参见前述说明,此处不赘述。
本申请实施例所述的阴影去除方法,由于阴影去除模型是基于模拟非阴影图像和模拟焊道图像组成的样本图像对训练得到,而模拟非阴影图像和模拟焊道图像比较容易获得,因此阴影去除模型在大量样本训练的情况下,其训练效果极佳,进而在一定程度上可以提高阴影去除模型的去除准确性。
示例性说明本实施例所述的阴影去除方法的效果,参见图11,其中,a图表示包括阴影的焊道图像,b图表示去除阴影的焊道图像,可见,通过上述方法所述的阴影去除方法,可以有效的去除焊道内阴影,从而便于后期基于去除阴影后的焊道图像进行缺陷检测时,可以在一定程度上降低漏检或误检率,进而提高检测准确性。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。
在一个实施例中,如图12所示,提供了一种图像处理装置,包括:
获取模块10,用于获取焊道图像和对应的阴影掩码图像。
提取模块11,用于提取所述焊道图像中的非阴影区域,得到模拟非阴影图像。
处理模块12,用于将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到目标图像对;所述目标图像对包括所述模拟非阴影图像和模拟焊道图像;所述目标图像对用于训练阴影去除模型。
在一个实施例中,如图13所示,提供了一种阴影去除模型的训练装置,包括:
获取模块20,用于获取目标图像对;所述目标图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
训练模块21,用于将所述模拟非阴影图像作为监督信号,根据所述模拟焊道图像对初始阴影去除模型进行训练,得到所述阴影去除模型。
在一个实施例中,如图14所示,提供了一种阴影去除装置,包括:
获取模块30,用于获取待处理焊道图像;
去除模块31,用于将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于目标图像对训练得到的,所述目标图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
上述图像处理阴影去除模型的训练、阴影去除模型的训练装置和阴影去除装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取焊道图像对应的阴影掩码图像;
提取所述焊道图像中的非阴影区域,得到模拟非阴影图像;
将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到模拟焊道图像;所述模拟非阴影图像和所述模拟焊道图像用于训练阴影去除模型。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取样本图像对;所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
根据所述样本图像对训练初始阴影去除模型,得到所述阴影去除模型。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待处理焊道图像;
将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于样本图像对训练得到的,所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
上述实施例提供的一种计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取焊道图像对应的阴影掩码图像;
提取所述焊道图像中的非阴影区域,得到模拟非阴影图像;
将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到模拟焊道图像;所述模拟非阴影图像和所述模拟焊道图像用于训练阴影去除模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取样本图像对;所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
根据所述样本图像对训练初始阴影去除模型,得到所述阴影去除模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待处理焊道图像;
将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于样本图像对训练得到的,所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
上述实施例提供的一种计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取焊道图像对应的阴影掩码图像;
提取所述焊道图像中的非阴影区域,得到模拟非阴影图像;
将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到模拟焊道图像;所述模拟非阴影图像和所述模拟焊道图像用于训练阴影去除模型。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取样本图像对;所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
根据所述样本图像对训练初始阴影去除模型,得到所述阴影去除模型。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待处理焊道图像;
将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于样本图像对训练得到的,所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
上述实施例提供的一种计算机程序产品,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种图像处理方法,其特征在于,所述方法包括:
获取焊道图像对应的阴影掩码图像;
提取所述焊道图像中的非阴影区域,得到模拟非阴影图像;
将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到模拟焊道图像;所述模拟非阴影图像和所述模拟焊道图像用于训练阴影去除模型。
2.根据权利要求1所述的方法,其特征在于,所述获取焊道图像对应的阴影掩码图像,包括:
将所述焊道图像输入至焊道掩码提取网络,得到焊道掩码图像;
从所述焊道掩码图像中提取阴影区域的图像,得到所述阴影掩码图像。
3.根据权利要求2所述的方法,其特征在于,所述从所述焊道掩码图像中提取阴影区域的图像,得到所述阴影掩码图像,包括:
将所述焊道掩码图像进行二值化处理,得到处理后的焊道掩码图像;
从所述处理后的焊道掩码图像中提取连续区域的图像,得到所述阴影掩码图像。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
将所述焊道掩码图像进行色彩空间转换,得到转换后的焊道掩码图像;
所述将所述焊道掩码图像进行二值化处理,得到处理后的焊道掩码图像,包括:
将所述转换后的焊道掩码图像进行二值化处理,得到处理后的焊道掩码图像。
5.根据权利要求4所述的方法,其特征在于,所述将所述焊道掩码图像进行色彩空间转换,得到转换后的焊道掩码图像,包括:
将所述焊道掩码图像由RGB色彩空间转换到LAB色彩空间,得到转换后的焊道掩码图像。
6.根据权利要求4所述的方法,其特征在于,所述将所述转换后的焊道掩码图像进行二值化处理,得到处理后的焊道掩码图像,包括:
将所述转换后的焊道掩码图像中亮度值小于预设亮度阈值的像素点的灰度值设置为第一值;
将所述转换后的焊道掩码图像中亮度值不小于预设亮度阈值的像素点的灰度值设置为第二值;所述第一值大于所述第二值。
7.一种阴影去除模型的训练方法,其特征在于,所述训练方法包括:
获取样本图像对;所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
根据所述样本图像对训练初始阴影去除模型,得到所述阴影去除模型。
8.一种阴影去除方法,其特征在于,所述阴影去除方法包括:
获取待处理焊道图像;
将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于样本图像对训练得到的,所述样本图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
9.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取焊道图像和对应的阴影掩码图像;
提取模块,用于提取所述焊道图像中的非阴影区域,得到模拟非阴影图像;
处理模块,用于将所述阴影掩码图像和所述模拟非阴影图像输入至生成网络,得到目标图像对;所述目标图像对包括所述模拟非阴影图像和模拟焊道图像;所述目标图像对用于训练阴影去除模型。
10.一种阴影去除模型的训练装置,其特征在于,所述装置包括:
获取模块,用于获取目标图像对;所述目标图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像;
训练模块,用于将所述模拟非阴影图像作为监督信号,根据所述模拟焊道图像对初始阴影去除模型进行训练,得到所述阴影去除模型。
11.一种阴影去除装置,其特征在于,所述装置包括:
获取模块,用于获取待处理焊道图像;
去除模块,用于将所述待处理焊道图像输入至阴影去除模型进行阴影去除,得到去除阴影后的焊道图像;所述阴影去除模型是基于目标图像对训练得到的,所述目标图像对包括模拟非阴影图像和模拟焊道图像;所述模拟焊道图像是生成网络根据所述模拟非阴影图像和阴影掩码图像生成;所述模拟非阴影图像通过提取焊道图像中的非阴影区域得到;所述阴影掩码图像为所述焊道图像对应的阴影掩码图像。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310806698.5A CN116523803B (zh) | 2023-07-04 | 2023-07-04 | 图像处理方法、阴影去除方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310806698.5A CN116523803B (zh) | 2023-07-04 | 2023-07-04 | 图像处理方法、阴影去除方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116523803A true CN116523803A (zh) | 2023-08-01 |
CN116523803B CN116523803B (zh) | 2023-11-14 |
Family
ID=87390725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310806698.5A Active CN116523803B (zh) | 2023-07-04 | 2023-07-04 | 图像处理方法、阴影去除方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116523803B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005202807A (ja) * | 2004-01-19 | 2005-07-28 | Hitachi Software Eng Co Ltd | 陰影部輝度を補正可能なプログラム及び陰影部輝度補正方法 |
CN112837251A (zh) * | 2020-12-31 | 2021-05-25 | 维沃移动通信有限公司 | 图像处理方法及装置 |
CN115146763A (zh) * | 2022-06-23 | 2022-10-04 | 重庆理工大学 | 一种非配对图像阴影去除方法 |
CN115546073A (zh) * | 2022-11-29 | 2022-12-30 | 昆明理工大学 | 地砖图像阴影去除方法、装置、计算机设备及存储介质 |
CN115620158A (zh) * | 2022-10-12 | 2023-01-17 | 中国地质大学(武汉) | 一种基于深度学习的高分辨率遥感影像阴影去除方法 |
CN115619675A (zh) * | 2022-10-24 | 2023-01-17 | 浙江师范大学 | 基于图像融合与超分辨率的单图像阴影去除网络及其方法 |
-
2023
- 2023-07-04 CN CN202310806698.5A patent/CN116523803B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005202807A (ja) * | 2004-01-19 | 2005-07-28 | Hitachi Software Eng Co Ltd | 陰影部輝度を補正可能なプログラム及び陰影部輝度補正方法 |
CN112837251A (zh) * | 2020-12-31 | 2021-05-25 | 维沃移动通信有限公司 | 图像处理方法及装置 |
CN115146763A (zh) * | 2022-06-23 | 2022-10-04 | 重庆理工大学 | 一种非配对图像阴影去除方法 |
CN115620158A (zh) * | 2022-10-12 | 2023-01-17 | 中国地质大学(武汉) | 一种基于深度学习的高分辨率遥感影像阴影去除方法 |
CN115619675A (zh) * | 2022-10-24 | 2023-01-17 | 浙江师范大学 | 基于图像融合与超分辨率的单图像阴影去除网络及其方法 |
CN115546073A (zh) * | 2022-11-29 | 2022-12-30 | 昆明理工大学 | 地砖图像阴影去除方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
赵亚凤 等: "原木端面图像的阴影去除算法", 《东北林业大学学报》, vol. 44, no. 8, pages 92 - 96 * |
Also Published As
Publication number | Publication date |
---|---|
CN116523803B (zh) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021000702A1 (zh) | 图像检测方法、设备以及系统 | |
WO2022213879A1 (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
CN111369550A (zh) | 图像配准与缺陷检测方法、模型、训练方法、装置及设备 | |
CN111062854B (zh) | 检测水印的方法、装置、终端及存储介质 | |
CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
CN114863236A (zh) | 基于双重注意力机制的图像目标检测方法 | |
US20240071111A1 (en) | Method, apparatus and system for inspecting cell crush | |
WO2022194079A1 (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
CN111127358B (zh) | 图像处理方法、装置及存储介质 | |
CN114581646A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
CN109800151A (zh) | 屏幕适配性自动测试方法、装置、计算机设备和存储介质 | |
CN114218613A (zh) | 图像篡改检测方法、装置以及计算机可读存储介质 | |
CN111738272A (zh) | 一种目标特征提取方法、装置及电子设备 | |
CN116523803B (zh) | 图像处理方法、阴影去除方法、装置、设备和存储介质 | |
US11978189B2 (en) | Defect detection method and apparatus | |
JP2011087144A (ja) | テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム | |
US10631050B2 (en) | Determining and correlating visual context on a user device with user behavior using digital content on the user device | |
CN113065407B (zh) | 基于注意力机制和生成对抗网络的财务票据印章擦除方法 | |
CN115965848B (zh) | 一种图像处理方法和相关装置 | |
CN115861210B (zh) | 一种基于孪生网络的变电站设备异常检测方法和系统 | |
CN110662023B (zh) | 视频数据丢失的检测方法、装置及存储介质 | |
CN115761588A (zh) | 一种基于图像来源异常的Deepfake视频检测方法 | |
CN116095306A (zh) | 画面检测方法、装置、计算机设备和存储介质 | |
CN118071719A (zh) | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 | |
CN111028283A (zh) | 图像检测方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |