CN115131346B - 基于人工智能的发酵罐加工工序检测方法及系统 - Google Patents
基于人工智能的发酵罐加工工序检测方法及系统 Download PDFInfo
- Publication number
- CN115131346B CN115131346B CN202211038131.XA CN202211038131A CN115131346B CN 115131346 B CN115131346 B CN 115131346B CN 202211038131 A CN202211038131 A CN 202211038131A CN 115131346 B CN115131346 B CN 115131346B
- Authority
- CN
- China
- Prior art keywords
- texture
- image
- matching
- point
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000855 fermentation Methods 0.000 title claims abstract description 47
- 230000004151 fermentation Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 230000007547 defect Effects 0.000 claims abstract description 128
- 238000005286 illumination Methods 0.000 claims abstract description 105
- 230000004927 fusion Effects 0.000 claims abstract description 77
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000003287 optical effect Effects 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims description 66
- 230000000007 visual effect Effects 0.000 claims description 24
- 230000014759 maintenance of location Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000008439 repair process Effects 0.000 abstract description 3
- 230000002035 prolonged effect Effects 0.000 abstract 1
- 238000007499 fusion processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 229910001220 stainless steel Inorganic materials 0.000 description 2
- 239000010935 stainless steel Substances 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及缺陷检测技术领域，具体涉及一种基于人工智能的发酵罐加工工序检测方法及系统。该方法通过带有可见光光源的光学图像采集设备获得目标缺陷图像及其多个视角下的视角图像。通过图像的匹配融合消除了光照对内壁缺陷特征的影响，放大的缺陷特征。根据包含完整清楚的缺陷特征的融合图像训练缺陷识别神经网络，利用缺陷识别神经网络可快速准确的对待检测发酵罐内壁的缺陷进行检测。本发明通过对缺陷特征的放大训练出准确度高的神经网络对缺陷进行识别，实现了对发酵罐内壁缺陷的精准识别，且能够根据内壁缺陷针对性的制定修补工艺，提高了发酵罐的使用寿命和发酵罐生产工序的加工效率。
Description
技术领域
本发明涉及缺陷检测技术领域，具体涉及一种基于人工智能的发酵罐加工工序检测方法及系统。
背景技术
发酵罐为工业上用来进行微生物发酵的装置，其主体一般为不锈钢板制成的柱式圆筒。在发酵罐生产过程中，应保证发酵罐内壁光滑完整，防止细菌积累滋生。因此在发酵罐生产加工工序中应对发酵罐内壁的缺陷进行针对性检测。
在现有的缺陷检测过程中，可利用计算机视觉提取发酵罐内壁图像中的缺陷特征，根据缺陷特征判断是否存在缺陷及缺陷类型。为了实现快速且智能的缺陷检测，可利用神经网络处理发酵罐内壁图像，输出缺陷类别。
神经网络的训练过程需要采集大量的包含缺陷的内壁图像作为训练数据，发酵罐内部较暗，因此在采集内壁图像时需要设置光源，因为发酵罐为不锈钢金属打造，在图像采集过程中光源会受到金属内壁的反光影响，导致采集到的内壁图像存在过曝或过暗现象，导致内壁图像中的特征信息缺失，影响神经网络的训练结果。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的发酵罐加工工序检测方法及系统，所采用的技术方案具体如下：
本发明提出了一种基于人工智能的发酵罐加工工序检测方法，所述方法包括：
利用带有可见光光源的光学图像采集设备获得发酵罐内壁的目标缺陷图像；改变光学图像采集设备的视角，获得所述目标缺陷图像对应的多个视角图像；
对所述目标图像和每个视角图像进行角点匹配，获得初始匹配结果；根据所述目标缺陷图像中每个像素点与所述初始匹配结果对应的所述视角图像中像素点在预设第一邻域范围内纹理数量信息的差异获得纹理信息保留度；根据所述目标缺陷图像中每个像素点的所述第一邻域范围内的对比度熵和所述纹理信息保留度获得所述目标缺陷图像中每个像素点的光照影响程度；
根据预设选取数量选取所述光照影响程度最小的多个像素点作为光照修正点；获得每个图像的所述光照修正点的预设第二邻域范围内的纹理分布信息；根据所述目标缺陷图像中所述光照修正点与所述初始匹配结果对应的每个所述视角图像中的所述光照修正点的预设第三邻域范围内每个像素点的纹理分布信息相似性选取最佳光照修正点匹配对，获得最佳匹配结果；
以每个像素点的所述光照影响程度的倒数作为第一融合权重，根据所述第一融合权重和所述最佳匹配结果对每个所述视角图像与所述目标缺陷图像进行加权融合，获得多个初始融合图像；根据所述最佳光照修正点匹配对内的坐标偏移距离获得每个所述初始融合图像的第二融合权重；根据所述第二融合权重将所有所述初始融合图像进行加权融合，获得融合图像；
获得多个所述融合图像，构成训练数据集；根据所述训练数据集训练缺陷识别神经网络；根据所述缺陷识别神经网络识别待检测发酵罐的缺陷。
进一步地，获得像素点在预设第一邻域范围内所述纹理数量信息包括：
对每个像素点的所述第一邻域范围进行边缘检测，获得纹理边缘像素点；以所述纹理边缘像素点的数量作为所述纹理数量信息。
进一步地，所述根据所述目标缺陷图像中每个像素点与所述初始匹配结果对应的所述视角图像中像素点在预设第一邻域范围内纹理数量信息的差异获得纹理信息保留度包括：
获得所述目标缺陷图像中每个像素点对应的所有所述初始匹配结果中的像素点的所述纹理数量信息；
以所述目标缺陷图像中每个像素点的所述纹理数量信息和对应的平均纹理数量信息的比值作为所述纹理信息保留度。
进一步地，所述根据所述目标缺陷图像中每个像素点的所述第一邻域范围内的对比度熵和所述纹理信息保留度获得所述目标缺陷图像中每个像素点的光照影响程度包括：
以所述纹理信息保留度和所述对比度熵乘积的倒数作为所述光照影响程度。
进一步地，所述获得每个所述光照修正点的预设第二邻域范围内的纹理分布信息包括：
获得所述光照修正点的所述第二邻域范围内的纹理边缘；获得所述纹理边缘上每个所述纹理边缘像素点的曲率；统计所述曲率，构建曲率直方图；根据所述曲率直方图获得曲率分布序列；以所述曲率分布序列作为所述纹理分布信息。
进一步地，所述根据所述目标缺陷图像中所述光照修正点与所述初始匹配结果对应的每个所述视角图像中的所述光照修正点的预设第三邻域范围内每个像素点的纹理分布信息相似性选取最佳光照修正点匹配对包括：
以所述纹理分布信息之间的余弦相似度作为所述纹理分布信息相似性；所述目标缺陷图像中所述光照修正点与对应的所述第三邻域范围内所述纹理分布信息相似性最大的像素点构成所述最佳光照修正点匹配对。
进一步地，所述获得最佳匹配结果包括：
以所述角点匹配过程中的匹配角点和所述最佳光照修正点匹配对作为匹配特征点对；根据所述匹配特征点对构建单应性矩阵，获得所述最佳匹配结果。
进一步地，所述根据所述最佳光照修正点匹配对内的坐标偏移距离获得每个所述初始融合图像的第二融合权重包括：
将所述最佳光照修正点匹配对中的两个所述光照修正点根据所述最佳匹配结果转换至同一坐标系下；获得所述坐标系内所述最佳光照修正点匹配对内两个所述光照修正点之间的欧式距离；
以所述初始融合图像对应的所有所述最佳光照修正点匹配对的平均欧式距离的倒数作为所述第二融合权重。
本发明还提出了一种基于人工智能的发酵罐加工工序检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种基于人工智能的发酵罐加工工序检测方法的步骤。
本发明具有如下有益效果：
本发明实施例采集目标缺陷图像的多个视角下的视角图像。通过角点匹配获得初始匹配结果。根据初始匹配结果获得目标缺陷图像中每个像素点的光照影响程度，进而选取光照修正点。根据光照修正点与对应的初始匹配结果的光照修正点的纹理分布信息获得最佳光照修正点匹配对，获得最佳匹配结果。最佳匹配结果结合了角点信息和光照影响信息，使匹配结果更加准确。根据最佳匹配结果将每个视角图像与目标缺陷图像加权融合，获得初始融合图像，进一步将初始融合图像融合，获得融合图像。通过两次加权融合消除了光照对缺陷信息的影响，根据融合图像训练神经网络，提高了神经网络的准确性，提高了发酵罐内壁缺陷检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的发酵罐加工工序检测方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的发酵罐加工工序检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的发酵罐加工工序检测方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的发酵罐加工工序检测方法流程图，该方法包括：
步骤S1：利用带有可见光光源的光学图像采集设备获得发酵罐内壁的目标缺陷图像；改变光学图像采集设备的视角，获得目标缺陷图像对应的多个视角图像。
为了采集神经网络的训练图像，需要对发酵罐内壁产生缺陷的区域进行图像采集，利用包含缺陷信息的内壁图像作为后续神经网络的训练数据。即目标缺陷图像中包含大量的缺陷信息，含有少量或者不含有正常内壁信息。
在本发明实施例中，利用带有可见光光源的工业相机采集发酵罐内壁发生缺陷的目标缺陷图像。可利用机械臂搭载工业相机，通过机械臂在发酵罐内的旋转实现改变图像采集视角，获得目标缺陷位置周围的多个其他视角的视角图像。以目标缺陷位置周围16个角度下的视角图像作为后续融合过程中所需图像。
步骤S2：对目标图像和每个视角图像进行角点匹配，获得初始匹配结果；根据目标缺陷图像中每个像素点与初始匹配结果对应的视角图像中像素点在预设第一邻域范围内纹理数量信息的差异获得纹理信息保留度；根据目标缺陷图像中每个像素点的第一邻域范围内的对比度熵和纹理信息保留度获得目标缺陷图像中每个像素点的光照影响程度。
因为视角图像为目标图像相邻视角的图像，因此视角图像中也包含重复的缺陷信息，因此可通过角点匹配进行初始匹配过程，获得初始匹配结果。
需要说明的是，角点匹配为本领域技术人员熟知的现有技术，在此不做赘述。通过角点匹配可获得目标图像与每个视角图像中像素点的匹配关系。
因为光照影响会造成缺陷信息的过曝或者过暗，从而使得缺陷信息缺失，影响后续网络的拟合。因此在后续目标缺陷图像与视角图像融合过程中应该结合光照的影响程度控制融合过程，且还需要根据光照影响程度对初始匹配结果进行修正，使匹配结果更加准确，获得光照影响程度的具体方法包括：
因为光照会对缺陷信息多少产生影响，因为正常的内壁为光滑的，因此缺陷信息可利用缺陷产生的纹理边缘表示，因此需要根据当前目标缺陷图像中每个像素点位置处的纹理数量信息获得缺陷信息保留程度，具体包括：
对每个像素点的第一邻域范围进行边缘检测，获得纹理边缘像素点。以纹理边缘像素点的数量作为纹理数量信息。在本发明实施例中，第一邻域范围的尺寸设置为50*50。
获得目标缺陷图像中每个像素点对应的所有初始匹配结果中的像素点的纹理数量信息；以目标缺陷图像中每个像素点的纹理数量信息和对应的平均纹理数量信息的比值作为纹理信息保留度
，即
，其中，
为目标缺陷图像中一个像素点位置处的纹理数量信息，
为所有图像中的对应像素点位置处的平均纹理数量信息。在本发明实施例中包含目标缺陷图像在内为17张图像，即
为这17张图像中对应像素点位置处的平均纹理数量信息。
因为光照不均匀还会对图像中局部区域的对比度产生影响，局部区域内对比度的层次越丰富，说明该区域的信息损失较小或者无损失。因此获得目标缺陷图像中每个像素点在第一邻域范围内的对比度熵，用于反映光照对对比度的影响。
结合纹理信息保留度和对比度熵获得目标缺陷图像中每个像素点的光照影响程度，具体包括：以纹理信息保留度和对比度熵乘积的倒数作为光照影响程度。
步骤S3：根据预设选取数量选取光照影响程度最小的多个像素点作为光照修正点；获得每个图像的光照修正点的预设第二邻域范围内的纹理分布信息；根据目标缺陷图像中光照修正点与初始匹配结果对应的每个视角图像中的光照修正点的预设第三邻域范围内每个像素点的纹理分布信息相似性选取最佳光照修正点匹配对，获得最佳匹配结果。
目标缺陷图像中每个像素点都对应了一个光照影响程度，用于表示对应位置处收到光照的影响。为了进一步提高匹配结果的准确性，根据预设选取数量选取光照影响程度最小的多个像素点作为光照修正点，用于后续修正初始匹配结果。需要说明的是，根据初始匹配结果，目标缺陷图像中每个光照修正点也对应与每个视角图像中的一个光照修正点。
在本发明实施例中，选取数量设置为50，即选取光照影响程度最小的50个像素点作为光照影响像素点。
考虑到角点匹配可能会因为特征点较少导致匹配错位，即初始匹配结果不准确。为了提高匹配结果的准确性，需要在当前初始匹配结果下，利用光照修正点的对应关系，在当前匹配点的邻域范围内进行搜寻，获得与其最匹配的最佳匹配点。
因为目标缺陷图像和视角图像中存在重复的缺陷信息，因此匹配点邻域范围内的纹理分布信息应是一致的。获得每个图像的光照修正点的预设第二邻域范围内的纹理分布信息，具体包括：
获得光照修正点的第二邻域范围内的纹理边缘。获得纹理边缘上每个纹理边缘像素点的曲率，曲率信息可表示当前光照修正点位置处的纹理形态及分布特征。统计曲率，构建曲率直方图。根据曲率直方图获得曲率分布序列，即曲率分布序列中每个元素的位置表示曲率大小，每个元素值表示当前位置下的曲率在第二邻域范围内出现的频次。以曲率分布序列作为纹理分布信息。在本发明实施例中，第二邻域范围的尺寸设置为20*20。
以纹理分布信息之间的余弦相似度作为纹理分布信息相似性。计算模板缺陷图像中光照修正点与初始匹配结果对应的每个视角图像中的光照修正点的预设第三邻域范围内每个像素点的纹理分布信息相似性，以纹理分布相似性最大的像素点作为目标缺陷图像中对应的光照修正点的最佳匹配点，构成最佳光照修正点匹配对。
角点匹配获得的角点匹配对与最佳光照修正点匹配对共同构成匹配特征点对，根据匹配特征点对可获得单应性矩阵，获得最佳匹配结果。
步骤S4：以每个像素点的光照影响程度的倒数作为第一融合权重，根据第一融合权重和最佳匹配结果对每个视角图像与目标缺陷图像进行加权融合，获得多个初始融合图像；根据最佳光照修正点匹配对内的坐标偏移距离获得每个初始融合图像的第二融合权重；根据第二融合权重将所有初始融合图像进行加权融合，获得融合图像。
根据先验知识可知，获得最佳匹配结果后，每个视角图像都与目标缺陷区域存在匹配关系。因此可根据最佳匹配结果将所有图像进行加权融合，获得清晰且特征明显的融合图像。
考虑到光照对图像的影响，以每个像素点的光照影响程度倒数作为第一融合权重，根据第一融合权重和最佳匹配结果对每个视角图像和目标缺陷图像进行加权融合，获得多个初始融合图像。加权融合过程可描述为：
其中，
为目标缺陷图像中第
个像素点的像素值，
为目标缺陷图像中第
个像素点对应的第一融合权重，
为第
个视角图像中与目标缺陷图像中第
个像素点的最佳匹配点的像素值，
为第
个视角图像中与目标缺陷图像中第
个像素点的最佳匹配点的第一融合权重，
为第
个初始融合图像中的第
个像素点的像素值。
根据光照影响程度的倒数获得第一融合权重进行初始融合，消除了光照带给目标缺陷图像的影响，使光照影响程度较大的像素特征对应的权重较小，避免了光照影响程度较大的像素特征对融合结果的影响。
需要说明的是，第一融合权重为归一化后的结果，即获得每个像素点的光照影响程度的倒数后进行归一化操作，获得对应的第一融合权重。
在本发明实施例中，存在16张视角图像，即存在16张初始融合图像。
进一步可将多个初始融合图像进行融合，获得更清晰完整的融合图像。考虑到每个视角图像对应不同的最佳匹配结果，匹配度更好的最佳匹配结果对应的初始融合图像应占有较大的权重，因此根据最佳光照修正点匹配对内的坐标偏移距离获得每个初始融合图像的第二融合权重，具体包括：
利用单应性矩阵在图像拼接中的应用可将最佳光照修正点匹配对中的两个光照修正点根据最佳匹配结果转换至同一坐标系下。获得坐标系内最佳光照修正点匹配对内两个光照修正点之间的欧式距离。欧式距离越大说明最佳匹配结果的匹配度越差，因此以初始融合图像对应的所有最佳光照修正点匹配对的平均欧式距离的倒数作为第二融合权重。整体的欧式距离越小，说明该视角下的最佳匹配结果的匹配度越好，则第二融合权重越大。需要说明的是，第二融合权重也应进行归一化操作。
根据第二融合权重将所有初始融合图像进行加权融合，获得融合图像。需要说明的是，融合图像的加权融合操作与初始融合图像的加权融合操作类似，在此不做赘述。
步骤S5：获得多个融合图像，构成训练数据集；根据训练数据集训练缺陷识别神经网络；根据缺陷识别神经网络识别待检测发酵罐的缺陷。
融合图像为一张清晰且缺陷特征完整的图像，因此可获得多个融合图像构成训练数据集。训练数据集中可包含多种缺陷类型的缺陷，通过训练数据集训练缺陷识别神经网络，利用训练完毕的缺陷识别神经网络识别待检测发酵罐的缺陷。
在本发明实施例中，缺陷识别神经网络的结构采用编码-解码结构，利用编码器提取输入图像的特征，根据解码器对特征进行分析并输出缺陷类别，网络损失函数采用均方差损失函数。
根据待检测发酵罐内壁的缺陷类型可判断对其实施何种修补工艺，例如凹坑损伤需要进行焊接填补后再进行打磨抛光。通过针对性的修补工艺提高了发酵罐生产工序中的良品率。
综上所述，本发明实施例通过带有可见光光源的光学图像采集设备获得目标缺陷图像及其多个视角下的视角图像。通过图像的匹配融合消除了光照对内壁缺陷特征的影响，放大的缺陷特征。根据包含完整清楚的缺陷特征的融合图像训练缺陷识别神经网络，利用缺陷识别神经网络可快速准确的对待检测发酵罐内壁的缺陷进行检测。本发明实施例通过对缺陷特征的放大训练出准确度高的神经网络对缺陷进行识别，实现了对发酵罐内壁缺陷的精准识别，且能够根据内壁缺陷针对性的制定修补工艺，提高了发酵罐的使用寿命和生产效率。
本发明还提出了一种基于人工智能的发酵罐加工工序检测系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现一种基于人工智能的发酵罐加工工序检测方法的步骤。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于人工智能的发酵罐加工工序检测方法，其特征在于，所述方法包括：
利用带有可见光光源的光学图像采集设备获得发酵罐内壁的目标缺陷图像；改变光学图像采集设备的视角，获得所述目标缺陷图像对应的多个视角图像；
对所述目标图像和每个视角图像进行角点匹配，获得初始匹配结果；根据所述目标缺陷图像中每个像素点与所述初始匹配结果对应的所述视角图像中像素点在预设第一邻域范围内纹理数量信息的差异获得纹理信息保留度；根据所述目标缺陷图像中每个像素点的所述第一邻域范围内的对比度熵和所述纹理信息保留度获得所述目标缺陷图像中每个像素点的光照影响程度；
根据预设选取数量选取所述光照影响程度最小的多个像素点作为光照修正点；获得每个图像的所述光照修正点的预设第二邻域范围内的纹理分布信息；根据所述目标缺陷图像中所述光照修正点与所述初始匹配结果对应的每个所述视角图像中的所述光照修正点的预设第三邻域范围内每个像素点的纹理分布信息相似性选取最佳光照修正点匹配对，获得最佳匹配结果；
以每个像素点的所述光照影响程度的倒数作为第一融合权重，根据所述第一融合权重和所述最佳匹配结果对每个所述视角图像与所述目标缺陷图像进行加权融合，获得多个初始融合图像；根据所述最佳光照修正点匹配对内的坐标偏移距离获得每个所述初始融合图像的第二融合权重；根据所述第二融合权重将所有所述初始融合图像进行加权融合，获得融合图像；
获得多个所述融合图像，构成训练数据集；根据所述训练数据集训练缺陷识别神经网络；根据所述缺陷识别神经网络识别待检测发酵罐的缺陷。
2.根据权利要求1所述的一种基于人工智能的发酵罐加工工序检测方法，其特征在于，获得像素点在预设第一邻域范围内所述纹理数量信息包括：
对每个像素点的所述第一邻域范围进行边缘检测，获得纹理边缘像素点；以所述纹理边缘像素点的数量作为所述纹理数量信息。
3.根据权利要求2所述的一种基于人工智能的发酵罐加工工序检测方法，其特征在于，所述根据所述目标缺陷图像中每个像素点与所述初始匹配结果对应的所述视角图像中像素点在预设第一邻域范围内纹理数量信息的差异获得纹理信息保留度包括：
获得所述目标缺陷图像中每个像素点对应的所有所述初始匹配结果中的像素点的所述纹理数量信息；
以所述目标缺陷图像中每个像素点的所述纹理数量信息和对应的平均纹理数量信息的比值作为所述纹理信息保留度。
4.根据权利要求1所述的一种基于人工智能的发酵罐加工工序检测方法，其特征在于，所述根据所述目标缺陷图像中每个像素点的所述第一邻域范围内的对比度熵和所述纹理信息保留度获得所述目标缺陷图像中每个像素点的光照影响程度包括：
以所述纹理信息保留度和所述对比度熵乘积的倒数作为所述光照影响程度。
5.根据权利要求2所述的一种基于人工智能的发酵罐加工工序检测方法，其特征在于，所述获得每个所述光照修正点的预设第二邻域范围内的纹理分布信息包括：
获得所述光照修正点的所述第二邻域范围内的纹理边缘；获得所述纹理边缘上每个所述纹理边缘像素点的曲率；统计所述曲率，构建曲率直方图；根据所述曲率直方图获得曲率分布序列；以所述曲率分布序列作为所述纹理分布信息。
6.根据权利要求5所述的一种基于人工智能的发酵罐加工工序检测方法，其特征在于，所述根据所述目标缺陷图像中所述光照修正点与所述初始匹配结果对应的每个所述视角图像中的所述光照修正点的预设第三邻域范围内每个像素点的纹理分布信息相似性选取最佳光照修正点匹配对包括：
以所述纹理分布信息之间的余弦相似度作为所述纹理分布信息相似性；所述目标缺陷图像中所述光照修正点与对应的所述第三邻域范围内所述纹理分布信息相似性最大的像素点构成所述最佳光照修正点匹配对。
7.根据权利要求1所述的一种基于人工智能的发酵罐加工工序检测方法，其特征在于，所述获得最佳匹配结果包括：
以所述角点匹配过程中的匹配角点和所述最佳光照修正点匹配对作为匹配特征点对；根据所述匹配特征点对构建单应性矩阵，获得所述最佳匹配结果。
8.根据权利要求7所述的一种基于人工智能的发酵罐加工工序检测方法，其特征在于，所述根据所述最佳光照修正点匹配对内的坐标偏移距离获得每个所述初始融合图像的第二融合权重包括：
将所述最佳光照修正点匹配对中的两个所述光照修正点根据所述最佳匹配结果转换至同一坐标系下；获得所述坐标系内所述最佳光照修正点匹配对内两个所述光照修正点之间的欧式距离；
以所述初始融合图像对应的所有所述最佳光照修正点匹配对的平均欧式距离的倒数作为所述第二融合权重。
9.一种基于人工智能的发酵罐加工工序检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~8任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211038131.XA CN115131346B (zh) | 2022-08-29 | 2022-08-29 | 基于人工智能的发酵罐加工工序检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211038131.XA CN115131346B (zh) | 2022-08-29 | 2022-08-29 | 基于人工智能的发酵罐加工工序检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131346A CN115131346A (zh) | 2022-09-30 |
| CN115131346B true CN115131346B (zh) | 2022-11-08 |
Family
ID=83387319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211038131.XA Active CN115131346B (zh) | 2022-08-29 | 2022-08-29 | 基于人工智能的发酵罐加工工序检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131346B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116337879B (zh) * | 2023-05-23 | 2023-08-04 | 青岛豪迈电缆集团有限公司 | 一种电缆绝缘表皮磨损缺陷快速检测方法 |
| CN117011923B (zh) * | 2023-10-07 | 2024-01-26 | 达文恒业科技（深圳）有限公司 | 一种嵌入式平板电脑数据安全保护方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015068668A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社Ｓｃｒｅｅｎホールディングス | 外観検査装置 |
| CN113362306B (zh) * | 2021-06-07 | 2023-01-31 | 中山大学 | 一种基于深度学习的封装芯片缺陷检测方法 |
| CN113538429B (zh) * | 2021-09-16 | 2021-11-26 | 海门市创睿机械有限公司 | 基于图像处理的机械零件表面缺陷检测方法 |
-
2022
- 2022-08-29 CN CN202211038131.XA patent/CN115131346B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131346A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115131346B (zh) | 基于人工智能的发酵罐加工工序检测方法及系统 | |
| CN109840889A (zh) | 基于仿生算法的高精度视觉测量方法、装置和系统 | |
| CN102704215B (zh) | 基于dst文件解析与机器视觉结合的绣布自动切割方法 | |
| CN109903282B (zh) | 一种细胞计数方法、系统、装置和存储介质 | |
| WO2020187705A1 (en) | Feature point detection | |
| CN111027446B (zh) | 一种高分辨率影像的海岸线自动提取方法 | |
| CN110070531B (zh) | 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置 | |
| CN111192194B (zh) | 一种针对幕墙建筑立面的全景图像拼接方法 | |
| CN111814919A (zh) | 一种基于深度学习的仪表定位与识别系统 | |
| CN113610846B (zh) | 一种基于人工智能的管状零件内侧异常检测方法及系统 | |
| CN108133471B (zh) | 一种基于人工蜂群算法的机器人导航路径提取方法及装置 | |
| CN113034474A (zh) | 一种oled显示器晶圆图的测试方法 | |
| CN115205520A (zh) | 胃镜图像智能目标检测方法、系统、电子设备及存储介质 | |
| CN111476785B (zh) | 基于位置记录的夜间红外反光水尺检测方法 | |
| CN111667470A (zh) | 一种基于数字图像的工业管道探伤内壁检测方法 | |
| CN111161295A (zh) | 一种菜品图像背景剥离方法 | |
| CN114612418A (zh) | 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 | |
| CN109166127B (zh) | 一种可穿戴式植物表型感知系统 | |
| CN116485801B (zh) | 基于计算机视觉的胶管质量在线检测方法及系统 | |
| CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 | |
| CN117058232A (zh) | 一种改进YOLOv8模型的养殖鱼群中鱼类目标个体的位置检测方法 | |
| CN110956178A (zh) | 一种基于图像相似度计算的植物生长测量方法、系统及电子设备 | |
| CN114550069B (zh) | 一种基于深度学习的仔猪乳头计数方法 | |
| Hu et al. | Automatic detection of pecan fruits based on Faster RCNN with FPN in orchard. | |
| CN114049390A (zh) | 一种基于机器视觉的小麦麦苗种植密度测量装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |