CN114897847A - 图像处理方法及装置、计算机可读存储介质、电子设备 - Google Patents
图像处理方法及装置、计算机可读存储介质、电子设备 Download PDFInfo
- Publication number
- CN114897847A CN114897847A CN202210553271.4A CN202210553271A CN114897847A CN 114897847 A CN114897847 A CN 114897847A CN 202210553271 A CN202210553271 A CN 202210553271A CN 114897847 A CN114897847 A CN 114897847A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- region
- area
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000007547 defect Effects 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 46
- 239000002184 metal Substances 0.000 claims description 100
- 229910052751 metal Inorganic materials 0.000 claims description 100
- 230000008569 process Effects 0.000 claims description 28
- 230000007797 corrosion Effects 0.000 claims description 21
- 238000005260 corrosion Methods 0.000 claims description 21
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 18
- 238000007781 pre-processing Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 239000010931 gold Substances 0.000 description 6
- 229910052737 gold Inorganic materials 0.000 description 6
- 241000218202 Coptis Species 0.000 description 5
- 235000002991 Coptis groenlandica Nutrition 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910052755 nonmetal Inorganic materials 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G06T5/70—
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Abstract
本公开是关于一种图像处理方法及装置、计算机可读存储介质、电子设备，涉及图像处理技术领域，该方法包括：获取原始线路图像中的标记点，并根据所述标记点确定所述原始线路图像的第一待检测区域；对所述第一待检测区域进行边界锐化确定第二待检测区域，并根据所述第一待检测区域以及第二待检测区域，生成目标检测图像；对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷。该方法提高了所检测到的裂纹缺陷的精确度。
Description
技术领域
本公开实施例涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、非瞬态计算机可读存储介质以及电子设备。
背景技术
现有的对电路中的裂纹缺陷进行检测的方法中，可以通过电学方式测量金属通断的方法来实现。
但是，由于微裂纹前期不会造成短路，进而使得所检测到的裂纹缺陷的精确度较低。
需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种图像处理方法、图像处理装置、非瞬态计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的所检测到的裂纹缺陷的精确度较低的问题。
根据本公开的一个方面，提供一种图像处理方法，包括：
获取原始线路图像中的标记点，并根据所述标记点确定所述原始线路图像的第一待检测区域；
对所述第一待检测区域进行边界锐化确定第二待检测区域，并根据所述第一待检测区域以及第二待检测区域，生成目标检测图像；
对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷。
在本公开的一种示例性实施例中，获取原始线路图像中的标记点，包括：
获取原始线路图像，并对所述原始线路图像进行灰度处理，得到灰度线路图像；
对所述灰度线路图像进行二值化处理，得到二值化线路图像，并根据所述标记点所具有的属性特征，对所述二值化线路图像进行筛选，得到所述标记点。
在本公开的一种示例性实施例中，对所述灰度线路图像进行二值化处理，得到二值化线路图像，包括：
获取所述灰度线路图像中包括的各像素点的当前亮度值，并判断所述当前亮度值是否大于第一预设阈值；
若所述当前亮度值大于所述第一预设阈值，则利用第一预设亮度值对该像素点的当前亮度值进行替换；
若所述当前亮度值小于所述第一预设阈值，则利用第二预设亮度值对该像素点的当前亮度值进行替换；
根据当前亮度值替换后的各像素点，生成所述二值化线路图像。
在本公开的一种示例性实施例中，所述图像处理方法还包括：
通过预设的图像采集装置，从待检测的金属线路表面上采集所述原始线路图像；其中，所述图像采集装置由大靶面工业相机以及工业远心镜头组成。
在本公开的一种示例性实施例中，通过预设的图像采集装置，从待检测的金属线路表面上采集所述原始线路图像，包括：
配置所述工业远心镜头与所述待检测的金属线路表面之间的光源的入射角度，并基于所述入射角度控制所述大靶面工业相机通过所述工业远心镜头，从待检测的金属线路表面上采集所述原始线路图像。
在本公开的一种示例性实施例中，所述光源由环形光源、一个或多个点光源以及一个或多个条形光源中的一种或多种组成；所述入射角度介于60°～85°之间。
在本公开的一种示例性实施例中，根据所述标记点确定所述原始线路图像的第一待检测区域，包括：
根据所述标记点在所述原始线路图像中的起始坐标位置以及所述标记点所具有的属性特征中的尺寸特征，计算所述标记点的中心点位置；
根据所述原始线路图像中包括的金属线路在所述原始线路图像中所占的比例，确定第一待检测区域的尺寸；
根据所述中心点位置以及所述第一待检测区域的尺寸，从所述原始线路图像中选取所述第一待检测区域。
在本公开的一种示例性实施例中，对所述第一待检测区域进行边界锐化确定第二待检测区域，包括：
对所述第一待检测区域进行膨胀腐蚀处理，得到中间检测区域；
对中间检测区域进行腐蚀膨胀处理，得到所述第二待检测区域。
在本公开的一种示例性实施例中，对所述第一待检测区域进行膨胀腐蚀处理，得到中间检测区域，包括：
从所述第一待检测区域中提取第一待处理像素点，并删除所述第一待处理像素点；其中，所述第一待处理像素点的像素点大小不超过第一预设像素值，且所述第一待处理像素点的当前亮度值大于第一预设阈值；
对所述第一待检测区域中包括的金属线路的边界线进行平滑处理，并断开相邻两条金属线路之间的粘连，得到所述中间检测区域。
在本公开的一种示例性实施例中，对中间检测区域进行腐蚀膨胀处理，得到所述第二待检测区域，包括：
从所述中间检测区域中提取第二待处理像素点，并对所述第二待处理像素点进行填充；其中，所述第二待处理像素点的像素点大小不超过第一预设像素值，且所述第二待处理像素点的当前亮度值小于第一预设阈值；
对所述中间检测区域中包括的金属线路的断开部分进行填充，并在不改变所述金属线路的面积的基础上对所述金属线路的边界线进行二次平滑处理，得到所述第二待检测区域。
在本公开的一种示例性实施例中，根据所述第一待检测区域以及第二待检测区域，生成目标检测图像，包括：
对所述第一待检测区域中包括的各像素点的第一灰阶值以及第二待检测区域中包括的各像素点的第二灰阶值进行求差运算，得到第三灰阶值，并判断所述第三灰阶值是否满足预设条件；
若所述第三灰阶值满足所述预设条件，则将所述第三灰阶值作为该像素点的目标灰阶值；
若所述第三灰阶值不满足所述预设条件，则对所述第三灰阶值进行替换，并将替换后的第三灰阶值作为该像素点的目标灰阶值；
根据各像素点的目标灰阶值，生成所述目标检测图像。
在本公开的一种示例性实施例中，对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷，包括：
通过预设的图像识别模型，对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷；
其中，所述图像识别模型包括边缘检测模型、卷积神经网络模型、循环神经网络模型以及深度神经网络模型中的一种或多种。
根据本公开的一个方面，提供一种图像处理装置，包括：
第一待检测区域确定模块，用于获取原始线路图像中的标记点，并根据所述标记点确定所述原始线路图像的第一待检测区域；
目标检测图像生成模块，用于对所述第一待检测区域进行边界锐化确定第二待检测区域，并根据所述第一待检测区域以及第二待检测区域，生成目标检测图像；
图像识别模块，用于对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷。
根据本公开的一个方面，提供一种非瞬态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的图像处理方法。
根据本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像处理方法。
本公开实施例提供的一种图像处理方法，一方面，通过获取原始线路图像中的标记点，并根据标记点确定原始线路图像的第一待检测区域；然后对第一待检测区域进行边界锐化确定第二待检测区域，并根据第一待检测区域以及第二待检测区域，生成目标检测图像；最后对目标检测图像进行图像识别，得到原始线路图像中包括的裂纹缺陷；由于可以直接通过图像处理的方式来检测裂纹缺陷，无需通过电学的方式来检测，进而解决了现有技术中通过测量金属通断的方法来实现裂纹缺陷检测，使得所检测到的裂纹缺陷的精确度较低问题；另一方面，由于可以在对原始线路图像进行预处理以后，对得到的目标检测图像进行图像识别即可得到对应的裂纹缺陷，进而极大的提高了所检测到的裂纹缺陷的精确度，同时也提高了裂纹缺陷的检测效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出根据本公开示例实施例的一种图像处理方法的流程图。
图2示意性示出根据本公开示例实施例的一种采集原始线路图像所采用到的光路示意图。
图3示意性示出根据本公开示例实施例的一种基于图3所示的光路示意图所采集到的原始线路图像的示例图。
图4示意性示出一种采用其他方式所采集到的线路图像的示例图。
图5示意性示出根据本公开示例实施例的一种不同的打光角度与灰阶值差异对比的示例图。
图6示意性示出根据本公开示例实施例的一种第一待检测区域的示例图。
图7示意性示出根据本公开示例实施例的一种边界锐化处理前的金属线路的示例图。
图8示意性示出根据本公开示例实施例的一种边界锐化处理后的金属线路的示例图。
图9示意性示出根据本公开示例实施例的一种目标检测图像(预处理结果图)的示例图。
图10示意性示出根据本公开示例实施例的一种裂纹缺陷的检测方法的示例图。
图11示意性示出根据本公开示例实施例的一种图像处理装置的框图。
图12示意性示出根据本公开示例实施例的一种用于实现上述图像处理方法的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
电子产品中的金属线路可以起到传递信号的功能；例如，显示面板的源漏极外接线、FPC金手指以及IC封装金属线等。在对电子产品的使用过程中，金属线路一旦出现裂纹则有极大的短路风险，影响产品的功能及使用；因此，如何对金属线路中的金线裂纹进行检测，是亟需解决的问题。
为了解决上述问题，在一些进行裂纹缺陷检测方法中，可以通过如下方式实现：一种是，通过电学的方式对金属线路的通断进行测量；如果金属线路处于流通状态，则确定该金属线路不存在裂纹缺陷；如果金属线路处于断开状态，则确定该金属线路存在裂纹缺陷；另一种是，通过人工的方式，进行视觉检测。
但是，上述方法均存在如下缺陷：一方面，通过电学方式测量金属通断的方法效率低，且可靠性不高(微裂纹前期不会直接造成短路，后期易发展成较大裂纹)；另一方面，采用视觉检测的方法难度较高，具体体现在：一是裂纹缺陷尺寸小，上述金属线尺寸通常为微米级别，裂纹宽度在微米以下，较难采集到的符合检测标准的图片；二是环境背景复杂，金属走线复杂，对视觉处理难度较大。
基于此，本示例实施方式中首先提供了一种图像处理方法，该方法可以运行于终端设备、服务器、服务器集群或云服务器等；当然，本领域技术人员也可以根据需求在其他平台运行本公开的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该图像处理方法可以包括以下步骤：
步骤S110.获取原始线路图像中的标记点，并根据所述标记点确定所述原始线路图像的第一待检测区域；
步骤S120.对所述第一待检测区域进行边界锐化确定第二待检测区域，并根据所述第一待检测区域以及第二待检测区域，生成目标检测图像；
步骤S130.对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷。
上述图像处理方法中，一方面，通过获取原始线路图像中的标记点，并根据标记点确定原始线路图像的第一待检测区域；然后对第一待检测区域进行边界锐化确定第二待检测区域，并根据第一待检测区域以及第二待检测区域，生成目标检测图像；最后对目标检测图像进行图像识别，得到原始线路图像中包括的裂纹缺陷；由于可以直接通过图像处理的方式来检测裂纹缺陷，无需通过电学的方式来检测，进而解决了现有技术中通过测量金属通断的方法来实现裂纹缺陷检测，使得所检测到的裂纹缺陷的精确度较低问题；另一方面，由于可以在对原始线路图像进行预处理以后，对得到的目标检测图像进行图像识别即可得到对应的裂纹缺陷，进而极大的提高了所检测到的裂纹缺陷的精确度，同时也提高了裂纹缺陷的检测效率。
以下，将结合附图对本公开示例实施例图像处理方法进行详细的解释以及说明。
首先，对本公开示例实施例的发明目的进行解释以及说明。具体的，为了解决LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机电激光显示)、IC(Integrated Circuit，集成电路)、PCB(Printed Circuit Board，印刷线路板)等的金属线路的裂纹检测问题，本公开示例实施例提出了一种在高角度暗场光的场景下获取原始线路图像，并对原始线路图像进行预处理最终对预处理后原始线路图像进行图像识别得到裂纹缺陷的方案；同时，由于原始线路图像是在高角度暗场光的场景下获取的，进而能清晰采集到的金属线路裂纹特征，在增强缺陷特征的同时弱化背景(使缺陷与正常背景灰阶值差异增强50％以上)，减少干扰；进一步的，通过对原始线路图像进行预处理(筛选金属线路，屏蔽背景区域)，进而可以弱化金线下边缘特征，降低背景复杂度，进而提高检测准确度，并提升检测效率。
其次，对本公开示例实施例所涉及到的采集原始线路图像所采用到的光路示意图进行解释以及说明。具体的，参考图2所示，该光路示意图可以包括图像采集装置210以及待检测的金属线路220；其中，图像采集装置可以包括大靶面工业相机211以及工业远心镜头212，待检测的金属线路与工业远心镜头之间设置有光源230，工业远心镜头与待检测的金属线路表面之间的光源的入射角度；金属线路表面上存在裂纹缺陷221。
此处需要补充说明的是，本公开示例实施例采用高角度(具体体现为：工业远心镜头与待检测的金属线路表面之间的光源的入射角度较高)暗场光方案进行图像处理，同时搭配大靶面工业相机，及工业远心镜头进行图像采集；同时，由于金属线路表面为光面，当高角度光打在金属线路上时会发生全反射，因而没有反射光被相机采集；而当金属线路上有裂纹时，光线打在裂纹上发生漫反射，从而有反射光被相机采集，从而实现对裂纹特征的捕捉。其中，所采集到的原始线路图像可以参考图3所示；基于图3所示出的原始线路图可以得知，相较于通过其他方案所采集的图像(具体可以参考图4所示)，采用本公开示例实施例所记载的光路示意图采集到的原始线路图所呈现的裂纹特征更为明显，其灰阶值差异可达50以上，而其它光学方案所采集的图像缺陷灰阶值差异仅为20～30。
进一步的，本公开示例实施例所采用的光源，可以根据具体线路情况采用环形光源、一个至数个点光源或者一个至数个条形光源进行单独使用或者组合使用；通常的，可以优先选用环形光源；其中，各不同的打光角度与灰阶值差异对比，具体可以参考图5所示。由图5可以所示出的入射角度与灰阶值差异对比可以得知，打光角度优选为60°～85°之间；当然，更优选的，可以设置在75°～80°之间。
以下，结合图2-图5对图1中所示出的图像处理方法进行详细的解释以及说明。
在步骤S110中，获取原始线路图像中的标记点，并根据所述标记点确定所述原始线路图像的第一待检测区域。
在本示例实施例中，首先，获取原始线路图像中的标记点(Mark点)；其中，Mark点是电路板设计中PCB应用于自动贴片机上的位置识别点，Mark点的优选形状可以包括圆形、T形或者十字形，颜色与周围的背景色有明显区别；同时，为了保证印刷设备和贴片设备的识别效果，Mark点空旷区应无其它走线、丝印或者焊盘等；PCB板每个表贴面至少有一对Mark点位于PCB板的对角线方向上，相对距离尽可能远，且关于中心不对称。进一步的，标记点的获取可以通过如下方式实现：首先，获取原始线路图像，并对所述原始线路图像进行灰度处理，得到灰度线路图像；其次，对所述灰度线路图像进行二值化处理，得到二值化线路图像，并根据所述标记点所具有的属性特征，对所述二值化线路图像进行筛选，得到所述标记点。
具体的，在实际应用过程中，首先需要通过预设的图像采集装置，从待检测的金属线路表面上采集所述原始线路图像；其中，所述图像采集装置由大靶面工业相机以及工业远心镜头组成；其中，在控制图像采集装置采集原始线路图像的过程中，首先，需要配置所述工业远心镜头与所述待检测的金属线路表面之间的光源的入射角度；然后，基于所述入射角度控制所述大靶面工业相机通过所述工业远心镜头，从待检测的金属线路表面上采集所述原始线路图像。其中，在图像采集过程中所用到的光源，可以由环形光源、一个或多个点光源以及一个或多个条形光源单独实现，也可以组合实现，本示例对此不做特殊限制；同时，为了保证所采集到的原始线路图像的效果，光源的入射角度需要介于60°～85°之间。此处需要补充说明的是，在对原始线路图像进行采集的过程中，可以通过高角度暗场光的方式进行采集；其中，高角度指的是光源的入射角度较高，暗场表示的是不是全反射；并且，由于金属线路表面为光面，当高角度光打在金属线路上时会发生全反射，因而没有反射光被相机采集(也即，当不存在裂纹缺陷时，会发生全反射进而无法采集对应的原始线路图像)；而当金属线路上有裂纹时，光线打在裂纹上发生漫反射，从而有反射光被相机采集，从而实现对裂纹特征的捕捉，得到上述原始线路图像。
其次，当得到上述原始线路图像以后，可以对该原始线路图像进行高斯滤波处理，以消除掉该原始线路图像中包括的噪点。其中，具体的高斯高斯滤波过程可以如下公式(1)以及公式(2)所示：
其中，w是高斯滤波核，核的尺寸为70*70，△i以及△j分别为滤波核中位置(i,j)到核中心点的横纵坐标偏移量的绝对值，σ2表示高斯滤波的方差，具体的取值可以为1.5；进一步的，将大尺度的高斯滤波核与原始线路图像photo进行矩阵卷积操作
即可得消除掉原始线路图像中的噪点。此处需要补充说明的是，高斯滤波核的尺寸以及高斯滤波的方差也可以取其他值，本领域的技术人员可以根据实际需要自行选取，本示例对此不做特殊限制。此处需要补充说明的是，此处所涉及到的噪点，一般是指3*3像素以下的点，当然，也可以是其他像素大小的点，本示例对此不做特殊限制。
进一步的，当完成噪点去除以后，即可对去除噪点以后的原始线路图像进行灰度处理，得到灰度线路图像；其中，在得到的灰度线路图像中，可以根据各像素点的明亮强度，将该像素点的当前亮度值划分为0～255中的任意一个数值；然后，再对灰度线路图像进行二值化处理，得到二值化线路图像。此处需要补充说明的是，由于Mark点与金属线路一样，在暗场光环境下相对于其他灰金属区域成像的灰阶值较低；因此，通过此灰阶值差异，可以便于对Mark点进行抓取，进而可以在提高Mark点的抓取效率的基础上，提高所抓取到的Mark点的精确度。
其中，在对灰度线路图像进行二值化处理，得到二值化线路图像的过程中，可以通过如下方式实现：首先，获取所述灰度线路图像中包括的各像素点的当前亮度值，并判断所述当前亮度值是否大于第一预设阈值；其次，若所述当前亮度值大于所述第一预设阈值，则利用第一预设亮度值对该像素点的当前亮度值进行替换；若所述当前亮度值小于所述第一预设阈值，则利用第二预设亮度值对该像素点的当前亮度值进行替换；最后，根据当前亮度值替换后的各像素点，生成所述二值化线路图像。具体的，可以设定第一预设阈值为1，当然也可以是其他值，本示例对此不做特殊限制；然后，判断各像素点的当前亮度值是否大于第一预设阈值1，若是，则可以通过第一预设亮度值对该像素点的当前亮度值进行替换；若否，则可以通过第二预设亮度值对该像素点的当前亮度值进行替换；其中，在第一预设亮度值以及第二预设亮度值的设定过程中，可以根据实际需要自行设定，本示例对此不做特殊限制。
此处需要补充说明的是，对去除噪点后的原始线路图像进行二值化处理的目的，是为了可以增加各像素点的亮度值之间的对比度，使得亮的部分更亮，暗的部分更暗，进而便于中心点的提取；因此，第一预设亮度值以及第二预设亮度值的选取规则，可以遵循“使得亮的部分更亮，暗的部分更暗”的规则来选取；例如，第一预设亮度值可以取255，第二预设亮度值可以取0；或者其他可以满足上述规则的取值，本示例对此不做特殊限制。
更进一步的，当得到二值化线路图像以后，即可根据标记点所具有的属性特征，对该二值化线路图像进行筛选，得到标记点；其中，标记点所具有的属性特征，是指该标记点的形态学特征，该标记点的形态学特征可以包括标记点的尺寸(例如长度尺寸以及宽度尺寸)以及长宽比例等等；然后，再基于形态学特征对二值化线路图像进行筛选，得到Mark点。
至此，已经从原始线路图像中提取到了Mark点；接下来，需要根据Mark点确定原始线路图像的第一待检测区域。具体的，可以通过如下方式实现：首先，根据所述标记点在所述原始线路图像中的起始坐标位置以及所述标记点所具有的属性特征中的尺寸特征，计算所述标记点的中心点位置；其次，根据所述原始线路图像中包括的金属线路在所述原始线路图像中所占的比例，确定第一待检测区域的尺寸；然后，根据所述中心点位置以及所述第一待检测区域的尺寸，从所述原始线路图像中选取所述第一待检测区域。
具体的，第一检测区域可以被认为是ROI(Region Of Interest，感兴趣区域)。其中，在对第一检测区域进行选定的过程中，首先，需要计算Mark点的中心点位置；其中，Mark点的中心点位置，可以通过如下方式计算得到：首先，确定Mark点在原始线路图像中的起始坐标位置(例如，左上角的起始坐标点位置)以及长度值和宽度值；然后，基于该起始坐标位置以及长度值、宽度值，即可得到中心点位置(x1,y1)；进一步的，还需要根据金属线路在原始线路图像中所占的区域的大小，设定ROI所具有的尺寸(width，height)；最后，再以Mark点的中心点位置(x1,y1)为基准点，以ROI所具有的尺寸(width，height)在原图上截取ROI区域图片，生成ROI图，也即第一检测区域；其中，所得到的第一检测区域具体可以参考图6所示。
在步骤S120中，对所述第一待检测区域进行边界锐化确定第二待检测区域，并根据所述第一待检测区域以及第二待检测区域，生成目标检测图像。
在本示例实施例中，首先，对第一待检测区域进行边界锐化确定第二待检测区域；其中，此处所指的边界锐化，指的是对第一待检测区域中包括的金属线路的边界进行锐化。其中，具体的边界锐化过程，可以通过如下方式实现：首先，对所述第一待检测区域进行膨胀腐蚀处理，得到中间检测区域；其次，对中间检测区域进行腐蚀膨胀处理，得到所述第二待检测区域。
在一种示例实施例中，对所述第一待检测区域进行膨胀腐蚀处理，得到中间检测区域，可以通过如下方式实现：首先，从所述第一待检测区域中提取第一待处理像素点，并删除所述第一待处理像素点；其中，所述第一待处理像素点的像素点大小不超过第一预设像素值，且所述第一待处理像素点的当前亮度值大于第一预设阈值；其次，对所述第一待检测区域中包括的金属线路的边界线进行平滑处理，并断开相邻两条金属线路之间的粘连，得到所述中间检测区域。也即，在具体的应用过程中，首先，基于第二预设阈值对第一待检测区域ROI图进行二值化处理然后进行膨胀腐蚀处理，消除金属线路区域内小的亮点(像素点大小不超过第一预设像素值且当前亮度值大于第一预设阈值的第一待处理像素点)；同时，对金属线路的边界进行平滑处理，并断开相邻金属线路之间的粘连，得到中间检测区域。
在一种实施例中，对中间检测区域进行腐蚀膨胀处理，得到所述第二待检测区域，可以通过如下方式实现：首先，从所述中间检测区域中提取第二待处理像素点，并对所述第二待处理像素点进行填充；其中，所述第二待处理像素点的像素点大小不超过第一预设像素值，且所述第二待处理像素点的当前亮度值小于第一预设阈值；其次，对所述中间检测区域中包括的金属线路的断开部分进行填充，并在不改变所述金属线路的面积的基础上对所述金属线路的边界线进行二次平滑处理，得到所述第二待检测区域。也即，可以对中间检测区域中包括的金属线路内小的暗点(当前亮度值小于第一预设阈值且像素点大小不超过第一预设像素值的第二待处理像素点)和断开的轮廓线进行填充，再次平滑金属线路的边界，同时不改变金线面积。
此处需要补充说明的是，对图片的膨胀腐蚀处理与对图像的腐蚀膨胀处理，是完全不同的操作；通常，为了尽最大的可能对图像特征进行保存，膨胀与腐蚀操作都成对进行；在本示例实施例所记载的方案中，先膨胀再腐蚀的目的为：消除金属线路区域内面积较小的亮点，同时对金属线路的边界进行平滑，并断开相邻金属线路之间的粘连；进一步的，先腐蚀再膨胀的目的为：填充金属线路内面积较小的暗点和断开的轮廓线，并在不改变金属线路的面积的前提下，再次平滑金属线路的边界。当然，由于操作目的及要消除的干扰不同，膨胀腐蚀与腐蚀膨胀的参数选择会不同，具体选择值会根据图片特征选择最优值，本市对此不做特殊限制。并且，当二值化后图片有较大噪点破坏金线边界时，通过一次或者数次锐化处理可重新恢复金线边界，其中，边界锐化处理前的金属线路可以参考图7所示，边界锐化处理后的金属线路可以参考图8所示。
至此，第一待检测区域中包括的金属线路的边界锐化过程以全部完成。进一步的，当边界锐化完成以后，还需要生成目标检测图像。其中，根据第一待检测区域以及第二待检测区域，生成目标检测图像，可以通过如下方式实现：首先，对所述第一待检测区域中包括的各像素点的第一灰阶值以及第二待检测区域中包括的各像素点的第二灰阶值进行求差运算，得到第三灰阶值，并判断所述第三灰阶值是否满足预设条件；其次，若所述第三灰阶值满足所述预设条件，则将所述第三灰阶值作为该像素点的目标灰阶值；若所述第三灰阶值不满足所述预设条件，则对所述第三灰阶值进行替换，并将替换后的第三灰阶值作为该像素点的目标灰阶值；最后，根据各像素点的目标灰阶值，生成所述目标检测图像。
具体的，在目标检测图像生成的过程中，可以将ROI图(第一待检测区域)与上述边界锐化图(第二待检测区域)做减法，进而得到目标检测图像，也可以被称为预处理结果图；其中，由于边界锐化图(第二待检测区域)的金属线路的区域为全黑，非金属线路的区域为全白；因此，在做减法后金属线路的区域图将被完全保存，非金属线路的区域图则为全黑，然后再将做减法后的结果图进行二值化后，找出边界得到如图9所示的预处理结果图(也即目标检测图像)；其中，从图9所示的预处理结果图中可以看到，金线边缘已经被完全消除，图像背景复杂度也降低，后续可与简单的目标识别算法将crack(裂纹)筛选出来。此处需要补充说明的是，在对第一待检测区域以及第二待检测区域进行图像相减操作的过程中，具体的实现方法为：将两张行列一致的图片对应的像素点的灰阶值一一相减；若减法得到某一像素点结果小于0，则将该点像素值置于0；由于边界锐化区域为二值化后的图片，金线区域灰阶值为0，非金线区域灰阶值为255，被ROI图减去后，得到的结果图中金线区域数据被完整保存，非金线区则像素点则为0，这样既可消除线间干扰，进而可以达到提高所得到的目标检测图像的精确度的目的。
在步骤S130中，对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷。
具体的，可以通过预设的图像识别模型，对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷；其中，所述图像识别模型包括边缘检测模型、卷积神经网络模型、循环神经网络模型以及深度神经网络模型等等。此处需要补充说明的是，从图9所示的预处理结果图中可以看到，金线边缘已经被完全消除，图像背景复杂度也降低，后续可与简单的目标识别算法将crack(裂纹)识别/筛选出来；在裂纹的识别/筛选的过程中，以传统算法目标识别为例，由于缺陷目标主要为crack(裂纹)，为线状不良，可采用边缘检测算子进行目标识别，常用的边缘检测算子有Robe算子、Sobel算子、Laplace算子、Canny算子等；进一步的，选择其中一个算子，调整合适参数将crack裂纹(也可能引入一些干扰)识别后，然后通过形态学(主要为长度、长宽比、直线角度等)方式进行二次筛选，进而更加准确的抓取目标缺陷。
此处需要进一步补充说明的是，为了可以进一步的提高裂纹缺陷的检测结果，本申请引入了卷积神经网络模型、循环神经网络模型以及深度神经网络模型来进行裂纹缺陷的识别。同时，由于输入至卷积神经网络模型、循环神经网络模型以及深度神经网络模型中的图像，是通过预处理以后的图像；因此，在具体的识别过程中，无需再进行其他的处理，直接将目标检测图像输入至卷积神经网络模型或者循环神经网络模型或者深度神经网络模型中，所得到的输出结果即为对应的裂纹缺陷检测结果。当然，由于裂纹缺陷检测有别于其他类型的图像识别，因此，在对上述模型进行预先训练的过程中，所采用到的训练数据集以及测试数据集，也是与裂纹缺陷相关的图像。
以下，结合图10对本公开示例实施例所涉及到的裂纹缺陷检测方法进行进一步的解释以及说明。具体的，参考图10所示，可以包括以下步骤：
步骤S1001，原始线路图像采集；具体的：可以通过搭配大靶面工业相机，及工业远心镜头进行图像采集；同时，由于金属线路表面为光面，当高角度光打在金属线路上时会发生全反射，因而没有反射光被相机采集；而当金属线路上有裂纹时，光线打在裂纹上发生漫反射，从而有反射光被相机采集，从而实现对裂纹特征的捕捉；
步骤S1002，Mark点识别；具体的，通常电路区域为方便检测都会预先设置有金属的十字或者T型Mark点；并且，Mark点与金属线一样，在暗场光环境下相对于其他灰金属区域成像的灰阶值较低，通过此灰阶值差异可对Mark点进行抓取；例如，可以对拍摄原图进行高斯滤波除噪点后，以设定阈值1对图像进行二值化处理；然后，根据形态学特征(Mark点尺寸、长宽比等等)对二值化的图片进行筛选；
步骤S1003，ROI选定；具体的，可以根据金属线路所在区域的大小，设定ROI的尺寸为(width，height)，然后根据Mark中心点(x1,y1)为基准点，在原图上截取ROI区域图片，生成ROI图；
步骤S1004，边界锐化；具体的，对上述的ROI图进行膨胀腐蚀处理，消除金线区域内小的亮点，同时平滑金线边界，同时断开相邻线件的粘连；然后，再对ROI图进行腐蚀膨胀处理，填充金线内小的暗点和断开的轮廓线，再次平滑金线边界，同时不改变金线面积；
步骤S1005，生成预处理结果图；具体的，将ROI图与上述边界锐化图做减法；由于边界锐化图金线区域为全黑，非金线区域为全白，做减法后金线区域图将完全保存，非金线图则为全黑，然后再将做减后结果图中的金线二值化后找出边界得到预处理结果图；
步骤S1006，对预处理结果图进行识别，得到裂纹缺陷；具体的，从预处理结果图中可以看到，金线边缘已经被完全消除，图像背景复杂度也降低，后续可与简单的目标识别算法将裂纹缺陷筛选出来。
至此，已经完成了裂纹缺陷的识别/筛选工作。基于上述记载的方案可以得出，本公开示例实施例所公开的方法，一方面，可以解决现有技术中由于电学方式测量金属通断的方法效率低，且可靠性不高(微裂纹前期不会直接造成短路，后期易发展成较大裂纹)的问题，可以对识别出来的裂纹缺陷进行修复，进而可以避免短路的问题；另一方面，解决了现有技术中采用视觉检测的方法难度较高的问题，无需通过视觉检测的方法去识别裂纹缺陷。
本公开示例实施例还提供了一种图像处理装置。具体的，参考图11所示，该图像处理装置可以包括第一待检测区域确定模块1110、目标检测图像生成模块1120以及图像识别模块1130。其中：
第一待检测区域确定模块1110，可以用于获取原始线路图像中的标记点，并根据所述标记点确定所述原始线路图像的第一待检测区域；
目标检测图像生成模块1120，可以用于对所述第一待检测区域进行边界锐化确定第二待检测区域，并根据所述第一待检测区域以及第二待检测区域，生成目标检测图像；
图像识别模块1130，可以用于对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷。
在本公开的一种示例性实施例中，获取原始线路图像中的标记点，包括：
获取原始线路图像，并对所述原始线路图像进行灰度处理，得到灰度线路图像；
对所述灰度线路图像进行二值化处理，得到二值化线路图像，并根据所述标记点所具有的属性特征，对所述二值化线路图像进行筛选，得到所述标记点。
在本公开的一种示例性实施例中，对所述灰度线路图像进行二值化处理，得到二值化线路图像，包括：
获取所述灰度线路图像中包括的各像素点的当前亮度值，并判断所述当前亮度值是否大于第一预设阈值；
若所述当前亮度值大于所述第一预设阈值，则利用第一预设亮度值对该像素点的当前亮度值进行替换；
若所述当前亮度值小于所述第一预设阈值，则利用第二预设亮度值对该像素点的当前亮度值进行替换；
根据当前亮度值替换后的各像素点，生成所述二值化线路图像。
在本公开的一种示例性实施例中，所述图像处理装置还包括：
原始线路图像采集模块，可以用于通过预设的图像采集装置，从待检测的金属线路表面上采集所述原始线路图像；其中，所述图像采集装置由大靶面工业相机以及工业远心镜头组成。
在本公开的一种示例性实施例中，通过预设的图像采集装置，从待检测的金属线路表面上采集所述原始线路图像，包括：
配置所述工业远心镜头与所述待检测的金属线路表面之间的光源的入射角度，并基于所述入射角度控制所述大靶面工业相机通过所述工业远心镜头，从待检测的金属线路表面上采集所述原始线路图像。
在本公开的一种示例性实施例中，所述光源由环形光源、一个或多个点光源以及一个或多个条形光源中的一种或多种组成；所述入射角度介于60°～85°之间。
在本公开的一种示例性实施例中，根据所述标记点确定所述原始线路图像的第一待检测区域，包括：
根据所述标记点在所述原始线路图像中的起始坐标位置以及所述标记点所具有的属性特征中的尺寸特征，计算所述标记点的中心点位置；
根据所述原始线路图像中包括的金属线路在所述原始线路图像中所占的比例，确定第一待检测区域的尺寸；
根据所述中心点位置以及所述第一待检测区域的尺寸，从所述原始线路图像中选取所述第一待检测区域。
在本公开的一种示例性实施例中，对所述第一待检测区域进行边界锐化确定第二待检测区域，包括：
对所述第一待检测区域进行膨胀腐蚀处理，得到中间检测区域；
对中间检测区域进行腐蚀膨胀处理，得到所述第二待检测区域。
在本公开的一种示例性实施例中，对所述第一待检测区域进行膨胀腐蚀处理，得到中间检测区域，包括：
从所述第一待检测区域中提取第一待处理像素点，并删除所述第一待处理像素点；其中，所述第一待处理像素点的像素点大小不超过第一预设像素值，且所述第一待处理像素点的当前亮度值大于第一预设阈值；
对所述第一待检测区域中包括的金属线路的边界线进行平滑处理，并断开相邻两条金属线路之间的粘连，得到所述中间检测区域。
在本公开的一种示例性实施例中，对中间检测区域进行腐蚀膨胀处理，得到所述第二待检测区域，包括：
从所述中间检测区域中提取第二待处理像素点，并对所述第二待处理像素点进行填充；其中，所述第二待处理像素点的像素点大小不超过第一预设像素值，且所述第二待处理像素点的当前亮度值小于第一预设阈值；
对所述中间检测区域中包括的金属线路的断开部分进行填充，并在不改变所述金属线路的面积的基础上对所述金属线路的边界线进行二次平滑处理，得到所述第二待检测区域。
在本公开的一种示例性实施例中，根据所述第一待检测区域以及第二待检测区域，生成目标检测图像，包括：
对所述第一待检测区域中包括的各像素点的第一灰阶值以及第二待检测区域中包括的各像素点的第二灰阶值进行求差运算，得到第三灰阶值，并判断所述第三灰阶值是否满足预设条件；
若所述第三灰阶值满足所述预设条件，则将所述第三灰阶值作为该像素点的目标灰阶值；
若所述第三灰阶值不满足所述预设条件，则对所述第三灰阶值进行替换，并将替换后的第三灰阶值作为该像素点的目标灰阶值；
根据各像素点的目标灰阶值，生成所述目标检测图像。
在本公开的一种示例性实施例中，对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷，包括：
通过预设的图像识别模型，对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷；
其中，所述图像识别模型包括边缘检测模型、卷积神经网络模型、循环神经网络模型以及深度神经网络模型中的一种或多种。
上述图像处理装置中各模块的具体细节已经在对应的图像处理方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图12来描述根据本公开的这种实施方式的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230以及显示单元1240。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1210执行，使得所述处理单元1210执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元1210可以执行如图1中所示的步骤S110：获取原始线路图像中的标记点，并根据所述标记点确定所述原始线路图像的第一待检测区域；步骤S120：对所述第一待检测区域进行边界锐化确定第二待检测区域，并根据所述第一待检测区域以及第二待检测区域，生成目标检测图像；步骤S130：对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷。
存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)12201和/或高速缓存存储单元12202，还可以进一步包括只读存储单元(ROM)12203。
存储单元1220还可以包括具有一组(至少一个)程序模块12205的程序/实用工具12204，这样的程序模块12205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1200也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、C++等，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (15)
1.一种图像处理方法，其特征在于，包括：
获取原始线路图像中的标记点，并根据所述标记点确定所述原始线路图像的第一待检测区域；
对所述第一待检测区域进行边界锐化确定第二待检测区域，并根据所述第一待检测区域以及第二待检测区域，生成目标检测图像；
对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷。
2.根据权利要求1所述的图像处理方法，其特征在于，获取原始线路图像中的标记点，包括：
获取原始线路图像，并对所述原始线路图像进行灰度处理，得到灰度线路图像；
对所述灰度线路图像进行二值化处理，得到二值化线路图像，并根据所述标记点所具有的属性特征，对所述二值化线路图像进行筛选，得到所述标记点。
3.根据权利要求2所述的图像处理方法，其特征在于，对所述灰度线路图像进行二值化处理，得到二值化线路图像，包括：
获取所述灰度线路图像中包括的各像素点的当前亮度值，并判断所述当前亮度值是否大于第一预设阈值；
若所述当前亮度值大于所述第一预设阈值，则利用第一预设亮度值对该像素点的当前亮度值进行替换；
若所述当前亮度值小于所述第一预设阈值，则利用第二预设亮度值对该像素点的当前亮度值进行替换；
根据当前亮度值替换后的各像素点，生成所述二值化线路图像。
4.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：
通过预设的图像采集装置，从待检测的金属线路表面上采集所述原始线路图像；其中，所述图像采集装置由大靶面工业相机以及工业远心镜头组成。
5.根据权利要求4所述的图像处理方法，其特征在于，通过预设的图像采集装置，从待检测的金属线路表面上采集所述原始线路图像，包括：
配置所述工业远心镜头与所述待检测的金属线路表面之间的光源的入射角度，并基于所述入射角度控制所述大靶面工业相机通过所述工业远心镜头，从待检测的金属线路表面上采集所述原始线路图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述光源由环形光源、一个或多个点光源以及一个或多个条形光源中的一种或多种组成；所述入射角度介于60°～85°之间。
7.根据权利要求1所述的图像处理方法，其特征在于，根据所述标记点确定所述原始线路图像的第一待检测区域，包括：
根据所述标记点在所述原始线路图像中的起始坐标位置以及所述标记点所具有的属性特征中的尺寸特征，计算所述标记点的中心点位置；
根据所述原始线路图像中包括的金属线路在所述原始线路图像中所占的比例，确定第一待检测区域的尺寸；
根据所述中心点位置以及所述第一待检测区域的尺寸，从所述原始线路图像中选取所述第一待检测区域。
8.根据权利要求1所述的图像处理方法，其特征在于，对所述第一待检测区域进行边界锐化确定第二待检测区域，包括：
对所述第一待检测区域进行膨胀腐蚀处理，得到中间检测区域；
对中间检测区域进行腐蚀膨胀处理，得到所述第二待检测区域。
9.根据权利要求8所述的图像处理方法，其特征在于，对所述第一待检测区域进行膨胀腐蚀处理，得到中间检测区域，包括：
从所述第一待检测区域中提取第一待处理像素点，并删除所述第一待处理像素点；其中，所述第一待处理像素点的像素点大小不超过第一预设像素值，且所述第一待处理像素点的当前亮度值大于第一预设阈值；
对所述第一待检测区域中包括的金属线路的边界线进行平滑处理，并断开相邻两条金属线路之间的粘连，得到所述中间检测区域。
10.根据权利要求8所述的图像处理方法，其特征在于，对中间检测区域进行腐蚀膨胀处理，得到所述第二待检测区域，包括：
从所述中间检测区域中提取第二待处理像素点，并对所述第二待处理像素点进行填充；其中，所述第二待处理像素点的像素点大小不超过第一预设像素值，且所述第二待处理像素点的当前亮度值小于第一预设阈值；
对所述中间检测区域中包括的金属线路的断开部分进行填充，并在不改变所述金属线路的面积的基础上对所述金属线路的边界线进行二次平滑处理，得到所述第二待检测区域。
11.根据权利要求1所述的图像处理方法，其特征在于，根据所述第一待检测区域以及第二待检测区域，生成目标检测图像，包括：
对所述第一待检测区域中包括的各像素点的第一灰阶值以及第二待检测区域中包括的各像素点的第二灰阶值进行求差运算，得到第三灰阶值，并判断所述第三灰阶值是否满足预设条件；
若所述第三灰阶值满足所述预设条件，则将所述第三灰阶值作为该像素点的目标灰阶值；
若所述第三灰阶值不满足所述预设条件，则对所述第三灰阶值进行替换，并将替换后的第三灰阶值作为该像素点的目标灰阶值；
根据各像素点的目标灰阶值，生成所述目标检测图像。
12.根据权利要求1所述的图像处理方法，其特征在于，对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷，包括：
通过预设的图像识别模型，对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷；
其中，所述图像识别模型包括边缘检测模型、卷积神经网络模型、循环神经网络模型以及深度神经网络模型中的一种或多种。
13.一种图像处理装置，其特征在于，包括：
第一待检测区域确定模块，用于获取原始线路图像中的标记点，并根据所述标记点确定所述原始线路图像的第一待检测区域；
目标检测图像生成模块，用于对所述第一待检测区域进行边界锐化确定第二待检测区域，并根据所述第一待检测区域以及第二待检测区域，生成目标检测图像；
图像识别模块，用于对所述目标检测图像进行图像识别，得到所述原始线路图像中包括的裂纹缺陷。
14.一种非瞬态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-12任一项所述的图像处理方法。
15.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-12任一项所述的图像处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210553271.4A CN114897847A (zh) | 2022-05-19 | 2022-05-19 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
| PCT/CN2023/092760 WO2023221801A1 (zh) | 2022-05-19 | 2023-05-08 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210553271.4A CN114897847A (zh) | 2022-05-19 | 2022-05-19 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114897847A true CN114897847A (zh) | 2022-08-12 |
Family
ID=82724657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210553271.4A Pending CN114897847A (zh) | 2022-05-19 | 2022-05-19 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114897847A (zh) |
| WO (1) | WO2023221801A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210295494A1 (en) * | 2016-06-28 | 2021-09-23 | Ecoatm, Llc | Methods and systems for detecting cracks in illuminated electronic device screens |
| CN115553491A (zh) * | 2022-11-11 | 2023-01-03 | 湖北中烟工业有限责任公司 | 一种视窗烟支的漏白检测方法、装置及电子设备 |
| CN115880248A (zh) * | 2022-12-13 | 2023-03-31 | 哈尔滨耐是智能科技有限公司 | 一种表面划痕缺陷识别方法及视觉检测设备 |
| CN116309589A (zh) * | 2023-05-22 | 2023-06-23 | 季华实验室 | 钣金件表面缺陷检测方法、装置、电子设备及存储介质 |
| WO2023221801A1 (zh) * | 2022-05-19 | 2023-11-23 | 京东方科技集团股份有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117314901B (zh) * | 2023-11-28 | 2024-02-02 | 闽都创新实验室 | 一种尺度自适应的芯片检测神经网络系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109872304B (zh) * | 2019-01-17 | 2022-12-02 | 京东方科技集团股份有限公司 | 图像缺陷检测方法及装置、电子设备、存储介质 |
| CN109886952B (zh) * | 2019-02-25 | 2021-04-23 | 京东方科技集团股份有限公司 | 一种屏幕缺陷点检测方法及其装置、计算机可读介质 |
| CN114004777A (zh) * | 2020-07-14 | 2022-02-01 | 京东方科技集团股份有限公司 | 柔性屏的断裂线检测方法及装置、计算机设备及介质 |
| CN114022503A (zh) * | 2021-10-29 | 2022-02-08 | 深圳中科飞测科技股份有限公司 | 检测方法及检测系统、设备和存储介质 |
| CN114897847A (zh) * | 2022-05-19 | 2022-08-12 | 京东方科技集团股份有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
-
2022
- 2022-05-19 CN CN202210553271.4A patent/CN114897847A/zh active Pending
-
2023
- 2023-05-08 WO PCT/CN2023/092760 patent/WO2023221801A1/zh unknown
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210295494A1 (en) * | 2016-06-28 | 2021-09-23 | Ecoatm, Llc | Methods and systems for detecting cracks in illuminated electronic device screens |
| US11803954B2 (en) * | 2016-06-28 | 2023-10-31 | Ecoatm, Llc | Methods and systems for detecting cracks in illuminated electronic device screens |
| WO2023221801A1 (zh) * | 2022-05-19 | 2023-11-23 | 京东方科技集团股份有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
| CN115553491A (zh) * | 2022-11-11 | 2023-01-03 | 湖北中烟工业有限责任公司 | 一种视窗烟支的漏白检测方法、装置及电子设备 |
| CN115553491B (zh) * | 2022-11-11 | 2023-11-24 | 湖北中烟工业有限责任公司 | 一种视窗烟支的漏白检测方法、装置及电子设备 |
| CN115880248A (zh) * | 2022-12-13 | 2023-03-31 | 哈尔滨耐是智能科技有限公司 | 一种表面划痕缺陷识别方法及视觉检测设备 |
| CN115880248B (zh) * | 2022-12-13 | 2024-02-09 | 哈尔滨耐是智能科技有限公司 | 一种表面划痕缺陷识别方法及视觉检测设备 |
| CN116309589A (zh) * | 2023-05-22 | 2023-06-23 | 季华实验室 | 钣金件表面缺陷检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023221801A9 (zh) | 2024-01-11 |
| WO2023221801A1 (zh) | 2023-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114897847A (zh) | 图像处理方法及装置、计算机可读存储介质、电子设备 | |
| US7162073B1 (en) | Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object | |
| US8908957B2 (en) | Method for building rule of thumb of defect classification, and methods for classifying defect and judging killer defect based on rule of thumb and critical area analysis | |
| CN112577969B (zh) | 一种基于机器视觉的缺陷检测方法以及缺陷检测系统 | |
| CN106501272B (zh) | 机器视觉焊锡定位检测系统 | |
| CN107610085A (zh) | 一种基于计算机视觉的焊点缺陷检测系统 | |
| CN110660072B (zh) | 一种直线边缘的识别方法、装置、存储介质及电子设备 | |
| CN102901735B (zh) | 利用计算机对工件缺损、裂变、变形进行自动检测的系统 | |
| CN115908269A (zh) | 视觉缺陷检测方法、装置、存储介质和计算机设备 | |
| CN112070762A (zh) | 液晶面板的mura缺陷检测方法、装置、存储介质及终端 | |
| CN116503388A (zh) | 缺陷检测方法、装置及存储介质 | |
| CN114998217A (zh) | 确定玻璃基板缺陷等级的方法、计算机设备及存储介质 | |
| CN117152165B (zh) | 感光芯片缺陷的检测方法、装置、存储介质及电子设备 | |
| CN116818785B (zh) | 一种基于机器视觉的缺陷检测方法、系统及介质 | |
| CN107980094B (zh) | 一种视觉检测系统及方法 | |
| CN116091503B (zh) | 一种面板异物缺陷的判别方法、装置、设备及介质 | |
| CN112419207A (zh) | 一种图像矫正方法及装置、系统 | |
| CN114359176A (zh) | 面板检测方法、装置、电子设备及存储介质 | |
| CN114004777A (zh) | 柔性屏的断裂线检测方法及装置、计算机设备及介质 | |
| CN113378847A (zh) | 字符分割方法、系统、计算机设备和存储介质 | |
| CN105261019A (zh) | 一种玻璃ic的检测方法和系统 | |
| JP4036048B2 (ja) | 欠陥識別方法 | |
| KR102199572B1 (ko) | 딥러닝 기반의 역방향 사물 검사 방법 | |
| CN114581890B (zh) | 确定车道线的方法、装置、电子设备和存储介质 | |
| CN116046791B (zh) | 点胶缺陷检测方法及检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |