CN118417953A - 用于全自动智能生产线的切割件扫描系统 - Google Patents
用于全自动智能生产线的切割件扫描系统 Download PDFInfo
- Publication number
- CN118417953A CN118417953A CN202410888267.2A CN202410888267A CN118417953A CN 118417953 A CN118417953 A CN 118417953A CN 202410888267 A CN202410888267 A CN 202410888267A CN 118417953 A CN118417953 A CN 118417953A
- Authority
- CN
- China
- Prior art keywords
- pixel point
- cutting
- value
- characteristic
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005520 cutting process Methods 0.000 title claims abstract description 446
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 33
- 238000005286 illumination Methods 0.000 claims abstract description 64
- 238000012512 characterization method Methods 0.000 claims abstract description 54
- 238000001914 filtration Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 238000009826 distribution Methods 0.000 claims description 109
- 238000000034 method Methods 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 32
- 238000009792 diffusion process Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 7
- 239000000956 alloy Substances 0.000 abstract description 11
- 229910045601 alloy Inorganic materials 0.000 abstract description 11
- 238000004458 analytical method Methods 0.000 abstract description 7
- 239000000463 material Substances 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 230000003014 reinforcing effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010034701 Peroneal nerve palsy Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005097 cold rolling Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003698 laser cutting Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及图像增强技术领域,具体涉及一种用于全自动智能生产线的切割件扫描系统,系统以执行的方法包括:获取红外扫描灰度图像,经过区域分割获得表面背景区域、热影响区域和切割线区域;对切割线区域内像素点灰度特征进行对称性和波动性分析获得切割线区域内每个像素点的切割特征表征值和背景特征表征值;根据切割线区域内灰度值和背景特征表征值的关联情况和灰度差异得到光照影响趋势值;根据切割线区域内每个像素点与区域中心像素点的切割特征表征值和背景特征表征值的差异确定滤波权重;基于滤波权重对切割线区域进行增强处理,获得红外扫描灰度图像的切割识别结果。本发明使得合金板材切割过程的切割路径的识别结果更加准确。
Description
技术领域
本发明涉及图像增强技术领域,具体涉及一种用于全自动智能生产线的切割件扫描系统。
背景技术
高强合金模板采用了目前最新一代的冷轧辊压一体成型技术,具有强度高、重量轻,易拆装等优点,混凝土浇筑拆模后,成型效果好、观感佳、气泡少。对于高强度合金模板,在其制造加工过程中需要进行切割操作,可以将大块的合金板材切割成特定尺寸或形状,以供后续组装或加工的使用。其中,目前的智能切割包含了多种切割技术,例如激光切割等。同时,在对合金板材进行切割过程中,需要对切割件表面进行视觉扫描,帮助识别合金板材的摆放位置和姿态,从而校正切割路径,确保切割质量。
目前,常采用机器视觉的方法识别合金板材切割过程的切割路径,例如阈值分割、边缘检测的方法。但是在切割过程中,沿着切割设备移动方向的垂直两侧,较为靠近切割路径的部分会产生逐渐升高的热量,使得原始切割路径上的像素点受周围高热量区域的影响,与周围非切割路径上的像素点之间的对比度较低,影响阈值分割或者边缘检测的结果。现有方法常采用图像增强的方法进行处理,但是增强处理的权重常依据经验获取固定的取值,使得增强效果较差,进而使得合金板材切割过程的切割路径的识别结果较不准确。
发明内容
为了解决现有增强处理的权重常依据经验获取固定的取值,使得增强效果较差,进而使得合金板材切割过程的切割路径的识别结果较不准确的技术问题,本发明的目的在于提供一种用于全自动智能生产线的切割件扫描系统,所采用的技术方案具体如下:
一种用于全自动智能生产线的切割件扫描系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现如下步骤:
获取生产线上切割过程中切割件表面的红外扫描灰度图像,对红外扫描灰度图像进行区域分割获得表面背景区域、热影响区域以及切割线区域;
根据切割线区域内每个像素点在垂直于切割方向上属于热影响区域内的像素点的灰度值差异分布、灰度值波动特征分布以及对称性特征表现情况,得到切割线区域内每个像素点的切割特征表征值;
根据切割线区域内每个像素点在垂直于切割方向上属于表面背景区域内的像素点的灰度值波动特征分布以及灰度值均衡分布,得到切割线区域内每个像素点的背景特征表征值;
根据切割线区域内所有像素点的灰度值和对应背景特征表征值之间的关联情况、切割线区域内每个像素点邻域内像素点在切割方向上的灰度差异分布,得到切割线区域的光照影响趋势值;
根据切割线区域内每个像素点与区域中心像素点的所述切割特征表征值的差异情况以及所述背景特征表征值的差异情况,结合所述光照影响趋势值和灰度值的差异情况,确定切割区域内每个像素点的滤波权重;基于所述滤波权重对切割线区域进行增强处理,根据处理结果获得红外扫描灰度图像的切割识别结果。
优选地,所述根据切割线区域内每个像素点在垂直于切割方向上属于热影响区域内的像素点的灰度值差异分布、灰度值波动特征分布以及对称性特征表现情况,得到切割线区域内每个像素点的切割特征表征值,具体包括:
将切割线区域内任意一个像素点作为目标像素点,以目标像素点为中心基于在目标像素点垂直于切割方向上属于表面背景区域的像素点,确定目标像素点的第一局部像素点序列和第二局部像素点序列;
基于所述第一局部像素点序列和第二局部像素点序列对应像素点的灰度值差异的整体水平,确定垂直扩散均匀程度,所述灰度值差异的整体水平与垂直扩散均匀程度呈负相关关系;
根据第一局部像素点序列内像素点的灰度值的均衡情况和波动情况,以及第二局部像素点序列内像素点的灰度值的均衡情况和波动情况,结合垂直扩散均匀程度,得到目标像素点的切割特征表征值。
优选地,所述目标像素点的切割特征表征值的获取方法具体为:
对于任意一个局部像素点序列,对局部像素点序列中所有像素点的灰度值的整体水平系数和离散系数进行融合,得到局部像素点序列的分布特征因子;
基于第一局部像素点序列的所述分布特征因子和第二局部像素点序列的所述分布特征因子以及垂直扩散均匀程度,确定目标像素点的切割特征表征值。
优选地,所述根据切割线区域内每个像素点在垂直于切割方向上属于表面背景区域内的像素点的灰度值波动特征分布以及灰度值均衡分布,得到切割线区域内每个像素点的背景特征表征值,具体包括:
以目标像素点为中心基于在目标像素点垂直于切割方向上属于表面背景区域内的像素点,确定第三局部像素点序列和第四局部像素点序列;
获取第三局部像素点序列和第四局部像素点序列的分布特征因子,基于第三局部像素点序列的所述分布特征因子和第四局部像素点序列的所述分布特征因子,确定目标像素点的背景特征表征值。
优选地,所述根据切割线区域内所有像素点的灰度值和对应背景特征表征值之间的关联情况、切割线区域内每个像素点邻域内像素点在切割方向上的灰度差异分布,得到切割线区域的光照影响趋势值,具体包括:
基于切割线区域内所有像素点的灰度值和相同像素点的背景特征表征值,计算相似度指标;
将任意一个像素点作为选定像素点,在选定像素点的邻域窗口内,获取与切割方向平行的每条线段上所有邻域像素点构成每个邻域像素点序列;
根据切割线区域内像素点的邻域像素点序列内灰度值的差异变化情况,结合所述相似度指标,得到切割线区域的光照影响趋势值。
优选地,所述根据切割线区域内像素点的邻域像素点序列内灰度值的差异变化情况,结合所述相似度指标,得到切割线区域的光照影响趋势值,具体包括:
对于任意一个邻域像素点序列,基于邻域像素点序列中相邻像素点之间的灰度值差异的波动程度,确定邻域像素点序列的灰度变化因子;
根据切割区域内所有像素点的所有邻域像素点序列的灰度变化因子的均值,结合所述相似度指标,得到切割线区域的光照影响趋势值;
所述均值与光照影响趋势值呈负相关关系,所述相似度指标和光照影响趋势值呈正相关关系。
优选地,所述根据切割线区域内每个像素点与区域中心像素点的所述切割特征表征值的差异情况以及所述背景特征表征值的差异情况,结合所述光照影响趋势值和灰度值的差异情况,确定切割区域内每个像素点的滤波权重,具体包括:
基于切割线区域内每个像素点的邻域窗口内的灰度值与切割线区域的中心像素点的邻域窗口内的灰度值,计算切割线区域内每个像素点对应的均方误差;
根据切割线区域内每个像素点与中心像素点之间的切割特征表征值的差异情况,每个像素点与中心像素点之间的背景特征表征值的差异情况,结合所述光照影响趋势值,得到切割线区域内每个像素点的特征差异因子;
根据所述特征差异因子和均方误差,得到切割线区域内每个像素点的滤波权重,所述特征差异因子与所述滤波权重呈负相关关系,所述均方误差和所述滤波权重呈正相关关系。
优选地,所述特征差异因子的获取方法具体为:
对于切割线区域内任意一个像素点,基于像素点与切割线区域的中心像素点之间的切割特征表征值的差异,确定像素点的第一差异特征;基于像素点与中心像素点之间的背景特征表征值的差异,确定像素点的第二差异特征;
根据切割线区域的光照影响趋势值确定第一差异特征的权值系数和第二差异特征的权值系数,所述光照影响趋势值与第一差异特征的权值系数呈负相关关系,所述光照影响趋势值和第二差异特征的权值系数呈正相关关系;
利用权值系数对第一差异特征和第二差异特征进行加权融合,得到像素点的特征差异因子。
优选地,所述根据处理结果获得红外扫描灰度图像的切割识别结果,具体包括:
对增强处理后的红外扫描灰度图像进行边缘检测,获得切割件对应的切割路线。
优选地,所述对红外扫描灰度图像进行区域分割获得表面背景区域、热影响区域以及切割线区域,具体包括:
利用神经网络对红外扫描灰度图像中的背景和目标进行分割,获得表面背景区域和热源区域;对热源区域进行阈值分割处理获得热影响区域和切割区域,将切割区域的最小外接矩形作为切割线区域。
本发明实施例至少具有如下有益效果:
本发明首先获取切割件在切割过程中的红外扫描灰度图像,并对图像进行初步的区域分割,以区分图像中的大致的切割路径部分所在区域,以及切割路径周围受热源影响的热影响区域和其他背景部分的表面背景区域。然后,通过分析切割线区域内像素点在垂直于切割方向上且属于热影响区域的灰度差异分布,以及灰度波动和对称性特征,对切割线区域内像素点在热影响区域内的切割特征表现程度进行量化,切割特征表征值也反映了像素点符合对称性分布的切割特征表现程度。同时,分析切割线区域内像素点在垂直于切割方向上且属于表面背景部分的灰度特征分布和灰度波动,利用背景特征表征值对表面背景部分表现出的灰度特征进行表征。进一步的,通过分析像素点的灰度值和背景特征表征值之间的关联关系,反映出灰度变化情况受环境光照影响的关联趋势,结合像素点在切割方向上的灰度差异分布,量化光照影响趋势值,反映出切割线区域内受环境光照影响的响应程度。最后,结合切割线区域内每个像素点在两个方面的特征差异表现情况,以及灰度差异情况,自适应获取每个像素点对应的滤波权重,可以有效增强切割线区域内的灰度对比度,同时避免了环境光照的影响,使得切割线区域的图像增强效果更佳,以获得更加准确的合金板材切割过程的切割路径的识别结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明提供的一种用于全自动智能生产线的切割件扫描系统所执行方法的步骤流程图;
图2是本发明提供的红外扫描灰度图像的示意图;
图3是本发明提供的切割特征表征值的获取方法的步骤流程图;
图4是本发明提供的光照影响趋势值的获取方法的步骤流程图;
图5是本发明提供的像素点的滤波权重的获取方法的步骤流程图;
图6是本发明提供的增强图像的示意图;
图7是本发明提供的增强图像对应的Sobel检测结果示意图;
图8是本发明提供的canny检测结果示意图;
图9是本发明提供的一种计算机设备结构示意图;
图10是本发明提供的一种用于全自动智能生产线的切割件扫描装置的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种用于全自动智能生产线的切割件扫描系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种用于全自动智能生产线的切割件扫描系统的具体方案。
本实施例提出了一种用于全自动智能生产线的切割件扫描系统,该系统以实现如图1所示的步骤,具体步骤如下:
步骤S100,获取生产线上切割过程中切割件表面的红外扫描灰度图像,对红外扫描灰度图像进行区域分割获得表面背景区域、热影响区域以及切割线区域。
首先,需要说明的是,在对切割件进行切割的过程中,在垂直于切割路径的方向上切割路径的两侧距离较近的位置处,会产生一定的热量,且热量会逐渐升高,进而对合金板材进行红外扫描时,这部分会产生高亮的表现。
为了给后续热源部分对切割路径的影响特征分布情况进行分析时提供数据基础,本实施例需要对切割过程中切割件表面进行红外扫描,可以通过在流水线正上方安装高分辨率红外摄像机,采集切割过程中切割件表面的红外图像,同时,对红外图像进行灰度化处理,获得红外扫描灰度图像,如图2所示,便于后续特征分析。
表现在红外扫描灰度图像中,正常情况下属于切割路径上的像素点的温度值较低,对应的灰度值较小,但是切割过程中,切割路径两侧存在大量高热区域,对应像素点的灰度值较大,使得切割路径上的像素点受到周围较高温度的影响与周围非切割路径部分的对比度较低,不利于对切割路径的准确识别,因此需要对较不显著的切割路径部分进行补偿,以实现对切割路径进行更加精确的扫描和定位。
基于此,本实施例为了后续不同区域部分的特征分析,需要对红外扫描灰度图像进行特征分割,以初步区分切割路径部分,切割路径周围的产生热影响部分,以及这两部分之外的背景部分。
由于红外扫描灰度图像中存在切割产生的热源部分,周围其他背景部分具有环境光导致的较为轻微的亮度变化,热源部分的亮度表现为高亮部分。同时,考虑到热源部分会以切割路径为中轴线呈现出相互对应的热量分布现象,对应的灰度值分布也会呈现出一定的对称性。因此可以利用大量历史切割记录中的红外灰度图像结合训练神经网络,对红外扫描灰度图像进行初步的语义分割,初步划分出背景部分和热源部分,进而在对热源部分的切割路径部分和高热影响部分进行区分。也即是利用神经网络对红外扫描灰度图像中的背景和目标进行分割,获得表面背景区域和热源区域。
其中,神经网络相关的具体内容为:首先,人工标注即框选红外灰度图像集合中所有图像的热源区域,然后将标注后的红外灰度图像集合按照7∶3划分为训练集和验证集,利用CNN神经网络模型对训练集进行训练,损失函数为交叉熵函数,利用梯度下降法训练至损失函数收敛,并利用验证集验证训练结果,完成神经网络的训练。其中,红外灰度图像集合为历史切割记录中按照与红外扫描灰度图像相同的方法采集的图像构成的集合。
然后,可以利用训练完成的神经网络对红外扫描灰度图像中的热源区域进行分割,红外扫描灰度图像中除了热源区域之外其他连通的区域为表面背景区域。
进一步的,热源区域包含了由于切割产生的高热影响部分和被切割两侧高热影响部分包围的切割路径部分,尽管切割路径受高亮的热影响部分的影响导致切割路径在图像中表现并不明显,但是相比于非常高亮的热影响部分来说,温度值较低,灰度值较小,可以采用阈值分割的方法粗略的区分出大致的区域范围。
具体地,对热源区域进行阈值分割处理获得热影响区域和切割区域,将切割区域的最小外接矩形作为切割线区域。本实施例采用大津阈值分割的方法对热源区域进行阈值分割获得热影响区域和切割区域,其中,灰度值大于最优阈值的像素点属于热影响区域,灰度值小于最优阈值的像素点属于切割区域,最优阈值由大津阈值分割算法进行确定。
需要说明的是,考虑到热影响区存在热量高亮影响情况,影响了初步划分的切割区域的精度,本实施例通过将切割区域的最小外接矩形作为一个切割线区域,表征为可能是切割路径分布的区域范围,对这部分的像素点的灰度值进行补偿,以获得更加精确的切割路径的识别结果。至此,本实施例经过区域特征分割后,红外扫描灰度图像被划分为两个表面背景区域,两个热影响区域和一个切割线区域。
步骤S200,根据切割线区域内每个像素点在垂直于切割方向上属于热影响区域内的像素点的灰度值差异分布、灰度值波动特征分布以及对称性特征表现情况,得到切割线区域内每个像素点的切割特征表征值。
考虑到切割路径可以近似看作一条直线,在垂直于切割路径的方向上切割路径的两侧较近的热影响区域内一般呈现出热量对应的分布现象,表现在红外扫描灰度图像中也即是在切割路径两侧垂直于切割方向上属于热影响区域内的像素点的灰度值呈现出对称性分布。同时,在正常情况下,属于切割路径同一垂直路线上属于热影响区域内的像素点的灰度值分布呈现出高亮分布,且较为均匀。基于此特征,可以以切割线区域每个像素点作为垂足,分析垂直于切割方向上每条垂线属于热影响区域内的像素点的对称性分布特征,以及灰度差异分布和波动分布,量化为切割特征表征值。
在本实施例中,如图3所示,获取切割特征表征值的方法可以由步骤S201至步骤S203实现。
步骤S201,将切割线区域内任意一个像素点作为目标像素点,以目标像素点为中心基于在目标像素点垂直于切割方向上属于表面背景区域的像素点,确定目标像素点的第一局部像素点序列和第二局部像素点序列。
具体地,以目标像素点为垂足,获取垂直于切割方向的直线,该直线上属于两个热影响区域内的像素点分别构成第一局部像素点序列和第二局部像素点序列。如图2所示,目标像素点属于中间高亮部分内部的像素点,以目标像素点为中心,垂直于切割方向的直线,在上侧属于热影响区域的像素点构成第一局部像素点序列,在下侧属于热影响区域的像素点构成第二局部像素点序列。
同时,需要说明的是,为了后续针对两个像素点序列呈对称性分布的灰度特征,两个局部像素点序列依据像素点与目标像素点的距离进行排列,例如,按照垂直于切割方向的直线上属于热影响区域的像素点与目标像素点之间的欧氏距离的从小到大或者从大到小的顺序,对像素点进行排列。也即是,第一局部像素点序列和第二局部像素点序列中,对应位置上的像素点与目标像素点之间的欧氏距离相等。
步骤S202,基于所述第一局部像素点序列和第二局部像素点序列对应像素点的灰度值差异的整体水平,确定垂直扩散均匀程度,所述灰度值差异的整体水平与垂直扩散均匀程度呈负相关关系。
在本实施例中,以切割线区域内任意一个像素点为例,分析像素点在切割路径两侧对应位置处的灰度差异分布特征,量化表现灰度对称性分布特征。即将切割线区域内第i个像素点作为目标像素点,作为一个具体的示例,第i个像素点对应的垂直扩散均匀程度可以用公式表示为:
;其中,表示切割线区域内第i个像素点也即是目标像素点对应的垂直扩散均匀程度,表示第i个像素点对应的第一局部像素点序列和第二局部像素点序列中包含的像素点数量的最小值,表示切割线区域内第i个像素点对应的第一局部像素点序列中第n个像素点的灰度值,表示切割线区域内第i个像素点对应的第二局部像素点序列中第n个像素点的灰度值,i表示切割线区域内第i个像素点,exp( )表示以自然常数e为底的指数函数。
反映了第一局部像素点序列和第二局部像素点序列中对应位置像素点之间的灰度值差异,当n取1时,则表示两个局部像素点序列中第一个像素点的灰度值之间的差异。反映了两个局部像素点序列中对应位置像素点之间的灰度值差异的整体水平,也即是本实施例利用所有灰度值差异的均值反映整体水平,两个局部像素点序列中对应位置的灰度差异越小,说明以目标像素点为对称中心的对称特征的表现程度越大。即利用负指数幂的形式进行负相关处理后,对应的垂直扩散均匀程度的取值越大。垂直扩散均匀程度表征了目标像素点垂直于切割方向两侧呈现出对称性分布的特征程度。
需要说明的是,在其他实施例中,实施者还可以采用中位值、众数等特征来表征两个局部像素点序列对应位置灰度差异的整体水平。其中,负相关关系可以采用倒数的形式或者以自然常数e为底的负指数幂的形式进行映射。同时,切割方向在对切割件进行切割操作时就已经被确定,也即是切割方向表征了实际进行切割操作的路径。在其他实施例中,切割时可能会画切割辅助线,该切割方向也可以依据切割辅助线进行标记。
步骤S203,根据第一局部像素点序列内像素点的灰度值的均衡情况和波动情况,以及第二局部像素点序列内像素点的灰度值的均衡情况和波动情况,结合垂直扩散均匀程度,得到目标像素点的切割特征表征值。
考虑到热影响区域内像素点对应位置的温度较高,热量较高,对应的像素点的灰度值取值越大,并且热影响区域内像素点的灰度值分布较为均匀,波动较小。基于此特征,通过分析两个局部像素点序列中像素点的灰度特征分布情况,结合灰度对称性分布特征,量化像素点整体属于切割路径的特征表现程度。
在本实施例中,以第一局部像素点序列和第二局部像素点序列中任意一个局部像素点序列为例进行说明,对局部像素点序列中所有像素点的灰度值的整体水平系数和离散系数进行融合,得到局部像素点序列的分布特征因子;基于第一局部像素点序列的所述分布特征因子和第二局部像素点序列的所述分布特征因子以及垂直扩散均匀程度,确定目标像素点的切割特征表征值。
其中,整体水平系数可以是局部像素点序列中所有像素点的灰度值的均值,也可以是中位值、众数等。离散系数可以是局部像素点序列中所有像素点的灰度值的方差,也可以是标准差、差异系数等。
在本实施例中,作为一个具体的示例,目标像素点的切割特征表征值可以用公式表示为:;其中,表示切割线区域内第i个像素点也即是目标像素点的切割特征表征值,和分别表示目标像素点对应的第一局部像素点序列中所有像素点灰度值的均值和方差,和分别表示目标像素点对应的第二局部像素点序列中所有像素点灰度值的均值和方差,表示切割线区域内第i个像素点也即是目标像素点对应的垂直扩散均匀程度。
表示第一局部像素点序列的分布特征因子,表示第二局部像素点序列的分布特征因子,也即是本实施例通过求乘积的方式将对应的整体水平系数和离散系数进行融合,在其他实施例中,实施者还可以采用求和等方式进行处理。
在分布特征因子中,和反映了对应的局部像素点序列中灰度值分布的整体水平,也即是反映了目标像素点周围两侧在热影响区域的整体灰度分布方面的特征。和反映了对应局部像素点序列中灰度值分布的波动程度,也即是反映了目标像素点周围两侧在热影响区域的灰度分布波动情况方面的特征。表征了目标像素点周围两侧呈现出对称性分布的特征。本实施例通过上述公式实现对这三个方面的特征的融合。故切割特征表征值可以表征对应目标像素点在这三个方面的综合特征表现程度。
步骤S300,根据切割线区域内每个像素点在垂直于切割方向上属于表面背景区域内的像素点的灰度值波动特征分布以及灰度值均衡分布,得到切割线区域内每个像素点的背景特征表征值。
类比在切割路径两侧垂直于切割方向上属于热影响区域内的像素点的灰度特征分析方法,可以同样对在切割路径两侧垂直于切割方向上属于表面背景区域内的像素点的灰度特征分布进行分析,量化为背景特征表征值。
按照步骤S200中第一和第二局部像素点序列的相同的获取方法,获取目标像素点上下两侧属于表面背景区域部分的像素点。具体地,以目标像素点为中心基于在目标像素点垂直于切割方向上属于表面背景区域内的像素点,确定第三局部像素点序列和第四局部像素点序列。
也即是,仍然以目标像素点为垂足,在垂直于切割方向的直线上,获取分别属于两个表面背景区域的像素点,也如图2,将垂直于切割方向的直线上属于上侧表面背景区域的所有像素点构成第三局部像素点序列,将垂直于切割方向的直线上属于下侧表面背景区域的所有像素点构成第四局部像素点序列。
同时,需要说明的是,第三局部像素点序列和第四局部像素点序列的像素点排列方式,与第一局部像素点序列和第二局部像素点序列的像素点排列方式相同。例如,四个局部像素点序列均按照像素点对应的欧氏距离从小到大的顺序进行排列。或者四个局部像素点序列均按照像素点对应的欧氏距离从大到小的顺序进行排列。
获取第三局部像素点序列和第四局部像素点序列的分布特征因子,在本实施例中,第三局部像素点序列和第四局部像素点序列的分布特征因子的获取方法与步骤S203中第一局部像素点序列和第二局部像素点序列的分布特征因子的获取方法相同。
进一步的,按照步骤S203相同的方法综合分析目标像素点对应垂线上表面背景区域内像素点的灰度特征分布情况。即基于第三局部像素点序列的所述分布特征因子和第四局部像素点序列的所述分布特征因子,确定目标像素点的背景特征表征值。
在本实施例中,仍以切割线区域内任意一个像素点为例进行说明,也即是目标像素点的背景特征表征值可以用公式表示为:
;其中,表示切割线区域内第i个像素点也即是目标像素点的背景特征表征值,和分别表示目标像素点对应的第三局部像素点序列中所有像素点灰度值的均值和方差,和分别表示目标像素点对应的第四局部像素点序列中所有像素点灰度值的均值和方差。
表示第三局部像素点序列的分布特征因子,表示第四局部像素点序列的分布特征因子。在分布特征因子中,和反映了对应的第三和第四局部像素点序列中灰度值分布的整体水平,也即是反映了目标像素点周围两侧在表面背景区域的整体灰度分布方面的特征。和反映了对应第三和第四局部像素点序列中灰度值分布的波动程度,也即是反映了目标像素点周围两侧在表面背景区域的灰度分布波动情况方面的特征。本实施例通过上述公式实现对这两个方面的特征的融合。故背景特征表征值可以表征对应目标像素点在这两个方面的综合特征表现程度。
需要说明的是,考虑到在切割过程中可能存在环境光照影响表面背景区域内的灰度值分布情况,在正常情况下,表面背景区域呈现出较暗的灰度分布,但是受环境光照的影响,可能出现较不均匀的局部亮部区域,也即是正常较暗分布一般也具有对称性分布时,环境光照存在的影响破坏了这种对称性特征,故本实施例在对目标像素点对应垂线上表面背景区域的像素点灰度特征分析时,不考虑对称性特征的量化情况。
步骤S400,根据切割线区域内所有像素点的灰度值和对应背景特征表征值之间的关联情况、切割线区域内每个像素点邻域内像素点在切割方向上的灰度差异分布,得到切割线区域的光照影响趋势值。
考虑到表面背景区域部分可能存在由于环境光照的影响而产生亮度较高的部分,但是由于环境光照射的不确定性,这部分环境光照影响区域可能会被误识别为热影响区域,进而使得正常情况下热影响区域的灰度对称性特征被破坏,影响切割线区域部分的增强效果。故本实施例通过结合切割线区域内像素点对应垂线在表面背景区域内的灰度变化特征,以及像素点的邻域灰度特征分布,量化环境光照的影响情况,确定光照影响趋势值。
在本实施例中,如图4所示,获取光照影响趋势值的方法可以由步骤S401至步骤S403实现。
步骤S401,基于切割线区域内所有像素点的灰度值和相同像素点的背景特征表征值,计算相似度指标。
切割线区域内每个像素点均对应了一个背景特征表征值,反映了像素点所在垂直于切割方向的垂线上背景部分的灰度特征表现程度,切割线区域内像素点的灰度变化情况与相同像素点对应的背景特征表征值的变化情况,在正常情况下关联性相对较大。当两者的变化情况存在一定的差异时,说明背景部分存在环境光照影响,出现了相对异常的灰度波动,同时环境光照的亮暗变化对切割线区域内像素点的灰度值表现程度的影响越大。
基于此,通过分析切割线区域内所有像素点的灰度值和所有像素点的背景特征表征值之间的关联关系,计算两者之间的相似度指标。具体地,本实施例中,将切割线区域内所有像素点的灰度值构成切割线区域对应的灰度值序列,按照与之相同的像素点的排列顺序,获取切割区域内所有像素点的背景特征表征值构成切割线区域对应的背景特征序列。
计算灰度值序列和背景特征序列之间的皮尔逊相关系数作为两者之间的相似度指标,该相似度指标表征了切割线区域内像素点的灰度变化特征与对应在垂线上背景部分的灰度变化特征的关联程度,相似度指标的取值越大,说明环境光照对切割线区域内的亮暗变化影响程度越大。
在其他实施例中,实施者还可以通过计算灰度值序列和背景特征序列之间的余弦相似度作为相似度指标,或者计算灰度值序列和背景特征序列之间的DTW距离的负相关系数作为相似度指标。
步骤S402,将任意一个像素点作为选定像素点,在选定像素点的邻域窗口内,获取与切割方向平行的每条线段上所有邻域像素点构成每个邻域像素点序列。
考虑到在平行于切割方向上的相邻像素点之间的灰度特征分布应当较为相似,为后续提供数据基础,则需要首先获取每个像素点周围局部范围内平行于切割方向的像素点分布序列。在本实施例中,将每个像素点的邻域窗口尺寸设置为5×5,实施者可根据具体实施场景进行设置。
在每个像素点的邻域窗口内,可以遍历窗口获取与切割方向平行的多条线段,每条线段的长度可能相同也可能有不同,将每条平行线的线段上所有邻域像素点按照一定的顺序进行排列,可以获得每条平行的线段对应的邻域像素点序列。其中,可以按照线段从左到右的顺序对所有邻域像素点进行排列,也可以按照从右到左的顺序对所有邻域像素点进行排列,但是需要保证所有邻域像素点序列的排列方式是相同的。
举例说明,假设切割方向为与水平方向夹角为180°的方向,也即是切割方向为水平向左的方向,进而在像素点的邻域窗口内与水平线平行的多条线段构成多个邻域像素点序列,也即是在一个像素点的5×5邻域窗口内每行5个像素点构成一个邻域像素点序列,也即是当前情况下,像素点的邻域窗口内每行像素点即为每条平行于切割方向的平行线段上的像素点。
步骤S403,根据切割线区域内像素点的邻域像素点序列内灰度值的差异变化情况,结合所述相似度指标,得到切割线区域的光照影响趋势值。
考虑到在切割线区域内每个像素点周围,在属于切割路径部分的像素点的灰度值差异较小,故表现在邻域窗口内每个邻域像素点序列中相邻像素点的灰度值变化情况较为接近。基于此,可以通过分析切割线区域内每个像素点对应的每个邻域像素点序列相邻灰度变化情况,结合相似度指标,量化切割线区域整体受环境光照影响的程度。
首先,对于任意一个邻域像素点序列,基于邻域像素点序列中相邻像素点之间的灰度值差异的波动程度,确定邻域像素点序列的灰度变化因子。
在本实施例中,以切割线区域任意一个像素点为例说明,切割线区域内第i个像素点的邻域窗口内第m个邻域像素点序列,邻域像素点序列中每个邻域像素点与相邻的下一个邻域像素点之间的灰度值差异作为每个邻域像素点的灰度特征差异,以任意一个邻域像素点为例,灰度特征差异可以表示为,表示切割线区域内第i个像素点的邻域窗口内第m个邻域像素点序列中第t个邻域像素点的灰度特征差异,和分别表示切割线区域内第i个像素点的邻域窗口内第m个邻域像素点序列中第t个邻域像素点的灰度值和第t+1个邻域像素点的灰度值,i表示切割线区域内第i个像素点,m表示切割线区域内第i个像素点的邻域窗口内第m个邻域像素点序列。需要说明的是,对于最后一个像素点的灰度特征差异设置为0,或者对于没有参照对象的像素点无法计算相关的灰度特征的取值并不进行计算。灰度特征差异表征了邻域像素点序列中相邻像素点之间的灰度差异变化情况。
将邻域像素点序列中每个邻域像素点与相邻的下一个邻域像素点之间的灰度特征差异之间的差值绝对值的均值,作为邻域像素点序列的灰度变化因子。也即是通过分析一个邻域像素点序列中每个邻域像素点相邻灰度差异的差异分布,表征邻域像素点序列中相邻灰度值差异的波动情况,该相邻灰度差异的差异分布越大,对应的波动程度越大,灰度变化因子的取值越大。
进一步的,根据切割区域内所有像素点的所有邻域像素点序列的灰度变化因子的均值,结合所述相似度指标,得到切割线区域的光照影响趋势值;所述均值与光照影响趋势值呈负相关关系,所述相似度指标和光照影响趋势值呈正相关关系。
在本实施例中,切割线区域的光照影响趋势值用公式可以表示为:
;
其中,表示切割线区域的光照影响趋势值,表示相似度指标,表示切割线区域内包含的像素点的数量,表示切割线区域内第i个像素点包含的邻域像素点序列的总数量,表示切割线区域内第i个像素点的第m个邻域像素点序列内包含的像素点的总数量。表示切割线区域内第i个像素点的第m个邻域像素点序列内第t个邻域像素点的灰度特征差异,表示切割线区域内第i个像素点的第m个邻域像素点序列内第t+1个邻域像素点的灰度特征差异,c表示预设的超参数,取值为0.1,是为了防止分母为0,Norm( )表示线性归一化函数。
表示邻域窗口内平行于实际切割路径直线上的多个连续像素点的集合中相邻像素点的灰度值差之间的差异,反应了邻域像素点序列中相邻像素点之间的灰度特征差异的差异情况,该差异越小,说明在邻域窗口内平行于切割方向的灰度变化越均匀,在该邻域窗口内符合光照影响的特征程度越大,对应的第m个邻域像素点序列的灰度变化因子的取值越大,进而说明切割线区域内的光照影响趋势值应当越大。
因而遍历切割线区域内所有像素点的邻域窗口内平行于切割方向的灰度特征分布情况,光照影响趋势值的取值越大说明对于环境光照的响应趋势越高,所计算出的光照影响相关性的真实性越高,因此利用该值对相关性加权,即对应的相似度指标的取值越大,说明了切割线区域内灰度变化对环境光照影响的响应趋势越大,进而光照影响趋势值的取值越大。基于此,切割线区域的光照影响趋势值反应了切割线区域内像素点的灰度值变化对于环境光照影响的影响趋势,其取值越大,说明响应程度越大。
步骤S500,根据切割线区域内每个像素点与区域中心像素点的所述切割特征表征值的差异情况以及所述背景特征表征值的差异情况,结合所述光照影响趋势值和灰度值的差异情况,确定切割区域内每个像素点的滤波权重;基于所述滤波权重对切割线区域进行增强处理,根据处理结果获得红外扫描灰度图像的切割识别结果。
在属于切割路径部分的每一个像素点基于非局部均值滤波思想对图像进行增强时,会计算任意一个处于切割线区域内的像素点与当前区域中心切割像素点之间在邻域内的均方误差,该均方误差是基于灰度值进行计算的,当均方误差较大时,即中心像素点与切割线区域内其他像素点的局部区域内差异较大时,在原始的非局部均值滤波思想中,此时切割线区域内每个像素点与中心像素点之间的相似度较小,进而对应的求均权重较低,因此最终获取到的中心像素点的灰度值仍然较大,无法起到增强作用和提高切割线区域的对比度的目的。
因此,本实施例在利用非局部均值滤波的思想对切割线区域部分进行增强处理,以提高切割线区域部分的对比度时,通过添加热影响区域和表面背景区域对于切割线区域内像素点的特征表现,将切割线区域的中心像素点和内部每个像素点在局部区域内的特征表现的差异作为均方误差的调整权重,特征表现差异越小,说明两者之间在其他区域部分的特征越相似,对应的均方误差的参考价值越大。同时,为了达到对切割线区域部分进行增强的目的,需要使得切割线区域的中心像素点与内部每个像素点在局部区域内对应的均方误差越大,对应的相似度越低,也即灰度差异越大,使得切割线区域内每个除中心像素点外的像素点的求均权重越大,对应能够使得求均处理后的灰度对比度增大,达到图像增强的目的。
在本实施例中,如图5所示,获取切割区域内每个像素点的滤波权重的方法可以由步骤S501至步骤S503实现。
步骤S501,基于切割线区域内每个像素点的邻域窗口内的灰度值与切割线区域的中心像素点的邻域窗口内的灰度值,计算切割线区域内每个像素点对应的均方误差。
需要说明的是,非局部均值滤波算法中,通常通过计算一个较大的切割线区域与每个局部窗口之间的相似度以确定较为相似的部分进行平滑处理。而本实施例的场景下,大部分属于切割路径部分的是切割线区域,切割线区域内像素点之间的灰度值对比度较小,表现出较为相似的特征,难以进行分割,无法准确识别切割线区域内的切割路径部分,故需要计算切割线区域中心与每个像素点的局部窗口之间的最大差异,以提高两者之间的对比度,实现增强效果和补偿效果。
基于此,首先需要基于切割线区域内每个像素点的邻域窗口内的灰度值与切割线区域的中心像素点的邻域窗口内的灰度值,计算切割线区域内每个像素点对应的均方误差。其中,本实施例将切割线区域的质心所在的像素点作为切割线区域的中心像素点,在其他实施例中,实施者可根据具体实施场景进行设置。进而,将切割线区域内每个像素点在5×5的邻域窗口内所有像素点的灰度值构成每个像素点的邻域灰度集合,同理,将切割线区域的中心像素点在5×5的邻域窗口内所有像素点的灰度值构成中心像素点的邻域灰度集合,通过计算切割线区域内每个像素点与中心像素点对应的邻域灰度集合之间的均方误差,也即得到进行图像增强所需的每个像素点对应的均方误差。
步骤S502,根据切割线区域内每个像素点与中心像素点之间的切割特征表征值的差异情况,每个像素点与中心像素点之间的背景特征表征值的差异情况,结合所述光照影响趋势值,得到切割线区域内每个像素点的特征差异因子。
通过对比切割线区域内每个像素点的邻域窗口特征分布和中心像素点的邻域窗口特征分布之间的差异情况,作为均方误差对应的参考价值权重,差异越小,说明两者之间的特征相似情况越大,对应的参考价值越大,进而像素点对应的均方误差的参考权重越大。
具体地,对于切割线区域内任意一个像素点,基于像素点与切割线区域的中心像素点之间的切割特征表征值的差异,确定像素点的第一差异特征;基于像素点与中心像素点之间的背景特征表征值的差异,确定像素点的第二差异特征;根据切割线区域的光照影响趋势值确定第一差异特征的权值系数和第二差异特征的权值系数,所述光照影响趋势值与第一差异特征的权值系数呈负相关关系,所述光照影响趋势值和第二差异特征的权值系数呈正相关关系;利用权值系数对第一差异特征和第二差异特征进行加权融合,得到像素点的特征差异因子。
在本实施例中,以切割线区域内任意一个像素点为例进行说明,则第i个像素点的特征差异因子可以表示为:
;
其中,表示切割线区域内第i个像素点的特征差异因子,表示切割线区域内第i个像素点的切割特征表征值,表示切割线区域内中心像素点的切割特征表征值,表示切割线区域内第i个像素点的背景特征表征值,表示切割线区域内中心像素点的背景特征表征值,表示切割线区域的光照影响趋势值。
表示切割线区域内第i个像素点的第一差异特征,表示第一差异特征对应的权值系数,第一差异特征反映了第i个像素点与中心像素点在热影响区域内对称分布以及灰度分布方面的特征情况的差异,进而切割线区域受光照影响的趋势越大,对应此方面的特征差异的参考越小,表明此方面的特征差异与当前像素点的灰度值变化的关联关系越小,也即第一差异特征的权值系数的取值越小。利用权值系数对第一特征差异进行加权,表示在第一方面的特征差异表征程度。
表示切割线区域内第i个像素点的第二差异特征,表示第二差异特征对应的权值系数,第二差异特征反映了第i个像素点与中心像素点在表面背景区域内灰度特征分布方面的差异情况,进而切割线区域内受光照影响的趋势越大,说明切割线区域内灰度变化 环境光照之间的关联关系越大,对应第二差异特征的权值系数的取值越大,利用权值系数对第二特征差异进行加权,表示在第二方面的特征差异表征程度。
特征差异因子融合了切割线区域内每个像素点与中心像素点在热影响区域以及表面环境区域内两个方面的特征差异的表现程度,对每个像素点对应的均方误差的参考价值进行参考权重的量化。
步骤S503,根据所述特征差异因子和均方误差,得到切割线区域内每个像素点的滤波权重,所述特征差异因子与所述滤波权重呈负相关关系,所述均方误差和所述滤波权重呈正相关关系。
通过对比切割线区域内每个像素点与中心像素点之间的特征差异的表现程度,特征差异因子的取值越小,说明不同位置处像素点的邻域窗口内的特征表现较为相似,进而像素点的均方误差的参考权重越大,即可以结合每个像素点的特征差异因子与对应的均方误差确定每个像素点进行非局部均值滤波时的滤波权重。
具体地,以切割线区域内任意一个像素点为例进行说明,则切割线区域内第i个像素点的滤波权重可以表示为,表示切割线区域内第i个像素点的滤波权重,表示第i个像素点的邻域窗口内灰度值与中心像素点的邻域窗口内灰度值之间的均方误差,表示切割线区域内第i个像素点的特征差异因子。
特征差异因子的取值越小,说明第i个像素点在切割线区域内的特征差异之间的特征表现相似程度越大,对应滤波时求均过程的权重越大。均方误差的取值越大,说明第i个像素点局部范围内的灰度分布与中心像素点之间的差异越大,进而对应滤波时求均过程的权重越大,以增强第i个像素点的灰度对比度。需要说明的是,本实施例利用特征差异因子的倒数对特征差异因子进行负相关处理,在其他实施例中,实施者可根据具体实施场景选择其他合适的方式进行负相关处理,例如以自然常数e为底的负指数幂的形式等等。
利用非局部均值滤波的原理,获取切割线区域内每个像素点对于中心像素点的平滑权重,需要对所有非中心像素点的滤波权重进行求和归一化,即获取切割线区域内每个像素点的滤波权重的归一化值,对中心像素点进行滤波处理,由此完成对图像中切割路径的补偿,实现图像增强的目的。需要说明的是,本实施例利用非局部均值滤波的思想,自适应的获取切割线区域内每个像素点的滤波权重,通过自适应获取的滤波权重,实现增大切割线区域内灰度对比度的目的,以达到灰度补偿的效果,同时非局部均值滤波算法为公知技术,在此不再介绍。
进一步的,对切割线区域进行增强处理后,可以通过边缘检测、阈值分割等等图像处理手段进行处理,以获得切割线区域内实际的切割路径,即对增强处理后的红外扫描灰度图像进行边缘检测,获得切割件对应的切割路线。
在本实施例中,为了保证切割路径的准确性,在对切割线区域进行增强处理后,还对红外扫描灰度图像整体进行初步去噪处理。具体地,对切割线区域内所有像素点进行补偿后,对补偿后的红外扫描灰度图像进行直方图均衡化处理,以增强对比度,增强后的图像记为增强图像,如图6所示。然后对增强图像进行canny边缘检测得到实际的切割路径,如图7所示为增强图像对应的Sobel检测结果示意图,在sobel检测结果的基础上进行canny检测,利用掩膜的方式抑制背景信息,获得最终的切割路径的实际切割线,如图8所示为canny检测结果示意图。最终,相关工作人员可以根据实际切割线评估、监测切割过程是否发生异常,完成对切割件的扫描过程。
综上所述,本实施例通过分析处于热影响区域内的像素点在切割路径垂直方向上的像素点之间的按顺序的灰度值差异,由此获取中心像素点的热量垂直扩散均匀性,进而分析处在切割线区域内的像素点变化特征因子,同理获取处在光照区域内的像素点变化特征对应的差异情况,该操作避免了将光照区域的影响误判为热源影响导致切割路径本身的特征丢失;提高了切割路径扫描的准确性。
同时,基于切割线区域内的像素点对应的光照区域特征因子与切割路径上像素点本身的灰度值变化关系,由此获取切割线区域内的光照影响趋势,最终基于非局部均值滤波算法的原理和操作,对原始均方误差进行补充和修改,完成对图像内切割区域的图像增强,该操作避免了原始滤波算法的求均权重不能表现当前切割线区域内像素点特殊特征的缺陷,同时避免了热源影响和光照区域的影响无法准确获取对最终滤波结果的影响,提高了图像增强的针对性和准确性。
本申请实施例还提供一种计算机设备,请参阅图9,其示出了本发明一个实施例提供的一种计算机设备结构示意图,该计算机设备包括存储器901、处理器902以及存储在该存储器901中并在处理器902上运行的计算机程序903,其中,该处理器902执行该计算机程序903时,使得该计算机设备可执行前述介绍的任意一种用于全自动智能生产线的切割件扫描系统。
如图10,提供了一种用于全自动智能生产线的切割件扫描装置,该装置包括:
预处理模块,用于获取生产线上切割过程中切割件表面的红外扫描灰度图像,对红外扫描灰度图像进行区域分割获得表面背景区域、热影响区域以及切割线区域;
切割分析模块,用于根据切割线区域内每个像素点在垂直于切割方向上属于热影响区域内的像素点的灰度值差异分布、灰度值波动特征分布以及对称性特征表现情况,得到切割线区域内每个像素点的切割特征表征值;
背景分析模块,用于根据切割线区域内每个像素点在垂直于切割方向上属于表面背景区域内的像素点的灰度值波动特征分布以及灰度值均衡分布,得到切割线区域内每个像素点的背景特征表征值;
光照分析模块,用于根据切割线区域内所有像素点的灰度值和对应背景特征表征值之间的关联情况、切割线区域内每个像素点邻域内像素点在切割方向上的灰度差异分布,得到切割线区域的光照影响趋势值;
切割识别模块,用于根据切割线区域内每个像素点与区域中心像素点的所述切割特征表征值的差异情况以及所述背景特征表征值的差异情况,结合所述光照影响趋势值和灰度值的差异情况,确定切割区域内每个像素点的滤波权重;基于所述滤波权重对切割线区域进行增强处理,根据处理结果获得红外扫描灰度图像的切割识别结果。
上述实施例所提供的装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的一种用于全自动智能生产线的切割件扫描装置与一种用于全自动智能生产线的切割件扫描系统属于同一构思,其具体实现过程详见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机程序产品,当计算机程序产品在计算机设备上运行时,使得计算机设备可执行前述介绍的任意一种用于全自动智能生产线的切割件扫描方法。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序代码,当计算机程序代码在计算机设备上运行时,使得计算机设备可执行前述介绍的任意一种用于全自动智能生产线的切割件扫描方法。
在本申请所提供的实施例中,应该理解到,所提供的计算机设备、计算机程序产品和计算机可读存储介质均用于执行上文所提供的对应的方法,因此其所能达到的有益效果可参考上文所提供的方法中的有益效果,此处不再赘述。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种用于全自动智能生产线的切割件扫描系统,包括存储器和处理器,其特征在于,所述处理器执行所述存储器存储的计算机程序,以实现如下步骤:
获取生产线上切割过程中切割件表面的红外扫描灰度图像,对红外扫描灰度图像进行区域分割获得表面背景区域、热影响区域以及切割线区域;
根据切割线区域内每个像素点在垂直于切割方向上属于热影响区域内的像素点的灰度值差异分布、灰度值波动特征分布以及对称性特征表现情况,得到切割线区域内每个像素点的切割特征表征值;
根据切割线区域内每个像素点在垂直于切割方向上属于表面背景区域内的像素点的灰度值波动特征分布以及灰度值均衡分布,得到切割线区域内每个像素点的背景特征表征值;
根据切割线区域内所有像素点的灰度值和对应背景特征表征值之间的关联情况、切割线区域内每个像素点邻域内像素点在切割方向上的灰度差异分布,得到切割线区域的光照影响趋势值;
根据切割线区域内每个像素点与区域中心像素点的所述切割特征表征值的差异情况以及所述背景特征表征值的差异情况,结合所述光照影响趋势值和灰度值的差异情况,确定切割区域内每个像素点的滤波权重;基于所述滤波权重对切割线区域进行增强处理,根据处理结果获得红外扫描灰度图像的切割识别结果。
2.根据权利要求1所述的一种用于全自动智能生产线的切割件扫描系统,其特征在于,所述根据切割线区域内每个像素点在垂直于切割方向上属于热影响区域内的像素点的灰度值差异分布、灰度值波动特征分布以及对称性特征表现情况,得到切割线区域内每个像素点的切割特征表征值,具体包括:
将切割线区域内任意一个像素点作为目标像素点,以目标像素点为中心基于在目标像素点垂直于切割方向上属于表面背景区域的像素点,确定目标像素点的第一局部像素点序列和第二局部像素点序列;
基于所述第一局部像素点序列和第二局部像素点序列对应像素点的灰度值差异的整体水平,确定垂直扩散均匀程度,所述灰度值差异的整体水平与垂直扩散均匀程度呈负相关关系;
根据第一局部像素点序列内像素点的灰度值的均衡情况和波动情况,以及第二局部像素点序列内像素点的灰度值的均衡情况和波动情况,结合垂直扩散均匀程度,得到目标像素点的切割特征表征值。
3.根据权利要求2所述的一种用于全自动智能生产线的切割件扫描系统,其特征在于,所述目标像素点的切割特征表征值的获取方法具体为:
对于任意一个局部像素点序列,对局部像素点序列中所有像素点的灰度值的整体水平系数和离散系数进行融合,得到局部像素点序列的分布特征因子;
基于第一局部像素点序列的所述分布特征因子和第二局部像素点序列的所述分布特征因子以及垂直扩散均匀程度,确定目标像素点的切割特征表征值。
4.根据权利要求3所述的一种用于全自动智能生产线的切割件扫描系统,其特征在于,所述根据切割线区域内每个像素点在垂直于切割方向上属于表面背景区域内的像素点的灰度值波动特征分布以及灰度值均衡分布,得到切割线区域内每个像素点的背景特征表征值,具体包括:
以目标像素点为中心基于在目标像素点垂直于切割方向上属于表面背景区域内的像素点,确定第三局部像素点序列和第四局部像素点序列;
获取第三局部像素点序列和第四局部像素点序列的分布特征因子,基于第三局部像素点序列的所述分布特征因子和第四局部像素点序列的所述分布特征因子,确定目标像素点的背景特征表征值。
5.根据权利要求1所述的一种用于全自动智能生产线的切割件扫描系统,其特征在于,所述根据切割线区域内所有像素点的灰度值和对应背景特征表征值之间的关联情况、切割线区域内每个像素点邻域内像素点在切割方向上的灰度差异分布,得到切割线区域的光照影响趋势值,具体包括:
基于切割线区域内所有像素点的灰度值和相同像素点的背景特征表征值,计算相似度指标;
将任意一个像素点作为选定像素点,在选定像素点的邻域窗口内,获取与切割方向平行的每条线段上所有邻域像素点构成每个邻域像素点序列;
根据切割线区域内像素点的邻域像素点序列内灰度值的差异变化情况,结合所述相似度指标,得到切割线区域的光照影响趋势值。
6.根据权利要求5所述的一种用于全自动智能生产线的切割件扫描系统,其特征在于,所述根据切割线区域内像素点的邻域像素点序列内灰度值的差异变化情况,结合所述相似度指标,得到切割线区域的光照影响趋势值,具体包括:
对于任意一个邻域像素点序列,基于邻域像素点序列中相邻像素点之间的灰度值差异的波动程度,确定邻域像素点序列的灰度变化因子;
根据切割区域内所有像素点的所有邻域像素点序列的灰度变化因子的均值,结合所述相似度指标,得到切割线区域的光照影响趋势值;
所述均值与光照影响趋势值呈负相关关系,所述相似度指标和光照影响趋势值呈正相关关系。
7.根据权利要求1所述的一种用于全自动智能生产线的切割件扫描系统,其特征在于,所述根据切割线区域内每个像素点与区域中心像素点的所述切割特征表征值的差异情况以及所述背景特征表征值的差异情况,结合所述光照影响趋势值和灰度值的差异情况,确定切割区域内每个像素点的滤波权重,具体包括:
基于切割线区域内每个像素点的邻域窗口内的灰度值与切割线区域的中心像素点的邻域窗口内的灰度值,计算切割线区域内每个像素点对应的均方误差;
根据切割线区域内每个像素点与中心像素点之间的切割特征表征值的差异情况,每个像素点与中心像素点之间的背景特征表征值的差异情况,结合所述光照影响趋势值,得到切割线区域内每个像素点的特征差异因子;
根据所述特征差异因子和均方误差,得到切割线区域内每个像素点的滤波权重,所述特征差异因子与所述滤波权重呈负相关关系,所述均方误差和所述滤波权重呈正相关关系。
8.根据权利要求7所述的一种用于全自动智能生产线的切割件扫描系统,其特征在于,所述特征差异因子的获取方法具体为:
对于切割线区域内任意一个像素点,基于像素点与切割线区域的中心像素点之间的切割特征表征值的差异,确定像素点的第一差异特征;基于像素点与中心像素点之间的背景特征表征值的差异,确定像素点的第二差异特征;
根据切割线区域的光照影响趋势值确定第一差异特征的权值系数和第二差异特征的权值系数,所述光照影响趋势值与第一差异特征的权值系数呈负相关关系,所述光照影响趋势值和第二差异特征的权值系数呈正相关关系;
利用权值系数对第一差异特征和第二差异特征进行加权融合,得到像素点的特征差异因子。
9.根据权利要求1所述的一种用于全自动智能生产线的切割件扫描系统,其特征在于,所述根据处理结果获得红外扫描灰度图像的切割识别结果,具体包括:
对增强处理后的红外扫描灰度图像进行边缘检测,获得切割件对应的切割路线。
10.根据权利要求1所述的一种用于全自动智能生产线的切割件扫描系统,其特征在于,所述对红外扫描灰度图像进行区域分割获得表面背景区域、热影响区域以及切割线区域,具体包括:
利用神经网络对红外扫描灰度图像中的背景和目标进行分割,获得表面背景区域和热源区域;对热源区域进行阈值分割处理获得热影响区域和切割区域,将切割区域的最小外接矩形作为切割线区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410888267.2A CN118417953B (zh) | 2024-07-04 | 2024-07-04 | 用于全自动智能生产线的切割件扫描系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410888267.2A CN118417953B (zh) | 2024-07-04 | 2024-07-04 | 用于全自动智能生产线的切割件扫描系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118417953A true CN118417953A (zh) | 2024-08-02 |
CN118417953B CN118417953B (zh) | 2024-09-20 |
Family
ID=92321915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410888267.2A Active CN118417953B (zh) | 2024-07-04 | 2024-07-04 | 用于全自动智能生产线的切割件扫描系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118417953B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001337411A (ja) * | 2000-03-21 | 2001-12-07 | Fuji Photo Film Co Ltd | 熱現像材料の切断方法および装置 |
JP2008180563A (ja) * | 2007-01-24 | 2008-08-07 | Sumitomo Metal Ind Ltd | 高温鋼材の表面検査装置 |
CN112078037A (zh) * | 2020-09-17 | 2020-12-15 | 广州正心科技有限公司 | 一种半导体制备用切割装置 |
US20220084305A1 (en) * | 2019-05-24 | 2022-03-17 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image processing |
CN114463363A (zh) * | 2022-02-07 | 2022-05-10 | 中国第一汽车股份有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
US20240029230A1 (en) * | 2022-07-19 | 2024-01-25 | Samsung Display Co., Ltd. | Method of detecting cutting line of display apparatus |
-
2024
- 2024-07-04 CN CN202410888267.2A patent/CN118417953B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001337411A (ja) * | 2000-03-21 | 2001-12-07 | Fuji Photo Film Co Ltd | 熱現像材料の切断方法および装置 |
JP2008180563A (ja) * | 2007-01-24 | 2008-08-07 | Sumitomo Metal Ind Ltd | 高温鋼材の表面検査装置 |
US20220084305A1 (en) * | 2019-05-24 | 2022-03-17 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image processing |
CN112078037A (zh) * | 2020-09-17 | 2020-12-15 | 广州正心科技有限公司 | 一种半导体制备用切割装置 |
CN114463363A (zh) * | 2022-02-07 | 2022-05-10 | 中国第一汽车股份有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
US20240029230A1 (en) * | 2022-07-19 | 2024-01-25 | Samsung Display Co., Ltd. | Method of detecting cutting line of display apparatus |
Also Published As
Publication number | Publication date |
---|---|
CN118417953B (zh) | 2024-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113689428B (zh) | 基于图像处理的机械零件应力腐蚀检测方法及系统 | |
CN115311292B (zh) | 基于图像处理的带钢表面缺陷检测方法及系统 | |
CN115082467B (zh) | 基于计算机视觉的建材焊接表面缺陷检测方法 | |
CN110648322B (zh) | 一种子宫颈异常细胞检测方法及系统 | |
CN116563282B (zh) | 一种基于机器视觉的钻削刀具检测方法及系统 | |
CN115018850B (zh) | 基于图像处理的精密电子零部件冲压孔毛刺检测方法 | |
US20070286477A1 (en) | Method and system for fast and accurate face detection and face detection training | |
CN115511889A (zh) | 一种太阳能电池板支架表面焊接缺陷检测方法 | |
CN111291701B (zh) | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 | |
CN116402808B (zh) | 一种电缆夹板模具制造智能化检测方法 | |
CN118037722B (zh) | 一种铜管生产缺陷检测方法及系统 | |
CN117557820B (zh) | 一种基于机器视觉的量子点光学膜损伤检测方法及系统 | |
CN117495849A (zh) | 基于图像特征的电源适配器质量检测方法 | |
CN116533308B (zh) | 一种pcb切割监测系统、方法、装置及存储介质 | |
CN114782421A (zh) | 基于产蛋异常检测的家禽兽医辅助系统 | |
CN108520539B (zh) | 一种基于稀疏学习可变模型的图像目标检测方法 | |
CN118417953B (zh) | 用于全自动智能生产线的切割件扫描系统 | |
CN116228776B (zh) | 一种机电设备焊接缺陷识别方法及系统 | |
CN109190489A (zh) | 一种基于修复自动编码器残差的异常人脸检测方法 | |
CN110969617B (zh) | 视杯视盘图像识别方法、装置、设备及存储介质 | |
CN112396648B (zh) | 一种可定位目标物质心的目标识别方法和系统 | |
CN112052727A (zh) | 一种基于大数据的人像识别分析系统及方法 | |
CN118197609B (zh) | 一种基于人脸表情分析的麻醉镇痛效果评估方法 | |
CN118134921B (zh) | 一种铰刀断裂缺陷实时检测方法及系统 | |
CN118379282B (zh) | 一种基于图像处理的钛板抛光面光滑度检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |