CN113344924B - 一种基于图像处理的结构件生产管控方法及系统 - Google Patents

一种基于图像处理的结构件生产管控方法及系统 Download PDF

Info

Publication number
CN113344924B
CN113344924B CN202110893907.5A CN202110893907A CN113344924B CN 113344924 B CN113344924 B CN 113344924B CN 202110893907 A CN202110893907 A CN 202110893907A CN 113344924 B CN113344924 B CN 113344924B
Authority
CN
China
Prior art keywords
edge
pixel
frame image
value
target structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110893907.5A
Other languages
English (en)
Other versions
CN113344924A (zh
Inventor
姬蕾
郑代顺
路秋媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jincheng Technology Co.,Ltd.
Original Assignee
Jincheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jincheng Technology Co ltd filed Critical Jincheng Technology Co ltd
Priority to CN202110893907.5A priority Critical patent/CN113344924B/zh
Publication of CN113344924A publication Critical patent/CN113344924A/zh
Application granted granted Critical
Publication of CN113344924B publication Critical patent/CN113344924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Abstract

本发明涉及人工智能技术领域，提供了一种基于图像处理的结构件生产管控方法及系统：在结构件生产过程中，获取各个目标结构的前后两帧图像的边缘，进而得到两边缘在同一位置的震动形变位移偏差值；获取各个目标结构的前后两帧图像的各凹凸语义区域，进而得到各区域对应的区域不平整程度值；根据边缘的各像素坐标与各区域的位置关系及各区域对应的区域不平整程度值，确定边缘的每个像素坐标的关注程度值；根据边缘的每个像素坐标的震动形变位移偏差值和关注程度值，计算各边缘的震动位移和偏移程度值，进而确定结构件的边缘不平整程度，在边缘不平整程度较大时，进行管控。本发明能够准确有效的管控结构件的铣削过程，提高结构件的合格率。

Description

一种基于图像处理的结构件生产管控方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于图像处理的结构件生产管控方法及系统。
背景技术
在利用大型薄件金属材料加工结构件时，结构件在加工过程中由于刀具的切削力、机械震动等的作用下，结构件的结构会发生变形，例如铣削出的结构边缘发生弯曲或者表面变得不平整。当这种变形达到一定程度时就会影响结构件的后续加工和使用，严重时可能造成结构件的安全隐患。
目前，通常采用人工的方式对结构件的结构变形进行检测，当检测出结构件出现严重结构变形时，对应管控结构件的铣削过程，来提高结构件的合格率。但是人工检测的方式效率较慢，且检测结果会受到主观因素的影响，最终导致结构件生产管控可靠性较差。
发明内容
本发明的目的在于提供一种基于图像处理的结构件生产管控方法及系统，用于解决现有人工对结构件的结构变形进行检测导致结构件生产管控可靠性较差的问题。
为解决上述技术问题，本发明所采用的技术方案具体如下：
本发明提供了一种基于图像处理的结构件生产管控方法，包括以下步骤：
在结构件生产过程中，获取结构件的各个目标结构的当前帧图像和前一帧图像；
对各个目标结构的前后两帧图像分别进行边缘检测，得到各个目标结构的各个同一边缘在前帧图像中的边缘像素集以及在当前帧图像中的边缘像素集，将同一边缘在前帧图像中的边缘像素集称为前边缘像素集，在当前帧图像中的边缘像素集称为当前边缘像素集；
根据各个边缘的前边缘像素集和当前边缘像素集，确定两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值；
对各个目标结构的前后两帧图像分别进行语义分割，得到前后两帧图像对应的各凹凸语义区域，并计算所述各凹凸语义区域对应的区域不平整程度值；
根据各个边缘的前边缘像素集中某一位置对应的像素坐标与前帧图像对应的各凹凸语义区域的位置关系、各个边缘的当前边缘像素集中该某一位置对应的像素坐标与当前帧图像对应的各凹凸语义区域的位置关系、前帧图像对应的各凹凸语义区域对应的区域不平整程度值、当前帧图像对应的各凹凸语义区域对应的区域不平整程度值，确定两边缘像素集中各同一位置对应的两像素坐标的关注程度值；
根据两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值、两边缘像素集中各同一位置对应的两像素坐标的关注程度值，分别计算各个目标结构的各边缘的震动位移和偏移程度值；
根据各个目标结构的各边缘的震动位移和偏移程度值，确定该结构件边缘不平整特征值；
判断该结构件边缘不平整特征值是否大于特征值阈值，若大于特征值阈值，则对结构件生产过程进行管控以减小结构件形变。
进一步的，各个目标结构的各边缘的震动位移和偏移程度值的计算步骤包括：
根据两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值、两边缘像素集中各同一位置对应的两像素坐标的关注程度值，构造目标函数；
利用遗传算法最小化该目标函数，求解出该边缘的震动位移和偏移程度值。
进一步的，所述目标函数的表达式为：
Figure DEST_PATH_IMAGE001
Figure 712443DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
为目标函数，
Figure 823619DEST_PATH_IMAGE004
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure DEST_PATH_IMAGE005
对两像素坐标的震动形变位移偏差值，
Figure 771983DEST_PATH_IMAGE006
为根据目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure 208781DEST_PATH_IMAGE005
对两像素坐标的关注程度值所确定的权重值，关注程度值越大，对应的权重值越小，
Figure DEST_PATH_IMAGE007
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的两像素坐标的对数，
Figure 242596DEST_PATH_IMAGE008
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure 157462DEST_PATH_IMAGE005
对两像素坐标的关注程度值，
Figure DEST_PATH_IMAGE009
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure 694754DEST_PATH_IMAGE010
对两像素坐标的关注程度值。
进一步的，所述震动形变位移偏差值的确定步骤包括：
将各个目标结构的前帧图像中各边缘对应的边缘像素集中的各个像素坐标平移震动位移，所述震动位移为待求量，并将平移后的各个像素坐标重新作为各个目标结构的前帧图像中各边缘对应的边缘像素集中的各个像素坐标；
分别对各个目标结构的前后两帧图像中各边缘对应的两边缘像素集进行主成分分析，得到两边缘像素集的除最大主成分方向外的非最大主成分方向；
分别计算各个目标结构的前后两帧图像中各边缘对应的两边缘像素集中各像素坐标与对应非最大主成分方向所在的单位向量的内积值；
将各个目标结构的前后两帧图像中各边缘对应的两边缘像素集中各同一位置对应的两像素坐标的内积值作差，从而得到两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值。
进一步的，所述关注程度值的确定步骤包括：
判断各个边缘的前边缘像素集中某一位置对应的像素坐标是否位于前帧图像对应的各凹凸语义区域，并判断各个边缘的当前边缘像素集中该某一位置对应的像素坐标是否位于当前帧图像对应的各凹凸语义区域内；
若当前边缘像素集中该某一位置对应的像素坐标位于当前帧图像的某一凹凸语义区域内，且前边缘像素集中该某一位置对应的像素坐标位于前帧图像的某一凹凸语义区域内，则根据当前帧图像的某一凹凸语义区域对应的区域不平整程度值及其与前帧图像的某一凹凸语义区域对应的区域不平整程度值的差值，确定该两像素坐标对应的关注程度值；
若当前边缘像素集中该某一位置对应的像素坐标不位于当前帧图像的所有凹凸语义区域内，则该两像素坐标对应的关注程度值为0。
进一步的，两像素坐标对应的关注程度值的计算公式为：
Figure DEST_PATH_IMAGE011
其中，
Figure 771294DEST_PATH_IMAGE012
为两像素坐标对应的关注程度值，
Figure DEST_PATH_IMAGE013
为像素坐标位于当前帧图像的某一凹凸语义区域对应的区域不平整程度值，
Figure 555055DEST_PATH_IMAGE014
为像素坐标位于前帧图像的某一凹凸语义区域对应的区域不平整程度值。
进一步的，该结构件边缘不平整特征值的确定步骤包括：
根据计算得到的各个目标结构的当前帧图像中各边缘对应的边缘像素集中各像素坐标与对应非最大主成分方向所在的单位向量的内积值，计算各个内积值的方差，将该方差作为各个目标结构的当前帧图像中各边缘对应的变形程度；
根据各个目标结构的各边缘的震动位移、偏移程度值以及各个目标结构的当前帧图像中各边缘对应的变形程度、各个目标结构的当前帧图像中各边缘对应的边缘像素集中各个像素坐标对应的关注程度值，计算结构件边缘不平整特征值。
进一步的，所述结构件边缘不平整特征值的计算公式为：
Figure DEST_PATH_IMAGE015
其中，
Figure 211296DEST_PATH_IMAGE016
为结构件边缘不平整特征值，
Figure DEST_PATH_IMAGE017
为各个目标结构的各边缘的震动位移的均值，
Figure 134252DEST_PATH_IMAGE018
为
Figure 912852DEST_PATH_IMAGE017
的L2范数，
Figure DEST_PATH_IMAGE019
为各个目标结构的当前帧图像中各边缘对应的变形程度的均值，
Figure 186839DEST_PATH_IMAGE020
为各个目标结构的各边缘的偏移程度值，
Figure DEST_PATH_IMAGE021
为各个目标结构的当前帧图像中各边缘对应的边缘像素集中各个像素坐标对应的关注程度值的总和。
进一步的，对各个目标结构的前后两帧图像分别进行边缘检测后还包括：
判断检测到的边缘是否为近似弧状边缘，若为近似弧状边缘，则将该检测到的边缘对应的两边缘像素集中的各个像素坐标的二维坐标映射到四维空间中从而得到四维坐标。
本发明还提供了一种基于图像处理的结构件生产管控系统，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现上述的基于图像处理的结构件生产管控方法。
本发明具有如下有益效果：通过对各个目标结构的前后两帧图像分别进行边缘检测，得到每条边缘在前后两帧图像中对应的边缘像素集，进而可以确定每条边缘的两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值；获取各个目标结构的前后两帧图像的各凹凸语义区域，进而得到各区域对应的区域不平整程度值；根据边缘的各像素坐标与各区域的位置关系及各区域对应的区域不平整程度值，确定边缘的每个像素坐标的关注程度值；根据边缘的每个像素坐标的震动形变位移偏差值和关注程度值，计算各边缘的震动位移和偏移程度值，进而确定结构件的边缘不平整程度，在边缘不平整程度较大时，进行管控。本发明能够无接触式的快速检测结构件在铣削过程中的变形情况，通过结构件的变形情况管控结构件的铣削过程，提高了结构件的合格率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的基于图像处理的结构件生产管控方法的流程图；
图2为本发明的前后两帧图像中同一边缘对应的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的光伏电池板异常检测方法及装置，其具体实施方式、结构、特征及其功效，详细说明如下。
在介绍本发明的技术方案之前，首先对本发明的具体应用场景以及所使用到的先验知识进行介绍。
具体场景：现有一个大型金属薄件材料，需要将其铣削成一个特定功能和结构的结构件，该金属薄件材料在铣削之前具有平整的表面，利用可移动的自动控制的刀具在这个表面铣削，将该金属薄件材料切割成所需的结构件。在整个铣削过程中，该金属薄件材料是固定的，在金属薄件材料上方安装有高清高速相机，相机视角俯视向下，并使用面光源给该金属薄件材料打光，光照在金属薄件材料的平面结构上是均匀的。
先验知识：1.本发明在金属薄件材料上所铣削的结构件只有直线和圆弧形结构，例如矩形或圆形孔槽，因为这些结构件的结构是最多最常见的。2.在铣削过程中结构件的结构会发生变形，例如原本应该直线状的边缘结构会变得弯曲；圆形的边缘结构也会变得不规则。而且结构件表面可能会变得凹凸不平，尤其是边缘，不仅会变弯曲还会变得凹凸不平。另外，在结构件的铣削过程中，由于夹具固定不合理会使得结构件在铣削过程中震动。
方法实施例：
本实施例提供了一种基于图像处理的结构件生产管控方法，该方法对应的流程图如图1所示，具体包括以下步骤：
（1）在结构件生产过程中，获取结构件的各个目标结构的当前帧图像和前一帧图像。
其中，在结构件铣削过程中，利用固定在该结构件上部且视角俯视朝下的相机对整个结构件进行图像采集，图像采集频率为0.2秒，即每0.2秒采集一张图像数据。对采集到的整个结构件图像进行处理，最终可以获得结构件的各个目标结构的图像。这里的目标结构的图像是指在结构件上已经铣削出一定结构的部位的图像，正在铣削的或尚未铣削的部位图像是不予考虑的。
具体的，通过对采集到的整个结构件图像进行处理，最终获得结构件的各个目标结构的图像的方法为：首先相机采集整个结构件的图像，然后根据刀具的运动轨迹获取铣削过的目标结构，然后获取这个目标结构的ROI目标区域，根据这个ROI目标区域将这个目标结构从整个结构件的图像上裁切出来，这个裁切出来的图像就是本实施例所需要获得的目标结构的图像。通过采用该方法对相邻两帧的整个结构件图像进行处理，就可以得到结构件的各个目标结构的前后两帧图像。
当然，上述仅仅是给出了获取目标结构的图像的一种简单的处理过程，并不是技术方案的重点，此处不再叙述详细的细节，实施者可以根据实际情况采用其他合适的获取目标结构的图像的方法。
（2）对各个目标结构的前后两帧图像分别进行边缘检测，得到各个目标结构的前后两帧图像中各边缘对应的两边缘像素集，也就是得到各个目标结构的各个同一边缘在前帧图像中的边缘像素集以及在当前帧图像中的边缘像素集，将同一边缘在前帧图像中的边缘像素集称为前边缘像素集，在当前帧图像中的边缘像素集称为当前边缘像素集。
其中，在获取目标结构的图像后，为了便于描述，现将该获取的目标结构的图像简称为图像I0，利用反锐化掩模法对图像I0进行处理，目的是增强图像I0的边缘，保证边缘的清晰明显，获得的结果为图像I01。
在获得图像I01后，接着利用Canny算子提取图像I01中的边缘，获得边缘二值图，这里的二值图是指像素值为0和1的图像。即每采集一张图像即可获取图像上已铣削出的结构的各个目标结构的边缘二值图，该边缘二值图上连续的灰度值为1的像素构成的结构就是一条边缘。
在获取的边缘二值图上的边缘有近似直线状边缘，有近似弧状边缘，也有近似矩形状的边缘。其中，近似直线状边缘是指一个大致呈直线状的、但局部有弯曲的边缘；近似弧状边缘是指大致呈现圆弧形状、但是局部有弯曲的边缘；近似矩形状的边缘是指大致呈现矩形结构、但是局部有弯曲的边缘。这些近似直线状边缘、近似弧状边缘、近似矩形状的边缘之所以不是标准的直线状边缘、弧状边缘、矩形状的边缘，是由于铣削过程中边缘结构变形导致产生的。
对于近似矩形状的边缘，需要将近似矩形状的边缘从转角处切开，将近似矩形状的边缘切分为多个近似直线状边缘，有助于后续的分析计算，具体方法是：
将近似矩形状的边缘对应的边缘二值图输入深度神经网络（DNN网络）中，DNN网络输出一些关键点，这些关键点表示就是边缘二值图上边缘的转折点。然后将近似矩形状的边缘从关键点出断开，进而可以将边缘二值图上带有转折点的近似矩形状的边缘切分成多个近似直线状边缘。另外，该DNN网络的数据集获取和训练方法均属于本领域的公知常识，此处不再赘述。
通过上述过程，最终所获得的边缘二值图上包含多条边缘，这些边缘是近似直线状边缘和弧形结构的近似弧状边缘。由于一条边缘是指连续的灰度值为1的像素构成的结构，因此将连续的灰度值为1的所有像素的像素坐标的集合称为一个边缘，即一条边缘对应一个像素坐标的集合，将该集合称为边缘像素集。
对于步骤（1）中所获得的各个目标结构的前后两帧图像I1、I2，I1为前一帧，I2为后一帧即当前帧，通过边缘检测及相应的处理后，可以得到两个边缘二值图。这两张边缘二值图上分别获取任意两个边缘对应的边缘像素集，分别计算这两个边缘像素集中所有像素坐标的均值，这两个均值的欧式距离为
Figure 177929DEST_PATH_IMAGE022
，那么将
Figure DEST_PATH_IMAGE023
作为两个边缘的相似度。根据两个边缘二值图上任意两个边缘的相似度，利用KM算法将两个边缘二值图上相似度最大的边缘匹配在一起，匹配在一起的两个边缘表示的是结构件上同一目标结构在前后两帧图像上获得的两个边缘。
对于上述两个边缘二值图上任意一对匹配的边缘，这两条边缘分别是从图像I1、I2上提取到的，这两条边缘对应的边缘像素集分别记为边缘像素集S1、边缘像素集S2。边缘像素集S1与S2中的像素坐标表示的是同一个目标结构在前后两帧图像上获得的两个边缘。如果不存在结构件的震动以及结构的变形，那么这两个集合中的像素坐标分布应该是一样的。但是由于存在结构件的震动以及结构的变形，那么这两个边缘像素集中的像素坐标分布是有差异的，这个差异反应的是结构件的震动和变形。
需要注意的是，在前后两帧图像上获得的这两个边缘虽然表示结构件上的同一个目标结构，但是由于边缘弯曲变形不一样，可能会使边缘像素集S1和S2中的像素坐标个数并不相等（即边缘不等长），即不能在边缘像素集S1中直接找到一个像素坐标与边缘像素集S2的一个像素坐标匹配。
这里需要说明的是：边缘像素集S1和S2的不同是由两方面引起的：一方面，两帧图像I1、I2上由于震动导致边缘发生整体的位移；另一方面，由于结构件应力的原因边缘会发生局部变形偏移，导致同一个结构在前后两帧图像上边缘是不一样的。本技术方案后续的重点是获取一个结构在前后两帧图像上的震动位移以及偏移程度。
（3）根据各个目标结构的前后两帧图像中各边缘对应的两边缘像素集，也就是根据各个边缘的前边缘像素集和当前边缘像素集，确定两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值，确定步骤包括：
（3-1）将各个目标结构的前帧图像中各边缘对应的边缘像素集中的各个像素坐标平移震动位移，所述震动位移为待求量，并将平移后的各个像素坐标重新作为各个目标结构的前帧图像中各边缘对应的边缘像素集中的各个像素坐标。
其中，假设这两帧图像由于震动而产生的位移为r（r是个未知数，称为震动位移），也就是受震动的影响，会导致前一帧图像中某一边缘对应的边缘像素集S1中的所有像素坐标与对应后一帧图像中某一边缘对应的边缘像素集S2中的所有像素坐标均相差震动位移r。如图2所示，T1为某一目标结构的某个边缘在前一帧图像中的示意图，T2为某一目标结构的某个边缘在当前帧图像中的示意图。令前一帧图像中该某一边缘对应的边缘像素集S1中的所有像素坐标加上r，获得的结果仍记为边缘像素集S1。此时的边缘像素集S1与S2的分布差异只能反应偏移程度。
另外，如果边缘像素集S1与S2表示的边缘是近似弧状边缘时，此时对于边缘像素集S1和S2中任意一个像素坐标（i，j），像素坐标（i，j）为二维坐标，将其映射升维为
Figure 955392DEST_PATH_IMAGE024
，
Figure 904893DEST_PATH_IMAGE024
为二维坐标（i，j）映射到四维空间对应的四维坐标，按照这种方式，可以将近似弧状边缘的边缘像素集S1和S2中的所有二维像素坐标映射到四维线性空间，原空间中的圆弧结构在这个四维空间中对应一个直线。升维后的这两个集合仍记为边缘像素集S1和S2。
（3-2）分别对各个目标结构的前后两帧图像中各边缘对应的两边缘像素集进行主成分分析，得到所述两边缘像素集的最大主成分方向以及除最大主成分方向外的非最大主成分方向。
其中，利用奇异值分解SVD算法获取边缘像素集S1和S2中所有像素坐标的主成分方向，每个主成分方向对应一个特征值。这里的主成分方向是指所有像素坐标的整体分布方向，对于标准的直线状边缘，根据其边缘像素集中的所有像素坐标，就只能计算出一个主成分方向，该主成分方向为直线状边缘的延伸方向，而对于一端向上弯曲的直线状边缘，根据其边缘像素集中的所有像素坐标，就可以计算出两个主成分方向，一个主成分方向为直线状边缘的延伸方向，另外一个主成分方向为向上弯曲的方向。由于主成分方向的概念以及采用奇异值分解SVD算法计算主成分方向的具体实现过程属于现有技术，此处不再赘述。在这些主成分方向中特征值最大的主成分方向称为第一主成分方向，也就是最大主成分方向，除最大主成分方向外的其他主成分方向称为非最大主成分方向。也就是说，我们将计算出来的沿着边缘的延伸方向的主成分方向作为最大主成分方向，而将计算出来的其他方向的主成分方向作为非最大主成分方向。
获取边缘像素集S1中所有像素坐标与其对应的第一主成分方向所在的单位向量的内积，这些内积构成的标量集合称为S11；获取边缘像素集S2中所有像素坐标与其对应的第一主成分方向所在的单位向量的内积，这些内积构成的标量集合称为S12。标量集合S11和S12表示两个边缘上的像素位置分别在第一主成分方向上的投影分布，S11、S12中每个元素都与S1、S2中的像素坐标一一对应。
需要说明的是，在计算所有像素坐标与其对应的第一主成分方向所在的单位向量的内积时，是直接将像素坐标作为向量坐标为前提的，即每个像素坐标可以看成是以坐标原点为起点、以像素坐标为终点构成的向量。
将标量集合S11中任意一个元素和标量集合S12中任意一个元素的差值记为dd，那么
Figure DEST_PATH_IMAGE025
称为这两个元素的相似程度，根据标量集合S11与S12中任意两个元素的相似程度，利用KM算法将S11中和S12中相似程度最大的元素匹配在一起。又因为标量集合S11、S12中的每个元素都与边缘像素集S1、S2中的像素坐标一一对应，因此就将边缘像素集S1中的像素坐标和边缘像素集S2中的像素坐标进行了匹配。如果边缘像素集S1中的某个像素坐标与边缘像素集S2中的某个像素坐标匹配在一起，那么这两个像素坐标表示的是同一个结构边缘上的同一个位置在前后两帧图像上的坐标取值。
（3-3）分别计算各个目标结构的前后两帧图像中各边缘对应的两边缘像素集中各像素坐标与对应非最大主成分方向所在的单位向量的内积值。
其中，假设边缘像素集S1中的第m个像素坐标与边缘像素集S2中的第n个像素坐标相匹配，计算边缘像素集S1中第m个像素坐标分别与其他主成分方向（除最大主成分方向外的非最大主成分方向）所在的单位向量的内积，这些内积的和记为
Figure 135017DEST_PATH_IMAGE026
。同理，计算边缘像素集S2中的第n个像素坐标分别与其他主成分方向所在的单位向量求内积，这些内积的和记为
Figure DEST_PATH_IMAGE027
。
需要说明的是，计算边缘像素集S1中的第m个像素坐标的内积的和
Figure 926868DEST_PATH_IMAGE026
以及边缘像素集S2中的第n个像素坐标的内积的和
Figure 89997DEST_PATH_IMAGE027
的目的在于：
如果边缘像素集S1和S2表示的边缘是一个标准的直线或者标准的圆弧，那么边缘像素集S1中的所有像素坐标都分布在第一主成分方向上，不会在其他主成分方向上有分布。但是由于结构件在铣削过程中会发生变形，直线变得弯曲，圆弧变得不规则，使得边缘像素集S1中的像素坐标在第一主成分方向之外的其他方向上有分量，这个分量越大表示边缘弯曲或不规则的程度越大，
Figure 475978DEST_PATH_IMAGE026
就是用来表示边缘像素集S1中第m个像素坐标的这种分量，
Figure 990136DEST_PATH_IMAGE027
就是用来表示边缘像素集S2中第n个像素坐标的这种分量。
边缘像素集S1和S2中任意一对匹配的像素坐标（m , n）就对应一对(
Figure 854187DEST_PATH_IMAGE026
,
Figure 871822DEST_PATH_IMAGE027
)，假设边缘像素集S11中的第m个元素与边缘像素集S12中的第n个元素沿着边缘延伸的方向所对应的坐标值的均值为
Figure 428705DEST_PATH_IMAGE028
。对于所有匹配的像素坐标（m，n），按照
Figure 164580DEST_PATH_IMAGE028
从小到大排列，所有的
Figure 832322DEST_PATH_IMAGE026
构成的序列L1，所有的
Figure 704463DEST_PATH_IMAGE027
构成的序列L2，序列L1和L2长度相等，序列L1、L2中的元素与边缘像素集S1、S2中的像素坐标是一一对应的，这是由计算过程可知的。通过此排列操作，可以使边缘像素集S1中各个像素点对应的
Figure 697827DEST_PATH_IMAGE026
沿着边缘延伸的方向进行排列，使边缘像素集S2中各个像素点对应的
Figure 920997DEST_PATH_IMAGE027
沿着边缘延伸的方向进行排列。
（3-4）将各个目标结构的前后两帧图像中各边缘对应的两边缘像素集中各同一位置对应的两像素坐标的内积值作差，从而得到两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值。
其中，令
Figure DEST_PATH_IMAGE029
，
Figure 595692DEST_PATH_IMAGE030
是一个序列，
Figure 587919DEST_PATH_IMAGE030
的值与未知的震动位移d相关。由于铣削过程中同一结构在前后两帧图像上的边缘是不同的，同一结构的边缘上某位置在前后两帧图像上对应的像素位置是有差异的，那么
Figure 486605DEST_PATH_IMAGE030
就是描述同一结构的边缘上所有位置在前后两帧图像上对应的像素位置的差异，这种差异反应的是同一结构在前后两帧图像上的边缘的偏移。
（4）根据步骤（3）计算得到的各个目标结构的当前帧图像中各边缘对应的边缘像素集中各像素坐标与对应非最大主成分方向所在的单位向量的内积值，计算各个内积值的方差，将该方差作为各个目标结构的当前帧图像中各边缘对应的变形程度。
其中，步骤（3）中计算出来的序列L1和L2表示的是两个边缘相对第一主成分方向上的偏离大小，序列L1或L2中的元素差异越大（方差大），说明对应的边缘越弯曲或者不规则程度越大。因此，本实施例将序列L2中所有元素的方差称为当前帧图像I2上边缘的变形程度。
（5）对各个目标结构的前后两帧图像分别进行语义分割，得到前后两帧图像对应的各凹凸语义区域，并计算所述各凹凸语义区域对应的区域不平整程度值。
其中，在结构件的铣削过程中，结构件除了结构边缘会发生弯曲外，结构件表面也会发生凹凸变化；凸起的区域对应的像素灰度值会变大，凹陷的区域对应的像素灰度值会变小。因此，对于步骤（1）中所获得的各个目标结构的前后两帧图像I1、I2，分别将前后两帧图像I1、I2输入语义分割网络中，获取这两张图像上凹陷区域或者凸出区域的语义区域，这里简称为凹凸语义区域。
对于图像I1或I2获取到的所有凹凸语义区域，获取在每个凹凸语义区域内的所有像素的像素值的均值，将该均值与一个设定阈值的差的绝对值作为每个语义区域的区域不平整程度值，区域不平整程度值越大说明凹凸语义区域凹凸的越严重、结构件变形越严重。该设定阈值为图像I1、I2上除了所有凹凸语义区域之外的所有像素的均值，该均值表示平整区域或者说没有出现凹凸区域的像素灰度值。
（6）根据各个目标结构的前后两帧图像中各边缘对应的两边缘像素集中各同一位置对应的两像素坐标与该前后两帧图像对应的各凹凸语义区域的位置关系以及各凹凸语义区域对应的区域不平整程度值，也就是根据各个边缘的前边缘像素集中某一位置对应的像素坐标与前帧图像对应的各凹凸语义区域的位置关系、各个边缘的当前边缘像素集中该某一位置对应的像素坐标与当前帧图像对应的各凹凸语义区域的位置关系、前帧图像对应的各凹凸语义区域对应的区域不平整程度值、当前帧图像对应的各凹凸语义区域对应的区域不平整程度值，确定各个目标结构的各边缘对应的两边缘像素集中各同一位置对应的两像素坐标的关注程度值。
其中，各个目标结构的各边缘对应的两边缘像素集中各同一位置对应的两像素坐标的关注程度值的确定步骤包括：
（6-1）判断各个目标结构的前后两帧图像中各边缘对应的两边缘像素集中各同一位置对应的两像素坐标是否分别位于对应前后两帧图像对应的各凹凸语义区域内，也就是判断各个边缘的前边缘像素集中某一位置对应的像素坐标是否位于前帧图像对应的各凹凸语义区域，并判断各个边缘的当前边缘像素集中该某一位置对应的像素坐标是否位于当前帧图像对应的各凹凸语义区域内。
其中，对于目标结构的前帧图像I1上的任一边缘，判断该边缘对应的边缘像素集中的任意一个像素坐标是否位于图像I1的各凹凸语义区域中；对于当前帧图像即图像I2上的任一边缘，判断该边缘对应的边缘像素集中的任意一个像素坐标是否位于图像I2的各凹凸语义区域中。
（6-2）若两像素坐标中当前边缘像素集中该某一位置对应的像素坐标位于当前帧图像的某一凹凸语义区域内，且两像素坐标中前边缘像素集中该某一位置对应的像素坐标位于前帧图像的某一凹凸语义区域内，则根据当前帧图像的该某一凹凸语义区域对应的区域不平整程度值及其与前帧图像的该某一凹凸语义区域对应的区域不平整程度值的差值，确定该两像素坐标对应的关注程度值。
其中，根据步骤（6-1）的判断结果，对于前后两帧图像I1、I2中的同一边缘的边缘像素集S1和S2中任意一对匹配的像素坐标m和n，若像素坐标m位于该前帧图像I1的某一凹凸语义区域s1内，若像素坐标n位于该当前帧图像I2的某一凹凸语义区域s2内，那么此时这该两像素坐标对应的关注程度值的计算公式为：
Figure 931493DEST_PATH_IMAGE011
其中，
Figure 938107DEST_PATH_IMAGE012
为两像素坐标对应的关注程度值，
Figure 50420DEST_PATH_IMAGE013
为像素坐标位于当前帧图像的某一凹凸语义区域对应的区域不平整程度值，
Figure 854428DEST_PATH_IMAGE014
为像素坐标位于前帧图像的某一凹凸语义区域对应的区域不平整程度值。
对于上述的关注程度值的计算公式，
Figure DEST_PATH_IMAGE031
越大表示像素所在的凹凸语义区域在前后两帧上的不平整程度变化较大，说明这些像素位置的变形越严重，越需要关注，变形关注程度也就是关注程度值就越大；
Figure 521033DEST_PATH_IMAGE013
越大表示当前帧图像（也就是后帧）上的这些像素位置的不平整程度较大，变形关注程度也就是关注程度值就越大。
当然，对于前后两帧图像I1、I2中的同一边缘的边缘像素集S1和S2中任意一对匹配的像素坐标m和n，有可能会出现像素坐标n位于该当前帧图像I2的第一凹凸语义区域s2内，而像素坐标m位于该前帧图像I1的平整区域或者说没有出现凹凸区域内，那么此时可以认为上述公式中的
Figure 803109DEST_PATH_IMAGE032
；也有可能会出现像素坐标n位于该当前帧图像I2的平整区域或者说没有出现凹凸区域内，当然此时像素坐标m肯定位于该前帧图像I1的平整区域或者说没有出现凹凸区域内，那么此时可以认为上述公式中的
Figure DEST_PATH_IMAGE033
。
至此，当前帧图像I2上的任意一条边缘的每个像素坐标都分配一个变形关注程度也就是关注程度值。变形关注程度越大，说明像素位置处于一个凹陷或突起区域，这个位置的边缘更可能发生变形或者说更加需要关注其变形情况。如果变形关注程度为0，表示这些像素位置处的边缘结构没有发生凸起和凹陷，就不关注其变形情况，或者说可能没有发生变形。
（7）根据各个目标结构的前后两帧图像中各边缘对应的两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值和关注程度值，分别计算各个目标结构的各边缘的震动位移和偏移程度值，具体步骤包括：
（7-1）根据各个目标结构的前后两帧图像中各边缘对应的两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值和关注程度值，构造目标函数。
其中，对于步骤（3）中所获得的前后两帧图像中某一边缘对应的序列
Figure 504349DEST_PATH_IMAGE029
，可以表示为
Figure 479258DEST_PATH_IMAGE034
，构造一个目标函数：
Figure 164318DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE035
其中，
Figure 984506DEST_PATH_IMAGE003
为目标函数，
Figure 805832DEST_PATH_IMAGE004
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure 217221DEST_PATH_IMAGE005
对两像素坐标的震动形变位移偏差值，
Figure 592839DEST_PATH_IMAGE006
为根据目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure 502805DEST_PATH_IMAGE005
对两像素坐标的关注程度值所确定的权重值，关注程度值越大，对应的权重值越小，
Figure 444217DEST_PATH_IMAGE007
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的两像素坐标的对数，
Figure 760929DEST_PATH_IMAGE008
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure 155001DEST_PATH_IMAGE005
对两像素坐标的关注程度值，
Figure 113729DEST_PATH_IMAGE009
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure 909647DEST_PATH_IMAGE010
对两像素坐标的关注程度值。
对于上述的目标函数的说明如下：从上述整个计算过程可知，序列
Figure 662840DEST_PATH_IMAGE030
的取值与结构件的震动位移r和边缘在前后两帧图像上的偏移有关。如果不考虑边缘的变形情况，只考虑震动的情况的话，我们期望有震动位移能够使得序列
Figure 544208DEST_PATH_IMAGE030
中所有元素为0。但是考虑到除了震动之外，边缘在两帧图像上有不同的变形，因此我们期望震动位移r能够使L中的所有元素的元素值的平方和最小。但是又考虑到边缘上的有些像素位置的变形和偏移严重，出现了凹陷或者突凸起，那么就需要关注这个位置的偏移，因此主要对边缘上的那些变形偏移不严重或者没有出现凹陷或凸出的像素位置对应的元素求平方和，然后让这个平方和最小，这就是
Figure 775469DEST_PATH_IMAGE006
的作用，即用于给予变形关注程度小的元素更大的权重，使得目标函数F达到最小值。
（7-2）利用遗传算法最小化该目标函数，求解出该边缘的震动位移和偏移程度值。
其中，求解出的震动位移r就表示在前后两帧图像上一条边缘的震动位移，求解出的序列
Figure 425893DEST_PATH_IMAGE030
就表示一个结构在前后两帧图像上的边缘的偏移情况。将序列
Figure 349987DEST_PATH_IMAGE030
中所有元素的均值称为一个结构在前后两帧图像上的边缘的偏移程度，也就是偏移程度值，该值越大，说明当前帧图像上的边缘相比前一帧图像上的边缘偏移的越厉害。
（8）根据各个目标结构的各边缘的震动位移、偏移程度值以及各个目标结构的当前帧图像中各边缘对应的变形程度、各个目标结构的当前帧图像中各边缘对应的边缘像素集中各个像素坐标对应的关注程度值，计算结构件边缘不平整特征值。
其中，通过上述的步骤（1）-（7），获取到了当前帧图像上的结构件的每个目标结构的边缘的震动位移、偏移程度以及变形程度。同时在当前帧图像上，还获取到了图像上结构的边缘上每个像素位置的变形关注程度，当前帧图像上的所有结构边缘上的所有位置的变形关注程度反应的是边缘不同位置的凹凸不平的情况。因此，根据所获得的结构件上各个目标结构的各边缘的震动位移、偏移程度值、变形程度和关注程度值，可以构造一个结构件边缘不平整特征值，其对应的计算公式为：
Figure 453072DEST_PATH_IMAGE036
其中，
Figure 488024DEST_PATH_IMAGE016
为结构件边缘不平整特征值，
Figure 727376DEST_PATH_IMAGE017
为各个目标结构的各边缘的震动位移的均值，
Figure 556791DEST_PATH_IMAGE018
为
Figure 409822DEST_PATH_IMAGE017
的L2范数，
Figure 717307DEST_PATH_IMAGE019
为各个目标结构的当前帧图像中各边缘对应的变形程度的均值，
Figure 342323DEST_PATH_IMAGE020
为各个目标结构的各边缘的偏移程度值，
Figure 342640DEST_PATH_IMAGE021
为各个目标结构的当前帧图像中各边缘对应的边缘像素集中各个像素坐标对应的关注程度值的总和。
对于上述的结构件边缘不平整特征值，是从结构件上各个目标结构的各边缘的震动位移、偏移程度值、变形程度和关注程度值这四个方面，对结构件的震动变形情况进行综合考量，当震动位移、偏移程度值、变形程度和关注程度值中的任意一个增大时，则说明结构件发生震动变形的可能性就会增大。
（9）判断该结构件边缘不平整特征值是否大于特征值阈值，若大于特征值阈值，则对结构件生产过程进行管控以减小结构件形变。
其中，结构件边缘不平整特征值
Figure 420318DEST_PATH_IMAGE016
大于特征值阈值时，说明结构件的铣削过程对结构件的边缘结构影响较大，边缘结构震动变形严重，此时需要减小结构件的吃刀量，或者为结构件增装夹具来固定结构件，从而减小铣削过程中结构件的震动变形，或者采用其他方法，例如喷洒冷却液。
系统实施例：
本实施例提供了一种基于图像处理的结构件生产管控系统，该系统包括处理器和存储器，处理器用于处理存储在存储器中的指令，以实现上述方法实施例中的基于图像处理的结构件生产管控方法。由于该基于图像处理的结构件生产管控方法已经在上述的方法实施例中进行了详细介绍，此处不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像处理的结构件生产管控方法，其特征在于，包括以下步骤：
在结构件生产过程中，获取结构件的各个目标结构的当前帧图像和前帧图像；
对各个目标结构的前后两帧图像分别进行边缘检测，得到各个目标结构的各个同一边缘在前帧图像中的边缘像素集以及在当前帧图像中的边缘像素集，将同一边缘在前帧图像中的边缘像素集称为前边缘像素集，在当前帧图像中的边缘像素集称为当前边缘像素集；
根据各个边缘的前边缘像素集和当前边缘像素集，确定两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值；
对各个目标结构的前后两帧图像分别进行语义分割，得到前后两帧图像对应的各凹凸语义区域，并计算所述各凹凸语义区域对应的区域不平整程度值；
根据各个边缘的前边缘像素集中某一位置对应的像素坐标与前帧图像对应的各凹凸语义区域的位置关系、各个边缘的当前边缘像素集中该某一位置对应的像素坐标与当前帧图像对应的各凹凸语义区域的位置关系、前帧图像对应的各凹凸语义区域对应的区域不平整程度值、当前帧图像对应的各凹凸语义区域对应的区域不平整程度值，确定两边缘像素集中各同一位置对应的两像素坐标的关注程度值；
根据两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值、两边缘像素集中各同一位置对应的两像素坐标的关注程度值，分别计算各个目标结构的各边缘的震动位移和偏移程度值；
根据各个目标结构的各边缘的震动位移和偏移程度值，确定该结构件边缘不平整特征值；
判断该结构件边缘不平整特征值是否大于特征值阈值，若大于特征值阈值，则对结构件生产过程进行管控以减小结构件形变。
2.根据权利要求1所述的基于图像处理的结构件生产管控方法，其特征在于，各个目标结构的各边缘的震动位移和偏移程度值的计算步骤包括：
根据两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值、两边缘像素集中各同一位置对应的两像素坐标的关注程度值，构造目标函数；
利用遗传算法最小化该目标函数，求解出该边缘的震动位移和偏移程度值。
3.根据权利要求2所述的基于图像处理的结构件生产管控方法，其特征在于，所述目标函数的表达式为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为目标函数，
Figure DEST_PATH_IMAGE006
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure DEST_PATH_IMAGE008
对两像素坐标的震动形变位移偏差值，
Figure DEST_PATH_IMAGE010
为根据目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure 660061DEST_PATH_IMAGE008
对两像素坐标的关注程度值所确定的权重值，关注程度值越大，对应的权重值越小，
Figure DEST_PATH_IMAGE012
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的两像素坐标的对数，
Figure DEST_PATH_IMAGE014
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure 170677DEST_PATH_IMAGE008
对两像素坐标的关注程度值，
Figure DEST_PATH_IMAGE016
为目标结构的某一边缘对应的两边缘像素集中各同一位置对应的第
Figure DEST_PATH_IMAGE018
对两像素坐标的关注程度值。
4.根据权利要求1-3中任一项所述的基于图像处理的结构件生产管控方法，其特征在于，所述震动形变位移偏差值的确定步骤包括：
将各个目标结构的前帧图像中各边缘对应的边缘像素集中的各个像素坐标平移震动位移，所述震动位移为待求量，并将平移后的各个像素坐标重新作为各个目标结构的前帧图像中各边缘对应的边缘像素集中的各个像素坐标；
分别对各个目标结构的前后两帧图像中各边缘对应的两边缘像素集进行主成分分析，得到两边缘像素集的除最大主成分方向外的非最大主成分方向；
分别计算各个目标结构的前后两帧图像中各边缘对应的两边缘像素集中各像素坐标与对应非最大主成分方向所在的单位向量的内积值；
将各个目标结构的前后两帧图像中各边缘对应的两边缘像素集中各同一位置对应的两像素坐标的内积值作差，从而得到两边缘像素集中各同一位置对应的两像素坐标的震动形变位移偏差值。
5.根据权利要求1-3中任一项所述的基于图像处理的结构件生产管控方法，其特征在于，所述关注程度值的确定步骤包括：
判断各个边缘的前边缘像素集中某一位置对应的像素坐标是否位于前帧图像对应的各凹凸语义区域，并判断各个边缘的当前边缘像素集中该某一位置对应的像素坐标是否位于当前帧图像对应的各凹凸语义区域内；
若当前边缘像素集中该某一位置对应的像素坐标位于当前帧图像的某一凹凸语义区域内，且前边缘像素集中某一位置对应的像素坐标位于前帧图像的某一凹凸语义区域内，则根据当前帧图像的某一凹凸语义区域对应的区域不平整程度值及其与前帧图像的某一凹凸语义区域对应的区域不平整程度值的差值，确定该两像素坐标对应的关注程度值；
若当前边缘像素集中该某一位置对应的像素坐标不位于当前帧图像的所有凹凸语义区域内，则该两像素坐标对应的关注程度值为0。
6.根据权利要求5所述的基于图像处理的结构件生产管控方法，其特征在于，两像素坐标对应的关注程度值的计算公式为：
Figure DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE022
为两像素坐标对应的关注程度值，
Figure DEST_PATH_IMAGE024
为像素坐标位于当前帧图像的某一凹凸语义区域对应的区域不平整程度值，
Figure DEST_PATH_IMAGE026
为像素坐标位于前帧图像的某一凹凸语义区域对应的区域不平整程度值。
7.根据权利要求4所述的基于图像处理的结构件生产管控方法，其特征在于，该结构件边缘不平整特征值的确定步骤包括：
根据计算得到的各个目标结构的当前帧图像中各边缘对应的边缘像素集中各像素坐标与对应非最大主成分方向所在的单位向量的内积值，计算各个内积值的方差，将该方差作为各个目标结构的当前帧图像中各边缘对应的变形程度；
根据各个目标结构的各边缘的震动位移、偏移程度值以及各个目标结构的当前帧图像中各边缘对应的变形程度、各个目标结构的当前帧图像中各边缘对应的边缘像素集中各个像素坐标对应的关注程度值，计算结构件边缘不平整特征值。
8.根据权利要求7所述的基于图像处理的结构件生产管控方法，其特征在于，所述结构件边缘不平整特征值的计算公式为：
Figure DEST_PATH_IMAGE028
其中，
Figure DEST_PATH_IMAGE030
为结构件边缘不平整特征值，
Figure DEST_PATH_IMAGE032
为各个目标结构的各边缘的震动位移的均值，
Figure DEST_PATH_IMAGE034
为
Figure 793157DEST_PATH_IMAGE032
的L2范数，
Figure DEST_PATH_IMAGE036
为各个目标结构的当前帧图像中各边缘对应的变形程度的均值，
Figure DEST_PATH_IMAGE038
为各个目标结构的各边缘的偏移程度值，
Figure DEST_PATH_IMAGE040
为各个目标结构的当前帧图像中各边缘对应的边缘像素集中各个像素坐标对应的关注程度值的总和。
9.根据权利要求1-3中任一项所述的基于图像处理的结构件生产管控方法，其特征在于，对各个目标结构的前后两帧图像分别进行边缘检测后还包括：
判断检测到的边缘是否为近似弧状边缘，若为近似弧状边缘，则将该检测到的边缘对应的两边缘像素集中的各个像素坐标的二维坐标映射到四维空间中从而得到四维坐标。
10.一种基于图像处理的结构件生产管控系统，其特征在于，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现如权利要求1-9中任一项所述的基于图像处理的结构件生产管控方法。
CN202110893907.5A 2021-08-05 2021-08-05 一种基于图像处理的结构件生产管控方法及系统 Active CN113344924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110893907.5A CN113344924B (zh) 2021-08-05 2021-08-05 一种基于图像处理的结构件生产管控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110893907.5A CN113344924B (zh) 2021-08-05 2021-08-05 一种基于图像处理的结构件生产管控方法及系统

Publications (2)

Publication Number Publication Date
CN113344924A CN113344924A (zh) 2021-09-03
CN113344924B true CN113344924B (zh) 2021-10-29

Family

ID=77480800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110893907.5A Active CN113344924B (zh) 2021-08-05 2021-08-05 一种基于图像处理的结构件生产管控方法及系统

Country Status (1)

Country Link
CN (1) CN113344924B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294123B (zh) * 2022-10-08 2023-03-24 淄博永丰环保科技有限公司 一种基于图像视觉的瓦楞纸板质量检测方法
CN117346661A (zh) * 2023-11-04 2024-01-05 杭州钱江链传动有限公司 一种链条销轴检测方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0523664A2 (en) * 1991-07-15 1993-01-20 Fuji Electric Co., Ltd. A cylindrical container's inner surface tester
CN105571508A (zh) * 2016-01-25 2016-05-11 成都国铁电气设备有限公司 接触网受电弓的形变检测方法及系统
CN106247969A (zh) * 2016-09-21 2016-12-21 哈尔滨工业大学 一种基于机器视觉的工业磁芯元件的形变检测方法
CN211696261U (zh) * 2020-03-23 2020-10-16 珠海冠宇电池股份有限公司 一种片材形变检测装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107907066B (zh) * 2017-11-08 2019-08-02 武汉大学 单目六自由度形变监测系统及方法
CN112200915B (zh) * 2020-10-30 2024-02-02 西安工业大学 一种基于靶标三维模型纹理影像的前后形变量检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0523664A2 (en) * 1991-07-15 1993-01-20 Fuji Electric Co., Ltd. A cylindrical container's inner surface tester
CN105571508A (zh) * 2016-01-25 2016-05-11 成都国铁电气设备有限公司 接触网受电弓的形变检测方法及系统
CN106247969A (zh) * 2016-09-21 2016-12-21 哈尔滨工业大学 一种基于机器视觉的工业磁芯元件的形变检测方法
CN211696261U (zh) * 2020-03-23 2020-10-16 珠海冠宇电池股份有限公司 一种片材形变检测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SEGMENTATION USING THE EDGE STRENGTH FUNCTION AS A SHAPE PRIOR WITHIN A LOCAL DEFORMATION MODEL;Erkut Erdem etal.;《 2009 16th IEEE International Conference on Image Processing (ICIP)》;20100217;全文 *
采用数字图像边缘检测法进行梁变形检测及破损识别;袁向荣等;《四川建筑科学研究》;20130228;第39卷(第1期);全文 *

Also Published As

Publication number Publication date
CN113344924A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113344924B (zh) 一种基于图像处理的结构件生产管控方法及系统
US11688057B2 (en) Method and system for quickly matching image features applied to mine machine vision
CN109409366B (zh) 基于角点检测的畸变图像校正方法及装置
CN110084236B (zh) 一种图像的矫正方法及装置
US6229921B1 (en) Pattern matching system and method with improved template image sampling using low discrepancy sequences
US10783406B1 (en) Method for detecting structural surface cracks based on image features and bayesian data fusion
US10445868B2 (en) Method for detecting a defect on a surface of a tire
CN112326671A (zh) 一种基于机器视觉的金属板材表面缺陷检测方法
US9639951B2 (en) Object detection and tracking using depth data
CN111178190B (zh) 基于深度图像的目标检测方法、装置及存储介质
US6222940B1 (en) Pattern matching system and method which detects rotated and scaled template images
CN110648330B (zh) 摄像头玻璃的缺陷检测方法
JP2017182785A (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN101315664A (zh) 用于文字识别的文本图像预处理方法
CN112613123A (zh) 一种飞机管路ar三维注册方法及装置
Holzer et al. Multilayer adaptive linear predictors for real-time tracking
Holzer et al. Adaptive linear predictors for real-time tracking
CN106997599A (zh) 一种光照敏感的视频运动目标分割方法
JP2015082287A (ja) 画像処理装置、画像処理方法および画像処理プログラム
Fassold et al. Realtime KLT feature point tracking for high definition video
US6219452B1 (en) Pattern matching system and method which performs local stability analysis for improved efficiency
CN115205807A (zh) 车道线融合方法、装置、汽车、电子设备及计算机可读存储介质
CN113902616A (zh) 文字扫描图像的快速拼接方法
CN109214398B (zh) 一种从连续图像中量测杆体位置的方法和系统
Leone et al. A fully automated approach for underwater mosaicking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 272500 No.1 Jincheng Road, Wenshang Economic Development Zone, Jining City, Shandong Province

Patentee after: Jincheng Technology Co.,Ltd.

Address before: 272500 No.1 Jincheng Road, Wenshang Economic Development Zone, Jining City, Shandong Province

Patentee before: Jincheng Technology Co.,Ltd.