CN116475905A - 角磨机的控制系统及其方法 - Google Patents
角磨机的控制系统及其方法 Download PDFInfo
- Publication number
- CN116475905A CN116475905A CN202310492035.0A CN202310492035A CN116475905A CN 116475905 A CN116475905 A CN 116475905A CN 202310492035 A CN202310492035 A CN 202310492035A CN 116475905 A CN116475905 A CN 116475905A
- Authority
- CN
- China
- Prior art keywords
- mask
- image
- feature vector
- semantic understanding
- personnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005498 polishing Methods 0.000 claims abstract description 168
- 238000012544 monitoring process Methods 0.000 claims abstract description 57
- 239000013598 vector Substances 0.000 claims description 249
- 238000000227 grinding Methods 0.000 claims description 155
- 239000011159 matrix material Substances 0.000 claims description 68
- 238000001514 detection method Methods 0.000 claims description 50
- 238000005457 optimization Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 19
- 230000000903 blocking effect Effects 0.000 claims description 11
- 230000000873 masking effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 32
- 238000013135 deep learning Methods 0.000 abstract description 8
- 230000002093 peripheral effect Effects 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000005065 mining Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000003365 glass fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一种角磨机的控制系统及其方法，其获取由摄像头采集的打磨片周边监控图像；采用基于深度学习的人工智能技术，进行所述监控图像中关于所述打磨片的语义隐含特征和所述工作人员语义隐含特征的关联性特征分布信息，以此在工作人员距离打磨片的距离较近时自动发出紧急停止打磨指令，从而有效地提高了角磨机的安全性，保护了工作人员的生命安全。
Description
技术领域
本申请涉及智能化控制技术领域，并且更具体地，涉及一种角磨机的控制系统及其方法。
背景技术
角磨机又称研磨机或盘磨机，是用于玻璃钢切削和打磨的一种磨具，是一种利用玻璃钢切削和打磨的手提式电动工具，主要用于切割、研磨及刷磨金属与石材等。
现有的角磨机的结构多种多样，且很多角磨机都具备安全控制系统。角磨机的安全控制系统分为很多类，通过安全控制系统可以使得角磨机使用的安全性得到有效的提高，但是角磨机在实际使用的过程中还是会出现一些意外，使得角磨机的安全性得不到保证。具体来说，现有的角磨机并不能够对打磨片边缘进行全方位防护，导致在实际使用工作人员工作时手部还是容易碰到打磨片而受伤，并且现有的角磨机也容易出现误触产生危险的情况。
因此，期望一种优化的角磨机的控制系统。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种角磨机的控制系统及其方法，其获取由摄像头采集的打磨片周边监控图像；采用基于深度学习的人工智能技术，进行所述监控图像中关于所述打磨片的语义隐含特征和所述工作人员语义隐含特征的关联性特征分布信息，以此在工作人员距离打磨片的距离较近时自动发出紧急停止打磨指令，从而有效地提高了角磨机的安全性，保护了工作人员的生命安全。
第一方面，提供了一种角磨机的控制系统，其包括：
监控图像采集模块，用于获取由摄像头采集的打磨片周边监控图像；
目标对象检测模块，用于将所述打磨片周边监控图像通过人员目标检测网络和打磨片目标检测网络以得到人员目标对象感兴趣区域和打磨片目标对象感兴趣区域；
掩码模块，用于基于所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域在所述打磨片周边监控图像中的位置分别施加掩码以得到打磨片掩码图像和人员掩码图像；
图像语义特征提取模块，用于将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型以得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量；
特征关联编码模块，用于对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码以得到分类特征矩阵；以及
打磨控制模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨。
在上述角磨机的控制系统中，所述人员目标检测网络和所述打磨片目标检测网络都为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在上述角磨机的控制系统中，所述图像语义特征提取模块，包括：第一图像分块单元，用于对所述打磨片掩码图像进行图像分块处理以得到打磨片图像块的序列；第一嵌入化单元，用于使用所述ViT模型的嵌入层对所述打磨片图像块的序列中的各个打磨片图像块进行向量嵌入化以得到打磨片图像块嵌入向量的序列；以及，第一编码单元，用于将所述打磨片图像块嵌入向量的序列输入所述ViT模型的转换器以得到所述打磨片掩码语义理解特征向量。
在上述角磨机的控制系统中，所述第一编码单元，包括：向量构造子单元，用于将所述打磨片图像块嵌入向量的序列进行一维排列以得到打磨片全局特征向量；自注意子单元，用于计算所述打磨片全局特征向量与所述打磨片图像块嵌入向量的序列中各个打磨片图像块嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以到多个标准化后自注意力关联矩阵；关注度计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述打磨片图像块嵌入向量的序列中各个打磨片图像块嵌入向量进行加权以得到所述打磨片掩码语义理解特征向量。
在上述角磨机的控制系统中，所述特征关联编码模块，包括：优化因数计算单元，用于分别计算所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯回归不确定性因数以得到第一高斯回归不确定性因数和第二高斯回归不确定性因数；加权优化单元，用于以所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数作为加权系数对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行加权优化以得到优化后打磨片掩码语义理解特征向量和优化后人员掩码语义理解特征向量；以及，优化关联单元，用于对所述优化后打磨片掩码语义理解特征向量和所述优化后人员掩码语义理解特征向量进行关联编码以得到所述分类特征矩阵。
在上述角磨机的控制系统中，所述优化因数计算单元，用于：以如下优化公式分别计算所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯回归不确定性因数以得到所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数；其中，所述优化公式为：
其中，v1i是所述打磨片掩码语义理解特征向量中各个位置的特征值，v2i是所述人员掩码语义理解特征向量中各个位置的特征值，L是特征向量的长度，μ1和σ1 2分别是所述打磨片掩码语义理解特征向量中各个位置特征值集合的均值和方差，且μ2和σ2 2分别是所述人员掩码语义理解特征向量中各个位置特征值集合的均值和方差，log为以2为底的对数函数，w1和w2分别是所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数。
在上述角磨机的控制系统中，所述优化关联单元，用于：以如下关联公式对所述优化后打磨片掩码语义理解特征向量和所述优化后人员掩码语义理解特征向量进行关联编码以得到所述分类特征矩阵；其中，所述关联公式为：
其中，Va表示所述优化后打磨片掩码语义理解特征向量，表示所述优化后打磨片掩码语义理解特征向量的转置向量，Vc表示所述优化后人员掩码语义理解特征向量，M1表示所述分类特征矩阵，/>表示矩阵相乘。
在上述角磨机的控制系统中，所述打磨控制模块，包括：矩阵展开单元，用于将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
第二方面，提供了一种角磨机的控制方法，其包括：
获取由摄像头采集的打磨片周边监控图像；
将所述打磨片周边监控图像通过人员目标检测网络和打磨片目标检测网络以得到人员目标对象感兴趣区域和打磨片目标对象感兴趣区域；
基于所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域在所述打磨片周边监控图像中的位置分别施加掩码以得到打磨片掩码图像和人员掩码图像；
将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型以得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量；
对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码以得到分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨。
在上述角磨机的控制方法中，所述人员目标检测网络和所述打磨片目标检测网络都为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
与现有技术相比，本申请提供的角磨机的控制系统及其方法，其获取由摄像头采集的打磨片周边监控图像；采用基于深度学习的人工智能技术，进行所述监控图像中关于所述打磨片的语义隐含特征和所述工作人员语义隐含特征的关联性特征分布信息，以此在工作人员距离打磨片的距离较近时自动发出紧急停止打磨指令，从而有效地提高了角磨机的安全性，保护了工作人员的生命安全。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的角磨机的控制系统的应用场景图。
图2为根据本申请实施例的角磨机的控制系统的框图。
图3为根据本申请实施例的角磨机的控制系统中所述图像语义特征提取模块的框图。
图4为根据本申请实施例的角磨机的控制系统中所述第一编码单元的框图。
图5为根据本申请实施例的角磨机的控制系统中所述特征关联编码模块的框图。
图6为根据本申请实施例的角磨机的控制系统中所述打磨控制模块的框图。
图7为根据本申请实施例的角磨机的控制方法的流程图。
图8为根据本申请实施例的角磨机的控制方法的系统架构的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
如上所述，现有的角磨机并不能够对打磨片边缘进行全方位防护，导致在实际使用工作人员工作时手部还是容易碰到打磨片而受伤，并且现有的角磨机也容易出现误触产生危险的情况。因此，期望一种优化的角磨机的控制系统。
相应地，考虑到在实际进行角磨机的安全控制过程中，为了对打磨片边缘进行全方位防护，以避免打磨片伤到工作人员，期望通过摄像头对打磨片的周围进行监控以在检测到工作人员距离打磨片的距离小于预定阈值时生成紧急停止打磨的控制信号。但是，考虑到由于角磨机的工作环境复杂，摄像头采集的打磨片周边监控图像中存在有大量的复杂信息以及背景干扰，导致对于打磨片和工作人员的语义隐含特征变得模糊，降低了打磨的紧急控制精准度。因此，在此过程中，难点在于如何进行所述监控图像中关于所述打磨片的语义隐含特征和所述工作人员语义隐含特征的关联性特征分布信息，以此在工作人员距离打磨片的距离较近时自动发出紧急停止打磨指令，从而有效地提高了角磨机的安全性，保护了工作人员的生命安全。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述监控图像中关于所述打磨片的语义隐含特征和所述工作人员语义隐含特征的关联性特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，通过摄像头采集打磨片周边监控图像。应可以理解，考虑到在对于打磨片隐含语义特征和工作人员隐含语义特征进行提取以进行打磨紧急控制时，应聚焦于打磨片目标和工作人员目标区域，因此，若能够在对于所述打磨片周边监控图像进行特征挖掘时滤除掉其余无用的背景干扰特征信息，显然能够提高打磨紧急控制的精准度。基于此，在本申请的技术方案中，进一步将所述打磨片周边监控图像通过人员目标检测网络和打磨片目标检测网络以得到人员目标对象感兴趣区域和打磨片目标对象感兴趣区域。也就是，分别使用所述人员目标检测网络和所述打磨片目标检测网络的目标锚定层以锚框B1和B2来进行滑动对所述打磨片周边监控图像进行处理，以分别对于人员目标感兴趣区域和打磨片目标感兴趣区域进行框定，从而得到所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域，这样，可以从整体上提高后续步骤的处理效率和准确性，使得系统可以更加精准地进行识别和分类，并决策是否需要紧急停止打磨，从而更好地保障工作人员的安全。特别地，这里，所述人员目标检测网络和所述打磨片目标检测网络都为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
然后，考虑到在所述打磨片周边监控图像中，可能存在一些干扰物体或者噪声，这些干扰可能会影响到后续处理步骤的准确性和效率。为了去除这些干扰物体的影响，并提取出目标感兴趣区域内的信息，需要将所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域在所述打磨片周边监控图像中的位置分别施加掩码，以得到打磨片掩码图像和人员掩码图像。应可以理解，这些掩码可以将不相关的区域遮蔽掉，只留下目标区域，从而提高后续处理步骤的精确性和准确度，保证系统的稳定性和可靠性。
进一步地，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述打磨片掩码图像和所述人员掩码图像的特征挖掘，但是由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。并且，还考虑到由于所述打磨片掩码图像中关于打磨片的语义特征信息和所述人员掩码图像中关于人工作人员的语义细节特征为小尺度的隐含特征，难以充分地进行捕捉提取。因此，为了能够提高所述打磨片掩码图像和所述人员掩码图像中关于打磨片与工作人员的隐含小尺度的语义特征的表达能力，以此来提高对于打磨紧急停止控制的精准度，在本申请的技术方案中，将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型中进行编码，以分别提取出所述打磨片掩码图像中关于打磨片隐含上下文语义关联特征分布信息和所述人员掩码图像中关于工作人员的隐含上下文语义关联特征分布信息，从而得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量。
具体地，应可以理解，在对于所述打磨片掩码图像和所述人员掩码图像进行图像分块处理后的各个图像块中关于打磨片或工作人员的小尺度隐含特征不再是小尺度的特征信息，有利于后续进行打磨片隐含语义特征或工作人员隐含语义特征提取。特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个图像块线性投影为一维嵌入向量。嵌入化的实现过程是先分别将各个所述图像块中所有像素位置的像素值排列为一维向量，然后使用全连接层对该一维向量进行全连接编码以实现嵌入化。并且，这里，所述ViT模型可以像Transformer一样直接通过自注意机制处理所述各个图像块，以此来分别提取出所述各个图像块中基于所述打磨片掩码图像或所述人员掩码图像整体的关于所述打磨片或所述工作人员的隐含上下文语义关联特征信息。
然后，对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码，以此来将所述打磨片的图像上下文隐含语义关联特征信息和所述工作人员的图像上下文隐含语义关联特征信息进行融合，从而得到具有所述打磨片的隐含语义特征和所述工作人员的隐含语义特征之间的关联性特征分布信息的分类特征矩阵。接着，进一步再将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨。
也就是，在本申请的技术方案中，所述分类器的标签包括紧急停止打磨(第一标签)，以及，不紧急停止打磨(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征矩阵属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“是否紧急停止打磨”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，是否紧急停止打磨的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“是否紧急停止打磨”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否紧急停止打磨的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来在工作人员距离打磨片的距离较近时自动发出紧急停止打磨指令，从而有效地提高了角磨机的安全性，保护了工作人员的生命安全。
特别地，在本申请的技术方案中，这里，考虑到所述打磨片周边监控图像在图像采集过程中引入的源图像噪声，在所述打磨片掩码图像和所述人员掩码图像内也会存在图像噪声，并在通过ViT模型进行图像语义特征提取和图像语义特征的上下文关联编码后，进一步在所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量引入各自的特征分布的高斯分布误差不确定性，这样，当对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码得到所述分类特征矩阵时，所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯分布误差不确定性会引起所述分类特征矩阵的分类回归误差，影响所述分类特征矩阵通过分类器得到的分类结果的准确性。
基于此，在本申请的技术方案中，分别计算所述打磨片掩码语义理解特征向量，例如记为V1和所述人员掩码语义理解特征向量，例如记为V2的高斯回归不确定性因数，表示为：
L是特征向量的长度，μ1和σ1 2分别是特征集合v1i∈V1的均值和方差，且μ2和σ2 2分别是特征集合v2i∈V2的均值和方差，log为以2为底的对数。
这里，针对所述打磨片掩码语义理解特征向量V1和所述人员掩码语义理解特征向量V2各自的集成特征集合由于其分布不确定性信息可能导致的所述分类特征矩阵的不可知回归，利用作为统计量化参数的均值和方差来进行特征集合的统计特性的标量度量，从而将特征表示的正态分布认知模式扩展到未知的分布回归模式，实现特征集合尺度上的基于自然分布转移的迁移学习，这样，通过以上述高斯回归不确定性因数分别对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量加权后再进行关联编码，就可以实现所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量在关联编码过程中基于自校准的不确定性修正，从而修正所述分类特征矩阵存在的分类回归误差，提升所述分类特征矩阵通过分类器得到的分类结果的准确性。这样，能够在工作人员距离打磨片的距离较近时自动进行停止打磨的紧急控制，从而有效地提高了角磨机的安全性，保护工作人员的生命安全。
图1为根据本申请实施例的角磨机的控制系统的应用场景图。如图1所示，在该应用场景中，首先，获取由摄像头采集的打磨片(例如，如图1中所示意的D)的打磨片周边监控图像(例如，如图1中所示意的C)；然后，将获取的打磨片周边监控图像输入至部署有角磨机的控制算法的服务器(例如，如图1中所示意的S)中，其中所述服务器能够基于角磨机的控制算法对所述打磨片周边监控图像进行处理，以生成用于表示是否紧急停止打磨的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
在本申请的一个实施例中，图2为根据本申请实施例的角磨机的控制系统的框图。如图2所示，根据本申请实施例的角磨机的控制系统100，包括：监控图像采集模块110，用于获取由摄像头采集的打磨片周边监控图像；目标对象检测模块120，用于将所述打磨片周边监控图像通过人员目标检测网络和打磨片目标检测网络以得到人员目标对象感兴趣区域和打磨片目标对象感兴趣区域；掩码模块130，用于基于所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域在所述打磨片周边监控图像中的位置分别施加掩码以得到打磨片掩码图像和人员掩码图像；图像语义特征提取模块140，用于将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型以得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量；特征关联编码模块150，用于对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码以得到分类特征矩阵；以及，打磨控制模块160，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨。
具体地，在本申请实施例中，所述监控图像采集模块110，用于获取由摄像头采集的打磨片周边监控图像。如上所述，现有的角磨机并不能够对打磨片边缘进行全方位防护，导致在实际使用工作人员工作时手部还是容易碰到打磨片而受伤，并且现有的角磨机也容易出现误触产生危险的情况。因此，期望一种优化的角磨机的控制系统。
相应地，考虑到在实际进行角磨机的安全控制过程中，为了对打磨片边缘进行全方位防护，以避免打磨片伤到工作人员，期望通过摄像头对打磨片的周围进行监控以在检测到工作人员距离打磨片的距离小于预定阈值时生成紧急停止打磨的控制信号。但是，考虑到由于角磨机的工作环境复杂，摄像头采集的打磨片周边监控图像中存在有大量的复杂信息以及背景干扰，导致对于打磨片和工作人员的语义隐含特征变得模糊，降低了打磨的紧急控制精准度。因此，在此过程中，难点在于如何进行所述监控图像中关于所述打磨片的语义隐含特征和所述工作人员语义隐含特征的关联性特征分布信息，以此在工作人员距离打磨片的距离较近时自动发出紧急停止打磨指令，从而有效地提高了角磨机的安全性，保护了工作人员的生命安全。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述监控图像中关于所述打磨片的语义隐含特征和所述工作人员语义隐含特征的关联性特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，通过摄像头采集打磨片周边监控图像。
具体地，在本申请实施例中，所述目标对象检测模块120，用于将所述打磨片周边监控图像通过人员目标检测网络和打磨片目标检测网络以得到人员目标对象感兴趣区域和打磨片目标对象感兴趣区域。应可以理解，考虑到在对于打磨片隐含语义特征和工作人员隐含语义特征进行提取以进行打磨紧急控制时，应聚焦于打磨片目标和工作人员目标区域，因此，若能够在对于所述打磨片周边监控图像进行特征挖掘时滤除掉其余无用的背景干扰特征信息，显然能够提高打磨紧急控制的精准度。
基于此，在本申请的技术方案中，进一步将所述打磨片周边监控图像通过人员目标检测网络和打磨片目标检测网络以得到人员目标对象感兴趣区域和打磨片目标对象感兴趣区域。也就是，分别使用所述人员目标检测网络和所述打磨片目标检测网络的目标锚定层以锚框B1和B2来进行滑动对所述打磨片周边监控图像进行处理，以分别对于人员目标感兴趣区域和打磨片目标感兴趣区域进行框定，从而得到所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域，这样，可以从整体上提高后续步骤的处理效率和准确性，使得系统可以更加精准地进行识别和分类，并决策是否需要紧急停止打磨，从而更好地保障工作人员的安全。
特别地，这里，所述人员目标检测网络和所述打磨片目标检测网络都为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
具体地，在本申请实施例中，所述掩码模块130，用于基于所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域在所述打磨片周边监控图像中的位置分别施加掩码以得到打磨片掩码图像和人员掩码图像。然后，考虑到在所述打磨片周边监控图像中，可能存在一些干扰物体或者噪声，这些干扰可能会影响到后续处理步骤的准确性和效率。为了去除这些干扰物体的影响，并提取出目标感兴趣区域内的信息，需要将所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域在所述打磨片周边监控图像中的位置分别施加掩码，以得到打磨片掩码图像和人员掩码图像。应可以理解，这些掩码可以将不相关的区域遮蔽掉，只留下目标区域，从而提高后续处理步骤的精确性和准确度，保证系统的稳定性和可靠性。
具体地，在本申请实施例中，所述图像语义特征提取模块140，用于将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型以得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量。进一步地，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述打磨片掩码图像和所述人员掩码图像的特征挖掘，但是由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。并且，还考虑到由于所述打磨片掩码图像中关于打磨片的语义特征信息和所述人员掩码图像中关于人工作人员的语义细节特征为小尺度的隐含特征，难以充分地进行捕捉提取。
因此，为了能够提高所述打磨片掩码图像和所述人员掩码图像中关于打磨片与工作人员的隐含小尺度的语义特征的表达能力，以此来提高对于打磨紧急停止控制的精准度，在本申请的技术方案中，将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型中进行编码，以分别提取出所述打磨片掩码图像中关于打磨片隐含上下文语义关联特征分布信息和所述人员掩码图像中关于工作人员的隐含上下文语义关联特征分布信息，从而得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量。
具体地，应可以理解，在对于所述打磨片掩码图像和所述人员掩码图像进行图像分块处理后的各个图像块中关于打磨片或工作人员的小尺度隐含特征不再是小尺度的特征信息，有利于后续进行打磨片隐含语义特征或工作人员隐含语义特征提取。特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个图像块线性投影为一维嵌入向量。嵌入化的实现过程是先分别将各个所述图像块中所有像素位置的像素值排列为一维向量，然后使用全连接层对该一维向量进行全连接编码以实现嵌入化。并且，这里，所述ViT模型可以像Transformer一样直接通过自注意机制处理所述各个图像块，以此来分别提取出所述各个图像块中基于所述打磨片掩码图像或所述人员掩码图像整体的关于所述打磨片或所述工作人员的隐含上下文语义关联特征信息。
图3为根据本申请实施例的角磨机的控制系统中所述图像语义特征提取模块的框图，如图3所示，所述图像语义特征提取模块140，包括：第一图像分块单元141，用于对所述打磨片掩码图像进行图像分块处理以得到打磨片图像块的序列；第一嵌入化单元142，用于使用所述ViT模型的嵌入层对所述打磨片图像块的序列中的各个打磨片图像块进行向量嵌入化以得到打磨片图像块嵌入向量的序列；以及，第一编码单元143，用于将所述打磨片图像块嵌入向量的序列输入所述ViT模型的转换器以得到所述打磨片掩码语义理解特征向量。
还包括：第二图像分块单元，用于对所述人员掩码图像进行图像分块处理以得到人员图像块的序列；第二嵌入化单元，用于使用所述ViT模型的嵌入层对所述人员图像块的序列中的各个人员图像块进行向量嵌入化以得到人员图像块嵌入向量的序列；以及，第二编码单元，用于将所述人员图像块嵌入向量的序列输入所述ViT模型的转换器以得到所述人员掩码语义理解特征向量。
应可以理解，自2017年Google提出的Transformer结构以来，迅速引发一波热潮，针对于NLP领域的，通过自注意力机制代替传统处理序列数据时采用的循环神经网络结构，不仅实现了并行训练，提升了训练的效率，同时也在应用中取得很好的结果。在NLP中，输入transformer中的是一个序列，而在视觉领域，需要考虑如何将一个2d图片转化为一个1d的序列，最直观的想法就是将图片中的像素点输入到transformer中，但是复杂度太高的问题。
而ViT模型对输入的改进可以降低复杂度，先将图片切分成一个个图像块，然后每一个图像块投影为固定长度的向量送入Transformer中，后续编码器的操作和原始Transformer中完全相同。但是因为对图片分类，因此在输入序列中加入一个特殊的标记，该标记对应的输出即为最后的类别预测。ViT在很多视觉任务上都展现了相当优秀的性能，但是和CNN(Convolutional Neural Network，卷积神经网络)相比，缺少归纳偏置让ViT应用于小数据集时非常依赖模型正则化(model regularization)和数据增广(dataaugmentation)。
图4为根据本申请实施例的角磨机的控制系统中所述第一编码单元的框图，如图4所示，所述第一编码单元143，包括：向量构造子单元1431，用于将所述打磨片图像块嵌入向量的序列进行一维排列以得到打磨片全局特征向量；自注意子单元1432，用于计算所述打磨片全局特征向量与所述打磨片图像块嵌入向量的序列中各个打磨片图像块嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化子单元1433，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算子单元1434，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，注意力施加子单元1435，用于分别以所述多个概率值中各个概率值作为权重对所述打磨片图像块嵌入向量的序列中各个打磨片图像块嵌入向量进行加权以得到所述打磨片掩码语义理解特征向量。
上下文编码器旨在挖掘得到词序列中上下文之间的隐藏模式，可选地，编码器包括：CNN(Convolutional Neural Network，卷积神经网络)、Recursive NN(RecursiveNeural Network，递归神经网络)、语言模型(Language Model)等。基于CNN的方法对于局部特征有比较好的提取效果，但其对于句子中的长程依赖(Long-termDependency)问题效果欠佳，因此基于Bi-LSTM(Long Short-Term Memory，长短期记忆网络)的编码器被广泛使用。Recursive NN把句子当作树状结构而非序列进行处理，从理论上而言具有更强的表示能力，但其存在样本标注难度大、深层易梯度消失、难以并行计算等弱点，因此在实际应用中使用较少。Transformer是应用广泛的网络结构了，同时具有CNN和RNN的特性，对于全局特征有较好的提取效果，同时相较于RNN(RecurrentNeural Network，循环神经网络)在并行计算上具有一定优势。
具体地，在本申请实施例中，所述特征关联编码模块150，用于对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码以得到分类特征矩阵。然后，对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码，以此来将所述打磨片的图像上下文隐含语义关联特征信息和所述工作人员的图像上下文隐含语义关联特征信息进行融合，从而得到具有所述打磨片的隐含语义特征和所述工作人员的隐含语义特征之间的关联性特征分布信息的分类特征矩阵。
图5为根据本申请实施例的角磨机的控制系统中所述特征关联编码模块的框图，如图5所示，所述特征关联编码模块150，包括：优化因数计算单元151，用于分别计算所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯回归不确定性因数以得到第一高斯回归不确定性因数和第二高斯回归不确定性因数；加权优化单元152，用于以所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数作为加权系数对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行加权优化以得到优化后打磨片掩码语义理解特征向量和优化后人员掩码语义理解特征向量；以及，优化关联单元153，用于对所述优化后打磨片掩码语义理解特征向量和所述优化后人员掩码语义理解特征向量进行关联编码以得到所述分类特征矩阵。
特别地，在本申请的技术方案中，这里，考虑到所述打磨片周边监控图像在图像采集过程中引入的源图像噪声，在所述打磨片掩码图像和所述人员掩码图像内也会存在图像噪声，并在通过ViT模型进行图像语义特征提取和图像语义特征的上下文关联编码后，进一步在所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量引入各自的特征分布的高斯分布误差不确定性，这样，当对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码得到所述分类特征矩阵时，所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯分布误差不确定性会引起所述分类特征矩阵的分类回归误差，影响所述分类特征矩阵通过分类器得到的分类结果的准确性。
基于此，在本申请的技术方案中，分别计算所述打磨片掩码语义理解特征向量，例如记为V1和所述人员掩码语义理解特征向量，例如记为V2的高斯回归不确定性因数，表示为：以如下优化公式分别计算所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯回归不确定性因数以得到所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数；其中，所述优化公式为：
其中，v1i是所述打磨片掩码语义理解特征向量中各个位置的特征值，v2i是所述人员掩码语义理解特征向量中各个位置的特征值，L是特征向量的长度，μ1和σ1 2分别是所述打磨片掩码语义理解特征向量中各个位置特征值集合的均值和方差，且μ2和σ2 2分别是所述人员掩码语义理解特征向量中各个位置特征值集合的均值和方差，log为以2为底的对数函数，w1和w2分别是所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数。
这里，针对所述打磨片掩码语义理解特征向量V1和所述人员掩码语义理解特征向量V2各自的集成特征集合由于其分布不确定性信息可能导致的所述分类特征矩阵的不可知回归，利用作为统计量化参数的均值和方差来进行特征集合的统计特性的标量度量，从而将特征表示的正态分布认知模式扩展到未知的分布回归模式，实现特征集合尺度上的基于自然分布转移的迁移学习，这样，通过以上述高斯回归不确定性因数分别对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量加权后再进行关联编码，就可以实现所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量在关联编码过程中基于自校准的不确定性修正，从而修正所述分类特征矩阵存在的分类回归误差，提升所述分类特征矩阵通过分类器得到的分类结果的准确性。这样，能够在工作人员距离打磨片的距离较近时自动进行停止打磨的紧急控制，从而有效地提高了角磨机的安全性，保护工作人员的生命安全。
进一步地，所述优化关联单元153，用于：以如下关联公式对所述优化后打磨片掩码语义理解特征向量和所述优化后人员掩码语义理解特征向量进行关联编码以得到所述分类特征矩阵；其中，所述关联公式为：
其中，Va表示所述优化后打磨片掩码语义理解特征向量，表示所述优化后打磨片掩码语义理解特征向量的转置向量，Vc表示所述优化后人员掩码语义理解特征向量，M1表示所述分类特征矩阵，/>表示矩阵相乘。
具体地，在本申请实施例中，所述打磨控制模块160，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨。接着，进一步再将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨。
也就是，在本申请的技术方案中，所述分类器的标签包括紧急停止打磨(第一标签)，以及，不紧急停止打磨(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征矩阵属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“是否紧急停止打磨”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，是否紧急停止打磨的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“是否紧急停止打磨”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否紧急停止打磨的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来在工作人员距离打磨片的距离较近时自动发出紧急停止打磨指令，从而有效地提高了角磨机的安全性，保护了工作人员的生命安全。
图6为根据本申请实施例的角磨机的控制系统中所述打磨控制模块的框图，如图6所示，所述打磨控制模块160，包括：矩阵展开单元161，用于将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元162，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元163，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的角磨机的控制系统100被阐明，其获取由摄像头采集的打磨片周边监控图像；采用基于深度学习的人工智能技术，进行所述监控图像中关于所述打磨片的语义隐含特征和所述工作人员语义隐含特征的关联性特征分布信息，以此在工作人员距离打磨片的距离较近时自动发出紧急停止打磨指令，从而有效地提高了角磨机的安全性，保护了工作人员的生命安全。
在本申请的一个实施例中，图7为根据本申请实施例的角磨机的控制方法的流程图。如图7所示，根据本申请实施例的角磨机的控制方法，其包括：210，获取由摄像头采集的打磨片周边监控图像；220，将所述打磨片周边监控图像通过人员目标检测网络和打磨片目标检测网络以得到人员目标对象感兴趣区域和打磨片目标对象感兴趣区域；230，基于所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域在所述打磨片周边监控图像中的位置分别施加掩码以得到打磨片掩码图像和人员掩码图像；240，将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型以得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量；250，对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码以得到分类特征矩阵；以及，260，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨。
图8为根据本申请实施例的角磨机的控制方法的系统架构的示意图。如图8所示，在所述角磨机的控制方法的系统架构中，首先，获取由摄像头采集的打磨片周边监控图像；然后，将所述打磨片周边监控图像通过人员目标检测网络和打磨片目标检测网络以得到人员目标对象感兴趣区域和打磨片目标对象感兴趣区域；接着，基于所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域在所述打磨片周边监控图像中的位置分别施加掩码以得到打磨片掩码图像和人员掩码图像；然后，将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型以得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量；接着，对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码以得到分类特征矩阵；以及，最后，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨。
在一个具体示例中，在上述角磨机的控制方法中，将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型以得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量，包括：对所述打磨片掩码图像进行图像分块处理以得到打磨片图像块的序列；使用所述ViT模型的嵌入层对所述打磨片图像块的序列中的各个打磨片图像块进行向量嵌入化以得到打磨片图像块嵌入向量的序列；以及，将所述打磨片图像块嵌入向量的序列输入所述ViT模型的转换器以得到所述打磨片掩码语义理解特征向量。
在一个具体示例中，在上述角磨机的控制方法中，将所述打磨片图像块嵌入向量的序列输入所述ViT模型的转换器以得到所述打磨片掩码语义理解特征向量，包括：将所述打磨片图像块嵌入向量的序列进行一维排列以得到打磨片全局特征向量；计算所述打磨片全局特征向量与所述打磨片图像块嵌入向量的序列中各个打磨片图像块嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述打磨片图像块嵌入向量的序列中各个打磨片图像块嵌入向量进行加权以得到所述打磨片掩码语义理解特征向量。
在一个具体示例中，在上述角磨机的控制方法中，对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码以得到分类特征矩阵，包括：分别计算所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯回归不确定性因数以得到第一高斯回归不确定性因数和第二高斯回归不确定性因数；以所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数作为加权系数对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行加权优化以得到优化后打磨片掩码语义理解特征向量和优化后人员掩码语义理解特征向量；以及，对所述优化后打磨片掩码语义理解特征向量和所述优化后人员掩码语义理解特征向量进行关联编码以得到所述分类特征矩阵。
在一个具体示例中，在上述角磨机的控制方法中，分别计算所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯回归不确定性因数以得到第一高斯回归不确定性因数和第二高斯回归不确定性因数，包括：以如下优化公式分别计算所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯回归不确定性因数以得到所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数；其中，所述优化公式为：
其中，v1i是所述打磨片掩码语义理解特征向量中各个位置的特征值，v2i是所述人员掩码语义理解特征向量中各个位置的特征值，L是特征向量的长度，μ1和σ1 2分别是所述打磨片掩码语义理解特征向量中各个位置特征值集合的均值和方差，且μ2和σ2 2分别是所述人员掩码语义理解特征向量中各个位置特征值集合的均值和方差，log为以2为底的对数函数，w1和w2分别是所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数。
在一个具体示例中，在上述角磨机的控制方法中，对所述优化后打磨片掩码语义理解特征向量和所述优化后人员掩码语义理解特征向量进行关联编码以得到所述分类特征矩阵，包括：以如下关联公式对所述优化后打磨片掩码语义理解特征向量和所述优化后人员掩码语义理解特征向量进行关联编码以得到所述分类特征矩阵；其中，所述关联公式为：
其中，Va表示所述优化后打磨片掩码语义理解特征向量，表示所述优化后打磨片掩码语义理解特征向量的转置向量，Vc表示所述优化后人员掩码语义理解特征向量，M1表示所述分类特征矩阵，/>表示矩阵相乘。
在一个具体示例中，在上述角磨机的控制方法中，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨，包括：将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
本领域技术人员可以理解，上述角磨机的控制方法中的各个步骤的具体操作已经在上面参考图1到图6的角磨机的控制系统的描述中得到了详细介绍，并因此，将省略其重复描述。
本申请还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。
在本申请的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
应可以理解，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种角磨机的控制系统，其特征在于，包括：
监控图像采集模块，用于获取由摄像头采集的打磨片周边监控图像；
目标对象检测模块，用于将所述打磨片周边监控图像通过人员目标检测网络和打磨片目标检测网络以得到人员目标对象感兴趣区域和打磨片目标对象感兴趣区域；
掩码模块，用于基于所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域在所述打磨片周边监控图像中的位置分别施加掩码以得到打磨片掩码图像和人员掩码图像；
图像语义特征提取模块，用于将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型以得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量；
特征关联编码模块，用于对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码以得到分类特征矩阵；以及
打磨控制模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨。
2.根据权利要求1所述的角磨机的控制系统，其特征在于，所述人员目标检测网络和所述打磨片目标检测网络都为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
3.根据权利要求2所述的角磨机的控制系统，其特征在于，所述图像语义特征提取模块，包括：
第一图像分块单元，用于对所述打磨片掩码图像进行图像分块处理以得到打磨片图像块的序列；
第一嵌入化单元，用于使用所述ViT模型的嵌入层对所述打磨片图像块的序列中的各个打磨片图像块进行向量嵌入化以得到打磨片图像块嵌入向量的序列；以及
第一编码单元，用于将所述打磨片图像块嵌入向量的序列输入所述ViT模型的转换器以得到所述打磨片掩码语义理解特征向量。
4.根据权利要求3所述的角磨机的控制系统，其特征在于，所述第一编码单元，包括：
向量构造子单元，用于将所述打磨片图像块嵌入向量的序列进行一维排列以得到打磨片全局特征向量；
自注意子单元，用于计算所述打磨片全局特征向量与所述打磨片图像块嵌入向量的序列中各个打磨片图像块嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；
标准化子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；
关注度计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及
注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述打磨片图像块嵌入向量的序列中各个打磨片图像块嵌入向量进行加权以得到所述打磨片掩码语义理解特征向量。
5.根据权利要求4所述的角磨机的控制系统，其特征在于，所述特征关联编码模块，包括：
优化因数计算单元，用于分别计算所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯回归不确定性因数以得到第一高斯回归不确定性因数和第二高斯回归不确定性因数；
加权优化单元，用于以所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数作为加权系数对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行加权优化以得到优化后打磨片掩码语义理解特征向量和优化后人员掩码语义理解特征向量；以及
优化关联单元，用于对所述优化后打磨片掩码语义理解特征向量和所述优化后人员掩码语义理解特征向量进行关联编码以得到所述分类特征矩阵。
6.根据权利要求5所述的角磨机的控制系统，其特征在于，所述优化因数计算单元，用于：以如下优化公式分别计算所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量的高斯回归不确定性因数以得到所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数；
其中，所述优化公式为：
其中，v1i是所述打磨片掩码语义理解特征向量中各个位置的特征值，v2i是所述人员掩码语义理解特征向量中各个位置的特征值，L是特征向量的长度，μ1和σ1 2分别是所述打磨片掩码语义理解特征向量中各个位置特征值集合的均值和方差，且μ2和σ2 2分别是所述人员掩码语义理解特征向量中各个位置特征值集合的均值和方差，log为以2为底的对数函数，w1和w2分别是所述第一高斯回归不确定性因数和所述第二高斯回归不确定性因数。
7.根据权利要求6所述的角磨机的控制系统，其特征在于，所述优化关联单元，用于：以如下关联公式对所述优化后打磨片掩码语义理解特征向量和所述优化后人员掩码语义理解特征向量进行关联编码以得到所述分类特征矩阵；
其中，所述关联公式为：
其中，Va表示所述优化后打磨片掩码语义理解特征向量，表示所述优化后打磨片掩码语义理解特征向量的转置向量，Vc表示所述优化后人员掩码语义理解特征向量，M1表示所述分类特征矩阵，/>表示矩阵相乘。
8.根据权利要求7所述的角磨机的控制系统，其特征在于，所述打磨控制模块，包括：
矩阵展开单元，用于将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；
全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
9.一种角磨机的控制方法，其特征在于，包括：
获取由摄像头采集的打磨片周边监控图像；
将所述打磨片周边监控图像通过人员目标检测网络和打磨片目标检测网络以得到人员目标对象感兴趣区域和打磨片目标对象感兴趣区域；
基于所述人员目标对象感兴趣区域和所述打磨片目标对象感兴趣区域在所述打磨片周边监控图像中的位置分别施加掩码以得到打磨片掩码图像和人员掩码图像；
将所述打磨片掩码图像和所述人员掩码图像分别通过ViT模型以得到打磨片掩码语义理解特征向量和人员掩码语义理解特征向量；
对所述打磨片掩码语义理解特征向量和所述人员掩码语义理解特征向量进行关联编码以得到分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否紧急停止打磨。
10.根据权利要求9所述的角磨机的控制方法，其特征在于，所述人员目标检测网络和所述打磨片目标检测网络都为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310492035.0A CN116475905B (zh) | 2023-05-05 | 2023-05-05 | 角磨机的控制系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310492035.0A CN116475905B (zh) | 2023-05-05 | 2023-05-05 | 角磨机的控制系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116475905A true CN116475905A (zh) | 2023-07-25 |
| CN116475905B CN116475905B (zh) | 2024-01-09 |
Family
ID=87221288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310492035.0A Active CN116475905B (zh) | 2023-05-05 | 2023-05-05 | 角磨机的控制系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116475905B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117066313A (zh) * | 2023-08-11 | 2023-11-17 | 山东天衢铝业有限公司 | 边框铝材生产线的自动控制系统及其方法 |
| CN117326557A (zh) * | 2023-09-28 | 2024-01-02 | 连云港市沃鑫高新材料有限公司 | 一种反应烧结陶瓷结构件用碳化硅高纯微粉制备方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018202618A1 (de) * | 2018-02-21 | 2019-08-22 | Homag Bohrsysteme Gmbh | Schleifvorrichtung sowie Verfahren zur Erfassung eines Zustands eines durch eine Schleifvorrichtung bearbeiteten Werkstücks |
| CN110443161A (zh) * | 2019-07-19 | 2019-11-12 | 宁波工程学院 | 一种面向银行场景下基于人工智能的监测方法 |
| WO2019223463A1 (zh) * | 2018-05-22 | 2019-11-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| US20200331146A1 (en) * | 2017-02-07 | 2020-10-22 | Clara Vu | Dynamic, interactive signaling of safety-related conditions in a monitored environment |
| DE102020000581A1 (de) * | 2020-01-27 | 2021-07-29 | Jan Nabatian | Vorrichtung und Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern |
| CN113681469A (zh) * | 2021-10-22 | 2021-11-23 | 南通豪派金属制品有限公司 | 一种抛光设备的智能化控制方法及系统 |
| CN113705590A (zh) * | 2021-10-28 | 2021-11-26 | 江苏南通元辰钢结构制造有限公司 | 基于人工智能的钢结构智能打磨控制方法 |
| CN114005154A (zh) * | 2021-06-23 | 2022-02-01 | 中山大学 | 一种基于ViT和StarGAN的驾驶员表情识别方法 |
| CN114800229A (zh) * | 2022-06-27 | 2022-07-29 | 江苏中清光伏科技有限公司 | 双面双玻表面抛光装置及其抛光方法 |
| CN115256059A (zh) * | 2022-08-01 | 2022-11-01 | 长鑫存储技术有限公司 | 一种磨片装置控制方法、系统及研磨抛光机 |
| US20230001448A1 (en) * | 2019-11-27 | 2023-01-05 | 3M Innovative Properties Company | Robotic repair control systems and methods |
| CN115861685A (zh) * | 2022-11-16 | 2023-03-28 | 华能伊敏煤电有限责任公司 | 基于图像识别的自动对中控制系统及其方法 |
-
2023
- 2023-05-05 CN CN202310492035.0A patent/CN116475905B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200331146A1 (en) * | 2017-02-07 | 2020-10-22 | Clara Vu | Dynamic, interactive signaling of safety-related conditions in a monitored environment |
| DE102018202618A1 (de) * | 2018-02-21 | 2019-08-22 | Homag Bohrsysteme Gmbh | Schleifvorrichtung sowie Verfahren zur Erfassung eines Zustands eines durch eine Schleifvorrichtung bearbeiteten Werkstücks |
| WO2019223463A1 (zh) * | 2018-05-22 | 2019-11-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| CN110443161A (zh) * | 2019-07-19 | 2019-11-12 | 宁波工程学院 | 一种面向银行场景下基于人工智能的监测方法 |
| US20230001448A1 (en) * | 2019-11-27 | 2023-01-05 | 3M Innovative Properties Company | Robotic repair control systems and methods |
| DE102020000581A1 (de) * | 2020-01-27 | 2021-07-29 | Jan Nabatian | Vorrichtung und Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern |
| CN114005154A (zh) * | 2021-06-23 | 2022-02-01 | 中山大学 | 一种基于ViT和StarGAN的驾驶员表情识别方法 |
| CN113681469A (zh) * | 2021-10-22 | 2021-11-23 | 南通豪派金属制品有限公司 | 一种抛光设备的智能化控制方法及系统 |
| CN113705590A (zh) * | 2021-10-28 | 2021-11-26 | 江苏南通元辰钢结构制造有限公司 | 基于人工智能的钢结构智能打磨控制方法 |
| CN114800229A (zh) * | 2022-06-27 | 2022-07-29 | 江苏中清光伏科技有限公司 | 双面双玻表面抛光装置及其抛光方法 |
| CN115256059A (zh) * | 2022-08-01 | 2022-11-01 | 长鑫存储技术有限公司 | 一种磨片装置控制方法、系统及研磨抛光机 |
| CN115861685A (zh) * | 2022-11-16 | 2023-03-28 | 华能伊敏煤电有限责任公司 | 基于图像识别的自动对中控制系统及其方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张鸿;伍萍;: "基于线性解码和深度回归预测的图像分类算法", 计算机应用与软件, no. 11, pages 130 - 133 * |
| 徐琳;张明;: "基于特征融合的行人检测技术", 计算机系统应用, no. 10, pages 238 - 242 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117066313A (zh) * | 2023-08-11 | 2023-11-17 | 山东天衢铝业有限公司 | 边框铝材生产线的自动控制系统及其方法 |
| CN117066313B (zh) * | 2023-08-11 | 2024-03-15 | 山东天衢铝业有限公司 | 边框铝材生产线的自动控制系统及其方法 |
| CN117326557A (zh) * | 2023-09-28 | 2024-01-02 | 连云港市沃鑫高新材料有限公司 | 一种反应烧结陶瓷结构件用碳化硅高纯微粉制备方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116475905B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116475905B (zh) | 角磨机的控制系统及其方法 | |
| CN110532884B (zh) | 行人重识别方法、装置及计算机可读存储介质 | |
| CN116168352B (zh) | 基于图像处理的电网障碍物识别处理方法及系统 | |
| CN107808157B (zh) | 一种雷管编码定位及识别的方法及装置 | |
| CN109087667B (zh) | 语音流利度识别方法、装置、计算机设备及可读存储介质 | |
| CN113791926A (zh) | 智能告警分析方法、装置、设备及存储介质 | |
| CN111160096A (zh) | 禽蛋异常的识别方法、装置及系统、存储介质、电子装置 | |
| CN111652046A (zh) | 基于深度学习的安全穿戴检测方法、设备及系统 | |
| CN116204266A (zh) | 远程协助的信息创建运维系统及其方法 | |
| CN112148997B (zh) | 一种用于灾害事件检测的多模态对抗模型的训练方法和装置 | |
| CN116844217B (zh) | 用于生成人脸数据的图像处理系统及方法 | |
| CN116245513A (zh) | 基于规则库的自动化运维系统及其方法 | |
| CN113177449A (zh) | 人脸识别的方法、装置、计算机设备及存储介质 | |
| CN116403253A (zh) | 基于卷积神经网络的人脸识别监控管理系统及其方法 | |
| CN114187522A (zh) | 一种基于detr模型的黄河流域坝岸险情检测方法 | |
| CN116089648A (zh) | 基于人工智能的档案管理系统及方法 | |
| CN116502899B (zh) | 基于人工智能的风险评级模型生成方法、装置及存储介质 | |
| CN117253191A (zh) | 一种基于detr模型的安全帽佩戴检测方法 | |
| CN117422711A (zh) | 一种海洋涡旋高光谱变化检测方法、装置、设备及介质 | |
| CN115953394B (zh) | 基于目标分割的海洋中尺度涡检测方法及系统 | |
| CN116663499A (zh) | 智能化工业数据处理的方法及系统 | |
| CN116596581A (zh) | Erp管理系统及其方法 | |
| CN116310474A (zh) | 端到端关系识别方法、模型训练方法、装置、设备及介质 | |
| CN115130473A (zh) | 关键信息抽取方法、模型训练方法、相关装置及电子设备 | |
| CN116611057B (zh) | 数据安全检测方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |