CN116954113B - 智能机器人驱动传感智能控制系统及其方法 - Google Patents
智能机器人驱动传感智能控制系统及其方法 Download PDFInfo
- Publication number
- CN116954113B CN116954113B CN202310656914.2A CN202310656914A CN116954113B CN 116954113 B CN116954113 B CN 116954113B CN 202310656914 A CN202310656914 A CN 202310656914A CN 116954113 B CN116954113 B CN 116954113B
- Authority
- CN
- China
- Prior art keywords
- feature
- cargo state
- cargo
- state
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000013598 vector Substances 0.000 claims description 136
- 239000011159 matrix material Substances 0.000 claims description 95
- 238000000354 decomposition reaction Methods 0.000 claims description 49
- 238000005457 optimization Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 36
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 230000007246 mechanism Effects 0.000 claims description 32
- 238000009826 distribution Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 230000002146 bilateral effect Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 11
- 230000001953 sensory effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 2
- 230000002159 abnormal effect Effects 0.000 abstract description 14
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003930 cognitive ability Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/25—Pc structure of the system
- G05B2219/25257—Microcontroller
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种智能机器人驱动传感智能控制系统及其方法，其获取智能机器人的摄像头采集的货物状态图像；采用基于深度学习的人工智能技术，进行所述货物状态图像中关于货物的摆放状态全局隐含特征的充分表达，以此来准确地判断货物摆放状态，从而避免因摆放状态异常而导致的物流延误或损失，提高仓库物流管理的效率和准确性。
Description
技术领域
本发明涉及智能化控制技术领域，尤其涉及一种智能机器人驱动传感智能控制系统及其方法。
背景技术
随着工业自动化水平的不断提高，物流业务的自动化处理也日益普及。然而，在现有的仓库物流系统中，通常需要通过人工对货物进行处理和分类，并且货物的摆放位置也需要人工进行检查。这种方式不仅需要耗费大量的时间和人力资源，效率较低，而且容易受到人为因素的影响，导致误判或者漏判，造成物流的延误或损失。
因此，期望一种优化的智能机器人驱动传感智能控制系统。
发明内容
本发明实施例提供一种智能机器人驱动传感智能控制系统及其方法，其获取智能机器人的摄像头采集的货物状态图像；采用基于深度学习的人工智能技术，进行所述货物状态图像中关于货物的摆放状态全局隐含特征的充分表达，以此来准确地判断货物摆放状态，从而避免因摆放状态异常而导致的物流延误或损失，提高仓库物流管理的效率和准确性。
本发明实施例还提供了一种智能机器人驱动传感智能控制系统，其包括：图像采集模块，用于获取智能机器人的摄像头采集的货物状态图像；图像增强模块，用于对所述货物状态图像进行图像增强以得到增强货物状态图像；空间特征增强模块，用于将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型以得到货物状态特征矩阵；矩阵切分模块，用于对所述货物状态特征矩阵进行特征矩阵切分以得到多个货物状态子特征矩阵；特征优化模块，用于对所述多个货物状态子特征矩阵进行特征分布优化以得到多个优化后货物状态子特征矩阵；全局特征感知模块，用于将所述多个优化后货物状态子特征矩阵通过包含嵌入层的全局特征感知器以得到货物状态全局特征向量；以及
货物摆放状态检测模块，用于将所述货物状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示货物的摆放状态是否正常。
本发明实施例中，所述图像增强模块，用于：对所述货物状态图像进行双边滤波处理以得到所述增强货物状态图像。
本发明实施例中，所述空间特征增强模块，用于：使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述货物状态特征矩阵阵。
本发明实施例中，所述特征优化模块，包括：优化因数计算单元，用于计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及，加权优化单元，用于以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个货物状态子特征矩阵进行加权优化以得到多个优化后货物状态子特征矩阵。
本发明实施例中，所述优化因数计算单元，用于：以如下优化公式计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；其中，所述优化公式为：，其中，/>是第/>个所述货物状态子特征矩阵的第/>个行向量或者列向量，/>表示/>函数，/>表示/>函数，表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
本发明实施例中，所述全局特征感知模块，包括：嵌入化单元，用于使用所述包含嵌入层的全局特征感知器的嵌入层对所述多个优化后货物状态子特征矩阵中的各个优化后货物状态子特征矩阵进行向量嵌入化以得到货物状态嵌入向量的序列；以及，转换编码单元，用于将所述货物状态嵌入向量的序列输入所述包含嵌入层的全局特征感知器的转换器以得到所述货物状态全局特征向量。
本发明实施例中，所述转换编码单元，包括：向量构造子单元，用于将所述货物状态嵌入向量的序列进行一维排列以得到货物状态全局特征向量；自注意子单元，用于计算所述货物状态全局特征向量与所述货物状态嵌入向量的序列中各个货物状态嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述货物状态嵌入向量的序列中各个货物状态嵌入向量进行加权以得到所述货物状态全局特征向量。
本发明实施例中，所述货物摆放状态检测模块，包括：全连接编码单元，用于使用所述分类器的多个全连接层对所述货物状态全局特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
本发明实施例还提供了一种智能机器人驱动传感智能控制方法，其包括：获取智能机器人的摄像头采集的货物状态图像；对所述货物状态图像进行图像增强以得到增强货物状态图像；将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型以得到货物状态特征矩阵；对所述货物状态特征矩阵进行特征矩阵切分以得到多个货物状态子特征矩阵；对所述多个货物状态子特征矩阵进行特征分布优化以得到多个优化后货物状态子特征矩阵；将所述多个优化后货物状态子特征矩阵通过包含嵌入层的全局特征感知器以得到货物状态全局特征向量；以及
将所述货物状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示货物的摆放状态是否正常。
本发明实施例中，对所述货物状态图像进行图像增强以得到增强货物状态图像，包括：对所述货物状态图像进行双边滤波处理以得到所述增强货物状态图像。
本发明实施例中，智能机器人驱动传感智能控制系统及其方法，其获取智能机器人的摄像头采集的货物状态图像；采用基于深度学习的人工智能技术，进行所述货物状态图像中关于货物的摆放状态全局隐含特征的充分表达，以此来准确地判断货物摆放状态，从而避免因摆放状态异常而导致的物流延误或损失，提高仓库物流管理的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本发明实施例中提供的一种智能机器人驱动传感智能控制系统的应用场景图。
图2为本发明实施例中提供的一种智能机器人驱动传感智能控制系统的框图。
图3为本发明实施例中提供的一种智能机器人驱动传感智能控制系统中所述特征优化模块的框图。
图4为本发明实施例中提供的一种智能机器人驱动传感智能控制系统中所述全局特征感知模块的框图。
图5为本发明实施例中提供的一种智能机器人驱动传感智能控制系统中所述转换编码单元的框图。
图6为本发明实施例中提供的一种智能机器人驱动传感智能控制系统中所述货物摆放状态检测模块的框图。
图7为本发明实施例中提供的一种智能机器人驱动传感智能控制方法的流程图。
图8为本发明实施例中提供的一种智能机器人驱动传感智能控制方法的系统架构的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
如上所述，现有的仓库物流系统中，通常需要通过人工对货物进行处理和分类，并且货物的摆放位置也需要人工进行检查。这种方式不仅需要耗费大量的时间和人力资源，效率较低，而且容易受到人为因素的影响，导致误判或者漏判，造成物流的延误或损失。因此，期望一种优化的智能机器人驱动传感智能控制系统。
相应地，考虑到在实际仓库物流管理过程中，为了准确地判断货物摆放状态，从而避免因摆放状态异常而导致的物流延误或损失，在本发明的技术方案中，期望通过智能机器人的摄像头采集货物的状态图像，并基于机器视觉来分析货物的摆放状态是否正常。但是，由于所述货物状态图像中存在有大量的无用干扰信息，导致图像中关于货物的摆放状态的细节特征难以准确地进行捕捉。并且，传统的图像分析方法往往只考虑局部特征，而没有全局认知能力，容易受到光线、噪音等环境因素影响。因此，在此过程中，难点在于如何进行所述货物状态图像中关于货物的摆放状态全局隐含特征的充分表达，以此来准确地判断货物摆放状态，从而避免因摆放状态异常而导致的物流延误或损失，提高仓库物流管理的效率和准确性。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述货物状态图像中关于货物的摆放状态全局隐含特征信息提供了新的解决思路和方案。
具体地，在本发明的技术方案中，首先，获取智能机器人的摄像头采集的货物状态图像。接着，考虑到由于所述货物状态图像在采集的过程中，可能会存在大量的噪声干扰，导致图像中关于货物的摆放细节特征变得模糊，影响对于货物摆放状态的检测精准度，因此，在特征提取前需要对所述货物状态图像进行图像增强处理。特别地，可以对于所述货物状态图像进行双边滤波处理以得到增强货物状态图像。应可以理解，双边滤波是一种有效的非线性滤波方法，它能够同时考虑空间域信息和灰度相似性，对于边缘保存有很好的效果。因此，在对所述货物状态图像进行图像增强时，期望使用双边滤波来去除图像噪声和增强图像的细节。值得一提的是，双边滤波不仅可以去除噪声，还在高斯滤波的基础上，多了一个基于空间域分布的高斯滤波函数，进而有效地解决了距离较远的像素影响边缘像素的问题，达到保护边缘去除噪声的目的。
然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述增强货物状态图像的特征提取，特别地，考虑到在进行所述货物的摆放状态检测时，应更加关注于空间位置上关于货物的摆放状态特征信息而忽略与货物的摆放状态检测无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本发明的技术方案中，将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取出所述增强货物状态图像中聚焦于空间上的关于所述货物的摆放状态隐含特征分布信息，从而得到货物状态特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于货物的摆放状态特征信息。
进一步地，还考虑到由于所述使用空间注意力机制的卷积神经网络模型虽然能够提取出聚焦于空间位置上的关于货物的摆放状态特征信息，但是由于卷积运算的固有局限性，纯CNN的方法仅能够捕捉到局部隐含关联特征，其感受野有限，很难学习明确的全局和远程语义信息交互。因此，为了能够捕捉到所述增强货物状态图像中基于全局的关于货物的摆放状态隐含特征分布信息，在本发明的技术方案中，进一步对所述货物状态特征矩阵进行特征矩阵切分以得到多个货物状态子特征矩阵后，将所述多个货物状态子特征矩阵通过包含嵌入层的全局特征感知器中进行编码以得到货物状态全局特征向量。特别地，这里，所述包含嵌入层的全局特征感知器使用上下文编码器来进行编码，以此来提取出所述增强货物状态图像中的各个局部区域特征的基于全局的关于货物摆放状态的隐含关联特征信息，从而得到具有全局感受野的所述货物状态全局特征向量。
接着，进一步再将所述货物状态全局特征向量作为分类特征向量通过分类器中进行分类处理，以得到用于表示货物的摆放状态是否正常的分类结果。也就是，在本发明的技术方案中，所述分类器的标签包括货物的摆放状态正常(第一标签)，以及，货物的摆放状态异常(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“货物的摆放状态是否正常”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2 之和为一。因此，货物的摆放状态是否正常的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“货物的摆放状态是否正常”的语言文本意义。应可以理解，在本发明的技术方案中，所述分类器的分类标签为货物的摆放状态是否正常的检测评估标签，因此，在得到所述分类结果后，可基于所述分类结果来进行货物的摆放状态是否正常的判断，从而避免因摆放状态异常而导致的物流延误或损失。
特别地，在本发明的技术方案中，在将所述多个货物状态子特征矩阵通过包含嵌入层的全局特征感知器得到所述货物状态全局特征向量时，包含嵌入层的全局特征感知器是对所述多个货物状态子特征矩阵表达的所述增强货物状态图像的各个空间注意力强化局部特征分布进行上下文关联编码。但是，考虑到空间注意力机制会加大所述货物状态特征矩阵的各个局部的特征分布的差异，导致从所述多个货物状态子特征矩阵通过包含嵌入层的全局特征感知器得到的多个上下文货物状态子特征向量之间的高维特征流形的流形几何一致性差，这会提升所述多个上下文货物状态子特征向量级联得到的所述货物状态全局特征向量通过分类器进行分类回归时的收敛难度，也就是，会降低训练速度和收敛到的分类结果的准确性。
因此，本发明的申请人分别计算所述多个货物状态子特征矩阵的每个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数，表示为：，其中，/>是每个货物状态子特征矩阵/>的第/>个行向量或者列向量，/>表示将各个向量级联，且/>表示向量的二范数的平方。
具体地，所述基于凸分解的特征几何度量的逐片近似因数可以通过的平滑最大函数来定义每个特征矩阵的高维特征流形的局部几何形状间的符号化距离度量，以基于高维特征流形的凸多面体（convex polytope）分解来获得每个凸多面体对象的可微的凸指示符（convex indicator），并进而以/>函数确定用于表达高维特征流形的可学习的逐片凸分解的超平面距离参数，以近似地度量特征几何。这样，通过以所述基于凸分解的特征几何度量的逐片近似因数对各个上下文货物状态子特征向量进行加权，就可以提升各个上下文货物状态子特征向量的高维特征流形的流形几何一致性，从而提升所述货物状态全局特征向量通过分类器进行分类回归时的收敛难度，以改进训练速度和收敛到的分类结果的准确性。这样，能够准确地判断货物摆放状态，从而避免因摆放状态异常而导致的物流延误或损失，以提高仓库物流管理的效率和准确性。
图1为本发明实施例中提供的一种智能机器人驱动传感智能控制系统的应用场景图。如图1所示，在该应用场景中，首先，获取智能机器人的摄像头采集的货物状态图像(例如，如图1中所示意的C)；然后，将获取的货物状态图像输入至部署有智能机器人驱动传感智能控制算法的服务器(例如，如图1中所示意的S)中，其中所述服务器能够基于智能机器人驱动传感智能控制算法对所述货物状态图像进行处理，以生成用于表示货物的摆放状态是否正常的分类结果。
在介绍了本发明的基本原理之后，下面将参考附图来具体介绍本发明的各种非限制性实施例。
在本发明的一个实施例中，图2为本发明实施例中提供的一种智能机器人驱动传感智能控制系统的框图。如图2所示，根据本发明实施例的智能机器人驱动传感智能控制系统100，包括：图像采集模块110，用于获取智能机器人的摄像头采集的货物状态图像；图像增强模块120，用于对所述货物状态图像进行图像增强以得到增强货物状态图像；空间特征增强模块130，用于将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型以得到货物状态特征矩阵；矩阵切分模块140，用于对所述货物状态特征矩阵进行特征矩阵切分以得到多个货物状态子特征矩阵；特征优化模块150，用于对所述多个货物状态子特征矩阵进行特征分布优化以得到多个优化后货物状态子特征矩阵；全局特征感知模块160，用于将所述多个优化后货物状态子特征矩阵通过包含嵌入层的全局特征感知器以得到货物状态全局特征向量；以及，货物摆放状态检测模块170，用于将所述货物状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示货物的摆放状态是否正常。
具体地，在本发明实施例中，所述图像采集模块110，用于获取智能机器人的摄像头采集的货物状态图像。如上所述，现有的仓库物流系统中，通常需要通过人工对货物进行处理和分类，并且货物的摆放位置也需要人工进行检查。这种方式不仅需要耗费大量的时间和人力资源，效率较低，而且容易受到人为因素的影响，导致误判或者漏判，造成物流的延误或损失。因此，期望一种优化的智能机器人驱动传感智能控制系统。
相应地，考虑到在实际仓库物流管理过程中，为了准确地判断货物摆放状态，从而避免因摆放状态异常而导致的物流延误或损失，在本发明的技术方案中，期望通过智能机器人的摄像头采集货物的状态图像，并基于机器视觉来分析货物的摆放状态是否正常。但是，由于所述货物状态图像中存在有大量的无用干扰信息，导致图像中关于货物的摆放状态的细节特征难以准确地进行捕捉。并且，传统的图像分析方法往往只考虑局部特征，而没有全局认知能力，容易受到光线、噪音等环境因素影响。因此，在此过程中，难点在于如何进行所述货物状态图像中关于货物的摆放状态全局隐含特征的充分表达，以此来准确地判断货物摆放状态，从而避免因摆放状态异常而导致的物流延误或损失，提高仓库物流管理的效率和准确性。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述货物状态图像中关于货物的摆放状态全局隐含特征信息提供了新的解决思路和方案。
具体地，在本发明的技术方案中，首先，获取智能机器人的摄像头采集的货物状态图像。
具体地，在本发明实施例中，所述图像增强模块120，用于对所述货物状态图像进行图像增强以得到增强货物状态图像。接着，考虑到由于所述货物状态图像在采集的过程中，可能会存在大量的噪声干扰，导致图像中关于货物的摆放细节特征变得模糊，影响对于货物摆放状态的检测精准度，因此，在特征提取前需要对所述货物状态图像进行图像增强处理。特别地，可以对于所述货物状态图像进行双边滤波处理以得到增强货物状态图像。
应可以理解，双边滤波是一种有效的非线性滤波方法，它能够同时考虑空间域信息和灰度相似性，对于边缘保存有很好的效果。因此，在对所述货物状态图像进行图像增强时，期望使用双边滤波来去除图像噪声和增强图像的细节。值得一提的是，双边滤波不仅可以去除噪声，还在高斯滤波的基础上，多了一个基于空间域分布的高斯滤波函数，进而有效地解决了距离较远的像素影响边缘像素的问题，达到保护边缘去除噪声的目的。
其中，所述图像增强模块120，用于：对所述货物状态图像进行双边滤波处理以得到所述增强货物状态图像。
具体地，在本发明实施例中，所述空间特征增强模块130，用于将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型以得到货物状态特征矩阵。然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述增强货物状态图像的特征提取，特别地，考虑到在进行所述货物的摆放状态检测时，应更加关注于空间位置上关于货物的摆放状态特征信息而忽略与货物的摆放状态检测无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。
因此，在本发明的技术方案中，将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取出所述增强货物状态图像中聚焦于空间上的关于所述货物的摆放状态隐含特征分布信息，从而得到货物状态特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于货物的摆放状态特征信息。
其中，所述空间特征增强模块130，用于：使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述货物状态特征矩阵阵。
注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，注意力机制通过神经网络的操作生成一个掩码mask, mask上的值的权重。 一般来说，空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。
具体地，在本发明实施例中，所述矩阵切分模块140，用于对所述货物状态特征矩阵进行特征矩阵切分以得到多个货物状态子特征矩阵。进一步地，还考虑到由于所述使用空间注意力机制的卷积神经网络模型虽然能够提取出聚焦于空间位置上的关于货物的摆放状态特征信息，但是由于卷积运算的固有局限性，纯CNN的方法仅能够捕捉到局部隐含关联特征，其感受野有限，很难学习明确的全局和远程语义信息交互。因此，为了能够捕捉到所述增强货物状态图像中基于全局的关于货物的摆放状态隐含特征分布信息，在本发明的技术方案中，进一步对所述货物状态特征矩阵进行特征矩阵切分以得到多个货物状态子特征矩阵
具体地，在本发明实施例中，所述特征优化模块150，用于对所述多个货物状态子特征矩阵进行特征分布优化以得到多个优化后货物状态子特征矩阵。图3为本发明实施例中提供的一种智能机器人驱动传感智能控制系统中所述特征优化模块的框图，如图3所示，所述特征优化模块150，包括：优化因数计算单元151，用于计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及，加权优化单元152，用于以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个货物状态子特征矩阵进行加权优化以得到多个优化后货物状态子特征矩阵。
特别地，在本发明的技术方案中，在将所述多个货物状态子特征矩阵通过包含嵌入层的全局特征感知器得到所述货物状态全局特征向量时，包含嵌入层的全局特征感知器是对所述多个货物状态子特征矩阵表达的所述增强货物状态图像的各个空间注意力强化局部特征分布进行上下文关联编码。但是，考虑到空间注意力机制会加大所述货物状态特征矩阵的各个局部的特征分布的差异，导致从所述多个货物状态子特征矩阵通过包含嵌入层的全局特征感知器得到的多个上下文货物状态子特征向量之间的高维特征流形的流形几何一致性差，这会提升所述多个上下文货物状态子特征向量级联得到的所述货物状态全局特征向量通过分类器进行分类回归时的收敛难度，也就是，会降低训练速度和收敛到的分类结果的准确性。
因此，本发明的申请人分别计算所述多个货物状态子特征矩阵的每个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数，表示为：以如下优化公式计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；其中，所述优化公式为：，其中，/>是第/>个所述货物状态子特征矩阵的第/>个行向量或者列向量，/>表示/>函数，/>表示/>函数，表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
具体地，所述基于凸分解的特征几何度量的逐片近似因数可以通过的平滑最大函数来定义每个特征矩阵的高维特征流形的局部几何形状间的符号化距离度量，以基于高维特征流形的凸多面体（convex polytope）分解来获得每个凸多面体对象的可微的凸指示符（convex indicator），并进而以/>函数确定用于表达高维特征流形的可学习的逐片凸分解的超平面距离参数，以近似地度量特征几何。这样，通过以所述基于凸分解的特征几何度量的逐片近似因数对各个上下文货物状态子特征向量进行加权，就可以提升各个上下文货物状态子特征向量的高维特征流形的流形几何一致性，从而提升所述货物状态全局特征向量通过分类器进行分类回归时的收敛难度，以改进训练速度和收敛到的分类结果的准确性。这样，能够准确地判断货物摆放状态，从而避免因摆放状态异常而导致的物流延误或损失，以提高仓库物流管理的效率和准确性。
具体地，在本发明实施例中，所述全局特征感知模块160，用于将所述多个优化后货物状态子特征矩阵通过包含嵌入层的全局特征感知器以得到货物状态全局特征向量。然后，将所述多个优化后货物状态子特征矩阵通过包含嵌入层的全局特征感知器中进行编码以得到货物状态全局特征向量。特别地，这里，所述包含嵌入层的全局特征感知器使用上下文编码器来进行编码，以此来提取出所述增强货物状态图像中的各个局部区域特征的基于全局的关于货物摆放状态的隐含关联特征信息，从而得到具有全局感受野的所述货物状态全局特征向量。
图4为本发明实施例中提供的一种智能机器人驱动传感智能控制系统中所述全局特征感知模块的框图，如图4所示，所述全局特征感知模块160，包括：嵌入化单元161，用于使用所述包含嵌入层的全局特征感知器的嵌入层对所述多个优化后货物状态子特征矩阵中的各个优化后货物状态子特征矩阵进行向量嵌入化以得到货物状态嵌入向量的序列；以及，转换编码单元162，用于将所述货物状态嵌入向量的序列输入所述包含嵌入层的全局特征感知器的转换器以得到所述货物状态全局特征向量。
图5为本发明实施例中提供的一种智能机器人驱动传感智能控制系统中所述转换编码单元的框图，如图5所示，所述转换编码单元162，包括：向量构造子单元1621，用于将所述货物状态嵌入向量的序列进行一维排列以得到货物状态全局特征向量；自注意子单元1622，用于计算所述货物状态全局特征向量与所述货物状态嵌入向量的序列中各个货物状态嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化子单元1623，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算子单元1624，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，注意力施加子单元1625，用于分别以所述多个概率值中各个概率值作为权重对所述货物状态嵌入向量的序列中各个货物状态嵌入向量进行加权以得到所述货物状态全局特征向量。
在本发明的一个实施例中，所述全局特征感知器被实施为上下文编码器，其中，上下文编码器旨在挖掘得到词序列中上下文之间的隐藏模式，可选地，编码器包括：CNN(Convolutional Neural Network，卷积神经网络)、Recursive NN(RecursiveNeuralNetwork，递归神经网络)、语言模型(Language Model)等。基于CNN的方法对于局部特征有比较好的提取效果，但其对于句子中的长程依赖(Long-term Dependency)问题效果欠佳，因此基于Bi-LSTM(Long Short- Term Memory，长短期记忆网络)的编码器被广泛使用。Recursive NN把句子当作树状结构而非序列进行处理，从理论上而言具有更强的表示能力，但其存在样本标注难度大、深层易梯度消失、难以并行计算等弱点，因此在实际应用中使用 较少。Transformer是应用广泛的网络结构了，同时具有CNN和RNN的特性，对于全局特征有较好的提取效果，同时相较于RNN(RecurrentNeural Network，循环神经网络)在并行计算上具有一定优势。
具体地，在本发明实施例中，所述货物摆放状态检测模块170，用于将所述货物状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示货物的摆放状态是否正常。接着，进一步再将所述货物状态全局特征向量作为分类特征向量通过分类器中进行分类处理，以得到用于表示货物的摆放状态是否正常的分类结果。也就是，在本发明的技术方案中，所述分类器的标签包括货物的摆放状态正常(第一标签)，以及，货物的摆放状态异常(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。
值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“货物的摆放状态是否正常”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2 之和为一。因此，货物的摆放状态是否正常的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“货物的摆放状态是否正常”的语言文本意义。
应可以理解，在本发明的技术方案中，所述分类器的分类标签为货物的摆放状态是否正常的检测评估标签，因此，在得到所述分类结果后，可基于所述分类结果来进行货物的摆放状态是否正常的判断，从而避免因摆放状态异常而导致的物流延误或损失。
图6为本发明实施例中提供的一种智能机器人驱动传感智能控制系统中所述货物摆放状态检测模块的框图，如图6所示，所述货物摆放状态检测模块170，包括：全连接编码单元171，用于使用所述分类器的多个全连接层对所述货物状态全局特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元172，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本发明实施例的智能机器人驱动传感智能控制系统100被阐明，其获取智能机器人的摄像头采集的货物状态图像；采用基于深度学习的人工智能技术，进行所述货物状态图像中关于货物的摆放状态全局隐含特征的充分表达，以此来准确地判断货物摆放状态，从而避免因摆放状态异常而导致的物流延误或损失，提高仓库物流管理的效率和准确性。
如上所述，根据本发明实施例的智能机器人驱动传感智能控制系统100可以实现在各种终端设备中，例如用于智能机器人驱动传感智能控制的服务器等。在一个示例中，根据本发明实施例的智能机器人驱动传感智能控制系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该智能机器人驱动传感智能控制系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该智能机器人驱动传感智能控制系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该智能机器人驱动传感智能控制系统100与该终端设备也可以是分立的设备，并且该智能机器人驱动传感智能控制系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
在本发明的一个实施例中，图7为本发明实施例中提供的一种智能机器人驱动传感智能控制方法的流程图。如图7所示，根据本发明实施例的一种智能机器人驱动传感智能控制方法，其包括：210，获取智能机器人的摄像头采集的货物状态图像；220，对所述货物状态图像进行图像增强以得到增强货物状态图像；230，将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型以得到货物状态特征矩阵；240，对所述货物状态特征矩阵进行特征矩阵切分以得到多个货物状态子特征矩阵；250，对所述多个货物状态子特征矩阵进行特征分布优化以得到多个优化后货物状态子特征矩阵；260，将所述多个优化后货物状态子特征矩阵通过包含嵌入层的全局特征感知器以得到货物状态全局特征向量；以及，270，将所述货物状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示货物的摆放状态是否正常。
图8为本发明实施例中提供的一种智能机器人驱动传感智能控制方法的系统架构的示意图。如图8所示，在所述一种智能机器人驱动传感智能控制方法的系统架构中，首先，获取智能机器人的摄像头采集的货物状态图像；然后，对所述货物状态图像进行图像增强以得到增强货物状态图像；接着，将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型以得到货物状态特征矩阵；然后，对所述货物状态特征矩阵进行特征矩阵切分以得到多个货物状态子特征矩阵；接着，对所述多个货物状态子特征矩阵进行特征分布优化以得到多个优化后货物状态子特征矩阵；然后，将所述多个优化后货物状态子特征矩阵通过包含嵌入层的全局特征感知器以得到货物状态全局特征向量；以及，最后，将所述货物状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示货物的摆放状态是否正常。
在本发明的一个具体示例中，在上述一种智能机器人驱动传感智能控制方法中，对所述货物状态图像进行图像增强以得到增强货物状态图像，包括：对所述货物状态图像进行双边滤波处理以得到所述增强货物状态图像。
在本发明的一个具体示例中，在上述一种智能机器人驱动传感智能控制方法中，将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型以得到货物状态特征矩阵，包括：使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述货物状态特征矩阵阵。
在本发明的一个具体示例中，在上述一种智能机器人驱动传感智能控制方法中，对所述多个货物状态子特征矩阵进行特征分布优化以得到多个优化后货物状态子特征矩阵，包括：计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及，以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个货物状态子特征矩阵进行加权优化以得到多个优化后货物状态子特征矩阵。
在本发明的一个具体示例中，在上述一种智能机器人驱动传感智能控制方法中，计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数，包括：以如下优化公式计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；其中，所述优化公式为：，其中，/>是第/>个所述货物状态子特征矩阵的第/>个行向量或者列向量，/>表示/>函数，/>表示/>函数，表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
在本发明的一个具体示例中，在上述一种智能机器人驱动传感智能控制方法中，将所述多个优化后货物状态子特征矩阵通过包含嵌入层的全局特征感知器以得到货物状态全局特征向量，包括：使用所述包含嵌入层的全局特征感知器的嵌入层对所述多个优化后货物状态子特征矩阵中的各个优化后货物状态子特征矩阵进行向量嵌入化以得到货物状态嵌入向量的序列；以及，将所述货物状态嵌入向量的序列输入所述包含嵌入层的全局特征感知器的转换器以得到所述货物状态全局特征向量。
在本发明的一个具体示例中，在上述一种智能机器人驱动传感智能控制方法中，将所述货物状态嵌入向量的序列输入所述包含嵌入层的全局特征感知器的转换器以得到所述货物状态全局特征向量，包括：将所述货物状态嵌入向量的序列进行一维排列以得到货物状态全局特征向量；计算所述货物状态全局特征向量与所述货物状态嵌入向量的序列中各个货物状态嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述货物状态嵌入向量的序列中各个货物状态嵌入向量进行加权以得到所述货物状态全局特征向量。
在本发明的一个具体示例中，在上述一种智能机器人驱动传感智能控制方法中，将所述货物状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示货物的摆放状态是否正常，包括：使用所述分类器的多个全连接层对所述货物状态全局特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
本领域技术人员可以理解，上述一种智能机器人驱动传感智能控制方法中的各个步骤的具体操作已经在上面参考图1到图6的一种智能机器人驱动传感智能控制系统的描述中得到了详细介绍，并因此，将省略其重复描述。
本发明实施例还提供一种计算机设备，用以解决现有卷积神经网络中池化层直接对卷积层输出的卷积运算结果进行池化运算，导致数据缓存空间较大的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述方法实施例中任意一种可选或优选的基于卷积神经网络的图像处理方法。
本发明实施例还提供一种计算机可读存储介质，用以解决现有卷积神经网络中池化层直接对卷积层输出的卷积运算结果进行池化运算，导致数据缓存空间较大的技术问题，该计算机可读存储介质存储有执行上述方法实施例中任意一种可选或优选的基于卷积神经网络的图像处理方法的计算机程序。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种智能机器人驱动传感智能控制系统，其特征在于，包括：
图像采集模块，用于获取智能机器人的摄像头采集的货物状态图像；
图像增强模块，用于对所述货物状态图像进行图像增强以得到增强货物状态图像；
空间特征增强模块，用于将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型以得到货物状态特征矩阵；
矩阵切分模块，用于对所述货物状态特征矩阵进行特征矩阵切分以得到多个货物状态子特征矩阵；
特征优化模块，用于对所述多个货物状态子特征矩阵进行特征分布优化以得到多个优化后货物状态子特征矩阵；
全局特征感知模块，用于将所述多个优化后货物状态子特征矩阵通过包含嵌入层的全局特征感知器以得到货物状态全局特征向量；以及
货物摆放状态检测模块，用于将所述货物状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示货物的摆放状态是否正常；
其中，所述空间特征增强模块，用于：使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成卷积特征图；
对所述卷积特征图进行池化处理以生成池化特征图；
对所述池化特征图进行非线性激活以生成激活特征图；
计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；
计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及
计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述货物状态特征矩阵；
其中，所述特征优化模块，包括：
优化因数计算单元，用于计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及
加权优化单元，用于以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个货物状态子特征矩阵进行加权优化以得到多个优化后货物状态子特征矩阵；
其中，所述优化因数计算单元，用于：以如下优化公式计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；
其中，所述优化公式为：
，
其中，是第/>个所述货物状态子特征矩阵的第/>个行向量或者列向量，/>表示/>函数，/>表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
2.根据权利要求1所述的智能机器人驱动传感智能控制系统，其特征在于，所述图像增强模块，用于：对所述货物状态图像进行双边滤波处理以得到所述增强货物状态图像。
3.根据权利要求2所述的智能机器人驱动传感智能控制系统，其特征在于，所述全局特征感知模块，包括：
嵌入化单元，用于使用所述包含嵌入层的全局特征感知器的嵌入层对所述多个优化后货物状态子特征矩阵中的各个优化后货物状态子特征矩阵进行向量嵌入化以得到货物状态嵌入向量的序列；以及
转换编码单元，用于将所述货物状态嵌入向量的序列输入所述包含嵌入层的全局特征感知器的转换器以得到所述货物状态全局特征向量。
4.根据权利要求3所述的智能机器人驱动传感智能控制系统，其特征在于，所述转换编码单元，包括：
向量构造子单元，用于将所述货物状态嵌入向量的序列进行一维排列以得到货物状态全局特征向量；
自注意子单元，用于计算所述货物状态全局特征向量与所述货物状态嵌入向量的序列中各个货物状态嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；
标准化子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；
关注度计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及
注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述货物状态嵌入向量的序列中各个货物状态嵌入向量进行加权以得到所述货物状态全局特征向量。
5.根据权利要求4所述的智能机器人驱动传感智能控制系统，其特征在于，所述货物摆放状态检测模块，包括：
全连接编码单元，用于使用所述分类器的多个全连接层对所述货物状态全局特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
6.一种智能机器人驱动传感智能控制方法，其特征在于，包括：
获取智能机器人的摄像头采集的货物状态图像；
对所述货物状态图像进行图像增强以得到增强货物状态图像；
将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型以得到货物状态特征矩阵；
对所述货物状态特征矩阵进行特征矩阵切分以得到多个货物状态子特征矩阵；
对所述多个货物状态子特征矩阵进行特征分布优化以得到多个优化后货物状态子特征矩阵；
将所述多个优化后货物状态子特征矩阵通过包含嵌入层的全局特征感知器以得到货物状态全局特征向量；以及
将所述货物状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示货物的摆放状态是否正常；
其中，将所述增强货物状态图像通过使用空间注意力机制的卷积神经网络模型以得到货物状态特征矩阵，包括：使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成卷积特征图；
对所述卷积特征图进行池化处理以生成池化特征图；
对所述池化特征图进行非线性激活以生成激活特征图；
计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；
计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及
计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述货物状态特征矩阵；
其中，对所述多个货物状态子特征矩阵进行特征分布优化以得到多个优化后货物状态子特征矩阵，包括：
计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及
以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个货物状态子特征矩阵进行加权优化以得到多个优化后货物状态子特征矩阵；
其中，计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数，包括：以如下优化公式计算所述各个货物状态子特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；
其中，所述优化公式为：
，
其中，是第/>个所述货物状态子特征矩阵的第/>个行向量或者列向量，/>表示/>函数，/>表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
7.根据权利要求6所述的智能机器人驱动传感智能控制方法，其特征在于，对所述货物状态图像进行图像增强以得到增强货物状态图像，包括：对所述货物状态图像进行双边滤波处理以得到所述增强货物状态图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310656914.2A CN116954113B (zh) | 2023-06-05 | 2023-06-05 | 智能机器人驱动传感智能控制系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310656914.2A CN116954113B (zh) | 2023-06-05 | 2023-06-05 | 智能机器人驱动传感智能控制系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116954113A CN116954113A (zh) | 2023-10-27 |
| CN116954113B true CN116954113B (zh) | 2024-02-09 |
Family
ID=88448219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310656914.2A Active CN116954113B (zh) | 2023-06-05 | 2023-06-05 | 智能机器人驱动传感智能控制系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116954113B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117245672B (zh) * | 2023-11-20 | 2024-02-02 | 南昌工控机器人有限公司 | 摄像头支架模块化装配的智能运动控制系统及其方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018227491A1 (zh) * | 2017-06-15 | 2018-12-20 | 深圳大学 | 视频多目标模糊数据关联方法及装置 |
| CN109117781A (zh) * | 2018-08-07 | 2019-01-01 | 北京飞搜科技有限公司 | 多属性识别模型的建立方法、装置及多属性识别方法 |
| AU2020101581A4 (en) * | 2020-07-31 | 2020-09-17 | Ampavathi, Anusha MS | Lymph node metastases detection from ct images using deep learning |
| WO2021190296A1 (zh) * | 2020-03-27 | 2021-09-30 | 华为技术有限公司 | 一种动态手势识别方法及设备 |
| CN113837172A (zh) * | 2020-06-08 | 2021-12-24 | 同方威视科技江苏有限公司 | 货物图像局部区域处理方法、装置、设备及存储介质 |
| CN114519807A (zh) * | 2022-01-17 | 2022-05-20 | 天津大学 | 一种联合通道空间注意力的全局自注意力目标检测方法 |
| CN115392320A (zh) * | 2022-09-08 | 2022-11-25 | 江苏鑫鸿电气设备有限公司 | 具有防盗功能的变压器及其方法 |
| CN116089648A (zh) * | 2023-04-10 | 2023-05-09 | 云南远信科技有限公司 | 基于人工智能的档案管理系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070218439A1 (en) * | 2005-12-15 | 2007-09-20 | Posit Science Corporation | Cognitive training using visual searches |
-
2023
- 2023-06-05 CN CN202310656914.2A patent/CN116954113B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018227491A1 (zh) * | 2017-06-15 | 2018-12-20 | 深圳大学 | 视频多目标模糊数据关联方法及装置 |
| CN109117781A (zh) * | 2018-08-07 | 2019-01-01 | 北京飞搜科技有限公司 | 多属性识别模型的建立方法、装置及多属性识别方法 |
| WO2021190296A1 (zh) * | 2020-03-27 | 2021-09-30 | 华为技术有限公司 | 一种动态手势识别方法及设备 |
| CN113837172A (zh) * | 2020-06-08 | 2021-12-24 | 同方威视科技江苏有限公司 | 货物图像局部区域处理方法、装置、设备及存储介质 |
| AU2020101581A4 (en) * | 2020-07-31 | 2020-09-17 | Ampavathi, Anusha MS | Lymph node metastases detection from ct images using deep learning |
| CN114519807A (zh) * | 2022-01-17 | 2022-05-20 | 天津大学 | 一种联合通道空间注意力的全局自注意力目标检测方法 |
| CN115392320A (zh) * | 2022-09-08 | 2022-11-25 | 江苏鑫鸿电气设备有限公司 | 具有防盗功能的变压器及其方法 |
| CN116089648A (zh) * | 2023-04-10 | 2023-05-09 | 云南远信科技有限公司 | 基于人工智能的档案管理系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Kinect深度信息的手势识别研究;贺芳姿;《中国优秀硕士学位论文全文数据库》;I138-1271 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116954113A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112016543B (zh) | 一种文本识别网络、神经网络训练的方法以及相关设备 | |
| CN105631479B (zh) | 基于非平衡学习的深度卷积网络图像标注方法及装置 | |
| CN116245513B (zh) | 基于规则库的自动化运维系统及其方法 | |
| CN114818708B (zh) | 关键信息抽取方法、模型训练方法、相关装置及电子设备 | |
| CN116954113B (zh) | 智能机器人驱动传感智能控制系统及其方法 | |
| CN116152611B (zh) | 一种多级多尺度点云补全方法、系统、设备及存储介质 | |
| CN112560948B (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
| CN117197727B (zh) | 一种基于全局时空特征学习的行为检测方法与系统 | |
| CN114092931B (zh) | 场景文字识别方法、装置、电子设备及存储介质 | |
| CN116308754A (zh) | 一种银行信贷风险预警系统及其方法 | |
| CN116229584A (zh) | 一种人工智能领域的文本分割识别方法、系统、设备及介质 | |
| CN114913339A (zh) | 特征图提取模型的训练方法和装置 | |
| CN114266252A (zh) | 命名实体识别方法、装置、设备及存储介质 | |
| CN115909336A (zh) | 文本识别方法、装置、计算机设备和计算机可读存储介质 | |
| CN115091445B (zh) | 一种面向机械手抓取的物体纹理识别方法、装置和设备 | |
| CN115830711A (zh) | 基于深度学习的手语词汇识别方法、系统、设备及介质 | |
| CN111815658A (zh) | 一种图像识别方法及装置 | |
| CN115731588B (zh) | 模型处理方法及装置 | |
| CN116645566B (zh) | 基于全加法脉冲式Transformer的分类方法 | |
| US20240242365A1 (en) | Method and apparatus with image processing | |
| Hamid et al. | Convolution Neural Network Based Image Recognition | |
| CN116823797A (zh) | 珊瑚的生产监管系统及其方法 | |
| Tong et al. | A Hybrid Text Recognition Approach based on Involution Operators and Graph Convolution Neural Networks | |
| CN117935286A (zh) | 一种多粒度感知的弱监督文字识别方法与装置 | |
| CN112329701A (zh) | 一种用于低分辨率图像的人脸表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 1605, Building A, Qianhai Hongrongyuan Center, No. 5059 Tinghai Avenue, Nanshan Street, Qianhai Shenzhen Hong Kong Cooperation Zone, Shenzhen, Guangdong Province 518052 Patentee after: Shenzhen machine times Technology Co.,Ltd. Country or region after: China Address before: 518000 2807, building 8, Qianhai excellence Financial Center (phase I), unit 2, guiwan area, Nanshan street, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong Patentee before: Shenzhen machine times Technology Co.,Ltd. Country or region before: China |