CN110309779A - 装配场景中零件操作动作的监测方法、装置及电子设备 - Google Patents

Abstract

本发明揭示了一种装配场景中零件操作动作的监测方法、装置及电子设备，属于工业装配技术领域。所述方法包括：获取装配场景中采集的场景图像，确定当前装配场景；采用深度学习算法对所述场景图像进行零件操作动作的识别；将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常。上述装配场景中零件操作动作的监测方法、装置及电子设备能够实现对装配场景中零件操作动作的自动监测，相比通过操作人员进行人工监测，大大提高了核检效率及效果。

Description

装配场景中零件操作动作的监测方法、装置及电子设备

技术领域

本发明涉及工业装配技术领域，特别涉及一种装配场景中零件操作动作的监测方法、装置及电子设备。

背景技术

在工业装配中，因为工艺的复杂性、零部件的多样性等原因，装配线显得尤其重要。例如，发动机装配线是一个较复杂且精密的顺序装配流水线工艺过程，每个环节的控制都要具备较高的可靠性和灵敏性，才能保证装配的稳定性和连续性。

目前，装配场景中在对零件操作进行监测时，均是监测人员严格按照《零件操作任务》所列监测内容依次检查，以确定是否存在零件错装、漏装等问题。而由于设备监测结果与操作人员的操作能力高度相关，使监测效果严重依赖于操作人员，大大影响了核检效果，并且由于需要操作人员需要花费时间对每一设备人工操作，在监测设备较多时导致监测工作量大大增加，严重影响监测效率。

发明内容

为了解决相关技术中装配场景中零件操作动作的监测效果及监测效率不高的技术问题，本发明提供了一种装配场景中零件操作动作的监测方法、装置及电子设备。

第一方面，提供了一种装配场景中零件操作动作的监测方法，包括：

获取装配场景中采集的场景图像，确定当前装配场景；

采用深度学习算法对所述场景图像进行零件操作动作的识别；

将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常。

可选的，所述获取装配场景中采集的场景图像，确定当前装配场景的步骤包括：

获取布置于装配场景中的摄像头采集的场景图像；

采用预先构建的权重文件对所述场景图像进行图像识别，识别所述场景图像中的装配场景类型，并将所述装配场景类型确定为当前装配场景。

可选的，所述权重文件的构建方法包括：

采集各装配场景的样本图像；

对所述样本图像进行紧固件类型及位置坐标的标记，得到标记文件；

通过所述标记文件从所述样本图像中提取图像特征；

采用神经网络模型对所述图像特征进行训练，得到所述权重文件。

可选的，所述采用深度学习算法对所述场景图像进行零件操作动作的识别的步骤包括：

采用卷积神经网络算法提取所述场景图像中的人体特征；

对所述人体特征进行关联分析，确定相应的人体部位；

通过对所述人体部位的跟踪识别所述场景图像中零件操作动作。

可选的，所述将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常的步骤包括：

根据识别的所述零件操作动作确定所述零件操作动作对应的零件；

将所述零件操作动作与预设任务单中所述零件在所述当前装配场景中的零件操作任务进行对比，判断所述零件操作动作是否异常。

可选的，所述将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常的步骤之后，所述方法还包括：

当识别到所述零件操作动作为异常时，则进行报警提醒。

可选的，所述将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常的步骤之后，所述方法还包括：

通过与外部设备的通讯连接将所述零件操作动作的数据信息发送给所述外部设备；

将所述零件操作动作和/或符合预设任务单中相应的标准零件操作动作的数据信息显示在所述外部设备上，以对操作人员进行零件操作动作的指引。

可选的，所述零件操作动作包括零件抓取动作和/或零件投放动作。

第二方面，提供了一种装配场景中零件操作动作的监测装置，包括：

当前装配场景确定模块，用于获取装配场景中采集的场景图像，确定当前装配场景；

零件操作动作识别模块，用于采用深度学习算法对所述场景图像进行零件操作动作的识别；

异常判断模块，用于将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常。

第三方面，提供了一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

第四方面，提供了一种计算机可读性存储介质，用于存储程序，其特征在于，所述程序在被执行时使得电子设备执行如第一方面的方法。

通过本发明的实施例提供的技术方案能够得到以下有益效果：

装配场景中进行零件操作动作的监测时，在获取装配场景中采集的场景图像后，采用深度学习算法对场景图像进行零件操作动作的识别，将识别到的零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常进行比对，实现对装配场景中零件操作动作的自动监测，相比通过操作人员进行人工监测，大大提高了核检效率及效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，本发明并不受限制。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种装配场景中零件操作动作的监测方法流程图。

图2是根据图1对应实施例示出的装配场景中零件操作动作的监测方法中步骤S110的一种具体实现流程图。

图3是根据图1对应实施例示出的装配场景中零件操作动作的监测方法中步骤S120的一种具体实现流程图。

图4是根据图1对应实施例示出的装配场景中零件操作动作的监测方法中步骤S130的一种具体实现流程图。

图5是根据图1对应实施例示出的另一种装配场景中零件操作动作的监测方法的具体实现流程图。

图6是根据一示例性实施例示出的一种装配场景中零件操作动作的监测装置的框图。

图7是根据图6对应实施例示出的装配场景中零件操作动作的监测装置中当前装配场景确定模块110的一种框图。

图8是根据图6对应实施例示出的装配场景中零件操作动作的监测装置中零件操作动作识别模块120的一种框图。

图9是根据图6对应实施例示出的装配场景中零件操作动作的监测装置中异常判断模块130的一种框图。

图10是根据图6对应实施例示出的另一种装配场景中零件操作动作的监测装置的框图。

图11是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所记载的、本发明的一些方面相一致的系统和方法的例子。

图1是根据一示例性实施例示出的一种装配场景中零件操作动作的监测方法流程图，该方法应用于电脑、服务器等电子设备中，如图1所示，该装配场景中零件操作动作的监测方法可以包括以下步骤。

步骤S110，获取装配场景中采集的场景图像，确定当前装配场景。

场景图像是对将进行零件操作的装配场景所拍摄的图像。

场景图像可以是实时采集的图像；也可以是从预先采集的图像库中提取的图像；也可以是在视频采集存储后，从存储的视频中提取的图像帧；还可以是其它形式的图像。

具体的，如图2所示，步骤S110包括步骤S111、S112。

步骤S111，获取布置于装配场景中的摄像头采集的场景图像。

在本实施例中，摄像头布置于装配场景中，在摄像头对装配场景进行场景图像的采集时，电子设备通过与摄像头的通讯连接，接收摄像头传输的场景图像。

步骤S112，采用预先构建的权重文件对所述场景图像进行图像识别，识别所述场景图像中的装配场景类型，并将所述装配场景类型确定为当前装配场景。

权重文件是预先构建的对各类紧固件的图像特征进行表征的特征集合。

因此，采用预先构建的权重文件对所述场景图像进行图像识别，即可识别出场景图像中的装配场景类型。

采用预先构建的权重文件对所述目标图像进行图像识别时，可以采用各种神经网络算法进行图像识别。

可选的，权重文件的构建方法包括步骤S116、S117、S118。

步骤S116，采集各装配场景的样本图像。

需要说明的是，在进行装配场景类型的识别之前，需预先对各类装配场景进行大量样本图像的采集。

采集装配场景的样本图像时，可通过大数据获取网络中各种不同装配场景类型的场景图像。

步骤S117，对所述样本图像进行紧固件类型及位置坐标的标记，得到标记文件。

场景类型识别是基于深度学习完成的，深度学习的模型训练时，需要大量的带有标注的样本，人工标注是一件费时又费力的工作，本实施例将通过第三方开源工具LabelImg对样本图像进行标记。

对样本图像的标记即是对装配场景如紧固件所处部件或部件总成主体的标记，在每一副包含装配场景的图像中用四个顶点坐标将装配场景圈住，并将标记信息存入XML文件中，例如，格式如下：

<object>

<name>fastener A</name>

<bndbox>

<xmin>160</xmin>

<ymin>131</ymin>

<xmax>248</xmax>

<ymax>226</ymax>

</bndbox>

</object>

步骤S118，通过所述标记文件从所述样本图像中提取图像特征。

步骤S119，采用神经网络模型对所述图像特征进行训练，得到所述权重文件。

可选的，通过特征提取网络模型Darknet-53对大量样本图像提取图像特征，进而采用神经网络模型对提取的图像特征进行训练，得到所述权重文件

在对场景图像进行场景类型识别时，通过从场景图像中提取图像特征，比如13*13，然后将场景图像分成13*13个网格单元，接着如果某个对象的中心坐标落在哪个网格单元中，那么就由该网格单元来预测该对象。

也可以采用开源的深度学习框架YOLO-V3在GPU服务器上对场景图像的图像特征进行训练，训练结束后将输出的权重文件作为场景图像类型识别的输入参数。

步骤S120，采用深度学习算法对所述场景图像进行零件操作动作的识别。

可以理解的是，在将零件安装于装配场景中的设备上时，需先从料架零件框中抓取目标零件，进而再将目标零件投放至投料车零件框中。

零件操作动作包括零件抓取动作和/或零件投放动作。

可选的，在进行零件操作动作识别之前，预先录入各零件的料架零件框位置，通过图像识别，识别出料架零件框中的标签，进而确定目标零件的料架零件框位置，从而在操作时向操作人员提示该零件的料架零件框位置，以协助操作人员进行零件的装配。

需要说明的是，在采用深度学习算法分别对场景图像进行零件操作动作的识别之前，已预先构建有零件操作动作的样本图像训练库，该样本图像训练库是通过深度学习训练而生成的，并且包含各不同零件操作动作的图像。在获取场景图像后，再采用深度学习算法分别对所述场景图像进行零件操作动作识别，从而大大提高对零件操作动作的识别效率。

深度学习算法可以各种可用于图像识别的算法，例如可采用卷积神经网络算法进行图像识别，当然也可以采用其他深度学习算法对场景图像进行零件操作动作识别。

卷积神经网络是LeCun等人在1998年提出的用于文字识别，他们称之为LeNet-5。卷积操作是基于图像二维结构定义的，其定义局部感受域每个底层特征只跟输入的一个子集有关，如拓扑邻域。卷积层里面的拓扑局部限制会使得权重矩阵非常稀疏，所以卷积操作连接的两层只有局部连接。计算这样的矩阵乘法比起计算一个稠密矩阵乘法更方便高效，另外更小数目的自由参数会使得统计计算有更多的好处。在拥有二维拓扑结构的图像里，相同的输入模式会在不同位置出现，而且相近的值更可能有更强的依赖，这对于数据的模型是非常重要的。计算相同的局部特征可能是在整个图的任意平移位置，所以我们用这样一个局部特征算子在整个图中扫描。这就是卷积并把输入图变换为一个特征图。这个扫描可以看作在不同的位置提取相同的特征，它们是共享权重的，与生物神经网络更相似。通过这种设计不仅可以使模型的复杂度降低，而且使网络权值的数量也大大的减少。CNN利用权值共享的方式减少需要学习的参数数目，较之一般前向BP算法(Error Back Propagation，误差反向传播)使得训练速度和准确度得到了极大的提高。CNN作为一个深度学习算法，可以使得数据的预处理的开销达到最小化。

很明显，深度卷积网络需要大量的有标注样本进行训练，而且还需要在训练过程中进行样本增强，而且由于卷积结构的存在和数据量的庞大，训练一个深度卷积网络需要密集的运算量，因此现在大部分深度卷积网络都是通过GPU训练的。

卷积神经网络一般使用卷积和聚合操作作为基础操作，但是它不需要无监督的逐层预训练策略。在整个训练过程中，反向传播起到的作用是非常突出的，另外通过合适的激励函数能够在提升训练速度的同时提高最终识别的准确率。

具体的，如图3所示，步骤S120可包括步骤S121、S122、S123。

步骤S121，采用卷积神经网络算法提取所述场景图像中的人体特征。

步骤S122，对所述人体特征进行关联分析，确定相应的人体部位。

步骤S123，通过对所述人体部位的跟踪识别所述场景图像中零件操作动作。

本实施例利用的是自下而上的人体姿态估计算法，通过预先进行关键点位置的识别，再确定骨架。由于自上而下算法(先检测人，再检测关键点)的运算时间会随着图像中人的个数而显著增加，而自下而上所需计算时间基本不变。因此，本实施例利用的自下而上人体姿态估计算法具有更好的适应性。

openpose是基于卷积神经网络和监督学习并以caffe为框架携程的开源库,可以实现人的面部表情、躯干和四肢甚至手指的跟踪，不仅适用于单人也适用于多人，同时具有较好的鲁棒性。

下面将通过具体的实施例对采用深度学习算法对所述场景图像进行零件操作动作的识别的方法进行详细描述。

通过一个卷积网络分析(例如采用VGG-19的前面10层进行初始化以及微调)，产生一个集合的特征字典$F$，这个字典被作为每一个分支第一个阶段的输入。在第一个阶段中，这个网络产生了一个集合的检测置信度图$S^1＝\rho^1(F)$以及一个部位关联域集合$L^1＝\phi^1(F)$，其中$\rho^1$以及$\phi^1$是在第一个阶段的CNNs推理。在每一个随后的阶段中，来自前一阶段的每一个分支的预测结合原始图像特征$F$，被结合起来使用来产生确认预测：

$$S^t＝\rho^t(F,S^{t-1},L^{t-1}),\\forall t\geq 2,\(1)$$

$$L^t＝\phi^t(F,S^{t-1},L^{t-1}),\\forall t\geq 2,\(2)$$

其中$\rho^t$以及$\phi^t$是在步骤$t$中CNNs的推理。

为了引导网络迭代地在第一个分支中预测身体部位的置信度图以及在第二个分支中预测PAFs，我们在每一个阶段的末尾加入了两个损失函数，每一个分支各有一个损失函数。我们在预测评估和真实图和域之间使用一个$L_2\loss$。这里，我们在空间上分配损失函数的比重以解决有些数据集不能完全给所有个体打上标签的问题。特别地，在第t个阶段，在两个分支中的损失函数为：

$$f_S^t＝\sum_{j＝1}^{J}\sum_{P}W(p)\cdot\left\|S_j^t(P)-S_j^*(p)\right\|_2^2,\(3)$$

$$f_L^t＝\sum_{c＝1}^{C}\sum_{P}W(p)\cdot\left\|L_c^t(P)-L_c^*(p)\right\|_2^2,\(4)$$

其中$S_j^*$是真实的部位置信度图，$L_c^*$是真实的部位联系向量域，$W$是一个二进制编码，当在图像的位置$p$处缺少标注时，$W(p)＝0$。该编码用来避免惩罚在训练过程中的正确的积极预测。每一个阶段的中间监督通过定期补充梯度的方式而被用来解决梯度消失问题。整体的目标如下：

$$f＝\sum_{t＝1}^{T}(f_S^t+f_L^t)\(5)$$

对人体特征进行关联分析时，可对各人体特征进行偶匹配运算，计算部分部分置信图(Part Confidence Maps)和部分亲和域(PAF，Part Affinity Fields)，将同一个人的关节点连接起来，由于PAF自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体框架。最后基于PAF，采用匈牙利算法(Hungarian algorithm)求multi-personparsing，把multi-person parsing问题转换成graphs问题。

在提取场景图像中的人体特征后，需要在不知道人体数量的情况下去整合，从而构成各个个体整个身体的姿势。这里可引入置信度，对于每一对身体部位检测联合的匹配度进行衡量，也就是哪些人体特征属于同一人体。

一种可能的方案是通过检测一个额外的在肢体上的每对部位的中点，并且检查其在候选部位检测之间的发生率。然而，当个体拥挤到一块(因为他们很容易这样做)，这些中点有可能表达了错误的联系，这些错误联系会因为两个表达局限性而增加：(1)它只对每一个肢体的位置编码，而不对方向编码；(2)它将一个肢体的支持域缩小到一个简单的点。

通过肢体的支持，对位置和方向进行编码，PAFs消除了错误关联。为了解决这些局限性，这里可引入置信度，叫做部分亲和域。

PAFs是一个2D矢量场，保留了位置和方向，如图c所示。令和表示ground truth中的关键点j1,j2的坐标，这两个关键点组成第k号人的一个肢体c，如果一个点P在这个肢体上面，如图所示，则的值为j1指向j2的单位矢量；其他点都是零向量。

v＝(x_j2，k-x_j1，k)/||x_j2，k-x_j1，k||₂

每一个点上都有一个向量，L可以理解为对于图像在肢体上的点P满足下式(其实代表的就是P在肢体对应的矩形内)：

0≤v·(p-x_j1，k)≤l_c，k and |v_⊥·(p-x_j1，k)|≤σ_l，

l_c，k＝||x_j2，k-x_j1，k||₂，

其中是肢体的宽度，是肢体的长度，v-是垂直矢量。

点乘又叫向量的内积、数量积，是一个向量和它在另一个向量上的投影的长度的乘积；是标量。点乘反映着两个向量的“相似度”，两个向量越“相似”，它们的点乘越大。

一张图像中肢体c的PAFs是(重叠处，多个人的同一肢体)所有人物进行平均得到(此情况很少出现)：

n_c(P)是P点处所有非0向量的个数，即k个人重叠肢体在像素上的平均。

在测试时，通过预测出的PAFs沿着候选区域计算关键点之间的线积分，与肢体方向做对比，来表示这两个关键点连接后是肢体的可能性。具体的说，预测的两个关键点的位置是和，从预测出的PAFs中采样，Lc表示沿着线段求这两个关键点相关联的置信度：

其中p(u)是两个部位(关节点)和之间内插的位置。

p(u)＝(1-u)d_j1+ud_j2·

步骤S130，将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常。

可以理解的是，对进行零件操作动作识别时会预先制定零件操作任务，通过将识别到的零件操作动作与当前装配场景的零件操作任务进行比对，判断两者是否相一致，以确定零件操作动作是否异常，实现装配场景中零件操作动作的自动监测。

具体的，如图4所示，步骤S130可包括步骤S131、S132。

步骤S131，根据识别的所述零件操作动作确定所述零件操作动作对应的零件。

由于零件种类繁多，针对不同的零件，操作人员的零件操作动作也不同。因此，在从场景图像中识别零件操作动作后，可根据零件操作动作识别对应的零件，例如，表1是根据一示例性实施例示出的不同零件对应的操作动作。由表1可以看出，不同零件的零件操作动作是不相同的。

表1不同零件的零件操作动作

步骤S132，将所述零件操作动作与预设任务单中所述零件在所述当前装配场景中的零件操作任务进行对比，判断所述零件操作动作是否异常。

任务单是预先设置的，后台系统可根据生产情况生成任务单，任务单由系统进行统一派发，推送到电子设备，操作人员通过电子设备进行任务单的领取，按照任务单中所述零件在所述当前装配场景中的零件操作任务进行操作。

而电子设备在对零件操作动作进行监测时，通过将从场景图像中识别到的零件操作动作与预设任务单中所述零件在所述当前装配场景中的零件操作任务进行对比，即可判断所述零件操作动作是否异常。当两者一致时，则认定为零件操作动作正常，当两者不一致时，则认定零件操作动作出现异常。

利用如上所述的方法，装配场景中进行零件操作动作的监测时，在获取装配场景中采集的场景图像后，采用深度学习算法对场景图像进行零件操作动作的识别，将识别到的零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常进行比对，实现对装配场景中零件操作动作的自动监测，相比通过操作人员进行人工监测，大大提高了核检效率及效果。

可选的，图1对应实施例示出的装配场景中零件操作动作的监测方法中，在步骤S130之后，该装配场景中零件操作动作的监测方法还可以包括以下步骤：

当识别到所述零件操作动作为异常时，则进行报警提醒。

通过自动对异常的零件操作动作进行报警提醒，使操作人员能够方便地进行纠错处理，有效提高了纠错效率。

报警提醒的方式有多种，例如，通过预先设置报警灯，在识别到零件操作动作异常时，通过报警灯进行灯光提醒；也可以通过设置报警器，在识别到零件操作动作异常时，通过报警器进行声音提醒；还可以通过其他的方式实现报警提醒，在此不进行一一描述。

通过对异常的零件操作动作进行报警提醒，为操作人员获知其操作动作及纠错处理提供了更好的便利性。

可选的，如图5所述，图1对应实施例示出的装配场景中零件操作动作的监测方法中，在步骤S130之后，该装配场景中零件操作动作的监测方法还可以包括以下步骤：

步骤S210，通过与外部设备的通讯连接将所述零件操作动作的数据信息发送给所述外部设备。

步骤S220，将所述零件操作动作和/或符合预设任务单中相应的标准零件操作动作的数据信息显示在所述外部设备上，以对操作人员进行零件操作动作的指引。

电子设备与外部设备通讯连接，通过通讯连接将零件操作动作的数据信息发送给所述外部设备，以在所述外部设备上存储或展示。

符合预设任务单中相应的标准零件操作动作的数据信息是预先存储的，其数据信息可以预先存储于电子设备中，也可以是预先预先存储于外部设备中。当识别到某零件操作动作态不符合预设任务单中对所述当前装配场景的零件操作任务时，可以将零件操作动作的数据信息和/或符合预设任务单中相应的零件操作动作显示在外部设备上，以对操作人员进行零件操作动作的指引，提高零件操作动作检测及纠错的智能性。

例如，外部设备为平板电脑，平板电脑安装在便于操作人员操作的位置，通过将平板电脑与用于零件操作动作监测的电子设备通讯连接，操作人员无需前往装配场景即可方便获知设零件操作动作是否异常，有效提高装配场景中零件操作动作监测的便利性和灵活性。

又例如，AR眼镜作为AR虚拟叠加展示和交互设备，在接收电子设备发送的零件操作动作的数据信息后，将零件操作动作的数据信息叠加于AR眼镜的显示界面中，指导操作人员直观地排除错误，从而进一步提高了操作人员的操作便利性，降低了操作人员的操作门槛。

下述为本发明装置实施例，可以用于执行上述装配场景中零件操作动作的监测方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明装配场景中零件操作动作的监测方法实施例。

图6是根据一示例性实施例示出的一种装配场景中零件操作动作的监测装置的框图，该系统包括但不限于：当前装配场景确定模块110、零件操作动作识别模块120及异常判断模块130。

当前装配场景确定模块110，用于获取装配场景中采集的场景图像，确定当前装配场景；

零件操作动作识别模块120，用于采用深度学习算法对所述场景图像进行零件操作动作的识别；

异常判断模块130，用于将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常。

上述装置中各个模块的功能和作用的实现过程具体详见上述装配场景中零件操作动作的监测方法中对应步骤的实现过程，在此不再赘述。

可选的，图7是根据图6对应实施例示出的装配场景中零件操作动作的监测装置中当前装配场景确定模块110的一种框图，如图7所示，该当前装配场景确定模块110包括但不限于：场景图像获取单元111、图像识别单元112。

场景图像获取单元111，用于获取布置于装配场景中的摄像头采集的场景图像；

图像识别单元112，用于采用预先构建的权重文件对所述场景图像进行图像识别，识别所述场景图像中的装配场景类型，并将所述装配场景类型确定为当前装配场景。

可选的，图8是根据图6对应实施例示出的装配场景中零件操作动作的监测装置中零件操作动作识别模块120的一种框图，如图8所示，该零件操作动作识别模块120包括但不限于：人体特征提取单元121、关联分析单元122、零件操作动作识别单元123。

人体特征提取单元121，用于采用卷积神经网络算法提取所述场景图像中的人体特征；

关联分析单元122，用于对所述人体特征进行关联分析，确定相应的人体部位；

零件操作动作识别单元123，用于通过对所述人体部位的跟踪识别所述场景图像中零件操作动作。

可选的，图9是根据图6对应实施例示出的装配场景中零件操作动作的监测装置中异常判断模块130的一种框图，如图9所示，该异常判断模块130包括但不限于：零件确定单元131、动作比对单元132。

零件确定单元131，用于根据识别的所述零件操作动作确定所述零件操作动作对应的零件；

动作比对单元132，用于将所述零件操作动作与预设任务单中所述零件在所述当前装配场景中的零件操作任务进行对比，判断所述零件操作动作是否异常。

可选的，图6对应实施例示出的装配场景中零件操作动作的监测装置还包括但不限于：报警提醒模块。

当识别到所述零件操作动作为异常时，则进行报警提醒。

可选的，图10是根据图6对应实施例示出的另一种装配场景中零件操作动作的监测装置的框图，如图10所示，该装配场景中零件操作动作的监测装置还包括但不限于：动作数据发送模块210、动作显示模块220。

动作数据发送模块210，用于通过与外部设备的通讯连接将所述零件操作动作的数据信息发送给所述外部设备；

动作显示模块220，用于将所述零件操作动作和/或符合预设任务单中相应的标准零件操作动作的数据信息显示在所述外部设备上，以对操作人员进行零件操作动作的指引。

图11是根据一示例性实施例示出的一种电子设备100的框图。参考图10，电子设备100可以包括以下一个或者多个组件：处理组件101，存储器102，电源组件103，多媒体组件104，音频组件105，传感器组件107以及通信组件108。其中，上述组件并不全是必须的，电子设备100可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

处理组件101通常控制电子设备100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。

存储器102被配置为存储各种类型的数据以支持在电子设备100的操作。这些数据的示例包括用于在电子设备100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM(Static RandomAccess Memory，静态随机存取存储器)，EEPROM(Electrically Erasable ProgrammableRead-Only Memory，电可擦除可编程只读存储器)，EPROM(Erasable Programmable ReadOnly Memory，可擦除可编程只读存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，ROM(Read-Only Memory，只读存储器)，磁存储器，快闪存储器，磁盘或光盘。存储器102中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器109执行，以完成上述任一所示方法中的全部或者部分步骤。

电源组件103为电子设备100的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为电子设备100生成、管理和分配电力相关联的组件。

多媒体组件104包括在所述电子设备100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括LCD(Liquid Crystal Display，液晶显示器)和TP(TouchPanel，触摸面板)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

图像采集组件105被配置为采集图像或视频。例如，图像采集组件105包括一个摄像头，当电子设备100处于操作模式，摄像头被配置为拍摄外部图像。所采集的图像可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，图像采集组件105还包括一个扫描仪等。

传感器组件107包括一个或多个传感器，用于为电子设备100提供各个方面的状态评估。例如，传感器组件107可以检测到电子设备100的打开/关闭状态，组件的相对定位，传感器组件107还可以检测电子设备100或电子设备100一个组件的坐标改变以及电子设备100的温度变化。在一些实施例中，该传感器组件107还可以包括磁传感器，压力传感器或温度传感器。

通信组件108被配置为便于电子设备100和其他设备之间有线或无线方式的通信。电子设备100可以接入基于通信标准的无线网络，如WiFi(Wireless-Fidelity，无线网络)，2G或3G，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括NFC(Near Field Communication，近场通信)模块，以促进短程通信。例如，在NFC模块可基于RFID(Radio Frequency Identification，射频识别)技术，IrDA(Infrared DataAssociation，红外数据协会)技术，UWB(Ultra-Wideband，超宽带)技术，BT(Bluetooth，蓝牙)技术和其他技术来实现。

在示例性实施例中，电子设备100可以被一个或多个ASIC(Application SpecificIntegrated Circuit，应用专用集成电路)、DSP(Digital Signal Processing，数字信号处理器)、PLD(Programmable Logic Device，可编程逻辑器件)、FPGA(Field－ProgrammableGate Array，现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

该实施例中的电子设备中处理器执行操作的具体方式已经在有关该装配场景中零件操作动作的监测方法的实施例中执行了详细描述，此处将不再做详细阐述说明。

可选的，本发明还提供一种电子设备，执行上述任一所示的装配场景中零件操作动作的监测方法的全部或者部分步骤。该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一示例性实施例所述的方法。

该实施例中的电子设备中处理器执行操作的具体方式已经在有关该装配场景中零件操作动作的监测方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器102，上述指令可由电子设备100的处理器109执行以完成上述装配场景中零件操作动作的监测方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，本领域技术人员可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种装配场景中零件操作动作的监测方法，其特征在于，所述方法包括：

获取装配场景中采集的场景图像，确定当前装配场景；

采用深度学习算法对所述场景图像进行零件操作动作的识别；

将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常。

2.根据权利要求1所述的方法，其特征在于，所述获取装配场景中采集的场景图像，确定当前装配场景的步骤包括：

获取布置于装配场景中的摄像头采集的场景图像；

采用预先构建的权重文件对所述场景图像进行图像识别，识别所述场景图像中的装配场景类型，并将所述装配场景类型确定为当前装配场景。

3.根据权利要求2所述的方法，其特征在于，所述权重文件的构建方法包括：

采集各装配场景的样本图像；

对所述样本图像进行紧固件类型及位置坐标的标记，得到标记文件；

通过所述标记文件从所述样本图像中提取图像特征；

采用神经网络模型对所述图像特征进行训练，得到所述权重文件。

4.根据权利要求1所述的方法，其特征在于，所述采用深度学习算法对所述场景图像进行零件操作动作的识别的步骤包括：

采用卷积神经网络算法提取所述场景图像中的人体特征；

对所述人体特征进行关联分析，确定相应的人体部位；

通过对所述人体部位的跟踪识别所述场景图像中零件操作动作。

5.根据权利要求1所述的方法，其特征在于，所述将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常的步骤包括：

根据识别的所述零件操作动作确定所述零件操作动作对应的零件；

将所述零件操作动作与预设任务单中所述零件在所述当前装配场景中的零件操作任务进行对比，判断所述零件操作动作是否异常。

6.根据权利要求1所述的方法，其特征在于，所述将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常的步骤之后，所述方法还包括：

通过与外部设备的通讯连接将所述零件操作动作的数据信息发送给所述外部设备；

将所述零件操作动作和/或符合预设任务单中相应的标准零件操作动作的数据信息显示在所述外部设备上，以对操作人员进行零件操作动作的指引。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述零件操作动作包括零件抓取动作和/或零件投放动作。

8.一种装配场景中零件操作动作的监测装置，其特征在于，所述装置包括：

当前装配场景确定模块，用于获取装配场景中采集的场景图像，确定当前装配场景；

零件操作动作识别模块，用于采用深度学习算法对所述场景图像进行零件操作动作的识别；

异常判断模块，用于将所述零件操作动作与预设任务单中对所述当前装配场景的零件操作任务进行对比，判断所述零件操作动作是否异常。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序在被执行时使得电子设备执行如权利要求1-7任一项所述的方法。