CN114140875A - 一种基于计算机视觉识别动作组合效率分析方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉识别动作组合效率分析方法，涉及图像处理技术领域，其技术方案要点是：具体包括以下步骤：1)采用摄像头采集实时的视频数据，并对其进行预处理；2)对步骤1)中预处理后的视频数据中的连续动作分解为多个平移变化帧连续图像；3)将与时间上下文关系的动作化解为图像分类，通过层级递进策略对图像类别进行序列组合，生成动作基本单元C_i的有序排列组合A_i＝{C₁，C₂，C₃…C_i，C_it1…}；4)对有序排列组合A_i＝{C₁，C₂，C₃…C_i，C_i+1…}采用模型进行训练，得计算机视觉模型；5)对基本单元进行识别。该效率分析方法使用摄象头对工厂流水线上的工人动作效率的评价，以利于快速发现流水线工作效率低下的原因，协助提高生产效率。

Description

一种基于计算机视觉识别动作组合效率分析方法

技术领域

本发明涉及图像处理技术领域，更具体地说，它涉及一种基于计 算机视觉识别动作组合效率分析方法。

背景技术

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说， 就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机 器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传 送给仪器检测的图像。

在工业生产中，大部分的流水线均需要人工操作，人工操作最大 的弊端是生产效率较低，出现生产效率低的原因有很多，其中一个最 主要的原因是工人在生产制造过程中动作不标准或不熟练，所以对工 人的操作动作进行规范管理成为亟需解决的问题。

发明内容

本发明的目的是提供一种基于计算机视觉识别动作组合效率分 析方法，该效率分析方法使用摄象头对工厂流水线上的工人动作效率 的评价，以利于快速发现流水线工作效率低下的原因，协助提高生产 效率。

本发明的上述技术目的是通过以下技术方案得以实现的：一种基 于计算机视觉识别动作组合效率分析方法，包括以下步骤：

1)采用摄像头采集实时的视频数据，并对其进行预处理；

2)对步骤1)中预处理后的视频数据中的连续动作分解为多个平 移变化帧连续图像；

3)将与时间上下文关系的动作化解为图像分类，通过层级递进 策略对图像类别进行序列组合，生成动作基本单元C_i的有序排列组合 A_i＝{C₁，C₂，C₃...C_i，C_i+1，...}；

4)对有序排列组合A_i＝{C₁，C₂，C₃...C_i，C_i+1，...}采用模型进行训练， 得计算机视觉模型；

5)对基本单元进行识别，且对基本单元的识别结果序列进行解 释与处理，并将其与标准数据库进行比对，得出序列与数据库的匹配 率，即达到规范动作行为分析。

进一步的，所述步骤3)中生成动作基本单元C_i的有序排列组合 的方式是将每个作业站点下完成一个工作任务的流程视为一个完整 的动作流程A_i，将动作流程A_i分解为数个组成动作流程的动作步骤S_i， 再将动作步骤S_i分解为多个动作基本单元C_i，多个基本单元C_i组成有 序排列组合A_i＝{C₁，C₂，C₃…C_i，C_i+1，…}。

进一步的，所述步骤3)中层级递进策略的具体步骤为：

A)检测摄像头是否开启，若摄像头开启进行步骤B)，若摄像头 关闭，停止后续操作；

B)不断对摄像头视频数据进行读取，并对基本单元进行识别， 若识别成功，将每一帧输入目标检测模型后输出基本单元识别结果列 表，并将其加入识别序列集detectSet，再进行步骤C)；若未识别出 结果，则标记为“错误”基本单元；

C)对序列集detectSet的尺寸与窗口长度L进行比较，若detectSet 的尺寸大于窗口L，调用窗口平滑策略，此时平滑与增加识别序列集 交替进行；若平滑次数达到阈值或当前识别的基本单元结束时，将平 滑后的结果resultSet转化为映射关系baseSet，并进行时间比对判定 是否超时，若超时则添加标记并进行步骤D)；若detectSet的尺寸小 于窗口L，直接进行步骤D)；

D)将baseSet与数据库里的步骤进行最短匹配，若与数据库里 某条步骤信息匹配正确，则定义为“有效”步骤，将baseSet舍弃， 同时将匹配到的步骤加入stepSet匹配到序列，并进行步骤E)；若匹 配失败，将baseSet第一个基本单元标记为“无效”；

E)将“有效”的步骤序列stepSet再与数据库里的动作流程信息 匹配，若与数据库中的某条动作信息里的步骤序列匹配无误，则为“有 效”的动作流程；若stepSet与数据库中的任意一条动作信息里的步 骤序列均匹配有误时，则为“无效”的动作流程。

进一步地，步骤1)中所述的预处理的具体方法包括以下步骤：

(1)从原生视频数据集R获得视频序列集V(V∈Rnx×ny)，并保 证每段视频序列只包含有效信息和单个动作的特征；

(2)按照行为体手部动作变化的起始帧和终止帧对每段视频序 列中的动作内容进行剪切操作，依次获得视频序列子集： Vclip(Vclip∈Rkx×ky,0<kx<nx,0<ky<ny)，并确保采样的每个Vclip 集合中每个子样本的动作能处于kx×ky的视频帧方盒中；

(3)假设视频序列V的第i个时间Ti的帧视频序列为V(:,:,Ti)， 依次采样操作后，得到Δt后动作的结果序列Vresult(:,:,Ti)，Vresu lt(:,:,Ti)＝|V(:,:,Ti)-V(:,:,Ti+Δt)|；其中，时间序列T＝(T1,T2, T3,......Tt)，Δt表示两次帧之间的计算距离差值。

综上所述，本发明具有以下有益效果：

1.通过对基本单元进行识别，并将其与标准数据库进行比对，得 出序列与数据库的匹配率，从而达到规范动作行为分析的效果；

2.通过采用层级比对策略，可清晰观察行为体工作出错率与效率， 从而有助于流水线作业管理与规划。

附图说明

图1是本发明实施例中工厂部署的网络拓扑图；

图2是本发明实施例中动作分解策略示意图；

图3是本发明实施例中层级比对策略的工作流程示意图。

具体实施方式

以下结合附图1-3对本发明作进一步详细说明。

实施例：一种基于计算机视觉识别动作组合效率分析方法，如图 1至图3所示，包括以下步骤：

1)采用摄像头采集实时的视频数据，并对其进行预处理；

2)对步骤1)中预处理后的视频数据中的连续动作分解为多个平 移变化帧连续图像；

3)将与时间上下文关系的动作化解为图像分类，通过层级递进 策略对图像类别进行序列组合，生成动作基本单元C_i的有序排列组合 A_i＝{C₁，C₂，C₃...C_i，C_i+1，...}；

4)对有序排列组合A_i＝{C₁，C₂，C₃…C_i，C_i+1，...}采用模型进行训练， 得计算机视觉模型；该计算机视觉模型即为训练模型：

a、根据步骤1)中的结果数据标签集，放入ResNet模型中；

b、输出结果为对就Ai集合序列的识别模型标识。

5)对基本单元进行识别，且对基本单元的识别结果序列进行解 释与处理，并将其与标准数据库进行比对，得出序列与数据库的匹配 率，即达到规范动作行为分析。

在本实施例中，由于视频检测的需要，提出使用视频逐帧检测与 跳帧检测两种处理方式，逐帧检测即视频流的每一帧都通过模型识别， 跳帧检测为每间隔几帧进行一次检测，详细流程如下：

步骤3)中生成动作基本单元C_i的有序排列组合的方式是将每个 作业站点下完成一个工作任务的流程视为一个完整的动作流程A_i，将 动作流程A_i分解为数个组成动作流程的动作步骤S_i，再将动作步骤S_i分解为多个动作基本单元C_i，多个基本单元C_i组成有序排列组合A_i＝ {C₁，C₂，C₃...C_i，C_i+1，...}。

在本实施例中，序列组合有顺序关系，如图2中，连线上的标号 表示组合次序，C₁→C₃组成了S₁，但C₃→C₁是另外不同于S₁的基本 单元组合S_i，这代表了基本单元发生的先后，同样的适用于步骤序列 组合，对应作业站点中手部动作事件的顺序。基本单元与步骤序列组 合以真实作业站点为前提，遵守前缀编码的编码规则，规定任何序列 都不是同层级其它编码序列的前缀，一方面以防止在后续的序列匹配 工作中出现多个匹配结果，另一方面保证序列为当前层最短组合，有 利于重组与向上抽取。本文默认用最短匹配的形式进行基本单元向上 抽层的过程。

步骤3)中层级递进策略的具体步骤为：

A)检测摄像头是否开启，若摄像头开启进行步骤B)，若摄像头 关闭，停止后续操作；

B)不断对摄像头视频数据进行读取，并对基本单元进行识别， 若识别成功，将每一帧输入目标检测模型后输出基本单元识别结果列 表，并将其加入识别序列集detectSet，再进行步骤C)；若未识别出 结果，则标记为“错误”基本单元；

C)对序列集detectSet的尺寸与窗口长度L进行比较，若detectSet 的尺寸大于窗口L，调用窗口平滑策略，此时平滑与增加识别序列集 交替进行；若平滑次数达到阈值或当前识别的基本单元结束时，将平 滑后的结果resultSet转化为映射关系baseSet，并进行时间比对判定 是否超时，若超时则添加标记并进行步骤D)；若detectSet的尺寸小 于窗口L，直接进行步骤D)；

D)将baseSet与数据库里的步骤进行最短匹配，若与数据库里 某条步骤信息匹配正确，则定义为“有效”步骤，将baseSet舍弃， 同时将匹配到的步骤加入stepSet匹配到序列，并进行步骤E)；若匹 配失败，将baseSet第一个基本单元标记为“无效”；

E)将“有效”的步骤序列stepSet再与数据库里的动作流程信息 匹配，若与数据库中的某条动作信息里的步骤序列匹配无误，则为“有 效”的动作流程；若stepSet与数据库中的任意一条动作信息里的步 骤序列均匹配有误时，则为“无效”的动作流程。

在本实施例中，层级比对阶段对基本单元是否超时进行判别，统 计的基本单元序列进行步骤S_i与动作流程A_i比对。以图2所示向上抽 取，其层级比对的主要思想伪代码为：

步骤1)中的预处理的具体方法包括以下步骤：

(1)从原生视频数据集R获得视频序列集V(V∈Rnx×ny)，并保 证每段视频序列只包含有效信息和单个动作的特征；

(2)按照行为体手部动作变化的起始帧和终止帧对每段视频序 列中的动作内容进行剪切操作，依次获得视频序列子集： Vclip(Vclip∈Rkx×ky,0<kx<nx,0<ky<ny)，并确保采样的每个Vclip 集合中每个子样本的动作能处于kx×ky的视频帧方盒中；

(3)假设视频序列V的第i个时间Ti的帧视频序列为V(:,:,Ti)，依次 采样操作后，得到Δt后动作的结果序列Vresult(:,:,Ti)，Vresult (:,:,Ti)＝|V(:,:,Ti)-V(:,:,Ti+Δt)|；其中，时间序列T＝(T1,T2, T3,......Tt)，Δt表示两次帧之间的计算距离差值。

在本实施例中，同一条生产线下拍摄的视频数据中可能存在相同 重复或者带有无效信息的视频，因此，本方案中会排查和清除一些存 在错误动作或者仅仅包含无效目标的信息，甚至其他过多的干扰项。 如果数据中存在大量的冗余特征信息，本方案中采取剔除的方式进行 处理。最终，经过一系列的排查、合并、剔除等操作处理后，本方案 中得到所有的视频动作数据集。

工作原理：通过对基本单元进行识别，并将其与标准数据库进行 比对，得出序列与数据库的匹配率，从而达到规范动作行为分析的效 果；通过采用层级比对策略，可清晰观察行为体工作出错率与效率， 从而有助于流水线作业管理与规划。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制， 本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出 没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专 利法的保护。

Claims (4)

1.一种基于计算机视觉识别动作组合效率分析方法，其特征是：具体包括以下步骤：

1)采用摄像头采集实时的视频数据，并对其进行预处理；

2)对步骤1)中预处理后的视频数据中的连续动作分解为多个平移变化帧连续图像；

3)将与时间上下文关系的动作化解为图像分类，通过层级递进策略对图像类别进行序列组合，生成动作基本单元C_i的有序排列组合A_i＝{C₁，C₂，C₃...C_i，C_i+1，...}；

4)对有序排列组合A_i＝{C₁，C₂，C₃...C_i，C_i+1，...}采用模型进行训练，得计算机视觉模型；

5)对基本单元进行识别，且对基本单元的识别结果序列进行解释与处理，并将其与标准数据库进行比对，得出序列与数据库的匹配率，即达到规范动作行为分析。

2.根据权利要求1所述的一种基于计算机视觉识别动作组合效率分析方法，其特征是：所述步骤3)中生成动作基本单元C_i的有序排列组合的方式是将每个作业站点下完成一个工作任务的流程视为一个完整的动作流程A_i，将动作流程A_i分解为数个组成动作流程的动作步骤S_i，再将动作步骤S_i分解为多个动作基本单元C_i，多个基本单元C_i组成有序排列组合A_i＝{C₁，C₂，C₃...C_i，C_i+1，...}。

3.根据权利要求1所述的一种基于计算机视觉识别动作组合效率分析方法，其特征是：所述步骤3)中层级递进策略的具体步骤为：

A)检测摄像头是否开启，若摄像头开启进行下一步，若摄像头关闭，停止后续操作；

B)不断对摄像头视频数据进行读取，并对基本单元进行识别，若识别成功，将每一帧输入目标检测模型后输出基本单元识别结果列表，并将其加入识别序列集detectSet，再进入下一步；若未识别出结果，则标记为“错误”基本单元；

C)对序列集detectSet的尺寸与窗口长度L进行比较，若detectSet的尺寸大于窗口L，调用窗口平滑策略，此时平滑与增加识别序列集交替进行；若平滑次数达到阈值或当前识别的基本单元结束时，将平滑后的结果resultSet转化为映射关系baseSet，并进行时间比对判定是否超时，若超时则添加标记并进入下一步；若detectSet的尺寸小于窗口L，直接进入下一步；

D)将baseSet与数据库里的步骤进行最短匹配，若与数据库里某条步骤信息匹配正确，则定义为“有效”步骤，将baseSet舍弃，同时将匹配到的步骤加入stepSet匹配到序列，并进行下一步；若匹配失败，将baseSet第一个基本单元标记为“无效”；

E)将“有效”的步骤序列stepSet再与数据库里的动作流程信息匹配，若与数据库中的某条动作信息里的步骤序列匹配无误，则为“有效”的动作流程；若stepSet与数据库中的任意一条动作信息里的步骤序列均匹配有误时，则为“无效”的动作流程。

4.根据权利要求1所述的一种基于计算机视觉识别动作组合效率分析方法，其特征是：步骤1)中所述的预处理的具体方法包括以下步骤：

(1)从原生视频数据集R获得视频序列集V(V∈Rnx×ny)，并保证每段视频序列只包含有效信息和单个动作的特征；

(2)按照行为体手部动作变化的起始帧和终止帧对每段视频序列中的动作内容进行剪切操作，依次获得视频序列子集：Vclip(Vcli p∈Rkx×ky，0＜kx＜nx，0＜ky＜ny)，并确保采样的每个Vclip集合中每个子样本的动作能处于kx×ky的视频帧方盒中；

(3)假设视频序列V的第i个时间Ti的帧视频序列为V(：，：，Ti)，依次采样操作后，得到Δt后动作的结果序列Vresult(：，：，Ti)，Vresult(：，：，Ti)＝|V(：，：，Ti)-y(：，：，Ti+Δt)|；其中，时间序列T＝(T1，T2，T3，......Tt)，Δt表示两次帧之间的计算距离差值。

Images