CN109359507B - 一种车间人员数字孪生体模型快速构建方法 - Google Patents

Abstract

本发明提供了一种车间人员数字孪生体模型快速构建方法，包括以下步骤：步骤1，在车间全局范围内构建全方位监控的多摄像头组成的视觉传感网络；步骤2，对每个摄像头进行离线标定，每个摄像头实时同步采集视频图像；步骤3，对图像利用深度卷积神经网络对其进行人员识别与检测；步骤4，合并多个摄像头的图像检测信息，消除重叠区域人员冗余；步骤5，将图像场景中人员位置的检测信息映射到实际车间现场，获取物理世界实时的人员位置信息；步骤6，将物理世界中的实时人员位置信息作为人员孪生数据构建人员的数字孪生体。

Description

一种车间人员数字孪生体模型快速构建方法

技术领域

本发明涉及一种生产管控技术，特别是一种车间人员数字孪生体模型快速构建方法。

背景技术

数字孪生技术作为实现制造的物理世界和信息世界之间的交互融合的核心技术，成为近期的最热门概念之一。它在Gartner预测的2017年十大战略技术中名列第五，这是除人工智能、机器学习、AR/VR、区块链之外的另外一个技术风口。数字孪生通过数字化的形式对某一物理实体过去和目前的行为或流程进行动态呈现。作为一种充分利用数据、智能并集成多学科的技术，数字孪生在实践智能制造理念和目标中提供更加实时、高效、智能的服务。

车间是制造活动的执行基础，为了实现制造的物理世界和信息世界之间的交互融合，数字孪生车间能满足工业4.0等先进制造模式对智能生产、智能工厂的要求。目前在车间五要素(人机料法环)中，国内学者对车间设备(机)、产品(料)的数字孪生体已有不少研究，对人的数字孪生体缺乏系统性。而人在车间中是关键的一环，人的活动具有主观能动性和高度不确定性，对人在车间内的管理也非常重要。

发明内容

本发明的目的在于提供一种车间人员数字孪生体模型快速构建方法，该方法将车间装备数字孪生体、产品的数字孪生体等结合形成完整的、全方位的数字孪生车间，进而为实现制造物理世界和信息世界智能互联与交互融合提供一种有效参考。

实现本发明目的的技术方案为，一种车间人员数字孪生体模型快速构建方法，包括以下步骤：

步骤1，在车间全局范围内构建全方位监控的多摄像头组成的视觉传感网络；

步骤2，对每个摄像头进行离线标定，每个摄像头实时同步采集视频图像；

步骤3，对图像利用深度卷积神经网络对其进行人员识别与检测；

步骤4，合并多个摄像头的图像检测信息，消除重叠区域人员冗余；

步骤5，将图像场景中人员位置的检测信息映射到实际车间现场，获取物理世界实时的人员位置信息；

步骤6，将物理世界中的实时人员位置信息作为人员孪生数据构建人员的数字孪生体。

本发明与现有技术相比，具有以下优点：

(1)本发明提出了一种可应用于车间人员管控的方法，通过构建视觉传感网络、训练人员检测模型，能够实现无需人工参与，即可管控车间人员，实时获取员工动态位置信息，如有异常立即采取相应管理措施，达到无人化监控。

(2)通过本发明的方法可以实时获取车间员工动态位置信息，从而构建人员的数字孪生体，可与车间装备数字孪生体、产品的数字孪生体等结合形成完整的、全方位的数字孪生车间，进而为实现制造物理世界和信息世界智能互联与交互融合提供一种有效参考。

下面结合说明书附图对本发明作进一步描述。

附图说明

图1为本发明实施具体执行流程图。

图2为摄像头标定前后效果对比图。

图3为同步性算法逻辑图。

图4为图像人员检测流程图。

图5为目标检测网络YOLO结构图。

图6为多源数据融合示意图。

图7为多区域人员定位数据采集图。

具体实施方式

本发明的一种车间人员数字孪生体模型快速构建的方法，包括以下步骤：

步骤1，在车间全局范围内构建全方位监控的多摄像头组成的视觉传感网络，具体包括以下步骤：

步骤1.1，调研各厂家工业摄像机型号，焦距、视角等光学参数。根据车间实际面积、生产环境确定合适的摄像机型号，并确定合理的焦距；

步骤1.2，设计摄像头分布及理论排布尺寸图，同侧摄像头等间距布置，对侧摄像头并列布置，相邻两个摄像头之间重叠区域尽可能小，摄像头安装高度需要确保监控区域能被完全覆盖；

步骤1.3，实际安装摄像头时，根据车间实际遮挡情况，微调理论的排布图。对于遮挡情况较严重的区域，配置多个摄像头。安装的摄像头须不干涉车间正常生产。安装摄像头时必须保证以下两条原则：

1)安装摄像头的视野能够覆盖整个车间，保证没有死角；

2)在摄像头安装调试完成之后，固定摄像头位姿，不可再有任何调整，必须保证摄像头的成像视角等恒定不变。

步骤2，对每个摄像头进行离线标定，获取摄像头相关参数，减少图像成像畸变，具体包括以下步骤：

步骤2.1，制作标定板：7×10黑白相间的正方形棋盘格，正方形边长可任意设置，一般在10mm到30mm之间；

步骤2.2，获取标定图片：将标定板靠近摄像头，使它成像在摄像头的监控范围内，然后从不同角度拍摄20张左右的图片，保存；

步骤2.3，摄像头标定：利用张正友单目视觉标定法对20张图片进行标定(opencv开源工具官方教程中已提供相关的例程)，从而计算摄像头的内参数矩阵和畸变系数；

步骤2.4，矫正图像：利用摄像头的内参数矩阵和畸变系数调用opencv开源工具中的矫正函数，矫正新拍摄的图像，减小畸变，畸变矫正前后对比如图2所示。左图是没有经过畸变矫正的图像，右图是经过矫正的图像。从图中可以看到：左图中的窗台(虚线)紧贴墙面，在图像上显示的是一条扭曲的线，而现实中的窗台是一条直线。这正是由于摄像头的镜头畸变产生的。标定的其中一个目的就是尽量去除畸变，可以从右图中看到，经过矫正后，红虚线已经成功变成了一条直线。

步骤3，利用摄像头驱动的API调试摄像头，确定合适的视频分辨率，进行实时同步视频图像采集，具体包括以下步骤：

步骤3.1，根据车间实际情况，调试摄像头，确定合适的FPS；

步骤3.2，同步采集所有摄像头的RTSP流获取视频流中的图像。同步采集方法如图3所示，详细介绍如下：

同步性是采集视频流图像时必须满足的一个关键因素。车间内根据实际情况会安装N个摄像头，需要在某一时刻下开始对视频流进行图像采集。从N个摄像头可以获得N张图像。

整个算法的输入是N个摄像头各自的RTSP协议地址、摄像头的内参数矩阵和畸变系数，输出是从每个摄像头截取的、经过畸变矫正的图片。

步骤3.2.1，开启N+1个线程；其中的N个为截图线程ThreadCamrea[i]，其任务是对各自服务的摄像头进行截图并保存。ThreadCamrea[i]的状态由布尔数组(数组长度为N)isworking[i]决定：当isworking[i]＝true时，ThreadCamrea[i]开始截图；当isworking[i]＝false时，ThreadCamrea[i]停止截图。剩下的1个线程是控制线程ThreadControl，其任务是通过标志位lock控制isworking的值，进而起到控制ThreadCamrea[i]的作用。

步骤3.2.2，ThreadCamrea[i]读取各自摄像头的视频画面frame[i]；初始状态下，isworking[i]和lock都默认为true，ThreadCamrea[i]对frame[i]进行畸变矫正并保存，如图3的第一行所示；

步骤3.2.3，当ThreadCamrea[i]完成截图后，其对应的isworking[i]会被设置为false，ThreadCamrea[i]停止截图，如图3的第二、三行所示；

步骤3.2.4、标志位lock实时地对isworking[i]布尔数组中的所有元素进行检查，当isworking[i]的元素值全都变成false的时候，表明N个视频流图像在当前时刻下采集成功，此时lock将被设置成false，如图3的第四行所示；

步骤3.2.5，当lock被设置成false，ThreadControl把isworking[i]中的所有元素全部重新翻转为true，使得ThreadCamrea[i]同时开始截图，如图3的第五行所示；

步骤3.2.6，转步骤3.2.2，开始下一轮截图，重复循环。

步骤4，对图像进行预处理后，利用深度卷积神经网络对其进行人员识别与检测，具体包括以下步骤：

步骤4.1，对图像进行预处理，将图像的RGB三个通道的数值(x,y,z)归一化,即：

步骤4.2，图像人员检测流程如图4所示。首先，采集大量车间现场图像数据，对其进行人工标记，标注出图像中的人员，并以此作为训练集，训练目标检测网络YOLO v3，YOLOv3的结构如图5所示。模型的相关代码已开源，其训练的流程官网已详细给出，这里不再重复。部分参数稍作修改即可应用于人员检测，修改如下：首先将YOLO v3的分类数量由原来的20改为1，因为官方的YOLO可以检测20种不同的物体，而现在我们只需要检测一个类目标：车间人员。其次，修改YOLO的学习率，一般设为0.1即可，当迭代到总轮数的一半时，减小到0.01；最后，修改训练迭代次数，一般设为40000轮或者更多，直至YOLO的损失下降到收敛。

步骤4.3，利用收敛的目标检测网络YOLO对来自多摄像头的视频帧图像进行人员检测，计算出人员在图像中的位置，用box(x₁,y₁,w,h)表示。其中(x₁,y₁)表示box的左上角在像素坐标系中的位置，w表示box的宽度，h表示box的高度。

步骤5，合并多个摄像头的图像检测信息，消除重叠区域人员冗余，具体包括以下步骤：

步骤5.1，如图6所示，图中为camera1的一个实例。黑色的线表示需要划定的边界线，四条边界线组合形成一个闭合的灰色区域，它是camera1的有效监控区域。如此，为每个摄像头都划定边界。划定的原则：使得所有摄像头监控的区域拼接起来能覆盖整个车间；

步骤5.2，计算划定的红色边界线在各自摄像头画面内的函数表达式，在红色的边界上任意去两个点(u₁,v₁)和(u₂,v₂)，利用斜截式：

b＝y₁-kx₁即可求解方程式。

步骤5.3，以camera1为例，当camera1的图像中检测到人员处在此区域时，则保留该人员；如果检测到人员在此区域以外时，则该人员属于冗余人员，需要删除其信息。其他摄像头的情况也是按照这种方式处理。

步骤6，将图像场景中人员位置的检测信息精准映射到实际车间现场，获取物理世界实时的人员位置信息，具体包括以下步骤：

步骤6.1、如图7所示，在车间现场采集大量实际二维坐标点(x,y)和与之对应的像素坐标(u,v)，组成训练集。图中选择图像的左上角O1作为像素坐标系原点，选择图中的O2作为物理世界坐标系的原点。在图中的地面上沿着纵横(x,y)两个方向，每隔20cm贴上一条绿色的纸带。纵横两个方向上相邻的两条绿色纸带组成一个边长20cm的正方形。将地面上正方形的四个角点作为物理世界坐标系上的点，记录他们的物理坐标(x,y)；将图像上正方形的四个角点作为图像像素坐标系上的点，记录他们的像素坐标(u,v)。像素坐标系上的点和物理世界坐标系上的点一一对应。

步骤6.2、利用上述训练集，训练多输出回归模型。利用这个模型，拟合图像中人员所在的像素坐标(u,v)与物理世界中实际人员所在的物理坐标(x,y)的映射关系f，即：

f(u,v)＝(x,y)。

使用sklearn工具库中的multioutput算法实现多输出回归的任务。采用GBDT模型作为multioutput算法的元评估器，使用上述训练集对模型进行调参。主要需要调整的参数如下表：

表1GBDT模型需要调整参数说明

调参过程中的说明如下：

(1)使用均方误差损失。回归任务常使用均方误差损失，在本发明研究的问题中，数据的噪声较少，使用均方误差损失收敛较快。如果训练集中噪声数据较多，建议使用Huber损失；

(2)调参原则：每次只调整一个参数，固定其他参数不变。第一次调参时，除第一个参数以外的参数均使用模型的默认值。确定一个参数再接着往下调整另一个参数。

(3)如果训练集比较小，则建议使用交叉验证。根据训练集的大小选用5折或10折交叉验证。

(4)模型的评价指标：仍然选用均方误差。

步骤7，将物理世界中的实时人员位置信息作为人员孪生数据构建人员的数字孪生体，具体包括以下步骤：

步骤7.1，将人员的物理位置信息(x,y)作为人员孪生数据，通过企业OPC UA端口传输到车间孪生数据服务平台。车间孪生数据服务平台接受包括来自装备孪生体的孪生数据，产品孪生体的孪生数据，人员孪生体的孪生数据等，本发明只传输人员孪生体的孪生数据；

步骤7.2，在三维仿真软件中建立车间的三维模型；

步骤7.3，虚拟车间中的人员模型实时获取人员孪生数据，并动态呈现人员运动轨迹，形成物理车间的映射。

Claims (5)

1.一种车间人员数字孪生体模型快速构建方法，其特征在于，包括以下步骤：

步骤1，在车间全局范围内构建全方位监控的多摄像头组成的视觉传感网络；

步骤2，对每个摄像头进行离线标定，每个摄像头实时同步采集视频图像；

步骤3，对图像利用深度卷积神经网络YOLO v3对其进行人员识别与检测；

步骤4，合并多个摄像头的图像检测信息，消除重叠区域人员冗余；

步骤5，将图像场景中人员位置的检测信息映射到实际车间现场，获取物理世界实时的人员位置信息；

步骤6，将物理世界中的实时人员位置信息作为人员孪生数据构建人员的数字孪生体；

步骤2中对每个摄像头进行离线标定的具体步骤为：

步骤2.1.1，制作黑白棋盘格标定板；

步骤2.1.2，将标定板放到摄像头成像区域内，从摄像头中获取待标定图片；

步骤2.1.3，利用张正友标定法进行摄像头标定；

步骤2.1.4，根据摄像头标定参数矫正图像；

步骤2中同步采集视频图像的具体方法为：

步骤2.2.1，开启N+1个线程，其中N个为截图线程ThreadCamrea[i]，ThreadCamrea[i]的状态由布尔数组isworking[i]决定；当isworking[i]=true时，ThreadCamrea[i]开始截图；当isworking[i]=false时，ThreadCamrea[i]停止截图；

剩下的1个线程是控制线程ThreadControl，其通过标志位lock控制isworking的值；

步骤2.2.2，ThreadCamrea[i]读取各自摄像头的视频画面frame[i]，初始状态下，isworking[i]和lock都默认为true，ThreadCamrea[i]对frame[i]进行畸变矫正并保存；

步骤2.2.3，当ThreadCamrea[i]完成截图后，其对应的isworking[i]会被设置为false，ThreadCamrea[i]停止截图；

步骤2.2.4、标志位lock实时地对isworking[i]布尔数组中的所有元素进行检查，当isworking[i]的元素值全都变成false的时候，表明N个视频流N张图像在当前时刻下采集成功，此时lock将被设置成false；

步骤2.2.5，当lock被设置成false，ThreadControl把isworking[i]中的所有元素全部重新翻转为true，使得ThreadCamrea[i]同时开始截图；

步骤2.2.6，转步骤2.2.2，开始下一轮截图，重复循环。

2.根据权利要求1所述的方法，其特征在于，步骤3的具体过程为：

步骤3.1，将图像的RGB三个通道的数值归一化；

步骤3.2，采集大量车间现场图像数据，对人员进行人工标记，并训练目标检测网络YOLO v3直至模型收敛；

步骤3.3，利用收敛的目标检测网络YOLO v3对来自多摄像头的视频帧图像进行人员检测，计算出人员在图像中的位置。

3.根据权利要求1所述的方法，其特征在于，步骤4的具体过程为：

步骤4.1，划定每个摄像头监控的边界线，所有摄像头监控的区域拼接起来覆盖整个车间；

步骤4.2，计算上述边界线在像素坐标系中的直线解析式；

步骤4.3，将处在边界线包围区域之外的人员进行删除，保留边界线包围区域之内的人员。

4.根据权利要求1所述的方法，其特征在于，步骤5的具体过程为：

步骤5.1，在车间现场采集大量实际二维坐标点

，并在对应的图像中获取

所对应的像素坐标

；

步骤5.2，利用机器学习的多输出回归算法，拟合图像中人员所在的像素坐标

与物理世界中实际人员所在的物理坐标

的映射关系f。

5.根据权利要求1所述的方法，其特征在于，步骤6的具体过程为：

步骤6.1，将人员的位置信息作为人员孪生数据传输到车间孪生数据服务平台；

步骤6.2，在虚拟世界中建立车间的三维模型；

步骤6.3，虚拟车间中的人员模型实时获取人员孪生数据，并动态呈现人员运动轨迹，形成物理车间的映射。

Images