CN115077488B - 一种基于数字孪生的厂区人员实时定位监测系统和方法 - Google Patents

一种基于数字孪生的厂区人员实时定位监测系统和方法 Download PDF

Info

Publication number
CN115077488B
CN115077488B CN202210586234.3A CN202210586234A CN115077488B CN 115077488 B CN115077488 B CN 115077488B CN 202210586234 A CN202210586234 A CN 202210586234A CN 115077488 B CN115077488 B CN 115077488B
Authority
CN
China
Prior art keywords
personnel
camera
information
module
twin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210586234.3A
Other languages
English (en)
Other versions
CN115077488A (zh
Inventor
丁伟利
张凯
华长春
卢迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yankong Technology Qinhuangdao Co ltd
Yanshan University
Original Assignee
Yankong Technology Qinhuangdao Co ltd
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yankong Technology Qinhuangdao Co ltd, Yanshan University filed Critical Yankong Technology Qinhuangdao Co ltd
Priority to CN202210586234.3A priority Critical patent/CN115077488B/zh
Publication of CN115077488A publication Critical patent/CN115077488A/zh
Application granted granted Critical
Publication of CN115077488B publication Critical patent/CN115077488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明公开了一种基于数字孪生的厂区人员实时定位监测系统和方法，系统包括设置于实际生产厂区的多个摄像机监控模块，多摄像机监控模块捕获厂区内工作场景视频流将其传输至厂区数字孪生服务器端，所述厂区数字孪生服务器端包括视频流传输模块、视频处理与人员识别定位模块、数据库模块和数据融合传输模块；数据融合传输模块读取数据库模块中人员信息传输至数字孪生客户端软件；所述厂区数字孪生客户端包括厂区数字孪生体、多摄像机数字孪生体、人员孪生体和人员信息处理模块，人员信息处理模块以人员信息指定的多摄像机数字孪生体作为局部坐标原点，分配或更新人员孪生体到指定位置，最终在厂区数字孪生体中监测人员的位置。

Description

一种基于数字孪生的厂区人员实时定位监测系统和方法
技术领域
本发明涉及数字孪生技术领域，尤其是一种基于数字孪生的厂区人员实时定位监测系统和方法。
背景技术
数字孪生技术(Digital twin)指在信息化平台内模拟物理实体、流程或系统，构建实体系统在信息化平台中的双胞胎。借助于数字孪生，可以在信息化平台上了解物理实体的状态，甚至可以对物理实体里面预定义的接口组件进行控制。中国专利公开号CN111935645A公开了一种基于UWB的人员定位系统，使用UWB基站和便携式信号发射器来确定人员位置，定位精度较高。其不足之处是其成本较高，性价比较低。为了降低UWB系统的成本，另有使用蓝牙作为定位设备并且辅以二三维一体化的人员定位系统，如中国专利公开号CN112383960A，其使用成本更低的蓝牙设备，将人员的位置反映在根据厂区建设的二维场景中。上述发明的不足之处在于二维场景提供的信息有限，并且使用无人机采集场景信息难免受到高程的杂物遮挡，丢失场景细节。
为了降低定位设备成本，并且获取更多的场景信息，更全面的获取人员的定位信息。在数字孪生应用场景越来越广泛的今天，亟需开发一种新的人员定位系统。
发明内容
本发明需要解决的技术问题是提供一种基于数字孪生的厂区人员实时定位监测系统和方法，使用数字孪生技术，可以实现厂区人员在数字孪生场景中的映射，从而实现人员的定位，增加了人员系统的交互性和多样性。
为解决上述技术问题，本发明所采用的技术方案是：一种基于数字孪生的厂区人员实时定位监测系统，包括设置于实际生产厂区的多个摄像机监控模块，多摄像机监控模块捕获厂区内工作场景视频流将其传输至厂区数字孪生服务器端，所述厂区数字孪生服务器端设于实际生产厂区同一台服务器上，所述厂区数字孪生服务器端包括视频流传输模块、视频处理与人员识别定位模块、数据库模块和数据融合传输模块；所述视频流传输模块用于按照摄像机编号获取实际厂区的视频流，视频处理与人员识别定位模块并发地提取视频流中的人员信息，提取出的人员信息被存储到数据库模块中，数据融合传输模块读取数据库模块中人员信息传输至数字孪生客户端软件；所述厂区数字孪生客户端设于实际生产厂区主控室中的一台图形工作站上，所述厂区数字孪生客户端包括厂区数字孪生体、多摄像机数字孪生体、人员孪生体和人员信息处理模块，其中人员信息处理模块接收厂区数字孪生服务器端传输的人员信息，将人员信息中的像平面坐标转换为局部世界系坐标，以人员信息指定的多摄像机数字孪生体作为局部坐标原点，分配或更新人员孪生体到指定位置，最终在厂区数字孪生体中监测人员的位置。
本发明技术方案的进一步改进在于：所述多摄像机监控模块与视频流传输模块通过POE有线连接，所述厂区数字孪生服务器端中视频流传输模块、视频处理与人员识别定位模块、数据库模块和数据融合传输模块在同一计算机中本地传输，所述数据融合传输模块与人员信息处理模块通过socket局域网连接。
本发明技术方案的进一步改进在于：所述厂区数字孪生体和多摄像机数字孪生体以实际生产厂区和多摄像机监控模块为原型进行1:1静态孪生构建，所述人员孪生体以工作人员为原型进行动态孪生构建，系统根据实际生产厂区内人员数量分配人员孪生体，人员孪生体随着对应人员的位置变化更新其位置和局部定位摄像机。
本发明技术方案的进一步改进在于：一种基于数字孪生的厂区人员实时定位监测方法，包括如下步骤：
步骤S1、构建多摄像机数字孪生体：布置厂区多摄像机监控模块，根据其位置的生产厂区-车间-生产线加以编号，每个生产路径的摄像机为一组，各组中相邻摄像机的视野需有一定程度的重叠，获取各厂区摄像机位置、标定信息和编号，根据各厂区摄像机位置、标定信息和编号静态构建多摄像机数字孪生体；
步骤S2、视频流传输模块按照摄像机编号顺序获取实际厂区的视频信息流；
步骤S3、视频处理与人员识别定位模块对输入的视频流进行并发的人员信息提取，视频处理与人员识别定位模块检测到输入视频流中存在工作人员i，则将此时的系统时间作为该人员信息中的时间Ti，输入该视频流信号的摄像机编号作为该人员信息中的摄像机编号Ci,检测到的人员锚框像平面坐标记为(ui,vi)，将这些信息存储到数据库模块中；
步骤S4、数据库模块存储视频处理与人员识别定位模块中得到人员i的信息,每个人员对应的TABLE包含以下列：TIME,CAMERA_INDEX,VECTOR,分别对应人员识别定位模块中获取到的人员信息Ti,Ci,(ui,vi)；同一个人员的信息表以TIME为主索引进行排序；如果数据库中没有人员i的历史信息，则新建表TABLE I存储人员信息，否则根据人员信息中的时间Ti的先后顺序将数据插入已存在的TABLE I中；
步骤S5、数据融合传输模块将TABLE I中时间最靠后的一行数据整合为向量(Ti,Ci,ui,vi)，传输至厂区数字孪生客户端中的人员信息处理模块；
步骤S6、人员信息处理模块根据人员信息中的摄像机编号Ci确定人员定位局部世界坐标系原点；
步骤S7、人员信息处理模块将服务器传输的整合信息中的人员坐标由像素坐标系转换至摄像机的局部世界坐标系下坐标；
步骤S8、更新人员的局部坐标系原点及局部坐标系坐标，从而更新人员位置，实现人员的动态孪生构建，最终在厂区数字孪生体中还原人员在物理厂区中的具体位置。
本发明技术方案的进一步改进在于：所述步骤S3的具体步骤如下：
步骤S31、按照视频流传输模块采集视频流的编号，按照标号顺序将各实时视频设置为输入视频流；
步骤S32、通过YOLO v5深度学习框架进行人员检测，如果检测到人员，则对该人员进行的体型、衣着进行特征提取，深度学习框架自动分配人员编号，查找数据库是否存在该编号人员，如果数据库已存在该工作人员的TABLE，则将其作为该编号人员的新的人员信息进行记录，否则数据库新建TABLE存储新增人员的人员信息，确保整个系统内的每个人员编号唯一，作为人员信息的索引；
步骤S33、深度学习框架在视频流中检测到人员的系统时间记为Ti作为人员信息中的时间信息；
步骤S34、将检测到人员的视频流对应的摄像机编号记为Ci作为人员信息中的摄像机编号信息；
步骤S35、深度学习框架使用锚框将不同人员从视频流中标记出来，锚框左下角像平面坐标记为(ui，vi)；
步骤S36、将各个人员的信息写入数据库模块中对应的TABLE中进行管理和存储。
本发明技术方案的进一步改进在于：所述步骤S6的坐标系转换具体步骤如下：
步骤S61、针对于服务器传输的第i个人员信息，将其整合信息中的(ui，vi)作为像素坐标系输入；
步骤S62、将像素坐标系下的坐标(ui，vi)转换为图像坐标系下的坐标(xi，yi)，转换公式为：
Figure BDA0003663530990000041
其中(xi，yi)为人员i在理想的图像坐标系下锚框坐标点，(ui，vi)为锚框底边坐标，(u0，v0)为图像平面中点；
步骤S63、将图像坐标系下的坐标(xi，yi)转换为相机坐标系下的坐标(XCi，YCi，ZCi)，转换公式为：
Figure BDA0003663530990000051
其中，XCi为锚框在相机坐标系下对应的X轴坐标，YCi为锚框在相机坐标系下对应的Y轴坐标，ZCi为锚框在相机坐标系下对应的Z轴坐标，是像素坐标(ui，vi)在相机坐标系下的深度信息，该信息通过深度学习框架monodepth2训练的模型获取，f为摄像机焦距；
步骤S64、将相机坐标系下的坐标(XCi，YCi，ZCi)转换为世界坐标系坐标(XWi，YWi，ZWi)，转换公式为：
Figure BDA0003663530990000052
步骤S65、通过上述步骤将人员信息中人员坐标(ui，vi)转换为了局部世界坐标系下坐标的(XWi，YWi，ZWi)。
本发明技术方案的进一步改进在于：所述步骤S8的具体步骤如下：
步骤S81、人员信息处理模块读取人员信息中的摄像机编号Ci，将对应摄像机数字孪生体位置作为人员孪生体的局部坐标系原点；
步骤S82、对实际摄像机与其对应数字孪生体视野进行一次匹配以保证视野一致性；
步骤S83、人员信息处理模块读取人员融合信息中人员坐标(XWi，YWi，ZWi)，若此时已存在人员孪生体i，则将其位置更新至编号为Ci的摄像机为坐标原点的局部世界坐标系的(XWi，YWi，ZWi)坐标处，若不存在人员孪生体i，则人员信息处理模块将直接分配人员孪生体i至编号为Ci的摄像机为坐标原点的局部世界坐标系的(XWi，YWi，ZWi)坐标处；
步骤S84、人员信息处理模块如果接收到数字孪生服务器端中数据融合传输模块传输的最新的人员i的人员信息，则重复步骤S81-S83从而不断更新人员孪生的位置及姿态。
由于采用了上述技术方案，本发明取得的技术进步是：
1、本发明使用数字孪生技术，可以实现实际生产厂区人员在数字孪生场景中的映射，从而实现人员的定位，增加了人员系统的交互性和多样性；
2、本发明使用了多个深度学习框架用于获取人员信息，在累积了历史数据之后可以进一步完善框架提高人员的定位精度；
3、本发明使用实际生产厂区已有的摄像机设备构建多摄像机监控模块，添置设备少，减少了定位成本；
4、本发明使用数据库管理人员信息，可以进行历史数据的查看，从而溯源人员历史位置，提高了厂区的安全性。
附图说明
图1为本发明的整体系统构架图；
图2为本发明进行系统运作的流程图；
图3为本发明摄像机数字孪生体的系统分图；
具体实施方式
下面结合实施例对本发明做进一步详细说明：
如图1所示，一种基于数字孪生的厂区人员实时定位监测系统，包括设置于实际生产厂区的多个摄像机监控模块，多摄像机监控模块捕获厂区内工作场景视频流将其传输至厂区数字孪生服务器端，所述厂区数字孪生服务器端设于实际生产厂区同一台服务器上，所述厂区数字孪生服务器端包括视频流传输模块、视频处理与人员识别定位模块、数据库模块和数据融合传输模块，厂区数字孪生服务器端中视频流传输模块、视频处理与人员识别定位模块、数据库模块和数据融合传输模块在同一计算机中本地传输；所述视频流传输模块用于按照摄像机编号获取实际厂区的视频流，多摄像机监控模块与视频流传输模块通过POE有线连接，视频处理与人员识别定位模块并发地提取视频流中的人员信息，提取出的人员信息被存储到数据库模块中，数据融合传输模块读取数据库模块中人员信息传输至数字孪生客户端软件；所述厂区数字孪生客户端设于实际生产厂区主控室中的一台图形工作站上，所述厂区数字孪生客户端包括厂区数字孪生体、多摄像机数字孪生体、人员孪生体和人员信息处理模块，所述厂区数字孪生体和多摄像机数字孪生体以实际生产厂区和多摄像机监控模块为原型进行1:1静态孪生构建，所述人员孪生体以工作人员为原型进行动态孪生构建，系统根据实际生产厂区内人员数量分配人员孪生体，人员孪生体随着对应人员的位置变化更新其位置和局部定位摄像机。
数据融合传输模块与人员信息处理模块通过socket局域网连接，人员信息处理模块接收厂区数字孪生服务器端传输的人员信息，将人员信息中的像平面坐标转换为局部世界系坐标，以人员信息指定的多摄像机数字孪生体作为局部坐标原点，分配或更新人员孪生体到指定位置，最终在厂区数字孪生体中监测人员的位置。
如图2所示，一种基于数字孪生的厂区人员实时定位监测方法，包括如下步骤：
步骤S1、构建多摄像机数字孪生体：如图3所示，布置厂区多摄像机监控模块，根据其位置的生产厂区-车间-生产线加以编号，每个生产路径的摄像机为一组，各组中相邻摄像机的视野需有一定程度的重叠，获取各厂区摄像机位置、标定信息和编号，根据各厂区摄像机位置、标定信息和编号静态构建多摄像机数字孪生体；
步骤S2、视频流传输模块按照摄像机编号顺序获取实际厂区的视频信息流；
步骤S3、视频处理与人员识别定位模块对输入的视频流进行并发的人员信息提取，视频处理与人员识别定位模块检测到输入视频流中存在工作人员i，则将此时的系统时间作为该人员信息中的时间Ti，输入该视频流信号的摄像机编号作为该人员信息中的摄像机编号Ci，检测到的人员锚框像平面坐标记为(ui，vi)，将这些信息存储到数据库模块中；具体步骤如下：
步骤S31、按照视频流传输模块采集视频流的编号，按照标号顺序将各实时视频设置为输入视频流；
步骤S32、通过YOLO v5深度学习框架进行人员检测，如果检测到人员，则对该人员进行的体型、衣着进行特征提取，深度学习框架自动分配人员编号，查找数据库是否存在该编号人员，如果数据库已存在该工作人员的TABLE，则将其作为该编号人员的新的人员信息进行记录，否则数据库新建TABLE存储新增人员的人员信息，确保整个系统内的每个人员编号唯一，作为人员信息的索引；
步骤S33、深度学习框架在视频流中检测到人员的系统时间记为Ti作为人员信息中的时间信息；
步骤S34、将检测到人员的视频流对应的摄像机编号记为Ci作为人员信息中的摄像机编号信息；
步骤S35、深度学习框架使用锚框将不同人员从视频流中标记出来，锚框左下角像平面坐标记为(ui，vi)；
步骤S36、将各个人员的信息写入数据库模块中对应的TABLE中进行管理和存储。
步骤S4、数据库模块存储视频处理与人员识别定位模块中得到人员i的信息，每个人员对应的TABLE包含以下列：TIME，CAMERA_INDEX，VECTOR，分别对应人员识别定位模块中获取到的人员信息Ti，Ci，(ui，vi)；同一个人员的信息表以TIME为主索引进行排序；如果数据库中没有人员i的历史信息，则新建表TABLEI存储人员信息，否则根据人员信息中的时间Ti的先后顺序将数据插入已存在的TABLE I中；
步骤S5、数据融合传输模块将TABLE I中时间最靠后的一行数据整合为向量(Ti，Ci，ui，vi)，传输至厂区数字孪生客户端中的人员信息处理模块；
步骤S6、人员信息处理模块根据人员信息中的摄像机编号Ci确定人员定位局部世界坐标系原点；坐标系转换具体步骤如下：
步骤S61、针对于服务器传输的第i个人员信息，将其整合信息中的(ui，vi)作为像素坐标系输入；
步骤S62、将像素坐标系下的坐标(ui，vi)转换为图像坐标系下的坐标(xi，yi)，转换公式为：
Figure BDA0003663530990000091
其中(xi，yi)为人员i在理想的图像坐标系下锚框坐标点，(ui，vi)为锚框底边坐标，(u0，v0)为图像平面中点；
步骤S63、将图像坐标系下的坐标(xi，yi)转换为相机坐标系下的坐标(XCi，YCi，ZCi)，转换公式为：
Figure BDA0003663530990000092
其中，XCi为锚框在相机坐标系下对应的X轴坐标，YCi为锚框在相机坐标系下对应的Y轴坐标，ZCi为锚框在相机坐标系下对应的Z轴坐标，是像素坐标(ui，vi)在相机坐标系下的深度信息，该信息通过深度学习框架monodepth2训练的模型获取，f为摄像机焦距；
步骤S64、将相机坐标系下的坐标(XCi，YCi，ZCi)转换为世界坐标系坐标(XWi，YWi，ZWi)，转换公式为：
Figure BDA0003663530990000101
步骤S65、通过上述步骤将人员信息中人员坐标(ui，vi)转换为了局部世界坐标系下坐标的(XWi，YWi，ZWi)。
步骤S7、人员信息处理模块将服务器传输的整合信息中的人员坐标由像素坐标系转换至摄像机的局部世界坐标系下坐标；
步骤S8、更新人员的局部坐标系原点及局部坐标系坐标，从而更新人员位置，实现人员的动态孪生构建，最终在厂区数字孪生体中还原人员在物理厂区中的具体位置，具体步骤如下：
步骤S81、人员信息处理模块读取人员信息中的摄像机编号Ci，将对应摄像机数字孪生体位置作为人员孪生体的局部坐标系原点；
步骤S82、对实际摄像机与其对应数字孪生体视野进行一次匹配以保证视野一致性；
步骤S83、人员信息处理模块读取人员融合信息中人员坐标(XWi，YWi，ZWi)，若此时已存在人员孪生体i，则将其位置更新至编号为Ci的摄像机为坐标原点的局部世界坐标系的(XWi，YWi，ZWi)坐标处，若不存在人员孪生体i，则人员信息处理模块将直接分配人员孪生体i至编号为Ci的摄像机为坐标原点的局部世界坐标系的(XWi，YWi，ZWi)坐标处；
步骤S84、人员信息处理模块如果接收到数字孪生服务器端中数据融合传输模块传输的最新的人员i的人员信息，则重复步骤S81-S83从而不断更新人员孪生的位置及姿态。

Claims (6)

1.一种基于数字孪生的厂区人员实时定位监测方法，其特征在于，采用基于数字孪生的厂区人员实时定位监测系统，该系统包括设置于实际生产厂区的多个摄像机监控模块，多摄像机监控模块捕获厂区内工作场景视频流将其传输至厂区数字孪生服务器端，所述厂区数字孪生服务器端设于实际生产厂区同一台服务器上，所述厂区数字孪生服务器端包括视频流传输模块、视频处理与人员识别定位模块、数据库模块和数据融合传输模块；所述视频流传输模块用于按照摄像机编号获取实际厂区的视频流，视频处理与人员识别定位模块并发地提取视频流中的人员信息，提取出的人员信息被存储到数据库模块中，数据融合传输模块读取数据库模块中人员信息传输至数字孪生客户端软件；所述厂区数字孪生客户端设于实际生产厂区主控室中的一台图形工作站上，所述厂区数字孪生客户端包括厂区数字孪生体、多摄像机数字孪生体、人员孪生体和人员信息处理模块，其中人员信息处理模块接收厂区数字孪生服务器端传输的人员信息，将人员信息中的像平面坐标转换为局部世界系坐标，以人员信息指定的多摄像机数字孪生体作为局部坐标原点，分配或更新人员孪生体到指定位置，最终在厂区数字孪生体中监测人员的位置；采用基于数字孪生的厂区人员实时定位监测系统的监测方法包括如下步骤：
步骤S1、构建多摄像机数字孪生体：布置厂区多摄像机监控模块，根据其位置的生产厂区-车间-生产线加以编号，每个生产路径的摄像机为一组，各组中相邻摄像机的视野需有一定程度的重叠，获取各厂区摄像机位置、标定信息和编号，根据各厂区摄像机位置、标定信息和编号静态构建多摄像机数字孪生体；
步骤S2、视频流传输模块按照摄像机编号顺序获取实际厂区的视频信息流；
步骤S3、视频处理与人员识别定位模块对输入的视频流进行并发的人员信息提取，视频处理与人员识别定位模块检测到输入视频流中存在工作人员i，则将此时的系统时间作为该人员信息中的时间Ti，输入该视频流信号的摄像机编号作为该人员信息中的摄像机编号Ci,检测到的人员锚框像平面坐标记为(ui,vi)，将这些信息存储到数据库模块中；
步骤S4、数据库模块存储视频处理与人员识别定位模块中得到人员i的信息,每个人员对应的TABLE包含以下列：TIME,CAMERA_INDEX,VECTOR,分别对应人员识别定位模块中获取到的人员信息Ti,Ci,(ui,vi)；同一个人员的信息表以TIME为主索引进行排序；如果数据库中没有人员i的历史信息，则新建表TABLE I存储人员信息，否则根据人员信息中的时间Ti的先后顺序将数据插入已存在的TABLE I中；
步骤S5、数据融合传输模块将TABLE I中时间最靠后的一行数据整合为向量(Ti,Ci,ui,vi)，传输至厂区数字孪生客户端中的人员信息处理模块；
步骤S6、人员信息处理模块根据人员信息中的摄像机编号Ci确定人员定位局部世界坐标系原点；
步骤S7、人员信息处理模块将服务器传输的整合信息中的人员坐标由像素坐标系转换至摄像机的局部世界坐标系下坐标；
步骤S8、更新人员的局部坐标系原点及局部坐标系坐标，从而更新人员位置，实现人员的动态孪生构建，最终在厂区数字孪生体中还原人员在物理厂区中的具体位置。
2.根据权利要求1所述的一种基于数字孪生的厂区人员实时定位监测方法，其特征在于：所述多摄像机监控模块与视频流传输模块通过POE有线连接，所述厂区数字孪生服务器端中视频流传输模块、视频处理与人员识别定位模块、数据库模块和数据融合传输模块在同一计算机中本地传输，所述数据融合传输模块与人员信息处理模块通过socket局域网连接。
3.根据权利要求1所述的一种基于数字孪生的厂区人员实时定位监测方法，其特征在于：所述厂区数字孪生体和多摄像机数字孪生体以实际生产厂区和多摄像机监控模块为原型进行1:1静态孪生构建，所述人员孪生体以工作人员为原型进行动态孪生构建，系统根据实际生产厂区内人员数量分配人员孪生体，人员孪生体随着对应人员的位置变化更新其位置和局部定位摄像机。
4.根据权利要求1所述的一种基于数字孪生的厂区人员实时定位监测方法，其特征在于：所述步骤S3的具体步骤如下：
步骤S31、按照视频流传输模块采集视频流的编号，按照标号顺序将各实时视频设置为输入视频流；
步骤S32、通过YOLO v5深度学习框架进行人员检测，如果检测到人员，则对该人员进行的体型、衣着进行特征提取，深度学习框架自动分配人员编号，查找数据库是否存在该编号人员，如果数据库已存在该工作人员的TABLE，则将其作为该编号人员的新的人员信息进行记录，否则数据库新建TABLE存储新增人员的人员信息，确保整个系统内的每个人员编号唯一，作为人员信息的索引；
步骤S33、深度学习框架在视频流中检测到人员的系统时间记为Ti作为人员信息中的时间信息；
步骤S34、将检测到人员的视频流对应的摄像机编号记为Ci作为人员信息中的摄像机编号信息；
步骤S35、深度学习框架使用锚框将不同人员从视频流中标记出来，锚框左下角像平面坐标记为(ui,vi)；
步骤S36、将各个人员的信息写入数据库模块中对应的TABLE中进行管理和存储。
5.根据权利要求4所述的一种基于数字孪生的厂区人员实时定位监测方法，其特征在于：所述步骤S6的坐标系转换具体步骤如下：
步骤S61、针对于服务器传输的第i个人员信息，将其整合信息中的(ui,vi)作为像素坐标系输入；
步骤S62、将像素坐标系下的坐标(ui,vi)转换为图像坐标系下的坐标(xi,yi)，转换公式为：
Figure FDA0004052335290000041
其中(xi,yi)为人员i在理想的图像坐标系下锚框坐标点，(ui,vi)
为锚框底边坐标，(u0,v0)为图像平面中点；
步骤S63、将图像坐标系下的坐标(xi,yi)转换为相机坐标系下的坐标(XCi,YCi,ZCi)，转换公式为：
Figure FDA0004052335290000042
其中，XCi为锚框在相机坐标系下对应的X轴坐标，YCi为锚框在相机坐标系下对应的Y轴坐标，ZCi为锚框在相机坐标系下对应的Z轴坐标，是像素坐标(ui,vi)在相机坐标系下的深度信息，该信息通过深度学习框架monodepth2训练的模型获取，f为摄像机焦距；
步骤S64、将相机坐标系下的坐标(XCi,YCi,ZCi)转换为世界坐标系坐标(XWi,YWi,ZWi)，转换公式为：
Figure FDA0004052335290000043
步骤S65、通过上述步骤将人员信息中人员坐标(ui,vi)转换为了局部世界坐标系下坐标的(XWi,YWi,ZWi)。
6.根据权利要求5所述的一种基于数字孪生的厂区人员实时定位监测方法，其特征在于：所述步骤S8的具体步骤如下：
步骤S81、人员信息处理模块读取人员信息中的摄像机编号Ci，将对应摄像机数字孪生体位置作为人员孪生体的局部坐标系原点；
步骤S82、对实际摄像机与其对应数字孪生体视野进行一次匹配以保证视野一致性；
步骤S83、人员信息处理模块读取人员融合信息中人员坐标(XWi,YWi,ZWi)，若此时已存在人员孪生体i，则将其位置更新至编号为Ci的摄像机为坐标原点的局部世界坐标系的(XWi,YWi,ZWi)坐标处，若不存在人员孪生体i，则人员信息处理模块将直接分配人员孪生体i至编号为Ci的摄像机为坐标原点的局部世界坐标系的(XWi,YWi,ZWi)坐标处；
步骤S84、人员信息处理模块如果接收到数字孪生服务器端中数据融合传输模块传输的最新的人员i的人员信息，则重复步骤S81-S83从而不断更新人员孪生的位置及姿态。
CN202210586234.3A 2022-05-26 2022-05-26 一种基于数字孪生的厂区人员实时定位监测系统和方法 Active CN115077488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210586234.3A CN115077488B (zh) 2022-05-26 2022-05-26 一种基于数字孪生的厂区人员实时定位监测系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210586234.3A CN115077488B (zh) 2022-05-26 2022-05-26 一种基于数字孪生的厂区人员实时定位监测系统和方法

Publications (2)

Publication Number Publication Date
CN115077488A CN115077488A (zh) 2022-09-20
CN115077488B true CN115077488B (zh) 2023-04-28

Family

ID=83249173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210586234.3A Active CN115077488B (zh) 2022-05-26 2022-05-26 一种基于数字孪生的厂区人员实时定位监测系统和方法

Country Status (1)

Country Link
CN (1) CN115077488B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660429B (zh) * 2022-12-29 2023-06-30 南京数信智能科技有限公司 适用于水泥智能制造的数据处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053085A (zh) * 2020-09-16 2020-12-08 四川大学 一种基于数字孪生的机场场面运行管理系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359507B (zh) * 2018-08-24 2021-10-08 南京理工大学 一种车间人员数字孪生体模型快速构建方法
US20200304375A1 (en) * 2019-03-19 2020-09-24 Microsoft Technology Licensing, Llc Generation of digital twins of physical environments
CN111091611B (zh) * 2019-12-25 2023-05-26 青岛理工大学 一种面向车间数字孪生的增强现实系统及方法
CN112465688A (zh) * 2020-11-24 2021-03-09 张新房 一种专用于计算机识别的孪生相机
CN112396658B (zh) * 2020-11-30 2024-03-19 同济人工智能研究院(苏州)有限公司 一种基于视频的室内人员定位方法及定位系统
CN114018237B (zh) * 2021-10-09 2023-11-24 烟台杰瑞石油服务集团股份有限公司 一种基于数字孪生的井场定位方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053085A (zh) * 2020-09-16 2020-12-08 四川大学 一种基于数字孪生的机场场面运行管理系统及方法

Also Published As

Publication number Publication date
CN115077488A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
WO2019170166A1 (zh) 深度相机标定方法以及装置、电子设备及存储介质
CN110781725B (zh) 一种实验室数据采集及管理系统
US20210056751A1 (en) Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method
US11178386B2 (en) Automated spatial indexing of images to video
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
CN106959691A (zh) 可移动电子设备和即时定位与地图构建方法
CN112815923B (zh) 视觉定位方法和装置
CN110428449A (zh) 目标检测跟踪方法、装置、设备及存储介质
CN115077488B (zh) 一种基于数字孪生的厂区人员实时定位监测系统和方法
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN107102833A (zh) 线路信息互动方法及电子设备
CN113947742A (zh) 一种基于人脸识别的人员轨迹追踪方法与装置
CN110717994A (zh) 远程视频交互的实现方法及相关设备
CN112788110A (zh) 一种基于云边协同模型优化的产品外观检测方法及其实现系统
CN116630394A (zh) 一种三维建模约束的多模态目标物体姿态估计方法及系统
JP5707238B2 (ja) 画像検索装置及び画像検索システム
CN111915671A (zh) 一种工作区域的人员轨迹跟踪方法和系统
CN112260402A (zh) 基于视频监控的变电站智能巡检机器人状态的监控方法
CN111681269A (zh) 一种基于空间一致性的多摄像机协同人物追踪系统及训练方法
JP2021035002A (ja) 画像特定システムおよび画像特定方法
CN115633147A (zh) 一种基于5g多视角的多人远程协作指导系统
CN107993247A (zh) 追踪定位方法、系统、介质和计算设备
CN114048541A (zh) 基于数字孪生的资产空间标记方法及系统
CN114693749A (zh) 一种用于关联不同的物理坐标系的方法及系统
CN111399634B (zh) 一种手势引导物体识别的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant