CN115798042A - 一种基于数字孪生的自动扶梯乘客异常行为数据构建方法 - Google Patents

一种基于数字孪生的自动扶梯乘客异常行为数据构建方法 Download PDF

Info

Publication number
CN115798042A
CN115798042A CN202211508234.8A CN202211508234A CN115798042A CN 115798042 A CN115798042 A CN 115798042A CN 202211508234 A CN202211508234 A CN 202211508234A CN 115798042 A CN115798042 A CN 115798042A
Authority
CN
China
Prior art keywords
joint
data
passenger
escalator
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211508234.8A
Other languages
English (en)
Inventor
吕楠
肖刚
王琪冰
陆佳炜
李琛
董锦锦
顾海瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202211508234.8A priority Critical patent/CN115798042A/zh
Publication of CN115798042A publication Critical patent/CN115798042A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，首先构建自动扶梯乘客异常行为的数字孪生环境；其次在数字孪生环境中对人体行为建模，生成大量异常行为数据集；接着利用生成的数据集训练人体姿态识别网络，识别出二维人体姿态数据转换到三维空间；然后通过三维空间姿态信息完成对虚拟乘客的姿态绑定，实现现实乘客行为与虚拟乘客动作同步；最后由人体姿态识别结果实现对现实中乘客行为的预警。本发明解决了现实中异常危险行为数据稀缺的问题，再训练人体姿态识别网络实现对实际乘客行为的识别，利用虚拟现实技术将实际乘客行为同步映射到数字虚拟空间中，实现了对乘客危险行为的监测预警，保护了人民群众的生命财产安全。

Description

一种基于数字孪生的自动扶梯乘客异常行为数据构建方法
技术领域
本发明属于自动扶梯监控领域，涉及一种基于数字孪生的自动扶梯乘客异常行为数据构建方法。
背景技术
随着计算机视觉领域的研究不断深入，现实中缺少危险异常行为目标数据，成为了机器视觉领域中对人安全行为监测预警的障碍。数字孪生的涵义是将现实世界的信息在数字信息世界模拟表达，构建数字孪生体实现对现实世界的高逼真建模，数字孪生体可以按照现实世界物理规律运行，能够实现自我感知、监测、预警及决策处理，实现了现实世界与虚拟数字世界的双向协调、动态交互、演化预测。随着现代传感技术、通信技术、人工智能及虚拟现实等技术的不断发展，数字孪生具备了实现的条件。利用数字孪生来解决实际中数据缺失的问题将会成为未来重要的研究方向。
截止至2021年年底，中国电梯的保有量已达879.98万台。随着电梯数量的增加，电梯安全与公众安全的关系也逐渐受到广泛关注。目前，自动扶梯安全监测手段主要有两种：一种是通过在扶梯的出入口分配专门的安保人员来维护扶梯运行的现场秩序，人工维护的方式会耗费巨大的人力资源，即使危险发生也不能立刻使设备停止运行；另一种通过红外线、超声波等装置对人体进行检测，播放“站稳扶好注意安全”的提示语音。以上方式都无法对乘客危险预警和响应，对于电梯安全事故的发生，缺少有效的应对措施。
发明内容
为了克服已有技术的不足，本发明提供了一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，针对乘客的异常行为在数字孪生环境中构建虚拟体，解决了现实中异常危险行为数据稀缺的问题，再训练人体姿态识别网络实现对实际乘客行为的识别，利用虚拟现实技术将实际乘客行为同步映射到数字虚拟空间中，实现了对乘客危险行为的监测预警，保护了人民群众的生命财产安全。
本发明解决其技术问题所采用的技术方案是：
一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，所述方法包括以下步骤：
第一步：自动扶梯乘客异常行为数字孪生环境构建，过程如下：
步骤(1.1)几何模型构建：几何模型的建立是数字孪生构建的基础环节，这决定了数字孪生最后的实现效果，决定了数字孪生的逼真程度，分别构建自动扶梯几何模型与虚拟人物几何模型；
步骤(1.2)场景构建：对几何模型不同部分进行虚拟装配，构建与现实相同的主体；
步骤(1.3)数据传输：孪生数据是使用现实世界真实数据驱动数字空间中的孪生模型的数据，其中孪生数据为乘客行为的视频数据与自动扶梯的运行数据；
第二步：在数字孪生环境中对人体行为建模，生成大量异常行为数据集，过程如下：
步骤(2.1)人体运动学描述，在虚拟空间中，为了人体运动符合现实世界物理规律，将人体简化为骨骼模型，由各个关节的有限旋转位移构成完整的运动姿态；
步骤(2.2)正向运动(FK)，人体姿态正动力学通常是指利用每个关节的相对位移
Figure BDA0003968401770000021
和相对旋转
Figure BDA0003968401770000022
作为输入，计算运动后整个人体姿态
Figure BDA0003968401770000023
的过程，可由下式表示：
Q＝FK(R,T)
其中，M是身体关节的数量，
Figure BDA0003968401770000024
表示第i个关节运动后的三维位姿，
Figure BDA0003968401770000025
表示相对位移矩阵中的第i个关节位置信息，pa(i)表示第i个关节的父关节索引，Rpa(i),i表示第i个关节相对于父关节的旋转，FK代表将位移矩阵和旋转矩阵从根节点递归到所有子节点的过程，由下式表示：
Figure BDA0003968401770000026
式中，Ri为第i个关节相对于静止位姿空间的全局旋转；
步骤(2.3)逆向运动(IK)，即逆运动学是正运动学的反向过程。通过输入期望的人体关节位姿
Figure BDA0003968401770000027
和位移T，可以计算关节的相对旋转R，这个过程表述为：
R＝IK(P,T)
其中，pi表示输入的第i个关节的期望位姿，得到的旋转应满足以下条件：
Figure BDA0003968401770000031
步骤(2.4)人体骨骼模型，是数字孪生中为了表现实际乘客行为而简化的模型，由关节点构成的树状层级结构；
步骤(2.5)乘客异常行为数据生成；
步骤(2.6)按照乘客异常行为的类型，生成大量异常行为数据；
第三步：利用第二步生成的大量异常乘客行为去训练本发明中人体姿态识别网络I-OpenPose，其原理采用VGG19特征提取网络，同时在VGG19中引入特征金字塔来融合提取图像特征Feature Map，Feature Map作为输入，进入两个分支PAFs和PCM，利用PAFs来表达像素点在姿态上的走向，将识别的二维姿态信息映射到三维空间中，在第四步使用三维姿态信息绑定虚拟乘客骨骼模型，实现现实乘客与虚拟乘客的行为同步；
其中，PAFs为关节点亲和场，PCM为关节点置信图；
第四步：通过三维空间姿态信息的18个关节点坐标绑定到虚拟人物的骨骼关节点，实现现实乘客行为与虚拟乘客动作同步；
第五步：由第三步中训练的人体姿态识别网络，输入数据为实际自动扶梯的乘客监控视频实现对乘客行为的预警。
进一步，所述步骤(1.1)的过程如下：
步骤(1.1.1)自动扶梯几何模型绘制，依据自动扶梯的八大系统，分别为桁架、梯级系统、扶手带系统、导轨系统、扶手装置、安全保护装置、电气控制系统和润滑系统，利用三维建模软件，构建自动扶梯八个系统模块；
步骤(1.1.1.1)自动扶梯几何模型驱动，对模型中的梯级踏板、驱动轮、扶手带驱动轮、驱动电机、梯级踏板、滚子链及滚轮由实时数据驱动；
步骤(1.1.1.2)运动组件属性进行定义，分别对梯级踏板、驱动轮、扶手带驱动轮、驱动电机、梯级踏板、滚子链及滚轮定义，并且定义运动组件数据接口；
其中，运动组件属性：物理引擎中实现对运动组件位移旋转的可操作性；
其中，定义运动组件数据接口：物理引擎中实现通过真实数据对可运动组件的开始、停止及速度大小控制；
步骤(1.1.2)人物几何模型构建；
步骤(1.1.2.1)绘制虚拟人物几何模型，依据人物行为，将人体模型简化为由18个关节点有限旋转位移的虚拟模型。关节点依次是0脖子，1鼻子，2左眼，3右眼，4左耳，5右耳，6左肩，7右肩，8左肘，9右肘，10左手腕，11右手腕，12左胯骨，13右胯骨，14左膝，15右膝，16左脚踝，17右脚踝；
步骤(1.1.2.2)虚拟人物驱动，将上述虚拟人物的关节点连接起来形成人体骨骼模型，利用第四步的三维空间姿态信息去绑定物理引擎中虚拟人物模型的姿态，控制物理引擎中虚拟人物的运动；
步骤(1.1.2.3)对上述物理引擎中的虚拟人物空间位置重新定向，设置虚拟人物出现的初始位置；
其中，重新定向是将虚拟人物的关节点坐标空间关系重置为起始行为状态的关节点空间分布。
所述步骤(1.2)中，虚拟装配是将自动扶梯的各个系统模块在物理引擎中组装，最后形成与实际自动扶梯对应的虚拟模型；
步骤(1.2.1)将单一下行电梯在物理引擎中按照镜像扩展两个电梯，重新对扩展的电梯各个组件重新定义，组成双向运载电梯；
步骤(1.2.2)在两个电梯中间加入步行楼梯；
步骤(1.2.3)对于电梯的各个模块的材质和颜色重新定义；
所述步骤(1.3)的过程如下：
步骤(1.3.1)乘客行为视频数据经过第三步中人体姿态识别，数据传输到数字孪生的客户端，通过Socket(对网络中不同主机上的应用进程之间进行双向通信)建立双向通信，使用TCP协议(一种面向连接的、基于字节流的传输层通信协议)，保证数据的稳定实时传输；
步骤(1.3.2)自动扶梯的运行数据获取通过通信总线连接到自动扶梯的控制主板，将自动扶梯运行的实时数据通过上位机控制器传输到客户端计算机；
步骤(1.3.3)对扶梯各部分进行定义和驱动，通过乘客行为识别的结果来实时映射虚拟人物运动；
步骤(1.4)可视化界面设计：中间为数字孪生虚拟模型，两侧显示乘客行为信息和自动扶梯运行信息；
所述步骤(2.4)的过程如下：
步骤(2.4.1)骨骼关节点提取，人体姿态运动的表现形式为人体关节点的空间变换，骨骼关节点提取是提取所有关节点构成的树状层级结构的空间变换关系；
步骤(2.4.2)关节点映射，物理引擎中的骨骼系统为树状结构，为了驱动虚拟人物的肢体动作，需要将之前获取的关节点标签与物理引擎骨骼树中对应的关节进行关联；
步骤(2.4.3)坐标变换，由于每个原始骨骼关节点都具有独立的坐标系，坐标变换使得所有的骨骼关节点在同一个坐标系下；
其中，坐标变换为Oγ＝TOε，Oγ为坐标变换后的空间坐标系，Oε为初始空间坐标系，T为空间转移矩阵；
步骤(2.4.4)数据导入，将关节点数据导入实现虚拟人物姿态复现；
步骤(2.4.5)人体骨骼关节点之间具有内在相关性，初始输入动作与结束输出动作之间的关键帧细化动作需要利用步骤(2.3)逆向运动来求解；
其中，关键帧为人体姿态变化中关键动作所处的那一帧；
步骤(2.4.6)逐帧导入关节点数据通过步骤(2.2)正向运动求解，即可利用虚拟人物实现真实人物的动作复现。
所述步骤(2.5)的过程如下：
步骤(2.5.1)在物理引擎中导入虚拟人物并进行骨骼重定向，实现不同骨骼关节点映射；
其中，骨骼重定向是通过匹配设置重新匹配骨骼关节点之间的关系；
步骤(2.5.2)移动人物骨骼关节点制作人物动作，使用步骤(2.3)逆向运动求解获得初始输入动作与制作的输出动作之间的关键帧细化动作；
步骤(2.5.3)通过步骤(2.2)正向运动将多组关键帧动作生成对应的动画序列；
步骤(2.5.4)状态集成，通过在物理引擎中使用状态机，将多组动画序列集中到同一虚拟人物；
其中，状态机在物理引擎中是由虚拟人物的一种动作行为过渡到另外一种行为动作的工具；
步骤(2.5.5)事件触发，在虚拟场景中放置不同人物角色，并给相应的动作分配触发事件；
步骤(2.5.6)数据增强，通过改变场景、虚拟相机角度、视野实现数据增强。
所述第三步的过程如下：
步骤(3.1)通过VGG19提取原始图像特征，将其与步骤(3.2)特征金字塔提取的图像特征融合；
其中，VGG19是一种卷积神经网络用于物体识别，每一层神经网络都会利用上一层的输出来进一步提取更加复杂的特征，直到复杂到能被用来识别物体为止，所以每一层都可以被看作很多个局部特征的提取器；
步骤(3.2)特征金字塔提取图像特征与步骤(3.1)VGG19提取的原始图像特征融合为输入图像特征Feature Map；
步骤(3.3)将步骤(3.2)得到的特征图Feature Map输出到下一层，有两个分支PAFs(关节点的亲和场)和PCM(关节点热力图)，每个阶段输出一个Loss(损失函数)；
步骤(3.4)将二维姿态的关节点坐标映射到三维空间；
优选的，所述步骤(3.2)的过程如下：
步骤(3.2.1)特征金字塔(FPN)选择从Conv3_4(VGG第一个)起将所有层作为FPN的网络，其中Conv6是添加的全连接层FC-4096；
步骤(3.2.2)Conv3_4,Conv4_4,Conv5_4,Conv6为VGG层，通过1*1的卷积得到M3,M4,M5,M6为连接层；
其中，Conv3_4为第三层卷积层的第四个卷积核，Conv4_4与Conv5_4同理；
步骤(3.2.3)经过上采样层Upsample使得与下一级通道数相同，执行相加操作得到相加层L3,L4,L5；
步骤(3.2.4)再经过3*3的卷积操作，输出7*7,14*14,28*28,56*56，最后得到预测层P3,P4,P5,P6；
步骤(3.2.5)将得到的预测层P3,P4,P5,P6与VGG19提取的图像特征融合得到特征图Feature Map；
所述步骤(3.3)的过程如下：
步骤(3.3.1)分支PAFs的迭代公式为：
St＝ρt(F,Lt-1,St-1),t≥2
其中，ρt表示阶段t的迭代关系，F为特征图Feature Map，L表示部分亲和场，S表示二维置信度，t表示总的置信图阶段的个数；
步骤(3.3.2)其中，分支PCM的迭代公为：
Lt＝φt(F,Lt-1,St-1),t≥2
其中，φt表示阶段t的迭代关系；
步骤(3.3.3)分支PAFs的损失函数为：
Figure BDA0003968401770000071
其中，
Figure BDA0003968401770000072
为分支PAFs的损失函数，
Figure BDA0003968401770000073
为真实的关节点部位置信图，W是一个二进制编码，在图像像素位置p处无标注，W(p)为0，否则为1；
Figure BDA0003968401770000074
为预测值与真实值之间的差值平方；
步骤(3.3.4)分支PCM的损失函数为：
Figure BDA0003968401770000075
其中，
Figure BDA0003968401770000076
为分支PAFs的损失函数，
Figure BDA0003968401770000077
为真实的关节点部分亲合场，
Figure BDA0003968401770000078
为预测值与真实值之间的差值平方；
步骤(3.3.5)由二维关节点的图像生成计算S的置信图，用
Figure BDA0003968401770000079
表示k个人生成的所有置信图，用Xj,k表示图像中第k个人的第j个关节点。以
Figure BDA00039684017700000710
的最大值来表示多人关节点部位最终获得的置信图；其中，在p点的预测值为：
Figure BDA00039684017700000711
其中，exp为自然常数e，δ为控制峰的扩散，
Figure BDA00039684017700000712
为p点到第k个人j部位的向量模值平方；
步骤(3.3.6)Xj1,k和Xj2,k表示两个关节点，肢体上有像素点p，则
Figure BDA00039684017700000713
的值是第k个人一个从j2到j1的单位向量，p点的向量场为：
Figure BDA00039684017700000714
其中，||Xj2,k-Xj1,k||2为第k个人的j1部位到j2部位的肢体长度；
步骤(3.3.7)最终获得的所有人的平均亲合场为：
Figure BDA0003968401770000081
其中，nc(p)表示p处非0向量在所有人中的个数；
步骤(3.3.8)在多人场景下，利用下面公式计算肢体的评分，寻找关联置信度最大的情况；
Figure BDA0003968401770000082
其中，E为关联置信度，||dj2-dj1||2为身体部位dj2,dj1的距离，p(u)对身体部位dj2,dj1的位置进行插值：
p(u)＝(1-u)dj1+dj2
其中，通过采样和对u的等间距求和来逼近积分值；
步骤(3.3.9)将多人检测问题变成二分图匹配问题，得到相连点的最优解，最后获取所有可能的肢体预测结果，将人体的所有关节点连接起来；
其中，二分图匹配是两条边没有共享一个节点的方式选择的边的子集，目标是为所选的边找到一个最大权值的匹配；
所述步骤(3.4)的过程如下：
步骤(3.4.1)人体姿态识别的关节点有18个点的数据，由这18个点的数据形成了人体骨骼数据，输入为二维坐标(xMi,yMi)∈R* 2D，输出的是三维空间(xNi,yNi,zNi)∈R* 3D；
其中，R* 2D为二维空间，R* 3D为三维空间；
步骤(3.4.2)输入人体姿态数据为二维关节点的骨骼模型，映射到三维空间输出的骨骼模型为三维姿态；
所述第四步的过程如下：
步骤(4.1)通过空间坐标变换将骨骼模型三维姿态的关节点坐标与物理引擎的虚拟人物模型的关节点绑定；
步骤(4.2)通过步骤(2.2)正向运动计算使得人体姿态的行为同步到虚拟人物中。
本发明的技术构思为：首先构建自动扶梯乘客异常行为的数字孪生环境；其次在数字孪生环境中对人体行为建模，生成大量异常行为数据集；接着利用生成的数据集训练人体姿态识别网络，识别出二维人体姿态数据转换到三维空间；然后通过三维空间姿态信息完成对虚拟乘客的姿态绑定，实现现实乘客行为与虚拟乘客动作同步；最后由人体姿态识别结果实现对现实中乘客行为的预警。
本发明的有益效果主要表现在：针对乘客的异常行为在数字孪生环境中构建虚拟体，解决了现实中异常危险行为数据稀缺的问题，再训练人体姿态识别网络实现对实际乘客行为的识别，利用虚拟现实技术将实际乘客行为同步映射到数字虚拟空间中，实现了对乘客危险行为的监测预警，保护了人民群众的生命财产安全。
附图说明
图1示出了数字孪生中自动扶梯乘客异常行为数据构建结果。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1，一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，包括以下步骤；
第一步：自动扶梯乘客异常行为数字孪生环境构建；
步骤(1.1)几何模型构建：几何模型的建立是数字孪生构建的基础环节，这决定了数字孪生最后的实现效果，决定了数字孪生的逼真程度。分别构建自动扶梯几何模型与虚拟乘客几何模型；
步骤(1.1.1)自动扶梯几何模型绘制，依据自动扶梯的八大系统，分别为桁架、梯级系统、扶手带系统、导轨系统、扶手装置、安全保护装置、电气控制系统和润滑系统，利用三维建模软件，构建自动扶梯八个系统模块；
步骤(1.1.1.1)自动扶梯几何模型驱动，对模型中的梯级踏板、驱动轮、扶手带驱动轮、驱动电机、梯级踏板、滚子链及滚轮由实时数据驱动；
步骤(1.1.1.2)运动组件属性进行定义，分别对梯级踏板、驱动轮、扶手带驱动轮、驱动电机、梯级踏板、滚子链及滚轮定义，并且定义运动组件数据接口；
其中，运动组件属性：UE中实现对运动组件位移旋转的可操作性；
其中，定义运动组件数据接口：UE中实现通过真实数据对可运动组件的开始、停止及速度大小控制；
其中，UE(Unreal Engine)虚幻引擎是一款实时交互渲染引擎，用于游戏开发、建筑、VR等领域；
步骤(1.1.2)人物几何模型构建；
步骤(1.1.2.1)绘制虚拟人物几何模型，依据人物行为，将人体模型简化为由18个关节点有限旋转位移的虚拟人物模型。关节点依次是0脖子，1鼻子，2左眼，3右眼，4左耳，5右耳，6左肩，7右肩，8左肘，9右肘，10左手腕，11右手腕，12左胯骨，13右胯骨，14左膝，15右膝，16左脚踝，17右脚踝；
步骤(1.1.2.2)虚拟人物驱动，将上述虚拟人物的关节点连接起来形成人体骨骼模型，利用第四步的三维空间姿态信息去绑定UE中虚拟人物模型的姿态，控制UE中虚拟人物的运动；
步骤(1.1.2.3)对上述UE中的虚拟人物空间位置重新定向，设置虚拟人物出现的初始位置；
其中，重新定向是将虚拟人物的关节点坐标空间关系重置为起始行为状态的关节点空间分布；
步骤(1.2)场景构建：对几何模型不同部分进行虚拟装配，构建与现实相同的主体；
其中，虚拟装配是将自动扶梯的各个系统模块在UE中组装，最后形成与实际自动扶梯对应的虚拟模型；
步骤(1.2.1)将单一下行电梯在UE中按照镜像扩展两个电梯，重新对扩展的电梯各个组件重新定义，组成双向运载电梯；
步骤(1.2.2)在两个电梯中间加入步行楼梯；
步骤(1.2.3)对于电梯的各个模块的材质和颜色重新定义；
步骤(1.3)数据传输：孪生数据是使用现实世界真实数据驱动数字空间中的孪生模型的数据，其中孪生数据为乘客行为的视频数据与自动扶梯的运行数据；
步骤(1.3.1)乘客行为视频数据经过第三步中人体姿态识别，数据传输到数字孪生的客户端，通过Socket(对网络中不同主机上的应用进程之间进行双向通信)建立双向通信，使用TCP协议(一种面向连接的、基于字节流的传输层通信协议)，保证数据的稳定实时传输；
步骤(1.3.2)自动扶梯的运行数据获取通过通信总线连接到自动扶梯的控制主板，将自动扶梯运行的实时数据通过上位机控制器传输到客户端计算机；
步骤(1.3.3)对扶梯各部分进行定义和驱动，通过乘客行为识别的结果来实时映射虚拟人物运动；
步骤(1.4)可视化界面设计：中间为自动扶梯与乘客，两侧显示乘客行为信息和自动扶梯运行信息；
第二步：在数字孪生环境中对人体行为建模，生成大量异常行为数据集；
步骤(2.1)人体运动学描述，为了使数字孪生虚拟空间中模拟的人物行为符合人体运动学，必须参考实际的人体行为。在现实中人体运动是肌肉、骨骼共同作用下的结果，在虚拟空间中，为了人体运动符合现实世界物理规律，将人体简化为骨骼模型，由各个关节的有限旋转位移构成完整的运动姿态；
步骤(2.2)正向运动(FK)，人体姿态正动力学通常是指利用每个关节的相对位移
Figure BDA0003968401770000111
和相对旋转
Figure BDA0003968401770000112
作为输入，计算运动后整个人体姿态
Figure BDA0003968401770000113
的过程，可由下式表示：
Q＝FK(R,T)
其中，M是身体关节的数量，
Figure BDA0003968401770000114
表示第i个关节运动后的三维位姿，
Figure BDA0003968401770000115
表示相对位移矩阵中的第i个关节位置信息，pa(i)表示第i个关节的父关节索引，Rpa(i),i表示第i个关节相对于父关节的旋转，FK代表将位移矩阵和旋转矩阵从根节点递归到所有子节点的过程，可由下式表示：
Figure BDA0003968401770000116
式中，Ri为第i个关节相对于正则静止位姿空间的全局旋转；
步骤(2.3)逆向运动(IK)，即逆运动学是正运动学的反向过程。通过输入期望的人体关节位姿
Figure BDA0003968401770000117
和位移T，可以计算关节的相对旋转R。这个过程表述为：
R＝IK(P,T)
其中，pi表示输入的第i个关节的期望位姿，得到的旋转应满足以下条件：
Figure BDA0003968401770000118
步骤(2.3.1)逆向运动的雅可比矩阵算法；
Figure BDA0003968401770000121
其中，M个关节点的角度θ＝(θ1,θ2,…,θM)和末端关节点的空间坐标为e＝(ex,ey,ez)T，θ与e之间的关系为：
θ＝f-1(e)
dθ＝J+de
其中f-1为θ与e之间的函数关系，J+为雅可比伪逆矩阵；
步骤(2.3.2)雅可比矩阵伪逆：
J+＝(JJT)-1JT
其中，雅可比矩阵需要反复迭代计算才能得到逆向运动的近似解；
步骤(2.4)人体骨骼模型，是数字孪生中为了表现实际乘客行为而简化的模型，由关节点构成的树状层级结构；
步骤(2.4.1)骨骼关节点提取，人体姿态运动的表现形式为人体关节点的空间变换，骨骼关节点提取是提取所有关节点构成的树状层级结构的空间变换关系；
步骤(2.4.2)关节点映射，UE中的骨骼系统为树状结构，为了驱动虚拟人物的肢体动作，需要将之前获取的关节点标签与UE骨骼树中对应的关节进行关联；
步骤(2.4.3)坐标变换，由于每个原始骨骼关节点都具有独立的坐标系，坐标转换使得所有的骨骼关节点在同一个坐标系下；
其中，坐标变换为Oγ＝TOε，Oγ为坐标变换后的空间坐标系，Oε为初始空间坐标系，T为空间转移矩阵；
步骤(2.4.4)数据导入，将关节点数据导入实现虚拟人物姿态复现；
步骤(2.4.5)人体骨骼关节点之间具有内在相关性，初始输入动作与结束输出动作之间的关键帧细化动作需要利用步骤(2.3)逆向运动来求解；
其中，关键帧为人体姿态变化中关键动作所处的那一帧；
步骤(2.4.6)逐帧导入关节点数据通过步骤(2.2)正向运动求解，即可利用虚拟人物实现真实人物的动作复现；
步骤(2.5)乘客异常行为数据生成；
步骤(2.5.1)在UE中导入虚拟人物并进行骨骼重定向，实现不同骨骼关节点映射；
其中，骨骼重定向是通过匹配设置重新匹配骨骼关节点之间的关系；
步骤(2.5.2)移动人物骨骼关节点制作人物动作，使用步骤(2.3)逆向运动求解获得初始输入动作与制作的输出动作之间的关键帧细化动作；
步骤(2.5.3)通过步骤(2.2)正向运动将多组关键帧动作生成对应的动画序列；
步骤(2.5.4)状态集成，通过在UE中使用状态机，将多组动画序列集中到同一虚拟人物；
其中，状态机在UE中是由虚拟人物的一种动作行为过度到另外一种行为动作的工具；
步骤(2.5.5)事件触发，在虚拟场景中放置不同人物角色，并给相应的动作分配触发事件；
步骤(2.5.6)数据增强，通过改变场景、虚拟相机角度、视野等实现数据增强；
步骤(2.6)按照乘客异常行为的类型，生成大量异常行为数据，如图1所示；
第三步：利用第二步生成的大量乘客异常行为数据去训练本发明中人体姿态识别网络I-OpenPose，其原理采用VGG19特征提取网络，同时在VGG19中引入特征金字塔来融合提取图像特征(Feature Map)，Feature Map作为输入，进入两个分支PAFs(Part AffinityFields)和PCM(Part Confidence Maps)，利用PAFs来表达像素点在姿态上的走向，将识别的二维姿态信息映射到三维空间中，在第四步使用三维姿态信息绑定虚拟乘客骨骼模型，实现现实乘客与虚拟乘客的行为同步；
其中，PAFs为关节点亲和场，PCM为关节点置信图；
步骤(3.1)通过VGG19提取原始图像特征，将其与步骤(3.2)特征金字塔提取的图像特征融合；
其中，VGG19是一种卷积神经网络用于物体识别，每一层神经网络都会利用上一层的输出来进一步提取更加复杂的特征，直到复杂到能被用来识别物体为止，所以每一层都可以被看作很多个局部特征的提取器；
步骤(3.2)特征金字塔提取图像特征与步骤(3.1)VGG19提取的原始图像特征融合为输入图像特征(Feature Map)；
步骤(3.2.1)特征金字塔(FPN)选择从Conv3_4(VGG第一个)起将所有层作为FPN的网络，其中Conv6是添加的全连接层FC-4096；
步骤(3.2.2)Conv3_4,Conv4_4,Conv5_4,Conv6为VGG层，通过1*1的卷积得到M3,M4,M5,M6为连接层；
其中，Conv3_4为第三层卷积层的第四个卷积核，Conv4_4与Conv5_4同理；
步骤(3.2.3)经过上采样层Upsample使得与下一级通道数相同，执行相加操作得到相加层L3,L4,L5；
步骤(3.2.4)再经过3*3的卷积操作，输出7*7,14*14,28*28,56*56，最后得到预测层P3,P4,P5,P6；
步骤(3.2.5)将得到的预测层P3,P4,P5,P6与VGG19提取的图像特征融合得到特征图Feature Map；
步骤(3.3)将步骤(3.2)得到的特征图Feature Map输出到下一层，有两个分支PAFs(关节点的亲和场)和PCM(关节点热力图)，每个阶段输出一个Loss(损失函数)；
步骤(3.3.1)分支PAFs的迭代公式为：
St＝ρt(F,Lt-1,St-1),t≥2
其中，ρt表示阶段t的迭代关系，F为特征图Feature Map，L表示部分亲和力，S表示二维置信度，t表示总的置信图阶段的个数；
步骤(3.3.2)其中，分支PCM的迭代公为：
Lt＝φt(F,Lt-1,St-1),t≥2
其中，φt表示阶段t的迭代关系；
步骤(3.3.3)分支PAFs的损失函数为：
Figure BDA0003968401770000141
其中，
Figure BDA0003968401770000142
为分支PAFs的损失函数，
Figure BDA0003968401770000143
为真实的关节点部位置信图，W是一个二进制编码，在图像像素位置p处无标注，W(p)为0，否则为1；
Figure BDA0003968401770000144
为预测值与真实值之间的差值平方；
步骤(3.3.4)分支PCM的损失函数为：
Figure BDA0003968401770000145
其中，
Figure BDA0003968401770000151
为分支PAFs的损失函数，
Figure BDA0003968401770000152
为真实的关节点部分亲合场，
Figure BDA0003968401770000153
为预测值与真实值之间的差值平方；
步骤(3.3.5)由二维关节点的图像生成计算S的置信图，用
Figure BDA0003968401770000154
表示k个人生成的所有置信图，用Xj,k表示图像中第k个人的第j个关节点。以
Figure BDA0003968401770000155
的最大值来表示多人关节点部位最终获得的置信图；其中，在p点的预测值为：
Figure BDA0003968401770000156
其中，exp为e指数的底，δ为控制峰的扩散，
Figure BDA0003968401770000157
为p点到第k个人j部位的向量模值平方；
步骤(3.3.6)Xj1,k和Xj2,k表示两个关节点，肢体上有像素点p，则
Figure BDA0003968401770000158
的值是第k个人一个从j1到j2的单位向量，p点的向量场为：
Figure BDA0003968401770000159
其中，||Xj2,k-Xj1,k||2为第k个人的j2部位到j1部位的肢体长度；
步骤(3.3.7)最终获得的所有人的平均亲合场为：
Figure BDA00039684017700001510
其中，nc(p)表示p处非0向量在所有人中的个数；
步骤(3.3.8)在多人场景下，利用下面公式计算肢体的评分，寻找关联置信度最大的情况；
Figure BDA00039684017700001511
其中，E为关联置信度，||dj2-dj1||2为身体两个部位dj2,dj1的距离，p(u)对身体部位dj2,dj1的位置进行插值：
p(u)＝(1-u)dj1+dj2
其中，通过采样和对u的等间距求和来逼近积分值；
步骤(3.3.9)将多人检测问题变成二分图匹配问题，得到相连点的最优解，最后获取所有可能的肢体预测结果，将人体的所有关节点连接起来；
其中，二分图匹配是两条边没有共享一个节点的方式选择的边的子集，目标是为所选的边找到一个最大权值的匹配；
步骤(3.4)将二维姿态的关节点坐标映射到三维空间；
步骤(3.4.1)人体姿态识别的关节点有18个点的数据，由这18个点的数据形成了人体骨骼数据，输入为二维关节点坐标(xMi,yMi)∈R* 2D，输出的是三维空间坐标(xNi,yNi,zNi)∈R* 3D；
其中，R* 2D为二维空间，R* 3D为三维空间；
步骤(3.4.2)输入人体姿态数据为二维关节点的骨骼模型，映射到三维空间输出的骨骼模型为三维姿态；
第四步：通过三维空间姿态信息的18个关节点坐标绑定到虚拟人物的骨骼关节点，实现现实乘客行为与虚拟乘客动作同步；
步骤(4.1)通过空间坐标变换将骨骼模型三维姿态的关节点坐标与UE中虚拟人物模型的关节点绑定；
步骤(4.2)通过步骤(2.2)正向运动计算使得人体姿态的行为同步到虚拟人物中；
第五步：由第三步中训练的人体姿态识别网络，输入为实际自动扶梯的监控视频实现对乘客行为的预警；
本实施例的方案，针对乘客的异常行为在数字孪生环境中构建虚拟体，解决了现实中异常危险行为数据稀缺的问题，再训练人体姿态识别网络实现对实际乘客行为的识别，利用虚拟现实技术将实际乘客行为同步映射到数字虚拟空间中，实现了对乘客危险行为的监测预警，保护了人民群众的生命财产安全。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (10)

1.一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，其特征在于，所述方法包括以下步骤：
第一步：自动扶梯乘客异常行为数字孪生环境构建，过程如下：
步骤(1.1)几何模型构建：几何模型的建立是数字孪生构建的基础环节，这决定了数字孪生最后的实现效果，决定了数字孪生的逼真程度，分别构建自动扶梯几何模型与虚拟人物几何模型；
步骤(1.2)场景构建：对几何模型不同部分进行虚拟装配，构建与现实相同的主体；
步骤(1.3)数据传输：孪生数据是使用现实世界真实数据驱动数字空间中的孪生模型的数据，其中孪生数据为乘客行为的视频数据与自动扶梯的运行数据；
第二步：在数字孪生环境中对人体行为建模，生成大量异常行为数据集，过程如下：
步骤(2.1)人体运动学描述，在虚拟空间中，为了人体运动符合现实世界物理规律，将人体简化为骨骼模型，由各个关节的有限旋转位移构成完整的运动姿态；
步骤(2.2)正向运动(FK)，人体姿态正动力学通常是指利用每个关节的相对位移
Figure FDA0003968401760000011
和相对旋转
Figure FDA0003968401760000012
作为输入，计算运动后整个人体姿态
Figure FDA0003968401760000013
的过程，可由下式表示：
Q＝FK(R,T)
其中，M是身体关节的数量，
Figure FDA0003968401760000014
表示第i个关节运动后的三维位姿，
Figure FDA0003968401760000015
表示相对位移矩阵中的第i个关节位置信息，pa(i)表示第i个关节的父关节索引，Rpa(i),i表示第i个关节相对于父关节的旋转，FK代表将位移矩阵和旋转矩阵从根节点递归到所有子节点的过程，由下式表示：
Figure FDA0003968401760000016
式中，Ri为第i个关节相对于静止位姿空间的全局旋转；
步骤(2.3)逆向运动(IK)，即逆运动学是正运动学的反向过程，通过输入期望的人体关节位姿
Figure FDA0003968401760000017
和位移T，可以计算关节的相对旋转R，这个过程表述为：
R＝IK(P,T)
其中，pi表示输入的第i个关节的期望位姿，得到的旋转应满足以下条件：
Figure FDA0003968401760000021
步骤(2.4)人体骨骼模型，是数字孪生中为了表现实际乘客行为而简化的模型，由关节点构成的树状层级结构；
步骤(2.5)乘客异常行为数据生成；
步骤(2.6)按照乘客异常行为的类型，生成大量异常行为数据；
第三步：利用第二步生成的大量异常乘客行为去训练本发明中人体姿态识别网络I-OpenPose，其原理采用VGG19特征提取网络，同时在VGG19中引入特征金字塔来融合提取图像特征Feature Map，Feature Map作为输入，进入两个分支PAFs和PCM，利用PAFs来表达像素点在姿态上的走向，将识别的二维姿态信息映射到三维空间中，在第四步使用三维姿态信息绑定虚拟乘客骨骼模型，实现现实乘客与虚拟乘客的行为同步；
其中，PAFs为关节点亲和场，PCM为关节点置信图；
第四步：通过三维空间姿态信息的18个关节点坐标绑定到虚拟人物的骨骼关节点，实现现实乘客行为与虚拟乘客动作同步；
第五步：由第三步中训练的人体姿态识别网络，输入数据为实际自动扶梯的乘客监控视频实现对乘客行为的预警。
2.如权利要求1所述的一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，其特征在于，所述步骤(1.1)的过程如下：
步骤(1.1.1)自动扶梯几何模型绘制，依据自动扶梯的八大系统，分别为桁架、梯级系统、扶手带系统、导轨系统、扶手装置、安全保护装置、电气控制系统和润滑系统，利用三维建模软件，构建自动扶梯八个系统模块；
步骤(1.1.1.1)自动扶梯几何模型驱动，对模型中的梯级踏板、驱动轮、扶手带驱动轮、驱动电机、梯级踏板、滚子链及滚轮由实时数据驱动；
步骤(1.1.1.2)运动组件属性进行定义，分别对梯级踏板、驱动轮、扶手带驱动轮、驱动电机、梯级踏板、滚子链及滚轮定义，并且定义运动组件数据接口；
其中，运动组件属性：物理引擎中实现对运动组件位移旋转的可操作性；
其中，定义运动组件数据接口：物理引擎中实现通过真实数据对可运动组件的开始、停止及速度大小控制；
步骤(1.1.2)人物几何模型构建；
步骤(1.1.2.1)绘制虚拟人物几何模型，依据人物行为，将人体模型简化为由18个关节点有限旋转位移的虚拟模型，关节点依次是0脖子，1鼻子，2左眼，3右眼，4左耳，5右耳，6左肩，7右肩，8左肘，9右肘，10左手腕，11右手腕，12左胯骨，13右胯骨，14左膝，15右膝，16左脚踝，17右脚踝；
步骤(1.1.2.2)虚拟人物驱动，将上述虚拟人物的关节点连接起来形成人体骨骼模型，利用第四步的三维空间姿态信息去绑定物理引擎中虚拟人物模型的姿态，控制物理引擎中虚拟人物的运动；
步骤(1.1.2.3)对上述物理引擎中的虚拟人物空间位置重新定向，设置虚拟人物出现的初始位置；
其中，重新定向是将虚拟人物的关节点坐标空间关系重置为起始行为状态的关节点空间分布。
3.如权利要求2所述的一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，其特征在于，所述步骤(1.2)中，虚拟装配是将自动扶梯的各个系统模块在物理引擎中组装，最后形成与实际自动扶梯对应的虚拟模型；
步骤(1.2.1)将单一下行电梯在物理引擎中按照镜像扩展两个电梯，重新对扩展的电梯各个组件重新定义，组成双向运载电梯；
步骤(1.2.2)在两个电梯中间加入步行楼梯；
步骤(1.2.3)对于电梯的各个模块的材质和颜色重新定义。
4.如权利要求3所述的一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，其特征在于，所述步骤(1.3)的过程如下：
步骤(1.3.1)乘客行为视频数据经过第三步中人体姿态识别，数据传输到数字孪生的客户端，通过Socket(对网络中不同主机上的应用进程之间进行双向通信)建立双向通信，使用TCP协议(一种面向连接的、基于字节流的传输层通信协议)，保证数据的稳定实时传输；
步骤(1.3.2)自动扶梯的运行数据获取通过通信总线连接到自动扶梯的控制主板，将自动扶梯运行的实时数据通过上位机控制器传输到客户端计算机；
步骤(1.3.3)对扶梯各部分进行定义和驱动，通过乘客行为识别的结果来实时映射虚拟人物运动；
步骤(1.4)可视化界面设计：中间为数字孪生虚拟模型，两侧显示乘客行为信息和自动扶梯运行信息。
5.如权利要求1～4之一所述的一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，其特征在于，所述步骤(2.4)的过程如下：
步骤(2.4.1)骨骼关节点提取，人体姿态运动的表现形式为人体关节点的空间变换，骨骼关节点提取是提取所有关节点构成的树状层级结构的空间变换关系；
步骤(2.4.2)关节点映射，物理引擎中的骨骼系统为树状结构，为了驱动虚拟人物的肢体动作，需要将之前获取的关节点标签与物理引擎骨骼树中对应的关节进行关联；
步骤(2.4.3)坐标变换，由于每个原始骨骼关节点都具有独立的坐标系，坐标变换使得所有的骨骼关节点在同一个坐标系下；
其中，坐标变换为Oγ＝TOε，Oγ为坐标变换后的空间坐标系，Oε为初始空间坐标系，T为空间转移矩阵；
步骤(2.4.4)数据导入，将关节点数据导入实现虚拟人物姿态复现；
步骤(2.4.5)人体骨骼关节点之间具有内在相关性，初始输入动作与结束输出动作之间的关键帧细化动作需要利用步骤(2.3)逆向运动来求解；
其中，关键帧为人体姿态变化中关键动作所处的那一帧；
步骤(2.4.6)逐帧导入关节点数据通过步骤(2.2)正向运动求解，即可利用虚拟人物实现真实人物的动作复现。
6.如权利要求5所述的一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，其特征在于，所述步骤(2.5)的过程如下：
步骤(2.5.1)在物理引擎中导入虚拟人物并进行骨骼重定向，实现不同骨骼关节点映射；
其中，骨骼重定向是通过匹配设置重新匹配骨骼关节点之间的关系；
步骤(2.5.2)移动人物骨骼关节点制作人物动作，使用步骤(2.3)逆向运动求解获得初始输入动作与制作的输出动作之间的关键帧细化动作；
步骤(2.5.3)通过步骤(2.2)正向运动将多组关键帧动作生成对应的动画序列；
步骤(2.5.4)状态集成，通过在物理引擎中使用状态机，将多组动画序列集中到同一虚拟人物；
其中，状态机在物理引擎中是由虚拟人物的一种动作行为过渡到另外一种行为动作的工具；
步骤(2.5.5)事件触发，在虚拟场景中放置不同人物角色，并给相应的动作分配触发事件；
步骤(2.5.6)数据增强，通过改变场景、虚拟相机角度、视野实现数据增强。
7.如权利要求1～4之一所述的一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，其特征在于，所述第三步的过程如下：
步骤(3.1)通过VGG19提取原始图像特征，将其与步骤(3.2)特征金字塔提取的图像特征融合；
其中，VGG19是一种卷积神经网络用于物体识别，每一层神经网络都会利用上一层的输出来进一步提取更加复杂的特征，直到复杂到能被用来识别物体为止，所以每一层都可以被看作很多个局部特征的提取器；
步骤(3.2)特征金字塔提取图像特征与步骤(3.1)VGG19提取的原始图像特征融合为输入图像特征Feature Map；
步骤(3.3)将步骤(3.2)得到的特征图Feature Map输出到下一层，有两个分支PAFs关节点的亲和场和PCM关节点热力)，每个阶段输出一个Loss；
步骤(3.4)将二维姿态的关节点坐标映射到三维空间。
8.如权利要求7所述的一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，其特征在于，所述步骤(3.2)的过程如下：
步骤(3.2.1)特征金字塔FPN选择从Conv3_4(VGG第一个)起将所有层作为FPN的网络，其中Conv6是添加的全连接层FC-4096；
步骤(3.2.2)Conv3_4,Conv4_4,Conv5_4,Conv6为VGG层，通过1*1的卷积得到M3,M4,M5,M6为连接层；
其中，Conv3_4为第三层卷积层的第四个卷积核，Conv4_4与Conv5_4同理；
步骤(3.2.3)经过上采样层Upsample使得与下一级通道数相同，执行相加操作得到相加层L3,L4,L5；
步骤(3.2.4)再经过3*3的卷积操作，输出7*7,14*14,28*28,56*56，最后得到预测层P3,P4,P5,P6；
步骤(3.2.5)将得到的预测层P3,P4,P5,P6与VGG19提取的图像特征融合得到特征图Feature Map。
9.如权利要求8所述的一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，其特征在于，所述步骤(3.3)的过程如下：
步骤(3.3.1)分支PAFs的迭代公式为：
St＝ρt(F,Lt-1,St-1),t≥2
其中，ρt表示阶段t的迭代关系，F为特征图Feature Map，L表示部分亲和场，S表示二维置信度，t表示总的置信图阶段的个数；
步骤(3.3.2)其中，分支PCM的迭代公为：
Lt＝φt(F,Lt-1,St-1),t≥2
其中，φt表示阶段t的迭代关系；
步骤(3.3.3)分支PAFs的损失函数为：
Figure FDA0003968401760000061
其中，
Figure FDA0003968401760000062
为分支PAFs的损失函数，
Figure FDA0003968401760000063
为真实的关节点部位置信图，W是一个二进制编码，在图像像素位置p处无标注，W(p)为0，否则为1；
Figure FDA0003968401760000064
为预测值与真实值之间的差值平方；
步骤(3.3.4)分支PCM的损失函数为：
Figure FDA0003968401760000065
其中，
Figure FDA0003968401760000066
为分支PAFs的损失函数，
Figure FDA0003968401760000067
为真实的关节点部分亲合场，
Figure FDA0003968401760000068
为预测值与真实值之间的差值平方；
步骤(3.3.5)由二维关节点的图像生成计算S的置信图，用
Figure FDA0003968401760000069
表示k个人生成的所有置信图，用Xj,k表示图像中第k个人的第j个关节点，以
Figure FDA00039684017600000610
的最大值来表示多人关节点部位最终获得的置信图；其中，在p点的预测值为：
Figure FDA00039684017600000611
其中，exp为自然常数e，δ为控制峰的扩散，
Figure FDA00039684017600000612
为p点到第k个人j部位的向量模值平方；
步骤(3.3.6)Xj1,k和Xj2,k表示两个关节点，肢体上有像素点p，则
Figure FDA00039684017600000613
的值是第k个人一个从j2到j1的单位向量，p点的向量场为：
Figure FDA0003968401760000071
其中，||Xj2,k-Xj1,k||2为第k个人的j1部位到j2部位的肢体长度；
步骤(3.3.7)最终获得的所有人的平均亲合场为：
Figure FDA0003968401760000072
其中，nc(p)表示p处非0向量在所有人中的个数；
步骤(3.3.8)在多人场景下，利用下面公式计算肢体的评分，寻找关联置信度最大的情况；
Figure FDA0003968401760000073
其中，E为关联置信度，||dj2-dj1||2为身体部位dj2,dj1的距离，p(u)对身体部位dj2,dj1的位置进行插值：
p(u)＝(1-u)dj1+dj2
其中，通过采样和对u的等间距求和来逼近积分值；
步骤(3.3.9)将多人检测问题变成二分图匹配问题，得到相连点的最优解，最后获取所有可能的肢体预测结果，将人体的所有关节点连接起来；
其中，二分图匹配是两条边没有共享一个节点的方式选择的边的子集，目标是为所选的边找到一个最大权值的匹配。
10.如权利要求7所述的一种基于数字孪生的自动扶梯乘客异常行为数据构建方法，其特征在于，所述步骤(3.4)的过程如下：
步骤(3.4.1)人体姿态识别的关节点有18个点的数据，由这18个点的数据形成了人体骨骼数据，输入为二维坐标(xMi,yMi)∈R* 2D，输出的是三维空间(xNi,yNi,zNi)∈R* 3D；
其中，R* 2D为二维空间，R* 3D为三维空间；
步骤(3.4.2)输入人体姿态数据为二维关节点的骨骼模型，映射到三维空间输出的骨骼模型为三维姿态。
CN202211508234.8A 2022-11-29 2022-11-29 一种基于数字孪生的自动扶梯乘客异常行为数据构建方法 Pending CN115798042A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211508234.8A CN115798042A (zh) 2022-11-29 2022-11-29 一种基于数字孪生的自动扶梯乘客异常行为数据构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211508234.8A CN115798042A (zh) 2022-11-29 2022-11-29 一种基于数字孪生的自动扶梯乘客异常行为数据构建方法

Publications (1)

Publication Number Publication Date
CN115798042A true CN115798042A (zh) 2023-03-14

Family

ID=85442795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211508234.8A Pending CN115798042A (zh) 2022-11-29 2022-11-29 一种基于数字孪生的自动扶梯乘客异常行为数据构建方法

Country Status (1)

Country Link
CN (1) CN115798042A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645732A (zh) * 2023-07-19 2023-08-25 厦门工学院 一种基于计算机视觉的场地危险活动预警方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645732A (zh) * 2023-07-19 2023-08-25 厦门工学院 一种基于计算机视觉的场地危险活动预警方法及系统
CN116645732B (zh) * 2023-07-19 2023-10-10 厦门工学院 一种基于计算机视觉的场地危险活动预警方法及系统

Similar Documents

Publication Publication Date Title
CN111460875B (zh) 图像处理方法及装置、图像设备及存储介质
CN111553968B (zh) 一种三维人体重构动画的方法
CN110570455B (zh) 一种面向房间vr的全身三维姿态跟踪方法
WO2021143289A1 (zh) 动画处理方法、装置、计算机存储介质及电子设备
CN1648840A (zh) 一种头戴式立体视觉手势识别装置
CN107610208B (zh) 一种颗粒介质环境下动画角色的运动仿真方法
CN109934881A (zh) 图像编码方法、动作识别的方法及计算机设备
CN107203272A (zh) 基于肌电感知技术的可穿戴增强现实作业指导系统及方法
US11809616B1 (en) Twin pose detection method and system based on interactive indirect inference
CN114998983A (zh) 一种基于增强现实技术和姿态识别技术的肢体康复方法
CN115798042A (zh) 一种基于数字孪生的自动扶梯乘客异常行为数据构建方法
CN111695523A (zh) 基于骨骼时空及动态信息的双流卷积神经网络动作识别方法
WO2020147791A1 (zh) 图像处理方法及装置、图像设备及存储介质
Fu et al. Gesture recognition based on BP neural network and data glove
CN113240714B (zh) 一种基于情境感知网络的人体运动意图预测方法
Zhou et al. Application development of dance pose recognition based on embedded artificial intelligence equipment
CN113703583A (zh) 一种多模态交叉融合的虚拟影像融合系统、方法、装置
Cai et al. POGT: A Peking opera gesture training system using infrared sensors
CN111310655A (zh) 基于关键帧和组合注意力模型的人体动作识别方法和系统
CN116977506A (zh) 模型动作重定向的方法、装置、电子设备及存储介质
CN115731356A (zh) 曳引电梯虚实交互场景乘客行为建模与数据增强方法
Wang et al. Real-time control of 3D virtual human motion using a depth-sensing camera for agricultural machinery training
Tian et al. Design and implementation of dance teaching system based on Unity3D
CN115908713A (zh) 一种基于数字孪生的自动扶梯乘客行为监测方法
Usman et al. Skeleton-based motion prediction: A survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination