CN116310238B - 多用户虚拟化身交互行为安全保护方法及系统 - Google Patents

多用户虚拟化身交互行为安全保护方法及系统 Download PDF

Info

Publication number
CN116310238B
CN116310238B CN202310257001.3A CN202310257001A CN116310238B CN 116310238 B CN116310238 B CN 116310238B CN 202310257001 A CN202310257001 A CN 202310257001A CN 116310238 B CN116310238 B CN 116310238B
Authority
CN
China
Prior art keywords
interaction
user
data
interactive
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310257001.3A
Other languages
English (en)
Other versions
CN116310238A (zh
Inventor
徐建
张昭理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202310257001.3A priority Critical patent/CN116310238B/zh
Publication of CN116310238A publication Critical patent/CN116310238A/zh
Application granted granted Critical
Publication of CN116310238B publication Critical patent/CN116310238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Storage Device Security (AREA)

Abstract

本发明属于元宇宙应用领域，提供一种多用户虚拟化身交互行为安全保护方法及系统，该方法包括：(1)对等网络模型搭建；(2)身份认证管理；(3)虚拟化身交互；(4)虚拟化身交互语义提取；(5)交互数据保护；(6)隐私设置；(7)交互脚本调用。本发明基于身份认证、交互语义提取、数据保护、因素设置的多用户虚拟化身交互行为安全保护方法及系统具有整体性、系统性、高效性的优点，为元宇宙中多用户虚拟化身交互行为提供一种智能化的数据保护方法。

Description

多用户虚拟化身交互行为安全保护方法及系统
技术领域
本发明属于元宇宙应用领域，更具体地，涉及多用户虚拟化身交互行为安全保护方法及系统。
背景技术
随着元宇宙支撑技术的快速发展及其在各行业的渗透，用户以虚拟化身的形式进入沉浸式世界，与其他用户交流、互动，实现虚实融合环境中多主体的社会性交往。由于元宇宙平台的开放性，VR应用中用户虚拟化身的数据易被非法访问，形象数据易受到恶意篡改，交互行为易遭非法攻击。然而，当前VR应用中用户虚拟化身的交互行为安全保护主要采用静态用户身份认证和交互锁机制，这种安全保护机制单一、低效，增加系统的响应时间，影响用户的交互体验；并且这种机制缺乏对用户虚拟化身交互行为的系统性安全保护，增加了应用程序的安全漏洞风险。
当前多用户虚拟化身交互行为安全保护系统还存在诸多的问题：(1)安全保护机制单一，现有交互行为安全保护系统主要是针对多用户虚拟化身互动过程中的安全保护，对网络模型、身份认证没有形成完整性、系统性的交互行为安全保护流程；(2)交互数据的隐私保护不足，虚拟化身交互行为安全保护多通过对化身模型、虚拟场景中对象权限的设定来实现，未形成对底层数据组织和存储的有效保护；(3)扩展性差，现有各主要元宇宙平台彼此之间互操作困难，无法提供基于交互语义的访问接口，为后续交互行为的共享和重用带来较大的挑战。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种多用户虚拟化身交互行为安全保护方法及系统，为元宇宙中多用户虚拟化身交互行为提供一种新的、智能化的数据保护方法。
本发明的目的是通过以下技术措施实现的。
本发明提供一种多用户虚拟化身交互行为安全保护方法，包括以下步骤：
(1)对等网络模型搭建；依据VR终端的序列号和标识号，运用Chord算法创建对应网络节点；使用星型拓扑链接、排列节点，运用LAN-WAN级联算法搭建独立子网络；使用Tornado编码将交互数据分段，基于同步数据分发策略，运用Gossip算法实现各VR终端的数据分发；
(2)身份认证管理；使用RSA数字签名算法核验、认证用户的CA证书；采用JWT认证策略，为注册用户颁发可信证书，并将证书转换的哈希指纹存储在本地VR终端；使用基于角色的权限控制模型，授予相应权限用户的管理员、普通用户、审计员或游客角色；
(3)虚拟化身交互；使用GLBP特征检测算法提取用户面部纹理，定位、绑定虚拟化身轮廓，结合LFW人脸库，用户修改自身虚拟化身形象；采用运动捕捉算法，采集用户手部、手臂肢体动作数据；运用骨骼追踪技术，提取虚拟化身关节点坐标值，计算用户的转动角度，定义互动操作；
(4)虚拟化身交互语义提取；结合嵌套模式，运用JSON数据格式描述交互语义模板；使用语义槽提取VR应用交互中的任务对象、动作对象和参数，采用推理引擎提取施动者、接受者和交互操作；使用类型区分动作对象，采用GeoJSON描述交互操作，匹配交互动作；
(5)交互数据保护；将用户、数据，以及交互优先关系分别表示成结点和边，基于有向无环图组织交互数据；采用NoSQL数据库，加密、存储交互数据；使用CDP持续数据保护算法获取、跟踪交互数据变化，运用事务处理机制实现交互数据更新和同步；
(6)隐私设置；构造用户访问的权限列表，综合访问策略，为用户分配权限表；构建访问控制表、访问能力表，结合实施权限主体集、客体集，创建访问控制三元组；运用基于机器学习的审计算法，识别违法行为，提取、生成审计日志；
(7)交互脚本调用；从抽象父类派生虚拟化身和交互行为的静态类，构造调用接口；使用静态方法和Shell工具分别生成交互脚本的主体和头部信息；使用脚本处理器检查、解析交互脚本，采用Java虚拟机为脚本分配工作线程，并执行该脚本。
本发明还提供一种多用户虚拟化身交互行为安全保护系统，用于实现上述的多用户虚拟化身交互行为安全保护方法，包括：
对等网络模型搭建模块，用于创建VR终端的网络节点，采用LAN-WAN级联算法搭建独立子网络，实现多VR终端组网，使用同步数据分发策略，完成数据分发；
身份认证管理模块，用于基于数字签名算法的用户身份认证，为认证用户注册、颁发可信证书，使用权限控制模型，为用户授权不同的权限角色；
虚拟化身交互模块，用于提取用户皮肤、发型、五官纹理特征，修改用户虚拟化身形象，采集手势、体感交互数据，计算用户的转动角度，匹配交互操作的行为；
虚拟化身交互语义提取模块，用于构造交互语义模板，使用基于规则的推理引擎提取施动者、接受者和交互操作，采用GeoJSON描述交互操作，匹配交互动作；
交互数据保护模块，用于基于有向无环图的交互数据组织，加密、存储交互语义和操作，获取、跟踪交互数据变化，运用事务处理机制，实现交互数据更新和同步；
隐私设置模块，用于设置交互数据的读写权限，构造用户访问的权限列表，将权限列表转换为访问矩阵，创建访问控制三元组，采用审计技术转换算法提取、生成审计日志；
交互脚本调用模块，用于构造虚拟化身和交互行为的调用接口，使用静态方法和Shell工具生成脚本主体和头部结构，调度、分配工作线程执行脚本。
本发明的有益效果在于：运用Chord算法创建VR终端的网络节点，使用星型拓扑链接、排列节点，采用LAN-WAN级联算法搭建独立子网络，使用Gossip算法实现各VR终端的数据分发。使用RSA数字签名算法核验、认证用户的CA身份，采用JWT认证策略，为注册用户颁发可信证书，使用基于角色的权限控制模型，授予相应权限用户的对应角色。提取用户面部纹理特征，修改虚拟化身形象，使用运动捕捉算法采集用户肢体动作数据，运用骨骼追踪技术，提取虚拟化身关节点坐标值，计算其转动角度。应用JSON描述交互语义模板，使用语义槽提取任务对象和动作对象及其参数，采用推理引擎提取施动者、接受者和交互操作，使用GeoJSON描述交互操作。采用有向无环图组织交互数据，并存储在NoSQL数据库中，使用CDP持续数据保护算法获取交互数据，运用事务处理机制实现其更新和同步。设置交互数据的读写权限，构造用户访问的权限列表，将其转换为访问矩阵，创建访问控制三元组，采用审计技术转换算法提取、生成审计日志。构造虚拟化身和交互行为的调用接口，使用静态方法和Shell工具生成脚本主体和头部结构，调度、分配工作线程执行脚本。随着元宇宙应用边界的进一步拓展，基于身份认证、交互语义提取、数据保护、因素设置的多用户虚拟化身交互行为安全保护方法及系统具有整体性、系统性、高效性的优点，在未来虚实融合的多维场景中具有广泛的应用前景。
附图说明
图1是本发明实施例中多用户虚拟化身交互行为安全保护系统架构图。
图2是本发明实施例中多VR终端组网示意图。
图3是本发明实施例中人体关节点示意图，301-头部关节点H，302-右胳膊肘ER，303-右肩膀SR，304-肩膀中心SC，305-左肩膀SL。
图4是本发明实施例中交互数据组织示意图。
图5是本发明实施例中交互状态转换图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例提供一种多用户虚拟化身交互行为安全保护系统，包括：
对等网络模型搭建模块，用于创建VR终端的网络节点，采用LAN-WAN级联算法搭建独立子网络，实现多VR终端组网，使用同步数据分发策略，完成数据分发；
身份认证管理模块，用于基于数字签名算法的用户身份认证，为认证用户注册、颁发可信证书，使用权限控制模型，为用户授权不同的权限角色；
虚拟化身交互模块，用于提取用户皮肤、发型、五官纹理特征，修改用户虚拟化身形象，采集手势、体感交互数据，计算用户的转动角度，匹配交互操作的行为；
虚拟化身交互语义提取模块，用于构造交互语义模板，使用基于规则的推理引擎提取施动者、接受者和交互操作，采用GeoJSON描述交互操作，匹配交互动作；
交互数据保护模块，用于基于有向无环图的交互数据组织，加密、存储交互语义和操作，获取、跟踪交互数据变化，运用事务处理机制，实现交互数据更新和同步；
隐私设置模块，用于设置交互数据的读写权限，构造用户访问的权限列表，将权限列表转换为访问矩阵，创建访问控制三元组，采用审计技术转换算法提取、生成审计日志；
交互脚本调用模块，用于构造虚拟化身和交互行为的调用接口，使用静态方法和Shell工具生成脚本主体和头部结构，调度、分配工作线程执行脚本。
上述多用户虚拟化身交互行为安全保护系统的工作方法，包括以下步骤：
(1)对等网络模型搭建。依据VR终端的序列号和标识号，运用Chord算法创建对应网络节点；使用星型拓扑链接、排列节点，运用LAN-WAN级联算法搭建独立子网络；采用Tornado编码将交互数据分段，基于同步数据分发策略，运用Gossip算法实现各VR终端的数据分发。
(1-1)网络节点创建。依据VR终端的序列号和标识号，使用分布式哈希表为VR终端分配网络唯一标识符，运用Chord算法创建该终端标识符对应的网络节点，并采用Reactor反应器动态添加、删除网络节点。
(1-2)多VR终端组网。如图2所示，使用星型网络拓扑结构链接、排列网络节点，根据LoRaWAN网络协议，运用LoRa网关作为中心枢纽，使用多路复用算法实现多通道通信，采用LAN-WAN级联算法搭建独立子网络，实现多VR终端组网。
(1-3)数据分发。使用同步数据分发策略，将触发交互任务的VR终端作为中央节点，采用SSH传输协议建立、加密与其余终端的连接，使用Tomado编码将用户虚拟化身的交互数据分段，基于同步数据分发策略，运用Gossip算法实现各VR终端的数据分发。
(2)身份认证管理。使用RSA数字签名算法核验、认证用户的CA证书；采用JWT认证策略，为注册用户颁发可信证书，并将证书转换的哈希指纹存储在本地VR终端；使用基于角色的权限控制模型，授予相应权限用户的管理员、普通用户、审计员或游客角色。
(2-1)用户身份认证。VR应用程序为用户颁发包含应用版本号、终端序列号、用户标识符、用户公钥的CA数字证书，依据SSL/TLS协议，保障其完整和安全，若用户登录VR应用，使用RSA数字签名算法核验、认证用户身份。RSA数字签名算法步骤如下：
I：用户登录VR应用程序，获取CA数字证书中该用户公钥(e，n)、标识符M；
II：使用公式1计算解密签名：
h＝semod n (公式1)
其中，s＝Md mod n；
III：计算用户标识符散列值，如公式2所示：
y＝a*M+b (公式2)
其中，a和b为常数；
IV：若h＝y，则用户身份校验、认证成功，否则强制其退出应用程序。
(2-2)可信证书颁发。采用JWT认证策略，为注册用户颁发可信证书，将该用户身份发布到公共白名单中，使用Rabin数字指纹算法将可信用户的数字证书转换为哈希指纹，并存储在该用户的本地VR终端。
(2-3)用户授权。依据用户在VR应用程序的访问、修改、控制权限，使用基于角色的权限控制模型，授予该用户为管理员、普通用户、审计员或游客角色，并生成授权表，管理员具有编辑、删除、更新、维护的最高管理权限。
(3)虚拟化身交互。使用GLBP特征检测算法提取用户面部纹理，定位、绑定虚拟化身轮廓，结合LFW人脸库，用户修改其化身形象；采用运动捕捉算法，采集用户手部、手臂肢体动作数据；运用骨骼追踪技术，提取虚拟化身关节点坐标值，计算用户的转动角度，定义互动操作。
(3-1)形象交互。使用深度摄像机采集用户面部高清图片，采用基于自适应阈值的GLBP特征检测算法提取皮肤、发型、五官纹理特征，定位、绑定该用户虚拟化身模型面部轮廓，依据用户先验知识，结合LFW人脸库，修改虚拟化身形象。
(3-2)手势交互。借助动作传感器，使用基于惯性的运动捕捉算法，采集用户手部、手臂肢体动作的三维加速度、角速度、磁偏角和人体关节点空间坐标数据，生成位姿矩阵，转换、识别为手势动作，依据手势-语义映射表，获取选中、缩放、旋转或合并操作。
(3-3)体感交互。使用Kinect传感器，获取用户图像景深数据，采用骨骼追踪技术匹配、绑定虚拟化身头部和躯干关节点，并提取3D坐标值，计算虚拟化身腰、肩关节的转动角度，依据用户身体结构，使用运动学模型将转动定义为移动、漫游操作。转动角度计算步骤如下：
I：使用Kinect传感器发射红外结构光，并探测红外光反射值，计算用户视场范围内每个像素的景深数据；
II：采用骨骼追踪技术从景深数据中提取用户的5个骨骼关节点，如图3所示依次使用H、SC、SL、SR、ER表示；
III：将SL、SR、ER的骨骼点三维坐标分别记为：(xSL，YSL，zSL)、(xSR，YSR，zSR)、(xER，yER，zER)；
IV：连接SL和SR、SR和ER关节点，获取直线l1、l2；
V：l1与X坐标轴夹角、l2与Y坐标轴夹角分别为虚拟化身腰关节θ1、肩关节的转动角度θ2，计算如公式3、4所示：
(4)虚拟化身交互语义提取。结合嵌套模式，运用JSON描述交互语义模板；使用语义槽提取VR应用交互中的任务对象、动作对象和参数，采用推理引擎提取施动者、接受者和交互操作；使用类型区分动作对象，采用GeoJSON描述交互操作，匹配交互动作。
(4-1)交互语义模板构造。使用任务对象、交互名称、类型、隐私级别、时间戳、交互操作作为关键字，并将用户在VR应用程序中生成的交互数据作为值，结合嵌套模式，运用JSON数据格式描述交互语义模板。
I：使用Object、Name、Type、Privacy、Timestamp、Interaction表示任务对象、交互名称、类型、隐私级别、时间戳和交互属性，并赋值为字符串s1、s2、s3、s4、s5、x；
II：使用下述JSON语句描述交互语义模板：
{″Object″：s1，″Name″：s2，″Type″：s3，″Privacy″：s4，″Timestamp″：s5，″Interaction″：x}
(4-2)交互语义提取。学生A发起对教师虚拟化身形象交互，比如：修改教师虚拟化身发型为J，根据主谓宾结构，转换为“学生A修改教师虚拟化身发型J”，使用语义槽提取任务对象、动作对象和参数，依据形象、手势、体感交互以及任务对象，使用基于规则的推理引擎提取施动者、接受者和交互操作。交互语义提取具体步骤：
I：使用下述语句描述的语义槽提取任务对象为学生A和教师虚拟化身，动作行为和参数分别为“修改”、“发型J”，
{任务对象}+{动作对象}+{任务对象}+{动作参数}；
II：将动作对象和动作参数定义为交互行为，即修改发型J；
III：定义Rule1、Rule2规则，构建规则库，
Rulel：如果任务对象的数据发生变化，则将其作为接受者；否则，为施动者；
Rule2：依据互动数据来源，将交互行为定义为形象、手势或体感交互；
IV：将学生A、虚拟化身、修改发型J作为输入，经模式规则库匹配，输出为施动者、接收者、形象交互操作。
(4-3)交互语义匹配。使用类型属性区分施动者、接收者，采用GeoJSON格式描述交互操作数据，将虚拟化身皮肤、发型、五官、手势、关节角度、位置坐标作为关键字，对应的交互数据作为值，匹配交互动作。交互语义匹配具体步骤：
I：将施动者、接收者分别定义为Actor、Receiver，并使用Type关键字的取值区分：
若值为Actor，使用如下描述定义交互语义：
{″Object″：″学生A″，″Name″：s2，″Type″：″Actor″，″Privacy″：s4，″Timestamp″：s5，″Interaction″：None}；
若值为Receiver，则使用如下描述定义其交互语义：
{″Object″：″教师虚拟化身″，″Name″：s2，″Type″：″Receiver″，″Privacy″：s4，″Timestamp″：s5，″Interaction″：x}；
II：将虚拟化身皮肤、发型、五官、手势、关节角度、位置坐标分别定义为skin、hair、facial_features、gesture、join、position，并为其赋初始值{s6，s7，11，12，13，14}；
III：学生A修改教师虚拟化身发型J，生成虚拟化身交互数据值为{s6，J，11，12，13，14}；
IV：使用feature区分形象、手势、体感交互行为，并将其分别定义为Image、Gesture、Somatosensory，运用GeoJSON格式描述交互操作，其交互语义如下所示：
{″Object″：″教师虚拟化身″，″Name″：s2，″Type″：″Receiver″，″Privacy″：s4，″Timestamp″：s5,″Interaction″：{[{″feature″：″Image″，″geometry″：{″skin″：s6，″hair″：″J″，″facial_features″：11}}，{″feature″：″Gesture″，″geometry″：{″gesture″：12}}，{″feature″：″Somatosensory″，″geometry″：{″join″：l3，″position″：14}}]}}
(5)交互数据保护。将用户、数据，以及交互优先关系分别表示成结点和边，基于有向无环图组织交互数据；采用NoSQL数据库，加密、存储交互数据；使用CDP持续数据保护算法获取、跟踪交互数据变化，运用事务处理机制，实现交互数据更新和同步。
(5-1)交互数据组织。依据更新时间戳，获取虚拟化身的形象、手势、体感交互数据，将结点表示用户、数据，边表示交互优先关系，譬如：课堂教学过程中，t1时刻学生A修改教师虚拟化身发型J，t2时刻学生B修改教师虚拟化身肤色K，t3时刻学生B修改教师虚拟化身五官L，同时学生C修改教师虚拟化身发型M，使用如图4所示的有向无环图组织。支持采用深度优先搜索遍历算法查找、访问、更新交互数据。
(5-2)交互数据存储。使用表1、2所示的交互语义、交互操作表结构，构建基于键值的NoSQL数据库，结合非对称加密算法加密、存储交互语义和操作，采用数据操作语言增加、删除、修改、查找数据库表中的交互数据，若用户请求访问和管理数据库时，采用数据库防火墙监控、识别用户管理员角色。
表1交互语义表结构
字段 列名 数据类型 字段约束 可否为空
Object 任务对象 String 联合主键 否
Name 交互名称 String 联合主键 否
Type 类型 String 否
Privacy 隐私级别 String 否
Timestamp 时间戳 String 否
Interaction 交互操作 String 外键约束 否
表2交互操作表结构
字段 列名 数据类型 字段约束 可否为空
Interaction 交互操作 String 主键，自增长 否
skin 皮肤 String 否
hair 发型 String 否
facial_features 五官 String 否
gesture 手势 String 否
join 关节 String 否
position 位置 String 否
(5-3)交互数据保护。借助文件过滤驱动，使用CDP持续数据保护算法获取、跟踪交互数据变化，并将其备份，例如：学生A修改教师虚拟化身发型J，设定验证、就绪、锁定、执行、解锁状态，如图5所示。依据MESI协议，运用事务处理机制，实现交互数据更新和同步。CDP持续数据保护算法具体步骤：
I：使用CDP持续数据保护算法，实时获取用户对交互语义JSON文档的访问操作；
II：运用文件过滤驱动拦截读、写JSON文档的操作，获取其交互数据变化，并将Interaction和Timestamp字段备份到UnaCDP存储体；
III：依据Timestamp，获取对应Interaction字段，覆盖当前时刻JSON文档中的Interaction字段，恢复交互数据。
(6)隐私设置。构造用户访问的权限列表，综合访问策略，为用户分配权限表；构建访问控制表、访问能力表，结合实施权限主体集、客体集，创建访问控制三元组；运用基于机器学习的审计算法，识别违法行为，提取、生成审计日志。
(6-1)权限设置。依据用户及其所在用户组的权限，设置交互数据的可读、可写、可读写权限，结合私有、公开和保护级别，构造如表3所示的用户访问的权限列表，综合运用权责对等原则、直线授权原则、最小特权原则、动态性原则的访问策略，为用户分配权限表。
表3用户访问权限表
(6-2)访问控制。依据自主访问的控制策略，构建访问控制表、访问能力表，基于面向对象的继承-派生机制，实现用户角色的访问权限继承，并将权限列表转换为访问矩阵，结合实施权限主体集、客体集，创建访问控制三元组。
(6-3)安全审计。运用基于机器学习的审计算法，识别未经身份认证用户访问、恶意入侵VR应用、攻击交互数据的违法访问行为，使用基于网络的漏洞扫描算法检测网络安全漏洞，采用审计技术转换算法，提取、生成审计日志。
(7)交互脚本调用。从抽象父类派生虚拟化身和交互行为的静态类，构造调用接口；使用静态方法和Shell工具分别生成交互脚本的主体和头部信息；使用脚本处理器检查、解析交互脚本，采用Java虚拟机为脚本分配工作线程，并执行该脚本。
(7-1)接口构造。将交互语义的JSON文档关键字作为属性，提供读写属性、隐私控制方法，定义包含读写、控制方法的抽象类，并派生虚拟化身和交互行为的静态类实现虚拟化身访问、修改和交互行为扩展，构造调用接口。
(7-2)交互脚本生成。依据CURD操作语法规则，构建添加、删除、修改、查询虚拟化身交互语义的静态方法库，使用过程中调用静态方法生成脚本的主体结构，采用Shell工具生成交互脚本执行次数和间隔时长的头部信息。交互脚本生成具体步骤：
I：构建如表4所示的静态方法库，
表4静态方法库
II：使用静态方法生成脚本的主体结构，比如，使用set(″hair″)＝″J″将虚拟化身发型修改为J；
III：使用echo″$((counter+1))″、echo″$startTime---＞$endTime″″Total：$sumTime seconds″分别作为脚本执行次数和间隔时长的头部信息。
(7-3)交互脚本执行。使用脚本处理器检查、解析交互脚本，采用Java虚拟机为脚本调度、分配、执行工作线程，设定时间阈值，若用户与虚拟化身互动超时，运用Handler机制唤醒线程，重新执行交互脚本。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。

Claims (8)

1.多用户虚拟化身交互行为安全保护方法，其特征在于该方法包括以下步骤：
(1)对等网络模型搭建；依据VR终端的序列号和标识号，运用Chord算法创建对应网络节点；使用星型拓扑链接、排列节点，运用LAN-WAN级联算法搭建独立子网络；使用Tornado编码将交互数据分段，基于同步数据分发策略，运用Gossip算法实现各VR终端的数据分发；
(2)身份认证管理；使用RSA数字签名算法核验、认证用户的CA证书；采用JWT认证策略，为注册用户颁发可信证书，并将证书转换的哈希指纹存储在本地VR终端；使用基于角色的权限控制模型，授予相应权限用户的管理员、普通用户、审计员或游客角色；
(3)虚拟化身交互；使用GLBP特征检测算法提取用户面部纹理，定位、绑定虚拟化身轮廓，结合LFW人脸库，用户修改自身虚拟化身形象；采用运动捕捉算法，采集用户手部、手臂肢体动作数据；运用骨骼追踪技术，提取虚拟化身关节点坐标值，计算用户的转动角度，定义互动操作；
(4)虚拟化身交互语义提取；结合嵌套模式，运用JSON数据格式描述交互语义模板；使用语义槽提取VR应用交互中的任务对象、动作对象和参数，采用推理引擎提取施动者、接受者和交互操作；使用类型区分动作对象，采用GeoJSON描述交互操作，匹配交互动作；
(5)交互数据保护；将用户、数据，以及交互优先关系分别表示成结点和边，基于有向无环图组织交互数据；采用NoSQL数据库，加密、存储交互数据；使用CDP持续数据保护算法获取、跟踪交互数据变化，运用事务处理机制，实现交互数据更新和同步；具体包括：
(5-1)交互数据组织；依据更新时间戳，获取用户与虚拟化身的形象、手势、体感交互生成的数据，将结点表示用户、数据，边表示交互优先关系，使用有向无环图组织，支持采用深度优先搜索遍历算法查找、访问、更新交互数据；
(5-2)交互数据存储；使用交互语义、交互操作表结构，构建基于键值的NoSQL数据库，结合非对称加密算法加密、存储交互语义和操作，采用数据操作语言增加、删除、修改、查找数据库表中的交互数据，若用户请求访问和管理数据库时，采用数据库防火墙监控、识别用户管理员角色；
(5-3)交互数据保护；借助文件过滤驱动，使用CDP持续数据保护算法获取、跟踪交互数据变化，并将交互数据备份，设定验证、就绪、锁定、执行、解锁状态，依据MESI协议，运用事务处理机制，实现交互数据更新和同步；
(6)隐私设置；构造用户访问的权限列表，综合访问策略，为用户分配权限表；构建访问控制表、访问能力表，结合实施权限主体集、客体集，创建访问控制三元组；运用基于机器学习的审计算法，识别违法行为，提取、生成审计日志；
(7)交互脚本调用；从抽象父类派生虚拟化身和交互行为的静态类，构造调用接口；使用静态方法和Shell工具分别生成交互脚本的主体和头部信息；使用脚本处理器检查、解析交互脚本，采用Java虚拟机为脚本分配工作线程，并执行该脚本。
2.根据权利要求1所述的多用户虚拟化身交互行为安全保护方法，其特征在于步骤(1)中所述的对等网络模型搭建具体包括：
(1-1)网络节点创建；依据VR终端的序列号和标识号，使用分布式哈希表为VR终端分配网络唯一标识符，运用Chord算法创建该终端标识符对应的网络节点，并采用Reactor反应器动态添加、删除网络节点；
(1-2)多VR终端组网；使用星型网络拓扑结构链接、排列网络节点，根据LoRaWAN网络协议，运用LoRa网关作为中心枢纽，使用多路复用算法实现多通道通信，采用LAN-WAN级联算法搭建独立子网络，实现多VR终端组网；
(1-3)数据分发；使用同步数据分发策略，将触发交互任务的VR终端作为中央节点，采用SSH传输协议建立、加密与其余终端的有效连接，使用Tornado编码将用户虚拟化身的交互数据分段，基于同步数据分发策略，运用Gossip算法实现各VR终端的数据分发。
3.根据权利要求1所述的多用户虚拟化身交互行为安全保护方法，其特征在于步骤(2)中所述的身份认证管理具体包括：
(2-1)用户身份认证；VR应用程序为用户颁发包含应用版本号、终端序列号、用户标识符、用户公钥的CA数字证书，使用SSL/TLS协议实现CA数字证书的传输，若用户登录VR应用，使用RSA数字签名算法核验、认证用户的身份；
(2-2)可信证书颁发；采用JWT认证策略，为注册用户颁发可信证书，将该用户身份发布到公共白名单中，使用Rabin数字指纹算法将可信用户的数字证书转换为哈希指纹，并存储在该用户的本地VR终端；
(2-3)用户授权；依据用户在VR应用程序的访问、修改、控制权限，使用基于角色的权限控制模型，授予该用户为管理员、普通用户、审计员或游客角色，并生成授权表，管理员具有编辑、删除、更新、维护的最高管理权限。
4.根据权利要求1所述的多用户虚拟化身交互行为安全保护方法，其特征在于步骤(3)中所述的虚拟化身交互具体包括：
(3-1)形象交互；使用深度摄像机采集用户面部高清图片，采用基于自适应阈值的GLBP特征检测算法提取皮肤、发型、五官纹理特征，定位、绑定该用户虚拟化身模型面部轮廓，依据用户先验知识，结合LFW人脸库，选择、修改虚拟化身形象；
(3-2)手势交互；借助动作传感器，使用基于惯性式的运动捕捉算法，采集用户手部、手臂肢体动作的三维加速度、角速度、磁偏角和人体关节点空间坐标数据，生成位姿矩阵，转换、识别为手势动作，依据手势—语义映射表，获取选中、缩放、旋转或合并操作；
(3-3)体感交互；使用Kinect传感器，获取用户图像景深数据，采用骨骼追踪技术匹配、绑定虚拟化身头部和躯干关节点，并提取3D坐标值，计算虚拟化身腰、肩关节的转动角度，依据用户身体结构，使用运动学模型将转动定义为移动、漫游操作。
5.根据权利要求1所述的多用户虚拟化身交互行为安全保护方法，其特征在于步骤(4)中所述的虚拟化身交互语义提取具体包括：
(4-1)交互语义模板构造；使用任务对象、交互名称、类型、隐私级别、时间戳、交互操作作为关键字，并将用户在VR应用程序中生成的交互数据作为值，结合嵌套模式，运用JSON数据格式描述交互语义模板；
(4-2)交互语义提取；依据主谓宾结构，使用语义槽提取沉浸式环境交互任务中的任务对象、动作对象和参数，依据形象、手势、体感交互以及任务对象，使用基于规则的推理引擎提取施动者、接受者和交互操作；
(4-3)交互语义匹配；使用类型属性区分施动者、接收者，采用GeoJSON格式描述交互操作数据，将虚拟化身皮肤、发型、五官、手势、关节角度、位置坐标作为关键字，对应的交互数据作为值，匹配交互动作。
6.根据权利要求1所述的多用户虚拟化身交互行为安全保护方法，其特征在于步骤(6)中所述的隐私设置具体包括：
(6-1)权限设置；依据用户及其所在用户组的权限，设置交互数据的可读、可写、可读写权限，结合私有、公开和保护级别，构造用户访问的权限列表，综合运用权责对等原则、直线授权原则、最小特权原则、动态性原则的访问策略，为用户分配权限表；
(6-2)访问控制；依据自主访问的控制策略，构建访问控制表、访问能力表，基于面向对象的继承-派生机制，实现用户角色的访问权限继承，并将权限列表转换为访问矩阵，结合实施权限主体集、客体集，创建访问控制三元组；
(6-3)安全审计；运用基于机器学习的审计算法，识别未经身份认证用户访问、恶意入侵VR应用、攻击性交互数据的违法访问行为，使用基于网络的漏洞扫描算法检测网络安全漏洞，采用审计技术转换算法，提取、生成审计日志。
7.根据权利要求1所述的多用户虚拟化身交互行为安全保护方法，其特征在于步骤(7)中所述的交互脚本调用具体包括：
(7-1)接口构造；将交互语义的JSON文档关键字作为属性，提供读写属性、隐私控制方法，定义包含读写、控制方法的抽象类，并派生虚拟化身和交互行为的静态类实现虚拟化身访问、修改和交互行为扩展，构造调用接口；
(7-2)交互脚本生成；依据CURD操作语法规则，构建添加、删除、修改、查询虚拟化身交互语义的静态方法库，使用过程中调用静态方法生成脚本的主体结构，并采用Shell工具生成交互脚本执行次数和间隔时长的头部信息；
(7-3)交互脚本执行；使用脚本处理器检查、解析交互脚本，采用Java虚拟机为脚本调度、分配、执行工作线程，设定时间阈值，若用户与虚拟化身互动超时，运用Handler机制唤醒线程，重新执行交互脚本。
8.一种多用户虚拟化身交互行为安全保护系统，其特征在于用于实现权利要求1～7任一项中所述的多用户虚拟化身交互行为安全保护方法，包括：
对等网络模型搭建模块，用于创建VR终端的网络节点，采用LAN-WAN级联算法搭建独立子网络，实现多VR终端组网，使用同步数据分发策略，完成数据分发；
身份认证管理模块，用于基于数字签名算法的用户身份认证，为认证用户注册、颁发可信证书，使用权限控制模型，为用户授权不同的权限角色；
虚拟化身交互模块，用于提取用户皮肤、发型、五官纹理特征，修改用户虚拟化身形象，采集手势、体感交互数据，计算用户的转动角度，匹配交互操作的行为；
虚拟化身交互语义提取模块，用于构造交互语义模板，使用基于规则的推理引擎提取施动者、接受者和交互操作，采用GeoJSON描述交互操作，匹配交互动作；
交互数据保护模块，用于基于有向无环图的交互数据组织，加密、存储交互语义和操作，获取、跟踪交互数据变化，运用事务处理机制，实现交互数据更新和同步；
隐私设置模块，用于设置交互数据的读写权限，构造用户访问的权限列表，将权限列表转换为访问矩阵，创建访问控制三元组，采用审计技术转换算法提取、生成审计日志；
交互脚本调用模块，用于构造虚拟化身和交互行为的调用接口，使用静态方法和Shell工具生成脚本主体和头部结构，调度、分配工作线程执行脚本。
CN202310257001.3A 2023-03-16 2023-03-16 多用户虚拟化身交互行为安全保护方法及系统 Active CN116310238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310257001.3A CN116310238B (zh) 2023-03-16 2023-03-16 多用户虚拟化身交互行为安全保护方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310257001.3A CN116310238B (zh) 2023-03-16 2023-03-16 多用户虚拟化身交互行为安全保护方法及系统

Publications (2)

Publication Number Publication Date
CN116310238A CN116310238A (zh) 2023-06-23
CN116310238B true CN116310238B (zh) 2024-03-22

Family

ID=86784694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310257001.3A Active CN116310238B (zh) 2023-03-16 2023-03-16 多用户虚拟化身交互行为安全保护方法及系统

Country Status (1)

Country Link
CN (1) CN116310238B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116633696B (zh) * 2023-07-25 2024-01-02 深圳市永达电子信息股份有限公司 网络计算节点接入控制器系统、管控方法和电子设备
CN117459324B (zh) * 2023-12-22 2024-03-22 深圳市智慧城市科技发展集团有限公司 Gpt模型的访问方法、设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103441986A (zh) * 2013-07-29 2013-12-11 中国航天科工集团第二研究院七〇六所 一种瘦客户端模式的数据资源安全管控方法
CN113242277A (zh) * 2021-04-19 2021-08-10 华中师范大学 一种5g网络环境下虚拟同步课堂教学系统及其工作方法
CN114828211A (zh) * 2022-05-05 2022-07-29 浙江德清知路导航科技有限公司 一种智能手机和可穿戴设备的音频定位系统、方法及终端
US11410570B1 (en) * 2021-09-27 2022-08-09 Central China Normal University Comprehensive three-dimensional teaching field system and method for operating same
CN115002156A (zh) * 2022-05-26 2022-09-02 广东工业大学 一种车载元宇宙虚拟化身服务迁移的资源安全保护方法及系统
CN115118462A (zh) * 2022-06-09 2022-09-27 华中师范大学 一种基于卷积增强链的数据隐私保护方法
CN115454240A (zh) * 2022-09-05 2022-12-09 无锡雪浪数制科技有限公司 一种元宇宙虚拟现实交互体验系统及方法
CN115689575A (zh) * 2022-11-02 2023-02-03 中科纯元(珠海)科技有限公司 一种应用于元宇宙的交互防护系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10498772B2 (en) * 2016-03-21 2019-12-03 Vireshwar K. Adhar Method and system for digital privacy management

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103441986A (zh) * 2013-07-29 2013-12-11 中国航天科工集团第二研究院七〇六所 一种瘦客户端模式的数据资源安全管控方法
CN113242277A (zh) * 2021-04-19 2021-08-10 华中师范大学 一种5g网络环境下虚拟同步课堂教学系统及其工作方法
US11410570B1 (en) * 2021-09-27 2022-08-09 Central China Normal University Comprehensive three-dimensional teaching field system and method for operating same
CN114828211A (zh) * 2022-05-05 2022-07-29 浙江德清知路导航科技有限公司 一种智能手机和可穿戴设备的音频定位系统、方法及终端
CN115002156A (zh) * 2022-05-26 2022-09-02 广东工业大学 一种车载元宇宙虚拟化身服务迁移的资源安全保护方法及系统
CN115118462A (zh) * 2022-06-09 2022-09-27 华中师范大学 一种基于卷积增强链的数据隐私保护方法
CN115454240A (zh) * 2022-09-05 2022-12-09 无锡雪浪数制科技有限公司 一种元宇宙虚拟现实交互体验系统及方法
CN115689575A (zh) * 2022-11-02 2023-02-03 中科纯元(珠海)科技有限公司 一种应用于元宇宙的交互防护系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
一种交互式身份认证及访问控制安全信息平台的设计与实现;陈占芳;马天宇;宋红伟;李鹏鹏;王欢;蒋振刚;冯欣;;长春理工大学学报(自然科学版)(第Z2期);159-162 *
元宇宙信息采集权与用户隐私权的冲突及治理研究;滕长利;《上海法学研究》;第22卷;70-76 *
基于数字证书的教育云可信实名身份认证和授权的研究;李以斌;牟大伟;;网络空间安全(第Z1期);42-46 *
教育元宇宙时代教师发展的挑战与应对;徐建等;《开放教育研究》;第28卷(第3期);51-56 *

Also Published As

Publication number Publication date
CN116310238A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN116310238B (zh) 多用户虚拟化身交互行为安全保护方法及系统
CN108446680A (zh) 一种基于边缘计算的人脸认证系统中的隐私保护方法
CN105408912B (zh) 处理认证和资源许可
JP5231665B2 (ja) バイオメトリックデバイスを用いて企業リソースへのアクセスを可能にするシステム、方法およびコンピュータプログラム製品
US20090235191A1 (en) Method for Accessing a Secondary Virtual Environment from Within a Primary Virtual Environment
US20090234948A1 (en) Using Multiple Servers to Divide a Virtual World
CN110175441A (zh) 基于生物识别的数据管理方法、装置、设备及存储介质
Choi et al. The future of metaverse: Security issues, requirements, and solutions
US20230409679A1 (en) Systems and methods for a tokenized virtual persona for use with a plurality of software applications
CN114780083A (zh) 一种知识图谱系统的可视化构建方法及装置
Seo et al. Digital forensic investigation framework for the metaverse
CN115865398A (zh) 一种数字化业务安全原生体系的构建方法及系统
Banerjee et al. Intelligent Cyber-Physical Systems Security for Industry 4.0: Applications, Challenges and Management
Kumar et al. Blockchain and Internet of Things (IoT) Enabled Smart E-Voting System
CN107742141B (zh) 基于rfid技术的智能身份信息采集方法及系统
CN117688533A (zh) 一种基于人工智能的电子签章方法、电子验章方法及系统
CN110222187B (zh) 保护用户隐私的共同活动检测与数据共享方法
CN115022020B (zh) 一种基于多维集合计算的访问控制方法及系统
CN114840826A (zh) 一种基于元宇宙的虚拟身份产生方法
Manzoor et al. NFT-based blockchain-oriented security framework for metaverse applications
Anwar et al. A Comprehensive Insight into Blockchain Technology: Past Development, Present Impact and Future Considerations
Li et al. Towards building a firm metaverse security base
RU2751457C1 (ru) Способ и система электронного голосования в распределенном реестре
CN113194113B (zh) 一种智慧城市物联网区块链集成互信共享方法
CN107742140A (zh) 基于rfid技术的智能身份信息识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant