CN116449958A - 一种基于元宇宙的虚拟办公系统 - Google Patents

一种基于元宇宙的虚拟办公系统 Download PDF

Info

Publication number
CN116449958A
CN116449958A CN202310449023.XA CN202310449023A CN116449958A CN 116449958 A CN116449958 A CN 116449958A CN 202310449023 A CN202310449023 A CN 202310449023A CN 116449958 A CN116449958 A CN 116449958A
Authority
CN
China
Prior art keywords
virtual
user
office
virtual character
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310449023.XA
Other languages
English (en)
Inventor
陈森
张佩
张峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuoyi Technology Co ltd
Original Assignee
Shanghai Shuoyi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuoyi Technology Co ltd filed Critical Shanghai Shuoyi Technology Co ltd
Priority to CN202310449023.XA priority Critical patent/CN116449958A/zh
Publication of CN116449958A publication Critical patent/CN116449958A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于元宇宙沉浸式沟通空间的虚拟办公系统,涉及人工智能等技术领域,解决了现有在线会议软件所无法实现的沉浸式办公的缺失;本发明在系统内建立3D虚拟人物模型,用户进入系统,穿戴惯性动作捕捉设备与系统建立连接,同步真人动作到虚拟形象上,虚拟形象可全真模拟用户在办公过程中的日常动作;可在进行身份验证后进入系统内搭建的同一虚拟办公场景中进行办公和实时交流,电子文档以实物文档的形式在虚拟环境中被使用和共享;还可进行多种装饰的个性化操作;系统能识别不同角色方位,在系统中实现虚拟形象交互,提高元宇宙虚拟办公的沉浸感。

Description

一种基于元宇宙的虚拟办公系统
技术领域
涉及人工智能、增强现实(Augmented Reality,AR)技术、虚拟现实技术(VirtualReality,VR)、惯性动作捕捉等技术领域,具体为一种基于元宇宙的虚拟办公系统。
背景技术
围绕元宇宙及其衍生出的技术应用逐渐渗透到社会、经济、文化、生产和生活的方方面面。由于很多公司的子公司分散各地、不同地区办公园区政策的限制、办公大楼的高昂租金等现实因素,基于元宇宙的线上虚拟办公系统也开始层出不穷,人们越来越趋向于追求更加沉浸式的线上办公体验感。在中国专利公开-CN114339120 A中公开了一种沉浸式视频会议系统,用户确定会议模式后可进入指定的虚拟会议界面,第一参与者可与第二参与者进行虚拟场景切换,但该发明不支持虚拟会议场景的个性化定制,也没有相应的虚拟人物形象建立,用户依旧缺少办公的沉浸式体验感。
在中国专利公开-CN 112839196 B中公开了一种实现在线会议的方法、装置以及存储介质,其通过终端设备与用户交互,采取用户的面部表情图像数据生成与第一用户对应的虚拟人物模型,进而将虚拟人物模型发送至参与在线会议的第二用户的终端设备,但缺少动作捕捉设备对虚拟人物模型的进一步深刻刻画,用户的手部动作无法在虚拟会议场景中得到展示,也缺少相应的沉浸式体验感。
元宇宙是整合了多种新技术的虚实相融的社会形态和互联网应用,它与现实世界是虚实相生的关系,空间维度上虚拟,但是在时间维度上真实。为了提高用户在线办公的沉浸感,满足元宇宙将虚拟办公场景和现实世界的办公需求很好地结合,本发明提出一种基于元宇宙的虚拟办公系统。
发明内容
目前在元宇宙虚拟办公领域,用户对于虚拟办公的沉浸式体验感依旧不足,现有的在线办公技术及平台存在较大的交流局限性,基于现有线上办公无法弥补现实办公的真实沉浸感的问题,本发明将提供以下技术方案:
本发明公开的一种基于元宇宙的虚拟办公系统,包括惯性动作捕捉设备模块、3D虚拟人物上半身形象模型建立模块、头戴设备空间音频识别模块、电子文档在虚拟环境中实例化模块以及办公室个性化装修模块。
进一步地,所述惯性动作捕捉设备模块是指用户通过佩戴惯性动作捕捉设备,进行360°姿态捕捉,无角度限制,通过基于向量角的轨迹特征识别算法精准捕捉手势动作,动作捕捉的相关数据上传到虚拟会议系统,在3D虚拟人物形象上进行模拟动作,在虚拟办公室场景中呈现人物动作效果。
进一步地,所述3D虚拟人物上半身形象模型建立模块是指用户进入虚拟会议系统,进行身份注册后允许摄像头采集用户面部数据,将脸型、五官特征刻画到3D虚拟人物形象上;用户还可以选择虚拟人物形象的发型、肤色等,每日上班时可在登录系统时,为虚拟人物进行服装搭配。
进一步地,所述头戴设备空间音频识别模块是指用户虚拟人物在办公场景中与其他虚拟员工进行交互时,可识别在场办公交流的所有员工所在方位,进行解析转码后将音频数据传递到用户所佩戴头戴设备内,用户在听到同事声音时,拥有明显的空间感,从而能打造更为真实的空间交流感。
进一步地,所述电子文档在虚拟环境中实例化模块是指用户可在日常的办公场景中选择相关同事进行传递文件,电子文档可在虚拟场景中模拟成现实世界中文件夹的形式,用户穿戴动捕设备进行传递文件的动作可刻画到虚拟人物形象上,选择对象进行文件传递;开会时也可直接打开文件夹进行翻阅文档内容。
进一步地,所述办公室个性化装修模块是指用户进入虚拟办公系统后,可对周围环境、建筑风格、装修、家具用品、虚拟人物形象等根据个人喜好和个人需求进行个性化的装饰和装修;虚拟人物的形象获取通过用户上传用户画像或通过摄像头,利用面部识别算法对用户面部特征进行提取,打造更贴近用户长相的虚拟人物形象;用户还可根据自己的喜好和办公当日的心情选择办公室的内饰装修风格、会议室风格、窗外风景等,提高用户线上办公的体验感,也弥补了现实生活中长期在同一地点办公的枯燥感。
附图说明
图1为本发明一种基于元宇宙的虚拟办公系统的系统架构图。
具体实施方式
以下参考附图来说明本发明的基本原理和若干示例实现:
本发明所述的基于元宇宙的虚拟办公系统具体结合实施例的模拟场景构造和说明书附图进一步说明,
进一步地,本实施例所述的动作捕捉设备采用VD Suit-Full惯性动作捕捉设备,
具体地,VD Suit-Full惯性动作捕捉设备具有穿戴便捷的显著优势,这套惯性动捕设备包含全身27个关键节点,设计简洁,魔术贴调节方便,适合全年龄、全体型。该设备拥有360°姿态捕捉范围,无角度限制,精准捕捉人体动作,可实时在平台中模拟人物动作和日常办公操作;其中手势识别的基本步骤是:1)输入当前RGB图像;2)对图像进行预处理,矩阵A←FGaussianBlur(FadaptiveThreshold(Pic));3)将得到的矩阵A归一化,主要公式为:4)利用训练好的CNN网络模型,将待测手势特征输进网络模型,得到输出结果;5)输出One-hot编码对应的手势类型,即旋转、平移、放缩、选中与退出。
进一步地,本实施例所述的3D人物模型采用Yolov7算法实现人物动作捕捉设备到3D人物形象的数据模拟。
具体步骤依次为:Mosaic数据增强,随机缩放、裁剪、排列再进行拼接;自适应的计算不同训练集中的最佳锚框值;利用骨干网络进行特征提取;利用颈部网络进行特征融合处理;检测框筛选,类别预测;检测框输。
进一步地,本实施例所述的平台内电子文档实例化,虚拟物品展示可交易的功能(3D建模软件内实现)实现。
进一步地,本实施例所述的3D人物建模所需的面部特征识别算法为CFC-SP关键特征捕获网络,可有效刻画用户人物形象,实现3D人物模型逼真感。
具体步骤依次为:利用深度相机设备采集图像点云流,将每一帧的点云信息进行特征提取;捕获一段时期内面部的一般特征和这一时刻的特定特征;利用粗到细的级联网络(CFC)提取粗特征,并将相似特征使用K-means算法聚类为粗略的类别。具体地,首先利用深度相机设备采集图像点云流,将每一帧的点云信息进行特征提取。捕获一段时期内面部表情的一般特征和这一时刻的特定特征;其次利用粗到细的级联网络(CFC)提取粗特征,并将相似特征使用K-means算法聚类为粗略的类别,具体为:假设输入样本为T=X1,X2,…,Xm;则算法步骤为(使用欧几里得距离公式):
1)选择初始化的k个类别中心a1,a2,…ak,每个簇的样本数量为N1,N2,…,Nk
2)对于每个样本Xi,将其标记位距离类别中心aj最近的类别j;
3)更新每个类别的中心点aj为隶属该类别的所有样本的均值;
4)重复上面两步操作,直到达到设定的迭代次数、最小平方误差MSE、簇中心点变化率等中止条件。
具体地,使用平方误差作为目标函数(使用欧几里得距离),公式为:
要获取最优解,是让目标函数需要尽可能的小,对J函数求偏导数,可以得到簇中心点a更新的公式为:
利用缓存的前n帧特征,进行平均,减少噪音干扰。归一化后进一步用于获得细粒度的平滑预测
数学上,给定n个相邻的帧图像,I0,I1,...Ii-1,Ii,Ii+1,...In-1在1和窗口大小(w)下,我们首先利用网络独立地从每幅图像中提取特征。在此之后,将获得n个图像特征,命名为f0,...fi,...fn-1。然后,我们提出的SP模块将通过以下方式更新每个帧特征:
其中f'i表示更新的特征。更新后的特征由两部分组成:唯一的当前帧特征和给定窗口大小中的通用特征。我们发现这将提高模型输出的平滑度以及性能,这些类别将被用于面部重建时的矫正,情感判断。
进一步地,本实施例所述的识别用户所处虚拟场景位置,根据空间音频解析算法,即HRTF算法确定声音传输方向,从而将交流声音来源传进用户左/右耳,增加用户对元宇宙办公的真实感。
综上所述,本发明所述的一种基于元宇宙的虚拟办公平台通过多种算法模型最大程度上还原了现实场景办公的真实感,弥补了目前在线办公的沉浸式体验感的空缺。

Claims (6)

1.基于元宇宙的虚拟办公系统,其特征在于惯性动作捕捉设备模块、3D虚拟人物上半身形象模型建立模块、头戴设备空间音频识别模块、电子文档在虚拟环境中实例化模块以及办公室个性化装修模块,惯性动作捕捉设备模块,是用户通过佩戴惯性动作捕捉设备,进行360°姿态捕捉,无角度限制,通过基于向量角的轨迹特征识别算法精准捕捉手势动作,动作捕捉的相关数据上传到虚拟会议系统,在3D虚拟人物形象上进行模拟动作,在虚拟办公室场景中呈现人物动作效果,3D虚拟人物上半身形象模型建立模块,是用户进入虚拟会议系统,进行身份注册后允许摄像头采集用户面部数据,将脸型、五官特征刻画到3D虚拟人物形象上,用户还可以选择虚拟人物形象的发型、肤色等,每日上班时可在登录系统时,为虚拟人物进行服装搭配,头戴设备空间音频识别模块,是用户虚拟人物在办公场景中与其他虚拟员工进行交互时,可识别在场办公交流的所有员工所在方位,进行解析转码后将音频数据传递到用户所佩戴头戴设备内,用户在听到同事声音时,拥有明显的空间感,从而能打造更为真实的空间交流感,电子文档在虚拟环境中实例化模块,是用户可在日常的办公场景中选择相关同事进行传递文件,电子文档可在虚拟场景中模拟成现实世界中文件夹的形式,用户穿戴动捕设备进行传递文件的动作可刻画到虚拟人物形象上,选择对象进行文件传递;开会时也可直接打开文件夹进行翻阅文档内容,办公室个性化装修模块,是用户进入虚拟办公系统后,可对周围环境、建筑风格、装修、家具用品、虚拟人物形象等根据个人喜好和个人需求进行个性化的装饰和装修,虚拟人物的形象获取通过用户上传用户画像或通过摄像头,利用面部识别算法对用户面部特征进行提取,打造更贴近用户长相的虚拟人物形象。
2.根据权利要求1所述的惯性动作捕捉设备模块,其特征在于用户通过佩戴惯性动作捕捉设备,进行360°姿态捕捉,无角度限制,通过基于向量角的轨迹特征识别算法精准捕捉手势动作,动作捕捉的相关数据上传到虚拟会议系统,在3D虚拟人物形象上进行模拟动作,在虚拟办公室场景中呈现人物动作效果。
3.根据权利要求1所述的3D虚拟人物上半身形象模型建立模块,其特征在于用户进入虚拟会议系统,进行身份注册后允许摄像头采集用户面部数据,将脸型、五官特征刻画到3D虚拟人物形象上;用户还可以选择虚拟人物形象的发型、肤色等,每日上班时可在登录系统时,为虚拟人物进行服装搭配。
4.根据权利要求1所述的头戴设备空间音频识别模块,其特征在于用户虚拟人物在办公场景中与其他虚拟员工进行交互时,可识别在场办公交流的所有员工所在方位,进行解析转码后将音频数据传递到用户所佩戴头戴设备内,用户在听到同事声音时,拥有明显的空间感,从而能打造更为真实的空间交流感。
5.根据权利要求1所述的电子文档在虚拟环境中实例化模块,其特征在于用户可在日常的办公场景中选择相关同事进行传递文件,电子文档可在虚拟场景中模拟成现实世界中文件夹的形式,用户穿戴动捕设备进行传递文件的动作可刻画到虚拟人物形象上,选择对象进行文件传递;开会时也可直接打开文件夹进行翻阅文档内容。
6.根据权利要求1所述的办公室个性化装修模块,其特征在于用户进入虚拟办公系统后,可对周围环境、建筑风格、装修、家具用品、虚拟人物形象等根据个人喜好和个人需求进行个性化的装饰和装修。虚拟人物的形象获取通过用户上传用户画像或通过摄像头,利用面部识别算法对用户面部特征进行提取,打造更贴近用户长相的虚拟人物形象。
CN202310449023.XA 2023-04-24 2023-04-24 一种基于元宇宙的虚拟办公系统 Pending CN116449958A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310449023.XA CN116449958A (zh) 2023-04-24 2023-04-24 一种基于元宇宙的虚拟办公系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310449023.XA CN116449958A (zh) 2023-04-24 2023-04-24 一种基于元宇宙的虚拟办公系统

Publications (1)

Publication Number Publication Date
CN116449958A true CN116449958A (zh) 2023-07-18

Family

ID=87131867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310449023.XA Pending CN116449958A (zh) 2023-04-24 2023-04-24 一种基于元宇宙的虚拟办公系统

Country Status (1)

Country Link
CN (1) CN116449958A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117289791A (zh) * 2023-08-22 2023-12-26 杭州空介视觉科技有限公司 元宇宙人工智能虚拟装备数据生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117289791A (zh) * 2023-08-22 2023-12-26 杭州空介视觉科技有限公司 元宇宙人工智能虚拟装备数据生成方法

Similar Documents

Publication Publication Date Title
CN107292813B (zh) 一种基于生成对抗网络的多姿态人脸生成方法
Zhao et al. Pooling the convolutional layers in deep convnets for video action recognition
Song et al. Temporal–spatial mapping for action recognition
US11670015B2 (en) Method and apparatus for generating video
JP2021192222A (ja) 動画インタラクティブ方法と装置、電子デバイス、コンピュータ可読記憶媒体、及び、コンピュータプログラム
US9747495B2 (en) Systems and methods for creating and distributing modifiable animated video messages
US20210027511A1 (en) Systems and Methods for Animation Generation
CN108363973B (zh) 一种无约束的3d表情迁移方法
WO2017137948A1 (en) Producing realistic body movement using body images
CN102271241A (zh) 一种基于面部表情/动作识别的图像通信方法及系统
CN109145788A (zh) 基于视频的姿态数据捕捉方法和系统
CN108268845A (zh) 一种利用生成对抗网络合成人脸视频序列的动态转换系统
WO2023011221A1 (zh) 混合变形值的输出方法及存储介质、电子装置
CN110232722A (zh) 一种图像处理方法及装置
CN116449958A (zh) 一种基于元宇宙的虚拟办公系统
CN108322474A (zh) 基于共享桌面的虚拟现实系统、相关装置及方法
CN116431036A (zh) 一种基于元宇宙的虚拟在线教学系统
Sun et al. Video Conference System in Mixed Reality Using a Hololens
CN111768729A (zh) 一种vr场景自动解说方法、系统和存储介质
CN113436302B (zh) 一种人脸动画合成方法及系统
CN115984452A (zh) 一种头部三维重建方法及设备
CN116958353B (zh) 一种基于动态捕捉的全息投影方法及相关装置
Lin et al. A standard-compliant virtual meeting system with active video object tracking
Ji et al. Classifier Guided Domain Adaptation for VR Facial Expression Tracking
Huang et al. Facial tracking and animation for digital social system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination