CN116107435A - 基于5g云计算的3d远程互动的动作同步系统 - Google Patents
基于5g云计算的3d远程互动的动作同步系统 Download PDFInfo
- Publication number
- CN116107435A CN116107435A CN202310377988.2A CN202310377988A CN116107435A CN 116107435 A CN116107435 A CN 116107435A CN 202310377988 A CN202310377988 A CN 202310377988A CN 116107435 A CN116107435 A CN 116107435A
- Authority
- CN
- China
- Prior art keywords
- human body
- model
- interactive
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 74
- 230000009471 action Effects 0.000 title claims abstract description 46
- 230000002452 interceptive effect Effects 0.000 claims abstract description 104
- 238000004458 analytical method Methods 0.000 claims abstract description 39
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 238000007405 data analysis Methods 0.000 claims abstract description 10
- 230000001133 acceleration Effects 0.000 claims description 48
- 230000033001 locomotion Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000013075 data extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于5G云计算的3D远程互动的动作同步系统，该系统包括用户终端、远程采集模块、数据传输模块、3D建模模块、数据解析模块、互动执行模块、互动输出模块；远程采集模块用于与互动对象建立连接，并接收互动对象的反馈信息；数据传输模块用于通过5G对反馈信息远程实时接收，并将反馈信息进行传输；3D建模模块用于建立人体3D模型；数据解析模块用于基于云计算对反馈信息进行解析，得到解析结果，并将解析结果传输至互动执行模块；互动执行模块用于接收解析结果，并获取解析结果中的执行信息，由人体3D模型根据执行信息进行动作同步；互动输出模块用于输出人体3D模型的互动动作，并发送至互动对象；本发明提升远程互动体验。
Description
技术领域
本发明涉及计算机相关技术领域，特别是一种基于5G云计算的3D远程互动的动作同步系统。
背景技术
随着经济技术的发展，远程互动设备在日常生活、工作中的应用越来越广泛。例如，远程互动设备可应用于视频直播、视频互动、音视频会议等场景。目前，远程互动时传输效率低下、实时性差，远端用户难以做到动作同步，导致远程互动体验不佳。
发明内容
本发明的目的是为了解决上述问题，设计了一种基于5G云计算的3D远程互动的动作同步系统。
实现上述目的本发明的技术方案为，进一步，在上述基于5G云计算的3D远程互动的动作同步系统中，该3D远程互动的动作同步系统包括用户终端、远程采集模块、数据传输模块、3D建模模块、数据解析模块、互动执行模块、互动输出模块；
远程采集模块，用于与互动对象建立连接，并接收互动对象的反馈信息；
数据传输模块，用于通过5G对所述反馈信息远程实时接收，并将所述反馈信息进行传输；
3D建模模块，用于建立人体3D模型；
数据解析模块，用于基于云计算对所述反馈信息进行解析，得到解析结果，并将所述解析结果传输至所述互动执行模块；
互动执行模块，用于接收所述解析结果，并获取所述解析结果中的执行信息，由所述3D建模模块得到的人体3D模型根据所述执行信息进行动作同步；
互动输出模块，用于输出人体3D模型的互动动作，并发送至互动对象。
进一步，在上述基于5G云计算的3D远程互动的动作同步系统中，所述与互动对象建立连接，包括：
互动对象在用户终端登录页面输入登录信息并提交；
获取互动对象的登录请求，根据登录请求，对互动对象输入的登录信息与云服务器端存储的数据进行核对；
验证互动对象的登录请求的合法性，验证通过后，互动对象与远程采集模块建立连接。
进一步，在上述基于5G云计算的3D远程互动的动作同步系统中，所述3D建模模块包括图像获取单元、数据提取单元、模型建立单元、面部处理单元、模型修改单元、模型微调单元；
图像获取单元，用于获取互动对象的人体图像；
数据提取单元，用于提取所述人体图像中的人体尺寸数据；
模型建立单元，用于根据所述数据提取单元输出的人体尺寸数据，建立人体初步模型；
面部处理单元，用于获取面部图像，并对所述面部图像进行归一化处理，确定人脸面部特征点，建立坐标，根据坐标点，得到人脸面部特征向量集；
模型修改单元，用于根据所述人脸面部特征向量集对所述人体初步模型进行修改；
模型微调单元，用于根据人体真实结构表面曲率对所述模型修改单元输出的模型进行调整，得到人体3D模型。
进一步，在上述基于5G云计算的3D远程互动的动作同步系统中，所述提取所述人体图像中的人体尺寸数据，包括：
获取人体图像，对所述人体图像进行预处理，以进行人体倾斜矫正和局部提亮；
将预处理后的人体图像进行灰度转换和二值化处理，采用Canny算法进行图像边缘检测；
获取边缘检测后的人体图像，经图像形态学处理后提取人体轮廓；
从所述人体轮廓中提取人体关键部位区域，对所述人体关键部位区域进行特征识别和尺寸提取，得到人体尺寸数据。
进一步，在上述基于5G云计算的3D远程互动的动作同步系统中，所述互动执行模块包括获取单元、数据处理单元和动作执行单元；
获取单元，用于获取解析结果中的执行信息；
数据处理单元，用于将所述执行信息输入预先训练得到的互动识别模型中，输出对应的同步信息；
动作执行单元，用于通过所述同步信息得到互动动作种类，将所述互动动作种类传输至人体3D模型，以使人体3D模型执行所述同步信息对应的动作。
进一步，在上述基于5G云计算的3D远程互动的动作同步系统中，构建互动识别模型包括以下步骤：
获取待处理的图片数据和视频数据；
采用RepVGG模型，在所述RepVGG模型的卷积块中增加残差功能块，并在RepVGG模型中添加C3D网络模型的时间维度特性，将2D 卷积和 2D 池化层转换成 3D 卷积和 3D 池化层，得到RepC3D网络模型；
将所述图片数据和视频数据输入RepC3D网络模型，对RepC3D网络模型进行训练，以得到互动识别模型。
进一步，在上述基于5G云计算的3D远程互动的动作同步系统中，所述用户终端包括具有5G通讯功能的终端设备。
进一步，在上述基于5G云计算的3D远程互动的动作同步系统中，还包括：
信息记录模块，用于实时记录互动对象的各关节运动的变化信息，并将所述变化信息实时同步至所述远程采集模块。
进一步，在上述基于5G云计算的3D远程互动的动作同步系统中，所述信息记录模块包括加速度采集单元、数据预处理单元、数据修正单元、加速度标定单元、加速度输出单元；
加速度采集单元，用于采集加速度传感器检测到互动对象做动作时的加速度大小数据；
数据预处理单元，用于对所述加速度采集单元输出的所述加速度大小数据进行降噪处理；
数据修正单元，用于对经所述数据预处理单元处理后得到的加速度大小数据进行计算，得到积分误差，以对加速度大小书进行修正；
加速度标定单元，用于采用加速度误差模型对经所述数据修正单元修正的加速度大小数据进行标定；
加速度输出单元，用于输出所述加速度标定单元得到的加速度大小数据，并生成变化信息。
进一步，在上述基于5G云计算的3D远程互动的动作同步系统中，该3D远程互动的动作同步系统的运行方法包括以下步骤：
步骤一、与互动对象建立连接，并接收互动对象的反馈信息，实时记录互动对象的各关节运动的变化信息；
步骤二、用于通过5G对所述反馈信息远程实时接收，并将所述反馈信息进行传输；
步骤三、基于云计算对所述反馈信息进行解析，得到解析结果，并将所述解析结果传输；
步骤四、接收所述解析结果，并获取所述解析结果中的执行信息，调用预先构建的人体3D模型，根据所述执行信息进行动作同步；
步骤五、输出人体3D模型的互动动作，并发送至互动对象。
其有益效果在于，该3D远程互动的动作同步系统包括用户终端、远程采集模块、数据传输模块、3D建模模块、数据解析模块、互动执行模块、互动输出模块、信息记录模块；远程采集模块用于与互动对象建立连接，并接收互动对象的反馈信息；数据传输模块用于通过5G对所述反馈信息远程实时接收，并将所述反馈信息进行传输；3D建模模块用于建立人体3D模型；数据解析模块用于基于云计算对所述反馈信息进行解析，得到解析结果，并将所述解析结果传输至所述互动执行模块；互动执行模块用于接收所述解析结果，并获取所述解析结果中的执行信息，由所述3D建模模块得到的人体3D模型根据所述执行信息进行动作同步；互动输出模块用于输出人体3D模型的互动动作，并发送至互动对象；信息记录模块用于实时记录互动对象的各关节运动的变化信息，并将所述变化信息实时同步至所述远程采集模块；本发明采用5G实时接收和传输，提高了传输效率，提高实时性，在互动时动作同步，提升远程互动体验。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为本发明实施例中基于5G云计算的3D远程互动的动作同步系统的第一个实施例示意图；
图2为本发明实施例中基于5G云计算的3D远程互动的动作同步系统的第二个实施例示意图；
图3为本发明实施例中基于5G云计算的3D远程互动的动作同步系统的第三个实施例示意图；
图4为本发明实施例中基于5G云计算的3D远程互动的动作同步系统的第四个实施例示意图；
图5为本发明实施例中基于5G云计算的3D远程互动的动作同步系统的第五个实施例示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
下面结合附图对本发明进行具体描述，如图1所示，一种基于5G云计算的3D远程互动的动作同步系统，该3D远程互动的动作同步系统包括用户终端、远程采集模块、数据传输模块、3D建模模块、数据解析模块、互动执行模块、互动输出模块；
远程采集模块，用于与互动对象建立连接，并接收互动对象的反馈信息；
数据传输模块，用于通过5G对反馈信息远程实时接收，并将反馈信息进行传输；
3D建模模块，用于建立人体3D模型；
数据解析模块，用于基于云计算对反馈信息进行解析，得到解析结果，并将解析结果传输至互动执行模块；
互动执行模块，用于接收解析结果，并获取解析结果中的执行信息，由3D建模模块得到的人体3D模型根据执行信息进行动作同步；
互动输出模块，用于输出人体3D模型的互动动作，并发送至互动对象。
本实施例中，与互动对象建立连接，包括以下步骤：
互动对象在用户终端登录页面输入登录信息并提交；
获取互动对象的登录请求，根据登录请求，对互动对象输入的登录信息与云服务器端存储的数据进行核对；
验证互动对象的登录请求的合法性，验证通过后，互动对象与远程采集模块建立连接。
本实施例中，用户终端包括具有5G通讯功能的终端设备。
本实施例中，基于5G云计算的3D远程互动的动作同步系统，还包括：信息记录模块，用于实时记录互动对象的各关节运动的变化信息，并将变化信息实时同步至远程采集模块。
本发明实施例中，采用5G实时接收和传输，提高了传输效率，提高实时性，在互动时动作同步，提升远程互动体验。
本实施例中，请参阅图2，本发明实施例中基于5G云计算的3D远程互动的动作同步系统的第二个实施例，3D建模模块包括图像获取单元、数据提取单元、模型建立单元、面部处理单元、模型修改单元、模型微调单元；
图像获取单元，用于获取互动对象的人体图像；
数据提取单元，用于提取人体图像中的人体尺寸数据；
模型建立单元，用于根据数据提取单元输出的人体尺寸数据，建立人体初步模型；
面部处理单元，用于获取面部图像，并对面部图像进行归一化处理，确定人脸面部特征点，建立坐标，根据坐标点，得到人脸面部特征向量集；
模型修改单元，用于根据人脸面部特征向量集对人体初步模型进行修改；
模型微调单元，用于根据人体真实结构表面曲率对模型修改单元输出的模型进行调整，得到人体3D模型。
本实施例中，提取人体图像中的人体尺寸数据，包括以下步骤：
步骤101、获取人体图像，对人体图像进行预处理，以进行人体倾斜矫正和局部提亮；
步骤102、将预处理后的人体图像进行灰度转换和二值化处理，采用Canny算法进行图像边缘检测；
本实施例中，灰度图像是指图像的每一个像素中都只含有一种颜色信息，颜色可以有不同的的深浅程度，称之为灰度等级。灰度等级用0-255之间的整数表示。在计算机数字语言中，需要借助颜色空间模型，将图像中复杂的颜色信息通过数字化的方式表达出来。颜色空间是一种表示颜色信息的数学模型，通常表现为有3个通道参数的三维坐标系统，每个参数代表不同的通道分量，具有不同的表示意义；在本实施例中，人体图像为RGB颜色空间。RGB三个通道的参数分别表示三种不同的颜色信息。每个颜色通道各有256级，其数值大小代表此通道颜色的亮度，当三个通道的参数值相等时，则可产生不同灰度等级的灰度图，如RGB（0，0，0）和RGB（255，255，255）分别代表灰度等级为0和灰度等级为255的灰度图像。图像的灰度转换也是令RGB模型中三个通道中的数值相等的过程；
本实施例中，图像像素的灰度值从0到255共有256个等级，二值化是指只允许图像中像素灰度值等级数为0或者255，即从视觉效果上来看，图像中只呈现黑和白的效果。
本实施例中，图像边缘检测是将图像中的目标对象与背景分割开来的重要途径，其本质是基于灰度值的突变进行区分和实现图像的分割。图像边缘一般存在于目标对象与背景之间，根据其灰度边缘的剖面可以分为三类数学模型：台阶边缘模型、斜坡边缘模型、屋顶边缘模型。根据图像边缘模型细节原理，为了检测图像的灰度变化，检测并定位出图像的边缘，需通过求其一阶导数或者二阶导数来实现，获取像素灰度值局部的极大值。采用Canny算法进行图像边缘检测，采用环形高斯函数对输入的图像进行平滑处理，接着基于平滑后的图像进行一阶导数计算图像梯度，利用梯度幅度大小和方向来衡量每一个像素点的边缘强度和方向。对梯度图像区域的四个基本边缘方向采取非最大抑制，最后利用双阀值处理减少伪边缘点的检测。
步骤103、获取边缘检测后的人体图像，经图像形态学处理后提取人体轮廓；
本实施例中，形态学是一种数学集合论，它为图像处理过程中遇到的噪点、不连续等问题提供了有效的解决办法。在形态学中用集合表示图像中的目标对象。如在二值图像中，所有白色像素的集合为该图像的一个完整的形态学描述。图像形态学处理中的基本操作有：腐蚀、膨胀、开运算、闭运算。形态学中的腐蚀操作是通过结构元与图像之间进行卷积运算，缩小和细化图像中的物体，可以简单理解为消除图像中所有的边界点，求局部最小值，使其边界向内收缩。通过腐蚀操作可以消除图像中小而无意义的杂点。膨胀操作同样是通过结构元与图像进行卷积运算，但其效果与腐蚀操作相反。在图像的形态学中，可以通过膨胀运算来实现图像中物体的增大和粗化。开操作运算可以使图像中的物体轮廓变得平滑，消除图像中细小的突出物。闭操作运算也可以使图像中的物体轮廓变得平滑，但它是通过填补间断和沟壑来补充轮廓中断裂的部分。
步骤104、从人体轮廓中提取人体关键部位区域，对人体关键部位区域进行特征识别和尺寸提取，得到人体尺寸数据。
本发明实施例中，获取人体图像，对人体图像进行预处理，以进行人体倾斜矫正和局部提亮，将预处理后的人体图像进行灰度转换和二值化处理，采用Canny算法进行图像边缘检测，获取边缘检测后的人体图像，经图像形态学处理后提取人体轮廓，从人体轮廓中提取人体关键部位区域，对人体关键部位区域进行特征识别和尺寸提取，得到人体尺寸数据；本发明对人体图像进行处理，便于构建人体3D模型，通过人体3D模型提升动作同步的体验感。
本实施例中，请参阅图3，本发明实施例中基于5G云计算的3D远程互动的动作同步系统的第三个实施例，互动执行模块包括获取单元、数据处理单元和动作执行单元；
获取单元，用于获取解析结果中的执行信息；
数据处理单元，用于将执行信息输入预先训练得到的互动识别模型中，输出对应的同步信息；
动作执行单元，用于通过同步信息得到互动动作种类，将互动动作种类传输至人体3D模型，以使人体3D模型执行同步信息对应的动作。
本实施例中，构建互动识别模型包括以下步骤：
步骤201、获取待处理的图片数据和视频数据；
步骤202、采用RepVGG模型，在RepVGG模型的卷积块中增加残差功能块，并在RepVGG模型中添加C3D网络模型的时间维度特性，将2D 卷积和 2D 池化层转换成 3D 卷积和 3D 池化层，得到RepC3D网络模型；
本实施例中，卷积网络主要由卷积层、激活函数层、池化层和全连接层组成，（1）输入层：输入层的作用是将外界传进来的数据，不论是图像、视频、文本还是语音等内容，都将其处理成像素矩阵传入到网络模型中去。（2）卷积层：卷积层的作用是将卷积核与输入层的像素矩阵进行卷积运算获取其中的特征值，然后再传给下一层网络，卷积层提取特征的方式是通过卷积核（kemel）对像素矩阵进行扫描，将扫描结果也按照像素矩阵进行排布，而这个过程就是卷积，扫描出来的结果也就是图像的特征值。（3）池化层：池化层一般在卷积层之后，作用是将卷积后的特征值进行压缩，也称作下采样，以此减少整个卷积神经网络中的参数，同时也降低了时间复杂度。池化方式有三种，其中有平均池化、最大池化、和随机池化。（4）全连接层：数据在经过卷积神经网络前面的输入层、卷积层、激活函数、池化层后所得到的数据更具有语义性，全连接层一般放在全网络的最后一层，起到对之前的数据统计分析作用，并得到输入的数据在当前网络中对应的分类概率，一般分类的值设置0-1之间，并且在全连接层后可添加Softmax回归分类模型国进行分类操作。
本实施例中，卷积神经网络的训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，该阶段获取到预测值，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，这个阶段是计算损失函数并对每个权重求偏导的过程，即反向传播阶段。
本实施例中，C3D网络有8个卷积，5个最大池化和2个完全连接的层，然后是softmax输出层。所有 3D 卷积核都是 3 ×3 × 3，在空间和时间维度上都步幅为 1。3D池化图层表示为从池 1 到池5。所有池化内核均为 2 × 2 × 2，但池 1 为 1 × 2 ×2。每个完全连接的层有 4096 个输出单元。
步骤203、将图片数据和视频数据输入RepC3D网络模型，对RepC3D网络模型进行训练，以得到互动识别模型。
本发明实施例中，获取待处理的图片数据和视频数据，采用RepVGG模型，在RepVGG模型的卷积块中增加残差功能块，并在RepVGG模型中添加C3D网络模型的时间维度特性，将2D 卷积和 2D 池化层转换成 3D 卷积和 3D 池化层，得到RepC3D网络模型，将图片数据和视频数据输入RepC3D网络模型，对RepC3D网络模型进行训练，以得到互动识别模型；本发明中构建互动识别模型，通过互动识别模型进行识别，提高远程互动效率，提高体验感。
本实施例中，请参阅图4，本发明实施例中基于5G云计算的3D远程互动的动作同步系统的第四个实施例，信息记录模块包括加速度采集单元、数据预处理单元、数据修正单元、加速度标定单元、加速度输出单元；
加速度采集单元，用于采集加速度传感器检测到互动对象做动作时的加速度大小数据；
数据预处理单元，用于对加速度采集单元输出的加速度大小数据进行降噪处理；
数据修正单元，用于对经数据预处理单元处理后得到的加速度大小数据进行计算，得到积分误差，以对加速度大小书进行修正；
加速度标定单元，用于采用加速度误差模型对经数据修正单元修正的加速度大小数据进行标定；
加速度输出单元，用于输出加速度标定单元得到的加速度大小数据，并生成变化信息。
本实施例中，请参阅图5，本发明实施例中基于5G云计算的3D远程互动的动作同步系统的第五个实施例，该3D远程互动的动作同步系统的运行方法包括以下步骤：
步骤一、与互动对象建立连接，并接收互动对象的反馈信息，实时记录互动对象的各关节运动的变化信息；
步骤二、用于通过5G对反馈信息远程实时接收，并将反馈信息进行传输；
步骤三、基于云计算对反馈信息进行解析，得到解析结果，并将解析结果传输；
步骤四、接收解析结果，并获取解析结果中的执行信息，调用预先构建的人体3D模型，根据执行信息进行动作同步；
步骤五、输出人体3D模型的互动动作，并发送至互动对象。
本发明实施例中，与互动对象建立连接，并接收互动对象的反馈信息，实时记录互动对象的各关节运动的变化信息，用于通过5G对反馈信息远程实时接收，并将反馈信息进行传输，基于云计算对反馈信息进行解析，得到解析结果，并将解析结果传输，接收解析结果，并获取解析结果中的执行信息，调用预先构建的人体3D模型，根据执行信息进行动作同步，输出人体3D模型的互动动作，并发送至互动对象；本发明采用5G实时接收和传输，提高了传输效率，提高实时性，在互动时动作同步，提升远程互动体验。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.基于5G云计算的3D远程互动的动作同步系统，其特征在于，该3D远程互动的动作同步系统包括用户终端、远程采集模块、数据传输模块、3D建模模块、数据解析模块、互动执行模块、互动输出模块；
远程采集模块，用于与互动对象建立连接，并接收互动对象的反馈信息；
数据传输模块，用于通过5G对所述反馈信息远程实时接收，并将所述反馈信息进行传输；
3D建模模块，用于建立人体3D模型；
数据解析模块，用于基于云计算对所述反馈信息进行解析，得到解析结果，并将所述解析结果传输至所述互动执行模块；
互动执行模块，用于接收所述解析结果，并获取所述解析结果中的执行信息，由所述3D建模模块得到的人体3D模型根据所述执行信息进行动作同步；
互动输出模块，用于输出人体3D模型的互动动作，并发送至互动对象。
2.根据权利要求1所述的基于5G云计算的3D远程互动的动作同步系统，其特征在于，所述与互动对象建立连接，包括：
互动对象在用户终端登录页面输入登录信息并提交；
获取互动对象的登录请求，根据登录请求，对互动对象输入的登录信息与云服务器端存储的数据进行核对；
验证互动对象的登录请求的合法性，验证通过后，互动对象与远程采集模块建立连接。
3.根据权利要求1所述的基于5G云计算的3D远程互动的动作同步系统，其特征在于，所述3D建模模块包括图像获取单元、数据提取单元、模型建立单元、面部处理单元、模型修改单元、模型微调单元；
图像获取单元，用于获取互动对象的人体图像；
数据提取单元，用于提取所述人体图像中的人体尺寸数据；
模型建立单元，用于根据所述数据提取单元输出的人体尺寸数据，建立人体初步模型；
面部处理单元，用于获取面部图像，并对所述面部图像进行归一化处理，确定人脸面部特征点，建立坐标，根据坐标点，得到人脸面部特征向量集；
模型修改单元，用于根据所述人脸面部特征向量集对所述人体初步模型进行修改；
模型微调单元，用于根据人体真实结构表面曲率对所述模型修改单元输出的模型进行调整，得到人体3D模型。
4.根据权利要求3所述的基于5G云计算的3D远程互动的动作同步系统，其特征在于，所述提取所述人体图像中的人体尺寸数据，包括：
获取人体图像，对所述人体图像进行预处理，以进行人体倾斜矫正和局部提亮；
将预处理后的人体图像进行灰度转换和二值化处理，采用Canny算法进行图像边缘检测；
获取边缘检测后的人体图像，经图像形态学处理后提取人体轮廓；
从所述人体轮廓中提取人体关键部位区域，对所述人体关键部位区域进行特征识别和尺寸提取，得到人体尺寸数据。
5.根据权利要求1所述的基于5G云计算的3D远程互动的动作同步系统，其特征在于，所述互动执行模块包括获取单元、数据处理单元和动作执行单元；
获取单元，用于获取解析结果中的执行信息；
数据处理单元，用于将所述执行信息输入预先训练得到的互动识别模型中，输出对应的同步信息；
动作执行单元，用于通过所述同步信息得到互动动作种类，将所述互动动作种类传输至人体3D模型，以使人体3D模型执行所述同步信息对应的动作。
6.根据权利要求5所述的基于5G云计算的3D远程互动的动作同步系统，其特征在于，构建互动识别模型包括以下步骤：
获取待处理的图片数据和视频数据；
采用RepVGG模型，在所述RepVGG模型的卷积块中增加残差功能块，并在RepVGG模型中添加C3D网络模型的时间维度特性，将2D 卷积和 2D 池化层转换成 3D 卷积和 3D 池化层，得到RepC3D网络模型；
将所述图片数据和视频数据输入RepC3D网络模型，对RepC3D网络模型进行训练，以得到互动识别模型。
7.根据权利要求1所述的基于5G云计算的3D远程互动的动作同步系统，其特征在于，所述用户终端包括具有5G通讯功能的终端设备。
8.根据权利要求1所述的基于5G云计算的3D远程互动的动作同步系统，其特征在于，还包括：
信息记录模块，用于实时记录互动对象的各关节运动的变化信息，并将所述变化信息实时同步至所述远程采集模块。
9.根据权利要求8所述的基于5G云计算的3D远程互动的动作同步系统，其特征在于，所述信息记录模块包括加速度采集单元、数据预处理单元、数据修正单元、加速度标定单元、加速度输出单元；
加速度采集单元，用于采集加速度传感器检测到互动对象做动作时的加速度大小数据；
数据预处理单元，用于对所述加速度采集单元输出的所述加速度大小数据进行降噪处理；
数据修正单元，用于对经所述数据预处理单元处理后得到的加速度大小数据进行计算，得到积分误差，以对加速度大小书进行修正；
加速度标定单元，用于采用加速度误差模型对经所述数据修正单元修正的加速度大小数据进行标定；
加速度输出单元，用于输出所述加速度标定单元得到的加速度大小数据，并生成变化信息。
10.根据权利要求1所述的基于5G云计算的3D远程互动的动作同步系统，其特征在于，该3D远程互动的动作同步系统的运行方法包括以下步骤：
步骤一、与互动对象建立连接，并接收互动对象的反馈信息，实时记录互动对象的各关节运动的变化信息；
步骤二、用于通过5G对所述反馈信息远程实时接收，并将所述反馈信息进行传输；
步骤三、基于云计算对所述反馈信息进行解析，得到解析结果，并将所述解析结果传输；
步骤四、接收所述解析结果，并获取所述解析结果中的执行信息，调用预先构建的人体3D模型，根据所述执行信息进行动作同步；
步骤五、输出人体3D模型的互动动作，并发送至互动对象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310377988.2A CN116107435A (zh) | 2023-04-11 | 2023-04-11 | 基于5g云计算的3d远程互动的动作同步系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310377988.2A CN116107435A (zh) | 2023-04-11 | 2023-04-11 | 基于5g云计算的3d远程互动的动作同步系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116107435A true CN116107435A (zh) | 2023-05-12 |
Family
ID=86256478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310377988.2A Pending CN116107435A (zh) | 2023-04-11 | 2023-04-11 | 基于5g云计算的3d远程互动的动作同步系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116107435A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106713485A (zh) * | 2017-01-11 | 2017-05-24 | 杨立群 | 云计算移动终端及其工作方法 |
| CN111309154A (zh) * | 2020-03-27 | 2020-06-19 | 上海景和国际展览有限公司 | 一种基于5g远程人体动作互动教育系统 |
| US20210225186A1 (en) * | 2020-12-30 | 2021-07-22 | Central China Normal University | 5th-GENERATION (5G) INTERACTIVE DISTANCE DEDICATED TEACHING SYSTEM BASED ON HOLOGRAPHIC TERMINAL AND METHOD FOR OPERATING SAME |
| CN114021597A (zh) * | 2021-08-30 | 2022-02-08 | 中国人民解放军火箭军工程大学 | 基于有序光流图的视频分析方法及系统 |
| US11410570B1 (en) * | 2021-09-27 | 2022-08-09 | Central China Normal University | Comprehensive three-dimensional teaching field system and method for operating same |
-
2023
- 2023-04-11 CN CN202310377988.2A patent/CN116107435A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106713485A (zh) * | 2017-01-11 | 2017-05-24 | 杨立群 | 云计算移动终端及其工作方法 |
| CN111309154A (zh) * | 2020-03-27 | 2020-06-19 | 上海景和国际展览有限公司 | 一种基于5g远程人体动作互动教育系统 |
| US20210225186A1 (en) * | 2020-12-30 | 2021-07-22 | Central China Normal University | 5th-GENERATION (5G) INTERACTIVE DISTANCE DEDICATED TEACHING SYSTEM BASED ON HOLOGRAPHIC TERMINAL AND METHOD FOR OPERATING SAME |
| CN114021597A (zh) * | 2021-08-30 | 2022-02-08 | 中国人民解放军火箭军工程大学 | 基于有序光流图的视频分析方法及系统 |
| US11410570B1 (en) * | 2021-09-27 | 2022-08-09 | Central China Normal University | Comprehensive three-dimensional teaching field system and method for operating same |
Non-Patent Citations (1)
| Title |
|---|
| 武玉伟 等: "《深度学习基础与应用》", 北京理工大学出版社, pages: 312 - 313 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112733794B (zh) | 人脸图像的视线矫正方法、装置、设备及存储介质 | |
| US20220092882A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN108921782B (zh) | 一种图像处理方法、装置及存储介质 | |
| CN108932536B (zh) | 基于深度神经网络的人脸姿态重建方法 | |
| US20220261968A1 (en) | Image optimization method and apparatus, computer storage medium, and electronic device | |
| CN112733795B (zh) | 人脸图像的视线矫正方法、装置、设备及存储介质 | |
| CN112733797B (zh) | 人脸图像的视线矫正方法、装置、设备及存储介质 | |
| CN110738153B (zh) | 异质人脸图像转换方法、装置、电子设备及存储介质 | |
| JP2012519928A (ja) | 点整合アルゴリズムを用いた指紋テンプレートの合成及び指紋のモザイキングの方法 | |
| US11568590B2 (en) | Cartoonlization processing method for image, electronic device, and storage medium | |
| CN108388889B (zh) | 用于分析人脸图像的方法和装置 | |
| CN110516598B (zh) | 用于生成图像的方法和装置 | |
| Cai et al. | Perception preserving decolorization | |
| CN116229528A (zh) | 一种活体掌静脉检测方法、装置、设备及存储介质 | |
| CN111027637A (zh) | 一种文字检测方法及计算机可读存储介质 | |
| CN111680544A (zh) | 人脸识别方法、装置、系统、设备及介质 | |
| WO2021056972A1 (zh) | 基于神经网络和概率图模型的手指静脉分割方法及装置 | |
| CN115620321B (zh) | 表格识别方法及装置、电子设备和存储介质 | |
| CN112084840A (zh) | 一种基于三维nmi的指静脉识别方法 | |
| CN116107435A (zh) | 基于5g云计算的3d远程互动的动作同步系统 | |
| JP2023082065A (ja) | ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのｉｄを検証するための方法 | |
| CN113283423B (zh) | 基于生成网络的自然场景扭曲文本图像矫正方法及系统 | |
| Brahmankar et al. | Indian sign language recognition using canny edge detection | |
| CN115116468A (zh) | 一种视频生成方法、装置、存储介质及电子设备 | |
| CN113763313A (zh) | 文本图像的质量检测方法、装置、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230512 |