CN115661942B - 基于虚拟现实的动作数据处理方法、系统及云平台 - Google Patents

基于虚拟现实的动作数据处理方法、系统及云平台 Download PDF

Info

Publication number
CN115661942B
CN115661942B CN202211612212.6A CN202211612212A CN115661942B CN 115661942 B CN115661942 B CN 115661942B CN 202211612212 A CN202211612212 A CN 202211612212A CN 115661942 B CN115661942 B CN 115661942B
Authority
CN
China
Prior art keywords
recognition data
data
action
motion
characterization information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211612212.6A
Other languages
English (en)
Other versions
CN115661942A (zh
Inventor
刘卓
张寄望
阳序运
张志成
张志聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhuoyuan Virtual Reality Technology Co ltd
Original Assignee
Guangzhou Zhuoyuan Virtual Reality Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhuoyuan Virtual Reality Technology Co ltd filed Critical Guangzhou Zhuoyuan Virtual Reality Technology Co ltd
Priority to CN202211612212.6A priority Critical patent/CN115661942B/zh
Publication of CN115661942A publication Critical patent/CN115661942A/zh
Application granted granted Critical
Publication of CN115661942B publication Critical patent/CN115661942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明提供的基于虚拟现实的动作数据处理方法、系统及云平台,涉及人工智能和虚拟现实技术领域。在本发明中,采集到待处理用户图像序列;对待处理用户图像序列中的每一个待处理用户图像进行分割处理,以形成待处理用户图像序列对应的多个局部用户图像序列;分别对多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据,每一个动作识别数据包括目标用户中与局部用户图像对应的局部身体的位置坐标序列;分别基于每一个动作识别数据,对目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理。基于上述内容,可以在一定程度上提高虚拟现实中对目标虚拟对象进行动作控制的可靠度。

Description

基于虚拟现实的动作数据处理方法、系统及云平台
技术领域
本发明涉及人工智能和虚拟现实技术领域,具体而言,涉及一种基于虚拟现实的动作数据处理方法、系统及云平台。
背景技术
人工智能(Artificial Intelligence,简称AI),是利用数字计算机或者数字计算机控制的计算模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
另外,在人工智能的诸多应用中,一般会涉及到虚拟现实领域,例如,基于对用户图像的分析结果,对虚拟对象进行动作控制,如对游戏人物进行动作控制等,即实现动作同步,但是,在现有技术中,一般是基于用户图像整体对虚拟对象进行整体的控制,使得控制的可靠度不佳。
发明内容
有鉴于此,本发明的目的在于提供一种基于虚拟现实的动作数据处理方法、系统及云平台,以在一定程度上提高虚拟现实中对目标用户对应的目标虚拟对象进行动作控制的可靠度。
为实现上述目的,本发明实施例采用如下技术方案:
一种基于虚拟现实的动作数据处理方法,包括:
采集到待处理用户图像序列,所述待处理用户图像序列包括多个待处理用户图像,每一个待处理用户图像基于对目标用户进行图像采集得到;
对所述待处理用户图像序列中的每一个待处理用户图像进行分割处理,以形成所述待处理用户图像序列对应的多个局部用户图像序列,所述多个局部用户图像序列中对应序列位置的局部用户图像拼接形成所述待处理用户图像序列中对应序列位置的待处理用户图像;
分别对所述多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据,每一个所述动作识别数据包括所述目标用户中与所述局部用户图像对应的局部身体的位置坐标序列;
分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理,所述局部虚拟对象与所述动作识别数据对应的局部用户图像对应的局部身体相对应。
在一些优选的实施例中,在上述基于虚拟现实的动作数据处理方法中,所述分别对所述多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据的步骤,包括:
对于所述多个局部用户图像序列中的每一个局部用户图像序列,分别对该局部用户图像序列中的每一个局部用户图像进行目标身体关键点的坐标确定处理,以形成每一个局部用户图像对应的目标位置坐标集合;
依据所述局部用户图像在所述局部用户图像序列中的序列位置,将每一个局部用户图像对应的目标位置坐标集合进行排序组合,以形成所述局部用户图像序列对应的动作识别数据。
在一些优选的实施例中,在上述基于虚拟现实的动作数据处理方法中,所述分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理的步骤,包括:
对所述多个动作识别数据进行拼接,以形成拼接动作识别数据;
在预先配置的多个参考动作识别数据中,匹配出与所述拼接动作识别数据最匹配的第一参考动作识别数据;
依据对应的身体关键点,将所述第一参考动作识别数据进行分割处理,以形成多个局部第一参考动作识别数据,所述多个局部第一参考动作识别数据与所述多个动作识别数据一一对应;
分别依据所述多个局部第一参考动作识别数据中的每一个局部第一参考动作识别数据,对相应的动作识别数据进行数据优化处理,以形成所述动作识别数据对应的优化动作识别数据;
分别基于每一个所述优化动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理。
在一些优选的实施例中,在上述基于虚拟现实的动作数据处理方法中,所述在预先配置的多个参考动作识别数据中,匹配出与所述拼接动作识别数据最匹配的第一参考动作识别数据的步骤,包括:
将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息,所述第一相关性表征信息用于反映所述参考动作识别数据与所述拼接动作识别数据之间的相关性大小;
针对每一个所述参考动作识别数据,依据所述参考动作识别数据的第一相关性表征信息和其它参考动作识别数据的第一相关性表征信息,分析出所述参考动作识别数据的优化第一相关性表征信息,所述优化第一相关性表征信息与所述参考动作识别数据的第一相关性表征信息之间具有正向的对应关系,所述优化第一相关性表征信息与每一个所述参考动作识别数据的第一相关性表征信息的累积值之间具有负向的对应关系;
依据每一个所述参考动作识别数据的优化第一相关性表征信息,从所述多个参考动作识别数据中,匹配出与所述拼接动作识别数据对应的第一参考动作识别数据。
在一些优选的实施例中,在上述基于虚拟现实的动作数据处理方法中,所述将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息的步骤,包括:
将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息和第二相关性表征信息,所述第二相关性表征信息用于反映基于所述拼接动作识别数据对应的待处理用户图像序列分析出所述参考动作识别数据的概率评估值;
所述依据每一个所述参考动作识别数据的优化第一相关性表征信息,从所述多个参考动作识别数据中,匹配出与所述拼接动作识别数据对应的第一参考动作识别数据的步骤,包括:
将每一个所述参考动作识别数据的所述优化第一相关性表征信息和所述第二相关性表征信息进行乘法运算,以输出每一个所述参考动作识别数据的乘法运算结果;以及,从所述多个参考动作识别数据中,对具有最大值的乘法运算结果对应的参考动作识别数据进行标记,以标记为第一参考动作识别数据。
在一些优选的实施例中,在上述基于虚拟现实的动作数据处理方法中,所述将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息的步骤,包括:
将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息和第三相关性表征信息,所述第三相关性表征信息用于反映基于所述拼接动作识别数据对应的待处理用户图像序列中的多个待处理用户图像分析出所述参考动作识别数据中的多个位置坐标集合的概率评估值,所述位置坐标集合包括多个身体关键点的坐标;
所述依据每一个所述参考动作识别数据的优化第一相关性表征信息,从所述多个参考动作识别数据中,匹配出与所述拼接动作识别数据对应的第一参考动作识别数据的步骤,包括:
将每一个所述参考动作识别数据的所述优化第一相关性表征信息和所述第三相关性表征信息进行乘法运算,以输出每一个所述参考动作识别数据的乘法运算结果;以及,从多个所述参考动作识别数据中,对具有最大值的乘法运算结果对应的参考动作识别数据进行标记处理,以标记为对应的第一参考动作识别数据。
在一些优选的实施例中,在上述基于虚拟现实的动作数据处理方法中,所述在预先配置的多个参考动作识别数据中,匹配出与所述拼接动作识别数据最匹配的第一参考动作识别数据的步骤,还包括:
采集到示例性拼接动作识别数据和所述示例性拼接动作识别数据对应的示例性参考动作识别数据;
通过动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息,所述第一相关性表征信息用于反映所述参考动作识别数据与所述示例性拼接动作识别数据之间的相关性大小,所述多个参考动作识别数据中包括所述示例性参考动作识别数据;
依据所述示例性参考动作识别数据的第一相关性表征信息和所述示例性参考动作识别数据以外的其它参考动作识别数据的第一相关性表征信息,分析出对应的神经网络学习代价指标;
依据所述神经网络学习代价指标,对所述动作识别数据分析神经网络进行网络优化处理,以形成优化后的动作识别数据分析神经网络,优化后的动作识别数据分析神经网络用于将所述拼接动作识别数据进行分析。
在一些优选的实施例中,在上述基于虚拟现实的动作数据处理方法中,所述通过动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息的步骤,包括:
通过所述动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的所述第一相关性表征信息和第二相关性表征信息,所述第二相关性表征信息用于反映基于所述示例性拼接动作识别数据对应的示例性用户图像序列分析出所述参考动作识别数据的概率评估值;
所述依据所述示例性参考动作识别数据的第一相关性表征信息和所述示例性参考动作识别数据以外的其它参考动作识别数据的第一相关性表征信息,分析出对应的神经网络学习代价指标的步骤,包括:
获得第一示例性相关性表征信息,所述第一示例性相关性表征信息代表基于所述示例性拼接动作识别数据对应的示例性用户图像序列分析出所述示例性参考动作识别数据的概率评估值;
依据所述示例性参考动作识别数据的第一相关性表征信息和其它参考动作识别数据的第一相关性表征信息,分析出对应的优化第一相关性表征信息,所述优化第一相关性表征信息与所述示例性参考动作识别数据的第一相关性表征信息之间具有正向的对应关系,所述优化第一相关性表征信息与每一个所述参考动作识别数据的第一相关性表征信息的累计值之间具有负向的对应关系;
依据每一个所述参考动作识别数据的第二相关性表征信息和所述第一示例性相关性表征信息,分析出对应的第一偏离表征信息;
依据所述优化第一相关性表征信息和所述第一偏离表征信息,分析出对应的神经网络学习代价指标,所述神经网络学习代价指标与所述优化第一相关性表征信息之间具有负向的对应关系,所述神经网络学习代价指标与所述第一偏离表征信息之间具有正向的对应关系。
在一些优选的实施例中,在上述基于虚拟现实的动作数据处理方法中,所述动作识别数据分析神经网络包括关键信息挖掘单元和关键信息还原单元;以及,所述通过所述动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的所述第一相关性表征信息和第二相关性表征信息的步骤,包括:
通过所述关键信息挖掘单元,将所述示例性拼接动作识别数据进行关键信息挖掘操作,以输出对应的动作识别数据挖掘结果;
通过所述关键信息还原单元,依据多个所述参考动作识别数据,对所述动作识别数据挖掘结果进行关键信息还原操作,以输出每一个所述参考动作识别数据的第二相关性表征信息;
依据所述动作识别数据挖掘结果和每一个所述参考动作识别数据对应的参考动作识别数据挖掘结果,分析出每一个所述参考动作识别数据的第一相关性表征信息。
本发明实施例还提供一种基于虚拟现实的动作数据处理系统,包括:
用户图像采集模块,用于采集到待处理用户图像序列,所述待处理用户图像序列包括多个待处理用户图像,每一个待处理用户图像基于对目标用户进行图像采集得到;
图像分割模块,用于对所述待处理用户图像序列中的每一个待处理用户图像进行分割处理,以形成所述待处理用户图像序列对应的多个局部用户图像序列,所述多个局部用户图像序列中对应序列位置的局部用户图像拼接形成所述待处理用户图像序列中对应序列位置的待处理用户图像;
动作识别模块,用于分别对所述多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据,每一个所述动作识别数据包括所述目标用户中与所述局部用户图像对应的局部身体的位置坐标序列;
动作控制模块,用于分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理,所述局部虚拟对象与所述动作识别数据对应的局部用户图像对应的局部身体相对应。
本发明实施例还提供一种基于虚拟现实的动作数据处理云平台,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现上述的基于虚拟现实的动作数据处理方法。
本发明实施例提供的基于虚拟现实的动作数据处理方法、系统及云平台,可以先采集到待处理用户图像序列;对待处理用户图像序列中的每一个待处理用户图像进行分割处理,以形成待处理用户图像序列对应的多个局部用户图像序列;分别对多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据,每一个动作识别数据包括目标用户中与局部用户图像对应的局部身体的位置坐标序列;分别基于每一个动作识别数据,对目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理。基于前述的步骤,由于在对目标用户对应的目标虚拟对象进行动作控制处理的过程中,是先将目标用户对应的待处理用户图像进行分割,并分别对不同的局部用户图像进行动作识别,然后,再分别基于局部用户图像对应的动作识别数据对目标虚拟对应的各局部虚拟对象进行控制,即通过分别的动作识别和分别的局部虚拟对象控制,可以使得进行动作数据处理的粒度更小,从而实现高精度的虚拟对象控制,以在一定程度上提高虚拟现实中对目标用户对应的目标虚拟对象进行动作控制的可靠度。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本发明实施例提供的基于虚拟现实的动作数据处理云平台的结构框图。
图2为本发明实施例提供的基于虚拟现实的动作数据处理方法包括的各步骤的流程示意图。
图3为本发明实施例提供的基于虚拟现实的动作数据处理系统包括的各模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于虚拟现实的动作数据处理云平台。其中,所述动作数据处理云平台(即所述基于虚拟现实的动作数据处理云平台)可以包括存储器和处理器。
详细地,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本发明实施例提供的基于虚拟现实的动作数据处理方法。
应当理解的是,在一些实施方式中,所述存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable ProgrammableRead-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory,EEPROM)等。所述处理器可以是一种通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、片上系统(System on Chip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应当理解的是,在一些实施方式中,所述基于虚拟现实的动作数据处理云平台可以是一种具备数据处理能力的服务器。
结合图2,本发明实施例还提供一种基于虚拟现实的动作数据处理方法,可应用于上述基于虚拟现实的动作数据处理云平台。其中,所述基于虚拟现实的动作数据处理方法有关的流程所定义的方法步骤,可以由所述基于虚拟现实的动作数据处理云平台实现。
下面将对图2所示的具体流程,进行详细阐述。
步骤S110,采集到待处理用户图像序列。
在本发明实施例中,所述基于虚拟现实的动作数据处理云平台可以采集到待处理用户图像序列(示例性地,可以通过目标用户对应的图像采集设备进行采集形成,并传输给所述基于虚拟现实的动作数据处理云平台)。所述待处理用户图像序列包括多个待处理用户图像,每一个待处理用户图像基于对目标用户(可以是部分身体或其它身体)进行图像采集得到。
步骤S120,对所述待处理用户图像序列中的每一个待处理用户图像进行分割处理,以形成待处理用户图像序列对应的多个局部用户图像序列。
在本发明实施例中,所述基于虚拟现实的动作数据处理云平台可以对所述待处理用户图像序列中的每一个待处理用户图像进行分割处理(如按照身体的部位进行分割,如头部、左手、右手、躯干、左腿、右腿,7个部分),以形成待处理用户图像序列对应的多个局部用户图像序列。所述多个局部用户图像序列中对应序列位置的局部用户图像拼接形成所述待处理用户图像序列中对应序列位置的待处理用户图像。
步骤S130,分别对所述多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据。
在本发明实施例中,所述基于虚拟现实的动作数据处理云平台可以分别对所述多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据。每一个所述动作识别数据包括所述目标用户中与所述局部用户图像对应的局部身体的位置坐标序列。
步骤S140,分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理。
在本发明实施例中,所述基于虚拟现实的动作数据处理云平台可以分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理。所述局部虚拟对象与所述动作识别数据对应的局部用户图像对应的局部身体相对应(示例性地,可以根据头部的动作识别数据对头部的局部虚拟对象进行动作控制)。
基于前述的步骤,由于在对目标用户对应的目标虚拟对象进行动作控制处理的过程中,是先将目标用户对应的待处理用户图像进行分割,并分别对不同的局部用户图像进行动作识别,然后,再分别基于局部用户图像对应的动作识别数据对目标虚拟对应的各局部虚拟对象进行控制,即通过分别的动作识别和分别的局部虚拟对象控制,可以使得进行动作数据处理的粒度更小,从而实现高精度的虚拟对象控制,以在一定程度上提高虚拟现实中对目标用户对应的目标虚拟对象进行动作控制的可靠度。
应当理解的是,在一些实施方式中,对于上述描述中的步骤S120,即所述分别对所述多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据的步骤,可以进一步包括以下的子步骤:
对于所述多个局部用户图像序列中的每一个局部用户图像序列,分别对该局部用户图像序列中的每一个局部用户图像进行目标身体关键点的坐标确定处理,以形成每一个局部用户图像对应的目标位置坐标集合(示例性地,对于头部对应的局部用户图像,可以预先定义目标数量个目标身体关键点,如人脸关键点、骨骼关键点等,然后,可以在所述局部用户图像中分别确定出目标数量个目标身体关键点的位置坐标,即得到目标位置坐标集合,关键点的定义和识别可以参照相关的现有技术);
依据所述局部用户图像在所述局部用户图像序列中的序列位置,将每一个局部用户图像对应的目标位置坐标集合进行排序组合,以形成所述局部用户图像序列对应的动作识别数据(如该动作识别数据依次包括第一个局部用户图像对应的目标位置坐标集合1、第二个局部用户图像对应的目标位置坐标集合2、第三个局部用户图像对应的目标位置坐标集合4)。
应当理解的是,在一些实施方式中,对于上述描述中的步骤S140,即所述分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理的步骤,可以进一步包括以下的子步骤:
对所述多个动作识别数据进行拼接,以形成拼接动作识别数据(如此,所述拼接动作识别数据可以包括拼接目标位置坐标集合1、拼接目标位置坐标集合2、拼接目标位置坐标集合3、拼接目标位置坐标集合4等,所述拼接目标位置坐标集合1对应于所述待处理用户图像序列中的第一个待处理用户图像,所述拼接目标位置坐标集合2对应于所述待处理用户图像序列中的第二个待处理用户图像,所述拼接目标位置坐标集合3对应于所述待处理用户图像序列中的第三个待处理用户图像,所述拼接目标位置坐标集合4对应于所述待处理用户图像序列中的第四个待处理用户图像);
在预先配置的多个参考动作识别数据中,匹配出与所述拼接动作识别数据最匹配的第一参考动作识别数据(示例性地,所述参考动作识别数据可以基于人工进行标注形成,或其它高精度的识别神经网络确定出);
依据对应的身体关键点,将所述第一参考动作识别数据进行分割处理(如按照所述的身体部位分割),以形成多个局部第一参考动作识别数据,所述多个局部第一参考动作识别数据与所述多个动作识别数据一一对应;
分别依据所述多个局部第一参考动作识别数据中的每一个局部第一参考动作识别数据,对相应的动作识别数据进行数据优化处理,以形成所述动作识别数据对应的优化动作识别数据(示例性地,可以直接将所述局部第一参考动作识别数据作为所述动作识别数据对应的优化动作识别数据;或者,在其它实施方式中,可以对所述局部第一参考动作识别数据和相应的动作识别数据进行均值或加权均值处理,以得到所述动作识别数据对应的优化动作识别数据,即将同一个目标身体关键点在局部第一参考动作识别数据中的位置坐标和在所述动作识别数据中的位置坐标进行均值或加权均值处理,得到在优化动作识别数据中的位置坐标);
分别基于每一个所述优化动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理(示例性地,可以将所述优化动作识别数据与初始动作识别数据,即初始的用户位置坐标,进行求差处理,然后,基于求差处理的结果与局部虚拟对象的初始的虚拟对象位置坐标进行求和处理,以得到虚拟对象的当前位置坐标)。
应当理解的是,在一些实施方式中,对于上述描述中的所述在预先配置的多个参考动作识别数据中,匹配出与所述拼接动作识别数据最匹配的第一参考动作识别数据的步骤,可以进一步包括以下的子步骤:
将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息,所述第一相关性表征信息用于反映所述参考动作识别数据与所述拼接动作识别数据之间的相关性大小;
针对每一个所述参考动作识别数据,依据所述参考动作识别数据的第一相关性表征信息和其它参考动作识别数据的第一相关性表征信息,分析出所述参考动作识别数据的优化第一相关性表征信息,所述优化第一相关性表征信息与所述参考动作识别数据的第一相关性表征信息之间具有正向的对应关系,所述优化第一相关性表征信息与每一个所述参考动作识别数据的第一相关性表征信息的累积值之间具有负向的对应关系(示例性地,可以先计算所述参考动作识别数据的第一相关性表征信息与每一个所述参考动作识别数据的第一相关性表征信息的累积值之间的比值,然后,可以对该比值进行取对数操作,以得到优化第一相关性表征信息);
依据每一个所述参考动作识别数据的优化第一相关性表征信息,从所述多个参考动作识别数据中,匹配出与所述拼接动作识别数据对应的第一参考动作识别数据(示例性地,可以将具有最大值的优化第一相关性表征信息对应的参考动作识别数据,作为第一参考动作识别数据)。
应当理解的是,在一些实施方式中,对于上述描述中的所述将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息的步骤,可以进一步包括以下的子步骤:
将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息和第二相关性表征信息,所述第二相关性表征信息用于反映基于所述拼接动作识别数据对应的待处理用户图像序列分析出所述参考动作识别数据的概率评估值(即所述参考动作识别数据的可靠度;基于此,所述依据每一个所述参考动作识别数据的优化第一相关性表征信息,从所述多个参考动作识别数据中,匹配出与所述拼接动作识别数据对应的第一参考动作识别数据的步骤,可以进一步包括以下的子步骤:将每一个所述参考动作识别数据的所述优化第一相关性表征信息和所述第二相关性表征信息进行乘法运算,以输出每一个所述参考动作识别数据的乘法运算结果;以及,从所述多个参考动作识别数据中,对具有最大值的乘法运算结果对应的参考动作识别数据进行标记,以标记为第一参考动作识别数据)。
应当理解的是,在一些实施方式中,对于上述描述中的所述将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息的步骤,可以进一步包括以下的子步骤:
将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息和第三相关性表征信息,所述第三相关性表征信息用于反映基于所述拼接动作识别数据对应的待处理用户图像序列中的多个待处理用户图像分析出所述参考动作识别数据中的多个位置坐标集合的概率评估值(也可以理解为所述参考动作识别数据的可靠度,基于此,所述依据每一个所述参考动作识别数据的优化第一相关性表征信息,从所述多个参考动作识别数据中,匹配出与所述拼接动作识别数据对应的第一参考动作识别数据的步骤,可以进一步包括以下的子步骤:将每一个所述参考动作识别数据的所述优化第一相关性表征信息和所述第三相关性表征信息进行乘法运算,以输出每一个所述参考动作识别数据的乘法运算结果,即基于可靠度对相关性进行加权;以及,从多个所述参考动作识别数据中,对具有最大值的乘法运算结果对应的参考动作识别数据进行标记处理,以标记为对应的第一参考动作识别数据),所述位置坐标集合包括多个身体关键点的坐标。
应当理解的是,在一些实施方式中,对于上述描述中的所述在预先配置的多个参考动作识别数据中,匹配出与所述拼接动作识别数据最匹配的第一参考动作识别数据的步骤,还可以进一步包括以下的子步骤:
采集到示例性拼接动作识别数据和所述示例性拼接动作识别数据对应的示例性参考动作识别数据(示例性地,所述示例性参考动作识别数据可以基于对示例性拼接动作识别数据对应的示例性用户图像序列进行人工标注形成,或基于高精度的识别神经网络识别得到);
通过动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息,所述第一相关性表征信息用于反映所述参考动作识别数据与所述示例性拼接动作识别数据之间的相关性大小,所述多个参考动作识别数据中包括所述示例性参考动作识别数据;
依据所述示例性参考动作识别数据的第一相关性表征信息和所述示例性参考动作识别数据以外的其它参考动作识别数据的第一相关性表征信息,分析出对应的神经网络学习代价指标;
依据所述神经网络学习代价指标,对所述动作识别数据分析神经网络进行网络优化处理,以形成优化后的动作识别数据分析神经网络,优化后的动作识别数据分析神经网络用于将所述拼接动作识别数据进行分析(示例性地,在进行网络优化处理的过程中,可以在当前的神经网络学习代价指标收敛,如小于或等于预先配置的参考值的情况下,将当前的动作识别数据分析神经网络作为优化后的动作识别数据分析神经网络)。
应当理解的是,在一些实施方式中,对于上述描述中的所述通过动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息的步骤,可以进一步包括以下的子步骤:通过所述动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的所述第一相关性表征信息和第二相关性表征信息,所述第二相关性表征信息用于反映基于所述示例性拼接动作识别数据对应的示例性用户图像序列分析出所述参考动作识别数据的概率评估值。基于此,对于上述描述中的所述依据所述示例性参考动作识别数据的第一相关性表征信息和所述示例性参考动作识别数据以外的其它参考动作识别数据的第一相关性表征信息,分析出对应的神经网络学习代价指标的步骤,可以进一步包括以下的子步骤:
获得第一示例性相关性表征信息,所述第一示例性相关性表征信息代表基于所述示例性拼接动作识别数据对应的示例性用户图像序列分析出所述示例性参考动作识别数据的概率评估值;
依据所述示例性参考动作识别数据的第一相关性表征信息和其它参考动作识别数据的第一相关性表征信息,分析出对应的优化第一相关性表征信息,所述优化第一相关性表征信息与所述示例性参考动作识别数据的第一相关性表征信息之间具有正向的对应关系,所述优化第一相关性表征信息与每一个所述参考动作识别数据的第一相关性表征信息的累计值之间具有负向的对应关系(即在所述多个参考动作识别数据中,所述示例性参考动作识别数据与所述示例性拼接动作识别数据之间的相关性大小最大,因而,所述示例性参考动作识别数据的优化第一相关性表征信息越大,所述动作识别数据分析神经网络的准确性越高);
依据每一个所述参考动作识别数据的第二相关性表征信息和所述第一示例性相关性表征信息,分析出对应的第一偏离表征信息(示例性地,可以对所述参考动作识别数据的第二相关性表征信息和所述第一示例性相关性表征信息进行差异度计算,以得到对应的第一偏离表征信息);
依据所述优化第一相关性表征信息和所述第一偏离表征信息,分析出对应的神经网络学习代价指标(由于所述示例性参考动作识别数据的优化第一相关性表征信息越大,所述动作识别数据分析神经网络的准确性越高,因此,可以将所述优化第一相关性表征信息的负相关值和所述第一偏离表征信息进行叠加或加权叠加,以得到对应的神经网络学习代价指标,具体的加权系数不受限制,根据需求进行配置即可),所述神经网络学习代价指标与所述优化第一相关性表征信息之间具有负向的对应关系,所述神经网络学习代价指标与所述第一偏离表征信息之间具有正向的对应关系。
应当理解的是,在一些实施方式中,所述动作识别数据分析神经网络可以包括关键信息挖掘单元和关键信息还原单元,基于此,对于上述描述中的所述通过所述动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的所述第一相关性表征信息和第二相关性表征信息的步骤,可以进一步包括以下的子步骤:
通过所述关键信息挖掘单元,将所述示例性拼接动作识别数据进行关键信息挖掘操作,以输出对应的动作识别数据挖掘结果(示例性地,所述关键信息挖掘操作可以是指,将所述示例性拼接动作识别数据对应的示例性用户图像序列进行特征空间映射处理,以得到对应的特征空间映射结果,然后,可以将所述特征空间映射结果进行卷积运算或滤波操作,可以得到动作识别数据挖掘结果);
通过所述关键信息还原单元,依据多个所述参考动作识别数据,对所述动作识别数据挖掘结果进行关键信息还原操作,以输出每一个所述参考动作识别数据的第二相关性表征信息(即对所述动作识别数据挖掘结果进行关键信息还原操作,并将结果与所述参考动作识别数据进行对比分析,即可以得到基于所述示例性拼接动作识别数据对应的示例性用户图像序列分析出所述参考动作识别数据的概率评估值;另外,所述关键信息还原操作可以与所述关键信息挖掘操作互逆,如进行上采样等处理);
依据所述动作识别数据挖掘结果和每一个所述参考动作识别数据对应的参考动作识别数据挖掘结果,分析出每一个所述参考动作识别数据的第一相关性表征信息(示例性地,可以计算所述动作识别数据挖掘结果和所述参考动作识别数据挖掘结果之间的结果匹配度,以得到所述参考动作识别数据的第一相关性表征信息)。
其中,应当理解的是,在一些实施方式中,所述动作识别数据分析神经网络可以包括关键信息挖掘单元、关键信息抽选单元和结果整合处理单元,基于此,对于上述描述中的所述通过所述动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的所述第一相关性表征信息和第二相关性表征信息的步骤的步骤,可以进一步包括以下的子步骤:
通过所述关键信息挖掘单元,依据所述示例性拼接动作识别数据中的前B个位置坐标集合,将第A个位置坐标集合进行关键信息挖掘,以输出所述第A个位置坐标集合对应的动作识别数据挖掘结果,A-B等于1(示例性地,第A个位置坐标集合可以是所述示例性拼接动作识别数据中的最后一个位置坐标集合,即对应于最后一个示例性用户图像);
通过所述关键信息抽选单元,将所述示例性参考动作识别数据中所述前B个位置坐标集合对应的示例性用户图像进行关键信息抽选,以输出所述前B个位置坐标集合的参考动作识别数据挖掘结果(示例性地,所述关键信息抽选可以与所述关键信息挖掘的处理过程一样);
通过所述结果整合处理单元,将所述第A个位置坐标集合的动作识别数据挖掘结果和所述前B个位置坐标集合的参考动作识别数据挖掘结果进行结果整合处理,以输出每一个所述参考动作识别数据的第二相关性表征信息(示例性地,可以将所述第A个位置坐标集合的动作识别数据挖掘结果和所述前B个位置坐标集合的参考动作识别数据挖掘结果进行匹配度的计算,如数据挖掘结果用向量表示,可以基于向量的余弦相似度);
依据所述第A个位置坐标集合的动作识别数据挖掘结果和每一个所述参考动作识别数据的参考动作识别数据挖掘结果,分析出每一个所述参考动作识别数据的第一相关性表征信息(示例性地,可以将所述第A个位置坐标集合的动作识别数据挖掘结果和每一个所述参考动作识别数据的参考动作识别数据挖掘结果进行匹配度的计算)。
其中,应当理解的是,在一些实施方式中,对于上述描述中的所述通过所述关键信息挖掘单元,依据所述示例性拼接动作识别数据中的前B个位置坐标集合,将第A个位置坐标集合进行关键信息挖掘,以输出所述第A个位置坐标集合对应的动作识别数据挖掘结果的步骤,可以进一步包括以下的子步骤:
提取到所述示例性拼接动作识别数据中的前B个位置坐标集合对应的动作识别数据挖掘结果,并对所述示例性拼接动作识别数据中的第A个位置坐标集合进行关键信息挖掘处理,以得到所述第A个位置坐标集合对应的初始动作识别数据挖掘结果;
分别对所述示例性拼接动作识别数据中的前B个位置坐标集合中的每一个位置坐标集合对应的动作识别数据挖掘结果进行聚焦特征分析处理,以得到前B个位置坐标集合中的每一个位置坐标集合对应的第一聚焦动作识别数据挖掘结果,以及,对所述第A个位置坐标集合对应的初始动作识别数据挖掘结果进行聚焦特征分析处理,以得到所述第A个位置坐标集合对应的第二聚焦动作识别数据挖掘结果;
将所述前B个位置坐标集合中的每一个位置坐标集合对应的第一聚焦动作识别数据挖掘结果进行加权叠加处理,以得到加权第一聚焦动作识别数据挖掘结果,在进行加权叠加处理的过程中,加权系数基于对应的位置坐标集合的排序确定,示例性地,在前的位置坐标集合对应的加权系数小于在后的位置坐标集合对应的加权系数;
将所述加权第一聚焦动作识别数据挖掘结果和所述第二聚焦动作识别数据挖掘结果进行拼接处理,以形成对应的拼接聚焦动作识别数据挖掘结果,以及,对所述拼接聚焦动作识别数据挖掘结果进行映射处理,以形成对应的映射拼接聚焦动作识别数据挖掘结果,在所述映射拼接聚焦动作识别数据挖掘结果中,每一个结果参数被映射为0-1;
对所述第A个位置坐标集合对应的初始动作识别数据挖掘结果进行映射处理,以形成对应的映射初始动作识别数据挖掘结果,在所述映射初始动作识别数据挖掘结果中,每一个结果参数被映射为0-1;以及,将所述映射拼接聚焦动作识别数据挖掘结果和所述映射初始动作识别数据挖掘结果进行相关融合处理(如计算对应位置的结果参数的乘积),以输出对应的相关性参数分布,在所述相关性参数分布中每一个相关性参数为0-1;
基于所述相关性参数分布,对所述拼接聚焦动作识别数据挖掘结果进行加权处理,以得到对应的加权拼接聚焦动作识别数据挖掘结果,以及,将所述加权拼接聚焦动作识别数据挖掘结果和所述拼接聚焦动作识别数据挖掘结果进行拼接处理,以得到所述第A个位置坐标集合对应的动作识别数据挖掘结果(如此,可以使得所述第A个位置坐标集合对应的动作识别数据挖掘结果,不仅具有所述第A个位置坐标集合的信息,还具有前B个位置坐标集合的相关信息,使得其表征能力更强)。
结合图3,本发明实施例还提供一种基于虚拟现实的动作数据处理系统,可应用于上述基于虚拟现实的动作数据处理云平台。其中,所述基于虚拟现实的动作数据处理系统可以包括以下的模块:
用户图像采集模块,用于采集到待处理用户图像序列,所述待处理用户图像序列包括多个待处理用户图像,每一个待处理用户图像基于对目标用户进行图像采集得到;图像分割模块,用于对所述待处理用户图像序列中的每一个待处理用户图像进行分割处理,以形成所述待处理用户图像序列对应的多个局部用户图像序列,所述多个局部用户图像序列中对应序列位置的局部用户图像拼接形成所述待处理用户图像序列中对应序列位置的待处理用户图像;动作识别模块,用于分别对所述多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据,每一个所述动作识别数据包括所述目标用户中与所述局部用户图像对应的局部身体的位置坐标序列;动作控制模块,用于分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理,所述局部虚拟对象与所述动作识别数据对应的局部用户图像对应的局部身体相对应。
综上所述,本发明提供的基于虚拟现实的动作数据处理方法、系统及云平台,采集到待处理用户图像序列;对待处理用户图像序列中的每一个待处理用户图像进行分割处理,以形成待处理用户图像序列对应的多个局部用户图像序列;分别对多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据,每一个动作识别数据包括目标用户中与局部用户图像对应的局部身体的位置坐标序列;分别基于每一个动作识别数据,对目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理。基于前述的步骤,由于在对目标用户对应的目标虚拟对象进行动作控制处理的过程中,是先将目标用户对应的待处理用户图像进行分割,并分别对不同的局部用户图像进行动作识别,然后,再分别基于局部用户图像对应的动作识别数据对目标虚拟对应的各局部虚拟对象进行控制,即通过分别的动作识别和分别的局部虚拟对象控制,可以使得进行动作数据处理的粒度更小,从而实现高精度的虚拟对象控制,以在一定程度上提高虚拟现实中对目标用户对应的目标虚拟对象进行动作控制的可靠度。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于虚拟现实的动作数据处理方法,其特征在于,包括:
采集到待处理用户图像序列,所述待处理用户图像序列包括多个待处理用户图像,每一个待处理用户图像基于对目标用户进行图像采集得到;
对所述待处理用户图像序列中的每一个待处理用户图像进行分割处理,以形成所述待处理用户图像序列对应的多个局部用户图像序列,所述多个局部用户图像序列中对应序列位置的局部用户图像拼接形成所述待处理用户图像序列中对应序列位置的待处理用户图像;
分别对所述多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据,每一个所述动作识别数据包括所述目标用户中与所述局部用户图像对应的局部身体的位置坐标序列;
分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理,所述局部虚拟对象与所述动作识别数据对应的局部用户图像对应的局部身体相对应;
其中,所述分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理的步骤,包括:
对所述多个动作识别数据进行拼接,以形成拼接动作识别数据;
在预先配置的多个参考动作识别数据中,匹配出与所述拼接动作识别数据最匹配的第一参考动作识别数据;
依据对应的身体关键点,将所述第一参考动作识别数据进行分割处理,以形成多个局部第一参考动作识别数据,所述多个局部第一参考动作识别数据与所述多个动作识别数据一一对应;
分别依据所述多个局部第一参考动作识别数据中的每一个局部第一参考动作识别数据,对相应的动作识别数据进行数据优化处理,以形成所述动作识别数据对应的优化动作识别数据;
分别基于每一个所述优化动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理。
2.如权利要求1所述的基于虚拟现实的动作数据处理方法,其特征在于,所述分别对所述多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据的步骤,包括:
对于所述多个局部用户图像序列中的每一个局部用户图像序列,分别对该局部用户图像序列中的每一个局部用户图像进行目标身体关键点的坐标确定处理,以形成每一个局部用户图像对应的目标位置坐标集合;
依据所述局部用户图像在所述局部用户图像序列中的序列位置,将每一个局部用户图像对应的目标位置坐标集合进行排序组合,以形成所述局部用户图像序列对应的动作识别数据。
3.如权利要求1所述的基于虚拟现实的动作数据处理方法,其特征在于,所述在预先配置的多个参考动作识别数据中,匹配出与所述拼接动作识别数据最匹配的第一参考动作识别数据的步骤,包括:
将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息,所述第一相关性表征信息用于反映所述参考动作识别数据与所述拼接动作识别数据之间的相关性大小;
针对每一个所述参考动作识别数据,依据所述参考动作识别数据的第一相关性表征信息和其它参考动作识别数据的第一相关性表征信息,分析出所述参考动作识别数据的优化第一相关性表征信息,所述优化第一相关性表征信息与所述参考动作识别数据的第一相关性表征信息之间具有正向的对应关系,所述优化第一相关性表征信息与每一个所述参考动作识别数据的第一相关性表征信息的累积值之间具有负向的对应关系;
依据每一个所述参考动作识别数据的优化第一相关性表征信息,从所述多个参考动作识别数据中,匹配出与所述拼接动作识别数据对应的第一参考动作识别数据。
4.如权利要求3所述的基于虚拟现实的动作数据处理方法,其特征在于,所述将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息的步骤,包括:
将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息和第二相关性表征信息,所述第二相关性表征信息用于反映基于所述拼接动作识别数据对应的待处理用户图像序列分析出所述参考动作识别数据的概率评估值;
所述依据每一个所述参考动作识别数据的优化第一相关性表征信息,从所述多个参考动作识别数据中,匹配出与所述拼接动作识别数据对应的第一参考动作识别数据的步骤,包括:
将每一个所述参考动作识别数据的所述优化第一相关性表征信息和所述第二相关性表征信息进行乘法运算,以输出每一个所述参考动作识别数据的乘法运算结果;以及,从所述多个参考动作识别数据中,对具有最大值的乘法运算结果对应的参考动作识别数据进行标记,以标记为第一参考动作识别数据。
5.如权利要求3所述的基于虚拟现实的动作数据处理方法,其特征在于,所述将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息的步骤,包括:
将所述拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息和第三相关性表征信息,所述第三相关性表征信息用于反映基于所述拼接动作识别数据对应的待处理用户图像序列中的多个待处理用户图像分析出所述参考动作识别数据中的多个位置坐标集合的概率评估值,所述位置坐标集合包括多个身体关键点的坐标;
所述依据每一个所述参考动作识别数据的优化第一相关性表征信息,从所述多个参考动作识别数据中,匹配出与所述拼接动作识别数据对应的第一参考动作识别数据的步骤,包括:
将每一个所述参考动作识别数据的所述优化第一相关性表征信息和所述第三相关性表征信息进行乘法运算,以输出每一个所述参考动作识别数据的乘法运算结果;以及,从多个所述参考动作识别数据中,对具有最大值的乘法运算结果对应的参考动作识别数据进行标记处理,以标记为对应的第一参考动作识别数据。
6.如权利要求3所述的基于虚拟现实的动作数据处理方法,其特征在于,所述在预先配置的多个参考动作识别数据中,匹配出与所述拼接动作识别数据最匹配的第一参考动作识别数据的步骤,还包括:
采集到示例性拼接动作识别数据和所述示例性拼接动作识别数据对应的示例性参考动作识别数据;
通过动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息,所述第一相关性表征信息用于反映所述参考动作识别数据与所述示例性拼接动作识别数据之间的相关性大小,所述多个参考动作识别数据中包括所述示例性参考动作识别数据;
依据所述示例性参考动作识别数据的第一相关性表征信息和所述示例性参考动作识别数据以外的其它参考动作识别数据的第一相关性表征信息,分析出对应的神经网络学习代价指标;
依据所述神经网络学习代价指标,对所述动作识别数据分析神经网络进行网络优化处理,以形成优化后的动作识别数据分析神经网络,优化后的动作识别数据分析神经网络用于将所述拼接动作识别数据进行分析。
7.如权利要求6所述的基于虚拟现实的动作数据处理方法,其特征在于,所述通过动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的第一相关性表征信息的步骤,包括:
通过所述动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的所述第一相关性表征信息和第二相关性表征信息,所述第二相关性表征信息用于反映基于所述示例性拼接动作识别数据对应的示例性用户图像序列分析出所述参考动作识别数据的概率评估值;
所述依据所述示例性参考动作识别数据的第一相关性表征信息和所述示例性参考动作识别数据以外的其它参考动作识别数据的第一相关性表征信息,分析出对应的神经网络学习代价指标的步骤,包括:
获得第一示例性相关性表征信息,所述第一示例性相关性表征信息代表基于所述示例性拼接动作识别数据对应的示例性用户图像序列分析出所述示例性参考动作识别数据的概率评估值;
依据所述示例性参考动作识别数据的第一相关性表征信息和其它参考动作识别数据的第一相关性表征信息,分析出对应的优化第一相关性表征信息,所述优化第一相关性表征信息与所述示例性参考动作识别数据的第一相关性表征信息之间具有正向的对应关系,所述优化第一相关性表征信息与每一个所述参考动作识别数据的第一相关性表征信息的累计值之间具有负向的对应关系;
依据每一个所述参考动作识别数据的第二相关性表征信息和所述第一示例性相关性表征信息,分析出对应的第一偏离表征信息;
依据所述优化第一相关性表征信息和所述第一偏离表征信息,分析出对应的神经网络学习代价指标,所述神经网络学习代价指标与所述优化第一相关性表征信息之间具有负向的对应关系,所述神经网络学习代价指标与所述第一偏离表征信息之间具有正向的对应关系;
其中,所述动作识别数据分析神经网络包括关键信息挖掘单元和关键信息还原单元;以及,所述通过所述动作识别数据分析神经网络,将所述示例性拼接动作识别数据进行分析处理,以输出预先配置的多个参考动作识别数据中的每一个所述参考动作识别数据的所述第一相关性表征信息和第二相关性表征信息的步骤,包括:
通过所述关键信息挖掘单元,将所述示例性拼接动作识别数据进行关键信息挖掘操作,以输出对应的动作识别数据挖掘结果;
通过所述关键信息还原单元,依据多个所述参考动作识别数据,对所述动作识别数据挖掘结果进行关键信息还原操作,以输出每一个所述参考动作识别数据的第二相关性表征信息;
依据所述动作识别数据挖掘结果和每一个所述参考动作识别数据对应的参考动作识别数据挖掘结果,分析出每一个所述参考动作识别数据的第一相关性表征信息。
8.一种基于虚拟现实的动作数据处理系统,其特征在于,包括:
用户图像采集模块,用于采集到待处理用户图像序列,所述待处理用户图像序列包括多个待处理用户图像,每一个待处理用户图像基于对目标用户进行图像采集得到;
图像分割模块,用于对所述待处理用户图像序列中的每一个待处理用户图像进行分割处理,以形成所述待处理用户图像序列对应的多个局部用户图像序列,所述多个局部用户图像序列中对应序列位置的局部用户图像拼接形成所述待处理用户图像序列中对应序列位置的待处理用户图像;
动作识别模块,用于分别对所述多个局部用户图像序列进行动作识别处理,以得到对应的多个动作识别数据,每一个所述动作识别数据包括所述目标用户中与所述局部用户图像对应的局部身体的位置坐标序列;
动作控制模块,用于分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理,所述局部虚拟对象与所述动作识别数据对应的局部用户图像对应的局部身体相对应;
其中,所述分别基于每一个所述动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理,包括:
对所述多个动作识别数据进行拼接,以形成拼接动作识别数据;
在预先配置的多个参考动作识别数据中,匹配出与所述拼接动作识别数据最匹配的第一参考动作识别数据;
依据对应的身体关键点,将所述第一参考动作识别数据进行分割处理,以形成多个局部第一参考动作识别数据,所述多个局部第一参考动作识别数据与所述多个动作识别数据一一对应;
分别依据所述多个局部第一参考动作识别数据中的每一个局部第一参考动作识别数据,对相应的动作识别数据进行数据优化处理,以形成所述动作识别数据对应的优化动作识别数据;
分别基于每一个所述优化动作识别数据,对所述目标用户对应的目标虚拟对象中相对应的局部虚拟对象进行动作控制处理。
9.一种基于虚拟现实的动作数据处理云平台,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现权利要求1-7任意一项所述的方法。
CN202211612212.6A 2022-12-15 2022-12-15 基于虚拟现实的动作数据处理方法、系统及云平台 Active CN115661942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211612212.6A CN115661942B (zh) 2022-12-15 2022-12-15 基于虚拟现实的动作数据处理方法、系统及云平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211612212.6A CN115661942B (zh) 2022-12-15 2022-12-15 基于虚拟现实的动作数据处理方法、系统及云平台

Publications (2)

Publication Number Publication Date
CN115661942A CN115661942A (zh) 2023-01-31
CN115661942B true CN115661942B (zh) 2023-06-27

Family

ID=85023041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211612212.6A Active CN115661942B (zh) 2022-12-15 2022-12-15 基于虚拟现实的动作数据处理方法、系统及云平台

Country Status (1)

Country Link
CN (1) CN115661942B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679831B (zh) * 2015-02-04 2020-07-07 腾讯科技(深圳)有限公司 一种匹配人体模型的方法及装置
CN109499068B (zh) * 2018-11-14 2022-06-03 腾讯科技(深圳)有限公司 对象的控制方法和装置、存储介质、电子装置
CN113348428A (zh) * 2019-02-01 2021-09-03 麦克赛尔株式会社 虚拟对象显示装置以及虚拟对象显示方法
CN109936774A (zh) * 2019-03-29 2019-06-25 广州虎牙信息科技有限公司 虚拟形象控制方法、装置及电子设备
CN111399662B (zh) * 2020-06-04 2020-09-29 之江实验室 基于高真实感虚拟化身的人与机器人交互仿真装置及方法
CN112462937B (zh) * 2020-11-23 2022-11-08 青岛小鸟看看科技有限公司 虚拟现实设备的局部透视方法、装置及虚拟现实设备
US11568617B2 (en) * 2021-05-12 2023-01-31 NEX Team Inc. Full body virtual reality utilizing computer vision from a single camera and associated systems and methods
CN115393962A (zh) * 2022-08-30 2022-11-25 歌尔科技有限公司 动作识别方法、头戴显示设备和存储介质

Also Published As

Publication number Publication date
CN115661942A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
US20190087683A1 (en) Method and apparatus for outputting information
CN111553419B (zh) 一种图像识别方法、装置、设备以及可读存储介质
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
US20230334893A1 (en) Method for optimizing human body posture recognition model, device and computer-readable storage medium
CN113449700B (zh) 视频分类模型的训练、视频分类方法、装置、设备及介质
CN113591918B (zh) 图像处理模型的训练方法、图像处理方法、装置和设备
CN110197116B (zh) 一种人体行为识别方法、装置和计算机可读存储介质
CN110765882A (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN110648289A (zh) 图像的加噪处理方法及装置
CN110866469A (zh) 一种人脸五官识别方法、装置、设备及介质
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
CN114792401A (zh) 行为识别模型的训练方法、装置、设备及存储介质
CN115661942B (zh) 基于虚拟现实的动作数据处理方法、系统及云平台
CN115496911B (zh) 一种目标点检测方法、装置、设备及存储介质
CN114494782B (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN111428612A (zh) 行人重识别方法、终端、装置及存储介质
CN111104911A (zh) 一种基于大数据训练的行人重识别方法及装置
CN111191065A (zh) 一种同源图像确定方法及装置
CN115995079A (zh) 图像语义相似度分析方法和同语义图像检索方法
CN112801045A (zh) 一种文本区域检测方法、电子设备及计算机存储介质
CN115908119B (zh) 基于人工智能的人脸图像美颜处理方法及系统
CN117854155B (zh) 一种人体骨骼动作识别方法及系统
CN116452741B (zh) 对象重建方法、对象重建模型的训练方法、装置及设备
CN117079058B (zh) 图像处理方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant