CN111696183B - 投影互动方法、系统及电子设备 - Google Patents

Abstract

本发明提供了一种投影互动方法、系统及电子设备。其中，投影互动方法，包括：创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型；采集玩家的人体骨骼图像和全身的RGB‑D图像，并确定面部RGB图像；将面部RGB图像映射到对应于人体骨骼图像的骨骼坐标系上；建立人体骨骼图像和多个人体三维模型的映射关系；根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影。根据本发明的实施例，可以在PC机上实现多人体感变装识别，不依赖于特定的硬件设备，可独立更换主机和显示设备，整体价格较低且可实现软硬件的自由定制。此外，具有更高真实性和趣味性，提升用户的体验效果。

Description

投影互动方法、系统及电子设备

技术领域

本发明涉及互联网技术领域，具体涉及一种投影互动方法、系统、电子设备及存储介质。

背景技术

变装投影互动系统运用的技术为增强现实技术与体感捕捉技术，是虚拟现实技术的进一步的发展。该技术通过计算机产生三维影像，提供给用户一个三维的空间并与之互动的一种技术。通过投影混合现实，用户在操控虚拟影像的同时也能接触真实环境，从而增强了感官性和趣味性。变装投影互动系统可以提供多种信息包括人们所想或所需的各种画面和图案，以其独特的方式来表达的新型的展示形式。

传统的AR变装系统多为移动端的手机程序，或是集成摄像头、电脑主机及其他数据采集设备的变装一体机。这些方案能够在一定程度上实现AR变装的效果，但是针对不同的应用环境仍存在着如下缺陷：移动端上的变装系统多基于手机或平板等设备。此类系统多安装在个人专有设备上，是目前使用最广泛的应用方式。但是受限于设备屏幕尺寸，此方案常常只适用于1米内的单用户场景，且该类方法无法满足深度应用需求，且对于远距离多人变装互动场景暂未发现类似的移动端应用。变装一体机实现了主机、显示设备、采集设备以及软件的一体化集成。该方案适用于远距离的多人变装应用场景，但是此方案多为整体定制，造价高昂，安装环境局限且难以满足用户的个性化定制需求。

发明内容

基于现有技术中存在的问题，本发明提出一种投影互动方法、系统、电子设备及存储介质。

第一方面，本发明提供了一种投影互动方法，包括：

创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号；

采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像；

将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上；

建立所述人体骨骼图像和多个所述人体三维模型的映射关系；

根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影。

在一些示例中，所述创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号，包括：

创建一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，所述多个关节点包括头、颈、肩、肘、手、膝、脚、腕中的部分或全部；

对每个人体三维模型进行编号，并存储每个人体三维模型，或者，对每个人体三维模型中的多个关节点进行编号，并依次存储每个人体三维模型中的多个关节点。

在一些示例中，还包括：存储所述多个关节点的时序数据。

在一些示例中，所述采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像，包括：

采集玩家的人体骨骼的红外图像；

利用预先训练好的机器学习算法得到所述人体骨骼图像的骨骼模型；

采集所述玩家的全身的RGB-D图像，其中，所述RGB-D图像包括RGB三通道彩色图像和Depth图像。

在一些示例中，所述将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上，包括：

根据所述人体骨骼图像确定头部位置；

从所述全身的RGB-D图像提取所述头部位置对应的RGB-D图像；

对所述头部位置对应的RGB-D图像进行锐化，以得到所述面部RGB图像；

将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上。

在一些示例中，所述建立所述人体骨骼图像和多个所述人体三维模型的映射关系，包括：

建立所述人体骨骼图像和多个所述人体三维模型的映射，以得到基于面部和骨骼的动画模型。

在一些示例中，所述根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影，包括：

确定玩家数量；

根据玩家数量将每个玩家根据造型风格选定的人体三维模型确定动画模型；

对所述动画模型进行渲染后展现。

第二方面，本发明还提供了一种投影互动系统，包括：

创建模块，用于创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号；

采集模块，用于采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像；

映射模块，用于将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上；

建立模块，用于建立所述人体骨骼图像和多个所述人体三维模型的映射关系；

展示模块，用于根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影。

第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的投影互动方法。

第四方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的投影互动方法。

根据本发明的实施例，可以在PC机上实现多人体感变装识别，具有自定义变装姿势的识别和交互功能，能够实现如1米外的远距离变装体验。相比于变装一体机，该方法不依赖于特定的硬件设备，可独立更换主机和显示设备，因此，整体价格较低且可实现软硬件的自由定制。此外，该方法将多人面部纹理实时提取并映射到变装模型的面部，实现了基于真人面部的三维虚拟变装体验，相比于传统的二维和三维变装系统，具有更高真实性和趣味性，提升用户的体验效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1是本发明一实施例提供的投影互动方法的流程图；

图2是本发明另一实施例提供的投影互动方法的处理流程图；

图3是本发明一实施例提供的投影互动系统的结构框图；

图4是本发明一实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

以下结合附图描述根据本发明实施例的投影互动方法、系统、电子设备及存储介质。

图1示出了本发明一实施例提供的投影互动方法的流程图，如图1所示，并结合图2，本发明实施例提供的投影互动方法，包括如下步骤：

S101：创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号。

作为一个具体的示例，创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，包括：创建一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，所述多个关节点包括头、颈、肩、肘、手、膝、脚、腕中的部分或全部；对每个人体三维模型进行编号，并存储每个人体三维模型，或者，对每个人体三维模型中的多个关节点进行编号，并依次存储每个人体三维模型中的多个关节点。当然，还可以存储所述多个关节点的时序数据。

具体来说，创建人体三维模型(简称人形模型)例如在3D Max里创建多套不同造型风格的包含但不限于头、颈、肩、肘、手、膝、脚腕等多个关节点的人形模型。

需要说明的是，所有人形模型的关节点都可自有活动，可以接收实时参数驱动或通过绑定制作好的骨骼动画进行动画展示。人形模型除头部纹理外其他部位都已在建模阶段完成了模型贴图操作，头部纹理可接收外部数据并实时映射到头部模型上，实现换头效果，未接受到外部数据时默认使用白色不透明纹理进行头部模型的蒙皮操作。

存储例如包括：将创建好的模型按关节点进行分解编号并依次存入数据库中。进而，后续可调用不同类型的人形模型，并存储各关节点的时序数据，实现动作的实时记录和回放操作。

S102：采集玩家的人体骨骼图像和全身的RGB-D图像，并根据人体骨骼图像和全身的RGB-D图像确定面部RGB图像。

在本发明的一个实施例中，采集玩家的人体骨骼图像和全身的RGB-D图像，并根据人体骨骼图像和全身的RGB-D图像确定面部RGB图像，包括：采集玩家的人体骨骼的红外图像；利用预先训练好的机器学习算法得到所述人体骨骼图像的骨骼模型；采集所述玩家的全身的RGB-D图像，其中，所述RGB-D图像包括RGB三通道彩色图像和Depth图像。

具体来说，可以通过kinect设备采集人体骨骼数据(即：人体骨骼图像)及全身的RGB-D数据(即：全身的RGB-D图像)，例如使用kinect2设备作为数据采集设备，kinect2设备内置红外发射器。进行数据采集时，红外发射器主动投射经调制的近红外光线，红外光线照到视野里的物体上就会发生反射，红外相机接收反射回来的红外线，采用TOF技术测量深度，获取物体到深度相机的距离。最后利用预先训练好的机器学习算法实现人体骨架模型的生成，并实现骨架数据的实时追踪。

S103：将面部RGB图像映射到对应于人体骨骼图像的骨骼坐标系上。具体为：根据所述人体骨骼图像确定头部位置；从所述全身的RGB-D图像提取所述头部位置对应的RGB-D图像；对所述头部位置对应的RGB-D图像进行锐化，以得到所述面部RGB图像；将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上。

例如：利用实时骨骼数据确定头部中心并建立圆形的遮罩(即：确定头部位置)，提取遮罩中的RGB-D数据(即：头部位置对应的RGB-D图像)，对提取出的包含头部的RGB-D数据进行锐化处理，进一步将面部的RGB纹理数据整体提出，即：得到面部RGB图像。

由于RGB图像与深度图像(人体的骨骼数据)的空间坐标系是不同的，前者的原点是RGB摄像头，后者的原点是红外摄像头，需要修正获取的RGB图像在骨骼坐标系上的相应误差。最后以骨骼坐标系为坐标系，将修正后的面部RGB图像的坐标映射到骨骼坐标系上。

S104：建立人体骨骼图像和多个人体三维模型的映射关系。在本发明的一个实施例中，建立人体骨骼图像和多个人体三维模型的映射，以得到基于面部和骨骼的动画模型。

也就是说，创建数据存储结构，保存关节点的空间坐标数据及旋转数据，建立骨骼数据与人形模型关节的映射，实现人形模型与实时获取骨骼关节的绑定以及面部RGB图像数据的提取和蒙皮，完成基于面部和骨骼实时数据的动画模型驱动。

S105：根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影。

在具体的PC机应用中，确定玩家数量；根据玩家数量将每个玩家根据造型风格选定的人体三维模型确定动画模型；对所述动画模型进行渲染后展现。

例如：依据识别的玩家数量确定所需调用模型库中的人形模型数，将识别到的玩家面部RGB数据作为纹理替换人形模型的面部纹理，并在每一帧的渲染中对每一个模型所有关节点的位置和旋转信息进行更新和渲染输出。

在具体应用中，例如基于Windows系统，在Unity3D开发环境中对多人的体感变装进行开发和打包输出。打包系统在PC机上运行，投影仪作为显示设备，Kinect2作为数据采集设备，最终实现PC环境下的多人的演示。

根据本发明实施例的投影互动方法，可以在PC机上实现多人体感变装识别，具有自定义变装姿势的识别和交互功能，能够实现如1米外的远距离变装体验。相比于变装一体机，该方法不依赖于特定的硬件设备，可独立更换主机和显示设备，因此，整体价格较低且可实现软硬件的自由定制。此外，该方法将多人面部纹理实时提取并映射到变装模型的面部，实现了基于真人面部的三维虚拟变装体验，相比于传统的二维和三维变装系统，具有更高真实性和趣味性，提升用户的体验效果。

图3是根据本发明一个实施例的投影互动系统的结构框图。如图3所示，根据本发明一个实施例的投影互动系统，包括：创建模块310、采集模块320、映射模块330、建立模块340和展示模块350。

其中，创建模块310用于创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号。采集模块320用于采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像。映射模块330用于将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上。建立模块340用于建立所述人体骨骼图像和多个所述人体三维模型的映射关系。展示模块350用于根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影。

根据本发明实施例的投影互动系统，可以在PC机上实现多人体感变装识别，具有自定义变装姿势的识别和交互功能，能够实现如1米外的远距离变装体验。相比于变装一体机，该方法不依赖于特定的硬件设备，可独立更换主机和显示设备，因此，整体价格较低且可实现软硬件的自由定制。此外，该方法将多人面部纹理实时提取并映射到变装模型的面部，实现了基于真人面部的三维虚拟变装体验，相比于传统的二维和三维变装系统，具有更高真实性和趣味性，提升用户的体验效果。

需要说明的是，本发明实施例的投影互动系统的具体实现方式与本发明实施例的投影互动方法的具体实现方式类似，具体请参见方法部分的描述，为了减少冗余，不做赘述。

基于相同的发明构思，本发明又一个实施例提供了一种电子设备，参见图4，所述电子设备具体包括如下内容：处理器401、存储器402、通信接口403和通信总线404。

其中，所述处理器401、存储器402、通信接口403通过所述通信总线404完成相互间的通信；所述通信接口403用于实现各设备之间的信息传输；

所述处理器401用于调用所述存储器402中的计算机程序，所述处理器执行所述计算机程序时实现上述投影互动方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号；采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像；将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上；建立所述人体骨骼图像和多个所述人体三维模型的映射关系；根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影。

基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述投影互动方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号；采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像；将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上；建立所述人体骨骼图像和多个所述人体三维模型的映射关系；根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的指标监控方法。

此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种投影互动方法，其特征在于，包括：

创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号；

采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像；

将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上；

建立所述人体骨骼图像和多个所述人体三维模型的映射关系；

根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影；

所述创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号，包括：

创建一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，所述多个关节点包括头、颈、肩、肘、手、膝、脚、腕中的部分或全部；

对每个人体三维模型进行编号，并存储每个人体三维模型，或者，对每个人体三维模型中的多个关节点进行编号，并依次存储每个人体三维模型中的多个关节点；

所述根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影，包括：

确定玩家数量；

根据玩家数量将每个玩家根据造型风格选定的人体三维模型确定动画模型；

对所述动画模型进行渲染后展现。

2.根据权利要求1所述的投影互动方法，其特征在于，还包括：存储所述多个关节点的时序数据。

3.根据权利要求1所述的投影互动方法，其特征在于，所述采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像，包括：

采集玩家的人体骨骼的红外图像；

利用预先训练好的机器学习算法得到所述人体骨骼图像的骨骼模型；

采集所述玩家的全身的RGB-D图像，其中，所述RGB-D图像包括RGB三通道彩色图像和Depth图像。

4.根据权利要求1所述的投影互动方法，其特征在于，所述将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上，包括：

根据所述人体骨骼图像确定头部位置；

从所述全身的RGB-D图像提取所述头部位置对应的RGB-D图像；

对所述头部位置对应的RGB-D图像进行锐化，以得到所述面部RGB图像；

将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上。

5.根据权利要求1所述的投影互动方法，其特征在于，所述建立所述人体骨骼图像和多个所述人体三维模型的映射关系，包括：

建立所述人体骨骼图像和多个所述人体三维模型的映射，以得到基于面部和骨骼的动画模型。

6.一种投影互动系统，其特征在于，包括：

创建模块，用于创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号；

采集模块，用于采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像；

映射模块，用于将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上；

建立模块，用于建立所述人体骨骼图像和多个所述人体三维模型的映射关系；

展示模块，用于根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影；

所述创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号，包括：

创建一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，所述多个关节点包括头、颈、肩、肘、手、膝、脚、腕中的部分或全部；

对每个人体三维模型进行编号，并存储每个人体三维模型，或者，对每个人体三维模型中的多个关节点进行编号，并依次存储每个人体三维模型中的多个关节点；

所述根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影，包括：

确定玩家数量；

根据玩家数量将每个玩家根据造型风格选定的人体三维模型确定动画模型；

对所述动画模型进行渲染后展现。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据权利要求1至5任一所述的投影互动方法。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1至5任一所述的投影互动方法。