CN217767045U - 可捕捉人脸表情的虚拟现实眼镜 - Google Patents

Abstract

根据本实用新型的公开，提供了一种可捕捉人脸表情的虚拟现实眼镜，其包括第一组摄像机，被设置在虚拟现实眼镜的下部且面对使用者的嘴部，包括至少两台摄像机；显示器；第二组摄像机，被设置在显示器周边并且面对使用者的眼部，其包括至少两台具有红外功能的摄像机；第一红外LED补光灯，被设置在所述第二组摄像机的附近；主控板，其从所述第一组和第二组摄像机接收人脸表情数据，并且向所述第一组和第二组摄像机发送同步拍摄的信号。本公开的实施例的虚拟现实眼镜实现了产品的一体化和轻量化，并且可以实现更精细的表情捕捉，获得更好的用户体验。

Description

可捕捉人脸表情的虚拟现实眼镜

技术领域

本公开涉及对用户面部表情的捕捉技术，具体而言，涉及一种可捕捉人脸表情的虚拟现实(VR)眼镜。

背景技术

目前消费级的虚拟现实(VR)设备基本上还只具备追踪头部、手势、眼球的能力，没有成熟的面部捕捉系统，无法对人脸进行准确的面部追踪。使得VR设备在玩社交和表情交互游戏时，脸部表情僵化，实际体验并不理想。表情是人类传递情感的主要媒介，细节的运动节奏与幅度都参与情感传递，优秀的人脸表情追踪对VR中的虚拟人的操控逼真度有直接影响。

为此需要提供一种可捕捉人脸表情的虚拟现实(VR)眼镜，使得VR的使用者在社交聊天软件或社交游戏中获得更优秀的沉浸式体验，为VR使用者在虚拟现实环境中实现面部表情的追踪。

实用新型内容

为了解决上述技术问题中的至少之一，根据本公开的实施例的一方面，提供了一种可捕捉人脸表情的虚拟现实眼镜，其包括第一组摄像机，被设置在虚拟现实眼镜的下部且面对使用者的嘴部，包括至少两台摄像机；显示器；第二组摄像机，被设置在显示器周边并且面对使用者的眼部，其包括至少两台具有红外功能的摄像机；第一红外LED补光灯，被设置在所述第二组摄像机的附近；主控板，其从所述第一组和第二组摄像机接收人脸表情数据，并且向所述第一组和第二组摄像机发送同步拍摄的信号。

根据本公开的实施例的可捕捉人脸表情的虚拟现实眼镜，可选地，第一组摄像机为具有红外功能的摄像机，并且虚拟现实眼镜进一步包括第二红外LED补光灯，被设置在所述第一组摄像机的附近。

根据本公开的实施例的可捕捉人脸表情的虚拟现实眼镜，可选地，所述第一组摄像机设置在虚拟现实眼镜下边缘延伸部内侧。

根据本公开的实施例的可捕捉人脸表情的虚拟现实眼镜，可选地，所述主控板设置在所述第一组摄像机附近或者第二组摄像机附近。

根据本公开的实施例的可捕捉人脸表情的虚拟现实眼镜，可选地，所述主控板通过无线方式与第一组和第二组摄像机通信。

根据本公开的实施例的可捕捉人脸表情的虚拟现实眼镜，可选地，所述第一组摄像机包括两台摄像机，所述第二组摄像机包括三台具有红外功能的摄像机。

根据本公开的实施例的可捕捉人脸表情的虚拟现实眼镜，可选地，所述第一组摄像机和第二组摄像机中的每台摄像机具有不低于30帧每秒的帧速率。

本公开的实施例所提供的可捕捉人脸表情的虚拟现实眼镜将VR眼镜与面部捕捉整合到一体，通过采用体积小性能高的摄像机且如上方式配置所述补光灯和摄像机的位置，无需增大VR眼镜的体积，且增加的重量也很有限，从而实现了产品的一体化和轻量化。

为了更加精准的追踪面部表情，上述实施例对眼部和嘴部区域采用多于一个摄像机来捕捉人脸动画数据，可以实现更精细的表情捕捉。此外，采用具有红外功能的摄像机和红外LED补光灯，可以实现在黑暗环境下对人脸表情的快速和准确捕捉。由此，让使用者本人或者其他用户能够实时看到该使用者所对应的虚拟形象的表情，获得更好的用户体验。

实施本公开的任一装置并不一定需要同时达到以上所述的所有优点。本公开的其它特征和优点将在随后的说明书实施例中阐述，并且，部分地从说明书实施例中变得显而易见，或者通过实施本公开而了解。本公开实施例的目的和优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简要地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1是根据本公开一个实施例的VR眼镜佩戴时的示意性示图；

图2是根据本公开一个实施例的VR眼镜的主要元件的分布结构示意图；

图3是示出根据本公开一个实施例的VR眼镜的嘴部捕捉摄像机及对应的LED补光灯的位置的示意图；和

图4是根据本公开另一个实施例的VR眼镜的主要元件的分布结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另作定义，此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不必然表示数量限制。“包括”或者“包含”等类似的词语意指出现该词前面的元件或物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

图1是根据本公开一个实施例的VR眼镜佩戴时的示意性示图，其中VR眼镜100通过分别设置在头顶处和头周围处的头部固定带105和107稳定地佩戴在使用者的头部。图2是根据本公开一个实施例的VR眼镜的主要元件的分布结构示意图。如图2所示，VR眼镜100包括红外LED补光灯110，设置在VR眼镜下部的摄像机组120，主控板130，显示器140和在显示器140周边设置的摄像机组150。VR眼镜100还可以根据需要进一步包括补光灯115(根据摄像机120选取使用红外或者可见光的补光灯)。补光灯110和115可以采用与VR眼镜轮廓适配的条带形状，以减小补光灯的体积和重量。补光灯110和补光灯115各自可以包括一个或多个LED灯。

设置在VR眼镜下部的摄像机组120用于捕捉嘴部及嘴部周围的表情。摄像机组120可以包括至少2台摄像机。摄像机组120可以是具有红外功能的摄像机，或者也可以采用普通摄像机，如普通的高性能摄像机。摄像机的帧速优选不低于30帧每秒，以防止出现人脸表情运动速度过快时不能准确追踪表情变化的问题。

摄像机组120可以对称地设置在VR眼镜的下部，其拍摄范围包含了嘴部及嘴部周围区域。图3是示出了根据本公开一个实施例的VR眼镜的嘴部捕捉摄像机组220及补光灯215的位置的示意图。

在图3中，摄像机组120包括2台摄像机，其设置在VR眼镜的下边缘延伸部的内侧，拍摄角度正对嘴部及其周围区域，能够准确捕捉嘴部区域的表情变化。补光灯215设置在VR眼镜下边缘延伸部内侧，摄像机组120的附近，例如，可以设置在内侧的上沿处，呈条带形状。当摄像机组120的摄像机选用具有红外功能的摄像机时，该补光灯215可以是红外LED补光灯。当摄像机组120的摄像机是普通摄像机时，可以选用可见光的LED补光灯来获得稳定的照明。

返回参考图2，摄像机组150用于捕捉用户眼部及眼部周围区域的表情。如图2所示，摄像机组150包括三台具有红外功能的摄像机(如红外摄像机)，也可以根据需要设置更多的具有红外功能的摄像机。摄像机组150的帧速率不低于30帧每秒。这样设置的帧速率是为了保证追踪过程中不出现因为被扫描人表情运动速度过快导致的追踪不准确问题。具备红外功能可以保证在黑暗环境下识别红外LED补光灯发出的肉眼不可见光线，使用红外光照射面部，不会造成晃眼，从而有助于更精细且稳定地捕获人的面部表情。摄像机组150中的摄像机优选地对称设置在显示器140的上侧附近。摄像机组中摄像机的位置可以通过计算来针对不同数量的摄像机确定合适的摆放位置。

红外LED补光灯110设置在VR眼镜的内部，位于摄像机组150的附近，为眼部区域提供均匀的照明。由于红外光线不可见，所以设置红外补光灯不会影响使用者的体验。

主控板130设置在眼镜内部，例如可以位于摄像机组150的附近，其包括用于触发摄像机同步拍摄并且接收和计算摄像机拍摄数据的处理芯片。上述处理芯片可以采用一个或多个芯片来实现。带有同步触发功能的处理芯片可以将每秒固定频率的脉冲变为驱动摄像机拍摄每一帧的触发信号，使得VR眼镜上的所有摄像机同步拍摄每一帧。主控板130可以通过无线方式或者有线方式接收摄像机采集的数据。例如，主控板130可以具有蓝牙或者wifi的功能，以通过无线方式接收摄像机采集的数据，实现了设备的无线化。

摄像机拍摄的帧数据传送到主控板130上的处理芯片中，通过计算实现对使用者面部表情的追踪和VR中虚拟人物的表情操控。

图4是根据本公开另一个实施例的VR眼镜的主要元件的分布结构示意图。图4中的实施例与图2中的实施例的主要区别在于摄像机组的分布和数量以及主控板的设置位置。以下仅对区别结构进行描述，该实施例中与图2相同的结构不再赘述。

如图4所示，VR眼镜300采用了四台摄像机构成的摄像机矩阵，其包括用于拍摄嘴部及周围表情和用于拍摄眼部及周围的表情的各两台摄像机。具体来说，VR眼镜300包括红外LED补光灯310，设置在VR眼镜下部的摄像机组320，主控板330，显示器340和在显示器340周边设置的摄像机组350。VR眼镜100还可以根据需要进一步包括补光灯315(根据摄像机组320选取红外或者可见光的LED补光灯)。

主控板330设置在摄像机组320的附近，即位于VR眼镜的下部。主控板330的结构和功能可以与图2所示的主控板130相同。主控板也可以根据需要设置在摄像机组350的附近。

在显示器340周边设置的摄像机组350包括两台具有红外功能的摄像机，其相对于显示器对称分布。两台摄像机可以位于显示器的上侧靠外的位置。两台摄像机的帧速率不低于30帧每秒。该VR眼镜中的摄像机组320和/或摄像机组350也可以包括多于两台摄像机。

红外LED补光灯310，设置在VR眼镜下部的摄像机组320和补光灯315的其他设置和优点可以分别参考针对图2中的红外LED补光灯110，设置在VR眼镜下部的摄像机组120和补光灯115的描述，不再赘述。

上述实施例将VR眼镜与面部捕捉整合到一体，通过采用体积小性能高的摄像机且如上述实施例配置补光灯和摄像机的位置，无需增大VR眼镜的体积，同时增强了使用者的沉浸式体验。

为了更加精准的追踪面部表情，上述实施例对眼部和嘴部区域采用多于一个摄像机来捕捉人脸动画数据，可以实现更精细的表情捕捉。此外，采用具有红外功能的摄像机和红外LED补光灯，可以实现在黑暗环境下对人脸表情的快速和准确捕捉。由此，让使用者本人或者其他用户能够实时看到该使用者所对应的虚拟形象的表情，获得更好的用户体验。

以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。

Claims (7)

1.一种可捕捉人脸表情的虚拟现实眼镜，其特征在于包括

第一组摄像机，被设置在虚拟现实眼镜的下部且面对使用者的嘴部，包括至少两台摄像机；

显示器；

第二组摄像机，被设置在显示器周边并且面对使用者的眼部，其包括至少两台具有红外功能的摄像机；

第一红外LED补光灯，被设置在所述第二组摄像机的附近；

主控板，其从所述第一组和第二组摄像机接收人脸表情数据，并且向所述第一组和第二组摄像机发送同步拍摄的信号。

2.如权利要求1所述的可捕捉人脸表情的虚拟现实眼镜，其特征在于所述第一组摄像机为具有红外功能的摄像机，并且所述虚拟现实眼镜进一步包括第二红外LED补光灯，被设置在所述第一组摄像机的附近。

3.如权利要求1所述的可捕捉人脸表情的虚拟现实眼镜，其特征在于所述第一组摄像机设置在虚拟现实眼镜下边缘延伸部内侧。

4.如权利要求1所述的可捕捉人脸表情的虚拟现实眼镜，其特征在于所述主控板设置在所述第一组摄像机附近或者第二组摄像机附近。

5.如权利要求1所述的可捕捉人脸表情的虚拟现实眼镜，其特征在于所述主控板通过无线方式与所述第一组和第二组摄像机通信。

6.如权利要求1或2所述的可捕捉人脸表情的虚拟现实眼镜，其特征在于所述第一组摄像机包括两台摄像机，所述第二组摄像机包括三台具有红外功能的摄像机。

7.如权利要求1所述的可捕捉人脸表情的虚拟现实眼镜，其特征在于所述第一组摄像机和第二组摄像机中的每台摄像机具有不低于30帧每秒的帧速率。

Images