CN114267070A - 一种可捕捉人体动作和表情的vr眼镜及其捕捉方法 - Google Patents
一种可捕捉人体动作和表情的vr眼镜及其捕捉方法 Download PDFInfo
- Publication number
- CN114267070A CN114267070A CN202111607665.5A CN202111607665A CN114267070A CN 114267070 A CN114267070 A CN 114267070A CN 202111607665 A CN202111607665 A CN 202111607665A CN 114267070 A CN114267070 A CN 114267070A
- Authority
- CN
- China
- Prior art keywords
- key points
- camera
- human body
- human
- glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种可捕捉人体动作和表情的VR眼镜，包含以下模块：镜框、镜带、内置主机芯片、右下摄像头、左下摄像头、右后摄像头、左后摄像头和显示屏，所述右后摄像头和左后摄像头均与内置主机芯片相连，将捕捉到的视频信号传输到内置主机芯片，所述右下摄像头和左下摄像头均与内置主机芯片相连，将捕捉到的视频信号传输到内置主机芯片。本发明当使用者佩戴该VR眼镜的时候，其安放在右下、左下、右后和左后的摄像头开启，摄像头实时捕捉使用者的脸部关键点和肢体关键点，并通过跟踪这些关键点的运动，来驱动虚拟人像的相应关键点的运动，从而达到传递表情和肢体动作信息的作用。
Description
技术领域
本发明涉及VR眼镜技术领域，具体为一种可捕捉人体动作和表情的VR眼镜及其捕捉方法。
背景技术
当人们使用VR(虚拟现实)眼镜进行交流的时候，往往需要将自己的表情和肢体动作展现给对方。因为在真实的场景中，人们在交谈的时候，通常是需要配合有面部表情、脸部器官活动信息、肢体动作等信息进行交流，才能够更加真实地表达出所要传递的真实信息，普通VR眼镜一般不具备传递面部表情和肢体动作的功能。因此市场急需要研制一种新型的可捕捉人体动作和表情的VR眼镜及其捕捉方法来解决上述问题。
发明内容
本发明的目的在于提供一种可捕捉人体动作和表情的VR眼镜及其捕捉方法，以解决上述背景技术中提出的普通VR眼镜一般不具备传递面部表情和肢体动作的功能的问题。
为实现上述目的，本发明提供如下技术方案：一种可捕捉人体动作和表情的VR眼镜，包含以下模块：镜框、镜带、内置主机芯片、右下摄像头、左下摄像头、右后摄像头、左后摄像头和显示屏，所述右后摄像头和左后摄像头均与内置主机芯片相连，将捕捉到的视频信号传输到内置主机芯片，所述右下摄像头和左下摄像头均与内置主机芯片相连，将捕捉到的视频信号传输到内置主机芯片。
作为优选，右下摄像头、左下摄像头、右后摄像头和左后摄像头的摄像头采用近红外摄像头，但并不排除使用可见光摄像头或红外摄像头的选择。
作为优选，捕捉人脸和人体的关键点的算法，采用模板匹配的跟踪算法进行捕捉。
作为优选，左右眉毛关键点数量是6个，但并不排除使用其它的数量。
作为优选，左右眼睛关键点数量是10个，但并不排除使用其它的数量。
作为优选，左右鼻部关键点数量是3个，但并不排除使用其它的数量。
作为优选，左右嘴部关键点数量是4个，但并不排除使用其它的数量。
作为优选，左右下巴关键点数量是7个，但并不排除使用其它的数量。
作为优选，左右肩部关键点数量是2个，但并不排除使用其它的数量。
作为优选，左右手部关键点数量是14个，但并不排除使用其它的数量。
作为优选，左右胸胯关键点数量是3个，但并不排除使用其它的数量。
作为优选，左右腿部关键点数量是4个，但并不排除使用其它的数量。
作为优选，左右脚部关键点数量是4个，但并不排除使用其它的数量。
本发明的另外一个目的在于提供一种可捕捉人体动作和表情的捕捉方法，所述摄像头实时捕捉使用者的脸部关键点和肢体关键点，并通过跟踪这些关键点的运动，来驱动虚拟人像模型的相应关键点的运动，其算法如下列步骤：
S1事先根据人体数据库中100人的三维数据，建立一个人脸和人体模型的平均的三维模型；S2使用者可以自行输入和修改人脸和人体模型的参数(如身高、肩宽、嘴角位置等等)，得到一个三维的人脸和人体模型；S3将使用者的人脸图像和人体图像贴图在该三维模型上，此即为所述的虚拟人像模型；S4该虚拟人像模型的左右眉毛和眼睛关键点(41)到左右脚部关键点(49)所述的57个关键点的位置随即固定下来；S5当使用者在使用本发明的VR眼镜的时候，上述的摄像头开始工作，实时捕捉使用者的脸部关键点和肢体关键点共57个关键点位置；S6若部分关键点被遮挡的时候，则由虚拟人像模型的关系进行预测填补；例如，左嘴角关键点被鼻子图像挡住，根据虚拟人像模型中实现固定的鼻字关键点和左嘴角关键点的坐标关系，推测被遮挡的左嘴角关键点的位置，以此填补，其它同理；S7通过跟踪这57个关键点的运动位置，来驱动相应虚拟人像模型中的关键点的运动，并以此带动虚拟人像模型的人脸和人体的贴图的形变，作为优选可采用像素样本插值法进行形变。
与现有技术相比，本发明的有益效果是：
当使用者在使用本VR眼镜的时候，其安放在右下、左下、右后和左后的摄像头开启，摄像头实时捕捉使用者的脸部关键点和肢体关键点，并通过跟踪这些关键点的运动，来驱动虚拟人像模型的相应关键点的运动，从而达到传递表情和肢体动作信息的作用。
附图说明
图1为本发明的VR眼镜前视图；
图2为本发明的VR眼镜后视图；
图3为本发明的工作状态图；
图4为本发明的关键点分布图；
图5为本发明的人脸关键点驱动图；
图6为本发明的人体关键点驱动图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
请参阅图1-6，本发明提供的一种实施例：一种可捕捉人体动作和表情的VR眼镜，包含以下模块：镜框11、镜带12、内置主机芯片13、右下摄像头A1、左下摄像头A2、右后摄像头B1、左后摄像头B2和显示屏14，右后摄像头B1和左后摄像头B2均与内置主机芯片13相连，将捕捉到的视频信号传输到内置主机芯片13，右下摄像头A1和左下摄像头A2均与内置主机芯片13相连，将捕捉到的视频信号传输到内置主机芯片13。
进一步，右下摄像头A1和左下摄像头A2，分别位于镜框11下面的右边和左边，且镜头朝下。
进一步，右后摄像头B1、左后摄像头B2，分别位于镜框11后部的右边和左边，且镜头朝后。
进一步，右后摄像头B1和左后摄像头B2，其捕捉到的视频信号为人体脸部关键点51的位置信息，包括：左右眉毛和眼睛关键点41、左右鼻部关键点42、左右嘴部关键点43、左右下巴关键点44。
进一步，所捕捉的人体脸部关键点51的运动，用于驱动人脸图像关键点52的运动。
进一步，右下摄像头A1和左下摄像头A2，其捕捉到的视频信号为人体肢体关键点61的位置信息，包括：左右肩部关键点45、左右手部关键点46、左右胸胯关键点47、左右腿部关键点48和左右脚部关键点49。
进一步，所捕捉的人体肢体关键点61的运动，用于驱动人体图像关键点62的运动。
工作原理：使用时，右后摄像头B1和左后摄像头B2均与内置主机芯片13相连，将捕捉到的视频信号传输到内置主机芯片13，右下摄像头A1和左下摄像头A2均与内置主机芯片13相连，将捕捉到的视频信号传输到内置主机芯片13，右后摄像头B1和左后摄像头B2，其捕捉到的视频信号为人体脸部关键点51的位置信息，包括：左右眉毛和眼睛关键点41、左右鼻部关键点42、左右嘴部关键点43、左右下巴关键点44，所捕捉的人体脸部关键点51的运动，用于驱动人脸图像关键点52的运动，右下摄像头A1和左下摄像头A2，其捕捉到的视频信号为人体肢体关键点61的位置信息，包括：左右肩部关键点45、左右手部关键点46、左右胸胯关键点47、左右腿部关键点48和左右脚部关键点49，所捕捉的人体肢体关键点61的运动，用于驱动人体图像关键点62的运动，当使用者在使用本VR眼镜的时候，其安放在右下、左下、右后和左后的摄像头开启，摄像头实时捕捉使用者的脸部关键点和肢体关键点，并通过跟踪这些关键点的运动，来驱动虚拟人像模型的相应关键点的运动，从而达到传递表情和肢体动作信息的作用。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (8)
1.一种可捕捉人体动作和表情的VR眼镜，其特征在于包含以下模块：镜框(11)、镜带(12)、内置主机芯片(13)、右下摄像头(A1)、左下摄像头(A2)、右后摄像头(B1)、左后摄像头(B2)和显示屏(14)，所述右后摄像头(B1)和左后摄像头(B2)均与内置主机芯片(13)相连，将捕捉到的视频信号传输到内置主机芯片(13)，所述右下摄像头(A1)和左下摄像头(A2)均与内置主机芯片(13)相连，将捕捉到的视频信号传输到内置主机芯片(13)。
2.根据权利要求1所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所述右下摄像头(A1)和左下摄像头(A2)，分别位于镜框(11)下面的右边和左边，且镜头朝下。
3.根据权利要求1所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所述右后摄像头(B1)、左后摄像头(B2)，分别位于镜框(11)后部的右边和左边，且镜头朝后。
4.根据权利要求1所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所述右后摄像头(B1)和左后摄像头(B2)，其捕捉到的视频信号为人体脸部关键点(51)的位置信息，包括：左右眉毛和眼睛关键点(41)、左右鼻部关键点(42)、左右嘴部关键点(43)、左右下巴关键点(44)。
5.根据权利要求4所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所捕捉的所述人体脸部关键点(51)的运动，用于驱动人脸图像关键点(52)的运动。
6.根据权利要求1所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所述右下摄像头(A1)和左下摄像头(A2)，其捕捉到的视频信号为人体肢体关键点(61)的位置信息，包括：左右肩部关键点(45)、左右手部关键点(46)、左右胸胯关键点(47)、左右腿部关键点(48)和左右脚部关键点(49)。
7.根据权利要求6所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所捕捉的所述人体肢体关键点(61)的运动，用于驱动人体图像关键点(62)的运动。
8.一种可捕捉人体动作和表情的捕捉方法，其特征在于，所述摄像头实时捕捉使用者的脸部关键点和肢体关键点，并通过跟踪这些关键点的运动，来驱动虚拟人像模型的相应关键点的运动，其算法如下列步骤：
S1事先根据人体数据库中100人的三维数据，建立一个人脸和人体模型的平均的三维模型；
S2使用者可以自行输入和修改人脸和人体模型的参数(如身高、肩宽、嘴角位置等等)，得到一个三维的人脸和人体模型；
S3将使用者的人脸图像和人体图像贴图在该三维模型上，此即为所述的虚拟人像模型；
S4该虚拟人像模型的左右眉毛和眼睛关键点(41)到左右脚部关键点(49)所述的57个关键点的位置随即固定下来；
S5当使用者在使用本发明的VR眼镜的时候，上述的摄像头开始工作，实时捕捉使用者的脸部关键点和肢体关键点共57个关键点位置；
S6若部分关键点被遮挡的时候，则由虚拟人像模型的关系进行预测填补；例如，左嘴角关键点被鼻子图像挡住，根据虚拟人像模型中实现固定的鼻字关键点和左嘴角关键点的坐标关系，推测被遮挡的左嘴角关键点的位置，以此填补，其它同理；
S7通过跟踪这57个关键点的运动位置，来驱动相应虚拟人像模型中的关键点的运动，并以此带动虚拟人像模型的人脸和人体的贴图的形变，作为优选可采用像素样本插值法进行形变。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111607665.5A CN114267070A (zh) | 2021-12-27 | 2021-12-27 | 一种可捕捉人体动作和表情的vr眼镜及其捕捉方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111607665.5A CN114267070A (zh) | 2021-12-27 | 2021-12-27 | 一种可捕捉人体动作和表情的vr眼镜及其捕捉方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114267070A true CN114267070A (zh) | 2022-04-01 |
Family
ID=80829997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111607665.5A Withdrawn CN114267070A (zh) | 2021-12-27 | 2021-12-27 | 一种可捕捉人体动作和表情的vr眼镜及其捕捉方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114267070A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115955547A (zh) * | 2022-12-30 | 2023-04-11 | 上海梵企光电科技有限公司 | 一种xr眼镜的摄像头调整方法及系统 |
-
2021
- 2021-12-27 CN CN202111607665.5A patent/CN114267070A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115955547A (zh) * | 2022-12-30 | 2023-04-11 | 上海梵企光电科技有限公司 | 一种xr眼镜的摄像头调整方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11199706B2 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
| US10667697B2 (en) | Identification of posture-related syncope using head-mounted sensors | |
| US8218825B2 (en) | Capturing and processing facial motion data | |
| CN116324677A (zh) | 响应于检测到的手势的非接触式照片捕获 | |
| CN108153424B (zh) | 头显设备的眼动和头动交互方法 | |
| CN117178247A (zh) | 用于动画化及控制虚拟和图形元素的手势 | |
| US11941167B2 (en) | Head-mounted VR all-in-one machine | |
| CN110688910B (zh) | 一种可穿戴人体基本姿态识别的实现方法 | |
| CN107203263A (zh) | 一种虚拟现实眼镜系统及图像处理方法 | |
| US20210278671A1 (en) | Head wearable device with adjustable image sensing modules and its system | |
| JP2534617B2 (ja) | 人物像の実時間認識合成方法 | |
| CN109613982A (zh) | 头戴式ar显示设备的显示交互方法 | |
| JP5103682B2 (ja) | インタラクティブ看板システム | |
| Chen et al. | Real-time 3d face reconstruction and gaze tracking for virtual reality | |
| CN114267070A (zh) | 一种可捕捉人体动作和表情的vr眼镜及其捕捉方法 | |
| CN112330753B (zh) | 一种增强现实系统的目标检测方法 | |
| WO2023237023A1 (zh) | 图像处理方法、装置、存储介质及头显设备 | |
| CN115482359A (zh) | 目标的尺寸测量方法、电子设备及其介质 | |
| CN112115823A (zh) | 一种基于情感化身的混合现实协同系统 | |
| Li et al. | A low-cost head and eye tracking system for realistic eye movements in virtual avatars | |
| WO2022224732A1 (ja) | 情報処理装置及び情報処理方法 | |
| US12033299B2 (en) | Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same | |
| US20230123330A1 (en) | Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same | |
| US20230206533A1 (en) | Emotive avatar animation with combined user pose data | |
| CN115390669A (zh) | 一种基于人脸控制的嵌入式鼠标信号处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220401 |
|
| WW01 | Invention patent application withdrawn after publication |