CN107608513B - 一种穿戴式设备及数据处理方法 - Google Patents

一种穿戴式设备及数据处理方法 Download PDF

Info

Publication number
CN107608513B
CN107608513B CN201710842674.XA CN201710842674A CN107608513B CN 107608513 B CN107608513 B CN 107608513B CN 201710842674 A CN201710842674 A CN 201710842674A CN 107608513 B CN107608513 B CN 107608513B
Authority
CN
China
Prior art keywords
data
wearer
facial image
face
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710842674.XA
Other languages
English (en)
Other versions
CN107608513A (zh
Inventor
魏泽民
林玉广
沈瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710842674.XA priority Critical patent/CN107608513B/zh
Publication of CN107608513A publication Critical patent/CN107608513A/zh
Application granted granted Critical
Publication of CN107608513B publication Critical patent/CN107608513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种穿戴式设备和数据处理方法,穿戴式设备包括:维持装置,用于维持穿戴式设备与穿戴者的头部的相对位置关系;显示装置,用于显示图像;第一获得装置,用于获得第一数据,其中,第一数据为穿戴者的面部被维持装置或显示装置所遮挡的面部图像的数据;通信装置,至少用于向服务器发送第一数据,使得连接服务器的其他设备能访问表征穿戴者的面部图像的数据,其中,表征穿戴者的面部图像的数据由第一数据和第二数据组成,第二数据为穿戴者的面部未被维持装置或显示装置所遮挡的面部图像的数据。上述穿戴式设备实现了对穿戴者的面部图像的数据的采集,并同时能够使他人通过连接服务器的查看表征穿戴者的面部图像的数据。

Description

一种穿戴式设备及数据处理方法
技术领域
本发明涉及一种穿戴式设备及数据处理方法。
背景技术
目前,在使用穿戴式设备的时候,必须要佩戴头盔或是眼镜等相关设备,使用户被遮挡部位的表情无法真实显现,进而影响到显示的真实效果,用户体验差。
发明内容
有鉴于现有技术中存在的上述问题,本发明提供一种能够真实显现使用穿戴式设备的穿戴者的面部表情的穿戴式设备。
为解决上述问题,本发明提供了一种穿戴式设备,包括:
维持装置,用于维持所述穿戴式设备与穿戴者的头部的相对位置关系;
显示装置,用于显示图像,其中,如果所述穿戴式设备依靠所述维持装置穿戴于穿戴者的头部,所述显示装置位于穿戴者的眼睛的可视范围内;
第一获得装置,用于获得第一数据,其中,所述第一数据为所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据;
通信装置,至少用于向服务器发送所述第一数据,使得连接所述服务器的其他设备能访问表征所述穿戴者的面部图像的数据,其中,所述表征所述穿戴者的面部图像的数据由所述第一数据和第二数据组成,所述第二数据为所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据。
作为优选,所述第一获得装置为朝向所述穿戴者的面部设置的第一图像采集装置,用于采集所述第一数据,其中,所述第一数据为所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据;
或者,
所述第一获得装置为一存储有表征所述穿戴者的面部图像的数据的集合的读取存储装置,用于获得所述第一数据,其中,所述第一数据为所述集合中与所述第二数据相匹配的所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据。
本发明提供的另一种穿戴式设备,包括:
维持装置,用于维持所述穿戴式设备与穿戴者头部的相对位置关系;
显示装置,用于显示图像,其中,如果所述穿戴式设备依靠所述维持装置穿戴于穿戴者头部,所述显示装置位于穿戴者眼睛的可视范围内;
第一获得装置,用于获得第一数据;
第二获得装置,用于获得第二数据;其中,所述第一数据和第二数据用于形成表征所述穿戴者的面部图像的数据;
通信装置,用于向服务器发送所述第一数据和所述第二数据,或向服务器发送所述表征所述穿戴者的面部图像的数据,使得连接所述服务器的其他设备能访问所述表征所述穿戴者的面部图像的数据。
作为优选,所述穿戴式设备还包括:
第一处理装置,用于依据第一数据和第二数据生成表征所述穿戴者的面部图像的数据。
作为优选,所述第一获得装置为朝向所述穿戴者的面部设置的第一图像采集装置,用于采集所述第一数据,其中,所述第一数据为所述穿戴者的面部被/未被所述维持装置或显示装置所遮挡的面部图像的数据。
作为优选,当所述第一数据为所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据时,
所述第二获得装置为朝向所述穿戴者的面部设置的第二图像采集装置,用于获得所述第二数据,其中,所述第二数据为所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据。
作为优选,当所述第一数据为所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据时,
所述第二获得装置包括声音采集装置和用于获得所述第二数据的第二处理装置,所述声音采集装置用于获得所述穿戴者的面部或嘴部产生的声音信息,所述第二处理装置用于基于所述声音信息构建所述第二数据,其中,所述第二数据为所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据;
所述第二获得装置包括声音采集装置,用于获得表征所述穿戴者的面部或嘴部产生的声音信息的所述第二数据,所述声音信息能用于构建所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据。
作为优选,当所述第一数据为所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据时,
所述穿戴式设备还包括:
存储装置:用于存储表征所述穿戴者的面部图像的数据的集合;
所述第二获得装置包括第三处理装置,用于获得所述第二数据,其中,所述第二数据为所述集合中与所述第一数据相匹配的所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据。
本发明还提供了一种数据处理方法,包括:
获得第一数据,所述第一数据为穿戴者的面部被穿戴设备的维持装置或显示装置所遮挡的面部图像的数据,其中,所述维持装置用于维持所述穿戴式设备与穿戴者的头部的相对关系,所述图像显示装置用于在所述穿戴式设备穿戴于穿戴者的头部时,在穿戴者的眼睛的可视范围内显示图像;
向服务器发送所述第一数据,使得连接所述服务器的其他设备能访问表征所述穿戴者的面部图像的数据;其中,所述表征所述穿戴者的面部图像的数据由所述第一数据和第二数据组成,所述第二数据为所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据。
本发明还提供的另一种数据处理方法,包括:
获得第一数据;
获得第二数据;其中,所述第一数据和第二数据用于形成表征穿戴者的面部图像的数据;
向服务器发送所述第一数据和所述第二数据,或向服务器发送所述表征穿戴者的面部图像的数据,使得连接所述服务器的其他设备能访问所述表征穿戴者的面部图像的数据。
与现有技术相比,本发明的有益效果在于:使人们可以在使用穿戴式设备的时候,能够在虚拟的场景中,完全展现穿戴者的全部的面部表情,使人们在虚拟场景中的交流更加自然,且相互之间的沟通更加顺畅。
附图说明
图1为本发明的实施例1的结构框架图;
图2为本发明的实施例2的一种结构框架图;
图3为本发明的实施例2的另一种结构框架图;
图4为本发明的第一种数据处理方法的流程图;
图5为本发明的第二种数据处理方法的流程图;
图6为本发明的第三种数据处理方法的流程图。
附图标记:
101、第一获得装置;102、第二获得装置;103、第一处理装置;104、通信装置;105、维持装置;106、显示装置。
具体实施方式
为使本领域技术人员更好的理解本发明的技术方案,下面结合附图和具体实施方式对本发明作详细说明。
此处参考附图描述本发明的各种方案以及特征。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本发明的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本发明进行了描述,但本领域技术人员能够确定地实现本发明的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本发明的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本发明的具体实施例;然而,应当理解,所发明的实施例仅仅是本发明的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本发明模糊不清。因此,本文所发明的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本发明。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本发明的相同或不同实施例中的一个或多个。
本发明的实施例1中公开的穿戴式设备,包括:
维持装置105,用于维持穿戴式设备与穿戴者的头部的相对位置关系;
显示装置106,用于显示图像,其中,如果穿戴式设备依靠维持装置105穿戴于穿戴者的头部,显示装置106位于穿戴者的眼睛的可视范围(视野)内;
第一获得装置101,用于获得第一数据,其中,第一数据为穿戴者的面部被维持装置105或显示装置106所遮挡的面部图像的数据;
通信装置104,至少用于直接或间接向服务器发送第一数据,使得连接所述服务器的其他设备能访问表征穿戴者的面部图像的数据,其中,表征穿戴者的面部图像的数据由第一数据和第二数据组成,第二数据为穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据。
通过上述内容可以看出,上述穿戴式设备实现了对穿戴者的面部被穿戴式设备所遮挡的面部图像的数据的采集,并同时能够使他人通过连接服务器查看由穿戴者的面部被穿戴式设备所遮挡的面部图像的数据和穿戴者的面部未被穿戴式设备所遮挡的面部图像的数据合成的完整的能够表征穿戴者的面部图像的数据。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述穿戴式设备的具体的工作过程进行阐述。
上述实施例1提供的穿戴式设备中:
维持装置105,用于维持穿戴式设备与穿戴者的头部的相对位置关系,其可以为多种结构样式,比如,穿戴式设备是头盔类设备时,所述维持装置105是半球状或近似半球状的头盔壳体;穿戴式设备是眼镜设备时,所述维持装置105是眼镜框体等等;显示装置106,用于显示图像,其中,如果穿戴式设备依靠维持装置105穿戴于穿戴者的头部时,显示装置106位于穿戴者的眼睛的可视范围内,显示装置106可以为显示器,且显示装置106可以设置在维持装置105上,比如,设置在头盔的护目镜的位置上的显示器,或是设置在眼镜上的镜片位置的显示器等等。此外,因为有时头戴式设备的显示装置106可能具有多种显示原理,位于可视范围内的是最终让穿戴者感知图像的部分。如果显示装置106是直视显示器(需要透过透镜直视的显示器或直接直视的显示器),则直接设置在穿戴者的可视范围内,朝向所述穿戴式设备内侧;如果显示设备是光传导显示器(微型显示器设置在可视范围外,显示内容且通过光学器件(比如准直放大器件或光波导器件等)传输),则出射光线的区域设置在可视范围内,且朝向所述穿戴式设备内侧。
第一获得装置101,用于获得第一数据,其中,第一数据为穿戴者的面部被维持装置105或显示装置106所遮挡的面部图像的数据,在本申请中,用于获得第一数据的第一获得装置101可以为多种,例如:
在一个实例中,第一获得装置101为朝向穿戴者的面部设置的第一图像采集装置,且第一图像采集装置可以设置在维持装置105上或是设置在显示装置106上,并通过第一图像采集装置采集第一数据,其中,第一图像采集装置可以为朝向穿戴者的面部的摄像头,以用于采集穿戴者的眼部或其他被维持装置105或是显示装置106遮挡且不与维持装置105接触的面部图像的数据。在实际使用过程中,朝向穿戴者的面部的摄像头,可以是一个,也可以是多个。摄像头类型可以是平面摄像头或深度摄像头,可以是彩色(RGB)摄像头或红外摄像头。大部分情况下穿戴式设备距离穿戴者很近,所以摄像头是微距摄像头,或者是微距采集模式的多焦距摄像头,使得采集的面部图像在对焦范围内。
此外,当摄像头的设置方式和显示单元同向时,则能利用显示装置106显示的光,采集被遮挡部分的面部图像,比如表情;当然,摄像头的设置方式也可以和显示装置106无关,比如摄像头为红外摄像头时,则穿戴者的面部被遮挡的部分在黑暗环境也可以被采集;或者摄像头可以附带发光装置,用于提供采集图像时所用光线。
在另一个实例中,第一获得装置101为读取存储装置,穿戴式设备中设有一存储装置,其存储有表征穿戴者的面部图像的数据的集合,通过读取存储装置在上述集合中获得第一数据,其具体实现过程是,通过第二数据,也就是穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据,第二数据可以通过穿戴式设备上的摄像头获得,或者是其它设备进行采集,例如通过设置在穿戴式设备外部的朝向穿戴者面部设置的摄像头进行获取第二数据,或是通过其他方式获取的第二数据,再次就不一一列举了,获取第二数据后,通过无线局域网(WLAN)、移动通信网络/蜂窝网络(第三代(3G),第四代(4G),第五代(5G)或继续演进的网络)或是短距离通信如蓝牙/Zigbee协议网络等,将第二数据发送至穿戴式设备,此时,在穿戴式设备上还存储有表征穿戴者的面部图像的数据的集合,读取存储装置将接收到的第二数据在上述集合中进行匹配,以匹配出与第二数据相匹配的第一数据,也就是穿戴者的面部被维持装置105或显示装置106所遮挡的面部图像的数据,其中,存储的穿戴者的面部图像的数据的集合可以为预先录制的穿戴者的面部图像的数据的集合也可以是通用面部图像的数据的集合,在上述集合中的第一数据与第二数据一一对应的进行存储,通过第二数据在上述集合中进行匹配,便能够以选取出与第二数据相匹配的第一数据。在上述通过第二数据匹配出第一数据的过程中,其可以分为以下几种情况:
第一种,通过采集的第二数据,在存储有表征至少两个穿戴者的面部图像的数据的集合的存储装置中进行匹配,以匹配出第二数据对应的穿戴者,从而得到所述穿戴者的第一数据,使得未来发送给服务器的数据是穿戴者的。或者基于穿戴者再通过构建、生成等方式得到所述穿戴者的第一数据;
第二种,通过采集的第二数据,在存储有表征穿戴者的至少两个面部图像的数据(比如表情数据)的集合的存储装置中进行匹配,且在集合中的第一数据与第二数据一一对应的进行存储,进而通过第二数据可直接匹配出与第二数据相对应的第一数据,使得未来发送给服务器的数据是匹配穿戴者表情的;
第三种,综合前述第一种和第二种,即通过采集的第二数据,先在存储有表征穿戴者的面部图像的数据的集合的存储装置中匹配出第二数据对应的穿戴者,进而,再在所述穿戴者所应的数据的集合中匹配出与第二数据对应的第一数据,使得未来发送给服务器的数据是匹配穿戴者,且符合表情的。
此外,上述的读取存储装置可以是一处理装置,其与后续描述中的第一处理装置、第二处理装置以及第三处理装置中的任意一个可以相同,也可以不同。
穿戴式设备还包括:通信装置104,至少用于向服务器发送第一数据,使得连接服务器的其他设备(比如穿戴式设备或手持式设备)能访问表征穿戴者的面部图像的数据,其中,表征穿戴者的面部图像的数据由第一数据和第二数据组成,第二数据为穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据。在实际应用中,当穿戴式设备只获得第一数据时,是通过通信装置104将第一数据发送至服务器,与通过其他装置(设置在穿戴式设备外部的摄像头或是其他可以能够向服务器传送信息的摄像头)获得的第二数据相结合以在服务器侧生成完整的能够表征穿戴者的面部图像的数据,或者是,通过其他装置获得的第二数据传送至穿戴式设备,然后再通过通信装置104将第一数据和第二数据或是将由第一数据和第二数据生成的完整的能够表征穿戴者的面部图像的数据发送至服务器。
在本申请的上述实施例1中,穿戴式设备可以为VR设备(眼镜或头盔)、AR设备或MR设备等。其中,AR(Augmented Reality)为增强现实技术,是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是把虚拟世界套在现实世界并进行互动;VR(Virtual Reality)是虚拟现实技术,是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真以使用户沉浸到该环境中。MR(Mixed Reality)是混合现实,它制造的虚拟景象可以进入现实的生活的同时能够认识你,比如通过我们的设备,你在眼睛当中看到一个景象,而这一景象可以测量出现实生活中物体的尺度和方位,其最大的特点在于虚拟世界和现实世界可以互动。
下面以穿戴式设备为VR眼镜为例说明上述实施例1。
首先,VR眼镜通过为维持装置105维持VR眼镜与穿戴者头部的相对位置关系,即通过VR眼镜的镜框及支架佩戴在穿戴者的头上,VR眼镜通过位于穿戴者眼睛的可视范围内的显示器显示图像。
接着,通过设置在VR眼镜的镜框或是显示器上的朝向穿戴者面部设置的第一获得装置101获得第一数据,如果获得装置是图像采集装置,即通过摄像头获取第一数据,第一数据为穿戴者的眼部或是其他被VR眼镜遮挡部位的面部图像的数据,即采集的是被VR眼镜遮挡且未与VR眼镜贴覆的部分,主要是能够表征穿戴者的面部表情的面部图像,而相对地,其他部分如耳朵上方、头发等地方不是一定要采集。
当然贴覆部分也可以采集,比如获得装置是采集装置中与非接触式采集装置(图像采集装置)不同的其他类型的采集装置,比如接触式采集装置:比如是压力采集装置(具有一定面积的压力传感器),能检测较高精度的单位区域压力变化,如果额头部分被覆盖,则可以这么设置,从而将额头的肌肉变化通过压力传感器检测出来。当然还可以是其他接触式采集装置,比如生物肌肉电传感器,通过检测肌肉运动的产生的肌肉电信号变化,匹配获得对应的肌肉运动方式。
或者,在VR眼镜上设有一存储有表征穿戴者的面部图像的数据的集合的存储装置,通过设置在VR眼镜外镜框下边缘上的朝向穿戴者面部设置的摄像头或是能够与VR眼镜进行数据传输的其它摄像头获得第二数据,即穿戴者的面部未被VR眼镜遮挡部位的面部图像的数据,在获得后,通过读取存储装置将第二数据在上述存储装置中的数据的集合中进行匹配,以匹配出与第二数据相匹配的第一数据,也就是穿戴者的面部被VR眼镜遮挡部位的面部图像的数据。当然,在实际使用中,上述存储有数据的集合的存储装置也可以换成是网络存储,进而,就是将第二数据在网络存储的数据的集合中匹配,以匹配出与第二数据相匹配的第一数据。
最后,VR眼镜上设置有通信装置104,即能够通过无线局域网(WLAN)、移动通信网络/蜂窝网络(第三代(3G),第四代(4G),第五代(5G)或继续演进的网络)或是短距离通信如蓝牙/Zigbee协议网络等进行通讯,可用于至少向服务器直接或间接发送第一数据,使得连接服务器的其他VR眼镜的穿戴者能够通过VR眼镜访问表征穿戴者的面部图像的数据,其中,表征穿戴者的面部图像的数据由第一数据和第二数据组成,第二数据为穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据。
通过无线局域网(WLAN)、移动通信网络/蜂窝网络(第三代(3G),第四代(4G),第五代(5G)或继续演进的网络)或是短距离通信如蓝牙/Zigbee协议网络等,可以使多个VR眼镜进行连接,进而使佩戴VR眼镜的穿戴者能够通过VR眼镜上的显示器观看到
上传至服务器的表征各个穿戴者的面部图像的数据,例如在一个虚拟会议室中,通过查看穿戴者的表情,此时,在虚拟会议室中的呈现出的穿戴者并不佩戴穿戴式设备,且穿戴者的表情是通过获得的第一数据和第二数据合成之后的完整的能够表征穿戴者的面部图像的数据,这样使穿戴者之间能够更加顺畅的进行交流,提高交流效率。
应理解的是,可以对此处发明的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本发明的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且与上面给出的对本发明的大致描述以及下面给出的对实施例的详细描述一起用于解释本发明的原理。
本发明的实施例2中公开的穿戴式设备,包括:
维持装置105,用于维持穿戴式设备与穿戴者头部的相对位置关系;
显示装置106,用于显示图像,其中,如果穿戴式设备依靠维持装置105穿戴于穿戴者头部,显示装置106位于穿戴者眼睛的可视范围(视野)内;
第一获得装置101,用于获得第一数据;
第二获得装置102,用于获得第二数据;其中,第一数据和第二数据用于形成表征穿戴者的面部图像的数据;
通信装置104,用于直接或间接向服务器发送第一数据和第二数据,或向服务器发送表征穿戴者的面部图像的数据,使得连接所述服务器的其他设备能访问表征穿戴者的面部图像的数据。
通过上述内容可以看出,上述穿戴式设备同样实现了对穿戴者的面部被穿戴式设备所遮挡的面部图像的数据的采集和对穿戴者的面部未被穿戴式设备所遮挡的面部图像的数据的采集,并同时能够使他人通过连接服务器查看由穿戴者的面部被穿戴式设备所遮挡的面部图像的数据和穿戴者的面部未被穿戴式设备所遮挡的面部图像的数据合成的完整的能够表征穿戴者的面部图像的数据。
同样为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述穿戴式设备的具体的工作过程进行阐述。
在本实施例2提供的穿戴式设备中:
维持装置105,用于维持穿戴式设备与穿戴者头部的相对位置关系,其可以为多种结构样式,比如,穿戴式设备是头盔类设备时,所述维持装置105是半球状或近似半球状的头盔壳体;穿戴式设备是眼镜设备时,所述维持装置105是眼镜框体等等;显示装置106,用于显示图像,其中,如果穿戴式设备依靠维持装置105穿戴于穿戴者头部时,显示装置106位于穿戴者眼睛的可视范围内,显示装置106可以为显示器,且显示装置106可以设置在维持装置105上,比如,设置在头盔的护目镜的位置上的显示器,或是设置在眼镜上的镜片位置的显示器等等。此外,因为有时头戴式设备的显示装置106可能具有多种显示原理,位于可视范围内的是最终让穿戴者感知图像的部分。如果显示装置106是直视显示器(需要透过透镜直视的显示器或直接直视的显示器),则直接设置在穿戴者的可视范围内,朝向所述穿戴式设备内侧;如果显示设备是光传导显示器(微型显示器设置在可视范围外,显示内容且通过光学器件(比如准直放大器件或光波导器件等)传输),则出射光线的区域设置在可视范围内,且朝向所述穿戴式设备内侧。
第一获得装置101,用于获得第一数据;第二获得装置102,用于获得第二数据;其中,第一数据和第二数据用于形成表征穿戴者的面部图像的数据;在本实施例中,第一获得装置101可以有多种,第二获得装置102也可以有多种,例如:
在一个实例中,第一获得装置101朝向穿戴者的面部设置,且可以设置在维持装置105上或是设置在显示装置106上,并采集第一数据,其中,第一获得装置可以为朝向穿戴者的面部的摄像头,可以是一个,也可以是多个。摄像头类型可以是平面摄像头或深度摄像头,可以是彩色(RGB)摄像头或红外摄像头。大部分情况下穿戴式设备距离穿戴者很近,所以摄像头是微距摄像头,或者是微距采集模式的多焦距摄像头,使得采集的面部图像在对焦范围内。
此外,当摄像头的设置方式和显示单元同向时,则能利用显示装置106显示的光,采集被遮挡部分的面部图像,比如表情;当然,摄像头的设置方式也可以和显示装置106无关,比如摄像头为红外摄像头时,则穿戴者的面部被遮挡的部分在黑暗环境也可以被采集;或者摄像头可以附带发光装置,用于提供采集图像时所用光线。第一数据为穿戴者的面部被/未被维持装置105或显示装置106所遮挡的面部图像的数据。
在第一获得装置用于采集穿戴者的眼部或其他被维持装置105或是显示装置106遮挡且不与维持装置105接触的面部图像的数据时,即采集的是被穿戴式设备遮挡且未与穿戴式设备贴覆的部分,主要是能够表征穿戴者的面部表情的面部图像,而相对地,其他部分如耳朵上方、头发等地方不是一定要采集。
第二获得装置102可以有多种实现方式:
其中的一种实现方式为,第二获得装置102朝向穿戴者的面部未遮挡的部位设置,且可以设置在维持装置105上,并采集第二数据,其中,第二获得装置可以为朝向穿戴者的面部的摄像头,以用于采集穿戴者的口部及鼻部区域的图像的数据。比如设置在头盔或眼镜下边缘的采集装置,用于采集未被遮挡的面部图像的数据。
第二获得装置102另一种的实现方式为,其包括声音采集装置和用于获得所述第二数据的第二处理装置,声音采集装置用于获得穿戴者产生或者传递出的声音信息,即获得穿戴者面部、鼻部或嘴部产生的声音信息,或者声带产生后通过鼻部或嘴部传递的声音信息,在实际应用场景中,声音采集装置可以是普通的麦克风,或是定向麦克风(麦克风阵列)朝向未遮挡区域,也就是口部区域和/或鼻部区域进行采集。第二处理装置用于基于声音信息构建第二数据,在实际应用场景中,第二处理装置可以为处理器,其中,第二数据为穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据。比如通过声音内容创建面部运动数据(口型数据)和/或通过声音音量创建面部运动幅度(比如张口幅度)等。
此外,第二获得装置102还具有的一种实现方式为,其包括声音采集装置,声音采集装置用于获得穿戴者的面部或嘴部产生的声音信息的第二数据,在实际应用场景中,声音采集装置可以是普通的麦克风,或是定向麦克风(麦克风阵列)朝向未遮挡区域,也就是口部区域和鼻部区域进行采集,采集主要为穿戴者的声纹及语音内容,其最终,通过通信装置104,将第一数据和第二数据发送至服务器后,在服务器侧,再基于第二数据完成穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据的构建,在与第一数据相结合形成表征穿戴者的面部图像的数据,其中,声纹是携带有发出声纹的穿戴者的言语信息的声波频谱,通过采集穿戴者的声纹,便可以确认是哪一位穿戴者,在最终将穿戴者的声纹作为第二数据发送至服务器处时,服务器可依据声纹信息构建与这一穿戴者相应的面部未被维持装置105或显示装置106所遮挡的面部图像,使构建的穿戴者的面部图像更加真实、准确。在实际使用的过程中,在服务器一侧可以设置一存储有至少两个穿戴者的身份信息的存储装置,在采集到穿戴者的声纹信息并将这一声纹信息发送至服务器一侧之后,先在存储装置中进行匹配,匹配出与声纹相匹配的穿戴者的身份信息,然后,依据匹配出的穿戴者的身份信息进行穿戴者的面部图像的构建。
在第一图像采集装置用于采集穿戴者的未被维持装置105或是显示装置106遮挡的面部图像的数据时,第二获得装置102也可以有多种实现方式:
其中的一种实现方式为,穿戴式设备还包括用于存储表征穿戴者的面部图像的数据的集合的存储装置;第二获得装置102包括第三处理装置,用于获得第二数据,在实际应用场景中,第三处理装置可以为处理器,其通过在预存的表征穿戴者的面部图像的数据的集合中,通过第一数据匹配出与第一数据相匹配的穿戴者的面部被维持装置105或显示装置106所遮挡的面部图像的数据,也就是匹配到第二数据,其中,存储装置中存储的为预先录制的穿戴者的面部图像的数据的集合,在上述集合中的第一数据与第二数据一一对应的进行存储,通过第一数据在上述集合中进行匹配,便能够以选取出与第一数据相匹配的第二数据。当然,在实际使用中,上述存储有数据的集合的存储装置也可以换成是网络存储,进而,就是将第一数据在网络存储的数据的集合中匹配,以匹配出与第一数据相匹配的第二数据,具体匹配方式,可参见上述实施例1中的匹配方式。
在本实施例中,穿戴式设备还包括有第一处理装置103,在实际应用场景中,其可以为处理器,用于将第一数据和第二数据在穿戴式设备一侧(终端侧)生成表征穿戴者的面部图像的数据,进而,在通过通信装置104将表征穿戴者的面部图像的数据发送至服务器。
在上述的实施例中,第一处理装置103主要用于对第一数据和第二数据在穿戴式设备一侧进行合成,以生成完整的能够表征穿戴者的面部图像的数据。第二处理装置主要用于基于穿戴者的声音信息构建第二数据,其中,第二数据为穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据。第三处理装置主要用于在预存的表征穿戴者的面部图像的数据的集合中,通过第一数据匹配出与第一数据相匹配的穿戴者的面部被维持装置105或显示装置106所遮挡的面部图像的数据,也就是匹配到第二数据,当然,在实际使用的过程中,上述的第一处理装置103、第二处理装置和第三处理装置的功能也可以集合在同一个处理器中,根据实际需要选择相应功能。
在本实施例2中,穿戴式设备的通信装置104,可以直接向服务器发送第一数据和第二数据,并在服务器一侧通过第一数据和第二数据生成完整的能够表征穿戴者的面部图像的数据,或在处理器完成对第一数据和第二数据的生成后,将生成的能够完整的表征穿戴者的面部图像的数据向服务器发送表征穿戴者的面部图像的数据,使得连接服务器的其他设备能访问表征穿戴者的面部图像的数据,其中,连接服务器的其他设备可以是其他穿戴式设备,如VR头盔或是VR眼镜等。
同样的,在上述实施例2中,穿戴式设备在实际应用场景中,可以为VR头盔或是VR眼镜等。
下面还以穿戴式设备为VR眼镜为例说明上述实施例2。
首先,VR眼镜通过为维持装置105维持VR眼镜与穿戴者头部的相对位置关系,即通过VR眼镜的镜框及支架佩戴在穿戴者的头上,VR眼镜通过位于穿戴者眼睛的可视范围内的显示器显示图像。
接着,通过VR眼镜上的第一获得装置101获得第一数据,通过第二获得装置102获得第二数据,其中,第一数据和第二数据用于形成表征穿戴者的面部图像的数据;而在本实施例中,第一获得装置101可以有多种,第二获得装置102也可以有多种,例如:
在一个实例中,第一获得装置101为设置在VR眼镜上的第一摄像头,可以是一个,也可以是多个。摄像头类型可以是平面摄像头或深度摄像头,可以是彩色(RGB)摄像头或红外摄像头。大部分情况下穿戴式设备距离穿戴者很近,所以摄像头是微距摄像头,或者是微距采集模式的多焦距摄像头,使得采集的面部图像在对焦范围内。
此外,当摄像头的设置方式和显示单元同向时,则能利用显示装置106显示的光,采集被遮挡部分的面部图像,比如表情;当然,摄像头的设置方式也可以和显示装置106无关,比如摄像头为红外摄像头时,则穿戴者的面部被遮挡的部分在黑暗环境也可以被采集;或者摄像头可以附带发光装置,用于提供采集图像时所用光线,通过第一摄像头获得第一数据,即穿戴者的面部被/未被VR眼镜遮挡部位的面部图像的数据,其中被VR眼镜遮挡部位是被VR眼镜遮挡且未与VR眼镜贴覆的部分,主要是能够表征穿戴者的面部表情的面部图像,而相对地,其他部分如耳朵上方、头发等地方不是一定要采集;而未被VR眼镜遮挡部位是穿戴者的嘴部及周边能够表征穿戴者的面部表情的面部图像。
在第一摄像头获得的第一数据为穿戴者的眼部或是其他被VR眼镜遮挡部位的面部图像的数据时,即采集的是被VR眼镜遮挡且未与VR眼镜贴覆的部分,主要是能够表征穿戴者的面部表情的面部图像,而相对地,其他部分如耳朵上方、头发等地方不是一定要采集,第一摄像头可设置在VR眼镜的镜框、支架或是显示器上,此时,第二获得装置102可以有多种实现获得第二数据的方式,例如:
在一个实现方式中,第二获得装置102为朝向穿戴者的面部未遮挡的部位设置第二摄像头,其设置在VR眼镜的镜框的下边缘,用于获得第二数据,第二数据为采集穿戴者的口部及鼻部区域的图像的数据。
在另一个实现方式中,第二获得装置102包括声音采集装置和用于获得所述第二数据的第二处理装置,声音采集装置用于获得穿戴者产生或者传递出的声音信息,其为设置在VR眼镜的镜框上或是支架上且靠近穿戴者嘴部设置的普通麦克风或是定向麦克风(麦克风阵列),在穿戴者的口部区域和鼻部区域进行采集,然后通过VR眼镜上的第二处理装置,实则为处理器,基于上述声音信息构建第二数据,第二数据为穿戴者的面部未被VR眼镜所遮挡的面部图像的数据。
此外,第二获得装置102还可以是声音采集装置,用于获得穿戴者的产生或者传递出的声音信息的第二数据,声音采集装置用于获得穿戴者产生或者传递出的声音信息,即获得穿戴者面部、鼻部或嘴部产生的声音信息,或者声带产生后通过鼻部或嘴部传递的声音信息,声音采集装置为设置在VR眼镜的镜框上或是支架上且靠近穿戴者嘴部设置的普通麦克风或是定向麦克风(麦克风阵列),在穿戴者的口部区域和/或鼻部区域进行采集,采集后,通过VR眼镜连接无线局域网(WLAN)、移动通信网络/蜂窝网络(第三代(3G),第四代(4G),第五代(5G)或继续演进的网络)或是短距离通信如蓝牙/Zigbee协议网络等将第二数据发送至服务器,然后,在服务器侧,基于第二数据完成穿戴者的面部未被VR眼镜所遮挡的面部图像的数据的构建,比如通过声音内容创建面部运动数据(口型数据)和/或通过声音音量创建面部运动幅度(比如张口幅度)等,具体的基于声纹对穿戴者的面部图像的构建可参考实施例2中依据声纹构建的穿戴者的面部图像的方式,在此就不再做详细阐述。
在第一摄像头获得的第一数据为穿戴者的面部未被VR眼镜遮挡部位的面部图像的数据时,第一摄像头可设置在VR眼镜的镜框、支架或是显示器上,此时,第二获得装置102也可以有多种实现获得第二数据的方式,例如:
在一种实现方式中,VR眼镜上还包括用于存储表征穿戴者的面部图像的数据的集合的存储装置,第二获得装置102为处理器,用于获得第二数据,其通过在预存的表征穿戴者的面部图像的数据的集合中,通过第一数据匹配出与第一数据相匹配的穿戴者的面部被维持装置105或显示装置106所遮挡的面部图像的数据,也就是匹配到第二数据,其中,存储装置中存储的为预先录制的穿戴者的面部图像的数据的集合,在上述集合中的第一数据与第二数据一一对应的进行存储,通过第一数据在上述集合中进行匹配,便能够以选取出与第一数据相匹配的第二数据。当然,在实际使用中,上述存储有数据的集合的存储装置也可以换成是网络存储,进而,就是将第二数据在网络存储的数据的集合中匹配,以匹配出与第二数据相匹配的第一数据。
而实际使用当中,VR眼镜上还可以设置有一个能够在VR眼镜端将第一数据和第二数据相结合以生成表征穿戴者的面部图像的数据的处理器,进而,便可在使VR眼镜通过无线局域网(WLAN)、移动通信网络/蜂窝网络(第三代(3G),第四代(4G),第五代(5G)或继续演进的网络)或是短距离通信如蓝牙/Zigbee协议网络等将表征穿戴者的面部图像的数据发送至服务器。
当然,VR眼镜上也设置有通信装置104,可以直接向服务器发送第一数据和第二数据,或在处理器完成对第一数据和第二数据的生成后,向服务器发送表征穿戴者的面部图像的数据,通过无线局域网(WLAN)、移动通信网络/蜂窝网络(第三代(3G),第四代(4G),第五代(5G)或继续演进的网络)或是短距离通信如蓝牙/Zigbee协议网络,可以使多个VR眼镜进行连接,进而使佩戴VR眼镜的穿戴者能够通过VR眼镜上的显示器观看到上传至服务器的表征各个穿戴者的面部图像的数据,例如在一个虚拟会议室中,通过查看穿戴者的表情,使穿戴者之间能够更加顺畅的进行交流,提高交流效率。
在实际应用中,上述VR眼镜向服务器发送不同的数据,服务器所完成的工作也并不相同,
首先服务器基本功能为创建虚拟环境,针对具有环境访问权限的设备(穿戴式设备)分配标识,每个标识对应一个虚拟形象。每个终端设备(穿戴式设备)访问时,至少可以显示虚拟环境和其他标识对应的虚拟形象。每个终端设备可以控制虚拟形象在虚拟环境中的参数(位置参数,行为参数);
为了使得虚拟形象和终端设备使用者匹配,采用和使用者匹配的虚拟形象(尤其是头部和脸部图像),提升身临其境的体验。即控制虚拟形象的行为参数包括面部图像的数据,即表情。
如果终端设备是便携式设备,比如笔记本,可以采用摄像头采集直接采集;如果终端设备是头戴式设备,因为虚拟环境中,虚拟形象是不佩戴头戴式设备的,所以需要通过前述的实施例使得能获得匹配使用者真实表情的数据。
现以虚拟会议为例,进行详细说明,首先,服务器创建一虚拟会议室,并使穿戴式设备对应的账号具有访问虚拟会议室的权限,每个上述账号访问上述虚拟会议室时,穿戴式设备至少可以显示上述虚拟会议室以及其他账号在访问上述虚拟会议室时对应的一虚拟形象,也就是对应用户的虚拟形象,而为了使得虚拟形象和穿戴式设备的用户相匹配,采用和用户匹配的虚拟形象(尤其是头部和脸部图像),提升身临其境的体验,在上述虚拟场景中呈现出的上述用户并没有穿戴穿戴式设备,所以需要通过穿戴式设备获取用户的面部图像的数据,即使在上述虚拟场景中能够呈现出用户的表情,所以需要通过前述的实施例使得能获得匹配使用者真实表情的数据。下面分情况对服务器的工作进行阐述:
第一种情况,服务器接收到的VR眼镜上的摄像头获取的穿戴者的眼部及面部被VR眼镜所遮挡的部分的面部图像的数据,也就是第一数据,这时,服务器还接收到穿戴者的口部及鼻部区域未被VR眼镜所遮挡的部分的面部图像的数据,即第二数据,第二数据可以有以下几种方式获得,第一种:通过其他设备获取,可以通过设置在其他设备上的摄像头等进行获取第二数据,之后通过无线局域网(WLAN)、移动通信网络/蜂窝网络(第三代(3G),第四代(4G),第五代(5G)或继续演进的网络)或是短距离通信如蓝牙/Zigbee协议网络等传输至服务器;第二种:由服务器进行虚拟构建形成的,其中,在虚拟构建之前,VR眼镜还可以通过声音采集装置采集穿戴者的声音信息,并传送给服务器,服务器依据穿戴者的声音信息进行构建穿戴者的口部及鼻部区域未被VR眼镜所遮挡的部分的面部图像的数据;第三种:在服务器内存有储表征穿戴者的面部图像的数据的集合,服务器中的一个处理器通过将第一数据在上述集合中进行匹配,匹配出与第一数据相匹配的第二数据,
最终,服务器将第一数据和第二数据进行合成以生成能够完整地表征穿戴者的面部图像的数据。
第二种情况,服务器接收到的是VR眼镜上的摄像头获取的穿戴者的眼部及面部被VR眼镜所遮挡的部分的面部图像的数据,也就是第一数据,和VR眼镜上的摄像头获取的穿戴者的口部及鼻部区域未被VR眼镜所遮挡的部分的面部图像的数据,即第二数据,这时,服务器可直接将第一数据和第二数据进行合成以生成能够完整地表征穿戴者的面部图像的数据。
第三种情况,服务器接收到的只是穿戴者的口部及鼻部区域未被VR眼镜所遮挡的部分的面部图像的数据,即第二数据,这时,在服务器内存有储表征穿戴者的面部图像的数据的集合,服务器中的一个处理器通过将该第二数据在上述集合中进行匹配,匹配出与该第二数据相匹配的第一数据后,服务器边可将第一数据和第二数据进行合成以生成能够完整地表征穿戴者的面部图像的数据。
第四种情况,服务器接收到的是在VR眼镜一侧由第一数据和第二数据合成后生成的能够完整地表征穿戴者的面部图像的数据。
图4为本发明公开的实施例1中的一种数据处理方法的流程图。
如图4所示,基于相同的发明构思,本申请实施例1还提供了一种数据处理方法,包括:
获得第一数据,第一数据为穿戴者的面部被穿戴设备的维持装置105或显示装置106所遮挡的面部图像的数据,其中,维持装置105用于维持穿戴式设备与穿戴者的头部的相对关系,图像显示装置106用于在穿戴式设备穿戴于穿戴者的头部时,在穿戴者的眼睛的可视范围内显示图像;
向服务器发送第一数据,使得连接服务器的其他设备能访问表征穿戴者的面部图像的数据;其中,表征穿戴者的面部图像的数据由第一数据和第二数据组成,第二数据为穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据。
通过上述内容可以看出,上述数据处理方法实现了对穿戴者的面部被穿戴式设备所遮挡的面部图像的数据的采集,并同时能够使他人通过连接服务器的查看由穿戴者的面部被穿戴式设备所遮挡的面部图像的数据和穿戴者的面部未被穿戴式设备所遮挡的面部图像的数据合成的完整的能够表征穿戴者的面部图像的数据。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述数据处理方法的具体步骤进行阐述。
如图4所示,数据处理方法,具体包括:
步骤101:获得第一数据,第一数据为穿戴者的面部被穿戴设备的维持装置105或显示装置106所遮挡的面部图像的数据,其中,维持装置105用于维持穿戴式设备与穿戴者的头部的相对关系,在实际应用场景中,比如,穿戴式设备是头盔类设备时,所述维持装置105是半球状或近似半球状的头盔壳体;穿戴式设备是眼镜设备时,所述维持装置105是眼镜框体等等,图像显示装置106用于在穿戴式设备穿戴于穿戴者的头部时,在穿戴者的眼睛的可视范围内显示图像,其可以设置在维持装置105上,在实际应用场景中,其可以为设置在头盔的护目镜的位置上的显示器,或是设置在眼镜上的镜片位置的显示器等等。此外,因为有时头戴式设备的显示装置106可能具有多种显示原理,位于可视范围内的是最终让穿戴者感知图像的部分。如果显示装置106是直视显示器,则直接设置在可视范围内,朝向所述穿戴式设备内侧;如果显示设备是光传导显示器(微型显示器显示且通过光学器件传输且放大),则出射光线的区域设置在可视范围内,且朝向所述穿戴式设备内侧。
获得第一数据的方式有多种,例如:
在一个实例中,第一数据是通过摄像头的方式获得的,也就是,通过朝向穿戴者的面部的摄像头,采集穿戴者的眼部或其他被维持装置105或是显示装置106遮挡且不与维持装置105接触的面部图像的数据。在实际使用过程中,朝向穿戴者的面部的摄像头可以是一个,也可以是多个。摄像头类型可以是平面摄像头或深度摄像头,可以是RGB摄像头或红外摄像头。当摄像头的设置方式和显示单元同向时,则利用显示装置106显示的光,采集被遮挡部分的面部图像,比如表情;当然,摄像头的设置方式也可以和显示装置106无关,比如摄像头为红外摄像头时,则穿戴者的面部被遮挡的部分在黑暗环境也可以被采集;或者摄像头可以附带发光装置,用于提供采集图像时所用光线。
在另一个实例中,第一数据是通过匹配的方式获得的,其通过第二数据在预存的表征穿戴者的面部图像的数据的集合中进行匹配,以匹配出与第二数据相匹配的第一数据,也就是穿戴者的面部被维持装置105或显示装置106所遮挡的面部图像的数据,其中,第二数据可以是通过穿戴式设备上的摄像头获得,获得后可直接应用于匹配,或者是通过能够与穿戴式设备进行数据传输的其它摄像头获得,在获得第二数据后,需要先将第二数据传输给穿戴式设备后,在进行匹配。
步骤102:向服务器发送第一数据,使得连接服务器的其他设备(穿戴式设备)能访问表征穿戴者的面部图像的数据;其中,表征穿戴者的面部图像的数据由第一数据和第二数据组成,第二数据为穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据。在实际应用中,当只获得第一数据时,是将第一数据发送至服务器,与通过其他方法获得的第二数据相结合以生成完整的能够表征穿戴者的面部图像的数据,或者是,通过其他方法获得的第二数据经由无线局域网(WLAN)、移动通信网络/蜂窝网络(第三代(3G),第四代(4G),第五代(5G)或继续演进的网络)或是短距离通信如蓝牙/Zigbee协议网络等传送过来,然后再将第一数据和第二数据或是将由第一数据和第二数据生成的完整的能够表征穿戴者的面部图像的数据发送至服务器。
图5为本发明公开的另一个实施例中的数据处理方法的流程图:
如图5所示,基于相同的发明构思,本申请实施例还提供了一种数据处理方法,包括:
获得第一数据;
获得第二数据;其中,第一数据和第二数据用于形成表征穿戴者的面部图像的数据;
向服务器发送第一数据和第二数据,或向服务器发送表征穿戴者的面部图像的数据,使得连接服务器的其他设备能访问表征穿戴者的面部图像的数据。
通过上述内容可以看出,上述数据处理方法实现了对穿戴者的面部被穿戴式设备所遮挡的面部图像的数据的采集和对穿戴者的面部未被穿戴式设备所遮挡的面部图像的数据的采集,并同时能够使他人通过连接服务器的查看由穿戴者的面部被穿戴式设备所遮挡的面部图像的数据和穿戴者的面部未被穿戴式设备所遮挡的面部图像的数据合成的完整的能够表征穿戴者的面部图像的数据。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述数据处理方法的具体步骤进行阐述。
如图5和图6所示,数据处理方法,具体包括:
步骤101:获得第一数据,在实际应用场景中,第一数据为穿戴者的面部被/未被维持装置105或显示装置106所遮挡的面部图像的数据,且通过朝向穿戴者的面部设置的摄像头获得,其中,穿戴式设备是头盔类设备时,所述维持装置105是半球状或近似半球状的头盔壳体;穿戴式设备是眼镜设备时,所述维持装置105是眼镜框体等等。
在第一数据为穿戴者的面部被维持装置105或显示装置106所遮挡的面部图像的数据时,即采集的是被穿戴式设备遮挡且未与穿戴式设备贴覆的部分,主要是能够表征穿戴者的面部表情的面部图像,而相对地,其他部分如耳朵上方、头发等地方不是一定要采集,在实际应用中,步骤101之后的步骤可以且不限于以下几种情况:
第一种,在步骤101之后,该方法包括步骤102a,在实际应用中为,通过朝向穿戴者的面部未遮挡的部位设置的摄像头,采集穿戴者的口部及鼻部区域的图像的数据。
第二种,在步骤101之后,该方法包括步骤102b,在实际应用中为,先通过声音采集装置获得穿戴者产生或者传递出的声音信息,采集主要为穿戴者的声纹及语音内容,也可以采集穿戴者的口型数据等等,且声音采集装置可以是普通的麦克风,或是定向麦克风(麦克风阵列)朝向未遮挡区域,也就是口部区域和鼻部区域进行采集,在通过第二处理装置基于声音信息构建第二数据,其中,第二数据为穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据。
第三种,在步骤101之后,该方法包括步骤102c,在实际应用中为,通过声音采集装置获得穿戴者的面部或嘴部产生的声音信息的第二数据,且声音采集装置可以是普通的麦克风,或是定向麦克风(麦克风阵列)朝向未遮挡区域,也就是口部区域和鼻部区域进行采集,其最终,通过通信装置104,将第一数据和第二数据发送至服务器后,在服务器侧,再基于第二数据完成穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据的构建,在与第一数据相结合形成表征穿戴者的面部图像的数据。
在第一数据为穿戴者的面部未被维持装置105或显示装置106所遮挡的面部图像的数据时,在实际应用中,步骤101之后的步骤可以且不限于以下几种情况:
在步骤101之后,该方法包括步骤102d,在实际应用中为,获得第二数据,使通过处理器在预存的表征穿戴者的面部图像的数据的集合中,通过第一数据匹配出与第一数据相匹配的穿戴者的面部被维持装置105或显示装置106所遮挡的面部图像的数据,也就是匹配到第二数据。
步骤104a:请参见图5,向服务器发送第一数据和第二数据,使得连接服务器的其他设备能访问表征穿戴者的面部图像的数据。
此外,在获得第二数据之后的步骤中,还可以有步骤103:基于第一数据和第二数据在穿戴式设备一侧(终端侧)生成表征穿戴者的面部图像的数据。
步骤104b:请参见图6,向服务器发送表征穿戴者的面部图像的数据,使得连接服务器的其他设备能访问表征穿戴者的面部图像的数据。
以上实施例仅为本发明的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (8)

1.一种穿戴式设备,包括:
维持装置,用于维持所述穿戴式设备与穿戴者的头部的相对位置关系;
显示装置,用于显示图像,其中,如果所述穿戴式设备依靠所述维持装置穿戴于穿戴者的头部,所述显示装置位于穿戴者的眼睛的可视范围内;
第一获得装置,用于获得第一数据,其中,所述第一数据为所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据;
通信装置,至少用于向服务器发送所述第一数据,使得连接所述服务器的其他设备能访问表征所述穿戴者的面部图像的数据,其中,所述表征所述穿戴者的面部图像的数据由所述第一数据和第二数据组成,所述第二数据为所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据;
其中,所述第一获得装置为朝向所述穿戴者的面部设置的第一图像采集装置,用于采集所述第一数据,其中,所述第一数据为所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据;
或者,
所述第一获得装置为一存储有表征所述穿戴者的面部图像的数据的集合的读取存储装置,用于获得所述第一数据,其中,所述第一数据为所述集合中与所述第二数据相匹配的所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据。
2.一种穿戴式设备,包括:
维持装置,用于维持所述穿戴式设备与穿戴者的头部的相对位置关系;
显示装置,用于显示图像,其中,如果所述穿戴式设备依靠所述维持装置穿戴于穿戴者的头部,所述显示装置位于穿戴者眼睛的可视范围内;
第一获得装置,用于获得第一数据;
第二获得装置,用于获得第二数据;其中,所述第一数据和第二数据用于形成表征所述穿戴者的面部图像的数据;
通信装置,用于向服务器发送所述第一数据和所述第二数据,或向服务器发送所述表征所述穿戴者的面部图像的数据,使得连接所述服务器的其他设备能访问所述表征所述穿戴者的面部图像的数据;
其中,所述第一获得装置为朝向所述穿戴者的面部设置的第一图像采集装置,用于采集所述第一数据,所述第一数据为所述穿戴者的面部被/未被所述维持装置或显示装置所遮挡的面部图像的数据,所述第二获得装置基于所述第一数据确定。
3.根据权利要求2所述的穿戴式设备,所述穿戴式设备还包括:
第一处理装置,用于依据第一数据和第二数据生成表征所述穿戴者的面部图像的数据。
4.根据权利要求2所述的穿戴式设备,当所述第一数据为所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据时,
所述第二获得装置为朝向所述穿戴者的面部设置的第二图像采集装置,用于获得所述第二数据,其中,所述第二数据为所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据。
5.根据权利要求2所述的穿戴式设备,当所述第一数据为所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据时,
所述第二获得装置包括声音采集装置和用于获得所述第二数据的第二处理装置,所述声音采集装置用于获得所述穿戴者的面部或嘴部产生的声音信息,所述第二处理装置用于基于所述声音信息构建所述第二数据,其中,所述第二数据为所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据;
所述第二获得装置包括声音采集装置,用于获得表征所述穿戴者的面部或嘴部产生的声音信息的所述第二数据,所述声音信息能用于构建所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据。
6.根据权利要求2所述的穿戴式设备,当所述第一数据为所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据时,
所述穿戴式设备还包括:
存储装置,用于存储表征所述穿戴者的面部图像的数据的集合;
所述第二获得装置包括第三处理装置,用于获得所述第二数据,其中,所述第二数据为所述集合中与所述第一数据相匹配的所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据。
7.一种数据处理方法,包括:
获得第一数据,所述第一数据为穿戴者的面部被穿戴式设备的维持装置或显示装置所遮挡的面部图像的数据,其中,所述维持装置用于维持所述穿戴式设备与穿戴者的头部的相对位置关系,所述显示装置用于在所述穿戴式设备穿戴于穿戴者的头部时,在穿戴者的眼睛的可视范围内显示图像;
向服务器发送所述第一数据,使得连接所述服务器的其他设备能访问表征所述穿戴者的面部图像的数据;其中,所述表征所述穿戴者的面部图像的数据由所述第一数据和第二数据组成,所述第二数据为所述穿戴者的面部未被所述维持装置或显示装置所遮挡的面部图像的数据;
其中,所述第一数据通过第一获得装置获得,所述第一获得装置为朝向所述穿戴者的面部设置的第一图像采集装置,用于采集所述第一数据,其中,所述第一数据为所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据;
或者,
所述第一获得装置为一存储有表征所述穿戴者的面部图像的数据的集合的读取存储装置,用于获得所述第一数据,其中,所述第一数据为所述集合中与所述第二数据相匹配的所述穿戴者的面部被所述维持装置或显示装置所遮挡的面部图像的数据。
8.一种数据处理方法,包括:
获得第一数据;
获得第二数据;其中,所述第一数据和第二数据用于形成表征穿戴者的面部图像的数据;
向服务器发送所述第一数据和所述第二数据,或向服务器发送所述表征穿戴者的面部图像的数据,使得连接所述服务器的其他设备能访问所述表征穿戴者的面部图像的数据;
其中,第一获得装置为朝向所述穿戴者的面部设置的第一图像采集装置,用于采集所述第一数据,所述第一数据为所述穿戴者的面部被/未被维持装置或显示装置所遮挡的面部图像的数据,第二获得装置基于所述第一数据确定。
CN201710842674.XA 2017-09-18 2017-09-18 一种穿戴式设备及数据处理方法 Active CN107608513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710842674.XA CN107608513B (zh) 2017-09-18 2017-09-18 一种穿戴式设备及数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710842674.XA CN107608513B (zh) 2017-09-18 2017-09-18 一种穿戴式设备及数据处理方法

Publications (2)

Publication Number Publication Date
CN107608513A CN107608513A (zh) 2018-01-19
CN107608513B true CN107608513B (zh) 2021-07-16

Family

ID=61061038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710842674.XA Active CN107608513B (zh) 2017-09-18 2017-09-18 一种穿戴式设备及数据处理方法

Country Status (1)

Country Link
CN (1) CN107608513B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886216B (zh) * 2019-02-26 2023-07-18 华南理工大学 基于vr情景人脸图像复原的表情识别方法、设备及介质
JP2022081342A (ja) * 2020-11-19 2022-05-31 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7538745B2 (en) * 2003-03-24 2009-05-26 Ntag Interactive Corporation Apparatus and method for enhancing face-to-face communication
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界(北京)科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN105404392B (zh) * 2015-11-03 2018-04-20 北京英梅吉科技有限公司 基于单目摄像头的虚拟穿戴方法及系统

Also Published As

Publication number Publication date
CN107608513A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
US11094127B2 (en) Systems and methods for presenting perspective views of augmented reality virtual object
CN105141331B (zh) 一种眼镜式通信装置、系统及方法
KR102331780B1 (ko) 증강 현실 시스템들에 커플링된 프라이버시-민감 소비자 카메라들
US20200142480A1 (en) Immersive displays
US9035970B2 (en) Constraint based information inference
US9105210B2 (en) Multi-node poster location
WO2020203999A1 (ja) コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム
JP6845982B2 (ja) 表情認識システム、表情認識方法及び表情認識プログラム
JP6444886B2 (ja) ニアアイ・ディスプレイのディスプレイ更新時間の低減
US20050083248A1 (en) Mobile face capture and image processing system and method
CN107924584A (zh) 增强现实
CN107111370A (zh) 现实世界对象的虚拟表示
CN105653020A (zh) 穿越时空的方法和装置以及使用其的眼镜或头盔
CN107608513B (zh) 一种穿戴式设备及数据处理方法
TW202141120A (zh) 具可調整影像感測模組的頭戴式裝置及其系統
EP2583131A2 (en) Systems and methods for personal viewing devices
CN105227828B (zh) 拍摄装置和方法
KR20170107137A (ko) 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
CN105893452B (zh) 一种呈现多媒体信息的方法及装置
EP2827589A1 (en) Display device and device for adapting an information
CN105894581B (zh) 一种呈现多媒体信息的方法及装置
US11816886B1 (en) Apparatus, system, and method for machine perception
KR101862381B1 (ko) 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치
US11908098B1 (en) Aligning user representations
KR20170124313A (ko) 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치 및 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant