CN111402391B - 用户面部图像展示方法、展示装置及对应的存储介质 - Google Patents

Abstract

本发明提供一种用户面部图像展示方法，其包括:获取当前场景的全景画面帧；并对全景画面帧进行人脸识别操作，以得到所述全景画面帧中各个用户的人脸特征点；基于人脸特征点确定对应的人脸特征框，并根据人脸特征框确定用户的用户拍摄距离；根据用户的用户面部图像的预设展示尺寸以及用户拍摄距离，对用户的用户面部图像进行渲染以及展示操作。本发明还提供一种用户面部图像展示方法及展示装置，本发明基于人脸特征框来确定用户面部图像，保证对全景画面中不同距离的用户面部图像的有效识别，进而实现了用户面部图像的准确渲染及展示操作。

Description

用户面部图像展示方法、展示装置及对应的存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种用户面部图像展示方法、展示装置及对应的存储介质。

背景技术

随着社会的发展，人们之间的交互越来越紧密，但是同一产品的不同部件的生产地却越来越分散，因此公司产品领导经常需要为了某个生产计划需要和各地的不同公司员工进行联系，或电话会议等。

现有的电话会议系统中对话双方只能看到摄像头正在拍摄的用户，如交谈的用户位置发生了变化，一般可通过图像识别技术对用户的位置进行刷新，从而实现对该交谈用户的跟踪拍摄。

但是当用户与摄像头之间的距离发生较大变化时，可能无法对用户面部图像进行有效识别，进而无法对用户面部画面进行准确的渲染以及展示操作。

故，有必要提供一种用户面部图像展示方法及展示装置，以解决现有技术所存在的问题。

发明内容

本发明实施例提供一种基于人脸特征框对用户面部图像进行有效识别的用户面部图像展示方法及展示装置，可有效识别与摄像头不同距离的用户面部图像，实现了用户面部画面的准确渲染以及展示操作，有效解决了现有的用户面部图像展示方法及展示装置无法对用户面部画面进行准确的渲染以及展示操作的技术问题。

本发明实施例提供一种用户面部图像展示方法，其包括：

获取当前场景的全景画面帧；并对所述全景画面帧进行人脸识别操作，以得到所述全景画面帧中各个用户的人脸特征点；

基于所述人脸特征点确定对应的人脸特征框，并根据人脸特征框确定所述用户的用户拍摄距离；以及

根据所述用户的用户面部图像的预设展示尺寸以及所述用户拍摄距离，对所述用户的用户面部图像进行渲染以及展示操作。

在本发明所述的用户面部图像展示方法中，所述全景画面帧包括画面位置信息；

所述对所述全景画面帧进行人脸识别操作，以得到所述全景画面帧中各个用户的人脸特征点的步骤包括：

根据所述画面位置信息，使用所述全景画面帧的一端的端画面，对所述全景画面帧的另一端的画面帧边缘进行画面扩充，得到扩充后的全景画面帧；

对扩充后的全景画面帧进行人脸识别操作，以得到扩充后的全景画面帧中各个用户的人脸特征点；

当具有相同画面位置信息的人脸特征点时，对具有相同画面位置信息的人脸特征点进行排重处理。

在本发明所述的用户面部图像展示方法中，所述端画面对应的全景画面帧的展示角度为10度至30度。

在本发明所述的用户面部图像展示方法中，所述对具有相同画面位置信息的人脸特征点进行排重处理的步骤包括：

确定第一人脸特征点在设定范围内的相关特征点，并确定与所述第一人脸特征点具有相同画面位置信息的第二人脸特征点在设定范围内的相关特征点；

如第一人脸特征点的相关特征点的权重系数大于等于第二人脸特征点的相关特征点的权重系数，则将所述第二人脸特征点进行删除操作；否则对所述第一人脸特征点进行删除操作。

在本发明所述的用户面部图像展示方法中，根据所述第一人脸特征点的相关特征点的类别、质量以及数量，确定所述第一人脸特征点的相关特征点的权重系数；

根据所述第二人脸特征点的相关特征点的类别、质量以及数量，确定所述第二人脸特征点的相关特征点的权重系数。

在本发明所述的用户面部图像展示方法中，在将所述第二人脸特征点进行删除操作之前还包括步骤：使用所述第二人脸特征点的相关特征点对所述第一人脸特征点的相关特征点进行修正，以使得修正后的第一人脸特征点的相关特征点的权重系数最大；

在将所述第一人脸特征点进行删除操作之前还包括步骤：使用所述第一人脸特征点的相关特征点对所述第二人脸特征点的相关特征点进行修正，以使得修正后的第二人脸特征点的相关特征点的权重系数最大。

在本发明所述的用户面部图像展示方法中，所述基于所述人脸特征点确定对应的人脸特征框的步骤包括：

获取所述人脸特征点中的至少两个设定特征点；

基于所述设定特征点之间连线的长度确定所述人脸特征框的框体尺寸；

根据所述设定特征点的位置以及所述人脸特征框的框体尺寸确定所述人脸特征框。

在本发明所述的用户面部图像展示方法中，所述基于所述人脸特征点确定对应的人脸特征框的步骤包括：

获取所述人脸特征点中的至少两个设定特征点；

基于所述设定特征点之间连线的长度确定所述人脸特征框的框体尺寸，基于所述设定特征点之间连线的与基准面之间的角度确定所述人脸特征框的框体偏转角度；

根据所述设定特征点的位置、所述人脸特征框的框体尺寸、以及所述人脸特征框的框体偏转角度确定所述人脸特征框。

在本发明所述的用户面部图像展示方法中，所述根据所述用户的用户面部图像的预设展示尺寸以及所述用户拍摄距离，对所述用户的用户面部图像进行渲染以及展示操作的步骤包括：

根据所述用户拍摄距离，获取所述用户的用户面部图像采集区域；

在所述用户面部图像采集区域中采集用户面部图像；

基于用户面部图像的预设展示尺寸，对所述用户面部图像进行缩放操作，以便通过固定用户展示位对所述用户面部图像进行展示；

对缩放操作后的用户面部图像进行渲染以及展示操作。

在本发明所述的用户面部图像展示方法中，所述用户面部图像展示方法还包括：

使用全景画面展示位对扩充后的全景画面帧进行展示操作。

本发明实施例还提供一种用户面部图像展示装置，用于对全景画面进行展示操作，其中所述用户面部图像展示装置包括：

人脸特征点获取模块，用于获取当前场景的全景画面帧；并对所述全景画面帧进行人脸识别操作，以得到所述全景画面帧中各个用户的人脸特征点；

拍摄距离确定模块，用于基于所述人脸特征点确定对应的人脸特征框，并根据人脸特征框确定所述用户的用户拍摄距离；以及

面部图像渲染展示模块，用于根据所述用户的用户面部图像的预设展示尺寸以及所述用户拍摄距离，对所述用户的用户面部图像进行渲染以及展示操作。

本发明实施例还提供一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述任一用户面部图像展示方法。

相较于现有技术的用户面部图像展示方法及展示装置，本发明的用户面部图像展示方法及展示装置基于人脸特征框来确定用户面部图像，保证对全景画面中不同距离的用户面部图像的有效识别，进而实现了用户面部图像的准确渲染及展示操作；有效解决了现有的用户面部图像展示方法及展示装置无法对用户面部画面进行准确的渲染以及展示操作的技术问题。

附图说明

图1为本发明的用户面部图像展示方法的一实施例的流程图；

图2为本发明的用户面部图像展示方法的一实施例的人脸特征点的获取过程的流程图；

图3为本发明的用户面部图像展示方法的一实施例的人脸特征点的排重处理的流程图；

图4为本发明的用户面部图像展示方法的一实施例的人脸特征框的获取过程的流程图；

图5为本发明的用户面部图像展示方法的一实施例的步骤S103的流程图；

图6为本发明的用户面部图像展示装置的一实施例的结构示意图；

图7为本发明的用户面部图像展示方法及用户面部图像展示装置的进行用户面部图像以及全景画面展示的流程图；

图8a-图8c为本发明的用户面部图像展示方法及用户面部图像展示装置的进行用户面部图像以及全景画面展示的示意图；

图9为本发明的用户面部图像展示装置所在的电子设备的工作环境结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的用户面部图像展示方法及展示装置用于对全景画面、特别是全景画面中的用户面部图像进行有效展示的电子设备。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为接收全景画面、并通过显示屏对该全景画面进行展示的电子终端，即用户可通过固定终端或移动终端查看全景相机实时拍摄的全景画面信息，如会议场景的用户画面等。

请参照图1，图1为本发明的用户面部图像展示方法的一实施例的流程图。本实施例的用户面部图像展示方法可使用上述的电子设备进行实施，本实施例的用户面部图像展示方法包括：

步骤S101，获取当前场景的全景画面帧；并对全景画面帧进行人脸识别操作，以得到全景画面帧中各个用户的人脸特征点；

步骤S102，基于人脸特征点确定对应的人脸特征框，并根据人脸特征框确定用户的用户拍摄距离；

步骤S103，根据用户的用户面部图像的预设展示尺寸以及用户拍摄距离，对用户的用户面部图像进行渲染以及展示操作。

下面详细说明本发明的用户面部图像展示方法的各步骤的具体流程。

在步骤S101中，用户面部图像展示装置(如电子终端)获取全景相机拍摄的当前场景的全景画面帧。该全景画面帧包括以全景相机为中心360度范围内的画面信息。其中全景画面帧包括画面内容信息以及用于表示画面内容信息(如用户面部图像对应的信息)对应的位置信息的画面位置信息。即全景画面帧包括画面内容像素以及该画面内容像素对应的像素位置信息。

随后用户面部图像展示装置对获取的全景画面帧进行人脸识别操作，以得到全景画面帧中各个用户的人脸特征点。这里的人脸特征点为人的眼睛、嘴巴以及鼻子等脸部特征。该人脸特征点的获取过程请参照图2，图2为本发明的用户面部图像展示方法的一实施例的人脸特征点的获取过程的流程图。该获取过程包括：

步骤S201，用户面部图像展示装置根据画面位置信息，使用全景画面帧的一端的端画面，对全景画面帧的另一端的画面帧边缘进行画面扩充，得到扩充后的全景画面帧；

如用户位于全景画面帧的边缘，该用户面部图像可能会分别位于全景画面帧的两端的端画面，这里的端画面是指位于全景画面帧一端的画面图像，如对应全景相机0度至30度范围的画面图像以及对应全景相机330度至360度范围的画面图像。

因此在本步骤中，用户面部图像展示装置使用全景画面帧一端的端画面对全景画面帧的另一端的画面帧边缘进行画面扩充，以得到扩充后的全景画面帧。这样扩充后的全景画面帧对应的全景相机的拍摄角度为370-390度左右，其中大致有10度(如拍摄角度为370度)至30度(如拍摄角度为390度)左右重合的边缘画面内容，这样可有效的使得处于全景画面帧边缘的用户在扩充后的全景画面帧一端的端画面中进行完整的显示。

步骤S202，用户面部图像展示装置对扩充后的全景画面帧进行人脸识别操作，即识别全景画面帧中的人的眼睛、嘴巴以及鼻子等人脸特征点，从而得到扩充后的全景画面帧中的各个用户的人脸特征点以及人脸特征点对应的画面位置信息。

步骤S203，由于扩充后的全景画面帧的端画面中有可能具有重复的用户面部图像，为了避免对全景画面帧中的用户面部图像进行重复识别或无效识别，当全景画面帧中具有相同画面位置信息的人脸特征点时，用户面部图像展示装置对具有相同画面位置信息的人脸特征点进行排重处理，从而提高了端画面中的用户面部图像的准确性。

该排重处理的具体流程请参照图3，图3为本发明的用户面部图像展示方法的一实施例的人脸特征点的排重处理的流程图。这里将具有相同画面位置信息的人脸特征点分别设定为第一人脸特征点和第二人脸特征点。其中第一人脸特征点位于全景画面帧的一端的端画面中，第二人脸特征点位于全景画面帧的另一端的端画面中。该人脸特征点的排重处理的流程包括：

步骤S301，用户面部图像展示装置确定第一人脸特征点在设定范围内的相关特征点，如第一人脸特征点为人眼特征点，则该人眼特征点的相关特征点为人眼周围设定范围内的图像特征点(包括人眼特征点)。由于位于端画面中的特征点可能会出现准确度较低(如特征点模糊甚至缺失等问题)，因此这里需要通过相关特征点对第一人脸特征点的准确度进行量化，如相关特征点缺失比较厉害，对应的人眼特征点的准确度也会较低。

随后用户面部图像展示装置确定与第一人脸特征点具有相同画面位置信息的第二人脸特征点在设定范围内的相关特征点。

步骤S302，如第一人脸特征点的相关特征点的权重系数大于等于第二人脸特征点的相关特征点的权重系数，则用户面部图像展示装置将第二人脸特征点及对应的相关特征点进行删除操作，否则用户面部图像展示装置将第一人脸特征点及对应的相关特征点进行删除操作。

这里第一人脸特征点的相关特征点的权重系数，由第一人脸特征点的相关特征点的类别、质量以及数量确定。第一人脸特征点的相关特征点的类别越多，如人眼特征较多、眼部皱纹特征较多以及眼部周围区域不同类别的图像特征较多，则该第一人脸特征点的相关特征点的权重系数较大。第一人脸特征点的相关特征点的特征点质量越高，即相邻特征点的关联性较大(色彩灰度变化均匀)，特征点的变形较小等，则该第一人脸特征点的相关特征点的权重系数较大。第一人脸特征点的相关特征点的数量越多，即第一人脸特征点对应的显示区域越多，即对应相关特征点缺失较少，则该第一人脸特征点的相关特征点的权重系数较大。

用户面部图像展示装置基于上述第一人脸特征点的相关特征点的类别、质量以及数量，确定第一人脸特征点的相关特征点的权重系数；同时用户面部图像展示装置基于第二人脸特征点的相关特征点的类别、质量以及数量，确定第二人脸特征点的相关特征点的权重系数。从而进一步确定对第一人脸特征点及对应的相关特征点进行删除操作或对第二人脸特征点击对应的相关特征点进行删除操作。

进一步的，用户面部图像展示装置在将第一人脸特征点进行删除操作之前，还可使用第一人脸特征点的相关特征点对第二人脸特征点的相关特征点进行修正，以使得修正后的第二人脸特征点的相关特征点的权重系数最大，即使得修正后的第二人脸特征点的相关特征点的类别、质量以及数量均达到最好。

同时，用户面部图像展示装置在将第二人脸特征点进行删除操作之前，还可使用第二人脸特征点的相关特征点对第一人脸特征点的相关特征点进行修正，以使得修正后的第一人脸特征点的相关特征点的权重系数最大，即使得修正后的第一人脸特征点的相关特征点的类别、质量以及数量均达到最好。

在步骤S102中，用户面部图像展示装置基于步骤S101确定的人脸特征点，确定对应的人脸特征框。具体请参照图4，图4为本发明的用户面部图像展示方法的一实施例的人脸特征框的获取过程的流程图。该获取过程包括：

步骤S401，获取人脸特征点中的至少两个设定特征点；

本实施例中设定的人脸特征框为一方形框，这里需要获取人脸特征框的框体尺寸以及框体偏转角度，这里的框体尺寸用于表示人脸特征框的矩形框或方形框的大小，以表示用户面部的大小；框体偏转角度用于表示人脸特征框的矩形框或方形框的偏转角度，以表示用户面部的向左右的倾斜角度。

因此用户面部图像展示装置获取步骤S101中人脸特征点的至少两个设定特征点，如用户的双眼或眼睛和鼻子等特征点。

这里可以设定多个设定特征点，如眼睛、鼻子、嘴巴、耳朵、眉毛、下巴以及额头等。

由于用户可能会发生转头、抬头等动作，或者用户之间可能会产生相互遮挡，用户面部图像展示装置可同时对多个设定特征点进行检测，进而选定可以准确反馈用户面部图像位置的两个设定特征点作为后续确定人脸特征框的设定特征点。如通过检测两个设定特征点之间的距离或设定特征点的相关特征点数量来确定设定特征点的准确性。

如用户面部图像展示装置检测到了眼睛、鼻子以及嘴巴等设定特征点，如由于用户转头导致双眼距离过于接近或仅检测到了一只眼睛，则可以眼睛与鼻子作为设定特征点，或以眼睛与嘴巴作为特征点。如用户带了口罩，导致用户的鼻子以及下巴等设定特征点的相关特征点数量较少，如无法检测到下巴，或鼻子的相关特征点过少，则可将双眼、或眼睛和耳朵作为设定特征点。如用户做嘟嘴动作，导致嘴巴和鼻子之间的距离过于接近，则可以两个耳朵或双眼作为设定特征点。

步骤S402，用户面部图像展示装置基于步骤S301获取的设定特征点之间的连线的长度确定人脸特征框的框体尺寸。

当用户离全景相机越近，设定特征点之间的连线(如两眼之间的连线)就会越大，进而对应的人脸特征框的框体尺寸也会越大，即需要使用较大的人脸特征框来表征用户面部图像。

进一步的，这里还可基于设定特征点之间的连线与基准面之间的角度确定人脸特征框的框体偏转角度。

正常情况下用户双眼或用户双耳的连线是基本与水平面平行的，用户鼻子嘴巴以及下巴鼻子之间的连线是基本与水平面垂直的，耳朵与同侧眼睛的连线与水平面的夹角大致为5度至15度。这样可基于设定特征点之间的连线与基准面(水平面或垂直面)之间的角度，来确定人脸特征框的框体偏转角度。如用户双眼连线与水平面之间的夹角为20度，则人脸特征框的框体偏转角度也为20度。

步骤S403，用户面部图像展示装置根据步骤S401确定的设定特征点的位置以及步骤S402确定的人脸特征框的框体尺寸确定人脸特征框。

随后用户面部图像展示装置根据人脸特征框确定用户的用户拍摄距离，这里主要是基于人脸特征框的框体尺寸来确定用户拍摄距离，即人脸特征框的框体尺寸越大，用户拍摄距离越小；人脸特征框的框体尺寸越小，用户拍摄距离越大。

进一步的，用户面部图像展示装置还可根据步骤S402获取的框体偏转角度设定人脸特征框的角度，以使得后续可对人脸特征框内的用户面部图像进行展示角度调整，以对用户的正视面部图像进行展示。

步骤S103，由于用户面部图像展示装置可使用固定用户展示位对用户面部图像进行展示，因此需要将用户面部图像统一到预设展示尺寸，以便进行用户面部图像展示。

因此用户面部图像展示装置根据用户的用户面部图像的预设展示尺寸以及步骤S102获取的用户拍摄距离，对人脸特征框中的用户面部图像进行调整、渲染以及展示操作。具体请参照图5，图5为本发明的用户面部图像展示方法的一实施例的步骤S103的流程图。该步骤S103包括：

步骤S501，用户面部图像展示装置根据步骤S102获取的用户拍摄距离，获取用户的用户面部图像采集区域，即用户特征框对应的图像区域。

步骤S502，用户面部图像展示装置在用户面部图像采集区域中采集用户面部图像，即用户特征框对应的图像。

步骤S503，用户面部图像展示装置基于用户面部图像的预设展示尺寸，对步骤S502采集的用户面部图像进行缩放操作，这样可通过固定用户展示为对用户面部图像进行展示，并可基于框体偏转角度对用户面部图像进行角度调整。这里的固定用户展示位为设置在终端屏幕固定位置，用于对某个用户面部图像进行跟踪展示的展示位。

步骤S504，用户面部图像展示装置对步骤S503中缩放操作后的用户面部图像进行渲染以及展示操作。同时用户面部图像展示装置还可使用全景画面展示位对360度的全景画面帧或扩充后的全景画面帧进行展示操作，即使用固定用户展示位对特定用户进行展示，使用全景画面展示位对整个全景画面进行展示。

这样即完成了本实施例的用户面部图像展示方法的用户面部图像的渲染以及展示操作。

本实施例的用户面部图像展示方法基于人脸特征框来确定用户面部图像，保证对全景画面中不同距离的用户面部图像的有效识别，进而实现了用户面部图像的准确渲染及展示操作。

本发明还提供一种用户面部图像展示装置，请参照图6，图6为本发明的用户面部图像展示装置的一实施例的结构示意图。本实施例的用户面部图像展示装置可使用上述的用户面部图像展示方法进行实施，本实施例的用户面部图像展示装置60包括人脸特征点获取模块61、拍摄距离确定模块62以及面部图像渲染展示模块63。

人脸特征点获取模块61用于获取当前场景的全景画面帧；并对全景画面帧进行人脸识别操作，以得到全景画面帧中各个用户的人脸特征点；拍摄距离确定模块62用于基于人脸特征点确定对应的人脸特征框，并根据人脸特征框确定用户的用户拍摄距离；面部图像渲染展示模块63用于根据用户的用户面部图像的预设展示尺寸以及用户拍摄距离，对用户的用户面部图像进行渲染以及展示操作。

本实施例的用户面部图像展示装置60使用时，首先人脸特征点获取模块61获取全景相机拍摄的当前场景的全景画面帧。该全景画面帧包括以全景相机为中心360度范围内的画面信息。其中全景画面帧包括画面内容信息以及用于表示画面内容信息对应的位置信息的画面位置信息。

随后人脸特征点获取模块61对获取的全景画面帧进行人脸识别操作，以得到全景画面帧中各个用户的人脸特征点。这里的人脸特征点为人的眼睛、嘴巴以及鼻子等脸部特征。

然后拍摄距离确定模块62基于人脸特征点，确定对应的人脸特征框；随后拍摄距离确定模块62根据人脸特征框确定用户的用户拍摄距离，这里主要是基于人脸特征框的框体尺寸来确定用户拍摄距离，即人脸特征框的框体尺寸越大，用户拍摄距离越小；人脸特征框的框体尺寸越小，用户拍摄距离越大。

由于用户面部图像展示装置60可使用固定用户展示位对用户面部图像进行展示，因此需要将用户面部图像统一到预设展示尺寸，以便进行用户面部图像展示。

最后面部图像渲染展示模块63根据用户的用户面部图像的预设展示尺寸以及用户拍摄距离，对人脸特征框中的用户面部图像进行调整、渲染以及展示操作。同时面部图像渲染展示模块63还可使用全景画面展示位对360度的全景画面帧或扩充后的全景画面帧进行展示操作，即使用固定用户展示位对特定用户进行展示，使用全景画面展示位对整个全景画面进行展示。

这样即完成了本实施例的用户面部图像展示装置60的用户面部图像的渲染以及展示操作。

下面通过一具体实施例说明本发明的用户面部图像展示方法及用户面部图像展示装置的工作原理。请参照图7、图8a-图8c，图7为本发明的用户面部图像展示方法及用户面部图像展示装置的进行用户面部图像以及全景画面展示的流程图，图8a-图8c为本发明的用户面部图像展示方法及用户面部图像展示装置的进行用户面部图像以及全景画面展示的示意图。本实施例的用户面部图像展示装置设置具有显示屏的电子终端上，以便对全景相机实时拍摄的全景画面信息以及全景画面中的用户面部信息进行展示，因此该全景画面包括固定用户展示位以及全景画面展示位，具体如图8c所示，该电子终端展示的全景画面包括固定用户展示位801、802、803、804以及全景画面展示位805。该全景画面的展示流程包括：

步骤S701，电子终端获取当前场景的全景画面帧，该全景画面帧可如图8a所示。

步骤S702，由于全景画面帧中用户的面部可能会位于全景画面帧的边缘，因此电子终端使用全景画面帧的一端的端画面，对全景画面帧的另一端的画面帧边缘进行画面扩充，得到扩充后的全景画面帧，如图8b所示。

步骤S703，电子终端对扩充后的全景画面帧进行人脸识别操作，以得到扩充后的全景画面帧中各个用户的人脸特征点，比如图8b中的用户a、用户b、用户c以及用户d的人脸特征点，其中由于用户d处于全景画面帧的边缘，因此用户d具有处于全景画面帧的一端(图8b的右端)的端画面中的第一人脸特征点以及处于全景画面帧的另一端(图8b的左端)的端画面中的第二人脸特征点。

步骤S704，由于用户d的第一人脸特征点的权重系数大于第二人脸特征点的权重系数，因此电子终端将用户d的第一人脸特征点进行删除操作。

步骤S705，电子终端基于用户a、用户b、用户c以及用户d的人脸特征点，确定对对应人脸特征框，具体如图8b中的人脸特征框806、807、808、809。

步骤S706，电子终端根据人脸特征框的框体尺寸确定每个用户的用户拍摄距离，并根据人脸特征框的框体偏转角度对人脸特征框进行转正操作。

步骤S707，电子终端根据用户面部图像的预设展示尺寸以及用户拍摄距离，对每个用户的用户面部图像进行缩放操作，以使得缩放操作后的用户面部图像符合预设展示尺寸。

步骤S708，电子终端使用固定用户展示位801、802、803、804对缩放操作后的用户面部图像进行展示，且每个用户的用户面部图像的尺寸均为预设展示尺寸；同时电子终端使用全景画面展示位805对360度的全景画面帧或扩充后的全景画面帧进行展示，以便查看用户a、用户b、用户c以及用户d在全景画面帧中的具体位置。具体如图8c所示。

这样即完成了本实施例的全景相机实时拍摄的全景画面信息以及全景画面中的用户面部信息的展示过程，当全景画面帧刷新时，电子终端会对全景画面信息以及对应的用户面部信息进行刷新操作，从而实现了持续对不同距离的用户面部图像的有效识别。

本发明的用户面部图像展示方法及展示装置基于人脸特征框来确定用户面部图像，保证对全景画面中不同距离的用户面部图像的有效识别，进而实现了用户面部图像的准确渲染及展示操作；有效解决了现有的用户面部图像展示方法及展示装置无法对用户面部画面进行准确的渲染以及展示操作的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

图9和随后的讨论提供了对实现本发明所述的用户面部图像展示装置所在的电子设备的工作环境的简短、概括的描述。图9的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备912包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图9图示了包括本发明的用户面部图像展示装置中的一个或多个实施例的电子设备912的实例。在一种配置中，电子设备912包括至少一个处理单元916和存储器918。根据电子设备的确切配置和类型，存储器918可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图9中由虚线914图示。

在其他实施例中，电子设备912可以包括附加特征和/或功能。例如，设备912还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图9中由存储装置920图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置920中。存储装置920还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器918中由例如处理单元916执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器918和存储装置920是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备912访问的任何其他介质。任意这样的计算机存储介质可以是电子设备912的一部分。

电子设备912还可以包括允许电子设备912与其他设备通信的通信连接926。通信连接926可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备912连接到其他电子设备的其他接口。通信连接926可以包括有线连接或无线连接。通信连接926可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备912可以包括输入设备924，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备912中也可以包括输出设备922，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备924和输出设备922可以经由有线连接、无线连接或其任意组合连接到电子设备912。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备912的输入设备924或输出设备922。

电子设备912的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中，电子设备912的组件可以通过网络互连。例如，存储器918可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络928访问的电子设备930可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备912可以访问电子设备930并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备912可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备912处执行并且一些指令可以在电子设备930处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (7)

1.一种用户面部图像展示方法，其特征在于，包括：

获取当前场景的全景画面帧；并对所述全景画面帧进行人脸识别操作，以得到所述全景画面帧中各个用户的人脸特征点；

获取所述人脸特征点中的至少两个设定特征点，基于所述设定特征点之间连线的长度确定人脸特征框的框体尺寸；

基于所述设定特征点之间连线与基准面之间的角度确定人脸特征框的框体偏转角度；

根据所述设定特征点的位置、所述人脸特征框的框体尺寸、以及所述人脸特征框的框体偏转角度确定人脸特征框，并根据人脸特征框确定所述用户的用户拍摄距离；

根据所述用户拍摄距离，获取所述用户的用户面部图像采集区域，在所述用户面部图像采集区域中采集用户面部图像；

基于用户面部图像的预设展示尺寸，对所述用户面部图像进行缩放操作，以便通过固定用户展示位对所述用户面部图像进行展示；

对缩放操作后的用户面部图像进行渲染以及展示操作。

2.根据权利要求1所述的用户面部图像展示方法，其特征在于，所述全景画面帧包括画面位置信息；

所述对所述全景画面帧进行人脸识别操作，以得到所述全景画面帧中各个用户的人脸特征点的步骤包括：

根据所述画面位置信息，使用所述全景画面帧的一端的端画面，对所述全景画面帧的另一端的画面帧边缘进行画面扩充，得到扩充后的全景画面帧；

对扩充后的全景画面帧进行人脸识别操作，以得到扩充后的全景画面帧中各个用户的人脸特征点；

当具有相同画面位置信息的人脸特征点时，对具有相同画面位置信息的人脸特征点进行排重处理。

3.根据权利要求2所述的用户面部图像展示方法，其特征在于，所述对具有相同画面位置信息的人脸特征点进行排重处理的步骤包括：

确定第一人脸特征点在设定范围内的相关特征点，并确定与所述第一人脸特征点具有相同画面位置信息的第二人脸特征点在设定范围内的相关特征点；

如第一人脸特征点的相关特征点的权重系数大于等于第二人脸特征点的相关特征点的权重系数，则将所述第二人脸特征点进行删除操作；否则对所述第一人脸特征点进行删除操作。

4.根据权利要求3所述的用户面部图像展示方法，其特征在于，

根据所述第一人脸特征点的相关特征点的类别、质量以及数量，确定所述第一人脸特征点的相关特征点的权重系数；

根据所述第二人脸特征点的相关特征点的类别、质量以及数量，确定所述第二人脸特征点的相关特征点的权重系数。

5.根据权利要求3所述的用户面部图像展示方法，其特征在于，

在将所述第二人脸特征点进行删除操作之前还包括步骤：使用所述第二人脸特征点的相关特征点对所述第一人脸特征点的相关特征点进行修正，以使得修正后的第一人脸特征点的相关特征点的权重系数最大；

在将所述第一人脸特征点进行删除操作之前还包括步骤：使用所述第一人脸特征点的相关特征点对所述第二人脸特征点的相关特征点进行修正，以使得修正后的第二人脸特征点的相关特征点的权重系数最大。

6.根据权利要求2所述的用户面部图像展示方法，其特征在于，所述用户面部图像展示方法还包括：

使用全景画面展示位对扩充后的全景画面帧进行展示操作。

7.一种用户面部图像展示装置，用于对全景画面进行展示操作，其特征在于，所述用户面部图像展示装置包括：

人脸特征点获取模块，用于获取当前场景的全景画面帧；并对所述全景画面帧进行人脸识别操作，以得到所述全景画面帧中各个用户的人脸特征点；

拍摄距离确定模块，用于获取所述人脸特征点中的至少两个设定特征点，基于所述设定特征点之间连线的长度确定人脸特征框的框体尺寸，基于所述设定特征点之间连线与基准面之间的角度确定人脸特征框的框体偏转角度；根据所述设定特征点的位置、所述人脸特征框的框体尺寸、以及所述人脸特征框的框体偏转角度确定人脸特征框，并根据人脸特征框确定所述用户的用户拍摄距离；以及

面部图像渲染展示模块，用于根据所述用户拍摄距离，获取所述用户的用户面部图像采集区域，在所述用户面部图像采集区域中采集用户面部图像，基于用户面部图像的预设展示尺寸，对所述用户面部图像进行缩放操作，以便通过固定用户展示位对所述用户面部图像进行展示，对缩放操作后的用户面部图像进行渲染以及展示操作。