CN114821700A - 画面帧更新方法、更新装置及存储介质 - Google Patents

Abstract

本发明提供一种画面帧更新方法，其包括：采集前一画面帧展示的用户人体图像的参考人体图像特征点；基于前一画面帧展示的用户人体图像的参考人体图像特征点，在当前画面帧中查找对应的当前人体图像特征点；基于当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像；将当前画面帧中对应的用户面部图像和已展示的用户面部图像进行匹配；使用当前画面帧中对应的用户面部图像，对匹配的已展示的用户面部图像进行更新操作。

Description

画面帧更新方法、更新装置及存储介质

本申请是专利申请号为“201910925947.6”申请日为“2019年09月27日”名称为“基于分帧处理的全景画面展示方法、装置及存储介质”的专利申请的分案申请。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种画面帧更新方法、更新装置及存储介质。

背景技术

随着社会的发展，人们之间的交互越来越紧密，但是同一产品的不同部件的生产地却越来越分散，因此公司产品领导经常需要为了某个生产计划需要和各地的不同公司员工进行联系，或电话会议等。

现有的电话会议系统中对话双方只能看到摄像头正在拍摄的用户，如交谈的用户位置发生了变化，一般可通过图像识别技术对用户的位置进行刷新，从而实现对该交谈用户的跟踪拍摄。

但是现有的图像识别技术对用户人脸识别的时间较长，无法对每帧画面均进行有效的人脸识别，如用户移动较快的情况下，容易导致用户人脸跟踪画面的跳帧现象，即用户的人脸画面由一个位置突然跳到另一个位置，从而影响了电视会议系统的画面展示效率。

故，有必要提供一种基于分帧处理的全景画面展示方法以及装置，以解决现有技术所存在的问题。

发明内容

本发明实施例提供一种可流畅的展示移动中的人脸画面、画面展示效率较高的基于分帧处理的全景画面展示方法以及装置，以解决现有的全景画面展示方法以及装置容易出现跳帧现象，进而影响画面展示效率的技术问题。

本发明实施例提供一种基于分帧处理的全景画面展示方法，用于对全景画面进行展示操作，其中所述全景画面包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；所述全景画面展示方法包括：

如当前画面帧为所述检测画面帧时，根据所述当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对所述待展示的用户面部图像进行展示操作；

如当前画面帧为所述跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于所述参考面部图像特征点，在所述跟踪画面帧中获取对应的用户面部图像；使用所述当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。

本发明实施例还提供一种基于分帧处理的全景画面展示装置，用于对全景画面进行展示操作，其中所述全景画面包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；所述全景画面展示装置包括：

检测画面帧展示模块，用于如当前画面帧为所述检测画面帧时，根据所述当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对所述待展示的用户面部图像进行展示操作；以及

跟踪画面帧展示模块，用于如当前画面帧为所述跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于所述参考面部图像特征点，在所述跟踪画面帧中获取对应的用户面部图像；使用所述当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。

本发明还提供一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述任一的全景画面展示方法。

相较于现有技术的全景画面展示方法及装置，本发明的基于分帧处理的全景画面展示方法及装置对检测画面帧进行用户人脸识别，对跟踪画面帧进行面部图像跟踪，可有效的保证每帧画面中的人脸画面展示效果，避免跳帧现象的发生，进而提高了画面展示效率；有效解决了现有的全景画面展示方法以及装置容易出现跳帧现象，进而影响画面展示效率的技术问题。

附图说明

图1为本发明的基于分帧处理的全景画面展示方法的第一实施例的流程图；

图2为本发明的基于分帧处理的全景画面展示方法的第二实施例的流程图；

图3为本发明的基于分帧处理的全景画面展示方法的第二实施例的步骤S208的流程图；

图4为本发明的全景画面展示装置的第一实施例的结构示意图；

图5为本发明的全景画面展示装置的第一实施例的检测画面帧展示模块的结构示意图；

图6为本发明的全景画面展示装置的第一实施例的跟踪画面帧展示模块的结构示意图；

图7为本发明的全景画面展示装置的第二实施例的结构示意图；

图8为本发明的全景画面展示装置的第二实施例的跟踪画面帧展示模块的结构示意图；

图9为本发明的全景画面展示装置的第二实施例的跟踪画面帧展示模块的第一参考人体图像特征点获取单元的结构示意图；

图10为本发明的全景画面展示方法及全景画面展示装置的具体实施例的流程图；

图11a至图11e为本发明的全景画面展示方法及全景画面展示装置的具体实施例的展示示意图；

图12为本发明的全景画面展示装置所在的电子设备的工作环境结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的全景画面展示方法及装置用于对全景画面进行有效展示的电子设备。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为接收全景画面、并通过显示屏对该全景画面进行展示的电子终端，即用户可通过固定终端或移动终端查看全景相机实时拍摄的全景画面信息，如会议场景的用户画面等。

请参照图1，图1为本发明的基于分帧处理的全景画面展示方法的第一实施例的流程图。本实施例的全景画面展示方法可使用上述的电子设备进行实施，本实施例中电子设备进行展示的全景画面包括检测画面帧以及跟踪画面帧，其中检测画面帧是指通过对当前画面帧的画面像素检测实现全景画面中的用户面部图像展示的画面帧，由于其需要对当前画面帧进行全面像素检测，因此对系统资源的消耗较高，但是用户面部图像展示的准确性较高；跟踪画面帧是指基于上一帧画面的用户面部图像的特征点检测实现全景画面中的用户面部图像展示的画面帧，由于只需要对特定的特征点进行检测，因此对系统资源的消耗较低，但是由于特征点的不断丢失，用户面部图像展示的准确性较低。

本实施例的全景画面展示方法通过全景画面的检测画面帧来保证全景画面的用户面部图像展示的准确性，通过全景画面的跟踪画面帧来保证全景画面的用户面部图像展示的及时性。因此本实施例的全景画面的检测画面帧对应至少一个跟踪画面帧，跟踪画面帧设置在对应的检测画面帧的后面。如全景画面的第一帧为检测画面帧，第二至第四帧可为对应的跟踪画面帧，第五帧画面为检测画面帧，第六至第八帧可为对应的跟踪画面帧，即第4n+1帧为检测画面帧，第4n+2、4n+3以及4n+4帧为跟踪画面帧，n为大于等于0的整数。当然不同的检测画面帧可对应不同数量的跟踪画面帧，如第一帧对应第二至第四帧画面，第五帧对应第六和第七帧画面等。

这样可基于第一帧画面的用户面部图像的特征点来获取第二帧画面的用户面部图像的特征点，可基于第二帧画面的用户面部图像的特征点来获取第三帧画面的用户面部图像的特征点。

基于上述全景画面的画面帧分布原理，本实施例的全景画面展示方法包括：

步骤S101，检测当前画面帧的类型；

步骤S102，如当前画面帧为检测画面帧时，根据当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对待展示的用户面部图像进行展示操作；

步骤S103，如当前画面帧为跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考图像特征点；基于参考面部图像特征点，在跟踪画面帧中获取对应的用户面部图像；使用当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。

下面详细说明本实施例的全景画面展示方法的各步骤的具体流程。

在步骤S101中，电子设备(如用户固定终端)获取需要播放的全景画面，随后检测需要展示的当前画面帧的画面帧类型，该画面帧类型可为检测画面帧或跟踪画面帧。如当前画面帧为检测画面帧，则转到步骤S102,；如当前画面帧为跟踪画面帧，则转到步骤S103。

在步骤S102中，如当前画面帧为检测画面帧，则电子设备获取当前画面帧的全景画面信息以及全景声音信息。其中全景画面信息以及全景声音信息由全景相机进行采集，全景画面信息包括以全景相机为中心360度范围内的画面信息，全景声音信息包括以全景相机为中心360度范围内的声音信息，其中全景画面信息包括用于表示画面信息对应的位置信息的画面位置信息，全景声音信息包括用于表示声音信息对应的位置信息的声音位置信息。

随后电子设备对获取的全景画面信息进行人脸识别操作，从而可获取当前场景中所有用户的用户面部图像以及该用户面部图像在全景画面中对应的图像位置信息。

这里的人脸识别可通过用户的面部特征点(如五官等)进行人脸识别，也可通过用户的面部轮廓进行人脸识别，设置通过人脸在人体的相对位置关系进行人脸识别等。

然后电子设备将获取的图像位置信息与获取的声音位置信息(这里默认当前只有一个用户正在发言，即当前全景声音信息只有一个声音位置信息)进行对比操作，即将用户面部图像的图像位置信息与全景声音信息的声音位置信息进行位置比对，将匹配的图像位置信息对应的用户面部图像作为待展示的用户面部图像。

最后电子设备对获取的待展示的用户面部图像进行展示操作。具体的，电子设备可按设定图像大小对待展示的用户面部图像进行调整，以使得调整后的用户面部图像可较好的通过固定形状的用户展示位进行展示操作。

在步骤S103中，如当前画面帧为跟踪画面帧，则电子设备获取前一画面帧展示的用户面部图像的参考面部图像特征点。这里的参考面部图像特征点为前一画面帧的用于表征用户面部图像的特征点。

在步骤中，电子设备通过当前画面帧中查找对应的参考面部图像特征点，以获取当前画面帧中的当前面部图像特征点，由于部分特征的不匹配，当前画面帧中可以查找到的特征点少于等于前一画面帧中的特征点，因此当前面部图像特征点的数量小于等于参考面部图像特征点的数量。

随后电子设备基于获取的当前面部图像特征点，还原当前画面帧中的用户面部图像，并对该用户面部图像进行展示操作。

最后电子设备将当前画面帧中的当前面部图像特征点设定为当前画面帧的参考面部图像特征点，以便下一画面帧进行调用。

这样即完成了本实施例的全景画面展示方法的全景画面中的用户面部图像的展示过程。

本实施例的基于分帧处理的全景画面展示方法对检测画面帧进行用户人脸识别，对跟踪画面帧进行面部图像跟踪，可有效的保证每帧画面中的人脸画面展示效果，避免跳帧现象的发生，进而提高了画面展示效率。

请参照图2，图2为本发明的基于分帧处理的全景画面展示方法的第二实施例的流程图。本实施例的全景画面展示方法可使用上述的电子设备进行实施，本实施例的全景画面展示方法包括：

步骤S201，检测当前画面帧的类型；如当前画面帧为检测画面帧，转到步骤S202；如当前画面帧为跟踪画面帧，转到步骤S206；

步骤S202，获取当前画面帧的全景画面信息以及全景声音信息；其中全景声音信息包括声音位置信息；

步骤S203，对全景画面信息进行人脸识别操作，以获取当前场景的用户面部图像以及对应的图像位置信息；

步骤S204，将图像位置信息以及声音位置信息进行对比操作，以获取待展示的用户面部图像；

步骤S205，根据待展示的用户面部图像和已展示的用户面部图像，对当前画面帧中的至少部分用户的用户面部图像进行展示；

步骤S206，确定前一画面帧的类型，如前一画面帧为检测画面帧，则转到步骤S207；如前一画面帧为跟踪画面帧，则转到步骤S211；

步骤S207，采集前一画面帧展示的用户面部图像的参考面部图像特征点；

步骤S208，根据前一画面帧展示的用户面部图像的参考面部图像特征点，获取对应的用户人体图像的参考人体图像特征点；

步骤S209，基于参考人体图像特征点，在当前画面帧中查找对应的当前人体图像特征点；当前人体图像特征点的数量小于等于参考人体图像特征点的数量；

步骤S210，基于当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，并将当前画面帧中的当前人体图像特征点设定为当前画面帧的参考人体图像特征点；转到步骤S214；

步骤S211，获取所述前一画面帧展示的用户人体图像的参考人体图像特征点；

步骤S212，基于前一画面帧展示的用户人体图像的参考人体图像特征点，在当前画面帧中查找对应的当前人体图像特征点；当前人体图像特征点的数量小于等于参考人体图像特征点的数量；

步骤S213，基于当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，并将当前画面帧中的当前人体图像特征点设定为当前画面帧的参考人体图像特征点；转到步骤S214；

步骤S214，将当前画面帧中对应的用户面部图像和已展示的用户面部图像进行匹配；

步骤S215，使用当前画面帧中对应的用户面部图像，对匹配的已展示的用户面部图像进行更新操作。

下面详细说明本实施例的全景画面展示方法的各步骤的具体流程。

在步骤S201中，电子设备(如用户固定终端)获取需要播放的全景画面，随后检测需要展示的当前画面帧的画面帧类型，该画面帧类型可为检测画面帧或跟踪画面帧。如当前画面帧为检测画面帧，则转到步骤S202,；如当前画面帧为跟踪画面帧，则转到步骤S206。

在步骤S202中，如当前画面帧为检测画面帧，电子设备获取当前画面帧的全景画面信息以及全景声音信息。其中全景画面信息以及全景声音信息由全景相机进行采集，全景画面信息包括以全景相机为中心360度范围内的画面信息，全景声音信息包括以全景相机为中心360度范围内的声音信息。

在步骤S203中，电子设备对获取的全景画面信息进行人脸识别操作，从而可获取当前场景中所有用户的用户面部图像。随后把用户面部图像在全景画面中的画面位置信息作为用户面部图像的图像位置信息。

在步骤S204中，电子设备获取所有的全景声音信息；随后确认全景声音信息的声音位置信息匹配的图像位置信息，即当声音位置信息与图像位置信息的位置差异值小于设定值时，电子设备认定声音位置信息与该图像位置信息匹配。随后电子设备将匹配的图像位置信息对应的用户面部图像作为待展示的用户面部图像。

由于全景相机采集到的声音位置信息具有一定的精度，如有多个用户的图像位置信息之间的距离差异较小，仅仅通过声音位置信息，还是无法区分对应的图像位置信息，则电子设备可通过识别全景画面中的用户动作信息来确定该声音位置信息对应的图像位置信息，进而确定待展示的用户面部图像。该用户动作信息可为用户的举手动作或嘴部动作等。如电子设备识别出某个声音位置信息匹配了两个用户面部图像，则可将正在做举手动作的用户或具有嘴部动作的用户对应的用户面部图像设置为待展示的用户面部图像。

同时如多个用户同时发言，电子设备可能会同时采集到多个声音位置信息，进而获取多个图像位置信息以及用户面部图像。为了避免其他用户的交谈杂音对用户面部图像展示的干扰，只有当用户对应的声音音量信息大于设定值，其对应的声音位置信息才会被采集，以便查找对应的图像位置信息以及用户面部图像。

在步骤S205中，电子设备根据获取的待展示的用户面部图像以及已展示的用户面部图像，对当前画面帧中的至少部分用户的用户面部图像进行展示。

具体的，电子设备可将待展示的用户面部图像和已展示的用户面部图像进行匹配，这样可以对确定需要更新的已展示的用户面部图像。

随后电子设备使用待展示的用户面部图像对匹配的已展示的用户面部图像进行更新操作，如待展示的用户面部图像未匹配任何已展示的用户面部图像，则使用待展示的用户面部图像替换一已展示的用户面部图像进行展示。

这样即完成了本实施例的检测画面帧的用户面部图像的展示过程。

在步骤S206中，如当前画面帧为跟踪画面帧，电子设备会确定前一画面帧的类型，如前一画面帧为检测画面帧，则转到步骤S207；如前一画面帧为跟踪画面帧，则转到步骤S211。

在步骤S207中，如前一画面帧为检测画面帧，由于前一画面帧通过画面像素检测来获取用户面部图像，因此其获取的用户面部图像的准确性较高，电子设备可直接采集前一画面帧展示的用户面部图像的参考面部图像特征点。

在步骤S208中，由于全景画面中的人物可能会产生转头或被遮挡等情况，因此仅仅基于用户面部图像的参考面部图像特征点进行用户面部图像的跟踪，在某些情况下容易出现参考面部图像特征点全部丢失的情况。

因此在本步骤中，电子设备会根据前一画面帧展示的用户面部图像的参考面部图像特征点，获取对应的用户人体图像的参考人体图像特征点，以增加用户面部图像对应的图像特征点的数量。

具体请参照图3，图3为本发明的基于分帧处理的全景画面展示方法的第二实施例的步骤S208的流程图。该步骤S208包括：

步骤S301，电子设备基于用户面部图像的参考图像特征点构成用户面部特征框。

步骤S302，电子设备将用户面部特征框向画面帧的下方平移至少一个框位(即用户的脖子到身体的位置)，将平移经过的区域以及用户面部特征框的区域均设置为用户人体图像特征采集区域。

步骤S303，在步骤S302获取的用户人体图像特征采集区域中，电子设备采集对应的用户人体图像的参考人体图像特征点。

这样参考人体图像特征点的数量远远大于参考面部图像特征点的数量，且参考人体图像特征点的部分特征点更加不容易受到人的动作以及遮挡物的影响。

在步骤S209中，电子设备基于步骤S208获取的参考人体图像特征点，在当前画面帧中查找对应的当前人体图像特征点。即使用前一画面帧的图像特征点在当前画面帧查找对应的图像特征点。由于部分特征点随着全景画面中物体的移动会丢失，因此当前人体图像特征点的数量小于等于参考人体图像特征点的数量。

在步骤S210中，电子设备基于当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，具体可基于当前人体图像特征点的位置找到用户面部特征框的位置，然后将用户面部特征框中的图像作为用户面部图像。

随后电子设备将当前画面帧中的当前人体图像特征点设定为当前画面帧的参考人体图像特征点，以便下一画面帧进行调用。

在步骤S211中，如前一画面帧为跟踪画面帧，则电子设备可直接采集前一画面帧展示的用户人体图像的参考人体图像特征点。

在步骤S212中，电子设备基于前一画面帧展示的用户人体图像的参考人体图像特征点，在当前画面帧中查找对应的当前人体图像特征点。即使用前一画面帧的图像特征点在当前画面帧查找对应的图像特征点。由于部分特征点随着全景画面中物体的移动会丢失，因此当前人体图像特征点的数量小于等于参考人体图像特征点的数量。

在步骤S213中，电子设备基于当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，具体可基于当前人体图像特征点的位置找到用户面部特征框的位置，然后将用户面部特征框中的图像作为用户面部图像。

随后电子设备将当前画面帧中的当前人体图像特征点设定为当前画面帧的参考人体图像特征点，以便下一画面帧进行调用。

在步骤S214中，电子设备将当前画面帧中对应的用户面部图像和已展示的用户面部图像进行匹配，以确定需要更新的已展示的用户面部图像。

在步骤S215中，电子设备使用待展示的用户面部图像对匹配的已展示的用户面部图像进行更新操作。

这样即完成了本实施例的跟踪画面帧的用户面部图像的展示过程。

将全景画面中的所有检测画面帧以及跟踪画面帧的用户面部图像展示完毕，即完成了本实施例的全景画面展示方法的全景画面中的用户面部图像的展示过程。

在第一实施例的基础上，本实施例的基于分帧处理的全景画面展示方法通过用户动作信息以及声音音量信息提高了检测画面帧的用户面部图像的识别准确性；通过用户人体画面对图像特征点进行扩充，提高了跟踪画面帧的用户面部图像的识别准确性。

本实施例中，是由人工设置好全景画面的每个画面帧的类型，如第4n+1帧为检测画面帧，第4n+2、4n+3以及4n+4帧为跟踪画面帧，由于每个跟踪画面帧均有可能会丢失部分图像特征点，因此同一检测画面帧对应的跟踪画面帧可通过设定数量进行限定，如1个检测画面帧对应3个跟踪画面帧等。这样可有效的提高全景画面中用户面部图像展示的整体展示质量，不会由于跟踪画面证对应的图像特征点较少导致无法查找到对应的用户面部图像区域。同时由于跟踪画面帧的用户面部图像的展示操作消耗的系统资源较少，因此整体的全景画面展示方法消耗的系统资源也较少，提高了画面展示效率。

此外这里还可基于当前画面帧的当前人体图像特征点与前一画面帧的参考人体图像特征点之间的匹配特征点数量来确定当前画面帧的类型。

如匹配特征点数量大于前一画面帧的参考人体图像特征点数量的设定比例(如90％或95％)，即代表当前画面帧的当前人体图像特征点与前一画面帧的参考人体图像特征点差异较小，可继续使用前一画面帧的参考人体图像特征点来协助展示当前画面帧的用户面部图像，即可当前画面帧继续设定为跟踪画面帧进行用户面部图像的展示。

如匹配特征点数量小于等于前一画面帧的参考人体图像特征点数量的设定比例，即代表当前画面帧的当前人体图像特征点与前一画面帧的参考人体图像特征点差异较大，即将当前画面帧设定为检测画面帧，通过对全景画面的当前画面帧进行图像识别来实现用户面部图像的展示。

本发明还提供一种基于分帧处理的全景画面展示装置，请参照图4，图4为本发明的全景画面展示装置的第一实施例的结构示意图，本实施例的全景画面展示装置可使用上述的基于分帧处理的全景画面展示方法的第一实施例进行实施，本实施例的全景画面展示装置40包括检测画面帧展示模块41以及跟踪画面帧展示模块42。

检测画面帧展示模块41用于如当前画面帧为检测画面帧时，根据当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对待展示的用户面部图像进行展示操作；跟踪画面帧展示模块42用于如当前画面帧为跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于参考面部图像特征点，在跟踪画面帧中获取对应的用户面部图像；使用当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。

请参照图5，图5为本发明的全景画面展示装置的第一实施例的检测画面帧展示模块的结构示意图。该检测画面帧展示模块41包括画面以及声音信息获取单元51、人脸识别单元52、对比单元53以及第一展示单元54。

画面以及声音信息获取单元51用于获取当前画面帧的全景画面信息以及全景声音信息；人脸识别单元52用于对全景画面信息进行人脸识别操作，以获取当前场景的用户面部图像以及对应的图像位置信息；对比单元53用于将图像位置信息以及声音位置信息进行对比操作，以获取待展示的用户面部图像；第一展示单元54用于根据待展示的用户面部图像和已展示的用户面部图像，对当前画面帧中的至少部分用户的用户面部图像进行展示。

请参照图6，图6为本发明的全景画面展示装置的第一实施例的跟踪画面帧展示模块的结构示意图。该跟踪画面帧展示模块42包括参考面部图像特征点获取单元61、当前面部图像特征点查找单元62以及用户面部图像获取单元63。

参考面部图像特征点获取单元61用于获取前一画面帧展示的用户面部图像的参考面部图像特征点；当前面部图像特征点查找单元62用于基于前一画面帧展示的用户面部图像的参考面部图像特征点，在当前画面帧中查找对应的当前面部图像特征点；用户面部图像获取单元63用于基于当前面部图像特征点，获取当前画面帧中的用户面部图像，并将当前画面帧中的当前面部图像特征点设定为当前画面帧的参考面部图像特征点。

本实施例的全景画面展示装置40使用时，首先全景画面展示装置40获取需要播放的全景画面，随后检测需要展示的当前画面帧的画面帧类型，该画面帧类型可为检测画面帧或跟踪画面帧。

如当前画面帧为检测画面帧，则检测画面帧展示模块41的画面以及声音信息获取单元51获取当前画面帧的全景画面信息以及全景声音信息。其中全景画面信息以及全景声音信息由全景相机进行采集，全景画面信息包括以全景相机为中心360度范围内的画面信息，全景声音信息包括以全景相机为中心360度范围内的声音信息，其中全景画面信息包括用于表示画面信息对应的位置信息的画面位置信息，全景声音信息包括用于表示声音信息对应的位置信息的声音位置信息。

随后检测画面帧展示模块41的人脸识别单元52对获取的全景画面信息进行人脸识别操作，从而可获取当前场景中所有用户的用户面部图像以及该用户面部图像在全景画面中对应的图像位置信息。

这里的人脸识别可通过用户的面部特征点(如五官等)进行人脸识别，也可通过用户的面部轮廓进行人脸识别，设置通过人脸在人体的相对位置关系进行人脸识别等。

然后检测画面帧展示模块41的对比单元53将获取的图像位置信息与获取的声音位置信息(这里默认当前只有一个用户正在发言，即当前全景声音信息只有一个声音位置信息)进行对比操作，即将用户面部图像的图像位置信息与全景声音信息的声音位置信息进行位置比对，将匹配的图像位置信息对应的用户面部图像作为待展示的用户面部图像。

最后检测画面帧展示模块41的第一展示单元54对获取的待展示的用户面部图像进行展示操作，可根据待展示的用户面部图像和已展示的用户面部图像，对当前画面帧中的至少部分用户的用户面部图像进行展示。

具体的，检测画面帧展示模块41的第一展示单元54可按设定图像大小对待展示的用户面部图像进行调整，以使得调整后的用户面部图像可较好的通过固定形状的用户展示位进行展示操作。

如当前画面帧为跟踪画面帧，则跟踪画面帧展示模块42的参考面部图像特征点获取单元61获取前一画面帧展示的用户面部图像的参考面部图像特征点。这里的参考面部图像特征点为前一画面帧的用于表征用户面部图像的特征点。

跟踪画面帧展示模块42的当前面部图像特征点查找单元62通过当前画面帧中查找对应的参考面部图像特征点，以获取当前画面帧中的当前面部图像特征点，由于部分特征的不匹配，当前画面帧中可以查找到的特征点少于等于前一画面帧中的特征点，因此当前面部图像特征点的数量小于等于参考面部图像特征点的数量。

随后跟踪画面帧展示模块42的用户面部图像获取单元63基于获取的当前面部图像特征点，还原当前画面帧中的用户面部图像，并对该用户面部图像进行展示操作。

最后跟踪画面帧展示模块42的用户面部图像获取单元63将当前画面帧中的当前面部图像特征点设定为当前画面帧的参考面部图像特征点，以便下一画面帧进行调用。

这样即完成了本实施例的全景画面展示装置40的全景画面中的用户面部图像的展示过程。

本实施例的基于分帧处理的全景画面展示装置对检测画面帧进行用户人脸识别，对跟踪画面帧进行面部图像跟踪，可有效的保证每帧画面中的人脸画面展示效果，避免跳帧现象的发生，进而提高了画面展示效率。

请参照图7，图7为本发明的全景画面展示装置的第二实施例的结构示意图。本实施例的全景画面展示装置可使用上述的基于分帧处理的全景画面展示方法的第二实施例进行实施，本实施例的全景画面展示装置70包括检测画面帧展示模块71以及跟踪画面帧展示模块72。

在第一实施例的基础上，本实施例的跟踪画面帧展示模块72包括参考面部图像特征点获取单元81、第一参考人体图像特征点获取单元82、第一当前人体图像特征点查找单元83、第一用户面部图像获取单元84、第二参考人体图像特征点获取单元85、第二当前人体图像特征点查找单元86、第二用户面部图像获取单元87以及第二展示单元88。具体结构请参照图8，图8为本发明的全景画面展示装置的第二实施例的跟踪画面帧展示模块的结构示意图。

参考面部图像特征点获取单元81用于如前一画面帧为检测画面帧，则采集前一画面帧展示的用户面部图像的参考面部图像特征点；第一参考人体图像特征点获取单元82用于根据前一画面帧展示的用户面部图像的参考面部图像特征点，获取对应的用户人体图像的参考人体图像特征点；第一当前人体图像特征点查找单元83用于基于参考人体图像特征点，在当前画面帧中查找对应的当前人体图像特征点；第一用户面部图像获取单元84用于基于当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，并将当前画面帧中的当前人体图像特征点设定为所述当前画面帧的参考人体图像特征点；第二参考人体图像特征点获取单元85用于如前一画面帧为跟踪画面帧，获取前一画面帧展示的用户人体图像的参考人体图像特征点；第二当前人体图像特征点查找单元86用于基于前一画面帧展示的用户人体图像的参考人体图像特征点，在当前画面帧中查找对应的当前人体图像特征点；第二用户面部图像获取单元87用于基于当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，并将当前画面帧中的当前人体图像特征点设定为当前画面帧的参考人体图像特征点；第二展示单元88用于将当前画面帧中对应的用户面部图像和已展示的用户面部图像进行匹配；使用当前画面帧中对应的用户面部图像，对匹配的已展示的用户面部图像进行更新操作。

请参照图9，图9为本发明的全景画面展示装置的第二实施例的跟踪画面帧展示模块的第一参考人体图像特征点获取单元的结构示意图。该第一参考人体图像特征点获取单元82包括用户面部特征框构成子单元91、人体图像特征采集区域设置子单元92以及参考人体图像特征点采集子单元93。

用户面部特征框构成子单元91用于基于用户面部图像的参考面部图像特征点构成用户面部特征框；人体图像特征采集区域设置子单元92用于将用户面部特征框向画面帧的下方平移至少一个框位，将平移经过的区域以及用户面部特征框的区域设置为用户人体图像特征采集区域；参考人体图像特征点采集子单元93用于在用户人体图像特征采集区域中，采集对应的用户人体图像的参考人体图像特征点。

本实施例的全景画面展示装置70使用时，首先全景画面展示装置70获取需要播放的全景画面，随后检测需要展示的当前画面帧的画面帧类型，该画面帧类型可为检测画面帧或跟踪画面帧。

如当前画面帧为检测画面帧，检测画面帧展示模块71的画面以及声音信息获取单元获取当前画面帧的全景画面信息以及全景声音信息。

检测画面帧展示模块71的人脸识别单元对获取的全景画面信息进行人脸识别操作，从而可获取当前场景中所有用户的用户面部图像。随后把用户面部图像在全景画面中的画面位置信息作为用户面部图像的图像位置信息。

检测画面帧展示模块71的对比单元获取所有的全景声音信息；随后确认全景声音信息的声音位置信息匹配的图像位置信息，即当声音位置信息与图像位置信息的位置差异值小于设定值时，对比单元认定声音位置信息与该图像位置信息匹配。随后对比单元将匹配的图像位置信息对应的用户面部图像作为待展示的用户面部图像。

检测画面帧展示模块71的第一展示单元根据获取的待展示的用户面部图像以及已展示的用户面部图像，对当前画面帧中的至少部分用户的用户面部图像进行展示。

具体的，第一展示单元可将待展示的用户面部图像和已展示的用户面部图像进行匹配，这样可以对确定需要更新的已展示的用户面部图像。

随后第一展示单元使用待展示的用户面部图像对匹配的已展示的用户面部图像进行更新操作，如待展示的用户面部图像未匹配任何已展示的用户面部图像，则使用待展示的用户面部图像替换一已展示的用户面部图像进行展示。

这样即完成了检测画面帧展示模块71的用户面部图像的展示过程。

如当前画面帧为跟踪画面帧，跟踪画面帧展示模块72会确定前一画面帧的类型。

如前一画面帧为检测画面帧，由于前一画面帧通过画面像素检测来获取用户面部图像，因此其获取的用户面部图像的准确性较高，跟踪画面帧展示模块72的参考面部图像特征点获取单元81可直接采集前一画面帧展示的用户面部图像的参考面部图像特征点。

由于全景画面中的人物可能会产生转头或被遮挡等情况，因此仅仅基于用户面部图像的参考面部图像特征点进行用户面部图像的跟踪，在某些情况下容易出现参考面部图像特征点全部丢失的情况。

跟踪画面帧展示模块72的第一参考人体图像特征点获取单元82会根据前一画面帧展示的用户面部图像的参考面部图像特征点，获取对应的用户人体图像的参考人体图像特征点，以增加用户面部图像对应的图像特征点的数量。

获取参考人体图像特征点的步骤包括：

第一参考人体图像特征点获取单元82的用户面部特征框构成子单元91基于用户面部图像的参考图像特征点构成用户面部特征框。

第一参考人体图像特征点获取单元82的人体图像特征采集区域设置子单元92将用户面部特征框向画面帧的下方平移至少一个框位(即用户的脖子到身体的位置)，将平移经过的区域以及用户面部特征框的区域均设置为用户人体图像特征采集区域。

在获取的用户人体图像特征采集区域中，第一参考人体图像特征点获取单元82的参考人体图像特征点采集子单元93采集对应的用户人体图像的参考人体图像特征点。

这样参考人体图像特征点的数量远远大于参考面部图像特征点的数量，且参考人体图像特征点的部分特征点更加不容易受到人的动作以及遮挡物的影响。

跟踪画面帧展示模块72的第一当前人体图像特征点查找单元83基于获取的参考人体图像特征点，在当前画面帧中查找对应的当前人体图像特征点。即使用前一画面帧的图像特征点在当前画面帧查找对应的图像特征点。由于部分特征点随着全景画面中物体的移动会丢失，因此当前人体图像特征点的数量小于等于参考人体图像特征点的数量。

跟踪画面帧展示模块72的第一用户面部图像获取单元84基于当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，具体可基于当前人体图像特征点的位置找到用户面部特征框的位置，然后将用户面部特征框中的图像作为用户面部图像。

随后第一用户面部图像获取单元84将当前画面帧中的当前人体图像特征点设定为当前画面帧的参考人体图像特征点，以便下一画面帧进行调用。

如前一画面帧为跟踪画面帧，则跟踪画面帧展示模块72的第二参考人体图像特征点获取单元85可直接采集前一画面帧展示的用户人体图像的参考人体图像特征点。

跟踪画面帧展示模块72的第二当前人体图像特征点查找单元86基于前一画面帧展示的用户人体图像的参考人体图像特征点，在当前画面帧中查找对应的当前人体图像特征点。即使用前一画面帧的图像特征点在当前画面帧查找对应的图像特征点。由于部分特征点随着全景画面中物体的移动会丢失，因此当前人体图像特征点的数量小于等于参考人体图像特征点的数量。

跟踪画面帧展示模块72的第二用户面部图像获取单元87基于当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，具体可基于当前人体图像特征点的位置找到用户面部特征框的位置，然后将用户面部特征框中的图像作为用户面部图像。

随后第二用户面部图像获取单元87将当前画面帧中的当前人体图像特征点设定为当前画面帧的参考人体图像特征点，以便下一画面帧进行调用。

跟踪画面帧展示模块72的第二展示单元88将当前画面帧中对应的用户面部图像和已展示的用户面部图像进行匹配，以确定需要更新的已展示的用户面部图像。

第二展示单元88使用待展示的用户面部图像对匹配的已展示的用户面部图像进行更新操作。

这样即完成了跟踪画面帧展示模块72的用户面部图像的展示过程。

将全景画面中的所有检测画面帧以及跟踪画面帧的用户面部图像展示完毕，即完成了本实施例的全景画面展示装置70的全景画面中的用户面部图像的展示过程。

在第一实施例的基础上，本实施例的基于分帧处理的全景画面展示装置通过用户动作信息以及声音音量信息提高了检测画面帧的用户面部图像的识别准确性；通过用户人体画面对图像特征点进行扩充，提高了跟踪画面帧的用户面部图像的识别准确性。

下面通过一具体实施例说明本发明的基于分帧处理的全景画面展示方法及全景画面展示装置的具体工作原理。请参照图10，图10为本发明的全景画面展示方法及全景画面展示装置的具体实施例的流程图。本实施例的全景画面展示装置设置在用于接收全景画面、并对全景画面进行展示的固定终端110上。

该固定终端110展示全景画面中的用户面部图像的步骤包括：

步骤S1001，固定终端110逐帧接收全景画面，并对接收的全景画面的画面帧的类型进行识别，全景画面的画面帧的示意图可如图11a所示。固定终端110的显示屏使用一个全景画面展示位1101和四个固定用户展示位1102进行用户面部图像展示。

步骤S1002，如当前画面帧为检测画面帧111，固定终端110获取当前画面帧的全景画面信息以及全景声音信息。

步骤S1003，固定终端110对获取的全景画面信息进行人脸识别操作，并获取当前画面帧中所有用户的用户面部图像；随后把用户面部图像在全景画面中的画面位置信息作为用户面部图像的图像位置信息。

步骤S1004，固定终端110获取所有的全景声音信息，随后确认全景声音信息的声音位置信息匹配的图像位置信息，并将匹配的图像位置信息对应的用户面部图像作为待展示的用户面部图像。

步骤S1005，固定终端100使用固定用户展示位对待展示的用户面部图像进行展示。其中展示用户面部图像的固定用户展示位可高亮显示，其他固定用户展示位展示的用户面部图像可直接基于对应的全景画面信息中对应区域的用户面部图像进行更新，全景画面展示位可展示整个全景画面。具体如图11b所示。

步骤S1006，随后固定终端获取下一画面帧，下一画面帧为跟踪画面帧112，由于前一帧画面为检测画面帧，固定终端可直接获取前一帧画面的四个固定用户展示位展示的用户面部图像的参考面部图像特征点。

步骤S1007，固定终端生成前一帧画面展示的用户面部图像的用户面部特征框。具体如图11c的a区域所示。

步骤S1008，固定终端将用户面部特征框向画面帧的下方平移一个框位，得到用户人体图像特征采集区域。具体如图11c的b区域所示。

步骤S1009，固定终端根据用户人体图像特征采集区域中的参考人体图像特征点，生成前一帧画面的参考人体图像特征点。

步骤S1010，固定终端在当前画面帧中查找与参考人体图像特征点对应的当前人体图像特征点，并根据当前人体图像特征点获取当前画面帧中的用户面部图像；随后将当前画面帧中的当前人体图像特征点设定为当前画面帧的参考人体图像特征点，以便下一画面帧进行调用。

步骤S1011，固定终端对步骤S1010获取的当前画面帧中的用户面部图像进行展示，由于固定终端根据前一帧画面展示的用户面部图像的特征点获取当前画面帧的用户面部图像，因此这里固定终端仅仅是对已展示的用户面部图像进行更新。具体如图11d所示。

步骤S1012，随后固定终端获取下一画面帧，下一画面帧为跟踪画面帧113，由于前一帧画面为跟踪画面帧，固定终端可直接调用前一画面帧的四个固定用户展示位展示的用户面部图像的参考人体图像特征点。

步骤S1013，固定终端在当前画面帧中查找与参考人体图像特征点对应的当前人体图像特征点，并根据当前人体图像特征点获取当前画面帧中的用户面部图像。随后将当前画面帧中的当前人体图像特征点设定为当前画面帧的参考人体图像特征点，以便下一画面帧进行调用。

步骤S1014，固定终端对步骤S1013获取的当前画面帧中的用户面部图像进行展示，由于固定终端根据前一帧画面展示的用户面部图像的特征点获取当前画面帧的用户面部图像，因此这里固定终端仅仅是对已展示的用户面部图像进行更新。

步骤S1015，随后固定终端获取下一画面帧，下一画面帧为检测画面帧114，此时固定终端可丢弃之前的画面帧的用户面部图像，再次获取当前画面帧的全景画面信息以及全景声音信息，以获取到待展示的用户面部图像。

步骤S1016，固定终端使用固定用户展示位对待展示的用户面部图像进行展示。如当前的固定用户展示位已全部使用，则将待展示的用户面部图像替换展示更新时间最长的已展示的用户面部图像，并对更新后的固定用户展示位进行高亮显示。其他固定用户展示位展示的用户面部图像可直接基于对应的全景画面信息中对应区域的用户面部图像进行更新，全景画面展示位可展示整个全景画面。具体如图11e所示。

这样依次进行检测画面帧以及跟踪画面帧中的用户面部图像的展示操作，从而完成了整个全景画面的用户面部图像的展示操作。

本发明的基于分帧处理的全景画面展示方法及装置对检测画面帧进行用户人脸识别，对跟踪画面帧进行面部图像跟踪，可有效的保证每帧画面中的人脸画面展示效果，避免跳帧现象的发生，进而提高了画面展示效率；有效解决了现有的全景画面展示方法以及装置容易出现跳帧现象，进而影响画面展示效率的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

图12和随后的讨论提供了对实现本发明所述的全景画面展示装置所在的电子设备的工作环境的简短、概括的描述。图12的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1212包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图12图示了包括本发明的全景画面展示装置中的一个或多个实施例的电子设备1212的实例。在一种配置中，电子设备1212包括至少一个处理单元1216和存储器1218。根据电子设备的确切配置和类型，存储器1218可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图12中由虚线1214图示。

在其他实施例中，电子设备1212可以包括附加特征和/或功能。例如，设备1212还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图12中由存储装置1220图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1220中。存储装置1220还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1218中由例如处理单元1216执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1218和存储装置1220是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1212访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1212的一部分。

电子设备1212还可以包括允许电子设备1212与其他设备通信的通信连接1226。通信连接1226可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备1212连接到其他电子设备的其他接口。通信连接1226可以包括有线连接或无线连接。通信连接1226可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备1212可以包括输入设备1224，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1212中也可以包括输出设备1222，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1224和输出设备1222可以经由有线连接、无线连接或其任意组合连接到电子设备1212。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1212的输入设备1224或输出设备1222。

电子设备1212的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中，电子设备1212的组件可以通过网络互连。例如，存储器1218可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1228访问的电子设备1230可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1212可以访问电子设备1230并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1212可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1212处执行并且一些指令可以在电子设备1230处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种画面帧更新方法，其特征在于，包括：

采集所述前一画面帧展示的用户人体图像的参考人体图像特征点；

基于所述前一画面帧展示的用户人体图像的参考人体图像特征点，在所述当前画面帧中查找对应的当前人体图像特征点；所述当前人体图像特征点的数量小于等于所述参考人体图像特征点的数量；

基于所述当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，并将所述当前画面帧中的当前人体图像特征点设定为所述当前画面帧的参考人体图像特征点；

将所述当前画面帧中对应的用户面部图像和已展示的用户面部图像进行匹配；

使用所述当前画面帧中对应的用户面部图像，对匹配的已展示的用户面部图像进行更新操作。

2.根据权利要求1所述的画面帧更新方法，其特征在于，所述画面帧包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；

如前一画面帧为检测画面帧，则所述采集所述前一画面帧展示的用户人体图像的参考人体图像特征点的步骤包括：

采集所述前一画面帧展示的用户面部图像的参考面部图像特征点；

根据所述前一画面帧展示的用户面部图像的参考面部图像特征点，获取对应的用户人体图像的参考人体图像特征点。

3.根据权利要求2所述的画面帧更新方法，其特征在于，所述根据所述前一画面帧展示的用户面部图像的参考面部图像特征点，获取对应的用户人体图像的参考人体图像特征点的步骤包括：

基于所述用户面部图像的参考面部图像特征点构成用户面部特征框；

将所述用户面部特征框向画面帧的下方平移至少一个框位，将平移经过的区域以及所述用户面部特征框的区域设置为用户人体图像特征采集区域；

在所述用户人体图像特征采集区域中，采集对应的用户人体图像的参考人体图像特征点。

4.根据权利要求1所述的画面帧更新方法，其特征在于，所述画面帧包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；

如前一画面帧为跟踪画面帧，则所述采集所述前一画面帧展示的用户人体图像的参考人体图像特征点的步骤为：

获取所述前一画面帧展示的用户人体图像的参考人体图像特征点。

5.根据权利要求1所述的画面帧更新方法，其特征在于，所述基于所述当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像的步骤为：

基于当前人体图像特征点的位置找到用户面部特征框的位置，然后将用户面部特征框中的图像作为用户面部图像。

6.根据权利要求2或4所述的画面帧更新方法，其特征在于，

如匹配特征点数量大于前一画面帧的参考人体图像特征点数量的设定比例，使用前一画面帧的参考人体图像特征点来协助展示当前画面帧的用户面部图像；

如匹配特征点数量小于等于前一画面帧的参考人体图像特征点数量的设定比例，将当前画面帧设定为检测画面帧，通过对全景画面的当前画面帧进行图像识别来实现用户面部图像的展示。

7.根据权利要求6所述的画面帧更新方法，其特征在于，所述画面帧更新方法还包括步骤：

使用固定用户展示位对待展示的用户面部图像进行展示。

8.根据权利要求7所述的画面帧更新方法，其特征在于，所述使用固定用户展示位对待展示的用户面部图像进行展示的步骤为：

如当前的固定用户展示位已全部使用，则将待展示的用户面部图像替换展示更新时间最长的已展示的用户面部图像，并对更新后的固定用户展示位进行高亮显示。

9.一种画面帧更新装置，其特征在于，包括：

第一参考人体图像特征点获取单元，用于采集所述前一画面帧展示的用户人体图像的参考人体图像特征点；

第一当前人体图像特征点查找单元，用于基于所述前一画面帧展示的用户人体图像的参考人体图像特征点，在所述当前画面帧中查找对应的当前人体图像特征点；所述当前人体图像特征点的数量小于等于所述参考人体图像特征点的数量；

第一用户面部图像获取单元，用于基于所述当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，并将所述当前画面帧中的当前人体图像特征点设定为所述当前画面帧的参考人体图像特征点；

第二展示单元，用于将所述当前画面帧中对应的用户面部图像和已展示的用户面部图像进行匹配；使用所述当前画面帧中对应的用户面部图像，对匹配的已展示的用户面部图像进行更新操作。

10.一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述任一的画面帧更新方法。

Images