CN112862859B - 一种人脸特征值创建方法、人物锁定追踪方法及显示设备 - Google Patents

Abstract

本申请公开了一种人脸特征值创建方法、人物锁定追踪方法及显示设备，由控制器根据摄像头采集的人物图像信息进行特定动作识别，确定锁定追踪人物；创建锁定追踪人物的人脸特征值。在进行锁定追踪时，如果锁定追踪人物在人物图像信息中消失，则重新创建当前人脸特征值，计算当前人脸特征值与人脸特征值的特征相似度，将锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物，对锁定追踪人物进行锁定追踪。可见，本发明提供的方法及显示设备，先创建与锁定追踪人物对应的人脸特征值，通过人脸特征值可以有效识别丢失前后图像识别的是否为同一个人，进而可以保证锁定追踪人物因移动导致识别丢失后仍可连续追踪，保证追踪有效性。

Description

一种人脸特征值创建方法、人物锁定追踪方法及显示设备

本申请要求于2020年8月21日提交国家知识产权局申请号为202010847711.8的中国专利申请的优先权。其全部内容通过结合引用结合在本申请中。

技术领域

本申请涉及智能电视技术领域，尤其涉及一种人脸特征值创建方法、人物锁定追踪方法及显示设备。

背景技术

显示设备，例如智能电视，以及带有智能显示屏幕的产品等，智能显示设备中配置有智能软件系统，智能软件系统可以实现多种功能和预装多种应用程序，给用户提供丰富内容服务。例如，显示设备上可以设置有摄像头等图像采集设备，通过摄像头获取用户图像，并配合“肢体运动”应用程序，使显示设备能够实时显示用户身体图像。当用户肢体动作发生变化时，应用程序会也会显示变化后的图像，并通过检测程序对肢体动作的形态进行检测、矫正，达到运动指导的效果。

带有摄像头的显示设备中配置的“肢体运动”应用程序包括视频通话、AI健身及摄像头人像追踪等。例如，在健身跟练模式下，若存在多人场景，需要利用摄像头的转动对锁定的某一人进行跟踪，并对动作进行打点，生成跟练数据，统计跟练结果。

目前，对人的动作进行跟踪的方式通常由摄像头采集人的肢体信息来实现，摄像头采集到人的肢体信息会生成对应的ID，以标识肢体信息，实现肢体跟随。但是，由于人与显示设备之间的距离一般较远，摄像头拍摄到的肢体图像占据屏幕的比例较小，使得前后帧图像内移动距离会较大，比如人在屏幕前快速走动，极易会导致人物的识别丢失。若在人识别丢失后再次重新识别，会重新生成一个新的ID，导致同一个人的前后ID不一致，即将该人物作为不同的人进行跟随，无法做到追踪的有效性。

发明内容

本申请提供了一种人脸特征值创建方法、人物锁定追踪方法及显示设备，以解决现有的方法无法做到有效追踪的问题。

第一方面，本申请提供了一种显示设备，包括：

显示器，被配置为呈现用户界面；

摄像头，被配置为采集人物在使用摄像头应用时产生的人物图像信息；

与所述显示器和所述摄像头连接的控制器，所述控制器被配置为：

获取所述摄像头采集的人物图像信息；

识别所述人物图像信息，确定锁定追踪人物，以及，创建所述锁定追踪人物的面部特征信息和特定肢体ID信息；

将所述锁定追踪人物的特定肢体ID信息和面部特征信息建立关联关系，得到所述锁定追踪人物的人脸特征值。

本申请一些实施例中，所述控制器在执行所述识别所述人物图像信息，确定锁定追踪人物，被进一步配置为：

提取所述人物图像信息中人物的肢体关键点，确定人物的肢体关键点信息；

对所述人物的肢体关键点信息进行肢体动作识别；

如果所述人物的肢体关键点信息对应的肢体动作与特定动作一致，则将所述人物确定为锁定追踪人物。

本申请一些实施例中，所述控制器被进一步配置为：

如果所述锁定追踪人物持续处于所述人物图像信息中，则基于所述人脸特征值对所述锁定追踪人物进行锁定追踪。

本申请一些实施例中，所述控制器在执行所述基于所述人脸特征值对所述锁定追踪人物进行锁定追踪，被进一步配置为：

在所述摄像头应用为AI健身应用时，确定所述锁定追踪人物为健身人员；

基于所述健身人员的人脸特征值，持续采集所述健身人员基于用户界面中呈现的示范视频进行跟练的跟练动作信息；

基于所述跟练动作信息生成跟练画面，显示在所述用户界面中，所述跟练画面显示在所述示范视频所在画面的一侧。

本申请一些实施例中，所述控制器在执行所述基于所述人脸特征值对所述锁定追踪人物进行锁定追踪，被进一步配置为：

在所述摄像头应用为视频通话应用时，确定所述锁定追踪人物为视频通话人员；

在所述视频通话人员移动时，基于所述视频通话人员的人脸特征值，调整所述摄像头的拍摄角度，以使所述视频通话人员持续处于所述摄像头的采集区域内。

本申请一些实施例中，所述控制器被进一步配置为：

在基于所述人脸特征值对所述锁定追踪人物进行锁定追踪时，如果所述锁定追踪人物在所述人物图像信息中消失，则获取所述摄像头采集的当前人物图像信息；

基于所述当前人物图像信息中的当前人物重新创建当前人脸特征值；

如果所述当前人脸特征值与所述人脸特征值的特征相似度满足阈值条件，则将所述锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物。

本申请一些实施例中，所述控制器被进一步配置为：

在基于所述人脸特征值对所述锁定追踪人物进行锁定追踪时，提取所述人物图像信息中人物的肢体ID信息；

如果提取到的肢体ID信息中不存在所述人脸特征值中的特定肢体ID信息，则确定所述锁定追踪人物在所述人物图像信息中消失。

第二方面，本申请还提供了一种显示设备，包括：

显示器，被配置为呈现用户界面；

摄像头，被配置为采集人物在使用摄像头应用时产生的人物图像信息；

存储器，被配置为存储在确定锁定追踪人物时创建的人脸特征值；

与所述显示器、摄像头和所述存储器连接的控制器，所述控制器被配置为：

获取锁定追踪人物的人脸特征值和所述摄像头采集的人物图像信息；

如果所述锁定追踪人物在所述人物图像信息中消失，则基于所述人物图像信息中的当前人物重新创建当前人脸特征值；

如果所述当前人脸特征值与所述人脸特征值的特征相似度满足阈值条件，则将所述锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物；

基于所述当前人脸特征值，对所述锁定追踪人物进行锁定追踪。

本申请一些实施例中，所述控制器在确定所述锁定追踪人物在所述人物图像信息中消失，被进一步配置为：

提取所述人物图像信息中人物的肢体ID信息和人脸特征值中的特定肢体ID信息；

如果所述肢体ID信息中不存在所述特定肢体ID信息，则确定所述锁定追踪人物在所述人物图像信息中消失。

本申请一些实施例中，所述控制器在执行所述基于所述当前人脸特征值，对所述锁定追踪人物进行锁定追踪，被进一步配置为：

在所述摄像头应用为AI健身应用时，确定所述锁定追踪人物为健身人员；

基于所述健身人员的人脸特征值，持续采集所述健身人员基于用户界面中呈现的示范视频进行跟练的跟练动作信息；

基于所述跟练动作信息生成跟练画面，显示在所述用户界面中，所述跟练画面显示在所述示范视频所在画面的一侧。

本申请一些实施例中，所述控制器在执行所述基于所述当前人脸特征值，对所述锁定追踪人物进行锁定追踪，被进一步配置为：

在所述摄像头应用为视频通话应用时，确定所述锁定追踪人物为视频通话人员；

在所述视频通话人员移动时，基于所述视频通话人员的人脸特征值，调整所述摄像头的拍摄角度，以使所述视频通话人员持续处于所述摄像头的采集区域内。

第三方面，本申请还提供了一种人脸特征值创建方法，所述方法包括：

获取所述摄像头采集的人物图像信息；

识别所述人物图像信息，确定锁定追踪人物，以及，创建所述锁定追踪人物的面部特征信息和特定肢体ID信息；

将所述锁定追踪人物的特定肢体ID信息和面部特征信息建立关联关系，得到所述锁定追踪人物的人脸特征值。

第四方面，本申请还提供了一种人物锁定追踪方法，所述方法包括：

获取锁定追踪人物的人脸特征值和所述摄像头采集的人物图像信息；

如果所述锁定追踪人物在所述人物图像信息中消失，则基于所述人物图像信息中的当前人物重新创建当前人脸特征值；

如果所述当前人脸特征值与所述人脸特征值的特征相似度满足阈值条件，则将所述锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物；

基于所述当前人脸特征值，对所述锁定追踪人物进行锁定追踪。

第五方面，本申请还提供了一种存储介质，该计算机存储介质可存储有程序，该程序执行时可实现包括本申请提供的人脸特征值创建方法和人物锁定追踪方法各实施例中的部分或全部步骤。

由以上技术方案可知，本发明实施例提供的一种人脸特征值创建方法、人物锁定追踪方法及显示设备，由控制器根据摄像头采集的人物图像信息进行特定动作识别，确定锁定追踪人物；根据锁定追踪人物对应的特点肢体ID信息和面部特征信息，创建锁定追踪人物的人脸特征值。在进行锁定追踪时，如果锁定追踪人物在所述人物图像信息中消失，则基于人物图像信息中的当前人物重新创建当前人脸特征值，计算当前人脸特征值与人脸特征值的特征相似度，将锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物，并根据当前人脸特征值，对锁定追踪人物进行锁定追踪。可见，本发明实施例提供的显示设备，先创建与锁定追踪人物对应的人脸特征值，通过人脸特征值可以有效识别丢失前后图像识别的是否为同一个人，进而可以保证锁定追踪人物因移动导致识别丢失后仍可连续追踪，保证追踪有效性。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图；

图2中示例性示出了根据一些实施例的显示设备200的硬件配置框图；

图3中示例性示出了根据一些实施例的控制设备100的硬件配置框图；

图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图；

图5中示例性示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示示意图；

图6中示例性示出了根据一些实施例的人脸特征值创建方法的数据流图；

图7中示例性示出了根据一些实施例的人脸特征值创建方法的流程图；

图8中示例性示出了根据一些实施例的AI健身场景下人物图像信息的显示示意图；

图9中示例性示出了根据一些实施例的视频通话场景下人物图像信息的显示示意图；

图10(a)中示例性示出了根据一些实施例的单人AI健身场景下进行人物锁定追踪的显示示意图；

图10(b)中示例性示出了根据一些实施例的多人AI健身场景下的多人图像示意图；

图11中示例性示出了根据一些实施例的单人视频通话场景下的显示示意图；

图12中示例性示出了根据一些实施例的多人视频通话场景下调整摄像头的示意图；

图13中示例性示出了根据一些实施例的人物锁定追踪方法的数据流图；

图14中示例性示出了根据一些实施例的人物锁定追踪方法的流程图；

图15中示例性示出了根据一些实施例的存在人物识别丢失的显示示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1示出了根据一些实施例的显示设备的使用场景。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。

在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。

在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。

图2示出了根据一些实施例的控制装置100的硬件配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。

在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3示出了根据一些实施例的显示设备200的硬件配置框图。参见图3，在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

CPU处理器，用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。

在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。

图4示出了根据一些实施例的显示设备200中软件配置图。参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，提供器(Content Provider)、网络管理系统等，其中管理器包括以下模块中的至少一个：活动管理器(Activity Manager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(Notification Manager)用于控制通知消息的显示和清除；窗口管理器(WindowManager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图。在一些实施例中，显示设备启动后可以直接进入预置的视频点播程序的界面，视频点播程序的界面可以如图5中所示，至少包括导航栏510和位于导航栏510下方的内容显示区，内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示，也可以在导航栏中的应用控件被选中后进行进一步显示。

在一些实施例中，显示设备启动后可以直接进入上次选择的信号源的显示界面，或者信号源选择界面，其中信号源可以是预置的视频点播程序，还可以是HDMI接口，直播电视接口等中的至少一种，用户选择不同的信号源后，显示器可以显示从不同信号源获得的内容。

在一些实施例中，在利用显示设备进行视频通话、AI健身及摄像头人像追踪等场景时，由于人物会在显示设备的前方移动位置，可能造成出画现象。如果人物发现自己出画，则会再次走进摄像头的拍摄区域，使得人物图像再次出现。

若在上述场景中，存在多人同时入画的情况，此时，为便于实现人物追踪，通常需要指定某一人进行追踪(摄像头人像追踪场景下)，追踪某一人的跟练结果(AI健身场景下)，或者云台摄像头跟踪某一人转动(视频通话场景下)。以AI健身场景为例，在健身跟练模式下，需要对锁定的某一人进行跟踪，并对动作进行打点，生成跟练数据，统计跟练结果。

如果在手机场景下，人脸或者肢体离屏幕较近，人脸或肢体在屏幕中占比较大，每帧图像检测到的人物图像相对移动距离较小，一般不会产生丢失(出画)现象。而显示设备不同于手机场景，在人与显示设备交互时，人与显示设备的距离一般较远，人脸或肢体的屏占比较小，前后帧图像内移动距离会较大，比如人在屏幕前快速走动，极易会导致人物的识别丢失，即产生出画现象。

由于当前健身功能多基于肢体信息进行肢体跟随，摄像头实现人像跟随功能通常通过识别人脸或肢体等作为识别依据。不管是肢体或者人脸信息，每次识别到均会生成一个ID作为识别的肢体或人脸的标识。

但是，当识别丢失后重新识别，即人物出画又重新入画，会重新生成一个新ID信息，造成同一个人的前后ID不一致，这样对于健身或者摄像头追踪特定人物时，产生丢失会造成不可逆，也就无法对同一个人做到追踪的有效性。

为实现对同一个人的锁定追踪，本发明实施例提供一种显示设备，可实现基于人脸特征值进行人物锁定追踪，解决AI图像检测算法在连续图像中人脸或者肢体有较大的移动时会产生丢失，重新再检测出人脸或肢体会重新识别成另外一个ID，造成前后没有一致性，无法保持追踪的问题。也就是说，针对同一个人，不管执行多少次出画入画动作，均会识别为同一个人进行连续追踪，不会出现识别丢失现象，提高追踪有效性。

具体地，本发明实施例提供一种显示设备，为解决在人物快速移动过程中，检测人物容易丢失，重新识别后无法识别之前锁定追踪人物的问题，提出了一种基于人脸特征值的图像人物锁定追踪方法。

该方法的主要过程是在摄像头图像识别过程中，首先通过特定动作触发人物锁定(比如健身通过肢体叉腰，云台摄像头人脸跟踪可以通过摆头等，叉腰可以通过肢体识别功能输出的肢体关键点进行判断)，锁定特定动作对应的人，实现对作出特定动作的人的锁定追踪。

为此，本发明实施例提供一种显示设备，包括控制器以及与控制器通信连接的显示器和摄像头，摄像头用于采集人物在使用摄像头应用时产生的人物图像信息，显示器用于呈现显示有人物图像信息的用户界面，控制器用于对摄像头采集的人物图像信息进行处理，并显示在用户界面中。控制器在执行基于人脸特征值的图像人物锁定追踪方法时，需先创建人脸特征值，再基于人脸特征值执行人物锁定追踪方法。

图6中示例性示出了根据一些实施例的人脸特征值创建方法的数据流图；图7中示例性示出了根据一些实施例的人脸特征值创建方法的流程图。在执行人脸特征值创建方法时，参见图6和图7，本发明实施例提供的一种显示设备，其控制器被配置为下述步骤：

S11、获取摄像头采集的人物图像信息。

由于可同时与显示设备进行交互的人物可为一个或多个，因此，在至少一个人物与显示设备进行交互时，例如，至少一个人物在利用显示设备进行视频通话、AI健身或摄像头人像追踪等时，摄像头实时进行图像采集。摄像头采集到的人物图像信息包括至少一个人物的图像信息，从图像信息中可读取到该人物的肢体动作和面部特征信息等。

S12、识别人物图像信息，确定锁定追踪人物，以及，创建锁定追踪人物的面部特征信息和特定肢体ID信息。

在存在多个人物与显示设备进行交互时，或者，在初始时刻只有一个人物与显示设备进行交互，但在交互过程中又存在其他人物出现在摄像头的拍摄区域范围内时，这种多人交互场景下导致显示设备无法确定以哪一个人物的指令作为控制指令进行响应，即无法确定以哪一个人物作为特定人物进行追踪，因此，需要在进行交互时确定锁定追踪人物。锁定追踪人物是与显示设备进行交互的其中一个人物，后续交互时仅响应该锁定追踪人物产生的指令。

为实现对同一个人物进行锁定追踪，需在多个人物与显示设备交互时，选定其中一个人物作为锁定追踪人物。若仅有一个人物与显示设备进行交互，则锁定追踪人物即为该人物。在确定锁定追踪人物时，可根据每个人物是否做出特定动作来进行判断，而人物的动作识别可根据该人物的肢体关键点信息来确定。

在一些实施例中，控制器在执行识别人物图像信息，确定锁定追踪人物，被进一步配置为执行下述步骤：

步骤121、提取人物图像信息中人物的肢体关键点，确定人物的肢体关键点信息。

步骤122、对人物的肢体关键点信息进行肢体动作识别。

步骤123、如果人物的肢体关键点信息对应的肢体动作与特定动作一致，则将人物确定为锁定追踪人物。

在人物需要以自己为锁定追踪人物时，该人物可通过肢体做出特定动作，该特定动作可预先设置。在确定锁定追踪人物时，通常以触发相应交互功能的人物作为锁定追踪人物，而可以触发相应功能的方式可采用特定的肢体动作的形式。例如，在实现AI健身功能时，特定的肢体动作可为叉腰等；在实现云台摄像头人脸跟踪功能时，特定的肢体动作可为摆头等。为此，将产生上述动作以启动某个功能的人物作为锁定追踪人物。特定动作是指人物可实现显示设备某个功能时所作出的肢体动作。

其中，叉腰或摆头动作等可以通过肢体识别功能输出的肢体关键点进行判断。将识别到的相邻肢体关键点连线，可形成线条图形，由识别到的线条图形作为对应人物的肢体动作。

为确定每个人物的肢体动作，可对摄像头采集到的人物图像信息进行识别，提取人物图像信息中人物的肢体关键点，以确定人物的肢体关键点信息，通过肢体关键点信息产生对应的肢体动作。若当前有多个人物与显示设备进行互动，则摄像头采集到的人物图像信息中包括多个人物的图像信息。

肢体关键点可选定头部、脸部、身体、肩膀、手臂、膝盖、眼睛、手腕、脚腕等部分，以其中一个部分作为指定肢体部位对人物图像信息进行识别检测。若选定其中一个肢体部位为指定肢体部位，则对指定肢体部位进行打点，根据得到的多个打点部位，得到肢体关键点信息。

将肢体关键点信息进行肢体动作识别，即将肢体关键点信息中包括的多个打点部位连成线条图形，即可得到该人物作出的肢体动作。

例如，若以脸部作为指定肢体部位时，则识别检测人物图像信息中脸部的存在数量，若脸部数量为一个，则人物图像信息中仅包括一个人物的图像；若脸部数量为多个，则人物图像信息中包括多个人物的图像。

若某个肢体部位通常成对出现，例如肩膀、手臂、膝盖、眼睛、手腕、脚腕等部分，则将识别到的所有肢体部位的总数量除以2，即为人物图像信息中包括的人物的数量。例如，以肩膀为指定肢体部位，若检测到存在10个肩膀，来自五个人物，则可确定人物图像信息中包括五个人物。

若当前有多个人物与显示设备进行互动，则对人物图像信息进行识别检测时，可以得到多个人物对应的肢体关键点信息，进而得到多个人物对应的肢体动作。

肢体动作是指人物摆动身体的肢体，如胳膊、腿、手掌或头部等，而产生的动作。人物若要与显示设备交互实现某一特定功能，例如，AI健身功能、摄像头人脸跟踪功能或视频通话功能等，需要以特定的肢体动作的方式启动。在摄像头的拍摄区域内，每个人物的肢体动作可能不同，但会存在某个人物的肢体动作可以启动特定功能的动作。

因此，将每个人物的肢体动作与特定动作进行对比，若其中一个人物的肢体动作与某一个特定动作相匹配，则将该人物的肢体动作确定为特定动作，并将产生特定动作的人物作为锁定追踪人物。

图8中示例性示出了根据一些实施例的AI健身场景下人物图像信息的显示示意图。在一些实施例中，参见图8，摄像头采集到包括三个人物的人物图像信息，分别对人物图像信息中的三个人物的肢体动作进行识别。如果识别到2#人物的肢体动作为叉腰，则判定叉腰动作与启动AI健身功能的特定动作相匹配，则将2#人物确定为锁定追踪人物。

图9中示例性示出了根据一些实施例的视频通话场景下人物图像信息的显示示意图。在一些实施例中，参见图9，摄像头采集到包括三个人物的人物图像信息，分别对人物图像信息中的三个人物的肢体动作进行识别。如果识别到3#人物的肢体动作为摆头，则判定摆头动作与启动视频通话功能的特定动作相匹配，则将3#人物确定为锁定追踪人物。

在一些实施例中，为对人物图像信息中的每个人物进行区分，进而对确定出的锁定追踪人物进行标识，以便于能够对锁定追踪人物进行持续的追踪，需要为该锁定追踪人物建立特定肢体ID信息。

为对每个人物进行区分和标识，在对人物图像信息进行识别检测时，可创建每个人物对应的肢体ID信息，肢体ID信息用于标定不同的与显示设备进行交互的人物。在一些实施例中，肢体ID信息可采用编号的形式实现，因此，可对检测到的多个人物按照一定的顺序进行编号，并为每个人物生成对应的肢体ID信息，即一个人物对应一个编号，一个人物对应一个肢体ID信息。

例如，如果当前有五个人正与显示设备进行交互，摄像头可同时采集到包括五个人物图像的人物图像信息，分别为该五个人物创建肢体ID信息，即分别为五个人进行编号，分别为1#、2#、3#、4#、5#。

在一些实施例中，为每个人物生成对应的肢体ID信息的过程，可执行在初次控制器对每个人物的肢体关键点检测的过程中，即控制器对人物图像信息进行肢体关键点的初次检测过程中，确定每个人物对应的肢体ID信息。后续控制器再次对人物的肢体关键点进行检测时，则用于与初次生成的肢体ID信息进行对比，以便于对同一个人物进行锁定追踪。

例如，以头部作为指定肢体部位，若人物图像信息中识别到五个肢体关键点信息，则确定人物图像信息中包括五个人的图像，则为该五个人进行编号，每个人物对应的肢体ID信息分别为1#、2#、3#、4#、5#。

编号顺序可基于人物图像信息中按照人物所在位置从左到右的顺序进行编号，或者按照从右到左的顺序进行编号，具体的编号顺序还可用户自定义，本实施例不做具体限定。

因此，在与显示设备进行交互的多个人物中确定出锁定追踪人物后，可根据每个人物的肢体ID信息，获取锁定追踪人物对应的肢体ID，将锁定追踪人物对应的肢体ID作为特定肢体ID信息，特定肢体ID信息用于实现对锁定追踪人物进行锁定追踪。

在一些实施例中，为建立人脸特征值，需要对锁定追踪人物的面部提取特征信息。为此，需要先从包括多个人物图像的人物图像信息中截取出锁定追踪人物的面部图像，再提取面部特征信息。

在一些实施例中，控制器在执行基于人物图像信息中锁定追踪人物对应的面部图像，提取锁定追踪人物的面部特征信息，被进一步配置为执行下述步骤：在人物图像信息中，截取与特定肢体ID信息对应的锁定追踪人物的面部图像；基于锁定追踪人物的面部图像，提取锁定追踪人物的面部特征信息。

锁定追踪人物的特定肢体ID信息生成后，会同步存储到人物图像信息中，且存储的特定肢体ID信息与人物图像信息中锁定追踪人物的图像相对应，因此，在识别人物图像信息时，可基于特定肢体ID信息，查找到锁定追踪人物的图像，进而在该图像中截取出锁定追踪人物的面部图像。

面部图像可为包括人物五官在内的图像，提取面部图像的52维数字序列，将面部图像中呈现的人物五官转换为数字信息进行表示，因此，由锁定追踪人物的面部图像，提取锁定追踪人物的面部特征信息，该面部特征信息包括用数字化表示的人物五官特征值。

S13、将锁定追踪人物的特定肢体ID信息和面部特征信息建立关联关系，得到锁定追踪人物的人脸特征值。

由于每个人物具有各自的面部特征信息，且不同人物的面部特征信息不同。因此，可由面部特征信息对每个人物进行识别，若识别到相同或相似的面部特征信息，即可将其识别为同一个人物。

由于在通常情况下，在锁定追踪人物走出画面时，其对应的特定肢体ID信息即丢失，即人物出画后删除对应的特定肢体ID信息。若该人物又重新走进画面，则重新生成对应的肢体ID信息，易出现将同一个人识别为两个人的情况。

因此，在一些实施例中，将锁定追踪人物的特定肢体ID信息和面部特征信息建立关联关系，由相互关联的特定肢体ID信息和面部特征信息作为锁定追踪人物的人脸特征值，以对锁定追踪人物进行标识，面部特征信息不会因人物出画而被删除，会一直保存在控制器中。

由于摄像头在持续拍摄人物图像信息，在完成人脸特征值创建后，控制器可根据摄像头拍摄的实时人物图像信息对每个人物进行识别，根据特定肢体ID信息和面部特征信息确定锁定追踪人物，并对锁定追踪人物进行追踪。

在基于面部特征信息进行识别时，即使同一个人物出画又入画，但由于先后两个图像中的面部特征信息相同，显示设备也不会将其识别为两个人，因此，可以保证对该人物的锁定追踪。其中，先后两个图像是指人物出画又入画，即特定肢体ID信息丢失前后对应的图像。

在一些实施例中，在确定出锁定追踪人物的人脸特征值后，如果锁定追踪人物持续处于人物图像信息中，则基于人脸特征值对锁定追踪人物进行锁定追踪。例如，在AI健身场景下，可持续采集锁定追踪人物的跟练结果并显示在用户界面中；在视频通话场景下，摄像头可根据锁定追踪人物的位置变化调整拍摄角度。

在一些实施例中，在AI健身场景下，控制器在执行基于人脸特征值对锁定追踪人物进行锁定追踪，被进一步配置为执行下述步骤：

步骤1311、在摄像头应用为AI健身应用时，确定锁定追踪人物为健身人员。

步骤1312、基于健身人员的人脸特征值，持续采集健身人员基于用户界面中呈现的示范视频进行跟练的跟练动作信息。

步骤1313、基于跟练动作信息生成跟练画面，显示在用户界面中，跟练画面显示在示范视频所在画面的一侧。

在实现AI健身场景时，同时利用显示设备配置的AI健身功能的人物可为一个或多个，若人物为一个时，该健身的人物即为锁定追踪人物。显示器的用户界面中呈现示范视频，便于健身人员进行跟练。

此时，摄像头应用为AI健身应用，AI健身应用调用摄像头始终采集锁定追踪人物的跟练动作，并显示在显示器中的用户界面中。

图10(a)中示例性示出了根据一些实施例的单人AI健身场景下进行人物锁定追踪的显示示意图。参见图10(a)所示，在健身人物为一个时，锁定追踪人物即为该健身人员。由于摄像头采集的人物图像信息中仅包括该人物的图像信息，因此，可基于该健身人员的人脸特征值，持续采集健身人员跟随示范视频进行跟练时产生的跟练动作信息。根据跟练动作信息生成跟练画面，显示在用户界面中，跟练画面显示在示范视频所在画面的一侧。

图10(b)中示例性示出了根据一些实施例的多人AI健身场景下的多人图像示意图。参见图10(b)所示，在健身人物为多个人时，摄像头采集到包括多个健身人员的当前人物图像信息，以包括三个健身人员为例，分别为1#、2#、3#，基于当前人物图像信息中的每个健身人员重新创建对应的当前人脸特征值。如果其中一个健身人员2#的当前人脸特征值与之前创建的人脸特征值的特征相似度满足阈值条件(阈值可设定为90％)，则将锁定追踪人物确定为特征相似度满足阈值条件对应的当前健身人员2#。

而后基于锁定追踪人物(健身人员2#)的人脸特征值，持续采集健身人员2#跟随示范视频进行跟练的跟练动作信息。根据跟练动作信息生成跟练画面，显示在用户界面中，跟练画面显示在示范视频所在画面的一侧。此时，用户界面中仅会显示锁定追踪人物的跟练画面，而其他人物的跟练画面不会显示，可参照图10(a)所示内容。

可见，在实现AI健身场景时，可根据锁定追踪人物的人脸特征值，持续采集该人物的跟练动作信息；或者，在存在多个人物同时进行AI健身时，可确定出需要进行追踪的锁定追踪人物，并再根据锁定追踪人物的人脸特征值，持续采集该锁定追踪人物的跟练动作信息。在基于人脸特征值进行追踪时，无论该锁定追踪人物是始终处于摄像头的拍摄区域内，还是经过出画又入画的过程，均可以根据人脸特征值在当前人物产生变化后的人物中确定出锁定追踪人物，进行实现锁定追踪，进而可以保证锁定追踪人物因移动导致识别丢失后仍可连续追踪，保证追踪有效性。

在一些实施例中，控制器还可根据摄像头采集的锁定追踪人物的跟练动作信息，与相同时刻示范视频中所呈现的示范动作进行对比，生成跟练数据。如果健身人员的跟练动作与示范动作的相似度超过阈值(可设定为60％)时，可得到健身达标的跟练数据；如果健身人员的跟练动作与示范动作的相似度低于阈值时，可得到健身不达标的跟练数据。最后根据健身时长所生成的数个跟练数据统计跟练结果，可在该锁定追踪人物结束健身后，将该跟练结果呈现在用户界面中，便于该锁定追踪人物查看。

在一些实施例中，在视频通话场景下，控制器在执行基于人脸特征值对锁定追踪人物进行锁定追踪，被进一步配置为：

步骤1321、在摄像头应用为视频通话应用时，确定锁定追踪人物为视频通话人员。

步骤1322、在视频通话人员移动时，基于视频通话人员的人脸特征值，调整摄像头的拍摄角度，以使视频通话人员持续处于摄像头的采集区域内。

在实现视频通话场景时，同时利用显示设备配置的视频通话功能的人物可为一个或多个，若人物为一个时，该视频通话人员即为锁定追踪人物。此时，摄像头应用为视频通话应用，用户界面中呈现视频通话界面。视频通话应用调用摄像头始终采集锁定追踪人物的位置信息，以在锁定追踪人物出现位置变化时，为保证该人物的图像始终位于视频通话界面中，可实时调整摄像头的拍摄角度。

图11中示例性示出了根据一些实施例的单人视频通话场景下的显示示意图。参见图11所示，在利用显示设备进行视频通话的人物为一个时，则锁定追踪人物为该视频通话人员，视频通话的对方画面显示在用户界面中，锁定追踪人物的本端视频画面显示在对方画面的一侧。由于摄像头采集的人物图像信息中仅包括该人物的图像信息，因此，可基于该视频通话人员的人脸特征值，持续采集视频通话人员的图像信息，以基于图像信息识别视频通话人员的位置。若识别到视频通话人员的位置发生变化，则根据位置变化方向和程度调整摄像头的拍摄角度，以使视频通话人员持续处于摄像头的采集区域内。调整摄像头拍摄角度的示意图可参照图12所示内容。

图12中示例性示出了根据一些实施例的多人视频通话场景下调整摄像头的示意图。参见图12所示，在利用显示设备进行视频通话的人物为多个时，摄像头采集到包括多个视频通话人员的当前人物图像信息，以包括三个视频通话人员为例，本端视频画面中显示1#、2#、3#视频通话人员，基于当前人物图像信息中的每个视频通话人员重新创建对应的当前人脸特征值。如果其中一个视频通话人员1#的当前人脸特征值与之前创建的人脸特征值的特征相似度满足阈值条件(阈值可设定为90％)，则将锁定追踪人物确定为特征相似度满足阈值条件对应的当前视频通话人员1#。

而后基于该视频通话人员1#的人脸特征值，持续采集视频通话人员1#的图像信息，以基于图像信息识别视频通话人员的位置。若识别到视频通话人员的位置发生变化，则根据位置变化方向和程度调整摄像头的拍摄角度，以使视频通话人员1#持续处于摄像头的采集区域内。

例如，参见图12中(a)所示，如果视频通话人员1#位于正中间位置，则摄像头的拍摄角度为正中；参见图12中(b)所示，如果视频通话人员1#向左移动，则向左调整摄像头的拍摄角度(3#人物出画)；参见图12中(c)所示，如果视频通话人员1#向右移动，则向右调整摄像头的拍摄角度(2#人物出画)。而其他视频通话人员的位置变化并不会触发摄像头的拍摄角度的改变，因此，若视频通话人员1#移动的位置较大，则其他视频通话人员可能会显示在视频通话界面的一侧，或出画。

可见，在实现视频通话场景时，可根据锁定追踪人物的人脸特征值，持续采集该人物的图像信息；或者，在存在多个人物同时进行视频通话时，可确定出需要进行追踪的锁定追踪人物，并再根据锁定追踪人物的人脸特征值，持续采集该锁定追踪人物的图像信息。根据采集的锁定追踪人物的图像信息，识别该锁定追踪人物的位置变化，并在产生位置变化时实时调整摄像头的拍摄角度。在基于人脸特征值进行追踪时，无论该锁定追踪人物是始终处于摄像头的拍摄区域内，还是经过出画又入画的过程，均可以根据人脸特征值在当前人物产生变化后的人物中确定出锁定追踪人物，进行实现锁定追踪，进而可以保证锁定追踪人物因移动导致识别丢失后仍可连续追踪，保证追踪有效性。

在一些实施例中，使用显示设备的人物可能会出现出画又入画的情况，此时，每个人物的肢体ID信息发生变化，为保证能够始终对锁定追踪人物进行锁定追踪，控制器被进一步配置为执行下述步骤：

步骤141、在基于人脸特征值对锁定追踪人物进行锁定追踪时，如果锁定追踪人物在人物图像信息中消失，则获取摄像头采集的当前人物图像信息。

步骤142、基于当前人物图像信息中的当前人物重新创建当前人脸特征值。

步骤143、如果当前人脸特征值与人脸特征值的特征相似度满足阈值条件，则将锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物。

在基于锁定追踪人物的人脸特征值进行锁定追踪时，如果锁定追踪人物始终处于人物图像信息中，则说明摄像头采集到的人物并未发生变化，此时，可实现对锁定追踪人物进行锁定追踪。如果锁定追踪人物在人物图像信息中消失，说明摄像头采集到的人物发生变化，此时，无法实现对锁定追踪人物进行锁定追踪。

为准确确定在锁定追踪人物消失的情况下，是重新确定一个新的锁定追踪人物，还是检测锁定追踪人物是否重新进入摄像头的采集区域，需要重新对采集到的当前人物图像信息中的人物重新创建当前人脸特征值。

在一些实施例中，在判断锁定追踪人物在人物图像信息中消失时，控制器被进一步配置为执行下述步骤：

步骤1411、在基于人脸特征值对锁定追踪人物进行锁定追踪时，提取人物图像信息中人物的肢体ID信息。

步骤1412、如果提取到的肢体ID信息中不存在人脸特征值中的特定肢体ID信息，则确定锁定追踪人物在人物图像信息中消失。

在摄像头的采集区域内，每个人物均对应一个肢体ID信息，因此，根据摄像头实时采集到的人物图像信息，确定每个人物的肢体ID信息。同时，在锁定追踪人物的人脸特征值中解析出特定肢体ID信息，将特定肢体ID信息与每个人物的肢体ID信息进行对比。

若存在一个人物的肢体ID信息与特点肢体ID信息对比一致，说明提取到的肢体ID信息中存在人脸特征值中的特定肢体ID信息，则确定锁定追踪人物始终在人物图像信息中；若每一个人物的肢体ID信息与特点肢体ID信息对比均不一致，说明提取到的肢体ID信息中不存在人脸特征值中的特定肢体ID信息，则确定锁定追踪人物始终在人物图像信息中消失。

在锁定追踪人物在人物图像信息中消失时，需要对采集到的当前人物图像信息中的人物重新创建当前人脸特征值，因此，获取摄像头采集的当前人物图像信息。创建人脸特征值的方法可参照前述实施例的内容，此处不再赘述。

由于锁定追踪人物出画又入画时，其对应的肢体ID信息发生变化，但其面部特征信息并不会改变。因此，为准确判断当前的人物中是否存在锁定追踪人物，可将每个人物重新创建的当前人脸特征值与锁定追踪人物的人脸特征值进行对比，并计算特征相似度。

在一些实施例中，由于人脸特征值包括肢体ID信息和面部特征信息，而肢体ID信息随人物的出画又入画而改变，因此，在对比人脸特征值时，主要是基于面部特征信息进行对比，即计算每个人物的当前面部特征信息与锁定追踪人物的面部特征信息的特征相似度，进行相似度对比。

如果当前人脸特征值与人脸特征值的特征相似度满足阈值条件(阈值可设为90％)，说明当前的人物中存在锁定追踪人物，即该锁定追踪人物经过出画又入画的过程，则将锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物。

此时，将重新创建的当前人脸特征值替换原人脸特征值，并作为当前人物(锁定追踪人物)进行锁定追踪的人脸特征值。而后基于当前人脸特征值实现对锁定追踪人物的锁定追踪。

如果每个当前人脸特征值与人脸特征值的特征相似度均不满足阈值条件(阈值可设为90％)，说明当前的人物中不存在锁定追踪人物，即锁定追踪人物消失，不再执行锁定追踪过程。

可见，本发明实施例提供的显示设备，在创建人脸特征值时，识别摄像头采集的人物图像信息，以确定锁定追踪人物，并根据锁定追踪人物的特定肢体ID信息和面部特征信息创建锁定追踪人物的人脸特征值。在进行锁定追踪时，通过人脸特征值可以有效识别丢失前后图像识别的是否为同一个人，进而可以保证锁定追踪人物因移动导致识别丢失后仍可连续追踪，保证追踪有效性。

在一些实施例中，在实现某个功能场景下，例如，在AI健身场景或视频通话场景下，完成人脸特征值创建后，显示设备即可根据人脸特征值在同一功能场景下执行人物锁定追踪方法。

图13中示例性示出了根据一些实施例的人物锁定追踪方法的数据流图；图14中示例性示出了根据一些实施例的人物锁定追踪方法的流程图。本发明实施例提供的一种显示设备，包括：。显示器，被配置为呈现用户界面；摄像头，被配置为采集人物在使用摄像头应用时产生的人物图像信息；存储器，被配置为存储在确定锁定追踪人物时创建的人脸特征值；与显示器、摄像头和存储器连接的控制器，参见图13和图14，在执行人物锁定追踪方法时，其配置的控制器被配置为执行下述步骤：

S21、获取锁定追踪人物的人脸特征值和摄像头采集的人物图像信息。

在一个或多个人物与显示设备进行交互时，摄像头实时拍摄人物图像信息。在初始拍摄时刻，即启动某个特定功能的初始时刻，控制器基于人物图像信息创建人脸特征值。而后控制器基于初始时刻创建的人脸特征值，实时对某个锁定追踪人物进行锁定追踪。

在至少一个人物与显示设备进行交互时，则摄像头采集到的人物图像信息中包括至少一个人物的图像。

S22、如果锁定追踪人物在人物图像信息中消失，则基于人物图像信息中的当前人物重新创建当前人脸特征值。

在创建人脸特征值后采集到人物图像信息后，需先判断锁定追踪人物是否一直处于人物图像信息中，或者，从人物图像信息中消失，以便于确定锁定追踪人物是否出现出画又入画的现象。

在一些实施例中，控制器在确定锁定追踪人物在人物图像信息中消失，被进一步配置为：

步骤211、提取人物图像信息中人物的肢体ID信息和人脸特征值中的特定肢体ID信息；

步骤212、如果肢体ID信息中不存在特定肢体ID信息，则确定锁定追踪人物在人物图像信息中消失。

控制器在跟随锁定追踪人物时，可基于摄像头实时且连续拍摄的人物图像信息中，识别到每个人物的肢体ID信息。在摄像头的采集区域内，每个人物均对应一个肢体ID信息，因此，根据摄像头实时采集到的人物图像信息，确定每个人物的肢体ID信息。同时，在锁定追踪人物的人脸特征值中解析出特定肢体ID信息。

由于多个人物在与显示设备进行交互时，每个人物可能会产生位置移动，这将导致存在至少一个人物会出现出画又入画(识别丢失)的情况。因此，为判定是否存在出画又入画的情况，即判定是否存在识别丢失情况，需在当前采集的人物图像信息中提取每个人物的肢体ID信息。

对人物图像信息进行肢体ID信息检测，如果在摄像头的连续拍摄下，没有任何人物走出画面又重新进入画面，则检测到的每个人物的肢体ID信息是不变的；但是，若存在至少一个人物走出过画面又进入画面，则该人物的肢体ID信息丢失，而重新入画后该人物的肢体ID信息将会改变。因此，将最新检测到的每个人物的肢体ID信息与在启动某个特定功能时创建的人脸特征值进行匹配，人脸特征值包括相互对应的特定肢体ID信息和面部特征信息。将特定肢体ID信息与每个人物的肢体ID信息进行对比，以判断是否存在人物出画又入画(识别丢失)。

若存在一个人物的肢体ID信息与特点肢体ID信息对比一致，说明提取到的肢体ID信息中存在人脸特征值中的特定肢体ID信息，则确定锁定追踪人物始终在人物图像信息中，说明摄像头采集的多个人物均未产生出画又入画情况，即每个人物始终位于摄像头的拍摄区域内，此时，可判定人物图像信息中存在特定肢体ID信息。例如，若特定肢体ID信息对应的编号为2#，而基于当前人物图像信息识别得到的每个人物的肢体ID信息为1#、2#、3#、4#、5#，此时存在2#人物对应的肢体ID信息与特定肢体ID信息相同，则判定人物图像信息中存在特定肢体ID信息。若人物图像信息中存在特定肢体ID信息，说明摄像头拍摄区域内的多个人物并未产生较大的位置变化，即并未走出过画面，未发生识别丢失情况，此时，摄像头可继续拍摄，实现对锁定追踪人物的持续追踪。

若每一个人物的肢体ID信息与特点肢体ID信息对比均不一致，说明提取到的肢体ID信息中不存在人脸特征值中的特定肢体ID信息，则确定锁定追踪人物始终在人物图像信息中消失，即说明摄像头采集的某个人物产生出画又入画的情况，即该人物并未始终位于摄像头的拍摄区域内，此时，可判定人物图像信息中不存在特定肢体ID信息(识别丢失)。例如，若特定肢体ID信息对应的编号为2#，而基于当前人物图像信息识别得到的每个人物的肢体ID信息为1#、3#、4#、5#、6#。可见，当前的每个肢体ID信息与特定肢体ID信息均不相同，则判定人物图像信息中不存在特定肢体ID信息。

由于肢体ID信息以编号的形式实现，因此，若没有人物出画又入画，则每个人物对应的编号不变。若存在至少一个人物出画又入画，则将重新入画的人物重新编号(原始编号丢失)，编号顺序为以前一时刻图像中已存在编号的后续号码进行编号。

图15中示例性示出了根据一些实施例的存在人物识别丢失的显示示意图。例如，参见图15中(a)，人物图像信息中存在五个人物的肢体ID信息，编号分别为1#、2#、3#、4#、5#。参见图15中(b)和(c)，若2#人物出画又入画(识别丢失)，则再次识别新采集到的人物图像信息时，将重新入画的2#人物识别为6#人物，将2#人物的肢体ID信息丢失，即改变该人物的肢体ID信息，此时，识别到的五个人物的肢体ID信息，编号分别为1#、3#、4#、5#、6#。

将以最新的每个人物的肢体ID信息，以对当前采集到的人物图像信息中的每个人物进行标识。例如，2#人物的肢体ID信息由原来的2#替换为当前的6#。

在锁定追踪人物在人物图像信息中消失时，人物图像信息中不存在特定肢体ID信息，说明摄像头拍摄区域内的多个人物中存在一个人物曾经产生过较大位置变化，即走出过画面又重新入画。而由于每个人物的肢体ID信息会随相应人物的出画入画识别结果而变化，也就是说，发生出画入画的人物也可能为锁定追踪人物。此时，为准确判断出与特定肢体ID信息不匹配的人物是否为锁定追踪人物，需要对采集到的当前人物图像信息中的人物重新创建当前人脸特征值。因此，获取每个人物的面部特征信息，并根据当前的每个人物的肢体ID信息，重新创建每个人物对应的当前人脸特征值。创建人脸特征值的方法可参照前述实施例的内容，此处不再赘述。

S23、如果当前人脸特征值与人脸特征值的特征相似度满足阈值条件，则将锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物。

S24、基于当前人脸特征值，对锁定追踪人物进行锁定追踪。

由于锁定追踪人物出画又入画时，其对应的肢体ID信息发生变化，但其面部特征信息并不会改变。因此，为准确判断当前的人物中是否存在锁定追踪人物，可将每个人物重新创建的当前人脸特征值与锁定追踪人物的人脸特征值进行对比，并计算特征相似度。

在一些实施例中，由于人脸特征值包括肢体ID信息和面部特征信息，而肢体ID信息随人物的出画又入画而改变，因此，在对比人脸特征值时，主要是基于面部特征信息进行对比，即计算每个人物的当前面部特征信息与锁定追踪人物的面部特征信息的特征相似度，进行相似度对比。

为准确判断出与特定肢体ID信息不匹配的人物是否为锁定追踪人物，需要继续对该人物进行面部特征信息匹配。每个人的面部特征信息单一存在，相互人物之间的面部特征信息不相同，可将面部特征信息作为该人物的标识信息。因此，需对当前采集到的人物图像信息进行面部特征信息提取，若人物图像信息中包括多个人物的图像，则可得到每个人物对应的面部特征信息。

在人物图像信息中不存在特定肢体ID信息时，为判断新采集的人物图像信息中包括的每个人物的面部特征信息是否为锁定追踪人物的人脸特征值中的面部特征信息时，采用计算当前每个人物的面部特征信息与人脸特征值中的面部特征信息的特征相似度。

由于一个面部特征信息对应一个人物，而不同人物的面部特征信息差异较大，因此，可通过计算特征相似度的方式判断摄像头采集的人物是否发生变化，即判断当前摄像头采集的人物中是否存在锁定追踪人物。

将当前每个人物的面部特征信息与人脸特征值中的面部特征信息的特征相似度，作为当前人脸特征值与人脸特征值的特征相似度。每个人物的面部特征信息(当前人脸特征值)对应一个特征相似度，将每个特征相似度与阈值进行对比。在一些实施例中，如果两个面部特征信息来自同一个人物，则特征相似度将大于90％，因此，可设定阈值为0.9。

若当前人物图像信息中识别到的每个面部特征信息中，存在一个面部特征信息对应的特征相似度超过阈值(如0.9)，则可判定该特征相似度对应的面部特征信息所属人物可能与锁定追踪人物为同一个人，此时，将当前识别到的肢体ID信息作为该人物的新特定肢体ID信息，并基于新特定肢体ID信息对锁定追踪人物进行持续追踪。

例如，在初始识别的锁定追踪人物为2#人物，且该人物存在出画又入画(识别丢失)的场景下，获取当前人物图像信息中每个人物产生的特征相似度，以五个人物为例，特征相似度分别为α₁、α₃、α₄、α₅、α₆。其中，2#人物对应的特定肢体ID信息在该人物出画时丢失。

将每个特征相似度与阈值(如0.9)进行对比，若6#人物的特征相似度α₆大于阈值，则将6#人物确定为锁定追踪人物，即6#人物与2#人物为同一个人，并将6#人物的肢体ID信息更新为锁定追踪人物的新特定肢体ID信息，后续以6#人物的肢体ID信息继续实现对原2#人物(锁定追踪人物)的锁定追踪。

如果当前人脸特征值与人脸特征值的特征相似度满足阈值条件(阈值可设为90％)，说明当前的人物中存在锁定追踪人物，即该锁定追踪人物经过出画又入画的过程，则将锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物。

此时，将重新创建的当前人脸特征值替换原人脸特征值，并作为当前人物(锁定追踪人物)进行锁定追踪的人脸特征值。而后基于当前人脸特征值实现对锁定追踪人物的锁定追踪。

如果每个当前人脸特征值与人脸特征值的特征相似度均不满足阈值条件(阈值可设为90％)，说明当前的人物中不存在锁定追踪人物，即锁定追踪人物消失，不再执行锁定追踪过程。

在一些实施例中，若当前人物图像信息中识别到的每个面部特征信息中，不存在任何人物对应的面部特征信息产生的特征相似度超过阈值(如0.9)，即每个面部特征信息产生的特征相似度均小于阈值，则说明当前摄像头采集的人物中并不包括锁定追踪人物，此时，可由摄像头继续采集人物图像信息。

在一些实施例中，在确定出锁定追踪人物的人脸特征值后，如果锁定追踪人物持续处于人物图像信息中，则基于人脸特征值对锁定追踪人物进行锁定追踪。例如，在AI健身场景下，可持续采集锁定追踪人物的跟练结果并显示在用户界面中；在视频通话场景下，摄像头可根据锁定追踪人物的位置变化调整拍摄角度。

在一些实施例中，在AI健身场景下，控制器在执行基于人脸特征值对锁定追踪人物进行锁定追踪，被进一步配置为执行下述步骤：

步骤2411、在摄像头应用为AI健身应用时，确定锁定追踪人物为健身人员。

步骤2412、基于健身人员的人脸特征值，持续采集健身人员基于用户界面中呈现的示范视频进行跟练的跟练动作信息。

步骤2413、基于跟练动作信息生成跟练画面，显示在用户界面中，跟练画面显示在示范视频所在画面的一侧。

在实现AI健身场景时，同时利用显示设备配置的AI健身功能的人物可为一个或多个，若人物为一个时，该健身的人物即为锁定追踪人物。显示器的用户界面中呈现示范视频，便于健身人员进行跟练。

此时，摄像头应用为AI健身应用，AI健身应用调用摄像头始终采集锁定追踪人物的跟练动作，并显示在显示器中的用户界面中。

再次参见图10(a)所示，在健身人物为一个时，锁定追踪人物即为该健身人员。由于摄像头采集的人物图像信息中仅包括该人物的图像信息，因此，可基于该健身人员的人脸特征值，持续采集健身人员跟随示范视频进行跟练时产生的跟练动作信息。根据跟练动作信息生成跟练画面，显示在用户界面中，跟练画面显示在示范视频所在画面的一侧。

再次参见图10(b)所示，在健身人物为多个人时，摄像头采集到包括多个健身人员的当前人物图像信息，以包括三个健身人员为例，分别为1#、2#、3#，基于当前人物图像信息中的每个健身人员重新创建对应的当前人脸特征值。如果其中一个健身人员2#的当前人脸特征值与之前创建的人脸特征值的特征相似度满足阈值条件(阈值可设定为90％)，则将锁定追踪人物确定为特征相似度满足阈值条件对应的当前健身人员2#。

而后基于锁定追踪人物(健身人员2#)的人脸特征值，持续采集健身人员2#跟随示范视频进行跟练的跟练动作信息。根据跟练动作信息生成跟练画面，显示在用户界面中，跟练画面显示在示范视频所在画面的一侧。此时，用户界面中仅会显示锁定追踪人物的跟练画面，而其他人物的跟练画面不会显示，可参照图10(a)中所示内容。

可见，在实现AI健身场景时，可根据锁定追踪人物的人脸特征值，持续采集该人物的跟练动作信息；或者，在存在多个人物同时进行AI健身时，可确定出需要进行追踪的锁定追踪人物，并再根据锁定追踪人物的人脸特征值，持续采集该锁定追踪人物的跟练动作信息。在基于人脸特征值进行追踪时，无论该锁定追踪人物是始终处于摄像头的拍摄区域内，还是经过出画又入画的过程，均可以根据人脸特征值在当前人物产生变化后的人物中确定出锁定追踪人物，进行实现锁定追踪，进而可以保证锁定追踪人物因移动导致识别丢失后仍可连续追踪，保证追踪有效性。

在一些实施例中，控制器还可根据摄像头采集的锁定追踪人物的跟练动作信息，与相同时刻示范视频中所呈现的示范动作进行对比，生成跟练数据。如果健身人员的跟练动作与示范动作的相似度超过阈值(可设定为60％)时，可得到健身达标的跟练数据；如果健身人员的跟练动作与示范动作的相似度低于阈值时，可得到健身不达标的跟练数据。最后根据健身时长所生成的数个跟练数据统计跟练结果，可在该锁定追踪人物结束健身后，将该跟练结果呈现在用户界面中，便于该锁定追踪人物查看。

在一些实施例中，在视频通话场景下，控制器在执行基于人脸特征值对锁定追踪人物进行锁定追踪，被进一步配置为：

步骤2421、在摄像头应用为视频通话应用时，确定锁定追踪人物为视频通话人员。

步骤2422、在视频通话人员移动时，基于视频通话人员的人脸特征值，调整摄像头的拍摄角度，以使视频通话人员持续处于摄像头的采集区域内。

在实现视频通话场景时，同时利用显示设备配置的视频通话功能的人物可为一个或多个，若人物为一个时，该视频通话人员即为锁定追踪人物。此时，摄像头应用为视频通话应用，用户界面中呈现视频通话界面。视频通话应用调用摄像头始终采集锁定追踪人物的位置信息，以在锁定追踪人物出现位置变化时，为保证该人物的图像始终位于视频通话界面中，可实时调整摄像头的拍摄角度。

再次参见图11所示，在利用显示设备进行视频通话的人物为一个时，则锁定追踪人物为该视频通话人员，视频通话的对方画面显示在用户界面中，锁定追踪人物的本端视频画面显示在对方画面的一侧。由于摄像头采集的人物图像信息中仅包括该人物的图像信息，因此，可基于该视频通话人员的人脸特征值，持续采集视频通话人员的图像信息，以基于图像信息识别视频通话人员的位置。若识别到视频通话人员的位置发生变化，则根据位置变化方向和程度调整摄像头的拍摄角度，以使视频通话人员持续处于摄像头的采集区域内。调整摄像头拍摄角度的示意图可参照图12所示内容。

再次参见图12所示，在利用显示设备进行视频通话的人物为多个时，摄像头采集到包括多个视频通话人员的当前人物图像信息，以包括三个视频通话人员为例，本端视频画面中显示1#、2#、3#视频通话人员，基于当前人物图像信息中的每个视频通话人员重新创建对应的当前人脸特征值。如果其中一个视频通话人员1#的当前人脸特征值与之前创建的人脸特征值的特征相似度满足阈值条件(阈值可设定为90％)，则将锁定追踪人物确定为特征相似度满足阈值条件对应的当前视频通话人员1#。

而后基于该视频通话人员1#的人脸特征值，持续采集视频通话人员1#的图像信息，以基于图像信息识别视频通话人员的位置。若识别到视频通话人员的位置发生变化，则根据位置变化方向和程度调整摄像头的拍摄角度，以使视频通话人员1#持续处于摄像头的采集区域内。

例如，参见图12中(a)所示，如果视频通话人员1#位于正中间位置，则摄像头的拍摄角度为正中；参见图12中(b)所示，如果视频通话人员1#向左移动，则向左调整摄像头的拍摄角度(3#人物出画)；参见图12中(c)所示，如果视频通话人员1#向右移动，则向右调整摄像头的拍摄角度(2#人物出画)。而其他视频通话人员的位置变化并不会触发摄像头的拍摄角度的改变，因此，若视频通话人员1#移动的位置较大，则其他视频通话人员可能会显示在视频通话界面的一侧，或出画。

可见，在实现视频通话场景时，可根据锁定追踪人物的人脸特征值，持续采集该人物的图像信息；或者，在存在多个人物同时进行视频通话时，可确定出需要进行追踪的锁定追踪人物，并再根据锁定追踪人物的人脸特征值，持续采集该锁定追踪人物的图像信息。根据采集的锁定追踪人物的图像信息，识别该锁定追踪人物的位置变化，并在产生位置变化时实时调整摄像头的拍摄角度。在基于人脸特征值进行追踪时，无论该锁定追踪人物是始终处于摄像头的拍摄区域内，还是经过出画又入画的过程，均可以根据人脸特征值在当前人物产生变化后的人物中确定出锁定追踪人物，进行实现锁定追踪，进而可以保证锁定追踪人物因移动导致识别丢失后仍可连续追踪，保证追踪有效性。

控制器对摄像头每采集到的每一张人物图像信息均执行步骤S21至S24的过程，直到检测到存在一个人物产生的特征相似度超过阈值，或者，连续检测的人物图像信息的数量超过设定数量仍然未检测到存在一个人物产生的特征相似度超过阈值时止。在一些实施例中，设定数量可为10张。

若后续在检测到存在一个人物产生的特征相似度超过阈值时，则将大于或等于阈值的特征相似度对应的人物确定为锁定追踪人物，以及，将锁定追踪人物的肢体ID信息确定为锁定追踪人物的新特定肢体ID信息，实现对该人物的锁定追踪。

若连续检测的人物图像信息的数量超过设定数量，例如超过10张，依然没有检测到任一个人物产生的特征相似度超过阈值，则说明当前摄像头采集到的人物均非锁定追踪人物，即锁定追踪人物消失，此时，停止追踪过程。

在一些实施例中，在达到检测设定数量时，如果仍未检测到锁定追踪人物，则可在当前摄像头拍摄的人物中再次选定一个人物作为下一次追踪过程的锁定追踪人物。

在重新确定新的锁定追踪人物时，需根据当前摄像头采集的新人物图像信息重新创建人脸特征值，重新创建人脸特征值的实现过程可参照前述实施例提供的步骤S11至S13的内容，此处不再赘述。

基于新创建的人脸特征值，由显示设备再次实现对新确定的锁定追踪人物进行锁定追踪，锁定追踪的实现过程可参照前述实施例提供的步骤S21至S24的内容，此处不再赘述。

由以上技术方案可知，本发明实施例提供的一种显示设备，由控制器根据摄像头采集的人物图像信息进行特定动作识别，确定锁定追踪人物；根据锁定追踪人物对应的特点肢体ID信息和面部特征信息，创建锁定追踪人物的人脸特征值。在进行锁定追踪时，如果锁定追踪人物在所述人物图像信息中消失，则基于人物图像信息中的当前人物重新创建当前人脸特征值，计算当前人脸特征值与人脸特征值的特征相似度，将锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物，并根据当前人脸特征值，对锁定追踪人物进行锁定追踪。可见，本发明实施例提供的显示设备，先创建与锁定追踪人物对应的人脸特征值，通过人脸特征值可以有效识别丢失前后图像识别的是否为同一个人，进而可以保证锁定追踪人物因移动导致识别丢失后仍可连续追踪，保证追踪有效性。

图7中示例性示出了根据一些实施例的人脸特征值创建方法的流程图。参见图7，本发明实施例提供的一种人脸特征值创建方法，所述方法包括：

S11、获取所述摄像头采集的人物图像信息；

S12、识别所述人物图像信息，确定锁定追踪人物，以及，创建所述锁定追踪人物的面部特征信息和特定肢体ID信息；

S13、将所述锁定追踪人物的特定肢体ID信息和面部特征信息建立关联关系，得到所述锁定追踪人物的人脸特征值。

图14中示例性示出了根据一些实施例的人物锁定追踪方法的流程图。参见图14，本发明实施例提供的一种人物锁定追踪方法，所述方法包括：

S21、获取锁定追踪人物的人脸特征值和所述摄像头采集的人物图像信息；

S22、如果所述锁定追踪人物在所述人物图像信息中消失，则基于所述人物图像信息中的当前人物重新创建当前人脸特征值；

S23、如果所述当前人脸特征值与所述人脸特征值的特征相似度满足阈值条件，则将所述锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物；

S24、基于所述当前人脸特征值，对所述锁定追踪人物进行锁定追踪。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的人脸特征值创建方法和人物锁定追踪方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于人脸特征值创建方法和人物锁定追踪方法实施例而言，由于其基本相似于显示设备实施例，所以描述的比较简单，相关之处参见显示设备实施例中的说明即可。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (13)

1.一种显示设备，其特征在于，包括：

显示器，被配置为呈现用户界面；

摄像头，被配置为采集人物在使用摄像头应用时产生的人物图像信息；

与所述显示器和所述摄像头连接的控制器，所述控制器被配置为：

获取所述摄像头采集的人物图像信息；

识别所述人物图像信息，创建每个人物对应的肢体ID信息，所述肢体ID信息用于标定不同的与显示设备进行交互的人物；

根据每个人物是否做出预先设置的特定动作，确定锁定追踪人物；

根据每个人物的所述肢体ID信息，获取所述锁定追踪人物对应的肢体ID信息，将锁定追踪人物对应的肢体ID信息作为特定肢体ID信息，所述特定肢体ID信息用于实现对锁定追踪人物进行锁定追踪；

截取与所述特定肢体ID信息对应的所述锁定追踪人物的面部图像；基于所述锁定追踪人物的面部图像，提取所述锁定追踪人物的面部特征信息；

将所述锁定追踪人物的特定肢体ID信息和面部特征信息建立关联关系，得到所述锁定追踪人物的人脸特征值，所述人脸特征值包括相互对应的特定肢体ID信息和面部特征信息。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

提取所述人物图像信息中人物的肢体关键点，确定人物的肢体关键点信息；

对所述人物的肢体关键点信息进行肢体动作识别；

如果所述人物的肢体关键点信息对应的肢体动作与特定动作一致，则将所述人物确定为锁定追踪人物。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

如果所述锁定追踪人物持续处于所述人物图像信息中，则基于所述人脸特征值对所述锁定追踪人物进行锁定追踪。

4.根据权利要求3所述的显示设备，其特征在于，所述控制器在执行所述基于所述人脸特征值对所述锁定追踪人物进行锁定追踪，被进一步配置为：

在所述摄像头应用为AI健身应用时，确定所述锁定追踪人物为健身人员；

基于所述健身人员的人脸特征值，持续采集所述健身人员基于用户界面中呈现的示范视频进行跟练的跟练动作信息；

基于所述跟练动作信息生成跟练画面，显示在所述用户界面中，所述跟练画面显示在所述示范视频所在画面的一侧。

5.根据权利要求3所述的显示设备，其特征在于，所述控制器在执行所述基于所述人脸特征值对所述锁定追踪人物进行锁定追踪，被进一步配置为：

在所述摄像头应用为视频通话应用时，确定所述锁定追踪人物为视频通话人员；

在所述视频通话人员移动时，基于所述视频通话人员的人脸特征值，调整所述摄像头的拍摄角度，以使所述视频通话人员持续处于所述摄像头的采集区域内。

6.根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

在基于所述人脸特征值对所述锁定追踪人物进行锁定追踪时，如果所述锁定追踪人物在所述人物图像信息中消失，则获取所述摄像头采集的当前人物图像信息；

基于所述当前人物图像信息中的当前人物重新创建当前人脸特征值；

如果所述当前人脸特征值与所述人脸特征值的特征相似度满足阈值条件，则将所述锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物。

7.根据权利要求6所述的显示设备，其特征在于，所述控制器被进一步配置为：

在基于所述人脸特征值对所述锁定追踪人物进行锁定追踪时，提取所述人物图像信息中人物的肢体ID信息；

如果提取到的肢体ID信息中不存在所述人脸特征值中的特定肢体ID信息，则确定所述锁定追踪人物在所述人物图像信息中消失。

8.一种显示设备，其特征在于，包括：

显示器，被配置为呈现用户界面；

摄像头，被配置为采集人物在使用摄像头应用时产生的人物图像信息；

存储器，被配置为存储在确定锁定追踪人物时创建的人脸特征值，所述人脸特征值包括相互对应的特定肢体ID信息和面部特征信息，所述特定肢体ID信息为锁定追踪人物对应的肢体ID信息，所述特定肢体ID信息用于实现对锁定追踪人物进行锁定追踪，所述肢体ID信息包括基于所述人物图像信息创建的每个人物对应的肢体ID信息，所述肢体ID信息用于标定不同的与显示设备进行交互的人物；所述锁定追踪人物的面部特征信息为基于所述锁定追踪人物的面部图像提取得到的，所述锁定追踪人物的面部图像与所述特定肢体ID信息对应；

与所述显示器、摄像头和所述存储器连接的控制器，所述控制器被配置为：

获取锁定追踪人物的人脸特征值和所述摄像头采集的人物图像信息；

在基于所述人脸特征值对所述锁定追踪人物进行锁定追踪时，将最新检测到的每个人物的所述肢体ID信息与在启动某个特定功能时创建的所述人脸特征值中特定肢体ID信息进行对比，以判断所述锁定追踪人物是否在所述人物图像信息中消失；

如果所述锁定追踪人物在所述人物图像信息中消失，则基于所述人物图像信息中的当前人物重新创建当前人脸特征值；

如果所述当前人脸特征值与所述人脸特征值的特征相似度满足阈值条件，则将所述锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物；

基于所述当前人脸特征值，对所述锁定追踪人物进行锁定追踪。

9.根据权利要求8所述的显示设备，其特征在于，所述控制器在确定所述锁定追踪人物在所述人物图像信息中消失，被进一步配置为：

提取所述人物图像信息中人物的肢体ID信息和人脸特征值中的特定肢体ID信息；

如果所述肢体ID信息中不存在所述特定肢体ID信息，则确定所述锁定追踪人物在所述人物图像信息中消失。

10.根据权利要求8所述的显示设备，其特征在于，所述控制器在执行所述基于所述当前人脸特征值，对所述锁定追踪人物进行锁定追踪，被进一步配置为：

在所述摄像头应用为AI健身应用时，确定所述锁定追踪人物为健身人员；

基于所述健身人员的人脸特征值，持续采集所述健身人员基于用户界面中呈现的示范视频进行跟练的跟练动作信息；

基于所述跟练动作信息生成跟练画面，显示在所述用户界面中，所述跟练画面显示在所述示范视频所在画面的一侧。

11.根据权利要求8所述的显示设备，其特征在于，所述控制器在执行所述基于所述当前人脸特征值，对所述锁定追踪人物进行锁定追踪，被进一步配置为：

在所述摄像头应用为视频通话应用时，确定所述锁定追踪人物为视频通话人员；

在所述视频通话人员移动时，基于所述视频通话人员的人脸特征值，调整所述摄像头的拍摄角度，以使所述视频通话人员持续处于所述摄像头的采集区域内。

12.一种人脸特征值创建方法，其特征在于，所述方法包括：

获取所述摄像头采集的人物图像信息；

识别所述人物图像信息，创建每个人物对应的肢体ID信息，所述肢体ID信息用于标定不同的与显示设备进行交互的人物；

根据每个人物是否做出预先设置的特定动作，确定锁定追踪人物；

根据每个人物的所述肢体ID信息，获取所述锁定追踪人物对应的肢体ID信息，将锁定追踪人物对应的肢体ID信息作为特定肢体ID信息，所述特定肢体ID信息用于实现对锁定追踪人物进行锁定追踪；

截取与所述特定肢体ID信息对应的所述锁定追踪人物的面部图像；基于所述锁定追踪人物的面部图像，提取所述锁定追踪人物的面部特征信息；

将所述锁定追踪人物的特定肢体ID信息和面部特征信息建立关联关系，得到所述锁定追踪人物的人脸特征值，所述人脸特征值包括相互对应的特定肢体ID信息和面部特征信息。

13.一种人物锁定追踪方法，其特征在于，所述方法包括：

获取权利要求1所述的锁定追踪人物的人脸特征值和所述摄像头采集的人物图像信息，所述人脸特征值包括相互对应的特定肢体ID信息和面部特征信息，所述特定肢体ID信息为锁定追踪人物对应的肢体ID信息，所述特定肢体ID信息用于实现对锁定追踪人物进行锁定追踪，所述肢体ID信息包括基于所述人物图像信息创建的每个人物对应的肢体ID信息，所述肢体ID信息用于标定不同的与显示设备进行交互的人物；所述锁定追踪人物的面部特征信息为基于所述锁定追踪人物的面部图像提取得到的，所述锁定追踪人物的面部图像与所述特定肢体ID信息对应；

在基于所述人脸特征值对所述锁定追踪人物进行锁定追踪时，将最新检测到的每个人物的所述肢体ID信息与在启动某个特定功能时创建的所述人脸特征值中特定肢体ID信息进行对比，以判断所述锁定追踪人物是否在所述人物图像信息中消失；

如果所述锁定追踪人物在所述人物图像信息中消失，则基于所述人物图像信息中的当前人物重新创建当前人脸特征值；

如果所述当前人脸特征值与所述人脸特征值的特征相似度满足阈值条件，则将所述锁定追踪人物确定为特征相似度满足阈值条件对应的当前人物；

基于所述当前人脸特征值，对所述锁定追踪人物进行锁定追踪。