CN116363725A - 显示设备的人像追踪方法、系统、显示设备及存储介质 - Google Patents
显示设备的人像追踪方法、系统、显示设备及存储介质 Download PDFInfo
- Publication number
- CN116363725A CN116363725A CN202211560077.5A CN202211560077A CN116363725A CN 116363725 A CN116363725 A CN 116363725A CN 202211560077 A CN202211560077 A CN 202211560077A CN 116363725 A CN116363725 A CN 116363725A
- Authority
- CN
- China
- Prior art keywords
- face
- target face
- target
- display device
- ultra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000005520 cutting process Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种显示设备的人像追踪方法、系统、显示设备及存储介质。包括如下步骤：在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸；确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别；根据所述目标人脸和所述景别，对与所述景别对应的移动画面进行裁剪，以使所述目标人脸处于所述显示装置的中心区域。本发明避免了电机转动时产生的声音，提高了用户的使用体验。
Description
技术领域
本发明涉及显示设备检测技术领域，尤其涉及一种显示设备的人像追踪方法、系统、显示设备及存储介质。
背景技术
近年来，随着技术的升级，摄像头被广泛应用到多个领域，小到显示设备等家电设备，大到街道监控等多个场景，便利了大众的日常生活。目前显示设备机有AI人像追踪功能，用于视频通话和拍照。依托AI摄像头，提供全场景的环绕超大可视角，人体或动或静止，均可灵活跟踪。为用户提供人像追踪视频通话、家庭看护、全家福拍照等多个实用服务。通过AI自动追焦、超广视角进行实时的人体追踪跟随，使得用户在视频通话时始终处于中心位。
目前的人像追踪是通过电机控制摄像头自动调整旋转角度来实现人体追踪跟随，用户在较为安静的场景下使用此功能的时候，会听到电机转动的声音，进而影响了用户体验。
发明内容
本发明的主要目的在于提供一种显示设备的人像追踪方法、系统、显示设备及存储介质。旨在解决在较为安静的场景下，人像追踪时会产生电机转动声音的问题。
为实现上述目的，本发明提供一种显示设备的人像追踪方法，所述显示设备包括显示装置以及设置在所述显示装置上的超广角摄像头，所述显示设备的人像追踪方法包括步骤：
在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸；
确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别；
根据所述目标人脸和所述景别，对与所述景别对应的移动画面进行裁剪，以使所述目标人脸处于所述显示装置的中心区域。
可选地，所述确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别的步骤包括：
根据所述目标人脸，生成与所述目标人脸相对应的人脸框；
根据所述人脸框，确定所述目标人脸与所述超广角摄像头之间的角度和距离，其中，所述第一位置关系包括目标人脸与所述超广角摄像头之间的角度和距离；
根据所述角度和所述距离确定所述超广角摄像头的取景范围；
根据所述取景范围，确定与所述取景范围相对应的景别。
可选地，所述根据所述目标人脸和所述景别，对与所述景别对应的移动画面进行裁剪，以使所述目标人脸处于所述显示装置的中心区域的步骤包括：
根据所述景别，生成覆盖所述目标人脸的裁剪框，其中，所述裁剪框的尺寸大于所述人脸框的尺寸；
根据所述裁剪框对与所述景别对应的移动画面进行裁剪，得到裁剪后的目标移动画面；
将所述目标移动画面显示在所述显示装置，以使所述目标人脸处于所述显示装置的中心区域。
可选地，所述将所述目标移动画面显示在所述显示装置，以使所述目标人脸处于所述显示装置的中心区域的步骤之后，还包括：
检测所述目标人脸与所述人脸框的第二位置关系；
根据所述第二位置关系判断所述目标人脸是否发生位置变化；
在所述目标人脸发生位置变化时，得到变化类型；
根据所述变化类型，控制所述超广角摄像头对所述目标移动画面进行调整。
可选地，所述根据所述变化类型，控制所述超广角摄像头对所述目标移动画面进行调整的步骤包括：
若所述变化类型为目标人脸与所述人脸框错位时，则执行所述步骤：根据所述目标人脸，生成与所述目标人脸相对应的人脸框；
若所述变化类型为目标人脸与所述人脸框未错位时，则根据所述目标人脸，控制所述目标移动画面进行缩放。
可选地，所述在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸的步骤之后，还包括：
若所述移动画面中所述目标人脸为多个，则生成包括所有所述目标人脸的人脸框，并执行所述步骤：根据所述人脸框，确定所述目标人脸与所述超广角摄像头之间的角度和距离。
可选地，所述在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸的步骤之前，还包括：
获取不同场景下的若干张不同属性的待训练图片，并根据所述待训练图片对所述显示设备中的网络模型进行训练，得到所述预设人脸关键点检测模型。
此外，为实现上述目的，本发明还提供一种人像追踪系统，所述人像追踪系统包括：
人脸识别模块，用于在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸；
景别设置模块，用于确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别；
移动画面调整模块，用于根据所述目标人脸和所述景别，对与所述景别对应的移动画面进行裁剪，以使所述目标人脸处于所述显示装置的中心区域。
此外，为实现上述目的，本发明还提供一种显示设备，所述显示设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人像追踪程序，所述人像追踪程序被所述处理器执行时实现如上所述的显示设备的人像追踪方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人像追踪程序，所述人像追踪程序被处理器执行时实现如上所述的显示设备的人像追踪方法的步骤。
本发明提出一种显示设备的人像追踪方法、系统、显示设备及存储介质，所述显示设备包括显示装置以及设置在所述显示装置上的超广角摄像头，通过与显示装置连接的超广角摄像头，能够确保摄像头能采集到用户所处空间的所有移动画面，并将移动画面在显示装置中进行显示，同时，通过超广角摄像头来获取移动画面的方式，能够避免现有的人像追踪方法中摄像头在旋转时，所造成的电机转动而产生声音的问题，同时能够降低显示设备的制造成本。通过在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸，并确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别，最后根据所述目标人脸和所述景别，对所述景别对应的移动画面进行裁剪，能够保证目标人脸始终处于显示装置的中心区域，实现在显示装置中的人像追踪功能。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；
图2是本发明显示设备的人像追踪方法中一实施例的流程示意图；
图3是本发明显示设备的人像追踪方法中一实施例中步骤S20的细化流程示意图；
图4是本发明显示设备的人像追踪方法中一实施例中步骤S30的细化流程示意图；
图5是本发明显示设备的人像追踪方法中一实施例中步骤S33之后的细化流程示意图；
图6是本发明显示设备的人像追踪方法的整体流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为显示设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，DVI接口1004，USB接口1005，存储器1006。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。DVI接口1004可选的可以包括标准的有线接口，通过DVI线与其他外部设备连接。USB接口1005可选的可以包括标准的有线接口，通过USB连接线与其他外部设备连接。存储器1006可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1006可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括音频电路等等，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1006中可以包括操作系统、DVI接口模块、USB接口模块、用户接口模块以及人像追踪程序。
在图1所示的终端中，DVI接口1004主要用于连接外部设备，与外部设备进行数据通信；USB接口1005主要用于连接外部设备，与外部设备进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1006中存储的人像追踪程序，并执行以下操作：
在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸；
确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别；
根据所述目标人脸和所述景别，对与所述景别对应的移动画面进行裁剪，以使所述目标人脸处于所述显示装置的中心区域。
进一步地，处理器1001可以调用存储器1006中存储的人像追踪程序，还执行以下操作：
根据所述目标人脸，生成与所述目标人脸相对应的人脸框；
根据所述人脸框，确定所述目标人脸与所述超广角摄像头之间的角度和距离，其中，所述第一位置关系包括目标人脸与所述超广角摄像头之间的角度和距离；
根据所述角度和所述距离确定所述超广角摄像头的取景范围；
根据所述取景范围，确定与所述取景范围相对应的景别。
进一步地，处理器1001可以调用存储器1006中存储的人像追踪程序，还执行以下操作：
根据所述景别，生成覆盖所述目标人脸的裁剪框，其中，所述裁剪框的尺寸大于所述人脸框的尺寸；
根据所述裁剪框对与所述景别对应的移动画面进行裁剪，得到裁剪后的目标移动画面；
将所述目标移动画面显示在所述显示装置，以使所述目标人脸处于所述显示装置的中心区域。
进一步地，处理器1001可以调用存储器1006中存储的人像追踪程序，还执行以下操作：
检测所述目标人脸与所述人脸框的第二位置关系；
根据所述第二位置关系判断所述目标人脸是否发生位置变化；
在所述目标人脸发生位置变化时，得到变化类型；
根据所述变化类型，控制所述超广角摄像头对所述目标移动画面进行调整。
进一步地，处理器1001可以调用存储器1006中存储的人像追踪程序，还执行以下操作：
若所述变化类型为目标人脸超出所述人脸框时，则执行所述步骤：根据所述目标人脸，生成与所述目标人脸相对应的人脸框；
若所述变化类型为目标人脸未超出所述人脸框时，则根据所述目标人脸，控制所述目标移动画面进行缩放。
进一步地，处理器1001可以调用存储器1006中存储的人像追踪程序，还执行以下操作：
若所述移动画面中的目标人体和所述目标人脸为多个，则生成包括所有所述目标人体和所述目标人脸的人脸框，并执行所述步骤：根据所述人脸框，确定所述目标人脸与所述超广角摄像头之间的角度和距离。
进一步地，处理器1001可以调用存储器1006中存储的人像追踪程序，还执行以下操作：
获取不同场景下的若干张不同属性的待训练图片，并根据所述待训练图片对所述显示装置中的网络模型进行训练，得到所述预设人脸关键点检测模型。
本发明显示设备的具体实施例与下述人像追踪程序各实施例基本相同，在此不作赘述。
请参阅图2，图2为本发明显示设备的人像追踪方法第一实施例的流程示意图，本实施例提供的显示设备的人像追踪方法包括如下步骤：
步骤S10，在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸；
本发明的应用场景可以为应用于采用智能电视或者智能手机进行视频通话时的场景，也可以是用户与电视或者手机等电子设备进行人机交互的应用场景。所述显示设备主要为智能电视、智能手机或者电脑等具有视频通话功能的电子设备，所述超广角摄像头安装在显示设备上，可以安装于显示设备的正面，即具有显示屏的一侧，用于采集用户所处空间的移动画面。
在本实施例中，通过超广角摄像头采集用户所在空间的移动画面，进而将移动画面传输至显示设备上，显示设备再根据预设人脸关键点检测模型识别出位于移动画面中的目标人脸，其中，所述目标人脸可以是出现在超广角摄像头成像范围内的任意人脸，且数量可以为1张或者多张，本发明在此不作限制。
步骤S20，确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别；
在本实施例中，由于超广角摄像头的成像范围很大，因此能够得到处于成像范围内的所有用户的目标人脸，但是用户的站位并不是固定的，有可能是距离超广角摄像头较远、或者距离超广角摄像头较近、又或者是位于超广角摄像头的左边或者右边，则会导致在显示设备上的移动画面同样是较大、较小或者位于显示设备的左右两端，而不是位于显示设备的中心区域。因此，需要根据目标人脸与超广角摄像头的位置关系来确定超广角摄像头的景别。需要说明的是，所述第一位置关系即为上述的距离超广角摄像头较远、距离超广角较近、位于超广角摄像头的左边、位于超广角摄像头的右边、位于超广角摄像头的中间。所述景别即为近景、中近景、中景、中远景，全景五个景别。
具体的，参照图3，在一实施例中，所述步骤S20还包括：
步骤S21，根据所述目标人脸，生成与所述目标人脸相对应的人脸框；
在本实施例中，人脸框与目标人脸一一对应，形状可以为长方形，其长度可以是目标人脸的长度，其宽度可以是目标人脸的宽度。人脸框还可以是与目标人脸的轮廓完全吻合的框。另外，需要说明的是，人脸框可以是显示设备通过超广角摄像头拍摄一张图片而得到的，且所述人脸框为显示设备的内部程序运算，用于确定目标人脸与摄像头之间的第一位置关系，并不显示在显示设备的显示屏之上。
在一实施例中，所述步骤S10之后，还包括：
若所述移动画面中所述目标人脸为多个，则生成包括所有所述目标人脸的人脸框，并执行所述步骤：根据所述人脸框，确定所述目标人脸与所述超广角摄像头之间的角度和距离。
在本实施例中，若发生视频通话的过程中有多个目标人脸，则将生成一个包括所有目标人脸的人脸框，再根据该人脸框实施后续流程，通过将所有的目标人脸生成一个人脸框的方法，能够保证所有的目标人脸都处于合适的中心位置。
步骤S22，根据所述人脸框，确定所述目标人脸与所述超广角摄像头之间的角度和距离，其中，所述第一位置关系包括目标人脸与所述超广角摄像头之间的角度和距离；
由于人脸框是通过目标人脸而确定的，而当目标人脸为侧向时，即会得到一个不规则的人脸框，例如目标人脸为侧向右边时，则得到的人脸框即为侧向右边的不规则长方形，因此根据得到的人脸框即可得到目标人脸与超广角摄像头之间的角度。当目标人脸距离超广角摄像头较远时，人脸框即会较小，当目标人脸距离超广角摄像头较近时，人脸框即为较大，因此，可以根据人脸框的形状和大小来确定目标人脸和超广角摄像头之间的角度和距离。具体的，可以在预存多个不同形状的已知角度的预设人脸框，再根据得到的目标人脸的人脸框与预设人脸框进行比对，得到人脸框对应的角度。或者还可以预先设置不同大小范围的预设人脸框，将得到的人脸框与预设人脸框进行比对，确定人脸框位于哪个范围，即可得到与之对应的具体的距离。
步骤S23，根据所述角度和所述距离确定所述超广角摄像头的取景范围；
所述取景范围即为超广角摄像头的拍摄范围，以使超广角摄像头的拍摄的中心为目标人脸为标准，将取景范围的中心限定在目标人脸处。
步骤S24，根据所述取景范围，确定与所述取景范围相对应的景别。
在本实施例中，所述景别包括近景、中近景、中景、中远景，全景，具体的，可以根据取景范围的大小来确定匹配到哪一个景别，当取景范围较大时，即可选择较大范围的景别；当取景范围较小时，即可选择较小范围的景别，例如，当取景范围较大时，可以选择全景或者中远景，当取景范围较小时，可以选择近景或者中近景等。
步骤S30，根据所述目标人脸和所述景别，对与所述景别对应的移动画面进行裁剪，以使所述目标人脸处于所述显示装置的中心区域。
在确定超广角摄像头的景别后，为了使得目标人脸的尺寸大小处于显示装置的中心区域且显示比例更加完美，因此，还需要对与景别对应的移动画面进行裁剪，才能使得目标人脸在处于显示设备的中心区域时的大小比例合适。
参照图4，具体的，在一实施例中，所述步骤S30，还包括：
步骤S31，根据所述景别，生成覆盖所述目标人脸的裁剪框，其中，所述裁剪框的尺寸大于所述人脸框的尺寸；
步骤S32，根据所述裁剪框对与所述景别对应的移动画面进行裁剪，得到裁剪后的目标移动画面；
在本实施例中，例如用户距离摄像头比较远，采用中远景模式进行匹配画出一个裁剪框。例如用户距离摄像头比较近，采用中近景模式进行匹配画出一个裁剪框。前者的裁剪框要小于后者的裁剪框。并且该裁剪框还可以根据美学构图原理而生成，以使裁剪出来的移动画面符合美学，提高用户的体验。另外，为了防止裁剪框将目标人脸裁剪开来，因此，必须要将裁剪框的尺寸设置为大于人脸框的尺寸，保证目标人脸的完整性。
步骤S33，将所述目标移动画面显示在所述显示装置，以使所述目标人脸处于所述显示装置的中心区域。
在本实施例中，在采用裁剪框得到目标移动画面后，即可将目标移动画面显示在显示设备上，用于显示设备在进行视频通话时的移动画面显示，此时，在显示设备的中心区域即会显示以最完美的尺寸所采集得到的目标人脸，可以增强用户在视频通话中的愉悦感。
本发明提出一种显示设备的人像追踪方法，所述显示设备包括显示装置以及设置在所述显示装置上的超广角摄像头，通过与显示装置连接的超广角摄像头，能够确保摄像头能采集到用户所处空间的所有移动画面，并将移动画面在显示装置中进行显示，同时，通过超广角摄像头来获取移动画面的方式，能够避免现有的人像追踪方法中摄像头在旋转时，所造成的电机转动而产生声音的问题，同时能够降低显示设备的制造成本。通过在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸，并确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别，最后根据所述目标人脸和所述景别，对所述景别对应的移动画面进行裁剪，能够保证目标人脸始终处于显示装置的中心区域，实现在显示装置中的人像追踪功能。
进一步地，参照图5，基于本发明显示设备的人像追踪方法的第一实施例提出本发明的第二实施例中，所述步骤S33之后，还包括：
步骤S34，检测所述目标人脸与所述人脸框的第二位置关系；
第二位置关系即为目标人脸与人脸框之间的吻合程度，例如，由于人脸框与目标人脸的大小是一致的，当目标人脸发生移动时，则会导致目标人脸与原来的人脸框不一致，则会出现目标人脸小于人脸框或者目标人脸大于人脸框，又或者目标人脸与人脸框发生错位的各种位置关系。
步骤S35，根据所述第二位置关系判断所述目标人脸是否发生位置变化；
步骤S36，在所述目标人脸发生位置变化时，得到变化类型；
在本实施例中，当人脸框与目标人脸的吻合程度不一致时，则说明用户在视频通话的过程中发生了移动，因此造成实时获取的目标人脸与原来的人脸框不一致。当然，在目标人脸发生位置变化时，该变化可能是用户远离摄像头，则会导致原来的人脸框大于目标人脸；还有可能是用户靠近摄像头，则会导致原来的人脸框小于目标人脸。还有可能是用户左右移动，则会导致目标人脸与人脸框错位。因此，还需要根据目标人脸与人脸框的变化类型，来控制超广角摄像头进一步调节目标移动画面，从而保持目标人脸处于显示设备的中心区域。
步骤S37，根据所述变化类型，控制所述超广角摄像头对所述目标移动画面进行调整。
在一实施例中，所述步骤S37还包括：
步骤A371，若所述变化类型为目标人脸与所述人脸框错位时，则执行所述步骤：根据所述目标人脸，生成与所述目标人脸相对应的人脸框；
所述目标人脸与人脸框错位是指目标人脸偏离人脸框的中心位置，即意味着摄像头面前的目标人脸发生了左右移动。此时为保证目标人脸始终处于显示设备的中心区域，即需要重新生成人脸框，重新进行取景范围、景别的匹配，最后再进行裁剪，以使目标人脸位于中心区域。
步骤A372，若所述变化类型为目标人脸与所述人脸框未错位时，则根据所述目标人脸，控制所述目标移动画面进行缩放。
在本实施例中，目标人脸与人脸框未错位指的是目标人脸位偏离人脸框的中心位置，即意味着摄像头面前的目标人脸并未发生左右移动，只是远离或者靠近摄像头，从而使得目标人脸在人脸框内放大或者缩小。此时则根据目标人脸，获取目标人脸的缩放比例，再控制目标移动画面进行同步缩放即可继续保持目标人脸处于显示设备的中心区域。或者，也可以重新生成人脸框，执行：根据所述目标人脸，生成与所述目标人脸相对应的人脸框的步骤，本领域技术人员可根据需要选择任意方法，本发明在此不作限制。
在本实施例中，通过检测所述目标人脸与所述人脸框的第二位置关系，再根据所述第二位置关系判断所述目标人脸是否发生位置变化，并在所述目标人脸发生位置变化时，得到变化类型，最后根据所述变化类型，控制所述超广角摄像头对所述目标移动画面进行调整。实现了用户即使在视频通话过程中发生了移动，也始终能实现人像追踪功能，保证用户的目标人脸始终在显示设备的中心区域，提高了视频通话过程中成像的稳定性。
进一步地，基于本发明显示设备的人像追踪方法的第一实施例提出本发明的第三实施例中，所述步骤S10之前，还包括：
步骤101，获取不同场景下的若干张不同属性的待训练图片，并根据所述待训练图片对所述显示设备中的网络模型进行训练，得到所述预设人脸关键点检测模型。
在本实施例中，所述不同场景可以包括，通话场景、移动场景、静止场景、运动场景、吃饭场景等各种生活场景，所述待训练图片中可以包括正常人脸图片，或者非人脸图片等。本实施例中是对显示设备中AI芯片进行训练，以得到人脸关键点检测模型，具体的，训练过程为：在场景识别中，采集不同场景的图片作为网络模型的输入数据，对网络模型进行训练。首先创建train_picture目录，为了提高人脸检测识别的成功率，分为10多种人脸属性大类，例如性别、年龄、表情、饰品、胡须、面部动作状态等，根据这些属性分类在train_picture目录中来创建子目录以及unknown目录，它们的名字很重要，它们作为新的label名称，定义了每张图片的归类标签。其次，在电视上播放这些场景图片，使用命令：screencap-p图片名，进行截图片操作，将截取到的图片存放到对应的train_picture目录中的场景目录中，每个场景目录下只能存放对应的场景图片。也可以通过在服务器上获取各种场景的图片作为场景数据。其中unknown目录必须存在,此目录存放unknown数据集，以便模型训练时更容易提取需要的特征。unknown必须存储unknown数据集，以便模型训练时更容易提取需要的特征。正向特征值，负向特征值，识别场景准确度要高，其中正向特征值是指正确的待训练图片，负向特征值是指错误的待训练图片，除了给AI芯片训练正确的模型和数据外，获取正向特征值。此外也要给它训练错误的模型和数据，获取负向特征值。让AI芯片知道差异性，提高识别准确度。例如我们不能只给AI芯片训练正确的，全是人脸的模型，也要在unknown目录下存储unknown数据集，这样才能提高识别准确度。每个目录至少需要1000张图片，否则训练脚本会报错；图片数量越多，训练后的模型准确率越高，通过这种方式把人脸关键点检测模型训练好。
本发明通过人脸关键点检测模型，保证视频通话中可以完成实时、高精度的人像跟踪。解决了在复杂背景下人脸目标容易丢失的问题。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有人像追踪程序，所述人像追踪程序被处理器执行时实现如下操作：
在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸；
确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别；
根据所述目标人脸和所述景别，对与所述景别对应的移动画面进行裁剪，以使所述目标人脸处于所述显示装置的中心区域。
进一步地，所述人像追踪程序被处理器执行时还实现如下操作：
根据所述目标人脸，生成与所述目标人脸相对应的人脸框；
根据所述人脸框，确定所述目标人脸与所述超广角摄像头之间的角度和距离，其中，所述第一位置关系包括目标人脸与所述超广角摄像头之间的角度和距离；
根据所述角度和所述距离确定所述超广角摄像头的取景范围；
根据所述取景范围，确定与所述取景范围相对应的景别。
进一步地，所述人像追踪程序被处理器执行时还实现如下操作：
根据所述景别，生成覆盖所述目标人脸的裁剪框，其中，所述裁剪框的尺寸大于所述人脸框的尺寸；
根据所述裁剪框对与所述景别对应的移动画面进行裁剪，得到裁剪后的目标移动画面；
将所述目标移动画面显示在所述显示装置，以使所述目标人脸处于所述显示装置的中心区域。
进一步地，所述人像追踪程序被处理器执行时还实现如下操作：
检测所述目标人脸与所述人脸框的第二位置关系；
根据所述第二位置关系判断所述目标人脸是否发生位置变化；
在所述目标人脸发生位置变化时，得到变化类型；
根据所述变化类型，控制所述超广角摄像头对所述目标移动画面进行调整。
进一步地，所述人像追踪程序被处理器执行时还实现如下操作：
若所述变化类型为目标人脸与所述人脸框错位时，则执行所述步骤：根据所述目标人脸，生成与所述目标人脸相对应的人脸框；
若所述变化类型为目标人脸与所述人脸框未错位时，则根据所述目标人脸，控制所述目标移动画面进行缩放。
进一步地，所述人像追踪程序被处理器执行时还实现如下操作：
若所述移动画面中所述目标人脸为多个，则生成包括所有所述目标人脸的人脸框，并执行所述步骤：根据所述人脸框，确定所述目标人脸与所述超广角摄像头之间的角度和距离。
进一步地，所述人像追踪程序被处理器执行时还实现如下操作：
获取不同场景下的若干张不同属性的待训练图片，并根据所述待训练图片对所述显示设备中的网络模型进行训练，得到所述预设人脸关键点检测模型。
本发明计算机可读存储介质的具体实施例与上述人像追踪程序各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种显示设备的人像追踪方法，其特征在于，所述显示设备包括显示装置以及设置在所述显示装置上的超广角摄像头，所述显示设备的人像追踪方法包括步骤：
在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸；
确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别；
根据所述目标人脸和所述景别，对与所述景别对应的移动画面进行裁剪，以使所述目标人脸处于所述显示装置的中心区域。
2.如权利要求1所述的显示设备的人像追踪方法，其特征在于，所述确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别的步骤包括：
根据所述目标人脸，生成与所述目标人脸相对应的人脸框；
根据所述人脸框，确定所述目标人脸与所述超广角摄像头之间的角度和距离，其中，所述第一位置关系包括目标人脸与所述超广角摄像头之间的角度和距离；
根据所述角度和所述距离确定所述超广角摄像头的取景范围；
根据所述取景范围，确定与所述取景范围相对应的景别。
3.如权利要求2所述的显示设备的人像追踪方法，其特征在于，所述根据所述目标人脸和所述景别，对与所述景别对应的移动画面进行裁剪，以使所述目标人脸处于所述显示装置的中心区域的步骤包括：
根据所述景别，生成覆盖所述目标人脸的裁剪框，其中，所述裁剪框的尺寸大于所述人脸框的尺寸；
根据所述裁剪框对与所述景别对应的移动画面进行裁剪，得到裁剪后的目标移动画面；
将所述目标移动画面显示在所述显示装置，以使所述目标人脸处于所述显示装置的中心区域。
4.如权利要求3所述的显示设备的人像追踪方法，其特征在于，所述将所述目标移动画面显示在所述显示装置，以使所述目标人脸处于所述显示装置的中心区域的步骤之后，还包括：
检测所述目标人脸与所述人脸框的第二位置关系；
根据所述第二位置关系判断所述目标人脸是否发生位置变化；
在所述目标人脸发生位置变化时，得到变化类型；
根据所述变化类型，控制所述超广角摄像头对所述目标移动画面进行调整。
5.如权利要求4所述的显示设备的人像追踪方法，其特征在于，所述根据所述变化类型，控制所述超广角摄像头对所述目标移动画面进行调整的步骤包括：
若所述变化类型为目标人脸与所述人脸框错位时，则执行所述步骤：根据所述目标人脸，生成与所述目标人脸相对应的人脸框；
若所述变化类型为目标人脸与所述人脸框未错位时，则根据所述目标人脸，控制所述目标移动画面进行缩放。
6.如权利要求4所述显示设备的人像追踪方法，其特征在于，所述在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸的步骤之后，还包括：
若所述移动画面中所述目标人脸为多个，则生成包括所有所述目标人脸的人脸框，并执行所述步骤：根据所述人脸框，确定所述目标人脸与所述超广角摄像头之间的角度和距离。
7.如权利要求1所述的显示设备的人像追踪方法，其特征在于，所述在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸的步骤之前，还包括：
获取不同场景下的若干张不同属性的待训练图片，并根据所述待训练图片对所述显示设备中的网络模型进行训练，得到所述预设人脸关键点检测模型。
8.一种人像追踪系统，其特征在于，所述人像追踪系统包括：
人脸识别模块，用于在所述超广角摄像头所采集到的移动画面中，通过预设人脸关键点检测模型识别出位于所述移动画面中目标人脸；
景别设置模块，用于确定所述目标人脸与所述超广角摄像头的第一位置关系，并根据所述第一位置关系确定所述超广角摄像头的景别；
移动画面调整模块，用于根据所述目标人脸和所述景别，对与所述景别对应的移动画面进行裁剪，以使所述目标人脸处于所述显示装置的中心区域。
9.一种显示设备，其特征在于，所述显示设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人像追踪程序，所述人像追踪程序被所述处理器执行时实现如权利要求1至7中任一项所述的显示设备的人像追踪方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有人像追踪程序，所述人像追踪程序被处理器执行时实现如权利要求1至7中任一项所述的显示设备的人像追踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211560077.5A CN116363725A (zh) | 2022-12-06 | 2022-12-06 | 显示设备的人像追踪方法、系统、显示设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211560077.5A CN116363725A (zh) | 2022-12-06 | 2022-12-06 | 显示设备的人像追踪方法、系统、显示设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116363725A true CN116363725A (zh) | 2023-06-30 |
Family
ID=86938397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211560077.5A Pending CN116363725A (zh) | 2022-12-06 | 2022-12-06 | 显示设备的人像追踪方法、系统、显示设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363725A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197591A (zh) * | 2023-11-06 | 2023-12-08 | 青岛创新奇智科技集团股份有限公司 | 一种基于机器学习的数据分类方法 |
-
2022
- 2022-12-06 CN CN202211560077.5A patent/CN116363725A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197591A (zh) * | 2023-11-06 | 2023-12-08 | 青岛创新奇智科技集团股份有限公司 | 一种基于机器学习的数据分类方法 |
| CN117197591B (zh) * | 2023-11-06 | 2024-03-12 | 青岛创新奇智科技集团股份有限公司 | 一种基于机器学习的数据分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764091B (zh) | 活体检测方法及装置、电子设备和存储介质 | |
| WO2021027537A1 (zh) | 一种拍摄证件照的方法、装置、设备及存储介质 | |
| EP3179408A2 (en) | Picture processing method and apparatus, computer program and recording medium | |
| TW201911130A (zh) | 一種翻拍影像識別方法及裝置 | |
| CN106161939B (zh) | 一种照片拍摄方法及终端 | |
| WO2019137131A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108712603B (zh) | 一种图像处理方法及移动终端 | |
| US11778263B2 (en) | Live streaming video interaction method and apparatus, and computer device | |
| CN108600632B (zh) | 拍照提示方法、智能眼镜及计算机可读存储介质 | |
| JP2016531362A (ja) | 肌色調整方法、肌色調整装置、プログラム及び記録媒体 | |
| CN109934931A (zh) | 采集图像、建立目标物体识别模型的方法及装置 | |
| CN110572706B (zh) | 视频截屏方法、终端及计算机可读存储介质 | |
| CN111429338B (zh) | 用于处理视频的方法、装置、设备和计算机可读存储介质 | |
| CN113709545A (zh) | 视频的处理方法、装置、计算机设备和存储介质 | |
| CN111526287A (zh) | 图像拍摄方法、装置、电子设备、服务器、系统及存储介质 | |
| CN110969120B (zh) | 图像处理方法及装置、电子设备、可读存储介质 | |
| CN112509005A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN116363725A (zh) | 显示设备的人像追踪方法、系统、显示设备及存储介质 | |
| CN112153269A (zh) | 应用于电子设备的图片显示方法、装置、介质与电子设备 | |
| CN110826487A (zh) | 一种人脸表情数据采集方法 | |
| CN112887615A (zh) | 拍摄的方法及装置 | |
| CN112714259B (zh) | 待拍摄对象的状态调整方法、装置 | |
| CN113822899A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113989424A (zh) | 三维虚拟形象的生成方法、装置及电子设备 | |
| KR101431651B1 (ko) | 시각 장애인용 모바일 사진 촬영 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |