CN113343850A - 视频人物信息检查的方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉公开了一种视频人物信息检查的方法、装置、设备及存储介质。其中，该方法包括步骤：从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：第一数量的人物所对应的第一人形检测区域及添加在第一人形检测区域上的第一人物信息；在所述已识别图像帧的所述第一数量的人物中提取第二数量的人物，对第二数量的人物进行人物识别，得到第二人物信息；对所述第一人物信息和所述第二人物信息进行比对，得到比对结果；根据比对结果，判断所述已识别图像帧中的第一人物信息的正确性。本发明通过只识别标识图像帧中部分人员的人员信息，并将其比对，从而得出视频中人员信息是否正确，可以减少人物识别的数量，有利于节约硬件的性能。

Description

视频人物信息检查的方法、装置、设备及存储介质

技术领域

本发明涉及图像处理的技术领域，更具体地，涉及一种视频人物信息检查的方法、装置、设备及存储介质。

背景技术

目前，AI技术越来越多的应用在生活、教学、企业中，其中人脸检测、人脸识别技术被越来越多的应用在自动点名中。在远程会议或远程教学中，主讲人一般能够实时观看听讲端的直播视频。如图1所示，可以通过人脸识别技术对视频中的人物进行识别，然后在视频上对人物添加相对应的标签，如姓名。

通过视频上的姓名标签，主讲人知道视频中各个人物的名字，方便点名对话交流。

然而，同时进行多人人脸识别对硬件性能要求极高，为了能够适应性能要求低的平台，公布号为CN105551104A的专利通过利用中小学教室学生座位相对固定的特点，预先抠出视频中的座位区域，通过导入座位表，关联座位区域与座位表中的学生座位信息，从而达到不需要对学生进行人脸识别也能够准确地

标记出学生信息的效果。但是，中小学生的座位不是一成不变的，老师会针对学生的学习情况不定期调换位置，如果换位后不及时更新座位表，有可能造成关联信息错误。假如每次关联之前都进行人脸识别，比对人脸识别的结果与座位表，以确定座位表是否为最新的，其实质上就是通过人脸识别技术去获得学生信息，失去了导入座位表的意义，并且也耗费了硬件资源。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种视频人物信息检查的方法、装置、设备及存储介质。本发明采用的技术方案如下。

第一方面，本发明提供一种视频人物信息检查的方法，包括步骤：

从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：第一数量的人物所对应的第一人形检测区域及添加在所述第一人形检测区域上的第一人物信息；

在所述已识别图像帧的所述第一数量的人物中提取第二数量的人物，对所

述第二数量的人物进行人物识别，得到第二人物信息；

对所述第一人物信息和所述第二人物信息进行比对，得到比对结果；

根据所述比对结果，判断所述已识别图像帧中的第一人物信息的正确性。

在一种实施方式中，所述判断所述已识别图像帧中的第一人物信息的正确

性的过程，包括步骤：

当所述比对结果中不小于第三数量的人物信息不一致时，判断所述已识别图像帧中的第一人物信息不正确。

在一种实施方式中，所述判断所述已识别图像帧中的第一人物信息的正确

性的过程，包括步骤：

当所述比对结果中的小于第三数量的人物信息不一致时，判断所述已识别图像帧中的第一人物信息正确。

在一种实施方式中，所述第三数量的值为1。

在一种实施方式中，还包括步骤：当所述第一人物信息不正确时，发出提醒信息。

在一种实施方式中，还包括步骤：当所述第一人物信息不正确时，对至少一帧已识别图像帧和/或未识别图像帧进行人物识别，生成新的第一人物信息。

在一种实施方式中，还包括步骤：当所述第一人物信息正确时，对未识别图像帧进行人形检测得到第二人形检测区域，对所述第二人形检测区域添加与已识别图像帧相同的人物信息。

第二方面，本发明提供一种视频人物信息检查的装置，包括：

图像帧提取模块，用于从待处理的视频中提取已识别图像帧，其中，所述

已识别图像帧包括：第一数量的人物所对应的第一人形检测区域及添加在所述第一人形检测区域上的第一人物信息；

人物识别模块，用于在所述已识别图像帧的所述第一数量的人物中提取第二数量的人物，对所述第二数量的人物进行人物识别，得到第二人物信息；

比对模块，用于对所述第一人物信息和所述第二人物信息进行比对，得到

比对结果；

判断模块，用于根据所述比对结果，判断所述已识别图像帧中的第一人物信息的正确性。

第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现述任一实施方式的方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一实施方式的方法。

本发明通过只识别标识图像帧中部分人员的人员信息，将该部分人员信息与已标识图像帧中的对应的人员信息作比对，通过比对结果判断已标识图像帧中的人员信息是否正确，从而不用大面积地对全员进行人物识别，减少了进行人物识别的数量，有利于节约硬件的性能，降低对硬件的性能要求，提高适用性。

附图说明

图1是现有技术中在视频中添加姓名标签的示意图。

图2是本发明实施例一的流程示意图。

图3是本发明实施例一中的过程示意图。

图4是本发明实施例二的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要说明的是，本发明实施例所涉及的术语“第一\第二\……”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\……”

在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\……”

区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

实施例一

请参见图2，图2为本发明实施例一提供的一种视频人物信息检查的方法的流程示意图，该方法包括步骤S110、步骤S120、步骤S130和步骤S140。需要注意的是，步骤S110、步骤S120、步骤S130和步骤S140仅为附图标记，用于清晰解释实施例与附图2的对应关系，不代表对本实施例中的方法的各方法步骤的顺序限定。

步骤S110，从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：第一数量的人物所对应的第一人形检测区域及添加在所述第一人形检测区域上的第一人物信息。

待处理的视频中有多个图像帧，有部分图像帧是已经进行了人形区域的检测，并在人形区域上的添加了人物信息的，这类型的图像帧是已识别图像帧，提取这类型图像帧。其中，这类已经添加在视频图像帧的人物信息为第一人物信息。

如图3(a)所示，图3(a)是班级学生的全景视频中提取出的已识别图像

帧。在该已识别图像帧中，有多名学生，其中的第一数量的学生被检测出其所对应的人形区域，即图中的虚线框部分。这里必须指出的是，人形区域可以如图3(a)中所示，为人脸活动区域，也可以是人物的全身区域。本领域技术人员可以根据实际需要，设置合理的的人形区域。另外，对于人形区域，可以如图3(a)中所示，用虚线框将其框住，也可以只在后台对其坐标进行标记，不在视频中体现。最后，第一数量可以如图3(a)所示是全部学生的数量，也可以是其中部分学生的数量。

对于已识别图像帧中的每个人形区域，都被添加上所对应的人物信息。例如在图3(a)中，每位同学都被添加上关于姓名的人物信息。这里必须指出的是，人物信息的类型也是多种多样的，如人物的名字、学生的学号、人物的情绪等，本领域技术人员可以根据实际情况，合理添加相应的人物信息。另外，对于已识别图像帧中人形区域的人物信息是如何添加的，不在本实施例中讨论。

本领域技术人员根据实际情况，采用各种各样的添加信息方式，如手动添加信息(如手动敲下各个人物的名字)或者导入添加信息(如通过导入座位表为人物添加人物信息)等方式添加人员信息。

这里必须指出的是，这些人员信息可以通过在待处理视频上添加标签的方式直接在视频中呈现出来，也可以将信息发送到其他电子设备，通过该电子设备反馈给主讲人。

步骤S120，在所述已识别图像帧的所述第一数量的人物中提取第二数量的人物，对所述第二数量的人物进行人物识别，得到第二人物信息。

如图3(b)所示，在图3(a)中的第一数量中提取第二数量的人物，即图3(b)中的第一行的学生。这里必须说明的是，第二数量一定是小于第一数量的，而且第二数量的学生一定是来自第一数量中的。然后，对这些第二数量的人物进行人物识别，得到第二人物信息，即对图3(b)中的第一行的学生进行人物识别，得到他们的信息。由于第二人物信息是即时的识别信息，可以认为是最新的、最准确的信息。

这里必须指出的是，对进行人物识别的图像帧没有限制，既可以是已识别图像帧，也可以是未识别图像帧，只要提取的第二数量的人物能够与第一数量中的人物能够对应起来就可以了。

步骤S130，对所述第一人物信息和所述第二人物信息进行比对，得到比对结果。

步骤S140，根据所述比对结果，判断所述已识别图像帧中的第一人物信息的正确性。

通常，中小学座位调换是比较大规模，只要提取其中部分学生的人物信息，用这部分学生的人物信息与之前添加或者导入的人物信息进行比对，就可以根据比对结果，得出学生的座位有没有发生变化，从而得知第一人物信息是否为最新的人物信息。由于在整个识别的过程中，只对部分学生进行识别，相对于识别所有学生，可以大大地减少人脸识别的数量，有利于减少节约硬件的性能。

这里必须指出的是，判断所述已识别图像帧中的第一人物信息的正确性的过程，可以根据有出入的人物信息的数量来判断正确性；可以圈定某个或者某几个重点人物，只要这些重点人物的人物信息没有出入就认为是正确的；可以根据第二人物数量中人物信息正确的比例；圈定的某个或者某几个重点人物的人物信息正确的比例；或者为第二人物数量中的每个人都赋予一个没有出入时的权值，当总权值大于预设阈值时，认为是正确的等等的方法来判断正确性。

在一种实施方式中，步骤S140中的判断所述已识别图像帧中的第一人物信息的正确性包括步骤S141。

步骤S141，当所述比对结果中不小于第三数量的人物信息不一致时，判断所述已识别图像帧中的第一人物信息不正确。

本实施方式中预设一个第三数量，当不小于第三数量的人物信息不一致时，

就判断已识别图像帧中的第一人物信息不正确。例如，预设的第三数量为1，在第二人物信息与第一人物信息比对的结果中，有1个人的人物信息无法匹配，

则认为第一人物信息是不正确的。

优选的，所述第三数量的值为1。

当然，在人员识别精度要求较低、容忍度较高的情况，可以将第三数量设置为一个稍大的数值，本领域技术人员可以根据实际情况设置该数值。

在一种实施方式中，当在步骤S140中的判断为第一人物信息不正确时，还包括步骤S150。

步骤S150，当所述第一人物信息不正确时，发出提醒信息。

提醒信息是用于提醒用户已经添加的信息为不正确的信息，用户可以通过导入座位表等方式重新生成新的第一人物信息。

在一种实施方式中，当在步骤S140中的判断为第一人物信息不正确时，还包括步骤S160。

当所述第一人物信息不正确时，对至少一帧已识别图像帧和/或未识别图像帧进行人物识别，生成新的第一人物信息。

马上对视频进行人物识别，生成新的第一人物信息，是最便捷地获取最新最准确地第一人物信息的方式。

在一种实施方式中，步骤S140中的判断所述已识别图像帧中的第一人物信息的正确性包括步骤S142。

步骤S142，当所述比对结果中的小于第三数量的人物信息不一致时，判断所述已识别图像帧中的第一人物信息正确。

与步骤S141相对应，当比对结果中小于第三数量的人物信息不一致时，判断所述已识别图像帧中的第一人物信息正确。

在一种实施方式中，当在步骤S140中的判断为第一人物信息正确时，还包括步骤S170。

步骤S170，当所述第一人物信息正确时，对未识别图像帧进行人形检测得到第二人形检测区域，对所述第二人形检测区域添加与已识别图像帧相同的人物信息。

经过比对，由于在远程会议或教学的场景中，人物在视频中的位置相对固定，得出第一人物信息正确时，可以根据已识别的图像帧的人物信息，对余下的未识别的图像帧框出相同的人形区域和添加相同的人物信息，能在人物无法露出正脸时继续对人物进行标记，提高了设备的适应性，并且不需要长期对视频中的人物进行人脸检测，释放了硬件设备的性能。

本视频人物信息检查的方法通过只识别标识图像帧中部分人员的人员信息，将该部分人员信息与已标识图像帧中的对应的人员信息作比对，通过比对结果判断已标识图像帧中的人员信息是否正确，从而不用大面积地对全员进行人物识别，减少了进行人物识别的数量，有利于节约硬件的性能，降低对硬件的性能要求，提高适用性。

实施例二

与实施例一的方法相对应，如图4所示，本发明还提供一种视频人物信息检查的装置2，包括：图像帧提取模块201、人物识别模块202、比对模块203和判断模块204。

图像帧提取模块201，用于从待处理的视频中提取已识别图像帧，其中，

所述已识别图像帧包括：第一数量的人物所对应的第一人形检测区域及添加在

所述第一人形检测区域上的第一人物信息；

人物识别模块202，用于在所述已识别图像帧的所述第一数量的人物中提取第二数量的人物，对所述第二数量的人物进行人物识别，得到第二人物信息；

比对模块203，用于对所述第一人物信息和所述第二人物信息进行比对，得到比对结果；

判断模块204，用于根据所述比对结果，判断所述已识别图像帧中的第一人物信息的正确性。

在一种实施方式中，所述判断模块204判断所述已识别图像帧中的第一人

物信息的正确性的过程，包括步骤：

当所述比对结果中不小于第三数量的人物信息不一致时，判断所述已识别图像帧中的第一人物信息不正确。

在一种实施方式中，所述判断模块204判断所述已识别图像帧中的第一人物信息的正确性的过程，包括步骤：

当所述比对结果中的小于第三数量的人物信息不一致时，判断所述已识别图像帧中的第一人物信息正确。

优选地，所述第三数量的值为1。

在一种实施方式中，视频人物信息检查的装置还包括：提醒模块；

提醒模块，用于当所述第一人物信息不正确时，发出提醒信息。

在一种实施方式中，视频人物信息检查的装置还包括：人员识别模块；

人员识别模块，用于当所述第一人物信息不正确时，对至少一帧已识别图像帧和/或未识别图像帧进行人物识别，生成新的第一人物信息。

在一种实施方式中，视频人物信息检查的装置还包括：信息添加模块；

信息添加模块，用于当所述第一人物信息正确时，对未识别图像帧进行人形检测得到第二人形检测区域，对所述第二人形检测区域添加与已识别图像帧相同的人物信息。

本视频人物信息检查的装置通过只识别标识图像帧中部分人员的人员信息，将该部分人员信息与已标识图像帧中的对应的人员信息作比对，通过比对结果判断已标识图像帧中的人员信息是否正确，从而不用大面积地对全员进行人物识别，减少了进行人物识别的数量，有利于节约硬件的性能，降低对硬件的性能要求，提高适用性。

实施例三

本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例的视频人物信息检查的方法。

本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、编码器及存储在存储器上并可在编码器上运行的计算机程序，其中，编码器执行程序时实现如上述各实施例中的任意一种视频人物信息检查的方法。

上述计算机设备，通过只识别标识图像帧中部分人员的人员信息，将该部分人员信息与已标识图像帧中的对应的人员信息作比对，通过比对结果判断已标识图像帧中的人员信息是否正确，从而不用大面积地对全员进行人物识别，减少了进行人物识别的数量，有利于节约硬件的性能，降低对硬件的性能要求，提高适用性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种视频人物信息检查的方法，其特征在于，包括步骤：

从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：第一数量的人物所对应的第一人形检测区域及添加在所述第一人形检测区域上的第一人物信息；

在所述已识别图像帧的所述第一数量的人物中提取第二数量的人物，对所述第二数量的人物进行人物识别，得到第二人物信息；

对所述第一人物信息和所述第二人物信息进行比对，得到比对结果；

根据所述比对结果，判断所述已识别图像帧中的第一人物信息的正确性。

2.根据权利要求1所述的视频人物信息检查的方法，其特征在于，所述判断所述已识别图像帧中的第一人物信息的正确性的过程，包括步骤：

当所述比对结果中不小于第三数量的人物信息不一致时，判断所述已识别图像帧中的第一人物信息不正确。

3.根据权利要求1所述的视频人物信息检查的方法，其特征在于，所述判断所述已识别图像帧中的第一人物信息的正确性的过程，包括步骤：

当所述比对结果中的小于第三数量的人物信息不一致时，判断所述已识别图像帧中的第一人物信息正确。

4.根据权利要求2或3所述的视频人物信息检查的方法，其特征在于，所述第三数量的值为1。

5.根据权利要求1所述的视频人物信息检查的方法，其特征在于，还包括步骤：

当所述第一人物信息不正确时，发出提醒信息。

6.根据权利要求1所述的视频人物信息检查的方法，其特征在于，还包括步骤：

当所述第一人物信息不正确时，对至少一帧已识别图像帧和/或未识别图像帧进行人物识别，生成新的第一人物信息。

7.根据权利要求1所述的视频人物信息检查的方法，其特征在于，还包括步骤：

当所述第一人物信息正确时，对未识别图像帧进行人形检测得到第二人形检测区域，对所述第二人形检测区域添加与已识别图像帧相同的人物信息。

8.一种视频人物信息检查的装置，其特征在于，包括：

图像帧提取模块，用于从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：第一数量的人物所对应的第一人形检测区域及添加在所述第一人形检测区域上的第一人物信息；

人物识别模块，用于在所述已识别图像帧的所述第一数量的人物中提取第二数量的人物，对所述第二数量的人物进行人物识别，得到第二人物信息；

比对模块，用于对所述第一人物信息和所述第二人物信息进行比对，得到比对结果；

判断模块，用于根据所述比对结果，判断所述已识别图像帧中的第一人物信息的正确性。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images