CN112954451B - 视频人物添加信息的方法、装置、设备及存储介质 - Google Patents
视频人物添加信息的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112954451B CN112954451B CN202110162881.7A CN202110162881A CN112954451B CN 112954451 B CN112954451 B CN 112954451B CN 202110162881 A CN202110162881 A CN 202110162881A CN 112954451 B CN112954451 B CN 112954451B
- Authority
- CN
- China
- Prior art keywords
- image frame
- human
- information
- video
- shaped area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008909 emotion recognition Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种视频人物添加信息的方法、装置、设备及存储介质。其中，该方法包括以下步骤：从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：至少一个人物所对应的人形区域及添加在所述人形区域上的人物信息；把与已识别图像帧中的人形区域位置相同的区域作为未识别图像帧中的人形区域；对所述未识别图像帧中的人形区域关联与所述已识别图像帧的人形区域相同的人物信息。利用本发明在远程教学或远程会议中，能在人物无法露出正脸时继续对人物进行标记，提高了设备的适应性，并且不需要长期对视频中的人物进行人脸监视，释放了硬件设备的性能。
Description
技术领域
本发明涉及图像处理的技术领域，更具体地，涉及一种视频人物添加信息的方法、装置、设备及存储介质。
背景技术
目前，AI技术越来越多的应用在生活、教学、企业中，其中人脸检测、人脸识别技术被越来越多的应用在自动点名中。在远程会议或远程教学中，主讲人一般能够实时观看听讲端的直播视频。如图1所示，可以通过人脸识别技术对视频中的人物进行识别，然后在视频上对人物添加相对应的标签，如姓名。通过视频上的姓名标签，主讲人知道视频中各个人物的名字，方便点名对话交流。
然而，在远程会议和远程教学中，听讲端一般有交流的环节。在交流环节中，听讲端的各人可能会转身交谈，此时转身交谈的人并非都露出正脸，没露出正脸意味着无法被框选出人脸活动区域，继而无法进行人脸识别，导致此时主讲人观看的直播视频中缺少了转身交谈的人的标签。另外，长期对视频中的人物进行人脸监视对硬件设备性能要求也非常高。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供一种视频人物添加信息的方法、装置、设备及存储介质。本发明采用的技术方案如下。
第一方面，本发明提供一种视频人物添加信息的方法，包括步骤：
从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：至少一个人物所对应的人形区域及添加在所述人形区域上的人物信息；
把与已识别图像帧中的人形区域位置相同的区域作为未识别图像帧中的人形区域；
对所述未识别图像帧中的人形区域关联与所述已识别图像帧的人形区域相同的人物信息。
在一种实施方式中，所述从待处理的视频中提取已识别图像帧步骤之前，还包括步骤：
从待处理的视频中提取第一图像帧，检测所述第一图像帧中的至少一个人物所对应的人形区域；
对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧。
在一种实施方式中，所述对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧的过程，包括步骤：
获取人物信息表，其中，所述人物信息表包括人物位置表；
根据所述人物信息表对第一图像帧中的所述人形区域添加人物信息。
在一种实施方式中，所述对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧的过程，包括步骤：
对所述人形区域执行特征识别算法，得出特征结果；
根据所述特征结果对第一图像帧中的所述人形区域添加人物信息。
在一种实施方式中，所述特征识别算法包括：动作识别算法、行为识别算法、情绪识别算法和/或人脸识别算法。
在一种实施方式中，所述特征识别算法包括：人脸识别算法；
所述视频人物添加信息的方法还包括步骤：
根据所述特征结果生成人物位置表。
在一种实施方式中，所述视频人物添加信息的方法还包括步骤：
在已识别图像帧和/或未识别图像帧中，根据本图像帧中的人物信息对自身图像帧中的人形区域添加标签。
第二方面，本发明提供一种视频人物添加信息的装置，包括：
图像帧提取模块，用于从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：至少一个人物所对应的人形区域及添加在所述人形区域上的人物信息；
人形区域确定模块，用于从所述待处理的视频中提取至少一帧未识别图像帧，把与已识别图像帧中的人形区域位置相同的区域作为所述未识别图像帧中的人形区域；
信息添加模块，对所述未识别图像帧中的人形区域关联与所述已识别图像帧的人形区域相同的人物信息。
第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施方式的方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一实施方式的方法。
本发明利用在远程教学或远程会议中，人物在视频中的位置相对固定的原理，根据已识别的图像帧的人物信息，对余下的未识别的图像帧框出相同的人形区域和添加相同的人物信息，能在人物无法露出正脸时继续对人物进行标记，提高了设备的适应性，并且不需要长期对视频中的人物进行人脸监视，释放了硬件设备的性能。
附图说明
图1是现有技术中在视频中添加姓名标签的示意图。
图2是本发明实施例一的流程示意图。
图3是本发明实施例一中的添加过程示意图。
图4是本发明实施例二的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是，本发明实施例所涉及的术语“第一\第二\……”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\……”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\……”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
实施例一
请参见图2，图2为本发明实施例一提供的一种视频人物添加信息的方法的流程示意图，该方法包括步骤S110、步骤S120和步骤S130。需要注意的是，步骤S110、步骤S120和步骤S130仅为附图标记，用于清晰解释实施例与附图2的对应关系，不代表对本实施例中的方法的各方法步骤的顺序限定。
步骤S110，从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：至少一个人物所对应的人形区域及添加在所述人形区域上的人物信息。
待处理的视频中有多个图像帧，有部分图像帧是已经进行了人形区域的检测，并在人形区域上的添加了人物信息的，这类型的图像帧是已识别图像帧，提取这类型图像帧。
如图3(a)所示，图3(a)是班级学生的全景视频中提取出的已识别图像帧。在该已识别图像帧中，有多名学生，其中的至少一名学生被检测出其所对应的人形区域，即图中的虚线框部分。这里必须指出的是，人形区域可以如图3(a)中所示，为人脸活动区域，也可以是人物的全身区域。本领域技术人员可以根据实际需要，设置合理的的人形区域。另外，对于人形区域，可以如图3(a)中所示，用虚线框将其框住，也可以只在后台对其坐标进行标记，不在视频中体现。
对于已检测出人形区域的图像帧，对每个人形区域添加上所对应的人物信息。例如在图3(a)中，每位同学都被添加上关于姓名的人物信息。这里必须指出的是，人物信息的类型也是多种多样的，如人物的名字、学生的学号、人物的情绪等，本领域技术人员可以根据实际情况，合理添加相应的人物信息。另外，对于已识别图像帧中人形区域的人物信息是如何添加的，不在本实施例中讨论。本领域技术人员根据实际情况，采用各种各样的添加信息方式，如手动添加信息(如手动敲下各个人物的名字)、自动添加信息(如通过人脸识别技术，得到各个人物的名字)或者导入添加信息(如通过导入座位表为人物添加人物信息)等方式添加人员信息。
这里必须指出的是，这些人员信息可以通过在待处理视频上添加标签的方式直接在视频中呈现出来，也可以将信息发送到其他电子设备，通过该电子设备反馈给主讲人。
步骤S120，把与已识别图像帧中的人形区域位置相同的区域作为未识别图像帧中的人形区域。
没有进行人形区域的识别和提取，且未在人形区域上的添加人物信息的图像帧是未识别图像帧。如图3(b)所示，图3(b)是班级学生的全景视频中的未识别图像帧。图3(a)为已识别图像帧，图3(a)中的虚线框在整个待处理的视频中的位置坐标如图3(c)所示。由于在远程教学或远程会议中，听讲端的桌椅摆放的位置相对固定，人员的座位也相对固定，所以可以认为在同一个视频中，人员在视频中的位置也是相对固定的。基于此，本步骤不需要再对图3(b)中的各个人物的人形区域进行提取，可以认为未识别图像帧中的人形区域与已识别图像帧中的人形区域的位置相同，直接把与已识别图像帧中的人形区域位置相同的区域作为所述未识别图像帧中的人形区域，即直接将图3(a)中的人物的坐标位置(图3(c))套在图3(b)中，得到如图3(d)所示的未识别图像帧中的所有人的人形区域。
步骤S130，对所述未识别图像帧中的人形区域关联与所述已识别图像帧的人形区域相同的人物信息。
图3(a)为已识别图像帧，图3(a)中的各个人物都添加了人物信息(如姓名信息)，例如图3(a)中最底下一行的最左边两位同学分别叫张三和李四。在如图3(d)中，直接关联最底下一行的最左边两个虚线框所对应的人物信息为张三和李四，不再对如图3(d)中的人物进行识别。
相对于现有技术中没露出正脸就无法被框选出人脸活动区域，继而无法进行人脸识别，本发明的方法在没有露出正脸的情况下，仍然能够识别中图像中的人员。具体如图3(b)所示，李四(最底下一行左数第二个)同学弯下了腰，看不见头部。如果采用传统的方法，对每一帧的人形区域都进行提取的话，图3(b)中就无法提取到李四同学的人形区域。此时，主讲端的老师如果想要提问李四同学，碍于系统无法提取李四同学的人形区域，无法进行识别，老师始终都无法得知李四同学的名字，导致始终无法直接点出李四同学的名字。但用了本发明的方法后，如图3(d)所示，始终对李四同学进行选定，并关联了人物信息。根据该关联了的人物信息，老师可以喊出李四的名字，对这位同学进行提问。另外，本发明的方法不需要长期对视频中的人物进行人脸监视，可以释放硬件设备的性能。
本发明利用在远程教学或远程会议中，人物在视频中的位置相对固定的原理，根据已识别的图像帧的人物信息，在余下的未识别的图像帧中框出相同的人形区域并添加相同的人物信息，能在人物无法露出正脸时继续对人物进行标记，提高了设备的适应性，并且不需要长期对视频中的人物进行人脸监视，释放了硬件设备的性能。
在一种实施方式中，所述从待处理的视频中提取已识别图像帧步骤之前，还包括步骤：
从待处理的视频中提取第一图像帧，检测所述第一图像帧中的至少一个人物所对应的人形区域；
对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧。
本实施方式是关于如何得到已识别图像帧的。首先，在从待处理的视频中提取其中的图像帧，对提取出的图像帧检测其中的至少一个人物所对应的人形区域。例如，如果在往后的步骤中，要想对学生执行人脸方面的特征识别算法，如人脸识别算法或情绪识别算法，可以把人形区域设置成人脸活动区域，继而执行相对应的特征识别算法。当然，如果是要进行全身方面的特征识别算法，则其对应的人形区域就需要是人物的全身区域。
在检测出人形区域后，对该人形区域添加人物信息。这里的添加人物信息，可以是手动添加信息，如手动敲下各个人物的名字，也可以是自动添加信息，如通过人脸识别技术，得到各个人物的名字，又或者如果有座位表的话，可以通过导入座位表为人物添加人物信息。本领域技术人员可以根据不同情况，通过不同的方式添加人物信息。另外，人物信息的类型也是多种多样的，如人物的名字、学生的学号、人物的情绪、人物的职位等等，本领域技术人员可以根据实际情况，合理添加相应的人物信息。
在一种实施方式中，所述对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧的过程，包括步骤：
获取人物信息表，其中，所述人物信息表包括人物位置表；
根据所述人物信息表对第一图像帧中的所述人形区域添加人物信息。
在远程教学或会议中，人物的座次是相对固定。这时可以直接获取包括人物位置表的人物信息表，根据人物的位置，就知道各个座位上的人物的信息，不需要专门的人脸识别设备进行人脸识别来获得在座人物的名单。得知图像帧的各个座位上的人物的人物信息后，根据所述人物信息表对识别图像帧中的所述人形区域添加人物信息，把图像中的人物及其所携带的人物信息对应起来。
在一种实施方式中，所述人物信息表还包括：名字信息、成绩信息、岗位信息和/或政治面貌信息。
名字信息是最基本的识别信息。对于远程教学来说，学生的成绩信息也是比较重要的信息。对于远程会议来说，在座的人员的岗位信息和政治面貌信息有助于主讲人更了解听讲人的情况。
在一种实施方式中，所述对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧的过程，包括步骤：
对所述人形区域执行特征识别算法，得出特征结果；
根据所述特征结果对第一图像帧中的所述人形区域添加人物信息。
一般来说，直接对图像中的人形区域执行特征识别算法，能够最准确地获取人员的即时信息。本实施方式中，通过对所述人形区域执行特征识别算法，得出特征结果，继而根据所述特征结果对识别图像帧中的所述人形区域添加人物信息，以务求得出最准确的人物信息。
在一种实施方式中，所述特征识别算法包括：动作识别算法、行为识别算法、情绪识别算法和/或人脸识别算法。
通过多种不用的识别算法，得出即时的人物信息，方便主讲人掌握听讲端各人员的状态。
在一种实施方式中，所述特征识别算法包括：人脸识别算法；
所述视频人物添加信息的方法还包括步骤：根据所述特征结果生成人物位置表。
在远程教学或远程会议中，可能会发生人员在座位上挪动身体的情况，为了保证视频中的人形区域的正确性，有必要每隔一段时间对第一图像帧进行重新识别，刷新人形区域。但又由于听讲端的人物的座位是相对固定的，没必要再浪费运力执行特征识别算法，此时可以生成人物位置表，然后通过前述实施方式的方法，通过人物位置表导入人员信息。
在一种实施方式中，所述视频人物添加信息的方法还包括步骤：
在已识别图像帧和/或未识别图像帧中，根据本图像帧中的人物信息对自身图像帧中的人形区域添加标签。
通过对已识别图像帧和/或未识别图像帧添加标签，让主讲人在观看听讲端视频时，能够在视频上直观地看到视频中各人的标签，更有利于主讲人下一步与听讲端之间的互动。
实施例二
与实施例一的方法相对应，如图4所示，本发明还提供一种视频人物添加信息的装置2，包括：图像帧提取模块201、人形区域确定模块202和第一信息添加模块203。
图像帧提取模块201，用于从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：至少一个人物所对应的人形区域及添加在所述人形区域上的人物信息；
人形区域确定模块202，用于从所述待处理的视频中提取至少一帧未识别图像帧，把与已识别图像帧中的人形区域位置相同的区域作为所述未识别图像帧中的人形区域；
第一信息添加模块203，对所述未识别图像帧中的人形区域关联与所述已识别图像帧的人形区域相同的人物信息。
在一种实施方式中，所述视频人物添加信息的装置还包括：第二信息添加模块，所述第二信息添加模块用于从待处理的视频中提取第一图像帧，检测所述第一图像帧中的至少一个人物所对应的人形区域，对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧。
在一种实施方式中，所述第二信息添加模块的所述对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧的过程，包括步骤：
获取人物信息表，其中，所述人物信息表包括人物位置表；
根据所述人物信息表对第一图像帧中的所述人形区域添加人物信息。
在一种实施方式中，所述人物信息表还包括：名字信息、成绩信息、岗位信息和/或政治面貌信息。
在一种实施方式中，所述第二信息添加模块的所述对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧的过程，包括步骤：
对所述人形区域执行特征识别算法，得出特征结果；
根据所述特征结果对第一图像帧中的所述人形区域添加人物信息。
在一种实施方式中，所述特征识别算法为动作识别算法、行为识别算法、情绪识别算法和/或人脸识别算法。
在一种实施方式中，所述特征识别算法包括：人脸识别算法；所述视频人物添加信息的装置还包括：座位表生成模块，所述座位表生成模块用于根据所述特征结果生成人物位置表。
在一种实施方式中，所述视频人物添加信息的装置还包括：标签添加模块，所述标签添加模块用于在已识别图像帧和/或未识别图像帧中，根据本图像帧中的人物信息对自身图像帧中的人形区域添加标签。
本发明的视频人物添加信息的装置利用在远程教学或远程会议中，人物在视频中的位置相对固定的原理，根据已识别的图像帧的人物信息，对余下的图像帧框出相同的人形区域和添加相同的人物信息，能在人物无法露出正脸时继续对人物进行标记，提高了设备的适应性，并且不需要长期对视频中的人物进行人脸监视，释放了硬件设备的性能。
实施例三
本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例的视频人物添加信息的方法。
本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、编码器及存储在存储器上并可在编码器上运行的计算机程序，其中，编码器执行程序时实现如上述各实施例中的任意一种电路原理图的检查方法。
上述计算机设备，利用在远程教学或远程会议中，人物在视频中的位置相对固定的原理，根据已识别的图像帧的人物信息，对余下的图像帧框出相同的人形区域和添加相同的人物信息，能在人物无法露出正脸时继续对人物进行标记，提高了设备的适应性，并且不需要长期对视频中的人物进行人脸监视，释放了硬件设备的性能。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种视频人物添加信息的方法，其特征在于，包括步骤：
从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：至少一个人物所对应的人形区域及添加在所述人形区域上的人物信息；
提取已识别图像帧的人形区域在画面上的位置坐标；
依据所述位置坐标，在未识别图像帧中标定出画面位置相同的区域；
将所述标定的区域认定为未识别图像帧中的人形区域；
对所述未识别图像帧中的人形区域关联与所述已识别图像帧的人形区域相同的人物信息。
2.根据权利要求1所述的视频人物添加信息的方法，其特征在于，所述从待处理的视频中提取已识别图像帧步骤之前，还包括步骤：
从待处理的视频中提取第一图像帧，检测所述第一图像帧中的至少一个人物所对应的人形区域；
对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧。
3.根据权利要求2所述的视频人物添加信息的方法，其特征在于，所述对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧的过程，包括步骤：
获取人物信息表，其中，所述人物信息表包括人物位置表；
根据所述人物信息表对第一图像帧中的所述人形区域添加人物信息。
4.根据权利要求2所述的视频人物添加信息的方法，其特征在于，所述对所述第一图像帧中的所述人形区域添加人物信息，得到已识别图像帧的过程，包括步骤：
对所述人形区域执行特征识别算法，得出特征结果；
根据所述特征结果对第一图像帧中的所述人形区域添加人物信息。
5.根据权利要求4所述的视频人物添加信息的方法，其特征在于，所述特征识别算法包括：动作识别算法、情绪识别算法和/或人脸识别算法。
6.根据权利要求4所述的视频人物添加信息的方法，其特征在于，所述特征识别算法包括：人脸识别算法；
所述视频人物添加信息的方法还包括步骤：
根据所述特征结果生成人物位置表。
7.根据权利要求1-6任一项所述的视频人物添加信息的方法，其特征在于，所述视频人物添加信息的方法还包括步骤：
在已识别图像帧和/或未识别图像帧中，根据本图像帧中的人物信息对自身图像帧中的人形区域添加标签。
8.一种视频人物添加信息的装置，其特征在于，包括：
图像帧提取模块，用于从待处理的视频中提取已识别图像帧，其中，所述已识别图像帧包括：至少一个人物所对应的人形区域及添加在所述人形区域上的人物信息；
人形区域确定模块，用于从所述待处理的视频中提取至少一帧未识别图像帧，提取已识别图像帧的人形区域在画面上的位置坐标，依据所述位置坐标，在未识别图像帧中标定出画面位置相同的区域，将所述标定的区域认定为未识别图像帧中的人形区域；
信息添加模块，对所述未识别图像帧中的人形区域关联与所述已识别图像帧的人形区域相同的人物信息。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110162881.7A CN112954451B (zh) | 2021-02-05 | 2021-02-05 | 视频人物添加信息的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110162881.7A CN112954451B (zh) | 2021-02-05 | 2021-02-05 | 视频人物添加信息的方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112954451A CN112954451A (zh) | 2021-06-11 |
| CN112954451B true CN112954451B (zh) | 2023-03-24 |
Family
ID=76242744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110162881.7A Active CN112954451B (zh) | 2021-02-05 | 2021-02-05 | 视频人物添加信息的方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112954451B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444817B (zh) * | 2020-03-24 | 2023-07-07 | 咪咕文化科技有限公司 | 一种人物图像识别方法、装置、电子设备和存储介质 |
| CN114924645A (zh) * | 2022-05-18 | 2022-08-19 | 上海庄生晓梦信息科技有限公司 | 基于手势识别的交互方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831412B (zh) * | 2012-09-11 | 2015-01-07 | 魏骁勇 | 一种基于人脸识别的教学考勤方法及其装置 |
| JP2017033390A (ja) * | 2015-08-04 | 2017-02-09 | 日本放送協会 | 画像解析装置及びプログラム |
| CN107609517B (zh) * | 2017-09-15 | 2020-10-30 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测系统 |
| CN109800675A (zh) * | 2018-12-29 | 2019-05-24 | 上海依图网络科技有限公司 | 一种确定人脸对象的识别图像的方法及装置 |
| CN110378261B (zh) * | 2019-07-08 | 2022-12-27 | 湖北盟道信息科技有限公司 | 一种学生识别方法及装置 |
| CN111524183A (zh) * | 2020-04-07 | 2020-08-11 | 上海交通大学 | 一种基于透视投影变换的目标行列定位方法 |
-
2021
- 2021-02-05 CN CN202110162881.7A patent/CN112954451B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112954451A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106657865B (zh) | 会议纪要的生成方法、装置及视频会议系统 | |
| CN107316520B (zh) | 视频教学互动方法、装置、设备及存储介质 | |
| CN112954451B (zh) | 视频人物添加信息的方法、装置、设备及存储介质 | |
| WO2018222228A1 (en) | Automated population of electronic records | |
| CN111046819B (zh) | 一种行为识别处理方法及装置 | |
| CN109685007B (zh) | 用眼习惯的预警方法、用户设备、存储介质及装置 | |
| CN105590347A (zh) | 一种考勤系统 | |
| CN104732824A (zh) | 一种交互式教学系统和方法 | |
| CN106778625A (zh) | 一种社保卡信息采集系统及其采集方法 | |
| CN111339801B (zh) | 一种人员注意力检测方法、装置、设备及系统 | |
| JP2013029954A (ja) | 受講状態改善支援システム、装置、方法、プログラム並びに記録媒体 | |
| CN111160277A (zh) | 行为识别分析方法和系统、计算机可读存储介质 | |
| CN111768170A (zh) | 一种作业批改结果展示方法及装置 | |
| CN110524558A (zh) | 一种辅助教学机器人 | |
| CN107659370B (zh) | 大学生课堂综合管理系统及方法 | |
| CN111325082A (zh) | 一种人员专注度分析方法及装置 | |
| CN105630867A (zh) | 一种匹配数据的方法及装置 | |
| CN113705510A (zh) | 目标识别跟踪的方法、装置、设备及存储介质 | |
| JP2009267621A (ja) | 通信装置 | |
| CN111353439A (zh) | 一种教学行为的分析方法、装置、系统及设备 | |
| CN114227702A (zh) | 一种基于机器人的会议智能指引方法、装置和机器人 | |
| CN110033662A (zh) | 一种题目信息采集的方法及系统 | |
| CN114067391A (zh) | 识别课堂教学视频中行为的方法及装置 | |
| CN111680653A (zh) | 座位信息生成方法、装置、设备及存储介质 | |
| CN113343850B (zh) | 视频人物信息检查的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |