CN113743268A - 一种检测人物行为的方法、装置、设备及介质 - Google Patents
一种检测人物行为的方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113743268A CN113743268A CN202110981117.2A CN202110981117A CN113743268A CN 113743268 A CN113743268 A CN 113743268A CN 202110981117 A CN202110981117 A CN 202110981117A CN 113743268 A CN113743268 A CN 113743268A
- Authority
- CN
- China
- Prior art keywords
- picture
- user
- acquisition
- recording
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 244
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000015654 memory Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 241001310793 Podium Species 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请涉及计算机技术领域,提供一种检测人物行为的方法、装置、设备及介质,用于提高录播系统中检测人物行为的准确性。该方法应用于录播系统的主录设备中,录播系统包括第一采集设备和第二采集设备,第一采集设备用于采集第一区域内的用户的图像,第二采集设备用于采集第二区域内的用户的图像,该方法包括:将第一采集设备获取的第一用户的第一人物图像,与第二采集设备获取的第二用户的第二人物图像进行匹配,若不匹配,则确定第一用户和第二用户不属于同一类用户,由于第一用户属于第一类用户,因此可以确定第二用户属于第二类用户。该方法可以准确地确定第一用户和第二用户是否为同一类用户,进而提高录播系统中检测人物行为的准确性。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种检测人物行为的方法、装置、设备及介质。
背景技术
录播系统包括摄像机、以及与摄像机通信连接的录播主机,录播主机可以对摄像机现场采集的画面进行录制,后续可以存储、后期编辑及点播该录制的视频等,也可以在录制视频的同时,实时直播给其他用户。录播系统可以应用于多种场景,例如可以应用于多媒体教学场景中。
在多媒体教学场景中,摄像头可以根据摄像头拍摄的图像,检测人物行为,录播主机根据该人物行为确定是否切换当前录制画面,例如录播主机在确定学生触发起立或者坐下等行为时,根据行为切换当前录制画面,例如,从录制教师的画面切换到录制该学生的画面。目前的这种录制机制中,摄像机是依赖于人物所在的区域,确定该人物为学生还是老师,但这种方式实际无法准确地区分学生与老师,进而导致确定出的行为不准确,即目前的录制系统存在人物行为检测的准确性不高的问题。
发明内容
本申请实施例提供一种检测人物行为的方法、装置、设备及介质,用于提高录播系统中检测人物行为的准确性。
第一方面,本申请实施例提供一种检测人物行为的方法,应用于录播系统的主录设备中,所述录播系统包括第一采集设备和第二采集设备,所述第一采集设备用于采集在第一区域内的采集画面,所述第二采集设备用于采集在第二区域内的采集画面,所述第一区域为在初始状态下第一类用户所在的区域,所述第二区域为在所述初始状态下第二类用户所在的区域,所述方法包括:
从所述第一采集设备获取第一用户的第一人物图像,所述第一用户属于所述第一类用户;
从所述第二采集设备获取第二用户的第二人物图像,其中,所述第二用户为所述第二区域内的任意用户,所述第二人物图像是所述第二采集设备在确定所述第二用户存在目标行为时采集的;
若所述第二人物图像与所述第一人物图像不匹配,则确定所述第二用户属于所述第二类用户,并将所述目标行为确定为所述第二类用户的行为。
在本申请实施例中,主录设备通过第一采集设备提前获取第一用户的第一人物图像,主录设备通过第二采集设备在第二用户存在目标行为时,采集第二用户的第二人物图像,对第二人物图像与第一人物图像进行匹配,并根据匹配结果确定第二用户是否属于第一类用户,也就是说,在本申请实施例中可以准确地触发目标行为的第二用户为第一类用户还是第二类用户,以提高录播系统中检测人物行为的准确性,进而提高主录设备后续切换录制画面的准确性。
在一种可能的实施例中,从所述第二采集设备获取第二用户的第二人物图像之后,所述方法包括:
若所述第二人物图像与所述第一人物图像匹配,则确定所述第二用户属于所述第一类用户,显示提醒信息,其中,所述提醒信息用于指示所述目标行为为所述第一类用户的行为。
在本申请实施例中,主录设备确定第二用户属于第一类用户,可以显示提醒信息,指示第二采集设备采集的目标行为为第一类用户的行为,可以方便用户查看,提升用户体验。
在一种可能的实施例中,所述主录设备用于对所述第一采集设备的采集画面和/或所述第二采集设备的采集画面进行录制;
将所述目标行为确定为所述第二类用户的行为之后,所述方法还包括:
基于所述目标行为,执行相应的录制切换策略,其中,所述录制切换策略用于指示将所述主录设备的当前录制画面切换为所述第一采集设备的采集画面和/或所述第二采集设备的采集画面。
在本申请实施例中,主录设备可以根据第二用户的目标行为,对当前录制画面进行切换,由于可以准确地确定第二用户的类型,因此也就可以准确地切换录制画面。且,将当前录制画面切换为第一采集设备的采集画面和第二采集设备的采集画面中的至少一种,提供了多种切换方式。且,当前录制画面可以包括第一采集设备和第二采集设备的采集画面,使得录制画面的内容更丰富。
在一种可能的实施例中,基于所述目标行为,执行相应的录制切换策略,包括:
若所述目标行为为第一预设行为,则控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备的采集画面;或者,
若所述目标行为为第二预设行为,则控制所述第一采集设备切换为预设采集画面,并将所述主录设备的当前录制画面切换为所述预设采集画面,其中,所述预设采集画面为所述第一采集设备采集的所述第一区域的全景画面;或者,
若所述目标行为为所述第一预设行为,且所述主录设备的当前录制画面为预设录制画面,则不切换所述主录设备的当前录制画面,其中,所述预设录制画面的优先级大于所述第二采集设备的采集画面的优先级。
在本申请实施例中,当目标行为属于特定的第一预设行为时,主录设备可以控制第二采集设备聚焦至第二用户,并将当前录制画面切换为第二采集设备的采集画面,相当于录制第二用户的特写画面,以便更准确地录制第二用户的具体行为,当目标行为属于特定的第二预设行为时,主录设备可以录制第一区域的全景画面,便于录制第一区域内所有用户的整体情况,当目标行为为第一预设行为,且主录设备的当前录制画面为优先级较高的预设录制画面时,主录设备可以不切换当前录制画面,以便录制优先级较高的画面。
在一种可能的实施例中,若所述目标行为为第一预设行为,则控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备的采集画面,包括:
若所述目标行为为第一预设行为,将所述第二人物图像保存在缓存列表中,控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备对应的采集画面,其中,所述缓存列表用于保存参考人物图像,所述参考人物图像为所述目标行为为所述第一预设行为的第二类用户的人物图像。
在本申请实施例中,缓存列表中保存了之前存在第一预设行为的第二类用户的人物图像,以便后续主录设备将采集的人物图像可以与缓存列表中的人物图像进行匹配,避免多个采集设备采集到同一个存在第一预设行为的用户时,频繁地切换当前录制画面。
在一种可能的实施例中,在将所述第二人物图像保存在缓存列表中之前,所述方法还包括:
若所述缓存列表不为空,则确定所述第二人物图像与所述缓存列表中的参考人物图像不匹配。
在本申请实施例中,主录设备根据第二用户的第二人物图像与缓存列表中的参考人物图像不匹配,可以确定第二用户与缓存列表中的用户不同,才将第二人物图像保存在缓存列表中,避免重复保存第二用户的人物图像。
在一种可能的实施例中,控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备的采集画面时,所述方法还包括:
开始计时,直到计时时长大于预设时长,则控制所述主录设备的当前录制画面切换为所述第二采集设备采集的第二区域的全景画面。
在本申请实施例中,主录设备从当前录制画面切换为第二采集设备的采集画面时,开始计时,在计时时长超过预设时长之后,可以将主录设备的当前录制画面从聚焦第二用户的画面切换至第二区域的全景画面,避免当前录制画面长时间停留在某一个画面,导致最终录制的画面内容单一。
在一种可能的实施例中,所述主录设备的当前录制画面的优先级低于所述第二采集设备的采集画面的优先级。
在本申请实施例中,主录设备的当前录制画面的优先级低于第二采集设备的采集画面的优先级,才会执行切换策略,可以录制优先级更高、更重要的画面。
在一种可能的实施例中,若所述目标行为为第二预设行为,则控制所述第一采集设备切换为预设采集画面时,包括:
所述目标行为为第二预设行为,缓存列表不为空,且所述第二人物图像与所述缓存列表中的参考人物图像匹配,则从所述缓存列表中删除与所述第二人物图像匹配的参考人物图像;
若确定所述删除后的缓存列表为空,则控制所述第一采集设备切换为所述预设采集画面,并将所述主录设备的当前录制画面切换为所述预设采集画面。
在本申请实施例中,主录设备确定第二人物图像与缓存列表中的参考人物图像匹配,则从缓存列表中删除与第二人物图像匹配的参考人物图像,可以避免缓存列表中有存在第二预设行为的用户的图像,避免后续图像匹配错误,进而错误切换录制画面,另外,及时更新缓存列表,以减少缓存列表的存储量。
在一种可能的实施例中,在从所述缓存列表中删除与所述第二人物图像匹配的参考人物图像之后,所述方法还包括:
若确定所述删除后的缓存列表不为空,则不切换所述主录设备的当前录制画面。
在本申请实施例中,若确定删除后的缓存列表不为空,此时缓存列表中还有满足第一预设行为的用户,主录设备不切换当前录制画面。
第二方面,本申请实施例提供一种检测人物行为的装置,所述装置设置于录播系统的主录设备中,所述录播系统包括第一采集设备和第二采集设备,所述第一采集设备用于采集在第一区域内的采集画面,所述第二采集设备用于采集在第二区域内的采集画面,所述第一区域为在初始状态下第一类用户所在的区域,所述第二区域为在所述初始状态下第二类用户所在的区域,所述装置包括:
获取模块,用于从所述第一采集设备获取第一用户的第一人物图像,所述第一用户属于所述第一类用户;
所述获取模块,还用于从所述第二采集设备获取第二用户的第二人物图像,其中,所述第二用户为所述第二区域内的任意用户,所述第二人物图像是所述第二采集设备在确定所述第二用户存在目标行为时采集的;
确定模块,用于若所述第二人物图像与所述第一人物图像不匹配,则确定所述第二用户属于所述第二类用户,并将所述目标行为确定为所述第二类用户的行为。
在一种可能的实施例中,所述装置还包括显示模块,所述显示模块用于:
从所述第二采集设备获取第二用户的第二人物图像之后,若所述第二人物图像与所述第一人物图像匹配,则确定所述第二用户属于所述第一类用户,显示提醒信息,其中,所述提醒信息用于指示所述目标行为为所述第一类用户的行为。
在一种可能的实施例中,所述主录设备用于对所述第一采集设备的采集画面和/或所述第二采集设备的采集画面进行录制;所述装置还包括执行模块,所述执行模块用于:
将所述目标行为确定为所述第二类用户的行为之后,基于所述目标行为,执行相应的录制切换策略,其中,所述录制切换策略用于指示将所述主录设备的当前录制画面切换为所述第一采集设备的采集画面和/或所述第二采集设备的采集画面。
在一种可能的实施例中,所述执行模块具体用于:
若所述目标行为为第一预设行为,则控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备的采集画面;或者,
若所述目标行为为第二预设行为,则控制所述第一采集设备切换为预设采集画面,并将所述主录设备的当前录制画面切换为所述预设采集画面,其中,所述预设采集画面为所述第一采集设备采集的所述第一区域的全景画面;或者,
若所述目标行为为所述第一预设行为,且所述主录设备的当前录制画面为预设录制画面,则不切换所述主录设备的当前录制画面,其中,所述预设录制画面的优先级大于所述第二采集设备的采集画面的优先级。
在一种可能的实施例中,所述执行模块具体用于:
若所述目标行为为第一预设行为,将所述第二人物图像保存在缓存列表中,控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备对应的采集画面,其中,所述缓存列表用于保存参考人物图像,所述参考人物图像包括所述目标行为为所述第一预设行为的第二类用户的人物图像。
在一种可能的实施例中,所述执行模块还用于:
在将所述第二人物图像保存在缓存列表中之前,若所述缓存列表不为空,则确定所述第二人物图像与所述缓存列表中的参考人物图像不匹配。
在一种可能的实施例中,所述执行模块还用于:
控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备的采集画面时,开始计时,直到计时时长大于预设时长,则控制所述主录设备的当前录制画面切换为所述第二采集设备采集的第二区域的全景画面。
在一种可能的实施例中,所述主录设备的当前录制画面的优先级低于所述第二采集设备的采集画面的优先级。
在一种可能的实施例中,所述执行模块具体用于:
所述目标行为为第二预设行为,缓存列表不为空,且所述第二人物图像与所述缓存列表中的参考人物图像匹配,则从所述缓存列表中删除与所述第二人物图像匹配的参考人物图像;
若确定所述删除后的缓存列表为空,则控制所述第一采集设备切换为所述预设采集画面,并将所述主录设备的当前录制画面切换为所述预设采集画面。
在一种可能的实施例中,所述执行模块,还用于:
在从所述缓存列表中删除与所述第二人物图像匹配的参考人物图像之后,若确定所述删除后的缓存列表不为空,则不切换所述主录设备的当前录制画面。
第三方面,本申请实施例提供一种检测人物行为的设备,包括:
至少一个处理器,以及
与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面中任一项所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如第一方面中任一项所述的方法。
附图说明
图1为本申请实施例提供的一种检测人物行为的方法的应用场景图;
图2A为本申请实施例提供的第一采集设备的一种部署方案的示意图;
图2B为本申请实施例提供的第二采集设备的一种部署方案的示意图;
图2C为本申请实施例提供的第二采集设备的另一种部署方案的示意图;
图3为本申请实施例提供的录播系统中各个设备之间的交互示意图;
图4为本申请实施例提供的第一采集设备的工作流程图;
图5为本申请实施例提供的第二采集设备的工作流程图;
图6为本申请实施例提供的基于第一预设行为执行切换策略的方法流程图;
图7为本申请实施例提供的基于第二预设行为执行切换策略的方法流程图;
图8为本申请实施例提供的一种检测人物行为的装置的结构图;
图9为本申请实施例提供的一种检测人物行为的设备的结构图。
具体实施方式
为了更好的理解本申请实施例提供的技术方案,下面将结合说明书附图以及具体的实施方式进行详细的说明。
为了提高检测人物行为的准确性,本申请实施例提供一种检测人物行为的方法。该方法可以由录播系统中的主录设备执行。主录设备可以通过具有录像功能的终端或服务器实现,终端例如个人计算机、录像机或嵌入式设备等,嵌入式设备例如摄像头等,服务器例如实体服务器或虚拟服务器等。
下面对该检测人物行为的方法的应用场景示意图进行说明。请参照图1,为本申请实施例提供的一种检测人物行为的方法的应用场景示意图。该应用场景包括录播系统,该录播系统具体包括主录设备110、第一采集设备120以及第二采集设备130,第一采集设备120与主录设备110可以相互通信,第二采集设备130与主录设备110之间可以相互通信。
第一采集设备120和第二采集设备130可以将各自的采集画面分别发送给主录设备110,主录设备110可以录制第一采集设备120的采集画面和/或第二采集设备130的采集画面。其中,第一采集设备120和第二采集设备130为具有拍摄功能的设备,例如均为摄像机或录像机。
应当说明的是,图1是以一个第一采集设备120和一个第二采集设备130为例,实际上不限制第一采集设备120和第二采集设备130的数量。第一采集设备120用于采集第一区域的采集画面,第二采集设备130用于采集第二区域的采集画面,第一区域和第二区域可以覆盖该录像系统所在的场景,该场景例如教室或会议室。其中,多个第一采集设备120中任意两个第一采集设备120的第一区域可以存在部分重叠,同理,多个第二采集设备130中任意两个第二采集设备130的第二区域可以存在部分重叠。
图1所述的录播系统可以设置在各类场景中,例如,教学场景、会议场景、节目主持场景等,本申请实施例对此不作限制。
以录播系统可以设置在教学场景中为例,主录设备110可以根据第一采集设备120发送的教师的第一人物图像,以及第二采集设备120发送的第二人物图像,主录设备110确定第二人物图像对应的用户是教师还是学生,若第二人物图像与第一人物图像不匹配,则确定第二人物图像对应的用户为学生,并执行切换策略,其中,主录设备110具体如何执行切换策略将在下文进行介绍。为了便于简化描述,当录播系统设置在教学场景中时,第一采集设备120可以简称为教师机,第二采集设备130可以简称为学生机。
下面以录播系统可以设置在教学场景中为例,对录播系统中各设备的部署示意图进行详细说明。
请参照图2A,为本申请实施例提供的第一采集设备的部署方案的示意图。该示意图包括教师机201、教室顶部202、教室地面203以及讲台204,教师机201设置于教室顶部202与教室地面203之间,图2A中的虚线表示第一区域的边界,第一区域包括讲台204。
请参照图2B,为本申请实施例的第二采集设备的一种部署方案的示意图。
该示意图包括讲台204、第一学生机205、第二学生机206、第三学生机207、以及第四学生机208。其中,图2B中的虚线209和虚线210之间的区域表示第一学生机205的第二区域,虚线209和虚线211之间的区域表示第二学生机206的第二区域。在图2B所示的部署方案中,第一学生机205和第二学生机206的第二区域存在部分重叠,第三学生机207和第四学生机208均位于该重叠区域之内。
请参照图2C,为本申请实施例提供的第二采集设备的另一种部署方案的示意图。该示意图包括讲台204、第一学生机205、第二学生机206、第三学生机207、以及第四学生机208。其中,图2C中虚线209和虚线210之间的区域表示第一学生机205的第二区域,虚线209和虚线211之间的区域表示第二学生机206的第二区域。在图2C所示的部署方案中,第一学生机205和第二学生机206的第二区域存在部分重叠,第三学生机207和第四学生机208均位于该重叠区域之外。
基于图1论述的应用场景,下面对本申请实施例涉及的一种检测人物行为的方法进行介绍。请参照图3,为图1中各个设备之间的交互示意图。
S301、主录设备分别与第一采集设备、第二采集设备建立通信连接。
主录设备可以分别响应于用户在交互界面进行的添加操作,添加第一采集设备和第二采集设备。例如,用户在主录设备的添加配置界面中分别输入第一采集设备和第二采集设备的设备信息、账号信息和通道编号,设备信息例如网际互连协议(IPInternetProtocol,IP)地址,账号信息例如用户名和密码,通道编号用于指示不同的逻辑通道。该用户进行的输入操作可以视为一种添加操作,主录设备可以根据用户输入的账号信息确定执行添加操作的用户是否合法,并根据用户输入的设备信息,在通道编号对应的逻辑通道上,分别与第一采集设备和第二采集设备建立传输控制协议(Transmission ControlProtocol,TCP)连接。
以录播系统可以设置在教学场景中为例,如果在通道编号为“1”的逻辑通道上建立第一采集设备与主录设备的连接,该通道编号为“1”的逻辑通道可以称为教师通道,如果在通道编号为“2”的逻辑通道上建立第二采集设备与主录设备的通信连接,该通道编号为“2”的逻辑通道可以称为学生通道。
S302、第一采集设备发送第一人物图像。
第一采集设备可以采集第一区域内的采集画面,第一区域为在初始状态下第一类用户所在的区域,初始状态表示录播系统处于开启状态。录播系统可以是第三用户手动开启的,例如第三用户可以通过平板电脑发送开启指令给主录设备,开启指令用于开启录播系统。录播系统也可以是处于预设时间时自动开启的,例如预设时间为第三用户预先设置好的录播系统开启的时间,主录设备一旦检测到当前时间为预设时间,便自动开始录播系统。第三用户可以为第一用户或第二用户,或为第一用户和第二用户之外的其他用户。
以录播系统可以设置在教学场景为例,第一类用户例如为教师,第二类用户例如为学生,初始状态例如为开始上课,第一区域为开始上课时教师所在的区域,例如讲台区域。第二区域为开始上课时学生所在的区域,例如教室中除讲台区域之外的其他区域。
以录播系统可以设置在会议场景为例,第一类用户例如为主讲人,第二类用户例如为参会人员,初始状态例如为开始会议,第一区域为开始会议时主讲人所在的区域,例如讲台区域。第二区域为开始会议时参会人员所在的区域,例如会议室中除讲台区域之外的其他区域。
在初始状态时,第一采集设备可以检测第一区域内是否存在用户,如果存在用户,则将检测到的用户的第一人物图像发送给主录设备处理。在初始状态下,默认将第一区域检测到的用户视为第一用户。其中,涉及到第一采集设备如何获取第一人物图像,下面第一采集设备获取第一人物图像的工作流程进行示例介绍。
请参照图4,为本申请实施例提供的第一采集设备的工作流程图。
S410、接收第一配置参数。
第一采集设备可以接收第四用户输入的第一配置参数,或者其他设备发送的配置参数,第一配置参数包括第一相似度阈值,第一相似度阈值用于指示判断第一区域中是否存在用户的阈值,例如,相似度为80%,换言之,当采集的第一人物图像与预存的人物特征之间的相似度大于或等于该第一相似度阈值,则确定该第一区域存在用户,且默认该用户为第一类用户,反之,当采集的第一人物图像与预存的人物特征之间的相似度小于该第一相似度阈值,则表示第一区域不存在用户,自然也不存在第一类用户。
其中,第四用户可以为第一用户或第二用户或第三用户,也可以为第一用户、第二用户和第三用户之外的其他用户。其他设备可以为第二采集设备或主录设备,也可以为除了第二采集设备和主录设备之外的设备。
S420、实时监测并分析第一视频流。
第一采集设备可以实时录制第一区域内的采集画面的第一视频流,并抓取第一视频流中的图像,获得抓取的图像,提取该图像的特征,将该图像的特征与预存的人物特征进行比较,预存的人物特征为提取的人物的特征,例如为人物的人脸特征。
S430、确定第一区域是否存在用户。
若该图像的特征和预存的人物特征之间的相似度大于或等于该第一相似度阈值,则第一采集设备确定第一区域中存在用户,并将该用户默认视为第一用户,执行S440,即发送第一人物图像。若该图像的特征和预存的人物特征之间的小于该第一相似度阈值,则第一采集设备确定第一区域中不存在用户,执行S420,即实时监测并分析第一视频流。
S440、发送第一人物图像。
第一采集设备根据抓取的图像检测到第一用户之后,可以直接将抓取的图像作为第一人物图像发送给主录设备,此时抓取的图像为第一用户的全身图像。或者第一采集设备可以从抓取的图像中分割出第一用户的脸部图像,将第一用户的脸部图像作为第一人物图像发送给主录设备。
第一采集设备将第一人物图像发送给主录设备时,可以将第一人物图像属于第一类用户的检测信息加载在该第一人物图像中,发送给主录设备。或者,第一采集设备将第一人物图像发送给主录设备的同时,还可以将第一人物图像属于第一类用户的检测信息发送给主录设备。
S303、主录设备接收第一人物图像。
主录设备接收到第一采集设备发送的第一用户的第一人物图像之后,可以直接将第一人物图像保存在第一缓存列表中,例如该第一缓存列表可以称为教师缓存列表。
作为一种实施例,主录设备接收到第一采集设备发送的检测信息以及第一用户的第一人物图像之后,主录设备可以根据检测信息获得第一人物图像属于第一类用户,并将第一人物图像与其所属的第一类用户关联保存在第一缓存列表中。
S304、第二采集设备发送第二人物图像。
第二采集设备可以采集第二区域内的采集画面,第二区域为在初始状态下第二类用户所在的区域。初始状态的含义请参照前文论述的内容,此处不再赘述。
第二采集设备可以检测第二区域内存在目标行为的用户,并将存在目标行为的用户的第二人物图像发送给主录设备处理。目标行为包括第一预设行为和第二预设行为,第一预设行为和第二预设行为可以是相反的两种行为,例如第一预设行为是从坐下到站立的行为,第二预设行为是从站立到坐下的行为。
其中,涉及到第二采集设备如何获取第二人物图像,下面进行具体介绍。请参照图5,为本申请实施例提供的第二采集设备的工作流程图。
S510、接收第二配置参数。
第二采集设备可以接收第四用户输入的第二配置参数,或者其他设备发送的第二配置参数,第二配置参数包括第二相似度阈值,第二相似度阈值用于指示判断是否存在人脸的阈值,例如相似度为80%。换言之,当采集的图像特征与预存的人脸特征之间的相似度大于或等于该第二相似度阈值,则表示该图像存在人脸,反之,当采集的图像特征与预存的人脸特征之间的相似度小于该第二相似度阈值,则表示该图像不存在人脸。第四用户和其他设备的含义请参照前文论述的内容,此处不再赘述。
S520、实时监测并分析第二视频流。
第二采集设备可以实时录制第二区域的采集画面的第二视频流,通过相邻两帧或相隔几帧的图像之间的差异,判断第二区域内的用户是否存在第三预设行为。
具体的,第二采集设备可以在第二区域的采集画面中预先设定目标区域,截取第二视频流中相邻两帧或相隔几帧的两幅图像,并将这两幅图像的像素值相减,获得差分图像,并对差分图像进行阈值化,从而提取运动区域,根据运动区域与目标区域的差异,确定第二区域的用户是否存在第三预设行为。
其中,第三预设行为表示用户预设的身体部位的位置存在移动,预设的身体部分例如手、脚等。第三预设行为包括第一预设行为和第二预设行为,例如第三预设行为包括举手行为、从坐下到站立的行为、以及从站立到坐下的行为等,第一预设行为是从坐下到站立的行为,第二预设行为是从站立到坐下的行为。
S530、确定第二区域内的用户是否存在第三预设行为。
具体的,如果第二采集设备确定第二区域的用户不存在第三预设行为,则执行S520,即实时监测并分析第二视频流。如果第二采集设备确定第二区域的用户存在第三预设行为,执行S540,即提取目标区域的图像。
S540、提取目标区域的图像。
考虑到用户的移动可能有多种,第二区域的用户的移动可能不属于目标行为,例如举手行为属于第三预设行为,但不属于目标行为。因此,本申请实施例中,第二采集设备在确定第二区域的用户存在第三预设行为之后,可以提取目标区域的图像,检测目标区域是否存在人脸,从而准确地确定第二区域的用户是否存在目标行为。
S550、确定目标区域是否存在人脸。
第二采集设备提取目标区域的图像特征,将目标区域的图像特征和预存的人脸特征进行比较,若目标区域的图像特征和预存的人脸特征之间的相似度大于第二相似度阈值,则确定目标区域存在人脸,进而确定第二区域内的用户的第三预设行为属于目标行为,将该用户称为第二用户,执行S560,即发送第二人物图像。
若目标区域图像的特征和预存的人脸特征之间的相似度小于或等于第二相似度阈值,则确定目标区域不存在人脸,进而确定第二区域内的用户的第三预设行为不属于目标行为,执行S520,即实时监测并分析视频流。
S560、发送第二人物图像。
第二采集设备根据目标区域的图像确定第二区域内的第二用户存在目标行为之后,可以直接将目标区域的图像作为第二人物图像发送给主录设备。或者第二采集设备可以从目标区域的图像中分割出第二用户的脸部图像,将第二用户的脸部图像作为第二用户的第二人物图像,并发送给主录设备。
第二采集设备将第二人物图像发送给主录设备时,可以将目标行为所属类型的指示信息加载在该第二人物图像中,发送给主录设备,指示信息用于指示目标行为属于第一预设行为或第二预设行为。或者第二采集设备将第二人物图像发送给主录设备的同时,还可以将目标行为所属类型的指示信息也发送给主录设备,以便主录设备能够根据该指示信息快速地确定第二用户存在的目标行为的类型。
应当说明的是,S540和S550为可选的步骤,例如,主录设备可以直接将第三预设行为确定为目标行为。
S305、主录设备接收第二人物图像。
主录设备接收到第二采集设备发送的第二用户的第二人物图像。或者主录设备接收到第二采集设备发送的第二用户的第二人物图像和指示信息。
S306、主录设备检测第二人物图像与第一人物图像是否匹配。
由于初始状态在第一区域内的第一类用户可能走进第二区域,例如,以录播系统可以设置在教学场景为例,教师走出第一区域,进入学生所在的第二区域。第二采集设备获取的第二人物图像对应的第二用户可能属于第一类用户,也可能属于第二类用户。为了确定第二人物图像对应的第二用户是否属于第二类用户,主录设备在获取了第二人物图像和第一人物图像之后,可以检测第二人物图像与第一人物图像是否匹配。
具体的,主录设备可以计算第二人物图像与缓存的第一人物图像之间的第一相似度,若该第一相似度大于第一预设相似度,则确定第二人物图像与第一人物图像匹配,确定第二用户属于第一类用户,并将目标行为确定为第一类用户的行为,此时,主录设备不切换当前录制画面。主录设备可以显示提醒信息,该提醒信息用于指示目标行为为第一类用户的行为。若第一相似度小于或等于第一预设相似度,则确定第二人物图像与第一人物图像不匹配,确定第二用户属于第二类用户,并将目标行为确定为第二类用户的行为,则执行S307,即执行切换策略。
S307、主录设备执行切换策略。
为了使主录设备录制画面的内容更丰富,主录设备将目标行为确定为第二类用户的行为之后,可以基于目标行为,执行相应的录制切换策略,其中,录制切换策略用于指示将主录设备的当前录制画面切换为第一采集设备的采集画面和/或第二采集设备的采集画面,当前录制画面表示主录设备正在录制的画面。
在本申请实施例中,目标行为可能属于第一预设行为或第二预设行为,由于目标行为的类型不同,主录设备执行的录制切换策略不同,下面分别进行介绍。
情况一:目标行为为第一预设行为。
请参见图6,为本申请实施例提供的基于第一预设行为执行切换策略的方法流程图,该方法由主录设备执行。
S601,确定目标行为为第一预设行为。
当第二采集设备发送的是第二人物图像时,主录设备可以识别第二人物图像中第二用户的目标行为属于第一预设行为或第二预设行为。
当第二采集设备发送的是第二人物图像和指示信息时,主录设备可以根据指示信息,直接确定目标行为属于第一预设行为或第二预设行为。
S602,确定当前录制画面是否为预设录制画面。
考虑到主录设备的当前录制画面的优先级,为了录制优先级更高的画面,本申请实施例中,主录设备在确定目标行为为第一预设行为之后,可以根据当前录制画面的优先级,确定是否切换当前录制画面。
具体的,主录设备可以提前设置预设录制画面,且设置预设录制画面的优先级大于第二采集设备的采集画面的优先级。进而主录设备可以根据当前录制画面是否为预设录制画面,确定当前录制画面的优先级。
例如,第一采集设备具体可以包括示教设备,第一类用户可以通过示教设备进行教学,例如,第一类用户可以通过演示文稿软件(PowerPoint,PPT)为第二类用户展示主讲内容,主讲内容例如教学内容或会议内容。该示教设备可以采集自身展示的示教画面,主录设备可以将当前录制画面切换为该示教画面。
若当前录制画面是预设录制画面,说明当前录制画面的优先级高于第二采集设备的采集画面的优先级,执行S603,即不切换当前录制画面。
若当前录制画面不是预设录制画面,说明主录设备的当前录制画面的优先级低于第二采集设备的采集画面的优先级,可以切换当前录制画面,执行S604,即检测第二缓存列表为空,或者直接执行S606,即将第二人物图像保存在第二缓存列表中。
S603,不切换当前录制画面。
若当前录制画面为预设录制画面,则不切换主录设备的当前录制画面,例如,当前录制画面为PPT画面,则继续录制示教设备发送的PPT画面。
应当说明的是,S602和S603是可选的步骤,若主录设备未设置预设录制画面,不执行S602和S603,若当前录制画面不是预设录制画面,不执行S603。
S604,检测第二缓存列表为空。
为了确定之前是否存在第一预设行为的用户,主录设备在确定目标行为为第一预设行为之后,可以检测第二缓存列表是否为空。其中,第二缓存列表用于保存参考人物图像,参考人物图像包括目标行为为第一预设行为的第二类用户的人物图像,例如该第二缓存列表可以称为学生缓存列表。
若第二缓存列表为空,说明之前不存在第一预设行为的用户,执行S606,即将第二人物图像保存在第二缓存列表中。
若第二缓存列表不为空,说明之前存在第一预设行为的用户,继续执行S605,即检测第二人物图像与第二缓存列表中的参考人物图像是否匹配。
S605,检测第二人物图像与第二缓存列表中的参考人物图像是否匹配。
考虑到录播系统中可能存在多个第二采集设备,多个第二采集设备对应的第二区域可能存在部分重叠,多个第二采集设备可能先后在部分重叠区域检测到存在第一预设行为的第二用户。为了避免主录设备频繁地切换当前录制画面,主录设备在确定第二缓存列表不为空之后,检测第二人物图像与第二缓存列表中的参考人物图像是否匹配。
具体的,主录设备可以计算第二人物图像与第二缓存列表中的各个参考人物图像之间的第二相似度,若存在第二相似度大于或等于第二预设相似度,则确定第二人物图像与第二缓存列表中的参考人物图像匹配,说明第二用户与第二缓存列表中的参考人物图像对应的用户相同,也就是说,其他第二采集设备已经检测到存在第一预设行为的第二用户并上报给主录设备,且主录设备也已经执行了相应的切换策略,因此执行S603,即不切换当前录制画面。
若存在第二相似度均小于第二预设相似度,则确定第二人物图像与第二缓存列表中的参考人物图像不匹配,说明第二用户与第二缓存列表中的参考人物图像对应的用户不同,执行S606,即将第二人物图像保存在第二缓存列表中。
应当说明的是,S605为可选的步骤,当第二缓存列表为空时,不执行S605。
S606,将第二人物图像保存在第二缓存列表中。
应当说明的是,S604-S606为可选的步骤,当主录设备中不存在第二缓存列表时,不执行S604-S606,直接执行S607,即控制第二采集设备聚焦至第二用户。
S607,控制第二采集设备聚焦至第二用户。
主录设备可以控制第二采集设备调整参数,以使第二采集设备聚焦至第二用户,采集第二用户的特写画面,并将当前录制画面切换为第二采集设备此时采集的第二用户的特写画面,特写画面为第二用户的放大画面。
应当说明的是,S606和S607为可选的步骤,若第二人物图像与第二缓存列表中的参考人物图像匹配,则不执行S606和S607。
S608,将当前录制画面切换为第二采集设备采集的第二区域的全景画面。
为了避免主录设备的当前录制画面长时间停留在某一个画面,主录设备在控制第二采集设备聚焦至第二用户,并将主录设备的当前录制画面切换为第二采集设备的采集画面时,可以开始计时,直到计时时长大于预设时长,则控制主录设备的当前录制画面切换为第二采集设备采集的第二区域的全景画面。其中,第二区域的全景画面用于展示第二区域的整体情况。
应当说明的是,S608为可选的步骤,若不计时,则不执行S608。
情况二:目标行为为第二预设行为。
请参见图7,为本申请实施例提供的基于第二预设行为执行切换策略的方法流程图,该方法由主录设备执行。
S701,确定目标行为为第二预设行为。
确定目标行为所属类型的方法请参照前文论述的S601的内容,此处不再赘述。
S702,检测第二缓存列表是否为空。
主录设备确定目标行为为第二预设行为之后,可以检测第二缓存列表是否为空,第二缓存列表的含义请参照前文论述的内容,此处不再赘述。
若第二缓存列表为空,说明不存在第一预设行为的用户,执行S703,即不切换当前录制画面。
若第二缓存列表不为空,说明之前存在第一预设行为的用户,执行S704,即检测第二人物图像与第二缓存列表中的参考人物图像是否匹配。
应当说明的是,S702为可选的步骤,当主录设备中不存在第二缓存列表时,不执行S702,直接执行S707,即将当前录制画面切换为预设采集画面。
S703,不切换当前录制画面。
S704,检测第二人物图像与第二缓存列表中的参考人物图像是否匹配。
主录设备在确定第二缓存列表不为空之后,检测第二人物图像与第二缓存列表中的参考人物图像是否匹配,以便确定第二用户在第二预设行为之前是否存在第一预设行为。其中,确定第二人物图像与第二缓存列表中的参考人物图像是否匹配的方法请参照前文论述的内容,此处不再赘述。
若第二人物图像与第二缓存列表中的参考人物图像不匹配,说明第二用户与第二缓存列表中的参考人物图像对应的用户不同,即第二用户在第二预设行为之前不存在第一预设行为,执行S703,即不切换当录制画面。
若第二人物图像与第二缓存列表中的参考人物图像匹配,说明第二用户与第二缓存列表中的参考人物图像对应的用户相同,即第二用户在第二预设行为之前存在第一预设行为,继续执行S705,即第二缓存列表中删除与第二人物图像匹配的参考人物图像。
S705,从第二缓存列表中删除与第二人物图像匹配的参考人物图像。
主录设备确定第二人物图像与第二缓存列表中的参考人物图像匹配之后,可以从第二缓存列表中删除与第二人物图像匹配的参考人物图像,以减少第二缓存列表的数据量。
S706,检测删除后的第二缓存列表是否为空。
主录设备从第二缓存列表中删除与第二人物图像匹配的参考人物图像之后,还可以检测删除后的第二缓存列表是否为空,以便确认是否还存在第一预设行为的用户。
若主录设备确定删除后的第二缓存列表不为空,说明还存在第一预设行为的用户,执行S703,即不切换当录制画面。
若主录设备确定删除后的第二缓存列表为空,说明已经不存在第一预设行为的用户,则执行S707,即将当前录制画面切换为预设采集画面。
应当说明的是,S705和S706为可选的步骤,若第二人物图像与第二缓存列表中的参考人物图像不匹配,不执行S705和S706。
S707,将当前录制画面切换为预设采集画面。
主录设备可以控制第一采集设备切换为预设采集画面,并将主录设备的当前录制画面切换为预设采集画面。其中,预设采集画面为第一采集设备采集的第一区域的全景画面,第一区域的全景画面用于展示第一区域的整体情况。
应当说明的是,S307为可选的步骤,若第二人物图像与第一人物图像不匹配,则不执行S307。
作为一个示例,图3中实施例中主录设备例如为图1中的主录设备110、第一采集设备例如为图1中的第一采集设备120、第二采集设备例如为图1中的第二采集设备130。
基于同一发明构思,本申请实施例提供一种检测人物行为的装置,该装置相当于设置在前文论述录播系统的主录设备中,录播系统包括第一采集设备和第二采集设备,第一采集设备用于采集在第一区域内的采集画面,第二采集设备用于采集在第二区域内的采集画面,第一区域为在初始状态下第一类用户所在的区域,第二区域为在初始状态下第二类用户所在的区域,请参照图8,该装置包括:
获取模块801,用于从第一采集设备获取第一用户的第一人物图像,第一用户属于第一类用户;
获取模块801,还用于从第二采集设备获取第二用户的第二人物图像,其中,第二用户为第二区域内的任意用户,第二人物图像是第二采集设备在确定第二用户存在目标行为时采集的;
确定模块802,用于若第二人物图像与第一人物图像不匹配,则确定第二用户属于第二类用户,并将目标行为确定为第二类用户的行为。
在一种可能的实施例中,该装置还包括显示模块803,显示模块803用于:
从所述第二采集设备获取第二用户的第二人物图像之后,若所述第二人物图像与所述第一人物图像匹配,则确定所述第二用户属于所述第一类用户,显示提醒信息,其中,所述提醒信息用于指示所述目标行为为所述第一类用户的行为。
在一种可能的实施例中,主录设备用于对第一采集设备的采集画面和/或第二采集设备的采集画面进行录制;该装置还包括执行模块804,执行模块804用于:
将目标行为确定为第二类用户的行为之后,基于目标行为,执行相应的录制切换策略,其中,录制切换策略用于指示将主录设备的当前录制画面切换为第一采集设备的采集画面和/或第二采集设备的采集画面。
在一种可能的实施例中,执行模块804具体用于:
若目标行为为第一预设行为,则控制第二采集设备聚焦至第二用户,并将主录设备的当前录制画面切换为第二采集设备的采集画面;或者,
若目标行为为第二预设行为,则控制第一采集设备切换为预设采集画面,其中,预设采集画面为第一采集设备采集的第一区域的全景画面,或第二采集设备采集的第二区域的全景画面;或者,
若目标行为为第一预设行为,且主录设备的当前录制画面为预设录制画面,则不切换主录设备的当前录制画面,其中,预设录制画面的优先级高于第二采集设备的采集画面的优先级。
在一种可能的实施例中,执行模块804具体用于:
若目标行为为第一预设行为,将第二人物图像保存在缓存列表中,控制第二采集设备聚焦至第二用户,并将主录设备的当前录制画面切换为第二采集设备对应的采集画面,其中,缓存列表用于保存参考人物图像,参考人物图像包括目标行为为第一预设行为的第二类用户的人物图像。
在一种可能的实施例中,执行模块804还用于:
在将第二人物图像保存在缓存列表中之前,若缓存列表不为空,则确定第二人物图像与缓存列表中的参考人物图像不匹配。
在一种可能的实施例中,执行模块804还用于:
控制第二采集设备聚焦至第二用户,并将主录设备的当前录制画面切换为第二采集设备的采集画面时,开始计时,直到计时时长大于预设时长,则控制主录设备的当前录制画面切换为第二区域的全景画面。
在一种可能的实施例中,主录设备的当前录制画面的优先级低于第二采集设备的采集画面的优先级。
在一种可能的实施例中,预设采集画面为第一采集设备采集的第一区域的全景画面;执行模块804具体用于:
目标行为为第二预设行为,缓存列表不为空,且第二人物图像与缓存列表中的参考人物图像匹配,则从缓存列表中删除与第二人物图像匹配的参考人物图像;
若确定删除后的缓存列表为空,则控制第一采集设备切换为预设采集画面,并将所述主录设备的当前录制画面切换为所述第一采集设备的采集画面。
在一种可能的实施例中,执行模块804还用于:
在从缓存列表中删除与第二人物图像匹配的参考人物图像之后,若确定删除后的缓存列表不为空,则不切换主录设备的当前录制画面。
作为一种实施例,图8论述的检测人物行为的装置可以实现前文论述任一的检测人物行为的方法,此处不再赘述。
基于同一发明构思,本申请实施例提供一种检测人物行为的设备,该设备可以实现前文论述的主录设备的功能,请参照图9,该设备包括:
至少一个处理器901,以及
与所述至少一个处理器901通信连接的存储器902;
其中,所述存储器902存储有可被所述至少一个处理器901执行的指令,所述至少一个处理器901通过执行所述存储器902存储的指令实现如前文论述任一的检测人物行为的方法。
处理器901可以是一个中央处理单元(central processing unit,CPU),或者为数字处理单元、或为图像处理器等中的一种或多种组合。存储器902可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器902也可以是非易失性存储器(non-volatile memory),例如只读存储器,快闪存储器(flashmemory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)、或者存储器902是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器902可以是上述存储器的组合。
作为一种实施例,图9中的处理器901可以实现前文论述任一的检测人物行为的方法,处理器901还可以实现前文图8论述的检测人物行为的装置的功能。
基于同一发明构思,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如前文论述任一的检测人物行为的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (12)
1.一种检测人物行为的方法,其特征在于,应用于录播系统的主录设备中,所述录播系统包括第一采集设备和第二采集设备,所述第一采集设备用于采集在第一区域内的采集画面,所述第二采集设备用于采集在第二区域内的采集画面,所述第一区域为在初始状态下第一类用户所在的区域,所述第二区域为在所述初始状态下第二类用户所在的区域,所述方法包括:
从所述第一采集设备获取第一用户的第一人物图像,所述第一用户属于所述第一类用户;
从所述第二采集设备获取第二用户的第二人物图像,其中,所述第二用户为所述第二区域内的任意用户,所述第二人物图像是所述第二采集设备在确定所述第二用户存在目标行为时采集的;
若所述第二人物图像与所述第一人物图像不匹配,则确定所述第二用户属于所述第二类用户,并将所述目标行为确定为所述第二类用户的行为。
2.如权利要求1所述的方法,其特征在于,从所述第二采集设备获取第二用户的第二人物图像之后,所述方法包括:
若所述第二人物图像与所述第一人物图像匹配,则确定所述第二用户属于所述第一类用户,显示提醒信息,其中,所述提醒信息用于指示所述目标行为为所述第一类用户的行为。
3.如权利要求1所述的方法,其特征在于,所述主录设备用于对所述第一采集设备的采集画面和/或所述第二采集设备的采集画面进行录制;
将所述目标行为确定为所述第二类用户的行为之后,所述方法还包括:
基于所述目标行为,执行相应的录制切换策略,其中,所述录制切换策略用于指示将所述主录设备的当前录制画面切换为所述第一采集设备的采集画面和/或所述第二采集设备的采集画面。
4.如权利要求3所述的方法,其特征在于,基于所述目标行为,执行相应的录制切换策略,包括:
若所述目标行为为第一预设行为,则控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备的采集画面;或者,
若所述目标行为为第二预设行为,则控制所述第一采集设备切换为预设采集画面,并将所述主录设备的当前录制画面切换为所述预设采集画面,其中,所述预设采集画面为所述第一采集设备采集的所述第一区域的全景画面;或者,
若所述目标行为为所述第一预设行为,且所述主录设备的当前录制画面为预设录制画面,则不切换所述主录设备的当前录制画面,其中,所述预设录制画面的优先级大于所述第二采集设备的采集画面的优先级。
5.如权利要求4所述的方法,其特征在于,若所述目标行为为第一预设行为,则控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备的采集画面,包括:
若所述目标行为为第一预设行为,将所述第二人物图像保存在缓存列表中,控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备的采集画面,其中,所述缓存列表用于保存参考人物图像,所述参考人物图像包括所述目标行为为所述第一预设行为的第二类用户的人物图像。
6.如权利要求5所述的方法,其特征在于,在将所述第二人物图像保存在缓存列表中之前,所述方法还包括:
若所述缓存列表不为空,则确定所述第二人物图像与所述缓存列表中的参考人物图像不匹配。
7.如权利要求4-6任一项所述的方法,其特征在于,控制所述第二采集设备聚焦至所述第二用户,并将所述主录设备的当前录制画面切换为所述第二采集设备的采集画面时,所述方法还包括:
开始计时,直到计时时长大于预设时长,则控制所述主录设备的当前录制画面切换为所述第二采集设备采集的第二区域的全景画面。
8.如权利要求4-6任一项所述的方法,其特征在于,所述主录设备的当前录制画面的优先级低于所述第二采集设备的采集画面的优先级。
9.如权利要求4所述的方法,其特征在于,若所述目标行为为第二预设行为,则控制所述第一采集设备切换为预设采集画面时,包括:
若所述目标行为为第二预设行为,缓存列表不为空,且所述第二人物图像与所述缓存列表中的参考人物图像匹配,则从所述缓存列表中删除与所述第二人物图像匹配的参考人物图像;
若确定所述删除后的缓存列表为空,则控制所述第一采集设备切换为所述预设采集画面,并将所述主录设备的当前录制画面切换为所述采集画面。
10.如权利要求9所述的方法,其特征在于,在从所述缓存列表中删除与所述第二人物图像匹配的参考人物图像之后,所述方法还包括:
若确定所述删除后的缓存列表不为空,则不切换所述主录设备的当前录制画面。
11.一种检测人物行为的装置,其特征在于,所述装置设置于录播系统的主录设备中,所述录播系统包括第一采集设备和第二采集设备,所述第一采集设备用于采集在第一区域内的采集画面,所述第二采集设备用于采集在第二区域内的采集画面,所述第一区域为在初始状态下第一类用户所在的区域,所述第二区域为在所述初始状态下第二类用户所在的区域,所述装置包括:
获取模块,用于从所述第一采集设备获取第一用户的第一人物图像,所述第一用户属于所述第一类用户;
所述获取模块,还用于从所述第二采集设备获取第二用户的第二人物图像,其中,所述第二用户为所述第二区域内的任意用户,所述第二人物图像是所述第二采集设备在确定所述第二用户存在目标行为时采集的;
确定模块,若所述第二人物图像与所述第一人物图像不匹配,则确定所述第二用户属于所述第二类用户,并将所述目标行为确定为所述第二类用户的行为。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如权利要求1-10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110981117.2A CN113743268A (zh) | 2021-08-25 | 2021-08-25 | 一种检测人物行为的方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110981117.2A CN113743268A (zh) | 2021-08-25 | 2021-08-25 | 一种检测人物行为的方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113743268A true CN113743268A (zh) | 2021-12-03 |
Family
ID=78732913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110981117.2A Pending CN113743268A (zh) | 2021-08-25 | 2021-08-25 | 一种检测人物行为的方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113743268A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104735413A (zh) * | 2015-03-18 | 2015-06-24 | 苏州阔地网络科技有限公司 | 一种在线课堂中的画面切换方法及装置 |
CN104822038A (zh) * | 2015-04-30 | 2015-08-05 | 广州瀚唐电子科技有限公司 | 录播系统及其画面切换方法 |
CN105049764A (zh) * | 2015-06-17 | 2015-11-11 | 武汉智亿方科技有限公司 | 一种基于多个定位摄像头的教学用图像跟踪方法及系统 |
CN106781770A (zh) * | 2016-12-28 | 2017-05-31 | 航天海鹰光电信息技术(天津)有限公司 | 一种常态化互动录播系统 |
CN106961568A (zh) * | 2017-03-09 | 2017-07-18 | 广州盈可视电子科技有限公司 | 一种画面切换方法、装置和系统 |
CN108124186A (zh) * | 2016-11-29 | 2018-06-05 | 杭州海康威视系统技术有限公司 | 一种视频录播的切换控制方法、装置及系统 |
CN110244923A (zh) * | 2018-09-30 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像显示方法及装置 |
CN111083397A (zh) * | 2019-12-13 | 2020-04-28 | 浙江大华技术股份有限公司 | 录播画面切换方法、系统、可读存储介质和设备 |
CN111225145A (zh) * | 2020-01-13 | 2020-06-02 | 北京中庆现代技术股份有限公司 | 一种实时图像探测分析与跟踪方法 |
CN112689092A (zh) * | 2020-12-23 | 2021-04-20 | 广州市迪士普音响科技有限公司 | 一种自动跟踪的会议录播方法、系统、装置及存储介质 |
-
2021
- 2021-08-25 CN CN202110981117.2A patent/CN113743268A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104735413A (zh) * | 2015-03-18 | 2015-06-24 | 苏州阔地网络科技有限公司 | 一种在线课堂中的画面切换方法及装置 |
CN104822038A (zh) * | 2015-04-30 | 2015-08-05 | 广州瀚唐电子科技有限公司 | 录播系统及其画面切换方法 |
CN105049764A (zh) * | 2015-06-17 | 2015-11-11 | 武汉智亿方科技有限公司 | 一种基于多个定位摄像头的教学用图像跟踪方法及系统 |
CN108124186A (zh) * | 2016-11-29 | 2018-06-05 | 杭州海康威视系统技术有限公司 | 一种视频录播的切换控制方法、装置及系统 |
CN106781770A (zh) * | 2016-12-28 | 2017-05-31 | 航天海鹰光电信息技术(天津)有限公司 | 一种常态化互动录播系统 |
CN106961568A (zh) * | 2017-03-09 | 2017-07-18 | 广州盈可视电子科技有限公司 | 一种画面切换方法、装置和系统 |
CN110244923A (zh) * | 2018-09-30 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像显示方法及装置 |
CN111083397A (zh) * | 2019-12-13 | 2020-04-28 | 浙江大华技术股份有限公司 | 录播画面切换方法、系统、可读存储介质和设备 |
CN111225145A (zh) * | 2020-01-13 | 2020-06-02 | 北京中庆现代技术股份有限公司 | 一种实时图像探测分析与跟踪方法 |
CN112689092A (zh) * | 2020-12-23 | 2021-04-20 | 广州市迪士普音响科技有限公司 | 一种自动跟踪的会议录播方法、系统、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107316520B (zh) | 视频教学互动方法、装置、设备及存储介质 | |
CN111083397B (zh) | 录播画面切换方法、系统、可读存储介质和设备 | |
JP2016537747A (ja) | リアルタイム・ビデオの提供方法、リアルタイム・ビデオの提供装置、サーバ、端末装置、プログラム及び記録媒体 | |
CN112019739A (zh) | 一种拍摄控制方法、装置、电子设备及存储介质 | |
CN113067994B (zh) | 一种视频录制方法及电子设备 | |
WO2020054855A1 (ja) | 授業支援システム、判定装置、授業支援方法及びプログラム | |
CN112188267B (zh) | 视频播放方法、装置和设备及计算机存储介质 | |
JP2014139681A (ja) | 適応的なビデオ呈示のための方法および装置 | |
JP2010503006A5 (zh) | ||
US9881086B2 (en) | Image shooting device, image shooting method, and recording medium | |
CN111182359A (zh) | 视频预览方法、视频抽帧方法、视频处理装置及存储介质 | |
CN111214829A (zh) | 一种教学方法、电子设备及存储介质 | |
CN111586432B (zh) | 空播直播间确定方法、装置、服务器及存储介质 | |
JP2011091635A (ja) | 撮像装置 | |
US20180369678A1 (en) | System and Apparatus for Sports Training | |
CN111680538A (zh) | 一种正念冥想稳定性识别方法与装置 | |
WO2015178234A1 (ja) | 画像検索システム | |
CN112055257B (zh) | 视频课堂的互动方法、装置、设备及存储介质 | |
CN113743268A (zh) | 一种检测人物行为的方法、装置、设备及介质 | |
CN108882004B (zh) | 视频录制方法、装置、设备及存储介质 | |
US9007383B2 (en) | Creating presentations by capturing content of a simulated second monitor | |
CN111698444B (zh) | 面向课堂的数据处理方法、装置、终端和系统 | |
CN113132808B (zh) | 视频生成方法、装置及计算机可读存储介质 | |
CN111225147A (zh) | 一种视频拍摄控制方法、装置、存储介质及拍摄设备 | |
CN111107296A (zh) | 音频数据采集方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |