CN110968239B - 一种展示对象的控制方法、装置、设备及存储介质 - Google Patents

一种展示对象的控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110968239B
CN110968239B CN201911190043.XA CN201911190043A CN110968239B CN 110968239 B CN110968239 B CN 110968239B CN 201911190043 A CN201911190043 A CN 201911190043A CN 110968239 B CN110968239 B CN 110968239B
Authority
CN
China
Prior art keywords
target object
display
target
accumulated
video picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911190043.XA
Other languages
English (en)
Other versions
CN110968239A (zh
Inventor
孙贺然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911190043.XA priority Critical patent/CN110968239B/zh
Publication of CN110968239A publication Critical patent/CN110968239A/zh
Priority to JP2021527860A priority patent/JP2022515317A/ja
Priority to KR1020217015205A priority patent/KR20210075188A/ko
Priority to PCT/CN2020/104483 priority patent/WO2021103610A1/zh
Priority to TW109129463A priority patent/TWI758837B/zh
Application granted granted Critical
Publication of CN110968239B publication Critical patent/CN110968239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Abstract

本公开提供了一种展示对象的控制方法、装置、设备及存储介质,该方法包括:在显示屏中展示获取的视频画面;在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象;基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换。

Description

一种展示对象的控制方法、装置、设备及存储介质
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种展示对象的控制方法、装置、设备及存储介质。
背景技术
在一些场所或区域举办活动的情况下,通常会对到场人员的信息进行统计。对于到场人员的信息统计往往会由专门的工作人员进行人工统计,比如在签到表上签字、录入身份信息等,操作繁琐且操作过程单一化,不利于与到场人员的互动。
发明内容
有鉴于此,本公开至少提供一种展示对象的控制的方案。
第一方面,本公开提供了一种展示对象的控制方法,包括:
在显示屏中展示获取的视频画面;
在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象;
基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换。
上述提供了一种对于目标对象的自动检测方案,可以基于显示屏中展示的视频画面,检测视频画面中是否包括目标对象,并在检测到视频画面中包括目标对象的情况下,展示与目标对象关联的展示对象,并基于对视频画面中目标对象的累计检测结果,控制展示对象进行展示状态的变化,随着目标对象改变状态信息(如做手势、微笑等),累计检测结果也可以相应地改变,进而可以控制展示对象的展示状态的改变,从而能够丰富展示效果,增强与目标对象之间的互动过程。
一种可能的实施方式中,所述在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第一显示区域中展示初始展示状态的第一展示对象,其中,所述初始展示状态用于提示所述目标对象做出目标姿态。
通过在第一显示区域中展示初始展示状态的第一展示对象,可以提示目标对象做出目标姿态,从而增加与目标对象之间的互动。
一种可能的实施方式中,所述基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换,包括:
检测所述视频画面中所述目标对象做出的所述目标姿态;
基于所述目标对象做出所述目标姿态的累计时长或累计次数,控制所述第一显示区域中的所述第一展示对象进行展示状态的变换。
一种可能的实施方式中,所述基于所述目标对象做出所述目标姿态的累计时长或累计次数,控制所述第一显示区域中的所述第一展示对象进行展示状态的变换,包括:
在所述累计时长或累计次数未达到设定值的情况下,控制所述第一展示对象的展示状态变换为中间展示状态,其中,所述中间展示状态跟随所述累计时长或累计次数的累计值进行变换,所述中间展示状态用于指示所述累计时长或累计次数的累计值。
一种可能的实施方式中,所述基于所述目标对象做出所述目标姿态的累计时长或累计次数,控制所述第一显示区域中的所述第一展示对象进行展示状态的变换,包括:
在所述累计时长或累计次数达到设定值的情况下,控制所述第一展示对象的展示状态变换为目标展示状态,所述目标展示状态用于指示所述目标对象做出的所述目标姿态已符合设定条件。
通过控制第一展示对象的展示状态的变换,为第一展示对象提供了更多的展示方式,且可以增加与目标对象之间的交互。
一种可能的实施方式中,所述在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
检测所述视频画面中所述目标对象的属性特征;
基于所述属性特征,在所述显示屏的第一显示区域中展示与所述属性特征对应的第二展示对象。
通过展示与目标对象的属性特征对应的第二展示对象,可以实现对于不同目标对象的个性化展示,满足不同目标对象的展示需求。
一种可能的实施方式中,所述基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换,包括:
在检测到所述目标对象的目标属性特征发生变化的情况下,控制所述第一显示区域中的所述第二展示对象进行展示状态的变换,其中,所述第二展示对象的展示状态跟随所述目标属性特征的变化进行变换。
其中,所述第二展示对象包括以下信息中的至少一种:
所述目标对象的身份标识、年龄值、微笑值、魅力值、观看时长、不同种情绪的时长、关注时长。
上述实施方式中,为第二展示对象的展示状态提供了另外一种变换方法,基于目标对象的目标属性特征确定第二展示对象的展示状态,丰富了切换第二展示对象的展示状态的方法。
一种可能的实施方式中,所述在检测到所述视频画面中包括所述目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第二显示区域中展示所述目标对象的签到信息。
基于上述实施方式,可以实现目标对象的自动签到,简化签到步骤,提高签到效率。
一种可能的实施方式中,所述方法还包括:
在控制所述第一显示区域中的所述展示对象进行展示状态的变换,且变换后的展示状态为目标展示状态的情况下,将所述第二显示区域中展示的所述目标对象的签到信息进行标记。
通过对第二显示区域中展示的目标对象的签到信息进行标记,可以将已签到的目标对象和未签到的目标对象进行区分,丰富了第二显示区域中目标对象签到信息的展示方法。一种可能的实施方式中,所述在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第三显示区域中展示所述目标对象的描述信息。
一种可能的实施方式中,所述方法还包括:
在控制所述第一显示区域中的所述展示对象进行展示状态的变换,且变换后的展示状态为目标展示状态的情况下,将所述第三显示区域中展示的所述目标对象的描述信息进行标记。
通过在第三显示区域中展示进行标记后的目标对象的描述信息、以及其他未标记的对象的描述信息,可以将第三显示区域中目标对象与其他对象进行区分,丰富了第三显示区域的描述信息的展示方法。
一种可能的实施方式中,所述在检测到所述视频画面中包括所述目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第四显示区域中展示业务内容。
一种可能的实施方式中,所述基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换,包括:
在检测到所述视频画面中所述目标对象的姿态检测结果由第一姿态切换为第二姿态的情况下,控制所述第四显示区域中所述业务内容由所述第一业务内容切换为第二业务内容。
上述实施方式中,可以基于目标对象的姿态检测结果,切换第四显示区域中所展示的业务内容,增加了与目标对象之间的交互方式。
一种可能的实施方式中,所述在检测到所述视频画面中包括所述目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
在检测到所述视频画面中包括至少一个所述目标对象的情况下,在所述显示屏的第五显示区域中展示至少一个所述目标对象的特征分布信息。
一种可能的实施方式中,所述基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换,包括:
基于至少一个所述目标对象的累计检测结果,控制所述第五显示区域中展示的所述特征分布信息进行更新。
通过展示和更新第五显示区域中的特征分布信息,可以实现对于视频画面中的目标对象的统计和分析。
第二方面,本公开提供了一种展示对象的控制装置,包括:
第一展示模块,用于在显示屏中展示获取的视频画面;
第二展示模块,用于在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象;
控制模块,用于基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换。
一种可能的实施方式中,所述第二展示模块,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第一显示区域中展示初始展示状态的第一展示对象,其中,所述初始展示状态用于提示所述目标对象做出目标姿态。
一种可能的实施方式中,所述控制模块,在基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换时,用于:
检测所述视频画面中所述目标对象做出的所述目标姿态;
基于所述目标对象做出所述目标姿态的累计时长或累计次数,控制所述第一显示区域中的所述第一展示对象进行展示状态的变换。
一种可能的实施方式中,所述控制模块,在基于所述目标对象做出所述目标姿态的累计时长或累计次数,控制所述第一显示区域中的所述第一展示对象进行展示状态的变换时,用于:
在所述累计时长或累计次数未达到设定值的情况下,控制所述第一展示对象的展示状态变换为中间展示状态,其中,所述中间展示状态跟随所述累计时长或累计次数的累计值进行变换,所述中间展示状态用于指示所述累计时长或累计次数的累计值。
一种可能的实施方式中,所述控制模块,在基于所述目标对象做出所述目标姿态的累计时长或累计次数,控制所述第一显示区域中的所述第一展示对象进行展示状态的变换时,用于:
在所述累计时长或累计次数达到设定值的情况下,控制所述第一展示对象的展示状态变换为目标展示状态,所述目标展示状态用于指示所述目标对象做出的所述目标姿态已符合设定条件。
一种可能的实施方式中,所述第二展示模块,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
检测所述视频画面中所述目标对象的属性特征;
基于所述属性特征,在所述显示屏的第一显示区域中展示与所述属性特征对应的第二展示对象。
一种可能的实施方式中,所述控制模块,在基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换时,用于:
在检测到所述目标对象的目标属性特征发生变化的情况下,控制所述第一显示区域中的所述第二展示对象进行展示状态的变换,其中,所述第二展示对象的展示状态跟随所述目标属性特征的变化进行变换。
一种可能的实施方式中,所述第二展示对象包括以下信息中的至少一种:
所述目标对象的身份标识、年龄值、微笑值、魅力值、观看时长、不同种情绪的时长、关注时长。
一种可能的实施方式中,所述第二展示模块,在检测到所述视频画面中包括所述目标对象的情况下,展示与所述目标对象关联的展示对象时,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第二显示区域中展示所述目标对象的签到信息。
一种可能的实施方式中,所述控制模块,还用于:
在控制所述第一显示区域中的所述展示对象进行展示状态的变换,且变换后的展示状态为目标展示状态的情况下,将所述第二显示区域中展示的所述目标对象的签到信息进行标记。
一种可能的实施方式中,所述第二展示模块,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第三显示区域中展示所述目标对象的描述信息。
一种可能的实施方式中,所述控制模块,还用于:
在控制所述第一显示区域中的所述展示对象进行展示状态的变换,且变换后的展示状态为目标展示状态的情况下,将所述第三显示区域中展示的所述目标对象的描述信息进行标记。
一种可能的实施方式中,所述第二展示模块,在检测到所述视频画面中包括所述目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第四显示区域中展示业务内容。
一种可能的实施方式中,所述控制模块,在基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换时,用于:
在检测到所述视频画面中所述目标对象的姿态检测结果由第一姿态切换为第二姿态的情况下,控制所述第四显示区域中所述业务内容由所述第一业务内容切换为第二业务内容。
一种可能的实施方式中,所述第二展示模块,在检测到所述视频画面中包括所述目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括至少一个所述目标对象的情况下,在所述显示屏的第五显示区域中展示至少一个所述目标对象的特征分布信息。
一种可能的实施方式中,所述控制模块,在基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换时,用于:
基于至少一个所述目标对象的累计检测结果,控制所述第五显示区域中展示的所述特征分布信息进行更新。
第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的展示对象的控制方法的步骤。
第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的展示对象的控制方法的步骤。
关于上述展示对象的控制装置、电子设备、及计算机可读存储介质的效果描述参见上述展示对象的控制方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种展示对象的控制方法的流程示意图;
图2示出了本公开实施例所提供的一种第一显示区域的界面示意图;
图3示出了本公开实施例所提供的一种特效展示示意图;
图4示出了本公开实施例所提供的一种第二展示对象展示示意图;
图5示出了本公开实施例所提供的一种目标对象的移动路线的确定方法的示意图;
图6示出了本公开实施例所提供的一种显示屏中各个显示区域的分布示意图;
图7示出了本公开实施例所提供的另一种显示屏中各个显示区域的分布示意图;
图8示出了本公开实施例所提供的一种展示对象的控制装置的架构示意图;
图9示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
首先对本公开实施例中所适用的应用场景展开介绍。本公开可以适用于具有数据处理能力的电子设备,电子设备可以配置有用于显示数据处理结果的显示装置,也可以外接用于显示数据处理结果的显示装置,其连接方法不限于有线连接、和/或无线连接。电子设备还可以与至少一个摄像装置连接(连接方式不限于有线连接、和/或无线连接),且电子设备和与其连接的摄像装置可以部署在同一位置区域中,摄像装置在拍摄视频画面之后,传输到电子设备进行处理,电子设备在处理完成之后,可以通过电子设备配置的显示装置或者电子设备外接的显示装置(如显示屏)进行显示。其中,电子设备例如可以是手机、平板电脑、智能电视、计算机等,本申请对此并不限定。
在一些实施例中,所述目标对象可以是出现在视频画面中的所有或部分用户,也可以是出现在视频画面中符合某种设定属性的用户,或者预先设置的特定的对象,可以根据应用场景的不同确定不同的目标对象,本公开对此并不限定。
在一些实施例中,所述累计检测结果为在不同时刻下对目标对象的某种属性或者目标对象做出的某种姿态的检测结果的累计值,具体属性或者姿态可以根据应用场景的不同进行设置,且检测结果也不限定于以上两种情况,本申请对此并不进行限定。
为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种展示对象的控制方法进行详细介绍。
参见图1所示,为本公开实施例所提供的一种展示对象的控制方法的流程示意图,包括以下几个步骤:
S101、在显示屏中展示获取的视频画面。
其中,显示屏中展示的视频画面可以是通过摄像装置实时拍摄获取的,摄像装置可以是电子设备内置的摄像头,也可以是外接的摄像装置。若摄像装置为电子设备外接的装置,则摄像装置可以与显示屏部署在同一位置区域内,例如可以部署在同一展会,或者部署在同一房间内。考虑到显示屏中展示的是摄像装置直接拍摄的视频画面,为了使用户能够更方便的观看到自己的姿态(如面部姿态和/或身体姿态),摄像装置可以与显示屏放置在同一垂直平面上,或者,在用户观看显示屏时,能够拍摄到用户完整姿态的位置都可以作为摄像装置的部署位置。
S102、在检测到视频画面中包括目标对象的情况下,展示与目标对象关联的展示对象。
与目标对象关联的展示对象可以有多个,不同的目标对象可以关联不同的展示对象,具体将在下面的实施例中详细介绍,在此暂不展开说明。
S103、基于对视频画面中目标对象的累计检测结果,控制显示屏中的展示对象进行展示状态的变换。
本公开实施例中可以基于显示屏中展示的视频画面,检测视频画面中是否包括目标对象,并在检测到视频画面中包括目标对象的情况下,展示与目标对象关联的展示对象,并基于对视频画面中目标对象的累计检测结果,控制展示对象进行展示状态的变化,随着目标对象改变状态信息(如做手势、微笑等),累计检测结果也可以相应地改变,进而可以控制展示对象的展示状态的改变,从而能够丰富展示效果,增强与目标对象之间的互动过程。
步骤102中所述目标对象可以是所有出现在视频画面中的对象,也可以是视频画面中能够获取到完整人脸的对象,或者可以是视频画面中符合预设属性特征的对象,其中,预设属性特征例如可以如性别、头发长度、衣服颜色等。若目标对象是视频画面中符合预设属性特征的对象,则在检测获取到视频画面之后,可以先识别视频画面中每一个对象的属性特征,然后将符合预设属性特征的对象确定为目标对象。
在另外一种可能的实施方式中,目标对象还可以是特定的对象(可以为一个或多个),这里特定的对象比如可以是预先知晓的会出现在展会的某知名人物。在目标对象是特定的对象的情况下,可以预先存储特定对象的生物特征,例如可以为面部特征、步态特征、行人重识别(Person Re-identification,REID)特征等。检测视频画面中是否包括目标对象,可以是先检测视频画面中每一个对象的生物特征,然后将检测出的生物特征与预先存储的特定对象的生物特征进行匹配,并将匹配成功的对象确定为目标对象。
在一种可能的实施方式中,在检测到视频画面中包括目标对象的情况下,展示与目标对象关联的展示对象可以包括以下几种情况中的一种或几种:
情况1:在检测到视频画面中包括目标对象的情况下,在显示屏的第一显示区域展示初始展示状态的第一展示对象,其中,初始展示状态用于提示目标对象做出目标姿态。
目标姿态包括但不限于姿势和表情神态,比如举手姿势、做出微笑表情等。
其中,在显示屏的第一显示区域还可以展示有获取的视频画面,在展示初始展示状态的第一展示对象时,可以先检测出视频画面中每个目标对象的关键点,然后基于关键点的位置,在第一显示区域展示初始展示状态的第一展示对象。
示例性的,如图2所示,图2为第一显示区域的界面示意图,第一显示区域中展示有摄像装置拍摄的视频画面,视频画面中包括多个目标对象,每个目标对象的头部位置展示有花朵特效,展示的花朵为初始展示状态的第一展示对象,花朵周围有提示语“微笑成为VIP”,用于提醒用户进行微笑(微笑即为目标姿态);在另外一示例中,在展示花朵周围的提示语之后,还可以对展示的提示语进行语音播报,以对目标对象进行语音提示。
本公开实施例中还可以应用于课堂场景中,第一显示区域中可以展示有摄像装置实时拍摄的课堂画面,拍摄的课堂画面中的每一个学生都是目标对象,在每一个学生的头部位置可以展示有手掌特效,手掌特效为第一展示对象,初始展示状态下的手掌特效可以是虚线边框的手掌,手掌周围有提示语“举手提问”,用于提示学生进行举手互动;在一种可能的示例中,在手掌周围展示提示语之后,还可以对展示的提示语进行语音播报,以对学生进行语音提示。
具体实施中,在基于对视频画面中目标对象的累计检测结果,控制显示屏中的展示对象进行展示状态的变换时,可以先检测视频画面中目标对象做出的目标姿态,然后基于目标对象做出目标姿态的累计时长或累计次数,控制第一显示区域中的第一展示对象进行展示状态的变换。
在一种可能的实施方式中,所述基于目标对象做出目标姿态的累计时长或累计次数,控制第一显示区域中的第一展示对象进行展示状态的变化,可以是在累计时长或累计次数未达到设定值的情况下,控制第一展示对象的展示状态变换为中间展示状态,其中,中间展示状态跟随累计时长或累计次数的累计值进行变换,中间展示状态用于指示累计时长或累计次数的累计值。
延续图2所示的例子,若展示的初始展示状态的第一展示对象为花朵特效,则在控制第一显示区域中的第一展示对象进行展示状态变换时,可以根据目标用户的微笑时长改变花朵的颜色,或者点亮花朵下方的进度条内的方块,例如,若进度条内的一块方块表示微笑2秒钟,当目标对象微笑时间为10秒钟时,从下往上点亮花朵下方的进度条内5块方块。另外,还可以根据点亮的方块的数量,改变方块的颜色,例如,当只有5块方块被点亮时,方块颜色可以呈现蓝色,随着被点亮的方块的数量增多,方块的颜色可以渐变,当全部方块被点亮时,方块可以呈现为红色。
在课堂的应用场景中,可以检测学生(即目标对象)的举手次数,并根据学生的举手次数,改变展示的手掌特效,如图3所示,若学生的举手次数为4次,则可以点亮展示的手掌特效,并在展示的手掌特效后边添加“×4”的标志,若学生是第一次举手,则可以只在头顶位置展示一个手掌特效,并在展示的首张特效后边添加“×1”的标志。
在另外一种可能的实施方式中,所述基于目标对象做出目标姿态的累计时长或累计次数,控制第一显示区域中的第一展示对象进行展示状态的变换,可是在累计时长或累计次数达到设定值的情况下,控制第一展示对象的展示状态变换为目标展示状态,所述目标展示状态用于指示目标对象做出的目标姿态已符合设定条件。
延续上述课堂的应用场景,当检测到学生举手次数达到设定次数时,第一展示对象除了包括手掌特效外,还可以包括星星特效,第一展示对象的目标展示状态例如可以为星星特效五颗星星依次点亮,用于指示学生举手次数达到设定次数,同时手掌特效后添加用于表示举手次数的标志。
在情况1中,通过展示初始展示状态的第一展示对象,可以提示目标对象做出目标姿态,从而增加与目标对象之间的互动,通过控制第一展示对象的展示状态的变换,为第一展示对象提供了更多的展示方式。
情况2:在检测到视频画面中包括目标对象的情况下,展示与目标对象关联的展示对象可以是检测视频画面中目标对象的属性特征,然后基于属性特征,在显示屏的第一显示区域中展示与属性特征对应的第二展示对象。
其中,第二展示对象包括以下信息中的至少一种:目标对象的身份标识、年龄值、微笑值、魅力值、观看时长、不同种情绪的时长、关注时长。在不同的应用场景中,与属性特征对应的第二展示对象的类型可能不同,具体可以根据实际情况设置。
示例性的,若本公开实施例中应用于课堂场景中,目标对象可以是教室中的学生,则对应的第二展示对象可以包括以下信息中的至少一种:上课时长、关注时长、正向情绪时长、负向情绪时长。其中,上课时长可以是电子设备开始获取到摄像装置拍摄到的视频画面到当前时刻之间的时长;关注时长可以是摄像装置可以采集到学生的完整面部特征的时长,或者可以检测每一帧视频画面中学生的头部位置,并确定学生的头部位置与预设位置(例如可以为黑板)之间的偏移角度,当偏移角度在预设角度范围内时,确定学生此刻在关注黑板,然后统计学生在关注黑板的视频帧的个数,从而确定关注时长;正向情绪例如可以为高兴、兴奋、激动等,负向情绪例如可以为害怕、悲伤等。
在检测学生的正向情绪时长以及负向情绪时长时,可以将拍摄的视频画面输入至预先训练好的情绪识别模型中,预测视频画面中的每一个学生所对应的情绪,然后基于预测出的情绪确定该情绪属于正向情绪还是负向情绪,再统计截止到当前时刻为止,学生的情绪属于正向情绪的视频画面的时长,以及学生的情绪属于负向情绪的视频画面的时长,再分别基于出现每种情绪的视频画面的时长,确定每一个学生对应的正向情绪时长以及负向情绪时长。
若本公开实施例中应用于展会或商场等公共场所时,第二展示对象可以包括身份标识、年龄、魅力值、观看时长、表情、微笑值中的一种或多种。
其中,目标对象的属性特征可以是目标对象的生物特征(如面部特征、步态特征、REID特征等)。示例性的,可以先提取视频画面中目标对象的生物特征,然后将提取的生物特征与数据库中预先存储的已知身份标识的生物特征进行匹配,并将匹配成功的数据库中的生物特征的身份标识确定为目标对象的身份标识;若匹配不成功,则为目标对象分配身份标识,并将为目标对象分配的身份标识,以及其对应的生物特征存储进数据库中。
在确定目标对象的年龄时,可以将视频画面输入至预先训练好的神经网络模型中,预测该视频画面中对应的目标对象的年龄。目标对象的魅力值、表情、微笑值等属性特征的检测方法可以与目标对象的年龄的检测方法类似,在此将不再赘述,但是需要说明的是,在预测不同属性特征所应用的神经网络模型不同,不同神经网络模型的训练过程也不同相同。
当目标对象的属性特征包括年龄、魅力值、表情、微笑值中的多个特征时,也可以基于同一个神经网络模型对视频画面中的目标用户的多个特征进行预测,但是需要说明的是,在训练该神经网络模型时,其监督数据的标签需要为多个特征标签。
目标对象的观看时长的确定方法可以与在课堂场景中学生的关注时长的确定方法相同,在此将不再赘述。
考虑到目标对象的状态(如姿势、面部神态等)可能是一直变化的,因此,目标对象的属性特征也可以是发生变化的,例如若目标对象改变面部神态,可能检测出的目标对象的表情、微笑值、魅力值等会发生变化。
在一种可能的实施方式中,在检测到目标对象的属性特征发生变化的情况下,还可以控制第一显示区域中第二展示对象进行展示状态的变换,其中,第二展示对象的展示状态跟随目标属性特征的变化而进行变化。
示例性的,第二展示对象可以如图4所示,在每个目标对象的身体周围可以展示有展示卡,展示卡中展示有目标对象的身份、年龄、魅力值、表情、观看时长、以及微笑值;展示卡的显示位置可以在目标对象的固定位置,例如可以检测目标对象的身体关键点,然后在身体关键点对应的位置处展示该目标对象对应的展示卡。
上述方案中,通过展示与目标对象属性特征对应的第二展示对象,可以实现对于不同目标对象的个性化展示,满足不同目标对象的展示需求。
情况3:在检测到视频画面中包括目标对象的情况下,展示与目标对象关联的展示对象可以是在检测到视频画面中包括目标对象的情况下,在显示屏的第二显示区域中展示目标对象的签到信息。
相关技术中,在举办活动时需要对到场人员的信息进行统计时,往往需要由专门的工作人员进行人工统计,例如在签到表上签字、录入身份信息等,操作繁琐且签到效率较低。
在上述情况3中,目标对象是已知会到场的对象,例如若本公开实施例中的应用场景为某场会议,则目标对象为预先确定的参会人员。
在一种可能的实施方式中,可以预先输入目标对象的生物特征(如面部特征、步态特征、REID特征等),并在获取到视频画面之后,检测视频画面中的每一个对象的生物特征,并将检测的生物特征与预先输入的生物特征进行比对,将比对成功的确定为目标对象。
第二显示区域中可以展示有目标对象的签到信息,签到信息例如可以包括目标对象的照片和/或目标对象的身份信息,在检测到视频画面中包括目标对象之后,可以改变第二显示区域中目标对象的签到信息的展示状态。
例如若签到信息可以在第二显示区域中以信息卡的形式进行展示,每个信息卡中展示有目标对象的照片和/或目标对象的身份信息,在改变签到信息的展示状态时可以改变信息卡的背景颜色,或者在未改变签到信息的展示状态之前信息卡的颜色可以为灰色,改变签到信息的展示状态的方式可以为点亮信息卡等。
在另外一种可能的实施方式中,在控制第一显示区域中的展示对象进行展示状态的变换,且变换后的展示状态为目标展示状态的情况下,还可以将第二显示区域中展示的目标对象的签到信息进行标记。
示例性的,若第一显示区域中展示对象为花朵特效,花朵特效旁边可以有提示语“微笑成为VIP”,当检测到目标对象微笑之后,控制花朵特效的颜色改变,即展示对象的展示状态为目标展示状态,此时可以在第二显示区域中对应的目标对象的签到信息添加标记,例如可以在第二显示区域中目标对象的签到信息中添加“VIP”标志。
其中,在改变目标对象的签到信息的展示状态之前,签到信息中所包含的照片可以是预先存储在数据库中的图片,在为签到信息进行标记时,还可以从视频画面中截取目标对象的一张照片,并用截取的照片替换签到信息中目标对象的照片,截取的照片可以是随机截取的,也可以是从清晰度最高的一帧视频中截取。
在一种可能的场景中,第二显示区域中的位置有限,而目标对象的个数为多个,因此,目标对象的签到信息可以滚动显示,或者,在为目标对象的签到信息添加标记之后的一段时间之后,可以不在第二显示区域中显示。
基于上述方案,可以实现目标对象的自动签到,简化签到步骤,提高签到效率,通过为目标对象的签到信息进行标记,可以丰富签到信息的展示方式,并将对应的展示状态为目标展示状态的目标对象、和对应的展示状态不是目标展示状态的目标对象加以区分。
情况4:在检测到视屏画面中包括目标对象的情况下,所述展示与目标对象关联的展示对象可以是,在显示屏的第三显示区域中展示目标对象的描述信息。
目标对象的描述信息可以是目标对象的属性信息、以及从视频画面中截取的目标对象的人脸图像。
在不同的场景中,目标对象的属性信息可以不同,例如在课堂场景中,目标对象的属性信息可以包括学号、性别、年龄、上课次数等;而在展会、商场等公共场所,目标对象的属性信息可以包括身份标识、性别、到访次数、停留时长等。
第三显示区域中可以展示的目标对象的描述信息是有限的,例如第三显示区域仅可以展示N个目标对象的描述信息,在视频画面中包括的目标对象的个数小于或等于N的情况下,第三显示区域可以展示全部目标对象的描述信息;在视频画面中包括的目标对象的个数大于N的情况下,例如视频画面中包括N+1个目标对象,则可以将最先展示的目标对象的描述信息删除,并展示最新的第N+1个出现在视频画面中的目标对象的描述信息,N为正整数。
本申请一种可能的实施方式中,第三显示区域还可以仅展示最先出现在视频画面中的前M个目标对象的描述信息,视频画面中的第M位之后出现的目标对象的描述信息不进行展示,M为正整数,M与N可以相等也可以不等。或者,展示符合特定属性特征的M个目标对象的描述信息。
在控制第一显示区域中展示对象进行展示状态的变换,且变换后的展示状态为目标展示状态的情况下,还可以将第三显示区域中展示的目标对象的描述信息进行标记。
示例性的,在检测到视频画面中包括目标对象之后,可以在对应位置展示花朵特效,以及“微笑成为VIP”的提示语,在检测到目标对象微笑之后,可以改变花朵特效的颜色(即第一显示区域中的展示对象的展示状态为目标展示状态),然后将第三显示区域中展示的目标对象的描述信息添加“VIP”的标记,还可以将描述信息的背景颜色由初始颜色更改为目标颜色。
上述方案中,可以展示目标对象的描述信息,并在展示对象的展示状态变换为目标展示状态后,为描述信息添加标记,丰富了描述信息的展示方式,增加了与用户之间的互动。
情况5:在检测到视频画面中包括目标对象的情况下,所述展示与目标对象关联的展示对象,可以是在显示屏的第四显示区域展示业务内容。
其中,第四显示区域展示的业务内容例如可以是广告、宣传视频、或者是场所介绍信息等,业务内容的形式不限于图片、文字、音频、视频等。
在基于对视频画面中目标对象的累计检测结果,控制显示屏中展示对象进行展示状态的变化时,可以是在检测到视频画面中目标对象的姿态检测结果由第一姿态切换为第二姿态的情况下,控制第四显示区域中业务内容由第一业务内容切换为第二业务内容。
其中,目标对象当前的姿态为第一姿态,预先设置的姿态为第二姿态;第四显示区域当前展示的业务内容为第一业务内容,除第一业务内容之外的其他业务内容为第二业务内容。
在第四显示区域中可以显示有指示语,用于指示目标对象做出第二姿态以切换业务内容,示例性的,提示语可以为“请挥手来切换展示内容”,目标对象当前的姿态为第一姿态,在检测到目标对象做出挥手动作的情况下,即当检测到目标对象由第一姿态切换为第二姿态的情况下,控制第四显示区域中展示的业务内容进行切换。
上述方案中,可以在检测到目标对象的姿态发生变化时,控制第四显示区域中展示的业务内容进行切换,增加了与目标对象之间的互动,丰富了业务内容的切换方式。
情况6:在检测到视频画面中包括目标对象的情况下,所述展示与目标对象关联的展示对象,包括:在检测到视频画面中包括至少一个目标对象的情况下,在显示屏的第五显示区域中展示至少一个目标对象的特征分布信息。
其中,特征分布信息可以包括但不仅限于:年龄分布、性别分布、到场人次分布、热门路线分布、区域人群密度分布等。
其中,在特征分布信息包括热门路线分布时,电子设备可以与多个摄像装置连接(其连接方式可以为有线连接或无线连接),可以先确定每一个目标对象的移动路线,然后从多个移动路线筛选出热门路线并进行展示。
其中,在确定目标对象的移动路线时,可以通过如图5所示的方法,包括以下几个步骤:
S501、获取第一摄像装置的采集数据,采集数据包括采集的人脸图像以及第一摄像装置的标识信息。
S502、获取第一摄像装置的标识信息对应的位置描述信息。
S503、基于第一摄像装置的位置描述信息,确定人脸图像标识的目标对象的移动数据。
S504、利用移动数据,确定目标对象的移动路线。
具体的,第一摄像装置可以是拍摄到目标对象的摄像装置,第一摄像装置的采集数据还包括人脸图像的采集时间,在检测到所述采集时间之前的设定时间段内已得到所述目标对象的历史移动数据的情况下,可以基于所述第一摄像装置的位置描述信息对所述历史移动数据进行更新,得到所述移动数据;在检测到所述采集时间之前的设定时间段内未得到所述目标用户的历史移动数据的情况下,将所述第一摄像装置的位置描述信息作为所述移动数据。
在一种可能的实施方式中,所述基于对视频画面中目标对象的累计检测结果,控制显示屏中的所述展示对象进行展示状态的变换,包括:基于至少一个目标对象的累计检测结果,控制第五显示区域中展示的特征分布信息进行更新。
示例性的,若特征分布信息包括性别分布,当前视频画面中包括5个男性目标对象,2个女性目标对象,则展示的特征分布信息中可以显示男女比例为5:2;或者在展示性别分布时,可以采用饼状图的形式进行展示,对于其展示方式本公开实施例中并不限制。
上述方式中,通过展示和更新第五显示区域中的特征分布信息,可以实现对于视频画面中的目标对象的统计和分析。
示例性的,在检测到视频画面中包括目标对象的情况下,展示与目标对象关联的展示对象若同时包括上述情况1-情况6,则显示屏中各个显示区域的分布情况可以如图6所示,其中,第一显示区域和第四显示区域可以为同一区域,即展示获取的视频画面、第一展示对象和展示业务内容为不同的展示模式。
在第一显示区域和第四显示区域为不同区域的情况下,即在显示屏上同时展示视频画面和业务内容时,显示屏中各个显示区域的分布情况示例性的还可以如图7所示。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思,本公开实施例还提供了一种展示对象的控制装置,参见图8所示,为本公开实施例所提供的展示对象的控制装置的架构示意图,包括第一展示模块801、第二展示模块802、以及控制模块803,具体的:
第一展示模块801,用于在显示屏中展示获取的视频画面;
第二展示模块802,用于在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象;
控制模块803,用于基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换。
一种可能的实施方式中,所述第二展示模块802,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第一显示区域中展示初始展示状态的第一展示对象,其中,所述初始展示状态用于提示所述目标对象做出目标姿态。
一种可能的实施方式中,所述控制模块803,在基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换时,用于:
检测所述视频画面中所述目标对象做出的所述目标姿态;
基于所述目标对象做出所述目标姿态的累计时长或累计次数,控制所述第一显示区域中的所述第一展示对象进行展示状态的变换。
一种可能的实施方式中,所述控制模块803,在基于所述目标对象做出所述目标姿态的累计时长或累计次数,控制所述第一显示区域中的所述第一展示对象进行展示状态的变换时,用于:
在所述累计时长或累计次数未达到设定值的情况下,控制所述第一展示对象的展示状态变换为中间展示状态,其中,所述中间展示状态跟随所述累计时长或累计次数的累计值进行变换,所述中间展示状态用于指示所述累计时长或累计次数的累计值。
一种可能的实施方式中,所述控制模块803,在基于所述目标对象做出所述目标姿态的累计时长或累计次数,控制所述第一显示区域中的所述第一展示对象进行展示状态的变换时,用于:
在所述累计时长或累计次数达到设定值的情况下,控制所述第一展示对象的展示状态变换为目标展示状态,所述目标展示状态用于指示所述目标对象做出的所述目标姿态已符合设定条件。
一种可能的实施方式中,所述第二展示模块802,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
检测所述视频画面中所述目标对象的属性特征;
基于所述属性特征,在所述显示屏的第一显示区域中展示与所述属性特征对应的第二展示对象。
一种可能的实施方式中,所述控制模块803,在基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换时,用于:
在检测到所述目标对象的目标属性特征发生变化的情况下,控制所述第一显示区域中的所述第二展示对象进行展示状态的变换,其中,所述第二展示对象的展示状态跟随所述目标属性特征的变化进行变换。
一种可能的实施方式中,所述第二展示对象包括以下信息中的至少一种:
所述目标对象的身份标识、年龄值、微笑值、魅力值、观看时长、不同种情绪的时长、关注时长。
一种可能的实施方式中,所述第二展示模块802,在检测到所述视频画面中包括所述目标对象的情况下,展示与所述目标对象关联的展示对象时,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第二显示区域中展示所述目标对象的签到信息。
一种可能的实施方式中,所述控制模块803,还用于:
在控制所述第一显示区域中的所述展示对象进行展示状态的变换,且变换后的展示状态为目标展示状态的情况下,将所述第二显示区域中展示的所述目标对象的签到信息进行标记。
一种可能的实施方式中,所述第二展示模块802,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第三显示区域中展示所述目标对象的描述信息。
一种可能的实施方式中,所述控制模块803,还用于:
在控制所述第一显示区域中的所述展示对象进行展示状态的变换,且变换后的展示状态为目标展示状态的情况下,将所述第三显示区域中展示的所述目标对象的描述信息进行标记。
一种可能的实施方式中,所述第二展示模块803,在检测到所述视频画面中包括所述目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第四显示区域中展示业务内容。
一种可能的实施方式中,所述控制模块803,在基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换时,用于:
在检测到所述视频画面中所述目标对象的姿态检测结果由第一姿态切换为第二姿态的情况下,控制所述第四显示区域中所述业务内容由所述第一业务内容切换为第二业务内容。
一种可能的实施方式中,所述第二展示模块802,在检测到所述视频画面中包括所述目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括至少一个所述目标对象的情况下,在所述显示屏的第五显示区域中展示至少一个所述目标对象的特征分布信息。
一种可能的实施方式中,所述控制模块803,在基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换时,用于:
基于至少一个所述目标对象的累计检测结果,控制所述第五显示区域中展示的所述特征分布信息进行更新。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
基于同一技术构思,本公开实施例还提供了一种电子设备。参照图9所示,为本公开实施例提供的电子设备的结构示意图,包括处理器901、存储器902、和总线903。其中,存储器902用于存储执行指令,包括内存9021和外部存储器9022;这里的内存9021也称内存储器,用于暂时存放处理器901中的运算数据,以及与硬盘等外部存储器9022交换的数据,处理器901通过内存9021与外部存储器9022进行数据交换,当电子设备900运行时,处理器901与存储器902之间通过总线903通信,使得处理器901在执行以下指令:
在显示屏中展示获取的视频画面;
在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象;
基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中的所述展示对象进行展示状态的变换。
其中,处理器901执行的具体处理过程可参照上述方法实施例中的描述,这里不再展开说明。
此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的展示对象的控制方法的步骤。
本公开实施例所提供的展示对象的控制方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的展示对象的控制方法的步骤,具体可参见上述方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (26)

1.一种展示对象的控制方法,其特征在于,包括:
在显示屏中展示通过摄像装置实时拍摄的视频画面;
在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象;其中,所述展示对象包括在第三显示区域展示的所述目标对象的描述信息,所述目标对象的描述信息包括目标对象的属性信息,以及从所述视频画面中截取的所述目标对象的人脸画像;
基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中第一显示区域展示的第一展示对象进行展示状态的变换;所述累计检测结果表征所述目标对象在经过所述第一显示区域展示的初始展示状态的第一展示对象的姿态提示后,做出的目标姿态的累计次数或累计时长;
在检测到变换后的展示状态为目标展示状态的情况下,对所述第三显示区域展示的所述目标对象的描述信息进行标记,其中,所述目标展示状态为所述累计次数或累计时长达到设定值的情况下变换的。
2.根据权利要求1所述的方法,其特征在于,所述在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第一显示区域中展示初始展示状态的第一展示对象,其中,所述初始展示状态用于提示所述目标对象做出目标姿态。
3.根据权利要求1或2所述的方法,其特征在于,所述基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中第一显示区域展示的第一展示对象进行展示状态的变换,包括:
在所述累计时长或累计次数未达到设定值的情况下,控制所述第一展示对象的展示状态变换为中间展示状态,其中,所述中间展示状态跟随所述累计时长或累计次数的累计值进行变换,所述中间展示状态用于指示所述累计时长或累计次数的累计值。
4.根据权利要求1所述的方法,其特征在于,所述在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
检测所述视频画面中所述目标对象的属性特征;
基于所述属性特征,在所述显示屏的第一显示区域中展示与所述属性特征对应的第二展示对象。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在检测到所述目标对象的目标属性特征发生变化的情况下,控制所述第一显示区域中的所述第二展示对象进行展示状态的变换,其中,所述第二展示对象的展示状态跟随所述目标属性特征的变化进行变换。
6.根据权利要求4或5所述的方法,其特征在于,所述第二展示对象包括以下信息中的至少一种:
所述目标对象的身份标识、年龄值、微笑值、魅力值、观看时长、不同种情绪的时长、关注时长。
7.根据权利要求1所述的方法,其特征在于,所述在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第二显示区域中展示所述目标对象的签到信息。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
在控制第一显示区域中的第一 展示对象进行展示状态的变换,且变换后的展示状态为目标展示状态的情况下,将所述第二显示区域中展示的所述目标对象的签到信息进行标记。
9.根据权利要求1所述的方法,其特征在于,所述在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第四显示区域中展示业务内容。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
在检测到所述视频画面中所述目标对象的姿态检测结果由第一姿态切换为第二姿态的情况下,控制所述第四显示区域中所述业务内容由第一业务内容切换为第二业务内容。
11.根据权利要求1所述的方法,其特征在于,所述在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第五显示区域中展示所述目标对象的特征分布信息。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
基于所述目标对象的累计检测结果,控制所述第五显示区域中展示的所述特征分布信息进行更新。
13.一种展示对象的控制装置,其特征在于,包括:
第一展示模块,用于在显示屏中展示通过摄像装置实时拍摄的视频画面;
第二展示模块,用于在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象;其中,所述展示对象包括在第三显示区域展示的所述目标对象的描述信息,所述目标对象的描述信息包括目标对象的属性信息,以及从所述视频画面中截取的所述目标对象的人脸画像;
控制模块,用于基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中第一显示区域展示的第一展示对象进行展示状态的变换;所述累计检测结果表征所述目标对象在经过所述第一显示区域展示的初始展示状态的第一展示对象的姿态提示后,做出的目标姿态的累计次数或累计时长;
标记模块,用于在检测到变换后的展示状态为目标展示状态的情况下,对所述第三显示区域展示的所述目标对象的描述信息进行标记,其中,所述目标展示状态为所述累计次数或累计时长达到设定值的情况下变换的。
14.根据权利要求13所述的装置,其特征在于,所述第二展示模块,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第一显示区域中展示初始展示状态的第一展示对象,其中,所述初始展示状态用于提示所述目标对象做出目标姿态。
15.根据权利要求13或14所述的装置,其特征在于,所述控制模块,在基于对所述视频画面中所述目标对象的累计检测结果,控制所述显示屏中第一显示区域展示的第一展示对象进行展示状态的变换时,用于:
在所述累计时长或累计次数未达到设定值的情况下,控制所述第一展示对象的展示状态变换为中间展示状态,其中,所述中间展示状态跟随所述累计时长或累计次数的累计值进行变换,所述中间展示状态用于指示所述累计时长或累计次数的累计值。
16.根据权利要求13所述的装置,其特征在于,所述第二展示模块,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
检测所述视频画面中所述目标对象的属性特征;
基于所述属性特征,在所述显示屏的第一显示区域中展示与所述属性特征对应的第二展示对象。
17.根据权利要求16所述的装置,其特征在于,所述控制模块,还用于:
在检测到所述目标对象的目标属性特征发生变化的情况下,控制所述第一显示区域中的所述第二展示对象进行展示状态的变换,其中,所述第二展示对象的展示状态跟随所述目标属性特征的变化进行变换。
18.根据权利要求16或17所述的装置,其特征在于,所述第二展示对象包括以下信息中的至少一种:
所述目标对象的身份标识、年龄值、微笑值、魅力值、观看时长、不同种情绪的时长、关注时长。
19.根据权利要求18所述的装置,其特征在于,所述第二展示模块,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,包括:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第二显示区域中展示所述目标对象的签到信息。
20.根据权利要求19所述的装置,其特征在于,所述控制模块,还用于:
在控制第一显示区域中的第一 展示对象进行展示状态的变换,且变换后的展示状态为目标展示状态的情况下,将所述第二显示区域中展示的所述目标对象的签到信息进行标记。
21.根据权利要求13所述的装置,其特征在于,所述第二展示模块,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第四显示区域中展示业务内容。
22.根据权利要求21所述的装置,所述控制模块,还用于:
在检测到所述视频画面中所述目标对象的姿态检测结果由第一姿态切换为第二姿态的情况下,控制所述第四显示区域中所述业务内容由第一业务内容切换为第二业务内容。
23.根据权利要求13所述的装置,其特征在于,所述第二展示模块,在检测到所述视频画面中包括目标对象的情况下,展示与所述目标对象关联的展示对象时,用于:
在检测到所述视频画面中包括所述目标对象的情况下,在所述显示屏的第五显示区域中展示所述目标对象的特征分布信息。
24.根据权利要求23所述的装置,其特征在于,所述控制模块,还用于:
基于所述目标对象的累计检测结果,控制所述第五显示区域中展示的所述特征分布信息进行更新。
25.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的展示对象的控制方法的步骤。
26.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至12任一所述的展示对象的控制方法的步骤。
CN201911190043.XA 2019-11-28 2019-11-28 一种展示对象的控制方法、装置、设备及存储介质 Active CN110968239B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911190043.XA CN110968239B (zh) 2019-11-28 2019-11-28 一种展示对象的控制方法、装置、设备及存储介质
JP2021527860A JP2022515317A (ja) 2019-11-28 2020-07-24 展示対象制御方法、装置、電子デバイス、及び記録媒体
KR1020217015205A KR20210075188A (ko) 2019-11-28 2020-07-24 전시 대상 제어 방법, 장치, 전자 디바이스 및 기록 매체
PCT/CN2020/104483 WO2021103610A1 (zh) 2019-11-28 2020-07-24 展示对象的控制方法与装置、电子设备及存储介质
TW109129463A TWI758837B (zh) 2019-11-28 2020-08-28 展示對象的控制方法與裝置、電子設備及記錄媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911190043.XA CN110968239B (zh) 2019-11-28 2019-11-28 一种展示对象的控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110968239A CN110968239A (zh) 2020-04-07
CN110968239B true CN110968239B (zh) 2022-04-05

Family

ID=70031963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911190043.XA Active CN110968239B (zh) 2019-11-28 2019-11-28 一种展示对象的控制方法、装置、设备及存储介质

Country Status (5)

Country Link
JP (1) JP2022515317A (zh)
KR (1) KR20210075188A (zh)
CN (1) CN110968239B (zh)
TW (1) TWI758837B (zh)
WO (1) WO2021103610A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968239B (zh) * 2019-11-28 2022-04-05 北京市商汤科技开发有限公司 一种展示对象的控制方法、装置、设备及存储介质
CN111539339A (zh) * 2020-04-26 2020-08-14 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备和存储介质
CN111625101A (zh) * 2020-06-03 2020-09-04 上海商汤智能科技有限公司 一种展示控制方法及装置
CN111857476B (zh) * 2020-07-17 2022-07-08 维沃移动通信有限公司 显示方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208141466U (zh) * 2018-05-17 2018-11-23 塔米智能科技(北京)有限公司 一种基于机器人的签到装置及系统
CN110121117A (zh) * 2018-02-06 2019-08-13 优酷网络技术(北京)有限公司 视频结构化信息展示方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5219184B2 (ja) * 2007-04-24 2013-06-26 任天堂株式会社 トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US9141197B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Interacting with a device using gestures
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
JP6254785B2 (ja) * 2012-07-24 2017-12-27 サイトセンシング株式会社 視聴率調査システム、並びに表情情報生成装置及び表情情報生成プログラム
US11226686B2 (en) * 2014-01-20 2022-01-18 Lenovo (Singapore) Pte. Ltd. Interactive user gesture inputs
US9652801B2 (en) * 2015-07-16 2017-05-16 Countr, Inc. System and computer method for tracking online actions
WO2017137948A1 (en) * 2016-02-10 2017-08-17 Vats Nitin Producing realistic body movement using body images
JP6516702B2 (ja) * 2016-05-24 2019-05-22 リズム時計工業株式会社 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法
JP2018085597A (ja) * 2016-11-22 2018-05-31 パナソニックIpマネジメント株式会社 人物行動監視装置および人物行動監視システム
CN107066983B (zh) * 2017-04-20 2022-08-09 腾讯科技(上海)有限公司 一种身份验证方法及装置
US10607035B2 (en) * 2017-08-31 2020-03-31 Yeo Messaging Ltd. Method of displaying content on a screen of an electronic processing device
CN108053700A (zh) * 2018-01-02 2018-05-18 北京建筑大学 一种人工智能教学辅助系统
CN110968239B (zh) * 2019-11-28 2022-04-05 北京市商汤科技开发有限公司 一种展示对象的控制方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110121117A (zh) * 2018-02-06 2019-08-13 优酷网络技术(北京)有限公司 视频结构化信息展示方法及装置
CN208141466U (zh) * 2018-05-17 2018-11-23 塔米智能科技(北京)有限公司 一种基于机器人的签到装置及系统

Also Published As

Publication number Publication date
WO2021103610A1 (zh) 2021-06-03
KR20210075188A (ko) 2021-06-22
JP2022515317A (ja) 2022-02-18
CN110968239A (zh) 2020-04-07
TWI758837B (zh) 2022-03-21
TW202121250A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN110968239B (zh) 一种展示对象的控制方法、装置、设备及存储介质
US9898647B2 (en) Systems and methods for detecting, identifying and tracking objects and events over time
CN101842810B (zh) 具有协作姿态检测的交互式显示系统
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
TWI779343B (zh) 狀態識別方法、裝置、電子設備及電腦可讀儲存介質
CN111640197A (zh) 一种增强现实ar特效控制方法、装置及设备
JPWO2011148884A1 (ja) コンテンツ出力装置、コンテンツ出力方法、コンテンツ出力プログラム、及びコンテンツ出力プログラムが記録された記録媒体
EP3255625A1 (en) Advertisement display system using smart film screen
CN111640202A (zh) 一种ar场景特效生成的方法及装置
CN111242704B (zh) 用于在现实场景中叠加直播人物影像的方法和电子设备
JP2013157984A (ja) Ui提供方法およびそれを適用した映像受信装置
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
CN111667588A (zh) 人物图像处理方法、装置、ar设备以及存储介质
CN110868538A (zh) 推荐拍摄姿态的方法和电子设备
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
CN111652983A (zh) 一种增强现实ar特效生成方法、装置及设备
CN111639613A (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN111640235A (zh) 一种排队信息展示方法及装置
CN111464859B (zh) 一种在线视频展示的方法、装置、计算机设备及存储介质
KR102178396B1 (ko) 증강현실 기반의 이미지출력물 제작 방법 및 장치
US9269159B2 (en) Systems and methods for tracking object association over time
Mishra et al. Multimodal Biometric Attendance System
KR102407493B1 (ko) 가상현실을 사용한 아트 갤러리 구현 솔루션
JP2018060375A (ja) 情報処理システム、情報処理装置およびプログラム
CN113554046A (zh) 图像处理方法和系统、存储介质及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40016811

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant