CN111787344B - 多媒体互动方法、装置、电子设备及存储介质 - Google Patents

多媒体互动方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111787344B
CN111787344B CN202010642181.3A CN202010642181A CN111787344B CN 111787344 B CN111787344 B CN 111787344B CN 202010642181 A CN202010642181 A CN 202010642181A CN 111787344 B CN111787344 B CN 111787344B
Authority
CN
China
Prior art keywords
target
information
multimedia
data
total score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010642181.3A
Other languages
English (en)
Other versions
CN111787344A (zh
Inventor
贺思颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010642181.3A priority Critical patent/CN111787344B/zh
Publication of CN111787344A publication Critical patent/CN111787344A/zh
Application granted granted Critical
Publication of CN111787344B publication Critical patent/CN111787344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开实施例提供了一种多媒体互动方法及相关设备,属于计算机技术领域。该方法包括:播放目标多媒体信息;根据目标对象观看所述目标多媒体信息的目标观看视频数据,显示所述目标对象的目标表现评价信息;根据所述目标表现评价信息,显示交互式反馈界面;响应对所述交互式反馈界面的操作,发送针对所述目标表现评价信息的目标原因数据。通过本公开实施例提供的技术方案,能够通过交互式反馈界面,获取针对目标表现评价信息的目标原因数据,从而可以据此更好地改进多媒体教学。

Description

多媒体互动方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种多媒体互动方法及装置、计算机可读存储介质、电子设备。
背景技术
随着信息技术的发展,在线授课变得越来越普及。尤其是在一些意外情况下,例如疫情的发生和扩散,越发导致在线教育成为学生的重要学习手段。
其中在线授课是指老师和学生使用网络为媒介进行上课的一种教育方式,老师可以使用视频文件、音频文件和/或图片文件等进行授课。在线授课主要包括实时直播式授课和非实时录播式授课。
虽然在线教育使得师生可以实现简单便捷的远程上课,但同时也带来了一些新的问题。
例如,在实时直播式授课过程中,进行大班教学的教师由于一堂课上同时上课的学生人数较多,教师很难在上课的同时兼顾注意每位学生是否在专心听讲。再例如,对于非实时录播式授课,家长一般白天需要外出上班,无法一直守在学生面前督促学生认真听讲。这样在学生学习状态不佳的情况下,平台和家长无法获悉导致的这种状态的具体原因是什么,也就无法改进之后的在线教学。
因此,需要一种新的多媒体互动方法及装置、计算机可读存储介质、电子设备。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开实施例提供一种多媒体互动方法及装置、计算机可读存储介质、电子设备,能够通过交互式反馈界面接收到用户对播放的多媒体反馈的原因数据,通过这种互动方式能够有助于平台改进在线播放多媒体信息的效果。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
本公开实施例提供一种多媒体互动方法,所述方法包括:播放目标多媒体信息;根据目标对象观看所述目标多媒体信息的目标观看视频数据,显示所述目标对象的目标表现评价信息;根据所述目标表现评价信息,显示交互式反馈界面;响应对所述交互式反馈界面的操作,发送针对所述目标表现评价信息的目标原因数据。
本公开实施例提供一种多媒体互动装置,所述装置包括:教学信息播放单元,用于播放目标多媒体信息;评价信息显示单元,用于根据目标对象观看所述目标多媒体信息的目标观看视频数据,显示所述目标对象的目标表现评价信息;反馈界面显示单元,用于根据所述目标表现评价信息,显示交互式反馈界面;原因数据发送单元,用于响应对所述交互式反馈界面的操作,发送针对所述目标表现评价信息的目标原因数据。
在本公开的一些示例性实施例中,评价信息显示单元包括:视频数据获取单元,用于获取所述目标观看视频数据;行为信息获得单元,用于分析所述目标观看视频数据,获得所述目标对象观看所述目标多媒体信息的目标行为信息;评价信息获得单元,用于根据所述目标行为信息,获得所述目标表现评价信息。
在本公开的一些示例性实施例中,所述目标行为信息包括以下中的至少一项:通过目标终端设备播放所述目标多媒体信息时,所述目标对象离开所述目标终端设备的目标视野区域的目标离开信息;所述目标对象在观看所述目标多媒体信息中的目标离线信息;所述目标对象在观看所述目标多媒体信息中的目标表情信息;所述目标对象在观看所述目标多媒体信息中的目标动作信息;在观看所述目标多媒体信息中,所述目标对象的眼睛与播放所述目标多媒体信息的目标终端设备之间的目标距离信息。
在本公开的一些示例性实施例中,所述目标表现评价信息包括所述目标行为信息的图形指示信息。
在本公开的一些示例性实施例中,所述图形指示信息包括所述目标行为信息的柱状图。
在本公开的一些示例性实施例中,所述图形指示信息包括所述目标行为信息及发生所述目标行为信息的时间信息的图示信息。
在本公开的一些示例性实施例中,所述目标表现评价信息包括目标总得分数据。其中,所述装置还包括:激励界面显示单元,用于若所述目标总得分数据高于第一得分阈值,则显示激励界面。其中所述激励界面中包括针对所述目标对象的正向激励信息。
在本公开的一些示例性实施例中,所述目标表现评价信息包括目标总得分数据。其中,所述装置还包括:提示信息发送单元,用于若所述目标总得分数据低于第二得分阈值,则向所述目标对象的关联对象发送提示信息。其中所述提示信息用于提示所述关联对象与所述目标对象沟通,以获得所述目标总得分数据低于所述第二得分阈值的所述目标原因数据。
在本公开的一些示例性实施例中,所述目标表现评价信息包括目标总得分数据。其中,所述装置还包括:得分校正界面显示单元,用于显示得分校正界面;得分修改单元,用于响应对所述得分校正界面的操作,修改所述目标总得分数据,获得校正总得分数据;校正得分显示单元,用于显示所述校正总得分数据。
在本公开的一些示例性实施例中,所述装置还包括:目标图像截取单元,用于从所述目标观看视频数据中,截取与所述目标表现评价信息关联的目标图像;目标图像保存单元,用于将所述目标图像与所述目标对象的目标账号绑定保存。
本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中所述的多媒体互动方法。
本公开实施例提供了一种电子设备,包括:至少一个处理器;存储装置,配置为存储至少一个程序,当所述至少一个程序被所述至少一个处理器执行时,使得所述至少一个处理器实现如上述实施例中所述的多媒体互动方法。
在本公开的一些实施例所提供的技术方案中,一方面,通过在播放目标多媒体信息时,获取目标对象观看所述目标多媒体信息的目标观看视频数据,从而能够获得目标对象观看所述目标多媒体信息时的目标表现评价信息,并显示出来,当将该方案应用于在线教育时,能够方便用户例如目标对象的家长和目标对象自身能够实时的看到本堂课的学习状态如何;另一方面,针对显示的所述目标表现评价信息,还可以进一步显示交互式反馈界面,用户可以通过该交互式反馈界面向平台反馈导致该目标表现评价信息的目标原因数据,有助于平台更好地了解目标对象的真实情况,以便平台更好地改进后续的在线多媒体信息播放效果。同时,本公开实施例提供的技术方案实现简便,所占用的计算资源较少。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本公开实施例的多媒体互动方法或多媒体互动装置的示例性系统架构的示意图;
图2示出了适于用来实现本公开实施例的电子设备的结构示意图;
图3示意性示出了根据本公开的一实施例的多媒体互动方法的流程图;
图4示意性示出了根据本公开的一实施例的多媒体互动方法的流程图;
图5示意性示出了根据本公开的一实施例的显示目标表现评价信息的用户界面示意图;
图6示意性示出了根据本公开的一实施例的显示目标表现评价信息的用户界面示意图;
图7示意性示出了根据本公开的一实施例的显示目标表现评价信息的用户界面示意图;
图8示意性示出了根据本公开的一实施例的激励界面的用户界面示意图;
图9示意性示出了根据本公开的一实施例的显示提示信息的用户界面示意图;
图10示意性示出了根据本公开的一实施例的交互式反馈界面的用户界面示意图;
图11示意性示出了根据本公开的一实施例的交互式反馈界面的用户界面示意图;
图12示意性示出了根据本公开的一实施例的显示目标表现评价信息的用户界面示意图;
图13示意性示出了根据本公开的一实施例的得分校正界面的用户界面示意图;
图14示意性示出了根据本公开的一实施例的多媒体互动装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在至少一个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和步骤,也不是必须按所描述的顺序执行。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本说明书中,用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在至少一个要素/组成部分/等;用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”、“第二”和“第三”等仅作为标记使用,不是对其对象的数量限制。
下面结合附图对本公开示例实施方式进行详细说明。
图1示出了可以应用于本公开实施例的多媒体互动装置或多媒体互动方法的示例性系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
服务器105可以是独立的服务器,也可以是多个服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备101、102、103可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等,但并不局限于此。终端设备101、102、103以及服务器105可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
终端设备101、102、103上可以分别安装客户端,例如可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等中的任意一种或者多种,终端设备101、102、103可以用于接收并播放目标多媒体信息,采集目标对象观看所述目标多媒体信息的目标观看视频数据并发送至服务器105,服务器105可以根据所述目标观看视频数据,获得目标对象的目标表现评价信息并反馈至终端设备101、102、103,终端设备101、102、103的显示屏上可以显示接收到的目标表现评价信息,并可以根据该目标表现评价信息,显示交互式反馈界面,通过该交互式反馈界面,可以向服务器105发送针对目标表现评价信息的目标原因数据。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的,根据实际需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图2,其示出了适于用来实现本申请实施例提供的技术方案的电子设备200的结构示意图。电子设备可以是终端设备或服务器,图2以电子设备200为终端设备为例进行举例说明,不应对本申请实施例的功能和使用范围带来任何限制。
如图2所示,电子设备200包括中央处理单元(CPU)201,其可以根据存储在只读存储器(ROM)202中的程序或者从储存部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中,还存储有系统200操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205:包括键盘、鼠标等的输入部分206;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207;包括硬盘等的储存部分208;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器210上,以便于从其上读出的计算机程序根据需要被安装入储存部分208。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分209从网络上被下载和安装,和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有至少一个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读存储介质承载有至少一个程序,当上述至少一个程序被一个该设备执行时,使得该设备可实现功能包括:播放目标多媒体信息;根据目标对象观看所述目标多媒体信息的目标观看视频数据,显示所述目标对象的目标表现评价信息;根据所述目标表现评价信息,显示交互式反馈界面;响应对所述交互式反馈界面的操作,发送针对所述目标表现评价信息的目标原因数据。
需要理解的是,在本公开附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
本公开实施例提供的技术方案可以利用云技术(Cloud technology)应用于云教育(Cloud Computing Education简称:CCEDU)和云会议领域。
其中,云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
云教育是指基于云计算商业模式应用的教育平台服务。在云平台上,所有的教育机构,培训机构,招生服务机构,宣传机构,行业协会,管理机构,行业媒体,法律结构等都集中云整合成资源池,各个资源相互展示和互动,按需交流,达成意向,从而降低教育成本,提高效率。
云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面,进行简单易用的操作,便可快速高效地与全球各地团队及客户同步分享语音、数据文件及视频,而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。
目前云会议主要集中在以SaaS(Software as a Service,软件即服务)模式为主体的服务内容,包括电话、网络、视频等服务形式,基于云计算的视频会议就叫云会议。
在云会议时代,数据的传输、处理、存储全部由视频会议厂家的计算机资源处理,用户完全无需再购置昂贵的硬件和安装繁琐的软件,只需打开浏览器,登录相应界面,就能进行高效的远程会议。
云会议系统支持多服务器动态集群部署,并提供多台高性能服务器,大大提升了会议稳定性、安全性、可用性。近年来,视频会议因能大幅提高沟通效率,持续降低沟通成本,带来内部管理水平升级,而获得众多用户欢迎,已广泛应用在交通、运输、金融、运营商、教育、企业等各个领域。毫无疑问,视频会议运用云计算以后,在方便性、快捷性、易用性上具有更强的吸引力,必将激发视频会议应用新高潮的到来。
随着信息技术的发展,越来越多的日常工作可以通过网络开展,尤其是在发生某些特殊事件期间,例如疫情期间,在线网课(互联网课程的简称)、在线办公、在线开会等日益流行。在下面的实施例中,均以在线网课为例进行举例说明,但本公开提供的技术方案的应用场景并不限定于此,其可以适用于任何的多媒体通信场景,例如,在线开会场景中,会议主持人或者召开者可以利用本公开实施例提供的方案,获知开会期间参会人员的参会状态,参会人员可以反馈导致其参会状态不佳的具体原因等等。
以在线网课为例,学生们对着终端设备(例如通常的智能手机、平板电脑、智能电视等)的摄像头上课,一个老师一般同时给几十个学生上课,有的大课一个老师给几百个甚至几千上万个学生上课。
老师所使用的终端设备的屏幕面积是有限的,无法同时显示几十、几百、几千或者上万个学生的终端设备的摄像头采集的视频内容,通常一个班级里总有一些孩子比较贪玩,例如这些孩子只是打开终端设备,但实际上跑开去玩别的了;或者有些孩子上课打瞌睡、吃零食等,老师无法及时发现。
或者,即使老师所使用的终端设备的屏幕能够同时显示班级里所有学生的终端设备的摄像头采集的视频内容,老师在上课期间如果不停地切换至去观察每个孩子是否离开了其摄像头采集范围、是否打瞌睡、是否吃零食等,会导致老师无法专心上课,从而影响老师的正常上课。
基于上述相关技术中存在的技术问题,本公开实施例提出了一种多媒体互动方法,以用于至少部分解决上述问题。本公开各实施例提供的方法可以由任意的电子设备来执行,例如上述图1中的服务器105,或者终端设备101、102和103中的任意一者或者多者,或者服务器105与终端设备之间进行交互,本公开对此不做限定。
图3示意性示出了根据本公开的一实施例的多媒体互动方法的流程图。如图3所示,本公开实施例提供的方法可以包括以下步骤。本公开实施例提供的方法以由终端设备来执行为例进行说明。
在步骤S310中,播放目标多媒体信息。
本公开实施例中,目标多媒体信息可以包括音频信息、视频信息、图文信息等中的任意一种或者多种。
本公开实施例中,以目标多媒体信息包括视频信息为例,例如可以在目标终端设备以m3u8格式播放目标多媒体信息,但本公开并不限定于此,可以根据实际使用场景而定。
其中,m3u8是一种视频播放标准,是m3u的一种,不过编码方式是UTF-8(8位元,Universal Character Set/Unicode Transformation Format),是一种文件检索格式,将视频切割成一小段一小段的ts(视频分片)格式的视频文件,然后存在服务器中(为了减少I/O(input/ouput,输入/输出)访问次数,可以存在服务器的内存中),通过m3u8解析出来路径,然后去请求播放。
例如,还是以在线网课为例,则目标多媒体信息可以是当前课程的目标多媒体教学信息,可以包括老师当前课程所要讲解或者传授给学生的课程内容,目标对象可以是任一一个听讲该当前课程的学生,学生用来上课的终端设备称之为目标终端设备,在目标终端设备上可以安装客户端(application,APP,是指安卓、iOS等智能操作系统上的第三方应用程序)。
可以理解的是,目标多媒体信息所包含的内容、目标对象、目标终端设备的含义可以随着应用场景的改变而改变,例如在在线开会场景中,目标对象可以是任意一个参会人员,目标多媒体信息可以是召开人或者主持人所发送的与当前所开会议有关的会议内容,目标终端设备可以是任意一个参会人员所使用的终端设备。
在步骤S320中,根据目标对象观看所述目标多媒体信息的目标观看视频数据,显示所述目标对象的目标表现评价信息。
本公开实施例中,在播放目标多媒体信息期间,可以通过目标终端设备的图像采集装置例如前置摄像头,采集目标对象观看目标多媒体信息时的目标观看视频数据。但本公开并不限定于此,例如,也可以通过非目标终端设备以外的其它独立图像采集装置采集目标观看视频数据。
在示例性实施例中,根据目标对象观看所述目标多媒体信息的目标观看视频数据,显示所述目标对象的目标表现评价信息,可以包括:获取所述目标观看视频数据;分析所述目标观看视频数据,获得所述目标对象观看所述目标多媒体信息的目标行为信息;根据所述目标行为信息,获得所述目标表现评价信息。
在示例性实施例中,所述目标行为信息包括以下中的至少一项:通过目标终端设备播放所述目标多媒体信息时,所述目标对象离开所述目标终端设备的目标视野区域的目标离开信息;所述目标对象在观看所述目标多媒体信息中的目标离线信息;所述目标对象在观看所述目标多媒体信息中的目标表情信息;所述目标对象在观看所述目标多媒体信息中的目标动作信息;在观看所述目标多媒体信息中,所述目标对象的眼睛与播放所述目标多媒体信息的目标终端设备之间的目标距离信息。
其中,目标视野区域是指目标终端设备的图像采集装置能够拍摄或者观察到的视野范围。目标离开信息是指在目标多媒体信息播放期间,目标对象不处于目标终端设备的目标视野区域内的相关信息,例如可以包括目标对象离开目标视野区域的时间、离开目标视野区域的时长、离开目标视野区域的次数等中的任意一种或者多种。
其中,目标离线信息是指在预定播放目标多媒体信息的时间段内,目标终端设备由于任何原因导致的停止或者暂停播放的相关信息,例如预定8:00至8:45这段时间内,播放当天第一节语文课的目标多媒体信息,但在该时间段内,出现了某个学生从始至终未使用其目标账号登录客户端的情况,或者某个学生在8:00时登录播放了该目标多媒体信息,但中途在8:20时退出登录,停止播放该目标多媒体信息等等。
其中,目标表情信息是指在目标多媒体信息播放期间,目标对象面部所表现出的表情相关信息,例如皱眉的次数、皱眉的频率、皱眉的时间、皱眉的时长等中的任意一种或者多种;再例如做鬼脸的次数、做鬼脸的频率、做鬼脸的时间、做鬼脸的时长等中的任意一种或者多种;再例如打瞌睡的次数、打瞌睡的频率、打瞌睡的时间、打瞌睡的时长等中的任意一种或者多种;再例如东张西望的次数、东张西望的频率、东张西望的时间、东张西望的时长等中的任意一种或者多种。
其中,目标动作信息是指在目标多媒体信息播放期间,目标对象身体所表现出的动作相关信息,例如左摇右摆的次数、左摇右摆的频率、左摇右摆的时间、左摇右摆的时长等中的任意一种或者多种。
其中,目标距离信息是指目标对象在观看所述目标多媒体信息的过程中,所述目标对象的眼睛与播放所述目标多媒体信息的目标终端设备之间的距离相关的信息。例如目标对象的眼睛与目标终端设备的显示屏/屏幕之间的距离太近(下文称之为眼睛离屏幕太近)。
本公开实施例中,均可以通过图像处理技术对目标观看视频数据进行处理,获得上述目标离开信息、目标表情信息、目标动作信息和目标距离信息等,下面以获得目标离开信息和目标距离信息为例进行举例说明。
例如,当目标终端设备的摄像头采集到某个学生(目标对象)离开或者返回其摄像头的目标视野区域的图像信息,则该学生对应的目标终端设备可以将该图像信息发送至服务器(例如可以是云端服务器),服务器可以将该图像信息与存储在数据库中的该学生的人脸信息进行比对,根据比对结果可以判断出该学生是否离开或者返回了其摄像头的目标视野区域,若该学生返回了其摄像头的目标视野区域,服务器可以生成该学生的第一状态变化信息;若该学生离开了其摄像头的目标视野区域,服务器可以生成该学生的第二状态变化信息。服务器可以根据生成的第一状态变化信息和第二状态变化信息获取该学生的目标离开信息。
例如,判断眼睛是否与屏幕太近,可以根据目标终端设备的显示屏的对角线长度来计算,正常情况下眼睛与显示屏之间的距离应该大于或者等于显示屏的对角线长度的2倍。当检测到目标对象的任意一只眼睛与显示屏之间的距离小于显示屏的对角线长度的2倍时,则可以判定眼睛离屏幕太近。
其中,计算眼睛与屏幕之间的距离,可以综合考虑以下两种情况:
第一种情况是目标对象正面(可以有一定误差)面对目标终端设备的显示屏,此时可以从采集的目标观看视频数据选取包含目标对象两只眼睛的图像,对选取的图像进行灰度化和光照补偿等预处理,用以提高图像的质量,并得到灰度图像,并对获得的灰度图像采用帧差法和混合高斯背景建模确定并检测图像中目标对象的人脸,确定人脸在图像中的位置。
确定人脸在图像中的位置后,可根据人脸的五官特征确定目标对象的两只眼睛在图像中的位置,并获取两只眼睛之间的像素个数。将目标对象的两只眼睛之间的像素个数与预设像素阈值进行比较,判断目标对象的两只眼睛之间的像素个数是否超过预设像素阈值。其中,预设像素阈值为目标终端设备的用户两只眼睛与屏幕处于安全距离时,获取的图像中用户两只眼睛之间的距离换算成的像素个数值。安全距离例如可以定义为目标终端设备的显示屏的对角线长度的2倍,但本公开并不限定于此,可以根据实际应用场景设置。
本公开实施例中,目标对象的两只眼睛之间的像素个数也可以为目标对象的两只眼睛的两个瞳孔之间的像素个数,从而可以更加精确地检测目标对象的眼睛与屏幕的距离。当目标对象的两只眼睛距离屏幕越近,则获取的包含目标对象的两只眼睛的图像中两只眼睛之间的像素个数越多。
若目标对象的两只眼睛之间的像素个数大于或者等于预设像素阈值,则可以判定此时目标对象的眼睛与屏幕的距离太近。若目标对象的两只眼睛之间的像素个数小于预设像素阈值,则表明此时目标对象的眼睛与屏幕的距离处于安全距离以内。
上述第一种情况所采用的方式只能检测目标对象正面朝向目标终端设备的屏幕时,眼睛与屏幕之间的距离,现实中,目标对象在观看目标多媒体信息时,可能是侧面朝向目标终端设备的屏幕,此时采集的目标观看视频数据中只显示出目标对象的一只眼睛(左眼或者右眼)。
在第二种情况下,从采集的目标观看视频数据选取包含目标对象一只眼睛的图像,对选取的图像进行预处理,并得到灰度图像,并对获得的灰度图像采用帧差法和混合高斯背景建模确定并检测图像中目标对象的人脸,确定人脸在图像中的位置。
确定人脸在图像中的位置后,可根据人脸的五官特征确定目标对象的一只眼睛在图像中的位置,并确定这一只眼睛的眼睛面积(可以是其对应的瞳孔面积)。获取目标终端设备的显示屏面积。计算这一只眼睛的眼睛面积与目标终端设备的显示屏面积的比值。判断这一只眼睛的眼睛面积与目标终端设备的显示屏面积的比值是否大于预设面积阈值。当这一只眼睛的眼睛面积与目标终端设备的显示屏面积的比值大于预设面积阈值时,则判定此时目标对象的眼睛与屏幕距离太近。当这一只眼睛的眼睛面积与目标终端设备的显示屏面积的比值小于或等于预设面积阈值时,则判定此时目标对象的眼睛与屏幕之间的距离处于安全距离之内。
本公开实施例中,预设面积阈值是指目标终端设备的一只眼睛与屏幕处于安全距离时,该只眼睛的眼睛面积与目标终端设备的显示屏面积的比值。当目标对象的一只眼睛距离屏幕越近,则获取的包含目标对象的一只眼睛的图像中一只眼睛的眼睛面积越大。
需要说明的是,上述实施例中提及的预设像素阈值、预设面积阈值、安全距离等可以是在系统中预先设置好的,即根据大部分用户的统计数据来设置;也可以是个性化设置的,可以在系统提示时,采集目标对象自己认为观看目标终端设备的显示屏比较舒适时的图像,对此图像进行分析处理,设置针对该目标对象的预设像素阈值、预设面积阈值、安全距离等;也可以由用户例如学生或者学生的家长手动输入,本公开对此不做限定。
综合上述两种情况,不管目标对象是正面还是侧面朝向目标终端设备的显示屏,均可以准确地判断出目标对象的眼睛与屏幕之间的距离是否太近。
可以理解的是,检测目标对象的眼睛与目标终端设备的屏幕之间的距离的方式,并不限于上述例举的方法,例如还可以借助距离传感器、红外线传感器、超声波传感器等进行测量。
在示例性实施例中,所述目标表现评价信息可以包括所述目标行为信息的图形指示信息。
在示例性实施例中,所述图形指示信息可以包括所述目标行为信息的柱状图。例如,可以参照下图6所示。
在示例性实施例中,所述图形指示信息可以包括所述目标行为信息及发生所述目标行为信息的时间信息的图示信息。例如,可以参照下图7所示。
在示例性实施例中,所述目标表现评价信息可以包括目标总得分数据。例如,可以参照下图5-7所示。
在示例性实施例中,所述方法还可以包括:若所述目标总得分数据高于第一得分阈值,则显示激励界面;其中所述激励界面中包括针对所述目标对象的正向激励信息。例如,可以参照下图8所示。
本公开实施例中,第一得分阈值可以根据实际需要进行设置。例如,若目标总得分数据设置的满分值是100分,则可以将第一得分阈值设置为90分,当学生在当前课程的学习过程中,目标总得分数据大于或等于90分,说明该学生在该堂课的学习状态很好,可以给予该学生正向激励,以激励学生继续保持这种良好的学习状态。
但本公开并不限定于此,第一得分阈值可以根据实际情况进行设置,例如云端服务器可以收集历史上每个学生每堂课的得分数据,计算出一个平均值,将大于该平均值、低于满分的一个值设置为第一得分阈值。再例如,系统也可以根据每个学生的具体情况,设置不同的第一得分阈值,若考虑到该学生的历史得分数据均较低,为了不打击该学生的学习积极性,则可以设置一个相对较低的第一得分阈值;若考虑到该学生的历史得分数据均较高,则可以设置一个相对较高的第一得分阈值,以激励该学生向更高的目标看齐。也可以由家长手动输入其所希望的第一得分阈值。
在示例性实施例中,所述方法还可以包括:从所述目标观看视频数据中,截取与所述目标表现评价信息关联的目标图像;将所述目标图像与所述目标对象的目标账号绑定保存。
本公开实施例中,目标终端设备或者服务器可以从目标观看视频数据中,截取与目标表现评价信息关联的目标图像。例如,当通过图像检测技术发现学生在打瞌睡、吃零食、东张西望、离开了目标视野区域等,则可以将该学生打瞌睡、吃零食、东张西望、离开了目标视野区域等的图像截取出来作为目标图像。
具体地,可以将目标图像上传至平台的云端服务器中,当家长在后续收到提示信息时,在APP上下载目标图像,一方面,可以作为系统给该学生给出当前的目标表现评价信息的依据;另一方面,以有助于家长和学生共同去发现导致目标表现评价信息的原因。
在步骤S330中,根据所述目标表现评价信息,显示交互式反馈界面。例如可以参照下图9-11。
在示例性实施例中,所述方法还可以包括:若所述目标总得分数据低于第二得分阈值,则向所述目标对象的关联对象发送提示信息。其中所述提示信息可以用于提示所述关联对象与所述目标对象沟通,以获得所述目标总得分数据低于所述第二得分阈值的所述目标原因数据。
本公开实施例中,目标对象的关联对象例如在目标对象是学生时,则关联对象可以是该学生的家长。其中,第二得分阈值的设置可以根据实际情况设置,例如,可以由家长手动输入,也可以由云端服务器从小于平均值且大于0分之间选择一个值,还可以根据每个学生的历史得分数据进行个性化设置,本公开对此不做限定。
具体地,可以在判定目标总得分数据低于第二得分阈值时,从数据库中查找到该目标对象的关联对象,然后向该关联对象的联系方式例如手机号码、邮箱、即时通讯账号等发送提示信息;也可以让目标对象与关联对象共用同一个目标账号,关联对象可以通过目标终端设备或者另一终端设备登录该目标账号,在客户端中显示该提示信息。若关联对象为家长,则家长可以及时获知每堂课该学生的学习状态是否不佳,以便能够及时与该学生进行沟通,获知其得分较低的具体原因是什么,以便向平台及时反馈。
在示例性实施例中,所述方法还可以包括:显示得分校正界面;响应对所述得分校正界面的操作,修改所述目标总得分数据,获得校正总得分数据;显示所述校正总得分数据。例如,可以参照下图12-13。
在步骤S340中,响应对所述交互式反馈界面的操作,发送针对所述目标表现评价信息的目标原因数据。
本公开实施方式提供的多媒体互动方法,一方面,通过在播放目标多媒体信息时,获取目标对象观看所述目标多媒体信息的目标观看视频数据,从而能够获得目标对象观看所述目标多媒体信息时的目标表现评价信息,并显示出来,当将该技术方案应用于在线教育时,可以方便用户例如目标对象的家长和目标对象自身能够实时的看到本堂课的学习状态如何;另一方面,针对显示的所述目标表现评价信息,还可以进一步显示交互式反馈界面,用户可以通过该交互式反馈界面向平台反馈导致该目标表现评价信息的目标原因数据,有助于平台更好地了解目标对象的真实情况,以便平台更好地改进后续的在线播放多媒体信息的效果。同时,本公开实施例提供的技术方案实现简便,所占用的计算资源较少。
图4示意性示出了根据本公开的一实施例的多媒体互动方法的流程图。如图4所示,本公开实施例提供的方法以学生上课为例进行举例说明,给出了一种交互式的学生上课表现评价系统,具体可以包括以下步骤。
在步骤S401中,在目标终端设备播放当前课程的目标多媒体教学信息。
本公开实施例中,以目标终端设备为手机、目标多媒体信息为目标多媒体教学信息为例,但本公开并不限定于此。
在步骤S402中,通过目标终端设备的图像采集装置采集目标对象的目标观看视频数据。
在线教育通常采用带有手机前置摄像头的终端设备,因此本公开实施例中系统主要借助手机的前置摄像头进行数据采集,采集到目标观看视频数据,但本公开并不限定于此。
在步骤S403中,对目标观看视频数据进行分析,获得目标行为信息。
本公开实施例中,在学生的手机中包括一个行为分析模块,用于对手机前置摄像头采集的目标观看视频数据进行实时或非实时的加工、处理,得到至少一个跟该学生上课表现有关的目标行为信息,例如:学生离开摄像头的目标视野区域的次数(目标离开信息中的一种)、上课时皱眉的次数(目标表情信息中的一种)、眼睛离屏幕太近的次数(目标距离信息中的一种)等。目标行为信息包括哪些情况可以根据实际需要设置,并不限于这里例举的这几种。
此外,手机中的行为分析模块还可以根据上述分析出来的目标行为信息,适当地截取该学生的学习画面作为目标图像,例如打瞌睡的学习画面、离开目标视野区域的图像、眼睛离屏幕太近的图像等等,以便课程结束后的学习情况分析。
在步骤S404中,判断当前课程是否结束;若未结束,则调回到步骤S401;若已经结束,则进入步骤S405。
在步骤S405中,根据目标行为信息,获得目标表现评价信息。
本公开实施例中,手机中还可以包括一个数据分析模块,通过事先设定的规则,对各种目标行为信息进行计算,得到最终的目标表现评价信息。
例如,实现设定的规则可以是预先设定各个目标行为信息的权重系数,根据各自的权重系数将这些目标行为信息进行加权求和,将设置的满分值减去加权求和的和值,获得目标表现评价信息中的目标总得分数据。
具体的,各个目标行为信息的权重系数可以是固定设置的,也可以根据每个学生的实际情况进行设置,或者家长根据自己看重的部分来设置,本公开对此不做限定。
例如,系统收集某个学生历史上各堂课的目标行为信息,统计分析该学生经常在上课时打瞌睡,则可以将打瞌睡这个行为对应的目标表情信息的权重系数提高,这样,当该学生在后续课程中再次打瞌睡的话,就会导致其目标总得分数据较低,从而可以督促家长去发现这个经常出现的问题。
再例如,有些家长担心孩子上课会损害视力,则家长可以手动设置目标距离信息的权重系数更高一些。
在步骤S406中,显示目标表现评价信息中的目标总得分数据和目标行为信息的图形指示信息。
在当前课程结束时,则通过手机的界面展示模块,展示刚结束的这一节课该学生的目标总得分数据和目标行为信息的图形指示信息。
在步骤S407中,判断目标总得分数据是否大于第一得分阈值;若大于,则进入步骤S408;若不大于,则跳转到步骤S409。
在步骤S408中,显示包括正向激励信息的激励界面。
例如,若目标总得分数据大于第一得分阈值thr 90分,则弹出激励界面,给学生正向激励信息,正向激励信息可以包括但不限于:鼓励的文字、来自老师的声音夸奖、虚拟学习货币、免费的新课程等中的任意一种或者多种。
在步骤S409中,继续判断目标总得分数据是否小于第二得分阈值;若小于,则跳转到步骤S411;若不小于,则进入步骤S410。
在步骤S410中,结束。
在步骤S411中,向目标对象的关联对象发送提示信息,用于提示关联对象与目标对象沟通,借助图形指示信息以获得目标总得分数据低于第二得分阈值的目标原因数据。
例如,若目标总得分数据低于第二得分阈值,则发送提示信息,提醒家长主动校验该学生刚结束的这一堂课的学习状态,可以根据目标行为信息的图形指示信息,针对性地分析学生的上课表现,并与学生进行积极有效的沟通,以进一步判断学生得分不高的具体原因。
在步骤S412中,显示交互式反馈界面。
在步骤S413中,响应对交互式反馈界面的操作,发送目标原因数据,目标原因数据包括目标对象自身因素和外界因素中的至少一种。
本公开实施例中,目标对象为学生,则目标对象自身因素为学生自身因素,学生自身因素可以包括但不限于:打瞌睡、东张西望、吃零食、眼睛离屏幕太近、皱眉、离开目标视野区域等。外界因素可以包括但不限于:在播放当前课程时存在广告、存在少儿不宜画面、手机出现异常闪退或卡顿、网络异常等。
若家长发现,上课表现得分较低,确实是学生自身因素造成的,例如,1)经过查看保存的学习画面和跟孩子的沟通,发现学生在上课时存在打瞌睡、东张西望、吃零食、眼睛离屏幕太近等不良习惯,经过多天的多次课程后,家长很容易分析得出这个学生的最佳学习时间,或者可以更合理的安排学生的日常休息时间及时长,以帮助学生在第二天达到更好的学习状态;2)经沟通发现,课程太难导致学生出现频繁的皱眉,则家长可以专门把该问题反馈给平台或老师,帮助平台或老师更科学合理的安排后续课程;3)孩子因为拉肚子去洗手间而出现了长时间离开目标视野区域的行为,则家长可以给予孩子针对性的饮食或医疗上的帮助。
当家长与学生分析完原因后,进入交互式反馈界面,家长将学生上课表现不佳的目标原因数据提交到远程后台的服务器,帮助平台针对性地提出改进方案。
对于其他非正常因素,家长可以及时地通过交互式反馈界面,将问题反馈给平台,帮助平台针对性的分析和解决问题。
在步骤S414中,判断目标原因数据中是否包括外界因素;若包括,则进入步骤S415;若不包括,则跳转到步骤S410。
在步骤S415中,显示得分校正界面。
在步骤S416中,响应对得分校正界面的操作,修改目标总得分数据,获得校正总得分数据。
在步骤S417中,显示校正总得分数据。
经过上述原因分析,若家长发现学生上课表现得分较低,主要是受到外界因素的干扰,例如,1)因平台监管疏忽,课程中出现了不应该出现的广告或少儿不宜的画面,影响了学生的上课体验;2)因手机电量不足、异常闪退或卡顿、网络异常等,影响了学生的上课体验。家长可以针对性的解决如电量不足等相关问题,为孩子第二天的学习营造良好的设备环境。其次,系统允许家长对目标总得分数据进行修正,以抵消学生看到低得分后的消极情绪。
图5示意性示出了根据本公开的一实施例的显示目标表现评价信息的用户界面示意图。
如图5所示,显示“XX学生本堂课总得分为:XX分”。
图6示意性示出了根据本公开的一实施例的显示目标表现评价信息的用户界面示意图。
如图6所示,除了显示“XX学生本堂课总得分为:XX分”,还以柱状图的方式显示打瞌睡3次,东张西望5次,吃零食2次,眼睛离屏幕太近4次,皱眉1次,离开镜头3次。
图7示意性示出了根据本公开的一实施例的显示目标表现评价信息的用户界面示意图。
如图7所示,除了显示“XX学生本堂课总得分为:XX分”,还以包括目标行为信息及发生目标行为信息的时间信息的图示信息,显示在8:00至8:45的当前课程中,在8:05至8:08以及8:35至8:45之间打瞌睡了;在8:13至8:14之间东张西望了;在8:30至8:34之间吃零食了;在8:25至8:26之间眼睛离屏幕太近了。
图8示意性示出了根据本公开的一实施例的激励界面的用户界面示意图。
如图8所示,显示“XX学生祝贺你!由于你本堂课表现优异,恭喜你获得以下激励:XXXX”以及“希望你再接再厉!”的正向激励信息。
图9示意性示出了根据本公开的一实施例的显示提示信息的用户界面示意图。
如图9所示,显示“XX家长您好!请您和XX学生沟通下本堂课的学习情况,您可下载XX学生本堂课的学习画面,若有任何意见,可点击下方按钮进行反馈!”的提示信息,家长可以点击“进入交互式反馈界面”的虚拟按钮,调整到如图10所示的交互式反馈界面。
图10示意性示出了根据本公开的一实施例的交互式反馈界面的用户界面示意图。
如图10所示,在交互式反馈界面中显示“XX家长您好!您可以在下方输入框中输入XX学生本堂课上课表现不佳的具体原因,以便平台改进后续的教学:”和输入框,当家长在该输入框中输入目标原因数据后,可以点击“取消”或者“提及”虚拟按钮,若点击“提及”虚拟按钮,则平台可以接收到该目标原因数据。
图11示意性示出了根据本公开的一实施例的交互式反馈界面的用户界面示意图。
如图11所示,系统可以根据目标行为信息,在交互式反馈界面中显示本堂课表现不佳的目标行为信息以及给出一些导致其发生的可能原因的选项,以供家长选择,例如,显示以下内容:
“1、孩子1、孩子本堂课皱眉次数偏多,导致孩子皱眉的原因是:
A、该堂课内容很难,孩子听不懂
B、老师讲课速度太快,孩子跟不上
C、孩子身体不舒服
D、其它原因
2、孩子本堂课瞌睡时间较多,导致孩子瞌睡的原因是:
A、孩子对该堂课所讲内容不感兴趣
B、孩子没有休息好
C、孩子身体不适
D、其它原因”
家长在选择相应的选择之后,可以点击“取消”或者“提及”虚拟按钮,若点击“提及”虚拟按钮,则平台可以接收到该目标原因数据。。
图12示意性示出了根据本公开的一实施例的显示目标表现评价信息的用户界面示意图。
如图12所示,在显示“XX学生本堂课总得分为:XX分”的同时,还可以显示一个“进入得分校正界面”的虚拟按钮。当家长点击该虚拟按钮时,可以进入如图13所示的得分校正界面。
图13示意性示出了根据本公开的一实施例的得分校正界面的用户界面示意图。
如图13所示,在得分校正界面上可以显示以下内容:
“XX学生本堂课修改前总得分为:XX分
您希望将其修改:
您修改得分的原因是:
A、课程播放过程中出现了广告;
B、课程观看过程中,手机电量不足、异常退出或者网络异常;
C、其它非学生自身因素导致的外界因素。”
家长可以修改获得校正总得分数据,并选择为什么修改的原因。之后,点击“取消”或者“提及”虚拟按钮,若点击“提及”虚拟按钮,则显示修改后的校正总得分数据。
需要说明的是,得分校正界面、交互式反馈界面、激励界面、显示目标表现评价信息的界面等的界面内容和界面布局并不限于上述例举的实施例,其可以根据实际应用场景进行设计和调整,本公开对此不做限定。
本公开实施方式提供的多媒体互动方法,可以将其应用于在线教育应用场景中,获取学生的上课表现相关数据,一方面,给出总的得分值和各个行为指标的图示信息,作为老师或家长评估学生表现的客观依据;另一方面,创造性地引入了交互式反馈环节,家长可以根据手机端的行为分析模块适时截取的保存的学习画面,结合系统给出的客观指标,在学生上课结束后,通过跟学生的主动沟通交流,发现学生上课过程中遇到的困难与麻烦,最后通过交互式反馈界面将学生最真实的学习状态反馈到远程后台服务器,帮助平台为学生更合理的安排课程,真正帮助学生找到最佳的学习状态。家长是教学环节必不可少的组成部分,本公开实施例提供的交互式的学生上课表现评分系统,充分发挥了家长在教学环节中的积极作用。
图14示意性示出了根据本公开的一实施例的多媒体互动装置的框图。如图14所示,本公开实施例提供的多媒体互动装置1400可以包括:教学信息播放单元1410、评价信息显示单元1420、反馈界面显示单元1430以及原因数据发送单元1440。
本公开实施例中,教学信息播放单元1410可以用于播放目标多媒体信息。评价信息显示单元1420可以用于根据目标对象观看所述目标多媒体信息的目标观看视频数据,显示所述目标对象的目标表现评价信息。反馈界面显示单元1430可以用于根据所述目标表现评价信息,显示交互式反馈界面。原因数据发送单元1440可以用于响应对所述交互式反馈界面的操作,发送针对所述目标表现评价信息的目标原因数据。
本公开实施方式提供的多媒体互动装置,一方面,通过在播放目标多媒体信息时,获取目标对象观看所述目标多媒体信息的目标观看视频数据,从而能够获得目标对象观看所述目标多媒体信息时的目标表现评价信息,并显示出来,当将该技术方案应用于在线教育时,可以方便用户例如目标对象的家长和目标对象自身能够实时的看到本堂课的学习状态如何;另一方面,针对显示的所述目标表现评价信息,还可以进一步显示交互式反馈界面,用户可以通过该交互式反馈界面向平台反馈导致该目标表现评价信息的目标原因数据,有助于平台更好地了解目标对象的真实情况,以便平台更好地改进后续的在线播放多媒体信息的效果。同时,本公开实施例提供的技术方案实现简便,所占用的计算资源较少。
在示例性实施例中,评价信息显示单元1420可以包括:视频数据获取单元,可以用于获取所述目标观看视频数据;行为信息获得单元,可以用于分析所述目标观看视频数据,获得所述目标对象观看所述目标多媒体信息的目标行为信息;评价信息获得单元,可以用于根据所述目标行为信息,获得所述目标表现评价信息。
在示例性实施例中,所述目标行为信息可以包括以下中的至少一项:通过目标终端设备播放所述目标多媒体信息时,所述目标对象离开所述目标终端设备的目标视野区域的目标离开信息;所述目标对象在观看所述目标多媒体信息中的目标离线信息;所述目标对象在观看所述目标多媒体信息中的目标表情信息;所述目标对象在观看所述目标多媒体信息中的目标动作信息;在观看所述目标多媒体信息中,所述目标对象的眼睛与播放所述目标多媒体信息的目标终端设备之间的目标距离信息。
在示例性实施例中,所述目标表现评价信息可以包括所述目标行为信息的图形指示信息。
在示例性实施例中,所述图形指示信息可以包括所述目标行为信息的柱状图。
在示例性实施例中,所述图形指示信息可以包括所述目标行为信息及发生所述目标行为信息的时间信息的图示信息。
在示例性实施例中,所述目标表现评价信息可以包括目标总得分数据。其中,多媒体互动装置1400还可以包括:激励界面显示单元,可以用于若所述目标总得分数据高于第一得分阈值,则显示激励界面。其中所述激励界面中可以包括针对所述目标对象的正向激励信息。
在示例性实施例中,所述目标表现评价信息可以包括目标总得分数据。其中,多媒体互动装置1400还可以包括:提示信息发送单元,可以用于若所述目标总得分数据低于第二得分阈值,则向所述目标对象的关联对象发送提示信息。其中所述提示信息可以用于提示所述关联对象与所述目标对象沟通,以获得所述目标总得分数据低于所述第二得分阈值的所述目标原因数据。
在示例性实施例中,所述目标表现评价信息可以包括目标总得分数据。其中,多媒体互动装置1400还可以包括:得分校正界面显示单元,可以用于显示得分校正界面;得分修改单元,可以用于响应对所述得分校正界面的操作,修改所述目标总得分数据,获得校正总得分数据;校正得分显示单元,可以用于显示所述校正总得分数据。
在示例性实施例中,多媒体互动装置1400还包括:目标图像截取单元,可以用于从所述目标观看视频数据中,截取与所述目标表现评价信息关联的目标图像;目标图像保存单元,可以用于将所述目标图像与所述目标对象的目标账号绑定保存。
本公开实施例的多媒体互动装置的其它内容可以参照上述实施例。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种多媒体互动方法,其特征在于,包括:
播放目标多媒体信息;
根据目标对象观看所述目标多媒体信息的目标观看视频数据,获得所述目标对象观看所述目标多媒体信息的目标行为信息,显示所述目标对象的目标表现评价信息,所述目标表现评价信息包括所述目标行为信息的图形指示信息;
根据所述目标表现评价信息,显示交互式反馈界面;
响应对所述交互式反馈界面的操作,发送针对所述目标表现评价信息的目标原因数据。
2.根据权利要求1所述的多媒体互动方法,其特征在于,所述目标行为信息包括以下中的至少一项:
通过目标终端设备播放所述目标多媒体信息时,所述目标对象离开所述目标终端设备的目标视野区域的目标离开信息;
所述目标对象在观看所述目标多媒体信息中的目标离线信息;
所述目标对象在观看所述目标多媒体信息中的目标表情信息;
所述目标对象在观看所述目标多媒体信息中的目标动作信息;
在观看所述目标多媒体信息中,所述目标对象的眼睛与播放所述目标多媒体信息的目标终端设备之间的目标距离信息。
3.根据权利要求1所述的多媒体互动方法,其特征在于,所述图形指示信息包括所述目标行为信息的柱状图。
4.根据权利要求1所述的多媒体互动方法,其特征在于,所述图形指示信息包括所述目标行为信息及发生所述目标行为信息的时间信息的图示信息。
5.根据权利要求1至4任一项所述的多媒体互动方法,其特征在于,所述目标表现评价信息包括目标总得分数据;其中,所述方法还包括:
若所述目标总得分数据高于第一得分阈值,则显示激励界面;
其中所述激励界面中包括针对所述目标对象的正向激励信息。
6.根据权利要求1至4任一项所述的多媒体互动方法,其特征在于,所述目标表现评价信息包括目标总得分数据;其中,所述方法还包括:
若所述目标总得分数据低于第二得分阈值,则向所述目标对象的关联对象发送提示信息;
其中所述提示信息用于提示所述关联对象与所述目标对象沟通,以获得所述目标总得分数据低于所述第二得分阈值的所述目标原因数据。
7.根据权利要求1至4任一项所述的多媒体互动方法,其特征在于,所述目标表现评价信息包括目标总得分数据;其中,所述方法还包括:
显示得分校正界面;
响应对所述得分校正界面的操作,修改所述目标总得分数据,获得校正总得分数据;
显示所述校正总得分数据。
8.根据权利要求1至4任一项所述的多媒体互动方法,其特征在于,还包括:
从所述目标观看视频数据中,截取与所述目标表现评价信息关联的目标图像;
将所述目标图像与所述目标对象的目标账号绑定保存。
9.一种多媒体互动装置,其特征在于,包括:
教学信息播放单元,用于播放目标多媒体信息;
评价信息显示单元,用于根据目标对象观看所述目标多媒体信息的目标观看视频数据,获得所述目标对象观看所述目标多媒体信息的目标行为信息,显示所述目标对象的目标表现评价信息,所述目标表现评价信息包括所述目标行为信息的图形指示信息;
反馈界面显示单元,用于根据所述目标表现评价信息,显示交互式反馈界面;
原因数据发送单元,用于响应对所述交互式反馈界面的操作,发送针对所述目标表现评价信息的目标原因数据。
10.根据权利要求9所述的多媒体互动装置,其特征在于,所述目标行为信息包括以下中的至少一项:
通过目标终端设备播放所述目标多媒体信息时,所述目标对象离开所述目标终端设备的目标视野区域的目标离开信息;
所述目标对象在观看所述目标多媒体信息中的目标离线信息;
所述目标对象在观看所述目标多媒体信息中的目标表情信息;
所述目标对象在观看所述目标多媒体信息中的目标动作信息;
在观看所述目标多媒体信息中,所述目标对象的眼睛与播放所述目标多媒体信息的目标终端设备之间的目标距离信息。
11.根据权利要求9所述的多媒体互动装置,其特征在于,所述图形指示信息包括所述目标行为信息的柱状图。
12.根据权利要求9所述的多媒体互动装置,其特征在于,所述图形指示信息包括所述目标行为信息及发生所述目标行为信息的时间信息的图示信息。
13.根据权利要求9至12任一项所述的多媒体互动装置,其特征在于,所述目标表现评价信息包括目标总得分数据;其中,所述装置还包括:
激励界面显示单元,用于若所述目标总得分数据高于第一得分阈值,则显示激励界面;
其中所述激励界面中包括针对所述目标对象的正向激励信息。
14.根据权利要求9至12任一项所述的多媒体互动装置,其特征在于,所述目标表现评价信息包括目标总得分数据;其中,所述装置还包括:
提示信息发送单元,用于若所述目标总得分数据低于第二得分阈值,则向所述目标对象的关联对象发送提示信息;
其中所述提示信息用于提示所述关联对象与所述目标对象沟通,以获得所述目标总得分数据低于所述第二得分阈值的所述目标原因数据。
15.根据权利要求9至12任一项所述的多媒体互动装置,其特征在于,所述目标表现评价信息包括目标总得分数据;其中,所述装置还包括:
得分校正界面显示单元,用于显示得分校正界面;
得分修改单元,用于响应对所述得分校正界面的操作,修改所述目标总得分数据,获得校正总得分数据;
校正得分显示单元,用于显示所述校正总得分数据。
16.根据权利要求9至12任一项所述的多媒体互动装置,其特征在于,还包括:
目标图像截取单元,用于从所述目标观看视频数据中,截取与所述目标表现评价信息关联的目标图像;
目标图像保存单元,用于将所述目标图像与所述目标对象的目标账号绑定保存。
17.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1至8任一项所述的方法。
18.一种电子设备,其特征在于,包括:
至少一个处理器;
存储装置,配置为存储至少一个程序,当所述至少一个程序被所述至少一个处理器执行时,使得所述至少一个处理器实现如权利要求1至8中任一项所述的方法。
CN202010642181.3A 2020-07-06 2020-07-06 多媒体互动方法、装置、电子设备及存储介质 Active CN111787344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010642181.3A CN111787344B (zh) 2020-07-06 2020-07-06 多媒体互动方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010642181.3A CN111787344B (zh) 2020-07-06 2020-07-06 多媒体互动方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111787344A CN111787344A (zh) 2020-10-16
CN111787344B true CN111787344B (zh) 2023-10-20

Family

ID=72757895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010642181.3A Active CN111787344B (zh) 2020-07-06 2020-07-06 多媒体互动方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111787344B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705643A (zh) * 2017-11-16 2018-02-16 四川文理学院 一种机器人主持教学方法及其装置
CN108805400A (zh) * 2018-04-27 2018-11-13 王妃 一种模式识别的质量评价反馈方法
CN110164213A (zh) * 2019-06-06 2019-08-23 南京睦泽信息科技有限公司 一种基于ai视频分析的多终端远程教育培训系统
CN110689466A (zh) * 2019-11-01 2020-01-14 广州云蝶科技有限公司 基于录播的多维度数据处理方法
CN110837960A (zh) * 2019-11-01 2020-02-25 广州云蝶科技有限公司 学生情感分析方法
CN110930781A (zh) * 2019-12-04 2020-03-27 广州云蝶科技有限公司 录播系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147350B2 (en) * 2010-10-15 2015-09-29 John Leon Boler Student performance monitoring system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705643A (zh) * 2017-11-16 2018-02-16 四川文理学院 一种机器人主持教学方法及其装置
CN108805400A (zh) * 2018-04-27 2018-11-13 王妃 一种模式识别的质量评价反馈方法
CN110164213A (zh) * 2019-06-06 2019-08-23 南京睦泽信息科技有限公司 一种基于ai视频分析的多终端远程教育培训系统
CN110689466A (zh) * 2019-11-01 2020-01-14 广州云蝶科技有限公司 基于录播的多维度数据处理方法
CN110837960A (zh) * 2019-11-01 2020-02-25 广州云蝶科技有限公司 学生情感分析方法
CN110930781A (zh) * 2019-12-04 2020-03-27 广州云蝶科技有限公司 录播系统

Also Published As

Publication number Publication date
CN111787344A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111949822B (zh) 一种基于云计算和移动终端的智能教育视频服务系统及其运行方法
US10546235B2 (en) Relativistic sentiment analyzer
Tanveer et al. Rhema: A real-time in-situ intelligent interface to help people with public speaking
US20190026357A1 (en) Systems and methods for virtual reality-based grouping evaluation
AU2017281095A1 (en) System and method for automated evaluation system routing
US20160188125A1 (en) Method to include interactive objects in presentation
US10855785B2 (en) Participant engagement detection and control system for online sessions
US10572813B2 (en) Systems and methods for delivering online engagement driven by artificial intelligence
US20200098282A1 (en) Internet-based recorded course learning following system and method
US10567523B2 (en) Correlating detected patterns with content delivery
US20180176156A1 (en) Systems and methods for automatic multi-recipient electronic notification
US20170255875A1 (en) Validation termination system and methods
US20200134440A1 (en) Machine-learning-based ethics compliance evaluation platform
CN116018789A (zh) 在线学习中用于对学生注意力进行基于上下文的评估的方法、系统和介质
US20190251145A1 (en) System for markup language conversion
US20190251186A1 (en) Content management infrastructure for conversion of structured data
US20160378728A1 (en) Systems and methods for automatically generating content menus for webcasting events
CN111787344B (zh) 多媒体互动方法、装置、电子设备及存储介质
CN108924648B (zh) 用于向用户播放视频数据的方法、装置、设备和介质
EP3432129B1 (en) Systems and methods for virtual reality-based assessment
US20190251146A1 (en) Device for rendering markup language with structured data
Morze et al. Use of bot-technologies for educational communication at the university
López et al. Design and development of sign language questionnaires based on video and web interfaces
CN113158058A (zh) 服务信息的发送方法及装置、接收方法及装置
GB2543479A (en) Rating multimedia content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant