CN112286610A - 一种互动处理方法、装置、电子设备和存储介质 - Google Patents
一种互动处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112286610A CN112286610A CN202011175034.6A CN202011175034A CN112286610A CN 112286610 A CN112286610 A CN 112286610A CN 202011175034 A CN202011175034 A CN 202011175034A CN 112286610 A CN112286610 A CN 112286610A
- Authority
- CN
- China
- Prior art keywords
- user
- information
- target
- terminal
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 183
- 238000003672 processing method Methods 0.000 title claims abstract description 54
- 230000003993 interaction Effects 0.000 claims abstract description 149
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000001815 facial effect Effects 0.000 claims description 98
- 230000009471 action Effects 0.000 claims description 29
- 230000008451 emotion Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 241000699666 Mus <mouse, genus> Species 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开实施例公开了一种互动处理方法、装置、电子设备和存储介质。本公开通过显示用户界面,并在该用户界面中显示一个或多个第一用户中每个第一用户的标识信息,从而使得第二用户可以根据每个第一用户的标识信息输入针对一个或多个第一用户中目标用户的互动指令,进一步可以根据该互动指令所关联的互动内容生成虚拟形象,并将该虚拟形象发送到该目标用户的终端,从而可以通过该虚拟形象与该目标用户进行互动,在第一用户数量较多的情况下,可以节省第二用户与个别第一用户的互动时间,从而可以提高互动效率。
Description
技术领域
本公开涉及信息技术领域,尤其涉及一种互动处理方法、装置、电子设备和存储介质。
背景技术
随着信息技术的发展,教学方式也发生了很大的变化。例如,以往的教学方式是老师与学生位于同一教室,老师与学生面对面进行教学。而当前老师可以通过网络进行教学,使得学生在家里也可以进行学习。
老师在进行网络教学的过程中,老师的终端可以将老师教学的视频数据实时的发送到学生的终端,从而使得学生可以通过其终端实时观看老师的教学视频。
由于学生的个体差异,使得老师在进行网络教学的过程中可能需要与个别学生进行互动,例如,老师可能会当场提醒某位同学注意听讲等。但是,在学生数量较多的场景下,如果老师逐一与多位学生互动,将大大的降低教学效率。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开实施例提供了一种互动处理方法、装置、电子设备和存储介质,以提高教学效率和教学质量。
本公开实施例提供了一种互动处理方法,包括:
显示用户界面,所述用户界面包括一个或多个第一用户中每个第一用户的标识信息;
获取第二用户针对所述一个或多个第一用户中目标用户的互动指令;
根据所述互动指令所关联的互动内容生成虚拟形象;
将所述虚拟形象发送到所述目标用户的终端。
本公开实施例还提供了一种互动处理装置,包括:
显示模块,用于显示用户界面,所述用户界面包括一个或多个第一用户中每个第一用户的标识信息;
获取模块,用于获取第二用户针对所述一个或多个第一用户中目标用户的互动指令;
生成模块,用于根据所述互动指令所关联的互动内容生成虚拟形象;
发送模块,用于将所述虚拟形象发送到所述目标用户的终端。
本公开实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的互动处理方法。
本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的互动处理方法。
本公开实施例提供的技术方案至少具有如下优点:本公开实施例提供的互动处理方法,通过显示用户界面,并在该用户界面中显示一个或多个第一用户中每个第一用户的标识信息,从而使得第二用户可以根据每个第一用户的标识信息输入针对一个或多个第一用户中目标用户的互动指令,进一步可以根据该互动指令所关联的互动内容生成虚拟形象,并将该虚拟形象发送到该目标用户的终端,从而可以通过该虚拟形象与该目标用户进行互动,在第一用户数量较多的情况下,可以节省第二用户与个别第一用户的互动时间,从而可以提高互动效率。例如,在第一用户为学生、第二用户为老师的情况下,由于虚拟形象是针对个别学生生成的,并且老师与个别学生的互动内容可以承载在该虚拟形象中,不需要老师中途停止教学,因此,通过虚拟形象与个别学生进行互动,不仅可以节省老师与个别学生的互动时间,同时还可以保证其他学生正常听讲不受影响,在学生人数较多的大班网络课中,可以大大提高教学效率和教学质量。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例中的一种互动处理方法的流程图;
图2为本公开实施例中的一种应用场景的示意图;
图3为本公开实施例中的一种用户界面的示意图;
图4为本公开实施例中的另一种互动处理方法的流程图;
图5为本公开实施例中的另一种用户界面的示意图;
图6为本公开实施例中的又一种用户界面的示意图;
图7为本公开实施例中的又一种互动处理方法的流程图;
图8为本公开实施例中的再一种用户界面的示意图;
图9为本公开实施例中的再一种互动处理方法的流程图;
图10为本公开实施例中的另一种用户界面的示意图;
图11为本公开实施例中的另一种用户界面的示意图;
图12为本公开实施例中的另一种互动处理方法的流程图;
图13为本公开实施例中的另一种用户界面的示意图;
图14为本公开实施例中的一种互动处理装置的结构示意图;
图15为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
图1为本公开实施例中的一种互动处理方法的流程图,本实施例可适用于客户端中进行互动处理的情况,该方法可以由互动处理装置执行,该装置可以采用软件和/或硬件的方式实现,该装置可配置于电子设备中,例如终端,具体包括但不限于智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备等。或者,本实施例可适用于服务端中进行互动处理的情况,该方法可以由互动处理装置执行,该装置可以采用软件和/或硬件的方式实现,该装置可配置于电子设备中,例如服务器。
本公开实施例所述的互动处理方法可以适用于如图2所示的应用场景。该应用场景中可以包括一个或多个第一终端,例如,第一终端21、第一终端22和第一终端23,其中,每个第一终端可以是第一用户的终端。第一用户例如可以是学生。可以理解的是,第一终端的个数并不限于图2所示的3个,在其他实施例中还可以有更多个第一终端,本公开实施例以3个为例进行示意性说明。另外,本公开实施例并不限定第一终端的产品形态,例如具体可以是智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备等。
如图2所示,该应用场景中还可以包括一个或多个第二终端,例如,第二终端30,第二终端可以是第二用户的终端。第二用户例如可以是老师。可以理解的是,第二终端的个数并不限于图2所示的1个,在其他实施例中还可以有更多个第二终端,本公开实施例以1个为例进行示意性说明。另外,本公开实施例并不限定第二终端的产品形态,例如具体可以是智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备等。
可以理解的是,第一用户并不限于学生,第二用户也并不限于老师。例如,第二用户还可以是直播播主,第一用户可以是观看直播的用户。也就是说,本公开实施例所述的互动处理方法可以适用于一对多或一对一互动的场景中。
具体的,第二终端30可以分别与第一终端21、第一终端22和第一终端23进行通信。例如,第二终端30、第一终端21、第一终端22和第一终端23可以连接到服务器40,从而使得第二终端30可以通过服务器40以一对多的方式与第一终端21、第一终端22和第一终端23进行通信。另外,第一终端21、第一终端22和第一终端23之间也可以通过服务器40进行相互通信。在一些实施例中,服务器40可以是服务器集群或者是服务器集群中的一个或多个服务器。另外,服务器40还可以是云服务器。在一种可能的实现方式中,第二终端30、第一终端21、第一终端22和第一终端23中分别安装有同一款应用程序(Application,APP),服务器40可以给该APP提供服务。
具体的,本实施例所述的互动处理方法可以由如图2所示的第二终端30或服务器40执行,下面以第二终端30为例进行示意性说明。
如图1所示,该方法具体可以包括:
S101、显示用户界面,所述用户界面包括一个或多个第一用户中每个第一用户的标识信息。
例如图2所示的第二终端30为台式机,第二终端30包括主机和显示组件。该显示组件具体可以是显示屏。具体的,第二终端30可以在显示屏中显示用户界面,在第二终端的第二用户为老师的场景中,该用户界面可以是老师的用户界面。该用户界面可以包括一个或多个第一用户中每个第一用户的标识信息。
可选的,所述第一用户的标识信息包括如下至少一种:所述第一用户的图像信息、名称、标识号、所述第一用户的终端标识。
例如,在第一用户为学生的场景中,老师的用户界面中可以显示正在听课的一个或多个学生的标识信息。其中,每个学生的标识信息包括该学生的图像信息、名称、标识号、该学生的第一终端的终端标识中的至少一个。其中,图像信息可以是学生的头像或其他图像。名称可以是学生的姓名或昵称。标识号例如可以是学生的学号、账号等。第一终端的终端标识可以是第一终端的端口号、硬件标识号等。另外,在老师的用户界面中,并不限定多个学生的标识信息的展现形式,例如,多个学生的标识信息可以以列表的形式展现在老师的用户界面中。如图3所示为老师的用户界面的示意图,该用户界面中显示有学生张三的姓名和张三的头像31、学生李四的姓名和李四的头像32、学生王五的姓名和王五的头像33。可以理解的是,如图3所示的用户界面只是一种示意性说明,并不做具体限定,例如,该用户界面中还可以包括其他图标或按钮等。
S102、获取第二用户针对所述一个或多个第一用户中目标用户的互动指令。
如图3所示,老师的用户界面中还可以显示有老师在教学过程中使用的电子教材34,该电子教材34可以是文本数据、视频数据、音频数据、图像数据中的至少一种。可以理解的是,电子教材34和多个学生的标识信息可以显示在同一个显示屏中,也可以显示在不同的显示屏中,此处不做具体限定。另外,第二终端30可以通过服务器40将电子教材34实时发送到第一终端21、第一终端22和第一终端23,从而使得学生可以实时通过第一终端观看到电子教材34。
此外,如图2所示,第二终端30还可以包括拍摄装置,或者第二终端30可以与拍摄装置连接。该拍摄装置例如可以是摄像头,该摄像头可以集成在第二终端30的显示组件中,或者该摄像头可以与第二终端30的主机连接。具体的,老师在教学的过程中,该摄像头可以实时采集老师的图像或视频信息。第二终端30可以通过服务器40实时的将老师的图像或视频信息发送到第一终端21、第一终端22和第一终端23。从而使得第一终端21、第一终端22和第一终端23在接收到老师的图像或视频信息的情况下,将老师的图像或视频信息实时显示在第一终端21、第一终端22和第一终端23各自的显示屏中,从而使得学生可以实时通过第一终端观看到老师的图像或视频信息。
例如,老师在教学的过程中可能会需要与个别学生进行互动,例如提醒个别学生注意听讲或让个别学生回答问题。此处的个别学生可以是一个学生,也可以是多个学生。另外,此处可以将个别学生记为目标用户。
此时,老师可以向第二终端30输入针对该个别学生的互动指令。相应的,第二终端30可以获取老师针对该个别学生的互动指令。本实施例并不限定互动指令的输入方式。例如,在一种可能的实现方式中,如图3所示,老师可以对该用户界面中某个学生的头像进行操作,该操作例如可以是点击、双击、长按、语音控制操作、或手势控制操作等。此时,第二终端30可以根据老师对该学生的头像的操作,获取老师针对该学生的互动指令。
S103、根据所述互动指令所关联的互动内容生成虚拟形象。
例如,第二终端30在获取到老师针对某个学生的互动指令后,可以显示预设的互动内容,进一步根据老师对互动内容的操作确定老师选择的互动内容,其中,老师选择的互动内容可以作为该互动指令所关联的互动内容。或者第二终端30在获取到老师针对某个学生的互动指令后可以显示输入框,进一步接收老师在该输入框中输入的互动内容,老师在该输入框中输入的互动内容可以作为该互动指令所关联的互动内容。该互动内容可以是文本数据、视频数据、音频数据、图像数据中的至少一种。进一步,第二终端30可以根据该互动指令所关联的互动内容生成虚拟形象。可以理解的是,该虚拟形象不限于在第二终端30这一侧生成,例如,该虚拟形象还可以在服务器40这一侧生成。
S104、将所述虚拟形象发送到所述目标用户的终端。
例如,张三是老师需要互动的目标用户。第二终端30或服务器40在生成虚拟形象之后,还可以将该虚拟形象发送到该张三的第一终端,例如第一终端21。第一终端21在接收到该虚拟形象的情况下,可以将该虚拟形象显示在第一终端21的屏幕中,从而使得张三可以在第一终端21中看到该虚拟形象。
可选的,将所述虚拟形象发送到所述目标用户的终端,包括:将所述目标用户对应的标记添加到所述虚拟形象;将添加有所述标记的所述虚拟形象发送到所述目标用户的终端。
由于每个学生的第一终端分别对应不同的端口,并且每个端口可以分别对应不同的标记,例如,学生张三的第一终端21的端口1所对应的标记为话术“张三”,学生李四的第一终端22的端口2所对应的标记为话术“李四”。在第二终端30确定老师与张三进行互动时,可以将话术“张三”添加到虚拟形象中,并将添加有话术“张三”的虚拟形象通过端口1发送到第一终端21。也就是说,每个学生的第一终端对应的客户端所呈现的虚拟形象的话术可以是不同的。其中,话术可以理解为虚拟形象语音说话的内容。第一终端21通过端口1所接收到的虚拟形象为虚拟人物的面部表情在动,张三听到的声音例如可以是“张三,请注意听讲”。也就是说,在第一终端播放虚拟形象的过程中,播放时长可能是几秒,在这几秒中,学生从第一终端中听到或看到的是虚拟人物在说话,而不是真实的老师在说话以便让所有的学生都在听。
可以理解的是,虚拟形象其实可以是一小段视频,该小段视频包括图像信息和音频信息,该图像信息可以是虚拟人物的面部图像,该音频信息可以是老师发起的互动内容所对应的音频信息。其中,该虚拟人物的面部图像可以是第二终端30的第二用户即真实老师的面部图像,或者该虚拟人物的面部图像还可以是其他真实人物或其他虚拟人物的面部图像。另外,虚拟形象中的音频信息的属性例如音色、音调或音量等可以与真实老师的音色、音调或音量等属性相同。或者,该虚拟形象中的音频信息的属性还可以是其他真实人物或其他虚拟人物的音频属性。
另外,在老师教学过程中,第二终端30的拍摄装置采集的老师的视频信息可以是老师的真实视频,该真实视频中包括的是老师的真实人物图像和真实音频信息。服务器40在进行视频分发的时候,老师的真实视频是需要分发给每个学生的,而针对个别学生的虚拟形象只需要发送到个别学生的第一终端即可。也就是说,老师的真实视频是每个学生共享的信息,而虚拟形象是学生个性化的信息。当第二终端30针对某一学生生成虚拟形象时,服务器40可以将老师的真实视频和针对该学生的虚拟形象一起发送到该学生的第一终端,或者服务器40可以只将针对该学生的虚拟形象发送到该学生的第一终端,在服务器40将该虚拟形象发送完成后继续向该学生的第一终端发送老师的真实视频。
本公开实施例提供的互动处理方法,通过显示用户界面,并在该用户界面中显示一个或多个第一用户中每个第一用户的标识信息,从而使得第二用户可以根据每个第一用户的标识信息输入针对一个或多个第一用户中目标用户的互动指令,进一步可以根据该互动指令所关联的互动内容生成虚拟形象,并将该虚拟形象发送到该目标用户的终端,从而可以通过该虚拟形象与该目标用户进行互动,在第一用户数量较多的情况下,可以节省第二用户与个别第一用户的互动时间,从而可以提高互动效率。例如,在第一用户为学生、第二用户为老师的情况下,由于虚拟形象是针对个别学生生成的,并且老师与个别学生的互动内容可以承载在该虚拟形象中,不需要老师中途停止教学,因此,通过虚拟形象与个别学生进行互动,不仅可以节省老师与个别学生的互动时间,同时还可以保证其他学生正常听讲不受影响,在学生人数较多的大班网络课中,可以大大提高教学效率和教学质量。
图4为本公开实施例中的另一种互动处理方法的流程图。例如,在上述实施例的基础上,互动处理方法还可以包括如图4所示的如下几个步骤:
S401、在所述用户界面中显示每个第一用户的视频信息。
如图2所示,第一终端21、第一终端22和第一终端23中的每个第一终端可以包括拍摄装置,例如摄像头。或者,第一终端21、第一终端22和第一终端23中的每个第一终端可以分别与摄像头通信连接。该摄像头可以实时采集学生的图像或视频信息。进一步,每个第一终端可以将各自对应的学生的图像或视频信息发送到第二终端30。例如,每个第一终端通过服务器40将各自对应的学生的图像或视频信息发送到第二终端30。在第二终端30接收到各个学生的图像或视频信息时,可以将各个学生的图像或视频信息显示在老师的用户界面中。如图5所示为老师的用户界面的另一示意图,该用户界面可以包括多个视频播放器,每个视频播放器用于播放一个学生的视频信息。例如图5所示,该用户界面中显示有学生张三的姓名和张三的视频信息、李四的姓名和李四的视频信息、王五的姓名和王五的视频信息,其中,张三的视频信息在视频播放器51中进行播放、李四的视频信息在视频播放器52中进行播放、王五的视频信息在视频播放器53中进行播放。可以理解的是,如图5所示的用户界面只是一种示意性说明,并不做具体限定,例如,该用户界面中还可以包括其他图标或按钮等。
S402、根据所述第二用户对所述目标用户的视频信息的第一操作,显示与所述目标用户关联的第一操作接口。
例如,在图5的基础上,老师可以在该用户界面中对目标用户即个别学生的视频信息进行操作,该操作记为第一操作,第一操作例如可以是点击、双击、长按、语音控制操作、或手势控制操作等。或者该第一操作还可以包括老师将鼠标箭头移动到该视频信息上。进一步,第二终端30可以根据老师的第一操作在该用户界面中显示与该目标用户关联的第一操作接口。
例如,当老师需要与张三进行互动时,老师可以移动鼠标将鼠标箭头移动到张三的视频信息上。在第二终端30检测到鼠标箭头停留在视频播放器51上的时长大于或等于预设时长时,可以在该用户界面中显示与张三关联的第一操作接口511。进一步,第二终端30可以根据老师对第一操作接口511的操作获取老师针对张三的互动指令。或者,当老师将鼠标箭头从视频播放器51上移动到视频播放器52上之后,第二终端30还可以控制第一操作接口511隐藏并显示与李四关联的第一操作接口512。
作为另一种实现方式,所述用户界面还包括:与每个第一用户的标识信息分别关联的第一操作接口。
如图6所示,在图3的基础上,该用户界面中还可以包括与每个学生的标识信息分别关联的第一操作接口。例如,第一操作接口511与张三的标识信息关联、第一操作接口512与李四的标识信息关联、第一操作接口513与王五的标识信息关联。也就是说,第一操作接口可以不需要根据老师对视频信息的第一操作动态显示,而是在用户界面显示的同时即呈现在该用户界面中。进一步,第二终端30可以根据老师对第一操作接口511的操作获取老师针对张三的互动指令。第二终端30根据该互动指令关联的互动内容生成虚拟形象,并将该虚拟形象发送到张三的终端例如第一终端21。也就是说,老师可以针对单个学生发起虚拟形象,针对单个学生的虚拟形象可以通过该单个学生的端口发送到该单个学生的终端,从而呈现在该单个学生的客户端中。
可以理解的是,第一操作接口的显示方式不限于图5或图6的显示方式,还可以包括其他的显示方式,此处只是示意性说明。另外,如图6所示的用户界面也是一种示意性说明,并不做具体限定,例如,并不限定同一个学生的标识信息与第一操作接口之间的相对位置关系。此外,本公开实施例也不对第一操作接口进行具体限定,例如,第一操作接口可以包括图标、按钮、按键、输入框、或预设文本信息等。
另外,所述用户界面还包括:第二操作接口,所述第二操作接口与所述一个或多个第一用户中的部分或全部第一用户的标识信息关联,所述目标用户包括所述部分或全部第一用户。
例如,在一些实施例中,老师的用户界面还可以显示有第二操作接口,第二操作接口与如上所述的第一操作接口的不同之处在于:一个第一操作接口与一个学生关联,但是第二操作接口可以与多个学生关联。例如,该用户界面中总共显示有3个学生的标识信息,该第二操作接口可以与该3个学生中的部分学生或全部学生的标识信息关联,例如,部分学生的数量大于1。相应的,如上所述的目标用户可以是该部分学生或全部学生。
另外,在用户界面包括第二操作接口的情况下,获取第二用户针对所述一个或多个第一用户中目标用户的互动指令之前,该互动处理方法还包括如图7所示的如下几个步骤:
S701、检测所述第二用户在所述用户界面中对所述第二操作接口和所述部分或全部第一用户的标识信息的关联操作。
如图8所示,该用户界面包括第二操作接口80。在老师需要与多个学生互动时,老师可以对第二操作接口80和该多个学生的标识信息进行关联操作。例如,张三和李四是待发起虚拟形象的学生,老师可以对张三的标识信息和李四的标识信息进行多选,并在选中之后将张三的标识信息和李四的标识信息拖拽或拖动到第二操作接口80或第二操作接口80周围的预设区域内。相应的,第二终端30可以将该多选、拖拽或拖动操作确定为老师对第二操作接口80、张三的标识信息和李四的标识信息进行关联的关联操作。可以理解的是,此处并不对该关联操作进行具体限定,该多选、拖拽或拖动操作只是一种示意性说明。
S702、根据所述关联操作建立所述第二操作接口和所述部分或全部第一用户的标识信息的关联关系。
进一步,第二终端30可以根据该关联操作,建立第二操作接口80、张三的标识信息和李四的标识信息的关联关系。例如,第二终端30可以在第二操作接口80周围的预设区域内显示张三的姓名和李四的姓名。可以理解的是,本实施例并不限定该关联关系的展现形式,图8所示的展现形式只是一种示意性说明。
另外,在老师需要与所有学生互动时,可以对所有学生的标识信息进行全选,进一步将所有学生的标识信息与第二操作接口80进行关联,具体的关联操作、以及关联关系可以参照前述方法,此处不再赘述。
进一步,第二终端30可以根据老师对第二操作接口80的操作获取老师针对张三和李四的互动指令,根据该互动指令分别生成针对张三和李四的虚拟形象,并将针对张三的虚拟形象通过张三对应的端口发送到张三的第一终端21,将针对李四的虚拟形象通过李四对应的端口发送到李四的第一终端22,从而使得第一终端21可以在张三的客户端显示针对张三的虚拟形象,第一终端22可以在李四的客户端显示针对李四的虚拟形象。其中,针对张三的虚拟形象和针对李四的虚拟形象可以相同,也可以不同。也就是说,通过老师对一个第二操作接口的操作,可以针对多个学生或所有学生发起虚拟形象,并且可以将虚拟形象通过各个学生的端口发送到各个学生的第一终端,在各个学生的客户端呈现虚拟形象,并且在各个学生的客户端所呈现的虚拟形象可以不同。
本公开实施例提供的互动处理方法,通过在用户界面显示与多个第一用户关联的第二操作接口,使得第二用户可以通过对第二操作接口操作时实现与多个第一用户同时互动,进一步提高了互动效率。
通过上述实施例可知,老师可以通过对个别学生的标识信息进行操作输入针对个别学生的互动指令,或者老师还可以通过对如上所述的第一操作接口或第二操作接口进行操作输入针对个别学生的互动指令,下面结合具体的实施例对第二终端30通过第一操作接口或第二操作接口获取互动指令的情况进行介绍。
具体的,获取第二用户针对所述一个或多个第一用户中目标用户的互动指令,包括如图9所示的如下几个步骤:
S901、检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作。
例如在图5、图6或图8所示的用户界面中,第二终端30可以检测老师对第一操作接口或第二操作接口的操作,例如,老师对第一操作接口或第二操作接口的操作可以记为第二操作。该第二操作不限于点击、双击、长按、语音控制操作、或手势控制操作等。其中,一个第一操作接口关联一个学生,一个第二操作接口关联多个学生。
S902、根据所述第二操作获取所述第二用户针对所述目标用户的互动指令。
第二终端30可以根据老师对第一操作接口或第二操作接口的第二操作,获取老师针对目标用户即个别学生的互动指令。例如图6所示,在第二终端30检测到老师对第一操作接口512的第二操作时,可以获取老师针对李四的互动指令。例如图8所示,在第二终端30检测到老师对第二操作接口80的第二操作时,可以获取老师针对张三和李四的互动指令。
在本公开实施例中,每个第一操作接口可以与一个或多个预设文本信息关联,和/或第二操作接口可以与一个或多个预设文本信息关联。该预设文本信息可以是老师与学生之间常用的交流内容,例如,“你真棒”、“注意听讲”、“请看屏幕”、“注意坐姿”等。
在一种可能的实现方式中,根据所述第二操作获取所述第二用户针对所述目标用户的互动指令,包括:根据所述第二操作,在所述用户界面中显示与所述目标用户关联的一个或多个预设文本信息;检测所述第二用户对所述一个或多个预设文本信息中目标文本信息的选择操作;根据所述选择操作获取所述第二用户针对所述目标用户的互动指令。
例如以图6为例,在第二终端30检测到老师对第一操作接口512的第二操作时,第二终端30可以在该用户界面中显示与李四关联的一个或多个预设文本信息,此处以多个预设文本信息为例进行示意性说明。如图10所示为老师点击第一操作接口512之后显示有与李四关联的多个预设文本信息例如“你真棒”、“注意听讲”、“请看屏幕”、“注意坐姿”的用户界面示意图。可以理解的是图10所示的用户界面只是一种示意性说明,并不做具体限定,例如,并不限定多个预设文本信息在该用户界面中的显示位置、颜色、亮度等。在如图10所示的用户界面中,老师可以根据其互动需求选择该多个预设文本信息中的一个或多个,并且老师选中的预设文本信息可记为目标文本信息。进一步,第二终端30可以检测老师对目标文本信息的选择操作,并根据该选择操作获取老师针对李四的互动指令。可以理解的是,不同学生所关联的一个或多个预设文本信息可以不同,也可以相同。或者老师还可以根据每个学生的特征在该用户界面中设置与其特征相符的一个或多个预设文本信息。可选的,所述互动指令所关联的互动内容包括所述目标文本信息。例如,在图10所示的用户界面中,第二终端30可以根据老师对目标文本信息例如“你真棒”的选择操作,确定出老师针对李四的互动指令所关联的互动内容包括“你真棒”。可以理解的是,该互动内容还可以包括除该目标文本信息例如“你真棒”之外的其他内容,例如,该互动内容可以为“李四同学你真棒”。进一步,第二终端30可以根据该互动内容生成针对李四的虚拟形象并通过服务器40将该虚拟形象发送到李四的第一终端22。
同理以图8为例,在第二终端30检测到老师对第二操作接口80的第二操作时,第二终端30可以在该用户界面中显示与张三和李四同时关联的一个或多个预设文本信息。进一步,第二终端30可以检测老师对该一个或多个预设文本信息中目标文本信息的选择操作,并根据该选择操作获取老师针对张三和李四的互动指令。该互动指令所关联的互动内容包括该目标文本信息。进一步,第二终端30可以根据该互动内容分别生成针对张三的虚拟形象和针对李四的虚拟形象,并在针对张三的虚拟形象中加入张三对应的标记,例如话术“张三”;在针对李四的虚拟形象中加入李四对应的标记,例如话术“李四”。进一步,第二终端30可以通过服务器40将添加有话术“张三”的虚拟形象发送到张三的第一终端21,将添加有话术“李四”的虚拟形象发送到李四的第一终端22。
在另一种可能的实现方式中,所述目标用户关联的第一操作接口或第二操作接口包括一个或多个预设文本信息;检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作,包括:检测所述第二用户针对所述一个或多个预设文本信息中目标文本信息的第二操作。
例如,在图5或图6中,每个第一操作接口可以包括一个或多个预设文本信息。也就是说,每个第一操作接口所关联的一个或多个预设文本信息并不是类似于图10一样在老师对第一操作接口进行第二操作之后才显示到用户界面上,而是在显示第一操作接口的同时即显示在第一操作接口中或第一操作接口周围的预设区域。因此,第二终端30在检测老师对第一操作接口的第二操作时具体可以检测老师对第一操作接口包括的一个或多个预设文本信息中目标文本信息的第二操作,该第二操作可以是对该目标文本信息的选择操作。例如在图5中,第一操作接口511所在的区域或第一操作接口511周围的预设区域内显示有“你真棒”、“注意听讲”、“请看屏幕”、“注意坐姿”这4个预设文本信息。当老师对该4个预设文本信息中的目标文本信息例如“注意坐姿”进行选择操作时,第二终端30可以根据该选择操作确定老师针对张三的互动指令所关联的互动内容包括该目标文本信息例如“注意坐姿”。例如,该互动内容还可以包括除目标文本信息例如“注意坐姿”之外的其他内容,例如,该互动内容可以为“张三小朋友注意坐姿”。进一步,第二终端30可以根据该互动内容生成针对张三的虚拟形象并通过服务器40将该虚拟形象发送到张三的第一终端21。
同理,在图8中,第二操作接口80所在的区域或第二操作接口80周围的预设区域内可显示有多个预设文本信息,例如,“你真棒”、“注意听讲”、“请看屏幕”、“注意坐姿”等。当老师对该多个预设文本信息中的目标文本信息例如“注意坐姿”进行选择操作时,第二终端30可以确定老师针对张三和李四的互动指令所关联的互动内容包括“注意坐姿”。进一步,第二终端30可以根据该互动内容分别生成针对张三的虚拟形象和针对李四的虚拟形象,并在针对张三的虚拟形象中加入张三对应的标记,例如话术“张三”;在针对李四的虚拟形象中加入李四对应的标记,例如话术“李四”。进一步,第二终端30可以通过服务器40将添加有话术“张三”的虚拟形象发送到张三的第一终端21,将添加有话术“李四”的虚拟形象发送到李四的第一终端22。
可选的,互动处理方法还包括:响应于所述第二用户对所述预设文本信息的修改指令、增加指令或删除指令,更新所述用户界面中的所述预设文本信息。
例如,在一些实施例中,老师还可以对第一操作接口或第二操作接口关联的预设文本信息进行修改、增加或删除。相应的,第二终端30可以响应于老师对预设文本信息的修改指令、增加指令或删除指令,更新老师用户界面中第一操作接口或第二操作接口关联的预设文本信息。
本公开实施例提供的互动处理方法,通过第一操作接口和/或第二操作接口与一个或多个预设文本信息关联,使得第二用户在与第一用户互动时,只需从用户界面中选择预设文本信息作为互动内容或互动内容的一部分即可,进一步提高了第二用户与第一用户之间的互动效率。
上述实施例介绍了第一操作接口和/或第二操作接口可以与一个或多个预设文本信息关联,其中,预设文本信息是预先设置的,而在一些应用场景中,多个预设文本信息中可能没有满足老师需求的预设文本信息。因此,在下面实施例中,第一操作接口和/或第二操作接口还可以与输入框关联。
在一种可能的实现方式中,根据所述第二操作获取所述第二用户针对所述目标用户的互动指令,包括:根据所述第二操作,在所述用户界面中显示与所述第一操作接口或所述第二操作接口关联的输入框;检测所述第二用户在所述输入框中输入目标互动信息的输入操作;根据所述输入操作获取所述第二用户针对所述目标用户的互动指令。
例如以图6为例,在第二终端30检测到老师对第一操作接口512的第二操作时,第二终端30可以在该用户界面中显示与第一操作接口512关联的输入框。如图11所示为老师点击第一操作接口512之后显示有输入框110的用户界面示意图。可以理解的是,图11所示的用户界面只是一种示意性说明,并不做具体限定,例如,并不限定第一操作接口512和输入框110的相对位置等。在如图11所示的用户界面中,老师可以根据其互动需求在该输入框110中输入目标互动信息,该目标互动信息可以是文本信息、音频信息、视频信息、图像信息中的至少一种。进一步,第二终端30可以检测老师在该输入框110中输入目标互动信息的输入操作,并根据该输入操作获取老师针对李四的互动指令。可选的,所述互动指令所关联的互动内容包括所述目标互动信息。例如,在图11所示的用户界面中,第二终端30可以根据老师在输入框110中输入的目标互动信息,确定出老师针对李四的互动指令所关联的互动内容包括该目标互动信息。例如,该互动内容还可以包括除该目标互动信息之外的其他内容,例如李四的昵称或姓名等。进一步,第二终端30可以根据该互动内容生成针对李四的虚拟形象并通过服务器40将该虚拟形象发送到李四的第一终端22。
同理以图8为例,在第二终端30检测到老师对第二操作接口80的第二操作时,第二终端30可以在该用户界面中显示输入框,进一步,第二终端30可以检测老师在该输入框中输入目标互动信息的输入操作,并根据该输入操作获取老师针对张三和李四的互动指令。该互动指令所关联的互动内容包括该目标互动信息。进一步,第二终端30可以根据该互动内容分别生成针对张三的虚拟形象和针对李四的虚拟形象,并在针对张三的虚拟形象中加入张三对应的标记,例如话术“张三”;在针对李四的虚拟形象中加入李四对应的标记,例如话术“李四”。进一步,第二终端30可以通过服务器40将添加有话术“张三”的虚拟形象发送到张三的第一终端21,将添加有话术“李四”的虚拟形象发送到李四的第一终端22。
在另一种可能的实现方式中,所述第一操作接口或所述第二操作接口包括输入框;检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作,包括:检测所述第二用户在所述输入框中输入目标互动信息的输入操作。
例如,在图5或图6中,每个第一操作接口包括一个输入框。也就是说,每个第一操作接口所关联的输入框并不是类似于图11一样在老师对第一操作接口进行第二操作之后才显示到用户界面上,而是在显示第一操作接口的同时即显示在第一操作接口中或第一操作接口周围的预设区域。进一步,老师可以在该输入框中输入目标互动信息。老师在不同第一操作接口包括的输入框中输入的目标互动信息可以不同,例如,在张三关联的第一操作接口包括的输入框中输入“注意听讲”,在李四关联的第一操作接口包括的输入框中输入“请看屏幕”。第二终端30在检测老师对第一操作接口的第二操作时具体可以检测老师在输入框中输入目标互动信息的输入操作。
可选的,所述互动指令所关联的互动内容包括所述目标互动信息。例如,当老师在张三关联的第一操作接口包括的输入框中输入目标互动信息例如“注意坐姿”时,第二终端30可以确定老师针对张三的互动指令所关联的互动内容包括“注意坐姿”。例如,该互动内容还可以包括除目标文本信息例如“注意坐姿”之外的其他内容,例如,该互动内容可以为“张三小朋友注意坐姿”。进一步,第二终端30可以根据该互动内容生成针对张三的虚拟形象并通过服务器40将该虚拟形象发送到张三的第一终端21。
同理,在图8中,第二操作接口80可以包括一个输入框,当老师在该输入框中输入目标互动信息,例如“注意坐姿”时,第二终端30可以确定老师针对张三和李四的互动指令所关联的互动内容包括“注意坐姿”。进一步,第二终端30可以根据该互动内容分别生成针对张三的虚拟形象和针对李四的虚拟形象,并在针对张三的虚拟形象中加入张三对应的标记,例如话术“张三”;在针对李四的虚拟形象中加入李四对应的标记,例如话术“李四”。进一步,第二终端30可以通过服务器40将添加有话术“张三”的虚拟形象发送到张三的第一终端21,将添加有话术“李四”的虚拟形象发送到李四的第一终端22。
本公开实施例提供的互动处理方法,通过第一操作接口和/或第二操作接口与输入框关联,使得第二用户在与第一用户互动时,只需在该输入框中输入互动内容或互动内容的一部分即可,进一步提高了第二用户与第一用户之间的互动效率,同时还提高了互动内容的灵活性。
在上述实施例的基础上,互动处理方法还可以根据所述互动指令所关联的互动内容生成虚拟形象包括如图12所示的如下几个步骤:
S1201、获取与所述互动内容对应的音频。
本实施例以互动内容为文本信息为例进行示意性说明。例如,正在进行网上大班授课的老师如果需要在不影响其他学生正常上课的情况下,与指定的一个或多个学生进行互动时,可以触发第二终端30创建虚拟形象,并采用该创建虚拟形象与该指定的学生进行互动,而针对其他学生则仍然采用自己的真实形象即真实视频进行网络授课。具体的,触发第二终端30创建虚拟形象的方式可以参照上述实施例所述的内容,此处不再赘述。在第二终端30确定出互动内容例如文本信息“请注意听讲”时,可以确定该文本信息对应的时长。其中,确定时长的方式具体可以采用预先训练完成的时长预测模型来实现,例如,将文本信息“请注意听讲”输入该时长预测模型,获得时长为3秒。或者可以将文本信息划分为多个子序列,通过时长预测模型确定出每个子序列的时长,进一步将每个子序列的时长进行相加得到该文本信息的时长。此外,在其他实施例中,确定文本信息的时长的方法并不限于时长预测模型,例如还可以通过查表的方式实现。本实施例并不对确定文本信息的时长的方法进行限定。进一步,可以将该文本信息和其对应的时长输入到预先训练完成的语音合成模型,获得该文本信息对应的音频,例如,将文本信息“请注意听讲”和时长3秒输入该语音合成模型后,该语音合成模型可以按照3秒时长将文本信息“请注意听讲”转换为音频。
S1202、获取与所述音频对应的面部特征点序列。
可选的,所述面部特征点序列包括多组面部特征点;获取与所述音频对应的面部特征点序列,可以包括:根据音频获取音频帧序列;将音频帧序列输入预先训练完成的特征点预测模型,获取面部特征点序列,其中,面部特征点序列中包括多组面部特征点,特征点预测模型用于确定每一个音频帧所对应的一组面部特征点。
例如,在获取到音频后可以根据音频获取音频帧序列,例如,时长为3秒的音频“请注意听讲”包括100个音频帧,进一步,将该100个音频帧输入预先训练完成的特征点预测模型,获取面部特征点序列,该面部特征点序列中包括多组面部特征点,并且特征点预测模型所输出的面部特征点的组数与音频帧的个数相同,即每一个音频帧对应一组面部特征点。每一组面部特征点中特征点的数目可以不做具体限定,例如可以是68个。100组面部特征点按照帧顺序依次排列即构成面部特征点序列。
可选的,将音频帧序列输入预先训练完成的特征点预测模型,获取面部特征点序列之前,还包括:获取媒体文件,其中,媒体文件包括样本音频和同步播放的面部视频;从样本音频中提取样本音频帧,以及从面部视频中提取与样本音频帧同步的样本视频帧;提取样本视频帧中所包括的样本面部特征点;根据样本音频帧和样本面部特征点对特征点预测模型进行训练。
也就是说,在将音频帧序列输入特征点预测模型之前,需要先采用样本对特征点预测模型进行训练,以使特征点预测模型在正式应用的过程中能够输出与每个音频帧所对应的一组面部特征点,从而保证面部特征点获取的准确性。样本获取的方式是获取一个媒体文件,该媒体文件可以是老师进行网上授课时或网上授课前的一段录屏。该媒体文件中包括样本音频和同步播放的面部视频,由于样本音频和面部视频是同步播放的,因此从样本音频中提取样本音频帧,以及从面部视频中提取与样本音频帧同步的样本视频帧后,样本音频帧和样本视频帧的帧数相同,例如,样本音频帧提取到50个,样本视频帧的个数也为50个。以50个样本音频帧中的第一个样本音频帧和50个样本视频帧中的第一个样本视频帧为例,提取该第一个样本视频帧中所包括的样本面部特征点,将第一个样本音频帧和第一个样本视频帧所包括的样本面部特征点作为一组样本,则相应的可以依次提取到50组样本。进一步,根据该50组样本对特征点预测模型进行训练,当确定训练误差达到预设阈值时,确定训练完成,并采用训练完成的特征点预测模型进行后续的面部特征点的预测。
S1203、根据所述面部特征点序列获取视频。
可选的,根据所述面部特征点序列获取视频,包括:获取所述目标用户对应的面部标准模板;将每一组面部特征点添加到所述面部标准模板,获取每一帧面部图像;将每一帧所述面部图像按帧顺序依次连接获取所述视频。
例如,本实施例中的面部标准模板可以是在老师网上授课过程中随机截取的老师的一张脸部正面照片。进一步将上述面部特征点序列中的每一组面部特征点分别添加到该面部标准模板中,得到每一帧面部图像。可以理解的是,由于面部特征点序列中的每一组面部特征点可能不同,因此,将不同的面部特征点添加到该面部标准模板后可以得到不同的面部图像,另外每一帧面部图像也有可能与该面部标准模板不同。例如,在确定音频“请注意听讲”包括100个音频帧,100个音频帧对应100组面部特征点时,相应的获取100帧面部图像,将所获取的100帧面部图像按帧顺序依次连接获得视频。
在一些实施例中,针对不同学生生成虚拟形象时所采用的面部标准模板可以不同。
在一种可能的实现方式中,互动处理方法还包括:响应于所述第二用户对第一用户的第一设置指令,显示多个预设的面部标准模板;根据所述第二用户对所述多个预设的面部标准模板中目标模板的选择操作,将所述目标模板设置为所述第一用户对应的面部标准模板。
例如,老师可以在其用户界面中对某个学生或某几个学生对应的面部标准模板进行设置,第二终端30可以响应于老师对某个学生或某几个学生的第一设置指令,在该用户界面中显示多个预设的面部标准模板,进一步,根据老师对该多个预设的面部标准模板中目标模板的选择操作,将该目标模板设置为某个学生或某几个学生对应的面部标准模板。其中,老师可以从该多个预设的面部标准模板中随机的选取一个面部标准模板作为目标模板。
在另一种可能的实现方式中,互动处理方法还包括:接收所述第一用户的终端发送的第二设置指令,所述第二设置指令用于设置所述第一用户对应的面部标准模板。
例如,在一些应用场景中,学生可以根据自己的喜好设置其对应的虚拟形象所采用的面部标准模板。例如,第一终端可以在学生界面中显示多个预设的面部标准模板,学生可以从该多个预设的面部标准模板中选择自己喜欢的一个作为其对应的虚拟形象所采用的面部标准模板。在这种情况下,第一终端可以将学生设置面部标准模板的第二设置指令发送给第二终端30,从而使得第二终端30在生成针对该学生的虚拟形象时采用该学生自己设置的面部标准模板。
可以理解的是,每个学生对应的面部标准模板并不限于上述的几种设置方式,还可以有其他的设置方式,此处不做具体限定。
S1204、将所述音频和所述视频结合获得虚拟形象。
例如,在S1203中生成的视频中包括100帧面部图像,因此还需要进一步将该视频和音频“请注意听讲”进行结合获得虚拟形象。具体的,音频“请注意听讲”包括100个音频帧,S1203中生成的视频包括100帧面部图像,因此可以将该100个音频帧和该100帧面部图像按照相同的时间轴进行音频帧和面部图像的组合,例如,将该100个音频帧中的第一个音频帧与该100帧面部图像中的第一帧面部图像进行组合,以此类推,将该100个音频帧中的第100个音频帧与该100帧面部图像中的第100帧面部图像进行组合,从而得到虚拟形象,从而使得第一终端所呈现的虚拟形象的声音和图像是匹配的,时序上是对齐的。
在本实施例中,针对某个学生发起虚拟形象,或者同时针对多个学生或所有学生发起虚拟形象时,针对每个学生的虚拟形象的表情、动作等可以不同。也就是说,每个学生的第一终端所呈现的虚拟形象的表情、动作等可以不同。另外,同时针对多个学生或所有学生发起虚拟形象时,该多个学生或所有学生中每个学生的第一终端上可以同时呈现虚拟形象,但每个学生的第一终端所呈现的虚拟形象的表情、动作等可以不同。
在一种可能的实现方式中,所述方法还包括:根据所述互动内容的类型信息,确定与所述类型信息对应的表情信息和/或动作信息;将所述表情信息和/或所述动作信息添加到所述虚拟形象中。
例如,老师的用户界面中显示的预设文本信息是按照类型进行划分的。如图13所示,第二终端30检测到老师对第一操作接口512进行操作时,在该用户界面中显示几种类型的预设文本信息,例如,夸赞类的预设文本信息包括“你真棒”,提醒类的预设文本信息包括“注意听讲”、“请看屏幕”、“注意坐姿”。当老师选择某一个预设文本信息时,第二终端30可以确定该预设文本信息对应的类型信息,并确定与该类型信息对应的表情信息和/或动作信息,在生成虚拟形象的过程中或在生成虚拟形象之后,将该表情信息和/或动作信息添加到该虚拟形象中,使得该虚拟形象说话的内容与该虚拟形象的表情、动作等是匹配的。例如,虚拟形象说“张三你真棒”时,该虚拟形象可以配合显示竖起大拇指的动作。再例如,虚拟形象说“注意听讲”时,该虚拟形象可以配合显示略带生气的表情。其中,预设文本信息对应的类型信息、以及类型信息对应的表情信息和/或动作信息可以预先存储在第二终端30或服务器40中。
可以理解的是,图13所示的用户界面只是一种示意性说明,并不做具体限定。例如,第二终端30检测到老师对第一操作接口512进行操作时,可以在该用户界面中显示类型信息,例如“夸赞”图标、“提醒”图标。老师可以对“夸赞”图标或“提醒”图标进行点击,在点击之后,第二终端30进一步显示夸赞类的预设文本信息或提醒类的预设文本信息。
在另一种可能的实现方式中,所述方法还包括:对所述互动内容进行情感分析,得到情感信息;将所述情感信息对应的表情信息和/或动作信息添加到所述虚拟形象中。
例如图10所示,老师随机选择了“你真棒”、“注意听讲”、“请看屏幕”、“注意坐姿”中的某一个预设文本信息,或者如图11所示,老师在输入框110中输入了目标互动信息。进一步,第二终端30可以对老师选择的预设文本信息或输入的目标互动信息进行情感分析,得到情感信息,并在生成虚拟形象的过程中或在生成虚拟形象之后,将该情感信息对应的表情信息和/或动作信息添加到虚拟形象中,从而使得该虚拟形象说话的内容与该虚拟形象的表情、动作等是匹配的。
可以理解的是,如上所述的S1201-S1204可以由第二终端30来执行,或者还可以由服务器40来执行,例如,第二终端30可以将老师设置的互动内容发送给服务器40,服务器40可以进一步执行S1201-S1204,从而获得虚拟形象。
本公开实施例提供的互动处理方法,通过互动内容的类型信息,确定与该类型信息对应的表情信息和/或动作信息;将该表情信息和/或该动作信息添加到该虚拟形象中;或者对该互动内容进行情感分析,得到情感信息;将该情感信息对应的表情信息和/或动作信息添加到该虚拟形象中,可使得虚拟形象说话的内容与该虚拟形象的表情、动作等是匹配的,从而可以提高虚拟形象的生动性。另外,通过老师对不同学生对应的面部标准模板进行设置或学生自己对其对应的面部标准模板进行设置,可使得不同学生对应的虚拟形象不同,进一步提高了虚拟形象的灵活性。
图14为本公开实施例中的一种互动处理装置的结构示意图。本公开实施例所提供的互动处理装置可以配置于客户端中,或者可以配置于服务端中,该互动处理装置140具体包括:
显示模块1401,用于显示用户界面,所述用户界面包括一个或多个第一用户中每个第一用户的标识信息;
获取模块1402,用于获取第二用户针对所述一个或多个第一用户中目标用户的互动指令;
生成模块1403,用于根据所述互动指令所关联的互动内容生成虚拟形象;
发送模块1404,用于将所述虚拟形象发送到所述目标用户的终端。
可选的,所述第一用户的标识信息包括如下至少一种:所述第一用户的图像信息、名称、标识号、所述第一用户的终端标识。
可选的,显示模块1401还用于:在所述用户界面中显示每个第一用户的视频信息;根据所述第二用户对所述目标用户的视频信息的第一操作,显示与所述目标用户关联的第一操作接口。
可选的,所述用户界面还包括:与每个第一用户的标识信息分别关联的第一操作接口。
可选的,所述用户界面还包括:第二操作接口,所述第二操作接口与所述一个或多个第一用户中的部分或全部第一用户的标识信息关联,所述目标用户包括所述部分或全部第一用户。
可选的,该互动处理装置140还包括:检测模块1405和关联关系建立模块1406,其中,检测模块1405用于获取模块1402获取第二用户针对所述一个或多个第一用户中目标用户的互动指令之前,检测所述第二用户在所述用户界面中对所述第二操作接口和所述部分或全部第一用户的标识信息的关联操作;关联关系建立模块1406用于根据所述关联操作建立所述第二操作接口和所述部分或全部第一用户的标识信息的关联关系。
可选的,检测模块1405还用于:检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作;获取模块1402还用于:根据所述第二操作获取所述第二用户针对所述目标用户的互动指令。
可选的,显示模块1401还用于:根据所述第二操作,在所述用户界面中显示与所述目标用户关联的一个或多个预设文本信息;检测模块1405还用于:检测所述第二用户对所述一个或多个预设文本信息中目标文本信息的选择操作;获取模块1402还用于:根据所述选择操作获取所述第二用户针对所述目标用户的互动指令。
可选的,所述目标用户关联的第一操作接口或第二操作接口包括一个或多个预设文本信息;检测模块1405具体用于:检测所述第二用户针对所述一个或多个预设文本信息中目标文本信息的第二操作。
可选的,所述互动指令所关联的互动内容包括所述目标文本信息。
可选的,显示模块1401还用于:根据所述第二操作,在所述用户界面中显示与所述第一操作接口或所述第二操作接口关联的输入框;检测模块1405还用于:检测所述第二用户在所述输入框中输入目标互动信息的输入操作;获取模块1402还用于:根据所述输入操作获取所述第二用户针对所述目标用户的互动指令。
可选的,所述第一操作接口或所述第二操作接口包括输入框;检测模块1405具体用于:检测所述第二用户在所述输入框中输入目标互动信息的输入操作。
可选的,所述互动指令所关联的互动内容包括所述目标互动信息。
可选的,该互动处理装置140还包括:更新模块1407,用于响应于所述第二用户对所述预设文本信息的修改指令、增加指令或删除指令,更新所述用户界面中的所述预设文本信息。
可选的,获取模块1402还用于:获取与所述互动内容对应的音频;获取与所述音频对应的面部特征点序列;根据所述面部特征点序列获取视频;生成模块1403具体用于:将所述音频和所述视频结合获得虚拟形象。
可选的,该互动处理装置140还包括:确定模块1408和添加模块1409,其中,确定模块1408用于根据所述互动内容的类型信息,确定与所述类型信息对应的表情信息和/或动作信息;添加模块1409用于将所述表情信息和/或所述动作信息添加到所述虚拟形象中。
可选的,确定模块1408还用于对所述互动内容进行情感分析,得到情感信息;添加模块1409还用于:将所述情感信息对应的表情信息和/或动作信息添加到所述虚拟形象中。
可选的,所述面部特征点序列包括多组面部特征点;获取模块1402在根据所述面部特征点序列获取视频时,具体用于:获取所述目标用户对应的面部标准模板;将每一组面部特征点添加到所述面部标准模板,获取每一帧面部图像;将每一帧所述面部图像按帧顺序依次连接获取所述视频。
可选的,该互动处理装置140还包括:设置模块1410;显示模块1401还用于:响应于所述第二用户对第一用户的第一设置指令,显示多个预设的面部标准模板;设置模块1410用于根据所述第二用户对所述多个预设的面部标准模板中目标模板的选择操作,将所述目标模板设置为所述第一用户对应的面部标准模板。
可选的,该互动处理装置140还包括:接收模块1411,用于接收所述第一用户的终端发送的第二设置指令,所述第二设置指令用于设置所述第一用户对应的面部标准模板。
可选的,添加模块1409还用于将所述目标用户对应的标记添加到所述虚拟形象;发送模块1404具体用于:将添加有所述标记的所述虚拟形象发送到所述目标用户的终端。
本公开实施例提供的互动处理装置,可执行本公开方法实施例所提供的互动处理方法中客户端或服务端所执行的步骤,具备执行步骤和有益效果此处不再赘述。
图15为本公开实施例中的一种电子设备的结构示意图。下面具体参考图15,其示出了适于用来实现本公开实施例中的电子设备1500的结构示意图。本公开实施例中的电子设备1500可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图15示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图15所示,电子设备1500可以包括处理装置(例如中央处理器、图形处理器等)1501,其可以根据存储在只读存储器(ROM)1502中的程序或者从存储装置1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理以实现如本公开所述的实施例的互动处理方法。在RAM 1503中,还存储有电子设备1500操作所需的各种程序和数据。处理装置1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。
通常,以下装置可以连接至I/O接口1505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1507;包括例如磁带、硬盘等的存储装置1508;以及通信装置1509。通信装置1509可以允许电子设备1500与其他设备进行无线或有线通信以交换数据。虽然图15示出了具有各种装置的电子设备1500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1509从网络上被下载和安装,或者从存储装置1508被安装,或者从ROM 1502被安装。在该计算机程序被处理装置1501执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
显示用户界面,所述用户界面包括一个或多个第一用户中每个第一用户的标识信息;
获取第二用户针对所述一个或多个第一用户中目标用户的互动指令;
根据所述互动指令所关联的互动内容生成虚拟形象;
将所述虚拟形象发送到所述目标用户的终端。
可选的,当上述一个或者多个程序被该电子设备执行时,该电子设备还可以执行上述实施例所述的其他步骤。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,本公开提供了一种互动处理方法,包括:
显示用户界面,所述用户界面包括一个或多个第一用户中每个第一用户的标识信息;
获取第二用户针对所述一个或多个第一用户中目标用户的互动指令;
根据所述互动指令所关联的互动内容生成虚拟形象;
将所述虚拟形象发送到所述目标用户的终端。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述第一用户的标识信息包括如下至少一种:
所述第一用户的图像信息、名称、标识号、所述第一用户的终端标识。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述方法还包括:
在所述用户界面中显示每个第一用户的视频信息;
根据所述第二用户对所述目标用户的视频信息的第一操作,显示与所述目标用户关联的第一操作接口。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述用户界面还包括:与每个第一用户的标识信息分别关联的第一操作接口。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述用户界面还包括:第二操作接口,所述第二操作接口与所述一个或多个第一用户中的部分或全部第一用户的标识信息关联,所述目标用户包括所述部分或全部第一用户。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,获取第二用户针对所述一个或多个第一用户中目标用户的互动指令之前,所述方法还包括:
检测所述第二用户在所述用户界面中对所述第二操作接口和所述部分或全部第一用户的标识信息的关联操作;
根据所述关联操作建立所述第二操作接口和所述部分或全部第一用户的标识信息的关联关系。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,获取第二用户针对所述一个或多个第一用户中目标用户的互动指令,包括:
检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作;
根据所述第二操作获取所述第二用户针对所述目标用户的互动指令。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,根据所述第二操作获取所述第二用户针对所述目标用户的互动指令,包括:
根据所述第二操作,在所述用户界面中显示与所述目标用户关联的一个或多个预设文本信息;
检测所述第二用户对所述一个或多个预设文本信息中目标文本信息的选择操作;
根据所述选择操作获取所述第二用户针对所述目标用户的互动指令。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述目标用户关联的第一操作接口或第二操作接口包括一个或多个预设文本信息;
检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作,包括:
检测所述第二用户针对所述一个或多个预设文本信息中目标文本信息的第二操作。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述互动指令所关联的互动内容包括所述目标文本信息。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,根据所述第二操作获取所述第二用户针对所述目标用户的互动指令,包括:
根据所述第二操作,在所述用户界面中显示与所述第一操作接口或所述第二操作接口关联的输入框;
检测所述第二用户在所述输入框中输入目标互动信息的输入操作;
根据所述输入操作获取所述第二用户针对所述目标用户的互动指令。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述第一操作接口或所述第二操作接口包括输入框;
检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作,包括:
检测所述第二用户在所述输入框中输入目标互动信息的输入操作。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述互动指令所关联的互动内容包括所述目标互动信息。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述方法还包括:
响应于所述第二用户对所述预设文本信息的修改指令、增加指令或删除指令,更新所述用户界面中的所述预设文本信息。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,根据所述互动指令所关联的互动内容生成虚拟形象,包括:
获取与所述互动内容对应的音频;
获取与所述音频对应的面部特征点序列;
根据所述面部特征点序列获取视频;
将所述音频和所述视频结合获得虚拟形象。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述方法还包括:
根据所述互动内容的类型信息,确定与所述类型信息对应的表情信息和/或动作信息;
将所述表情信息和/或所述动作信息添加到所述虚拟形象中。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述方法还包括:
对所述互动内容进行情感分析,得到情感信息;
将所述情感信息对应的表情信息和/或动作信息添加到所述虚拟形象中。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述面部特征点序列包括多组面部特征点;
根据所述面部特征点序列获取视频,包括:
获取所述目标用户对应的面部标准模板;
将每一组面部特征点添加到所述面部标准模板,获取每一帧面部图像;
将每一帧所述面部图像按帧顺序依次连接获取所述视频。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述方法还包括:
响应于所述第二用户对第一用户的第一设置指令,显示多个预设的面部标准模板;
根据所述第二用户对所述多个预设的面部标准模板中目标模板的选择操作,将所述目标模板设置为所述第一用户对应的面部标准模板。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,所述方法还包括:
接收所述第一用户的终端发送的第二设置指令,所述第二设置指令用于设置所述第一用户对应的面部标准模板。
根据本公开的一个或多个实施例,在本公开提供的互动处理方法中,将所述虚拟形象发送到所述目标用户的终端,包括:
将所述目标用户对应的标记添加到所述虚拟形象;
将添加有所述标记的所述虚拟形象发送到所述目标用户的终端。
根据本公开的一个或多个实施例,本公开提供了一种互动处理装置,包括:
显示模块,用于显示用户界面,所述用户界面包括一个或多个第一用户中每个第一用户的标识信息;
获取模块,用于获取第二用户针对所述一个或多个第一用户中目标用户的互动指令;
生成模块,用于根据所述互动指令所关联的互动内容生成虚拟形象;
发送模块,用于将所述虚拟形象发送到所述目标用户的终端。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,所述第一用户的标识信息包括如下至少一种:所述第一用户的图像信息、名称、标识号、所述第一用户的终端标识。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,显示模块还用于:在所述用户界面中显示每个第一用户的视频信息;根据所述第二用户对所述目标用户的视频信息的第一操作,显示与所述目标用户关联的第一操作接口。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,所述用户界面还包括:与每个第一用户的标识信息分别关联的第一操作接口。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,所述用户界面还包括:第二操作接口,所述第二操作接口与所述一个或多个第一用户中的部分或全部第一用户的标识信息关联,所述目标用户包括所述部分或全部第一用户。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,该互动处理装置还包括:检测模块和关联关系建立模块,其中,检测模块用于获取模块获取第二用户针对所述一个或多个第一用户中目标用户的互动指令之前,检测所述第二用户在所述用户界面中对所述第二操作接口和所述部分或全部第一用户的标识信息的关联操作;关联关系建立模块用于根据所述关联操作建立所述第二操作接口和所述部分或全部第一用户的标识信息的关联关系。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,检测模块还用于:检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作;获取模块还用于:根据所述第二操作获取所述第二用户针对所述目标用户的互动指令。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,显示模块还用于:根据所述第二操作,在所述用户界面中显示与所述目标用户关联的一个或多个预设文本信息;检测模块还用于:检测所述第二用户对所述一个或多个预设文本信息中目标文本信息的选择操作;获取模块还用于:根据所述选择操作获取所述第二用户针对所述目标用户的互动指令。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,所述目标用户关联的第一操作接口或第二操作接口包括一个或多个预设文本信息;检测模块具体用于:检测所述第二用户针对所述一个或多个预设文本信息中目标文本信息的第二操作。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,所述互动指令所关联的互动内容包括所述目标文本信息。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,显示模块还用于:根据所述第二操作,在所述用户界面中显示与所述第一操作接口或所述第二操作接口关联的输入框;检测模块还用于:检测所述第二用户在所述输入框中输入目标互动信息的输入操作;获取模块还用于:根据所述输入操作获取所述第二用户针对所述目标用户的互动指令。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,所述第一操作接口或所述第二操作接口包括输入框;检测模块具体用于:检测所述第二用户在所述输入框中输入目标互动信息的输入操作。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,所述互动指令所关联的互动内容包括所述目标互动信息。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,该互动处理装置还包括:更新模块,用于响应于所述第二用户对所述预设文本信息的修改指令、增加指令或删除指令,更新所述用户界面中的所述预设文本信息。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,获取模块还用于:获取与所述互动内容对应的音频;获取与所述音频对应的面部特征点序列;根据所述面部特征点序列获取视频;生成模块具体用于:将所述音频和所述视频结合获得虚拟形象。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,该互动处理装置还包括:确定模块和添加模块,其中,确定模块用于根据所述互动内容的类型信息,确定与所述类型信息对应的表情信息和/或动作信息;添加模块用于将所述表情信息和/或所述动作信息添加到所述虚拟形象中。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,确定模块还用于对所述互动内容进行情感分析,得到情感信息;添加模块还用于:将所述情感信息对应的表情信息和/或动作信息添加到所述虚拟形象中。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,所述面部特征点序列包括多组面部特征点;获取模块在根据所述面部特征点序列获取视频时,具体用于:获取所述目标用户对应的面部标准模板;将每一组面部特征点添加到所述面部标准模板,获取每一帧面部图像;将每一帧所述面部图像按帧顺序依次连接获取所述视频。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,该互动处理装置还包括:设置模块;显示模块还用于:响应于所述第二用户对第一用户的第一设置指令,显示多个预设的面部标准模板;设置模块用于根据所述第二用户对所述多个预设的面部标准模板中目标模板的选择操作,将所述目标模板设置为所述第一用户对应的面部标准模板。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,该互动处理装置还包括:接收模块,用于接收所述第一用户的终端发送的第二设置指令,所述第二设置指令用于设置所述第一用户对应的面部标准模板。
根据本公开的一个或多个实施例,在本公开提供的互动处理装置中,添加模块还用于将所述目标用户对应的标记添加到所述虚拟形象;发送模块具体用于:将添加有所述标记的所述虚拟形象发送到所述目标用户的终端。
根据本公开的一个或多个实施例,本公开提供了一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开提供的任一所述的互动处理方法。
根据本公开的一个或多个实施例,本公开提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开提供的任一所述的互动处理方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (24)
1.一种互动处理方法,其特征在于,所述方法包括:
显示用户界面,所述用户界面包括一个或多个第一用户中每个第一用户的标识信息;
获取第二用户针对所述一个或多个第一用户中目标用户的互动指令;
根据所述互动指令所关联的互动内容生成虚拟形象;
将所述虚拟形象发送到所述目标用户的终端。
2.根据权利要求1所述的方法,其特征在于,所述第一用户的标识信息包括如下至少一种:
所述第一用户的图像信息、名称、标识号、所述第一用户的终端标识。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述用户界面中显示每个第一用户的视频信息;
根据所述第二用户对所述目标用户的视频信息的第一操作,显示与所述目标用户关联的第一操作接口。
4.根据权利要求1所述的方法,其特征在于,所述用户界面还包括:与每个第一用户的标识信息分别关联的第一操作接口。
5.根据权利要求1所述的方法,其特征在于,所述用户界面还包括:第二操作接口,所述第二操作接口与所述一个或多个第一用户中的部分或全部第一用户的标识信息关联,所述目标用户包括所述部分或全部第一用户。
6.根据权利要求5所述的方法,其特征在于,获取第二用户针对所述一个或多个第一用户中目标用户的互动指令之前,所述方法还包括:
检测所述第二用户在所述用户界面中对所述第二操作接口和所述部分或全部第一用户的标识信息的关联操作;
根据所述关联操作建立所述第二操作接口和所述部分或全部第一用户的标识信息的关联关系。
7.根据权利要求3-5任一项所述的方法,其特征在于,获取第二用户针对所述一个或多个第一用户中目标用户的互动指令,包括:
检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作;
根据所述第二操作获取所述第二用户针对所述目标用户的互动指令。
8.根据权利要求7所述的方法,其特征在于,根据所述第二操作获取所述第二用户针对所述目标用户的互动指令,包括:
根据所述第二操作,在所述用户界面中显示与所述目标用户关联的一个或多个预设文本信息;
检测所述第二用户对所述一个或多个预设文本信息中目标文本信息的选择操作;
根据所述选择操作获取所述第二用户针对所述目标用户的互动指令。
9.根据权利要求7所述的方法,其特征在于,所述目标用户关联的第一操作接口或第二操作接口包括一个或多个预设文本信息;
检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作,包括:
检测所述第二用户针对所述一个或多个预设文本信息中目标文本信息的第二操作。
10.根据权利要求8或9所述的方法,其特征在于,所述互动指令所关联的互动内容包括所述目标文本信息。
11.根据权利要求7所述的方法,其特征在于,根据所述第二操作获取所述第二用户针对所述目标用户的互动指令,包括:
根据所述第二操作,在所述用户界面中显示与所述第一操作接口或所述第二操作接口关联的输入框;
检测所述第二用户在所述输入框中输入目标互动信息的输入操作;
根据所述输入操作获取所述第二用户针对所述目标用户的互动指令。
12.根据权利要求7所述的方法,其特征在于,所述第一操作接口或所述第二操作接口包括输入框;
检测所述第二用户针对所述目标用户关联的第一操作接口或第二操作接口的第二操作,包括:
检测所述第二用户在所述输入框中输入目标互动信息的输入操作。
13.根据权利要求11或12所述的方法,其特征在于,所述互动指令所关联的互动内容包括所述目标互动信息。
14.根据权利要求8或9所述的方法,其特征在于,所述方法还包括:
响应于所述第二用户对所述预设文本信息的修改指令、增加指令或删除指令,更新所述用户界面中的所述预设文本信息。
15.根据权利要求1所述的方法,其特征在于,根据所述互动指令所关联的互动内容生成虚拟形象,包括:
获取与所述互动内容对应的音频;
获取与所述音频对应的面部特征点序列;
根据所述面部特征点序列获取视频;
将所述音频和所述视频结合获得虚拟形象。
16.根据权利要求15所述的方法,其特征在于,所述方法还包括:
根据所述互动内容的类型信息,确定与所述类型信息对应的表情信息和/或动作信息;
将所述表情信息和/或所述动作信息添加到所述虚拟形象中。
17.根据权利要求15所述的方法,其特征在于,所述方法还包括:
对所述互动内容进行情感分析,得到情感信息;
将所述情感信息对应的表情信息和/或动作信息添加到所述虚拟形象中。
18.根据权利要求15所述的方法,其特征在于,所述面部特征点序列包括多组面部特征点;
根据所述面部特征点序列获取视频,包括:
获取所述目标用户对应的面部标准模板;
将每一组面部特征点添加到所述面部标准模板,获取每一帧面部图像;
将每一帧所述面部图像按帧顺序依次连接获取所述视频。
19.根据权利要求18所述的方法,其特征在于,所述方法还包括:
响应于所述第二用户对第一用户的第一设置指令,显示多个预设的面部标准模板;
根据所述第二用户对所述多个预设的面部标准模板中目标模板的选择操作,将所述目标模板设置为所述第一用户对应的面部标准模板。
20.根据权利要求18所述的方法,其特征在于,所述方法还包括:
接收所述第一用户的终端发送的第二设置指令,所述第二设置指令用于设置所述第一用户对应的面部标准模板。
21.根据权利要求1所述的方法,其特征在于,将所述虚拟形象发送到所述目标用户的终端,包括:
将所述目标用户对应的标记添加到所述虚拟形象;
将添加有所述标记的所述虚拟形象发送到所述目标用户的终端。
22.一种互动处理装置,其特征在于,包括:
显示模块,用于显示用户界面,所述用户界面包括一个或多个第一用户中每个第一用户的标识信息;
获取模块,用于获取第二用户针对所述一个或多个第一用户中目标用户的互动指令;
生成模块,用于根据所述互动指令所关联的互动内容生成虚拟形象;
发送模块,用于将所述虚拟形象发送到所述目标用户的终端。
23.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-21中任一所述的方法。
24.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-21中任一所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011175034.6A CN112286610A (zh) | 2020-10-28 | 2020-10-28 | 一种互动处理方法、装置、电子设备和存储介质 |
PCT/CN2021/123202 WO2022089192A1 (zh) | 2020-10-28 | 2021-10-12 | 一种互动处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011175034.6A CN112286610A (zh) | 2020-10-28 | 2020-10-28 | 一种互动处理方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112286610A true CN112286610A (zh) | 2021-01-29 |
Family
ID=74372429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011175034.6A Pending CN112286610A (zh) | 2020-10-28 | 2020-10-28 | 一种互动处理方法、装置、电子设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112286610A (zh) |
WO (1) | WO2022089192A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022089192A1 (zh) * | 2020-10-28 | 2022-05-05 | 北京有竹居网络技术有限公司 | 一种互动处理方法、装置、电子设备和存储介质 |
CN115097984A (zh) * | 2022-06-22 | 2022-09-23 | 北京字跳网络技术有限公司 | 交互方法、装置、电子设备和存储介质 |
KR20230071944A (ko) * | 2021-11-17 | 2023-05-24 | 주식회사 제네시스랩 | 인터랙티브 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
WO2023090869A1 (ko) * | 2021-11-17 | 2023-05-25 | 주식회사 제네시스랩 | 인터랙티브 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115113781A (zh) * | 2022-06-28 | 2022-09-27 | 广州博冠信息科技有限公司 | 互动图标显示方法、装置、介质与电子设备 |
CN115412518B (zh) * | 2022-08-19 | 2024-08-16 | 网易传媒科技(北京)有限公司 | 表情发送方法、装置、存储介质及电子设备 |
CN116248812B (zh) * | 2023-05-11 | 2023-08-08 | 广州佰锐网络科技有限公司 | 一种基于数字人交互视频的业务办理方法、存储介质及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615961A (zh) * | 2019-01-31 | 2019-04-12 | 华中师范大学 | 一种课堂教学师生互动网络系统与方法 |
CN110766777A (zh) * | 2019-10-31 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
CN110874557A (zh) * | 2018-09-03 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 一种语音驱动虚拟人脸的视频生成方法以及装置 |
CN111126980A (zh) * | 2019-12-30 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 虚拟物品发送方法、处理方法、装置、设备及介质 |
CN111369967A (zh) * | 2020-03-11 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 基于虚拟人物的语音合成方法、装置、介质及设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101968932A (zh) * | 2010-09-19 | 2011-02-09 | 深圳市摩拓触摸科技有限公司 | 多媒体智能互动教学系统及其实现方法 |
US10013889B2 (en) * | 2014-03-31 | 2018-07-03 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for enhancing interactions between teachers and students |
CN107316520B (zh) * | 2017-08-17 | 2020-10-02 | 广州视源电子科技股份有限公司 | 视频教学互动方法、装置、设备及存储介质 |
CN111290568A (zh) * | 2018-12-06 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 交互方法、装置及计算机设备 |
CN110850983B (zh) * | 2019-11-13 | 2020-11-24 | 腾讯科技(深圳)有限公司 | 视频直播中的虚拟对象控制方法、装置和存储介质 |
CN112286610A (zh) * | 2020-10-28 | 2021-01-29 | 北京有竹居网络技术有限公司 | 一种互动处理方法、装置、电子设备和存储介质 |
-
2020
- 2020-10-28 CN CN202011175034.6A patent/CN112286610A/zh active Pending
-
2021
- 2021-10-12 WO PCT/CN2021/123202 patent/WO2022089192A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110874557A (zh) * | 2018-09-03 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 一种语音驱动虚拟人脸的视频生成方法以及装置 |
CN109615961A (zh) * | 2019-01-31 | 2019-04-12 | 华中师范大学 | 一种课堂教学师生互动网络系统与方法 |
CN110766777A (zh) * | 2019-10-31 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
CN111126980A (zh) * | 2019-12-30 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 虚拟物品发送方法、处理方法、装置、设备及介质 |
CN111369967A (zh) * | 2020-03-11 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 基于虚拟人物的语音合成方法、装置、介质及设备 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022089192A1 (zh) * | 2020-10-28 | 2022-05-05 | 北京有竹居网络技术有限公司 | 一种互动处理方法、装置、电子设备和存储介质 |
KR20230071944A (ko) * | 2021-11-17 | 2023-05-24 | 주식회사 제네시스랩 | 인터랙티브 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
WO2023090870A1 (ko) * | 2021-11-17 | 2023-05-25 | 주식회사 제네시스랩 | 인터랙티브 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
WO2023090869A1 (ko) * | 2021-11-17 | 2023-05-25 | 주식회사 제네시스랩 | 인터랙티브 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
KR102700758B1 (ko) * | 2021-11-17 | 2024-08-30 | 주식회사 제네시스랩 | 인터랙티브 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
CN115097984A (zh) * | 2022-06-22 | 2022-09-23 | 北京字跳网络技术有限公司 | 交互方法、装置、电子设备和存储介质 |
WO2023246859A1 (zh) * | 2022-06-22 | 2023-12-28 | 北京字跳网络技术有限公司 | 交互方法、装置、电子设备和存储介质 |
CN115097984B (zh) * | 2022-06-22 | 2024-05-17 | 北京字跳网络技术有限公司 | 交互方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022089192A1 (zh) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112286610A (zh) | 一种互动处理方法、装置、电子设备和存储介质 | |
US10873769B2 (en) | Live broadcasting method, method for presenting live broadcasting data stream, and terminal | |
CN110570698B (zh) | 一种在线教学控制方法、装置、存储介质以及终端 | |
US11715386B1 (en) | Queuing for a video conference session | |
EP4047490A1 (en) | Video-based interaction realization method and apparatus, device and medium | |
CN112312225B (zh) | 信息展示方法、装置、电子设备和可读介质 | |
US20170185365A1 (en) | System and method for screen sharing | |
CN111897976A (zh) | 一种虚拟形象合成方法、装置、电子设备及存储介质 | |
CN114071425A (zh) | 电子设备间的协同方法、协同系统和电子设备 | |
CN111260975B (zh) | 用于多媒体黑板教学互动的方法、装置、介质和电子设备 | |
CN111930453A (zh) | 听写交互方法、装置和电子设备 | |
CN111862705A (zh) | 一种提示直播教学目标的方法、装置、介质和电子设备 | |
CN115878242A (zh) | 媒体内容显示方法、装置、设备、可读存储介质及产品 | |
CN112863277B (zh) | 一种直播教学的互动方法、装置、介质和电子设备 | |
KR102101817B1 (ko) | 인터넷 상에 공개된 동영상을 이용한 어학 학습 지원 장치 | |
CN114125358A (zh) | 云会议字幕显示方法、系统、装置、电子设备和存储介质 | |
CN113038197A (zh) | 用于直播教学课堂的分组方法、装置、介质和电子设备 | |
CN113342439A (zh) | 一种显示方法、装置、电子设备和存储介质 | |
CN112306603A (zh) | 信息提示方法、装置、电子设备及存储介质 | |
KR20170127354A (ko) | 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법 | |
JP2008032787A (ja) | 語学学習システム及び語学学習システム用プログラム | |
CN115904154A (zh) | 内容交互方法、装置、设备、计算机可读存储介质及产品 | |
CN114816599B (zh) | 图像显示方法、装置、设备及介质 | |
CN112309390B (zh) | 信息交互方法和装置 | |
CN113382311A (zh) | 在线教学交互方法、装置、存储介质以及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210129 |