CN113849117A - 交互方法、装置、计算机设备及计算机可读存储介质 - Google Patents
交互方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113849117A CN113849117A CN202111210932.5A CN202111210932A CN113849117A CN 113849117 A CN113849117 A CN 113849117A CN 202111210932 A CN202111210932 A CN 202111210932A CN 113849117 A CN113849117 A CN 113849117A
- Authority
- CN
- China
- Prior art keywords
- virtual object
- video stream
- touch message
- event
- action video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000003993 interaction Effects 0.000 title claims abstract description 57
- 230000009471 action Effects 0.000 claims abstract description 118
- 238000009877 rendering Methods 0.000 claims abstract description 52
- 230000002452 interceptive effect Effects 0.000 claims abstract description 45
- 230000001960 triggered effect Effects 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种交互方法、装置、计算机设备及计算机可读存储介质，其中，可以接收用户在预设的客户端的交互界面中触发的触控消息，交互界面中显示虚拟对象；确定触控消息对应的模型渲染事件；根据模型渲染事件调用预设的显卡生成虚拟对象的第一动作视频流；将虚拟对象的第一动作视频流发往客户端，使得客户端在交互界面显示虚拟对象的第一动作视频流。由客户端在交互界面中显示第一动作视频流，以对用户的触控消息的响应，从而实现用户通过交互界面与虚拟对象的交互。
Description
技术领域
本发明涉及人机交互技术领域，特别涉及一种交互方法、装置、计算机设备及计算机可读存储介质。
背景技术
近些年来，随着信息技术的不断发展和应用，为满足用户需求，数字人老师、数字人客服等虚拟对象的呈现场景也日益增多。
目前，用户在于数字人交互的过程中，通常是将用户的交互信息输入到预设的神经网络模型，由神经网络模型输出数字人的交互动作，从而实现虚拟对象与用户的交互。
然而，在一些场景下，例如，用户在交互界面上触发的触控信息，由于触控信息的特征与虚拟对象的交互动作难以拟合，因此，在此场景下，通过神经网络渲染的方式无法实现用户与虚拟对象的交互。
发明内容
鉴于上述问题，本发明提供一种交互方法、装置、计算机设备及计算机可读存储介质。
根据本发明实施例的第一方面，提供了一种交互方法，包括：
接收用户在预设的客户端的交互界面中触发的触控消息，所述交互界面中显示虚拟对象；
确定所述触控消息对应的模型渲染事件；
根据所述模型渲染事件调用预设的显卡生成所述虚拟对象的第一动作视频流；
将所述虚拟对象的第一动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述虚拟对象的第一动作视频流。
上述的方法，可选的，所述根据所述模型动作事件调用预设的显卡生成所述虚拟对象的第一动作视频流之后，还包括：
检测所述触控消息是否绑定逻辑事件；
若所述触控消息绑定逻辑事件，则将所述触控消息绑定的逻辑事件发往所述虚拟对象的中控系统；
接收所述中控系统基于所述逻辑事件反馈的虚拟对象参数，所述虚拟对象参数至少包括嘴型动作参数和音频数据；
调用所述显卡对所述虚拟对象参数进行渲染，生成所述虚拟对象的第二动作视频流；
将所述第二动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述第二动作视频流。
上述的方法，可选的，所述检测所述触控消息是否绑定逻辑事件，包括：
判断所述触控消息中是否包含用户输入数据，所述用户输入数据为文本数据或语音数据；
若所述触控消息中包含用户输入数据，则确定所述触控消息绑定逻辑事件。
上述的方法，可选的，所述确定所述触控消息对应的模型渲染事件，包括：
获取所述触控消息中包含的用户操作信息；
根据所述用户操作信息遍历预设的配置文件，以确定所述触控消息对应的模型渲染事件。
上述的方法，可选的，所述根据所述模型事件调用预设的显卡生成所述虚拟对象的第一动作视频流，包括：
获取模型事件中包含的所述虚拟对象的模型动作参数；
调用预设的显卡对所述模型动作参数进行渲染，生成所述虚拟对象的第一动作视频流。
根据本发明实施例的第二方面，提供了一种交互装置，包括：
接收单元，用于接收用户在预设的客户端的交互界面中触发的触控消息，所述交互界面中显示虚拟对象；
确定单元，用于确定所述触控消息对应的模型渲染事件；
生成单元，用于根据所述模型渲染事件调用预设的显卡生成所述虚拟对象的第一动作视频流；
传输单元，用于将所述虚拟对象的第一动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述虚拟对象的第一动作视频流。
上述的装置，可选的，还包括：
检测单元，用于检测所述触控消息是否绑定逻辑事件；
第一执行单元，用于若所述触控消息绑定逻辑事件，则将所述触控消息绑定的逻辑事件发往所述虚拟对象的中控系统；
接收单元，用于接收所述中控系统基于所述逻辑事件反馈的虚拟对象参数，所述虚拟对象参数至少包括嘴型动作参数和音频数据；
第二执行单元，用于调用所述显卡对所述虚拟对象参数进行渲染，生成所述虚拟对象的第二动作视频流；
发送单元，用于将所述第二动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述第二动作视频流。
上述的装置，可选的，所述检测单元，包括：
判断子单元，用于判断所述触控消息中是否包含用户输入数据，所述用户输入数据为文本数据或语音数据；
确定子单元，用于若所述触控消息中包含用户输入数据，则确定所述触控消息绑定逻辑事件。
上述的装置，可选的，所述确定单元，包括：
第一获取子单元，用于获取所述触控消息中包含的用户操作信息；
执行子单元，用于根据所述用户操作信息遍历预设的配置文件，以确定所述触控消息对应的模型渲染事件。
上述的装置，可选的，所述生成单元，包括：
第二获取子单元，用于获取模型事件中包含的所述虚拟对象的模型动作参数；
生成子单元，用于调用预设的显卡对所述模型动作参数进行渲染，生成所述虚拟对象的第一动作视频流。
根据本发明实施例的第三方面，提供了一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的交互方法的步骤。
根据本发明实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述的交互方法的步骤。
与现有技术相比，本发明包括以下优点：
本发明提供了一种交互方法、存储、计算机设备及计算机可读存储介质，其中，可以接收用户在预设的客户端的交互界面中触发的触控消息，交互界面中显示虚拟对象；确定触控消息对应的模型渲染事件；根据模型渲染事件调用预设的显卡生成虚拟对象的第一动作视频流；将虚拟对象的第一动作视频流发往客户端，使得客户端在交互界面显示虚拟对象的第一动作视频流。由客户端在交互界面中显示第一动作视频流，以对用户的触控消息的响应，从而实现用户通过交互界面与虚拟对象的交互。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种应用环境示意图；
图2为本发明实施例提供的一种交互方法的方法流程图；
图3为本发明实施例提供的又一种交互方法的方法流程图；
图4为本发明实施例提供的一种确定触控消息对应的模型渲染事件的过程的流程图；
图5为本发明实施例提供的一种交互系统的架构示例图；
图6为本发明实施例提供的又一种交互方法的方法流程图；
图7为本发明实施例提供的一种交互装置的结构示意图；
图8为本发明实施例提供的一种计算机设备的结构示意图；
图9为本发明实施例提供的一种计算机可读存储介质的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参阅图1，图1为本发明实施例提供的一种应用环境示意图。本发明实施例提供的交互方法可以应该用于如图1所示的交互系统100。交互系统100包括终端设备101以及服务器102，服务器102与终端设备101通信连接。其中，服务器102可以是传统服务器，也可以是云端服务器，在此不做具体限定。
其中，终端设备101可以是具有显示屏、具有数据处理模块、具有拍摄相机、具有音频输入/输出等功能，且支持数据输入的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、自助服务终端和可穿戴式电子设备等。具体的，数据输入可以是基于电子设备上具有的语音模块输入语音、字符输入模块输入字符等。
其中，终端设备101上可以安装有客户端应用程序，用户可以基于客户端应用程序(例如APP，微信小程序等)与虚拟对象进行交互，虚拟对象可以是数字人。用户可以基于客户端应用程序在服务器102注册一个用户账号，并基于该用户账号与服务器102进行通信，例如用户在客户端应用程序登录用户账号，并基于该用户账号通过客户端应用程序进行输入，可以输入控件的触控信息、文字信息或语音信息等，客户端应用程序接收到用户输入的信息后，可以将该信息发送至服务器102，使得服务器102可以接收该信息并进行处理及存储，服务器102还可以接收该信息并根据该信息返回一个对应的输出信息至终端设备101。
在一些实施方式中，对待识别数据进行处理的装置也可以设置于终端设备101上，使得终端设备101无需依赖于服务器102建立通信即可实现与用户的交互，此时交互系统100可以只包括终端设备101。
参阅图2，为本发明实施例提供的一种交互方法的方法流程图，该交互方法可以应用于服务器中，该服务器中设置有渲染引擎UE，交互方法具体包括以下步骤：
S201：接收用户在预设的客户端的交互界面中触发的触控消息，所述交互界面中显示虚拟对象。
在本实施例中，用户可以通过终端设备上的客户端的交互界面中进行触控动作，由客户端响应于触控动作，触发触控动作对应的触控消息，并将触控消息发往服务器中的UE，该触控动作可以为单点触控、滑动或多点触控等。
其中，客户端的交互界面可以包括流媒体图像画面，该流媒体画面中显示虚拟对象，可以通过视频的形式显示出虚拟对象，用户在可以流媒体画面中进行触控动作；该虚拟对象可以为数字人。
S202：确定所述触控消息对应的模型渲染事件。
在本实施例中，模型渲染事件可以包括渲染引擎UE的驱动信息，该驱动信息用于驱动显卡生成虚拟对象的动作视频流。
其中，不同触控动作所触发的触控消息对应的模型渲染事件可以不同。
S203：根据所述模型渲染事件调用预设的显卡生成所述虚拟对象的第一动作视频流。
在本实施例中，显卡可以为服务器中的显卡，通过显卡渲染出虚拟对象的第一动作视频流，第一动作视频流中包括多个第一动作视频帧，可以将第一动作动作视频流作为触控消息的响应结果。
其中，第一动作视频流的视频内容可以包括虚拟对象执行该触控消息对应的第一响应动作，例如，第一响应动作可以是虚拟对象执行一些肢体动作、嘴型动作等，其中，嘴型动作可以与第一动作视频流对应的语音相匹配。
S204：将所述虚拟对象的第一动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述虚拟对象的第一动作视频流。
在本实施例中，可以通过推流的方式将显卡渲染得到的每一第一动作视频帧发往客户端中，客户端在交互界面中显示第一动作视频流的每一动作视频帧，将第一动作视频帧作为当前的流媒体画面。
应用本实施例提供的交互方法，能够确定触控消息对应的模型渲染事件，从而根据模型渲染事件调用显卡生成虚拟对象的第一视频流，将第一视频流发往客户端，由客户端在交互界面中显示第一动作视频流，以对用户的触控消息的响应，从而实现用户通过交互界面与虚拟对象的交互。
在一些实施例中，服务器在接收到客户端的触控消息后，还可以检测触控消息是否绑定逻辑事件，若绑定逻辑事件，则可以将绑定的逻辑事件发往虚拟对象的中控系统，并接收中控系统反馈的虚拟对象参数，调用显卡渲染虚拟对象参数生成第二动作视频流，然后将第二动作视频流发往客户端，实现对触控消息的响应，可选的，为了避免对显卡的抢占，在接收到客户端的触控消息后，可以先确定出触控消息对应的模型渲染事件，根据模型渲染事件调用显卡生成第一动作视频流，然后再检测触控消息是否绑定逻辑事件，从而生成第二动作视频流，可以参见图3，为本发明实施例提供的一种交互方法的又一方法流程图，具体包括以下步骤：
S301：接收用户在预设的客户端的交互界面中触发的触控消息，交互界面中显示虚拟对象。
S302：确定触控消息对应的模型渲染事件。
S303：根据所述模型渲染事件调用预设的显卡生成所述虚拟对象的第一动作视频流。
S304：将所述虚拟对象的第一动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述虚拟对象的第一动作视频流。
在本实施例中，S301-S304的实施过程，与图1实施例中的S101-S104的实施过程一致，此处不再赘述。
S305：检测所述触控消息是否绑定逻辑事件，若是，则执行S306，若否，则执行S310。
在本实施例中，该逻辑事件可以为触控消息指示的事件，例如，指示服务器对问题进行答复。
S306：将触控消息绑定的逻辑事件发往虚拟对象的中控系统。
在本实施例中，将逻辑事件发往虚拟对象的中控系统，使得中控系统响应于逻辑事件，向服务器发送虚拟对象参数，虚拟对象参数用于渲染出虚拟对象的第二动作视频流。
S307：接收所述中控系统基于所述逻辑事件反馈的虚拟对象参数，所述虚拟对象参数至少包括嘴型动作参数和音频数据；
在本实施例中，服务器在接收中控系统基于逻辑事件反馈的虚拟对象参数，虚拟对象参数中还可以包括肢体动作参数。
S308：调用所述显卡对所述虚拟对象参数进行渲染，生成所述虚拟对象的第二动作视频流。
在本实施例中，通过显示对虚拟对象参数进行渲染，第二动作视频流包括多个第二动作视频帧，第二动作视频流的视频内容为虚拟对象执行第二响应动作，例如，回答用户的问题，或者指引用户的操作。
S309：将第二动作视频流发往客户端，使得客户端在交互界面显示第二动作视频流。
在本实施例中，可以通过推流的方式将显卡渲染得到的每一第二动作视频帧发往客户端中，客户端在交互界面中显示第二动作视频流的每二动作视频帧，将第二动作视频帧作为当前的流媒体画面。
S310：检测流程结束。
应用本发明实施例提供的方法，可以通过中控系统，实现对复杂的逻辑事件进行处理，获得相应的虚拟对象参数，从而根据虚拟对象参数生成第二动作视频流，以对用户的触控消息的响应，从而实现用户通过交互界面与虚拟对象的交互。
在一些实施例中，检测触控消息是否绑定逻辑事件的一种可行的方式为检测触控消息中是否为用户触发预设的目标控件所产生的，若触控消息为用户触发预设的目标控件所产生的，则可以确定触控消息绑定逻辑事件。
检测触控消息是否绑定逻辑事件的另一种可行的方式为检测触控消息中是否包含用户输入数据，用户输入数据为文本数据或音频数据。若触控消息包括用户输入数据，则可以确定触控消息绑定逻辑事件。
在本实施例中，若触控消息不为用户触发预设的目标控件所产生的，也不包含用户输入数据，则可以确定触控消息未绑定逻辑事件。
在一些实施例中，参见图4，为本发明实施例提供的一种确定触控消息对应的模型渲染事件的过程的流程图，包括如下步骤：
S401：获取触控消息中包含的用户操作信息。
其中，用户操作信息可以包括用户执行的触控动作以及该触控动作触发的控件。
S402：根据用户操作信息遍历预设的配置文件，以确定触控消息对应的模型渲染事件。
在本实施例中，配置文件记录不同用户操作信息与不同的模型渲染事件之间的对应关系，通过用户操作信息遍历配置文件，可以确定出与操作信息对应的模型渲染事件，即，确定触控消息对应的模型渲染事件。
应用本发明实施例提供的方法，可以快速的对触控消息进行翻译，得到触控消息对应的模型渲染事件。
在一些实施例中，根据模型事件调用预设的显卡生成虚拟对象的第一动作视频流的过程，包括：
获取模型事件中包含的虚拟对象的模型动作参数；
调用预设的显卡对模型动作参数进行渲染，生成虚拟对象的第一动作视频流。
在本实施例中，模型动作参数可以包括肢体动作参数、嘴型动作参数等，通过调用显卡对模型动作参数进行渲染，可以生成虚拟对象的第一动作参数，从而可以通过第一动作视频流与用户进行交互。
在一些实施例中，如图5所示，为本发明实施例提供的一种交互系统的架构示例图，客户端APP用于向服务器中的渲染引擎UE发送触控消息，UE接收到触控消息后，向客户端APP反馈第一动作视频流，然后确定触控消息中是否为用户触发预设的目标控件产生的，以及确定触控消息中是否包括音频，若触控消息为用户触发预设的目标产生的，或者包含音频，则将触控消息绑定的逻辑事件发往服务器中的数字人中控，由数字人中控获取所述音频对应的答复音频，以及答复音频对应的嘴型数据，将答复音频和嘴型数据发往渲染引擎UE，由UE调用显卡渲染嘴型数据，生成第二视频流，将第二视频流和音频发往客户端APP，实现与APP用户的交互。
在一些实施例中，如图6所示，为本发明实施例还提供的又一种交互方法的方法流程图，用户可以在客户端应用程序APP的前端的视频流画面(流媒体画面)中进行触控动作，客户端响应于触控动作，向服务器中的渲染引擎UE发送触控动作对应的触控消息，服务器中的渲染引擎UE基于确定触控消息对应的模型渲染事件；根据模型渲染事件调用预设的显卡生成虚拟对象的第一动作视频流；将虚拟对象的第一动作视频流发往所述客户端，使得客户端在所述交互界面显示所述虚拟对象的第一动作视频流。并检测模型动作是否管理定义逻辑事件，若是，则向数字人中控上报逻辑事件，由数字人中控将下一步模型动作及音频数据等发往渲染引擎UE，由渲染引擎UE控制显卡生成第二动作视频流，并发往客户端。
与图2所述的方法相对应，本发明实施例还提供了一种交互装置，用于对图2中方法的具体实现，本发明实施例提供的交互装置可以应用于计算机设备中，其结构示意图如图7所示，具体包括：
接收单元701，用于接收用户在预设的客户端的交互界面中触发的触控消息，所述交互界面中显示虚拟对象；
确定单元702，用于确定所述触控消息对应的模型渲染事件；
生成单元703，用于根据所述模型渲染事件调用预设的显卡生成所述虚拟对象的第一动作视频流；
传输单元704，用于将所述虚拟对象的第一动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述虚拟对象的第一动作视频流。
在本发明提供的一实施例中，基于上述的方案，可选的，所述交互装置还包括：
检测单元，用于检测所述触控消息是否绑定逻辑事件；
第一执行单元，用于若所述触控消息绑定逻辑事件，则将所述触控消息绑定的逻辑事件发往所述虚拟对象的中控系统；
接收单元，用于接收所述中控系统基于所述逻辑事件反馈的虚拟对象参数，所述虚拟对象参数至少包括嘴型动作参数和音频数据；
第二执行单元，用于调用所述显卡对所述虚拟对象参数进行渲染，生成所述虚拟对象的第二动作视频流；
发送单元，用于将所述第二动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述第二动作视频流。
在本发明提供的一实施例中，基于上述的方案，可选的，所述检测单元，包括：
判断子单元，用于判断所述触控消息中是否包含用户输入数据，所述用户输入数据为文本数据或语音数据；
确定子单元，用于若所述触控消息中包含用户输入数据，则确定所述触控消息绑定逻辑事件。
在本发明提供的一实施例中，基于上述的方案，可选的，所述确定单元702，包括：
第一获取子单元，用于获取所述触控消息中包含的用户操作信息；
执行子单元，用于根据所述用户操作信息遍历预设的配置文件，以确定所述触控消息对应的模型渲染事件。
在本发明提供的一实施例中，基于上述的方案，可选的，所述生成单元703，包括：
第二获取子单元，用于获取模型事件中包含的所述虚拟对象的模型动作参数；
生成子单元，用于调用预设的显卡对所述模型动作参数进行渲染，生成所述虚拟对象的第一动作视频流。
上述本发明实施例公开的交互装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的交互方法相同，可参见上述本发明实施例提供的交互方法中相应的部分，这里不再进行赘述。
本发明实施例还提供了一种计算机设备，请参阅图8，为本发明实施例提供的一种计算机设备800的结构框图。该计算机设备800可以是个人电脑、平板电脑、服务器、工业计算机等能够运行应用程序的计算机设备。本发明中的计算机设备800可以包括一个或多个如下部件：处理器801、存储器802以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器802中并被配置为由一个或多个处理器801执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器801可以包括一个或者多个处理核。处理器801利用各种接口和线路连接整个计算机设备800内的各个部分，通过运行或执行存储在存储器802内的指令、程序、代码集或指令集，以及调用存储在存储器802内的数据，执行计算机设备800的各种功能和处理数据。可选地，处理器801可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器801可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器801中，单独通过一块通信芯片进行实现。
存储器802可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器802可用于存储指令、程序、代码、代码集或指令集。存储器802可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储计算机设备800在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参阅图9，为本发明实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质900中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质900包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码901的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码901可以例如以适当形式进行压缩。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种交互方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种交互方法，其特征在于，包括：
接收用户在预设的客户端的交互界面中触发的触控消息，所述交互界面中显示虚拟对象；
确定所述触控消息对应的模型渲染事件；
根据所述模型渲染事件调用预设的显卡生成所述虚拟对象的第一动作视频流；
将所述虚拟对象的第一动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述虚拟对象的第一动作视频流。
2.根据权利要求1所述的方法，其特征在于，所述根据所述模型动作事件调用预设的显卡生成所述虚拟对象的第一动作视频流之后，还包括：
检测所述触控消息是否绑定逻辑事件；
若所述触控消息绑定逻辑事件，则将所述触控消息绑定的逻辑事件发往所述虚拟对象的中控系统；
接收所述中控系统基于所述逻辑事件反馈的虚拟对象参数，所述虚拟对象参数至少包括嘴型动作参数和音频数据；
调用所述显卡对所述虚拟对象参数进行渲染，生成所述虚拟对象的第二动作视频流；
将所述第二动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述第二动作视频流。
3.根据权利要求2所述方法，其特征在于，所述检测所述触控消息是否绑定逻辑事件，包括：
判断所述触控消息中是否包含用户输入数据，所述用户输入数据为文本数据或语音数据；
若所述触控消息中包含用户输入数据，则确定所述触控消息绑定逻辑事件。
4.根据权利要求1所述的方法，其特征在于，所述确定所述触控消息对应的模型渲染事件，包括：
获取所述触控消息中包含的用户操作信息；
根据所述用户操作信息遍历预设的配置文件，以确定所述触控消息对应的模型渲染事件。
5.根据权利要求1所述的方法，其特征在于，所述根据所述模型事件调用预设的显卡生成所述虚拟对象的第一动作视频流，包括：
获取模型事件中包含的所述虚拟对象的模型动作参数；
调用预设的显卡对所述模型动作参数进行渲染，生成所述虚拟对象的第一动作视频流。
6.一种交互装置，其特征在于，包括：
接收单元，用于接收用户在预设的客户端的交互界面中触发的触控消息，所述交互界面中显示虚拟对象；
确定单元，用于确定所述触控消息对应的模型渲染事件；
生成单元，用于根据所述模型渲染事件调用预设的显卡生成所述虚拟对象的第一动作视频流；
传输单元，用于将所述虚拟对象的第一动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述虚拟对象的第一动作视频流。
7.根据权利要求6所述的装置，其特征在于，还包括：
检测单元，用于检测所述触控消息是否绑定逻辑事件；
第一执行单元，用于若所述触控消息绑定逻辑事件，则将所述触控消息绑定的逻辑事件发往所述虚拟对象的中控系统；
接收单元，用于接收所述中控系统基于所述逻辑事件反馈的虚拟对象参数，所述虚拟对象参数至少包括嘴型动作参数和音频数据；
第二执行单元，用于调用所述显卡对所述虚拟对象参数进行渲染，生成所述虚拟对象的第二动作视频流；
发送单元，用于将所述第二动作视频流发往所述客户端，使得所述客户端在所述交互界面显示所述第二动作视频流。
8.根据权利要求7所述装置，其特征在于，所述检测单元，包括：
判断子单元，用于判断所述触控消息中是否包含用户输入数据，所述用户输入数据为文本数据或语音数据；
确定子单元，用于若所述触控消息中包含用户输入数据，则确定所述触控消息绑定逻辑事件。
9.一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的交互方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111210932.5A CN113849117A (zh) | 2021-10-18 | 2021-10-18 | 交互方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111210932.5A CN113849117A (zh) | 2021-10-18 | 2021-10-18 | 交互方法、装置、计算机设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113849117A true CN113849117A (zh) | 2021-12-28 |
Family
ID=78978694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111210932.5A Pending CN113849117A (zh) | 2021-10-18 | 2021-10-18 | 交互方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113849117A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115883814A (zh) * | 2023-02-23 | 2023-03-31 | 阿里巴巴（中国）有限公司 | 实时视频流的播放方法、装置及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111541908A (zh) * | 2020-02-27 | 2020-08-14 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
| CN113392201A (zh) * | 2021-06-18 | 2021-09-14 | 中国工商银行股份有限公司 | 信息交互方法、装置、电子设备、介质和程序产品 |
-
2021
- 2021-10-18 CN CN202111210932.5A patent/CN113849117A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111541908A (zh) * | 2020-02-27 | 2020-08-14 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
| CN113392201A (zh) * | 2021-06-18 | 2021-09-14 | 中国工商银行股份有限公司 | 信息交互方法、装置、电子设备、介质和程序产品 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115883814A (zh) * | 2023-02-23 | 2023-03-31 | 阿里巴巴（中国）有限公司 | 实时视频流的播放方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6892447B2 (ja) | インスタントメッセージングアプリケーションにおける通信のための方法及びシステム | |
| EP3862869A1 (en) | Method and device for controlling data | |
| CN109766053A (zh) | 用户界面显示方法、装置、终端及存储介质 | |
| US11890540B2 (en) | User interface processing method and device | |
| CN110826441B (zh) | 交互方法、装置、终端设备及存储介质 | |
| US20230035047A1 (en) | Remote assistance method, device, storage medium, and terminal | |
| WO2015043442A1 (en) | Method, device and mobile terminal for text-to-speech processing | |
| CN109032732B (zh) | 通知显示方法、装置、存储介质及电子设备 | |
| CN111124668A (zh) | 内存释放方法、装置、存储介质及终端 | |
| CN113849117A (zh) | 交互方法、装置、计算机设备及计算机可读存储介质 | |
| CN111447139A (zh) | 即时通讯中多人私聊对话的实现方法、装置和电子设备 | |
| CN115373558A (zh) | 投屏方法、装置、设备及存储介质 | |
| CN115760494A (zh) | 基于数据处理的针对房地产营销的服务优化方法及装置 | |
| EP4145269A1 (en) | Screen projection control method, storage medium, and communication device | |
| CN113825022B (zh) | 一种播放控制状态检测方法、装置、存储介质及电子设备 | |
| CN114338572B (zh) | 信息处理方法、相关设备及存储介质 | |
| US20230074113A1 (en) | Dialogue user emotion information providing device | |
| CN110989910A (zh) | 交互方法、系统、装置、电子设备及存储介质 | |
| CN113952736A (zh) | 云游戏登录方法、装置、电子设备及计算机可读存储介质 | |
| CN113495641A (zh) | 触摸屏鬼点识别方法、装置、终端及存储介质 | |
| CN111859999A (zh) | 消息翻译方法、装置、存储介质及电子设备 | |
| CN115480720A (zh) | 投屏方法、存储介质及通信设备 | |
| CN113419650A (zh) | 一种数据移动方法、装置、存储介质及电子设备 | |
| CN113867538A (zh) | 交互方法、装置、计算机设备及计算机可读存储介质 | |
| CN104409077A (zh) | 获取终端中的对话语音对应的文本的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |