CN107343221A - 一种在线多媒体互动系统及方法 - Google Patents

Abstract

本发明公开了一种在线多媒体互动系统及方法，属于多媒体互动技术领域；于执行当前的执行节点时，流媒体服务端生成流媒体数据，并将流媒体数据分别实时推送至每个客户端；每个客户端分别获取用户实时输入的包括关键信息的关联信息，并分别将关联信息发送至数据处理服务端；数据处理服务端获取所有客户端实时输入的关联信息，并根据关键信息对所有关联信息进行统计得到统计结果；数据处理服务端根据统计结果，依照指令生成策略生成一条件选择指令并发送至流媒体服务端；流媒体服务端根据条件选择指令和判断条件生成确定的判断结果并进而执行下一个执行节点。上述技术方案的有益效果是：提高多媒体互动的用户体验，降低客户端的配置需求。

Description

一种在线多媒体互动系统及方法

技术领域

本发明涉及多媒体互动技术领域，尤其涉及一种在线多媒体互动系统及方法。

背景技术

目前的多媒体互动例如直播平台领域，用户之间(例如观众和观众之间，观众和主播之间)的互动十分单调，观众仅仅是观看视频，发送弹幕是唯一能够参与到多媒体互动中的方式，因此观众很容易产生厌倦感。

同时，随着科技的发展，流媒体的质量越来越高，例如视频清晰度更高了，从而使得处理这些视频的计算机设备的配置要求也越来越高，一些用户的计算机设备并无法处理这些高质量的流媒体数据，从而无法参与到多媒体互动的过程中。并且，为了处理日益复杂的流媒体数据，进行多媒体互动的载体开始从网页转化到了专用的客户端，进一步提升了用户参与多媒体互动的门槛。

发明内容

根据现有技术中存在的上述问题，现提供一种在线多媒体互动系统及方法，能够提高多媒体实时互动的用户体验，降低客户端的配置要求，满足用户实时参与多媒体互动的需求。

上述技术方案具体包括：

一种在线多媒体互动系统，其中，包括流媒体服务端、多个客户端以及数据处理服务端，所述流媒体服务端分别与每个所述客户端远程连接，所述数据处理服务端分别与每个所述客户端远程连接，所述流媒体服务端还与所述数据处理服务端远程连接；

所述流媒体服务端包括

执行单元，用于执行一包括多个执行节点的流媒体任务的流媒体进程，每个所述执行节点关联于一预设的判断条件，根据所述判断条件的判断结果决定所述执行节点的执行顺序；

流媒体处理单元，连接所述执行单元，在所述执行单元执行所述流媒体进程中的一个所述执行节点时，所述流媒体处理单元生成关联于所述执行节点的流媒体数据；

流媒体发送单元，连接所述流媒体处理单元，用于将所述流媒体数据分别发送至每个所述客户端；

每个所述客户端分别包括：

显示单元，用于显示所述流媒体服务端发送的所述流媒体数据；

输入单元，提供给用户实时输入关联信息，所述关联信息中包括关键信息；

发送单元，连接所述输入单元，用于将所述关联信息发送至所述数据处理服务端；

所述数据处理服务端包括：

统计单元，用于获取所有所述客户端实时输入的所述关联信息，并根据所述关键信息对所有所述关联信息进行统计得到统计结果；

指令生成单元，连接所述统计单元，于所述指令生成单元内预设有指令生成策略，所述指令生成单元根据所述统计结果，依照所述指令生成策略生成一条件选择指令，所述数据处理服务端将所述条件选择指令发送至所述流媒体服务端；

所述执行单元根据所述条件选择指令和对应的所述判断条件生成一个确定的所述判断结果，并根据所述判断结果执行下一个所述执行节点。

优选的，该在线多媒体互动系统，其中，所述客户端中的所述显示单元为网页显示单元；

则所述流媒体发送单元向所述客户端发送的所述流媒体数据的数据格式为适于在网页上播放的流媒体格式。

优选的，该在线多媒体互动系统，其中，所述关联信息被包括在HTML数据流中并被发送至所述数据处理服务端；

于所述数据处理服务端中对所述HTML数据流进行解析并获取所述关联信息。

优选的，该在线多媒体互动系统，其中，所述关联信息为文本信息；

所述关键信息为所述关联信息中包括的关键字段；

则所述数据处理服务端中，所述统计单元具体包括：

获取模块，用于获取所有实时输入的所述关联信息；

分类模块，连接所述获取模块，用于在所述关联信息中识别得到所述关键字段，并根据所述关键字段对所述关联信息进行分类，分类得到的每个类别对应于当前被执行的所述执行节点相关联的所述判断条件的其中一个判断结果；

统计模块，连接所述分类模块，用于对每个所述类别中包括的所述关联信息的数量进行统计，并输出所述统计结果。

优选的，该在线多媒体互动系统，其中，所述数据处理服务端中还包括：

策略设置单元，连接所述指令生成单元，用于获取用户输入的设置指令，并根据所述设置指令生成对应的所述指令生成策略。

优选的，该在线多媒体互动系统，其中，所述流媒体服务端中的所述流媒体发送单元通过推流工具将所述流媒体数据分别实时发送至每个所述客户端中。

一种在线多媒体互动系统，其中，设置有流媒体服务端、多个客户端以及数据处理服务端，所述流媒体服务端分别与每个所述客户端远程连接，所述数据处理服务端分别与每个所述客户端远程连接，所述流媒体服务端还与所述数据处理服务端远程连接；

采用所述流媒体服务端依序执行一包括多个执行节点的流媒体任务的流媒体进程，每个所述执行节点关联于一预设的判断条件，所述流媒体服务端根据所述判断条件的判断结果决定所述执行节点的执行顺序，还包括：

步骤S1，于执行当前的所述执行节点时，所述流媒体服务端生成对应的流媒体数据，并将所述流媒体数据分别实时推送至每个所述客户端；

步骤S2，每个所述客户端分别获取用户实时输入的包括关键信息的关联信息，并分别将所述关联信息发送至所述数据处理服务端；

步骤S3，所述数据处理服务端获取所有所述客户端实时输入的所述关联信息，并根据所述关键信息对所有所述关联信息进行统计得到统计结果；

步骤S4，所述数据处理服务端根据所述统计结果，依照一预设的指令生成策略生成一条件选择指令，并将所述条件选择指令发送至所述流媒体服务端；

步骤S5，所述流媒体服务端根据所述条件选择指令和对应的所述判断条件生成一个确定的所述判断结果，并根据所述判断结果执行下一个所述执行节点，随后返回所述步骤S1。

优选的，该在线多媒体互动方法，其中，于所述客户端中，所述流媒体数据以网页的形式显示给用户查看；

则所述步骤S1中，所述流媒体发送单元向所述客户端发送的所述流媒体数据的数据格式为适于在网页上播放的流媒体格式。

优选的，该在线多媒体互动方法，其中，所述关联信息被包括在HTML数据流中并被发送至所述数据处理服务端；

所述步骤S3中，所述数据处理服务端对所述HTML数据流进行解析并获取所述关联信息。

优选的，该在线多媒体互动方法，其中，所述关联信息为文本信息；

所述关键信息为所述关联信息中包括的关键字段；

则所述步骤S3具体包括：

步骤S31，获取所有实时输入的所述关联信息；

步骤S32，在所述关联信息中识别得到所述关键字段，并根据所述关键字段对所述关联信息进行分类，分类得到的每个类别对应于当前被执行的所述执行节点相关联的所述判断条件的其中一个判断结果；

步骤S33，对每个所述类别中包括的所述关联信息的数量进行统计，并输出所述统计结果。

优选的，该在线多媒体互动方法，其中，所述步骤S4中，所述指令生成策略根据用户输入的设置指令生成。

优选的，该在线多媒体互动方法，其中，所述步骤S1中，所述流媒体服务端中的所述流媒体发送单元通过推流工具将所述流媒体数据分别实时发送至每个所述客户端中。

上述技术方案的有益效果是：

1)提供一种在线多媒体互动系统，能够提高多媒体实时互动的用户体验，降低客户端的配置要求，满足用户实时参与多媒体互动的需求；

2)提供一种在线多媒体互动方法，能够支持上述在线多媒体互动系统正常运行。

附图说明

图1是本发明的较佳的实施例中，一种在线多媒体互动系统的结构示意图；

图2是本发明的较佳的实施例中，统计单元的具体结构示意图；

图3是本发明的一个较佳的实施例中，执行节点之间相互关系的示意图；

图4是本发明的较佳的实施例中，一种在线多媒体互动方法的总体流程示意图；

图5是本发明的较佳的实施例中，对关联信息进行统计的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

根据现有技术中存在的上述问题，现提供一种在线多媒体互动系统，该系统如图1所示，包括流媒体服务端A、多个客户端B以及数据处理服务端C，流媒体服务端A分别与每个客户端B远程连接，数据处理服务端C分别与每个客户端B远程连接，流媒体服务端A还与数据处理服务端C远程连接；

则仍然如图1所示，上述流媒体服务端A包括

执行单元A1，用于执行一包括多个执行节点的流媒体任务的流媒体进程，每个执行节点关联于一预设的判断条件，根据判断条件的判断结果决定执行节点的执行顺序；

流媒体处理单元A2，连接执行单元A1，在执行单元A1执行流媒体进程中的一个执行节点时，流媒体处理单元A2生成关联于执行节点的流媒体数据；

流媒体发送单元A3，连接流媒体处理单元A2，用于将流媒体数据分别发送至每个客户端；

每个客户端B分别包括：

显示单元B1，用于显示流媒体服务端发送的流媒体数据；

输入单元B2，提供给用户实时输入关联信息，关联信息中包括关键信息；

发送单元B3，连接输入单元B2，用于将关联信息发送至数据处理服务端；

上述数据处理服务端C包括：

统计单元C1，用于获取所有客户端实时输入的关联信息，并根据关键信息对所有关联信息进行统计得到统计结果；

指令生成单元C2，连接统计单元C1，于指令生成单元C2内预设有指令生成策略，指令生成单元根据统计结果，依照指令生成策略生成一条件选择指令，数据处理服务端C将条件选择指令发送至流媒体服务端A；

上述执行单元A1根据条件选择指令和对应的判断条件生成一个确定的判断结果，并根据判断结果执行下一个执行节点。

具体地，本实施例中，预先在上述流媒体服务端内设置一个专用于执行流媒体任务的流媒体进程。具体地，上述流媒体任务中包括多个执行节点，多个执行节点之间具有对应的执行顺序，执行节点之间的执行顺序由关联于每个执行节点的判断条件的判断结果来决定。例如，对于一个执行节点P而言，其对应的判断条件共有4个判断结果，每个分别对应于执行节点P1、执行节点P2、执行节点P3和执行节点P4。若根据判断条件最终决定一个对应于执行节点P2的判断结果，则上述流媒体进程在执行完节点P之后继续执行节点P2，即确定了一个从执行节点P到执行节点P2的执行顺序。

本实施例中，上述依据判断条件确定的判断结果来确定接下来执行哪个执行节点的执行顺序确定方式贯穿整个流媒体任务，直至该流媒体任务执行完毕，即直至执行最后一个执行节点为止。因此，上述流媒体任务中的执行节点之间的执行顺序可以看作是一个树形结构，一个执行节点可以作为其他执行节点的根节点，也可以是其他执行节点的子节点，当流媒体进程执行完上述流媒体任务中位于叶子节点的某个执行节点时，该流媒体任务结束。

本实施例中，当一个流媒体任务执行完毕后，对应的流媒体进程被杀死，同时针对另一个新的流媒体任务开启一个新的流媒体进程。换言之，在某一个时刻，于流媒体服务端A中仅存在一个用于执行流媒体任务的流媒体进程。

本实施例中，流媒体服务端A在执行流媒体进程的过程中，根据正在被执行的执行节点上的内容形成对应的流媒体数据，该流媒体数据可以为视频或者音频，随后流媒体服务端A将该流媒体数据发送至每个客户端中，以供客户端显示给用户查看。

本实施例中，用户在查看到客户端中显示的流媒体数据(即视频或者音频)后，可以通过客户端中的输入单元B2输入相应的关联信息，该关联信息为用户查看到流媒体数据后的反应，进一步地，上述流媒体数据中的内容与当前正在被执行的执行节点所对应的判断条件有关，因此上述关联信息可以用于代表用户查看流媒体数据后根据其内容对该流媒体数据所对应的执行节点的判断条件进行选择的意思表示，则该关联信息中或多或少会包括一些指向判断条件的某个选项的关键信息。当然，客户端并没有对用户的输入做任何限制，则用户的输入也有可能跟当前播放的流媒体数据毫无关系，因此在本实施例中引入数据处理服务端C用于对所有客户端B针对当前正在被执行的执行节点形成的关联信息进行筛选和识别。

具体地，本实施例中，上述数据处理服务端C根据关联信息中包括的关键信息对其进行筛选和识别。首先筛选掉不包括任何关键信息的关联信息，随后根据不同的关键信息对每个关联信息进行分类并统计(统计的具体过程在下文中会详述)。最后上述数据处理服务端C形成统计结果后，根据预设的指令生成策略生成一个条件选择指令。该条件选择指令被反馈至流媒体服务端A中。

上述流媒体服务端A根据反馈的条件选择指令对当前正在被执行的执行节点所对应的判断条件进行选择，并生成一个确定的判断结果。最后上述流媒体服务端A根据该判断结果确定执行节点的执行顺序，以完成当前执行节点并转向下一个执行节点继续执行流媒体任务，同时生成相应的流媒体数据并实时发送至每个客户端B。上述过程循环往复，以将一个流媒体任务完整地执行完毕。

目前传统的多媒体互动例如网络游戏的运行过程中，针对每个参与互动的用户均会建立一个游戏进程，因此在服务器中可能会同时存在多个游戏进程，进程的数量取决于同时在线的用户数量。上述情况会造成至少两个问题：一是为了实现数量庞大的多进程并发处理，服务器的硬件配置要求非常高，其运行负担也很大；二是每个用户对应于一个独立的进程，用户的参与度和互动程度尚有欠缺，对于希望多参与互动的用户而言缺乏一定的用户体验。

则采用上文中所述的在线多媒体互动系统，在流媒体服务端A中同一时刻只运行一个进程，并将该进程中的流媒体内容通过流媒体数据的形式推送到客户端B中显示的方式，能够避免在服务器中并发处理多进程导致硬件配置要求非常高的问题，节省了服务器的成本。并且采用数据处理服务端C对用户输入的关联信息进行整理和统计，并根据统计结果给出让进程继续往下执行的指令，这种进程执行的方式让每个用户做的决定都或多或少会影响到网络游戏下一步的走向，提升了用户的互动参与感。

本发明的较佳的实施例中，每个上述客户端B中的显示单元B1均为网页显示单元；

则上述流媒体服务端A中的流媒体发送单元A3向每个客户端B发送的流媒体数据的数据格式为适于在网页上播放的流媒体格式。

具体地，本实施例中，上述客户端B中的显示单元B1为网页显示单元，即上述客户端B中设置一网页浏览器，上述流媒体服务端A向每个客户端B发送的流媒体数据(例如视频或者音频)均可以通过客户端B中设置的网页浏览器进行浏览，无需安装专用的应用软件。因此上述流媒体服务端A向客户端B发送的流媒体数据必须为适于在网页上播放的流媒体格式，例如HTML5所支持的视频格式或者音频格式等。

则本发明技术方案中，采用上述流媒体服务端A生成流媒体数据，并将流媒体数据实时推送至每个客户端B的方式，能够将流媒体数据处理的任务放在流媒体服务端A中进行，客户端B中只需要设置有相应的网页浏览器就可以浏览流媒体数据，解决因客户端B的硬件限制导致客户端B中无法处理和浏览质量较高的流媒体数据的问题。例如对于多人参与的一类配置要求较高的网络游戏，可以将游戏本身的进程放在流媒体服务端A中处理，客户端B中只负责接收用于显示游戏画面的流媒体数据并在网页浏览器上呈现给用户查看即可，无需在客户端B中也配备能够执行该网络游戏的高硬件配置，降低了用户参与多媒体互动的硬件门槛。

本发明的较佳的实施例中，上述关联信息为文本信息；

关键信息为关联信息中包括的关键字段；

则上述数据处理服务端C中的统计单元C1具体如图2中所示，包括：

获取模块C11，用于获取所有实时输入的关联信息；

分类模块C12，连接获取模块C11，用于在关联信息中识别得到关键字段，并根据关键字段对关联信息进行分类，分类得到的每个类别对应于当前被执行的执行节点相关联的判断条件的其中一个判断结果；

统计模块C13，连接分类模块C12，用于对每个类别中包括的关联信息的数量进行统计，并输出统计结果。

具体地，本实施例中，当用户在进行多媒体互动时，用户在客户端B的显示单元B1(例如网页浏览器)上查看流媒体数据，并且在查看过程中根据流媒体数据中的内容输入文本类型的关联信息。例如，用户在网络直播室中观看直播内容(流媒体数据)，在直播过程中可以发文字类型的弹幕信息，该弹幕信息即可以看作是关联信息。该弹幕信息中可能包括有关键字段(关键信息)，这些关键字段可能用于表示用户的该条弹幕信息选择了正在执行的执行节点中判断条件的某个判断选项。例如对于一个网络游戏的直播画面而言，在直播画面中可能出现这样一个场景：游戏角色遇到了一条有左右两个分叉的岔路，对应的判断条件的判断选项就可以包括：选择左边分叉或者选择右边分叉。此时用户发送的关联信息可能为“选右边/左边”，或者“走右边/左边的路”等等，上述关联信息用来表示用户选择的判断选项，即用户根据直播画面做出的意思表达，其中包括的关键信息“右边”或者“左边”分别用于指示用户做出的选择。

本实施例中，上述客户端B将用户在浏览当前的流媒体数据时输入的关联信息发送至数据处理服务端C，数据处理服务端C中的统计单元C1首先获取所有客户端B针对上述流媒体数据输入的关联信息，随后对这些关联信息进行汇总、整理和统计，根据关联信息中的关键信息统计得到用户选择不同选项的人数。上述数据处理服务端C根据统计结果，采用预设的指令生成策略生成条件选择指令并反馈至流媒体服务端A，以提供给流媒体服务端A执行下一个执行节点。

进一步地，本实施例中，由于上述数据处理服务端C同时与流媒体服务端A远程连接，因此当流媒体服务端A执行某个执行节点时，可以向数据处理服务端C发送一个相应的通知，以告知数据处理服务端C当前正在执行的执行节点，以供数据处理服务端C准确对该执行节点所对应的关联信息进行统计。又或者，在数据处理服务端C中预设有与上述流媒体服务端A相同的执行节点以及执行节点之间的顺序关系，这样同样可以保证流媒体服务端A和数据处理服务端C之间的同步性。

本实施例中，上述分类模块C12中的分类与当前正在执行的执行节点的判断条件有关，具体地就是该判断条件的多个判断选项。例如在一个网络游戏中，游戏角色需要面临选择走左边的路还是右边的路，则上述分类模块C12中分类的类别就包括两类：第一类是选择左边的路，第二类是选择右边的路。

同时，本实施例中，分类模块C12还起到对关联信息进行识别的功能，具体地，分类模块C12需要对每条关联信息进行识别，提取出其中的关键信息，并且根据关键信息将对应的关联信息划分到不同的类别中。例如对于关联信息“我选择右边”而言，分类模块C12识别并提取到其中的关键信息“右边”，并且将该关联信息划分为包括在“选择右边的路”这一类别中。

进一步地，为了使得关键信息的识别更为准确，在对关键信息进行识别时，可以加上关键信息的上下文信息并进行判断。例如上述例子中，若只对关键信息进行识别的话，那么对于“我选择右边”和“我不选择右边”这两条关联信息而言，最终的识别结果相同，会被划分到同一个类别中。但实际上，这两条关联信息所要表达的意思完全不同。因此在对关键信息进行识别时，需要考虑到上下文来更为准确地判断用户的意思表达，从而更为准确地为关联信息进行分类。

本实施例中，上述统计模块C13根据分类模块C12识别并分类的结果，计算每个分类中包括的关联信息的数量，并针对所有分类中包括的关联信息数量形成一个统计结果。

进一步地，本发明的一个较佳的实施例中，为了防止“恶意刷票”的行为，上述分类模块C12在对关联信息进行分类时，对于来源于同一个用户输入的选择性质相同或相似的关联信息只记录一条。例如，同一个用户多次输入“我选择右边”，则只记录一条信息；又例如，同一个用户先后输入“我选择右边”和“我选择走右边的路”，这两条关联信息虽然不同，但所表达的意思相同，此时同样只记录一条。上述处理能够保证统计模块C13最终处理得到的统计结果尽可能接近用户互动的真实结果。

本发明的一个较佳的实施例中，对于不包含任何关键信息的关联信息，上述分类模块C12在进行分类时直接删除该关联信息即可。

本发明的另一个较佳的实施例中，上述数据处理服务端C通过在客户端B产生的关联信息中筛选的方式，只将包括关键信息的关联信息提取到数据处理服务端C中并进行统计处理。

本发明的一个较佳的实施例中，上述关联信息除了可以为文本类信息外，还可以为选择指定选项形成的选择信息。例如流媒体服务端A在向客户端B推送流媒体数据的同时，向客户端B提供关联于上述判断条件的指定的多个判断选项。用户此时不需要输入关联信息，只需要针对判断选项进行选择即可形成相应的关联信息。在这种情况下，上述分类模块C12只需要将对应于不同判断选项的关联信息直接划分到对应的类别中即可。

本发明的一个较佳的实施例中，上述关联信息还可以包括附加的属性信息，该属性信息为由用户的操作产生的信息，例如系统开启了弹幕的“点赞”功能，某条弹幕被点赞的次数就可以包括在该条弹幕形成的关联信息的属性信息中。又例如，系统开启了“打赏”功能，某条弹幕的发送者的打赏数量也可以包括在该条弹幕形成的关联信息的属性信息中。

则该实施例中，上述统计单元C1在对每个类别中的关联信息的数量进行统计的同时，记录每条关联信息的属性信息，同样包括在统计结果中，以供后续指令生成单元使用。

本发明的较佳的实施例中，上述分类模块C12对关联信息中的关键信息进行识别并分类的过程可以通过专门开发的数据流识别引擎来实现。该数据流识别引擎主要用来对文字进行识别(识别文本类型的关联信息中的关键字段)以及对图标进行识别(对属性信息例如“点赞”或者“打赏”的图标进行识别)，识别结果提供给统计模块C13进行统计。

本发明的较佳的实施例中，仍然如图1中所示，上述数据处理服务端C中还包括：

策略设置单元C13，连接指令生成单元C12，用于获取用户输入的设置指令，并根据设置指令生成对应的指令生成策略。

具体地，本实施例中，多媒体服务的提供者例如网络游戏运营商可以根据该多媒体服务的内容以及用户参与的程度来对指令生成策略进行自由设置。根据设置指令形成的指令生成策略可以为例如：

1)少数服从多数的策略，当设置该指令生成策略时，上述指令生成单元C12根据统计结果，选择统计结果中关联信息数量最多的类别作为生成条件选择指令的依据并生成对应的条件选择指令。例如，对于一个判断条件的两个选项“选择右边”和“选择左边”而言，若相应类别“选择右边”下的关联信息的数量大于类别“选择左边”的关联信息的数量，则最终生成的条件选择指令为指示流媒体服务端A生成“选择右边”的判断结果。又例如，对于一个判断条件的三个选项“选择右边”、“选择中间”和“选择左边”而言，若相应类别“选择中间”下的关联信息的数量最多，则最终生成的条件选择指令为指示流媒体服务端A生成“选择中间”的判断结果。

2)根据点赞总数来生成指令的策略。具体地，上述统计结果中不仅包括每个类别下关联信息的数量，还包括每个关联信息的属性信息，该属性信息中包括了每个关联信息被点赞的数量，因此根据上述统计结果可以得到每个类别下被点赞的总数(即该类别下所有关联信息被“点赞”的数量的总和)。

则当设置该指令生成策略时，上述指令生成单元C12根据统计结果，选择一个点赞总数最高的类别作为生成条件选择指令的依据并生成对应的条件选择指令。

3)根据点赞数来生成指令的策略。具体地，如上文中所述，上述统计结果中不仅包括每个类别下关联信息的数量，还包括每个关联信息的属性信息。则当设置该条指令生成策略时，上述指令生成单元C12只需要根据统计结果找到点赞数量最高的关联信息，并将该关联信息所属的类别作为生成条件选择指令的依据并生成对应的条件选择指令即可。

4)根据打赏总数来生成指令的策略。具体地，上述统计结果中不仅包括每个类别下关联信息的数量，还包括每个关联信息的属性信息，该属性信息中包括了每个关联信息对应的用户打赏的数量，因此根据上述统计结果可以得到每个类别下打赏的总数(即该类别下所有关联信息打赏的数量的总和)。上述打赏的数量可以指打赏的价值总和。

则当设置该指令生成策略时，上述指令生成单元C12根据统计结果，选择一个打赏总数最高的类别作为生成条件选择指令的依据并生成对应的条件选择指令。

5)根据打赏数量来生成指令的策略。具体地，如上文中所述，上述统计结果中不仅包括每个类别下关联信息的数量，还包括每个关联信息的属性信息。则当设置该条指令生成策略时，上述指令生成单元C12只需要根据统计结果找到点赞数量最高的关联信息，并将该关联信息所属的类别作为生成条件选择指令的依据并生成对应的条件选择指令即可。

本发明技术方案中，上述预设的指令生成策略可由使用者根据实际情况自由设定，并且上述设定的指令生成策略可以使得指令生成单元C12能够根据统计结果简单计算后直接得到相应的条件选择指令。上文中所述的四种指令生成策略仅为方便阅读者理解，并非因此限定本发明技术方案的保护范围。

本发明的较佳的实施例中，上述流媒体服务端A中的流媒体发送单元A3通过推流工具将流媒体数据分别实时发送至每个客户端B中。

具体地，对于在线多媒体互动系统而言，最重要的一点是能够将实时产生的流媒体数据基本无延时地推送到各个客户端B中，以使不同的客户端B在同一时刻看到相同的画面。因此，在本实施例中，采用推流工具将流媒体数据推送至不同的客户端B中，尽量保证不同的客户端B接收流媒体数据的同步性。

本发明技术方案中所称的流媒体服务端A和数据处理服务端C均可以由现有技术中的服务器架设实现。

本发明技术方案中所称的客户端B均可以由具有数据处理能力的终端例如移动终端或者计算机设备等实现。

下文中以一个网络游戏形式的多媒体互动来对本技术方案做具体描述。

本发明的一个较佳的实施例中，流媒体服务端A中预设有一个网络游戏的整个游戏进程，其中包括多个游戏的执行节点，不同的执行节点之间通过判断条件决定执行顺序。例如：

执行节点P的内容为游戏角色面临一条有左右分叉的岔路，对应的判断条件为游戏角色选择走哪条路，其判断选项即为“左边的路”和“右边的路”。当判断结果为选择“左边的路”时，执行对应的执行节点P1，当判断结果为选择“右边的路”时，执行对应的执行节点P2。其中，上述执行节点P1为整个流媒体任务的叶子节点，即当执行到执行节点P1时整个游戏进程结束。

上述执行节点P2的内容为游戏角色遇到三扇相同的门，分别设置在游戏角色的左边、中间以及右边，对应的判断条件为选择进入哪扇门，其判断选项即为“左边的门”、“中间的门”以及“右边的门”。当判断结果为选择“左边的门”时，执行对应的执行节点P21，当判断结果为选择“中间的门”时，执行对应的执行节点P22，当判断结果为选择“右边的门”时，执行对应的执行节点P23。其中，上述执行节点P21和P23为整个流媒体任务的叶子节点，即当执行到执行节点P21或者P23时整个游戏进程结束。

上述执行节点P22下还有其他的子节点，在此不再赘述。

上述执行节点P、P1、P2、P21、P22以及P23的关系如图3中所示。

则本实施例中，当流媒体服务端A执行节点P的内容时生成对应的流媒体数据并发送到每个客户端B中显示。用户通过客户端B中显示的画面获知目前的游戏进程(游戏角色需要选择走左边或者右边的路来继续游戏)，并且通过输入关联信息的方式表达希望选择哪个判断选项的意思表示，例如通过用户可以通过输入关联信息“走左边”来表达选择“左边的路”的意思。用户输入的关联信息会被发送至数据处理服务端C中进行统计处理。

数据处理服务端C对所有客户端B传来的对应于当前游戏进程的关联信息进行关键信息的识别以及统计以得到分别对应于不同的判断选项的统计结果。随后数据处理服务端C根据预先设定的指令生成策略，按照上述统计结果生成相应的条件选择指令并反馈至流媒体服务端A，以供流媒体服务端A确定执行节点的执行顺序并继续游戏进程。例如，上述指令生成策略被预设为“少数服从多数”，并且上述统计结果表示选择“左边的路”的用户为9000个，选择“右边的路”的用户为10000个，因此数据处理服务端C生成相应的条件选择指令为选择“右边的路”。上述流媒体服务端A根据数据处理服务端C反馈的条件选择指令将相应判断条件的判断结果确定为选择“右边的路”，确定了执行顺序以继续执行节点P2的内容。

同样地，当流媒体服务端A执行节点P2的内容时，处理生成对应的流媒体数据并实时发送至各个客户端B。用户通过客户端B查看到目前的游戏进程，随后通过输入关联信息的方式进行选择，例如输入“应该走中间的门”来表示选择“中间的门”的选项。

数据处理服务端B获取所有客户端B传来的对应于当前游戏进程的关联信息并进行关键信息的识别以及统计，得到统计结果后形成相应的条件选择指令。例如当前设定的指令生成策略为“少数服从多数”，经过统计后选择“左边的门”的用户为2000个，选择“中间的门”的用户为5000个，选择“右边的门”的用户为8000个，此时生成的条件选择指令为选择“右边的门”。

上述流媒体服务端A接收到数据处理服务端C反馈的条件选择指令后，根据该条件选择指令确定判断条件的判断结果为选择“右边的门”。流媒体服务端A根据判断结果确定执行顺序，并进而执行上述节点P23，整个游戏进程结束。

本发明的较佳的实施例中，基于上文中所述的在线多媒体互动系统，现提供一种在线多媒体互动方法，该方法中，同样设置有流媒体服务端、多个客户端以及数据处理服务端，流媒体服务端分别与每个客户端远程连接，数据处理服务端分别与每个客户端远程连接，流媒体服务端还与数据处理服务端远程连接；

采用流媒体服务端依序执行一包括多个执行节点的流媒体任务的流媒体进程，每个执行节点关联于一预设的判断条件，流媒体服务端根据判断条件的判断结果决定执行节点的执行顺序。

则上述方法具体如图4中所示，包括：

步骤S1，于执行当前的执行节点时，流媒体服务端生成对应的流媒体数据，并将流媒体数据分别实时推送至每个客户端；

步骤S2，每个客户端分别获取用户实时输入的包括关键信息的关联信息，并分别将关联信息发送至数据处理服务端；

步骤S3，数据处理服务端获取所有客户端实时输入的关联信息，并根据关键信息对所有关联信息进行统计得到统计结果；

步骤S4，数据处理服务端根据统计结果，依照一预设的指令生成策略生成一条件选择指令，并将条件选择指令发送至流媒体服务端；

步骤S5，流媒体服务端根据条件选择指令和对应的判断条件生成一个确定的判断结果，并根据判断结果执行下一个执行节点，随后返回步骤S1。

本发明的较佳的实施例中，于客户端中，流媒体数据以网页的形式显示给用户查看；

则步骤S1中，流媒体发送单元向客户端发送的流媒体数据的数据格式为适于在网页上播放的流媒体格式。

本发明的较佳的实施例中，关联信息被包括在HTML数据流中并被发送至数据处理服务端；

步骤S3中，数据处理服务端对HTML数据流进行解析并获取关联信息。

本发明的较佳的实施例中，关联信息为文本信息；

关键信息为关联信息中包括的关键字段；

则上述步骤S3具体如图5中所述，包括：

步骤S31，获取所有实时输入的关联信息；

步骤S32，在关联信息中识别得到关键字段，并根据关键字段对关联信息进行分类，分类得到的每个类别对应于当前被执行的执行节点相关联的判断条件的其中一个判断结果；

步骤S33，对每个类别中包括的关联信息的数量进行统计，并输出统计结果。

本发明的较佳的实施例中，上述步骤S4中，指令生成策略根据用户输入的设置指令生成。

本发明的较佳的实施例中，上述步骤S1中，流媒体服务端中的流媒体发送单元通过推流工具将流媒体数据分别实时发送至每个客户端中。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (12)

1.一种在线多媒体互动系统，其特征在于，包括流媒体服务端、多个客户端以及数据处理服务端，所述流媒体服务端分别与每个所述客户端远程连接，所述数据处理服务端分别与每个所述客户端远程连接，所述流媒体服务端还与所述数据处理服务端远程连接；

所述流媒体服务端包括

执行单元，用于执行一包括多个执行节点的流媒体任务的流媒体进程，每个所述执行节点关联于一预设的判断条件，根据所述判断条件的判断结果决定所述执行节点的执行顺序；

流媒体处理单元，连接所述执行单元，在所述执行单元执行所述流媒体进程中的一个所述执行节点时，所述流媒体处理单元生成关联于所述执行节点的流媒体数据；

流媒体发送单元，连接所述流媒体处理单元，用于将所述流媒体数据分别发送至每个所述客户端；

每个所述客户端分别包括：

显示单元，用于显示所述流媒体服务端发送的所述流媒体数据；

输入单元，提供给用户实时输入关联信息，所述关联信息中包括关键信息；

发送单元，连接所述输入单元，用于将所述关联信息发送至所述数据处理服务端；

所述数据处理服务端包括：

统计单元，用于获取所有所述客户端实时输入的所述关联信息，并根据所述关键信息对所有所述关联信息进行统计得到统计结果；

指令生成单元，连接所述统计单元，于所述指令生成单元内预设有指令生成策略，所述指令生成单元根据所述统计结果，依照所述指令生成策略生成一条件选择指令，所述数据处理服务端将所述条件选择指令发送至所述流媒体服务端；

所述执行单元根据所述条件选择指令和对应的所述判断条件生成一个确定的所述判断结果，并根据所述判断结果执行下一个所述执行节点。

2.如权利要求1所述的在线多媒体互动系统，其特征在于，所述客户端中的所述显示单元为网页显示单元；

则所述流媒体发送单元向所述客户端发送的所述流媒体数据的数据格式为适于在网页上播放的流媒体格式。

3.如权利要求1所述的在线多媒体互动系统，其特征在于，所述关联信息被包括在HTML数据流中并被发送至所述数据处理服务端；

于所述数据处理服务端中对所述HTML数据流进行解析并获取所述关联信息。

4.如权利要求1所述的在线多媒体互动系统，其特征在于，所述关联信息为文本信息；

所述关键信息为所述关联信息中包括的关键字段；

则所述数据处理服务端中，所述统计单元具体包括：

获取模块，用于获取所有实时输入的所述关联信息；

分类模块，连接所述获取模块，用于在所述关联信息中识别得到所述关键字段，并根据所述关键字段对所述关联信息进行分类，分类得到的每个类别对应于当前被执行的所述执行节点相关联的所述判断条件的其中一个判断结果；

统计模块，连接所述分类模块，用于对每个所述类别中包括的所述关联信息的数量进行统计，并输出所述统计结果。

5.如权利要求1所述的在线多媒体互动系统，其特征在于，所述数据处理服务端中还包括：

策略设置单元，连接所述指令生成单元，用于获取用户输入的设置指令，并根据所述设置指令生成对应的所述指令生成策略。

6.如权利要求1所述的在线多媒体互动系统，其特征在于，所述流媒体服务端中的所述流媒体发送单元通过推流工具将所述流媒体数据分别实时发送至每个所述客户端中。

7.一种在线多媒体互动系统，其特征在于，设置有流媒体服务端、多个客户端以及数据处理服务端，所述流媒体服务端分别与每个所述客户端远程连接，所述数据处理服务端分别与每个所述客户端远程连接，所述流媒体服务端还与所述数据处理服务端远程连接；

采用所述流媒体服务端依序执行一包括多个执行节点的流媒体任务的流媒体进程，每个所述执行节点关联于一预设的判断条件，所述流媒体服务端根据所述判断条件的判断结果决定所述执行节点的执行顺序，还包括：

步骤S1，于执行当前的所述执行节点时，所述流媒体服务端生成对应的流媒体数据，并将所述流媒体数据分别实时推送至每个所述客户端；

步骤S2，每个所述客户端分别获取用户实时输入的包括关键信息的关联信息，并分别将所述关联信息发送至所述数据处理服务端；

步骤S3，所述数据处理服务端获取所有所述客户端实时输入的所述关联信息，并根据所述关键信息对所有所述关联信息进行统计得到统计结果；

步骤S4，所述数据处理服务端根据所述统计结果，依照一预设的指令生成策略生成一条件选择指令，并将所述条件选择指令发送至所述流媒体服务端；

步骤S5，所述流媒体服务端根据所述条件选择指令和对应的所述判断条件生成一个确定的所述判断结果，并根据所述判断结果执行下一个所述执行节点，随后返回所述步骤S1。

8.如权利要求7所述的在线多媒体互动方法，其特征在于，于所述客户端中，所述流媒体数据以网页的形式显示给用户查看；

则所述步骤S1中，所述流媒体发送单元向所述客户端发送的所述流媒体数据的数据格式为适于在网页上播放的流媒体格式。

9.如权利要求8所述的在线多媒体互动方法，其特征在于，所述关联信息被包括在HTML数据流中并被发送至所述数据处理服务端；

所述步骤S3中，所述数据处理服务端对所述HTML数据流进行解析并获取所述关联信息。

10.如权利要求7所述的在线多媒体互动方法，其特征在于，所述关联信息为文本信息；

所述关键信息为所述关联信息中包括的关键字段；

则所述步骤S3具体包括：

步骤S31，获取所有实时输入的所述关联信息；

步骤S32，在所述关联信息中识别得到所述关键字段，并根据所述关键字段对所述关联信息进行分类，分类得到的每个类别对应于当前被执行的所述执行节点相关联的所述判断条件的其中一个判断结果；

步骤S33，对每个所述类别中包括的所述关联信息的数量进行统计，并输出所述统计结果。

11.如权利要求7所述的在线多媒体互动方法，其特征在于，所述步骤S4中，所述指令生成策略根据用户输入的设置指令生成。

12.如权利要求7所述的在线多媒体互动方法，其特征在于，所述步骤S1中，所述流媒体服务端中的所述流媒体发送单元通过推流工具将所述流媒体数据分别实时发送至每个所述客户端中。