CN117201862B - 一种基于多屏幕协同的实时互动方法及相关装置 - Google Patents

Abstract

本发明涉及屏幕互动技术领域，公开了一种基于多屏幕协同的实时互动方法及相关装置，用于实现多屏幕协同的实时互动并提高多屏幕协同的显示准确率和效率。方法包括：基于协同互动中心和多个目标屏幕构建第一多屏幕协同网络并确定画面分发通道；进行编码和排序处理，得到操作编码排序数据；进行实时互动响应，生成互动画面数据流并进行分发和自适应渲染，得到目标渲染互动画面；获取响应延迟数据并进行特征提取，得到多个响应延迟特征值，进行画面特征计算，得到多个画面特征值；进行向量编码和向量融合，得到目标特征向量；将目标特征向量输入多屏幕协同网络分析模型进行多屏幕协同网络分析和网络参数优化，得到第二多屏幕协同网络。

Description

一种基于多屏幕协同的实时互动方法及相关装置

技术领域

本发明涉及屏幕互动技术领域，尤其涉及一种基于多屏幕协同的实时互动方法及相关装置。

背景技术

随着多屏幕技术和互动技术的不断发展，多屏幕协同系统在各种场景中得到了广泛应用，包括团队协作、教育、娱乐等领域。这种系统允许多个屏幕设备之间实现实时互动，为用户提供更加丰富的体验。

在传统的多屏幕协同系统中，常常存在一些问题，例如通信协议不同导致的兼容性问题、屏幕互动操作的实时响应性不佳、画面分发和渲染的效率不高等。

发明内容

本发明提供了一种基于多屏幕协同的实时互动方法及相关装置，用于实现多屏幕协同的实时互动并提高多屏幕协同的显示准确率和效率。

本发明第一方面提供了一种基于多屏幕协同的实时互动方法，所述基于多屏幕协同的实时互动方法包括：

基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道；

基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据；

基于所述协同互动中心对所述操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过所述画面分发通道对所述互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面；

获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值；

对所述多个响应延迟特征值以及所述多个画面特征值进行向量编码和向量融合，得到目标特征向量；

将所述目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据所述目标网络优化策略对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络。

结合第一方面，在本发明第一方面的第一种实现方式中，所述基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道，包括：

通过预置的云服务平台创建协同互动中心，并对所述协同互动中心以及多个目标屏幕建立通信连接，得到初始多屏幕协同网络；

对所述多个目标屏幕进行标识分配，得到每个目标屏幕的目标标识符，并基于所述目标标识符对所述多个目标屏幕与所述协同互动中心进行通信协议匹配，得到每个目标屏幕对应的目标通信协议；

根据所述目标通信协议，对所述初始多屏幕协同网络进行协议转换分析，得到协议转换分析结果；

根据所述协议转换分析结果，对所述初始多屏幕协同网络进行网络通道配置，得到第一多屏幕协同网络；

对所述第一多屏幕协同网络进行画面分发通道解析，得到每个目标屏幕与所述协同互动中心的画面分发通道。

结合第一方面，在本发明第一方面的第二种实现方式中，所述基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据，包括：

基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作；

对所述屏幕互动操作进行操作解析，得到每个屏幕互动操作的至少一个目标动作，其中，所述目标动作包括以下任一种：触摸、点击及拖动；

获取所述至少一个目标动作的屏幕坐标数据，并根据所述屏幕坐标数据对每个屏幕互动操作的至少一个目标动作进行动作编码，得到初始动作编码数据；

获取所述至少一个目标动作对应的时间戳数据，并根据所述时间戳数据对所述初始动作编码数据进行排序处理，得到操作编码排序数据。

结合第一方面，在本发明第一方面的第三种实现方式中，所述基于所述协同互动中心对所述操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过所述画面分发通道对所述互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面，包括：

通过所述协同互动中心实时接收并响应所述操作编码排序数据，以及通过所述协同互动中心确定所述多个目标屏幕的原始画面数据；

根据所述操作编码排序数据对所述原始画面数据进行画面数据流转换，生成对应的互动画面数据流；

通过所述协同互动中心创建所述互动画面数据流的数据分发参数组合，并根据所述数据分发参数组合，通过所述画面分发通道将所述互动画面数据流分发至对应的目标屏幕；

在所述目标屏幕接收到所述互动画面数据流后，分别对所述互动画面数据流进行屏幕参数自适应渲染，得到每个目标屏幕的目标渲染互动画面。

结合第一方面，在本发明第一方面的第四种实现方式中，所述获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值，包括：

分别计算所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行曲线拟合，得到每个目标屏幕的响应延迟曲线；

对每个目标屏幕的响应延迟曲线进行曲线特征点提取，得到每个响应延迟曲线的多个曲线特征点；

根据每个响应延迟曲线的多个曲线特征点，生成每个目标屏幕的多个响应延迟特征值；

对每个目标屏幕的目标渲染互动画面进行画面识别，得到每个目标屏幕的画面识别结果；

对每个目标屏幕的画面识别结果进行特征值映射，得到每个目标屏幕的多个画面特征值。

结合第一方面，在本发明第一方面的第五种实现方式中，所述对所述多个响应延迟特征值以及所述多个画面特征值进行向量编码和向量融合，得到目标特征向量，包括：

对所述多个响应延迟特征值进行归一化处理，得到多个归一化延迟特征，并对所述多个归一化延迟特征进行向量编码，得到每个目标屏幕的延迟特征向量；

对所述所述多个画面特征值进行归一化处理，得到多个归一化画面特征，并对所述多个归一化画面特征进行向量编码，得到每个目标屏幕的画面特征向量；

对所述延迟特征向量以及所述画面特征向量进行权重分配，得到所述延迟特征向量的第一向量权重以及所述画面特征向量的第二向量权重；

根据所述第一向量权重计算所述延迟特征向量的第一加权特征向量，并根据所述第二向量权重计算所述画面特征向量的第二加权特征向量；

对所述第一加权特征向量以及所述第二加权特征向量进行向量融合，得到每个目标屏幕的目标特征向量。

结合第一方面，在本发明第一方面的第六种实现方式中，所述将所述目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据所述目标网络优化策略对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络，包括：

将所述目标特征向量输入预置的多屏幕协同网络分析模型，其中，所述多屏幕协同网络分析模型包括多个双向长短时记忆层、多个单向门限循环层以及策略优化层；

通过所述多个双向长短时记忆层，分别对每个目标屏幕的目标特征向量进行隐藏特征提取，输出每个双向长短时记忆层的隐藏特征向量；

分别将每个双向长短时记忆层的隐藏特征向量输入所述多个单向门限循环层进行网络参数预测，输出每个单向门限循环层的网络参数集合；

通过所述策略优化层中的遗传算法，对每个单向门限循环层的网络参数集合进行协同网络优化，生成目标网络优化策略；

通过所述目标网络优化策略，对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络。

本发明第二方面提供了一种基于多屏幕协同的实时互动装置，所述基于多屏幕协同的实时互动装置包括：

构建模块，用于基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道；

监听模块，用于基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据；

分发模块，用于基于所述协同互动中心对所述操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过所述画面分发通道对所述互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面；

特征提取模块，用于获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值；

编码融合模块，用于对所述多个响应延迟特征值以及所述多个画面特征值进行向量编码和向量融合，得到目标特征向量；

优化模块，用于将所述目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据所述目标网络优化策略对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络。

本发明第三方面提供了一种基于多屏幕协同的实时互动设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于多屏幕协同的实时互动设备执行上述的基于多屏幕协同的实时互动方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于多屏幕协同的实时互动方法。

本发明提供的技术方案中，基于协同互动中心和多个目标屏幕构建第一多屏幕协同网络并确定画面分发通道；进行编码和排序处理，得到操作编码排序数据；进行实时互动响应，生成互动画面数据流并进行分发和自适应渲染，得到目标渲染互动画面；获取响应延迟数据并进行特征提取，得到多个响应延迟特征值，进行画面特征计算，得到多个画面特征值；进行向量编码和向量融合，得到目标特征向量；将目标特征向量输入多屏幕协同网络分析模型进行多屏幕协同网络分析和网络参数优化，得到第二多屏幕协同网络，本发明通过建立多屏幕协同网络和实时互动响应机制，确保在多个屏幕之间实现高度的实时性和协同性。用户在不同屏幕上的操作能够迅速传递和响应，提高了用户体验。采用自适应渲染技术，根据不同屏幕的特征和性能进行画面渲染，保证在每个目标屏幕上呈现出最佳的互动画面，有助于提高图像质量和流畅度。通过对目标屏幕的通信协议匹配和协议转换，实现不同设备之间的协同工作，更具灵活性，能够适应各种不同设备和通信协议的场景。通过获取响应延迟数据并进行特征提取，能够优化互动操作的响应速度。利用目标特征向量输入多屏幕协同网络分析模型，实现对网络参数的优化，通过学习和适应性调整，提高了协同网络的性能和效率，进而实现了多屏幕协同的实时互动，并提高了多屏幕协同的显示准确率和效率。

附图说明

图1为本发明实施例中基于多屏幕协同的实时互动方法的一个实施例示意图；

图2为本发明实施例中编码和排序处理的流程图；

图3为本发明实施例中分发和自适应渲染的流程图；

图4为本发明实施例中特征提取和画面特征计算的流程图；

图5为本发明实施例中基于多屏幕协同的实时互动装置的一个实施例示意图；

图6为本发明实施例中基于多屏幕协同的实时互动设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于多屏幕协同的实时互动方法及相关装置，用于实现多屏幕协同的实时互动并提高多屏幕协同的显示准确率和效率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于多屏幕协同的实时互动方法的一个实施例包括：

S101、基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据第一多屏幕协同网络确定每个目标屏幕与协同互动中心的画面分发通道；

可以理解的是，本发明的执行主体可以为基于多屏幕协同的实时互动装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，创建协同互动中心以及多个目标屏幕，并建立它们之间的通信连接。这可以通过使用预置的云服务平台来实现。云服务平台提供了便捷的资源管理和通信功能，允许协同互动中心与目标屏幕之间建立初始的多屏幕协同网络。对每个目标屏幕进行标识分配，以得到它们的目标标识符。这个目标标识符将用于识别和区分各个目标屏幕。基于这些目标标识符，匹配每个目标屏幕的通信协议。这可以确保不同目标屏幕能够正确地与协同互动中心进行通信。例如，某个目标屏幕使用TCP/IP协议进行通信，而另一个目标屏幕使用WebSocket协议。协议匹配可以根据每个目标屏幕的标识符自动完成。这确保了协同互动中心与各个目标屏幕之间的通信是有效的。进行协议转换分析，以根据不同协议的目标屏幕创建网络通道配置。这确保了协同互动中心与每个目标屏幕之间的通信协议是兼容的。例如，如果某个目标屏幕使用HTTP协议，而协同互动中心使用WebSocket协议，那么需要进行协议转换以确保它们之间的通信是无缝的。根据协议转换分析的结果，配置第一多屏幕协同网络的网络通道。这确保了协同互动中心能够正确地与每个目标屏幕进行通信，而无需担心协议不匹配的问题。例如，可以创建一个中间层，用于处理不同协议之间的转换，以确保通信的无缝性。对第一多屏幕协同网络进行画面分发通道解析，以确定每个目标屏幕与协同互动中心之间的画面分发通道。这可以包括定义分发通道的带宽、分辨率和优先级设置，以确保互动画面的传输是高效和流畅的。例如，在一个视频会议应用中，可以根据每个参与者的网络带宽和屏幕分辨率，配置不同的分发通道，以提供最佳的视频质量和实时互动体验。

S102、基于第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对屏幕互动操作进行编码和排序处理，得到操作编码排序数据；

具体的，根据第一多屏幕协同网络，服务器分别监听每个目标屏幕的屏幕互动操作。这包括捕获用户与目标屏幕的互动，如点击、触摸或拖动。例如，在一个多屏幕协同的协作应用中，每个用户可以使用触摸屏幕进行绘图，点击不同的工具按钮，或者拖动对象来协同绘制图形。对捕获的屏幕互动操作进行操作解析。这一步骤有助于将原始互动操作转化为可处理的目标动作。目标动作通常包括触摸、点击和拖动等。例如，如果用户在绘图应用中在屏幕上移动手指，操作解析可以将其解释为拖动操作。如果用户单击屏幕上的某个对象，这将被解释为点击操作。对于每个目标动作，获取屏幕坐标数据。它确定了用户在屏幕上执行操作的确切位置。例如，在一个多人协作的地图应用中，用户会点击地图上的不同位置。坐标数据将告诉服务器用户点击了哪个地点。根据屏幕坐标数据对每个目标动作进行动作编码。这一步将目标动作转化为数字或编码形式，以便计算机可以更容易地处理它们。例如，一个点击操作可以被编码为一个特定的数字或符号，以便在后续的处理中进行识别。此外，需要获取每个目标动作的时间戳数据。时间戳数据记录了操作发生的时间。这对于后续的排序处理非常重要，因为它允许确定操作的先后顺序。例如，如果一个用户首先进行了点击操作，然后进行了拖动操作，时间戳数据将确保这两个操作按照它们发生的顺序正确排序。将初始动作编码数据按照时间戳进行排序处理，得到操作编码排序数据。这确保了操作按照实际发生的顺序进行处理。例如，如果一个用户在绘图应用中首先进行了点击，然后进行了拖动，排序处理将确保点击操作在拖动操作之前被处理，从而保持互动的一致性和准确性。

S103、基于协同互动中心对操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过画面分发通道对互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面；

需要说明的是，通过协同互动中心实时接收和响应来自多个目标屏幕的操作编码排序数据。这些数据包括用户在不同屏幕上执行的互动操作，如点击、拖动等。例如，在一个跨多个屏幕的团队协作应用中，用户可以协同编辑一个文档，每个用户的编辑操作需要实时同步到其他屏幕上。并且，协同互动中心获取多个目标屏幕的原始画面数据，这些数据表示每个目标屏幕的当前状态，包括显示的内容、位置、尺寸等信息。例如，不同团队成员查看同一个项目的不同部分，协同互动中心需要将这些部分的信息实时展示在服务器的屏幕上。协同互动中心将操作编码排序数据与原始画面数据合并，以生成对应的互动画面数据流。这确保了互动画面数据流包括了用户的互动操作和相关的内容，例如，用户不仅能看到其他成员的操作，还能看到服务器的屏幕上显示的内容。随后，协同互动中心创建互动画面数据流的数据分发参数组合，这些参数包括不同目标屏幕的特性，如分辨率、屏幕尺寸、设备性能和网络带宽。这确保了互动画面数据能够以最佳方式分发到各个屏幕上，以提供高质量的协作体验。根据数据分发参数组合，协同互动中心通过画面分发通道将互动画面数据流分发到各个目标屏幕。这确保了互动画面数据能够在不同屏幕上实时显示。例如，各个团队成员使用不同的设备，这些设备具有不同的屏幕分辨率和带宽要求。在目标屏幕接收到互动画面数据流后，需要对数据进行屏幕参数自适应渲染。这确保了互动画面能够适应不同屏幕的特性，如分辨率和尺寸，以提供最佳的呈现效果。例如，如果一个目标屏幕是大屏幕电视，互动画面将以高分辨率呈现，以提供最佳的视觉效果；而如果是移动设备，互动画面将根据设备的特点进行渲染，以适应小屏幕尺寸。

S104、获取屏幕互动操作的响应延迟数据，并对响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值；

具体的，分别计算屏幕互动操作的响应延迟数据。这可以通过记录用户的操作时间戳以及系统响应时间来实现。例如，用户点击某个元素后，记录下点击时的时间戳以及元素在屏幕上响应的时间。对响应延迟数据进行特征提取。这涉及到分析响应延迟数据以提取有意义的特征值，以便进一步分析和比较。一个常见的方法是曲线拟合，其中根据响应延迟数据拟合响应延迟曲线，以获取更多的信息。拟合可以采用不同的数学模型，如线性拟合、多项式拟合或指数拟合，以适应不同类型的响应延迟数据。随后，对响应延迟曲线进行曲线特征点提取。这涉及到识别曲线中的关键特征点，如上升时间、下降时间、稳定响应时间等。这些特征点可以提供关于响应延迟的更多信息，例如响应速度和稳定性。根据每个响应延迟曲线的多个曲线特征点，可以生成响应延迟的多个特征值。这些特征值可以包括最大响应延迟、最小响应延迟、平均响应延迟等。这些特征值可以用于评估不同屏幕上的响应性能，并帮助改进用户体验。同时，针对每个目标屏幕的目标渲染互动画面，进行画面识别。这可以采用计算机视觉技术，如图像处理和机器学习，以识别屏幕上的内容和元素。例如，在画面识别过程中，可以使用图像特征提取和分类算法，以确保准确识别屏幕上的内容。对每个目标屏幕的画面识别结果进行特征值映射。这涉及将识别的内容和元素映射到数字特征值，以便进行比较和分析。这些特征值可以包括图像内容的数量、类型、位置等信息。

S105、对多个响应延迟特征值以及多个画面特征值进行向量编码和向量融合，得到目标特征向量；

具体的，对多个响应延迟特征值进行归一化处理，得到多个归一化画面特征。确保不同屏幕上的响应延迟数据具有一致的尺度，以便进行比较。归一化可以采用线性变换或其他方法，将响应延迟数据映射到统一的数值范围内。对归一化后的响应延迟特征值进行向量编码。将每个响应延迟特征值表示为一个向量，其中每个分量对应于特征值的不同维度。这有助于将响应延迟数据转化为向量形式，以便进行后续的处理。同时，对多个画面特征值也进行归一化处理，以确保不同屏幕上的画面特征数据具有一致的尺度。这是为了使不同屏幕上的内容特征能够进行比较和融合。随后，对归一化后的画面特征值进行向量编码，将每个画面特征值表示为向量形式，以便后续的处理。对延迟特征向量和画面特征向量进行权重分配。这是为了确定响应延迟特征值和画面特征值在最终目标特征向量中的相对重要性。权重分配可以根据具体应用的需求来调整，以反映不同特征对于互动体验的重要性。根据权重分配，计算响应延迟特征值的加权特征向量和画面特征值的加权特征向量。这涉及对每个特征值分量进行权重乘法，并将它们合并为单一的向量表示。对加权的延迟特征向量和画面特征向量进行向量融合，得到每个目标屏幕的目标特征向量。向量融合可以采用不同的方法，如加法、乘法、线性组合或其他融合技术，以综合考虑响应延迟和画面特征。

S106、将目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据目标网络优化策略对第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络。

具体的，将目标特征向量输入预置的多屏幕协同网络分析模型。这个网络分析模型包括多个层，其中包括双向长短时记忆层（Bi-LSTM）、单向门限循环层和策略优化层。这些层在不同层次上处理特征数据，以生成目标网络优化策略。通过多个双向长短时记忆层，对每个目标屏幕的目标特征向量进行隐藏特征提取。模型将考虑特征向量的时间依赖性和序列性质，以提取更多的隐藏特征，其中每个双向LSTM层生成一个隐藏特征向量。生成的隐藏特征向量分别输入多个单向门限循环层，这些层用于网络参数预测。每个单向门限循环层根据隐藏特征向量预测网络参数，以调整协同网络的参数，以便更好地满足用户需求。每个屏幕可以有不同的网络参数，以优化其性能。接着，通过策略优化层中的遗传算法，对每个单向门限循环层的网络参数集合进行协同网络优化。遗传算法是一种优化技术，可以自动寻找最佳参数组合，以满足预定义的优化目标。在这种情况下，优化目标包括最小化响应延迟、最大化画面质量或其他性能指标。根据目标网络优化策略，对第一多屏幕协同网络进行网络参数优化，从而得到第二多屏幕协同网络。第二多屏幕协同网络将根据通过多屏幕协同网络分析模型获得的优化策略进行调整，以提供更好的协同互动性能。这种网络参数优化可以针对不同的应用场景和用户需求进行调整。例如，多屏幕协同网络分析模型可以根据不同屏幕上的编辑特点和响应需求，为每个屏幕生成最佳的网络参数设置。这将有助于实现更高效的团队协作和更好的用户体验。

本发明实施例中，基于协同互动中心和多个目标屏幕构建第一多屏幕协同网络并确定画面分发通道；进行编码和排序处理，得到操作编码排序数据；进行实时互动响应，生成互动画面数据流并进行分发和自适应渲染，得到目标渲染互动画面；获取响应延迟数据并进行特征提取，得到多个响应延迟特征值，进行画面特征计算，得到多个画面特征值；进行向量编码和向量融合，得到目标特征向量；将目标特征向量输入多屏幕协同网络分析模型进行多屏幕协同网络分析和网络参数优化，得到第二多屏幕协同网络，本发明通过建立多屏幕协同网络和实时互动响应机制，确保在多个屏幕之间实现高度的实时性和协同性。用户在不同屏幕上的操作能够迅速传递和响应，提高了用户体验。采用自适应渲染技术，根据不同屏幕的特征和性能进行画面渲染，保证在每个目标屏幕上呈现出最佳的互动画面，有助于提高图像质量和流畅度。通过对目标屏幕的通信协议匹配和协议转换，实现不同设备之间的协同工作，更具灵活性，能够适应各种不同设备和通信协议的场景。通过获取响应延迟数据并进行特征提取，能够优化互动操作的响应速度。利用目标特征向量输入多屏幕协同网络分析模型，实现对网络参数的优化，通过学习和适应性调整，提高了协同网络的性能和效率，进而实现了多屏幕协同的实时互动，并提高了多屏幕协同的显示准确率和效率。

在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：

（1）通过预置的云服务平台创建协同互动中心，并对协同互动中心以及多个目标屏幕建立通信连接，得到初始多屏幕协同网络；

（2）对多个目标屏幕进行标识分配，得到每个目标屏幕的目标标识符，并基于目标标识符对多个目标屏幕与协同互动中心进行通信协议匹配，得到每个目标屏幕对应的目标通信协议；

（3）根据目标通信协议，对初始多屏幕协同网络进行协议转换分析，得到协议转换分析结果；

（4）根据协议转换分析结果，对初始多屏幕协同网络进行网络通道配置，得到第一多屏幕协同网络；

（5）对第一多屏幕协同网络进行画面分发通道解析，得到每个目标屏幕与协同互动中心的画面分发通道。

具体的，通过预置的云服务平台创建一个协同互动中心。这个中心将充当协同互动的核心，负责协调多个目标屏幕之间的通信和数据传输。协同互动中心可以部署在云端服务器上，以确保可伸缩性和高可用性。一旦协同互动中心创建，它会与多个目标屏幕建立通信连接。这些屏幕可以是各种设备，如电脑、平板电脑、智能手机等。通信连接可以通过互联网实现，使用标准通信协议，如TCP/IP或WebSocket等，以确保可靠的数据传输。在建立通信连接后，每个目标屏幕都需要被分配一个唯一的目标标识符，以便在网络中进行区分。这个标识符可以是唯一的ID或设备名称。根据目标标识符，协同互动中心会进行通信协议匹配。它会确定每个目标屏幕所支持的通信协议，以便确保不同屏幕之间可以有效地通信。接着，协同互动中心会进行协议转换分析。它将检查每个目标屏幕的通信协议，并确定是否需要进行协议转换，以便确保不同屏幕之间的互动可以无缝进行。例如，某些屏幕使用不同的通信协议，需要将它们转换为共同的协议，以进行有效通信。根据协议转换分析的结果，协同互动中心将配置网络通道。这包括设置数据传输的通道和协议，以确保数据可以在不同屏幕之间流畅传输。这还涉及到网络带宽的分配，以确保高质量的互动体验。协同互动中心将对第一多屏幕协同网络进行画面分发通道解析。它会确定每个目标屏幕与协同互动中心之间的画面传输通道，以确保图像和内容可以有效地传输到各个屏幕上。这可以包括设置视频编解码器、分辨率和帧率等参数，以适应不同屏幕的需求。

在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：

S201、基于第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作；

S202、对屏幕互动操作进行操作解析，得到每个屏幕互动操作的至少一个目标动作，其中，目标动作包括以下任一种：触摸、点击及拖动；

S203、获取至少一个目标动作的屏幕坐标数据，并根据屏幕坐标数据对每个屏幕互动操作的至少一个目标动作进行动作编码，得到初始动作编码数据；

S204、获取至少一个目标动作对应的时间戳数据，并根据时间戳数据对初始动作编码数据进行排序处理，得到操作编码排序数据。

具体的，在第一多屏幕协同网络中，设置监控机制，以监听每个目标屏幕的互动操作。这可以通过在目标屏幕上部署监测软件或应用程序来实现。这些应用程序将捕获用户与屏幕互动的数据，如触摸、点击、拖动等。获取互动操作的数据后，对其进行解析，以确定每个互动操作的具体内容。这涉及识别用户的动作类型，如触摸、点击或拖动。解析可以使用模式识别、事件处理或其他技术来实现。例如，触摸涉及多点触控，点击可以是单点触控，而拖动可以是在一段时间内移动触摸点。接着，获取与每个操作相关的屏幕坐标数据。这包括确定用户在屏幕上执行操作的位置和轨迹。坐标数据通常以x和y坐标的形式表示，用于确定操作发生的位置。获取屏幕坐标数据后，将每个操作进行编码，以便进一步处理。动作编码可以将操作的位置、类型和其他相关信息编码为数字或字符串。这有助于在网络上传输和存储操作数据，并确保数据的一致性。为了支持实时互动，获取每个互动操作的时间戳数据。时间戳表示操作发生的时间。对操作编码数据进行排序处理，以确保它们按时间顺序排列。这将有助于在互动中恢复操作的时间顺序，以便实时响应。例如，假设用户可以触摸、点击和拖动以进行不同的操作。在这种情况下，监测软件将捕获每个用户的操作，并将其传输到第一多屏幕协同网络。对于触摸操作，监测软件将记录每个触摸点的坐标数据。对于点击操作，将记录点击的位置坐标。对于拖动操作，将记录拖动的起始和结束坐标，以及拖动的轨迹。每个操作都将分别编码，并附带时间戳，以确保它们在协同网络中按正确的顺序呈现和响应。这有助于实现实时协作和屏幕内容同步。

在一具体实施例中，如图3所示，执行步骤S103的过程可以具体包括如下步骤：

S301、通过协同互动中心实时接收并响应操作编码排序数据，以及通过协同互动中心确定多个目标屏幕的原始画面数据；

S302、根据操作编码排序数据对原始画面数据进行画面数据流转换，生成对应的互动画面数据流；

S303、通过协同互动中心创建互动画面数据流的数据分发参数组合，并根据数据分发参数组合，通过画面分发通道将互动画面数据流分发至对应的目标屏幕；

S304、在目标屏幕接收到互动画面数据流后，分别对互动画面数据流进行屏幕参数自适应渲染，得到每个目标屏幕的目标渲染互动画面。

具体的，通过协同互动中心实时接收来自多个目标屏幕的操作编码排序数据。这些数据包含了用户的操作信息，如点击、拖动等。协同互动中心会根据时间戳数据，以正确的顺序处理这些操作编码数据，并响应每个操作。例如，如果一个用户在屏幕上绘制一条线，协同互动中心将接收该操作编码数据并在其他用户的屏幕上呈现相同的线条，以保持文档的同步。同时，协同互动中心获取多个目标屏幕的原始画面数据。这可以是每个目标屏幕上显示的内容，如文档、图像或视频流。原始画面数据用于生成互动画面数据流。协同互动中心将操作编码排序数据应用于原始画面数据，以生成互动画面数据流。它会根据操作编码数据的内容来更新原始画面数据，以反映用户的操作。例如，如果一个用户在一个协作绘图应用中绘制一条线，协同互动中心将相应的线条添加到原始画面数据中，然后将更新后的数据流传递给目标屏幕。协同互动中心会创建适当的数据分发参数组合，以确保互动画面数据流可以传输到各个目标屏幕。这包括选择传输协议、数据压缩、分辨率设置等。参数的选择取决于每个目标屏幕的性能和网络条件。接着，协同互动中心将互动画面数据流通过画面分发通道传输到各个目标屏幕。这可以使用网络传输协议，如HTTP、WebRTC或自定义的数据传输协议来实现。数据流将被传输到每个目标屏幕，以便用户可以看到其他用户的操作。每个目标屏幕将接收到互动画面数据流，并进行自适应渲染。目标屏幕将根据自身的性能和分辨率调整渲染参数，以确保互动画面在目标屏幕上以最佳方式显示。例如，假设用户使用协作工具，其中协同互动中心实时接收并响应各成员的操作编码排序数据，如插入文本、绘制图表等。同时，协同互动中心获取每个成员屏幕上的原始报告数据。根据成员的操作编码数据，协同互动中心更新原始报告数据，然后将这些更新传输给各成员的屏幕。每个成员的屏幕会自适应渲染这些更新，确保报告在不同屏幕上显示一致，支持实时团队协作。

在一具体实施例中，如图4所示，执行步骤S104的过程可以具体包括如下步骤：

S401、分别计算屏幕互动操作的响应延迟数据，并对响应延迟数据进行曲线拟合，得到每个目标屏幕的响应延迟曲线；

S402、对每个目标屏幕的响应延迟曲线进行曲线特征点提取，得到每个响应延迟曲线的多个曲线特征点；

S403、根据每个响应延迟曲线的多个曲线特征点，生成每个目标屏幕的多个响应延迟特征值；

S404、对每个目标屏幕的目标渲染互动画面进行画面识别，得到每个目标屏幕的画面识别结果；

S405、对每个目标屏幕的画面识别结果进行特征值映射，得到每个目标屏幕的多个画面特征值。

具体的，对于每个目标屏幕，计算互动操作的响应延迟数据。响应延迟是指从用户执行互动操作到系统产生相应反馈的时间间隔。这可以通过记录操作的开始和接收响应的时间戳来计算。对响应延迟数据进行曲线拟合。通常，响应延迟不是恒定的，而是会随时间变化。曲线拟合可以使用数学模型来近似响应延迟数据的变化趋势，例如使用多项式拟合、指数拟合等。拟合的结果是响应延迟曲线。从响应延迟曲线提取多个曲线特征点。这些特征点可以包括最大响应延迟、最小响应延迟、平均响应延迟、波动范围等。这些特征点有助于描述响应延迟的特性。根据曲线特征点，为每个目标屏幕生成多个响应延迟特征值。这些特征值可以包括平均响应延迟、最大响应延迟、最小响应延迟、波动性等。这些特征值捕捉了响应延迟的关键特性。同时，对每个目标屏幕的目标渲染互动画面进行画面识别。这涉及图像处理和分析技术，以识别图像中的内容、对象或特征。识别的结果可以是文本、图形、物体等。对于每个目标屏幕，将获得画面识别结果。为了将响应延迟特征与画面特征关联起来，需要进行特征值映射。这可以是基于机器学习算法的操作，其中响应延迟特征值和画面特征值被输入到模型中，以建立它们之间的关系。模型可以根据已知的数据学习如何将这两组特征关联起来。例如，假设当用户在屏幕上绘制图形时，系统记录每个绘制操作的时间戳，并计算响应延迟。通过拟合响应延迟数据，服务器获得绘制操作的响应延迟曲线。从曲线中提取特征点，如最大响应延迟和平均响应延迟。同时，通过分析绘制操作后的屏幕图像，服务器获得画面特征，如绘制的图形类型。使用机器学习模型，服务器将响应延迟特征值与图形类型进行关联，以了解不同绘图操作的响应延迟特性，从而改进用户体验和性能。

在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：

（1）对多个响应延迟特征值进行归一化处理，得到多个归一化延迟特征，并对多个归一化延迟特征进行向量编码，得到每个目标屏幕的延迟特征向量；

（2）对多个画面特征值进行归一化处理，得到多个归一化画面特征，并对多个归一化画面特征进行向量编码，得到每个目标屏幕的画面特征向量；

（3）对延迟特征向量以及画面特征向量进行权重分配，得到延迟特征向量的第一向量权重以及画面特征向量的第二向量权重；

（4）根据第一向量权重计算延迟特征向量的第一加权特征向量，并根据第二向量权重计算画面特征向量的第二加权特征向量；

（5）对第一加权特征向量以及第二加权特征向量进行向量融合，得到每个目标屏幕的目标特征向量。

具体的，对多个响应延迟特征值和多个画面特征值进行归一化处理。归一化是为了将不同特征值的范围标准化到相似的尺度，以便它们可以进行有效的比较。归一化可以使用诸如最小-最大归一化、z-分数归一化等方法。归一化后，每个目标屏幕将具有多个归一化延迟特征和多个归一化画面特征。这些特征可以被编码成向量形式，其中每个特征值对应向量的一个维度。这种编码使得特征值可以方便地在数学模型中处理。为了将延迟特征和画面特征结合起来，需要分配权重。权重反映了不同特征对于生成目标特征向量的重要性。这些权重可以基于领域知识或通过机器学习算法确定。根据所分配的权重，计算延迟特征向量的第一加权特征向量和画面特征向量的第二加权特征向量。这可以通过简单的线性组合完成，其中每个特征值乘以相应的权重，并将它们相加。将第一加权特征向量和第二加权特征向量进行向量融合，以生成每个目标屏幕的目标特征向量。融合可以采用向量拼接、平均值计算、或其他合适的方法，具体取决于应用需求。

在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：

（1）将目标特征向量输入预置的多屏幕协同网络分析模型，其中，多屏幕协同网络分析模型包括多个双向长短时记忆层、多个单向门限循环层以及策略优化层；

（2）通过多个双向长短时记忆层，分别对每个目标屏幕的目标特征向量进行隐藏特征提取，输出每个双向长短时记忆层的隐藏特征向量；

（3）分别将每个双向长短时记忆层的隐藏特征向量输入多个单向门限循环层进行网络参数预测，输出每个单向门限循环层的网络参数集合；

（4）通过策略优化层中的遗传算法，对每个单向门限循环层的网络参数集合进行协同网络优化，生成目标网络优化策略；

（5）通过目标网络优化策略，对第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络。

具体的，服务器建立一个多屏幕协同网络分析模型，该模型包括多个组件，如双向长短时记忆层、单向门限循环层和策略优化层。这个模型旨在分析和优化多屏幕协同网络的性能。将每个目标屏幕的目标特征向量输入多屏幕协同网络分析模型。这些目标特征向量包含了从前述步骤中获得的响应延迟特征值、画面特征值和其他相关特征。接着，通过多个双向长短时记忆层，分别对每个目标屏幕的目标特征向量进行隐藏特征提取。这些层有助于学习特征之间的时序关系和依赖关系。将每个双向长短时记忆层的隐藏特征向量输入多个单向门限循环层，以进行网络参数预测。单向门限循环层可以用于预测网络的参数集合，这些参数决定了协同网络的行为。利用策略优化层中的遗传算法，对每个单向门限循环层的网络参数集合进行协同网络优化。遗传算法可以通过生成新的网络参数组合并选择最优组合来不断改进网络性能。遗传算法生成目标网络优化策略，这些策略包括如何调整网络参数以获得更好的性能。策略可以涵盖参数的增加或减少、权重的调整等方面。应用目标网络优化策略，对第一多屏幕协同网络进行网络参数优化。对原始的多屏幕协同网络进行调整，以提高其性能。例如，假设将每个成员的编辑行为的特征向量输入多屏幕协同网络分析模型，该模型可以分析每个成员的编辑方式以及编辑操作的时序关系。通过双向长短时记忆层，模型可以学习每个成员的编辑习惯。单向门限循环层可以预测每个成员未来的编辑操作。遗传算法用于优化协同网络，以使协作更加高效。这种优化可以包括改进编辑操作的时序分配，以减少冲突和提高协同编辑的质量。

上面对本发明实施例中基于多屏幕协同的实时互动方法进行了描述，下面对本发明实施例中基于多屏幕协同的实时互动装置进行描述，请参阅图5，本发明实施例中基于多屏幕协同的实时互动装置一个实施例包括：

构建模块501，用于基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道；

监听模块502，用于基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据；

分发模块503，用于基于所述协同互动中心对所述操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过所述画面分发通道对所述互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面；

特征提取模块504，用于获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值；

编码融合模块505，用于对所述多个响应延迟特征值以及所述多个画面特征值进行向量编码和向量融合，得到目标特征向量；

优化模块506，用于将所述目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据所述目标网络优化策略对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络。

通过上述各个组成部分的协同合作，基于协同互动中心和多个目标屏幕构建第一多屏幕协同网络并确定画面分发通道；进行编码和排序处理，得到操作编码排序数据；进行实时互动响应，生成互动画面数据流并进行分发和自适应渲染，得到目标渲染互动画面；获取响应延迟数据并进行特征提取，得到多个响应延迟特征值，进行画面特征计算，得到多个画面特征值；进行向量编码和向量融合，得到目标特征向量；将目标特征向量输入多屏幕协同网络分析模型进行多屏幕协同网络分析和网络参数优化，得到第二多屏幕协同网络，本发明通过建立多屏幕协同网络和实时互动响应机制，确保在多个屏幕之间实现高度的实时性和协同性。用户在不同屏幕上的操作能够迅速传递和响应，提高了用户体验。采用自适应渲染技术，根据不同屏幕的特征和性能进行画面渲染，保证在每个目标屏幕上呈现出最佳的互动画面，有助于提高图像质量和流畅度。通过对目标屏幕的通信协议匹配和协议转换，实现不同设备之间的协同工作，更具灵活性，能够适应各种不同设备和通信协议的场景。通过获取响应延迟数据并进行特征提取，能够优化互动操作的响应速度。利用目标特征向量输入多屏幕协同网络分析模型，实现对网络参数的优化，通过学习和适应性调整，提高了协同网络的性能和效率，进而实现了多屏幕协同的实时互动，并提高了多屏幕协同的显示准确率和效率。

上面图5从模块化功能实体的角度对本发明实施例中的基于多屏幕协同的实时互动装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于多屏幕协同的实时互动设备进行详细描述。

图6是本发明实施例提供的一种基于多屏幕协同的实时互动设备的结构示意图，该基于多屏幕协同的实时互动设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于多屏幕协同的实时互动设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于多屏幕协同的实时互动设备600上执行存储介质630中的一系列指令操作。

基于多屏幕协同的实时互动设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于多屏幕协同的实时互动设备结构并不构成对基于多屏幕协同的实时互动设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种基于多屏幕协同的实时互动设备，所述基于多屏幕协同的实时互动设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于多屏幕协同的实时互动方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于多屏幕协同的实时互动方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于多屏幕协同的实时互动方法，其特征在于，所述基于多屏幕协同的实时互动方法包括：

基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道；

基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据；

基于所述协同互动中心对所述操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过所述画面分发通道对所述互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面；具体包括：通过所述协同互动中心实时接收并响应所述操作编码排序数据，以及通过所述协同互动中心确定所述多个目标屏幕的原始画面数据；根据所述操作编码排序数据对所述原始画面数据进行画面数据流转换，生成对应的互动画面数据流；通过所述协同互动中心创建所述互动画面数据流的数据分发参数组合，并根据所述数据分发参数组合，通过所述画面分发通道将所述互动画面数据流分发至对应的目标屏幕；在所述目标屏幕接收到所述互动画面数据流后，分别对所述互动画面数据流进行屏幕参数自适应渲染，得到每个目标屏幕的目标渲染互动画面；

获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值；

对所述多个响应延迟特征值以及所述多个画面特征值进行向量编码和向量融合，得到目标特征向量；

将所述目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据所述目标网络优化策略对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络。

2.根据权利要求1所述的基于多屏幕协同的实时互动方法，其特征在于，所述基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道，包括：

通过预置的云服务平台创建协同互动中心，并对所述协同互动中心以及多个目标屏幕建立通信连接，得到初始多屏幕协同网络；

对所述多个目标屏幕进行标识分配，得到每个目标屏幕的目标标识符，并基于所述目标标识符对所述多个目标屏幕与所述协同互动中心进行通信协议匹配，得到每个目标屏幕对应的目标通信协议；

根据所述目标通信协议，对所述初始多屏幕协同网络进行协议转换分析，得到协议转换分析结果；

根据所述协议转换分析结果，对所述初始多屏幕协同网络进行网络通道配置，得到第一多屏幕协同网络；

对所述第一多屏幕协同网络进行画面分发通道解析，得到每个目标屏幕与所述协同互动中心的画面分发通道。

3.根据权利要求1所述的基于多屏幕协同的实时互动方法，其特征在于，所述基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据，包括：

基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作；

对所述屏幕互动操作进行操作解析，得到每个屏幕互动操作的至少一个目标动作，其中，所述目标动作包括以下任一种：触摸、点击及拖动；

获取所述至少一个目标动作的屏幕坐标数据，并根据所述屏幕坐标数据对每个屏幕互动操作的至少一个目标动作进行动作编码，得到初始动作编码数据；

获取所述至少一个目标动作对应的时间戳数据，并根据所述时间戳数据对所述初始动作编码数据进行排序处理，得到操作编码排序数据。

4.根据权利要求1所述的基于多屏幕协同的实时互动方法，其特征在于，所述获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值，包括：

分别计算所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行曲线拟合，得到每个目标屏幕的响应延迟曲线；

对每个目标屏幕的响应延迟曲线进行曲线特征点提取，得到每个响应延迟曲线的多个曲线特征点；

根据每个响应延迟曲线的多个曲线特征点，生成每个目标屏幕的多个响应延迟特征值；

对每个目标屏幕的目标渲染互动画面进行画面识别，得到每个目标屏幕的画面识别结果；

对每个目标屏幕的画面识别结果进行特征值映射，得到每个目标屏幕的多个画面特征值。

5.根据权利要求4所述的基于多屏幕协同的实时互动方法，其特征在于，所述对所述多个响应延迟特征值以及所述多个画面特征值进行向量编码和向量融合，得到目标特征向量，包括：

对所述多个响应延迟特征值进行归一化处理，得到多个归一化延迟特征，并对所述多个归一化延迟特征进行向量编码，得到每个目标屏幕的延迟特征向量；

对所述多个画面特征值进行归一化处理，得到多个归一化画面特征，并对所述多个归一化画面特征进行向量编码，得到每个目标屏幕的画面特征向量；

对所述延迟特征向量以及所述画面特征向量进行权重分配，得到所述延迟特征向量的第一向量权重以及所述画面特征向量的第二向量权重；

根据所述第一向量权重计算所述延迟特征向量的第一加权特征向量，并根据所述第二向量权重计算所述画面特征向量的第二加权特征向量；

对所述第一加权特征向量以及所述第二加权特征向量进行向量融合，得到每个目标屏幕的目标特征向量。

6.根据权利要求5所述的基于多屏幕协同的实时互动方法，其特征在于，所述将所述目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据所述目标网络优化策略对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络，包括：

将所述目标特征向量输入预置的多屏幕协同网络分析模型，其中，所述多屏幕协同网络分析模型包括多个双向长短时记忆层、多个单向门限循环层以及策略优化层；

通过所述多个双向长短时记忆层，分别对每个目标屏幕的目标特征向量进行隐藏特征提取，输出每个双向长短时记忆层的隐藏特征向量；

分别将每个双向长短时记忆层的隐藏特征向量输入所述多个单向门限循环层进行网络参数预测，输出每个单向门限循环层的网络参数集合；

通过所述策略优化层中的遗传算法，对每个单向门限循环层的网络参数集合进行协同网络优化，生成目标网络优化策略；

通过所述目标网络优化策略，对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络。

7.一种基于多屏幕协同的实时互动装置，其特征在于，所述基于多屏幕协同的实时互动装置包括：

构建模块，用于基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道；

监听模块，用于基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据；

分发模块，用于基于所述协同互动中心对所述操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过所述画面分发通道对所述互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面；具体包括：通过所述协同互动中心实时接收并响应所述操作编码排序数据，以及通过所述协同互动中心确定所述多个目标屏幕的原始画面数据；根据所述操作编码排序数据对所述原始画面数据进行画面数据流转换，生成对应的互动画面数据流；通过所述协同互动中心创建所述互动画面数据流的数据分发参数组合，并根据所述数据分发参数组合，通过所述画面分发通道将所述互动画面数据流分发至对应的目标屏幕；在所述目标屏幕接收到所述互动画面数据流后，分别对所述互动画面数据流进行屏幕参数自适应渲染，得到每个目标屏幕的目标渲染互动画面；

特征提取模块，用于获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值；

编码融合模块，用于对所述多个响应延迟特征值以及所述多个画面特征值进行向量编码和向量融合，得到目标特征向量；

优化模块，用于将所述目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据所述目标网络优化策略对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络。

8.一种基于多屏幕协同的实时互动设备，其特征在于，所述基于多屏幕协同的实时互动设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于多屏幕协同的实时互动设备执行如权利要求1-6中任一项所述的基于多屏幕协同的实时互动方法。

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述的基于多屏幕协同的实时互动方法。