CN110083235A - 交互系统及数据处理方法 - Google Patents

Abstract

本申请公开了交互系统及数据处理方法，用以解决增强现实AR客户端只能单机独立进行AR交互的技术问题，可以支持多用户异地协同进行AR操作，且操作低延迟、精度高，可以满足多个AR应用场景。本申请提供的一种交互系统，包括：客户端，用于接收对三维模型的操作，并根据对三维模型进行交互操作确定交互操作信息；接收并解析所述远程协同服务器发送的对所述交互操作信息进行处理后的反馈数据；根据所述反馈数据确定在所述客户端中显示的三维模型；远程协同服务器，用于接收并处理所述客户端发送的交互操作信息，向所述客户端发送对交互操作信息进行处理后的反馈数据。

Description

交互系统及数据处理方法

技术领域

本申请涉及增强现实技术领域，尤其涉及交互系统及数据处理方法。

背景技术

增强现实(Augmented Reality，AR)技术是当前计算机应用领域中的一个研究热点。AR技术通过在真实场景中添加虚拟物体使得虚拟物体与真实环境融为一体，可以增强人们对真实环境的理解与体验。AR技术融合了虚拟现实、计算机视觉、计算机图形学、图像处理、模式识别、光电显示等多个学科的最新成果，在工业、医疗、传媒、军事、娱乐、教育等多个领域有着广泛的应用。以往的AR系统大多都采用台式机、大型工作站等作为系统运行平台，限制了用户的活动范围和准入门槛。随着移动终端和网络技术的飞速发展，使得AR技术脱离PC机、工作站等笨重设备的限制成为可能，基于移动设备、智能电视的AR技术应用而生。

随着AR应用场景的不断延伸和扩展，近年来，多人远程协同AR逐渐成为了AR技术的一个热门应用方向。但目前市场上的多人协作AR方案都是需要多个用户头戴AR眼镜/头盔在同一现场进行操作，限制了协作的空间距离和位置，无法满足远程异地的AR使用需求。而常规的远程多用户AR方案则只是简单的进行现场视频的传输，远程异地的操作人员接收到实时视频后只能进行一些简单的标注，然后再将标注后的视频传输给现场人员，这种方案虚实融合效果较差，技术方案简单，无法满足复杂多用途场景的使用需求，具有很大的局限性。而对于在电视终端的AR技术应用目前也相对较少，即使有个别具有AR功能的电视，也都是单机模式运行，不利于AR电视的普及和推广。AR电视的应用场景，也基本都是使用电视的摄像头识别特制的AR识别卡片，最终在电视上进行虚实结合AR画面的显示，应用模式单一，较难引起用户的兴趣，进而增加用户的粘性。

发明内容

本申请实施例提供的交互系统及数据处理方法，用以解决AR客户端只能单机独立进行AR交互的技术问题，可以支持多用户异地协同进行AR操作，且操作低延迟、精度高，可以满足多个AR应用场景。

本申请实施例提供了一种交互系统，包括：

客户端，用于接收对三维模型的操作，并根据对三维模型进行交互操作确定交互操作信息，所述三维模型包括主体模型，所述主体模型由子模型组成，将所述交互操作信息发送给远程协同服务器；所述客户端还用于接收并解析所述远程协同服务器发送的对所述交互操作信息进行处理后的反馈数据；根据所述反馈数据确定在所述客户端中显示的三维模型；

远程协同服务器，用于接收并处理所述客户端发送的交互操作信息，向所述客户端发送对交互操作信息进行处理后的反馈数据，使得在不同客户端呈现的三维模型中，与发送的交互操作信息对应的交互操作中的子模型的位置、角度与主体模型保持统一。

本申请实施例提供的系统不受使用空间距离和位置限制，通过客户端与远程协同服务器之间交互操作信息的传输处理，使得多个客户端在同一AR场景中能够对同一三维模型进行操作，且操作过程中保证在不同客户端呈现的三维模型中，与交互操作信息对应的交互操作中的子模型与主体模型的位置、角度保持统一。因此，本申请实施例提供的系统可以满足远程异地多用户的使用需求，并且具有延迟低、精度高、大屏显示的直观特性，具有较大的应用价值。

本申请实施例提供了一种客户端，包括：

交互控制器，用于对三维模型进行交互操作，确定交互操作信息；所述三维模型包括主体模型，所述主体模型由子模型组成；

本地数据收发模块，用于向所述远程协同服务器发送所述交互操作信息；

接收并解析所述远程协同服务器发送的对交互操作信息进行处理后的反馈数据；

显示屏，用于根据所述反馈数据确定显示的三维模型。

本申请实施例提供了一种远程协同服务器，包括：

数据接收模块，用于接收客户端发送的交互操作信息；所述交互操作信息是通过所述客户端根据对三维模型进行交互操作而确定；所述三维模型包括主体模型，所述主体模型由多个子模型组成；

协同处理模块，用于对所述交互操作信息进行处理；

数据发送模块，用于向所述客户端发送处理后的反馈数据，使得在不同客户端呈现的三维模型中，与发送的所述交互操作信息对应的交互操作中的子模型的位置、角度与主体模型保持统一。

在客户端侧，本申请实施例提供了一种数据处理方法，包括：

根据对三维模型进行交互操作生成交互操作信息，所述三维模型包括主体模型，所述主体模型由子模型组成；

将所述交互操作信息发送给远程协同服务器；

接收并解析所述远程协同服务器发送的对所述交互操作信息进行处理后的反馈数据；

根据所述反馈数据确定在所述客户端中显示的三维模型。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种交互系统的系统结构示意图；

图2为本申请实施例提供的一种交互系统的具体应用场景示意图；

图3为本申请实施例提供的一种交互系统实现远程协同交互的流程示意图；

图4为本申请实施例在客户端侧提供的一种数据处理方法的流程示意图；

图5为本申请实施例在远程协同服务器侧提供的一种数据处理方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种交互系统，参见图1，用以解决AR电视客户端只能单机独立进行AR交互的技术问题，可以支持多用户异地协同进行AR操作，且操作低延迟、精度高，可以满足多个AR应用场景，具体的应用场景可参见图2。

客户端11，用于接收对三维模型的操作，并根据对三维模型进行交互操作确定交互操作信息，所述三维模型包括主体模型，所述主体模型由子模型组成，将所述交互操作信息发送给远程协同服务器；所述客户端还用于接收并解析所述远程协同服务器发送的对所述交互操作信息进行处理后的反馈数据；根据所述反馈数据确定在所述客户端中显示的三维模型；

远程协同服务器22，用于接收并处理所述客户端发送的交互操作信息，向所述客户端发送对交互操作信息进行处理后的反馈数据，使得在不同客户端呈现的三维模型中，与发送的交互操作信息对应的交互操作中的子模型的位置、角度与主体模型保持统一。

首先，客户端11对初始态的三维模型进行交互操作确定交互操作信息，所述初始态的三维模型包括主体模型，主体模型由子模型组成，例如，当主体模型为一个汽车模型时，所述子模型可以是这个汽车模型中的车门模型，也可以是这个汽车模型中的后视镜模型；客户端11与远程协同服务器22之间进行交互操作信息的传输处理，最终在客户端11中显示对所述交互操作信息的处理结果，即初始态三维模型进行交互操作后的三维模型，且通过对所述交互操作信息的处理可以保证客户端11在对三维模型进行交互操作过程中始终保持子模型与主体模型的位置、角度统一，例如，在图2的具体应用场景中，在第一客户端200中进行的交互操作一：将初始态的汽车模型中的车门打开，此时在第二客户端201中显示的汽车模型中的车门也是打开的，且打开状态(车门相对汽车模型整体的位置、车门打开角度等)与交互操作一一致。

可选地，所述客户端，还用于采集现实场景图像；所述现实场景图像被用于确定场景识别图像；所述客户端显示所述现实场景图像，所述场景识别图像为在所述客户端中显示的三维模型的载体。

由于不同客户端采集的现实场景图像不完全相同，为了使不同客户端可以对同一三维模型进行远程协同操作，需要从不同客户端采集的现实场景图像中识别出场景识别图像，使得不同客户端能在该场景识别图像上对三维模型进行叠加显示，即所述场景识别图像作为整个交互操作的载体。

可选地，当所述第一客户端和第二客户端未识别到所述场景识别图像时，所述客户端还用于向云识别服务器33发送所述现实场景图像；

所述云识别服务器33，用于接收所述现实场景图像，并对所述现实场景图像进行识别，确定场景识别图像，并发送给所述客户端。

可选地，所述三维模型还包括附加模型，所述附加模型包括预设模型、实时交互模型；

所述预设模型为存储在所述云识别服务器中的模型，所述实时交互模型为所述交互操作信息中的无模型实体数据。

客户端对初始态三维模型进行交互操作，该交互操作可以是从客户端界面中直接选择预存的预设模型(如三维箭头、三维大头针等各类标注模型；人物、汽车、电脑、建筑物等专业基础模型等)叠加到三维模型中，还可以直接对初始态的三维模型进行操作实时生成非固定模型，如一些样式不一的线条等没有固定形状的三维模型。

可选地，所述远程协同服务器，还用于对所述交互操作信息进行处理，使得不同客户端发送的所述交互操作信息对应的交互操作中的附加模型的位置、角度与主体模型保持统一。

远程协同服务器对交互操作信息的处理还可以使得交互操作过程中客户端的附加模型的位置、角度与主体模型保持统一。

在一些实施方式中，参照图2的具体应用场景，第一客户端200选择界面中的预设模型一个三维箭头叠加到汽车模型中左侧的前照车灯上，此时第二客户端201中显示的汽车模型中左侧的前照车灯上也叠加了一个三维箭头，且位置与第一客户端200的三维箭头叠加位置一致，此时，第一客户端200与第二客户端201中显示的汽车模型的整体位置可以不同；

或者，第一客户端200在与第二客户端201交互时，为了强调对汽车模型中左侧的前照车灯，用一个不规则的线条将该前照车灯圈注起来，此时第二客户端201中显示的汽车模型中左侧的前照车灯上也叠加了相同的不规则线条，且该线条与前照车灯的相对位置与第一客户端200中线条与前照车灯的相对位置统一。

可选地，所述客户端包括设置有第一摄像头的第一客户端、设置有第二摄像头的第二客户端；所述第一客户端和所述第二客户端还用于分别采集现实场景图像，并在所述分别采集的现实场景图像中识别出相同的场景识别图像，所述第一客户端和第二客户端被配置为分别显示各自采集到的现实场景图像，所述场景识别图像为在所述客户端中显示的三维模型的载体。

为了使不同客户端可以对同一三维模型进行远程协同操作，需要从不同客户端采集的现实场景图像中识别出场景识别图像，使得不同客户端能在该场景识别图像上对三维模型进行叠加显示，不同客户端对应的场景识别图像是一致的。

在一些实施方式中，参照图2的具体应用场景，第一客户端200采集到了用户A家中整个客厅的完整图像，第二客户端201采集到了用户B家中整个客厅的完整图像，此时第一客户端200与第二客户端201在各自采集的图像中都识别到了一张海报图像，则后续第一客户端200与第二客户端201对三维模型的操作均以该海报图像为载体进行。

可选地，所述第一客户端与所述第二客户端的主体模型相同。

可选地，所述远程协同服务器，还用于当接收到所述第一客户端发送的所述交互操作信息时，将所述交互操作信息广播分发至所述第二客户端，使得所述第二客户端当前无法对所述三维模型进行交互操作。

远程协同服务器将交互操作信息广播分发至其他客户端能够避免多个客户端对同一子模型进行操作而形成混乱的操作结果。

可选地，当所述第一客户端结束对所述三维模型进行交互操作时，所述第一客户端还用于向所述远程协同服务器发送交互操作结束指令；

所述远程协同服务器，还用于当接收到所述第一客户端发送的所述交互操作结束指令时，将所述交互操作结束指令广播分发至所述第二客户端，使得所述第二客户端对所述三维模型进行交互操作。

可选地，所述远程协同服务器对所述交互操作信息进行处理，具体包括：

将所述交互操作信息解析成字符串数据；

将所述字符串数据进行重新组织筛选。

本申请实施例提供的系统不受使用空间距离和位置限制，通过客户端11与云识别服务器33传输现实场景图像，获取所述现实场景图像对应的场景识别图像；以及，远程协同服务器22与客户端11之间数据的传输处理，实现了多个用户对以同一场景识别图像为载体显示的三维模型进行实时协同操作。在整体系统构成方面，该系统通过客户端11的摄像头113获取现实场景图像，以客户端11作为图像跟踪、图形计算的工具以及三维模型显示的载体；通过远程协同服务器22进行不同终端用户三维模型数据的计算匹配和协同分发；在图像识别和管理方面，通过云识别服务器33进行图像的识别、检索计算和数据管理。因此，本申请实施例提供的系统可以通过虚实融合的方式满足远程异地多用户的使用需求，并且具有延迟低、精度高、大屏显示的直观特性，具有较大的应用价值。

本申请实施例提供了一种客户端11，参见图1，包括：

交互控制器110，用于对三维模型进行交互操作，确定交互操作信息；所述三维模型包括主体模型，所述主体模型由子模型组成；

本地数据收发模块111，用于向所述远程协同服务器发送所述交互操作信息；

接收并解析所述远程协同服务器发送的对交互操作信息进行处理后的反馈数据；

显示屏112，用于根据所述反馈数据确定显示的三维模型。

在一些实施方式中，交互控制器不仅可以是鼠标和键盘，还可以是一切能够与客户端显示屏内AR场景进行交互的设备，例如，手柄、触控笔、平板电脑等设备。所述交互控制器110的操作方式包括：对各类模型的点击选中、二维画线圈选、框选(同时选中多个模型)；对模型进行平移、旋转、缩放；通过客户端操作界面选择附加模型添加于场景的指定场景；输入标注文字信息；更改场景要素颜色等属性；对模型局部位置进行图像化标识；

在一些实施方式中，本地数据收发模块111需要传输给远程协同服务器的数据包括：当前用户选中模型名称(以便在其他客户端高亮显示此模型)；发生空间变换的模型的名称、平移、旋转、和缩放矩阵信息；附加模型的名称、类型、样式、位置、角度、大小、颜色、所属主体模型名称等信息、文字信息；图像化标识的附属信息(图像化标识通过交互控制器在电视屏幕绘制，经投影变换投影到模型的局部位置，因此会产生投影后的组成关键点列位置、颜色等附属信息)。

可选地，所述客户端还包括：

摄像头113，用于采集现实场景图像；所述现实场景图像用于确定场景识别图像，所述场景识别图像是所述客户端采集的现实场景图像中和另一客户端采集的另一现实场景图像中相同的图像；所述场景识别图像为在所述显示屏中显示的三维模型的载体；

本地图像识别检索模块114，用于检索本地识别图像库是否存储有场景识别图像，当所述本地识别图像库不存在所述场景识别图像时，向云识别服务器发送所述现实场景图像，使得所述云识别服务器确定场景识别图像，并获取所述云识别服务器发送的场景识别图像；

本地识别图像库115，用于存储所述云识别服务器发送的场景识别图像。

摄像头113用于采集现实场景中的图像，即现实场景图像，所述现实场景为可以呈现在摄像头中的现实场景，是场景识别图像的来源；所述摄像头113不仅限于普通摄像头，还可以是能够连接到客户端的具有摄像头的智能手机、平板电脑等设备；

每个客户端摄像头获取的现实场景图像的位置对于其他客户端来说并不完全相同，因此，本申请实施例提供的交互系统以每个独立主体模型为基准采用多个独立的局部坐标系，使得显示屏显示的三维模型中的主体模型与子模型的位置、角度统一。

可选地，所述三维模型还包括附加模型，所述附加模型包括预设模型、实时交互模型；

所述预设模型预先存储于所述云识别服务器，所述实时交互模型为所述交互操作信息中的无模型实体数据。

当客户端通过对三维模型进行交互操作后在三维模型上叠加附加模型时，最终在显示屏中显示的三维模型中的附加模型与主体模型保持位置、角度统一。

可选地，所述客户端还包括：

本地AR场景模型库116，用于下载并存储以所述场景识别图像为载体显示的三维模型；

动态跟踪模块117，用于对所述场景识别图像进行实时跟踪；

计算匹配模块118，用于当所述动态跟踪模块对所述场景识别图像进行实时跟踪成功时，将与所述三维模型中的主体模型与所述场景识别图像的位置和角度进行匹配，并向所述客户端的显示屏发送匹配结果，所述匹配结果为在显示屏中显示的以所述场景识别图像为载体的主体模型。

动态跟踪模块117可以实时地跟踪摄像机与所述现实场景图像中物体间的位姿信息，建立观测模型(观测模型描述了我们根据某种运动模型预计的真实物体的位姿状态与摄像头实际观测到的物体位姿状态的一种匹配程度，用以校正所述现实场景图像中物体的位姿状态)，进而通过动态三维显示技术迅速地将虚拟信息叠加到所述现实场景图像中的物体之上。

计算匹配模块118结合真实场景和虚拟三维模型进行整个AR场景的空间位置匹配计算，为最终的场景渲染显示做准备。

通过本申请实施例提供的客户端可以存储与现实场景图像对应的三维模型，并且通过客户端中的动态跟踪模块对现实场景图像进行实时跟踪；通过客户端中的计算匹配模块对三维模型与现实场景图像的相对位置和角度进行匹配。

可选地，所述显示屏，还用于将所述计算匹配模块产生的匹配结果显示输出。

可选地，所述客户端包括第一客户端、第二客户端，所述第一客户端与所述第二客户端的主体模型相同。

可选地，所述第一客户端与所述第二客户端的场景识别图像相同。

可选地，当所述第一客户端的交互控制器结束对所述三维模型进行交互操作时，所述第一客户端的本地数据收发模块还用于向所述远程协同服务器发送交互操作结束指令。

在一些实施例中，客户端无需外置摄像头及用于AR存储计算的机顶盒等外设辅助设备，成本低、应用灵活性高，且通过与云识别服务器之间的传输可以实现AR图像识别和管理，使得系统成本更低、识别效果更好、识别效率更高。

由于本申请提供的系统采用局部坐标系，因此添加附加模型时需先选中对应的主体模型，并将所属主体模型名称数据与其他交互操作信息一起进行组织，这样经过远程协同服务器处理后，附加模型才能在不同客户端的局部坐标系下均以准确位置显示，保证与主体模型的相对位置的一致性，并且当主体模型进行整体的空间变换时，附加模型也可以随主体模型进行统一的空间变换；

当某一客户端对某子模型进行交互操作时，将操作信息发送给远程协同服务器，经远程协同服务器广播分发给其他客户端，目的是告知其他客户端该模型正在被操作，同时系统自动锁定该模型，其他客户端无法对该模型进行操作，其中，远程系统服务器的广播可以是所述某一用户的操作信息，也可以是响应与所述某一用户的操作信息生成的用于告知其他客户端该模型正在被操作的广播信息；当操作结束后，客户端则发送结束指令给远程协同服务器，同样的经远程协同服务器广播分发给其他客户端，对该模型进行解锁操作，其他客户端则可以对其进行交互操作；该策略的目的是避免多个客户端同时对同一子模型进行操作，造成混乱的操作结果。

本申请实施例提供的客户端11可以是电视客户端，其组成不限于摄像头113、电视(包括本地数据收发模块111、显示屏112、本地图像识别检索模块114、本地识别图像库115、本地AR场景模型库116、动态跟踪模块117、计算匹配模块118)、交互控制器110的组成模式，还可以是摄像头、触摸屏电视的组成模式，其中，触摸屏可以代替交互控制器110的交互功能。

此外，本申请提供的客户端还可以接收语音信息，不同客户端的用户可以在可视化交互的同时辅助以语音交流。

本申请实施例提供了一种远程协同服务器22，包括：

数据接收模块220，用于接收客户端发送的交互操作信息；所述交互操作信息是通过所述客户端根据对三维模型进行交互操作而确定；所述三维模型包括主体模型，所述主体模型由多个子模型组成；

协同处理模块221，用于对所述交互操作信息进行处理；

数据发送模块222，用于向所述客户端发送处理后的反馈数据，使得在不同客户端呈现的三维模型中，与发送的所述交互操作信息对应的交互操作中的子模型的位置、角度与主体模型保持统一。

可选地，所述协同处理模块对所述交互操作信息进行处理，具体包括：

将所述交互操作信息解析成字符串数据；

将所述字符串数据进行重新组织筛选。

即，由于交互控制器110可视化交互后只产生属性数据，并不产生模型及图像数据(模型均存储于云端服务器)，各类属性数据经过组织以二进制形式传输到协同服务器，所以数据量较小，可以实现实时无延迟传输。远程协同服务22器汇总各客户端传输过来的数据，按照约定的规则对数据进行解析。然后根据数据内容进行重新组织筛选，合并重复数据(如多客户端交互的是同一个模型，此时最终打包的数据只保存一份数据即可)，对不同客户端的数据空间属性(位置、角度等)进行统一。数据重新集成组织后则以二进制形式广播分发给各客户端。

各客户端接收到远程协同服务器打包后的数据后，按照约定的规则对数据进行解析，然后通过渲染引擎、在相应的位置，以相应的表现形式(客户端通过交互产生的形式，比如一个某种形状、某种颜色、某种尺寸的三维箭头、一个三维文本框，一个人物、汽车等基础模型)进行可视化信息的最终融合显示。最后，所有用户都能看到所有客户端在同一时间交互产生的可视化效果，可以进行直观的交流和交互；其中，相应位置即各客户端通过交互控制器交互后的位置。

例如，结合图2的具体应用场景，第一客户端200通过交互操作产生了附加模型(例如一个三维箭头灯模型)，此时，同时第二客户端201通过交互操作在同一个位置产生了另外的附加模型(例如一个三维对话框模型)，当客户端对主体模型进行移动操作时，第一客户端200和第二客户端201所产生的附加模型的位置交互后的位置也可能是被移动(包括平移、旋转、缩放等操作)的主体模型中的子模型的新位置，具体精确的角度、坐标位置是通过接收到的平移、旋转、缩放矩阵与原始模型空间坐标数据进行计算得到，位置信息是从远程协同服务器传输的数据解析而来。

可选地，所述三维模型还包括附加模型，所述附加模型包括预设模型、实时交互模型；

所述预设模型存储于所述云识别服务器，所述实时交互模型为所述交互操作信息中的无模型实体数据。

可选地，所述协同处理模块，还用于对所述交互操作信息进行处理，使得不同客户端发送的所述交互操作信息对应的交互操作中的附加模型的位置、角度与主体模型保持统一。

可选地，所述数据发送模块，还用于将所述交互操作信息广播分发至第二客户端，使得所述第二客户端当前无法对所述三维模型进行交互操作。

可选地，当所述第一客户端结束对所述三维模型进行交互操作时，所述数据接收模块，还用于接收所述第一客户端发送的交互操作结束指令；

所述数据发送模块，用于将所述交互操作结束指令广播分发至所述第二客户端，使得所述第二客户端确定当前是否对所述三维模型进行交互操作。

本申请实施例提供了一种云识别服务器33，包括：

图像识别检索模块330，用于对客户端发送的现实场景图像进行识别，得到所述现实场景图像对应的场景识别图像；以及，向所述客户端发送所述场景识别图像；

识别图像库331，用于存储场景识别图像；

AR场景模型库332，用于存储以所述场景识别图像为载体显示的三维模型。在一些实施方式中，图像识别检索模块330可以识别平面图形、现实场景中的3D物体，AR场景模型库332存储的可以是3D模型文件，UI素材、图像、视频、粒子特效文件。

下面结合说明书附图对本申请的数据处理方法流程进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。

实施例一，一种多人远程协同AR交互的具体实施流程，参见图3，包括：

步骤101，电视客户端启动AR程序；

步骤102，用户开启电视客户端摄像头，对准需要捕捉识别的现实场景画面，实时捕捉现实场景图像；

步骤103，电视客户端基于本地识别图像库将捕捉到的图像进行识别检索计算，当已从云识别服务器下载并存储有场景识别图像时，直接从本地识别图像库中进行图像识别会有效提高系统的识别速度，本地识别图像库定时清理，防止数据量过大时影响识别效率；

摄像头会捕捉到一张现实场景图像，但被识别的可能只是该现实场景图像中的局部区域内的图像，即场景识别图像，例如，现实场景图像中有一个区域是一本书的图像，而本地识别图像库中有书的图像，虽然有可能这两本书的角度、大小等不完全一样，但可以识别到两者属于同一种东西，这样就可以确定对现实场景图像识别成功。

如本地识别图库识别成功，即存储有场景识别图像，则执行步骤109，若未成功则执行步骤104；

步骤104，客户端则将摄像头捕捉到的现实场景图像传输给云识别服务器；

步骤105，云识别服务器接收到该现实场景图像后，基于云识别服务器的识别图像库进行图像的识别检索计算；

云识别服务器若识别成功，则执行步骤106，若识别失败，则触发客户端重新执行步骤102；

步骤106，将识别成功的通知以及场景识别图像发送给电视客户端，电视客户端接收到云识别服务器成功识别现实场景图像的通知后，从云识别服务器下载场景识别图像到本地识别图像库；

步骤107，电视客户端从云识别服务器下载的场景识别图像所对应的三维模型到本地AR场景模型库；

步骤108，电视客户端开启动态注册跟踪进行现实场景图像对应场景识别图像的实时跟踪，保证实时锁定运动的现实场景图像；

步骤109，如果电视客户端对场景识别图像跟踪成功，则计算匹配模块进一步计算本地AR场景模型库中以所述场景识别图像为载体显示的三维模型的变换矩阵、匹配模型的位置和角度，若跟踪失败，再重新执行步骤108；

其中，匹配模型的位置和角度通过匹配算法实现，而匹配算法简单来说都是通过进行投影变换(即计算变换投影矩阵)进行匹配的，涉及到各类坐标系(虚拟世界坐标系、真实世界坐标系、摄像机坐标系、2D平面坐标、像素坐标系等)之间的转换，本申请实施例不对所述匹配算法进行限定。其中，匹配模型的位置和角度，指的是匹配三维模型(即AR场景模型)与摄像头采集到的现实场景图像对应的识别图像的位置和角度，只有两者的位置和角度正确，才能将三维模型与场景识别图像进行准确叠加；

步骤110，在电视显示屏幕上显示计算匹配模块的计算结果，即显示以所述场景识别图像为载体显示的最终的三维模型，其中，三维模型的主体模型与子模型的位置、角度统一；

以上步骤是实现单个客户端的操作，为了实现多个客户端之间的互动，与上述步骤可以同时进行如下步骤，即该方法还可以包括：

步骤111，第一电视客户端的交互控制器对三维模型进行操作，确定交互操作信息，如果客户端本地数据收发模块接收到交互操作信息，则对交互操作信息进行转换封装；并且，等待接收并解析远程协同服务器处理后的第二电视客户端的交互操作信息，接收到远程协同服务器处理后的第二客户端的交互操作信息后，执行步骤115，其中，远程协同服务器向第一客户端发送的处理后的交互控制信息可能来自不止一个客户端；

步骤112，客户端本地数据收发模块将封装后的交互操作信息发送给远程协同服务器；

步骤113，远程协同服务器将接收到的所有参与该AR活动的电视客户端交互操作信息进行整合，其中，交互操作信息内容包括附加模型的类型、纹理、坐标、方位、文本、名称等；整合其他客户端的交互操作信息到发起该AR活动的第一客户端中，最终以场景识别图像为载体显示通过交互操作的三维模型；

步骤114，远程协同服务器将处理后的数据进行打包发送给参与同一AR活动的各电视客户端；

可以通过如下几种例子确定参与本系统的AR活动的电视客户端：

例一，图2中参与AR活动的客户端有各自的用户账号，当第一客户端200发起多人AR活动时，远程协同服务器400会收到发起信息，建立唯一的AR活动ID，同时第一客户端200向第二客户端201发送是否加入该AR活动的消息，当第二客户端201确定加入该AR活动，则远程协同服务器400就会接收到第二客户端201反馈的确定加入该AR活动的信息，根据唯一的AR活动ID确认同属于一个AR活动的客户端，例如多人视频等；

例二，发起客户端第一客户端200发起一个AR活动(也会产生唯一活动ID，发送给远程协同服务器400)，在该客户端中产生一个虚拟活动房间，当第二客户端201发现该虚拟活动房间可以向发起客户端发送申请加入活动消息，例如网络扑克游戏等；

上述例子为确定参与本系统的AR活动的电视客户端的不同模式，具体实施时对AR活动的实现模式不作限定，这些不同模式可以根据不同业务需求建立，但都有发起者，产生唯一活动ID，通过远程协同服务器记录，并根据唯一活动ID以及参与的客户端信息判断哪些客户端参与了该活动，远程协同服务器协同处理后的数据也会发送给所有参与客户端。

步骤115，第一客户端本地数据收发模块接收到来自远程协同服务器处理后的来自第二客户端的交互操作信息后，经解析处理(由于步骤113中远程协同服务器将汇总到的各客户端的交互数据进行了整合，为了各客户端都可以看到所有客户端在AR场景中进行的交互操作，因此需要对整合后的交互数据按各客户端各自的数据格式进行解析)后在电视显示屏幕上更新显示各客户端的交互操作信息。

以上流程只是以具体某一个电视客户端为例进行的说明，在该系统实际运行过程中，多个电视客户端都可以同时加入该系统，按照以上的流程实时进行协同可视化AR操作，操作对象是相同的虚实融合的AR场景，各电视客户端都可以通过电视屏幕看到其他客户端对AR场景的操作，并通过交互控制器进行实时互动。因此，该系统可以面向娱乐游戏、教学培训、专家指导、协同训练、远程会议等不同AR应用场景进行定制开发，满足不同应用需求。

在客户端侧，本申请实施例提供了一种数据处理方法，参见图4，包括：

S401、根据对三维模型进行交互操作生成交互操作信息，所述三维模型包括主体模型，所述主体模型由子模型组成；

S402、将所述交互操作信息发送给远程协同服务器；

S403、接收并解析所述远程协同服务器发送的对所述交互操作信息进行处理后的反馈数据；

S404、根据所述反馈数据确定在所述客户端中显示的三维模型。

具体实施步骤参见本申请的数据处理方法流程中的步骤111、步骤112、步骤115。

可选地，该方法还包括：

采集现实场景图像；所述现实场景图像用于确定场景识别图像，所述场景识别图像是所述客户端采集的现实场景图像中和另一客户端采集的另一现实场景图像中相同的图像；所述场景识别图像为在所述客户端中显示的三维模型的载体；

检索是否存在场景识别图像；

当不存在所述场景识别图像时，向云识别服务器发送所述现实场景图像，使得所述云识别服务器对所述现实场景图像进行识别并确定场景识别图像，获取并存储所述云识别服务器发送的场景识别图像。

具体实施步骤参见本申请的数据处理方法流程中的步骤102至步骤104、步骤107。

可选地，当所述客户端中的第一客户端结束对所述三维模型进行交互操作时，向所述远程协同服务器发送交互操作结束指令。

相应地，在远程协同服务器侧，本申请实施例提供了一种数据处理方法，参见图5包括：

S501、接收并处理客户端发送的交互操作信息；所述交互操作信息是通过所述客户端对三维模型进行交互操作而确定；所述三维模型包括主体模型，所述主体模型由多个子模型组成；

S502、向所述客户端发送对交互操作信息处理后的反馈数据，使得不同客户端发送的交互操作信息对应的交互操作中的子模型的位置、角度与主体模型保持统一。

具体实施步骤参见本申请的数据处理方法流程中的步骤113、114。

可选地，处理客户端发送的交互操作信息，具体包括：

将所述交互操作信息解析成字符串数据；

将所述字符串数据进行重新组织筛选。

可选地，所述三维模型还包括附加模型，所述附加模型包括预设模型、实时交互模型；

所述预设模型存储于所述云识别服务器，所述实时交互模型为所述客户端对所述三维模型进行交互操作实时产生的属性数据对应的模型。

可选地，该方法还包括：

对所述交互操作信息进行处理，使得不同客户端发送的所述交互操作信息对应的交互操作中的附加模型的位置、角度与主体模型保持统一。

可选地，该方法还包括：接收第一客户端发送的交互操作信息，将所述交互操作信息广播分发至第二客户端，使得所述第二客户端当前无法对所述三维模型进行交互操作。

可选地，当所述第一客户端结束对所述三维模型进行交互操作时，接收所述第一客户端发送的交互操作结束指令，将所述交互操作结束指令广播分发至所述第二客户端，使得所述第二客户端对所述三维模型进行交互操作。

本申请实施例提供的方法可以应用于终端设备，也可以应用于网络设备。

其中，终端设备也可称之为用户设备(User Equipment，简称为“UE”)、移动台(Mobile Station，简称为“MS”)、移动终端(Mobile Terminal)等，可选的，该终端可以具备经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信的能力，例如，终端可以是移动电话(或称为“蜂窝”电话)、或具有移动性质的计算机等，例如，终端还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置。

网络设备可以为基站(例如，接入点)，指接入网中在空中接口上通过一个或多个扇区与无线终端通信的设备。基站可用于将收到的空中帧与IP分组进行相互转换，作为无线终端与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)网络。基站还可协调对空中接口的属性管理。例如，基站可以是GSM或CDMA中的基站(BTS，BaseTransceiver Station)，也可以是WCDMA中的基站(NodeB)，还可以是LTE中的演进型基站(NodeB或eNB或e-NodeB，evolutional Node B)，或者也可以是5G系统中的gNB等。本申请实施例中不做限定。

上述方法处理流程可以用软件程序实现，该软件程序可以存储在存储介质中，当存储的软件程序被调用时，执行上述方法步骤。

综上所述，本申请实施例提供的交互系统及数据处理方法能够支持多人远程协同交互，解决了AR客户端只能单机独立进行AR交互的技术问题，可以满足多人异地协同进行AR操作的需求。

当AR客户端为电视客户端时，能够有效增加电视的社交属性和商业应用属性；区别于传统的基于智能手机和可穿戴式眼镜的AR设备，本申请实施例提供的交互系统以家庭常用的智能电视为载体，可以充分发挥电视作为家庭、商用大屏显示设备的优点，使AR的操作和显示效果更加直观和便捷。基于云端的AR图像识别可以有效降低AR终端的负担，实现海量图像的快速识别，支持海量识别目标图片及AR增强场景数据的动态更新管理，无需终端应用升级。通过本申请交互系统中的服务器可以支持多用户异地协同进行AR操作，操作低延迟、操作精度高，可以满足娱乐游戏、教学培训、专家指导、协同训练、远程会议等多种AR应用场景。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (22)

1.一种交互系统，其特征在于，包括：

客户端，用于接收对三维模型的操作，并根据对三维模型进行交互操作确定交互操作信息，所述三维模型包括主体模型，所述主体模型由子模型组成，将所述交互操作信息发送给远程协同服务器；所述客户端还用于接收并解析所述远程协同服务器发送的对所述交互操作信息进行处理后的反馈数据；根据所述反馈数据确定在所述客户端中显示的三维模型；

远程协同服务器，用于接收并处理所述客户端发送的交互操作信息，向所述客户端发送对交互操作信息进行处理后的反馈数据，使得在不同客户端呈现的三维模型中，与发送的交互操作信息对应的交互操作中的子模型的位置、角度与主体模型保持统一。

2.根据权利要求1所述的系统，其特征在于，所述客户端，还用于采集现实场景图像；所述现实场景图像被用于确定场景识别图像；所述客户端显示所述现实场景图像，所述场景识别图像为在所述客户端中显示的三维模型的载体。

3.根据权利要求2所述的系统，其特征在于，当所述第一客户端和第二客户端未识别到所述场景识别图像时，所述客户端还用于向云识别服务器发送所述现实场景图像；

所述云识别服务器，用于接收所述现实场景图像，并对所述现实场景图像进行识别，确定场景识别图像，并发送给所述客户端。

4.根据权利要求3所述的系统，其特征在于，所述三维模型还包括附加模型，所述附加模型包括预设模型、实时交互模型；

所述预设模型为存储在所述云识别服务器中的模型，所述实时交互模型为所述交互操作信息中的无模型实体数据。

5.根据权利要求4所述的系统，其特征在于，所述远程协同服务器，还用于对所述交互操作信息进行处理，使得不同客户端发送的所述交互操作信息对应的交互操作中的附加模型的位置、角度与主体模型保持统一。

6.根据权利要求1所述的系统，其特征在于，所述客户端包括设置有第一摄像头的第一客户端、设置有第二摄像头的第二客户端；所述第一客户端和所述第二客户端还用于分别采集现实场景图像，并在所述分别采集的现实场景图像中识别出相同的场景识别图像，所述第一客户端和第二客户端被配置为分别显示各自采集到的现实场景图像，所述场景识别图像为在所述客户端中显示的三维模型的载体。

7.根据权利要求6所述的系统，其特征在于，所述第一客户端与所述第二客户端的主体模型相同。

8.根据权利要求7所述的系统，其特征在于，所述远程协同服务器，还用于当接收到所述第一客户端发送的所述交互操作信息时，将所述交互操作信息广播分发至所述第二客户端，使得所述第二客户端当前无法对所述三维模型进行交互操作。

9.根据权利要求8所述的系统，其特征在于，当所述第一客户端结束对所述三维模型进行交互操作时，所述第一客户端还用于向所述远程协同服务器发送交互操作结束指令；

所述远程协同服务器，还用于当接收到所述第一客户端发送的所述交互操作结束指令时，将所述交互操作结束指令广播分发至所述第二客户端，使得所述第二客户端对所述三维模型进行交互操作。

10.根据权利要求9所述的系统，其特征在于，所述远程协同服务器对所述交互操作信息进行处理，具体包括：

将所述交互操作信息解析成字符串数据；

将所述字符串数据进行重新组织筛选。

11.一种客户端，其特征在于，包括：

交互控制器，用于对三维模型进行交互操作，确定交互操作信息；所述三维模型包括主体模型，所述主体模型由子模型组成；

本地数据收发模块，用于向所述远程协同服务器发送所述交互操作信息；接收并解析所述远程协同服务器发送的对交互操作信息进行处理后的反馈数据；

显示屏，用于根据所述反馈数据确定显示的三维模型。

12.根据权利要求11所述的客户端，其特征在于，还包括：

摄像头，用于采集现实场景图像；所述现实场景图像用于确定场景识别图像，所述场景识别图像是所述客户端采集的现实场景图像中和另一客户端采集的另一现实场景图像中相同的图像；所述场景识别图像为在所述显示屏中显示的三维模型的载体；

本地图像识别检索模块，用于检索本地识别图像库是否存储有场景识别图像，当所述本地识别图像库不存在所述场景识别图像时，向云识别服务器发送所述现实场景图像，使得所述云识别服务器确定场景识别图像，并获取所述云识别服务器发送的场景识别图像；

本地识别图像库，用于存储所述云识别服务器发送的场景识别图像。

13.根据权利要求12所述的客户端，其特征在于，所述三维模型还包括附加模型，所述附加模型包括预设模型、实时交互模型；

所述预设模型预先存储于所述云识别服务器，所述实时交互模型为所述交互操作信息中的无模型实体数据。

14.根据权利要求13所述的客户端，其特征在于，还包括：

本地AR场景模型库，用于下载并存储以所述场景识别图像为载体显示的三维模型；

动态跟踪模块，用于对所述场景识别图像进行实时跟踪；

计算匹配模块，用于当所述动态跟踪模块对所述场景识别图像进行实时跟踪成功时，将与所述三维模型中的主体模型与所述场景识别图像的位置和角度进行匹配，并向所述客户端的显示屏发送匹配结果，所述匹配结果为在显示屏中显示的以所述场景识别图像为载体的主体模型。

15.根据权利要求14所述的客户端，其特征在于，所述显示屏，还用于将所述计算匹配模块产生的匹配结果显示输出。

16.一种远程协同服务器，其特征在于，包括：

数据接收模块，用于接收客户端发送的交互操作信息；所述交互操作信息是通过所述客户端根据对三维模型进行交互操作而确定；所述三维模型包括主体模型，所述主体模型由多个子模型组成；

协同处理模块，用于对所述交互操作信息进行处理；

数据发送模块，用于向所述客户端发送处理后的反馈数据，使得在不同客户端呈现的三维模型中，与发送的所述交互操作信息对应的交互操作中的子模型的位置、角度与主体模型保持统一。

17.根据权利要求16所述的服务器，其特征在于，所述协同处理模块对所述交互操作信息进行处理，具体包括：

将所述交互操作信息解析成字符串数据；

将所述字符串数据进行重新组织筛选。

18.根据权利要求17所述的服务器，其特征在于，所述三维模型还包括附加模型，所述附加模型包括预设模型、实时交互模型；

所述预设模型存储于所述云识别服务器，所述实时交互模型为所述交互操作信息中的无模型实体数据。

19.根据权利要求18所述的服务器，其特征在于，所述协同处理模块，还用于对所述交互操作信息进行处理，使得不同客户端发送的所述交互操作信息对应的交互操作中的附加模型的位置、角度与主体模型保持统一。

20.根据权利要求16所述的服务器，其特征在于，所述数据发送模块，还用于将所述交互操作信息广播分发至第二客户端，使得所述第二客户端当前无法对所述三维模型进行交互操作。

21.一种数据处理方法，其特征在于，包括：

根据对三维模型进行交互操作生成交互操作信息，所述三维模型包括主体模型，所述主体模型由子模型组成；

将所述交互操作信息发送给远程协同服务器；

接收并解析所述远程协同服务器发送的对所述交互操作信息进行处理后的反馈数据；

根据所述反馈数据确定在所述客户端中显示的三维模型。

22.根据权利要求21所述的方法，其特征在于，该方法还包括：

采集现实场景图像；

所述现实场景图像用于确定场景识别图像，所述场景识别图像是所述客户端采集的现实场景图像中和另一客户端采集的另一现实场景图像中相同的图像；所述场景识别图像为在所述客户端中显示的三维模型的载体；

检索是否存在场景识别图像；

当不存在所述场景识别图像时，向云识别服务器发送所述现实场景图像，使得所述云识别服务器对所述现实场景图像进行识别并确定场景识别图像，获取并存储所述云识别服务器发送的场景识别图像。