CN111800599A - 基于智能眼镜进行数据流获取和显示的方法及智能眼镜 - Google Patents

Abstract

本发明涉及一种通过智能眼镜进行数据流获取和显示的方法，包括，通过智能眼镜的数据获取模块，从远程服务器获取一个或多个数据流；通过智能眼镜的数据显示模块，对所述一个或多个数据流进行处理，将所述一个或多个数据流分布在显示画布的不同区域上；通过智能眼镜的显示交互模块，接收用户的操作指令，并根据所述操作指令对所述显示画布上的数据流进行操作。通过本发明公开的一个或多个实施方式，可以在多人会议过程中，将会议的数据进行整合显示，并通过智能眼镜的显示扩展功能，分布到以用户为中心的画布中，实现高效、便捷的信息沟通。

Description

基于智能眼镜进行数据流获取和显示的方法及智能眼镜

技术领域

本发明涉及软件系统领域，尤其涉及一种基于智能眼镜进行数据流获取和显示的方法。

背景技术

传统的远程多人会议模式是参会人员通过PC或手机登录会议软件，并进入对应的会议室，受限于PC或手机的屏幕尺寸的限制，屏幕所呈现的信息只能通过外接显示设备，或者线性切换的方式查看共享内容窗口以及参会者的摄像头画面：例如隐藏所有摄像头画面，显示全屏共享内容窗口；例如全屏割裂成一大一小两个窗口，一个共享窗口，一个所有摄像头画面。多人会议中，参会者们无法同时查看共享内容窗口和摄像头画面。参会者能够接受的信息是有限的，因此导致远程会议的效率低下。

发明内容

本发明的一个目的在于提供一种基于智能眼镜进行数据流获取和显示的方法，包括，通过智能眼镜的数据获取模块，从远程服务器获取一个或多个数据流；通过智能眼镜的数据显示模块，对所述一个或多个数据流进行处理，将所述一个或多个数据流分布在显示画布的不同区域上；通过智能眼镜的显示交互模块，接收用户的操作指令，并根据所述操作指令对所述显示画布上的数据流进行操作。

本发明的另一个目的在于提供一种智能眼镜，包括数据获取模块，所述数据获取模块被配置为从远程服务器获取一个或多个数据流；数据显示模块，所述数据显示模块被配置为对所述一个或多数据流进行处理，将所述一个或多个数据流分布在显示画布的不同区域上；显示交互模块，所述显示交互模块被配置为接收用户的操作指令，并根据所述操作指令对所述显示画布上的数据流进行操作。

本发明的优势在于：

1、 用户通过智能眼镜的视野（FOV）移动，可以在无限大空间的屏幕获取多人会议视频信息，并将视频信息以多窗口的形式显示在智能眼镜显示屏上，显示共享内容窗口以及参会者的摄像头画面窗口。共享窗口包括桌面共享，窗口共享，白板共享等。

2、 多窗口形式所呈现的信息，用户可以可通过智能眼镜所提供的交互方式（带传感器自然头动的方式、触摸板的滑动）查看和选择多人协同会议中各端摄像头画面、共享内容窗口、或者其他参考内容窗口。窗口大小不受限于显示屏幕大小。

3、 ”分享者”们和智能眼镜端“观看者“们多端可通过在线多人视频通信技术，进行连通，参与多人协同会议。

4、 智能眼镜端通过监视输入数据流类型来分不同窗口显示。

5、 智能眼镜端新增不同窗口位置以用户为中心点往外围铺开。

通过本发明公开的一个或多个实施方式，可以在多人会议过程中，将会议的数据进行整合显示，并通过智能眼镜的显示扩展功能，分布到以用户为中心的画布中，实现高效、便捷的信息沟通。

附图说明

图1示出了本发明的一个或多个实施例的智能眼镜的结构示意图；

图2示出了本发明的一个或多个实施例的显示画布和显示装置的显示画面的示意图；

图3示出了根据本发明的一个或多个实施例的多人会议系统架构图；

图4示出了根据本发明的一个或多个实施例的基于智能眼镜的数据获取和显示的方法的流程框图；

图5示出了根据本发明的一个或多个实施例的数据流的处理方法；

图6示出了根据本发明的一个或多个实施例的数据流的合并之后在显示画布的排布的示意图；

图7示出了根据本发明的一个或多个实施例的智能眼镜的多人会议系统的架构原理图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于智能眼镜进行数据流获取和显示的方法及智能眼镜的具体实施方式、结构、特征及其功效，详细说明如后。

如图1所示，示出了根据本发明的一个或多个实施例的智能眼镜100的结构示意图。在其中一个实施例中，智能眼镜100为增强现实（Augmented Reality，AR）眼镜。 AR眼镜能够将虚拟的信息叠加到真实世界，使真实世界画面和虚拟画面能够叠加到一起，实现两种信息的相互补充。可以理解的是，一些实施方式中，智能眼镜100为其它类型的眼镜，例如混合现实（Mixed Reality, MR）眼镜，虚拟现实（Virtual Reality，VR）眼镜。本领域的技术人员可以理解，本发明所述的智能眼镜的形态也可以是非常规眼镜的外观形态，例如为头盔、头套等头戴式设备。智能眼镜100可以包括一个或两个显示装置10，显示装置可以采用以棱镜、LCD、光波导、Birdbath、自由曲面反射镜等可以实现半透半反的显示方案。此外，智能眼镜100还可以包括镜架20，在一些实施方式中，可以将智能眼的传感器模块、处理模块、存储模块和电池模块放到镜架20内部，在另一些实施方式中，也可以将传感器模块、处理模块、存储模块和电池模块的一个或多个部件集成在另一个独立的配件（未示出），通过数据线和智能眼镜100进行连接。

如图2所示，示出了本发明的一个或多个实施例的显示画布和显示装置的显示画面的示意图。智能眼镜100的显示装置可以生成以佩戴者为中心的一个虚拟的显示画布，显示画布可以理解为是一个远大于显示装置10的显示画面的一个显示区域，显示装置10被配置用来将显示画布的部分区域呈现给用户。当智能眼镜100检测到用户的头动的时候，显示装置10的显示画面也随着用户的头动进行变化，并将显示画布中的不同位置的内容呈现给用户。在用户处于移动状态（例如步行、跑步），显示画布相对于用户固定。显示装置的显示画面可以根据用户的头控指令进行移动，当检测到头向下移动的时候，则将显示画面也朝下移动。头控指令可以通过智能眼镜100的IMU惯性传感器生成。IMU惯性传感器可以接收并检测用户的头部运动信号，并转化为用户的头部的三维移动量，根据用户的头部的三维移动量，相对用户的FOV移动所述显示画布。如图2所示，示出了显示画布和显示装置显示画面的关系。当检测到用户的投按照箭头方向进行移动的时候，显示装置的显示画面也从实线位置移动到虚线位置。

参考图3，示出了根据本发明的一个或多个实施例的多人会议系统架构图，其中远程服务器200通过网络连接多个客户端设备，客户端设备包括智能眼镜100、智能手机101、台式电脑102、笔记本电脑103。可以理解，远程服务器200可以连接更多的客户端设备，且本发明的一个或多个实施例不限制远程服务器连接的客户端设备的类型和数量。在这种系统架构下，所有的客户端设备均通过远程服务器200进行数据交换，并依靠远程服务器的计算能力进行部分或全部的数据处理。应当注意的是，若智能眼镜100将部分数据处理放到远程服务器进行的时候，应当将远程服务器实现该功能的模块认为是智能眼镜100的一部分。

如图4所示，示出了本发明的一个实施例的基于智能眼镜的数据获取和显示的方法的流程框图，所述方法包括：

步骤S1、通过智能眼镜的数据获取模块，从远程服务器获取一个或多个数据流；

步骤S2、通过智能眼镜的数据显示模块，对所述一个或多个数据流进行处理，将所述一个或多个数据流分布在显示画布的不同区域上；

步骤S3、通过智能眼镜的显示交互模块，接收用户的操作指令，并根据所述操作指令对所述显示画布上的数据流进行操作。

具体地，在步骤S1中，智能眼镜100的数据获取模块被配置为从远程服务器200获取一个或多个数据流。数据流可以包括音视频数据和/或共享数据等多种数据类型。音视频数据包括来自其他客户端的用户发送的实时画面，例如由其他客户端摄像头拍摄的画面和麦克风采集的声音。共享数据包括来自其他客户端分享的图片文件、文本或其他任何可以分享的数据。例如，在多人会议场景下，在讨论机械结构技术方案的时候，其中一个参会人可能会向其他人分享CAD图片，则该CAD图片即为共享数据。数据流的类型作为数据标签，随着数据流发送到其他连接远程服务器的客户端。其中数据类型可以为发起数据流的一方设置或者由远程服务器根据数据类型进行生成。

在其中一个实施例中，数据标签还包括角色参数，所述角色参数包括提供该数据流的用户的个人信息，例如会议角色、姓名、职位、部门等。例如对于在图3的智能手机101发送的数据流中，可以携带有智能手机101的用户的角色参数。数据流的角色参数作为数据标签，随着数据流发送到其他连接远程服务器的客户端。角色参数可以为发起数据流的一方设置或者由远程服务器进行生成。

接下来，在步骤S2中，通过智能眼镜的数据显示模块，对所述一个或多个数据流进行处理，将所述一个或多个数据流分布在显示画布的不同区域上。如上所述，在多人会议场景下，智能眼镜100通常需要接收来自多个客户端的多个数据流。通过对这些数据流的处理，将这些数据流分布到显示画布的不同区域上，从而使得智能眼镜的用户可以看到整理后的数据流，降低数据流信息获取的复杂度。数据流的处理方法如图5所示，具体包括如下步骤：

S21、根据数据流的一个或多个数据标签，将所述数据流进行分类，对同类的数据流进行合流，并将合流后的数据流分配一个显示窗口；

S22、根据已分配的显示窗口数量，将显示画布的区域进行分割，将数据流的窗口分布在显示画布的分割后的不同区域上。

具体地，在步骤S21中，数据标签包括数据类型、角色参数。通常来说，数据合流在远程服务器200上实现，但是若智能眼镜100具有足够强大的处理能力，也可以在智能眼镜100本地完成。以基于数据类型进行数据流分类为例，若检测到多个数据流为音视频数据流，则对该多个数据进行合流，具体步骤包括对音视频文件的解码、压缩、拼接等。例如对于多个视频数据流，对每一个视频数据流进行解码压缩后，形成分辨率较小的视频流，然后将多个视频流以并排、四宫格、九宫格等形式拼接后形成合流的数据流，并以合流后的数据流进行传输。在合流的数据流传输到智能眼镜100上后，智能眼镜100为合流后的数据流分配一个显示窗口，从而可以在一个显示窗口中显示多个同类的数据流。优选地，一个显示窗口的大小和显示装置10的显示区域大小一致。由此，用户可以在不同显示窗口之间进行切换，而不会受到干扰。在另一个实施例中，以基于角色参数进行数据合流为例进行说明，角色参数可以包括会议角色，例如主持人和参会人，则可以将参会人的数据流进行合流，而将主持人的数据流单独分配一个显示窗口。由此，通过智能眼镜100可以将所有的参会人的画面在一个显示窗口展示，而可以将主持人的画面独立在一个显示窗口，从而方便参会人更容易看到主持人的发言。在另一个实施例中，角色参数包括参会人姓名标签，以此实现对于具有同一个姓名标签的数据流进行合并，例如对于单一参会人的音视频画面和其分享的文件合流显示，从而使得参会者可以同时看到分享文件和分享者的讲解。

通过步骤S21的数据流的合流之后，可以统计出显示窗口的数量，并根据显示窗口的数量，对显示画布进行分割，从而可以将显示窗口排列到显示画布上。以下以图6为例，对数据流的合并之后在显示画布的排布进行进一步说明。在图6的实施例中，共包含7个数据流，经过合流之后，数据流1-4被合流，数据流6-7被合流，数据流5未被合流，因此对这7个数据流供需要分配3个显示窗口。可以将3个显示窗口互相邻近地排布在显示画布上，从而方便用户在不同显示窗口进行切换。在本实施例中，3个显示窗口的大小基本一致，且与智能眼镜100的显示装置10的显示区域大小基本一致，从而保证最大化利用显示装置的显示范围。在一些实施例中，同一个数据流可以根据不同的合流规则被合流到不同的显示窗口中。

根据本发明的一个或多个实施方式，数据流的数据标签还包括状态参数，所述状态参数包括激活状态标签和非激活状态标签，以判断该数据流是否处于激活状态。当智能眼镜100检测到具有激活状态标签的数据流的时候，将该数据流的显示窗口置于智能眼镜的显示装置的中心位置，用户无需操作而可以直接观察具有激活状态的数据流。类似地，可以根据状态参数对数据流进行合流，流入将所有的激活状态标签的数据流合流后，置于智能眼镜的显示装置的中心位置。在本发明中的一个或多个实施例中，中心位置为用户FOV在显示装置中能看到的实质上中间的位置，中心位置对于用户来说更为显眼，更容易接受到中心位置的信息。

激活状态标签可以来源于语音激活、共享激活和选中激活。当所述数据流开始携带有音频数据的时候，生成语音激活标签，语音激活标签可以持续直至语音信号结束，或者给予其预设的固定的时间（例如1s-100s）。当客户端的用户发起分享分享文件的动作的时候，生成共享激活标签，并附加在该分项文件上，共享激活标签的持续时间可以为文件传输的时间或给予其预设的固定的时间（例如1s-100s）。若智能眼镜100检测到用户选中某个数据流的时候，则可以生成选中激活标签，并附在该数据流上。激活标签的持续时间可以为用户持续选中的时间，也可以给予其预设的固定的时间（例如1s-100s）。激活状态标签还可以来源于其他途径，例如在多人会议场景中，可以赋予客户端举手发言的功能，当其中一个客户端举手之后，则生成激活状态标签。

根据本发明的一个或多个实施例，激活状态标签可以通过多种方式生成，例如可以通过远程服务器根据数据流是否带有语音信息，而给数据流增加一个语音激活标签。也可以通过客户端用户的操作增加激活状态标签，例如当客户端的麦克风检测到用户的语音信息之后，在该用户的音视频数据流上增加一个激活状态标签；用户分享一个文件的时候，该文件的数据流就附带一个共享激活标签。例如当客户端的用户请求自己被激活的时候，则可以将该用户的数据流附带一个选中激活标签。

现在回到图4的步骤S3、通过智能眼镜的显示交互模块，接收用户的操作指令，并根据所述操作指令对所述显示画布上的数据流进行操作。在智能眼镜100将数据流分配到显示画布上之后，可以响应与用户的操作指令，进行交互。具体交互方式包括：

通过智能眼镜的惯性传感器，接收用户的头部运动信号，并转化为用户的头部的三维移动量，根据用户的头部的三维移动量，移动所述显示画布。由此，佩戴智能眼镜的用户可以通过头控方式浏览整个画布的内容，在不同的数据流的显示窗口之间进行切换，提高了用户在多人会议中的信息浏览效率。

通过智能眼镜的触控装置，接收用户的触碰信号，根据所述触碰信号，按照预先定义的规则对数据流的显示窗口进行放大、缩小、移动操作。触控装置可以为设置于眼镜的镜腿上的触控板，可以识别用户的手指和触控板之间的触碰和移动，由此可以实现对数据流的显示窗口的调整。

根据本发明的一个或多个实施例，还公开了一种智能眼镜，包括数据获取模块，所述数据获取模块被配置为从远程服务器获取一个或多个数据流；数据显示模块，所述数据显示模块被配置为对所述一个或多数据流进行处理，将所述一个或多个数据流分布在显示画布的不同区域上；显示交互模块，所述显示交互模块被配置为接收用户的操作指令，并根据所述操作指令对所述显示画布上的数据流进行操作。

图7示出了根据本发明的一个或多个实施例的智能眼镜的多人会议系统的架构原理图。智能眼镜多人会议APP包含初始化引擎、设置频道参数、设置用户标签、加入频道、内容分享、数据获取、数据显示、显示交互、离开频道、结束引擎等多个功能模块。多人会议APP通过实时通信SDK连接远程服务器，和其他客户端设备进行实时通信。可以理解，多人会议APP上的数据获取、数据显示、显示交互功能分别对应智能眼镜上的数据获取模块、数据显示模块和显示交互模块。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于智能眼镜进行数据流获取和显示的方法，包括，

通过智能眼镜的数据获取模块，从远程服务器获取一个或多个数据流；

通过智能眼镜的数据显示模块，对所述一个或多数据流进行处理，将所述一个或多个数据流分布在显示画布的不同区域上；

通过智能眼镜的显示交互模块，接收用户的操作指令，并根据所述操作指令对所述显示画布上的数据流进行操作。

2.根据权利要求1所述的方法，其中，

对所述一个或多个数据流进行处理，将所述一个或多个数据流分布在智能眼镜的显示画布的不同区域上，进一步包括：

根据数据流的一个或多个数据标签，将所述数据流进行分类，对同类的数据流进行合流，并将合流后的数据流分配一个显示窗口，

根据已分配的窗口数量，将显示画布的区域进行分割，将数据流的窗口分布在显示画布的分割后的不同区域上。

3.根据权利要求2所述的方法，其中，

所述数据标签包括数据类型、角色参数，其中

所述数据类型包括音视频数据和共享数据，

所述角色参数包括提供数据流的客户端用户的个人信息。

4.根据权利要求3所述的方法，其中，所述数据标签还包括状态参数，所述状态参数包括激活状态标签和非激活状态标签，

将具有激活状态标签的数据流的显示窗口置于智能眼镜的显示装置的中心位置。

5.根据权利要求4所述的方法，其中，

所述激活状态标签包括语音激活标签，所述语音激活标签在检测到所述数据流携带有音频数据的时候生成。

6.根据权利要求4所述的方法，其中

所述激活状态标签包括共享激活标签，所述共享激活标签在检测到数据流为共享数据的时候生成。

7.根据权利要求4所述的方法，进一步包括，

所述激活状态标签包括选中激活标签，所述选中激活标签在检测到用户的选中指令的时候生成。

8.根据权利要求1所述的方法，其中，所述接收用户的操作指令，并根据所述操作指令对所述显示画布上的数据流进行操作，进一步包括：

通过智能眼镜的惯性传感器，接收用户的头部运动信号，并转化为用户的头部的三维移动量，

根据用户的头部的三维移动量，移动所述显示画布。

9.根据权利要求1所述的方法，其中，所述接收用户的操作指令，并根据所述操作指令对所述显示画布上的数据流进行操作，进一步包括：

通过智能眼镜的触控装置，接收用户的触碰信号，

根据所述触碰信号，按照预先定义的规则对数据流的显示窗口进行放大、缩小、移动操作。

10.一种智能眼镜，包括，

数据获取模块，所述数据获取模块被配置为从远程服务器获取一个或多个数据流；

数据显示模块，所述数据显示模块被配置为对所述一个或多数据流进行处理，将所述一个或多个数据流分布在显示画布的不同区域上；

显示交互模块，所述显示交互模块被配置为接收用户的操作指令，并根据所述操作指令对所述显示画布上的数据流进行操作。

Images