CN109829974B - 一种智能眼镜的三维图形自适应显示方法 - Google Patents

Abstract

本发明公开了一种智能眼镜的三维图形自适应显示方法。本发明使用服务器对三维模型进行简化，并在简化过程中把简化掉的部分按照设计好的文件格式保存成一系列的细节文件，智能眼镜根据网络与设备性能通过读取从服务器下载的模型细节自适应地快速重构并显示三维图形。本发明可以在达到满足用户实时交互需求的显示帧率的前提下，自适应地为用户提供尽量多的三维模型细节，为用户在网上商店查看商品的三维模型、在虚拟博物馆中查看藏品的三维模型等应用中提供有效的帮助。本发明设计的便于重构的细节文件结构，把大量的图形简化与细节保存计算放到服务器上，使性能低下的智能眼镜能快速进行图形重构，提升用户交互地查看三维模型时的使用体验。

Description

一种智能眼镜的三维图形自适应显示方法

技术领域

本发明涉及智能穿戴、图形处理技术领域，具体涉及一种智能眼镜的三维图形自适应显示方法。

背景技术

近年来，无线网络、移动计算技术取得巨大发展，越来越多的基于移动计算技术的新应用不断涌现，其中包括了如三维导航、产品展示、数据可视化、掌上游戏等在内的越来越多的交互式移动三维图形应用。一方面，人们对实时交互地操纵三维图形的要求越来越高，例如网上商店查看商品的三维模型、在虚拟博物馆中查看藏品的三维模型等等；另一方面，智能手表、智能眼镜等智能穿戴设备计算能力和存储器容量相对较低、显示屏分辨率低、电池电量有限等固有特点，都制约着智能穿戴设备交互地显示三维图形的能力。

为了实现在低性能设备上的交互式三维图形显示，目前的方法大致可以分为两类：本地渲染(Local Rendering)和远程渲染(Remote Rendering)，前者使用本地的计算资源来显示三维场景，而后者则利用远程硬件渲染出三维场景再传输给智能穿戴设备进行显示。远程渲染即基于图像的渲染(IBR，Image Based Rendering)，IBR方法的移动三维图形显示其运行时间由屏幕分辨率决定，而不是由图形的多边形数所决定，因此远程渲染很适合智能穿戴之类的低性能设备进行三维图形显示，缺点是当用户进行交互以观察三维模型其它部分的时候，图像变形引起的失真不可避免。因此，一些移动三维图形应用为了达到更直观的显示效果和更好的交互效果，就需要采用本地渲染。由于包括智能穿戴设备在内的低性能设备计算能力低、电池电源有限等特性，通常这些三维图形应用都只会为用户提供一个极简的三维模型以供查看，因此这往往需要为性能牺牲三维模型细节。一个为三维模型添加细节的方法是渐进式重构，但传统的图形重构方法需要耗费智能终端大量的计算能力，这显然不适合直接用于智能穿戴设备上，而必须进行改良。

发明内容

本发明的目的是克服现有方法的不足，提出了一种智能眼镜的三维图形自适应显示方法。本发明的智能眼镜根据网络传输能力与自身的处理性能，通过读取从服务器下载的简化后的模型细节，自适应地重构并显示适合的三维图形，解决了在达到满足用户实时交互需求的显示帧率的前提下，自适应地为用户提供尽量多的三维模型细节的问题；本发明为了令智能眼镜的图形重构方法尽量简单，设计了一个便于重构的细节文件结构，把大量的图形简化与细节保存计算放到服务器上，解决了利用智能眼镜低下的处理能力快速重构并交互显示三维图形的问题。

为了解决上述问题，本发明提出了一种智能眼镜的三维图形自适应显示方法，所述方法包括：

用户从智能眼镜的应用中选取需要查看三维模型的物品；

所述智能眼镜的应用把用户所选取的物品的编号传输给服务器；

所述服务器根据所述物品编号，调取对应的细节丰富的原始三维模型进行图形简化，并在简化的过程中把简化掉的细节保存成文件，最终形成一个最简模型与一系列有顺序的细节文件；

所述智能眼镜的应用从所述服务器下载所述物品的最简模型进行交互显示，以满足用户最基本的交互式查看需求；

当网络传输速度以及三维模型显示帧率大于设定的阈值时，所述智能眼镜的应用从所述服务器按顺序下载所述细节文件进行渐进式重构与显示，直到显示帧率刚好小于设定的阈值为止。

优选地，所述服务器在简化的过程中把简化掉的细节保存成文件，最终形成一个最简模型与一系列有顺序的细节文件，具体为：

所述服务器对原始三维模型M₀进行一次简化，形成一个低细节模型M₁以及把简化过程中删除掉的顶点和拓扑信息保存为细节文件detail₁；

所述服务器对原始三维模型M₁进行一次简化，形成一个低细节模型M₂以及把简化过程中删除掉的顶点和拓扑信息保存为细节文件detail₂；

如此类推，最终形成一个最简模型M_n与一系列有顺序的细节文件detail₁、detail₂……detail_n。

具体地，所述细节文件detail_i+1的结构包括3个列表：

列表1：M_i简化成M_i+1所删除的顶点，每个顶点包括该顶点在M₀中的顶点索引值，以及该顶点的三维坐标值；

列表2：M_i简化成M_i+1所删除的面，每个面包括该面在M₀中的面索引值，以及该面包含的顶点的顶点索引值；

列表3：从M_i到M₀的所有顶点合并操作的一个子集，以渐进式简化的逆序进行保存。

优选地，所述智能眼镜的应用从所述服务器按顺序下载所述细节文件进行渐进式重构与显示，具体为：

所述智能眼镜的应用利用最简模型M_n与对应的细节文件detail_n重构成细节更丰富的模型M_n-1并进行显示；

所述智能眼镜的应用利用最简模型M_n-1与对应的细节文件detail_n-1重构成细节更丰富的模型M_n-2并进行显示；

如此类推，最终由M_i+1与对应的细节文件detail_i+1重构成满足网络传输速度以及三维模型显示帧率要求且细节足够丰富的模型M_i并进行显示。

具体地，所述重构过程包括：

第1步：读取细节文件的列表1，把其中的顶点赋值到顶点数组的相应元素中，并标记为“非删除”；

第2步：读取细节文件的列表2，把其中的面赋值到面数组的相应元素中，并标记为“非删除”；

第3步：读取细节文件的列表3，以更新顶点数组中相应顶点的值。

本发明提出的一种智能眼镜的三维图形自适应显示方法，可以在达到满足用户实时交互需求的显示帧率的前提下，根据网络与设备性能自适应地为用户提供尽量多的三维模型细节，为用户在网上商店查看商品的三维模型、在虚拟博物馆中查看藏品的三维模型等应用中提供有效的帮助。本发明设计的便于重构的细节文件结构，把大量的图形简化与细节保存计算放到服务器上，使性能低下的智能眼镜能快速进行图形重构，提升用户交互地查看三维模型时的使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的智能眼镜的三维图形自适应显示方法流程图；

图2是本发明实施例的细节文件结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的智能眼镜的三维图形自适应显示方法流程图，如图1所示，该方法包括：

S1，用户从智能眼镜的应用中选取需要查看三维模型的物品；

S2，所述智能眼镜的应用把用户所选取的物品的编号传输给服务器；

S3，所述服务器根据所述物品编号，调取对应的细节丰富的原始三维模型进行图形简化，并在简化的过程中把简化掉的细节保存成文件，最终形成一个最简模型与一系列有顺序的细节文件；

S4，所述智能眼镜的应用从所述服务器下载所述物品的最简模型进行交互显示，以满足用户最基本的交互式查看需求；

S5，当网络传输速度以及三维模型显示帧率大于设定的阈值时，所述智能眼镜的应用从所述服务器按顺序下载所述细节文件进行渐进式重构与显示，直到显示帧率刚好小于设定的阈值为止。

步骤S1，具体如下：

智能眼镜的应用可以包括网上商店应用、虚拟博物馆应用等等，用户可从中选取商品或者藏品进行三维模型的实时交互式查看。

步骤S3，具体如下：

服务器上的简化方法可以选取多种已有的成熟的简化算法，但为了在智能眼镜上的重构计算尽可能简单，原则上需要选取简化后的保留顶点是原始顶点的子集的简化方法，即简化过程中只能去除顶点而不能在新的位置生成顶点。在本实施例中，选取半边折叠的算法进行简化。

(1)简化过程中删除掉的顶点和拓扑信息需要保存为细节文件，从模型M_i简化成简化模型M_i+1所生成的细节文件detail_i+1的文件结构包括3个列表，如图2所示：

列表1记录了从模型M_i简化成简化模型M_i+1所删除的顶点。列表1中每个被移除的顶点信息包括该顶点在原始模型M₀中的顶点索引值，以及该顶点的三维坐标值。列表1用于把简化时移除的顶点的三维坐标信息添加到M_i+1以重构成M_i；

列表2记录了从模型M_i简化成简化模型M_i+1所删除的三角形。基于半边折叠的简化方法在简化时，旧面会有3种情况：被删除、保留而且完全没被改变、保留但由于边折叠的缘故被改变了。这里列表2记录的只是被删除的三角形，而不包括由于边折叠的缘故被改变了的三角形。列表2中每个被删除的三角形信息包括该三角形在原始模型M₀中的面索引值，以及该三角形的三个顶点在原始模型M₀中的顶点索引值。列表2用于把简化时移除的三角形的三个顶点索引信息添加到M_i+1以重构成M_i；

列表3记录了边折叠过程中所发生的顶点合并操作。但是其记录的并不是从模型M_i简化成简化模型M_i+1所发生的顶点合并操作，而是从M₀简化成M₁、M₁简化成M₂、……M_i-1简化成M_i这一系列的简化过程中所发生的所有顶点合并操作的一个子集。所有的顶点合并操作标记为“A→B”的形式，表示点A移动到点B的位置与点B合并。简化过程中在构造detail_i+1细节文件的列表3的时候，服务器需要用一个递归的过程遍历所有的顶点合并操作来寻找必要的顶点合并操作以组成该子集：

第1步，以顶点合并操作“A→B”作为输入，如果其中的点B在细节文件的列表1中，则“A→B”被加入到列表3中，跳到第2步。而如果点B不在列表1中，服务器检查下一条顶点合并操作，直到所有顶点合并操作都被检查完毕；

第2步，由于在第1步中“A→B”被加入到列表3中，因此这里把点A看作是“被影响”的顶点，服务器从所有顶点合并操作中找出所有形如“x→A”的操作，然后把这些“x→A”重新作为第1步的输入。

此外，列表3所包含的一系列顶点合并操作是以渐进式简化的逆序进行保存的，即先保存M_i-1简化成M_i的顶点合并操作，再保存M_i-2简化成M_i-1的顶点合并操作，如此类推，直到最后才保存从M₀简化成M₁的顶点合并操作。

(2)服务器所形成的最简模型的文件结构与细节文件结构类似，其中列表1记录了模型简化成最简模型后的所有剩余顶点，其中每个顶点信息包括该顶点在原始模型M₀中的顶点索引值，以及该顶点的三维坐标值；列表2记录了模型简化成最简模型后的所有剩余三角形，其中每个三角形信息包括该三角形在原始模型M₀中的面索引值，以及组成该三角形的三个顶点的顶点索引值；列表3记录了各次简化所产生的所有的顶点合并操作，且同样是以渐进式简化的逆序进行保存。

步骤S4，具体如下：

本实施例中，智能眼镜上的应用采用OpenGL ES显示三维模型。在本步骤中，下载最简模型进行交互显示，由以下3步构成：

第1步，读取最简模型文件的列表1，把其中的剩余顶点赋值到顶点数组的相应元素中，并标记为“非删除”；

第2步，读取最简模型文件的列表2，把其中的剩余三角形赋值到面数组的相应元素中，并标记为“非删除”；

第3步，读取最简模型文件的列表3(列表3中的“A→B”是作为“A＝B”使用)，以更新顶点数组中相应顶点的值。

步骤S5，具体如下：

当网络传输速度以及三维模型显示帧率大于设定的阈值时(本实施例中，传输速度设定的阈值为1Mbps，显示帧率设定的阈值为30fps)，智能眼镜的应用从服务器下载细节文件进行读取，包括：

第1步，读取细节文件的列表1，把其中的顶点赋值到顶点数组的相应元素中，并标记为“非删除”；

第2步，读取细节文件的列表2，把其中的三角形赋值到面数组的相应元素中，并标记为“非删除”；

第3步，读取细节文件的列表3(列表3中的“A→B”是作为“A＝B”使用)，以更新顶点数组中相应顶点的值。

可见，读取细节文件与读取最简模型的流程是一致的。

之后，只要仍然满足阈值要求，智能眼镜就继续下载细节文件并重构上一级的三维模型，最终形成满足网络传输速度以及三维模型显示帧率要求且细节足够丰富的模型M_i并进行显示。

本发明实施例提出的一种智能眼镜的三维图形自适应显示方法，可以在达到满足用户实时交互需求的显示帧率的前提下，根据网络与设备性能自适应地为用户提供尽量多的三维模型细节，为用户在网上商店查看商品的三维模型、在虚拟博物馆中查看藏品的三维模型等应用中提供有效的帮助。本发明设计的便于重构的细节文件结构，把大量的图形简化与细节保存计算放到服务器上，使性能低下的智能眼镜能快速进行图形重构，提升用户交互地查看三维模型时的使用体验。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种智能眼镜的三维图形自适应显示方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种智能眼镜的三维图形自适应显示方法，其特征在于，所述方法包括：

用户从智能眼镜的应用中选取需要查看三维模型的物品；

所述智能眼镜的应用把用户所选取的物品的编号传输给服务器；

所述服务器根据所述物品编号，调取对应的细节丰富的原始三维模型进行图形简化，并在简化的过程中把简化掉的细节保存成文件，最终形成一个最简模型与一系列有顺序的细节文件；

所述智能眼镜的应用从所述服务器下载所述物品的最简模型进行交互显示，以满足用户最基本的交互式查看需求；

当网络传输速度以及三维模型显示帧率大于设定的阈值时，所述智能眼镜的应用从所述服务器按顺序下载所述细节文件进行渐进式重构与显示，直到显示帧率刚好小于设定的阈值为止；

其中，所述服务器在简化的过程中把简化掉的细节保存成文件，最终形成一个最简模型与一系列有顺序的细节文件，具体包括：

所述服务器对原始三维模型M₀进行一次简化，形成一个低细节模型M₁以及把简化过程中删除掉的顶点和拓扑信息保存为细节文件detail₁；

所述服务器对原始三维模型M₁进行一次简化，形成一个低细节模型M₂以及把简化过程中删除掉的顶点和拓扑信息保存为细节文件detail₂；

如此类推，最终形成一个最简模型M_n与一系列有顺序的细节文件detail₁、detail₂……detail_n；

具体地，所述细节文件detail_i+1的结构包括3个列表：

列表1记录了从模型M_i简化成简化模型M_i+1所删除的顶点；列表1中每个被移除的顶点信息包括该顶点在原始模型M₀中的顶点索引值，以及该顶点的三维坐标值；列表1用于把简化时移除的顶点的三维坐标信息添加到M_i+1以重构成M_i；

列表2记录了从模型M_i简化成简化模型M_i+1所删除的三角形；列表2记录的只是被删除的三角形，而不包括由于边折叠的缘故被改变了的三角形；列表2中每个被删除的三角形信息包括该三角形在原始模型M₀中的面索引值，以及该三角形的三个顶点在原始模型M₀中的顶点索引值；列表2用于把简化时移除的三角形的三个顶点索引信息添加到M_i+1以重构成M_i；

列表3记录了边折叠过程中所发生的顶点合并操作；但是其记录的并不是从模型M_i简化成简化模型M_i+1所发生的顶点合并操作，而是从M₀简化成M₁、M₁简化成M₂、……M_i-1简化成M_i这一系列的简化过程中所发生的所有顶点合并操作的一个子集；所有的顶点合并操作标记为“A→B”的形式，表示点A移动到点B的位置与点B合并；简化过程中在构造detail_i+1细节文件的列表3的时候，服务器需要用一个递归的过程遍历所有的顶点合并操作来寻找必要的顶点合并操作以组成该子集：

第1步，以顶点合并操作“A→B”作为输入，如果其中的点B在细节文件的列表1中，则“A→B”被加入到列表3中，跳到第2步；而如果点B不在列表1中，服务器检查下一条顶点合并操作，直到所有顶点合并操作都被检查完毕；

第2步，由于在第1步中“A→B”被加入到列表3中，因此把点A看作是“被影响”的顶点，服务器从所有顶点合并操作中找出所有形如“x→A”的操作，然后把这些“x→A”重新作为第1步的输入；

此外，列表3所包含的一系列顶点合并操作是以渐进式简化的逆序进行保存的，即先保存M_i-1简化成M_i的顶点合并操作，再保存M_i-2简化成M_i-1的顶点合并操作，如此类推，直到最后才保存从M₀简化成M₁的顶点合并操作；

具体地，所述最简模型的文件结构与细节文件结构类似，其中列表1记录了模型简化成最简模型后的所有剩余顶点，其中每个顶点信息包括该顶点在原始模型M₀中的顶点索引值，以及该顶点的三维坐标值；列表2记录了模型简化成最简模型后的所有剩余三角形，其中每个三角形信息包括该三角形在原始模型M₀中的面索引值，以及组成该三角形的三个顶点的顶点索引值；列表3记录了各次简化所产生的所有的顶点合并操作，且同样是以渐进式简化的逆序进行保存。

2.如权利要求1所述的一种智能眼镜的三维图形自适应显示方法，其特征在于，所述智能眼镜的应用从所述服务器按顺序下载所述细节文件进行渐进式重构与显示，具体包括：

所述智能眼镜的应用利用最简模型M_n与对应的细节文件detail_n重构成细节更丰富的模型M_n-1并进行显示；

所述智能眼镜的应用利用最简模型M_n-1与对应的细节文件detail_n-1重构成细节更丰富的模型M_n-2并进行显示；

如此类推，最终由M_i+1与对应的细节文件detail_i+1重构成满足网络传输速度以及三维模型显示帧率要求且细节足够丰富的模型M_i并进行显示；

具体地，所述由M_i+1与对应的细节文件detail_i+1重构成模型M_i的过程包括：

第1步：读取细节文件的列表1，把其中的顶点赋值到顶点数组的相应元素中，并标记为“非删除”；

第2步：读取细节文件的列表2，把其中的面赋值到面数组的相应元素中，并标记为“非删除”；

第3步：读取细节文件的列表3，以更新顶点数组中相应顶点的值。

Images