CN101645176A - 一种用于网络的三维图像交互技术 - Google Patents

Abstract

一种用于网络的三维图像交互技术，本技术使用图像采集设备或计算机虚拟场景产生三维图像，由图像压缩处理服务器、图像传输服务器、客户端计算机或终端通过网络连接实现。本技术克服以往网络三维图像技术依赖于客户端三维图形加速硬件，无法建立和使用太复杂的三维物体模型，无法直接呈现真实世界图像效果的缺点。本技术实现方案通过对复杂的模型和图像前期采集和处理，并进行图像压缩处理后传输服务，避免了复杂模型传输到客户端处理，客户端仅进行简单图像处理，降低客户端硬件要求，并支持真实世界三维图像浏览和复杂计算机虚拟场景三维图像浏览。

Description

一种用于网络的三维图像交互技术

技术领域

本发明涉及一种计算机三维图像处理技术，能够将三维空间图像处理后通过网络传输，提供远程用户通过终端进行三维的交互浏览。

背景技术

目前计算机三维图像应用于Internet网络的典型方式是：建立展示内容的三维模型，传输模型和纹理数据到客户端，客户端接收到模型数据、贴图纹理数据，渲染展现三维场景，以实现网络三维图像应用。这种应用方式有下述缺点：

①三维图像渲染性能依赖于客户端三维图形加速硬件，无法建立和使用太复杂的三维物体模型；

②必须对三维场景建立模型，无法直接呈现真实世界图像效果；

③模型信息将发送到客户端，存在可能泄漏模型信息安全性隐患；

④用于网络浏览的模型数据必须一次传输完毕才能开始显示和交互，数据量较大，耗时较长。

发明内容

为了克服现有网络三维图像浏览应用技术不足，本发明提供了一种新型应用于网络的计算机图像处理技术，可以使用复杂的三维模型和实物图像，不依赖于客户端三维图形硬件，提供真实世界图像效果的呈现。

参见图1，实现本发明的技术所采用的方案是：

使用图像采集设备或计算机虚拟场景采集浏览区域内各个视角的图像，这些采样的图像作为浏览内容，经由图像压缩处理服务器、图像传输服务器、客户端计算机或终端通过网络连接而成的系统提供用户三维图像浏览服务。

在此方案中，各部分说明如下：

服务端：通过数据网络提供某种服务的一方。本方案中指提供三维图像浏览服务的一方。

客户端：通过数据网络使用服务的最终用户。本方案中指需要三维图像浏览的用户方。

图像采集设备：照相机，摄影机，扫描仪等可在三维空间不同位置和角度进行单帧、多帧、多焦距或全景采集的设备，并可记录采集时间和采集视点位置，空间角度。通过对需要展示的内容和场景进行各个角度进行图像采集准备，支持了对真实世界图像提供展示，而不需要复杂的建立三维模型过程。

计算机虚拟场景：由计算机进行处理绘制的三维虚拟场景，从虚拟场景三维空间不同位置和角度进行和图像采集设备相似方式图像采样渲染。这样即使是复杂的模型和图像处理也可以在前期准备好，避免了复杂模型传输到客户端处理，并降低对客户端终端设备图形处理硬件的要求。

图像压缩处理服务器：进行图像压缩处理的一个或者多组计算机。采集完成的图像通过单帧、多帧压缩，降低图像存储数据大小，适合于网络传输带宽要求；

图像传输服务器：进行图像传输服务的一个或者多组计算机。提供网络传输和交互服务，以支持客户端取得图像数据，进行三维交互浏览。

终端：如计算机，手持电脑，手机等能通过网络连接服务器的显示交互设备，客户端可使用不同的终端设备连接服务器。本方案中由于三维图像处理工作在服务端前期完成，故不要求客户端的终端设备必须具备三维图像加速硬件。

本方案中图像采集和质量控制方法描述如下：

参见图2，对于需要采样图像的三维空间区域S内，存在一个离散的空间点集合D，在D中任何一点p1，其空间位置坐标为(x1，y1，z1)，对于集合D中任何一个非p1的点p2坐标为(x2，y2，z2)，p1与p2的最小距离为距离为常量dp，则集合D为采样点集合，dp为图像采样距离。

对于D中任何一点p，设在p点采集图像为栅格图像集合G，则对于用户观察点v，选择在采样集合D中和v距离最小的采样点所对应的栅格图像集合为最接近视点v的观察图像呈现给浏览用户。

设此栅格图像集合G数量为n，每个栅格图像采集时间、采集空间位置、图像压缩编码方式等元数据占用存储空间为m位，图像色彩深度为d位，采样点个数为k，图像采样宽度w，图像采样高度h，使用的图像压缩编码方法的压缩率为r。则所需存储尺寸为nkr(m+w·h·d)位。本方案中图像质量q由d，w，h和压缩率r决定，图像精确度由采样距离dp，每个采样点的图像采样数量n决定。

本发明和现有发布方法相比具有以下优点：

①因为将复杂的三维图像处理放在服务器端事先完成，客户端仅进行简单图像解压缩处理，不用进行复杂三维模型渲染运算，降低客户端图形处理硬件要求，可以更广泛的适用于各种计算机终端，智能终端，以及不同平台和浏览器。

②可以直接从真实物体采集三维浏览图像，支持真实世界三维图像浏览，不必建立三维模型。

③可以从复杂计算机虚拟三维场景采集三维浏览图像，其复杂性不必局限于客户端性能。

④模型信息不会传输到客户端，具有保护模型信息安全的优点。

⑤通过图像传输服务器，客户端渐进的请求获得图像数据，当传输少量部分数据就可以支持用户开始浏览图像，不必下载所有图像数据就可开始提供服务。

⑥支持不同服务质量(QoS)，根据浏览图像终端设备、网络和用户要求，可提供的不同的服务质量，包括控制采集图像的粒度，图像分辨率，压缩质量几个综合因子来决定服务的质量和三维图像浏览响应速度。

附图说明

图1为技术方案示意图；

图2为三维图像采集原理图；

图3为图像预采集处理示意图；

图4为图像数据压缩处理示意图；

图5为客户端三维图像交互显示原理示意图。

具体实施方式

本技术实施实例如下：

参见图3，本技术所描述的图像预采集可以由以下步骤完成：

①使用数码相机或者相机阵列，采集需要展示的汽车目标三维图像，根据需要展现的细节程度，此实例中使用佳能相机和控制计算机通过电缆相连，佳能相机驱动提供对数码相机控制，包括快门，焦距和光圈等图像采集参数。设定图像采样的精度和间隔，此实例中使用电动旋转云台来控制图像采集角度，数控移动平台控制采集位置；

②采集数控程序驱动相机，采集一张目标图像，并记录每个图像采集点所在的空间位置。采集点位置通过数控定位平台设备、云台等获得，采集时间和图像帧数由相机存储的数字图像参数属性获得；

③记录完毕后采集数控程序控制平台和云台设备移动到下一采样位置，进行步骤②，直到对所有设定好的采集点完成图像采集。

参见图4，本技术所描述的图像压缩处理可以由以下步骤完成：

①采集后的单个图像数据进行压缩处理，此实例中使用JPEG压缩算法完成图像压缩，根据服务质量参数，提供不同压缩率和分辨率尺寸：640×480、480×360和320×240压缩结果，多帧图像数据在此实例中使用MJPEG或MPEG标准图像压缩格式压缩处理，记录压缩编码方式和图像位置信息作为描述图像的元数据一起封装为一个图像单元；

②采集后的多个相近位置间隔的图像单元数据批量数据打包作为图像数据包文件，作为在一个服务请求中整体批量传输的单位，加载到图像传输服务器，并记录此数据包视点区域信息到视点位置索引文件中。

参见图5，客户端三维图像交互显示可以由以下步骤完成：

①客户端通过网络连接到服务端，发送需要浏览汽车三维图像的视点A请求，请求通过HTTP协议传输到图像传输服务器计算机；

②图像传输服务端计算机根据收到的浏览视点A请求，通过视点A位置属性，在视点位置索引文件中查找最接近此视点图像数据包文件，把此图像数据包文件的内容返回客户端；

③客户端收到图像数据包文件，包括了视点一定范围的图像数据，根据取得的压缩编码方式和附加的位置信息，对视点A的图像单元数据解压缩并在显示设备上显示出来；

④用户交互浏览视点B的汽车图像，此时先检查步骤③中是否包括此视点的图像，如果包括即将视点B图像单元数据解压缩并在显示设备上显示出来，如未包括则向服务端发送视点B的浏览请求；

⑤用户交互浏览其他视点的汽车三维图像，重复步骤④获得浏览结果。

Claims (3)

1.一种用于网络的三维图像交互技术，其特征是使用图像采集设备或计算机虚拟场景产生三维图像，由图像压缩处理服务器，图像传输服务器，客户端计算机或终端通过网络连接而实现：

服务端：通过数据网络提供某种服务的一方；

客户端：通过数据网络使用服务的最终用户；

图像采集设备：照相机，摄影机，扫描仪等可在三维空间不同位置和角度进行图像采集的设备；

计算机虚拟场景：由计算机进行处理绘制的三维虚拟场景；

图像压缩处理服务器：进行图像压缩处理的一个或者多组计算机；

图像传输服务器：进行图像传输服务的一个或者多组计算机；

终端：如计算机，手持电脑，手机等能通过网络连接服务器的显示交互设备。

2.在权利要求1中所述的三维图像采集传输方法，其特征是：

①采集或计算生成三维空间图像，从实际物体、场景采集，或者由计算机三维模型预先绘制生成好各个观察点的图像，同时记录观察点的空间位置信息；

②图像数据压缩处理，图像数据可使用标准图像压缩方法压缩处理，减小数据量；

③图像元数据封装，图像元数据描述每个或者一系列所采集图像的压缩方法，观察点位置。图像元数据和图像压缩数据封装在一起作为传输服务所提供的内容。

④图像数据网络传输，图像数据可以使用有线，无线，不同介质和带宽的网络传输。

3.在权利要求1中所述的三维图像显示交互方法，其特征是：

①用户计算机或终端解压缩图像显示，客户端可获得服务端传输的图像元数据和压缩的图像数据，解压缩显示图像，可以通过不同显示设备显示；

②用户交互浏览三维图像，用户通过键盘，鼠标，操作杆，触摸屏等输入设备控制观看三维图像的角度，位置；

③服务端响应客户端三维图像浏览请求，客户端三维浏览过程中，不断改变当前观察点，当此观察点数据不在客户端缓存，则向服务端图像传输服务器请求新的数据，服务端在接到请求后返回相应服务数据，包括了图像元数据和图像压缩数据。

Images