CN1404018A - 计算机网络环境智能化场景绘制装置系统及绘制处理方法 - Google Patents

Abstract

本发明涉及计算机网络环境智能化场景绘制装置系统及绘制处理方法，整个系统及处理方法在Internet环境下由数据合成服务器、Web服务器和客户端(包括PC机，工作站和电视机顶置盒等)组成，数据合成服务器和Web服务器可合二为一，对于分布式数据访问机制，可用物理上分散的多个数据库服务器场景数据存储，并采用网络三层结构(浏览器/Web服务器+组件服务器/数据库)实现分布式事务处理。完成几何信息提取、场景建模、数据压缩等功能在客户端的WWW浏览器中用Java Applet或浏览器插件实现，它接收Internet上传来的数据，并完成数据解压、绘制以及用户的交互操作，实现数据的远程访问机制。广泛用于商品交互浏览远程示教及医疗。

Description

计算机网络环境智能化场景绘制装置系统及绘制处理方法

一、技术领域

本发明涉及计算机网络环境智能化场景绘制装置系统及绘制处理方法，特别适用实现互联网环境中具有照片真实感的虚拟场景交互绘制装置系统及绘制处理方法。

二、背景技术

传统的声音和文字方式已远远不能满足需要，而视觉的敏感性很高，图象信息是人类认识世界及人类自身的重要源泉。多年来，人们更希望突破人、机之间信息交流这种呆板的数字化方式，想象着能在一种图文并茂、绘声绘色、如临其境、栩栩如生的人、机和谐的信息环境下工作、学习与创造，用于在自然界中获取信息相同的方式来接受和处理各种信息，并加工成为人对客观事物的认识，虚拟现实技术(Virtual Reality)就是在这样的背景下发展起来的一门新型的交叉科学，它涉及到生理学、光学、计算机图形学、人机接口技术、多媒体技术、传感器技术以及高度并行的实时计算等多门学科，该技术的发展和应用能综合体现一个国家的科技研究水平，是计算机科学研究的热点之一。虚拟现实在Internet上的应用，可以创造带有动画和运动过程的实时的、多用户参与的交互式仿真环境。远程的虚拟风景可以在Internet上传送，用户可在自己的计算机屏幕上显示并控制做漫游。长期以来，3D计算机图形设计的主要目标就是在计算机屏幕上创造出看起来真实的世界，而网络环境下的虚拟场景交互绘制技术将使我们实现广阔地域范围内的真实感协作和沟通。

图形生成就是将抽象的场景描述(包括场景模型、光源、观察方向及位置等)转换成图象。传统的场景模型主要是线框模型，对于复杂的场景和高质量的显示要求，图形绘制过程的计算量是非常庞大的，产生一幅图象往往需要几千万或几亿次浮点和定点运算指令，而实时和交互式应用对计算系统的要求更为苛刻，针对具体应用的图形系统不得不在绘制速度和真实感之间寻求折衷。进入90年代，计算视觉和计算机图形学技术逐渐融合，图像、视频(图像序列)、图形之间的界限逐渐模糊，如图像作为映射纹理用来增强几何模型的真实感MPEG-4中提出基于对象的编码技术将场景的先验知识(可能来自计算机视觉)应用于图像序列的编码，其中最引人注目的是基于图像的建模和绘制(Image-Based Modelling and Rendering：IBMR)技术。尤其是网络环境下的复杂场景绘制的真实感和绘制速度存在不同程度的缺陷，特别是用于互联网系统的图象处理方法仍没有一个完整的技术方案。

三、发明内容

本发明的目的在于提供一种在网络环境下基于图象序列分析的场景建模、压缩、传输、绘制和交互技术，建立一个结合图象采集、信息提取、建模、网络稳定传输和交互绘制的自适应网络图形框架系统，实现互联网环境中具有照片真实感的虚拟场景交互绘制的计算机网络环境智能化场景绘制装置系统。

本发明的另一目的是提供场景绘制处理方法。实现本发明目的的技术方案是这样解决的：计算机网络环境智能化场景的装置系统，包括由摄像工作站、场景数据合成、场景交互绘制、构造场景描述组成，本发明突出的特点在于该装置系统为：

A、首先设立计算机硬件框图装置系统；

其摄像机移动平台与摄像机控制器连接，摄像机控制器收到的几何信号送入数据合成服务器，服务器的两端分别连接显示器和鼠标、键盘，服务器分别与PC机、工作站、电视机顶置盒、数据库服务器连接，其PC机、工作站、电视机顶置盒分别与用户连接，电视机顶置盒与电视机连接；

B、场景数据合成装置系统

场景数据合成装置系统由图像采集获得的信息送入图像序列分段经图像序列分段处理后，将信号分别送入视频压缩和基于视觉的信息提取，基于视觉的信息提取的信息来源与3D特征信息、光流或深度、相机方位、输入信息，通过上述提取的信息送入基于图像的场景建模，其基于图像的场景建模，的一端是由框架模型和采样纹理组成，另一端连接基于采样的模型，基于图像的场景建模建模后，将信息与视频压缩的信息一并送入采样数据整合，整合后的信息与文字、声音信息同时送入多媒体数据整合，整合后送入通信互联网，全景图集合、全光函数采样，分层深度图像、多视点图像的信息送入基于采样的模型中；

C、场景交互绘制装置系统

场景交互绘制又包括来自互联网的信息送入多媒体数据分离，经数据分离后的信息送入混合场景数据分离，混合场景数据分离，分离后的信息分别送入视频解压和基于图像的绘制，基于图象的绘制、基于几何模型的绘制经混合绘制绘制后送入显示器显示，视频解压解压信息送入视频段播放也进入显示器显示，用户特性定制与用户实时交互信息一并送入用户数据，用户数据的信息送入基于几何模型的绘制。

本发明与现有技术相比具有将计算机视觉和智能化信息处理，基于图象的建模和绘制、视频压缩技术相结合，图形、图象和视频信息格式相融合的特点，从视频压缩方面考虑，有更高的压缩比，并允许用户对播放内容进行交互，从图形建模和绘制技术方面考虑，它能够使绘制速度和真实感同时提高。本发明在Internet上实现虚拟场景的生成和交互，广泛由于电子商务中的3D商品交互浏览、远程虚拟示教和远程医疗、网上真实感场景漫游等方面。采用本发明的装置系统及绘制处理方法，能获得较好的经济和社会效益。

四、附图说明

图1为本发明装置系统硬件框图；

图2为本发明装置系统场景数据合成框图；

图3为本发明装置系统场景交互绘制框图；

图4为本发明装置系统一个实施例框图；

图5为本发明同心拼接原理图。五、具体实施方式：

附图为本发明的实施例

下面结合附图对本发明的内容作进一步说明参见图1所示，系统包括摄象机移动平台1与摄象机控制器2连接，摄象机控制器2收到的几何信号送入数据合成服务器4，服务器4的两端分别连接显示器3和鼠标、键盘5，服务器4分别与PC机6、工作站7、电视机顶置盒9、数据库服务器11连接，其PC机6、工作站7、电视机顶置盒9分别与用户8连接，电视机顶置盒9与电视机10连接。

图2所示，场景数据合成装置系统由图像采集12获得信息送入图象序列分段13经图象序列分段13处理后，将信号分别送入视频压缩15和基于视觉的信息提取17，基于视觉的信息提取17的信息来源与3D特征信息16、光流或深度18、相机方位19、输入信息14，通过上述提取的信息送入基于图象的场景建模21，其基于图象的场景建模21的一端是由框架模型20和采样纹理23组成，另一端连接基于采样的模型22，基于图象1的场景建模21建模后，将信息与视频压缩15的信息一并送入采样数据整合26，整合后的信息与文字、声音信息同时送入多媒体数据整合26整合送入通信互联网，全景图集合27、全光函数采样28，分层深度图象29、多视点图象30的信息送入基于采样的模型22中。

图3所示，场景交互绘制装置系统包括来自互联网的信息送入多媒体数据分离33，经数据分离后的信息送入混合场景数据分离32，混合场景数据分离32分离后的信息分别送入视频解压31和基于图象的绘制35，基于图象的绘制35、基于几何模型的绘制37经混合绘制38绘制后送入显示器36显示，视频解压31解压信息送入视频段播放34也进入显示器36显示，用户特性定制40与用户实时交互41信息一并送入用户数据39，用户数据39的信息送入基于几何模型的绘制27。

上述场景装置系统是通过Internet网将计算机硬件装置系统、场景数据装置系统、场景交互绘制装置系统串联连接为计算机网络环境智能化场景装置系统。所说的各个装置系统都包含有软件程序、文字、声音在内的场景绘制信息处理方法，其绘制信息处理步骤如下：

A.采集图象序列或视频信息

(1)采集图像序列(或视频)，并按照其内容相关性划分为不同数据段采集过程中，根据拍摄对象的变化控制物体或像机方位、拍摄间隔和切换顺序，将图像内容相关性较强的图像序列划分为图像组，场景切换较快的图像序列相关性较弱，形成单独的视频片断。

B.用计算机视觉从图象组中提取相机或场景的几何信息，包括：

用3D跟踪、像素对应、基本矩阵或三线性张量的方法计算相机的方位。

采用径向排列约束(RAC)计算摄像机外部参数和内部参数。外部参数包括侧倾角ψ、俯仰角θ、旋转角β及相应于平移矢量T的三个分量T_x、T_y、T_z。分别构成旋转变换矩阵R和平移矢量T。 $R=\left[\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\θ}& \cos \mathrm{\ψ}\sin \mathrm{\θ}\sin \mathrm{\β}-\sin \mathrm{\ψ}\cos \mathrm{\β}& \cos \mathrm{\ψ}\sin \mathrm{\θ}\cos \mathrm{\β}-\sin \mathrm{\ψ}\sin \mathrm{\β}\\ \sin \mathrm{\ψ}\cos \mathrm{\θ}& \sin \mathrm{\ψ}\sin \mathrm{\θ}\sin \mathrm{\β}+\cos \mathrm{\ψ}\cos \mathrm{\β}& \sin \mathrm{\ψ}\sin \mathrm{\θ}\cos \mathrm{\β}+\cos \mathrm{\ψ}\sin \mathrm{\β}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\sin \mathrm{\β}& \cos \mathrm{\θ}\cos \mathrm{\β}\end{array}\right]$ 内部参数包括：f：有效焦距，即图像平面到摄影中心的距离；k：透镜畸变系数；N_x：x方向的比例系数；N_y：y方向的比例系数；X_c、Y_c：图像平面原点的计算机图像坐标。1  比例系数与图像中心点的计算  对CCD面阵摄像机，Y方向的比例系数由制造厂给定。X方向的比例系数可由X、Y方向比例系数之比求得。如拍摄一圆环，计算水平方向与垂直方向的直径比。图像中心点是光轴穿过图像平面的点。对不需要精确中心点的系统，假设图像帧存的中心点即为图像中心点；对需要精确中心点的系统，采用变焦距法确定中心点。2 RAC两步法标定过程：第一步(a)拍摄一幅含有若干共面特征点的标定体图像。然后确定N个特征点的图像坐标，图像坐标为(X_fi，Y_fi)，i＝1，…，N。这些点相应的世界坐标为(x_ωi，y_ωi)。根据实际图像坐标到计算机图像坐标变换

         X_f＝N_xX+X_c

         Y_f＝N_yY+Y_c(1)

得

X_di＝(X_fi-X_c)/N_x

Y_di＝(Y_fi-Y_c)/N_y  x_di、y_di为差值坐标(b) 根据径向排列的约束性质对每个点P_i列出一个方程，并联立为N个方程。 $\left[\begin{array}{ccccc}{x}_{\mathrm{\ωi}}{Y}_{\mathrm{di}}& y_{\mathrm{\ωi}}{Y}_{\mathrm{di}}& Y_{\mathrm{di}}& -x_{\mathrm{\ωi}}{Y}_{\mathrm{di}}& -y_{\mathrm{\ωi}}{Y}_{\mathrm{di}}\end{array}\right]\left[\begin{array}{c}r1/T_y\\ r2/T_y\\ T_x/T_y\\ r4/T_y\\ r5/T_y\end{array}\right]=X_{\mathrm{di}}$

i＝1，…，N，利用最小二乘法求解，可得

r₁′＝r₁/T_y    r₂′＝r₂/T_y    T_x′＝T_x/T_y    r₄′＝r₄/T_y    r₅′＝r₅/T_y         (3)(c) 根据R的正交性计算T_y和r₁…r₉ $T_y^2=\frac{S_r-[S_r^2-4{(r_1^{\′}{r}_5^{\′}-r_4^{\′}{r}_2^{\′})}^2{]}^{1/2}}{2{(r_1^{\′}{r}_5^{\′}-r_4^{\′}{r}_2^{\′})}^2}$ S_r＝r₁ ^′2+r₂ ^′2+r₄ ^′2+r₅ ^′2T_y的符号根据成像几何关系确定。由(3)式得r₁、r₂、T_x、r₄、r₅可得R的两个解为： $R=\left[\begin{array}{ccc}{r}_1& r_2& {(1-{r_1}^2-{r_2}^2)}^{1/2}\\ r_4& r_5& S{(1-{r_4}^2-{r_5}^2)}^{1/2}\\ r_7& r_8& r_9\end{array}\right]$ 及 $R=\left[\begin{array}{ccc}{r}_1& r_2& -{(1-{r_1}^2-{r_2}^2)}^{1/2}\\ r_4& r_5& -S{(1-{r_4}^2-{r_5}^2)}^{1/2}\\ {-r}_7& -r_8& r_9\end{array}\right]$

其中r₇、r₈、r₉可由矩阵前两行计算得出。由R推出f，若f＞0，则为正确解。第二步：下面计算有效焦距f，透镜畸变系数k及T_z

对每个特征点计算：

y_i＝r₄x_ωi+r₅y_ωi+T_y

z_i＝r₇x_ωi+r₈y_ωi+T_z(4)

先不计透镜畸变，则 $\frac{Y_u}{f}=\frac{y_i}{z_i}$

解超定方程 $\left[\begin{array}{cc}{y}_i& -(Y_f-Y_c)/N_Y\end{array}\right]\left[\begin{array}{c}f\\ T_Z\end{array}\right]=(Y_f-Y_c){\mathrm{\ω}}_i/N_{Y}i=1,...,N$ (5)

分别求出f和T_z，然后用这些值作初始探索，求解下列非线性方程组

Y(1+kr²)＝f(r₄x_ωi+r₅y_ωi+T_y)/(r₇x_ωi+r₈y_ωi+T_z)

            X(1+kr²)＝f(r₁x_ωi+r₂y_ωi+T_y)/(r₇x_ωi+r₈y_ωi+T_z)

                               (6)

可解得f、T_z、k的精确值。用光照变化、物体轮廓、特征点等方法得到表面深度变化或光流数据。结合图像采集方式和光照计算公式，推算场景的光照参数。(3)  构造场景描述的方法

参照图4对于规则的场景，如建筑物、旋转对称物体等，可用几何框架模型和图像纹理相结合表示。

第一步：由用户输入结构的基本几何信息，并定义元素间的相对尺寸关系和位置关系；

第二步：标记图像中的边界，确定特征点，并将图像与模型中的特征点对应起来；

第三步：通过计算得出基本模型；

第四步：对图像进行纹理分析，通过贴纹理得到深度图；最后根据视点的变换进行Warping变换和渲染。·对于不规则的物体，可表示为采样像素+深度系数的数据结构。·对于采样图像密集、而深度数据不很精确的场景数据，可用全光函数的降维采样描述。

同心拼接：我们把摄像机的运动约束到平面同心圆上，通过组合沿圆周不同位置拍摄的狭缝图象来产生同心拼接。同心拼接可以用三个参数来自然地表示所有输入图像的光线，其理论基础是全光函数，有更小的文件尺寸。它允许使用者在圆形区域内自由地移动，无需恢复几何和光测场景的结构而能观察到明显的视差和照明变化。新的场景可以通过组合合适的获取光线来有效地绘制。

参照图5，获取同心拼接与获取普通的全景图一样简单，除了要有更多的图像。把摄像机放在转台上，沿着一个偏心圆慢慢转动它，获取一个连续的视频序列来构成同心拼接。给定一个同心拼接集合，我们就能绘制获取平面内的任意新光线，因为同心拼接已经获取了大量的平面内的光线。在绘制的时候，我们仅需找出新视图的光线在先前获取光线平面的何处，或者我们能够从相邻的拼接双线性插值它们。

在常深度假设中，对于所有获取的垂直光线，深度信息要求减少为常值。这种近似本质上是柱面环境映射，随着新视图位置的不同而动态地改变它的内容。在我们的系统中，用户能够交互地使用滑动控制来调整假设深度值，校正感兴趣的目标所产生的变形。一个M幅规则图像(H×(2W-1)能够组成W个同心拼接(M×N)。这样仅需提出原始图像中的一些列，就可实现二次采样。

输入的视频序列可以进行很好的压缩，由于帧之间的明显的空间相邻性。我们使用了矢量量化方法，因为它对于选择性的解码是一个很好的选择。也可以使用MPEG4编码器。

全光建模：我们选用柱面投影作为全光采样表示。柱面的一个优点是它能容易地展开简单的平面图。水平方向上的表面没有边界，这简化了要求建立图像流的对应搜索。为了克服在上部和底部的边缘条件的不足，我们选择了无帽的映射，但它限制了垂直视场。

柱面映射的一个显著优点是获取的简单性。唯一需要的获取设备是一架摄像机和一个能够连续水平旋转的三脚架。理想情况下，摄像机的旋转应该以摄像机的光学中心，但实际上场景中的所有物体离三脚架的旋转中心都很远，轻微的偏差可以被容忍。任意两个具有相同视点的平面透视投影都能通过一个均匀的二维变换联系起来 $\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$ $x^{\′}=\frac{u}{w}$ $x^{\′}=\frac{v}{w}$ 这里x和y表示图像I的像素坐标，x′和y′是在另一幅图像中对应的坐标。为了方便起见，我们定义了摄像机的局部坐标系，因此平转完全发生在x-z平面。

为了重新投影单个柱面到柱面投影，我们首先必须确定摄像机的投影模型，等效于摄像机的均匀变换。计算变换时先在每个图象对中建立四个对应点，所产生的变换提供了从一个平面映射到另一个平面映射的像素匹配。通过先确定第N幅图像到第N-1幅图像的变换来以这种形式合成几幅图像。这些变换能被连接组成单个图像到第一个平面的映射。这种方法有效地避免了相机模型的直接确定，通过进行同一相机不同采样之间的所有映射。

均匀变换H_i可以分解成两部分，包括内部变换S_i，它完全由摄像机的性能决定，外部变换R_i，它又围绕相机的旋转中心的旋转角决定。

                          u＝H_i x＝S^-1R_iS x

这种分解降低均匀变换中的映射和旋转成分。通过选择合适的坐标系和限制相机的平面转角，外部变换成分可以限制成一个函数，它是描述平转的单参数旋转矩阵 $R_y=\left[\begin{array}{ccc}\cos \mathrm{\θ}& 0& \sin \mathrm{\θ}\\ 0& 1& 0\\ -\sin \mathrm{\θ}& 0& \cos \mathrm{\θ}\end{array}\right]$

因为内部成份的特性对于所有图像都是不变的，因此分解问题可以分成两部分：确定外部旋转成分R_i和内部投影成分S。在我们的方法中，首先确定平转序列每照片对之间外部转角之间的估计值，这通过θ的微小转动来进行线性近似而得到。这种线性近似通过用1+0(θ²)和θ+0(θ³)分别代替旋转矩阵中的余弦项和正弦项得到，这样可以简化成下列近似式： $x^{\′}=x-\mathrm{f\θ}-\frac{{\mathrm{\θ}}^{{(x-C_x)}^2}}{f}+O\left({\mathrm{\θ}}^2\right)$ $y^{\′}=y-\frac{\mathrm{\θ}(x-C_x)(y-C_y)}{f}+O\left({\mathrm{\θ}}^2\right)$

此处是以象素为单位的焦距，(C_x，C_y)是光轴和像平面的象素坐标交点。(C_x，C_y)起初估计为象素平面的中心坐标，更好的估计在计算内部矩阵的过程中得出。

这些等式表明对于象平面中心的象素，小的转角可以通过平移来近似。我们要求序列中的每幅图象的某一部分必须在下一幅图象中可见，最后图象中的某一部分必须在第一幅图象中可见。

柱面对准处理的第一步是对准图象集，这通过计算x的最优位移，可以最大屏幕三分之一中心处区域内的已归一化的校正。这首先以象素级分辨率进行计算，然后精确到0.1子象素级网格，使用Catmull-Rom插值样条来计算子象素的强度。一旦这些平移t_i被计算了出来，就可以应用Newton方法把它们转换成旋转角估计值和焦距，使用下列等式： $2\mathrm{\π}-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}a\tan \left(\frac{t_i}{f}\right)=0$

其中N是组成序列的图片数量。依靠对f的初步估计，这种收敛一般通过五次迭代就可完成。

对准处理的第二步确定S，或者说结构参数，其描述了不同的相机特性，如俯仰转动和横滚角，这些在这组图象上都是不变的。使用了下列模型：

                           S＝Ω_xΩ_zP

这里P是投影矩阵： $P=\left[\begin{array}{ccc}1& \mathrm{\σ}& -C_x\\ 0& \mathrm{\ρ}& -C_y\\ 0& 0& f\end{array}\right]$

(C_x，C_y)如前所示，为视平面的近似中心，σ是偏离参数，表示背离方形网格的偏移量，ρ表示采样网格的方正率，f是在第一步中确定的以象素为单位的焦距。

余下的项Ω_x，Ω_y描述了相机方位和视平面方位背离光轴的合成效果，理想情况下，视平面应该垂直于光轴，但是制造误差导致这些值的偏离很小。 ${\mathrm{\Ω}}_x=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\ω}}_x& -\sin {\mathrm{\ω}}_x\\ 0& \sin {\mathrm{\ω}}_x& \cos {\mathrm{\ω}}_x\end{array}\right]$ ${\mathrm{\Ω}}_z=\left[\begin{array}{ccc}\cos {\mathrm{\ω}}_z& -\sin {\mathrm{\ω}}_z& 0\\ \sin {\mathrm{\ω}}_z& \cos {\mathrm{\ω}}_z& 0\\ 0& 0& 1\end{array}\right]$

此外，ω_z项与相机的横滚角很难区分，它表示象传感器和相机的转动。同样，ω_x与内部参数φ相结合，表示摄像机光轴相对平转平面的俯仰角。如果φ为0，象总与柱面相切，如果φ不为0，投影总与圆锥相切。

这里给出了六个未知参数(C_x，C_y，σ，ρ，ω_x，ω_z)，将在校准处理的第二阶段来确定。请注意，加上第一阶段确定的参数θ_i和f，对于每幅图，我们总共有八个参数，与均匀矩阵中自由参数相一致。

结构矩阵S，通过最小化下列误差函数来确定 $\mathrm{error}(C_x,C_y,\mathrm{\σ},{\mathrm{\ω}}_x,{\mathrm{\ω}}_z)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}1-\mathrm{Correlation}(I_{i-1},S^{-1}{R}_{y_t}{\mathrm{SI}}_i)$

这里I_i-1和I_i分别表示从图象I-1到图象I象素三分之一中心，利用下列六个参数的初始值，使用Powell’s的多变量最小化方法，典型地可以通过约六次迭代收敛来得到解： $C_x=\frac{\mathrm{imagewidth}}{2}$ $C_y=\frac{\mathrm{imageheight}}{2}$

                  σ＝0  ρ＝1  ω_x＝0  ω_y＝0

这时候我们将对(C_x，C_y)有一个新的估计值，能被反馈回第一阶段，整个过程可以重复。

对准过程产生了一个单相机模型S(C_x，C_y，σ，ρ，ω_x，ω_z，f)和采样图象中相对转角θ_i，使用这些参数，我们能构成从序列中任意图象到其它图象如下所示的映射函数 $T_i=S^{-1}{R}_{y_{i+1}}{R}_{y_{i+2}}{R}_{y_{i+3}}...R_{y_j}{\mathrm{SI}}_j$

我们也能通过修改S重新投影到任意表面。

给定两个或更多来自于静态场景的柱面投影，我们就能确定投影中心的相对位置，建立潜在重投影中的几何约束。这些位置仅仅能计算成尺度因子。为了建立一对柱面投影之间的相对关系，使用者必须指定在两个视图中都可见的对应点的集合，这些点可以看成是如下形式的空间光线：

            x_a(θ，v)＝ C_a+t D_a(θ，v) ${\stackrel{\‾}{D}}_a(\mathrm{\θ},v)=\left[\begin{array}{c}\cos ({\mathrm{\φ}}_a-\mathrm{\θ})\\ \sin ({\mathrm{\φ}}_a-\mathrm{\θ})\\ k_a(C_{v_a}-v)\end{array}\right]$ 这就把寻找柱面位置的问题转换成最小化问题。利用摄像机在三角架上水平转动来获取一系列的图象，不需要严格的水平，也不需要均匀的转角，关闭自动对焦，以便在拍摄过程中焦距保持不变。在拍摄完第一组图象后，该过程在距离约20米处重复，然后这两个序列分别用前述方法校准。

然后，通过指定12个连接点来计算外几何。在计算出视差图象后，它们能交互地变形到新的视点位置组成新的图形。·对于大范围的场景，可根据各部分场景的特点用不同的数据结构描述；为了自适应地选择传输方式，场景的每一部分可有多种数据结构描述。(4)混合数据结构的组合语法·定义各种数据段的组合和过渡方式。·指定各个数据段允许/不允许的交互方法。·在各个数据段的头部嵌入内容索引，便于以后进行基于内容的数据检索和数据挖掘。(5)根据网络传输的突发性和数据包丢失问题，设计合适的数据编码和传输方式·数据包的相互独立性：少量数据包丢失或顺序错乱不影响其它数据包的使用。·数据包的全局性：单个数据包丢失引起的图像质量下降分散在整个图像中，它使绘制过程和数据传输过程能同时进行。·采用适当的时空优化压缩方法进一步减少传输的数据量。(6)设计自适应网络图形传输框架·设计系统性能和网络负载的定时测量方法·根据系统环境和用户要求选择合适的数据模型和网络传输方式·根据系统环境的变化适时地改变传输方式(7)场景交互绘制·针对基于图像的建模方法，实现相应的绘制算法·将基于几何的虚拟模型嵌入基于图像的模型中，实现交互光照和混合绘制·客户端用户特性界面定制和场景交互

Claims (5)

1、一种计算机网络环境智能化场景的装置系统，包括由摄象工作站、场景数据合成、场景交互绘制、构造场景描述组成，其特征在于装置系统为：

A、首先设立计算机硬件框图装置系统；

其摄象机移动平台(1)与摄象机控制器(2)连接，摄象机控制器(2)收到的几何信号送入数据合成服务器(4)，服务器(4)的两端分别连接显示器(3)和鼠标、键盘(5)，服务器(4)分别与PC机(6)、工作站(7)、电视机顶置盒(9)、数据库服务器(11)连接，其PC机(6)、工作站(7)、电视机顶置盒(9)分别与用户(8)连接，电视机顶置盒(9)与电视机(10)连接；

B、场景数据合成装置系统

场景数据合成系统由图象采集(12)获得的信息送入图象序列分段(13)经图象序列分段(13)处理后，将信号分别送入视频压缩(15)和基于视觉的信息提取(17)，基于视觉的信息提取(17)的信息来源与3D特征信息(16)、光流或深度(18)、相机方位(19)、输入信息(14)，通过上述提取的信息送入基于图象的场景建模(21)，其基于图象的场景建模(21)的一端是由框架模型(20)和采样纹理(23)组成，另一端连接基于采样的模型(22)，基于图象的场景建模(21)建模后，将信息与视频压缩(15)的信息一并送入采样数据整合(24)，整合后的信息与文字、声音信息同时送入多媒体数据整合(26)整合送入通信互联网，全景图集合(27)、全光函数采样(28)，分层深度图象(29)、多视点图象(30)的信息送入基于采样的模型(22)中；

C、场景交互绘制装置系统

场景交互绘制又包括来自互联网的信息送入多媒体数据分离(33)，经数据分离后的信息送入混合场景数据分离(32)，混合场景数据分离(32)分离后的信息分别送入视频解压(31)和基于图象的绘制(35)，基于图象的绘制(35)、基于几何模型的绘制(37)经混合绘制(38)绘制后送入显示器(36)显示，视频解压(31)解压信息送入视频段播放(34)也进入显示器(36)显示，用户特性定制(40)与用户实时交互(41)信息一并送入用户数据(39)，用户数据(39)的信息送入基于几何模型的绘制(37)。

2、根据权利要求1所述的计算机网络环境智能化场景装置系统，其特征在于整个系统在Internet环境下由数据合成服务器、Web服务器和客户端组成或数据合成服务器和Web服务器合二为一。

3、根据权利要求1所述的计算机网络环境智能化场景装置系统，其特征在于利用服务器/客户机网络系统将计算机能力较强的服务器端与分散，功能较弱的不同操作平台的客户端相结合，实现分布协作和交互操作。

4、一种计算机网络环境智能化场景绘制处理方法，其特征在于包括从图象序列分析和提取图象+纹理+几何的场景信息，并采用基于图象的建模，时空优化压缩，递进传输progressive transmission的方法构造和编码网络中传输的场景数据流，在综合考虑服务器/客户机性能和负载、网络带宽，图象显示质量和交互自由度的基础上，构造一个自适应网络图形传输和交互绘制框架，其主要信息处理步骤如下：

A、采集图象序列或视频信息；

B、用计算机视觉技术从图象组中提取相机或场景的几何；

C、确定构造场景描述的方法；

D、确定混合数据结构的组合语法信息；

E、根据网络传输的突发性或数据包丢失确定数据编码和传输方式信息；

F、确定自适应网络图形传输框架信息；

G、确定场景交互绘制信息；

H、通过上述信息传递对图象进行纹理分析，得到深度图，最后根据视点的变换在进行Warping变换和渲染，即构成本发明的信息处理方法。

5、根据权利要求4所述的计算机网络环境智能化场景信息处理方法，其特征在于将基于几何的虚拟模型信息嵌入基入图象的模型中，现实交互光照和混合绘制。

Images