CN1303570A - 用于高速压缩图像信息的方法和利用所述方法传递实时运动图像的方法 - Google Patents

Abstract

本发明提供了一种用于以高的速度压缩图像信息的方法和利用所述方法传递实时运动图像的方法,其中作为三维希尔伯特扫描(本发明不限于三维希尔伯特扫描)的扩展进行矩形平行六面体区域的扫描,从而改善输出量和降低成本。在按照本发明的用于以高的速度压缩图像信息的方法中,包括三维信息的被观看的运动图像通过使用和在三维空间中的矩形平行六面体区域相关的查阅表逐个地被转换成一维的串行信息,并且其中对所述转换的数据进行数据压缩。在从服务器向客户实时地传递观看的运动图像的方法中,按照所述方法压缩的数据通过通信通路被传递,并在客户被解压。

Description

用于高速压缩图像信息的方法和 利用所述方法传递实时运动图像的方法

本发明涉及高速压缩图像信息的方法和利用所述方法传递实时运动图像使得能够产生动态压缩并进行传递的方法。

一组被称为“空间填充曲线”的例子是由D.希尔伯特在1891年提出的希尔伯特曲线，使用扫描与其类似的两维Peano曲线用来压缩图像信息的方法也已经被提出了(见JP-B-7-22345)。

图1表示常规的两维希尔伯特曲线的例子，其中图1(a)表示2×2个像素的情况；图1(b)表示4×4个像素的情况；图1(c)表示8×8个像素的情况。

这种曲线近来应用于各种研究，包括光谱图像的分类，数据库信息检索，图像压缩，计算机全息图等，这是因为，它们具有高的邻近保持性能。在这种应用中，希尔伯特曲线被用于处理在两维和三维空间中分布的数据。一般地说，在N维空间(N=2,3,…)中的网格点和一维点之间建立一对一的操作被称为“扫描”，并且沿着希尔伯特曲线的扫描被称为“希尔伯特扫描”。

关于和用于压缩图像信息有关的方法的现有技术的文章包括：

(1) T.Agui,T.Nagae and M.Nakajima,"Generalized PeanoScans for Arbitrary-sized Arrays",ITEJ Technical Report Vol.14,No.37,pp.25-30,July 1990

(2)Y.Bandoh and S.Kamata,"A Method of computing aPseudo-Hilbert Scan Filling in a Rectangular parallelepipedRegion",IEICE Transactions (D-II),Vol.J80-D-II,No.10,pp.2864-2867,October,1997

(3)S.Kamata,A.Perez,E.Kawaguchi,"A Method ofComputing Hilbertcurves in Two-and Three-Dimensional Spaces",IEICE Transaction (D-II),Vol.J74-D-II,No.9,pp.1217-1226,September 1991.

(4)X.Liu,G.F.Schrack,"An Algorithm for Encoding andDecoding the 3-D Hilbert Order",IEEE Trans.Image Processing,IP-6,No.9,pp.1333-1337,September 1997

不过，使用希尔伯特扫描存在的问题是，其应用范围被局限于在N维空间中满足

(m是自然数)

的区域。

相反，垂直的希尔伯特扫描通常可以应用于正象，其中要扫描一些矩形。在这种环境下，随着两维的希尔伯特扫描的普遍化，提出了用于矩形的平行六面体区域的扫描方法(见上述的现有技术的文章(1)和(2))。按照现有技术的文章(1)的方法，仍然具有和计算时间有关并基于硬件实现的问题，因为它是一种基于递归处理的方法。

相反，按照由本发明人提出的现有技术的文章(2)的方法是一种高速扫描方法，其是不包括递归处理的关于现有技术中的文章(3)的一种扩展形式。按照关于现有技术的文章(2)和(3)，预先在表中形成用于产生希尔伯特曲线的规则，其被相继地参考，从而消除递归。

这种推广的希尔伯特扫描一直没有考虑三维应用，这是因为其涉及复杂的计算。按照关于现有技术的文章(1)的方法是一种推广的两维希尔伯特扫描，没有描述用于三维应用的专门的方法。按照关于现有技术的文章(4)的方法，仍然是一种在一个立体区域(2^m×2^m×2^m)中的计算方法，没有提及关于矩形的平行六面体的情况。因此，希尔伯特扫描对于三维空间的应用一直受到严格的限制。

不过，根据按照关于现有技术的文章(2)，在三维空间中的推广的希尔伯特扫描可以用和两维空间中的方式类似的方式进行。

在上述的环境下，本发明的目的在于提供一种用于高速压缩图像信息的方法和用于压缩图像信息的系统，其中作为三维希尔伯特扫描的扩展，在矩形平行六面体区域上进行扫描(不局限于三维的希尔伯特扫描)，从而改进输出量和降低成本。利用希尔伯特曲线扫描矩形平行六面体区域被称为“准希尔伯特扫描”。

在常规的用于传递和分配运动图像的系统中，在分配服务器预先被压缩的运动图像利用在服务器确定的质量和速度被传输。

图2表示在这种常规的系统中的处理流程的一个例子，其中来自电视摄像机的图像信号借助于视频捕捉被装入计算机中，并对装入的图像数据进行图像压缩，以便传输图像数据。在接收端的个人计算机对压缩的图像解压，以便在每次刷新时显示图像。

不过，常规的方法具有以下问题。

(1)在例如电视会议的系统中，因为预先给定每单位时间的图像数而使图像质量必然减少。在具有高的图像质量的分配系统中，因为图像在分配终端被预先压缩之后再进行传输，将要被传递的图像数据表示过去的情况，因此丧失了实时性质。

(2)常规的软件压缩技术不能足够快地进行实时图像压缩。

(3)根据硬件进行的图像压缩成本高，因为这需要专用设备。

(4)因为没有考虑客户终端的性能和网络条件，所以不能发送满足客户要求的最佳的运动图像。

造成这种情况的一个原因是，在常规的压缩和解压技术中，和压缩速度相比，向来优先考虑压缩比和图像质量，因为其旨在保持和再现，例如在DVD的情况下。这使得压缩速度降低，因而需要以最大的速度发送。因此，当例如在电视会议系统中实时地传输运动图像时，往往牺牲图像质量而满足速度要求。

因此，本发明的第二个目的在于通过压缩和传输实时地装入的数据实现实时装入的图像，从而传输最佳的图像，以便根据图像尺寸、图像数量、图像之间的间隔时间以及图像质量满足客户要求和网络条件，并对每个客户产生一个压缩和传递拖运器(sled)。这使得可以在不同条件下对多个客户最佳地传递运动图像，以便适用于在将来增加的计算机速度实现传递最佳运动图像的性能，并实现和网络速度同步地传递运动图像。

为实现第一个目的，按照本发明，提供：

(1)一种用于以高的速度压缩图像信息的方法，其中包括三维信息的被拾取的运动图像通过使用和在三维空间中的矩形平行六面体区域相关的查阅表逐个地被转换成一维的串行信息，并且其中对所述转换的数据进行数据压缩。

(2)按照(1)所述的用于压缩图像信息的方法，其中可以通过三维准希尔伯特扫描把拾取的运动图像转换为一维的串行信息。

(3)按照(2)所述的用于压缩图像信息的方法，其中用于递归分割矩形平行六面体每一侧的方块作为用于所述三维准希尔伯特扫描的最小单位的规则被这样规定，使得具有偶数长度的边在最接近于中点的分割点被分割成具有偶数长度的边；具有奇数长度的边在最接近于中点的分割点被分割成具有奇数长度的边；并相应地规定矩形平行六面体区域的地址，

(4)按照(2)所述的用于压缩图像信息的方法，其中所述数据压缩是使用一个门限分割通过三维准希尔伯特扫描解压的一维数据的一种处理，

(5)按照(4)所述的用于压缩图像信息的方法，其中所述的分割处理把一维数据划分成由所述一维数据得到最小方差的部分，并产生每个部分的线性近似的压缩数据，

(6)按照(1)到(5)所述的用于压缩图像信息的方法，其中在压缩的数据和原始数据之间的微分波形被分割并被分类成为多个型式，以便制备误差图形；接近所述微分波形的误差图形的代码在数据压缩时被加于压缩的数据；以及在数据解压期间通过在解压的数据上叠加和相关的误差图形代码有关的误差图形的波形恢复所述数据，

(7)一种用于压缩图像信息的系统，包括用于观看运动图像的图像拾取装置，用于把和矩形平行六面体区域相关的三维信息转换成一维串行信息的三维准希尔伯特扫描装置，用于存储所述一维串行信息的运动图像存储装置，以及用于压缩从运动图像存储装置读出的数据的数据压缩装置，以及

(8)一种用于压缩图像信息的系统，包括用于观看运动图像的图像拾取装置，用于把和矩形平行六面体区域相关的三维信息转换成一维串行信息的三维准希尔伯特扫描装置，用于存储所述一维串行信息的运动图像存储装置，用于压缩从运动图像存储装置读出的数据的数据压缩装置，用于压缩的数据的可逆编码部分，用于来自可逆编码部分的压缩的数据的传输通路，用于被传输的压缩数据的可逆译码部分，用于从可逆译码部分恢复数据的部分，用于存储来自数据恢复部分的数据的第二运动图像存储装置，用于扫描从运动图像存储装置读出的压缩数据的和矩形平行六面体区域相关的三维准希尔伯特扫描装置，以及用于显示输出的运动图像的显示装置。

为了实现第二个目的，按照本发明，提供一种：

(9)一种用于把来自服务器的观看的运动图像实时地传递给客户的方法，其中包括三维信息的被观看的运动图像通过使用和三维空间中的矩形平行六面体区域相关的查阅表被逐个地转换成一维的串行信息，并且使用软件压缩技术压缩转换的原始数据，并通过通信通路传递转换的原始数据，

(10)按照(9)所述的用于实时地传递运动图像的方法，其中在压缩的近似数据和原始数据之间的微分波形被分割并被分类成为多个型式，以便在每个服务器和客户制备误差图形；在服务器进行数据压缩时对接近所述微分波形的误差图形的代码和压缩数据一道被传递给客户；以及在数据解压期间在客户通过在解压的数据上叠加相关的误差图形的波形恢复所述数据，

(11)按照(9)或(10)所述的用于实时地传递运动图像的方法，其中按照来自客户的请求动态地产生查阅表，

(12)按照(11)所述的用于实时地传递运动图像的方法，其中使用查阅表，在所述查阅表上按照客户的请求可以列出任何尺寸的图像，

(13)按照(11)或(12)所述的用于实时地传递运动图像的方法，其中使用查阅表，在所述查阅表上按照客户的请求可以列出任何数量的图像，

(14)按照(9)所述的用于实时地传递运动图像的方法，其中图像的压缩比按照客户的请求被改变，

(15)按照(9)到(14)任何一个所述的用于实时地传递运动图像的方法，其中对于客户的每个请求产生一个特定的压缩和传递拖运器，

(16)按照(9)到(15)任何一个所述的用于实时地传递运动图像的方法，其中图像之间的间隔按照客户的请求被改变，以及

(17)按照(9)到(16)任何一个所述的用于实时地传递运动图像的方法，其中提供管理装置用于同时处理来自多个客户的每个客户的请求。

图1表示常规的二维希尔伯特曲线的一个例子；

图2是按照常规方法的处理流程的一个例子的方块图；

图3是按照本发明的用于压缩图像信息的系统的方块图；

图4示意地表示作为本发明的第一实施例的三维矩形平行六面体的准希尔伯特扫描；

图5示意地表示作为本发明的第二实施例的三维矩形平行六面体的准希尔伯特扫描；

图6示意地表示作为本发明的第三实施例的三维矩形平行六面体的准希尔伯特扫描；

图7表示在被划分的8个区域中的地址的分配；

图8表示在三维空间中的希尔伯特曲线；

图9表示在分割的区域中的扫描图形；

图10表示原始图像数据和压缩的数据之间的关系；

图11表示利用误差表实现高的图像质量的系统配置的方块图；

图12表示原始一维数据和在上述用于压缩的方法中使用的每个部分中的平均值的关系；

图13表示近似的误差数据；

图14是表示利用误差表达到高的图像质量的系统配置的方块图；

图15是由网络构成的按照本发明的系统的配置图；

图16表示按照本发明的方法的处理流程图；

图17是表示在发送图像的服务器和客户之间连接时的初始化处理的方块图；

图18是表示在图像发送服务器开始发送运动图像之后设置变更处理的方块图；

图19是表示在图像发送服务器开始发送运动图像之后设置变更处理的方块图；

图20是表示接收图像的客户的配置的方块图；

图21是表示在图像接收客户的处理的流程图；

图22是表示在服务器的压缩处理的流程图；

图23是表示在客户的解压处理的流程图。

下面详细说明用于实施本发明的方式。

图3是按照本发明的用于压缩图像信息的系统的方块图，图4是作为本发明的第一实施例的表示4×5×6个像素的情况下的三维准希尔伯特扫描的示意图。图5是作为本发明的第二实施例的表示8×8×14个像素的的情况下的三维准希尔伯特扫描的示意图。图6是作为本发明的第三实施例的表示8×8×14个像素的情况下的三维准希尔伯特扫描的示意图。

在图3中，1表示视频摄像机；2表示运动图像输入部分；3表示矩形平行六面体填充扫描部分；4表示运动图像存储器；5表示控制电路；6表示数据压缩部分；7表示积累误差计算部分；8表示分割部分检测部分；9表示可逆编码部分；10表示传输通路；11表示可逆译码部分；12表示数据恢复部分；13表示分割部分恢复部分；14表示滤波处理部分；15表示控制电路；16表示运动图像存储器；17表示矩形平行六面体填充扫描部分；18表示运动图像输出部分；19表示显示器。

按照本发明的用于压缩图像信息的方法，从视频摄像机1输入的运动图像在运动图像输入部分2在控制电路5的集中控制下由矩形平行六面体填充扫描部分3进行三维准希尔伯特扫描，并从三维信息被转换为要被存储在运动图像存储器4中的一维串行信息。来自运动图像存储器4中的一维串行信息被数据压缩部分6发送给可逆编码部分9，在所述数据压缩部分6中，积累误差计算部分7和分割部分检测部分8协同操作。

来自可逆编码部分9的压缩数据通过压缩通路10被发送给可逆译码部分11，并在控制电路15的集中控制下在由分割部分恢复部分13和滤波处理部分14构成的数据恢复部分12被恢复，并被存储在运动图像存储器16中。被存储在数据由矩形平行六面体填充扫描部分17进行三维准希尔伯特扫描，以便通过运动图像输出部分18作为运动图像在显示器19上被显示。

例如，由矩形平行六面体填充扫描部分17进行的三维准希尔伯特扫描在4×5×6个像素的情况下如图4所示，在8×8×14个像素的情况下如图5所示，在8×8×14个像素的情况下如图6所示。

下面逐一详细说明本发明的原理。

首先说明希尔伯特扫描在三维空间中的推广。

(1)用于填充的矩形平行六面体区域的希尔伯特扫描

下面简要说明在三维空间中利用两种表(终止表和引入表)(关于现有技术的文章(3))在立方体区域上进行希尔伯特扫描的方法。

这种三维的Hibert扫描旨在用于X-Y-Z迪卡尔坐标系统中的满足0≤X＜2^m,0≤Y＜2^m,0≤Z＜2^m(m:1,2,…)的立方体区域，并且所述区域包括2^m×2^m×2^m个格点。

下面说明每个像素的地址。

图7表示对于划分的8个区域的地址分配。

如图7a所示，一个立方体区域被分成8个部分，并对分割的每个区域赋予一个地址，如图7b所示。接着，以类似方式对每个分割区域的被进一步划分的8个区域的每个区域赋予地址，并且这些区域的每一个用附加有3个最低位的6位表示。

因此，具有1×1×1的尺寸的区域在进行m分割之后的地址z可以表示为具有m位的二进制符号，如下所示

其中z_i(i=1,2…,m)是具有3位的二进制数，并且X_1,1…X_m,3取0或1的值(图1以二维为例表示地址的分配)。

下面讨论图7所示的8个分割区域的扫描(traverse)，其中每个区域用一个代表性的点表示。在这种情况下，对于8个起点的每一个具有3个终点，当起点和终点被简单地反向所得的组合被删除时，具有12个(=8×3/2)起点和终点的组合。

因此，在本发明中使用的希尔伯特曲线共有12种，如图8所示。每个字母代表一种类型的曲线。由进一步划分每个分割的区域而获得的8个分割区域的每一个也沿着A到M12条曲线的任何一个被穿越。

例如，在曲线A的情况下，图7a所示的8个区域按照顺序000,010,011,001,101,111,110和100被穿越，并在每个区域之间，按照顺序B,B,C,J,J,I,I,E改变希尔伯特曲线的类型，如图9所示。

根据曲线的类型和它被穿越的顺序，两类信息即地址信息和曲线类型的信息被分别存储在终止表T_trm[γ_j][i_j]和引入表T_ind[γ_j][i_j]中。其中γ_j(=A,B,…,K,M)表示在j次分割之后曲线的类型，并且i_j(=1,2,…8)表示在j次分割之后8个分割区域的扫描顺序。例如，对于由曲线γ₀=A扫描的第8个区域，查阅Z₁=T_trm[A][8]=100，和γ₁=T_ind[A][8]=E。

用于查阅地址的终止表(T_trm)和用于查阅曲线类型的引入表被表示如下：

T_trm[A]=[000,010,011,001,101,111,110,100]

T_trm[B]=[000,001,101,100,110,111,011,010]

T_trm[C]=[000,100,110,010,011,111,101,001]

T_trm[D]=[110,100,101,111,011,001,000,010]

T_trm[E]=[110,111,011,010,000,001,101,100]

T_trm[F]=[110,010,000,100,101,001,011,111]

T_trm[G]=[101,111,110,100,000,010,011,001]

T_trm[H]=[101,100,000,001,011,010,110,111]

T_trm[I]=[101,001,011,111,110,010,000,100]

T_trm[J]=[011,001,000,010,110,100,101,111]

T_trm[K]=[011,010,110,111,101,100,000,001]

T_trm[M]=[011,111,101,001,000,100,110,010]

T_ind[A]=[B,C,C,J,J,I,I,E]

T_ind[B]=[C,A,A,H,H,D,D,M]

T_ind[C]=[A,B,B,F,F,K,K,G]

T_ind[D]=[E,F,F,G,G,M,M,B]

T_ind[E]=[F,D,D,K,K,A,A,I]

T_ind[F]=[D,E,E,C,C,H,H,J]

T_ind[G]=[H,I,I,D,D,C,C,K]

T_ind[H]=[I,G,G,B,B,J,J,F]

T_ind[I]=[G,H,H,M,M,E,E,A]

T_ind[J]=[K,M,M,A,A,F,F,H]

T_ind[K]=[M,J,J,E,E,G,G,C]

T_ind[M]=[J,K,K,I,I,B,B,D]

通过省略算法1的括号中的处理，设i_M+1为1到8，并用T_trm代替地址参考表可以提供一种专用的算法。

(2)用于填充的矩形平行六面体区域的希尔伯特扫描

按照本发明，上述的对于立方体(2^m×2^m×2^m)的三维希尔伯特扫描被扩展成为可以处理矩形平行六面体区域的一种扫描方法。

希尔伯特扫描通常用于扫描立方体区域，并具有有限的应用范围。本发明采用一种对矩形平行六面体区域进行三维准希尔伯特扫描的方法，该方法基于利用两种表进行顺序处理的技术。因此，在计算次数和硬件实现方面，比根据递归处理的方法具有许多优点。

由立方体实现到矩形平行六面体实现的扩展涉及到两点，即，把在递归分割期间边划分的规则改变为8个部分，并改变地址的3个最低有效位的指定。

在递归分割期间，按照以下规则将每个边划分成8个部分。

(1)具有偶数长度的边在最接近于中点的分割点被分割成具有偶数长度的边。

(2)具有奇数长度的边在最接近于中点的分割点被分割成具有奇数长度的边。

按照所述的划分规则，在经过m次划分成为两部分之后，具有长度2^m的一个线段被划分成具有长度“a”的2^m个线段，因此，当长度为l的线段满足2×2^m≤1＜4×2^m时，在经过m次划分为两部分之后，1被划分为2^m个线段，其是线段长度2,3,和4的组合。因此，在的边长度为1_x,1_y,1_z的矩形平行六面体区域满足

2×2^m≤1_x＜4×2^m,

2×2^m≤1_y＜4×2^m,

2×2_m≤1_z＜4×2^m    …(1)

的情况下，在m次分割8个部分之后，产生具有长度为2,3和4的组合的边的矩形平行六面体(以后这种作为最小单位的矩形平行六面体被称为“块”)。

在满足公式(1)的矩形平行六面体的情况下，满足扫描条件：(1)起点和终点必须在块的同一个边出去和(2)要被进行的向地址之间的孤峰(humming)距离是1的格点的运动的块的边长当用(1_x,1_y,1_z)表示时具有12种组合：(2×2×2),(2×3×2),(2×2×4),(2×4×2),(4×2×2),(2×3×4),(4×3×2),(2×4×4),(4×2×4),(4×4×2),(4×3×4)，和(4×4×4)。

在立方体(2^m×2^m×2^m)的情况下，通过分割该立方体只产生块(2×2×2)。

需要对矩形平行六面体的地址的最低有效位重新赋值，因为作为分割的结果而产生的块和由立方体产生的块不同。

每个块的地址被存储在终止表[p][γ][i]中，其中p(=1,2,…,12)是对每个块指定的数，γ和i和T_trm中的相同。例如，对于块(2×2×4)，查阅P T_trm[3][A][16]=1000。

作为表的第一个参数的数3是代表块(2×2×4)的数。

因此，对于满足公式1的矩形平行六面体的和在立方体的情况下一样对分割成的8个部分进行m次扫描，并且此后可以通过在和每个块相关的终止表P T_trm上查阅地址对矩形平行六面体区域指定地址。

根据这种思路，获得用于计算基于递归的满足公式1的矩形平行六面体区域(1_x ⁰×1_y ⁰×1_z ⁰)的所有地址的算法。其中，1_x ^k×1_y ^k×1_z ^k表示分割k次之后的每个边的长度。

下面说明对于一个希尔伯特地址(γ₁,1_x ⁰,1_y ⁰,1_z ⁰,m)的算法1。

对于i₁=1,2,…,8

z₁=T_trm[γ₁][i₁]:γ₂=T_ind[γ₁][i₁]；

{按照划分规则分割区域(1_x ⁰×1_y ⁰×1_z ⁰)，从而确定和z1相关的分割区域的边长(1_x ¹×1_y ¹×1_z ¹)}

对于i_m=1,2,…,8

z_m=T_trm[γ_m][i_m]:γ_m+1=T_ind[γ_m][i_m]；

{按照划分规则分割区域(1_x ^m-1×1_y ^m-1×1_z ^m-1)，从而确定和z_m相关的分割区域的边长(1_x ^m×1_y ^m×1_z ^m)}

{确定和1_x ^m×1_y ^m×1_z ^m相关的块(p)}

对于i_m+1=1,…1_x ^m×1_y ^m×1_z ^m

z_m+1=P T_trm[γ_m+1][i_m+1]；

输出<z₁,…z_m z_m+1>

此处我们假定在扫描区域内的格点的总数是1_x ⁰×1_y ⁰×1_z ⁰=LN。此时，所述算法需要的计算量O(LN)大约只是LN的两倍。

虽然本发明和利用递归处理的希尔伯特扫描的推广(关于现有技术的文章(1))相比，因为希尔伯特扫描的推广是第一种用于三维的专门的方法，但是，这种方法比本发明的方法占用的计算时间长得多，因为其中涉及包括递归处理的复杂的处理，像在二维应用中那样。

在由希尔伯特扫描获得的一维序列的顺序和在三维空间中的格点的地址之间具有一一对应的关系，因此可以彼此从对方导出。此处不对特定的方法进行说明，因为这和关于现有技术的文章(2)中披露的相同。

本发明的方法限制于上述的下列条件。

(1)(最短边的长度)≤(最长边的长度)≤2×(最短边的长度)。

(2)起点扣终点所在边的长度和在正交方向上不包括起点和终点的平面的边的长度是奇数长度。

在由上述(1)确定的范围之外的尺寸可以通过在满足(1)的尺寸中连续地排列矩形平行六面体被基本上覆盖。

虽然必须规定上面的项(2)，以便在将来扩展到不受限制的任意尺寸的应用，但是这个问题可以通过在图像的边沿增加一行扫描来解决。

按照本发明的方法，通过使用两种表消除了递归处理。

表1总结了这些表的存储容量。

表1

被扫描对象	存储容量(字节)
		立方体	34

矩形平行六面体(不利用对称性)	2280
		矩形平行六面体(利用对称性)	495

用于立方体填充扫描所需的表是在“用于填充立方体区域的希尔伯特扫描”一节中所述的表(终止表和引入表)。虽然需要增加三维准希尔伯特扫描的每个方块的地址信息表，但是利用图8所示的曲线的对称性使得可以大大减少用于存储表所需的容量。表1表示，当利用对称性时，存储容量的增加可以被抑制到1/5。因而，即使在矩形平行六面体的情况下，所述的表也可以被配置相当小的存储容量。由上述的两种表产生的表示三维准希尔伯特扫描的顺序的表被叫做“查阅表”。

下面说明按照本发明的用于压缩信息的方法。

在运动图像中，具有X×Y个像素的z帧图像当以三维方式观看时形成一个矩形平行六面体。此处利用根据上述的查阅表通过矩形平行六面体填充扫描部分6进行的三维准希尔伯特扫描提供一种以高的图像质量和高的速度压缩运动图像的技术。对于由X×Y×Z三维准希尔伯特扫描解压的一维数据进行基于门限的分割处理。

下面说明分割处理。

一维数据{x_i,i=1,2,…,SIZE}的第i个到第(N-1)个N个像素值的平均值X_i如下： $\stackrel{-}{x}=\frac{1}{N}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{x}_{i+j}$

其中N不是一个预定的值，并参考下述的误差被确定。在平均值X和初始一维数据{x_i,i=0,1,…,(N-1)}的一部分之间的累积的方差e₁(N)如下： $e_1\left(N\right)=\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{x_{i+j}}^{-}x$

由直到e_i预先给定的门限THRE的第(N-1)个像素确定一部分。这种处理从一维数据的开头按顺序进行。这种压缩算法如下：子程序GROUPING根据计算的值确定分割点。SIZE表示总的像素数，THRE表示判据e_i的门限。

[压缩算法]

Main  (){

通过平行六面体填充扫描得到一维数据{x_i,i=1,2…,SIZE}

k=1:i=1:

while(i≤SIZE)

{

Grouping(i,N,x):

1_k=N:c_k=x:k++:

i=i+N:

}

K=k-1；

编码和输出{1_k}和{C_k}(k=1,2…,K)；}subgrouping(i,N,x){

for(j=1:j≤SIZE；j++)

{

计算{x_i,x_i+1,…,x_i+j}的平均值x； $e_l\left(N\right)=\underset{m=0}{\overset{j}{\mathrm{\&Sigma;}}}(X_{i+m}\stackrel{-}{X});$ if(e_i(N)＞THRE)break；

}

N=j；}

可以使用其它的距离，例如市街区距(绝对值)。

图10表示这样获得的压缩数据和初始图像之间的关系。压缩数据由亮度值c_k和亮度值持续的长度1_k表示。

压缩数据可以沿着由矩形平行六面体填充扫描部分17进行的三维准希尔伯特扫描，通过在被看作矩形平行六面体的运动图像中{l_k}和{c_k}的隐藏数据的简单处理被恢复。用于恢复运动图像数据的算法如下。在滤波处理14进行的滤波处理是一种常规技术。例如，其中使用平滑滤波器。

[恢复算法]

[Restoration Algorithm]

Main

{

解码{1_k}和{C_k}(k=1,2…,K):

通过平行六面体填充扫描部分17执行的三维伪希尔伯特扫描，在长度{1_k}上进行解压缩{C_k}

执行滤波处理}

下面参照图12说明在数据压缩部分6的分割部分检测部分8进行的分割部分的检测。

假定THRE=10。首先，按照顺序从点1检查累积的误差，以便确定一个第一部分。

(1)因为x₁=5，所以当j=1，即当包括点x₂=7时，在x=6和e=2计算平均值x和累积误差e。然后，因为此时e＜THRE，所以检查下一个点。

(2)当j=2，即当包括点x₃=9时，在x=7和e=8计算平均值x和累积误差e。然后，因为此时e＜THRE，所以检查下一个点。

(3)当j=3，即当包括点x₄=7时，在x=7和e=8计算平均值x和累积误差e。然后，因为此时e＜THRE，所以检查下一个点。

(4)当j=4，即当包括点x₅=2时，在x=6和e=28计算平均值x和累积误差e。因为此时e＞THRE，所以点x₁,x₂,x₃,x₄在同一部分。

因为这样便确定了第一部分，所以从点5确定第二部分。

(1)因为x₅=2，当j=1，即当包括点x₆=4时，在x=3和e=2计算平均值x和累积误差e。然后，因为此时e＜THRE，所以检查下一个点。

(2)当j=2，即当包括点x₇=3时，在x=3和e=2计算平均值x和累积误差e。然后，因为此时e＜THRE，所以检查下一个点。

(3)以类似方式对j=3,4,…,计算平均值x和累积误差e。然后e＞THRE的点确定同一部分。点x₅,x₆,x₇,x₈在同一部分。

这样，便确定了第二部分。

重复上述的处理，直到覆盖所有的数据。

按照本发明的用于高速压缩图像信息的方法使得能够改善图像信息的压缩效率，如图11所示。图中所示的图像只是利用0.19位/像素的压缩比(只对亮度)进行压缩的Miss America(360×288像素/帧)。

具体地说，图11的水平轴和垂直轴分别表示帧数和处理时间(秒)；曲线“a”表示按照本发明进行的图像信息压缩；曲线“b”表示按照现有技术(MPEG：运动图像专家组，运动图像图像编码专家组，它们是关于运动图像压缩的国际标准系统)进行的图像信息压缩。

由图可见，按照本发明，处理时间大约为2.5秒，而按照现有技术，则大约为28秒，因而处理时间被大约缩短到原来的1/10。

根据在数据压缩期间使用的平均值门限THRE的大小，可能发生图像质量的降低。具体地说，大的门限THRE引起图像质量的降低，尽管其增加了压缩比。小的门限THRE减少压缩比，从而增加传递时间，虽然其改善了图像质量。下面说明能够满足压缩比和图像质量两者的要求同时能够抑制和门限THRE有关的图像质量的任何降低的一种技术。

图12表示在上述的压缩方法中使用的原始的一维数据和每个部分的平均值的关系。

这是一个如图13所示的逼近的误差数据{y_i,i=1,2,…,SIZE}。在服务器和客户制备多个这种逼近的误差图形或误差图形。在服务器和压缩数据一道向客户传递在数据压缩期间接近一个微分波形的误差图形的代码。在数据解压期间，相关的误差图形的波形在客户被叠加在解压的数据上，以便恢复所述数据。图14表示用于实现这种方法的配置。图14a表示在服务器的压缩操作，图14b表示在客户的恢复操作。

这使得可以提供具有高的图像质量的运动图像。

虽然上述的实施例说明了参照有关三维准希尔伯特扫描方法把观看的运动图像转换为一维的串行信息，但是所述的转换也可以使用其它方法进行。

下面说明利用按照本发明的高速压缩图像信息的方法进行传递实时的动态图像的方法。图15是由网络N例如LAN(内联网)或互联网构成的按照本发明的系统的配置图，图16表示按照本发明的方法的处理流程的一个例子。按照本发明，使多个计算机通过网络N相连。其中至少一个计算机是运动图像传递端(以后称为“服务器S”)，在其中设置视频捕捉卡和视频摄像机V。其它的计算机是客户机C。按照本发明，通过以下处理传递运动图像。

(1)在服务器S执行服务器程序。

(2)在客户C执行客户程序。

(3)从客户C到任何服务器S建立连接(可能有多个服务器)。

(4)客户C请求服务器S提供标准规范的图像。

(5)服务器S向客户C连续地发送请求的运动图像。

(6)客户C根据需要改变请求的内容。

(7)服务器S相应地产生、转换或删除一个压缩和传递拖运器。

具体地说，如图16所示，客户C向服务器S发送关于传递速度、图像尺寸、图像数量等的信息，并取回传递速度信息，将其设置为控制显示间隔t1。接着，服务器S例如借助于视频捕捉以上述的显示间隔t1获取来自电视摄像机的图像信号，并使用查阅表LUT对获取的图像进行压缩，以便按照显示间隔t1实现压缩速度、图像尺寸和图像数量，并和获取的间隔信息t1一道向客户发送图像数据。客户C的计算机使用查阅表LUT对压缩的图像进行解压，并以获取间隔t1在显示器上显示图像。当它们收到图像数据时，它们还测量传递速度，并向服务器S发送传递速度的信息。服务器S利用和传递速度信息相应的值更新显示间隔t1，以便按照客户C的特征例如图像处理速度获取图像。

下面参照实施例详细说明本发明。

图17是表示在图像发送服务器和客户连接时进行的初始化处理的方块图。所述的处理如下：

从客户接收速度设置。

(2)将设置的内容通知管理拖运器。

(3)从管理表中检索和设置的内容一致的拖运器。

(4)如果存在具有相同设置的拖运器，则指定现有的拖运器。如果不存在，则产生一个新的压缩拖运器，并指定该拖运器。

(5)产生包括速度信息的压缩数据。

(6)在指定的压缩拖运器上向客户传递压缩数据。

图18是表示在发送运动图像之后在图像发送服务器改变设置的处理的方块图。图19是上述处理的流程图，所述的处理如下。

(1)从客户接收速度设置。

(2)把设置的内容通知管理拖运器。

(3)从管理表中检索和设置的内容一致的拖运器。

(4)如果存在具有相同设置的拖运器，则指定现有的拖运器。如果不存在，则产生一个新的压缩拖运器，并指定该拖运器。

(4’)同时删除不使用的压缩拖运器。

(5)产生包括速度信息的压缩数据。

(6)在指定的压缩拖运器上向客户传递压缩数据。

图20是表示接收图像的客户的配置的方块图，图21是表示下述处理的流程图。

(1)从设置菜单输入速度。

(2)把设置的内容通知管理拖运器。

(3)把设置的内容发送给服务器。

(4)发送请求压缩数据的下一个请求。

(5)接收压缩的数据。

(6)从压缩数据中检索速度信息。

(7)在下述拖运器中设置所述速度信息。

(8)按照速度信息显示图像。

图22是在服务器进行的压缩处理的流程图。在所述压缩处理中，同时进行压缩图像信号的处理和用于增加传递速度的处理。通过产生包括速度信息和图像尺寸的图像信息并压缩每个亮度信号、红色偏差信号和蓝色偏差信号使图像被压缩。在用于增加传递速度的压缩处理中，多个图像被组合成三维图像，然后把图像转换成一维数据，进行分割处理，并被编码，以便发送给客户。

图23是在客户进行的解压处理的流程图。在解压处理中，同时进行解压压缩的图像信号的处理和解压压缩的传输信号的处理。通过提取包括图像尺寸和速度信息的图像信息并解压每个亮度信号、红色偏差信号和蓝色偏差信号使压缩数据被解压。解压压缩的传输信号的处理涉及合成处理，综合处理，将其转换为三维数据的处理和将其分割为多个图像以便在显示器上显示原始图像的处理。

如上所述，按照本发明的用于高速压缩图像信息的方法具有如下效果。

因为使用基于利用和三维空间中的矩形平行六面体区域有关的查阅表的顺序处理的技术，所以可以避免由普通的递归计算引起的输出量的减少和成本的增加。

特别是，可以用低的成本提供用于以高的速度和质量压缩运动图像信息的技术。运动图像信息是一种数量巨大的信息，把这种大量的信息通过三维矩形平行六面体填充扫描将三维信息转换成具有高的邻近保持特性的一维串行信息。此外，可以合适地消除运动图像的重复。

因而，可以建立一种更实际的处理，用于压缩和在三维空间中的矩形平行六面体区域有关的运动图像信息。特别是，使用快速单独压缩和恢复处理，利用层次和与图像具有小的依赖性的压缩参数进行的转换处理可以大大地促进数字图像压缩技术的发展。

按照本发明的用于传递实时运动图像的方法，使用表示由两种表产生的扫描顺序的查阅表，使得可以大大减少压缩速度，从而可以进行图像的实时压缩。借助于对不同的图像尺寸和图像数量动态地产生任意的压缩和传递拖运器，可以满足不同的要求。通过自动地产生用于在不同的时基上选择、压缩和传递任意图像的拖运器，可以使以不同的时间间隔传递图像的要求和网络的速度匹配。因为该方法是完全基于软件的，其中反映了CPU的性能，因而，CPU的处理速度的增加使得能够相应地增加图像尺寸和图像数量。

按照本发明的高速压缩图像信息的方法不限于上述的实施例，不脱离本发明的构思根据本发明的原理可以作出各种改变和改型。

本发明可以应用于图像压缩和实时的运动图像的传输领域。

权利要求书

按照条约第19条的修改

1．一种用于以高的速度压缩图像信息的方法，其特征在于，包括三维信息的拍摄运动图像通过使用表示扫描三维空间中的矩形平行六面体区域的顺序的查阅表逐个地被转换成一维的串行信息，并且其中对所述转换的数据进行数据压缩。

2．按照权利要求1所述的用于压缩图像信息的方法，其特征在于，可以通过矩形平行六面体填充扫描把拍摄运动图像转换为一维的串行信息。

3．按照权利要求2所述的用于压缩图像信息的方法，其特征在于，用于递归分割矩形平行六面体块每一边作为所述矩形平行六面体填充扫描的最小单位的规则被这样规定，使得具有偶数长度的边在最接近于中点的分割点被分割成具有偶数长度的边；具有奇数长度的边在最接近于中点的分割点被分割成具有奇数长度的边和具有偶数长度的边；并相应地规定矩形平行六面体区域的地址。

4．按照权利要求2所述的用于压缩图像信息的方法，其特征在于，所述数据压缩是使用一个门限分割通过所述矩形平行六面体填充扫描解压的一维数据的一种处理。

5．按照权利要求4所述的用于压缩图像信息的方法，其特征在于，所述的分割处理把一维数据划分成由所述一维数据得到最小方差的部分，并产生每个部分的线性近似的压缩数据，

6．按照权利要求1到5任何一个所述的用于压缩图像信息的方法，其特征在于在压缩的数据和原始数据之间的微分波形被分割并被分类成为多个型式，以便制备误差图形；接近所述微分波形的误差图形的代码在数据压缩时被加于压缩的数据；以及在数据解压期间通过在解压的数据上叠加和相关的误差图形代码有关的误差图形的波形恢复所述数据。

7．(删除)

8．一种用于压缩图像信息的系统，其特征在于其包括：

(a)用于拍摄运动图像的拍摄装置；

(b)矩形平行六面体填充扫描装置，用于扫描所述拍摄运动图像，并用于使用表示在三维空间中扫描矩形平行六面体区域的顺序的查阅表把三维信息转换成一维串行信息；

(c)用于存储所述一维串行信息的第一运动图像存储装置；

(d)用于压缩从所述第一运动图像存储装置读出的数据的数据压缩装置；

(e)用于所述压缩的数据的可逆编码部分；

(f)用于来自所述可逆编码部分的压缩的数据的传输通路；

(g)用于所述被传输的压缩数据的可逆译码部分；

(h)用于从所述可逆译码部分恢复数据的部分；

(i)用于存储来自数据恢复部分的数据的第二运动图像存储装置；

(j)用于扫描从所述第二运动图像存储装置读出的压缩数据并和矩形平行六面体区域相关的矩形平行六面体填充扫描装置；以及

(k)用于显示输出的运动图像的显示装置。

9．一种用于把来自服务器的拍摄的运动图像实时地传递给客户的方法，其特征在于包括三维信息的拍摄的运动图像通过使用表示扫描三维空间中的矩形平行六面体区域的顺序的查阅表逐个地被转换成一维的串行信息，并且其中对所述转换的原始数据使用软件压缩技术进行压缩，并通过通信通路被传输。

10．如权利要求9所述的用于实时地传递运动图像的方法，其特征在于在压缩的近似数据和原始数据之间的微分波形被分割并被分类成为多个型式，以便在每个服务器和客户制备误差图形；在服务器进行数据压缩时对接近所述微分波形的误差图形的代码和压缩数据一道被传递给客户；以及在数据解压期间在客户通过在解压的数据上叠加相关的误差图形的波形恢复所述数据。

11．如权利要求9或10所述的用于实时地传递运动图像的方法，其特征在于按照来自客户的请求动态地产生查阅表。

12．如权利要求11所述的用于实时地传递运动图像的方法，其特征在于使用查阅表，在所述查阅表上按照客户的请求可以列出任何尺寸的图像。

13．如权利要求11或12所述的用于实时地传递运动图像的方法，其特征在于使用查阅表，在所述查阅表上按照客户的请求可以列出任何数量的图像。

14．如权利要求9所述的用于实时地传递运动图像的方法，其特征在于图像的压缩比按照客户的请求被改变。

15．如权利要求9到14任何一个所述的用于实时地传递运动图像的方法，其特征在于对于客户的每个请求产生一个特定的压缩和传递拖运器。

16．如权利要求9到15任何一个所述的用于实时地传递运动图像的方法，其特征在于图像之间的间隔按照客户的请求被改变。

17．如权利要求9到16任何一个所述的用于实时地传递运动图像的方法，其特征在于提供管理装置用于同时处理来自多个客户的每个客户的请求。

Claims (17)

1．一种用于以高的速度压缩图像信息的方法，其特征在于，包括三维信息的被观看的运动图像通过使用和在三维空间中的矩形平行六面体区域相关的查阅表逐个地被转换成一维的串行信息，并且其中对所述转换的数据进行数据压缩。

2．按照权利要求1所述的用于压缩图像信息的方法，其特征在于，可以通过三维准希尔伯特扫描把观看的运动图像转换为一维的串行信息。

3．按照权利要求2所述的用于压缩图像信息的方法，其特征在于，用于递归分割矩形平行六面体每一边的方块作为用于所述三维准希尔伯特扫描的最小单位的规则被这样规定，使得具有偶数长度的边在最接近于中点的分割点被分割成具有偶数长度的边；具有奇数长度的边在最接近于中点的分割点被分割成具有奇数长度的边；并相应地规定矩形平行六面体区域的地址。

4．按照权利要求2所述的用于压缩图像信息的方法，其特征在于，所述数据压缩是使用一个门限分割通过三维准希尔伯特扫描解压的一维数据的一种处理，

5．按照权利要求4所述的用于压缩图像信息的方法，其特征在于，所述的分割处理把一维数据划分成由所述一维数据得到最小方差的部分，并产生每个部分的线性近似的压缩数据，

6．按照权利要求1到5任何一个所述的用于压缩图像信息的方法，其特征在于在压缩的数据和原始数据之间的微分波形被分割并被分类成为多个型式，以便制备误差图形；接近所述微分波形的误差图形的代码在数据压缩时被加于压缩的数据；以及在数据解压期间通过在解压的数据上叠加和相关的误差图形代码有关的误差图形的波形恢复所述数据。

7．一种用于压缩图像信息的系统，其特征在于其包括：

(a)用于观看运动图像的图像拾取装置；

(b)用于把和矩形平行六面体区域相关的三维信息转换成一维串行信息的三维准希尔伯特扫描装置；

(c)用于存储所述一维串行信息的运动图像存储装置；以及

(d)用于压缩从运动图像存储装置读出的数据的数据压缩装置。

8．一种用于压缩图像信息的系统，其特征在于其包括：

(a)用于观看运动图像的图像拾取装置；

(b)用于把和矩形平行六面体区域相关的三维信息转换成一维串行信息的三维准希尔伯特扫描装置；

(c)用于存储所述一维串行信息的运动图像存储装置；以及

(d)用于压缩从所述运动图像存储装置读出的数据的数据压缩装置；

(e)用于所述压缩的数据的可逆编码部分；

(f)用于来自所述可逆编码部分的压缩的数据的传输通路；

(g)用于被传输的压缩数据的可逆译码部分；

(h)用于从所述可逆译码部分恢复数据的部分；

(i)用于存储来自数据恢复部分的数据的第二运动图像存储装置；

(j)用于扫描从运动图像存储装置读出的压缩数据的和矩形平行六面体区域相关的三维准希尔伯特扫描装置；以及

(k)用于显示输出的运动图像的显示装置。

9．一种用于把来自服务器的观看的运动图像实时地传递给客户的方法，其特征在于包括三维信息的被观看的运动图像通过使用和三维空间中的矩形平行六面体区域相关的查阅表被逐个地转换成一维的串行信息，并且使用软件压缩技术压缩转换的原始数据，并通过通信通路传递转换的原始数据。

10．如权利要求9所述的用于实时地传递运动图像的方法，其特征在于在压缩的近似数据和原始数据之间的微分波形被分割并被分类成为多个型式，以便在每个服务器和客户制备误差图形；在服务器进行数据压缩时对接近所述微分波形的误差图形的代码和压缩数据一道被传递给客户；以及在数据解压期间在客户通过在解压的数据上叠加相关的误差图形的波形恢复所述数据。

11．如权利要求9或10所述的用于实时地传递运动图像的方法，其特征在于按照来自客户的请求动态地产生查阅表。

12．如权利要求11所述的用于实时地传递运动图像的方法，其特征在于使用查阅表，在所述查阅表上按照客户的请求可以列出任何尺寸的图像。

13．如权利要求11或12所述的用于实时地传递运动图像的方法，其特征在于使用查阅表，在所述查阅表上按照客户的请求可以列出任何数量的图像。

14．如权利要求9所述的用于实时地传递运动图像的方法，其特征在于图像的压缩比按照客户的请求被改变。

15．如权利要求9到14任何一个所述的用于实时地传递运动图像的方法，其特征在于对于客户的每个请求产生一个特定的压缩和传递拖运器。

16．如权利要求9到15任何一个所述的用于实时地传递运动图像的方法，其特征在于图像之间的间隔按照客户的请求被改变。

17．如权利要求9到16任何一个所述的用于实时地传递运动图像的方法，其特征在于提供管理装置用于同时处理来自多个客户的每个客户的请求。

Images