CN102186067B - 一种图像帧的传输方法和装置、显示方法和系统 - Google Patents

Abstract

本发明公开了一种图像帧的传输方法和装置、显示方法和系统；所述传输方法包括：分别为图像帧中的每个像素点添加描述信息；所述描述信息包括该像素点的以下任一项或任几项信息：纹理分布值、能量分布值、表示该像素点为前景或背景的值；根据各像素点的所述描述信息，将所述图像帧分割为多个图像块，并设定每个所述图像块的优先级；为各图像块添加该图像块的控制信息，所述控制信息用于标识该图像块的优先级、所属图像帧、及在该图像帧中的位置；按照优先级从高到低的顺序，传输所述图像帧分割成的所述图像块及图像块的控制信息。本发明在图像数据量较大，而传输带宽有限的情况下，能使得用户能尽快看到期望的显示结果。

Description

一种图像帧的传输方法和装置、显示方法和系统

技术领域

本发明涉及图像处理领域，尤其涉及一种图像帧的传输方法和装置、显示方法和系统。

背景技术

随着不同显示技术的发展，传统的显示方法和显示过程中的图像处理技术不能很好的支持新技术的发展，传统的图像显示都是直接将要显示和传输的影像直接进行传输显示，不仅要占用较高的数据传输带宽，还占用较大的存储空间。

发明内容

本发明要解决的技术问题是如何在图像数据量较大，而传输带宽有限的情况下，使得用户能尽快看到期望的显示结果。

为了解决上述问题，本发明提供了一种图像帧的传输方法，包括：

分别为图像帧中的每个像素点添加描述信息；所述描述信息包括该像素点的以下任一项或任几项信息：纹理分布值、能量分布值、表示该像素点为前景或背景的值；

根据各像素点的所述描述信息，将所述图像帧分割为多个图像块，并设定每个所述图像块的优先级；为各图像块添加该图像块的控制信息，所述控制信息用于标识该图像块的优先级、所属图像帧、及在该图像帧中的位置；

按照优先级从高到低的顺序，传输所述图像帧分割成的所述图像块及图像块的控制信息，所述根据各像素点的所述描述信息，将图像帧分割为多个图像块，并设定每个所述图像块的优先级的步骤包括：

对于各像素点，将该像素点的描述信息中的各个值加权相加，得到该像素点的总值；

按照总值将所述图像帧分割为多个图像块；

根据各图像块中像素点的总值的平均值设定各图像块的优先级，所述平均值越高的图像块的优先级越高。

进一步地，分别为各图像块添加该图像块的控制信息的步骤后，传输所述图像帧分割成的所述图像块及图像块的控制信息的步骤前还包括：

按照预存的优先级和压缩算法的对应关系，对不同优先级的图像块分别按照该优先级对应的压缩算法进行压缩。

本发明还提供了一种图像帧的显示方法，包括：

分别为图像帧中的每个像素点添加描述信息；所述描述信息包括该像素点的以下任一项或任几项信息：纹理分布值、能量分布值、表示该像素点为前景或背景的值；

根据各像素点的所述描述信息，将所述图像帧分割为多个图像块，并设定每个所述图像块的优先级；为各图像块添加该图像块的控制信息，所述控制信息用于标识该图像块的优先级、所属图像帧、及在该图像帧中的位置；

按照优先级从高到低的顺序，传输所述图像帧分割成的所述图像块及图像块的控制信息；

接收所述图像块；

根据所述图像块的控制信息将各图像块显示在相应位置上，显示时按照所述图像块的优先级的顺序显示各图像块，所述根据各像素点的所述描述信息，将图像帧分割为多个图像块，并设定每个所述图像块的优先级的步骤包括：

对于各像素点，将该像素点的描述信息中的各个值加权相加，得到该像素点的总值；

按照总值将所述图像帧分割为多个图像块；

根据各图像块中像素点的总值的平均值设定各图像块的优先级，所述平均值越高的图像块的优先级越高。

进一步地，分别为各图像块添加该图像块的控制信息的步骤后，传输所述图像帧分割成的所述图像块及图像块的控制信息的步骤前还包括：

按照预存的优先级和压缩算法的对应关系，对不同优先级的图像块分别按照该优先级对应的压缩算法进行压缩；

接收所述图像块的步骤后，根据所述图像块的控制信息将各图像块显示在相应位置上的步骤前还包括：

按照预存的优先级和压缩算法的对应关系，对不同优先级的图像块分别按照该优先级对应的解压缩算法进行解压缩。

本发明还提供了一种图像帧的传输装置，包括：

预处理模块，用于分别为图像帧中的每个像素点添加描述信息；所述描述信息包括该像素点的以下任一项或任几项信息：纹理分布值、能量分布值、表示该像素点为前景或背景的值；

分割模块，用于根据各像素点的所述描述信息，将所述图像帧分割为多个图像块，并设定每个所述图像块的优先级；为各图像块添加该图像块的控制信息，所述控制信息用于标识该图像块的优先级、所属图像帧、及在该图像帧中的位置；

发送模块，用于按照优先级从高到低的顺序，传输所述图像帧分割成的所述图像块及图像块的控制信息，所述分割模块包括：

计算单元，用于对于各像素点，将该像素点的描述信息中的各个值加权相加，得到该像素点的总值；

划分单元，用于按照总值将所述图像帧分割为多个图像块；

设置单元，用于根据各图像块中像素点的总值的平均值设定各图像块的优先级，所述平均值越高的图像块的优先级越高。

进一步地，所述的装置还包括：

压缩模块，用于按照预存的优先级和压缩算法的对应关系，对所述分割模块分割得到的、不同优先级的图像块分别按照该优先级对应的压缩算法进行压缩，然后传输给所述发送模块。

本发明还提供了一种图像帧的显示系统，包括：

上述传输装置；

终端，包括：

接收模块，用于接收所述图像块；

显示模块，用于根据所述图像块的控制信息将各图像块显示在相应位置上，显示时按照所述图像块的优先级的顺序显示各图像块。

本发明的技术方案对图像进行分割和设定优先级，对高分辨率或立体图像等数据量较大的图像，可以在传输带宽有限，不能够在有限的时间内传输全部数据的情况下，使得用户能在最短时间内看到期望看到的显示结果。本发明的优化方案还能够根据不同图像块的优先级动态调整压缩算法，分块压缩，提高压缩效率。

附图说明

图1是实施例一中例子里的图像帧；

图2是对图1中的图像帧分割后得到的图像块；

图3是实施例三中图像帧的传输装置的示意框图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一，一种图像帧的传输方法，包括：

分别为图像帧中的每个像素点添加描述信息；所述描述信息包括该像素点的以下任一项或任几项信息：纹理分布值、能量分布值、表示该像素点为前景或背景的值；

根据各像素点的所述描述信息，将所述图像帧分割为多个图像块，并设定每个所述图像块的优先级；为各图像块添加该图像块的控制信息，所述控制信息用于标识该图像块的优先级、所属图像帧、及在该图像帧中的位置；

按照优先级从高到低的顺序，传输所述图像帧分割成的所述图像块及图像块的控制信息。

本实施例可以将图像帧按照优先级分块进行传输，在传输带宽有限的情况下，可以优先将用户可能会最关心的图像块传输出去，这样接收端也可以优先接收到用户可能最关心的图像并显示，缩短用户的等待时间。

本实施例中，可以按照任一种现有的方式得到像素点的纹理分布值、能量分布值、表示该点为前景或背景的值；所述纹理分布值是对图像进行纹理分析后得到的结果值，可以但不限于为纹理分析得到的共生矩阵中像素所对应的元素的值。

在对前景和背景进行划分时，既可以采用传统的阀值分割，也可以采用分析整幅图像的能量分布的方法，还可以采用注意视觉的方法，分割出人眼最直接感兴趣的区域作为重要的前景部分；比如在前景分割中得到了一个大概的前景区域结果，将这个前景的预处理结果做为输入，使用graph cut或模糊分割的方法，对包含了前景和背景边界的图像块进行处理，得到精确的分割结果。

例如对图1所示的图像帧进行分割，得到图2中的图像块，在最初的预处理过程中，得到了整幅图像中的树和礁石是图像的前景，但预处理的结果是不准确的，可能只包含了50％或者更少的有效信息，将这些有限的有效信息作为graph cut或者模式分割的输入，精确分割算法会对该图像块进行图像特征提取，比如其中的颜色信息，图像矩特征，像素的概率分布特征等等，分辨出前景礁石和背景的精确边界。

本实施例中，纹理分布越丰富，所述纹理分布值越高；能量越大，所述能量分布值越高；所述表示该像素点为前景或背景的值，可以但不限于用“1”表示是该像素点为前景，用“0”表示是该像素点为后景。

本实施例中，所述根据各像素点的所述描述信息，将图像帧分割为多个图像块，并设定每个所述图像块的优先级的步骤具体可以包括：

对于各像素点，将该像素点的描述信息中的各个值加权相加，得到该像素点的总值；

按照总值将所述图像帧分割为多个图像块；

根据各图像块中像素点的总值的平均值设定各图像块的优先级，所述平均值越高的图像块的优先级越高。

本实施例中，按照总值将所述图像帧分割为多个图像块的步骤可以按照现有的分割方案实现，比如膨胀、腐蚀等。

本实施例中，将该像素点的描述信息中的各个值加权相加，当描述信息中有多个值时，对于各像素点得到的就是多种方法与其分配的权重综合评价后的一个结果，而不是简单用一种方法处理之后得到的结果；因为在显示中可能遇到的图像场景会很多，这样做就能够快速的得到一个理想的预处理分析结果。

本实施例中，分割后的图像块不仅仅是简单的数据信息，除了数据信息之外，会在每一个图像块的前端加入必要的控制信息，这些控制信息标示了图像块的边界信息(包含不规则边界的图像块)。所述图像块可以是矩形，也可以是其它形状；所述控制信息可以为图像块的边界信息；如果是矩形，则所述控制信息也可以用该图像块一个角的坐标(比如图像左上角对应在整幅图像上的位置信息)和该图像块的大小来标识出该图像块的位置，这些控制信息可以很好的控制每一个图像块的位置，进而也就不会出现组合错误的发生。控制信息中还包括了图像块的优先级，显示设备在不能传输延迟的情况下可以优先显示优先级高的图像块，由于优先级是根据图像块中像素点的总值的平均值设定的，因此优先级高的图像块将会是人眼睛最敏感的图像块(比如能量高、纹理分布丰富、或为前景)，这样也在资源有限的情况下优化了显示效果。

本实施例中，分别为各图像块添加该图像块的控制信息的步骤后，传输所述图像帧分割成的所述图像块及图像块的控制信息的步骤前还可以包括：

按照预存的优先级和压缩算法的对应关系，对不同优先级的图像块分别按照该优先级对应的压缩算法进行压缩。

本实施例中，所述优先级越高，对应的压缩算法越简单。这样就可以针对每个图像块的情况动态调节压缩算法。比如当所述描述信息中只有纹理分布值时，纹理分布丰富的图像块优先级更高，这样的图像块会包含更多的图像细节，往往也是用户注意焦点的所在，更能够影响用户的视觉效果，因此就采用压缩损失率较低的算法，一方面保留更多的图像细节，另一方面加快压缩速度，并在接收和显示端能够更快的进行解压缩(为了保留图像的细节，使用的压缩算法不能损失太多的图像细节，这样就只能采用相对简单的压缩算法，简单的压缩算法处理同样数据量的图像就会花费较短的时间，进而提高了压缩速率)。将用户最关注的区域优先显示给用户，可以明显提高用户的使用满意程度。

例如图1中图像块，如果在立体显示设备上进行显示，用户希望看到的立体效果是一个宽广的海滩上看到突出与背景的树木和礁石，人的注意视觉焦点也会落在树木和礁石上，因此如何有效的将用户的视觉焦点区域最先精确显示处理是最重要的；本实施例在对图像帧分割之后，对于像素点的总值的平均值最高的图像块，就会赋予最高优先级，而天空等没有明显立体深度的区域就会赋予较低的优先级，在对包含树木的区域，要保留纹理信息和准确的前景和背景边界信息，可以采用简单的离散变化的压缩方法进行快速处理，而对于没有明显深度信息的背景区域天空可以采用小波变换、矢量量化等压缩率较高的方法进行压缩，以得到较高的压缩率节省传输的数据量。

实施例二，一种图像帧的显示方法，包括：

分别为图像帧中的每个像素点添加描述信息；所述描述信息包括该像素点的以下任一项或任几项信息：纹理分布值、能量分布值、表示该像素点为前景或背景的值；

根据各像素点的所述描述信息，将所述图像帧分割为多个图像块，并设定每个所述图像块的优先级；为各图像块添加该图像块的控制信息，所述控制信息用于标识该图像块的优先级，及在所述图像帧中的位置；

按照优先级从高到低的顺序，传输所述图像帧分割成的所述图像块及图像块的控制信息；

接收所述图像块；

根据所述图像块的控制信息将各图像块显示在相应位置上，显示时按照所述图像块的优先级的顺序显示各图像块。

本实施例中，接收所述图像块的步骤后，根据所述图像块的控制信息将各图像块显示在相应位置上的步骤前还可以包括：

按照预存的优先级和压缩算法的对应关系，对不同优先级的图像块分别按照该优先级对应的解压缩算法进行解压缩。

下面用一个具体的例子来进一步说明本实施例，实际应用时不限于该例子的做法：

101、对图像帧进行快速处理，包括纹理分布分析、能量分布分析、前景背景快速识别，得到图像帧中的每个像素点的描述信息；

102、根据像素点的描述信息将所述图像帧分割为多个图像块，为每个图像块添加控制信息；标注每一个图像块的优先级；

103、对每一个图像块使用差别化的压缩方法，并按照优先级进行图像块的传输；

104、接收到图像块后，根据其优先级进行显示，并根据所述控制信息显示在合适位置上，最后使各图像帧合成整张图像帧。

其它实现细节可参考实施例一。

实施例三，一种图像帧的传输装置，包括：

预处理模块，用于分别为图像帧中的每个像素点添加描述信息；所述描述信息包括该像素点的以下任一项或任几项信息：纹理分布值、能量分布值、表示该像素点为前景或背景的值；

分割模块，用于根据各像素点的所述描述信息，将所述图像帧分割为多个图像块，并设定每个所述图像块的优先级；为各图像块添加该图像块的控制信息，所述控制信息用于标识该图像块的优先级、所属图像帧、及在该图像帧中的位置；

发送模块，用于按照优先级从高到低的顺序，传输所述图像帧分割成的所述图像块及图像块的控制信息。

本实施例中，所述分割模块具体可以包括：

计算单元，用于对于各像素点，将该像素点的描述信息中的各个值加权相加，得到该像素点的总值；

划分单元，用于按照总值将所述图像帧分割为多个图像块；

设置单元，用于根据各图像块中像素点的总值的平均值设定各图像块的优先级，所述平均值越高的图像块的优先级越高。

本实施例中，如图3所示，所述的装置还可以包括：

压缩模块，用于按照预存的优先级和压缩算法的对应关系，对所述分割模块分割得到的、不同优先级的图像块分别按照该优先级对应的压缩算法进行压缩，然后传输给所述发送模块。

其它实现细节可参考实施例一。

实施例四，一种图像帧的显示系统，包括：

实施例三所述的传输装置；

终端，包括：

接收模块，用于接收所述图像块；

显示模块，用于根据所述图像块的控制信息将各图像块显示在相应位置上，显示时按照所述图像块的优先级的顺序显示各图像块。

本实施例中，所述终端还可以包括：

解压缩模块，用于按照预存的优先级和压缩算法的对应关系，对所述接收模块接收的、不同优先级的图像块分别按照该优先级对应的解压缩算法进行解压缩，然后传输给所述显示模块。

其它实现细节可参考实施例一、二和三。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (7)

1.一种图像帧的传输方法，包括：

分别为图像帧中的每个像素点添加描述信息；所述描述信息包括该像素点的以下任一项或任几项信息：纹理分布值、能量分布值、表示该像素点为前景或背景的值；

根据各像素点的所述描述信息，将所述图像帧分割为多个图像块，并设定每个所述图像块的优先级；为各图像块添加该图像块的控制信息，所述控制信息用于标识该图像块的优先级、所属图像帧、及在该图像帧中的位置；

按照优先级从高到低的顺序，传输所述图像帧分割成的所述图像块及图像块的控制信息，其特征在于，

所述根据各像素点的所述描述信息，将图像帧分割为多个图像块，并设定每个所述图像块的优先级的步骤包括：

对于各像素点，将该像素点的描述信息中的各个值加权相加，得到该像素点的总值；

按照总值将所述图像帧分割为多个图像块；

根据各图像块中像素点的总值的平均值设定各图像块的优先级，所述平均值越高的图像块的优先级越高。

2.如权利要求1所述的方法，其特征在于，分别为各图像块添加该图像

块的控制信息的步骤后，传输所述图像帧分割成的所述图像块及图像块

的控制信息的步骤前还包括：

按照预存的优先级和压缩算法的对应关系，对不同优先级的图像块分别按照该优先级对应的压缩算法进行压缩。

3.一种图像帧的显示方法，包括：

分别为图像帧中的每个像素点添加描述信息；所述描述信息包括该像素点的以下任一项或任几项信息：纹理分布值、能量分布值、表示该像素点为前景或背景的值；

根据各像素点的所述描述信息，将所述图像帧分割为多个图像块，并设定每个所述图像块的优先级；为各图像块添加该图像块的控制信息，所述控制信息用于标识该图像块的优先级、所属图像帧、及在该图像帧中的位置；

按照优先级从高到低的顺序，传输所述图像帧分割成的所述图像块及图像块的控制信息；

接收所述图像块；

根据所述图像块的控制信息将各图像块显示在相应位置上，显示时按照所述图像块的优先级的顺序显示各图像块，其特征在于，

所述根据各像素点的所述描述信息，将图像帧分割为多个图像块，并设定每个所述图像块的优先级的步骤包括：

对于各像素点，将该像素点的描述信息中的各个值加权相加，得到该像素点的总值；

按照总值将所述图像帧分割为多个图像块；

根据各图像块中像素点的总值的平均值设定各图像块的优先级，所述平均值越高的图像块的优先级越高。

4.如权利要求3所述的方法，其特征在于，分别为各图像块添加该图像块的控制信息的步骤后，传输所述图像帧分割成的所述图像块及图像块的控制信息的步骤前还包括：

按照预存的优先级和压缩算法的对应关系，对不同优先级的图像块分别按照该优先级对应的压缩算法进行压缩；

接收所述图像块的步骤后，根据所述图像块的控制信息将各图像块显示在相应位置上的步骤前还包括：

按照预存的优先级和压缩算法的对应关系，对不同优先级的图像块分别按照该优先级对应的解压缩算法进行解压缩。

5.一种图像帧的传输装置，包括：

预处理模块，用于分别为图像帧中的每个像素点添加描述信息；所述描述信息包括该像素点的以下任一项或任几项信息：纹理分布值、能量分布值、表示该像素点为前景或背景的值；

分割模块，用于根据各像素点的所述描述信息，将所述图像帧分割为多个图像块，并设定每个所述图像块的优先级；为各图像块添加该图像块的控制信息，所述控制信息用于标识该图像块的优先级、所属图像帧、及在该图像帧中的位置；

发送模块，用于按照优先级从高到低的顺序，传输所述图像帧分割成的所述图像块及图像块的控制信息，其特征在于，所述分割模块包括：

计算单元，用于对于各像素点，将该像素点的描述信息中的各个值加权相加，得到该像素点的总值；

划分单元，用于按照总值将所述图像帧分割为多个图像块；

设置单元，用于根据各图像块中像素点的总值的平均值设定各图像块的优先级，所述平均值越高的图像块的优先级越高。

6.如权利要求5所述的装置，其特征在于，还包括：

压缩模块，用于按照预存的优先级和压缩算法的对应关系，对所述分割模块分割得到的、不同优先级的图像块分别按照该优先级对应的压缩算法进行压缩，然后传输给所述发送模块。

7.一种图像帧的显示系统，其特征在于，包括：

如权利要求5到6中任一项所述的传输装置；

终端，包括：

接收模块，用于接收所述图像块；

显示模块，用于根据所述图像块的控制信息将各图像块显示在相应位置上，显示时按照所述图像块的优先级的顺序显示各图像块。

Images