CN102097084A

CN102097084A - 一种图像处理方法及装置

Info

Publication number: CN102097084A
Application number: CN2009102426690A
Authority: CN
Inventors: 冯备战
Original assignee: Wuxi Vimicro Corp
Current assignee: Wuxi Vimicro Corp
Priority date: 2009-12-14
Filing date: 2009-12-14
Publication date: 2011-06-15
Anticipated expiration: 2029-12-14
Also published as: CN102097084B

Abstract

本发明公开了一种图像处理方法，用于提高图像的处理效率。所述方法包括：获得当前帧的图像层A和图像层B的图像数据；其中，第一图像层的图像数据为线性数据；第一图像层与第二图像层不完全覆盖；当获得的图像层B的图像数据相对于缓存器中的图像层B的图像数据有更新时，确定获得的图像层B中的更新区域；将获得的图像层A的图像数据与获得的图像层B中更新区域的图像数据合并，并替换缓存器中的图像层A的图像数据和更新区域所对应的图像数据。本发明还公开了用于实现所述方法的装置。

Description

一种图像处理方法及装置

技术领域

本发明涉及计算机及图像领域，特别是涉及图像处理方法及装置。

背景技术

随着图像技术的发展，高清电视、网络视频和摄像监控等已得到广泛的普及。人们在显示屏上观看到的图像通常由多个图像层组合而成。

以播放器播放视频为例，一般在显示屏的上半部分播放视频，在显示屏的下半部分显示播放进度、时间和音量等。其实，上半部分来自图像层(layer)A，下半部分来自图像层B，将两个图像层合并，得到显示屏上的图像。

现有技术中，将第1帧图像层A与第1帧图像层B合并，并缓存到缓存器1。然后将第2帧图像层A与第2帧图像层B合并，并缓存到缓存器2。当第3帧图像层B与第1帧图像层B相同时，用第3帧图像层A替换缓存器1中的第1帧图像层A，图像层B不变。当第3帧图像层B与第1帧图像层B不同时，将第3帧图像层A与第3帧图像层B合并，并缓存到缓存器1。

图像层A为线性图像数据，只有在相邻两帧图像层A之间的空隙时间才能将图像层B的图像数据写入缓存器。如果图像层B的图像数据较大，在该空隙时间内无法写完图像层B的图像数据，则可能导致视频延时或者丢帧，视频流的播放质量较差。或者，需要相邻两帧图像层A之间有较大的空隙时间来保证图像层B的图像数据写入缓存器，导致图像层A的帧率比较低。

发明内容

本发明实施例提供一种图像处理方法及装置，用于提高图像的处理效率。一种图像处理方法，包括以下步骤：

获得当前帧的第一图像层和第二图像层的图像数据；其中，第一图像层的图像数据为线性数据；第一图像层与第二图像层不完全覆盖；

当获得的第二图像层的图像数据相对于缓存器中的第二图像层的图像数据有更新时，确定获得的第二图像层中的更新区域；

将获得的第一图像层的图像数据与获得的第二图像层中更新区域的图像数据合并，并替换缓存器中的第一图像层的图像数据和更新区域所对应的图像数据。

一种用于图像处理的装置，包括：

缓存器，用于缓存图像数据；

图像存储器，用于获得当前帧的第一图像层和第二图像层的图像数据；其中，第一图像层的图像数据为线性数据；第一图像层与第二图像层不完全覆盖；

图像合并器，用于当获得的第二图像层的图像数据相对于缓存器中的第二图像层的图像数据有更新时，确定获得的第二图像层中的更新区域；以及，将获得的第一图像层的图像数据与获得的第二图像层中更新区域的图像数据合并，并替换缓存器中的第一图像层的图像数据和更新区域所对应的图像数据。

本发明实施例在进行合并过程中仅更新第一图像层和第二图像层中的更新区域，而不是更新整个第二图像层，大幅度减少了合并操作，提高了图像处理效率。

附图说明

图1为本发明实施例中图像处理的主要方法流程图；

图2为本发明实施例中装置的主要结构图；

图3为本发明实施例中装置的详细结构图；

图4为本发明实施例中图像处理的详细方法流程图；

图5为本发明实施例中显示图像的示意图。

具体实施方式

本发明实施例针对图像层A和图像层B不完全重叠，尤其是图像层B的更新区域未被图像层A覆盖的情况，在进行合并过程中仅更新图像层A和图像层B中的更新区域，而不是更新整个图像层B，大幅度减少了合并操作，提高了图像处理效率。

参见图1，本实施例中图像处理的主要方法流程如下：

步骤101：获得当前帧的图像层A和图像层B的图像数据。

步骤102：当获得的图像层B的图像数据相对于缓存器中的图像层B的图像数据有更新时，确定获得的图像层B中的更新区域。

步骤103：将获得的图像层A的图像数据与获得的图像层B中更新区域的图像数据合并，并替换缓存器中的图像层A的图像数据和更新区域所对应的图像数据。

该方法可由装置实现，参见图2所示，该装置包括缓存器201、图像存储器202和图像合并器203。

缓存器201用于缓存图像数据。

图像存储器202用于获得当前帧的图像层A和图像层B的图像数据。

图像合并器203用于当获得的图像层B的图像数据相对于缓存器中的图像层B的图像数据有更新时，确定获得的图像层B中的更新区域；以及，将获得的图像层A的图像数据与获得的图像层B中更新区域的图像数据合并，并替换缓存器中的图像层A的图像数据和更新区域所对应的图像数据。

该装置还包括刷图控制器302和图像显示器301，参见图3所示。图像显示器301用于显示图像。刷图控制器302用于根据刷图频率从缓存器201中读取图像数据并传输给图像显示器301，以显示图像。

图2中只示出了一个缓存器201，当图像合并器203向缓存器201写图像数据时，刷图控制器302不能从缓存器201中读数据。所以，当刷图频率较大时，可能存在刷图控制器302需要从缓存器201中读数据而无法读取的情况，则影响图像显示器301的显示效果。因此，在图3中示出两个图像缓存器303/304，图像缓存器303用于缓存奇数帧(如第1、3、5帧等)；图像缓存器304用于缓存偶数帧(如第2、4、6帧等)。当图像合并器305向图像缓存器304写图像数据时，刷图控制器302读图像缓存器303中的图像数据以刷新图像显示器301。图像缓存器304写满图像数据后，通知刷图控制器302从图像缓存器304中读取图像数据。在实际应用中，还可以采用更多的图像缓存器，其实现原理与两个图像缓存器的相同，此处不再赘述。

本实施例以图像层A和图像层B两层图像为例，其中图像层A为连续输入的线性图像数据，由图像输入器306存储和向图像合并器305输入图像层A的图像数据。该图像输入器306可具体为传感器等。图像层B可以不是线性图像数据，可由图像存储器307保存。当需要对图像层A和图像层B进行合并时，图像合并器305从图像存储器307中读取图像层B的图像数据。图像层B可以有多层，可分别由多个图像存储器307来存储。多个图像层B之间完全覆盖时，则在合并时，图像合并器305仅读取最上层的图像层B和图像层A的图像数据即可。较佳的，多个图像层B之间不重叠。

为了便于对显示图像的控制，该装置还可以包括用户接口模块308，用于设置各种参数。参数包括关于图像层A的参数、关于图像层B的参数、关于图像显示器301的参数和操作参数。关于图像层A的参数包括从图像层A中挖图的坐标(Frame x，Frame y)，该坐标可以是挖图的起始点的坐标；还包括宽度参数Iwidth和高度参数Iheight，通过这两个坐标控制挖图的大小。图像输入器306根据该关于图像层A的参数将图像层A的图像数据发送给图像合并器305。如果需要获得完整的图像层A的图像数据，则(Frame x，Frame y)为(0，0)，Iwidth取图像层A的宽度值，Iheight取图像层A的高度值。关于图像层A的参数还包括图像层A在图像显示器301中的坐标(APosition x，APosition y)，(APosition x，APosition y)、Iwidth和Iheight这三个参数控制了从图像层A中挖的图在图像显示器301中的位置和大小。

关于图像层B的参数包括宽度参数Mwidth和高度参数Mheight，这两个参数控制图像层B的大小。还包括图像层B在图像显示器301中的坐标(BPosition x，BPosition y)，(BPosition x，BPosition y)、Mwidth和Mheight控制了从图像层B在图像显示器301中的位置和大小。由于一般不需要对图像层B进行挖图，所以可以没有挖图的坐标(Frame x，Frame y)。关于图像层B的参数还包括更新区域的坐标(Update x，Update y)和更新区域的宽度参数Uwidth和高度参数Uheight。在对第1和2帧图像进行合并时，(Update x，Update y)的取值为(0，0)，Uwidth和Uheight的取值与Mwidth和Mheight的取值相同。在对第3帧图像进行合并时，(Update x，Update y)、Uwidth和Uheight的取值依据第3帧相对于第1帧的更新区域来确定。图像合并器305依据(Update x，Update y)、Uwidth和Uheight的取值从图像存储器307中读取图像层B的图像数据。其中，现有技术在将每帧图像层B的图像数据存储到图像存储器307时，已将相对于前一帧(如第2帧)的更新区域的坐标和大小写入图像存储器307中，图像合并器305在读取图像层B的图像数据时还要读取该相对于前一帧的更新区域的坐标和大小，并将前连续两帧(如第1、2帧)的更新区域合并，从而确定当前帧(如第3帧)的(Update x，Update y)、Uwidth和Uheight的取值。

关于图像显示器301的参数包括图像显示器301中所显示的图像的宽度参数Owidth和高度参数Oheight。操作参数包括表示覆盖操作的参数overlay等。图像合并器305根据图像层A的(APosition x，APosition y)、Iwidth和Iheight以及图像层B的(BPosition x，BPosition y)可以确定图像层A与图像层B是否有重叠区域，如果有则根据操作参数overlay进行处理，如对于重叠区域，用图像层B覆盖图像层A。图像合并器305根据图像层A的Iwidth和Iheight、图像层B的Uwidth和Uheight以及显示图像的Owidth和Oheight，确定图像层A和图像层B合并后的图像相对于设置的显示图像是大还是小，若是大，则对合并后的图像进行缩小处理，若是小，则进行放大处理，如果一致，则直接将合并后的图像存储到图像缓存器。

以上介绍了装置的内部结构和功能，下面对该装置实现的图像处理方法进行详细介绍。参见图4，本实施例中无重叠时图像处理的方法流程如下：

本实施例以图像层A在图像显示器301的上半部分，图像层B在图像显示器301的下半部分为例进行说明，参见图5所示。图像合并器305可以根据图像层A和图像层B在图像显示器301的坐标来确定读取图像数据的顺序。本实施例中采用由上到下和从左到右的顺序显示图像，则也按该顺序读取所需的图像数据。

步骤401：图像合并器305接收图像输入器306输入的图像层A的图像数据。

步骤402：图像合并器305将图像层A的图像数据写入图像缓存器303/304。

受某些事件的触发，如用户打开一个窗口，需要显示图像层B。继续步骤403。或者，图像层B的图像数据有更新时继续步骤403。

步骤403：图像合并器305从图像存储器307中读取图像层B的更新区域的图像数据。可见，图像合并器305只需要读取更新区域的图像数据，除第1、2帧以外，基本不需要读取完整的图像数据，减少了读操作过程。对于第1、2帧，由于图像缓存器303和304中无数据，所以更新区域为整个图像层B。从第3帧开始，更新区域为相对于图像缓存器303/304中图像层B的更新部分。图像合并器305可以通过计数方式确定是否已到第3帧，或者在向图像缓存器303/304写图像数据之前，通过检查图像缓存器303/304中是否已有图像数据来确定是否已到第3帧。

图像合并器305可以先从图像存储器307中读取关于更新区域的参数值，并根据该参数值的变化来确定有更新区域，并进一步确定需要读取的更新区域(即前连续两帧更新区域之和)。

步骤404：在步骤402之后，图像合并器305将更新区域的图像数据写入图像缓存器303/304。可见，图像合并器305只需要写入更新区域的图像数据，除第1、2帧以外，基本不需要写完整的图像数据，减少了写操作过程，有助于在接收相邻两帧图像层A的空隙时间内完成对图像层B的写入，从而减少或避免了延迟和丢帧，还可以提高图像层A的帧率。

在进行步骤402和404之前，图像合并器305可根据显示图像的Owidth和Oheight对图像层A和图像层B进行缩小或放大处理。

步骤405：刷图控制器302从图像缓存器303/304中读取图像数据并传输给图像显示器301。

步骤406：图像显示器301根据图像数据显示图像。

图像合并器305根据更新区域的参数值确定图像层B没有更新时，不需要从图像存储器307中读取数据，也不需要向图像缓存器303/304写入图像层B的图像数据。其中，图像层B没有更新时更新区域的参数值均为缺省值，如均为0。

当图像层A和图像层B之间有重叠区域时，根据操作参数确定由图像层B覆盖图像层A，则根据图像层B在图像显示器301中的坐标(BPosition x，BPosition y)，向图像缓存器303/304写入图像层A的图像数据到该坐标时停止，从该坐标位置开始，写入图像层B的图像数据，尤其是只写更新区域的图像数据。

用于实现本发明实施例的软件可以存储于软盘、硬盘、光盘和闪存等存储介质。

本发明实施例在进行合并过程中仅更新图像层A和图像层B中的更新区域，而不是更新整个图像层B，大幅度减少了合并操作，提高了图像处理效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种图像处理方法，其特征在于，包括以下步骤：

2.如权利要求1所述的方法，其特征在于，当获得的第二图像层的图像数据相对于缓存器中的第二图像层的图像数据没有更新时，缓存器中第二图像层的图像数据保持不变。

3.如权利要求1所述的方法，其特征在于，预设更新区域坐标参数、宽度参数和高度参数；

确定获得的第二图像层中的更新区域的步骤包括：确定获得的第二图像层中的更新区域的更新区域坐标参数值、宽度参数值和高度参数值。

4.如权利要求3所述的方法，其特征在于，当获得的第二图像层的图像数据相对于缓存器中的第二图像层的图像数据没有更新时，更新区域坐标参数、宽度参数和高度参数均为缺省值。

5.如权利要求1所述的方法，其特征在于，第二图像层有多个；

当多个第二图像层覆盖时，确定最上层第二图像层相对于缓存器中的第二图像层的图像数据是否有更新。

6.如权利要求1所述的方法，其特征在于，获得第1帧的第一图像层和第二图像层的图像数据时，所述更新区域为第二图像层的整个区域。

7.一种用于图像处理的装置，其特征在于，包括：

缓存器，用于缓存图像数据；

8.如权利要求7所述的装置，其特征在于，当获得的第二图像层的图像数据相对于缓存器中的第二图像层的图像数据没有更新时，缓存器中第二图像层的图像数据保持不变。

9.如权利要求7所述的装置，其特征在于，预设更新区域坐标参数、宽度参数和高度参数；

图像合并器确定获得的第二图像层中的更新区域的更新区域坐标参数值、宽度参数值和高度参数值。

10.如权利要求9所述的装置，其特征在于，当获得的第二图像层的图像数据相对于缓存器中的第二图像层的图像数据没有更新时，更新区域坐标参数、宽度参数和高度参数均为缺省值。

11.如权利要求7所述的装置，其特征在于，第二图像层有多个；

图像合并器还用于当多个第二图像层覆盖时，确定最上层第二图像层相对于缓存器中的第二图像层的图像数据是否有更新。

12.如权利要求7所述的装置，其特征在于，获得第1帧的第一图像层和第二图像层的图像数据时，所述更新区域为第二图像层的整个区域。