CN100393125C - 处理图像帧的方法 - Google Patents

Abstract

一种处理图像帧的方法，应用于处理自影像传感器输出的具有多组图像信号的图像帧，包含：a)提供图像信号暂存区，其中该图像信号暂存区至少包含两个储存空间，任一储存空间容量都小于该图像帧的总影像像素二分之一，大于或等于任一组图像信号的总影像像素；及b)将该多组图像信号分别依序输入至该至少两个储存空间中，以分别依序进行完成影像处理程序；其中，当该至少两个储存空间中任一储存空间皆储存一组图像信号时，将该图像帧中尚未输入至该图像信号暂存区的其它组图像信号轮流输入，并覆盖于该图像信号暂存区内已进行完成影像处理程序的图像信号。本发明减少处理图像帧时所用该图像信号暂存区储存容量。

Description

处理图像帧的方法

技术领域

本发明涉及一种处理图像帧的方法，特别涉及一种减少处理该图像帧时所使用存储缓冲缓存器(memory buffer)的储存容量的处理图像帧的方法。

背景技术

由于目前数字影像处理技术越来越进步与发达，所以与其相关的应用亦日趋普及，例如，探讨网络摄影机(web camera)、网络数字相机、手机相机(cellular and picture phone)、个人数字助理(PDA)、多媒体计算机等等与数字影像处理有关的技术，即呈现一股方兴未艾之势。本发明即为与此数字影像处理技术有关的发明。

在上述相关产品中所使用的数字影像处理技术，通常至少会使用到如图1所示由一影像传感器11、一具有数字信号处理(DSP)功能的影像处理器12以及一存储缓冲缓存器(memory buffer)13所构成实时(real time)影像传输架构。该影像传感器11通常会于一图像帧处理时间内对一实体对象(图未示出)进行一曝光动作后产生输出一图像帧(frame)，而经由该影像处理器12而暂存于该存储缓冲缓存器13内，以供该影像处理器12进行后续影像处理程序。其中，该影像传感器11可使用CMOS影像传感器或CCD影像传感器。至于该图像帧的信号格式，至少包括有RGB或YCbCr等等图像信号格式。举例而言，如果该具有DSP功能的影像处理器12欲将该图像帧压缩成JPEG形式的影像压缩数据，因JPEG压缩算法只接受输入YCbCr格式的图像信号，故可选择使用可产生输出YCbCr影像格式的该影像传感器11，抑或先直接输入RGB格式的图像信号至该影像处理器12中，之后再进行一色相转换处理而产生YCbCr格式的图像信号。

另外，该影像处理器12通常亦可包括有将处理完成的图像信号予以输出至一计算机(图未示出)中的功能。

公知处理图像帧方法的缺陷在于，该影像处理器12通常将一整张的图像帧全部都暂存于该存储缓冲缓存器13内，以供进行后续的影像处理程序。换而言之，该存储缓冲缓存器13的储存容量显然必须至少要等于或大于整张图像帧的总影像像素。而且，在处理前一张图像帧时，因下一张图像帧也要马上接收进来，基于不能覆盖到先前还未处理到的影像数据的考虑，该存储缓冲缓存器13的储存容量显然还需再扩大1倍以上。所以，倘若该图像帧属于VGA(640×480)影像格式，即意味着该存储缓冲缓存器13的储存容量至少就需要：

(640×480bytes)×3×2＝1.84MB

然而如此一来，因该影像处理器12的整体体积有一定的限制，该存储缓冲缓存器13势必只能外建，而无法设置于该影像处理器12内部。此结果对于系统厂商的制造成本而言，并无法有效予以降低。

发明内容

本发明目的之一，即希望提供一种可减少处理该图像帧时所使用存储缓冲缓存器的储存容量，使存储缓冲缓存器能直接设置于影像处理器内部的处理图像帧的方法。

本发明的一较佳实施方式，关于一种处理图像帧的方法，应用于处理自一影像传感器处所输出的一具有多组图像信号的图像帧，该方法包含：a)提供一图像信号暂存区；其中，该图像信号暂存区至少包含两个储存空间，而该至少两个储存空间中的任一储存空间容量，小于该图像帧的总影像像素的二分之的一，且大于或等于任一组图像信号的总影像像素；以及b)将该多组图像信号分别依序输入至该至少两个储存空间中，以分别依序进行完成一影像处理程序；其中，当该至少两个储存空间中的任一储存空间皆储存有一组图像信号时，可将该图像帧中尚未输入至该图像信号暂存区的其它组图像信号，轮流输入并覆盖于该图像信号暂存区内已进行完成该影像处理程序的图像信号。

依据本发明上述的构想，其中该影像传感器可为一CMOS影像传感器或为CCD影像传感器。

依据本发明上述构想，其中该图像帧的信号格式可为RGB或为YCbCr图像信号格式。

依据本发明上述构想，其中该图像帧可为352行×288列、640行×480列、704行×480列、704行×576列或为1280行×1024列的图像帧。

依据本发明上述构想，其中该图像信号暂存区可包含两个作为储存空间使用的一第一及第二存储缓冲缓存器(memory buffer)。

依据本发明上述构想，其中任一存储缓冲缓存器可储存容纳640行×16列的图像信号，且任一组图像信号为640行×16列的图像信号。

依据本发明上述构想，其中任一存储缓冲缓存器可储存容纳1280行×8列的图像信号，且任一组图像信号为1280行×8列的图像信号。

依据本发明上述构想，其中该影像处理程序可为一影像压缩程序。

依据本发明上述构想，其中该影像压缩程序可为一JPEG或MPEG影像压缩程序。

依据本发明上述构想，其中该JPEG影像压缩程序中的子取样演算(sub-sampling)规则可为4:4:4、4:2:2、4:2:0、或为2:1:1的子取样演算规则。

本发明的另一较佳实施方式，关于一种处理图像帧的方法，应用于处理自一影像传感器处所输出的一具有多组图像信号的图像帧，该方法包含：a)输入并储存该图像帧中的第一组图像信号至一第一储存空间；b)输入并储存该图像帧中的第二组图像信号至一第二储存空间，且同时对储存于该第一储存空间中的该第二组图像信号，进行一影像处理程序；其中，该第一及第二储存空间中的任一储存空间容量，小于该图像帧的总影像像素的二分之一，且大于或等于任一组图像信号的总影像像素；c)输入并储存该图像帧中的第三组图像信号至该第一储存空间，且同时对储存于该第二储存空间中的该第二组图像信号进行该影像处理程序；d)输入并储存该图像帧中的第四组图像信号至该第二储存空间，且同时对储存于该第一储存空间中的该第三组图像信号进行该影像处理程序；以及e)以该步骤(a)～(d)的方法，轮流输入及交替储存该图像帧中的其它组图像信号于该一或该第二储存空间，且依序进行完成该影像处理程序。

本发明的又一较佳实施方式，关于一种处理图像帧的方法，应用于处理自一影像传感器处所输出的一具有m行×n列的图像帧，该方法包含：a)输入并储存该图像帧中的第1列～第i列图像信号至一第一储存空间；其中，1＜i＜n/2；b)输入并储存该图像帧中的第i+1列～第2i列图像信号至一第二储存空间，且同时对储存于该第一储存空间中的该第1列～该第i列图像信号，进行一影像处理程序；其中，该第一及第二储存空间皆可储存容纳y行×x列的图像信号，且y＝m，x＝i；c)输入并储存该图像帧中的第2i+1列～第3i列图像信号至该第一储存空间，且同时对储存于该第二储存空间中的该第i+1列～该第2i列图像信号进行该影像处理程序；d)输入并储存该图像帧中的第3i+1列～第4i列图像信号至该第二储存空间，且同时对储存于该第一储存空间中的该第2i+1列～该第3i列图像信号进行该影像处理程序；以及e)以该步骤(a)～(d)的方法，轮流输入及交替储存该图像帧中的其它列图像信号于该一或该第二储存空间，且依序进行完成该影像处理程序。

依据本发明上述构想，其中该图像帧可为352行×288列、640行×480列、704行×480列、704行×576列或为1280行×1024列的图像帧。

依据本发明上述构想，其中该第一及第二储存空间分别一第一及第二存储缓冲缓存器。

依据本发明上述构想，其中任一存储缓冲缓存器可储存容纳640行×16列，且i＝16。

依据本发明上述构想，其中任一存储缓冲缓存器可储存容纳1280行×8列，且i＝8。

附图说明

图1为一种实时(real time)影像传输架构示例图。

图2为本发明的较佳实施例应用于处理具有640行×480列的图像帧F1的实施概念示例图。

图3为本发明的较佳实施例应用于处理具有1280行×1024列的图像帧F2的实施概念示例图。

图4为本发明的较佳实施概念的详细步骤示例图。

11影像传感器                 12影像处理器

13存储缓冲缓存器             F1、F2图像帧

131、132第一及第二储存空间   1311、1321上半部储存空间

1312、1322下半部储存空间     U1、U2基本影像处理单元

具体实施方式

现再以图1所示架构，进一步举例说明本发明的发明精神。假如该影像传感器11为一可将原本属于RGB图像信号格式的图像帧，经色相转换处理而输出YCbCr图像信号格式的图像帧的CMOS影像传感器，且该具有DSP功能的影像处理器12被设计成需将该图像帧压缩成JPEG形式的影像压缩数据。由于进行JPEG压缩算法时，通常以16×16或8×8大小的影像区块进行后续执行子取样演算(sub-sampling)规则时的运算对象，此即意味着该影像处理器12每次至少需从该记亿缓冲缓存器13中读取到16列或8列的图像信号，方足以完成该子取样演算规则。基于此概念，如果能将该存储缓冲缓存器13的储存容量予以降低为16列或8列图像信号的两倍大小，且之后再每次轮流输入及交替储存该图像帧中16列或8列的图像信号，此举显然应即足以进行完成JPEG压缩算法。当然，搭配本发明方式而所采用的该子取样演算规则，至少可为4:4:4、4:2:2、4:2:0、或为2:1:1的取样方式，但并不以此为限。

更进一步而论，请参阅图2，其为本发明的较佳实施例应用于处理具有640行×480列的图像帧F1的实施概念示例图。于图2中(并请搭配图1所示架构)，该存储缓冲缓存器13可改为由储存容量仅为640行×16列的第一及第二储存空间131、132所组成，以形成“双重缓冲器”(dual buffer)结构。而且，假若该影像处理器12需对该图像帧F1进行JPEG影像压缩程序(例如，选择采用4:2:0的子取样演算规则)，则该影像处理器12每次进行取样运算处理所需的基本影像处理单元，即为图2中所示16行×16列大小的影像区块U1。

具体来说，因该第一及第二储存空间131、132至多仅能储存两组640行×16列大小的图像信号，因此，当该图像帧F1中的第一组图像信号(640行×16列)21经由该影像处理器12的输入而皆暂存于该第一储存空间131时，一旦开始接收第二组图像信号(640行×16列)22并予以暂存于该第二储存空间132，为避免将来欲输入的第三组图像信号(640行×16列)23无储存空间可供放置，该影像处理器12显然需于接收该第二组图像信号22的同时，即需对储存于该第一储存空间131中的该第一组图像信号21进行JPEG影像压缩程序。如此一来，当接收完毕该第二组图像信号22后，即可将该第三组图像信号23予以暂存于该第一储存空间131中，且一并覆盖掉已进行完毕JPEG影像压缩程序的该第一组图像信号21。

同理，当该影像处理器12于接收该第三组图像信号23的同时，即需对储存于该第二储存空间132中的该第二组图像信号22同步进行该JPEG影像压缩程序，以于接收完毕该第三组图像信号23后，能再将下一组图像信号予以暂存至该第二储存空间132，且覆盖掉已进行完毕JPEG影像压缩程序的该第二组图像信号22。简而言之，当该第一及第二储存空间131、132中的任一储存空间皆储存有一组图像信号时，可将该图像帧F1中尚未输入至该第一及第二储存空间131、132的其它组图像信号，轮流输入并覆盖于该第一及第二储存空间131、132内已进行完成该影像处理程序的图像信号。此等做法，显然可使该存储缓冲缓存器13的储存容量降低成为只需16×640×2＝21KB的大小。而此一结果与前述公知处理图像帧的方法时所需使用到的该存储缓冲缓存器13的储存容量1.84MB相较，显然已减少许多。当然，此等仅具21KB大小的该存储缓冲缓存器13，即可被安排设于该影像处理器12的内部，减少系统厂商的制造成本。

再请参阅图3，其为本发明的较佳实施例应用于处理具有1280行×1024列的图像帧F2的实施概念示例图。于图3中(并请搭配图1所示架构)，该存储缓冲缓存器13亦仍如图2所示一般，由储存容量仅为640行×16列的该第一及第二储存空间131、132所组成。然与图2不同之处在于，因为该图像帧F2的图像信号行数(column)较之于该图像帧F1高1倍，在不变更硬件架构而仍能适用本发明的考虑下，一较佳做法是，将该第一及第二储存空间131、132分别区隔成上半部储存空间1311、1321以及下半部储存空间1312、1322，以形成如图2所示的”双重缓冲器”(dual buffer)结构。亦即，由该上半部储存空间1311、1321所共同形成的储存容量为1280行×8列，而由该下半部储存空间1312、1322所共同形成的储存容量亦为1280行×8列。当然，于此实施例中，假若该影像处理器12需对该图像帧F2进行JPEG影像压缩程序，其仅能选择采用2:1:1的子取样演算规则。另外，该影像处理器12每次进行取样运算处理所需的基本影像处理单元，即为图三中所示8行×8列大小的影像区块U2。

具体来说，因为由该上半部储存空间1311、1321所共同形成的储存区域以及由该下半部储存空间1312、1322所共同形成的储存区域，至多仅能储存两组1280行×8列大小的图像信号，因此，当该图像帧F2中的第一组图像信号(1280行×8列)31经由该影像处理器12的输入而皆暂存于由该上半部储存空间1311、1321所共同形成的储存区域时，一旦开始接收第二组图像信号(1280行×8列)32，并予以暂存于由该下半部储存空间1312、1322所共同形成的储存区域，为避免将来欲输入的第三组图像信号(1280×8列)33无储存空间可供放置，该影像处理器12显然需于接收该第二组图像信号32的同时，即需对储存于由该上半部储存空间1311、1321所共同形成的储存区域中的该第一组图像信号31进行JPEG影像压缩程序。如此一来，当接收完毕该第二组图像信号32后，即可将该第三组图像信号33予以暂存于由该上半部储存空间1311、1321所共同形成的储存区域中，且一并覆盖掉已进行完毕JPEG影像压缩程序的该第一组图像信号31。

同理，当该影像处理器12于接收该第三组图像信号33的同时，即需对储存于由该下半部储存空间1312、1322所共同形成的储存区域中的该第二组图像信号32，同步进行该JPEG影像压缩程序，以于接收完毕该第三组图像信号33后，能再将下一组图像信号予以暂存至由该下半部储存空间1312、1322所共同形成的储存区域，且覆盖掉已进行完毕JPEG影像压缩程序的该第二组图像信号32。

简而言之，当由该上半部储存空间1311、1321所共同形成的储存区域，抑或由该下半部储存空间1312、1322所共同形成的储存区域的任一储存空间，皆储存有一组图像信号时，可将该图像帧F2中尚未输入至其中的其它组图像信号轮流输入，并覆盖于其内已进行完成该影像处理程序的图像信号。

现再将本发明的较佳实施概念，以图4所示的较佳实施步骤(并请配合图1所示架构)予以说明如后：

步骤41：开始；

步骤42：输入并储存由该影像传感器11处所输出的该具有m行×n列的图像帧中的第1列～第i列图像信号至一第一储存空间；其中，1＜i＜n/2；

步骤43：输入并储存该图像帧中的第i+1列～第2i列图像信号至一第二储存空间，且同时对储存于该第一储存空间中的该第1列～该第i列图像信号，进行一影像处理程序；其中，该第一及第二储存空间皆可储存容纳y行×x列的图像信号，且y＝m，x＝i；

步骤44：输入并储存该图像帧中的第2i+1列～第3i列图像信号至该第一储存空间，且同时对储存于该第二储存空间中的该第i+1列～该第2i列图像信号进行该影像处理程序；

步骤45：输入并储存该图像帧中的第3i+1列～第4i列图像信号至该第二储存空间，且同时对储存于该第一储存空间中的该第2i+1列～该第3i列图像信号进行该影像处理程序；以及

步骤46：以该步骤42～45的方法，轮流输入及交替储存该图像帧中的其它列图像信号于该一或该第二储存空间，且依序进行完成该影像处理程序；

步骤47：结束。

综上所述，本发明在不大幅增加处理复杂度的情况下，可减少处理图像帧时所使用存储缓冲缓存器的储存容量，因而能使存储缓冲缓存器直接设置于影像处理器内部，以减少系统厂商的制造成本。

本领域的技术人员可对于本发明进行各种变形和改型，然而这些变形和改型皆不脱离所附权利要求的保护范围。

Claims (11)

1.一种处理图像帧的方法，应用于处理自一影像传感器处所输出的一具有多组图像信号的图像帧，该方法包含：

a)提供一图像信号暂存区，其中，该图像信号暂存区至少包含两个储存空间，而该至少两个储存空间中的任一储存空间容量，小于该图像帧的总影像像素的二分之一，且大于或等于任一组图像信号的总影像像素；以及

b)将该多组图像信号分别依序输入至该至少两个储存空间中，以分别依序进行完成一影像处理程序；

其中，当该至少两个储存空间中的任一储存空间皆储存有一组图像信号时，可将该图像帧中尚未输入至该图像信号暂存区的其它组图像信号，轮流输入并覆盖于该图像信号暂存区内已完成该影像处理程序的图像信号。

2.如权利要求1所述的处理图像帧的方法，其中：该影像传感器可为一CMOS影像传感器或为CCD影像传感器。

3.如权利要求1所述的处理图像帧的方法，其中：该图像帧的信号格式可为RGB或为YCbCr图像信号格式。

4.如权利要求1所述的处理图像帧的方法，其中：该图像帧可为352行×288列、640行×480列、704行×480列、704行×576列或为1280行×1024列的图像帧。

5.如权利要求1所述的处理图像帧的方法，其中：该图像信号暂存区可包含两个作为储存空间使用的一第一及第二存储缓冲缓存器。

6.如权利要求5所述的处理图像帧的方法，其中：任一存储缓冲缓存器可储存容纳640行×16列的图像信号，且任一组图像信号为640行×16列的图像信号。

7.如权利要求5所述的处理图像帧的方法，其中：任一存储缓冲缓存器可储存容纳1280行×8列的图像信号，且任一组图像信号为1280行×8列的图像信号。

8.如权利要求1所述的处理图像帧的方法，其中：该影像处理程序可为一影像压缩程序。

9.如权利要求8所述的处理图像帧的方法，其中：该影像压缩程序可为一JPEG或MPEG影像压缩程序。

10.如权利要求9所述的处理图像帧的方法，其中：该JPEG影像压缩程序中的子取样演算规则可为4:4:4、4:2:2、4:2:0或为2:1:1的子取样演算规则。

11.一种处理图像帧的方法，应用于处理自一影像传感器处所输出的一具有多组图像信号的图像帧，该方法包含下列步骤：

a)输入并储存该图像帧中的第一组图像信号至一第一储存空间；

b)输入并储存该图像帧中的第二组图像信号至一第二储存空间，且同时对储存于该第一储存空间中的该第一组图像信号，进行一影像处理程序；其中，该第一及第二储存空间中的任一储存空间容量，小于该图像帧的总影像像素的二分之一，且大于或等于任一组图像信号的总影像像素；

c)输入并储存该图像帧中的第三组图像信号至该第一储存空间，且同时对储存于该第二储存空间中的该第二组图像信号进行该影像处理程序；

d)输入并储存该图像帧中的第四组图像信号至该第二储存空间，且同时对储存于该第一储存空间中的该第三组图像信号进行该影像处理程序；以及

e)按照步骤(a)～(d)，轮流输入及交替储存该图像帧中的其它组图像信号于该第一或该第二储存空间，且依序进行完成该影像处理程序。

Images