CN102300044B

CN102300044B - 处理图像的方法与图像处理模块

Info

Publication number: CN102300044B
Application number: CN2011100038467A
Authority: CN
Inventors: 杨恕先; 陈信嘉; 苏宗敏
Original assignee: Pixart Imaging Inc
Current assignee: Pixart Imaging Inc
Priority date: 2010-06-22
Filing date: 2011-01-04
Publication date: 2013-05-08
Anticipated expiration: 2031-01-04
Also published as: CN102300044A

Abstract

本发明公开一种处理图像的方法与图像处理模块，处理图像的方法，用于一指向装置。指向装置通过与工作面发生相对运动，并检测部分工作面的图像而产生一位移信号。此方法包括下列步骤：取得第一原始图像；将第一原始图像均等地区分成多个区块；调整每一个区块的区块亮度值；产生一复杂度信号，代表每一个区块的多个梯度值；根据调整后的区块亮度值与复杂度信号，依序调整各区块，以产生第一调整图像，对应第一原始图像。

Description

处理图像的方法与图像处理模块

技术领域

本发明涉及一种处理图像的方法与其模块，特别涉及一种处理高动态范围图像的方法与其模块。

背景技术

在现今的日常生活中，图像撷取装置已经被广泛的使用于日常生活中。图像撷取装置利用光传感器撷取图像并转换为数字信号后，这些数字信号可被储存下来。通过图像撷取装置撷取到的数字信号，再配合数字图像处理的技术，即可设计出各种形形色色的应用。

图像撷取装置也可使用于一般的指向装置，比如说鼠标。指向装置可发射光线一表面，并由图像撷取装置撷取从此表面反射的光线。在经过适当的取样后，指向装置可获得多个时间点上的图像。指向装置中的数字处理器，可对比相邻时间点上的图像，根据图像中像素的亮度差值作为基础，以判断指向装置移动的方向与距离。

然而，当图像撷取装置撷取从此表面反射的光线，可能会因为发射光线的亮度不平均，或是表面的特性导致反射的光线亮度分布不均时，此图像可能会有大部分区域的亮度偏亮，且有另外大部分区域的亮度偏暗。此种同时有许多像素聚集在亮部与暗部的图像称之为高动态范围图像(High Dynamic RangeImage，HDRI)。在高动态范围图像中，过亮与过暗的地方都会丧失图像原本的特征。也就是说，当指向装置所撷取到的图像为高动态范围图像，将会因为图像的细节丧失，使得指向装置在判断移动方向与距离时产生偏差。

发明内容

鉴于以上的问题，本发明的目的在于提出一种处理图像的方法与图像处理模块，用于一指向装置，在不均匀光环境的下，本发明的指向装置仍然可精确地判断移动方向与距离。

为了实现上述目的，本发明提供一种处理图像的方法，用于一指向装置，指向装置通过与工作面发生相对运动，并检测部分工作面的图像而产生一位移信号。此方法包括下列步骤：取得第一原始图像；将第一原始图像均等地区分成多个区块；调整每一个区块的区块亮度值；产生一复杂度信号，代表每一个区块的多个梯度值；根据调整后的区块亮度值与复杂度信号，依序调整各区块，以产生第一调整图像，对应第一原始图像。

为了实现上述目的，本发明还提供一种图像处理模块，用于一指向装置。指向装置通过与一工作面发生相对运动，并检测部分该工作面的图像而产生一位移信号。

图像处理模块包括多图像感测单元与处理器。多图像感测单元用以取得第一原始图像。处理器是以将第一原始图像均等地区分成多个区块的方式，分别依序处理这些区块，以调整每一个区块的区块亮度值。并且处理器产生一复杂度信号，以代表每一个区块的多个梯度值。再根据复杂度信号，调整对应区块的区块亮度值以及复杂度梯度值，以产生第一调整图像，对应第一原始图像。

其中，区块为一矩形方格。此外，多个梯度值是选自一水平梯度值、一垂直梯度值以及一对角梯度值。

通过以上所述的处理图像的方法与图像处理模块，本发明是可调整亮度分布，并保有原本图像的细节。因此，当在不均匀光环境之下，本发明所适用的指向装置仍然可精确地判断移动方向与距离。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为图像处理模块的方框示意图；

图2为本发明所揭露的处理图像方法的第一实施例的流程图；以及

图3为本发明所揭露的处理图像方法的第二实施例的流程图。

其中，附图标记

10图像处理模块

12发光装置

14图像感测单元

16记忆体

18处理器

具体实施方式

以下在实施方式中进一步详细说明本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、权利要求范围及附图，任何熟本领域技术人员可轻易地理解本发明相关的目的及优点。

请参考图1，为图像处理模块的方框示意图。图像处理模块10可包括发光装置12、多个图像感测单元14、记忆体16以及处理器18。

发光装置12是发出光线至一工作表面，发光装置12可为发光二极管或是激光发光装置。光线被发射至工作表面后，会被反射，且被多个图像感测单元14所接收。

多个图像感测单元14是固定周期地或是非固定周期地接收反射光。多个图像感测单元14可为电荷耦合元件(Charge-coupled Device，CCD)或是互补式金属氧化层半导体(Complementary Metal-Oxide-Semiconductor，CMOS)，多个图像感测单元14的中的每一个是代表一个像素(pixel)。多个图像感测单元14在接收到反射光，并经过模拟数字转换后，即可产生多个图像信号。

记忆体16可用以储存多个图像信号。处理器18可为微处理器、微控制器、特定应用集成电路(Application-specific integrated circuit，ASIC)或是场效可程序化门阵列(Field Programmable Gate Array，FPGA)，处理器18除了可用来发光装置12、图像感测单元14与记忆体16之外，并且可用以执行本发明所提出的拍摄参数调整方法。

在本发明中，处理器18会对于多个图像信号进行图像处理，此处以多个图像信号的其中一个图像(以下称之为第一原始图像)为例。处理器18将第一原始图像均等地区分成多个区块。处理器18分别调整每一个区块的一区块亮度值，并产生一复杂度信号。复杂度信号代表每一个区块的多个梯度值。调整完每个区块之后，处理器18组合这些区块，以产生一第一调整图像。

请参照图2，为本发明所揭露的处理图像方法的第一实施例的流程图。此方法可适用于一指向装置。当指向装置与一工作面发生相对运动时，指向装置可检测部分工作面的图像信号，并经由此图像处理方法将图像信号进行处理，并且根据处理后的图像信号产生移动信号。

在步骤S101中，发光装置12发出光线至一工作表面，多个图像感测单元14接收反射光，以取得一第一原始图像。

在步骤S103中，处理器18将第一原始图像均等地区分成多个区块。每个区块为一矩形或是一方格。处理器18可将区块内所有像素的亮度取平均，得到区块亮度。

假设2×2的方格像素的区块亮度为区块亮度c₁是为

举例而言，方格像素的区块亮度为区块亮度c₁＝45。

在步骤S105中，处理器18根据色调调整曲线(tone curve mapping)，调整每一个区块的区块亮度。色调调整曲线(tone curve mapping)可为枷玛曲线(Gamma Curve)。处理器18可以用查找表(look-up table)或是公式换算的方法，以进行上述的调整。

举例而言，在进行经过亮度转换函数转换时，假设色调调整曲线在下列区段中，输入值与输出值间的关系为：若是输入值为40～42时，输出值为50；若是输入值为43～45时，输出值为51；若是输入值为46～47时，输出值为52；若是输入值为48～49时，输出值为53；若是输入值为50～51时，输出值为54。也就是说，若是输入的区块亮度c₁＝45，则输出值为51。

在步骤S107中，处理器18产生一复杂度信号，代表每一个区块的多个梯度值。区块的梯度值为水平梯度值、垂直梯度值与对角梯度值。区块中的数值，处理器18可经过线性转换，以得到对应的多个梯度值。

以大小为2×2的方格为例。假设2×2的方格像素的区块亮度为水平梯度值定义为a₁+a₃-(a₂+a₄)，垂直梯度值定义为a₁+a₂-(a₃+a₄)，对角梯度值定义为a₁+a₄-(a₂+a₃)。

假设一个2×2的方格表示为

水平梯度值为g₁＝40+46-(44+50)＝-8，垂直梯度值定义为g₂＝40+44-(46+50)＝-12，对角梯度值定义为g₃＝40+50-(44+46)＝0。

在步骤S109中，处理器18根据调整后的区块亮度值与多个杂度信号，依序调整各区块，以产生第一调整图像，对应该第一原始图像。区块中的数值，可经过线性转换的逆转换，并根据多个梯度值与调整后的区块亮度值，得到重建区块图像。

以2×2的方格为例。根据色调调整曲线调整后的区块亮度值为c₂，水平梯度值为g₁＝a₁+a₃-(a₂+a₄)，垂直梯度值定义为g₂＝a₁+a₂-(a₃+a₄)，对角梯度值定义为g₃＝a₁+a₄-(a₂+a₃)。从上述的四个方程式，即可求出四个未知数a₁、a₂、a₃、a₄。在此例中，重建区块图像为

与同样地，在3×3的方格中，也可以以此精神，重新算出方格内的每一个数值。

若是以上述的方框为例，则可根据水平梯度值g₁＝-8，垂直梯度值g₂＝-12，对角梯度值g₃＝0，计算原本方框中的每一个数值。根据上述的计算方法，可以得到2×2方框中，左上、右上、左下与右下的数值分别是为

与

也就是说，重组后的2×2方框为

为了避免经过色调调整曲线而使图像的细节丧失，在此步骤中，可根据复杂度信号，产生一细节加强参数，并且根据细节加强参数，微调多个梯度值。

以上述的方格为例说明，可将水平梯度值、垂直梯度值与对角梯度值乘以一常数，以进行微调。可以视第一亮度与第二亮度之间的差异，动态地调整梯度值。比如说，当第一亮度与第二亮度差异较大时，即将梯度值适当的放大。而当第一亮度与第二亮度差异较小时，梯度值保持不变。

同样以上述的方框，并且以水平梯度值、垂直梯度值与对角梯度值乘以2为例，微调后的水平梯度值g₁＝-8×2＝-16，垂直梯度值g₂＝-12×2＝-24，对角梯度值g₃＝0。根据上述的计算方法，可以得到2×2方框中，左上、右上、左下与右下的数值分别系为

与

也就是说，微调并且重组过后的2×2方框为

处理器18可对于每一个区块，根据上述的方法，产生重建区块图像。并且在组合重建区块图像，即可以得到第一调整图像。

因为每次处理器18仅会针对一个区块进行处理，记忆体16的容量大小，只需要对应区块的大小即可，并不需要储存整张画面。因此，本发明所提出的方法，可大幅降低硬件的复杂度。

请参照图3，为本发明所揭露的处理图像方法的第二实施例的流程图。

步骤S10，包括步骤S101至步骤S109。也就是说，步骤S10即是取得第一原始图像后，经过图2所述的流程图的所有步骤，而得到第一调整图像。

步骤S20与步骤S10相似。步骤S20是为步骤S10经过一段时间之后，取得第二原始图像，并依照相同步骤，而得到第二调整图像。

在步骤S30中，处理器18可根据第一调整图像与第二调整图像，执行一运动估测程序，以产生位移信号。运动估测程序是会针对第一调整图像与第二调整图像进行处理。处理器18可在第一调整图像找寻出一图像特征，并且在第二调整图像搜寻与此图像特征相近似的辨识结果。根据辨识结果与图像特征之间移动的方向与距离，处理器18即可以产生位移信号，以代表指向装置的移动量。

通过以上所述的处理图像的方法与图像处理模块，本发明是可调整亮度分布，并保有原本图像的细节。因此，当在不均匀光环境的下，本发明所适用的指向装置仍然可精确地判断移动方向与距离。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种处理图像的方法，用于一指向装置，该指向装置通过与一工作面发生相对运动，并检测部分该工作面的一图像信号而产生一位移信号，其特征在于，该方法包括下列步骤：

取得一第一原始图像；

将该第一原始图像均等地，区分成多个区块；

调整每一个该区块的一区块亮度值；

产生一复杂度信号，代表每一个该区块的多个梯度值；以及

根据调整后的该区块亮度值与该复杂度信号，依序调整各该区块，以产生一第一调整图像，对应该第一原始图像。

2.根据权利要求1所述的处理图像的方法，其特征在于，该多个区块中每个区块为一矩形方格。

3.根据权利要求2所述的处理图像的方法，其特征在于，该多个梯度值为选自一水平梯度值、一垂直梯度值以及一对角梯度值。

4.根据权利要求1所述的处理图像的方法，其特征在于，该产生该复杂度信号的步骤，包含下列步骤：

对于该多个区块的多个数值进行一线性转换，以得到对应的该多个梯度值。

5.根据权利要求4所述的处理图像的方法，其特征在于，该依序调整各该区块，以产生该第一调整图像的步骤，包括下列步骤：

对于每一个该区块，根据该区块的该区块亮度值以及该多个梯度值，产生一重建区块图像；以及

组合该多个区块对应产生的多个重建区块图像，以得到该第一调整图像。

6.根据权利要求5所述的处理图像的方法，其特征在于，还包含下列步骤：

根据该线性转换，逆转换每一个该区块的该区块亮度值以及该多个梯度值，以产生该重建区块图像。

7.根据权利要求1所述的处理图像的方法，其特征在于，还包含下列步骤：

根据该复杂度信号，产生一细节加强参数；以及

根据该细节加强参数，微调该多个梯度值。

8.根据权利要求1所述的处理图像的方法，其特征在于，还包含下列步骤：

取得一第二原始图像；

将该第二原始图像均等地分成该多个区块；

调整每一个该区块的该区块亮度值；

产生该复杂度信号，代表每一个该区块的该多个梯度值；

根据调整后的该区块亮度值与该复杂度信号，依序调整各该区块，以产生一第二调整图像，对应该第二原始图像；以及

根据该第一调整图像与该第二调整图像，执行一运动估测程序，以产生该位移信号。

9.一种图像处理模块，用于一指向装置，该指向装置通过与一工作面发生相对运动，并检测部分该工作面的图像而产生一位移信号，其特征在于，该图像处理模块包括：

多图像感测单元，用以取得一第一原始图像；以及

一处理器，以将该第一原始图像均等地区分成多个区块的方式，分别依序处理该多个区块，以调整每一个该区块的一区块亮度值，并产生一复杂度信号，以代表每一个该区块的多个梯度值，再根据该复杂度信号，调整对应区块的该区块亮度值以及该多个梯度值，以产生一第一调整图像，对应该第一原始图像。

10.根据权利要求9所述的图像处理模块，其特征在于，该多个区块中每个区块为一矩形方格。

11.根据权利要求10所述的图像处理模块，其特征在于，该多个梯度值为选自一水平梯度值、一垂直梯度值以及一对角梯度值。

12.根据权利要求9所述的图像处理模块，其特征在于，该处理器用以一线性转换该多个区块的多个数值，以得到对应的该多个梯度值。

13.根据权利要求12所述的图像处理模块，其特征在于，该处理器对于每一个该区块，根据该区块的该区块亮度值以及该多个梯度值，产生一重建区块图像，并组合该多个区块对应产生的多个重建区块图像，以得到该第一调整图像。

14.根据权利要求13所述的图像处理模块，其特征在于，该处理器根据该线性转换，逆转换每一个该区块的该区块亮度值以及该多个梯度值，以产生该重建区块图像。

15.根据权利要求9所述的图像处理模块，其特征在于，该处理器根据该复杂度信号，产生一细节加强参数，并且根据该细节加强参数，微调该多个梯度值。