CN101461228A - 图像处理电路、半导体装置和图像处理设备 - Google Patents

Abstract

根据本发明的方案，提供了一种图像处理设备，根据亮度转换系数，对输入图像的各像素进行亮度转换处理，并产生输出图像。该图像处理设备具有：划分部分，将输入图像的区域划分为多个子区；以及直方图计算部分，计算每个子区的直方图。此处，所述亮度转换系数是基于所述直方图计算部分的计算结果确定的。采用这种配置，即使在图像的某一部分就整幅图像而言具有低频亮度级(或亮度范围)的情况下，包含这样的部分的图像也可以获得令人满意的对比度。

Description

图像处理电路、半导体装置和图像处理设备

技术领域

本发明涉及一种对输入图像进行亮度转换处理(亮度动态范围修正处理)以产生期望输出图像的图像处理电路，一种通过集成这种图像处理电路而形成的半导体装置，以及一种包含这种半导体装置的图像处理设备。

本发明还涉及一种检测运动图像的各帧输入图像是否发生了运动(变化)的图像处理电路，一种通过集成这种图像处理电路而形成的半导体装置，以及一种包含这种半导体装置的监控设备。

背景技术

传统上，作为一种能够使输入图像看上去更为美观的图像处理技术，亮度转换处理十分常用。在该亮度转换处理中，亮度转换是通过例如基于整幅图像的亮度直方图，计算整个图像区域的公共亮度转换系数，并将各像素同该亮度转换系数相乘而实现的。

具体而言，首先为整幅输入图像生成亮度直方图(亮度范围中的频率，即属于预定亮度范围的像素数量的分布)。然后，基于该亮度直方图计算亮度转换系数，从而使输入图像中的高频亮度范围在输出图像中变宽，反之，使输入图像中的低频亮度范围在输出图像中变窄。因此，各亮度级或各预定亮度范围内的亮度转换系数是不同的。

如此一来，虽然低频亮度范围内的部分输入图像具有较低的对比度(亮度差)，但高频亮度范围内的部分输入图像具有较高的对比度。因此，就整幅图像而言，可以实现比输入图像的对比度更高的对比度。

前述有关的传统技术公开于专利文献1至4以及其他文献。

专利文献5和6公开并提出了对输入图像的数据执行预定缩减处理并产生亮度直方图的图像处理设备。

专利文献7公开并提出了一种图像信号运动检测电路。该图像信号运动检测电路具有：门限处理装置，将输入图像的帧差异信号同门限进行比较，以输出比较结果，作为运动检测信号；以及用于检测图像信号在整个屏幕上的平均亮度的装置(或将图像信号划分为多个块以逐块检测平均亮度的装置)，并且所述图像信号运动检测电路被配置为，使所述门限处理装置的门限基于用于检测平均亮度的装置的输出而适当切换。

专利文献1：JP-T-2004-530368

专利文献2：JP-A-2000-013625

专利文献3：JP-A-2000-036043

专利文献4：JP-A-2004-145399

专利文献5：JP-A-H10-198802

专利文献6：JP-A-2001-268400

专利文献7：JP-A-H08-046925

发明内容

本发明要解决的问题

如前所述，根据所述基于整幅图像的亮度直方图来计算整幅图像的公共亮度转换系数的方法，低频亮度范围内的图像部分一致具有较低的对比度。然而，即使在低频亮度范围内的图像部分中，也可能需要令人满意的对比度(较高的对比度)。在这种情况下，很难通过执行上述亮度转换处理来满足这样的要求。

举例而言，虽然一幅图像的大部分具有较低的亮度，但高亮度像素集中在图像的某一部分，该部分对于图像而言十分重要。

在这种情况下，虽然需要这部分具有较高的对比度，但由于就整幅图像而言这部分属于低频亮度范围，因此在输出图像中只为这部分分配了较窄的范围。从而很难获得令人满意的对比度。

由于在执行亮度动态范围校正处理时，前述传统图像处理设备对整幅输入图像的亮度直方图进行采集处理(计数处理)，因此当输入图像尺寸(像素数目)加大时，需要计数器具有更大的位宽。而这将使电路尺寸增大。

利用专利文献7公开的传统运动检测电路，在基于帧差异信号执行运动检测时，不仅可以针对图像中亮度就整幅图像而言随时间变化的图像产生高精度的运动检测信号，还可以针对图像中有不同的亮度部分存在于单个屏幕上的图像产生高精度的运动检测信号。

由于上述传统运动检测电路检测整个当前帧和整个在前帧之间的差异，并基于此差异的绝对值和预定门限之间的比较结果来执行运动检测处理，因此适于各种应用，如，通过对持续变化的电视图像信号等信号执行运动检测，并，通过控制所检测的运动检测信号，执行在运动图像和静止图像间切换信号处理的运动自适应处理，来提高图像质量。然而，该传统运动检测电路不适和检测帧的一部分的运动。例如，它不一定适合诸如可靠检测可疑个体的微小运动并记录输入图像所需的监控摄像机之类的应用。

由于上述传统运动检测电路基于帧差异信号执行运动检测处理，因此有必要至少缓存一帧的图像信号，因而当图像尺寸较大时，需要大容量的帧存储器。这会增加电路尺寸和成本。

公开并提出在上述传统运动检测电路，其中检测图像信号的平均亮度(或逐块平均亮度)。该配置被用作防止由屏幕亮度变化引起的运动检测精度下降，从而控制门限处理装置的门限的手段。该配置的目的和效果不同于本发明的目的和效果。

本发明的目的在于，提供一种图像处理电路，该电路即使在图像的某一部分就整幅图像而言具有低频亮度级(或亮度范围)的情况下，也能为包含这种部分的图像提供令人满意的对比度；本发明的目的也在于，提供一种通过集成这种图像处理电路而形成的半导体装置，以及一种包含这种半导体装置的图像处理设备。

本发明的另一目的在于，提供一种图像处理电路，该电路能够在减少电路尺寸增量的同时对输入图像执行亮度转换处理，并提高输出图像的质量和可见性；本发明的另一目的也在于，提供一种通过集成这种图像处理电路而形成的半导体装置，以及一种包含这种半导体装置的图像处理设备。

本发明的另一目的在于，提供一种图像处理电路，该电路不仅能够以较高的精度检测帧的一部分的微小运动，还能够有助于减小电路尺寸；本发明的另一目的也在于，提供一种通过集成这种图像处理电路而形成的半导体装置，以及一种包含这种半导体装置的图像处理设备。

解决问题的手段

为了实现上述目的，根据本发明的一方面，提供了一种图像处理设备，根据亮度转换系数，对输入图像的各像素进行亮度转换处理，并产生输出图像。该图像处理设备具有：划分部分，将输入图像的区域划分为多个子区；以及直方图计算部分，计算每个子区的直方图。此处，所述亮度转换系数是基于所述直方图计算部分的计算结果确定的(第一配置)。

具体而言，所述图像处理设备还可以包括：第一计算部分，基于所述直方图计算部分的所述计算结果，计算每个子区的逐子区转换系数。此处，所述亮度转换系数可以是基于所述逐子区转换系数确定的(第二配置)。

采用该配置，亮度转换系数是基于各子区的直方图确定的。因此，即使当整幅图像的某一部分的亮度差大于整幅图像的亮度差时，也可以根据基于包含该部分的子区的直方图而确定的亮度转换系数，对该部分进行亮度转换。因此，同例如基于整幅图像的直方图确定亮度转换的情况相比，这部分可以获得令人满意的对比度。

“亮度转换系数”和“逐子区转换系数”确定了输入图像和输出图像间的关系。例如，可以将它们作为针对每幅输入图像的亮度而确定的输出和输入图像亮度的比率来给出。但本发明并不局限于此。

在第二配置中，可以包括滤波器部分，根据图像和位置，对所述逐子区转换系数进行低通滤波。(第三配置)

逐子区转换系数是基于感兴趣子区的直方图计算的，并且基本不考虑感兴趣子区之外的其他子区的亮度信息。因此，在子区的边界处，亮度差可能十分显著。采用根据图像和位置对所述逐子区转换系数进行低通滤波的这种配置，就可以减小这种亮度差。

在第三配置中，滤波器部分可以被配置为，在对感兴趣子区进行滤波时，使用包含于所述感兴趣子区周围的预定范围内的子区的所述逐子区转换系数，并且在所述预定范围的至少一部分位于图像区域以外时，为所述一部分分配预定虚系数，并将所述虚系数当作所述逐子区转换系数，来进行滤波(第四配置)。

采用该配置，即使当对位于图像区域周边的区域进行滤波处理时，也可以通过将向位于图像区域以外的一部分分配的预定虚系数当作所述逐子区转换系数，执行令人满意的滤波处理。“虚系数”采用同逐子区系数相同的形式，以实现所述目的。

根据第二至第四配置中的任意一种的图像处理设备还可以包括：第二计算部分，基于所述逐子区转换系数，计算每个像素的逐像素转换系数，所述第二计算部分计算所述逐像素转换系数，以进一步减小子区间边界的亮度差。此处，所述亮度转换系数是基于所述逐像素转换系数确定的(第五配置)。

由于针对每个子区，将逐子区转换系数设置为常数(逐子区转换系数对于子区内像素是公共的)，因此子区间边界的亮度差仍然十分显著。在该配置中，基于逐子区转换系数计算逐像素转换系数，从而进一步降低子区间边界的亮度差。亮度转换系数是基于逐像素转换系数确定的，并且更易于产生亮度差得到进一步减小的图像。

同“亮度转换系数”和“逐子区转换系数”一样，“逐像素转换系数”确定了输入图像和输出图像的亮度间的关系。例如，可以将其作为针对每幅输入图像的亮度而确定的输出和输入图像亮度的比率给出

根据第二至第五配置中的任意一种的图像处理设备还可以包括：第二计算部分，基于所述逐子区转换系数，计算每个像素的逐像素转换系数。此处，所述亮度转换系数可以是基于所述逐像素转换系数确定的，并且所述第二计算部分可以在计算感兴趣像素的逐像素转换系数时，选择所述感兴趣像素附近的四个子区，并对近似位于所述四个子区的中心的四个点执行双线性运算(第六配置)。

采用这种配置，逐像素转换系数是基于逐子区转换系数计算的，以使包含边界的子区的亮度平滑变化。这样，可以最小化亮度的不连续变化。这有助于产生更美观的图像。

术语“感兴趣像素附近的四个子区”指如图7所示的共享同一顶点的四个子区，并且所述四个子区存在如下关系：感兴趣像素位于由在这些子区的近似中心之间绘制线而形成的四边形内。

在第一至第六配置中的任意一种配置中，可以获取运动图像的每个帧作为所述输入图像，并且可以根据基于第n-1帧的内容而确定的亮度转换系数，对第n帧进行亮度转换处理(第七配置)。

由于在这种配置中，第n帧的亮度转换处理是利用第(n-1)帧的亮度转换系数实现的，因此可以在完成对第n帧的亮度转换系数的计算之前，对第n帧执行亮度转换处理并产生图像输出。这可以快速地产生通过对输入图像执行亮度转换处理而获得的图像。这有助于几乎实时地产生图像输出。

第一至第七配置中的任意一种图像设备还可以包括：摄像部分，形成对象的光学图像，以拍摄所述对象的图像。此处，所述输入图像是通过拍摄图像而获得的(第八配置)。采用这种配置，可以在拍摄对象的图像的同时，获得任意一种上述配置的优势。

在第一配置的图像处理电路中，可以对包含于各子区中的全部像素进行预定的删减处理，然后对剩余像素进行计数，以形成所述亮度直方图，并将除少数低位比特以外的结果计数值存储在内部存储器中(第九配置)。采用这种配置，可以减小计数器和内部存储器的尺寸。这可以在对输入图像执行亮度转换处理的同时，减小电路尺寸，并提高输出图像的图像质量和可见性。

在第九配置的图像处理电路中，可以执行所述删减处理，以使被删除的像素和未被删除的像素是以交错方式排列的(第十配置)。采用这种配置，可以最小化由删减处理引起的亮度直方图精度的降低。

在第一配置的图像处理电路中，如果在将所述输入图像划分为多个子区时，产生像素数量少于预定像素数量的子区，那么可以使用包含于所述子区内的像素的亮度信息补充缺失亮度信息，从而获得所述子区的亮度直方图(第十一配置)。采用这种子区补充处理，所有子区中的样本数量(像素总数)相等。因此，只用一套硬件就可以执行后级处理。这有助于减小电路尺寸。当执行子区补充处理时，使用包含于子区中的像素的亮度信息。因此，可以获取子区的亮度直方图。这有助于最小化对亮度转换处理的影响。

在第十一配置的图像处理电路中，如果在像素数量少于预定像素数量的所述子区内，缺失像素的数量少于所述子区中包括的像素的数量，则可以从所述子区内包括的像素之中提取与要补充的像素区域接近的、所需数量的像素，并可以使用所提取的亮度信息补充缺失信息(第十二配置)。同使用远离所要补充的像素区域的像素的亮度信息或使用随机提取的像素的亮度信息情况相比，利用该配置，可以获取该子区的亮度直方图。这有助于最小化对亮度转换处理的影响。

第一配置的图像处理电路还可以包括：运动检测部分，获取由一帧输入图像划分而成的多个子区中每个子区的亮度信息，并将当前帧的亮度信息同前一帧的亮度信息进行比较，以检测所述输入图像中是否发生了运动(第十三配置)。同基于帧差异信号执行运动检测处理的传统方法相比，采用上述配置可以以较高的精度检测一帧的一部分的微小运动。

在第十三配置中的图像处理电路中，所述运动检测部分可以使用每个子区内包括的感兴趣像素的亮度值，作为所述亮度信息(第十四配置)。采用该配置，可以在对当前和前一帧的亮度信息进行比较和评估时，减小缓冲的数据量。这有助于减小电路的尺寸。

在第十四配置的图像处理电路中，所述运动检测部分可以在当前帧中的感兴趣像素及其相邻像素间，对亮度值进行预定的加权运算，或者在当前帧和前一帧中的感兴趣像素间，对亮度值进行预定的加权运算，并使用所述运算的结果作为每个子区内包括的感兴趣像素的亮度值(第十五配置)。由于不太可能受感兴趣像素的瞬时亮度变化的影响，因此采用这种配置可以提高抗噪能力，并减少错误检测。

在第十三配置的图像处理电路中，所述运动检测部分可以使用每个子区内包括的感兴趣像素的亮度值，作为所述亮度信息(第十六配置)。采用这种配置，可以在对当前和前一帧的亮度信息进行比较和评估时，减小缓冲的数据量。这有助于减小电路的尺寸。此外，由于不太可能受噪声的影响，因此可以更高的精度对各子区执行运动检测。

第十三至第十六配置中任意一种配置的图像处理电路，还包括：亮度转换系数计算部分，针对由一帧输入图像划分而成的多个子区中的每个子区，获取亮度直方图，并基于所述亮度直方图计算亮度转换系数；以及亮度转换处理部分，根据所述亮度转换系数，对所述输入图像的每个像素进行亮度转换处理。此处，所述运动检测部分可以使用在计算所述亮度转换系数时获取的每个子区的亮度信息，并对所述输入图像进行运动检测处理

(第十七配置)。采用这种配置，即使在图像的某一部分就整幅图像而言具有低频亮度级(或亮度范围)的情况下，包含这种部分的整幅图像也可以获得令人满意的对比度。采用这种配置，还可以同时获得亮度转换处理和运动检测处理所需的亮度信息。这可以防止电路的重复，并且这有助于减小电路尺寸。

根据本发明的另一方面，提供了一种半导体装置，所述半导体装置是通过集成第一至第十七配置中任意一种配置的图像处理电路来形成的(第十八配置)。

根据本发明的另一方面，提供了一种图像处理设备，包括：第十八配置的半导体装置；以及摄像部分，形成对象的光学图像，以拍摄所述对象的图像。此处，所述输入图像是通过拍摄图像而获得的(第十九配置)。采用该配置，可以在拍摄对象的图像的同时，获得任意一种上述配置的优势。

第十九配置的图像处理设备还可以包括：记录部分，在检测到所述输入图像中的运动时记录所述输入图像(第二十配置)。采用这种配置，可以节省记录介质中的存储空间，而无须对记录图像进行高度压缩(因而，未降低记录图像的质量)。

本发明的有益效果

如上所述，本发明的图像处理设备，基于针对各子区计算得到的亮度直方图来确定亮度转换系数。因此，即使当整幅图像的某一部分的亮度差大于整幅图像的亮度差时，也可以根据基于包含该部分的子区的直方图而确定的亮度转换系数，对该部分进行亮度转换。

因此，同例如基于整幅图像的直方图确定亮度转换的情况相比，这部分可以获得令人满意的对比度。

本发明的图像处理电路，通过集成这种图像处理电路而形成的半导体装置，或包含这种半导体装置的图像处理设备，可以在对输入图像执行亮度转换处理的同时减小电路尺寸的增加，并提高输出图像的图像质量和可见性。

本发明的图像处理电路，由于所有子区中的样本数量相等，因此只用一套硬件就可以执行后级处理。这有助于减小电路尺寸。当执行子区补充处理时，使用包含于子区中的像素的亮度信息。因此，可以获取子区的亮度直方图。这有助于最小化对亮度转换处理的影响。

同基于帧差异信号执行运动检测处理的传统方法相比，本发明的图像处理电路，通过集成这种图像处理电路而形成的半导体装置，或包含这种半导体装置的图像处理设备，可以以更高的精度检测一帧的一部分的微小运动。

附图说明

图1是示出了根据本发明实施例的图像处理设备的方框图，；

图2描述了图像处理的整个流程；

图3是示出了计算亮度转换系数的方法的流程图；

图4描述了图像处理设备1中的子区划分的一种方案；

图5描述了建立虚子区(由附图中的附图标记A40至A49指示)的情形。

图6描述了低通滤波的一种方案；

图7描述了双线性运算；

图8是示出了亮度直方图计算部分的配置示例的方框图；

图9描述了获取亮度直方图时执行的删减处理；

图10描述了当执行子区划分时产生剩余部分的情形；

图11A描述了子区补充处理的示例；

图11B描述了子区补充处理的另一示例；

图11C描述了子区补充处理的另一示例；

图11D描述了子区补充处理的另一示例；

图11E描述了子区补充处理的另一示例；

图11F描述了子区补充处理的另一示例；

图11G描述了子区补充处理的另一示例；

图12是示意性地示出了本发明监控设备的配置方框图；

图13示出了运动检测部分16的配置示例；

图14描述了提取感兴趣像素的操作；以及

图15是示出了运动检测部分16的另一配置示例的方框图。附图标记列表

1图像处理设备

1′ 监控设备(图像处理设备的应用示例)

10  图像获取部分(图像获取装置)

11  亮度转换处理部分

13  亮度转换系数计算部分

14  亮度转换系数存储部分

15  输出部分

16和16′运动检测部分

17  记录部分

131  删减处理部分

132  计数器部分

133  向下舍入处理部分

134  内部存储器部分

161  感兴趣像素提取部分

162  噪声滤波处理部分

163  缓冲器部分

164  比较确定部分

具体实施方式

以下，将详细说明将本发明应用于对各帧图像进行亮度转换处理的图像处理设备的情况，所述各帧图像是通过捕捉运动图像而获得的。

下面将首先详细地示意性地描述根据本发明的图像处理设备的配置。

图1是示出了根据本发明实施例的图像处理设备的方框图。

如图所示，该实施例的图像处理设备1具有：摄像部分10、亮度转换系数11、亮度转换系数计算部分13、亮度转换系数存储部分14、以及输出部分15。

摄像部分10具有：预定镜头、摄像元件(CMOS传感器或CCD传感器)等；摄像部分通过形成对象的光学图像，对所述对象执行图像捕捉处理(例如，每秒捕捉30帧运动图像)。随后，将每帧的图像数据依次馈送至亮度转换部分11和亮度转换系数计算部分13。

亮度转换处理部分11对从摄像部分10馈送的每帧的图像数据进行亮度系数转换处理，并产生输出。所述亮度系数转换处理是通过根据存储在亮度系数转换存储部分14中的亮度转换系数改变输入图像中各像素的亮度来实现的。

亮度转换系数计算部分13根据从摄像部分10馈送的每帧的图像数据(输入图像)，计算用于亮度转换处理的亮度转换系数。稍后将对亮度转换系数的内容以及用于计算亮度转换系数的方法加以描述。

亮度转换系数存储部分14至少在对后继帧执行亮度转换处理之前，存储由亮度转换系数计算部分13计算得到的亮度转换系数。所存储的亮度转换系数用于亮度转换处理部分11所执行的亮度转换处理。

输出部分15具有诸如LCD(液晶显示器)等显示器；输出部分顺序地显示在经亮度转换处理部分11所执行的亮度转换处理后馈送的图像。

按上述方式配置的图像处理设备1基于亮度转换系数对通过捕捉运动图像而获得的输入图像进行亮度系数转换，并在显示器上显示结果图像。

在上述组件中，优选将亮度转换处理部分11、亮度转换系数计算部分13和亮度转换系数存储部分14集成于半导体装置中。

下面将参考图2对图像处理设备1执行的图像处理的整个流程予以描述。

图2描述了图像处理设备1执行的图像处理的整个流程。

如图所示，当接收到第n帧输入图像时，亮度转换系数计算部分13基于输入图像，计算亮度转换系数。从而，可以获得基于第n帧而确定的亮度转换系数，并将其临时存储在亮度转换系数存储部分14中。

亮度转换处理部分11利用基于第(n-1)帧确定的亮度转换系数，对接收到的第n帧输入图像执行亮度转换处理，其中基于第(n-1)帧确定的亮度转换系数已存储在亮度转换系数处理部分14中。

具体而言，令位于第n帧中坐标(i，j)上的像素的未经图像转换处理的亮度为Iij(n)，经过亮度转换处理的亮度为Oij(n)，基于第(n-1)帧并针对位于坐标(i，j)上的像素而确定的亮度转换系数为Tij(n)。那么，各帧的像素亮度将基于以下等式(1)而变化。通过输出部分15馈送已经过亮度转换处理部分11的亮度转换处理的图像。

Oij(n)＝Tij(n-1)th×Iij(n)              (1)

如上所述，该实施例的图像处理设备1利用基于第(n-1)帧确定的亮度转换系数，对第n帧输入图像执行亮度转换处理。因此，在第n亮度转换系数的计算完成之前，图像处理设备1就可以执行第n亮度转换处理，并产生图像输出。这可以尽快产生通过对输入图像执行亮度转换处理而获得的图像。这有助于几乎实时地产生图像输出。

可以利用基于第(n-2)帧或更早的帧确定的亮度转换系数，对第n帧的输入图像执行亮度转换处理。应当注意的是，当使用基于过早的帧的亮度转换系数时，所执行的转换处理精度不足。当处理快速运动图像时，该问题特别显著。例如，当用静止图像作为输入图像时，可以利用基于第n帧确定的亮度转换系数对第n帧的输入图像执行亮度系数转换处理。

下面参考图3所示的流程图，对计算亮度转换系数的方法予以说明。

图3是示出了在图像处理设备1中计算亮度转换系数的方法的流程图。

将一帧的输入图像划分为多个子区(步骤S11)。

图4描述了图像处理设备1中的子区划分的一种方案。

在图4的示例中，一帧是由40垂直像素乘64水平像素(＝2560像素)组成的，而一个子区的大小为8乘8像素。因此，子区的总数为40(5垂直子区×8水平子区＝40子区)。从位于左上角的子区开始，这些子区分别被称为“A0、A1...An...A39”。

完成子区划分后，计算逐子区转换系数(图3中的步骤S12)。由于逐子区转换系数是针对每个子区而确定，因此逐子区转换系数是一个子区内的像素共有的。

由于计算逐子区转换系数的方法与计算整帧转换系数的方法是相同的，因此省略了其详细说明。计算逐子区转换系数的方法与传统方法的区别在于，并不生成整帧的亮度直方图，而是生成逐子区亮度直方图(每个亮度极或每个亮度子区中的像素频率)，然后基于逐子区亮度直方图计算转换系数。利用这样计算逐子区转换系数，可以在输出图像中将输入图像中各高频划分子区的亮度范围变宽。

在图3的步骤S12中，对图像区域内的所有子区计算逐子区转换系数。换言之，逐子区转换系数是为每个子区唯一确定的。可以原样不变地使用逐子区转换系数作为亮度转换系数，对输入图像进行亮度转换处理。这样，即使整幅图像的一部分具有比整幅图像的亮度差更大的亮度差，也可以在包含该部分的整幅图像中获得令人满意的对比度。

基本上逐子区转换系数的计算不考虑有关感兴趣子区之外的子区(即其他子区)的亮度信息。因此，在子区的边界处，亮度差十分显著(亮度分布是高频的)，并且可能产生就平滑度而言无法令人满意的图像。为了克服这个问题，在该实施例中，对针对每个子区计算的逐子区转换系数执行滤波处理或类似处理。下面具体描述这一处理。

在执行滤波处理或类似处理前，首先在图像区域外建立大小与上述子区近似的虚子区。

图5描述了建立(由附图中的参考标记A40至A69指示的)虚子区的情形。

为虚子区A40至A69设置虚逐子区转换系数(以下称“虚系数”)(图13中的步骤S13)。正如稍后将予以说明的那样，对这些虚系数进行设置，以使甚至对围绕在图像区域周边的子区也可以成功地执行滤波处理。

虚系数是参考与虚子区对称的子区的转换系数设置的，虚子区与其对称子区的对称中心是与该虚子区相邻的子区(位于图像区域周边的子区)。例如，虚子区A41与子区A8关于子区A0对称，因此，虚子区A41的虚系数被设置为等于子区A8的逐子区转换系数。同样，虚子区A42与子区A9关于子区A1对称，因此虚子区A42的虚系数被设置为等于子区A9的逐子区转换系数。相反，位于角落的虚子区A40与子区A9关于子区A0对称，因此虚子区A42的虚系数被设置为等于子区A9的逐子区转换系数。

除了上述设置虚系数的方法，还可以例如参考以图像区域周边(图6所述的粗线)为中心而位置对称的子区来设置虚系数。在这种情况下，虚子区A41与子区A0关于图像区域周边对称，因此虚子区A40的虚系数被设置为等于子区A0的逐子区转换系数。同样，虚子区A42与子区A1关于图像区域周边对称，因此虚子区A42的虚系数被设置为等于子区A1的逐子区转换系数。相反，虚子区A40与子区A0关于图像区域周边对称，因此虚子区A40的虚系数被设置为等于子区A0的逐子区转换系数。

当按如上所述的方式为每个虚子区设置了虚系数后，根据图像和位置对图像区域内每个子区的逐子区转换系数执行低通滤波处理(滤波处理)(图3中的步骤S14)。

图6描述了低通滤波的一种方案。

当对感兴趣子区执行滤波处理时，使用包含于所述感兴趣子区周围的预定范围内的子区(在这种情况下，为位于感兴趣子区上下左右的四个子区)的逐子区转换系数。当预定范围的一部分位于图像区域以外时，假定这部分的逐子区转换系数是分配给这部分的虚子区的虚系数。

例如，已经过滤波处理的区域A0的逐子区转换系数a′(0)是由以下等式给出的，其中a(n)表示未经滤波处理的区域An(n＝0，1，8，41和50)的逐子区转换系数，a(41)和a(50)分别表示虚子区A41和A50的虚系数。

a′(0)＝a(0)/2+{a(1)+a(8)+a(41)+a(50)}/8

利用这种滤波处理，即使在子区边界的亮度差十分显著的情况下，也可以减小亮度差。虽然该实施例讨论的是图7所示的低通滤波，但是还可以存在多种变型，例如在子区内考虑什么范围内的逐子区转换系数和当进行滤波时为区域分配什么权重等方面，作一些改变。

可以采用已经过滤波处理而不经进一步处理的逐子区转换系数作为亮度转换系数，对输入图像进行亮度转换处理。然而，在该实施例中，为了进一步获得输出图像的平滑性，计算逐像素确定的逐像素转换系数(即使像素属于相同的子区，这些系数也未必是相同的)(图3中的步骤S15)，并将它们用作亮度转换系数(图3中的步骤S16)。

下面参考图7描述计算该逐像素转换系数的方法(双线性运算)。

图7描述了双线性运算。

当确定感兴趣像素的逐像素转换系数时，考虑感兴趣像素附近的四个子区。例如，如果图7所示的像素P是感兴趣像素，就考虑子区A0、A1、A8、和A9。具体而言，选择4个子区，使4个子区共享一个顶点，并使感兴趣像素位于由在这些子区的中心绘制线而形成的四边形内。

感兴趣像素的逐像素转换系数是通过对已经过滤波处理的四个子区的逐子区转换系数{a′(0)、a′(1)、a′(8)、和a′(9)}、感兴趣像素P的位置、以及四个子区的中心位置执行双线性运算而计算的。

具体而言，如图7所示，令子区间水平距离为X，子区间垂直距离为Y，子区A0的中心和感兴趣像素P间的水平距离为“a”，两者间的垂直距离为“b”，那么感兴趣像素的逐像素转换系数p(P)可由下式给出。

p(P)＝{a′(0)×(X-a)×(Y-b)

+a′(1)×a×(Y-b)

+a′(8)×(X-a)×b

+a′(9)×a×b}/(X×Y)

在双线性运算中，当感兴趣像素位于图像区域周边时，感兴趣的四个子区的一部分可能位于图像区域外部。即使在这种情况下，如在前述滤波处理中那样，也可以例如通过创建虚子区和虚系数的方式成功地进行双线性运算。

这样，就可以计算出图像区域内所有像素的逐像素转换系数，并将其用作像素的亮度转换系数。因此，基于逐区域转换系数计算逐像素转换系数，使包含子区间边界的子区的亮度平滑变化。因此，可以最小化亮度的不连续变化。这有助于产生更美观的图像。

在按上述方式执行双线性运算时，通常计算逐像素转换系数，以进一步减小子区间边界的亮度差。为了可靠地最小化子区间边界的亮度差，可以采用另一计算方法，代替或作为双线性运算的补充。

可选地，可以在亮度转换系数存储部分14中只存储逐子区转换系数(逐子区系数)，并在执行亮度转换处理时计算逐像素转换系数(逐像素系数)，最终将其作为亮度转换系数来使用。同存储逐像素转换系数的情况相比，采用这种方式，可以减小亮度转换系数存储部分14中包括的存储器的量。

上述术语“像素”可以在字面上指“单个像素”，也可以指由例如红色、绿色、和蓝色(RGB)像素组成的“像素组”。在后一种情况下，术语“像素亮度”指例如像素组的平均亮度。

如上所述，利用该实施例的图像处理设备1，即使在图像的一部分就整幅图像而言具有的低频亮度级(或亮度范围)的情况下，包含该部分的图像也可以获得令人满意的对比度。

由于该实施例的图像处理设备1在执行亮度动态范围校正时不是对整幅输入图像的亮度直方图而是对各子区的亮度直方图执行获取处理(计数处理)，因此即使输入图像尺寸(像素数量)较大，也没有必要增加计数器的位数(最大计数值)。这使得电路尺寸可以获得极大的减小。甚至在处理具有较大数量像素的输入图像时，也没必要增加电路尺寸。因此，可以容易地处理含有大量像素的输入图像。

为了进一步减小电路尺寸，下面将提出一种包含于亮度转换系数计算部分13中的亮度直方图计算部分的配置示例，并且将在以下对其配置和操作予以详细描述。

图8是示出了亮度直方图计算部分的配置示例的方框图。

如图所示，该配置的亮度直方图计算部分具有：删减处理部分131、计数器部分132、向下舍入处理部分133、以及内部存储器部分134。

删减处理部分131执行对划分为子区的输入图像执行预定的删减处理；将每一个子区中包括的所有像素分类为亮度直方图计数的像素(未删除的像素)和亮度直方图不计数的像素(删除的像素)。

图9描述了获取亮度直方图时执行的删减处理。

如图所示，执行删减处理，使未删除的像素(图中所示的带阴影线的像素)和删除的像素(图中所示的空白像素)以交错方式排列。采用这种配置，可以最小化由删减处理引起的亮度直方图的精度的下降。

用于执行删减处理的方法不局限于这种方法。还可以简单地删除奇数编号的像素(或偶数编号的像素)，或以列为单位(或以行为单位)删除像素。像素删除的比率不局限于50％；可以删除更多或更少的像素。

计数器部分132以逐预定像素范围的方式划分要进行亮度直方图计数的像素，并对包含于各划分范围(亮度范围)内的像素进行计数。同前述对整个子区中的像素进行计数的情况相比，此处计数器部分132的位数减少了一半(在删减率为50％的情况下)。

向下舍入处理部分133对计数器部分132所获得的各亮度划分范围内的计数值执行预定的向下舍入处理，并将除少数低位比特以外的计数值存储在内部存储器部分134中。在例如计数器部分132所获得的计数器值的长度为7位的情况下，在内部存储器部分134中只存储除4个低位比特以外的计数器值，即3个高位比特的计数器值。换言之，向下舍入处理部分133将计数器值的一小部分进行向下舍入。利用该配置，就可以减小内部存储器部分134的容量。这有助于减小电路尺寸。

内部存储器部分134临时存储向下舍入处理部分133所获得的计数值，并将所存储的数据作为亮度直方图，用于计算亮度转换系数。

如上所述，采用这种配置的亮度直方图计算部分，对包含于每个子区的全部像素进行预定的向下舍入处理，然后对剩余像素进行亮度直方图计数，并将除少数低位比特的计数值存储在内部存储器部分134中。采用这种配置，可以减小计数器部分132和内部存储器134的尺寸。这可以在对输入图像执行亮度转换处理的同时减小电路尺寸的增加，并提高输出图像的图像质量和可见性。

当该实施例的图像处理设备1执行动态范围校正处理时，按如上所述的方式将输入图像划分为预定尺寸的子区。根据输入图像和子区的尺寸，无法将输入图像划分为多个相等的子区，因此将产生输入图像的剩余部分。

图10描述了当执行子区划分时产生剩余部分的情形。在该图中，空白子区表示具有足够数量像素的子区，带阴影线的子区表示像素数量不够的子区(位于输入图像边缘的子区X、Y和Z)。以虚线标记的部分表示缺失像素的部分。

如图所示，如果在将输入图像划分为子区时，产生像素数量少于预定数量的子区X、Y和Z，则包含于各子区中的总像素数发生变化。因此，每个子区(每种像素总数)都需要一套用于执行后级处理(在前例中，为用于计算逐子区亮度转换系数的处理)的硬件，这增加了电路的尺寸。

为了克服上述问题，如果在将输入图像划分为子区时，产生像素数量少于预定数量的子区，该实施例的图像处理设备1就用包含于子区中的像素的亮度信息补充缺失亮度信息，以获取子区的亮度直方图。

图11A至11G描述了子区补充处理的示例。图11A、11C和11E示出了对位于帧的底部边缘的子区(图10中所示的子区X)的子区补充处理；图11B、11D和11F示出了对位于帧的右侧边缘的子区(图10中所示的子区Y)的子区补充处理。图11G示出了对位于帧的右下角的子区(图10中所示的子区Z)的子区补充处理。在图11A至11G中，带阴影线的部分表示像素数量少于预定数量的子区，以虚线标记的部分表示缺失像素的部分。

如图11A和11B所示，当在像素数量少于预定数量的子区中，包含于该子区中的像素数量等于缺失像素的数量时，优选地用通过重复地对包含于该子区中的所有像素的亮度信息进行采样而获得的亮度信息，来补充缺失亮度信息。通过执行该子区补充处理，所有子区中的样本数量(像素总数)相等。因此，只用一套硬件就可以执行后级处理。这有助于减小电路尺寸。当执行子区补充处理时，使用包含于子区中的像素的亮度信息。因此，可以获取子区的亮度直方图。这有助于最小化对亮度转换处理的影响。

如图11C和11D所示，当执行一次采样无法补全缺失像素的部分时，优选地进行多次采样。

如图11E和11F所示，当在像素数量少于预定数量的子区中，缺失像素的数量小于包含于该子区中的像素数量时，优选地，从包含于该子区的像素中提取与要补充的像素区域接近的所需数量的像素，并用所提取的亮度信息补充缺失信息。同使用远离所要补充的像素区域的像素的亮度信息或使用随机提取的像素的亮度信息情况相比，利用该配置，可以获取该区域的亮度直方图。这有助于最小化对亮度转换处理的影响。

如图11G所示，当沿行和列方向的像素不够时，优选地，按上述方法对包含于该子区内的像素进行适当次数的重复采样，并利用获取的亮度信息补充缺失信息。

上述子区补充处理仅仅是一个示例，还可以采用任意其他方法，只要如果在将输入图像划分为子区时，产生像素数量少于预定数量的子区，则可以用包含于子区内的像素的亮度信息补充缺失亮度信息。

虽然上述实施例涉及将本发明应用于对通过捕捉运动图像而获得的各帧图像执行亮度转换处理的图像处理设备的情形，但本发明不局限于该应用。本发明可应用于对输入图像执行亮度转换处理以产生期望输出图像的图像处理电路，通过集成这样的图像处理电路而形成的半导体装置，以及通常包含这样的半导体装置的图像处理设备，后者包括对静止图像执行亮度转换处理的图像处理设备。

可以在不背离本发明的精神的前提下作出许多改进和变化。

下面将详细描述将本发明应用于对通过捕捉运动图像而获得的各帧图像执行运动检测处理和亮度转换处理的监控设备(图像处理设备的应用示例)的情形。

下面将首先详细地示意性地描述根据本发明的监控设备的配置。

图12是示意性地示出了本发明的监控设备的配置框图。

本发明的监控设备1’的配置基本上同前述图像处理设备的配置类似。用与图1相同的参考标记标识与图像处理设备1相同的组件，并且将不再对相同组件进行重复描述。下面将仅仅对该实施例的监控设备1’的特有组件进行特别说明。

如图所示，该实施例的监控设备1’具有：摄像部分10、亮度转换处理部分11、亮度转换系数计算部分13、亮度转换系数存储部分14、以及输出部分14，并且监控设备1’还具有：运动检测部分16和记录部分17。

运动检测部分16使用在计算亮度转换系数时获取的每个子区的亮度信息，并将当前和前一帧的亮度信息进行比较，以检测输入图像是否发生了运动(变化)。稍后将详细说明运动检测部分16的配置和操作。

记录部分17在根据由运动检测部分16检测到的信号发现输入图像发生了运动(变化)的情况下，记录输入图像。因此，可以节省记录介质中的存储空间，而无须对记录图像进行高度压缩(因而，未降低记录图像的质量)。

如上所述，按上述方式配置的监控设备1’基于亮度转换系数，对通过捕捉运动图像而获得的输入图像执行亮度转换处理，并显示结果图像，还根据需要对其进行记录。

在上述组件中，优选地，将亮度转换处理部分11、亮度转换系数计算部分13、亮度转换系数存储部分14和运动检测部分16集成于半导体装置当中。

下面将详细描述运动检测部分16的配置和操作。

图13是示出了运动检测部分16的配置示例的方框图。

如图所示，该配置的运动检测部分16具有：感兴趣像素提取部分161、噪声滤波处理部分162、缓冲器部分163、以及比较确定部分164。

感兴趣像素提取部分161从亮度转换系数计算部分13获得在计算亮度转换系数时获得的各像素的亮度值，并逐子区地提取预定的感兴趣像素及其相邻像素的亮度值。

图14是描述了提取感兴趣像素的操作。该图示意性地示出，提取各子区的中心像素作为感兴趣像素，并提取位于感兴趣像素上下左右的四个像素(空白方形)作为相邻像素。

噪声滤波处理部分162对各子区的感兴趣像素执行预定的噪声滤波处理。噪声滤波处理的一个示例为，通过参考感兴趣像素及其相邻像素的亮度值，执行与前述低通滤波处理的加权运算相类似的加权运算。可选地，可以从缓冲器部分163读取前一帧中感兴趣像素的亮度值，并在当前帧中的感兴趣像素和前一帧中的感兴趣像素间对亮度值执行预定的加权运算。

缓冲器部分163至少在对后继帧执行运动检测处理之前，存储包含于各子区中的感兴趣像素的亮度值。

比较确定部分164将从噪声滤波器部分162馈送的亮度值(即当前帧中的感兴趣像素的亮度值)同从缓冲器部分163馈送的亮度值(即前一帧中的感兴趣像素的亮度值)进行比较，以检测输入图像中是否发生了运动(变化)。

优选地，根据监控设备1’的应用，设置用于确定感兴趣像素的亮度值是否发生变化的准则。例如，当有必要检测被监控对象的微小运动时，除非当前帧与后继帧中的感兴趣像素的亮度值彼此相等，否则建议确定感兴趣像素的亮度值发生了变化。如果将亮度值的微小改变看成误差，则建议对亮度值同预定容限进行比较和评估。

同样，优选地，根据监控设备1’的应用，设置用于确定输入图像中是否发生了运动的准则。例如，当有必要精确检测帧的一部分的运动时，建议在任意子区中感兴趣像素的亮度值发生变化的情况下，确定输入图像发生了运动。当有必要以与上述情况相同的精度来检测运动时，建议仅在预定数量子区的感兴趣像素的亮度值发生改变的情况下，确定输入图像发生运动。

采用上述将一帧的输入图像划分为多个子区的配置，就可以获取各子区的亮度信息，并通过比较和评估当前和前一帧的亮度信息，确定输入图像是否发生了运动。同基于帧差异信号执行运动检测处理的传统方法相比，上述方法可以以较高的精度检测帧的一部分的微小运动。

采用上述将包含于各子区中的感兴趣像素的亮度值用作亮度信息的配置，可以减小在对当前和前一帧的亮度信息进行比较和评估时所要缓冲的数据量。这有助于减小电路的尺寸。

采用上述在当前帧中的感兴趣像素及其相邻像素间，对亮度值执行预定的加权运算，或在当前和前一帧中的感兴趣像素间，对亮度值执行预定的加权运算，并将运算结果用作包含于各子区中的感兴趣像素的亮度值的配置，不太可能受感兴趣像素的瞬时亮度变化的影响。这可以提高抗噪性，并减少错误检测。

采用上述利用在计算亮度转换系数时获得的各子区的亮度信息，对输入图像执行运动检测处理的配置，可以同时获得亮度转换处理和运动检测处理所需的亮度信息。这使得可以防止电路的重复，并且这有助于减小电路尺寸。然而，在本发明的应用中，亮度转换处理特征并不是必不可少的；可广泛地将本发明应用于不含对输入图像执行亮度转换处理的部分的监控设备。

可以在不背离本发明的精神的前提下作出许多改进和变化。

虽然，例如上述实施例涉及基于包含于各子区中的像素的亮度值执行运动检测的情形，但本发明并不局限于该配置。如图15所示，可以通过比较和评估各子区的亮度直方图，检测输入图像是否发生了运动。采用这种配置，可以减小在对当前和前一帧的亮度信息进行比较和评估时所要缓冲的数据量。这有助于减小电路的尺寸。此外，由于不太可能受噪声的影响，同对感兴趣像素的亮度值进行比较和评估的情况相比，可以以更高的精度对各子区执行运动检测。

虽然上述实施例针对将由运动检测部分16检测到的信号用于控制图像记录操作的情况，但本发明并不局限于该配置。例如，可以存在多种变型，在一种变型中，自动放大基于运动检测部分16检测到的信号，检测发生了运动的子区，在另一变型中，向监控器给出警告。

工业实用性

在对输入图像进行亮度转换处理以产生期望输出图像的图像处理电路，通过集成这样的图像处理电路而形成的半导体装置，或包含这样的半导体装置的图像处理设备中，本发明的技术可以有效地避免电路尺寸的增大，还可以提高输入图像的图像质量和可见性。

在检测运动图像的各帧输入图像是否发生了运动(变化)的图像处理电路，通过集成这样的图像处理电路而形成的半导体装置，以及包含这样的半导体装置的监控设备中，本发明的技术可以有效地提高检测精度，并减小电路尺寸。

Claims (20)

1.一种根据亮度转换系数对输入图像的每个像素进行亮度转换处理并产生输出图像的图像处理设备，包括：

划分部分，将输入图像的区域划分为多个子区；以及

直方图计算部分，计算每个子区的直方图，

其中，所述亮度转换系数是基于所述直方图计算部分的计算结果确定的。

2.根据权利要求1所述的图像处理设备，还包括：

第一计算部分，基于所述直方图计算部分的所述计算结果，计算每个子区的逐子区转换系数，

其中，所述亮度转换系数是基于所述逐子区转换系数确定的。

3.根据权利要求2所述的图像处理设备，还包括：

滤波器部分，根据图像和位置，对所述逐子区转换系数进行低通滤波。

4.根据权利要求3所述的图像处理设备，其中，所述滤波器部分被配置为：在对感兴趣子区进行滤波时，使用包含于所述感兴趣子区周围的预定范围内的子区的所述逐子区转换系数；并且在所述预定范围的至少一部分位于图像区域以外时，为所述一部分分配预定虚系数，并将所述虚系数当作所述逐子区转换系数，来进行滤波。

5.根据权利要求2至4中任意一项所述的图像处理设备，还包括：

第二计算部分，基于所述逐子区转换系数，计算每个像素的逐像素转换系数，所述第二计算部分计算所述逐像素转换系数，以进一步减小子区边界的亮度差，

其中，所述亮度转换系数是基于所述逐像素转换系数确定的。

6.根据权利要求2至5中任意一项所述的图像处理设备，还包括：

第二计算部分，基于所述逐子区转换系数，计算每个像素的逐像素转换系数，

其中，所述亮度转换系数是基于所述逐像素转换系数确定的，并且，所述第二计算部分在计算感兴趣像素的逐像素转换系数时，选择所述感兴趣像素附近的四个子区，并对近似位于所述四个子区的中心的四个点执行双线性运算。

7.根据权利要求1至6中任意一项所述的图像处理设备，其中，获取运动图像的每个帧作为所述输入图像，并根据基于第n-1帧的内容而确定的亮度转换系数，对第n帧进行亮度转换处理。

8.根据权利要求1至7中任意一项所述的图像处理设备，还包括：

摄像部分，形成对象的光学图像，以拍摄所述对象的图像，

其中，所述输入图像是通过拍摄图像而获得的。

9.根据权利要求1所述的图像处理电路，其中，对包含于每个子区中的所有像素进行预定的删减处理，然后对剩余像素进行计数，以形成所述亮度直方图，并将除少数低位比特以外的结果计数值存储在内部存储器中。

10.根据权利要求9所述的图像处理电路，其中，执行所述删减处理，以使被删除的像素和未被删除的像素以交错方式排列。

11.根据权利要求1所述的图像处理电路，其中，如果在将所述输入图像划分为多个子区时，产生像素数量少于预定像素数量的子区，则使用所述子区内包括的像素的亮度信息补充缺失亮度信息，从而获得所述区域的亮度直方图。

12.根据权利要求11所述的图像处理电路，其中，如果在像素数量少于预定像素数量的所述区域内，缺失像素的数量少于所述区域中包括的像素的数量，则从所述区域内包括的像素之中提取与要补充的像素区域接近的所需数量的像素，并使用所提取的亮度信息补充缺失信息。

13.根据权利要求1所述的图像处理电路，还包括：

运动检测部分，获取由一帧输入图像划分而成的多个子区中每个子区的亮度信息，并将当前帧的亮度信息同前一帧的亮度信息进行比较，以检测所述输入图像中是否发生了运动。

14.根据权利要求13所述的图像处理电路，其中，所述运动检测部分使用每个子区内包括的感兴趣像素的亮度值，作为所述亮度信息。

15.根据权利要求14所述的图像处理电路，其中，所述运动检测部分在当前帧中的感兴趣像素和其相邻像素间，对亮度值进行预定的加权运算，或者在当前帧和前一帧中的感兴趣像素间，对亮度值进行预定的加权运算，并使用所述运算的结果作为每个子区内包括的感兴趣像素的亮度值。

16.根据权利要求13所述的图像处理电路，其中，所述运动检测部分使用每个子区的亮度直方图作为所述亮度信息。

17.根据权利要求13至16所述的图像处理电路，还包括：

亮度转换系数计算部分，针对由一帧输入图像划分而成的多个子区中的每个子区，获取亮度直方图，并基于所述亮度直方图计算亮度转换系数；以及

亮度转换处理部分，根据所述亮度转换系数，对所述输入图像的每个像素进行亮度转换处理，

其中，所述运动检测部分使用在计算所述亮度转换系数时获取的每个子区的亮度信息，并对所述输入图像进行运动检测处理。

18.一种半导体装置，其中，所述半导体装置是通过集成权利要求1至17中任意一项所述的图像处理电路来形成的。

19.一种图像处理设备，包括：

根据权利要求18所述的半导体装置；以及

摄像部分，形成对象的光学图像，以拍摄所述对象的图像，

其中，所述输入图像是通过拍摄图像而获得的。

20.根据权利要求19所述的图像处理设备，还包括：

记录部分，在检测到所述输入图像中的运动时记录所述输入图像。

Images