CN102893305B - 图像处理设备和图像获取设备 - Google Patents

Abstract

一种图像处理设备，包括动态范围压缩器，其取决于在输入图像数据上的位置改变色调曲线的特性以便压缩图像数据的动态范围，以及坐标转换器，其转换动态范围已被压缩的图像数据的坐标。

Description

图像处理设备和图像获取设备

技术领域

本发明涉及一种图像处理设备和一种图像获取设备。

背景技术

近来，例如在车辆的尾部监控器中，已知一种技术，通过该技术，由具有宽视角和大畸变的鱼眼照相机获取的图像被坐标转换，以便校正图像畸变并获得用户易于看到的图像(例如，参见日本专利申请公开No.2009-177703)。

通常例如获取图像的图像传感器的传感器具有加宽的动态范围，而例如输出获取的图像的显示器的输出系统具有窄动态范围。例如，对于由每像素的输出位的数量表示的色深度，传感器具有12位色深度，而输出系统具有8位色深度。

在这种情形下，当通过输出系统输出包括室外和室内区域或背阴和阳光充足区域并具有宽动态范围的获取的图像时，产生曝光不足(遮断阴影)和曝光过度(曝出强光)的区域。为了解决该问题，在日本专利No.4161719和No.4214457中公开了一种动态范围压缩技术，通过该技术，获取的图像的动态范围根据输出系统的特性被压缩。

通常，该动态范围压缩在图像处理的后级中(紧接在到输出系统的输出之前)执行，因为该动态范围压缩根据输出系统的特性来执行，且各个图像处理中能够处理的位的数量需要被增加。因此，当上述坐标转换和动态范围压缩被执行时，首先执行坐标转换，后面跟着动态范围压缩。

然而，当坐标转换和动态范围压缩以这样的顺序执行时，由于已被坐标转换的图像的放大率的效果，已经经受动态范围压缩的图像中出现振铃或伪像。结果，图像质量劣化。

发明内容

为了解决上述问题并实现目的，根据本发明的一个方面的图像处理设备包括：动态范围压缩器，其取决于输入图像数据上的位置改变色调曲线的特性，以便压缩图像数据的动态范围；以及坐标转换器，其转换动态范围已被压缩的图像数据的坐标。

根据本发明的另一个方面，图像获取设备包括：上述图像处理设备；广角光学系统；以及图像传感器，其将通过该广角光学系统输入的主题图像转换为图像数据并将转换后的图像数据输入到图像处理设备。

附图说明

图1是图示根据第一实施例的图像处理设备的示例性结构的框图。

图2图示了从图像传感器输出的示例性图像数据。

图3图示了通过压缩图2中图示的图像数据的动态范围获得的示例性图像数据。

图4图示了通过转换图3中图示的图像数据的坐标获得的示例性图像数据。

图5图示了通过转换图2中图示的图像数据的坐标并随后压缩其动态范围获得的示例性图像数据。

图6是图示第一实施例的动态范围压缩器的示例性结构的框图。

图7是图示第一实施例的亮度动态范围压缩器的示例性结构的框图。

图8图示了通过以2×2网格压缩图2中图示的图像数据的动态范围获得的示例性图像数据。

图9图示了通过以16×16网格压缩图2中图示的图像数据的动态范围获得的示例性图像数据。

图10图示了通过以8×8网格压缩图2中图示的图像数据的动态范围获得的示例性图像数据。

图11图示了划分为8×8网格的示例性亮度图像数据。

图12图示了从第一实施例的LPF单元132输出的示例性亮度图像数据。

图13是图示色调曲线函数的例子的图。

图14图示了通过校正图12中图示的亮度图像数据的整体亮度变化获得的示例性亮度图像数据。

图15是图示通过校正图13中图示的色调曲线函数获得的色调曲线函数的例子的图。

图16是图示示例性坐标转换技术的解释视图。

图17是图示示例性坐标转换技术的解释视图。

图18是图示示例性图像扩展技术的解释视图。

图19是图示示例性图像扩展技术的解释视图。

图20是图示示例性图像扩展技术的解释视图。

图21是图示第一实施例的图像处理设备的图像处理的例子的流程图。

图22是图示第二实施例的动态范围压缩器的示例性结构的框图。

图23图示了通过压缩图2中图示的图像数据的动态范围并放大其色彩信号获得的示例性图像数据。

图24图示了仅通过压缩图2中图示的图像数据的动态范围获得的示例性图像数据。

图25是图示第二实施例的图像处理设备执行的图像处理的例子的流程图。

图26是图示第三实施例的动态范围压缩器的示例性结构的框图。

图27图示了通过压缩图2中图示的图像数据的动态范围并从其亮度信号中去除噪声获得的示例性图像数据。

图28图示了仅通过压缩图2中图示的图像数据的动态范围获得的示例性图像数据。

图29是图示第三实施例的图像处理设备执行的图像处理的例子的流程图。

图30是图示根据第四实施例的图像获取设备的示例性结构的框图。

图31图示了通过第四实施例的广角照相机单元获取的示例性图像数据。

图32图示了通过校正图31中图示的图像数据的畸变获得的示例性图像数据。

图33图示了通过在图31中图示的图像数据中将普通视点转换为顶视点获得的示例性图像数据。

图34是图示示例性坐标转换技术的示例性视图。

图35是图示修改的例子的图像处理设备的示例性结构的框图。

图36是图示另一个修改的例子的图像处理设备的示例性结构的框图。

具体实施方式

根据本发明的图像处理设备和图像获取设备的实施例参考以下附图详细地描述。

(第一实施例)

在第一实施例中，将描述压缩图像数据的动态范围并随后执行坐标转换的图像处理设备。

首先，描述根据第一实施例的图像处理设备的结构。

图1是图示第一实施例的图像处理设备100的示例性结构的框图。如图1中图示的，图像处理设备100对从图像传感器190输入的RGB信号(下文中称为“图像数据”)执行图像处理，图像传感器190获取图像数据，且由例如电荷耦合器件(CCDs)或互补金属氧化物半导体(CMOSes)组成。图像处理设备100包括动态范围压缩器110、坐标转换器170以及覆盖单元180。图像传感器190包括图像处理器(未示出)，其执行基本的图像处理，例如拜耳插值、YUV转换和锐度处理，并顺序输出已经经受图像处理的图像数据到图像处理设备100。

动态范围压缩器110取决于输入图像数据上的位置改变色调曲线的特性，以便压缩图像数据的动态范围。具体地，动态范围压缩器110通过以将输入图像数据上的暗位置转变为亮位置的方式改变色调曲线的特性来压缩图像数据的动态范围。坐标转换器170转换动态范围已被动态范围压缩器110压缩的图像数据的坐标，以便执行图像数据的畸变校正或视点转换。覆盖单元180在坐标已被坐标转换器170转换的图像数据上叠加例如字符或图形。具有由覆盖单元180叠加的字符、图形等的图像数据从图像处理设备100输出到外部。此处，坐标已被坐标转换器170转换的图像数据可以从图像处理设备100输出到外部，而无需输出到叠加字符、图形等的覆盖单元180。从图像处理设备100输出的图像数据可以由NTSC编码器(未示出)编码到NTSC信号。

图2图示了从图像传感器190输出的示例性图像数据。在图2中图示的图像数据由图像传感器190获得，该图像传感器190接收并转换通过具有宽视角和大畸变的鱼眼透镜输入的主题图像。在图像数据中，椭圆2中指示的书桌的较低区域曝光不足。

图3图示了用动态范围压缩器110压缩图2中图示的图像数据的动态范围获得的示例性图像数据。在图3中图示的图像数据中，在图2的图像数据中的书桌曝光不足的较低区域转变为明亮可视的区域，因为图像数据已经经受了动态范围压缩。

图4图示了用坐标转换器170转换图3中图示的图像数据的坐标获得的示例性图像数据。图4中图示的图像数据是通过将图3中图示的图像数据的框4中的图像数据放大为与图3中图示的图像数据相同的大小(相同的像素数量)获得的。同样地，如图3中图示的图像数据，书桌曝光不足的较低区域转变为明亮可视的区域。因此，图4中图示的图像数据具有不产生振铃、伪像等的高质量。

作为一个对比的例子，图5图示了通过转换图2中图示的图像数据的坐标并随后压缩其动态范围获得的示例性图像数据。在图5中图示的图像数据中，书桌曝光不足的较低区域同样转变为明亮可视的区域。然而，图5中图示的例子被动态范围压缩中的放大率影响，因为在图像数据的坐标被转换后，动态范围被压缩。结果，在椭圆5中指示的显示器中产生伪像，因此降低了图像数据的图像质量。

在第一实施例中，图像数据的动态范围可以不受图像放大率影响而被压缩，因为如上所述，在图像数据的坐标被转换前压缩动态范围。因此，当前实施例可以将曝光不足区域转变为明亮可视区域，并提供不发生例如振铃和伪像的高质量图像。

第一实施例的图像处理设备的详细结构将在下文描述。

图6是图示第一实施例的动态范围压缩器110的示例性结构的框图。如图6中图示的，动态范围压缩器110包括信号分离器120、亮度动态范围压缩器130以及信号合成器140。

信号分离器120将输入RGB信号分离为：亮度信号(此后可以被称为“亮度图像数据”)；以及色彩信号。例如，信号分离器120通过使用公式(1)到(3)将RGB信号分离为亮度信号和色彩信号。

Y＝0.299×R+0.587×G+0.144×B(1)

Cr＝0.500×R-0.419×G-0.081×B(2)

Cb＝-0.169×R-0.332×G+0.500×B(3)

亮度动态范围压缩器130压缩由信号分离器120分离的亮度信号的动态范围。亮度动态范围压缩器130的细节将在稍后描述。

信号合成器140将动态范围已被亮度动态范围压缩器130压缩的亮度信号和被信号分离器120分离的色彩信号合成为RGB信号。结果，产生其动态范围已被压缩的图像数据。例如，信号合成器140通过使用公式(4)到(6)将亮度信号和色彩信号合成为RGB信号。

R＝Y+1.402×Cr(4)

G＝Y-0.714×Cr-0.344×Cb(5)

B＝Y+1.772×C不(6)

亮度动态范围压缩器130的细节在此处描述。亮度动态范围压缩器130通过基于输入的亮度图像数据、通过利用人类眼睛对图像中的整体亮度变化不敏感的特性计算图像数据的整体亮度变化，用色调曲线函数校正计算结果，并将校正结果乘以输入的亮度图像数据来压缩图像数据的动态范围。此处，色调曲线函数是非线性函数，并将具有低亮度(暗)的位置转变为具有高亮度(亮)的位置。

图7是图示第一实施例的亮度动态范围压缩器130的示例性结构的框图。如图7中图示的，亮度动态范围压缩器130包括低通滤波(LPF)单元132、色调校正单元134以及乘法单元136。

LPF单元132通过在输入的亮度图像数据的空间频率中提取低于截止频率的频率来获得图像数据的整体亮度变化。如果LPF单元132的截止频率太低，则动态范围压缩的效果保持为低，而如果截止频率太高，则在动态范围已被压缩的图像数据中产生振铃或伪像。因此，该截止频率需要被调整到适当的值。LPF单元132的截止频率可以用亮度图像数据的网格的数量(划分的数量)来调整。网格的数量越大，截止频率越高，而网格数量越小，截止频率越低。

图8图示了通过将图2中图示的图像数据划分为2×2的网格、并用亮度动态范围压缩器130压缩图像数据的动态范围获得的示例性图像数据。在图8中图示的图像数据中，椭圆8中指示的书桌的曝光不足的较低区域并未真正的改善，因为LPF单元132的太低的截止频率使得动态范围压缩效果降低。

图9图示了通过将图2中图示的图像数据划分为16×16的网格、并用亮度动态范围压缩器130压缩图像数据的动态范围获得的示例性图像数据。在图9中图示的图像数据中，LPF单元132的截止频率太高。因此，在圆9-1中指示的人的头的后部和圆9-2中指示的空间中产生伪像，并且当书桌的曝光不足的较低区域转变为明亮可视区域时，在轮廓周围产生振铃。

图10图示了通过将图2中图示的图像数据划分为8×8的网格、并用亮度动态范围压缩器130压缩图像数据的动态范围获得的示例性图像数据。在图10中图示的图像数据中，书桌的曝光不足的较低区域转变为明亮可视区域，且没有伪像和振铃产生。

在第一实施例中，如上所述，LPF单元132的截止频率的值优选地设置为当亮度图像数据被划分为多于2×2的网格、少于16×16的网格，更优选地为8×8的网格时的空间频率。以下描述是基于其中LPF单元132的截止频率的值是当亮度图像数据被划分为8×8的网格时的空间频率的例子而作出的。在8×8网格的情况下，每个网格的大小是亮度图像数据的大小的1/8×1/8。

返回参见图7，LPF单元132将输入的亮度图像数据特别地划分为8×8的网格(参见图11)、逐个网格计算亮度的和、并将计算出的亮度和设置为顶点数据以准备减少的7×7网格的图像数据。LPF单元132通过线性插值减少的图像数据(参见图12)的网格的中点将准备的减少的图像数据扩大到与亮度图像数据相同的大小(相同的像素数量)，并输出示出了图像数据的整体亮度变化的亮度图像数据。

通过使用色调曲线函数，色调校正单元134校正图像数据的整体亮度变化，该变化由LPF单元132获得。色调曲线函数的例子由公式(7)表示。

y＝A/exp(x/B)+C(7)

其中y是示出校正之后的亮度变化的被校正的亮度图像数据(亮度的放大因子)，x是输入到色调校正单元134的亮度图像数据，并且A，B和C是常量。常量A，B和C可以根据输入到图像处理设备100的图像数据的动态范围或例如图像传感器190的图像获取设备的需求来调整。例如，其中A＝5，B＝35，并且C＝0.9，由公式(7)表示的色调曲线函数变为由公式(8)表示的色调曲线函数，并在图13的图形中图示。

y＝5/exp(x/35)+0.9(8)

例如，色调校正单元134通过使用公式(8)表示的色调曲线函数来校正图12中图示的亮度图像数据的整体亮度变化(参见图14)。

然而，由公式(8)表示的色调曲线函数使得亮度的放大因子变得太大(最大值太大)或使得亮度的缩小因子变得太大(最小值太小)，导致可能产生振铃或伪像。

为了消除它们，色调校正单元134进一步校正y的值，该值在校正后变为y′。尤其是，如果y的值是一或小于一(y≤1)，作为校正结果，y′的值为1(y′＝1)。如果y的值大于一(y＞1)，作为校正结果，y′的值为y(y′＝y)。如果y的值大于D(y＞D)，作为校正结果，y′的值为D(y′＝D)。此处，D是常量。例如，当D＝4时，由公式(8)表示的色调曲线函数变为图15中的图形图示的函数。

上述的色调曲线函数有指数项，从而需要电路的一定大小来执行实时计算。为了避免这样的需要，通过预先在存储器(未示出)中将计算结果存储为表可以不需要计算，或者可以通过使用逼近色调曲线函数的多项式来执行计算。

乘法单元136将作为色调校正单元134的校正结果的校正的亮度图像数据乘以输入到亮度动态范围压缩器130的亮度图像数据，以便产生被乘后的亮度图像数据，并输出结果数据。乘法单元136可以用例如乘法器来实现。

返回参见图1，坐标转换器170通过以与输入图像数据的像素数据的顺序不同的顺序输出从动态范围压缩器110输入的输入图像数据的像素数据作为输出图像数据，来转换图像数据的坐标，以变形图像。例如，如图16中图示的，第一像素数据的坐标(x1，y1)被转换为坐标(X1，Y1)，而第二像素数据的坐标(x2，y2)被转换为坐标(X2，Y2)。在这种情况下，如图17中图示的，坐标转换器170输出作为具有坐标(x1，y1)的像素数据而输入的第一像素数据作为具有坐标(X1，Y1)的像素数据，而输出作为具有坐标(x2，y2)的像素数据的第二像素数据作为具有坐标(X2，Y2)的像素数据。坐标转换器170包括如图1中图示的帧缓冲器172、坐标计算器174以及图像扩展器176。

帧缓冲器172中存储从动态范围压缩器110输入的用于一或多个拍摄的图片(在第一实施例中，输入图像数据用于两个拍摄的图片)的输入图像数据，并且其可以用现有的存储器实现，例如动态随机存取存储器(DRAMs)。输入到帧缓冲器172的输入图像数据的例子包括YUV422格式数据(8位)，其按以下顺序输入：Y，U，Y，V，Y，U，Y，V，…。有效的图像数据大小是640×480。帧速率为30fps。帧缓冲器172中还可以存储1M×16位的数据。在帧缓冲器172中，以亮度信号存储在高8位而色差信号存储在低8位的状态在每个地址中存储亮度信号(8位)和色差信号(8位)。通过双缓冲器方式将数据写入到帧缓冲器172并从帧缓冲器172读出。考虑到NTSC输出，写入处理基于逐行扫描而读出处理基于隔行扫描。两者的帧速率都是30fps。

坐标计算器174计算输入图像数据的坐标，该坐标对应于从帧缓冲器172输出的输出图像数据的每个像素的坐标，并基于计算结果从帧缓冲器172读出输出图像数据：由此实现图像的变形。坐标转换器170包括未图示的闪存，其中存储包括输入图像数据的坐标的坐标数据(转换表)，所述坐标被预先计算并对应于输出图像数据的采样像素。坐标计算器174通过参考转换表进行双线性插值等计算输入图像数据的坐标，该坐标对应于输出图像数据的每个像素。坐标计算器174将计算出的输入图像数据的坐标转换为地址，并从帧缓冲器172的地址读出输出图像数据，该地址对应于转换后的地址。在主扫描方向的读出像素(该像素从帧缓冲器172输出)的数量小于输出图片平面中的像素的数量。

图像扩展器176将从帧缓冲器172读出的输出图像数据扩展到用于最终在图片平面主扫描方向输出所必需的像素数量，并输出扩展结果。帧缓冲器172造成随机存取的长等待时间。因此，图像中的一个水平行的读出分辨率从读出速度观点来看被限制为500像素。尽管如此，用于输出NTSC信号所需要的一个水平行的分辨率是720像素。因此，图像扩展器176将从帧缓冲器172中读出的且每行具有500像素的图像数据扩展为在图片平面主扫描方向上每行具有720像素的图像数据。此处，输出NTSC信号的水平分辨率是8.0MHz/30fps/525行＝507。换句话说，即使当读出每行具有720像素的图像数据时，由于到NTSC的输出被限制，因此每行具有500像素的图像数据质量几乎不恶化(参见图18)。

尤其是，由坐标计算器174从帧缓冲器172读出的每行有500像素的输出图像数据写入在先进先出(FIFO)。每行具有500像素的输出图像数据用读使能信号以下面的方式从FIFO读出：用于从FIFO读出数据的一组读使能信号由14时钟HIGH和6时钟LOW组成(参见图19)，且该组重复35次，但最后一组由10时钟HIGH和10时钟LOW组成。图像扩展器176扩展读出的输出图像数据，如图20中图示。

接下来，将描述第一实施例的图像处理设备100的操作。

图21是图示在第一实施例的图像处理设备100中执行的图像处理过程的示例性流程的流程图。

首先，信号分离器120将输入到图像处理设备100的RGB信号分离为亮度信号和色彩信号(步骤S100)。

然后，LPF单元132在输入到LPF单元132的亮度信号的空间频率中提取低于截止频率的频率，以便获得亮度信号的整体亮度变化(步骤S102)。接着，色调校正单元134通过使用色调曲线函数校正亮度信号的整体亮度变化，该整体亮度变化由LPF单元132获得(步骤S104)。然后，乘法单元136将在色调校正单元134中校正的亮度信号乘以输入到亮度动态范围压缩器130的亮度信号(步骤S106)。亮度信号的动态范围通过从步骤S102到步骤S106的处理被压缩。

接着，信号合成器140将动态范围已被压缩的亮度信号和被信号分离器120分离的色彩信号合成为RGB信号(S108)。

随后，坐标转换器170转换由信号合成器140合成的RGB信号的坐标(步骤S110)。

接着，覆盖单元180在坐标已被坐标转换器170转换的RGB信号上叠加例如字符或图形，并从图像处理设备100输出结果信号(步骤S112)。

在第一实施例中，如上所述，在图像数据的坐标被转换之前，动态范围被压缩。因此，第一实施例不受由于坐标转换导致的图像放大率的影响，并且动态范围可以通过用LPF单元132精确地估计光源条件(图像数据的整体亮度变化)被压缩，该LPF单元132具有关于从图像传感器190输出的图像数据的大小的标准化的截止频率。因此，第一实施例可以将曝光不足区域转变为明亮可视区域，并提供不发生振铃和伪像的高质量图像。

第一实施例还可以减小电路大小，因为它不必改变对应于将要经受动态范围压缩的图像数据的LPF单元132的截止频率。

(第二实施例)

在第二实施例中，描述了其中分离的色彩信号被放大的例子。在接下来的描述中，将主要描述与第一实施例的不同。具有与第一实施例中的组件相同功能的组件用相同的名称和附图标记来指示，并且将省略其描述。

图22是图示第二实施例的动态范围压缩器210的示例性结构的框图。第二实施例的图像处理设备200的动态范围压缩器210与第一实施例的动态范围压缩器110的不同在于增加了色彩信号增强器250。色彩信号增强器250将在下面描述。

色彩信号增强器250根据由亮度动态范围压缩器130放大的亮度信号的放大因子(由色调校正单元134的校正结果表示的亮度的放大因子)来放大由信号分离器120分离的色彩信号。例如，色彩信号增强器250通过使用公式(9)和(10)来放大色彩信号(Cr和Cb)。

Cr＝((y-1)×Q+1)×Cr(9)

Cb＝((y-1)×Q+1)×Cb(10)

其中y是亮度信号的放大因子，Q是常量。Q的值变得越大，色彩信号放大得越高。

图23图示了通过压缩图2中图示的图像数据的动态范围和放大该图像数据的色彩信号获得的示例性图像数据。作为比较的例子，图24图示了通过仅压缩(不放大色彩信号)图2中图示的图像数据的动态范围获得的示例性图像数据。在图23中图示的例子中，色彩信号通过将常量Q的值设置为0.5来放大。在图23中图示的图像数据中，在椭圆23中指示的书桌的较低区域的色彩比图24中图示的图像数据更清楚的显现。

接着，将描述第二实施例的图像处理设备200的操作。

图25是图示第二实施例的图像处理设备200中执行的图像处理过程的示例性流程的流程图。

步骤S200到步骤S206的处理与图21中图示的流程图的步骤S100到步骤S106的处理相同，并省略其描述。

随后，色彩信号增强器250根据由亮度动态范围压缩器130放大的亮度信号的放大因子放大由信号分离器120分离的色彩信号(步骤207)。

步骤S208到步骤S212的处理与图21中图示的流程图的步骤S108到步骤S112的处理相同，并省略其描述。

在第二实施例中，如上所述，因为色彩信号根据亮度信号的放大因子被放大，即使是动态范围已被压缩的图像数据也可以清楚地示出色彩变化。结果，能够获得好的色彩再现性。

(第三实施例)

在第三实施例中，描述了其中噪声从放大的亮度信号中被去除的例子。在以下描述中，将主要描述与第一实施例的不同。第一实施例的相同的名称和附图标记被给予具有与第一实施例中相同功能的元件，并且省略其描述。

图26是图示第三实施例的动态范围压缩器310的示例性结构的框图。第三实施例的图像处理设备300的动态范围压缩器310与第一实施例的动态范围压缩器110的不同在于增加了噪声去除器360。噪声去除器360在下面描述。

噪声去除器360从亮度信号中去除噪声，该亮度信号被亮度动态范围压缩器130放大并具有根据由亮度动态范围压缩器130放大的亮度信号的放大因子(由色调校正单元134的校正结果表示的亮度的放大因子)的强度。噪声去除器360包括平滑滤波器单元362和合成器364。

平滑滤波器单元362从被亮度动态范围压缩器130放大的亮度信号中去除噪声，并可以用例如3×3加权平均的FIR滤波器、中值滤波器、或小正数(epsilon)滤波器来实现。在去除噪声后，产生轻微模糊的亮度图像。

合成器364将由亮度动态范围压缩器130放大的亮度信号和由平滑滤波器单元去除了噪声的亮度信号相加，以便根据由亮度动态范围压缩器130放大的亮度信号的放大因子来合成信号。结果，只有亮度已经被放大的区域被平滑，而其他区域保持其锐度。例如，合成器364通过使用公式(11)合成亮度信号。

Youtput＝Ynoisefil×(y-1)+Y×(2-y)(11)

其中Youtput是合成后的亮度信号，Ynoisefil是平滑滤波器单元362从中移除了噪声的亮度信号，y是放大因子且被限制在2＜y＜1的范围，以及Y是被亮度动态范围压缩器130放大的亮度信号。

图27图示了通过压缩图2中图示的图像数据的动态范围和从该图像数据的亮度信号中去除噪声获得的示例性图像数据。作为比较的例子，图28图示了通过仅压缩图2中图示的图像数据的动态范围(不从亮度信号中去除噪声)获得的示例性图像数据。与图28中图示的图像数据相比，在图27中图示的图像数据中，椭圆27中指示的地板区域中的噪声被减少，并且其他区域的锐度没有损失。

接着，将描述第三实施例的图像处理设备300的操作。

图29是图示在第三实施例的图像处理设备300中执行的图像处理过程的示例性流程的流程图。

步骤S300到步骤S306的处理与图21中图示的流程图的步骤S100到步骤S106的处理相同，并且省略其描述。

随后，噪声去除器360从被亮度动态范围压缩器130放大的具有根据亮度信号的放大因子的强度的亮度信号去除噪声(步骤S307)。

步骤S308到步骤S312的处理与图21中图示的流程图的步骤S108到步骤S112的处理相同，并且省略其描述。

在第三实施例中，如上所述，在亮度信号已被放大的区域中的噪声能够减少而不损失除了亮度信号已经被放大的区域之外的其他区域的锐度，因为从具有根据亮度信号的放大因子的强度的亮度信号中去除噪声。

(第四实施例)

在第四实施例中，描述了包括第一实施例的图像处理设备的图像获取设备。在以下说明中，主要描述与第一实施例的不同。具有与第一实施例中的组件相同功能的组件用相同的名称和附图标记来指示，并且将省略其描述。

图30是图示第四实施例的图像获取设备400的示例性结构的框图。图像获取设备400可以被用于例如车载照相机设备，诸如安装在车辆上的尾部监视设备。如图30中图示的，图像获取设备400包括广角照相机单元410、图像处理设备100以及例如液晶显示器(LCD)的显示器420。液晶显示器(LCD)监视器显示由从图像处理设备100输出的图像数据信号表示的图像(屏幕图像)。广角照相机单元410包括具有宽视角的广角透镜系统412(广角光学系统的例子)，例如鱼眼透镜，以及图像传感器190。图像传感器190形成通过广角透镜系统412输入到接受表面的主题图像，并将该图像转化为图像数据。

在图像获取设备400中：广角照相机单元410获取图31中图示的数据；图像处理设备100压缩由广角照相机单元410获取的图像数据的动态范围；以及图像处理设备100产生图32或图33中图示的图像数据。在图33中图示的图像数据中，动态范围已被压缩的图像数据的畸变被校正。在图33中图示的图像数据中，普通视点被转换为顶视点，并且随后显示器420显示该图像数据。

在图32和图33中图示的例子中，覆盖单元180在已经经受由坐标转换器170执行的畸变校正或视点转换的图像数据上叠加示出车辆宽度的车辆宽度线32-1和33-1以及示出距车辆的距离的距离线32-2和33-2。

车载照相机需要取决于使用情况而执行不同种类和类型的图像变形，例如畸变校正，旋转校正，向下角(downangle)校正，以及子图片平面形成。这使得难以用安装的LSI实现所有种类的图像变形，因为开发成本和电路大小的限制。为了处理这个困难，图像处理设备100的坐标转换器170(坐标计算器174)执行以下处理：仅执行不依赖于图像处理类型的双线性插值处理；通过在控制器(未示出)中执行的软件处理准备用于双线性插值的多种类型的参考点的坐标(转换表)；以及在例如只读存储器(ROM)的存储器(未示出)中记录坐标。要记录的数据是输入图像上对应于通过将输出图像数据划分为块获得的块的顶点(采样像素)的参考点(参见图34)。

当图像数据的视点被转换为如图33中图示的图像数据的顶视点时，图像的放大率变得有大的影响。因此，第一实施例的图像处理设备对于被应用于例如第四实施例的图像获取设备的车载照相机设备是特别有用的。

(修改的例子)

本发明不局限于上述的实施例，并且可以做出各种修改。例如，如图35中图示的，可以采用图像处理设备500，其在动态范围压缩器110的前级包括伽马校正单元585。伽马校正单元585通过一致地改变色调曲线的特性对图像数据执行伽马校正。可替换地，如图36中图示的，可以采用图像处理设备600，其在坐标转换器170的后级包括伽马校正单元685。尽管在第四实施例中描述包括第一实施例的图像处理设备的图像获取设备，第四实施例的图像获取设备可以包括第二或第三实施例的图像处理设备。

尽管为了完整且清楚的公开，已经关于具体实施例描述了本发明，但附加的权利要求不限于此，而是被解释为包含对于本领域技术人员来说，完全落入此处阐述的基本教导内的可能发生的全部修改和可替换结构。

Claims (14)

1.一种图像处理设备，包括：

动态范围压缩器，其取决于在输入图像数据上的位置改变色调曲线的特性，以便压缩图像数据的动态范围；以及

坐标转换器，其转换动态范围已被压缩的图像数据的坐标，

所述动态范围压缩器包括：信号分离器，其将输入图像数据分离为亮度信号和色彩信号；LPF单元，其从亮度信号的空间频率提取低于截止频率的频率，以便计算图像数据的整体亮度变化；色调校正单元，其用色调曲线函数校正LPF单元的计算结果；乘法单元，其通过将亮度信号乘以色调校正单元的校正结果产生被乘后的亮度信号；以及信号合成器，其合成被乘后的亮度信号和色彩信号，以便产生动态范围已被压缩的图像数据。

2.根据权利要求1的图像处理设备，其中，动态范围压缩器改变色调曲线的特性，以便将输入图像数据上的暗位置转变为亮位置。

3.根据权利要求1的图像处理设备，其中，LPF单元通过将用亮度信号表示的亮度图像数据划分为固定数量的网格、计算每个网格的亮度的和、通过将计算出的亮度的和设置为顶点数据来准备减少的图像数据、以及通过线性插值减少的图像数据的每个网格的中点将减少的图像数据扩大为与所述亮度图像数据相同的大小，来计算图像数据的整体亮度变化。

4.根据权利要求3的图像处理设备，其中，网格的数量多于2×2且少于16×16。

5.根据权利要求1的图像处理设备，其中，色调曲线函数由公式(1)表示：

y＝A/exp(x/B)+C(1)

其中y是色调校正单元的校正结果，x是LPF单元的计算结果，并且A，B和C是常量。

6.根据权利要求5的图像处理设备，其中，当y的值是一或者更少时，色调校正单元将y的值校正为1。

7.根据权利要求5的图像处理设备，其中，当y的值大于常量D时，色调校正单元将y的值校正为D。

8.根据权利要求5的图像处理设备，其中，色调校正单元预先将使用公式(1)的计算结果保留为表，并通过使用在该表中保留的计算结果来校正LPF单元的计算结果。

9.根据权利要求5的图像处理设备，其中，色调校正单元通过使用逼近公式(1)的多项式来校正LPF单元的计算结果。

10.根据权利要求1的图像处理设备，其中，动态范围压缩器进一步包括色彩信号增强器，其根据由色调校正单元的校正结果表示的亮度信号的放大因子来放大色彩信号。

11.根据权利要求1的图像处理设备，其中，动态范围压缩器进一步包括噪声去除器，其从由乘法单元产生的被乘后的亮度信号中去除噪声，该被乘后的亮度信号具有根据由色调校正单元的校正结果表示的亮度信号的放大因子的强度。

12.根据权利要求1的图像处理设备，进一步包括在动态范围压缩器的前级的伽马校正单元，所述伽马校正单元通过一致地改变色调曲线的特性对输入图像数据执行伽马校正。

13.根据权利要求1的图像处理设备，其中，坐标转换器转换动态范围已经被压缩的图像数据的坐标，以便执行图像数据的畸变校正或视点转换。

14.一种图像获取设备，包括：

根据权利要求1的图像处理设备；

广角光学系统；以及

图像传感器，其将通过广角光学系统输入的主题图像转换为图像数据，并将转换后的图像数据输入到图像处理设备。