CN101142811A - 图像处理装置和图像处理方法、程序以及记录介质 - Google Patents

Abstract

本发明涉及图像处理装置和图像处理方法、程序以及记录介质，能够获得进行亮度压缩的宽动态范围的图像。使输出电平信号相对于所输入的亮度信号的电平的亮度灰度等级数的分配，在主要区域和第2亮度区域、以及除此之外的范围中不同。例如，对主要区域的亮度范围和第2亮度区域的亮度范围分割所有的灰度等级数来进行分配，对除此之外的范围不进行分配，或者，对主要区域和第2亮度区域之间的亮度范围分配比主要区域的亮度范围和第2亮度区域少的等级数。进而，设定主要区域的亮度范围和第2亮度区域的边界部分的区域，分配比主要区域的亮度范围和第2亮度区域少、且比它们之间的区域多的等级数。本发明能够应用于图像处理装置。

Description

图像处理装置和图像处理方法、程序以及记录介质

技术领域

本发明涉及图像处理装置和图像处理方法、程序以及记录介质，特别涉及能够获得用户容易识别的宽动态范围的图像的图像处理装置和图像处理方法、程序以及记录介质。

背景技术

以往，在使用CCD(Charge Coupled Device)摄像元件(也称为电荷耦合摄像元件或固体摄像元件)等摄像元件的照相机中，由于电荷的蓄积容量的界限及其特性，通过光圈和快门速度等的控制，将入射到照相机的入射光量抑制在某范围内。因此，在室外等的摄像时，无法拍摄被摄体的所有亮度范围。因此，使用电子快门功能，以高速和低速的不同快门时间进行被摄体的拍摄，对其2种图像信号进行信号处理，并进行在各图像之间主要被摄体位置几乎没有偏移的良好的图像合成，由此能够获得动态范围宽的图像(例如，参照专利文献1)。

专利文献1：日本特开2000-32303号公报

图1是表示能够通过合成CCD所拍摄的不同的快门时间的图像来获得动态范围宽的图像的、以往的宽动态范围照相机的结构的框图。

固体摄像元件11根据控制部14的曝光控制部21的控制，拍摄高速快门图像和低速快门图像。低速快门图像例如是快门速度为1/60的图像，高速快门图像例如是快门速度为1/2000的图像。

由固体摄像元件11得到的影像信号、即低速快门图像/高速快门图像在A/D转换器12中进行模拟/数字转换，交替写入数字处理部13的帧存储器31-1或31-2。从帧存储器31-1或31-2读出的信号提供给合成处理电路32，在此合成后经由处理电路33输出。

控制部14由CPU 22和曝光控制部21构成。CPU 22使用从数字处理部13提供的测光数据进行运算，将其结果提供给用于控制固体摄像元件11的快门速度和光圈的曝光控制部21，并且根据其结果控制数字处理部13。

在图1所示的宽动态范围照相机中，利用低速快门来拍摄被摄体的亮度低的部分(亮度高的部分饱和)，利用高速快门来拍摄被摄体的亮度高的部分(亮度低的部分暗淡，无法拍摄)。然后，通过合成双方的图像，能够获得在一个画面内表现被摄体的亮度低的部分到亮度高的部分的图像。

在使用了CCD等比人眼动态范围窄的摄像元件的摄像装置中，需要调整光圈和快门速度等，以使入射光的照度收容在CCD摄像元件的动态范围内。

因此，在被摄体的光的照度范围超过CCD摄像元件的动态范围的情况下，产生被摄体的明亮区域的像素的像素值被CCD摄像元件可输出的像素值的最大值限制、或者被摄体的暗淡区域的像素的像素值被CCD摄像元件可输出的像素值的最小值限制的亮度极限，所以如上所述，为了获得宽动态范围的图像，需要进行复杂的图像合成处理。

在上述这种使用动态范围窄的摄像元件构成的宽动态范围照相机中，为了获得动态范围宽的图像，不仅需要进行复杂的图像合成处理，而且使用低速快门图像和高速快门图像这2张图像才能够获得1帧的宽动态范围的图像，所以提高帧速率是非常困难的。

发明内容

本发明是鉴于这种状况而完成的，不进行复杂的处理就能够获得用户容易识别的宽动态范围的图像。

本发明的图像处理装置的特征在于，该图像处理装置具有：取得单元，其取得由输出与入射光量的对数大致成比例的像素值的摄像元件所拍摄的图像信号；亮度范围设定单元，其在取得单元所取得的图像信号的亮度范围中，设定多个亮度范围；以及转换单元，其在亮度范围设定单元所设定的亮度范围和亮度范围以外，转换取得单元所取得的图像信号中包含的像素的亮度，以使亮度的灰度等级数的分配不同。

取得单元、亮度范围设定单元或转换单元由专用的硬件构成，或者通过读入了程序的计算机等来实现，计算机例如由CPU(CentralProcessing Unit)、DSP(Digital Signal Processor)等运算装置构成。

所谓灰度等级数是指亮度的灰度分割数。

转换单元能够转换取得单元所取得的图像信号中包含的像素的亮度，以使对亮度范围分配比亮度范围以外多的灰度。

亮度范围设定单元可以具有：第1平均值计算单元，其计算取得单元所取得的图像信号中包含的像素的亮度值的平均；第1亮度范围设定单元，其根据第1平均值计算单元所计算的亮度值的平均值，设定第1亮度范围；以及第2亮度范围决定单元，其在与第1亮度范围设定单元所设定的第1亮度范围不同的范围中，决定第2亮度范围。

由此，能够对图像信号的主亮度区域和与该亮度偏离的其他亮度区域分配多个灰度，所以在显示或印刷输出的图像中，能够防止白斑和黑斑。

第2亮度范围决定单元还可以具有：第2平均值计算单元，其计算与第1亮度范围设定单元所设定的第1亮度范围不同的亮度范围中、比第1亮度范围的亮度高的像素的亮度值的平均，第2亮度范围决定单元根据第2平均值计算单元所计算的平均值，决定第2亮度范围。

由此，能够对图像信号的主亮度区域和与该亮度偏离的高亮度区域分配多个灰度，所以在显示或印刷输出的图像中，能够防止白斑。

第2亮度范围决定单元还可以具有：第2平均值计算单元，其计算与第1亮度范围设定单元所设定的第1亮度范围不同的亮度范围中、比第1亮度范围的亮度低的像素的亮度值的平均，第2亮度范围决定单元根据第2平均值计算单元所计算的平均值，决定第2亮度范围。

由此，能够对图像信号的主亮度区域和与该亮度偏离的低亮度区域分配多个灰度，所以在显示或印刷输出的图像中，能够防止黑斑。

亮度范围设定单元还可以具有：第3亮度范围决定单元，其在与第1亮度范围设定单元所设定的第1亮度范围和第2亮度范围设定单元所设定的第2亮度范围不同的范围中，决定第3亮度范围。

进而，亮度范围设定单元还能够决定亮度范围分别不同的3个以上的亮度范围。

并且，亮度范围设定单元可以具有：提取单元，其在取得单元所取得的像素值中，提取图像信号的规定图像区域中包含的像素；第1平均值计算单元，其计算提取单元所提取的图像信号的规定图像区域中包含的像素的亮度值的平均值；第1亮度范围设定单元，其根据第1平均值计算单元所计算的亮度值的平均值，设定第1亮度范围；以及第2亮度范围决定单元，其在与第1亮度范围设定单元所设定的第1亮度范围不同的范围中，决定第2亮度范围。

通过将规定的图像区域例如作为在图像信号内认为是始终拍摄同一被摄体的图像部分或认为是拍摄以图像的主要部分为主的被摄体(例如路面等)的图像部分，由此特别是在拍摄动态图像进行显示的情况下，能够防止画面的闪烁。

第2亮度范围决定单元还可以具有：第2平均值计算单元，其计算与第1亮度范围设定单元所设定的第1亮度范围不同的亮度范围中、比第1亮度范围的亮度高的像素的亮度值的平均，第2亮度范围决定单元根据第2平均值计算单元所计算的平均值，决定第2亮度范围。

由此，能够对图像信号的主亮度区域和与该亮度偏离的高亮度区域分配多个灰度，所以在显示或印刷输出的图像中，能够防止白斑。

第2亮度范围决定单元还可以具有：第2平均值计算单元，其计算与第1亮度范围设定单元所设定的第1亮度范围不同的亮度范围中、比第1亮度范围的亮度低的像素的亮度值的平均，第2亮度范围决定单元根据第2平均值计算单元所计算的平均值，决定第2亮度范围。

由此，能够对图像信号的主亮度区域和与该亮度偏离的低亮度区域分配多个灰度，所以在显示或印刷输出的图像中，能够防止黑斑。

亮度范围设定单元还可以具有：第3亮度范围决定单元，其在与第1亮度范围设定单元所设定的第1亮度范围和第2亮度范围设定单元所设定的第2亮度范围不同的范围中，决定第3亮度范围。

进而，亮度范围设定单元还能够决定亮度范围分别不同的3个以上的亮度范围。

亮度范围设定单元可以具有：柱状图检测单元，其求出表示取得单元所取得的图像信号中包含的像素的亮度值的分布的柱状图；以及比较单元，其根据柱状图检测单元所检测的柱状图，对分布在各个亮度值中的像素数和规定阈值进行比较，亮度范围设定单元根据比较单元的比较结果，设定多个亮度范围。

阈值例如可以是通过实验或经验所求出的值，也可以是由用户设定的值。

该图像处理装置还可以具有：操作输入单元，其接受用户的操作输入，亮度范围设定单元根据操作输入单元所输入的用户的操作输入，设定多个亮度范围。

由此，例如在所拍摄的图像中预先知道与用户需要的图像信息相对应的像素的亮度区域时，能够简化处理，降低装置的成本。

该图像处理装置还可以具有：操作输入单元，其接受用户的操作输入，亮度范围设定单元可以具有：可设定亮度范围的区域设定单元，其根据操作输入单元所输入的用户的操作输入，设定多个可设定亮度范围的区域；柱状图检测单元，其求出表示可设定亮度范围的区域设定单元所设定的可设定亮度范围的区域中包含的像素的亮度值的分布的柱状图；以及比较单元，其根据柱状图检测单元所检测的柱状图，对分布在各个亮度值中的像素数和规定阈值进行比较，亮度范围设定单元根据比较单元的比较结果，设定多个亮度范围。

由此，即使在例如在所拍摄的图像中预先知道与用户需要的图像信息相对应的像素的亮度区域，但与用户需要的图像信息相对应的像素的亮度区域由于时间而变化为某种模式的情况下，例如，在即使是相同的亮度区域，白天具有大量信息而傍晚几乎没有信息，或者傍晚和夜间都具有大量信息，而早上和白天几乎没有信息的情况下，也能够避免对没有用户需要的信息的亮度区域优先分配灰度等级数。

图像信号可以由对数转换型摄像元件拍摄，该摄像元件利用半导体的亚阈特性，输出与入射光量的对数大致成比例的像素值。

摄像元件优选能够在比人眼宽的动态范围中拍摄被摄体的摄像元件。

转换单元可以设定转换特性，使得不对亮度范围设定单元所设定的亮度范围以外分配灰度等级数。

由此，能够对所设定的亮度范围分配多个灰度等级数。

转换单元可以在亮度范围设定单元所设定的亮度范围的边界附近设定中间区域，并且转换单元可以设定转换特性，使得亮度范围设定单元所设定的亮度范围中除去中间区域的部分的灰度等级数分配得最多，中间区域的灰度等级数分配得第二多，亮度范围设定单元所设定的亮度范围以外、且不是中间区域的部分的灰度等级数最少。

该中间区域可以是以亮度范围设定单元所设定的亮度范围的边界为中心的规定亮度范围，也可以是与具有对应于亮度范围的边界的像素附近的亮度值的规定数的像素相对应的亮度范围。

并且，该中间区域可以设定为跨越亮度范围设定单元所设定的亮度范围的边界，也可以设定为亮度范围设定单元所设定的亮度范围的最边界，还可以设定为亮度范围设定单元所设定的亮度范围外、最接近所设定的亮度范围的区域。

转换单元可以设定转换特性，使得不对亮度范围设定单元所设定的亮度范围以外、且不是中间区域的部分分配灰度等级数。

通过设定中间区域，能够使所分配的亮度的灰度等级数平稳地变化。

本发明的图像处理方法用于对由输出与入射光量的对数大致成比例的像素值的摄像元件所拍摄的图像信号进行处理的图像处理装置，其特征在于，该图像处理方法具有：取得步骤，其取得图像信号；亮度范围设定步骤，其在取得步骤的处理所取得的图像信号的亮度范围中，设定多个亮度范围；以及转换步骤，其在亮度范围设定步骤的处理所设定的亮度范围和亮度范围以外，转换取得步骤的处理所取得的图像信号中包含的像素的亮度，以使亮度的灰度等级数的分配不同。

图像信号例如可以由对数转换型摄像元件拍摄，该摄像元件利用半导体的亚阈特性，输出与入射光量的对数大致成比例的像素值。

摄像元件例如可以为HDRC(High Dynamic Range CMOS(Complementary Metal Oxide Semiconductor))。

这种摄像元件能够在比人眼宽的动态范围中拍摄被摄体。

本发明的程序以及记录在记录介质中的程序用于使计算机执行由输出与入射光量的对数大致成比例的像素值的摄像元件所拍摄的图像信号的处理，其特征在于，该程序使计算机执行以下处理：取得控制步骤，其控制图像信号的取得；亮度范围设定步骤，其在通过取得控制步骤的处理来控制取得的图像信号的亮度范围中，设定多个亮度范围；以及转换步骤，其在亮度范围设定步骤的处理所设定的亮度范围和亮度范围以外，转换通过取得步骤的处理所取得的图像信号中包含的像素的亮度，以使亮度的灰度等级数的分配不同。

图像信号例如可以由对数转换型摄像元件拍摄，该摄像元件利用半导体的亚阈特性，输出与入射光量的对数大致成比例的像素值。

摄像元件例如可以为HDRC(High Dynamic Range CMOS(Complementary Metal Oxide Semiconductor))。

这种摄像元件能够在比人眼宽的动态范围中拍摄被摄体。

在本发明的图像处理装置和图像处理方法以及程序中，在由输出与入射光量的对数大致成比例的像素值的摄像元件所拍摄的图像信号的亮度范围中，设定多个亮度范围，转换图像信号中包含的像素的亮度，以使对该亮度范围分配与亮度范围以外不同的灰度。

所设定的亮度范围例如为：

在所拍摄的图像信号中，包含平均亮度的亮度范围，

包括比包含平均亮度的范围的亮度高或低的范围内的平均亮度的亮度范围，

根据在图像信号内认为是始终拍摄同一被摄体的图像部分或认为是拍摄以图像的主要部分为主的被摄体的图像部分而确定的亮度范围，

包含在所拍摄的图像内具有一定以上的像素数的亮度的亮度范围，

用户预先确定的亮度范围等，

这些是应该分配多个灰度等级的亮度区域，以实现在用户需要的、例如显示时或印刷输出时容易识别的状态下进行显示或印刷。

因此，不进行复杂的处理就能够获得用户容易识别的宽动态范围的图像。

根据本发明，能够进行用于显示或输出所拍摄的图像信号的处理，特别是不进行复杂的处理就能够获得用户容易识别的宽动态范围的图像。

附图说明

图1是表示以往的宽动态范围照相机的动作原理的图。

图2是表示本发明的图像处理系统的一个实施方式的框图。

图3是表示图2的摄像装置的一个实施方式的框图。

图4是表示对数转换型摄像元件等的感光度特性的曲线图。

图5是表示图像生成部的第1结构例的框图。

图6A是用于说明输出电平相对于输入电平的转换的图。

图6B是用于说明输出电平相对于输入电平的转换的图。

图6C是用于说明输出电平相对于输入电平的转换的图。

图7A是用于说明输出电平相对于输入电平的转换的图。

图7B是用于说明输出电平相对于输入电平的转换的图。

图7C是用于说明输出电平相对于输入电平的转换的图。

图8A是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。

图8B是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。

图8C是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。

图9是用于说明图像显示处理1的流程图。

图10是用于说明显示图像的差异的图。

图11是用于说明显示图像的差异的图。

图12是用于说明显示图像的差异的图。

图13是用于说明显示图像的图。

图14是表示图像生成部的第2结构例的框图。

图15A是用于说明输出电平相对于输入电平的转换的图。

图15B是用于说明输出电平相对于输入电平的转换的图。

图15C是用于说明输出电平相对于输入电平的转换的图。

图16A是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。

图16B是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。

图16C是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。

图17是用于说明图像显示处理2的流程图。

图18是用于说明显示图像的图。

图19是用于说明显示图像的图。

图20是表示图像生成部的第3结构例的框图。

图21是表示图像生成部的第4结构例的框图。

图22是用于说明切出区域的图。

图23是用于说明图像显示处理3的流程图。

图24是表示图像生成部的第5结构例的框图。

图25是用于说明图像显示处理4的流程图。

图26是表示图像生成部的第6结构例的框图。

图27是表示图像生成部的第7结构例的框图。

图28是用于说明柱状图的解析和亮度范围的设定的图。

图29是用于说明图像显示处理5的流程图。

图30是表示图像生成部的第8结构例的框图。

图31是用于说明图像显示处理6的流程图。

图32是表示图像生成部的第9结构例的框图。

图33是用于说明柱状图的解析和亮度范围的设定的图。

图34是用于说明图像显示处理7的流程图。

图35是表示个人计算机的结构例的框图。

标号说明

81：图像处理装置

91：摄像部

93：图像生成部

94：显示控制部

102：对数转换型摄像元件

131：平均亮度计算部

132：主要区域亮度范围设定部

133：第2亮度区域亮度平均值计算部

134：第2亮度区域亮度范围设定部

135：输出电平转换处理部

201：主要区域切出部

202：主要区域亮度平均值计算部

221：区域

251：柱状图解析部

252：阈值比较处理部

253：多阶段亮度范围设定部

具体实施方式

下面，参照附图说明本发明的实施方式。

图2是表示图像处理装置81的一个实施方式的框图。

摄像部91根据从操作输入部92提供的用户的操作输入，拍摄被摄体，将所得到的图像信号提供给图像生成部93。之后使用图3详细说明摄像部91。

操作输入部92例如由释放按钮等按钮、操作键、触摸面板等的输入装置构成，接受用户的操作输入，将来自用户的指令提供给摄像部91。用户的操作输入不仅是例如摄像定时的指令(释放按钮的按下等)，有时还是例如动态图像的摄像(换言之，连续的帧的摄像)的开始或结束的指令，而且有时还是摄像开始或结束的时刻的设定等。并且，操作输入部92通过用户接受用于图像生成部93的处理的规定的设定值的输入时，将该设定值提供给图像生成部93。

图像生成部93执行将从摄像部91提供的图像信号转换为适于显示和印刷输出的图像信号的处理，并将该图像信号提供给显示控制部94或输出控制部95。并且，图像生成部93根据需要从操作输入部92接受处理所需要的设定值的输入，由此，执行将从摄像部91提供的图像信号转换为适于显示和印刷输出的图像信号的处理。

显示控制部94进行将从图像生成部93提供的处理后的图像信号转换为显示器82的分辨率和灰度数的处理，将处理后的信号提供给显示器82。

输出控制部95进行将从图像生成部93提供的处理后的图像信号转换为例如打印机等输出目的地的设备可处理的分辨率和灰度数的处理，将处理后的信号输出到未图示的打印机等外部设备。

显示器82例如接受从显示控制部94提供的显示图像信号的输入，来显示图像(静态图像或由多帧构成的动态图像)。

图3是表示图2的图像处理装置81的摄像部91更详细的结构例的框图。摄像部91构成为包含透镜101以及对数转换型摄像元件102。对数转换型摄像元件102例如为HDRC(High Dynamic Range CMOS(Complementary Metal Oxide Semiconductor))等对数转换型的摄像元件，其构成为包含光检测部111、对数转换部112、A/D转换部113以及摄像定时控制部114。

从摄像部91所拍摄的被摄体发出的光(或由被摄体反射的光)入射到透镜101，成像于对数转换型摄像元件102的光检测部111的未图示的光检测面。

光检测部111例如通过由多个光电二极管等构成的受光元件等构成。光检测部111将由透镜101所成像的被摄体的光转换为与所入射的光的明亮度(照度)对应的电荷，并蓄积转换后的电荷。光检测部111与从摄像定时控制部114提供的控制信号同步地将蓄积的电荷提供给对数转换部112。

对数转换部112例如由多个MOSFET(Metal Oxide SemiconductorField Effect Transistor)等构成。对数转换部112利用MOSFET的亚阈特性，生成将从光检测部111提供的电荷按照像素转换为与电荷数(电流强度)的对数(被摄体的光的光量的对数)大致成比例的电压值后的模拟电信号。对数转换部112将所生成的模拟电信号提供给A/D转换部113。

A/D转换部113与从摄像定时控制部114提供的控制信号同步地，将模拟电信号A/D转换为数字的图像数据。例如，转换为24bit的无符号2进制的数字图像数据时，图像数据的像素值成为从最暗淡的0到最明亮的224-1的范围的值。A/D转换部113将转换后的数字的图像数据提供给图像处理装置92。

这样，摄像部91输出由与入射到光检测部111中的被摄体的光的明亮度(入射光量)的对数成比例的像素值构成的数字的图像数据。另外，例如在日本特表平7-506932公报等中详细公开了对数转换型的摄像元件。

另外，在对数转换型摄像元件102的光检测部111中，也可以不蓄积转换后的电荷，而直接提供给对数转换部112。

图4是表示对数转换型摄像元件102、CCD(Charge Coupled Device)摄像元件、银盐胶片以及人眼的感光度特性的曲线图。图4的横轴表示入射的光的照度(单位为勒克斯(lux))的对数值，纵轴表示相对于入射光的照度的感光度。线121表示对数转换型摄像元件102的感光度特性，线122表示CCD摄像元件的感光度特性，线123表示银盐胶片的感光度特性，线124表示人眼的感光度特性。

如上所述，因为对数转换型摄像元件102输出由与入射光量的对数大致成比例的亮度值(或像素值)构成的图像数据，所以即使在入射光量增大的情况下，也不会产生以下情况：构成对数转换型摄像元件102的光电二极管和MOSFET等元件的容量饱和，或流入各元件的电流和所施加的电压超过各元件能够进行与输入对应的输出的范围。因此，在可摄像的亮度的范围内，能够大致准确地获得与入射光量的变动相对应的亮度值(或像素值)。即，能够在比CCD摄像元件、银盐胶片以及人眼宽的动态范围、例如从大约1毫勒克斯到比太阳光的亮度高的大约500千勒克斯的大约170dB的动态范围内，拍摄由大致准确地反映出来自被摄体的入射光量的强度的亮度值(或像素值)构成的图像。另外，用于摄像部91的对数转换型摄像元件102的动态范围不限定为上述170dB，根据使用目的，使用大约100dB或200dB等、与需要的动态范围对应的动态范围即可。

如上所述，对数转换型摄像元件102通过输出由与入射光量的对数大致成比例的值的像素值构成的图像数据，构成对数转换型摄像元件102的光电二极管和MOSFET等的容量不会饱和，能够在比CCD摄像元件、银盐胶片以及人眼宽的、从大约1毫勒克斯到比太阳光的亮度高的大约500千勒克斯的大约170dB的动态范围内，拍摄被摄体。

因此，使用了对数转换型摄像元件102的摄像部91因为在人能够视认的亮度范围中，不产生亮度极限，所以不需要调整光圈和快门速度等来调整入射光量。即，摄像部91即使不调整入射光量，也能够忠实地拍摄被摄体的详细的亮度变化。

例如，在白天从车内拍摄车辆前方的情况下，即使太阳进入视角内，摄像部91也能够不调整入射光量地拍摄忠实地再现了太阳和前方道路的状态的图像。并且，在夜间从车内拍摄车辆前方的情况下，即使对面车辆的头灯从前方照射，摄像部91也能够不调整入射光量地拍摄忠实地再现了从对面车辆的头灯的光到没有被自己车辆的头灯照射的部分的图像。

并且，CCD摄像元件和银盐胶片如线122和线123所示，与感光度特性由于伽玛特性等要因而不与入射光的照度的对数成比例的情况相比，在对数转换型摄像元件102中，感光度特性与入射光的照度的对数大致成比例。

这样，使用了对数转换型摄像元件102的摄像部91因为不受亮度极限的产生、入射光量的调整和伽玛特性的影响，所以摄像部91所拍摄的图像数据的像素值按照几乎忠实地反映被摄体的亮度的变动和被摄体的移动的方式变动。

并且，因为从摄像部91输出的图像数据的像素值成为与入射光量的对数大致成比例的值，所以与照射到被摄体上的光的明亮度(照度)无关，拍摄了该被摄体的图像数据中的像素值的分布大致同样地反映出该被摄体的反射率的分布。例如，在照射第一次和第二次约有100倍照度差的光来拍摄反射率的最大值和最小值的比率为10∶1的被摄体时，表示第一次的图像数据和第二次的图像数据的像素值的分布的柱状图的宽度大致为相同的值(1＝log₁₀10)。另一方面，图像数据的像素值与入射光量成比例时，表示第一次的图像数据和第二次的图像数据的像素值的分布的柱状图的宽度的差大约为100倍。

并且，与被摄体的亮度(反射率)的分布无关，被摄体的亮度以几乎相同的比率变动时，拍摄了该被摄体的图像数据的像素值的变动值几乎相同。例如，在被摄体内存在亮度之比为100∶1的2个区域时，照射到被摄体上的光的照度几乎一样地变化，被摄体的亮度以几乎相同的比率的+5％变动时，与2个区域对应的像素值的变动值成为几乎相同的值(log₁₀1.05)。另一方面，图像数据的像素值与入射光量成比例时，上述与2个区域对应的像素值的变动值的差大约为100倍。

但是，如使用图4进行说明的那样，对数转换型摄像元件102与人眼的感光度(图4的线124所示的特性)、CCD摄像元件的感光度(图4的线122所示的特性)、以及银盐胶片的感光度(图4的线123所示的特性)进行比较，其亮度范围非常宽。因此，在将使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据的所有灰度转换为与显示器82对应的灰度进行显示时，与人眼能看到的像和使用以往的CCD摄像元件或银盐胶片拍摄的图像进行比较，成为没有浓淡差异的图像，换言之，成为没有轮廓的图像。

即，通过采用使用了对数转换型摄像元件102的摄像部91，能够忠实地拍摄非常暗淡的部分和非常明亮的部分，但是在根据显示器82能够显示的灰度数，对所拍摄的图像数据进行灰度转换来显示时，参照所显示的图像的用户无法识别所拍摄的非常暗淡的部分和非常明亮的部分，进而以浓淡差异很少的状态显示用户可识别的整体的灰度的中央部分。同样，因为打印机等的灰度数也有限，所以将所拍摄的图像数据转换为输出目的地的设备可处理的灰度数来进行印刷输出的图像也同样地，与人眼能看到的像和使用以往的CCD摄像元件或银盐胶片拍摄的图像进行比较，成为没有浓淡差异的图像，换言之，成为没有轮廓的图像。

并且，例如在不仅将使用了对数转换型摄像元件102的摄像部91所拍摄的图像亮度范围的整体转换为显示器82能够显示的灰度，而且在所获得的亮度范围中，提取所获得图像中包含的像素的亮度值的最高值和最低值，并将其中间的亮度范围转换为显示器82能够显示的灰度的情况下，一张图像中包含的亮度范围比较窄时所显示的图像的画质明显提高。但是，一张摄像图像中混合存在有明亮部分和暗淡部分时，参照所显示的图像的用户还是无法识别所拍摄的非常暗淡的部分和非常明亮的部分，成为用户可识别的整体的灰度的中央部分的浓淡差异很少的显示图像。

所以，在图像生成部93中，接受使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据的供给，在以与显示器82对应的灰度进行显示时，或者在以与输出目的地的外部设备对应的灰度进行输出时，都执行能够生成如下的图像数据的图像处理，该图像数据能够在用户可识别的状态下显示或印刷输出。

图5是表示图2的图像生成部93的结构的第1例、即图像生成部93-1的结构的框图。

平均亮度计算部131取得从摄像部91提供的图像信号，计算其平均亮度，并将平均亮度的计算结果提供给主要区域亮度范围设定部132。

主要区域亮度范围设定部132根据从平均亮度计算部131提供的图像信号的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给输出电平转换处理部135和第2亮度区域亮度平均值计算部133。

主要区域亮度范围设定部132例如可以将以图像信号的平均亮度为中心的规定的亮度的范围作为主要区域的亮度范围，也可以以图像信号的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为主要区域的亮度范围。

第2亮度区域亮度平均值计算部133计算从摄像部91提供的图像信号中、比主要区域亮度范围设定部132所设定的主要区域的亮度范围的亮度高的范围的像素的平均亮度，将计算结果提供给第2亮度区域亮度范围设定部134。

第2亮度区域亮度范围设定部134根据比从第2亮度区域亮度平均值计算部133提供的主要区域的亮度范围的亮度高的范围的像素的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部135。

第2亮度区域亮度范围设定部134例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定的亮度的范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第2亮度区域的亮度范围。

输出电平转换处理部135取得从摄像部91提供的图像信号，根据从主要区域亮度范围设定部132提供的主要区域的亮度范围以及从第2亮度区域亮度平均值计算部133提供的第2亮度区域的亮度范围的信息，转换所取得的图像信号的输出电平。

具体而言，输出电平转换处理部135对所输入的亮度信号的电平分配规定级数的输出电平信号(以规定的灰度等级数分配亮度时的各个亮度灰度电平的信号)，输出所分配的输出电平的信号。此时，输出电平转换处理部187使输出电平信号的亮度灰度电平的分配，在被设定为主要区域和第2亮度区域的亮度范围以及除此之外的范围中不同。即，输出电平转换处理部187对被设定为主要区域和第2亮度区域的亮度范围分配更多的输出电平的等级数，执行使对应的亮度范围的像素的灰度数变多的转换处理。由此，用户能够更好地识别显示或印刷输出的图像中与主要区域和第2亮度区域对应的亮度范围的部分。

输出电平转换处理部135例如能够对主要区域的亮度范围和第2亮度区域的亮度范围中包含的输入信号，分割所有的灰度等级数来进行分配，对除此之外的范围，即比主要区域的亮度低的范围、主要区域和第2亮度区域之间的亮度范围以及比第2亮度区域的亮度高的范围，不分配输出电平的等级数。

这样，在分配了输出电平对应于输入电平的灰度等级数的情况下，如图6A所示，亮度的输入电平比主要区域的亮度范围低的像素的输出电平为0(即漆黑)。而且，根据输入电平，对主要区域的亮度范围内的像素分配规定的灰度的输出电平。并且，主要区域和第2亮度区域之间的亮度范围的像素与输入电平无关，以对主要区域的亮度范围分配的输出电平的最大值输出。对第2亮度区域内的像素，以与主要区域相同或大致相同的等级数，根据输入电平，分配从对主要区域的亮度范围分配的输出电平的最大值到整体的输出电平的最大值之间的灰度的输出电平。而且，比第2亮度区域的亮度高的像素与输入电平无关，分配有对第2亮度区域分配的输出电平的最大值、即整体的输出电平的最大值。

并且，输出电平转换处理部135例如能够对主要区域和第2亮度区域分配输出电平中的规定的等级数，并且对主要区域和第2亮度区域之间的亮度范围，分配比对主要区域和第2亮度区域分配的等级数少的等级数(换言之，比主要区域和第2亮度范围窄的灰度宽度)，对比主要区域的亮度低的范围以及比第2亮度区域的亮度高的范围，不分配输出电平的等级数。

这样，在分配了输出电平对应于输入电平的灰度等级数的情况下，例如如图6B所示，具有比主要区域的亮度范围低的亮度的像素的输出值为0。而且，根据输入电平，对主要区域的亮度范围内的像素分配规定的灰度的输出电平。并且，在主要区域和第2亮度区域之间的亮度范围的像素中，以比对主要区域的亮度范围分配的等级数少的等级数，分配与输入电平对应的输出电平。对第2亮度区域内的像素，以与主要区域相同或大致相同的等级数，根据输入电平，分配从对主要区域和第2亮度区域之间的亮度范围分配的输出电平的最大值到成为整体的最大值的灰度之间的输出电平。而且，对比第2亮度区域的亮度高的像素，与输入电平无关，分配对第2亮度区域分配的输出电平的最大值、即最大输出电平。

并且，输出电平转换处理部135例如将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间β，对主要区域或第2亮度区域中、区间α或区间β以外的像素，分配输出电平中规定的级数，对区间α或区间β分配比对主要区域和第2亮度区域的区间α或区间β以外的部分分配的等级数少的等级数，对比主要区域的亮度低以及比第2亮度区域的亮度高的像素，不分配输出电平的等级数。另外，此时，对主要区域和第2亮度区域之间的亮度范围中、不在区间α或区间β中的像素，分配比对区间α或区间β分配的输出电平的等级数少的等级数，或者不分配等级数。

这样，在分配了输出电平对应于输入电平的灰度等级数的情况下，例如如图6C所示，具有比主要区域的亮度范围低的亮度的像素的输出值为0。而且，根据输入电平，对主要区域的亮度范围内且区间α以外的像素分配规定的灰度的输出电平。并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，对区间α的像素分配比对主要区域的区间α以外的部分分配的输出电平的最大值大的规定的灰度的输出电平。并且，在主要区域和第2亮度区域之间的亮度范围中的不在区间α或区间β的像素中，以比对区间α分配的等级数少的等级数，分配与输入电平对应的输出电平，或者与输入电平无关，分配对区间α分配的输出电平的最大值。

并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，即以与区间α相同或大致相同的等级数，对区间β的像素分配比区间β的亮度低的亮度范围中的输出电平的最大值大的规定的灰度的输出电平。并且，根据输入电平，对在第2亮度区域的亮度范围内的区间β以外的像素，分配从对区间β分配的灰度的最大值到整体的最大输出电平的灰度的输出电平。换言之，对在第2亮度区域的亮度范围内的区间β以外的像素，分配与主要区域中的区间α以外的部分相同或大致相同的等级数、即比区间α和区间β多的等级数的输出电平。而且，对比第2亮度区域的亮度高的像素，与输入电平无关地分配对第2亮度区域分配的输出电平的最大值、即最大输出电平。

另外，在图6C中，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间β，但是，例如也可以将主要区域的亮度范围内的上限侧的规定区间设为区间α，将第2亮度区域的亮度范围内的下限侧的规定区间设为区间β，或者，将比主要区域的亮度范围的上限的亮度高的规定区间设为区间α，将比第2亮度区域的亮度范围的下限的亮度低的规定区间设为区间β。进而，还可以设定如下的区域：在主要区域的亮度的下限侧和第2亮度区域的亮度的上限侧，分配与区间α和区间β相同的输出电平的等级数。

并且，在图6中，所有具有主要区域的亮度范围以下的亮度的像素为输出0(漆黑)，所有具有第2亮度区域的亮度范围以上的亮度的范围的像素为与第2亮度区域的亮度范围的最高亮度相同的输出电平(最大输出电平)，但是在主要区域的亮度范围以下和第2亮度区域的亮度范围以上的各个亮度范围中，也可以分配某种程度的输出电平的等级数。

即，输出电平转换处理部135例如如图7A所示，能够相对于输入电平转换输出电平。即，在亮度的输入电平比主要区域的亮度范围低的像素中，根据输入电平，分配从0(即、漆黑)到比对主要区域分配的等级数少的规定等级数的输出电平。而且，根据输入电平，对主要区域亮度范围内的像素分配规定的灰度的输出电平。并且，主要区域和第2亮度区域之间的亮度范围的像素与输入电平无关，以对主要区域分配的输出电平的最大值输出。对第2亮度区域内的像素，根据输入电平，以与主要区域相同或大致相同的等级数，分配从对主要区域分配的输出电平的最大值到规定的灰度的输出电平。而且，对比第2亮度区域的亮度高的像素，从对第2亮度区域的亮度范围分配的输出电平的最大值到最大输出电平，以比对主要区域和第2亮度区域分配的等级数少的等级数，分配与输入电平对应的输出电平。

并且，输出电平转换处理部135例如如图7B所示，能够相对于输入电平转换输出电平。即，在亮度的输入电平比主要区域的亮度范围低的像素中，根据输入电平，分配从0(即、漆黑)到比对主要区域分配的等级数少的规定等级数的输出电平。而且，根据输入电平，对主要区域亮度范围内的像素分配规定的灰度的输出电平。并且，在主要区域和第2亮度区域之间的亮度范围的像素中，以比对主要区域分配的等级数少的等级数，分配与输入电平对应的输出电平。对第2亮度区域内的像素，根据输入电平，以与主要区域相同或大致相同的等级数，分配从对主要区域和第2亮度区域之间亮度范围分配的输出电平的最大值到规定的灰度的输出电平。而且，对比第2亮度区域的亮度高的像素，从对第2亮度区域的亮度范围分配的输出电平的最大值到最大输出电平，以比对主要区域分配的等级数少的等级数，分配与输入电平对应的输出电平。

并且，输出电平转换处理部135例如如图7C所示，能够相对于输入电平转换输出电平。即，在亮度的输入电平比主要区域的亮度范围低的像素中，对应于输入电平，分配从0(即、漆黑)到比对主要区域分配的等级数少的规定等级数的输出电平。而且，根据输入电平，对主要区域亮度范围内且区间α以外的像素分配规定的灰度的输出电平。并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，对区间α的像素分配比对主要区域的区间α以外的部分分配的输出电平的最大值大的规定的灰度的输出电平。并且，在主要区域和第2亮度区域之间的亮度范围中的不在区间α或区间β的像素中，以比对区间α分配的等级数少的等级数，分配与输入电平对应的输出电平，或者与输入电平无关，分配对区间α分配的输出电平的最大值。

并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，对区间β的像素分配比区间β的亮度低的亮度范围中的输出电平的最大值大的规定灰度的输出电平。并且，对在第2亮度区域的亮度范围内的区间β以外的像素，根据输入电平，以与主要区域的区间α以外的亮度范围相同或大致相同的等级数，分配从对区间β分配的灰度的最大值到规定灰度的输出电平。而且，对比第2亮度区域的亮度高的像素，从对第2亮度区域的亮度范围分配的输出电平的最大值到最大输出电平，以比对主要区域的区间α以外的部分分配的等级数少的等级数，分配与输入电平对应的输出电平。

另外，在图7C中，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间β，但是，例如也可以将主要区域的亮度范围内的上限侧的规定区间设为区间α，将第2亮度区域的亮度范围内的下限侧的规定区间设为区间β，或者，将比主要区域的亮度范围的上限的亮度高的规定区间设为区间α，将比第2亮度区域的亮度范围的下限的亮度低的规定区间设为区间β。进而，还可以设定如下的区域：在主要区域的亮度的下限侧和第2亮度区域的亮度的上限侧，分配与区间α和区间β相同的输出电平的等级数。

进而，输出电平转换处理部135例如也可以决定对各个亮度区域分配的灰度等级数，以使与主要区域和第2亮度区域中的输出电平相对于输入电平的比率(直线的斜率)相比，这些亮度区域以外的亮度范围中的输出电平相对于输入电平的比率低。

如以上说明的那样，图像生成部93-1中所设定的主要区域和第2亮度区域不是预先确定的亮度范围，而是根据所拍摄的图像而设定的。即，图像生成部93-1所生成的图像为如下的图像：在所拍摄的图像整体中，例如占据画面多的被摄体等对用户识别图像最重要的亮度范围，以及在比该亮度范围的亮度高的范围中，特别是占据画面多的亮度范围中，分配有限的灰度数中的大部分。

使用图8说明输入信号、输出电平转换处理部135进行的灰度转换后的信号以及所显示的信号的亮度电平。

图8A是表示进行使用图6A说明的灰度转换时的输入信号、输出电平转换处理部135进行的灰度转换后的信号、以及为了显示或印刷等而输出的信号的亮度电平的图。在图8A所示的情况下，在对离散的亮度范围、即主要区域和第2亮度区域的信号充分赋予了各个亮度灰度宽度(区域内的灰度的最大值和最小值之间的等级数)的状态下，转换为连续的亮度灰度。主要区域和第2亮度区域之间的亮度范围的像素全部以主要区域的最大输出电平输出。而且，根据显示或印刷输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。具体而言，例如在显示器82能够以256灰度来显示图像的情况下，显示控制部94将从图像生成部93-1提供的信号、即输出电平转换处理部135进行的灰度转换后的信号转换为256灰度的信号。

图8B是表示进行使用图6B说明的灰度转换时的输入信号、输出电平转换处理部135进行的灰度转换后的信号、以及为了显示或印刷等而输出的信号的亮度电平的图。在图8B所示的情况下，在主要区域和第2亮度区域之间的区域仅赋予比主要区域和第2亮度区域的等级数少的等级数的灰度。因此，虽然转换后的信号的亮度的灰度数相比输入信号大幅压缩了主要区域和第2亮度区域之间的区域的等级数少的部分，但是，也能对主要区域和第2亮度区域的信号赋予充分的亮度灰度宽度。而且，根据显示或印刷输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。

图8C是表示进行使用图6C说明的灰度转换时的输入信号、输出电平转换处理部135进行的灰度转换后的信号、以及为了显示或印刷等而输出的信号的亮度电平的图。在图8C所示的情况下，在主要区域、第2亮度区域以及它们之间的区域中，通过上述的区间α和区间β，使所分配的亮度的灰度等级数平稳地变化，即，在区间α和区间β中，赋予比主要区域和第2亮度区域的等级数少的等级数的灰度。因此，在对主要区域和第2亮度区域赋予充分的亮度灰度宽度的状态下，在转换后的信号中，亮度的灰度数相比输入信号大幅压缩。而且，根据显示或印刷输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。

下面，参照图9的流程图，说明在使用图5说明的图像生成部93-1的图像处理装置81中执行的图像显示处理1。

在步骤S1中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-1。图像生成部93-1取得所拍摄的图像信号。

在步骤S2中，图像生成部93-1的平均亮度计算部131求出所拍摄的图像整体的平均亮度，将计算结果提供给主要区域亮度范围设定部132。

在步骤S3中，主要区域亮度范围设定部132根据从平均亮度计算部131提供的图像整体的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给输出电平转换处理部135和第2亮度区域亮度平均值计算部133。

主要区域亮度范围设定部132例如可以将以图像信号的平均亮度为中心的规定亮度范围作为主要区域的亮度范围，也可以以图像信号的平均亮度的像素为中心，按照顺序，从具有接近该亮度的亮度值的像素中选择规定位数的像素作为主要区域的亮度范围。

在步骤S4中，第2亮度区域亮度平均值计算部133求出从摄像部91提供的图像信号中、比主要区域亮度范围设定部132所设定的主要区域的亮度范围明亮的区域的平均亮度，并将其结果提供给第2亮度区域亮度范围设定部134。

在步骤S5中，第2亮度区域亮度范围设定部134根据比从第2亮度区域亮度平均值计算部133提供的主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部135。

第2亮度区域亮度范围设定部134例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定亮度范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第2亮度区域的亮度范围。

在步骤S6中，输出电平转换处理部135根据主要区域亮度范围设定部132所设定的主要区域的亮度范围以及第2亮度区域亮度平均值计算部133所设定的第2亮度区域的亮度范围，决定例如使用图6或图7说明的输入电平和输出电平的转换特性。

在步骤S7中，输出电平转换处理部135根据在步骤S6中所决定的转换特性，转换从摄像部91提供的摄像图像的灰度，并提供给显示控制部94。

在步骤S8中，如使用图8说明的那样，显示控制部94将所提供的图像信号转换为适合于显示元件的灰度。

在步骤S9中，显示控制部94将转换为适合于显示元件的灰度的图像信号提供给显示器82，控制图像的显示，结束处理。

另外，这里说明了在显示器82上显示所生成的图像的处理，但在经由输出控制部95将所生成的图像输出到未图示的外部设备的情况下，在步骤S1～步骤S7中执行基本相同的处理，将图像信号提供给输出控制部95，转换为在输出目的地的设备中可处理的灰度来控制输出。

通过这种处理，即使在以与显示器82对应的灰度来显示使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据时，或以与输出目的地的外部设备对应的灰度输出时，也能够生成如下的图像数据：能够将分散存在于宽亮度范围中的用户需要的图像信息显示或印刷输出为用户可识别的状态。

例如，当拍摄在隧道内的隧道出口附近行驶的车辆前面的图像，并能够在显示器上显示所拍摄的图像的情况下，

(1)对于采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，不使用具有图像生成部93-1的图像处理装置81进行处理，而以原本的灰度特性进行显示输出。

(2)对于具有以往的CCD照相机在通常的曝光控制中拍摄的图像，进行显示输出，而不进行合成等处理。

(3)对于采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，使用具有图像生成部93-1的图像处理装置81进行处理后，进行显示输出。

在以上各个条件中，参照图10～图12说明显示图像的差异。

首先，图10示出对于采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，不使用具有图像生成部93-1的图像处理装置81进行处理时的显示图像的例子。采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像不产生白斑或黑斑，但是，因为将非常宽的动态范围转换为显示装置可处理的灰度，所以显示出没有浓淡差异(没有轮廓)的图像。

即使通过对数转换型摄像元件102拍摄的亮度宽度很宽，也没有一般的显示装置可显示的图像的灰度数能够忠实地进行显示的宽度那么宽。具体而言，在图10的情况下，以相同的灰度或比使用了CCD的情况少的灰度数，来显示例如在以路面的明亮度为基准进行曝光的CCD所拍摄的图像中显示为不同的灰度的像素。

另外，即使在可通过对数转换型摄像元件102拍摄的动态范围中、所获得的摄像图像的亮度的最大值和最小值之间，进行灰度转换，也会在一个画面中的亮度差异很大的情况下(例如在图10的情况下，隧道内的路面和隧道外的各个部分的亮度的差异非常大)，同样地显示出没有浓淡差异的图像。

接着，图11示出显示利用以往的CCD照相机通过通常的曝光控制所拍摄的图像时的显示图像的例子。例如，以占据所拍摄的图像的大部分的、隧道内的路面的明亮度为基准来设定CCD照相机的曝光时，如图11所示，所获得的图像中的、与隧道内的路面相比极端明亮的隧道外的图像产生白斑。另外，将曝光时间设定得非常短时，隧道外的部分虽然不会如图11所示产生白斑，但是，与隧道外的部分相比，亮度大幅降低的隧道内的部分产生黑斑，难以识别显示图像的对应的部分。

而且，图12示出对于采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，使用具有图像生成部93-1的图像处理装置81进行处理时的显示图像的例子。这样，拍摄在隧道内的隧道出口附近行驶的车辆前面的图像时，将车辆前面的道路部分的亮度周边设定为主要区域的亮度范围。而且，作为比主要区域的亮度高的像素中的主要部分，将隧道外的部分设定为第2亮度区域。即，在使用了具有图像生成部93-1的图像处理装置81的图像转换中，在所拍摄的图像中的、与隧道内对应的亮度范围和与隧道外对应的亮度范围中，分配用户易于识别的灰度等级数。因此，使用具有图像生成部93-1的图像处理装置81进行处理时的显示图像与使用图10或图11说明的情况相比，能够以用户易于识别地方式，显示所拍摄的图像中的主要部分(这里为车辆的整个面的道路部分)和与其离散的亮度范围中的主要部分(这里为隧道外的部分)。

由此，以宽动态范围拍摄的图像中的用户需要的信息，以用户容易识别的方式，即以分配充分的灰度等级数进行显示的方式被转换。

并且，在使用了对数转换型摄像元件102的情况下，利用一次摄像就能够获得宽动态范围的图像。因此，对采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像使用具有图像生成部93-1的图像处理装置81进行处理的情况，与通过对使用以往的CCD在不同的快门时间拍摄的图像进行合成等来获得宽动态范围的图像的情况相比，特别能够容易地提高动态图像的帧速率。

并且，通过对采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，使用具有图像生成部93-1的图像处理装置81进行处理，由此例如如图13所示，即使在拍摄夜间在街上行驶的车辆前面的图像，并在显示器上显示所拍摄的图像的情况下，包含其他车辆的头灯、尾灯或街灯等具有与画面上大部分的亮度值离散的亮度值的像素的图像，也不会产生白斑和黑斑，而且分配充分的灰度来显示用户需要的图像信息，而不会因为头灯、尾灯或街灯等高亮度的像素而难以识别。

以上说明的图像生成部93-1说明了对主要区域的亮度范围、和比主要区域的亮度范围的亮度高的范围中的主要部分、即第2亮度区域的亮度范围，分配多个灰度等级数的情况。与此相对，说明所设定的亮度范围不是主要区域的亮度范围和第2亮度区域的亮度范围这两者的情况。

接着，图14是表示图2的图像生成部93的结构的第2例、即图像生成部93-2的结构的框图。图像生成部93-2设定3个亮度区域，即除了主要区域的亮度范围以外，还设定比主要区域的亮度范围的亮度高的范围中的主要部分、即第2亮度区域的亮度范围、以及比主要区域的亮度范围的亮度低的范围中的主要部分、即第3亮度区域的亮度范围，对所设定的3个亮度区域分配多个灰度等级数。

另外，对与图5的情况相对应的部分赋予同一符号，并适当省略其说明。

即，图14的图像生成部93-2具有与使用图5说明的图像生成部93-1基本相同的平均亮度计算部131和主要区域亮度范围设定部132，省略了图像生成部93-1的第2亮度区域亮度平均值计算部133和第2亮度区域亮度范围设定部134，新设置了高亮度区域亮度平均值计算部161、高亮度区域亮度范围设定部162、低亮度区域亮度平均值计算部163、和低亮度区域亮度范围设定部164，代替输出电平转换处理部135而设有输出电平转换处理部165。

高亮度区域亮度平均值计算部161取得从摄像部91提供的图像信号，计算所取得的图像信号中比主要区域亮度范围设定部132所设定的主要区域的亮度范围的亮度高的范围的像素的平均亮度，并将计算结果提供给高亮度区域亮度范围设定部162。

高亮度区域亮度范围设定部162根据从高亮度区域亮度平均值计算部161提供的比主要区域的亮度范围的亮度高的范围的像素的平均亮度，设定比主要区域的亮度高的第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部165。

高亮度区域亮度范围设定部162例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定的亮度的范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第2亮度区域的亮度范围。

低亮度区域亮度平均值计算部163取得从摄像部91提供的图像信号，计算所取得的图像信号中比主要区域亮度范围设定部132所设定的主要区域的亮度范围的亮度低的范围的像素的平均亮度，并将计算结果提供给低亮度区域亮度范围设定部164。

低亮度区域亮度范围设定部164根据从低亮度区域亮度平均值计算部163提供的比主要区域的亮度范围的亮度低的范围的像素的平均亮度，设定比主要区域的亮度低的第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给输出电平转换处理部165。

低亮度区域亮度范围设定部164例如可以将以比主要区域的亮度范围的亮度低的范围的像素的平均亮度为中心的规定的亮度的范围作为第3亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度低的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第3亮度区域的亮度范围。

输出电平转换处理部165取得从摄像部91提供的图像信号，根据从主要区域亮度范围设定部132提供的主要区域的亮度范围、从高亮度区域亮度范围设定部162提供的第2亮度区域的亮度范围、以及从低亮度区域亮度范围设定部164提供的第3亮度区域的亮度范围的信息，转换所取得的图像信号的输出电平。

具体而言，输出电平转换处理部165例如如图15A所示，能够相对于输入电平转换输出电平。即，亮度的输入电平比第3亮度区域低的像素与输入电平无关，输出电平为0(即、漆黑)。而且，根据输入电平，对第3亮度区域内、主要区域内以及第2亮度区域内的像素分配规定的灰度的输出电平。并且，第3亮度区域和主要区域之间的亮度范围、以及主要区域和第2亮度区域之间的亮度范围的像素与输入电平无关，以该范围之前分配的输出电平输出。而且，对比第2亮度区域的亮度高的像素，分配成为对第2亮度区域的亮度范围分配的输出电平的最大值的输出电平。

并且，输出电平转换处理部165例如如图15B所示，能够相对于输入电平转换输出电平。即，亮度的输入电平比第3亮度区域低的像素与输入电平无关，输出电平为0(即、漆黑)。而且，根据输入电平，对第3亮度区域内、主要区域内以及第2亮度区域内的像素分配规定的灰度的输出电平。并且，第3亮度区域和主要区域之间的亮度范围、以及主要区域和第2亮度区域之间的亮度范围的像素，以比对主要区域等分配的等级数少的等级数，分配与输入电平对应的输出电平。而且，对比第2亮度区域的亮度高的像素，分配成为对第2亮度区域的亮度范围分配的输出电平的最大值的输出电平。

并且，输出电平转换处理部165例如如图15C所示，能够相对于输入电平转换输出电平。即，输出电平转换处理部165例如将以第3亮度区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以主要区域的亮度的下限值为中心的规定的亮度范围设为区间β，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间γ，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间δ。而且，亮度的输入电平比第3亮度区域低的像素与输入电平无关，输出电平为0(即、漆黑)。根据输入电平，对第3亮度区域内且区间α以外的像素、主要区域亮度的范围内且区间β或区间γ以外的像素、以及第2亮度区域的范围内且区间δ以外的像素，分配规定的灰度的输出电平。并且，对在区间α、区间β、区间γ和区间δ的像素，分配比对主要区域亮度范围等内且区间α～区间δ以外的部分分配的等级数少的等级数的规定的灰度的输出电平。而且，对比第2亮度区域的亮度高的像素，分配成为对第2亮度区域分配的输出电平的最大值的输出电平。

另外，在图15C中，将以第3亮度区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以主要区域的亮度的下限值为中心的规定的亮度范围设为区间β，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间γ，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间δ，但是，例如也可以将第3亮度区域内的上限侧的规定的亮度范围设为区间α，将主要区域内的下限侧的规定的亮度范围设为区间β，将主要区域内的上限侧的规定的亮度范围设为区间γ，将第2亮度区域内的下限侧的规定的亮度范围设为区间δ，或者，将比第3亮度区域的上限的亮度高的规定的亮度范围设为区间α，将比主要区域的下限的亮度低的规定的亮度范围设为区间β，将比主要区域的上限的亮度高的规定的亮度范围设为区间γ，比第2亮度区域的下限的亮度低的规定的亮度范围设为区间δ。进而，还可以设定如下的区域：在第3亮度区域的亮度的下限侧和第2亮度区域的亮度的上限侧，分配与区间α～区间δ相同的输出电平的等级数。

并且，在图15中，说明了在比第3亮度区域的亮度低以及比第2亮度区域亮度高的范围中不分配输出电平的等级数(灰度等级数)的情况。与此相对，输出电平转换处理部165例如与使用图7说明的情况同样，也可以在比第3亮度区域的亮度低以及比第2亮度区域亮度高的范围中，分配比主要区域、第2亮度区域和第3亮度区域少的等级数。

进而，输出电平转换处理部165例如也可以决定对各个亮度区域分配的灰度等级数，以使与主要区域、第2亮度区域和第3亮度区域中的输出电平相对于输入电平的比率(直线的斜率)相比，这些区域以外的亮度范围中的输出电平相对于输入电平的比率低。

接着，使用图16说明输入信号、输出电平转换处理部165进行的灰度转换后的信号以及所显示的信号的亮度电平。

图16A是表示进行使用图15A说明的灰度转换时的输入信号、输出电平转换处理部165进行的灰度转换后的信号、以及为了显示或印刷等而输出的信号的亮度电平的图。在图16A所示的情况下，在充分赋予了离散的亮度范围、即主要区域、第2亮度区域和第3亮度区域的信号的亮度灰度宽度的状态下，转换为连续的亮度灰度。第3亮度区域和主要区域之间的亮度范围的像素全部以第3亮度区域的最大输出电平输出，主要区域和第2亮度区域之间的亮度范围的像素全部以主要区域的最大输出电平输出。而且，根据显示或印刷输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。

图16B是表示进行使用图15B说明的灰度转换时的输入信号、输出电平转换处理部165进行的灰度转换后的信号、以及为了显示或印刷等而输出的信号的亮度电平的图。在图16B所示的情况下，在第3亮度区域和主要区域之间、以及主要区域和第2亮度区域之间的区域，仅赋予比主要区域、第2亮度区域和第3亮度区域的等级数少的等级数的灰度。因此，虽然转换后的信号的亮度的灰度数相比输入信号大幅压缩了第3亮度区域和主要区域之间、以及主要区域和第2亮度区域之间的区域的等级数少的部分，但是，也能充分赋予主要区域、第2亮度区域和第3亮度区域的信号的亮度灰度宽度。而且，根据显示或印刷输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。

图16C是表示进行使用图15C说明的灰度转换时的输入信号、输出电平转换处理部165进行的灰度转换后的信号、以及为了显示或印刷等而输出的信号的亮度电平的图。在图16C所示的情况下，在主要区域、第2亮度区域、第3亮度区域以及它们之间的区域中，通过上述的区间α～区间δ，使所分配的亮度的灰度等级数平稳地变化，即，在区间α～区间δ中，赋予比主要区域、第2亮度区域和第3亮度区域的区间α～区间δ以外的部分的等级数少的等级数的灰度。因此，在对主要区域、第2亮度区域和第3亮度区域赋予充分的亮度灰度宽度的状态下，在转换后的信号中，亮度的灰度数相比输入信号大幅压缩。而且，根据显示或印刷输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。

下面，参照图17的流程图，说明在包含图14的图像生成部93-2的图像处理装置81中执行的图像显示处理2。

在步骤S31中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-2。图像生成部93-2取得所拍摄的图像信号。

在步骤S32中，图像生成部93-2的平均亮度计算部131求出所拍摄的图像整体的平均亮度，将计算结果提供给主要区域亮度范围设定部132。

在步骤S33中，主要区域亮度范围设定部132根据从平均亮度计算部131提供的图像整体的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给输出电平转换处理部165、高亮度区域亮度平均值计算部161和低亮度区域亮度平均值计算部163。

主要区域亮度范围设定部132例如可以将以图像信号的平均亮度为中心的规定亮度范围作为主要区域的亮度范围，也可以以图像信号的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为主要区域的亮度范围。

在步骤S34中，高亮度区域亮度平均值计算部161求出从摄像部91提供的图像信号中、比主要区域亮度范围设定部132所设定的主要区域的亮度范围明亮的区域的平均亮度，将其结果提供给高亮度区域亮度范围设定部162。

在步骤S35中，高亮度区域亮度范围设定部162根据比从高亮度区域亮度平均值计算部161提供的主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围，并将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部165。

高亮度区域亮度范围设定部162例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定亮度范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第2亮度区域的亮度范围。

在步骤S36中，低亮度区域亮度平均值计算部163求出从摄像部91提供的图像信号中、比主要区域亮度范围设定部132所设定的主要区域的亮度范围暗淡的区域的平均亮度，将其结果提供给低亮度区域亮度范围设定部164。

在步骤S37中，低亮度区域亮度范围设定部164根据比从低亮度区域亮度平均值计算部163提供的主要区域的亮度范围暗淡的区域的平均亮度，设定第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给输出电平转换处理部165。

低亮度区域亮度范围设定部164例如可以将以比主要区域的亮度范围的亮度低的范围的像素的平均亮度为中心的规定亮度范围作为第3亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度低的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第3亮度区域的亮度范围。

在步骤S38中，输出电平转换处理部165根据主要区域亮度范围设定部132所设定的主要区域的亮度范围、高亮度区域亮度范围设定部162所设定的第2亮度区域的亮度范围以及低亮度区域亮度范围设定部164所设定的第3亮度区域的亮度范围，决定例如使用图15说明的输入电平和输出电平的转换特性。

在步骤S39中，输出电平转换处理部165根据在步骤S39中所决定的转换特性，转换从摄像部91提供的所拍摄的图像的灰度，并提供给显示控制部94。

在步骤S40中，如使用图16说明的那样，显示控制部94将所提供的图像信号转换为适合于显示元件的灰度。

在步骤S41中，显示控制部94将转换为适合于显示元件的灰度的图像信号提供给显示器82，控制图像的显示，结束处理。

另外，这里说明了在显示器82上显示所生成的图像的处理，但在经由输出控制部95将所生成的图像输出到未图示的外部设备的情况下，在步骤S31～步骤S39中执行基本相同的处理，将图像信号提供给输出控制部95，转换为在输出目的地的设备中可处理的灰度来控制输出。

通过这种处理，在使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据中，即使在宽亮度范围特别是与主要亮度范围离散的高亮度和低亮度的区域都存在用户需要的图像信息的情况下，在以与显示器82对应的灰度来显示这种图像，或以与输出目的地的外部设备对应的灰度输出时，也能够生成如下的图像数据：能够显示或印刷输出为用户可识别的状态下。

对于包含图14的图像生成部93-2的图像处理装置81所显示的图像，具体而言，例如如图18所示，所拍摄的图像的很大部分是路面，在视角中包含比该路面的亮度高很多的高亮度的天空部分，进而视角中还包含比该路面的亮度低很多的低亮度的穿着黑套装的人的情况下，在与路面、天空和穿着黑套装的人分别对应的亮度附近，分配多个灰度等级数。因此，通过使用包含图14的图像生成部93-2的图像处理装置81，虽然显示或拍摄了天空部分产生白斑而难以识别的图像，但是能够防止产生黑斑地显示穿着黑套装的人而使用户难以判别的情况。

进而，同样，对于包含图14的图像生成部93-2的图像处理装置81所显示的图像，具体而言，例如如图19所示，所拍摄的图像的很大部分是隧道内暗淡的路面，在视角中包含比该路面的亮度稍微高一些的高亮度的隧道内的白色墙壁，和亮度高很多的高亮度的隧道外的部分，进而，视角中还包含比该隧道内的路面的亮度低很多的低亮度的隧道内黑色的车的情况下，在与隧道内的路面、隧道的墙壁和隧道的外面、以及隧道内黑色的车分别对应的亮度附近，分配多个灰度等级数。通过使用包含图14的图像生成部93-2的图像处理装置81，虽然显示或拍摄了隧道外的部分产生白斑而难以识别的图像，但是能够防止产生黑斑地显示隧道内黑色的车而使用户难以判别的情况。

进而，在图像生成部93中，还可以设定3个以上的区域，使对所设定的区域和没有设定的区域分配的灰度等级数不同。

接着，图20是表示图2的图像生成部93的结构的第3例、即图像生成部93-3的结构的框图。图像生成部93-3除了主要区域的亮度范围以外，还设定多个亮度区域和它们的亮度范围，对所设定的多个亮度范围分配比没有设定的亮度范围多的灰度等级数。

另外，对与图5的情况相对应的部分赋予同一符号，并适当省略其说明。

即，图20的图像生成部93-3具有与使用图5说明的图像生成部93-1基本相同的平均亮度计算部131和主要区域亮度范围设定部132，省略了图像生成部93-1的第2亮度区域亮度平均值计算部133和第2亮度区域亮度范围设定部134，新设置了第2亮度区域亮度平均值计算部181、第2亮度区域亮度范围设定部182、第3亮度区域亮度平均值计算部183、第3亮度区域亮度范围设定部184、第4亮度区域亮度平均值计算部185和第4亮度区域亮度范围设定部186，并且代替输出电平转换处理部135而设有输出电平转换处理部187。

第2亮度区域亮度平均值计算部181计算从摄像部91提供的图像信号中、具有主要区域亮度范围设定部132所设定的主要区域的亮度范围以外的规定范围(例如，进一步对比主要区域的亮度范围的亮度高的范围进行二分割，其最高亮度的部分等)中所包含的亮度的像素的平均亮度，并将计算结果提供给第2亮度区域亮度范围设定部182。

第2亮度区域亮度范围设定部182根据从第2亮度区域亮度平均值计算部181提供的具有主要区域以外的规定范围中所包含的亮度的像素的平均亮度，设定第2亮度区域的亮度范围，并将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部187。

第2亮度区域亮度范围设定部182例如可以将以具有规定范围的亮度的像素的平均亮度为中心的规定亮度的范围作为第2亮度区域的亮度范围，也可以以具有规定范围的亮度的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第2亮度区域的亮度范围。

第3亮度区域亮度平均值计算部183计算从摄像部91提供的图像信号中、具有主要区域亮度范围设定部132所设定的主要区域的亮度范围以外的规定范围(例如，进一步对比主要区域的亮度范围的亮度高的范围进行二分割，二分割后的低亮度的部分等)中所包含的亮度的像素的平均亮度，并将计算结果提供给第3亮度区域亮度范围设定部184。

第3亮度区域亮度范围设定部184根据从第3亮度区域亮度平均值计算部183提供的具有主要区域以外的规定范围中所包含的亮度的像素的平均亮度，设定第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给输出电平转换处理部187。

第3亮度区域亮度范围设定部184例如可以将以具有规定范围的亮度的像素的平均亮度为中心的规定亮度的范围作为第3亮度区域的亮度范围，也可以以具有规定范围的亮度的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第3亮度区域的亮度范围。

第4亮度区域亮度平均值计算部185计算从摄像部91提供的图像信号中、具有主要区域亮度范围设定部132所设定的主要区域的亮度范围以外的规定范围(例如，进一步对比主要区域的亮度范围的亮度低的范围进行二分割，二分割后的低亮度的部分等)中所包含的亮度的像素的平均亮度，并将计算结果提供给第4亮度区域亮度范围设定部186。

第4亮度区域亮度范围设定部186根据从第4亮度区域亮度平均值计算部185提供的具有主要区域以外的规定范围中所包含的亮度的像素的平均亮度，设定第4亮度区域的亮度范围，将所设定的第4亮度区域的亮度范围提供给输出电平转换处理部187。

第4亮度区域亮度范围设定部186例如可以将以具有规定范围的亮度的像素的平均亮度为中心的规定亮度的范围作为第4亮度区域的亮度范围，也可以以具有规定范围的亮度的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第4亮度区域的亮度范围。

输出电平转换处理部187取得从摄像部91提供的图像信号，根据从主要区域亮度范围设定部132提供的主要区域的亮度范围、从第2亮度区域亮度范围设定部182提供的第2亮度区域的亮度范围、从第3亮度区域亮度范围设定部184提供的第3亮度区域的亮度范围、以及从第4亮度区域亮度范围设定部186提供的第4亮度区域的亮度范围的信息，转换所取得的图像信号的输出电平。

输出电平转换处理部187对所输入的亮度信号的电平分配规定等级数的输出电平信号(以规定的灰度等级数分配亮度时的各个亮度灰度电平的信号)，输出所分配的输出电平的信号。与例如使用图6、图7或图15说明的情况同样，输出电平转换处理部187使输出电平信号的亮度灰度电平的分配，在设定为主要区域和其他区域的亮度范围以及除此之外的范围中不同。即，输出电平转换处理部187对设定为主要区域和其他区域的亮度范围分配更多的输出电平的等级数，执行使对应的亮度范围的像素的灰度数变多、用户能够更好地识别显示或印刷输出的图像中相对应的亮度范围的部分的转换处理。

另外，在图20中除了主要区域以外，还示出了用于设定第2～第4亮度区域的第2亮度区域亮度平均值计算部181、第2亮度区域亮度范围设定部182、第3亮度区域亮度平均值计算部183、第3亮度区域亮度范围设定部184、第4亮度区域亮度平均值计算部185和第4亮度区域亮度范围设定部186，但是，也可以设置其他的亮度区域亮度平均值计算部和亮度区域亮度范围设定部，以使图像生成部93-3能够设定更多的亮度区域。

并且，图20的图像生成部93-3执行的处理与使用图17说明的图像显示处理2的处理基本相同，因为与增加了所设定的区域数的情况相对应，所以省略其说明。

以上说明的图像生成部93-1～图像生成部93-3根据所拍摄的图像整体亮度的平均值，设定主要区域。与此相对，也可以根据所拍摄的图像中预先确定的区域中包含的像素的亮度的平均值，设定主要区域。

图21是表示图2的图像生成部93的结构的第4例、即图像生成部93-4的结构的框图。图像生成部93-4切出所拍摄的图像中预先确定的区域中包含的像素，根据所切出的区域的亮度的平均值，设定主要区域。

另外，对与图5的情况相对应的部分赋予同一符号，并适当省略其说明。

即，图21的图像生成部93-4除了代替平均亮度计算部131而设置主要区域切出部201和主要区域亮度平均值计算部202以外，具有与图5的图像生成部93-1基本相同的结构。

主要区域切出部201取得从摄像部91提供的图像信号，切出所取得的图像信号中预先设定的图像区域，将所切出的区域的像素提供给主要区域亮度平均值计算部202。

例如，在拍摄行驶中的车辆前面的图像并在显示器上显示所拍摄的图像的情况下，在行驶中拍摄并显示的图像始终发生变化。如上所述，使用在行驶的车中所拍摄的图像整体的平均值来设定主要区域的情况下，极端明亮的部分和极端暗淡的部分进入视角内时，主要区域的亮度范围发生改变，所显示的图像整体的明亮度发生改变。由此，频繁改变占据显示画面的主要部分的路面等的明亮度，驾驶者感知的显示图像的明亮度可能闪烁。

所以，如图22所示，将主要区域切出部201所切出的图像的区域作为认为是始终拍摄路面的、例如画面中央偏左的靠近下部的区域221。通过将所切出的区域作为认为是始终拍摄相同部分的区域，能够使所显示的图像中占据主要部分的路面的显示的明亮度大致恒定，所以能够防止驾驶者感知的显示图像的明亮度频繁闪烁。

主要区域亮度平均值计算部202计算从主要区域切出部201提供的、所切出的区域的像素的平均亮度，将平均亮度的计算结果提供给主要区域亮度范围设定部132。

然后，在图21的图像生成部93-4中，根据主要区域亮度平均值计算部202所计算的、所切出的区域的平均亮度设定主要区域的亮度范围，根据主要区域的亮度范围，设定比主要区域的亮度范围的亮度高的范围的第2亮度区域的亮度范围。然后，通过输出电平转换处理部135，对设定为主要区域和第2亮度区域的亮度范围分配更多的输出电平的等级，与使用图6～图8说明的情况同样，执行使对应的亮度范围的像素的灰度数变多、用户能够更好地识别显示或印刷输出的图像中相对应的亮度范围的部分的转换处理。

下面，参照图23的流程图，说明在使用图21的图像生成部93-4的图像处理装置81中执行的图像显示处理3。

在步骤S71中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-4。图像生成部93-4取得所拍摄的图像信号。

在步骤S72中，图像生成部93-4的主要区域切出部201切出从摄像部91提供的图像信号中、例如使用图22说明的预先设定的图像区域，将所切出的区域的像素提供给主要区域亮度平均值计算部202。

在步骤S73中，主要区域亮度平均值计算部202计算从主要区域切出部201提供的、所切出的区域的像素的平均亮度，将计算结果提供给主要区域亮度范围设定部132。

在步骤S74中，主要区域亮度范围设定部132根据从主要区域亮度平均值计算部202提供的、所切出的区域的像素的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给第2亮度区域亮度平均值计算部133和输出电平转换处理部135。

然后，在步骤S75～步骤S80中，执行与图9的步骤S2～步骤S9基本相同的处理。

即，第2亮度区域亮度平均值计算部133求出从摄像部91提供的图像信号中比主要区域的亮度范围明亮的区域的平均亮度，第2亮度区域亮度范围设定部134根据比主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围。

然后，输出电平转换处理部135根据主要区域亮度范围以及第2亮度区域的亮度范围，决定例如使用图6或图7说明的输入电平和输出电平的转换特性，根据转换特性，转换从摄像部91提供的摄像图像的灰度，提供给显示控制部94。如使用图8说明的那样，显示控制部94将所提供的图像信号转换为适合于显示元件的灰度，将所转换的图像信号提供给显示器82，控制图像的显示，处理结束。

另外，这里说明了在显示器82上显示所生成的图像的处理，但在经由输出控制部95将所生成的图像输出到未图示的外部设备的情况下，在步骤S71～步骤S78中执行基本相同的处理，将图像信号提供给输出控制部95，转换为在输出目的地的设备中可处理的灰度来控制输出。

通过这种处理，即使在希望以与显示器82对应的灰度来显示使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据时，或希望以与输出目的地的外部设备对应的灰度输出时，也能够生成如下的图像数据：能够将分散存在于宽亮度范围中的用户需要的图像信息显示或印刷输出为用户可识别的状态。进而，因为以规定的区域为基准，对分配多个灰度等级的亮度范围进行设定，所以特别能够防止显示动态图像时，显示图像的明亮度频繁闪烁。

对以上说明的图像生成部93-4切出所拍摄的图像内的规定区域，根据所切出的区域的像素，设定主要区域的亮度范围，对主要区域的亮度范围、和比主要区域的亮度范围的亮度高的范围中的主要部分、即第2亮度区域的亮度范围，分配多个灰度等级数的情况进行了说明。与此相对，对所设定的亮度范围不是主要区域的亮度范围和第2亮度区域的亮度范围这两者的情况进行说明。

接着，图24是表示图2的图像生成部93的结构的第5例、即图像生成部93-5的结构的框图。图像生成部93-5切出所拍摄的图像内的规定区域，根据所切出的区域的像素设定主要区域的亮度范围，图像生成部93-5设定3个亮度区域，即除了主要区域的亮度范围以外，还设定比主要区域的亮度范围的亮度高的范围中的主要部分、即第2亮度区域的亮度范围、以及比主要区域的亮度范围的亮度低的范围中的主要部分、即第3亮度区域的亮度范围，对所设定的3个亮度区域分配多个灰度等级数。

另外，对与图14或图21的情况相对应的部分赋予同一符号，并适当省略其说明。

即，图24的图像生成部93-5具有与使用图21说明时相同的主要区域切出部201和主要区域亮度平均值计算部202，并且具有与使用图14说明时相同的主要区域亮度范围设定部132、高亮度区域亮度平均值计算部161、高亮度区域亮度范围设定部162、低亮度区域亮度平均值计算部163、低亮度区域亮度范围设定部164和输出电平转换处理部165。

图24的图像生成部93-5与使用图21说明的图像生成部93-4同样，切出所拍摄的图像内的规定区域，根据所切出的区域的像素设定主要区域的亮度范围，并且，与使用图14说明的图像生成部93-2同样，设定3个亮度区域，即除了主要区域的亮度范围以外，还设定比主要区域的亮度范围的亮度高的范围中的主要部分、即第2亮度区域的亮度范围、以及比主要区域的亮度范围的亮度低的范围中的主要部分、即第3亮度区域的亮度范围，对所设定的3个亮度区域分配多个灰度等级数。

具体而言，在所拍摄的图像内存在比图像整体的明亮度极端暗淡的部分的情况下，例如，在视角内包含夜间、穿着黑衣服的行人的情况等，希望清楚地显示用户肉眼难以确认的被摄体。特别地，如上所述，在拍摄行驶中的车辆前面的图像，并在显示器上显示所拍摄的图像的情况下，希望根据以宽动态范围拍摄的摄像图像信号，生成能够使驾驶者清楚地识别在夜间穿着黑衣服的行人的显示图像。因此，将所切出的区域作为通过周边的明亮度改变反射光量、并认为是始终拍摄相同部分的区域，由此防止画面闪烁，并能够以驾驶者容易识别的状态来显示驾驶者需要的信息。

参照图25的流程图，说明在包含图24的图像生成部93-5的图像处理装置81中执行的图像显示处理4。

在步骤S101～步骤S103中，执行与图23的步骤S71～步骤S73基本相同的处理。

即，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-5。图像生成部93-5取得所拍摄的图像信号。图像生成部93-5的主要区域切出部201切出从摄像部91提供的图像信号中、例如使用图22说明的预先设定的图像区域，将所切出的区域的像素提供给主要区域亮度平均值计算部202。主要区域亮度平均值计算部202计算从主要区域切出部201提供的、所切出的区域的像素的平均亮度，将计算结果提供给主要区域亮度范围设定部132。

在步骤S104中，主要区域亮度范围设定部132根据从主要区域亮度平均值计算部202提供的、所切出的区域的像素的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给输出电平转换处理部165、高亮度区域亮度平均值计算部161和低亮度区域亮度平均值计算部163。

然后，在步骤S105～步骤S112中，执行与图17的步骤S34～步骤S41基本相同的处理。

即，高亮度区域亮度平均值计算部161求出从摄像部91提供的图像信号中、比主要区域的亮度范围明亮的区域的平均亮度，高亮度区域亮度范围设定部162根据比主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部165。

然后，低亮度区域亮度平均值计算部163求出从摄像部91提供的图像信号中、比主要区域的亮度范围暗淡的区域的平均亮度，低亮度区域亮度范围设定部164根据比主要区域的亮度范围暗淡的区域的平均亮度，设定第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给输出电平转换处理部165。

然后，输出电平转换处理部165根据所设定的主要区域的亮度范围、第2亮度区域的亮度范围以及第3亮度区域的亮度范围，决定例如使用图15说明的输入电平和输出电平的转换特性，根据所决定的转换特性，转换从摄像部91提供的所拍摄的图像的灰度，并提供给显示控制部94。如使用图16说明的那样，显示控制部94将所提供的图像信号转换为适合于显示元件的灰度，将转换为适合于显示元件的灰度的图像信号提供给显示器82，控制图像的显示，结束处理。

另外，这里也对在显示器82上显示所生成的图像的处理进行了说明，但在经由输出控制部95将所生成的图像输出到未图示的外部设备的情况下，在步骤S101～步骤S110中执行基本相同的处理，将图像信号提供给输出控制部95，转换为在输出目的地的设备中可处理的灰度来控制输出。

通过这种处理，在使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据中，即使在宽亮度范围特别是与主要亮度范围离散的高亮度和低亮度的区域都存在用户需要的图像信息的情况下，在以与显示器82对应的灰度来显示这种图像，或以与输出目的地的外部设备对应的灰度输出时，也能够生成如下的图像数据：能够显示或印刷输出为用户可识别的状态。进而，因为以规定的区域为基准，设定分配了多个灰度的3个亮度范围，所以特别能够防止显示动态图像时，显示图像的明亮度频繁闪烁。

进而，在图像生成部93中，还可以切出所拍摄的图像内的规定区域，根据所切出的区域的像素，设定3个以上的区域。而且，图像生成部93能够使对所设定的区域和没有设定的区域分配的灰度等级数不同。

接着，图26是表示图2的图像生成部93的结构的第6例、即图像生成部93-6的结构的框图。图像生成部93-6切出所拍摄的图像内的规定区域，根据所切出的区域的像素，设定主要区域的亮度范围，除了主要区域的亮度范围以外，还设定多个亮度区域对应的亮度范围，对所设定的多个亮度范围分配比设定范围以外多的灰度等级数。

另外，对与图20或图21的情况相对应的部分赋予同一符号，并适当省略其说明。

即，图26的图像生成部93-6设有与使用图21说明时相同的主要区域切出部201和主要区域亮度平均值计算部202，并且具有与使用图20说明时相同的主要区域亮度范围设定部132、第2亮度区域亮度平均值计算部181、第2亮度区域亮度范围设定部182、第3亮度区域亮度平均值计算部183、第3亮度区域亮度范围设定部184、第4亮度区域亮度平均值计算部185、第4亮度区域亮度范围设定部186和输出电平转换处理部187。

图26的图像生成部93-6与使用图21说明的图像生成部93-4同样，切出所拍摄的图像内的规定区域，根据所切出的区域的像素设定主要区域的亮度范围，并且，与使用图20说明的图像生成部93-3同样，除了主要区域的亮度范围以外，还设定多个亮度区域的各个的亮度范围，对所设定的多个亮度范围分配比设定范围以外多的灰度等级数。

另外，在图26中除了主要区域以外，还示出了用于设定第2～第4亮度区域的第2亮度区域亮度平均值计算部181、第2亮度区域亮度范围设定部182、第3亮度区域亮度平均值计算部183、第3亮度区域亮度范围设定部184、第4亮度区域亮度平均值计算部185和第4亮度区域亮度范围设定部186，但是，也可以在图像生成部93-3中设置其他的亮度区域亮度平均值计算部和亮度区域亮度范围设定部，使得能够设定更多的亮度区域。

并且，图26的图像生成部93-6执行的处理与使用图25说明的图像显示处理4的处理基本相同，因为与增加了所设定的区域数的情况相对应，所以省略其说明。

以上说明的图像生成部93-1～图像生成部93-6根据所拍摄的图像整体或规定部分的亮度的平均值，设定主要区域。与此相对，也可以制作表示所拍摄的图像中包含的像素的亮度值的分布的柱状图并对其进行解析，来设定多个亮度范围，对所设定的亮度范围，分配比设定范围以外多的灰度等级数。

图27是表示图2的图像生成部93的结构的第7例、即图像生成部93-7的结构的框图。图像生成部93-7对所拍摄的图像的各像素的亮度值的柱状图进行解析，根据解析结果，设定多个亮度范围。

图像生成部93-7由柱状图解析部251、阈值比较处理部252、多阶段亮度范围设定部253以及输出电平转换处理部254构成。

柱状图解析部251取得从摄像部91提供的图像信号，根据所取得的图像信号，生成表示所拍摄的图像的各像素的亮度值的分布的柱状图并对其进行解析，将解析结果提供给阈值比较处理部252。

阈值比较处理部252根据从柱状图解析部251提供的柱状图的解析结果，将与输入信号的各个亮度值对应的像素数与规定的阈值进行比较。换言之，阈值比较处理部252提取所拍摄的图像的亮度范围中具有一定数以上的像素数的部分。阈值比较处理部252将表示与阈值比较的结果为判断为像素数在阈值以上的亮度值的信息提供给多阶段亮度范围设定部253。

这里，阈值可以是通过实验或经验所求出而预先设定的值，也可以是由用户适当设定的值。在阈值设定得过低的情况下，因为大部分信息残留，所以，所获得的图像例如使用图10说明的、对使用对数转换型摄像元件102拍摄的宽动态范围的图像没有使用图像处理装置81进行处理时的显示图像那样，成为没有浓淡差异(没有轮廓)的图像。另一方面，在阈值设定得过高的情况下，信息的漏取变多，可能成为仅鲜明地显示一部分的亮度范围的图像。

多阶段亮度范围设定部253根据从阈值比较处理部252提供的判断为像素数在阈值以上的亮度值，设定多个分配比设定范围以外多的灰度等级数的亮度范围，将所设定的亮度范围提供给输出电平转换处理部254。多阶段亮度范围设定部253所设定的亮度范围数由从阈值比较处理部252提供的比较结果来决定，但是例如也可以预先决定该数的上限。

输出电平转换处理部254取得从摄像部91提供的图像信号，根据从多阶段亮度范围设定部253提供的所设定的亮度范围的信息，例如与使用图6、图7或图15说明的情况基本相同，转换所取得的图像信号的输出电平，以使分配给所设定的亮度区域的输出电平信号的亮度灰度电平的等级数，比分配给除此之外的亮度区域的输出电平信号的亮度灰度电平的等级数多。

具体而言，在图像生成部93-7中，如图28所示，通过柱状图解析部251对表示所拍摄的图像的各像素的亮度值的分布的柱状图进行解析，在阈值比较处理部252中与阈值进行比较，提取出在同一图像内(1帧内)具有阈值以上的像素数的亮度。然后，根据所提取的亮度，在多阶段亮度范围设定部253中设定多个亮度范围，在输出电平转换处理部254中求出输出电平相对于输入电平的转换特性，以使对该范围内优先分配灰度等级数，所以，能够充分赋予所设定亮度范围的各个亮度灰度宽度。而且，在显示控制部94或输出控制部95中，根据显示或印刷输出的条件，对转换后的信号进行灰度转换(灰度数压缩)，并为了显示或印刷等而输出。

下面，参照图29的流程图，说明在使用图27的图像生成部93-7的图像处理装置81中执行的图像显示处理5。

在步骤S141中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-7。图像生成部93-7取得所拍摄的图像信号。

在步骤S142中，图像生成部93-7的柱状图解析部251根据从摄像部91提供的图像信号，生成表示所拍摄的图像的各像素的亮度的分布的柱状图并对其进行解析，将解析结果提供给阈值比较处理部252。

在步骤S143中，阈值比较处理部252根据从柱状图解析部251提供的柱状图的解析结果，将与各个输入信号的亮度值对应的像素数与规定的阈值进行比较。阈值比较处理部252将表示与阈值比较的结果为判断为像素数在阈值以上的亮度值的信息提供给多阶段亮度范围设定部253。

在步骤S144中，多阶段亮度范围设定部253根据从阈值比较处理部252提供的被判断为在阈值以上的亮度值，设定多个分配比设定范围以外多的灰度等级数的亮度范围，将所设定的亮度范围提供给输出电平转换处理部254。

在步骤S145中，输出电平转换处理部254根据从多阶段亮度范围设定部253提供的所设定的亮度范围的信息，例如与使用图6、图7或图15说明的情况基本相同，决定输入电平和输出电平的转换特性。

在步骤S146中，输出电平转换处理部254根据输入电平和输出电平的转换特性，转换从摄像部91提供的图像信号的输出电平，以使分配给所设定的多个亮度范围的输出电平信号的亮度灰度电平的等级数，比分配给除此之外的亮度范围的输出电平信号的亮度灰度电平的等级数多，并将其提供给显示控制部94。

在步骤S147中，如使用图28说明的那样，显示控制部94将所提供的图像信号转换为适合于显示元件的灰度。

在步骤S148中，显示控制部94将转换为适合于显示元件的灰度的图像信号提供给显示器82，控制图像的显示，结束处理。

另外，这里也对在显示器82上显示所生成的图像的处理进行了说明，但在经由输出控制部95将所生成的图像输出到未图示的外部设备的情况下，在步骤S141～步骤S146中执行基本相同的处理，将图像信号提供给输出控制部95，转换为在输出目的地的设备中可处理的灰度来控制输出。

通过这种处理，在使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据中，即使在宽亮度范围内离散地存在用户需要的图像信息的情况下，通过采用使用了图27的图像生成部93-7的图像处理装置81对图像进行处理，即使以与显示器82对应的灰度来显示已处理的图像，或以与输出目的地的外部设备对应的灰度输出时，也能够显示或印刷输出为用户可识别的状态。

在以上说明的图像生成部93-1～图像生成部93-7中，根据所拍摄的图像来设定分配多个灰度等级数的亮度区域。与此相对，也可以预先决定分配多个灰度等级数的亮度区域。例如，通过使所拍摄的图像的视角固定，或对被摄体照射一定的照明等，预先知道所拍摄的图像中与用户需要的图像信息相对应的像素的亮度区域时，能够预先决定分配多个灰度等级数的亮度区域。由此，能够简化处理，降低装置的成本。

图30是表示图2的图像生成部93的结构的第8例、即图像生成部93-8的结构的框图。图像生成部93-8用于预先决定分配多个灰度等级数的亮度区域的情况。

第1亮度区域亮度范围设定部281从操作输入部92接受第1亮度区域的亮度范围的设定值的输入，将第1亮度范围的设定值提供给输出电平转换处理部187。

第2亮度区域亮度范围设定部282从操作输入部92接受第2亮度区域的亮度范围的设定值的输入，将第2亮度区域的亮度范围的设定值提供给输出电平转换处理部187。

第3亮度区域亮度范围设定部283从操作输入部92接受第3亮度区域的亮度范围的设定值的输入，将第3亮度区域的亮度范围的设定值提供给输出电平转换处理部187。

输出电平转换处理部187执行与图20的图像生成部93-3的情况基本相同的处理，根据所设定的多个亮度范围，取得从摄像部91提供的图像信号，并转换其输出电平。即，输出电平转换处理部187根据从第1亮度区域亮度范围设定部281提供的第1亮度范围、从第2亮度区域亮度范围设定部282提供的第2亮度区域的亮度范围、以及从第3亮度区域亮度范围设定部283提供的第3亮度区域的亮度范围的信息，转换从摄像部91提供的图像信号的输出电平。

另外，在图30中示出了用于设定第1～第3亮度区域的亮度范围的第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282、以及第3亮度区域亮度范围设定部283，但是，也可以在图像生成部93-8中设置其他的亮度区域亮度范围设定部，使得能够设定更多的亮度区域的亮度范围。

下面，参照图31的流程图，对在使用了图30的图像生成部93-8的图像处理装置81中执行的图像显示处理6进行说明。

在步骤S171中，操作输入部92从用户接受多个亮度范围的设定值的输入，将所输入的设定值提供给图像生成部93-8。

在步骤S172中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-8。图像生成部93-8取得所拍摄的图像信号。

在步骤S173中，图像生成部93-8的第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282以及第3亮度区域亮度范围设定部283取得从操作输入部92提供的多个亮度范围的设定值，并将其提供给输出电平转换处理部187。

在步骤S174中，输出电平转换处理部187根据从第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282以及第3亮度区域亮度范围设定部283提供的多个亮度范围的设定值，决定例如使用图6、图7或图15说明的输入电平和输出电平的转换特性。

在步骤S175中，输出电平转换处理部187根据在步骤S174中决定的转换特性，转换从摄像部91提供的摄像图像的灰度，并将其提供给显示控制部94。

在步骤S176中，如使用图8或图16说明的那样，显示控制部94将所提供的图像信号转换为适合于显示元件的灰度。

在步骤S177中，显示控制部94将转换为适合于显示元件的灰度的图像信号提供给显示器82，控制图像的显示，结束处理。

另外，这里也对在显示器82上显示所生成的图像的处理进行了说明，但在经由输出控制部95将所生成的图像输出到未图示的外部设备的情况下，在步骤S171～步骤S175中执行基本相同的处理，将图像信号提供给输出控制部95，转换为在输出目的地的设备中可处理的灰度来控制输出。

通过这种处理，即使在希望以与显示器82对应的灰度来显示使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据时，或希望以与输出目的地的外部设备对应的灰度输出时，如果预先知道与用户需要的图像信息相对应的像素的亮度区域，则预先决定分配多个灰度等级数的亮度区域，由此能够以简单的处理生成如下的图像数据：能够将用户需要的图像信息显示或印刷输出为用户可识别的状态。进而还能够降低装置的成本。

并且，也可以在预先确定的亮度区域中，对表示所拍摄的图像中包含的像素的亮度值的分布的柱状图进行解析，提取出在所确定的亮度范围中具有一定数以上的像素数的亮度，根据提取结果，确定分配了多个灰度等级数的亮度区域。

图32是表示图2的图像生成部93的结构的第9例、即图像生成部93-9的结构的框图。图像生成部93-9在预先确定的亮度区域中，提取出通过柱状图解析具有一定数以上的像素数的亮度，根据提取结果，确定分配了多个灰度等级数的亮度区域。

另外，对与图27或图30的情况相对应的部分赋予同一符号，并适当省略其说明。

即，图32的图像生成部93-9具有使用图30说明的图像生成部93-8的第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282、第3亮度区域亮度范围设定部283以及输出电平转换处理部187。进而，在图像生成部93-9中，为了根据从第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282、第3亮度区域亮度范围设定部283输出的亮度范围的设定值，来解析柱状图并与规定阈值进行比较，还设有柱状图解析部251-1～251-3以及阈值比较处理部252-1～252-3，它们能够执行与使用图27说明的图像生成部93-7所具有的柱状图解析部251和阈值比较处理部252相同的处理。

具体而言，在图像生成部93-9中，如图33所示，在第1亮度区域亮度范围设定部281所设定的第1范围、在第2亮度区域亮度范围设定部282所设定的第2范围、和在第3亮度区域亮度范围设定部283所设定的第3范围中，分别通过柱状图解析部251-1～251-3对所拍摄的图像的各像素的亮度值的柱状图进行解析，在阈值比较处理部252-1～252-3中与阈值进行比较，提取具有规定阈值以上的像素数的亮度。

即，即使在第1范围、第2范围和第3范围以外的亮度范围中存在具有比阈值多的像素数的亮度，该亮度也不设定在优先分配灰度等级数的亮度范围中。

然后，在输出电平转换处理部187中，根据所提取的亮度，对该范围内的像素优先分配灰度等级数，在充分赋予了所设定的亮度范围的各个亮度灰度宽度的状态下，转换为连续的亮度灰度。而且，在显示控制部94或输出控制部95中，根据显示或印刷输出的条件，对转换后的信号进行灰度转换(灰度数压缩)，并为了显示或印刷等而输出。

例如，通过使所拍摄的图像的视角固定，或对被摄体照射一定的照明等，预先知道所拍摄的图像中与用户需要的图像信息相对应的像素的亮度区域，但是，例如在与用户需要的图像信息相对应的像素的亮度区域由于时间而变化为某种模式的情况下，即使是相同的亮度区域，有时也会出现以下情况：白天具有大量信息而傍晚几乎没有信息，或者傍晚和夜间具有大量信息，而早上和白天几乎没有信息。

在这种情况下，即使预先设定可能包含用户需要的图像信息的所有的亮度区域，通过执行柱状图解析和与阈值的比较，也能够避免对没有需要的信息的亮度区域，优先分配灰度等级数的情况。

下面，参照图34的流程图，对在使用了图32的图像生成部93-9的图像处理装置81中执行的图像显示处理7进行说明。

在步骤S201中，操作输入部92从用户接受多个亮度范围的设定值的输入，将所输入的设定值提供给图像生成部93-9。图像生成部93-9取得所拍摄的图像信号。

在步骤S202中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-9。

在步骤S203中，图像生成部93-9的第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282以及第3亮度区域亮度范围设定部283取得从操作输入部92提供的多个亮度范围的设定值，分别将其提供给柱状图解析部251-1～251-3。

在步骤S204中，柱状图解析部251-1～251-3根据从摄像部91提供的图像信号，如使用图33说明的那样，分别生成表示所拍摄的图像的第1～第3范围内的亮度值的分布的柱状图并对其进行解析，将解析结果提供给阈值比较处理部252-1～252-3。

在步骤S205中，阈值比较处理部252-1～252-3根据从柱状图解析部251-1～251-3提供的第1～第3范围内的柱状图的解析结果，将与各个输入信号的亮度值对应的像素数与规定的阈值进行比较。阈值比较处理部252-1～252-3将与阈值比较的结果为判断为像素数在阈值以上的亮度值提供给输出电平转换处理部187。

在步骤S206中，输出电平转换处理部187根据从阈值比较处理部252-1～252-3提供的亮度值，设定分配多个灰度等级数的亮度范围。

在步骤S207中，输出电平转换处理部187决定例如使用图6、图7或图15说明的输入电平和输出电平的转换特性。

在步骤S208中，输出电平转换处理部187根据在步骤S74中决定的转换特性，转换从摄像部91提供的摄像图像的灰度，并将其提供给显示控制部94。

在步骤S209中，例如使用图33说明的那样，显示控制部94将所提供的图像信号转换为适合于显示元件的灰度。

在步骤S210中，显示控制部94将转换为适合于显示元件的灰度的图像信号提供给显示器82，控制图像的显示，结束处理。

另外，这里也对在显示器82上显示所生成的图像的处理进行了说明，但在经由输出控制部95将所生成的图像输出到未图示的外部设备的情况下，在步骤S201～步骤S208中执行基本相同的处理，将图像信号提供给输出控制部95，转换为在输出目的地的设备中可处理的灰度来控制输出。

通过这种处理，例如，在与用户需要的图像信息相对应的像素的亮度区域由于时间而变化为某种模式的情况下，具体而言，在即使是相同的亮度区域，白天具有大量信息而傍晚几乎没有信息，或者傍晚和夜间具有大量信息，而早上和白天几乎没有信息的情况下，即使预先设定可能包含用户需要的图像信息的所有的亮度区域，通过执行柱状图解析和与阈值的比较，也能够避免对没有需要的信息的亮度区域，优先分配灰度等级数的情况。

如以上说明的那样，在使用图像生成部93-1～93-9的图像处理装置81中，在使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据中，即使在宽亮度范围中存在用户需要的图像信息的情况下，在以与显示器82对应的灰度来显示这种图像，或以与输出目的地的外部设备对应的灰度输出时，也能够生成如下的图像数据：将用户需要的信息(例如，暗淡中的黑色物体、与暗淡部分存在于同一画面内的明亮的部分等)显示或印刷输出为能够可识别的状态。

上述一连串的处理能够通过软件来执行。该软件从记录介质安装到在专用的硬件中装入构成该软件的程序的计算机、或通过安装各种程序而能够执行各种功能的例如通用个人计算机等中。该情况下，例如使用图2说明的图像处理装置81的全部或一部分(例如，图像生成部93和显示控制部94)由图35所示的个人计算机301构成。

在图35中，CPU(Central Processing Unit)311按照存储在ROM(ReadOnly Memory)312中的程序、或从存储部318装载到RAM(RandomAccess Memory)313中的程序，执行各种处理。RAM 313中还适当存储CPU 311执行各种处理所需要的数据等。

CPU 311、ROM 312和RAM 313经由总线314相互连接。该总线314还与输入输出接口315连接。

在输入输出接口315上连接有由键盘、鼠标等构成的输入部316；由显示器和扬声器等构成的输出部317；由硬盘等构成的存储部318；以及由调制解调器、终端适配器等构成的通信部319。通信部319经由包含因特网的网络进行通信处理。

根据需要，输入输出接口315上还连接有驱动器320，并适当安装有磁盘331、光盘332、光磁盘333或半导体存储器334等，根据需要，将从这些装置读出的计算机程序安装在存储部318中。

在通过软件执行一连串的处理的情况下，该软件从网络或记录介质安装到在专用的硬件中装入构成该软件的程序的计算机、或通过安装各种程序而能够执行各种功能的例如通用个人计算机等中。

该记录介质如图35所示，不仅利用由用于向用户提供程序而独立于装置主体配置的、存储有程序的磁盘331(包含软盘)、光盘332(包含CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital VersatileDisk))、光磁盘333(包含MD(Mini-Disk)(注册商标))或半导体存储器334等构成的封装介质构成，而且利用以预先装入装置主体的状态提供给用户并存储有程序的ROM 312、和包含在存储部318中的硬盘等构成。

并且，在本说明书中，描述记录在记录介质中的程序的步骤，当然包含按照所记载的顺序以时间序列进行的处理，但不一定以时间序列进行处理，还包含并行或单独执行的处理。

并且，本发明当然也可以应用于通过多个装置来实现在本说明书中由一个装置执行的处理的情况。

Claims (20)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

取得单元，其取得由输出与入射光量的对数大致成比例的像素值的摄像元件所拍摄的图像信号；

亮度范围设定单元，其在所述取得单元所取得的所述图像信号的亮度范围中，设定多个亮度范围；以及

转换单元，其在所述亮度范围设定单元所设定的所述亮度范围和所述亮度范围以外，转换所述取得单元所取得的所述图像信号中包含的像素的亮度，以使亮度的灰度等级数的分配不同。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述转换单元转换所述取得单元所取得的所述图像信号中包含的像素的亮度，使得对所述亮度范围分配比所述亮度范围以外多的灰度。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述亮度范围设定单元具有：

第1平均值计算单元，其计算所述取得单元所取得的所述图像信号中包含的像素的亮度值的平均；

第1亮度范围设定单元，其根据所述第1平均值计算单元所计算的所述亮度值的平均值，设定第1亮度范围；以及

第2亮度范围决定单元，其在与所述第1亮度范围设定单元所设定的所述第1亮度范围不同的范围中，决定第2亮度范围。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述第2亮度范围决定单元还具有：

第2平均值计算单元，其计算与所述第1亮度范围设定单元所设定的所述第1亮度范围不同的亮度范围中、比所述第1亮度范围的亮度高的像素的亮度值的平均，

所述第2亮度范围决定单元根据所述第2平均值计算单元所计算的平均值，决定所述第2亮度范围。

5.根据权利要求3所述的图像处理装置，其特征在于，

所述第2亮度范围决定单元还具有：

第2平均值计算单元，其计算与所述第1亮度范围设定单元所设定的所述第1亮度范围不同的亮度范围中、比所述第1亮度范围的亮度低的像素的亮度值的平均，

所述第2亮度范围决定单元根据所述第2平均值计算单元所计算的平均值，决定所述第2亮度范围。

6.根据权利要求3所述的图像处理装置，其特征在于，

所述亮度范围设定单元还具有：第3亮度范围决定单元，其在与所述第1亮度范围设定单元所设定的所述第1亮度范围和所述第2亮度范围设定单元所设定的所述第2亮度范围不同的范围中，决定第3亮度范围。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述亮度范围设定单元具有：

提取单元，其在所述取得单元所取得的像素值中，提取所述图像信号的规定图像区域中包含的像素；

第1平均值计算单元，其计算所述提取单元所提取的所述图像信号的所述规定图像区域中包含的像素的亮度值的平均值；

第1亮度范围设定单元，其根据所述第1平均值计算单元所计算的所述亮度值的平均值，设定第1亮度范围；以及

第2亮度范围决定单元，其在与所述第1亮度范围设定单元所设定的所述第1亮度范围不同的范围中，决定第2亮度范围。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述第2亮度范围决定单元还具有：

第2平均值计算单元，其计算与所述第1亮度范围设定单元所设定的所述第1亮度范围不同的亮度范围中、比所述第1亮度范围的亮度高的像素的亮度值的平均，

所述第2亮度范围决定单元根据所述第2平均值计算单元所计算的平均值，决定所述第2亮度范围。

9.根据权利要求7所述的图像处理装置，其特征在于，

所述第2亮度范围决定单元还具有：

第2平均值计算单元，其计算与所述第1亮度范围设定单元所设定的所述第1亮度范围不同的亮度范围中、比所述第1亮度范围的亮度低的像素的亮度值的平均，

所述第2亮度范围决定单元根据所述第2平均值计算单元所计算的平均值，决定所述第2亮度范围。

10.根据权利要求7所述的图像处理装置，其特征在于，

所述亮度范围设定单元还具有：第3亮度范围决定单元，其在与所述第1亮度范围设定单元所设定的所述第1亮度范围和所述第2亮度范围设定单元所设定的所述第2亮度范围不同的范围中，决定第3亮度范围。

11.根据权利要求1所述的图像处理装置，其特征在于，

所述亮度范围设定单元具有：

柱状图检测单元，其求出表示所述取得单元所取得的所述图像信号中包含的所述像素的亮度值的分布的柱状图；以及

比较单元，其根据所述柱状图检测单元所检测的所述柱状图，对分布在各个亮度值中的像素数和规定阈值进行比较，

所述亮度范围设定单元根据所述比较单元的比较结果，设定多个所述亮度范围。

12.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置还具有：操作输入单元，其接受用户的操作输入，

所述亮度范围设定单元根据所述操作输入单元所输入的所述用户的操作输入，设定多个所述亮度范围。

13.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置还具有：操作输入单元，其接受用户的操作输入，

所述亮度范围设定单元具有：

可设定亮度范围的区域设定单元，其根据所述操作输入单元所输入的所述用户的操作输入，设定多个可设定亮度范围的区域；

柱状图检测单元，其求出表示所述可设定亮度范围的区域设定单元所设定的所述可设定亮度范围的区域中包含的所述像素的亮度值的分布的柱状图；以及

比较单元，其根据所述柱状图检测单元所检测出的所述柱状图，对分布在各个亮度值中的像素数和规定阈值进行比较，

所述亮度范围设定单元根据所述比较单元的比较结果，设定多个所述亮度范围。

14.根据权利要求1所述的图像处理装置，其特征在于，

所述图像信号由对数转换型摄像元件拍摄，该摄像元件利用半导体的亚阈特性，输出与入射光量的对数大致成比例的像素值。

15.根据权利要求1所述的图像处理装置，其特征在于，

所述转换单元设定转换特性，使得不对所述亮度范围设定单元所设定的所述亮度范围以外分配灰度等级数。

16.根据权利要求1所述的图像处理装置，其特征在于，

所述转换单元在所述亮度范围设定单元所设定的所述亮度范围的边界附近设定中间区域，

所述转换单元设定转换特性，使得

所述亮度范围设定单元所设定的所述亮度范围中除去所述中间区域的部分的灰度等级数分配得最多，

所述中间区域的灰度等级数分配得第二多，

所述亮度范围设定单元所设定的所述亮度范围以外、且不是所述中间区域的部分的灰度等级数最少。

17.根据权利要求16所述的图像处理装置，其特征在于，

所述转换单元设定转换特性，使得不对所述亮度范围设定单元所设定的所述亮度范围以外、且不是所述中间区域的部分分配灰度等级数。

18.一种图像处理方法，该方法用于对由输出与入射光量的对数大致成比例的像素值的摄像元件所拍摄的图像信号进行处理的图像处理装置，其特征在于，该图像处理方法具有：

取得步骤，其取得所述图像信号；

亮度范围设定步骤，其在所述取得步骤的处理所取得的所述图像信号的亮度范围中，设定多个亮度范围；以及

转换步骤，其在所述亮度范围设定步骤的处理所设定的所述亮度范围和所述亮度范围以外，转换所述取得步骤的处理所取得的所述图像信号中包含的像素的亮度，以使亮度的灰度等级数的分配不同。

19.一种程序，用于使计算机执行由输出与入射光量的对数大致成比例的像素值的摄像元件所拍摄的图像信号的处理，其特征在于，该程序使计算机执行以下处理：

取得控制步骤，其控制所述图像信号的取得；

亮度范围设定步骤，其在通过所述取得控制步骤的处理来控制取得的所述图像信号的亮度范围中，设定多个亮度范围；以及

转换步骤，其在所述亮度范围设定步骤的处理所设定的所述亮度范围和所述亮度范围以外，转换通过所述取得控制步骤的处理来控制取得的所述图像信号中包含的像素的亮度，以使亮度的灰度等级数的分配不同。

20.一种记录介质，其特征在于，该记录介质记录权利要求19所述的程序。

Images