CN101142810A - 图像处理装置和图像处理方法、图像处理系统、程序以及记录介质 - Google Patents

图像处理装置和图像处理方法、图像处理系统、程序以及记录介质 Download PDF

Info

Publication number
CN101142810A
CN101142810A CNA2006800086218A CN200680008621A CN101142810A CN 101142810 A CN101142810 A CN 101142810A CN A2006800086218 A CNA2006800086218 A CN A2006800086218A CN 200680008621 A CN200680008621 A CN 200680008621A CN 101142810 A CN101142810 A CN 101142810A
Authority
CN
China
Prior art keywords
brightness
brightness range
image
conversion
main region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800086218A
Other languages
English (en)
Other versions
CN101142810B (zh
Inventor
安藤丹一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN101142810A publication Critical patent/CN101142810A/zh
Application granted granted Critical
Publication of CN101142810B publication Critical patent/CN101142810B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及图像处理装置和图像处理方法、图像处理系统、程序以及记录介质，能够获得进行了亮度压缩的宽动态范围的图像。使输出电平信号相对于所输入的亮度信号的电平的亮度灰度等级数的分配，在主要区域和第2亮度区域、以及除此之外的范围中不同。例如，对主要区域的亮度范围和第2亮度区域的亮度范围分割所有的灰度等级数来进行分配，对除此之外的范围不进行分配，或者，对主要区域和第2亮度区域之间的亮度范围分配比主要区域的亮度范围和第2亮度区域少的等级数。进而，设定主要区域的亮度范围和第2亮度区域的边界部分的区域，分配比主要区域的亮度范围和第2亮度区域少、且比它们之间的区域多的等级数。本发明能够应用于图像处理装置。

Description

图像处理装置和图像处理方法、图像处理系统、程序以及记录介质
技术领域
本发明涉及图像处理装置和图像处理方法、图像处理系统、程序以及记录介质，特别涉及能够获得进行了亮度压缩的宽动态范围的图像使得在利用图像执行各种处理的情况下易于处理的图像处理装置和图像处理方法、图像处理系统、程序以及记录介质。
背景技术
以往，在使用CCD(Charge Coupled Device)摄像元件(也称为电荷耦合摄像元件或固体摄像元件)等摄像元件的照相机中，由于电荷的蓄积容量的界限及其特性，通过光圈和快门速度等的控制，将入射到照相机的入射光量抑制在某范围内。因此，在室外等的摄像时，无法拍摄被摄体的所有亮度范围。因此，使用电子快门功能，以高速和低速的不同快门时间进行被摄体的拍摄，对其2种图像信号进行信号处理，并进行在各图像之间主要被摄体位置几乎没有偏移的良好的图像合成，由此能够获得动态范围宽的图像(例如参照专利文献1)。
专利文献1：日本特开2000-32303号公报
图1是表示能够通过合成CCD所拍摄的不同的快门时间的图像来获得动态范围宽的图像的、以往的宽动态范围照相机的结构的框图。
固体摄像元件11根据控制部14的曝光控制部21的控制，拍摄高速快门图像和低速快门图像。低速快门图像例如是快门速度为1/60的图像，高速快门图像例如是快门速度为1/2000的图像。
由固体摄像元件11得到的影像信号、即低速快门图像/高速快门图像在A/D转换器12中进行模拟/数字转换，交替写入数字处理部13的帧存储器31-1或31-2中。从帧存储器31-1或31-2读出的信号提供给合成处理电路32，在此合成后经由处理电路33输出。
控制部14由CPU 22和曝光控制部21构成。CPU 22使用从数字处理部13提供的测光数据进行运算，将其结果提供给用于控制固体摄像元件11的快门速度和光圈的曝光控制部21，并且根据其结果控制数字处理部13。
在图1所示的宽动态范围照相机中，利用低速快门来拍摄被摄体的亮度低的部分(亮度高的部分饱和)，利用高速快门来拍摄被摄体的亮度高的部分(亮度低的部分暗淡，无法拍摄)。然后，通过合成双方的图像，能够获得在一个画面内表现被摄体的亮度低的部分到亮度高的部分的图像。
在使用了CCD等比人眼动态范围窄的摄像元件的摄像装置中，需要调整光圈和快门速度等，以使入射光的照度收容在CCD摄像元件的动态范围内。
因此，在被摄体的光的照度范围超过CCD摄像元件的动态范围的情况下，产生被摄体的明亮区域的像素的像素值被CCD摄像元件可输出的像素值的最大值限制、或者被摄体的暗淡区域的像素的像素值被CCD摄像元件可输出的像素值的最小值限制的亮度极限，所以如上所述，为了获得宽动态范围的图像，需要进行复杂的图像合成处理。
在上述这种使用动态范围窄的摄像元件构成的宽动态范围照相机中，为了获得动态范围宽的图像，不仅需要进行复杂的图像合成处理，而且使用低速快门图像和高速快门图像这2张图像才能够获得1帧的宽动态范围的图像，所以提高帧速率是非常困难的。
发明内容
本发明是鉴于这种状况而完成的，能够获得进行了亮度压缩的宽动态范围的图像，使得在利用图像执行各种处理的情况下易于处理，而无须进行复杂的处理。
本发明的图像处理装置的特征在于，该图像处理装置具有：取得单元，其取得由与入射光量的对数大致成比例的像素值构成的图像信号；亮度范围设定单元，其在取得单元所取得的图像信号的全部亮度范围中，设定规定的亮度范围；以及转换单元，其转换取得单元所取得的图像信号中包含的像素的亮度，使得对亮度范围设定单元所设定的所述规定的亮度范围分配比亮度范围以外多的灰度。
取得单元、亮度范围设定单元或转换单元由专用的硬件构成，或者通过读入程序的计算机等来实现，计算机例如由CPU(Central ProcessingUnit)、DSP(Digital Signal Processor)等运算装置构成。
由此，能够对图像信号的主亮度区域分配多的灰度，所以在所显示的图像中，能够防止白斑和黑斑。
并且，这样获得的图像数据不仅在显示时有利于用户的识别，而且还能够在例如图像印刷装置、图像识别装置、图像记录装置、图像通信装置等利用图像的外部装置中，作为压缩了亮度的宽动态范围的图像数据来使用。
亮度范围设定单元能够设定多个所述规定的亮度范围。
由此，除了图像信号的主亮度区域之外，还能够对与该亮度偏离的其他亮度区域分配多的灰度，所以在所显示的图像中，能够防止白斑和黑斑。
该图像处理装置还能够具有A/D转换单元，该A/D转换单元对取得单元所取得的图像信号的全部亮度范围的图像信号进行A/D转换，转换单元对由A/D转换单元转换为数字信号后的图像信号进行转换。
所述A/D转换单元由专用的硬件构成，或者通过读入了程序的计算机等来实现，计算机例如由CPU、DSP等运算装置构成。
转换单元能够转换取得单元所取得的图像信号，使得与由A/D转换单元转换为数字信号后的图像信号中包含的像素的亮度的灰度数相比，转换后的亮度的灰度数减少。
所谓压缩亮度是指例如使所拍摄的图像数据的整体所具有的亮度灰度的等级数通过转换而变少。
在亮度灰度的等级数与亮度区域无关而减少的情况下，换言之，在输入信号电平和输出信号电平的比率恒定的情况下，没有显示或印刷输出时的图像的浓度差异，难以进行二值化和规定对象物的检测等一般的图像处理。但是，因为对亮度范围设定单元所设定的所述规定的亮度范围分配比亮度范围以外多的灰度，以使整体的灰度数减少，所以，所设定的亮度范围的图像例如具有充分的浓度差异而被显示或印刷输出。并且，通过使用这样设定亮度灰度数并被转换的图像数据，在各种图像处理中，能够容易地决定二值化的阈值，或者能够根据图像容易地检测规定对象物。
该图像处理装置还具有输出控制单元，该输出控制单元将转换单元所转换的图像信号的亮度的灰度数转换为规定的外部装置可处理的灰度数，并且控制转换后的图像信号向外部装置的输出。
所述输出控制单元由专用的硬件构成，或者通过读入了程序的计算机等来实现，计算机例如由CPU、DSP等运算装置构成。
规定的外部装置包含例如图像印刷装置、图像识别装置、图像记录装置、图像通信装置等利用图像来执行处理的各种信息处理装置。转换单元所转换的图像信号特别优选利用在执行以下图像处理的装置中，所述图像处理执行摄像对象的亮度和图像数据的亮度数据不需要一对一对应(摄像对象的亮度和图像数据的亮度数据线性对应)的处理。
摄像对象的亮度和图像数据的亮度数据不需要一对一对应的处理除了显示以外，例如还有：印刷输出、记录处理、识别图像内的规定对象物的处理、检测图像内的边缘部分或直线部分等的处理、二值化处理、或向执行这种处理的其他装置发送的发送处理等。
转换单元还具有：A/D转换单元，其对取得单元所取得的图像信号进行A/D转换；以及决定单元，其决定A/D转换单元进行A/D转换的灰度等级数，决定单元能够决定A/D转换的灰度等级数，使得对亮度范围设定单元所设定的规定的亮度范围分配比亮度范围以外多的灰度，A/D转换单元能够根据决定单元所决定的灰度等级数，对图像信号进行A/D转换。
所述A/D转换单元和所述决定单元由专用的硬件构成，或者通过读入程序的计算机等来实现，计算机例如由CPU、DSP等运算装置构成。
在与亮度区域无关地分配A/D转换的灰度的等级数的情况下，换言之，在A/D转换前的输入模拟信号电平和转换后的数字信号电平的比率恒定的情况下，特别是在A/D转换的灰度的等级数比较多的情况下，例如难以进行二值化和规定对象物的检测等一般的图像处理，并且，在A/D转换的灰度的等级数比较少的情况下，例如没有显示或印刷输出时的图像的浓度差异。但是，因为对亮度范围设定单元所设定的所述规定的亮度范围分配比亮度范围以外多的灰度，所以，所设定的亮度范围的图像例如具有充分的浓度差异而被显示或印刷输出。并且，通过使用这样设定A/D转换的灰度的等级数并被转换的图像数据，在各种图像处理中，能够容易地决定二值化的阈值，或者能够根据图像容易地检测规定对象物。
图像信号由对数转换型摄像元件拍摄，该摄像元件利用半导体的亚阈特性，输出与入射光量的对数大致成比例的像素值。
摄像元件优选为能够在比人眼宽的动态范围拍摄被摄体的摄像元件。
本发明的图像处理方法用于对与入射光量的对数大致成比例的像素值的所拍摄的图像信号进行处理的图像处理装置，其特征在于，该图像处理方法具有：取得步骤，其取得图像信号；亮度范围设定步骤，其在取得步骤的处理所取得的图像信号的全部亮度范围中，设定规定的亮度范围；以及转换步骤，其转换取得步骤的处理所取得的图像信号中包含的像素的亮度，使得对通过亮度范围设定步骤的处理所设定的所述规定的亮度范围分配比亮度范围以外多的灰度。
图像信号例如由对数转换型摄像元件拍摄，该摄像元件利用半导体的亚阈特性，输出与入射光量的对数大致成比例的像素值。
摄像元件例如为HDRC(High Dynamic Range CMOS(ComplementaryMetal Oxide Semiconductor))。
这种摄像元件能够在比人眼宽的动态范围拍摄被摄体。
并且，例如，作为对取得步骤所取得的图像信号的全部亮度范围的图像信号进行A/D转换的步骤，在转换步骤中，能够对通过A/D转换而转换为数字信号的图像信号进行转换。
进而，在转换步骤中，也可以转换取得步骤所取得的图像信号，以使与通过A/D转换而转换为数字信号的图像信号中包含的像素的亮度的灰度数相比，转换后的亮度的灰度数减少。
并且，转换步骤还能够包含：A/D转换步骤，其对取得步骤所取得的图像信号进行A/D转换；以及决定步骤，其决定A/D转换步骤进行A/D转换的灰度等级数，在决定步骤中，能够决定A/D转换的灰度等级数，以使对亮度范围设定步骤所设定的规定的亮度范围分配比亮度范围以外多的灰度，在A/D转换步骤中，能够根据决定步骤所决定的灰度等级数，对图像信号进行A/D转换。
本发明的程序以及记录在记录介质中的程序用于使计算机执行与入射光量的对数大致成比例的像素值的所拍摄的图像信号的处理，其特征在于，该程序使计算机执行包含以下步骤的处理：取得控制步骤，其控制图像信号的取得；亮度范围设定步骤，其在通过取得控制步骤的处理控制了取得的图像信号的全部亮度范围中，设定规定的亮度范围；以及转换步骤，其转换通过取得控制步骤的处理控制了取得的图像信号中包含的像素的亮度，以使对通过亮度范围设定步骤的处理所设定的所述规定的亮度范围分配比亮度范围以外多的灰度。
图像信号例如由对数转换型摄像元件拍摄，该摄像元件利用半导体的亚阈特性，输出与入射光量的对数大致成比例的像素值。
摄像元件例如为HDRC(High Dynamic Range CMOS(ComplementaryMetal Oxide Semiconductor))。
这种摄像元件能够在比人眼宽的动态范围拍摄被摄体。
并且，例如，作为对取得步骤所取得的图像信号的全部亮度范围的图像信号进行A/D转换的步骤，在转换步骤中，能够对通过A/D转换而转换为数字信号的图像信号进行转换。
进而，在转换步骤中，也可以转换取得步骤所取得的图像信号，使得与通过A/D转换而转换为数字信号的图像信号中包含的像素的亮度的灰度数相比，转换后的亮度的灰度数减少。
并且，转换步骤还能够包含：A/D转换步骤，其对取得步骤所取得的图像信号进行A/D转换；以及决定步骤，其决定A/D转换步骤进行A/D转换的灰度等级数，在决定步骤中，能够决定A/D转换的灰度等级数，以使对亮度范围设定步骤所设定的规定的亮度范围分配比亮度范围以外多的灰度，在A/D转换步骤中，能够根据决定步骤所决定的灰度等级数，对图像信号进行A/D转换。
本发明第一方面的图像处理系统由图像处理装置和信息处理装置构成，该图像处理装置对由输出与入射光量的对数大致成比例的像素值的摄像元件所拍摄的图像信号进行处理，该信息处理装置执行利用了图像处理装置所处理的图像信号的处理，其特征在于，图像处理装置具有：取得单元，其取得摄像元件所拍摄的图像信号；亮度范围设定单元，其在取得单元所取得的图像信号的亮度范围中，设定多个亮度范围；转换单元，其转换取得单元所取得的图像信号，使得对亮度范围设定单元所设定的亮度范围分配比亮度范围以外多的灰度，并且使得与取得单元所取得的图像信号中包含的像素的亮度的灰度数相比，亮度的灰度数减少；以及输出控制单元，其将转换单元所转换的图像信号的亮度的灰度数转换为信息处理装置可处理的灰度数，并且控制转换后的图像信号向信息处理装置的输出。
该图像处理系统还能够具有摄像装置，该摄像装置使用输出与入射光量的对数大致成比例的像素值的摄像元件进行拍摄。
摄像元件例如可以是利用半导体的亚阈特性，输出与入射光量的对数大致成比例的像素值的对数转换型的摄像元件，例如可以是HDRC。
并且，该信息处理装置包含例如图像印刷装置、图像识别装置、图像记录装置、图像通信装置等利用图像来执行处理的各种信息处理装置。转换单元所转换的图像信号特别优选利用在执行以下图像处理的信息处理装置中，该图像处理执行摄像对象的亮度和图像数据的亮度数据不需要一对一对应(摄像对象的亮度和图像数据的亮度数据线性对应)的处理。
摄像对象的亮度和图像数据的亮度数据不需要一对一对应的处理除了显示以外，例如还有：印刷输出、记录处理、识别图像内的规定对象物的处理、检测图像内的边缘部分或直线部分等的处理、二值化处理、或向执行这种处理的其他装置发送的发送处理等。
本发明第二方面的图像处理系统由图像处理装置和信息处理装置构成，该图像处理装置对与入射光量的对数大致成比例的像素值的所拍摄的图像信号进行处理，该信息处理装置执行利用了图像处理装置所处理的图像信号的处理，其特征在于，图像处理装置具有：取得单元，其取得图像信号；亮度范围设定单元，其在取得单元所取得的图像信号的全部亮度范围中，设定规定的亮度范围；A/D转换单元，其对取得单元所取得的图像信号进行A/D转换；决定单元，其决定A/D转换单元进行A/D转换的灰度等级数；以及输出控制单元，其控制A/D转换单元所转换的图像信号向信息处理装置的输出，决定单元决定A/D转换的灰度等级数，使得对亮度范围设定单元所设定的规定的亮度范围分配比亮度范围以外多的灰度，A/D转换单元根据决定单元所决定的灰度等级数，对图像信号进行A/D转换。
所取得的图像信号例如可以由对数转换型摄像元件拍摄，该摄像元件利用半导体的亚阈特性，输出与入射光量的对数大致成比例的像素值，摄像元件例如可以是HDRC。
在本发明的图像处理装置和图像处理方法、图像处理系统以及程序中，在由输出与入射光量的对数大致成比例的像素值的摄像元件所拍摄的图像信号的全部亮度范围中，设定规定的亮度范围，转换图像信号中包含的像素的亮度，使得对该亮度范围分配比亮度范围以外多的灰度。
因此，不进行复杂的处理就能够获得亮度灰度等级数少的宽动态范围的图像。
根据本发明，能够对所拍摄的图像信号进行处理，特别是不进行复杂的处理就能够获得亮度灰度等级数少的宽动态范围的图像。
附图说明
图1是表示以往的宽动态范围照相机的动作原理的图。
图2是表示本发明的图像处理系统的一个实施方式的框图。
图3是表示图2的摄像部的一个实施方式的框图。
图4是表示对数转换型摄像元件等的感光度特性的曲线图。
图5是表示图像生成部的第1结构例的框图。
图6A是用于说明输出电平相对于输入电平的转换的图。
图6B是用于说明输出电平相对于输入电平的转换的图。
图6C是用于说明输出电平相对于输入电平的转换的图。
图7A是用于说明输出电平相对于输入电平的转换的图。
图7B是用于说明输出电平相对于输入电平的转换的图。
图7C是用于说明输出电平相对于输入电平的转换的图。
图8A是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。
图8B是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。
图8C是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。
图9是用于说明图像显示处理1的流程图。
图10是用于说明显示图像的差异的图。
图11是用于说明显示图像的差异的图。
图12是用于说明显示图像的差异的图。
图13是用于说明显示图像的图。
图14是表示图像生成部的第2结构例的框图。
图15A是用于说明输出电平相对于输入电平的转换的图。
图15B是用于说明输出电平相对于输入电平的转换的图。
图15C是用于说明输出电平相对于输入电平的转换的图。
图16A是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。
图16B是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。
图16C是用于说明输入信号、灰度转换后的信号以及所显示的信号的图。
图17是用于说明图像显示处理2的流程图。
图18是用于说明显示图像的图。
图19是用于说明显示图像的图。
图20是表示图像生成部的第3结构例的框图。
图21是表示图像生成部的第4结构例的框图。
图22是用于说明切出区域的图。
图23是用于说明图像显示处理3的流程图。
图24是表示图像生成部的第5结构例的框图。
图25是用于说明图像显示处理4的流程图。
图26是表示图像生成部的第6结构例的框图。
图27是表示图像生成部的第7结构例的框图。
图28是用于说明柱状图的解析和亮度范围的设定的图。
图29是用于说明图像显示处理5的流程图。
图30是表示图像生成部的第8结构例的框图。
图31是用于说明图像显示处理6的流程图。
图32是表示图像生成部的第9结构例的框图。
图33是用于说明柱状图的解析和亮度范围的设定的图。
图34是用于说明图像显示处理7的流程图。
图35是表示本发明的图像处理系统的一个实施方式的框图。
图36是表示图35的摄像部的一个实施方式的框图。
图37是表示灰度分配决定部的第1结构例的框图。
图38A是用于说明A/D转换的灰度分配的图。
图38B是用于说明A/D转换的灰度分配的图。
图38C是用于说明A/D转换的灰度分配的图。
图39A是用于说明A/D转换的灰度分配的图。
图39B是用于说明A/D转换的灰度分配的图。
图39C是用于说明A/D转换的灰度分配的图。
图40A是用于说明输入模拟信号、A/D转换后的信号以及所显示的信号的图。
图40B是用于说明输入模拟信号、A/D转换后的信号以及所显示的信号的图。
图40C是用于说明输入模拟信号、A/D转换后的信号以及所显示的信号的图。
图41A是用于说明A/D转换的灰度分配的图。
图41B是用于说明A/D转换的灰度分配的图。
图41C是用于说明A/D转换的灰度分配的图。
图42A是用于说明输入模拟信号、A/D转换后的信号以及所显示的信号的图。
图42B是用于说明输入模拟信号、A/D转换后的信号以及所显示的信号的图。
图42C是用于说明输入模拟信号、A/D转换后的信号以及所显示的信号的图。
图43是用于说明图像显示处理8的流程图。
图44是表示灰度分配决定部的第2结构例的框图。
图45A是用于说明A/D转换的灰度分配的图。
图45B是用于说明A/D转换的灰度分配的图。
图45C是用于说明A/D转换的灰度分配的图。
图46A是用于说明输入模拟信号、A/D转换后的信号以及所显示的信号的图。
图46B是用于说明输入模拟信号、A/D转换后的信号以及所显示的信号的图。
图46C是用于说明输入模拟信号、A/D转换后的信号以及所显示的信号的图。
图47是用于说明图像显示处理9的流程图。
图48是表示灰度分配决定部的第3结构例的框图。
图49是表示灰度分配决定部的第4结构例的框图。
图50是用于说明图像显示处理10的流程图。
图51是表示灰度分配决定部的第5结构例的框图。
图52是用于说明图像显示处理11的流程图。
图53是表示灰度分配决定部的第6结构例的框图。
图54是表示灰度分配决定部的第7结构例的框图。
图55是用于说明柱状图的解析和亮度范围的设定的图。
图56是用于说明图像显示处理12的流程图。
图57是表示灰度分配决定部的第8结构例的框图。
图58是用于说明图像显示处理13的流程图。
图59是表示灰度分配决定部的第9结构例的框图。
图60是用于说明柱状图的解析和亮度范围的设定的图。
图61是用于说明图像显示处理14的流程图。
图62是表示个人计算机的结构例的框图。
标号说明
81：图像处理装置
83：图像利用装置
91：摄像部
93：图像生成部
94：显示控制部
102：对数转换型摄像元件
131：平均亮度计算部
132：主要区域亮度范围设定部
133：第2亮度区域亮度平均值计算部
134：第2亮度区域亮度范围设定部
135：输出电平转换处理部
201：主要区域切出部
202：主要区域亮度平均值计算部
221：区域
251：柱状图解析部
252：阈值比较处理部
253：多阶段亮度范围设定部
381：图像处理装置
391：摄像部
393：图像生成部
402：对数转换型摄像元件
411：灰度分配决定部
412：A/D转换部
455、465、487、554：灰度分配计算部
具体实施方式
下面，参照附图说明本发明的实施方式。
图2是表示图像处理装置81的一个实施方式的框图。
摄像部91根据从操作输入部92提供的用户的操作输入，拍摄被摄体，将所得到的图像信号提供给图像生成部93。之后使用图3详细说明摄像部91。
操作输入部92例如由释放按钮等按钮、操作键、触摸面板等的输入装置构成，接受用户的操作输入，将来自用户的指令提供给摄像部91。用户的操作输入不仅是例如摄像定时的指令(释放按钮的按下等)，有时还是例如动态图像的摄像(换言之，连续的帧的摄像)的开始或结束的指令，而且有时还是摄像开始或结束的时刻的设定等。并且，操作输入部92通过用户接受用于图像生成部93的处理的规定的设定值的输入时，将该设定值提供给图像生成部93。
图像生成部93执行将从摄像部91提供的图像信号转换为适于显示和印刷输出的图像信号的处理，并将该图像信号提供给显示控制部94或输出控制部95。并且，图像生成部93根据需要从操作输入部92接受处理所需要的设定值的输入，由此，执行将从摄像部91提供的图像信号转换为适于显示和印刷输出的图像信号的处理。
显示控制部94进行将从图像生成部93提供的处理后的图像信号转换为显示器82的分辨率和灰度数的处理，将处理后的信号提供给显示器82。
输出控制部95进行将从图像生成部93提供的处理后的图像信号转换为图像利用装置83可处理的分辨率和灰度数的处理，将处理后的信号输出到图像利用装置83。
显示器82例如接受从显示控制部94提供的显示图像信号的输入，来显示图像(静态图像或由多帧构成的动态图像)。
图像利用装置83接受从输出控制部95提供的图像信号的输入，执行规定的处理。图像利用装置83能够应用例如图像印刷装置、图像识别装置、图像记录装置、图像通信装置等利用图像来执行处理的各种信息处理装置。
图像生成部93所生成的图像信号特别优选利用在执行摄像对象的亮度和图像数据的亮度数据不需要一对一对应(摄像对象的亮度和图像数据的亮度数据线性对应)的处理的图像利用装置83中。
摄像对象的亮度和图像数据的亮度数据不需要一对一对应的处理例如有：印刷输出、记录处理、识别图像内的规定对象物的处理、检测图像内的边缘部分或直线部分等的处理、二值化处理、或向执行这种处理的其他装置发送的发送处理等。
图3是表示图2的图像处理装置81的摄像部91更详细的结构例的框图。摄像部91构成为包含透镜101以及对数转换型摄像元件102。对数转换型摄像元件1 02例如为HDRC(High Dynamic Range CMOS(Complementary Metal Oxide Semiconductor))等对数转换型的摄像元件，其构成为包含光检测部111、对数转换部112、A/D转换部113以及摄像定时控制部114。
从摄像部91所拍摄的被摄体发出的光(或由被摄体反射的光)入射到透镜101，成像于对数转换型摄像元件102的光检测部111的未图示的光检测面。
光检测部111例如通过由多个光电二极管等构成的受光元件等构成。光检测部11 1将由透镜101所成像的被摄体的光转换为与所入射的光的明亮度(照度)对应的电荷，并蓄积转换后的电荷。光检测部111与从摄像定时控制部114提供的控制信号同步地将蓄积的电荷提供给对数转换部112。
对数转换部112例如由MOSFET(Metal Oxide Semiconductor FieldEffect Transistor)等构成。对数转换部112利用MOSFET的亚阈特性，生成将从光检测部111提供的电荷按照像素转换为与电荷数(电流强度)的对数(被摄体的光的光量的对数)大致成比例的电压值后的模拟电信号。对数转换部112将所生成的模拟电信号提供给A/D转换部113。
A/D转换部113与从摄像定时控制部114提供的控制信号同步地，将模拟电信号A/D转换为数字的图像数据。例如，转换为24bit的无符号2进制的数字图像数据时，图像数据的像素值成为从最暗淡的0到最明亮的224-1的范围的值。A/D转换部113将转换后的数字的图像数据提供给图像处理装置92。
这样，摄像部91输出由与入射到光检测部111中的被摄体的光的明亮度(入射光量)的对数成比例的像素值构成的数字的图像数据。另外，例如在日本特表平7-506932公报等中详细公开了对数转换型的摄像元件。
另外，在对数转换型摄像元件102的光检测部111中，也可以不蓄积转换后的电荷，而直接提供给对数转换部112。
图4是表示对数转换型摄像元件102、CCD(Charge Coupled Device)摄像元件、银盐胶片以及人眼的感光度特性的曲线图。图4的横轴表示入射的光的照度(单位为勒克斯(lux))的对数值，纵轴表示相对于入射光的照度的感光度。线121表示对数转换型摄像元件102的感光度特性，线122表示CCD摄像元件的感光度特性，线123表示银盐胶片的感光度特性，线124表示人眼的感光度特性。
如上所述，因为对数转换型摄像元件102输出由与入射光量的对数大致成比例的亮度值(或像素值)构成的图像数据，所以即使在入射光量增大的情况下，也不会产生以下情况：构成对数转换型摄像元件102的光电二极管和MOSFET等元件的容量饱和，或流入各元件的电流和所施加的电压超过各元件能够进行与输入对应的输出的范围。因此，在可摄像的亮度的范围内，能够大致准确地获得与入射光量的变动相对应的亮度值(或像素值)。即，能够在比CCD摄像元件、银盐胶片以及人眼宽的动态范围、例如从大约1毫勒克斯到比太阳光的亮度高的大约500千勒克斯的大约170dB的动态范围内，拍摄由大致准确地反映出来自被摄体的入射光量的强度的亮度值(或像素值)构成的图像。另外，用于摄像部91的对数转换型摄像元件102的动态范围不限定为上述170dB，根据使用目的，使用大约100dB或200dB等、与需要的动态范围对应的动态范围即可。
如上所述，对数转换型摄像元件102通过输出由与入射光量的对数大致成比例的值的像素值构成的图像数据，构成对数转换型摄像元件102的光电二极管和MOSFET等的容量不会饱和，能够在比CCD摄像元件、银盐胶片以及人眼宽的、从大约1毫勒克斯到比太阳光的亮度高的大约500千勒克斯的大约170dB的动态范围内，拍摄被摄体。
因此，使用了对数转换型摄像元件102的摄像部91因为在人能够视认的亮度范围中，不产生亮度极限，所以不需要调整光圈和快门速度等来调整入射光量。即，摄像部91即使不调整入射光量，也能够忠实地拍摄被摄体的详细的亮度变化。
例如，在白天从车内拍摄车辆前方的情况下，即使太阳进入视角内，摄像部91也能够不调整入射光量地拍摄忠实地再现了太阳和前方道路的状态的图像。并且，在夜间从车内拍摄车辆前方的情况下，即使对面车辆的头灯从前方照射，摄像部91也能够不调整入射光量地拍摄忠实地再现了从对面车辆的头灯的光到没有被自己车辆的头灯照射的部分的图像。
并且，CCD摄像元件和银盐胶片如线122和线123所示，与感光度特性由于伽玛特性等要因而不与入射光的照度的对数成比例的情况相比，在对数转换型摄像元件102中，感光度特性与入射光的照度的对数大致成比例。
这样，使用了对数转换型摄像元件102的摄像部91因为不受亮度极限的产生、入射光量的调整和伽玛特性的影响，所以摄像部91所拍摄的图像数据的像素值按照几乎忠实地反映被摄体的亮度的变动和被摄体的移动的方式变动。
并且，因为从摄像部91输出的图像数据的像素值成为与入射光量的对数大致成比例的值，所以与照射到被摄体上的光的明亮度(照度)无关，拍摄了该被摄体的图像数据中的像素值的分布大致同样地反映出该被摄体的反射率的分布。例如，在照射第一次和第二次约有100倍照度差的光来拍摄反射率的最大值和最小值的比率为10∶1的被摄体时，表示第一次的图像数据和第二次的图像数据的像素值的分布的柱状图的宽度大致为相同的值(1＝log1010)。另一方面，图像数据的像素值与入射光量成比例时，表示第一次的图像数据和第二次的图像数据的像素值的分布的柱状图的宽度的差大约为100倍。
并且，与被摄体的亮度(反射率)的分布无关，被摄体的亮度以几乎相同的比率变动时，拍摄了该被摄体的图像数据的像素值的变动值几乎相同。例如，在被摄体内存在亮度之比为100∶1的2个区域时，照射到被摄体上的光的照度几乎一样地变化，被摄体的亮度以几乎相同的比率的+5％变动时，与2个区域对应的像素值的变动值成为几乎相同的值(log101.05)。另一方面，图像数据的像素值与入射光量成比例时，上述与2个区域对应的像素值的变动值的差大约为100倍。
但是，如使用图4进行说明的那样，对数转换型摄像元件102与人眼的感光度(图4的线124所示的特性)、CCD摄像元件的感光度(图4的线122所示的特性)、以及银盐胶片的感光度(图4的线123所示的特性)进行比较，其亮度范围非常宽。因此，在将使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据的所有灰度转换为与显示器82对应的灰度进行显示时，与人眼能看到的像和使用以往的CCD摄像元件或银盐胶片拍摄的图像进行比较，成为没有浓淡差异的图像，换言之，成为没有轮廓的图像。
即，通过采用使用了对数转换型摄像元件102的摄像部91，能够忠实地拍摄非常暗淡的部分和非常明亮的部分，但是在根据显示器82能够显示的灰度数，对所拍摄的图像数据进行灰度转换来显示时，参照所显示的图像的用户无法识别所拍摄的非常暗淡的部分和非常明亮的部分，进而以浓淡差异很少的状态显示用户可识别的整体的灰度的中央部分。同样，因为打印机等的灰度数也有限，所以将所拍摄的图像数据转换为输出目的地的设备可处理的灰度数来进行印刷输出的图像也同样地，与人眼能看到的像和使用以往的CCD摄像元件或银盐胶片拍摄的图像进行比较，成为没有浓淡差异的图像，换言之，成为没有轮廓的图像。
并且，例如在不仅将使用了对数转换型摄像元件102的摄像部91所拍摄的图像亮度范围的整体转换为显示器82能够显示的灰度，而且在所获得的亮度范围中，提取所获得图像中包含的像素的亮度值的最高值和最低值，并将其中间的亮度范围转换为显示器82能够显示的灰度的情况下，一张图像中包含的亮度范围比较窄时所显示的图像的画质明显提高。但是，一张摄像图像中混合存在有明亮部分和暗淡部分时，参照所显示的图像的用户还是无法识别所拍摄的非常暗淡的部分和非常明亮的部分，成为用户可识别的整体的灰度的中央部分的浓淡差异很少的显示图像。
所以，在图像生成部93中，接受使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据的供给，在以与显示器82对应的灰度进行显示时，或者在以与输出目的地的外部设备对应的灰度进行输出时，都执行能够生成如下的图像数据的图像处理，该图像数据能够在用户可识别的状态下显示或印刷输出。
图5是表示图2的图像生成部93的结构的第1例即图像生成部93-1的结构的框图。
平均亮度计算部131取得从摄像部91提供的图像信号，计算其平均亮度，并将平均亮度的计算结果提供给主要区域亮度范围设定部132。
主要区域亮度范围设定部132根据从平均亮度计算部131提供的图像信号的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给输出电平转换处理部135和第2亮度区域亮度平均值计算部133。
主要区域亮度范围设定部132例如可以将以图像信号的平均亮度为中心的规定亮度范围作为主要区域的亮度范围，也可以以图像信号的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为主要区域的亮度范围。
第2亮度区域亮度平均值计算部133计算从摄像部91提供的图像信号中、比主要区域亮度范围设定部132所设定的主要区域的亮度范围的亮度高的范围的像素的平均亮度，将计算结果提供给第2亮度区域亮度范围设定部134。
第2亮度区域亮度范围设定部134根据比从第2亮度区域亮度平均值计算部133提供的主要区域的亮度范围的亮度高的范围的像素的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部135。
第2亮度区域亮度范围设定部134例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定亮度范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第2亮度区域的亮度范围。
输出电平转换处理部135取得从摄像部91提供的图像信号，根据从主要区域亮度范围设定部132提供的主要区域的亮度范围以及从第2亮度区域亮度平均值计算部133提供的第2亮度区域的亮度范围的信息，转换所取得的图像信号的输出电平。
具体而言，输出电平转换处理部135对所输入的亮度信号的电平分配规定级数的输出电平信号(以规定的灰度等级数分配亮度时的各个亮度灰度电平的信号)，输出所分配的输出电平的信号。此时，输出电平转换处理部187使输出电平信号的亮度灰度电平的分配，在被设定为主要区域和第2亮度区域的亮度范围以及除此之外的范围中不同。即，输出电平转换处理部187对被设定为主要区域和第2亮度区域的亮度范围分配更多的输出电平的等级数，执行使对应的亮度范围的像素的灰度数变多的转换处理。由此，用户能够更好地识别显示或印刷输出的图像中与主要区域和第2亮度区域对应的亮度范围的部分。
输出电平转换处理部135例如能够对主要区域的亮度范围和第2亮度区域的亮度范围中包含的输入信号，分割所有的灰度等级数来进行分配，对除此之外的范围，即比主要区域的亮度低的范围、主要区域和第2亮度区域之间的亮度范围以及比第2亮度区域的亮度高的范围，不分配输出电平的等级数。
这样，在分配了输出电平对应于输入电平的灰度等级数的情况下，如图6A所示，亮度的输入电平比主要区域的亮度范围低的像素的输出电平为0(即漆黑)。而且，根据输入电平，对主要区域的亮度范围内的像素分配规定的灰度的输出电平。并且，主要区域和第2亮度区域之间的亮度范围的像素与输入电平无关，以对主要区域的亮度范围分配的输出电平的最大值输出。对第2亮度区域内的像素，以与主要区域相同或大致相同的等级数，根据输入电平，分配从对主要区域的亮度范围分配的输出电平的最大值到整体的输出电平的最大值之间的灰度的输出电平。而且，比第2亮度区域的亮度高的像素与输入电平无关，分配有对第2亮度区域分配的输出电平的最大值、即整体的输出电平的最大值。
并且，输出电平转换处理部135例如能够对主要区域和第2亮度区域分配输出电平中的规定的等级数，并且对主要区域和第2亮度区域之间的亮度范围，分配比对主要区域和第2亮度区域分配的等级数少的等级数(换言之，比主要区域和第2亮度范围窄的灰度宽度)，对比主要区域的亮度低的范围以及比第2亮度区域的亮度高的范围，不分配输出电平的等级数。
这样，在分配了输出电平对应于输入电平的灰度等级数的情况下，例如如图6B所示，具有比主要区域的亮度范围低的亮度的像素的输出值为0。而且，根据输入电平，对主要区域的亮度范围内的像素分配规定的灰度的输出电平。并且，在主要区域和第2亮度区域之间的亮度范围的像素中，以比对主要区域的亮度范围分配的等级数少的等级数，分配与输入电平对应的输出电平。对第2亮度区域内的像素，以与主要区域相同或大致相同的等级数，根据输入电平，分配从对主要区域和第2亮度区域之间的亮度范围分配的输出电平的最大值到整体的最大值的灰度之间的输出电平。而且，对比第2亮度区域的亮度高的像素，与输入电平无关，分配对第2亮度区域分配的输出电平的最大值、即最大输出电平。
并且，输出电平转换处理部135例如将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间β，对主要区域或第2亮度区域中区间α或区间β以外的像素，分配输出电平中规定的等级数，对区间α或区间β分配比对主要区域和第2亮度区域的区间α或区间β以外的部分分配的等级数少的等级数，对比主要区域的亮度低以及比第2亮度区域的亮度高的像素，不分配输出电平的等级数。另外，此时，对主要区域和第2亮度区域之间的亮度范围中、不在区间α或区间β中的像素，分配比对区间α或区间β分配的输出电平的等级数少的等级数，或者不分配等级数。
这样，在分配了输出电平对应于输入电平的灰度等级数的情况下，例如如图6C所示，具有比主要区域的亮度范围低的亮度的像素的输出值为0。而且，根据输入电平，对主要区域的亮度范围内且区间α以外的像素分配规定的灰度的输出电平。并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，对区间α的像素分配比对主要区域的区间α以外的部分分配的输出电平的最大值大的规定的灰度的输出电平。并且，在主要区域和第2亮度区域之间的亮度范围中的不在区间α或区间β的像素中，以比对区间α分配的等级数少的等级数，分配与输入电平对应的输出电平，或者与输入电平无关，分配对区间α分配的输出电平的最大值。
并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，即以与区间α相同或大致相同的等级数，对区间β的像素分配比与区间β相比亮度低的亮度范围中的输出电平的最大值大的规定的灰度的输出电平。并且，根据输入电平，对在第2亮度区域的亮度范围内的区间β以外的像素，分配从对区间β分配的灰度的最大值到整体的最大输出电平的灰度的输出电平。换言之，对在第2亮度区域的亮度范围内的区间β以外的像素，分配与主要区域中的区间α以外的部分相同或大致相同的等级数、即比区间α和区间β多的等级数的输出电平。而且，对比第2亮度区域的亮度高的像素，与输入电平无关地分配对第2亮度区域分配的输出电平的最大值、即最大输出电平。
另外，在图6C中，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间β，但是，例如也可以将主要区域的亮度范围内的上限侧的规定区间设为区间α，将第2亮度区域的亮度范围内的下限侧的规定区间设为区间β，或者，将比主要区域的亮度范围的上限的亮度高的规定区间设为区间α，将比第2亮度区域的亮度范围的下限的亮度低的规定区间设为区间β。进而，还可以设定如下的区域：在主要区域的亮度的下限侧和第2亮度区域的亮度的上限侧，分配与区间α和区间β相同的输出电平的等级数。
并且，在图6中，所有具有主要区域的亮度范围以下的亮度的像素为输出0(漆黑)，所有具有第2亮度区域的亮度范围以上的亮度的范围的像素为与第2亮度区域的亮度范围的最高亮度相同的输出电平(最大输出电平)，但是在主要区域的亮度范围以下和第2亮度区域的亮度范围以上的各个亮度范围中，也可以分配某种程度的输出电平的等级数。
即，输出电平转换处理部135例如如图7A所示，能够相对于输入电平转换输出电平。即，在亮度的输入电平比主要区域的亮度范围低的像素中，根据输入电平，分配从0(即漆黑)到比对主要区域分配的等级数少的规定等级数的输出电平。而且，根据输入电平，对主要区域亮度范围内的像素分配规定的灰度的输出电平。并且，主要区域和第2亮度区域之间的亮度范围的像素与输入电平无关，以对主要区域分配的输出电平的最大值输出。对第2亮度区域内的像素，根据输入电平，以与主要区域相同或大致相同的等级数，分配从对主要区域分配的输出电平的最大值到规定的灰度的输出电平。而且，对比第2亮度区域的亮度高的像素，从对第2亮度区域的亮度范围分配的输出电平的最大值到最大输出电平，以比对主要区域和第2亮度区域分配的等级数少的等级数，分配与输入电平对应的输出电平。
并且，输出电平转换处理部135例如如图7B所示，能够相对于输入电平转换输出电平。即，在亮度的输入电平比主要区域的亮度范围低的像素中，根据输入电平，分配从0(即漆黑)到比对主要区域分配的等级数少的规定等级数的输出电平。而且，根据输入电平，对主要区域亮度范围内的像素分配规定的灰度的输出电平。并且，在主要区域和第2亮度区域之间的亮度范围的像素中，以比对主要区域分配的等级数少的等级数，分配与输入电平对应的输出电平。对第2亮度区域内的像素，根据输入电平，以与主要区域相同或大致相同的等级数，分配从对主要区域和第2亮度区域之间亮度范围分配的输出电平的最大值到规定的灰度的输出电平。而且，对比第2亮度区域的亮度高的像素，从对第2亮度区域的亮度范围分配的输出电平的最大值到最大输出电平，以比对主要区域分配的等级数少的等级数，分配与输入电平对应的输出电平。
并且，输出电平转换处理部135例如如图7C所示，能够相对于输入电平转换输出电平。即，在亮度的输入电平比主要区域的亮度范围低的像素中，根据输入电平，分配从0(即漆黑)到比对主要区域分配的等级数少的规定等级数的输出电平。而且，根据输入电平，对主要区域亮度范围内且区间α以外的像素分配规定的灰度的输出电平。并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，对区间α的像素分配比对主要区域的区间α以外的部分分配的输出电平的最大值大的规定的灰度的输出电平。并且，在主要区域和第2亮度区域之间的亮度范围中的不在区间α或区间β的像素中，以比对区间α分配的等级数少的等级数，分配与输入电平对应的输出电平，或者与输入电平无关，分配对区间α分配的输出电平的最大值。
并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，对区间β的像素分配比与区间β相比亮度低的亮度范围中的输出电平的最大值大的规定灰度的输出电平。并且，对在第2亮度区域的亮度范围内的区间β以外的像素，根据输入电平，以与主要区域的区间α以外的亮度范围相同或大致相同的等级数，分配从对区间β分配的灰度的最大值到规定灰度的输出电平。而且，对比第2亮度区域的亮度高的像素，从对第2亮度区域的亮度范围分配的输出电平的最大值到最大输出电平，以比对主要区域的区间α以外的部分分配的等级数少的等级数，分配与输入电平对应的输出电平。
另外，在图7C中，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间β，但是，例如也可以将主要区域的亮度范围内的上限侧的规定区间设为区间α，将第2亮度区域的亮度范围内的下限侧的规定区间设为区间β，或者，将比主要区域的亮度范围的上限的亮度高的规定区间设为区间α，将比第2亮度区域的亮度范围的下限的亮度低的规定区间设为区间β。进而，还可以设定如下的区域：在主要区域的亮度的下限侧和第2亮度区域的亮度的上限侧，分配与区间α和区间β相同的输出电平的等级数。
进而，输出电平转换处理部135例如也可以决定对各个亮度区域分配的灰度等级数，使得与主要区域和第2亮度区域中的输出电平相对于输入电平的比率(直线的斜率)相比，这些亮度区域以外的亮度范围中的输出电平相对于输入电平的比率低。
如以上说明的那样，图像生成部93-1中所设定的主要区域和第2亮度区域不是预先确定的亮度范围，而是根据所拍摄的图像而设定的。即，图像生成部93-1所生成的图像为如下的图像：在所拍摄的图像整体中，例如占据画面多的被摄体等对用户识别图像最重要的亮度范围，以及在比该亮度范围的亮度高的范围中，特别是占据画面多的亮度范围中，分配有限的灰度数中的大部分。
使用图8说明输入信号、输出电平转换处理部135进行的灰度转换后的信号以及所显示的信号的亮度电平。
图8A是表示进行使用图6A说明的灰度转换时的输入信号、输出电平转换处理部135进行灰度转换后的信号、以及在显示器82上显示的或为了进行印刷、图像识别、记录或图像通信等处理而向图像利用装置83输出的信号的亮度电平的图。在图8A所示的情况下，在对离散的亮度范围即主要区域和第2亮度区域的信号充分赋予各个亮度灰度宽度(区域内的灰度的最大值和最小值之间的等级数)的状态下，转换为连续的亮度灰度。主要区域和第2亮度区域之间的亮度范围的像素全部以主要区域的最大输出电平输出。而且，根据显示或向图像利用装置83输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。具体而言，例如在显示器82能够以256灰度来显示图像的情况下，显示控制部94将从图像生成部93-1提供的信号、即输出电平转换处理部135进行灰度转换后的信号转换为256灰度的信号。并且，当图像利用装置83在图像识别处理、即从所提供的图像中检测特定对象物(例如人类和车辆等)而执行的图像处理中用于处理的灰度数为256灰度的情况下，输出控制部95将从图像生成部93-1提供的信号、即输出电平转换处理部135进行灰度转换后的信号转换为256灰度的信号。
图8B是表示进行了使用图6B说明的灰度转换时的输入信号、输出电平转换处理部135进行灰度转换后的信号、以及在显示器82上显示的或向图像利用装置83输出的信号的亮度电平的图。在图8B所示的情况下，对主要区域和第2亮度区域之间的区域仅赋予比主要区域和第2亮度区域的等级数少的等级数的灰度。因此，虽然转换后的信号的亮度的灰度数相比输入信号大幅压缩了主要区域和第2亮度区域之间的区域的等级数少的部分，但是，也能对主要区域和第2亮度区域的信号赋予充分的亮度灰度宽度。而且，根据显示或向图像利用装置83输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。
图8C是表示进行了使用图6C说明的灰度转换时的输入信号、输出电平转换处理部135进行灰度转换后的信号、以及在显示器82上显示的或向图像利用装置83输出的信号的亮度电平的图。在图8C所示的情况下，在主要区域、第2亮度区域以及它们之间的区域中，通过上述的区间α和区间β，使所分配的亮度的灰度数平稳地变化，即，在区间α和区间β中，赋予比主要区域和第2亮度区域的等级数少的等级数的灰度。因此，在对主要区域和第2亮度区域赋予充分的亮度灰度宽度的状态下，在转换后的信号中，亮度的灰度数相比输入信号大幅压缩。而且，根据显示或向图像利用装置83输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。
下面，参照图9的流程图，说明在使用了图5说明的图像生成部93-1的图像处理装置81中执行的图像显示处理1。
在步骤S1中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-1。图像生成部93-1取得所拍摄的图像信号。
在步骤S2中，图像生成部93-1的平均亮度计算部131求出所拍摄的图像整体的平均亮度，将计算结果提供给主要区域亮度范围设定部132。
在步骤S3中，主要区域亮度范围设定部132根据从平均亮度计算部131提供的图像整体的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给输出电平转换处理部135和第2亮度区域亮度平均值计算部133。
主要区域亮度范围设定部132例如可以将以图像信号的平均亮度为中心的规定亮度范围作为主要区域的亮度范围，也可以以图像信号的平均亮度的像素为中心，按照顺序，从具有接近该亮度的亮度值的像素中选择规定位数的像素作为主要区域的亮度范围。
在步骤S4中，第2亮度区域亮度平均值计算部133求出从摄像部91提供的图像信号中、比主要区域亮度范围设定部132所设定的主要区域的亮度范围明亮的区域的平均亮度，将其结果提供给第2亮度区域亮度范围设定部134。
在步骤S5中，第2亮度区域亮度范围设定部134根据比从第2亮度区域亮度平均值计算部133提供的主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部135。
第2亮度区域亮度范围设定部134例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定亮度范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第2亮度区域的亮度范围。
在步骤S6中，输出电平转换处理部135根据主要区域亮度范围设定部132所设定的主要区域的亮度范围以及第2亮度区域亮度平均值计算部133所设定的第2亮度区域的亮度范围，决定例如使用图6或图7说明的输入电平和输出电平的转换特性。
在步骤S7中，输出电平转换处理部135根据在步骤S6中所决定的转换特性，转换从摄像部91提供的摄像图像的灰度，并提供给输出控制部95。
在步骤S8中，如使用图8说明的那样，输出控制部95将所提供的图像信号转换为适合于图像利用装置83可执行的处理的灰度。
在步骤S9中，输出控制部95控制转换为适合于图像利用装置83可执行的处理的灰度的、转换后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S1～步骤S7中执行基本相同的处理，将图像信号提供给显示控制部94，转换为在显示器82中可处理的灰度来输出，并控制其显示。
通过这种处理，即使在以与图像利用装置82对应的灰度来输出使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据时，也能够生成如下的图像数据：对分散存在于宽亮度范围中的用户需要的图像信息进行亮度压缩，以确保必要的亮度区域的亮度的灰度数，并易于由图像利用装置82进行处理。
例如，当拍摄在隧道内的隧道出口附近行驶的车辆前面的图像，并能够在显示器上显示所拍摄的图像的情况下，
(1)对于采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，不使用具有图像生成部93-1的图像处理装置81进行处理，而以原本的灰度特性进行显示输出。
(2)对于具有以往的CCD照相机在通常的曝光控制中拍摄的图像，进行显示输出，而不进行合成等处理。
(3)对于采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，使用具有图像生成部93-1的图像处理装置81进行处理后，进行显示输出。
在以上各个条件中，参照图10～图12说明显示图像的差异。
首先，图10示出对于采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，不使用具有图像生成部93-1的图像处理装置81进行处理时的显示图像的例子。采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像不产生白斑或黑斑，但是，因为将非常宽的动态范围转换为显示装置可处理的灰度，所以显示出没有浓淡差异(没有轮廓)的图像。
即使通过对数转换型摄像元件102拍摄的亮度宽度很宽，也没有一般的显示装置可显示的图像的灰度数能够忠实地进行显示的宽度那么宽。具体而言，在图10的情况下，以相同的灰度或比使用了CCD的情况少的灰度数，来显示例如在以路面的明亮度为基准进行曝光的CCD所拍摄的图像中显示为不同的灰度的像素。
另外，即使在可通过对数转换型摄像元件102拍摄的动态范围中、所获得的摄像图像的亮度的最大值和最小值之间，进行灰度转换，也会在一个画面中的亮度差异很大的情况下(例如在图10的情况下，隧道内的路面和隧道外的各个部分的亮度的差异非常大)，同样地显示出没有浓淡差异的图像。
接着，图11示出显示利用以往的CCD照相机通过通常的曝光控制所拍摄的图像时的显示图像的例子。例如，以占据所拍摄的图像的大部分的、隧道内的路面的明亮度为基准来设定CCD照相机的曝光时，如图11所示，所获得的图像中的、与隧道内的路面相比极端明亮的隧道外的图像产生白斑。另外，将曝光时间设定得非常短时，隧道外的部分虽然不会如图11所示产生白斑，但是，与隧道外的部分相比，亮度大幅降低的隧道内的部分产生黑斑，难以识别显示图像的对应的部分。
而且，图12示出对于采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，使用具有图像生成部93-1的图像处理装置81进行处理时的显示图像的例子。这样，拍摄在隧道内的隧道出口附近行驶的车辆前面的图像时，将车辆前面的道路部分的亮度周边设定为主要区域的亮度范围。而且，作为比主要区域的亮度高的像素中的主要部分，将隧道外的部分设定为第2亮度区域。即，在使用了具有图像生成部93-1的图像处理装置81的图像转换中，在所拍摄的图像中的、与隧道内对应的亮度范围和与隧道外对应的亮度范围中，分配用户易于识别的灰度等级数。因此，使用具有图像生成部93-1的图像处理装置81进行处理时的显示图像与使用图10或图11说明的情况相比，能够以用户易于识别地方式，显示所拍摄的图像中的主要部分(这里为车辆的整个面的道路部分)和与其离散的亮度范围中的主要部分(这里为隧道外的部分)。
由此，以宽动态范围拍摄的图像中的用户需要的信息以用户容易识别的方式，即以分配充分的灰度等级数进行显示的方式被转换。
同样，考虑将在上述3个条件中所获得的图像提供给图像利用装置83进行处理的情况。
例如，因为以14bit进行A/D转换的宽动态范围图像包含非常宽的亮度带域，所以在以往的图像利用装置83执行的处理中，有时无法充分地达成目的。例如，在对以14bit进行A/D转换的宽动态范围图像数据，实施了与通常的图像数据同样进行微分处理的拉普拉斯转换处理的情况下，与对比度非常低的图像一样，只能获得噪声状的结果。并且，在对以14bit进行A/D转换的宽动态范围图像数据进行二值化处理的情况下，因为能够作为阈值的亮度的侯选非常多，所以处理量骤然增大。这样，为了使用宽动态范围图像数据进行一般的图像处理，有时需要大幅变更以往执行的图像处理的过程。
与此相对，对于采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，使用具有图像生成部93-1的图像处理装置81进行处理后，通过提供给图像利用装置83，在图像利用装置83中，有时能够直接执行以往的图像处理的过程。
作为一个例子，考虑将在上述3个条件中所获得的图像提供给图像利用装置83，用于图像利用装置83执行图像识别处理的情况。
在图10所示的图像中，当要检测存在于隧道外的车辆时，所获得的图像数据的动态范围为没有余地的宽度，但是因为几乎没有各个对象物的亮度的浓淡差异，所以即使进行该图像提取所需要的处理(例如，边缘检测、拉普拉斯转换)，对象物的检测精度也非常低。而且，在图11所示的图像中，即使在要检测存在于隧道外的车辆时，因为无法获得需要的亮度区域的数据，所以产生误检测。
与此相对，在图12所示的图像中，因为赋予充分的亮度灰度等级数来提供将要检测存在于隧道外的车辆所需要的亮度区域的数据，所以能够精度良好地识别对象物。
并且，在图像利用装置82执行所生成的图像数据的发送或记录等处理的情况下，能够在当前状态下发送或记录采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，但是，因为采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像的数据容量非常多，所以，根据所记录的图像数据或所发送的图像数据的使用目的，可能白白浪费有限的记录容量或收发路径的通信量。所以，优选根据所记录的图像数据或所发送的图像数据的使用目的，主要对所使用的亮度区域分配灰度等级数，能够节约记录容量或收发路径的通信量。
并且，在使用了对数转换型摄像元件102的情况下，利用一次摄像就能够获得宽动态范围的图像。因此，对采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像使用具有图像生成部93-1的图像处理装置81进行处理的情况，与通过对使用以往的CCD在不同的快门时间拍摄的图像进行合成等来获得宽动态范围的图像的情况相比，特别能够容易地提高动态图像的帧速率。
并且，通过对采用使用了对数转换型摄像元件102的摄像部91拍摄的宽动态范围的图像，使用具有图像生成部93-1的图像处理装置81进行处理，由此例如如图13所示，即使在拍摄夜间在街上行驶的车辆前面的图像，并在显示器上显示所拍摄的图像的情况下，包含其他车辆的头灯、尾灯或街灯等具有与画面上大部分的亮度值离散的亮度值的像素的图像，也不会产生白斑和黑斑，而且分配充分的灰度来显示用户需要的图像信息、或对用户需要的图像信息进行图像处理，而不会因为头灯、尾灯或街灯等高亮度的像素而难以识别。
以上说明的图像生成部93-1说明了对主要区域的亮度范围、和比主要区域的亮度范围的亮度高的范围中的主要部分即第2亮度区域的亮度范围，分配多个灰度等级数的情况。与此相对，说明所设定的亮度范围不是主要区域的亮度范围和第2亮度区域的亮度范围这两者的情况。
接着，图14是表示图2的图像生成部93的结构的第2例即图像生成部93-2的结构的框图。图像生成部93-2设定3个亮度区域，即除了主要区域的亮度范围以外，还设定比主要区域的亮度范围的亮度高的范围中的主要部分即第2亮度区域的亮度范围、以及比主要区域的亮度范围的亮度低的范围中的主要部分即第3亮度区域的亮度范围，对所设定的3个亮度区域分配多个灰度等级数。
另外，对与图5的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图14的图像生成部93-2具有与使用图5说明的图像生成部93-1基本相同的平均亮度计算部131和主要区域亮度范围设定部132，省略了图像生成部93-1的第2亮度区域亮度平均值计算部133和第2亮度区域亮度范围设定部134，新设置了高亮度区域亮度平均值计算部161、高亮度区域亮度范围设定部162、低亮度区域亮度平均值计算部163、和低亮度区域亮度范围设定部164，代替输出电平转换处理部135而设有输出电平转换处理部165。
高亮度区域亮度平均值计算部161取得从摄像部91提供的图像信号，计算所取得的图像信号中比主要区域亮度范围设定部132所设定的主要区域的亮度范围的亮度高的范围的像素的平均亮度，并将计算结果提供给高亮度区域亮度范围设定部162。
高亮度区域亮度范围设定部162根据从高亮度区域亮度平均值计算部161提供的比主要区域的亮度范围的亮度高的范围的像素的平均亮度，设定比主要区域的亮度高的第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部165。
高亮度区域亮度范围设定部162例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定亮度范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第2亮度区域的亮度范围。
低亮度区域亮度平均值计算部163取得从摄像部91提供的图像信号，计算所取得的图像信号中比主要区域亮度范围设定部132所设定的主要区域的亮度范围的亮度低的范围的像素的平均亮度，并将计算结果提供给低亮度区域亮度范围设定部164。
低亮度区域亮度范围设定部164根据从低亮度区域亮度平均值计算部163提供的比主要区域的亮度范围的亮度低的范围的像素的平均亮度，设定比主要区域的亮度低的第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给输出电平转换处理部165。
低亮度区域亮度范围设定部164例如可以将以比主要区域的亮度范围的亮度低的范围的像素的平均亮度为中心的规定亮度范围作为第3亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度低的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第3亮度区域的亮度范围。
输出电平转换处理部165取得从摄像部91提供的图像信号，根据从主要区域亮度范围设定部132提供的主要区域的亮度范围、从高亮度区域亮度范围设定部162提供的第2亮度区域的亮度范围、以及从低亮度区域亮度范围设定部164提供的第3亮度区域的亮度范围的信息，转换所取得的图像信号的输出电平。
具体而言，输出电平转换处理部165例如如图15A所示，能够相对于输入电平转换输出电平。即，亮度的输入电平比第3亮度区域低的像素与输入电平无关，输出电平为0(即漆黑)。而且，根据输入电平，对第3亮度区域内、主要区域内以及第2亮度区域内的像素分配规定的灰度的输出电平。并且，第3亮度区域和主要区域之间的亮度范围、以及主要区域和第2亮度区域之间的亮度范围的像素与输入电平无关，以该范围之前分配的输出电平输出。而且，对比第2亮度区域的亮度高的像素，分配成为对第2亮度区域的亮度范围分配的输出电平的最大值的输出电平。
并且，输出电平转换处理部165例如如图15B所示，能够相对于输入电平转换输出电平。即，亮度的输入电平比第3亮度区域低的像素与输入电平无关，输出电平为0(即漆黑)。而且，根据输入电平，对第3亮度区域内、主要区域内以及第2亮度区域内的像素分配规定的灰度的输出电平。并且，第3亮度区域和主要区域之间的亮度范围、以及主要区域和第2亮度区域之间的亮度范围的像素，以比对主要区域等分配的等级数少的等级数，分配与输入电平对应的输出电平。而且，对比第2亮度区域的亮度高的像素，分配成为对第2亮度区域分配的输出电平的最大值的输出电平。
并且，输出电平转换处理部165例如如图15C所示，能够相对于输入电平转换输出电平。即，输出电平转换处理部165例如将以第3亮度区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以主要区域的亮度的下限值为中心的规定的亮度范围设为区间β，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间γ，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间δ。而且，亮度的输入电平比第3亮度区域低的像素与输入电平无关，输出电平为0(即漆黑)。根据输入电平，对第3亮度区域内且区间α以外的像素、主要区域亮度的范围内且区间β或区间γ以外的像素、以及第2亮度区域的范围内且区间δ以外的像素，分配规定的灰度的输出电平。并且，对在区间α、区间β、区间γ和区间δ的像素，分配比对主要区域亮度范围等内且区间α～区间δ以外的部分分配的等级数少的等级数的规定的灰度的输出电平。而且，对比第2亮度区域的亮度高的像素，分配成为对第2亮度区域分配的输出电平的最大值的输出电平。
另外，在图15C中，将以第3亮度区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以主要区域的亮度的下限值为中心的规定的亮度范围设为区间β，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间γ，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间δ，但是，例如也可以将第3亮度区域内的上限侧的规定的亮度范围设为区间α，将主要区域内的下限侧的规定的亮度范围设为区间β，将主要区域内的上限侧的规定的亮度范围设为区间γ，将第2亮度区域内的下限侧的规定的亮度范围设为区间δ，或者，将比第3亮度区域的上限的亮度高的规定的亮度范围设为区间α，将比主要区域的下限的亮度低的规定的亮度范围设为区间β，将比主要区域的上限的亮度高的规定的亮度范围设为区间γ，比第2亮度区域的下限的亮度低的规定的亮度范围设为区间δ。进而，还可以设定如下的区域：在第3亮度区域的亮度的下限侧和第2亮度区域的亮度的上限侧，分配与区间α～区间δ相同的输出电平的等级数。
并且，在图15中，说明了在比第3亮度区域的亮度低以及比第2亮度区域的亮度高的范围中不分配输出电平的等级数(灰度等级数)的情况。与此相对，输出电平转换处理部165例如与使用图7说明的情况同样，也可以在比第3亮度区域的亮度低以及比第2亮度区域的亮度高的范围中，分配比主要区域、第2亮度区域和第3亮度区域少的等级数。
进而，输出电平转换处理部165例如也可以决定对各个亮度区域分配的灰度等级数，以使与主要区域、第2亮度区域和第3亮度区域中的输出电平相对于输入电平的比率(直线的斜率)相比，这些区域以外的亮度范围中的输出电平相对于输入电平的比率低。
接着，使用图16说明输入信号、输出电平转换处理部165进行的灰度转换后的信号以及所显示的信号的亮度电平。
图16A是表示进行使用图15A说明的灰度转换时的输入信号、输出电平转换处理部165进行灰度转换后的信号、以及在显示器82上显示的或为了进行印刷、图像识别、记录或图像通信等处理而向图像利用装置83输出的信号的亮度电平的图。在图16A所示的情况下，在充分赋予了离散的亮度范围即主要区域、第2亮度区域和第3亮度区域的信号的亮度灰度宽度的状态下，转换为连续的亮度灰度。第3亮度区域和主要区域之间的亮度范围的像素全部以第3亮度区域的最大输出电平输出，主要区域和第2亮度区域之间的亮度范围的像素全部以主要区域的最大输出电平输出。而且，根据显示或向图像利用装置83输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。
图16B是表示进行使用图15B说明的灰度转换时的输入信号、输出电平转换处理部165进行灰度转换后的信号、以及在显示器82上显示的或向图像利用装置83输出的信号的亮度电平的图。在图16B所示的情况下，在第3亮度区域和主要区域之间、以及主要区域和第2亮度区域之间的区域，仅赋予比主要区域、第2亮度区域和第3亮度区域的等级数少的等级数的灰度。因此，虽然转换后的信号的亮度的灰度数相比输入信号大幅压缩了第3亮度区域和主要区域之间、以及主要区域和第2亮度区域之间的区域的等级数少的部分，但是，也能充分赋予主要区域、第2亮度区域和第3亮度区域的信号的亮度灰度宽度。而且，根据显示或向图像利用装置83输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。
图16C是表示进行使用图15C说明的灰度转换时的输入信号、输出电平转换处理部165进行灰度转换后的信号、以及在显示器82上显示的或向图像利用装置83输出的信号的亮度电平的图。在图16C所示的情况下，在主要区域、第2亮度区域、第3亮度区域以及它们之间的区域中，通过上述的区间α～区间δ，使所分配的亮度的灰度等级数平稳地变化，即，在区间α～区间δ中，赋予比主要区域、第2亮度区域和第3亮度区域的区间α～区间δ以外的部分的等级数少的等级数的灰度。因此，在对主要区域、第2亮度区域和第3亮度区域赋予充分的亮度灰度宽度的状态下，在转换后的信号中，亮度的灰度数相比输入信号大幅压缩。而且，根据显示或向图像利用装置83输出的条件，对转换后的信号进行灰度转换(灰度数压缩)。
下面，参照图17的流程图，说明在包含图14的图像生成部93-2的图像处理装置81中执行的图像显示处理2。
在步骤S31中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-2。图像生成部93-2取得所拍摄的图像信号。
在步骤S32中，图像生成部93-2的平均亮度计算部131求出所拍摄的图像整体的平均亮度，将计算结果提供给主要区域亮度范围设定部132。
在步骤S33中，主要区域亮度范围设定部132根据从平均亮度计算部131提供的图像整体的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给输出电平转换处理部165、高亮度区域亮度平均值计算部161和低亮度区域亮度平均值计算部163。
主要区域亮度范围设定部132例如可以将以图像信号的平均亮度为中心的规定亮度范围作为主要区域的亮度范围，也可以以图像信号的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为主要区域的亮度范围。
在步骤S34中，高亮度区域亮度平均值计算部161求出从摄像部91提供的图像信号中、比主要区域亮度范围设定部132所设定的主要区域的亮度范围明亮的区域的平均亮度，将其结果提供给高亮度区域亮度范围设定部162。
在步骤S35中，高亮度区域亮度范围设定部162根据比从高亮度区域亮度平均值计算部161提供的主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部165。
高亮度区域亮度范围设定部162例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定亮度范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第2亮度区域的亮度范围。
在步骤S36中，低亮度区域亮度平均值计算部163求出从摄像部91提供的图像信号中、比主要区域亮度范围设定部132所设定的主要区域的亮度范围暗淡的区域的平均亮度，将其结果提供给低亮度区域亮度范围设定部164。
在步骤S37中，低亮度区域亮度范围设定部164根据比从低亮度区域亮度平均值计算部163提供的主要区域的亮度范围暗淡的区域的平均亮度，设定第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给输出电平转换处理部165。
低亮度区域亮度范围设定部164例如可以将以比主要区域的亮度范围的亮度低的范围的像素的平均亮度为中心的规定亮度范围作为第3亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度低的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第3亮度区域的亮度范围。
在步骤S38中，输出电平转换处理部165根据主要区域亮度范围设定部132所设定的主要区域的亮度范围、高亮度区域亮度范围设定部162所设定的第2亮度区域的亮度范围以及低亮度区域亮度范围设定部164所设定的第3亮度区域的亮度范围，决定例如使用图15说明的输入电平和输出电平的转换特性。
在步骤S39中，输出电平转换处理部165根据在步骤S39中所决定的转换特性，转换从摄像部91提供的所拍摄的图像的灰度，并提供给输出控制部95。
在步骤S40中，如使用图16说明的那样，输出控制部95将所提供的图像信号转换为适合于图像利用装置83可执行的处理的灰度。
在步骤S41中，输出控制部95控制转换为适合于图像利用装置83可执行的处理的灰度的、转换后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S31～步骤S39中执行基本相同的处理，将图像信号提供给显示控制部94，转换为在显示器82中可处理的灰度来输出，并控制其显示。
通过这种处理，在使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据中，即使在宽亮度范围特别是从主亮度范围离散的高亮度和低亮度的区域都存在用户需要的图像信息的情况下，在以与显示器82对应的灰度来显示这种图像，或以与图像利用装置83执行的处理对应的灰度输出时，也能够生成可以显示或印刷输出为用户可识别的状态，或者图像利用装置83容易处理的图像数据。
包含图14的图像生成部93-2的图像处理装置81所显示的图像具体而言，例如如图18所示，所拍摄的图像的很大部分是路面，在视角中包含比该路面的亮度高很多的高亮度的天空部分，进而视角中还包含比路面的亮度低很多的低亮度的穿着黑套装的人的情况下，在与路面、天空和穿着黑套装的人分别对应的亮度附近，分配多个灰度等级数。因此，通过使用包含图14的图像生成部93-2的图像处理装置81，在图像显示处理中，虽然显示或拍摄了天空部分产生白斑而难以识别的图像，但是能够防止产生黑斑地显示穿着黑套装的人而使用户无法判别的情况，或者在图像识别处理中，能够防止用户无法识别(或提取)穿着黑套装的人的情况。
进而，同样，包含图14的图像生成部93-2的图像处理装置81所显示的图像具体而言，例如如图19所示，所拍摄的图像的很大部分是隧道内暗淡的路面，在视角中包含比该路面的亮度稍微高一些的高亮度的隧道内的白色墙壁，和亮度高很多的高亮度的隧道外的部分，进而，视角中还包含比隧道内的路面的亮度低很多的低亮度的隧道内黑色的车辆的情况下，在与隧道内的路面、隧道的墙壁和隧道的外面、以及隧道内黑色的车辆分别对应的亮度附近，分配多个灰度等级数。通过使用包含图14的图像生成部93-2的图像处理装置81，例如，在图像显示处理中，虽然显示或拍摄了隧道外的部分产生白斑而难以识别的图像，但是能够防止产生黑斑地显示隧道内黑色的车辆而使用户难以判别的情况，在图像识别处理中，能够防止无法提取隧道外部分的车辆、护栏等或隧道中黑色车辆作为识别对象物的情况。
进而，在图像生成部93中，还可以设定3个以上的区域，使对所设定的区域和没有设定的区域分配的灰度等级数不同。
接着，图20是表示图2的图像生成部93的结构的第3例即图像生成部93-3的结构的框图。图像生成部93-3除了主要区域的亮度范围以外，还设定多个亮度区域和它们的亮度范围，可对所设定的多个亮度范围分配比没有设定的亮度范围多的灰度等级数。
另外，对与图5的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图20的图像生成部93-3具有与使用图5说明的图像生成部93-1基本相同的平均亮度计算部131和主要区域亮度范围设定部132，省略了图像生成部93-1的第2亮度区域亮度平均值计算部133和第2亮度区域亮度范围设定部134，新设置了第2亮度区域亮度平均值计算部181、第2亮度区域亮度范围设定部182、第3亮度区域亮度平均值计算部183、第3亮度区域亮度范围设定部184、第4亮度区域亮度平均值计算部185和第4亮度区域亮度范围设定部186，代替输出电平转换处理部135，设有输出电平转换处理部187。
第2亮度区域亮度平均值计算部181计算从摄像部91提供的图像信号中、具有主要区域亮度范围设定部132所设定的主要区域的亮度范围以外的规定范围(例如，进一步对比主要区域的亮度范围的亮度高的范围进行二分割，其最高亮度的部分等)中所包含的亮度的像素的平均亮度，并将计算结果提供给第2亮度区域亮度范围设定部182。
第2亮度区域亮度范围设定部182根据从第2亮度区域亮度平均值计算部1 81提供的具有主要区域以外的规定范围中所包含的亮度的像素的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部187。
第2亮度区域亮度范围设定部182例如可以将以具有规定范围的亮度的像素的平均亮度为中心的规定亮度的范围作为第2亮度区域的亮度范围，也可以以具有规定范围的亮度的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第2亮度区域的亮度范围。
第3亮度区域亮度平均值计算部183计算从摄像部91提供的图像信号中、具有主要区域亮度范围设定部132所设定的主要区域的亮度范围以外的规定范围(例如，进一步对比主要区域的亮度范围的亮度高的范围进行二分割，二分割后的低亮度的部分等)中所包含的亮度的像素的平均亮度，并将计算结果提供给第3亮度区域亮度范围设定部184。
第3亮度区域亮度范围设定部184根据从第3亮度区域亮度平均值计算部183提供的具有主要区域以外的规定范围中所包含的亮度的像素的平均亮度，设定第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给输出电平转换处理部187。
第3亮度区域亮度范围设定部184例如可以将以具有规定范围的亮度的像素的平均亮度为中心的规定亮度的范围作为第3亮度区域的亮度范围，也可以以具有规定范围的亮度的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第3亮度区域的亮度范围。
第4亮度区域亮度平均值计算部185计算从摄像部91提供的图像信号中、具有主要区域亮度范围设定部132所设定的主要区域的亮度范围以外的规定范围(例如，进一步对比主要区域的亮度范围的亮度低的范围进行二分割，二分割后的低亮度的部分等)中所包含的亮度的像素的平均亮度，并将计算结果提供给第4亮度区域亮度范围设定部186。
第4亮度区域亮度范围设定部186根据从第4亮度区域亮度平均值计算部185提供的具有主要区域以外的规定范围中所包含的亮度的像素的平均亮度，设定第4亮度区域的亮度范围，将所设定的第4亮度区域的亮度范围提供给输出电平转换处理部187。
第4亮度区域亮度范围设定部186例如可以将以具有规定范围的亮度的像素的平均亮度为中心的规定亮度的范围作为第4亮度区域的亮度范围，也可以以具有规定范围的亮度的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定位数的像素作为第4亮度区域的亮度范围。
输出电平转换处理部187取得从摄像部91提供的图像信号，根据从主要区域亮度范围设定部132提供的主要区域的亮度范围、从第2亮度区域亮度范围设定部182提供的第2亮度区域的亮度范围、从第3亮度区域亮度范围设定部184提供的第3亮度区域的亮度范围、以及从第4亮度区域亮度范围设定部186提供的第4亮度区域的亮度范围的信息，转换所取得的图像信号的输出电平。
输出电平转换处理部187对所输入的亮度信号的电平分配规定等级数的输出电平信号(以规定的灰度等级数分配亮度时的各个亮度灰度电平的信号)，输出所分配的输出电平的信号。与例如使用图6、图7或图15说明的情况同样，输出电平转换处理部187使输出电平信号的亮度灰度电平的分配，在设定为主要区域和其他区域的亮度范围以及除此之外的范围中不同。即，输出电平转换处理部187对设定为主要区域和其他区域的亮度范围分配更多的输出电平的等级数，执行使对应的亮度范围的像素的灰度数变多、用户能够更好地识别显示或印刷输出的图像中相对应的亮度范围的部分的转换处理。
另外，在图20中示出了除了主要区域以外，用于设定第2～第4亮度区域的第2亮度区域亮度平均值计算部181、第2亮度区域亮度范围设定部182、第3亮度区域亮度平均值计算部183、第3亮度区域亮度范围设定部184、第4亮度区域亮度平均值计算部185和第4亮度区域亮度范围设定部186，但是，也可以设置其他的亮度区域亮度平均值计算部和亮度区域亮度范围设定部，以使图像生成部93-3能够设定更多的亮度区域。
并且，图20的图像生成部93-3执行的处理与使用图17说明的图像显示处理2的处理基本相同，因为与增加了所设定的区域数的情况相对应，所以省略其说明。
以上说明的图像生成部93-1～图像生成部93-3根据所拍摄的图像整体亮度的平均值，设定主要区域。与此相对，也可以根据所拍摄的图像中预先确定的区域中包含的像素的亮度的平均值，设定主要区域。
图2 1是表示图2的图像生成部93的结构的第4例即图像生成部93-4的结构的框图。图像生成部93-4切出所拍摄的图像中预先确定的区域中包含的像素，根据所切出的区域的亮度的平均值，设定主要区域。
另外，对与图5的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图21的图像生成部93-4除了代替平均亮度计算部131而设置主要区域切出部201和主要区域亮度平均值计算部202以外，具有与图5的图像生成部93-1基本相同的结构。
主要区域切出部201取得从摄像部91提供的图像信号，切出所取得的图像信号中预先设定的图像区域，将所切出的区域的像素提供给主要区域亮度平均值计算部202。
例如，在拍摄行驶中的车辆前面的图像并在显示器上显示所拍摄的图像的情况下，在行驶中拍摄并显示的图像始终发生变化。如上所述，使用在行驶的车中所拍摄的图像整体的平均值来设定主要区域的情况下，极端明亮的部分和极端暗淡的部分进入视角内时，主要区域的亮度范围发生改变，所显示的图像整体的明亮度发生改变。由此，频繁改变占据显示画面的主要部分的路面等的明亮度，驾驶者感知的显示图像的明亮度可能闪烁。并且，在拍摄行驶中的车辆前面的图像，并根据所拍摄的图像检测对象物(车辆、人或者中心线等)的情况下，如上所述，使用在行驶的车中所拍摄的图像整体的平均值来设定主要区域的情况下，极端明亮的部分和极端暗淡的部分进入视角内时，主要区域的亮度范围发生改变，需要每次都改变用于提取对象物的阈值及其他参数。
所以，如图22所示，将主要区域切出部201所切出的图像的区域作为认为是始终拍摄路面的、例如画面中央偏左的靠近下部的区域221。通过将所切出的区域作为认为是始终拍摄相同部分的区域，能够使所显示的图像中占据主要部分的路面的显示的明亮度大致恒定，所以能够防止驾驶者感知的显示图像的明亮度频繁闪烁，或者能够进行处理而不需要每次都改变用于提取对象物的参数。
主要区域亮度平均值计算部202计算从主要区域切出部201提供的、所切出的区域的像素的平均亮度，将平均亮度的计算结果提供给主要区域亮度范围设定部132。
然后，在图21的图像生成部93-4中，根据主要区域亮度平均值计算部202所计算的、所切出的区域的平均亮度设定主要区域的亮度范围，根据主要区域的亮度范围，设定比主要区域的亮度范围的亮度高的范围即第2亮度区域的亮度范围。然后，通过输出电平转换处理部135，对设定为主要区域和第2亮度区域的亮度范围分配更多的输出电平的等级，与使用图6～图8说明的情况同样，执行如下的转换处理：使对应的亮度范围的像素的灰度数变多、从而使用户能够更好地识别显示或印刷输出的图像中相对应的亮度范围的部分，或者生成有利于在图像利用装置83中进行处理的图像数据。
下面，参照图23的流程图，说明在使用了图21的图像生成部93-4的图像处理装置81中执行的图像显示处理3。
在步骤S71中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-4。图像生成部93-4取得所拍摄的图像信号。
在步骤S72中，图像生成部93-4的主要区域切出部201切出从摄像部91提供的图像信号中、例如使用图22说明的预先设定的图像区域，将所切出的区域的像素提供给主要区域亮度平均值计算部202。
在步骤S73中，主要区域亮度平均值计算部202求出从主要区域切出部201提供的、所切出的区域的像素的平均亮度，将计算结果提供给主要区域亮度范围设定部132。
在步骤S74中，主要区域亮度范围设定部132根据从主要区域亮度平均值计算部202提供的、所切出的区域的像素的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给第2亮度区域亮度平均值计算部133和输出电平转换处理部135。
然后，在步骤S75～步骤S80中，执行与图9的步骤S4～步骤S9基本相同的处理。
即，第2亮度区域亮度平均值计算部133求出从摄像部91提供的图像信号中比主要区域的亮度范围明亮的区域的平均亮度，第2亮度区域亮度范围设定部134根据比主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围。
然后，输出电平转换处理部135根据主要区域亮度范围以及第2亮度区域的亮度范围，决定例如使用图6或图7说明的输入电平和输出电平的转换特性，根据转换特性，转换从摄像部91提供的摄像图像的灰度，提供给输出控制部95。如使用图8说明的那样，输出控制部95将所提供的图像信号转换为适合于图像利用装置83可执行的处理的灰度，控制转换后的图像信号向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，执行与步骤S71～步骤S78基本相同的处理，将图像信号提供给显示控制部94，转换为在显示器82中可处理的灰度来输出，并控制其显示。
通过这种处理，即使在希望以与显示器82对应的灰度来显示使用对数转换型摄像元件102的摄像部91所拍摄的图像数据时，或希望以与输出目的地的外部设备对应的灰度输出时，也能够生成如下的图像数据：能够将分散存在于宽亮度范围中的用户需要的图像信息显示为用户可识别的状态或为了印刷或各种处理而向图像利用装置83输出。进而，因为以规定的区域为基准，设定分配了多灰度的亮度范围，所以特别能够防止显示动态图像时，显示图像的明亮度频繁闪烁，或者能够进行处理而不需要每次都改变用于提取对象物的参数。
对以上说明的图像生成部93-4切出所拍摄的图像内的规定区域，根据所切出的区域的像素，设定主要区域的亮度范围，对主要区域的亮度范围、和比主要区域的亮度范围的亮度高的范围中的主要部分即第2亮度区域的亮度范围，分配多个灰度等级数的情况进行了说明。与此相对，对所设定的亮度范围不是主要区域的亮度范围和第2亮度区域的亮度范围这两者的情况进行说明。
接着，图24是表示图2的图像生成部93的结构的第5例即图像生成部93-5的结构的框图。图像生成部93-5切出所拍摄的图像内的规定区域，根据所切出的区域的像素设定主要区域的亮度范围，图像生成部93-5设定3个亮度区域，即除了主要区域的亮度范围以外，还设定比主要区域的亮度范围的亮度高的范围中的主要部分即第2亮度区域的亮度范围、以及比主要区域的亮度范围的亮度低的范围中的主要部分即第3亮度区域的亮度范围，对所设定的3个亮度区域分配多个灰度等级数。
另外，对与图14或图21的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图24的图像生成部93-5具有与使用图21说明时相同的主要区域切出部201和主要区域亮度平均值计算部202，并且具有与使用图14说明时相同的主要区域亮度范围设定部132、高亮度区域亮度平均值计算部161、高亮度区域亮度范围设定部162、低亮度区域亮度平均值计算部163、低亮度区域亮度范围设定部164和输出电平转换处理部165。
图24的图像生成部93-5与使用图21说明的图像生成部93-4同样，切出所拍摄的图像内的规定区域，根据所切出的区域的像素设定主要区域的亮度范围，并且，与使用图14说明的图像生成部93-2同样，设定3个亮度区域，即除了主要区域的亮度范围以外，还设定比主要区域的亮度范围的亮度高的范围中的主要部分即第2亮度区域的亮度范围、以及比主要区域的亮度范围的亮度低的范围中的主要部分即第3亮度区域的亮度范围，对所设定的3个亮度区域分配多灰度等级数。
具体而言，在所拍摄的图像内存在比图像整体的明亮度极端暗淡的部分的情况下，例如，在视角内包含夜间、穿着黑衣服的行人的情况等，希望清楚地显示用户肉眼难以确认的被摄体。特别地，如上所述，在拍摄行驶中的车辆前面的图像，并在显示器上显示所拍摄的图像的情况下，希望根据以宽动态范围拍摄的摄像图像信号，生成能够使驾驶者清楚地识别在夜间穿着黑衣服的行人的显示图像。因此，将所切出的区域作为通过周边的明亮度改变反射光量、并认为是始终拍摄相同部分的区域，由此防止画面闪烁，并能够以驾驶者容易识别的状态来显示驾驶者需要的信息。
参照图25的流程图，说明在包含图24的图像生成部93-5的图像处理装置81中执行的图像显示处理4。
在步骤S101～步骤S103中，执行与图23的步骤S71～步骤S73基本相同的处理。
即，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-5。图像生成部93-5取得所拍摄的图像信号。图像生成部93-5的主要区域切出部201切出从摄像部91提供的图像信号中、例如使用图22说明的预先设定的图像区域，将所切出的区域的像素提供给主要区域亮度平均值计算部202。主要区域亮度平均值计算部202计算从主要区域切出部201提供的、所切出的区域的像素的平均亮度，将计算结果提供给主要区域亮度范围设定部132。
在步骤S104中，主要区域亮度范围设定部132根据从主要区域亮度平均值计算部202提供的、所切出的区域的像素的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给输出电平转换处理部165、高亮度区域亮度平均值计算部161和低亮度区域亮度平均值计算部163。
然后，在步骤S105～步骤S112中，执行与图17的步骤S34～步骤S41基本相同的处理。
即，高亮度区域亮度平均值计算部161求出从摄像部91提供的图像信号中、比主要区域的亮度范围明亮的区域的平均亮度，高亮度区域亮度范围设定部162根据比主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给输出电平转换处理部165。
然后，低亮度区域亮度平均值计算部163求出从摄像部91提供的图像信号中、比主要区域的亮度范围暗淡的区域的平均亮度，低亮度区域亮度范围设定部164根据比主要区域的亮度范围暗淡的区域的平均亮度，设定第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给输出电平转换处理部165。
然后，输出电平转换处理部165根据所设定的主要区域的亮度范围、第2亮度区域的亮度范围以及第3亮度区域的亮度范围，决定例如使用图1 5说明的输入电平和输出电平的转换特性，根据所决定的转换特性，转换从摄像部91提供的所拍摄的图像的灰度，并提供给输出控制部95。如使用图16说明的那样，输出控制部95将所提供的图像信号转换为适合于图像利用装置83可执行的处理的灰度，控制转换为适合于显示元件的灰度的图像信号向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S101～步骤S110中执行基本相同的处理，将图像信号提供给显示控制部94，转换为在显示器82中可处理的灰度来输出，并控制其显示。
通过这种处理，在使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据中，即使在宽亮度范围特别是从主要亮度范围离散的高亮度和低亮度的区域都存在用户需要的图像信息的情况下，也能够在以与显示器82对应的灰度来显示这种图像，或以与图像利用装置83执行的处理对应的灰度输出时，显示为用户可识别的状态，或生成适合于印刷输出、图像识别处理、记录处理、发送处理等的图像数据。进而，因为以规定的区域为基准，设定了分配多灰度等级的三个亮度区域，所以特别能够防止显示动态图像时，显示图像的明亮度频繁闪烁，或者能够防止频繁改变用于图像识别的参数。
进而，在图像生成部93中，还可以切出所拍摄的图像内的规定区域，根据所切出的区域的像素，设定3个以上的区域。而且，图像生成部93能够使对所设定的区域和没有设定的区域分配的灰度等级数不同。
接着，图26是表示图2的图像生成部93的结构的第6例即图像生成部93-6的结构的框图。图像生成部93-6切出所拍摄的图像内的规定区域，根据所切出的区域的像素，设定主要区域的亮度范围，除了主要区域的亮度范围以外，还设定多个亮度区域对应的亮度范围，对所设定的多个亮度范围分配比设定范围以外多的灰度等级数。
另外，对与图20或图21的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图26的图像生成部93-6设有与使用图21说明时相同的主要区域切出部201和主要区域亮度平均值计算部202，并且具有与使用图20说明时相同的主要区域亮度范围设定部132、第2亮度区域亮度平均值计算部181、第2亮度区域亮度范围设定部182、第3亮度区域亮度平均值计算部183、第3亮度区域亮度范围设定部184、第4亮度区域亮度平均值计算部185、第4亮度区域亮度范围设定部186和输出电平转换处理部187。
图26的图像生成部93-6与使用图21说明的图像生成部93-4同样，切出所拍摄的图像内的规定区域，根据所切出的区域的像素设定主要区域的亮度范围，并且，与使用图20说明的图像生成部93-3同样，除了主要区域的亮度范围以外，还设定多个亮度区域的各个的亮度范围，对所设定的多个亮度范围分配比设定范围以外多的灰度等级数。
另外，在图26中示出了除了主要区域以外，用于设定第2～第4亮度区域的第2亮度区域亮度平均值计算部181、第2亮度区域亮度范围设定部182、第3亮度区域亮度平均值计算部183、第3亮度区域亮度范围设定部184、第4亮度区域亮度平均值计算部185和第4亮度区域亮度范围设定部186，但是，也可以设置其他的亮度区域亮度平均值计算部和亮度区域亮度范围设定部，以使图像生成部93-3能够设定更多的亮度区域。
并且，图26的图像生成部93-6执行的处理与使用图25说明的图像显示处理4的处理基本相同，因为与增加了所设定的区域数的情况相对应，所以省略其说明。
以上说明的图像生成部93-1～图像生成部93-6根据所拍摄的图像整体或规定部分的亮度的平均值，设定主要区域。与此相对，也可以制作表示所拍摄的图像中包含的像素的亮度值的分布的柱状图并对其进行解析，由此设定多个亮度范围，对所设定的亮度范围，分配比设定范围以外多的灰度等级数。
图27是表示图2的图像生成部93的结构的第7例即图像生成部93-7的结构的框图。图像生成部93-7对所拍摄的图像的各像素的亮度值的柱状图进行解析，根据解析结果，设定多个亮度范围。
图像生成部93-7由柱状图解析部251、阈值比较处理部252、多阶段亮度范围设定部253以及输出电平转换处理部254构成。
柱状图解析部251取得从摄像部91提供的图像信号，根据所取得的图像信号，生成表示所拍摄的图像的各像素的亮度值的分布的柱状图并对其进行解析，将解析结果提供给阈值比较处理部252。
阈值比较处理部252根据从柱状图解析部251提供的柱状图的解析结果，将与输入信号的各个亮度值对应的像素的数与规定的阈值进行比较。换言之，阈值比较处理部252提取所拍摄的图像的亮度范围中具有一定数以上的像素数的部分。阈值比较处理部252将表示与阈值比较的结果为判断为像素数在阈值以上的亮度值的信息提供给多阶段亮度范围设定部253。
这里，阈值可以是通过实验或经验所求出而预先设定的值，也可以是由用户适当设定的值。在阈值设定得过低的情况下，因为大部分信息残留，所以，所获得的图像例如使用图10说明的、对使用对数转换型摄像元件102拍摄的宽动态范围的图像没有使用图像处理装置81进行处理时的显示图像那样，成为没有浓淡差异(没有轮廓)的图像。另一方面，在阈值设定得过高的情况下，信息的漏取变多，可能成为仅鲜明地显示一部分的亮度范围的图像。
多阶段亮度范围设定部253根据从阈值比较处理部252提供的判断为像素数在阈值以上的亮度值，设定多个分配比设定范围以外多的灰度等级数的亮度范围，将所设定的亮度范围提供给输出电平转换处理部254。多阶段亮度范围设定部253所设定的亮度范围数由从阈值比较处理部252提供的比较结果来决定，但是例如也可以预先决定该数的上限。
输出电平转换处理部254取得从摄像部91提供的图像信号，根据从多阶段亮度范围设定部253提供的所设定的亮度范围的信息，例如与使用图6、图7或图15说明的情况基本相同，转换所取得的图像信号的输出电平，以使分配给所设定的亮度区域的输出电平信号的亮度灰度电平的等级数，比分配给除此之外的亮度区域的输出电平信号的亮度灰度电平的等级数多。
具体而言，在图像生成部93-7中，如图28所示，通过柱状图解析部251对表示所拍摄的图像的各像素的亮度值的分布的柱状图进行解析，在阈值比较处理部252中与阈值进行比较，提取出在同一图像内(1帧内)具有阈值以上的像素数的亮度。然后，根据所提取的亮度，在多阶段亮度范围设定部253中设定多个亮度范围，在输出电平转换处理部254中求出输出电平相对于输入电平的转换特性，以使对该范围内优先分配灰度等级数，所以，能够充分赋予所设定亮度范围的各个亮度灰度宽度。而且，在显示控制部94或输出控制部95中，根据以显示或印刷为主的各种处理的条件，对转换后的信号进行灰度转换(灰度数压缩)并输出。
下面，参照图29的流程图，说明在使用图27说明的图像生成部93-7的图像处理装置81中执行的图像显示处理5。
在步骤S141中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-7。图像生成部93-7取得所拍摄的图像信号。
在步骤S142中，图像生成部93-7的柱状图解析部251根据从摄像部91提供的图像信号，生成表示所拍摄的图像的各像素的亮度的分布的柱状图并对其进行解析，将解析结果提供给阈值比较处理部252。
在步骤S143中，阈值比较处理部252根据从柱状图解析部251提供的柱状图的解析结果，将与各个输入信号的亮度值对应的像素数与规定的阈值进行比较。阈值比较处理部252将表示与阈值比较的结果为判断为像素数在阈值以上的亮度值的信息提供给多阶段亮度范围设定部253。
在步骤S144中，多阶段亮度范围设定部253根据从阈值比较处理部252提供的判断为像素数在阈值以上的亮度值，设定多个分配比设定范围以外多的灰度等级数的亮度范围，将所设定的亮度范围提供给输出电平转换处理部254。
在步骤S145中，输出电平转换处理部254根据从多阶段亮度范围设定部253提供的所设定的亮度范围的信息，例如与使用图6、图7或图15说明的情况基本相同，决定输入电平和输出电平的转换特性。
在步骤S146中，输出电平转换处理部254根据输入电平和输出电平的转换特性，转换从摄像部91提供的图像信号的输出电平，以使分配给所设定的多个亮度范围的输出电平信号的亮度灰度电平的等级数，比分配给除此之外的亮度范围的输出电平信号的亮度灰度电平的等级数多，并将其提供给输出控制部95。
在步骤S147中，如使用图28说明的那样，输出控制部95将所提供的图像信号转换为适合于在图像利用装置83中执行的处理的灰度。
在步骤S148中，输出控制部95控制转换为适合于图像利用装置83可执行的处理的灰度的、转换后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S141～步骤S146中执行基本相同的处理，将图像信号提供给显示控制部94，转换为在显示器82中可处理的灰度来输出，并控制其显示。
通过这种处理，在使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据中，即使在宽亮度范围离散地存在用户需要的图像信息的情况下，通过采用使用了图27的图像生成部93-7的图像处理装置81对图像进行处理，即使以与显示器82对应的灰度来显示已处理的图像，或以与图像利用装置83执行的处理对应的灰度输出时，也能够显示为用户可识别的状态，或者能够容易地执行各种处理。
在以上说明的图像生成部93-1～图像生成部93-7中，根据所拍摄的图像来设定分配多个灰度等级数的亮度区域。与此相对，也可以预先决定分配多个灰度等级数的亮度区域，或可通过用户的操作输入来设定。例如，所拍摄的图像的视角固定，或对被摄体照射一定的照明等，预先区分出所拍摄的图像中与用户需要的图像信息相对应的像素的亮度区域时，能够预先决定分配多灰度等级数的亮度区域。由此，能够简化处理，降低装置的成本。
图30是表示图2的图像生成部93的结构的第8例即图像生成部93-8的结构的框图。图像生成部93-8用于预先决定分配多灰度等级数的亮度区域的情况。
第1亮度区域亮度范围设定部281从操作输入部92接受第1亮度区域的亮度范围的设定值的输入，或者取得存储在未图示的存储部中的第1亮度区域的设定值，将第1亮度范围的设定值提供给输出电平转换处理部187。
第2亮度区域亮度范围设定部282从操作输入部92接受第2亮度区域的亮度范围的设定值的输入，或者取得存储在未图示的存储部中的第2亮度区域的设定值，将第2亮度区域的亮度范围的设定值提供给输出电平转换处理部187。
第3亮度区域亮度范围设定部283从操作输入部92接受第3亮度区域的亮度范围的设定值的输入，或者取得存储在未图示的存储部中的第3亮度区域的设定值，将第3亮度区域的亮度范围的设定值提供给输出电平转换处理部187。
输出电平转换处理部187执行与图20的图像生成部93-3的情况基本相同的处理，根据所设定的多个亮度范围，取得从摄像部91提供的图像信号，转换其输出电平。即，输出电平转换处理部187根据从第1亮度区域亮度范围设定部281提供的第1亮度范围、从第2亮度区域亮度范围设定部282提供的第2亮度区域的亮度范围、以及从第3亮度区域亮度范围设定部283提供的第3亮度区域的亮度范围的信息，转换从摄像部91提供的图像信号的输出电平。
另外，在图30中示出了用于设定第1～第3亮度区域的亮度范围的第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282、以及第3亮度区域亮度范围设定部283，但是，也可以设置其他的亮度区域亮度范围设定部，以使图像生成部93-8能够接受设定更多的亮度区域的亮度范围。
下面，参照图31的流程图，说明在使用图30说明的图像生成部93-8的图像处理装置81中执行的图像显示处理6。
在步骤S171中，操作输入部92从用户接受多个亮度范围的设定值的输入，将所输入的设定值提供给图像生成部93-8。
在步骤S172中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-8。图像生成部93-8取得所拍摄的图像信号。
在步骤S173中，图像生成部93-8的第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282以及第3亮度区域亮度范围设定部283取得从操作输入部92提供的多个亮度范围的设定值，将其提供给输出电平转换处理部187。
在步骤S174中，输出电平转换处理部187根据从第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282以及第3亮度区域亮度范围设定部283提供的多个亮度范围的设定值，决定例如使用图6、图7或图15说明的输入电平和输出电平的转换特性。
在步骤S175中，输出电平转换处理部187根据在步骤S174中决定的转换特性，转换从摄像部91提供的摄像图像的灰度，将其提供给输出控制部95。
在步骤S176中，例如如使用图8或图16说明的那样，输出控制部95将所提供的图像信号转换为适合于输出控制部95执行的处理的灰度。
在步骤S177中，输出控制部95控制转换为适合于图像利用装置83可执行的处理的灰度的、转换后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S171～步骤S175中执行基本相同的处理，将图像信号提供给显示控制部94，转换为在显示器82中可处理的灰度来输出，并控制其显示。
并且，这里，说明了从操作输入部92接受各个亮度区域的亮度范围的设定值的输入的情况，但是，将各个亮度区域的亮度范围预先存储在未图示的存储部中的情况下，当然也可以取得所存储的亮度区域的设定值。
通过这种处理，即使在希望以与显示器82对应的灰度来显示使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据时，或希望以与输出目的地的外部设备对应的灰度输出时，如果预先区分出与用户需要的图像信息相对应的像素的亮度区域，则预先决定分配多灰度等级数的亮度区域，由此能够以简单的处理将用户需要的图像信息显示为用户可识别的状态，或生成适合于执行印刷、图像识别、记录或发送等各种处理的图像数据，进而还能够降低装置的成本。
并且，也可以在预先确定的亮度区域中，对表示所拍摄的图像中包含的像素的亮度值的分布的柱状图进行解析，提取出在所确定的亮度范围中具有一定数量以上的像素数的亮度，根据提取结果，确定分配多灰度等级数的亮度区域。
图32是表示图2的图像生成部93的结构的第9例即图像生成部93-9的结构的框图。图像生成部93-9在预先确定的亮度区域中，提取出通过柱状图解析具有一定数量以上的像素数的亮度，根据提取结果，确定分配多灰度等级数的亮度区域。
另外，对与图27或图30的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图32的图像生成部93-9具有使用图30说明的图像生成部93-8的第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282、第3亮度区域亮度范围设定部283以及输出电平转换处理部187。进而，在图像生成部93-9中，为了根据从第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282、第3亮度区域亮度范围设定部283输出的亮度范围的设定值，来解析柱状图并与规定阈值进行比较，还设有柱状图解析部251-1～251-3以及阈值比较处理部252-1～252-3，它们能够执行与使用图27说明的图像生成部93-7所具有的柱状图解析部251和阈值比较处理部252相同的处理。
具体而言，在图像生成部93-9中，如图33所示，在第1亮度区域亮度范围设定部281所设定的第1范围、在第2亮度区域亮度范围设定部282所设定的第2范围、和在第3亮度区域亮度范围设定部283所设定的第3范围中，分别通过柱状图解析部251-1～251-3对所拍摄的图像的各像素的亮度值的柱状图进行解析，在阈值比较处理部252-1～252-3中与阈值进行比较，提取具有规定阈值以上的像素数的亮度。
即，即使在第1范围、第2范围和第3范围以外的亮度范围中存在具有比阈值多的像素数的亮度，该亮度也不设定在优先分配灰度等级数的亮度范围中。
然后，在输出电平转换处理部187中，根据所提取的亮度，对该范围内的像素优先分配灰度等级数，在充分赋予所设定的亮度范围的各个亮度等级宽度的状态下，转换为连续的亮度等级。而且，在显示控制部94或输出控制部95中，根据显示或印刷输出的条件，对转换后的信号进行灰度转换(灰度数压缩)，进行显示或为了进行印刷、图像识别、记录或发送等各种处理而输出。
例如，所拍摄的图像的视角固定，或对被摄体照射一定的照明等，预先区分出所拍摄的图像中与用户需要的图像信息相对应的像素的亮度区域，但是，例如在与用户需要的图像信息相对应的像素的亮度区域由于时间发生某种模式的变化的情况下，即使是相同的亮度区域，有时也会出现以下情况：白天具有大量信息而傍晚几乎没有信息，或者傍晚和夜间具有大量信息，而早上和白天几乎没有信息。
在这种情况下，即使预先设定可能包含用户需要的图像信息的所有的亮度区域，通过执行柱状图解析和与阈值的比较，也能够避免对没有需要的信息的亮度区域，优先分配灰度等级数的情况。
下面，参照图34的流程图，说明在使用图32说明的图像生成部93-9的图像处理装置81中执行的图像显示处理7。
在步骤S201中，操作输入部92从用户接受多个亮度范围的设定值的输入，将所输入的设定值提供给图像生成部93-9。图像生成部93-9取得所拍摄的图像信号。
在步骤S202中，摄像部91根据从操作输入部92提供的用户的操作输入来拍摄被摄体，将进行对数转换、A/D转换后的摄像图像信号提供给图像生成部93-9。
在步骤S203中，图像生成部93-9的第1亮度区域亮度范围设定部281、第2亮度区域亮度范围设定部282以及第3亮度区域亮度范围设定部283取得从操作输入部92提供的多个亮度范围的设定值，分别将其提供给柱状图解析部251-1～251-3。
在步骤S204中，柱状图解析部251-1～251-3根据从摄像部91提供的图像信号，如使用图33说明的那样，分别生成表示所拍摄的图像的第1～第3范围内的亮度值的分布的柱状图并对其进行解析，将解析结果提供给阈值比较处理部252-1～252-3。
在步骤S205中，阈值比较处理部252-1～252-3根据从柱状图解析部251-1～251-3提供的第1～第3范围内的柱状图的解析结果，将与各个输入信号的亮度值对应的像素数与规定的阈值进行比较。阈值比较处理部252-1～252-3将与阈值比较的结果为判断为像素数在阈值以上的亮度值提供给输出电平转换处理部187。
在步骤S206中，输出电平转换处理部187根据从阈值比较处理部252-1～252-3提供的亮度值，设定分配多灰度等级数的亮度范围。
在步骤S207中，输出电平转换处理部187决定例如使用图6、图7或图15说明的输入电平和输出电平的转换特性。
在步骤S208中，输出电平转换处理部187根据在步骤S74中决定的转换特性，转换从摄像部91提供的摄像图像的灰度等级，将其提供给输出控制部95。
在步骤S209中，例如使用图33说明的那样，输出控制部95将所提供的图像信号转换为适合于输出控制部95的处理的灰度。
在步骤S210中，输出控制部95控制转换为适合于图像利用装置83可执行的处理的灰度的、转换后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S201～步骤S208中执行基本相同的处理，将图像信号提供给显示控制部94，转换为在显示器82中可处理的灰度来输出，并控制其显示。
并且，这里，说明了从操作输入部92接受各个亮度区域的亮度范围的设定值的输入的情况，但是，将各个亮度区域的亮度范围预先存储在未图示的存储部中的情况下，当然也可以取得所存储的亮度区域的设定值。
通过这种处理，例如，在与用户需要的图像信息相对应的像素的亮度区域由于时间发生某种模式的变化的情况下，具体而言，在即使是相同的亮度区域，白天具有大量信息而傍晚几乎没有信息，或者傍晚和夜间具有大量信息，而早上和白天几乎没有信息的情况下，即使预先设定可能包含用户需要的图像信息的所有的亮度区域，通过执行柱状图解析和与阈值的比较，也能够避免对没有需要的信息的亮度区域，优先分配灰度等级数的情况。
如以上说明的那样，在使用图像生成部93-1～93-9的图像处理装置81中，在使用了对数转换型摄像元件102的摄像部91所拍摄的图像数据中，即使在宽亮度范围中存在用户需要的图像信息的情况下，在以与显示器82对应的灰度来显示这种图像，或以与输出目的地的外部设备对应的灰度输出时，也能够将用户需要的信息(例如，暗淡中的黑色物体、与暗淡部分存在于同一画面内的明亮的部分等)显示为可识别的状态，或生成适用于印刷、图像识别、存储、发送等各种处理的图像数据。
即，通过进行以上说明的图像处理，在所显示或印刷输出的图像中，能够获得压缩亮度的图像数据，以使用户易于观看。这样获得的图像数据是进行了亮度压缩的宽动态范围图像数据，在图像利用装置83中也易于处理。亮度压缩是指减少图像数据的亮度值的灰度数(灰度等级数)。
亮度灰度的等级数在全部亮度区域中以一定的比率减少时，没有显示或印刷输出时的图像的浓淡差异，难以进行二值化和规定对象物的检测等一般的图像处理。但是，对通过规定处理所设定的所述规定的亮度范围分配比亮度范围以外多的灰度，能够维持所设定的亮度范围的灰度分辨率，另一方面，对没有设定的亮度范围完全不分配灰度等级数或几乎不分配灰度等级数，作为图像数据整体，灰度数减少。因此，通过执行应用本发明的图像转换处理，例如能够具有充分的浓淡差异来显示或印刷输出用户应该识别的亮度区域部分，或者，在各种图像处理中，能够容易地决定二值化的阈值，或者能够根据图像容易地检测规定对象物。
并且，图像利用装置83如上所述，例如是执行图像印刷处理、图像识别处理、图像记录处理、图像通信处理等利用图像来执行处理的装置。
如上所述获得的进行了亮度压缩的宽动态范围图像数据在原来的宽动态范围图像中包含认知对象内容所需要的信息，并且数据量大幅削减。因此，在不需要按照每个像素与所拍摄的对象的亮度一对一对应的亮度信息的处理中，能够利用如上所述获得的进行了亮度压缩的宽动态范围图像数据。
例如，因为以14bit进行A/D转换的宽动态范围图像包含非常宽的亮度带域，所以在以往的图像处理装置中无法直接对应。具体而言，例如产生以下问题：在实施了进行微分处理的拉普拉斯转换的情况下，只能获得噪声状的结果，或者，因为能够作为二值化处理的阈值的亮度的侯选过多，所以其处理量骤然增大。同样，在许多其他的图像处理方法中，因为宽动态范围图像与以往的图像处理中所使用的图像的性质不同，所以即使在具有与以往的图像处理相同的目的的情况下，在利用宽动态范围图像时，也需要大幅修正处理过程。
并且，例如，在以执行只要能识别图像内容即可的处理为目的来记录或发送图像的情况下，宽动态范围图像数据是包含不需要使用的信息的非常巨大的数据，处理这种数据效率很差。
与此相对，根据本发明，在作为处理对象的被摄体分散在偏离的亮度区域中的情况下，进行亮度压缩，即使在人观看时视为通常的图像，与利用以往的摄像元件拍摄窄亮度范围时一样，也能够获得人眼观察时完全没有不舒适感的图像，所以，例如能够利用原来的处理过程来应用以往的图像识别装置。
并且，根据本发明，因为以可识别图像内容的状态进行亮度压缩，所以能够防止记录或发送包含不需要的信息的巨大的数据。
并且，如图6、图7或图15说明的那样，根据分配给所选择的亮度区域的、输出信号电平相对于输入信号电平的对应曲线的斜率，来确定图像数据的压缩率。因此，只要根据图像利用装置83需要的灰度等级数来确定输出信号电平相对于输入信号电平的对应曲线的斜率、即输入电平和输出电平的转换特性即可。如果输入电平和输出电平的转换特性的斜率平缓，则能够设定较高的压缩率，如果转换特性的斜率陡峭，则能够设定较低的压缩率。
并且，图像利用装置83例如为执行拍摄行驶中的车辆前面的图像来检测车道的白线的处理的检测装置这样的使用近似二值化图像的图像的装置时，优选将压缩率设定得较高。相反，在记录图像等、需要某种程度的灰度的情况下，优选分配必要的灰度等级数。
并且，图像利用装置83例如为拍摄行驶中的车辆前面的图像来检测所行驶的路面的状态，具体而言为对路面是否为干燥状态、潮湿状态、结冰状态或积雪状态等进行检测的道路状态检测装置时，如果对于与路面相当的亮度区域选择宽亮度范围，在除此之外的亮度范围中选择窄亮度范围，则能够提高压缩率，而不减少路面的信息量。
进而，图像利用装置83例如为夜间显示(夜间前方图像显示装置)的记录装置时，通过相对于暗淡区域的灰度而减少明亮区域的灰度，能够提高压缩率，而不降低重要的亮度区域的画质。
并且，例如，在使用传感器等其他装置来判定白天和夜间等摄像环境的状态的情况下，图像处理装置81优选根据对象的状态以不同的模式来设定亮度范围。例如，白天对比较明亮的区域分配较多的亮度，夜间对低亮度、中央的亮度、高亮度区域平均分配，则能够提高亮度压缩率。
并且，在希望稍微提高亮度压缩率来使用的图像利用装置83中，优选使用利用图6A、图7A或图15A说明的方法。另一方面，在执行需要所选择的亮度区域以外的灰度的处理的图像利用装置83的情况下，优选使用图6B、图7B或图1 5B的方法。而且，在图像利用装置83执行亮度转换曲线的陡峭的斜率受到影响的处理的情况下，优选使用图6C、图7C或图15C的方法。
进而，在执行受到浓度分布的影响的处理的图像利用装置83中利用进行了亮度压缩的宽动态范围图像的情况下，优选图6和图7的A、B、C分别所示的主要区域亮度范围和第2亮度范围中的输入电平和输出电平的转换特性的斜率相同。这是为了在例如图12所示的隧道的图像中，使隧道内和隧道外的亮度分布一致。同样，在执行受到浓度分布的影响的处理的图像利用装置83中利用进行了亮度压缩的宽动态范围图像的情况下，优选在图15 A、B、C中，主要亮度范围、第2亮度范围和第3亮度范围的各个输入电平和输出电平的转换特性的斜率相同。相反，在执行不受亮度分布的影响的处理的图像利用装置83的情况下，如果按照区域，根据需要改变输入电平和输出电平的转换特性的斜率，则能够提高压缩率。
并且，在存在已知摄像对象的反射率和颜色的区域、预想其周边的亮度分布范围的情况下，如果由此确定亮度范围，则能够提高亮度压缩率。例如，利用车载照相机拍摄前方时，在画面中央下部反映出路面，所以如果以该路面的亮度为基准来决定上下的亮度范围，则能够准确地设定必要的亮度范围，能够提高压缩率而不损失必要的亮度范围。
所以如上所述，例如，因为以14bit进行A/D转换的宽动态范围图像包含非常宽的亮度带域，所以在以往的图像处理装置中，无法直接对应。具体而言，例如产生以下问题：在实施了进行微分处理的拉普拉斯转换的情况下，只能获得噪声状的结果，或者，因为能够作为二值化处理的阈值的亮度的侯选过多，所以其处理量骤然增大等。同样，在许多其他的图像处理方法中，因为宽动态范围图像与以往的图像处理中所使用的图像的性质不同，所以即使在具有与以往的图像处理相同的目的的情况下，在利用宽动态范围图像时，也需要大幅修正处理过程。
并且，例如，在以执行只要能识别图像内容即可的处理为目的来记录或发送图像的情况下，宽动态范围图像数据是包含不需要使用的信息的非常巨大的数据，处理这种数据效率很差。
在上述处理中，即使在作为处理对象的被摄体分散在偏离的亮度区域中的情况下，对A/D转换后的宽动态范围图像进行亮度压缩，所以能够利用原来的处理过程来应用以往的图像识别装置，与利用以往的摄像元件拍摄窄亮度范围时一样，也能够获得人眼观察时完全没有不舒适感的图像。
与此相对，在对所拍摄的宽动态范围图像数据进行A/D转换时，不是对所拍摄的宽动态范围图像数据的亮度范围整体均一地分配A/D转换的灰度分配，而是设定为对必要的亮度区域充分分配灰度，由此与利用以往的摄像元件拍摄窄亮度范围时一样，也能够获得人眼观察时完全没有不舒适感的图像。由此，例如能够获得与上述情况相同的效果，即，能够利用原来的处理过程来应用以往的图像识别装置，或者能够防止记录或发送包含不需要的信息的巨大数据。
换言之，在使用灰度分配的bit数少的A/D转换元件对所拍摄的宽动态范围图像数据进行A/D转换时，如果对所拍摄的宽动态范围图像数据的亮度范围整体均一地分配A/D转换的灰度分配，则成为不自然、有不舒适感的图像。
例如，通过12bit的A/D转换部对规定的亮度范围均等地进行A/D转换时，得到4096灰度的图像数据。如使用图4说明的那样，在CCD摄像元件、CMOS摄像元件中，与本发明所使用的对数转换型摄像元件相比，能够拍摄的亮度范围非常窄，完全不能够获得可拍摄的亮度范围以外的灰度，所以，即使以4096灰度来表现该亮度范围，也能够获得人眼观察时完全没有不舒适感的图像。但是，在本发明所使用的对数转换型摄像元件中，如使用图4说明的那样，因为能够拍摄从夜间的黑夜到直接照射的日光的亮度范围，所以，即使以4096灰度来表现那么宽的亮度范围，也会成为不自然、有不舒适感的图像。
本发明所使用的对数转换型摄像元件构成为对拍摄所获得的亮度电平进行对数转换，并对该对数转换后的信号进行A/D转换。因此，被单一光源(例如太阳、一个街灯)照射的范围的图像多数情况下分布在整体的1/16左右的亮度范围。对此，例如，因为路面的颜色通常为灰色，所以分布在整体的1/16左右的窄亮度范围中比较暗淡的区域。这样，例如，在路面的亮度范围为整体的1/16左右的窄亮度范围中的1/2的亮度区域的情况下，分配给路面部分的A/D转换的灰度等级数为4096/(16×2)＝128灰度。当认为为了准确地在视觉上把握对象的状态，而需要256灰度左右时，在128灰度下，因为灰度不足，所以显示时显现不自然的部分。具体而言，在图像处理中识别描绘在路面上的白线、停止线、人行横道等的油漆时，由于量子化误差，以1/128大小的很小的亮度差而被输出，所以误识别的可能性很高。
与此相对，为了能够获得人眼观察时完全没有不舒适感的图像、能够利用原来的处理过程来应用以往的图像识别装置、并能够防止记录或发送包含不需要的信息的巨大数据，以下说明如下的图像处理装置：在对所拍摄的宽动态范围图像数据进行A/D转换时，不是对所拍摄的宽动态范围图像数据的亮度范围整体均一地分配A/D转换的灰度分配，而是设定为对必要的亮度区域充分分配灰度。
图35是表示在对所拍摄的宽动态范围图像数据进行A/D转换时，不是对所拍摄的宽动态范围图像数据的整体进行A/D转换的灰度分配，而是设定为对必要的亮度区域充分分配灰度的图像处理装置381的结构的框图。
另外，对与图2的情况相同的部分赋予相同的符号，并省略其详细说明。即，图35的图像处理装置381除了代替摄像部91设有摄像部391，代替图像生成部93设有图像生成部392以外，具有与使用图2说明的图像处理装置81基本相同的结构。
摄像部391根据从操作输入部92提供的用户的操作输入，拍摄被摄体，根据所拍摄的图像信号，或根据用户的操作输入，按照每个亮度范围决定灰度分配，并进行A/D转换，将所获得的图像信号提供给图像生成部392。之后使用图36详细说明摄像部391。
操作输入部92例如由释放按钮等按钮、操作键、触摸面板等的输入装置构成，接受用户的操作输入，将来自用户的指令提供给摄像部391和图像生成部392。并且，操作输入部92通过用户接受与在摄像部391中执行的A/D转换处理的灰度分配相关的规定的设定值的输入时，将该设定值提供给摄像部391。
图像生成部392执行将从摄像部391提供的图像信号转换为适于显示和印刷输出的图像信号的处理，并将该图像信号提供给显示控制部94或输出控制部95。这里，图像生成部392不执行使用图5～图61说明的亮度范围的设定处理和输出电平的转换处理，仅执行以往进行的图像信号的生成处理。
即，图像生成部392例如在从操作输入部92接受显示或印刷输出的图像的范围设定的情况下，执行图像区域的切出，或者在接受调整整体的对比度的操作输入的情况下，调整图像整体的对比度，但是不进行改变在摄像部391中执行的A/D转换处理的灰度分配的处理。
显示控制部94进行将从图像生成部392提供的处理后的图像信号转换为显示器82的分辨率和灰度数的处理，将处理后的信号提供给显示器82。
输出控制部95进行将从图像生成部392提供的处理后的图像信号转换为图像利用装置83可处理的分辨率和灰度数的处理，将处理后的信号输出到图像利用装置83。
显示器82例如接受从显示控制部94提供的显示图像信号的输入，来显示图像(静态图像或由多帧构成的动态图像)。
图像利用装置83接受从输出控制部95提供的图像信号的输入，执行规定的处理。图像利用装置83能够应用例如图像印刷装置、图像识别装置、图像记录装置、图像通信装置等利用图像来执行处理的各种信息处理装置。
图像生成部392所生成的图像信号也与上述情况同样，特别适合利用在执行摄像对象的亮度和图像数据的亮度数据不需要一对一对应(摄像对象的亮度和图像数据的亮度数据线性对应)的处理的图像利用装置83中。
摄像对象的亮度和图像数据的亮度数据不需要一对一对应的处理例如有：印刷输出、记录处理、识别图像内的规定对象物的处理、检测图像内的边缘部分或直线部分等的处理、二值化处理、或向执行这种处理的其他装置发送的发送处理等。
图36是表示图35的图像处理装置381的摄像部391更详细的结构例的框图。
另外，对与图3的情况相同的部分赋予相同的符号，并省略其详细说明。即，摄像部391除了代替对数转换型摄像元件102设有对数转换型摄像元件401以外，具有与图3的摄像部39基本相同的结构。并且，对数转换型摄像元件401除了新设有灰度分配决定部411，代替A/D转换部113设有A/D转换部412以外，具有与图3的对数转换型摄像元件102基本相同的结构。
对数转换型摄像元件401例如为HDRC等对数转换型的摄像元件，其构成为包含光检测部111、对数转换部112、灰度分配决定部411、A/D转换部412以及摄像定时控制部114。
从摄像部391所拍摄的被摄体发出的光(或由被摄体反射的光)入射到透镜101，成像于对数转换型摄像元件401的光检测部111的未图示的光检测面上。光检测部111将由透镜101所成像的被摄体的光转换为与所入射的光的明亮度(照度)对应的电荷，并蓄积转换后的电荷。光检测部111与从摄像定时控制部114提供的控制信号同步地将蓄积的电荷提供给对数转换部112。对数转换部112利用MOSFET的亚阈特性，生成将从光检测部111提供的电荷按照像素转换为与电荷数(电流强度)的对数(被摄体的光的光量的对数)大致成比例的电压值后的模拟电信号。对数转换部112将所生成的模拟电信号提供给A/D转换部412，并提供给灰度分配决定部411。
灰度分配决定部411解析从对数转换部112提供的模拟电信号，决定在A/D转换部412中执行A/D转换的灰度分配。
具体而言，灰度分配决定部411在输入图像的亮度分布中检测主要的亮度范围(亮度区域)，分配A/D转换的灰度等级数，使得可以充分识别该亮度范围的图像。亮度范围的设定有为一个的情况和为多个的情况，并且，在多个区域之间的区域，有完全不赋予灰度等级的情况，也有获得比规定的亮度区域的灰度疏的灰度的情况。进而，所设定的亮度范围可以从所拍摄的图像中自动选择设定，也可以通过用户的操作输入来设定。
之后使用图37～图61详细说明灰度分配决定部411。
A/D转换部412与从摄像定时控制部114提供的控制信号同步地，将模拟电信号A/D转换为数字的图像数据。此时，A/D转换部412按照灰度分配决定部411所决定的灰度分配来执行A/D转换。A/D转换部412将转换后的数字的图像数据提供给图像处理装置92。
这样，摄像部391输出如下的数字的图像数据：与入射到光检测部111中的被摄体的光的明亮度(入射光量)的对数不成比例，根据灰度分配决定部411所分配的灰度进行A/D转换的数字的图像数据。
图37是表示图36的灰度分配决定部411的结构的第1例即灰度分配决定部411-1的结构的框图。
平均亮度计算部451取得从对数转换部112提供的模拟图像信号，计算其平均亮度，并将平均亮度的计算结果提供给主要区域亮度范围设定部452。
主要区域亮度范围设定部452根据从平均亮度计算部451提供的图像信号的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给灰度分配计算部455和第2亮度区域亮度平均值计算部453。
主要区域亮度范围设定部452例如可以将以图像信号的平均亮度为中心的规定亮度范围作为主要区域的亮度范围，也可以以图像信号的平均亮度的像素为中心，按照顺序，从具有接近该亮度的亮度值的像素中选择规定数的像素作为主要区域的亮度范围。
第2亮度区域亮度平均值计算部453计算从对数转换部112提供的图像信号中比主要区域亮度范围设定部452所设定的主要区域的亮度范围的亮度高的范围的像素的平均亮度，将计算结果提供给第2亮度区域亮度范围设定部454。
第2亮度区域亮度范围设定部454根据比从第2亮度区域亮度平均值计算部453提供的主要区域的亮度范围的亮度高的范围的像素的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给灰度分配计算部455。
第2亮度区域亮度范围设定部454例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定亮度范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序，从具有接近该亮度的亮度值的像素的顺序中选择规定数的像素作为第2亮度区域的亮度范围。
灰度分配计算部455取得从对数转换部112提供的图像信号，根据从主要区域亮度范围设定部452提供的主要区域的亮度范围以及从第2亮度区域亮度平均值计算部453提供的第2亮度区域的亮度范围的信息，决定在A/D转换部412进行的A/D转换中，对哪个亮度范围分配多少灰度等级数。
具体而言，灰度分配计算部455相对于所输入的亮度信号的电平，使A/D转换的灰度等级数的分配在被设定为主要区域和第2亮度区域的亮度范围以及除此之外的范围中不同。即，灰度分配计算部455决定灰度分配，以使对被设定为主要区域和第2亮度区域的亮度范围分配更多的灰度等级数，所以，在A/D转换部412中，执行使对应的亮度范围的像素的灰度数变多的A/D转换处理。由此，用户能够更好地识别显示或印刷输出的图像中与主要区域和第2亮度区域对应的亮度范围的部分。
灰度分配计算部455例如能够对主要区域的亮度范围和第2亮度区域的亮度范围，分割所有的灰度等级数来进行分配，对除此之外的范围，即比主要区域的亮度低的范围、主要区域和第2亮度区域之间的亮度范围以及比第2亮度区域的亮度高的范围，不分配A/D转换的灰度等级数。
这样，在分配了A/D转换的灰度的等级数的情况下，在对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号中，如图38A所示，亮度的输入电平比主要区域的亮度范围低的像素的输出电平为0(即漆黑)。而且，根据输入电平，对主要区域的亮度范围内的像素分配规定的灰度等级数来执行A/D转换。并且，主要区域和第2亮度区域之间的亮度范围的像素与输入电平无关，作为与对主要区域的亮度范围分配的输出电平的最大值相同的灰度的数字信号来输出。对第2亮度区域内的像素，以与主要区域相同或大致相同的等级数，根据输入电平，分配从对主要区域的亮度范围分配的灰度的最大值到整体的灰度的最大值之间的灰度等级数，来执行A/D转换。而且，比第2亮度区域的亮度高的像素与输入电平无关，作为对第2亮度区域分配的灰度的最大值、即整体的灰度的最大值(最大输出电平)的数字信号来输出。
并且，灰度分配计算部455例如能够对主要区域和第2亮度区域分配A/D转换的全部灰度等级数中的规定的等级数，并且对主要区域和第2亮度区域之间的亮度范围，分配比对主要区域和第2亮度区域分配的等级数少的等级数(换言之，比主要区域和第2亮度范围窄的灰度宽度)，对比主要区域的亮度低的范围以及比第2亮度区域的亮度高的范围，不分配A/D转换的等级数。
这样，在分配了A/D转换的灰度的等级数的情况下，例如如图38B所示，在具有比主要区域的亮度范围低的亮度的像素中，对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号的输出值为0。而且，根据输入电平，对主要区域的亮度范围内的像素分配规定的灰度的输出电平，来执行A/D转换。并且，在主要区域和第2亮度区域之间的亮度范围的像素中，分配比对主要区域的亮度范围分配的等级数少的等级数的灰度，来执行A/D转换。对第2亮度区域内的像素，以与主要区域相同或大致相同的等级数，根据输入电平，分配从对主要区域和第2亮度区域之间的亮度范围分配的灰度的最大值到整体的最大值的灰度之间的灰度等级数，来执行A/D转换。而且，比第2亮度区域的亮度高的像素，与输入电平无关，作为对第2亮度区域分配的灰度的最大值、即最大输出电平的数字信号来输出。
并且，灰度分配计算部455例如将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间β，对主要区域或第2亮度区域中区间α或区间β以外的像素，分配A/D转换的灰度等级数中规定的灰度等级数，对区间α或区间β分配比对主要区域和第2亮度区域的区间α或区间β以外的部分分配的灰度等级数少的灰度等级数，对比主要区域的亮度低以及比第2亮度区域的亮度高的像素，不分配灰度等级数。另外，此时，对主要区域和第2亮度区域之间的亮度范围中、不在区间α或区间β中的亮度范围内的像素，分配比对区间α或区间β分配的灰度等级数少的灰度等级数，或者不分配灰度等级数。
这样，在分配了A/D转换的灰度的等级数的情况下，例如如图38C所示，在具有比主要区域的亮度范围低的亮度的像素中，对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号的输出值为0。而且，根据输入电平，对主要区域的亮度范围内且区间α以外的像素分配规定的灰度等级数，来执行A/D转换。并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，对区间α的像素分配比对主要区域的区间α以外的部分分配的灰度的最大值大的规定的灰度，来执行A/D转换。并且，在主要区域和第2亮度区域之间的亮度范围中的不在区间α或区间β的像素中，以比对区间α分配的等级数少的等级数，分配灰度等级数，或者与输入电平无关，分配与对区间α分配的最大值相同的灰度。
并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，即以与区间α相同或大致相同的等级数，对区间β的像素分配比与区间β相比的亮度低的亮度范围中的灰度的最大值大的规定的灰度电平，来执行A/D转换。并且，根据输入电平，对在第2亮度区域的亮度范围内的区间β以外的像素，分配从对区间β分配的灰度的最大值到整体的最大输出电平的灰度等级。换言之，对在第2亮度区域的亮度范围内的区间β以外的像素，分配与主要区域中的区间α以外的部分相同或大致相同的灰度等级数、即比区间α和区间β多的灰度等级数。而且，对比第2亮度区域的亮度高的像素，与输入电平无关地，作为对第2亮度区域分配的灰度的最大值、即最大输出电平的数字信号来输出。
另外，在图38C中，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间β，但是，例如也可以将主要区域的亮度范围内的上限侧的规定区间设为区间α，将第2亮度区域的亮度范围内的下限侧的规定区间设为区间β，或者，将比主要区域的亮度范围的上限的亮度高的规定区间设为区间α，将比第2亮度区域的亮度范围的下限的亮度低的规定区间设为区间β。进而，还可以设定如下的区域：在主要区域的亮度的下限侧和第2亮度区域的亮度的上限侧，分配与区间α和区间β相同的输出电平的等级数。
并且，在图38中，所有具有主要区域的亮度范围以下的亮度的像素为输出0(漆黑)，所有具有第2亮度区域的亮度范围以上的亮度的范围的像素为与第2亮度区域的亮度范围的最高亮度相同的输出电平(最大输出电平)，但是在主要区域的亮度范围以下和第2亮度区域的亮度范围以上的各个亮度范围中，也可以分配某种程度的灰度等级数。
即，灰度分配计算部455例如如图39A所示，能够决定A/D转换的灰度等级数的分配。即，在亮度的输入电平比主要区域的亮度范围低的像素中，根据输入电平，分配从0(即漆黑)到比对主要区域分配的等级数少的规定数的灰度等级数，来执行A/D转换。而且，根据输入电平，对主要区域亮度范围内的像素分配规定的灰度等级数，来执行A/D转换。并且，主要区域和第2亮度区域之间的亮度范围的像素与输入电平无关，作为对主要区域分配的灰度的最大值的数字信号来输出。对第2亮度区域内的像素，根据输入电平，以与主要区域相同或大致相同的等级数，分配从对主要区域分配的输出电平的最大值到规定的灰度等级数，来执行A/D转换。而且，对比第2亮度区域的亮度高的像素，从对第2亮度区域的亮度范围分配的灰度等级的最大值到最大灰度，以比对主要区域和第2亮度区域分配的等级数少的等级数，分配与输入电平对应的灰度等级数，来执行A/D转换。
并且，灰度分配计算部455例如如图39B所示，能够决定A/D转换的灰度等级数的分配。即，在亮度的输入电平比主要区域的亮度范围低的像素中，根据输入电平，分配从0(即漆黑)到比对主要区域分配的等级数少的规定灰度等级数，来执行A/D转换。而且，根据输入电平，对主要区域亮度范围内的像素分配规定的灰度等级数，来执行A/D转换。并且，在主要区域和第2亮度区域之间的亮度范围的像素中，以比对主要区域分配的等级数少的等级数，分配与输入电平对应的灰度等级数，来执行A/D转换。对第2亮度区域内的像素，根据输入电平，以与主要区域相同或大致相同的等级数，分配从对主要区域和第2亮度区域之间亮度范围分配的灰度的最大值到规定的灰度的等级，来执行A/D转换。而且，对比第2亮度区域的亮度高的像素，从对第2亮度区域的亮度范围分配的灰度的最大值到最大灰度，以比对主要区域分配的等级数少的等级数，分配与输入电平对应的灰度等级数，来执行A/D转换。
并且，灰度分配计算部455例如如图56C所示，能够决定A/D转换的灰度等级数的分配。即，在亮度的输入电平比主要区域的亮度范围低的像素中，对应于输入电平，分配从0(即漆黑)到比对主要区域分配的等级数少的规定的灰度等级数，来执行A/D转换。而且，根据输入电平，对主要区域亮度范围内且区间α以外的像素分配规定的灰度等级数，来执行A/D转换。并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，对区间α的像素分配比对主要区域的区间α以外的部分分配的灰度的最大值大的规定的灰度等级，来执行A/D转换。并且，在主要区域和第2亮度区域之间的亮度范围中的不在区间α或区间β的像素中，以比对区间α分配的等级数少的等级数，分配与输入电平对应的灰度，或者与输入电平无关，分配对区间α分配的灰度的最大值，来执行A/D转换。
并且，以比对主要区域的区间α以外的部分分配的等级数少的等级数，对区间β的像素分配比与区间β相比的亮度低的亮度范围中的灰度的最大值大的规定数的灰度。并且，对在第2亮度区域的亮度范围内的区间β以外的像素，根据输入电平，分配从对区间β分配的灰度的最大值到与主要区域的区间α以外的亮度范围相同或大致相同的等级数的灰度。而且，对比第2亮度区域的亮度高的像素，从对第2亮度区域的亮度范围分配的灰度的最大值到最大灰度，以比对主要区域的区间α以外的部分分配的等级数少的等级数，分配与输入电平对应的灰度。
另外，在图39C中，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间β，但是，例如也可以将主要区域的亮度范围内的上限侧的规定区间设为区间α，将第2亮度区域的亮度范围内的下限侧的规定区间设为区间β，或者，将比主要区域的亮度范围的上限的亮度高的规定区间设为区间α，将比第2亮度区域的亮度范围的下限的亮度低的规定区间设为区间β。进而，还可以设定如下的区域：在主要区域的亮度的下限侧和第2亮度区域的亮度的上限侧，分配与区间α和区间β相同的输出电平的等级数。
进而，灰度分配计算部455例如也可以决定对各个亮度区域分配的灰度的等级数，使得与对主要区域和第2亮度区域中的输入电平分配的灰度等级数的比率(直线的斜率)相比，对这些亮度区域以外的亮度范围中的输入电平分配的灰度等级数的比率低。
如以上说明的那样，灰度分配决定部411-1中所设定的主要区域和第2亮度区域不是预先确定的亮度范围，而是根据所拍摄的图像而设定的。即，灰度分配决定部411-1所决定的A/D转换的灰度分配如下进行：在所拍摄的图像整体中例如占据画面多的被摄体等对用户识别图像最重要的亮度范围，以及在比该亮度范围的亮度高的范围中特别是占据画面多的亮度范围中，分配有限的灰度数中的大部分。
由此，有效分配A/D转换部412所具有的有限的灰度等级数，即使所拍摄的图像为宽动态范围，与主要区域和第2亮度区域对应的亮度范围的部分，也能够获得具有用户能够更好地识别的灰度数的、显示或印刷输出图像。
使用图40说明输入信号、基于灰度分配计算部455进行的灰度等级的分配的A/D转换后的信号以及所显示的信号的亮度电平。
图40A是表示进行基于使用图38A说明的灰度等级的分配的A/D转换时的模拟输入信号、基于灰度分配计算部455进行的灰度等级数的分配的A/D转换后的数字信号、以及在显示器82上显示的或为了进行印刷、图像识别、记录或图像通信等处理而向图像利用装置83输出的信号的亮度电平的图。
在图40A所示的情况下，在离散的亮度范围即主要区域和第2亮度区域中，分配多灰度等级数来执行A/D转换。主要区域和第2亮度区域之间的亮度范围的像素全部以主要区域的最大输出电平输出。然后，根据显示或向图像利用装置83输出的条件，通过图像生成部392对A/D转换后的信号进行图像处理，但是，这里，不进行上述图像生成部93那样的灰度转换。即，在对从灰度分配决定部411-1提供的信号、即基于灰度分配计算部455进行的灰度分配的A/D转换后的信号进行处理时，图像生成部392不改变该灰度分配的比例。
图40B是表示进行基于使用图38B说明的灰度等级的分配的A/D转换时的模拟输入信号、基于灰度分配计算部455进行的灰度等级数的分配的A/D转换后的数字信号、以及在显示器82上显示的或为了进行印刷、图像识别、记录或图像通信等处理而向图像利用装置83输出的信号的亮度电平的图。在图40B所示的情况下，对主要区域和第2亮度区域之间的区域仅赋予比主要区域和第2亮度区域的等级数少的等级数的灰度。因此，虽然赋予图像整体的灰度等级数少，但是，也能按照主要区域和第2亮度区域之间的区域的等级数少的部分，对主要区域和第2亮度区域的信号赋予充分的亮度灰度宽度。
图40C是表示进行基于使用图38C说明的灰度等级的分配的A/D转换时的模拟输入信号、基于灰度分配计算部455进行的灰度等级数的分配的A/D转换后的数字信号、以及在显示器82上显示的或为了进行印刷、图像识别、记录或图像通信等处理而向图像利用装置83输出的信号的亮度电平的图。在图40C所示的情况下，在主要区域、第2亮度区域以及它们之间的区域中，通过上述的区间α和区间β，使所分配的亮度的灰度等级数平稳地变化，即，在区间α和区间β中，赋予比主要区域和第2亮度区域的等级数少的等级数的灰度。因此，即使赋予图像整体的灰度等级数少，也能够对主要区域和第2亮度区域赋予充分的亮度灰度宽度，并且减少仅利用1灰度表现的亮度区域。
另外，特别是多分配灰度等级数的亮度范围只有一个的情况下，第2亮度区域亮度平均值计算部453和第2亮度区域亮度范围设定部454不执行处理即可。由此，因为仅对主要区域亮度范围分配多灰度等级数，所以，例如如图41所示那样，能够获得对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号。
具体而言，在对主要区域亮度范围分配全部灰度等级数的情况下，如图41A所示，能够获得对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号。并且，在对主要区域亮度范围的前后，分配比主要区域亮度范围少的灰度等级数的情况下，如图41B所示，能够获得对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号。而且，在对主要区域的亮度范围内的上限侧的规定区间即区间α、以及主要区域的亮度范围内的下限侧的规定区间即区间β，分配比主要区域亮度范围少的灰度等级数；并对主要区域亮度范围、区间α以及区间β以外的亮度范围分配比区间α和区间β少的灰度等级数的情况下，如图41C所示，能够获得对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号。
图42是表示进行使用图41说明的灰度分配时的输入信号、基于灰度分配计算部455进行的灰度等级的分配的A/D转换后的信号、以及所显示的信号的亮度电平的图。
图42A是表示进行基于使用图41A说明的灰度等级的分配的A/D转换时的模拟输入信号、基于灰度分配计算部455进行的灰度等级数的分配的A/D转换后的数字信号、以及在显示器82上显示的或为了进行印刷、图像识别、记录或图像通信等处理而向图像利用装置83输出的信号的亮度电平的图。在图42A所示的情况下，仅对主要区域分配多灰度等级数，来执行A/D转换，所有主要区域以下的亮度范围的像素以输出电平0来输出，所有主要区域以上的亮度范围的像素以主要区域的最大输出电平来输出。
图42B是表示进行基于使用图41B说明的灰度等级的分配的A/D转换时的模拟输入信号、基于灰度分配计算部455进行的灰度等级数的分配的A/D转换后的数字信号、以及在显示器82上显示的或为了进行印刷、图像识别、记录或图像通信等处理而向图像利用装置83输出的信号的亮度电平的图。在图42B所示的情况下，对主要区域以外的区域，仅赋予比主要区域少的等级数的灰度。因此，虽然转换后的信号赋予图像整体的灰度等级数少，但是，也能按照主要区域以外的区域的等级数少的部分，对主要区域的信号赋予充分的亮度灰度宽度。
图42C是表示进行基于使用图41C说明的灰度等级的分配的A/D转换时的模拟输入信号、基于灰度分配计算部455进行的灰度等级数的分配的A/D转换后的数字信号、以及在显示器82上显示的或为了进行印刷、图像识别、记录或图像通信等处理而向图像利用装置83输出的信号的亮度电平的图。在图42C所示的情况下，在主要区域及除此之外的区域中，通过上述的区间α和区间β，使所分配的灰度等级数平稳地变化，即，在区间α和区间β中，赋予比主要区域少、且比主要区域以外的区域多的等级数的灰度。因此，即使赋予图像整体的灰度等级数少，在转换后的信号中，也能够对主要区域赋予充分的亮度灰度宽度，并且，对主要区域附近的亮度区域，分配比与主要区域偏离的亮度区域多的灰度等级数。
下面，参照图43的流程图，说明在使用了图37说明的灰度分配决定部411-1的图像处理装置381中执行的图像显示处理8。
在步骤S301中，摄像部391的光检测部111与从摄像定时控制部114提供的控制信号同步地将蓄积的电荷提供给对数转换部112。即，取得所拍摄的图像信号。对数转换部112利用MOSFET的亚阈特性，生成将从光检测部111提供的电荷按照像素转换为与电荷数的对数大致成比例的电压值后的模拟电信号，提供给A/D转换部412，并提供给灰度分配决定部411-1。
在步骤S302中，灰度分配决定部411-1的平均亮度计算部451求出所拍摄的图像整体的平均亮度，将计算结果提供给主要区域亮度范围设定部452。
在步骤S303中，主要区域亮度范围设定部452根据从平均亮度计算部45 1提供的图像整体的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给灰度分配计算部455和第2亮度区域亮度平均值计算部453。
主要区域亮度范围设定部452例如可以将以图像信号的平均亮度为中心的规定亮度范围作为主要区域的亮度范围，也可以以图像信号的平均亮度的像素为中心，按照顺序，从具有接近该亮度的亮度值的像素中选择规定数的像素作为主要区域的亮度范围。
在步骤S304中，第2亮度区域亮度平均值计算部453求出从对数转换部112提供的图像信号中、比主要区域亮度范围设定部452所设定的主要区域的亮度范围明亮的区域的平均亮度，将其结果提供给第2亮度区域亮度范围设定部454。
在步骤S305中，第2亮度区域亮度范围设定部454根据比从第2亮度区域亮度平均值计算部453提供的主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给灰度分配计算部455。
第2亮度区域亮度范围设定部454例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定亮度范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序，从具有接近该亮度的亮度值的像素中选择规定数的像素作为第2亮度区域的亮度范围。
在步骤S306中，灰度分配计算部455根据主要区域亮度范围设定部452所设定的主要区域的亮度范围以及第2亮度区域亮度平均值计算部453所设定的第2亮度区域的亮度范围，例如使用图38或图39说明的那样，决定各个区域的A/D转换的灰度分配，提供给A/D转换部412。
在步骤S307中，A/D转换部412根据从灰度分配计算部455提供的灰度分配，将从对数转换部112提供的模拟电信号转换为数字信号，提供给图像生成部392。
在步骤S308中，图像生成部392对所提供的图像信号实施图像处理(不进行灰度转换)，提供给输出控制部95。
在步骤S309中，输出控制部95控制图像处理后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S301～步骤S307中执行基本相同的处理，将图像信号提供给显示控制部94，控制向显示器82的显示。
通过这种处理，使用了对数转换型摄像元件401的摄像部391所拍摄的、进行了A/D转换的图像数据能够有效分配A/D转换部412所具有的有限的灰度等级数，所以即使所拍摄的图像为宽动态范围，与主要区域和第2亮度区域对应的亮度范围的部分，也能够获得具有用户能够更好地识别的、显示或印刷输出图像。
由此，例如与参照图10～图12说明的情况相同，以宽动态范围拍摄的图像中用户需要的信息以用户易于识别的方式，即分配充分的灰度等级数并进行A/D转换后，进行显示或印刷输出。
例如，分配了16bit等多bit数(灰度等级数多)的A/D转换所获得的宽动态范围图像包含非常宽的亮度带域，所以在实施了与通常的图像数据同样进行微分处理的拉普拉斯转换处理的情况下，与对比度非常低的图像一样，只能获得噪声状的结果。并且，在进行二值化处理的情况下，因为能够作为阈值的亮度的侯选非常多，所以处理量骤然增大。这样，为了使用宽动态范围图像数据进行一般的图像处理，有时需要大幅变更以往执行的图像处理的过程。
与此相对，采用使用了对数转换型摄像元件401的摄像部391，根据灰度分配决定部411-1所决定的灰度等级数的分配，有效分配A/D转换部412所具有的有限的灰度等级数(例如12bit等，与由以往的CCD摄像元件或CMOS摄像元件所拍摄的图像信号的A/D转换的情况大致相同的bit数，该以往的CCD摄像元件或CMOS摄像元件与本发明所使用的对数转换型摄像元件相比，能够拍摄的亮度范围非常窄，完全不能够获得可拍摄的亮度范围以外的灰度)，实施A/D转换时，在图像生成部392中，能够直接执行以往的图像处理的过程。
并且，在图像利用装置82执行所生成的图像数据的发送和记录等处理的情况下，采用使用了对数转换型摄像元件401的摄像部391所拍摄的宽动态范围的图像因为主要对所使用的亮度区域分配灰度等级数，所以传送必要的信息的同时，能够节约记录容量或收发路径的通信量。
并且，通过根据灰度分配决定部411-1所决定的灰度分配，对所拍摄的宽动态范围的图像进行A/D转换处理，由此例如使用图13说明的那样，即使在拍摄夜间在街上行驶的车辆前面的图像，并在显示器上显示所拍摄的图像的情况下，包含其他车辆的头灯、尾灯或街灯等具有与画面上大部分的亮度值离散的亮度值的像素的图像，也不会产生白斑和黑斑，而且分配充分的灰度来显示用户需要的图像信息或对其进行图像处理，而不会因为头灯、尾灯或街灯等高亮度的像素而难以识别。
以上说明的灰度分配决定部411-1中，说明了对主要区域的亮度范围、和比主要区域的亮度范围的亮度高的范围中的主要部分即第2亮度区域的亮度范围(或仅为主要区域的亮度范围)，分配多个灰度等级数，来进行A/D转换的情况。与此相对，对所设定的亮度范围不是主要区域的亮度范围和第2亮度区域的亮度范围这两者的情况进行说明。
接着，图44是表示图36的灰度分配决定部411的结构的第2例即灰度分配决定部411-2的结构的框图。灰度分配决定部411-2设定3个亮度区域，即除了主要区域的亮度范围以外，还设定比主要区域的亮度范围的亮度高的范围中的主要部分即第2亮度区域的亮度范围、以及比主要区域的亮度范围的亮度低的范围中的主要部分即第3亮度区域的亮度范围，对所设定的3个亮度区域分配多个灰度等级数。
另外，对与图37的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图44的灰度分配决定部411-2具有与使用图37说明的灰度分配决定部411-1基本相同的平均亮度计算部451和主要区域亮度范围设定部452，省略了灰度分配决定部411-1的第2亮度区域亮度平均值计算部453和第2亮度区域亮度范围设定部454，新设置了高亮度区域亮度平均值计算部461、高亮度区域亮度范围设定部462、低亮度区域亮度平均值计算部463、和低亮度区域亮度范围设定部464，代替灰度分配计算部455而设有灰度分配计算部465。
高亮度区域亮度平均值计算部461取得从对数转换部112提供的图像信号，计算所取得的图像信号中比主要区域亮度范围设定部452所设定的主要区域的亮度范围的亮度高的范围的像素的平均亮度，并将计算结果提供给高亮度区域亮度范围设定部462。
高亮度区域亮度范围设定部462根据从高亮度区域亮度平均值计算部461提供的比主要区域的亮度范围的亮度高的范围的像素的平均亮度，设定比主要区域的亮度高的第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给灰度分配计算部465。
高亮度区域亮度范围设定部462例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定亮度范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定数的像素作为第2亮度区域的亮度范围。
低亮度区域亮度平均值计算部463取得从对数转换部112提供的图像信号，计算所取得的图像信号中比主要区域亮度范围设定部452所设定的主要区域的亮度范围的亮度低的范围的像素的平均亮度，并将计算结果提供给低亮度区域亮度范围设定部464。
低亮度区域亮度范围设定部464根据从低亮度区域亮度平均值计算部463提供的比主要区域的亮度范围的亮度低的范围的像素的平均亮度，设定比主要区域的亮度低的第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给灰度分配计算部465。
低亮度区域亮度范围设定部464例如可以将以比主要区域的亮度范围的亮度低的范围的像素的平均亮度为中心的规定亮度范围作为第3亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度低的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定数的像素作为第3亮度区域的亮度范围。
灰度分配计算部465取得从对数转换部112提供的图像信号，根据从主要区域亮度范围设定部452提供的主要区域的亮度范围、从高亮度区域亮度范围设定部462提供的第2亮度区域的亮度范围、以及从低亮度区域亮度范围设定部464提供的第3亮度区域的亮度范围的信息，决定在A/D转换部412进行的A/D转换中，对哪个亮度范围分配多少灰度等级数。
具体而言，灰度分配计算部465相对于所输入的亮度信号的电平，使A/D转换的灰度等级数的分配在被设定为主要区域、第2亮度区域和第3亮度区域的亮度范围以及除此之外的范围中不同。即，灰度分配计算部465决定灰度分配，使得对被设定为主要区域、第2亮度区域和第3亮度区域的亮度范围分配更多的灰度等级数，所以，在A/D转换部412中，执行使对应的亮度范围的像素的灰度数变多的A/D转换处理。由此，用户能够更好地识别显示或印刷输出的图像中与主要区域、第2亮度区域和第3亮度区域对应的亮度范围的部分。
灰度分配计算部465例如能够分配灰度，使得对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号如图45A所示。即，在对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号中，亮度的输入电平比第3亮度区域的亮度范围低的像素的输出电平为0(即漆黑)。而且，根据输入电平，对第3亮度区域内、主要区域内和第2亮度区域内的像素分配规定的灰度等级数来执行A/D转换。并且，第3亮度区域和主要区域之间的亮度范围、以及主要区域和第2亮度区域之间的亮度范围的像素与输入电平无关，作为与对以该范围之前分配的输出电平的最大值相同的灰度的数字信号来输出。而且，比第2亮度区域的亮度高的像素，作为对第2亮度区域的亮度范围分配的灰度的最大值、即整体的灰度的最大值(最大输出电平)的数字信号来输出。
并且，灰度分配计算部465例如能够分配灰度，使得对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号如图45B所示。即，在对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号中，亮度的输入电平比第3亮度区域的亮度范围低的像素的输出电平为0(即漆黑)。而且，根据输入电平，对第3亮度区域内、主要区域内和第2亮度区域内的像素分配规定的灰度输出电平来执行A/D转换。并且，第3亮度区域和主要区域之间的亮度范围、以及主要区域和第2亮度区域之间的亮度范围的像素以比对主要区域等分配的等级数少的等级数，分配与输入电平对应的输出电平来执行A/D转换。而且，比第2亮度区域的亮度高的像素与输入电平无关，作为对第2亮度区域分配的灰度的最大值、即整体的灰度的最大值(最大输出电平)的数字信号来输出。
并且，灰度分配计算部465例如能够分配灰度，使得对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号如图45C所示。例如，将以第3亮度区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以主要区域的亮度的下限值为中心的规定的亮度范围设为区间β，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间γ，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间δ。而且，在对输入到A/D转换部412的模拟信号进行A/D转换并输出的数字信号中，亮度的输入电平比第3亮度区域低的像素与输入电平无关，输出电平为0(即漆黑)。根据输入电平，对第3亮度区域内且区间α以外的像素、主要区域亮度的范围内且区间β或区间γ以外的像素、以及第2亮度区域的范围内且区间δ以外的像素，分配规定的灰度的输出电平，来执行A/D转换。并且，对区间α、区间β、区间γ和区间δ的像素，分配比对主要区域亮度范围等内且区间α～区间δ以外的部分分配的等级数少的等级数的规定的灰度的输出电平，来执行A/D转换。而且，比第2亮度区域的亮度高的像素与输入电平无关，作为对第2亮度区域分配的灰度的最大值、即整体的灰度的最大值(最大输出电平)的数字信号来输出。
另外，在图45C中，将以第3亮度区域的亮度的上限值为中心的规定的亮度范围设为区间α，将以主要区域的亮度的下限值为中心的规定的亮度范围设为区间β，将以主要区域的亮度的上限值为中心的规定的亮度范围设为区间γ，将以第2亮度区域的亮度的下限值为中心的规定的亮度范围设为区间δ，但是，例如也可以将第3亮度区域内的上限侧的规定的亮度范围设为区间α，将主要区域内的下限侧的规定的亮度范围设为区间β，将主要区域内的上限侧的规定的亮度范围设为区间γ，将第2亮度区域内的下限侧的规定的亮度范围设为区间δ，或者，将比第3亮度区域的上限的亮度高的规定的亮度范围设为区间α，将比主要区域的下限的亮度低的规定的亮度范围设为区间β，将比主要区域的上限的亮度高的规定的亮度范围设为区间γ，比第2亮度区域的下限的亮度低的规定的亮度范围设为区间δ。进而，还可以设定如下的区域：在第3亮度区域的亮度的下限侧和第2亮度区域的亮度的上限侧，分配与区间α～区间δ相同的输出电平的等级数。
并且，在图45中，说明了在比第3亮度区域的亮度低以及比第2亮度区域亮度高的范围中不分配输出电平的等级数(灰度等级数)的情况。与此相对，灰度分配计算部465例如与使用图39说明的情况同样，也可以在比第3亮度区域的亮度低以及比第2亮度区域亮度高的范围中，分配比主要区域、第2亮度区域和第3亮度区域少的等级数。
进而，灰度分配计算部465例如也可以决定对各个亮度区域分配的灰度等级数，使得与主要区域、第2亮度区域和第3亮度区域中的输出电平相对于输入电平的比率(直线的斜率)相比，这些区域以外的亮度范围中对输入电平分配的灰度等级数的比率低。
接着，使用图46说明输入信号、基于灰度分配计算部465进行的灰度等级的分配的A/D转换后的信号以及所显示的信号的亮度电平。
图46A是表示进行基于使用图45A说明的灰度等级的分配的A/D转换时的模拟输入信号、基于灰度分配计算部465进行的灰度等级数的分配的A/D转换后的信号、以及在显示器82上显示的或为了进行印刷、图像识别、记录或图像通信等处理而向图像利用装置83输出的信号的亮度电平的图。在图46A所示的情况下，在离散的亮度范围即主要区域、第2亮度区域和第3亮度区域中，分配多灰度等级数来执行A/D转换。第3亮度区域和主要区域之间的亮度范围的像素全部以第3亮度区域的最大输出电平输出，主要区域和第2亮度区域之间的亮度范围的像素全部以主要区域的最大输出电平输出。
图46B是表示进行基于使用图45B说明的灰度等级的分配的A/D转换时的模拟输入信号、基于灰度分配计算部465进行的灰度等级数的分配的A/D转换后的信号、以及在显示器82上显示的或向图像利用装置83输出的信号的亮度电平的图。在图46B所示的情况下，对第3亮度区域和主要区域之间、以及主要区域和第2亮度区域之间的区域仅赋予比主要区域、第2亮度区域和第3亮度区域的等级数少的等级数的灰度。因此，虽然赋予图像整体的灰度等级数少，但是，也能按照第3亮度区域和主要区域之间、以及主要区域和第2亮度区域之间的区域的等级数少的部分，对主要区域、第2亮度区域和第3亮度区域的信号赋予充分的亮度灰度宽度，来执行A/D转换。
图46C是表示进行基于使用图45C说明的灰度等级的分配的A/D转换时的模拟输入信号、基于灰度分配计算部465进行的灰度等级数的分配的A/D转换后的信号、以及在显示器82上显示的或向图像利用装置83输出的信号的亮度电平的图。在图46C所示的情况下，在主要区域、第2亮度区域、第3亮度区域以及它们之间的区域中，通过上述的区间α～区间δ，使所分配的亮度的灰度等级数平稳地变化，即，在区间α～区间δ中，赋予比主要区域、第2亮度区域和第3亮度区域的区间α～区间δ以外的部分少的灰度等级数。因此，即使赋予图像整体的灰度等级数少，也能够对主要区域、第2亮度区域和第3亮度区域赋予充分的亮度灰度宽度，来执行A/D转换，并且减少仅利用1灰度表现的亮度区域。
下面，参照图47的流程图，说明在包含图44的灰度分配决定部411-2的图像处理装置381中执行的图像显示处理9。
在步骤S331中，摄像部391的光检测部111与从摄像定时控制部114提供的控制信号同步地将蓄积的电荷提供给对数转换部112。即，取得所拍摄的图像信号。对数转换部112利用MOSFET的亚阈特性，生成将从光检测部111提供的电荷按照像素转换为与电荷数的对数大致成比例的电压值后的模拟电信号，提供给A/D转换部412，并提供给灰度分配决定部411-2。
在步骤S332中，灰度分配决定部411-2的平均亮度计算部451求出所拍摄的图像整体的平均亮度，将计算结果提供给主要区域亮度范围设定部452。
在步骤S333中，主要区域亮度范围设定部452根据从平均亮度计算部451提供的图像整体的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给灰度分配计算部465、高亮度区域亮度平均值计算部461和低亮度区域亮度平均值计算部463。
主要区域亮度范围设定部452例如可以将以图像信号的平均亮度为中心的规定亮度范围作为主要区域的亮度范围，也可以以图像信号的平均亮度的像素为中心，按照顺序，从具有接近该亮度的亮度值的像素中选择规定数的像素作为主要区域的亮度范围。
在步骤S334中，高亮度区域亮度平均值计算部461求出从对数转换部112提供的图像信号中、比主要区域亮度范围设定部452所设定的主要区域的亮度范围明亮的区域的平均亮度，将其结果提供给高亮度区域亮度范围设定部462。
在步骤S335中，高亮度区域亮度范围设定部462根据比从高亮度区域亮度平均值计算部461提供的主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给灰度分配计算部465。
高亮度区域亮度范围设定部462例如可以将以比主要区域的亮度范围的亮度高的范围的像素的平均亮度为中心的规定亮度范围作为第2亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度高的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定数的像素作为第2亮度区域的亮度范围。
在步骤S336中，低亮度区域亮度平均值计算部463求出从对数转换部112提供的图像信号中、比主要区域亮度范围设定部452所设定的主要区域的亮度范围暗淡的区域的平均亮度，将其结果提供给低亮度区域亮度范围设定部464。
在步骤S337中，低亮度区域亮度范围设定部464根据比从低亮度区域亮度平均值计算部463提供的主要区域的亮度范围暗淡的区域的平均亮度，设定第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给灰度分配计算部465。
低亮度区域亮度范围设定部464例如可以将以比主要区域的亮度范围的亮度低的范围的像素的平均亮度为中心的规定亮度范围作为第3亮度区域的亮度范围，也可以以比主要区域的亮度范围的亮度低的范围的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定数的像素作为第3亮度区域的亮度范围。
在步骤S338中，灰度分配计算部465根据主要区域亮度范围设定部452所设定的主要区域的亮度范围、高亮度区域亮度范围设定部462所设定的第2亮度区域的亮度范围以及低亮度区域亮度范围设定部464所设定的第3亮度区域的亮度范围，例如使用图45说明的那样，决定各个区域的A/D转换的灰度分配，提供给A/D转换部412。
在步骤S339中，A/D转换部412根据从灰度分配计算部465提供的灰度分配，将从对数转换部112提供的模拟电信号转换为数字信号，提供给图像生成部392。
在步骤S340中，图像生成部392对所提供的图像信号实施图像处理(不进行灰度转换)，提供给输出控制部95。
在步骤S341中，输出控制部95控制图像处理后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S331～步骤S339中执行基本相同的处理，将图像信号提供给显示控制部94控制其显示。
通过这种处理，使用了对数转换型摄像元件401的摄像部391所拍摄的图像数据，即使在宽亮度范围特别是从主要的亮度范围离散的高亮度和低亮度的区域都存在用户需要的图像信息的情况下，也能够有效分配A/D转换部412所具有的有限的灰度等级数，来执行A/D转换，所以即使所拍摄的图像为宽动态范围，与主要区域和第2亮度区域对应的亮度范围的部分，也能够获得具有用户能够更好地识别的、显示或印刷输出图像。
包含图44的灰度分配决定部411-2的图像处理装置381所显示的图像具体而言，例如使用图18所说明的那样，所拍摄的图像的很大部分是路面，在视角中包含比该路面的亮度高很多的高亮度的天空部分，进而视角中还包含比该路面的亮度低很多的低亮度的穿着黑套装的人的情况下，在与路面、天空和穿着黑套装的人分别对应的亮度附近，分配多个灰度等级数。因此，通过使用包含图44的灰度分配决定部411-2的图像处理装置381，在图像显示处理中，虽然显示或拍摄了天空部分产生白斑而难以识别的图像，但是能够防止产生黑斑地显示穿着黑套装的人而使用户无法判别的情况，或者，在图像识别处理中，能够防止用户无法识别(或提取)穿着黑套装的人的情况。
进而，同样，包含图44的灰度分配决定部411-2的图像处理装置381所显示的图像具体而言，例如使用图19所说明的那样，所拍摄的图像的很大部分是隧道内暗淡的路面，在视角中包含比该路面的亮度稍微高一些的高亮度的隧道内的白色墙壁，和亮度高很多的高亮度的隧道外的部分，进而，视角中还包含比隧道内的路面的亮度低很多的低亮度的隧道内黑色的车辆的情况下，在与隧道内的路面、隧道的墙壁和隧道的外面、以及隧道内黑色的车辆分别对应的亮度附近，分配多个灰度等级数。通过使用包含图44的灰度分配决定部411-2的图像处理装置381，例如，在图像显示处理中，虽然显示或拍摄了隧道外的部分产生白斑而难以识别的图像，但是能够防止产生黑斑地显示隧道内黑色的车辆而使用户难以判别的情况，在图像识别处理中，能够防止无法提取隧道外部分的车辆、护栏等或隧道中黑色车辆作为识别对象物的情况。
进而，在灰度分配决定部411中，还可以设定3个以上的区域，使对所设定的区域和没有设定的区域分配的灰度等级数不同。
接着，图48是表示图36的灰度分配决定部411的结构的第3例即灰度分配决定部411-3的结构的框图。灰度分配决定部411-3除了主要区域的亮度范围以外，还设定多个亮度区域和它们的亮度范围，对所设定的多个亮度范围分配比没有设定的亮度范围多的灰度等级数。
另外，对与图37的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图48的灰度分配决定部411-3具有与使用图37说明的灰度分配决定部411-1基本相同的平均亮度计算部451和主要区域亮度范围设定部452，省略了灰度分配决定部411-1的第2亮度区域亮度平均值计算部453和第2亮度区域亮度范围设定部454，新设置了第2亮度区域亮度平均值计算部481、第2亮度区域亮度范围设定部482、第3亮度区域亮度平均值计算部483、第3亮度区域亮度范围设定部484、第4亮度区域亮度平均值计算部485和第4亮度区域亮度范围设定部486，代替灰度分配计算部455，设有灰度分配计算部487。
第2亮度区域亮度平均值计算部481计算从对数转换部1 12提供的图像信号中、具有主要区域亮度范围设定部452所设定的主要区域的亮度范围以外的规定范围(例如，进一步对比主要区域的亮度范围的亮度高的范围进行二分割，其最高亮度的部分等)中所包含的亮度的像素的平均亮度，并将计算结果提供给第2亮度区域亮度范围设定部482。
第2亮度区域亮度范围设定部482根据从第2亮度区域亮度平均值计算部481提供的具有主要区域以外的规定范围中所包含的亮度的像素的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给灰度分配计算部487。
第2亮度区域亮度范围设定部482例如可以将以具有规定范围的亮度的像素的平均亮度为中心的规定亮度的范围作为第2亮度区域的亮度范围，也可以以具有规定范围的亮度的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定数的像素作为第2亮度区域的亮度范围。
第3亮度区域亮度平均值计算部483计算从对数转换部112提供的图像信号中、具有主要区域亮度范围设定部452所设定的主要区域的亮度范围以外的规定范围(例如，进一步对比主要区域的亮度范围的亮度高的范围进行二分割，二分割后的低亮度的部分等)中所包含的亮度的像素的平均亮度，并将计算结果提供给第3亮度区域亮度范围设定部484。
第3亮度区域亮度范围设定部484根据从第3亮度区域亮度平均值计算部483提供的具有主要区域以外的规定范围中所包含的亮度的像素的平均亮度，设定第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给灰度分配计算部487。
第3亮度区域亮度范围设定部484例如可以将以具有规定范围的亮度的像素的平均亮度为中心的规定亮度的范围作为第3亮度区域的亮度范围，也可以以具有规定范围的亮度的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定数的像素作为第3亮度区域的亮度范围。
第4亮度区域亮度平均值计算部485计算从对数转换部112提供的图像信号中、具有主要区域亮度范围设定部452所设定的主要区域的亮度范围以外的规定范围(例如，进一步对比主要区域的亮度范围的亮度低的范围进行二分割，二分割后的低亮度的部分等)中所包含的亮度的像素的平均亮度，并将计算结果提供给第4亮度区域亮度范围设定部486。
第4亮度区域亮度范围设定部486根据从第4亮度区域亮度平均值计算部485提供的具有主要区域以外的规定范围中所包含的亮度的像素的平均亮度，设定第4亮度区域的亮度范围，将所设定的第4亮度区域的亮度范围提供给灰度分配计算部487。
第4亮度区域亮度范围设定部486例如可以将以具有规定范围的亮度的像素的平均亮度为中心的规定亮度的范围作为第4亮度区域的亮度范围，也可以以具有规定范围的亮度的像素的平均亮度的像素为中心，按照顺序从具有接近该亮度的亮度值的像素中选择规定数的像素作为第4亮度区域的亮度范围。
灰度分配计算部487取得从对数转换部112提供的图像信号，根据从主要区域亮度范围设定部452提供的主要区域的亮度范围、从第2亮度区域亮度范围设定部482提供的第2亮度区域的亮度范围、从第3亮度区域亮度范围设定部484提供的第3亮度区域的亮度范围、以及从第4亮度区域亮度范围设定部486提供的第4亮度区域的亮度范围的信息，决定在A/D转换部412进行的A/D转换中，对哪个亮度范围分配多少灰度等级数。
与例如使用图38、图39或图45说明的情况同样，灰度分配计算部487使A/D转换的灰度等级数的分配，在设定为主要区域和其他区域的亮度范围以及除此之外的范围中不同。即，灰度分配计算部487决定灰度分配，使得对设定为主要区域和其他区域的亮度范围分配更多的灰度等级数，所以，在A/D转换部412中，执行使对应的亮度范围的像素的灰度数变多的A/D转换处理。由此，用户能够更好地识别显示或印刷输出的图像中与所设定的亮度区域对应的亮度范围的部分。
另外，在图48中示出了除了主要区域以外，用于设定第2～第4亮度区域的第2亮度区域亮度平均值计算部481、第2亮度区域亮度范围设定部482、第3亮度区域亮度平均值计算部483、第3亮度区域亮度范围设定部484、第4亮度区域亮度平均值计算部485和第4亮度区域亮度范围设定部486，但是，灰度分配决定部411-3也可以设置其他的亮度区域亮度平均值计算部和亮度区域亮度范围设定部，使得能够设定更多的亮度区域。
并且，图48的灰度分配决定部411-3执行的处理与使用图47说明的图像显示处理9的处理基本相同，因为与增加了所设定的区域数的情况相对应，所以省略其说明。
以上说明的灰度分配决定部411-1～灰度分配决定部411-3根据所拍摄的图像整体亮度的平均值，设定主要区域。与此相对，也可以根据所拍摄的图像中预先确定的区域中包含的像素的亮度的平均值，设定主要区域。
图49是表示图36的灰度分配决定部411的结构的第4例即灰度分配决定部411-4的结构的框图。灰度分配决定部411-4切出所拍摄的图像中预先确定的区域中包含的像素，根据所切出的区域的亮度的平均值，设定主要区域。
另外，对与图37的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图49的灰度分配决定部411-4除了代替平均亮度计算部451而设置主要区域切出部501和主要区域亮度平均值计算部502以外，具有与图37的灰度分配决定部411-1基本相同的结构。
主要区域切出部501取得从对数转换部112提供的图像信号，切出所取得的图像信号中预先设定的图像区域，将所切出的区域的像素提供给主要区域亮度平均值计算部502。
与上述情况同样，例如，在拍摄行驶中的车辆前面的图像并使用所拍摄的图像整体的平均值来设定主要区域的情况下，极端明亮的部分和极端暗淡的部分进入视角内时，主要区域的亮度范围发生改变，所显示的图像整体的明亮度发生改变。由此，频繁改变占据显示画面的主要部分的路面等的明亮度，驾驶者感知的显示图像的明亮度可能闪烁，或者，需要随时改变用于提取对象物(车辆、人或者中心线等)的阈值及其他参数。
所以，与使用图22说明的情况一样，将主要区域切出部501所切出的图像的区域作为认为是始终拍摄路面的、例如画面中央偏左的靠近下部的区域221。通过将所切出的区域作为认为是始终拍摄相同部分的区域，能够使所显示的图像中占据主要部分的路面的显示的明亮度大致恒定，所以能够防止驾驶者感知的显示图像的明亮度频繁闪烁，或者能够进行处理而不需要每次都改变用于提取对象物的参数。
主要区域亮度平均值计算部502计算从主要区域切出部501提供的、所切出的区域的像素的平均亮度，将平均亮度的计算结果提供给主要区域亮度范围设定部452。
然后，在图49的灰度分配决定部411-4中，根据主要区域亮度平均值计算部502所计算的、所切出的区域的平均亮度设定主要区域的亮度范围，根据主要区域的亮度范围，设定比主要区域的亮度范围的亮度高的范围即第2亮度区域的亮度范围。然后，通过灰度分配计算部455，对设定为主要区域和第2亮度区域的亮度范围分配更多的灰度等级，来执行A/D转换，所以，用户能够更好地识别显示或印刷输出的图像中相对应的亮度范围的部分，或者生成有利于在图像利用装置83中进行处理的图像数据。
下面，参照图50的流程图，说明在使用图49的灰度分配决定部411-4的图像处理装置381中执行的图像显示处理10。
在步骤S371中，摄像部391的光检测部111与从摄像定时控制部114提供的控制信号同步地将蓄积的电荷提供给对数转换部112。即，取得所拍摄的图像信号。对数转换部112利用MOSFET的亚阈特性，生成将从光检测部111提供的电荷按照像素转换为与电荷数的对数大致成比例的电压值后的模拟电信号，提供给A/D转换部412，并提供给灰度分配决定部411-4。
在步骤S372中，灰度分配决定部411-4的主要区域切出部501切出从对数转换部112提供的图像信号中、例如使用图22说明的预先设定的图像区域，将所切出的区域的像素提供给主要区域亮度平均值计算部502。
在步骤S373中，主要区域亮度平均值计算部502求出从主要区域切出部501提供的、所切出的区域的像素的平均亮度，将计算结果提供给主要区域亮度范围设定部452。
在步骤S374中，主要区域亮度范围设定部452根据从主要区域亮度平均值计算部502提供的、所切出的区域的像素的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给第2亮度区域亮度平均值计算部453和灰度分配计算部455。
然后，在步骤S375～步骤S380中，执行与图43的步骤S304～步骤S309基本相同的处理。
即，第2亮度区域亮度平均值计算部453求出从对数转换部112提供的图像信号中比主要区域的亮度范围明亮的区域的平均亮度，第2亮度区域亮度范围设定部454根据比主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围。
然后，灰度分配计算部455根据主要区域亮度范围以及第2亮度区域的亮度范围，例如使用图38或图39说明的那样，决定各个区域的A/D转换的灰度分配，提供给A/D转换部412。A/D转换部412根据从灰度分配计算部465提供的灰度分配，将从对数转换部112提供的模拟电信号转换为数字信号，提供给图像生成部392。图像生成部392对所提供的图像信号实施图像处理(不进行灰度转换)，提供给输出控制部95。输出控制部95控制图像处理后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S371～步骤S378中执行基本相同的处理，将图像信号提供给显示控制部94，转换为在显示器82可处理的灰度并进行输出，控制其显示。
通过这种处理，对使用了对数转换型摄像元件401的摄像部391所拍摄的宽动态范围的图像数据，有效分配A/D转换部412所具有的有限的灰度等级数，来执行A/D转换，所以即使所拍摄的图像为宽动态范围，与主要区域和第2亮度区域对应的亮度范围的部分，也能够获得具有用户能够更好地识别的、显示或印刷输出图像。特别是切出认为是始终拍摄相同部分的区域并根据该区域的亮度进行处理，由此，能够防止显示动态图像时，显示图像的明亮度频繁闪烁，或者能够进行处理而不需要每次都改变用于提取对象物的参数。
对以上说明的灰度分配决定部411-4切出所拍摄的图像内的规定区域，根据所切出的区域的像素，设定主要区域的亮度范围，对主要区域的亮度范围、和比主要区域的亮度范围的亮度高的范围中的主要部分即第2亮度区域的亮度范围，分配多个灰度等级数的情况进行了说明。与此相对，对所设定的亮度范围不是主要区域的亮度范围和第2亮度区域的亮度范围这两者的情况进行说明。
接着，图51是表示图36的灰度分配决定部411的结构的第5例即灰度分配决定部411-5的结构的框图。灰度分配决定部411-5切出所拍摄的图像内的规定区域，根据所切出的区域的像素设定主要区域的亮度范围，灰度分配决定部411-5设定3个亮度区域，即除了主要区域的亮度范围以外，还设定比主要区域的亮度范围的亮度高的范围中的主要部分即第2亮度区域的亮度范围、以及比主要区域的亮度范围的亮度低的范围中的主要部分即第3亮度区域的亮度范围，对所设定的3个亮度区域分配多个灰度等级数。
另外，对与图44或图49的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图51的灰度分配决定部411-5具有与使用图49说明时相同的主要区域切出部501和主要区域亮度平均值计算部502，并且具有与使用图44说明时相同的主要区域亮度范围设定部452、高亮度区域亮度平均值计算部461、高亮度区域亮度范围设定部462、低亮度区域亮度平均值计算部463、低亮度区域亮度范围设定部464和灰度分配计算部465。
图51的灰度分配决定部411-5与使用图49说明的灰度分配决定部411-4同样，切出所拍摄的图像内的规定区域，根据所切出的区域的像素设定主要区域的亮度范围，并且，与使用图44说明的灰度分配决定部411-2同样，设定3个亮度区域，即除了主要区域的亮度范围以外，还设定比主要区域的亮度范围的亮度高的范围中的主要部分即第2亮度区域的亮度范围、以及比主要区域的亮度范围的亮度低的范围中的主要部分即第3亮度区域的亮度范围，对所设定的3个亮度区域分配多灰度等级数，来执行A/D转换。
具体而言，在所拍摄的图像内存在比图像整体的明亮度极端暗淡的部分的情况下，例如，在视角内包含夜间、穿着黑衣服的行人的情况等，希望清楚地显示用户肉眼难以确认的被摄体。特别地，如上所述，在拍摄行驶中的车辆前面的图像，并在显示器上显示所拍摄的图像的情况下，希望根据以宽动态范围拍摄的摄像图像信号，生成能够使驾驶者清楚地识别在夜间穿着黑衣服的行人的显示图像。因此，将所切出的区域作为通过周边的明亮度改变反射光量、并认为是始终拍摄相同部分的区域，由此防止画面闪烁，并能够以驾驶者容易识别的状态来显示驾驶者需要的信息。
参照图52的流程图，说明在包含图51的灰度分配决定部411-5的图像处理装置381中执行的图像显示处理11。
在步骤S401～步骤S403中，执行与图50的步骤S371～步骤S373基本相同的处理。
即，摄像部391的光检测部111与从摄像定时控制部114提供的控制信号同步地将蓄积的电荷提供给对数转换部112。即，取得所拍摄的图像信号。对数转换部112利用MOSFET的亚阈特性，生成将从光检测部111提供的电荷按照像素转换为与电荷数的对数大致成比例的电压值后的模拟电信号，提供给A/D转换部412，并提供给灰度分配决定部411-4。灰度分配决定部411-4的主要区域切出部501切出从对数转换部112提供的图像信号中、例如使用图22说明的预先设定的图像区域，将所切出的区域的像素提供给主要区域亮度平均值计算部502。主要区域亮度平均值计算部502求出从主要区域切出部501提供的、所切出的区域的像素的平均亮度，将计算结果提供给主要区域亮度范围设定部452。
在步骤S404中，主要区域亮度范围设定部452根据从主要区域亮度平均值计算部502提供的、所切出的区域的像素的平均亮度，设定主要区域的亮度范围，将所设定的主要区域的亮度范围提供给灰度分配计算部465、高亮度区域亮度平均值计算部461和低亮度区域亮度平均值计算部463。
然后，在步骤S405～步骤S412中，执行与图47的步骤S334～步骤S341基本相同的处理。
即，高亮度区域亮度平均值计算部461求出从对数转换部112提供的图像信号中、比主要区域的亮度范围明亮的区域的平均亮度，高亮度区域亮度范围设定部462根据比主要区域的亮度范围明亮的区域的平均亮度，设定第2亮度区域的亮度范围，将所设定的第2亮度区域的亮度范围提供给灰度分配计算部465。
然后，低亮度区域亮度平均值计算部463求出从对数转换部112提供的图像信号中、比主要区域的亮度范围暗淡的区域的平均亮度，低亮度区域亮度范围设定部464根据比主要区域的亮度范围暗淡的区域的平均亮度，设定第3亮度区域的亮度范围，将所设定的第3亮度区域的亮度范围提供给灰度分配计算部465。
然后，灰度分配计算部465根据所设定的主要区域的亮度范围、第2亮度区域的亮度范围以及第3亮度区域的亮度范围，例如使用图45说明的那样，决定各个区域的A/D转换的灰度分配，提供给A/D转换部412。A/D转换部412根据从灰度分配计算部465提供的灰度分配，将从对数转换部112提供的模拟电信号转换为数字信号，提供给图像生成部392。图像生成部392对所提供的图像信号实施图像处理(不进行灰度转换)，提供给输出控制部95。输出控制部95控制图像处理后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S401～步骤S410中执行基本相同的处理，将图像信号提供给显示控制部94，转换为在显示器82中可处理的灰度来输出，并控制其显示。
通过这种处理，在使用了对数转换型摄像元件401的摄像部391所拍摄的、进行了A/D转换的图像数据中，能够有效分配A/D转换部412所具有的有限的灰度等级数，所以即使所拍摄的图像为宽动态范围，与主要区域、第2亮度区域和第3亮度区域对应的亮度范围的部分，也能够获得具有用户能够更好地识别的、显示或印刷输出图像。特别是能够防止显示动态图像时，显示图像的明亮度频繁闪烁，或者能够进行处理而不需要每次都改变用于提取对象物的参数。
进而，在灰度分配决定部411中，还可以切出所拍摄的图像内的规定区域，根据所切出的区域的像素，设定3个以上的区域。而且，灰度分配决定部411能够使对所设定的区域和没有设定的区域分配的灰度等级数不同。
接着，图53是表示图36的灰度分配决定部411的结构的第6例即灰度分配决定部411-6的结构的框图。灰度分配决定部411-6切出所拍摄的图像内的规定区域，根据所切出的区域的像素，设定主要区域的亮度范围，除了主要区域的亮度范围以外，还设定多个亮度区域对应的亮度范围，对所设定的多个亮度范围分配比设定范围以外多的灰度等级数。
另外，对与图48或图49的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图53的灰度分配决定部411-6设有与使用图49说明时相同的主要区域切出部501和主要区域亮度平均值计算部502，并且具有与使用图48说明时相同的主要区域亮度范围设定部452、第2亮度区域亮度平均值计算部481、第2亮度区域亮度范围设定部482、第3亮度区域亮度平均值计算部483、第3亮度区域亮度范围设定部484、第4亮度区域亮度平均值计算部485、第4亮度区域亮度范围设定部486和灰度分配计算部487。
图53的灰度分配决定部411-6与使用图49说明的灰度分配决定部411-4同样，切出所拍摄的图像内的规定区域，根据所切出的区域的像素设定主要区域的亮度范围，并且，与使用图48说明的灰度分配决定部411-3同样，除了主要区域的亮度范围以外，还设定多个亮度区域的各个的亮度范围，对所设定的多个亮度范围分配比设定范围以外多的灰度等级数。
另外，在图53中示出了除了主要区域以外，用于设定第2～第4亮度区域的第2亮度区域亮度平均值计算部481、第2亮度区域亮度范围设定部482、第3亮度区域亮度平均值计算部483、第3亮度区域亮度范围设定部484、第4亮度区域亮度平均值计算部485和第4亮度区域亮度范围设定部486，但是，也可以在灰度分配决定部411-3中设置其他的亮度区域亮度平均值计算部和亮度区域亮度范围设定部，以使能够设定更多的亮度区域。
并且，图53的灰度分配决定部411-6执行的处理与使用图52说明的图像显示处理11的处理基本相同，因为与增加了所设定的区域数的情况相对应，所以省略其说明。
以上说明的灰度分配决定部411-1～灰度分配决定部411-6根据所拍摄的图像整体或规定部分的亮度的平均值，设定主要区域。与此相对，也可以制作表示所拍摄的图像中包含的像素的亮度值的分布的柱状图并对其进行解析，由此设定多个亮度范围，对所设定的亮度范围，分配比设定范围以外多的灰度等级数，来进行A/D转换。
图54是表示图36的灰度分配决定部411的结构的第7例即灰度分配决定部411-7的结构的框图。灰度分配决定部411-7对所拍摄的图像的各像素的亮度值的柱状图进行解析，根据解析结果，设定多个亮度范围。
灰度分配决定部411-7由柱状图解析部551、阈值比较处理部552、多阶段亮度范围设定部553以及灰度分配计算部554构成。
柱状图解析部551取得从对数转换部112提供的图像信号，根据所取得的图像信号，生成表示所拍摄的图像的各像素的亮度值的分布的柱状图并对其进行解析，将解析结果提供给阈值比较处理部552。
阈值比较处理部552根据从柱状图解析部551提供的柱状图的解析结果，将与输入信号的各个亮度值对应的像素的数与规定的阈值进行比较。换言之，阈值比较处理部552提取所拍摄的图像的亮度范围中具有一定数以上的像素数的部分。阈值比较处理部552将表示与阈值比较的结果为判断为像素数在阈值以上的亮度值的信息提供给多阶段亮度范围设定部553。
这里，阈值可以是通过实验或经验所求出而预先设定的值，也可以是由用户适当设定的值。在阈值设定得过低的情况下，因为大部分信息残留，所以，所获得的图像例如使用图10说明的、对使用对数转换型摄像元件401拍摄的宽动态范围的图像没有使用图像处理装置381进行处理时的显示图像那样，成为没有浓淡差异(没有轮廓)的图像。另一方面，在阈值设定得过高的情况下，信息的漏取变多，可能成为仅鲜明地显示一部分的亮度范围的图像。
多阶段亮度范围设定部553根据从阈值比较处理部552提供的判断为像素数在阈值以上的亮度值，设定多个分配比设定范围以外多的灰度等级数的亮度范围，将所设定的亮度范围提供给灰度分配计算部554。多阶段亮度范围设定部553所设定的亮度范围数由从阈值比较处理部552提供的比较结果来决定，但是例如也可以预先决定该数的上限。
灰度分配计算部554取得从对数转换部112提供的图像信号，根据从多阶段亮度范围设定部553提供的所设定的亮度范围的信息，决定在A/D转换部412进行的A/D转换中，对哪个亮度范围分配多少灰度等级数。例如与使用图38、图39或图45说明的情况基本相同，灰度分配计算部554决定灰度等级数的分配，使得所设定的亮度区域的A/D转换的灰度等级数的分配，比分配给除此之外的亮度区域的A/D转换的灰度等级数多。
具体而言，在灰度分配决定部411-7中，如图55所示，通过柱状图解析部551对表示所拍摄的图像的各像素的亮度值(模拟信号)的分布的柱状图进行解析，在阈值比较处理部552中与阈值进行比较，提取出在同一图像内(1帧内)具有阈值以上的像素数的亮度。然后，根据所提取的亮度，在多阶段亮度范围设定部553中设定多个亮度范围，在灰度分配计算部554中计算出A/D转换的灰度等级数的分配，以使对该范围内优先分配灰度等级数，所以，能够充分赋予所设定亮度范围的各个亮度灰度宽度。
下面，参照图56的流程图，说明在使用了图54说明的灰度分配决定部411-7的图像处理装置381中执行的图像显示处12。
在步骤S441中，摄像部391的光检测部111与从摄像定时控制部114提供的控制信号同步地将蓄积的电荷提供给对数转换部112。即，取得所拍摄的图像信号。对数转换部112利用MOSFET的亚阈特性，生成将从光检测部111提供的电荷按照像素转换为与电荷数的对数大致成比例的电压值后的模拟电信号，提供给A/D转换部412，并提供给灰度分配决定部411-7。
在步骤S442中，灰度分配决定部411-7的柱状图解析部551根据从对数转换部112提供的图像信号，生成表示所拍摄的图像的各像素的亮度的分布的柱状图并对其进行解析，将解析结果提供给阈值比较处理部552。
在步骤S443中，阈值比较处理部552根据从柱状图解析部551提供的柱状图的解析结果，将与各个输入信号的亮度值对应的像素数与规定的阈值进行比较。阈值比较处理部552将表示与阈值比较的结果为判断为像素数在阈值以上的亮度值的信息提供给多阶段亮度范围设定部553。
在步骤S444中，多阶段亮度范围设定部553根据从阈值比较处理部552提供的判断为像素数在阈值以上的亮度值，设定多个分配比设定范围以外多的灰度等级数的亮度范围，将所设定的亮度范围提供给灰度分配计算部554。
在步骤S445中，灰度分配计算部554根据从多阶段亮度范围设定部553提供的所设定的亮度范围的信息，例如与使用图38、图39或图45说明的情况基本相同，决定各个区域的A/D转换的灰度分配，提供给A/D转换部412。
在步骤S446中，A/D转换部412根据从灰度分配计算部465提供的灰度分配，将从对数转换部112提供的模拟电信号转换为数字信号，提供给图像生成部392。
在步骤S447中，图像生成部392对所提供的图像信号实施图像处理(不进行灰度转换)，提供给输出控制部95。
在步骤S448中，输出控制部95控制图像处理后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S441～步骤S446中执行基本相同的处理，将图像信号提供给显示控制部94，控制其显示。
通过这种处理，在使用了对数转换型摄像元件401的摄像部391所拍摄的图像数据中，即使在宽亮度范围离散地存在用户需要的图像信息的情况下，通过采用使用了图54的灰度分配决定部411-7的图像处理装置381对图像进行处理，检测出图像内的主要亮度分布的范围，对该范围内多分配A/D转换的灰度等级数，所以对于以宽动态范围拍摄的图像，能够显示为用户能够识别的状态，或容易地进行各种处理。
在以上说明的灰度分配决定部411-1～灰度分配决定部411-7中，根据所拍摄的图像来设定分配多个灰度等级数的亮度区域。与此相对，也可以预先决定分配多个灰度等级数的亮度区域，或可通过用户的操作输入来设定。例如，所拍摄的图像的视角固定，或对被摄体照射一定的照明等，预先知道所拍摄的图像中与用户需要的图像信息相对应的像素的亮度区域时，能够预先决定分配多灰度等级数的亮度区域。由此，能够简化处理，降低装置的成本。
图57是表示图36的灰度分配决定部411的结构的第8例即灰度分配决定部411-8的结构的框图。灰度分配决定部411-8用于预先决定分配多个灰度等级数的亮度区域的情况。
第1亮度区域亮度范围设定部581从操作输入部92接受第1亮度区域的亮度范围的设定值的输入，或者取得存储在未图示的存储部中的第1亮度区域的设定值，将第1亮度范围的设定值提供给灰度分配计算部487。
第2亮度区域亮度范围设定部582从操作输入部92接受第2亮度区域的亮度范围的设定值的输入，或者取得存储在未图示的存储部中的第2亮度区域的设定值，将第2亮度区域的亮度范围的设定值提供给灰度分配计算部487。
第3亮度区域亮度范围设定部583从操作输入部92接受第3亮度区域的亮度范围的设定值的输入，或者取得存储在未图示的存储部中的第3亮度区域的设定值，将第3亮度区域的亮度范围的设定值提供给灰度分配计算部487。
灰度分配计算部487执行与图48的灰度分配决定部411-3的情况基本相同的处理，根据所设定的多个亮度范围，决定在A/D转换部412进行的A/D转换中，对哪个亮度范围分配多少灰度等级数。即，灰度分配计算部487根据从第1亮度区域亮度范围设定部581提供的第1亮度范围、从第2亮度区域亮度范围设定部582提供的第2亮度区域的亮度范围、以及从第3亮度区域亮度范围设定部583提供的第3亮度区域的亮度范围的信息，决定对各个亮度范围分配的A/D转换的灰度等级数。
另外，在图57中示出了用于设定第1～第3亮度区域的亮度范围的第1亮度区域亮度范围设定部581、第2亮度区域亮度范围设定部582、以及第3亮度区域亮度范围设定部583，但是，也可以在灰度分配决定部411-8中设置其他的亮度区域亮度范围设定部，使得能够接受更多的亮度区域的亮度范围的设定。
下面，参照图58的流程图，说明在使用图57说明的灰度分配决定部411-8的图像处理装置381中执行的图像显示处理13。
在步骤S471中，操作输入部92从用户接受多个亮度范围的设定值的输入，将所输入的设定值提供给灰度分配决定部411-8。
在步骤S472中，摄像部391的光检测部111与从摄像定时控制部114提供的控制信号同步地将蓄积的电荷提供给对数转换部112。即，取得所拍摄的图像信号。对数转换部112利用MOSFET的亚阈特性，生成将从光检测部111提供的电荷按照像素转换为与电荷数的对数大致成比例的电压值后的模拟电信号，提供给A/D转换部412，并提供给灰度分配决定部411-8。
在步骤S473中，灰度分配决定部411-8的第1亮度区域亮度范围设定部581、第2亮度区域亮度范围设定部582以及第3亮度区域亮度范围设定部583取得从操作输入部92提供的多个亮度范围的设定值，将其提供给灰度分配计算部487。
在步骤S474中，灰度分配计算部487根据从第1亮度区域亮度范围设定部581、第2亮度区域亮度范围设定部582以及第3亮度区域亮度范围设定部583提供的多个亮度范围的设定值，例如使用图38、图39或图45说明的那样，决定各个区域的A/D转换的灰度分配，提供给A/D转换部412。
在步骤S475中，A/D转换部412根据从灰度分配计算部465提供的灰度分配，将从对数转换部112提供的模拟电信号转换为数字信号，提供给图像生成部392。
在步骤S476中，图像生成部392对所提供的图像信号实施图像处理(不进行灰度转换)，提供给输出控制部95。
在步骤S477中，输出控制部95控制图像处理后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S471～步骤S475中执行基本相同的处理，将图像信号提供给显示控制部94，控制其显示。
并且，这里，说明了从操作输入部92接受各个亮度区域的亮度范围的设定值的输入的情况，但是，将各个亮度区域的亮度范围预先存储在未图示的存储部中的情况下，当然也可以取得所存储的亮度区域的设定值。
通过这种处理，如果预先知道使用对数转换型摄像元件401拍摄的宽动态范围的摄像图像数据中、与用户需要的图像信息相对应的像素的亮度区域，则通过预先决定分配多个灰度等级数的亮度区域，能够以简单的处理将用户需要的图像信息显示为用户可识别的状态，或生成适合于执行印刷、图像识别、记录或发送等各种处理的图像数据，进而还能够降低装置的成本。
并且，也可以在预先确定的亮度区域中，对表示所拍摄的图像中包含的像素的亮度值的分布的柱状图进行解析，提取出在所确定的亮度范围中具有一定数以上的像素数的亮度，根据提取结果，确定分配多个灰度等级数的亮度区域。
图59是表示图36的灰度分配决定部411的结构的第9例即灰度分配决定部411-9的结构的框图。灰度分配决定部411-9在预先确定的亮度区域中，提取出通过柱状图解析具有一定数以上的像素数的亮度，根据提取结果，确定分配多灰度等级数的亮度区域。
另外，对与图54或图57的情况相对应的部分赋予同一符号，并适当省略其说明。
即，图59的灰度分配决定部411-9具有使用图57说明的灰度分配决定部411-8的第1亮度区域亮度范围设定部581、第2亮度区域亮度范围设定部582、第3亮度区域亮度范围设定部583以及灰度分配计算部487。进而，在灰度分配决定部411-9中，为了根据从第1亮度区域亮度范围设定部581、第2亮度区域亮度范围设定部582、第3亮度区域亮度范围设定部583输出的亮度范围的设定值，来解析柱状图并与规定阈值进行比较，还设有柱状图解析部551-1～251-3以及阈值比较处理部552-1～252-3，它们能够执行与使用图54说明的灰度分配决定部411-7所具有的柱状图解析部551和阈值比较处理部552相同的处理。
具体而言，在灰度分配决定部411-9中，如图60所示，在第1亮度区域亮度范围设定部581所设定的第1范围、在第2亮度区域亮度范围设定部582所设定的第2范围、和在第3亮度区域亮度范围设定部583所设定的第3范围内，分别通过柱状图解析部551-1～251-3对所拍摄的图像的各像素的亮度值的柱状图进行解析，在阈值比较处理部552-1～252-3中与阈值进行比较，提取具有规定阈值以上的像素数的亮度。
即，即使在第1范围、第2范围和第3范围以外的亮度范围中存在具有比阈值多的像素数的亮度，该亮度也不设定在优先分配灰度等级数的亮度范围中。
然后，在灰度分配计算部487中，根据所提取的亮度，对该范围内的像素优先分配灰度等级数，根据灰度等级的分配来执行A/D转换。
例如，所拍摄的图像的视角固定，或对被摄体照射一定的照明等，预先知道所拍摄的图像中与用户需要的图像信息相对应的像素的亮度区域，但是，例如在与用户需要的图像信息相对应的像素的亮度区域由于时间发生某种模式的变化的情况下，即使是相同的亮度区域，有时也会出现以下情况：白天具有大量信息而傍晚几乎没有信息，或者傍晚和夜间具有大量信息，而早上和白天几乎没有信息。
在这种情况下，即使预先设定可能包含用户需要的图像信息的所有的亮度区域，通过执行柱状图解析和与阈值的比较，也能够避免对没有需要的信息的亮度区域，优先分配灰度等级数的情况。
下面，参照图61的流程图，说明在使用图59说明的灰度分配决定部411-9的图像处理装置381中执行的图像显示处理14。
在步骤S501中，操作输入部92从用户接受多个亮度范围的设定值的输入，将所输入的设定值提供给灰度分配决定部411-9。
在步骤S502中，摄像部391的光检测部111与从摄像定时控制部114提供的控制信号同步地将蓄积的电荷提供给对数转换部112。即，取得所拍摄的图像信号。对数转换部112利用MOSFET的亚阈特性，生成将从光检测部111提供的电荷按照像素转换为与电荷数的对数大致成比例的电压值后的模拟电信号，提供给A/D转换部412，并提供给灰度分配决定部411-9。
在步骤S503中，灰度分配决定部411-9的第1亮度区域亮度范围设定部581、第2亮度区域亮度范围设定部582以及第3亮度区域亮度范围设定部583取得从操作输入部92提供的多个亮度范围的设定值，分别将其提供给柱状图解析部551-1～251-3。
在步骤S504中，柱状图解析部551-1～251-3根据从对数转换部112提供的图像信号，如使用图60说明的那样，分别生成表示所拍摄的图像的第1～第3范围内的亮度值的分布的柱状图并对其进行解析，将解析结果提供给阈值比较处理部552-1～252-3。
在步骤S505中，阈值比较处理部552-1～252-3根据从柱状图解析部551-1～251-3提供的第1～第3范围内的柱状图的解析结果，将与各个输入信号的亮度值对应的像素数与规定的阈值进行比较。阈值比较处理部552-1～252-3将与阈值比较的结果为判断为像素数在阈值以上的亮度值提供给灰度分配计算部487。
在步骤S506中，灰度分配计算部487根据从阈值比较处理部552-1～252-3提供的亮度值，设定分配多个灰度等级数的亮度范围。
在步骤S507中，例如使用图38、图39或图45说明的那样，灰度分配计算部487决定各个区域的A/D转换的灰度分配，提供给A/D转换部412。
在步骤S508中，A/D转换部412根据从灰度分配计算部465提供的灰度分配，将从对数转换部112提供的模拟电信号转换为数字信号，提供给图像生成部392。
在步骤S509中，图像生成部392对所提供的图像信号实施图像处理(不进行灰度转换)，提供给输出控制部95。
在步骤S510中，输出控制部95控制图像处理后的图像数据向图像利用装置83的输出，结束处理。
另外，这里说明了将所生成的图像输出到图像利用装置83的处理，但在经由显示控制部94将所生成的图像输出到显示器82进行显示的情况下，在步骤S501～步骤S508中执行基本相同的处理，将图像信号提供给显示控制部94，转换为在显示器82上可处理的灰度来输出，并控制其显示。
并且，这里，说明了从操作输入部92接受各个亮度区域的亮度范围的设定值的输入的情况，但是，将各个亮度区域的亮度范围预先存储在未图示的存储部中的情况下，当然也可以取得所存储的亮度区域的设定值。
通过这种处理，例如，在与用户需要的图像信息相对应的像素的亮度区域由于时间发生某种模式的变化的情况下，具体而言，在即使是相同的亮度区域，白天具有大量信息而傍晚几乎没有信息，或者傍晚和夜间具有大量信息，而早上和白天几乎没有信息的情况下，即使预先设定可能包含用户需要的图像信息的所有的亮度区域，通过执行柱状图解析和与阈值的比较，也能够避免对没有需要的信息的亮度区域，优先分配灰度等级数的情况，能够效率良好地分配A/D转换的灰度等级数。
如以上说明的那样，在使用灰度分配决定部411的图像处理装置381中，在对数转换型摄像元件401所拍摄的图像数据中，即使在宽亮度范围中存在用户需要的图像信息的情况下，通过效率良好地分配A/D转换的灰度等级数，即使在预先限定A/D转换的灰度等级数的情况下，也能够将用户需要的信息显示为可识别的状态(例如，暗淡中的黑色物体、与暗淡部分存在于同一画面内的明亮的部分等)，或能够生成适用于印刷、图像识别、存储、发送等各种处理的图像数据。
即，通过进行以上说明的图像处理，在所显示或印刷输出的图像中，能够获得压缩了亮度的图像数据，以使用户易于观看。这样获得的图像数据是进行了亮度压缩而不极端地减少对必要的亮度范围分配的灰度数的宽动态范围图像数据，在图像利用装置83中也易于处理。亮度压缩是指减少图像数据的亮度值的灰度数(灰度等级数)。
亮度灰度的等级数在全部亮度区域中以一定的比率减少时，没有显示或印刷输出时的图像的浓淡差异，难以进行二值化和规定对象物的检测等一般的图像处理。但是，对通过规定处理所设定的亮度范围分配比亮度范围以外多的灰度，能够维持所设定的亮度范围的灰度分辨率，另一方面，对没有设定的亮度范围完全不分配灰度等级数或几乎不分配灰度等级数，作为图像数据整体，灰度数减少。因此，通过执行应用本发明的图像转换处理，例如能够具有充分的浓淡差异来显示或印刷输出用户应该识别的亮度区域部分，或者，在各种图像处理中，能够容易地决定二值化的阈值，或者能够根据图像容易地检测规定对象物。
并且，例如，在以执行只要能识别图像内容即可的处理为目的来记录或发送图像的情况下，宽动态范围图像数据是包含不需要使用的信息的非常巨大的数据，处理这种数据效率很差。
与此相对，根据本发明，在作为处理对象的被摄体分散在偏离的亮度区域中的情况下，进行亮度压缩，即使在人观看时视为通常的图像，与利用以往的摄像元件拍摄窄亮度范围时一样，也能够获得人眼观察时完全没有不舒适感的图像，所以，例如能够利用原来的处理过程来应用以往的图像识别装置。
并且，根据本发明，因为以可识别图像内容的状态进行亮度压缩，所以能够防止记录或发送包含不需要的信息的巨大的数据。
并且，例如，在使用传感器等其他装置来判定白天和夜间等摄像环境的状态的情况下，图像处理装置381优选根据对象的状态以不同的模式来设定亮度范围。例如，白天对比较明亮的区域分配多亮度，夜间对低亮度、中央的亮度、高亮度区域平均分配，则能够提高亮度压缩率。
进而，因为利用本发明的方法得到的图象是灰度被以自然观看的方式被压缩的图像，所以，能够直接应用以往的JPEG或MPEG等的一般的静止图像/动态图像压缩方法。其结果，能够获得非常高的压缩率。
上述一连串的处理还能够通过软件来执行。该软件从记录介质安装到在专用的硬件中装入构成该软件的程序的计算机、或通过安装各种程序而能够执行各种功能的例如通用个人计算机等中。该情况下，例如使用图2说明的图像处理装置81的全部或一部分(例如图像生成部93和显示控制部94)由图62所示的个人计算机301构成。
在图62中，CPU(Central Processing Unit)311按照存储在ROM(ReadOnly Memory)312中的程序、或从存储部318装载到RAM(RandomAccess Memory)313中的程序，执行各种处理。RAM 313中还适当存储CPU 311执行各种处理所需要的数据等。
CPU 311、ROM 312和RAM 313经由总线314相互连接。该总线314还与输入输出接口315连接。
在输入输出接口315上连接有由键盘、鼠标等构成的输入部316；由显示器和扬声器等构成的输出部317；由硬盘等构成的存储部318；以及由调制解调器、终端适配器等构成的通信部319。通信部319经由包含因特网的网络进行通信处理。
根据需要，输入输出接口315上还连接有驱动器320，并适当安装有磁盘331、光盘332、光磁盘333或半导体存储器334等，根据需要，将从这些装置读出的计算机程序安装在存储部318中。
在通过软件执行一连串的处理的情况下，该软件从网络或记录介质安装到在专用的硬件中装入构成该软件的程序的计算机、或通过安装各种程序而能够执行各种功能的例如通用个人计算机等中。
该记录介质如图62所示，不仅利用由用于向用户提供程序而独立于装置主体配置的、存储有程序的磁盘331(包含软盘)、光盘332(包含CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital VersatileDisk))、光磁盘333(包含MD(Mini-Disk)(注册商标))或半导体存储器334等构成的封装介质构成，而且利用以预先装入装置主体的状态提供给用户并存储有程序的ROM 312、和包含在存储部318中的硬盘等构成。
并且，在本说明书中，描述记录在记录介质中的程序的步骤，当然包含按照所记载的顺序以时间序列进行的处理，但不一定以时间序列进行处理，还包含并行或单独执行的处理。
并且，本发明当然也可以应用于通过多个装置来实现在本说明书中由一个装置执行的处理的情况。

Claims (13)

1.一种图像处理装置，其特征在于，该图像处理装置具有：
取得单元，其取得由与入射光量的对数大致成比例的像素值构成的图像信号；
亮度范围设定单元，其在所述取得单元所取得的所述图像信号的全部亮度范围中，设定规定的亮度范围；以及
转换单元，其转换所述取得单元所取得的所述图像信号，使得对所述亮度范围设定单元所设定的所述规定的亮度范围分配比所述亮度范围以外多的灰度。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述亮度范围设定单元设定多个所述规定的亮度范围。
3.根据权利要求1所述的图像处理装置，其特征在于，
该图像处理装置还具有A/D转换单元，该A/D转换单元对所述取得单元所取得的所述图像信号的全部亮度范围的图像信号进行A/D转换，
所述转换单元对由所述A/D转换单元转换为数字信号后的所述图像信号进行转换。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述转换单元转换所述取得单元所取得的所述图像信号，使得与由所述A/D转换单元转换为数字信号后的所述图像信号中包含的像素的亮度的灰度数相比，转换后的亮度的灰度数减少。
5.根据权利要求4所述的图像处理装置，其特征在于，
该图像处理装置还具有输出控制单元，该输出控制单元将所述转换单元所转换的所述图像信号的亮度的灰度数转换为规定的外部装置可处理的灰度数，并且控制转换后的所述图像信号向所述外部装置的输出。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述转换单元还具有：
A/D转换单元，其对取得单元所取得的所述图像信号进行A/D转换；以及
决定单元，其决定所述A/D转换单元进行A/D转换的灰度等级数，
所述决定单元决定A/D转换的灰度等级数，使得对所述亮度范围设定单元所设定的所述规定的亮度范围分配比所述亮度范围以外多的灰度，
所述A/D转换单元根据所述决定单元所决定的所述灰度等级数，对所述图像信号进行A/D转换。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述图像信号由对数转换型摄像元件拍摄，该摄像元件利用半导体的亚阈特性，输出与入射光量的对数大致成比例的像素值。
8.一种图像处理方法，其用于对与入射光量的对数大致成比例的像素值的所拍摄的图像信号进行处理的图像处理装置，其特征在于，该图像处理方法具有：
取得步骤，其取得所述图像信号；
亮度范围设定步骤，其在所述取得步骤的处理所取得的所述图像信号的全部亮度范围中，设定规定的亮度范围；以及
转换步骤，其转换所述取得步骤的处理所取得的所述图像信号中包含的像素的亮度，使得对所述亮度范围设定步骤的处理所设定的所述规定的亮度范围分配比所述亮度范围以外多的灰度。
9.一种程序，其用于使计算机执行与入射光量的对数大致成比例的像素值的所拍摄的图像信号的处理，其特征在于，该程序使计算机执行包含以下步骤的处理：
取得控制步骤，其控制所述图像信号的取得；
亮度范围设定步骤，其在通过所述取得控制步骤的处理来控制取得的所述图像信号的全部亮度范围中，设定规定的亮度范围；以及
转换步骤，其转换通过所述取得控制步骤的处理来控制取得的所述图像信号中包含的像素的亮度，使得对通过所述亮度范围设定步骤的处理所设定的所述规定的亮度范围分配比所述亮度范围以外多的灰度。
10.一记录介质，其特征在于，该记录介质记录了权利要求9所述的程序。
11.一种图像处理系统，其由图像处理装置和信息处理装置构成，该图像处理装置对由输出与入射光量的对数大致成比例的像素值的摄像元件所拍摄的图像信号进行处理，该信息处理装置执行利用了所述图像处理装置所处理的所述图像信号的处理，其特征在于，
所述图像处理装置具有：
取得单元，其取得所述摄像元件所拍摄的图像信号；
亮度范围设定单元，其在所述取得单元所取得的所述图像信号的亮度范围中，设定多个亮度范围；
转换单元，其转换所述取得单元所取得的所述图像信号，使得对所述亮度范围设定单元所设定的所述规定的亮度范围分配比所述亮度范围以外多的灰度，并且使得与所述取得单元所取得的所述图像信号中包含的像素的亮度的灰度数相比，亮度的灰度数减少；以及
输出控制单元，其将所述转换单元所转换的所述图像信号的亮度的灰度数转换为所述信息处理装置可处理的灰度数，并且控制转换后的所述图像信号向所述信息处理装置的输出。
12.根据权利要求11所述的图像处理系统，其特征在于，
该图像处理系统还具有摄像装置，该摄像装置使用输出与入射光量的对数大致成比例的像素值的所述摄像元件进行拍摄。
13.一种图像处理系统，其由图像处理装置和信息处理装置构成，该图像处理装置对与入射光量的对数大致成比例的像素值的所拍摄的图像信号进行处理，该信息处理装置执行利用了所述图像处理装置所处理的所述图像信号的处理，其特征在于，
所述图像处理装置具有：
取得单元，其取得所述图像信号；
亮度范围设定单元，其在所述取得单元所取得的所述图像信号的全部亮度范围中，设定规定的亮度范围；
A/D转换单元，其对取得单元所取得的所述图像信号进行A/D转换；
决定单元，其决定所述A/D转换单元进行A/D转换的灰度等级数；以及
输出控制单元，其控制所述A/D转换单元所转换的所述图像信号向所述信息处理装置的输出，
所述决定单元决定A/D转换的灰度等级数，使得对所述亮度范围设定单元所设定的所述规定的亮度范围分配比所述亮度范围以外多的灰度，
所述A/D转换单元根据所述决定单元所决定的所述灰度等级数，对所述图像信号进行A/D转换。
CN2006800086218A 2005-03-15 2006-03-15 图像处理装置和图像处理方法、图像处理系统 Expired - Fee Related CN101142810B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP072840/2005 2005-03-15
JP2005072840 2005-03-15
PCT/JP2006/305117 WO2006098360A1 (ja) 2005-03-15 2006-03-15 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体

Publications (2)

Publication Number Publication Date
CN101142810A true CN101142810A (zh) 2008-03-12
CN101142810B CN101142810B (zh) 2010-09-01

Family

ID=36991702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800086218A Expired - Fee Related CN101142810B (zh) 2005-03-15 2006-03-15 图像处理装置和图像处理方法、图像处理系统

Country Status (5)

Country Link
US (1) US20090051794A1 (zh)
EP (1) EP1871093A4 (zh)
JP (1) JP5182555B2 (zh)
CN (1) CN101142810B (zh)
WO (1) WO2006098360A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867721A (zh) * 2010-04-15 2010-10-20 青岛海信网络科技股份有限公司 宽动态图像的实现方法、实现装置及成像设备
CN102497490A (zh) * 2011-12-16 2012-06-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN103182985A (zh) * 2011-12-27 2013-07-03 大陆汽车电子(长春)有限公司 利用图像处理装置的车辆安全装置和车辆安全控制方法
CN105190687A (zh) * 2013-05-07 2015-12-23 株式会社电装 图像处理装置以及图像处理方法
CN105594194A (zh) * 2013-10-01 2016-05-18 奥林巴斯株式会社 图像显示装置和图像显示方法
CN110091596A (zh) * 2018-01-29 2019-08-06 卡西欧计算机株式会社 涂敷装置、涂敷方法以及记录介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008020544A1 (en) * 2006-08-18 2008-02-21 Nec Corporation Vehicle detection device, vehicle detection method, and vehicle detection program
JP4961982B2 (ja) * 2006-12-07 2012-06-27 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP4990806B2 (ja) * 2008-01-22 2012-08-01 富士重工業株式会社 撮像手段の調整装置および車外監視装置
JP5439197B2 (ja) * 2010-01-15 2014-03-12 オリンパスイメージング株式会社 撮像装置、撮像方法、および、撮像プログラム
JP2012044382A (ja) * 2010-08-18 2012-03-01 Sony Corp 映像データ処理装置、コントラスト補正方法
JP6009538B2 (ja) * 2011-04-28 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒ画像を符号化及び復号するための装置及び方法
JP5919988B2 (ja) * 2012-04-13 2016-05-18 株式会社デンソー 画像処理装置
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법
JP6414386B2 (ja) * 2014-03-20 2018-10-31 株式会社島津製作所 画像処理装置および画像処理プログラム
JP6289681B2 (ja) * 2015-01-22 2018-03-07 三菱電機株式会社 撮像装置及び方法、並びにプログラム及び記録媒体
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
JP6700731B2 (ja) * 2015-11-13 2020-05-27 キヤノン株式会社 投影装置および投影システム
KR20180025591A (ko) 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
JP6789877B2 (ja) * 2017-04-28 2020-11-25 キヤノン株式会社 情報処理装置、画像処理システム、制御システム及び情報処理方法
CN108805834A (zh) * 2018-05-28 2018-11-13 电子科技大学 一种内窥镜自动调光的图像处理算法
US10991082B2 (en) * 2019-08-22 2021-04-27 Mikhail Dichenko Determining an optimality coefficient of an image
US11341621B2 (en) * 2020-03-04 2022-05-24 GM Global Technology Operations LLC Enhanced imaging system for a motor vehicle

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5249241A (en) * 1991-07-09 1993-09-28 The United States Of America As Represented By The Secretary Of The Air Force Real-time automated scene display for infrared cameras
DE4209536C3 (de) * 1992-03-24 2000-10-05 Stuttgart Mikroelektronik Bildzelle für einen Bildaufnehmer-Chip
KR970060961A (ko) * 1996-01-18 1997-08-12 김광호 적분 룩크업 테이블을 이용한 적응형 감마 보정장치
JP2001245214A (ja) * 2000-02-28 2001-09-07 Minolta Co Ltd 固体撮像装置
EP1152604A1 (en) * 2000-04-24 2001-11-07 Pulnix America, Inc. Video glare reduction
JP4216450B2 (ja) * 2000-09-01 2009-01-28 ローム株式会社 画像処理装置
JP4556319B2 (ja) * 2000-10-27 2010-10-06 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP3501760B2 (ja) * 2001-01-24 2004-03-02 富士通フロンテック株式会社 Ａ／ｄ変換器、映像表示装置及びａ／ｄ変換方法
TW565684B (en) * 2001-02-14 2003-12-11 Honda Motor Co Ltd Welding state monitoring device
GB0110748D0 (en) * 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor
JP4214457B2 (ja) * 2003-01-09 2009-01-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867721A (zh) * 2010-04-15 2010-10-20 青岛海信网络科技股份有限公司 宽动态图像的实现方法、实现装置及成像设备
CN101867721B (zh) * 2010-04-15 2012-07-04 青岛海信网络科技股份有限公司 宽动态图像的实现方法、实现装置及成像设备
CN102497490A (zh) * 2011-12-16 2012-06-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN102497490B (zh) * 2011-12-16 2014-08-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN103182985A (zh) * 2011-12-27 2013-07-03 大陆汽车电子(长春)有限公司 利用图像处理装置的车辆安全装置和车辆安全控制方法
CN103182985B (zh) * 2011-12-27 2016-08-17 大陆汽车电子(长春)有限公司 利用图像处理装置的车辆安全装置和车辆安全控制方法
CN105190687A (zh) * 2013-05-07 2015-12-23 株式会社电装 图像处理装置以及图像处理方法
CN105190687B (zh) * 2013-05-07 2017-10-10 株式会社电装 图像处理装置以及图像处理方法
CN105594194A (zh) * 2013-10-01 2016-05-18 奥林巴斯株式会社 图像显示装置和图像显示方法
CN105594194B (zh) * 2013-10-01 2019-08-30 奥林巴斯株式会社 图像显示装置和图像显示方法
CN110091596A (zh) * 2018-01-29 2019-08-06 卡西欧计算机株式会社 涂敷装置、涂敷方法以及记录介质
CN110091596B (zh) * 2018-01-29 2020-11-17 卡西欧计算机株式会社 涂敷装置、涂敷方法以及记录介质

Also Published As

Publication number Publication date
CN101142810B (zh) 2010-09-01
EP1871093A1 (en) 2007-12-26
WO2006098360A1 (ja) 2006-09-21
US20090051794A1 (en) 2009-02-26
JP5182555B2 (ja) 2013-04-17
JPWO2006098360A1 (ja) 2008-08-28
EP1871093A4 (en) 2009-09-02

Similar Documents

Publication Publication Date Title
CN101142810B (zh) 图像处理装置和图像处理方法、图像处理系统
JP4766302B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4835593B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JP4678487B2 (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
Moeslund Introduction to video and image processing: Building real systems and applications
EP1868370A1 (en) Image processing device and method, program and recording medium
US9285309B2 (en) Image fusion method and apparatus using multi-spectral filter array sensor
JP5832855B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
KR101353052B1 (ko) 교통표지판 인식을 위한 차량용 영상인식시스템
US20100074469A1 (en) Vehicle and road sign recognition device
CN104995910A (zh) 利用融合的红外图像增强
US8077995B1 (en) Infrared camera systems and methods using environmental information
ES2176703T3 (es) Sensor optico autoadaptativo localmente.
CN102341273A (zh) 障碍检测装置、具有该障碍检测装置的障碍检测系统、以及障碍检测方法
JP2007164737A (ja) 色識別方法
US8781158B1 (en) UVB-visible channel apparatus and method for viewing a scene comprising terrestrial corona radiation
CN108900785A (zh) 曝光控制方法、装置和电子设备
KR20160143419A (ko) 영상 데이터의 제어 방법 및 장치
CN103379289A (zh) 摄像装置
CN115273496A (zh) 动态控制人行横道信号灯配时的方法、系统及电子设备
CN101142811A (zh) 图像处理装置和图像处理方法、程序以及记录介质
KR20210086454A (ko) 저조도 이미징 시스템
TW201224954A (en) Embedded system and method for processing and identifying image
KR101840754B1 (ko) 밝기 구간별 화질 보상 시스템 및 방법
JP6717660B2 (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100901

Termination date: 20150315

EXPY Termination of patent right or utility model