CN101142812A - 图像处理装置和方法、程序、及记录介质 - Google Patents

图像处理装置和方法、程序、及记录介质 Download PDF

Info

Publication number
CN101142812A
CN101142812A CNA2006800086326A CN200680008632A CN101142812A CN 101142812 A CN101142812 A CN 101142812A CN A2006800086326 A CNA2006800086326 A CN A2006800086326A CN 200680008632 A CN200680008632 A CN 200680008632A CN 101142812 A CN101142812 A CN 101142812A
Authority
CN
China
Prior art keywords
image
data
pixel
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800086326A
Other languages
English (en)
Inventor
安藤丹一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN101142812A publication Critical patent/CN101142812A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

本发明提供一种图像处理装置和方法、程序、及记录介质。参照区域提取部(171)提取出与由宽动态范围的摄像部(101)所拍摄的图像中的参照区域的图像对应的数据，计算出参照区域的像素的亮度的平均值。由切出处理部(172)将所述平均值分配给显示部可显示的灰度，而切出亮度范围。由灰度变换部(173)根据所切出的亮度范围，变换输出为显示部可显示的灰度范围。

Description

图像处理装置和方法、程序、及记录介质
技术领域
本发明涉及图像处理装置和方法、程序、及记录介质，特别涉及可清晰地显示由动态范围宽的摄像元件所拍摄的图像的图像处理装置和方法、程序、及记录介质。
背景技术
近年来，具有即使在以明亮的天空为背景的室外、夕阳等逆光的场面、或在夜间也可以拍摄到清晰的图像的宽动态范围的摄像元件(HDRC(High Dynamic Range CMOS(Complementary Metal OxideSemiconductor，互补型金属氧化物半导体)，高动态范围CMOS))的利用得到了普及。由于HDRC具有宽动态范围，所以不会由于照度的过剩或不足而引起图像数据的欠缺，而可作为图像传感器来使用，可期待实现广泛的用途(例如，参照专利文献1。)。
在HDRC中，可对动态范围宽的图像进行拍摄，所以可将所拍摄的图像(摄影图像)的灰度数以最大为214灰度(214等级的灰度范围)来显示，但普通的显示器等显示装置的显示灰度一般例如为256灰度等。因此，在显示HDRC的摄影图像的情况下，通常，以比摄影图像的灰度数少的灰度数来显示，所以无法将摄影图像直接显示在普通的显示器等上。因此，为了使用普通的显示装置来显示HDRC的摄影图像，进行摄影图像的灰度变换。
图1是说明以往的灰度变换的例子的图。在该例子中，对作为由使用HDRC的照相机等所拍摄的摄影图像、在晴天时拍摄的图像即图像1、在阴天时拍摄的图像即图像2、在夜间拍摄的图像即图像3的灰度进行变换，而作为显示图像显示在显示装置上。
另外，图1示出了包含在图像1中的像素的亮度值的最大值为值b11而像素的亮度值的最小值为值b12，包含在图像2中的像素的亮度值的最大值为值b21而像素的亮度值的最小值为值b22，另外包含在图像3中的像素的亮度值的最大值为值b31而像素的亮度值的最小值为b32的情况。
在显示装置可显示的灰度范围W例如为256灰度的情况下，当对摄影图像进行显示时，根据包含在图像1至图像3中的像素的亮度值的最大值和最小值来进行灰度的变换。例如，针对图像1，变换为将亮度值的最大值b11和亮度值的最小值b12之间的亮度值分配到256灰度，而显示在显示装置上。另一方面，在对图像2进行显示的情况下，变换为将亮度值的最大值b21和亮度值的最小值b22之间的亮度值分配到256灰度。
通过如上述那样进行灰度变换，可使用普通的显示装置来显示出由具有宽动态范围的HDRC的照相机等拍摄的摄影图像。
专利文献1：日本特表平7-506932号公报
但是，通过以往的灰度变换来显示的显示图像未必能被清晰地显示。由HDRC等动态范围宽的照相机所拍摄的图像与显示装置的动态范围相比其动态范围非常宽，所以当直接对灰度进行压缩来显示时，将成为整体上没有对比度的淡图像，导致难以以人眼来识别所显示的内容。为解决这样的问题，例如存在求出亮度的最大值和最小值，将灰度压缩为使得最大值成为显示装置的最大亮度而最小值成为显示装置的最小亮度的方法等。
另外，作为另一问题，存在当对象在非常宽的亮度范围内产生较大变动的那样的情况下，在显示装置上无法得知人观察到什么样的亮度区域的问题。例如，在根据亮度的最大值和最小值来进行显示的上述方法中，在对明亮的天空进行拍照等情况下，将与人观察到的亮度区域不同的亮度区域作为主要的灰度来显示。在夜间将暗的背景拍得较大的情况下，也产生将与入观察到的亮度区域不同的暗的亮度区域作为主要的灰度来显示的相同问题。由于在由HDRC照相机所拍摄的图像数据中，还包含高至(或低至)人不关心的程度的值的亮度信息，如果不知道人究竟关注于(关心)什么样的亮度区域，则无法以适当的浓度和颜色来显示。
例如，如图像1和图像3那样，有时亮度值的最大值和最小值的范围存在较大差异，所以与摄影图像的亮度值的变化对应，显示图像的浓淡的灰度也伸长或缩小地发生变动，有时所显示的图像观察起来非常不自然。
另外，在图像3中，变换为将亮度值的最大值b31和亮度值的最小值b32之间的亮度值分配到256灰度，而显示在显示装置上，但对于在夜间拍摄的图像3，图像的大部分由暗(亮度值小)的像素构成的可能性高，且具有最大值b31附近的值的像素例如为从闪光灯光或前灯等与图像的其他部分相比极端明亮的物体发出的光的可能性高。
因此，在变换为将与亮度值的最小值b32之间的所有亮度值分配到256灰度的情况下，像素的亮度值的中心成为比本来应清晰地显示的像素(图像中的大半像素)的亮度值还高的值，将导致与图像3对应的显示图像整体上变得微暗。
另外，在摄影图像为动态图像的情况下，对应于天气和照明的变化，每次显示图像的画面整体的显示亮度变动，将导致成为用户难以观察的图像。例如，在太阳光从大厦之间急速地照射来的情况、或在夜间打开前灯的对面来车从拐角处急速冲出的情况下，将导致到此为止以易于观察的状态显示的图像急速地变暗而难以观察。相反，例如在接近隧道等暗区域的情况下，将导致到此为止以易于观察的状态显示的图像急速地变明亮而难以观察。
发明内容
本发明是鉴于上述状况而产生的，其目的在于可清晰地显示由动态范围宽的摄像元件拍摄的图像。
应用本发明的图像处理装置的特征在于，其具有：摄影单元，其拍摄图像，输出所拍摄的图像数据；变换单元，其根据在与从摄影单元输出的数据对应的图像中所包含的预先设定的区域的图像、即规定反射率的物体的图像所对应的数据，来对图像的灰度进行变换；以及显示单元，其显示与由变换单元进行了灰度变换的图像信号对应的图像。
在本发明的图像处理装置中，拍摄图像，而输出所拍摄的图像数据，根据在与所输出的数据对应的图像中所包含的预先设定的区域所对应的图像、即规定反射率的物体的图像所对应的数据，来变换图像的灰度，显示与变换了灰度的图像信号对应的图像。
因此，与显示单元可显示的灰度无关，而可清晰地显示所拍摄的图像。
所述摄影单元可按照每个像素将与所拍摄的光对应而生成的电荷变换为具有与电荷数的对数成比例的电压值的模拟电信号，将模拟电信号变换为数字数据并输出图像数据。
摄影单元例如由HDRC照相机构成。
因此，可拍摄动态范围宽的图像。
所述摄影单元可按照每个像素将与所拍摄的光对应而生成的电流变换为具有与电流大小的对数成比例的电压值的模拟电信号，将模拟电信号变换为数字数据并输出图像数据。
所述显示单元可显示的图像的灰度范围可以比由摄影单元所拍摄的图像的灰度范围小。
所述图像处理装置还可以具有接收单元，该接收单元接收与所述图像中的所述区域的位置相关的信息输入。
所述变换单元可具有：提取单元，其提取与包含在图像中的预先设定的区域对应的数据；确定单元，其根据由提取单元提取的数据，确定在图像中与可显示的灰度范围对应的亮度范围；以及输出单元，其根据由确定单元所确定的亮度范围，将图像的灰度变换为显示单元可显示的灰度范围，输出与变换后的图像对应的数据信号。
因此，即使在图像的一部分中存在极端明亮的(或暗的)物体的情况下，也可以显示清晰的图像，而不会使图像整体变暗(或者变明亮)。
所述提取单元根据与区域对应的数据，计算出区域的像素的亮度值的平均值，确定单元将由提取单元计算的区域的像素的亮度值的平均值分配给显示单元可显示的灰度范围中的预先设定的灰度，根据所分配的灰度，确定出图像中与可显示的灰度范围对应的亮度的上限值和下限值，从而可确定亮度范围。
因此，可适当设定像素的亮度值和灰度的对应关系，可始终以自然的色调来显示图像。
所述变换单元还具有存储单元，该存储单元存储与图像中的区域的位置相关的信息、以及关于在显示单元可显示的灰度范围中与区域的像素的亮度值的平均值对应的灰度的信息。
所述变换单元可根据与区域图像的显示相关的用户选择，在显示单元可显示的灰度范围中，决定与区域的像素的亮度值对应的灰度。
因此，即使不知道反射率，也可以根据始终包含在所拍摄的图像中的物体，变换图像的灰度，显示用户喜爱的色调的图像。
所述变换单元可根据区域图像的物体的反射率，在显示单元可显示的灰度范围中，决定与区域的像素的亮度值对应的灰度。
因此，可根据在所拍摄的图像中始终包含有反射率已知的物体的区域，来变换图像的灰度。
所述图像处理装置还具有距离测定单元，该距离测定单元测定到所述区域图像的物体的距离，可根据由距离测定单元所测定的到区域图像的物体的距离、和区域的像素的亮度值，计算出物体的反射率。
因此，可准确地测定出在所拍摄的图像中始终包含的区域的物体的反射率。
所述图像处理装置还具有测定单元，该测定单元向所述区域图像的物体发射激光，根据由接收所反射的光的受光部检测出的光的强度、和根据到检测出由受光部所反射的光为止的时间所计算出的到物体的距离，对物体的反射率进行测定。
因此，可准确且迅速地测定出在所拍摄的图像中始终包含的区域的物体的反射率。
所述摄影单元可按照每个像素将与所拍摄的光对应而生成的电荷或电流变换为具有与电荷数或电流大小的对数成比例的电压值的模拟电信号，由变换单元对模拟电信号实施灰度变换处理，将经过了由变换单元实施的处理的模拟电信号变换为数字数据而输出。
因此，可对所拍摄的图像简单地实施图像处理。
应用本发明的图像处理方法的特征在于，其包括如下的步骤：获取步骤，在该步骤中，获取由摄影单元拍摄的图像数据；变换步骤，在该步骤中，根据在与通过获取步骤的处理而获取的数据对应的图像中包含的预先设定的区域的图像、即规定反射率的物体的图像所对应的数据，对图像的灰度进行变换；以及显示步骤，在该步骤中，显示与通过变换步骤的处理而进行了灰度变换的图像的信号对应的图像。
在本发明的图像处理方法中，获取由摄影单元拍摄的图像数据，根据在与所获取的数据对应的图像中包含的预先设定的区域的图像、即规定反射率的物体的图像所对应的数据，对图像的灰度进行变换，显示与进行了灰度变换的图像的信号对应的图像。
应用本发明的程序是使图像处理装置进行图像处理的程序，其特征在于，该程序使计算机执行如下的步骤：获取控制步骤，在该步骤中，控制对由摄影单元拍摄的图像数据的获取；变换控制步骤，在该步骤中，根据在与通过获取控制步骤的处理而获取的数据对应的图像中包含的预先设定的区域的图像、即规定反射率的物体的图像所对应的数据，对图像的灰度的变换进行控制；以及显示控制步骤，在该步骤中，对与通过变换控制步骤的处理而进行了灰度变换的图像的信号对应的图像的显示进行控制。
应用了本发明的记录介质记录有使图像处理装置进行图像处理的程序，其特征在于，所述记录的程序使计算机执行如下的步骤：获取控制步骤，在该步骤中，控制对由摄影单元拍摄的图像数据的获取；变换控制步骤，在该步骤中，根据在与通过获取控制步骤的处理而获取的数据对应的图像中包含的预先设定的区域的图像、即规定反射率的物体的图像所对应的数据，对图像的灰度的变换进行控制；以及显示控制步骤，在该步骤中，对与通过变换控制步骤的处理而进行了灰度变换的图像的信号对应的图像的显示进行控制。
附图说明
图1是说明以往的灰度变换的例子的图。
图2是应用本发明的监视装置的结构例子的框图。
图3是示出图1的摄像部的安装位置的例子的图。
图4是示出图1的摄像部的安装位置的例子的图。
图5是示出图1的摄像部的结构例子的图。
图6是说明摄像部的灵敏度特性的图。
图7是示出图1的控制部的结构例子的框图。
图8是说明显示调节处理的例子的流程图。
图9是说明本发明的灰度变换的例子的图。
图10是说明反射率测定处理的例子的流程图。
图11是示出亮度值、反射率、以及显示灰度的对应关系的例子的图。
图12是说明参照信息存储处理的例子的流程图。
图13是示出参照区域的指定的例子的图。
图14是示出通过以往技术来显示的图像的例子的图。
图15是示出通过本发明的技术来显示的图像的例子的图。
图16是示出摄像部的另一结构例子的框图。
图17是示出灰度分配决定部的结构例子的框图。
图18是示出个人计算机的结构例的框图。
标号说明
100：监视装置；101：摄像部；102：控制部；103：显示部；104：操作输入部；121：摄像控制部；141：光检测部；142：对数变换部；143：A/D变换部；171：参照区域提取部；172：切出处理部；173：灰度变换部；174：登记信息提供部；401：摄像控制部；411：灰度分配决定部；412：A/D变换部。
具体实施方式
以下，参照附图来说明本发明的实施方式。图2是示出应用本发明的监视装置100的实施方式的外观结构例子的框图。监视装置100例如搭载于汽车等上，是拍摄车外前方来对用户提示清晰的图像的装置，其由摄像部101、控制部102、和显示部103构成。
摄像部101例如由动态范围宽的照相机等构成，其对基于从镜头101a输入的光的图像(动态图像或静态图像)进行拍摄，向控制部102输出所拍摄的图像数据。另外，在摄像部101对动态图像进行拍摄的情况下，将所拍摄到的图像数据作为以帧为单位编码的数字数据来输出。
控制部102对从摄像部101提供的数据、即由摄像部101拍摄的图像的摄影图像数据，实施进行灰度变换等的处理，向显示部103输出与实施了处理的图像数据对应的信号，以便可由显示部103显示清晰的图像。
另外，由操作输入部104等进行处理中所需的数据的设定、命令的输入等。操作输入部104例如也可以由个人计算机等外部信息设备来构成。
显示部103例如由LCD(Liquid Crystal Display，液晶显示器)等构成，其显示与从控制部102提供的信号对应的图像。显示部103例如由一般销售的液晶显示器等构成，相对于摄像部101拍摄动态范围宽的图像，显示部103是相对于由摄像部101拍摄的摄影图像，具有较少灰度数(例如，256灰度)的显示灰度的显示器。
图3是示出摄像部101的安装位置的例子的图。如图3所示，摄像部101安装在汽车111的车内后视镜附近，镜头101a构成为使包含有在后述灰度变换处理中所需的物体、即位于汽车前方的正前方路面112那样的、以光线131为中心的光入射到该镜头101a，拍摄与该光对应的图像。另外，也可以将摄像部101嵌入车内后视镜中，也可以将摄像部101安装在车内后视镜的根部附近。
摄像部101的安装位置优选为可通过使用雨刷擦去前玻璃的污垢等的区域来拍摄前方的位置，但只要是可通过前玻璃来拍摄前方而不妨碍驾驶员视野的位置即可。由此，可拍摄到与用户(驾驶员)观察到的图像大致相等的图像。
或者，也可以如图4所示那样安装摄像部101。在该例子中，将摄像部101安装在汽车111的前格栅(front grille)附近。由此，可更准确地拍摄到在后述灰度变换处理中所需的位于汽车前方的正前方路面112。
图5是示出摄像部101的结构例子的框图。如图5所示，在摄像部101中，构成为从镜头101a输出的光被输出到摄像控制部121。摄像控制部121例如为HDRC(High Dynamic Range CMOS(ComplementaryMetal Oxide Semiconductor，互补型金属氧化物半导体)，高动态范围CMOS)等对数变换型的摄像元件，其构成为包括光检测部141、对数变换部142、A/D变换部143、和摄像定时控制部144。
通过镜头101a入射的被摄体光成像于摄像控制部121的光检测部141的未图示的光检测面上。
光检测部141例如具有光电二极管等多个受光元件，将由镜头101a成像的被摄体光变换为与光强度(光量)对应的电荷，而积蓄所变换的电荷。光检测部141与从摄像定时控制部144提供的控制信号同步地，向对数变换部142提供所积蓄的电荷。另外，也可以直接向对数变换部142提供所变换的电荷，而不将所变换的电荷积蓄在光检测部141。
对数变换部142例如由多个MOSFET(Metal Oxide SemiconductorField Effect Transistor，金属氧化物半导体场效应晶体管)等构成。对数变换部142利用MOSFET的次临限(subthreshold)特性，按照每个像素将从光检测部141提供的电荷(或电流)变换为具有与电荷数(或电流强度)的对数成比例的电压值的模拟电信号。对数变换部142向A/D变换部143提供所变换的模拟电信号。
A/D变换部143与从摄像定时控制部144提供的控制信号同步地，将模拟电信号变换为数字图像数据，向图像处理装置112提供所变换的图像数据。因此，从摄像控制部121输出的图像数据的各像素的像素值成为与对入射到光检测部141中的被摄体光量进行对数变换而得到的值成比例的值。
图6是示出HDRC的摄像控制部121、CCD(Charge Coupled Device，电荷耦合器件)摄像元件、银盐胶片、和人眼的灵敏度特性的图表。图6的横轴表示入射光的照度(单位为勒克斯(lux))的对数，纵轴表示灵敏度。线151表示摄像控制部121的灵敏度特性，线152表示人眼的灵敏度特性，线153表示银盐胶卷的灵敏度特性，线154表示CCD摄像元件的灵敏度特性。另外，现有的CMOS摄像元件的灵敏度特性与线154所表示的CCD摄像元件的灵敏度特性大致类似。
如上所述，摄像控制部121通过输出具有与入射的被摄体的光的光量的对数大致成比例的像素值的图像数据，从而不使构成摄像控制部121的光电二极管或MOSFET等的电容饱和，摄像控制部121具有比CCD摄像元件、银盐胶卷以及人眼广的、从约1毫勒克斯到高于太阳光亮度的约500k勒克斯的约170dB的动态范围。
即，如上所述，对数变换部142输出由与入射光量的对数大致成比例的亮度值(或像素值)构成的数据，因此，即使入射光量增大，也不会发生构成摄像控制部121的光电二极管或MOSFET等元件的电容饱和、或者、流入各元件的电流或施加的电压超过能够进行与各元件的输入对应的输出的范围的情况。因此，在可进行摄像的亮度范围内，能够大致正确地获得与入射光量的变动对应的亮度值(或像素值)。另外，对数变换型摄像元件142的动态范围不限于上述的170dB，可以根据利用目的，设为约100dB或200dB等、与所需的动态范围对应的范围。
因此，使用了摄像控制部121的摄像装置101即使不通过光圈或快门速度等的调节来调节入射光量，也不会发生亮度修剪(clipping)，该亮度修剪是指将与被摄体的较亮部分对应的像素值修剪为摄像元件可输出的像素值的最大值、或者、将与被摄体的较暗部分对应的像素值修剪为摄像元件可输出的像素值的最小值。即，摄像装置101能够忠实地拍摄被摄体的详细的亮度变化，而不会发生被摄体的较亮部分泛白、较暗部分泛黑的情况。
例如，使用了摄像控制部121的摄像装置101，当在白天从车内拍摄车前方的情况下，即使太阳进入到视场角内，也能够在不调节入射光量的状况下拍摄到忠实地再现了太阳和前方道路状态的图像。并且，当摄像装置101在夜间从车内拍摄车前方的情况下，即使对面车辆的前照灯从前方进行照射，也能够在不调节入射光量的状况下拍摄到忠实地再现了从对面车辆的前照灯的光到未被本车辆的前照灯照射到的部分的图像。
在从具有如此结构的摄像控制部121的摄像部101提供给控制部102的摄影图像数据中，由于可将各像素的输出值(亮度值)例如作为14位的数据来输出，所以如果将像素的亮度值直接变换为灰度，则成为与具有214的宽灰度范围的图像对应的数据。
并且，使用了摄像控制部121的摄像装置101无需调节入射光量，因此，对于从摄像装置101输出的图像数据，例如，在对2个帧进行拍摄的期间，在存在被摄体内的亮度发生变动的区域和未发生变动的区域的情况下，与亮度发生变动的区域对应的像素值发生变动，与亮度未发生变动的区域对应的像素值几乎未发生变动。因此，取得了帧之间的图像数据的差分的数据(下面称为差分数据)的各像素的像素值(下面也称为差分值)成为基本上忠实地反应了被摄体亮度的变动的值。
另一方面，使用了动态范围小于人眼的CCD摄像元件的摄像装置需要根据被摄体的亮度调节入射光量，因此，例如，在对2个帧进行拍摄的期间，在存在被摄体内的亮度发生变动的区域和未发生变动的区域的情况下，有时与亮度未发生变动的区域对应的像素值也发生变动。因此，差分数据的各像素的差分值有时不能成为忠实地反映了被摄体的亮度变动的值。
由于从摄像装置101输出的图像数据的像素值是与被摄体光量的对数大致成比例的值，从而表示拍摄了该被摄体得到的图像数据中的像素值分布的直方图的形状与表示该被摄体的反射率分布的直方图的形状大致相同，而与照射到被摄体的照明的亮度(照度)无关。例如，在对反射率最大的部分与最小的部分之比为10∶1的被摄体照射进行第一次和第二次之间存在约100倍的照度差的照明，来进行拍摄的情况下，表示第一次的图像数据和第二次的图像数据的像素值的分布的直方图的范围为大致相同的值(l＝log1010)。另一方面，在图像数据的像素值与被摄体的光量成比例的情况下，表示第一次的图像数据与第二次的图像数据的像素值的分布的直方图的范围之差为约100倍。
换言之，在与被摄体的亮度(反射率)的分布无关，被摄体的亮度大致相同地变动的情况下，对被摄体进行拍摄得到的图像数据的像素值大致一样地变化。例如，当在被摄体内存在亮度比为100∶1的2个区域的情况下，当照射到被摄体上的光的照度大致相同地变化，被摄体的亮度大致一样地变动了+5％时，与2个区域对应的像素值的变动值成为大致相同的值(log101.05)。另一方面，在图像数据的像素值与入射光量成比例的情况下，与上述的2个区域对应的像素值的变动值之差为约100倍。
相对于此，如线154和线153所示，对于CCD摄像元件和银盐胶卷，由于伽马(Gamma)特性等的原因，灵敏度特性不与入射的光的照度成比例。因此，表示使用了CCD摄像元件或银盐胶卷的图像数据的像素值分布的直方图即使在入射光的光量(照度)的分布一样的情况下，其形状也根据光量的大小(照度的强度)而发生变化。
由此使用HDRC的摄像控制部121而构成的摄像部101与CCD摄像元件的情况不同，可在宽动态范围内拍摄图像，所以即使是在例如逆光的场面或夜间等中拍摄的图像，也不会由于照度的过剩或不足而引起图像数据的欠缺，例如，可搭载于汽车上而利用在导航系统、或利用在防止犯罪等的安全监视系统等中，可利用在广泛的领域中。
图7是示出控制部102的结构例子的框图。在图7中，参照区域提取部171在从摄像部101提供的摄影图像数据中，提取出与参照区域对应的图像的像素。此处，参照区域是与包含在摄影图像中的具有已知反射率的物体图像对应的区域，在将监视装置100搭载于汽车上的情况下，例如，与汽车前方的正前方路面112的图像对应的区域成为参照区域。另外，将与摄影图像中的参照区域的位置相关的信息设为预先设定的登记信息等，而从登记信息提供部174提供给参照区域提取部。
参照区域提取部171计算出与包含在参照区域中的像素的亮度值相关的信息(例如，亮度值的平均值)，而输出给切出处理部172。
切出处理部172根据与从参照区域提取部171提供的参照区域的像素的亮度值相关的信息，切出包含在摄影图像中的像素的亮度值中的、与由显示部103显示的显示图像的像素对应的亮度值(亮度范围)。例如，切出处理部172将参照区域的像素的亮度值的平均值分配给显示部103可显示的灰度中的规定灰度(例如，第n灰度)。然后，在摄影图像中，切出与显示部103可显示的灰度对应的像素的亮度值的上限值和下限值，而输出到灰度变换部173。
另外，将表示把参照区域的像素的亮度值的平均值分配给哪个灰度的信息作为预先设定的登记信息等，而从登记信息提供部174提供给切出处理部172。
灰度变换部173根据从切出处理部172提供的像素的亮度值的上限值和下限值，进行摄影图像的灰度变换，向显示部103输出进行了灰度变换的图像的信号。另外，关于灰度的变换，例如，可通过高频振动(dither)法、误差分散法等处理来进行，也可以通过其他方法来变换。
登记信息提供部174预先存储有与参照区域的位置相关的信息、表示将参照区域的像素的亮度值的平均值分配给哪个灰度的信息等登记信息，而根据需要来提供给参照区域提取部171或切出处理部172。
另外，构成控制部102的各部也可以由嵌入有用于实现上述各功能的逻辑运算部和存储部的半导体集成电路等硬件来构成，或者，也可以例如由计算机等来构成控制部102，而上述各部构成为通过计算机所处理的软件来实现的功能模块。
接下来，参照图8的流程图来说明由监视装置100进行的显示调节处理。
在步骤S101中，控制部102取得从摄像部101提供的摄影图像数据。
在步骤S102中，参照区域提取部171提取出与在步骤S101的处理中取得的数据对应的图像中的参照区域所对应的图像数据。
在步骤S103中，参照区域提取部171根据在步骤S102的处理中提取的数据，计算出参照区域的像素的亮度值的平均值。
在步骤S104中，切出处理部172检测出摄影图像整体的像素的亮度值。
在步骤S105中，切出处理部172将通过步骤S103的处理而计算出的平均值，分配给可显示的灰度中的规定灰度(例如，第n灰度)。然后，将与可显示的灰度对应的像素的亮度值的上限值和下限值切出作为亮度范围。
在步骤S106中，灰度变换部173根据在步骤S105的处理中切出的亮度范围，对在步骤S101中取得的摄影图像数据的灰度进行变换。
在步骤S107中，灰度变换部173向显示部103输出与在步骤S106的处理中变换了灰度的图像数据对应的信号。
参照图9来进一步详细说明。图9的摄影图像201例如是对在路上行驶的汽车前方进行拍摄得到的图像，在步骤S101中，取得图像201。
在图像201中，显示于图像的下部中央的区域201a是与汽车前方的正前方路面112的图像对应的区域，其被作为上述的参照区域。在该例子中，将参照区域201a作为矩形区域而示出，但参照区域201a的形状可以是任意形状。另外，在监视装置100搭载于汽车上的情况下，例如，也可以根据驾驶的操舵角来使参照区域201a的位置在图像201中左右移动。
路面112通常由沥青等构成，所以例如是应以规定明亮度的灰色来显示的物体。即，路面112是包含在摄影图像中的具有已知的反射率(或应显示的颜色)的物体，是始终包含在由行驶的汽车的摄像装置101所拍摄的图像中的物体，所以与摄影图像中的路面112对应的区域201a被作为参照区域。另外，预先对由摄像部101所拍摄的图像等进行解析，将用于确定图像201中的区域201a的位置的信息预先存储在登记信息提供部174中。在步骤S102中，由参照区域提取部171提取出参照区域201a的数据。
或者，也可以始终对在所拍摄的图像中颜色为已知的主体的一部分等对象物进行拍照，而将该对象物的图像作为参照区域的图像来进行相同处理。
然后，在步骤S103中，计算出包含在参照区域201a中的像素的亮度值的平均值bn。
此处，当在参照区域201a中，例如包含有明亮的颜色的路面显示和白线等路面涂料等时，参照区域201a的像素的平均亮度有可能与本来的路面112的亮度不同。因此，也可以预先确定例如参照区域201a的像素块中的亮度最高的块和亮度最低的块，除去这些块的像素，来求出参照区域201的平均亮度。另外，也可以在区域提取部171中设置形状识别功能，根据通过形状识别功能所识别出的路面112的形状，确定与路面涂料等对应的部分，除去与路面涂料等对应的部分的像素，计算出参照区域201a的像素的平均亮度。
或者，也可以通过进行规定的图像处理来确定与路面涂料等对应的部位。例如，也可以分析出参照区域201a内的像素的亮度值的变化，将表示亮度值的变化的特性在规定位置中的微分值与阈值进行比较等，从而进行检测出包含在图像中的目标的边缘的图像处理等，以此除了路面涂料之外，还检测出设置在路面上的物体(例如，落叶或垃圾等)，来除去与所检测出的路面涂料和物体对应的部分的像素。
另外，由于已知一般的路面112的颜色(或者反射率)，所以在登记信息提供部174中，预先存储例如路面112的规定明亮度的灰色在显示部103可显示的灰度范围W(例如，从第0到第255的灰度范围)中对应于第n灰度的情况，切出处理部172将包含在参照区域201a中的像素的亮度值的平均值bn分配给第n灰度之后，切出(确定)与灰度范围W对应的亮度值的上限值bp和下限值bq。在上述步骤S104和S105中，进行这样的处理。
另外，由于湿润的路面的颜色比干燥路面的颜色暗，所以也可以使湿润的路面对应于与干燥路面的颜色(一般路面的颜色)不同的灰度。例如，在检测出雨刷工作等是雨天的情况下，也可以将与登记信息提供部174中的路面颜色(或反射率)对应的灰度设定值变更为雨天的设定值。
或者，例如在摄影图像的像素的亮度的最大值和最小值的差分小于预先设定的值的情况下，也可以检测出摄影图像中的亮度高的块、和亮度低的块，将亮度高的块的像素的亮度平均值和亮度高的块的像素的亮度平均值分别设为亮度值的上限值或下限值，来切出亮度范围。
灰度变换部173根据亮度值的上限值bp和下限值bq，进行变换图像201的灰度的处理(步骤S106)。
从摄像部101提供的摄影图像数据例如是与具有214的宽范围灰度数的图像201对应的数据，在图像201中，有可能包含亮度值比值bp大的像素、或亮度值比值bq小的像素。但是，通过进行灰度变换，以与亮度值为值bp的像素相同的灰度来显示亮度值比值bp大的像素，以与亮度值为值bq的像素相同的亮度来显示亮度值比值bq小的像素。
由此，可将由摄像部101拍摄的摄影图像，在相对于由摄像部101拍摄的摄影图像具有更少的灰度范围(例如，256灰度)的显示部103上，进行清晰的显示。
由此，在显示部103上显示由摄像部101拍摄的图像。由于切出与可显示的灰度范围对应的亮度范围，所以无需一定要全部忠实地显示出动态范围宽的摄影图像的像素的亮度值，其结果，即使在图像的一部分中存在极端明亮(或暗)的物体的情况下，也可以抑制进行了灰度变换的图像整体变暗(或变明亮)，而可显示出清晰的图像。另外，由于根据已知的物体即参照区域201a的路面112的反射率(颜色)，来决定像素的亮度值和灰度的对应关系，所以可始终以自然的色调来显示图像。
接下来，参照图10的流程图，来说明对参照区域的物体的反射率进行测定的反射率测定处理。例如，在用户对操作输入部104进行操作来指令反射率测定处理的执行时，执行该处理。此处，设为预先存储有与摄影图像中的参照区域的位置相关的信息(例如，为图像的下部中央)。
在步骤S151中，从与控制部102连接而被控制的未图示的照明单元向被摄体(参照区域的物体)照射光。此时，例如，已知的明亮度(照度)的车前灯等向正前方的路面112照射。关于步骤S151的处理，例如，也可以根据用户的操作输入来进行，也可以伴随反射率测定处理的执行来自动进行。
在步骤S152中，摄像部101对在步骤S151的处理中所照明的被摄体的图像进行拍摄，而输出到控制部102。
在步骤S153中，参照区域提取部171提取出摄影图像中的参照区域的数据。
在步骤S154中，参照区域提取部171计算出参照区域的像素的亮度的平均值，而输出到登记信息提供部174。例如，如果调查到通过已知明亮度的车前灯等来照射的路面112在动态范围宽的摄影图像中，以何种输出等级而被检测出(拍摄)，则可求出路面112的反射率。
在步骤S155中，登记信息提供部174计算出参照区域的反射率，在步骤S156中，决定参照区域的显示灰度。
例如，在登记信息提供部174中，存储有图11所示那样的表。在该例子中，相关联地存储有摄影图像的(像素的)亮度值、反射率、显示灰度。此处，显示灰度表示显示部103可显示的灰度范围中的规定的灰度。登记信息提供部174根据该表来确定参照区域的反射率和显示灰度，而存储为表示将参照区域的像素的亮度值的平均值分配给哪个灰度的信息。
另外，关于步骤S151的处理，也可以省略，利用自然光来拍摄被摄体。但是，在利用自然光来进行拍摄的图像中，不限于相同反射率的物体被拍摄为相同亮度值的像素，由于车前灯和车的正前方的路面的距离不产生大的变动，所以在通过车前灯等来照明时，可更准确地测定出反射率。
另外，即使是具有相同反射率的物体，由于车前灯等的明亮度(照度)的差异而使摄影图像中的像素的输出等级不同，所以例如也可以与多个照度对应地存储多个图11所示的表。
另外，在该例子中，调查出在摄影图像中，以何种输出等级被检测出(拍摄)，来求出路面112的反射率，但是，例如，由于摄像部101的安装位置和汽车的形状等，使得摄像部101的镜头101a和路面112之间的距离也有可能不同，即使是相同反射率的物体，摄影图像中的输出等级也有可能不同(产生误差)。因此，例如，也可以在镜头101a的附近设置激光雷达，来更准确地求出路面112的反射率。
激光雷达向对象发射激光，通过光电二极管等受光部对所反射来的光的强度进行接收，根据预先设定的阈值，检测激光是否反射，使用到检测出反射为止的时间，求出到对象的距离。因此，通过使用激光雷达，可同时测定出照射激光的窄范围的光的反射量和到该区域的距离，所以可使用反射而拍摄到的亮度和距离来准确地求出反射率。
另外，也可以使用立体照相机等其他距离计测单元来进行距离的计测。
或者，在将监视装置100使用在大厦监视等中的情况下，当参照区域的物体为预先得知与相邻大厦等的距离的物体(对象)时，例如，也可以构成为可经由操作输入部104等来设定到参照区域的物体的距离。
由此，进行反射率的测定和显示灰度的确定。
目前为止，对将监视装置100搭载于汽车等上的例子进行了说明，但也可以将监视装置100例如设置在规定的建筑物附近等，来监视建筑的入口。在这样的情况下，需要新设定参照区域并存储到监视装置100中。
参照图12的流程图，来详细说明参照区域存储处理。例如，在用户对操作输入部104进行操作，来指令参照区域存储处理的执行时，执行该处理。
在步骤S181中，控制部102使显示部103显示由摄像部101拍摄的图像。此时，不进行例如参照图8说明的那样的处理，而进行变换以将摄影图像的像素的亮度值的最大值和最小值之间的亮度值的像素分配给可由显示部103显示的灰度(例如，256灰度)，来进行显示。
在步骤S182中，控制部102根据来自操作输入部104的操作输入，来接收摄影图像中的参照区域的指定。
例如，在摄像部101对图13所示那样的建筑物301的图像进行拍摄的情况下，例如，用户一边观察显示在显示部103上的图像而一边指定参照区域。在该例子中，在建筑物301的门302的图像中，指定矩形(也可以是任意的形状)的参照区域303。
另外，此时例如，将所指定的参照区域的坐标值等作为与摄影图像中的参照区域的位置相关的信息即登记信息，而存储在登记信息提供部174中。
在步骤S183中，控制部102根据来自操作输入部104的操作输入，来接收显示等级的调节。此处，显示等级为用于对在显示部103中显示的图像的色调等进行调节的等级，通过用户的操作而选择任意的显示等级，而根据由用户选择的显示等级，来对在步骤S182中指定的参照区域的图像的色调(或浓度)等进行变更而显示。
在步骤S184中，控制部102根据在步骤S183中调节(选择)的显示等级，来分配参照区域的显示灰度。例如，控制部102检测通过步骤S183的处理当前以哪个灰度(第几灰度)来显示参照区域，将参照区域的像素的亮度值的平均值分配给该灰度。由此，生成表示将参照区域的像素的亮度值的平均值分配给哪个灰度的信息即登记信息，而存储到登记信息提供部174。
由此，进行参照区域存储处理。由此，对参照区域的应显示浓度或颜色进行判明(步骤S183)，所以如果参照区域显示为该浓度或颜色，则即使参照区域以外的区域的像素的亮度产生较大变动，也可以始终提供用户易于观察的图像。即，根据通过该处理而存储在登记信息提供部174中的登记信息，执行参照图8叙述的处理，从而仍然可将由摄像部101拍摄的摄影图像，在相对于由摄像部101拍摄的摄影图像具有更少的灰度范围(例如，256灰度)的显示部103上进行清晰的显示。
图14是示出如以往的灰度变换那样，进行变换以将由使用HDRC的摄像部所拍摄的动态范围宽的摄影图像的像素的亮度值的最大值和最小值之间的亮度值的像素分配给可由显示部显示的灰度，而显示在具有比摄影图像少的灰度数的显示灰度的显示部上的图像例子的图。在图14中，在图像中，例如对面来车和路侧带的树木等被不清晰地显示，另外，图像整体的色调淡，对观察者提供不自然的印象。
图15是示出通过本发明的灰度变换(例如，参照图8叙述的处理)，来将由使用与图14的情况相同的HDRC的摄像部所拍摄的动态范围宽的摄影图像显示在具有比摄影图像少的灰度范围的显示部上的图像例子的图。在图15中，与图14的情况不同，在图像中，例如清晰地显示出对面来车和路侧带的树木等，另外，关于图像整体的色调，也能对观察者提供自然的印象。
在上述实施方式中，示出了对成为人识别对象整体时的基准浓度(或颜色)的中间区域的显示进行改善的方法。由于存在HDRC的图像包含与中间区域有较大不同的高亮度区域或低亮度区域的情况，所以也可以通过上述实施方式以外的方法来进行图像处理，来实施使画质提高的对策，在该情况下，通过使用本发明，也得到参照区域的显示稳定且以利用者所期待的浓度或亮度、颜色来显示的效果。
另外，由于以14位来进行A/D变换后的宽动态范围图像包含非常宽的亮度带，所以难以与以往的图像处理同样地进行检测出包含在图像中的规定目标等时的图像处理、根据需要来合成图像时等的图像处理。例如，在针对宽动态范围图像，与通常的动态范围的图像相同地进行实施微分处理的拉普拉斯变换的情况下，仅得到噪声状的结果，或可作为2值化处理的阈值的亮度候选过多，所以将导致产生其处理量剧增等问题。同样，在其他大多数图像处理方法中，宽动态范围图像与在以往的图像处理中使用的图像相比其性质不同，所以即使在具有与以往的图像处理相同的目的的情况下，当利用宽动态范围图像时，需要对处理流程进行大幅修改。因此，在利用从摄像部101输出的图像数据来进行各种图像处理的情况下，将从摄像部101输出的图像数据作为通常的动态范围的图像数据来输出的方法在抑制装置成本等方面更有利。
另外，在上述处理中，对切出进行了A/D变换的宽动态范围图像的亮度的最大值和最小值的例子进行了说明，但在该情况下，当没有使用灰度分配的位数充分大的A/D变换元件来进行A/D变换时，将导致变换后的图像成为不自然的、存在不协调感的图像。
例如，在通过12位的A/D变换部来对规定的亮度范围均等地进行A/D变换时，得到4096灰度的图像数据。在CCD摄像元件和CMOS摄像元件中，可进行摄影的亮度范围与在本发明中使用的对数变换型摄像元件相比非常窄，完全不能得到可进行摄影的亮度范围以外的灰度，所以即使以4096灰度来表现该亮度范围，也可以得到以人眼观察时完全不产生不协调感的图像。但是，在本发明中使用的对数变换型摄像元件中，可对从夜间的暗处到直射日光的亮度范围进行拍摄，所以即使以4096灰度来显示这样的宽亮度范围，也将导致成为不自然的、存在不协调感的图像。
为了可与通常的图像处理相同地进行基于从摄像部101提供的图像数据的图像处理，或者，为了不使用特别的A/D变换元件而得到自然的图像，也可以将图5所示的摄像部101的结构例如构成为图16所示那样的结构。
图16是示出摄像部101的另一结构例子的框图。在图16中，对与图5中的情况相同的部分，附加相同标号，而省略其详细说明。即，在图16的情况下，设置摄像控制部401以代替摄像控制部121，在摄像控制部401中，新设置灰度分配决定部411，并设置A/D变换部412以代替A/D变换部143，除此以外，基本上具有与图5的情况相同的结构。
在图16中，光检测部141将由镜头101成像的被摄体光变换为与所入射的光的明亮度(照度)对应的电荷，而积蓄所变换的电荷。光检测部141与从摄像定时控制部144提供的控制信号同步地，向对数变换部142提供所积蓄的电荷。另外，也可以直接向对数变换部142提供所变换的电荷，而不将所变换的电荷积蓄在光检测部141中。对数变换部142生成按照每个像素将从光检测部141提供的电荷变换为与电荷数(或电流强度)的对数大致成比例的电压值而得到的模拟电信号。对数变换部142向A/D变换部412提供所生成的模拟电信号，并且提供给灰度分配决定部411。
灰度分配决定部411对从对数变换部112提供的模拟电信号进行解析，来决定在A/D变换部412中执行的A/D变换的灰度分配。
具体而言，灰度分配决定部411在输入图像的亮度分布中，检测出主要的亮度范围(亮度区域)，来分配A/D变换的灰度级(step)数，以使得可充分识别出该亮度范围的图像。关于亮度范围的设定，可以是1个亮度范围设定，也可以是多个亮度范围设定。另外，对于多个区域间的区域，也可以完全不赋予灰度级(step)，也可以得到与规定亮度区域相比更粗的灰度。另外，关于所设定的亮度范围，也可以从所拍摄的图像自动选择，也可以通过用户的操作输入来设定。
图17是示出图16的灰度分配决定部411的结构例子的框图。
平均亮度计算部451取得从对数变换部142提供的模拟的图像信号，计算出其平均亮度，向主要区域亮度范围设定部452提供平均亮度的计算结果。
主要区域亮度范围设定部452根据从平均亮度计算部451提供的图像信号的平均亮度，设定主要区域的亮度范围，向灰度分配计算部455提供所设定的主要区域的亮度范围。
主要区域亮度范围设定部452例如将与从对数变换部142提供的信号对应的图像中的以预先设定的部分的像素的平均亮度为中心的规定的亮度范围作为主要区域的亮度范围。或者，主要区域亮度范围设定部452也能够以与从对数变换部142提供的信号对应的图像整体中的平均亮度的像素为中心，从具有与该亮度接近的亮度值的像素中依次选择规定数的像素来作为主要区域的亮度范围。
灰度分配计算部455取得从对数变换部112提供的图像信号，在由A/D变换部412根据从主要区域亮度范围设定部452提供的主要区域的亮度范围信息进行的A/D变换中，决定对任一个亮度范围分配多少灰度级数。
例如，灰度分配计算部455对灰度分配进行决定，以便分配多于被设定为主要区域的亮度范围的灰度级数，亮度的输入等级比主要区域的亮度范围低的像素的输出等级成为0(即，漆黑)，针对比主要区域的亮度范围高的高亮度像素，与输入等级无关地分配灰度级数，以便成为全体灰度的最大值。
由此，有效地分配A/D变换部412所具有的有限的灰度级数，即使所拍摄的图像是宽动态范围，也可以得到与主要区域对应的亮度范围的部分具有用户可更好识别的(自然的)灰度数的图像。
图16的A/D变换部412与从摄像定时控制部144提供的控制信号同步地，将模拟电信号A/D变换为数字图像数据。此时，A/D变换部412按照由灰度分配决定部411所决定的灰度分配来执行A/D变换。A/D变换部412输出所变换的数字图像数据。
通过如图16那样构成摄像部101，可通过摄像部101输出不与被摄体的光的明亮度(入射光量)的对数成比例，而是根据由灰度分配决定部411所分配的灰度来进行了A/D变换的数字图像数据。
由此，可使用具有有限的灰度级数的A/D变换部412，将与所拍摄的宽动态范围的图像对应的模拟信号输出为与通常的动态范围的图像对应的数字数据。
另外，关于上述一连串处理，可以通过硬件来实现，也可以通过软件来实现。在通过软件来执行上述一连串处理的情况下，从网络或记录介质将构成该软件的程序安装到嵌入到专用硬件中的计算机上，或者安装到可通过安装各种程序来执行各种功能的例如图18所示那样的通用的个人计算机500等上。
在图18中，CPU(Central Processing Unit，中央处理单元)501根据存储在ROM(Read Only Memory，只读存储器)502中的程序、或从存储部508装载到RAM(Random Access Memory，随机存储器)503中的程序来执行各种处理。另外，在RAM 503中，还适当存储有在CPU 501执行各种处理时所需的数据等。
CPU 501、ROM 502、和RAM 503经由总线504相互连接。另外，在该总线504上，还连接有输入输出接口505。
在输入输出接口505上，连接有由键盘、鼠标等构成的输入部506；由CRT(Cathode Ray Tube，阴极射线管)、LCD(Liquid Crystal Display，液晶显示器)等构成的显示器；由扬声器等构成的输出部507；由硬盘等构成的存储部508；以及由调制解调器、LAN卡等网络接口卡等构成的通信部509。通信部509经由包含因特网在内的网络来进行通信处理。
根据需要，在输入输出接口505上还连接有驱动器510，适当地安装有磁盘、光盘、光磁盘或半导体存储器等可移动介质511，从它们中读出的计算机程序根据需要被安装到存储部508中。
在通过由软件执行上述的一连串处理的情况下，构成该软件的程序从因特网等网络或由可移动介质511等构成的记录介质进行安装。
另外，该记录介质不仅可以由图18所示的可移动介质511构成，还包括在预先组装到装置主体中的状态下向用户发布的、记录有程序的ROM 502或存储部508中包括的硬盘等构成，上述可移动介质511由独立于装置主体的、用于向用户发布程序而配置的、记录有程序的磁盘(包括软盘(floppy disk(注册商标)))、光盘(包括CD-ROM(CompactDisk-Read Only Memory)、DVD(Digital Versatile Disk))、光磁盘(包括MD(Mini-Disk)(注册商标))、或半导体存储器等构成。
并且，本说明书中执行上述的一连串的处理的步骤，当然可以沿着所述的顺序按时间序列进行，还包括不按时间序列进行处理，而是并行或独立地执行处理。

Claims (16)

1.一种图像处理装置，其特征在于，该图像处理装置具有：
摄影单元，其拍摄图像，输出所拍摄的图像数据；
变换单元，其根据在与从上述摄影单元输出的数据对应的图像中所包含的预先设定的区域的图像、即规定反射率的物体的图像所对应的数据，来对所述图像的灰度进行变换；以及
显示单元，其显示与由所述变换单元进行了灰度变换的所述图像信号对应的图像。
2.根据权利要求1所述的图像处理装置，其特征在于，所述摄影单元按照每个像素将与所拍摄的光对应而生成的电荷变换为具有与电荷数的对数成比例的电压值的模拟电信号，将所述模拟电信号变换为数字数据并输出所述图像数据。
3.根据权利要求1所述的图像处理装置，其特征在于，所述摄影单元按照每个像素将与所拍摄的光对应而生成的电流变换为具有与电流大小的对数成比例的电压值的模拟电信号，将所述模拟电信号变换为数字数据并输出所述图像数据。
4.根据权利要求1所述的图像处理装置，其特征在于，所述显示单元可显示的图像的灰度范围比由所述摄影单元所拍摄的图像的灰度范围小。
5.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还具有接收单元，该接收单元接收与所述图像中的所述区域的位置相关的信息输入。
6.根据权利要求1所述的图像处理装置，其特征在于，所述变换单元具有：
提取单元，其提取与在所述图像中包含的预先设定的区域对应的数据；
确定单元，其根据由所述提取单元提取的数据，确定所述图像中与可显示的灰度范围对应的亮度范围；以及
输出单元，其根据由所述确定单元所确定的所述亮度范围，将所述图像的灰度变换为所述显示单元可显示的灰度范围，输出与变换后的图像对应的数据信号。
7.根据权利要求6所述的图像处理装置，其特征在于，所述提取单元根据与所述区域对应的数据，计算出所述区域的像素的亮度值，
所述确定单元将由所述提取单元计算出的所述区域的像素的亮度值分配给所述显示单元可显示的灰度范围中的预先设定的灰度，根据所分配的灰度，确定出所述图像中与可显示的灰度范围对应的亮度的上限值和下限值，从而确定所述亮度范围。
8.根据权利要求7所述的图像处理装置，其特征在于，所述变换单元还具有存储单元，该存储单元存储与所述图像中的所述区域的位置相关的信息、以及关于在所述显示单元可显示的灰度范围中与所述区域的像素的亮度值对应的灰度的信息。
9.根据权利要求7所述的图像处理装置，其特征在于，所述变换单元根据与所述区域的图像的显示相关的用户选择，在所述显示单元可显示的灰度范围中，决定与所述区域的像素的亮度值对应的灰度。
10.根据权利要求7所述的图像处理装置，其特征在于，所述变换单元根据所述区域的图像的物体的反射率，在所述显示单元可显示的灰度范围中，决定与所述区域的像素的亮度值对应的灰度。
11.根据权利要求10所述的图像处理装置，其特征在于，所述图像处理装置还具有距离测定单元，该距离测定单元测定到所述区域的图像的物体的距离，
根据由所述距离测定单元所测定的到所述区域的图像的物体的距离、和所述区域的像素的亮度值，来计算所述物体的反射率。
12.根据权利要求10所述的图像处理装置，其特征在于，所述图像处理装置还具有测定单元，该测定单元向所述区域的图像的物体发射激光，根据由接收所反射的光的受光部检测出的所述光的强度、和根据到检测出由受光部所反射的光为止的时间所计算出的到所述物体的距离，对所述物体的反射率进行测定。
13.根据权利要求1所述的图像处理装置，其特征在于，所述摄影单元按照每个像素将与所拍摄的光对应而生成的电荷或电流变换为具有与电荷数或电流大小的对数成比例的电压值的模拟电信号，由所述变换单元对所述模拟电信号实施灰度变换处理，将经过了由所述变换单元实施的处理的所述模拟电信号变换为数字数据而输出。
14.一种图像处理方法，其特征在于，该图像处理方法包括如下的步骤：
获取步骤，在该步骤中，获取由摄影单元拍摄的图像数据；
变换步骤，在该步骤中，根据在与通过所述获取步骤的处理而获取的数据对应的图像中包含的预先设定的区域的图像、即规定反射率的物体的图像所对应的数据，对所述图像的灰度进行变换；以及
显示步骤，在该步骤中，显示与通过所述变换步骤的处理而进行了灰度变换的所述图像的信号对应的图像。
15.一种使图像处理装置进行图像处理的程序，其特征在于，该程序使计算机执行如下的步骤：
获取控制步骤，在该步骤中，控制对由摄影单元拍摄的图像数据的获取；
变换控制步骤，在该步骤中，根据在与通过所述获取控制步骤的处理而获取的数据对应的图像中包含的预先设定的区域的图像、即规定反射率的物体的图像所对应的数据，对所述图像的灰度的变换进行控制；以及
显示控制步骤，在该步骤中，对与通过所述变换控制步骤的处理而进行了灰度变换的所述图像的信号对应的图像的显示进行控制。
16.一种记录介质，该记录介质记录有使图像处理装置进行图像处理的程序，其特征在于，该记录介质记录的程序使计算机执行如下的步骤：
获取控制步骤，在该步骤中，控制对由摄影单元拍摄的图像数据的获取；
变换控制步骤，在该步骤中，根据在与通过所述获取控制步骤的处理而获取的数据对应的图像中包含的预先设定的区域的图像、即规定反射率的物体的图像所对应的数据，对所述图像的灰度的变换进行控制；以及
显示控制步骤，在该步骤中，对与通过所述变换控制步骤的处理而进行了灰度变换的所述图像的信号对应的图像的显示进行控制。
CNA2006800086326A 2005-03-15 2006-03-15 图像处理装置和方法、程序、及记录介质 Pending CN101142812A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005073756 2005-03-15
JP073756/2005 2005-03-15

Publications (1)

Publication Number Publication Date
CN101142812A true CN101142812A (zh) 2008-03-12

Family

ID=36991700

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800086326A Pending CN101142812A (zh) 2005-03-15 2006-03-15 图像处理装置和方法、程序、及记录介质

Country Status (5)

Country Link
US (1) US20090015683A1 (zh)
EP (1) EP1868370A4 (zh)
JP (1) JP4985394B2 (zh)
CN (1) CN101142812A (zh)
WO (1) WO2006098358A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084396A (zh) * 2009-05-08 2011-06-01 索尼公司 图像处理设备、方法和程序
CN102184514A (zh) * 2009-12-23 2011-09-14 英特尔公司 对要进行纹理操作的像素进行分组
CN102189954A (zh) * 2010-03-02 2011-09-21 奥托立夫开发公司 用于机动车的驾驶辅助系统和方法
CN103325159A (zh) * 2012-03-21 2013-09-25 韩国科亚电子股份有限公司 车辆用影像处理装置及影像处理方法
CN103327880A (zh) * 2011-01-31 2013-09-25 奥林巴斯株式会社 荧光观察装置
CN109120859A (zh) * 2017-06-26 2019-01-01 深圳市光峰光电技术有限公司 一种影像数据处理装置及拍摄设备、显示系统
CN109658339A (zh) * 2017-10-12 2019-04-19 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN112351260A (zh) * 2020-08-04 2021-02-09 煤科集团沈阳研究院有限公司 掘进工作面无人值守自动可视化监控系统及监控方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246444A (ja) * 2008-03-28 2009-10-22 Nissan Motor Co Ltd 映像表示システム及び映像表示方法
KR101539379B1 (ko) * 2008-12-31 2015-07-29 주식회사 동부하이텍 실시간 영상 발생기
JP5260696B2 (ja) * 2011-03-10 2013-08-14 株式会社デンソー エッジ点抽出装置、車線検出装置、およびプログラム
US8582873B2 (en) * 2011-06-16 2013-11-12 Tandent Vision Science, Inc. Use of an object database in an image process
KR101326991B1 (ko) * 2011-12-01 2013-11-13 현대자동차주식회사 노면의 성질 감지 장치 및 그 방법
JP6414386B2 (ja) * 2014-03-20 2018-10-31 株式会社島津製作所 画像処理装置および画像処理プログラム
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
WO2018031441A1 (en) * 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
JP6759995B2 (ja) * 2016-11-11 2020-09-23 株式会社デンソー 画像処理装置
US10691957B2 (en) * 2018-02-12 2020-06-23 ITS Plus, Inc. Method for increasing the accuracy of traffic cameras using optical masking technology

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5418243A (en) * 1977-07-12 1979-02-10 Toshiba Corp Picture display unit
JPH05103336A (ja) * 1991-10-11 1993-04-23 Olympus Optical Co Ltd カラー映像信号処理装置およびカラー映像信号の色補正方法
GB2262339B (en) * 1991-12-13 1995-09-06 Honda Motor Co Ltd Method of inspecting the surface of a workpiece
JP2856386B2 (ja) * 1994-10-26 1999-02-10 松下電器産業株式会社 色彩調整装置及びその方法
JP3759280B2 (ja) * 1997-04-15 2006-03-22 富士通株式会社 道路監視用事象検知装置
JP3724188B2 (ja) * 1998-04-30 2005-12-07 コニカミノルタホールディングス株式会社 固体撮像装置
JP4126784B2 (ja) * 1998-10-30 2008-07-30 株式会社ニコン 画像取り込み装置
JP2000307896A (ja) * 1999-04-15 2000-11-02 Toshiba Corp 画像処理装置及び画像処理方法
JP4256028B2 (ja) * 1999-07-02 2009-04-22 富士フイルム株式会社 圧縮符号化装置および方法
JP2001126075A (ja) * 1999-08-17 2001-05-11 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2001078090A (ja) * 1999-09-02 2001-03-23 Fuji Photo Film Co Ltd 広ダイナミックレンジ記録画像再生装置
JP2001119683A (ja) * 1999-10-20 2001-04-27 Fujitsu General Ltd 画像センサ装置
JP2001136492A (ja) * 1999-11-09 2001-05-18 Fuji Photo Film Co Ltd 画像再生装置
JP4245782B2 (ja) * 2000-07-03 2009-04-02 オリンパス株式会社 撮像装置
JP2002044526A (ja) * 2000-07-21 2002-02-08 Minolta Co Ltd 固体撮像装置
JP4281311B2 (ja) * 2001-09-11 2009-06-17 セイコーエプソン株式会社 被写体情報を用いた画像処理
JP2003101886A (ja) * 2001-09-25 2003-04-04 Olympus Optical Co Ltd 撮像装置
JP4099011B2 (ja) * 2002-07-10 2008-06-11 富士重工業株式会社 監視装置および監視方法
JP4407163B2 (ja) * 2003-05-30 2010-02-03 株式会社ニコン カメラシステム
JP2005033709A (ja) * 2003-07-11 2005-02-03 Nissan Motor Co Ltd 車両用周辺監視装置
JP3994941B2 (ja) * 2003-07-22 2007-10-24 オムロン株式会社 車両用レーダ装置
JP2005057358A (ja) * 2003-08-06 2005-03-03 Nikon Corp 電子カメラおよび画像処理プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084396A (zh) * 2009-05-08 2011-06-01 索尼公司 图像处理设备、方法和程序
CN102184514A (zh) * 2009-12-23 2011-09-14 英特尔公司 对要进行纹理操作的像素进行分组
CN102184514B (zh) * 2009-12-23 2015-02-25 英特尔公司 对要进行纹理操作的像素进行分组
CN102189954A (zh) * 2010-03-02 2011-09-21 奥托立夫开发公司 用于机动车的驾驶辅助系统和方法
CN103327880A (zh) * 2011-01-31 2013-09-25 奥林巴斯株式会社 荧光观察装置
CN103327880B (zh) * 2011-01-31 2015-08-26 奥林巴斯株式会社 荧光观察装置
CN103325159A (zh) * 2012-03-21 2013-09-25 韩国科亚电子股份有限公司 车辆用影像处理装置及影像处理方法
CN109120859A (zh) * 2017-06-26 2019-01-01 深圳市光峰光电技术有限公司 一种影像数据处理装置及拍摄设备、显示系统
CN109658339A (zh) * 2017-10-12 2019-04-19 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN109658339B (zh) * 2017-10-12 2023-12-08 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN112351260A (zh) * 2020-08-04 2021-02-09 煤科集团沈阳研究院有限公司 掘进工作面无人值守自动可视化监控系统及监控方法

Also Published As

Publication number Publication date
JPWO2006098358A1 (ja) 2008-08-28
WO2006098358A1 (ja) 2006-09-21
US20090015683A1 (en) 2009-01-15
EP1868370A4 (en) 2009-04-22
JP4985394B2 (ja) 2012-07-25
EP1868370A1 (en) 2007-12-19

Similar Documents

Publication Publication Date Title
CN101142812A (zh) 图像处理装置和方法、程序、及记录介质
Moeslund Introduction to video and image processing: Building real systems and applications
JP4783795B2 (ja) 照明および反射境界の区別
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
JP4678487B2 (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
CN101365070B (zh) 摄像装置
US20090051794A1 (en) Image processing apparatus, image processing method, image processing system, program and recording medium
US8902328B2 (en) Method of selecting a subset from an image set for generating high dynamic range image
CN107451969A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN101142814A (zh) 图像处理装置及方法、程序、以及记录介质
CN102300049A (zh) 图像信号处理装置
US8781158B1 (en) UVB-visible channel apparatus and method for viewing a scene comprising terrestrial corona radiation
JP6965132B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN109639959A (zh) 图像处理装置、图像处理方法以及记录介质
JP2006208327A (ja) メタリック塗装面評価方法、装置、及び動作プログラム
Meyer et al. Electronic image analysis of crop residue cover on soil
JP2006208333A (ja) 目視感評価方法並びにシステム、メタリック塗装面評価装置、その動作プログラム及びメタリック塗装面の目視感評価方法
CN109191398A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US11114045B1 (en) Method of enhancing the visibility of screen images
CN116524877A (zh) 车载屏幕亮度调节方法、装置、电子设备和存储介质
CN106683047A (zh) 一种全景图像的光照补偿方法和系统
JP4359662B2 (ja) カラー画像の露出補正方法
Salvador Shadow segmentation and tracking in real-world conditions
US7362910B2 (en) Color image characterization, enhancement and balancing process
JP6873342B2 (ja) 背景モデル生成装置、背景モデル生成プログラム、及び背景モデル生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080312