CN101142814A - 图像处理装置及方法、程序、以及记录介质 - Google Patents

图像处理装置及方法、程序、以及记录介质 Download PDF

Info

Publication number
CN101142814A
CN101142814A CNA2006800086330A CN200680008633A CN101142814A CN 101142814 A CN101142814 A CN 101142814A CN A2006800086330 A CNA2006800086330 A CN A2006800086330A CN 200680008633 A CN200680008633 A CN 200680008633A CN 101142814 A CN101142814 A CN 101142814A
Authority
CN
China
Prior art keywords
mentioned
view data
pixel
image
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800086330A
Other languages
English (en)
Inventor
笠岛正人
太田俊二
安藤丹一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN101142814A publication Critical patent/CN101142814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及能够除去遮挡视场的干扰物体以提供视场舒适的图像的图像处理装置及方法、程序、以及记录介质。干扰状态检测部(161)判断是否要对由摄像部拍摄到的图像进行校正，干扰物体检测部(162)检测拍摄到的图像中的与干扰物体对应的像素。干扰物体除去处理部(164)根据移动状态控制部(163)和干扰物体登记部(165)的输出，将应校正的图像的帧中的干扰物体的像素替换为时间上位于前面的帧中的对应像素，进行校正，以便从图像中除去干扰物体，并将校正后的图像数据输出到显示部。

Description

图像处理装置及方法、程序、以及记录介质
技术领域
本发明涉及图像处理装置及方法、程序、以及记录介质，特别涉及能够除去遮挡视场的干扰物体以提供视场舒适的图像的图像处理装置及方法、程序、以及记录介质。
背景技术
近年来，为了提高夜间前方的比被前照灯(headlight)照射到的区域暗很多的区域的辨认性，采用了在显示单元中显示利用照相机等摄像单元拍摄较暗区域的方式拍摄到的图像的方法。但是，在下雪或下大雨时，位于面前(照相机附近)的雪或雨被前照灯照射，被拍摄得较亮，该雪或雨被显示得较亮，因此，辨认性显著下降，存在不能识别前方的行人或障碍物的问题。因而，提出了如下方案：在车辆用灯具中，根据气象或路面状况的变化，进行照射控制，从而改善前方视场  (例如，参照专利文献1)。
并且，例如，若以利用光圈等将光量设定为非常少并进行长时间曝光的方法来拍摄照片，则不能拍摄到动态物体，能够对静止的道路或建筑物进行拍摄，因此，虽然可以提供除去了雪或雨等动态物体的图像，但是，所提供的图像基本上与静态图像相同，因此，不能应用到要求实时性的监视等中。
应用于要求实时性的监视等的情况下，计算前一帧与后一帧的每个像素的差分，当检测出大于阈值的差分时，对于发生大于阈值的变化的像素，若用与前一帧的处于同一位置的像素数据进行替换，则因移动而发生大于阈值的变化的像素被替换为原来的帧数据。根据该方法，能够除去飘舞的雪或在道路上行驶的车辆或行人，监视静止不动的道路或护栏等设置于道路上的物体、建筑物或桥等物体。
专利文献1：日本特开平11-321440号公报
但是，专利文献1的技术中，虽然可以期待利用灯具来改善恶化的视场，但是，还存在无法看到被位于面前的雪遮挡的部分的问题。
而且，当将采用了替换前一帧的处于同一位置的像素的方法的监视装置安装到车辆上，来显示前方时，随着车辆的行进，前方图像的大部分处于动态变化的状态，因此，大部分的区域被消除，而不能进行显示。因而，在照相机或对象运动的情况下，不能利用。在单纯将移动的物体判断为干扰物体的方法中会发生上述问题，所以需要区分雪或雨等干扰物体和应辨认的物体来进行处理。
尤其，雪属于摄影场景的亮度变化较大的干扰物体，在图像中所占的尺寸小，形状也根据各个雪片而大有不同，因此，难以在图像中进行识别。并且，位于照相机附近的雪的面积较大，反射光量多，所以将远远亮于前方物体的光入射到摄像单元，因此，在使用通常的CCD摄像元件或CMOS摄像元件的方法中，需要光圈或快门速度等的入射光量控制单元。入射光量控制单元若与位于面前的较亮的雪对应地减少入射光量，则以黑电平修剪前方，不能拍摄。入射光量控制单元若根据前方较暗的区域而增加入射光量，则出现雪的部分给周围像素带来影响的炫光或污点等现象，不能拍摄到前方的区域扩大。
发明内容
本发明是鉴于这种情况而完成的，其中，能够除去遮挡视场的干扰物体，提供视场舒适的图像。
应用了本发明的第一图像处理装置的特征在于，该图像处理装置具备：摄影单元，其拍摄图像，输出拍摄到的图像数据；校正与否判断单元，其判断是否要对从摄影单元输出的图像数据进行校正；检测单元，其检测图像数据中与在空中浮游或下落的规定物体即干扰物体对应的像素；替换单元，其将通过检测单元检测到的图像数据中的干扰物体的像素替换为其他像素；以及输出单元，其输出通过替换单元将干扰物体的像素替换为其他像素后的图像数据。
本发明的第一图像处理装置中，拍摄图像，输出拍摄到的图像数据，判断是否要对输出的图像数据进行校正，检测图像数据中与在空中浮游或下落的规定物体即干扰物体对应的像素，将检测到的图像数据中的干扰物体的像素替换为其他像素，输出将干扰物体的像素替换为其他像素后的图像数据。
因此，能够提供除去了妨碍视场的干扰物体的图像。
所述摄影单元将与拍摄到的光对应地生成的电荷按照每个像素变换成模拟电信号，该模拟电信号具有与电荷数的对数成比例的电压值，将模拟电信号变换成数字数据，输出图像数据。
摄影单元例如由HDRC照相机构成。
因此，能够拍摄动态范围广的图像，可靠地检测干扰物体、即雪的像素。
所述摄影单元可以将与拍摄的光对应地生成的电流按照每个像素变换为模拟电信号，该模拟电信号具有与电流大小的对数成比例的电压值，将模拟电信号变换成数字数据，输出图像数据。
所述检测单元可以根据图像数据的像素的亮度值和预先设定的阈值，检测与干扰物体对应的像素。
所述阈值是用于在图像数据中区分与干扰物体对应的像素和与背景对应的像素的亮度值的上限和下限的阈值，检测单元可以将具有阈值范围内的亮度值的像素检测为与干扰物体对应的像素。
因此，能够将干扰物体与背景相区分，恰当地进行检测。
所述检测单元可以将图像分割成多个区域，在分割后的全部区域的图像数据中存在具有阈值范围内的亮度值的像素的情况下，将具有阈值范围内的亮度值的像素检测为与干扰物体对应的像素。
因此，能够抑制将存在于图像局部中的物体错误地检测为干扰。
在摄影单元拍摄到的多个帧的全部帧的图像数据中存在具有阈值范围内的亮度值的像素的情况下，所述检测单元可以将具有阈值范围内的亮度值的像素检测为与干扰物体对应的像素。
因此，能够抑制将临时遮挡视场的物体错误地检测为干扰。
所述检测单元可以计算以具有阈值范围内的亮度值的像素为中心的块的数据的特征量，对计算出的特征量与预先存储的与干扰物体对应的像素块的数据的特征量之间的差分进行运算，当差分在预先设定的值以下时，将以具有阈值范围内的亮度值的像素为中心的块检测为与干扰物体对应的像素块。
因此，能够与图像中的干扰物体的量等无关地可靠地检测出干扰物体。
所述替换单元可以将检测单元检测到的像素，替换为作为由摄影单元拍摄到的帧的图像、在时间上位于应替换像素的帧之前的帧的图像中的与检测单元检测到的像素对应的像素。
因此，能够生成好像不存在干扰物体的图像。
还具备确定单元，其确定作为由所述摄影单元拍摄到的帧的图像、在时间上位于应替换像素的帧之前的帧的图像中的与检测单元检测到的像素对应的像素的位置，替换单元将检测单元检测到的像素替换为确定单元所确定的像素。
因此，即使在图像处理装置移动的情况下，也能够恰当地提供除去了干扰物体的图像。
还具备其他摄影单元，替换单元将检测单元检测出的像素，替换为其他摄影单元所拍摄到的图像的、在与应替换像素的图像相同的定时拍摄到的图像中的与检测单元检测到的像素对应的像素。
因此，即使在弯曲路等上行驶的情况下，也能够恰当地提供除去了干扰物体的图像。
应用了本发明的第一图像处理方法的特征在于，所述图像处理方法包括：校正与否判断步骤，针对从拍摄图像并输出所拍摄到的图像数据的摄影单元所输出的图像数据，判断是否要进行校正；检测步骤，当通过校正与否判断步骤的处理判断为应对图像数据进行校正时，检测图像数据中与在空中浮游或下落的预定物体、即干扰物体对应的像素；替换步骤，将通过检测步骤的处理检测到的图像数据中的干扰物体的像素替换为其他像素；以及输出步骤，输出通过替换步骤的处理将干扰物体的像素替换为其他像素后的图像数据。
本发明的第一图像处理方法中，针对从拍摄图像并输出所拍摄到的图像数据的摄影单元所输出的图像数据，判断是否要进行校正，当判断为应对图像数据进行校正时，检测图像数据中与在空中浮游或下落的预定物体、即干扰物体对应的像素，将检测到的图像数据中的干扰物体的像素替换为其他像素，输出将干扰物体的像素替换为其他像素后的图像数据。
应用了本发明的第一程序是使图像处理装置进行图像处理的程序，所述程序的特征在于，使计算机执行如下步骤：校正与否判断控制步骤，控制如下的判断，即针对从拍摄图像并输出所拍摄到的图像数据的摄影单元所输出的图像数据，判断是否要进行校正；检测控制步骤，当通过校正与否判断控制步骤的处理判断为应对图像数据进行校正时，控制对图像数据中与在空中浮游或下落的预定物体、即干扰物体对应的像素的检测；替换控制步骤，控制通过检测控制步骤的处理检测到的图像数据中的干扰物体的像素替换为其他像素；以及输出控制步骤，控制通过替换控制步骤的处理将干扰物体的像素替换为其他像素后的图像数据的输出。
应用了本发明的第一记录介质是存储有使图像处理装置进行图像处理的程序的记录介质，所述记录介质的特征在于，所记录的程序使计算机执行如下步骤：校正与否判断控制步骤，控制如下的判断，即针对从拍摄图像并输出所拍摄到的图像数据的摄影单元所输出的图像数据，判断是否要进行校正；检测控制步骤，当通过校正与否判断控制步骤的处理判断为应对图像数据进行校正时，控制对图像数据中与在空中浮游或下落的预定物体、即干扰物体对应的像素的检测；替换控制步骤，控制通过检测控制步骤的处理检测到的图像数据中的干扰物体的像素替换为其他像素；以及输出控制步骤，控制通过替换控制步骤的处理将干扰物体的像素替换为其他像素的图像数据的输出。
应用了本发明的第二图像处理装置的特征在于，所述图像处理装置包括：摄影单元，其拍摄对被摄体照射光的照明点亮时的图像和照明熄灭时的图像，输出拍摄到的图像数据；校正与否判断单元，其判断是否要对从摄影单元输出的图像数据进行校正；校正单元，其根据由摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和照明熄灭时拍摄到的图像数据，对图像数据进行校正；以及输出单元，其输出校正单元进行了校正的图像数据。
本发明的第二图像处理装置中，拍摄对被摄体照射光的照明点亮时的图像和照明熄灭时的图像，输出拍摄到的图像数据，判断是否要对输出的图像数据进行校正，根据在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和照明熄灭时拍摄到的图像数据，对图像数据进行校正，输出进行了校正的图像数据。
因此，能够提供对于用户来说视场舒适的图像。
所述校正单元可对图像数据进行校正，以向输出单元输出摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和照明熄灭时拍摄到的图像数据之中的照明熄灭时拍摄到的图像数据。
因此，能够在不损害用户的辨认性的情况下，显示自然感觉到的图像。
第二图像处理装置还具有检测单元，该检测单元检测所述图像数据中与在空中浮游或下落的预定物体、即干扰物体对应的像素，检测单元根据由摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和照明熄灭时拍摄到的图像数据，运算各个图像数据中对应的各像素的亮度值的差分，将亮度值的差分大于预先设定的值的像素检测为与干扰物体对应的像素，校正单元将检测单元检测到的图像数据中的干扰物体的像素替换为其他像素。
因此，能够以简单的结构检测干扰物体。
应用了本发明的第二图像显示方法的特征在于，该图像显示方法包括：校正与否判断步骤，判断是否要对从摄影单元输出的图像数据进行校正，上述摄影单元拍摄对被摄体照射光的照明点亮时的图像和照明熄灭时的图像，并输出拍摄到的图像数据；校正步骤，当通过校正与否判断步骤的处理判断为应对图像数据进行校正时，根据由摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和照明熄灭时拍摄到的图像数据，对图像数据进行校正；以及输出步骤，输出通过校正步骤的处理进行了校正的图像数据。
本发明的第二图像显示方法中，判断是否要对从摄影单元输出的图像数据进行校正，上述摄影单元拍摄对被摄体照射光的照明点亮时的图像和照明熄灭时的图像，并输出拍摄到的图像数据；当判断为应对图像数据进行校正时，根据由摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和照明熄灭时拍摄到的图像数据，对图像数据进行校正；输出进行了校正的图像数据。
应用了本发明的第二程序是使图像处理装置进行图像处理的程序，所述程序的特征在于，使计算机执行如下步骤：校正与否判断控制步骤，对如下的判断进行控制，即判断是否要对从摄影单元输出的图像数据进行校正，上述摄影单元拍摄对被摄体照射光的照明点亮时的图像和照明熄灭时的图像，并输出拍摄到的图像数据；校正控制步骤，当通过校正与否判断控制步骤的处理判断为应对图像数据进行校正时，控制根据由摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和照明熄灭时拍摄到的图像数据而对图像数据进行的校正；以及输出控制步骤，控制通过校正控制步骤的处理进行了校正的图像数据的输出。
应用了本发明的第二记录介质是存储有使图像处理装置进行图像处理的程序的记录介质，所述记录介质的特征在于，所记录的程序使计算机执行如下步骤：校正与否判断控制步骤，对如下的判断进行控制，即判断是否要对从摄影单元输出的图像数据进行校正，上述摄影单元拍摄对被摄体照射光的照明点亮时的图像和上述照明熄灭时的图像，并输出拍摄到的图像数据；校正控制步骤，当通过校正与否判断控制步骤的处理判断为应对上述图像数据进行校正时，控制根据由上述摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和上述照明熄灭时拍摄到的图像数据而对图像数据进行的校正；以及输出控制步骤，控制通过上述校正控制步骤的处理进行了校正的图像数据的输出。
根据本发明，能够提供视场舒适的图像。尤其，能够除去遮挡视场的干扰物体，提供视场舒适的图像。
附图说明
图1是示出应用了本发明的监视装置的结构例的框图。
图2是示出图1的摄像部的结构例的图。
图3是说明摄像部的灵敏度特性的图。
图4是示出图1的控制部的结构例的框图。
图5是说明图像校正处理的例子的流程图。
图6是说明校正与否判断处理的例子的流程图。
图7是说明干扰物体检测处理的例子的流程图。
图8是示出拍摄到干扰物体的图像的例子的图。
图9是示出将图8的图像分割成多个区域的图。
图10是示出像素的直方图(histogram)的例子的图。
图11是说明模式A处理的例子的流程图。
图12是说明模式B处理的例子的流程图。
图13是示出连续的帧的例子的图。
图14是示出像素的直方图的例子的图。
图15是示出像素的直方图的例子的图。
图16是说明模式C处理的例子的图。
图17是说明特征判断处理的例子的流程图。
图18是说明干扰物体检测处理的其他例子的流程图。
图19是照明点亮时拍摄到的图像的例子的图。
图20是照明熄灭时拍摄到的图像的例子的图。
图21是示出除去了干扰物体的图像的例子的图。
图22是说明干扰物体除去处理的例子的流程图。
图23是示出应校正帧的图像的例子的图。
图24是示出时间上位于前面的帧的图像的例子的图。
图25是示出替换了像素的图像的例子的图。
图26是示出应校正帧的图像的其他例子的图。
图27是示出时间上位于前面的帧的图像的其他例子的图。
图28是替换了像素的图像的其他例子的图。
图29是示出应用了本发明的监视装置的其他结构例的框图。
图30是说明利用图29的监视装置进行干扰物体除去处理的例子的流程图。
图31是示出个人计算机的结构例的框图。
标号说明
100监视装置；101摄像部；102控制部；103显示部；121摄像控制部；141光检测部；142对数变换部；143 A/D变换部；161干扰状态检测部；162干扰物体检测部；163移动状态控制部；164干扰物体除去部；165干扰物体登记部。
具体实施方式
下面，参照附图，说明本发明的实施方式。图1是示出应用了本发明的监视装置100的实施方式的外观结构例的框图。监视装置100例如安装在汽车等上，是用于对车外前方进行拍摄以向用户提示视场舒适的图像的装置，该监视装置100由摄像部101、控制部102以及显示部103构成。
摄像部101由例如照相机等构成，拍摄基于从镜头101a输入的光的图像(可以是动态图像，也可以是静态图像)，将拍摄到的图像数据输出到控制部102。另外，摄像部101拍摄动态图像时，拍摄到的图像数据作为以帧单位进行了编码的数字数据输出。
控制部102对从摄像部101供给的图像数据实施预定处理，进行干扰物体除去等处理，以实施校正，将与校正的图像数据对应的信号输出到显示部103。
此处，干扰物体在空气中浮游、或像雪或雨等那样在空气中降落、或像虫子那样飞翔等，是存在于空气中的物体，干扰人的视场。
并且，控制部102例如与汽车的电子控制部(微机(微计算机)等)等外部信息设备连接，根据需要，取得与信息设备连接的各种传感器的输出状态等。
显示部103由例如LCD(Liquid Crystal Display：液晶显示装置)等构成，显示与从控制部102供给的信号对应的图像。
图2是示出摄像部101的结构例的框图。如图2所示，摄像部101中采用如下结构：从镜头101a输出的光向摄像控制部121输出。摄像控制部121是例如HDRC(High Dynamic Range CMOS(ComplementaryMetal Oxide Semiconductor)：高动态范围互补式金属氧化物半导体)等对数变换式摄像元件，构成为包括光检测部141、对数变换部142、A/D变换部143以及摄像定时控制部144。
通过镜头101a入射的被摄体的光成像于摄像控制部121的光检测部141的未图示的光检测面上。
光检测部141具备例如光电二极管等多个受光元件，将通过镜头101a成像的被摄体的光变换成与光强度(光量)对应的电荷，积蓄变换的电荷。光检测部141与从摄像定时控制部144供给的控制信号同步地将积蓄的电荷提供给对数变换部142。另外，也可以不在光检测部141中积蓄变换的电荷，而直接将电荷提供给对数变换部142。
对数变换部142由例如多个MOSFET(Metal Oxide SemiconductorField Effect Transistor：金属氧化物半导体场效应晶体管)等构成。对数变换部142利用MOSFET的次阈值(subthreshold)特性，将从光检测部141供给的电荷(或电流)按每个像素变换成模拟电信号，该模拟电信号具有与电荷数(或电流强度)的对数成比例的电压值。对数变换部142将变换后的模拟电信号提供给A/D变换部143。
A/D变换部143与从摄像定时控制部144供给的控制信号同步地将模拟电信号变换成数字图像数据，将变换后的图像数据提供给图像处理装置112。因此，从摄像控制部121输出的图像数据的各像素的像素值成为与将入射到光检测部141的被摄体的光量进行了对数变换得到的值成比例的值。
图3是示出HDRC的摄像控制部121、CCD(Charge Coupled Device)摄像元件、银盐胶卷、以及人眼的灵敏度特性的曲线图。图3的横轴表示入射光的照度(单位为勒克斯(lux))的对数，纵轴表示灵敏度。线151表示摄像控制部121的灵敏度特性，线152表示人眼的灵敏度特性，线153表示银盐胶卷的灵敏度特性，线154表示CCD摄像元件的灵敏度特性。另外，现有的CMOS摄像元件的灵敏度特性与线154所表示的CCD摄像元件的灵敏度特性大致类似。
如上所述，摄像控制部121通过输出具有与入射的被摄体的光的光量的对数大致成比例的像素值的图像数据，从而不使构成摄像控制部121的光电二极管或MOSFET等的电容饱和，摄像控制部121具有比CCD摄像元件、银盐胶卷以及人眼广的、从约1毫勒克斯到高于太阳光亮度的约500k勒克斯的约170dB的动态范围。
即，如上所述，对数变换部142输出由与入射光量的对数大致成比例的亮度值(或像素值)构成的数据，因此，即使入射光量增大，也不会发生构成摄像控制部121的光电二极管或MOSFET等元件的电容饱和、或者、流入各元件的电流或施加的电压超过能够进行与各元件的输入对应的输出的范围的情况。因此，在可进行摄像的亮度范围内，能够大致正确地获得与入射光量的变动对应的亮度值(或像素值)。另外，摄像控制部121的动态范围不限于上述的170dB，可以根据利用目的，设为约100dB或200dB等、与所需的动态范围对应的范围。
因此，使用了摄像控制部121的摄像装置101即使不通过光圈或快门速度等的调整来调整入射光量，也不会发生亮度修剪(clipping)，该亮度修剪是指将与被摄体的较亮部分对应的像素值修剪为摄像元件可输出的像素值的最大值、或者、将与被摄体的较暗部分对应的像素值修剪为摄像元件可输出的像素值的最小值。即，摄像装置101能够忠实地拍摄被摄体的详细的亮度变化，而不会发生被摄体的较亮部分泛白、较暗部分泛黑的情况。
例如，使用了摄像控制部121的摄像装置101，当在白天从车内拍摄车前方的情况下，即使太阳进入到视场角内，也能够在不调整入射光量的状况下拍摄到忠实地再现了太阳和前方道路状态的图像。并且，当摄像装置101在夜间从车内拍摄车前方的情况下，即使对面车辆的前照灯从前方进行照射，也能够在不调整入射光量的状况下拍摄到忠实地再现了从对面车辆的前照灯的光到未被本车辆的前照灯照射到的部分的图像。
并且，使用了摄像控制部121的摄像装置101无需调整入射光量，因此，对于从摄像装置101输出的图像数据，例如，在对2个帧进行拍摄的期间，在存在被摄体内的亮度发生变动的区域和未发生变动的区域的情况下，与亮度发生变动的区域对应的像素值发生变动，与亮度未发生变动的区域对应的像素值几乎未发生变动。因此，取得了帧之间的图像数据的差分的数据(下面称为差分数据)的各像素的像素值(下面也称为差分值)成为基本上忠实地反应了被摄体亮度的变动的值。
另一方面，使用了动态范围小于人眼的CCD摄像元件的摄像装置需要根据被摄体的亮度调整入射光量，因此，例如，在对2个帧进行拍摄的期间，在存在被摄体内的亮度发生变动的区域和未发生变动的区域的情况下，有时与亮度未发生变动的区域对应的像素值也发生变动。因此，差分数据的各像素的差分值有时不能成为忠实地反映了被摄体的亮度变动的值。
并且，由于从摄像装置101输出的图像数据的像素值是与被摄体光量的对数大致成比例的值，从而表示拍摄了该被摄体得到的图像数据中的像素值分布的直方图的形状与表示该被摄体的反射率分布的直方图的形状大致相同，而与照射到被摄体的照明的亮度(照度)无关。例如，在对反射率最大的部分与最小的部分之比为10∶1的被摄体照射第一次和第二次之间存在约100倍的照度差的照明，来进行拍摄的情况下，表示第一次的图像数据和第二次的图像数据的像素值的分布的直方图的宽度为大致相同的值(1＝log1010)。
另一方面，在图像数据的像素值与被摄体的光量成比例的情况下，表示第一次的图像数据与第二次的图像数据的像素值的分布的直方图的宽度之差为约100倍。
因此，在照射到被摄体的照明的照度大致相同的情况下，当照明的照度变化时，对被摄体进行拍摄得到的图像数据的像素值大致一样地变化，而与被摄体的亮度(反射率)的分布无关。例如，当在被摄体内存在亮度比为100∶1的2个区域的情况下，当通过改变照明的照度，使被摄体的亮度大致一样地变动了+5％时，与2个区域对应的像素值的变动值成为大致相同的值(loglO1.05)。另一方面，在图像数据的像素值与被摄体的光量成比例的情况下，与上述的2个区域对应的像素值的变动值之差为约100倍。
相对于此，如线154和线153所示，对于CCD摄像元件和银盐胶卷，由于伽马(Gamma)特性等的原因，灵敏度特性不与入射的光的照度成比例。因此，表示使用了CCD摄像元件或银盐胶卷的图像数据的像素值分布的直方图即使在入射光的光量(照度)的分布一样的情况下，其形状也根据光量的大小(照度的强度)而发生变化。
图4是示出控制部102的结构例的框图。该图4中，干扰状态检测部161根据从例如汽车的微机等取得的信息，检测是否存在应从图像中除去的干扰物体(雪)。干扰物体检测部162检测从摄像部101供给的图像中的干扰物体。
移动状态控制部163检测汽车的移动状态和干扰物体的移动状态，由两者的移动状态检测图像中的干扰物体与背景的位置关系，根据两者的位置关系，确定存在伴随着校正应进行替换的像素的帧和应替换的像素。
干扰物体登记部165预先存储干扰物体的特征量的数据，根据需要，检测通过干扰物体检测部162检测到的干扰物体的特征量与自身所存储的干扰物体的特征量的一致程度。
干扰物体除去部164根据干扰物体检测部162、移动状态控制部163以及干扰物体登记部165的处理结果，对从摄像部101供给的图像数据实施替换与干扰物体对应的像素(除去干扰物体)的处理，进行校正，将与校正后的图像数据对应的信号输出到显示部103。
另外，构成控制部102的各部也可以由安装有分别实现上述功能的逻辑运算部或存储部的半导体集成电路等硬件构成，或者，由例如计算机等构成控制部102，上述各部构成为通过由计算机进行处理的软件来实现的功能块。
接着，参照图5的流程图，说明由监视装置100进行的图像校正处理。此处，监视装置100安装在汽车上，摄像部101对前方图像进行拍摄，显示到显示部103上，并且，将雪作为干扰物体，将其从拍摄到的图像中除去后进行显示。
步骤S101中，控制部102执行按照图6在后面叙述的校正与否判断处理。从而判断是否需要对从摄像部101供给的图像数据进行校正。
步骤S102中，控制部102判断步骤S101的处理结果、即是否判断为需要校正，在判断为需要校正的情况下，将处理转移到步骤S103。
步骤S103中，控制部102执行参照图7在后面叙述的干扰物体检测处理。由此，检测与从摄像部101供给的图像数据中的干扰物体对应的像素(或者像素块)。
步骤S104中，控制部102执行参照图22在后面叙述的干扰物体除去处理。从而从图像中除去通过步骤S103的处理检测到的干扰物体。
步骤S104中，控制部102将与图像数据对应的信号输出到显示部103，显示图像。
另外，步骤S102中，在判断为无需校正时，跳过步骤S103和S104的处理，不对摄像部101拍摄到的图像进行校正，直接显示。
采用这种方式，进行图像校正处理。
下面，参照图6的流程图，说明图5的步骤S101的校正与否判断处理的详情。
步骤S121中，干扰状态检测部161从汽车的微机等取得雨滴传感器的输出信息，判断传感器是否检测到了物体(雪或雨等)，在判断为检测到物体时，进入到步骤S122。
步骤S122中，干扰状态检测部161根据从汽车的微机等取得的信息，判断雨刷是否动作了预先设定的时间(例如、1分钟)，在判断为雨刷动作了预定时间的情况下，进入到步骤S123。例如，在步骤S121的处理中，即使在判断为雨滴传感器检测到物体的情况下，也有可能是例如水飞溅等引起的临时雨滴，而不限于有干扰物体(雪)降落。因此，进一步判断雨刷是否动作了预定时间。
步骤S123中，干扰状态检测部161根据从汽车的微机等取得的信息，判断车速是否在阈值以下，当判断为车速在阈值以下时，处理进入到步骤S125。下雪的情况下，考虑到通常车速较慢，因此，进一步判断车速是否在阈值以下。
步骤S125中，干扰状态检测部161将表示需要进行图像校正的需要校正标记设为ON。在图5的步骤S102的处理中，判断该校正标记是否为ON，当校正标记为ON的情况下，判断为需要校正。
另一方面，在步骤S121中判断为传感器未检测到物体，并且在步骤S122中判断为雨刷未动作预定时间，或者，在步骤S123中判断为车速不在阈值以下的情况下，处理进入到步骤S124。
步骤S124中，干扰状态检测部161判断是否通过手动进行了需要校正的设定，在判断为通过手动进行了需要校正的设定的情况下，处理进入到步骤S125。例如，用户(驾驶者)例如按下未图示的操作按钮等，指示进行图像校正的情况下，仍将需要校正标记设定为ON。步骤S124中，判断为未通过手动进行了需要校正的设定的情况下，跳过步骤S125的处理，结束处理。
采用这种方式，判断是否要校正。
接着，参照图7的流程图，说明图5的步骤S103的干扰物体检测处理的详情。
步骤S141中，干扰物体检测部162将摄像部101拍摄到的图像分割成预定区域。由此，例如以图9所示的方式分割图8所示的图像。另外，图8和图9中，图中用白圈表示的部分为干扰物体、即雪。图9中，图像被分割成区域A～区域H的8个区域。
步骤S142中，干扰物体检测部162检测存在于图像数据中的阈值范围内的像素。若表示下雪时的车外的图像的像素值(像素的亮度值)与像素数的关系，则为图10的曲线图所示。图10中，横轴表示输出值(像素值)，纵轴表示像素数，像素的分布(直方图)用线201表示。如图10所示，在图中左侧的输出值(像素值)低的部分和图中右侧的输出值(像素值)高的部分上分别形成有线201的峰值。
图中左侧的峰值是由图像中的与低亮度的背景对应的像素产生的，图中右侧的峰值是与作为干扰物体的雪对应的像素产生的。阈值a和阈值b分别是与作为干扰物体的雪对应的像素值的下限和上限，该阈值a和阈值b被预先设定，设定为用于区分背景和干扰物体的适当的值。因此，可以认为具有阈值a以上且阈值b以下的值的像素(阈值范围内的像素)是干扰物体的像素的可能性高。例如，根据预先对下雪时的图像进行拍摄而取得的图像数据，制作像素值的直方图，根据制作的直方图，设定阈值a和阈值b。
并且，阈值并不是必须要设定成固定的，也可以根据天气等，动态地设定。例如，在晴天和阴天(或者，白天和黑夜)中，所照射的日光的光强度不同，因此，即使是对同一物体，有时摄像部101所拍摄到的图像数据中的像素的亮度值也有所不同。这种情况下，根据图像中总能观察到的物体、即预先存储了反射率的物体(例如路面)的亮度值，选择适合于能够区分背景和干扰物体的阈值(动态地设定)。
例如，将摄像部101安装于汽车前方的情况下，拍摄到的图像的下端始终拍摄了路面(沥青)，因此，可以预先存储在多个不同的天气下拍摄到的图像中的路面和雪之间的亮度值的关系(例如亮度值的差分等)，当所拍摄到的图像的亮度根据天气而有所变化时，计算出与路面对应的像素的亮度值，根据路面的亮度值与雪的亮度值之间的关系，检测与雪(干扰物体)对应的像素。
另外，也可以将步骤S142的处理中检测到的阈值的范围内的像素直接检测为与干扰物体对应的像素。该情况下，还可以省略后述的步骤S143～S146的处理。
步骤S143中，干扰物体检测部162检查监视装置100中设定的模式。此处，为了选择干扰物体的检测方法，例如预先由用户设定模式，即，根据下雪方式、摄像部101的特征等适当设定模式。
步骤S143中，在判断为设定了模式A的情况下，处理进入步骤S144，干扰物体检测部162执行模式A处理。此处，参照图11的流程图，说明图7的步骤S144的模式A处理的详情。
步骤S161中，干扰物体检测部162判断全部区域中是否存在阈值范围内的像素。此时，例如，参照图9，判断上述的区域A～H的全部区域内是否存在具有阈值范围内的值的像素。
步骤S161中，当判断为全部区域中存在阈值范围内的像素的情况下，处理进入步骤S162，干扰物体检测部162将阈值范围内的值的像素设定为干扰物体的图像的像素。
具有阈值范围内的值的像素是与亮度值较高的明亮的图像对应的像素，例如，可以认为是白色物体。但是，在这样的图像的像素不是存在于图像的局部，而是存在于例如图9的区域A～H的全部区域(分散在广范围内)的情况下，与该像素对应的图像是雪的可能性高，因此，阈值范围内的值的像素被设为干扰物体。
另一方面，步骤S161中，当判断为全部区域中不存在阈值范围内的像素的情况下，跳过步骤S162的处理。
即，在判断为全部区域中不存在阈值范围内的像素的情况下，与亮度值高的明亮的图像对应的像素不是存在于图像全体中，而是存在于图像的局部，所以与该像素对应的图像是例如建筑物等的可能性高，因此，该阈值范围内的值的像素不被设定为干扰物体。
采种这种方式，检测干扰物体。
根据上述的、通过模式A处理进行的干扰物体检测，例如，当白色货车在安装有监视装置100的汽车的前方行驶等的情况下，判断为亮度值高的明亮图像的像素存在于全部区域，有可能被误设为干扰物体(雪)。例如，当使用快速照相机等构成摄像部101的情况下，在通过模式A处理进行的检测中，有可能错误地检测干扰物体，因此，需要能够进一步可靠地检测干扰物体。因此，在使用快速照相机等构成摄像部101的情况下，替代模式A处理，执行模式B处理。即，在图7的步骤S143中，判断出设定为模式B，处理进入步骤S145，执行模式B处理。
参照图12的流程图，说明图7的步骤S145的模式B处理的详情。
步骤S181的处理与图11的步骤S161的处理相同，因此，省略详细说明。步骤S181中，在判断为在全部区域中存在阈值范围内的像素的情况下，处理进入步骤S182。
步骤S182中，干扰物体检测部162判断在全部区域中存在阈值范围内的像素的状态是否持续了预定帧数(例如，几十帧～几百帧)。例如，如图13所示，当在第n个帧～第(n+101)个帧的之间的全部帧中记录有下雪的图像的情况下，在步骤S182中，判断为在全部区域中存在阈值范围内的像素的状态持续了预定帧数，处理进入步骤S183。
另一方面，在判断为在全部区域中存在阈值范围内的像素的状态没持续预定帧数的情况下，跳过步骤S183的处理。
步骤S183的处理与图11的步骤S162的处理相同，因此，省略详细说明。
采用这种方式，检测干扰物体。判断在全部区域中存在阈值范围内的像素的状态是否持续预定帧数，以检测干扰物体，因此，例如，在使用快速照相机等构成摄像部101时，能够防止将临时遮住安装有监视装置100的汽车的前方视场的明亮物体(例如，白色货车等)错误地检测为干扰物体。
但是，下雪时的图像的像素的直方图的特性在大雪(每单位时间的降雪量较多)的情况和小雪(每单位时间的降雪量较少)的情况下有所不同。图14是示出大雪时的图像的像素的直方图的图。
图14中，与图10相同，横轴表示输出值(像素值)，纵轴表示像素数，像素的分布(直方图)用线221表示。如图14所示，图中的中央形成有由干扰物体(雪)产生的线221的峰值。大雪的情况下，图像的大部分因雪而显示为白色，因此，像素的输出值集中，线221的峰值形成于阈值范围内(阈值a和阈值b之间的输出值)的可能性高。
另一方面，图15是示出小雪时的图像的像素的直方图的图。图15中，与图10相同，横轴表示输出值(像素值)，纵轴表示像素数，像素的分布(直方图)用线222表示。如图15所示，在图中左侧的亮度值低的部分形成有由低亮度的背景产生的线222的峰值，在图中的中央附近形成有由干扰物体(雪)产生的线222的峰值，在图中右侧的亮度值高的部分形成有由高亮度的背景产生的线222的峰值。
小雪的情况与大雪的情况有所不同，雪以外的物体(背景)在图像中被更明确地显示，因此，线222的形状变复杂(例如，峰值的数量增加)，并且，阈值范围内的像素中包含高亮度背景的图像的像素的可能性高。这样，当各像素的输出没有集中于一定电平的情况下，必须取较大的阈值范围，难以设定用于区分背景和干扰物体的适当的阈值(例如、阈值b)。
因此，小雪的情况下，在模式A或模式B中的干扰物体的检测中，有可能错误地将高亮度的背景检测为干扰物体，因此，替代模式A或模式B处理，而执行模式C处理。即，在图7的步骤S143中，判断为设定为模式C，处理进入步骤S146，执行模式C处理。
参照图16的流程图，说明图7的步骤S146的模式C处理的详情。
步骤S201和S202的处理与图12的步骤S181和S182的处理相同，因此，省略详细说明。在步骤S202中，判断为在全部区域中存在阈值范围内的像素的状态持续了预定帧数的情况下，处理进入步骤S203，执行特征判断处理。
此处，参照图17的流程图，说明图16的步骤S203的特征判断处理的详情。
步骤S221中，干扰物体检测部162提取图像中由阈值范围内的像素构成的块。
步骤S222中，干扰物体检测部162计算在步骤S221中提取的块的特征量。此时，例如，对该像素块进行拉普拉斯(Laplacian)变换等处理，作为数值计算出块的形状为接近粒子状的形状的情况。另外，用于判断接近粒子状的形状的参考值等预先被存储在干扰物体登记部165中。
或者，检查与图像中的块对应的面积在图像整体中是否占预定比率以下(在图像中所占的尺寸小)。例如，根据预先拍摄到的图像的解析结果，根据镜头101a的视场角，针对雪的粒子在图像整体中所占的比率，设定一定的值，作为数值计算出步骤S221中提取的块的面积的比率与预先设定的值的接近程度。此外，还可以作为数值计算出像素块的颜色接近雪的颜色即白色的程度。另外，用于计算这些数值所需的阈值等的值预先被存储到干扰物体登记部165中。
步骤S223中，干扰物体检测部162运算步骤S222中计算出的特征量和在干扰物体登记部165中存储的预先设定的特征量之间的差分，判断该差分是否在阈值以下。另外，该阈值是用于判断所关注的像素块的特征量与干扰物体的特征量的一致程度的阈值，例如，该阈值被预先设定并存储于干扰物体登记部165中。
在步骤S223中判断为步骤S222中计算出的特征量与干扰物体登记部165中存储的预先设定的特征量之间的差分为阈值以下的情况下，认为步骤S221中提取的块的特征接近雪的特征，因此进入步骤S224，干扰物体检测部162对步骤S221中提取的块，将表示特征量一致的特征量一致标记设定为ON。
另一方面，当在步骤S223中判断为步骤S222中计算出的特征量与在干扰物体登记部165中存储的预先设定的特征量之间的差分大于阈值的情况下，认为步骤S221中提取的块不具有雪的特征，因此，进入步骤S224，干扰物体检测部162针对步骤S221中提取的块将特征量一致标记设定为OFF。
采用这种方式，进行特征判断处理。
返回到图16，步骤S203的处理之后，在步骤S204中，干扰物体检测部162针对在步骤S203中判断出其特征的各个块判断是否与干扰物体的特征一致。此处，是根据上述的特征量一致标记来判断否与干扰物体的特征一致。
当在步骤S204中判断为与干扰物体的特征一致的情况下，处理进入步骤S205，干扰物体检测部162将与该块对应的像素设定为干扰物体。另一方面，当在步骤S204中判断为不与干扰物体的特征一致的情况下，跳过步骤S205的处理。
采用这种方式，检测干扰物体。对阈值范围内的像素块进行特征判断，因此，即使在例如下小雪的情况下，也能够抑制错误地将高亮度的背景检测为干扰物体的情况。另外，也可以省略步骤S201或S202的处理，根据特征判断的结果，检测干扰物体。
或者，也可以参照图7～图17，通过与上述的情况不同的处理，检测干扰物体。例如，实际开车的用户有时认为不一定要将图像中的雪全部除去。有时认为只要除去图像中被前照灯照射而反射的雪的部分，就能充分确保视场。在这种情况下，可以采用如下方式：进行预先解析被前照灯照射而反射的雪的图像等处理，确定显著妨碍到视场的雪的亮度，根据该亮度设定(例如，比图10的阈值a稍高的)阈值，将亮度在阈值以上的像素全部检测为干扰物体。即，图7的干扰物体检测处理也可以是例如在步骤S142中检测亮度在阈值以上的像素、将检测到的像素全部设定为干扰物体的处理。
但是，下雪时对于驾驶者来说的视场恶化大多是由于从汽车的前照灯等照明灯具发出的光被雪反射而引起的。因此，下雪时，熄灭前照灯，有时反而能够使视场良好，因此，也考虑利用这样的视场特性来检测干扰物体。参照图18的流程图，说明干扰物体检测处理的其他例子。
步骤S261中，干扰物体检测部162取得前照灯等的照明点亮时由摄像部101所拍摄的图像。步骤S262中，干扰物体检测部162取得前照灯等的照明熄灭时由摄像部101所拍摄的图像。
此时，根据摄影的定时每次进行控制，点亮或熄灭前照灯，但是，若使用由例如LED(Light Emitting Diode：发光二极管)构成的前照灯，则LED中以预定间隔反复点亮、熄灭，因此，只要根据其间隔从摄像部101取得图像，则无需控制前照灯的点亮、熄灭。
并且，此时如果使前照灯的照射方向朝向比通常的照射方向稍微向上方进行照射，则更容易检测干扰物体。
步骤S263中，为了除去例如照明的点亮或熄灭造成的影响，干扰物体检测部162对通过步骤S261的处理和步骤S262的处理取得的各个图像实施使两个图像的整体亮度的平均值相等的处理等，然后，进行计算像素值的差分等处理，并比较差分。并且，步骤S264中，干扰物体检测部162检测差分大于阈值的像素块。
图19和图20是示出步骤S261和S262中取得的图像的例子的图。例如，步骤S261中，在前照灯等照明点亮时，作为由摄像部101所拍摄的图像，取得图19所示的图像；步骤S262中，在前照灯等照明熄灭时，作为由摄像部101所拍摄的图像，取得图20所示的图像。
图19中，反射到前照灯的雪被明确地显示在图像整体上，但是，图20中，雪未反射到前照灯上，因此，与图19的情况相比，明确显示对面车辆、路灯、行人等。例如，如果将图20的图像的全部像素值(亮度值)一律变换为较高的像素值，进行处理使得图19的图像和图20的图像的两个图像中整体的亮度的平均值相等等，然后进行计算像素值的差分等处理，并比较差分，则图19中的与雪对应的像素块作为显著的差分(例如，差分大于阈值)被检测出。
在前照灯点亮的情况和熄灭的情况下，照射到被摄体(汽车的前方)上的光量有较大不同，因此，为了利用例如使用了CCD这样的动态范围狭窄的摄像元件的照相机等拍摄前照灯点亮时的图像和熄灭时的图像，一方面被摄体的明亮的部分泛白，另一方面，被摄体的暗的部分泛黑。
相对于此，如上所述，使用了HDRC的摄像控制部121的摄像装置101，即使不通过调整光圈或快门速度等来调整入射光量，也不会发生与被摄体的明亮部分对应的像素值被修剪为摄像元件可输出的像素值的最大值、或与被摄体的暗的部分对应的像素值被修剪为摄像元件可输出的像素值的最小值的亮度修剪，因此，能够忠实地拍摄被摄体的详细的亮度变化。其结果，能够将图19的图像中的在前照灯光中反射而亮度显著增高的像素即雪的像素作为相对于图20的图像的显著差分而检测出。
因此，步骤S264中，干扰物体检测部162将步骤S263的处理中检测到的模块(即，图19的与雪对应的像素块)设定为干扰物体。
例如，只要从图19的图像中除去与设定为干扰物体的雪对应的像素块，就能够提供图21所示的视场良好的图像。
也可以采用这种方式检测干扰物体。
通过这样，能够抑制例如驾驶者为了改善前方视场而熄灭前照灯，进行危险驾驶的情况。
即，若尽管前方不暗、天空明亮或有照明进行照射，但驾驶者仍点亮前照灯，则有时雪被因前照灯照射而令人感到眩晕。尤其是在夕阳西下时周围变得稍暗，而降雪量大雪粒多的情况下，就会发生这样的状态。在这种情况下，若熄灭前照灯，则前方视场变良好，但是难以从对面车发现本车，因而危险。在该情况下，也可以催促驾驶者注意，不要熄灭前照灯。
例如，在正在下雪时，尽管周围变暗，但在驾驶者仍将前照灯熄灭的情况下，控制部102可以将“周围正在变暗，因此，熄灭前照灯很危险。请看显示部103的图像”等告知危险的消息的声音信号输出到汽车的车内扬声器，促使驾驶者点亮前照灯。
另外，发生这种雪因被前照灯照射而令人感到眩晕的状况是在熄灭前照灯的状态下干扰物体的亮度与周围的亮度之间没有产生大的差异的情况，根据情况的不同，有时不除去作为干扰物体的雪反而感到自然，若对辨认性没有较大损害，则有时驾驶者喜欢在显示部103上显示雪的状态。在该情况下，控制部102也可以在显示部103上仅显示从摄像部101输出的数据的图像之中的除去前照灯点亮瞬间的图像而未除去雪所得到的图像、也就是熄灭前照灯的状态下的图像。是否除去干扰物体(雪)可由驾驶者每次进行选择，也可以在熄灭了前照灯的状态下干扰物体的亮度与周围的亮度没有大的差异时，自动采用不除去干扰物体而显示图像的方式。
此前，对干扰物体的检测进行了说明，通过参照图7叙述的处理检测到的与干扰物体对应的像素根据例如图像中的二维坐标值等分别确定该像素固有的信息，确定的像素信息被输出到移动状态控制部163或干扰物体除去处理部164。
接着，参照图22的流程图，说明图5的步骤S104的干扰物体除去处理的详情。
步骤S301中，干扰物体除去处理部164取得在时间上位于应进行校正的图像的帧之前的帧的图像。步骤S302中，干扰物体检测部162将在步骤S301的处理中取得的时间上位于前面的帧的图像中的、与应进行校正的帧的图像中的被设定为干扰物体的像素块对应的部分(块)检测为应替换的部分。然后，步骤S303中，干扰物体除去处理部164将应进行校正的帧的图像中被设定为干扰物体的像素块与在步骤S302的处理中检测到的块的像素替换。
参照图23～图25，进一步详细说明。例如，在应进行校正的图像的帧是图23所示的第n个帧的情况下，将该图像中的与干扰物体(雪)对应的像素设为以像素(x1，y1)为中心的由其周边的像素构成的块。此处，(x1，y1)表示图像中的x轴、y轴的坐标。
在步骤S301中，作为在时间上位于第n个帧之前的帧，取得例如图24所示的帧的图像。步骤S302中，将图24的图像之中的与应进行校正的帧的图像(图23)中被设定为干扰物体的像素块对应的部分、即以图24的像素(x1，y1)为中心的块检测为应替换的部分。另外，事先检查在图24的以像素(x1，y1)为中心的块中不包括雪，作为应替换的部分而检测出。然后，步骤S303中，将图23的雪替换为图24的以像素(x1，y1)为中心的块，从而除去。
另外，在汽车正在移动(行驶)的情况下，移动状态控制部163考虑图像的运动，作为应替换的部分而检测出。例如，在汽车正在向前方行进的情况下，在拍摄了图26所示的图像作为第n个帧的图像之后，拍摄图27所示的图像作为第(n+10)个帧的图像。由于汽车正在向前方前进，因此，在图26中，显示在图中纵轴方向的中央附近的物体(例如，道两侧的树木)随着汽车的移动而接近，因此，图27中，与图26时相比，上述物体显示在图中纵轴方向的稍下侧。
现在，在应进行校正的图像的帧是图27的第(n+10个)帧，步骤S301中取得的时间上位于前面的帧的图像是图26的第n个帧的图像的情况下，图27中设定为干扰物体的像素(像素x11，y11)不能用图26的图像中的同一位置的像素(像素x11，y11)替换。因此，移动状态控制部163进行提取图像中的预定模块、运算动态向量等处理，检测到图27的图像的(像素x11，y11)与图26的像素(x21，y21)对应，通知给干扰物体除去处理部164。
而且，步骤S303中，如图28所示，图27中以被设定为干扰物体的像素(像素x11，y11)为中心的块被图26的以像素(x21，y21)为中心的块替换。
返回到图22，步骤S303中，进行对应进行校正的帧的图像中被设定为干扰物体的全部像素块进行替换的处理之后，在步骤S304中，干扰物体除去处理部164根据该图像，生成校正图像的信号，输出到显示部103。其结果，例如，从图19所示的图像中除去作为干扰物体的雪，显示图21所示的校正图像。即，虚拟地生成从图19所示的图像中除去了雪的状态的图像(图21)。
采用这种方式，除去图像中的干扰物体。通过这样，观察显示部103的用户(例如，驾驶者)观察到看似好像除去了正在下着的雪的图像。因此，能够提供视场舒适的图像。
以上说明了监视装置100安装在汽车上的例子，但监视装置100也可以设置于例如滑雪场等雪多的地方。
在监视装置100设置于滑雪场等内的情况下，监视装置100不移动，因此，可以不设置移动状态控制部163。
而且，在监视装置100设置于雪始终很多的地方或被照明的地方时，在拍摄到的图像中，即使亮度值的动态范围不大，也能够识别出作为干扰物体的雪，因此，也可以采用CCD摄像元件或CMOS摄像元件等构成摄像部101的摄像控制部121，即使不使用HDRC等对数变换式摄像元件，也可以构成监视装置100。在摄像部101所拍摄的图像的动态范围小的情况下，仅设定例如图10的阈值a(下限阈值)，作为用于区分干扰物体和背景的阈值，具有阈值以上的值的像素是干扰物体的可能性高，只要参照图7，进行上述的干扰物体检测处理即可。
以上，说明了在监视装置上设置一个摄像部时的例子，然而，也可以在监视装置上设置多个摄像部。
图29是示出应用了本发明的监视装置的其他结构例的框图。该图29的监视装置200中，附加了与图1的监视装置100相同的标号的模块分别与图1的情况相同，因此，省略详细的说明。图29的例子中，与图1的情况不同，设置有摄像部101-1和摄像部101-2作为摄像部。
在监视装置200安装在例如汽车等上时，摄像部101-1和摄像部101-2以离地的高度相同的方式分别安装在汽车前方的前格栅(frontgrille)等上的左右间隔预定间隔的位置上。即，将摄像部101-1和摄像部101-2安装成使得与经由摄像部101-1的镜头101-1a入射的光对应的图像和与经由摄像部101-2的镜头101-2a入射的光对应的图像成为具有视差的图像。另外，只要能够使摄像部101-1和摄像部101-2分别拍摄到的图像中存在适当的视差，则摄像部101-1和摄像部101-2也可以安装在上述的安装位置以外的其他位置。
参照图22，说明了如下例子，即，在上述的干扰物体除去处理中，取得时间上位于应进行校正的图像的帧之前的帧的图像，使用时间上位于前面的帧的像素块，除去干扰物体。该情况下，如上所述，当汽车正在行驶时，移动状态控制部163考虑到图像的运动，检测出时间上位于前面的帧之中被使用的块(应替换的部分)，但是，例如当汽车在急转弯连续的弯曲路等上行驶时，随着时间的经过，汽车的方向发生好几次大的变化，摄像部101所拍摄到的图像也在较短时间内发生大的变化。在这样的情况下，相对于应进行校正的图像的帧相隔预定时间的前面的帧的图像也有可能是拍摄例如与应进行校正的帧的图像不同的被摄体等得到的图像，已经不是相同的(给观察者大致相同的印象的)图像，有时通过替换为时间上位于前面的帧的像素块来除去干扰物体也不一定是合适的。
相对于此，监视装置200中同时取得通过2个摄像部拍摄到的不同的(具有视差的)图像，因此，也可以对于由一个摄像部拍摄到的图像利用在同一定时由另一个摄像部拍摄到的图像来进行校正。通过这样，即使例如在弯曲路等上行驶的情况下，也能够适当地除去干扰物体。
图30示出借助监视装置200，对于由一个摄像部拍摄到的图像利用在同一定时由另一个摄像部拍摄到的图像来进行校正时的干扰物体除去处理的例子。
图30是说明干扰物体除去处理的其他例子、即通过上述的监视装置200执行的干扰物体除去处理的例子的流程图。此处，在监视装置200中，主要在显示部103上显示通过摄像部101-1拍摄到的图像。
在图30的步骤S361中，干扰物体除去处理部164取得其他摄像部(当前的情况下，为摄像部101-2)拍摄到的图像。另外，该图像为由摄像部101-2在与由摄像部101-1拍摄到的图像(应校正的图像)相同的定时拍摄到的图像。
步骤S362中，干扰物体检测部162将步骤S361的处理中取得的图像之中的应进行校正的图像中与设定为干扰物体的像素块对应的部分(块)检测为应替换的部分。
当前的情况下，在步骤S361中取得的图像是在与应进行校正的图像相同的定时拍摄到的、与应进行校正的图像之间存在视差的图像。因此，在步骤S361的处理中取得的图像是包含有与应进行校正的图像相同的目标的图像，是给观察者大致相同印象的图像，另一方面，也是在与应进行校正的图像中包含的目标的位置(坐标)之间存在微小差异的位置上拍摄相同目标而得到的图像。即，在除去正在下的雪等足够小的干扰物体时，认为在与由摄像部101-1拍摄到的应校正的图像之中拍摄到雪的部分的坐标位置相同的坐标位置上，在由摄像部101-2拍摄到的图像中仍拍摄到雪的可能性非常低。并且，还认为在应校正的图像之中拍摄到雪的部分的附近拍摄到不存在于在步骤S361的处理中取得的图像中的目标的可能性也非常低。
因此，例如，在应校正的图像中拍摄到雪的部分是由以像素(x1，y1)为中心的其周边的像素构成的情况下，利用在步骤S361中取得的图像中的由以像素(x1，y1)为中心的其周边的像素构成的相同面积的块来替换应校正的图像中的由以像素(x1，y1)为中心的其周边的像素构成的面积足够小的块，从而可以生成从应校正的图像之中仅除去了作为干扰物体的雪后的自然的图像。步骤S363中，采用上述方式，替换与干扰物体的像素对应的块图像。
而且，步骤S364中，生成经由步骤S363的处理而除去了干扰物体的校正图像。
采用这种方式，生成除去了干扰物体的图像。通过这样，当汽车正在行驶时，即使不通过移动状态控制部163进行考虑图像的运动等处理，也能够简单地除去干扰物体，并且，即使在弯曲路等上行驶时，也能够进行图像校正，以使得始终显示自然的图像。
另外，上述的一连串的处理可以采用硬件实现，或采用软件实现。通过软件执行上述的一连串的处理的情况下，可以从网络或记录介质将构成该软件的程序安装到组装于专用的硬件中的计算机、或者通过安装各种程序来执行各种功能的例如图29所示的通用个人计算机500等上。
图29中，CPU(Central Processing Unit)501按照存储于ROM(ReadOnly Memory)502中的程序、或者从存储部508装载到RAM(RandomAccess Memory)503中的程序，执行各种处理。RAM 503中还适当地存储有CPU 501执行各种处理时所需的数据等。
CPU 501、ROM 502以及RAM 503经由总线504相互连接。该总线504上还连接有输入输出接口505。
输入输出接口505上连接有由键盘、鼠标等构成的输入部506、由CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)等构成的显示器、以及由扬声器等构成的输出部507、由硬盘等构成的存储部508、由调制解调器、LAN卡等网络接口卡等构成的通信部509。通信部509经由包括因特网在内的网络进行通信处理。
根据需要，在输入输出接口505上还连接有驱动器510，适当地安装有磁盘、光盘、光磁盘或半导体存储器等可移动介质511，从它们中读出的计算机程序根据需要被安装到存储部508中。
在通过由软件执行上述的一连串处理的情况下，构成该软件的程序从因特网等网络或由可移动介质511等构成的记录介质被安装。
另外，该记录介质不仅可以由图29所示的可移动介质511构成，还包括在预先组装到装置主体中的状态下向用户发布的、记录有程序的ROM 502或存储部508中包括的硬盘等构成，上述可移动介质511由独立于装置主体的、用于向用户发布程序而配置的、记录有程序的磁盘(包括软盘(floppy disk(注册商标)))、光盘(包括CD-ROM(CompactDisk-Read Only Memory)、DVD(Digital Versatile Disk))、光磁盘(包括MD(Mini-Disk)(注册商标))、或半导体存储器等构成。
并且，本说明书中执行上述的一连串的处理的步骤，当然可以沿着所述的顺序按时间系列进行，还包括不按时间系列进行处理，而是并行或独立地执行处理。

Claims (20)

1.一种图像处理装置，其特征在于，该图像处理装置具备：
摄影单元，其拍摄图像，输出拍摄到的图像数据；
校正与否判断单元，其判断是否要对从上述摄影单元输出的图像数据进行校正；
检测单元，其检测上述图像数据中与在空中浮游或下落的规定物体即干扰物体对应的像素；
替换单元，其将通过上述检测单元检测到的上述图像数据中的上述干扰物体的像素替换为其他像素；以及
输出单元，其输出通过上述替换单元将上述干扰物体的像素替换为其他像素后的图像数据。
2.根据权利要求1所述的图像处理装置，其特征在于，所述摄影单元将与拍摄的光对应地生成的电荷按照每个像素变换成模拟电信号，该模拟电信号具有与电荷数的对数成比例的电压值，将上述模拟电信号变换成数字数据，并输出上述图像数据。
3.根据权利要求1所述的图像处理装置，其特征在于，所述摄影单元将与拍摄的光对应地生成的电流按照每个像素变换为模拟电信号，该模拟电信号具有与电流大小的对数成比例的电压值，将上述模拟电信号变换成数字数据，并输出上述图像数据。
4.根据权利要求1所述的图像处理装置，其特征在于，所述检测单元根据上述图像数据的像素的亮度值和预先设定的阈值，检测与上述干扰物体对应的像素。
5.根据权利要求4所述的图像处理装置，其特征在于，所述阈值是用于在上述图像数据中区分与上述干扰物体对应的像素和与背景对应的像素的亮度值的上限和下限的阈值，
上述检测单元将具有上述阈值范围内的亮度值的像素检测为与上述干扰物体对应的像素。
6.根据权利要求5所述的图像处理装置，其特征在于，所述检测单元将上述图像分割成多个区域，在分割后的全部区域的图像数据中存在具有上述阈值范围内的亮度值的像素的情况下，将具有上述阈值范围内的亮度值的像素检测为与上述干扰物体对应的像素。
7.根据权利要求5所述的图像处理装置，其特征在于，在上述摄影单元拍摄到的多个帧的全部帧的图像数据中存在具有上述阈值范围内的亮度值的像素的情况下，所述检测单元将具有上述阈值范围内的亮度值的像素检测为与上述干扰物体对应的像素。
8.根据权利要求5所述的图像处理装置，其特征在于，所述检测单元计算以具有上述阈值范围内的亮度值的像素为中心的块的数据的特征量，运算所计算出的特征量与预先存储的与干扰物体对应的像素块的数据的特征量之间的差分，当上述差分在预先设定的值以下时，上述检测单元将以具有上述阈值范围内的亮度值的像素为中心的块检测为与上述干扰物体对应的像素块。
9.根据权利要求1所述的图像处理装置，其特征在于，所述替换单元将上述检测单元检测到的像素，替换为作为由上述摄影单元拍摄到的帧的图像、在时间上位于应替换像素的帧之前的帧的图像中的与上述检测单元检测到的像素对应的像素。
10.根据权利要求9所述的图像处理装置，其特征在于，所述图像处理装置还具备确定单元，该确定单元确定作为由所述摄影单元拍摄到的帧的图像、在时间上位于应替换像素的帧之前的帧的图像中的与上述检测单元检测到的像素对应的像素的位置，
上述替换单元将由上述检测单元检测到的像素替换为由上述确定单元所确定的像素。
11.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还具备其他摄影单元，
上述替换单元将由上述检测单元检测出的像素，替换为作为由上述其他摄影单元所拍摄到的图像、在与应替换像素的图像相同的定时拍摄到的图像中的与上述检测单元检测到的像素对应的像素。
12.一种图像处理方法，其特征在于，所述图像处理方法包括：
校正与否判断步骤，判断是否要对从拍摄图像并输出所拍摄到的图像数据的摄影单元所输出的图像数据进行校正；
检测步骤，当通过上述校正与否判断步骤的处理判断为应对上述图像数据进行校正时，检测上述图像数据中与在空中浮游或下落的预定物体、即干扰物体对应的像素；
替换步骤，将通过上述检测步骤的处理检测到的上述图像数据中的上述干扰物体的像素替换为其他像素；以及
输出步骤，输出通过上述替换步骤的处理将上述干扰物体的像素替换为其他像素后的图像数据。
13.一种使图像处理装置进行图像处理的程序，其特征在于，所述程序使计算机执行如下步骤：
校正与否判断控制步骤，控制如下的判断，即判断是否要对从拍摄图像并输出所拍摄到的图像数据的摄影单元所输出的图像数据进行校正；
检测控制步骤，当通过上述校正与否判断控制步骤的处理判断为应对上述图像数据进行校正时，控制对上述图像数据中与在空中浮游或下落的预定物体、即干扰物体对应的像素的检测；
替换控制步骤，控制通过上述检测控制步骤的处理检测到的上述图像数据中的上述干扰物体的像素替换为其他像素；以及
输出控制步骤，控制通过上述替换控制步骤的处理将上述干扰物体的像素替换为其他像素后的图像数据的输出。
14.一种记录介质，该记录介质中记录有使图像处理装置进行图像处理的程序，其特征在于，所述记录的程序使计算机执行如下步骤：
校正与否判断控制步骤，控制如下的判断，即判断是否要对从拍摄图像并输出所拍摄到的图像数据的摄影单元所输出的图像数据进行校正；
检测控制步骤，当通过上述校正与否判断控制步骤的处理判断为应对上述图像数据进行校正时，控制对上述图像数据中与在空中浮游或下落的预定物体、即干扰物体对应的像素的检测；
替换控制步骤，控制通过上述检测控制步骤的处理检测到的上述图像数据中的上述干扰物体的像素替换为其他像素；以及
输出控制步骤，控制通过上述替换控制步骤的处理将上述干扰物体的像素替换为其他像素后的图像数据的输出。
15.一种图像处理装置，其特征在于，所述图像处理装置包括：
摄影单元，其拍摄对被摄体照射光的照明点亮时的图像和上述照明熄灭时的图像，输出拍摄到的图像数据；
校正与否判断单元，其判断是否要对从上述摄影单元输出的图像数据进行校正；
校正单元，其根据由上述摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和上述照明熄灭时拍摄到的图像数据，对上述图像数据进行校正；以及
输出单元，其输出通过上述校正单元进行了校正的图像数据。
16.根据权利要求15所述的图像处理装置，其特征在于，所述校正单元对上述图像数据进行校正，以向上述输出单元输出由上述摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和上述照明熄灭时拍摄到的图像数据之中的上述照明熄灭时拍摄到的图像数据。
17.根据权利要求15所述的图像处理装置，其特征在于，该图像处理装置还具有检测单元，该检测单元检测所述图像数据中与在空中浮游或下落的预定物体、即干扰物体对应的像素，
上述检测单元根据由上述摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和上述照明熄灭时拍摄到的图像数据，运算各个图像数据中对应的各像素的亮度值的差分，将亮度值的差分大于预先设定的值的像素检测为与上述干扰物体对应的像素，
上述校正单元将由上述检测单元检测到的上述图像数据中的上述干扰物体的像素替换为其他像素。
18.一种图像处理方法，其特征在于，该图像处理方法包括：
校正与否判断步骤，判断是否要对从摄影单元输出的图像数据进行校正，上述摄影单元拍摄对被摄体照射光的照明点亮时的图像和上述照明熄灭时的图像，并输出拍摄到的图像数据；
校正步骤，当通过校正与否判断步骤的处理判断为应对上述图像数据进行校正时，根据由上述摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和上述照明熄灭时拍摄到的图像数据，对上述图像数据进行校正；以及
输出步骤，输出通过上述校正步骤的处理进行了校正的图像数据。
19.一种使图像处理装置进行图像处理的程序，其特征在于，所述程序使计算机执行如下步骤：
校正与否判断控制步骤，对如下的判断进行控制，即判断是否要对从摄影单元输出的图像数据进行校正，上述摄影单元拍摄对被摄体照射光的照明点亮时的图像和上述照明熄灭时的图像，并输出拍摄到的图像数据；
校正控制步骤，当通过校正与否判断控制步骤的处理判断为应对上述图像数据进行校正时，控制根据由上述摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和上述照明熄灭时拍摄到的图像数据而对上述图像数据进行的校正；以及
输出控制步骤，控制通过上述校正控制步骤的处理进行了校正的图像数据的输出。
20.一种记录介质，该记录介质中记录有使图像处理装置进行图像处理的程序，其特征在于，所述记录的程序使计算机执行如下步骤：
校正与否判断控制步骤，对如下的判断进行控制，即判断是否要对从摄影单元输出的图像数据进行校正，上述摄影单元拍摄对被摄体照射光的照明点亮时的图像和上述照明熄灭时的图像，并输出拍摄到的图像数据；
校正控制步骤，当通过校正与否判断控制步骤的处理判断为应对上述图像数据进行校正时，控制根据由上述摄影单元在对要拍摄的被摄体照射光的照明点亮时拍摄到的图像数据和上述照明熄灭时拍摄到的图像数据而对上述图像数据进行的校正；以及
输出控制步骤，控制通过上述校正控制步骤的处理进行了校正的图像数据的输出。
CNA2006800086330A 2005-03-15 2006-03-15 图像处理装置及方法、程序、以及记录介质 Pending CN101142814A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005072795 2005-03-15
JP072795/2005 2005-03-15

Publications (1)

Publication Number Publication Date
CN101142814A true CN101142814A (zh) 2008-03-12

Family

ID=37086689

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800086330A Pending CN101142814A (zh) 2005-03-15 2006-03-15 图像处理装置及方法、程序、以及记录介质

Country Status (5)

Country Link
US (1) US20090016636A1 (zh)
EP (1) EP1868375A4 (zh)
JP (1) JPWO2006109398A1 (zh)
CN (1) CN101142814A (zh)
WO (1) WO2006109398A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496147A (zh) * 2011-11-30 2012-06-13 宇龙计算机通信科技(深圳)有限公司 图像处理装置、图像处理方法和图像处理系统
CN103648854A (zh) * 2011-07-12 2014-03-19 罗伯特·博世有限公司 用于使用在车辆中的摄像机系统以及具有这种摄像机系统的车辆
CN104349045A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种图像采集方法及电子设备
CN109167893A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
CN109905613A (zh) * 2019-01-21 2019-06-18 广州市安晓科技有限责任公司 一种规避开门干扰的汽车全景拼接方法、装置及介质
CN113632450A (zh) * 2019-03-26 2021-11-09 株式会社小糸制作所 摄影系统及图像处理装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4538468B2 (ja) * 2007-02-27 2010-09-08 日立オートモティブシステムズ株式会社 画像処理装置，画像処理方法、及び画像処理システム
CA2680646C (en) * 2007-03-15 2014-07-22 Kansai University Moving object noise elimination processing device and moving object noise elimination processing program
EP2674323B1 (en) * 2007-04-30 2018-07-11 Mobileye Vision Technologies Ltd. Rear obstruction detection
US8436902B2 (en) * 2007-08-30 2013-05-07 Valeo Schalter And Sensoren Gmbh Method and system for weather condition detection with image-based road characterization
WO2009117603A2 (en) * 2008-03-19 2009-09-24 Hypermed, Inc. Miniaturized multi-spectral imager for real-time tissue oxygenation measurement
EP2351351B1 (en) * 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
WO2010084521A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
EP2460354A4 (en) * 2009-07-27 2015-11-04 Utc Fire & Security Corp SYSTEM AND METHOD FOR IMPROVING VIDEO QUALITY
WO2011072157A2 (en) * 2009-12-09 2011-06-16 Cale Fallgatter Imaging of falling objects
US8941726B2 (en) * 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
KR101341243B1 (ko) * 2012-04-04 2013-12-12 (주) 넥스트칩 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법
JP2014011785A (ja) * 2012-07-03 2014-01-20 Clarion Co Ltd 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム
PL2893510T3 (pl) * 2012-09-05 2016-08-31 Fayteq Ag Sposób i urządzenie do przetwarzania obrazu do usuwania obiektu wizualnego z obrazu
JP5991224B2 (ja) * 2013-02-15 2016-09-14 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US9165352B2 (en) 2013-06-10 2015-10-20 Xerox Corporation Precipitation removal for vision-based parking management systems
ES2666499T3 (es) 2013-07-03 2018-05-04 Kapsch Trafficcom Ab Método para identificación de contaminación en una lente de una cámara estereoscópica
JP2015180048A (ja) * 2014-02-25 2015-10-08 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
EP2945116A1 (en) * 2014-05-15 2015-11-18 Continental Automotive GmbH Method and apparatus for providing an augmented image of a vehicle's surrounding
JP6862830B2 (ja) * 2014-12-29 2021-04-21 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6368958B2 (ja) * 2016-05-12 2018-08-08 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US11400860B2 (en) * 2016-10-06 2022-08-02 SMR Patents S.à.r.l. CMS systems and processing methods for vehicles
IT201700021444A1 (it) * 2017-02-24 2017-05-24 Roberto Possekel Sistema di visione digitale per veicoli
JP7250427B2 (ja) * 2018-02-09 2023-04-03 キヤノン株式会社 光電変換装置、撮像システム、および移動体
DE102018203590A1 (de) * 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
CN108494996B (zh) * 2018-05-14 2021-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
US10694105B1 (en) * 2018-12-24 2020-06-23 Wipro Limited Method and system for handling occluded regions in image frame to generate a surround view
CN112914727A (zh) * 2021-03-19 2021-06-08 联仁健康医疗大数据科技股份有限公司 非目标障碍物分离方法、系统、医疗机器人及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1291668B1 (en) * 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103648854A (zh) * 2011-07-12 2014-03-19 罗伯特·博世有限公司 用于使用在车辆中的摄像机系统以及具有这种摄像机系统的车辆
CN102496147A (zh) * 2011-11-30 2012-06-13 宇龙计算机通信科技(深圳)有限公司 图像处理装置、图像处理方法和图像处理系统
CN104349045A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种图像采集方法及电子设备
CN104349045B (zh) * 2013-08-09 2019-01-15 联想(北京)有限公司 一种图像采集方法及电子设备
CN109167893A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
CN109167893B (zh) * 2018-10-23 2021-04-27 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
CN109905613A (zh) * 2019-01-21 2019-06-18 广州市安晓科技有限责任公司 一种规避开门干扰的汽车全景拼接方法、装置及介质
CN113632450A (zh) * 2019-03-26 2021-11-09 株式会社小糸制作所 摄影系统及图像处理装置
CN113632450B (zh) * 2019-03-26 2023-07-04 株式会社小糸制作所 摄影系统及图像处理装置

Also Published As

Publication number Publication date
EP1868375A1 (en) 2007-12-19
JPWO2006109398A1 (ja) 2008-10-09
EP1868375A4 (en) 2009-07-08
US20090016636A1 (en) 2009-01-15
WO2006109398A1 (ja) 2006-10-19

Similar Documents

Publication Publication Date Title
CN101142814A (zh) 图像处理装置及方法、程序、以及记录介质
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
US20060215882A1 (en) Image processing apparatus and method, recording medium, and program
KR100874461B1 (ko) 차량의 외부 조명 제어 장치 및 차량의 자동 제어 장치
US9883148B2 (en) Color mask for an image sensor of a vehicle camera
CN103770708B (zh) 通过景物亮度估计的动态后视镜自适应减低亮度覆盖
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
JP4985394B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US20110184895A1 (en) Traffic object recognition system, method for recognizing a traffic object, and method for setting up a traffic object recognition system
Gallen et al. Towards night fog detection through use of in-vehicle multipurpose cameras
KR101688695B1 (ko) 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP5501477B2 (ja) 環境推定装置及び車両制御装置
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN101646021A (zh) 曝光确定装置和图像处理设备
CN113438779A (zh) 一种基于图像触发路灯光照强度调节的方法
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
Hautiere et al. Meteorological conditions processing for vision-based traffic monitoring
CN112365626A (zh) 车载摄像头画面处理方法
CN114565597B (zh) 一种基于YOLO v3-tiny-DB和迁移学习的夜间道路行人检测方法
CN107816974B (zh) 隧道入口行车视距测量装置及测量方法
CN113408372B (zh) 一种基于时空间特征的行人车辆异常行为检测方法
JPH07271956A (ja) 交通流自動計測方法と装置
KR20230048429A (ko) 해질녘 및 야간의 야생 동물 횡단으로 인한 사고를 방지하기 위한 시스템
CN114299465A (zh) 障碍物感知方法、装置、设备及存储介质
JPH03276379A (ja) 車番自動読取装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080312