CN1675920A - 成像系统 - Google Patents

成像系统 Download PDF

Info

Publication number
CN1675920A
CN1675920A CN03816544.9A CN03816544A CN1675920A CN 1675920 A CN1675920 A CN 1675920A CN 03816544 A CN03816544 A CN 03816544A CN 1675920 A CN1675920 A CN 1675920A
Authority
CN
China
Prior art keywords
image
signal
shutter speed
imaging
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN03816544.9A
Other languages
English (en)
Inventor
河村弘之
星野弘典
福田岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Japan Co Ltd
Original Assignee
Niles Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Niles Co Ltd filed Critical Niles Co Ltd
Publication of CN1675920A publication Critical patent/CN1675920A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Abstract

一成像系统包括向前面发射红外光的IR灯,将前面成像并将其转换为电信号的CCD相机(5),和一图像处理单元(7),该图像处理单元以预定的周期改变CCD相机(5)的信号存储持续时间,并且顺序地、周期性地输出具有不同曝光时间的图像。该图像处理单元(7)将具有不同曝光时间的图像沿纵向方向延伸,且在延伸之后平均信号电平,从而形成一合成图像。

Description

成像系统
技术领域
本发明涉及一种使用CCD相机的成像系统。
背景技术
图16为现有成像系统的一个例子。图16中的成像系统具有作为成像装置的CCD相机101、DSP(数字信号处理器)103和作为图像处理单元的CPU105。
CPU 105和DSP 103通过复用器107相互连接。从快门速度设置开关109输出的信号被输入CPU 105。快门速度设置开关109可分别为奇数场(场的奇数序号)和偶数场(场的偶数序号)设置快门速度。
这就是说,CPU 105读取快门速度设置开关109的设置状态,对为每个场设置的快门速度设置值编码,并输出这些被编码的值。图17所示的一个场脉冲信号是从DSP 103输出的。如果所述的输出信号为高,偶数快门速度设置值的输出通过复用器107被输入到DSP 103的快门速度设置输入终端,可选地,如果所述的输出信号为低,奇数快门速度设置值的输出通过复用器107被输入到DSP 103的快门速度设置输入终端。因此,通过图16所示的成像系统能为每个场设置不同的快门速度。
通常,在由CCD相机进行照相的情况下,当快门速度为奇数场和偶数场的快门速度相同的自动速度时,在如图18所示黑暗背景下存在亮光源的条件下,会产生晕光(光轮状晕),因此光源周围区域无法看到图像。图18为汽车在夜间行驶时得到的图像。在此,作为红外光照射装置的IR灯向前发射红外光,车载CCD相机对行驶方向的前方进行成像。亮光源例如迎面驶来的汽车的前灯、加油站处的光亮,其周围的区域由于晕光而无法看到图像。原因是自动速度被控制以平均地输出整个图像平面的黑暗度。如果快门速度被设置为高,晕光(光轮状晕)可以被避免,然而如图19所示背景根本无法看到。
同时图16中每个场的快门速度变化的控制被称为双曝光时间控制。在这种控制中,每个场被设置不同的快门速度。因此明亮的图像和黑暗的图像被选择性地输出,使由于黑暗导致的不可见部分可以在明亮图像的区域(在此为奇数场)中显现,可选地由于晕光(光轮状晕)导致的不可见部分可以在黑暗图像的区域(在此为偶数场)中显现。
然后每个场图像被选择性地输出,从而如图20所示的清晰的图像可以显示在监视器上。
然而,在上述简单的双曝光中,一个场是明亮图像而另一个场是黑暗图像,并且黑暗图像和明亮图像被选择性地显示,会在监视器上产生闪烁。
为了解决上述问题,在日本公开专利7-97841中描述了一种如图21所示的成像装置。该成像装置包括一个具有成像元件111和处理单元115的相机113。
图22为图21中的成像装置进行图像处理的概念框图。在该图中,“通过的图像”表示来自相机113的成像元件111的直接输出,“存储器图像”表示场在图像存储器117中被存储一次之前的信号。
在“通过的图像”中,发光的主要目标被每个设置为高快门速度的奇数场黑输出,选择性地,背景被每个设置为低速度的偶数场白输出。因为存储器图像由延迟一个场周期的信号组成,白输出和黑输出由该通过的图像在不同的场中产生。因此,通过的图像和存储器图像被适当地结合,从而可以得到图22中的最下面一行的输出图像。
然而,通过的图像和存储器图像的结合是部分结合的图像,其由具有不同曝光时间的图像组成,因为其通过重叠从通过的图像和存储器图像部分选择出的图像而形成。从而,消除了在整个图像平面中的作为简单双曝光时间的闪烁。然而通过的图像和存储器图像之间的边缘看起来不是很自然。
发明内容
本发明的目的在于提供一种能输出具有提高的画面质量的图像的成像系统。
本发明的目的可以通过如下实现。该成像系统包括:照射红外光的红外光照射装置;成像装置,用于将被红外光照射装置的红外光照射的位置成像,并将图像转换为电信号;和一图像处理器,用于以预定的周期改变成像装置的信号存储持续时间,并且顺序地、周期性地输出具有不同曝光时间的图像,其中,图像处理器将具有不同曝光时间的图像沿纵向方向延伸,且在延伸之后平均两个图像的信号电平,以形成一合成图像。
从而,红外光由红外光照射装置提供。成像装置将被红外光照射装置的红外光照射的位置成像,并将图像转换为电信号。图像处理器以预定的周期改变成像装置的信号存储持续时间,并且顺序地、周期性地输出具有不同曝光时间的图像。
图像处理器将具有不同曝光时间的图像沿纵向方向延伸,且在延伸之后平均两个图像的信号电平,以形成一合成图像。
因此,在输出图像上由于不同曝光时间引起的边界和闪烁可以被消除,且同时可以显示在明亮图像中由黑暗产生的不可见部分和在黑暗图像中由晕光(光轮状晕)产生的不可见部分,从而可以输出清晰度提高的图像。
在本发明的成像系统中,图像处理器成像处理器通过将纵向方向上相邻象素的信号电平的平均值插入它们之间而延伸图像。
因此,因为图像处理器成像处理器通过将纵向方向上相邻象素的信号电平的平均值插入它们之间而延伸图像,图像可以被适当地衍生,且可以输出清晰度提高的图像。
在本发明的成像系统中,图像处理器预先设定曝光时间的期望值,且依照该期望值控制信号存储持续时间。
因此,图像处理器预先设定曝光时间的期望值,从而可以依照该期望值控制信号存储持续时间。从而,黑暗区域可以显示的更明亮,通过阻挡强的入射光可以防止晕光(光轮状晕),因而可以输出清晰度提高的图像。
在本发明的成像系统中,图像处理器累加成像装置的电信号,且将该累加的电信号和依照期望值的预先设定的参考值相比较,来控制信号存储持续时间。
因此,图像处理器可以累加成像装置的电信号,且可以通过将该累加的电信号和依照期望值的预先设定的参考值相比较来控制信号存储持续时间。从而,可以更精确地控制信号存储时间持续时间,因而可以输出清晰度提高的图像。
在本发明的成像系统中,图像处理器将成像装置中具有大于参考值的电信号的象素的数量和依照期望值的预先设定的参考像素的数量相比较,来控制信号存储持续时间。
因此,图像处理器可以将成像装置中具有大于参考值的电信号的象素的数量和依照期望值的预先设定的参考像素的数量相比较来控制信号存储持续时间。从而,可以更精确地控制信号存储时间持续时间,因而可以输出清晰度提高的图像。
在本发明的成像系统中,红外光照射装置,成像装置和图像处理单元位于汽车上。红外光照射装置照射汽车的外面,成像装置将汽车的该外面成像。
因此,红外光照射装置,成像装置和图像处理单元位于汽车上,从而红外光照射装置可以照射汽车的外面,成像装置可以将汽车的该外面成像。黑暗部分显得明亮和清晰,且可以防止由诸如从前面来的汽车的前灯的灯光而引起的晕光(光轮状晕),从而,汽车的外面可以通过清晰的图像输出而确定。
附图说明
图1为依照本发明第一实施例的汽车的示意图;
图2为依照本发明第一实施例的成像系统的成像装置和图像处理单元的框图;
图3为依照本发明第一实施例的成像系统的流程图;
图4为依照本发明第一实施例的简单双曝光时间控制的输出图像。
图5A和图5B分别为依照本发明第一实施例的奇数场的分割图像和偶数场的分割图像。
图6A和图6B分别为依照本发明第一实施例的奇数场的延伸图像和偶数场的延伸图像。
图7A和图7B分别为依照本发明第一实施例的奇数场的校正图像和偶数场的校正图像。
图8为依照本发明第一实施例的平均合成图像。
图9为依照本发明第二实施例的成像系统的成像装置和图像处理单元的框图。
图10为依照本发明第二实施例的成像系统的处理过程的定时图。
图11为依照本发明第二实施例的CCD区域的一个例子的示意图。
图12为依照本发明第二实施例的成像系统的流程图。
图13为依照本发明第二实施例的利用积分平均值探测方法切换快门速度的流程图。
图14为依照本发明第二实施例的利用峰值探测方法切换快门速度的流程图。
图15A和图15B分别为依照本发明第二实施例的奇数场的分割图像和偶数场的分割图像。
图16为依照现有技术的框图。
图17为依照现有技术的场脉冲的输出示意图。
图18为依照现有技术的正常快门速度的输出图像。
图19为依照现有技术的高快门速度的输出图像。
图20为具有晕光(光轮状晕)效果的输出图像。
图21为依照另一现有技术的框图。
图22为依照另一现有技术的图像形成示意图。
具体实施方式
图1到图8显示了依照第一实施例的成像系统,其中图1为汽车的示意图,图2为成像系统的框图,图3为成像系统的流程图,图4为具有简单双曝光时间控制的输出图像,图5A为奇数场的分割图像,图5B分别为偶数场的分割图像,图6A为奇数场的延伸图像,图6B为偶数场的延伸图像,图7A为奇数场的校正图像,图7B为偶数场的校正图像,图8为平均合成图像。
依照本发明第一实施例的成像系统可应用在图1所示的汽车上。汽车1具有一个作为红外光照射装置的IR灯3,一个作为成像装置的CCD相机5,一个作为图像处理器的图像处理单元7,和一个头朝上的显示器9。
IR灯3在汽车的行驶方向上向前发射红外光以在夜晚黑暗处可以成像。该CCD相机5在汽车行驶方向上照射有红外光的前方位置成像,并将图像转换成电信号。该电信号的转换由CCD相机5中的光敏单元的光电二极管实现。该成像处理单元7以预定的周期改变CCD相机5的信号存储持续时间,并且顺序地、周期性地输出具有不同曝光时间的图像。
该信号存储持续时间是每个像素的信号存储时间。以预定的周期改变信号存储持续时间可以具体解释成,将存储在每个像素中的不必要的电荷放电的脉冲周期的数量改变,从而改变存储时间,即称为电子快门操作。顺序地和周期性地输出具有不同曝光时间的图像可具体解释成,通过电子快门操作为每个奇数场和偶数场设置快门速度,并且由每个快门速度读取的每个场图像以每1/60秒一个地被顺序地和选择性地输出。
对于高的快门速度,黑暗部分被照的较差但明亮部分可以照得清晰。选择性地,对于低的快门速度,明亮部分颜色饱和并消失而黑暗部分照得清晰。图像处理单元7在纵向方向上延伸具有不同曝光时间的图像,并在延伸后平均两个图像的信号电平,以形成一合成的图像。
依照该实施例,在纵向方向上延伸具有不同曝光时间的图像可具体解释成,作为通过改变快门速度而获得的具有不同曝光时间的图像的,奇数场的分割图像和偶数场的分割图像,分别在纵向方向上被延伸为两倍。在延伸后平均两个图像的信号电平而形成合成图像可具体解释成,将延伸的图像中相应像素的信号电平平均化,以形成和输出一图像。
如图2所示,图像处理单元7包括一CPU 11,一DSP 13,一图像存储器15,一运算存储器17,图像输出存储器19和D/A转换器21。
CPU 11执行各种操作,并具有如图16所示的结构,从而控制每个奇数场和偶数场的快门速度。也就是说,快门速度控制信号从CPU 11输入DSP 13。
DSP 13将来自CCD的信号转换成数字信号并进行处理。图像存储器15捕捉从DSP 13输出的一帧的图像数据。
CPU 11将图像存储器15中捕捉的帧图像数据分割成每个奇数场和偶数场,并写入运算存储器17。CPU 11将写入运算存储器17的每个场图像在纵向方向上延伸为两倍,并通过例如珈玛校正和对比度调整的方式调节每个被延伸的图像。两个图像数据被平均化而形成一合成图像。该被平均的合成图像数据被传送到图像输出存储器19,并通过D/A转换器21转换而输出,例如作为NTSC信号。
图3为依照本发明第一实施例成像系统的流程图。成像系统基本上使用双曝光时间控制。首先,依照图3中的流程执行步骤S1的“初始化设置快门速度”。在步骤S1中,如同上述的例子,奇数场的电子快门被设置成低的快门速度,偶数场的电子快门被设置成高的快门速度。
依照该实施例,奇数场的快门速度被设置成1/60秒,偶数场的快门速度被设置成1/1000秒,并进行步骤S2。需要附带提及的是每个快门速度是可以改变的。奇数场的电子快门可以被设置成高的快门速度,偶数场的电子快门也可以被设置成低的快门速度。
在步骤S2中,进行“CCD成像”。在此,步骤S1中设置的奇数场的快门速度控制信号和偶数场的快门速度控制信号是从CPU 11输出到DSP 13。
接着,依照驱动信号CCD相机5拍摄一个图像,并且CCD相机中的光敏单元的光电二极管的所有像素的电荷被转换成信号。在奇数场中,奇数像素的信号电荷,即光敏单元的光电二极管的所有像素中沿着垂直方向每隔一个像素的信号电荷,被以1/60秒的速度读取,选择性地,在偶数场中,偶数像素的信号电荷被以存储时间的1/1000秒的速度读取,并进行至步骤S3。
在步骤S3中,进行“DSP处理”。在此,CCD相机5中被读取的信号电荷被DSP 13捕捉,这些信号电荷通过DSP 13的A/D转换器转换成数字信号,进行处理并输出这些数字信号,并进行至步骤S4。
在步骤S4中,进行“存储在存储器中”的处理。在此,从DSP 13输出的被处理过的信号存储在图像存储器15中,并进行至步骤S5。
在步骤S5中,执行“是否完成捕捉一个帧”的处理。在此,判断对于一帧从DSP 13输出的被处理过的信号是否被存储器15捕捉,如果没有被捕捉,回到步骤S2并顺序重复步骤S3、S4和S5。当确定在步骤S5中一个帧的被处理过的信号被捕捉时,则进行至步骤S6。
在步骤S6中,进行“写入场分割运算存储器”。在此,被存储器15捕捉的帧图像数据被CPU 11分割成每个奇数场和偶数场,将分割的图像数据写入运算存储器17,接着进行至步骤S17。由于写入运算存储器17的、每个奇数场和偶数场的分割的图像数据是纵向方向上每隔一个数据的集合,因此相对于帧图像数据它们在纵向方向上被压缩成一半。
在步骤S7中,进行“双倍延伸”的步骤。在此,写入运算存储器17的、每个奇数场和偶数场的分割的图像数据在纵向方向上延伸至两倍。在此,作为一种延伸图像的方法,可进行下述步骤:每个场的每个像素在垂直方向上被延伸成两个像素;或者将相邻的两个较高和较低的像素的信号电平平均化,并将平均后的值插入该较高和较低的两个像素之间。
在步骤S8中,进行“珈玛校正和对比度调整”。在此,步骤S7中每个被延伸的图像都通过珈玛校正和对比度调整进行调节,并进行至步骤S9。
在步骤S9中,进行“平均两个图像平面”的步骤以平均奇数场和偶数场的在垂直方向上延伸为两倍的两个图像数据。在此,依照奇数场和偶数场的延伸的图像数据的相应像素的信号电平通过简单的平均被平均而合成形成一个新的帧图像。因此形成了通过合成每个场的被延伸两倍的图像数据而形成的图像,并进行至步骤S10。
在步骤S10中,进行“传给图像输出存储器”的步骤。在此,被合成的图像数据被传送给图像输出存储器19,并进行至步骤S11。以上描述的所有的处理过程都不是在分时共享的情况下进行的。例如,当信号被存储器捕捉时输出存储器会连续的输出。此外,当进行被存储器捕捉的数据的图像处理时,下一帧的图像信号会被连续的捕捉。
在步骤S11中,进行“D/A转换和NTSC输出”的步骤。在此,图像数据的数字信号通过D/A转换器21被转换成模拟信号并输出,例如作为NTSC信号。
因此从图像处理单元7输出的信号被输出至图1所示的头朝上的显示器9。该头朝上的显示器9在前窗玻璃上显示图像,汽车1的司机观看该图像,从而能在夜晚准确了解汽车前方黑暗处的情况。
也就是说,依照图3所示的流程,可以进行如图4到图7的图像数据处理,因此通过头朝上的显示器9可以显示图8所示的图像。
图4为图像存储器15依照步骤S1到S5通过双曝光时间控制捕捉的一个帧的图像数据。图4的图像数据通过步骤S6的场分割操作被分割成图5A所示的奇数场的图像数据和图5B所示的偶数场的图像数据。在具有低快门速度的奇数场中,明亮部分颜色饱和并消失,黑暗部分被照得很清晰。选择性地,在具有高快门速度的偶数场中,黑暗部分照得较差而明亮部分照得清晰。
如步骤S7所述,图5所示的分割的图像被延伸为两倍,以获得图6(a)所示的奇数场的延伸图像和图6(b)所示的偶数场的延伸图像。如步骤S8所述,每个延伸的图像都进行珈玛校正和对比度调整,以获得图7(a)所示的奇数场的图像校正数据和图7(b)所示的偶数场的图像校正数据。
接着,两个被延伸的图像的信号电平依照如上所述的步骤S9“平均两个图像平面”,以形成图8所示的合成图像并输出该图像。
图8所示的输出图像与图4所示的通过简单双曝光时间控制的输出图像相比更为清晰。由于强光,例如迎面驶来的汽车的前灯,产生的晕光(光轮状晕)被精确地避免,从而不仅使光源周围而且使黑暗处也更清晰。
也就是说,正如上述说明,由于具有不同曝光时间的图像仅仅是顺序地、周期性地使用简单双曝光时间控制输出,会产生图4所示的输出图像中的闪烁。同时依照本发明第一实施例,图像被分割成每个奇数场和偶数场,该分割的图像被延伸并且两个图像的信号电平被平均化,从而形成一个合成的图像,以输出图8所示的清晰度提高的图像。
而且,由于图8所示的输出图像是由平均信号电平形成的合成图像,所以与部分地合成具有不同曝光时间的图像而形成的图像相比,可以输出减少了边界和闪烁的、清晰度提高的图像。
图9到图15所示依照本发明第二实施例的成像系统,其中图9为成像系统的框图,图10为CPU处理过程的定时图,图11为表示用于计算快门速度的每个场的图像数据的尺寸的示意图,图12为依照本发明第二实施例的流程图,图13为使用积分平均值探测方法计算快门速度的流程图,图14为使用峰值探测方法计算快门速度的流程图,图15A为奇数场的分割图像,图15B为偶数场的分割图像。顺便提及,对于相应于第一实施例的元件的描述,使用相同的附图标记。
如图9所示,依照本实施例的成像系统除CCD相机5、DSP 13和CPU 11外还有一个模拟前端IC(CDS/AGC/ADC)23。模拟前端IC 23捕捉CCD相机5中的信号电荷,并在去除噪声和自动增益控制之后进行信号的A/D转换。模拟前端IC 23在依照第一实施例1的图2的框图中未显示出来,但是通常都有这个电路。
依照本发明,当具有不同曝光时间的图像是顺序的和周期性的时候,图像处理单元7A以预定的周期改变CCD相机5的信号存储持续时间,预先设定曝光时间的期望值,控制信号存储持续时间,即控制依照该期望值的快门速度。DSP 13接收来自模拟前端IC 23的CCD相机5所有像素的数据。CPU11依照曝光时间的期望值控制快门速度并反馈给DSP 13和模拟前端IC 23。CPU 11为每个奇数场和偶数场进行这种操作。
首先,如第一实施例一样,奇数场和偶数场的快门速度由CPU 11进行初始化设置,依照快门速度读取信号电荷。奇数场和偶数场的快门速度的切换是基于信号电荷的读取依照曝光时间的期望值来控制。例如,快门速度的开关的控制是以图10所示的定时进行的。图10所示的“AE”表示CCD相机的曝光时间控制。这是例如镜片光圈、CCD相机的电子快门速度、模拟或数字增益的控制等的一个普通名称。在图10中,CCD相机的电子快门速度是需要考虑的目标。
在图10中,奇数场和偶数场的处理定时不是同时的,然而两个场都实现相同的操作。也就是说,通过切换V-sync(垂直同步信号),场脉冲在奇数场和偶数场之间切换。通常,当DSP 13通过模拟前端IC 23从CCD相机5读取信号电荷时,为CCD相机5的每个设定区域(例如,分割CCD平面而得到的六个区域)进行电荷积分以实现平均的操作,或计算电荷多于设定值的像素的数量的操作被反复进行。这样的操作一直持续直至每个奇数场和偶数场终止,在终止时,CPU 11从DSP 13为每个区域读取积分平均值或峰值计数值(图10中的1和4),基于这些值计算快门速度(图10中的2和5),并在下一定时的相同场到来之前,将关于当前场的快门速度输出给DSP 13(图10中的3)。
随后,在奇数场和偶数场之间的每个切换重复上述操作。因此存储在CCD相机5中的电荷数量与作为曝光时间期望值的期望亮度进行比较以确定快门速度,从而存储在CCD相机中的电荷数量被汇聚成期望的亮度。对于期望的亮度,基于作为调节项目的实验和评估确定最合适的参数。在此,在场具有低快门速度的情况下,期望的亮度是这样一个程度,即如果一个例如迎面驶来的汽车的前灯的很强的点光源,其被消除且白色饱和,从而黑暗部分显现的清晰。选择性地,在场具有高快门速度的情况下,期望的亮度是这样一个程度,即点光源亮度减弱因此容易看见其周围的图像。
作为一种确定快门速度的方法,可进行如下步骤:奇数场和偶数场都使用积分平均值探测方法;奇数场和偶数场都使用峰值探测方法;偶数场使用积分平均值探测方法而奇数场使用峰值探测方法;奇数场使用积分平均值探测方法而偶数场使用峰值探测方法。在积分平均值探测方法中,扫描图像数据,以将对于每个像素的亮度值的所有累加值与参考值比较,从而切换快门速度。在峰值探测方法中,扫描图像数据,如果每个像素的亮度值大于或等于峰值电荷参考值时,对该像素计数,以将这些像素的数量与参考像素的数量进行比较,从而切换快门速度。
在本实施例中,确定一个被扫描以确定快门速度的图像的尺寸的例子。也就是设定,例如图11所示512像素×256行的尺寸,其为依照图5所示的分割的图像数据因为每个场是纵向方向上每隔一个数据。
图12是依照第二实施例的流程图。为了容易理解快门速度计算的流程,图12所示的流程图是通过综合三种不同的计算来表示的,该三种运算方法分别为由DSP 13实现的累加电荷平均值计算和峰值计数值计算,和基于从DSP13读出的计算结果由微型计算机执行的下一个场的快门速度计算。图12所示的流程图与第一实施例的图3所示的流程图基本相同,并且每个相同的步骤使用相同标号。
此外,依照图12所示的流程图,步骤S12被插入步骤S9和步骤S10之间,并且步骤S1中初始化设定的快门速度在步骤S12中被切换。
在通过积分平均值探测方法执行快门速度切换的情况下,在图12中从步骤S9进行至步骤S12,开始图13所示的流程。在图13的步骤21中,进行重新设置,从而累加的电荷值(CHARGE)被复位为0,在横向方向上像素的坐标值X被复位为0,在纵向方向上像素的坐标值Y被复位为0,并进行至步骤S22。
在步骤S22中,计算累加的电荷值(CHARGE)。
在步骤S23中,一步一步地计数Y值(Y=Y+1)。
在步骤S24中,确定Y值是否达到256行,并且重复进行步骤S22、S23和S24直到Y值为256。因此当X=0时电荷从Y=0累加到Y=255时,在步骤S25中Y=0,在步骤S26中X值被加一(X=X+1)。
在步骤S27中,确定X值是否完成511像素,并且如果X值没有达到512像素,则重复进行步骤S22、S23、S24、S25、S26和S27以实现电荷累加。
在步骤S22到步骤S27中实现512个像素和256行中的所有像素的电荷累加值之后,进行至步骤S28。
在步骤S28中,如果电荷累加值大于参考值1(DISCHARGE1(REF)),则进行至步骤S29,从而快门速度(SHUTTER)被设定为高一级的高速度(SHUTTER-1)。
在步骤S28中,如果电荷累加值小于参考值1,则进行至步骤S30并判断电荷累加值是否小于参考值2(DISCHAGE2(REF))。如果电荷累加值小于参考值2(DISCHAGE2(REF)),即(是),则进行至步骤S31。否则,即(否),回到步骤S10。
在此,对于参考值1和2,基于先前的实验和评估确定合适的参数以维持每个场的期望的亮度。
在步骤S31中,快门速度(SHUTTER)被设定为低一级的低速度(SHUTTER+1)。
在此,如果快门速度的范围设置为从1/60秒到1/10000秒,那么例如1/60秒、1/100秒、1/250秒和1/500秒用于奇数场,并且1/1000秒、1/2000秒、1/4000秒和1/10000秒用于偶数场。在此比1/60秒的快门速度高一级的速度为1/100秒,比1/4000秒的快门速度低一级的速度为1/2000秒。
顺便提及,上述的快门速度仅为一个例子。每个场的快门速度的范围可以扩大,或者每个快门速度之间的距离可以自由的变窄。
从而,在电荷累加值比参考值1大的情况下,因为存在超过一定量的强光,例如迎面驶来的汽车的前灯,且整个亮度变为高,趋向于通过加快快门速度来降低亮度。此外,在电荷累加值比参考值2小的情况下,因为整个亮度低,趋向于降低快门速度来增加亮度。在这样的情况下,参考值1的亮度被设为比参考值2的亮度高。在电荷累加值位于参考值1和参考值2之间的情况下,快门速度不变。
顺便提及,在图13中没有区分偶数场和奇数场。然而,由于偶数场和奇数场的每个快门速度都依照步骤S1中的初始化设定快门速度而改变,每个场的参考值1和2也依照初始化设定而不同,从而每个快门速度都依照图13所示的流程切换。
在通过峰值探测方法执行快门速度切换的情况下,在图12中从步骤S9进行至步骤S12时,开始图14所示的流程。
在图14所示的步骤S41中,进行重新设置处理,即执行“i=0”处理。在此,峰值计数器(i)被复位为0。如上所述,峰值计数器扫描图像数据,如果每个像素的亮度值大于或等于峰值电荷参考值时,对像素进行计数。
在步骤S42中,在横向方向上像素的坐标值X被复位为0,在纵向方向上像素的坐标值Y被复位为0,并进行至步骤S43。
在步骤S43中,判断像素位于坐标(X、Y)处的电荷累加值(CHARGE)是否大于或等于预先设定的峰值电荷参考值(PEAK(REF)),如果位于坐标(X、Y)处像素的累加值大于或等于峰值电荷参考值,进行步骤S44,否则进行步骤S45。
在步骤S44中,峰值计数器加一(i=i+1)。
在步骤S45中,一步一步地计算Y值(Y=Y+1)。
在步骤S46中,判断Y值是否达到256行,并重复步骤S43、S44、S45和S46直到Y为256。因此在X为0时Y从0扫描到255,从而在步骤S47中Y值变为0,在步骤S48中X值被加一(X=X+1)。
在步骤S49中,判断X值是否完成511像素。如果X值没有达到511像素,重复步骤S43、S44、S45、S46、S47、S48和S49,并且将大于或等于峰值电荷参考值的像素计数。
在步骤S43到步骤S49中扫描完512个像素×256行中的所有像素之后,进行步骤S50。
在步骤S50中,如果峰值电荷像素的数量少于峰值电荷参考像素的数量1(COUNTER1(REF)),即为(是),则进行步骤S52并判断峰值电荷像素的数量是否少于峰值电荷参考像素的数量2(COUNTER2(REF))。如果峰值电荷像素的数量少于峰值电荷参考像素的数量2(COUNTER2(REF)),即为(是),则进行步骤S53。否则,即为(否),则回到步骤S10。
在此,对于峰值电荷参考像素的数量1和2,可基于以前的实验和评估确定合适的参数以保持每个场的期望的亮度。
在步骤S53中,快门速度(SHUTTER)通过加一(SHUTTER+1)被设定为低速。
因此,在峰值电荷像素的数量大于峰值电荷参考像素的数量1的情况下,因为存在超过一定量的强光,例如迎面驶来的汽车的前灯,且整个亮度变为高,趋向于通过加快快门速度来降低亮度。此外,在峰值电荷像素的数量小于峰值电荷参考像素的数量2的情况下,由于整个亮度暗,趋向于降低快门速度来增加亮度。在这种情况下,峰值电荷参考像素的数量1被设置成大于峰值电荷参考像素的数量2。在峰值电荷像素的数量处于峰值电荷参考像素的数量1-2之间的情况下,快门速度不变。
顺便提及,在图14中没有区分偶数场和奇数场。然而,由于偶数场和奇数场的每个快门速度都依照步骤S1中的初始化设定快门速度而改变,峰值电荷参考像素的数量1和2也依照初始化设定而不同,从而每个快门速度都依照图14所示的流程切换。
因而,在本实施例中,在步骤S1中初始化设定的快门速度在步骤S12中被适当地切换,这样可以获得如图15所示的每个场的分割的图像数据。
图15与图5相对应,其中例如图15A所示为奇数场,图15B所示为偶数场。与图5相比明显地,如果将例如迎面驶来的汽车的前灯的强点光源成像,其被消除并白色饱和,因此黑暗部分在设置为亮的奇数场中清楚地显示。可选择的,点光源可以降低,从而点光源的周围图像可以在偶数场中容易地看到(图15B)。从而,可以获得整个清晰度增强的图像。
因此,使用图15所示的图像执行第一实施例的图6,7和8的处理,从而可以获得清晰度增强的输出图像。
在本实施例中,将积分平均值探测方法或峰值探测方法分别应用于奇数场和偶数场,然而,也可以将积分平均值探测方法应用于偶数场,将峰值探测方法应用于奇数场,或者可以将峰值探测方法应用于偶数场,将积分平均值探测方法应用于奇数场。从而可以获得最佳的快门速度。在此,在积分平均值探测方法中,设置参考值,从而整个图像的亮度为50%的灰度。可选择的,在峰值探测方法中,设置参考值,从而在图像平面中最大光强度为100%的白色。从而,在奇数场中设置为亮,黑暗部分为清晰的图像,可选择的,在偶数场中设置为黑,点光源变低,从而点光源的周围图像可以容易地显示。
顺便提及,在奇数场和偶数场中,电荷读取并不仅限于读取每个像素,可以基于处理每个像素的电荷的DSP13读取多个像素的集合。
在上面描述的实施例中,输出图像通过头朝上的显示器9显示。然而也可以在汽车内部的显示器显示。此外,在上面描述的实施例中,IR灯3沿汽车行驶的方向向前照射,然而也可以照射后方或侧方。
该图像系统不仅可以应用于汽车,也可以应用于诸如摩托和船的交通工具,或者其可以是独立于这样的交通工具的成像系统。
工业应用
如上所述,依照本发明的成像系统在汽车于夜间行驶时发出向前的红外光,利用例如车载CCD相机成像,依照该图像,从而可以清楚的知道汽车前面的情况。

Claims (6)

1.一成像系统,包括:
照射红外光的红外光照射装置;
一成像装置,用于将被红外光照射装置的红外光照射的位置成像,并转换为电信号;和
一图像处理器,用于以预定的周期改变成像装置的信号存储持续时间,并且顺序地、周期性地输出具有不同曝光时间的图像,
其中,图像处理器将具有不同曝光时间的图像沿纵向方向延伸,且在延伸之后平均信号电平,从而形成一合成图像。
2.如权利要求1所述的成像系统,其中:
成像处理器通过将纵向方向上相邻象素的信号电平的平均值插入它们之间而执行图像的延伸。
3.如权利要求1或2所述的成像系统,其中:
图像处理器预先设定曝光时间的期望值,且依照该期望值控制信号存储持续时间。
4.如权利要求3所述的成像系统,其中:
图像处理器累加成像装置的电信号,且将该累加的电信号和依照期望值的预先设定的参考值相比较,来控制信号存储持续时间。
5.如权利要求3所述的成像系统,其中:
图像处理器将成像装置中具有大于参考值的电信号的象素的数量和依照期望值的预先设定的参考像素的数量相比较,来控制信号存储持续时间。
6.如权利要求1至5任一项所述的成像系统,其中:
红外光照射装置,成像装置和图像处理单元位于汽车上;
红外光照射装置照射汽车的外面,成像装置将汽车的该外面成像。
CN03816544.9A 2002-07-11 2003-07-10 成像系统 Pending CN1675920A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002202569A JP2004048345A (ja) 2002-07-11 2002-07-11 撮像システム
JP202569/2002 2002-07-11

Publications (1)

Publication Number Publication Date
CN1675920A true CN1675920A (zh) 2005-09-28

Family

ID=30112631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN03816544.9A Pending CN1675920A (zh) 2002-07-11 2003-07-10 成像系统

Country Status (7)

Country Link
US (1) US20050258370A1 (zh)
EP (1) EP1530367A4 (zh)
JP (1) JP2004048345A (zh)
CN (1) CN1675920A (zh)
AU (1) AU2003281132A1 (zh)
CA (1) CA2494095A1 (zh)
WO (1) WO2004008743A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100464572C (zh) * 2007-07-25 2009-02-25 北京中星微电子有限公司 一种图像合成方法和装置
CN105991934A (zh) * 2015-02-15 2016-10-05 比亚迪股份有限公司 成像系统
CN105991933A (zh) * 2015-02-15 2016-10-05 比亚迪股份有限公司 图像传感器
CN105991935A (zh) * 2015-02-15 2016-10-05 比亚迪股份有限公司 曝光控制装置及曝光控制方法
CN110869804A (zh) * 2017-07-13 2020-03-06 苹果公司 用于光发射深度传感器的提前-滞后脉冲计数

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012155951A1 (en) * 2011-05-13 2012-11-22 Valeo Schalter Und Sensoren Gmbh Camera arrangement for a vehicle and method for calibrating a camera and for operating a camera arrangement
JP5680573B2 (ja) * 2012-01-18 2015-03-04 富士重工業株式会社 車両の走行環境認識装置
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
JP6537231B2 (ja) * 2014-08-11 2019-07-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10593029B2 (en) 2018-03-21 2020-03-17 Ford Global Technologies, Llc Bloom removal for vehicle sensors

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3273619B2 (ja) * 1991-08-22 2002-04-08 オリンパス光学工業株式会社 電子的撮像装置
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US6806907B1 (en) * 1994-04-12 2004-10-19 Canon Kabushiki Kaisha Image pickup apparatus having exposure control
US5880777A (en) * 1996-04-15 1999-03-09 Massachusetts Institute Of Technology Low-light-level imaging and image processing
JP3630905B2 (ja) * 1997-02-28 2005-03-23 キヤノン株式会社 撮像方法及び撮像装置
JPH1198418A (ja) * 1997-09-24 1999-04-09 Toyota Central Res & Dev Lab Inc 撮像装置
JP3570198B2 (ja) * 1998-01-07 2004-09-29 オムロン株式会社 画像処理方法およびその装置
US6133960A (en) * 1998-06-26 2000-10-17 Lsi Logic Corporation Field-based upsampling method for performing zoom in a digital video system
JP4163353B2 (ja) * 1998-12-03 2008-10-08 オリンパス株式会社 画像処理装置
US6753914B1 (en) * 1999-05-26 2004-06-22 Lockheed Martin Corporation Image correction arrangement
JP3674420B2 (ja) * 1999-11-22 2005-07-20 松下電器産業株式会社 固体撮像装置
JP2001281529A (ja) * 2000-03-29 2001-10-10 Minolta Co Ltd デジタルカメラ
JP3649992B2 (ja) * 2000-05-12 2005-05-18 三洋電機株式会社 画像信号処理装置及び画像信号処理方法
US20020067413A1 (en) * 2000-12-04 2002-06-06 Mcnamara Dennis Patrick Vehicle night vision system
JP3949903B2 (ja) * 2001-04-09 2007-07-25 東芝エルエスアイシステムサポート株式会社 撮像装置及び撮像信号処理方法
US6560029B1 (en) * 2001-12-21 2003-05-06 Itt Manufacturing Enterprises, Inc. Video enhanced night vision goggle

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100464572C (zh) * 2007-07-25 2009-02-25 北京中星微电子有限公司 一种图像合成方法和装置
CN105991934A (zh) * 2015-02-15 2016-10-05 比亚迪股份有限公司 成像系统
CN105991933A (zh) * 2015-02-15 2016-10-05 比亚迪股份有限公司 图像传感器
CN105991935A (zh) * 2015-02-15 2016-10-05 比亚迪股份有限公司 曝光控制装置及曝光控制方法
CN105991935B (zh) * 2015-02-15 2019-11-05 比亚迪股份有限公司 曝光控制装置及曝光控制方法
CN105991933B (zh) * 2015-02-15 2019-11-08 比亚迪股份有限公司 图像传感器
CN105991934B (zh) * 2015-02-15 2019-11-08 比亚迪股份有限公司 成像系统
CN110869804A (zh) * 2017-07-13 2020-03-06 苹果公司 用于光发射深度传感器的提前-滞后脉冲计数
CN110869804B (zh) * 2017-07-13 2023-11-28 苹果公司 用于光发射深度传感器的提前-滞后脉冲计数

Also Published As

Publication number Publication date
JP2004048345A (ja) 2004-02-12
EP1530367A1 (en) 2005-05-11
CA2494095A1 (en) 2004-01-22
AU2003281132A1 (en) 2004-02-02
US20050258370A1 (en) 2005-11-24
WO2004008743A1 (ja) 2004-01-22
EP1530367A4 (en) 2007-10-17

Similar Documents

Publication Publication Date Title
CN2687995Y (zh) 图像处理系统及投影机
CN1233152C (zh) Xy地址型固体摄像装置的闪烁噪声降低方法
CN1086534C (zh) 图象传感设备
CN101057489A (zh) 闪烁校正方法、闪烁校正电路、以及使用它们的摄像装置
CN1678022A (zh) 在图像边界基于运动补偿的矢量
CN1441595A (zh) 对比度校正电路
CN1734343A (zh) 用于对照相机进行曝光调节的方法和设备
CN1898945A (zh) 具有亮度校正功能的图像拾取设备以及校正图像亮度的方法
CN1225918C (zh) 图像信号处理装置以及方法
JP5257695B2 (ja) 監視装置
CN1848920A (zh) 自动焦点调节装置和焦点调节方法
CN1713068A (zh) 投影机的自动调焦
CN1675920A (zh) 成像系统
CN1681329A (zh) 具备测距功能的摄像装置及摄像方法
CN1744671A (zh) 手抖动校正装置
CN101057492A (zh) 摄像装置
US8350901B2 (en) Electronic endoscopic apparatus
CN1886983A (zh) 成像系统
CN107431759B (zh) 摄像装置、摄像方法、电子设备以及车载电子设备
CN101069418A (zh) 固体摄像装置及其驱动方法
CN1831624A (zh) 成像设备和成像方法
CN1992823A (zh) 信号处理装置
CN1921566A (zh) 图像摄取设备及图像摄取方法
JP3793487B2 (ja) 撮像システム
CN1464479A (zh) 可编程自适应的图像质量非线性增强处理技术

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication