CN104620260B - 用于识别用于车辆的至少一个脉冲光源的方法和设备 - Google Patents
用于识别用于车辆的至少一个脉冲光源的方法和设备 Download PDFInfo
- Publication number
- CN104620260B CN104620260B CN201380047152.0A CN201380047152A CN104620260B CN 104620260 B CN104620260 B CN 104620260B CN 201380047152 A CN201380047152 A CN 201380047152A CN 104620260 B CN104620260 B CN 104620260B
- Authority
- CN
- China
- Prior art keywords
- image parameter
- light
- time
- exposure
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000000523 sample Substances 0.000 claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 27
- 230000010354 integration Effects 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 238000001454 recorded image Methods 0.000 description 4
- 210000001367 artery Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 230000005611 electricity Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J11/00—Measuring the characteristics of individual optical pulses or of optical pulse trains
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J2001/4238—Pulsed light
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明涉及一种用于识别至少一个脉冲光源(120)的方法(200)，其中通过探测单元(130)检测由所述脉冲光源(120)发射的光。所述方法包括在使用第一曝光时间的情况下检测所述光源(150)的光的第一图像参数(160)以及在使用至少第二曝光时间的情况下检测所述光源的光的至少一个第二图像参数(160)的步骤，其中所述第一曝光时间与所述至少第二曝光时间不同并且在检测所述第一图像参数(160)和检测所述至少第二图像参数(160)之间将所述探测单元(130)设置到一个预先确定的值上，其中所述第一图像参数(160)和所述至少第二图像参数(160)在时间上依次代表同一空间位置。所述方法还包括分析处理所述至少第二图像参数(160)的步骤，以便至少当所述至少第二图像参数(160)满足预先确定的标准时识别脉冲光源(120)。
Description
技术领域
本发明涉及一种用于识别用于车辆的至少一个脉冲光源的方法，一种相应的设备以及一种计算机程序产品。
背景技术
在道路交通中，脉冲光源、尤其是周期性脉冲光源用作变换交通标识、车辆的尾灯或转向灯。用于车辆的驾驶员辅助系统、向前的传感器或其他成像方法记录车辆周围环境，以便进一步使用由此获取的信息，在此脉冲光源意味着特别的挑战。在汽车领域中以及在很多其他领域中，摄像机预期高动态性范围，以便确保所属的图像处理算法即便在曝光状况困难的情况下——例如隧道入口和隧道出口仍良好地起作用。因此，通常使用具有分段线性的特征曲线的摄像机。所述分段线性的特征曲线能够成像更高的动态性范围，因为图像由于强地压缩所记录的图像中的环境中的光强度而更晚地进入饱和。替代地存在以下方案：在一个曝光周期内直接依次以例如三个不同的积分时间曝光每一个像素。通常，在后一摄像机类型中在每一个像素处通过以下方式确定最终灰度值：选择像素的第一未饱和输出电压。随后，像素的积分时间连同输出电压一起得出最终的灰度值。
在公开文献DE 10 2008 023853 A1中提出一种用于识别物体的方法，其中所述物体的至少一个光源脉冲地闪光并且由所述光源发射的光可通过探测单元检测，并且根据光的检测来识别所述物体；其中为了检测所述光源的光实施多次曝光以通过所述探测单元产生图像，并且在所述光源的脉冲发射的光的周期持续时间期间具有多个曝光的曝光过程的整个持续时间调节为比所述光源的关断阶段的持续时间更长。
发明内容
在所述背景下，借助本发明提出根据独立权利要求的一种用于识别用于车辆的至少一个脉冲光源的方法、一种使用所述方法的设备以及一种相应的计算机程序产品。有利的构型由相应的从属权利要求和以下描述得出。
为了可以记录高动态性范围，使用具有分段线性的特征曲线的摄像机以及摄像机系统，它们以不同的曝光时间记录图像系列，即至少两个图像。脉冲光源导致可以在所记录的图像中和/或在生产所记录的图像期间特征给出关于脉冲光源的说明。以不同的曝光时间记录图像系列、即至少两个图像的具有分段线性的特征曲线的摄像机以及摄像机系统在至少两个所记录的图像之间将探测单元或者摄像机传感器复位到预定义的值上，区别在于将具有分段线性的特征曲线的摄像机设置到最小的和最大的(电压)值之间的预定义的值上而对于其他摄像机系统预定义的值可以是所述最小的和/或最大的(电压)值。
一种用于识别至少一个脉冲光源的方法，其中由探测单元来检测由脉冲光源发射的光，所述方法包括以下步骤：
在使用第一曝光时间的情况下检测所述光源的光的第一图像参数以及在使用至少第二曝光时间的情况下检测所述光源的光的至少一个第二图像参数，其中所述第一曝光时间与所述至少第二曝光时间不同并且在检测所述第一图像参数和检测所述至少第二图像参数之间将所述探测单元设置到预先确定的值上，其中所述第一图像参数和所述至少第二图像参数在时间上依次代表同一空间位置；以及
分析处理所述至少第二图像参数，以便至少当所述至少第二图像参数满足预先确定的标准时识别脉冲光源。
探测单元可以检测光源的光。所述探测器可以涉及传感器、尤其是成像传感器。所述传感器可以尤其实施为CCD传感器和/或CMOS传感器。所述探测单元可以具有大量像素。所述探测单元可以涉及摄像机或者摄像机系统。探测单元可以理解为成像器。所述探测单元可以实现周围环境的成像。所述探测单元可以具有至少一个滤光器。在此，所述探测器可以安装在车辆中，其中所述车辆可以涉及机动车——如轿车、摩托车和/或商用车。所述光源可以主动发射光和/或可以返回入射光。所述光源可以涉及脉冲光源。脉冲光源可以是LED，其以时间上受限的脉冲发射光。所述脉冲光源的接通持续时间可以变化。图像参数可以代表借助所述探测单元检测的像点。一个图像参数可以称为一个像素，其中可以检测代表灰度值、强度、色调、颜色值、颜色饱和度、明暗值、亮度和/或光强度的值。曝光时间可以理解为以下持续时间和/或时间段：在所述持续时间和/或时间段内所述探测单元经受光，以便记录图像参数。可以将所述探测单元复位到预先确定的值上，尤其在以预先确定的曝光时间曝光之前。在此可以仅仅将个别部分尤其基于规则地复位到预先确定的值上。当图像参数超过和/或低于预先确定的值时，所述探测单元可以将探测单元的所述部分——例如探测单元的一个像素设置到预先确定的值上。所述预先确定的值也可以相应于所述探测单元在第一曝光开始时的值。这也可以称为完全重置。第一图像参数和第二图像参数可以在时间上依次、尤其以不同的曝光时间代表同一空间位置。所述第一图像参数和所述第二图像参数可以由所述探测单元的相同像素检测。在第一图像参数与第二图像参数的检测之间，可以将所述探测单元复位到预先确定的值上。借助不同曝光时间检测光源的光可以导致所述第一图像参数和所述第二图像参数的相对不同的值。在检测所述第二图像参数期间的曝光时间非常短的情况下，可以仅仅检测脉冲光源的黑暗阶段。可以在所述第二图像参数与预先确定的标准的比较时分析处理检测脉冲光源时的现象并且导致脉冲光源的识别。在此，可以在使用所述第一图像参数和/或所述预先确定的值的情况下确定所述预先确定的标准。在此，可以在使用所述第一曝光时间和所述第二曝光时间的情况下确定所述预先确定的标准。
由于不仅在车辆尾灯(现在也包括前灯)而且在变换交通标识中越来越多地使用脉冲光源，脉冲光源的识别越来越重要。所提出的方法允许在时间上准确地跟踪发光物体，所述发光物体在时间上具有发光物体的亮度变化。脉冲光源的识别对于进一步处理算法而言是需要的。判断发光物体涉及转向灯还是尾灯也是有利的。所提出的方法允许将脉冲光源——例如连续发光的LED光源的所产生的模式与转向灯的频率进行区分。在成像系统中，闪烁会干扰驾驶员，因为其对于驾驶员而言从场景出发是不可理解的。所提及的所有点都可以在不同的实施方式中消除。
在一种实施方式中，在分析处理的步骤中，在使用所述第一图像参数的情况下确定所述预先确定的标准；在分析处理的步骤中，当在考虑所述第一曝光时间和所述第二曝光时间的情况下所述至少第二图像参数与所述第一图像参数不同时，所述预先确定的标准可以得到满足。在曝光时间更长的情况下，相比于曝光时间较短的情况可以检测脉冲光源的相对更长的接通持续时间。如果所述曝光时间减半，则应在光源恒定的情况下检测到光的一半，也就是说，当在两次曝光之前将所述探测单元复位到同一值上时，所述曝光时间和图像参数可以彼此成正比例。在脉冲光源中，所述比例可以变化并且可以分析处理。
有利的是，在一种实施方式中在分析处理的步骤中在使用预先确定的值的情况下确定预先确定的标准，其中将所述探测单元复位到所述预先确定的值上；在分析处理的步骤中，当所述第二图像参数与所述预先确定的值一致时，满足所述预先确定的标准。可以在检测至少两个图像参数之间将所述探测单元复位到与初始值不相应的值上，其中仅当所述第一图像参数已经检测到足够的光时或者仅当所述第一图像参数超过一个阈值时，可以将所述探测单元复位到所述预先确定的值上。在所述实施方式中，所述第二图像参数相应于一个预先确定的值，其中将所述探测单元复位到了所述值上。在具有至少一个完全重置(也就是复位到检测图像参数之前的相同的值上)的探测单元中，可以尤其有利地应用所述实施方式。
根据一种实施方式，可以与检测的步骤同时地实施所述分析处理的步骤。对于具有至少一个完全重置的探测单元，可以尤其有利地与检测的步骤同时地或并行地实施所述分析处理的步骤。快速提供结果或者快速识别脉冲光源是有利的，就好像顺序依次实施步骤那样。
此外，在分析处理的步骤中还可以在使用至少一个另外的在时间上在前检测的(即之前的)图像参数的情况下分析处理所述至少第二图像参数。通过借助分别不同的曝光时间检测的大量图像参数，可以提高所述方法的稳健性。在此可以检测和/或分析处理第三图像参数、第四图像参数、第五图像参数、第六图像参数、第七图像参数、第八图像参数和/或第九图像参数。彼此相继的图像参数的数量大于九也可以是有利的。可以借助与同一图像序列的其他图像参数的曝光时间不同的曝光时间来检测所述图像序列的每一个图像参数。通过提高一个图像序列的所检测和所分析处理的图像参数的数量可以改善所述方法的稳健性。
尤其有利的是，在一种实施方式中在检测的步骤中检测光源的光的至少一个另外的图像参数，其中所述另外的图像参数代表一个位置，所述位置与由所述第一和/或第二图像参数代表的位置相邻并且在分析处理的步骤中在使用所述另外的图像参数的情况下分析处理所述至少第二图像参数。所述探测单元的分辨率可以如此选择，使得可以由至少两个相邻的像素检测脉冲光源。所述方法向至少一个相邻像素的扩展可以简化脉冲光源的识别或者可以改善所述方法的稳健性。在另一种实施方式中，在检测的步骤中可以检测光源的光的与第一图像参数和与至少第二图像参数相邻的大量图像参数，并且在分析处理的步骤中可以在使用所述大量相邻图像参数的情况下分析处理所述至少第二图像参数。
在另一种实施方式中，在检测的步骤中可以检测光源的光的至少一个另外的图像参数，其中在以下位置记录所述另外的图像参数：所述位置与记录所述第一图像参数的位置相邻，其中在使用至少一个滤光器的情况下检测所述第一图像参数和/或所述至少一个另外的图像参数。所述探测单元上的滤光器、尤其颜色滤光器可以简化所述分析处理。在此，所述探测单元的一个像素可以不具有滤光器，而所述探测单元的一个相邻的像素可以具有例如颜色滤光器、尤其红色滤光器。在分析处理的步骤中，可以分析处理借助滤光器检测的图像参数以及相邻的、未借助滤光器检测的图像参数。在认识到脉冲光源对至少部分设有滤光器的探测单元的作用的情况下，可以分析处理对脉冲光源的另一指示。
在检测的步骤中尤其可以在使用第一滤光器的情况下检测所述第一图像参数和所述至少第二图像参数，并且在检测的步骤中可以在使用与所述第一滤光器不同的至少第二滤光器的情况下检测至少一个另外的图像参数。所述第一滤光器和与所述第一滤光器不同的第二滤光器可以涉及不同的颜色滤光器。在所述实施方式中，所述探测单元可以涉及Bayer传感器。
有利的是，借助所示方法可以避免常见的积分时间延长。有利的是，不必如此增加所述积分时间，使得图像的大部分区域饱和。尤其事先不知道是否在场景中真地存在脉冲光源。根据所提出的方法的一种实施方式允许不连续地增加所述积分时间并且支持对动态性范围提高的要求。
所提出的方法有利地解决了在时间上分析发光物体的亮度变化的挑战，而对于分析无需许多帧或图像周期，因为后续功能已经根据非常少的单个图像要求发光物体的准确分类。本发明的一个方面在于，根据唯一的帧(或根据非常少的帧)已经可以得出结论：所观测的光源是否是脉冲的。
本发明还实现一种设备，其具有构造用于在相应的装置中实施或者实现在这里提出的方法的步骤的装置。通过本发明的设备形式的所述实施变型方案也可以快速且高效地解决在这里提出的方案所基于的任务。
设备在此可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。所述设备可以具有接口，所述接口可以以硬件方式和/或以软件方式构造。在以硬件方式构造中，所述接口例如可以是所谓的系统ASIC的一部分，其包含所述设备的不同功能。然而所述接口也可以是单独的集成电路或至少部分地由分立的部件组成。在以软件方式构造中，所述接口可以是软件模块，其与其他软件模块共存于微控制器上。
具有程序编码的计算机程序产品也是有利的，所述程序编码可以存储在机器可读的载体——如半导体存储器、硬盘存储器或光学存储器上并且用于当在计算机或设备上实施所述程序产品时实施根据以上描述的实施方式之一所述的方法。
附图说明
以下借助附图示例性地对本发明进行详细阐述。附图示出：
图1：车辆的示意图，其具有根据本发明的一个实施例的用于识别至少一个脉冲光源的设备；
图2：根据本发明的一个实施例的用于识别至少一个脉冲光源的方法的流程图；
图3：根据本发明的一个实施例中的方案的具有探测单元的五个曝光曲线的示图，其具有分段线性的特征曲线和部分复位；
图4：根据本发明的一个实施例中的方案的具有探测单元的三个曝光曲线的示图，其具有分段线性的特征曲线和完全复位；
图5：根据本发明的一个实施例中的方案的将真实的亮度值转化为图像中的灰度值的分段线性的特征曲线的示图；
图6a和图6b：根据本发明的一个实施例的方案的脉冲光源的脉冲频率与探测单元的曝光时间的比例的示图；
图7：根据本发明的一个实施例中的方案的具有探测单元的五个曝光曲线的示图，其具有分段线性的特征曲线和部分复位；
图8：根据本发明的一个实施例的方案的具有探测单元的五个曝光曲线的示图，其具有分段线性的特征曲线和部分复位；
图9：根据本发明的一个实施例中的方案的具有探测单元的三个曝光曲线的示图，其具有分段线性的特征曲线和完全复位。
在本发明的有利实施例的以下描述中，对于在不同附图中示出的并且作用相似的元件使用相同或相似的附图标记，其中不重复描述这些元件。
具体实施方式
图1示出车辆100的示意图，其具有根据本发明的一个实施例的用于识别至少一个脉冲光源120的设备110。在车辆100中设置有用于识别至少一个脉冲光源120的设备110，其中设备110包括探测单元130和用于分析处理的装置140。探测单元130构造为摄像机系统。探测单元130构造用于检测由脉冲光源120发射的光。探测单元130构造用于提供真实周围环境的图像或者光源150的光的图像。在所示的实施例中，光源150的光具有脉冲光源120。探测单元130构造用于检测图像参数160。图像参数代表在探测单元130的像素中检测的物理量，例如光源150的光的灰度值、强度、色调、颜色值、颜色饱和度、明暗值、亮度和/或光强度。如所描述的，图1具有脉冲光源120。脉冲光源120构造为变换交通标识。脉冲光源120为此包括大量发光源，这些发光源构造为发光二极管并且周期性地脉冲地运行。也就是说，脉冲光源120的发光二极管周期性地具有接通阶段和关断阶段。用于识别至少一个脉冲光源120的设备110与驾驶员辅助系统170连接。
图2示出根据本发明的一个实施例的用于识别至少一个脉冲光源120的方法200的流程图。用于识别至少一个脉冲光源的方法200包括至少两个步骤。在检测的步骤210中，在使用第一曝光时间的情况下检测所述光源的光的第一图像参数以及在使用至少第二曝光时间的情况下检测所述光源的光的第二图像参数，其中所述第一曝光时间与所述至少第二曝光时间不同并且在检测所述第一图像参数和检测所述至少第二图像参数之间将所述探测单元设置到预先确定的值上，其中所述第一图像参数和所述至少第二图像参数在时间上依次代表同一空间位置。在分析处理的步骤220中分析处理所述至少第二图像参数，以便识别脉冲光源。在分析处理的步骤220中分析处理所述至少第二图像参数是否满足预先确定的标准。
以下示图图3至图9示出根据本发明的实施例的用于识别脉冲光源120的设备110的工作原理，由此对所述工作原理进行详细阐述。
图3在示图中示出根据本发明的一个实施例中的方案的探测单元的五个曝光曲线，其具有分段线性的特征曲线和部分复位。在笛卡尔坐标系中在横坐标轴上描绘了曝光时间而在纵坐标轴上描绘了电压值，其中电压值代表光强度、灰度值、强度、色调、颜色值、颜色饱和度、明暗值和/或亮度。在图3中示出的具体示图中，所述电压代表灰度值，其中电压在曝光开始时代表黑色，并且当电压下降至横坐标轴时代表白色，在所述两个极值之间具有相应的灰度值。电压值可以数字地表述。在此，在本实施例中，白色通过值0表述而黑色通过值4095表述，或者灰度值以12位的精度(212＝4096)表述。这在所示示图的右侧以灰度值箭头310表示。所述示图示出五个光源的记录或者检测、曝光或积分，也就是说其以探测单元的五个不同的像素检测五个不同亮度的光源并且示出相应的五个曝光曲线340、342、344、346、348。在第一时刻320，开始曝光或者积分。在第二时刻322，在具体实施例中在第一时刻320六毫秒之后，部分地复位其曝光曲线已超过或者低于预先确定的阈值332的像素，也就是说检测亮的灰度值或者白色作为第一图像参数360，或者探测单元的像素形成饱和。将所述像素复位到预先确定的阈值332上，其中在示图中相应的曝光曲线将预先确定的阈值取为第二时刻的新值。曝光时间或者积分时间继续进行到第三时刻324，在所述第三时刻再次部分复位已超过另一预先确定的阈值334的像素。在第三时刻，对于每一个曝光曲线检测一个第二曝光值370。在所示的实施例中，第三时刻324位于第一时刻320之后的九毫秒或位于第二时刻322之后的三毫秒。曝光或者积分持续到读取时刻326，所述读取时刻在所示实施例中在第三时刻之后的三毫秒或者在第一时刻之后的十二毫秒。在第二时刻322，两个光源的曝光曲线340、342未超过预先确定的阈值332，并且不复位探测单元的相应的像素。另外三个光源的曝光曲线344、346、348在第二时刻322已经超过了预先确定的阈值332并且相应地被部分复位到预先确定的阈值332上。在第三时刻324，曝光曲线346、348超过了另一预先确定的阈值334并且被复位到另一预先确定的阈值334上。在读取时刻326，读取曝光曲线340、342、344、346、348的图像参数。曝光曲线348的图像参数是饱和的。如在图3中示出的那样，借助具有分段线性的特征曲线的探测单元的检测更强地压缩更高的强度并且允许反映更高的动态性范围。通过更高强度的更强压缩，图像或者图像参数更晚形成饱和。在所示的实施例中两次部分复位。在其他未示出的实施例中，仅仅部分复位一次和/或复位多次，例如九次。
图4在示图中示出根据本发明的一个实施例中的方案的探测单元的三个曝光曲线，其具有分段线性的特征曲线和完全复位。如在图4中示出的那样，完全复位导致具有不同长度曝光时间的曝光序列。与图3中的示图的区别在于，在第二时刻322和在第三时刻324不是部分地而是完全地复位所述探测单元。通常，对于这种探测单元在每一个像素上通过以下方式确定最终灰度值：选择第一未饱和曝光曲线或者电压。在第一时刻320与第二时刻322之间得到第一曝光时间450，例如十二毫秒。在第二时刻322与第三时刻324之间得到第二曝光时间452，例如六毫秒。在第三时刻324与读取时刻326之间得到第三曝光时间452，例如三毫秒。所述示图示出三个曝光曲线340、346、348的记录，也就是说，借助探测单元的三个不同像素来检测三个不同亮度的光源。在第一时刻320开始曝光或者积分。在第一曝光时间450之后，两个曝光曲线346、348在检测图像参数时已导致饱和。在减半的第二曝光时间452的情况下，曝光曲线348仍进入饱和。在本实施例中，对于第一光源的曝光曲线340选择最高的积分时间450，对于第二光源或者代表所述第二光源的曝光曲线346选择中等的积分时间452而对于第三光源或者代表所述第三光源的曝光曲线348选择最短的积分时间454。令人感兴趣的是，在此存在一定的冗余——例如所述第二光源既可以通过中等的积分时间452也可以通过最短的积分时间454表示——通常在所述情形中选择中等的积分时间452，因为在此得到更好的信噪比。在图4中示出的曝光曲线340、346、348中，从恒定光源出发。在所示的实施例中，记录了具有三个不同曝光时间的图像序列。在其他未示出的实施例中，记录了仅仅两个不同的曝光时间和/或记录了具有大量不同曝光时间的图像序列，例如五个、九个或15个不同的曝光时间。在不同曝光时间的图像序列中，在一个实施例中，在后的曝光时间的长度可以是在前的曝光时间的一半。
图5示出根据本发明的一个实施例中的方案将真实的亮度值转化为图像中的灰度值的分段线性的特征曲线的示图。在笛卡尔坐标系中，在横坐标轴上描绘了真实的亮度值以及在纵坐标轴上描绘了所记录的图像中的灰度值。由于探测单元的部分复位和/或完全复位，分段线性的特征曲线500具有拐点。在图3和图4中示出的硬件策略中，存在在图5中示出的在世界中的亮度与图像中的灰度值之间的映射。在图3中从1次完全重置(这里在12ms)和2次部分重置(在6ms和3ms)出发，或者在图4中以3次完全重置(在12ms、6ms和3ms)出发。现今，在实际中支持直至9次部分重置。
图6a和图6b在示图中示出根据本发明的一个实施例中的方案的脉冲光源的脉冲频率与探测单元的曝光时间的比例。根据曝光时间与脉冲光源(LED)的脉冲频率的比例，所述光源在由探测单元检测的图像中或者在时间上改变其亮度(图6a)或者在单个帧中根本不可见(图6b)。在笛卡尔坐标系中，在横坐标轴上描绘了时间，而在纵坐标轴上描绘了强度。在本实施例中，周期性脉冲光源的光脉冲610具有200Hz的频率，其具有20％的占空比(Tastgrad)或控制比(其英语概念是“duty cycle”)，其中占空比说明脉冲持续时间与周期持续时间的比例。在图6a中，探测单元的积分时间620或者曝光时间620交替为12毫秒和22毫秒。图像示出在积分时间620相同的情况下所检测的光脉冲610的数量是变化的。图6b示出仅一毫秒的短得多的积分时间。在此，仅检测脉冲光源的光脉冲620的三个光脉冲625。图6a示出夜间的实施例而图6b示出日间的实施例。换句话说，在图6a中(成像器的)探测单元的积分时间在夜间在具有200Hz且20％的占空比(duty cycle)的LED脉冲的情况下为12ms和22ms。在图6b中，(成像器的)探测单元的积分时间例如在日间在具有20％的占空比的200Hz的不变LED脉冲的情况下为1ms。
图7示出根据本发明的一个实施例中的方案的探测单元的五个曝光曲线的示图，其具有分段线性的特征曲线和部分复位。图7的基本结构在很大程度上相应于图3，其中与图3不同地检测一个脉冲光源。在示图中示出了一个周期性脉冲光源的光脉冲610。在笛卡尔坐标系中，在横坐标轴上描绘了曝光时间而在纵坐标轴上描绘了电压值，其中电压值在本实施例中代表灰度值，其中电压在曝光开始时代表黑色并且当电压下降至横坐标轴时代表白色，在所述两个极值之间具有相应的灰度值。在第一时刻320开始检测光源，在示图中示出了所述光源的曝光曲线340，其中借助曝光曲线340检测的光源的灰度值表示借助脉冲光源的光脉冲610的非恒定曝光的结果。仅仅在光脉冲610的持续时间期间才在积分时间期间发生曝光，其中所述第一积分时间从第一时刻320持续到第二时刻322。在第二时刻322发生部分复位，因为光源的在曝光曲线340中示出的所检测的灰度值已超过预定义的阈值。在第二积分时间期间，在第二时刻322与第三时刻324之间，在光脉冲610的脉冲持续时间期间重新发生曝光，其中到达曝光曲线340的饱和。在第三时刻324重新发生部分复位，因为光源的所检测的灰度值随着到达饱和已超过了另一预定义的阈值。曝光曲线340的值在第三时刻324与读取时刻326之间不发生变化，因为在所述时间段内不出现光脉冲610。在读取时刻326，曝光曲线340具有在第三时刻相应于其另一阈值的值。这是检测一个脉冲光源的标志。
如在图7中示出的那样看到借助多线性传感器的脉冲光源的图像，其具有部分重置。可以看到，积分时间上的非恒定曝光(通过脉冲光源触发)导致光源内的灰度值(绝大多数)精确地位于分段线性的特征曲线上的所调节的拐点上。为此，必须改变所调节的摄像机特征曲线或者探测单元的特征曲线——其他设置(借助这些设置实现最佳算法性能)保持不变。后续的算法可以分析处理以及检验图像：在所研究的光源内所述灰度值是否与所述拐点中的一个一致。相比于非脉冲光源，这对于脉冲光源而言明显更可能。空间分析(以及必要时少量图像序列/帧上的附加的时间分析)足以正确地将光源分类为“脉冲的”或“非脉冲的”。
附加地，传感器上的所施加的颜色滤光器可以简化分析处理。如果例如使用R3I传感器(在正方形的四个相邻位置的一个中分别设置一个仅允许红光穿透的红像素和三个允许任意波长的光穿透的强度像素)，则此外可以研究红像素和强度像素是否具有相同的强度(红色尾灯通常也在由红色滤光器衰减的频率范围内进行发射)。这是脉冲光源的额外标志。图8中示出了一个示例。在使用Bayer传感器(RGGB)的情况下相应的结果会更好，因为可以比较三个不同的颜色通道。
图8在示图中示出根据本发明的一个实施例的探测单元的五个曝光曲线，其具有分段线性的特征曲线和部分复位。图8在很大程度上相应于图7，其中除表示光源的未经过滤的信号的曝光曲线340以外还示出了借助红色滤光器在探测单元上检测的另一曝光曲线840。红色滤光器导致减弱的信号，由此所分配的曝光曲线840具有更平的走向。在第二时刻322和第三时刻324，两个曝光曲线340、840的值分别超过所分配的、预定义的阈值或者其他预定义的阈值。在读取时刻326，所述两个曝光曲线具有相同的灰度值。在非脉冲光源中，借助滤光器检测的光源的灰度值与未借助滤光器检测的光源的灰度值不同。换句话说，图8示出如何通过在探测单元中使用滤光器有利地改善脉冲光源的识别。
图9在示图中示出根据本发明的一个实施例的探测单元的三个曝光曲线，其具有分段线性的特征曲线和完全复位。图9的基本结构在很大程度上相应于图4，其中与图4的区别在于检测一个脉冲光源。在笛卡尔坐标系中，在横坐标轴上描绘了时间而在纵坐标轴上描绘了电压。曝光曲线340表示在时间上脉冲光源的所检测的灰度值。在第一时刻320和第二时刻322之间得到第一曝光时间450，例如六毫秒。在第二时刻322和第三时刻324之间得到第二曝光时间452，例如四又二分之一毫秒。在第三时刻324和读取时刻326之间得到第三曝光时间452，例如一又二分之一毫秒。所述示图示出曝光曲线340的记录，其检测脉冲光源的光脉冲610。在第一时刻320开始曝光或者积分。一个光脉冲610的一部分和一个完整的光脉冲610出现在第一曝光时间450中。在第一曝光时间450结束时，曝光曲线340未达到饱和。在第二时刻322，完全复位所述探测单元。光脉冲610中的任一个都不出现在第二曝光时间452中，在复位探测单元之后所述曝光曲线恒定地保持在所述值上。一个完整的光脉冲610重新出现在第三曝光时间454中，其检测反映在曝光曲线340中。在恒定光源中，曝光曲线340的值在曝光时间450、452、454结束时应相对于曝光时间450、452、454的持续时间，也就是说，存在信息冗余。在所示的实施例中，所检测的灰度值与曝光时间450、452、454不成比例，这可以推断出脉冲光源。
换句话说，在具有多个完全重置(也就是完全复位)的探测单元中通过适当的措施来区分脉冲光源和非脉冲光源。在此，充分利用之前提及的信息中的冗余。根据借助图4描述的方法，使用由第一积分时间450产生的输出电压来生成当前像素上的灰度值，其他两个电压被简单地丢弃。然而在示图中可以看到，在当前情形中两个附加电压的分析处理能实现所属光源的脉冲/非脉冲的分类。如果在当前情形中(积分时间相应于探测单元在12ms、6ms和3ms时的完全复位)读取时刻326时的电压不是第三时刻时的一半大并且后一电压不是曝光曲线340在第二时刻时的电压的一半大，则适当的算法将一个光点分类为“脉冲的”。所述算法可以通过FPGA上的简单逻辑直接实现在所述探测单元，即成像器FPGA上。
如果识别到在此涉及脉冲光源，则可以在进一步处理步骤(例如所使用的跟踪算法)中在时间上推导出相应参数化的或用于确定的图像区域的(最大的)灰度值(以便产生光学良好的图像)。另一种可能性在于仅仅在识别脉冲光源的情况下在场景中将曝光调节转换成有针对性的曝光过度(以便例如改善脉冲变换交通标识的可读性)。
一个曝光周期内的多个曝光时间用于识别光源是否涉及脉冲光源。这通过灰度值的分析来发生。在此，整个曝光时间不一定大于脉冲光源的关断阶段的持续时间，因为这在几乎所有情形中产生强曝光过度的图像。所提出的方法不能始终保证在每一个单个帧中脉冲光源都是可见的。因此可以是有利的是，多次实施所提出的方法，以便更可靠地识别脉冲光源。有利的是，无须匹配曝光调节并且由此提供更好调节的原始图像，所述原始图像相比于局部曝光过度的原始图像可以借助相应的算法更好地进一步处理。
所描述的以及在附图中示出的实施例仅仅是示例性选择的。不同的实施例可以完全地或关于单个特征地彼此结合。一个实施例也可以通过另一实施例的特征进行补充。
此外，可以重复地以及按与所描述的顺序不同的顺序实施根据本发明的方法步骤。
如果一个实施例在第一特征与第二特征之间包含“和/或”联接，则应这样解读，即所述实施例根据一种实施方式既具有所述第一特征也具有所述特征，而根据另一种实施方式或者具有所述第一特征或者具有所述第二特征。
Claims (9)
1.一种用于识别至少一个脉冲光源(120)的方法(200)，其中，通过探测单元(130)检测由所述脉冲光源(120)发射的光，所述方法包括以下步骤：
在使用第一曝光时间(450)的情况下检测(210)所述光源(150)的光的第一图像参数(160；360)以及在使用至少第二曝光时间(452)的情况下检测(210)所述光源的光的至少一个第二图像参数(160；370)，其中，所述第一曝光时间(450)与所述至少第二曝光时间(452)不同并且在检测(210)所述第一图像参数(160；360)和检测(210)所述至少第二图像参数(160；370)之间将所述探测单元(130)设置到一个预先确定的值(330，332，334)上，其中，所述第一图像参数(160；360)和所述至少第二图像参数(160；370)在时间上依次代表同一空间位置；以及
分析处理(220)所述至少第二图像参数(160；370)，以便至少当所述至少第二图像参数(160；370)满足预先确定的标准时识别脉冲光源(120)，
其中，在所述分析处理的步骤(220)中在使用所述预先确定的值(330，332，334)的情况下确定所述预先确定的标准，其中，所述探测单元被复位到所述预先确定的值上，在所述分析处理的步骤(220)中当所述第二图像参数(160；370)与所述预先确定的值(330，332，334)一致时满足所述预先确定的标准。
2.根据权利要求1所述的方法(200)，其中，在所述分析处理的步骤(220)中在使用所述第一图像参数(160；360)的情况下确定所述预先确定的标准，在所述分析处理的步骤(220)中当所述至少第二图像参数(160；370)与所述第一图像参数(160；360)不同时满足所述预先确定的标准。
3.根据权利要求1或2所述的方法(200)，其中，与所述检测的步骤(210)同时地实施所述分析处理的步骤(220)。
4.根据权利要求1或2所述的方法(200)，其中，在所述分析处理的步骤(220)中在使用至少一个另外的、之前的图像参数的情况下分析处理所述至少第二图像参数(160；370)。
5.根据权利要求1或2所述的方法(200)，其中，在所述检测的步骤(210)中检测所述光源的光的至少一个另外的图像参数，其中，所述另外的图像参数代表一个位置，所述位置与由所述第一图像参数(160；360)和/或所述第二图像参数(160；370)所代表的位置相邻，其中，在所述分析处理的步骤(220)中在使用所述另外的图像参数的情况下分析处理所述至少第二图像参数(160；370)。
6.根据权利要求1或2所述的方法(200)，其中，在所述检测的步骤(210)中检测所述光源的光的至少一个另外的图像参数，其中，所述另外的图像参数在一个位置上记录，所述位置与记录所述第一图像参数(160；360)所在的位置相邻，其中，在使用至少一个滤光器的情况下检测所述第一图像参数(160；360)和/或所述至少一个另外的图像参数。
7.根据权利要求6所述的方法(200)，其中，在所述检测的步骤(210)中在使用第一滤光器的情况下检测所述第一图像参数(160；360)和所述至少第二图像参数(160；370)，其中，在所述检测的步骤(210)中在使用与所述第一滤光器不同的至少第二滤光器的情况下检测所述至少一个另外的图像参数。
8.根据权利要求2所述的方法(200)，其中，在所述分析处理的步骤(220)中当所述至少第二图像参数(160；370)与所述第一图像参数(160；360)在考虑所述第一曝光时间(450)和所述第二曝光时间(452)的情况下不同时满足所述预先确定的标准。
9.一种设备(110)，其具有构造用于实施或实现根据权利要求1至8中任一项所述的方法(200)的步骤的装置(130，140)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102012216065.5 | 2012-09-11 | ||
| DE102012216065.5A DE102012216065A1 (de) | 2012-09-11 | 2012-09-11 | Verfahren und Vorrichtung zur Erkennung von zumindest einer gepulsten Lichtquelle für ein Fahrzeug |
| PCT/EP2013/067635 WO2014040848A1 (de) | 2012-09-11 | 2013-08-26 | Verfahren und vorrichtung zur erkennung von zumindest einer gepulsten lichtquelle für ein fahrzeug |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104620260A CN104620260A (zh) | 2015-05-13 |
| CN104620260B true CN104620260B (zh) | 2018-10-23 |
Family
ID=49115491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380047152.0A Active CN104620260B (zh) | 2012-09-11 | 2013-08-26 | 用于识别用于车辆的至少一个脉冲光源的方法和设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9651430B2 (zh) |
| CN (1) | CN104620260B (zh) |
| DE (1) | DE102012216065A1 (zh) |
| WO (1) | WO2014040848A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013100804A1 (de) * | 2013-01-28 | 2014-07-31 | Conti Temic Microelectronic Gmbh | Verfahren zur Erkennung von gepulst betriebenen Lichtquellen |
| US9571741B1 (en) | 2015-10-08 | 2017-02-14 | Gopro, Inc. | Smart shutter in low light |
| DE102016109887B4 (de) * | 2016-05-30 | 2020-05-28 | Dream Chip Technologies Gmbh | Verfahren zur Erkennung und Korrektur von Bildfehlern sowie Bildverarbeitungseinheit und Computerprogramm hierzu |
| CA3033242A1 (en) * | 2016-08-09 | 2018-02-15 | Contrast, Inc. | Real-time hdr video for vehicle control |
| CN108322637B (zh) * | 2017-01-17 | 2020-02-11 | 杭州海康威视数字技术股份有限公司 | 一种强光下的设备保护方法及装置 |
| DE102017201318A1 (de) | 2017-01-27 | 2018-08-02 | Conti Temic Microelectronic Gmbh | Vorrichtung zur Regelung einer Pixel-Integrationszeit für einen Bildsensor für ein Kraftfahrzeug |
| US11336835B2 (en) * | 2018-10-04 | 2022-05-17 | Barco N.V. | Method and system for estimating exposure time of a multispectral light source |
| JP7221736B2 (ja) * | 2019-03-04 | 2023-02-14 | 株式会社荏原製作所 | 研磨方法および研磨装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102300050A (zh) * | 2010-06-24 | 2011-12-28 | 索尼公司 | 图像处理装置、图像拾取装置、图像处理方法和程序 |
| WO2012019700A2 (de) * | 2010-07-19 | 2012-02-16 | Hella Kgaa Hueck & Co. | Verfahren und vorrichtung zum erkennen von lichtquellen |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19644479A1 (de) * | 1996-10-25 | 1998-05-07 | Fraunhofer Ges Forschung | Verfahren zum Erfassen eines optischen Signals |
| DE102008023853A1 (de) | 2008-05-16 | 2009-12-03 | Continental Automotive Gmbh | Verfahren und System zur Erkennung eines Wechselverkehrszeichens |
| DE102010003668B4 (de) * | 2010-04-07 | 2020-03-26 | Robert Bosch Gmbh | Farbmaske für einen Bildsensor einer Fahrzeugkamera |
-
2012
- 2012-09-11 DE DE102012216065.5A patent/DE102012216065A1/de active Pending
-
2013
- 2013-08-26 WO PCT/EP2013/067635 patent/WO2014040848A1/de active Application Filing
- 2013-08-26 US US14/423,973 patent/US9651430B2/en active Active
- 2013-08-26 CN CN201380047152.0A patent/CN104620260B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102300050A (zh) * | 2010-06-24 | 2011-12-28 | 索尼公司 | 图像处理装置、图像拾取装置、图像处理方法和程序 |
| WO2012019700A2 (de) * | 2010-07-19 | 2012-02-16 | Hella Kgaa Hueck & Co. | Verfahren und vorrichtung zum erkennen von lichtquellen |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104620260A (zh) | 2015-05-13 |
| WO2014040848A1 (de) | 2014-03-20 |
| DE102012216065A1 (de) | 2014-03-13 |
| US9651430B2 (en) | 2017-05-16 |
| US20150253198A1 (en) | 2015-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104620260B (zh) | 用于识别用于车辆的至少一个脉冲光源的方法和设备 | |
| US20180308282A1 (en) | Shape measuring apparatus and method | |
| CN109845242B (zh) | 具有led闪烁抑制的wdr成像 | |
| US10354413B2 (en) | Detection system and picture filtering method thereof | |
| US11662443B2 (en) | Method and apparatus for determining malfunction, and sensor system | |
| CN112534474A (zh) | 纵深取得装置、纵深取得方法以及程序 | |
| WO2020066637A1 (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
| CN114930192B (zh) | 红外成像组件 | |
| US20190219891A1 (en) | Imaging control device, imaging control method, program, and recording medium having same recorded thereon | |
| US10803625B2 (en) | Detection system and picturing filtering method thereof | |
| JP7281775B2 (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
| KR20200005452A (ko) | 동적 이미지 캡처 방법 및 장치 | |
| US20220003875A1 (en) | Distance measurement imaging system, distance measurement imaging method, and non-transitory computer readable storage medium | |
| US7983548B2 (en) | Systems and methods of generating Z-buffers in cameras | |
| JP2020051991A (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
| WO2021084891A1 (ja) | 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム | |
| EP3430472B1 (en) | Method of producing video images that are independent of the background lighting | |
| WO2023047886A1 (ja) | 車両検出装置、車両検出方法、及び車両検出プログラム | |
| WO2023286542A1 (ja) | 物体検知装置および物体検知方法 | |
| US20140333806A1 (en) | Method and device for adapting a filter property of an adaptive color filter and for operating an imager | |
| WO2024116745A1 (ja) | 画像生成装置、画像生成方法および画像生成プログラム | |
| JP7505530B2 (ja) | 異常判定装置、異常判定方法、及び異常判定プログラム | |
| US20240083346A1 (en) | Gating camera, vehicle sensing system, and vehicle lamp | |
| EP3726251A1 (en) | A concept for sensing an environment using lidar | |
| CN118288336A (zh) | 一种高精度柔性机械臂光学检测装置及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |