CN101107556A - 通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置 - Google Patents

通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置 Download PDF

Info

Publication number
CN101107556A
CN101107556A CN200680002767.1A CN200680002767A CN101107556A CN 101107556 A CN101107556 A CN 101107556A CN 200680002767 A CN200680002767 A CN 200680002767A CN 101107556 A CN101107556 A CN 101107556A
Authority
CN
China
Prior art keywords
image
visible
infrared
parameter
surrounding environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200680002767.1A
Other languages
English (en)
Other versions
CN101107556B (zh
Inventor
沃尔夫冈·哈恩
托马斯·韦德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN101107556A publication Critical patent/CN101107556A/zh
Application granted granted Critical
Publication of CN101107556B publication Critical patent/CN101107556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Abstract

本发明涉及一种尤其是在黑暗中可视化汽车周围环境的方法，其中提供了包含周围环境数字化数据的可见光影像，其中该可见光影像显示了视觉上可见的物体。另外还提供了包含周围环境数字化数据的红外线影像，其中该红外线影像显示了由可见的物体和/或其它物体辐射的红外线。为了便于将辐射红外线的物体与所拍摄的周围环境相对应，采用了图像合成，将可见光图像与红外线图像合成为一个可在图像显示单元上显示的目标图像。根据周围环境参数禁止图像合成，以仅仅显示两个影像中的一个作为目标图像，或者这两个影像均不被显示为目标图像。

Description

通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置
本发明涉及用于对汽车周围环境进行可视化的方法和装置，其将包含周围环境数字化数据的可见光影像和包含周围环境数字化数据的红外线影像合成为一个可通过图像显示单元来显示的目标图像，从而便于将辐射红外线的物体与所拍摄的周围环境相匹配，其中所述可见光影像显示了视觉上可见的物体，而所述红外线影像显示了由视觉上可见的物体和/或其它物体所辐射的红外线。
用于图像合成的装置叠加了至少两个在不同光谱范围内拍摄当前汽车周围环境的摄像机的图像。所述光谱范围例如可包括可见光以及红外线。由图像合成得到的目标图像使得汽车驾驶员能够更方便、更好地理解图像显示单元上所提供的关于汽车周围环境的信息。
为此，摄像装置包括至少两个具有延长的平行光轴的摄像机，它们在空间上彼此错开。由于摄像机的错开安装，即使得光轴错开，由摄像机获得的图像对于远处的其他区域不能完全忠实于对象地彼此对准。这里忠实于对象的程度描述了目标图像中由汽车周围的一个物体反射或发出的光线可以被驾驶员明确地对应到该物体上。
指向错误或忠实于对象的质量会根据摄像机的间距以及根据摄像机和被拍摄物体之间的距离而出现。通过对摄像装置的校准可以使近距离物体(这相当于视野从大约15米到75米的典型的城市行驶)很好地被成像，而另一方面远距离物体的忠实于对象的程度较差。同理，当摄像装置对于远距离物体(相当于例如视野从30米到150米或者50米到250米的高原或高速公路行驶)被优化的话，则会在近距离时出现指向错误。
用于图像合成的装置和方法在本申请人的德国专利DE 10227171A1和DE 10304703 A1中已有描述。其中描述的装置分别具有一台提供包含环境数字化数据的可见光影像的摄像机和一台提供包含环境数字化数据的红外线影像的摄像机。所述可见光影像显示了可见的物体。红外线影像显示了由视觉上可见的物体和/或其它物体辐射的红外线。一个图像处理单元对可见光影像和红外线影像进行合成，其中合成后的目标图像可以在一个图像显示单元中进行显示。图像合成包括对可见光影像和红外线影像的全部或部分的例如像素或像素区域的叠加。其中，尤其是时间和空间相同的图像对会被彼此叠加起来。同时，也可以将像素或像素区域的亮度和/或颜色值进行叠加或平均。为了进一步的优化，也可以通过加权系数来进行影像叠加。可选地，也可以考虑描述汽车的亮度和/或可视条件。其中还建议对像素或像素区域进行不同的加权。这些已知方法的缺点在于，为了显示远距离范围的忠实于对象的目标图像，所需的计算量较大。
因此本发明的任务在于，提供一种可视化汽车周围环境的改进方法和改进装置，能够可靠地理解由图像合成所生成的目标图像的内容。
这一任务可以通过根据权利要求1所述特征用于对汽车周围环境进行可视化的方法以及根据权利要求11所述特征用于对汽车周围环境进行可视化的装置来解决。由从属权利要求分别得到了具有优点的实施方式。
在根据本发明的尤其在黑暗中用于对汽车周围环境进行可视化的方法中，提供了包含周围环境数字化数据的可见光影像，其中该可见光影像显示了视觉上可见的物体。另外，提供了包含周围环境数字化数据的红外线影像，该影像显示了由可见的物体和/或其它物体辐射的红外线。进行图像合成，将可见光影像与红外线影像合成为一个可在图像显示单元上显示的目标图像，从而便于将辐射红外线的物体与所拍摄的周围环境相对应。根据本发明，也可以根据周围环境参数禁止对可见光影像和/或红外线影像进行图像合成，以仅仅将两个影像中的一个显示为目标图像，或者这两个影像均不被显示为目标图像。
为了避免目标图像显示时的指向错误，本发明建议根据环境参数来禁止图像合成。虽然在考虑了环境参数后通过禁止图像合成可以将信息从要显示的目标图像中去除，但是对汽车使用者而言还是可以更容易地理解图像显示单元中显示的目标图像，从而使他不会过多地转移对汽车周围环境中交通状况的注意力。
根据一种符合目的的实施方式，为了避免图像模糊和/或双像，在禁止对可见光影像和/或红外线影像进行图像合成的步骤中，相应影像的所有周围环境数字化数据会被消隐。换句话说，可见光影像或红外线影像或者甚至这两个影像完全而不只是部分地被消隐。最后一种情况意味着，在图像显示单元中没有要显示的目标图像。
根据本发明所述方法的另一个符合目的的实施方式，环境参数由至少一个通过传感器得到的行驶动态量和/或至少一个其它参数所确定。
在一种实施方式中，汽车的速度、尤其是在低于或高于一个预定速度值的情况下作为行驶动态量被处理。在另一种实施方式中，汽车相对于摄像机视角内获取的某一物体的距离、尤其是在低于或高于一个预先给定的距离值的情况下作为行驶动态量被处理。上述两个参数最好是被组合起来考虑。
在另一种符合目的的实施方式中，汽车的当前位置作为行驶动态量被处理。在另一个实施方式中，拓扑结构和/或当前的天气情况作为其它参数被处理。根据拓扑结构或者可以例如由导航系统提供的GPS数据得到汽车当前位置，例如当汽车正驶过隧道时，可以禁止图像合成。在这类行驶情况下，红外线摄像机几乎不能有效地提供对于汽车使用者相关的信息。因此，红外线影像和可见光影像的叠加反而不能提高汽车使用者获取的信息量，从而有必要将例如红外线影像从目标图像中消隐。类似地，在坏天气条件下也是如此，例如在雨中，红外线摄像机也不能得到具有足够好的分辨率的周围环境影像。
在另一种实施方式中，可由汽车使用者选择的参数作为其它参数通过图像处理单元被处理。在某些情况下，汽车使用者可能希望改变由图像合成所产生的目标图像的显示，并且可选地只显示红外线影像或者只显示可见光影像。这时，其它参数对应于由汽车使用者触发的禁止和/或激活图像合成的指令。
此外，根据另一种实施方式，还可以求出可见光影像与红外线影像的熵值，并将该熵值与一个预先给定的熵值进行比较，根据比较结果来判断是否要消隐可见光影像和/或红外线影像或者这两个影像。周围环境影像的熵包含了关于一个影像的有说服力的信息。例如当一幅影像已经饱和，也就是说它已经被过度调节时，则无需再提供可供汽车使用者以某种方式有效选取的信息了。当检测到这种情况时，例如具有过低对比度的影像就可以被消隐，从而能够解释一种状况。
对于是否对可见光影像和/或红外线影像进行图像合成的判断，可能取决于是否出现上面描述的环境参数之一或者多个。禁止图像合成可能是尤其取决于同时出现多个参数。在时间上彼此非常靠近的环境参数出现时，也要考虑禁止图像合成。
为了避免在图像显示单元中显示的目标图像在很短的间隔内交替出现合成和未合成的图像，这在特定情况下可能会使汽车使用者产生迷惑，在另一个具有优点的实施方式中，对图像合成的禁止是在考虑了一定的时间滞后的情况下进行的。
采用根据本发明的装置，可以带来与前面描述的本发明所述方法相关的同样优点。
根据本发明的尤其是在黑暗中用于对汽车周围环境进行可视化的装置具有一个摄像装置，该摄像装置具有一台拍摄包含周围环境数字化数据的可见光影像的可见光摄像机，以及一台拍摄包含周围环境数字化数据的红外线影像的红外线摄像机，其中可见光影像显示了视觉上可见的物体，而红外线影像显示了由可见的物体和/或其它物体辐射的红外线。另外，设置了一个用于对可见光影像和红外线影像进行处理的图像处理单元，其中所述图像处理单元被构造和/或设置为用于对可见光影像和红外线影像进行图像合成。一个图像显示单元用于显示由图像处理单元所生成的周围环境的影像。根据本发明，所述图像处理单元还被设置为根据环境参数禁止图像合成。
在一种符合目的的实施方式中，设置了至少一个与图像处理单元相耦合的传感器，用于确定行驶动态量。
根据另外一种符合目的的实施方式，可以向所述图像处理单元传送其它参数，所述其它参数既可以通过传感器获得，也可以由外部装置提供。所述其它参数例如可以通过使用移动无线技术或GPS传送给图像处理单元。
符合目的的是，所述图像处理单元还被设置为根据行驶动态量和/或所述其它参数确定环境参数。
在另外一种符合目的的实施方式中，摄像装置被校准到一个固定的距离区域上。这个固定的距离区域可以选择在近处或远处。近处理解为城市行驶情况下视野距离为15米到75米的情况。远处在本申请中理解为乡村道路行驶时尤其是视野距离约为30米到150米范围内的典型行驶状况，或者在高速公路行驶时尤其是视野距离约为50米到250米的范围内的典型行驶状况。原则上，摄像装置可以被校准到任意的距离。如果摄像装置被校准到远处，则会由于摄像机的光学轴错位而在近处产生指向错误，这可能会导致误解。一个影响图像合成的重要参数是汽车与前面行驶的、处于该汽车近处的物体的间距，和/或低于某一特定给定值的速度。与之相对应的是，如果摄像装置校准备到近处，则会以相应方式在汽车的远处出现影像误差。因此，当超过某一特定间距和/或某一特定速度时可以禁止图像合成。
本发明可以由后面的附图得到进一步的解释。如图所示：
图1根据本发明的用于可视化汽车周围环境的装置的模块图，以及
图2具有互相平行的光轴的两台摄像机的摄像装置中，平行光轴误差和距离之间的关系。
图1中作为框图描述的本发明所述装置具有一个摄像装置10，该摄像装置具有一台记录可见光频谱范围的电子摄像机，这里表示为可见光摄像机101(例如为CCD传感器)，以及一台对大约8到10毫米的红外线频谱范围敏感的电子红外线摄像机102(例如为IR传感器)。可见光摄像机101最好提供彩色的可视影像。摄像机101和102的光轴最好相互平行，从而可以使视差误差最小。它们最好彼此靠得很近，从而使平移误差最小。这两台摄像机或传感器的像平面最好彼此平行，并垂直于光轴，且彼此靠得很近。这两台摄像机或传感器的光敏传感器表面最好彼此既不旋转又不倾斜，而是进一步彼此平行设置。另外，这两台摄像机或传感器最好有同样的张角，从而使所述摄像机或传感器在不同光谱范围内提供的影响显示了周围环境中相同的部分，并且在彼此之间保持一致，同时也不会与客观情况相背。这样可以使得用于为提供所定义的图像而对影像进行处理的开销减小，并且使硬件和软件开销大大降低。
与摄像装置10相连的图像处理单元20包括一个第一标准化装置103，一个第二标准化装置104，一个定向装置105和一个叠加或合成装置106。由合成装置106产生的目标图像可以在图像显示单元30中显示。
图1中所示的装置通过一个校准装置被校准到一个特定的距离范围上。为了进行校准，使用了一个校准装置(图中未示出)，它例如具有多个白炽灯泡，这些灯泡最好布置成棋盘状。白炽灯泡的特点在于，它既能发出热辐射，又能发出可见光。最好将一个设置有多个白炽灯泡的板或类似物放置在两个摄像机101、102前面的一定间距范围内，以此来校准摄像装置10。
位于摄像机101、102前面的校准装置最好用在黑暗环境中，并且不能靠近热源，它在可见光摄像机101中产生一个所谓的可见光影像，该影像显示了棋盘状排列的白炽灯泡，正如人的眼睛所看到的。另外，所述校准装置在红外线摄像机102中产生一个热影像，它也同样显示了白炽灯泡的排列。典型地，无论是可见光影像还是红外线影像都会在各自的影像边缘部分出现尤其是由于光学成像误差等引起的失真。采用已知的方法，可以通过第一标准化单元103进一步消除可见光影像中的失真或成像误差。采用已知的方法，可以通过第二标准化单元104进一步消除红外线影像中的失真或成像误差。所述标准化或误差消除最好通过已知的、对影像的数字化数据的软件措施来实现，其中利用了对于可见光影像的校准参数和对于红外线影像的校准参数108。
标准化后或进一步消除了干扰后的影像由定向装置105通过一种在数字图像处理中已知的记录过程、使用记录参数109来定向。在定向过程中，最好保持其中一个影像不变，作为另一个影像的参考。第二个影像的大小和位置被改变，以获得相对于第一个影像进一步与实际物体一致的影像。
标准化后的影像被相对重叠定向，使得同一个物体在相同的位置以同样的大小在合成后的图像上出现。如果不执行这个预处理步骤，则会由于不同的摄像机几何形状以及摄像机错位而出现虚像、双像、阴影以及重影。这意味着，同一物体在两个位置上以不同大小出现在合成后的图像中。观察者会对这样的图像感到迷惑而不会对其有所帮助。
标准化后的影像的定位可以分为三个步骤进行：移动、旋转和缩放。彼此定位的影像会在叠加及合成单元106中通过对其数字化数据的处理被叠加或合成。可见光影像和红外线影像中每个在时间和位置上相同或者目标物体相同的“图像对”会产生一个合成的或叠加的图像，该图像会通过汽车中的图像显示单元30显示给汽车驾驶员。
对可见光影像和红外线影像中的时间和位置上相同的“图像对”的合成最好基于来自这两幅影像的各个彼此相应的像素对，或者使用来自这两幅影像的多个像素。这尤其是可以面向于需要什么样的分辨率和/或数字图像处理的计算能力有多强。上面描述的预处理后的影像通过对其图像数据的数字化处理而互相叠加并被显示。结果，这一过程可以近似于地与幻灯片或相同场景或行驶环境的叠加进行比较。从计算技术的角度或者从数字图像处理的方面而言，这是通过对像素信息求均值，尤其是考虑到各个影像的亮度以及包含在可见光影像和/或红外线影像中的颜色信息而实现的。这并不一定要逐个像素地来实现，而是可以通过对两幅影像中位置和时间相同的像素区域求均值来实现。
另外，有意义的是，红外线影像中的像素信息在被求均值时可以采用与可见光影像中时间和位置相同的像素信息不同的加权。这种不同的加权例如可根据日光和/或天气情况和/或汽车前照灯和/或可见光影像中的颜色来实现。由此例如可以使得合成图像中的红色交通指示灯被尤其明显地辨认出来。
由于在汽车中主要感兴趣的是探测远处、即50米到250米距离处的物体，可能由于校准固定设置在近距离、以及由于摄像机101，102的错开的光轴而产生双像，这种双像可能会迷惑汽车使用者。为了避免这种迷惑，例如根据相对于前方物体的距离和/或根据汽车的行驶速度限制在图像显示单元30中所显示的目标图像只再现可见光影像或者只再现红外线影像。
图2中描述了视差误差与摄像装置相对于被拍摄物体的距离之间的关系。其中描述了这样一种情况，即该装置在远处优化为无视差的显示。如果视差误差超过了一个特定的阈值，该阈值可能取决于不同的环境参数，如速度和/或距离和/或天气条件和/或拓扑结构和/或汽车周围环境，则禁止图像合成，并选择可见光摄像机或红外线摄像机的更适合该情况的影像用来显示。在该实施例中，这一阈值设置在小于通过校准得到的“最优距离”的距离处被设置。该阈值并不一定需要固定设置，而是可以根据不同的参数动态地定义或者通过某一区域来定义。
例如可以想象如下的场景：
在交通指示灯附近，一辆汽车逐渐靠近前面行驶的另一辆汽车，此时可见光摄像机和红外线摄像机的彼此合成的图像的指向错误会逐渐增加。根据由与图像处理单元相耦合的传感器40所确定的距离，可以得出当物体和摄像装置10处于什么样的距离时会超过一个特定的指向错误。在超过这一指向错误后，图像合成被禁止，只显示红外线摄像机的影像。作为替代，当然也可以在另一个实施例中只显示可见光摄像机的影像。
如果在另一个实施例中汽车速度低于一个预先给定的速度值，则其前照灯的张角足以使汽车使用者能够了解附近环境中的信息。因此，在车速低于预先给定的速度值时可以禁止图像合成，在目标图像中不显示可见光摄像机的影像，而只显示红外线摄像机的影像。这样可以确保人、动物等在照明较差的环境情况下，如居住区、森林公园等时，也可以被显示出来。车速通过一个与图像处理单元20相耦合的速度传感器41来确定。
这两个实施例描述了在近距离和/或低车速时禁用图像合成的情况。总体而言，当装置被校准到近距离时，也可以使用本发明。此时，图像合成将在超过预先给定的距离和/或特定的速度时被禁用。
本发明所述方法的优点在于，通过在目标图像中禁用图像合成可以不出现令人迷惑的影像误差。因此，根据本发明的装置允许使用只校准在远处的图像合成装置。这样，也就可以省去复杂的控制算法，而它必须在所有的距离情况下避免影像误差并通过开销很大的计算算法来得到。
附图标记列表
10摄像装置
20图像处理单元
30图像显示单元
40传感器
41传感器
101摄像机
102摄像机
103标准化装置
104标准化装置
105定向装置
106合成装置
107校准参数
108校准参数
109记录参数

Claims (15)

1.一种尤其在黑暗环境中用于对汽车周围环境进行可视化方法，其中
-提供包含周围环境数字化数据的可见光影像，其中该可见光影像显示了视觉上可见的物体，并且
-提供包含周围环境数字化数据的红外影像，其中该影像显示了由可见的物体和/或其它物体辐射的红外线，
-进行图像合成，将可见光图像与红外图像合成为一个可在图像显示单元(30)上显示的目标图像，从而便于将辐射红外线的物体与所拍摄的周围环境相对应，
其特征在于，根据周围环境参数禁止图像合成，以仅仅显示这两个影像中的一个作为目标图像，或者这两个影像均不被显示为目标图像。
2.根据权利要求1的方法，其特征在于，
在禁止对可见光影像和/或红外线影像进行图像合成的步骤中，为了避免图像模糊和/或双像，各个影像中的所有周围环境数字化数据被消隐。
3.根据权利要求1或2的方法，其特征在于，
所述周围环境参数由至少一个通过传感器得到的行驶动态量和/或至少一个其它参数所确定。
4.根据权利要求3的方法，其特征在于，
汽车的速度，尤其是在低于或高于一个预先给定的速度值的情况下，作为行驶动态量被处理。
5.根据权利要求3或4的方法，其特征在于，
汽车相对于摄像机视角内所获取的某一物体的距离，尤其是在低于或高于一个预先给定的距离值的情况下，作为行驶动态量被处理。
6.根据权利要求3至5中任一项的方法，其特征在于，
汽车的当前位置作为所述其它参数被处理。
7.根据权利要求3至6中任一项的方法，其特征在于，
拓扑结构和/或当前天气情况作为所述其它参数被处理。
8.根据权利要求3至7中任一项的方法，其特征在于，
可由汽车使用者选择的参数作为所述其它参数通过图像处理单元被处理。
9.根据权利要求3至8中任一项的方法，其特征在于，
确定可见光影像与红外线影像的熵值，并将该熵值与一个预先给定的熵值进行比较，根据比较结果来判断是否要消隐可见光影像和/或红外线影像或者这两个影像。
10.根据前述权利要求之一的方法，其特征在于，
对图像合成的禁止是考虑了时间滞后而实现的。
11.一种尤其在黑暗环境中用于对汽车周围环境进行可视化的装置，具有
-摄像装置(10)，该摄像装置具有一台拍摄包含周围环境数字化数据的可见光影像的可见光摄像机(101)，以及一台拍摄包含周围环境数字化数据的红外线影像的红外线摄像机(102)，其中所述可见光影像显示了视觉上可见的物体，而红外线影像显示了由可见的物体和/或其它物体辐射的红外线，
-一个图像处理单元(20)，用于对可见光影像和红外线影像进行处理，图像处理单元20的结构和设置是为了对可见光影像和红外线影像进行图像合成，
-图像显示单元(30)，用于显示由图像处理单元20生成的环境影像，
其特征在于，
图像处理单元(20)被设计和/或设置为根据周围环境参数禁止图像合成。
12.根据权利要求11的装置，其特征在于，
设置有至少一个与图像处理单元(20)相耦合的传感器(40，41)，用于确定行驶动态量。
13.根据权利要求11或12的装置，其特征在于，
可以向所述图像处理单元(20)传送其它参数。
14.根据权利要求12或13的装置，其特征在于，
所述图像处理单元(20)被设置为根据行驶动态量和/或所述其它参数确定周围环境参数。
15.根据权利要求11至14中任一项的装置，其特征在于，
所述摄像装置(10)被校准到固定的距离范围上。
CN200680002767.1A 2005-02-11 2006-01-10 通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置 Active CN101107556B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102005006290.3 2005-02-11
DE102005006290A DE102005006290A1 (de) 2005-02-11 2005-02-11 Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
PCT/EP2006/000133 WO2006084534A1 (de) 2005-02-11 2006-01-10 Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds

Publications (2)

Publication Number Publication Date
CN101107556A true CN101107556A (zh) 2008-01-16
CN101107556B CN101107556B (zh) 2010-12-22

Family

ID=36061713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680002767.1A Active CN101107556B (zh) 2005-02-11 2006-01-10 通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置

Country Status (6)

Country Link
US (1) US9088737B2 (zh)
EP (1) EP1846794A1 (zh)
JP (1) JP2008530667A (zh)
CN (1) CN101107556B (zh)
DE (1) DE102005006290A1 (zh)
WO (1) WO2006084534A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102700472A (zh) * 2012-06-13 2012-10-03 博立码杰通讯(深圳)有限公司 车辆驾驶辅助设备及方法
CN102745135A (zh) * 2012-07-24 2012-10-24 苏州工业园区七星电子有限公司 一种主动式车辆红外夜视系统
CN104798084A (zh) * 2012-08-31 2015-07-22 罗伯特·博世有限公司 用于过滤对象信息的方法和信息系统
CN104811624A (zh) * 2015-05-06 2015-07-29 努比亚技术有限公司 红外拍摄方法及装置
CN105453532A (zh) * 2013-07-31 2016-03-30 日立麦克赛尔株式会社 摄像装置、摄像方法和车载摄像系统
CN105787917A (zh) * 2014-08-25 2016-07-20 现代自动车株式会社 用于在夜间驾驶时由车辆检测行人的方法和装置
CN105934941A (zh) * 2014-01-24 2016-09-07 Jvc建伍株式会社 摄像装置、视频信号处理方法以及视频信号处理程序
CN106394406A (zh) * 2015-07-29 2017-02-15 株式会社万都 用于车辆的摄像机装置
CN106504561A (zh) * 2015-09-03 2017-03-15 罗伯特·博世有限公司 用于识别停车区域上的对象的方法
CN107107834A (zh) * 2014-12-22 2017-08-29 富士胶片株式会社 投影型显示装置、电子设备、驾驶者视觉辨认图像共享方法以及驾驶者视觉辨认图像共享程序
CN108995591A (zh) * 2018-08-01 2018-12-14 北京海纳川汽车部件股份有限公司 车辆全景透视显示方法、系统及具有其的车辆
CN109974891A (zh) * 2017-12-27 2019-07-05 宇博先进电子工业有限公司 标示物体温度的方法
CN110087933A (zh) * 2017-01-20 2019-08-02 宝马股份公司 用于为用户显示提示的方法和设备以及工作设备
CN110362071A (zh) * 2019-05-24 2019-10-22 江西理工大学 基于多光谱成像技术的人工智能控制方法及装置
CN110798631A (zh) * 2018-08-01 2020-02-14 佳能株式会社 摄像设备和信息处理设备及其控制方法以及记录介质

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
JP4685050B2 (ja) * 2007-03-19 2011-05-18 本田技研工業株式会社 表示装置
JP4853437B2 (ja) * 2007-09-18 2012-01-11 株式会社デンソー 車両周辺監視システム
DE102008047644B4 (de) * 2008-09-17 2015-09-10 Siemens Aktiengesellschaft Verfahren zur Registrierung zweier Bildgebungsmodalitäten
JP5749442B2 (ja) * 2010-03-11 2015-07-15 株式会社日立情報通信エンジニアリング 監視装置
CN102128686B (zh) * 2010-12-14 2012-11-21 天津理工大学 红外显微测温仪
KR101349025B1 (ko) 2011-11-25 2014-01-10 현대자동차주식회사 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법
EP2658245B1 (en) * 2012-04-27 2016-04-13 BlackBerry Limited System and method of adjusting camera image data
US8994845B2 (en) * 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
KR101858646B1 (ko) 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
KR101470198B1 (ko) * 2013-07-29 2014-12-05 현대자동차주식회사 영상 합성 장치 및 방법
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US9832394B2 (en) 2014-03-31 2017-11-28 Google Technology Holdings LLC Adaptive low-light view modes
DE102014115294A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Kamerasystem für ein Kraftfahrzeug, Fahrerassistenzsystem, Kraftfahrzeug und Verfahren zum Zusammenführen von Bilddaten
WO2016205419A1 (en) * 2015-06-15 2016-12-22 Flir Systems Ab Contrast-enhanced combined image generation systems and methods
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US10359618B2 (en) 2016-01-11 2019-07-23 Nikon Corporation Multispectral stereoscopic endoscope system and use of same
CN105759273A (zh) * 2016-02-17 2016-07-13 吴伟民 车辆障碍物检测方法及系统
JP6445480B2 (ja) * 2016-03-23 2018-12-26 トヨタ自動車株式会社 Ｓｏｉ基板の製造方法
US10412381B1 (en) * 2016-11-22 2019-09-10 Northrop Grumman Systems Corporation Calibration target for image sensor
EP3715993B1 (en) 2019-03-25 2022-09-14 Hiab AB A vehicle comprising a working equipment, and a working equipment, and a method in relation thereto
SE1950427A1 (en) 2019-04-05 2020-10-06 Cargotec Patenter Ab A vehicle comprising a working equipment, and a working equipment, and a method in relation thereto
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11418719B2 (en) * 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
CN115170817B (zh) * 2022-07-21 2023-04-28 广州大学 基于三维人-物网格拓扑增强的人物交互检测方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
US4751571A (en) * 1987-07-29 1988-06-14 General Electric Company Composite visible/thermal-infrared imaging apparatus
JPH01268284A (ja) * 1988-04-19 1989-10-25 Fujitsu Ltd 画像合成装置
GB2291304A (en) * 1994-07-07 1996-01-17 Marconi Gec Ltd Head-mountable display system
WO1999036904A1 (en) * 1998-01-16 1999-07-22 Thresholds Unlimited, Inc. Head up display and vision system
JP4103179B2 (ja) * 1998-06-30 2008-06-18 マツダ株式会社 環境認識装置
JP2001101596A (ja) * 1999-09-27 2001-04-13 Mazda Motor Corp 車両の表示装置
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
US6646799B1 (en) * 2000-08-30 2003-11-11 Science Applications International Corporation System and method for combining multiple energy bands to improve scene viewing
JP2002091407A (ja) * 2000-09-20 2002-03-27 Ricoh Co Ltd 画像表示装置
JP2002237969A (ja) * 2001-02-09 2002-08-23 Hitachi Ltd 車載カメラおよび画像処理システム
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP2003200755A (ja) * 2001-12-28 2003-07-15 Yazaki Corp 車両用表示装置
DE10207039A1 (de) * 2002-02-20 2003-09-04 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriervorrichtung zur Kalibrierung der Vorrichtung
DE10227171B4 (de) * 2002-06-18 2019-09-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
US20070035625A9 (en) * 2002-12-20 2007-02-15 Hamdan Majed M Vehicle video processing system
JP2004235987A (ja) * 2003-01-30 2004-08-19 Matsushita Electric Ind Co Ltd 運転支援装置
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
JP2004312402A (ja) * 2003-04-08 2004-11-04 Hitachi Ltd 道路監視システム，道路監視装置
JP3879696B2 (ja) * 2003-04-25 2007-02-14 日産自動車株式会社 運転支援装置
US7538326B2 (en) * 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102700472B (zh) * 2012-06-13 2015-04-15 博立码杰通讯(深圳)有限公司 车辆驾驶辅助设备及方法
CN102700472A (zh) * 2012-06-13 2012-10-03 博立码杰通讯(深圳)有限公司 车辆驾驶辅助设备及方法
CN102745135A (zh) * 2012-07-24 2012-10-24 苏州工业园区七星电子有限公司 一种主动式车辆红外夜视系统
CN104798084A (zh) * 2012-08-31 2015-07-22 罗伯特·博世有限公司 用于过滤对象信息的方法和信息系统
CN105453532A (zh) * 2013-07-31 2016-03-30 日立麦克赛尔株式会社 摄像装置、摄像方法和车载摄像系统
CN105934941B (zh) * 2014-01-24 2019-09-03 Jvc 建伍株式会社 摄像装置、视频信号处理方法以及存储介质
CN105934941A (zh) * 2014-01-24 2016-09-07 Jvc建伍株式会社 摄像装置、视频信号处理方法以及视频信号处理程序
CN105787917A (zh) * 2014-08-25 2016-07-20 现代自动车株式会社 用于在夜间驾驶时由车辆检测行人的方法和装置
CN105787917B (zh) * 2014-08-25 2021-08-06 现代自动车株式会社 用于在夜间驾驶时由车辆检测行人的方法和装置
CN107107834A (zh) * 2014-12-22 2017-08-29 富士胶片株式会社 投影型显示装置、电子设备、驾驶者视觉辨认图像共享方法以及驾驶者视觉辨认图像共享程序
CN104811624A (zh) * 2015-05-06 2015-07-29 努比亚技术有限公司 红外拍摄方法及装置
CN106394406B (zh) * 2015-07-29 2019-03-19 株式会社万都 用于车辆的摄像机装置
CN106394406A (zh) * 2015-07-29 2017-02-15 株式会社万都 用于车辆的摄像机装置
CN106504561A (zh) * 2015-09-03 2017-03-15 罗伯特·博世有限公司 用于识别停车区域上的对象的方法
CN106504561B (zh) * 2015-09-03 2021-07-27 罗伯特·博世有限公司 用于识别停车区域上的对象的方法
CN110087933A (zh) * 2017-01-20 2019-08-02 宝马股份公司 用于为用户显示提示的方法和设备以及工作设备
CN109974891A (zh) * 2017-12-27 2019-07-05 宇博先进电子工业有限公司 标示物体温度的方法
CN108995591A (zh) * 2018-08-01 2018-12-14 北京海纳川汽车部件股份有限公司 车辆全景透视显示方法、系统及具有其的车辆
CN110798631A (zh) * 2018-08-01 2020-02-14 佳能株式会社 摄像设备和信息处理设备及其控制方法以及记录介质
CN110362071A (zh) * 2019-05-24 2019-10-22 江西理工大学 基于多光谱成像技术的人工智能控制方法及装置

Also Published As

Publication number Publication date
EP1846794A1 (de) 2007-10-24
DE102005006290A1 (de) 2006-08-24
CN101107556B (zh) 2010-12-22
WO2006084534A1 (de) 2006-08-17
US9088737B2 (en) 2015-07-21
US20080024608A1 (en) 2008-01-31
JP2008530667A (ja) 2008-08-07

Similar Documents

Publication Publication Date Title
CN101107556B (zh) 通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置
US11838689B2 (en) Rotating LIDAR with co-aligned imager
CN100401129C (zh) 用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置
CN108919294B (zh) 测距摄像系统以及固体摄像元件
US7576767B2 (en) Panoramic vision system and method
US5001558A (en) Night vision system with color video camera
US20020130953A1 (en) Enhanced display of environmental navigation features to vehicle operator
CN101088027B (zh) 用于机动车的立体摄像机
CN109076163A (zh) 成像控制装置、成像控制方法以及成像装置
US10750093B2 (en) Image processing device and image processing method
JP3782322B2 (ja) 車載用画像処理カメラ装置
CN107264402A (zh) 环视提供设备和包括其的车辆
JP2005509129A5 (zh)
CN101416024A (zh) 用于三维检测空间区域的装置和方法
CN102834309A (zh) 自动车辆设备监控、报警和控制系统
US20180038961A1 (en) System and method for stereo triangulation
JP2011134058A (ja) 光学式自己位置検知装置及び方法
CN110351455A (zh) 摄像装置
US6815680B2 (en) Method and system for displaying an image
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
CN204845719U (zh) 三维行车影像辅助装置
CN105247571A (zh) 用于构建脉冲地发光的对象的拍摄的方法和设备
US20220309793A1 (en) System for determining the position of movable dummy elements
KR101934345B1 (ko) 야간 차량번호 및 생활 방범상의 특정이미지 판독 인식률 향상을 위한 현장분석 시스템
Irwin et al. Vehicle testbed for multispectral imaging and vision-based geolocation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant