CN113390794A - 用于检测表面上的水的设备和用于检测表面上的水的方法 - Google Patents

用于检测表面上的水的设备和用于检测表面上的水的方法 Download PDF

Info

Publication number
CN113390794A
CN113390794A CN202110275829.2A CN202110275829A CN113390794A CN 113390794 A CN113390794 A CN 113390794A CN 202110275829 A CN202110275829 A CN 202110275829A CN 113390794 A CN113390794 A CN 113390794A
Authority
CN
China
Prior art keywords
image
water
optical
bandwidth
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110275829.2A
Other languages
English (en)
Inventor
迪特里希·杜姆勒
哈拉尔德·高斯纳
沃尔夫冈·格纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN113390794A publication Critical patent/CN113390794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3554—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for determining moisture content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G01N21/211—Ellipsometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274—Calibration, base line adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3577—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing liquids, e.g. polluted water
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1738—Optionally different kinds of measurements; Method being valid for different kinds of measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G01N2021/1772—Array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G01N21/211—Ellipsometry
    • G01N2021/215—Brewster incidence arrangement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N2021/4704—Angular selective
    • G01N2021/4709—Backscatter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/123—Conversion circuit
    • G01N2201/1235—Measuring or displaying selectably absorbance or density
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本发明涉及一种用于识别表面上的水的设备以及一种用于识别表面上的水的方法。该设备包括光学传感器、处理器和附加光学传感器。光学传感器被配置为产生具有第一光学带宽的表面的第一图像，以及具有第二光学带宽的表面的第二图像，水在第一光学带宽中具有第一吸收率，水在第二光学带宽中具有高于第一吸收率的第二吸收率。处理器被配置为组合第一图像和第二图像以产生组合图像，其中与水相比，表面被减少或消除。此外，处理器被配置为检测组合图像中的水。附加光学传感器被配置为向处理器提供第三图像和第四图像。处理器被配置为在组合图像中使用第三图像和第四图像时检测水的聚集状态。

Description

用于检测表面上的水的设备和用于检测表面上的水的方法
技术领域
本申请涉及一种用于识别表面上的水的设备并且涉及一种用于识别表面上的水的方法。
背景技术
道路状况的识别对于安全驾驶至关重要。现代汽车借助温度和控制传感器来估计道路状况的一般风险。提出了使用不同的主要特征和结果主动识别道路上积水的几种原理。
例如，在RGB图片上，难以区分湿点与脏点，因为两者都仅仅是较暗的。虽然水是透明的，但由于改变光线的路径的几种效果，因此在RGB图片中容易看到水。可以将计算机视觉算法或物体检测算法应用于RGB图片，以定位道路上的异常(例如诸如水坑)。这种反射方法的优点包括以下事实：可以使用常见的图像传感器，从而使这种方法成为低成本解决方案，并且有可能进行定位和分类。当使用RGB相机时，不能确定诸如偏振和吸收之类的各种效果，因此，定位和分类方法的结果高度依赖于相应的情况并且是不可靠的。
另一种方法描述了测量表面的反向散射特点。表面的反向散射行为高度依赖于其粗糙度。水和冰比普通的道路材料(诸如沥青)光滑。光线的水平偏振部分的大部分被水或冰的表面反射，而光线的竖直部分则穿透水表面并散射在地面和/或冰晶上。使用偏振滤光器测量环境的这些反向散射特性为分类评估提供参考点。测量反向散射特性是廉价的解决方案，因为它允许使用包括简单偏振滤光器的常见图像传感器。此外，例如，这种解决方案使得有可能可靠地定位诸如水和冰之类的光滑区域。但是，只有在使用已知光源或偏振光源的情况下才能区分水与冰。然而，这种方法易受外部影响，诸如外部光和/或地下的变化。
给出的下一种方法是水的光谱吸收测量。水具有可识别出的吸收特点，并且在红外光谱的范围内吸收的能量比可见光的范围内吸收的能量多得多。在近红外(NIR)范围内，水显示出明显的吸收峰。当水开始形成晶体或冻结时，这些吸收峰中的一些表现出显著的移位。例如，使用特定的图像传感器(诸如基于来自III-V族的特定半导体的图像传感器)以提高光谱灵敏度允许测量NIR范围内的这些峰，从而提供用于区分水、冰与雪的简单方法。这种方法的优点是例如在例如水、冰、雪和干土之间的可靠分类。这种解决方案的缺点是例如昂贵的硬件、低分辨率和差的定位。
发明内容
因此，本发明的目的是提供用于可靠地识别表面上的水的概念。
这个目的通过如下所述的用于识别表面上的水的设备或通过如下所述的用于识别表面上的水的方法或通过如下所述的移动工具或通过如下所述的计算机程序来实现。
在一个方面，本发明提供了一种用于识别表面上的水的设备。该设备包括光学传感器、处理器和附加光学传感器。光学传感器用于产生具有第一光学带宽的所述表面的第一图像，以及具有第二光学带宽的所述表面的第二图像，所述水在所述第一光学带宽中具有第一吸收率，所述水在所述第二光学带宽中具有高于所述第一吸收率的第二吸收率。处理器用于组合所述第一图像和所述第二图像以产生组合图像，其中与所述水相比，所述表面被减少或消除，并用于检测所述组合图像中的所述水。附加光学传感器被配置为利用具有第一偏振角的第一偏振滤光器向所述处理器提供第三图像，并且利用具有第二偏振角的第二偏振滤光器向所述处理器提供第四图像，其中所述两个偏振滤光器关于它们的偏振角彼此不同。所述处理器被配置为在所述组合图像中使用所述第三图像和所述第四图像时检测所述水的聚集状态。
在另一方面，本发明提供了一种移动工具，其包括如上所述的用于识别表面上的水的设备以及接口，其中所述接口被配置为如果所述设备检测到所述水的固态状态则向驾驶员警告所述移动工具和/或影响对所述移动工具的控制。
在再一方面，本发明提供了一种在包括水的区域中区分水的液态或固态聚集状态的方法。所述方法包括：
获得具有第一光学带宽的表面的第一图像，获得具有第二光学带宽的所述表面的第二图像，所述水在所述第一光学带宽中具有第一吸收率，所述水在所述第二光学带宽中具有高于所述第一吸收率的第二吸收率，
组合所述第一图像和所述第二图像以获得组合图像，其中与所述水相比，所述表面被减少或消除，
检测所述组合图像中的所述水，
利用具有第一偏振角的第一偏振滤光器获得第三图像，利用具有第二偏振角的第二偏振滤光器获得第四图像，其中所述两个偏振滤光器关于它们的偏振角彼此不同，
评估所述第三图像和所述第四图像的包括水的区域的图片元素，并且
基于对所述图片元素的所述评估，检测所述水的所述聚集状态。
在又一方面，本发明提供了一种计算机程序，当所述计算机程序在计算机上运行时用于执行如上所述的在包括水的区域中区分水的液态或固态聚集状态的方法。
本发明的实施例提供了一种用于识别表面上的水的设备，该设备包括光学传感器和处理器。
光学传感器被配置为提供具有第一光学带宽的表面的第一图像，以及具有第二光学带宽的表面的第二图像，水在第一光学带宽中具有第一吸收率，水在第二光学带宽中具有高于第一吸收率的第二吸收率。
处理器被配置为组合第一图像和第二图像以产生组合图像，其中与水相比，表面被减少或消除。
此外，处理器被配置为检测组合图像中的水。
本发明的示例基于以下发现：相对测量优于绝对测量，以便减少例如外部影响因素(诸如环境和/或照明)对物理特性的测量的影响。在这种情况下，从例如通过使用几个光学滤光器执行的几次测量中提取物理参数(例如，吸收)。因此，设备提供了表面上的水的可靠识别。
为了利用水的吸收特点，设备通过使用光学传感器拍摄同一表面的两张图片，该光学传感器包括用于分别具有高和低吸水率的光谱范围的带通滤光器(bandpass filter，或称为带通滤光片或通带滤光片)。
其它材料在特定光谱范围内表现出恒定的吸收率，只有水会产生差异。外部影响因素(诸如地下的变化或照明)将对两个图片产生同等影响。
为了减少或消除背景，在实施例中，处理器被配置为逐像素地组合图像以提供组合图像。组合图像是一种水热图，像素示出水或冰的正概率。这也可以被称为“置信度”。
随后，仍将对所得的组合图像中的水进行检测。例如，在使用阈值时检测水，其中具有高于阈值的某个强度的像素被识别为水。
例如，该设备被配置为检测诸如道路之类的表面上的液态或固态水。
在实施例中，第一光学带宽选自400nm和900nm之间的光谱范围，并且第二光学带宽选自900nm和1200nm之间的光谱范围。CMOS传感器或基于硅的图像传感器的敏感度高达～1000nm，或者理论上高达～1102nm。在～900nm和～1000nm之间的相对宽的光谱范围是优选的。
与400nm和900nm之间的光谱范围相比，水的所有聚集状态在900nm和1200nm之间的光谱范围内均表现出增加的吸收率，而与水的吸收峰(～980nm处)相比，常见道路材料(诸如沥青)的吸收率在400nm和1200nm之间的整个光谱范围内保持可忽略不计。
第一光学带宽和第二光学带宽的上面提到的选择提供了图片之间包括水的区域中的像素强度的差异。
在实施例中，第一光学带宽在半宽度(half-width)处具有在820nm和870nm之间、840nm和880nm之间或850nm和890nm之间的值，并且第二光学带宽在半宽度处具有在920nm和970nm之间、940nm和980nm之间或950nm和990nm之间的值。
第一光学带宽和第二光学带宽的最优选择提供了图片之间包括水的区域中的像素强度的最大可能差异。
在实施例中，光学传感器具有被配置为减少或消除水平偏振光线的竖直偏振滤光器。
只要从水表面反射离开的射线的入射角接近Brewster角，从水表面反射离开的射线就主要被水平偏振，而穿透水的射线则主要被竖直偏振。不穿透水的射线不受水的吸收的影响。竖直偏振滤光器移除或消除了水平偏振的射线。由于在Brewster角附近，大多数水平偏振的光都经历镜面反射，因此可以使用竖直偏振滤光器来移除镜面反射。
在实施例中，光学传感器包括单色传感器或CMOS传感器或低成本硅传感器。这些特性不是互斥的。单色传感器不包括滤光器层或包括覆盖整个区域的滤光器层。当外部安装滤光器时，使用单色传感器。一旦以不同涂层的形式应用滤光器，传感器就不再是单色的。
普通的、廉价的基于硅的图像传感器被称为CMOS传感器。实际上，CMOS只是一种类型的设计。在实施例中，可以使用所有类型的设计，诸如CMOS或CCD。但是，也存在昂贵的基于III-V半金属的CMOS传感器。在实施例中，使用低成本的硅传感器，其灵敏度比更昂贵类型的传感器低。在大于1100nm的较高波长范围内灵敏的特定III-V半导体传感器是不必要的。
本发明的示例以低成本的常见CMOS图像传感器或不具有Bayer滤光器的不太复杂的单色图像传感器为特征。
在实施例中，光学传感器包括：第一个体传感器，其包括具有第一带宽的第一光学带通滤光器；以及第二个体传感器，其包括具有第二带宽的第二光学带通滤光器；光学传感器被配置为同时借助于第一个体传感器产生第一图像并借助于第二个体传感器产生第二图像。
在进一步的实施例中，光学传感器包括具有可交换的光学带通滤光器的第三个体传感器，可交换的光学带通滤光器包括具有第一带宽的第一光学带通滤光器和具有第二带宽的第二光学带通滤光器，光学传感器被配置为相继地借助于包括第一光学带通滤光器的第三个体传感器产生第一图像并借助于包括第二光学带通滤光器的第三个体传感器产生第二图像。
在实施例中，光学传感器包括第四个体传感器，该第四个体传感器包括滤光器层，该滤光器层被配置为将由第四个体传感器产生的图像的像素按行、按列或按棋盘方式划分为两组，其中具有第一带宽的第一光学带通滤光器布置在第一组的像素的上方，使得第一组的像素产生具有第一光学带宽的第一图像，而具有第二带宽的第二光学带通滤光器布置在第二组的像素的上方，使得第二组的像素产生具有第二光学带宽的第二图像。
设备的光学传感器被配置为尽可能同时提供具有第一带宽的第一图像和具有第二带宽的第二图像，从而在第一图像和第二图像中尽可能地对同一表面成像。在实施例中，通过包括几个带通滤光器的几个个体传感器、通过包括可交换的光学带通滤光器的个体传感器或通过包括滤光器层的个体传感器来满足这些要求。
在实施例中，处理器被配置为在组合第一图像和第二图像时使用逐像素商计算、逐像素差计算、逐像素归一化差计算或1与商计算之间的差计算。
设备的处理器被配置为在使用上述任何计算来产生合成图像时在逐像素的基础上组合图片。组合图像是一种水热图。组合图像的每个像素表示那个像素中水或冰的正概率值。这也可以被称为“置信度”。相反，在简单商的情况下，它可以表示像素中干燥表面的置信度。
在替代实施例中，不再主动地组合各个图片，而是将原始数据直接传递到经训练的模型，该模型基于原始数据做出决定。
在实施例中，处理器被配置为提供折叠图像。处理器被配置为通过使用像素窗口在逐像素的基础上或在逐块的基础上扫描具有像素的组合图像，以计算像素窗口的像素值的加权平均数，并根据加权平均数创建折叠图像，其中加权平均数在折叠图像中的位置与像素窗口在组合图像中的位置对应。这个步骤增加了信噪比(SNR)，其中信号是吸收差，并且噪声包括所有残差。
吸水率约为
Figure BDA0002976588920000051
这意味着对于深度为1mm且像素饱和度为255的水膜，最多只能吸收2.0·10-3·255＝0.51。
为了完全可测量吸收效果，相邻像素也结合在像素窗口中。像素窗口越大，吸收效果将被放大得更多，因而，所得的折叠图像或水热图也变得更模糊。例如，如果水坑只由单个像素或太少像素组成，那么它将不会被识别。
在实施例中，处理器被配置为将组合图像或从组合图像导出的折叠图像的各个像素的值与阈值进行比较。将具有与阈值表现出一定关系的值的像素检测为水。阈值决定是用于水检测的最简单解决方案之一。例如，可以通过“特征检测”实现更好的结果。
组合图像或折叠图像是一种水热图，其中像素表示水或冰出现的概率。
在水的定位或识别期间，将组合图像的值在逐像素的基础上与阈值进行比较。即，例如，可以在逐像素的基础上或者甚至经由“特征提取”(即，例如在使用神经网络时对连续区域的识别)使用阈值来做出最终决定。
在实施例中，设备包括被配置为向处理器提供信息的附加传感器。处理器被配置为在使用组合图像中的信息时检测水的聚集状态。
包括附加传感器的设备使得能够对潮湿区域、水坑和冰或积雪进行预防性定位和识别，以推断出牵引力丧失的实际危险或风险，这是安全驾驶和未来高级驾驶员辅助系统(ADAS)或自动驾驶车辆的关键特征。在实际牵引力丧失之前仅0.5秒进行预防性危害检测可以使ADAS防止驾驶员做出错误的紧急决定或抢先部署安全气囊，从而避免造成致命伤害。
单独进行吸收测量无法检测雪和混浊的冰。为此，反向散射方法提供定位，并且吸收测量被用作确认。因此，传感器不仅仅提供聚集状态信息。
在实施例中，附加传感器包括附加光学传感器。附加光学传感器被配置为利用具有第一偏振角的第一偏振滤光器提供第三图像和利用具有第二偏振角的第二偏振滤光器提供第四图像，这两个偏振滤光器的偏振角彼此不同。此外，附加光学传感器被配置为向处理器提供第三图像和第四图像。
吸收和反向散射测量的组合提供了可靠的特征，以在逐像素的基础上评估水或冰的存在。
对液态水的反射的偏振特点的分析表明光的高偏振比主要具有水平朝向，而冰晶散射光线并造成波的旋转。冰晶产生更加分散的偏振，朝向略有偏移。
偏振特性的差异使得实现水与冰之间的区别成为可能。
图像的不同偏振平面允许提取反向散射特性，即，偏振椭圆的相位、长轴和短轴。偏振平面的角偏移量在此无关紧要并且可以任意选择。
在实施例中，附加光学传感器具有包括偏振滤光器层的个体传感器。
偏振滤光器层被配置为以逐行、逐列或棋盘方式将由个体传感器产生的图片的图片元素划分为两组。在第一组的图片元素的上方，布置第一偏振滤光器，使得第一组的图片元素产生具有第一偏振角的第三图像。第二偏振滤光器被布置在第二组的图片元素的上方，使得第二组的图片元素产生具有第二偏振角的第四图像。
包括偏振滤光器层的附加光学传感器被配置为尽可能同时地利用第一偏振滤光器产生第三图像和利用第二偏振滤光器产生第四图像，使得尽可能在图片中对同一表面成像。
在实施例中，偏振滤光器的偏振角被布置为彼此偏移90°。具有0°和90°的偏振角的两个偏振滤光器就足够了。偏振角彼此偏移60°的三个偏振滤光器提供更高的准确度。
偏振平面的均匀分布允许详细提取偏振椭圆的长轴和短轴，从而使得更容易区分水与冰。
在实施例中，处理器被配置为在组合图像或从组合图像导出的折叠图像中检测包括水的区域。此外，处理器被配置为评估包括水的区域中来自第三和第四图像的图片元素，并检测水的聚集状态(即，包括水的区域包含水、液态水还是冰)。
吸收和反向散射测量的组合提供了可靠的特征，以在逐像素的基础上评估水或冰的存在。通过吸收测量来检测包括水的区域，并通过使用反向散射测量来评估区域中水的聚集状态。
在实施例中，处理器被配置为在评估第三和第四图像的图片元素时生成第三和第四图像的归一化的强度值。
而且，处理器被配置为在生成归一化的强度值时使用图片元素的值与第三和第四图像的图片元素的值之和的比较，以检测水的聚集状态。
处理器被配置为当第三和第四图像的归一化的强度值在包括第三和第四图像的归一化的强度值的均值的+/-10％的范围内时检测出水的聚集状态为冰，或者当来自第三和第四图像的归一化的强度值的归一化的强度值大于第三和第四图片的归一化的强度值的均值的1.5倍时检测出水的聚集状态为液态水。
将这三个图像在逐像素的基础上归一化为这三个图像的均值并彼此比较。可以被自动化的简单阈值决定可以总结如下。
冰表面表现出大的散射，因此，所有三个图像的图片元素将具有相似的归一化的强度值。如果所有三个图像的图片元素在同一区域中具有相似的归一化的强度值，那么该区域的图片元素将被识别为冰。
液态水的反射显示出主要具有水平朝向的光的高偏振比。如果图像的一个区域中的归一化的强度远高于同一区域中其它图像的强度，那么该区域的图片元素将被识别为水。
在实施例中，设备包括温度传感器，该温度传感器被配置为向处理器提供环境温度值，这允许处理器评估水的聚集状态。
附加温度传感器允许降低进一步的复杂性。如果环境温度远高于或远低于水的冰点，那么取决于环境温度，包括水的区域将被识别为水或冰。
在实施例中，处理器被配置为感测包括来自第一图像和第二图像的信息的状态值的集合，并且在使用人工智能元素或神经网络时根据该集合提供可变阈值。作为“特征检测”的变体，可以使用神经网络在逐像素的基础上找到更好的阈值，或者在完整图片中识别连续的形状。
此外，处理器被配置为在使用可变阈值时检测组合图像中的水或组合图像中的水的聚集状态。
在使用人工智能元素或神经网络时根据来自第一图像和来自第二图像的信息创建的可变阈值将在不同的环境情况下产生更好的识别率。
在实施例中，处理器被配置为感测包括来自第三图像和来自第四图像的信息的状态值的集合，并且在使用人工智能元素或神经网络时根据该集合提供可变阈值。
此外，处理器被配置为在使用可变阈值时检测组合图像中的水或组合图像中的水的聚集状态。
在使用人工智能元素或神经网络时根据来自第三图像和第四图像的信息创建的可变阈值将在不同的环境情况下将产生更好的识别率。
本发明的实施例提供了一种包括该设备和接口的移动工具。
设备包括被配置为向处理器提供信息的附加传感器。
设备的处理器被配置为在使用组合图像中的信息时检测水的聚集状态。
接口被配置为如果设备检测到水的固态状态，那么向驾驶员警告移动工具和/或影响对移动工具的控制。
移动工具的设备通过潮湿区域、水坑以及冰或积雪的预防性定位和识别以推断牵引力丧失的实际危险或风险来实现安全驾驶。在实际牵引力丧失之前进行预防性危害检测可以使ADAS经由接口向驾驶员警告或影响对移动工具的控制。
根据本发明的进一步的实施例提供了对应的方法。
在使用CMOS图像传感器时，根据本发明的实施例将表现出对道路上水和冰的危害的预防性识别。
附图说明
下面将参考附图更详细地解释根据本发明的实施例。关于示出的示意图，应当指出的是，示出的功能块应被理解为本发明设备的元件或特征以及本发明方法的对应方法步骤，并且也可以从中理解本发明方法的对应方法步骤。
图1示出了包括光学传感器和处理器的设备的实施例的示意图；
图2示出了包括光学传感器、附加光学传感器和处理器的设备的实施例的示意图；
图3a示出了包括设备和接口的移动工具的实施例的示意图；
图3b示出了包括设备的移动工具的实施例的示意图；
图4a示出了在400nm和1000nm之间的光谱范围内水的吸收特点的图；
图4b示出了在400nm和1200nm之间的光谱范围内的水的吸收特点的图；
图5示出了由设备的处理器执行的吸收测量的评估方法的示意图；
图6a示出了在包括水的表面之上没有滤光器的图像；
图6b示出了在包括水的表面之上的组合图像；
图7a示出了部分地穿透水并且部分地反射离开水表面的非偏振光线；
图7b示出了以不同入射角的垂直和平行偏振的光线的反射系数的图；
图7c示出了以不同入射角的竖直和平行偏振并从水表面反射离开的光线的反射系数比
Figure BDA0002976588920000091
的图；
图8a示出了由两个偏振平面定义的三个可能的偏振椭圆；
图8b示出了由三个偏振平面定义的偏振椭圆；
图8c示出了具有大水平偏振部分的液态水的偏振椭圆；
图8d示出了具有均匀偏振部分的固态水的偏振椭圆；
图8e示出了朝向不变的液态水的偏振椭圆；
图8f示出了朝向改变的固态水的偏振椭圆；
图9a示出了在具有水的表面之上具有第一偏振滤光器的图像；
图9b示出了在具有水的表面之上具有第二偏振滤光器的图像；
图9c示出了在具有水的表面之上具有第三偏振滤光器的图像；
图9d示出了在具有水的表面之上没有滤光器的图像；
图10示出了包括图像传感器和滤光器层的光学传感器；以及
图11示出了涉及三个不同相机或光敏区域的实施方式。
具体实施方式
在下面参考附图详细解释本发明的实施例之前，应当指出的是，具有相同功能或相同效果的完全相同的元件、对象和/或结构在不同的附图中提供有相同或相似的附图标记，使得在不同实施例中给出的这些元件的描述是可互换的或相互适用的。
图1示出了用于识别表面150上的水的设备100的实施例的示意图，设备100包括光学传感器110和联接到该光学传感器的处理器120。处理器120的输出是设备100的输出。
光学传感器110包括竖直偏振滤光器115、包括第一光学带通滤光器133的第一个体传感器123和包括第二光学带通滤光器136的第二个体传感器126。竖直偏振滤光器115不是必需的。
第一光学带通滤光器具有第一带宽，水在第一带宽中具有第一吸收率。第二光学带通滤光器具有第二带宽，水在第二带宽中具有高于第一吸收率的第二吸收率。
设备被配置为检测表面150上的水。如下面将进一步讨论的，光线160部分地穿透水并且部分地反射离开水表面。
竖直偏振滤光器115被配置为减少或消除以镜面方式从水表面反射离开的水平偏振射线。
未被减少的射线将到达包括第一光学带通滤光器133的第一个体传感器123或到达包括第二光学带通滤光器136的第二个体传感器126。
光学传感器110被配置为尽可能同时地借助于第一个体传感器123产生第一图像143并且借助于第二个体传感器产生第二图像146，使得尽可能地在第一图像和第二图像中对同一表面150成像。此外，传感器被配置为将第一图像和第二图像提供给处理器。
处理器被配置为提供作为第一图像和第二图像的组合的组合图像130，并检测或定位组合图像中的水，这将在下面进一步讨论。被检测到的包括水的区域140是处理器的输出或设备的输出。
图2示出了用于借助于光学传感器110、附加光学传感器210以及联接到光学传感器110和附加光学传感器210的处理器120来识别表面150上的水的聚集状态的设备200的实施例的示意图。处理器120的输出是设备200的输出。
处理器可以联接到可选的附加温度传感器230。
光学传感器110包括个体传感器123，其包括滤光器层233。如前视图233F中所指示的，滤光器层以逐行、逐列或棋盘方式被划分为两组。具有第一带宽的第一光学带通滤光器位于第一组中，并且具有第二带宽的第二光学带通滤光器位于第二组中。
第一光学带通滤光器具有第一带宽，水在第一带宽中具有第一吸收率，并且第二光学带通滤光器具有第二带宽，水在第二带宽中具有高于第一吸收率的第二吸收率。
附加光学传感器210包括个体传感器243，该个体传感器243包括偏振滤光器层253。类似于滤光器层233，偏振滤光器层253以逐行、逐列或棋盘方式被划分为三组。具有第一偏振角的第一偏振滤光器位于第一组中，具有第二偏振角的第二偏振滤光器位于第二组中，并且具有第三偏振角的第三偏振滤光器位于第三组中。
设备200被配置为检测表面150上的水的聚集状态。
光学传感器110被配置为产生具有第一带宽的第一图像143和具有第二带宽的第二图像146。
附加光学传感器210被配置为利用第一偏振滤光器产生第三图像263，利用第二偏振滤光器产生第四图像266以及利用第三偏振滤光器产生第五图像269。
光学传感器110和附加光学传感器210被配置为将第一、第二、第三、第四和第五图像143、146、263、266、269提供给处理器120。
可选的温度传感器230被配置为向处理器提供环境温度值。如果环境温度远高于或远低于水的冰点，那么取决于环境温度，包括水的区域将被识别为水或冰。
处理器120被配置为基于第一和第二图像来评估吸收测量280并检测表面150上的水。此外，处理器120被配置为在使用第三、第四和第五图像时评估反向散射测量290，并检测包括水的区域中水的聚集状态。下面将进一步解释吸收测量的评估方法280和反向散射测量的评估方法290的特性。
包括水的区域中的检测到的聚集状态240是处理器的输出或设备的输出。
图3a示出了具有设备200和联接到该设备的接口310的移动工具300的实施例的示意图。
如在图2中所解释的，设备200被配置为检测表面150上的包括水的区域中的聚集状态。
接口310被配置为如果设备检测到水的固态状态则向驾驶员320警告移动工具和/或抢先影响对移动工具的控制。
移动工具300的设备200通过抢先识别和定位道路上的潮湿区域、水坑以及冰或积雪并在环境温度接近水的冰点时对聚集状态进行分类来实现安全驾驶。对于未来的高级驾驶员辅助系统(ADAS)或自动驾驶车辆，推断牵引力丧失的实际危险或风险是一项关键特征。
可替代地，图3b示出了包括设备200的移动工具300的第二实施例的示意图。包括图像传感器的设备200在1.40m的相机高度处可以向前看5m和100m之间。例如，如果设备要向前看100m，那么入射角330大约为～89°。
图4a示出了在400nm和1000nm之间的光谱范围内的水的吸收特点410的图400。900nm和1000nm之间的光谱范围具有高吸收率并通过窗口420突出显示。
图4b示出了在400nm和1200nm之间的光谱范围内的水的吸收特点410的图450。900nm和1200nm之间的光谱范围有两个吸收峰。设备200在900和1000nm之间的波长范围内是灵敏的。在>1100nm的更高波长范围内灵敏的特定III-V半导体图像传感器是不必要的。
如在图1中所解释的，设备100利用水的吸收特点。设备100的光学传感器110借助于带通滤光器133、136分别针对具有高和低吸水率的光谱范围在同一表面150之上拍摄两个图片143、146。在第一图像143和第二图像146中包括水的区域被不同地成像。
由于例如其它环境材料(诸如沥青)在400nm和1200nm之间的光谱范围内表现出一致的吸收率，因此外部影响因素(诸如改变背景或照明)将例如同等地影响两个图片。
为了减少或消除背景，或者为了突出显示包括水的区域，设备100的处理器120被配置为将图片143、146彼此组合。通过最优地选择第一光学带通滤光器133的第一光学带宽和第二光学带通滤光器136的第二光学带宽，提供了图片之间包括水的区域中像素强度的最大可能差异。
水的吸收峰在约980nm处，因此在900和1000nm之间的波长范围内使用第一带通滤光器。实际上，第二带通滤光器可在400和900nm之间的波长范围内自由选择。
在最优选择中，第一光学带宽在半宽度处可以具有例如在820nm和870nm之间、840nm和880nm之间或850nm和890nm之间的值，并且第二光学带宽在半宽度处可以具有例如在920nm和970nm之间、940nm和980nm之间或950nm和990nm之间的值。
图5示出了由图2中的设备200的处理器120执行的吸收测量的评估方法280的示意图。
作为起点，示出了表面510，其被水520部分地覆盖，诸如具有水坑的道路。
作为第一步，设备200的光学传感器110产生具有第一光学带宽的第一图像143，并且产生具有第二光学带宽的第二图像146，水520在第一光学带宽中具有第一吸收率，水在第二光学带宽中具有高于第一吸收率的第二吸收率。
由于吸收率不同，在第一图像143和第二图像146中对包括水520的区域进行了不同的成像。在第二图像146中，包括水520的区域明显更暗。
作为第二步，设备200的处理器120从第一图像143和第二图像146产生组合图像530。在这种情况下，在逐像素组合中使用逐像素商计算。组合的其它方法可以包括逐像素差计算、逐像素归一化差计算或1与商计算之间的差计算。
组合图像或逐像素商计算的结果是一种热图，因此商值偏离1.0越多，在那里检测到水或冰的可能性越大。
作为第三步，设备200的处理器120检测或定位包括水的区域。可以在逐像素的基础上或经由“特征提取”(即，连续区域的识别)用阈值来执行定位或检测包括水的区域作为最终决定。检测到的包括水的区域140是设备200的评估方法280的输出。
在此应当注意的是，吸水率约为
Figure BDA0002976588920000131
即，像素饱和度为255的1mm深的水膜最多只能吸收2.0·10-3·255＝0.51。
为了完全可测量吸收效果，相邻像素也结合在像素窗口中。像素窗口越大，吸收效果将被放大得更多，因而，所得的折叠图像或水热图也变得更模糊。例如，如果水坑只由单个像素或太少像素组成，那么它将不会被识别。
此外，在下面的示例中将更详细地解释简单差计算与简单商计算之间的差异。
作为起点，选择具有亮和暗区域的表面，该表面被水膜覆盖。在水吸收几乎可以忽略不计的光谱范围内，对于亮区域获得例如200的实测值，并且对于暗区域获得例如50的实测值。在水吸收到显著程度的光谱范围内，例如对于亮区域得到0.8·200＝160的读数并且对于暗区域得到0.8·50＝40的读数。
现在，对于亮区域，差为40，并且对于暗区域，差为10，这将导致在亮区域上存在更多的水的错误结论。
但是，对于这两个区域，商都导致0.8的值。在进行商计算的情况下，干燥区域与1.0的值对应。
例如，差的逐像素归一化也是可能的，例如
Figure BDA0002976588920000132
然后将简单地为1-商。值i1(x,y)和i2(x,y)表示位置x,y处的第一图像和第二图像的个体像素强度值。
图6示出了由设备100执行的吸收测量的示例性场景。图6a示出了原始表面，即，没有滤光器的图片，其具有包括水610a的区域。
图6b示出了组合图像或折叠图像。通过在具有900nm和1000nm之间的光谱范围的第一图像143与具有在800nm和900nm之间的光谱范围的第二图像146之间进行逐像素商计算来产生组合图像。为了能够产生缩小的图片，通过5×5像素窗口对像素求平均。
在示例中，使用了以下带通滤光器：
·850nm CWL，50nm FWHM带通滤光器和400-2200nm竖直偏振滤光器，其对比度为400:1，以及
·950nm CWL，50nm FWHM带通滤光器和400-2200nm竖直偏振滤光器，其对比度为400:1。
用简单的阈值评估了组合图像。例如，可以在使用以下函数时定义阈值决定：
max(round(i(x,y)-0.4),1.0)
图片中干燥区域或乳白色区域为浅色或白色，并且具有大于0.9的值。小于0.9的值在图片中为暗色或黑色并被识别为水。干净/潮湿的冰的吸收就像水一样。
光可能无法穿透乳白色的冰或雪，因此乳白色的冰或雪对吸收率没有影响。
组合图像中包括水610b的区域清晰可见。此外，树木在水面上的反射几乎不会影响吸收测量。组合图像校正测量，以改变外部影响(诸如地下材料、照明或水体中反射的变化的环境)。
干净的冰就像水一样。
这种吸收测量方法被配置为应对未知光源。唯一的要求是光源在近红外(NIR)范围内(即，低于1000nm)具有足够的能量。在阳光下完全没有问题，并且在晚上，例如汽车大灯(诸如卤素灯)就足够了。
水的吸收峰在980nm左右，因此在900和1000nm之间的波长范围内使用第一带通滤光器。
实际上，第二带通滤光器可在400和900nm的波长范围内自由选择。在实施例中，第二带通滤光器在800和900nm之间的波长范围内。
因此，简单地说，比较两种颜色。但是，所使用的光学带通滤光器133、136不在可见范围内。所使用的光学传感器110(例如CMOS传感器)没有Bayer滤光器涂层，因此是单色的。红、绿、蓝(R-G-B)这三种颜色仅是带通滤光器，波长范围为～600-700nm、～500-600nm、～400-500nm。
图7示出了由设备100检测到的水760的反射特点。所有形式的水都表现出显著的镜面反射，这造成偏振效应。
图7a示出了部分地穿透水760并且部分地反射离开水表面的非偏振光线710。
图7b示出了以不同的入射角740的垂直(TE)753和平行(TM)756偏振并且反射离开水表面的光线的反射系数的图。垂直于水表面的入射角的值为0°。此外，Brewster角750对于水大约为53°，也在图7b中标记。利用Brewster角750，反射的射线100％被水平偏振。只要反射的射线的入射角740接近Brewster角750，反射的射线730就将100％被水平偏振。
图7c示出了以不同的入射角740的竖直和平行偏振并且反射离开水表面的光线的反射系数比
Figure BDA0002976588920000141
的图。偏振率在Brewster角750(即，约～53°处)处具有最大值。
在图7a中，反射离开水表面的光线730主要被水平偏振，而穿透光线720主要被竖直偏振。
仅穿透光线720受水的吸收的影响。以镜面方式反射的水平偏振的射线730与吸收测量不相关，或甚至干扰吸收测量。利用竖直偏振滤光器(诸如图1中的竖直偏振滤光器115)，有可能减少或消除以镜面方式反射的水平偏振的射线730。
如图7b中所示，只要反射的射线的入射角740接近Brewster角750，竖直偏振滤光器就仍然是有利的，因为在此反射的射线730被100％水平偏振。入射角越远离Brewster角，偏振滤光器的效果就越小。
如果移动工具(例如，图3中的移动工具300)的图像传感器想要在1.40m的相机高度处向前看100m，那么入射角将约为～89°。
在下文中，将解释反向散射测量。在使用第三、第四和第五图像时，由设备200的处理器120执行反向散射测量的评估290，这三个图像在其偏振平面方面彼此不同。
图像的偏振角可以被表示为偏振椭圆。图8a示出了不能基于两个偏振平面810、820来明确地确定偏振椭圆，因为总是存在三个可能的解830、840、850。借助于两个偏振平面，仍然有可能训练出实现可能结果的模型。
图8b示出了定义偏振椭圆890的三个偏振平面860、870、880。三个偏振平面860、870、880均匀地分布，并且偏振平面的角偏移量在此无关紧要。
图8c和8d示出了由图2中的设备200的处理器120执行的反向散射特点的评估290或分类。在反向散射特点的评估290中，偏振椭圆的长轴与短轴之间的关系是重要的。在此，在大多数情况下，两个偏振滤光器(0°和90°)就足够了。第三滤光器允许提高准确度。椭圆的倾斜度很大程度上取决于环境光，因此难以使用。
如在图7a中所解释的，反射离开水表面的射线主要被水平偏振。图8c示出了具有大的水平偏振比例的液态水的偏振椭圆。
冰晶散射光线并旋转偏振椭圆。结果是朝向稍有移位的更加分散的偏振。图8d示出了具有均匀偏振分量的固态水的偏振椭圆。
偏振椭圆的旋转取决于照明。在均匀照明下，偏振椭圆的旋转也是均匀的，并且可以被用作特征。
图8f示出了，利用均匀照明，冰晶散射光线并旋转偏振椭圆。同时，图8e示出了水的偏振椭圆，朝向没有任何改变。
图9示出了具有三个示例性表示和一个原始图片的示例性的反向散射测量的场景。图9d示出了原始表面，即，没有滤光器的图片。图9d示出了具有干燥区域920、包括水910的区域以及两个冰表面930的道路表面。
图9a、9b、9c分别示出了第三、第四和第五图像，这三个图像在其偏振平面方面彼此不同。图9a-c是假彩色表示。在此，将来自偏振滤光器的图片放置在R(+60°)、G(0°)、B(-60°)上，以使效果更生动。在此，白色(R～G～B)是冰，绿色(R<G>B)是水，而紫色(R>G<B)是干燥的。
示例中使用了以下偏振滤光器：
·400-2200nm偏振滤光器，在0°(水平)处对比度为400:1。
·400-2200nm偏振滤光器，在60°处对比度为400:1。
·400-2200nm偏振滤光器，在120°处对比度为400:1。
反向散射测量独立于吸收测量。在此，将所拍摄的三个图片在逐像素的基础上归一化为三个图片的平均值并彼此进行比较。在归一化中，使用以下等式：
Figure BDA0002976588920000161
其中p1N表示第一图像的归一化的像素，并且p1、p2和p3表示第三、第四和第五图像的各个图片-元素值。
在这种情况下，简单的阈值决定将是例如：如果p0>>p60并且p0>>p120，那么是水，或者如果p0～＝p60～＝p120，那么是乳白色的冰/雪，或者如果p0>p60～＝p120，那么是干净的冰。值p0、p60和p120表示第三、第四和第五图像的各个图片-元素值。
在第一种方案中，简单地组合各种方法的热图。反向散射方法测量表面散射，并将任何光滑的物体解释为水。吸收方法将忽略这一点。
仅当吸收率高并且反向散射测量确定几乎没有散射或表面光滑时，手边的才是液态水。
在干净的冰的情况下，逻辑是不同的。当吸收率高(即，存在水)而反向散射测量显示示出高散射时，手边的是干净的冰。
浑浊的冰/雪难以通过吸收检测到，但是更容易通过反向散射检测到，因为它表现出没有吸收，但是散射非常高。
可以通过使用评估相邻像素的算法以及考虑到所有周围环境的经训练的决策模型来改善吸收方法。为了涵盖不同情况，此处借助于机器学习来训练模型。对于尺寸为32×32像素的图像区段，识别率达到98％，并且在与现场测试数据进行交叉验证时，识别率仍然达到非常好的85％。当使用还评估形状的神经网络时，以及当用现场测试数据执行训练时，将再次实现95％以上。
图10示出了包括图像传感器1020并包括滤光器层1010的光学传感器1000的实施例的示意图。滤光器层1010位于图像传感器1020上方。图像传感器被划分为像素1030。
在逐像素的基础上将滤光器层均匀划分为四个不同的滤光器组，为F1、F2、F3、F4。例如，滤光器组F1和F2可以包括带通滤光器，而滤光器组F3和F4可以包括偏振滤光器。
光线1040将到达滤光器层1010。图像传感器1020的像素1030将接收来自滤光器层1010的不同滤光器组F1、F2、F3、F4的经滤光的光线。由个体传感器产生的图像被滤光器组F1、F2、F3、F4划分为四个图片1060、1070、1080、1090，并将图像提供给处理器。
光学传感器1000可以代替设备200中的传感器110和210。
尽管已经在设备的上下文中描述了一些方面，但是应该理解的是，所述方面也表示对相应方法的描述，因此，设备的块或结构组件也应该被理解为对应的方法步骤或理解为方法步骤的特征。通过类推，已经结合方法步骤或作为方法步骤描述的方面也表示对对应设备的对应块或细节或特征的描述。方法步骤中的一些或全部可以由硬件设备执行(或在使用硬件设备时执行)。在一些实施例中，可以由这种设备执行最重要的方法步骤中的一些或几个。
图11示出了涉及三个不同相机或光敏区域的实施方式。第一相机1101、第二相机1102和第三相机1103彼此紧邻布置，以感测由Xi示出的相同的光。第一相机1101具有两个滤光器层1101a和1101b。第二相机1102具有两个滤光器层1102a和1102b，并且第三相机1103具有两个滤光器层1103a和1103b。滤光器或滤光器层1101a和1103a是完全相同的，并且关于第一波长λ1进行滤光。滤光器层1102a或滤光器1102a关于不同波长λ2进行滤光。而且，滤光器或滤光器层1101b、1102b和1103b是偏振滤光器，其元件1101b和1102b是完全相同的并且关于第一偏振φ1进行滤光，而元件1103b关于第二偏振φ2进行滤光。每个相机和/或光敏区域1101、1102、1103的结果在1104处绘出。已经产生了三个图像，每个图像包括偏振(φ1，φ2)和吸收(λ1和λ2)的不同组合。
对于评估方法，要求
Figure BDA0002976588920000171
和ΔXλ，如等式1105的方框的左侧的括号中所呈现的。在4相机/滤光器系统中，尺寸是直接获得的。在图11中所示的本3相机系统中，尺寸由另一个滤光器附加地衰减，如等式1105的方框中的左侧所示，因为尺寸
Figure BDA0002976588920000172
和ΔXλ被由λ1()绘出的第一吸收滤光器衰减，和/或由φ1()绘出的第一偏振滤光器衰减。但是，由于这两个滤光器λ1()和φ1()是已知的，因此等式1105的左侧的表达式被计算回到原始响应
Figure BDA0002976588920000173
和ΔXλ。
应注意的是，该布置是否包括三个专用相机或具有3个区域(像素)和/或每个像素三个区域1102、1102、1103的一个芯片无关紧要。
在图11的优选实施例中，使用以下：
Figure BDA0002976588920000174
Figure BDA0002976588920000175
λ1＝850nm(带通50nm FWHM)
λ2＝950nm(带通50nm FWHM)
因此，优选设备包括具有光敏区域(1101、1102、1103)的光学传感器，用于产生具有第一光学带宽(λ1)的表面的第一图像(X01)和具有第二光学带宽(λ2)的表面的第二图像(X02)。而且，附加光学传感器被配置为将具有第一偏振滤光器的第三图像(X01)提供给处理器，并将具有第二偏振滤光器的第四图像(X03)提供给处理器。此外，处理器被配置为从第一图像和第三图像确定差(X01-X02)，并在使用第一偏振滤光器时计算组合图像。此外，处理器被配置为从第三图像和第四图像确定另外的差(X01-X03)，并且在使用第一吸收滤光器时计算偏振差(ΔXλ)，以便使用偏振差(ΔXλ)用于评估包括水的区域。
在所述3相机/元件解决方案的情况下，为了本申请的目的而提及的第一图像与第三图像是相同的图像。但是，第二图像和第四图像是不同的感光区域1102和1103的不同图像。此外，应注意的是，组合图像因此不一定可以通过简单差来获得，但是可以通过处理差来获得，可能在如图11的实施例中那样使用滤光器时获得。
取决于特定的实施方式要求，本发明的实施例可以以硬件或软件来实现。可以使用数字存储介质来执行该实施方式，数字存储介质例如是软盘、DVD、蓝光盘、CD、ROM、PROM、EPROM、EEPROM或闪存、硬盘，或任何其它其上存储有电子可读控制信号的磁性或光学存储介质，它们可以与可编程计算机系统进行交互，或者实际上可以与可编程计算机系统进行交互，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。
因此，根据本发明的一些实施例包括具有电子可读控制信号的存储介质，其能够与可编程计算机系统进行交互，使得执行本文所述的任何方法。
一般而言，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作以执行任何方法。
例如，程序代码也可以存储在机器可读介质上。
其它实施例包括用于执行本文描述的任何方法的计算机程序，其中该计算机程序被存储在机器可读介质上。
换句话说，本发明的方法的实施例因此是计算机程序，该计算机程序包括当计算机程序在计算机上运行时用于执行本文描述的任何方法的程序代码。
因此，根据本发明的方法的另一个实施例是数据载体(或数字存储介质或计算机可读介质)，其上记录有用于执行本文描述的任何方法的计算机程序。
因此，本发明的方法的另一个实施例是表示用于执行本文描述的任何方法的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为通过数据通信链路(诸如通过互联网)被传送。
另一个实施例包括被配置为或适于执行本文描述的任何方法的处理设备，诸如计算机或可编程逻辑设备。
另一个实施例包括计算机，其上安装了用于执行本文描述的任何方法的计算机程序。
根据本发明的另一个实施例包括被配置为将用于执行本文描述的方法中的至少一个的计算机程序传输到接收器的设备或系统。传输可以是例如电子的或光学的。接收器可以是例如计算机、移动设备、存储设备或类似设备。该设备或系统可以包括例如用于将计算机程序传输到接收器的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列、FPGA)可以被用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器进行交互以执行本文描述的任何方法。一般而言，在一些实施例中，这些方法是在任何硬件设备的一部分上执行的。这可以是通用硬件(诸如计算机处理器(CPU))，或者是专用于该方法的硬件(诸如ASIC)。
上述实施例仅仅是说明本发明的原理。应该理解的是，本文描述的布置和细节的修改和变化对于本领域的其他技术人员将是显而易见的。因此，意图是本发明仅由下面的权利要求的保护范围来限制，而不是由通过本文的实施例的描述和解释而给出的具体细节来限制。
文献：
A.L.Rankin,L.H.Matthies和P.Bellutta(2011),"Daytime water-detectionbased on sky reflections",Robotics and Automation(ICRA 2011IEEE InternationalConference on.IEEE,2011,第5329-5336页
C.V.Nguyen,M.Milford,R.Mahony(2017):"3[)tracking of water hazardswith polarized stereo cameras",2017IEEE International Conference on Roboticsand Automaton(ICRA)Singapore,5月29日–6月3日,2017
V.Vikari,T.Varpula,and M.Kantanen(2009),"Road-condition recognitionusing 24-GHz automotive radar",IEEE Transactions on IntelligentTransportation Systems,第10卷,第4期,第639-648页,2009
J.Casselgren,S.Rosendahl,M.Sjòdahl,P.Jonsson(2015),"Road conditionanalysis using NIR illumination and compensating for surrounding light",Optics and Lasers in Engineering 77(2016)第175-182页
A near-infrared optoelectronic approach to detection of roadconditions L.Colace,F.Santoni,G.Assanto,NooEL-Nonlinear Optics andOptoElectronics Lab,University"Roma Tre",Via della Vasca Navale 84,00146Rome,Italy
3D tracking of water hazards with polarized stereo cameras
Chuong V.Nguyen1,Michael Milford2和Robert Mahony
A Lane Detection Vision Module for Driver Assistance
A.L.Rankin,L.H.Matthies和P.Bellutta(2011),"Daytime water-detectionbased on sky reflections",Robotics and Automation(ICRA 2011IEEE InternationalConference on.IEEE,2011,第5329-5336页
C.V.Nguyen,M.Milford,R.Mahony(2017):"3[)tracking of water hazardswith polarized stereo cameras",2017IEEE International Conference on Roboticsand Automaton(ICRA)Singapore,5月29日–6月3日,2017
V.Vikari,T.Varpula,and M.Kantanen(2009),"Road-condition recognitionusing 24-GHz automotive radar",IEEE Transactions on IntelligentTransportation Systems,第10卷,第4期,第639-648页,2009
J.Casselgren,S.Rosendahl,M.Sjòdahl,P.Jonsson(2015),"Road conditionanalysis using NIR illumination and compensating for surrounding light",Optics and Lasers in Engineering 77(2016)第175-182页
A near-infrared optoelectronic approach to detection of roadconditions L.Colace,F.Santoni,G.Assanto,NooEL-Nonlinear Optics andOptoElectronics Lab,University"Roma Tre",Via della Vasca Navale 84,00146Rome,Italy
3D tracking of water hazards with polarized stereo cameras
Chuong V.Nguyen1,Michael Milford2和Robert Mahony
A Lane Detection Vision Module for Driver Assistance
作者:
Figure BDA0002976588920000212
Kristijan；Williams,Brian；Kolski,Sascha；Siegwart,Roland
Daytime Water Detection Based on Color Variation
Arturo Rankin和Larry Matthies
Daytime Water Detection Based on Sky Reflections
Arturo L.Rankin,Larry H.Matthies和Paolo Bellutta
Detecting water hazards for autonomous off-road navigation
Larry Matthies*,Paolo Bellutta,Mike McHenry
Ice detection on a road by analyzing tire to road friction ultrasonicnoise
D.Gailius,S.
Figure BDA0002976588920000211
Ice formation detection on road surfaces using infrared thermometry
Mats Riehm,
Figure BDA0002976588920000213
Gustavsson,
Figure BDA0002976588920000214
Bogren,Per-Erik Jansson
Wet Area and Puddle Detection for Advanced Driver Assistance Systems
(ADAS)Using a Stereo Camera
Jisu Kim,Jeonghyun Baek,Hyukdoo Choi,and Euntai Kim*
MULTISPECTRAL IMAGING OF ICE
Dennis Gregoris,Simon Yu and Frank Teti
Near field ice detection using infrared based optical imagingtechnology
Hazem Abdel-Moati,Jonathan Morris,Yousheng Zeng,Martin Wesley CorieII,Victor GarasYanni
New System for Detecting Road Ice Formation
Amedeo Troiano,Eros Pasero,Member,IEEE和Luca Mesin
Selection of optimal combinations of band-pass filters for icedetection by hyperspectral imaging
Shigeki Nakauchi,Ken Nishino和Takuya Yamashita
A Sensor for the Optical Detection of Dangerous Road Condition
Armando Piccardi和Lorenzo Colace
Polarization-Based Water Hazards Detection for
Autonomous Off-road Navigation
Bin Xie,Huadong Pan,Zhiyu Xiang,Jilin Liu
Road condition analysis using NIR illumination and compensating forsurrounding light
Johan Casselgren,SaraRosendahl,Mikael
Figure BDA0002976588920000221
,PatrikJonsson
Self-Supervised Segmentation of River Scenes
Supreeth Achar,Bharath Sankaran,Stephen Nuske,Sebastian Scherer和Sanjiv Singh.

Claims (21)

1.一种用于识别表面(150)上的水(520，610a，610b，760，910)的设备(100，200)，包括：
光学传感器(110，1000)，用于产生具有第一光学带宽的所述表面的第一图像(143)，以及具有第二光学带宽的所述表面的第二图像(146)，所述水在所述第一光学带宽中具有第一吸收率，所述水在所述第二光学带宽中具有高于所述第一吸收率的第二吸收率；
处理器(120)，用于组合所述第一图像和所述第二图像以产生组合图像(130，530)，其中与所述水相比，所述表面被减少或消除，并用于检测所述组合图像中的所述水；以及
附加光学传感器，被配置为利用具有第一偏振角的第一偏振滤光器向所述处理器提供第三图像，并且利用具有第二偏振角的第二偏振滤光器向所述处理器提供第四图像，其中所述两个偏振滤光器关于它们的偏振角彼此不同，并且
其中所述处理器被配置为在所述组合图像中使用所述第三图像和所述第四图像时检测所述水的聚集状态。
2.如权利要求1所述的设备，其中所述第一光学带宽包括选自400nm和900nm之间的光谱范围的带宽；并且所述第二光学带宽包括选自900nm和1200nm之间的光谱范围的带宽。
3.如权利要求1所述的设备，其中所述第一光学带宽在半宽度处具有在820nm和870nm之间的值；并且所述第二光学带宽在所述半宽度处具有在920nm和970nm之间的值。
4.如权利要求1所述的设备，其中所述光学传感器包括被配置为减少或消除水平偏振光线的竖直偏振滤光器(115)。
5.如权利要求1所述的设备，其中所述光学传感器包括基于硅的图像传感器、单色传感器或CMOS传感器。
6.如权利要求1所述的设备，其中所述光学传感器包括第一个体传感器(123，126，1020)和第二个体传感器(123，126，243，1020)，所述第一个体传感器包括具有所述第一带宽的第一光学带通滤光器(133，136，233，F1，F2，F3，F4)，所述第二个体传感器包括具有所述第二带宽的第二光学带通滤光器(133，136，F1，F2，F3，F4)，
其中所述光学传感器被配置为同时借助于所述第一个体传感器产生所述第一图像并同时借助于所述第二个体传感器产生所述第二图像；或者
其中所述光学传感器包括第三个体传感器，所述第三个体传感器包括可交换的光学带通滤光器，所述可交换的光学带通滤光器包括具有所述第一带宽的所述第一光学带通滤光器和具有所述第二带宽的所述第二光学带通滤光器，其中所述光学传感器被配置为相继地借助于包括所述第一光学带通滤光器的所述第三个体传感器产生所述第一图像并借助于包括所述第二光学带通滤光器的所述第三个体传感器产生所述第二图像；或者
其中所述光学传感器包括第四个体传感器，所述第四个体传感器包括滤光器层(233，1010)，其中所述滤光器层被配置为将由所述第四个体传感器产生的所述图像的像素按行、按列或按棋盘方式划分为两组，其中具有所述第一带宽的所述第一光学带通滤光器布置在第一组的像素的上方，使得所述第一组的所述像素产生具有所述第一光学带宽的所述第一图像，而具有所述第二带宽的所述第二光学带通滤光器布置在第二组的像素的上方，使得所述第二组的所述像素产生具有所述第二光学带宽的所述第二图像。
7.如权利要求1所述的设备，其中所述处理器被配置为在组合所述第一图像和所述第二图像时使用逐像素商计算、逐像素差计算、逐像素归一化差计算或1与商计算之间的差。
8.如权利要求1所述的设备，其中所述处理器被配置为产生折叠图像，
其中所述处理器被配置为通过使用像素窗口在逐像素的基础上或在逐块的基础上扫描具有像素的所述组合图像，以计算所述像素窗口的所述像素的值的加权平均数，并根据所述加权平均数产生折叠图像，其中所述加权平均数在所述折叠图像中的位置与所述像素窗口在所述组合图像中的位置匹配。
9.如权利要求1所述的设备，其中所述处理器被配置为将所述组合图像或从所述组合图像导出的折叠图像的各个像素的值与阈值进行比较，其中将具有与所述阈值具有一定关系的值的像素检测为水，或执行特征检测以检测水。
10.如权利要求1所述的设备，其中所述附加光学传感器包括个体传感器，所述个体传感器包括偏振滤光器层(253)，其中所述偏振滤光器层被配置为将由所述个体传感器产生的图像的图片元素以逐行、逐列或棋盘方式划分为两组，其中所述第一偏振滤光器布置在第一组的图片元素的上方，使得所述第一组的所述图片元素产生具有所述第一偏振角的所述第三图像，并且所述第二偏振滤光器布置在第二组的图片元素的上方，使得所述第二组的所述图片元素产生具有所述第二偏振角的所述第四图像。
11.如权利要求1所述的设备，其中所述光学传感器(1000)和所述附加光学传感器被配置在包括滤光器层(1010)的个体传感器(1020)中，其中所述滤光器层(1010)被配置为将由所述个体传感器产生的图像的图片元素以逐行、逐列或棋盘方式划分为四组，
其中具有所述第一带宽的所述第一光学带通滤光器(F1)布置在第一组的像素的上方，使得所述第一组的所述像素产生具有所述第一光学带宽的所述第一图像，
其中具有所述第二带宽的所述第二光学带通滤光器(F2)布置在第二组的像素的上方，使得所述第二组的所述像素产生具有所述第二光学带宽的所述第二图像，
其中所述第一偏振滤光器(F3)布置在第三组的图片元素的上方，使得所述第三组的所述图片元素产生具有所述第一偏振角的所述第三图像，并且
其中所述第二偏振滤光器(F4)布置在第四组的图片元素的上方，使得所述第四组的所述图片元素产生具有所述第二偏振角的所述第四图像。
12.如权利要求1所述的设备，其中所述偏振滤光器的所述偏振角被布置为彼此偏移90°。
13.如权利要求1所述的设备，其中所述处理器被配置为
在所述组合图像或从所述组合图像导出的折叠图像中检测包括水的区域，
评估包括水的所述区域中来自所述第三图像和所述第四图像的图片元素，并且
检测所述水的聚集状态，包括水的所述区域是具有液态水还是具有冰。
14.如权利要求13所述的设备，其中所述处理器被配置为
在评估所述第三图像和所述第四图像的所述图片元素时，生成所述第三图像和所述第四图像的归一化的强度值，
在生成所述归一化的强度值时，使用所述图片元素的值与所述第三图像和所述第四图像的所述图片元素的值之和的比较，
检测所述水的所述聚集状态，所述处理器被配置为
当所述第三图像和所述第四图像的所述归一化的强度值在包括所述第三图像和所述第四图像的所述归一化的强度值的均值的+/-10％的范围内时，检测出所述水的聚集状态为冰，或者
当来自所述第三图像和所述第四图像的所述归一化的强度值的归一化的强度值大于所述第三图像和所述第四图像的所述归一化的强度值的所述均值的1.5倍时，检测出所述水的所述聚集状态为液态水。
15.如权利要求1所述的设备，包括温度传感器(230)，所述温度传感器(230)被配置为向所述处理器提供环境温度值，借助于此，所述处理器可以评估所述水的聚集状态。
16.如权利要求1所述的设备，其中所述处理器被配置为
感测包括来自所述第一图像和所述第二图像的信息的状态值的集合，并且在使用人工智能元素或神经网络时根据所述集合提供可变阈值，并且
在使用所述可变阈值时检测所述组合图像中的水或所述组合图像中的所述水的聚集状态。
17.如权利要求1所述的设备，其中所述处理器被配置为
感测包括来自所述第三图像和来自所述第四图像的信息的状态值的集合，并且在使用人工智能元素或神经网络时根据所述集合提供可变阈值，并且
在使用所述可变阈值时检测所述组合图像中的水或所述组合图像中的所述水的聚集状态。
18.如权利要求1所述的设备，其中所述光学传感器包括光敏区域(1101，1102，1103)，用于产生具有所述第一光学带宽(λ1)的所述表面的所述第一图像(X01)，以及具有所述第二光学带宽(λ2)的所述表面的所述第二图像(X02)，
其中所述附加光学传感器被配置为利用所述第一偏振滤光器提供所述第三图像(X01)，并且利用所述第二偏振滤光器提供所述第四图像(X03)，
其中所述处理器被配置为从所述第一图像和所述第三图像确定差(X01-X02)，并且在使用所述第一偏振滤光器时计算所述组合图像，并且
其中所述处理器被配置为从所述第三图像和所述第四图像确定另外的差(X01-X03)，并且在使用所述第一吸收滤光器时计算偏振差(ΔXλ)，以便将所述偏振差(ΔXλ)用于评估包括水的所述区域。
19.一种移动工具(300)，其包括如权利要求1所述的设备以及接口(310)，其中所述接口(310)被配置为如果所述设备检测到所述水的固态状态则向驾驶员(320)警告所述移动工具(300)和/或影响对所述移动工具(300)的控制。
20.一种在包括水的区域中区分水的液态或固态聚集状态的方法，所述方法包括：
获得具有第一光学带宽的表面的第一图像，获得具有第二光学带宽的所述表面的第二图像，所述水在所述第一光学带宽中具有第一吸收率，所述水在所述第二光学带宽中具有高于所述第一吸收率的第二吸收率，
组合所述第一图像和所述第二图像以获得组合图像，其中与所述水相比，所述表面被减少或消除，
检测所述组合图像中的所述水，
利用具有第一偏振角的第一偏振滤光器获得第三图像，利用具有第二偏振角的第二偏振滤光器获得第四图像，其中所述两个偏振滤光器关于它们的偏振角彼此不同，
评估所述第三图像和所述第四图像的包括水的区域的图片元素，并且
基于对所述图片元素的所述评估，检测所述水的所述聚集状态。
21.一种计算机程序，当所述计算机程序在计算机上运行时用于执行如权利要求20所述的方法。
CN202110275829.2A 2020-03-13 2021-03-15 用于检测表面上的水的设备和用于检测表面上的水的方法 Pending CN113390794A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020203293.9A DE102020203293B4 (de) 2020-03-13 2020-03-13 Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche
DE102020203293.9 2020-03-13

Publications (1)

Publication Number Publication Date
CN113390794A true CN113390794A (zh) 2021-09-14

Family

ID=77457234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110275829.2A Pending CN113390794A (zh) 2020-03-13 2021-03-15 用于检测表面上的水的设备和用于检测表面上的水的方法

Country Status (5)

Country Link
US (1) US11680895B2 (zh)
JP (2) JP7433265B2 (zh)
KR (1) KR102534538B1 (zh)
CN (1) CN113390794A (zh)
DE (1) DE102020203293B4 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11673581B2 (en) * 2020-12-11 2023-06-13 Waymo Llc Puddle occupancy grid for autonomous vehicles
DE102021108439A1 (de) * 2021-04-01 2022-10-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben einer Heizeinrichtung zum Temperieren eines Radoms eines Radarsensors eines Fahrzeugs mit Nutzung von Bilddaten einer Kamera, Recheneinrichtung, Heizregelsystem sowie Fahrzeug
CN114485477B (zh) * 2022-04-15 2022-06-17 中国空气动力研究与发展中心低速空气动力研究所 一种结冰三维外形在线测量方法及测量装置
CN117490969B (zh) * 2023-12-27 2024-03-19 中国空气动力研究与发展中心低速空气动力研究所 一种结冰风洞完整冰形在线测量方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59188545A (ja) * 1983-04-08 1984-10-25 Nippon Denso Co Ltd 路面凍結警告装置
JP2009257919A (ja) * 2008-04-16 2009-11-05 Panasonic Corp 固体撮像装置、撮像システム及び検知装置
US20110267483A1 (en) * 2009-12-08 2011-11-03 Katsuhiro Kanamori Image processor
JP2013148505A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
CN103703769A (zh) * 2011-07-29 2014-04-02 株式会社理光 成像装置、对象检测设备、光学滤波器以及光学滤波器的制造方法
US20170124402A1 (en) * 2015-10-29 2017-05-04 Smk Corporation Vehicle-mounted sensor, vehicle lamp, vehicle, and road surface state sensor
JP2018025528A (ja) * 2016-04-06 2018-02-15 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
JP2018128265A (ja) * 2017-02-06 2018-08-16 株式会社リコー サーバ装置、判別プログラム及び判別システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4008280A1 (de) * 1990-03-15 1991-09-19 Tzn Forschung & Entwicklung Verfahren zur ermittlung des fahrbahnoberflaechenzustandes
DE19506550A1 (de) 1995-02-24 1996-08-29 Inst Chemo Biosensorik Verfahren zur verzugsfreien Feststellung von und zur Warnung vor durch Glättebildung bedingte Gefahren und Vorrichtung zur Durchführung des Verfahrens
EP2557414B1 (en) 2009-12-21 2015-03-25 C.R.F. Società Consortile per Azioni Optical detection system for motor-vehicles having multiple functions, including detection of the condition of the road surface
DE102010025719A1 (de) 2010-06-30 2012-05-16 Wabco Gmbh Vorrichtung und Verfahren zur Ausgabe eines Signals bei gefährlichem Untergrund unter einem Fahrzeug
BR112015003444A2 (pt) * 2012-08-20 2017-07-04 Behavioral Recognition Sys Inc método e sistema para detectar óleo em superfície de mar
DE102013201741A1 (de) 2013-02-04 2014-08-21 Robert Bosch Gmbh System zur Erfassung einer Fahrbahnbeschaffenheit
JP2015197358A (ja) 2014-04-01 2015-11-09 パナソニックＩｐマネジメント株式会社 路面状態検知システム
US10360459B2 (en) 2016-04-06 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Detection device, detection method, and non-transitory computer-readable recording medium storing detection program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59188545A (ja) * 1983-04-08 1984-10-25 Nippon Denso Co Ltd 路面凍結警告装置
JP2009257919A (ja) * 2008-04-16 2009-11-05 Panasonic Corp 固体撮像装置、撮像システム及び検知装置
US20110267483A1 (en) * 2009-12-08 2011-11-03 Katsuhiro Kanamori Image processor
CN103703769A (zh) * 2011-07-29 2014-04-02 株式会社理光 成像装置、对象检测设备、光学滤波器以及光学滤波器的制造方法
JP2013148505A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
US20170124402A1 (en) * 2015-10-29 2017-05-04 Smk Corporation Vehicle-mounted sensor, vehicle lamp, vehicle, and road surface state sensor
JP2018025528A (ja) * 2016-04-06 2018-02-15 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
JP2018128265A (ja) * 2017-02-06 2018-08-16 株式会社リコー サーバ装置、判別プログラム及び判別システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李学明: "数字媒体技术基础", vol. 2008, 北京邮电大学出版社, pages: 174 - 175 *

Also Published As

Publication number Publication date
KR102534538B1 (ko) 2023-05-26
DE102020203293B4 (de) 2022-09-08
JP2023144057A (ja) 2023-10-06
US11680895B2 (en) 2023-06-20
JP2021148790A (ja) 2021-09-27
KR20210117179A (ko) 2021-09-28
DE102020203293A1 (de) 2021-09-16
JP7433265B2 (ja) 2024-02-19
US20210285867A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
CN113390794A (zh) 用于检测表面上的水的设备和用于检测表面上的水的方法
JP4814655B2 (ja) 路面状態判定装置および路面状態判定方法
US9460353B2 (en) Systems and methods for automated water detection using visible sensors
JP5664152B2 (ja) 撮像装置、車載用撮像システム及び物体識別装置
US9716845B2 (en) Digital camera
US7737975B2 (en) Normal vector information generating device and normal vector information generating method
US20180321142A1 (en) Road surface detection system
Kanzawa et al. Human skin detection by visible and near-infrared imaging
US8319854B2 (en) Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel
Matthies et al. Detecting water hazards for autonomous off-road navigation
US9674459B2 (en) Image processing system
JP5224906B2 (ja) 植生検出装置および方法
WO2021084907A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN113176211A (zh) 一种基于hsv颜色空间模型变换的日间云检测方法
EP0588815B1 (fr) Procede et dispositif d&#39;analyse de sequences d&#39;images routieres pour la detection d&#39;obstacles
KR102223991B1 (ko) 인공위성 관측센서의 가시 및 근적외 파장대 관측 기반의 해무 탐지 방법 및 장치
WO2011128668A2 (en) Improvements in or relating to vehicle occupant detectors
CN113156420A (zh) 溢油检测系统以及方法
US8036423B2 (en) Contrast-based technique to reduce artifacts in wavelength-encoded images
Raheem et al. Investigation of thermal imaging under bad weather conditions
Fernandes et al. Road surface crack detection using a light field camera
Kidono et al. Skin segmentation using a multiband camera for early pedestrian detection
Sippel et al. Hyperspectral Image Reconstruction from Multispectral Images Using Non-Local Filtering
Rankin et al. Systems and methods for automated water detection using visible sensors
CN117765013A (zh) 一种基于偏振成像的红外热辐射干扰抑制方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination