CN113533215B - 用于光学镜面的水滴检测系统、方法和水滴擦除系统 - Google Patents
用于光学镜面的水滴检测系统、方法和水滴擦除系统 Download PDFInfo
- Publication number
- CN113533215B CN113533215B CN202110905638.XA CN202110905638A CN113533215B CN 113533215 B CN113533215 B CN 113533215B CN 202110905638 A CN202110905638 A CN 202110905638A CN 113533215 B CN113533215 B CN 113533215B
- Authority
- CN
- China
- Prior art keywords
- polarized light
- optical lens
- water
- light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/21—Polarisation-affecting properties
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本申请涉及公开了一种用于光学镜面的水滴检测系统,用于检测附着在光学镜片表面的水滴,包括偏振光获取装置、图像获取装置和控制处理器。偏振光获取装置用于对光学镜片表面的反射光进行偏振折射,以获取偏振光。图像获取装置用于获取偏振光图像。控制处理器用于依据偏振光图像对光学镜片表面的水滴进行检测。由于通过光学镜片表面的反射光的偏振光成像来进行水滴检测,在一定程度上可以过滤掉反射背景的影响,提高粘附水滴的识别准确率和对环境的鲁棒性。
Description
技术领域
本发明涉及光学仪器设备技术领域,具体涉及一种用于光学镜面的水滴检测系统、方法和水滴擦除系统。
背景技术
装有光学窗口片的设备如车窗、门窗、光学仪器、图片与视频采集设备等,很多情况下都会面临光学窗口片上出现附着水滴的困扰,例如视频采集设备在雨天很容易出现雨滴滴落或溅落到光学窗口片上形成粘附雨滴;一般的汽车也经常会遇到路上迸溅的水滴和下雨时的雨滴滴落在前窗玻璃上形成粘附水滴的情况;一些野外光学设备也可能在行进过程和昼夜交替过程中在镜头上粘附或凝结水滴。光学窗口片作为光学采集的必要通道,主要用于隔离光学设备内部与周围环境,承受外部的各种可能的压力和屏蔽一些外部环境对设备内部关键设备可能的不利影响,但一般光学窗口片不应当对经过其的光线的路径产生影响,否则将影响光学镜片(镜面)的光学效果,所以一般的光学窗口片都是平滑的薄片。粘附水滴的光学窗口片,由于受到水滴表面张力和镜片粘附力以及重力的作用,具有独特的几何特征,一般粘附水滴由于水-空气-材料三相表面作用力的平衡,其大小具有上限这里认为是5mm,其形状近似于球面,整体光学效果类似于鱼眼透镜,透过粘附水滴的成像会产生光学畸变,由于类似球面透镜的效果,粘附雨滴处会成像更广的视场,在小区域成像相对更大的视场。对于较小的粘附水滴,成像像素灰度值为大视场的平均效果,无疑会降低分辨率且在雨滴边缘两侧产生较大的灰度变化;对于较大的粘附水滴会出现像中像的情况,也会降低图像的分辨率和识别效果。因此要对光学窗口片进行实时检测,并当检测到光学窗口片附着水滴时,进行及时的清理。
发明内容
本发明主要解决的技术问题是如何对光学窗口片进行水滴附着检测。
根据第一方面,一种实施例中提供一种用于光学镜面的水滴检测系统,用于检测附着在光学镜片表面的水滴,该水滴检测系统包括:
偏振光获取装置,用于对所述光学镜片表面的反射光进行偏振折射,以获取偏振光;
图像获取装置,用于对所述偏振光进行成像,以获取偏振光图像;所述偏振光图像包含所述偏振光的光强信息;
控制处理器,用于依据所述偏振光图像对所述光学镜片表面的水滴进行检测。
一实施例中,所述偏振光获取装置包括:
偏振片,用于对所述光学镜片表面的反射光进行偏振折射;
角度控制装置,用于按一预设的偏振角度顺序,依次改变所述偏振片的偏振角度;
所述图像获取装置用于获取至少一个偏置角度的偏振光图像数据。
一实施例中,所述预设的偏振角度包括-45度、0度、90度和/或45度。
一实施例中,所述角度控制装置包括主支架和设置在所述主支架上的图像获取装置支架、舵机支架、偏振片支架、舵机、主动齿轮和偏振齿轮;
所述图像获取装置支架用于固定连接所述图像获取装置;
所述偏振片支架用于将所述偏振片设置在所述图像获取装置的图像获取通道上;
所述主动齿轮固定设备在所述舵机的主轴上,所述舵机用于为所述主动齿轮的转动提供动力;
所述偏振齿轮与所述偏振片支架固定连接,所述偏振齿轮与所述主动齿轮咬合连接;当所述主动齿轮转动时,所述偏振片随所述偏振齿轮同步转动,以改变所述偏振片的偏振角度。
一实施例中,所述控制处理器依据所述偏振光图像对所述光学镜片表面的水滴进行检测,包括:
获取至少一个预设偏振角度的偏振光图像;
依据所述偏振光图像获取光学镜片表面不同区域反射光的stork矢量参数;
依据所述stork矢量参数获取所述偏振光图像包含的所述偏振光的光强信息的梯度变化信息;
依据所述梯度变化信息获取所述光学镜片表面附着水滴的检测结果信息。
一实施例中,所述依据所述梯度变化信息获取所述光学镜片表面附着水滴的检测结果信息,包括:
对所述梯度变化信息进行图形闭运算处理,以对断开的边界和包含空洞的水滴像素区域进行填充;
当所述填充区域大于预设值时,输出所述检测结果信息为所述光学镜片表面附着了水滴。
一实施例中,水滴检测系统还包括补光器,用于对所述光学镜片表面进行补光。
一实施例中,所述图像获取装置的图像获取通道的中轴线与所述光学镜片表面所在平面的夹角为所述光学镜片表面的布瑞斯特角。
根据第二方面,一种实施例中提供一种水滴擦除系统,其特征在于,包括水珠擦除装置和第一方面所述的水滴检测系统;
所述控制处理器还用于当检测到所述光学镜片表面有水滴时,向所述水珠擦除装置发送擦除指令;
所述水珠擦除装置用于响应所述擦除指令,擦除所述光学镜片表面的水滴。
根据第三方面,一种实施例中提供一种用于光学镜面的水滴检测方法,用于检测附着在光学镜片表面的水滴,该水滴检测方法包括:
按一预设的偏振角度顺序对所述光学镜片表面的反射光依次进行偏振折射,以获取至少一个偏振角度的偏振光;
对所述偏振光进行成像,以获取偏振光图像;所述偏振光图像包含所述偏振光的光强信息;
依据所述偏振光图像对所述光学镜片表面的水滴进行检测。
根据第四方面,一种实施例中提供一种计算机可读存储介质,其包括程序,所述程序能够被处理器执行以实现上述第三方面中所述的实现方法。
本申请一实施例中公开了一种用于光学镜面的水滴检测方法,首先按一预设的偏振角度顺序对光学镜片表面的反射光依次进行偏振折射,以获取至少一个偏振角度的偏振光;然后对偏振光进行成像,以获取偏振光图像;最后依据偏振光图像对光学镜片表面的水滴进行检测。由于通过光学镜片表面的反射光的偏振光成像来进行水滴检测,在一定程度上可以过滤掉反射背景的影响,提高粘附水滴的识别准确率和对环境的鲁棒性。
附图说明
图1为本申请一种实施例中水滴擦除系统的结构连接示意图;
图2为本申请一种实施例中偏振光获取装置的结构连接示意图;
图3为本申请一种实施例中角度控制装置的结构连接示意图;
图4为本申请一种实施例中水滴检测方法的流程示意图;
图5为另一种实施例中水滴检测流程示意图;
图6为一种实施例中采用各像素点在不同偏振方向滤光下的最大最小探测光强的获取偏振度信息的过程示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
一般光学窗口上粘附水滴的处理,采用水刮器刮除的方式来消除其影响,而雨刮器的控制方法有手动和自动两种,对于自动控制的雨刷,一般都是通过获得下雨的雨量来控制雨刮器的速度,而实际情况中雨量对于我们关注的粘附水滴并非决定因素,即使对于露天的监控设备或者汽车车窗这些光学窗口片直接暴露在雨幕之下的情况,落在光学窗口片上并形成粘附水滴对于光学成像的影响程度还受到光学窗口片、风力、水滴属性等各种影响,另外也存在许多非雨况、非持续的粘附水滴情形,并且我们关注的最直接的也是光学窗口片上的粘附水滴,能够直接通过对其的识别和统计无疑会提高消除其影响的水刮刮除的的自动控制方法的针对性和效率。镜头上的粘附水滴的尺寸达到微米级时也即粘附雾滴情形也可包含在此应用背景中,不过粘附雾滴的识别和统计方法会稍异于水滴,且消除方式不一定采用水刮的方式,也可通过吹风加速雾滴气化的方式等,但控制逻辑大同小异。
而目前市面上的自动控制的刮除镜面上粘附水滴的原理一般采用雨量传感计,通过水滴压力或电导率等特征,获取达到传感器上水滴的频率信息,进而控制水刮器的作动频率;或者也有许多通过光学的手段,利用投射或反射的镜面上的光强梯度的信息来提取镜片上粘附的水滴信息,这种方法基于的是粘附水滴的鱼眼透镜特征引起的光强突变特征,虽然也具有一定的效果,但对于去除镜面上反射的具有较大光强变化的背景物的边缘具有较差的防干扰性能,容易将背景物边缘误判断为粘附水滴信息,虽然也可以通过一些算法提高其防干扰性能,但会增加识别运算时间;还有的通过建立水滴图像库通过检索比对的方法来对可能图片中的水滴域进行识别统计,然而实际的粘附水滴的图像大小形状可能具有的可能是非常多的,且在不同的背景特征下展现出的特性也是多样的,另外比对检索的过程既需要遍历不同的图像区域还要遍历库中的水滴图像,整个过程是非常耗时的,此外水滴库的建立也相当麻烦;其他的更复杂的机械学习神经网络方法在粘附水滴的识别上,也具有很大潜力,但也是需要提进行大量的数据搜集标定和数据训练工作,且只有在训练足够多训练数据足够好的情况下才能够具有较好的准确性。
然而通过反射光偏振态变化这一简单物理规律就能够很好的区分出粘附水滴和目标镜片表面以及可能的环境中其他的反射物背景,且能够排除背景光强变化的影响,而只与采集的物体自身的材料属性和形状及平面空间方向有关。一般目标镜片具有可以确定的材料属性和反射面位置状态;此外环境周围的光为零偏振度的自然光,自然光经过两介质界面反射时会改变偏振状态,在布儒斯特角入射时,反射光具有最大偏振度1(线偏振光),利用此特征,只需要将接受摄像头放置在合适的接受角度和位置,便能使得整个镜片的反射光都位于布儒斯特角附近,而粘附水滴的反射角则只有很少一部分分布在布儒斯特角附近,那么通过摄像头获取的偏振度信息,就可以简单的将较低的偏振度位置认为是粘附水滴,整个识别过程更加简单和迅速;但通过偏振度信息来提取镜片上粘附水滴的方法并不仅限于此,由于偏振度信息是对光强信息的进一步细化,因而包含有光强信息的原始特征,所以之前的对于光强的利用工作也可以转移到偏振方法上,例如建立水滴的偏振图库,通过机械学习的方法对粘附水滴偏振度图像分布的特征进行提取,图像处理的图像分割等等都可以在偏振度信息上进行再现。
本申请技术方案中请求保护的一种水滴擦除系统,包括偏振光获取装置、图像获取装置、控制处理器和水珠擦除装置。偏振光获取装置用于对光学镜片表面的反射光进行偏振折射,以获取偏振光。图像获取装置用于获取偏振光图像。控制处理器用于依据偏振光图像对光学镜片表面的水滴进行检测。控制处理器还用于当检测到光学镜片表面有水滴时,向水珠擦除装置发送擦除指令。水珠擦除装置用于响应擦除指令,擦除光学镜片表面的水滴。由于通过光学镜片表面的反射光的偏振光成像来进行水滴检测,在一定程度上可以过滤掉反射背景的影响,提高粘附水滴的识别准确率和对环境的鲁棒性。再由于通过直接获取透镜粘附水滴的信息而非影响透镜成像的雨级等其他非直接信息也能够使得对于水珠擦除装置的控制更有效率。
下面将结合一些实施例对本申请的技术方案做具体说明。
实施例一:
请参考图1,为本申请一种实施例中水滴擦除系统的结构连接示意图,包括水滴擦除系统1和光学镜片2。水滴擦除系统1包括水珠擦除装置20和水滴检测系统10。水滴检测系统10用于当检测到光学镜片表面有水滴时,向水珠擦除装置20发送擦除指令。水珠擦除装置20用于响应擦除指令,擦除光学镜片表面的水滴。水滴检测系统10用于检测附着在光学镜片表面的水滴,水滴检测系统10包括偏振光获取装置13、图像获取装置11和控制处理器12。偏振光获取装置13用于对光学镜片表面的反射光进行偏振折射,以获取偏振光。图像获取装置11用于对偏振光进行成像,以获取偏振光图像。其中,偏振光图像包含偏振光的光强信息。控制处理器12用于依据偏振光图像对光学镜片表面的水滴进行检测。一实施例中,图像获取装置11的图像获取通道的中轴线与光学镜片表面所在平面的夹角为光学镜片表面的布瑞斯特角。一实施例中,水滴检测系统还包括补光器14,补光器14用于对光学镜片表面进行补光。
请参考图2,为一种实施例中偏振光获取装置的结构连接示意图,偏振光获取装置13包括偏振片31和角度控制装置32。偏振片31用于对光学镜片表面的反射光进行偏振折射。角度控制装置32用于按一预设的偏振角度顺序,依次改变偏振片的偏振角度。图像获取装置11用于获取至少一个偏置角度的偏振光图像数据。一实施例中,预设的偏振角度包括-45度、0度、90度和/或45度。
请参考图3,为本申请一种实施例中角度控制装置的结构连接示意图,角度控制装置32包括主支架301和设置在主支架301上的图像获取装置支架309、舵机支架308、偏振片支架310、舵机304、主动齿轮302和偏振齿轮303。图像获取装置支架309用于固定连接图像获取装置306。偏振片支架310用于将偏振片307设置在图像获取装置306的图像获取通道上。主动齿轮302固定设备在舵机304的主轴上,舵机304用于为主动齿轮302的转动提供动力。偏振齿轮303与偏振片支架310固定连接,偏振齿轮303与主动齿轮302咬合连接。当主动齿轮302转动时,偏振片307随偏振齿轮303同步转动,以改变偏振片307的偏振角度。角度控制装置32还包括电机连动机构305,用于连接主动齿轮302和舵机304的主轴。通过角度控制装置,由控制处理器控制舵机带动主动齿轮旋转,偏振齿轮随主动齿轮旋转,实现偏振片的不同方向,而在偏振片后方的图像获取装置采集到不同偏振方向的光场。在其他实施例中也可以采用不同的方法获取不同偏振方向的偏振光。
一实施例中,控制处理器12依据偏振光图像对光学镜片表面的水滴进行检测,包括:
首先获取至少一个预设偏振角度的偏振光图像;然后依据偏振光图像获取光学镜片表面不同区域反射光的stork矢量参数;再依据stork矢量参数获取所述偏振光图像包含的偏振光的光强信息的梯度变化信息,以依据梯度变化信息获取光学镜片表面附着水滴的检测结果信息。
一实施例中,依据梯度变化信息获取所述光学镜片表面附着水滴的检测结果信息,包括:
对梯度变化信息进行图形闭运算处理,以对断开的边界和包含空洞的水滴像素区域进行填充。其中,当填充区域大于预设值时,输出检测结果信息为光学镜片表面附着了水滴。
在本申请一实施例中,光学镜片反射的环境光线经过偏振光获取装置直接到达图像获取装置。图像获取装置获取拍摄区域的光强分布,并将光强分布数据传送给控制处理器。控制处理器通过对光强分布数据处理获得光学镜片表面反射光强的平均强度,并判断环境光线的强度是否合适发送适当指令对补光器和/或偏振光获取装置13进行控制。在环境光强合适时,控制补光器不工作,并且偏振光获取装置开始作动,在环境光强较低时补光器开启对光学镜片的环境光线进行补光,并且补光期间内偏振光获取装置开始作动。每次偏振光获取装置作动使得偏振片位于一个偏振角度,并且图像获取装置对经光学镜片表面反射并通过偏振片的光场分布进行成像,每次控制处理器指令偏振获取装置使得偏振片方向在-45度、0度、45度、90度角和/或无偏振片孔中一个或几个位置间进行转换,从而图像获取装置获取响应偏振的光场分布。图像获取装置将拍摄的一组不同偏振方向的光场数据传递给控制处理器。控制处理器进行偏振度信息提取和粘附水滴区域信息等提取。控制处理器处理后得出粘附水滴的影响区域相对于整个光学镜片的占比程度,并发送指令给水珠擦除装置,指令可以根据不同的占比程度进行分级,如擦除指令、不作动、慢作动、普通作动和/或快作动等。水珠擦除装置根据控制处理器的指令进行做动,并且将粘附在光学镜片表面的水滴消除,因而光学镜片表面的反射信息会发生改变,并继续被图像获取装置接受,形成一个不断检测、擦除的循环。需要说明的是,为保证良好的实时性,在一实施例中,在算法上将水珠擦除装置的作动和其他部分分离开,也就是说水珠擦除装置在整个循环中只占据控制处理器发送指令的时间,在控制处理器发送完指令之后立刻进行下一次的偏振光图像的摄取,在水珠擦除装置的动作过程中,进行下一次的图像处理,消除水珠擦除装置的作动对单次循环时间的贡献,通过这种方式,可以大幅度的提高系统的实时性。
在另一种实施例中,不利用布儒斯特角,也即不强调将图像获取装置设置在与光学镜片法线成布儒斯特角的位置,而可以认为可将水珠擦除装置的光轴布置在任意方向,在此实施例中所有器件均与利用布儒斯特角的实施例相同,区别只在于水珠擦除装置以及偏振光获取装置的位置布置,并且控制处理器识别和统计粘附水滴利用的原理不同,处理过程也会不同,主要利用的是由于水滴的曲面形状造成的反射角变化进而引起的偏振度的分布特征来对粘附水滴进行识别,其他程序和整个系统的运行也都与利用布儒斯特角的实施例相同。
本申请实施例中公开了一种水滴擦除系统,包括偏振光获取装置、图像获取装置、控制处理器和水珠擦除装置。偏振光获取装置用于对光学镜片表面的反射光进行偏振折射,以获取偏振光。图像获取装置用于获取偏振光图像。控制处理器用于依据偏振光图像对光学镜片表面的水滴进行检测。控制处理器还用于当检测到光学镜片表面有水滴时,向水珠擦除装置发送擦除指令。水珠擦除装置用于响应擦除指令,擦除光学镜片表面的水滴。由于通过光学镜片表面的反射光的偏振光成像来进行水滴检测,在一定程度上可以过滤掉反射背景的影响,提高粘附水滴的识别准确率和对环境的鲁棒性。再由于通过直接获取透镜粘附水滴的信息而非影响透镜成像的雨级等其他非直接信息也能够使得对于水珠擦除装置的控制更有效率。
实施例二:
请参考图4,为一种实施例中水滴检测方法的流程示意图,该水滴检测方法用于检测附着在光学镜片表面的水滴,包括:
步骤100,获取偏振光。
按一预设的偏振角度顺序对光学镜片表面的反射光依次进行偏振折射,以获取至少一个偏振角度的偏振光。
由于大部分擦除镜片上粘附水滴的设备都是手动启动和分级控制,并且一些能实现自动控制的镜片上粘附水滴擦除设备也并非直接对镜片上粘附水滴的多少和影响程度进行控制的,而是利用其他诸如雨量等可能造成镜片粘附水滴的容易获得的信息进行控制的,当然也有直接通过镜片透射或反射的光强直接图像,利用粘附水滴鱼眼透镜的几何特征造成的大平均光强梯度信息进行控制,但是由于反射或透射背景物本身复杂的光强变化,这种方式会产生在一些复杂环境下会产生较大的误作动概率。在本实施例中,利用大部分的环境光都是自然光,也就说再未经过镜片或水滴表面反射前,可认为背景的偏振度是0或者接近于0的平场背景特征,在经过布儒斯特角入射反射后自然光变为线偏振光,依然保持着偏振度为1的平场特征,而粘附水滴的凸曲面特征使得反射角偏离了布儒斯特角而形成低偏振度的特征被识别,大大减少了背景光场复杂分布的干扰。
步骤110,对偏振光成像。
对偏振光进行成像,以获取偏振光图像。其中,偏振光图像包含偏振光的光强信息。
如图1所示,一实施例中,图像获取装置11包括摄像头,摄像头的光轴安置在光学镜片2的镜片表面所在平面(或者近轴球面或非球曲面)中心成布儒斯特角的特殊位置,并且在光学镜片2和图像获取装置11之间设置偏振光获取装置13,通过偏振光获取装置13的偏振片31对通过的光进行过滤,只允许一定偏振方向的光通过,图像获取装置11每次只获得一个偏振方向的光场,并利用角度控制装置32,控制偏振片31的偏振方向,使得图像获取装置11获得不同偏振方向的光场。
步骤120,进行水滴检测。
依据偏振光图像对光学镜片表面的水滴进行检测。在本申请一实施例中,获取-45度、0度、45度和/或90度中至少一个偏振方向的光场与不经过偏振片31的光场,然后通过控制处理器12通过对同一区域不同偏振方向的光强进行处理获得各位置的偏振度信息,利用自然光和部分偏振光在布儒斯特角入射到两介质界面反射时反射光为线偏振光也即偏振度为1,而偏离布儒斯特角入射时偏振度迅速下降,而由于粘附水滴的光学镜片表面的表面特征,只有很少的区域光线是布儒斯特角入射并经过粘附水滴表面反射到达摄像头的,因而相对于光学镜片2的大偏振度(接近1),粘附水滴大部分区域是小偏振度的,所以很容易将镜片表面内有无粘附水滴区域给区分出来,并可以统计出粘附水滴总的影响程度,最后根据控制处理器12统计的粘附水滴影响程度给定水珠擦除装置20作动指令。一实施例中,作动指令可分为擦除指令、不作动、慢作动、普通作动和快作动等,在不同的实施例中可划分不同的作动等级指令。在一实施例中偏振信息的处理和水珠擦除装置20的作动在控制处理器12中双线程进行,由于慢作动指令下,水珠擦除装置20的控制时长较长,但不影响控制处理器12处理偏振度信息,所以控制处理器12可以连续处理随时间变化的偏振信息,并且只有当且只当粘附水滴影响程度的分级发生变化时,控制处理器12就会立刻更新水珠擦除装置20的作动指令。由于整个处理过程只需要对一系列获取的不同偏振方向的光强进行比较、和一次差和除处理,整个处理时间非常短,可以获得非常好的实时性,并且水珠擦除装置20能很好地针对有无粘附水滴和粘附水滴的多少做出调成,既能增加去除质量体验也能很好的提高利用效率。
请参考图5,为另一种实施例中水滴检测流程示意图,一实施例中,依据偏振光图像对光学镜片表面的水滴进行检测,包括:
步骤210,获取偏振stork矢量。
将一组不同偏振方向的偏振光图像通过stork矢量S=[I;Q;U;V]传递过程:
I=MS;
其中,M为一偏振通道的米勒方程,I为摄像头拍摄获取的光强,经过反解得到各像素点入射光也即镜片不同区域反射光的偏振stork矢量,进而而获取偏振度信息。一实施例中,一组不同偏振方向的偏振光图像包括至少3-4幅偏振光图像。偏振度P=(Q2+U2+V2)0.5*I-1,也可以直接通过较多偏振方向的图片直接利用各像素点在不同偏振方向滤光下的最大IMAX探测光强和最小探测光强IMIN获取偏振度信息:
P=(IMAX-IMIN)/(IMAX+IMIN)。
请参考图6,为一种实施例中采用各像素点在不同偏振方向滤光下的最大最小探测光强的获取偏振度信息的过程示意图,其中,0img为未经过偏振滤光的图片,1img_max为各像素点在不同偏振方向滤光下的各像素点最大探测光强IMAX组成的图片,2img_min为各像素点在不同偏振方向滤光下的各像素点最大探测光强IMIN组成的图片,3img_together、4img_reduce为分别为各像素点最大最小光强的和值IMAX+IMIN与差值IMAX-IMIN组成的图片,5img_polarize为最后获取的偏振度P组成的图片。这里由于拍摄采用的三角支架固定的相机在拍摄过程中产生了一定震动与偏移,故最后的偏振度图片并不准确,不能代表实际效果,这里只用来说明偏振度求取过程,但也反映了震动使得像素拍摄实际位置错位偏移的影响,可以通过强刚度支架,和采用像素分辨率较低(一般在图像识别中目标物能占据4个像素点即能实现目标的识别)的相机减弱或消除。
步骤220,获取梯度特征。
由于经光学镜片表面反射的光除了光强特征外,由于反射物本身也会有不同的反射面在经过目标镜片反射前就已经使得自然光变为具有一定极化特性的光,而在经过目标镜片之前认为自然光的光线经过目标镜片反射后,其极化特性在整个目标镜片范围内可认为是个可计算获得的定值;而粘附水滴由于类球曲面特征,在单个粘附水滴内各部分的偏振度会有较大的梯度特征,为了尽可能地排除背景物的干扰,这里在极化率的基础上利用梯度特性来识别粘附水滴。
步骤230,获取梯度变化信息。
通过对偏振度信息进行sobel边缘检测算法,获取偏振度信息在空间中的梯度变化信息。
步骤240,进行二值化处理。
为过滤镜片上非水滴域,可以梯度变化信息的平均加2倍梯度变化信息的标准差值(也可取其他经验值)为阈值(镜片平整度小凹坑的产生的偏振梯度很小会被直接过滤掉)对梯度变化信息进行二值化处理,得到保留梯度值较大的像素点,这里所保留的区域包含水滴区域,一些可能的反射背景区域(具有较小灰度的区域造成的较大光强测量误差引起的虚假偏振度梯度,和具有饱和灰度的区域造成的测量虚假零偏振区域边界),和一些噪声点。为了消除噪声可以在2)步骤前加一步,进行高斯消噪滤波处理,为了消除高灰度和低灰度区域虚假偏振度的影响,可以设定一定阈值将未滤光图片中黑色背景区域和饱和灰度区域单独提出,直接利用粘附水滴在暗背景下由于类球曲面特性能反射到其他非暗背景光的特性和水滴对镜片高光反射的阻挡作用来识别暗亮背景中的粘附水滴;此外通过合适的补光和较高的摄像机的饱和光强值,也有可能消除上述暗亮区域虚假偏振度的影响。
步骤250,图形学闭运算处理。
对保留的信息进行图形学闭运算处理,对断开的边界和包含空洞的水滴像素区域进行填充。
以下步骤260到270步骤由于偏振度特征能过滤背景光强的差异,在很大程度上消除了背景区域,故这些步骤在利用偏振信息来提取水滴区域时可以不需要。
步骤260,剔除背景边界。
为了剔除背景边界,根据背景边界的细长特征和水滴类椭球特征,对填充后的保留信息进行8联通连通域进行统计,获得可能的水滴区域和背景区域,背景区域具有明显的大长宽比或小矩形填充度的特征,因而利用此特征设置合适的阈值即可剔除。
步骤270,对保留信息进行异或处理。
为了更好地去除背景信息在反射背景固定状态下,可通过前后两次获得的保留信息进行异或处理,认为前后都被保留的信息也为背景信息,这一步和第6)步先后顺序可调动。
步骤280,获取粘附水滴影响程度。
为了更好的表达粘附水滴的影响程度,认为每个(或多个相连)粘附水滴区域的包络几何为其影响区域,对剔除背景边界后的连通域进行重新统计,得到所有认为是粘附水滴的影响区域和整个目标镜片区域的占比,作为粘附水滴影响程度的表达。
但本申请对于粘附水滴的识别方法或算法并不局限于此,其他利用粘附水滴和光学镜片偏振度不同分布特征的算法,如1)建立水滴偏振度分布特征库,再进行匹配度识别;2)通过水滴偏振度分布大的空间梯度特征,通过聚类法等将水滴和镜片区分开;3)通过大量真实标定的粘附水滴偏振度图库,经过机械学习的方法,训练出具有一定识别能力的识别算法在具体的实施例中也可以运用。
在本申请一实施例中,公开了一种用于光学镜面的水滴检测方法,首先按一预设的偏振角度顺序对光学镜片表面的反射光依次进行偏振折射,以获取至少一个偏振角度的偏振光;然后对偏振光进行成像,以获取偏振光图像;最后依据偏振光图像对光学镜片表面的水滴进行检测。由于通过光学镜片表面的反射光的偏振光成像来进行水滴检测,在一定程度上可以过滤掉反射背景的影响,提高粘附水滴的识别准确率和对环境的鲁棒性。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。
Claims (6)
1.一种用于光学镜面的水滴检测系统,用于检测附着在光学镜片表面的水滴,其特征在于,包括:
偏振光获取装置,用于对所述光学镜片表面的反射光进行偏振折射,以获取偏振光;
图像获取装置,用于对所述偏振光进行成像,以获取偏振光图像;所述偏振光图像包含所述偏振光的光强信息;
控制处理器,用于依据所述偏振光图像对所述光学镜片表面的水滴进行检测;
所述偏振光获取装置包括:
偏振片,用于对所述光学镜片表面的反射光进行偏振折射;
角度控制装置,用于按一预设的偏振角度顺序,依次改变所述偏振片的偏振角度;
所述图像获取装置用于获取至少一个偏置角度的偏振光图像数据;
所述预设的偏振角度包括-45度、0度、90度和/或45度;
所述角度控制装置包括主支架和设置在所述主支架上的图像获取装置支架、舵机支架、偏振片支架、舵机、主动齿轮和偏振齿轮;
所述图像获取装置支架用于固定连接所述图像获取装置;
所述偏振片支架用于将所述偏振片设置在所述图像获取装置的图像获取通道上;
所述主动齿轮固定设备在所述舵机的主轴上,所述舵机用于为所述主动齿轮的转动提供动力;
所述偏振齿轮与所述偏振片支架固定连接,所述偏振齿轮与所述主动齿轮咬合连接;当所述主动齿轮转动时,所述偏振片随所述偏振齿轮同步转动,以改变所述偏振片的偏振角度;
所述控制处理器依据所述偏振光图像对所述光学镜片表面的水滴进行检测,包括:
获取至少一个预设偏振角度的偏振光图像;
依据所述偏振光图像获取光学镜片表面不同区域反射光的stork矢量参数;
依据所述stork矢量参数获取所述偏振光图像包含的所述偏振光的光强信息的梯度变化信息;
依据所述梯度变化信息获取所述光学镜片表面附着水滴的检测结果信息。
2.如权利要求1所述的水滴检测系统,其特征在于,所述依据所述梯度变化信息获取所述光学镜片表面附着水滴的检测结果信息,包括:
对所述梯度变化信息进行图形闭运算处理,以对断开的边界和包含空洞的水滴像素区域进行填充;
当所述填充区域大于预设值时,输出所述检测结果信息为所述光学镜片表面附着了水滴。
3.如权利要求1所述的水滴检测系统,其特征在于,还包括补光器,用于对所述光学镜片表面进行补光。
4.如权利要求1所述的水滴检测系统,其特征在于,所述图像获取装置的图像获取通道的中轴线与所述光学镜片表面所在平面的夹角为所述光学镜片表面的布瑞斯特角。
5.一种水滴擦除系统,其特征在于,包括水珠擦除装置和如权利要求1至4任一项所述的水滴检测系统;
所述控制处理器还用于当检测到所述光学镜片表面有水滴时,向所述水珠擦除装置发送擦除指令;
所述水珠擦除装置用于响应所述擦除指令,擦除所述光学镜片表面的水滴。
6.一种用于光学镜面的水滴检测方法,用于应用于如权利要求1至4任一项所述的水滴检测系统,以检测附着在光学镜片表面的水滴,其特征在于,包括:
按一预设的偏振角度顺序对所述光学镜片表面的反射光依次进行偏振折射,以获取至少一个偏振角度的偏振光;
对所述偏振光进行成像,以获取偏振光图像;所述偏振光图像包含所述偏振光的光强信息;
依据所述偏振光图像对所述光学镜片表面的水滴进行检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110905638.XA CN113533215B (zh) | 2021-08-09 | 2021-08-09 | 用于光学镜面的水滴检测系统、方法和水滴擦除系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110905638.XA CN113533215B (zh) | 2021-08-09 | 2021-08-09 | 用于光学镜面的水滴检测系统、方法和水滴擦除系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113533215A CN113533215A (zh) | 2021-10-22 |
CN113533215B true CN113533215B (zh) | 2023-10-03 |
Family
ID=78122157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110905638.XA Active CN113533215B (zh) | 2021-08-09 | 2021-08-09 | 用于光学镜面的水滴检测系统、方法和水滴擦除系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113533215B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007086720A (ja) * | 2005-08-23 | 2007-04-05 | Photonic Lattice Inc | 偏光イメージング装置 |
JP2010210607A (ja) * | 2009-02-16 | 2010-09-24 | Ricoh Co Ltd | 液滴認識装置と雨滴認識装置と自動ワイパー装置及び液滴認識方法 |
JP2011150686A (ja) * | 2009-12-25 | 2011-08-04 | Ricoh Co Ltd | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
CN103703769A (zh) * | 2011-07-29 | 2014-04-02 | 株式会社理光 | 成像装置、对象检测设备、光学滤波器以及光学滤波器的制造方法 |
CN109632102A (zh) * | 2019-02-26 | 2019-04-16 | 北京环境特性研究所 | 基于旋转偏振片的红外偏振成像测量装置 |
CN113055566A (zh) * | 2021-02-23 | 2021-06-29 | 中国科学院合肥物质科学研究院 | 一种基于分时法的快速偏振成像装置及方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4668838B2 (ja) * | 2006-05-16 | 2011-04-13 | 株式会社日本自動車部品総合研究所 | 雨滴検出装置およびワイパー制御装置 |
US9307159B2 (en) * | 2014-03-04 | 2016-04-05 | Panasonic Intellectual Property Management Co., Ltd. | Polarization image processing apparatus |
US20160341848A1 (en) * | 2015-05-22 | 2016-11-24 | Satoshi Nakamura | Object detection apparatus, object removement control system, object detection method, and storage medium storing object detection program |
-
2021
- 2021-08-09 CN CN202110905638.XA patent/CN113533215B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007086720A (ja) * | 2005-08-23 | 2007-04-05 | Photonic Lattice Inc | 偏光イメージング装置 |
JP2010210607A (ja) * | 2009-02-16 | 2010-09-24 | Ricoh Co Ltd | 液滴認識装置と雨滴認識装置と自動ワイパー装置及び液滴認識方法 |
JP2011150686A (ja) * | 2009-12-25 | 2011-08-04 | Ricoh Co Ltd | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
CN103703769A (zh) * | 2011-07-29 | 2014-04-02 | 株式会社理光 | 成像装置、对象检测设备、光学滤波器以及光学滤波器的制造方法 |
CN109632102A (zh) * | 2019-02-26 | 2019-04-16 | 北京环境特性研究所 | 基于旋转偏振片的红外偏振成像测量装置 |
CN113055566A (zh) * | 2021-02-23 | 2021-06-29 | 中国科学院合肥物质科学研究院 | 一种基于分时法的快速偏振成像装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113533215A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9373160B2 (en) | System, method and computer-accessible medium for restoring an image taken through a window | |
Roser et al. | Video-based raindrop detection for improved image registration | |
Eigen et al. | Restoring an image taken through a window covered with dirt or rain | |
JP5216010B2 (ja) | ウインドシールド上の雨滴を同定するための方法及び装置 | |
FR2961928A1 (fr) | Procede et dispositif de reconnaissance d'un objet parasite dans une image de camera | |
US10106126B2 (en) | Apparatus and method for detecting precipitation for a motor vehicle | |
JP2022509034A (ja) | ニューラルネットワークを使用した輝点除去 | |
CN103617617B (zh) | 基于功率谱描述的水下图像质量评价测量方法 | |
JP2004212404A (ja) | 湿気センサ及びフロントガラス曇り検出装置 | |
KR20100090961A (ko) | 가변 부호화 어퍼쳐 장치를 이용하는 이미징 방법 및 이를 적용하는 이미징 장치 | |
US20170316632A1 (en) | Paper currency fold recognition apparatus and method | |
JPH07151946A (ja) | カメラ | |
Bhandari et al. | Computational Imaging | |
CN111275627A (zh) | 一种基于雪模型和深度学习融合的图像去雪算法 | |
CN103430058A (zh) | 包括相机的相机系统、相机、操作相机的方法以及用于对记录的图像去卷积的方法 | |
FR2466767A1 (fr) | Procede pour tester la qualite de l'ensemble constitue par un balai d'essuie-glace et la surface de la glace | |
CN113533215B (zh) | 用于光学镜面的水滴检测系统、方法和水滴擦除系统 | |
JP2007127595A (ja) | 異物検出計測装置 | |
EP2476094B1 (fr) | Procédé d'installation d'un appareil de côntrole de véhicules | |
US10861148B2 (en) | Systems and methods for improved component inspection | |
CN116229404A (zh) | 一种基于距离传感器的图像去雾优化方法 | |
CN104010165A (zh) | 降水粒子阴影图像自动采集装置 | |
CN114324185A (zh) | 一种基于Stokes矢量的水下偏振探测装置 | |
KR102549829B1 (ko) | Cctv 영상 분석을 이용한 미세먼지 농도 예보 시스템 | |
JP7314444B2 (ja) | 降水情報処理システム、降水情報処理方法、降水情報処理プログラム、及び無人航空機 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |