CN110392186B - 减少雾霾影响的成像装置及成像方法 - Google Patents

减少雾霾影响的成像装置及成像方法 Download PDF

Info

Publication number
CN110392186B
CN110392186B CN201810331972.7A CN201810331972A CN110392186B CN 110392186 B CN110392186 B CN 110392186B CN 201810331972 A CN201810331972 A CN 201810331972A CN 110392186 B CN110392186 B CN 110392186B
Authority
CN
China
Prior art keywords
light
intensity image
analyzing
component
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810331972.7A
Other languages
English (en)
Other versions
CN110392186A (zh
Inventor
张云天
张振宇
吴忠厚
张春旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Hefei BOE Display Lighting Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Hefei BOE Display Lighting Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Hefei BOE Display Lighting Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810331972.7A priority Critical patent/CN110392186B/zh
Publication of CN110392186A publication Critical patent/CN110392186A/zh
Application granted granted Critical
Publication of CN110392186B publication Critical patent/CN110392186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

一种减少雾霾影响的成像装置及成像方法。该成像装置包括偏振片阵列、感光元件阵列和处理器。偏振片阵列被配置为在不同偏振方向上对入射光线进行检偏以输出检偏光线,入射光线包括非偏振光部分和由雾霾成分产生的偏振光部分;感光元件阵列被配置为采集检偏光线的光强图像;以及处理器被配置为对检偏光线的光强图像进行处理,以将偏振光部分从检偏光线的光强图像中去除,并获取非偏振光部分的光强图像。该成像装置及其成像方法在成像时可以减少雾霾成分的影响,从而提高目标物体与环境的对比度,实现图像增强。

Description

减少雾霾影响的成像装置及成像方法
技术领域
本公开实施例涉及一种减少雾霾影响的成像装置及成像方法。
背景技术
光是电磁波,包含光强、相位以及偏振态(例如偏振角)等信息。光的振动方向对于传播方向的不对称性称为光的偏振,偏振片是研究光的偏振的常用光学元件,其只允许某一特定方向偏振的光通过。
发明内容
本公开至少一实施例提供一种减少雾霾影响的成像装置,包括偏振片阵列、感光元件阵列和处理器。所述偏振片阵列被配置为在不同偏振方向上对入射光线进行检偏以输出检偏光线,所述入射光线包括非偏振光部分和由雾霾成分产生的偏振光部分;所述感光元件阵列被配置为采集所述检偏光线的光强图像;以及所述处理器被配置为对所述检偏光线的光强图像进行处理,以将所述偏振光部分从所述检偏光线的光强图像中去除,并获取所述非偏振光部分的光强图像。
例如,在本公开一实施例提供的成像装置中,所述偏振片阵列包括至少一个子阵列,每个所述子阵列包括多个偏振片,且同一个子阵列中的多个偏振片至少具有三种不同的偏振方向。所述偏振片阵列与所述感光元件阵列集成在一起,且所述偏振片阵列中的每个偏振片的尺寸与所述感光元件阵列中的每个感光元件的尺寸相同且一一对准。
例如,在本公开一实施例提供的成像装置中,每个所述子阵列包括四个偏振片,且同一个所述子阵列中的四个偏振片至少具有第一角度、第二角度、第三角度和第四角度中的三个不同的偏振方向。
例如,在本公开一实施例提供的成像装置中,每个所述子阵列中的四个偏振片呈两行两列排布。
例如,在本公开一实施例提供的成像装置中,同一个所述子阵列中的四个偏振片分别具有四个不同的偏振方向,分别为所述第一角度、所述第二角度、所述第三角度和所述第四角度。
例如,在本公开一实施例提供的成像装置中,同一个所述子阵列中的多个偏振片的设置位置随机排布。
例如,在本公开一实施例提供的成像装置中,所述处理器被配置为实时地从所述光强图像中去除所述偏振光部分,以实现实时减少雾霾影响的图像处理。
例如,在本公开一实施例提供的成像装置中,所述处理器还被配置为:将所述检偏光线的光强图像拆分成与所述偏振方向一一对应的多个分量图,每个所述分量图中的像素对应的偏振片的偏振方向相同;以及根据所述分量图获取所述非偏振光部分的光强图像。
例如,在本公开一实施例提供的成像装置中,所述检偏光线的光强图像为:
Figure BDA0001628228510000021
其中,EG表示所述检偏光线的电场矢量,EG=G×Esum=AU×e+AP×ei(φ+ω),以及Esum=EP+EU,Esum为所述入射光线的电场矢量,EP为所述入射光线中的所述偏振光部分的电场矢量,EU为所述入射光线中的所述非偏振光部分的电场矢量,AP为对应EP电场矢量的振幅,AU为对应EU电场矢量的振幅,G为所述偏振片的琼斯向量,φ为所述偏振片的偏振方向,ω为所述偏振光部分的电场矢量的相位。
例如,在本公开一实施例提供的成像装置中,所述处理器还被配置为:将所述检偏光线的光强图像拆分成第一角度、第二角度、第三角度和第四角度四个偏振方向的分量图,分别为:
Iφ1=|AU|2+|AP|2+2AU×AP×cos(ω+2φ1);
Iφ2=|AU|2+|AP|2+2AU×AP×cos(ω+2φ2);
Iφ3=|AU|2+|AP|2+2AU×AP×cos(ω+2φ3);
Iφ4=|AU|2+|AP|2+2AU×AP×cos(ω+2φ4);
其中,Iφ1表示偏振方向为第一角度的分量图,Iφ2表示偏振方向为第二角度的分量图,Iφ3表示偏振方向为第三角度的分量图,以及Iφ4表示偏振方向为第四角度的分量图。
例如,在本公开一实施例提供的成像装置中,所述处理器还被配置为:根据公式
Figure BDA0001628228510000031
获得所述入射光线中的所述非偏振光部分的光强图像IU
本公开至少一实施例还提供一种减少雾霾影响的成像方法,包括:使用偏振片阵列在不同偏振方向上对入射光线进行检偏,以输出检偏光线,其中,所述入射光线包括非偏振光部分和由雾霾成分产生的偏振光部分;使用感光元件阵列采集所述检偏光线的光强图像;以及对所述检偏光线的光强图像进行处理,以将所述偏振光部分从所述检偏光线的光强图像中去除,并获取所述非偏振光部分的光强图像。
例如,在本公开一实施例提供的成像方法中,对所述检偏光线的光强图像进行处理,以将所述偏振光部分从所述检偏光线的光强图像中去除,并获取所述非偏振光部分的光强图像,包括:将所述检偏光线的光强图像拆分成与所述偏振方向一一对应的多个分量图,其中,每个所述分量图中的像素对应的偏振片的偏振方向相同;以及根据所述分量图获取所述非偏振光部分的光强图像。
例如,在本公开一实施例提供的成像方法中,所述检偏光线的光强图像为:
Figure BDA0001628228510000032
其中,EG表示所述检偏光线的电场矢量,EG=G×Esum=AU×e+AP×ei(φ+ω),以及Esum=EP+EU,Esum为所述入射光线的电场矢量,EP为所述入射光线中的所述偏振光部分的电场矢量,EU为所述入射光线中的所述非偏振光部分的电场矢量,AP为对应EP电场矢量的振幅,AU为对应EU电场矢量的振幅,G为所述偏振片的琼斯向量,φ为所述偏振片的偏振方向,ω为所述偏振光部分的电场矢量的相位。
例如,在本公开一实施例提供的成像方法中,将所述检偏光线的光强图像拆分成与所述偏振方向一一对应的多个分量图,包括:
将所述检偏光线的光强图像拆分成第一角度、第二角度、第三角度和第四角度四个偏振方向的分量图,分别为:
Iφ1=|AU|2+|AP|2+2AU×AP×cos(ω+2φ1);
Iφ2=|AU|2+|AP|2+2AU×AP×cos(ω+2φ2);
Iφ3=|AU|2+|AP|2+2AU×AP×cos(ω+2φ3);
Iφ4=|AU|2+|AP|2+2AU×AP×cos(ω+2φ4);
其中,Iφ1表示偏振方向为第一角度的分量图,Iφ2表示偏振方向为第二角度的分量图,Iφ3表示偏振方向为第三角度的分量图,以及Iφ4表示偏振方向为第四角度的分量图。
例如,在本公开一实施例提供的成像方法中,根据所述分量图获取所述非偏振光部分的光强图像,包括:
根据公式
Figure BDA0001628228510000041
获得所述入射光线中的所述非偏振光部分的光强图像IU
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1为在雾霾天气下,成像装置对目标物体成像的示意图;
图2为本公开的实施例提供的一种成像装置的示意框图;
图3为偏振片阵列和感光元件阵列集成在一起的示意图;
图4为本公开的实施例提供的一种偏振片阵列的示意图;
图5为本公开的实施例提供的一种偏振片阵列中的子阵列的示意图;
图6本公开的实施例提供的另一种偏振片阵列的示意图;
图7A为本公开的实施例提供的一种偏振片的示意图;
图7B为沿图7A中I-I'线的剖视图;
图8为对应于图4的偏振片阵列的检偏光线的光强图像;
图9为将图8所示的光强图像按照偏振方向拆分后的四个分量图;以及
图10为对图8所示的光强图像采用插值平均方法的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”、“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
在雾霾天气下,成像装置在对目标物体进行成像时,由于空气中悬浮颗粒的散射,可能无法对目标物体进行清晰成像。例如,如图1所示,太阳发出的第一光线在经过雾霾成分前是非偏振光,经过雾霾成分的散射后会携带有偏振信息。太阳发出的第二光线经过雾霾成分的散射后会携带有偏振信息,但经过物体(例如建筑物等)反射并经过长距离传输后会退偏为非偏振光。所以,在空气中存在雾霾成分的情形下,成像装置采集到的光强图像包括两部分,一部分是目标物体反射的非偏振光部分,另一部分是由于雾霾成分产生的偏振光部分。
要想获得光线中的偏振态信息,需要获得不同方向检偏后的图像。例如,单帧成像技术只能记录光强信息,而不能记录光的偏振态和相位信息。为了获得图像的偏振态信息,需要在镜头前放置偏振片,通过多次旋转偏振片并采集图像,从而获得偏振态信息。由于多幅图像是在不同时刻采集的,所以这种方法不能实时测量偏振态。
本公开至少一实施例提供一种减少雾霾影响的成像装置。该成像装置包括偏振片阵列、感光元件阵列和处理器。偏振片阵列被配置为在不同偏振方向上对入射光线进行检偏以输出检偏光线,入射光线包括非偏振光部分和由雾霾成分产生的偏振光部分;感光元件阵列被配置为采集检偏光线的光强图像;以及处理器被配置为对检偏光线的光强图像进行处理,以将偏振光部分从检偏光线的光强图像中去除,并获取非偏振光部分的光强图像。本公开至少一实施例还提供对应于上述成像装置的成像方法。
本公开的实施例提供的减少雾霾影响的成像装置及其成像方法,可以减少雾霾成分的影响,提高目标物体与环境的对比度,实现图像增强,同时还可以实现实时减少雾霾影响的图像处理。
下面结合附图对本公开的实施例进行详细说明。
本公开的实施例提供一种减少雾霾影响的成像装置1,如图2所示,该成像装置1包括偏振片阵列10、感光元件阵列20和处理器30。
例如,偏振片阵列10被配置为在不同偏振方向上对入射光线进行检偏以输出检偏光线,入射光线包括非偏振光部分和由雾霾成分产生的偏振光部分。需要说明的是,入射光线表示入射到偏振片阵列上的光线,检偏光线表示入射光线经过偏振片阵列检偏后的光线。例如,入射光线经过偏振片阵列的检偏以得到检偏光线,然后检偏光线可以入射到感光元件阵列。
例如,感光元件阵列20被配置为采集检偏光线的光强图像。例如,感光元件阵列20由多个感光元件呈阵列排布,每个感光元件可以采集入射到感光元件表面的检偏光线的光强,多个感光元件采集到的光强组合起来就可以形成检偏光线的光强图像。例如,感光元件阵列中的每个感光阵列可以对应图像的一个像素。需要说明的是,本公开的实施例对感光元件的类型不作限定,例如,感光元件可以采用电荷耦合元件(Charge-coupled Device,CCD);又例如,感光元件还可以采用互补金属氧化物半导体元件(Complementary MetalOxide Semiconductor,CMOS)。
例如,处理器30被配置为对检偏光线的光强图像进行处理,以将偏振光部分从检偏光线的光强图像中去除,并获取非偏振光部分的光强图像。例如,将感光元件阵列20采集到的检偏光线的光强图像传输至处理器30,处理器可以对检偏光线的光强图像做进一步处理,以获取非偏振光部分的光强图像。例如,处理器30可以和偏振片阵列10以及感光元件阵列20集成在一个装置中,又例如,处理器30还可以单独设置,例如可以将感光元件阵列20采集的检偏光线的光强图像先存储起来,然后在后续需要时再传输至处理器30中进行处理。本公开的实施例对处理器30的设置方式不作限定。
在本公开的实施例提供的成像装置1中,通过设置偏振片阵列10,可以对入射光线进行检偏,以获取入射光线的偏振态信息,并通过感光元件阵列20采集检偏光线的光强图像,然后处理器30可以对检偏光线的光强图像做进一步处理以获取入射光线中的非偏振光部分的光强图像。采用本公开的实施例提供的成像装置在对目标物体进行成像时,可以减少雾霾成分的影响,提高目标物体与环境的对比度,从而实现图像增强。
在本公开的一个实施例提供的成像装置中,偏振片阵列10包括至少一个子阵列100,每个子阵列100包括多个偏振片110,且同一个子阵列100中的多个偏振片110至少具有三种不同的偏振方向。
偏振片阵列10与感光元件阵列20集成在一起,且偏振片阵列10中的每个偏振片110的尺寸与感光元件阵列20中的每个感光元件的尺寸相同且一一对准。例如,如图3所示,在一个成像装置1中,偏振片阵列10可以与感光元件阵列20集成在成像装置1的镜头中,并使得偏振片阵列10中的每个偏振片110的尺寸与感光元件阵列20中的每个感光元件的尺寸相同且一一对准,这样可以使每个感光元件采集的光强都能和一个具有一定偏振方向的偏振片一一对应。
例如,在一些实施例中,每个子阵列100包括四个偏振片110,且同一个子阵列100中的四个偏振片至少具有第一角度、第二角度、第三角度和第四角度中的三个不同的偏振方向。
例如,在一些实施例中,第一角度为0度、第二角度为45度、第三角度为90度以及第四角度为135度。每个子阵列100包括四个偏振片110,且同一个子阵列100中的四个偏振片至少具有0度、45度、90度以及135度中的三个不同的偏振方向。
例如,在图4所示的示例中,每个子阵列100中包括四个偏振片110,且同一个子阵列100中的四个偏振片110具有四种不同的偏振方向,分别为第一角度、第二角度、第三角度和第四角度。例如,第一角度为0度、第二角度为45度、第三角度为90度以及第四角度为135度。需要说明的是,图4中每个偏振片110中的角度标注表示该偏振片110的偏振方向,以下各个附图中的标注与此相同,不再赘述。
例如,在图4所示的示例中,每个子阵列100中的四个偏振片110呈两行两列排布。又例如,在图5所示的示例中,同一个子阵列100中的四个偏振片110还可以呈一行排布。相似地,同一个子阵列100中的四个偏振片110还可以呈一列排布。本公开的实施例对同一个子阵列100中的四个偏振片110的排布方式不作限定。
在本公开的实施例中,同一个子阵列100中的多个偏振片的设置位置可以随机排布。例如,在图4所示的示例中,每一个子阵列100中的四个偏振片110的设置位置都相同,例如,偏振方向为0度的偏振片110设置在子阵列100的左上角,偏振方向为90度的偏振片110设置在子阵列100的左下角,偏振方向为135度的偏振片110设置在子阵列100的右上角,偏振方向为45度的偏振片110设置在子阵列100的右下角。又例如,在图6所示的示例中,不同子阵列100中的四个偏振片110的设置位置还可以不相同,这里不再赘述。
在本公开的实施例中,如图7A和7B所示(图7B为沿图7A中I-I'线的剖视图),偏振片110包括基底101和沉积在基底101上的金属光栅102。例如,基底101的材料可以采用高透光性的玻璃等材料,金属光栅102可以采用铝光栅、金光栅或铂光栅等。例如,金属光栅102的周期可以采用百纳米量级,每个偏振片110可以透过的光线的偏振方向与该偏振片110上的金属光栅栅线的方向垂直。另外,如图4和图6所示,为了减少偏振片110之间的串扰,在每个偏振片110周边要预留一定宽度的非透光区域。
例如,在本公开的实施例提供的成像装置1中,处理器30被配置为实时地从光强图像中去除偏振光部分,以实现实时减少雾霾影响的图像处理。由于每个子阵列100中的多个偏振片110具有不同的偏振方向,所以可以在同一时刻同时获得不同方向检偏后的图像,从而获得入射光线的偏振态信息,然后处理器30可以实时地从入射光线的光强图像中去除偏振光部分,从而可以实现实时减少雾霾影响的图像处理。
例如,在本公开的实施例提供的成像装置1中,处理器30还被配置为执行如下操作。
步骤S310:将检偏光线的光强图像拆分成与偏振方向一一对应的多个分量图,每个分量图中的像素对应的偏振片的偏振方向相同;以及
步骤S320:根据分量图获取非偏振光部分的光强图像。
例如,以图4中所示的偏振片阵列10为例进行说明,图8为对应于图4的偏振片阵列10的检偏光线的光强图像,图中每个像素单元中的值(I1、I2、I3、I4)表示该像素单元对应的感光元件所采集的光强,图中括号中的角度表示该像素单元对应的偏振片的偏振方向。
例如,在步骤S310中,可以将检偏光线的光强图像拆分成与偏振方向一一对应的多个分量图,例如可以将图8中所示的光强图像按照偏振方向拆分成图9中所示的四个分量图,每个分量图中的像素对应的偏振片的偏振方向相同。
例如,在一个示例中,图8中所示的检偏光线的光强可以通过公式(1)获得:
Figure BDA0001628228510000091
在公式(1)中,EG表示检偏光线的电场矢量,EG=G×Esum=AU×e+AP×ei(φ+ω),以及Esum=EP+EU,Esum为入射光线的电场矢量,EP为入射光线中的偏振光部分的电场矢量,EU为入射光线中的非偏振光部分的电场矢量,AP为对应EP电场矢量的振幅,AU为对应EU电场矢量的振幅,G为偏振片的琼斯向量,φ为偏振片的偏振方向,ω为偏振光部分的电场矢量的相位。
例如,处理器30还被配置为:将检偏光线的光强图像拆分成第一角度、第二角度、第三角度和第四角度四个偏振方向的分量图,分别为:
Iφ1=|AU|2+|AP|2+2AU×AP×cos(ω+2φ1);
Iφ2=|AU|2+|AP|2+2AU×AP×cos(ω+2φ2);
Iφ3=|AU|2+|AP|2+2AU×AP×cos(ω+2φ3);
Iφ4=|AU|2+|AP|2+2AU×AP×cos(ω+2φ4);
其中,Iφ1表示偏振方向为第一角度的分量图,Iφ2表示偏振方向为第二角度的分量图,Iφ3表示偏振方向为第三角度的分量图,以及Iφ4表示偏振方向为第四角度的分量图。
例如,在一些实施例中,第一角度为0度、第二角度为45度、第三角度为90度以及第四角度为135度。处理器30被配置为将检偏光线的光强图像拆分成0度、45度、90度以及135度四个偏振方向的分量图,分别为:
I0=|AU|2+|AP|2+2AU×AP×cos(ω); 公式(2)
I45=|AU|2+|AP|2-2AU×AP×sin(ω); 公式(3)
I90=|AU|2+|AP|2-2AU×AP×cos(ω); 公式(4)
I135=|AU|2+|AP|2+2AU×AP×sin(ω); 公式(5)
例如,可以将φ=0、45、90、135分别代入到公式(1)中以分别获得公式(2)、公式(3)、公式(4)以及公式(5)。其中,
Figure BDA0001628228510000101
例如,在另一些实施例中,每个子阵列100中的四个偏振片110具有第一角度、第二角度、第三角度和第四角度中的三个不同的偏振方向,即其中有两个偏振片的偏振方向相同。例如,在第一角度为0度、第二角度为45度、第三角度为90度以及第四角度为135度的情形下,四个偏振片110可以具有0度、45度以及90度共三个不同的偏振方向。此时I0、I45、I90依然如公式(2)、公式(3)以及公式(4)所示,其中,
Figure BDA0001628228510000102
例如,感光元件阵列20可以将每个感光元件采集到的检偏光线的光强,即检偏光线的光强图像,传输至处理器30,然后处理器30可以对检偏光线的光强图像做进一步处理,将光强图像按照偏振方向重新组合成四个分量图,分别代表偏振方向为0度、45度、90度以及135度时感光元件阵列20所采集到的光强图像,其光强值分别为I0、I45、I90以及I135
例如,处理器30还被配置为根据公式:
Figure BDA0001628228510000103
获得入射光线中的非偏振光部分的光强图像IU
例如,在一些实施例中,在第一角度为0度、第二角度为45度、第三角度为90度以及第四角度为135度的情形下,处理器30在执行步骤S320时,可以被配置为根据公式(6):
Figure BDA0001628228510000104
获得入射光线中的非偏振光部分的光强图像IU
需要说明的是,在每个子阵列100中的四个偏振片110具有0度、45度以及90度共三个不同的偏振方向的情形下,在获得I0、I45、I90以及ω后依然可以按照公式(6)获得入射光线中的非偏振光部分的光强图像IU
在本公开的实施例提供的成像装置1中,感光元件阵列20将获取的检偏光线的光强图像传输至处理器30,处理器30可以对检偏光线的光强图像做进一步处理,以获得入射光线中的非偏振光部分的光强图像,从而在对目标物体进行成像时,可以减少雾霾成分的影响,提高目标物体与环境的对比度,从而实现图像增强。
本公开的至少一个实施例还提供一种减少雾霾影响的成像方法,该方法包括如下操作。
步骤S100:使用偏振片阵列在不同偏振方向上对入射光线进行检偏,以输出检偏光线,入射光线包括非偏振光部分和由雾霾成分产生的偏振光部分;
步骤S200:使用感光元件阵列采集检偏光线的光强图像;以及
步骤S300:对检偏光线的光强图像进行处理,以将偏振光部分从检偏光线的光强图像中去除,并获取非偏振光部分的光强图像。
例如,在步骤S100中,可以采用偏振片阵列10(例如图4或图6所示的偏振片阵列10)对入射光线进行检偏以得到检偏光线,然后检偏光线可以入射到感光元件阵列20上。
例如,在步骤S200中,可以采用感光元件阵列20采集检偏光线的光强图像。例如,感光元件阵列20由多个感光元件呈阵列排布,每个感光元件可以采集入射到感光元件表面的检偏光线的光强,多个感光元件采集到的光强组合起来就可以形成检偏光线的光强图像。
需要说明的是,关于偏振片阵列以及感光元件阵列的详细描述可以参考本公开的实施例提供的成像装置中的相应描述,这里不再赘述。
例如,在一个示例中,步骤S300包括如下操作。
步骤S310:将检偏光线的光强图像拆分成与偏振方向一一对应的多个分量图,每个分量图中的像素对应的偏振片的偏振方向相同;以及
步骤S320:根据分量图获取非偏振光部分的光强图像。
例如,以图4中所示的偏振片阵列10为例进行说明,图8为对应于图4的偏振片阵列10的检偏光线的光强图像。例如,在步骤S310中,可以将检偏光线的光强图像拆分成与偏振方向一一对应的多个分量图,例如可以将图8中所示的光强图像按照偏振方向拆分成图9中所示的四个分量图,每个分量图中的像素对应的偏振片的偏振方向相同。
例如,在一个示例中,图8中所示的检偏光线的光强可以通过公式(1)获得:
Figure BDA0001628228510000111
在公式(1)中,EG表示检偏光线的电场矢量,EG=G×Esum=AU×e+AP×ei(φ+ω),以及Esum=EP+EU,Esum为入射光线的电场矢量,EP为入射光线中的偏振光部分的电场矢量,EU为入射光线中的非偏振光部分的电场矢量,AP为对应EP电场矢量的振幅,AU为对应EU电场矢量的振幅,G为偏振片的琼斯向量,φ为偏振片的偏振方向,ω为偏振光部分的电场矢量的相位。
例如,步骤S310包括:将检偏光线的光强图像拆分成第一角度、第二角度、第三角度和第四角度四个偏振方向的分量图,分别为:
Iφ1=|AU|2+|AP|2+2AU×AP×cos(ω+2φ1);
Iφ2=|AU|2+|AP|2+2AU×AP×cos(ω+2φ2);
Iφ3=|AU|2+|AP|2+2AU×AP×cos(ω+2φ3);
Iφ4=|AU|2+|AP|2+2AU×AP×cos(ω+2φ4);
其中,Iφ1表示偏振方向为第一角度的分量图,Iφ2表示偏振方向为第二角度的分量图,Iφ3表示偏振方向为第三角度的分量图,以及Iφ4表示偏振方向为第四角度的分量图。
例如,在一个示例中,步骤S310可以包括:将检偏光线的光强图像拆分成0度、45度、90度以及135度四个偏振方向的分量图,分别为:
I0=|AU|2+|AP|2+2AU×AP×cos(ω); 公式(2)
I45=|AU|2+|AP|2-2AU×AP×sin(ω); 公式(3)
I90=|AU|2+|AP|2-2AU×AP×cos(ω); 公式(4)
I135=|AU|2+|AP|2+2AU×AP×sin(ω); 公式(5)
例如,可以将φ=0、45、90、135分别代入到公式(1)中以分别获得公式(2)、公式(3)、公式(4)以及公式(5)。其中,
Figure BDA0001628228510000121
例如,在另一些实施例中,每个子阵列100中的四个偏振片110具有第一角度、第二角度、第三角度和第四角度中的三个不同的偏振方向,即其中有两个偏振片的偏振方向相同。例如,在第一角度为0度、第二角度为45度、第三角度为90度以及第四角度为135度的情形下,四个偏振片110可以具有0度、45度以及90度共三个不同的偏振方向。此时在步骤S310中只需要将检偏光线的光强图像拆分成0度、45度以及90度三个偏振方向的分量图即可,I0、I45、I90依然如公式(2)、公式(3)以及公式(4)所示,其中,
Figure BDA0001628228510000122
例如,感光元件阵列20可以将每个感光元件采集到的检偏光线的光强,即检偏光线的光强图像,传输至处理器30,然后处理器30可以对检偏光线的光强图像做进一步处理,将光强图像按照偏振方向重新组合成四个分量图,分别代表偏振方向为0度、45度、90度以及135度时感光元件阵列20所采集到的光强图像,其光强值分别为I0、I45、I90以及I135
例如,步骤S320包括:
根据公式
Figure BDA0001628228510000131
获得所述入射光线中的所述非偏振光部分的光强图像IU
例如,在一个示例中,步骤S320可以包括:根据公式(6):
Figure BDA0001628228510000132
获得入射光线中的非偏振光部分的光强图像IU
需要说明的是,在每个子阵列100中的四个偏振片110具有0度、45度以及90度共三个不同的偏振方向的情形下,在获得I0、I45、I90以及ω后,在步骤S320中依然可以按照公式(6)获得入射光线中的非偏振光部分的光强图像IU
例如,如图8和图9所示,在步骤S310中,将检偏光线的光强图像拆分成与偏振方向一一对应的多个分量图时,由于不增加新的数据值,拆分后的单个分量图的像素数为拆分前的光强图像的像素数的四分之一,所以会使得图像的分辨率降低。例如,假如原来感光元件阵列的分辨率为640*480,则拆分后的单个分量图的分辨率为320*240。
例如,在一个实施例中,如图10所示,可以采用插值平均的方法补充数据值,从而使得图像的分辨率保持不变。例如,对于图8所示的检偏光线的光强图像,可以将四种偏振方向的光强值取出,分别放到四幅同等分辨率的空值图像的相应位置,如图10所示。四幅图每幅包含四分之一的原始光强值和四分之三的空值。然后采用插值平均的方法,用空值相邻的原始光强值取平均值,从而将空值区域补齐,从而得到四幅完整的图像。
在本公开的实施例提供的成像方法中,感光元件阵列20将获取的检偏光线的光强图像传输至处理器30,处理器30可以对检偏光线的光强图像做进一步处理,以获得入射光线中的非偏振光部分的光强图像,从而在对目标物体进行成像时,可以减少雾霾成分的影响,提高目标物体与环境的对比度,从而实现图像增强。
需要说明的是,本公开的实施例提供的成像装置及其成像方法除了可以应用在减少雾霾影响的图像处理中,例如还可以用于机载成像系统中,例如可以将该成像装置设置在有人机或无人机上,用于对空中目标或地面目标的成像,可以提高对目标物体成像的对比度,从而可以提高机载成像系统的成像精度和定位精度。
在本公开的实施例中,处理器可以由通用集成电路芯片或专用集成电路芯片实现,例如该集成电路芯片可以设置在一个主板上,例如在该主板上还可以设置有存储器以及电源电路等;此外,处理器也可以由电路或者采用软件、硬件(电路)、固件或其任意组合方式实现。在本公开的实施例中,处理器可以包括各种计算结构,例如复杂指令集计算机(CISC)结构、精简指令集计算机(RISC)结构或者一种实行多种指令集组合的结构。在一些实施例中,处理器也可以是微处理器,例如X86处理器或ARM处理器,或者可以是数字处理器(DSP)等。
以上,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,本公开的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种减少雾霾影响的成像装置,包括偏振片阵列、感光元件阵列和处理器,其中,
所述偏振片阵列被配置为在不同偏振方向上对入射光线进行检偏以输出检偏光线,所述入射光线包括非偏振光部分和由雾霾成分产生的偏振光部分;
所述感光元件阵列被配置为采集所述检偏光线的光强图像;以及
所述处理器被配置为对所述检偏光线的光强图像进行处理,以将所述偏振光部分从所述检偏光线的光强图像中去除,并获取所述非偏振光部分的光强图像,
其中,所述偏振片阵列包括多个子阵列,每个所述子阵列包括多个偏振片,且同一个子阵列中的多个偏振片至少具有三种不同的偏振方向,不同子阵列具有相同的偏振方向组合。
2.根据权利要求1所述的成像装置,其中,
所述偏振片阵列与所述感光元件阵列集成在一起,且所述偏振片阵列中的每个偏振片的尺寸与所述感光元件阵列中的每个感光元件的尺寸相同且一一对准。
3.根据权利要求2所述的成像装置,其中,每个所述子阵列包括四个偏振片,且同一个所述子阵列中的四个偏振片至少具有第一角度、第二角度、第三角度和第四角度中的三个不同的偏振方向。
4.根据权利要求3所述的成像装置,其中,每个所述子阵列中的四个偏振片呈两行两列排布。
5.根据权利要求3所述的成像装置,其中,同一个所述子阵列中的四个偏振片分别具有四个不同的偏振方向,分别为所述第一角度、所述第二角度、所述第三角度和所述第四角度。
6.根据权利要求2-5任一项所述的成像装置,其中,同一个所述子阵列中的多个偏振片的设置位置随机排布。
7.根据权利要求1-5任一所述的成像装置,其中,所述处理器被配置为实时地从所述光强图像中去除所述偏振光部分,以实现实时减少雾霾影响的图像处理。
8.根据权利要求1-5任一所述的成像装置,其中,所述处理器还被配置为:
将所述检偏光线的光强图像拆分成与所述偏振方向一一对应的多个分量图,其中,每个所述分量图中的像素对应的偏振片的偏振方向相同;以及
根据所述分量图获取所述非偏振光部分的光强图像。
9.根据权利要求8所述的成像装置,其中,所述检偏光线的光强图像为:
Figure FDA0002821977000000021
其中,EG表示所述检偏光线的电场矢量,EG=G×Esum=AU×e+AP×ei(φ+ω),以及Esum=EP+EU,Esum为所述入射光线的电场矢量,EP为所述入射光线中的所述偏振光部分的电场矢量,EU为所述入射光线中的所述非偏振光部分的电场矢量,AP为对应EP电场矢量的振幅,AU为对应EU电场矢量的振幅,G为所述偏振片的琼斯向量,φ为所述偏振片的偏振方向,ω为所述偏振光部分的电场矢量的相位。
10.根据权利要求9所述的成像装置,其中,所述处理器还被配置为:将所述检偏光线的光强图像拆分成第一角度、第二角度、第三角度和第四角度四个偏振方向的分量图,分别为:
Iφ1=|AU|2+|AP|2+2AU×AP×cos(ω+2φ1);
Iφ2=|AU|2+|AP|2+2AU×AP×cos(ω+2φ2);
Iφ3=|AU|2+|AP|2+2AU×AP×cos(ω+2φ3);
Iφ4=|AU|2+|AP|2+2AU×AP×cos(ω+2φ4);
其中,Iφ1表示偏振方向为第一角度的分量图,Iφ2表示偏振方向为第二角度的分量图,Iφ3表示偏振方向为第三角度的分量图,以及Iφ4表示偏振方向为第四角度的分量图。
11.根据权利要求10所述的成像装置,其中,所述处理器还被配置为:
根据公式
Figure FDA0002821977000000022
获得所述入射光线中的所述非偏振光部分的光强图像IU
12.一种减少雾霾影响的成像方法,包括:
使用偏振片阵列在不同偏振方向上对入射光线进行检偏,以输出检偏光线,其中,所述入射光线包括非偏振光部分和由雾霾成分产生的偏振光部分;
使用感光元件阵列采集所述检偏光线的光强图像;以及
对所述检偏光线的光强图像进行处理,以将所述偏振光部分从所述检偏光线的光强图像中去除,并获取所述非偏振光部分的光强图像;
其中,所述偏振片阵列包括多个子阵列,每个所述子阵列包括多个偏振片,且同一个子阵列中的多个偏振片至少具有三种不同的偏振方向,不同子阵列具有相同的偏振方向组合。
13.根据权利要求12所述的成像方法,其中,对所述检偏光线的光强图像进行处理,以将所述偏振光部分从所述检偏光线的光强图像中去除,并获取所述非偏振光部分的光强图像,包括:
将所述检偏光线的光强图像拆分成与所述偏振方向一一对应的多个分量图,其中,每个所述分量图中的像素对应的偏振片的偏振方向相同;以及
根据所述分量图获取所述非偏振光部分的光强图像。
14.根据权利要求13所述的成像方法,其中,所述检偏光线的光强图像为:
Figure FDA0002821977000000031
其中,EG表示所述检偏光线的电场矢量,EG=G×Esum=AU×e+AP×ei(φ+ω),以及Esum=EP+EU,Esum为所述入射光线的电场矢量,EP为所述入射光线中的所述偏振光部分的电场矢量,EU为所述入射光线中的所述非偏振光部分的电场矢量,AP为对应EP电场矢量的振幅,AU为对应EU电场矢量的振幅,G为所述偏振片的琼斯向量,φ为所述偏振片的偏振方向,ω为所述偏振光部分的电场矢量的相位。
15.根据权利要求14所述的成像方法,其中,将所述检偏光线的光强图像拆分成与所述偏振方向一一对应的多个分量图,包括:
将所述检偏光线的光强图像拆分成第一角度、第二角度、第三角度和第四角度四个偏振方向的分量图,分别为:
Iφ1=|AU|2+|AP|2+2AU×AP×cos(ω+2φ1);
Iφ2=|AU|2+|AP|2+2AU×AP×cos(ω+2φ2);
Iφ3=|AU|2+|AP|2+2AU×AP×cos(ω+2φ3);
Iφ4=|AU|2+|AP|2+2AU×AP×cos(ω+2φ4);
其中,Iφ1表示偏振方向为第一角度的分量图,Iφ2表示偏振方向为第二角度的分量图,Iφ3表示偏振方向为第三角度的分量图,以及Iφ4表示偏振方向为第四角度的分量图。
16.根据权利要求15所述的成像方法,其中,根据所述分量图获取所述非偏振光部分的光强图像,包括:
根据公式
Figure FDA0002821977000000041
获得所述入射光线中的所述非偏振光部分的光强图像IU
17.一种减少雾霾影响的成像装置,包括偏振片阵列、感光元件阵列和处理器,其中,所述偏振片阵列被配置为在不同偏振方向上对入射光线进行检偏以输出检偏光线,所述入射光线包括非偏振光部分和由雾霾成分产生的偏振光部分,所述偏振片阵列包括多个偏振片;
所述感光元件阵列被配置为采集所述检偏光线的光强图像;以及
所述处理器被配置为对所述检偏光线的光强图像进行处理,以将所述偏振光部分从所述检偏光线的光强图像中去除,并获取所述非偏振光部分的光强图像;
其中,所述检偏光线的光强图像为:
Figure FDA0002821977000000042
其中,EG表示所述检偏光线的电场矢量,EG=G×Esum=AU×e+AP×ei(φ+ω),以及Esum=EP+EU,Esum为所述入射光线的电场矢量,EP为所述入射光线中的所述偏振光部分的电场矢量,EU为所述入射光线中的所述非偏振光部分的电场矢量,AP为对应EP电场矢量的振幅,AU为对应EU电场矢量的振幅,G为所述偏振片的琼斯向量,φ为所述偏振片的偏振方向,ω为所述偏振光部分的电场矢量的相位。
18.一种减少雾霾影响的成像方法,包括:
使用偏振片阵列在不同偏振方向上对入射光线进行检偏,以输出检偏光线,其中,所述入射光线包括非偏振光部分和由雾霾成分产生的偏振光部分,所述偏振片阵列包括多个偏振片;
使用感光元件阵列采集所述检偏光线的光强图像;以及
对所述检偏光线的光强图像进行处理,以将所述偏振光部分从所述检偏光线的光强图像中去除,并获取所述非偏振光部分的光强图像; 其中,所述检偏光线的光强图像为:
Figure FDA0002821977000000051
其中,EG表示所述检偏光线的电场矢量,EG=G×Esum=AU×e+AP×ei(φ+ω),以及Esum=EP+EU,Esum为所述入射光线的电场矢量,EP为所述入射光线中的所述偏振光部分的电场矢量,EU为所述入射光线中的所述非偏振光部分的电场矢量,AP为对应EP电场矢量的振幅,AU为对应EU电场矢量的振幅,G为所述偏振片的琼斯向量,φ为所述偏振片的偏振方向,ω为所述偏振光部分的电场矢量的相位。
CN201810331972.7A 2018-04-13 2018-04-13 减少雾霾影响的成像装置及成像方法 Active CN110392186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810331972.7A CN110392186B (zh) 2018-04-13 2018-04-13 减少雾霾影响的成像装置及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810331972.7A CN110392186B (zh) 2018-04-13 2018-04-13 减少雾霾影响的成像装置及成像方法

Publications (2)

Publication Number Publication Date
CN110392186A CN110392186A (zh) 2019-10-29
CN110392186B true CN110392186B (zh) 2021-10-01

Family

ID=68282558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810331972.7A Active CN110392186B (zh) 2018-04-13 2018-04-13 减少雾霾影响的成像装置及成像方法

Country Status (1)

Country Link
CN (1) CN110392186B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114077102B (zh) * 2020-08-14 2023-03-17 华为技术有限公司 偏振器及阵列、偏振可控方法及装置、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044507A (zh) * 2005-09-01 2007-09-26 松下电器产业株式会社 图像处理方法、图像处理装置及图像处理程序
CN104350732A (zh) * 2012-05-28 2015-02-11 株式会社尼康 摄像装置
CN105973164A (zh) * 2016-04-29 2016-09-28 中国科学技术大学 一种基于像素偏振片阵列的数字全息显微方法
CN106791339A (zh) * 2017-03-22 2017-05-31 北京小米移动软件有限公司 成像系统及其控制方法
CN107592465A (zh) * 2017-10-10 2018-01-16 联想(北京)有限公司 一种成像系统以及成像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5173656B2 (ja) * 2008-07-31 2013-04-03 三洋電機株式会社 光ピックアップ装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044507A (zh) * 2005-09-01 2007-09-26 松下电器产业株式会社 图像处理方法、图像处理装置及图像处理程序
CN104350732A (zh) * 2012-05-28 2015-02-11 株式会社尼康 摄像装置
CN105973164A (zh) * 2016-04-29 2016-09-28 中国科学技术大学 一种基于像素偏振片阵列的数字全息显微方法
CN106791339A (zh) * 2017-03-22 2017-05-31 北京小米移动软件有限公司 成像系统及其控制方法
CN107592465A (zh) * 2017-10-10 2018-01-16 联想(北京)有限公司 一种成像系统以及成像方法

Also Published As

Publication number Publication date
CN110392186A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
US10983216B2 (en) Depth field imaging apparatus, methods, and applications
JP6463582B2 (ja) 符号化ローカライゼーションシステム、方法および装置
US11209664B2 (en) 3D imaging system and method
US6075235A (en) High-resolution polarization-sensitive imaging sensors
US9232123B2 (en) Systems and methods for acquiring and processing image data produced by camera arrays
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US5416324A (en) Optical imaging device with integrated polarizer
US10021340B2 (en) Method and an apparatus for generating data representative of a light field
JP6312227B2 (ja) Rgb−d画像化システム、rgb−d画像の生成方法、及びrgb−d画像を生成する装置
EP3700197B1 (en) Imaging device and method, and image processing device and method
US10438365B2 (en) Imaging device, subject information acquisition method, and computer program
US10887576B2 (en) Light field data representation
JP2013512620A (ja) 複数の検出器アレイを備えた多重解像度デジタル大判カメラ
US20190096044A1 (en) Method for reconstructing hyperspectral image using prism and system therefor
CN115516283A (zh) 偏振成像摄像头
WO2016175044A1 (ja) 画像処理装置及び画像処理方法
CN108632506A (zh) 一种微透镜阵列成像系统
CN110392186B (zh) 减少雾霾影响的成像装置及成像方法
WO2015132831A1 (ja) 撮像装置
US20220103797A1 (en) Integrated Spatial Phase Imaging
US20220270210A1 (en) Method and device for restoring image obtained from array camera
Varghese et al. Polarization-based angle sensitive pixels for light field image sensors with high spatio-angular resolution
Gao et al. Image interpolation methods evaluation for division of focal plane polarimeters
Garcia et al. A 1300× 800, 700 mW, 30 fps spectral polarization imager
US10872442B2 (en) Apparatus and a method for encoding an image captured by an optical acquisition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant