CN109325912B - 基于偏振光光场的反光分离方法及标定拼合系统 - Google Patents
基于偏振光光场的反光分离方法及标定拼合系统 Download PDFInfo
- Publication number
- CN109325912B CN109325912B CN201810983188.4A CN201810983188A CN109325912B CN 109325912 B CN109325912 B CN 109325912B CN 201810983188 A CN201810983188 A CN 201810983188A CN 109325912 B CN109325912 B CN 109325912B
- Authority
- CN
- China
- Prior art keywords
- image
- light field
- plane
- coordinate system
- reference device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000010287 polarization Effects 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000005316 response function Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005290 field theory Methods 0.000 description 1
- BTCSSZJGUNDROE-UHFFFAOYSA-N gamma-aminobutyric acid Chemical compound NCCCC(O)=O BTCSSZJGUNDROE-UHFFFAOYSA-N 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Polarising Elements (AREA)
Abstract
本发明提供的基于偏振光光场的反光分离方法及标定拼合系统，其能够通过光场与光的偏振性的结合，找出一种简单、高效、可靠的物体表面反射光分离方法。本发明依据光学中光的物理模型、计算机视觉中的相机模型，推导出了基于偏振光光场的物体表面反射光分离公式，且该公式可于实际使用中通过Matlab进行代码实现。为采集实验数据，本发明还提供一种基于偏振光光场的的标定拼合系统，其使用了低成本的简单方式对光场中的工业相机进行了偏振角标定。此外，本发明使用合成数据以及通过采集得到的真实数据对我们的方法进行了测试，取得了积极的成果。该方法通过偏振光光场同步采集程序的同步采集保证了在动态场景下该方法也能快速高效地一次将反光分离。
Description
技术领域
本发明涉及光学技术领域，特别是涉及基于偏振光光场的反光分离方法及标定拼合系 统。
背景技术
自世界上第一台照相机被发明以来，人们越来越热衷于使用照相机。照相机这一利用光 学采集及影像记录的工具，一一记录着身边发生的人、事、物，而人们对于拍摄出的相片的 成像质量、构图等方面的要求也日益增加。与此同时，图像采集技术还被广泛应用于安防监 控等领域。
在大多数情况下，人们普遍追求相片的成像清晰及主次分明，即需要照相机清楚地记录 用户想记录、想看到的事物，同时尽可能地弱化、甚至忽略非主体的事物。然而，实现这一 目标的其中一大障碍便是自然界中始终存在的来自光滑物体表面的反射光。
在许多特定场景下，人们只被允许隔着玻璃拍摄玻璃背后的物体。在这种情况下，玻璃 本身表面对周围环境的反光会对玻璃后物体的清晰成像造成影响。例如，博物馆内的许多展 品都在玻璃柜内，想要清晰拍摄柜内展品就会受到玻璃反光的影响；想要在水面上实时拍摄 表层水下的情况时，成像会受到水面反光的影响；又例如，在安防领域，监控摄像头往往会 受到来自太阳或其他周围环境事物的影响导致无法清晰拍摄车内驾驶人的面部信息等等。而 其中许多场景往往不是静止的，因此许多传统方法并不能有效的解决这类问题。
因此，这类问题的解决有助于在多方面帮助社会多领域的发展，且存在其自身的价值与 意义。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供基于偏振光光场的反光分离方法 及标定拼合系统，用于解决现有技术中无法有效滤除反光的技术问题。
为实现上述目的及其他相关目的，本发明提供一种基于偏振光光场的反光分离方法，其 包括：将多张待处理图像逐像素进行求解，以得到与背景图样的实际光线强度值最为接近的 最优理论光线强度值；根据所述最优理论光线强度值求得分离反光后的光线强度值。
于本发明的一实施例中，所述方法包括选取至少3张待处理图像按照如下优化公式进行 优化计算：
以求得3个优化变量Imax_opt，Imin_opt，φ_opt，优化变量Imin_opt即为所述分离反光后的光线强度值；其中，
为待处理图像的理论光线强度值，I为实际测量值或实际观察值，Ii为待处理图像第i个像素的理论光线强度值，Ii为待处理图像第i个像素的实际测量值或实际观察值。
于本发明的一实施例中，所述待处理图像的理论光线强度值
包括：
于本发明的一实施例中，所述待处理图像包括标定拼合后的光场图像。
于本发明的一实施例中，以所述背景图样所在平面作为光场重对焦平面，所述方法包 括：计算光场重对焦平面上各像点投影至紧密排布于同一平台上的多个图像摄取装置中一图 像摄取装置的像平面上的像点坐标，且令该图像摄取装置为参考装置；根据平台上各图像摄 取装置与参考装置之间的位置关系，计算所述光场重对焦平面上各像点投影至平台上各图像 摄取装置的像平面上的像点坐标。
于本发明的一实施例中，令光场重对焦平面上的某像点坐标为pw，且令所述参考装置 为Ci；像点坐标pw投影至参考装置Ci像平面的像点坐标为pi，则pi＝Ki·[Ri|ti]·pw；其 中，Ki·[Ri|ti]是用于将世界坐标系中的像点坐标pw投影至当前坐标系中的像点坐标pi的变 换矩阵，Ki是用于描述参考装置Ci的焦距、主像点位置及畸变参数的3×3内参矩阵，[Ri|ti]是用于描述参考装置Ci的当前坐标系与世界坐标系之间的变换关系的外参矩阵，Ri是用于描述参考装置Ci的当前坐标系相对于世界坐标系的3×3旋转矩阵，ti是用于描述参考装置Ci的当前坐标系相对于世界坐标系的3×1平移向量；令平台上参考装置Ci以外的一图像摄取装置为装置Cj，装置Cj的坐标系与参考装置Ci的坐标系之间的变换关系为 [Rj|tj]，且装置Cj的内参矩阵为Kj，则像点坐标pw投影至装置Cj像平面的像点坐标为 pj＝Kj·[Rj|tj]·[Ri|ti]·pw。
为实现上述目的及其他相关目的，本发明提供一种基于偏振光光场的标定拼合系统，其 包括：多个图像摄取装置，紧密排布于同一平台上；各图像摄取装置的镜头前安装有透射角 度不同的偏振镜；处理装置，通信连接各图像摄取装置；所述处理装置计算背景图样所在平 面的各像点投影至各图像摄取装置像平面上的像点坐标，以生成多张待处理图像；所述处理 装置将多张待处理图像逐像素进行求解以得到与背景图样的实际光线强度值最为接近的最优 理论光线强度值，并根据所述最优理论光线强度值求得分离反光后的光线强度值。
于本发明的一实施例中，所述处理装置计算背景图样所在平面的各像点投影至各图像摄 取装置像平面上的像点坐标，其方式包括：以所述背景图样所在平面作为光场重对焦平面， 且以多个图像摄取装置中的一图像摄取装置为参考装置；所述处理装置计算光场重对焦平面 上各像点投影至所述参考装置的像平面上的像点坐标，并根据平台上各图像摄取装置与参考 装置之间的位置关系计算所述光场重对焦平面上各像点投影至平台上各图像摄取装置的像平 面上的像点坐标，以得到标定拼合后的光场图像。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计 算机程序，该程序被处理器执行时实现所述基于偏振光光场的反光分离方法。
为实现上述目的及其他相关目的，本发明提供一种终电子终端，包括：处理器及存储 器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序， 以使所述终端执行所述基于偏振光光场的反光分离方法。
如上所述，本发明基于偏振光光场的反光分离方法及标定拼合系统，具有以下有益效 果：其能够通过光场与光的偏振性的结合，找出一种简单、高效、可靠的物体表面反射光分 离方法。本发明依据光学中光的物理模型、计算机视觉中的相机模型，推导出了基于偏振光 光场的物体表面反射光分离公式，且该公式可于实际使用中通过Matlab进行代码实现。为采 集实验数据，本发明还提供一种基于偏振光光场的的标定拼合系统，其使用了低成本的简单 方式对光场中的工业相机进行了偏振角标定。此外，本发明使用合成数据以及通过采集得到 的真实数据对我们的方法进行了测试，取得了积极的成果。该方法通过偏振光光场同步采集 程序的同步采集保证了在动态场景下该方法也能快速高效地一次将反光分离。
附图说明
图1显示为本发明一实施例中基于偏振光光场的反光分离方法的流程示意图。
图2显示为本发明一实施例中光线强度I(θ)的分解示意图。
图3显示为本发明一实施例中基于偏振光光场的反光分离方法的流程示意图。
图4显示为本发明一实施例中电子终端的结构示意图。
元件标号说明
41 处理器
42 存储器
43 收发器
44 通信接口
45 系统总线
S11～S12 方法流程
S31～S33 方法流程
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解， 还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、 电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的 范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并 非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元 件或特征与另一元件或特征的关系。
再者，如同在本文中所使用的，单数形式“一”、““一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述 的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、 元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或” 被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C” 意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功 能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本发明提供一种基于偏振光光场的反光分离方法，其主要目的在于通过光场与光的偏振 性的结合，找出一种简单、高效、可靠的物体表面反射光分离方法。本发明依据光学中光的 物理模型、计算机视觉中的相机模型，推导出了基于偏振光光场的物体表面反射光分离公式， 且该公式可于实际使用中通过Matlab进行代码实现。为采集实验数据，本发明还提供一种基 于偏振光光场的的标定拼合系统，其使用了低成本的简单方式对光场中的工业相机进行了偏 振角标定。此外，本发明使用合成数据以及通过采集得到的真实数据对我们的方法进行了测 试，取得了积极的成果。该方法通过偏振光光场同步采集程序的同步采集保证了在动态场景 下该方法也能快速高效地一次将反光分离。下文将结合具体的实施例，分别解释说明基于偏 振光光场的反光分离方法及基于偏振光光场的的标定拼合系统的实现原理。
如图1所示，展示本发明一实施例中基于偏振光光场的反光分离方法的流程步骤。于本 实施例中，所述反光分离方法应用于带有计算处理功能的电子终端。所述电子终端可以是移 动终端也可是固定终端，所述移动终端例如为手机、平板电脑、笔记本电脑、或可穿戴终端 等等，所述固定终端例如为台式电脑、服务器等等。所述反光分离方法具体包括：
S11：将多张待处理图像逐像素进行求解，以得到与背景图样的实际光线强度值最为接近 的最优理论光线强度值。
在光学中，通常采用
来描述光波的振动方向与振幅大小。根据自然光的特性，可以将 自然光中任意一个光矢量
放到正交的直角坐标系中，为便于本领域技术人员理解，下面结 合图1所展示的光矢量分解示意图予以说明。令图中光矢量
与横轴(x轴)构成的夹角为 α角，将光矢量
分别沿着x轴和y轴进行分解，可以得到Ex＝E0·cosα，Ey＝E0·sinα。 其中，E0是指光矢量
的向量幅值大小或可指光波的振幅大小。
从电磁场理论中可以得知，波动的传播伴随着能量的传递，这可以用平均能流密度来描 述，也即坡印廷矢量的描述方法。它表示在单位时间内通过波的传播方向垂直的单位面积的 能量，如果能量传递时所通过的垂直面积为S，那么单位时间内，传递的总能量W与振幅平 方E2、波的传播速度v以及垂直面积S的乘积成正比，即W∝E2vS。在本发明所涉及的范畴 内，可以认为光线通过的垂直面积S和波的传播速度v均为定值。这样的话，光波所产生的 能量将直接与光波的振幅平方成正比，即W∝E2。
从照相机的成像原理来看，照相机的感光元件在捕捉影像的过程中计算着感光元件每个 感光点上所接收到的能量大小，而这个能量大小就是辐照曝光强度(RadiantExposure)，其 可被表示成He＝Ee·t。其中，Ee为光射向某个物体表面的辐照度(Irradiance)，单位是W/m2；t为曝光时间，单位是s。辐照曝光强度He的单位为J/m2，其物理意义为单位面积上的累计 能量强度。
照相机的感光元件捕捉了每个瞬间的辐照度并以曝光时间为积分，计算得到的每个感光 点的能量在经过ADC(Analog-to-Digital Converter，模数转换器)转换后则为RAW格式的相 片中每个像素点的像素值。所述RAW格式是指CMOS或者CCD图像感应器将捕捉到的光源信 号转化为数字信号的原始数据格式。本发明所介绍的方法将使用数码相机捕捉空间中的光线 能量。
对于单张图像来说，可将其分解为背景图样、前景反光以及前景反光系数。所述前景反 光系数用于表示在相机镜头前安装偏振镜后对反射光线的削弱程度。于本实施例中，将通过 偏振镜拍摄的含有背景图样及前景反光的图像逐像素表示为I＝B+α·R。其中，I表示最终通 过偏振镜拍摄到的某一点的像素值，B表示该点背景图样的像素值，R表示该点前景反光的 像素值，α则表示该点由偏振镜带来的对反光产生削弱作用的系数，且α需满足α∈[0,1]。
基于上述用于表示像素的公式，可得到不同反光去除效果下图像中每个像素点的最大像 素值Imax及最小像素值Imin，两者可分别表示为Imax＝B+αmax·R，Imin＝B+αmin·R。在理想 情况下，αmax取值为1，则Imax＝B+R；αmin取值为0，则Imin＝B，也即在理想情况下的Imin就是所要求得的背景图样，而Imax-Imin就是需要被分离的物体表面反射光。
图像中像素点的像素值I是通过相机响应函数(Camera Response Function)将感光元件 接收到的光线能量映射而来的。所述相机响应函数又称相机响应曲线，是由不同相机厂商自 行规定的映射方法。具体的，在捕捉到原始的光线能量后，不同照相机会根据其自身出厂设 定的算法将高动态范围的光线能量转换为每个像素值3个颜色通道，每个通道占据8bit，共 2563种颜色强度，即共约1677万种颜色强度的低动态范围的相片，这也是通常普通人得到的 可以直接被各类图像查看软件打开的图片格式。
但是，由于这样的转换涉及到高动态范围到低动态范围的压缩过程，一个常规的线性算 法只均匀地显示场景中的光线，而不能有所侧重地将某个能量范围内光线高对比地输出，致 使整体图像显得昏暗、无层次感，线性的相机响应曲线算法不能满足人们的日常使用。因此， 相机厂商通常使用各类非线性的相机响应函数对RAW格式的原始光能量场进行压缩，这就 导致了在相机的相机响应曲线未知时，并不能简单地将最终图像中的RGB颜色值当做该点 的原始能量。
于本实施例中，暂不考虑非线性相机响应函数对于光线能量与像素值之间的转换所造成 的影响，即认为像素值I同于光线强度和光能量。在部分偏振光前放置一块偏振镜，当偏振 镜的偏振方向与完全偏振光的偏振方向平行时可得到最强的光强度，即得到最大像素值Imax； 当偏振镜的偏振方向与完全偏振光的偏振方向垂直时可得到最弱的光强度，即得到最小像素 值Imin。其中，部分偏振光则可被描述为两个正交方向上光束的组合，且某个方向上占据的 能量大于另一个方向上占据的能量，或也可理解为完全偏振光与完全非偏振光的组合。所谓 完全偏振光是指在垂直于传播方向的平面内只沿某一个固定方向振动的光矢量，完全非偏振 光是指两个正交方向上光束的组合，且每个方向上占据了1/2的能量。
令Imax占据的光线总能量的部分为F，令Imin占据的光线总能量的部分为F⊥，则Imax与 Imin可以分别被表示为：
其中，I0表示入射光的光线总能 量。当这块偏振镜的偏振方向与这束部分偏振光的Imax所在方向相差θ时，可通过将Imax和Imin重新投影回偏振镜的偏振方向上，并用Imax、Imin及θ来表示实际看到的经过偏振镜偏振后的 光线强度I(θ)，如图2所示。
令Imax投影回偏振镜的偏振方向上的光线强度为I'max，令Imin投影回偏振镜的偏振方向上 的光线强度为I'min。因Imax∝E2max，E'max＝Emax·cosθ，I'max∝(E'max)2，因此可得到Imax投影回偏振镜的偏振方向上的光线强度为I'max＝Imax·cos2θ。基于同样的原理，可得到Imin投影回偏振镜的偏振方向上的光线强度为I'min＝Imin·sin2θ。因此，用Imax、Imin及θ来表 示实际看到的光线强度I(θ)为，I(θ)＝Imax·cos2θ+Imin·sin2θ。根据二倍角公式，可将上述公 式简化为下式：
由于上式中的θ角，即偏振镜的偏振方向与Imax所在方向的差，在实际情况下无法每次测 量，故本实施例采用相机镜头上标定的偏振角刻度来作为θ角的值，也即以偏振镜方向相对 于偏振镜上0刻度方向的夹角η作为θ角的值。又因为Imax所在方向与0刻度方向的夹角未知， 所以本文在公式中引入了变量φ作为该夹角角度。因此，偏振镜的偏振方向与Imax所在方向的 差记为变量(η-φ)。
基于上述各公式，可计算第n张图像的光线强度
其中，因每张图像拍摄时相机上标定的偏振角都应不同，故每张图像拥有不同的θn。需要说 明的是，相同场景下，尤其是在长焦镜头和/或镜头排布较密的情况下，对每张图像的相同位 置的像素来说，它们拥有相同或近似的Imax、Imin及φ。当然，需要说明的是，所述每张图像 的相同位置的像素是指经过标定及拼合的图像，关于如何对图像进行标定及拼合，会于下文 中予以解释。
S12：根据所述最优理论光线强度值求得分离反光后的光线强度值。
为了进行反射光的分离，本发明的算法需要通过多个图像求出优化变量Imax_opt，Imin_opt， φ_opt，其中，为保证求解得到的参数的准确性，因有三个未知量，故优选通过3张图像求出 该3个优化变量。该问题最终被转换为一个非线性优化问题，即根据实际光线强度与理论光 线强度求解最优的Imax、Imin及φ，其可表示为：
其中，
为根据公式
计算得到的理论值，I为拍摄照 片的实际测量值或观察值，其中优化得到的Imin_opt则为去除反射光之后的背景图像的像素值。
具体的，ηn表示第n张图像被拍摄时，偏振镜偏振方向与图像采集装置上标定的偏振角 刻度之间的夹角；φ表示图像采集装置上标定的偏振角刻度与Imax之间的夹角；(ηn-φ)则表 示偏振镜偏振方向与Imax之间的夹角。
如图3所示，展示本发明另一实施例中基于偏振光光场的反光分离方法的流程示意图。 于本实施例中，所述反光分离方法包括：
S31：采集光场图像数据并对光场图像数据进行标定拼合，以生成待处理图像。
S32：将多张待处理图像逐像素进行求解，以得到与背景图样的实际光线强度值最为接近 的最优理论光线强度值。
S33：根据所述最优理论光线强度值求得分离反光后的光线强度值。
需要说明的是，步骤S32及S33与上一实施例中的步骤S11及S12的实施方式类似，故 不再赘述。步骤S31中，采集光场图像数据并对光场图像数据进行标定拼的方式包括：以所 述背景图样所在平面作为光场重对焦平面，计算光场重对焦平面上各像点投影至紧密排布于 同一平台上的多个图像摄取装置中一图像摄取装置的像平面上的像点坐标，且令该图像摄取 装置为参考装置，根据平台上各图像摄取装置与参考装置之间的位置关系，计算所述光场重 对焦平面上各像点投影至平台上各图像摄取装置的像平面上的像点坐标，其具体坐标转换过 程将于下文的基于偏振光光场的标定拼合系统中做进一步的解释说明。
值得注意的是，本发明提供的技术方案能够适用于动态场景，例如拍摄水下的物体，因 树叶或其它外景的倒影摇动而形成水面的反光也在摇动的动态场景；再例如行进中的车辆， 车窗表面的由外部建筑物或植物引起的反光，随着车辆的行进而变化，继而形成动态场景。 在动态场景下，光场包含至少3个相机，可同时拍摄至少3个带偏振角度的图像，进而可针 对该3个图像进行实时求解。若只采用一个相机，则需通过改变偏振镜的角度才能获取3张 不同偏振角度的图像，也即该3张图像无法在同一时刻拍摄获得，对于动态场景无法进行求 解。
因此，本发明还提供一种未图示的基于偏振光光场的标定拼合系统，用于同步采集多张 图像以保证在动态场景下该方法也能快速高效地一次将反光分离。所述标定拼合系统包括： 多个图像摄取装置，紧密排布于同一平台上；各图像摄取装置的镜头前安装有透射角度不同 的偏振镜；处理装置，通信连接各图像摄取装置；所述处理装置计算背景图样所在平面的各 像点投影至各图像摄取装置像平面上的像点坐标，以生成多张待处理图像；所述处理装置将 多张待处理图像逐像素进行求解以得到与背景图样的实际光线强度值最为接近的最优理论光 线强度值，并根据所述最优理论光线强度值求得分离反光后的光线强度值。
所述图像摄取装置包括但不限于：照相机、视频摄像机、集成有光学系统和CCD芯片的 摄像模块、集成有光学系统和CMOS芯片的摄像模块等等。所述处理装置可以是移动终端也 可是固定终端，所述移动终端例如为手机、平板电脑、笔记本电脑、或可穿戴终端等等，所 述固定终端例如为台式电脑、服务器等等。
具体的，以安装有10个相机的平台为例，各相机的镜头前安装偏振镜，且旋转偏振镜使 各偏振镜的投射方向，以0刻度为标准置于不同角度。为了标定平台上相机的内参，可让相 机拍摄约20张棋盘格图样，并运用常规的相机标定算法得到每个相机的内参矩阵，也即投影 矩阵。
优选的，为了标定平台上相机之间的位置关系，可以让所有相机同时拍摄同一张棋盘格 图样，并且要求棋盘格图样对于所有相机都完整可见。以某一个相机的位置作为参考，利用 所有相机拍摄得到的图像可以对其他相机与参考相机之间的位置关系进行确定。
具体的，以参考相机为标准，假定一个深度为D的平面作为光场重对焦平面，该平面也 可以被认为是背景图样所在的平面。那么在该平面上的一点pw投影到参考相机Ci像平面的像 点为pi，根据相机物理模型，pi＝Ki·[Ri|ti]·pw，其中，Ki·[Ri|ti]即为变换矩阵，用于将 世界坐标系中的点pw投影至当前坐标系中的点pi；Ki为相机Ci的3×3的内参矩阵，用于描 述相机Ci的焦距、主像点位置、及畸变参数；[Ri|ti]为相机Ci的外参矩阵，用于描述相机Ci的当前坐标系与世界坐标系之间的变换关系；Ri为相机Ci的当前坐标系相对于世界坐标系的 3×3旋转矩阵；ti为相机Ci的当前坐标系相对于世界坐标系的3×1平移向量。若平台上某一 相机Cj相对于参考相机Ci的位置关系为[Rj|tj]，且该相机的内参矩阵为Kj，那么pw在该相 机像平面的像点为pj＝Kj·[Rj|tj]·[Ri|ti]·pw。同理，可以求出pw在所有其他相机相平面上 的像点。
重复上述这个过程，可以对光场重对焦平面上的所有点进行查找，找到它们在所有相机 像平面上对应的所有像点，以此达到光场图像标定拼合的目的。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算 机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序 在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟 或者光盘等各种可以存储程序代码的介质。
如图4所示，展示本发明一实施例提供的再一种电子终端的结构示意图。本实例提供的 电子终端，包括：处理器41、存储器42、收发器43、通信接口44和系统总线45；存储器42和通信接口44通过系统总线45与处理器41和收发器43连接并完成相互间的通信，存储器42用于存储计算机程序，通信接口44和收发器43用于和其他设备进行通信，处理器41 用于运行计算机程序，使电子终端执行如上基于偏振光光场的反光分离方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(PeripheralPomponentInterconnect，简称 PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该 系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示， 但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备 (例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器 (RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)， 例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、 网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简 称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程 逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明提供的基于偏振光光场的反光分离方法及标定拼合系统，其能够通过 光场与光的偏振性的结合，找出一种简单、高效、可靠的物体表面反射光分离方法。本发明 依据光学中光的物理模型、计算机视觉中的相机模型，推导出了基于偏振光光场的物体表面 反射光分离公式，且该公式可于实际使用中通过Matlab进行代码实现。为采集实验数据，本 发明还提供一种基于偏振光光场的的标定拼合系统，其使用了低成本的简单方式对光场中的 工业相机进行了偏振角标定。此外，本发明使用合成数据以及通过采集得到的真实数据对我 们的方法进行了测试，取得了积极的成果。该方法通过偏振光光场同步采集程序的同步采集 保证了在动态场景下该方法也能快速高效地一次将反光分离。所以，本发明有效克服了现有 技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (7)
1.一种基于偏振光光场的反光分离方法，其特征在于，包括：
将多张待处理图像逐像素进行求解，以得到与背景图样的实际光线强度值最为接近的最优理论光线强度值；
根据所述最优理论光线强度值求得分离反光后的光线强度值；
所述方法包括选取至少3张待处理图像按照如下优化公式进行优化计算：
2.根据权利要求1所述的基于偏振光光场的反光分离方法，其特征在于，所述待处理图像包括标定拼合后的光场图像。
3.根据权利要求2所述的基于偏振光光场的反光分离方法，其特征在于，以所述背景图样所在平面作为光场重对焦平面，所述方法包括：
计算光场重对焦平面上各像点投影至紧密排布于同一平台上的多个图像摄取装置中一图像摄取装置的像平面上的像点坐标，且令该图像摄取装置为参考装置；
根据平台上各图像摄取装置与参考装置之间的位置关系，计算所述光场重对焦平面上各像点投影至平台上各图像摄取装置的像平面上的像点坐标。
4.根据权利要求3所述的基于偏振光光场的反光分离方法，其特征在于，包括：
令光场重对焦平面上的某像点坐标为pw，且令所述参考装置为Ci；像点坐标pw投影至参考装置Ci像平面的像点坐标为pi，则pi＝Ki·[Ri|ti]·pw；其中，Ki·[Ri|ti]是用于将世界坐标系中的像点坐标pw投影至当前坐标系中的像点坐标pi的变换矩阵，Ki是用于描述参考装置Ci的焦距、主像点位置及畸变参数的3×3内参矩阵，[Ri|ti]是用于描述参考装置Ci的当前坐标系与世界坐标系之间的变换关系的外参矩阵，Ri是用于描述参考装置Ci的当前坐标系相对于世界坐标系的3×3旋转矩阵，ti是用于描述参考装置Ci的当前坐标系相对于世界坐标系的3×1平移向量；
令平台上参考装置Ci以外的一图像摄取装置为装置Cj，装置Cj的坐标系与参考装置Ci的坐标系之间的变换关系为[Rj|tj]，且装置Cj的内参矩阵为Kj，则像点坐标pw投影至装置Cj像平面的像点坐标为pj＝Kj·[Rj|tj]·[Ri|ti]·pw。
5.一种基于偏振光光场的标定拼合系统，其特征在于，包括：
多个图像摄取装置，紧密排布于同一平台上；各图像摄取装置的镜头前安装有透射角度不同的偏振镜；
处理装置，通信连接各图像摄取装置；所述处理装置计算背景图样所在平面的各像点投影至各图像摄取装置像平面上的像点坐标，以生成多张待处理图像；所述处理装置将多张待处理图像逐像素进行求解以得到与背景图样的实际光线强度值最为接近的最优理论光线强度值，并根据所述最优理论光线强度值求得分离反光后的光线强度值；
所述处理装置计算背景图样所在平面的各像点投影至各图像摄取装置像平面上的像点坐标，其方式包括：以所述背景图样所在平面作为光场重对焦平面，且以多个图像摄取装置中的一图像摄取装置为参考装置；所述处理装置计算光场重对焦平面上各像点投影至所述参考装置的像平面上的像点坐标，并根据平台上各图像摄取装置与参考装置之间的位置关系计算所述光场重对焦平面上各像点投影至平台上各图像摄取装置的像平面上的像点坐标，以得到标定拼合后的光场图像；
以所述光场图像的预设深度的平面作为光场重对焦平面，令该平面上的某像点为pw，并以平台上的其中一个图像摄取装置Ci作为参考装置；像点pw投影至参考装置Ci像平面的像点为pi，则pi＝Ki·[Ri|ti]·pw；其中，Ki·[Ri|ti]是用于将世界坐标系中的像点pw投影至当前坐标系中的像点pi的变换矩阵，Ki是用于描述参考装置Ci的焦距、主像点位置及畸变参数的3×3内参矩阵，[Ri|ti]是用于描述参考装置Ci的当前坐标系与世界坐标系之间的变换关系的外参矩阵，Ri是用于描述参考装置Ci的当前坐标系相对于世界坐标系的3×3旋转矩阵，ti是用于描述参考装置Ci的当前坐标系相对于世界坐标系的3×1平移向量；令平台上参考装置Ci以外的一图像摄取装置为装置Cj，装置Cj的坐标系与参考装置Ci的坐标系之间的变换关系为[Rj|tj]，且装置Cj的内参矩阵为Kj，则像点为pw投影至该图像摄取装置Cj像平面的像点pj＝Kj·[Rj|tj]·[Ri|ti]·pw；其中，像点pi和pj为标定拼合后的待处理图像的像点。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述的基于偏振光光场的反光分离方法。
7.一种终电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至4中任一项所述的基于偏振光光场的反光分离方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810983188.4A CN109325912B (zh) | 2018-08-27 | 2018-08-27 | 基于偏振光光场的反光分离方法及标定拼合系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810983188.4A CN109325912B (zh) | 2018-08-27 | 2018-08-27 | 基于偏振光光场的反光分离方法及标定拼合系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109325912A CN109325912A (zh) | 2019-02-12 |
| CN109325912B true CN109325912B (zh) | 2023-05-12 |
Family
ID=65264687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810983188.4A Active CN109325912B (zh) | 2018-08-27 | 2018-08-27 | 基于偏振光光场的反光分离方法及标定拼合系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109325912B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110148171B (zh) * | 2019-04-18 | 2021-03-23 | 北京森焱精创科技有限公司 | 动态投影方法、系统、计算机设备和存储介质 |
| CN111369464B (zh) * | 2020-03-04 | 2021-11-09 | 深圳市商汤科技有限公司 | 去除图像中的反光的方法及装置、电子设备和存储介质 |
| CN112884684B (zh) * | 2021-01-13 | 2022-07-22 | 电子科技大学 | 一种基于raw图像的反光图像合成方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492127A (zh) * | 2017-09-18 | 2017-12-19 | 丁志宇 | 光场相机参数标定方法、装置、存储介质和计算机设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140180655A1 (en) * | 2012-12-21 | 2014-06-26 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Polarization ray tracing tensor method |
-
2018
- 2018-08-27 CN CN201810983188.4A patent/CN109325912B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492127A (zh) * | 2017-09-18 | 2017-12-19 | 丁志宇 | 光场相机参数标定方法、装置、存储介质和计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于偏振双目视觉的无纹理高反光目标三维重构;平茜茜等;《红外与毫米波学报》;20170815(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109325912A (zh) | 2019-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102278776B1 (ko) | 이미지 처리 방법, 기기, 및 장치 | |
| US20200374461A1 (en) | Still image stabilization/optical image stabilization synchronization in multi-camera image capture | |
| CN107995424B (zh) | 基于深度图的光场全聚焦图像生成方法 | |
| US10154216B2 (en) | Image capturing apparatus, image capturing method, and storage medium using compressive sensing | |
| CN109325912B (zh) | 基于偏振光光场的反光分离方法及标定拼合系统 | |
| JP2017505004A (ja) | 画像生成方法及びデュアルレンズ装置 | |
| US9473700B2 (en) | Camera systems and methods for gigapixel computational imaging | |
| US9743015B2 (en) | Image capturing apparatus and method of controlling the same | |
| WO2007139067A1 (ja) | 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム | |
| US8749652B2 (en) | Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof | |
| JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
| WO2019232793A1 (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
| CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| JP2016208075A (ja) | 画像出力装置およびその制御方法、撮像装置、プログラム | |
| Bauer et al. | Automatic estimation of modulation transfer functions | |
| CN109584312A (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN109584311B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN109697737B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN113628134B (zh) | 图像降噪方法及装置、电子设备及存储介质 | |
| JP5843599B2 (ja) | 画像処理装置および撮像装置並びにその方法 | |
| JP2017228983A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| US9196020B2 (en) | Systems and methods for digital correction of aberrations produced by tilted plane-parallel plates or optical wedges | |
| EP3824617A1 (en) | A device having exactly two cameras and a method of generating two images using the device | |
| CN109191441B (zh) | 图像处理方法、设备、系统及存储介质 | |
| US20150085152A1 (en) | Data Acquisition Method And Electronic Device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |