CN113473033A

CN113473033A - 一种高动态成像设备

Info

Publication number: CN113473033A
Application number: CN202110751305.6A
Authority: CN
Inventors: 曹珊珊; 季翠华
Original assignee: Guangzhou Aixiansi Photoelectric Technology Co ltd
Current assignee: Guangzhou Aixiansi Photoelectric Technology Co ltd
Priority date: 2021-07-02
Filing date: 2021-07-02
Publication date: 2021-10-01

Abstract

本发明提供一种高动态成像设备。技术方案是：除了镜头、相机，还包括微偏振阵列片和线偏振片。其中，微偏振阵列片紧贴在相机的成像感光元件表面，并且完全覆盖成像感光元件的感光区域；线偏振片位于成像感光元件前方，其表面垂直于成像光轴，且线偏振片能够以成像光轴为中心轴。本发明实时性和适用性强，而且结构简单、体积小，实现难度低、成本低，便于工业化生产。

Description

一种高动态成像设备

技术领域

本发明的应用属于计算成像技术领域，涉及一种利用微偏振阵列和可旋转的线偏振片实现对目标场景进行实时高动态成像的设备。

背景技术

高动态成像技术，是一种能够同时记录场景中最亮和最暗的目标亮度之比大于10000：1，而且目标细节不丢失的成像技术。高动态成像技术应用广泛，手机中的HDR(HighDynamic Range，高动态范围)拍摄模式即利用了该技术。此外，在火箭发射、金属焊接的焊缝监测、夜间交通监控等应用场合都需要高动态成像技术。图1分别给出了使用高动态成像技术(左图)和未使用高动态成像技术(右图)同时获取的金属焊接过程图像，可见对于未使用高动态成像技术的图像，火焰枪和熔融金属部分因为亮度过高，出现过曝光。相反的，使用高动态成像技术获取的图像细节丰富，未出现曝光过度和曝光不足的现象。

现有的实现高动态成像技术的方法主要有两种，第一种是“时间序列”法：使用一台相机，按照时间序列采集多帧不同曝光量的图像(通过改变快门时间或者镜头光圈的大小来实现)，这个方法的缺点是实时性不强，对于高速运动的目标场景不适用。第二种实现方法是“空间复用”法，即在同一时刻针对同一场景得到不同曝光量的图像。该方法实时性好，相对于“时间序列”法具有更大的实用价值，它具体又可以分为三类：分别是分光强手段、分孔径手段、以及分焦平面手段。其中，分焦平面手段的系统结构最为小巧，是目前公认最具有前景的高动态成像方案。

现有的基于分焦平面手段的高动态成像技术，主要采用的技术途径是同时利用具有不同尺寸像元的成像感光元件(也称为成像传感器)，如不同尺寸像元的CCD(ChargeCoupled Device，电荷耦合器件)或者CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)：尺寸较大的像元，灵敏度高，更适合于对暗弱目标成像；尺寸较小的像元，灵敏度低，不容易过曝光，因此更适合于对高亮目标成像，不同尺寸的像元插空排布。相机采集到一帧图像以后，按照像元种类(即不同尺寸的像元)分别把对应像元灰度值按顺序排列，从而针对同一目标场景获取到不同曝光量的图像。图2给出了日本富士公司设计的高动态成像感光元件结构示意图，它由大尺寸的S像元以及小尺寸的R像元交错排列组成，为了标识清楚，图中各用一个圆，圈出了一个S像元和一个R像元。上述技术手段主要有两个缺点：第一，制造具有不同尺寸像元的成像感光元件，对微纳光学加工工艺要求高，成品率低，因此截止目前仍然没有产品进入消费市场，只存在于实验室中；第二，此类成像感光元件一经制作，不同像元对应的曝光量之比便已经固化，无法改变，对被拍摄场景的适用性不强。对于真实的场景，其图像细节有可能处于任意亮度范围内，如果多帧图像的曝光量之比不可调节，在某些场合就不能获得最佳曝光的高质量图像。

综上所述，虽然分焦平面的实时高动态成像技术具有诱人前景，但是现有的实现手段仍然不成熟，有待改进。

发明内容

发明要解决的技术问题是：本发明提供一种高动态成像设备，不仅具有实时高动态成像的能力，而且解决了现有技术手段工艺复杂、成本高昂的问题。此外，该设备的适用性强，可以根据被拍摄场景的亮度范围进行自适应调节成像的动态范围，达到最佳的成像效果。

本发明的技术方案一是：

一种高动态成像设备，包括镜头，相机，其特征在于，还包括微偏振阵列片和线偏振片。其中，微偏振阵列片紧贴在相机的成像感光元件表面，并且完全覆盖成像感光元件的感光区域；线偏振片位于成像感光元件前方，其表面垂直于成像光轴，即平行于成像感光元件表面，且线偏振片能够以成像光轴为中心轴，在平行于成像感光元件表面的平面内旋转。此外，线偏振片完全覆盖成像感光元件的感光区域。

微偏振阵列片包括相邻排列的若干个相同的偏振组，每个偏振组包括至少两个微小偏振单元，每个微小偏振单元的面积应至少覆盖成像感光元件上的一个像元；同一偏振组内的微小偏振单元的偏振方向各不相同，并且至少有两个微小偏振单元的偏振方向是互相垂直的。

本发明的技术方案二是：

一种实时高动态成像方法，利用技术方案一提供的高动态成像设备进行成像，具体包括下述步骤：

对获得的一帧图像，将每一个特定偏振方向对应的微小偏振单元覆盖的所有像元提取出来，按照原有的空间位置顺序组成一帧子图像。可知子图像的数量，与偏振组中微小偏振单元数量相同，也与偏振方向的个数相同。

利用现有的HDR(High Dynamic Range)图像融合算法，将上述所有的子图像进行融合，获得高动态成像结果。

根据成像结果，调整线偏振片的旋转角度，再次获得高动态成像结果。

本发明的技术方案三是：

一种高动态成像系统，包括技术方案一提供的高动态成像设备，其特征在于，还包括计算模块。高动态成像设备发送成像结果到计算模块；计算模块分析成像结果，控制高动态成像设备的成像过程。

特别地，计算模块根据对成像结果的分析，控制高动态成像设备中的线偏振片的旋转。

本发明的有益效果是：本发明仅仅在现有的相机上加装微偏振阵列片和可旋转的线偏振片，就可实现对目标场景的实时高动态成像。主要效果如下：第一，和现有的实时高动态成像设备相比，本发明提出的设备不但结构简单、体积小，而且实现难度低、成本低，便于工业化生产。第二，和现有技术手段相比，通过线偏振片的旋转，提供了一个除“快门时间调节”和“镜头光圈调节”以外，新的曝光量调节手段，而且该手段调节的不同子图像的曝光量之比不恒定。实现不同子图像的曝光量之比不恒定，就更能够适应多样化的拍摄场景的亮度变化。这是“快门时间调节”和“镜头光圈调节”都无法做到的，因为这两者只能做到各个子图像曝光量的同步等比例调节。第三，本发明的设备能够实现一次拍摄，即可同时获取多帧不同曝光量的图像(即前述的子图像)，因此本发明提供的高动态成像技术的实时性更强。

附图说明

图1为高动态成像设备和非高动态成像设备分别获取的金属焊接过程图像；

图2为日本富士公司设计的高动态成像感光元件结构示意图；

图3为高动态成像设备某一具体实施方式的结构示意图；

图4为通光量随着线偏振片相对于微小偏振单元的偏振方向夹角变化的曲线图；

图5为安装在相机成像感光元件表面的微偏振阵列片实物图；

图6为高动态成像设备获得的目标实际图像以及局部放大结果；

图7为由目标实际图像按照微小偏振单元对应像元分类得到的四个具有不同曝光量的子图像；

图8为由子图像融合得到的高动态图像；

图9为放置于相机和镜头之间的线偏振片实物。

具体实施方式

以下将结合说明书附图对本发明做进一步详细说明。

图3为高动态成像设备某一具体实施方式的结构示意图。包括镜头1，线偏振片2，微偏振阵列片3，相机4，成像感光元件5。镜头1可以选用市场上的任意镜头。

线偏振片2，位于成像感光元件5前方，其表面垂直于成像光轴11，即平行于成像感光元件5的表面，且能够以成像光轴11为轴，手动或者电动旋转。线偏振片2距离相机4和成像感光元件5的距离均不是重要参数。线偏振片2既可以位于镜头1和相机4之间，也可以位于镜头1的前方(图三的示意图中，线偏振片2位于镜头1和相机4之间)，只要在安装时保证线偏振片2的偏振表面垂直于成像光轴11。在线偏振片2位于镜头1和相机4之间时，在安装线偏振片2的接缝处采用注胶、胶带缠绕等密封手段，防止灰尘和水汽等进入镜头1与相机4之间的光路系统即可。线偏振片2位于镜头1的前方时，不用紧贴镜头1，也无需密封(因为镜头自身具有密封性，线偏振片2的加入并不破坏整个光路的密封性，也不存在灰尘和水汽进入光路内部的困扰)，只需要线偏振片2的尺寸足够大，使得进入镜头1的光线都经过线偏振片2即可。然而，线偏振片2放在镜头1和相机4之间时，为了保证镜头1搜集到的所有的入射光线都能够起偏振，它所需要的尺寸明显会小得多，因此从成本上看，线偏振片2位于镜头1和相机4之间时性价比会更高一些。此外，线偏振片2安装在镜头1和相机4之间时，需要制作机械转接机构，因为镜头2和相机4之间原本具有常规通用的接口，可以保证二者便于拆装，为了在它们之间插入线偏振片2，必须同时修改镜头1和相机4的接口，首先令镜头1和线偏振片2连接，然后再令线偏振片2和相机4连接，利用技术很容易实现。

线偏振片2的消光比越高，高动态成像设备的成像动态范围越大。实际使用时，为了追求较高的成像动态范围，线偏振片2一般需要达到1000：1以上的消光比。

微偏振阵列片3，包括相邻排列的若干个相同的偏振组6，如图3所示。每个偏振组6至少包括两个微小偏振单元，如微小偏振单元的数量可以是2、3、4、5、6，甚至更多。图3中的具体实施方式中，每个偏振组6包括4个微小偏振单元7、8、9、10，它们全部位于同一个偏振组6内，图中的双向箭头指示了它们各自的偏振方向。在同一个偏振组6内的微小偏振单元的偏振方向各不相同，但是至少有两个的偏振方向是互相垂直的。例如，如图3所示，微小偏振单元7的偏振方向和微小偏振单元10的偏振方向垂直。此外，微偏振阵列片3中所有的微小偏振单元的尺寸可以相同也可以不同，但是其面积应至少完整覆盖成像感光元件5上的一个像元。在偏振组6中，微小偏振单元紧密排列，但是每个微小偏振单元的位置可以随机排布，例如图3中，微小偏振单元7和其他微小偏振单元8、9、10的位置可以任意互换。相机4，可以是工业相机，可以是集成在手机和智能汽车等平台上的摄像头，也可以是消费级别的单反照相机。成像感光元件5，可以是黑白感光元件，也可以是带有Bayer滤镜(也称“拜尔滤镜”)的彩色感光元件。如果是彩色感光元件，那么每个偏振组6中，对于相同偏振方向的微小偏振单元，其尺寸应该完整覆盖成像感光元件5的至少一个彩色像元(包括RGB三个单色像元)。微偏振阵列片3有多种方式安装固定在相机感光元件5上：最常用的方法是在微偏振阵列片3和相机感光元件5之间涂抹一层薄的胶水(一般是紫外固化胶，又称为“无影胶”，也可以是AB胶等环氧树脂胶，也可以是热固胶，但是不管哪种胶水，都需要能够耐温100℃以上)固定；另外，还可以采用弹性机械机构，如弹簧等，将微偏振阵列片3和相机感光元件5相互压紧，实现紧贴安装；或者，也可以使用光刻或者纳米压印的工艺，在相机感光元件5表面直接制作出微偏振阵列片3。

假设I₀为在没有安装微偏振阵列片3时，透过线偏振片2入射到某个像元的光强度，同时假设I为在安装微偏振阵列片3以后，对应先透过线偏振片2再透过微小偏振单元入射到同样像元上的光强度。图4为通光率(即

)随着线偏振片2相对于微小偏振单元的偏振方向夹角变化的曲线图。图中横坐标为线偏振片偏振方向相对于微小偏振单元偏振方向的夹角θ，纵坐标为通光率。当线偏振片旋转时，夹角θ发生改变，因此通过微小偏振单元进入成像感光元件中的像元的光强度I发生改变，通光率(即

)和夹角θ之间满足如下公式：

例如，当微小偏振单元和线偏振片的夹角分别为20°和60°时，通光率分别为88％和25％，两个微小偏振单元对应像素的通光量之比为1：0.284。当线偏振片旋转10°时，此时上述微小偏振单元和线偏振片的夹角分别为30°和70°，通光率分别变为75％和11.7％，同样的两个微小偏振单元对应像素的通光量之比为1：0.156。由于微偏振阵列片上有不同偏振方向的微小偏振单元，因此每一种微小偏振单元对应的子图像其曝光量都是不同的，而且旋转线偏振片会使得每个子图像的曝光量发生改变，这样就达到了非线性的调节图像曝光量的目的。

图5是发明人制作的一款高动态成像设备关键部分的实物图。图中的白色矩形区域是微偏振阵列片3，使用紫外固化胶将其安装在相机4的成像感光元件5表面，紧贴，而且微偏振阵列片3含有多个偏振组，每一个偏振组由四个微小偏振单元组成，四个微小偏振单元的偏振方向分别为0°，72°，84°，90°(以第一个微小偏振单元的偏振方向为0°方向的参考基准)。实际制作时，通过实验还发现偏振方向分别为0°，63.5°，84.5°，90°，或者为0°，60°，80°，90°，都可以得到很好的高动态成像效果。当然，每个微小偏振单元的偏振方向也可以指定为其它值，但是需要保证其中至少两个微小偏振单元的偏振方向是相互垂直的。在这款高动态成像设备中，每一个微小偏振单元完整的覆盖成像感光元件5上的3×3个像元。当然，每一个微小偏振单元最少可以完整的覆盖一个像元。需要说明的是，覆盖的像元数量越少，输出的结果图像(即高动态图像)的分辨率越高；但是，覆盖的像元数量越多，图像的信噪比越高。因此，每一个微小偏振单元覆盖的像元数量一般需要根据具体的应用场合，权衡利弊，综合考虑。

图6是由图5所示的高动态成像设备采集到的一帧原始图像的一部分(左图)，以及局部放大图(右图)。左图所示矩形框中的区域被放大，如右图所示。从局部放大图中可以看到，由于微偏振阵列片覆盖在成像感光元件的表面，同时在镜头和相机中间插入了线偏振片，在线偏振片位于某一角度时，导致图像中不同微小偏振单元覆盖的区域进光量不同，进而灰度值不同。

图7是从图6中分类提取出的四个子图像。此时，线偏振片在可见光谱段(400nm-760nm)的消光比约为1200：1，它的偏振方向角设定为0°。微偏振阵列片中，每个偏振组的四个微小偏振单元的偏振方向分别为0°，72°，84°，90°，每一个偏振方向的微小偏振单元对应的像素被分别提取出来，组成一帧子图像，左上角图的偏振方向为90°，右上角图的偏振方向为84°，左下角图的偏振方向为0°，右下角图的偏振方向为72°。可以看出，四个子图像的曝光量有明显的差别。由于0°偏振方向的微小偏振单元和线偏振片的偏振方向相同，因此对应子图像的曝光量最高，而90°偏振方向微小偏振单元对应子图像的曝光量最低。

图8是基于图7的四帧不同曝光量的子图像，利用HDR融合算法得到的高动态成像结果。关于HDR融合算法，可以使用Debevec和Malik所提出的方法(1997年ACM SIGGRAPH97会议论文，《Recovering high dynamic range radiance maps from photographs》)，也可以使用Michael D.Tocci等提出的方法(2011年SIGGRAPH会议论文，《A Versatile HDRVideo Production System》)，同样也可以使用2011年张军等人提出的方法(《不同曝光值图像的直接融合方法》，软件学报，2011，22(4))。

图9为放置于镜头1和相机4之间的线偏振片2实物，如图中的矩形框中所示，我们使用了带有角度刻度的手动旋转线偏振片。本实例中线偏振片2位于镜头和相机之间。图9中显示的刻度，指示了线偏振片2的偏振方向。

在使用本发明提供的一种高动态成像系统时，按照下述策略控制线偏振片2的旋转，从而达到最佳的高动态成像效果，简称为“永不过曝策略”：系统获得目标场景一帧图像以后，按照前面文中提及的内容得到所有子图像，选择其中特定子图像，该子图像对应偏振方向和线偏振片2的偏振方向之间的锐角夹角在所有子图像中最大。计算模块计算该子图像中是否有灰度值达到上限的区域(即过曝光的区域)，上限由系统实际参数确定；如果有，以一个小的量(例如1°，该值允许人为根据实际情况设定)改变线偏振片2的角度，使得该子图像对应偏振方向和线偏振片2的偏振方向之间的锐角夹角变大，再次计算该子图像中是否有灰度值达到上限(即过曝光)的区域，如果有，重复这一步骤，直到该子图像中没有过曝光区域，则停止线偏振片2的旋转。

Claims

1.一种高动态成像设备，包括镜头，相机，其特征在于，还包括微偏振阵列片和线偏振片；其中，微偏振阵列片紧贴在相机的成像感光元件表面，并且完全覆盖成像感光元件的感光区域；线偏振片位于成像感光元件前方，线偏振片的表面垂直于成像光轴，且线偏振片能够以成像光轴为中心轴旋转；所述线偏振片的尺寸为至少完全覆盖成像感光元件的感光区域；

其中，微偏振阵列片包括相邻排列的若干个相同的偏振组，每个偏振组包括至少两个微小偏振单元，每个微小偏振单元的面积应至少覆盖成像感光元件上的一个像元；同一偏振组内的微小偏振单元的偏振方向各不相同，并且至少有两个微小偏振单元的偏振方向是互相垂直的。

2.根据权利要求1所述的高动态成像设备，其特征在于，线偏振片的消光比至少为1000：1。

3.根据权利要求2所述的任意一种高动态成像设备，其特征在于，线偏振片位于镜头和相机之间。

4.根据权利要求2所述的任意一种高动态成像设备，其特征在于，线偏振片位于镜头的前方。

5.根据权利要求3所述的高动态成像设备，其特征在于，所述微偏振阵列片的偏振组，包括四个微小偏振单元。

6.根据权利要求4所述的高动态成像设备，其特征在于，所述微偏振阵列片的偏振组，包括四个微小偏振单元。

7.根据权利要求5所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分别为0°、72°、84°、90°。

8.根据权利要求5所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分别为0°、60°、80°、90°。

9.根据权利要求5所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分0°、63.5°、84.5°、90°。

10.根据权利要求6所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分别为0°、72°、84°、90°。

11.根据权利要求6所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分别为0°、60°、80°、90°。

12.根据权利要求6所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分0°、63.5°、84.5°、90°。

13.根据权利要求1所述的任意一种高动态成像设备，其特征在于，线偏振片位于镜头和相机之间。

14.根据权利要求1所述的任意一种高动态成像设备，其特征在于，线偏振片位于镜头的前方。

15.根据权利要求13所述的高动态成像设备，其特征在于，所述微偏振阵列片的偏振组，包括四个微小偏振单元。

16.根据权利要求14所述的高动态成像设备，其特征在于，所述微偏振阵列片的偏振组，包括四个微小偏振单元。

17.根据权利要求15所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分别为0°、72°、84°、90°。

18.根据权利要求15所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分别为0°、60°、80°、90°。

19.根据权利要求15所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分0°、63.5°、84.5°、90°。

20.根据权利要求16所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分别为0°、72°、84°、90°。

21.根据权利要求16所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分别为0°、60°、80°、90°。

22.根据权利要求16所述的高动态成像设备，其特征在于，四个微小偏振单元的偏振方向分0°、63.5°、84.5°、90°。

23.一种实时高动态成像方法，利用权利要求1-22所述的任意一种高动态成像设备进行成像，具体包括下述步骤：

对获得的一帧图像，将每一个特定偏振方向对应的微小偏振单元覆盖的所有像元提取出来，按照原有的空间位置顺序组成一帧子图像；利用高动态范围图像融合算法，将上述所有的子图像进行融合，获得高动态成像结果。

24.一种高动态成像系统，包括权利要求1-22所述的任意一种高动态成像设备，其特征在于，还包括计算模块；高动态成像设备发送成像结果到计算模块；计算模块分析成像结果，控制高动态成像设备的成像过程。

25.一种高动态成像系统，包括权利要求1-22所述的任意一种高动态成像设备，其特征在于，还包括计算模块；高动态成像设备发送成像结果到计算模块；计算模块分析成像结果，控制高动态成像设备的成像过程；

计算该特定子图像中是否有灰度值达到上限的区域，上限由系统实际参数确定；如果有，则改变线偏振片的角度，使得该特定子图像对应偏振方向和线偏振片的偏振方向之间的锐角夹角变大，再次计算该特定子图像中是否有灰度值达到上限(即过曝光)的区域，如果有，再次改变线偏振片的角度，直到该特定子图像中没有过曝光区域。