CN106713774B - 微透镜阵列的成像方法与成像装置 - Google Patents

微透镜阵列的成像方法与成像装置 Download PDF

Info

Publication number
CN106713774B
CN106713774B CN201510776894.8A CN201510776894A CN106713774B CN 106713774 B CN106713774 B CN 106713774B CN 201510776894 A CN201510776894 A CN 201510776894A CN 106713774 B CN106713774 B CN 106713774B
Authority
CN
China
Prior art keywords
irradiance distribution
scene
microlens
image
original scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510776894.8A
Other languages
English (en)
Other versions
CN106713774A (zh
Inventor
杨青
郁树达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Technology Co Ltd
Original Assignee
SuperD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SuperD Co Ltd filed Critical SuperD Co Ltd
Priority to CN201510776894.8A priority Critical patent/CN106713774B/zh
Publication of CN106713774A publication Critical patent/CN106713774A/zh
Application granted granted Critical
Publication of CN106713774B publication Critical patent/CN106713774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供了一种微透镜阵列的成像方法与成像装置，该成像方法包括：获取图像传感器输出的原始场景图像；根据所述原始场景图像和预先存储的所述图像传感器的响应曲线，得到原始场景辐照度分布；根据预先存储的微透镜辐照度分布模型对所述原始场景辐照度分布进行亮度均一化变换，得到亮度均一的场景辐照度分布；将所述亮度均一的场景辐照度分布重新变换为亮度均一的场景数字图像，解决微透镜阵列所成的原始图像中亮度分布不均的问题，提高原始图像的质量，降低对微透镜所成图像做匹配和拼接的难度。

Description

微透镜阵列的成像方法与成像装置
技术领域
本发明涉及成像技术领域，尤其涉及微透镜阵列的成像方法与成像装置。
背景技术
微透镜阵列广泛应用于光场相机，复眼相机以及大视野的显微相机。然而，由于光的波动性，以及图像传感器在感光、模拟信号转换为数字信号以及数字信号重映射为数字图像等过程中存在着非线性响应，这导致其输出的数字图像中的光照分布与真实的场景环境光分布并非线性关系，进而导致微透镜成像中光亮度的非均匀性，导致每个微透镜成像都会出现中间亮四周暗的现象。这对于微透镜阵列成像的后续处理(无论是对两个微透镜成像做匹配，还是将多个微透镜成像做拼接)都会造成严重的干扰。
发明内容
鉴于上述技术问题，本发明提供一种微透镜阵列的成像方法与成像装置，解决微透镜阵列所成的原始图像中亮度分布不均的问题，提高原始图像的质量，降低对微透镜所成图像做匹配和拼接的难度。
依据本发明的一个方面，提供了一种微透镜阵列的成像方法，所述成像方法包括：获取图像传感器输出的原始场景图像；根据所述原始场景图像和预先存储的所述图像传感器的响应曲线，得到原始场景辐照度分布；根据预先存储的微透镜辐照度分布模型对所述原始场景辐照度分布进行亮度均一化变换，得到亮度均一的场景辐照度分布；将所述亮度均一的场景辐照度分布重新变换为亮度均一的数字图像。
可选地，所述成像方法还包括：获取图像传感器的响应曲线，并将所述图像传感器的响应曲线存储至存储设备中。
可选地，所述成像方法还包括：使用微透镜阵列，固定图像传感器配置不变，依次改变传感器曝光时间，对光照强度维持不变的均匀发光光源获取至少两张光照图像；按如下方式计算微透镜辐照度分布模型Emicrolens：
Figure BDA0000846411010000021
其中，N为总共拍摄的光照图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
(j)表示数字图像中的第j个像素、以及微透镜辐照度分布模型中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的图像传感器的响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
可选地，所述根据所述原始场景图像和预先存储的所述图像传感器的响应曲线，得到原始场景辐照度分布，包括：
根据预先存储的所述图像传感器的响应曲线，对原始场景图像做如下方式的变换，得到原始场景辐照度分布Escene：
Figure BDA0000846411010000022
其中，N为总共拍摄的原始场景图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
(j)表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的传感器响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
可选地，所述根据预先存储的微透镜辐照度分布模型对所述原始场景辐照度分布进行亮度均一化变换，得到亮度均一的场景辐照度分布，包括：
根据预先存储的微透镜辐照度分布模型Emicrolens对原始场景辐照度分布Escene做如下的亮度变换，得到亮度均一的场景辐照度分布Euniform：
Figure BDA0000846411010000031
其中，(j)表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
max(Emicrolens)表示数字图像中像素的微透镜辐照度分布模型Emicrolens的最大值。
依据本发明的另一个方面，还提供了一种微透镜阵列的成像装置，所述成像装置包括：第一模块，用于获取图像传感器输出的原始场景图像；第二模块，用于根据所述原始场景图像和预先存储的所述图像传感器的响应曲线，得到原始场景辐照度分布；第三模块，用于根据预先存储的微透镜辐照度分布模型对所述原始场景辐照度分布进行亮度均一化变换，得到亮度均一的场景辐照度分布；第四模块，用于将所述亮度均一的场景辐照度分布重新变换为亮度均一的场景数字图像。
可选地，所述成像装置还包括：
第五模块，用于获取图像传感器的响应曲线，并将所述图像传感器的响应曲线存储至存储设备中。
可选地，所述成像装置还包括：
第六模块，用于使用微透镜阵列，固定图像传感器配置不变，依次改变传感器曝光时间，对光照强度维持不变的均匀发光光源获取至少两张光照图像；
按如下方式计算微透镜辐照度分布模型Emicrolens：
Figure BDA0000846411010000032
其中，N为总共拍摄的光照图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
(j)表示数字图像中的第j个像素、以及微透镜辐照度分布模型中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的图像传感器的响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
可选地，所述第二模块具体用于根据预先存储的所述图像传感器的响应曲线，对原始场景图像做如下方式的变换，得到原始场景辐照度分布Escene：
Figure BDA0000846411010000041
其中，N为总共拍摄的原始场景图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
(j)表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的传感器响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
可选地，所述第三模块具体用于根据预先存储的微透镜辐照度分布模型Emicrolens对原始场景辐照度分布Escene做如下的亮度变换，得到亮度均一的场景辐照度分布Euniform：
Figure BDA0000846411010000042
其中，(j)表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
max(Emicrolens)表示数字图像中像素的微透镜辐照度分布模型Emicrolens的最大值。
本发明的有益效果是：本发明的实施例中微透镜阵列的成像方法与成像装置对图像传感器输出的原始数字图像进行非线性变换，将其还原为场景环境光经过主透镜聚焦后入射到图像传感器表面上的辐照度分布，再对该辐照度分布消除由微透镜成像所导致的光照非均匀性，最后重映射为数字图像。由于光的波动性，以及图像传感器在感光、模拟信号转换为数字信号以及数字信号重映射为数字图像等过程中存在着非线性响应，这导致其输出的数字图像中的光照分布与真实的场景环境光分布并非线性关系，进而导致微透镜成像中光亮度的非均匀性，导致每个微透镜成像都会出现中间亮四周暗的现象。而本实施例中的成像方法与成像装置将数字图像转换为辐照度分布进行亮度均一化处理，可以有效地消除图像传感器对光照的非线性响应所带来的不利影响。
而且，本实施例中的成像方法与成像装置适用范围广泛，在透明物体的透射成像模式、不透明物体的表面反射成像模式及这两者的混合模式下均可工作，且对图像的处理是实时的，无须在拍摄场景图像前获取用于校正的光照底图。
附图说明
图1为本发明的第一实施例的微透镜阵列的成像方法的流程图；
图2为本发明的第二实施例的微透镜阵列的成像方法的流程图；
图3为本发明的第三实施例的微透镜阵列的成像方法的流程图；
图4A～4C为一组彩色图像传感器响应曲线(R、G、B三个通道)，其中横轴为光的辐射量的对数值，纵轴为传感器输出的数字图像中对应的数值；
图5为一个微透镜阵列的辐照度分布模型，该微透镜阵列辐照度分布模型的数值被线性压缩至0～255以便显示；
图6为一张原始场景图像，该图像为彩色图像；
图7为图6中的原始场景图像直接拼接得到的图像，图中环形阴影即为微透镜阵列成像中的亮度不均现象所导致；
图8为图6中的原始场景图像经过本发明所述的亮度均一化处理后，拼接得到的图像，微透镜阵列成像中的亮度不均现象已被消除；其中采用的图像重映射方法为亮度均一的场景辐照度分布将线性压缩至0～255动态范围内；
图9为本发明的第四实施例的微透镜阵列的成像装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
第一实施例
参见图1，图中示出了第一实施例的微透镜阵列的成像方法的流程图，该方法可以应用于光场相机、复眼相机以及大视野的显微成像系统，该方法包括的具体步骤如下：
步骤S101、获取图像传感器输出的原始场景图像。
具体地，使用微透镜阵列，对实际场景进行拍摄，得到原始场景图像。优选地，可以对场景进行不同曝光时间的多次拍摄，获取多张不同曝光时间的原始场景图像。
步骤S103、根据原始场景图像和预先存储的图像传感器的响应曲线，得到原始场景辐照度分布。
需要说明的是，为了消除图像传感器对光照的非线性响应所带来的不利影响，需要将因图像传感器的非线性变换而失真的数字图像还原为真实的原始场景辐照度分布。具体地，使用储存在存储设备中的传感器响应曲线，对原始场景图像进行变换，得到原始场景辐照度分布。
步骤S105、根据预先存储的微透镜辐照度分布模型对原始场景辐照度分布进行亮度均一化变换，得到亮度均一的场景辐照度分布。
具体地，使用储存在存储设备中的微透镜辐照度分布模型对原始场景辐照度分布进行亮度变换，得到亮度均一的场景辐照度分布。
步骤S107、将亮度均一的场景辐照度分布重新变换为亮度均一的场景数字图像。
具体地，将亮度均一的场景辐照度分布重新变换成为亮度均一的场景数字图像，根据具体需求可选择线性映射或非线性映射，例如将辐照度分布线性或分段线性地压缩至0～255的动态范围，或使用诸如对数变换、gamma变换以及直方图均衡化等非线性的变换。
本发明的实施例中微透镜阵列的成像方法对图像传感器输出的原始数字图像进行非线性变换，将其还原为场景环境光经过主透镜聚焦后入射到传感器表面上的辐照度分布，再对该辐照度分布消除由微透镜成像所导致的光照非均匀性，最后重映射为图像。由于光的波动性，以及图像传感器在感光、模拟信号转换为数字信号以及数字信号重映射为数字图像等过程中存在着非线性响应，这导致其输出的数字图像中的光照分布与真实的场景环境光分布并非线性关系，进而导致微透镜成像中光亮度的非均匀性，导致每个微透镜成像都会出现中间亮四周暗的现象。而成像方法将数字图像转换为辐照度分布进行亮度均一化处理，可以有效地消除传感器对光照的非线性响应所带来的不利影响。
第二实施例
参见图2，为本发明的第二实施例的微透镜阵列的成像方法的流程图，该方法可以应用于光场相机、复眼相机以及大视野的显微成像系统，该方法包括的具体步骤如下：
步骤S201、获取图像传感器的响应曲线，并将所述图像传感器的响应曲线存储至存储设备中，然后进入步骤S207。
步骤S203、获取图像传感器输出的原始场景图像，然后进入步骤S207。
具体地，使用微透镜阵列，对实际场景进行拍摄，得到原始场景图像，优选地，可以对场景进行不同曝光时间的多次拍摄，获取多张不同曝光时间的原始场景图像。
步骤S205、计算微透镜辐照度分布模型，然后进入步骤S209。
具体地，使用微透镜阵列，固定图像传感器配置不变，依次改变传感器曝光时间，对光照强度维持不变的均匀发光光源获取至少两张光照图像；
按如下方式计算微透镜辐照度分布模型Emicrolens：
Figure BDA0000846411010000071
其中，N为总共拍摄的光照图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
(j)表示数字图像中的第j个像素、以及微透镜辐照度分布模型中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的图像传感器的响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
步骤S207、根据原始场景图像和预先存储的图像传感器的响应曲线，得到原始场景辐照度分布。
需要说明的是，为了消除图像传感器对光照的非线性响应所带来的不利影响，需要将因图像传感器的非线性变换而失真的数字图像还原为真实的原始场景辐照度分布。具体地，使用储存在存储设备中的传感器响应曲线，对原始场景图像进行变换，得到原始场景辐照度分布。
具体地，根据预先存储的所述图像传感器的响应曲线，对原始场景图像做如下方式的变换，得到原始场景辐照度分布Escene：
Figure BDA0000846411010000081
其中，N为总共拍摄的原始场景图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
(j)表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的传感器响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
步骤S209、根据预先存储的微透镜辐照度分布模型对原始场景辐照度分布进行亮度均一化变换，得到亮度均一的场景辐照度分布。
具体地，使用储存在存储设备中的微透镜辐照度分布模型对原始场景辐照度分布进行亮度变换，得到亮度均一的场景辐照度分布，例如：
根据预先存储的微透镜辐照度分布模型Emicrolens对原始场景辐照度分布Escene做如下的亮度变换，得到亮度均一的场景辐照度分布Euniform：
Figure BDA0000846411010000082
其中，(j)表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
max(Emicrolens)表示数字图像中像素的微透镜辐照度分布模型Emicrolens的最大值。
步骤S211、将亮度均一的场景辐照度分布重新变换为亮度均一的场景数字图像。
具体地，将亮度均一的场景辐照度分布重新变换成为数字图像，根据具体需求可选择线性映射或非线性映射，例如将辐照度分布线性或分段线性地压缩至0～255的动态范围，或使用诸如对数变换、gamma变换以及直方图均衡化等非线性的变换。
本发明的实施例中微透镜阵列的成像方法对图像传感器输出的原始数字图像进行非线性变换，将其还原为场景环境光经过主透镜聚焦后入射到传感器表面上的辐照度分布，再对该辐照度分布消除由微透镜成像所导致的光照非均匀性，最后重映射为图像。由于图像传感器在感光、模拟信号转换为数字信号以及数字信号重映射为数字图像等过程中存在着非线性响应，这导致其输出的数字图像中的光照分布与真实的场景环境光分布并非线性关系，进而导致微透镜成像中光亮度的非均匀性，导致每个微透镜成像都会出现中间亮四周暗的现象。而成像方法将数字图像转换为辐照度分布进行亮度均一化处理，可以有效地消除传感器对光照的非线性响应所带来的不利影响。
第三实施例
参见图3，图中示出了本发明的第三实施例的微透镜阵列的成像方法的流程图，该方法可以应用于光场相机、复眼相机以及大视野的显微成像系统，该方法包括的具体步骤如下：
步骤S301、获取图像传感器的响应曲线。
需要说明的是，图像传感器的响应曲线表达了传感器将光的辐射量转换为数字图像数值的非线性映射关系，是传感器的固有特征。响应曲线的获取可以在图像传感器定型时进行，可通过查找传感器出厂参数得到传感器的响应曲线；如若响应曲线资料欠缺，亦可通过实验测定图像传感器的响应曲线，实验测定方法如下所述：
步骤1、选择一处光照动态范围大、明暗对比强烈的静态场景。若待测图像传感器为彩色图像传感器，则还要求该场景色彩丰富，R、G、B各通道分量均具有较大的动态范围。
步骤2、固定图像传感器配置不变，依次改变传感器曝光时间，对该静态场景获取一系列数字图像，要求最小曝光时间下的图像大部分为黑色或接近黑色，最大曝光时间下的图像大部分为白色或接近白色(即过曝状态)。
在此过程中，对成像透镜的选取无特殊要求。至少需要两张以上的不同曝光时间的静态场景图像，但场景图像的数量并不严格限制，一般的，曝光时间的变化越连续，计算得到的响应曲线越接近真实。静态场景图像中存在的噪声会对后续的响应曲线计算造成干扰，为了达到降噪的目的，在拍摄一张场景图像的过程中，应当在相同的曝光时间下重复拍摄若干张图像，一般的，需要5张或以上数量，用多张图像的平均值作为该曝光时间下的场景图像。
步骤3、对获取的一系列同一场景的不同曝光时间数字图像进行以下计算，得到图像传感器的响应曲线。
此处仅以灰度传感器的单一灰度通道为例进行说明，彩色传感器需将R、G、B通道分别作相应操作，每个色彩通道的操作均与灰度传感器单灰度通道操作类似，故此处不再赘述。
符号定义：
假设被拍摄的静态场景内光的辐照度分布为E；
假设共拍摄N张图像，拍摄图像时的曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
以(j)来表示数字图像中的第j个像素、以及静态场景内对应于该像素位置的区域；
待求的图像传感器的响应曲线为f，为从光的辐射量到数字图像数值的非线性映射，即f(E(j)*ti)＝Ii(j)；
为了求解方便及简化符号，定义非线性映射g＝lnf-1，即g(Ii(j))＝lnE(j)+lnti。
下面将通过计算g的数值解来间接求解f；
(1)采样：对所有N张图像的所有像素点进行计算是不必要的，可对像素点进行采样，例如在空间上均匀地、随机地抽取图像内的P个像素，要求被提取的像素数目P满足关系N*(P－1)>(zmax－zmin)(其中，zmin表示在图像I1,I2,I3,…,IN中的灰度(或R、G、B通道分量)最小值，zmax表示在图像I1,I2,I3,…,IN中的灰度(或R、G、B通道分量)最大值)，然后提取N张图像内这P个像素上的灰度值(或R、G、B通道分量的数值)；
(2)构造权值函数：图像传感器的响应曲线通常在较高及较低亮度处变化剧烈，在中间亮度处较为平缓、近似线性，为了强调其曲线中段的平缓特征、减轻剧烈变化的两端处对整体数值拟合的影响，可构造一个两端小、中部大的权值函数w(z)，其中z为数字图像中像素的灰度值(或R、G、B通道分量的数值)，例如
Figure BDA0000846411010000111
(3)构造代价函数：综合考察最小平方误差及曲线光滑性，构造代价函数如下
Figure BDA0000846411010000112
式中第一部分反映了数值拟合的平方误差，第二部分反映了拟合曲线的光滑度，参数λ为一正数，作用是调节两部分在目标函数中的权重；求解的目标是使代价函数
Figure BDA0000846411010000114
最小化；
(4)约束条件：为了求得g的唯一数值解，还须添加一约束条件，例如约束
Figure BDA0000846411010000113
(5)求解g与f：因代价函数
Figure BDA0000846411010000115
所有分量均为二次项，因此使其最小化的问题可化为线性最小二乘法问题(LLS)，可使用奇异值分解法(SVD)求出g与E的数值解，再根据g＝lnf-1，得到f＝inv(exp(g))的数值解(其中inv表示逆函数)。
一般的，灰度图像传感器的响应曲线为从光的辐射量到数字图像灰度值的一条函数曲线，彩色图像传感器的响应曲线为从光的辐射量到数字图像R、G、B通道数值的三条函数曲线。
需要说明的是，所获取的传感器响应曲线储存在存储设备中，在对原始场景图像做辐照度分布重建时被使用，在实际拍摄场景图像时无须再次进行此步骤。
步骤S303、微透镜辐照度分布模型测定。
微透镜辐照度分布模型的测定在图像传感器定型后、微透镜阵列定型时进行，所获取的微透镜辐照度分布模型反映了该微透镜的成像特征，被用于校正实际拍摄时的亮度不均。其测定方法是：
(1)使用微透镜阵列，固定图像传感器配置不变，依次改变传感器曝光时间，对光照强度维持不变的均匀发光光源获取一系列光照图像。要求最小曝光时间下的图像大部分为黑色或接近黑色，最大曝光时间下的图像大部分为白色或接近白色(即过曝状态)。
至少需要两张以上的不同曝光时间的光照图像，但光照图像的数量并不严格限制，一般的，曝光时间的变化越连续，计算得到的微透镜辐照度分布模型越接近真实；光照图像中存在的噪声会对后续的微透镜辐照度分布模型计算造成干扰，为了达到降噪的目的，在拍摄一张光照图像的过程中，应当在相同的曝光时间下重复拍摄若干张图像，一般的，需要5张或以上数量，用多张图像的平均值作为该曝光时间下的光照图像。
(2)假设微透镜辐照度分布模型为Emicrolens，即微透镜在均匀发光光源下的辐照度分布为Emicrolens，按如下方式计算微透镜辐照度分布模型Emicrolens：
Figure BDA0000846411010000121
其中，N为总共拍摄的光照图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；(j)表示数字图像中的第j个像素、以及微透镜辐照度分布模型中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的图像传感器的响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
一般的，若使用灰度图像传感器，则微透镜辐照度分布模型为单一灰度通道的辐照度分布；若使用彩色图像传感器，则微透镜辐照度分布模型为分别对应R、G、B通道的三个辐照度分布。
所获取的微透镜辐照度分布模型储存在存储设备中，在对原始场景辐照度分布做亮度均一时被使用，在实际拍摄场景图像时无须再次进行此步骤。
步骤S305、实际场景拍摄。
使用微透镜阵列，对实际场景进行拍摄，得到原始场景图像。
可以对场景进行不同曝光时间的多次拍摄，获取多张不同曝光时间的原始场景图像，借助图像传感器的响应曲线可以提升最终生成的图像质量。
步骤S307、重建场景辐照度分布。
为了消除图像传感器对光照的非线性响应所带来的不利影响，需要将因图像传感器的非线性变换而失真的数字图像还原为真实的原始场景辐照度分布(该原始场景辐照度分布中仍存在着微透镜成像的光照非均匀特性)。
使用储存在存储设备中的传感器响应曲线，对原始场景图像做如下方式的变换，得到原始场景辐照度分布Escene：
Figure BDA0000846411010000131
其中，N为总共拍摄的原始场景图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；(j)表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的传感器响应曲线；
w(Ii(j))是一个权重函数，其定义与之前的描述相同；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
一般的，若使用灰度图像传感器，则重建得到的原始场景辐照度分布为单一灰度通道的辐照度分布；若使用彩色图像传感器，则原始场景辐照度分布模型为分别对应R、G、B通道的三个辐照度分布，在计算时亦应各个通道分别计算。
步骤S309、亮度均一。
使用储存在存储设备中的微透镜辐照度分布模型Emicrolens对原始场景辐照度分布Escene做如下所述的亮度变换，得到亮度均一的场景辐照度分布Euniform：
Figure BDA0000846411010000141
其中，(j)表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
max(Emicrolens)表示数字图像中像素的微透镜辐照度分布模型Emicrolens的最大值。
在亮度均一的场景辐照度分布Euniform中，因微透镜成像而导致的光照非均匀现象已经被消除。
一般的，若使用灰度图像传感器，则对灰度通道的辐照度分布进行以上计算；若使用彩色图像传感器，则需分别对R、G、B通道的辐照度分布进行计算，在计算时微透镜辐照度分布模型Emicrolens与原始场景辐照度分布Escene的通道需一一对应。
步骤S311、图像重映射。
将亮度均一的场景辐照度分布重新变换成为数字图像，根据具体需求可选择线性映射或非线性映射，例如将辐照度分布线性或分段线性地压缩至0～255的动态范围，或使用诸如对数变换、gamma变换以及直方图均衡化等非线性的变换。
第四实施例
参见图9，图中示出了第四实施例中微透镜阵列的成像装置，该成像装置900包括：第一模块901、第二模块903、第三模块905和第四模块907，其中
第一模块901用于获取图像传感器输出的原始场景图像；
第二模块903用于根据所述原始场景图像和预先存储的所述图像传感器的响应曲线，得到原始场景辐照度分布；
第三模块905用于根据预先存储的微透镜辐照度分布模型对所述原始场景辐照度分布进行亮度均一化变换，得到亮度均一的场景辐照度分布；
第四模块907用于将所述亮度均一的场景辐照度分布重新变换为亮度均一的场景数字图像。
继续参见图9，成像装置900还包括：
第五模块909，用于获取图像传感器的响应曲线，并将所述图像传感器的响应曲线存储至存储设备中。
继续参见图9，成像装置900还包括：
第六模块911，用于使用微透镜阵列，固定图像传感器配置不变，依次改变传感器曝光时间，对光照强度维持不变的均匀发光光源获取至少两张光照图像；
按如下方式计算微透镜辐照度分布模型Emicrolens：
Figure BDA0000846411010000151
其中，N为总共拍摄的光照图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
(j)表示数字图像中的第j个像素、以及微透镜辐照度分布模型中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的图像传感器的响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
可选地，所述第二模块903具体用于根据预先存储的所述图像传感器的响应曲线，对原始场景图像做如下方式的变换，得到原始场景辐照度分布Escene：
Figure BDA0000846411010000152
其中，N为总共拍摄的原始场景图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
(j)表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的传感器响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
可选地，所述第三模块905具体用于根据预先存储的微透镜辐照度分布模型Emicrolens对原始场景辐照度分布Escene做如下的亮度变换，得到亮度均一的场景辐照度分布Euniform：
Figure BDA0000846411010000161
其中，(j)表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
max(Emicrolens)表示数字图像中像素的微透镜辐照度分布模型Emicrolens的最大值。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括如果干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述成像方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出如果干改进和润饰，这些改进和润饰也在本发明的保护范围内。

Claims (8)

1.一种微透镜阵列的成像方法，其特征在于，所述成像方法包括：
获取图像传感器输出的原始场景图像；
根据所述原始场景图像和预先存储的所述图像传感器的响应曲线，得到原始场景辐照度分布；
根据预先存储的微透镜辐照度分布模型对所述原始场景辐照度分布进行亮度均一化变换，得到亮度均一的场景辐照度分布；
将所述亮度均一的场景辐照度分布重新变换为亮度均一的场景数字图像；
所述根据预先存储的微透镜辐照度分布模型对所述原始场景辐照度分布进行亮度均一化变换，得到亮度均一的场景辐照度分布，包括：
根据预先存储的微透镜辐照度分布模型Emicrolens对原始场景辐照度分布Escene做如下的亮度变换，得到亮度均一的场景辐照度分布Euniform：
Figure FDA0002274924480000011
其中，j表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
max(Emicrolens)表示数字图像中像素的微透镜辐照度分布模型Emicrolens的最大值。
2.根据权利要求1所述的成像方法，其特征在于，所述成像方法还包括：
获取图像传感器的响应曲线，并将所述图像传感器的响应曲线存储至存储设备中。
3.根据权利要求1所述的成像方法，其特征在于，所述成像方法还包括：
使用微透镜阵列，固定图像传感器配置不变，依次改变传感器曝光时间，对光照强度维持不变的均匀发光光源获取至少两张光照图像；
按如下方式计算微透镜辐照度分布模型Emicrolens：
Figure FDA0002274924480000012
其中，N为总共拍摄的光照图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
j表示数字图像中的第j个像素、以及微透镜辐照度分布模型中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的图像传感器的响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
4.根据权利要求1所述的成像方法，其特征在于，所述根据所述原始场景图像和预先存储的所述图像传感器的响应曲线，得到原始场景辐照度分布，包括：
根据预先存储的所述图像传感器的响应曲线，对原始场景图像做如下方式的变换，得到原始场景辐照度分布Escene：
Figure FDA0002274924480000021
其中，N为总共拍摄的原始场景图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
j表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的传感器响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
5.一种微透镜阵列的成像装置，其特征在于，所述成像装置包括：
第一模块，用于获取图像传感器输出的原始场景图像；
第二模块，用于根据所述原始场景图像和预先存储的所述图像传感器的响应曲线，得到原始场景辐照度分布；
第三模块，用于根据预先存储的微透镜辐照度分布模型对所述原始场景辐照度分布进行亮度均一化变换，得到亮度均一的场景辐照度分布；
第四模块，用于将所述亮度均一的场景辐照度分布重新变换为亮度均一的场景数字图像；
所述第三模块具体用于根据预先存储的微透镜辐照度分布模型Emicrolens对原始场景辐照度分布Escene做如下的亮度变换，得到亮度均一的场景辐照度分布Euniform：
Figure FDA0002274924480000031
其中，j表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
max(Emicrolens)表示数字图像中像素的微透镜辐照度分布模型Emicrolens的最大值。
6.根据权利要求5所述的成像装置，其特征在于，所述成像装置还包括：
第五模块，用于获取图像传感器的响应曲线，并将所述图像传感器的响应曲线存储至存储设备中。
7.根据权利要求5所述的成像装置，其特征在于，所述成像装置还包括：
第六模块，用于使用微透镜阵列，固定图像传感器配置不变，依次改变传感器曝光时间，对光照强度维持不变的均匀发光光源获取至少两张光照图像；
按如下方式计算微透镜辐照度分布模型Emicrolens：
Figure FDA0002274924480000032
其中，N为总共拍摄的光照图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
j表示数字图像中的第j个像素、以及微透镜辐照度分布模型中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的图像传感器的响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
8.根据权利要求5所述的成像装置，其特征在于，所述第二模块具体用于根据预先存储的所述图像传感器的响应曲线，对原始场景图像做如下方式的变换，得到原始场景辐照度分布Escene：
Figure FDA0002274924480000041
其中，N为总共拍摄的原始场景图像张数，对应的拍摄曝光时间分别为t1,t2,t3,…,tN，对应的数字图像分别为I1,I2,I3,…,IN；
j表示数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域；
g(Ii(j))为储存在存储设备中的传感器响应曲线；
w(Ii(j))是一个权重函数；
Ii(j)为第i个数字图像中的第j个像素、以及原始场景辐照度分布中对应于该像素位置的区域。
CN201510776894.8A 2015-11-13 2015-11-13 微透镜阵列的成像方法与成像装置 Active CN106713774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510776894.8A CN106713774B (zh) 2015-11-13 2015-11-13 微透镜阵列的成像方法与成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510776894.8A CN106713774B (zh) 2015-11-13 2015-11-13 微透镜阵列的成像方法与成像装置

Publications (2)

Publication Number Publication Date
CN106713774A CN106713774A (zh) 2017-05-24
CN106713774B true CN106713774B (zh) 2020-04-03

Family

ID=58930185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510776894.8A Active CN106713774B (zh) 2015-11-13 2015-11-13 微透镜阵列的成像方法与成像装置

Country Status (1)

Country Link
CN (1) CN106713774B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736930A (en) * 1995-07-21 1998-04-07 Apple Computer, Inc. Apparatus and method for radiation source failure prediction
CN102509279A (zh) * 2011-11-02 2012-06-20 北京工业大学 根部欠照明舌图像的自适应暗部细节复现方法
CN102540166A (zh) * 2011-12-05 2012-07-04 北京航空航天大学 一种基于优化算法的高光谱传感器交叉辐射定标方法
JP2013185234A (ja) * 2012-03-09 2013-09-19 Nippon Steel & Sumitomo Metal Corp 高炉羽口状態観察方法及び高炉羽口状態観察装置
CN103542934A (zh) * 2013-11-07 2014-01-29 杭州远方光电信息股份有限公司 一种光谱响应度校准方法及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736930A (en) * 1995-07-21 1998-04-07 Apple Computer, Inc. Apparatus and method for radiation source failure prediction
CN102509279A (zh) * 2011-11-02 2012-06-20 北京工业大学 根部欠照明舌图像的自适应暗部细节复现方法
CN102540166A (zh) * 2011-12-05 2012-07-04 北京航空航天大学 一种基于优化算法的高光谱传感器交叉辐射定标方法
JP2013185234A (ja) * 2012-03-09 2013-09-19 Nippon Steel & Sumitomo Metal Corp 高炉羽口状態観察方法及び高炉羽口状態観察装置
CN103542934A (zh) * 2013-11-07 2014-01-29 杭州远方光电信息股份有限公司 一种光谱响应度校准方法及其装置

Also Published As

Publication number Publication date
CN106713774A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN112703509A (zh) 用于图像增强的人工智能技术
CN108063932B (zh) 一种光度标定的方法及装置
CN112950657A (zh) 伽马值校正方法及其装置、电子装置和可读存储介质
Kordecki et al. Practical vignetting correction method for digital camera with measurement of surface luminance distribution
CN113469918B (zh) 光学系统的曝光面校准方法、装置、计算机设备及存储介质
CN107864342B (zh) 图像亮度调节方法及装置
CN103688537A (zh) 自动自适应图像锐化
CN112118388A (zh) 图像处理方法、装置、计算机设备和存储介质
CN114998141B (zh) 基于多分支网络的空间环境高动态范围成像方法
CN106454144B (zh) 一种对谷歌眼镜图像过度曝光的校正方法
CN107635124B (zh) 人脸拍摄的白平衡处理方法、装置及设备
WO2022006556A1 (en) Systems and methods of nonlinear image intensity transformation for denoising and low-precision image processing
WO2023211742A1 (en) Image processing method, electronic system and a non-transitory computer-readable medium
CN106713774B (zh) 微透镜阵列的成像方法与成像装置
US10540921B2 (en) Systems and methods for detection and/or correction of pixel luminosity and/or chrominance response variation in displays
CN106817542B (zh) 微透镜阵列的成像方法与成像装置
CN112422841B (zh) 图像补偿方法、装置、计算机设备和存储介质
CN114494080A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN110300291B (zh) 确定色彩值的装置和方法、数字相机、应用和计算机设备
Bala et al. Colorimetric calibration of wound photography with off-the-shelf devices
CN110827362A (zh) 一种基于多项式相机响应函数与渐晕效应补偿的光度标定方法
CN108668124B (zh) 基于电荷计算的感光芯片测试方法及设备
Messias et al. Attention-based neural network for ill-exposed image correction
Duan et al. Real-time image processing of space camera based on FPGA
Marini et al. Processing astro-photographs using Retinex based methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180709

Address after: 518054 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Applicant after: Shenzhen super Technology Co., Ltd.

Address before: 518053 H-1 Tung 101, overseas Chinese town, Nanshan District, Shenzhen, Guangdong.

Applicant before: Shenzhen SuperD Photoelectronic Co., Ltd.

Applicant before: The auspicious photoelectron of Shenzhen's Merck research institute

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant