CN110049256B - 一种局部自适应成像系统以及局部自适应成像控制方法 - Google Patents

一种局部自适应成像系统以及局部自适应成像控制方法 Download PDF

Info

Publication number
CN110049256B
CN110049256B CN201910330265.0A CN201910330265A CN110049256B CN 110049256 B CN110049256 B CN 110049256B CN 201910330265 A CN201910330265 A CN 201910330265A CN 110049256 B CN110049256 B CN 110049256B
Authority
CN
China
Prior art keywords
image
optical filter
controllable optical
light
local contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910330265.0A
Other languages
English (en)
Other versions
CN110049256A (zh
Inventor
田宜彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guanglun Technology Shenzhen Co ltd
Original Assignee
Guanglun Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guanglun Technology Shenzhen Co ltd filed Critical Guanglun Technology Shenzhen Co ltd
Priority to CN201910330265.0A priority Critical patent/CN110049256B/zh
Publication of CN110049256A publication Critical patent/CN110049256A/zh
Application granted granted Critical
Publication of CN110049256B publication Critical patent/CN110049256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本申请实施例公开了一种局部自适应成像系统以及局部自适应成像控制方法，通过控制系统控制摄像子系统的数字可控光学滤波器上的光控单元，使得选择性地让特定波段的光通过数字可控光学滤波器，同时还对通过数字可控光学滤波器的光控单元的光的强度进行控制，实现图像传感器接收到不同强度的光束，使得目标物体的图像局部对比度得到提高，最后利用图像传感器实现局部图像采集后发送至控制系统进行分析，解决了现有方案都只能改善图像的全局对比度，不能保证图像的局部对比度的提高的技术问题。

Description

一种局部自适应成像系统以及局部自适应成像控制方法
技术领域
本申请涉及成像技术领域，尤其涉及一种局部自适应成像系统以及局部自适应成像控制方法。
背景技术
现有的光学视觉系统的图像传感器大多是基于CCD或CMOS半导体传感器技术的光电转换器件，这一类半导体传感器的动态范围都比较有限。根据半导体传感器的动态范围的定义可知，提高半导体传感器动态范围的比较直接的方法是提高满阱电荷或降低噪声。但是，由于现有CCD和CMOS半导体传感器技术的局限性，提高满阱电荷通常意味着增大半导体传感器的感光单元，而降低噪声通常需要成本高昂的半导体工艺和非常复杂的电路，甚至需要外加主动制冷措施。除此之外，半导体传感器的高动态范围还需要相应的高位模数转换电路的支持。
为了提高视觉系统的动态范围，一些半导体传感器采用多次曝光和读出，或是一次曝光多次读出的方式。这两种技术的本质都是通过多次采集信号并通过各种方法将这些信号进行融合处理后输出一幅高动态范围(HDR)的图像。需要指出的是，即使采用HDR技术的图像传感器，在很多应用场景下其动态范围仍然不能满足要求。
对于整个视觉系统而言，通常所说的动态范围是指广义的动态范围，即场景中最亮和最暗的表面在图像中的色调比值，即DRsystem＝20Log[Smax/Smin]，其中Smax和Smin分别为场景中最亮和最暗的表面在图像中的色调值。图像的对比度(C)与广义的动态范围有直接的联系，具体为C＝2[Smax-Smin]/[Smax+Smin]。由此可见，动态范围小的系统难以得到对比度高的图像。对很多视觉应用，图像对比度，特别是图像局部对比度，是一个非常重要的指标，因为图像局部对比度对特征提取和图像分割等智能视觉系统的核心处理步骤有直接的影响。
在给定图像传感器的情况下，图像对比度可以通过光圈和曝光时间(比如自动曝光)等成像参数的调整而得到一定程度的提高。在场景过暗又需要曝光时间短的情况下，还可以通过外加光源照明(如闪光灯)的方式提高图像对比度。光圈和曝光时间的调整对图像的影响是全局性的。需要指出的是，通常外加的照明光源也只能改善整个场景的全局照明情况。所以这些方案都只能改善图像的全局对比度，不能保证图像的局部对比度的提高。
因此，提供一种局部自适应成像系统以及局部自适应成像控制方法是本领域技术人员急需的。
发明内容
本申请实施例提供了一种局部自适应成像系统以及局部自适应成像控制方法，解决了现有方案都只能改善图像的全局对比度，不能保证图像的局部对比度的提高的技术问题。
本申请提供了一种局部自适应成像系统，包括：
照明子系统、摄像子系统和控制系统；
所述照明子系统包括依次排列的光源以及投影镜头；
所述摄像子系统包括依次排列的图像传感器、数字可控光学滤波器以及成像镜头；
所述控制系统分别与所述数字可控光学滤波器、所述图像传感器和所述光源连接，所述控制系统用于控制所述数字可控光学滤波器上的光控单元使得能够对通过所述数字可控光学滤波器的光的强度进行调整、获取所述图像传感器采集的图像以及控制所述光源。
可选地，所述成像镜头具体为像方远心成像镜头。
可选地，所述成像镜头具体包括：
光阑和透镜组；
所述目标物体反射的光束依次通过所述光阑和所述透镜组进入所述数字可控光学滤波器。
可选地，所述光源具体为至少一个窄光谱组合光源。
可选地，所述数字可控光学滤波器具体为LCTF或AOTF。
本申请还提供了一种局部自适应成像控制方法，包括：
标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
初始化图像局部对比度的最低阈值Cmin、图像局部对比度的最高阈值Cmax、最大曝光次数Nmax、计数器计数以及数字可控光学滤波器的中心光控单元的亮度；
获取图像传感器采集的图像后，计数器计数加一，计算图像的每一个像素的局部对比度；
若图像的每一个像素的局部对比度在图像局部对比度的最低阈值Cmin和图像局部对比度的最高阈值Cmax之间，或计数器计数达到最大曝光次数Nmax，则输出图像；
若图像中存在像素的局部对比度不在图像局部对比度的最低阈值Cmin和图像局部对比度的最高阈值Cmax之间，则根据每一个低于图像局部对比度的最低阈值Cmin的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控暗场确定第一更新亮度，根据每一个高于图像局部对比度的最高阈值Cmax的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控亮场确定第二更新亮度，结合第一更新亮度和第二更新亮度确定更新后的数字可控光学滤波器上的全部光控单元的亮度并返回重新获取图像传感器的图像。
可选地，所述标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系具体包括：
逐一打开数字可控光学滤波器上的每一个光控单元，同时关闭其余光控单元后，通过每次图像传感器采集的图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
或
逐一打开数字可控光学滤波器上的每一行光控单元，同时关闭其余行光控单元后，通过每次图像传感器采集图像，再逐一打开数字可控光学滤波器上的每一列光控单元，同时关闭其余列光控单元后，通过每次图像传感器采集图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
或
逐一同时打开数字可控光学滤波器上间隔P行的光控单元，并关闭其余行光控单元后，通过每次图像传感器采集图像，再逐一同时打开数字可控光学滤波器上间隔Q列的光控单元，并关闭其余列光控单元后，通过每次图像传感器采集图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系，其中P为第一预设值，Q为第二预设值。
可选地，所述计算图像的每一个像素的局部对比度具体包括：
获取以图像的一个待计算像素为中心的预设区域内每个像素的像素值；
根据预设区域内的最大像素值和最小像素值计算确定待计算像素的局部对比度；
或
根据预设区域内像素值的标准差和均值计算确定待计算像素的局部对比度；
或
根据预设区域内的高百分位值和低百分位值确定待计算像素的局部对比度。
可选地，所述输出图像之前还包括：
对数字可控光学滤波器上的光控单元中亮度差异超过预设阈值的相邻区域，根据数字可控光学滤波器上的光控单元与图像传感器的像素对应关系，确定图像中对应的相邻区域的像素的局部对比度是否满足预设连续性要求，当不满足预设连续性要求时对图像中对应的相邻区域的像素的局部对比度进行平滑处理后，输出处理后的图像。
可选地，所述根据每一个低于图像局部对比度的最低阈值Cmin的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控暗场确定第一更新亮度，根据每一个高于图像局部对比度的最高阈值Cmax的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控亮场确定第二更新亮度之后还包括：
当数字可控光学滤波器上的光控单元的亮度差异超过预设阈值时，对数字可控光学滤波器上的光控单元的亮度进行平滑处理后，确定更新后的数字可控光学滤波器上的全部光控单元的亮度并返回重新获取图像传感器的图像。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请通过控制系统控制摄像子系统的数字可控光学滤波器上的光控单元，使得选择性地让特定波段的光通过数字可控光学滤波器，同时还对通过数字可控光学滤波器的光控单元的光的强度进行控制，实现图像传感器接收到不同强度的光束，使得目标物体的图像局部对比度得到提高，最后利用图像传感器实现局部图像采集后发送至控制系统进行分析，解决了现有方案都只能改善图像的全局对比度，不能保证图像的局部对比度的提高的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请提供的一种局部自适应成像系统的一个结构示意图；
图2为本申请提供的一种局部自适应成像系统的一个光路示意图；
图3为本申请提供的一种局部自适应成像控制方法的一个实施例的方法流程图；
图4为本申请提供的一种局部自适应成像控制方法的另一个实施例的方法流程图。
具体实施方式
本申请实施例提供了一种局部自适应成像系统以及局部自适应成像控制方法，解决了现有方案都只能改善图像的全局对比度，不能保证图像的局部对比度的提高的技术问题。
为使得本申请的申请目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参阅图1和图2，本申请提供了一种局部自适应成像系统的一个实施例，包括：
照明子系统1、摄像子系统2和控制系统3；
所述照明子系统1包括依次排列的光源11以及投影镜头12；
所述摄像子系统2包括依次排列的图像传感器21、数字可控光学滤波器22以及成像镜头23；
所述控制系统3分别与所述数字可控光学滤波器22、所述图像传感器21和所述光源11连接，所述控制系统3用于控制所述数字可控光学滤波器22上的光控单元使得能够对通过所述数字可控光学滤波器22的光的强度进行调整、获取所述图像传感器21采集的图像以及控制所述光源11。
可选地，所述成像镜头23具体为像方远心成像镜头。
可选地，所述成像镜头23具体包括：
光阑01和透镜组02；
所述目标物体反射的光束依次通过所述光阑01和所述透镜组02进入所述数字可控光学滤波器22。
可选地，所述光源11具体为至少一个窄光谱组合光源。
可选地，所述数字可控光学滤波器22具体为LCTF或AOTF。
需要说明的是，图1和图2显示了本申请提供的一种局部自适应成像系统的结构图和光路图，如图1所示，照明光束I1和I2的强度相同，从而使得目标物体上的相应区域T1和T2受到强度相同的入射光束，但由于从目标物体表面反射的光束R1和R2的强度受到目标物体表面的光学特性影响而未必相同，因此本申请利用数字可控光学滤波器22，选择性地让特定波段的光通过，同时还对通过的光的强度进行控制，提高目标物体的局部对比度。
由于大部分数字可控光学滤波器的视场角都比较小(比如，LCTF的视场角通常在+/-60以内，而AOTF的视场角则更小,通常在+/-20以内)，这类视觉系统的摄像头需要使用像方远心或是接近于像方远心的成像镜头。
需要指出的是，机器视觉系统常用的双侧远心镜头是像方远心镜头的一种特例，因此这一要求在实际应用中不会增加额外的局限性。
如图2所示，在使用像方远心成像镜头的情况下，数字可控光学滤波器22只要置于图像传感器21之前即可，使得系统设计和装配非常简单。
本申请通过控制系统控制摄像子系统的数字可控光学滤波器上的光控单元，使得选择性地让特定波段的光通过数字可控光学滤波器，同时还对通过数字可控光学滤波器的光控单元的光的强度进行控制，实现图像传感器接收到不同强度的光束，使得目标物体的图像局部对比度得到提高，最后利用图像传感器实现局部图像采集后发送至控制系统进行分析，解决了现有方案都只能改善图像的全局对比度，不能保证图像的局部对比度的提高的技术问题。
请参阅图3，本申请提供了一种局部自适应成像控制方法的一个实施例，包括：
301、标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
需要说明的是，需要通过标定来建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
数字可控光学滤波器是数字化的离散阵列器件，即由多行和多列可独立控制的光控单元组成，每一个光控单元可以表示为L(x,y)，其中x和y为单元坐标。图像传感器的每一个感光单元(即像素)可表示为I(u,v),其中u和v为像素坐标。
系统标定的目的是建立一个光控单元与像素间的对应关系。这样对应关系有三种情况：(1)一个光控单元对应多个像素；(2)一个光控单元对应一个像素；(3)多个控单元对应一个像素。
最简单的第一种标定方法是逐一打开数字可控光学滤波器上的每一个光控单元，同时关闭其余光控单元后，通过每次图像传感器采集的图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系。如果光控单元阵列为横向为M单元，纵向为N单元,共需采集M*N张图像。
很显然，第一种标定方法需要较长的时间，效率比较低。由于大部分数字可控光学滤波器的每个光控单元都是独立控制的，我们可以认为光控单元与像素间的对应关系在横向与纵向两个方向是独立的。基于这一假设，上述系统标定方法可以简化。在简化的第二种标定方法中，逐一打开数字可控光学滤波器上的每一行光控单元，同时关闭其余行光控单元后，通过每次图像传感器采集图像，再逐一打开数字可控光学滤波器上的每一列光控单元，同时关闭其余列光控单元后，通过每次图像传感器采集图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系，这样所需采集的图像数量从(M*N)降低为(M+N)张。
鉴于光控单元与像素的对应关系总是局部性的，上述简化的第二种标定方法可以进一步改进。在第三种标定方法中，逐一同时打开数字可控光学滤波器上间隔P行的光控单元，并关闭其余行光控单元后，通过每次图像传感器采集图像，再逐一同时打开数字可控光学滤波器上间隔Q列的光控单元，并关闭其余列光控单元后，通过每次图像传感器采集图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系，其中P为第一预设值，Q为第二预设值，这样所需采集的图像数量从(M+N)进一步降低为([M/P]+[N/Q])张,这里[]表示向上取整数。
302、初始化图像局部对比度的最低阈值Cmin、图像局部对比度的最高阈值Cmax、最大曝光次数Nmax、计数器计数以及数字可控光学滤波器的中心光控单元的亮度；
需要说明的是，本申请方法的核心思想是在成像过程中根据图像的局部对比度通过数字可控光学滤波器对到达图像传感器的局部光强进行实时调节。这一动态自适应成像控制方法的目标是将图像的局部对比度控制在一个比较理想的范围内[Cmin,Cmax]。这一局部对比度范围的确定需要根据视觉系统的具体应用而定。同时系统可以设定一个最大曝光次数Nmax，以保证需要的实时性和避免系统陷入不收敛的情况。
303、获取图像传感器采集的图像后，计数器计数加一，计算图像的每一个像素的局部对比度；
需要说明的是，系统在每次采集图像后，计算图像的每一个像素的局部对比度。图像局部对比度可以由多种不同方法，最常见的第一种方法为：获取以图像的一个待计算像素为中心的预设区域内每个像素的像素值，根据预设区域内的最大像素值和最小像素值计算确定待计算像素的局部对比度。
但由于第一种方法对噪声比较敏感，为了减少噪声的影响，提出了第二种方式，具体为：获取以图像的一个待计算像素为中心的预设区域内每个像素的像素值，根据预设区域内像素值的标准差和均值计算确定待计算像素的局部对比度。第二种方式非常便于快速计算，图像像素值的标准差和均值可以通过积分图像加速达到接近于线性复杂度。
更灵活的第三种方式是第一种方式的变形，将第一种方式中的最大像素值和最小像素值分别用一个高百分位值PU％和一个低百分位值PL％代替，其中高百分位值PU％为U％的百分位值(比如99％)，低百分位值PL为L％的百分位值(比如2％)，第三种方式具体为：获取以图像的一个待计算像素为中心的预设区域内每个像素的像素值，根据预设区域内的高百分位值和低百分位值确定待计算像素的局部对比度。第三种方式可以通过U和L的选择大大减小对噪声的敏感度(减小U和/或增大L，对噪声敏感度降低；反之亦然)，同时也便于快速计算。图像局部百分位值可以通过积分直方图加速。当U＝100和L＝0时，第三种方式与第一种方式相同。
304、若图像的每一个像素的局部对比度在图像局部对比度的最低阈值Cmin和图像局部对比度的最高阈值Cmax之间，或计数器计数达到最大曝光次数Nmax，则输出图像；
305、若图像中存在像素的局部对比度不在图像局部对比度的最低阈值Cmin和图像局部对比度的最高阈值Cmax之间，则根据每一个低于图像局部对比度的最低阈值Cmin的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控暗场确定第一更新亮度，根据每一个高于图像局部对比度的最高阈值Cmax的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控亮场确定第二更新亮度，结合第一更新亮度和第二更新亮度确定更新后的数字可控光学滤波器上的全部光控单元的亮度并返回重新获取图像传感器的图像。
以上是对本申请提供的一种局部自适应成像控制方法的一个实施例进行的说明，以下将对本申请提供的一种局部自适应成像控制方法的另一个实施例进行说明。
请参阅图4，本申请提供了一种局部自适应成像控制方法的另一个实施例，包括：
401、标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
需要说明的是，需要通过标定来建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
数字可控光学滤波器是数字化的离散阵列器件，即由多行和多列可独立控制的光控单元组成，每一个光控单元可以表示为L(x,y)，其中x和y为单元坐标。图像传感器的每一个感光单元(即像素)可表示为I(u,v),其中u和v为像素坐标。
系统标定的目的是建立一个光控单元与像素间的对应关系。这样对应关系有三种情况：(1)一个光控单元对应多个像素；(2)一个光控单元对应一个像素；(3)多个控单元对应一个像素。
最简单的第一种标定方法是逐一打开数字可控光学滤波器上的每一个光控单元，同时关闭其余光控单元后，通过每次图像传感器采集的图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系。如果光控单元阵列为横向为M单元，纵向为N单元,共需采集M*N张图像。
很显然，第一种标定方法需要较长的时间，效率比较低。由于大部分数字可控光学滤波器的每个光控单元都是独立控制的，我们可以认为光控单元与像素间的对应关系在横向与纵向两个方向是独立的。基于这一假设，上述系统标定方法可以简化。在简化的第二种标定方法中，逐一打开数字可控光学滤波器上的每一行光控单元，同时关闭其余行光控单元后，通过每次图像传感器采集图像，再逐一打开数字可控光学滤波器上的每一列光控单元，同时关闭其余列光控单元后，通过每次图像传感器采集图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系，这样所需采集的图像数量从(M*N)降低为(M+N)张。
鉴于光控单元与像素的对应关系总是局部性的，上述简化的第二种标定方法可以进一步改进。在第三种标定方法中，逐一同时打开数字可控光学滤波器上间隔P行的光控单元，并关闭其余行光控单元后，通过每次图像传感器采集图像，再逐一同时打开数字可控光学滤波器上间隔Q列的光控单元，并关闭其余列光控单元后，通过每次图像传感器采集图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系，其中P为第一预设值，Q为第二预设值，这样所需采集的图像数量从(M+N)进一步降低为([M/P]+[N/Q])张,这里[]表示向上取整数。
402、初始化图像局部对比度的最低阈值Cmin、图像局部对比度的最高阈值Cmax、最大曝光次数Nmax、计数器计数以及数字可控光学滤波器的中心光控单元的亮度；
需要说明的是，本申请方法的核心思想是在成像过程中根据图像的局部对比度通过数字可控光学滤波器对到达图像传感器的局部光强进行实时调节。这一动态自适应成像控制方法的目标是将图像的局部对比度控制在一个比较理想的范围内[Cmin,Cmax]。这一局部对比度范围的确定需要根据视觉系统的具体应用而定。同时系统可以设定一个最大曝光次数Nmax，以保证需要的实时性和避免系统陷入不收敛的情况。
403、获取图像传感器采集的图像后，计数器计数加一，计算图像的每一个像素的局部对比度；
需要说明的是，系统在每次采集图像后，计算图像的每一个像素的局部对比度。图像局部对比度可以由多种不同方法，最常见的第一种方法为：获取以图像的一个待计算像素为中心的预设区域内每个像素的像素值，根据预设区域内的最大像素值和最小像素值计算确定待计算像素的局部对比度。
但由于第一种方法对噪声比较敏感，为了减少噪声的影响，提出了第二种方式，具体为：获取以图像的一个待计算像素为中心的预设区域内每个像素的像素值，根据预设区域内像素值的标准差和均值计算确定待计算像素的局部对比度。第二种方式非常便于快速计算，图像像素值的标准差和均值可以通过积分图像加速达到接近于线性复杂度。
更灵活的第三种方式是第一种方式的变形，将第一种方式中的最大像素值和最小像素值分别用一个高百分位值PU％和一个低百分位值PL％代替，其中高百分位值PU％为U％的百分位值(比如99％)，低百分位值PL为L％的百分位值(比如2％)，第三种方式具体为：获取以图像的一个待计算像素为中心的预设区域内每个像素的像素值，根据预设区域内的高百分位值和低百分位值确定待计算像素的局部对比度。第三种方式可以通过U和L的选择大大减小对噪声的敏感度(减小U和/或增大L，对噪声敏感度降低；反之亦然)，同时也便于快速计算。图像局部百分位值可以通过积分直方图加速。当U＝100和L＝0时，第三种方式与第一种方式相同。
404、若图像的每一个像素的局部对比度在图像局部对比度的最低阈值Cmin和图像局部对比度的最高阈值Cmax之间，或计数器计数达到最大曝光次数Nmax，则对数字可控光学滤波器上的光控单元中亮度差异超过预设阈值的相邻区域，根据数字可控光学滤波器上的光控单元与图像传感器的像素对应关系，确定图像中对应的相邻区域的像素的局部对比度是否满足预设连续性要求，当不满足预设连续性要求时对图像中对应的相邻区域的像素的局部对比度进行平滑处理后，输出处理后的图像；
需要说明的是，为了避免光控单元局部输出亮度的跳变而导致图像出现太明显的亮度块效应，因此在输出图像之前，可以对出现块效应的图像区域边界进行适当的亮度平滑处理。
405、若图像中存在像素的局部对比度不在图像局部对比度的最低阈值Cmin和图像局部对比度的最高阈值Cmax之间，则根据每一个低于图像局部对比度的最低阈值Cmin的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控暗场确定第一更新亮度，根据每一个高于图像局部对比度的最高阈值Cmax的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控亮场确定第二更新亮度，当数字可控光学滤波器上的光控单元的亮度差异超过预设阈值时，对数字可控光学滤波器上的光控单元的亮度进行平滑处理后，确定更新后的数字可控光学滤波器上的全部光控单元的亮度并返回重新获取图像传感器的图像；
需要说明的是，一个更好地避免图像亮度块效应的方法是，在调节数字可控光学滤波器的光控单元的时候，可以对输出亮度Li(x,y)本身进行一定的平滑处理。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种局部自适应成像系统，其特征在于，包括：
照明子系统、摄像子系统和控制系统；
所述照明子系统包括依次排列的光源以及投影镜头；
所述摄像子系统包括依次排列的图像传感器、数字可控光学滤波器以及成像镜头；
所述控制系统分别与所述数字可控光学滤波器、所述图像传感器和所述光源连接，所述控制系统用于控制所述数字可控光学滤波器上的光控单元使得能够对通过所述数字可控光学滤波器的光的强度进行调整、获取所述图像传感器采集的图像以及控制所述光源；
所述局部自适应成像系统通过局部自适应成像控制方法提高图像的局部对比度，所述方法包括：
标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
初始化图像局部对比度的最低阈值Cmin、图像局部对比度的最高阈值Cmax、最大曝光次数Nmax、计数器计数以及数字可控光学滤波器的中心光控单元的亮度；
获取图像传感器采集的图像后，计数器计数加一，计算图像的每一个像素的局部对比度；
若图像的每一个像素的局部对比度在图像局部对比度的最低阈值Cmin和图像局部对比度的最高阈值Cmax之间，或计数器计数达到最大曝光次数Nmax，则输出图像；
若图像中存在像素的局部对比度不在图像局部对比度的最低阈值Cmin和图像局部对比度的最高阈值Cmax之间，则根据每一个低于图像局部对比度的最低阈值Cmin的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控暗场确定第一更新亮度，根据每一个高于图像局部对比度的最高阈值Cmax的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控亮场确定第二更新亮度，结合第一更新亮度和第二更新亮度确定更新后的数字可控光学滤波器上的全部光控单元的亮度并返回重新获取图像传感器的图像。
2.根据权利要求1所述的局部自适应成像系统，其特征在于，所述成像镜头具体为像方远心成像镜头。
3.根据权利要求2所述的局部自适应成像系统，其特征在于，所述成像镜头具体包括：
光阑和透镜组；
目标物体反射的光束依次通过所述光阑和所述透镜组进入所述数字可控光学滤波器。
4.根据权利要求1所述的局部自适应成像系统，其特征在于，所述光源具体为至少一个窄光谱组合光源。
5.根据权利要求1所述的局部自适应成像系统，其特征在于，所述数字可控光学滤波器具体为LCTF或AOTF。
6.一种局部自适应成像控制方法，其特征在于，应用于如权利要求1至5中任意一项所述的局部自适应成像系统，包括：
标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
初始化图像局部对比度的最低阈值Cmin、图像局部对比度的最高阈值Cmax、最大曝光次数Nmax、计数器计数以及数字可控光学滤波器的中心光控单元的亮度；
获取图像传感器采集的图像后，计数器计数加一，计算图像的每一个像素的局部对比度；
若图像的每一个像素的局部对比度在图像局部对比度的最低阈值Cmin和图像局部对比度的最高阈值Cmax之间，或计数器计数达到最大曝光次数Nmax，则输出图像；
若图像中存在像素的局部对比度不在图像局部对比度的最低阈值Cmin和图像局部对比度的最高阈值Cmax之间，则根据每一个低于图像局部对比度的最低阈值Cmin的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控暗场确定第一更新亮度，根据每一个高于图像局部对比度的最高阈值Cmax的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控亮场确定第二更新亮度，结合第一更新亮度和第二更新亮度确定更新后的数字可控光学滤波器上的全部光控单元的亮度并返回重新获取图像传感器的图像。
7.根据权利要求6所述的局部自适应成像控制方法，其特征在于，所述标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系具体包括：
逐一打开数字可控光学滤波器上的每一个光控单元，同时关闭其余光控单元后，通过每次图像传感器采集的图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
或
逐一打开数字可控光学滤波器上的每一行光控单元，同时关闭其余行光控单元后，通过每次图像传感器采集图像，再逐一打开数字可控光学滤波器上的每一列光控单元，同时关闭其余列光控单元后，通过每次图像传感器采集图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系；
或
逐一同时打开数字可控光学滤波器上间隔P行的光控单元，并关闭其余行光控单元后，通过每次图像传感器采集图像，再逐一同时打开数字可控光学滤波器上间隔Q列的光控单元，并关闭其余列光控单元后，通过每次图像传感器采集图像标定建立数字可控光学滤波器上的光控单元与图像传感器的像素对应关系，其中P为第一预设值，Q为第二预设值。
8.根据权利要求6所述的局部自适应成像控制方法，其特征在于，所述计算图像的每一个像素的局部对比度具体包括：
获取以图像的一个待计算像素为中心的预设区域内每个像素的像素值；
根据预设区域内的最大像素值和最小像素值计算确定待计算像素的局部对比度；
或
根据预设区域内像素值的标准差和均值计算确定待计算像素的局部对比度；
或
根据预设区域内的高百分位值和低百分位值确定待计算像素的局部对比度。
9.根据权利要求6所述的局部自适应成像控制方法，其特征在于，所述输出图像之前还包括：
对数字可控光学滤波器上的光控单元中亮度差异超过预设阈值的相邻区域，根据数字可控光学滤波器上的光控单元与图像传感器的像素对应关系，确定图像中对应的相邻区域的像素的局部对比度是否满足预设连续性要求，当不满足预设连续性要求时对图像中对应的相邻区域的像素的局部对比度进行平滑处理后，输出处理后的图像。
10.根据权利要求6所述的局部自适应成像控制方法，其特征在于，所述根据每一个低于图像局部对比度的最低阈值Cmin的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控暗场确定第一更新亮度，根据每一个高于图像局部对比度的最高阈值Cmax的像素对应的数字可控光学滤波器上的光控单元的亮度累积的光控亮场确定第二更新亮度之后还包括：
当数字可控光学滤波器上的光控单元的亮度差异超过预设阈值时，对数字可控光学滤波器上的光控单元的亮度进行平滑处理后，确定更新后的数字可控光学滤波器上的全部光控单元的亮度并返回重新获取图像传感器的图像。
CN201910330265.0A 2019-04-23 2019-04-23 一种局部自适应成像系统以及局部自适应成像控制方法 Active CN110049256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910330265.0A CN110049256B (zh) 2019-04-23 2019-04-23 一种局部自适应成像系统以及局部自适应成像控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910330265.0A CN110049256B (zh) 2019-04-23 2019-04-23 一种局部自适应成像系统以及局部自适应成像控制方法

Publications (2)

Publication Number Publication Date
CN110049256A CN110049256A (zh) 2019-07-23
CN110049256B true CN110049256B (zh) 2024-02-20

Family

ID=67278771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910330265.0A Active CN110049256B (zh) 2019-04-23 2019-04-23 一种局部自适应成像系统以及局部自适应成像控制方法

Country Status (1)

Country Link
CN (1) CN110049256B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4075166A4 (en) * 2019-10-31 2023-04-12 Huawei Technologies Co., Ltd. RADAR SYSTEM, FILTER AND MOBILE PLATFORM

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242230A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp 撮影装置、撮影システム、および撮影方法
CN101887142A (zh) * 2009-05-11 2010-11-17 （株）赛丽康 能够进行光刻处理的金属光学滤波器及包括该滤波器的图像传感器
CN102460271A (zh) * 2009-04-22 2012-05-16 株式会社宜客斯 光学滤波器以及显示器评价系统
CN104092941A (zh) * 2014-07-10 2014-10-08 深圳市得意自动化科技有限公司 摄像元件的摄像方法
JP2018180533A (ja) * 2017-04-05 2018-11-15 Jsr株式会社 光学フィルター及び光学フィルターを用いた固体撮像装置
CN209562673U (zh) * 2019-04-23 2019-10-29 深圳市思锐视科技有限公司 一种局部自适应成像系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI473039B (zh) * 2013-03-05 2015-02-11 Univ Tamkang 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242230A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp 撮影装置、撮影システム、および撮影方法
CN102460271A (zh) * 2009-04-22 2012-05-16 株式会社宜客斯 光学滤波器以及显示器评价系统
CN101887142A (zh) * 2009-05-11 2010-11-17 （株）赛丽康 能够进行光刻处理的金属光学滤波器及包括该滤波器的图像传感器
CN104092941A (zh) * 2014-07-10 2014-10-08 深圳市得意自动化科技有限公司 摄像元件的摄像方法
JP2018180533A (ja) * 2017-04-05 2018-11-15 Jsr株式会社 光学フィルター及び光学フィルターを用いた固体撮像装置
CN209562673U (zh) * 2019-04-23 2019-10-29 深圳市思锐视科技有限公司 一种局部自适应成像系统

Also Published As

Publication number Publication date
CN110049256A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
US10412314B2 (en) Systems and methods for photometric normalization in array cameras
US10630906B2 (en) Imaging control method, electronic device and computer readable storage medium
EP2833618B1 (en) Method for activating and deactivating an image correction function, camera system and motor vehicle
US8885093B2 (en) Image pickup apparatus, image pickup method, exposure control method, and program
US11057592B2 (en) Image defogging method and image capture apparatus implementing image defogging
US20130120615A1 (en) Imaging device
US9489750B2 (en) Exposure metering based on background pixels
US10638072B2 (en) Control apparatus, image pickup apparatus, and control method for performing noise correction of imaging signal
CN108322651B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN112118388B (zh) 图像处理方法、装置、计算机设备和存储介质
US20130063622A1 (en) Image sensor and method of capturing an image
CN111093064B (zh) 图像处理
CN105144697B (zh) 摄像装置、照相机系统以及图像处理方法
CN110049256B (zh) 一种局部自适应成像系统以及局部自适应成像控制方法
CN114666511A (zh) 一种可调谐光谱相机上自动获取最优曝光值的方法及装置
CN109951649B (zh) 一种局部自适应成像系统以及局部自适应成像控制方法
CN109937382B (zh) 成像装置和成像方法
JP4523629B2 (ja) 撮像装置
CN110602420B (zh) 相机、黑电平调整方法及装置
JP2003092705A (ja) 撮像装置
CN109417603A (zh) 具有两个传感器的成像器系统
JP2011049737A (ja) 撮像装置及びその露出制御方法
JP2017163233A (ja) 撮影装置及び撮影方法
CN111885320A (zh) 图像传感器及其自动曝光方法、电子设备
JP6590585B2 (ja) 撮像装置及び露出制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 04, 1401 / F, International Students Pioneer Building, No.29, Gaoxin South Ring Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Guanglun Technology (Shenzhen) Co.,Ltd.

Address before: Room 1404, phase 1, International Students Pioneer Building, 29 Gaoxin South Ring Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN SEIRIOS TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant