CN109961422B - 数字图像的对比度值的确定 - Google Patents
数字图像的对比度值的确定 Download PDFInfo
- Publication number
- CN109961422B CN109961422B CN201811525273.2A CN201811525273A CN109961422B CN 109961422 B CN109961422 B CN 109961422B CN 201811525273 A CN201811525273 A CN 201811525273A CN 109961422 B CN109961422 B CN 109961422B
- Authority
- CN
- China
- Prior art keywords
- image
- digital image
- camera
- images
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000003708 edge detection Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000009194 climbing Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
Abstract
本发明涉及数字图像的对比度值的确定。提出了一种用于确定由相机中的图像传感器捕获的数字图像的局部对比度值的方法。该方法包括:将边缘检测算法应用于数字图像的图像数据,从而获得与数字图像中的边缘有关的数据集;基于所述数据集计算数字图像的边缘出现值;基于数字图像的图像数据和图像传感器的噪声模型来估计数字图像的估计图像传感器噪声;并且将局部对比度值计算为数字图像的边缘出现值与数字图像的预期边缘出现值之间的关系。还提出了一种使用由相机捕获的图像的局部对比度值来调整相机的焦点设置的方法。
Description
技术领域
本发明涉及一种用于确定数字图像的对比度值的方法。
本发明还涉及使用对比度值的方法。这种方法的一个示例是使用对比度值来调整相机的焦点设置。
背景技术
在相机监视领域,确定图像的锐利度(sharpness)或锐度(acutance)通常是有意义的。为此,通常在以下逻辑下使用对比度值:如果图像的对比度相对高,则图像可能是锐利的。这种方法有几个问题。一个是它没有考虑到全局上图片上的高对比度可能不表示锐利图像—一部分非常明亮的图像(诸如包含白天天空的图像)可能具有非常高的对比度而不是特别的良好的聚焦。另一个问题是半黑色和半白色的图像具有与棋盘图像相同量的对比度,而后者显然具有更多限定的特征。第三个问题是图像传感器噪声可能提供假对比度,例如均匀区域可以包含由图像传感器噪声产生的高和/或低像素值,产生难以用于调整相机设置的对比度值,因为它与由相机成像的实际特征或物体分离。另一个问题是由于透镜配置和相机的其他特性导致的光学效果可能导致图像例如在更接近图像边缘的区域中变暗,从而影响图像的对比度,即使图像中没有任何物体存在也是如此。至少出于这些原因,需要一种更好的方法来确定图像的视觉锐利度或锐度。
发明内容
本发明的一个目的是减轻背景技术中提到的至少一些问题。
根据第一方面,提供了一种用于确定由相机中的图像传感器捕获的数字图像的局部对比度值的方法。该方法包括:
将边缘检测算法应用于数字图像的图像数据,从而获得与数字图像中的边缘有关的数据集;
基于所述数据集计算数字图像的边缘出现值;
基于数字图像的图像数据和图像传感器的噪声模型来估计数字图像的图像传感器噪声,
将局部对比度值计算为数字图像的边缘出现值与基于估计的图像传感器噪声的值之间的关系。
该方法使得能够基于图像中的边缘的出现和清晰度以及它们与预期噪声的关系来确定对比度值。这具有提供噪声不敏感信息的优点,该信息可以形成调整相机的基础。本公开基于以下认识:可以通过边缘寻找算法部分地或完全地滤除可能对基于图像中的像素值的对比度-噪声测量产生不利影响的常见现象(诸如阴影)。这是因为边缘寻找算法通常查看较小的像素簇以在图像中找到梯度,这意味着这些算法可以忽略图像范围的亮度差异(诸如大阴影)。
重要的是要注意,通常使用的对比度的概念是考虑像素值的差异,即,多少光照射了与像素对应的图像传感器的区域。然而,如果例如阴影位于图像上方使得一半比另一半暗得多,则测得的传统对比度值将显着偏斜,并且保留或增强图像中的整体亮度的这种差异的相机设置的任何调整将被视为对比度增强,而实际上,图像中的物体可能不会更清晰或更可视。然而,边缘检测算法通常会在较暗的一半内与在较亮的一半内一样清晰地找到边缘,并且随之而来的是,对产生更锐利边缘的相机设置的任何调整将是对人眼更“真实”的增强。当边缘从像素值的局部变化中浮现时,由此获得的对比度值可以被称为局部对比度值。
边缘检测算法可以包括梯度算子,诸如索伯尔算子或拉普拉斯算子。
已知这种基于梯度的边缘检测算法是稳健的且计算上有效的,并且适合与数字图像一起使用。
与数字图像中的边缘有关的数据集可以包括指示边缘的区别性的值,并且其中边缘出现值的计算可以包括计算指示边缘的区别性的所述值的总和。
用于估计图像传感器噪声的数字图像的图像数据可以包括数字图像的像素值的总和。
该方法还可以包括将图像数据分离成颜色通道,其中像素值取自所述颜色通道中的一个或多个。
由于边缘可以在单个颜色通道中容易地或更容易地区分,因此在颜色通道的子集上执行计算在计算上更有效。
计算局部对比度值可以包括基于估计的图像传感器噪声估计预期边缘出现值,并且然后将局部对比度值计算为数字图像的边缘出现值与估计的预期边缘出现值之间的关系。数字图像的边缘出现值与估计的预期边缘出现值之间的关系可以是例如一个比率。通过数字图像的边缘出现值与估计的预期边缘出现值之间的这种比率,在图像仅包括噪声的情况下,局部对比度值将是1.0。因此,使用以这种方式计算的局部对比度值来设计算法将非常方便和容易。此外,计算为数字图像的边缘出现值与估计的预期边缘出现值之间的比率的局部对比度值将给出图像中的对比度的绝对测量。此外,与以局部对比度值计算随时间的变化一起,直接估计场景中的运动量将是可行的。
该方法可以进一步包括将数字图像分割成一组区域,其中对数字图像的该组区域的至少一个子集的每个区域上执行局部对比度值的计算,从而确定多个局部对比度值。
对图像进行分割可以允许使用并行计算技术,从而通过使用例如不同的处理器核在不同区域上同时执行计算来提高计算效率。还可能出现这样的情况:由于物体之间的深度差异而以例如不同的锐度水平描绘多个物体。在这种情况下,能够为图像的不同区域找到不同的局部对比度值可能是有利的,因为这样可以例如调整相机的焦点以更好地表示不同深度处的不同物体。
图像传感器的噪声模型可以包括与图像传感器的特性有关的预定数据。
如果图像传感器的特性是已知的,则基于所述已知特性对噪声进行建模在计算上是有利的。特别地,图像中的噪声的预期值的查找表(例如在不同的光水平)可以在计算上比计算或测量图像中的噪声量更有效。
该方法还可以包括基于图像传感器的设置(诸如图像传感器的增益和/或曝光设置)来调整图像传感器的噪声模型。
由于增益和曝光设置通常会影响数字图像中的噪声水平,因此可以为了计算效率而预先测量不同设置下的噪声水平并将其置于查找表中,从而减少计算时间。较短的计算时间在诸如视频监视的实时应用中可以是有利的。
该方法还可以包括基于边缘检测算法的特性来调整图像传感器的噪声模型。
当关于多个图像特性(例如预期噪声水平)应用于相同图像时,不同的边缘检测算法可以给出不同的结果。关于噪声的边缘检测算法的行为的预先存在的知识可以提高噪声模型的计算效率和/或精度。此外,一些边缘检测算法在其对噪声的反应方面得到了很好的研究—在计算图像中的噪声的预期值时使用这些知识是有利的。
该方法还可以包括:在确定局部对比度值之前预处理数字图像的图像数据;以及基于数字图像的图像数据的预处理的特性来调整噪声模型。
诸如降噪的预处理会明显影响图像中的噪声的预期值。旨在校正和/或改善数字图像内容的其他预处理也可能影响图像的预期噪声。因此,可以使用关于图像中的噪声的预处理步骤的行为的知识来改进关于计算效率和/或精度的噪声模型。
该关系可以包括边缘出现值与预期边缘出现值之间的比率。该关系可以包括边缘出现值与预期边缘出现值之间的差异。
根据第二方面,提供了一种非暂时性计算机可读存储介质。非暂时性计算机可读存储介质在其上存储有计算机可读程序代码,该计算机可读程序代码当在具有处理能力的设备上执行时被配置为执行根据第一方面的方法。
当适用时,根据第一方面的方法的上述特征也适用于该第二方面。为了避免不必要的重复,对上文进行参考。
根据第三方面,提供了一种电路,被配置为确定由相机中的图像传感器捕获的数字图像的局部对比度值。该电路包括:
存储器,被配置为存储数字图像的图像数据;
边缘检测器,被配置为将边缘检测算法应用于数字图像的图像数据,从而获得与数字图像中的边缘有关的数据集;
边缘出现值计算器,被配置为基于所述数据集计算数字图像的边缘出现值;
噪声估计器,被配置为基于数字图像的图像数据和图像传感器的噪声模型,估计数字图像的图像传感器噪声,并且基于数字图像的估计的图像传感器噪声,估计预期边缘出现值;和
局部对比度值确定器,被配置为将局部对比度值计算为数字图像的边缘出现值与数字图像的预期边缘出现值之间的关系。
当适用时,根据第一方面的方法的上述特征也适用于该第三方面。为了避免不必要的重复,对上文进行参考。
根据第四方面,提供了一种用于调整相机的焦点设置的方法。该方法包括:
通过相机的图像传感器捕获包括至少两个图像的图像系列,图像系列的每个图像使用相机的不同焦点设置来捕获;
通过根据第一方面的方法确定图像系列的每个图像的局部对比度值;
通过比较图像系列中的图像的局部对比度值来选择相机的焦点设置;和
根据所选择的焦点设置来调整相机的焦点设置。
这种方法优于其他已知方法,因为获得的局部对比度值基于图像中的边缘的出现和清晰度以及它们与预期噪声的关系。这具有提供噪声不敏感信息的优点,该信息可以形成调整相机的焦点设置的基础,该焦点设置对图像中的大的亮度差异不敏感,这可能实际上不会在图像中产生对比度。例如,阴影可能会影响整个图像的对比度。在如此影响的对比度中的增大或减小可能不指示由图像中的所描绘的物体提供的相对对比度,并且因此可能恶化基于对比度值调整相机的设置的尝试。
选择焦点设置的动作可以包括选择指示已经获得局部最大化的局部对比度值的相机的焦点设置。可以使用爬山算法来实现选择指示已经获得局部最大化的局部对比度值的相机的焦点设置的动作。
爬山算法在计算上是高效的并且适合于找到预期表现平滑的函数的局部最值大(或最小值),诸如在不同焦点设置下由相机拍摄的图像的对比度。
该方法可以进一步包括为数字图像的区域的至少一个子集确定局部最大化的局部对比度值,并将所确定的局部对比度值相互比较。
以这种方式,可以增强距相机不同距离处(并且因此,在图像中的不同深度处)的物体。
根据第五方面,提供了一种焦点可调数字相机。该相机包括:
存储器,被配置为存储与由相机捕获的图像系列有关的图像数据,图像系列的每个图像使用相机的不同焦点设置来捕获;
根据第三方面的电路,被配置为确定该图像系列中的每个图像的局部对比度值;
处理器,被配置为:
比较图像系列的图像的局部对比度值,并且
基于比较来选择数字相机的焦点设置;和
控制器,被配置为基于所选择的焦点设置来调整数字相机的焦点设置。
当适用时,根据第四方面的方法的上述特征也适用于该第五方面。为了避免不必要的重复,对上文进行参考。
根据下面给出的详细描述,本发明的进一步适用范围将变得显而易见。然而,应该理解的是,详细描述和具体示例虽然表明了本发明的优选实施例,但仅以说明的方式给出,因为根据该详细描述,本发明范围内的各种变化和修改对于本领域技术人员而言将变得显而易见。
因此,将会理解,本发明不限于所描述的设备的特定组成部分或所描述的方法的步骤,因为这样的设备和方法可以变化。还将会理解,本文使用的术语仅用于描述特定实施例的目的,而不旨在进行限制。必须注意的是,如说明书和所附权利要求中所使用的,冠词“一”、“一个”、“该”和“所述”旨在表示存在元件中的一个或多个,除非上下文另有明确规定。因此,例如,对“一个单元”或“该单元”的引用可以包括几个设备等。此外,词语“包括”、“包含”、“含有”和类似的措辞不排除其他元件或步骤。
附图说明
现在将参考示出本发明实施例的附图更详细地描述本发明的上述和其他方面。附图不应被认为将本发明限制于特定实施例;相反,它们用于解释和理解本发明。
如图所示,为了图示说明的目的,夸大了层和区域的尺寸,并且因此,提供这些尺寸以说明本发明实施例的一般结构。相同的附图标记始终表示相同的元件。
图1是被配置为确定由相机中的图像传感器捕获的数字图像的局部对比度值的电路的框图。
图2是用于确定局部对比度值的方法的流程图。
图3是焦点可调数字相机的框图。
图4是调整数字相机的焦点设置的方法的流程图。
具体实施方式
现在将在下文中参考附图更全面地描述本发明,附图中示出了本发明的当前优选实施例。然而,本发明可以以多种不同的形式实施,并且不应该被解释为限于本文阐述的实施例;相反,提供这些实施例是为了彻底和完整,并且向本领域技术人员充分传达本发明的范围。
图1示出了被配置为确定由相机中的图像传感器捕获的数字图像的局部对比度值的电路100。电路100可以布置在与相机分开的设备中。如果是,则设备可以被配置为经由数字网络从相机接收数据。然而,对于大多数实施方式,电路100包含在相机本身中。
电路100包括存储器104、边缘检测器108、边缘出现值计算器110、噪声估计器112、局部对比度值确定器114。该电路还可包括图像分割器116。电路100还可包括一个或多个处理器106。一个或多个处理器106中的每个可以是单核处理器或多核处理器。一个或多个处理器106中的每个可以是用于执行数字数据处理的任何合适的处理器。
边缘检测器108、边缘出现值计算器110、噪声估计器112、局部对比度值确定器114和图像分割器116中的任何一个可以实现为专用硬件电路和/或软件模块。在作为软件模块的情况下,软件可以在一个或多个处理器106上运行。还应该注意,任何专用硬件电路可以部分地包括在一个或多个处理器106上运行的软件部分。
存储器104可以是任何种类的易失性或非易失性存储器。此外,存储器104可以包括多个存储器单元。多个存储器单元中的至少一个可以用作用于在执行一个或多个处理器106的处理的同时缓冲数据的缓冲存储器。
存储器104、一个或多个处理器106、边缘检测器108、边缘出现值计算器110、噪声估计器112、局部对比度值确定器114和/或图像分割器116可以被布置为通过数据总线118彼此通信。
存储器104可以被配置为存储由数字相机捕获的数字图像的图像数据。根据非限制性示例,数字图像由每个像素的三个像素值组成,分别表示红光、绿光和蓝光的存在。图像可以具有附加或替代通道,诸如红外线和可见光。图像可以替代地是单色的。存储器104可以被配置为存储与图像传感器的噪声相关的查找表。存储器104可以被配置为存储先前捕获的图像的相机设置。先前捕获的图像的相机设置的示例是焦点设置、图像传感器的增益设置、用于对图像进行编码的设置等。
可以使用一个或多个通道来确定局部对比度值。根据非限制性示例,仅使用一个通道,例如,绿通道。然而,可以使用除绿通道之外的另一个通道。此外,可以使用通道的子集或甚至所有通道。
边缘检测器108被配置为将边缘检测算法应用于数字图像的图像数据。应用边缘检测算法的图像数据可以是表示数字图像的整个区域的图像数据。应用边缘检测算法的图像数据可以是数字图像的一个或多个区域的图像数据。
图像分割器116被配置为将图像分割成图像区域。每个图像区域包括空间相关的图像数据,即,与数字图像的总区域的子区域有关的数据。图像区域可以是平铺的。图像区域可以覆盖整个图像。图像区域可以是矩形、六边形或圆形。然而,也可以使用其他形状的图像区域。然而,图像区域可能不覆盖整个数字图像。图像区域可以不平铺。例如,用户可以指示一个或多个可能是分离的感兴趣区域。这些感兴趣的区域可能无法覆盖整个图像。感兴趣的区域可以具有任何形状。例如,感兴趣的区域可以是矩形、六边形或圆形。
通过将边缘检测算法应用于数字图像的图像数据,获得与数字图像中的边缘有关的数据集。
在将数字图像分割成多个图像区域的情况下,边缘检测算法应用于图像区域中的一个或多个上。如上所述,边缘检测算法可以应用于表示数字图像的整个区域的图像数据。
边缘检测算法包括梯度算子,诸如索伯尔算子或拉普拉斯算子。例如,包括索伯尔算子的边缘检测算法可以被视为索伯尔滤波器。索伯尔滤波器是基于梯度的滤波器,如果相邻像素之间存在锐利边缘则该滤波器返回大值,而如果相邻像素具有相似像素值则该滤波器返回小值。包括拉普拉斯算子的边缘检测算法可以被视为拉普拉斯滤波器。拉普拉斯滤波器是基于梯度的滤波器,它在边缘的一侧返回正值,在边缘的另一侧返回负值,在这两个区域之间的边缘上返回零,其中这些侧之间的紧邻零的差异可以表示边缘的锐利度。因此,从边缘检测算法获得的值指示图像中的局部对比度,即图像数据的相邻区域之间的对比度。因此,通过将边缘检测算法应用于数字图像的图像数据,获得与数字图像中的边缘有关的数据集。与数字图像的边缘有关的数据集包括指示边缘的区别性的值。
边缘出现值计算器110被配置为使用与数字图像中的边缘有关的数据集来计算边缘出现值。在将数字图像分割成图像区域的情况下,可以计算图像区域中的一个或多个的边缘出现值。可以通过对指示边缘的区别性的值求和来计算边缘出现值。可以使用与边缘有关的数据集的绝对值来进行求和。还可以使用相应图像区域中的像素数量来进行归一化。由于指示边缘的区别性的相对大的值指示锐利边缘,而指示边缘的区别性的相对小的值指示软边缘或少边缘,因此这些值的总和指示数字图像中的作为整体或在相应图像区域中的边缘的锐利度和出现。图像区域中的像素数量与由图像区域覆盖的数字图像的面积相关。因此,归一化值给出了边缘的存在以及相对出现的指示。如果存在多个或锐利的边缘,则边缘出现值相对大。如果边缘很少或有软边缘,则边缘出现值相对小。
噪声估计器112被配置为估计来自用于捕获数字图像的图像传感器的图像传感器噪声的值。该估计基于用于捕获数字图像的图像传感器的噪声模型。该估计基于各种已知或测量的参数。数字图像中的噪声可能导致错误地检测到边缘,并且因此可能增加边缘出现值并产生不准确性。噪声模型将数字图像作为输入来评估捕获图像的光条件。光条件通常将会影响由图像传感器拾取的环境噪声量。当然可以以另一种方式测量光条件,诸如使用外部光传感器、大致通过指示一天中的时间的时钟或其他方法。噪声模型还可以考虑关于图像传感器的元数据,诸如类型、关于透镜的放置,以及其他特性。此外,噪声模型可能取决于传感器设置,诸如增益或曝光,因为这些也会影响信号噪声。更简单或其他噪声模型当然也是可行的。然而,噪声模型应配置为返回在数字图像中存在的噪声的预期值。噪声模型可以是针对与图像传感器的预期信号噪声相关的参数制表的预定噪声数据的查找表的形式。替代地或组合地,噪声模型可以基于数学函数或算法。替代地或组合地,噪声模型可以基于数字图像发现对比度的扫描,该对比度由指示所述对比度实际上是噪声的几个聚类像素组成,并且根据这样的扫描对图像中的噪声进行近似。然后使用估计的图像传感器噪声来产生预期边缘出现值。这可以通过例如一起使用边缘检测算法的已知特性以及估计的图像传感器噪声产生预期边缘出现值来完成。
局部对比度值确定器114被配置为确定数字图像的局部对比度值。局部对比度值是数字图像或数字图像的每个区域的边缘出现值与整个数字图像或数字图像的相应区域的估计的图像传感器噪声之间的关系。这种关系可以是例如通过将边缘出现值除以整个数字图像或数字图像的一个或多个图像区域的噪声的预期值来形成。如果检测到的边缘很少,如果边缘非常软,或者如果相对于边缘的出现在图像中存在大量噪声,则局部对比度值将相对小。如果存在多个和/或锐利边缘,或者如果相对于边缘的出现几乎没有噪声,则局部对比度值将相对大。
对于某些情况,可能需要单个局部对比度值来表示整个图像。这可能例如在调整影响整个图像的相机的设置时是期望的。这种设置的示例是相机的焦点。可以通过多种技术为整个图片选择单个局部对比度值。可替代地,可以使用数字图像的多个局部对比度值中的一个。例如,可以使用“加权投票”,其中局部对比度值与图像中心附近或者在由用户优先选择的感兴趣区域中局部对比度值相互比较。还可以将具有较高边缘出现值的图像区域视为优先的,因为这些区域更可能包含感兴趣的物体。第三种选择将是使用先前拍摄的图像来确定图像的图像区域是否有任何变化,并将该图像区域视为优先的以用于选择局部对比度值的目的,因为所述图像区域中可能存在运动。另一种选择是在局部对比度值之间使用一些均值、加权或算术。
图2是用于确定由相机中的图像传感器捕获的数字图像的局部对比度值的方法200的流程图。该方法包括以下动作:将边缘检测算法应用S202于数字图像的图像数据。由此获得与数字图像中的边缘有关的数据集。边缘检测算法可以包括梯度算子,诸如索伯尔算子或拉普拉斯算子。与数字图像中的边缘有关的数据集可以包括指示边缘的区别性的值。基于所述数据集计算S204数字图像的边缘出现值。边缘出现值的计算可以包括计算指示边缘的区别性的所述值的总和。基于数字图像的图像数据和图像传感器的噪声模型来估计S206数字图像的估计的图像传感器噪声的值。数字图像的估计的图像传感器噪声用于估计预期边缘出现值。图像传感器的噪声模型可以包括与图像传感器的特性有关的预定数据。可以基于图像传感器的设置(诸如图像传感器的增益和/或曝光设置)来调整图像传感器的噪声模型。可以基于边缘检测算法的特性来调整图像传感器的噪声模型。可以基于数字图像的图像数据的预处理的特性来调整噪声模型。并且将局部对比度值计算S208为数字图像的边缘出现值与数字图像的预期边缘出现值之间的关系。该关系可以包括边缘出现值和预期值之间的比率。
该方法还可以包括:将数字图像分割S201成一组区域,其中对数字图像的该组区域的至少一个子集的每个区域执行动作S202、S204、S206和S208,从而确定多个局部对比度值。
以上结合被配置为确定由相机中的图像传感器捕获的数字图像的局部对比度值的电路100更详细地讨论不同动作S201、S202、S204、S206和S208。为了避免不必要的重复,对上文进行参考。
图3是数字相机300的示意性框图。数字相机300可以例如是监控相机。数字相机300被布置为捕获描绘场景的数字图像。数字图像可以用于合成场景的视频序列。数字相机300包括壳体302、聚焦透镜304、聚焦马达305、图像传感器306、控制器310、图像处理器312和上面讨论的电路100。数字相机300还可以包括I/O端口314。数字相机300可以通过I/O端口314连接到数字网络20。数字相机300被布置为捕获和处理(并且还可能存储)数字图像。
相机组件(即聚焦透镜304和图像传感器306)被布置为捕获图像数据。数字相机300可以是被布置成捕获摄影图像的相机。替代地或组合地,数字相机300可以被布置为捕获热图像。可替代地或组合地,数字相机300可以被布置为捕获雷达图像。因此,由数字相机300捕获的视频序列可以是摄影图像的表示、热图像的表示、雷达图像的表示或它们的组合。
聚焦透镜304沿光路P可移动。沿光路P移动聚焦透镜304将产生由具有不同焦点的数字相机300记录的图像。因此,数字相机300可以以不同的焦点设置来设置。聚焦马达305被配置为沿着光路P移动聚焦透镜304。聚焦马达305连接到控制器310并由控制器310控制。
替代地或组合地,图像传感器306可以沿着光路P可移动。沿着光路P移动图像传感器306将产生由具有不同焦点的数字相机300记录的图像。因此,数字相机300可以以不同的焦点设置来设置。致动器308被配置为沿着光路P移动图像传感器306。致动器308连接到控制器310并由控制器310控制。致动器的非限制性示例是电动马达、线性致动器或压电致动器。
可以以其他方式改变数字相机300的焦点。例如,可以使透镜304由柔性材料制并通过使透镜304变形来改变相机的焦点。作为改变数字相机300的焦点设置的结果而改变数字相机300的焦点的其他方式也是可行的。
数字相机300被配置为捕获图像系列。图像系列包括至少两个图像。使用数字相机300的不同焦点设置来捕获图像系列的每个图像。
与图像系列的图像有关的图像数据存储在电路100的存储器102中。不同的焦点设置可以存储在电路100的存储器102中。存储的不同的焦点设置可以与使用该特定焦点设置来捕获的相应图像的图像数据相关联。
电路100被配置为确定该图像系列中的每个图像的局部对比度值。每个图像的局部对比度值表示相应图像的视觉清晰度。根据非限制性示例,为每个图像确定单个局部对比度值。然而,在图像被分割成图像区域的情况下,可以确定图像区域中的一个或多个的局部对比度值。
随后比较该图像系列的图像的局部对比度值。可以由电路100的一个或多个处理器106、由图像处理器312和/或由控制器310进行该比较。基于该图像系列的图像的局部对比度值的比较,选择数字相机300的焦点设置。可以由电路100的一个或多个处理器106、由图像处理器312和/或由控制器310进行该选择。该选择可以指示已经获得局部最大化的局部对比度值。可以使用爬山算法进行已经获得局部最大化的局部对比度值的检查。
控制器310被配置为基于所选择的焦点设置来调整数字相机300的焦点设置。控制器310被配置为通过控制聚焦马达305和/或致动器308,并/或通过用于改变数字相机300的焦点的任何其他装置来调整数字相机的焦点设置。可以使用用于捕获图像系列中的一个图像的焦点设置之中的焦点设置。可替代地,可以使用用于捕获图像系列中的两个不同图像的两个相邻焦点设置之间的焦点设置。如果两个图像具有相似的局部对比度值,则这尤其有用。对于这种情况,两个相邻焦点设置之间的焦点设置可能是更好的焦点设置。
图4是用于调整相机的焦点设置的方法400的流程图。该方法包括以下动作:通过相机的图像传感器捕获S402图像系列。图像系列包括至少两个图像。使用相机的不同焦点设置来捕获图像系列的每个图像。可以通过例如调整相机的聚焦透镜和/或调整图像传感器的位置将相机以不同的焦点设置来设置。通过结合图2讨论的方法确定S404图像系列的每个图像的局部对比度值。通过比较图像系列中的图像的局部对比度值来选择S406相机的焦点设置。对相机的焦点设置的选择可以指示已经获得局部最大化的局部对比度值。可以使用爬山算法来选择局部最大化的局部对比度值。并且基于所选择的焦点设置调整S408相机的焦点设置。
该方法可以进一步包括为数字图像的区域的至少一个子集确定局部最大化的局部对比度值,并将所确定的局部对比度值相互比较。
本领域技术人员认识到,本发明决不意味着限于上述优选实施例。相反,在所附权利要求的范围内可以进行许多修改和变化。
例如,可以在执行上述方法之前预处理数字图像。例如,可以对图像进行噪声滤波以减少图像中存在的环境噪声量。根据另一示例,可以对图像进行预处理以补偿图像边缘附近存在的光学效应。这种预处理的示例是去除或至少减少渐晕效应。在执行本公开中讨论的任何方法之前,还可以向图像数据引入其他类型的预处理。在预处理图像数据的情况下,步骤S206的噪声模型可以被配置为基于噪声水平如何受到这种预处理的影响的预定知识来调整返回的预期值。
此外,可以使用与除法不同的数学方法来计算数字图像的每个区域的边缘出现值与预期边缘出现值之间的关系。例如,可以使用减法或其他方法和/或算法。
在调整数字相机的焦点期间使用的图像系列中的图像的局部对比度值可以用于缩放焦点搜索步长(step)的大小。图像系列中的图像的局部对比度值的相对低的值指示数字相机是失焦的,并且在捕获该图像系列中的下一图像之前可以对焦点设置进行相对大的步长。此外,图像系列中的图像的局部对比度值的相对高值指示数字相机处于聚焦或非常接近聚焦,因此,可以在捕获图像系列中的下一个图像之前对焦点设置进行相对小的步长。这可以缩短找到焦点的搜索时间。
如上所述,局部对比度值可以用于调整相机的焦点。然而,局部对比度值也可以用于其他处理。这些处理中的一些旨在优化由相机捕获的图像中的图像质量。可以使用局部对比度值的示例是调整相机的曝光时间、相机的光圈位置,和/或相机的图像传感器增益设置。
局部对比度值还可以被视为场景中的运动的估计测量,因此,局部对比度值可以用于设置由相机捕获的视频流的压缩水平。与诸如像素随时间变化的时间测量技术一起,来自场景的真实运动可以与来自噪声的运动贡献分开。
局部对比度值也可以用于设置噪声滤波水平。
另外,通过研究附图、公开内容和所附权利要求,本领域技术人员在实践所要求保护的发明时可以理解和实现对所公开实施例的变型。
Claims (15)
1.一种用于确定由相机中的图像传感器捕获的数字图像的局部对比度值的方法,所述方法包括:
a)将边缘检测算法应用于所述数字图像的图像数据,从而获得与所述数字图像中的边缘有关的数据集;
b)基于所述数据集计算所述数字图像的边缘出现值;
c)基于所述数字图像的图像数据和所述图像传感器的噪声模型来估计所述数字图像的图像传感器噪声,
d)基于所估计的图像传感器噪声估计预期边缘出现值,
e)将所述局部对比度值计算为所述数字图像的所述边缘出现值与所估计的预期边缘出现值之间的关系。
2.根据权利要求1所述的方法,其中与所述数字图像中的边缘有关的所述数据集包括指示边缘的区别性的值,并且其中所述边缘出现值的所述计算包括计算指示边缘的区别性的所述值的总和。
3.根据权利要求1所述的方法,其中用于估计所述图像传感器噪声的所述数字图像的所述图像数据包括所述数字图像的像素值的总和。
4.根据权利要求3所述的方法,还包括将所述图像数据分离成颜色通道,其中所述像素值取自所述颜色通道中的一个。
5.根据权利要求1所述的方法,还包括将所述数字图像分割成一组区域,其中对所述数字图像的所述一组区域的至少一个子集的每个区域执行权利要求1的动作a)-e),从而确定多个局部对比度值。
6.根据权利要求1所述的方法,其中所述图像传感器的所述噪声模型包括与所述图像传感器的特性有关的预定数据。
7.根据权利要求1所述的方法,还包括基于所述图像传感器的设置来调整所述图像传感器的所述噪声模型,其中所述图像传感器的所述设置是所述图像传感器的增益和/或曝光设置。
8.根据权利要求1所述的方法,还包括基于所述边缘检测算法的特性来调整所述图像传感器的所述噪声模型。
9.根据权利要求1所述的方法,还包括:
在确定局部对比度值之前预处理所述数字图像的图像数据;和
基于所述数字图像的所述图像数据的所述预处理的特性来调整所述噪声模型。
10.根据权利要求1所述的方法,其中所述关系包括:所述边缘出现值与所述预期边缘出现值之间的比率以及所述边缘出现值与所述预期边缘出现值之间的差值中的一个或多个。
11.一种非暂时性计算机可读存储介质,在所述非暂时性计算机可读存储介质上存储有计算机可读程序代码,所述计算机可读程序代码当在具有处理能力的设备上被执行时被配置为执行权利要求1所述的方法。
12.一种电路,被配置为确定由相机中的图像传感器捕获的数字图像的局部对比度值,所述电路包括:
存储器(104),被配置为存储所述数字图像的图像数据;
边缘检测器(108),被配置为将边缘检测算法应用于所述数字图像的图像数据,从而获得与所述数字图像中的边缘有关的数据集;
边缘出现值计算器(110),被配置为基于所述数据集计算所述数字图像的边缘出现值;
噪声估计器(112),被配置为基于所述数字图像的图像数据和所述图像传感器的噪声模型来估计所述数字图像的图像传感器噪声的值,并且基于所述数字图像的所估计的图像传感器噪声估计预期边缘出现值;和
局部对比度值确定器(114),被配置为将所述局部对比度值计算为所述数字图像的所述边缘出现值与所估计的预期边缘出现值之间的关系。
13.一种用于调整相机的焦点设置的方法,所述方法包括:
通过所述相机的图像传感器捕获包括至少两个图像的图像系列,所述图像系列的每个图像使用所述相机的不同焦点设置来捕获;
通过根据权利要求1所述的方法确定所述图像系列的每个图像的局部对比度值;
通过比较所述图像系列中的所述图像的所述局部对比度值来选择所述相机的焦点设置;和
基于所选择的焦点设置来调整所述相机的所述焦点设置。
14.根据权利要求13所述的方法,还包括将所述图像系列中的所述图像中的每个分割成一组区域,其中确定所述图像系列的每个图像的局部对比度值的动作包括确定所述图像系列中的所述图像中的每个的所述一组区域的至少一个子集的局部对比度值。
15.一种焦点可调数字相机,所述相机包括:
存储器(102),被配置为存储与由相机捕获的图像系列有关的图像数据,所述图像系列的每个图像使用所述相机的不同焦点设置来捕获;
根据权利要求12所述的电路(100),被配置为确定所述图像系列中的每个图像的局部对比度值;
处理器(106、312、310),被配置为:
比较所述图像系列的所述图像的所述局部对比度值,并且
基于所述比较来选择所述数字相机的焦点设置;和
控制器(310),被配置为基于所选择的焦点设置来调整所述数字相机的所述焦点设置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17209253.8A EP3503528B1 (en) | 2017-12-21 | 2017-12-21 | Determination of a contrast value for a digital image |
EP17209253.8 | 2017-12-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109961422A CN109961422A (zh) | 2019-07-02 |
CN109961422B true CN109961422B (zh) | 2021-10-08 |
Family
ID=60915278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811525273.2A Active CN109961422B (zh) | 2017-12-21 | 2018-12-13 | 数字图像的对比度值的确定 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10757318B2 (zh) |
EP (1) | EP3503528B1 (zh) |
CN (1) | CN109961422B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110942440B (zh) * | 2019-12-12 | 2023-04-18 | 上海富瀚微电子股份有限公司 | 一种图像锐化的方法及装置 |
US11418742B2 (en) * | 2020-01-16 | 2022-08-16 | GM Global Technology Operations LLC | System and method for analyzing camera performance degradation due to lens abrasion |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103186888A (zh) * | 2011-12-30 | 2013-07-03 | Ge医疗系统环球技术有限公司 | 一种去除ct图像噪声的方法及装置 |
CN103679697A (zh) * | 2012-09-13 | 2014-03-26 | 欧姆龙株式会社 | 图像处理装置及图像处理方法 |
CN103996209A (zh) * | 2014-05-21 | 2014-08-20 | 北京航空航天大学 | 一种基于显著性区域检测的红外舰船目标分割方法 |
CN106251300A (zh) * | 2016-07-26 | 2016-12-21 | 华侨大学 | 一种基于Retinex的快速夜间雾天图像复原方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1624672A1 (en) * | 2004-08-07 | 2006-02-08 | STMicroelectronics Limited | A method of determining a measure of edge strength and focus |
US7343047B2 (en) * | 2004-09-22 | 2008-03-11 | Hewlett-Packard Development Company, L.P. | Systems and methods for arriving at an auto focus Figure of Merit |
EP1837806A1 (en) * | 2006-03-24 | 2007-09-26 | MVTec Software GmbH | System and methods for automatic parameter determination in machine vision |
US8270695B2 (en) | 2008-10-07 | 2012-09-18 | Carestream Health, Inc. | Diagnostic image processing with automatic self image quality validation |
US8611739B2 (en) | 2009-09-17 | 2013-12-17 | Panasonic Corporation | Focus adjusting apparatus and imaging apparatus |
CN103650473B (zh) * | 2011-06-09 | 2018-09-04 | 郑苍隆 | 自动聚焦图像方法 |
JP6415066B2 (ja) * | 2014-03-20 | 2018-10-31 | キヤノン株式会社 | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム |
-
2017
- 2017-12-21 EP EP17209253.8A patent/EP3503528B1/en active Active
-
2018
- 2018-12-13 CN CN201811525273.2A patent/CN109961422B/zh active Active
- 2018-12-14 US US16/220,906 patent/US10757318B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103186888A (zh) * | 2011-12-30 | 2013-07-03 | Ge医疗系统环球技术有限公司 | 一种去除ct图像噪声的方法及装置 |
CN103679697A (zh) * | 2012-09-13 | 2014-03-26 | 欧姆龙株式会社 | 图像处理装置及图像处理方法 |
CN103996209A (zh) * | 2014-05-21 | 2014-08-20 | 北京航空航天大学 | 一种基于显著性区域检测的红外舰船目标分割方法 |
CN106251300A (zh) * | 2016-07-26 | 2016-12-21 | 华侨大学 | 一种基于Retinex的快速夜间雾天图像复原方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190199933A1 (en) | 2019-06-27 |
CN109961422A (zh) | 2019-07-02 |
US10757318B2 (en) | 2020-08-25 |
EP3503528A1 (en) | 2019-06-26 |
EP3503528B1 (en) | 2020-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7027537B2 (ja) | 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体 | |
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
CN108335279B (zh) | 图像融合和hdr成像 | |
US11361459B2 (en) | Method, device and non-transitory computer storage medium for processing image | |
US9361680B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
US8977056B2 (en) | Face detection using division-generated Haar-like features for illumination invariance | |
Park et al. | Single image dehazing with image entropy and information fidelity | |
US20200043225A1 (en) | Image processing apparatus and control method thereof | |
EP3480784B1 (en) | Image processing method, and device | |
WO2017113048A1 (zh) | 一种图像融合方法、装置及终端设备 | |
CN107358593B (zh) | 成像方法和装置 | |
CN110796041B (zh) | 主体识别方法和装置、电子设备、计算机可读存储介质 | |
US9613403B2 (en) | Image processing apparatus and method | |
Várkonyi-Kóczy et al. | Gradient-based synthesized multiple exposure time color HDR image | |
US9330340B1 (en) | Noise estimation for images using polynomial relationship for pixel values of image features | |
CN112261292B (zh) | 图像获取方法、终端、芯片及存储介质 | |
WO2019011110A1 (zh) | 逆光场景的人脸区域处理方法和装置 | |
CN111970405A (zh) | 摄像头遮挡检测方法、存储介质、电子设备及装置 | |
CN113313626A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111225162A (zh) | 图像曝光的控制方法、系统、可读存储介质及摄像设备 | |
KR20130090615A (ko) | 이미지 자동 보정을 위한 구도 기반 노출 측정 방법 및 장치 | |
CN109961422B (zh) | 数字图像的对比度值的确定 | |
CN111105370B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
CN110175967B (zh) | 图像去雾处理方法、系统、计算机设备和存储介质 | |
AU2016273979A1 (en) | System and method for adjusting perceived depth of an image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |