CN112750087A - 图像处理方法和装置 - Google Patents
图像处理方法和装置 Download PDFInfo
- Publication number
- CN112750087A CN112750087A CN202011164381.9A CN202011164381A CN112750087A CN 112750087 A CN112750087 A CN 112750087A CN 202011164381 A CN202011164381 A CN 202011164381A CN 112750087 A CN112750087 A CN 112750087A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- local block
- respective blocks
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 235000019557 luminance Nutrition 0.000 claims abstract description 35
- 239000002131 composite material Substances 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 229920006395 saturated elastomer Polymers 0.000 description 14
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开涉及图像处理方法和装置。一种图像处理方法将具有不同亮度的图像(100、102)转换至共同亮度范围,图像至少部分地表示相同场景。选择包括具有运动的局部块(104A)的图像中的一个图像,以从图像形成合成图像(10)。在图像中确定与局部块(104A)相对应的一个或多个相应块(104)。所述一个或多个相应块(104)中的每一个使用以下至少一项加权:相对于局部块(104A)的相似性、距局部块(104A)的位置的距离、一个或多个相应块(104)的饱和度以及一个或多个相应块(104)的噪声。基于加权,将局部块(104A)和一个或多个相应块(104)中的至少一个进行组合,或者将局部块(104A)替换为一个或多个相应块(104)中的至少一个,以用于从图像形成合成图像(10)。
Description
技术领域
本发明涉及图像处理方法和使用该方法的装置。
背景技术
同一场景但具有不同亮度的数字图像可能具有包含会引起模糊的运动的块或局部区域。可以通过从较暗的图像中获取运动的像素以组合图像来减少模糊,这会在运动的像素中留下噪声。替代地,可以通过从较亮的图像中获取运动的像素以组合图像来减少模糊,但是在这种情况下,运动的像素可能饱和。
因此,需要改进图像处理。
发明内容
本发明寻求提供图像处理方面的改进。
本发明由独立权利要求限定。实施例在从属权利要求中限定。
附图说明
下面仅通过示例的方式,参考附图描述本发明的示例实施例,其中
图1示出了两个图像的示例,它们用于形成合成图像;
图2示出了图像处理装置的示例;
图3示出了局部块和相应块在同一图像中的示例;以及
图4示出了图像处理方法的流程图的示例。
具体实施方式
以下实施例仅是示例。尽管说明书可以在若干位置提及“一个”实施例,但这并不一定意味着每个这样的提及都指相同的(一个或多个)实施例,或者该特征仅应用于单个实施例。不同实施例的单个特征也可以被组合以提供其他实施例。此外,词语“包括”和“包含”应理解为不将所描述的实施例限制为仅由已经提到的那些特征组成,并且这样的实施例还可以包含未具体提到的特征/结构。实施例的所有组合被认为是可能的,如果它们的组合不会导致结构或逻辑矛盾。
应当注意,尽管附图示出了各种实施例,但是它们是仅示出一些结构和/或功能实体的简化图。图中所示的连接可以指逻辑或物理连接。对于本领域技术人员清楚的是,所描述的装置还可以包括除附图和文字中所描述的功能和结构之外的其他功能和结构。应当理解,用于测量和/或控制的一些功能、结构和信令的细节与实际发明无关。因此,此处无需对它们进行更详细的讨论。
当数字图像被捕获时,每个像素会聚集光,光的强度被转换为数字。该数字在图像传感器的动态范围内,该动态范围使用一定数量的位表达。在动态范围的一端有最暗的像素,在动态范围的另一端有最亮的像素。通过延长曝光持续时间或具有较大的光圈,可以增加由每个像素接收到的强度。
然而,当强度太强时,像素饱和,即它们不能携带有关其接收的强度的信息。另一方面,当强度太低时,像素被量化,这被观察为噪声。可以考虑将数字图像中的像素计数为入射光子。因为光子的辐射本身是一个随机过程,所以可以通过收集更多的光子来提高信噪比。因此,与相同目标或场景的曝光良好的图像相比,曝光不足的图像包含的信息较少。
除了饱和度和噪声外,图像还可能因运动而模糊。降低图像质量的所有这些特征都应被补偿。
图1示出了两个图像100、102的示例,其中图像100较暗,即图像100具有比图像102低的亮度。通常,图像的数量可以是两个或更多个。较低的亮度以阴影图案示出。亮度基于视觉,并且以某种方式指的是图像整体的明暗。另一方面,可以将亮度视为RGB(红-绿-蓝)颜色坐标系中红色、绿色和蓝色值的均值或平均值。当使用短曝光或小光圈时,可捕获到具有较低亮度的图像。另外地或替代地,在图像的场景或目标的低照度下可捕获到具有低亮度的图像。在图1的示例中,例如,图像102可能具有比图像100的曝光更长的曝光。
图像处理装置200包括图像处理电路系统,其将图像100、102转换至共同亮度范围。如图1的示例中所示,至少一个图像102最初具有比至少一个另外的图像100更高的亮度。可以通过将图像100、102的强度值转换至共同亮度范围来执行向共同亮度的转换。也就是说,亮度不需要完全相同,只要亮度大约相同即可,即在预定范围内。预定范围可以由本领域技术人员根据他/她的经验、测试、模拟或他/她的理论知识来决定。预定范围可以是一般范围,或者可以针对每个应用或每个图像组分别决定。
图像100、102至少部分地表示在不同时刻的相同的场景,尽管它们可以相对于彼此位移或者也可以不相对于彼此位移。图像100、102示出了图像之间的位移S。位移S在图像102中用箭头示出。除了全局位移之外,图像之间的运动可以是旋转、缩放、剪切、透视投影等,这本身是本领域技术人员已知的。
图像处理装置200选择图像100、102中的包括具有运动的局部块104A的一个,以从图像100、102形成合成图像10。由此,所选图像用作开始合成的基础。在图1的示例中,所选图像是图像102。通常,图像100、102中的一个以上可以包括局部运动。在图1的示例中,例如,由于比图像100的曝光更长的曝光,所以在图像102中运动可能是清晰的。运动会导致模糊。在图像102中,树的叶子和外部轮廓可能被模糊。另外,在较亮的图像102中比在较暗的图像100中像素饱和的可能性更高。图像的像素在某个阈值处饱和,在该阈值之上,更高强度的光辐射射向记录所述图像的相机的相应像素导致恒定输出。恒定输出通常是最大输出。饱和可能会导致图像中出现不希望的伪影。
图像处理电路系统基于它们的视觉信息确定图像100、102的一个或多个相应块104,相应块104对应于图像100、102的所述一个图像102的局部块104A。相应块104可以在除了图像100、102中的所述一个图像102之外的一个或多个图像100中。替代地或另外地,一个或多个相应块104也可以在与局部块104A相同的图像102中找到(参见图3)。图像块(例如一个或多个相应块104中的任何一个或局部块104A)包括一个或多个像素。
图像处理电路系统通过从不同图像获取相应块104的加权平均值来形成相应块104(或细化局部块104A)。然后,图像处理电路系统利用以下至少一项对每个所述相应块104进行加权:与局部块104A的相似性、与局部块104A的位置的距离、饱和度以及相应块104的噪声。在实施例中,可以将相应块104的噪声与局部块104A的噪声进行比较。可以在与包括局部块104A的图像102不同的图像100的坐标系中确定局部块104A的位置。
基于用于从图像100、102形成合成图像10的加权,图像处理电路系统将局部块104A和相应块104中的至少一个组合,或者用相应块104中的至少一个代替局部块104A。以这种方式,新图像10是图像100、102的组合,使得干扰(例如,由运动和饱和引起的模糊)最小化,同时尝试最大化信噪比和/或最小化噪声。
在实施例中,可以在组合局部块104A和一个或多个相应块104中的至少一个时,或者由一个或多个相应块104中的至少一个代替局部块104A时,通过组合多个图像100、102来形成合成图像10。
基于具有运动的块的加权的这种合成可以被认为是保持边缘和降低噪声的三边滤波。
局部块104A和相应块104可以具有噪声,该噪声可以被分为若干类型。高斯噪声(也可以称为热噪声)来自捕获图像的相机。椒盐噪声在亮区域中具有暗像素,在暗区域中具有亮像素。椒盐噪声也可称为尖峰噪声。进而,散粒噪声是由量子波动引起的,由于其统计特性,它可以被包括在高斯噪声中。散粒噪声以及因此高斯噪声可以包括图像传感器中的暗电流。因为图像是数字形式的,所以转换为数字形式会导致量化噪声。另外,例如图像100、102可以具有周期性噪声、行噪声和/或列噪声。
图2示出了图像处理装置200的示例,其可以包括一个或多个处理器202以及包括至少一个计算机程序代码的一个或多个存储器204。一个或多个处理器202、一个或多个存储器204和至少一个计算机程序代码使图像处理装置200至少执行图像处理方法步骤,该步骤包括将图像100、102转换至共同亮度范围,确定相应块104,对每个所述相应块104加权以及关于局部块104A和相应块104的组合或替换。图像处理装置200还可以包括用户界面206,例如,用户接口206可以包括屏幕和键盘和/或触摸屏。另外,图像处理装置200可以包括成像设备208。成像设备208可以是相机等,其捕获或形成图像。
图3示出了其中相应块104与局部块104A在同一图像102中的示例。如果图像的形状300大于局部块104A(相应块具有与局部块相同的大小),则也可能在局部块104A的外部找到相同的形状。形状300可以以不变的方式连续,或者其可以在图像102中重复出现。形状300的饱和度或运动在图像102的不同位置可能不同,有时可以利用这一点。
在实施例中,图像处理装置200可以使用具有最低亮度的图像100的坐标系来确定图像中的位置。因此,可以在图像100的坐标系中确定局部块104A的位置以及一个或多个相应块104的位置。
在实施例中,图像处理装置200可以通过增加暗图像的亮度来将图像的亮度转换至共同亮度范围。例如,如果图像100的动态范围是10位并且其被增亮八倍,这对应于具有八倍多的光的曝光,则像素强度的值乘以八。初始较暗图像100的像素的动态范围现在为14位。在这种情况下,这使得初始较暗图像100的像素被量化并且初始较亮图像102的像素可能饱和。然而,如果量化像素和饱和像素不完全相同,则可以通过组合图像来获得没有或只有有限饱和及量化的图像。
在实施例中,图像处理装置200可以通过计算局部块104A与一个或多个相应块104中的每一个的亮度之间的相似性,来形成与局部块104A的相似性。另外地或替代地,图像处理装置200可以通过计算局部块104与一个或多个相应块104中的每一个的颜色之间的相似性,来形成与局部块104A的相似性。另外地或替代地,图像处理装置200可以通过计算局部块与相应块之一的亮度分布之间的相似性,来形成与局部块104A的相似性。
在实施例中,图像处理装置200可以计算一个或多个相应块104中的每一个与局部块104A的像素的值的直方图,并基于直方图的比较来形成相似性。直方图可以用于显示图像或图像块的数值数据的分布。相似性也可以基于相异度来确定。
相似性也可以基于尺度不变特征变换(SIFT)算法。例如,还可以使用多种方法来确定相似性,例如,皮尔森相关性、谷本测度、斯皮尔曼的ρ、肯德尔的τ、相关性和/或香农/伦尼/萨尔利斯交互信息。可以使用L1或L2范数、增量符号距离、强度比方差、强度映射比方差、秩距离、联合熵和/或互斥F-信息来测量相异度。这些方法还可以测量噪声和模糊以及强度和几何变化。当考虑到已知或估计的噪声量时,相似性可以估计块表示相同目标的概率。
在实施例中,图像处理装置200可以通过随着与局部块104A的位置的距离增加而减小的值来对一个或多个相应块104中的所述每一个进行加权。
在实施例中,图像处理装置200可以通过随着噪声增加而减小的值来对所述一个或多个相应块104进行加权。
在实施例中,图像处理装置200可以基于捕获图像的传感器的增益来估计一个或多个相应块104和局部块104A的噪声。传感器的增益是指例如像素的强度值的放大。当将不同的图像调整为处于相同的强度水平时,在实施例中也可以考虑增益。当图像的像素值乘以值n时,噪声也会随着值n增加。在该乘法中,信噪比将保持恒定。另一方面,如果将光子数量增加值n,则光子噪声将增加值n的平方根,从而使信噪比增加值n的平方根。也就是说,由随着相应的光辐射功率增加的增益所获得的相同亮度将导致噪声增加该增长/增益n的平方根。
另外地或替代地,图像处理装置200可以基于对图像执行的一个或多个图像变换来估计一个或多个相应块104和局部块104A的噪声。图像变换例如可以是几何图像变换。例如,图像变换可以指几何失真和/或图像的组合。
在实施例中,图像处理装置200可以在进入本申请的方法之前基于对图像100、102执行的预增益来估计一个或多个相应块104和局部块104A的噪声。
在实施例中,图像处理装置200可以基于噪声来估计一个或多个相应块104和局部块104A的噪声,该噪声取决于图像中的位置。
在实施例中,图像处理装置200可以基于图像融合来估计一个或多个相应块104和局部块104A的噪声。
当至少两个图像已经融合时,可以降低图像的噪声。当组合图像时,图像中的至少一个可能已经被调整(例如,对比度可能已经改变),这可能已经增加了像素的增益,即,特定于像素的增益可能已经改变。替代地或另外地,由透镜引起的可能的渐晕和/或由图像捕获设备的光学组件或环境(大气湍流)引起的任何其他物理扰动或变形可能已经通过改变特定于像素的增益的像素值的乘积而被调节。
在实施例中,图像处理装置200可以选择具有最佳信息的图像102,其中最佳信息可以意味着图像102具有最大而没有饱和的亮度或具有最小饱和度。在实施例中,图像处理装置200可以选择图像100、102中具有最大亮度的图像102作为图像100、102中的所述一个图像。在该实施例中,局部块104A被选择为图像中最亮的并且包括运动的图像。此处,最亮图像可以是非饱和图像。
在图1中示出其示例的实施例中,在将图像100、102转换至共同亮度范围之前,图像处理装置200可以通过组合亮度比具有最低亮度的图像高的图像来形成亮图像102。在图1的示例中,图像102可以已经被形成为比暗图像100亮的亮图像102'、102”的组合。
在图1中示出其示例的实施例中,在将图像100、102转换至共同亮度范围之前,图像处理装置200可以组合亮度比具有最高亮度的图像低的多个图像。在图1的示例中,图像100可以已经被形成为比图像102暗的暗图像100'、100”的组合。
在实施例中,可以分别使用多个暗图像100”和多个亮图像102”。相应块104的形成可以自动组合来自多个暗图像的信息。相应块104的形成可以自动组合来自多个亮图像的信息。
在实施例中,图像处理装置200可以在将图像转换至共同亮度范围之前配准图像100、102。以这种方式,图像100、102彼此对准。位移S可以用于对准。图像的坐标系是统一的,并且局部块104A的区域的位置在图像100、102的每一个中变得相同。
在实施例中,相应块104可以源自若干不同的输入图像,这些输入图像可以以不同的设置被捕获。因此,除了与局部块104A的空间距离和块的相似性之外,每个相应块104的信息内容(噪声和饱和度)可以影响加权。通常,可以使用相同或不同的设置(亮度)来捕获输入图像。
在极端情况下,仅从至少一个亮图像102”获得图像的非运动和非饱和区域,与较暗图像相比,亮图像102”针对这些区域产生更好的信噪比。
如果任何相应块104包含很多饱和像素,则可以组合若干暗图像100”。
在实施例中,暗图像100可以用作参考。作为这种滤波的效果,如果块104中的目标正在运动但不饱和,则可以从至少一个亮图像102中获取至少一个相应块104,其中它除了位移S之外处于局部运动的略微不同的位置。图像100、102的组合的结果是信噪水平来自亮图像102,但是运动物体的位置基于暗图像100。如果相应块104附于在亮图像102中饱和但在暗图像100中不饱和的像素,则这将导致连续的物体。它的位置对应于暗图像100中的位置,没有饱和像素,其中像素部分地从亮图像102(较少噪声)中获取,部分地从暗图像100中获取。而且,从暗图像100中获取的这些像素相当亮(因为它们在亮图像102中饱和),因此这些像素中的噪声不像暗图像100的相应块104中的噪声那样高。
在某些情况下,暗图像100的相应块104在亮图像102中不可见(具有足够好的相似性)。然后,即使相应块104的区域在亮图像102的强度水平上将不饱和,也不能利用亮图像102。在实施例中,每个单个运动物体的位置可以变化,无论来自暗图像100还是亮图像102,其中对象可能会特定于图像地运动。例如,算法可能更喜欢包含最好或最佳信息的图像,这可能意味着图像明亮但像素不饱和。无论位置如何,都可以部分地组合多个图像的相应块104中这些较大的运动对象的区域(参见图3,尽管它仅指一个图像)。
在图像中,可能有整个目标/物体在运动。然后,当在多个图像之间已经补偿了位移S时,目标/物体的轮廓可以在不同图像中彼此很好地对应。然而,在目标/物体的轮廓所包围的区域中,由于运动,在不同图像100、102中可能存在不同的像素值。可以将目标/对象划分成诸如块104A、104之类的块,其可以包含一个像素、2×2个像素、8×8个像素、5×9个像素等。尽管存在运动,但是每个块可以被分别滤波以便获得高质量的合成图像10。
在实施例中,可以针对每个块104选择不同的基础帧。在实施例中,可以针对每个相应块104选择不同的基础位置。这意味着合成图像10的某些区域可以来自图像100,并且合成图像10的某些区域可以来自图像102。这可以用来避免合成图像10中物体的重影边缘并增加合成图像10的整体质量。
在实施例中,图像处理装置200可以逐个像素地确定合成图像10的噪声,并通过滤波来均衡合成图像10的噪声。可以通过任何基于单个图像的空间滤波(例如高斯滤波、双边滤波、非局部均值BM3D)执行这种滤波。替代地,可以在先前步骤中利用逐个像素的噪声的这一信息,以便基于相应块104的噪声水平来调整权重以将相应块104与局部块104A合并。该滤波可以考虑已知的噪音水平。因此,以这种方式滤波的图像的组合形成的图像在整个图像上包含相等的噪声水平,而不管相应块104是源自暗图像还是亮图像,或者相应块104是否正在运动(例如,当与一个或若干个明亮帧组合时)。
在实施例中,图像处理装置200可以处理作为原始拜耳图案数据的图像100、102。换句话说,没有对输入进行任何预处理步骤或者进行了少于通常数量的预处理步骤。这有助于运动的处理和估计,有助于找到局部块104A和相应块104,并且有助于估计每个图像像素剩余的噪声量。
在图2中示出其示例的实施例中,图像处理装置包括:一个或多个处理器202;以及包括计算机程序代码的一个或多个存储器204。一个或多个存储器204和计算机程序代码被配置为与一个或多个处理器202一起使图像处理装置至少:将图像的强度值转换至共同亮度范围;选择图像100、102中的包括具有运动的局部块104A的一个,用于从图像100、102形成合成图像10;确定相应块104;相对于局部块104A加权每个所述相应块104;以及执行组合或替换。
图4呈现了图像处理方法的流程图的示例。在步骤400中,将具有不同亮度的图像100、102转换至共同亮度范围,图像100、102至少部分地表示同一场景。在步骤402中,选择图像100、102中的包括具有运动的局部块104A的一个,以从图像100、102形成合成图像10。在步骤404中,确定图像100、102中的对应于局部块104A的一个或多个相应块104。在步骤406中,通过以下至少一项对所述一个或多个相应块104中的每一个进行加权:相对于局部块104A的相似性、距局部块104A的位置的距离、一个或多个相应块104的饱和度以及一个或多个相应块104的噪声。在步骤408中,基于用于从图像100、102形成合成图像10的加权,将局部块104A与一个或多个相应块104中的至少一个进行组合,或者用一个或多个相应块104中的至少一个替换局部块104A。
图4所示的方法可以被实现为逻辑电路解决方案或计算机程序。可以将计算机程序置于计算机程序分发装置以从中进行分发。该计算机程序分发装置可由数据处理设备读取,并且其对计算机程序命令进行编码,并进行图像处理。
可以使用分发介质来分发计算机程序,分发介质可以是控制器可读的任何介质。该介质可以是程序存储介质、存储器、软件分发包或压缩软件包。在某些情况下,可以使用以下至少一项来执行分发:近场通信信号、短程信号和电信信号。
对于本领域技术人员而言清楚的是,随着技术的进步,本发明构思可以以各种方式来实现。本发明及其实施例不限于上述示例实施例,而是可以在权利要求的范围内变化。
Claims (16)
1.一种图像处理方法,其特征在于
将具有不同亮度的图像(100、102)转换(400)至共同亮度范围,所述图像(100、102)至少部分地表示同一场景;
选择(402)图像(100、102)中的包括具有运动的局部块(104A)的一个图像,用于从所述图像(100、102)形成合成图像(10);
确定(404)与所述图像(100、102)中的局部块(104A)相对应的一个或多个相应块(104);
通过以下至少一项对所述一个或多个相应块(104)中的每一个进行加权(406):相对于所述局部块(104A)的相似性、距所述局部块(104A)的位置的距离、所述一个或多个相应块(104)的饱和度以及所述一个或多个相应块(104)的噪声;
基于所述加权,使用加权平均来组合(408)所述局部块(104A)和所述一个或多个相应块(104)中的至少一个,或者用所述一个或多个相应块(104)中的至少一个来替换所述局部块(104A),以用于从所述图像(100、102)形成所述合成图像(10)。
2.根据权利要求1所述的方法,其特征在于,通过计算以下至少一项来形成相对于所述局部块(104A)的相似性:所述局部块(104A)与所述一个或多个相应块(104)中的每一个的亮度之间的相似性、所述局部块(104A)与所述一个或多个相应块(104)的每一个的颜色之间的相似性以及所述局部块(104A)与所述一个或多个相应块(104)中的每一个的亮度分布之间的相似性。
3.根据权利要求1所述的方法,其特征在于,计算所述一个或多个相应块(104)中的每一个和所述局部块(104A)的像素的值的直方图,并且基于所述直方图的比较来形成所述相似性。
4.根据权利要求1所述的方法,其特征在于,通过随着距所述局部块(104A)的位置的距离增加而减小的值对所述一个或多个相应块(104)进行加权。
5.根据权利要求1所述的方法,其特征在于,通过随着噪声增加而减小的值对所述一个或多个相应块(104)进行加权。
6.根据权利要求1所述的方法,其特征在于,基于以下至少一项来估计所述一个或多个相应块(104)和所述局部块(104A)的噪声:捕获所述图像的传感器的增益、对所述图像(100、102)执行的预增益、取决于位置的噪声、图像融合和图像变换。
7.根据权利要求1所述的方法,其特征在于,选择所述图像(102)中的具有最好信息的图像(102)作为图像(100、102)中的所述一个图像。
8.根据权利要求1所述的方法,其特征在于,在将所述图像(100、102)转换至所述共同亮度范围之前,通过组合亮度比具有最低亮度的图像高的图像(102',102”)来形成具有高亮度的图像(102)。
9.根据权利要求1所述的方法,其特征在于,在将所述图像(100、102)转换至所述共同亮度范围之前,通过组合亮度比具有最大亮度的图像低的多个图像来形成具有低亮度的图像(102)。
10.根据权利要求1所述的方法,其特征在于,在组合所述局部块(104A)和所述一个或多个相应块(104)中的至少一个时,或者用所述一个或多个相应块(104)中的至少一个替换所述局部块(104A)时,通过组合所述多个图像(100、102)来形成所述合成图像(10)。
11.根据权利要求1所述的方法,其特征在于,针对每个块(104)选择不同的基础帧。
12.根据权利要求1所述的方法,其特征在于,在将所述图像转换至所述共同亮度范围之前,对所述图像(100、102)进行配准。
13.根据权利要求1所述的方法,其特征在于,使用前述权利要求中任一项的方法步骤逐个像素地确定所述合成图像(10)的噪声,并且通过对所述合成图像(10)进行滤波来均衡所述噪声。
14.一种图像处理装置,其特征在于,所述图像处理装置包括图像处理电路系统,所述图像处理电路系统被配置为:
将具有不同亮度的图像(100,102)转换至共同亮度范围,所述图像(100,102)至少部分地表示在不同时刻的同一场景,并且图像中的一个图像(102)包括具有运动的局部块(104A);
选择图像(100、102)中的包括具有运动的局部块(104A)的一个图像,以从所述图像(100、102)形成合成图像(10);
确定一个或多个相应块(104),其对应于所述图像(100、102)中的所述一个图像中的所述局部块(104A);
使用以下至少一项对所述一个或多个相应块(104)中的每一个进行加权:与所述局部块(104A)的相似性、距所述局部块(104A)的位置的距离、饱和度以及所述一个或多个相应块(104)的噪声;
基于所述加权将所述局部块(104A)与所述一个或多个相应块(104)中的至少一个进行组合,或基于所述加权用所述一个或多个相应块(104)中的至少一个来替换所述局部块(104A),以用于从所述图像(100、102)形成所述合成图像(10)。
15.根据权利要求14所述的图像处理装置,其特征在于,所述图像处理电路系统包括:
一个或多个处理器(202);以及
一个或多个存储器(204),包括计算机程序代码;
所述一个或多个存储器(204)和所述计算机程序代码被配置为与所述一个或多个处理器(200)一起使装置至少:
将所述图像(100、102)转换至所述共同亮度范围;
执行对所述图像(100、102)中的所述一个图像的所述选择;
确定对应于所述局部块(104A)的所述一个或多个相应块(104);
对所述一个或多个相应块(104)中的每一个进行加权;以及
执行所述组合或替换。
16.一种计算机可读并且包括程序指令的计算机程序产品,程序指令当由所述计算机执行时导致计算机过程的执行,包括权利要求15的转换、确定、加权以及组合或替换。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1915640.5 | 2019-10-29 | ||
GB1915640.5A GB2588616B (en) | 2019-10-29 | 2019-10-29 | Image processing method and apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112750087A true CN112750087A (zh) | 2021-05-04 |
Family
ID=68768852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011164381.9A Pending CN112750087A (zh) | 2019-10-29 | 2020-10-27 | 图像处理方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11640654B2 (zh) |
CN (1) | CN112750087A (zh) |
GB (1) | GB2588616B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111724325B (zh) * | 2020-06-24 | 2023-10-31 | 湖南国科微电子股份有限公司 | 一种三边滤波图像处理方法及装置 |
CN114740476B (zh) * | 2022-04-12 | 2024-04-26 | 合肥工业大学 | 一种基于时空三边滤波器的视频噪声抑制方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6650774B1 (en) * | 1999-10-01 | 2003-11-18 | Microsoft Corporation | Locally adapted histogram equalization |
JP5077003B2 (ja) * | 2008-03-25 | 2012-11-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
US20100091119A1 (en) * | 2008-10-10 | 2010-04-15 | Lee Kang-Eui | Method and apparatus for creating high dynamic range image |
WO2012015359A1 (en) * | 2010-07-26 | 2012-02-02 | Agency For Science, Technology And Research | Method and device for image processing |
US8730318B2 (en) * | 2010-07-29 | 2014-05-20 | Hitachi-Ge Nuclear Energy, Ltd. | Inspection apparatus and method for producing image for inspection |
KR101661215B1 (ko) * | 2010-08-16 | 2016-09-30 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
US9648248B2 (en) * | 2012-12-17 | 2017-05-09 | Sony Corporation | Methods, systems, and media for high dynamic range imaging |
US9432589B2 (en) * | 2013-08-15 | 2016-08-30 | Omnivision Technologies, Inc. | Systems and methods for generating high dynamic range images |
US10013764B2 (en) * | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
CN105227858B (zh) * | 2015-10-30 | 2019-03-05 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
US9762893B2 (en) * | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
US10097765B2 (en) * | 2016-04-20 | 2018-10-09 | Samsung Electronics Co., Ltd. | Methodology and apparatus for generating high fidelity zoom for mobile video |
JP7009252B2 (ja) * | 2018-02-20 | 2022-01-25 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2019
- 2019-10-29 GB GB1915640.5A patent/GB2588616B/en active Active
-
2020
- 2020-10-27 US US17/081,231 patent/US11640654B2/en active Active
- 2020-10-27 CN CN202011164381.9A patent/CN112750087A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11640654B2 (en) | 2023-05-02 |
GB201915640D0 (en) | 2019-12-11 |
GB2588616B (en) | 2021-10-27 |
GB2588616A (en) | 2021-05-05 |
US20210125318A1 (en) | 2021-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101698876B1 (ko) | 고스트-프리 높은 동적 레인지 이미지들의 생성 | |
US10021313B1 (en) | Image adjustment techniques for multiple-frame images | |
CN110619593B (zh) | 一种基于动态场景的双曝光视频成像系统 | |
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
US8605185B2 (en) | Capture of video with motion-speed determination and variable capture rate | |
KR101442153B1 (ko) | 저조도 영상 처리 방법 및 시스템 | |
JP5102374B2 (ja) | 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置 | |
CN110602467B (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
US8085316B2 (en) | Image-processing unit, imaging apparatus, and computer program product | |
WO2014093042A1 (en) | Determining an image capture payload burst structure based on metering image capture sweep | |
CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
JP2009506688A (ja) | 画像分割方法および画像分割システム | |
TW201918995A (zh) | 多工高動態範圍影像 | |
CN110166707A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN111565261B (zh) | 图像处理方法、装置及电子设备 | |
JP2015005001A (ja) | 画像信号処理装置,撮像装置および画像処理プログラム | |
CN116711317A (zh) | 用于图像处理的高动态范围技术选择 | |
US11640654B2 (en) | Image processing method and apparatus | |
JP2022179514A (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
CN112927162A (zh) | 一种面向低照度图像的增强方法及系统 | |
CN110740266B (zh) | 图像选帧方法、装置、存储介质及电子设备 | |
CN113259594A (zh) | 图像处理方法及装置、计算机可读存储介质、终端 | |
CN114979500A (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
JP2011100204A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器 | |
JP2020058023A (ja) | 空間多重露光 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |