CN104756151A - 用于增强和处理数字图像的系统及方法 - Google Patents
用于增强和处理数字图像的系统及方法 Download PDFInfo
- Publication number
- CN104756151A CN104756151A CN201380045982.XA CN201380045982A CN104756151A CN 104756151 A CN104756151 A CN 104756151A CN 201380045982 A CN201380045982 A CN 201380045982A CN 104756151 A CN104756151 A CN 104756151A
- Authority
- CN
- China
- Prior art keywords
- pixel
- video data
- data information
- group
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 230000008569 process Effects 0.000 title claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 138
- 230000009467 reduction Effects 0.000 claims description 53
- 230000004044 response Effects 0.000 claims description 6
- 241000023320 Luma <angiosperm> Species 0.000 claims description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 3
- 230000006870 function Effects 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 23
- 230000002708 enhancing effect Effects 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 16
- 238000009499 grossing Methods 0.000 description 9
- 239000002245 particle Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000011946 reduction process Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000005728 strengthening Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 241000255925 Diptera Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 240000004859 Gamochaeta purpurea Species 0.000 description 1
- 206010019133 Hangover Diseases 0.000 description 1
- 241000150100 Margo Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003121 nonmonotonic effect Effects 0.000 description 1
- 238000013386 optimize process Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20204—Removing film grain; Adding simulated film grain
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
数字视频处理系统可配置成处理输入数字图像,该输入数字图像的视频数据信息具有一定水平的噪声,包括不期望的第一类噪声,和期望的第二类噪声。数字视频处理系统还可进一步配置成选择性处理输入数字图像,以消除第一类噪声,而保留第二类噪声;其中,保留第二类噪声通过以下方法实现:以期望的输出分辨率独立地处理第二类噪声,并将处理后的第二类噪声的视频数据信息与处理后的无噪声输入图像的视频数据信息相结合,产生与期望的分辨率和/或格式的处理后的输出数字图像相对应的输出视频数据信息。数字视频处理系统将处理后的输出数字图像的视频数据信息以期望的输出分辨率发送到电子显示装置,或电子显示装置的一个区域。
Description
优先权要求
本专利申请要求2012年7月3日提交的、申请号为61/690,804的美国临时专利申请的优先权、该申请以其全文通过引用合并入本文;以及2012年10月29日提交的、申请号为13/694,089的美国实用新型专利申请的优先权、该申请以其全文通过引用合并入本文。
技术领域
本发明的主题涉及二维和三维的视频及数字图像处理技术,特别是对数字图像的视频数据信息的处理。
背景技术
视频增强技术的目的是提高视频和图像的视觉质量。由于显示设备的分辨率不断提高,视频增强设备正成为大多数高质量视频处理系统和产品中不可或缺的一个组成部分。视频增强设备通常包含一系列功能,如聚焦增强、运动稳定性/模糊去除、对比度增强、色彩调整、信号滤波、减少闪烁和帧速率转换。一般来说,有各种类型的增强设备适于特定应用的数字图像,例如在医疗扫描中已被研究和分析的磁共振成像;一些增强设备在被给予数字图像的单调性的前提下,在增强对比度和清晰度方面很有用处。然而,通常的运动视频图像或典型的图像实际上不是单调的。这就期望一个典型的数字图像能够包括具有不同细节层次的不同区域。一些区域可能包括很高数量的细节(纹理),其他区域可能包括边缘或轮廓(锯齿线),或者说其他区域可能包括很低数量的细节,甚至几乎没有任何细节(平坦区域)。设定一个特定大小的区域,如一个具有多个行、且每行具有多个像素的像素块,这一区域可以包括对应于该区域的不同部分的多个细节层次,例如一个区域可以包括纹理、锯齿、或平坦部分的组合。
一般来说,可用各种不同的降噪技术来处理输入数字图像,以降低该输入图像的噪声或其他不足、或提高该输入图像的某一特性,如色度或对比度。然而,当系统地应用这些不同的技术处理输入数字图像的视频数据信息时,对于某一类型图像可以生成很好的输出结果,而对于其他类型的图像却可能产生不利的结果。例如,应用降噪技术可以大大减少平的或单调的图像噪声,从而产生一个增强的观看质量,但如果输入图像是非单调的,例如,一个典型的图像,那么降噪技术将大大降低可视细节量,从而降低观赏质量。降噪过程将去除高水平的细节以及来自输入图像的任何现有噪声,这样就不能区分不同类型的噪声,如高频细节、舒适噪声(如胶片颗粒状噪声)、压缩噪声,或其他类型的噪声和伪影(瑕疵)。这样,该种降噪过程可能导致处理数字图像的非自然外观和/或减少的区域明锐度,包括高清晰度的细节或边缘,而平坦的区域可能会更加平滑或清洁。因此,需要一种改进的系统和方法来处理和增强数字图像。
发明内容
本发明提供了一种视频和图像处理和增强系统,该系统特别适合细节增强,清晰度增强,降噪和边缘增强,同时考虑到被处理图像同一区域的不同特点和特征,该被处理图像的区域内的一组像素,和/或整个图像。因此,利用局部邻域或一组像素的视频数据的视频数据信息内容,处理视频数据信息的效果,来执行一种类型的增强,不会对其他所需的增强效果产生不利影响。
本发明还提供一种智能视频图像处理和增强系统,该系统可以区分单个像素所需的或被同时执行的不同的增强类型,因此,在生成每一个输出像素的增强的视频数据信息时,考虑了该像素局部领域或其周围的一组像素的视频数据信息内容。
此外,在某些实施例中,输出像素的增强处理是通过控制被执行的处理的类型和数量进行优化。例如,通过包括两种或两种以上类型的增强处理的智能(或加权)结合,该增强处理通过使用来自被处理像素的周围的上下文视频数据信息的反馈机制实现。本发明还提供一种可以处理和生成每个输出像素的视频数据信息的智能视频图像处理和增强系统,该输出像素的视频数据信息用于优化增强的观看质量,同时大大降低或消除了处理误差和输入图像的噪声。
本发明还提供一种用于增强和处理数字图像的系统及方法,对数字图像的不同区域和部分进行不同的处理,可以提高数字图像的整体视觉质量。特别是,各种处理技术——比如锐化——可以应用于数字图像内的第一区域而不同的处理技术——比如降噪——也许可应用到数字图像内的第二区域,以提高数字图像的整体视觉质量。在一个实施例中,一个输入数字图像的局部区域的某些特性被用来确定视频处理的哪种类型,如锐化、降噪,应适用于局部区域内的像素。
为了处理输入图像的一个区域内一个像素的视频数据信息,使用一组像素内每一个像素的视频数据信息提取由一个或多个参数构成的一个参数集,其中,输入图像的区域对应于输入图像的一部分,同时处理当前像素周围的一组像素,并且,使用具有第一数目的行数,每行具有第一数目个像素或一个N×N像素块的像素窗。由一个或多个参数构成的一个参数集用于控制和动态调整过滤或被执行的处理的数量,使用当前被处理的一个像素的视频数据信息,或使用一组像素的视频数据信息,生成一个或多个输出像素的视频数据信息。因此,数字图像区域内的每个像素将进行优化处理,同时考虑局部区域,邻域,窗口和/或像素块的特性。
根据一个实施例,数字视频处理系统用于处理输入数字图像,其中,输入数字图像的视频数据信息包括不期望的噪声和舒适噪声。数字视频处理系统提取对应于输入图像之外的不期望的噪声和舒适噪声的输入噪声,处理剩余的无噪声的图像,将无噪声的图像缩放到所需的输出分辨率,从输入噪声中提取舒适噪声,处理舒适噪声并在所需的输出分辨率上重新生成舒适噪声,将已处理的舒适噪声与已处理的无噪声输入图像相加,在所需的分辨率上生成输出数字图像,并以所需的输出分辨率在电子显示装置或电子显示装置的部分区域显示处理后输出数字图像。
根据某些实施例,本发明公开了一种输入图像的第一像素的视频数据信息的处理方法。该方法包括:接收输入图像的第一部分的视频数据信息,确定输入图像的第一部分内的第一组像素,其中,第一组像素包括第一像素;利用第一组像素的视频数据信息估计第一指示参数的至少一个值,使用第一指示参数的至少一个值生成降噪参数值,利用降噪参数值处理第一组像素的视频数据信息,生成输出像素的视频数据信息,其中,输出像素对应于输入图像的处理后的第一像素,并使用输出缓冲区存储输出像素的视频数据信息。
根据某些实施例,输入图像的一个像素的视频数据信息的处理方法包括:接收输入图像的第一部分的视频数据信息,使用第一组像素的视频数据信息估计第一指示参数的至少一个值,第一组像素的每个像素均位于输入图像的第一部分,其中第一组像素包括所述像素,利用第一指示参数的至少一个值生成降噪低参数值,使用任何一个降噪参数值和第一指示参数的至少一个值处理第一组像素中的每个像素的视频数据信息,并使用第一组像素中的每个像素的已处理视频数据信息生成输出像素的视频数据信息,其中输出像素对应于已处理的输入图像的像素。该输出像素的视频数据信息可以使用输出缓冲区存储,以流的方式传输到电子显示系统,或发送到辅助系统进行进一步的处理,转换,整合,或格式化为一种或多中不同类型的视频数据信息的格式和标准。
按照一个实施例,该第一指示参数的至少一个值表示第一组像素与任何一个或多个平坦区域,细节区域和边缘相对应。
按照一个实施例,用于估计第一指示参数的至少一个值的第一组像素的视频数据信息仅包含第一组像素内每个像素的视频数据信息的色度和亮度格式中的一种。
按照一个实施例,使用输入缓冲区存储输入图像第一部分每一个像素的视频数据信息。
按照一个实施例,第一组像素包括至少三行像素,并且,每一行具有至少三个像素。
按照一个实施例,通过使用第一组像素中每个像素的视频数据信息,确定第一组像素的一个或多个显著特征,来估计第一指示参数的至少一个值。第一组像素的一个或多个显著特征与任何一个平坦区域,细节区域和边缘相对应,并通过使用线性或非线性方程处理第一组像素中每个像素的视频数据信息来确定第一组像素的一个或多个显著特征。第一指示参数的至少一个值的估计值表征了第一组像素的显著特征。
按照一个实施例,通过使用非线性方程处理第一组像素中每个像素的视频数据信息,确定第一组像素的一个或多个显著特征,来估计第一指示参数的至少一个值。其中,第一组像素的一个或多个显著特征与任何一个平坦区域,细节区域和边缘相对应,并且,估计第一指示参数的至少一个值表征了第一组像素的显著特征。
按照一个实施例,采用第一指示参数的至少一个值生成降噪参数值包含:基于(i)第一指示参数的至少一个值,和(ii)第一组像素内像素的位置,生成降噪参数值。
按照一个实施例,采用所述第一指示参数的至少一个值生成降噪参数值包含:基于(i)第一指示参数的至少一个值,和(ii)第一组像素内每个像素的位置,生成第一组像素内每个像素的降噪参数值。
按照一个实施例,当第一组像素对应于平坦区域时,所述降噪参数值影响单个像素的高程度平滑;并且,当第一组像素对应于细节区域或边缘时,所述降噪参数值影响单个像素的低程度平滑。
根据某些实施例,提供了一种输入图像中一个像素的视频数据信息处理系统。该系统包含:第一处理子系统,用于(i)接收输入图像的第一部分的视频数据信息;(ii)利用第一组像素的视频数据信息,生成第一指示参数的至少一个值;(iii)采用第一指示参数的至少一个值,生成降噪参数值;其中,第一组像素包括所述单个像素,并且位于输入图像的第一部分内;第二处理子系统,用于(i)生成输出像素的视频数据信息,该输出像素与第一组像素的降噪参数值和视频数据信息相对应;第二处理子系统还将输出像素的视频数据信息存储到输出缓冲区中;其中,输出像素与输入图像的已处理单个像素相对应。
按照一个实施例,第一组像素包括至少三行像素,并且,每一行具有至少三个像素。
按照一个实施例,第一指示参数的至少一个值表示第一组像素与任何一个或多个平坦区域,细节区域和边缘相对应。
按照一个实施例,第一处理子系统还将输入图像第一部分每一个像素的视频数据信息存储到输入缓冲区。
按照一个实施例,第一处理子系统在处理第一组像素的视频数据信息,并生成第一指示参数的至少一个值的过程中,至少部分基于所处理的第一组像素的视频数据信息,其中,所述第一组像素的视频数据信息表示该第一组像素的视频数据信息与一个或多个平坦区域,细节区域和边缘相对应。
按照一个实施例,第一处理子系统用于通过使用非线性方程处理第一组像素中每个像素的视频数据信息,生成所述第一指示参数的至少一个值。
按照一个实施例,第一处理子系统至少部分根据以下两点生成降噪参数值:(i)第一指示参数的至少一个值,(ii)第一组像素内单个像素的位置。
按照一个实施例,第一处理子系统至少部分根据以下两点生成第一组像素内每个像素的降噪参数值:(i)第一指示参数的至少一个值,(ii)第一组像素内每个像素的位置。
按照一个实施例,第二处理子系统对单个像素的视频数据信息采用高程度的平滑生成输出像素的视频数据信息;其中,高程度的平滑至少部分基于(i)降噪参数值,和(ii)与平坦区域相对应的第一组像素的视频数据信息的响应。
按照一个实施例,第二处理子系统对单个像素的视频数据信息采用低程度的平滑生成输出像素的视频数据信息;其中,低程度的平滑至少部分基于(i)降噪参数值,和(ii)与细节区域或边缘相对应的第一组像素的视频数据信息的响应。
根据某些实施例,输入图像的视频数据信息的处理方法包含:在输入图像中选择第一组像素;生成第一指示参数的至少一个值,其中,第一指示参数的至少一个值表示第一组像素的视频数据信息与一个或多个平坦区域,细节区域和边缘相对应;利用第一指示参数的至少一个值生成降噪平滑参数;至少部分基于(i)第一组像素的每一个像素的视频数据信息,和(ii)降噪平滑参数,生成输出像素的视频数据信息,其中,输出像素与输入图像的已处理第一像素相对应。
按照一个实施例,当第一组像素的视频数据信息对应于平坦区域时,使用高程度的降噪处理来生成输出像素的视频数据信息。
按照一个实施例,当第一组像素的视频数据信息对应于细节区域或边缘时,使用低程度的降噪处理来生成输出像素的视频数据信息。
按照一个实施例,使用第一指示参数的至少一个值生成降噪平滑参数,包括:基于(i)第一指示参数的至少一个值,和(ii)第一组像素内的每个像素的位置,生成第一组像素的每个像素的降噪平滑参数值。
按照一个实施例,使用第一指标参数值的至少一个值生成降噪平滑参数,包括:至少部分基于(i)第一指示参数的至少一个值,和(ii)第一组像素内的第一像素的位置,生成第一组像素内每一个像素的降噪平滑参数值。
按照一个实施例,被处理的第一组像素的视频数据信息仅包括第一组像素内的每个像素的视频数据的色度和亮度格式的一种。
按照一个实施例,一种数字图像处理方法包括:将少量的已处理的舒适噪声添加或混合到无噪声已处理的视频数据信息。无噪声已处理的视频数据信息为应用降噪处理步骤处理输入数字图像的视频数据信息的结果。
附图说明
图1是根据一个实施例的数字图像处理系统的一个例子。
图2是根据一个实施例说明利用欧氏空间坐标将像素块B2(0,0)转换至B2(x0,y0)的一个例子。
图3是根据一个实施例说明数字图像或部分数字图像的一个例子。
图4是根据一个实施例的数字图像处理系统的一个例子。
图5是根据一个实施例的数字图像处理系统的一个例子。
具体实施方式
提供了一种数字视频处理系统以处理输入数字图像,其中输入数字图像的视频数据信息包含不期望的噪声及期望的舒适噪声。在数字图像经数字处理之后维持相同的自然观看及舒适噪声的基本概念特别重要,尤其在处理步骤可包含将输入图像的分辨率按比例放大(up-scaling)到希望的输出分辨率时。
以下段落说明与处理及按比例放大数字图像以包含受控制且适应性的噪声移除及特定水平的舒适噪声的重新引入相关的问题中的一些问题的概述。另外,基于区域的视频数据信息的上下文内容,数字图像的处理及/或按比例放大可能更改、适应或包含针对数字图像内的某个位置或区域的特定处理步骤,所述特定处理步骤不同于用于数字图像内的另一区域的处理步骤。
熟悉的胶片外观是许多观看者的首选,而不是CCD传感器捕捉的数字视频。有时,在数字视频后期制作中,合成的胶片颗粒噪声是作为舒适噪声引入或用以实现特定或希望的效果。举例来说,一般风格创作技术用以引入高水平的胶片颗粒噪声及用于倒叙历史事件的模拟划痕。因此,应用噪声降低技术必定去除作为创作技术的部分引入的此“噪声”,且因此,观察所得的相对无噪声的经处理视频数据信息可战胜最初期望的艺术表现。
此外,胶片颗粒可与图像的局部平坦区域的强度相互关联。举例来说,可将极小噪声添加到非常亮或暗的平坦区,或添加到图像的边缘。虽然我们可以合成胶片颗粒,但我们不知道图像内的不同区域中的“正确”噪声水平如何,或甚至存在的噪声的类型、噪声是否为期望或不期望类型的噪声。在应用噪声降低处理步骤之后,全部或大部分的噪声被滤除且目前已知的噪声降低算法极难区分不同类型的噪声,更不用说期望类型的噪声,例如细颗粒噪声。
举例来说,如果具有某一类型的噪声的图像经处理且图像的分辨率被按比例放大,那么因此,细颗粒噪声也被按比例放大,这样导致大的斑点状随机图案而非细颗粒的舒适噪声。有可能合成具有固定平均密度及动态范围的细颗粒胶片颗粒且将其加回到大的按比例放大图像,但如此做并不复制原始较小分辨率图像或视频帧的细颗粒密度及动态范围的原始图像区域相关变化。经处理或经按比例放大的视频在使用当前方法处理及缩放之后可具有伪影外观。因此,需要以高分频率来处理图像或视频帧以及使用用于噪声降低及锐化的多个技术来增强经处理的数字图像的总体观看质量,同时维持原始图像的类似舒适噪声或胶片颗粒观看体验。
以下段落描述可在保持输入图像的最初期望的艺术表现的同时实现噪声降低的视频数据信息处理系统及方法。另外,本发明呈现用以处理以给定分辨率接收的捕捉到数字图像的视频数据信息、以较高分辨率处理并输出视频数据信息以使用高分辨率电子显示板来显示的技术。细颗粒噪声在较低原生分辨率下应从图像分离。另外,还应消除其它不理想效果,例如假轮廓、锯齿线、压缩块及蚊式噪声。接着应重新引入自然图片区相关的舒适噪声,从而在按比例扩大之后在较高分辨率下具有原始数字图像的外观。
将参考附图中说明且在以下描述中详述的非限制性实施例来更全面地解释本发明及各种特征及有利细节。此外,省略知名处理技术、组件及设备的描述,免得不必要地使本发明在细节上不分明。然而,应了解,尽管指示本发明的实施例,但详细描述及特定实例是以说明方式而非以限制方式给出。在基本发明概念的精神及/或范围内的各种取代、修改、添加及/或重新布置对于一般熟悉本发明技术的人将变得显而易见。其它特征及关联优点将结合附加的数学表示、计算模型及图式参考特定实施例的以下详细描述而变得显而易见。各种实施技术可用以实施给定数学表示或计算模型以便根据下文的详细实施例中的一个或多个实施例适当地处理视频数据信息。
数字图像的区域可包含像素的邻域(neighborhood)。当数字图像的区域对应于高层次细节时,那么期望数字图像的区域内的每一像素的视频数据信息相对于所述区域内的其它像素的视频数据信息具有高程度差异。这样的区域可对应于具有高层次纹理或细节内容,例如彩色蝴蝶的数字图像的部分。
相比之下,数字图像的具有低层次细节的区域可被视为平坦区域且可包含像素的邻域,其中期望所述区域的每一像素的视频数据信息相对于这个平坦区域的其它像素的视频数据信息具有低差异,此指示低层次细节或平坦区域,例如蓝色天空的数字图像的部分。
此外,数字图像中含有边缘或轮廓的区域可被称作锯齿状区域(Jaggy region)且因此可包含在平坦区域与细节区域之间变化的多个区域或像素的邻域。举例来说,期望边缘或轮廓的边界处的像素中的一些的视频数据信息相对于对应于边缘边界邻域的其它像素的视频数据信息具有高差异。举例来说,存在于数字图像内的文字的边缘内的像素之间的差异为低,而期望高差异在边缘内的像素与恰在边缘的边界外的像素之间。因此,期望包括边缘本身的像素中的每一个的视频数据信息相对于形成边缘本身的其它像素具有低差异。类似地,位于边缘的邻域内的像素(例如,远离边缘的少数像素)中的每一个的视频数据信息相对于形成所述区域的其它像素或接近边缘或轮廓的像素的邻域可具有低差异。然而,期望高差异在两个相邻像素之间,其中一个像素为边缘的部分,而另一像素不是边缘的部分。
此外,数字图像的一部分可使用基于所述数字图像的所述部分内的区域的像素的领域内的像素中的每一者的视频数据信息内容之间的给定关系的额外准则来分类。另外,所述数字图像的所述部分内的每一区域可包含一个或一个以上类型的细节。换句话说,区域可包含多个局部区域(或像素的邻域),所述局部区域中的每一者含有不同层次的细节、边缘或轮廓及平坦区。
因此,应用用于特定类型或应用的数字图像(例如医学扫描或指纹图像)的特定类型的增强技术将不适合于增强含有许多不同类型的图像细节的典型数字图像的观看体验。举例来说,将噪声降低过滤技术或锐化算法应用于MRI扫描可产生所述图像的更好且经增强的观看体验。然而,将相同技术应用于典型图像可在具有一个类型的特定区域(例如平坦区域)中实际上降低噪声或锐化所述图像,同时对图像的具有不同类型的其它区域(例如细节区或边缘)有破坏性影响。这种处理可能导致模糊或其它严重伪影。因此,数字图像或移动图像的总观看质量的不成功增强及降低。系统及方法的以下详细描述用以增强数字图像的观看质量,同时考虑可根据希望的增强且基于输入数字图像内的全局及局部区域的视频数据信息内容实现及更改、修改或动态地调整输入数字图像的处理的多个且截然不同的参数。
数字图像的特征的特定处理(例如细节增强、边缘增强及噪声降低)将用作实例。细节增强是指增强图像中的细节部分以使得所述细节更明显且实现对比度的增加的过程。边缘增强主要集中在锯齿线去除上,其中术语“锯齿线(jaggy)”或“锯齿线(jaggies)”是指经常在数字图像中的直边(例如场景边界或图像内的文字的边缘)上看到的锯齿状、类阶梯或类齿状外表。边缘增强不仅去除锯齿线,而且去除边缘周围的噪声,因此改善边缘的一致性、外表及观看或可读性(readability)。噪声降低被用以去除随机噪声、胶片颗粒噪声以及蚊式噪声,且阻断由于视频压缩过程所产生的噪声。还描述了用以将所抽取的胶片颗粒噪声的经处理版本重新引入到输出的经增强图像的处理步骤。这些增强是使用单独处理步骤获得且以逻辑方式应用从而产生输出图像的最终视频数据信息,以产生输入图像的增强式观看体验。
已做出各种尝试以针对视频及数字图像提供特定增强。然而,所得的处理伪影是使观看体验恶化的问题的主要源头。分开地进行每一增强步骤可引入不希望的处理伪影。举例来说,噪声降低处理步骤可容易在改善平坦区域或区的同时导致有纹理区域中的细节的丢失且使边缘周围模糊。边缘增强处理步骤可在纹理区域中引入有拖尾纹理。细节增强处理步骤在应用于有噪声的区域或图像时可在改善其它区域中的锐度(sharpness)的同时增加噪声水平。这些处理伪影对于普通观看者而言相当令人讨厌。因此,使用智能系统来根据区域或局部邻域内容来控制并动态地更改或调整这些处理步骤可导致重要改善且实现提供增强式观看体验的输出视频数据信息的产生。
如较早所描述,伪影的根本原因应归于如下事实:处理技术不适合图像或所述图像内的待处理区域,不管是就局部特征而言抑或就全局特征而言。换句话说,增强处理的类型及待应用的处理的强度或范围(extent)针对图像内的区域的内容的不同类型以及针对图像的不同类型应不同。举例来说,我们应仅应用边缘周围的轻噪声降低及用于微纹理区域的甚至更小量值的噪声降低处理;使得边缘及纹理被更好地保留。相比之下,我们应将大量值或强噪声降低处理应用于平坦区域,因为噪声在其中最明显;且同时,不存在可经受噪声降低处理步骤的边缘或细节区。
术语“经耦合”经定义为经连接,但未必是直接的,且未必是机械上的。术语“一(a)”及“一(an)”经定义为一个或多个,除非本发明目前要求其它。术语“包括(comprise)”(及任何形式的包括,例如“包括(comprises)”及“包括(comprising)”)、“具有(have)”(及任何形式的具有,例如“具有(has)”及“具有(having)”)、“包含(include)”(及任何形式的包含,例如“包含(includes)”及“包含(including)”)及“含有(contain)”(及任何形式的含有,例如“含有(contains)”及“含有(containing)”)是开放式连系动词。结果,“包括”、“具有”、“包含”或“含有”一个或多个步骤或元件的方法或装置拥有那些一个或多个步骤或元件,但不限于仅拥有那些一个或多个元件。同样地,“包括”、“具有”、“包含”或“含有”一个或多个特征的方法的步骤或装置的元件拥有那些一个或多个特征,但不限于仅拥有那些一个或多个特征。此外,以特定方式配置的装置或结构是至少以那个方式配置,但也可以未列出的方式配置。
各种处理技术可用以处理数字图像或将数字图像从第一规定分辨率缩放到第二规定分辨率。在以下段落中,将呈现数字图像模型的特定定义及数学表示,且根据特定实施例来讨论数字图像的处理。
令z(x,y)代表在按比例放大之前具有宽度及高度W×H的原始有噪声视频帧。所述有噪声视频可被视为由三个单独添加帧的总和组成:
zW×H(x,y)=vW×H(x,y)+gW×H(x,y)+bW×H(x,y) 公式(1)
其中x=0,1,…,W-1;且y=0,1,…,H-1
其中,干净的无噪声视频为vW×H(x,y),良好细颗粒舒适噪声为gW×H(x,yy),且不期望坏噪声为bW×H(x,y)。
执行处理步骤以从有噪声输入帧zW×H(x,y)分离vW×H(x,y)及gW×H(x,y),以作为单独通道或作为数字图像的单独帧。这个处理步骤的实例描述如下。现将↑N×N按比例放大算法应用于干净视频帧vW×H(x,y)以产生大小为NW×NH的经缩放干净图像VNW×NH(x,y),其中N为比例因子,其可为整数或分数。对于细颗粒舒适噪声帧gW×H(x,y),我们首先通过按↑N×N倍零填充而使所述帧大小增加。这种处理产生由gNW×NH(x,y)指示的大小为NW×NH的细颗粒噪声图像,其匹配干净的经按比例放大视频帧VNW×NH(x,y)的大小。然而,较大舒适噪声图像gNW×NH(x,y)的区域相关密度是较小大小的噪声帧gW×H(x,y)中的原始密度的对于较小大小的舒适噪声图像gW×H(x,y)中的以图像坐标(x0,y0)为中心的N×N个像素坐标的方形块BN×N(x0,y0),局部细颗粒密度为中的噪声颗粒的数目)/N×N。胶片颗粒的平均数目或胶片颗粒密度d(x0,y0)为在每一图像坐标(x0,y0)处测量的局部平均值。
根据一个实施例,实例用以使用比例因子N=2、4×4窗口W=4及H=4来说明以上描述。
仅具有良好细颗粒舒适噪声的视频源图像可写成:
分离良好细颗粒舒适噪声与干净视频图像:
使用N=2对干净视频进行缩放:
良好细颗粒舒适噪声分量的零填充可导致具有正确大小的细颗粒图像,但所述图像过于方正。采样密度需要增加4倍,且胶片颗粒密度增加4倍。
存在用于实现颗粒密度的增加而不引入任何周期图案的许多方法。仅出于说明目的,我们使用基于对原始稀疏颗粒图像g8×8(x,y)应用非重叠随机坐标移位的方法来完成这个实例。
我们想要避免样本位置的任何重叠,这是因为我们不打算对胶片颗粒噪声值的任何样本求平均。因此,我们可能使用通过从坐标移位向量集随机地选取移位向量而将随机移位应用于稀疏颗粒的方法。举例来说,如公式(7)中所示。
S0={(0,1),(0,-1),(1,0),(-1,0),(1,1),(-1,-1)} 公式(7)
使用格点的这个集合的移位将确保原始稀疏矩阵与具有非零值的坐标处的经移位新矩阵之间无重叠。令s为从所述集合随机地选取的坐标移位向量
(s,t)∈S0={(0,1),(0,-1),(1,0),(-1,0),(1,1),(-1,-1)} 公式(8)
所述移位向量是无替换地选取。移位的方式将以相同移位从未出现一次以上的随机次序应用。
移位s1的随机选择
g0(x,y)=g8×8(x,y) 公式(9)
s1=(s1,t1)=(1,1) 公式(10)
S1←S0-s1={(0,1),(0,-1),(1,0),(-1,0),(-1,-1)} 公式(11)
g1(x,y)=g0(x+1,y+1) 公式(12)
移位s2的随机选择
s2=(s2,t2)=(0,l) 公式(15)
S2←S1-s2={(0,-1),(1,0),(-1,0),(-1,-1)} 公式(16)
g2(x,y)=g0(x,y+1) 公式(17)
移位s3的随机移位选择
s3=(s3,t3)=(1,0) 公式(20)
S2←S2-s3={(0,-1),(-1,0),(-1,-1)} 公式(21)
g3(x,y)=g0(x+1,y) 公式(22)
因此,
G(x,y)=g0(x,y)+g1(x,y)+g2(x,y)+g3(x,y) 公式(25)
=g0(x,y)+g1(x,y)+g2(x,y)+g3(x,y) 公式(29)
最终的良好细颗粒舒适噪声经缩放矩阵将呈现在如下文所呈现的公式(31)中。
可添加额外随机化以作为上文所示的所述实例的算法的部分。
用于处理数字图像的数字视频处理系统100的实例如图1所示。数字视频处理系统100提供输入数字图像的处理,其中输入数字图像的视频数据信息包含输入噪声分量,其包括(i)不期望的噪声及(ii)舒适噪声。根据一个实施例,数字视频处理系统100从输入图像抽取不期望的噪声及舒适噪声两者、处理无噪声图像(包含将无噪声图像缩放到希望的输出分辨率)、处理舒适噪声以匹配希望的输出分辨率、将经处理的舒适噪声添加到经处理的无噪声输入图像,从而以希望的分辨率产生输出数字图像,所述输出数字图像将使用电子显示装置或电子显示装置的区域来显示。
数字视频处理系统100的输入如图中zW×H(x,y)101所示,所述输入对应于数字图像或数字图像的具有以像素计的宽度W及高度H的部分。由数字视频处理系统100接收的输入数字图像的视频数据信息包含舒适噪声分量、不噪声的噪声分量及相对无噪声的输入图像。用于所述输入图像的视频数据信息的数学表示如下:
zW×H(x,y)101=vW×H(x,y)+gW×H(x,y)+bW×H(x,y) 公式(32)
其中:
vW×H(x,y)对应于相对无噪声的输入图像的视频数据信息(此可通过处理输入图像及去除噪声分量来实现,如下文将讨论)。
gW×H(x,y)对应于输入图像的舒适噪声分量的视频数据信息。
bW×H(x,y)对应于输入图像的不期望的噪声分量的视频数据信息。
用于噪声去除的系统(噪声去除110)经配置以接收输入图像zW×H(x,y)101且通过抽取或去除可被视为噪声的所有分量来处理所述输入图像以获得相对无噪声的分量vW×H(x,y)111。
反相系统S115用以产生相对无噪声的分量vW×H(x,y)111的反数的输出116。使用加法器系统S120,将输入图像zW×H(x,y)101加到输出116(vW×H的反数)。因此,实际上,从vW×H(x,y)111的反数减去输入图像zW×H(x,y)101以获得对应于所抽取噪声(舒适噪声分量及不期望的噪声分量两者)的视频数据信息值。所述加法器系统产生的输出121,所述输出以数学方式在公式(33)中模型化为:
输出121=zW×H(x,y)-vW×H(x,y)=gW×H(x,y)+bW×H(x,y) 公式(33)
实际上,加法器系统S120的输出121包含期望的舒适噪声或胶片颗粒gW×H(x,y)及不想要的噪声bW×H(x,y)两者。
存在可用于良好细颗粒舒适噪声分离的各种算法,例如标量块或使用随机化的颗粒密度增加方法。胶片颗粒抽取140接收输出121并去除不想要的噪声分量bW×H(x,y)且产生实际上等于或对应于输入图像的舒适噪声分量的输出141,且模型化为下面的公式(34)。
输出141=gW×H(x,y) 公式(34)
将对应于期望的舒适噪声或胶片颗粒gW×H(x,y)的输出141提供到N×N零填充150系统(其中零填充被添加到gW×H(x,y)矩阵)且产生目标分辨率下的对应于舒适噪声的输出151,gNW×NH(x,y),例如如上所述,胶片颗粒矩阵的大小增加到宽度为NW个像素且高度为NH个像素的目标分辨率。用于填充(padding)及缩放的各种处理手段可用以产生希望的目标分辨率下的对应于舒适噪声的输出视频数据信息(输出151),如下面的公式(35)中所模型化。
输出151=gNW×NH(x,y) 公式(35)
颗粒密度160系统在其输入端处接收为经填充且经处理到目标分辨率的舒适噪声的输出151,且基于并使用(gNW×NH(x,y))来产生目标或希望的分辨率下的增加密度舒适噪声输出161。因此,实际上,输出161对应于希望的输出分辨率下的经处理舒适噪声或胶片颗粒矩阵的视频数据信息,在下面的公式(36)中模型化。
输出161=GNW×NH(x,y) 公式(36)
举例来说,对原始稀疏颗粒图像输出151使用如上所述的基于应用非重叠随机坐标移位的方法,颗粒密度160系统使用经零填充的胶片颗粒矩阵gNW×NH(x,y)产生对应于经按比例放大的舒适噪声或胶片颗粒矩阵GNW×NH(x,y)的输出161。
使用↑N×N放大标量130系统来接收相对无噪声的vW×H且将其处理到目标分辨率以产生按比例放大的无噪声输出131,其可如公式(37)中所示地模型化。
输出131=VNW×NH(x,y) 公式(37)
加法器系统S170接收输出161且将所述输出加到输出131,且产生如下面的公式(38)中模型化的经处理输出171。
输出171=ZNW×NH(x,y) 公式(38)
输出171对应于是输入数字图像或输入数字图像的部分的经按比例放大版本的经处理数字图像。输出171对应于具有以像素计的宽度NW及高度NH的分辨率。输出171用以传送或流式传输输出171的每一像素的视频数据信息以使用电子显示装置或电子显示装置的区域来显示。
因此,如上所述且如图1所示的数字视频处理系统100提供处理具有低分辨率的输入数字图像zW×H(x,y)的能力,所述输入数字图像包含无噪声分量vW×H(x,y)、待去除的不期望的噪声分量bW×H(x,y)及待保持以便在高分辨率下维持自然外观的希望舒适噪声分量gW×H(x,y)。
输入101=zW×H(x,y)=vW×H(x,y)+gW×H(x,y)+bW×H(x,y) 公式(39)
因此,加法器系统S170的输出171可在下面的公式(40)中模型化:
输出171=ZNW×NH(x,y)=GNW×NH(x,y)+VNW×NH(x,y) 公式(40)
数字视频处理系统100提供处理输入图像zW×H(x,y)及产生具有舒适噪声的自然外观的输出的能力。根据一个实施例,数字视频处理系统100包括用以测量图像的平坦度(flatness)的系统。在以下段落中,将根据一个实施例描述用于实施用于测量平坦度的所述系统的方法。另外,噪声去除110模块可包含这种系统或其它系统以实施从输入数字图像的噪声去除功能。
用以测量数字图像的一个区域的平坦度的系统包括以下步骤:
步骤1:估计图像的梯度。为了去除最显而易见的胶片颗粒,我们针对平坦区对比区域的边缘或细节计算梯度估计值及以下近似:
平坦区:V/(x,y)《0 公式(41)
边缘或细节区:V/(x,y)》0 公式(42)
存在用于估计水平及垂直方向上的导数的许多算法。此处,我们使用通常已知的简单高斯索贝尔(Gaussian Sobel)差算子,而且可使用具有变化准确度的其它方法。
步骤2:低梯度值设阈值(其它方法可能不需要选择阈值)。我们选择阈值T=5用于这个实例。
步骤3:计算梯度范数
步骤4:计算梯度范数的非线性函数g(||▽f(x,y)||),以增强平坦度测量及得到alpha图像。我们对以下两者作试验
我们获得针对上文的梯度图平坦度测量的类似结果且将g1(||▽f(x,y)||)用于使用各种数字图像的这个实例。
对于0≤g(||▽f(x,y)||)≤1 公式(48)
平坦区的强指示符对应于近似1的值:
g(||▽f(x,y)||)≈1 公式(49)
边缘或细节区的强指示符对应于近似0的值:
g(||▽f(x,y)||)≈0 公式(50)
我们根据公式(51)中所示的公式改变噪声降低平滑参数s。所述平滑参数可视g(||▽f(x,y)||)而针对每一像素位置(x,y)变化。
s=s(x,y)=smin+g(||▽f(x,y)||)[smax-smin] 公式(51)
平滑水平s(x,y)在最小平滑值与最大平滑值之间线性地改变。针对这个实例,我们选择以下参数:
对于g(||▽f(x,y)||)≈1
s(x,y)=smax≈3.5 公式(52)
对于g(||▽f(x,y)||)≈0
s(x,y)=smax≈1.0 公式(53)
图像的平坦度Alpha通道分离,且用于平坦度的alpha通道为:
f(x,y)g(||▽f(x,y)||) 公式(54)
最亮区域接收高程度平滑。大的平坦区是噪声最明显的地方。
补充alpha图像通道根据以下公式来计算:
f(x,y)(1-g(||▽f(x,y)||)) 公式(55)
数字图像zW×H(x,y)的补充alpha图像的亮区对应于所述数学图像内的几乎不接收平滑的各种物体的边缘及细节区。在大的平坦区存在于数字图像内的情况下,噪声最明显。
此外,数字视频处理系统100包括提供将在以下段落中描述的局部邻域坐标分析的一个或多个系统。当讨论图像处理算法时,混淆常常在讨论新样本值的处理及/或计算新样本值时发生。自然会将图像视为以下范围中的B位精度像素级值z=z(x,y)。
z∈{-2B-1,-2B-1+1,…,-2,-1,0,1,2,…,2B-1-1} 公式(56)
空间图像位置或坐标(x,y)是某一离散直角坐标网(具宽度W及高度H的ΩW×H)上的位置:
ΩW×H={(x,y):x=0,1,2,…,W-1,y=0,1,2,…,H-1} 公式(57)
对于数字图像,将y坐标轴视为从帧的顶部到底部增加的行编号(line number)。令N=2r+1,其中r=1,2,…为以定义如下的原点 为中心的局部正方形邻域或分析窗口的半径。
公式(58)
根据以下规则来定义度量d∞:
公式(59)
此度量拓扑地等效于标准欧氏距离
公式(60)
公式(61)
定义分析窗口Br(0,0)中的坐标的参数化或扫描次序s(n):
对于半径r=1,2,…的正方形邻域(neighborhood),无穷大度量更便利,这是因为所述度量匹配正方形块几何形状。所述无穷大度量经定义为
我们将为参数化s(n)选择逐列(column wise)扫描次序,因为MATLAB及许多其它面向线性代数的高级语言使用LAPACK库,其最初用FORTRAN编写。不同于C,FORTRAN编译器将矩形矩阵存储为栈式列而非行。我们将通过首先将N×N矩阵映射到同构欧氏向量空间中的N2×1个列向量来定义用于N×N矩阵的线性算子。由于N×N数据矩阵已存储为栈式列,故N×N矩阵的转换不要求存储器中的数据被再打乱。
对于所述块,将邻域定义为:
公式(64)
逐列扫描参数化
由以下公式给出:
公式(66)
u(n)=(n-1)-((n-1)-v(n)+r)N-r 公式(67)
公式(68)
u(n)=[(n-1)%N]-r 公式(69)
作为简单举例,邻域之半径r=2相对于无穷大度量的实例可视觉化为坐标向量的矩阵。
举例来说,在N=2r+1=5的实例中,以原点为中心的局部坐标系的参数化为:
所述局部坐标系可通过例如使用欧氏坐标空间200的局部坐标块的变换:B2(0,0)到B2(x0,y0)而变换成图像矩形中的兴趣坐标p0,如图2中所示。
根据一个实施例,包含空间距离惩罚权重掩码的实例胶片颗粒抽取140系统将在以下段落中描述。由于自然图像中的物体不偏爱(favor)任何特定定向,故我们将圆形二维高斯权重掩码用于权重像素级值,这是因为平面上的欧氏坐标距离从分析坐标块的中心像素位置(x,y)增加,如下面的公式(75)中所模型化。
作为实例且根据一个实施例:
设定:r=3 公式(76)
因此,块大小为:
N=2r+l=7 公式(77)
将高斯权重掩码定义为:
在上文的步骤3中,我们给出平坦度自适应平滑参数公式
s=s(x,y)=smin+g(||▽f(x,y)||)[smax-smin] 公式(79)
smin=1.0且smax=3.5 公式(80)
平滑参数s控制高斯函数的半径
对于自中心起的径向距离而言:
将该径向距离处的像素级值设定为零。
步骤1:计算靠近(x,y)的平坦度gx,y的更稳健估计
首先,使得s=smin=1并使用(例如)8到16位准确度计算权重掩码,可使用其它位准确度。
利用8个位,具有r=3的权重掩码为:
中心处的最大权重为256,其应对应于无空间距离惩罚用于中心位置。用于以上矩阵的归一化常数为:
c(x,y)=256 公式(84)
步骤2:计算中心(x,y)处的像素的局部窗口图像数据值估计fx,y,使用的径向距离惩罚掩码与用于(x,y)处的稳健平坦度估计的径向距离惩罚掩码相同。还根据距离来加权或惩罚像素级值。
步骤3:计算局部窗口图像数据平坦模型偏差残余块
r(x+u,y+v)=f(x+u,y+v)-fx,y 公式(87)
步骤4:计算局部窗口图像数据平坦模型偏差惩罚权重掩码及乘以先前径向距离惩罚掩码。这一次,用于最小及最大像素偏差的值为:
tmin=1.5 公式(88)
tmax=5.0 公式(89)
r(x+u,y+v)=f(x+u,y+v)-fx,y 公式(90)
w(u,v)=w2(u,v)w1(u,v) 公式(92)
模型惩罚掩码(u,v)值可特性化如下:认为块中的像素级值偏离局部平坦模型f(x+u,y+v)=fx,y显著大于所允许公差±tmin.我们可以边缘的一侧上的平坦区域为中心。
假设(x-1,y-1)位于边缘相对于块(x,y)的中心另一侧上。像素级值由下式提供:
f(x-1,y-1) 公式(93)
像素模型偏差变为:
r(x-1,y)=f(x-1,y)-fx,y=100,f(x,y)=5 公式(94)
在空间上,坐标(x-1,y)很接近(x,y),因此空间权重可极高。在使用计算的空间权重矩阵的这一情况下,用于f(x-1,y)的空间权重呈现在下面的公式(95)中。
像素的空间加权贡献可如下面的公式(96)中所示。
0.6·(fx,y+100)=0.6·105=63 公式(96)
实际值为f(x,y)=5,此得到1.0的空间权重,这是因为像素在窗口中心处。边缘模糊在我们只使用空间惩罚权重掩码的情况下可为严重的。所述情形将通过第二平坦模型偏差权重掩码w2(u,v)来补救。
因此,用于离群像素的权重为组合式模型且空间惩罚掩码为:
w(-1,0)=w2(-1,0)w1(-1,0)=0.6×0=0 公式(99)
因此,确保离群像素不对最终估计产生任何影响,且避免边缘模糊。以下段落根据如上所述的各种实施例提供数字图像处理系统的额外揭露内容。本领域的技术人员应了解,各种实施例可组合地或作为独立系统使用以实现希望的结果。此外,一个或多个实施例可结合目前存在的数字图像处理系统来使用或与所述系统组合以产生增强式数字图像处理系统而不背离所描述实施例中的每一者的精神。
图像的数字表示可视原始图像的采样而在质量上有很大变化。原始图像的每一样本表示一小部分的整个图像。因此,需要更多样本以便具有原始图像的更好或更准确表示。像素表示原始图像的一个样本。通常,使用具有以像素为单位规定的宽度X及高度Y的二维网格对图像采样,其中数字图像分辨率对应于X×Y,且每一像素对应于原始图像的最小单个分量。举例来说,具有640×480的分辨率的第一摄像机可具有水平方向上的640个像素及垂直方向上的480个像素。数字图像分辨率(像素的总数)为307,200个像素。较高分辨率需要更多像素在捕捉图像时产生,且所产生的数字图像越接近于原始图像。因此,具有1280×960分辨率的第二数字摄像机可具有1,228,800个像素的像素总数或四倍于第一摄像机的分辨率。
数字图像的每一像素对应于表示为用以描述原始图像的每一像素(或样本)的位的数目的数据信息。这个数据信号通常表示为每像素位数(bpp)。不同色彩的较宽范围可用较高的每像素位数来表示。如今,存在用以捕捉及/或显示色彩信息的许多不同格式,例如RGB。举例来说,24位色彩模型使用8位来表示红色、使用8位来表示蓝色且使用8位来表示绿色。在这个模型下,这些三个色彩中的每一者拥有28或256个层次。因此,所述层次可组合(256×256×256)以产生可能的16,777,216种色彩。
视频摄像机历时特定持续时间捕捉场景,且产生许多顺序的数字图像。通常,每一数字图像被称作帧,具有定义为水平像素数目×垂直像素数目的帧大小。还规定了帧率,其表示每秒所捕捉的帧的数目。另外,扫描系统经识别为逐行(progressive)或隔行(interlaced)的以指示视频帧如何产生且因此应如何处理及显示视频帧,使得当例如使用电子显示板或数字电视机顺序地播放这些数字图像时,原始场景被忠实再现。
为了再现原始场景时序,必须在给定量的时间中再现并显示每一数字图像或场景内的帧。因此,处理并显示一个像素所需的时间受限制且有限。电子显示装置分辨率是以类似于上文针对数字摄像机所解释的方式来规定,如具有X×Y个像素。此外,电子显示装置的分辨率越高,所再现的图像越好。随着电子显示板科技发展到越来越高的分辨率,电子器件的更大挑战为能够在越来越少量的时间内处理每一像素的数据信息。
用于高清晰度电视(High-Definition television,HD TV)(例如1,920像素宽及1,080像素高)的电子电路上的处理需求比标准清晰度电视(Standard-Definition television,SD TV)(例如720像素宽及480像素高)大得多。最近开发的下一代数字TV及投影仪将能够显示四倍于当前HDTV机的清晰度分辨率。这个四倍HD电视机能够显示3,840像素宽及2,160像素高。此为处理电路带来巨大挑战,其中每一像素必须经处理且忠实地再现而不管输入图像分辨率的分辨率如何,各种四倍HD电子显示装置可能能够从标准化接口(例如HDMI或DisplayPort及/或用于例如1,920×1,080或甚至更低的HD的其它低分辨率连接器(例如SD TV)接收图像内容。
一般来说,各种处理技术可用以处理或从一个规定分辨率到另一规定分辨率地缩放数字图像。可简称为监视器或电子显示装置的电子显示装置(例如使用四个电子显示板的四倍HD)可使用3840×2160个像素或宽3840个像素及高2160个像素(总共8,294,400个像素)的分辨率来显示图像。所述四个区域的每一区域可显示HD数字图像。高清晰度数字图像可使用宽1920个像素及高1080个像素(或换句话说,总共2,073,600个像素的1,920×1,080的分辨率)来规定。如可了解,四倍HD监视器能够显示四倍于使用四个区域定义数字图像的像素的数目,所述四个区域中的每一者能够显示全部1,920×1,080个像素。各种实施例提供通过以图像的原生分辨率将图像分裂成两个或两个以上低分辨率区域来处理低分辨率数字图像、处理及缩放所述低分辨率区域中的每一者以产生并输出匹配电子显示装置的希望区域的经缩放且经处理的区域的能力。举例来说,高分辨率电子显示装置接收并指引经缩放且经处理的区域中的每一者以使用电子显示装置的对应区域来显示。因此,总的显示图像分辨率为经处理区域中的每一者的经按比例放大的分辨率的组合,例如3840×2160。
举例来说,四倍HD电子显示板包括各自具有预定义分辨率的四个相同显示区域,所述显示区域中的任一者可视需要使用针对每一区域使用不同分辨率及不同宽度及高度来规定。因此,每一显示区域可根据显示区域的要求而使用独立处理的数字图像驱动。根据一个实施例,这些数字图像处理系统的输出可编程以提供与各种视频格式、与其它数字图像输入混合或用以将经处理图像的视频数据信息传送到电子显示装置的每一区域的各种标准的兼容性。
根据一个实施例,各种类型的具有多个界定区域的电子显示装置或监视器可耦合到本发明中所描述的数字图像处理系统中的任一者,以接收及显示由所述数字图像处理系统的输出模块产生的经处理视频数据信息,每一模块输出匹配电子显示装置的显示区域内的希望分辨率的视频数据信息。此外,电子显示装置或监视器可包括任意数目的显示区域,如可由M行及N列规定,其中区域的总数可由M行乘以N列来表示。因此,根据一个实施例,有M×N个输出模块使用数据通路耦合到电子显示装置,所述数据通路可包括用于电子显示板的显示区域中的每一者的单个专用通道。或者,在经处理视频数据信号有电子显示装置的所述区域中的任何区域的目的地址作为标记的情况下,可使用共同通道。
实例数字图像300展示于图3中。根据一个实施例,作为实例,数字图像300包括表示数字图像300或数字图像300的待处理部分的一组6×8个像素。每一像素使用涂黑的圆圈以符号方式表示且包括对应于将用以处理或显示像素的像素色彩、亮度及/或其它特性的视频数据信息。电子显示装置用以显示对应于每一像素的经处理视频数据信息。每一圆圈内的字母P用以指示像素。
包括一组3×3像素的邻域像素块四边形310的实例展示于图3中。四边形310可包括任何其它组大小,例如一组5×5像素。字母A对应实质上在四边形310的中心处的中心像素311。字母“F”用以指示直接在四边形310的中心像素311“A”的上边、下边、左边或右边的面像素(Face Pixel)312。字母“C”用以指示实质上位于自四边形310的中心像素311“A”起的对角线方向上的角像素(Corner Pixel)313。
以下段落描述将邻域像素块用于输入图像的视频数据信息的处理的各种实施例。贯穿本说明书,对词“图像”的引用也应解释为对数字图像、视频图像、给定数字图像的部分、数字图像的区域、给定视频图像的部分、视频图像的区域或用以表示使用数据信息的图像的任何其它组合或手段的引用。各种拓扑及实施技术可用于所描述的可包含一个或多个实施例的数字图像处理系统。各种技术也可用以从存储器或存储装置接收数字图像,或数字图像处理系统可以流式传输方式来接收数字图像(或数字图像的部分,或数字图像的区域)的视频数据信息。
此外,贯穿本说明书,对“视频数据信息”的引用可包括对应于像素的完整视频数据信息或所述完整视频数据信息的部分。举例来说,使用24位RGB,对视频数据信息的引用可对应全部24位,或仅8位部分、16位部分或具有匹配数字图像处理系统的特定实施的任何位大小的部分。另一实例(对使用色彩及明度格式的视频数据信息的引用)可为所述色彩及明度视频数据信息或两者中的任一者的引用。
如图4所示,数字图像处理系统400经配置以接收至少两个数字图像的视频数据信息。举例来说,如图4所示,数字图像401及数字图像402对应所述两个数字图像的部分的实例。数字图像处理系统400可通过将命令发出到存储系统来撷取所述视频数据信息。根据一个实施例,数字图像401及数字图像402的视频数据信息可使用多个数据通路而顺序地或并列地流式传输到数字图像处理系统400的输入端。此外,每一数据通路能够一次一个像素、一次一组像素或一次一行或一区域地传输数字图像401及数字图像402的视频数据信息。流式传输视频数据信息也可根据可用技术或标准(例如HDMI)来完成。
根据一实施例,数字图像处理系统400按序依次接收第一数字图像(即数字图像401)和第二数字图像(即数字图像402),即在数字图像401的所有视频数据信息接收之后才接收数字图像402的全部或一部分视频数据信息。数字图像处理系统400适当存储视频数据信息用来进行本地检索或存取是为了对第一图像的第一像素的视频数据信息进行处理,第一像素的视频数据信息使用与该第一像素相邻的至少多个像素的视频数据信息,以及第二图像中至少一个像素的视频数据信息。
根据一实施例,当数字图像处理系统在处理以流式传输到数字图像处理系统400输入端的第一图像(即数字图像401)的部分视频数据信息时,数字图像处理系统400获取第二图像(即数字图像402)的部分视频数据信息。各种组合和技术可能被用于提供、获取或以流式传输必须由数字图像处理系统400处理的视频数据信息。根据一实施例,数字图像401包括与第一时间点(例如该时间点为t-z)对应的像素(x,y)的视频数据信息,数字图像402包括与第二时间点(例如该时间点为t)对应的像素(x,y)的视频数据信息。在此例中,数字图像402出现的时间点在数字图像401出现的时间点之后。根据一实施例,数字图像401出现的时间点在数字图像402出现的时间点之后。
根据一实施例,数字图像处理系统400决定了第一图像(即数字图像401)中的一第一四边形(即四边形405)的第一位置。数字图像处理系统400记录当前正在处理使用各行或列中像素位置的连续视频格式的像素或组像素。四边形405相当于第一图像(即数字图像401)的第一部分的第一区域并且包括第一行或第一列以及每行或每列包括第一像素。在这个例子中,第一行或第一列是3,第一个像素是3,四边形405包括第一像素“A”,“A”基本上是位于四边形405的中心。
根据一实施例,数字图像处理系统400通过配置和设定程序处理第一像素“A”(或者第一组像素,该第一组像素位于四边形405的中心),处理第一像素“A”使用与其相邻的用字母“F”表示的4个像素中的至少两个,4个像素“F”正好位于第一像素“A”的正上方、正下方、正右方和正左方,以及与其相邻的用字母“C”表示的4个像素中的至少两个,4个像素“C”位于第一像素“A”的对角线方向上。视频数据信息与第一像素“A”或第一组像素如图4中O-415所示。
根据一实施例,数字图像处理系统400确定了至少3组像素,3组像素中的每个像素均位于四边形405中,其中:(ⅰ)至少3组像素中的第一组像素包括至少一个像素,即第一像素“A”;(ⅱ)至少3组像素中的第二组像素包括至少两个像素,例如,如图4所示,该组中的像素用字母“F”表示,第二组像素中的每个像素正好位于第一组像素中的第一像素“A”的正上方、正下方、正右方和正左方4个方向中的其中一个方向上;(ⅲ)至少3组像素中的第三组像素包括至少两个像素,例如,如图4所示,该组中的像素用字母“C”表示,第三组像素中的每个像素位于相对于第一组像素的4个对角线方向的其中一个方向上,其中第一组像素包括第一像素。
根据一实施例,数字图像处理系统400使用与第一像素“A”(或者第一组像素)对应的视频数据信息O-415生成第一像素“A”的第一视频数据信息值O-426,具体通过选择一个预先编程或预先确定的第一乘数值K1与第一像素“A”的视频数据信息值A相乘:
第一视频数据信息=K1*A 公式(100)
同样地,若第一组像素包括多个像素,则第一组像素的第一视频数据信息值为第一乘数值乘以第一组像素的各像素的视频数据信息值的累加和:
第一视频数据信息=K1*∑A 公式(101)
该数字图像处理系统400使用接收的与第二组像素对应的视频数据信息O-416生成第二组像素的第二视频数据信息O-427,该第二组像素中的像素在四边形405中用字母“F”表示,通过选择一预先编程或预定的第二乘数值K2并乘以第二组像素中的各像素的视频数据信息值计算得到第二乘数值并将结果求和:
第二视频数据信息=K2*∑F 公式(102)
该数字图像处理系统400使用接收的与第三组像素对应的视频数据信息O-417生成第三组像素的第三视频数据信息O-428,该第二组像素中的像素在四边形405中用字母“C”表示,通过选择一预先编程或预定的第三乘数值K3与第三组像素中的各像素的视频数据信息值相乘,并将结果求和:
第三视频数据信息=K3*∑C 公式(103)
根据一实施例,数字图像处理系统400利用一个具有乘法器功能和累加器功能的子系统模块即M421、M422、M423来产生相应的第一视频数据信息、第二视频数据信息和第三视频数据信息(O-426、O-427、O-428)。包括软件或硬件的各种实施方法会被用于执行乘法或加法功能或者是基本上使用上述类似的关系就可以完成对第一、第二和第三视频数据信息的生成。根据数字图像处理系统400期望的性能水平,不同硬件实现技术也能被用来实现乘法功能和加法功能。
该数字图像处理系统400生成与第一像素“A”或第一组像素对应的第一掩码值O-438,具体通过使用一加法函数模块S435计算第一视频数据信息值O-426、第二视频数据信息值O-427和第三视频数据信息值的和。
根据一实施例,数字图像处理系统400生成四边形406中第二像素“A”的第四视频数据信息值。第二视频图像(即数字图像402)中的第二像素位置基本上与第一视频图像(即视频图像401)中的第一像素位置相对应。例如,若该第一像素“A”位于第一视频图像(即视频图像401)中的第150行的第100个,则第二像素“A”位于第二视频图像(即数字图像402)中第150行的第100个,或者可能位于第二视频图像(即数字图像402)中第150行的第100个相邻的位置上。类似地,第二视频图像(即数字图像402)中的四边形406的位置基本上与第一视频图像(即视频图像401)中的四边形405的位置相对应。
根据一实施例,数字图像处理系统400生成第四组像素的第四视频数据信息值O-418,该第四组像素位于数字图像402的四边形406中。第四组像素包括第二像素“A”,并且第四组像素的各像素位于接收到第二图像(即数字图像402)的第一部分的第一区域。位于第二视频图像(即数字图像402)的第二像素基本上与位于第一视频图像(即视频图像401)中的第一像素相对应。类似地,第二视频图像(即数字图像402)中的四边形406的位置与第一视频图像(即视频图像401)中的四边形405的位置基本上相对应。
根据一实施例,数字图像处理系统400通过执行以下步骤生成第五视频数据信息值O-488:确定乘法函数模块M485第一输入端的第二掩码乘数值I-486;乘法器M485的第二输入端接收第二掩码值O-478,该第二掩码值O-478与第一像素对应且使用加法函数模块S475生成;第四视频数据信息O-471的相反数通过反函数模块Inv-470对第四视频数据信息取反生成;加法器S475通过对第四视频数据信息O-471的相反数和第七视频数据信息O-468求和生成第二掩码值O-478,其中第七视频数据信息O-468与第一像素对应且由第一掩码值得到,第一掩码值将在下面段落中进行描述。
根据一实施例,数字图像处理系统400通过对第四视频数据信息值O-418和乘法器M485输出的第五视频数据信息值O-418求和,生成一第六视频数据信息值O-498。第六视频数据信息值O-498与第一像素对应且表示为第一已处理图像(即数字图像491)的第一已处理像素(即时域滤波输出像素(A)499)的视频数据信息。
根据一实施例,数字图像处理系统400将第一处理图像(即数字图像491)的第一已处理像素O-498的视频数据信息输出给电子显示装置490。该电子显示装置490使用与第一图像(即数字图像401)中的第一像素“A”对应的像素显示位置显示第一已处理像素。像素显示位置可以位于电子显示装置的一预先定义的显示区域,该电子装置包括至少两个显示区域。
根据一实施例,数字图像处理系统400通过执行以下步骤生成第七视频数据信息值O-468:确定乘法函数模块M455第一输入端的第三掩码乘数值I-456;乘法器M455的第二输入端接收第三掩码值O-448,该第三掩码值O-448与第一像素对应且使用加法函数模块S445生成;第八视频数据信息O-411与第一像素“A”的视频数据信息值的相反数对应,第一像素“A”的视频数据信息通过使用反函数模块Inv410对接收到的视频数据信息O-415取反生成;加法器S445通过对第八视频数据信息O-411和第一掩码值O-438求和生成第三掩码值O-448;乘法器M455生成输出第九视频数据信息O-458,相当于第三掩码值O-468的乘数乘以第三掩码乘数I-456。第七视频数据信息值O-468通过使用加法器功能模块S465对第九视频数据信息O-458和接收的视频信息O-415求和生成。
根据一实施例,数字图像处理系统400进一步确定了第二四边形的第一位置,图4中并未示出,具体通过数字图像401中的至少一个像素对四边形405中的第一位置进行移位。第二四边形包括:(ⅰ)与第一视频图像(即数字图像401)的第一部分的第二区域对应的像素;(ⅱ)基本上位于第二四边形中心的第三像素;(ⅲ)四边形405中的至少一个像素。
根据一实施例,数字图像处理系统400进一步确定第五组像素,第五组像素由包括第四像素在内的至少一个像素组成,第五组像素中的各像素位于第二视频图像(即数字图像402)中的第一部分的第二区域,第四像素基本上位于第五组像素的中心。第二视频图像(即数字图像402)中的第四像素位置基本上与第一视频图像(即数字图像401)中的的第三像素位置相对应。
根据一实施例,数字图像处理系统400通过重复处理步骤进一步生成了与第三像素对应的第十视频数据信息,如上所述,恰当地分别使用第二四边形中像素的视频数据信息和第五组像素代替第四组中的第一四边形。这类似于对每个数字图像中每一行的每个像素的视频数据信息的流水线处理,该处理由数字图像处理系统400进行。因此,数字图像处理系统400对于输入的每个像素依次生成一个已处理像素。第十视频数据信息值表示第一已处理图像的第二已处理像素的视频数据信息,并且数字图像处理系统400将第一已处理图像中的第二已处理像素的视频数据信息输出给电子显示设备490。
根据一实施例,数字图像处理系统400通过使用至少一个固定值,一个可编程值,一个计算值,传输过程中生成值以及以动态计算值来确定各个第一掩码乘数值,第二掩码乘数值,第一、第二以及第三乘数值。另外,动态计算值包括对响应变量的一个或多个值的运算,该变量基于输入图像(即数字图像401)的视频数据信息的至少一个特征的值进行变化,和/或基于至少一个用户定义的值进行变化。
根据一实施例,数字图像处理系统400使用与第一像素“A”相关的至少三个组像素中的各像素的相对位置,确定四边形405中的三组像素。
根据一实施例,数字图像处理系统400包括用于确定四边形405尺寸的可编程寄存器。四边形405的最小尺寸相当于至少一行或一列,每行或每列有至少3个像素。
如图5所示,数字图像处理系统500是数字图像处理系统400的简化版,输入步骤与图4中描述的那些步骤类似。使用来自数字图像502的至少一个像素的视频数据信息对数字图像501的视频数据信息的处理略有不同,且少用一个乘法功能模块。数字图像处理系统500经配置接收至少两个数字图像的的视频数据信息。例如,所示的数字图像501和数字图像502相当于两幅数字图像中的多个部分中的其中一个示例部分。数字图像处理系统500可以通过发出指令给存储系统来检索视频数据信息。根据一实施例,数字图像501和数字图像502能以流式依序或使用多个数据路径并行传输给数字图像处理系统500。此外,数据路径可以在同一时间传输数字图像501和数字图像502的一个像素的视频数据信息、一组像素的视频数据信息,一行、一列或一个区域的视频数据信息。根据现有技术或标准,例如HDMI,以流式传输视频数据信息也能实现。
根据一实施例,数字图像处理系统500依次接收第一数字图像(即数字图像501)和第二数字图像(即数字图像502),即在数字图像501的所有视频数据信息接收之后才接收数字图像502的全部或一部分视频数据信息,数字图像处理系统500适当存储视频数据信息用来进行本地检索或存取是为了对第一图像的第一像素的视频数据信息进行处理,第一像素的视频数据信息使用与该第一像素相邻的至少多个像素的视频数据信息,以及第二图像中的至少一个像素的视频数据信息。
根据一实施例,当数字图像处理系统在处理流入到数字图像处理系统500输入端的第一图像(即数字图像505)的部分视频数据信息时,数字图像处理系统500获取第二图像(即数字图像502)的部分视频数据信息。各种组合和技术可能被用于提供、获取或以流式传输必须由数字图像处理系统500处理的视频数据信息。根据一实施例,数字图像501包括与第一时间点(例如该时间点为t-z)对应的像素(x,y)的视频数据信息,数字图像502包括与第二时间点(例如该时间点为t)对应的像素(x,y)的视频数据信息。在此例中,数字图像502出现的时间点在数字图像501出现的时间点之后。根据一实施例,数字图像501出现的时间点在数字图像502出现的时间点之后。
根据一实施例,数字图像处理系统500决定了第一图像(即数字图像501)中的一第一四边形(即四边形505)的第一位置。数字图像处理系统500记录当前正在处理使用各行或列中像素位置的连续视频格式的像素或组像素。四边形505相当于第一图像(即数字图像501)的第一部分的第一区域并且包括第一行或第一列以及每行或每列包括第一像素。在这个例子中,第一行或第一列是3,第一个像素是3,四边形505包括第一像素“A”,该第一像素“A”基本上是位于四边形505的中心。
根据一个实施例的数字图像处理系统500可配置成或编程为使用四个相邻像素中的至少两个处理第一像素“A”(或者第一组像素,其中,第一组像素位于四边形505的中心),其中,四个相邻像素中的至少两个可以是在第一像素“A”的正上方、正下方、正右方或正左方的像素,如图中“F”所示;或者,四个相邻像素中的至少两个也可以位于第一像素“A”的对角线方向,如图中“C”所示。与第一像素“A”或第一组像素对应的视频数据信息如图4中O-515所示。
在本实施方式中,数字图像处理系统500确定至少三组像素,三组像素中的每一个像素均位于四边形505中,其中,(i)至少三组像素中的第一组包括至少一个像素,即第一像素“A”;(ii)至少三组像素中的第二组包括至少两个像素,该组内的像素如图5中“F”所示,第二组中的每一个像素位于第一像素“A”或第一组的正上方,正下方,正右方和正左方这四个方向之一;及(iii)至少三组像素中的第三组包括至少两个像素,该组像素如图5中“C”所示,第三组中的每个像素位于第一组四个对角线方向之一,其中第一组像素包括第一像素。
根据一个实施例的数字图像处理系统500使用与第一像素“A”(或第一组像素)O-515相对应的视频数据信息,来生成第一像素“A”的第一视频数据信息值O-526,选择预编程的或预定的第一乘数值K1,并采用第一像素“A”的视频数据信息值(A)乘以第一乘数得到:
第一视频数据信息=K1*A 公式(104)
类似地,如果第一组包括多个像素,那么第一组的第一视频数据信息值通过将第一乘数值乘以第一组中每个像素的视频数据信息值的累加和得到:
第一视频数据信息=K1*ΣA 公式(105)
数字图像处理系统500使用与第二组像素O-516相对应的所接收的视频数据信息,产生第二组像素的第二视频数据信息O-527,第二组像素用四边形505中的“F”表示,选择预编程的或预定的第二乘数值K2,并采用第二组中每一个像素的视频数据信息乘以第二乘数,再求和得到:
第二视频数据信息=K2*ΣF 公式(106)
数字图像处理系统500使用与第三组像素O-517相对应的所接收的视频数据信息,产生第三组像素的第三视频数据信息O-528,第三组像素用四边形505中的“C”表示,选择预编程的或预定的第三乘数值K3,并采用第三组中每一个像素的视频数据信息乘以第三乘数,再求和得到:
第二视频数据信息=K2*ΣC 公式(107)
根据一个实施例的数字图像处理系统500,利用具有乘法器和加法器(即M521,M522,和M523)功能的子系统模块,分别生成第一,第二,和第三视频数据信息值(O-526,O-527,O-528)。可通过包括软件或硬件在内的各种实现方式来实现乘法或加法功能,或者能生成第一,第二和第三视频数据信息或类似上述关系的方法都应在本发明的保护范围之内。根据数字图像处理系统500期望的性能水平,不同硬件实现技术也能被用来实现乘法功能和加法功能。
数字图像处理系统500生成与第一像素“A”或第一组像素向对应的第一掩码值O-538。利用加法器功能块S535求取第一视频数据信息值O-526,第二视频数据信息值O-527和第三的视频数据信息值O-528之和,得到第一掩码值。
根据一个实施例,数字图像处理系统500生成四边形506内的第二像素“A”的视频数据信息值O-518。第二像素在第二视频图像(即数字图像502)内的位置大致与第一像素在第一视频图像(即数字图像401)内的位置对应。例如,如果第一像素“A”为第一视频图像(即数字图像501)的第150行的第100个像素,那么第二像素“A”为第二视频图像(即数字图像502)的第150行的第100个像素,或在第二视频图像(即数字图像502)的第150行的第100个像素周围的像素。类似地,第二视频图像(即数字图像502)的四边形506的位置大致对应于第一视频图像(即数字图像501)的四边形505的位置。
根据一个实施例,数字图像处理系统500产生位于数字图像502的四边形506内的第四组像素的第四视频数据信息值O-518。第四组像素包括第二像素“A”,第二像素“A”在前一段已有定义。并且,第四组的每个像素位于第二图像(即数字图像502)所接收到的第一部分的第一部分内。第二像素在第二视频图像(即数字图像502)中的位置大致对应于第一像素在第一视频图像(即数字图像501)中的位置,正如上面所描述的一样。同样,四边形506在第二视频图像(即数字图像502)内的位置大致对应于四边形505在第一视频图像(即数字图像501)的位置。
根据一个实施例,数字图像处理系统500通过执行以下步骤产生第五视频数据信息值O-558。确定第二掩码乘数值I-586,作为乘法器功能模块M585的第一输入。乘法器M585的第二输入接收第一像素的第二掩码值O-548,该第二掩码值O-548用加法器功能模块S545产生。第四个视频数据信息的逆O-511通过反函数模块Inv-510对第四视频数据信息O-518取反得到。加法器S545通过对第四视频数据信息的反数O-511和第一掩码值O-538求和得到第二掩码值O-548。
根据一个实施例,数字图像处理系统500对第四视频数据信息值O-518和第五视频数据信息值O-558求和,得到第六视频数据信息值O-598。第五视频数据信息值O-558是乘法器M485的输出。第六视频数据信息值O-598对应于第一像素,表示第一已处理图像(即数字图像591)的第一已处理像素的视频数据信息值。其中,第一已处理像素为时域滤波输出像素(A)599。
根据一个实施例,数字图像处理系统500将第一已处理图像(即数字图像591)的第一已处理像素O-598的视频数据信息输出至电子显示装置590。电子显示装置590使用与第一图像的数字图像在501中第一像素“A”对应的像素位置显示第一已处理像素。像素显示位置可能位于电子显示装置的预设显示区域内,电子显示装置包括至少两个显示区域。
根据一个实施例,数字图像处理系统500通过将数字图像501内四边形505的第一位置移位至少一个像素,进一步确定第二四边形的第一位置,没有显示在图5中。第二四边形包括(i)与第一视频图像(即数字图像501)的第一部分的第二部分相对应的像素,(ii)基本位于第二四边形中心的第三像素,和(iii)的四边形505的至少一个像素。
根据一个实施例,数字图像处理系统500进一步确定第五组像素,第五组包括至少一个像素,其中包括第四像素在内,第五组的每个像素均位于第二视频图像(即数字图像502)的第一部分的第二部分内,第四像素基本上位于第五组的中心。第四像素在第二视频图像(即数字图像502)内的位置大致对应于第三像素在第一视频图像(即数字图像501)内的位置。
根据一个实施例,数字图像处理系统500进一步生成与第三像素对应的第七视频数据信息值,通过重复上述处理步骤,其中,适当地使用第二四边形的像素的视频数据信息,以及第五组像素,分别替代第一个四边形和第四组像素。这类似于每一数字图像的每一行每一个像素的视频数据信息的流水线处理,正如数字图像处理系统500的处理一样。因此,数字图像处理系统500逐一对每一个输入像素生成一个已处理的像素。第七视频数据信息值代表第一已处理图像的第二已处理像素的视频数据信息,并且数字图像处理系统500将第一已处理图像的第二已处理像素的视频数据信息输出至电子显示装置590。
根据一个实施例,数字图像处理系统500使用至少一个固定值、可编程的值、计算值、动态生成的值和动态计算的值,确定第一掩码乘数,第一,第二和第三数的每一个值。此外,动态计算出的值包括对一个或多个变量响应值的运算,该变量基于输入图像(即数字图像401)的视频数据信息的至少一个特征的值进行变化,和/或基于至少一个用户定义的值进行变化。
根据一个实施例,数字图像处理系统500使用与第一像素“A”相关的至少三组像素的每个像素的相对位置,确定四边形505内的第三组像素。根据一个实施例,数字图像处理系统500包括一个可编程寄存器,该可编程寄存器确定四边形505的大小。最小尺寸的四边形505对应于至少一行,每行具有至少三像素。
本发明描述的实施例可交替使用,形成一个确定的和唯一的数字图像处理系统,以满足各种不同的输入数字图像处理的要求,而产生不同的预期效果,和/或系统性能。包括各种对输入数字图像进行处理和分割的技术;通过使用每一个分割的输入图像中的一个或多个区域的一组像素的视频数据信息来生成一个或多个输出像素的视频数据信息,从而在每一个分割的输入图像中处理一个或多个区域。并使用多区域电子显示中的一个显示区域显示处理后的分割输入图像。此外,各种实施例提供定制的数字图像处理系统来满足不断变化的电子显示板的尺寸和规格的需求,例如,不断变化的电子显示规格包含具有可编程能力的寄存器,或用于存储特定操作参数的非易失性存储器,比如说,该操作参数可通过网络,或直接更新,以改变数字图像处理系统的性能。
Claims (19)
1.一种输入图像单个像素的视频数据信息处理方法,其特征在于,包含以下步骤:
接收输入图像的第一部分的视频数据信息;其中,所述第一部分包括第一组像素,所述第一组像素包括所述单个像素;
利用第一组像素的视频数据信息,估计第一指示参数的至少一个值;
采用所述第一指示参数的至少一个值,生成降噪参数值;
采用一个或多个降噪参数值和第一指示参数的至少一个值,处理第一组像素中每个像素的视频数据信息,生成输出像素的视频数据信息,其中,输出像素与所述输入图像的已处理单个像素相对应;
使用输出缓冲区存储输出像素的视频数据信息。
2.根据权利要求1所述的方法,其特征在于,所述第一指示参数的至少一个值表示第一组像素与任何一个或多个平坦区域,细节区域和边缘相对应。
3.根据权利要求1所述的方法,其特征在于,用于估计第一指示参数的至少一个值的第一组像素的视频数据信息仅包含第一组像素内每个像素的视频数据信息的色度和亮度格式中的一种。
4.根据权利要求1所述的方法,其特征在于,还包含以下步骤:
使用输入缓冲区存储输入图像第一部分每一个像素的视频数据信息。
5.根据权利要求1所述的方法,其特征在于,所述第一组像素包括至少三行像素,并且,每一行具有至少三个像素。
6.根据权利要求1所述的方法,其特征在于,在所述利用第一组像素的视频数据信息估计第一指示参数的至少一个值的步骤中,包含以下子步骤:
通过使用非线性方程处理第一组像素中每个像素的视频数据信息,确定第一组像素的一个或多个显著特征;其中,第一组像素的一个或多个显著特征与任何一个平坦区域,细节区域和边缘相对应;
估计与第一组像素的一个显著特征相对应的第一指示参数的至少一个值。
7.根据权利要求1所述的方法,其特征在于,在所述采用所述第一指示参数的至少一个值生成降噪参数值的步骤中,根据以下两点生成降噪参数值:
(i)第一指示参数的至少一个值,
(ii)第一组像素内单个像素的位置。
8.根据权利要求1所述的方法,其特征在于,在所述采用所述第一指示参数的至少一个值生成降噪参数值的步骤中,根据以下两点生成第一组像素内每个像素的降噪参数值:
(i)第一指示参数的至少一个值,
(ii)第一组像素内每个像素的位置。
9.根据权利要求1所述的方法,其特征在于,
(i)当第一组像素对应于平坦区域时,所述降噪参数值影响单个像素的高程度平滑;
并且(ii)当第一组像素对应于细节区域或边缘时,所述降噪参数值影响单个像素的低程度平滑。
10.一种输入图像中一个像素的视频数据信息处理系统,其特征在于,所述系统包含:
第一处理子系统,用于(i)接收输入图像的第一部分的视频数据信息;(ii)利用第一组像素的视频数据信息,估计第一指示参数的至少一个值;(iii)采用所述第一指示参数的至少一个值,生成降噪参数值;其中,所述第一部分包括第一组像素,所述第一组像素包括所述单个像素;
第二处理子系统,用于生成输出像素的视频数据信息,所述输出像素与第一组像素的降噪参数值和视频数据信息相对应;第二处理子系统还将输出像素的视频数据信息存储到输出缓冲区中;其中,输出像素与所述输入图像的已处理单个像素相对应。
11.根据权利要求10所述的系统,其特征在于,所述第一组像素包括至少三行像素,并且,每一行具有至少三个像素。
12.根据权利要求10所述的系统,其特征在于,所述第一指示参数的至少一个值表示第一组像素与任何一个或多个平坦区域,细节区域和边缘相对应。
13.根据权利要求10所述的系统,其特征在于,所述第一处理子系统还将输入图像第一部分每一个像素的视频数据信息存储到输入缓冲区。
14.根据权利要求10所述的系统,其特征在于,所述第一处理子系统在处理第一组像素的视频数据信息,并生成第一指示参数的至少一个值的过程中,至少部分基于所处理的第一组像素的视频数据信息,其中,所述第一组像素的视频数据信息表示该第一组像素的视频数据信息与一个或多个平坦区域,细节区域和边缘相对应。
15.根据权利要求14所述的系统,其特征在于,所述第一处理子系统用于通过使用非线性方程处理第一组像素中每个像素的视频数据信息,生成所述第一指示参数的至少一个值。
16.根据权利要求10所述的系统,其特征在于,所述第一处理子系统至少部分根据以下两点生成降噪参数值:
(i)第一指示参数的至少一个值,
(ii)第一组像素内单个像素的位置。
17.根据权利要求10所述的系统,其特征在于,所述第一处理子系统至少部分根据以下两点生成第一组像素内每个像素的降噪参数值:
(i)第一指示参数的至少一个值,
(ii)第一组像素内每个像素的位置。
18.根据权利要求10所述的系统,其特征在于,所述第二处理子系统对单个像素的视频数据信息采用高程度的平滑生成输出像素的视频数据信息;其中,高程度的平滑至少部分基于(i)降噪参数值,和(ii)与平坦区域相对应的第一组像素的视频数据信息的响应。
19.根据权利要求10所述的系统,其特征在于,所述第二处理子系统对单个像素的视频数据信息采用低程度的平滑生成输出像素的视频数据信息;其中,低程度的平滑至少部分基于(i)降噪参数值,和(ii)与细节区域或边缘相对应的第一组像素的视频数据信息的响应。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261690804P | 2012-07-03 | 2012-07-03 | |
US61/690,804 | 2012-07-03 | ||
US201213694089A | 2012-10-29 | 2012-10-29 | |
US13/694,089 | 2012-10-29 | ||
PCT/US2013/049200 WO2014008329A1 (en) | 2012-07-03 | 2013-07-03 | System and method to enhance and process a digital image |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104756151A true CN104756151A (zh) | 2015-07-01 |
Family
ID=49882476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380045982.XA Pending CN104756151A (zh) | 2012-07-03 | 2013-07-03 | 用于增强和处理数字图像的系统及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN104756151A (zh) |
WO (1) | WO2014008329A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106934776A (zh) * | 2017-03-10 | 2017-07-07 | 长沙金定信息技术有限公司 | 一种具有动态控制像素处理的图像处理系统及其工作流程 |
CN109472749A (zh) * | 2018-10-29 | 2019-03-15 | 湖南优象科技有限公司 | 一种针对超广角图像的边缘增强算法 |
CN111226257A (zh) * | 2017-09-22 | 2020-06-02 | 豪夫迈·罗氏有限公司 | 组织图像中的伪像移除 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107809559A (zh) * | 2017-09-21 | 2018-03-16 | 中国科学院长春光学精密机械与物理研究所 | 一种图像自学习增强方法和系统 |
US10931853B2 (en) * | 2018-10-18 | 2021-02-23 | Sony Corporation | Enhanced color reproduction for upscaling |
CN116523775B (zh) * | 2023-04-14 | 2023-11-07 | 海的电子科技(苏州)有限公司 | 高速图像信号的增强优化方法和设备、存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW526425B (en) * | 1999-10-14 | 2003-04-01 | Match Lab Inc | System and method for digital color image processing |
US6907144B1 (en) * | 1999-10-06 | 2005-06-14 | Eastman Kodak Company | Noise reduction method, apparatus, and program for digital image processing |
CN1817047A (zh) * | 2003-06-30 | 2006-08-09 | 株式会社尼康 | 用于处理具有排列的不同色彩分量的图像的图像处理装置,图像处理程序,电子照相机,以及图像处理方法 |
CN102292741A (zh) * | 2009-01-20 | 2011-12-21 | 皇家飞利浦电子股份有限公司 | 用于生成增强图像的方法和设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8687894B2 (en) * | 2010-10-15 | 2014-04-01 | DigitalOptics Corporation Europe Limited | Continuous edge and detail mapping using a weighted monotony measurement |
-
2013
- 2013-07-03 WO PCT/US2013/049200 patent/WO2014008329A1/en active Application Filing
- 2013-07-03 CN CN201380045982.XA patent/CN104756151A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6907144B1 (en) * | 1999-10-06 | 2005-06-14 | Eastman Kodak Company | Noise reduction method, apparatus, and program for digital image processing |
TW526425B (en) * | 1999-10-14 | 2003-04-01 | Match Lab Inc | System and method for digital color image processing |
CN1817047A (zh) * | 2003-06-30 | 2006-08-09 | 株式会社尼康 | 用于处理具有排列的不同色彩分量的图像的图像处理装置,图像处理程序,电子照相机,以及图像处理方法 |
CN102292741A (zh) * | 2009-01-20 | 2011-12-21 | 皇家飞利浦电子股份有限公司 | 用于生成增强图像的方法和设备 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106934776A (zh) * | 2017-03-10 | 2017-07-07 | 长沙金定信息技术有限公司 | 一种具有动态控制像素处理的图像处理系统及其工作流程 |
CN111226257A (zh) * | 2017-09-22 | 2020-06-02 | 豪夫迈·罗氏有限公司 | 组织图像中的伪像移除 |
US11854168B2 (en) | 2017-09-22 | 2023-12-26 | Hoffmann-La Roche Inc. | Artifacts removal from tissue images |
CN111226257B (zh) * | 2017-09-22 | 2024-03-01 | 豪夫迈·罗氏有限公司 | 组织图像中的伪像移除 |
CN109472749A (zh) * | 2018-10-29 | 2019-03-15 | 湖南优象科技有限公司 | 一种针对超广角图像的边缘增强算法 |
CN109472749B (zh) * | 2018-10-29 | 2021-10-22 | 湖南优象科技有限公司 | 一种针对超广角图像的边缘增强算法 |
Also Published As
Publication number | Publication date |
---|---|
WO2014008329A1 (en) | 2014-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8331711B2 (en) | Image enhancement | |
US8983236B1 (en) | Methods and systems for up-scaling a standard definition (SD) video to high definition (HD) quality | |
US6717622B2 (en) | System and method for scalable resolution enhancement of a video image | |
US9030469B2 (en) | Method for generating depth maps from monocular images and systems using the same | |
US8488868B2 (en) | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images | |
US7764827B2 (en) | Multi-view image generation | |
CN104756151A (zh) | 用于增强和处理数字图像的系统及方法 | |
JPH06245113A (ja) | ノイズ及び他のアーティファクトを除去して画像をより向上させるための装置 | |
CN105850114A (zh) | 用于图像的逆色调映射的方法 | |
US8325196B2 (en) | Up-scaling | |
KR20100109069A (ko) | 시각적 관심맵 생성 장치 및 방법 | |
Keller et al. | Video super-resolution using simultaneous motion and intensity calculations | |
Sandić-Stanković et al. | Fast blind quality assessment of DIBR-synthesized video based on high-high wavelet subband | |
US20060104535A1 (en) | Method and apparatus for removing false edges from a segmented image | |
US20050270419A1 (en) | Unit for and method of image conversion | |
EP1540593B1 (en) | Method for image scaling | |
US6801339B1 (en) | Image processing method and apparatus | |
KR20060111528A (ko) | 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출 | |
US20060218619A1 (en) | Block artifacts detection | |
US20070008342A1 (en) | Segmentation refinement | |
Sadaka et al. | Efficient perceptual attentive super-resolution | |
US8588553B2 (en) | Scaling method and device for image signals | |
US20060038918A1 (en) | Unit for and method of image conversion | |
CN114972087A (zh) | 视频处理方法、装置、设备以及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150701 |