CN100544396C - 图像信号处理方法和设备 - Google Patents
图像信号处理方法和设备 Download PDFInfo
- Publication number
- CN100544396C CN100544396C CNB2004100841681A CN200410084168A CN100544396C CN 100544396 C CN100544396 C CN 100544396C CN B2004100841681 A CNB2004100841681 A CN B2004100841681A CN 200410084168 A CN200410084168 A CN 200410084168A CN 100544396 C CN100544396 C CN 100544396C
- Authority
- CN
- China
- Prior art keywords
- image
- frequency component
- filtering
- process object
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 80
- 238000001914 filtration Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 56
- 230000008676 import Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000007792 addition Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Abstract
本发明涉及图像信号处理方法、设备以及图像信号处理程序。所述图像信号处理设备(1)，具有至少一个输入终端(11)，DCT变换器(13)，低通滤波器(14)，DCT变换器(16)，功能性操作处理器(17)，以及反向DCT变换器(18)。借助于输入终端(11)的图像输出，DCT变换器(13)获取输入图像的频率分量。另一方面，低通滤波器(14)对来自输入终端(11)的输入图像执行滤波处理，以便产生已滤波图像。而DCT变换器(16)则获取这个图像的频率分量。功能性操作处理器(17)在滤波前后的图像的一些频率分量之间执行功能性操作，以便产生经过功能性操作的图像的频率分量。反向DCT变换器(18)则将频率分量变换成像素值并且将其输出。
Description
技术领域
本发明涉及一种图像信号处理方法、一种图像信号处理设备以及一种图像信号处理程序，更为特别的是，本发明涉及的是用于消除图像失真和提高图像清晰度的技术。
背景技术
通常，压缩编码技术被用于有效执行静止图像和运动图像数据的传送及存储。在这些压缩编码技术中，关于静止图像的典型系统是JPEG(联合摄影专家组)，而关于运动图像的典型系统则是MPEG(运动图像专家组)。
图像压缩编码将会删除一部分信号，由此再现图像将会遭到诸如块边界效应和环绕(ring)之类的编码失真的影响。具体地说，用于减少数据量的量化处理去除了图像信号的高频分量。特别是对JPEG和MPEG系统来说，由于量化处理是在块单元中执行的，因此高频分量的量化将会导致块间边界上的不连续性。由此将会导致出现块噪声。为了减小编码失真的影响，较为有效的是使用低通滤波器过滤出再现图像的高频分量。此外，边缘增强处理对提高已过滤图像的清晰度而言同样是非常有效的。
以图像为例，压缩图像和非压缩图像都有可能会因为相机等摄影设备的特有噪声以及摄影环境中的光源的不足而包含噪声。使用一个去噪声滤波器可以有效地消除这种噪声。
举例来说，在下列非专利文献1中描述了用于减小噪声和提高清晰度的方法。
【非专利文献1】ANILK.Jain，“Fundamentals of Digital ImageProcessing”，Prentice Hall 1989，第7章。
发明内容
然而，使用低通滤波器和增强边缘部分会影响到输入图像的原始频率分量。也就是说，使用低通滤波器会恢复输入图像中所没有的高频分量系数，同时还会极大改变输入图像的原始低频分量系数值。对边缘部分来说，边缘增强处理是非常有效的，但是所述处理丝毫也没有增强其他部分。因此，低通滤波器的影响会导致出现图像模糊这样的缺陷。
在这里将会参考图1(a)和1(b)来对此进行具体描述。图1(a)是显示存在于输入图像中的块B1的频率分量系数的图示。图1(b)是一个显示在经过滤波和边缘增强处理的相同输入图像中存在的块B2的频率分量系数的图示。从这两个图示之间的比较可以看出，块B1的低频分量E1经历了在数值上变成块B2的低频分量E2的改变。这种频率分量的变化将会遗漏块的细节，由此导致输入图像变得模糊。此外在图像分辨率的转换过程中也会出现这个问题，而在上升采样图像尺寸的过程中则更是如此。
本发明的一个目的是减轻受到编码失真缩减、边缘增强以及分辨率转换处理的图像的模糊程度，由此保持输入图像的原始细节。
为了实现上述目的，依照本发明的一种图像信号处理方法，用于对处理对象图像执行滤波处理，该方法包括：导入处理对象图像的导入步骤；对处理对象图像执行滤波处理，以便产生已滤波图像的生成步骤，其中，所述滤波处理包括增强图像的高频分量的清晰度的处理；以及使用已滤波图像的高频分量，并且使用执行了已滤波图像的低频分量与处理对象图像的低频分量的加权加法运算后的低频分量，形成最终的图像信号的运算执行步骤。
依照本发明的另一种图像信号处理方法，用于对处理对象图像执行滤波处理，该方法包括：导入处理对象图像的导入步骤；获取处理对象图像的频率分量的第一获取步骤；通过对处理对象图像执行滤波处理来产生已滤波图像的第一生成步骤，其中，所述滤波处理包括增强图像的高频分量的清晰度的处理；获取已滤波图像的频率分量的第二获取步骤；使用已滤波图像的高频分量，并且使用执行了已滤波图像的低频分量与处理对象图像的低频分量的加权加法运算后的低频分量，产生经过函数运算的图像的频率分量的第二生成步骤；以及将经过函数运算的图像的频率分量变换成像素值，以便产生最终的图像信号的变换步骤。
依照本发明的一种图像信号处理设备，用于对处理对象图像执行滤波处理，该设备包括：用于导入处理对象图像的导入装置；用于获取处理对象图像的频率分量的第一获取装置；用于对处理对象图像执行滤波处理，以便产生已滤波图像的第一生成装置，其中，所述滤波处理包括增强图像的高频分量的清晰度的处理；用于获取已滤波图像的频率分量的第二获取装置；使用已滤波图像的高频分量，并且使用执行了已滤波图像的低频分量与处理对象图像的低频分量的加权加法运算后的低频分量，产生经过函数运算的图像的频率分量的第二生成装置；以及用于将经过函数运算的图像的频率分量变换成像素值，以便产生最终的图像信号的变换装置。
根据本发明的这些方面，在对输入图像执行了预定滤波处理之后，处理后的输入图像将会反映处理前的输入图像的一些或全部频率分量。这样则可以在保持输入图像原始信号特征的同时实现滤波处理的效果。特别地，对处理后的输入图像的一些或全部频率分量以及处理前的输入图像的一些或全部频率分量来说，其间执行的功能性操作将会抑止由于编码失真缩减和边缘增强所造成的图像细节的下降。由此将会提高图像的质量。
依照本发明的图像信号处理程序是一种允许计算机执行以下功能的程序，这些功能包括：用于导入处理对象图像的导入功能；用于获取处理对象图像频率分量的第一获取功能；用于对处理对象图像执行预定滤波处理，以便产生已滤波图像的第一生成功能；用于获取已滤波图像频率分量的第二获取功能；用于在已滤波图像的至少一部分频率分量与处理对象图像的至少一部分频率分量之间执行功能性操作，以便产生经过功能性操作的图像的频率分量的第二生成功能；以及用于将经过功能性操作的图像的频率分量变换成像素值的变换功能。通过产生和分发这个程序，除了上述操作效果之外，常规计算机甚至还允许简单快速地实现依照本发明的图像信号处理设备的功能。
在本发明的图像信号处理设备中，可以对第二生成装置进行配置，以便使用处理对象图像的至少一部分频率分量来替换已滤波图像的至少一部分频率分量，从而产生经过功能性操作的图像的频率分量。
此外，在本发明的图像信号处理设备中，可以将第二生成装置配置成对滤波图像的至少一部分频率分量以及处理对象图像的至少一部分频率分量执行加权加法，从而产生经过功能性操作的图像的频率分量。依照本发明，通过适当选择加权加法中使用的加权值，可以很容易地对在图像质量改进方面所应保留的滤波处理效果加以调整。
在前述图像信号处理方法、图像信号处理设备和图像信号程序中，滤波处理包括将已滤波图像转换成与处理对象图像具有不同分辨率(图像尺寸)的图像的处理。这个处理不但可以为进行过编码失真缩减处理和边缘增强处理的图像减轻因为频率分量变化所造成的模糊，而且还可以为进行过分辨率转换处理的图像减轻所述模糊。由此可以保持输入图像的原始细节。
本发明减轻了遭受到编码失真缩减和边缘增强或分辨率转换处理的图像的模糊性，同时还保持了输入图像的原始细节。
附图说明
图1是显示输入图像中存在的块的频率分量系数以及在经历了现有技术的滤波和边缘增强之后的输入图像中存在的块的频率分量系数的图示。
图2是显示本发明第一实施例中的图像信号处理设备的功能结构的框图。
图3是一个用于描述图像信号处理的流程图。
图4是一个用于描述作为图像信号处理中的一个进程而被执行的功能性操作处理的流程图。
图5是一个用于描述作为功能性操作处理中的一个进程而被执行的DCT系数确定处理的流程图。
图6是一个显示块A的DCT系数加权值的实例以及块B的DCT系数加权值的实例的图示。
图7是一个显示了块A的DCT系数加权值的另一个实例以及块B的DCT系数加权值的另一个实例的图示。
图8是一个显示了依照本发明的图像信号处理程序的数据结构的例图。
图9是一个显示了用于图像信号处理程序的存储区的结构实例、保存图像信号处理程序的记录介质实例以及在与计算机相连的驱动器中加载记录介质的状态的例示。
图10是显示本发明第二实施例中的图像信号处理设备的功能结构的框图。
图11是显示在第二实施例中借助于DCT而将分开的块转换成频域中的信号A(i，j)和B(i，j)的状态以及用系数C2替代系数D2或用系数C1替换系数D3的状态的图示。
具体实施方式
第一实施例
以下参考图2～7来对本发明第一实施例进行描述。
首先描述的是一种结构。图2是显示本实施例中的图像信号处理设备的功能结构的框图。如图2所示，图像信号处理设备1包括输入终端11(对应于导入装置)，块生成器12，离散余弦(DCT：离散余弦变换)变换器13(对应于第一获取装置)，低通滤波器14(对应于第一生成装置)，块生成器15，DCT变换器16(对应于第二获取装置)，功能性操作处理器17(对应于第二生成装置)，反向DCT变换器18(对应于变换装置)以及输出终端19。
来自兼容于MPEG-4AVC/H.264的解码器的图像将会馈送到输入终端11。此外，所述输入图像也可以是从与不同于H.264的编码系统相兼容的解码器输出的，例如MPEG-1和H.263。此外，所述输入图像也可以是从静止图像和运动图像的获取设备或从扫描仪输出的。
块生成器12将来自输入终端11的输入图像分成多个块，其中每个块都包含了N×M个像素。在本实施例中，N＝M＝4，但是只要所述值是一个比输入图像像素总数足够小的整数，那么每个块中的像素数目则不局限于上述值。
DCT变换器13将块生成器12生成的各个块转换成频域中的信号。在本实施例中使用的是4×4的DCT操作，但是只要所述变换可以将来自块生成器12的输入变换成频域中的数据，那么所述变换则不局限于上述处理。此外，DCT变换器13还将输出信号A(i，j)经由信号线L3输出到功能性操作处理器17。
低通滤波器14滤出来自输入终端11的输入图像的高频分量并且输出一个已滤波图像。在本实施例中使用了一个(1，2，1)的3分支滤波器，但是所述低通滤波器并不仅限于这种滤波器。如果输入图像是从压缩数据中解压缩得到的图像，那么低通滤波器14会使用诸如图像压缩中所用量化参数或是指示预测方法的编码模式这样的信息来对滤波器强度进行自适应调整。然而此时则有必要从外部设备(未显示)导入上述信息。
低通滤波器14还能够执行一个用于提高输入图像清晰度的处理。为了提高清晰度，低通滤波器14会检测输入图像中的边缘部分，对检测到的边缘部分的差分信号进行计算，然后将计算结果与原始图像中的边缘部分相加。
块生成器15具有与块生成器12相类似的功能。所述块生成器15从低通滤波器14中接收经过滤波处理的输入图像，然后将该图像分成了各自包含4×4像素的块。
DCT变换器16则具有与DCT变换器13相类似的功能。DCT变换器16将块生成器15产生的每个块都变换成频域中的信号B(i，j)。在本实施例中，块生成器15位于低通滤波器14的下游，但是在反向装置中，DCT变换器16是在块生成之后对输入图像中的各个块进行滤波的。在这种情况下，DCT变换器16会对相邻的块执行滤波处理。
在执行DCT操作之后，功能性操作处理器17使用信号A(i，i)、B(i，j)的输入来执行预定的功能性操作，此外还输出信号C(i，j)。关于操作处理的细节将会在稍后得到说明，但是功能性操作处理器17会使得信号B(i，j)反映信号A(i，j)的一些频率分量，并且还会输出信号C(i，j)。
反向DCT变换器18将输入信号C(i，j)从频域信号变换成空间域的图像信号，并且还将所述信号输出到输出终端19。
此外还存在一个此处未曾显示的帧存储器，所述帧存储器与输出终端19相连。经过反向变换的图像信号则临时保存在帧存储器中。在保存了那些与一个图像相对应的图像信号的时候，这些图像信号将会馈送到一个显示设备(未显示)。
本实施例被配置成通过块生成器12和DCT变换器13来传递输入图像，以便获取信号A(i，j)，但在如果从外部馈送的是4x4的DCT系数，那么块生成器12和DCT变换器13并不是必要组件。特别地，在将服从H.264的解码器与输入终端11相连接的情况下，可以直接将DCT系数从解码器馈送到功能性操作处理器17。
以下将对所述操作进行描述。此外还会对构成依照本发明的图像信号处理方法的各个步骤进行描述。
首先，在图3中的步骤S1，作为处理对象的图像将会馈送到图像信号处理设备1。其中举例来说，所述输入图像可以是一个从压缩图像中解压缩得到的图像，也可以是一个通过摄影设备所获取的图像。在S2，输入图像被分为具有N×N像素的格式的块A。其中在当前实施例中，N＝4。随后则是对每一个N×N的块A进行DCT变换(S3)。
在S4将会对输入图像进行滤波处理，随后则将已滤波图像分成具有N×N像素的格式的块B(S5)。每一个构成分割图像的N×N的块B都是通过DCT进行变换(S6)。在S7中则对在S3和S6中得到的变换系数执行功能性操作。在本实施例中，块A的一些或全部变换系数替代了与之对应的块B的变换系数，由此可以产生一个块C。此后，块C通过反向DCT来进行反向变换(S8)，而经过反向变换的图像则是作为图像信号输出的。
在这里为构成一个输入图像的所有块都执行了S1到S8的顺序处理。
接下来参考图4的流程图来对功能性操作处理器17执行的功能性操作处理(图3中的S7)进行描述。
首先，S71将会接受变换到频域之后的块A(原始输入图像的块)以及变换到频域之后的块B(滤波图像的块)的输入。在这里，块A是位置与块B在滤波处理后的图像中的位置相对应的块。
S72则根据块A的信号(i，j)而将DCT系数确定为块B中的功能性操作对象，也就是将DCT系数确定为替换对象。所述系数的确定是借助于以下描述的三种技术中的一种实现的。
第一种技术将M×M的低频分量用作功能性操作对象。其中举例来说，M可以是2，但是M并不仅限于2。
第二种技术将块A中那些绝对值超出预定阈值的频率分量用作功能性操作对象。其中举例来说，所述阈值可以是16，但是所述阈值并不仅限于16。
第三种技术则包含了一个用于确定块A是否包含边缘部分的处理。以下将参考图5的流程图来对第三种技术进行详细说明。
DCT系数的确定处理是由功能性操作处理器17执行的。
在S721，块A的像素数据馈送到功能性操作处理器17。这种数据馈送可以通过将来自块生成器12的输出直接馈送到功能性操作处理器17来完成，但是并没有经过DCT变换器。接下来的步骤是尝试使用输入像素数据来检测块A的边缘部分(S722)。由于边缘检测处理是一种公知的常用图像分析技术，因此在这里省略了关于所述处理的例示和详细说明，然而举例来说，所述处理也可以通过Sobel方法或是Canny方法来加以实现。
当上述尝试导致检测到一个边缘部分的时候(S723；是)，所述流程将会移动到S724，从而将作为替换对象的系数数目判定为“零”。因此，经过滤波的块B是作为块C直接输出的。与之相反，在没有检测到边缘部分的时候(S723；否)将会确定块A中没有边缘，并且所述流程将会移动到S725。而在S725中则将N×N(N＝2)的低频分量确定为替换对象。
回到图4，在将系数确定为功能性操作对象之后，将会为块A的相应系数以及块B的相应系数确定加权值并以此作为乘数(S73和S74)。特别地，在第三种技术中，DCT系数确定处理(参照图5)实际上会输出一个边缘部分得到增强的块。同时，在没有边缘部分的块中将会反映原始信号的一部分。由此能够输出一个清楚的高质量图像。
图6(a)是显示S73中确定的加权值的实例的图示。如图6(a)所示，在这些分量中，作为块A的各个系数的乘数的加权值(原始图像的块)是不同的。其中举例来说，用于2×2的低频分量E3的加权值是“1”，而用于其他分量的加权值则全都为“0”。
图6(b)显示的是在S74中确定的加权值的一个实例。如图所示，在这些分量中，作为块B(已滤波的块)中各个系数的乘数的加权值是不同的。其中举例来说，用于2×2的低频分量E4的加权值是“0”，用于其他分量的加权值则全都是“1”。
功能性操作处理器17将块A的系数与S73中确定的加权值相乘，并且将块B的系数与S74中确定的加权值相乘，然后则将这些乘法结果相加。这个操作将会导致产生块C(S75)，并且所述块C将会馈送到反向DCT变换器18(S76)。
通过使用图6(a)和图6(b)中所示的加权值，可以产生一个与使用块A的2×2低频分量替换块B的2×2低频分量的情况相同的结果。因此，如果使用图6(a)和图6(b)所示的加权值，则可以省略图4中S72到S74的处理。
图7(a)是显示在S73中确定的加权值的另一个实例的图示。如图7(a)所示，用于块A(原始图像块)的系数中的2×2低频分量E5的加权值是“0.6”，用于其他分量的加权值则全都是“0”。此外如图7(b)中所示，用于块B(已滤波块)的系数中的2×2低频分量E6的加权值是“0.4”，而用于其他分量的加权值则全都是“1”。
块A、B的加权加法是通过使用如上确定的加权值来执行的，由此将会产生一个块C。在这种情况下，功能性操作处理器17将块A的2×2低频分量以固定速率添加到块B的那些分量中，由此在保留滤波处理效果的同时还可以实现改善图像质量下降的效果。在本实施例中描述的是作为块A和块B的加权值组合的“0和1”、“0.6和0.4”以及“1和0”，但是这些值的组合也可以是任意确定的。
本发明并不局限于上述实施例中描述的内容，而是可以采用那些不脱离本发明实质的范围以内并且经过适当修改的形式。举例来说，本实施例对在二维空间方向上划分的图像执行了空间域和频域的处理。然而在这里也可以采用这样一种结构，其中多个在时间上连续的图像一起分成了时间方向上的块，并且滤波处理、频率变换处理以及功能性操作处理都是在时间轴上执行的。此外在这里也可以用小波变换来替换DCT。
最后将参考图8来描述用于实施依照本发明的图像信号处理方法的程序。
如图8所示，图像信号处理程序21保存在程序存储区20a中，其中所述存储区是在一个记录介质20中形成的。图像信号处理程序21可以由包括便携终端在内的计算机执行。所述图像信号处理程序21具有全面控制图像信号处理的主模块21a，稍后将会描述的输入模块21b，块生成模块21c，DCT模块21d，滤波模块21e，块生成模块21f，DCT模块21g，功能性操作处理模块21h，反向DCT模块21i以及输出模块21j。运行这些模块所实现的功能与上述图像信号处理设备1的组件的功能相类似。
在将图像信号处理程序21记录在记录介质20中的时候，所述程序能使包括便携终端在内的计算机很容易地执行以上实施例中描述的处理。更准确地说，图像信号处理程序21保存在例如具有图9(a)所示的物理格式的软盘的程序存储区20a中。在程序存储区20a中，多个磁道T是从外圆周向内圆周以同心方式形成的，在角方向上，每个磁道T都分成了16个扇区S。
如图9(b)所示，程序存储区20a是在软盘壳C中构造的，由此用软盘形成了记录介质20。如图9(c)所示，在将记录介质20载入通过电缆而与公知的常用计算机系统30相连的软盘驱动器31的时候，可以从记录介质20中读出图8所示的图像信号处理程序21。然后则经由软盘驱动器31将所述图像信号处理程序21传送到计算机系统30并且执行所述程序。
所述记录介质20并不仅限于软盘，它也可以是其他任何能够记录程序的记录介质，例如硬盘、IC(集成电路)卡、ROM(只读存储器)等等。
第二实施例
第一实施例使用的是低通滤波器14(参照图2)，但是也可以使用上升采样滤波器来替换所述滤波器，从而对来自输入终端的输入图像的分辨率(图像尺寸)进行转换。
以下将对本实施例与第一实施例之间的差别进行描述。
图10是一个显示本实施例中的图像信号处理设备的功能结构的框图。如图10所示，图像信号处理设备2包括输入终端21(相当于导入装置)，块生成器22，DCT变换器23(相当于第一获取装置)，上升采样滤波器24(相当于第一生成装置)，块生成器25，DCT变换器26(相当于第二获取装置)，功能性操作处理器27(相当于第二生成装置)，反向DCT变换器28(相当于转换装置)以及输出终端29。
输入终端21和块生成器22的功能与上述输入终端11和块生成器12的功能相似，因此在此省略关于这些装置的描述。
DCT变换器23将块生成器22产生的每个块都变换成频域中的信号。在本实施例中采用的是4x4的DCT。DCT变换器23将输出信号A(i，j)经由信号线M3输出到功能性操作处理器27。图11A(a)中的C1则显示了A(i，j)的一个实例。
上升采样滤波器24对来自输入终端21的输入图像执行内插处理，以便产生与输入图像具有不同分辨率的图像。本实施例描述了这样一种方案，作为实例，其中借助了在水平和垂直方向上分离的2分支滤波器(1，1)而将输入图像尺寸放大了四倍(在水平方向上放大了2倍并且在垂直方向上放大了2倍)。举例来说，在这里可以使用重复的超级分辨率处理作为上升采样处理。此外也可以应用下降采样处理来取代上升采样处理。
通过输入经过上升采样处理之后的图像，块生成器25将这个图像分成了各自包含8×8个像素的块。
DCT变换器26借助于8×8的DCT而将块生成器25产生的每个块变换成频域中的信号B(i，j)。图11(a)中的D1显示了B(i，j)的一个实例。由于经过上升采样的图像具有四倍于输入图像的尺寸，因此块的划分以及DCT都是以一个比输入图像处理维度更高的维度来执行的。
借助于输入经过DCT之后的信号A(i，j)、B(i，j)，功能性操作处理器27可以通过预定功能性操作来输出一个信号C(i，j)。这时，功能性操作处理器27将会使信号B(i，j)反映出信号A(i，j)的一些频率分量，并且还会将所述结果作为信号C(i，j)加以输出。如图11(b)所示，本实施例使用了一种以系数C2来替换系数D2或是以系数C1来替换系数D3的处理，但是在这里也可以使用加权加法。
反向DCT变换器28将来自频域中的信号的输入信号C(i，j)反向变换成空间域中的图像信号，然后将空间域的图像信号输出到输出终端29。
在这里还存在一个并未显示的帧存储器，所述帧存储器与输出终端29相连，而经过反向变换的图像信号则临时保存在这个帧存储器中。当保存了与一个图像相对应的图像信号时，所述图像信号将会输出到一个显示设备(未显示)。
如上所述，本实施例中的图像信号处理设备2能够缓解图像分辨率转换中出现的输入图像模糊现象，并且可以缓解编码失真缩减和边缘增强中出现的模糊现象。由此可以在转换了分辨率之后为输入图像保持图像的原始细节。
从由此描述的发明中可以清楚了解，在这里可以在很多方面对本发明加以变化。在这里并不认为这种变化与本发明的实质和范围相背离，并且这些本领域技术人员视为显而易见的修改全都包含在下列权利要求的范围以内。
Claims (6)
1.一种图像信号处理方法，用于对处理对象图像执行滤波处理，该方法包括：
导入处理对象图像的导入步骤；
对处理对象图像执行滤波处理，以便产生已滤波图像的生成步骤，其中，所述滤波处理包括增强图像的高频分量的清晰度的处理；以及
使用已滤波图像的高频分量，并且使用执行了已滤波图像的低频分量与处理对象图像的低频分量的加权加法运算后的低频分量，形成最终的图像信号的运算执行步骤。
2.根据权利要求1的图像信号处理方法，其中滤波处理包括将已滤波图像转换成与处理对象图像具有不同分辨率的图像的处理。
3.一种图像信号处理方法，用于对处理对象图像执行滤波处理，该方法包括：
导入处理对象图像的导入步骤；
获取处理对象图像的频率分量的第一获取步骤；
通过对处理对象图像执行滤波处理来产生已滤波图像的第一生成步骤，其中，所述滤波处理包括增强图像的高频分量的清晰度的处理；
获取已滤波图像的频率分量的第二获取步骤；
使用已滤波图像的高频分量，并且使用执行了已滤波图像的低频分量与处理对象图像的低频分量的加权加法运算后的低频分量，产生经过函数运算的图像的频率分量的第二生成步骤；以及
将经过函数运算的图像的频率分量变换成像素值，以便产生最终的图像信号的变换步骤。
4.一种图像信号处理设备，用于对处理对象图像执行滤波处理，该设备包括：
用于导入处理对象图像的导入装置；
用于获取处理对象图像的频率分量的第一获取装置；
用于对处理对象图像执行滤波处理，以便产生已滤波图像的第一生成装置，其中，所述滤波处理包括增强图像的高频分量的清晰度的处理；
用于获取已滤波图像的频率分量的第二获取装置；
使用已滤波图像的高频分量，并且使用执行了已滤波图像的低频分量与处理对象图像的低频分量的加权加法运算后的低频分量，产生经过函数运算的图像的频率分量的第二生成装置；以及
用于将经过函数运算的图像的频率分量变换成像素值，以便产生最终的图像信号的变换装置。
5.根据权利要求4的图像信号处理设备，其中第二生成装置使用处理对象图像的低频分量替换已滤波图像的低频分量，以便产生经过函数运算的图像的频率分量。
6.根据权利要求4的图像信号处理设备，其中滤波处理包括一个将已滤波图像转换成与处理对象图像具有不同分辨率的图像的处理。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003355549 | 2003-10-15 | ||
| JP2003355549 | 2003-10-15 | ||
| JP355549/2003 | 2003-10-15 | ||
| JP238673/2004 | 2004-08-18 | ||
| JP2004238673 | 2004-08-18 | ||
| JP2004238673A JP2005141722A (ja) | 2003-10-15 | 2004-08-18 | 画像信号処理方法、画像信号処理装置、及び画像信号プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1607809A CN1607809A (zh) | 2005-04-20 |
| CN100544396C true CN100544396C (zh) | 2009-09-23 |
Family
ID=34380423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2004100841681A Expired - Fee Related CN100544396C (zh) | 2003-10-15 | 2004-10-15 | 图像信号处理方法和设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20050100239A1 (zh) |
| EP (2) | EP1524858A3 (zh) |
| JP (1) | JP2005141722A (zh) |
| CN (1) | CN100544396C (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4832031B2 (ja) * | 2005-09-08 | 2011-12-07 | オリンパスイメージング株式会社 | 画像処理方法及び画像処理装置 |
| JP4882390B2 (ja) * | 2006-01-25 | 2012-02-22 | 富士ゼロックス株式会社 | 画像処理装置 |
| US7523865B2 (en) * | 2006-09-29 | 2009-04-28 | Konica Minolta Systems Laboratory, Inc. | High resolution barcode and document including verification features |
| KR20230107901A (ko) | 2008-12-19 | 2023-07-18 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 반도체 장치 |
| KR101873728B1 (ko) * | 2009-02-06 | 2018-07-04 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 표시 장치 구동 방법 |
| JP5448981B2 (ja) | 2009-04-08 | 2014-03-19 | 株式会社半導体エネルギー研究所 | 液晶表示装置の駆動方法 |
| KR101683378B1 (ko) * | 2015-05-29 | 2016-12-07 | 주식회사 칩스앤미디어 | 해상도 스케일링 방법 및 그 장치 |
| CN110149554B (zh) * | 2019-05-31 | 2021-06-15 | Oppo广东移动通信有限公司 | 视频图像处理的方法、装置、电子设备以及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6240135B1 (en) * | 1997-09-09 | 2001-05-29 | Lg Electronics Inc | Method of removing blocking artifacts in a coding system of a moving picture |
| CN1076932C (zh) * | 1993-03-26 | 2001-12-26 | 索尼公司 | 图像信号编码和解码的方法与装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5881180A (en) * | 1996-02-08 | 1999-03-09 | Sony Corporation | Method and apparatus for the reduction of blocking effects in images |
| US5933542A (en) | 1996-04-24 | 1999-08-03 | Sony Corporation | Method and apparatus for blocking effect reduction in images by post-processing in the spatial domain |
| AU727503B2 (en) * | 1996-07-31 | 2000-12-14 | Canon Kabushiki Kaisha | Image filtering method and apparatus |
| US5867606A (en) | 1997-08-12 | 1999-02-02 | Hewlett-Packard Company | Apparatus and method for determining the appropriate amount of sharpening for an image |
| KR100247938B1 (ko) * | 1997-11-19 | 2000-03-15 | 윤종용 | 영상처리 시스템의 디지탈 초점 조절방법 및 장치 |
| US6297847B1 (en) * | 1998-08-03 | 2001-10-02 | S3 Graphics Co., Ltd. | Removal of interpolation artifacts in a non-interlaced video stream |
| US6421468B1 (en) * | 1999-01-06 | 2002-07-16 | Seiko Epson Corporation | Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation |
| JP4053185B2 (ja) * | 1999-06-22 | 2008-02-27 | 富士フイルム株式会社 | 画像処理方法および装置 |
| US6839152B2 (en) * | 2000-12-06 | 2005-01-04 | Xerox Corporation | Adaptive filtering method and apparatus for descreening scanned halftoned image representations |
| FR2823338A1 (fr) * | 2001-04-10 | 2002-10-11 | Koninkl Philips Electronics Nv | Procede et dispositif de post traitement d'images numeriques |
| JP4316170B2 (ja) * | 2001-09-05 | 2009-08-19 | 富士フイルム株式会社 | 画像データ作成方法および装置 |
| US20090196524A1 (en) * | 2008-02-05 | 2009-08-06 | Dts Digital Images, Inc. | System and method for sharpening of digital images |
-
2004
- 2004-08-18 JP JP2004238673A patent/JP2005141722A/ja active Pending
- 2004-09-22 EP EP20040022571 patent/EP1524858A3/en not_active Ceased
- 2004-09-22 EP EP20100180770 patent/EP2268032A3/en not_active Withdrawn
- 2004-09-23 US US10/947,292 patent/US20050100239A1/en not_active Abandoned
- 2004-10-15 CN CNB2004100841681A patent/CN100544396C/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1076932C (zh) * | 1993-03-26 | 2001-12-26 | 索尼公司 | 图像信号编码和解码的方法与装置 |
| US6240135B1 (en) * | 1997-09-09 | 2001-05-29 | Lg Electronics Inc | Method of removing blocking artifacts in a coding system of a moving picture |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1607809A (zh) | 2005-04-20 |
| EP1524858A2 (en) | 2005-04-20 |
| EP2268032A3 (en) | 2012-10-17 |
| JP2005141722A (ja) | 2005-06-02 |
| EP2268032A2 (en) | 2010-12-29 |
| EP1524858A3 (en) | 2007-12-05 |
| US20050100239A1 (en) | 2005-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4139765B2 (ja) | 画像処理方法および画像処理装置、並びに画像処理プログラムおよび記録媒体 | |
| US6668097B1 (en) | Method and apparatus for the reduction of artifact in decompressed images using morphological post-filtering | |
| JP5149310B2 (ja) | クロマ・サンプル位置決め情報のシグナリングおよび使用 | |
| JP5144202B2 (ja) | 画像処理装置およびプログラム | |
| CN102224734B (zh) | 图像处理设备和方法 | |
| EP0842586B1 (en) | Jpeg compression circuit with filtering | |
| JP4337463B2 (ja) | 画像処理装置、画像処理システム、撮像装置および画像処理方法 | |
| CN102104783A (zh) | 图像处理装置、图像处理方法和图像拍摄装置 | |
| JP2856300B2 (ja) | 画像符号化装置および復号装置 | |
| CN100544396C (zh) | 图像信号处理方法和设备 | |
| KR20100016272A (ko) | Ｐｉｘｏｎ 방법을 사용한 이미지 압축 및 압축 해제 | |
| JP5254030B2 (ja) | ディジタル処理手段にデータを提供する方法 | |
| JP5092536B2 (ja) | 画像処理装置及びそのプログラム | |
| Lam et al. | Demosaic: Color filter array interpolation for digital cameras | |
| US6523051B1 (en) | Digital signal transformation device and method | |
| JP2005176350A (ja) | ノイズの入った圧縮画像の印刷処理 | |
| US11763423B1 (en) | Luminance-guided image de-mosaicing and de-noising | |
| Mukherjee et al. | Demosaicing of images obtained from single-chip imaging sensors in YUV color space | |
| US6360018B1 (en) | Image processing apparatus and method | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| US20030215151A1 (en) | Interpolation of video and audio digital data | |
| Deepthi Jordhana et al. | Various filter algorithms using impulse noise removal in digital images with image fusion technique | |
| KR102337745B1 (ko) | 이중 도메인 뉴럴 네트워크 기반 영상 내 모아레 무늬 제거 장치 및 방법 | |
| JP2007158524A (ja) | 画像符号化装置及び画像符号化方法 | |
| JPH11146420A (ja) | カラー固体撮像カメラシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090923 Termination date: 20191015 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |