CN104285239A - 图像处理装置、图像处理方法、程序、印刷介质以及记录介质 - Google Patents

图像处理装置、图像处理方法、程序、印刷介质以及记录介质 Download PDF

Info

Publication number
CN104285239A
CN104285239A CN201380025075.9A CN201380025075A CN104285239A CN 104285239 A CN104285239 A CN 104285239A CN 201380025075 A CN201380025075 A CN 201380025075A CN 104285239 A CN104285239 A CN 104285239A
Authority
CN
China
Prior art keywords
mentioned
image
decomposition
subband signal
windmill
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380025075.9A
Other languages
English (en)
Other versions
CN104285239B (zh
Inventor
新井仁之
新井偲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Publication of CN104285239A publication Critical patent/CN104285239A/zh
Application granted granted Critical
Publication of CN104285239B publication Critical patent/CN104285239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration by non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Abstract

针对图像数据,进行基于作为没有方位性的近似滤波器以及具有各方位性的多个细节滤波器的集合的、具有次数的广义风车小框架或风车小波框架的多分辨率分解,并获取子带信号,在获取基于多分辨率分解的分解阶段的子带信号的处理图像数据、或者通过将多分辨率分解的合成阶段的子带信号相加而重构图像后的处理图像数据的情况下,进行使与滤波器的至少一个对应的、多分辨率分解的分解阶段中的子带信号衰减或放大的处理。

Description

图像处理装置、图像处理方法、程序、印刷介质以及记录介质
技术领域
本发明涉及一种图像处理装置、图像处理方法、程序、印刷介质以及记录介质。
背景技术
以往,曾开发出针对原始图像进行清晰度(图像锐化)或边缘检测等图像处理的方法。
例如,在非专利文献1所记载的程序产品中,为了进行图像锐化而进行局部对比度控制,以使检测出边缘较亮的一侧的像素并使其更亮,且检测出边缘较暗的一侧的像素并使其更暗。
另外,在非专利文献2所记载的方法中,作为人的初期视觉信息处理的数理模型,使用最大重叠双正交小波滤波器组,针对灰度的原始图像进行非线性处理。
另外,以往,作为边缘检测的方法,使用单纯滤波的方法或小波的方法广为人知(参照非专利文献6,7)。
现有技术文献
非专利文献
非专利文献1:Adobe Systems Incorporated,“Photoshop的帮助&支持/高度清晰化的方法”,[on line],2006年4月6日完成,[平成24年5月9日检索],网络<URL:http://www.adobe.com/jp/designcenter/photoshop/articles/phscs2at_advsharpen.html>
非专利文献2:Hitoshi Arai,“A Nonlinear Model of VisualInformation Processing Based on Discrete Maximal OverlapWavelets”,Interdisciplinary Information Sciences,Vol.11,No.2,pp.177~190(2005).
非专利文献3:Hitoshi Arai and Shinobu Arai,2D tightframelets with orientation selectivity suggested by vision science,JSIAM Letters Vol.1,pp.9~12(2009).
非专利文献4:Hitoshi Arai and Shinobu Arai,Finite discrete,shift-invariant,directional filterbanks for visual informationprocessing,I:construction,Interdisciplinary Information Science,Vol.13,No.2,pp.255~273(2007).
非专利文献5:E.N.Johnson,M.J.Hawken and R.Shapley,Thespatial transformation of color in the primary visual cortex of themacaque monkey,Nature Neuroscience,Vol.4,No.4,PP.409~416(2001).
非专利文献6:P.J.Van Fleet,Discrete Wavelet Transformations,Wiley,2008.
非专利文献7:R.C.Gonzalez and R.E.Woods.Digital ImageProcessing,3rdEd.,Pearson International Edition,2008.
发明内容
发明要解决的技术课题
但是,在以往的图像处理方法中存在难以进行自然的图像锐化或多样的边缘检测的问题。
例如,在非专利文献1所记载的程序产品中,由于使边缘部分的亮度一律上下改变,因此,即使针对对比度充分之处,也使对比度极度变高直至接近于黑白,因此,存在变得不自然的这一问题。另外,非专利文献2所记载的方法的问题在于,其是针对黑白图像作为错觉分析的一个环节而进行的方法,不能够应用于彩色图像的锐化。
另外,在非专利文献6、7等以往的边缘检测方法中,存在频率分解能力或方位选择性不足,难以检测出针对不同目的的多样的边缘的这一问题。
本发明就是鉴于上述问题而实现的,其目的是,提供一种能够进行自然的图像锐化或各种边缘的检测等多样的图像处理的图像处理装置、图像处理方法、程序、印刷介质以及记录介质。
解决技术课题的手段
为了达到该目的,本发明的图像处理装置,其至少具有存储部和控制部,且特征为:上述存储部具有:滤波器存储单元,其存储具有次数的广义风车小框架或风车小波框架,上述广义风车小框架或风车小波框架是没有方位性的近似滤波器、以及具有各方位性的多个细节滤波器的集合;以及图像数据存储单元,其存储图像数据,上述控制部具有:分解单元,其针对上述图像数据进行基于广义风车小框架或风车小波框架的多分辨率分解,并获取子带信号;以及处理图像获取单元,其获取通过将从上述分解单元获取的、基于上述多分辨率分解的分解阶段中的上述子带信号的处理图像数据或上述多分辨率分解的合成阶段中的上述子带信号相加而对图像进行重构后的处理图像数据,上述分解单元还具有:处理单元,其进行使与上述滤波器的至少一个对应的上述多分辨率分解的上述分解阶段中的上述子带信号衰减或放大的处理。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述处理单元针对上述分解阶段中的上述子带信号进行线性或非线性的系数处理。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述处理单元针对上述分解阶段中的上述子带信号进行阈值处理。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述处理单元进行系数处理,以使将形成上述分解阶段中的上述子带信号的分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述处理单元使与多个上述滤波器之中的具有给定的频率特性以及/或者给定的方位性的上述滤波器的至少一个对应的上述分解阶段中的上述子带信号衰减或放大。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述给定的频率特性是由基于上述广义风车小框架或上述风车小波框架的各等级下的方位的给定的滤波器配置中的位置以及/或者上述多分辨率分解中的等级所指定的。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述处理单元使与多个上述滤波器之中的具有给定的频率特性以及/或者给定的方位性的奇数型滤波器的至少一个对应的上述分解阶段中的子带信号相对地放大。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述处理单元使与多个上述滤波器之中的具有给定的频率特性以及/或者给定的方位性的上述奇数型滤波器的至少一个对应的上述分解阶段中的子带信号放大,而且,还使与偶数型滤波器的至少一个对应的上述分解阶段中的子带信号相对地衰减。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述处理单元通过对从上述分解阶段输出的分解细节系数以及/或者分解近似系数进行处理,从而使上述分解阶段中的上述子带信号衰减或放大。
另外,本发明的图像处理方法是在至少具有存储部和控制部的图像处理装置中执行的图像处理方法,且特征为:上述存储部具有:滤波器存储单元,其存储具有次数的广义风车小框架或风车小波框架,上述广义风车小框架或风车小波框架是没有方位性的近似滤波器、以及具有各方位性的多个细节滤波器的集合;以及图像数据存储单元,其存储图像数据,上述图像处理方法在上述控制部中执行的步骤包括:分解步骤,针对上述图像数据进行基于广义风车小框架或风车小波框架的多分辨率分解,并获取子带信号;以及处理图像获取步骤,获取通过将从上述分解单元获取的、基于上述多分辨率分解的分解阶段中的上述子带信号的处理图像数据或上述多分辨率分解的合成阶段中的上述子带信号相加而对图像进行重构后的处理图像数据,上述分解步骤还具有:处理步骤,进行使与上述滤波器的至少一个对应的上述多分辨率分解的上述分解阶段中的上述子带信号衰减或放大的处理。
另外,本发明的程序是用于在至少具有存储部和控制部的图像处理装置中执行图像处理方法的程序,且特征为:上述存储部具有:滤波器存储单元,其存储具有次数的广义风车小框架或风车小波框架,上述广义风车小框架或风车小波框架是没有方位性的近似滤波器以及具有各方位性的多个细节滤波器的集合;以及图像数据存储单元,其存储图像数据,上述程序在上述控制部中执行:分解步骤,针对上述图像数据进行基于广义风车小框架或风车小波框架的多分辨率分解,并获取子带信号;以及处理图像获取步骤,获取通过将从上述分解单元获取的、基于上述多分辨率分解的分解阶段中的上述子带信号的处理图像数据或上述多分辨率分解的合成阶段中的上述子带信号相加而对图像进行重构后的处理图像数据,在上述分解步骤还执行:处理步骤,进行使与上述滤波器的至少一个对应的上述多分辨率分解的上述分解阶段中的上述子带信号衰减或放大的处理。
另外,本申请发明人经过不懈研究,根据以下的思路完成了本发明。即,人的视觉本能地进行能够看到想看的部分的信息处理。人会意识到各种各样的错觉,但这可以认为是视觉信息处理的结果。在此,如果数理模型接近于人的视觉信息处理,则安装了数理模型的计算机也应该计算出错觉。因此,本申请的发明人通过使用能够模拟明暗的错觉或颜色的对比错觉的数理模型,确认到:对原始图像实施接近于人的视觉的信息处理,能够只将想要看的部分锐化,从而完成了本申请发明。
即,本发明的图像处理装置,其至少具有存储部和控制部,且特征为:上述存储部具有:滤波器存储单元,其存储方位选择性小波框架或方位选择性滤波器组,上述方位选择性小波框架或方位选择性滤波器组是没有方位性的近似滤波器、以及具有各方位性的多个细节滤波器的集合;以及图像数据存储单元,其存储图像数据,上述控制部具有:分解单元,其针对上述图像数据的各颜色分量,进行基于上述方位选择性小波框架或上述方位选择性滤波器组的多分辨率分解,并获取子带信号;以及重构单元,其将通过上述分解单元获取的各颜色分量的上述合成阶段中的上述子带信号相加而对图像进行重构,并获取重构图像数据,上述分解单元还具有:系数处理单元,其在上述多分辨率分解的分解阶段与合成阶段之间,针对从上述分解阶段输出的分解细节系数进行系数处理,以使将该分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述颜色分量是CIELAB颜色空间中的L*、a*以及b*、或接近于人的视觉的颜色空间的各颜色分量。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述系数处理单元针对上述图像数据的a*以及/或者b*的颜色成分分量进行按如下方式修正的上述系数处理,即:将由a*以及/或者b*的上述分解细节系数与L*中的分解细节系数所确定的能量越大则绝对值越小的值抑制得更小,将上述能量越小则绝对值越小的值增大。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述系数处理单元使用自动地进行连续变化的函数,在上述分解细节系数的能量大的情况下,对S字曲线进行上述系数处理,在上述分解细节系数的能量小的情况下,对N字曲线进行上述系数处理。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述系数处理单元在上述分解阶段与上述合成阶段之间,将上述分解细节系数归一化,将被归一化后的上述分解细节系数即归一化分解细节系数的范数作为上述能量,对该归一化分解细节系数进行上述系数处理,并对被系数处理后的上述归一化分解细节系数进行上述归一化的逆运算。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述系数处理单元根据上述分解细节系数的符号的不同来进行个别的处理。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,上述分解单元使用上述方位性由水平方向、垂直方向和对角方向构成的双正交小波滤波器组、或上述方位性为多方向的广义风车小框架或风车小波框架,进行上述多分辨率分解。
另外,本发明的图像处理装置的特征为,在上述所述的图像处理装置中,基于上述分解单元进行的上述多分辨率分解是:最大重叠多分辨率分解、最大间隔剔除多分辨率分解、或者部分间隔剔除部分重叠多分辨率分解。
另外,本发明涉及一种图像处理方法,本发明的图像处理方法是在至少具有存储部和控制部的图像处理装置中执行的图像处理方法,且特征为:上述存储部具有:滤波器存储单元,其存储方位选择性小波框架或方位选择性滤波器组,上述方位选择性小波框架或方位选择性滤波器组是没有方位性的近似滤波器、以及具有各方位性的多个细节滤波器的集合;以及图像数据存储单元,其存储图像数据,上述图像处理方法在上述控制部中执行的步骤包括:分解步骤,针对上述图像数据的各颜色分量进行基于上述方位选择性小波框架或上述方位选择性滤波器组的多分辨率分解,并获取子带信号;以及重构步骤,通过将在上述分解步骤获取的各颜色分量的上述合成阶段中的上述子带信号相加从而对图像进行重构,并获取重构图像数据,上述分解步骤还具有:系数处理步骤,在上述多分辨率分解的分解阶段与合成阶段之间,针对从上述分解阶段输出的分解细节系数进行系数处理,以使将该分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。
另外,本发明涉及一种程序,本发明的程序是用于在至少具有存储部和控制部的图像处理装置中执行图像处理方法的程序,且特征为:上述存储部具有:滤波器存储单元,其存储方位选择性小波框架或方位选择性滤波器组,上述方位选择性小波框架或方位选择性滤波器组是没有方位性的近似滤波器、以及具有各方位性的多个细节滤波器的集合;以及图像数据存储单元,其存储图像数据,上述程序在上述控制部中执行:分解步骤,针对上述图像数据的各颜色分量进行基于上述方位选择性小波框架或上述方位选择性滤波器组的多分辨率分解,并获取子带信号;以及重构步骤,通过将在上述分解步骤获取的各颜色分量的上述合成阶段中的上述子带信号相加而对图像进行重构,并获取重构图像数据,上述分解步骤还具有:系数处理步骤,在上述多分辨率分解的分解阶段与合成阶段之间,针对从上述分解阶段输出的分解细节系数进行系数处理,以使将该分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。
另外,本发明涉及一种记录介质,其特征为,记录了上述所述的程序。
另外,本发明是一种印刷有处理图像的印刷介质,其特征为,在上述处理图像中,构成原始图像的由广义风车小框架或风车小波框架提取的各分量、或者由方位选择性小波框架或方位选择性滤波器组提取的各分量之中的给定的上述分量被衰减或放大。
另外,本发明是一种能够由计算机读取的记录介质,其记录了用于显示处理图像的图像数据,其特征为,在上述处理图像中,构成原始图像的、由广义风车小框架或风车小波框架提取的各分量、或者由方位选择性小波框架或方位选择性滤波器组提取的各分量之中的给定的上述分量被衰减或放大。
发明效果
根据本发明,针对图像数据,进行基于作为没有方位性的近似滤波器以及具有各方位性的多个细节滤波器的集合的、具有次数的广义风车小框架或风车小波框架的多分辨率分解,获取子带信号,当获取基于多分辨率分解的分解阶段(phase)中的子信号的处理图像数据、或通过将多分辨率分解的合成阶段中的子信号相加而重构图像的处理图像数据时,进行使与滤波器的至少一个对应的、多分辨率分解的分解阶段中的子信号衰减或放大的处理。由此,本发明发挥了能够进行自然的图像锐化或各种边缘检测等多种多样的图像处理的这一效果。广义风车小框架或风车小波框架能够进行多分辨率分解,具有多种频率选择性,并具有多种方位选择性,因此,能够执行适合不同目的的方位的边缘检测或适合不同目的的频率分量的提取等多种图像处理。
另外,根据本发明,由于对上述分解阶段中的子带信号进行线性或非线性的系数处理,因此,通过对从分解阶段输出的分解细节系数或分解近似系数,使用线性函数或非线性函数等,从而具有能够获得与系数值相应的图像处理结果的这一效果。
另外,根据本发明,由于对上述分解阶段中的子带信号进行阈值处理,因此,具有能够通过将阈值以下的微小变动除去或衰减而有效地除去噪声的效果。
另外,根据本发明,由于进行系数处理,以使将成为上述分解阶段中的子带信号的分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大,因此,具有能够通过使用接近于人的视觉信息处理的数理模型来实施接近于人的感觉的自然的图像锐化的这一效果。
另外,根据本发明,由于使与多个上述滤波器之中的具有给定频率特性以及/或者给定方位性的滤波器的至少一个对应的分解阶段中的子带信号衰减或放大,因此,具有能够获得将目标的频率分量或目标的方位分量进行了增减的多样的图像处理结果的这一效果。
另外,根据本发明,上述给定的频率特性是由以广义风车小框架或上述风车小波框架的各等级下的方位为基础的给定的滤波器配置中的位置以及/或者多分辨率分解中的等级所指定的,因此,具有能够指定多样的频率特性的这一效果。
另外,根据本发明,由于使与多个上述滤波器之中的具有给定的频率特性以及/或者给定的方位性的奇数型滤波器的至少一个对应的上述分解阶段中的子带信号相对地放大,因此,通过不经过合成阶段而直接输出,从而具有能够进行有立体感的边缘检测等这一效果。
另外,根据本发明,可以使与多个上述滤波器之中的具有给定的频率特性以及/或者给定的方位性的上述奇数型滤波器的至少一个对应的上述分解阶段中的子带信号相对地放大,并且可以使与上述多个滤波器之中的偶数型滤波器的至少一个对应的上述分解阶段中的子带信号相对地衰减,因此,具有能够进行更有效的有立体感的边缘检测等这一效果。
另外,根据本发明,通过对从上述分解阶段输出的分解细节系数以及/或者分解近似系数进行系数处理,从而使分解阶段中的子带信号衰减或放大,因此,具有能够通过执行与系数值相应的系数处理从而获得多种图像处理结果的这一效果。
另外,根据本发明,存储作为没有方位性的近似滤波器以及具有各方位性的多个细节滤波器的集合的、方位选择性小波框架或方位选择性滤波器组和图像数据,针对图像数据的各颜色分量,进行基于方位选择性小波框架或方位选择性滤波器组的多分辨率分解,并获取子带信号,通过将各颜色分量的合成阶段中的子带信号相加来重构图像,在获取重构图像数据的情况下,在多分辨率分解的分解阶段与合成阶段之间,针对从分解阶段输出的分解细节系数进行系数处理,以使将该分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。由此,本发明具有能够对彩色图像进行自然的图像锐化的这一效果。更具体而言,本发明能够通过使用接近于人的视觉信息处理的数理模型,从而对彩色图像实施接近于人的感觉的自然的图像锐化。
另外,根据本发明,作为上述颜色分量,使用CIELAB颜色空间中的L*、a*以及b*或接近于人的视觉的颜色空间的各颜色分量。由此,本发明具有能够进行接近于人的感觉的自然的图像处理的这一效果。
另外,根据本发明,关于上述图像数据的a*以及/或者b*的颜色分量,进行按如下方式修正的上述系数处理,即:将由a*以及/或者b*的上述分解细节系数与L*中的上述分解细节系数所确定的能量越大则绝对值越小的值抑制得更小,将上述能量越小则绝对值越小的值增大。由此,具有能够进行使亮度的效果和颜色的效果协同发挥的、对于人的视觉感知来讲自然的锐化的这一效果。
另外,根据本发明,使用自动地进行连续变化的函数,在上述分解细节系数的能量大的情况下对S字曲线进行上述系数处理,在在上述分解细节系数的能量小的情况下对N字曲线进行上述系数处理。由此,本发明具有以下效果,即:能够使用利用从S字曲线到N字曲线连续变化的函数的运算来合适地执行系数处理,以使将该分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。更具体讲,使用在周围的刺激大的情况下使分解细节系数的偏差变大、而在周围的刺激小的情况下使分解细节系数的偏差变小的函数,由此,变成:在周围刺激大的情况下,小的刺激被减弱;在周围刺激小的情况下,即使是小的刺激也能够意识到,因此,能够针对每个图像而自动地执行适当的锐化。
另外,根据本发明,在上述分解阶段与上述合成阶段之间,将上述细节分解系数归一化,将作为被归一化后的上述分解细节系数的归一化分解细节系数的范数作为上述能量,对该归一化分解细节系数进行上述系数处理,并对被系数处理后的上述归一化分解细节系数进行上述归一化的逆运算。由此,本发明具有能够通过归一化来容易地在函数处理或能量计算等中处理系数的这一效果。
另外,根据本发明,由于可以根据上述分解细节系数的符号的不同进行个别的处理,因此,具有能够进行更接近于人的视觉的自然的锐化,或反过来对人的视觉进行补充的自然的锐化等细致的锐化的这一效果。
另外,根据本发明,使用上述方位性由水平方向、垂直方向和对角方向构成的双正交小波滤波器组、或上述方位性为多方向的广义风车小框架或风车小波框架,进行上述多分辨率分解。由此,本发明具有以下效果,即:能够使用双正交小波滤波器组进行简单的计算,或者使用广义风车小框架或风车小波框架进行精密的计算。
另外,根据本发明,上述多分辨率分解是最大重叠多分辨率分解、最大间隔剔除多分辨率分解、或者部分间隔剔除部分重叠多分辨率分解,因此,能够进行合适的多分辨率分解来获取分解细节系数,而且,不仅是高频分量,低频分量也被多分辨率地处理,因此,具有能够执行不仅能增强边缘的锐化,还能够执行自然的锐化的这一效果。
另外,本发明是一种记录了用于显示处理图像的图像数据的、能够由计算机读取的记录介质或印刷处理图像的印刷介质,构成原始图像的、由广义风车小框架或风车小波框架提取的各分量、或者由方位选择性小波框架或方位选择性滤波器组提取的各分量之中的给定的分量被衰减或放大,因此,在任意的原始图像中,能够提示实施了自然的图像锐化或各种边缘检测等多样的图像处理的处理图像。
附图说明
图1是表示使用本实施方式的本图像处理装置的结构的一个示例的框图。
图2是表示将次数5的等级3的最大重叠风车小框架滤波器与次数5的等级1和等级2的最大重叠风车小框架近似滤波器进行循环相关积而获得的滤波器的图。
图3是表示将次数7的等级2(高频数侧)的最大重叠风车小框架滤波器与等级1的最大重叠风车小框架近似滤波器进行循环相关积的滤波器的图。
图4是表示将次数7的等级3(低频数侧)的最大重叠风车小框架滤波器与等级1和等级2的最大重叠风车小框架近似滤波器进行循环相关积的滤波器的图。
图5是在次数7、等级k的风车小框架中用ak(1)表示近似部分,用dk(1)~dk(99)的标号(编号)表示细节部分的图。
图6是表示本实施方式的图像处理装置100的基本处理的一个示例的流程图。
图7是表示最大重叠多分辨率分解的滤波器组的一个示例的图。
图8是表示最大重叠多分辨率分解的滤波器组的一个示例的图。
图9是表示本实施方式的图像处理装置100的彩色图像锐化处理的一个示例的流程图。
图10是表示最大重叠多分辨率分解的分解阶段以及合成阶段的滤波器组的一个示例的图。
图11是表示伴随着归一化的分解细节系数的系数处理的一个示例的流程图。
图12是将原始图像(512×512像素)、基于本实施方式的锐化图像、与基于以往的方法的锐化图像进行对比显示的图。
图13是表示在图12的各照片中自左边起第400个像素的列的L*值的图表。
图14是表示在图12的各照片中自左边起第400个像素的列的a*值的图表。
图15是表示在图12的各照片中自左边起第400个像素的列的b*值的图表。
图16是表示颜色的对比错觉图像的一个示例的图。
图17的图表示的是:图16中的原始图像的内侧四角部分(原始图像A与B共通)、作为原始图像A的图像处理结果的处理图像A的内侧四角部分、以及作为原始图像B的图像处理结果的处理图像B的内侧四角部分。
图18是表示颜色的对比错觉图像的其他示例的图。
图19的图表示的是:图18中的原始图像的内侧四角部分(原始图像C与D共通)、作为原始图像C的图像处理结果的处理图像C的内侧四角部分、以及作为原始图像D的图像处理结果的处理图像D的内侧四角部分。
图20是表示颜色的对比错觉图像的其他示例的图。
图21的图表示的是:图20中的原始图像的内侧四角部分(原始图像E与F共通)、作为原始图像E的图像处理结果的处理图像E的内侧四角部分、以及作为原始图像F的图像处理结果的处理图像F的内侧四角部分。
图22是用于说明在本实施例使用的硬阈值的图表。
图23是在加入本实施例所使用的噪声之前的原始图像。
图24是表示在图23中的原始图像中加入高斯型白噪声之后的噪声图像的图。
图25是在墓于以往的小波的噪声除去方法中使用symlet4作为小波的处理图像。
图26是图25的部分放大图。
图27是根据本实施方式使用5次风车小框架得到的处理图像。
图28是图27的部分放大图。
图29是在根据本实施方式使用7次风车小框架按照每一滤波器改变阈值的情况下得到的处理图像。
图30是图29的部分放大图。
图31是利用斜线表示等级2下进行阈值处理的细节系数的图。
图32是根据本实施方式使用7次风车小框架从等级1到等级2的高频部分进行了阈值处理的处理图像。
图33是图32的部分放大图。
图34是表示在本实施例中用于边缘检测的原始图像的图。
图35是表示7次风车小框架的等级1下的加权系数的图。
图36是表示7次风车小框架的等级2下的加权系数的图。
图37是表示将通过边缘检测例1得到的处理图像进行了删失的图像的图。
图38是表示以t=1进行了二值化的处理图像的图。
图39是表示7次风车小框架的等级1下的加权系数的图。
图40是表示7次风车小框架的等级2下的加权系数的图。
图41是表示根据边缘检测例2的删失处理图像的图。
图42是表示根据边缘检测例2的二值化处理图像的图。
图43是表示将进行删失处理而设成了15倍的处理图像添加到原始图像后的图像的图。
图44是表示次数5的风车小框架的分解阶段中的52个子带信号的编号的图。
图45是针对从噪声除去结果得到的处理图像,表示以二值化的方法(t=0.37)显示的图像的图。
图46是表示以删失的方法(m1=0,m2=1)显示处理图像后的图像的图。
图47是表示7次的风车小框架的等级1下的加权系数的图。
图48是表示7次的风车小框架的等级2下的加权系数的图。
图49是表示进行了m1=-4、m2=0的删失的处理图像的图。
图50是表示进行了m1=-2、m2=0的删失的处理图像的图。
图51是表示进行了m1=-6,m2=0的删失的处理图像的图。
图52是表示以m1=0、m2=255进行了删失处理的结果的图。
图53是表示原始图像的图。
图54是表示进行了具有立体感的特征提取的结果的图。
图55是表示针对进行了具有立体感的特征提取的输出图像,将灰度反转显示后的图像的图。
图56是表示将次数7的等级2的最大重叠风车小框架滤波器(maximal overlap pinwheel framelet filters at level 2)与等级1的最大重叠风车小框架的近似滤波器循环相关积获得的滤波器的图。
图57是表示针对测试图像利用次数7的风车小框架进行了等级2的最大重叠多分辨率分解(2nd stage of maximal overlapMRA decomposition by pinwheel framelet)的结果的各合成子带信号的图。
具体实施方式
以下,基于附图对本发明所涉及的图像处理装置、图像处理方法、程序、印刷介质以及记录介质的实施方式进行详细说明。另外,本发明不由该实施方式进行限定。例如,作为基于本实施方式的图像处理的示例,有时要对用于彩色图像的图像锐化或噪声除去和边缘检测等用途的示例进行说明,但本发明不局限于此,也可以用于清晰度、边缘增强、对比度调整、颜色修正、特征提取、模式识别、凹洞错觉自动生成等各种目的。
[图像处理装置的结构]
接下来,参照图1对本图像处理装置的结构进行说明。图1是表示使用本实施方式的本图像处理装置的结构的一个示例的框图,在该结构之中,只对涉及本实施方式的部分进行概念性表示。
在图1中,图像处理装置100大致上具有控制部102、通信控制接口部104、输入输出控制接口部108以及存储部106。在此,控制部102是统一地控制整个图像处理装置100的CPU等。输入输出控制接口部108是与输入装置112或输出装置114连接的接口。另外,存储部106是保存各种数据库或表等的装置。这些图像处理装置100的各部分经由任意的通信路径以能够通信的方式连接。
保存在存储部106中的各种文件(小框架文件106a以及图像数据文件106b)是硬盘装置等的存储单元。例如,存储部106保存用于各种处理的各种程序、表、文件、数据库以及网页等。
这些存储部106的各结构要素之中的小框架文件106a是滤波器存储单元,其存储作为没有方位性的近似滤波器以及具有各方位性的多个细节滤波器的集合的、方位选择性小波框架或方位选择性滤波器组。另外,在本实施方式中,“小波”不局限于古典的小波或狭义的小波等,也包括广义的小波。例如,小波是有限长度波形、或伴随着从0起放大并迅速收敛到0的这种振幅的波型振动,作为一个示例,包括加伯滤波器或曲波这样的伪小波。
在此,在本实施方式中,作为能够表现为具有多样的频率特性或方位性的、有少量台的可微分的函数的FIR滤波器,有时使用风车小框架(pinwheel framelet)(参照后面要提到的项目[风车小框架]),但不局限于此,例如,可以使用以下的小框架,即:简单风车小框架(simple pinwheel framelet)(参照非专利文献3)、或将构成风车小框架的定义式(例如,在项目[风车小框架]中要提到的公式F1 k,I1,θ2)或公式F2 k,I1,θ2))的项的系数、以及/或者指数变更而得到的小框架、以及将构成简单风车小框架的滤波器的频率响应函数的项([非专利文献3])的系数变更而得到的小框架等。将它们以及(上述狭义的)风车小框架总称为广义风车小框架。在此,“广义风车小框架”是没有方位性的近似滤波器以及具有各方位性的多个细节滤波器的集合,是具有次数的滤波器组。换句话说,将风车小框架、在[非专利文献3]中导入的简单风车小框架、以及在这些小框架的滤波器中添加了修正的小框架称为“广义风车小框架”。广义风车小框架是具有方位选择性的二维小框架。另外,广义风车小框架具有是由能够多分辨率分解、具有多样的方位选择性、有限长度的滤波器构成的滤波器组的这一性质。另外,风车小框架比简单风车小框架更会反映出人的大脑内的视觉信息处理的特性,在这一点上具有优异的功能,因而与众不同,而且构成的方法也大不相同。
另外,在本实施方式中,也可以使用风车小波框架(pinwheelwavelet frame)(参照非专利文献4)。
作为一个示例,风车小框架是通过将基于人的视觉皮层的单细胞的信息处理进行数理模型化而得到的。该分解是在人的脑内由单细胞分解的信号的数理性模型。风车小框架波具有次数,次数为3以上的奇数,次数变得越多,则越能检测出相应多的方位,因此,能够制成多样的文件。另外,具有滤波器的个数也相应地变多、计算时间也增加的这一性质。此外,作为一个示例,次数n的风车小框架的滤波器个数成为(n+1)2+(n-1)2。其中,一个滤波器为近似滤波器,剩余的滤波器为细节滤波器。在此,图2为将次数5的等级3的最大重叠风车小框架滤波器与次数5的等级1和等级2的最大重叠风车小框架近似滤波器进行循环相关积而得到的滤波器(关于循环相关积,例如参照新井仁之著「线性代数基础和应用」株式会社日本评论社(2006年))。另外,风车小框架与简单风车小框架相比,从神经科学来考虑,成为更接近于大脑皮层V1区域的单细胞的模型。
该风车小框架为次数5,因此,例如,如图2所示,各等级,是由左侧的6×6个滤波器和右侧的4×4个滤波器相加在一起而总计52个滤波器的集合构成的。其中,由图中央的上部的黑色矩形围起来的一个滤波器是通过等级1到等级3的近似滤波器的循环相关积而得到的滤波器,其他的51个滤波器,与等级3的细节滤波器相比,是将等级1到2的近似滤波器进行循环相关积而得到的滤波器。由细节滤波器所制作的上述滤波器的方位性,以仅由近似滤波器制作的滤波器为中心,并大致按风车旋转的方向排列。另外,后面将会详细提到,在各次数的风车小框架所产生的最大重叠多分辨率分解中具有等级,等级1检测出最细致的部分(高频部分)。图2为等级3的风车小框架,随着大到等级2、3...,检测出粗略的部分(低频部分)。另外,小框架文件106a也可以将风车小框架等的方位选择性小波框架以函数的形式(小框架滤波器的频率响应函数等)存储。关于函数的具体示例,将在后面叙述。
另外,不局限于上述内容,在本实施方式中也可以使用各种小波。不过,在本实施方式中,为了增减多样的频率分量或方位分量,优选使用具有多样的频率特性或方位性的广义风车小框架或风车小波框架。在此,小波不局限于古典的小波或狭义的小波等,也包括广义的小波。例如,小波是有限长度波形、或伴随着从0起放大并迅速收敛到0的这种振幅的波型振动,作为一个示例,包括加伯滤波器或曲波这样的伪小波。另外,小框架文件106a不局限于方位选择性小波框架这样的框架,也可以存储方位选择性滤波器组等滤波器组或具有方位性的滤波器。作为一个示例,具有各方位性的滤波器是具有各方位性的多个细节滤波器,例如,子带信号等的分量被滤波器提取。另外,关于风车小波框架,所构成的滤波器的长度会根据原始图像的像素数变化,相比之下,关于广义风车小框架,具有滤波器的长度与像素数无关的这一性质。例如,风车小框架是具有方位选择性的二维小框架,是小波框架的一种。另外,不局限于方位性为多方向的风车小框架,也可以使用方位性由水平方向、垂直方向和对角方向构成的双正交小波滤波器组。
另外,图像数据文件106b是存储图像数据的图像数据存储单元。在此,存储在图像数据文件106b中的图像数据,既可以是按照各颜色分量事先记载了色调或灰度值等的图像数据,也可以是没有根据本实施方式处理的颜色分量进行记载的图像数据。另外,在后者的情况下,通过后面要提到的颜色空间变换部102f变换成所希望的颜色空间,并被分解成各颜色分量。另外,存储在图像数据文件106b中的图像数据,既可以是经由输入装置112输入的图像数据,也可以是由外部系统200等经由网络300接收到的图像数据。另外,图像数据既可以是彩色图像的图像数据,也可以是灰度的图像数据。另外,将通过风车小框架等的方位选择性小波框架而被多分辨率分解之前的原来的图像(数据)称为原始图像;将基于子带信号重构之后的图像(数据)称为重构图像(数据)。另外,将基于对多分辨率分解的分解阶段中的子带信号施加了处理的信号形成的图像(数据)、或通过将多分辨率分解的合成阶段中的子带信号加在一起而重构的图像(数据)称为处理图像(数据)。即,后者的处理图像(数据)是重构图像(数据)的一种形式,而前者的处理图像(数据)不是重构图像(数据)。为了明确两者的区别,以下,有时会将前者的处理图像(数据)称为“系数输出处理图像(数据)”;将后者的处理图像(数据)称为“重构处理图像(数据)”。在此,图像数据文件106b可以将与目标的原始图像的图像数据图像大小(像素数)相同的单位脉冲信号作为图像数据来存储。另外,存储在图像数据文件106b中的单位脉冲信号被作为图像数据而同样地输入到存储在小框架文件106a中的滤波器组,所输出的单位脉冲响应是为了高速计算目标的原始图像的图像数据而使用的。另外,图像数据是例如光栅形式或向量形式的二维图像数据等。另外,作为一个示例,图像可以是表示设计(图案)、照片和文字等的任意的图像。另外,图像不局限于静止图像,也可以是动态图像(影像)。
再次返回到图1,输入输出控制接口部108进行输入装置112或输出装置114的控制。在此,作为输出装置114,能够采用显示器(包括家庭用电视机)等显示装置、打印机等打印装置等。此外,作为输入装置112,除了照相机等摄像装置、与外部存储介质连接的输入装置等之外,能够使用键盘、鼠标以及麦克风等。
此外,在图1中,控制部102具有OS(Operating System)等控制程序或对各种处理步骤等进行了规定的程序以及用于保存所需数据的内部存储器。而且,控制部102通过这些程序等来进行用于执行各种处理的信息处理。控制部102从功能概念上来说具有分解部102a、处理图像获取部102c、颜色空间变换部102f以及处理图像输出部102g。另外,分解部102a还具有系数处理部102b。另外,处理图像获取部102c还具有重构部102d。
其中,分解部102a是针对图像数据进行基于存储于小框架文件106a中的、广义风车小框架等方位选择性小波框架或者方位选择性滤波器组的多分辨率分解,并取得子带信号的分解单元。在此,子带信号中具有多分辨率分解的分解阶段中的子带信号与多分辨率分解的合成阶段中的子带信号这两种。为了明确两者的区别,以下,有时会将分解阶段中的子带信号称为“分解子带信号”;将合成阶段中的子带信号称为“合成子带信号”。在此,“多分辨率分解”包括最大重叠多分辨率分解、最大间隔剔除多分辨率分解、以及部分间隔剔除部分重叠多分辨率分解(关于最大重叠多分辨率分解,参照例如新井仁之著「小波」共立出版株式会社(2010年))。另外,当通过分解部102a来计算多分辨率分解时,使用循环相关积、循环卷积,但也可以通过采用高速傅里叶变换的公知的高速计算方法来计算多分辨率分解。如上述那样,在基于风车小框架等方位选择性小波框架的多分辨率分解中存在等级。在此,图3以及图4为用于表示由风车小框架的等级所引起的差异的图,图3表示将等级2(高频侧)的最大重叠风车小框架滤波器与等级1的最大重叠风车小框架近似滤波器进行循环相关积而得到的滤波器,图4表示将等级3(低频侧)的最大重叠小框架滤波器与等级1和等级2的最大重叠风车小框架近似滤波器进行循环相关积而得到的滤波器。另外,次数都为7,因此,存在(7+1)2+(7-1)2=100个滤波器。
作为一个示例,分解部102a首先通过基于等级1的风车小框架的最大重叠多分辨率分解来检测出最细致的部分(高频部分),随着等级变大到2,3...,检测出粗略的部分(低频部分)。
在基于风车小框架的多分辨率分解中存在分解阶段和合成阶段。各阶段通过由近似滤波器和细节滤波器形成的滤波器组构成。分解部102a在执行分解阶段以及合成阶段中的图像处理之后,最终将原始图像数据分解为“滤波器数×等级”个图像信号(即,合成子带信号)。
例如,在进行次数7的风车小框架的等级5的最大重叠多分辨率分解的情况下,在某等级k(k=1到5)的子带信号中,存在对应于一个近似滤波器的一个近似部分、和对应于99个细节滤波器的99个细节部分。在此,图5为在次数7、等级k的风车小框架中,用ak(1)表示近似部分,用dk(1)~dk(99)的标号(编号)表示细节部分的图。另外,标号(编号)的位置与图3(k=2)或者图4(k=3)的各滤波器的位置建立对应。即、ak(1)以及dk(1)~dk(99)表示从图3或者图4中对应的位置的滤波器所获取的子带信号。
在此,分解部102a的系数处理部102b是一种处理单元,其进行使与多个滤波器的至少一个对应的多分辨率分解的分解阶段中的子带信号(即,分解子带信号)衰减或放大的处理。例如,系数处理部102b可以对分解子带信号进行线性或非线性的系数处理。作为一个示例,系数处理部102b可以进行基于硬阈值或软阈值等的阈值处理。另外,系数处理部102b可以使与多个滤波器之中的具有给定的频率特性以及/或者给定的方位性的滤波器的至少一个对应的分解子带信号衰减或放大。在此,给定的频率特性可以通过基于广义风车小框架的各等级的方位的给定的滤波器配置中的位置以及/或者多分辨率分解中的等级来指定。另外,大致划分的话,在分解子带信号中,存在基于分解细节系数的分解子带信号、和基于分解近似系数的分解子带信号这两种,系数处理部102b可以对从分解阶段输出的分解细节系数以及/或者分解近似系数进行系数处理。另外,“分解细节系数”是指:在广义风车小框架的分解阶段,通过进行基于分解细节滤波器的滤波而得到的系数;“分解近似系数”是指基于分解近似滤波器进行的滤波的系数。在利用广义风车小框架进行的分解阶段中的子带信号之中,有时将由近似系数构成的信号称为“分解阶段中的近似子带信号”;并将除此以外的信号称为“分解阶段中的细节子带信号”。另外,以下的表是将从原始图像的图像处理的过程中出现的术语归纳后的一览表。在使用广义风车小框架以外的方位选择性小波框架或方位选择性滤波器组的情况下也相同。
[表:术语一览]
原始图像
↓<分解阶段>
分解阶段中的子带信号(分解子带信号)
·从分解阶段输出的细节系数(分解细节系数)
·从分解阶段输出的近似系数(分解近似系数)
↓<各种处理>
↓→处理图像(系数输出处理图像)
↓<合成阶段>
合成阶段中的子带信号(合成子带信号)
·从合成阶段输出的细节系数
·从合成阶段输出的近似系数
↓<重构>
处理图像(重构处理图像)
在此,作为非线性的系数处理的一个示例,系数处理部102b可以进行如下系数处理,即:将形成分解子带信号的分解细节系数的能量越大则绝对值越小的值抑制得很小,将该分解细节系数的能量越小则绝对值越小的值增大。作为一个示例,系数处理部102b在多分辨率分解的分解阶段与合成阶段之间,针对从分解阶段输出的分解细节系数进行系数处理,以使将该分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。例如,在分解细节系数的能量大的情况下,系数处理部102b增大该分解细节系数的偏差,由此,使绝对值比较小的值被抑制得更小,并使绝对值比较大的值增大得更大。另一方面,在分解细节系数的能量小的情况下,系数处理部102b减小该分解细节系数的偏差,由此,增大绝对值比较小的值,并抑制绝对值比较大的值。
在此,在像素数多的图像的情况下,也可以将该图像适当分割,对各分割图像进行本实施方式的处理。
另外,系数处理部102b也可以在函数处理等系数处理以及/或者能量计算中进行归一化,以使分解细节系数的值变得容易处理。例如,系数处理部102b可以在分解阶段与合成阶段之间,首先对分解细节系数取绝对值来归一化,将被归一化后的分解细节系数(称为“归一化分解细节系数”)的均方范数(或者也可以是其他的范数)作为能量。并且,系数处理部102b可以根据所计算的能量,对归一化分解细节系数进行系数处理,并对进行系数处理后的归一化分解细节系数进行归一化的逆运算,由此,作为用于合成阶段的输入数据。另外,在使用绝对值的情况下,如以下公式所示,当逆运算时,将符号恢复到原来。
x′=sgn(x)z′
(其中,x是分解细节系数,z是系数处理后的值,z′是归一化的逆运算结果的值。其中,如果x≥0,则sgn(x)=1,如果x<0,则sgn(x)=-1。另外,x′是将符号恢复后的结果的值)
另外,系数处理部102b为了进行与能量的大小相应的系数处理,既可以在能量值中设置阈值,按照每个能量值的范围进行不同的系数处理,也可以不在能量值中设置阈值,而通过根据能量值而偏差连续变化的函数进行计算,从而进行系数处理。在前者的情况下,例如,系数处理部102b可以使用按照能量值的每个范围所设定的函数(例如,对数函数或逻辑公式等)。在后者的情况下,例如,系数处理部102b可以使用连续变化的函数(称为“SN函数”),在分解细节系数的能量大的情况下对S型曲线进行系数处理,在分解细节系数的能量小的情况下对N型曲线进行系数处理。在此,SN函数的一个示例如下所示。另外,公式1在α>1的情况下成为S型曲线,在α=1的情况下成为直线,在α<1的情况下成为N型曲线。
z=yα/{yα+(1-y)α}···(式1)
(其中,y是归一化分解细节系数(0≤y≤1),α是基于归一化分解细节系数的能量的指标值(0<α),z是被函数处理后的归一化分解细节系数)另外,函数由于离散化的缘故,也可以进行表格化来使用。
另外,系数处理部102b可以像CIELAB颜色空间中的L*、a*以及b*等那样按照每一颜色分量进行系数处理,但并不局限于对各颜色分量的值独立地进行处理,也可以在进行一个颜色分量的系数处理的情况下基于其他颜色分量的值来修正系数处理。例如,关于人的视觉,存在大脑皮层中具有颜色和亮度细胞的这一脑神经科学性实验结果(非专利文献5),以该实验结果为基础,对推测了颜色和亮度细胞的作用的数理模型进行研究,由此,系数处理部102b也可以针对图像数据的a*以及/或者b*的颜色分量,进行如下那样修正的系数处理,即:将由a*以及/或者b*的分解细节系数与L*的分解细节系数确定的能量越大则绝对值越小的值抑制得更小,将上述能量越小则绝对值越小的值增大。另外,也能够根据分解细节系数的符号的不同而进行不同的处理。另外,系数处理部102b也可以针对图像数据的a*以及/或者b*的颜色分量进行按如下方式那样修正的系数处理,即:将根据L*的亮度差越大则绝对值越小的值增大。
除了这种图像锐化之外,系数处理部102b也可以通过使与具有给定的频率特性(确定时的特定的频率特性)以及/或者给定的方位性(确定时的特定的方位性)的滤波器对应的分解子带信号衰减或放大的加权来进行图像处理。系数处理部102b可以对由分解部102a获取的分解子带信号进行加权相加,可以对以函数形式存储的小框架滤波器的频率响应函数进行加权,然后,可以导出各滤波器系数,或者对进行了加权的各频率响应函数以给定的方法进行乘法计算、加法计算,求出滤波器系数并保存在小框架文件106a中,由此,能够快速地获得重构图像数据。另外,也可以对分解阶段以及/或者合成阶段中的滤波器进行加权。
另外,作为一个示例,系数处理部102b也可以通过利用基于广义风车小框架的各等级下的方位的给定的滤波器配置中的位置以及/或者多分辨率分解中的等级来指定给定的频率特性,从而获得给定的频率分量。例如,系数处理部102b可以通过以多分辨率分解中的给定等级来进行使与近似滤波器对应的分解子带信号相对衰减的加权,从而除去低频分量等的图像处理。另外,为了该处理,可以使分解部102a进行到给定等级为止的多分辨率分解,使系数处理部102b进行使由最大等级的近似滤波器获得的近似部分的子带信号相对衰减的加权。不仅如此,在分解部102a进行比给定等级大的等级为止的多分辨率分解的情况下,系数处理部102b可以进行使比给定等级大的等级的细节部分以及最大等级的近似部分相对衰减的加权。
另外,系数处理部102b可以按照以下方式进行图像处理,即:进行加权,使与多个滤波器之中的在滤波器配置中与距近似滤波器较远一侧的细节滤波器对应的分解子带信号相对地放大;使在滤波器配置中与近似滤波器和距近似滤波器较近一侧的细节滤波器对应的分解子带信号相对地衰减,由此,与低频分量相比能够获得高频分量。更具体而言,可以将与上述风车小框架的近似滤波器相对应的分解子带信号的分解细节系数、和针对与位于接近近似滤波器的位置的具有低频侧的频率特性的细节滤波器对应的分解子带信号的加权系数设为接近于0的值;将针对与位于距近似滤波器较远的位置的具有高频侧的频率特性的细节滤波器对应的分解子带信号的加权系数设定为接近于1的值。与此相反,系数处理部102b可以以与高频分量相比能够获得低频分量的方式进行图像处理。即,系数处理部102b可以按照以下方式进行图像处理,即:进行加权,使多个细节滤波器之中的在滤波器配置中与距近似滤波器较远一侧的细节滤波器对应的分解子带信号相对地衰减;使在滤波器配置中与距近似滤波器较近一侧的细节滤波器对应的分解子带信号相对地放大,由此,相对于高频分量来增强低频分量。更具体而言,将针对与位于距上述风车小框架的近似滤波器较近的位置的具有低频侧的频率特性的细节滤波器对应的分解子带信号的加权系数设定为接近于1的值;将针对与位于距近似滤波器较远的位置的具有高频侧的频率特性的细节滤波器对应的分解子带信号的加权系数设为接近于0的值。
另外,系数处理部102b可以按照以下方式进行图像处理,即:进行加权,使与多个滤波器之中的具有高频的频率特性的滤波器以及具有低频的频率特性的滤波器对应的分解子带信号相对地衰减,使与具有比较高频、比较低频等这样中频的频率特性的滤波器对应的分解子带信号相对地放大,由此,与高频分量以及低频分量相比,对中频分量进行增强。更具体而言,可以将针对与上述风车小框架的具有高频的频率特性的滤波器以及具有低频的频率特性的滤波器对应的分解子带信号的加权系数设为接近于0的值;将针对与具有中频的频率特性的细节滤波器对应的子带信号的加权系数设定为接近于1的值。
另外,系数处理部102b也可以通过进行使与具有给定的方位性的细节滤波器对应的分解自带信号衰减或放大的加权,从而以使给定的方位性分量增减的方式进行图像处理。例如,通过将针对与上述风车小框架的具有给定的方位性的细节滤波器对应的分解子带信号的加权系数设为接近于1的值,将除此以外的系数设定为接近于0的值,能够从原始图像对具有该给定的方位性的分量进行增强或提取。
另外,处理图像获取部102c是获取处理图像数据的处理图像获取单元。例如,处理图像获取部102c可以获取通过分解部102a获取的基于多分辨率分解的分解阶段中的分解子带信号的系数输出处理图像数据。当获取系数输出处理图像数据时,可以将系数处理后的分解子带信号通过适当的加权相加在一起。另外,处理图像获取部102c也可以利用后面要提到的重构部102d的处理,获取通过将多分辨率分解的合成阶段中的合成子带信号相加在一起而重构的重构处理图像数据。
另外,处理图像获取部102c的重构部102d是通过将由分解部102a获取的各颜色分量的子带信号相加在一起而重构图像并获取重构图像数据的重构单元。例如,重构部102d通过将与上述最大等级的近似滤波器对应的近似部分的合成子带信号和与所有的细节滤波器对应的细节部分的合成子带信号相加在一起,从而重构图像并获取重构图像数据。此时,风车小框架具有完全重构性,因此,如果不进行基于系数处理部102b的处理,则重构部102d会再现与原始图像相同的图像。换句话说,重构部102d在基于系数处理部102d进行的处理执行了系数处理之后,通过将合成子带信号相加在一起,从而获取对原始图像实施了图像处理的重构图像数据。
在此,将上述标号(编号)用于合成子带信号,对完全重构性与图像处理的关系进行说明。如果将原始图像的输入信号(原始信号)设为x,则次数7的风车小框架的等级5的最大重叠多分辨率分解的完全重构性用以下的公式表示。
x=a5(1)+(d5(1)+···+d5(99))+···+(d1(1)+···+d1(99))
在此,在分解部102a中,如果将经过了基于系数处理部102b的各种处理的近似部分设为a5′(1),将细节部分设为a5′(1),...,d1′(99),则在这种情况下,重构图像(信号)用以下的公式表示。
y=a5′(1)+(d5′(1)+···+d5′(99))+···+(d1′(1)+···+d1′(99))
此时,如果在分解部102a中不进行各种处理,则成为a5′(1)=a5(1),d5′(1)=d5(1),...,d1′(99)=d1(99),很明显,x=y(原始图像与重构图像相同),成为完全重构。在本实施方式中,作为一个示例,系数处理部102b通过将针对与具有给定的频率特性以及/或者给定的方位性的滤波器对应的子带信号的加权系数设为不是1的数值,从而生成与原始图像不同的重构图像(即,重构处理图像)。
在此,对细节滤波器的分类进行说明。细节滤波器根据其方位性能够分成五类。即,如果将与某一方向正交的轴称为“正交轴”,则能够分成以下五类,即,(1)具有与正交轴相同方向的方位性的细节滤波器、(2)具有与正交轴垂直方向的方位性的细节滤波器、(3)具有与正交轴呈正角度的方位性的细节滤波器、(4)具有与正交轴呈负角度的方位性的细节滤波器以及(5)未进行方位分离的细节滤波器。在此,与正交轴的角度θ设逆时针为正,由-90°<θ≤+90°来表示。另外,具有相对于正交轴为水平或者垂直的方位性(θ=0°,90°)的细节滤波器分类为(1)或者(2),因此,不分类为(3)或者(4)。此外,在“未进行(5)方位分离的细节滤波器”中,由于与正交轴的角度的绝对值包括相同的正的角度和负的角度这两个方位性,因此不分类为(3)或者(4)。
例如,在将某一方向设为纵向的情况下,在图5的示例中,与“(1)具有与正交轴相同方向的方位性的细节滤波器”对应的子带信号成为dk(15)、dk(23)、dk(31)、dk(39)、dk(47)、dk(55)以及dk(63)。此外,与“(2)具有与正交轴垂直方向的方位性的细节滤波器”对应的子带信号成为dk(1)~dk(7)。此外,与“(3)具有相对正交轴呈正的角度的方位性的细节滤波器”对应的子带信号成为dk(64)~dk(99)。此外,与“(4)具有相对正交轴呈负的角度的方位性的细节滤波器”对应的子带信号成为dk(9)~dk(14)、dk(17)~dk(22)、dk(25)~dk(30)、dk(33)~dk(38)、dk(41)~dk(46)、dk(49)~dk(54)。此外,与“(5)未进行方位分离的细节滤波器”对应的子带信号成为dk(8)、dk(16)、dk(24)、dk(32)、dk(40)、dk(48)、dk(56)~dk(62)。
另外,细节滤波器也能够根据其频率特性来赋予特征。即,以风车小框架的近似滤波器为中心,并从近似部分以同心圆状扩散的细节滤波器,具有距中心越远则越通过高频分量、距中心越近则越通过低频分量这一特征。换句话说,在风车小框架的滤波器配置中,距近似滤波器较远一侧的细节滤波器获取高频分量的子带信号;在滤波器配置中,距近似滤波器较近一侧的细节滤波器获取低频分量的子带信号。
在图5的示例中,与具有最低频一侧的频率特性的细节滤波器对应的子带信号成为dk(7)、dk(14)、dk(15)以及dk(64)。与具有其次的低频侧的频率特性的细节滤波器对应的子带信号成为dk(6)、dk(13)、dk(21)~dk(23)、dk(65)、dk(70)以及dk(71)。然后,与具有再其次的低频侧的频率特性的细节滤波器对应的子带信号成为dk(5)、dk(12)、dk(20)、dk(28)~dk(31)、dk(66)、dk(72)以及dk(76)~dk(78)。与具有再其次的低频侧的(比较中频侧的)频率特性的细节滤波器对应的子带信号成为dk(4)、dk(11)、dk(19)、dk(27)、dk(35)~dk(39)、dk(67)、dk(73)、dk(79)以及dk(82)~dk(85)。然后,与具有再其次的低频侧的(比较高频侧的)频率特性的细节滤波器对应的子带信号成为dk(3)、dk(10)、dk(18)、dk(26)、dk(34)、dk(42)~dk(47)、dk(68)、dk(74)、dk(80)、dk(86)以及dk(88)~dk(92)。然后,与具有再其次的低频侧的(比较高频侧的)频率特性的细节滤波器对应的子带信号成为dk(2)、dk(9)、dk(17)、dk(25)、dk(33)、dk(41)、dk(49)~dk(55)、dk(69)、dk(75)、dk(81)、dk(87)、dk(93)、以及dk(94)~dk(99)。然后,与具有再其次的低频侧的(最高频侧的)频率特性的细节滤波器对应的子带信号成为dk(1)、dk(8)、dk(16)、dk(24)、dk(32)、dk(40)、dk(48)、dk(56)~dk(63)。
除了该分类之外,进行了方位分离的细节滤波器,根据其形状,被分类成与该滤波器所具有的方位性的方位方向的轴几乎对称的偶数型以及与方位方向的轴几乎反对称的奇数型。另外,近似滤波器是与垂直轴和水平轴几乎对称的偶数型。
以上是对细节滤波器的分类进行的说明。
再次返回到图1,颜色空间变换部102f为进行颜色空间的变换或颜色分量的分解/合成等的颜色空间变换单元。例如,颜色空间变换部102f,在存储于图像数据文件106b中的图像数据为彩色图像,即没有根据在本实施方式使用的颜色分量来记载数据的情况下,在进行基于分解部102a的彩色图像锐化处理等情况下,可以变换成目标的颜色空间(例如,CIELAB颜色空间)。通过变换成CIELAB颜色空间,图像被分解为L*(亮度)、a*(红-绿)、b*(黄-蓝)这三个颜色分量。另外,颜色空间变换部102f也可变换为CIELAB颜色空间以外的其他颜色空间。使用CIELAB颜色空间的优点是:接近于来自人的视网膜的视觉信息变换这一优点。另外,在图像数据事先按照在本实施方式所使用的各种颜色分量记载了色调或灰度值等的情况下,颜色空间变换部102f可以不进行关于颜色空间的处理。另外,如果有必要,颜色空间变换部102f,在基于重构部102d进行的图像数据重构处理中进行颜色分量的合成或颜色空间的变换、亮度/颜色的尺度变换等。
另外,处理图像输出部102g是将由处理图像获取部102c获取的处理图像数据(系数输出处理图像数据或重构处理图像数据)向输出装置114进行输出的处理图像输出单元。例如,处理图像输出部102g可以将处理图像显示输出在显示器等显示装置上,也可以将处理图像在打印机等印刷装置上印刷输出来制作印刷介质,也可以将处理图像数据输出到记录介质保存装置并将处理图像数据保存到记录介质中,从而制作记录介质。作为印刷对象的介质,可为例如纸、塑料、玻璃、金属等,也可以是例如传单、团扇、卡片、连环画、贺年片、圣诞卡片、名片、罐
子等容器等的方式。另外,根据所输出的方式,处理图像输出部102g可以进行根据用途的设计变更(例如,变更为明信片等)。另外,处理图像输出部102g可以经由网络300将处理图像数据发送给外部系统200。
即,该图像处理装置100可以经由路由器等通信装置以及专用线路等有线或无线的通信线路与网络能够通信地连接。在图1中,通信控制接口部104进行图像处理装置100与网络300(或路由器等的通信装置)之间的通信控制。即,通信控制接口部104是与连接了通信线路等路由器等的通信装置(未图示)连接的接口,具有与其他终端经由通信线路进行数据通信的功能。在图1中,网络300具有将图像处理装置100与外部系统200相互连接的功能,例如,是互联网等。
在图1中,外部系统200通过网络300与图像处理装置100相互连接,可以具有提供图像数据或关于风车小框架的外部数据库、或用于使计算机作为图像处理装置发挥功能的程序的功能。在此,外部系统200可以作为WEB服务器或ASP服务器等构成。另外,外部系统200的硬件结构可以由市场出售的工作站、个人计算机等信息处理装置及其附属装置构成。另外,外部系统200的各功能通过外部系统200的硬件构成中的CPU、磁盘装置、存储器装置、输入装置、输出装置、通信控制装置等以及控制它们的程序等来实现。
以上,就完成了本实施方式中的图像处理装置100的构成的说明。
[图像处理装置100的处理]
接下来,关于如上所述构成的本实施方式中的该图像处理装置100的处理,以下,参照图6~图57进行详细说明。
[基本处理]
首先,作为由图像处理装置100执行的图像处理的一个示例,以下参照图6~图8对基本处理进行说明。图6是表示本实施方式中的图像处理装置100的基本处理的一个示例的流程图。
首先,分解部102a针对存储在图像数据文件106b中的图像数据,进行基于存储在小框架文件106a中的广义风车小框架或风车小波框架的最大重叠多分辨率分解,并获取子带信号(步骤S-1)。在此,图7以及图8是表示基于风车小框架的多分辨率分解的分解阶段以及合成阶段(无/有处理)的滤波器组的一个示例的图。图中的数字表示等级。PW是细节滤波器,A是近似滤波器。
如图7以及图8所示,首先,分解部102a使用等级1的风车小框架,将原始图像作为输入信号,分解成通过细节滤波器PW1的分解子带信号(用分解细节系数d1表示的信号)、和通过一个近似滤波器A1的信号。接下来,分解部102a使用等级2的风车小框架,将通过了等级1的近似滤波器A1的信号分解成通过等级2的细节滤波器PW2的分解子带信号(分解细节系数d2)、和通过等级2的近似滤波器A2的信号。分解部102a将该处理反复进行直到最大等级k(在图示的情况下,k=5)为止,获得分解细节系数d1~dk、以及基于通过了最大等级k的近似滤波器Ak的分解子带信号的分解近似系数ak。接下来,对分解子带信号进行各种处理,获得分解细节系数d1′~d5′和分解近似系数a5′。
即,如图7以及图8所示,分解部102a的系数处理部102b,针对与滤波器组的多个滤波器之中的至少一个对应的分解子带信号,进行线性或非线性的系数处理等而使分解子带信号相对地衰减或放大的各种处理(步骤S-2)。在此,作为一个示例,系数处理部102b可以进行基于硬阈值或软阈值等的阈值处理。另外,系数处理部102b可以使与多个滤波器之中的具有给定的频率特性以及/或者给定的方位性的滤波器的至少一个相对应的分解子带信号衰减或放大。例如,系数处理部102b可以通过使按照基于广义风车小框架或风车小波框架的各等级下的方位的给定的滤波器配置中的位置、以及/或者多分辨率分解中的等级所指定的给定的分解子带信号增减,从而进行使给定的频率分量增减的图像处理。作为一个示例,系数处理部102b可以针对形成分解子带信号的、从分解阶段输出的分解细节系数以及/或者分解近似系数进行系数处理。即,系数处理部102b可以使分解阶段中的近似子带信号增减,并且/或者使分解阶段中的细节子带信号增减。
于是,处理图像获取部102c获取在步骤S-2中实施了各种处理的处理图像数据(系数输出处理图像数据或重构处理图像数据)(步骤S-3)。在图7的示例中,处理图像获取部102c可以针对在基于分解部102a的处理的分解阶段获得的分解细节系数d1~d5,在不将实施了各种处理的分解细节系数d1′~d5′和分解近似系数a5′输入到合成阶段的情况下,获取处理图像数据作为系数输出处理图像数据,也可以根据需要进行加权相加作为处理图像数据来获取。另一方面,在图8的示例中,处理图像获取部102c可以针对在基于分解部102a的处理的分解阶段获得的分解细节系数d1~d5和分解近似系数a5,将实施了各种处理的分解细节系数d1′~d5′和分解近似系数a5′输入到合成阶段,以获取由重构部102d重构的处理图像数据作为重构处理图像数据。
以上是本实施方式的基本处理。通过该基本处理能够对原始图像实施基于本实施方式的各种图像处理。
[彩色图像锐化处理]
首先,作为利用图像处理装置100执行的图像处理的一个示例,针对彩色图像的图像锐化处理,以下参照图9~图21进行说明。图9是表示本实施方式中的图像处理装置100的彩色图像锐化处理的一个示例的流程图。
首先,分解部102a针对存储在图像数据文件106b中的图像数据的各颜色分量,进行基于存储在小框架文件106a中的风车小框架的最大重叠多分辨率分解,并获取子带信号(步骤SA-1)。另外,分解部102a不局限于风车小框架,也可以使用方位性由水平方向、垂直方向、对角方向构成的双正交小波滤波器组。另外,也可以根据需要(例如,在没有用本实施方式中所使用的颜色分量来记载图像数据的情况等),颜色空间变换部102f针对彩色图像进行所希望的颜色空间的变换处理或颜色分量的分解处理。作为一个示例,颜色空间变换部102f可以将彩色图像变换成CIELAB颜色空间。由此,图像被分解成L*(亮度)、a*(红-绿)、b*(黄-蓝)这三种颜色分量。在此,图10是表示最大重叠多分辨率分解的分解阶段以及合成阶段的滤波器组的一个示例的图。图中的数字表示等级。PW为细节滤波器,在次数7的情况下,在各等级中存在99个。A为近似滤波器,在同样次数7的情况下,各等级中存在1个。另外,在图10的示例中,虽然使用了最大重叠法,但本实施方式不局限于此,也可以使用最大间隔剔除法和其他的间隔剔除法。
如图10所示,首先,分解部102a使用等级1的风车小框架,将原始图像作为输入信号,分解成通过99个细节滤波器的信号、和通过1个近似滤波器的信号(用分解细节系数d1表示的信号)。接下来,分解部102a使用等级2的风车小框架,将通过了等级1的近似滤波器的信号分解成通过99个(等级2的)细节滤波器的信号(分解细节系数d2)、和通过1个(等级2的)近似滤波器的信号。分解部102a将该处理反复进行直到最大等级k(在图示的情况下为等级5)为止,获得分解细节系数d1~dk和近似系数ak。在通常的多分辨率分解中,分解部102a将在分解阶段获得的由分解细节系数d1~d5形成的信号直接输入到合成阶段的滤波器组,但在本实施方式中,进行本实施方式中的系数处理,以获得合成阶段输入用的分解细节系数d1′~d5′。
即,如图9所示,分解部102a的系数处理部102b在多分辨率分解中的分解阶段与合成阶段之间,针对从分解阶段输出的分解细节系数进行系数处理(步骤SA-2),以使将该分解细节系数的能量越大则绝对值越小的值抑制得更小;将该分解系数的能量越小则绝对值越小的值增大。在此,关于图像数据的a*以及/或者b*的颜色分量,系数处理部102b可以进行按如下方式那样修正的系数处理,即:将由a*以及/或者b*的分解细节系数和L*中的分解细节系数所确定的能量越大则绝对值越小的值抑制得更小;将上述能量越小则绝对值越小的值增大。另外,系数处理部102b可以在函数处理等系数处理以及/或者能量计算中进行归一化,以使分解细节系数的值变得容易处理。在此,图11是表示伴随着归一化的分解细节系数的系数处理的一个示例的流程图。
如图11所示,首先,系数处理部102b将从分解阶段输出的分解细节系数x的绝对值归一化(步骤SA-21)。例如,系数处理部102b利用适当的归一化方法进行分解细节系数x的归一化,以使所有的分解细节系数x都落入0到1之间的数值内。
然后,系数处理部102b基于归一化分解细节系数y来计算分解细节系数的能量(步骤SA-22)。例如,系数处理部102b可以将归一化分解细节系数y的均方范数||y||作为能量。另外,也可以进行归一化等指数调整,以使能够以函数处理来处理能量。
然后,系数处理部102b根据在步骤SA-22计算出的能量,非线性地进行归一化分解细节系数y的系数处理,从而获得系数处理结果z(步骤SA-23)。例如,为了进行与能量大小相应的系数处理,系数处理部102b可以在能量值中设置阈值,按照能量值的每个范围进行不同的系数处理,也可以不在能量值中设置阈值,而通过根据能量值而使偏差连续变化的函数进行计算来进行系数处理。作为一个示例,系数处理部102b使用连续变化的SN函数,在分解细节系数的能量大的情况下对S字曲线进行系数处理,在分解细节系数的能量小的情况下对N字曲线进行系数处理。在此,以下的公式1是SN函数的一个示例。在公式1中,如果α>1,则成为S型曲线,如果α=1,则成为直线,如果α<1,则成为N型曲线。另外,能量与参数α的对应的决定方法不是固定为一个,也可以以反映个人差别的方式设定,另外,也可以按照每个等级、每个方位、每个颜色分量以及分解细节系数的每个符号来进行设定。
z=yα/{yα+(1-y)α}···(式1)
(其中,y是归一化分解细节系数(0≤y≤1),α是基于归一化分解细节系数的能量的指标值(0<α),z是被函数处理后的归一化分解细节系数)
然后,系数处理部102b通过对在步骤SA-23进行了系数处理的归一化分解细节系数z进行归一化的逆运算,从而获得用于合成阶段的输入数据x′(步骤SA-24)。另外,在使用上述的范数的情况下,当用以下公式进行逆运算时,将符号恢复到原来。
x′=sgn(x)z′
(其中,x是分解细节系数,z是系数处理后的值,z′是归一化的逆运算结果的值。其中,如果x≥0,则sgn(x)=1,如果x<0,则sgn(x)=-1。另外,x′是将符号恢复后的结果的值)
再返回到图9,分解部102a将在步骤SA-2进行了系数处理的分解细节系数作为输入数据来进行合成阶段的处理(步骤SA-3)。即,分解部102a利用合成阶段的滤波器,从将在分解阶段输出的信号进行了系数处理的信号中最终获取99×5个合成子带信号(细节部分)和1个合成子带信号(近似部分)(参照图10)。
然后,重构部102d将从分解部102a获取的各颜色分量的合成子带信号加在一起,从而重构图像(步骤SA-4)。另外,在将合成子带信号加在一起的颜色分量的数值超过规定值(例如,0到255灰度的范围)的情况下,重构部102d可以例如将整体尺寸化从而使数值落入在规定范围(例如0和255的范围内)内(归一化的方法);也可以将最低规定值(例如,0)以下的数值作为最低规定值,将最高规定值(例如255)以上的数值置换成255(使用阈值的方法)。除此之外,根据需要(例如,必须以RGB输出等),颜色空间变换部102f可以进行颜色空间的变换或颜色分量的合成等处理。
通过以上处理获得的重构图像是针对原始图像实施基于本实施方式的图像处理,例如,实施了比原始图像更自然的锐化。在此,图12是将原始图像、基于本实施方式的锐化图像、以及基于以往的方法的锐化图像进行对比显示的图。
如图12所示,在非专利文献1的以往的方法中,针对整个图像,一律进行了检测出边缘较亮一侧的像素并使其更亮,检测出边缘较暗一侧的像素并使其更暗的局部性对比度控制,因此,特别是如照片跟前附近很多树的那样,即使是对比度本来就充分的地方,也会不必要地实施过分的锐化直至接近于黑白,由此,造成图像不自然。另一方面,根据本实施方式,由于实施类似于人的初始视觉信息处理的图像处理,因此,能够不会实施过分的对比度而获得自然的锐化图像。在此,图13、图14以及图15分别是表示在图12的各照片(512×512像素)中自左起的第400个像素列的L*、a*以及b*的值的图表。横轴表示在自左起第400个像素列的自上起的行数;纵轴表示各颜色分量(L*、a*或者b*)的值。蓝色显示表示原始图像的各点的值的图表;绿色显示表示基于本实施方式的处理图像的各点的值的图表;红色显示表示基于市场上出售的程序产品的处理图像的各点的值的图表。
如图13~图15所示,在非专利文献1的现有方法中,无论是在远景(横轴的0~300附近)还是近景(横轴的400~500附近,一律进行对比度控制,以使表示原始图像的各点的值的图表的变动变大。因此,特别是在近景(横轴的400~500附近)中,产生了各颜色分量的激烈变化。另一方面,根据本实施方式,针对存在激烈变动的近景(横轴的400~500附近),不使变动变大,针对变化舒缓的远景(横轴的0~300附近),实施锐化。而且,不仅高频部分,低频部分也实施锐化。因此,不自然的图像的增强变少。
这样,就结束了图像处理装置100的彩色图像锐化处理的说明。能够利用这样的本实施方式实施自然的锐化的原理如下所示。即,在人的视觉信息处理中具有高度的锐化功能,因此,能够如本实施方式那样,基于人的视觉信息处理的数理模型的图像处理能够进行高度的锐化。而且,在该情况下,由于进行与脑内的视觉信息处理类似的处理,因此,具有不会感到过分不自然的锐化的这一优点。
[利用SN函数的系数处理的实施例]
接下来,利用图像处理装置100的系数处理部102b且使用SN函数的系数处理的实施例如下所示。
为了对如果周围的刺激量多,则抑制弱的刺激;如果周围的刺激量弱,则增强弱的刺激这一现象等进行数学性描述,考虑利用参数从具有S型的图形的函数连续地变形到具有N字型的图形的函数的函数。将具有这种特性的函数称为感知函数。作为感知函数的一个示例,举出以下的SN函数。
[公式1]
s ( t , &alpha; ) = t &alpha; t &alpha; + ( 1 - t ) &alpha; , 0 &le; t &le; 1,0 &le; &alpha;
其中,将X设为原始图像,X=(X1,X2,X3)表示颜色空间中的显示。例如,在使用CIELAB颜色空间的情况下,将X1设为关于L*的数据,X2设为关于a*的数据,X3设为关于b*的数据。
然后,用风车小框架分解Xμ(μ=1,2,3)。在该实施例中,以X的像素数是512×512像素的5次风车小框架((5-1)2+(5+1)2=52个)对等级8的分解情况进行说明(另外,其他的像素数和其他的风车小框架等也能够以同样的思路进行)。
此时,Xμ的分解数据用以下的公式表示(这里,l,p,j,k为整数)。
[公式2]
(xμ[l,p;j,k])0≤j,k≤511;1≤p≤52,1≤l≤8,μ=1,2,3
其中,(Xμ的[l,1;j,k])0≤j,k≤511是风车小框架的分解近似系数,(Xμ的[l,p;j,k])0≤j,k≤511(2≤p≤52)表示风车小框架的分解细节系数。以下,设为2≤p≤52。
将Φμ,1lp设为适当的二次变量函数,设成以下的公式(μ=1,2,3)。
[公式3]
例如,成为以下公式(a1,a2是适当的归一化常数;μ=1,2,3)。
[公式4]
或者,成为以下公式。
[公式5]
将y0 μ[l;p]设为(zμ[l,p;j,k])0≤j,k≤511的归一化l2范数(μ=1,2,3)
将b1,b2,b3和b4设为适当确定的非负数的实数。这也可以按照μ或各等级1而改变。另外,也可以根据风车小框架的分解细节系数中其方位p的不同而改变。另外,也可以按照分解细节系数的每个符号而改变。
[公式6]
将yμ[l,p]设为y0 μ[l,p]b3
[公式7]
&alpha; &mu; = [ l , p ] = ( b 2 - b 1 ) s ( y &mu; [ l , p ] , b 4 ) + b 1 = ( b 2 - b 1 ) y &mu; [ l , p ] b 4 y &mu; [ l , p ] b 4 + ( 1 - y &mu; [ l , p ] ) b 4 + b 1
对xμ[l,p;j,k]的绝对值实施适当的归一化,将在0和1之间取值的值设为yμ,1[l,p;j,k]。另外,设为以下的公式。不过,在这里,可以用适当的感知函数替换SN函数s。
[公式8]
y &mu; , 2 [ l , p ; j , k ] = s ( y &mu; , 1 [ l , p ; j , k ] , &alpha; &mu; [ l , p ] ) = y &mu; , 1 [ l , p ; j , k ] &alpha; &mu; [ l , p ] y &mu; , 1 [ l , p ; j , k ] &alpha; &mu; [ l , p ] + ( 1 - y &mu; , 1 [ l , p ; j , k ] &alpha; &mu; [ l , p ] )
将yμ,2[l,p;j,k]与xμ[l,p;j,k]的符号函数相乘,并实施归一化的逆运算,将得到的值设为y′μ[l,p;j,k]。
将对y′μ[l,p;j,k]施加风车小框架合成滤波器重构的数据设为X′μ(μ=1,2,3)。X′=(X′1,X′2,X′3,)。
X′是X的锐化图像。另外,在处理图像的例子中,使b1、b2、b3、b4在L*方面按照各等级关于方位分量都全部相同,a*和b*在各等级上以水平、垂直、对角、其他方式分别设定。
另外,为了达到更接近于人的视觉感知这一目的,可以根据xμ[l,p;j,k]的符号的不同而改变处理方法。
以上,就完成了图像处理装置100中的使用SN函数的系数处理的实施例的说明。另外,上述SN函数的系数处理不局限于为了彩色图像的锐化而使用,也可以用于灰度图像等的锐化等图像处理。
[颜色的对比错觉中的模拟]
为了确认在本实施方式中所使用的数理模型是否接近于人的视觉信息处理,将颜色的对比错觉图像作为原始图像,执行了基于上述实施方式的处理。即,如果数理模型接近于人的视觉信息处理,则安装了数理模型的计算机也计算出错觉,因此,确定了是否能够在本实施方式中实际上模拟人的错觉。
图16是表示颜色的对比错觉图像的一个示例的图。在图16的左图(原始图像A)与右图(原始图像B)中,内侧的四角部分的亮度、明度、色彩完全相同。但是,根据周围颜色的配置的不同,作为人的视觉信息处理,会产生看上去为不同颜色的错觉。因此,利用本实施方式的图像处理装置100,分别对原始图像A与原始图像B进行了图像处理。图17表示的是:原始图像的内侧四角部分(原始图像A与B共通);原始图像A的图像处理结果即处理图像A的内侧四角部分;以及原始图像B的图像处理结果即处理图像B的内侧四角部分。
如图17所示,进行了基于本实施方式的图像处理装置100的图像处理的结果是:与人对原始图像A、B看到的方式(错觉)相同,与原始图像A对应的处理图像A的内侧四角部分被表现得比实际更鲜艳;与原始图像B对应的处理图像B的内侧四角部分被表现得比实际更暗淡。因此,可以说基于本实施方式的图像处理装置100的图像处理是接近于人的视觉信息处理的处理。
另外,图18是表示颜色的对比错觉图像的其他示例的图。在图18的左图(原始图像C)与右图(原始图像D)中,与以上相同,内侧的四角部分的亮度、明度、色彩完全相同。图19表示的是:原始图像的内侧四角部分(原始图像C与D共通);原始图像C的图像处理结果即处理图像C的内侧四角部分;以及原始图像D的图像处理结果即处理图像D的内侧四角部分。
如图19所示,进行了基于本实施方式的图像处理装置100的图像处理的结果是:与人对原始图像C、D看到的方式(错觉)相同,与原始图像C对应的处理图像C的内侧四角部分被表现得比实际更暗;与原始图像D对应的处理图像D的内侧四角部分被表现得比实际更亮。
另外,图20是表示颜色的对比错觉图像的其他示例的图。在图20的左图(原始图像E)与右图(原始图像F)中,与以上相同,内侧的四角部分的亮度、明度、色彩完全相同。图21表示的是:原始图像的内侧四角部分(原始图像E与F共通);原始图像E的图像处理结果即处理图像E的内侧四角部分;以及原始图像F的图像处理结果即处理图像F的内侧四角部分。
如图21所示,进行了基于本实施方式的图像处理装置100的图像处理的结果是:与人对原始图像E、F看到的方式(错觉)相同,对应于原始图像E的处理图像E的内侧四角部分被表现得比实际更暗;对应于原始图像F的处理图像F的内侧四角部分被表现得比实际更亮。该例是显著地表现出进行了在a*以及b*的处理中还加入了L*的值的处理的效果的示例。
通过以上的结果能够确认:基于本实施方式的图像处理装置100的图像处理是极其接近于人的视觉信息处理的处理。因此,通过进行基于使用接近于人的视觉信息处理的数理模型的本实施方式图像处理,能够对原始图像实施接近于人的视觉的信息处理,从而能够提供只将人想要看的部分锐化的自然的图像。另外,根据图像处理装置100的利用目的的不同,也能够设定成进行将人的视觉功能的一部分或全部强化或抑制的图像处理。
[各种图像处理]
接下来,作为上述彩色图像锐化处理以外的图像处理的实施例,按照1.噪声除去、2.特征提取((a)边缘检测、(b)其他的特征提取)、3.具有立体感的特征提取的顺序,参照图22~图55对具体的方法和应用例进行说明。虽然在以下的示例中使用了风车小框架,但也可以使用广义风车小框架或风车小波框架。
[1.噪声除去]
在本实施方式中,对通过使用系数处理部102b而使至少一个分解细节系数相对减少从而进行噪声除去的示例进行说明。另外,虽然在以下的示例中使用了灰度的图像,但也能够以同样的方法使用彩色图像。
在此,在本项目[1.噪声除去]中,原始图像是没有噪声的原始的图像,噪声图像是在原始图像中加入了噪声的图像。在此,在原始图像中加入高斯型白噪声来制成噪声图像。另外,处理图像是指:在利用系数处理部102b进行了噪声除去处理之后的、利用处理图像获取部102c重构的噪声除去后的图像。
在此,为了将噪声除去后的图像的变差进行数值化而使用以下的评估值。
[公式9]
将以下图像
Y=(y[j,k]:j=1,···,M、k=1,···,N)
定义为
| | Y | | = ( 1 MN &Sigma; j = 1 M &Sigma; k = 1 N | y [ j . k ] | 2 ) 1 2
于是,如果将原始图像设为X0,将噪声除去后的图像(处理图像)设为X,则在本实施例中使用的评估值用以下的公式表示。该评估值越小,则处理图像越接近于原始图像,处理图像越不会变差。
[公式10]
||XO-X||
在噪声除去中,确定阈值,并将比阈值小的值或阈值以下的值设为0的方法广为人知。因此,为了进行基于系数处理部102b的噪声除去,进行了阈值的设定。另外,阈值的确定方法中存在各种众所周知的方法,因此,可以使用以下举例所示的方法以外的众所周知的方法。例如,作为阈值处理,硬阈值与软阈值广为人知,以下虽然使用了硬阈值,但也可以使用软阈值或其他的阈值处理。
在本实施例中,为了用评估值对几种噪声除去方法进行比较,而按照各自的噪声除去方法,使阈值连续地变化,将最佳评估值的情况下的值作为该方法中的阈值。在此,图22是用于说明在本实施例所使用的硬阈值的图表。横轴是原始的系数的值,纵轴表示进行系数处理之后的值。即,在假设系数处理部102b将斜率1的线性函数适用于分解子带信号的系数的情况下,原始的系数的值完全不变,因此,由重构部102d获得的重构图像变得与原始图像相同。
如图22所示,在硬阈值法中,将系数的绝对值与阈值比较,在绝对值为阈值以下的情况下,进行将系数置换成0的系数处理。通过该硬阈值,能够忽视小的变动,能够有效地除去噪声。在此,图23是在本实施例中使用的原始图像,图24是表示在原始图像中加入了高斯型白色噪声后的噪声图像的图。作为原始图像,使用0~255的256灰度、且大小为512×512的图像。
为了与基于本实施方式的噪声除去的结果进行比较,作为利用以往的方法的示例,使用了利用小波的噪声除去方法。在基于该以往的利用小波进行的噪声除去方法中,对噪声图像进行基于symlet4的等级2的最大重叠多分辨率分解。关于symlet,可以将MATLAB的Wavelet Toolbox以及其中包含的解说作为参考文献进行参照。另外,针对所有的分解细节系数(各等级的水平·垂直·对角方向的分解细节系数),利用阈值48(由上述连续变化的方法所确定的值)进行阈值处理,然后,经过合成阶段而获得处理图像。另外,将比处理图像的0小的值设为0,将比255大的值设为255。图25是基于利用以往的使用小波的噪声除去方法的symlet4的处理图像,图26是将其一部分放大的值。另外,基于利用以往的使用小波的噪声除去方法的symlet的图像处理结果的评估值为5.0449。
另一方面,基于本实施方式的噪声除去方法及其结果如下所不。
[利用风车小框架的噪声除去示例1]
利用本实施方式的图像处理装置100,对噪声图像进行基于5次的风车小框架的等级1的最大重叠多分辨率分解。将基于系数处理部102b的阈值设定为16(由上述连续变化的方法所确定的值),用与小波时相同的方法获得处理图像。图27是根据本实施方式使用5次的风车小框架获得的处理图像,图28是将其一部分放大的图。这种情况下的评估值是4.7736,获得了比以往的使用小波的方法更好的结果。另外,即使通过肉眼来对以往的处理图像(图25,图26)与本实施方式的处理图像(图27,图28)进行比较,也能够看出有效地进行了噪声除去。
[利用风车小框架的噪声除去例2]
风车小框架具有次数,因此,通过选择更合适的次数,能够更有效地进行噪声除去。另外,由于风车小框架具有多样的方位选择性,因此,滤波器数量多。因此,针对分解阶段中的每个细节子带信号,改变在构成它的分解细节系数中使用的阈值,由此,能够对噪声除去效果的提高寄予厚望。
因此,作为利用风车小框架的噪声除去例2,对噪声图像进行了基于7次的风车小框架的等级1的最大重叠多分辨率分解。基于系数处理部102b的阈值,按照所对应的分解阶段中的每个细节子带信号进行了改变。具体而言,将构成分解阶段中的各子带信号的细节系数的能够取的最大值乘以0.075的值作为阈值(由上述连续变化的方法所确定的值)。换句话说,将落入在绝对值为0到最大值0.075倍以内的值作为0。除此之外,用与之前的示例相同的方法获得了处理图像。图29是在根据本实施方式使用7次的风车小框架按照每个滤波器改变了阈值的情况下所获得的处理图像,图30是将其一部分放大的图。该情况下的评估值为4.3718,能够确认的是:噪声除去效果比上述噪声除去例1更得到改善。
[利用风车小框架的噪声除去例3]
风车小框架由于频域的分离功能高,因此,能够进行更细致的噪声除去。因此,作为基于风车小框架的噪声除去例3,对噪声图像进行基于7次的风车小框架的等级2的最大重叠多分辨率分解。并且,在对等级1的所有分解细节系数和等级2的图31所示的分解细节系数用与例2相同的方法进行阈值处理之后,获得处理图像。不过,将分解细节系数的可取的最大值乘以0.073的值设为阈值(根据上述连续变化的方法所确定的值)。图31是用斜线表示以等级2进行阈值处理的分解细节系数的图。另外,表的配置对应于7次的风车小框架的滤波器配置(关于7次的风车小框架,参照图3~图5)。图中的g表示分解阶段中的近似子带信号;h表示分解阶段中的细节子带信号。
图32是根据本实施方式使用7次的风车小框架直到等级2的高频部分为止进行了阈值处理的处理图像,图33是将其一部分放大的图。这种情况下的评估值为4.3647。在噪声除去例3中,对与等级2的高频对应的分解阶段中的细节子带信号也进行阈值处理,由此,能够获得比上述噪声除去例1、2更好的结果。以往,在使用小波的噪声除去方法中,虽然只能够选择到哪个等级为止进行阈值处理,但利用风车小框架的话,由于频域的分离功能高,因此,确认了能够这样细致地选择频率分量来有效地进行噪声除去的这一效果。
[2.特征提取]
针对利用本实施方式中的系数处理部102b,使从分解阶段输出的近似系数和细节系数的至少一个相对地衰减或放大,由此进行图像的特征提取的例子,进行如下的说明。
[2.(a)边缘检测]
以往,作为边缘检测的方法,单纯的过滤的方法或使用小波的方法广为人知(参照非专利文献6,7)。但是,由于风车小框架具有多样的频率分解能力和方位选择性的功能,因此,与以往的边缘检测方法相比,可以寄予厚望的是,能够根据不同的用途来进行多样的边缘检测。
图34是表示在本实施例为了边缘检测而使用的原始图像的图。原始图像使用0~255的256灰度并且尺寸为1536×1536的图像。虽然所使用的原始图像是灰度,但在图像是彩色的情况下,也可以利用众所周知的方法变换成灰度。
[边缘检测例1]
首先,使用本实施方式的图像处理装置100,利用7次的风车小框架进行了等级2的最大重叠多分辨率分解。使用系数处理部102b,针对各分解子带信号,当等级1时利用图35所示的数值进行了加权;当等级2时利用图36所示的数值进行了加权。另外,表的配置对应于7次的风车小框架的滤波器配置(关于7次的风车小框架参照图3~图5)。图中的数值是针对子带信号的系数的加权值。
由此,提取与边缘相关的高频分量。在所提取的分解子带信号中还包括边缘检测不需要的、或者妨碍边缘检测的绝对值小的值,因此,为了除去该值而进行了阈值处理。阈值的求法与阈值处理的方法可以使用众所周知的合适的方法。在本例中,将各分解子带信号能够采用的最大值与0.005相乘后得到的值作为阈值,并进行了基于硬阈值的阈值处理。由此,能够按照各分解子带信号来确定阈值。然后,通过处理图像获取部102c的处理来获得经过了合成阶段的处理图像。
边缘检测的处理图像不适合于直接进行显示,因此,通过处理图像输出部102g用以下的两种方法显示。另外,边缘检测的处理图像的显示方法也可以使用其他的众所周知的方法。
<基于删失的显示>
作为人的感知,多值图像比二值图像更容易识别边缘。因此,进行利用中途结束的显示。具体而言,将比处理图像的m1小的值设为m1,将比m2大的值设为m2。
图37是表示将由边缘检测例1获得的处理图像进行删失后的图像的图。在删失显示中,设m1=0,m2=3。
<基于二值化的显示>
在基于二值化的显示中,通过将比t小的值设为0,将t以上的值设为1,从而获得二值化图像。
图38是表示以t=1进行二值化后的处理图像的图。如图37以及图38所示,由本边缘检测例1的结果可知:在处理图像的图像中央附近和左侧具有用原始图像几乎不能够判断的供电线,确认了基于本实施方式的边缘检测的效果。
[边缘检测例2]
接下来,作为利用风车小框架的方位性的边缘检测的示例而进行了边缘检测例2。虽然在上述的边缘检测例1的处理中能够在原始图像中检测出供电线,但为了进一步对此进行检测,要对该部分的检测进行经过了特殊化的处理。即,在边缘检测例2中,以7次的风车小框架进行等级2的最大重叠多分辨率分解,针对各分解子带信号,当等级1时以图39所示的数值进行了加权;当等级2时以图40所示的数值进行了加权。由此,能够获得与接近于供电线的方向的方向相关的分解子带信号。将各分解子带信号的可取的最大值与0.005相乘后得到的值作为阈值,进行基于硬阈值的阈值处理,经过合成阶段获得处理图像。
图41是利用本边缘检测例2的删失处理图像,图42是表示基于本边缘检测例2的二值化处理图像的图。在该图41中,进行m1=0、m2=2的删失。图42是表示以t=0.4进行二值化后的处理图像的图。
如图41以及图42所示,在本边缘检测例2中,在供电线以外的部分,边缘检测变得比边缘检测例1差,但更好地检测出了供电线。
在此,在本实施方式中,也能够利用边缘检测结果进行图像的锐化。即,也能够通过在原始图像中加入处理图像并使它们重叠,从而进行图像的锐化。图43是表示在原始图像中加入了进行删失处理后成为15倍的处理图像的图像的图。如图43所示,供电线成为能够看到的图像。
[边缘检测例3]
在此,边缘检测的其他方法如下所示。即,利用基于风车小框架的多分辨率分解,使对边缘不太有帮助的分解阶段的子带信号成为0或接近于0的值,由此,进行将对边缘有帮助的分解阶段的子带信号相对增强的边缘检测。这是不需要阈值计算的简化的方法,且由于风车小框架的多样的方位选择性或多样的频率选择性而成为可能。虽然与上述方法相比,调整的功能变差,但能够通过事先设计给定的滤波器而进行高速处理。
以下,以次数5的风车小框架的情况为例进行阐述。在次数5的情况下,在各等级中,获得分解阶段中的52个子带信号。为了对这些分解子带信号进行说明,基于图44进行编号。另外,虽然图44是等级2的图,但其他等级也同样。编号如下所示。
(x1,x2,Z,p)
其中,p是表示等级的数字;Z是a或b任意的一侧(图44的左侧的36个属于a,右侧的16个属于b);x1是行,x2是列。例如,(5,4,a,2)的“5”是图44的行,“4”是图44的列,“a”是a、b中的a,“2”是等级。
在小波的情况下,使构成分解阶段中的近似子带信号的分量都衰减为0的“朴素的方法”(Naive Edge Detection:朴素边缘检测)为人所知(参照[非专利文献6])。虽然可以将该方法用于风车小框架,但在风车小框架的情况下,与小波不同,具有分解阶段中的多样的细节子带信号。因此,选出与边缘无关的分解阶段中的细节子带信号,并将该信号的分量设为0或使其衰减,由此,能够相对地放大涉及边缘的细节子带信号,从而进行边缘检测。另外,该方法除了风车小框架以外,也能够以例如单纯风车小框架来实施。
作为实施例,首先,进行原始图像的噪声除去。这既可以利用本实施方式的方法,也可以利用众所周知的方法。接下来,通过将对边缘没有帮助的分解阶段中的低频的子带信号设为0,相对地使对边缘有帮助的分解阶段中的子带信号放大。例如,根据图4的配置,将不包括(1,1,a,1)、包围(1,1,a,1)的区域向多个方向扇形地可重复地分割。在各分割区域中,通过将不属于该分割区域的子带信号设为0或衰减,能够检测出具有特定方向的边缘。由此,在还需要提取所发现的边缘的情况下,能够使与成为对象的边缘无关的分解阶段中的子带信号衰减。
本实施例中,作为噪声除去,而将作为基于3次的风车小框架的最大重叠多分辨率分解的等级1的近似部分而重构的图像作为原始图像。并且,进行基于5次的风车小框架的最大重叠多分辨率分解,使与山脊、电线杆、供电线的方位相同方位的分解阶段中的子带信号留下,将与表示细致部分的高频有关的分解阶段中的子带信号设为0。具体而言,将(4,3,b,1)、(4,2,b,1)、(4,3,a,1)、(4,2,a,1)、(4,1,a,1)、(3,4,b,1)、(3,3,b,1)、(3,2,b,1)、(3,3,a,1)、(3,2,a,1)、(3,1,a,1)、(2,3,b,1)、(2,2,b,1)以及(1,2,a,1)以外的分解阶段的子带设为0。另外,这是一个示例,还能够根据用途的不同而选择不设为0的分解阶段的子带信号。
图45是表示针对由本边缘检测的结果获得的处理图像以二值化的方法(t=0.37)显示的图像的图,图46是表示通过删失的方法(m1=0,m2=1)显示了处理图像的图像的图。由此,确认了即使不进行阈值的计算,也能够以简单的方法进行边缘检测。
[2.(b)其他的特征提取]
在边缘检测中,虽然使用了高频的分解子带信号,但也能够进行使用其他频域的分解子带信号的图像处理。能够利用风车小框架的高的频率分解功能和多样的方位选择性来进行各种图像处理。另外,在噪声除去和边缘检测中,虽然对分解子带信号进行了阈值处理,但也能够进行其他的线性/非线性处理来用于图像处理。在这些图像处理中,由于能够提取图像具有的某一特征或进行强调,因此,如以下示例所示。
针对用于边缘检测的上述原始图像,以7次的风车小框架进行等级2的最大重叠多分辨率分解,对等级1的分解子带信号进行图47所示的加权,对等级2的分解子带信号进行图48所示的加权。
在该示例中,取出频率比边缘检测稍低的分解子带信号。将各分解子带信号的可取的最大值乘以0.005后得到的值作为阈值,进行基于硬阈值的阈值处理。将该阈值处理后的分解子带信号设为S。经过合成阶段而获得处理图像。
图49是表示进行了m1=-4,m2=0的删失后的处理图像的图。由图49所示可知,提取了图像的稍微粗略的特征。因此,对处理后的分解子带信号S进行了基于SN函数的非线性处理。以与上述[基于SN函数的系数处理的实施例]相同的方法设α=3/4。由于α<1,所以细节系数的绝对值小的值被放大,绝对值大的值得到抑制。然后,得到经过了合成阶段的处理图像。
图50是表示进行了m1=-2、m2=0的删失后的处理图像的图。可知,在图49的示例中,较弱的部分也在图50中表现得很强。而且,针对处理后的分解子带信号S,设α=4/3,进行了基于SN函数的非线性处理。由于α>1,所以细节系数的绝对值大的值被放大,绝对值小的值受到抑制。然后,得到经过了合成阶段的处理图像。
图51是表示进行了m1=-6、m2=0的删失后的处理图像的图。如图51所示可知,山脊附近或跟前的树等原本具有较强特征的部分得到增强。在此,若以m1=-6、m2=6对处理图像进行删失处理,并将5倍后的图像加入到原始图像,则能够得到图52所示的锐化图像。图52表示以m1=0、m2=255进行删失处理。如图52所示,在山的图像中,给人印象深刻的山脊线被适当地锐化,成为容易看清的图像。
[3.具有立体感的特征提取]
在本示例中,针对使在不经过合成阶段并且不经过重构的情况下施加处理的分解细节系数进行加权并相加而形成输出图像的系数输出处理图像进行说明。即使是二维图像,如果表现出当光从一定方向照射到物体时形成的影子,则有时会感觉到该物体的立体感。实际上,到目前为止,都是利用人的这种感知的特性来描绘具有立体感的绘画。
风车小框架具有多样的方位选择性,特别是生成分解阶段中的子带信号的滤波器不仅包括偶数型也包括奇数型,因此,能够使用这种特性,自动地作出人工的带阴影的边缘,制成具有立体感的边缘检测图像。另外,根据该示例获得的立体感是感觉上的立体感,并不是表现物理上的立体的扩展。通过使看图像的人感受到立体感,从而达到可以容易看清边缘的目的。
在以下的示例中,针对原始图像用5次的风车小框架进行了最大重叠多分辨率分解。例如,在以下要阐述的实施例的情况下,为了使图像内的蒸汽具有立体感,加上了分解阶段的子带信号之中的(1,4,a,1);(2,1,a,1)的5倍;(2,2,a,1)的5倍;(3,4,a,1)、(2,2,b,1)的5倍;和(3,4,b,1),以使在蒸汽的方向上带有阴影。在此,指定分解子带信号的描述与上述“边缘检测例3”的描述相同,如图44所示。图53是原始图像,图54是表示进行具有立体感的特征提取的结果的图。另外,虽然在本例中是单一等级内的处理,但在将跨越多个等级实施了加权的分解子带信号相加的情况下,也可以在修正位置偏差之后进行相加。
如图54所示,蒸汽看上去膨胀而具有立体感,由此,比通常的边缘检测更容易看清边缘。不过,观察方式每个人各有不同,也有人看到的蒸汽是凹下去的。因此,制成将灰度反转显示的图像。图55是表示相对于进行了具有立体感的特征提取的输出图像而将灰度反转显示的图像的图。
如上所述,根据阴影的添加方式的不同,平面图像被看成凸出的或被看成凹陷的这种眼睛的错觉被称为“凹洞错觉”。具有立体感的特征提取也具有从平面图像自动生成凹洞错觉的这一功能。
虽然在图53的原始图像中,地上的景象被蒸汽遮挡很难看清,蒸汽的情况也很难辨别,但在图54或图55的处理图像中,由于能够从蒸汽感受到立体感,所以蒸汽的情况变得容易辨别,因此,地上的景象也容易看清。根据以往的方法,如覆盖在地上的蒸汽那样,难以容易看出重合的物体地检测出边缘。但本实施方式具有即使针对立体重合的物体也能够提供容易辨认的处理图像的这一效果。另外,作为应用例,能够考虑X光相片等的图像处理。
以上,虽然列举出各种图像处理的示例,但由于风车小框架具有多样的滤波器,因此,用途不局限于上述用途,作为滤波器,能够应用在多种用途中。
[风车小框架]
在本实施方式作为示例使用的风车小框架,可以是上述那样的众所周知的单纯风车小框架或风车小波框架等方位选择性小波框架、或者具有方位选择性的滤波器组。在此,对风车小框架进行以下说明。
将次数设为n≥3,作为奇数,利用A=(AK,I):(n+1)×(n+1)对称矩阵,针对s=0,1...,[n/2],t=s,...,[n/2],找到满足As,t=An-s,t=As,n-t=An-s,n-t=s的矩阵。这里,[]表示高斯标号。
在n=7的情况下,满足条件的矩阵如下。
[公式11]
A = 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 1 2 2 2 2 1 0 0 1 2 3 3 2 1 0 0 1 2 3 3 2 1 0 0 1 2 2 2 2 1 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0
如果设为B=(Bk,l):(n+1)×(n+1)矩阵,则是满足以下条件(P)的矩阵。
[公式12]
[公式13]
具有以下个数的自由变量。
n 0 = [ n 2 ] 1 2 ( n 0 + 1 ) ( n 0 + 2 )
[公式14]
F k , l 1 ( &theta; 1 , &theta; 2 ) = 1 2 | det M | 1 / 2 i k + 1 + A k , l e - &pi;i &theta; 1 e - &pi;i &theta; 2 B k , 1 cos n - k - A l , l ( &pi;x ) sin k - A k , l ( &pi;x ) &times; cos n - 1 - A k , l ( &pi;y ) sin 1 - A k , l ( &pi;y ) &times; ( - cos ( &pi;x ) sin ( &pi;x ) + cos ( &pi;y ) sin ( &pi;y ) ) A k , l
[公式15]
F k , l 2 ( &theta; 1 , &theta; 2 ) = 1 2 | det M | 1 / 2 i k + 1 + A k , l e - &pi;i &theta; 1 e - &pi;i &theta; 2 B k , 1 cos n - k - A k , l ( &pi;x ) sin k - A k , l ( &pi;x ) &times; cos n - 1 - A k , l ( &pi;y ) sin 1 - A k , l ( &pi;y ) &times; ( cos ( &pi;x ) sin ( &pi;x ) + cos ( &pi;y ) sin ( &pi;y ) ) A k , l
其中,M是方形格子、五点格子或六角格子的采样矩阵。
[公式16]
[公式17]
&Lambda; f = { ( 0,0 ) , ( 0 , n ) , ( n , 0 ) , ( n , n ) }
&Lambda; g = { ( k , l ) } k = 0 , n ; l = 1 , . . . , n - 1 &cup; { ( k , l ) } l = 0 , n ; k = 1 , . . . , n - 1
&Lambda; a = { ( k . l ) } k = 1 , . . . , n - 1 ; l = 1 , . . . , n - 1
[公式18]
P n = { 2 f k , l 1 } ( k , l ) &Element; &Lambda; r &cup; &Lambda; g &cup; { f k , l 1 } ( k , l ) &Element; &Lambda; a &cup; { f k , l 2 } ( k , l ) &Element; &Lambda; a
引理2(H,&S,Arai,2008)
Pn是与方形格子、五点格子以及六角格子相关的小框架滤波器的必要充分条件是:B=(Bk,l)满足以下条件。
[公式19]
&Sigma; k = 0 n &Sigma; l = 0 n &Sigma; j = 1 2 | F k , l j ( &theta; 1 , &theta; 2 ) | 2 &equiv; | det M |
<求出满足上述条件的B=(Bk,I)的方法>
将{(k,I):k=0,1,...,n0,I=s,...,n0,:}如下排序。
[公式20]
μ=(k,I),v=(k′,I′)
[公式21]
K &mu; , v = 2 3 - 4 n + 4 k ( - 1 ) l &Sigma; p = 0 k { 2 k 2 p ( [ &Sigma; q = 0 2 k - 2 p ( - 1 ) q - 2 k - 2 p + 2 n 2 k &prime; - 2 p + n - q 2 k - 2 p q ] &times; [ &Sigma; q = 0 2 p + 2 l - 2 k ( - 1 ) q 2 p + 2 n - 2 k - 2 l 2 l &prime; + 2 p + n - 2 k - q 2 p + 2 l - 2 k q ] + [ &Sigma; q = 0 2 k - 2 p ( - 1 ) q - 2 k - 2 p + 2 n 2 l &prime; - 2 p + n - q 2 k - 2 p q ] &times; [ &Sigma; q = 0 2 p + 2 l - 2 k ( - 1 ) q 2 p + 2 n - 2 k - 2 l 2 k &prime; + 2 p + n - 2 k - q 2 p + 2 l - 2 k q ] ) }
[公式22]
[公式23]
定理3(H.&S.Arai,2008)
以上获得的B=(Bk,I)满足引理2。因此,Pn成为与方形格子、五点格子和六角格子相关的小框架滤波器。将Pn称为次数n的风车小框架(pinwheel framelet of degree n)。图56是表示将等级2下的最大重叠风车小框架滤波器(maximal overlap pinwheelframelet filters at level 2)与等级1的近似滤波器进行循环相关积所获得的滤波器的图。另外,图57是表示针对测试图像利用风车小框架进行了等级2的最大重叠多分辨率分解(2nd stage ofmaximal overlap MRA decomposition by pinwheel framelet)的结果的各合成子带信号的图。
以上,就完成了对本实施方式的说明。
如以上详细说明的那样,根据本实施方式,能够提供一种能进行自然的图像锐化或各种边缘检测或噪声除去等多种图像处理的图像处理装置、图像处理方法、程序、印刷介质以及记录介质,因此,在医疗图像、航空照片、卫星图像等的图像处理或图像解析等领域中极其有用。另外,根据本实施方式,能够提供一种能针对彩色图像进行自然的图像锐化的图像处理装置、图像处理方法、程序、印刷介质以及记录介质。特别是由于颜色的对比错觉涉及到产品等的颜色的感受方式,因此,除了制造·出售施加了色彩的产品等的产业(印刷、设计、影像、油漆等产业)之外,在提供影像等的服务的服务行业等中也极其有用。
[其他的实施方式]
以上,对本发明的实施方式进行了说明,但除了上述实施方式以外,本发明也可以在权利要求书中所记载的技术思想的范围内以各种不同的实施方式实施。
例如,虽然有时对使用CIE(国际照明委员会)均匀颜色空间(L*a*b*表现系)作为上述实施方式中的颜色空间的例子进行了说明,但不局限于此,只要是接近于人的视觉的颜色空间,也可以使用其他颜色空间中的颜色分量。
例如,虽然以图像处理装置100在独立的形式下进行处理的情况作为一个示例进行了说明,但图像处理装置100也可以根据来自客户终端(与图像处理装置100不同的壳体)的请求进行处理,并将该处理结果返回到该客户终端。例如,图像处理装置100可以作为ASP服务器来构成,接收由用户终端经由网络300发送的原始图像数据,并将基于该原始图像数据而加工后的处理图像的重构图像数据返回到用户终端。
另外,在实施方式中所说明的各处理中,也能够通过手动进行作为自动进行的处理而说明的处理的全部或一部分,或者也能够利用众所周知的方法自动地进行作为手动进行的处理而说明的处理的全部或一部分。
除此以外,关于在上述文献中或附图中所示的处理顺序、控制顺序、具体的名称、包括各处理的登记数据或检索条件等的参数的信息、画面例和数据库结构,除了特殊记载的情况以外,能够进行任意变更。
另外,关于图像处理装置100,图示的各构成要素是功能概念性的要素,并不一定需要以物理性的图示那样来构成。
例如,关于图像处理装置100的各装置所具有的处理功能,特别是关于利用控制部102进行的各处理功能,其全部或任意的一部分可以由CPU(Central Processing Unit)以及用该CPU解释执行的程序来实现,另外,也可以作为基于布线逻辑的硬件来实现。另外,程序包括后面要提到的用于在计算机中执行本发明的方法的程序化的命令,且被记录在非临时性的计算机能够读取的记录介质中,并会根据需要而被图像处理装置100机械性读取。即,在ROM或HDD(Hard Disk Drive:硬盘驱动)等存储部106等中,记录有作为OS(Operating System:操作系统)而协同动作且对CPU发出命令以进行各种处理的计算机程序。该计算机程序被通过装载于RAM中来执行,且与CPU协同动作来构成控制部。
另外,该计算机程序可以存储在经由任意的网络300而与图像处理装置100连接的应用程序服务器中,也能够根据需要下载其全部或一部分。
另外,可以将涉及本发明的程序保存在计算机能够读取的记录介质中,另外,也能够构成为程序产品。在此,该“记录介质”包括:存储卡、USB存储器、SD卡、软磁盘、光磁盘、ROM、EPROM、EEPROM、CD-ROM、MO、DVD以及蓝光(注册商标)光盘等任意的“可携带的物理介质”。
另外,“程序”是利用任意的语言或描述方法所描述的数据处理方法,不局限于源代码或二进制代码等形式。另外,“程序”不一定局限于单一构成的方式,也包括作为多个模块或程序库分散构成的方式,或者与以OS(Operating System)为代表的个别的程序协同动作来达到其功能的方式。另外,关于用于在实施方式所示的各装置中读取记录介质的具体的构成、读取顺序、或读取后的安装顺序等,能够使用众所周知的构成或顺序。
保存在存储部106的各种数据库等(小框架文件106a、图像数据文件106b)是RAM、ROM等存储器装置、硬盘等固定磁盘装置、软盘以及光盘等存储单元,且保存在各种处理或网站提供中使用的各种程序、表、数据库以及网页用文件等。
另外,图像处理装置100可以作为已知的个人计算机、工作站等信息处理装置来构成,另外,也可以通过与该信息处理装置连接任意的周边装置来构成。另外,图像处理装置100也可以通过在该信息处理装置中安装实现本发明的方法的软件(包括程序、数据等)来实现。
而且,装置的分散/统一的具体形式不局限于图中所示的方式,根据各种的附加等或功能负荷,能够以任意的单位来功能性或物理性地将其全部或一部分分散/统一地构成。即,上述实施方式可以进行任意的组合来实施,也可以选择性实施实施方式。
附图标记的说明
100      图像处理装置
102      控制部
102a     分解部
102b     系数处理部
102c     处理图像获取部
102d     重构部
102f     颜色空间变换部
102g     处理图像输出部
104      通信控制接口部
106      存储部
106a     小框架文件
106b     图像数据文件
108      输入输出控制接口部
112      输入装置
114      输出装置
200      外部系统
300      网络

Claims (23)

1.一种图像处理装置,其至少具有存储部和控制部,上述图像处理装置的特征为,
上述存储部具有:
滤波器存储单元,其存储具有次数的广义风车小框架或风车小波框架,上述广义风车小框架或风车小波框架是没有方位性的近似滤波器、以及具有各方位性的多个细节滤波器的集合;以及
图像数据存储单元,其存储图像数据,
上述控制部具有:
分解单元,其针对上述图像数据进行基于广义风车小框架或风车小波框架的多分辨率分解,并获取子带信号;以及
处理图像获取单元,其获取通过将从上述分解单元获取的、基于上述多分辨率分解的分解阶段中的上述子带信号的处理图像数据或上述多分辨率分解的合成阶段中的上述子带信号相加而对图像进行重构后的处理图像数据,
上述分解单元还具有:
处理单元,其进行使与上述滤波器的至少一个对应的上述多分辨率分解的上述分解阶段中的上述子带信号衰减或放大的处理。
2.根据权利要求1所述的图像处理装置,其特征为,
上述处理单元针对上述分解阶段中的上述子带信号进行线性或非线性的系数处理。
3.根据权利要求1或2所述的图像处理装置,其特征为,
上述处理单元针对上述分解阶段中的上述子带信号进行阈值处理。
4.根据权利要求1或2所述的图像处理装置,其特征为,
上述处理单元进行系数处理,以使将形成上述分解阶段中的上述子带信号的分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。
5.根据权利要求1至4的任意一项所述的图像处理装置,其特征为,
上述处理单元使与多个上述滤波器之中的具有给定的频率特性以及/或者给定的方位性的上述滤波器的至少一个对应的上述分解阶段中的上述子带信号衰减或放大。
6.根据权利要求5所述的图像处理装置,其特征为,
上述给定的频率特性是由基于上述广义风车小框架或上述风车小波框架的各等级下的方位的给定的滤波器配置中的位置以及/或者上述多分辨率分解中的等级所指定的。
7.根据权利要求1至6的任意一项所述的图像处理装置,其特征为,
上述处理单元使与多个上述滤波器之中的具有给定的频率特性以及/或者给定的方位性的奇数型滤波器的至少一个对应的上述分解阶段中的子带信号相对地放大。
8.根据权利要求1至6的任意一项所述的图像处理装置,其特征为,
上述处理单元使与多个上述滤波器之中的具有给定的频率特性以及/或者给定的方位性的上述奇数型滤波器的至少一个对应的上述分解阶段中的子带信号相对地放大,而且,还使与偶数型滤波器的至少一个对应的上述分解阶段中的子带信号相对地衰减。
9.根据权利要求1至8的任意一项所述的图像处理装置,其特征为,
上述处理单元通过对从上述分解阶段输出的分解细节系数以及/或者分解近似系数进行处理,从而使上述分解阶段中的上述子带信号衰减或放大。
10.一种图像处理装置,其至少具有存储部和控制部,所述图像处理装置的特征为,
上述存储部具有:
滤波器存储单元,其存储方位选择性小波框架或方位选择性滤波器组,上述方位选择性小波框架或方位选择性滤波器组是没有方位性的近似滤波器、以及具有各方位性的多个细节滤波器的集合;以及
图像数据存储单元,其存储图像数据,
上述控制部具有:
分解单元,其针对上述图像数据的各颜色分量,进行基于上述方位选择性小波框架或上述方位选择性滤波器组的多分辨率分解,并获取子带信号;以及
重构单元,其将通过上述分解单元获取的各颜色分量的上述合成阶段中的上述子带信号相加而对图像进行重构,并获取重构图像数据,
上述分解单元还具有:
系数处理单元,其在上述多分辨率分解的分解阶段与合成阶段之间,针对从上述分解阶段输出的分解细节系数进行系数处理,以使将该分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。
11.根据权利要求10所述的图像处理装置,其特征为,
上述颜色分量是CIELAB颜色空间中的L*、a*以及b*、或接近于人的视觉的颜色空间的各颜色分量。
12.根据权利要求11所述的图像处理装置,其特征为,
上述系数处理单元针对上述图像数据的a*以及/或者b*的颜色分量进行按如下方式修正的上述系数处理,即:将由a*以及/或者b*的上述分解细节系数与L*中的上述分解细节系数所确定的能量越大则绝对值越小的值抑制得更小,将上述能量越小则绝对值越小的值增大。
13.根据权利要求10至12的任意一项所述的图像处理装置,其特征为,
上述系数处理单元使用自动地进行连续变化的函数,在上述分解细节系数的能量大的情况下,对S字曲线进行上述系数处理,在上述分解细节系数的能量小的情况下,对N字曲线进行上述系数处理。
14.根据权利要求10至13的任意一项所述的图像处理装置,其特征为,
上述系数处理单元在上述分解阶段与上述合成阶段之间,将上述分解细节系数归一化,将被归一化后的上述分解细节系数即归一化分解细节系数的范数作为上述能量,针对该归一化分解细节系数进行上述系数处理,并对被系数处理后的上述归一化分解细节系数进行上述归一化的逆运算。
15.根据权利要求10至14的任意一项所述的图像处理装置,其特征为,
上述系数处理单元根据上述分解细节系数的符号的不同来进行个别的处理。
16.根据权利要求10至15的任意一项所述的图像处理装置,其特征为,
上述分解单元使用上述方位性由水平方向、垂直方向和对角方向构成的双正交小波滤波器组、或上述方位性为多方向的广义风车小框架或风车小波框架,进行上述多分辨率分解。
17.根据权利要求10至16的任意一项所述的图像处理装置,其特征为,
基于上述分解单元进行的上述多分辨率分解是:最大重叠多分辨率分解、最大间隔剔除多分辨率分解、或者部分间隔剔除部分重叠多分辨率分解。
18.一种图像处理方法,是在至少具有存储部和控制部的图像处理装置中执行的图像处理方法,其特征为:
上述存储部具有:
滤波器存储单元,其存储具有次数的广义风车小框架或风车小波框架,上述广义风车小框架或风车小波框架是没有方位性的近似滤波器、以及具有各方位性的多个细节滤波器的集合;以及
图像数据存储单元,其存储图像数据,
上述图像处理方法在上述控制部中执行的步骤包括:
分解步骤,针对上述图像数据进行基于广义风车小框架或风车小波框架的多分辨率分解,并获取子带信号;以及
处理图像获取步骤,获取通过将从上述分解单元获取的、基于上述多分辨率分解的分解阶段中的上述子带信号的处理图像数据、或上述多分辨率分解的合成阶段中的上述子带信号相加而对图像进行重构后的处理图像数据,
上述分解步骤还具有:
处理步骤,进行使与上述滤波器的至少一个对应的上述多分辨率分解的上述分解阶段中的上述子带信号衰减或放大的处理。
19.一种图像处理方法,是在至少具有存储部和控制部的图像处理装置中执行的图像处理方法,其特征为,
上述存储部具有:
滤波器存储单元,其存储方位选择性小波框架或方位选择性滤波器组,上述方位选择性小波框架或方位选择性滤波器组是没有方位性的近似滤波器、以及具有各方位性的多个细节滤波器的集合;以及
图像数据存储单元,其存储图像数据,
上述图像处理方法在上述控制部中执行的步骤包括:
分解步骤,针对上述图像数据的各颜色分量进行基于上述方位选择性小波框架或上述方位选择性滤波器组的多分辨率分解,并获取子带信号;以及
重构步骤,通过将在上述分解步骤获取的各颜色分量的上述合成阶段中的上述子带信号相加而对图像进行重构,并获取重构图像数据,
上述分解步骤还具有:
系数处理步骤,在上述多分辨率分解的分解阶段与合成阶段之间,针对从上述分解阶段输出的分解细节系数进行系数处理,以使将该分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。
20.一种程序,是用于在至少具有存储部和控制部的图像处理装置中执行图像处理方法的程序,其特征为,
上述存储部具有:
滤波器存储单元,其存储具有次数的广义风车小框架或风车小波框架,上述广义风车小框架或风车小波框架是没有方位性的近似滤波器以及具有各方位性的多个细节滤波器的集合;以及
图像数据存储单元,其存储图像数据,
上述程序在上述控制部中执行:
分解步骤,针对上述图像数据进行基于广义风车小框架或风车小波框架的多分辨率分解,并获取子带信号;以及
处理图像获取步骤,获取通过将从上述分解单元获取的、基于上述多分辨率分解的分解阶段中的上述子带信号的处理图像数据、或上述多分辨率分解的合成阶段中的上述子带信号相加而对图像进行重构后的处理图像数据,
在上述分解步骤还执行:
处理步骤,进行使与上述滤波器的至少一个对应的上述多分辨率分解的上述分解阶段中的上述子带信号衰减或放大的处理。
21.一种程序,是用于在至少具有存储部和控制部的图像处理装置中执行图像处理方法的程序,其特征为,
上述存储部具有:
滤波器存储单元,其存储方位选择性小波框架或方位选择性滤波器组,上述方位选择性小波框架或方位选择性滤波器组是没有方位性的近似滤波器、以及具有各方位性的多个细节滤波器的集合;以及
图像数据存储单元,其存储图像数据,
上述程序在上述控制部中执行:
分解步骤,针对上述图像数据的各颜色分量进行基于上述方位选择性小波框架或上述方位选择性滤波器组的多分辨率分解,并获取子带信号;以及
重构步骤,通过将在上述分解步骤获取的各颜色分量的上述合成阶段中的上述子带信号相加而对图像进行重构,并获取重构图像数据,
在上述分解步骤中还执行:
系数处理步骤,在上述多分辨率分解的分解阶段与合成阶段之间,针对从上述分解阶段输出的分解细节系数进行系数处理,以使将该分解细节系数的能量越大则绝对值越小的值抑制得更小,并将该分解细节系数的能量越小则绝对值越小的值增大。
22.一种印刷介质,印刷有处理图像,其特征为,
在上述处理图像中,构成原始图像的、由广义风车小框架或风车小波框架提取的各分量、或者由方位选择性小波框架或方位选择性滤波器组提取的各分量之中的给定的上述分量被衰减或放大。
23.一种能够由计算机读取的记录介质,其记录了用于显示处理图像的图像数据,其特征为,
在上述处理图像中,构成原始图像的、由广义风车小框架或风车小波框架提取的各分量、或者由方位选择性小波框架或方位选择性滤波器组提取的各分量之中的给定的上述分量被衰减或放大。
CN201380025075.9A 2012-05-14 2013-05-13 图像处理装置、图像处理方法、以及印刷介质 Active CN104285239B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012110949 2012-05-14
JP2012-110949 2012-05-14
PCT/JP2013/063871 WO2013172471A1 (ja) 2012-05-14 2013-05-13 画像処理装置、画像処理方法、プログラム、印刷媒体、および、記録媒体

Publications (2)

Publication Number Publication Date
CN104285239A true CN104285239A (zh) 2015-01-14
CN104285239B CN104285239B (zh) 2018-02-23

Family

ID=49583869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380025075.9A Active CN104285239B (zh) 2012-05-14 2013-05-13 图像处理装置、图像处理方法、以及印刷介质

Country Status (9)

Country Link
US (2) US9292910B2 (zh)
EP (1) EP2851866A4 (zh)
JP (3) JP5599520B2 (zh)
KR (1) KR101697634B1 (zh)
CN (1) CN104285239B (zh)
IL (1) IL235680A0 (zh)
RU (1) RU2628481C2 (zh)
TW (1) TWI532011B (zh)
WO (1) WO2013172471A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817535A (zh) * 2015-12-02 2017-06-09 佳能株式会社 图像处理装置、图像捕捉装置和图像处理方法
CN107016640A (zh) * 2017-04-06 2017-08-04 广州爱图互联网有限公司 基于多尺度分解的图片能量归一化处理方法及系统
CN111596870A (zh) * 2020-04-30 2020-08-28 厦门汉印电子技术有限公司 打印图像的轮廓加强方法、装置、设备及可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2589401C2 (ru) * 2012-02-29 2016-07-10 Нэшнл Инститьют Оф Джапэн Сайнс Энд Текнолоджи Эйдженси Цифровой фильтр обработки изображений, устройство генерирования изображения, устройство генерирования супер гибридного изображения, способ генерирования изображения, способ создания цифрового фильтра, способ генерирования супер гибридного изображения, способ изготовления печатного средства информации, способ изготовления электронного носителя информации и программа, и устройство генерирования вертикального панорамирования буквенного ряда, способ генерирования вертикального панорамирования буквенного ряда, способ изготовления печатного средства информации, способ изготовления электронного носителя информации и программа
CN104285239B (zh) * 2012-05-14 2018-02-23 独立行政法人科学技术振兴机构 图像处理装置、图像处理方法、以及印刷介质
KR101769042B1 (ko) * 2012-09-28 2017-08-17 고쿠리츠켄큐카이하츠호진 카가쿠기쥬츠신코키코 착시의 분석 장치, 원화상대로 지각시키도록 착시를 가미한 착시 가미 화상 생성 장치, 착시의 분석 방법, 원화상대로 지각시키도록 착시를 가미한 착시 가미 화상 생성 방법 및 프로그램
WO2014119800A1 (ja) * 2013-01-30 2014-08-07 独立行政法人科学技術振興機構 画像処理用ディジタルフィルタ、画像処理装置、印刷媒体、記録媒体、画像処理方法、および、プログラム
JP6619638B2 (ja) * 2015-12-09 2019-12-11 Eizo株式会社 画像処理装置及びプログラム
US10387991B2 (en) * 2016-07-01 2019-08-20 Intel Corporation Method and apparatus for frame buffer compression
EP3413235A1 (en) * 2017-06-08 2018-12-12 Moqi Inc. System and method for fingerprint recognition
CN110008796B (zh) * 2018-01-04 2021-06-01 金佶科技股份有限公司 生物特征影像处理方法及其电子装置
US11222248B2 (en) 2018-10-31 2022-01-11 Hewlett-Packard Development Company, L.P. Luminance-biased sharpening for thermal media printing
US10885612B2 (en) 2018-10-31 2021-01-05 Hewlett-Packard Development Company, L.P. Luminance-biased sharpening for thermal media printing
CN109857367B (zh) * 2018-12-13 2023-06-30 上海集成电路研发中心有限公司 一种嵌入式图像处理的小波分解加速电路
CN115578621B (zh) * 2022-11-01 2023-06-20 中国矿业大学 一种基于多源数据融合的图像识别方法
CN116665615B (zh) * 2023-07-27 2023-11-14 深圳市安立信电子有限公司 一种医用显示器控制方法、系统、设备及其存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248824A (ja) * 2002-02-26 2003-09-05 Fuji Xerox Co Ltd 画像処理装置および画像処理方法
CN101201937A (zh) * 2007-09-18 2008-06-18 上海医疗器械厂有限公司 基于小波重构与分解的数字图像增强方法及其装置
CN101734031A (zh) * 2006-04-24 2010-06-16 精工爱普生株式会社 印刷介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799112A (en) 1996-08-30 1998-08-25 Xerox Corporation Method and apparatus for wavelet-based universal halftone image unscreening
EP0938235A1 (en) * 1998-02-20 1999-08-25 Canon Kabushiki Kaisha Digital signal coding and decoding
US6288842B1 (en) * 2000-02-22 2001-09-11 3M Innovative Properties Sheeting with composite image that floats
RU2174710C1 (ru) * 2000-03-20 2001-10-10 Общевойсковая Академия Вооруженных Сил Российской Федерации Способ автоматического улучшения полутонового изображения
JP4187134B2 (ja) * 2001-02-20 2008-11-26 株式会社リコー 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
EP2003612A4 (en) * 2006-03-31 2010-10-13 Nikon Corp IMAGE PROCESSING
CN104285239B (zh) * 2012-05-14 2018-02-23 独立行政法人科学技术振兴机构 图像处理装置、图像处理方法、以及印刷介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248824A (ja) * 2002-02-26 2003-09-05 Fuji Xerox Co Ltd 画像処理装置および画像処理方法
CN101734031A (zh) * 2006-04-24 2010-06-16 精工爱普生株式会社 印刷介质
CN101201937A (zh) * 2007-09-18 2008-06-18 上海医疗器械厂有限公司 基于小波重构与分解的数字图像增强方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YU-PING ET.AL: "Image enhancement using multiscale oriented wavelets", 《INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817535A (zh) * 2015-12-02 2017-06-09 佳能株式会社 图像处理装置、图像捕捉装置和图像处理方法
CN106817535B (zh) * 2015-12-02 2020-05-19 佳能株式会社 图像处理装置、图像捕捉装置和图像处理方法
CN107016640A (zh) * 2017-04-06 2017-08-04 广州爱图互联网有限公司 基于多尺度分解的图片能量归一化处理方法及系统
CN111596870A (zh) * 2020-04-30 2020-08-28 厦门汉印电子技术有限公司 打印图像的轮廓加强方法、装置、设备及可读存储介质
CN111596870B (zh) * 2020-04-30 2022-11-18 厦门汉印电子技术有限公司 打印图像的轮廓加强方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
JP2014059916A (ja) 2014-04-03
KR101697634B1 (ko) 2017-02-01
JPWO2013172471A1 (ja) 2016-01-12
CN104285239B (zh) 2018-02-23
EP2851866A1 (en) 2015-03-25
IL235680A0 (en) 2015-01-29
US20160140698A1 (en) 2016-05-19
JP2016139430A (ja) 2016-08-04
JP5599520B2 (ja) 2014-10-01
RU2014147957A (ru) 2016-06-20
WO2013172471A1 (ja) 2013-11-21
EP2851866A4 (en) 2016-05-25
KR20150008877A (ko) 2015-01-23
US20150131906A1 (en) 2015-05-14
JP6162283B2 (ja) 2017-07-12
US9292910B2 (en) 2016-03-22
TWI532011B (zh) 2016-05-01
TW201401228A (zh) 2014-01-01
RU2628481C2 (ru) 2017-08-17

Similar Documents

Publication Publication Date Title
CN104285239A (zh) 图像处理装置、图像处理方法、程序、印刷介质以及记录介质
Yang et al. BM3D-Net: A convolutional neural network for transform-domain collaborative filtering
CN108205803B (zh) 图像处理方法、神经网络模型的训练方法及装置
CN103208097B (zh) 图像多方向形态结构分组的主分量分析协同滤波方法
US9721331B2 (en) Digital filter, and image generating, superhybrid image generating, electronic medium manufacturing, and letter-row tilt illusion generating apparatus, method and program
CN102542542A (zh) 基于非局部稀疏模型的图像去噪方法
Rodriguez-Aragon et al. Singular spectrum analysis for image processing
CN110782406B (zh) 一种基于信息蒸馏网络的图像去噪方法及装置
Lyu et al. A nonsubsampled countourlet transform based CNN for real image denoising
CN103210422B (zh) 视错觉图像生成装置、介质、图像数据、视错觉图像生成方法、打印介质制造方法以及程序
CN107590785A (zh) 一种基于sobel算子的布里渊散射谱图像识别方法
CN104781847B (zh) 视错觉分析装置及方法、参考视错觉的图像生成装置及方法
Huang et al. Comparison of different image denoising algorithms for Chinese calligraphy images
Grigoryan et al. On a method of paired representation: Enhancement and decomposition by series direction images
CN103077396B (zh) 一种彩色图像的向量空间特征点提取方法及装置
JP2018022385A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Kumar et al. Low intensity visual data improvement using DWT and LWT based regularizer
Anh et al. A Convex Optimization Based Method for Color Image Reconstruction
Kurama et al. Image Filter Selection, Denoising and Enhancement Based on Statistical Attributes of Pixel Array
CN117849878A (zh) 一种地震资料线性面波噪声压制方法、装置、设备及介质
CN117830102A (zh) 图像超分辨率复原方法、装置、计算机设备和存储介质
CN116958547A (zh) 基于生成对抗网络的遥感影像云去除方法
CN114418843A (zh) 空间数据插值方法、装置及电子设备
Kingsbury Enticing general engineering undergrads into signal processing with Photo-Editing and image search

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant