CN104781847A - 视错觉分析装置及方法、参考视错觉的图像生成装置及方法 - Google Patents

视错觉分析装置及方法、参考视错觉的图像生成装置及方法 Download PDF

Info

Publication number
CN104781847A
CN104781847A CN201380049293.6A CN201380049293A CN104781847A CN 104781847 A CN104781847 A CN 104781847A CN 201380049293 A CN201380049293 A CN 201380049293A CN 104781847 A CN104781847 A CN 104781847A
Authority
CN
China
Prior art keywords
mentioned
decomposition
optical illusion
detail coefficients
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380049293.6A
Other languages
English (en)
Other versions
CN104781847B (zh
Inventor
新井仁之
新井偲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Publication of CN104781847A publication Critical patent/CN104781847A/zh
Application granted granted Critical
Publication of CN104781847B publication Critical patent/CN104781847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明对图像数据的颜色分量,进行基于方向选择性小波框架或者方向选择性滤波器组的多分辨率分解,取得子带信号,在通过将所取得的子带信号相加来对图像进行重构的情况下,在多分辨率分解中的分解相与合成相之间,对从分解相输出的分解详细系数,按照该分解详细系数的能量越大则越将小的值抑制得更小、该分解详细系数的能量越小则越对小的值进行增强的方式进行系数处理。或者,按照其相反的方式进行系数处理。

Description

视错觉分析装置及方法、参考视错觉的图像生成装置及方法
技术领域
本发明涉及视错觉的分析装置、参考视错觉的图像生成装置、以及觉的分析方法、参考视错觉的图像生成方法。
背景技术
以往,发现了引起颜色的对比视错觉的图形等(参照非专利文献1)。19世纪,担任法国皇家戈布兰织物制作所的染色研究部门监督一职的化学家谢弗勒尔(Chevreul)发现,即使按照被委托的那样进行配色来制作戈布兰织物也会看起来不同。若观看谢弗勒尔视错觉等的视错觉图形,则发生与实际不同地感知到颜色、辉度等,或者能看见实际上不存在的颜色、辉度的视错觉现象。
此外,在非专利文献2所记载的方法中,公开了利用最大重复双正交小波滤波器组作为人的初始视觉信息处理的数理模型,来对原图像进行非线性处理。此外,作为人的视觉皮层的单纯细胞的数理模型,开发了风车小波框架(参照非专利文献4)、单纯风车小框架(参照非专利文献3)、被称作风车小框架的方向选择性小波框架,并利用于图像解析等。此外,报告了在人的视觉中,在大脑皮层中存在颜色·辉度细胞这样的脑神经科学实验结果(参照非专利文献5)。
在先技术文献
非专利文献
非专利文献1:新井仁之著“视错觉图版集”三秀舍2007年
非专利文献2:Hitoshi Arai,“A Nonlinear Model of VisualInformation Processing Based on Discrete Maximal OverlapWavelets”,Interdisciplinary Information Sciences,Vol.11,No.2,pp.177~190(2005).
非专利文献3:Hitoshi Arai and Shinobu Arai,2D tightframelets with orientation selectivity suggested by vision science,JSIAM Letters Vol.1,pp.9~12(2009).
非专利文献4:Hitoshi Arai and Shinobu Arai,Finite discrete,shift-invariant,directional filterbanks for visual informationprocessing,I:construction,Interdisciplinary Information Sciences,Vol.13,No.2,pp.255~273(2007).
非专利文献5:E.N.Johnson,M.J.Hawken and R.Shapley,The spatial transformation of color in the primary visualcortex of the macaque monkey,Nature Neuroscience,Vol.4,No.4,pp.409~416(2001).
发明内容
发明要解决的课题
但是,以往,图像实际上看起来如何,是基于此人的主观判断,具有无法定量化的问题点。特别是,有如下问题点:与汽车等有关的工业设计师、与建筑物等有关的室内装饰设计师等实施配色者,即使发现了顾客并不能看到本人想要的效果,以往也只能以手艺人的方式依赖经验上学到的技能来调整配色。
本发明鉴于上述问题点而作,目的在于提供一种能够针对任意图像对可能发生的视错觉量进行定量化或者生成参考视错觉量的图像的视错觉的分析装置、参考视错觉的图像生成装置、视错觉的分析方法、参考视错觉的图像生成方法以及程序。
解决课题的手段
为了达成这种目的,本申请发明者专心研究的结果,通过如下这样考虑而完成了本发明。即,人的视觉原本进行着能够经常看见想看的部分的信息处理。人虽然会感知各种各样的视错觉,但可以认为这是视觉信息处理的结果。在此,若数理模型接近人的视觉信息处理,则安装了数理模型的计算机也应该算出视错觉。因此,本申请发明者发现,通过采用对明暗的视错觉、颜色的对比视错觉实现了模拟的数理模型,从而对原图像实施接近人的视觉的信息处理,作成在人的脑内被感知的图像,通过将其与原图像进行对比能够数值化,从而完成了本申请发明。此外,根据同样的原理,还能够获得预先参考了在人的视觉信息处理中被附加的视错觉量,使得在人的脑内被感知为如原图像那样的图像(参考视错觉的图像)。
即,本发明的视错觉的分析装置,至少具备存储部和控制部,上述视错觉的分析装置的特征在于,上述存储部具备:滤波器存储单元,其存储无方向性的近似滤波器、以及作为具有各方向性的多个细节滤波器的集合的方向选择性小波框架或方向选择性滤波器组;和图像数据存储单元,其存储图像数据,上述控制部具备:分解单元,其针对上述图像数据的颜色分量,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;重构单元,其通过将由上述分解单元取得的上述子带信号相加来对图像进行重构,取得重构图像数据;和视错觉量数值化单元,其通过算出上述图像数据与上述重构图像数据之间的、上述颜色分量的比或差来对视错觉量进行数值化,上述分解单元还具备:系数处理单元,其在上述多分辨率分解中的分解相与合成相之间,对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越将小的值抑制得更小、该分解详细系数的能量越小则越对小的值进行增强的方式进行系数处理。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述系数处理单元根据上述分解详细系数的符号的差异来进行个别的处理。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述颜色分量是CIELAB颜色空间中的L、a、以及b的任意一者。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述视错觉量数值化单元,利用L的值、a的值、以及b的值的、上述图像数据与上述重构图像数据之间的差的平方和的平方根即色差,作为上述视错觉量而计算。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述系数处理单元,针对上述图像数据的a以及/或者b的颜色分量,进行按照根据a以及/或者b的上述分解详细系数和L中的上述分解详细系数而规定的能量越大则越将小的值抑制得更小、上述能量越小则越对小的值进行增强的方式进行了校正的上述系数处理。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述系数处理单元,利用在上述分解详细系数的能量大的情况下呈S字曲线、在能量小的情况下呈N字曲线地自动进行连续的变化的函数,进行上述系数处理。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述系数处理单元,在上述分解相与上述合成相之间,对上述分解详细系数进行标准化,将标准化后的上述分解详细系数即标准化分解详细系数的范数作为上述能量,针对该标准化分解详细系数进行上述系数处理,并针对系数处理后的上述标准化分解详细系数进行上述标准化的逆运算。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述分解单元,利用上述方向性由水平方向、垂直方向、对角方向构成的双正交小波滤波器组或上述方向性为多方向的风车小框架,进行上述多分辨率分解。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述分解单元,在上述多分辨率分解中,也可以采用根据等级来改变风车小框架的阶数等的其他滤波器组。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述分解单元所进行的上述多分辨率分解,是最大重复多分辨率分解、最大稀疏多分辨率分解、或者部分稀疏部分重复多分辨率分解。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述控制部还具备:图像编辑单元,其针对上述图像数据进行编辑,并控制使得通过上述分解单元对编辑后的上述图像数据进行上述多分辨率分解,上述视错觉量数值化单元,将根据编辑后的上述图像数据而取得的上述重构图像数据与未编辑的上述图像数据之间的比或差作为上述视错觉量而算出,上述图像编辑单元反复进行编辑以使得上述视错觉量变小。
此外,本发明在上述记载的视错觉的分析装置中,其特征在于,上述控制部还具备:图像编辑单元,其对上述图像数据进行编辑,并控制使得通过上述分解单元对编辑后的上述图像数据进行上述多分辨率分解,上述视错觉量数值化单元,将编辑后的上述图像数据与根据该编辑后的上述图像数据而取得的上述重构图像数据之间的比或差作为上述视错觉量而算出,上述图像编辑单元,反复进行编辑以使得上述视错觉量成为给定的数值。
此外,本发明涉及一种参考视错觉的图像生成装置,本发明的参考视错觉的图像生成装置,至少具备存储部和控制部,上述参考视错觉的图像生成装置的特征在于,上述存储部具备:滤波器存储单元,其存储无方向性的近似滤波器、以及具有各方向性的多个细节滤波器的集合即方向选择性小波框架或方向选择性滤波器组;和图像数据存储单元,其存储图像数据,上述控制部具备:分解单元,其对上述图像数据,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;和重构单元,其通过将由上述分解单元取得的上述子带信号相加来对图像进行重构,取得重构图像数据,上述分解单元还具备:系数处理单元,其在上述多分辨率分解中的分解相与合成相之间,对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越对小的值进行增强、该分解详细系数的能量越小则越将小的值抑制得更小的方式进行系数处理。
此外,本发明的参考视错觉的图像生成装置,在上述记载的参考视错觉的图像生成装置中,其特征在于,上述系数处理单元,根据上述分解详细系数的符号的差异来进行个别的处理。
此外,本发明的参考视错觉的图像生成装置,在上述记载的参考视错觉的图像生成装置中,其特征在于,上述图像数据的颜色分量是CIELAB颜色空间中的L、a、以及b的任意一者。
此外,本发明的参考视错觉的图像生成装置,在上述记载的参考视错觉的图像生成装置中,其特征在于,上述系数处理单元,针对上述图像数据的a以及/或者b的颜色分量,进行按照根据a以及/或者b的上述分解详细系数和L中的上述分解详细系数而规定的能量越大则越对小的值进行增强、上述能量越小则越将小的值抑制得更小的方式进行了校正的上述系数处理。
此外,本发明的参考视错觉的图像生成装置,在上述记载的参考视错觉的图像生成装置中,其特征在于,上述系数处理单元,利用在上述分解详细系数的能量大的情况下呈N字曲线、在能量小的情况下呈S字曲线地自动进行连续变化的函数,进行上述系数处理。
此外,本发明的参考视错觉的图像生成装置,在上述记载的参考视错觉的图像生成装置中,其特征在于,上述系数处理单元,在上述分解相与上述合成相之间,对上述分解详细系数进行标准化,将标准化后的上述分解详细系数即标准化分解详细系数的范数作为上述能量,对该标准化分解详细系数进行上述系数处理,并对系数处理后的上述标准化分解详细系数进行上述标准化的逆运算。
此外,本发明的参考视错觉的图像生成装置,在上述记载的参考视错觉的图像生成装置中,其特征在于,上述分解单元,利用上述方向性由水平方向、垂直方向、对角方向构成的双正交小波滤波器组或上述方向性为多方向的风车小框架,进行上述多分辨率分解。
此外,本发明的参考视错觉的图像生成装置,在上述记载的参考视错觉的图像生成装置中,其特征在于,上述分解单元,在上述多分辨率分解中,也可以采用根据等级来改变风车小框架的阶数等的不同的滤波器组。
此外,本发明的参考视错觉的图像生成装置,在上述记载的参考视错觉的图像生成装置中,其特征在于,上述分解单元所进行的上述多分辨率分解,是最大重复多分辨率分解、最大稀疏多分辨率分解、或者部分稀疏部分重复多分辨率分解。
此外,本发明涉及一种视错觉的分析方法,本发明的视错觉的分析方法,在至少具备存储部和控制部的视错觉的分析装置中被执行,其特征在于,上述存储部具备:滤波器存储单元,其存储无方向性的近似滤波器、以及作为具有各方向性的多个细节滤波器的集合的方向选择性小波框架或方向选择性滤波器组;和图像数据存储单元,其存储图像数据,上述视错觉的分析方法包括在上述控制部中执行的如下步骤:分解步骤,针对上述图像数据的颜色分量,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;重构步骤,通过将由上述分解步骤取得的上述子带信号相加来对图像进行重构,取得重构图像数据;和视错觉量数值化步骤,通过算出上述图像数据与上述重构图像数据之间的、上述颜色分量的比或差来对视错觉量进行数值化,上述分解步骤还包括:系数处理步骤,在上述多分辨率分解中的分解相与合成相之间,针对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越将小的值抑制得更小、该分解详细系数的能量越小则越对小的值进行增强的方式进行系数处理。
此外,本发明涉及一种参考视错觉的图像生成方法,本发明的参考视错觉的图像生成方法,在至少具备存储部和控制部的参考视错觉的图像生成装置中被执行,其特征在于,上述存储部具备:滤波器存储单元,其存储无方向性的近似滤波器、以及具有各方向性的多个细节滤波器的集合即方向选择性小波框架或方向选择性滤波器组;和图像数据存储单元,其存储图像数据,上述参考视错觉的图像生成方法包括在上述控制部中被执行的如下步骤:分解步骤,针对上述图像数据,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;和重构步骤,通过将由上述分解步骤取得的上述子带信号相加来对图像进行重构,取得重构图像数据,上述分解步骤还包括:系数处理步骤,在上述多分辨率分解中的分解相与合成相之间,对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越对小的值进行增强、该分解详细系数的能量越小则越将小的值抑制得更小的方式进行系数处理。
此外,本发明涉及一种程序,本发明的程序,用于使至少具备存储部和控制部的视错觉的分析装置执行视错觉的分析方法,上述存储部具备:滤波器存储单元,其存储无方向性的近似滤波器、以及作为具有各方向性的多个细节滤波器的集合的方向选择性小波框架或方向选择性滤波器组;和图像数据存储单元,其存储图像数据,上述程序用于在上述控制部中执行如下步骤:分解步骤,对上述图像数据的颜色分量,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;重构步骤,通过将由上述分解步骤取得的上述子带信号相加来对图像进行重构,取得重构图像数据;和视错觉量数值化步骤,通过算出上述上述图像数据与上述重构图像数据间的、上述颜色分量的比或差来对视错觉量进行数值化,上述程序用于在上述分解步骤中进一步执行如下步骤:系数处理步骤,在上述多分辨率分解中的分解相与合成相之间,对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越将小的值抑制得更小、该分解详细系数的能量越小则越对小的值进行增强的方式进行系数处理。
此外,本发明的程序,用于使至少具备存储部和控制部的参考视错觉的图像生成装置执行参考视错觉的图像生成方法,上述存储部具备:滤波器存储单元,其存储无方向性的近似滤波器、以及具有各方向性的多个细节滤波器的集合即方向选择性小波框架或方向选择性滤波器组;和图像数据存储单元,其存储图像数据,上述程序用于在上述控制部中执行如下步骤:分解步骤,对上述图像数据,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;重构步骤,通过将由上述分解步骤取得的上述子带信号相加来对图像进行重构,取得重构图像数据,上述程序用于在上述分解步骤中进一步执行如下步骤:系数处理步骤,在上述多分辨率分解中的分解相与合成相之间,对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越对小的值进行增强、该分解详细系数的能量越小则越将小的值抑制得更小的方式进行系数处理。
此外,本发明涉及一种记录介质,其特征在于,记录有上述记载的程序。
发明效果
根据本发明,对无方向性的近似滤波器、以及具有各方向性的多个细节滤波器的集合即方向选择性小波框架或方向选择性滤波器组、和图像数据进行存储,针对图像数据的颜色分量,进行基于方向选择性小波框架或方向选择性滤波器组的多分辨率分解,取得子带信号,通过将子带信号相加来对图像进行重构,在取得重构图像数据的情况下,在多分辨率分解中的分解相与合成相之间,对从分解相输出的分解详细系数,按照该分解详细系数的能量越大则越将小的值抑制得更小、该分解详细系数的能量越小则越对小的值进行增强的方式进行系数处理,通过计算图像数据与重构图像数据之间的颜色分量的比或差来对视错觉量进行数值化。由此,本发明起到能够针对任意的图像对可能产生的视错觉量进行定量化的效果。更具体来说,以往,为了掌握在哪个部分产生了多少视错觉,除了依靠感觉以外没有其他方法,根据本发明,能够将在哪个部分产生了多少视错觉作为客观的数值而取得。更具体来说,在印刷、设计、影像、涂饰等的色彩中,能够掌握视错觉量的产生部位,并且能够不依赖于设计师的技能地、以客观的指标来掌握应对哪个部位实施修正。
此外,根据本发明,由于根据上述分解详细系数的符号的差异来进行个别的处理,因此能起到能够进行更接近人的视觉的自然的处理的效果。
此外,根据本发明,作为上述颜色分量,采用CIELAB颜色空间中的L、a、以及b的任意一者。由此,本发明起到能够进行接近人的感觉的自然的图像处理的效果。
此外,根据本发明,利用L的值、a的值、以及b的值的、图像数据与重构图像数据间的差的平方和的平方根即色差,作为视错觉量而算出,因此起到能够以对颜色与辉度中的视错觉量进行合并而得到的合成得分,获得更接近综合的感觉的视错觉量的效果。
此外,根据本发明,针对上述图像数据的a以及/或者b的颜色分量,进行按照根据a以及/或者b的上述分解详细系数和L中的上述分解详细系数而规定的能量越大则越将小的值抑制得更小、上述能量越小则越对小的值进行增强的方式进行了校正的上述系数处理。由此,能起到能够进行对于使辉度的效果和颜色的效果协同工作的人的视觉感知来说自然的图像处理的效果。
此外,根据本发明,利用在上述分解详细系数的能量大的情况下呈S字曲线、在能量小的情况下呈N字曲线地自动进行连续变化的函数,进行上述系数处理。由此,本发明起到能够利用使用了从S字曲线连续地变化为N字曲线的函数的运算来合适地执行该分解详细系数的能量越大则越将小的值抑制得更小、该分解详细系数的能量越小则越对小的值进行增强的系数处理的效果。更具体来说,通过利用在周围的刺激大的情况下增大分解详细系数的偏差、在周围的刺激小的情况下减小分解详细系数的偏差的函数,从而在周围的刺激大的情况下小的刺激被减弱、在周围的刺激小的情况下小的刺激也被意识到,因此能够按照每个图像自动地进行适当的图像处理。
此外,根据本发明,在上述分解相与上述合成相之间,对上述详细分解系数进行标准化,将标准化后的上述分解详细系数即标准化分解详细系数的范数作为上述能量,针对该标准化分解详细系数进行上述系数处理,并对系数处理后的上述标准化分解详细系数进行上述标准化的逆运算。由此,本发明起到通过标准化而能够在函数处理、能量计算等中使系数容易处理的效果。
此外,根据本发明,利用上述方向性由水平方向、垂直方向、对角方向构成的双正交小波滤波器组或上述方向性为多方向的风车小框架,进行上述多分辨率分解。由此,本发明起到能够利用双正交小波滤波器组进行简易的计算,或者利用风车小框架进行精密的计算的效果。
此外,根据本发明,在上述多分辨率分解中,也可以采用根据等级来改变风车小框架的阶数等的其他滤波器组。由此,起到能够进行考虑了人的视觉特性的图像处理的效果。
此外,根据本发明,由于上述多分辨率分解是最大重复多分辨率分解、最大稀疏多分辨率分解、或者部分稀疏部分重复多分辨率分解,因此能够进行合适的多分辨率分解来取得分解详细系数,进而由于除了高频分量以外低频分量也被多分辨率地进行处理,因此起到能够进行自然的图像处理的效果。
此外,根据本发明,在对图像数据进行编辑,并按照对编辑后的图像数据进行多分辨率分解的方式进行控制的情况下,将根据编辑后的图像数据而取得的重构图像数据与未编辑的图像数据之间的比或差作为视错觉量而算出,并反复进行编辑直到视错觉量变小。由此,参考脑内的视错觉量部分后结果能够取得被感知为编辑前的图像(初始图像)那样的编辑图像(输出用图像)。然后,通过将这种输出用图像以打印出、印刷、显示、绘图等方式进行输出,从而看到该图像的人将会在脑内感知为图像编辑前的原始的初始图像,起到不需要以往那样的依赖于手艺人的技能的配色调整的效果。
此外,本发明在对图像数据进行编辑,并按照针对编辑后的图像数据进行多分辨率分解的方式进行控制的情况下,将编辑后的图像数据与根据该编辑后的图像数据而取得的重构图像数据之间的比或差作为视错觉量而算出,并反复进行编辑直到视错觉量成为给定的数值。由此,将数值化后的视错觉量作为指标来进行编辑以成为希望的视错觉量,起到能够制作视错觉量多的图像、视错觉量少的图像等任意的视错觉量的图像的效果。
此外,本发明存储无方向性的近似滤波器、以及具有各方向性的多个细节滤波器的集合即方向选择性小波框架或方向选择性滤波器组、和图像数据,针对图像数据,进行基于方向选择性小波框架或方向选择性滤波器组的多分辨率分解,取得子带信号,通过将子带信号相加来对图像进行重构,在取得重构图像数据的情况下,在多分辨率分解中的分解相与合成相之间,针对从分解相输出的分解详细系数,按照该分解详细系数的能量越大则越对小的值进行增强、该分解详细系数的能量越小则越将小的值抑制得更小的方式进行系数处理,由此生成参考视错觉的图像。由此,本发明能够针对任意的图像,参考脑内的视错觉量部分,取得被感知为如该图像那样的输出用图像。然后,通过将这种输出用图像以打印出、印刷、显示、绘画等方式进行输出,从而看到该图像的人,将会在脑内感知为原始的图像不变,起到不需要以往那样的依赖于手艺人的技能的配色调整的效果。
附图说明
图1是表示应用本实施方式的本视错觉分析装置100的构成的一例的框图。
图2是表示在阶数5的等级3的最大重复风车小框架·滤波器上对阶数5的等级1和等级2的最大重复风车小框架·近似滤波器进行循环相关积而得到的滤波器的图。
图3是表示在阶数7的等级2(高频侧)的最大重复风车小框架·滤波器上对等级1的最大重复风车小框架·近似滤波器进行了循环相关积的滤波器的图。
图4是表示在阶数7的等级3(低频率侧)的最大重复风车小框架·滤波器上对等级1和等级2的最大重复风车小框架·近似滤波器进行了循环相关积的滤波器的图。
图5是在阶数7、等级k的风车小框架中,用ak来表示近似部分,用dk(1)~dk(99)的记号(编号)来表示详细部分的图。
图6是表示本实施方式中的视错觉分析装置100的基本处理的一例的流程图。
图7是表示最大重复多分辨率分解的分解相以及合成相的滤波器组的一例的图。
图8是表示伴随标准化的分解详细系数的系数处理的一例的流程图。
图9是表示颜色的对比视错觉图像的一例的图。
图10是表示图9中的原图像的内侧方形部分(原图像A和B中相同)、作为原图像A的图像处理结果的处理图像A的内侧方形部分、和作为原图像B的图像处理结果的处理图像B的内侧方形部分的图。
图11是表示颜色的对比视错觉图像的其他例子的图。
图12是表示图11中的原图像的内侧方形部分(原图像C和D中相同)、作为原图像C的图像处理结果的处理图像C的内侧方形部分、和作为原图像D的图像处理结果的处理图像D的内侧方形部分的图。
图13是表示颜色的对比视错觉图像的其他例子的图。
图14是表示图13中的原图像的内侧方形部分(原图像E和F中相同)、作为原图像E的图像处理结果的处理图像E的内侧方形部分、和作为原图像F的图像处理结果的处理图像F的内侧方形部分的图。
图15是将原图像和处理图像中的内侧方形部分内的中心坐标处的L的值、a的值、以及b的值的差分,以及它们的合成得分作为视错觉量进行图形化的图。
图16是表示编号1~3的原图像和原图像的中心剖面处的L、a、b的曲线图、与原图像对应的处理图像和处理图像的中心剖面处的L、a、b的曲线图的图。
图17是表示编号4~6的原图像和原图像的中心剖面处的L、a、b的曲线图、与原图像对应的处理图像和处理图像的中心剖面处的L、a、b的曲线图的图。
图18是表示编号7~9的原图像和原图像的中心剖面处的L、a、b的曲线图、与原图像对应的处理图像和处理图像的中心剖面处的L、a、b的曲线图的图。
图19是对内侧的小方形和外侧的大方形的辉度均匀的原图像、与内侧的小方形和外侧的大方形的辉度有很大不同的原图像进行了对比的图。
图20是在本实施例中采用的基本图形。
图21是表示在本实施例中采用的检查色的图。
图22是表示具有基于处理结果而选择的背景色的基本图形的例子的图。
图23是对图22的基本图形,用包括实施方式的正向的处理在内的方法进行处理,并配置了所导出的视错觉色的图。
图24是对原图像(512×512像素)与本实施方式的处理图像进行对比而示出的图。
图25是表示在图24的各照片中,从左数起第400个像素的列的L的值的曲线图。
图26是表示在图24的各照片中,从左数起第400个像素的列的a的值的曲线图。
图27是表示在图24的各照片中,从左数起第400个像素的列的b的值的曲线图。
图28是表示视错觉分析装置100中的拟合处理的一例的流程图。
图29是表示在本实施例中采用的原图像的图。
图30是抽出了原图像的中央的小方形部分的图。
图31是表示进行反向的处理而作为重构图像获得的参考视错觉的图像的图。
图32是抽出了参考视错觉的图像的中央的小方形部分的图。
图33是表示将图29的外侧的区域置换为白色的图像的图。
图34是表示进行反向的处理而作为重构图像获得的参考视错觉的图像的图。
图35是表示谢弗勒尔视错觉图形的图。
图36是表示对谢弗勒尔视错觉图形实施了反向的处理的参考视错觉的图像的图。
图37是图35的谢弗勒尔视错觉图形的原图像与图36的参考视错觉的图像的横剖面的辉度(CIELAB的L)的曲线图。
图38是表示在阶数7的等级2的最大重复风车小框架·滤波器(maximal overlap pinwheel framelet filters at level 2)上对等级1的最大重复风车小框架的近似滤波器进行循环相关积而得到的滤波器的图。
图39是表示对测试图像,通过阶数7的风车小框架进行了等级2的最大重复多分辨率分解(2nd stage of maximal overlap MRAdecomposition by pinwheel framelet)的结果的各子带信号的图。
具体实施方式
以下,基于附图来详细地说明本发明所涉及的视错觉的分析装置、参考视错觉的图像生成装置、视错觉的分析方法、参考视错觉的图像生成方法以及程序的实施方式。另外,本发明不受该实施方式的限定。例如,虽然对采用了CIE(国际照明委员会)等同感知颜色空间(Lab表现体系)作为本实施方式中的颜色空间的例子的进行说明,但不限定于此,只要是接近人的视觉的颜色空间则也可以使用其他颜色空间中的颜色分量。
[视错觉分析装置100的构成]
接着,参照图1对本实施方式所涉及的作为视错觉的分析装置以及参考视错觉的图像生成装置的视错觉分析装置100的构成进行说明。图1是表示应用本实施方式的本视错觉分析装置100的构成的一例的框图,仅概念性地示出了该构成中与本实施方式相关的部分。
在图1中,视错觉分析装置100简要来说具备控制部102、通信控制接口部104、输入输出控制接口部108、和存储部106。在此,控制部102是对视错觉分析装置100的整体总括性地进行控制的CPU等。输入输出控制接口部108是与输入装置112、输出装置114连接的接口。此外,存储部106是保存各种数据库、表格等的装置。这些视错觉分析装置100的各部经由任意的通信路径以可通信的方式连接。
保存在存储部106中的各种文件(框架文件106a以及图像数据文件106b)是固定磁盘装置等的存储手段。例如,存储部106保存用于各种处理的各种程序、表格、文件、数据库以及网页等。
这些存储部106的各构成要素中,框架文件106a是存储没有方向性的近似滤波器以及具有各方向性的多个细节滤波器的集合即方向选择性小波框架或方向选择性滤波器组的滤波器存储单元。在此,在本实施方式中,采用风车小框架(pinwheel framelet)作为方向选择性小波框架,但方向选择性小波框架不限于此,例如,也可以使用单纯风车小框架(simplepinwheel framelet)(参照非专利文献3)、风车小波框架(pinwheelwavelet frame)(参照非专利文献4)等。此外,不限于方向性为多方向的风车小框架,也可以使用方向性由水平方向、垂直方向、对角方向构成的双正交小波滤波器组。另外,风车小波框架所构成的滤波器的长度根据原图像的像素数而变化,相对于此,风车小框架以及单纯风车小框架具有滤波器的长度与像素数无关的性质。例如,风车小框架是存在方向选择性的二维框架,是小波框架的一种。作为一例,风车小框架是对人的视觉皮层的单纯细胞进行了数理模型化而成的。该分解是在人的脑内被单纯细胞分解的信号的数理模型。另外,风车小框架与单纯风车小框架相比,在神经科学上是更接近大脑皮层V1区的单纯细胞的模式。作为一例,在风车小框架中存在阶数,阶数是3以上的奇数,阶数越大,则相应地能够检测越多的方向。另外,有滤波器的枚数相应地变多、计算时间也增加的性质。此外,作为一例,阶数n的风车小框架的滤波器数为(n+1)2+(n-1)2。其中,一个滤波器是近似滤波器,其余的滤波器是细节滤波器。在此,图2是表示在阶数5的等级3的最大重复风车小框架·滤波器上对阶数5的等级1和等级2的最大重复风车小框架·近似滤波器进行循环相关积而得到的滤波器的图(关于循环相关积,例如,参照新井仁之著“线性代数基础与应用”株式会社日本评论社(2006年))。
该风车小框架为阶数5,因此例如如图2所示,针对各等级由将左侧的6×6个滤波器和右侧的4×4个滤波器加在一起,合计52枚的滤波器的集合构成。其中,图的中央上部的黑色矩形所包围的1枚是通过等级1至等级3的近似滤波器的循环相关积而得到的滤波器,其他51枚是在等级3的细节滤波器上对等级1至2的近似滤波器进行循环相关积而得到的滤波器。由细节滤波器制作的上述滤波器的方向性,以仅由近似滤波器制作的滤波器为中心,大概排列在风车旋转的方向上。另外,如后面详述的那样,在各阶数的风车小框架的最大重复多分辨率分解中存在等级,等级1检测最精细的部分(高频部分)。图2是等级3的风车小框架,随着像等级2、3……这样增大,检测粗略的部分(低频部分)。另外,框架文件106a也可以以函数的形式(框架·滤波器的频率响应函数等)来存储风车小框架等方向选择性小波框架。关于函数的具体例见后述。
另外,不限定于上述,在本实施方式中也可以使用各种各样的小波。在此,小波不限于传统的小波、狭义的小波等,还包含广义的小波。例如,小波是有限长波形,或者,伴随从0放大并迅速收敛为0的振幅的波状的振动,作为一例,包括Gabor滤波器(Gabor filter)、Curvelet那样的小波模拟。此外,框架文件106a不限于方向选择性小波框架这种框架,也可以存储方向选择性滤波器组等的滤波器群、有方向性的滤波器。具有各方向性的滤波器,作为一例,是具有各方向性的多个细节滤波器,例如,通过滤波器来提取子带信号等的分量。
此外,图像数据文件106b是存储图像数据的图像数据存储单元。在此,存储在图像数据文件106b中的图像数据,既可以是预先按照各颜色分量描述了色调、灰度值等的图像数据,也可以是没有通过本实施方式中处理的颜色分量来描述的图像数据。另外,在后者的情况下,通过后述的颜色空间变换部102d,变换为希望的颜色空间,并分解为各颜色分量。此外,存储在图像数据文件106b中的图像数据,既可以是经由输入装置112而输入的图像数据,也可以是从外部系统200等经由网络300而接收的图像数据。此外,图像数据既可以是彩色图像的图片数据,也可以是灰阶的图片数据。另外,将通过风车小框架等的方向选择性小波框架而被多分辨率分解之前的原始图像(数据)称作原图像(数据),将基于子带信号而重构之后的图像(数据)称作重构图像(数据)。在此,图像数据文件106b也可以将与目标原图像的图像数据相同图像尺寸(像素数)的单位脉冲信号作为图像数据来存储。另外,存储在图像数据文件106b中的单位脉冲信号,作为图像数据被输入到同样存储在框架文件106a中的滤波器组,被输出的单位脉冲响应,用于对目标原图像的图像数据进行高速计算。另外,图像数据例如是光栅形式或向量形式的二维图像数据等。此外,图像作为一例,也可以是表示设计(外观设计)、照片、文字等的任意图像。此外,图像不限于静止图像像,也可以是运动图像(影像)。
再次回到图1,输入输出控制接口部108进行输入装置112、输出装置114的控制。在此,作为输出装置114,可以使用监视器(包括家庭用电视机)等的显示装置、打印机等的印刷装置等。此外,作为输入装置112,除了照相机等摄像装置、与外部存储介质连接的输入装置等,还可以使用键盘、鼠标、以及麦克风等。
此外,在图1中,控制部102具有OS(Operating System,操作系统)等的控制程序、对各种处理步骤等进行规定的程序、以及用于保存所要数据的内部存储器。而且,控制部102通过这些程序等进行用于执行各种处理的信息处理。控制部102从功能概念上来说具备:分解部102a、重构部102c、颜色空间变换部102d、处理图像输出部102e、视错觉量数值化部102f、以及图像编辑部102g。另外,分解部102a还具备系数处理部102b。
其中,分解部102a是针对图像数据(例如,图像数据的颜色分量),进行基于存储在框架文件106a中的、风车小框架等的方向选择性小波框架的多分辨率分解,并取得子带信号的分解单元。在此,“多分辨率分解”包括最大重复多分辨率分解、最大稀疏多分辨率分解、以及部分稀疏部分重复多分辨率分解(关于最大重复多分辨率分解,例如,参照新井仁之著“小波”共立出版株式会社(2010年))。另外,在通过分解部102a来计算多分辨率分解时,虽然使用循环相关积、循环卷积,但它们也可以通过采用高速傅里叶变换的公知的高速计算方法来计算。如上所述,基于风车小框架等方向选择性小波框架的多分辨率分解存在等级。在此,图3以及图4是用于说明基于风车小框架的等级的差异的图,图3表示在等级2(高频侧)的最大重复风车小框架·滤波器上对等级1的最大重复风车小框架·近似滤波器进行了循环相关积的滤波器,图4示出了在等级3(低频率侧)的最大重复框架·滤波器上对等级1和等级2的最大重复风车小框架·近似滤波器进行了循环相关积的滤波器。另外,由于阶数全部为7,因此有(7+1)2+(7-1)2=100个滤波器。
作为一例,分解部102a首先通过基于等级1的风车小框架的最大重复多分辨率分解,来检测最精细的部分(高频部分),随着像等级2、3......这样变大,检测粗略的部分(低频部分)。
基于风车小框架的多分辨率分解存在分解相和合成相。各相由近似滤波器和细节滤波器的排列(阵列)所构成的滤波器组构成。分解部102a在执行分解相以及合成相中的图像处理后,最终将原图像数据分解为“滤波器数×等级”个图像信号(即,子带信号)。
例如,在基于阶数7的风车小框架的等级5的最大重复多分辨率分解的情况下,某等级k(k=1至5)的子带信号中存在通过1枚近似滤波器得到的1个近似部分、和通过99枚细节滤波器得到的99个详细部分。在此,图5是在阶数7、等级k的风车小框架中,用ak表示了近似部分,用dk(1)~dk(99)的记号(编号)表示了详细部分的图。另外,记号(编号)的位置与图3(k=2)或图4(k=3)中的各滤波器的位置建立对应。即,ak以及dk(1)~dk(99)表示从图3或图4中的对应位置的滤波器取得的子带信号。
在此,分解部102a的系数处理部102b,是在多分辨率分解中的分解相与合成相之间,对从分解相输出的分解详细系数进行系数处理的系数处理单元。例如,系数处理部102b也可以按照该分解详细系数的能量越大则越将小的值抑制得更小、该分解详细系数的能量越小则越对小的值进行增强的方式进行系数处理(以下,有时称作“正向的处理”)。例如,在分解详细系数的能量大的情况下,系数处理部102b通过增大该分解详细系数的偏差,从而将比较小的值抑制得更小、同时使比较大的值增强到更大。另一方面,在分解详细系数的能量小的情况下,系数处理部102b通过减小该分解详细系数的偏差,从而增强比较小的值、同时抑制比较大的值。
另外,系数处理部102b不限于如上述那样进行正向的处理,也可以按照该分解详细系数的能量越大则越对小的值进行增强、该分解详细系数的能量越小则越将小的值抑制得更小的方式进行系数处理(以下,有时称作“反向的处理”)。例如,在分解详细系数的能量大的情况下,系数处理部102b通过减小该分解详细系数的偏差,从而增强比较小的值、同时抑制比较大的值。另一方面,在分解详细系数的能量小的情况下,系数处理部102b通过增大该分解详细系数的偏差,从而将比较小的值抑制得更小、同时使比较大的值增强到更大。
在此,在大像素数的图像的情况下,也可以将该图像适当分割,对各分割图像进行本实施方式的处理。
此外,系数处理部102b,在函数处理等系数处理以及/或者能量计算中,也可以进行标准化以使得分解详细系数的值容易处理。例如,系数处理部102b,也可以在分解相和合成相之间,首先对分解详细系数取绝对值来进行标准化,将被标准化的分解详细系数(称作“标准化分解详细系数”)的平方范数(或者也可以是其他范数)作为能量。然后,系数处理部102b也可以根据计算出的能量,对标准化分解详细系数进行系数处理,并对系数处理后的标准化分解详细系数进行标准化的逆运算,由此作为向合成相的输入数据。另外,在采用了绝对值的情况下,如下式这样在逆运算时将符号还原。
x′=sgn(x)z′
(在此,x是分解详细系数,z是系数处理后的值,z′是标准化的逆运算结果的值。在此,若x≥0则sgn(x)=1,若x<0则sgn(x)=-1。另外,x′是将符号还原后的结果的值。)
另外,系数处理部102b为了进行与能量的大小相应的系数处理,既可以对能量值设置阈值,并按照每个能量值的范围来进行不同的系数处理,也可以不对能量值设置阈值,而是通过利用偏差根据能量值而连续地变化的函数进行运算来进行系数处理。在前者的情况下,例如,系数处理部102b也可以采用按照每个能量值的范围而设定的函数(例如,Logit函数、logistic式等)。在后者的情况下,例如,系数处理部102b也可以采用在分解详细系数的能量大的情况下呈S字曲线、在能量小的情况下呈N字曲线地连续变化的函数(称作“SN函数”),作为正向的处理来进行系数处理。在此,以下示出SN函数的一例(参照非专利文献2)。另外,对于式1而言,若α>1则成为S字曲线,若α=1则成为直线,若α<1则成为N字曲线。
z=yα/{yα+(1-y)α}           …(式1)
(在此,y是标准化分解详细系数(0≤y≤1),α是基于标准化分解详细系数的能量的指标值(0<α),z是函数处理后的标准化分解详细系数。)另外,函数也可以通过离散化进行表格化来使用。
在此,在上述的式1中,若将规定了α时的按照α与能量的增大关系相反的方式重新规定的指标值、例如α的倒数重新设置为α,则可以作为反向的处理的SN函数。即,若如上述那样对α进行置换,则系数处理部102b作为反向的处理,能够利用在分解详细系数的能量大的情况下呈N字曲线、在能量小的情况下呈S字曲线地连续变化的SN函数,来进行反向的系数处理。另外,在以下的实施方式中,虽然有时进行用于进行正向的处理的说明,但只要对与能量的大小相应的系数处理内容的关系进行更换,则同样可以解读为用于进行反向的处理的说明。
另外,系数处理部102b,作为一例,如CIELAB颜色空间中的L、a、以及b等那样,按照每个颜色分量进行系数处理,但不限于对各颜色分量的值独立地进行处理,在进行一个颜色分量的系数处理的情况下,也可以基于其他颜色分量的值来进行系数处理。例如,在人的视觉中,有在大脑皮层中存在颜色·辉度细胞这样的脑神经科学的实验结果(非专利文献5),而基于该实验结果,通过设计对颜色·辉度细胞的作用进行了推测的数理模型,从而系数处理部102b也可以针对图像数据的a以及/或者b的颜色分量,进行按照如下方式进行了校正的系数处理:根据a以及/或者b的分解详细系数和L中的分解详细系数而规定的能量越大则越将小的值抑制得更小、上述能量越小则越对小的值进行增强。此外,也可以根据分解详细系数的符号的差异来进行个别的处理。
此外,重构部102c是通过将由分解部102a取得的子带信号相加来对图像进行重构,从而取得重构图像数据的重构单元。例如,重构部102c将通过上述的最大等级的近似滤波器而得到的近似部分的子带信号、和通过所有的细节滤波器而得到的详细部分的子带信号相加,由此对图像进行重构来取得重构图像数据。此时,由于风车小框架具有完全重构性,因此如果不进行基于系数处理部102b的处理,则重构部102c将会再现与原图像相同的图像。换言之,重构部102c,在通过系数处理部102b的处理而对分解详细系数进行增减之后,将子带信号相加,由此取得对原图像实施了自然的图像处理的重构图像数据。
在此,采用上述的记号(编号),对完全重构性进行说明。若将原图像的输入信号(原信号)设为x,则基于阶数7的风车小框架的等级5的最大重复多分辨率分解的完全重构性用下式来表示。
x=a5+(d5(1)+…+d5(99))+…+(d1(1)+…+d1(99))
在此,若将在分解部102a中经过了系数处理部102b的处理的详细部分设置为d5′(1)、…、d1′(99),则在此情况下,重构图像(信号)用下式来表示。
y=a5+(d5′(1)+…+d5′(99))+…+(d1′(1)+…+d1′(99))
此时,若不在分解部102a中进行系数处理,则成为d5′(1)=d5(1),…,d1′(99)=d1(99),则显然x=y(原图像与重构图像相同),成为完全重构。
此外,颜色空间变换部102d是进行颜色空间的变换、颜色分量的分解/合成等的颜色空间变换单元。例如,颜色空间变换部102d,在存储于图像数据文件106b中的图像数据是彩色图像、且未通过本实施方式中使用的颜色分量来描述数据的情况下,在进行分解部102a的处理之前,变换为目标颜色空间(例如,CIELAB颜色空间)。通过变换为CIELAB颜色空间,从而图像被分解为L(辉度)、a(红-绿)、b(黄-蓝)这三个颜色分量。另外,颜色空间变换部102d也可以变换为CIELAB颜色空间以外的其他颜色空间。使用CIELAB颜色空间的优点在于,接近来自人的视网膜的视觉信息变换。另外,在图像数据预先按照本实施方式中使用的每一个颜色分量对色调、灰度值等进行了描述的情况下,颜色空间变换部102d可以不进行与颜色空间相关的处理。另外,如果必要的话,颜色空间变换部102d在重构部102c所进行的图像数据重构处理中,进行颜色分量的合成、颜色空间的变换、辉度·颜色的标度变换等。
此外,处理图像输出部102e将由重构部102c重构后的重构图像数据输出到输出装置114。例如,处理图像输出部102e既可以在监视器等的显示装置上显示输出重构图像,也可以对打印机等的印刷装置打印出重构图像来制造印刷介质。作为印刷对象的介质,既可以为例如纸、OHP片等,也可以为例如传单、团扇、卡片、绘本、贺年卡、圣诞卡、名片等的形态。另外,作为输出的形态,处理图像输出部102e也可以进行与用途相应的设计变更(例如,变更为明信片尺寸等)。此外,处理图像输出部102e也可以将重构图像数据经由网络300而发送到外部系统200。
此外,视错觉量数值化部102f是通过算出图像数据与重构图像数据之间的颜色分量的比或差来对视错觉量进行数值化的视错觉量数值化单元。例如,视错觉量数值化部102f,在图像数据与重构图像数据之间,计算同一像素坐标上的L、a、或b的值的差(包括差的绝对值、平方)或者比(包括比例、比率、百分率等)作为视错觉量。另外,视错觉量数值化部102f也可以对L、a、或b的值的差进行合并,将这些差的平方和的平方根作为综合的视错觉量而算出。另外,视错觉量数值化部102f既可以将数值化之后的视错觉量保持数值不变地输出到输出装置114,也可以对视错觉量进行图形化之后输出到输出装置114。例如,视错觉量数值化部102f,也可以在横穿图像的横断线上,对该横断线上的坐标处的视错觉量进行图形化之后显示于输出装置114。此外,视错觉量数值化部102f也可以对二维的图像将视错觉量作为高度来进行三维显示。
此外,图像编辑部102g是对图像数据进行编辑的图像编辑单元。例如,图像编辑部102g也可以对存储在图像数据文件106b中的图像数据进行色调、灰度值的变更等。另外,图像编辑部102g既可以让利用者经由输入装置112进行图像的编辑,也可以通过白平衡等的任意的算法,自动地进行图像的编辑。作为手动的例子,图像编辑部102g也可以使绘制了编辑对象的图像的每个辉度的像素数的直方图显示于输出装置114,并让利用者在直方图上调整图像的明亮度、对比度。作为自动的例子,图像编辑部102g,在由视错觉量数值化部102f算出的视错觉量为给定值以上的同一颜色区域、与其相邻的同一色区域,对属于该区域的像素群既可以选择性地变更颜色也可以进行颜色校正。另外,图像编辑部102g也可以在由视错觉量数值化部102f算出的颜色分量的视错觉量大的情况下增大颜色的变更量,在视错觉量小的情况下减小颜色的变更量。像这样,图像编辑部102g也可以反复进行图像编辑以使得变更后的图像所涉及的视错觉图像与原始的初始图像的差分(视错觉量)变小(例如,变为最小),由此参考脑内的视错觉量部分从而作为结果取得被感知为初始图像那样的图像(输出用图像)。即,通过将这种输出用图像以打印出、印刷、显示、图画等方式进行输出,从而看到了该输出用图像的人将会在脑内感知为图像编辑前的原始的初始图像,起到不需要以往那种依赖于手艺人的技能的配色调整的效果。另外,不限于使用将从编辑后的图像数据中取得的重构图像数据与未编辑的图像数据之间的比或差作为视错觉量而算出的数值,也可以使用将编辑后的图像数据与从该编辑后的图像数据中取得的重构图像数据之间的比或差作为视错觉量而算出的数值。在此情况下,图像编辑部102g反复进行编辑以使得视错觉量成为给定的数值,由此以数值化之后的视错觉量为指标来编辑成为希望的视错觉量,起到能够制作视错觉量多的图像、视错觉量少的图像等任意的视错觉量的图像的效果。
该视错觉分析装置100也可以经由路由器等通信装置以及专用线等有线或无线的通信线路,与网络300以可通信的方式连接。在图1中,通信控制接口部104进行视错觉分析装置100与网络300(或路由器等通信装置)之间的通信控制。即,通信控制接口部104是连接于与通信线路等连接的路由器等通信装置(未图示)的接口,具有经由通信线路与其他终端通信数据的功能。在图1中,网络300具有将视错觉分析装置100和外部系统200相互连接的功能,例如是因特网等。
在图1中,外部系统200也可以经由网络300与视错觉分析装置100相互连接,具备与图像数据、风车小框架有关的外部数据库、提供用于使计算机作为视错觉分析装置100而发挥作用的程序的功能。在此,外部系统200也可以构成为WEB服务器、ASP服务器等。此外,外部系统200的硬件构成也可以通过一般市售的工作站、个人计算机等信息处理装置及其附属装置来构成。此外,外部系统200的各功能,通过外部系统200的硬件构成中的CPU、磁盘装置、存储器装置、输入装置、输出装置、通信控制装置等以及对它们进行控制的程序等来实现。
以上,结束本实施方式中的视错觉分析装置100的构成的说明。
[视错觉分析装置100的处理]
接着,以下参照图6~图39详细地说明像这样构成的本实施方式中的本视错觉分析装置100的处理的一例。
[基本处理]
首先,参照图6~图8对视错觉分析装置100的基本处理进行说明。图6是表示本实施方式中的视错觉分析装置100的基本处理的一例的流程图。
首先,分解部102a对存储在图像数据文件106b中的图像数据的颜色分量进行基于存储在框架文件106a中的风车小框架的最大重复多分辨率分解,取得子带信号(步骤SA-1)。另外,分解部102a不限于采用风车小框架,也可以采用方向性由水平方向、垂直方向、对角方向构成的双正交小波滤波器组。此外,根据需要(例如,没有用本实施方式中使用的颜色分量来描述图像数据的情况等),颜色空间变换部102d也可以对彩色图像进行希望的颜色空间的变换处理、颜色分量的分解处理。作为一例,颜色空间变换部102d也可以将彩色图像变换为CIELAB颜色空间。由此,图像被分解为L(辉度)、a(红-绿)、b(黄-蓝)这三个颜色分量。在此,图7是表示最大重复多分辨率分解的分解相以及合成相的滤波器组的一例的图。图中的数字表示等级。PW是细节滤波器,在阶数7的情况下,在各等级存在99枚。A是近似滤波器,同样在阶数7的情况下,在各等级存在1枚。另外,在图7的例子中,虽然采用了最大重复法,但本实施方式不限于此,也可以使用最大稀疏法或其他稀疏法。
如图7所示,首先,分解部102a利用等级1的风车小框架,将原图像作为输入信号,分解为通过99枚细节滤波器的信号、和通过1枚近似滤波器的信号(通过分解详细系数d1来表现信号强度的信号)。接着,分解部102a利用等级2的风车小框架,将通过了等级1的近似滤波器的信号,分解为通过99枚(等级2的)细节滤波器的信号(分解详细系数d2)、和通过1枚(等级2的)近似滤波器的信号。分解部102a反复进行该处理直到最大等级k(图示的情况为等级5)为止,得到分解详细系数d1~dk以及近似系数ak。在此利用的风车小框架的阶数也可以按照每个等级而改变。在通常的多分辨率分解中,分解部102a将通过分解相而得到的、由分解详细系数d1~d5构成的信号直接施加给合成相的滤波器组,但在本实施方式中,进行本实施方式中的系数处理,得到合成相输入用的分解详细系数d1′~d5′。
即,如图6所示,分解部102a的系数处理部102b,在多分辨率分解中的分解相与合成相之间,对从分解相输出的分解详细系数,按照该分解详细系数的能量越大则越将小的值抑制得更小,该分解详细系数的能量越小则越对小的值进行增强的方式进行系数处理(步骤SA-2)。在此,系数处理部102b也可以针对图像数据的a以及/或者b的颜色分量,进行按照根据a以及/或者b的分解详细系数和L中的分解详细系数而规定的能量越大则越将小的值抑制得更小,上述的能量越小则越对小的值进行增强的方式进行了校正的系数处理。此外,系数处理部102b,在函数处理等的系数处理以及/或者能量计算中,也可以进行标准化以使得分解详细系数的值容易处理。在此,图8是表示伴随标准化的分解详细系数的系数处理的一例的流程图。
如图8所示,首先,系数处理部102b对从分解相输出的分解详细系数x的绝对值进行标准化(步骤SA-21)。例如,系数处理部102b通过适当的标准化手法进行分解详细系数x的标准化以使得所有的分解详细系数x收敛为0至1之间的数值。
然后,系数处理部102b基于标准化分解详细系数y,对分解详细系数的能量进行计算(步骤SA-22)。例如,系数处理部102b也可以将标准化分解详细系数y的平方范数||y||作为能量。另外,也可以进行将能量标准化为可通过函数处理来处理等的指数调整。
然后,系数处理部102b根据在步骤SA-22中算出的能量,非线性地进行标准化分解详细系数y的系数处理来得到系数处理结果z(步骤SA-23)。例如,系数处理部102b为了进行与能量的大小相应的系数处理,既可以对能量值设置阈值,并按照每个能量值的范围来进行不同的系数处理,也可以不对能量值设置阈值,而是通过利用偏差根据能量值而连续地变化的函数进行运算来进行系数处理。作为一例,为了进行正向的处理,系数处理部102b也可以采用在分解详细系数的能量大的情况下呈S字曲线、在能量小的情况下呈N字曲线地连续变化的SN函数,进行系数处理。在此,以下的式1是SN函数的一例(参照非专利文献2)。对于式1而言,若α>1则成为S字曲线,若α=1则成为直线,若α<1则成为N字曲线。另外,能量与参数α的对应的决定方法,既可以不固定为一个,而是反映个体差异来进行设定,此外,还可以按照每个等级、每个方向、每个颜色分量、每个分解详细系数的符号来进行设定。
z=yα/{yα+(1-y)α}         …(式1)
(在此,y是标准化分解详细系数(0≤y≤1),α是基于标准化分解详细系数的能量的指标值(0<α),z是函数处理后的标准化分解详细系数。)
另外,不限于上述,为了进行反向的处理,系数处理部102b也可以采用在分解详细系数的能量大的情况下呈N字曲线、在能量小的情况下呈S字曲线地连续变化的SN函数,来进行系数处理。
然后,系数处理部102b通过对在步骤SA-23中进行了系数处理的标准化分解详细系数z进行标准化的逆运算,来取得向合成相的输入数据x′(步骤SA-24)。另外,在采用了上述的范数的情况下,通过下式在逆运算时将符号还原。
x′=sgn(x)z′
(在此,x是分解详细系数,z是系数处理后的值,z′是标准化的逆运算结果的值。在此,若x≥0则sgn(x)=1,若x<0则sgn(x)=-1。另外,x′是将符号还原后的结果的值。)
再次回到图6,分解部102a将在步骤SA-2中进行了系数处理的分解详细系数作为输入数据进行合成相的处理(步骤SA-3)。即,分解部102a将对由分解相输出的信号进行了系数处理的信号通过合成相的滤波器来最终取得99×5个子带信号(详细部分)和1个子带信号(近似部分)(参照图7)。
然后,重构部102c将由分解部102a取得的子带信号相加来重构图像(步骤SA-4)。另外,在将子带信号相加后的颜色分量的数值超过了规定值(例如,0至255灰度的范围)的情况下,重构部102c既可以通过例如线性或者非线性的方法使数值收敛于规定范围(例如0和255的范围内),也可以将最低规定值(例如0)以下的数值设为最低规定值,将最高规定值(例如255)以上的数值置换为255(使用了阈值的方法)。除此之外,根据需要(例如必须以RGB来输出等),颜色空间变换部102d也可以进行颜色空间的变换、颜色分量的合成等处理。另外,在步骤SA-2中进行了反向的处理的情况下,在该步骤SA-4中,重构部102c能够作为重构图像而得到参考视错觉的图像,因此也可以不进行以后的处理。
然后,视错觉量数值化部102f通过算出进行上述图像处理之前的原始的图像数据、和由重构部102c生成的重构图像数据之间的颜色分量的比或差,来对视错觉量进行数值化(步骤SA-5)。例如,视错觉量数值化部102f,在图像数据与重构图像数据之间,算出同一像素坐标上的L、a、或者b的值之差(包括差的绝对值、平方)或比(包括比例、比率、百分率等)作为视错觉量。另外,视错觉量数值化部102f也可以对L、a、或者b的值之差进行合并,利用这些差的平方和的平方根即色差,作为综合的视错觉量而算出。另外,在对视错觉量进行数值化之后,视错觉量数值化部102f既可以将视错觉量保持数值不变地输出到输出装置114,也可以将视错觉量图形化之后输出到输出装置114。例如,视错觉量数值化部102f,也可以在横穿图像的横断线上,对该横断线上的坐标处的视错觉量进行图形化之后显示于输出装置114。此外,视错觉量数值化部102f也可以对二维的图像将视错觉量作为高度来进行三维显示。
由此,结束视错觉分析装置100的基本处理的说明。通过包括以上的正向的处理在内的处理而得到的重构图像,对原图像实施了本实施方式的图像处理,例如,实施了与原图像相比成为更接近人的感知的图像的自然的图像处理。通过这种本实施方式能够实施该自然的图像处理的原理被认为如下。即,虽然在人的视觉信息处理中具备高度的处理功能,但偶尔会感知到视错觉。如本实施方式这样,基于人的视觉信息处理的数理模型能够与人同样地表现视错觉,这证明进行着与脑内的视觉信息处理类似的处理。因此,通过对通过该与脑内的视觉信息处理类似的处理而导出的处理图像与原图像进行比较,能够得到被数值化的视错觉量。
[系数处理的实施例]
接着,以下示出视错觉分析装置100的系数处理部102b的系数处理的实施例。
为了以数学方式来描述若周围的刺激量多则抑制弱的刺激、若周围的刺激量弱则强调弱的刺激的这种现象等,考虑通过参数从具有S字状的曲线图的函数连续地变形为具有N字状的曲线图的函数的函数。将具有这种特性的函数命名为感知函数。作为感知函数的一例,列举以下的SN函数。
【数式1】
s ( t , α ) = t α t α + ( 1 - t ) α , 0 ≤ t ≤ 1,0 ≤ α
在此,将X设为原图像,将X=(X1,X2,X3)设为表示颜色空间中的显示的式子。例如,在使用CIELAB颜色空间的情况下,将X1设为与L相关的数据,将X2设为与a相关的数据,将X3设为与b相关的数据。
然后,用风车小框架对Xμ(μ=1,2,3)进行分解。在该实施例中,对X的像素数为512×512像素、用5次的风车小框架((5-1)2+(5+1)2=52枚)进行等级8的分解的情况进行说明(另外,其他的像素数、其他的风车小框架等也可以以同样的想法来进行)。
此时,Xμ的分解数据用下式来表示(其中,l,p,j,k为整数)。
【数式2】
(xμ[l,p;j,k])0≤j,k≤511;1≤p≤52,1≤l≤8,μ=1,2,3
在此,(xμ[l,1;j,k])0≤j,k≤511是风车小框架的分解近似系数,(xμ[l,p;j,k])0≤j,k≤511(2≤p≤52)表示风车小框架的分解详细系数。以下,设为2≤p≤52。
设为适当的2变量函数,设置为下式(μ=1,2,3)。
【数式3】
例如,如下(a1、a2是适当的标准化常数;μ=1,2,3)。
【数式4】
或者,如下。
【数式5】
设为(zμ[l,p;j,k])0≤k,k≤511的标准化]2范数(μ=1,2,3)
将b1、b2、b3、b4设为适当规定的非负的实数。这也可以按照μ或各等级1而改变。此外,也可以根据风车小框架的分解详细系数中的方位p而改变。此外,也可以按照每个分解详细系数的符号而改变。
【数式6】
将yμ[l,p]设置为
【数式7】
α μ [ l , p ] = ( b 2 - b 1 ) s ( y μ [ l , p ] , b 4 ) + b 1 = ( b 2 - b 1 ) y μ [ l , p ] b 4 y μ [ l , p ] b 4 + ( 1 - y μ [ l , p ] ) b 4 + b 1
将对xμ[l,p;j,k]的绝对值实施适当的标准化而在0与1之间取值的数值设置为yμ,1[l,p;j,k]。此外,设置为以下这样。不过,在此,也可以用适当的感知函数来置换SN函数s。
【数式8】
y μ , 2 [ l , p ; j , k ] = s ( y μ , 1 [ l , p ; j , k ] , α μ [ l , p ] ) = y μ , 1 [ l , p ; j , k ] α μ [ l , p ] y μ , 1 [ l , p ; j , k ] α μ [ l , p ] + ( 1 - y μ , 1 [ l , p ; j , k ] α μ [ l , p ] )
将对yμ,2[l,p;j,k]施加xμ[l,p;j,k]的符号函数、并实施了标准化的逆运算之后的数值设为y′μ[l,p;j,k]。
将对y′μ[l,p;j,k]实施风车小框架合成滤波而重构后的数据设置为X′μ(μ=1,2,3)。设置X′=(X′1,X′2,X′3)。
X′是X的处理图像。另外,在处理图像的例子中,关于b1、b2、b3、b4,对于L设为按照各等级关于方位分量全部相同,对于a,b按照各等级以水平/垂直、对角等而分别设定。
在此,在上述中,对用于进行正向的处理的函数进行了说明,但只要更换与能量的大小相应的系数处理内容,则可以作成用于进行反向的处理的函数。更具体来说,通过适当规定上述的b1、b2、b3、b4,并将对左边αμ[l,p]的等式的右边乘以-1而得到的值重新设置为αμ[l,p],从而能够作为反向的处理的系数处理的实施例。
另外,为了更接近人的视觉感知这一目的,也可以根据xμ[l,p;j,k]的符号的差异来改变处理方法。以下,对根据分解详细系数的符号的差异来进行个别的处理的处理例进行说明。
与上述同样地,将X设为原图像,X的像素数设为512×512像素(像素数不限于此)。此外,X由L、a、b构成,因此分别设置为X1、X2、X3
用风车小框架对各Xμ(μ=1,2,3)进行分解。虽然分解到等级8,但在本例中,考虑到大脑皮层V1区的单纯细胞的方向选择性的特性,按照每个等级来改变风车小框架的阶数。
即,等级1至等级3使用7次的风车小框架,等级4至等级6使用5次的风车小框架,等级7和8使用3次的风车小框架。若将n1设为等级1所使用的风车小框架的滤波器数,则在本例中成为以下这样。
n1=n2=n3=(7-1)2+(7+1)2=100
n4=n5=n6=(5-1)2+(5+1)2=52
n7=n8=(3-1)2+(3+1)2=20
将基于上述风车小框架的到等级8为止的分解系数设置为以下这样。
【数式9】
(xμ[l,p;j,k])0≤j,k≤511;1≤p≤nl,1≤l≤8,μ=1,2,3
接着,根据xμ[l,p;j,k]的符号的差异,来改变处理方法。首先,根据滤波器的类型(偶型,奇型,混合型)来对s(l,p)分配+1或-1的值。例如,若与l,p对应的滤波器的形式为正向的偶型,则分配+1,若为负向的偶型则分配-1,若为奇型、混合型则分配+1。如下。
【数式10】
xμ (0)[l,p;j,k]=max(0,sp(l,p)xμ[l,p;j,k])
xμ (1)[l,p;j,k]=min(0,sp(l,p)xμ[l,p;j,k])
【数式11】
在此,将对(xμ (i)[l,p;j,k])0≤j,k≤511进行了适当的标准化的式子设置为
(yμ,1 (i)[l,p;j,k])0≤j,k≤511。接着,根据(xμ (i)[l,p;j,k])0≤j,k≤511例如以如下方法来规定用于非线性处理的指数。
不过,在此,以下将a11,…,a32设为适当的标准化常数。
【数式12】
【数式13】
设为(zμ (i)[l,p;j,k])0≤j,k≤511的标准化范数。
【数式14】
α μ ( i ) [ l , p ] = b 1 , i × y μ 0 [ i ; l , p ] b 2 , i + b 3 , i
按照上述方式进行设置。其中,在此,b1,i、b2,i、b3,i是能够以实验方式规定的常数。由于接下来进行非线性处理,因此设为如下这样。
【数式15】
y μ , 2 ( i ) [ l , p ; j , k ] = s ( y μ , 1 ( i ) [ l , p ; j , k ] , α μ ( i ) [ l , p ] )
在此, s ( t , α ) = t α t α + ( 1 - t ) α .
【数式16】
在此,将对进行了标准化的逆运算的式子设置为
此外,将对进行了标准化逆运算的式子设置为于是,如下。
y μ ′ [ l , p ; j , k ] = y μ , 2 ( 0 ) [ l , p ; j , k ] ′ + y μ , 2 ( 1 ) [ l , p ; j , k ] ′
将对上述y′μ[l,p;j,k]实施风车小框架的合成滤波而进行了重构的图像的数据设置为X′μ(μ=1,2,3)。然后,设置X′=(X′1,X′2,X′3)。该X′为X的处理图像。
以上,结束视错觉分析装置100的具体化处理的说明。
[颜色的对比视错觉中的模拟]
为了确认在本实施方式中使用的数理模型是否是接近人的视觉信息处理的模型,将颜色的对比视错觉图像作为原图像,执行了上述实施方式的处理。即,若数理模型是接近人的视觉信息处理的模型,则安装了数理模型的计算机也会算出视错觉,因此确认了在本实施方式中实际上是否能够模拟人的视错觉。
图9是表示颜色的对比视错觉图像的一例的图。在图9的左图(原图像A)和右图(原图像B)中,内侧的方形部分的辉度、亮度、色彩完全相同。但是,根据周围的颜色配置,作为人的视觉信息处理会产生看上去是不同颜色的错觉。因此,通过本实施方式的视错觉分析装置100对原图像A和原图像B分别进行了图像处理。图10是表示原图像的内侧方形部分(在原图像A和B中相同)、作为原图像A的图像处理结果的处理图像A的内侧方形部分、和作为原图像B的图像处理结果的处理图像B的内侧方形部分的图。
如图10所示,本实施方式的视错觉分析装置100进行了图像处理的结果是,与人对原图像A、B的视觉感受(视错觉)相同地,对于与原图像A对应的处理图像A的内侧方形部分,比实际更鲜艳被表现,对于与原图像B对应的处理图像B的内侧方形部分,比实际更暗淡地被表现。因此,本实施方式的视错觉分析装置100所进行的图像处理,可以说接近人的视觉信息处理。因此,如图所示,确认了只要算出原图像与处理图像的颜色分量值的差分就能够对视错觉量进行定量化。
此外,图11是表示颜色的对比视错觉图像的其他例子的图。在图11的左图(原图像C)和右图(原图像D)中,与上述同样地,内侧的方形部分的辉度、亮度、色彩完全相同。图12是表示原图像的内侧方形部分(在原图像C和D中相同)、作为原图像C的图像处理结果的处理图像C的内侧方形部分、和作为原图像D的图像处理结果的处理图像D的内侧方形部分的图。
如图12所示,进行了本实施方式的视错觉分析装置100的图像处理的结果是,与人对原图像C、D的视觉感受(视错觉)相同地,对于与原图像C对应的处理图像C的内侧方形部分,表现得比实际更暗,对于与原图像D对应的处理图像D的内侧方形部分,表现得比实际更明亮。因此,如图所示,确认了只要算出原图像与处理图像的颜色分量值的差分就能够对视错觉量进行定量化。
此外,图13是表示颜色的对比视错觉图像的其他例子的图。在图13的左图(原图像E)和右图(原图像F)中,与上述同样地,内侧的方形部分的辉度、亮度、色彩完全相同。图14是表示原图像的内侧方形部分(在原图像E和F中相同)、作为原图像E的图像处理结果的处理图像E的内侧方形部分、和作为原图像F的图像处理结果的处理图像F的内侧方形部分的图。
如图14所示,本实施方式的视错觉分析装置100进行的图像处理的结果是,与人对原图像E、F的视觉感受(视错觉)相同地,对于与原图像E对应的处理图像E的内侧方形部分,表现得比实际更暗,对于与原图像F对应的处理图像F的内侧方形部分,表现得比实际更明亮。本例是显著地表现出进行了在a以及b的处理中还参考L的值的处理的效果的例子。因此,如图所示,确认了只要算出原图像与处理图像的颜色分量值的差分就能够对视错觉量进行定量化。
以上的结果确认了本实施方式的视错觉分析装置100所进行的图像处理极其接近人的视觉信息处理。因此,通过进行利用了接近人的视觉信息处理的数理模型的本实施方式的图像处理,能够对原图像实施接近人的视觉的信息处理,从而提供人所感知的自然的处理图像。因此,接下来,算出原图像与接近该脑内的感知图像的处理图像的差分,进行了视错觉量的定量化。在此,图15是原图像和处理图像中的内侧方形部分内的中心坐标处的、L的值、a的值、以及b的值的差分,以及将它们的合成得分作为视错觉量进行了图形化的图。另外,纵轴是数值化后的视错觉量,横轴表示9种原图像的编号:1~9。
在此,图16~图18是表示9种原图像、原图像的中心剖面处的L、a、b的曲线图、与原图像对应的处理图像、和处理图像的中心剖面处的L、a、b的曲线图的图。另外,如原图像的曲线图所示,原图像的内侧方形部分在9种图像中相同,仅变更了外侧的辉度(L的值)。
将基于这9种原图像的处理图像的中心坐标处的值之差作为视错觉量进行了图形化而得到的是图15。如图15所示,在编号5中,辉度(L的值)的视错觉量最小,相对于此,a的视错觉量最大。该结果与“在明亮度对比最小时颜色对比最大”这一基尔申曼(Kirschmann)的第三定律一致,也证明了本实施方式的图像处理是与脑内的视觉信息处理类似的处理。
图19是对内侧的小方形与外侧的大方形的辉度均匀的原图像、和内侧的小方形与外侧的大方形的辉度有很大不同的原图像进行了对比的图。如图19所示,如上述的基尔申曼的定律那样,尽管内侧小方形在两原图像中相同,但在辉度均匀的情况下在人的眼中看起来发红。为了反映该颜色的对比视错觉,即使取出通过本实施方式而得到的处理图像的内侧小方形,在辉度均匀的情况下也会红色增加而成为了粉红色。另外,关于“明亮度对比最小时颜色对比最大”这一上述基尔申曼的定律,还存在与明亮度均匀时相比,稍微存在差异时视错觉最大这样的反驳。
因此,如图15所示,算出了原图像与处理图像间的L、a、b的值之差的平方和的平方根即色差,作为这些颜色分量的视错觉量的合成得分。结果,如图所示,可知与明亮度均匀的编号5时相比,明亮度稍微存在差异的编号6的情况下综合的视错觉量最大。因此,确认了若不仅参考基于a的值的颜色视错觉,还参考基于L的值的辉度视错觉,则与针对基尔申曼的定律的上述反驳的内容也一致。
[颜色的对比视错觉的实施例]
在此,作为更具体的实施例,对颜色的对比视错觉中的视错觉量的定量化的实施例进行说明。在本实施例中,通过本实施方式,调查了某颜色通过颜色对比视错觉看起来是什么样。
在此,图20是在本实施例中使用的基本图形。在本实施例中,处理了具有图20的形状的图形。另外,不限于此,基本图形也可以是图20以外的图形,可以根据目的来制作。
在本实施例中,将对图20的黑色所示的区域涂上的颜色称作“背景色”。此外,在本实施例中,将对中心的小方形部分涂上的颜色称作“检查色”。此外,将通过本发明计算对由背景色而对小方形的中心的颜色引起的视错觉所导出的颜色称作“视错觉色”。
在此,图21是表示本实施例中采用的检查色的图。在本实施例中,采用图21的颜色作为检查色,调查了该检查色在颜色的对比视错觉的影响下看起来是什么样。另外,检查色是任意的,在选择检查色时,可以通过数值的输入、颜色选择器的利用、测色计的利用等任意一种方法来选择。
在本实施例中,在对图21的检查色进行了配色的基本图形中,使背景色一点一点变化,并对各自通过包括本实施方式的正向的处理在内的方法进行了处理。然后,从其中选择了几个视错觉量比较多的、而且视错觉色的倾向不同的图形。
图22是表示具有基于处理结果而选择的背景色的基本图形的例子的图。此外,图23是对图22的基本图形,通过包括实施方式的正向的处理在内的方法进行处理,并配置了所导出的视错觉色的图。即,图23的各小方形并不是用处理前的检查色,而是用处理图像的中心的颜色即视错觉色对小方形进行了填涂。另外,用图23的箭头标记了视错觉色相对于检查色是何种倾向的颜色。
在此,图22中央(以标题“颜色的对比视错觉”为图的上方,从上数第2段、从左数起第5个)的背景色是与检查色相同的颜色,因此成为一样的颜色。因而由于不发生视错觉,因此对应的图23的中央的颜色也为检查色不变。在图23中,若作为比较视错觉量时的基准则容易理解。
另外,在图23中,为了减轻对视错觉色进一步引起视错觉,将各小方形的背景设为随机的彩色点。但是,无论使用怎样的背景,在显示视错觉色时,都需要注意由该背景进一步引起了视错觉。
系数处理结果的显示方法,除了图22、图23的方法以外,也可以根据使用目的来改变显示方法,例如进行基于连续的变化的显示、基于数值的显示、基于曲线图的显示等。
在此,在上述的实施例中,虽然也可以通过本实施方式的方法对基本图形的每一个、每次进行处理,但为了使计算高速化,将预先计算出的处理结果表格化来使用。更具体来说,对使基本图形的检查色与背景色之差以一定的间隔而变化后的图形分别进行处理,按照每个颜色分量将检查色与背景色之差、检查色与视错觉色之差保存为表格,将检查色与视错觉色的色差也保存为表格。
由此,即使改变检查色,也能够根据上述表格高速地导出与背景色对应的视错觉量。能够这样做的理由有二个。一个是因为,本实施例中使用的风车小框架将图像分解为平均(近似部分)和变化(详细部分),在本实施例中仅对变化施加了非线性处理。另一个理由是因为,在本实施例中使用了CIELAB颜色空间。在颜色空间内相同部分变化了的情况下所感知的变化也相同的颜色空间适合本实施例。另外,上述的表格需要按照每个基本图形来计算。
这样,上述表格化的方法能够实现高速的计算,适合观察视错觉色的倾向等。另一方面,每次进行计算的方法适合复杂的图形的情况、想要得知图像整体的视错觉的样子的情况。另外,在本实施例中,虽然指定了检查色,但也可以用同样的方法指定背景色来进行。
通过该实施例,确认了在印刷等中有助于发现利用了颜色的对比视错觉的有效果的颜色组合,在工业上有用。
[风景照片中的实施例]
在上述的例子中,对使用进行了配色的图像的情况进行了说明,但不限于此,对于拍摄了人物、风景的照片也能够将视错觉量数值化。在此,图24是对原图像和本实施方式的处理图像进行对比而示出的图。
如图24所示,根据本实施方式,能够通过与人的初始视觉信息处理类似的处理来获得接近脑内的感知图像的处理图像。在此,图25、图26、以及图27,是分别表示在图24的各照片(512×512像素)中,从左数起第400个像素的列的L、a、b的值的曲线图。横轴表示在从左数起第400个像素的列上从上数起的行数,纵轴表示各颜色分量(L,a,或b)的值。蓝色示出了表示原图像的各点的值的曲线图,绿色示出了表示本实施方式的处理图像的各点的值的曲线图。
即,在图25~图27中,根据本实施方式,作为一例,将原图像的y轴的值和处理图像的y轴的值的差分作为视错觉量而算出。如图所示,对于L存在剧烈变动的近景(横轴的400~500附近)而言图像处理的影响较小,对于变化平缓的远景(横轴的0~300附近)而言图像处理的影响(视错觉量)较大。并且不仅对高频部分实施了处理,对低频部分也实施了处理。因此,能够获得接近人的初始视觉信息处理的自然的图像。这样,通过取得原图像与处理图像的差分,在风景照片等中也能够得到视错觉量。
[拟合处理]
接着,以下参照图28对本实施方式的视错觉分析装置100中的拟合处理进行说明。在该拟合处理中,目的在于针对任意的图像(称作“初始图像”),获得在人脑内被感知为初始图像的输出用图像。即,以往,工业设计师等实施配色的人,即使发现了第三人并不能看到本人想要的初始图像,也只能以手艺人的方式依赖经验上学到的技能来调整配色,但在本拟合处理中,目的在于通过将视错觉量作为指标来进行图像编辑,来取得被感知为初始图像的输出用图像。在此,图28是表示视错觉分析装置100中的拟合处理的一例的流程图。
如图28所示,图像编辑部102g将希望的初始图像作为测试图像来进行数据输入(步骤SA-0)。另外,初始图像数据是任意的图像数据,但作为一例,既可以是利用者使用任意的绘图软件等而作成的图像数据,也可以是经由数码照相机等输入装置112而摄像得到的图像数据。
然后,视错觉分析装置100进行上述的步骤SA-1~SA-4的处理,生成对测试图像进行多分辨率分解并进行了重构的视错觉图像(步骤SA-1~SA-4)。
然后,视错觉量数值化部102f将初始图像数据与所生成的视错觉图像数据(重构图像数据)之间的颜色分量的差分作为视错觉量而算出(步骤SA-5′)。例如,视错觉量数值化部102f,在图像数据与重构图像数据之间,将同一像素坐标处的L、a、b各自的值之差作为视错觉量而算出。然后,视错觉量数值化部102f也可以通过对二维的测试图像将各像素坐标处的视错觉量作为高度来进行三维显示,从而在视觉上明确在哪个部位引起了怎样程度的视错觉。
然后,图像编辑部102g判定测试图像数据是否需要修正(步骤SA-6)。例如,图像编辑部102g,也可以在某坐标上存在给定的阈值以上的视错觉量的情况下,判定为需要修正。此外,图像编辑部102g也可以在显示“进行测试图像的修正吗?”的同时显示“是”/“否”按钮,在利用者经由输入装置112点击了“是”按钮等的情况下,判定为需要修正。
在判定为需要修正的情况下(步骤SA-6,是),将处理返回步骤SA-0,图像编辑部102g对测试图像实施了编辑之后,作为新的测试图像进行再次输入(步骤SA-0)。例如,图像编辑部102g,在如图19中上述图像编号5那样,存在由于视错觉而看起来发红的小区域的情况下,既可以提高该小区域中的补色的灰度值使得红色被中和,也可以增大与该小区域的周边区域的辉度差使得产生明亮度对比。这样,图像编辑部102g,在由视错觉量数值化部102f算出的视错觉量为给定值以上的同一颜色区域、与其相邻的同一颜色区域,对属于该区域的像素群既可以选择性地变更颜色、辉度,也可以进行颜色校正。另外,图像编辑部102g也可以不自动进行这种算法,而是让利用者经由输入装置112在测试图像的直方图上对图像的明亮度、对比度进行调整。另外,图像编辑部102g也可以采用公知的最佳化方法(拟合方法)随机地对测试图像施加变更。此外,图像编辑部102g也可以采用模拟退火算法等,在由视错觉量数值化部102f算出的颜色分量的视错觉量大的情况下增大变更量,在视错觉量小的情况下减小变更量。
然后,视错觉分析装置100对由图像编辑部102g再次输入的测试图像反复上述步骤SA-1~SA-6的处理。另外,在反复处理中,视错觉量数值化部102f算出(并非再次输入的测试图像的)初始图像数据、与根据再次输入的测试图像而生成的视错觉图像数据之间的颜色分量的差分(步骤SA-5′)。
如上,视错觉分析装置100按照反复处理,不断修正测试图像以使得颜色分量的差分成为最小。然后,在如视错觉量变得小于给定的阈值的情况等那样、判定为测试图像数据不需要修正的情况下(步骤SA-6,否),视错觉分析装置100将最终获得的测试图像作为输出用图像而取得,并结束拟合处理。
通过将所获得的输出用图像以打印出、印刷、显示、绘画等方式进行输出,从而看到该输出用图像的人,将会在脑内感知为接近初始图像的图像。这样,根据本实施方式,由于反复进行图像编辑使得基于测试图像的视错觉图像与原始的初始图像的差分成为最小,因此能够得到还参考脑内的视错觉量部分而感知为初始图像那样的输出用图像,不需要以往那样的依赖于手艺人的技能的配色调整。
[反向的处理]
以下,对反向的处理的一例进行详细说明。在上述的实施方式中,主要说明了为了进行视错觉的定量化,而根据实际的图像算出人所感知的图像即发生了视错觉的图像(正向的处理)。正向的处理是与脑的数理模型相同方向的处理。
另一方面,在此将根据人看到图像而获得的感知来算出实际图像的处理称作反向的处理。由于人会产生视错觉,因此会感知并非原本想让其感知的颜色的颜色。但是,若使用反向的处理,则能够知道让人看何种颜色的图像就能使之感知想要的颜色。
另外,本实施方式中的反向的处理,并非正向的处理的数学意义上的完全的逆变换。换言之,即使对正向的处理的输出图像进行反向的处理,即便近似地接近原始也无法在严格的意义上还原。其理由之一在于,基于本实施方式中采用的方向选择性小波框架、方向选择性滤波器组的多分辨率分解。例如,在基于风车小框架的最大重复多分辨率分解中,对分解相的子带信号施加了非线性处理的信号、与对经过了其合成相的输出图像再次进行了分解的分解相的子带信号一般不一致。即使是基于其他方向选择性小波框架、方向选择性滤波器组的多分辨率分解,除了特别的情况之外也是同样(关于这一点,例如,参照新井仁之著“线性代数基础与应用”株式会社日本评论社(2006年))。
在反向的处理中,对从分解相输出的分解详细系数,按照分解详细系数的能量越大则越对小的值进行增强、该分解详细系数的能量越小则越将小的值抑制得更小的方式进行系数处理。例如,在使用SN函数的情况下,通过与正向的处理的情况相比将SN函数的指数置换为倒数从而能够进行上述的系数处理。例如,在上述的[系数处理的实施例]中,通过适当规定上述的b1、b2、b3、b4,并将对左边αμ[l,p]的等式的右边乘以-1而得到的式子重新置换为αμ[l,p],从而能够得到反向的处理用的函数。
图29是本实施例中使用的原图像,图30是抽出了中央的小方形部分的图。图29的中央的小方形部分如图30所示配色为灰色。但是,由于颜色的对比视错觉,而看起来像粉色。即,即使想要让人感知灰色的小方形而提示了图29,看到的人也不会感知为灰色。
因此,对图29的原图像实施了反向的处理。图31是进行反向的处理后作为重构图像而获得的参考视错觉的图像,图32是抽出了中央的小方形部分的图。如图31所示,小方形看起来为灰色。即,确认了参考视错觉量而看起来正如图30中想要让人感知的颜色。另外,图31的小方形的实际的颜色如图32所示为接近灰色的绿色。这样,确认了通过反向的处理,能够以抵消当人看到时的视错觉的方式进行配色,以被感知为想要的颜色。
在此,若对图30与图31的小方形部分的颜色进行对比,可知图30看起来更暗。这是因为,由于在图30中背景为白色,因此在此也发生了颜色的对比视错觉。
因此,接下来,如图33所示,准备了将图29的外侧的区域置换为白色的图像作为原图像。然后,对图33的原图像同样地实施了反向的处理。图34是表示进行反向的处理后作为重构图像而获得的参考视错觉的图像的图(在图33以及图34中框线不包含在图像中)。
确认了对图33实施了反向的处理的图34是看起来是图30中原本想要让人感知的颜色的图像。可知图31与图34的小方形看起来为相同颜色。但是,实际上,对图32与图34进行比较可知,为不同的颜色。
如上,确认了通过本实施例能够获得在人的脑内被感知为如原图像那样的参考视错觉的图像。由此可知,对于任意的图像,关于被认为主要原因在于初始视觉信息处理的与明暗有关的视错觉以及颜色的对比视错觉,参考脑内的视错觉量部分,能够取得被感知为如该图像那样的输出用图像。
在此,作为其他实施例,说明对视错觉图像实施反向的处理,生成了让人感知到视错觉量减轻了的图像的例子。图35是表示谢弗勒尔视错觉图形的图。
在图35的谢弗勒尔视错觉图形中,各带的颜色固定,但例如对于比中央的带更靠左侧的带而言,从带的左侧到右侧,看起来有从暗到明的渐变。特别是,这些带的右缘的附近看起来还似乎发亮。像这样,在谢弗勒尔视错觉中,感知到原本不存在的渐变。
因此,对图35的谢弗勒尔视错觉图形,实施了本实施方式的反向的处理。图36是表示对谢弗勒尔视错觉图形实施了反向的处理的参考视错觉的图像的图。如图36所示,谢弗勒尔视错觉被相当大地被抑制,几乎感知不到渐变。在此,图37是图35的谢弗勒尔视错觉图形的原图像与图36的参考视错觉的图像的横剖面的辉度(CIELAB的L)的曲线图。另外,虚线表示原图像的辉度,实线表示参考视错觉的图像的辉度。
如图37所示,在图35的原图像中,各带的辉度固定,横剖面的曲线图成为阶梯状,而在实施了反向的处理的参考视错觉的图像中,成为去掉了角的平缓地变动。这是因为,在参考视错觉的图像中,预先估计并算出了在人的脑内被附加的视错觉量,在实际的人脑内,如图36所示,被附加视错觉量从而将会感知到接近原始的阶梯状的、即几乎无渐变的辉度。
这样,通过本实施例,确认了在通过对视错觉量比较大的视错觉图形实施反向的处理而得到的参考视错觉的图像中,能够感知到接近原本的原图像的辉度、色调。
因此可知,通过将这种参考视错觉的图像作为输出用图像,以打印出、印刷、显示、绘画等方式进行输出,从而看到该图像的人,将会在脑内感知为保持原始的图像不变,能够利用计算机等自动地获得以往那种依赖于手艺人的技能的配色调整。
[风车小框架]
在本实施方式中,作为例子而采用的风车小框架,如上所述也可以为公知的单纯风车小框架或风车小波框架等方向选择性小波框架、或者具有方向选择性的滤波器组。在此,以下对风车小框架进行说明。
将阶数设为n≥3、奇数,在A=(Ak,l):(n+1)×(n+1)对称矩阵中,对于s=0,1…,[n/2],t=s,…,[n/2],找到满足As,t=An-s,t=As,n-t=An-s;n-t=s的矩阵。其中[]表示高斯记号。
在n=7的情况下,满足条件的矩阵如下。
【数式17】
A = 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 1 2 2 2 2 1 0 0 1 2 3 3 2 1 0 0 1 2 3 3 2 1 0 0 1 2 2 2 2 1 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0
若采用B=(Bk,l):(n+1)×(n+1)矩阵,则为满足以下条件(P)的矩阵。
【数式18】
条件 ( p ) : B k , l = B l , k B k , l = B n - k , l = B k , n - 1 = B n - k , n - 1 B k , l ≥ 0
【数式19】
n 0 = [ n 2 ] 个自由变量。
【数式20】
F k , l 1 ( θ 1 , θ 2 ) = 1 2 | det M | 1 / 2 i k + l + A k , l e - πi θ 1 e - πi θ 2 B k , l cos n - k - A k , l ( πx ) sin k - A k , l ( πx ) × cos n - 1 - A k , l ( πy ) sin 1 - A k , l ( πy ) × ( - cos ( πx ) sin ( πx ) + cos ( πy ) sin ( πy ) ) A k , l
【数式21】
F k , l 2 ( θ 1 , θ 2 ) = 1 2 | det M | 1 / 2 i k + l + A k , l e - πi θ 1 e - πi θ 2 B k , l cos n - k - A k , l ( πx ) sin k - A k , l ( πx ) × cos n - 1 - A k , l ( πy ) sin 1 - A k , l ( πy ) × ( cos ( πx ) sin ( πx ) + cos ( πy ) sin ( πy ) ) A k , l
在此,M是方形格子、五眼格子、或者六角格子的采样矩阵。
【数式22】
f k , l 1 ↔ F k , l 1 ; f k , l 2 ↔ F k , l 2
【数式23】
Λf={(0,0),(0,n),(n,0),(n,n)}
Λg={(k,l)}k=0,n;l=1,…,n-1∪{(k,l)}l=0,n;k=1,…,n-1
Λa={(k,l)}k=1,…,n-1;l=1,…,n-1
【数式24】
P n = { 2 f k , l 1 } ( k , l ) ∈ Λ f ∪ Λ g ∪ { f k , l 1 } ( k , l ) ∈ Λ a ∪ { f k , l 2 } ( k , l ) ∈ Λ a
引理2(H.&S.Arai,2008)Pn为与方形格子、五眼格子、六角格子有关的框架·滤波器的充分必要条件是B=(Bk,l)满足以下的条件。
【数式25】
Σ k = 0 n Σ l = 0 n Σ j = 1 2 | F k , l j ( θ 1 , θ 2 ) | 2 ≡ | det M |
<满足上述条件的B=(Bk,l)的求取方法>
将{(k,l):k=0,1,…,n0,l=s,…,n0,}如下这样排序。
【数式26】
μ=(k,l),ν=(k′,1′)
【数式27】
K &mu; , v = 2 3 - 4 n + 4 k ( - 1 ) l &Sigma; p = 0 k { 2 k 2 p ( [ &Sigma; q = 0 2 k - 2 p ( - 1 ) q - 2 k - 2 p + 2 n 2 k &prime; - 2 p + n - q 2 k - 2 p q ] &times; [ &Sigma; q = 0 2 p + 2 l - 2 k ( - 1 ) q 2 p + 2 n - 2 k - 2 l 2 l &prime; + 2 p + n - 2 k - q 2 p + 2 l - 2 k q ] + [ &Sigma; q = 0 2 k - 2 p ( - 1 ) q - 2 k - 2 p + 2 n 2 l &prime; - 2 p + n - q 2 k - 2 p q ] &times;[ &Sigma; q = 0 2 p + 2 l - 2 k ( - 1 ) q 2 p + 2 n - 2 k - 2 l 2 k &prime; + 2 p + n - 2 k - q 2 p + 2 l - 2 k q ] ) }
【数式28】
【数式29】
在定理3(H.&S.Arai,2008)基础上获得的B=(Bk,l)满足引理2。因此,Pn成为与方形格子、五眼格子、六角格子有关的框架·滤波器。将Pn称作阶数n的风车小框架(pinwheel framelet of degree n)。图38是表示在等级2中的最大重复风车小框架·滤波器(maximal overlappinwheel framelet filters at level 2)上对等级1的近似滤波器进行循环相关积而得到的滤波器的图。此外,图39是表示对测试图像通过风车小框架进行了等级2的最大重复多分辨率分解(2nd stage ofmaximal overlap MRA decomposition by pinwheel framelet)的结果的各子带信号的图。
以上,结束本实施方式的说明。这样,根据本实施方式,能够提供一种针对任意的图像将可能产生的视错觉量定量化或者生成参考视错觉量的图像的视错觉的分析装置、参考视错觉的图像生成装置、视错觉的分析方法、参考视错觉的图像生成方法及程序、以及记录介质。尤其是,颜色的对比视错觉以及参考视错觉的图像与产品等的颜色的视觉感受相关,因此在对施加了色彩的产品等进行制造/销售等的工业(印刷、设计、影像、涂饰等的工业)中极其有用。
[其他实施方式]
那么,到此为止对本发明的实施方式进行了说明,但本发明除了上述的实施方式以外,在权利要求书所记载的技术思想的范围内可以通过各种不同的实施方式来实施。
例如,虽然将视错觉分析装置100以独立的方式进行处理的情况作为一例进行了说明,但视错觉分析装置100也可以根据来自客户端终端(与视错觉分析装置100不同的框体)的请求来进行处理,并将其处理结果返回到该客户端终端。例如,视错觉分析装置100也可以构成为ASP服务器,接收从用户终端经由网络300而发送的原图像数据,并将基于该原图像数据进行了加工的处理图像的重构图像数据返回到用户终端。
此外,在实施方式中说明过的各处理中,作为自动进行的处理而说明过的处理的全部或一部分也可以手动进行,或者,作为手动进行的处理而说明过的处理的全部或一部分也可以以公知的方法自动进行。
除此之外,关于上述文献中、附图中所示的处理步骤、控制步骤、具体的名称、包含各处理的登记数据或检索条件等参数的信息、画面例、数据库构成,除了特别记载的情况之外能够任意变更。
此外,关于视错觉分析装置100,图示的各构成要素是功能概念性构成要素,不一定需要在物理上如图示那样构成。
例如,关于视错觉分析装置100的各装置所具备的处理功能,尤其是由控制部102进行的各处理功能,其全部或任意的一部分也可以通过CPU(Central Processing Unit,中央处理器)以及由该CPU来解释执行的程序来实现,此外,也可以作为基于布线逻辑的硬件来实现。另外,程序,包括后述的用于使计算机执行本发明所涉及的方法的程序化的命令在内、被记录在非临时性的计算机可读取的记录介质中,并根据需要被机械式地读取到视错觉分析装置100中。即,在ROM或HDD(Hard Disk Drive,硬盘驱动器)等的存储部106等中,记录有用于作为OS(OperatingSystem)而协同工作对CPU发出命令、进行各种处理的计算机程序。该计算机程序,通过被加载到RAM中而被执行,与CPU协同工作而构成控制部。
此外,该计算机程序既可以存储于经由任意的网络300而与视错觉分析装置100连接的应用程序服务器,也可以根据需要下载其全部或一部分。
此外,本发明所涉及的程序既可以保存在计算机可读取的记录介质中,而且,也可以构成为程序产品。在此,该“记录介质”包括存储卡、USB存储器、SD卡、软盘、光磁盘、ROM、EPROM、EEPROM、CD-ROM、MO、DVD、以及Blu-ray Disc等任意的“便携用的物理介质”。
此外,“程序”是指,以任意的语言、描述方法来描述的数据处理方法,源代码、二进制码等的形式不限。另外,“程序”不限于一定单一地构成,还包含分散构成为多个模块、程序库的程序、以OS(OperatingSystem,操作系统)为代表的与个别程序协同工作来达成其功能的程序。另外,关于在实施方式所示的各装置中用于读取记录介质的具体的构成、读取步骤、或者读取后的安装步骤等,可以采用周知的构成、步骤。
存储在存储部106中的各种数据库等(框架文件106a、图像数据文件106b)是RAM、ROM等存储器装置、硬盘等固定磁盘装置、软盘、以及光盘等的存储单元,保存用于提供各种处理或网站的各种程序、表、数据库以及网页用文件等。
此外,视错觉分析装置100既可以作为已知的个人计算机、工作站等信息处理装置而构成,此外,也可以对该信息处理装置连接任意的外围装置来构成。此外,视错觉分析装置100也可以通过安装使该信息处理装置实现本发明的方法的软件(包括程序、数据等)来实现。
进而,装置的分散/合并的具体方式不限于图示的方式,其全部或一部分也可以根据各种附加等、或者根据功能负荷,以任意的单位在功能上或物理上分散/合并来构成。即,既可以将上述实施方式任意组合来实施,也可以选择性地实施实施方式。
符号说明
100  视错觉分析装置
102  控制部
102a  分解部
102b  系数处理部
102c  重构部
102d  颜色空间变换部
102e  处理图像输出部
102f  视错觉量数值化部
102g  图像编辑部
104  通信控制接口部
106  存储部
106a  框架文件
106b  图像数据文件
108  输入输出控制接口部
112  输入装置
114  输出装置
200  外部系统
300  网络

Claims (25)

1.一种视错觉的分析装置,至少具备存储部和控制部,
上述视错觉的分析装置的特征在于,
上述存储部具备:
滤波器存储单元,其存储无方向性的近似滤波器、以及作为具有各方向性的多个细节滤波器的集合的方向选择性小波框架或方向选择性滤波器组;和
图像数据存储单元,其存储图像数据,
上述控制部具备:
分解单元,其针对上述图像数据的颜色分量,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;
重构单元,其通过将由上述分解单元取得的上述子带信号相加来对图像进行重构,取得重构图像数据;和
视错觉量数值化单元,其通过算出上述图像数据与上述重构图像数据之间的、上述颜色分量的比或差来对视错觉量进行数值化,
上述分解单元还具备:
系数处理单元,其在上述多分辨率分解中的分解相与合成相之间,针对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越将小的值抑制得更小、该分解详细系数的能量越小则越对小的值进行增强的方式进行系数处理。
2.根据权利要求1所述的视错觉的分析装置,其特征在于,
上述系数处理单元根据上述分解详细系数的符号的差异来进行个别的处理。
3.根据权利要求1或2所述的视错觉的分析装置,其特征在于,
上述颜色分量是CIELAB颜色空间中的L、a、以及b的任意一者。
4.根据权利要求3所述的视错觉的分析装置,其特征在于,
上述视错觉量数值化单元,利用L的值、a的值、以及b的值的、上述图像数据与上述重构图像数据之间的差的平方和的平方根即色差,作为上述视错觉量来进行计算。
5.根据权利要求3或4所述的视错觉的分析装置,其特征在于,
上述系数处理单元,针对上述图像数据的a以及/或者b的颜色分量,进行按照根据a以及/或者b的上述分解详细系数和L中的上述分解详细系数而规定的能量越大则越将小的值抑制得更小、上述能量越小则越对小的值进行增强的方式进行了校正的上述系数处理。
6.根据权利要求1至5中任一项所述的视错觉的分析装置,其特征在于,
上述系数处理单元,利用在上述分解详细系数的能量大的情况下呈S字曲线、在能量小的情况下呈N字曲线地自动进行连续变化的函数,进行上述系数处理。
7.根据权利要求1至6中任一项所述的视错觉的分析装置,其特征在于,
上述系数处理单元,在上述分解相与上述合成相之间,对上述分解详细系数进行标准化,将标准化后的上述分解详细系数即标准化分解详细系数的范数作为上述能量,针对该标准化分解详细系数进行上述系数处理,并针对系数处理后的上述标准化分解详细系数进行上述标准化的逆运算。
8.根据权利要求1至7中任一项所述的视错觉的分析装置,其特征在于,
上述分解单元,利用上述方向性由水平方向、垂直方向、对角方向构成的双正交小波滤波器组或上述方向性为多方向的风车小框架,进行上述多分辨率分解。
9.根据权利要求1至8中任一项所述的视错觉的分析装置,其特征在于,
上述分解单元,在上述多分辨率分解中,能够采用根据等级来改变风车小框架的阶数等的其他滤波器组。
10.根据权利要求1至9中任一项所述的视错觉的分析装置,其特征在于,
上述分解单元所进行的上述多分辨率分解,是最大重复多分辨率分解、最大稀疏多分辨率分解、或者部分稀疏部分重复多分辨率分解。
11.根据权利要求1至10中任一项所述的视错觉的分析装置,其特征在于,
上述控制部还具备:
图像编辑单元,其对上述图像数据进行编辑,并控制使得通过上述分解单元针对编辑后的上述图像数据进行上述多分辨率分解,
上述视错觉量数值化单元,将根据编辑后的上述图像数据而取得的上述重构图像数据与未编辑的上述图像数据之间的比或差作为上述视错觉量而计算出,
上述图像编辑单元反复进行编辑以使得上述视错觉量变小。
12.根据权利要求1至10中任一项所述的视错觉的分析装置,其特征在于,
上述控制部还具备:
图像编辑单元,其对上述图像数据进行编辑,并控制使得针对编辑后的上述图像数据通过上述分解单元来进行上述多分辨率分解,
上述视错觉量数值化单元,将编辑后的上述图像数据与根据该编辑后的上述图像数据而取得的上述重构图像数据之间的比或差作为上述视错觉量而计算出,
上述图像编辑单元,反复进行编辑以使得上述视错觉量成为给定的数值。
13.一种参考视错觉的图像生成装置,至少具备存储部和控制部,
上述参考视错觉的图像生成装置的特征在于,
上述存储部具备:
滤波器存储单元,其存储无方向性的近似滤波器、以及具有各方向性的多个细节滤波器的集合即方向选择性小波框架或方向选择性滤波器组;和
图像数据存储单元,其存储图像数据,
上述控制部具备:
分解单元,其针对上述图像数据,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;和
重构单元,其通过将由上述分解单元取得的上述子带信号相加来对图像进行重构,取得重构图像数据,
上述分解单元还具备:
系数处理单元,其在上述多分辨率分解中的分解相与合成相之间,针对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越对小的值进行增强、该分解详细系数的能量越小则越将小的值抑制得更小的方式进行系数处理。
14.根据权利要求13所述的参考视错觉的图像生成装置,其特征在于,
上述系数处理单元,根据上述分解详细系数的符号的差异来进行个别的处理。
15.根据权利要求13或14所述的参考视错觉的图像生成装置,其特征在于,
上述图像数据的颜色分量是CIELAB颜色空间中的L、a、以及b的任意一者。
16.根据权利要求15所述的参考视错觉的图像生成装置,其特征在于,
上述系数处理单元,针对上述图像数据的a以及/或者b的颜色分量,进行按照根据a以及/或者b的上述分解详细系数和L中的上述分解详细系数而规定的能量越大则越对小的值进行增强、上述能量越小则越将小的值抑制得更小的方式进行了校正的上述系数处理。
17.根据权利要求13至16中任一项所述的参考视错觉的图像生成装置,其特征在于,
上述系数处理单元,利用在上述分解详细系数的能量大的情况下呈N字曲线、在能量小的情况下呈S字曲线地自动进行连续变化的函数,进行上述系数处理。
18.根据权利要求13乃至17中任一项所述的参考视错觉的图像生成装置,其中,
上述系数处理单元,在上述分解相与上述合成相之间,对上述分解详细系数进行标准化,将标准化后的上述分解详细系数即标准化分解详细系数的范数作为上述能量,针对该标准化分解详细系数进行上述系数处理,并针对系数处理后的上述标准化分解详细系数进行上述标准化的逆运算。
19.根据权利要求13至18中任一项所述的参考视错觉的图像生成装置,其特征在于,
上述分解单元,利用上述方向性由水平方向、垂直方向、对角方向构成的双正交小波滤波器组或上述方向性为多方向的风车小框架,进行上述多分辨率分解。
20.根据权利要求13至19中任一项所述的参考视错觉的图像生成装置,其特征在于,
上述分解单元,在上述多分辨率分解中,能够采用根据等级来改变风车小框架的阶数等的不同的滤波器组。
21.根据权利要求13至20中任一项所述的参考视错觉的图像生成装置,其特征在于,
上述分解单元所进行的上述多分辨率分解,是最大重复多分辨率分解、最大稀疏多分辨率分解、或者部分稀疏部分重复多分辨率分解。
22.一种视错觉的分析方法,在至少具备存储部和控制部的视错觉的分析装置中被执行,其特征在于,
上述存储部具备:
滤波器存储单元,其存储无方向性的近似滤波器、以及作为具有各方向性的多个细节滤波器的集合的方向选择性小波框架或方向选择性滤波器组;和
图像数据存储单元,其存储图像数据,
上述视错觉的分析方法包括在上述控制部中执行的如下步骤:
分解步骤,针对上述图像数据的颜色分量,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;
重构步骤,通过将由上述分解步骤取得的上述子带信号相加来对图像进行重构,取得重构图像数据;和
视错觉量数值化步骤,通过计算上述图像数据与上述重构图像数据之间的、上述颜色分量的比或差来对视错觉量进行数值化,
上述分解步骤还包括:
系数处理步骤,在上述多分辨率分解中的分解相与合成相之间,针对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越将小的值抑制得更小、该分解详细系数的能量越小则越对小的值进行增强的方式进行系数处理。
23.一种参考视错觉的图像生成方法,在至少具备存储部和控制部的参考视错觉的图像生成装置中被执行,其特征在于,
上述存储部具备:
滤波器存储单元,其存储无方向性的近似滤波器、以及具有各方向性的多个细节滤波器的集合即方向选择性小波框架或方向选择性滤波器组;和
图像数据存储单元,其存储图像数据,
上述参考视错觉的图像生成方法包括在上述控制部中执行的如下步骤:
分解步骤,针对上述图像数据,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;和
重构步骤,通过将由上述分解步骤取得的上述子带信号相加来对图像进行重构,取得重构图像数据,
上述分解步骤还包括:
系数处理步骤,在上述多分辨率分解中的分解相与合成相之间,针对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越对小的值进行增强、该分解详细系数的能量越小则越将小的值抑制得更小的方式进行系数处理。
24.一种程序,用于使至少具备存储部和控制部的视错觉的分析装置执行视错觉的分析方法,所述记录介质的特征在于,
上述存储部具备:
滤波器存储单元,其存储无方向性的近似滤波器、以及作为具有各方向性的多个细节滤波器的集合的方向选择性小波框架或方向选择性滤波器组;和
图像数据存储单元,其存储图像数据,
上述程序用于在上述控制部中执行如下步骤:
分解步骤,针对上述图像数据的颜色分量,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;
重构步骤,通过将由上述分解步骤取得的上述子带信号相加来对图像进行重构,取得重构图像数据;和
视错觉量数值化步骤,通过算出上述图像数据与上述重构图像数据之间的、上述颜色分量的比或差来对视错觉量进行数值化,
上述程序用于在上述分解步骤中进一步执行如下步骤:
系数处理步骤,在上述多分辨率分解中的分解相与合成相之间,针对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越将小的值抑制得更小、该分解详细系数的能量越小则越对小的值进行增强的方式进行系数处理。
25.一种程序,用于使至少具备存储部和控制部的参考视错觉的图像生成装置执行参考视错觉的图像生成方法,
上述存储部具备:
滤波器存储单元,其存储无方向性的近似滤波器、以及具有各方向性的多个细节滤波器的集合即方向选择性小波框架或方向选择性滤波器组;和
图像数据存储单元,其存储图像数据,
上述程序用于在上述控制部中执行如下步骤:
分解步骤,针对上述图像数据,进行基于上述方向选择性小波框架或上述方向选择性滤波器组的多分辨率分解,取得子带信号;
重构步骤,通过将由上述分解步骤取得的上述子带信号相加来对图像进行重构,取得重构图像数据,
上述程序用于在上述分解步骤中进一步执行如下步骤:
系数处理步骤,在上述多分辨率分解中的分解相与合成相之间,针对从上述分解相输出的分解详细系数,按照该分解详细系数的能量越大则越对小的值进行增强、该分解详细系数的能量越小则越将小的值抑制得更小的方式进行系数处理。
CN201380049293.6A 2012-09-28 2013-09-30 视错觉分析装置及方法、参考视错觉的图像生成装置及方法 Active CN104781847B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-216718 2012-09-28
JP2012216718 2012-09-28
PCT/JP2013/077190 WO2014051169A1 (ja) 2012-09-28 2013-09-30 錯視の分析装置、原画像のとおり知覚させるように錯視を加味した錯視加味画像生成装置、錯視の分析方法、原画像のとおり知覚させるように錯視を加味した錯視加味画像生成方法、および、プログラム

Publications (2)

Publication Number Publication Date
CN104781847A true CN104781847A (zh) 2015-07-15
CN104781847B CN104781847B (zh) 2018-02-06

Family

ID=50388545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380049293.6A Active CN104781847B (zh) 2012-09-28 2013-09-30 视错觉分析装置及方法、参考视错觉的图像生成装置及方法

Country Status (7)

Country Link
US (1) US9426333B2 (zh)
EP (1) EP2902965B1 (zh)
JP (1) JP5622971B2 (zh)
KR (1) KR101769042B1 (zh)
CN (1) CN104781847B (zh)
TW (1) TWI559255B (zh)
WO (1) WO2014051169A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023028769A1 (zh) * 2021-08-30 2023-03-09 Oppo广东移动通信有限公司 成像模组、成像系统、图像处理方法及终端

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5385487B1 (ja) * 2012-02-29 2014-01-08 独立行政法人科学技術振興機構 スーパーハイブリッド画像生成装置、スーパーハイブリッド画像生成方法、印刷媒体製造方法、電子媒体製造方法、および、プログラム
CN104968272A (zh) * 2013-01-30 2015-10-07 国立研究开发法人科学技术振兴机构 图像处理用数字滤波器、图像处理装置、印刷介质、记录介质、图像处理方法以及程序
JP5785352B1 (ja) * 2015-02-25 2015-09-30 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
US11263783B2 (en) 2019-06-27 2022-03-01 Greg BORKMAN Color prediction using machine learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1386020A (zh) * 2001-05-16 2002-12-18 特克特朗尼克公司 用于人类视觉系统模型的自适应时空滤波器
CN1409268A (zh) * 2001-09-18 2003-04-09 特克特朗尼克公司 用于实时人类视觉系统行为建模的时间处理
WO2012067254A1 (ja) * 2010-11-15 2012-05-24 独立行政法人科学技術振興機構 錯視画像生成装置、媒体、画像データ、錯視画像生成方法、印刷媒体製造方法、および、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI359389B (en) * 2008-05-01 2012-03-01 Qisda Corp Method for halftone image transformation, printing
US7780364B2 (en) * 2008-05-01 2010-08-24 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for reducing glare in images
JP2009296039A (ja) * 2008-06-02 2009-12-17 Canon Inc 画像処理装置、画像処理方法ならびにそのプログラムおよび記憶媒体
RU2512135C2 (ru) * 2008-11-18 2014-04-10 Панасоник Корпорэйшн Устройство воспроизведения, способ воспроизведения и программа для стереоскопического воспроизведения
CN104285239B (zh) * 2012-05-14 2018-02-23 独立行政法人科学技术振兴机构 图像处理装置、图像处理方法、以及印刷介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1386020A (zh) * 2001-05-16 2002-12-18 特克特朗尼克公司 用于人类视觉系统模型的自适应时空滤波器
CN1409268A (zh) * 2001-09-18 2003-04-09 特克特朗尼克公司 用于实时人类视觉系统行为建模的时间处理
WO2012067254A1 (ja) * 2010-11-15 2012-05-24 独立行政法人科学技術振興機構 錯視画像生成装置、媒体、画像データ、錯視画像生成方法、印刷媒体製造方法、および、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HITOSHI ARAI: "A nonlinear model of visual information processing based on discrete maximal overlap wavelets", 《INTERDISCIPLINARY INFORMATION SCIENCES》 *
XAVIER OTAZU ET AL: "Toward a unified chromatic induction model", 《JOURNAL OF VISION》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023028769A1 (zh) * 2021-08-30 2023-03-09 Oppo广东移动通信有限公司 成像模组、成像系统、图像处理方法及终端

Also Published As

Publication number Publication date
KR20150099707A (ko) 2015-09-01
EP2902965A1 (en) 2015-08-05
US9426333B2 (en) 2016-08-23
CN104781847B (zh) 2018-02-06
US20150264222A1 (en) 2015-09-17
JPWO2014051169A1 (ja) 2016-08-25
JP5622971B2 (ja) 2014-11-12
KR101769042B1 (ko) 2017-08-17
TWI559255B (zh) 2016-11-21
EP2902965A4 (en) 2016-06-08
TW201419213A (zh) 2014-05-16
EP2902965B1 (en) 2020-05-13
WO2014051169A1 (ja) 2014-04-03

Similar Documents

Publication Publication Date Title
JP6162283B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
DE102017009049A1 (de) Ermöglichen von Transformationen Skizze-zu-Gemälde
CN104781847A (zh) 视错觉分析装置及方法、参考视错觉的图像生成装置及方法
DE202017105829U1 (de) System für kommunikationseffizientes gemeinschaftliches Lernen
DE102017009910A1 (de) Bearbeiten von Digitalbildern unter Nutzung eines neuronalen Netzwerkes mit einer netzwerkinternen Erstellungsschicht
CN109712165A (zh) 一种基于卷积神经网络的同类前景图像集分割方法
DE112020002355T5 (de) Audioverarbeitung
DE112019001702T5 (de) Verfahren, systeme, herstellungsgegenstände und vorrichtungen zur erzeugung digitaler szenen
CN104050642B (zh) 彩色图像复原方法
WO2012067254A1 (ja) 錯視画像生成装置、媒体、画像データ、錯視画像生成方法、印刷媒体製造方法、および、プログラム
Przybył et al. Colour management system: Monte Carlo implementation for camouflage pattern generation
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
Haindl et al. A plausible texture enlargement and editing compound markovian model
CN111915591B (zh) 一种基于螺旋生成网络的高质量图像外推系统
WO2018034302A1 (ja) エッジ起因錯視生成装置、エッジ起因錯視生成方法、エッジ起因錯視生成プログラム、印刷媒体、ならびに、記録媒体
Gebejes Characterization of Texture and Relation with Color differences
Feng Study on the Performance of Image Color Style considering Brushstroke Control Factors
John 2-D Quaternion Discrete Fourier Transform in Color Image Enhancement
DE102018216962A1 (de) Verfahren zur hochauflösenden, skalierbaren Domänen-Übersetzung
KR20230045569A (ko) 이미지에서 산만함을 감소시키기 위한 기술
EP3553766A1 (de) Verfahren zum aufbauen eines mosaiks
Kumar et al. Inpainting Analysis in 2d-Images Scheme Using Efficient Image Restoration
Lelandais et al. How to Compensate the Effect of using an Incomplete Wavelet Base for Reconstructing an Image?-Application in Psychovisual Experiment
Lelandais et al. How to Compensate the Effect of using an Incomplete Wavelet Base for Reconstructing an Image?

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant