CN100573579C - 图像变换方法和装置、纹理映射方法和装置、服务器客户机系统 - Google Patents

Abstract

对图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数(S10)。之后，对各个参数确定出由该参数的值类似的像素构成的同质区域(S20)，根据图像变换的内容，在每个确定出的同质区域对各个参数进行该参数的变换处理(S30)。之后，用变换处理后的各个参数求出第二图像的各个像素的亮度(S40)。

Description

图像变换方法和装置、纹理映射方法和装置、服务器客户机系统

技术领域

[0001]本发明涉及一种图像处理技术，特别涉及一种实现放大、缩小等图像变换，图像压缩以及纹理映射的技术。

背景技术

[0002]由于图像关联机器和网络的数字化，能够连接任意的图像关联机器了，图像变换的自由度越来越高。用户能在不受各种系统相互间的不同所造成的制约的状态下随便处理图像的环境越来越完善。例如，用户能将用数码相机摄得的图像输出给打印机，也能在网络上公开它，又能用家庭电视机欣赏它。

[0003]另一方面，系统则需要适应各种各样的图像格式，自然被要求水平更高的图像格式变换技术。例如，要变换图像尺寸的情况经常发生，需要上变换器(增加像素数和线数的变换装置)和下变换器(减少像素数和线数的装置)。例如，在以600dpi的分辨率印刷在A4纸张(297mm×210mm)上的情况下，需要7128个像素×5040条线的文档，然而很多数码相机的分辨率更低，从而需要上变换器。另一方面，因为在网络上所公开的图像还没决定最终输出形式，所以每次决定输出元件后，需要将该图像的尺寸变换为所对应的图像尺寸。对家用电视来讲，数字地面广播服务已经开始了，原有的标准电视图像和HD(High Definition；高清晰度)电视图像混在一起，频繁被进行图像尺寸的变换。

[0004]在图像尺寸五花八门的情况下，图像压缩时的可分级性(scalability)的重要性很大。可分级性，是指能否从一条比特流中取出尺寸各种各样的图像这一自由度，例如有时候取出一般的电视图像数据，有时候取出HD电视图像数据等等。若确保足够的可分级性，就不需要对每个图像格式准备传输通道，而且即使传输容量较小也可以。

[0005]放大图像、缩小图像等图像变换，在计算机制图中的纹理映射中经常也被进行(将表现在被摄物表面上的花样和图案统称为“纹理”)。纹理映射，是将二维图像贴在形成于计算机内的三维物体表面上，来表现物体表面的花样和纹理的做法。因为使二维图像对应着三维物体的表面方向贴上，所以需要对二维图像实施放大、缩小、变形或回转等处理(参照非专利文献1)。

[0006]迄今为止，放大图像、缩小图像及压缩图像等处理，是利用多个像素相互间的亮度值差进行的。

[0007]就是说，在放大图像时，为了生成在抽样时不存在的像素数据，利用双线性法或双三次法等方法来内插亮度值(参照非专利文献1)。因为通过内插，就只能生成抽样数据相互间的中间值，所以有边缘等部分的清晰度恶化的倾向。于是，有人公开了下述技术，即：用内插后的图像作为初期放大图像，再抽出边缘部分，然后仅对边缘部分进行强调(参照非专利文献2和非专利文献3)。特别是在非专利文献3中，有人想办法开发出了下述技术，即：通过采用多分辨率表示形式和李普西兹(Lipschitz)指数，根据边缘的清晰度有选择地进行边缘的强调。

[0008]在缩小图像时，删除一部分像素。若在缩小图像前不相邻的像素变得互相邻接，图像的连续性就失调，会造成网纹干扰。因此，在一般的方法中，在删除一部分像素前用低通滤波器使亮度变化变得平缓，然后删除一部分像素。

[0009]在压缩图像时，利用相邻的像素相互间的亮度值的相关性很高这一性质。为了表示亮度值的相关如何，将空间频率成分分解为正交成分。一般利用离散余弦变换作为正交变换的做法。因为相邻的像素相互间的亮度值的相关性很高，所以能量集中于低频部分，因此删除高频部分，来压缩图像信息(参照非专利文献4)。

专利文献1：日本公开专利公报特开2005-149390号公报

非专利文献1：荒屋真二著、《解释明确 三维计算机制图》、共立出版、pp.144-145、2003年9月25日。

非专利文献2：H.Greenspan、C.H.Anderson、《Image enhanced bynon-linear extrapolation in frequect space》、SPIE Vol.2182 Image andVideo Processing II、1994年。

非专利文献3：中静真等、《多尺度亮度倾斜平面上的图像高分辨率化》、电子情报通信学会论文杂志D-II Vol.J81-D-II No.10pp.2249-2258、1998年10月。

非专利文献4：多媒体通信研究会编、《要点图解方式  宽带+移动标准MPEG教科书》、ASCII CORPORATION、pp.25-29、2003年2月11日。

非专利文献5：图像处理手册编辑委员会编、《图像处理手册》、昭晃堂、pp.393、1987年6月8日。

非专利文献6：梅山伸二、《从物体的外观分离漫反射成分及镜面反射成分——利用通过偏振滤光片的多重观测和概率上的独立性”、图像认识及了解研讨会2002、pp.I-469-pp.I-476、2002年。

[0010]然而，现有技术有下述问题。

[0011]在如上所述利用像素相互间的亮度差进行放大图像、缩小图像或压缩图像等图像变换的情况下，难以将边缘成分和噪声分离开，图像变换使图像质量恶化的可能性很大。这是一个问题。

[0012]就是说，在放大图像时，因为强调地显示由于内插而变得不清楚的、初期放大图像的边缘部分，所以噪声也会与边缘部分一起被强调，有导致图像质量恶化之虞。在压缩图像时，噪声会成为使相邻的像素相互间的相关降低，从而使压缩效率降低的原因。再说，因为放大图像时强调地显示内插图像的边缘部分、缩小图像时进行平滑化这些做法是根据经验进行的做法，没有实施明确的噪声对策，因此不能保证图像变换后的图像质量。这也是一个问题。

发明内容

[0013]本发明，正是为解决所述问题而研究开发出来的。其目的在于：在图像变换、图像压缩及纹理映射中，设为与现有技术相比更不易受到噪声的影响，设为图像质量更为稳定。

[0014]本发明提供下述图像变换方法，即：对第一图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数，再对各个参数确定出由该参数的值类似的像素构成的同质区域，然后根据图像变换的内容，在每个确定出的同质区域对各个参数进行该参数的变换处理，之后用变换处理后的各个参数求出第二图像的各个像素的亮度。

[0015]根据该发明，对成为图像变换的对象的第一图像分别取得构成给予亮度的照明方程式的多个参数。在此所说的参数，例如是被摄物的光学特性、环境条件或被摄物的表面法线等等。对各个参数确定出同质区域，再根据图像变换的内容，在每个确定出的同质区域进行该参数的变换处理。用变换处理后的各个参数求出图像变换后的第二图像的各个像素的亮度。

[0016]就是说，将亮度分解为照明方程式参数，利用像素相互间的相关对各个参数进行图像变换。照明方程式参数的独立性很高，例如表面法线、光学特性等等。因此，在对每个参数进行处理的情况下，与利用以参数的积分值的形式被提供的亮度进行处理的情况相比能更容易地掌握噪声的特殊性。因为光学特性还能分解为相互独立性很高的因素即漫反射成分和镜面反射成分，所以能使噪声的特殊性更为明显。因为根据被摄物的一种物理特性即照明方程式参数的类似性确定出同质区域，所以可以说同质区域是靠物理依据确定的。因为在每个同质区域对各个参数实行图像变换，所以边缘部分被保存为同质区域相互间的境界条件。因此，能在保存边缘的清晰性和纹理感的状态下实现图像质量很稳定的图像变换。而且，与现有技术不一样，不需要直接检测出边缘，不会发生噪声混进的问题。

[0017]在所述本发明的图像变换方法中，在要放大图像的情况下，进行将所述参数高密度化的处理作为各个参数的变换处理就可以。如上所述，在本发明中，可以说同质区域是靠物理依据确定的。因此，与如现有技术那样对通过内插插值得到的初期放大图像进行边缘强调的、基于经验的技术相比，在每个同质区域进行参数的高密度化的本发明是客观性更强的技术，能进一步稳定放大图像的图像质量。

[0018]在所述本发明的图像变换方法中，在要缩小图像的情况下，进行将所述参数低密度化的处理作为各个参数的变换处理就可以。如放大图像的情况一样，与如现有技术那样使用低通滤波器的、基于经验的技术相比，在每个同质区域进行参数的低密度化的本发明是客观性更强的技术，能进一步稳定缩小图像的图像质量。

[0019]本发明提供下述图像压缩方法，即：对图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数，再对各个参数确定出由该参数的值类似的像素构成的同质区域，然后在每个确定出的同质区域对各个参数进行该参数的压缩编码。

[0020]根据该发明，对成为图像压缩的对象的图像分别取得构成给予亮度的照明方程式的多个参数。对各个参数确定出同质区域，再在每个确定出的同质区域进行该参数的压缩编码。因为在同质区域内，彼此位于近邻的像素的照明方程式参数的相关性很强，所以能将压缩效率提高得比基于亮度值的图像压缩的压缩效率高。边缘部分被保存为同质区域相互间的境界条件。因此，能在保存边缘的清晰性和纹理感的状态下实现压缩效率很高的图像压缩。

[0021]本发明提供下述纹理映射方法，即：进行将纹理图像贴在三维计算机制图模型的物体上的预处理，再对贴在物体上的纹理图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数，然后对每个参数确定出由该参数的值类似的像素构成的同质区域，之后根据规定图像变换的内容，在每个确定出的同质区域对各个参数进行该参数的变换处理，之后用变换处理后的各个参数求出物体的图像的各个像素的亮度。

[0022]与所述图像变换方法一样，根据该发明，能在保存边缘的清晰性和纹理感的状态下，实现图像质量很稳定的纹理映射。

-发明的效果-

[0023]根据本发明，因为在每个同质区域对构成亮度值的每个照明方程式参数进行变换处理，所以能在保存边缘的清晰性和纹理感的状态下实现图像质量很稳定的图像变换和纹理映射，能在保存边缘的清晰性和纹理感的状态下实现压缩效率很高的图像压缩。

附图说明

[0024]图1，是表示本发明的第一实施例所涉及的图像变换方法的流程图。

图2，是表示亮度与照明方程式之间的关系的示意图。

图3，是表示成为照明方程式的前提的几何条件的示意图。

图4，是用以说明表面法线矢量的测量方法的例子的图。

图5，是用以说明分离漫反射和镜面反射的做法的例子的图。

图6，是用以说明参照学习数据取得照明方程式参数的方法的图。

图7，是表示进行同质区域的判断的模式的图。

图8，是表示单位区域的扫描方法之一例的图。

图9，是表示噪声消除之一例的图。

图10，是表示为了放大图像将参数高密度化的处理情况的图。

图11，是表示为了缩小图像将参数低密度化的处理情况的图。

图12，是表示本发明的第二实施例所涉及的、为压缩图像所进行的参数变换处理的情况的示意图。

图13，是用以说明本发明的第三实施例的图，是表示绘制处理的流程的图。

图14，是表示实现本发明的第一结构例的图，是表示使用个人电脑的结构的图。

图15，是表示实现本发明的第二结构例的图，是表示使用服务器客户机系统的结构的图。

图16，是表示实现本发明的第三结构例的图，表示在用摄像机进行摄像时进行本发明所涉及的图像变换的结构之一例。

图17，是表示光源的位置与用广角镜头摄得的摄像图像之间的关系的图。

图18，是表示实现本发明的第三结构例的图，是表示使用折叠式手机的结构的图。

符号说明

[0025]S10-第一步骤；S20-第二步骤；S30-第三步骤；S40-第四步骤；AA1到AA3、AB1到AB3、AC1到AC3、AD1到AD3、AE1和AE2、AF1和AF2以及AG1和AG2-同质区域；TIA和TIB-纹理图像；OA和OB-物体；205-参数操作部；207-图像生成部；301-服务器；302-客户机；501-图像特征解析部；502-图像特征矢量数据库；503-照明方程式参数数据库。

具体实施方式

[0026]本发明的第一形态提供一种图像变换方法，该图像变换方法是对第一图像进行规定图像变换来生成第二图像的。该图像变换方法包括：对所述第一图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数的第一步骤，对所述各个参数确定出由该参数的值类似的像素构成的同质区域的第二步骤，根据所述规定图像变换的内容，在每个在所述第二步骤中确定的同质区域对所述各个参数进行该参数的变换处理的第三步骤，以及用所述第三步骤中的变换处理后的各个参数求出所述第二图像的各个像素的亮度的第四步骤。

[0027]本发明的第二形态提供第一形态的图像变换方法，在该第二形态的图像变换方法中，所述规定图像变换是图像放大；所述第三步骤中的变换处理，是将所述参数高密度化的处理。

[0028]本发明的第三形态提供第一形态的图像变换方法，在该第三形态的图像变换方法中，所述规定图像变换是图像缩小；所述第三步骤中的变换处理，是将所述参数低密度化的处理。

[0029]本发明的第四形态提供第一形态的图像变换方法，在该第四形态的图像变换方法中，在所述第一步骤中，通过测量被摄物或根据所述第一图像进行推测，来取得所述多个参数。

[0030]本发明的第五形态提供第一形态的图像变换方法，在该第五形态的图像变换方法中，在所述第二步骤中，利用所述参数值的在多个像素中的分散情况进行类似程度的评价。

[0031]本发明的第六形态提供第一形态的图像变换方法，在该第六形态的图像变换方法中，所述第二步骤包括进行所确定的同质区域内的噪声消除的处理。

[0032]本发明的第七形态提供一种纹理映射方法。该纹理映射方法包括：将纹理图像贴在三维计算机制图模型的物体上的预处理步骤，对贴在所述物体上的所述纹理图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数的第一步骤，对所述各个参数确定出由该参数的值类似的像素构成的同质区域的第二步骤，根据规定图像变换的内容，在每个在所述第二步骤中确定的同质区域对所述各个参数进行该参数的变换处理的第三步骤，以及用所述第三步骤中的变换处理后的各个参数求出所述物体的图像的各个像素的亮度的第四步骤。

[0033]本发明的第八形态提供一种图像变换装置，该图像变换装置对第一图像进行规定图像变换来生成第二图像。该图像变换装置包括：对所述第一图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数的参数取得部，对所述各个参数确定出由该参数的值类似的像素构成的同质区域的同质区域确定部，根据所述规定图像变换的内容，在每个由所述同质区域确定部确定的同质区域对所述各个参数进行该参数的变换处理的参数变换部，以及用所述参数变换部进行变换处理后的各个参数求出所述第二图像的各个像素的亮度的亮度计算部。

[0034]本发明的第九形态提供一种纹理映射装置。该纹理映射装置包括：将纹理图像贴在三维计算机制图模型的物体上的预处理部，对贴在所述物体上的所述纹理图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数的参数取得部，对所述各个参数确定出由该参数的值类似的像素构成的同质区域的同质区域确定部，根据规定图像变换的内容，在每个由所述同质区域确定部确定的同质区域对所述各个参数进行该参数的变换处理的参数变换部，以及用所述参数变换部进行变换处理后的各个参数求出所述物体的图像的各个像素的亮度的亮度计算部。

[0035]本发明的第十形态提供一种服务器客户机系统，该服务器客户机系统进行图像变换。该服务器客户机系统包括服务器和客户机，该服务器具有本发明的第八形态的参数取得部、同质区域确定部及参数变换部；该客户机具有本发明的第八形态的亮度计算部。在该服务器客户机系统中，所述客户机向所述服务器指出图像变换的内容。

[0036]本发明的第十一形态提供一种图像变换程序，该图像变换程序让计算机执行对第一图像进行规定图像变换来生成第二图像的方法。该图像变换程序让计算机执行下述步骤：对所述第一图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数的第一步骤，对所述各个参数确定出由该参数的值类似的像素构成的同质区域的第二步骤，根据所述规定图像变换的内容，在每个在所述第二步骤中确定的同质区域对所述各个参数进行该参数的变换处理的第三步骤，以及用所述第三步骤中的变换处理后的各个参数求出所述第二图像的各个像素的亮度的第四步骤。

[0037]本发明的第十二形态提供一种纹理映射程序。该纹理映射程序让计算机执行下述步骤：将纹理图像贴在三维计算机制图模型的物体上的预处理步骤，对贴在所述物体上的所述纹理图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数的第一步骤，对所述各个参数确定出由该参数的值类似的像素构成的同质区域的第二步骤，根据规定图像变换的内容，在每个在所述第二步骤中确定的同质区域对所述各个参数进行该参数的变换处理的第三步骤，以及用所述第三步骤中的变换处理后的各个参数求出所述物体的图像的各个像素的亮度的第四步骤。

[0038]下面，参照附图说明本发明的实施例。

[0039](第一实施例)

图1，是表示本发明的第一实施例所涉及的图像变换方法的流程图。补充说明一下，能通过让计算机执行用以实现本实施例所涉及的图像变换方法的程序，来实现该图像变换方法。

[0040]在本实施例中，例如用[算式1]及[算式2]所示的算式作为给予亮度的照明方程式，对构成所述算式的多个参数确定出同质区域。之后，在每个同质区域对所述参数进行变换处理，来实现规定的图像变换。

[算式1]

I_v＝ρ_aI_a+I_i(N·L)dω(k_dρ_d+k_sρ_s)

[算式2]

${\mathrm{\ρ}}_s=\frac{F_{\mathrm{\λ}}}{\mathrm{\π}}\frac{\mathrm{DG}}{(\stackrel{-}{N}\·\stackrel{-}{V})(\stackrel{-}{N}\·\stackrel{-}{L})}$

$D=\frac{1}{{4m}^2{\cos }^4\mathrm{\β}}{e}^{{-[\left(\tan \mathrm{\β}\right)/m]}^2}$

$G=\min \{1,\frac{2(\stackrel{-}{N}\·\stackrel{-}{H})\left(\stackrel{-}{N\·}\stackrel{-}{V}\right)}{\left(\stackrel{-}{V\·}\stackrel{-}{H}\right)},\frac{2(\stackrel{-}{N}\·\stackrel{-}{H})(\stackrel{-}{N}\·\stackrel{-}{L})}{(\stackrel{-}{V}\·\stackrel{-}{H})}\}$

$F_{\mathrm{\λ}}=\frac{1}{2}\frac{{(g-c)}^2}{{(g+c)}^2}(1+\frac{{[c(g+c)-1]}^2}{{[c(g-c)+1]}^2})$

g²＝n²+c²-1

c＝(L·H)

[0041]在此，I_a是环境光的亮度；ρ_a是环境光的反射率；I_i是照明的亮度；矢量N是表面法线矢量；矢量L是表示光源方向的光源矢量；dω是光源的立体角；ρ_d是漫反射成分的双向反射率；ρ_s是镜面反射成分的双向反射率；F_λ是菲涅耳(Fresnel)系数；m是微面(micro facet)分布；n是折射率。k_d是漫反射成分比率，k_s是镜面反射成分比率，两者具有k_d+k_s＝1的关系。矢量H是位于光源矢量L与视点矢量V的中间的半矢量，β是表面法线矢量N和视点矢量V所成的角度，能根据光源矢量L、表面法线矢量N及视点矢量V计算出该矢量H和该β。

[0042]图2，是表示亮度与照明方程式参数之间的关系的示意图。在该图中，图2(a)是表示图2(b)所示的图像的亮度分布情况的图表；图2(c)是表示照明方程式参数中的漫反射成分的双向反射率ρ_d的分布情况的图表；图2(d)是表示照明方程式参数中的镜面反射成分的双向反射率ρ_s的分布情况的图表；图2(e)是表示照明方程式参数中的漫反射成分比率k_d的分布情况的图表；图2(f)是表示照明方程式参数中的表面法线矢量N的分布情况的图表。在图2(a)和图2(c)到图2(f)的图表中，横轴表示空间上的位置，纵轴表示亮度或各种参数的值。

[0043]在图2(b)的图像中，存在四种物体X1到X4。物体X1具有从左边到右边逐渐发亮的亮度分布；物体X2具有无规则的亮度分布；物体X3具有在中央部分存在最明亮部分的亮度分布；物体X4具有所有空间位置上的亮度都相等的分布。

[0044]在物体X1的范围内，漫反射成分的双向反射率ρ_d、漫反射成分比率k_d及表面法线矢量N分别具有同质区域(AA1、AC1、AD1)，仅有镜面反射成分的双向反射率ρ_s变化。该镜面反射成分的双向反射率ρ_s的变化使亮度发生了变化。在物体X2的范围内，漫反射成分的双向反射率ρ_d、镜面反射成分的双向反射率ρ_s及表面法线矢量N分别具有同质区域(AA2、AB1、AD2)，仅有漫反射成分比率k_d变化。漫反射成分比率k_d的变化是无规则的，亮度也无规则地变化，形成了细小的纹理。

[0045]在物体X3的范围内，漫反射成分的双向反射率ρ_d、镜面反射成分的双向反射率ρ_s及漫反射成分比率k_d具有同质区域(AA2、AB2、AC2)，仅有表面法线矢量N变化。该表面法线矢量N的变化使亮度发生了变化。在物体X4的范围内，因为各种参数即ρ_d、ρ_s、k_d及N都具有同质区域(AA3、AB3、AC3、AD3)，所以亮度值具有一定的值。补充说明一下，因为漫反射成分比率k_d较高，以漫反射成分为主要成分(图2(e))，而漫反射成分的双向反射率ρ_d较低(图2(c))，所以物体X4的范围内的亮度值较低。

[0046]在非专利文献2和非专利文献3所示的现有图像放大处理中，根据如图2(a)那样的亮度变化情况检测出边缘，再对该边缘进行强调。在这种情况下，根据亮度变化抽出边缘时难以分离出噪声，因而通过强调边缘，噪声也会被强调。这是一个问题。

[0047]由[算式1]可见，只要有一种构成照明方程式的参数变化，亮度就变化。因此，能够了解下述事情，即：与根据亮度变化检测出边缘的做法相比，对每种参数检测出边缘的做法更为稳定。在本实施例中，因为边缘是不同的同质区域互相靠近而产生的，所以越是能稳定地求出同质区域的参数，能越稳定地求出边缘。因此，通过在每个同质区域变换各种参数，能在保存边缘的清晰性和纹理感的状态下实行图像变换。

[0048]再次参照图1的流程图，在步骤S00中进行初期设定。在此，取得成为图像变换的对象的第一图像，设定同质区域判定用阈值THEPR、同质区域合并判定用阈值THMEPR及噪声判定用阈值THN。后面详细说明怎样利用这些阈值。

[0049]在作为第一步骤的步骤S10中，对第一图像的各个像素分别取得构成规定照明方程式的多个参数。在此，利用上述[算式1]和[算式2]的照明方程式。在此，将环境光的亮度I_a、环境光的反射率ρ_a、光源的亮度I_i、光源矢量L及光源的立体角dω称为环境条件；将漫反射成分的双向反射率ρ_d、镜面反射成分的双向反射率ρ_s、漫反射成分比率k_d及镜面反射成分比率k_s称为光学特性。这些参数，根据[算式1]所示的照明方程式给予向视点方向反射的反射光的亮度值I_v。

[0050]图3，是表示[算式1]所作为前提的几何条件的示意图。如图3所示，光以I_i(N·L)dω的辐照度从光源射到物体表面SF上的、现在所注目的点P上，再进行反射，其中漫反射成分的量有k_dρ_d，镜面反射成分的量有k_sρ_s。环境光，是由于多重反射等原因而从周边绕行着射入到物体表面SF上的、现在所注目的点P上的光，该环境光相当于视点方向(矢量V)上的亮度I_v的偏向(bias)成分。

[0051]补充说明一下，在此所示的照明方程式和参数的种类只不过是一种例子，本发明并不限制照明方程式的结构和参数的种类，这些都是任意的。

[0052]能通过对被摄物进行测量或根据被提供的摄像图像进行推测，来得到[算式1]的各种参数。例如，能利用三角测量原理，用测距仪等来测量出表面法线矢量N(例如，参照非专利文献5)。三角测量原理，是利用若三角形的一条边和该边两端的角度决定，就仅有一种三角形决定这一事情的原理。如图4所示，在将从相隔规定距离l的两个点A、B看点P的角度分别假设为α、β的情况下，点P的坐标值(x，y)根据下述算式决定。

[算式3]

$\left\{\begin{array}{c}x=\frac{l\tan \mathrm{\β}}{\tan \mathrm{\α}+\tan \mathrm{\α}}\\ y=\frac{l\tan \mathrm{\α}\tan \mathrm{\β}}{\tan \mathrm{\α}+\tan \mathrm{\α}}\end{array}\right.$

[0053]例如在非专利文献6中，有人公开了利用镜面反射成分进行偏振这个性质的技术作为分离漫反射成分和镜面反射成分的做法。因为光在物体表面上反射时，与光入射或反射面平行的电场成分和垂直于光入射或反射面的电场成分的菲涅耳系数不一样，所以反射光一般成为偏振光。因此，镜面反射成分一般成为偏振光，而因为漫反射是不规则反射，所以漫反射成分没有偏振性。因此，在如图5所示经过偏振滤光片PF观测反射光RR的情况下，透射光RRP的强度有反射光RR中与偏振滤光片PF的偏光轴PFA平行的成分的强度。因此，在使偏振滤光片PF回转着观测来自物体表面SF的镜面反射成分的情况下，透射光RRP的强度根据偏振滤光片PF的偏光轴PFA与镜面反射的偏光面SPP之间的角度φ的变化而变化，能根据下述算式决定：

[算式4]

$L\left(\mathrm{\ψ}\right)=L_d+\frac{1}{4}\{F_V\left({{\mathrm{\θ}}^{\′}}_i\right)+F_P\left({{\mathrm{\θ}}^{\′}}_i\right)-(F_V\left({{\mathrm{\θ}}^{\′}}_i\right)-F_P\left({{\mathrm{\θ}}^{\′}}_i\right))\cos 2\mathrm{\ψ})\}{L}_s$

[0055]在此，L_d是漫反射成分的亮度；L_s是镜面反射成分的亮度；θ’_i是微小反射面上的光入射角；F_P是关于绝缘体的平行电场成分的菲涅耳系数；F_V是关于绝缘体的垂直电场成分的菲涅耳系数。

[0054]例如事先学习空间响应特性与照明方程式参数之间的对应关系，再在取得参数时参照该学习数据这一方法，作为根据摄像图像推定各个参数的方法很有效。例如图6所示，事先学习图像特征矢量与照明方程式参数之间的关系，准备图像特征矢量数据库502和照明方程式参数数据库503。作为第一图像的输入图像IIN，经过图像特征解析处理501被变换为输入图像特征矢量IINFV。在图像特征解析处理501的过程中，例如通过小波变换等求出空间响应特性。图像特征矢量数据库502选定与输入图像特征矢量IINFV最相似的图像特征矢量，再输出输入图像特征矢量号码IINFVN。照明方程式参数数据库503接收输入图像特征矢量号码IINFVN，作为输入图像照明方程式参数IINLEP输出与该输入图像特征矢量号码IINFVN对应的照明方程式参数。若采用所述方法，就能够取得规定照明方程式的所有参数。

[0056]补充说明一下，本发明并不限制照明方程式的参数测量方法和参数推测方法，可以利用任意方法。例如，通过按照光度立体法，利用广义逆矩阵将从光源方向互相不同的三个以上的图像中得到的[算式8]变换为[算式9]，就能推定表面法线矢量N(参照R.J.Woodham、《Photometricmethod for determining surface orientation from multiple images》、Optical Engineering 19、pp.139-144、1980年)。

[算式8]

v＝Lx

[算式9]

x＝(L^tL)^-1L^tv

[0057]在此，矢量x是将数量与摄像次数一样的、分别以反射率ρ_d作为长度的表面法线矢量ρ_dN合起来而成的矢量；矩阵L是将多个光源矢量L凑合与摄像次数一样的次数而成的光源矩阵，矢量v是将数量与摄像次数一样的、向多个视点方向反射的反射光的亮度值I_v合起来而成的矢量。在此，假设物体表面为均匀扩散面(朗伯(Lambertian)面)、并且光源是位于无穷远处的点光源。除图5所示的做法以外，分离漫反射和镜面反射的做法还有例如利用分布在根据RGB(红绿蓝)信号形成的三维彩色空间内的漫反射成分和镜面反射成分的、分布形状的不同的方法(S.Tominaga、N.Tanaka、《Estimating reflection parameters from asingle color image》、IEEE Computer Graphics and Applications、vol.20、Issue5、pp.58-66、2000年)等方法。

[0058]接着，在作为第二步骤的步骤S20中，对各个参数确定出由该参数的值类似的像素构成的同质区域。在此，根据所述参数的在多个像素的区域中的分散情况来评价参数的类似性。当该分散值小于在步骤S00中设定的同质区域判定用阈值THEPR时，判定该多个像素的区域为同质区域，而当该分散值大于或等于该同质区域判定用阈值THEPR时，判定该多个像素的区域不是同质区域。在该情况下，推测为该区域的所有像素的性质互相不同、或者该区域包括互相不同的同质区域。在这两个情况中的哪个情况下，都可以认为该区域包括边缘，因而对不包含在同质区域内的像素不加以处理，以保存边缘的清晰性和纹理感。

[0059]例如，对表面法线矢量来讲，若性质互相相同，矢量的角度差就比较小。因此，例如设同质区域判定用阈值THEPR为0.5度，当分散值小于0.5度时判定为同质区域，而当分散值大于或等于0.5度时判定为性质互相不同。漫反射成分比率k_d是一种比率，其值的范围在0以上且1以下。因此，例如设同质区域判定用阈值THEPR为0.01。当分散值小于0.01时判定为同质区域，而当分散值大于或等于0.01时判定为性质互相不同。

[0060]可以任意地设定判定参数类似性的多个像素的区域。在此使用由纵5个像素×横5个像素构成的单位区域(S21)。在该情况下，若进行如图7所示的、P01到P28的28种判定，就能对单位区域UA内的所有图案形状进行同质区域的抽出。不过，有下述条件，即：(1)包含在同质区域内的像素都相邻；(2)必须包括位于单位区域UA中心的像素。对28种图案都进行两个阶段的判断。首先，在3×3的中心区域CA内的九个像素中，判断三个灰色像素的性质是否相同。接着，对已判定为性质相同的图案判断该相同的性质是否与位于中心区域CA外侧的、带有斜影线的像素的性质也相同。在将多个图案判断为同质区域的情况下，将这些同质区域合起来作为一个同质区域。

[0061]通过上述处理，就能对确定出的每个单位区域认识出同质区域(S22)。在新认识了同质区域的情况下(在S22中，为是)，更新同质区域数据，以追加该新同质区域(S23)。反复实行步骤S21到S23，直到所有单位区域的判定结束为止(S24)。如图8所示，若以让纵5个像素×横5个像素的单位区域UA在水平方向和垂直方向上相叠一条线的方式进行扫描，在单位区域UA内生成的同质区域就互相接合起来，能够将该同质区域扩展到整个图像。

[0062]接着，在步骤S25中，对在相邻的单位区域内分别认识出的多个同质区域的类似性进行评价，再使类似的同质区域合并起来。评价同质区域的类似性的方法是任意的，例如对每个单位区域求出参数值的平均值，再用该平均值的差分值进行判断就可以。就是说，当差分值小于在步骤S00中设定的同质区域合并判定用阈值THMEPR时，使同质区域合并起来。

[0063]接着，在步骤S26中，判断在同质区域内是否有噪声。例如这样进行该判定，即：以同质区域内的所有像素的参数值的平均值为基准，某个像素的参数值和该平均值的差分大于在步骤S00中设定的噪声判定用阈值THN时，判定该像素为噪声。表面法线矢量已成为噪声时，该表面法线矢量的矢量角度与矢量角度的平均值的差分较大。因此，例如设噪声判定用阈值THN为30度，当矢量角度和平均值的差分大于30度时判断为噪声。关于漫反射成分比率k_d，例如设噪声判定用阈值THN为0.2，当漫反射成分比率k_d和平均值的差分大于0.2时判断为噪声。

[0064]判定为同质区域包括噪声时(在S26中，为是)，在步骤S27中除去同质区域内的噪声。图9是噪声除去处理之一例，灰色的像素是同质区域，P1和P2表示被判定为噪声的像素。例如，对被判定为噪声的像素周围的八个像素中包含在同质区域内的像素求出参数值的平均值，用该平均值置换噪声。对像素P1来讲，因为周围的八个像素都属于同质区域，所以用周围的八个像素的参数值的平均值置换噪声。对像素P2来讲，因为在周围的八个像素中有两个像素属于同质区域，所以用这两个像素的平均值置换噪声。补充说明一下，在此说明的噪声除去方法是一个例子，也可以采用其他任意方法。

[0065]进行步骤S20后，不属于同质区域的像素形成边缘。

[0066]在作为第三步骤的步骤S30中，根据规定图像变换的内容，在每个在步骤S20中确定的同质区域对各个参数进行该参数的变换处理。

[0067]图10是示意图，表示进行图像放大作为图像变换的情况下的处理情况。如图10所示，在进行图像放大的情况下，在同质区域内进行参数的高密度化。图10(a)表示变换前的参数分布情况，参数值的平均值为P1的同质区域AE1和参数值的平均值为P2的同质区域AE2相邻。位于同质区域AE1和同质区域AE2的境界的像素S1与像素S2之间的亮度差，形成边缘。在此，如果要通过图像放大将图10(a)的分布成为两倍，将白圆的像素插入在各个黑圆的像素之间就可以，如图10(b)所示。例如将白圆像素的参数值设为邻接的黑圆像素的参数值。在像素S1与像素S2之间，复制像素S1、S2中的任一个像素的参数值生成新像素S3就可以。在图10(b)中，复制像素S1的参数值生成像素S3，使像素S2与像素S3之间的亮度差和图10(a)中的像素S1与像素S2之间的亮度差一致。这样，边缘就被保存。

[0068]补充说明一下，将不是同质区域的部分都看作边缘进行处理就可以。例如，在图2(e)的夹在同质区域AC1与同质区域AC2之间的部分中，在像素与像素之间存在十个区间，将这十个区间中的一个个区间都看作边缘。高密度化的方法与生成图10的像素S3时的方法一样，复制邻接的像素的参数值就可以。例如，对要高密度化的位置左边的像素进行复制也可以，对右边的像素进行复制也可以，每隔一个区间都切换对左边的像素进行的复制和对右边的像素进行的复制也可以。

[0069]图11，是示意图，表示进行图像缩小作为图像变换的情况下的处理情况。如图11所示，在进行图像缩小的情况下，在同质区域内进行参数的低密度化。低密度化的方法是任意的。在图11中，采用利用周围的像素的参数值的平均值的方法作为一个例子。图11(a)表示变换前的参数的分布情况，参数值的平均值为P1的同质区域AF1和参数值的平均值为P2的同质区域AF2相邻。位于同质区域AF1和同质区域AF2的境界的像素S6与像素S7之间的亮度差，形成边缘。通过图像缩小将图11(a)的分布例如缩小为

从而生成如图11(b)所示的分布。在同质区域AF1，将像素组SG1中的参数值的平均值设为像素S4的参数值，将像素组SG2中的参数值的平均值设为像素S5的参数值，实现低密度化。这时，通过让像素组SG1的一部分和像素组SG2的一部分重叠，来使缩小图像的参数值的变化平缓。图11(a)中的边缘即像素S6与像素S7之间的亮度差，保存为图11(b)中的像素S7与像素S8之间的亮度差。就是说，复制像素S6生成像素S8的参数值。

[0070]在作为第四步骤的步骤S40中，用步骤S30中的变换处理后的各个参数求出规定图像变换后的第二图像的各个像素的亮度。这时，在[算式1]的照明方程式中使用各个参数，对各个像素计算出反射光强度I_v就可以。

[0071]如上所述，根据本实施例，将亮度分解为照明方程式参数，利用像素相互间的相关对各个参数进行图像放大、图像缩小等图像变换。就是说，在每个同质区域对各种参数进行图像变换，因而边缘部分被保存为同质区域相互间的境界条件。因为根据被摄物的物理特性即照明方程式参数的类似性确定同质区域，所以可以说同质区域是根据物理依据确定的。因此，能在保存边缘的清晰性和纹理感的状态下实现图像质量很稳定的图像变换。

[0072]补充说明一下，也可以构成包括实行步骤S10的参数取得部、实行步骤S20的同质区域确定部、实行步骤S30的参数变换部及实行步骤S40的亮度计算部的图像变换装置。

[0073](照明方程式的其他例子)

补充说明一下，在本发明中使用的照明方程式并不限于在本实施例中所示的照明方程式。例如，也可以使用下述照明方程式。

[算式5]

I_v＝I_v，a+I_i(N·L)dω·k_dρ_d

[算式6]

I_v＝I_v，a+I_i(N·L)dω·ρ

[算式7]

I_v＝I_v，a+I_v，idω

[0074][算式5]是以漫反射物体为对象的算式，参数有六个。在此，I_v，a表示从周边向视线方向射来的光强度。[算式6]是不分开漫反射和镜面反射的算式，参数有五个。[算式7]是不考虑反射率的算式，参数有两个。在此，I_v，i表示从所注目的像素向视线方向射来的光强度。

[0075](第二实施例)

在本发明的第二实施例中，进行图像压缩作为规定图像变换。基本处理流程与第一实施例一样，在步骤S30中进行对各个参数加以压缩编码的处理，以压缩图像。在该情况下，通常不实行步骤S40，而对压缩后的图像数据进行传输或记录。在再现图像的情况下，对各个参数进行解码，计算出各个像素的亮度。与第一实施例一样，能通过让计算机执行用来实现所述方法的程序，来实现本实施例所涉及的图像变换方法。也可以构成包括实行步骤S10的参数取得部、实行步骤S20的同质区域确定部及实行步骤S30的参数压缩部的图像压缩装置。

[0076]图12，是表示本实施例中的参数变换处理情况的示意图。在图12(a)中，白圆表示属于同质区域AG1到AG3的像素的参数值，带有斜影线的圆表示不属于同质区域的像素的参数值。如图12(a)所示，因为各个同质区域AG1到AG3内的参数值大致均匀，所以关于参数值的信息量几乎集约于平均值。因此，在各个同质区域AG1到AG3内，设为对参数值的平均值、和各个像素的参数值与平均值的差分进行编码，并且给差分分配很少的代码量。这么一来，就能在使图像质量不降低的状态下，以很少的代码量对参数值进行压缩编码。

[0077]例如图12(b)的编码列所示，首先对同质区域AG1进行编码类型TP1的声明(declaration)(在此，是“与平均值的差分”)，然后排平均值D1、各个像素与平均值的差分D2，最后附加分隔信号SG1。补充说明一下，也可以是这样的，分配特殊的代码作为编码类型，以能认识出分隔部分，来代替附加分隔信号SG1的做法。在差分D2小得可以不考虑该差分D2的情况下，也可以采用游程编码。

[0078]对不属于同质区域的像素来讲，因为参数值无规则地变化，所以即使利用与平均值的差分进行编码，也不能期待数据量被压缩。于是，例如利用在JPEG(Joint Photographic Experts Group：联合图象专家组)和MPEG(Moving Picture Experts Group：运动图像专家组)中采用的正交变换等就可以。就是说，作为编码类型TP2声明“正交变换”，从第一频率项开始对频率系数D3依次进行编码。补充说明一下，在同质区域占图像中的几乎所有范围的情况下，也不妨对不属于同质区域的像素的参数值直接进行编码。

[0079]在分隔信号SG2之后，作为编码类型TP3、TP4对同质区域AG2、AG3声明“与平均值的差分”，与同质区域AG1一样。

[0080]如上所述，根据本实施例，通过将亮度值分解为构成亮度值的参数，再求出该参数与附近的像素的参数的相关性，就能期待与亮度值相比更高的相关性，因此能提高压缩效率。因为在每个同质区域进行压缩编码，所以能在保存清晰性和纹理感的状态下实现与基于亮度值的压缩的压缩率相比更高的压缩率。

[0081](第三实施例)

在本发明的第三实施例中，在计算机制图的纹理映射中采用上述图像变换方法。

[0082]图13，是表示绘制处理的主要流程的流程图。绘制处理，是指在计算机制图中，将生成在计算机内的三维模型变换为二维图像数据的处理(例如参照非专利文献1的pp.79)。如图13所示，绘制处理主要包括下述步骤，即：设定视点和光源S101、变换坐标S102、清除隐面S103、进行明暗处理(shading)和遮蔽(shadowing)S104、进行纹理映射S105及变换视口S106。

[0083]首先，在步骤S101中设定视点VA和光源LS。这样，外观就决定了。接着，在步骤S102中，对原来以局部坐标系管理的各个物体进行统一，来以规格坐标系管理，再在步骤S103中，删除从视点看不到的隐面部分。之后，在步骤S104中，计算光从光源LS照射在物体OA、OB上的照射状态，生成阴暗Shade和阴影Shadow。

[0084]之后，在步骤S105中进行纹理映射，生成与物体OA、OB对应的纹理TA、TB。一般来讲，纹理是以图像数据的形式取得的，使纹理图像TIA变形而适应于物体OA的形状，合成在物体OA上。同样，使纹理图像TIB变形而适应于物体OB的形状，合成在物体OB上。

[0085]在本实施例中，在该纹理映射中，采用上述图像变换方式。就是说，首先进行预处理，就是说将纹理图像TIA、TIB贴在三维计算机制图模型的物体OA、OB上。之后，按照图1所示的流程进行处理。在步骤S10中，利用二维纹理图像TIA、TIB的光学参数和物体OA、OB的表面法线矢量对贴在物体OA、OB上的纹理图像TIA、TIB的各个像素取得参数。以后的处理内容，与第一实施例一样。补充说明一下，本实施例所涉及的纹理映射方法，也是能通过让计算机执行用以实现该方法的程序来实现的。也可以构成包括实行上述预处理的预处理部、实行步骤S10的参数取得部、实行步骤S20的同质区域确定部、实行步骤S30的参数变换部及实行步骤S40的亮度计算部的纹理映射装置。

[0086]最后，在步骤S106中，进行视口变换，来生成图像尺寸适合于显示的屏幕SCN或窗口WND的二维图像。

[0087]在此，若要改变视点和光源位置，就有必要进行绘制处理，因而在电子游戏机等交互系统中，频繁地反复进行绘制处理。因为在纹理映射中，通常以图像的形式准备贴在物体表面上的纹理数据，所以需要对应于每次视点或光源的变化对纹理数据进行放大、缩小、回转、颜色变换等变换。

[0088]于是，如果像本实施例那样对每种参数分开实施图像变换，就能在保存纹理感的状态下实现适应于各种各样的视点和光源设定的纹理映射。特别是光源位置变化时，难以按照基于亮度值的做法计算出纹理的变化，因而可以说从原理方面来看，本实施例的、能够直接控制光源矢量的方法比现有方法优越。

[0089]下面，举出实现本发明的结构例。

[0090](第一结构例)

图14是表示第一结构例的图，该第一结构例是用个人电脑进行本发明所涉及的图像变换的结构之一例。摄像机101的分辨率低于显示器102的分辨率。为了以最大限度利用显示器102的显示能力，用已装入到主存储器103中的图像变换程序生成放大图像。已用摄像机101取入的低分辨率图像，储存在图像存储器104中。事先在外部存储装置105中准备如图6所示的图像特征矢量数据库502和照明方程式参数数据库503，主存储器103的图像变换程序能参照这些数据库。

[0091]使用图像变换程序的处理内容与第一实施例一样，即：对每种照明方程式参数判定同质区域，再在同质区域内进行高密度化。就是说，通过存储器总线106读出图像存储器104中的低分辨率图像，再通过图像放大使该低分辨率图像适合于显示器102的分辨率，然后再次通过存储器总线106将该放大后的图像传输给视频存储器107。已传输到视频存储器107中的放大图像，显示在屏幕102上。

[0092]补充说明一下，本发明并不限于图14所示的结构，可以采用各种各样的结构。例如，也可以是这样的，用计测仪器直接从被摄物测量出照明方程式参数。在该情况下，不需要外部存储装置105中的图像特征矢量数据库502和照明方程式参数数据库503。另外，也可以从网络108取得低分辨率图像。此外，也可以是这样的，在外部存储装置105中储存有纹理数据，在主存储器103中实行第三实施例所示的纹理映射。

[0093]在摄像机101的分辨率高于显示器102的分辨率的情况下，已装入到主存储器103中的图像变换程序，如第一实施例所示的那样进行图像缩小就可以。此外，也可以按照第二实施例进行图像压缩，在该情况下，能对照明方程式参数进行数据压缩，再通过网络108等发送该压缩后的数据。

[0094]可以用可拍摄手机、数码相机、摄录机(video movie camera)等任意种类的摄像装置作为摄像机101。此外，在再现事先录好的影像的再现装置中，也能实现本发明。

[0095](第二结构例)

图15是表示第二结构例的图，该第二结构例是用服务器客户机系统进行本发明所涉及的图像变换的结构之一例。摄像机201的分辨率低于显示器202的分辨率。为了以最大限度利用显示器202的显示能力，在服务器客户机系统中实行图像放大。与图6一样，服务器301包括图像特征解析部501、图像特征矢量数据库502及照明方程式参数数据库503，根据输入图像IIN计算出照明方程式参数IINLEP，再将所述照明方程式参数IINLEP输出给参数操作部205。该工作相当于图1的流程中的步骤S10。由图像特征解析部501、图像特征矢量数据库502及照明方程式参数数据库503构成参数取得部。

[0096]客户机302的图像变换指出部203，将图像变换的指出作为图像变换指出信号ICIS提供给服务器301的参数操作指出部204。参数操作指出部204，将图像变换指出信号ICIS所指出的图像变换的内容置换为照明参数的操作内容，将该照明参数的操作内容作为参数操作指出信号LEPS输出给参数操作部205。参数操作部205，按照第一实施例所示的图像变换方法操作照明方程式参数IINLEP，进行图像放大或图像压缩，来生成新参数值IOUTLEP。所述工作，相当于图1的流程中的步骤S20和步骤S30。参数操作部205，对应于同质区域确定部和参数变换部。

[0097]通过上述工作，服务器301能通过网络206将根据来自客户机302的图像变换的指出生成的新参数值IOUTLEP提供给客户机302。在接收了新参数值IOUTLEP的客户机302中，作为亮度计算部的图像生成部207生成放大图像，再将该放大图像提供给显示器202。所述工作，相当于图1的流程中的步骤S40。

[0098]补充说明一下，本发明并不限于图15的结构。在摄像机201的分辨率高于显示器202的情况下，参数操作部205如在第一实施例中所示的那样进行图像缩小就可以。若参数操作部205按照第二实施例作为编码装置进行工作，并且图像生成部207作为解码装置进行工作，就能将压缩数据发送给网络206。

[0099]补充说明一下，可以任意地决定图像关联机器的组合和各个机构在系统上的位置(某个机构属于服务器301、属于客户机302还是属于其他部分等)。可以使用可拍摄手机、数码相机、摄录机等任意种类的摄像装置作为摄像机201。此外，在再现事先录好的影像的再现装置中，也能实现本发明。

[0100](第三结构例)

图16，是表示第三结构例的图，该第三结构例是在用摄像机进行摄像时进行本发明所涉及的图像变换的结构之一例。

[0101]摄像机401包括广角镜头402，能通过一次摄像摄得视角例如为180度的、较宽的视野。通过将广角镜头402设置为朝向上方，就能对光源403进行摄像。以广角镜头402的焦点位置作为坐标原点，设定广角镜头402的光轴为z轴、位于摄像机401内部的广角用摄像元件404的水平方向为x轴、并且广角用摄像元件404的铅直方向为y轴的xyz三维坐标系，求出光源矢量L。

[0102]图17(a)，表示光源403的位置与用广角镜头402摄得的广角图像405之间的关系。设想光源403的位置沿曲线LT移动了的情况，进行研究。从曲线LT上的位置PS1移动到位置PS5的光源403，被记录在广角图像405的直线ST上的位置PX1到PX5。在光源403位于位置PS2的情况下，假设直线ST和x轴所成的角度为θ、直线ST和光源矢量L2所成的角度为φ，说明求出光源矢量L2的方法。

[0103]图17(b)，是从z轴方向看图17(a)的广角图像405的图，假设位置PX1与坐标原点O之间的距离为d、位置PX2与坐标原点O之间的距离为r。位置PX1是φ＝0，坐标原点O是φ＝90度，位置PX1与坐标原点之间的、光源位置和广角图像上的位置被分配为线性，因此能以下述算式表示位置PX2的角度φ。

[算式10]

$\mathrm{\φ}=\frac{\mathrm{r\π}}{2d}$

[0104]在此，在假设广角图像上的位置PX1的像素位置为(x_L1，y_L1)、位置PX2的像素位置为(x_L2，y_L2)、并且坐标原点O的像素位置为(xo，yo)的情况下，能以下述算式表示位置PX1与坐标原点O之间的距离d。

[算式11]

$d=\sqrt{{(x_{L1}-x_O)}^2+{(y_{L1}-y_O)}^2}$

能以下述算式表示位置PX2与坐标原点O之间的距离r。

[算式12]

$r=\sqrt{{(x_{L2}-x_O)}^2+{(y_{L2}-y_O)}^2}$

[0105]图17(c)，表示从位置PX2沿z轴方向划与光源矢量L2交叉的直线LT而得到的三角形。在假设该交叉直线LT的长度为z_L2的情况下，能够得到下述算式。

[算式13]

$Z_{L2}=r\tan \left(\frac{\mathrm{r\π}}{2d}\right)$

若用长度为1的单位矢量对光源矢量L2下定义，就呈下述算式的样子。

[算式14]

$\left[\frac{x_{L2}}{\sqrt{r^2+{z_{L2}}^2}}\frac{y_{L2}}{\sqrt{r^2+{z_{L2}}^2}}\frac{z_{L2}}{\sqrt{r^2+{z_{L2}}^2}}\right]=\left[\frac{x_{L2}}{r\sqrt{1+{\tan }^2\left(\frac{\mathrm{r\π}}{2d}\right)}}\frac{y_{L2}}{r\sqrt{1+{\tan }^2\left(\frac{\mathrm{r\π}}{2d}\right)}}\frac{z_{L2}}{r\sqrt{1+{\tan }^2\left(\frac{\mathrm{r\π}}{2d}\right)}}\right]$

[0106]用被摄物摄像镜头406和被摄物用摄像元件407对被摄物进行摄像，由图像变换部408将被摄物用摄像元件407的输出即第一图像变换为第二图像。图像变换部408，例如按照图1的流程图进行图像放大或按照图12进行图像压缩等。用于图像变换的坐标系没有制约，不过最好使用被摄物用摄像元件407的xyz三维坐标系，因为图像变换是对被摄物用摄像元件407的输出进行的。因此，将以广角用摄像元件404的xyz三维坐标系表示的光源矢量即[算式14]变换为被摄物用摄像元件407的xyz三维坐标系。能通过坐标轴的变换来来现坐标系的变换。假设矢量(x_light，x，y_light，x，z_light，x)_object为以被摄物用摄像元件407的xyz三维坐标系表示了广角用摄像元件404的xyz三维坐标系的x轴的矢量。假设矢量(x_{light， x}，y_light，x，z_light，x)_light为以广角用摄像元件404的xyz三维坐标系表示了广角用摄像元件404的xyz三维坐标系的x轴的矢量。在以与x轴一样的方式还对y轴和z轴下了定义的情况下，能以3×3矩阵M如下所述表示各条轴的矢量相互间的关系。

[算式15]

${\left(\begin{array}{ccc}{x}_{\mathrm{light},x}& x_{\mathrm{light},y}& x_{\mathrm{light},z}\\ y_{\mathrm{light},x}& y_{\mathrm{light},y}& y_{\mathrm{light},z}\\ z_{\mathrm{light},x}& z_{\mathrm{light},y}& z_{\mathrm{light},z}\end{array}\right)}_{\mathrm{object}}=M{\left(\begin{array}{ccc}{x}_{\mathrm{light},x}& x_{\mathrm{light},y}& x_{\mathrm{light},z}\\ y_{\mathrm{light},x}& y_{\mathrm{light},y}& y_{\mathrm{light},z}\\ z_{\mathrm{light},x}& z_{\mathrm{light},y}& z_{\mathrm{light},z}\end{array}\right)}_{\mathrm{light}}$

若求解该算式求出矩阵M，就呈下述样子。

[算式16]

$M={\left(\begin{array}{ccc}{x}_{\mathrm{light},x}& x_{\mathrm{light},y}& x_{\mathrm{light},z}\\ y_{\mathrm{light},x}& y_{\mathrm{light},y}& y_{\mathrm{light},z}\\ z_{\mathrm{light},x}& z_{\mathrm{light},y}& z_{\mathrm{light},z}\end{array}\right)}_{\mathrm{object}}{\left(\begin{array}{ccc}{x}_{\mathrm{light},x}& x_{\mathrm{light},y}& x_{\mathrm{light},z}\\ y_{\mathrm{light},x}& y_{\mathrm{light},y}& y_{\mathrm{light},z}\\ z_{\mathrm{light},x}& z_{\mathrm{light},y}& z_{\mathrm{light},z}\end{array}\right)}_{\mathrm{light}}^{-1}$

通过将该矩阵M和[算式14]相乘，就能将光源矢量L的坐标系从广角用摄像元件404的xyz三维坐标系变换为被摄物用摄像元件407的xyz三维坐标系。

[0107]补充说明一下，因为在很多情况下，光源位于摄像机401的上方，所以若利用视角为180度的广角镜头402就能摄得光源403。若视角不够，使得光源403不位于广角镜头402的视角范围内，就改变摄像机401所朝的方向，来使光源403位于视角范围内。因此，需要测量摄像机401所朝的方向的变化，于是将三维姿势传感器409(用加速度传感器等构成该三维姿势传感器409)安装在摄像机401内，用三维姿势传感器409取得广角用摄像元件404在xyz三维坐标轴上的三维移动情况的数据，以与[算式16]一样的方式变换坐标就可以。

[0108]利用折叠式手机的结构的方法，作为改变摄像机所朝的方向的其他方法也很有效。就是说，如图18所示，手机601包括对方侧摄像机602(对位于手机601用户眼前的被摄物进行摄像的摄像机)和自己侧摄像机603(对手机601用户进行摄像的摄像机)，对方侧摄像机602在打开已折叠的显示部604时大大改变角度。就是说，如图18(a)所示，在显示部604的打开角度DAG较小的情况下，对方侧摄像机602朝向手机601的上方；如图18(c)所示，在显示部604的打开角度DAG较大的情况下，对方侧摄像机602朝向手机601用户的前方；如图18(b)所示，在显示部604的打开角度DAG为中等程度的大小的情况下，对方侧摄像机602朝向手机601上方与手机601用户前边的中间方向。于是，用设置在铰链605中的角度传感器606检测出显示部604的打开角度DAG，计算出对方侧摄像机602所朝的方向。例如通过以自己侧摄像机603的焦点位置作为坐标原点，并且根据由于手机601的结构而决定的、自己侧摄像机603的焦点位置与对方侧手机602的焦点位置之间的关系按照[算式16]计算，就能以同一个xyz三维坐标系来管理两个摄像机的摄像图像。补充说明一下，可以明显得知，为了对光源进行摄像，也可以利用自己侧照相机603。通过上述做法，能够计算出图3所示的照明方程式参数中的光源矢量L。

[0109]摄像机401，能通过包括偏振滤光片，例如按照根据[算式4]和图5说明的方法将射入到被摄物摄像镜头406中的、来自物体的反射光分离为漫反射成分和镜面反射成分。若使用漫反射成分，就能利用根据[算式9]说明的光度立体法计算出表面法线矢量N。如根据[算式8]说明的那样，光度立体法需要光源方向互相不同的、三张以上的图像。若光源403能够移动，就能通过设定三种以上的光源403的位置，并且在每个位置都进行摄像，来得到[算式8]。此外，若被摄物移动，光源和被摄物的位置关系变化，其结果是光源所射来的方向变化。因此，也可以通过追踪被摄物的特定的点，并且进行三次以上的摄像，来得到[算式8]。镜面反射成分相当于[算式1]的k_sρ_s，在已得知光源矢量L和表面法线矢量N的情况下，包含在[算式2]中的、未得知的参数有四种，即：镜面反射成分比率k_s、菲涅耳系数F_λ、微面分布m及折射率n。可以利用下述方法求出这些参数，所述方法是：根据多个抽样数据利用最小平方法进行拟合(fitting)的方法、使用折射计等测量仪器的方法等等。

[0110]补充说明一下，能明显看出下述事情，即：若除了图16的结构以外，还使用测距仪，就能测量出表面法线矢量N。

[0111]如上所述，能在已经广泛普及的个人电脑、服务器客户机系统、可拍摄手机、数码相机、以及摄录机和电视机等视频关联机器中广泛实行本发明，不需要特别的机器、运用及管理等。补充说明一下，本发明并不限制机器连接方式及机器内部的结构，例如对是否安装在专用硬件中、怎样组合软件和硬件等方面不给予限制。

-工业实用性-

[0112]因为本发明能在保存边缘的清晰性和纹理感的状态下实现图像质量很稳定的图像变换，所以能例如在将体育运动、观光、留影等眼前的情景记录为影像的影像娱乐领域利用本发明。在文化艺术领域，能为了提供不受被摄物和摄像的地方的制约的、自由度很高的数字存储记录系统(digital archive system)，利用本发明。

Claims (8)

1.一种图像变换方法，该图像变换方法是对第一图像进行图像放大或图像缩小来使该第一图像变换为第二图像的，其特征在于，包括：

第一步骤，对所述第一图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数，即环境条件、光学特性和被摄物的表面法线矢量，

第二步骤，对所述各个参数确定出由该参数的值类似的像素构成的同质区域，

第三步骤，根据图像放大的内容，在每个在所述第二步骤中确定的同质区域对所述各个参数进行该参数的高密度化处理，或者根据图像缩小的内容，在每个在所述第二步骤中确定的同质区域对所述各个参数进行该参数的低密度化处理，以及

第四步骤，用所述第三步骤中的高密度化处理或低密度化处理后的各个参数求出所述第二图像的各个像素的亮度。

2.根据权利要求1所述的图像变换方法，其特征在于：

在所述第一步骤中，通过测量被摄物或根据所述第一图像进行推测，来取得所述多个参数。

3.根据权利要求1所述的图像变换方法，其特征在于：

在所述第二步骤中，利用所述参数值的在多个像素中的分散情况进行类似程度的评价。

4.根据权利要求1所述的图像变换方法，其特征在于：

所述第二步骤，包括进行所确定的同质区域内的噪声消除的处理。

5.一种纹理映射方法，其特征在于，包括：

预处理步骤，将纹理图像贴在三维计算机制图模型的物体上，

第一步骤，对贴在所述物体上的所述纹理图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数，即环境条件、光学特性和被摄物的表面法线矢量，

第二步骤，对所述各个参数确定出由该参数的值类似的像素构成的同质区域，

第三步骤，根据图像放大的内容，在每个在所述第二步骤中确定的同质区域对所述各个参数进行该参数的高密度化处理，或者根据图像缩小的内容，在每个在所述第二步骤中确定的同质区域对所述各个参数进行该参数的低密度化处理，以及

第四步骤，用所述第三步骤中的高密度化处理或低密度化处理后的各个参数求出所述物体的图像的各个像素的亮度。

6.一种图像变换装置，该图像变换装置对第一图像进行图像放大或图像缩小来使该第一图像变换为第二图像，其特征在于，包括：

参数取得部，对所述第一图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数，即环境条件、光学特性和被摄物的表面法线矢量，

同质区域确定部，对所述各个参数确定出由该参数的值类似的像素构成的同质区域，

参数变换部，根据图像放大的内容，在每个由所述同质区域确定部确定的同质区域对所述各个参数进行该参数的高密度化处理，或者根据图像缩小的内容，在每个由所述同质区域确定部确定的同质区域对所述各个参数进行该参数的低密度化处理，以及

亮度计算部，用所述参数变换部进行高密度化处理或低密度化处理后的各个参数求出所述第二图像的各个像素的亮度。

7.一种纹理映射装置，其特征在于，包括：

预处理部，将纹理图像贴在三维计算机制图模型的物体上，

参数取得部，对贴在所述物体上的所述纹理图像的各个像素分别取得构成给予亮度的规定照明方程式的多个参数，即环境条件、光学特性和被摄物的表面法线矢量，

同质区域确定部，对所述各个参数确定出由该参数的值类似的像素构成的同质区域，

参数变换部，根据图像放大的内容，在每个由所述同质区域确定部确定的同质区域对所述各个参数进行该参数的高密度化处理，或者根据图像缩小的内容，在每个由所述同质区域确定部确定的同质区域对所述各个参数进行该参数的低密度化处理，以及

亮度计算部，用所述参数变换部进行高密度化处理或低密度化处理后的各个参数求出所述物体的图像的各个像素的亮度。

8.一种服务器客户机系统，该服务器客户机系统进行图像变换，其特征在于：

包括服务器和客户机，该服务器具有权利要求6所述的参数取得部、同质区域确定部及参数变换部；该客户机具有权利要求6所述的亮度计算部；

所述客户机，向所述服务器指出图像放大或图像缩小的内容。

Images