CN1910623A

CN1910623A - 图像变换方法、纹理映射方法、图像变换装置、服务器客户机系统及图像变换程序

Info

Publication number: CN1910623A
Application number: CNA2005800020127A
Authority: CN
Inventors: 本村秀人; 金森克洋; 近藤坚司; 佐藤智
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-01-19
Filing date: 2005-12-20
Publication date: 2007-02-07
Anticipated expiration: 2025-12-20
Also published as: US20060239584A1; JPWO2006077710A1; WO2006077710A1; US7379618B2; JP3996630B2; CN1910623B

Abstract

在被提供的图像中，识别阴影部(S2到S6)。之后，对阴影部进行利用像素的亮度值的变换处理(S7)，对阴影部以外的部分进行利用表示被摄物体的表面法线的表面法线参数的变换处理(S8、S9)。

Description

图像变换方法、纹理映射方法、图像变换装置、服务器客户机系统及图像变换程序

技术领域

[0001]本发明涉及一种图像变换，特别涉及一种在保持着纹理感的状态下实现放大、缩小等图像变换和纹理映射的技术。

背景技术

[0002]由于图像关联机器和网络的数字化，能够连接任意的图像关联机器了，图像变换的自由度越来越高。逐渐整顿用户不受各种系统的相互间的不同所造成的限制，而能随便处理图像的环境。例如，用户能将用数码相机拍摄的图像输出给打印机，也能在网络上公开它，又能用家庭电视机欣赏它。

[0003]另一方面，系统则需要适应各种各样的图像格式，自然被要求水平更高的图像格式变换技术。例如，要变换图像尺寸的情况经常发生，需要上变换器(增加像素数和线数的变换装置)和下变换器(减少像素数和线数的装置)。例如，在以600dpi的分辨率印刷在A4纸张(297mm×210mm)上的情况下，需要7128个像素×5040条线的文档，然而很多数码相机的分辨率更低，从而需要上变换器。另一方面，因为在网络上所公开的图像还没决定最终输出形式，所以每次决定输出元件后，需要将该图像的尺寸变换为所对应的图像尺寸。对家用电视来讲，数字地面广播服务已经开始了，原有的标准电视图像和HD(High Definition；高清晰度)电视图像混在一起，频繁被进行图像尺寸的变换。

[0004]放大图像、缩小图像等图像变换，在计算机制图中的纹理映射中经常也被进行(将出现在被摄物体表面上的花样和图案统称为“纹理”)。纹理映射，是将二维图像贴在形成在计算机内的三维物体表面上，来表现物体表面的花样和纹理的手法。因为使二维图像对应着三维物体的表面方向而贴上，所以需要对二维图像实施放大、缩小、变形、回转等处理(参照非专利文献1)。

[0005]迄今为止，放大图像、缩小图像等处理，是利用多个像素的相互间的亮度值的不同而进行的。

[0006]就是说，在放大图像时，为了生成在抽样时不存在的像素数据，利用双线性法、双三次法等方法来内插亮度值(参照非专利文献1)。因为通过内插，只能生成抽样数据的彼此的中间值，所以有边缘等部分的清晰度恶化的倾向。于是，有人公开了下述技术，即：用内插后的图像作为初期放大图像，再抽出边缘部分，然后仅强调地显示边缘部分(参照非专利文献2和非专利文献3)。特别是在非专利文献3中，想出了下述办法，即：通过采用多分辨率表示形式和李普西兹(Lipschitz)指数，根据边缘的清晰度而有选择地进行边缘的强调。

[0007]在缩小图像时，删除一部分像素。因为抽样点的个数减少，所以抽样周期减少。在抽样频率不满图像中的最高频率的两倍(尼奎斯特频率)的情况下，发生图形失真现象，造成网纹干扰。因此，在一般的方法中，在删除一部分像素前用低通滤波器除去高频成分，再删除一部分像素。

非专利文献1：荒屋真二著、“解释明确三维计算机制图”、共立出版、pp.144-145、2003年9月25日。

非专利文献2：H.Greenspan、C.H.Anderson、“Image enhanced bynon-linear extrapolation in frequect space”、SPIE Vol.2182 Image andVideo Processing II、1994年。

非专利文献3：中静真等、“多尺度亮度倾斜平面上的图像高分辨率化”、电子信息通信学会论文杂志D-II Vol.J81-D-II No.10 pp.2249-2258、1998年10月。

非专利文献4：图像处理手册编辑委员会编、“图像处理手册”、昭晃堂、pp.392-407、1987年6月8日。

非专利文献5：R.J.Woodham、“Photometric method fordetermining surface orientation from multiple images”、OpticalEngineering、vol.19、pp.139-144、1980年。

非专利文献6：梅山伸二、“从物体的反射光分离出扩散及镜面反射成分——利用通过偏振滤光镜的多重观测和概率上的独立性”、图像认识及了解研讨会2002、pp.I-469-pp.I-476、2002年。

[0008]然而，现有技术有下述问题。

[0009]在以来自被摄物体的扩散反射成分为对象的情况下，若通过线性插入像素与像素之间的亮度来放大图像，放大后的图像和被摄物体本身的亮度分布情况就不一定一致。对此，简单地进行说明。

[0010]扩散反射光的亮度值Id，例如能以下述算式表示，即：

I_d＝I_iρ_d( N· L)

＝I_iρ_dcosθ (算式1)在此，θ是被摄物体的表面法线和来自光源的入射光所构成的角度，由算式1得知，扩散反射光的亮度值I_d随着角度θ的余弦的变化而变化(非专利文献1、pp.92)。在放大图像时，因为被摄物体的形状本身不变化，所以线性插入被摄物体的表面法线而进行密实化就可以了。但是因为如上所述，扩散反射光的亮度值根据表面法线的余弦而确定，所以线性插入亮度值而得到的图像与实际图像之间产生亮度值误差。就是说，如图12所示，是从0到1的余弦的线LN1具有向上突出的非线性特性，从而与相当于线性插入亮度值而得到的线的直线LN2之间产生误差。线LN3表示该误差，最大值达到0.21。该误差破坏原来的图像具有的、相邻的像素与像素之间的亮度值关系，在外表上使纹理感变质。

发明内容

[0011]本发明，正是为解决所述问题而研究开发出来的。其目的在于：设为能通过简单的处理来实现能够保持纹理感的图像变换。

[0012]据说，亮度越低，人的视觉系统检出对比(contrast)的能力越下降。就是说，亮度越低，所谓的对比灵敏度越低，在亮度值很低的阴影部，人分辨详细的样子的能力下降。

[0013]在图13(a)所示的试验刺激A、B中，空间分辨率由左到右逐渐增高，并且对比度由下到上逐渐减低。于是，能通过测定从下向上看图时分辨不出明暗图案来了的位置，来求出视觉系统的对比灵敏度。补充说明一下，与试验刺激A的平均亮度相比，试验刺激B的平均亮度更低。图13(b)，是表示用图13(a)的试验刺激A、B得到的空间频率与对比灵敏度之间的关系的曲线图。

[0014]由图13(b)得知，图像越明亮，视觉系统的对比灵敏度越高，分辨微细的不同的能力越高。就是说，在亮度值很高、很明亮的部分，因为对比灵敏度较高，所以上述亮度值的线性插值所产生的、与实际图像之间的误差成为使纹理感变质的原因，从而不能忽视。与此相对，可以认为上述误差在亮度值很低的、黑暗的部分不太显眼，从而可以不顾。

[0015]由于这样的观点，在本发明中，在亮度值较低的阴影部进行利用亮度值的变换，而在亮度值较高的、阴影部以外的部分，进行利用表面法线的变换。

[0016]就是说，在本发明中，在被提供的第一图像中识别阴影部，再根据规定的图像变换内容对阴影部进行利用像素的亮度值的第一变换处理，根据所述规定图像变换内容对阴影部以外的部分进行利用表示被摄物体的表面法线的表面法线参数的第二变换处理，然后用各个处理结果生成第二图像。

[0017]根据本发明，对人的视觉系统的灵敏度较低、亮度低的阴影部进行利用像素的亮度值的变换处理，对人的视觉系统灵敏度较高、亮度高的阴影部以外的部分进行利用表面法线参数的变换处理。因此，能在控制处理负荷的增大的状态下，实现保持了纹理感的图像变换。

-发明的效果-

[0018]根据本发明，分开处理阴影部和阴影部以外的部分，对阴影部进行利用亮度值的变换处理，对阴影部以外的部分进行利用表面法线参数的变换处理。因此，能够进行低处理负荷和纹理感的保持两立的图像变换。

附图说明

[0019]图1，是示意地表示阴影与亮度分布情况之间的关系的图。

图2，是表示本发明的第一实施例所涉及的图像变换方法的流程图。

图3，是表示成为前提的几何条件和光学条件的概念图。

图4，是用以说明表面法线向量的测量方法的例子的图。

图5，是概念性地表示表面法线向量的补正处理情况的图。

图6，是表示本发明的第二实施例所涉及的图像变换方法的流程图。

图7，是表示实现本发明的第三实施例所涉及的图像变换方法的结构例的方块图。

图8，是表示将参数密实化的处理的情况的图。

图9，是用以说明本发明的第四实施例的图，是表示绘制处理的流程的图。

图10，是表示实现本发明的第一结构例的图，是表示使用个人计算机的结构的图。

图11，是表示实现本发明的第二结构例的图，是表示使用服务器客户机系统的结构的图。

图12，是用以说明亮度值的线性插值与表面法线的线性插值之间的误差的图。

图13，是表示对比灵敏度的例子的图。

符号说明

[0020]SH-阴影部；203-阴影部识别部；205-图像生成部；IIN-输入图像(第一图像)；SIIN-阴影识别图像。

具体实施方式

[0021]在本发明的第一形态中，提供一种图像变换方法，该图像变换方法，对第一图像进行规定的图像变换来生成第二图像；包括：在所述第一图像中识别阴影部的第一步骤，根据所述规定图像变换的内容对所述阴影部进行利用像素的亮度值的第一变换处理的第二步骤，以及根据所述规定图像变换的内容对所述阴影部以外的部分进行利用表示被摄物体的表面法线的表面法线参数的第二变换处理的第三步骤；利用所述第二及所述第三步骤中的处理结果生成所述第二图像。

[0022]在本发明的第二形态中，提供第一形态的图像变换方法，该图像变换方法还包括对所述第一图像进行处理的预处理步骤，使得所述第一图像仅由扩散反射成分构成。

[0023]在本发明的第三形态中，提供第一形态的图像变换方法，在该图像变换方法中，所述规定图像变换是将图像放大的变换；所述第一变换处理是插入亮度值来放大图像的处理；所述第二变换处理，是插入表面法线参数来放大图像的处理。

[0024]在本发明的第四形态中，提供第一形态的图像变换方法，在该图像变换方法中，所述规定图像变换是将图像缩小的变换；所述第一变换处理是对亮度值进行二次抽样来缩小图像的处理；所述第二变换处理是对表面法线参数进行二次抽样来缩小图像的处理。

[0025]在本发明的第五形态中，提供第四形态的图像变换方法，在该图像变换方法中，在所述第三步骤之前还包括对所述第一图像的表面法线参数进行补正的处理步骤，使得该表面法线参数根据空间位置而平滑地变化。

[0026]在本发明的第六形态中，提供第一形态的图像变换方法，在该图像变换方法中，所述第一步骤包括：对所述第一图像算出表面法线参数的步骤，假设被摄物体表面是平滑的表面，对已算出的表面法线参数进行补正的步骤，按照规定的照明方程式(illumination equation)根据补正后的表面法线参数算出亮度值的步骤，以及对每个像素求出已算出的亮度值和实际亮度值之差，将该差大于规定值的像素认作阴影部的步骤。

[0027]在本发明的第七形态中，提供第一形态的图像变换方法，在该图像变换方法中，用表面法线和光源方向所构成的角度作为所述表面法线参数。

[0028]在本发明的第八形态中，提供一种纹理映射方法，该纹理映射方法，包括：将纹理图像贴在三维计算机制图模型的物体上的预处理步骤，在贴在所述物体上的所述纹理图像中识别阴影部的第一步骤，根据规定的图像变换的内容对所述阴影部进行利用像素的亮度值的第一变换处理的第二步骤，以及根据所述规定图像变换的内容对所述阴影部以外的部分进行利用表示被摄物体的表面法线的表面法线参数的第二变换处理的第三步骤；利用所述第二及所述第三步骤中的处理结果生成所述物体的图像。

[0029]在本发明的第九形态中，提供一种图像变换装置，该图像变换装置，对第一图像进行规定的图像变换来生成第二图像；包括：在所述第一图像中识别阴影部的阴影部识别部，根据所述规定图像变换的内容对由所述阴影部识别部识别出的阴影部进行利用像素的亮度值的第一变换处理的第一变换部，以及根据所述规定图像变换的内容对所述阴影部以外的部分进行利用表示被摄物体的表面法线的表面法线参数的第二变换处理的第二变换部；利用所述第一及所述第二变换部所处理的结果生成所述第二图像。

[0030]在本发明的第十形态中，提供一种服务器客户机系统，该服务器客户机系统，进行图像变换；包括：具有第九形态的阴影部识别部的服务器，和具有第九形态的第一及第二变换部的客户机。

[0031]在本发明的第十一形态中，提供一种图像变换程序，该图像变换程序，让计算机执行对第一图像进行规定的图像变换而生成第二图像的方法；让计算机执行下述步骤：在所述第一图像中识别阴影部的第一步骤，根据所述规定图像变换的内容对所述阴影部进行利用像素的亮度值的第一变换处理的第二步骤，根据所述规定图像变换的内容对所述阴影部以外的部分进行利用表示被摄物体的表面法线的表面法线参数的第二变换处理的第三步骤，以及利用所述第二及所述第三步骤中的处理结果生成所述第二图像的第四步骤。

[0032]下面，参照附图说明本发明的实施例。

[0033]首先，用图1说明识别阴影部的方法。图1，是示意地表示光照射在有凹凸的被摄物体上时的图像和亮度分布情况的图。在图1中，被摄物体的表面形状平滑地变化，有峰、谷及别的峰。

[0034]在此，在光源LS的光从正上方沿垂直方向射入的情况(情况A)下，因为被摄物体表面的哪个位置上都不产生阴影，所以若按照算式1根据亮度分布情况求出表面法线，被摄物体表面的形状就被正确地算出来。在来自光源LS的光从向左倾斜了45度的方向射入的情况(情况B)下，因为在谷左侧出现了阴影(阴影部SH)，所以在亮度分布情况上产生如DC1、DC2那样亮度不连续地变化的位置。因此，若按照算式1根据亮度分布情况求出表面法线，算出的被摄物体表面的形状就在位置DC1、DC2上呈不连续的样子。这起因于算式1是以不包括阴影的情况为前提的模型。就是说，在根据亮度分布情况求出表面法线的情况下，若图像中包含阴影部，就发生表面法线不连续这个矛盾。

[0035]利用上述事情，在本实施例中，假设被摄物体表面的形状平滑地变化，在该平滑特性的假设无效时，判断为阴影部。具体而言，按照算式1根据原来的图像的亮度值算出表面法线，再根据平滑特性的假设对表面法线进行补正。之后，按照算式1根据补正后的表面法线重新求出亮度值。在得到的亮度值和原来的图像的亮度值相互不同时，判断该部分为阴影部。

[0036](第一实施例)

图2，是表示本发明的第一实施例所涉及的图像变换方法的流程图。在本实施例中，对被提供的第一图像进行图像放大作为规定的图像变换，来生成第二图像。补充说明一下，本实施例所涉及的图像变换方法，是能通过使计算机执行用以实现该方法的程序来实现。

[0037]首先，在步骤S00中，进行初始设定。图3，是表示有关被摄物体表面SF上的目标点(target point)P的几何条件的概念图。在步骤S00中，取得图3所示的光源向量L、入射光在目标点上的亮度I_i及被摄物体的扩散反射成分的双向反射率ρ_d。在此，设想为光源向量L、入射光的亮度I_i及双向反射率ρ_d已被事先设定。另外，也设定用来在后述的步骤S2中检出最明亮部分的最明亮部分判定用阈值THH。

[0038]在步骤S1中，对第一图像进行预处理，使该第一图像仅由扩散反射成分构成。一般来讲，来自被摄物体的反射光由镜面放射成分和扩散反射成分构成。在本发明中，因为仅以扩散反射成分为对象，所以抽出仅摄有扩散反射成分的像素，或者仅拍摄扩散反射成分后将该扩散反射部分记录为第一图像。

[0039]作为将扩散反射成分和镜面反射成分分离开的做法，例如在非专利文献6中，有人公开了利用镜面反射成分的偏振光特性的技术。因为在通常情况下，光在物体表面上反射时，与光的入射及反射面平行的电场成分及垂直的电场成分的菲涅耳系数相互不同，所以反射光成为偏振光。因此，镜面反射成分一般是偏振光，而因为扩散反射是不规则反射，所以扩散反射成分没有偏振光特性。于是，如图4所示，在隔着偏振滤光镜PF观测反射光RR的情况下，透射光RRP的强度是反射光RR中与偏振滤光镜PF的偏光轴PFA平行的成分的强度。因此，在让偏振滤光镜PF回转着来观测来自物体表面SF的镜面反射成分的情况下，透射光RRP的强度根据偏振滤光镜PF的偏光轴PFA与镜面反射成分的偏光面SPP之间的角度ψ而变化，能以下述算式表示：

L (ψ) = L_{d} + \frac{1}{4} [F_{v} ({θ^{'}}_{i}) + F_{p} ({θ^{'}}_{i}) - ((F_{v} ({θ^{'}}_{i}) - F_{p} ({θ^{'}}_{i})) \cos 2 ψ)] L_{s}

(算式2)

[0040]在此，L_d是扩散反射成分的亮度；L_s是镜面反射成分的亮度；θ’_i是光在微小反射面上的入射角；F_p是平行电场成分相对绝缘材料的菲涅耳系数；Fv是垂直电场成分相对绝缘材料的菲涅耳系数。

[0041]接着，在步骤S2中，检出第一图像的最明亮部分。最明亮部分是指亮度最高的像素，在图1的亮度分布中相当于位置HL1、HL2、HL3及HL4。最明亮部分的表面法线，与来自光源LS的入射光方向(即图3的光源向量L)一致。因为光源向量L在步骤S00中被提供，所以最明亮部分的表面法线向量，也是已知道的。

[0042]补充说明一下，因为在通常情况下，拍摄的图像包含噪声，所以各个最明亮部分(例如位置HL1到HL4)的亮度很少一致。因此，在检出最明亮部分的情况下，最好是亮度值的检出值留有某个程度的余地。于是，例如，设图像中的最高亮度I_dmax的95％的亮度值为最明亮部分判断用阈值THH，检出亮度值大于该阈值THH的像素作为最明亮部分。

[0043]接着，在步骤S3中，按照算式1根据第一图像的亮度值算出推算表面法线向量PN。用表面法线和光源方向所构成的角度θ(或余弦cosθ)作为表示表面法线(向量)的表面法线参数。在此，第一图像的亮度值具有最高亮度I_dmax时，光源向量L和表面法线向量N一致，这两种向量的内积成为最大值即1。因此，事先以最高亮度I_dmax将扩散反射光的亮度值I_d规格化。

[0044]在步骤S4中，在相互靠近的像素与像素之间对推算表面法线向量PN的平滑度进行补正，算出补正表面法线向量SPN。就是说，对表面法线参数进行补正，使得该表面法线参数根据空间位置而平滑地变化。图5，是概念性地表示步骤S4中的补正处理情况的图。在图5(a)中，有折回部分的变化La1被补正为平滑的变化La2；在图5(b)中，有跳跃部分的变化Lb1被补正为平滑地连续变化的变化Lb2。

[0045]在此，因为阴影部以外的部分的推算表面法线向量PN的可靠性很高，所以最好是在尽量多包括阴影部以外的部分的条件下进行所述补正。但是，补正方法本身是任意的，并不限制补正方法。作为一个例子，有样条内插法等方法。在计算机制图领域，人们开发了许多种被摄物体形状模型，有利用贝塞尔(Bezier)曲线、NURBS(非均匀有理B样条)曲线等曲线的自由曲面显示方法(非专利文献1pp.36-38)。在本发明中，阴影部是通过利用亮度值的插值来生成放大图像的，而不是利用补正后的表面法线本身进行插值的。就是说，在此求出表面法线的目的在于阴影部的检测，重要的是有没有阴影，从而不追求一条条补正后表面法线的精度。

[0046]在步骤S5中，按照算式1根据补正表面法线向量SPN计算出扩散反射光的亮度值I_v，以该亮度值I_v作为补正亮度值SPI_v输出。

[0047]在步骤S6中，对补正亮度值SPI_v和第一图像的亮度值进行比较，判断相互不同的像素部分为阴影部，判断相互一致的像素部分为阴影部以外的部分。补充说明一下，也可以是这样的，对补正亮度值SPI_v和第一图像的亮度值之差设定容许范围(例如，在将亮度值规格化为0到1时，0.01左右)，补正亮度值SPI_v和第一图像的亮度值之差越出容许范围时，判定为阴影部。步骤S2到S6，构成本发明的第一步骤。

[0048]在作为第二步骤的步骤S7中，对判定为阴影部的部分插入第一图像的亮度值，来放大图像；在步骤S8中，对判定为阴影部以外的部分的部分插入补正表面法线向量SPN，来放大图像。之后，在步骤S9中，按照算式1根据插值放大后的补正表面法线向量算出扩散反射光的亮度值I_v。步骤S8和S9构成本发明的第三步骤。本发明已经设法而能够利用处理负荷较小的线性插值法，但并不限定插值法本身。

[0049]用步骤S7和步骤S8、S9中的处理结果生成第二图像。

[0050]如上所述，根据本实施例，对人的视觉系统灵敏度较低、亮度低的阴影部线性插入亮度，对人的视觉系统灵敏度较高、亮度高的阴影部以外的部分线性插入表面法线，这样来实现图像放大。能通过这样分开进行的处理，进行低处理负荷和纹理感的保持两立的图像放大。

[0051]在需要表面法线的、阴影部以外的部分，因为根据像素的亮度值推算表面法线，所以不需要特别的机器，而能只利用摄像信息实现保持了纹理感的图像放大。为了求出被摄物体的表面法线，能够采取用测距器测量、按照光度立体法(Photometric stereo)计算等做法。但是，由于机器规模和被摄物体的大小等观点，用测距器测量的做法的适用范围有限，在通用性方面有问题(参照非专利文献4)。对按照光度立体法计算的做法来讲，因为在被摄物体表面上出现了阴影时，该做法在原理上无法算出表面法线(参照非专利文献5)，所以需要设法让阴影不出现在观测点上，例如让被摄物体的方向或光源的位置变化等，从而在实际使用的方面有问题。与此相对，在本实施例中，不需要特别的机器，而能只利用摄像信息求出表面法线。

[0052]补充说明一下，也可以是这样的，构成包括执行步骤S2到S6的阴影部识别部、执行步骤S7的第一变换部及执行步骤S8和S9的第二变换部的图像变换装置。

[0053](第二实施例)

图6，是表示本发明的第二实施例所涉及的图像变换方法的流程图。在本实施例中，对被提供的第一图像进行图像缩小作为规定的图像变换，来生成第二图像。补充说明一下，本实施例所涉及的图像变换方法，是能通过使计算机执行用以实现该方法的程序来实现。也可以是这样的，构成包括执行步骤S2到S6的阴影部识别部、执行步骤S17的第一变换部及执行步骤S18和S19的第二变换部的图像变换装置。

[0054]因为在图6中，步骤S00和S1到S6的处理内容与图2所示的一样，所以在此省略所述处理内容的说明。

[0055]对于在步骤S6中判定为阴影部的部分，在作为第二步骤的步骤S17中，对第一图像的亮度值进行二次抽样，来缩小图像。因为在阴影部，视觉系统的对比灵敏度较低，所以因网纹干扰的产生而造成的纹理感变质的程度比阴影部以外的部分小。

[0056]对于在步骤S6中判定为阴影部以外的部分的部分，在步骤S18中，对补正表面法线向量SPN进行二次抽样，来缩小图像。之后在步骤S19中，按照算式1根据二次抽样后的补正表面法线向量算出扩散反射光的亮度值I_v。步骤S18和步骤S19构成本发明的第三步骤。

[0057]补充说明一下，由于伴随图像缩小的抽样点数量的减少，尼奎斯特频率下降，造成网纹干扰的可能性变大。但是，在本实施例中，已经在步骤S4中对表面法线参数进行了补正，使得该表面法线参数根据空间位置而平滑地变化。因此，高频成分得到控制，能够控制网纹干扰的产生。就是说，步骤S4起到对表面法线参数进行二次抽样时的预处理步骤的作用。就是说，通过该预处理步骤，就不需要如现有技术那样另外准备低通滤波器并且让该低通滤波器进行工作。

[0058]如上所述，根据本实施例，在人的视觉系统灵敏度较低、亮度低的阴影部，对亮度进行二次抽样，在人的视觉系统灵敏度较高、亮度高的阴影部以外的部分，对表面法线进行二次抽样，这样来实现控制了网纹干扰的产生的图像缩小。能通过这样分开进行的处理，进行低处理负荷和纹理感的保持两立的图像缩小。在需要表面法线的、阴影部以外的部分，因为根据像素的亮度值推算表面法线，所以不需要特别的机器，而能只利用摄像信息实现保持了纹理感的图像缩小。

[0059](第三实施例)

图7，是表示实现本发明的第三实施例所涉及的图像变换方法的结构例的方块图。在本实施例中，对被提供的第一图像IIN进行图像放大作为规定的图像变换，来生成第二图像IOUT。补充说明一下，本实施例所涉及的图像变换方法，是能通过使计算机执行用以实现该方法的程序来实现。

[0060]第一图像INN，由扩散及镜面反射分离部11分离为镜面反射成分SR和扩散反射成分DR。扩散及镜面反射分离部11，进行与上述步骤S1一样的处理，例如运用图4所示的、利用偏振光特性的方法(参照非专利文献6)。扩散反射成分DR，由阴影部检测部12分离为阴影部SP和阴影部以外的部分NSP。阴影部检测部12，进行例如与上述步骤S2到S6一样的处理。阴影部SP，由亮度值插值部13增高空间上的密度。图像合成部14，对亮度值插值部13的输出即亮度密实化图像LDI和后述的参数密实化图像IPDI进行合成，来生成第二图像IOUT。参数密实化图像IPDI，是增高扩散反射成分的阴影部以外的部分NSP和镜面反射成分SR在空间上的密度而得到的图像。

[0061]镜面反射成分SR和阴影部以外的部分NSP，由图像特征解析部15变换为图像特征向量IINFV。在图像特征解析部15中，例如利用基于小波变换等的空间响应特性。图像特征向量数据库21，选出最像图像特征向量IINFV的图像特征向量，再作为图像特征向量号码IINFVN输出该最像的图像特征向量。照明方程式参数数据库22，接收图像特征向量号码IINFVN，再作为原参数IINLEP输出符合该图像特征向量号码IINFVN的照明方程式参数。作为照明方程式，例如使用下述算式，即：

I_v＝ρ_aI_a+I_i( N· L)dω(k_dρ_d+k_sρ_s) (算式3)在此，I_a表示环境光的亮度；ρ_a表示环境光的反射率；I_i表示照明的亮度；向量N表示表面法线向量；向量L表示显示光源方向的光源向量；dω表示光源的立体角；ρ_d表示扩散反射成分的双向反射率；ρ_s表示镜面反射成分的双向反射率。k_d表示扩散反射成分比率，k_s表示镜面反射成分比率，具有k_d+k_s＝1的关系。

[0062]原参数IINLEP，由参数密实化部16增高空间上的密度。例如图8所示，将照明方程式参数中具有类似值的、相邻的像素总括为同一性质区域，再在同一性质区域内使照明方程式参数密实化。在图8中，像素(以黑圆表示)的平均属性值为P1的同一性质区域AE1和像素的平均属性值为P2的同一性质区域AE2互相邻接，位于两者的境界的像素S1和S2的亮度差形成边缘。为了放大图像来使图8(a)的分布量例如增加到两倍，只要在像素的相互之间插入像素(以白圆表示)就可以了，如图8(b)所示。例如，设所插入的像素的属性值为相邻的像素的平均属性值。在形成边缘的像素S1与像素S2之间，只要以不改变原样的方式复制像素S1及像素S2中的任一个像素的属性值，来生成新像素S3就可以了。在图8(b)中，复制像素S1的属性值而生成像素S3，使像素S2和像素S3的亮度差与图8(a)中的像素S1和像素S2的亮度差一致。这样，边缘就在密实化后也被保持。

[0063]原参数IINLEP中包括表面法线向量N，该表面法线向量N，与由表面法线计算部19根据阴影部以外的部分NSP的亮度值算出的推算表面法线EN大致一样。不过，由于数据容量的观点，照明方程式参数数据库22分散地保持着数据，因而可以认为例如按照算式1算出的推算表面法线EN，与真值之间的误差更小。于是，最好是这样的，在照明方程式参数中，关于表面法线向量N，不使用原参数IINLEP，而使用推算表面法线EN。

[0064]从参数密实化部16输出的密实化参数NLEP，在图像生成部17中又成为亮度值，作为参数密实化图像IPDI被输出。之后，如上所述，亮度密实化图像LDI和参数密实化图像IPDI在图像合成部14中合成在一起，这样就得到第二图像IOUT。

[0065]补充说明一下，对图像缩小来讲，能通过对亮度值进行二次抽样来代替亮度值的插值，并且进行参数的低密度化来代替参数的密实化，同样来执行图像变换。

[0066](第四实施例)

在本发明的第四实施例中，将上述图像变换方法用于计算机制图中的纹理映射。

[0067]图9，是表示绘制处理的主要流程的流程图。绘制处理，是在计算机制图中，将在计算机内生成的三维模型变换为二维图像数据的处理(例如参照非专利文献1的pp.79)。如图9所示，绘制处理主要包括下述步骤：设定视点和光源S101、变换坐标S102、清除隐面S103、进行明暗处理和遮蔽S104、进行纹理映射S105及变换视口S106。

[0068]首先，在步骤S101中，若设定视点VA和光源LS，外观就决定了。接着，在步骤S102中，对原来以局部坐标系管理的各个物体进行总括，来以规格坐标系统一管理，再在步骤S103中，清除从视点看不到的隐面部分。之后，在步骤S104中，计算光从光源LS照射在物体OA、OB上的照射情况，生成阴暗Shade和阴影Shadow。

[0069]之后，在步骤S105中进行纹理映射，生成与物体OA、OB对应的纹理TA、TB。一般来讲，纹理是以图像数据的形式取得的，使纹理图像TIA变形而适应于物体OA的形状，然后合成在物体OA上。同样，使纹理图像TIB变形而适应于物体OB的形状，然后合成在物体OB上。

[0070]在本实施例中，在该纹理映射中，采用上述图像变换方式。就是说，首先进行预处理，即进行将纹理图像TIA、TIB贴在三维计算机制图模型的物体OA、OB上的处理。之后，按照图2所示的流程进行处理。在步骤S00中，取得二维纹理图像TIA、TIB的光学参数，也取得关于已贴在物体OA、OB上的纹理图像TIA、TIB的各个像素的、如图3所示的参数。以后的处理内容，与第一实施例一样。

[0071]最后，在步骤S106中，进行视口变换，来生成图像尺寸适合显示的屏幕SCN或窗口WND的二维图像。

[0072]在此，若要变化视点和光源位置，就有必要进行绘制处理，从而在电子游戏机等交互系统中，频繁地反复进行绘制处理。因为在纹理映射中，通常以图像的形式准备贴在物体表面上的纹理数据，所以需要对应每次视点或光源的变化对纹理数据进行放大、缩小、回转、颜色变换等变换。

[0073]如上所述，在仅基于亮度值的图像变换中，难以保持着纹理感生成新图像。与此相对，通过如本发明那样的处理，即通过在阴影部进行利用亮度值的插值或二次抽样，并且在阴影部以外的部分进行表面法线的插值或二次抽样，就能保持着纹理感实现适应各种各样的视点和光源设定的纹理映射。

[0074]下面，举例说明实现本发明的结构例。

[0075](第一结构例)

图10是表示第一结构例的图，是用个人计算机进行本发明所涉及的图像变换的结构之一例。摄像机101的分辨率低于显示器102的分辨率。为了以最大限度利用显示器102的显示能力，用已装入到主存储器103中的图像变换程序生成放大了的图像。已用摄像机101得到的低分辨率图像，储存在图像存储器104中。事先在外部存储装置105中设定光源向量L、入射光在目标点上的亮度I_i、被摄物体的扩散反射成分的双向反射率ρ_d及最明亮部分判断用阈值THH，主存储器103的图像变换程序能参照该设定。

[0076]使用图像变换程序的处理内容与第一实施例一样，即：在摄像机的图像中识别阴影部，再对阴影部线性插入亮度值，在阴影部以外的部分线性插入表面法线。就是说，通过存储器总线106读出图像存储器104的低分辨率图像，再根据显示器102的分辨率将该低分辨率图像变换为高分辨率图像，然后再次通过存储器总线106将该高分辨率图像传输给视频存储器107。已被传输给视频存储器107的高分辨率图像，显示在屏幕102上。

[0077]补充说明一下，本发明并不限于图10所示的结构，可以采用各种各样的结构。例如，也可以是这样的，用计测仪器直接从被摄物体测量出光源向量L、入射光的亮度I_i及被摄物体的扩散反射成分的双向反射率ρ_d。另外，也可以从网络108取得低分辨率图像。此外，也可以是这样的，将纹理数据储存在外部存储装置105中，在主存储器103中执行第四实施例所示的纹理映射。

[0078]在摄像机101的分辨率高于显示器102的分辨率的情况下，已装入到主存储器103中的图像变换程序，如第二实施例所示的那样进行图像缩小就可以了。可以用可拍摄手机、数码相机、摄录机(video moviecamera)等任意种类的摄像装置作为摄像机101。另外，在再生事先录好的影像的再生装置中，也能实现本发明。

[0079](第二结构例)

图11是表示第二结构例的图，是用服务器客户机系统进行本发明所涉及的图像变换的结构之一例。摄像机201的分辨率低于显示器202的分辨率。为了以最大限度利用显示器202的显示能力，在服务器客户机系统中执行图像放大。

[0080]在服务器301中，阴影部识别部203经过与第一实施例一样的处理识别作为输入图像的第一图像IIN的阴影部，生成包括阴影部的信息的阴影识别图像SIIN。在此所述的阴影识别图像SIIN，例如是以0表示阴影部、以1表示阴影部以外的部分的，一个位的刻度(1-bit scale)的图像。之后，数据发送部204，通过网络206将第一图像IIN和阴影识别图像SIIN发送给客户机302。在客户机302中，包括本发明的第一变换部和第二变换部的图像生成部205，经过与第一实施例一样的处理从所接收的第一图像IIN和阴影识别图像SIIN生成作为第二图像的放大图像，再将该放大图像提供给显示器202。

[0081]补充说明一下，本发明并不限于图11所示的结构。在摄像机201的分辨率高于显示器202的分辨率的情况下，也可以图像生成部205与第二实施例一样地缩小图像。可以用可拍摄手机、数码相机、摄录机(video movie camera)等任意种类的摄像装置作为摄像机201。而且，在再生事先录好的影像的再生装置中，也能实现本发明。

[0082]如上所述，本发明能在已广泛普及的个人计算机、服务器客户机系统、可拍摄手机、数码相机以及摄录机和电视机等所有视频捕获设备中采用，不需要特别的机器、运用及管理等。补充说明一下，本发明的机器连接方式和机器内部的结构可以采用安装在专用硬件中、将软件和硬件组合起来等形式，不受限定。

-工业实用性-

[0083]因为在本发明中，能够进行低处理负荷和纹理感的保持两立的图像变换，所以能例如在将体育运动、观光、留影等眼前的情景记录为影像的影像娱乐领域利用本发明。在文化艺术领域，能为了提供不受被摄物体和摄像的地方的限制的、自由度很高的数字存储记录系统(digitalarchive system)而利用本发明。

Claims

1.一种图像变换方法，对第一图像进行规定的图像变换，来生成第二图像，其特征在于：

包括：第一步骤，在所述第一图像中识别阴影部，

第二步骤，根据所述规定图像变换的内容，对所述阴影部进行利用像素的亮度值的第一变换处理，以及

第三步骤，根据所述规定图像变换的内容，对所述阴影部以外的部分进行利用表示被摄物体的表面法线的表面法线参数的第二变换处理；

利用所述第二及所述第三步骤中的处理结果生成所述第二图像。

2.根据权利要求1所述的图像变换方法，其特征在于：

还包括预处理步骤，对所述第一图像进行处理，使得所述第一图像仅由扩散反射成分构成。

3.根据权利要求1所述的图像变换方法，其特征在于：

所述规定图像变换，是将图像放大的变换；

所述第一变换处理，是插入亮度值来放大图像的处理；

所述第二变换处理，是插入表面法线参数来放大图像的处理。

4.根据权利要求1所述的图像变换方法，其特征在于：

所述规定图像变换，是将图像缩小的变换；

所述第一变换处理，是对亮度值进行二次抽样来缩小图像的处理；

所述第二变换处理，是对表面法线参数进行二次抽样来缩小图像的处理。

5.根据权利要求4所述的图像变换方法，其特征在于：

在所述第三步骤之前，还包括对所述第一图像的表面法线参数进行补正的处理步骤，使得该表面法线参数根据空间位置而平滑地变化。

6.根据权利要求1所述的图像变换方法，其特征在于：

所述第一步骤，包括：

对所述第一图像算出表面法线参数的步骤，

假设被摄物体表面是平滑的表面，对已算出的表面法线参数进行补正的步骤，

按照规定的照明方程式，根据补正后的表面法线参数算出亮度值的步骤，以及

对每个像素求出已算出的亮度值和实际亮度值之差，将该差大于规定值的像素认作阴影部的步骤。

7.根据权利要求1所述的图像变换方法，其特征在于：

用表面法线和光源方向所构成的角度作为所述表面法线参数。

8.一种纹理映射方法，其特征在于：

包括：预处理步骤，将纹理图像贴在三维计算机制图模型的物体上，

第一步骤，在贴在所述物体上的所述纹理图像中识别阴影部，

第二步骤，根据规定的图像变换的内容，对所述阴影部进行利用像素的亮度值的第一变换处理，以及

利用所述第二及所述第三步骤中的处理结果生成所述物体的图像。

9.一种图像变换装置，对第一图像进行规定的图像变换，来生成第二图像，其特征在于：

包括：阴影部识别部，在所述第一图像中识别阴影部，

第一变换部，根据所述规定图像变换的内容，对由所述阴影部识别部识别出的阴影部进行利用像素的亮度值的第一变换处理，以及

第二变换部，根据所述规定图像变换的内容，对所述阴影部以外的部分进行利用表示被摄物体的表面法线的表面法线参数的第二变换处理；

利用所述第一及所述第二变换部所处理的结果生成所述第二图像。

10.一种服务器客户机系统，进行图像变换，其特征在于：

包括：

服务器，具有权利要求9所述的阴影部识别部，和

客户机，具有权利要求9所述的第一及第二变换部。

11.一种图像变换程序，让计算机执行对第一图像进行规定的图像变换而生成第二图像的方法，其特征在于：

让计算机执行下述步骤：

第一步骤，在所述第一图像中识别阴影部，

第二步骤，根据所述规定图像变换的内容，对所述阴影部进行利用像素的亮度值的第一变换处理，

第三步骤，根据所述规定图像变换的内容，对所述阴影部以外的部分进行利用表示被摄物体的表面法线的表面法线参数的第二变换处理，以及

第四步骤，利用所述第二及所述第三步骤中的处理结果生成所述第二图像。