CN101685536B

CN101685536B - 图象处理方法

Info

Publication number: CN101685536B
Application number: CN2009102081515A
Authority: CN
Inventors: 金森克洋; 本村秀人; 菰渊宽仁
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-06-09
Filing date: 2005-06-07
Publication date: 2011-11-30
Anticipated expiration: 2025-06-07
Also published as: CN101685535B; JP4035153B2; CN101685535A; US20060115176A1; CN1965330A; US7352910B2; WO2005122089A1; CN101685536A; CN1965330B; JPWO2005122089A1

Abstract

图象处理方法，具备：对原图象进行规定的矢量变换，求出图象特征量矢量的第1步骤；取得在原图象中反映的被拍摄体的特性，并根据所取得的被拍摄体的特性，求出原图象的物理特性参数的第2步骤；参照物理特性参数，变换图象特征量矢量使原图象锐化的第3步骤；以及对变换后的图象特征量矢量进行规定的矢量变换的逆变换，生成新的图象的第4步骤，第1步骤，将图象特征量矢量，分成分别与原图象的纹理部和边缘轮廓部对应的纹理矢量和边缘轮廓矢量后求出；第3步骤，对于纹理矢量和边缘轮廓矢量，单独进行变换；第4步骤，将变换后的纹理矢量和边缘轮廓矢量结合后，进行逆变换，第3步骤，对于边缘轮廓矢量，按照指定的情景信息进行变换。

Description

图象处理方法

本申请是申请号为200580018763.8(申请日2005年6月7日，发明名称图象处理方法及图象处理装置、图象放大方法、服务器-客户机系统、以及显示终端)的分案申请。

技术领域

本发明涉及图象处理方法，特别涉及对例如通过放大处理等获得的图象进行锐化(鲜明化)的技术。

背景技术

随着数字映相机器网络的普及，用各种输出入机器处理不同规格形式的数字图象，已经司空见惯。特别是图象的尺寸，从低清晰度到超高清晰度，种类繁多。作为低清晰度的图象，有在手机搭载的照相机及显示器中使用的QCIF(176×144象素)、QVGA(320×240象素)、CIF(352×288象素)等。作为标准的清晰度的图象，有PC显示器显示尺寸——VGA(640×480)、XGA(1024×768)、SXGA(1280×1024)等。作为高清晰度的图象，有在投影仪及特殊的LCD等中使用的UXGA(1600×1200)、QXGA(2048×1536象素)、HDTV(1920×1080)等。最近，作为面向医学及印刷领域的显示器，甚至存在着QSXGA(2560×2048)、QXGA(2048×1536)、QUXGA(3200×2400)、QUXGA-wide(3840×2400)这种超高清晰度的图象。

在这里，假设需要用高精细的QUXGA(3200×2400)显示手机拍摄的QVGA(320×240象素)象素。这时，需要进行将原图象的纵横尺寸分别数字性地扩大十倍的这种现有技术中不曾有过的高倍率的图象放大处理。可是，在现有技术的通常的数字性的放大处理中，设想的放大率，是从标准TV清晰度到HDTV清晰度的2×2倍左右，最大也只研究4×4倍左右的放大率(例如(非专利文献2)等)。

另外，在广播行业中，图象的单源多用途的思想深入人心。就是说，切出先拍摄的图象中的一部分，在别的用途中使用的现象，屡见不鲜。例如：用广角透镜拍摄足球等体育运动情景，根据它来放大各个选手的图象后切出显示等时，就需要进行现有技术所没有的高倍率的图象放大处理。这种图象切出用途中的放大率，其目标值是没有上限的。

这样，图象的放大，可以说是数字图象处理中的一大课题。其技术性的含义，就是将低清晰度图象变换成高清晰度图象。而且根据究竟重视图象输入系统和图象显示系统中的哪一个，还可以将该图象放大即高清晰度化分成两种。

第1种是重视图象输入系统的放大、高清晰度化，所谓的“超清晰”领域即属于它。所谓“数字性的超清晰”，是通过从在摄象中使元件微小振动或连续性的动画图象中获取被拍摄体信息等的手法，收集超过摄象元件的取样极限的信息，经过图象处理后统合、收敛，将原图象高精细化的处理。它适合于医疗及遥感中的科学性的图象计测。

第2种是重视图象显示系统的放大处理，它与图象的忠实的高清晰度化相比，是旨在将钝化图象(模糊图象)变换成在视觉上鲜明而且令人满意的图象的图象锐化处理。在上述的将用手机照相机拍摄的图象在高解象显示器的显示或将标准TV图象在HDTV画面上显示等时使用。在民用的图象机器中，制作出这种能够进行高清晰度显示的品质的图象放大处理，至关重要。本发明就属于重视该图象显示系统的处理。

作为本领域的现有技术，人们对三次方插补法等线性插补滤波器、保存边缘避免钝化地放大图象的边缘保存非线性滤波器等，进行了长期的研究。可是，这些手法却无法复原推定低清晰度图象中欠缺的高频成分。为了进行高频成分复原处理，近几年来，人们正在研究使用在低清晰度和高清晰度的取样中进行学习的手法。下面，讲述其两个例子。

在(专利文献1)中，公开了根据低清晰度图象生成高清晰度图象的方法。首先，进行初始图象插补即标度放大，生成具有所需的图象尺寸的低清晰度图象。再将该低清晰度图象分割成重叠的低清晰度片(patch)，生成除去各低清晰度片中的高频成分的中波片。然后，一边扫描图象，一边生成将被反差归一化的中波片内的象素M和已预测的邻接的高波片H串行连接的探索矢量，从练习用数据库中输出最接近的高频片。将该高频片和上述的低清晰度片相加合成，逐一生成与邻接的片具有连接性的高清晰度片，从而生成高清晰度图象。

在(非专利文献1)中，公开了为了锐化模糊图象而采用了小波变换的手法。首先，对每一个锐化图象和边缘模糊的劣化图象，实施3级离散二进型的二维小波变换，在图象内的各坐标获得十六维的多重清晰度矢量。为了只将图象内的边缘部分作为对象，而将除去了平滑化成分的数据，作为M个学习矢量。将从钝化图象的M个学习矢量中选择的N个代表矢量，作为分析代码簿，将根据锐化图象的M个学习矢量生成的N个代表矢量，作为临时再生代码簿，通过量化索引做媒介，从分析代码簿中减去临时再生代码簿，从而实现锐化过程。专利文献1：日本国特开2003-18398号非专利文献1：阿部淑人、菊池久和、佐佐木重信、渡边宏道、斋腾义明《使用多重清晰度矢量量化的轮廓协调》电子信息通信学会论文杂志Vol.J79A 1996/5(1032-1040页)非专利文献2：中静真、江部裕路、菊池久和、石井郁夫、牧野秀夫《多重标度亮度梯度平面中的图象高清晰度化》电子信息通信学会论文杂志D-II、Vol.J81 D-II No.10(2249-2258页)

可是，在现有技术中，存在着下述问题。

就是说，在使用通过对图象内的象素值的中波频率的矢量及小波变换系数矢量等图象波形信号分析后产生的特征量矢量的方式中，结果只不过是加工图象输入信息而已。因此，放大倍率特别大时，和现有技术的三次方插补法等的线性图象处理相比，难以获得特别好的结果。

为了更加有效地实现图象的锐化即将钝化图象变换成视觉上鲜明而且令人满意的图象的处理，本发明人想到了在图象处理中，需要在图象信息以外，准确反映被图象反映的被拍摄体的材质及到照相机的距离等特性。

另外，先将低清晰度图象插补放大后，通过对这种图象进行的锐化处理，能够根据图象尺寸小的低清晰度图象，生成可以适应高清晰度显示的放大图象。

发明内容

鉴于上述问题，本发明的目的在于，作为图象处理，将实现有效地反映被拍摄体的特性即其材质及到照相机的距离等的图象的锐化。

本发明，作为图象处理，对原图象进行规定的矢量变换，求出图象特征量矢量，取得被所述原图象反映的被拍摄体的特性，根据取得的被拍摄体的特性，求出所述原图象的物理特性参数，参照所述物理特性参数，将所述原图象锐化地变换所述图象特征量矢量，对变换后的图象特征量矢量，进行所述规定的矢量变换的逆变换，生成新的图象。

采用本发明后，取得被原图象反映的被拍摄体的特性，根据该被拍摄体特性，求出原图象的物理特性参数。然后，通过规定的矢量变换，根据原图象求出的图象特征量矢量，使原图象锐化地进行变换。但是这时，物理特性参数被参照。而且，根据变换后的图象特征量矢量，进行规定的矢量变换的逆变换，生成新的图象。这样，就能够实现准确地反映被拍摄体特性的图象的锐化。

另外，取得的被拍摄体的特性，最好是被拍摄体的材质信息及从照相机到被拍摄体的距离信息中的至少某一个。这样，能够实现富有材质感的图象锐化或者考虑了距离导致的纹理尺寸变化的图象锐化。

另外，最好将所述图象特征量矢量，分成分别与所述原图象的纹理部和边缘轮廓部对应的纹理矢量和边缘轮廓矢量后求出。

进而，对于所述纹理矢量，最好至少按照被所述物理特性参数包含的、所述被拍摄体的材质涉及的信息及所述被拍摄体和照相机的距离涉及的信息中一个进行变换。或者，对于所述边缘轮廓矢量，最好按照指定的情景信息进行变换。

另外，本发明作为图象放大，将图象插补放大，将插补放大的图象作为原图象，实行所述本发明涉及的图象处理。

采用本发明后，由于在进行图象特征量矢量的变换之际，参照根据被拍摄体特性求出的原图象的物理特性参数，所以能够实现准确地反映拍摄体特性的图象的锐化处理。另外，在插补放大图象的基础上，再进行这种图象的锐化，从而能够根据图象尺寸小的低清晰度图象，生成可以达到高清晰度显示质量的放大图象。

附图说明

图1是表示本发明的一种实施方式涉及的图处理方法的图形。图2是表示本发明的一种实施方式涉及的图象处理装置结构图。图3是表示使用了小波变换的矢量变换的一个例子的图形。图4是表示使用了小波变换的矢量变换的一个例子的图形。图5是表示图2中的特性取得部的详细结构的图形。图6是为了讲述材质判定处理的一个例子而绘制的图形。图7是为了讲述材质判定处理的一个例子而绘制的图形。图8是室外的人物情景的图象的一个例子。图9是图8的图象中的物理特性参数的一个例子。图10是表示图2的图象合成部的详细结构的图形。图11是表示纹理矢量的变换处理的示意图。图12是表示边缘轮廓矢量的变换处理的示意图。图13是采用本发明的一种实施方式获得的扩大图象的形象图。图14是为了讲述代码簿的生成方法而绘制的图形。图15是表示图14时的量化索引。图16是为了具体讲述代码簿的编制而绘制的图形。图17是为了具体讲述代码簿的编制而绘制的图形。图18是为了讲述旨在取得学习矢量的钝化图象及锐化图象的取得方法而绘制的图形。图19是表示考虑了距离的被拍摄体的学习的图形。图20是实行本发明涉及的图象处理的第1构成例的图形。图21是表示利用RFID标签取得被拍摄体特性的结构的图形。图22是实行本发明涉及的图象处理的第2构成例的图形。图23是实行本发明涉及的图象处理的第3构成例的图形。图24是表示可以取得被拍摄体特性的照相机的结构的图形。图25是实行本发明涉及的图象处理的第4构成例的图形。图26是实行本发明涉及的图象处理的第5构成例的图形。图27是表示带人体传感器的照相机的结构的图形。图28是表示带人体传感器的照相机的结构的图形。符号说明

IN输入图象ELI放大图象ITP插补图象PR物理特性参数M材质参数L距离参数TV纹理矢量EV边缘轮廓矢量STV锐化纹理矢量SEV锐化边缘轮廓矢量nt，ne量化索引SID情景指定信息S1图象取得工序S2图象插补放大工序S3图象特征量矢量变换工序S4边缘轮廓·纹理分离工序S5取得被拍摄体特性的工序S6物理特性参数的计算工序S7情景指定工序S8物理图象合成工序11插补部12变换部13情景指定部20图象合成部22纹理解析代码簿(解析代码簿)23纹理再生代码簿组(再生代码簿组)23a纹理再生代码簿(再生代码簿)27边缘轮廓再生代码簿组(再生代码簿组)27a边缘轮廓再生代码簿(再生代码簿)30特性取得部31传感器部32材质判定部33距离判定部123服务器124客户机131矢量量化部132解析代码簿133矢量再生部134再生代码簿152摄像元件163显示终端172显示终端182摄像元件192摄像元件

具体实施方式

在本发明的第1样态中，作为图象处理方法，具备下述工序：对原图象进行规定的矢量变换，求出图象特征量矢量的第1工序；取得被所述原图象反映的被拍摄体的特性，根据取得的被拍摄体的特性，求出所述原图象的物理特性参数的第2工序；参照所述物理特性参数，将所述原图象锐化地变换所述图象特征量矢量的第3工序；对变换后的图象特征量矢量，进行所述规定的矢量变换的逆变换，生成新的图象的第4工序。

在本发明的第2样态中，提供第1样态的图象处理方法，其特征在于：取得的被拍摄体的特性，是被拍摄体的材质信息及从照相机到被拍摄体的距离信息中的至少某一个。

在本发明的第3样态中，提供第1样态的图象处理方法，其特征在于：所述规定的矢量变换，使用拉普拉斯算子角锥解析或小波解析。

在本发明的第4样态中，提供第1样态的图象处理方法，其特征在于：所述第1工序，将所述图象特征量矢量，分成分别与所述图象的纹理部和边缘轮廓部对应的纹理矢量和边缘轮廓矢量后求出；所述第3工序，对于所述纹理矢量和所述边缘轮廓矢量，单独进行变换；所述第4工序，使变换后的所述纹理矢量和所述边缘轮廓矢量一致，进行所述逆变换。

在本发明的第5样态中，提供第4样态的图象处理方法，其特征在于：所述第3工序，对于所述纹理矢量，至少按照被所述物理特性参数包含的、所述被拍摄体的材质涉及的信息及所述被拍摄体和照相机的距离涉及的信息中一个进行变换。

在本发明的第6样态中，提供第4样态的图象处理方法，其特征在于：所述第3工序，对于所述边缘轮廓矢量，按照指定的情景信息进行变换。

在本发明的第7样态中，提供第3样态的图象处理方法，其特征在于，所述第3工序具备：参照解析代码簿，将所述图象特征量矢量矢量量化，求出量化索引的步骤；从预先准备的再生代码簿组中，按照所述物理特性参数，选择最佳的再生代码簿的步骤；使用所述量化索引，查阅选择的再生代码簿，求出变换后的图象特征量矢量的步骤。

在本发明的第8样态中，作为图象放大方法，提供具备：插补放大图象的步骤；和按照第1样态的图象处理方法，将插补放大的图象作为所述原图象，进行图象处理的步骤。

在本发明的第9样态中，作为图象处理装置，提供具备下述部件的产品：变换部，该变换部对原图象进行规定的矢量变换，求出图象特征量矢量；特性取得部，该特性取得部取得被所述原图象反映的被拍摄体的特性，根据取得的被拍摄体的特性，求出所述原图象的物理特性参数；图象合成部，该图象合成部参照所述物理特性参数，使所述原图象锐化地变换所述图象特征量矢量，对变换后的图象特征量矢量，进行所述规定的矢量变换的逆变换，生成新的图象。

在本发明的第10样态中，提供第9样态的图象处理装置，其特征在于：所述特性取得部，作为所述被拍摄体特性，取得被拍摄体的材质信息。

在本发明的第11样态中，提供第10样态的图象处理装置，其特征在于：所述特性取得部，具备可以观测分光特性的传感器部，使用该传感器部的输出，取得被拍摄体的材质信息。

在本发明的第12样态中，提供第10样态的图象处理装置，其特征在于：所述特性取得部，具备摄像元件(该摄像元件具备具有与规定的材质对应的固有的分光灵敏度的象素)，使用该摄像元件，取得被拍摄体的材质信息。

在本发明的第13样态中，提供第10样态的图象处理装置，其特征在于：所述特性取得部，读取被所述被拍摄体附带的无线标签记录的材质信息。

在本发明的第14样态中，提供第9样态的图象处理装置，其特征在于：所述特性取得部，作为所述被拍摄体特性，取得从照相机到被拍摄体的距离信息。

在本发明的第15样态中，提供第9样态的图象处理装置，其特征在于：取得被拍摄体特性之际的清晰度、低于所述原图象的清晰度。

在本发明的第16样态中，提供具备服务器和客户机，作为放大输入图象的服务器-客户机系统，所述服务器，将所述输入图象插补放大，对插补放大的图象进行规定的矢量变换，求出图象特征量矢量，将所述图象特征量矢量矢量量化，求出量化索引，通过网络做媒介，发送所述量化索引；所述客户机，通过网络做媒介，接收所述量化索引和所述输入图象的物理特性参数，参照所述物理特性参数，使用所述量化索引，查阅再生代码簿，求出使所述插补图象锐化地变换的图象特征量矢量，对变换后的图象特征量矢量，进行所述规定的矢量变换的逆变换，生成新的图象。

在本发明的第17样态中，作为放大从外部接收的输入图象的显示终端，提供具备下述部件的显示终端：插补部，该插补部插补放大所述输入图象；变换部，该变换部对所述插补部输出的插补图象进行规定的矢量变换，求出图象特征量矢量；图象合成部，该图象合成部参照和所述输入图象一起从外部接收的物理特性参数，使所述插补图象锐化地变换所述图象特征量矢量，对变换后的图象特征量矢量，进行所述规定的矢量变换的逆变换，生成新的图象。

在本发明的第18样态中，作为从外部接收对原图象进行规定的矢量变换，求出图象特征量矢量，生成图象的显示终端，提供具备下述部件的显示终端：图象合成部，该图象合成部使用和所述图象特征量矢量一起从外部接收的物理特性参数，使所述原图象锐化地变换所述图象特征量矢量，对变换后的图象特征量矢量，进行所述规定的矢量变换的逆变换，生成新的图象。

下面，参照附图，讲述本发明的实施方式。

图1是表示本发明的第1实施方式涉及的图处理方法的图形。在图1中，在图象取得工序S1中，拍摄被拍摄体情景SC，取得输入图象IN。在图象插补放大工序S2中，使用三次方法等，将输入图象IN插补放大成目的图象尺寸。插补放大后的图象，由于只具有输入图象IN的频率成分，所以当然成为模糊的图象。

在图象特征量矢量变换工序S3中，对作为原图象的插补放大图象进行规定的矢量变换，求出特征量矢量的集合体(图象特征量矢量)。该图象特征量矢量，最好象多重清晰度矢量那样，包含图象的空间区域中的频率信息和定标(清晰度)信息。因此，例如最好使用拉普拉斯算子角锥解析或小波变换等，进行变换。然后，在边缘轮廓·纹理分离工序S4中，将在工序S3中求出的图象特征量矢量分离成与图象的边缘轮廓部对应的边缘轮廓矢量和与图象的纹理部对应的纹理矢量。图1的工序S3、S4，构成本发明的第1工序。

另外，在取得被拍摄体特性的工序S5中，取得被输入图象IN拍摄的被拍摄体的特性。然后，在物理特性参数的计算工序S6中，根据工序S5取得的被拍摄体的特性，求出插补扩大图象的物理特性参数。图1的工序S5、S6，构成本发明的第2工序。

另外，在情景指定工序S7中，输入指定的情景信息。在这里，所谓“情景”，是表示拍摄的对象、拍摄时的照明、构图等综合性的摄影环境。在本实施方式中，作为情景信息，用户指定人物摄影、远景摄影、静物摄影等摄影模式。即使是相同的构图，也可以有与情景相符的(不同的)创作意图，例如在人物摄影情景中，要圆滑地进行边缘再现，而在静物摄影情景中，则要突出边缘等。因此，要利用情景信息，调整图象的轮廓边缘部分的强调程度。

然后，在物理图象合成工序S8中，根据工序S4获得的轮廓边缘矢量和纹理矢量，使用工序S6获得的物理特性参数及工序S7获得的情景信息，生成放大图象ELI。图1的工序S8，构成本发明的第3及第4工序。

在这里，在工序S5中取得的被拍摄体特性，例如是被拍摄体的材质信息、从照相机到被拍摄体的距离信息等。材质信息也可以根据被拍摄体的分光特性信息、近红外、远红外信息等获得。另外，取得被拍摄体特性之际的清晰度，既可以与插补放大图象的清晰度一致，也可以不一致。就是说，可以比插补放大图象的清晰度低。

图2是表示本实施方式涉及的图象处理装置结构的图形。在图2中，插补部11对输入图象IN进行插补放大处理，生成和所需的放大图象ELI相同尺寸的插补图象ITP。如上所述，该插补图象ITP成为钝化图象。变换部12对插补图象ITP进行规定的矢量变换，作为图象特征矢量，生成纹理矢量TV及边缘轮廓矢量EV。生成的纹理矢量TV及边缘轮廓矢量EV，被供给图象合成部20。

图3及图4是表示图2的变换部12中的矢量变换的一个例子。这里的矢量变换，利用在(非专利文献1)中使用的、在时间空间区域中不进行间隔抽取的离散二进小波展开。该手法和通常的小波变换不同，保证并进不变性，定标为3级时，原来的图象被分割成16个带域图象BI。

就是说，如图4所示，在第1级(标度)中，原来的插补图象ITP经过X、Y方向的小波变换后，被分解成和插补图象ITP相同尺寸的H1H1、H1L1、L1H1、L1L1的4成分图象。在第2级(标度)中，4成分中X、Y两方向的高频成分H1H1以外的成分，被进一步分解。这时，与只有L1L1再次被X、Y两方向分解不同，H1L1和L1H1只向一个方向分解，成为合计8个成分。进而，在第3级(标度)中，H1H2、H2H1、H2H2以外的成分被分解。这时，只有L2L2被X、Y两个方向分解，其余的被只向一个方向分解，成为合计12个成分。在这里，随着标度的增加，被再分解成2个、4个的数据(用虚线图示)，能够通过以后的合成生成。

经过这种小波变换后，插补图象ITP被分解成图3所示的16个成分的图象(带域图象BI)。然后，对插补图象ITP的某个象素P，将归纳与其象素位置对应的16个成分的数据，作为象素P的多重清晰度矢量MRV。

进而，在本实施方式中，对于该多重清晰度矢量MRV，定义规范(绝对值)，判断该规范为规定的上限值以上的矢量，表现轮廓边缘，除次以外则表现纹理。就是说，按照该规范，将获得的多重清晰度矢量MRV，分类成纹理矢量TV和边缘轮廓矢量EV。在图3中，将象素P的多重清晰度矢量MRV分类成纹理矢量TV。

返回图2的结构，特性取得部30取得被插补图象ITP拍摄的被拍摄体的特性，根据取得的被拍摄体的特性，求出插补图象ITP的物理特性参数PR。在本实施方式中，作为物理特性参数PR，求出被拍摄体的材质涉及的材质参数M和照相机到被拍摄体的距离涉及的距离参数L(以下适当地记作“PR(M，L)”)。特性取得部30具备传感器部31、材质判定部32及距离判定部33。求出的物理特性参数PR，被供给图象合成部20。

图5是表示特性取得部30的详细结构的图形。如图5所示，传感器部31具备矢量信息取得部311及投光部312，材质判定部32具备识别部321、投光控制部322及类似度计算部323，距离判定部33具备亮度量化部331及距离数值量化部332。

投光部312，在距离数值量化部332的控制下，在对被拍摄体进行摄影时，发出特定波长的闪光。矢量信息取得部311与投光部312的发光同步，用多矢量取得来自被拍摄体的反射光。识别部321根据反射光的分光特性和投射光的分光特性，识别被拍摄体的分光反射率。类似度计算部323根据该分光反射率，求出表示和特定材质类似的材质参数M。该材质参数M，被图象的象素单位生成。在这里，作为特定材质，使用人的皮肤f、头发h、植物p、皮革s、纤维t、塑料d及金属m。就是说，用下列公式表示材质参数M。M＝(f，h，p，s，t，d，m)这时，作为矢量信息取得部311，可以使用具有多种与特定材质对应的特殊滤波器的摄象元件。

图6及图7是为了讲述材质判定部32中的处理的一个例子而绘制的图形。在图6中，R(λ)是被拍摄体的分光反射率，Rf(λ)是典型的人的皮肤的分光反射率，Rp(λ)是典型的植物的分光反射率。现在，假设矢量信息取得部311只取的有限的狭窄区域(A)(B)(C)中的观测值。在这里，首先计算被拍摄体和各材质的分光反射率之差——颜色信号空间内距离。例如：被拍摄体和人的皮肤的分光反射率的平方距离，成为如下所示。E2＝[R(A)-Rf(A)]2+[R(B)-Rf(B)]2+[R(C)-Rf(C)]2

接着，按照图7那样的变换，对求出的距离进行阈值处理，作为和皮肤f的类似度，获得0～1的范围的数值。对于其它的材质——头发h、植物p、皮革s、纤维t、塑料d及金属m，也实行同样的处理，从而能够求出材质参数M。例如，理想的人的皮肤时，可以成为：M＝(1，0，0，0，0，0，0)

另一方面，在距离判定部33中，根据投光导致的图象的亮度值的高低，判定照相机和被拍摄体的大概距离。亮度量化部331将与投光部312的发光同步获得的图象的亮度量化。距离数值量化部332根据该量化的亮度值，生成几个阶段的距离参数L。该距离参数L，按照各图象的象素输出。

这样，生成材质参数M和距离参数L的对——物理特性参数PR(M，L)。此外，物理特性参数PR在图象中只能够用于比较平坦的纹理部的处理，而不能够用于边缘轮廓部。因此，用比输入图象低的清晰度取得物理特性参数PR也没有关系。

图9表示出在图8的那种室外的人物情景图象中取得的物理特性参数PR的一个例子。

返回图2，图象合成部20使用特性取得部30输出的物理特性参数PR及情景指定部13输出的情景指定信息SID，使插补图象ITP锐化地变换纹理矢量TV及边缘轮廓矢量EV。而且，对于变换后的矢量TV、EV，进行变换部12中的矢量变换的逆变换，变换成图象。其结果，生成高清晰度的放大图象ELI。

在这里，为了进行纹理矢量TV及边缘轮廓矢量EV的变换，利用预先学习的矢量间的对应表即代码簿。

图10是表示图象合成部20的详细结构的图形。在图10中，矢量再生部21将纹理矢量TV变换成锐化纹理矢量STV。这时，参照选择部24从纹理解析代码簿22及纹理再生代码簿23中选择的纹理再生代码簿。选择部24，选择与被物理特性参数PR表示的材质及距离对应的纹理再生代码簿。

另外，边缘轮廓再生部25将边缘轮廓矢量EV变换成锐化纹理矢量SEV。这时，参照选择部28从边缘轮廓解析代码簿26及边缘轮廓再生代码簿27中选择的边缘轮廓再生代码簿。选择部28，选择与被输出的情景指定信息SID指定的情景对应的边缘轮廓再生代码簿。

图11是表示纹理矢量TV的变换处理的示意图。如图11所示，查阅纹理解析代码簿22后，读出将纹理矢量TV矢量量化时的量化索引nt。该量化索引nt，根据图象的信号波形处理求出，不反映物理特性信息。另一方面，在纹理再生代码簿组23中，按照皮肤f、头发h等各材质，还按照各距离L，准备着纹理再生代码簿。因此，按照被给予的物理特性参数PR表示的材质及距离，选择最佳的再生代码簿23a。而且，根据量化索引nt，查阅选择的最佳的再生代码簿23a，求出锐化纹理矢量STV。

这时，取代选择一个最佳的再生代码簿，也可以选择多个再生代码簿，使用物理特性参数PR，加权插补合成根据选择的各再生代码簿读出的矢量。就是说，如果将材质参数M视作一个加权系数矢量，对于和各材质对应的再生代码簿而言，将应用量化索引nt时的再生矢量作为ZM后，最终合成的锐化纹理矢量Z，就可以用下列公式表示。Z＝M·ZM＝f·Zf+h·Zp+p·Zp+s·Zs+t·Zt+d·Zd+m·Zm对于距离参数L，也可以进行同样的插补。

图12是表示的边缘轮廓矢量的变换处理的示意图。如图12所示查阅边缘轮廓解析代码簿26，读出将边缘轮廓矢量EV矢量量化时的量化索引ne。另一方面，在边缘轮廓再生代码簿组27中，按照每个情景，准备着边缘轮廓再生代码簿。于是，按照给予的情景指定信息SID表示的情景，选择最佳的边缘轮廓再生代码簿27a。然后，根据量化索引ne，查阅选择的边缘轮廓再生代码簿27a，求出锐化边缘轮廓矢量SEV。

返回图10，图象变换部29合成锐化纹理矢量STV和锐化边缘轮廓矢量SEV。该合成例如也可以是相当于多重清晰度矢量的加法的处理。然后，对于合成后的多重清晰度矢量，进行规定的矢量变换的逆变换，从而生成放大图象ELI。该逆变换还可以是工序S3中的矢量变换的逆变换，例如可以使用拉普拉斯算子角锥解析的合成过程及小波逆变换等。

图13是采用本实施方式获得的扩大图象的形象图。如图13所示，先将被拍摄体的脸的输入图象IN插补放大后(插补图象ITP)，进行锐化处理。这时，判定被拍摄体是人、其材质是皮肤(材质：f)时，放大成具有接近人的皮肤的纹理的图象IA。另一方面，判定被拍摄体例如是服装模特儿、其材质是塑料(材质：d)时，放大成具有接近服装模特儿的脸的纹理的图象IB。

此外，在本实施方式中，以插补放大输入图象IN，将该插补放大的图象ITP作为原图象，实行锐化处理，生成放大图象ELI为例，进行了讲述。但是本发明涉及的图象处理的使用范围，并不局限于图象放大处理。在图象放大以外，使模糊的图象鲜明时，以及变更图象的尺寸或者有时缩小图象时，也有效。

<编制代码簿>下面，使用图14～图17，讲述对于纹理及边缘轮廓而言的解析代码簿及再生代码簿的编制方法。

图14是讲述J维的多重矢量空间内的解析代码簿和再生代码簿的基本生成方法的图形。首先，对于钝化图象和锐化图象的图象对，分别实施时多重清晰度矢量变换，作为样品获得象素数个的多重清晰度矢量。在这里，所谓“钝化图象”，是指在相同的情景的数字图象中，比较多地包含低频成分的图象；所谓“锐化图象”，是指比较多地包含高频成分、视觉性良好的图象。

然后，从锐化图象涉及的多重清晰度矢量中，选择V个学习矢量Fs(v)，使用该学习矢量Fs(v)，编制临时再生代码簿。在这里，v是学习矢量的索引。接着，使用从钝化图象涉及的多重清晰度矢量中和Fs(v)同一个位置选择的学习矢量Gs(v)，编制解析代码簿。

接着，将各自的代码簿量化。就是说，将学习矢量Fs(v)、Gs(v)的每一个的矢量空间，分成N个分割区域后量化，将各分割区域的代表矢量分别作为zn，yn。由于V个学习矢量属于某个区域，所以对于第v个学习矢量，将获得的临时再生代码簿的量化索引作为IF(v)，将解析代码簿的量化索引作为IG(v)。如下式所示，根据使用频度，向与钝化图象的索引n的每一个对应的临时再生代码簿加权。然后，进行规范的规一化，求出再生代码簿。[数学式1]

ω_{n} = \frac{\underset{IG (v) = n}{Σ} z_{IF (v)}}{| \underset{IG (v) = n}{Σ} z_{IF (v)} |}

图15是表示图14时的量化索引的表。这样，再生代码簿成为下式所示。[数学式2]

ω_{1} = \frac{z_{1} + 2 z_{2}}{| z_{1} + 2 z_{2} |}, ω_{2} = \frac{2 z_{1} + z_{2}}{| 2 z_{1} + z_{2} |}

下面，使用图16及图17，以编制将由100象素构成的钝化图象变换成相同象素的锐化图象之际的解析代码簿和再生代码簿为例，讲述以上的过程。

对于钝化图象和锐化图象，按照100象素的各象素位置，变换成多重清晰度矢量。将它定为U₁～U₁₀₀、V₁～V₁₀₀。在矢量U₁～U₁₀₀和矢量V₁～V₁₀₀之间，由于存在象素位置相同的关系，所以可以在输入U时输出对应的V地编制代码簿。但是实际上，多重清晰度矢量被矢量量化分类成代表矢量。

在图16的例子中，钝化图象的矢量U，被量化成UA和UB等2种；锐化图象的矢量V，被量化成VA和VB等2种。所谓“解析代码簿及再生代码簿的量化索引”，是指附加给这些量化的矢量集合的编号。而且，查阅代码簿，输入矢量编号V后，被量化的矢量集合的编号是1，不能获得2的编号。另外，在量化集合VA中，附加代表矢量Z1；在量化集合VB中，附加代表矢量Z2。这些代表矢量，通过取得属于量化集合的矢量的平均值及代表值等方法计算。

接着，通过采取上述的计算方法后，如图17所示，生成根据矢量编号输出量化索引(1或2)的解析代码簿CB 1和输入量化索引(1或2)后输出再生矢量的再生代码簿CB2。结合使用这样生成的解析代码簿和再生代码簿后，能够将钝化图象的多重清晰度矢量变换成锐化图象的多重清晰度矢量。

接着，讲述为了取得学习矢量而取得钝化图象及锐化图象的方法。

如图18所示，假设对于摄影情景SC，切出被拍摄体的人的五官部分后放大的情况。现在，假设情景SC整体的象素数是N×N，相当于五官部分的范围FC的尺寸是(N/10×N/10)。

例如使用三次方插补法，将用范围FC切出的图象，数字性地放大到和原来的图象相同尺寸(N×N)为止。这时，生成的图象成为大量包含低频成分的所谓钝化图象。该钝化不是光学性的透镜钝化，而是数字性的钝化。另一方面，使用可变焦距透镜摄影，将范围FC全部摄入时，能够获得结构及视场角相同而且大量含有高频成分(N×N)的象素的锐化图象。

可以将这样获得的钝化图象和锐化图象对，作为学习图象使用，进行多重清晰度矢量变换，编制解析代码簿和再生代码簿。另外，生成钝化图象时，通过使用和工序S2中的插补放大手法相同的手法，能够获得符合实际处理的学习图象。

但是，所谓“使用实际的摄影情景，能够取得学习样品”，却未必局限于此。因此，往往使用类似的材质表面后学习，编制解析代码簿及再生代码簿。

在这里，成问题的是照相机和拍摄体之间的距离。例如在图8中，再生区域A4中的远处的建筑物表面粘贴的瓷砖的模样等时，在实际情景中没有获得学习图象对的情况下，需要另外拿来瓷砖，进行事先摄影学习。这时，由于距离不明确，所以必须以改变距离的状态学习钝化图象和锐化图象对。

图19是表示考虑了距离的被拍摄体的学习的图形。如图19所示，使距离从L1到L4离散性地变化，拍摄被拍摄体，编制在各距离中，从完整图象中切出对象区域后插补放大的钝化图象和采用光学变焦的方式拍摄对象区域的锐化图象对。而且，按照各距离进行多重清晰度矢量的学习，编制解析代码簿及再生代码簿。

但是，边缘轮廓图象和纹理图象中，与距离有关的是纹理图象。这可以从下面这一点明白：在边缘轮廓图象中，理想的边缘与距离无关，是没有粗细的线，而纹理图象的距离空间频率则随着距离而不同。在上述的实施方式中，锐化纹理矢量时考虑了距离，而锐化边缘轮廓矢量时则不考虑距离，其理由就在这里。

这样，关于边缘轮廓，只要将各种情景作为对象，通过钝化图象和锐化图象对进行学习就行。但是毫无疑问，采用具有和实际拍摄时使用的被拍摄体类似的边缘特性的被拍摄体是最理想的。例如：想放大金属被拍摄体的图象时，最好学习金属被拍摄体的情景；想放大西装等布料的图象时，最好学习布料被拍摄体的情景。因此，按照各情景编制边缘轮廓再生代码簿组。

(第1构成例)图20是作为实行本发明涉及的图象处理的第1构成例，表示使用个人用计算机的图象放大装置的结构的图形。在图20中，由于照相机101的清晰度低于显示器102的清晰度，所以为了最大限度地发挥显示器102的显示能力，而通过实行被主存储器103下载的图象处理程序，编制放大图象。该图象处理程序，是使计算机实行第1实施方式中讲述的那种图象处理。

照相机101取得的低清晰度图象，被图象存储器104记录。另外，被传感器105取得的被拍摄体特性，也被图象存储器104记录。在外部记忆装置106中，预先准备着边缘轮廓矢量和纹理矢量的解析代码簿及再生代码簿106a，以便能够根据主存储器103的图象处理程序参照。主存储器103的图象处理程序通过存储器总线107做媒介，读出图象存储器104的低清晰度图象，变换成与显示器102的清晰度一致的放大图象后，再经由存储器总线107，传输给视频存储器108。能够利用显示器102，观察被视频存储器108传输的放大图象。

此外，为了实现本发明的结构，并不局限于图20所示，能够采取各种结构。例如：可以通过网络109做媒介，从与其它的个人用计算机连接的外部记忆装置取得解析代码簿或再生代码簿中的某一个。另外，还可以通过网络109做媒介，取得低清晰度图象。另外，既可以通过网络109做媒介，从与其它的个人用计算机连接的外部记忆装置取得被拍摄体特性，还可以通过RFID标签那样的单元，直接从被拍摄体取得。

这样，本发明能够利用广泛普及的个人用计算机实现，而不需要特别的应用、管理等。此外，还可以安装到专用硬件上，以及采用软件和硬件的组合等，本发明并不局限于个人用计算机的系统化方法。

图21是表示利用无线标签取得被拍摄体特性的结构的图形。在图21中，带照相机的手机111因为只能拍摄低清晰度的摄影，而和无线标签用天线112连接，能够在拍摄被拍摄体的同时，从被拍摄体附带的无线标签取得被拍摄体特性的有关信息。就是说，在带照相机的手机111内，构成包含无线标签用天线112的特性取得部。

现在，假设被拍摄体是金属制球113、塑料制球114及皮革制球115等3种。用带照相机的手机111拍摄它们时，由于清晰度低，所以球表面的材质感的差异不明显，特别是放大成高清晰度画面时，材质感显著劣化。因此，预先给各球113、114、115附加无线标签113a、113b、113c。此外，在图中，无线标签附加在球表面，但是也可以安装在内部。在各无线标签113a、113b、113c中，储存着各球体的表面材质有关的信息。在这里，假设储存着材质的大体区别和具体的名称。例如：在无线标签113a中，储存着“m：铜”；在无线标签114a中，储存着“d：氯化尼纶”；在无线标签115a中，储存着“s：牛皮”之类的信息。

这些信息通过天线112读入后，被和拍摄的图象的被拍摄体对应，存入带照相机的手机内的存储器。以后的处理，例如在图20的结构中，通过网络109做媒介，使用传输的图象和被拍摄体特性实行。或者还可以象上述实施方式那样，在带照相机的手机111的内部实行。

(第2构成例)图22是作为实行本发明涉及的图象处理的第2构成例，表示使用服务器-客户机系统的图象放大装置的结构的图形。在图22中，由于照相机121的清晰度低于显示器125的清晰度，所以为了最大限度地发挥显示器125的显示能力，而在服务器-客户机系统中实行上述那种图象处理。

服务器123利用插补部11插补放大输入图象IN后，变换部12将其变换成图象特征量矢量即纹理矢量TV及边缘轮廓矢量EV。插补部11及变换部12的动作，和图2所示的一样。矢量量化部131使用服务器123内的解析代码簿132，将纹理矢量TV及边缘轮廓矢量EV变换成量化索引nt、ne。获得的量化索引nt、ne，经由网络126，发送给客户机124。向量化索引的变换，相当于某种图象压缩，这样能够减少发送的数据量。

另外，传感器122取得的物理特性参数PR，经由网络126，发送给客户机124。

在客户机124中，矢量再生部133使用再生代码簿134和接收的量化索引nt、ne，生成锐化纹理矢量STV及锐化边缘轮廓矢量SEV。图象变换部29合成锐化纹理矢量STV及锐化边缘轮廓矢量SEV，进行逆变换后，生成锐化放大图象ELI。该放大图象ELI被在显示器125上显示。此外，矢量量化部131、解析代码簿132、矢量再生部133、再生代码簿134及图象变换部29，和图2的图象合成部20进行同样的动作。

此外，为了实现本发明的结构，并不局限于图22所示，能够采取各种结构。例如：照相机121还可以是客户机124的一部分。另外，也可以取代传感器122，通过无线标签那样的单元做媒介，取得被拍摄体特性。这样，本发明能够利用广泛普及的服务器-客户机型系统实现，而不需要特别的应用、管理等。此外，还可以安装到专用硬件上，以及采用软件和硬件的组合等，本发明并不局限于个人用计算机的系统化方法。

(第3构成例)图23是作为实行本发明涉及的图象处理的第3构成例，表示使用带照相机的手机141和电视机的结构的图形。带照相机的手机141，通过网络142或存储卡144做媒介，将图象数据发送给电视机143。另外，带照相机的手机141还可以采用能够取得被拍摄体特性的结构，通过网络142或存储卡144做媒介，将取得的被拍摄体特性发送给电视机143。例如，可以改造成使照相机的摄象元件的一部分象素，取得被拍摄体的矢量信息及红外信息。

在电视机143中，内置着可以实行上述图象处理的图象处理电路。带照相机的手机141的清晰度低于电视机143的清晰度，所以为了最大限度地发挥电视机143的显示能力，电视机143内置的图象处理电路编制放大的图象，在画面上显示。

图24是表示构成可以取得被拍摄体特性的照相机的结构的图形。如图24所示，照相机151的摄像元件152，除了通常的RGB彩色象素之外，还以低清晰度而且按照一定的法则，配置着具有对特定的材质(例如皮肤f、头发h等)具有波长选择特性的象素。这样，能够在拍摄图象的同时，取得被拍摄体的材质信息。

这样，本发明能够经过对广泛普及的带照相机的手机、数码相机、录象机等加以部分改进后，用电视机等一般的视频机器实行，而不需要特别的应用、管理等。此外，还可以安装到专用硬件上，以及采用软件和硬件的组合等，本发明并不局限于个人用计算机的系统化方法。

(第4构成例)图25是作为实行本发明涉及的图象处理的第4构成例，表示使用网络系统的结构的图形。在图25中，利用带物理传感器的照相机161进行拍摄，但是由于可以拍摄的清晰度低于显示器164的清晰度，所以为了最大限度地发挥显示器125的显示能力，而在显示终端163中实行上述那种图象处理。

在带物理传感器的照相机161中，附带着能够取得被拍摄体特性的传感器，能够同时取得低清晰度图象IN及物理特性参数PR。这些信息经由网络162，发送给显示终端163。在显示终端163中，插补部11插补放大低清晰度图象IN后，变换部12将该插补图象变换成纹理矢量TV及边缘轮廓矢量EV。图象合成部20使用物理特性参数PR，对纹理矢量TV及边缘轮廓矢量EV进行图象锐化变换，再进行逆变换，生成高清晰度的放大图象ELI。在显示器164上显示该放大图象ELI。

这时，经由网络或者由存储卡166那样的记录介质提供解析·再生代码簿165。这时，如果没有存储卡166提供的数据，就不能够使图象高画质化，所以能够提供只有被认证的用户才能够欣赏高画质映像的服务。

(第5构成例)图26是作为实行本发明涉及的图象处理的第5构成例，表示使用网络系统的结构的图形。图26的结构，和图25大致相同，不同的只是具有插补部11及变换部12的图象处理装置171，存在于网络162的前级的这一点。

就是说，变换部12获得的纹理矢量TV及边缘轮廓矢量EV，由经该网络162，由图象处理装置171发送给显示终端172。这时，不使用小波变换等，也可以实行一定的图象压缩。

图27(a)是表示作为带物理传感器的照相机的一个例子的结构的图形。图27(a)的带人体传感器的照相机181，在取得彩色图象IA之际，能够使用对人物的皮肤的分光信息具有灵敏度的传感器，取得彩色图象IA和象素位置吻合的人物图象IB。

摄像元件182采用瓷砖结构，与彩色象素(RGB)的配置一致，配置着肤色检知象素183(f)。该肤色检知象素183，通过给摄像传感器附加具有图27(b)所示的那种滤波分光透过率Ff(λ)的滤波器后实现。彩色象素(RGB)的分光透过率，和一般的彩色传感器一样，而肤色检知象素183则由于设定着类似人的皮肤(黑色素、叶红素、血红蛋白)的分光特性的透过率，所以可以对人的皮肤特别获得最大的透过亮度的积分值。

此外，在这里，以彩色传感器为例进行了讲述。但是R、G、B的各象素具有相同的分光分布后，用单色传感器时也同样能够实现。

图28(a)是表示带人体传感器的照相机的其它结构的图形。图28(a)的带人体传感器的照相机191，在取得单色可见图象IC之际，使用对人物的皮肤的分光信息具有灵敏度的传感器，能够取得可见图象IC和象素位置吻合的红外图象ID。

在这里，和图27(a)的结构的最大的不同，不是使用可见的分光信息检知皮肤，而是取得与皮肤的体温对应的红外放射信息这一点。

摄像元件192采用瓷砖结构，在可见单色亮度象素194(Y)的配置中，具有红外灵敏度象素195(F)。另外，为了同时拍摄红外放射和可见光，不是搭载在红外区域不透过的玻璃的透镜光学系统，而是搭载反射镜光学系统193。如图28(b)所示，Y象素对可见区域——800nm以下具有灵敏度，而F象素对红外区域具有灵敏度。

此外，在这里以单色传感器为例进行了讲述，但是如果将相同的摄像传感器3个化后，就能够实现彩色化。

在本发明中，由于能够生成比现有技术更有效地反映材质等被拍摄体特性的锐化图象及放大图象，所以能够在重视视觉性的信息量的各种应用领域得到广泛采用。例如：在电子商务中，能够提示消费者注意的商品的细微部分；在数字大容量外存储器中，能够正确地向观赏者提示展品的细微部分。另外，在映像制作中，能够提高映像表现的可能性；在广播领域，能够保证各种映像格式的互换性。

Claims

1.一种图象处理方法，具备：

对原图象进行规定的矢量变换，求出图象特征量矢量的第1步骤；

取得在所述原图象中反映的被拍摄体的特性，并根据所取得的被拍摄体的特性，求出所述原图象的物理特性参数的第2步骤，所述物理特性参数包含被拍摄体的材质涉及的信息及所述被拍摄体与照相机的距离涉及的信息中的一个；

参照所述物理特性参数，变换所述图象特征量矢量使所述原图象锐化的第3步骤；以及

对变换后的图象特征量矢量进行所述规定的矢量变换的逆变换，生成新的图象的第4步骤，

所述第1步骤，将所述图象特征量矢量，分成分别与所述原图象的纹理部和边缘轮廓部对应的纹理矢量和边缘轮廓矢量后求出；

所述第3步骤，对于所述纹理矢量和所述边缘轮廓矢量，单独进行变换；

所述第4步骤，将变换后的所述纹理矢量和所述边缘轮廓矢量结合后，进行所述逆变换，

所述第3步骤，对于所述边缘轮廓矢量，按照指定的情景信息进行变换。