CN102480623A - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置以及图像处理方法。图像处理装置(10a)具备：定点设定部(12)、取样点设定部(14)、视差图像生成部(16)。定点设定部(12)在根据包含第1像素的第1图像数据而生成的取样坐标空间中设定定点。取样点设定部(14)在取样坐标空间中设定对象点，在基于对象点的像素成分而计算出的取样坐标处设定与对象点对应的取样点。视差图像生成部(16)计算出应该配置在取样坐标处的第2像素的像素值，生成多个包含第2像素的第2图像数据。

Description

图像处理装置以及图像处理方法

技术领域

本发明的实施方式涉及图像处理装置以及图像处理方法。

背景技术

近年来，伴随着能够再生三维(3D(Three-Dimension))图像的显示器的普及，除了3D内容的提供之外，还被要求将现有的二维(2D(Two-Dimension))图像向3D图像变换(以下称为“2D3D变换”)。在一般的2D3D变换中，进行纵深推定处理、和视差图像生成处理。

但是，在一般的纵深推定处理中，由于无法从2D图像获得完全的纵深信息，所以利用预先决定的算法来推定纵深信息。结果，在推定出的纵深信息表示与原图像不同的纵深的情况下，导致再生后的3D图像给视听者带来不协调感。

另外，在一般的视差图像生成处理中，进行对原图像中不存在的阴面部加以补充的处理。存在阴面部成为使画质劣化的重要因素的趋势。因此，对生成的3D图像的品质而言，补充阴面部是不希望的。

并且，一般的纵深推定以及视差图像生成的处理量都极大。另一方面，为了实时再生3D图像，2D3D变换被要求为短时间的处理。因此，在不具备在短时间内执行用于实现纵深推定处理以及视差图像生成处理的算法那样的大规模的处理器的移动电话等小型设备中，无法实现2D3D变换。

发明内容

本发明想要解决的课题在于，提供一种不使生成的3D图像的品质劣化、能够执行处理量小的2D3D变换的图像处理装置以及图像处理方法。

实施方式的图像处理装置具备：定点设定部，其在根据包含第1像素的第1图像数据而生成的取样坐标空间中设定定点；取样点设定部，其在上述取样坐标空间中设定对象点，在基于上述对象点的像素成分而计算出的取样坐标处设定与上述对象点对应的取样点；和视差图像生成部，其计算出应该配置在上述取样坐标处的第2像素的像素值，生成多个包含上述第2像素的第2图像数据。

其他实施方式的图像处理方法使计算机执行下述处理：根据包含第1像素的第1图像数据生成取样坐标空间，在上述取样坐标空间中设定定点以及对象点，基于上述对象点的像素成分计算出取样坐标，在上述取样坐标处设定与上述对象点对应的取样点，计算出应该配置在上述取样坐标处的第2像素的像素值，生成多个包含上述第2像素的第2图像数据。

根据上述构成的图像处理装置以及图像处理方法，能够不使生成的3D图像的品质劣化地执行处理量小的2D3D变换。

附图说明

图1是本发明的实施方式涉及的图像处理系统1的框图。

图2是表示第1图像数据IMG的构造的图。

图3是第1实施方式的图像处理装置10a的框图。

图4是第1实施方式的2D3D变换处理的流程图。

图5是用于对第1实施方式的2D3D变换处理进行说明的取样坐标空间CS的概略图。

图6是第1实施方式的取样点设定处理的流程图。

图7A～图7C是对第1实施方式的取样设定进行说明的图。

图8是表示第2图像数据IMG′的构造的图。

图9是第1实施方式的视差图像生成处理的流程图。

图10A及图10B是表示第1实施方式的第2像素的像素值计算的一个例子的图。

图11是第2实施方式的图像处理装置10a的框图。

图12是第2实施方式的2D3D变换处理的流程图。

图13是第2实施方式的纵深信息生成处理的流程图。

图14A及图14B是对第2实施方式的纵深生成处理进行说明的图。

图15A及图15B是对第2实施方式的纵深生成处理进行说明的图。

图16A及图16B是对第2实施方式的取样点修正进行说明的图。

具体实施方式

参照附图，对本发明的实施方式进行说明。图1是本发明的实施方式涉及的图像处理系统1的框图。图像处理系统1具备：处理器10、存储器20、视频接口30、显示器40。处理器10是在启动了规定的图像处理程序时，作为图像处理装置10a进行动作的模块。图像处理装置10a是基于由利用图像处理装置10a的硬件或者软件给予的设定信息，从2D图像生成至少2个视差图像的装置。存储器20是能够保存包含表现2D图像的第1图像数据、和对由图像处理装置10a生成的至少2个视差图像进行表现的第2图像数据在内的各种数据的存储介质(例如DRAM(Dynamic RandomAccess Memory))。视频接口30是从与图像处理系统1连接的外部装置被输入第1图像数据，并且向外部装置输出第2图像数据的模块。视频接口30例如具备将编码后的第1图像数据解码的解码器、和对第2图像数据进行编码的编码器。显示器40是对图像进行显示的模块(例如是3D对应液晶电视)。此外，显示器40也可以被省略。

图2是表示本发明的实施方式涉及的第1图像数据IMG的构造的图。第1图像数据IMG是在W轴以及H轴的第1坐标空间中包含沿W方向以及H方向排列的Wm×Hm(Wm及Hm为自然数)个第1像素PX的数据。第1像素PX(w，h)是位于坐标(w，h)(1≤w≤Wm，1≤h≤Hm)上的像素。各第1像素PX例如包含由YUV格式定义的像素值(亮度成分Y、第1差量成分U、以及第2差量成分V)。亮度成分Y(w，h)是表示第1像素PX(w，h)的亮度的像素值。第1差量成分U(w，h)是表示第1像素PX(w，h)的蓝色成分的差量(difference)的像素值。第2差量成分V(w，h)是表示第1像素PX(w，h)的红色成分的差量的像素值。亮度成分Y、第1差量成分U以及第2差量成分V例如分别由0～255的8位信号(256灰度)表示。此外，图像处理系统1也可以处理包含由其他格式(例如RGB格式)定义的像素值的图像数据。

(第1实施方式)

对第1实施方式进行说明。第1实施方式是对象点越接近任意的定点，越将取样点设定在定点的附近，对象点越远离定点，越将取样点设定在定点的远处的图像处理装置的例子。

对第1实施方式的图像处理装置的构成进行说明。图3是第1实施方式的图像处理装置10a的框图。图像处理装置10a具备：定点设定部12、取样点设定部14、视差图像生成部16。

对第1实施方式的图像处理装置的动作进行说明。图4是第1实施方式的2D3D变换处理的流程图。2D3D变换处理由作为图像处理装置10a而动作的处理器10执行。

<S400>定点设定部1根据第1坐标空间，基于规定的取样分辨率生成Xm×Ym的取样坐标空间CS，在生成的取样坐标空间CS中设定n(n是2以上的整数)个任意的定点V(S400)。

图5是用于对第1实施方式的2D3D变换处理进行说明的取样坐标空间CS的概略图。图5表示了在坐标(x，y)＝(2，4)处设定定点V1(2，4)，在坐标(x，y)＝(4，4)处设定定点V2(4，4)的情况。取样分辨率可以是规定的固定值，也可以使用对取样分辨率进行表示的规定的信息来计算。例如，定点V在将2D图像变换成3D图像时，被设定成推定为在3D图像中应该位于近前的前方区域或者推定为在3D图像中应该位于后方的后方区域所包含的取样坐标空间CS的坐标。例如，定点V1是用于生成右眼用的视差图像的点，定点V2是用于生成左眼用的视差图像的点。n表示应该生成的视差图像的数量，由表示应该生成的视差图像的数量的规定信息决定。

作为一个例子，定点设定部12根据第1图像数据IMG推定2D图像的纵深，映射(mapping)推定结果来生成纵深映射(map)。然后，定点设定部12在参照生成的纵深映射而确定的前方区域所包含的任意的点设定定点V。作为代替例，定点设定部12也可以分析图像的特性，基于分析结果来判定图像的场景(例如运动场景(sports scene)或者风景场景)，并在基于判定结果而确定的前方区域所包含的任意的点设定定点V。作为其他的代替例，定点设定部12也可以基于对定点V的坐标进行表示的规定信息来设定定点V。

<S402>取样点设定部14在取样坐标空间的任意的坐标设定对象点O，执行基于图像数据IMG的像素成分来设定与对象点O对应的取样点S的取样点设定处理(S402)。图6是第1实施方式的取样点设定处理的流程图。图7A～图7C是对第1实施方式的取样设定进行说明的图。

<S600>如图7A所示，取样点设定部14在由定点设定部12生成的取样坐标空间CS的任意的坐标(xo，yo)设定对象点O(xo，yo)。对象点O(xo，yo)是成为取样点S的基准的取样坐标空间CS的点。

<S602>取样点设定部14基于定点V的像素成分与对象点O的像素成分，设定与对象点O对应的取样点S。例如，取样点设定部14使用坐标以及像素值的至少一个来作为像素成分。

在使用坐标作为像素成分的情况下，取样点设定部14利用式1，计算出定点V(xv，yv)与对象点O(xo，yo)的距离d。在式1中，dx是取样坐标空间CS的X方向上的对象点O与定点V的距离，dy是取样坐标空间CS的Y方向上的对象点O与定点V的距离。

【数式1】

$d=\sqrt{{\mathrm{dx}}^2+{\mathrm{dy}}^2}$

$\mathrm{dx}=\sqrt{{(\mathrm{xo}-\mathrm{xv})}^2}$ …(式1)

$\mathrm{dy}=\sqrt{{(\mathrm{yo}-\mathrm{yv})}^2}$

接下来，如图7B及图7C所示，取样点设定部14利用式2，基于计算出的距离d来计算设定取样点S的取样坐标(xs，ys)。然后，取样点设定部14在计算出的取样坐标(xs，ys)上设定取样点S(xs，ys)。在式2中，f(d)以及g(d)是定点V与对象点O的距离d的变换函数。f(d)以及g(d)例如是正的增加函数、正的减少函数或者常量。在取样坐标空间CS中，按照距离d越小、定点V与取样点S的距离越变小，距离d越大、定点V与取样点S的距离越变大的方式设定取样点S(图7B以及图7C)。结果，按照生成在定点V的周边区域像素密度变高、在远离定点V的区域像素密度变低那样的视差图像的方式，设定取样点S。

【数式2】

xs＝xv±f(d)*dx

ys＝yv±g(d)*dy   …(式2)

在使用像素值(例如亮度成分Y)作为像素成分的情况下，取样点设定部14利用式3，基于对象点O(xo，yo)的亮度成分Yo计算出取样坐标(xs，ys)。然后，取样点设定部14在计算出的取样坐标(xs，ys)上设定取样点S(xs，ys)。在式3中，h(Yo)以及i(Yo)是从对象点O向亮度成分Yo的变换函数。h(Yo)以及i(Yo)例如是正的增加函数、正的减少函数或者常量。在取样坐标空间CS中，按照亮度成分Yo越小、定点V与取样点S的距离越变小，亮度成分Yo越大、定点V与取样点S的距离越变大的方式，设定取样点S。结果，按照生成在亮度成分Yo小的区域像素密度变高、在亮度成分Yo大的区域像素密度变低那样的视差图像的方式，设定取样点S。

【数式3】

xs＝xo±h(Yo)

ys＝yo±i(Yo)     …(式3)

其中，作为像素成分而使用的像素值不限于亮度成分Y。第1差量成分U、第2差量成分V、红色成分R、绿色成分G、或者蓝色成分B也可以作为像素成分而被使用，还可以使用其他的像素成分。在任何情况下，按照在取样坐标空间CS中像素成分越小、定点V与取样点S的距离越变小，像素成分越大、定点V与取样点S的距离越变大的方式，设定取样点S。换言之，取样点S被配置成像素成分越小相对定点V越稀疏，像素成分越大相对于定点V越密。

<S604>取样点设定部14判定是否设定了k(k为2以上的整数)个取样点S。k的值由3D图像的分辨率决定。例如，k的值根据表示3D图像的分辨率的分辨率设定信息来计算。在所设定的取样点的数量没有达到k的情况下(S604-否)，返回到S600。在所设定的取样点的数量达到了k的情况下(S604-是)，结束取样点设定处理。

<S404>取样点设定部14判定取样点设定处理(S402)的执行次数是否达到了n。在取样点设定处理的执行次数没有达到n的情况下(S404-否)，返回到S402。在取样点设定处理的执行次数达到了n的情况下(S404-是)，进入到S406。

<S406>视差图像生成部16计算出应该在所设定的取样点的取样坐标配置的第2像素P′的像素值。然后，视差图像生成部16执行至少生成2个包含多个第2像素P′的第2图像数据IMG′的视差图像生成处理。图8是表示第2图像数据IMG′的构造的图。第2图像数据IMG′是包含在W轴以及H轴的第2坐标空间中沿W方向及H方向排列的Wm′×Hm′(Wm′及Hm′为自然数)个第2像素PX′的数据。第2像素PX′(w′，h′)是位于坐标(w′，h′)的像素。各第2像素PX′例如包含由YUV格式定义的像素值(亮度成分Y′、第1差量成分U′、以及第2差量成分V′)。亮度成分Y′(w′，h′)是表示第2像素PX′(w′，h′)的亮度的像素值。第1差量成分U′(w′，h′)是表示第2像素PX′(w′，h′)的蓝色成分的差量的像素值。第2差量成分V′(w′，h′)是表示第2像素PX′(w′，h′)的红色成分的差量的像素值。图9是第1实施方式的视差图像生成处理的流程图。

<S900>视差图像生成部16基于分辨率设定信息，生成第2图像数据IMG′的第2坐标空间。如图8所示，第2坐标空间具有Wm′×Hm′(＝k)个坐标。第2坐标空间的尺寸根据由取样点设定部14设定的取样点S的数量来决定。例如，在分辨率设定信息表示等倍(即生成与2D图像相同分辨率的3D图像)的情况下，视差图像生成部16生成与第1坐标空间相同尺寸的第2坐标空间。此时，Wm′＝Wm且Hm′＝Hm。例如，在分辨率设定信息表示2倍(即生成2D图像的2倍分辨率的3D图像)的情况下，视差图像生成部16生成第1坐标空间的2倍尺寸的第2坐标空间。此时，Wm′＝2Wm且Hm′＝2Hm。

<S902及S904>视差图像生成部16在第2坐标空间中设定与k个取样点分别对应的取样坐标(S902)。接下来，视差图像生成部16计算出应该配置到k个取样坐标的第2像素PX′的像素值(Y′，U′，V′)(S904)。即，视差图像生成部16根据位于取样坐标的周围的多个第1图像数据IMG的像素值计算出第2像素的像素值。图10A及图10B是表示第1实施方式的第2像素的像素值计算的一个例子的图。如图10A所示，视差图像生成部16计算出位于取样坐标(2.5，2.5)的周边的第1图像数据IMG的4个像素PX(2，2)～PX(3，3)的像素值的平均值，作为第2像素PX′(2.5，2.5)的像素值。或者，如图10B所示，视差图像生成部16也可以将位于取样坐标(2.5，2.5)的周边的第1图像数据IMG的16个像素PX(1，1)～PX(4，4)的像素值加权相加，计算出加权相加的结果作为第2像素PX′(2.5，2.5)的像素值。

<S906>视差图像生成部16判定是否计算出了k个第2像素PX′的像素值。在没有计算出k个第2像素PX′的像素值的情况下(S906-否)，返回到S904。在计算出k个第2像素PX′的像素值的情况下(S906-是)，结束视差图像生成处理。

<S408>视差图像生成部16判定视差图像生成处理(S406)的执行次数是否达到了n。在视差图像生成处理(S406)的执行次数没有达到n的情况下(S408-否)，返回到S406。在视差图像生成处理(S406)的执行次数达到了n的情况下(S408-是)，结束2D3D变换处理。

根据第1实施方式，图像处理装置10a具备：定点设定部12、取样点设定部14、视差图像生成部16。定点设定部12根据包含多个第1像素的第1图像数据，生成由规定的取样分辨率决定的取样坐标空间，并在生成的取样坐标空间中设定多个任意的定点。取样点设定部14在取样坐标空间的任意的坐标设定对象点，基于定点与对象点的距离来计算取样坐标，并在计算出的取样坐标设定与对象点对应的取样点。视差图像生成部16计算出应该配置于取样坐标的第2像素的像素值，生成多个包含多个第2像素的第2图像数据。结果，以少的处理量生成对具有纵深的视差图像进行表现的图像数据。由此，能够不使基于视差图像而再生的3D图像的品质劣化地实现处理量小的2D3D变换。例如，对于背景被配置于深处、物体被配置于近前的图像，能够得到背景与物体的整体具有纵深的视差图像。

(第2实施方式)

对第2实施方式进行说明。第2实施方式是基于2D图像的像素值生成图像的纵深信息，并基于生成的纵深信息对取样点的位置进行修正的例子。其中，省略与上述的实施方式同样的说明。

对第2实施方式的图像处理装置的构成进行说明。图11是第2实施方式的图像处理装置10a的框图。图像处理装置10a具备：定点设定部12、纵深信息生成部13、取样点设定部14、取样点修正部15、视差图像生成部16。

对第2实施方式的图像处理装置的动作进行说明。图12是第2实施方式的2D3D变换处理的流程图。2D3D变换处理由作为图像处理装置10a而动作的处理器10执行。

<S1200及S1201>S1200进行与第1实施方式的定点设定(S400)同样的处理。接下来，纵深信息生成部13执行基于第1像素PX的像素值的亮度成分Y生成纵深信息的纵深信息生成处理(S1201)。纵深信息是表示第1图像数据IMG的纵深的信息。图13是第2实施方式的纵深信息生成处理的流程图。图14及图15对第2实施方式的纵深生成处理进行说明的图。

<S1300>纵深信息生成部13提取出第1图像数据IMG的Wm×Hm个第1像素PX(w，h)的第1亮度成分Y(w，h)。然后，纵深信息生成部13生成包含提取出的Wm×Hm个第1亮度成分Y(w，h)的第1亮度分布(图14(A))。第1亮度分布对应于第1坐标空间。

<S1302>纵深信息生成部13将第1亮度分布缩小，生成包含Wr×Hr(Wr以及Hr是自然数)个第2亮度成分Yr(wr，hr)的第2亮度分布(图14(B))(S1302)。例如，纵深信息生成部13利用双线性(bi-linear)法、双三次(bi-cubic)法或者平均加算法，针对根据第1亮度成分Y(w，h)计算出的第2亮度成分Yr(wr，hr)应用M×N(M以及N为自然数)抽头滤波器(tap filter)，对第2亮度分布的频率进行平滑化。

<S1304>纵深信息生成部13将第2亮度成分Yr(wr，hr)变化成规定的纵深值Dr(wr，hr)。由此，生成包含Wr×Hr个第1纵深成分Dr(wr，hr)的第1纵深信息(图15(A))。

<S1306>纵深信息生成部13将表示纵深信息的灰度的灰度设定信息与第1纵深成分Dr的灰度进行比较。在灰度设定信息所表示的灰度与第1纵深成分Dr(wr，hr)的灰度相等的情况下(S1306-是)，不变更灰度地进入到S1310。在灰度设定信息所表示的灰度与第1纵深成分Dr(wr，hr)的灰度不同的情况下(S1306-否)，为了变更灰度而进入到S1308。

<S1308>纵深信息生成部13对第1纵深信息的直方图进行整形(伸长、收缩或者最佳化)，变更第1纵深成分Dr(wr，hr)的灰度(S1308)。由此，可得到以所希望的灰度表示的纵深信息。

<S1310>纵深信息生成部13将第1纵深信息线性放大，生成包含Wm×Hm的第2纵深成分D(w，h)的第2纵深信息(图15(B))。由此，可得到具有与第1图像数据IMG相同的分辨率的坐标空间的纵深信息。该纵深信息是表示2D图像的纵深的信息。

<S1202及S1204>S1202及S1204与第1实施方式同样。即，取样点设定部14执行基于图像数据IMG的像素成分来设定取样点S的取样点设定处理(S1202)。在取样点设定处理的执行次数没有达到n的情况下(S1204-否)，返回到S1202。在取样点设定处理(S1204)的执行次数达到了n的情况下(S1204-是)，进入到S1205。

<S1205>取样点修正部15基于生成的第2纵深信息对取样点S的取样坐标进行修正。由此，可获得考虑了2D图像的纵深的取样点S。具体而言，取样点修正部15按照远离定点V(xv，yv)的方式决定取样点S的修正量ΔS。修正量ΔS包括X方向的修正量ΔSx以及Y方向的修正量ΔSy。修正量ΔSx以及ΔSy基于设定取样点S(xs，ys)时的与对象点O(xo，yo)对应的第1像素P(w，h)的第2纵深成分D(w，h)来决定。例如，如图16A及16B所示，取样点S被修正根据纵深信息而决定的修正量ΔSx以及ΔSy的量。结果，取样坐标从S(xs，ys)变为S′(xs′，ys′)。

<S1206及S1208>视差图像生成处理(S1206)与第1实施方式同样地进行。视差图像生成处理在执行次数达到n之前被反复执行(S1208-否)。在视差图像生成处理的执行次数达到了n的情况下(S1208-是)，结束2D3D变换处理。

根据第2实施方式，图像处理装置10a还具备纵深信息生成部13、取样点修正部15。纵深信息生成部13基于第1像素的像素值的第1亮度成分，生成表示由第1图像数据表现的第1图像的纵深的纵深信息。取样点修正部15基于纵深信息对取样坐标进行修正。结果，生成以像素单位表现具有纵深的视差图像的图像数据。由此，与第1实施方式相比，可获得2D图像的纵深被更准确再现的高画质的3D图像。例如，对于背景被配置于深处、物体被配置于近前的图像，可获得背景被配置于更深处、物体被配置于更近前的视差图像。

在使用亮度成分Y以外的值作为像素成分的情况下，取样点设定部14如式4那样，使用滤波器(filter)FIL、与灰度范围对应的常量C，将第1像素PX的亮度成分Y变换为第2像素PX′的亮度成分Y′。滤波器FIL例如是3×3滤波器(参照式5)。常量C在256灰度的情况下例如是128。该情况下，第2像素PX′的亮度成分Y′是亮度梯度成分。然后，取样点设定部14基于第2像素PX′的亮度成分Y′，与使用亮度成分Y作为像素成分的情况同样地设定取样点。

【数式4】

Y′＝Y×FIL+C…(式4)

【数式5】

$\mathrm{FIL}=\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right]$ …(式5)

另外，第2像素PX′的亮度成分Y′也可以是对第1像素PX的亮度成分Y乘以了多个滤波器FIL0～FIL2、多个权重(weight)a～c、而得到的值的合计值。该情况下，亮度成分Y′由式6表示。其中，滤波器FIL0～FIL2的值可以相等，也可以不同。另外，系数a～c的值可以相等，也可以不同。

【数式6】

Y′＝a×Y×FIL0+b×Y×FIL1+c×Y×FIL2+C…(式6)

另外，对在式6中使用3个滤波器FIL0～FIL2来计算亮度成分Y′的例子进行了说明，但亮度成分Y′的计算所使用的滤波器的数量以及滤波器的值是任意的。另外，也可以根据系数a、b、c来对多个滤波器FIL分别进行加权。

另外，也可以利用右眼用的多个滤波器FIL0r～FIL2r、右眼用的权重ar～cr、和右眼用的常量Cr，来计算右眼用的亮度成分Yr′(参照式7)，利用左眼用的多个滤波器FIL0l～FIL2l、左眼用的权重al～cl、和左眼用的常量Cl，计算左眼用的亮度成分Yl′(参照式8)。

【数式7】

Yr′＝ar×Y×FIL0r+br×Y×FIL1r+cr×Y×FIL2r+Cr…(式7)

【数式8】

Yl′＝al×Y×FIL0l+bl×Y×FIL1l+cl×Y×FIL2l+Cl…(式8)

另外，(式4)及(式6)～(式8)中使用的亮度成分Y也可以包含以关注像素为中心的周边像素的亮度成分。例如，在3×3抽头滤波处理的情况下，以关注像素为中心，在(式4)以及(式6)～(式8)中使用包含周边像素的9个像素的亮度成分Y。此外，由于关注像素位于第1图像数据IMG的端部，所以当不存在周边像素时，也可以使用任意的插补系数对关注像素的亮度成分进行插补。

本实施方式涉及的图像处理装置10a的至少一部分可以由硬件构成，也可以由软件构成。在由软件构成的情况下，可以将实现图像处理装置10a的至少一部分的功能的程序保存到软盘或CD-ROM等记录介质中，使计算机读入并加以执行。记录介质并不限于磁盘、光盘等能够装卸的介质，也可以是硬盘装置、存储器等固定型的记录介质。

另外，也可以经由因特网等通信线路(还包括无线通信)，来发布用于实现本实施方式涉及的图像处理装置10a的至少一部分的功能的程序。并且，也可以在对该程序进行了加密、调制、压缩后的状态下，经由网络等有线线路、无线线路发布该程序，或者保存到记录介质中进行发布。

此外，本发明并不限定于上述的实施方式，在不脱离其主旨的范围可以对构成要素变形而将其具体化。另外，通过将上述实施方式中公开的多个构成要素适当组合，能够形成各种发明。例如，可以从上述实施方式所表示的所有构成要素中删除几个构成要素。并且，也可以将不同的实施方式中的构成要素适当地进行组合。

Claims (16)

1.一种图像处理装置，其特征在于，具备：

定点设定部，在根据包含第1像素的第1图像数据而生成的取样坐标空间中设定定点；

取样点设定部，在上述取样坐标空间中设定对象点，在基于上述对象点的像素成分而计算出的取样坐标处设定与上述对象点对应的取样点；和

视差图像生成部，计算出应该配置在上述取样坐标处的第2像素的像素值，生成多个包含上述第2像素的第2图像数据。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述取样点设定部基于上述定点与上述对象点之间的距离来计算上述取样坐标。

3.根据权利要求1所述的图像处理装置，其特征在于，

上述取样点设定部基于上述对象点的像素值来计算上述取样坐标。

4.根据权利要求3所述的图像处理装置，其特征在于，

上述取样点设定部基于上述对象点的像素值中包含的亮度成分来计算上述取样坐标。

5.根据权利要求3所述的图像处理装置，其特征在于，

上述取样点设定部针对上述对象点的像素值中包含的亮度成分进行滤波处理来生成亮度梯度成分，基于上述亮度梯度成分来计算上述取样坐标。

6.根据权利要求1所述的图像处理装置，其特征在于，还具备：

纵深信息生成部，基于上述第1像素的像素值，生成表示由上述第1图像数据表现的第1图像的纵深的纵深信息；和

取样点修正部，基于上述纵深信息对上述取样坐标进行修正。

7.根据权利要求6所述的图像处理装置，其特征在于，

上述纵深信息生成部生成表示上述第1图像的纵深的第1纵深信息，并将上述第1纵深信息线性放大而生成第2纵深信息，

上述取样点修正部基于上述第2纵深信息对上述取样坐标进行修正。

8.根据权利要求7所述的图像处理装置，其特征在于，

上述取样点修正部对上述取样坐标修正基于上述第2纵深信息内的与上述对象点对应的第2纵深成分而决定的修正量的量。

9.一种图像处理方法，其特征在于，使计算机执行下述处理：

根据包含第1像素的第1图像数据生成取样坐标空间，

在上述取样坐标空间中设定定点以及对象点，基于上述对象点的像素成分计算出取样坐标，

在上述取样坐标处设定与上述对象点对应的取样点，

计算出应该配置在上述取样坐标处的第2像素的像素值，

生成多个包含上述第2像素的第2图像数据。

10.根据权利要求9所述的图像处理方法，其特征在于，

在设定上述取样点时，基于上述定点与上述对象点之间的距离来计算上述取样坐标。

11.根据权利要求9所述的图像处理方法，其特征在于，

在设定上述取样点时，基于上述对象点的像素值来计算上述取样坐标。

12.根据权利要求11所述的图像处理方法，其特征在于，

在设定上述取样点时，基于上述对象点的像素值中包含的亮度成分来计算上述取样坐标。

13.根据权利要求11所述的图像处理方法，其特征在于，

在设定上述取样点时，

针对上述对象点的像素值中包含的亮度成分进行滤波处理来生成亮度梯度成分，

基于上述亮度梯度成分来计算上述取样坐标。

14.根据权利要求9所述的图像处理方法，其特征在于，

还基于上述第1像素的像素值，生成表示由上述第1图像数据表现的第1图像的纵深的纵深信息，

基于上述纵深信息对上述取样坐标进行修正。

15.根据权利要求14所述的图像处理方法，其特征在于，

在生成上述纵深信息时，

生成表示由上述第1图像数据表现的第1图像的纵深的第1纵深信息，

将上述第1纵深信息线性放大而生成第2纵深信息，

当修正上述取样点时，基于上述第2纵深信息对上述取样坐标进行修正。

16.根据权利要求15所述的图像处理方法，其特征在于，

当修正上述取样点时，对上述取样坐标修正基于上述第2纵深信息内的与上述对象点对应的第2纵深成分而决定的修正量的量。

Images