CN104104935B - 图像处理装置、图像处理方法和电子装置 - Google Patents

Abstract

本发明涉及能够基于被处理图像来调整视差的图像处理装置、图像处理方法和电子装置。基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像。

Description

图像处理装置、图像处理方法和电子装置

技术领域

本发明涉及图像处理装置、图像处理方法和电子装置。

背景技术

能够在显示屏上显示对应于用户左眼的图像(下文中称为“左眼图像”)和对应于用户右眼的图像(下文中称为“右眼图像”)从而使用户将所显示的图像识别为三维图像的装置变得越来越普及。上述这类装置能够使用户利用视差(disparity)将所显示的图像识别为三维图像。

当使用户将所显示的图像识别为三维图像时，优选地仅向用户的左眼呈现左眼图像且仅向用户的右眼呈现右眼图像。如果用户用右眼识别左眼图像且/或用左眼识别右眼图像，即如果发生了被称为串扰的现象，则三维图像的质量会下降，例如该图像看似重叠图像或该图像看似模糊。

鉴于这种情况，目前正在研究用于降低串扰的技术。日本专利文献JP4440066B公开的技术就是一种用于降低串扰技术的一个示例。

作为一个示例，JP4440066B公开的技术根据显示装置的尺寸调整视差以显示三维图像。然而，即使使用JP4440066B公开的技术，也不能根据将被显示在显示屏上的图像来调整视差。

发明内容

本发明的目的在于提供一种能够基于被处理图像来调整视差的图像处理装置、图像处理方法、程序和电子装置。

本发明的实施例提供了一种图像处理装置，其包括：图像处理单元，其基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像。

本发明的实施例提供了一种图像处理方法，其包括：基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像。

本发明的实施例提供一种使计算机执行以下功能的程序：基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像。

本发明的实施例提供一种电子装置，其包括：图像处理单元，其基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像。

根据本发明的一个或多个实施例，能够基于被处理图像来调整视差。

附图说明

图1是说明本发明的实施例的图像处理方法的处理的示意图。

图2是说明本发明的实施例的图像处理方法的处理的示意图。

图3是说明本发明的实施例的图像处理方法的处理的示意图。

图4是用于说明本实施例的图像处理方法的处理的流程图。

图5是说明本发明的实施例的图像处理装置的一个示例构造的框图。

图6是说明本发明的实施例的图像处理装置的一个示例硬件构造的示意图。

具体实施方式

在下文中，将参考附图具体说明本发明的优选实施例。应注意的是，在说明书和附图中，使用相同的附图标记表示具有大体相同的功能和结构的结构性元件，并省略了这些结构性元件的重复说明。

下面按照下述顺序进行说明。

1.本发明的实施例的图像处理方法

2.本发明的实施例的图像处理装置

3.本发明的实施例的程序

1.本发明的实施例的图像处理方法

在说明本发明的实施例的图像处理装置的构造之前，首先说明本发明的实施例的图像处理方法。通过本发明的实施例的图像处理装置执行本实施例的图像处理方法的处理的方式来说明本实施例的图像处理方法。

本实施例的图像处理装置基于与被处理图像(其是被处理的移动图像)相对应的视差来调整与此被处理图像相对应的视差。作为本实施例的图像处理方法的处理，本实施例的图像处理装置基于与被处理图像相对应的视差的大小的随时间的变化量进行视差调整以使被处理图像相对应的视差变大。

这里，作为本实施例中的被处理图像的示例，给出了用于表示左眼图像和右眼图像(左眼图像和右眼图像构成了三维图像)的移动图像(在下文中有时将其称为“立体图像”)以及根据平面图像(2D图像)人工生成的立体图像。在下文中，将移动图像以及人工生成的立体图像统称为“立体图像”。

而且，在本实施例中，例如，通过与被处理图像中的各个帧相对应的图像(在下文中将其称为“帧图像”)中的视差量来表示与被处理图像相对应的视差的大小。例如，在本实施例中，基于各个帧图像中的每个像素的深度(degree of depth)来计算每个帧图像的视差量。应注意的是，下面将说明与本实施例的图像处理装置执行的视差量的计算相关的处理。

本实施例的图像处理方法中的处理

现在将更详细地说明本实施例的图像处理方法中的处理。

(1)视差量的计算过程

本实施例的图像处理装置基于与各个帧图像中的视差相关的每个像素的深度来计算每个帧图像的视差量。在下文中，有时也将各个帧图像中的每个像素的深度称为“视差图”。

作为一个示例，本实施例的图像处理装置通过比较用于构成立体图像的左眼图像和右眼图像中的相应像素来计算每个像素的视差。接着，本实施例的图像处理装置通过将每个像素的计算视差设定为本实施例中的各个帧图像中的每个像素的深度来执行本实施例的视差量计算过程。这里，本实施例中的深度对应于视点(viewpoint)之间的距离。

应注意的是，对于本实施例的图像处理装置，本实施例的中用于获取各个帧图像中的每个像素的深度的方法并不限于上述方法。

例如，本实施例的图像处理装置可使用能够计算每个像素的视差的任意方法来计算每个像素的视差。

作为另一示例，在本实施例中，图像处理装置也可以使用用于表示与被处理图像的各个帧图像中的每个像素的视差相对应的视差信息，并将由该视差信息表示的每个像素的视差设定为各个帧图像中的各个像素的深度。这里，作为示例，在本实施例中，视差信息可以是被处理图像的元数据，或可以独立于被处理图像的数据。作为示例，在本实施例中，由视差信息表示的各个帧图像中的每个像素的视差可通过分析被处理图像来进行设定，或可基于用户操作等来进行设定。例如，在本实施例中，执行图像处理方法的处理之前，在图像处理装置的外部或内部的装置中产生视差信息。

本实施例的图像处理装置例如通过计算视差图(各个帧图像中的深度)的动态范围来计算每个帧图像中的视差量。

作为具体示例，针对每个帧，本实施例的图像处理装置通过执行下面的方程式1来计算每个帧图像中的视差量。这里，方程式1中的“z(t)”代表帧t的帧图像中的视差量(其中，t是1以上的整数)。另外，方程式1中的“D(x,y,t)”代表由帧t的帧图像中的坐标(x,y)表示的像素的深度。通过将帧图像中的任意位置(例如，帧图像的左下角位置或帧图像的左上角位置)作为原点来表示帧图像中的坐标。

(方程式1)

应注意的是，本实施例中的视差量并不限于视差图(各个帧图像中的深度)的动态范围。

作为一个示例，本实施例的图像处理装置可通过计算各个帧图像中的深度的最大值或各个帧图像中的深度的平均值来计算每个帧图像中的视差量。

(2)视差调整过程

当在上述(1)的处理(视差量计算过程)中计算出每个帧图像中的视差量时，本实施例的图像处理装置基于视差量的随时间的变化量来执行调整，以使每个帧图像中的视差量变大。作为一个示例，当每个帧图像中的计算视差量突然增加了所设定的增量或以上时，本实施例的图像处理装置使帧图像中的视差量变大。

作为具体示例，本实施例的图像处理装置基于每个帧图像中的视差量和超调函数(overshoot function)来执行调整，以使每个帧图像中的视差量变大，其中超调函数是将每个帧图像中的计算视差量用作输入的函数。

这里，本实施例的表述“超调函数”是将每个帧图像中的视差量用作输入值的函数，而且超调函数是保持前一帧的视差量的变化量并使每个帧图像中的视差量收敛于目标值的函数。本实施例的超调函数用于使视差量的变化具有时间相关性。

作为一个示例，本实施例的图像处理装置通过执行下述方程式2中的计算来调整每个帧图像的计算视差量。方程式2的右侧是本实施例的超调函数的一个示例。在方程式2的右侧所示的超调函数中，帧图像中的调整视差量是根据下述两个因素之间的平衡来确定的。

-向目标值“z(t)”的收敛

-维持前一帧(紧靠前的一帧)的变化量“dz'(t)/dt|t=t-1”

(方程式2)

这里，方程式2中的“z(t)”代表帧t的帧图像的视差量，且是用于帧t的超调函数的输入。另外，方程式2中的“z'(t)”代表帧t的帧图像的调整视差量，且是用于帧t的超调函数的输出。另外，方程式2中的“z'(t-1)”表述帧(t-1)的帧图像的调整视差量。

而且，方程式2中的“α”(其中0≤α≤1)是用于控制视差量的变化的相关性强度的常数。当α值较大时，使帧图像中的视差量增强的时间(超调时间)变长，而当α值较小时，使帧图像中的视差量增强的时间变短。例如，如果α值被设定为0.85，对约7～8帧的帧图像中的视差量进行视差量的增强。应注意的是，很显然，本实施例中的值α并不限于0.85。作为一个示例，本实施例中的值α可根据用户操作等被设定为合适值。

图1是说明本实施例的图像处理方法中的处理。图1示出了上述方程式2所示的超调函数的输入(即，z(t)，其是与被处理图像中的每个帧相对应的帧图像的视差量)与上述方程式2所示的超调函数的输出(即，z'(t)，其是与被处理图像中的每个帧相对应的帧图像中的调整视差量)之间的关系的示例。这里，图1示出了在值α被设定为0.85的情况下超调函数的输入和超调函数的输出之间的关系的示例。

作为一个示例，如图1中的被标记为A的部分所示，本实施例的图像处理装置使用上述方程式2所示的超调函数对帧图像中的视差量进行视差量增强。

图2是说明本实施例的图像处理方法的示意图。图2示出了上述方程式2所示的超调函数的输入(即，z(t)，其是与被处理图像中的每个帧相对应的帧图像中的视差量)与上述方程式2所示的超调函数的输出(即，z'(t)，其是与被处理图像中的每个帧相对应的帧图像中的调整视差量)之间的关系的示例。这里，图2示出了在处理具有大的视差量变化量的被处理图像的情况下(在图2中被表示为的“大的变化量”)超调函数的输入和超调函数的输出之间的关系的示例，以及在处理具有小的视差量变化量的被处理图像的情况下(在图2中被表示为“小的变化量”)超调函数的输入和超调函数的输出之间的关系的示例。

作为一个示例，如图2的A和2的B所示，可以了解，无论被处理的被处理图像中的视差量的变化量的大小如何，通过使用上述方程式2所示的超调函数，本实施例的图像处理装置对帧图像中的视差量进行了视差量增强。

通过使用诸如上述方程2所示的超调函数之类的将与被处理图像中的各个帧相对应的帧图像的视差量用作上述输入值的超调函数，本实施例的图像处理装置基于视差量的随时间的变化量来执行用于使每个帧图像中的视差量变大的调整。应注意的是，很明显，本实施例中的超调函数并不限于上述方程式2所示的函数。

一旦通过使用上述方程式2所示的超调函数来执行用于使每个帧图像中的视差量增加的调整，本实施例的图像处理装置基于每个帧图像中的调整视差量来调整各个帧图像中的每个像素的深度。

作为一个示例，针对每个帧图像，本实施例的图像处理装置计算超调函数的输出的值与超调函数的输入的值之间的比率的值。接着，针对每个帧图像，本实施例的图像处理装置通过将帧图像中的每个像素的深度与所计算的比率的值相乘来调整各个帧图像中的每个像素的深度。

更具体地，本实施例的图像处理装置例如通过执行下述方程式3所示的计算来调整各个帧图像中的每个像素的深度。这里，下述方程式3所示的计算是利用帧图像中的调整视差量和调整前的帧图像中的视差量之间的差值的计算。

(方程式3)

这里，方程式3中的表达式“P(t)”表示帧t的帧图像中的每个像素的深度(视点之间的距离)。另外，方程式3中的表达式表示帧t的帧图像中的每个像素的调整深度。

另外，方程式3中的表达式“k”(其中k>0)是对用于增强帧图像中的每个像素的深度的增强度进行调整的常数。如果k值被设定为大，帧图像中每个像素的深度更强地增强。如果k值被设定为小，帧图像中每个像素的深度增强得不是很多。作为k值的示例，提供了k=2的情况，此时观察图像的用户可觉察到帧图像中的每个像素的深度的增强度，但此用户并不会由于觉察到帧图像中的每个像素的深度的增强度而感觉到不舒服。应注意的是，很明显，本实施例中的k值并不限于2。另外，本实施例中的k值例如可以根据用户操作而被设定为合适值。

如上述方程式3所示，例如，本实施例的图像处理装置通过使用超调函数的输出值与超调函数的输入值之间的比率来调整各个帧图像中的每个像素的深度。

这里，超调函数的输出值与超调函数的输入值之间的比率是基于与被处理图像相对应的视差大小的随时间的变化量的值。由此，例如，通过根据上述方程式3的计算来调整各个帧图像中的每个像素的深度，本实施例的图像处理装置能够执行用于使与被处理图像相对应的视差增强的视差调整。

应注意的是，本实施例的视差调整处理并不限于上述示例。

作为一个示例，如果使用诸如上述方程式2所示的超调函数来调整每个帧图像中的视差量以使其增加，则存在如下风险：在由于出现振荡而例如使视差量重复增强和减弱时，视差量会波动。

由此，本实施例的图像处理装置选择性地更新上述方程式2所示的超调函数的输出值，以仅在使每个帧图像中的视差量被调整为在增加的方向上发挥作用。

更具体地，例如，如下述方程式4所示，如果超调函数的输出值(z'(t))小于超调函数的输入值(z(t))，本实施例的图像处理装置选择性地将超调函数的输出值更新为超调函数的输入值。这里，方程式4中的表达式表示超调函数的被选择性更新的输出值。

(方程式4)

另外，如果超调函数的输出值已经被选择性地更新，本实施例的图像处理装置例如针对每个帧图像计算超调函数的已经被选择性更新输出值与超调函数的输入值之间的比率。接着，本实施例的图像处理装置通过针对每个帧图像将帧图像中每个像素的深度与所计算的比率值相乘来调整各个帧图像中的每个像素的深度。

更具体地，本实施例的图像处理装置例如通过执行下述方程式5所示的计算来调整各个帧图像中的每个像素的深度。

(方程式5)

例如，如上述方程式4所示，当超调函数的输出值由于被选择性更新而等于或大于超调函数的输入值时，使用超调函数的输出值，而当超调函数的输出值小于超调函数的输入值时，使用超调函数的输入值。

由此，作为一个示例，通过如上述方程式4所示地选择性更新超调函数的输出值并如上述方程式5所示地调整各个帧图像中的每个像素的深度，本实施例的图像处理装置例如能够防止由振荡的出现引起的视差量波动以及视差量的意外减弱。

图3是说明本实施例的图像处理方法中的处理的示意图。图3示出了被处理图像中的视差量以及通过本实施例的图像处理方法中的处理进行调整的被处理图像中的视差量的示例。这里，图3示出了在本实施例的图像处理装置已经执行例如使用上述方程式5所示的计算的视差调整过程的情况下经调整的被处理图像中的视差量的示例。

作为示例，如由图3中的被标记为A和B的部分所示，通过执行本实施例的图像处理方法中的处理，基于与被处理图像相对应的视差大小随时间的变化量，对与被处理图像相对应的视差进行视差量增强。另外，如图3所示，例如通过改变α值，使用于增强视差量的时间(超调时间)变化。

作为本实施例的图像处理方法的处理的一个示例，本实施例的图像处理装置执行上述(1)中的处理(视差量计算过程)和上述(2)中的处理(视差调整过程)。

这里，在上述(2)中的处理(视差调整过程)中，基于根据由上述(1)中的处理(视差调整过程)计算的每个帧图像中的视差量而被调整的每个帧图像中的视差量，本实施例的图像处理装置通过上述方程式3和方程式5所示的计算来调整各个帧图像中的每个像素的深度。另外，根据由上述(1)中的处理(视差量计算过程)计算的每个帧图像中的视差量而被调整的每个帧图像中的视差量是基于与被处理图像相对应的视差大小的随时间的变化量的值，且例如是上述方程式2所示的超调函数的输出值，或是上述方程4所示的超调函数的已经被选择性更新的输出值。

因此，例如通过执行上述(1)中的处理(视差量计算过程)和上述(2)中的处理(视差调整过程)作为本实施例的图像处理方法的处理，本实施例的图像处理装置能够执行用于使与被处理图像相对应的视差增强的视差调整。

另外，例如，如图3中的被标记为A的部分所示，通过基于与被处理图像相对应的视差大小的随时间的变化量来执行用于使与被处理图像相对应的视差变大的调整，与被处理图像相对应的视差暂时增强。由此，本实施例的图像处理装置能够产生被处理图像所示内容的深度的良好感觉。

由于本实施例的图像处理装置基于与被处理图像相对应的视差大小的随时间的变化量来执行用于使与被处理图像相对应的视差变大的调整，即使在由于诸如用于将图像显示在显示屏上的显示装置处的串扰的缘故而没有将较大视差应用于被处理图像的情况下，观察经调整的被处理图像的用户能够体验到更强的三维深度。

另外，在本实施例的图像处理装置通过在上述(2)的处理(视差调整处理)中例如通过上述方程式5所示的计算来调整各个帧图像中的每个像素的深度的情况下，本实施例的图像处理装置例如能够防止由振荡引起的视差量波动以及视差量中的意外减弱。由此，在上述情况下，本实施例的图像处理装置能够正在观看经调整的被处理图像的用户所体验到的三维深度。

应注意的是，本实施例的图像处理方法中的处理并不限于上述(1)中的处理(视差量计算过程)和上述(2)中的处理(视差调整过程)。

作为一个示例，本实施例的图像处理装置还能够通过使用多个帧图像的运动检测处理等来检测被处理图像中所包含的物体的深度方向的变化，以作为用于显示物体的由多个像素组成的单元或多个像素单元中的视差大小，并能够基于此检测结果所表示的视差大小的随时间的变化量来执行用于使与被处理图像相对应的视差变大的视差调整。

本实施例的图像处理方法中的处理的具体示例

接着将说明上述本实施例的图像处理方法中的处理的具体示例。

图4是用于说明本实施例的图像处理方法中的处理的示例的流程图。这里，图4所示的步骤S100对应于上述(1)中的处理(视差量计算过程)。图4所示的步骤S102和S104对应于上述(2)中的处理(视差调整过程)。

本实施例的图像处理装置基于与被处理图像相对应的视差图来计算每个帧的被处理图像中的视差量(S100)。作为示例，本实施例的图像处理装置计算每个帧图像的视差图的动态范围、每个帧图像的视差图的最大值或每个帧图像的视差图的平均值，以作为被处理图像中的视差量。

一旦在步骤S100中计算出每个帧的被处理图像的视差量，本实施例的图像处理装置使用超调函数来调整每个帧的被处理图像的视差量(S102)。作为示例，通过使用诸如上述方程式2所示的超调函数之类的超调函数或如上述方程式4所示地通过选择性更新超调函数的输出值，本实施例的图像处理装置调整每个帧的被处理图像的视差量。

一旦在步骤S102中调整了每个帧的被处理图像的视差量，本实施例的图像处理装置针对每个帧增强与被处理图像相对应的视差图(S104)。作为示例，通过执行上述方程式3所示的计算或上述方程式5所示的计算，本实施例的图像处理装置针对每个帧增强与被处理图像相对应的视差图。

作为本实施例的图像处理方法中的处理，本实施例的图像处理装置例如执行图4中所示的处理。例如，通过执行图4所示的处理，实现了上述(1)中的处理(视差量计算过程)和上述(2)中的处理(视差调整过程)。

由此，例如，通过执行图4所示的处理，本实施例的图像处理装置能够基于被处理图像来调整视差。另外，例如，通过执行图4所示的处理，本实施例的图像处理装置能够获得通过使用本实施例的前述图像处理方法所获得的效果。应注意的是，本实施例的图像处理方法的处理很明显并不限于图4所示的处理。

2.本实施例的图像处理装置

接着，将说明本实施例的能够执行本实施例的前述图像处理方法中的处理的图像处理装置的示例构造。

图5是说明本实施例中图像处理装置100的示例构造的框图。图像处理装置100例如包括控制单元102。

另外，作为示例，图像处理装置100可包括ROM(只读存储器，未图示)、RAM(随机存取存储器，未图示)、存储单元(未图示)、通信单元(未图示)、可由用户操作的操作单元(未图示)和在显示屏上显示各种银幕的显示单元(未图示)。在图像处理装置100中，上述各种部件例如可通过作为数据传输路径的总线连接。

这里，ROM(未图示)存储了由控制单元102使用的程序和诸如计算参数之类的控制数据。RAM(未图示)临时存储可由控制单元102执行的程序等。

存储单元(未图示)是设置在图像处理装置100中的存储装置，并存储例如用于表示被处理图像的图像数据、对应于被处理图像的视差信息(数据)以及应用程序。这里，诸如硬盘驱动等磁性记录媒体和诸如闪存等非易失性存储器可用作存储单元(未图示)的示例。存储单元(未图示)相对于图像处理装置100是可分离的。

稍后所述的通信接口可作为通信单元(未图示)的示例。另外，稍后所述的操作输入装置可作为操作单元(未图示)的示例，且稍后所述的显示装置可作为显示单元(未图示)的示例。

图像处理装置100的硬件构造示例

图6是说明本实施例的图像处理装置100的硬件构造示例的示意图。作为一个示例，图像处理装置100包括MPU150、ROM152、RAM154、存储媒体156、输入输出接口158、操作输入装置160、显示装置162和通信接口164。另外，作为一个示例，在图像处理装置100中，各个元件通过作为数据传输路径的总线166连接。

MPU150例如由MPU(微处理单元)或各类处理电路组成，并用作控制整个图像处理装置100的控制单元102。作为一个示例，在图像处理装置100中，MPU150履行稍后所述的图像处理单元110的功能。

ROM152存储由MPU150使用的程序、诸如计算机参数等控制数据等。RAM154例如临时存储由MPU150执行的程序。

存储媒体156用作存储单元(未图示)，且例如存储诸如用于表示被处理图像的图像数据、对应于被处理图像的视差信息以及应用程序等各种数据。这里，诸如硬盘驱动等磁性记录媒体和诸如闪存等非易失性存储器可作为存储媒体156的示例。存储媒体156可从图像处理装置100分离。

输入输出接口158例如连接操作输入装置160和显示装置162。操作输入装置160用作操作单元(未图示)，且显示装置162用作显示单元(未图示)。这里，USB(通用串行总线)端子、DVI(数字视频接口)端子、HDMI(高清晰度多媒体接口)端子、各种处理电路等可作为输入输出接口158的示例。作为一个示例，操作输入装置160设置在图像处理装置100上，并连接到图像处理装置100内部的输入输出接口158。一个或多个按钮、方向键、诸如逐帧移动拨盘(jog dial)等旋转选择器、或其组合可用作操作输入装置160的示例。另外，作为一个示例，显示装置162设置在图像处理装置100上，并连接到图像处理装置100内部的输入输出接口158。液晶显示器、有机EL(电致发光)显示器和OLED(有机发光二极管)显示器可用作显示装置162的示例。

应注意的是，显然，输入输出接口158也能够连接到作为图像处理装置100的外部装置的外部设备，例如操作输入装置(例如，键盘和鼠标)和显示装置。显示装置162还可以是诸如触摸屏等能够进行显示和用户操作的设备。

通信接口164是设置在图像处理装置100上的通信设备，并用作用于与显示装置或诸如服务器等外部装置通过网络(或直接)执行有线或无线通信的通信单元(未图示)。这里，通信天线和RF(射频)电路(用于无线通信)、IEEE802.15.1端口和传送/接收电路(用于无线通信)、IEEE802.11b端口和传送/接收电路(用于无线通信)、以及LAN(局域网)端子和传送/接收电路(用于有线通信)可作为通信接口164的示例。另外，诸如LAN或WAN(广域网)等有线、诸如通过基站进行通信的无线LAN(WLAN)和无线WAN(WWAN)等无线网络、以及使用诸如TCP/IP(传输控制协议/互联网协议)等通信协议的互联网可用作本实施例中的网络。

通过例如使用图6所示的构造，图像处理装置100执行本实施例的图像处理方法中的处理。应注意的是，本实施例的图像处理装置100的硬件构造并不限于图6所示的构造。

作为一个示例，图像处理装置100可包括履行摄像单元(未图示)功能的摄像装置，该摄像单元(未图示)用于对移动图像摄像。在设有摄像装置的情况下，图像处理装置100例如还能够处理由摄像装置进行摄像产生的作为被处理图像的摄像图像。

这里，透镜/摄像元件和信号处理电路可用作本实施例的摄像装置的示例。作为一个示例，透镜/摄像元件由光学系统的多个透镜和使用诸如CMOS(互补金属氧化物半导体)等多个摄像元件的图像传感器组成。信号处理电路例如包括AGC(自动增益控制)电路和ADC(模数转换器)，将摄像元件产生的模拟信号转换为数字信号(图像数据)，并执行各种信号处理。白平衡校正处理、色彩校正处理、伽马校正处理、YCbCr转换处理和边缘增强处理可用作信号处理电路所执行的信号处理的示例。

另外，如果图像处理装置100被构造为在独立构造中执行处理，则不需要提供通信接口164。另外，图像处理单元110可使用省略了存储媒体156、操作输入装置160和显示装置162的构造。

现在返回图5所示的图像处理装置的示例构造进行说明。控制单元102由MPU等构成并履行用于控制整个图像处理装置100的作用。作为一个示例，控制单元102还包括图像处理单元110，并履行用于执行本实施例的图像处理方法中处理的主要作用。

图像处理单元110履行用于执行本实施例的图像处理方法的处理的主要作用，并基于与被处理图像相对应的视差大小的随时间的变化量来执行用于使与被处理图像相对应的视差变大的视差调整。这里，由从存储单元(未图示)或已经连接的外部存储媒体中读取的图像数据表示的移动图像、由通信单元(未图示)接收的图像数据表示的移动图像以及由摄像单元(未图示)摄像的移动图像可作为图像处理单元110所处理的被处理图像的示例。

作为具体示例，图像处理单元110履行用于执行上述(1)中的处理(视差量计算过程)和上述(2)中的处理(视差调整过程)。

作为一个示例，图像处理单元110基于被处理图像的各个帧图像中的每个像素的深度来计算每个帧图像中的视差量。例如，图像处理单元110计算视差图的动态范围(各个帧图像中的每个像素的深度)、各个帧图像的视差图的最大值、或各个帧图像的视差图的平均值，以作为被处理图像中的视差量。

这里，作为一个示例，图像处理单元通过参照用于表示(从用于构成被处理图像的左眼图像右眼图像计算得到的)每个像素的视差的信息来获得上述各个帧图像中的每个像素的深度。用于表示视差的信息所表示的每个像素的视差例如可通过图像处理装置100外部的装置来计算，或可通过控制单元102来计算。另外，如前所述，图像处理单元110例如能够通过参照与被处理图像相对应的视差信息来获得上述各个帧图像中的每个像素的深度。

另外，作为一个示例，图像处理单元110基于计算视差量的随时间的变化量来执行用于使每个帧图像中的视差量变大的调整。这里，作为一个示例，通过获得用于将每个帧图像中的视差量作为上述方程式2中所示的超调函数的输入的超调函数的输出，图像处理单元110基于计算视差量的随时间的变化量来使每个帧图像中的视差量变大。另外，作为一个示例，通过选择性更新上述方程式4所示的超调函数的输出，图像处理单元110基于计算视差量的随时间的变化量来使每个帧图像中的视差量变大。

接着，图像处理单元110例如基于每个帧图像中的经调整的视差量来调整各个帧图像中的每个像素的深度。例如，图像处理单元110通过执行上述方程式3或上述方程式5所示的计算来调整各个帧图像中的每个像素的深度。

例如由于包括图像处理单元110，控制单元102起到用于执行上述(1)中的处理(视差量计算过程)和上述(2)中的处理(视差调整过程)的主导作用。

应注意的是，本实施例中的控制单元的构造并不限于图5所示的构造。作为一个示例，图像处理单元110可包括视差调整单元(未图示)，该视差调整单元起到用于执行上述(1)中的处理(视差量计算过程)和上述(2)中的处理(视差调整过程)的主导作用。

例如通过使用图5所示的构造，图像处理装置100执行本实施例的图像处理方法中的处理(例如上述(1)中的处理(视差量计算过程)和上述(2)中的处理(视差调整过程))

由此，例如通过使用图5所示的构造，图像处理装置100能够基于被处理图像来调整视差。另外，例如通过使用图5所示的构造，图像处理装置100能够获得本实施例的前述图像处理方法所获得的效果。

应注意的是，本实施例的图像处理装置的构造并不限于图5所示的构造。

例如，本实施例的图像处理装置可包括与控制单元102分离的图5所示的图像处理单元110(例如，此单元可由独立的处理电路实现)。另外，本实施例的图像处理装置例如可独立地配置有起到执行上述(1)中的处理(视差量计算过程)的主导作用的视差量计算单元(未图示)和起到执行上述(2)中的处理(视差调整过程)的主导作用的视差量计算单元(未图示)。

另外，本实施例的图像处理装置例如可进一步包括视差估计单元(未图示)，该视差估计单元基于用于构成被处理图像的左眼图像和右眼图像来计算每个像素的视差。这里，在设置有视差估计单元(未图示)的情况下，在本实施例的图像处理装置中，控制单元102例如可履行视差估计单元(未图示)的作用，或不同于控制单元102的处理电路可履行视差估计单元(未图示)的作用。

另外，本实施例的图像处理装置可进一步包括虚拟视点图像产生单元(未图示)，该虚拟视点图像产生单元基于被处理图像和已经由图像处理单元110调整的各个帧图像中的每个像素的深度来产生用于表示一个或两个或更多个虚拟视点的图像。这里，在设置有虚拟视点图像产生单元(未图示)的情况下，在本实施例的图像处理装置中，控制单元102例如可履行虚拟视点图像产生单元(未图示)的作用，或不同于控制单元102的处理电路可履行虚拟视点图像产生单元(未图示)的作用。

另外，本实施例的图像处理装置例如可进一步包括显示控制单元(未图示)，该显示控制单元在显示屏上显示由虚拟视点图像产生单元(未图示)产生的视点图像。例如，显示控制单元(未图示)在显示单元(未图示)的显示屏之外的至少一个显示屏以及通过通信单元(未图示)连接的外部显示装置的显示屏上显示视点图像。这里，在设置有显示控制单元(未图示)的情况下，在本实施例的图像处理装置中，控制单元102例如可履行显示控制单元(未图示)的作用，或不同于控制单元102的处理电路可履行显示控制单元(未图示)的作用。

另外，本实施例的图像处理装置例如可包括摄像单元(未图示)。在设置有摄像单元(未图示)的情况下，本实施例的图像处理装置例如可处理由摄像单元(未图示)的摄像产生的摄像图像作为被处理图像。前述实施例的摄像装置可作为此摄像单元(未图示)的示例。

如上所述，本实施例的图像处理装置例如执行上述(1)中的处理(视差量计算过程)和上述(2)中的处理(视差调整过程)，以作为本实施例的图像处理方法的处理。这里，在上述(2)中的处理(视差调整过程)中，基于根据由上述(1)中的处理(视差量计算过程)计算的每个帧图像中的视差量而被调整的每个帧图像中的视差量，本实施例的图像处理装置通过上述方程式3或方程式5所示的计算来调整各个帧图像中的每个像素的深度。例如，根据由上述(1)中的处理(视差量计算过程)中计算的每个帧图像中的视差量而被调整的每个帧图像中的视差量是例如上述方程式2所示的超调函数的输出值，或是按照上述方程式(4)所示的方式选择性更新的超调函数的输出值，并且是基于与被处理图像相对应的视差大小的随时间的变化量的值。

由此，本实施例的图像处理装置能够执行视差调整，以用于使与被处理图像相对应的视差变大。

另外，本实施例的图像处理装置能够获得由本实施例的前述图像处理方法获得的效果。

虽然上文已经说明图像处理装置作为本发明的实施例，但本发明并不限于此实施例。本发明可应用于能够处理移动图像的各种电子装置，例如平板装置、诸如移动电话或智能机等通信装置、视频/音乐再现装置(或视频/音乐记录/再现装置)、游戏主机、诸如PC(个人电脑)等和诸如数码相机或数码摄像机等摄像装置。作为另一示例，本发明可应用于能够被组合在诸如上述装置之类的电子装置中的处理IC(集成电路)。

3.本实施例的程序

用于使计算机实现本实施例的图像处理装置的功能的程序(例如，该程序能够执行本实施例的图像处理方法中的处理，例如上述(1)中的处理(视差量计算过程)和上述(2)中的处理(视差调整过程))能够在由计算机执行时执行用于使对与被处理图像相对应的视差进行视差变大的调整。

通过使计算机执行用于使计算机实现本实施例的图像处理装置的功能的程序，能被获得由本实施例的前述图像处理方法获得的效果。

虽然已经参考了随附附图详细说明本发明的优选实施例，但本发明的技术范围并不限于这些实施例。本领域技术人员应当理解，依据设计要求和其它因素，可以在本发明所附的权利要求及其等同物的范围内进行各种修改、组合、次组合及改变。

例如，虽然上文已经说明了用于使计算机实现本实施例的图像处理装置的能够的程序(计算机程序)，但也可以提供用于存储本发明的实施例的此程序的记录媒体。

上述构造仅属于本发明的实施例，自然属于本发明的技术范围内。

另外，本发明还可构造如下。

(1)一种图像处理装置，其包括：

图像处理单元，其基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像。

(2)根据(1)所述的图像处理装置，其中，

针对与所述被处理图像中的每个帧相对应的每个帧图像，基于与各个所述帧图像中的视差相关的每个像素的深度，计算用于表示所述帧图像中的视差的大小的视差量；

基于所述视差量的随时间的变化量，执行用于使每个所述帧图像中的所述视差量变大的调整；且

基于每个所述帧图像中的所调整的所述视差量，调整各个所述帧图像中的每个像素的深度。

(3)根据(2)所述的图像处理装置，其中，所述图像处理单元被构造成基于每个所述帧图像中的所述视差量和超调函数来增加每个所述帧图像中的所述视差量，所述超调函数是将每个所述帧图像中的所述视差量作为输入值的函数，所述超调函数保持前一帧中的所述视差量的变化量，并使每个所述帧图像中的所述视差量收敛于目标值。

(4)根据(3)所述的图像处理装置，其中，所述图像处理单元构造为：

针对每个所述帧图像，计算所述超调函数的输出值与所述超调函数的输入值之间的比率，且针对每个所述帧图像，通过将所述帧图像中的每个像素的深度乘以所计算的比率，来调整各个所述帧图像中的每个像素的深度。

(5)根据(4)所述的图像处理装置，其中，当所述超调函数的输出值小于所述超调函数的输入值时，所述图像处理单元进行操作以选择性地将所述超调函数的输出值更新为所述超调函数的输入值，且所述图像处理单元被构造成针对每个所述帧图像计算所述超调函数的已被选择性更新的输出值与所述超调函数的输入值之间的比率。

(6)根据(2)～(5)任一项所述的图像处理装置，其中，每个所述帧图像中的所述视差量是各个所述帧图像中的深度的动态范围。

(7)根据(2)～(5)任一项所述的图像处理装置，其中，每个所述帧图像中的所述视差量是各个所述帧图像中的深度的最大值。

(8)根据(2)～(5)任一项所述的图像处理装置，其中，每个所述帧图像中的所述视差量是各个所述帧图像中的深度的平均值。

(9)一种图像处理方法，其包括：

基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像。

(10)一种使计算机执行以下功能的程序：

基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像。

(11)一种电子装置，其包括：

图像处理单元，其基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像。

本申请包含与2013年4月11日向日本专利局提交的日本在先专利申请2013-082881的公开内容相关的主题，并要求其优先权，将该在先申请的全部内容以引用的方式并入本文。

Claims (9)

1.一种图像处理装置，其包括：

图像处理单元，其基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像，

其中，所述图像处理单元被构造成：

针对与所述被处理图像中的每个帧相对应的每个帧图像，基于与各个所述帧图像中的视差相关的每个像素的深度，计算用于表示所述帧图像中的视差的大小的视差量；

基于所述视差量的随时间的变化量，执行用于使每个所述帧图像中的所述视差量变大的调整；且

基于每个所述帧图像中的所调整的所述视差量，调整各个所述帧图像中的每个像素的深度。

2.根据权利要求1所述的图像处理装置，其中，

所述图像处理单元被构造成基于每个所述帧图像中的所述视差量和超调函数来增加每个所述帧图像中的所述视差量，所述超调函数是将每个所述帧图像中的所述视差量作为输入值的函数，所述超调函数保持前一帧中的所述视差量的变化量，并使每个所述帧图像中的所述视差量收敛于目标值。

3.根据权利要求2所述的图像处理装置，其中，所述图像处理单元构造为：

针对每个所述帧图像，计算所述超调函数的输出值与所述超调函数的输入值之间的比率，且

针对每个所述帧图像，通过将所述帧图像中的每个像素的深度乘以所计算的比率，来调整各个所述帧图像中的每个像素的深度。

4.根据权利要求3所述的图像处理装置，其中，

当所述超调函数的输出值小于所述超调函数的输入值时，所述图像处理单元进行操作以选择性地将所述超调函数的输出值更新为所述超调函数的输入值，且

所述图像处理单元被构造成针对每个所述帧图像计算所述超调函数的已被选择性更新的输出值与所述超调函数的输入值之间的比率。

5.根据权利要求1-4中任一项所述的图像处理装置，其中，每个所述帧图像中的所述视差量是各个所述帧图像中的深度的动态范围。

6.根据权利要求1-4中任一项所述的图像处理装置，其中，每个所述帧图像中的所述视差量是各个所述帧图像中的深度的最大值。

7.根据权利要求1-4中任一项所述的图像处理装置，其中，每个所述帧图像中的所述视差量是各个所述帧图像中的深度的平均值。

8.一种图像处理方法，其包括：

基于与被处理图像相对应的视差的大小的随时间的变化量，执行视差调整以使与所述被处理图像相对应的视差变大，其中所述被处理图像是被处理的移动图像；

针对与所述被处理图像中的每个帧相对应的每个帧图像，基于与各个所述帧图像中的视差相关的每个像素的深度，计算用于表示所述帧图像中的视差的大小的视差量；

基于所述视差量的随时间的变化量，执行用于使每个所述帧图像中的所述视差量变大的调整；且

基于每个所述帧图像中的所调整的所述视差量，调整各个所述帧图像中的每个像素的深度。

9.一种电子装置，其包括前述权利要求1-7中任一项所述的图像处理单元。