CN103098478A - 图像处理设备、图像处理方法、图像处理程序、以及记录介质 - Google Patents

Abstract

本发明提供了一种图像处理方法，其中图像处理设备执行：用于根据立体视频的输出条件来调整立体视频的多个立体图像帧的水平视差的步骤；用于在位于预定输出平面的右边缘和左边缘上的右非输出区域和左非输出区域中基于右非输出区域和左非输出区域的水平宽度来设置由每个立体图像帧共用的右基准边界和左基准边界的步骤，在右非输出区域和左非输出区域中与已调整视差的每个立体图像帧相对应的右视点图像和左视点图像的图像信息满足预定标准；用于在每个立体图像帧中对于作为与右基准边界和左基准边界相比位于更接近于输出平面的中心处的非输出区域的右补全目标区域和左补全目标区域，通过分别将与右补全目标区域和左补全目标区域以及与其相邻的邻近区域的图像信息应用到右补全目标区域和左补全目标区域，来补全右补全目标区域和左补全目标区域的图像信息的步骤；以及用于根据调整的视差来输出补全了该图像信息的每个立体图像帧。

Description

图像处理设备、图像处理方法、图像处理程序、以及记录介质

技术领域

本发明涉及图像处理，更具体地涉及用于在立体活动图像的每个立体图像帧中对进行了双眼视差调整之后的图像进行补全的处理。

背景技术

根据PTL1，当由于通过移动视差图像进行视差调整而导致在左眼用图像和右眼用图像的每个边缘处出现丢失部分时，图像边缘调整单元在图像的边缘处再现一像素行以补偿水平像素数量。

当显示的对象达到有限的视差时，视差控制单元产生视差图像以在随后的立体显示中实现适当的视差。通过最优地设置追溯到三维数据的相机参数来实现视差的控制。二维图像产生单元计算满足该适当视差的景深Fxy。当景深的范围为k1至k2，并且每个像素的景深值为Gxy时，Fxy=J1+(Gxy-K1)×(J2-J1)/(K2-K1)。如果Fxy不是整数，则执行处理以便进行舍入从而减小近似视差。

引用列表

专利文献

PTL1：日本专利申请公开第2004-221670号

发明内容

技术问题

利用视差的立体活动图像在不以适当视差量来显示时会引起观看者的疲劳。适当视差量取决于其上要显示视差量的显示器的尺寸和观看者的立体融合界限（limit）而改变。因此，针对构成立体活动图像的每个立体图像帧，需要执行与立体图像帧匹配的视差调整。

当针对每个立体图像帧单独调整视差时，对于该立体图像帧来说，右图像和左图像的视差方向上的移动量是不同的。图16A至图16D示意示出了视差调整之后的左图像和右图像与丢失部分（没有反映在左图像和右图像上的部分）之间的关系。图16A至图16D分别以时间序列方式示出了连续的立体图像帧F(1)至F(4)。在图16A至图16D中，由实线表示的单色的矩形部分代表左眼用图像L(i)（i=1至4），由虚线表示的单色矩形部分代表右眼用图像R(i)（i=1至4），左眼用图像L(i)和右眼用图像R(i)的左右阴影部分分别代表丢失部分M_L(i)（i=1至4）和M_R(i)（i=1至4）。尽管在图16A至图16D中在竖直方向上移动左图像L(i)和右图像R(i)以便易于理解，但实际上左图像和右图像只在左和右视差方向上移动。如图16A至16D所示，在每个帧F(i)中的左眼用图像L(i)和右眼用图像R(i)（i=1至4）的边缘处的各个丢失部分M_L(i)和M_R(i)对于每个立体图像帧来说是不同的，左图像L(i)和右图像R(i)的各自视野（拍摄图像的范围）是不同的。因此可能会对立体活动图像的观看者带来不舒服的感觉，从而引起眼睛疲劳。因此，左图像L(i)和右图像R(i)的各自视野（丢失部分中的视频范围）优选地彼此相匹配而与图像帧无关。

PTL1只讨论了静止图像的单独处理。在PTL1中讨论的方法中，针对每个立体图像帧在图像边缘处的丢失部分的位置可能变化。只有图像边缘处的一像素行被复制从而被认为对观看者带来不舒服的感觉。

本发明调整立体活动图像的各立体图像帧之间的视差，以防止图像的边缘处的丢失部分针对每个立体图像帧而变化。

问题的解决手段

根据本发明的一个方面，提供了一种图像处理设备，包括：视差获取单元，其接收构成立体活动图像的多个立体图像帧的输入，并且获取构成每个立体图像帧的左视点图像与右视点图像之间的水平方向上的视差；视差调整单元，其根据立体活动图像的输出条件来调整每个立体图像帧的水平方向上的视差；基准边界设置单元，其基于在左非输出区域和右非输出区域当中的满足预定基准的各个左非输出区域和右非输出区域的水平方向上的宽度来设置各立体图像帧中共同的左基准边界和右基准边界，所述左非输出区域和所述右非输出区域分别用作这样的区域：其中与对应于已由所述视差调整单元调整了视差的每个立体图像帧的左视点图像和右视点图像有关的图像信息不存在于预定输出平面的左端和右端；图像处理单元，其针对用作与由所述基准边界设置单元设置的左基准边界和右基准边界相比更接近于所述输出平面的中心而分别布置的非输出区域的左补全目标区域和右补全目标区域，将与用作在分别与所述左补全目标区域和右补全目标区域相邻的左视点图像和右视点图像内的各局部区域的各邻近区域有关的图像信息，应用到所述左补全目标区域和所述右补全目标区域，以补全与每个立体图像帧中的所述左补全目标区域和所述右补全目标区域有关的图像信息；以及输出单元，其根据由所述视差调整单元调整的视差来输出由所述图像处理单元已将所述图像信息补全到所述左补全目标区域和所述右补全目标区域的每个立体图像帧。

所述基准边界设置单元优选地基于与在所述输出平面的水平方向上具有最小宽度的左非输出区域和右非输出区域的中心更接近的各边界来设置所述左基准边界和所述右基准边界。

所述基准边界设置单元优选地基于和与通过所述视差调整单元调整而具有水平方向上的零视差调整量的立体图像帧相对应的左非输出区域和右非输出区域的中心更接近的各边界来设置所述左基准边界和所述右基准边界。

所述图像处理单元优选地删除与相比于所述左基准边界和所述右基准边界位于所述输出平面的更外侧的左视点图像和右视点图像有关的图像信息。

所述图像处理单元优选地执行用于将与所述邻近区域有关的图像信息复制到补全目标区域的第一补全处理，以补全所述图像信息。

所述图像处理单元优选地执行用于将与所述邻近区域有关的颜色信息应用到所述补全目标区域的第二补全处理，以补全所述图像信息。

所述图像处理单元优选地根据与所述邻近区域的颜色有关的浓度梯度信息来将所述邻近区域的颜色扩展至所述补全目标区域，以补全所述图像信息。

所述图像处理单元优选地将在与左邻近区域和右邻近区域有关的图像信息中包含的直线分别延伸至所述左补全目标区域和所述右补全目标区域，以补全所述图像信息。

所述图像处理单元优选地将用于通过所述左邻近区域和所述右邻近区域中的直线分开的每个局部区域的颜色信息应用到通过延伸至所述左补全目标区域和所述右补全目标区域的直线分开的每个局部区域，以补全所述图像信息。

所述图像处理单元优选地确定与所述邻近区域有关的图像信息是否满足预定基准，以基于该确定结果来执行所述第一补全处理和所述第二补全处理中的任何一个。

当所述邻近区域中的高频成分的频率超过预定阈值时，所述图像处理单元优选地执行所述第一补全处理，并且当所述邻近区域中的高频成分的频率不超过预定阈值时，所述图像处理单元优选地执行所述第二补全处理。

当组成所述左补全目标区域和所述右补全目标区域的每一个的像素的数量低于预定阈值时，所述图像处理单元优选地将与所述左邻近区域和所述右邻近区域有关的颜色信息应用到所述左补全目标区域和所述右补全目标区域，以补全所述图像信息。

当由每个立体图像帧中视差的最大值和最小值限定的视差宽度超过预定阈值时，所述基准边界设置单元优选地基于与在所述输出平面的水平方向上具有最小宽度的左非输出区域和右非输出区域的中心更接近的各边界来设置所述左基准边界和所述右基准边界。

当由每个立体图像帧中视差的最大值和最小值限定的视差宽度不超过预定阈值时，所述基准边界设置单元优选地基于和与通过所述视差调整单元调整而具有零视差调整量的立体图像帧相对应的左非输出区域和右非输出区域的中心更接近的各边界来设置所述左基准边界和所述右基准边界。

所述图像处理单元优选地使所述左基准边界和所述右基准边界的附近的图像信息平滑。

根据本发明的一个方面，提供了一种图像处理方法，其用于使图像处理设备执行步骤：接收构成立体活动图像的多个立体图像帧的输入，并且获取构成每个立体图像帧的左视点图像与右视点图像之间的水平方向上的视差；根据立体活动图像的输出条件来调整每个立体图像帧的水平方向上的视差；基于在左非输出区域和右非输出区域当中的满足预定基准的各个左非输出区域和右非输出区域的水平方向上的宽度来设置各立体图像帧中共同的左基准边界和右基准边界，所述左非输出区域和所述右非输出区域分别用作这样的区域：其中与对应于已调整了视差的每个立体图像帧的左视点图像和右视点图像有关的图像信息不存在于预定输出平面的左端和右端；针对用作与所述左基准边界和所述右基准边界相比更接近于所述输出平面的中心而分别布置的非输出区域的左补全目标区域和右补全目标区域，将与用作在分别与所述左补全目标区域和右补全目标区域相邻的左视点图像和右视点图像内的各局部区域的各邻近区域有关的图像信息，分别应用到所述左补全目标区域和所述右补全目标区域，以补全与每个立体图像帧中的所述左补全目标区域和所述右补全目标区域有关的图像信息；以及根据调整的视差来输出其中已将所述图像信息补全到所述左补全目标区域和所述右补全目标区域的每个立体图像帧。

根据本发明的一个方面，提供了一种图像处理程序，用于使图像处理设备执行步骤：接收构成立体活动图像的多个立体图像帧的输入，并且获取构成每个立体图像帧的左视点图像与右视点图像之间的水平方向上的视差；根据立体活动图像的输出条件来调整每个立体图像帧的水平方向上的视差；基于在左非输出区域和右非输出区域当中的满足预定基准的各个左非输出区域和右非输出区域的水平方向上的宽度来设置各立体图像帧中共同的左基准边界和右基准边界，所述左非输出区域和所述右非输出区域分别用作这样的区域：其中与对应于已调整了视差的每个立体图像帧的左视点图像和右视点图像有关的图像信息不存在于预定输出平面的左端和右端；针对用作与所述左基准边界和所述右基准边界相比更接近于所述输出平面的中心而分别布置的非输出区域的左补全目标区域和右补全目标区域，将与用作在分别与所述左补全目标区域和右补全目标区域相邻的左视点图像和右视点图像内的各局部区域的各邻近区域有关的图像信息，分别应用到所述左补全目标区域和所述右补全目标区域，以补全与每个立体图像帧中的所述左补全目标区域和所述右补全目标区域有关的图像信息；以及根据调整的视差来输出其中已将所述图像信息补全到所述左补全目标区域和所述右补全目标区域的每个立体图像帧。

根据本发明的一个方面，提供了一种计算机可读记录介质，其中当存储在所述记录介质中的命令被处理器读取并执行时，所述处理器执行步骤：接收构成立体活动图像的多个立体图像帧的输入，并且获取构成每个立体图像帧的左视点图像与右视点图像之间的水平方向上的视差；根据立体活动图像的输出条件来调整每个立体图像帧的水平方向上的视差；基于在左非输出区域和右非输出区域当中的满足预定基准的各个左非输出区域和右非输出区域的水平方向上的宽度来设置各立体图像帧中共同的左基准边界和右基准边界，所述左非输出区域和所述右非输出区域分别用作这样的区域：其中与对应于已调整了视差的每个立体图像帧的左视点图像和右视点图像有关的图像信息不存在于预定输出平面的左端和右端；针对用作与所述左基准边界和所述右基准边界相比更接近于所述输出平面的中心而分别布置的非输出区域的左补全目标区域和右补全目标区域，将与用作在分别与所述左补全目标区域和右补全目标区域相邻的左视点图像和右视点图像内的各局部区域的各邻近区域有关的图像信息，分别应用到所述左补全目标区域和所述右补全目标区域，以补全与每个立体图像帧中的所述左补全目标区域和所述右补全目标区域有关的图像信息；以及根据调整的视差来输出其中已将所述图像信息补全到所述左补全目标区域和所述右补全目标区域的每个立体图像帧。

发明的有益效果

根据本发明，通过将关于相邻区域的图像信息应用到被用作其中在每个立体图像帧中设置的基准边界内无图像信息存在的区域的补全目标区域来将各立体图像帧中无图像信息存在的各个区域补全到共同基准边界。因此，在各立体图像帧中无图像信息存在的各区域的位置和尺寸是统一的，使得用户在没有感觉到不舒服的情况下观看立体活动图像。补全目标区域是通过应用关于相邻区域的图像信息来补全的。因此，在与基准边界邻近的图像信息中几乎不存在差异，使得几乎不会给用户带来不舒服的感觉。

附图说明

图1是数码相机的前透视图。

图2是数码相机的后透视图。

图3A是数码相机的框图。

图3B是数码相机的框图（续）。

图4A是在发散方向上的视差的界限的示意图。

图4B示出了监视器的尺寸与显示允许最小视差之间的关系。

图5是示出视差调整处理的流程图。

图6示出了立体活动图像的代表视差与输出视差之间的转换表的一个示例。

图7A是视差宽度调整的示意图。

图7B是视差宽度调整的示意图。

图8A是负方向视差移动的示意图。

图8B是负方向视差移动的示意图。

图9A是视差宽度调整之后的视差移动的示意图。

图9B是视差宽度调整之后的视差移动的示意图。

图10A是正方向视差移动的示意图。

图10B是正方向视差移动的示意图。

图11是示出图像边缘调整处理的流程图。

图12示出了与每个立体图像帧相对应的非显示区域和补全目标区域的一个示例。

图13示出了直线与用于被该直线分开的每个区域的颜色的扩展的一个示例。

图14示出了基于具有零视差调整量的一个立体图像帧而设置的基准线的一个示例。

图15是图像处理设备的框图。

图16A示出了由视差调整引起的对于每个立体图像帧不同的左图像和右图像的丢失部分的一个示例。

图16B示出了由视差调整引起的对于每个立体图像帧不同的左图像和右图像的丢失部分的一个示例。

图16C示出了由视差调整引起的对于每个立体图像帧不同的左图像和右图像的丢失部分的一个示例。

图16D示出了由视差调整引起的对于每个立体图像帧不同的左图像和右图像的丢失部分的一个示例。

具体实施方式

图1是示出根据本发明的一个实施例的数码相机10的外观结构的前透视图。图2是示出数码相机10的一个示例的外观结构的后透视图。

数码相机10包括多个成像单元（图1中示出了两个成像单元），并且可以从多个视点（图1中示出了左和右两个视点）对同一被摄体进行成像。虽然为了便于说明而描述包括两个成像单元的数码相机10作为一个示例，然而本发明不限于此。本发明也类似地适用于数码相机10包括三个或更多成像单元的情况。

本示例中的数码相机10的相机机身112形成为矩形盒形状。如图1所示，一对成像光学系统11R和11L以及闪光灯单元116设置在相机机身112的正面上。释放按钮14、电源/模式开关120、模式拨盘122等设置在相机机身112的上表面上。如图2所示，由液晶显示器（LCD）等组成的监视器13、变焦按钮126、十字按钮128、菜单/确认按钮130、DISP按钮132、后退按钮134等设置在相机机身112的背面上。监视器13可以包含在数码相机10中，或者可以是外部装置。

一对左成像光学系统11R和右成像光学系统11L包括可伸缩的变焦透镜（图3所示的18R和18L），并且在给数码相机10接通电源时从相机机身112伸出。由于成像光学系统中的变焦机构和可伸缩透镜机构是已知技术，因此省略了其详细描述。

监视器13是诸如彩色液晶面板的显示装置，彩色液晶面板具有包括布置在其正面上的半圆柱状透镜组的所谓双凸透镜。监视器13用作用于显示已拍摄的图像的图像显示单元，同时还在各种类型的设置期间用作GUI（图形用户界面）。在成像期间，对由图像传感器捕获的图像进行实时取景显示，并且监视器13用作电子取景器。用于在监视器13上显示立体图像的系统不限于视差屏障系统。例如，显示系统可以是用于使用眼镜来显示立体图像的系统，例如，立体系统、偏振滤镜系统、或液晶快门系统。

释放按钮14包括两步程型开关，其包括所谓的“半按”和“全按”。当拍摄静止图像时（例如，当通过模式拨盘122或菜单选择静止图像拍摄模式时），数码相机10在释放按钮14被半按时执行成像准备处理，即AE（自动曝光）处理、AF（自动聚焦）处理、和AWB（自动白平衡）处理的每一个，在释放按钮14被全按时执行图像拍摄和记录处理。当拍摄立体活动图像时（例如，当通过模式拨盘122或菜单选择立体活动图像拍摄模式时），数码相机10在释放按钮14被全按时开始拍摄立体活动图像，并且在释放按钮14再次被全按时结束成像。通过设置也能在释放按钮14被全按时拍摄立体活动图像，在释放按钮14的全按状态被释放时结束成像。可以提供专用于拍摄静止图像的释放按钮以及专用于拍摄立体活动图像的释放按钮。

电源/模式开关120（电源开关和模式开关）用作数码相机10的电源开关，同时用作用于切换数码相机10的再现模式和成像模式的操作部件。模式拨盘122用于设置成像模式。通过将模式拨盘122设置到“2D静止图像位置”来将数码相机10设置为用于拍摄2D静止图像的2D静止图像拍摄模式，以及通过将模式拨盘122设置到“3D静止图像位置”来将数码相机10设置为用于拍摄3D静止图像的3D静止图像拍摄模式。此外，通过将模式拨盘122设置到“3D活动图像位置”来将数码相机10设置为用于拍摄3D活动图像的3D活动图像拍摄模式。

变焦按钮126用于执行成像光学系统11R和11L的变焦操作，并且包括用于发出向长焦端执行变焦的指令的长焦端变焦按钮、以及用于发出向广角端执行变焦的指令的广角端变焦按钮。十字按钮128被设置为能够在四个方向（即，上-下和左-右方向）执行按下操作，并且针对每个方向上的按下操作分配了与相机设置状态相对应的功能。菜单/确认按钮130用于调用菜单屏幕（菜单功能），同时用于确认选择内容并且发出执行处理的指令（确认功能）。DISP按钮132用于输入切换监视器13的显示内容的指令，以及后退按钮134用于输入取消输入操作的指令。

图3A和图3B是示出数码相机10的主要部分的框图。

数码相机10包括右视点成像单元和左视点成像单元，右视点成像单元包括用于右视点的成像光学系统11R和图像传感器29R，左视点成像单元包括用于左视点的成像光学系统11L和图像传感器29L。

两个成像光学系统11（11R、11L）分别包括变焦透镜18（18R、18L）、聚焦透镜19（19R、19L）、以及光圈20（20R、20L）。变焦透镜18、聚焦透镜19、以及光圈20分别由变焦透镜控制单元22（22R、22L）、聚焦透镜控制单元23（23R、23L）、以及光圈控制单元24（24R、24L）驱动。每个控制单元22、23、24包括步进电机，并且受从连接至CPU（中央处理单元）26的电机驱动器（未示出）馈送的驱动脉冲控制。

在两个成像光学系统11（11R、11L）后面分别布置有CCD（电荷耦合器件）图像传感器（下文中称为“CCD”）29（29R、29L）。CCD29可以用MOS（金属氧化物半导体）类型的图像传感器代替。如所公知的那样，CCD29具有光电转换表面，其具有布置在其中的多个光电转换元件。被摄体光束经由成像光学系统11入射到光电转换表面上使得在其上形成被摄体图像。定时产生器（TG31（31R、31L））受CPU26控制，并且分别连接到各CCD29。电子快门的快门速度（每个光电转换元件的电荷累积时间）响应于从TG31输入的定时信号（时钟脉冲）而被确定。

从CCD29输出的成像信号输入至模拟信号处理电路33（33R、33L）。模拟信号处理电路33包括相关双采样电路（CDS）、放大器（AMP）等。CDS根据成像信号产生分别与各像素的电荷累积时间相对应的R、G、B图像数据。AMP对产生的图像数据进行放大。

AMP用作调整CCD29的灵敏度的灵敏度调整单元。CCD29的ISO（国际标准化组织）灵敏度由AMP的增益确定。A/D（数字-模拟）转换器36（36R、36L）将放大的图像数据从模拟图像数据转换为数字图像数据。从A/D转换器36（36R、36L）输出的数字图像数据经由图像输入控制器38（38R、38L）被用作工作存储器的SDRAM（同步动态随机存取存储器）39分别临时存储为右视点图像数据和左视点图像数据。

数字信号处理单元41从SDRAM39读出图像数据，使图像数据经历各种图像处理（诸如灰度转换、白平衡校正、伽马校正处理、以及YC转换处理）并且将图像数据再次存储在SDRAM39中。已经由数字信号处理单元41进行了图像处理的图像数据在VRAM（视频随机存取存储器）65中被获取为实时取景图像，并且被转换为用于由显示控制单元42输出的视频的模拟信号，然后显示在监视器13上。在释放按钮14被全按时所获取的已进行了图像处理的图像数据被压缩/解压处理单元43以预定压缩格式（例如，JPEG（联合图像专家组）格式）进行压缩，然后经由介质控制单元15在存储卡16中被记录为记录图像。

操作单元25用于执行数码相机10的各种操作，并且包括各种按钮开关120至134，如图1和图2所示。

CPU26被提供为集中控制数码相机10。CPU26基于存储在闪存ROM（只读存储器）60和ROM61中的用于各种类型的控制的每一个控制的程序和设置信息、以及来自姿势检测传感器73和操作单元25的输入信号来控制每个单元，诸如电池70、电源控制单元71、以及时钟单元72。

数码相机10包括执行AE（自动曝光）/AWB（自动白平衡）控制的AE/AWB控制单元47、和检测多个立体图像帧的每一个中的代表视差的视差检测单元49。数码相机10包括控制闪光灯5的光发射定时和光发射量的闪光灯控制单元28。

AE/AWB控制单元47在释放按钮14被半按时分析由CCD29获取的图像（拍摄图像），并且基于关于被摄体的亮度信息来计算光圈20的光圈值和CCD29中的电子快门的快门速度。AE/AWB控制单元47基于计算结果经由光圈控制单元24控制光圈值，并且经由TG31控制快门速度。

例如，基于由两个成像光学系统11R和11L的CCD29R和29L中的一个获取的拍摄图像（右视点图像或左视点图像）来计算成像光学系统11R和11L两者各自的光圈值和快门速度。可以基于由两个成像光学系统11R和11L两者分别获取的拍摄图像（右视点图像和左视点图像）来计算成像光学系统11R和11L的各个光圈值和快门速度。

AF控制单元45在释放按钮14被半按时执行AF搜索控制，用于将聚焦透镜19R和19L沿光轴移动以计算对比度值，并且执行对焦控制，用于基于对比度值将聚焦透镜19R和19L移动至对焦透镜位置。基于在由CCD29R和29L分别获取的拍摄图像的预定对焦评估值计算区域内的图像信号来计算“对比度”值。“对焦透镜位置”是聚焦透镜19R和19L至少聚焦在主被摄体上的各自位置。

例如，当通过电机驱动器27R和27L的驱动来移动两个成像光学系统11R和11L中的聚焦透镜19R和19L的至少一个时，计算通过成像光学系统11R和11L中的一个获取的拍摄图像（右视点图像或左视点图像）中的对比度值。两个成像光学系统11R和11L中的聚焦透镜19R和19L的对焦透镜位置分别基于该对比度值来确定，并且电机驱动器27R和27L分别被驱动以分别将聚焦透镜19R和19L移动至各自对焦透镜位置。对焦透镜位置可以分别在两个成像光学系统11R和11L中通过执行AF搜索控制来确定。

姿势检测传感器73检测成像光学系统11R和11L相对于预定姿势旋转的方向和角度。

相机抖动控制单元62对已由姿势检测传感器73检测到的光轴上的移动进行校正，以通过利用电机对分别设置在成像光学系统11R和11L中的各校正透镜（未示出）进行驱动来防止相机抖动。

CPU26控制面部识别单元64以便根据分别与由成像光学系统11R和11L获取的被摄体图像相对应的左图像数据和右图像数据执行面部识别。面部识别单元64根据由CPU26执行的控制来开始面部识别，并且根据左图像数据和右图像数据执行面部识别。面部识别单元64存储面部区域信息，其包括关于分别从SDRAM39中的左图像数据和右图像数据识别出的面部区域的位置信息。面部识别单元64可以通过诸如样板匹配的已知方法来从存储在SDRAM39中的图像识别出面部区域。被摄体的面部区域包括拍摄图像中的人和动物的面部区域。

面部对应确定单元66确定从右图像数据识别的面部区域与从左图像数据识别的面部区域之间的对应关系。更具体地，面部对应确定单元66在已分别从左图像数据和右图像数据识别的多组面部区域中指定出其位置信息最接近的一组面部区域。面部对应确定单元66对关于构成该组的面部区域的图像信息进行匹配，并且当其之间的同一性的可信度超过预定阈值时确定构成该组的面部区域具有对应关系。

视差检测单元49计算左图像数据与右图像数据的预定区域之间的代表视差。

例如，如下计算代表视差。首先，视差检测单元49计算构成该组的面部区域之间的各对应的特定点（对应点）之间的位置的差异。视差检测单元49计算在构成该组的面部区域中包含的各点处的视差的平均值，然后取平均值作为该组中的代表视差。当多个面部区域被确定为具有对应关系时，视差检测单元49只针对各面部区域中的主要面部区域计算代表视差，然后将主要面部区域中的代表视差存储在SDRAM39中。主要面部区域包括与屏幕的中心最接近的面部区域、与对焦评估值计算区域最接近的面部区域、以及最大尺寸的面部区域。

可替换地，视差检测单元49计算左图像和右图像之间具有对应关系的预定区域（例如，图像中心区域和对焦评估值计算区域）中的对应点之间的视差的平均值，然后取平均值做为该组中的代表视差。

将关于具有对应关系的各预定区域的位置信息以及各预定区域的代表视差与左图像数据和右图像数据进行匹配，并将位置信息和及其代表视差存储在SDRAM39中。例如，关于具有对应关系的各面部区域的位置信息以及各面部区域的代表视差被存储为关于图像数据的附属信息（头部、标签、元信息等）。当图像数据在存储卡16中被压缩并记录为记录图像时，关于面部区域的位置信息和代表视差在关于记录图像的附属信息中被一同记录为诸如Exif（可交换图像文件格式）的标签信息。

显示允许视差宽度获取单元204获取显示允许最小视差Dmin和显示允许最大视差Dmax，然后将获取的视差输入至视差调整单元202。视差可以以任意方式获取，可以从操作单元25输入，可以从ROM61和关于立体活动图像数据的附属信息等输入，或者可以从监视器13输入为控制信息。

显示允许最大视差Dmax定义了发散方向（监视器13上立体图像后退的方向）上的视差的界限。如图4A所示，人的眼睛不是向外张开的，使得其间的视差超过瞳距的左图像和右图像不会融合在一起，从而观看者不能将该左图像和右图像识别为一个图像，引起眼睛疲劳。当考虑儿童观看者时，瞳距约为5cm。因此，组成监视器13的与瞳距相对应的像素的数量为显示允许最大视差Dmax。例如，当监视器13是16:9英寸大小的高清电视机，并且其分辨率为1920×1080时，针对每种尺寸的监视器13的显示允许最小视差Dmin如图4B所示。如果监视器13的尺寸较小，如包含在数码相机或移动电话中的屏幕，则发散方向上的视差不容易成为问题。然而，在监视器13具有大尺寸的显示表面（如电视机）时，发散方向上的视差会成为问题。

显示允许最小视差Dmin定义了（监视器13上的立体图像突出的方向上的）过度视差的界限。不像显示允许最大视差Dmax那样，显示允许最小视差Dmin不能根据瞳距来被唯一确定。例如，用于确定显示允许最小视差Dmin的输出条件包括（1）监视器13的尺寸、（2）监视器13的分辨率、（3）观看距离（从观看者到监视器13的距离）、以及（4）观看者个人的立体融合界限。

作为一个标准示例，（2）高清电视机的监视器13的分辨率为1920×1080，以及（3）观看距离是监视器13的屏幕高度的三倍。当这些被预先假定时，（4）一般的立体融合界限为57像素（近似一度的视差角）。可以基于用户的操作和关于监视器13的设置信息来从外部输入信息（1）至（4）。例如，用户可以经由操作单元25输入其本人观看的监视器13的分辨率、观看距离、以及立体融合界限。然而，如果没有特别地从外部输入信息（2）至（4），则上述标准示例从ROM61等读出，并输入至视差调整单元202。

视差调整单元202执行视差调整以使左图像数据和右图像数据的代表视差的最大值和最小值落入显示允许视差宽度之内，显示允许视差宽度包括显示允许最小视差Dmin至显示允许最大视差Dmax的范围。视差调整包括在正（上）方向或负（下）方向上按统一移动量移动每个代表视差和/或按统一缩小比率缩小每个代表视差。

图5是示出视差调整处理的流程图。用于使数码相机10中的每个模块执行处理的程序存储在诸如ROM61的计算机可读存储介质中。

在步骤S101，视差调整单元202尝试根据SDRAM39或存储卡16中存储的立体活动图像的立体图像帧中的左图像数据和右图像数据以及关于该立体活动图像的附属信息来读出针对该立体活动图像的每个立体图像帧的代表视差。

在步骤S102，显示允许视差宽度获取单元204获取SDRAM39中的显示允许视差宽度。显示允许视差宽度是指从显示允许最小视差Dmin至显示允许最大视差Dmax的范围。显示允许视差宽度的获取来源包括操作单元25、内置ROM61、外部监视器13、电子装置等。

在步骤S103，视差调整单元202从每个立体图像帧中的代表视差中指定代表视差的最大值pmax和代表视差的最小值pmin，并且计算立体视差宽度=pman-pmin。视差调整单元202确定立体活动图像视差宽度是否小于显示允许视差宽度。如果答案是肯定的，则处理进行至步骤S105。如果答案是否定的，则处理进行至步骤S104。

在步骤S104，视差调整单元202调整每个立体图像帧中的代表视差使得立体活动图像视差宽度落入显示允许视差宽度内。

在步骤S105，视差调整单元202确定代表视差的最大值pmax是否大于显示允许最大视差Dmax。如果答案是肯定的，则处理进行至步骤S107。如果答案是否定的，则处理进行至步骤S106。

在步骤S106，视差调整单元202确定代表视差的最小值pmin是否小于显示允许最小视差Dmin。如果答案是肯定的，则处理进行至步骤S107。如果答案是否定的，则处理进行至步骤S108。

在步骤S107，视差调整单元202移动每个立体图像帧中的代表视差使得立体活动图像视差宽度落入显示允许视差宽度内。

在步骤S108，视差调整单元202将存储在ROM61等中的代表视差-输出视差转换表读出至SDRAM39。视差调整单元202根据存储在ROM61等中的代表视差-输出视差转换表来确定与每个立体图像帧中的代表视差相对应的输出视差。

图6示出了代表视差-输出视差转换表的一个示例。图6所示的表定义了与具有每个立体图像帧的任意值的代表视差相对应的整数输出视差。例如，根据该表，代表视差M至M+t对应于输出视差N，以及代表视差M至M+2t对应于输出视差N+1。由于图像的最小显示单位为一个像素，因此输出视差在以像素单位表示时变为整数。

图7A和图10B示意示出了怎样通过该处理执行视差调整。

图7A和图7B示出了视差宽度调整的一个示例。如图7A所示，如果立体活动图像视差宽度超过显示允许视差宽度，则如图7B所示，每个立体图像帧中的代表视差以统一缩小比率(X-Y)/X而缩小，使得立体活动图像视差宽度落入显示允许视差宽度的范围内。

从步骤S103行进至S107的模式包括四种模式，即，（1）在步骤S103中为“是”且在步骤S105中为“是”，（2）在步骤S103中为“否”且在步骤S105中为“是”，（3）在步骤S103中为“是”在步骤S105中为“否”并且在步骤S106中为“是”，以及（4）在步骤S103中为“否”、在步骤S105中为“否”并且在步骤S106中为“是”。

图8A和图8B示出了在模式（1），即在没有执行视差宽度调整的情况下在负方向上的移动。

例如，如图8A所示，每个立体图像帧中的代表视差的最大值pmax超过显示允许最大视差Dmax，但立体活动图像视差宽度小于显示允许视差宽度，则如图8B所示，代表视差在负方向上移动统一宽度W1，以执行调整使得所有立体图像帧中的代表视差落入显示允许视差宽度的范围内。这里，W1=pmin-Dmin。

图9A和图9B示出了在模式（2），即执行视差宽度调整的情况下在负方向上的移动。

如图9A所示，如果在视差宽度调整之后的每个立体图像帧中的代表视差的最大值pmax超过显示允许最大视差Dmax，则如图9B所示，代表视差在负方向上移动统一宽度W2。这里，W2=pmin-Dmin。

图10A和10B示出了在模式（3），即没有执行视差宽度调整的情况下在正方向上的移动。

可替换地，如图10A所示，如果每个立体图像帧中的代表视差的最小值pmin小于显示允许最小视差Dmin，则如图10B所示，代表视差在正方向上移动统一宽度W3。这里，W3=Dmin-pmin。

尽管省略了模式（4）的图解说明，然而，如果在视差宽度调整之后的每个立体图像帧中的代表视差的最小值pmin小于显示允许最小视差Dmin，则代表视差也类似地在正方向上移动统一宽度。

图11是示出图像边缘调整处理的流程图。该处理在完成视差调整处理之后执行。用于使数码相机10中的每个模块执行该处理的程序存储在诸如ROM61的计算机可读存储介质中。

在步骤S201，图像处理单元209在与各立体图像帧对应的各右非显示区域中指定出具有最小水平宽度的最小右非显示区域，所述右非显示区域是由于对每个立体图像帧进行视差调整处理而在监视器13的显示表面内出现的。图像处理单元209在与各立体图像帧对应的各左非显示区域中指定出具有最小水平宽度的最小左非显示区域，所述左非显示区域是由于对每个立体图像帧进行视差调整处理而在监视器13的显示表面内出现的。

非显示区域是监视器13的显示表面内的不存在关于左视点图像和右视点图像的相应图像信息的区域。右非显示区域是置于显示表面内的左视点图像的右侧处的非显示区域，以及左非显示区域是置于显示表面内的右视点图像的左侧处的非显示区域。

例如，分别与立体图像帧F1至F4相对应的左非显示区域/右非显示区域是BR1（L）/BR1（R）至BR4（L）/BR4（R）。在非显示区域BR1（L）/BR1（R）至BR4（L）/BR4（R）中与立体图像帧F1相对应的非显示区域BR1（L）/BR1（R）的水平宽度（即在监视器13的显示表面的水平方向上的长度）是最小的。因此，图像处理单元209将BR1（L）指定为最小左非显示区域，以及将BR1（R）指定为最小右非显示区域。

图像处理单元209然后将最小左非显示区域的右边缘线LN（L）和最小右非显示区域的左边缘线LN（R）分别设置为在各立体图像帧中共同的左基准线和右基准线。

然后，图像处理单元209针对每个图像帧指定左补全目标区域，其用作与屏幕左侧的非显示区域中的左基准线LN（L）相比更接近于显示表面中心的局部区域。图像处理单元209针对每个图像帧指定右补全目标区域，其用作与屏幕右侧的非显示区域中的右基准线LN（R）相比更接近于显示表面中心的局部区域。

图12示出了分别与帧F1至F4相对应的左补全目标区域EL1（L）至EL4（L）和右补全目标区域EL1（R）至EL4（R）。

图像处理单元209获取组成与当前立体图像帧相对应的左补全目标区域的像素的数量以及组成与当前立体图像帧相对应的右补全目标区域的像素的数量。

在步骤S202，图像处理单元209确定组成与当前立体图像帧相对应的左补全目标区域的像素的数量以及组成与当前立体图像帧相对应的右补全目标区域的像素的数量两者是否均超过预定阈值。如果答案是肯定的，则处理进行至步骤S203。如果答案是否定的，处理进行至步骤S206。当该处理开始时，当前立体图像帧是立体活动图像的第一立体图像帧。此后，每次重复步骤S208时切换当前立体图像帧。

在步骤S203，图像处理单元209根据在与当前立体图像帧相对应的左视点像素和右视点像素的左边缘处的各区域当中用作与组成左补全目标区域的像素的数量相对应的一个区域的左补全基准区域，来计算代表每个高频和低频成分的强度的直方图。

图像处理单元209根据在与当前立体图像帧相对应的左视点像素和右视点像素的右边缘处的各区域当中用作与组成右补全目标区域的像素的数量相对应的一个区域的右补全基准区域，来计算代表每个高频和低频成分的强度的直方图。

图12示出了分别与帧F1至F4相对应的左补全基准区域D1（L）至D4（L）和右补全基准区域D1（R）至D4（R）。

在步骤S204，图像处理单元209确定与当前立体图像帧相对应的左补全基准区域中的高频成分的频率是否超过预定阈值。如果答案是肯定的，则处理进行至步骤S205。如果答案是否定的，则处理进行至步骤S206。

图像处理单元209确定与当前立体图像帧相对应的右补全基准区域中的高频成分的频率是否超过预定阈值。如果答案是肯定的，则处理进行至步骤S205。如果答案是否定的，则处理进行至步骤S206。

在步骤S205，如果确定与当前立体图像帧相对应的左补全基准区域中的高频成分的频率超过预定阈值，则图像处理单元209将关于左补全基准区域的图像信息复制到左补全目标区域上，以补全关于左补全目标区域的图像信息。

可替换地，如果确定与当前立体图像帧相对应的右补全基准区域中的高频成分的频率超过预定阈值，则图像处理单元209将关于右补全基准区域的图像信息复制到右补全目标区域上，以补全关于右补全目标区域的图像信息。

该步骤是这样的处理：直接将分别存在于左补全基准区域和右补全基准区域中的特征图案复制到左补全目标区域和右补全目标区域上，以进行较不明显的图像信息的补全。

在步骤S206，如果图像处理单元209确定与当前立体图像帧相对应的左补全基准区域中的高频成分的频率不超过预定阈值，则图像处理单元209从关于左补全基准区域的图像信息中获取浓度梯度信息和颜色信息。图像处理单元209根据浓度梯度信息将颜色信息从左补全基准区域扩展至左补全目标区域，以补全关于左补全目标区域的图像信息。

如果图像处理单元209确定与当前立体图像帧相对应的右补全基准区域中的高频成分的频率不超过预定阈值，则图像处理单元209从关于右补全基准区域的图像信息中获取浓度梯度信息和颜色信息。图像处理单元209根据浓度梯度信息将颜色信息从右补全基准区域扩展至右补全目标区域，以补全关于右补全目标区域的图像信息。

该步骤是这样的处理：直接将分别存在于左补全基准区域和右补全基准区域中的梯度扩展至补全目标区域，以进行较不明显的图像信息的补全。通常，浓度梯度信息是用于确定与一个像素的位置相对应的每种颜色的浓度的函数。

在步骤S208，图像处理单元209将作为当前立体图像帧的后一帧的立体图像帧设置为新的当前立体图像帧。在从视差调整之后的所有立体图像帧中顺序地一次选择一个当前立体图像帧。例如，分别与步骤S201至步骤S207的第一循环至第四循环相对应的当前立体图像帧分别是图12所示的立体图像帧F1至F4。

在步骤S209，显示控制单元42根据在步骤S108确定的输出视差在监视器13上顺序显示已分别补全了图像信息的各立体图像帧，以再现立体活动图像。

如果在步骤S205和步骤S206中的任何一个中执行补全，则优选地针对基准线LN（L）和LN（R）附近的图像信息执行平滑处理，以使原始视点图像和补全的图像之间的边界部分模糊。

根据上述处理，图像信息统一地补全到由于视差调整导致的每个立体图像帧外侧出现的非显示区域中的基准线LN（L）和LN（R）的位置。因此，所有立体图像帧为同一尺寸，并且图像的非显示区域的尺寸不会针对每个立体图像帧而变化，使得立体活动图像容易观看。

此外，以梯度的扩展以及图像信息的复制来执行对补全目标区域的图像信息的补全。如果组成补全目标区域的像素的数量小于阈值或者在补全基准区域中的特征高频成分的数量较小，则通过梯度的延伸来补全图像信息。如果组成补全区域的像素的数量大于阈值，并且在补全基准区域中的特征高频成分的数量较大，则通过复制补全基准区域来补全图像信息。因此，防止了补全目标区域不自然地显眼。

<第二实施例>

在第一实施例中的步骤S206中，如果补全基准区域包括朝向补全目标区域延伸的线段，则检测该线段，并且针对通过该线段分开的每个区域扩展颜色信息。因此，补全目标区域和补全基准区域之间的统一感增加，以更有效防止补全目标区域不自然地显眼。

更具体地，图像处理单元209从当前立体图像帧中的左补全基准区域和右补全基准区域中检测直线。可以通过已知技术检测该直线。例如，对左补全基准区域和右补全基准区域中的每一个进行差分处理，以提取图像的边缘成分，对提取的边缘成分的点序列进行Hough变换，以根据Hough变换的函数值产生直方图，以及检测直方图中的频率的峰值点，以从补全基准区域中提取与检测到的峰值点相对应的直线成分以及其颜色，如分别在日本专利申请公开第2008-42800号和日本专利申请第6-314339号中讨论的方法中那样。

图像处理单元209在检测到的直线成分中选择到达基准线LN（L）和LN（R）的那些直线成分，以及分别将选择的直线成分确定为将要延伸的各直线。

图像处理单元209针对被要在补全基准区域中延伸的一对直线分开的每个区域来获取颜色信息。然后图像处理单元209把将要延伸的该对直线延伸至补全目标区域。当延伸将要延伸的直线时，其各自的颜色保持相同。图像处理单元209在延伸之后将颜色信息复制到被要延伸的该对直线分开的各区域。

此外，图像处理单元209可以针对每个分开的区域获取浓度梯度信息，并根据浓度梯度信息为相应的分开的区域分配梯度。

图13示出了直线和用于被该直线分开的每个区域的颜色的延伸的一个示例。因此，在图像的边缘处的线和颜色延伸至未显示图像的区域，以防止整个立体活动图像被破坏的现象。

<第三实施例>

在第一实施例中，基准线LN（L）和LN（R）被设置以分别与具有最大视差调整量的立体图像帧中的各非显示区域相匹配，以及在每个立体图像帧中通过将基准线LN（L）和LN（R）使用为屏幕的两端的界限来补全各非显示区域。

替代地，图像处理单元209可以将基准线LN（L）和LN（R）设置为分别与各立体图像帧中的具有最小视差调整量的一个立体图像帧的各非显示区域相匹配，以及在每个立体图像帧中以基准线LN（L）和LN（R）作为界限来补全各非显示区域。

例如，在图14的立体图像帧F1至F4中，立体图像帧F3的视差调整量最小，即为零。图像处理单元209将与立体图像帧F3中的左非显示区域的右端线相对应的基准线LN（L）和与右非显示区域的左端线相对应的基准线（R）设置为立体图像帧F1至F4当中共同的左基准线和右基准线。

图像处理单元209针对每个立体图像帧F1至F4补全与基准线LN（L）和LN（R）相比存在于屏幕上的更内侧处的各非显示区域。例如，在立体图像帧F1中内侧区域R1in被补全，这是因为其与基准线LN（L）和LN（R）相比存在于屏幕上的更内侧处。补全方法与第一实施例中的补全方法类似。

此外，关于与基准线LN（L）和LN（R）相比分别存在于屏幕的更外侧的左视点图像和右视点图像的图像信息优选地被删除。图像处理单元209针对每个立体图像帧F1至F4而删除与基准线LN（L）和LN（R）相比存在于屏幕的更外侧的左视点图像和右视点图像的局部区域。例如，在立体图像帧F1中，外部区域R1out被删除并取作为非显示区域，这是因为其与基准线LN（L）和LN（R）相比存在于屏幕的更外侧。

类似地，分别与图像帧F2以及图像帧F4相对应的外部区域R2out和R4out以及内部区域R2in和R4in也被删除或者补全。针对具有零视差调整量的立体图像帧F3不补全也不删除图像信息。

此外，图像处理单元209可以根据活动图像视差宽度在第一实施例中的补全处理与第三实施例中的补全处理之间进行切换。

例如，如果某一立体活动图像的活动图像视差宽度超过预定阈值，则图像处理单元209执行第一实施例中的补全处理。第一实施例中的补全处理适合于在优选地保持图像原始状态的同时显示图像，这是因为不删除该图像。相反地，如果针对每个立体图像帧的视差大大地变化，则在执行第三实施例中的补全处理的情况下图像信息的删除量增加。因此，第一实施例中的补全处理是优选的。

另一方面，如果某一立体活动图像的活动图像视差宽度不超过预定阈值，则图像处理单元209执行第三实施例中的补全处理。如果针对每个立体图像帧的视差变化不大，则在执行第三实施例中的补全处理的情况下补全目标区域减小。因此，立体活动图像的质量保持较高，并且处理量也小。此外，如果具有零视差调整量的立体图像帧被用作基准线LN（L）和LN（R）的设置基准，则处理之后的每个立体图像帧的长宽比可以保持原始状态。

无论使用哪个方法进行补全，补全目标区域都不是关注点，使得整个立体活动图像的感觉不会被认为是被补全处理大大改变。

执行上述处理所需的模块可以设置在除数码相机之外的电子装置中。例如，如图15所示，包括CPU26、VRAM65、SDRAM39、闪存ROM60、ROM61、压缩/解压处理单元43、介质控制单元15、视差检测单元49、视差调整单元202、图像输入单元201（即图像输入控制器38和介质控制器15）、显示允许视差宽度获取单元204、图像输出单元208（即，监视器13和介质控制器15）、以及图像处理单元209的图像处理设备也可以执行该处理。

要通过图像输入单元201输入的立体活动图像不限于从成像装置直接输出的图像。立体活动图像的示例包括通过介质控制单元15从诸如存储卡16的介质中读出的图像和经由网络接收的图像。

通过图像输出单元206输出的进行了视差调整的图像的输出目的地不限于显示控制单元42和监视器13。该图像不必在视差调整之后立即显示。例如，介质控制单元15可以将针对每个立体图像帧的调整之后的代表视差（即，输出视差）在诸如存储卡16的介质上记录为与该立体图像帧相对应的立体活动图像数据。可替换地，立体活动图像数据可以经由网络发送。可替换地，每个立体图像帧可以是由诸如双凸透镜印刷物（lenticular print）的印刷产品。

关于是否要操作视差调整处理的模式设置和定时是可选择的。例如，视差调整处理可以不在成像模式的开始时执行。然而，视差调整处理在释放按钮14被全按的时刻开始。可替换地，视差调整处理在存储卡16中的立体活动图像数据显示在诸如电视机的外部监视器13上的时刻开始。

根据上述每个实施例的图像处理设备和图像处理方法也可以提供为具有显示立体活动图像功能的图像处理设备或可应用到图像处理设备的程序、用于使图像处理设备执行上述处理的计算机可读程序、以及存储该程序的记录介质。

参考符号列表

49视差检测单元，202视差调整单元，204显示允许视差宽度获取单元，209图像处理单元

Claims (18)

1.一种图像处理设备，包括：

视差获取单元，其接收构成立体活动图像的多个立体图像帧的输入，并且获取构成每个立体图像帧的左视点图像与右视点图像之间的水平方向上的视差；

视差调整单元，其根据立体活动图像的输出条件来调整每个立体图像帧的水平方向上的视差；

基准边界设置单元，其基于在左非输出区域和右非输出区域当中的满足预定基准的各个左非输出区域和右非输出区域的在水平方向上的宽度来设置各立体图像帧中共同的左基准边界和右基准边界，所述左非输出区域和所述右非输出区域分别用作这样的区域：其中与对应于已由所述视差调整单元调整了视差的每个立体图像帧的左视点图像和右视点图像有关的图像信息不存在于预定输出平面的左端和右端；

图像处理单元，其针对用作与由所述基准边界设置单元设置的左基准边界和右基准边界相比更接近于所述输出平面的中心而分别布置的非输出区域的左补全目标区域和右补全目标区域，将与用作在分别与所述左补全目标区域和右补全目标区域相邻的左视点图像和右视点图像内的各局部区域的各邻近区域有关的图像信息，分别应用到所述左补全目标区域和所述右补全目标区域，以补全与每个立体图像帧中的所述左补全目标区域和所述右补全目标区域有关的图像信息；以及

输出单元，其根据由所述视差调整单元调整的视差来输出其中已由所述图像处理单元将所述图像信息补全到所述左补全目标区域和所述右补全目标区域的每个立体图像帧。

2.根据权利要求1所述的图像处理设备，其中所述基准边界设置单元基于与在所述输出平面的水平方向上具有最小宽度的左非输出区域和右非输出区域的中心更接近的各边界来设置所述左基准边界和所述右基准边界。

3.根据权利要求1所述的图像处理设备，其中所述基准边界设置单元基于和与通过所述视差调整单元调整而在水平方向上具有零视差调整量的立体图像帧相对应的左非输出区域和右非输出区域的中心更接近的各边界来设置所述左基准边界和所述右基准边界。

4.根据权利要求3所述的图像处理设备，其中所述图像处理单元删除与相比于所述左基准边界和所述右基准边界位于所述输出平面的更外侧的左视点图像和右视点图像有关的图像信息。

5.根据权利要求1至4中任一项所述的图像处理设备，其中所述图像处理单元执行用于将与所述邻近区域有关的图像信息复制到补全目标区域的第一补全处理，以补全所述图像信息。

6.根据权利要求5所述的图像处理设备，其中所述图像处理单元执行用于将与所述邻近区域有关的颜色信息应用到所述补全目标区域的第二补全处理，以补全所述图像信息。

7.根据权利要求6所述的图像处理设备，其中所述图像处理单元根据与所述邻近区域的颜色有关的浓度梯度信息来将所述邻近区域的颜色扩展至所述补全目标区域，以补全所述图像信息。

8.根据权利要求7所述的图像处理设备，其中所述图像处理单元将在与左邻近区域和右邻近区域有关的图像信息中包含的直线分别延伸至所述左补全目标区域和所述右补全目标区域，以补全所述图像信息。

9.根据权利要求8所述的图像处理设备，其中所述图像处理单元将用于通过所述左邻近区域和所述右邻近区域中的直线分开的每个局部区域的颜色信息应用到通过延伸至所述左补全目标区域和所述右补全目标区域的直线分开的每个局部区域，以补全所述图像信息。

10.根据权利要求6至9中任一项所述的图像处理设备，其中所述图像处理单元确定与所述邻近区域有关的图像信息是否满足预定基准，以基于该确定结果来执行所述第一补全处理和所述第二补全处理中的任何一个。

11.根据权利要求10所述的图像处理设备，其中当所述邻近区域中的高频成分的频率超过预定阈值时，所述图像处理单元执行所述第一补全处理，并且当所述邻近区域中的高频成分的频率不超过所述预定阈值时，所述图像处理单元执行所述第二补全处理。

12.根据权利要求6至11中任一项所述的图像处理设备，其中当组成所述左补全目标区域和所述右补全目标区域的每一个的像素的数量低于预定阈值时，所述图像处理单元将与所述左邻近区域和所述右邻近区域有关的颜色信息应用到所述左补全目标区域和所述右补全目标区域，以补全所述图像信息。

13.根据权利要求2所述的图像处理设备，其中当由每个立体图像帧中视差的最大值和最小值限定的视差宽度超过预定阈值时，所述基准边界设置单元基于与在所述输出平面的水平方向上具有最小宽度的左非输出区域和右非输出区域的中心更接近的各边界来设置所述左基准边界和所述右基准边界。

14.根据权利要求4所述的图像处理设备，其中当由每个立体图像帧中视差的最大值和最小值限定的视差宽度不超过预定阈值时，所述基准边界设置单元基于和与通过所述视差调整单元调整而具有零视差调整量的立体图像帧相对应的左非输出区域和右非输出区域的中心更接近的各边界来设置所述左基准边界和所述右基准边界。

15.根据权利要求1至14中任一项所述的图像处理设备，其中所述图像处理单元使所述左基准边界和所述右基准边界的附近的图像信息平滑。

16.一种图像处理方法，其用于使图像处理设备执行如下步骤：

接收构成立体活动图像的多个立体图像帧的输入，并且获取构成每个立体图像帧的左视点图像与右视点图像之间的水平方向上的视差；

根据立体活动图像的输出条件来调整每个立体图像帧的水平方向上的视差；

基于在左非输出区域和右非输出区域当中的满足预定基准的各个左非输出区域和右非输出区域的水平方向上的宽度来设置各立体图像帧中共同的左基准边界和右基准边界，所述左非输出区域和所述右非输出区域分别用作这样的区域：其中与对应于已调整了视差的每个立体图像帧的左视点图像和右视点图像有关的图像信息不存在于预定输出平面的左端和右端；

针对用作与所述左基准边界和所述右基准边界相比更接近于所述输出平面的中心而分别布置的非输出区域的左补全目标区域和右补全目标区域，将与用作在分别与所述左补全目标区域和右补全目标区域相邻的左视点图像和右视点图像内的各局部区域的各邻近区域有关的图像信息，分别应用到所述左补全目标区域和所述右补全目标区域，以补全与每个立体图像帧中的所述左补全目标区域和所述右补全目标区域有关的图像信息；以及

根据调整的视差来输出其中已将所述图像信息补全到所述左补全目标区域和所述右补全目标区域的每个立体图像帧。

17.一种图像处理程序，用于使图像处理设备执行如下步骤：

接收构成立体活动图像的多个立体图像帧的输入，并且获取构成每个立体图像帧的左视点图像与右视点图像之间的水平方向上的视差；

根据立体活动图像的输出条件来调整每个立体图像帧的水平方向上的视差；

基于在左非输出区域和右非输出区域当中的满足预定基准的各个左非输出区域和右非输出区域的水平方向上的宽度来设置各立体图像帧中共同的左基准边界和右基准边界，所述左非输出区域和所述右非输出区域分别用作这样的区域：其中与对应于已调整了视差的每个立体图像帧的左视点图像和右视点图像有关的图像信息不存在于预定输出平面的左端和右端；

针对用作与所述左基准边界和所述右基准边界相比更接近于所述输出平面的中心而分别布置的非输出区域的左补全目标区域和右补全目标区域，将与用作在分别与所述左补全目标区域和右补全目标区域相邻的左视点图像和右视点图像内的各局部区域的各邻近区域有关的图像信息，分别应用到所述左补全目标区域和所述右补全目标区域，以补全与每个立体图像帧中的所述左补全目标区域和所述右补全目标区域有关的图像信息；以及

根据调整的视差来输出其中已将所述图像信息补全到所述左补全目标区域和所述右补全目标区域的每个立体图像帧。

18.一种计算机可读记录介质，其中当存储在所述记录介质中的命令被处理器读取并执行时，所述处理器执行如下步骤：

接收构成立体活动图像的多个立体图像帧的输入，并且获取构成每个立体图像帧的左视点图像与右视点图像之间的水平方向上的视差；

根据立体活动图像的输出条件来调整每个立体图像帧的水平方向上的视差；

基于在左非输出区域和右非输出区域当中的满足预定基准的各个左非输出区域和右非输出区域的水平方向上的宽度来设置各立体图像帧中共同的左基准边界和右基准边界，所述左非输出区域和所述右非输出区域分别用作这样的区域：其中与对应于已调整了视差的每个立体图像帧的左视点图像和右视点图像有关的图像信息不存在于预定输出平面的左端和右端；

针对用作与所述左基准边界和所述右基准边界相比更接近于所述输出平面的中心而分别布置的非输出区域的左补全目标区域和右补全目标区域，将与用作在分别与所述左补全目标区域和右补全目标区域相邻的左视点图像和右视点图像内的各局部区域的各邻近区域有关的图像信息，分别应用到所述左补全目标区域和所述右补全目标区域，以补全与每个立体图像帧中的所述左补全目标区域和所述右补全目标区域有关的图像信息；以及

根据调整的视差来输出其中已将所述图像信息补全到所述左补全目标区域和所述右补全目标区域的每个立体图像帧。

Images