CN102388617A - 复眼摄像装置及其视差调整方法和程序 - Google Patents

Abstract

复眼相机具备：摄像部(21A、21B)，通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像；三维处理部(30)，基于生成的多个视点图像而取得视差量；及CPU(35)，在取得的视差量的一定期间的变动大于规定值、视差量达到规定容许极限值、以及无法检测出视差量的获取对象中的至少一种情况下，判定为视差量存在异常，在不是上述任一种情况的情况下，判定为视差量没有异常，在判定为视差量没有异常时，进行第一视差调整，在判定为视差量存在异常时，切换成与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整。因此，即使在根据多个视点图像求出的视差量自身存在问题或无法检测出视差调整对象的情况下，也能适当地进行视差调整。

Description

复眼摄像装置及其视差调整方法和程序

技术领域

本发明涉及复眼摄像装置及其视差调整方法和程序。

背景技术

以往，提出有具备多个摄像部并生成体视图像的复眼摄像装置。复眼摄像装置基于由多个摄像部分别生成的多个视点图像而生成体视图像，并将该体视图像显示在体视显示用监视器上。

由复眼摄像装置拍摄到的体视图像的立体感会受到用户的双眼的距离、从体视显示用监视器到用户的距离的影响，所以关于复眼摄像装置的体视功能，存在个人差别较大的问题。因此，在复眼摄像装置中，根据用户的操作而能够调整多个视点图像的视差，由此能调整体视图像的立体感。

因此，公开有一种与显示体视图像的显示器的种类无关且符合最初进行视差量调整的用户的意图的、进行视差量调整的技术(参照专利文献1)。

在专利文献1的技术中，基于视差量的变更要求而生成与视差量的调整相关的信息，将其转换成不依赖于显示器的种类的单位的信息而进行记录。并且，当读出记录的信息时，基于该信息而生成与视差量的调整相关的信息，并基于该信息而生成立体显示用的图像。

另外，公开有一种利用高通用性、高便利性的方法来记录体视显示用的摄像图像数据的技术(参照专利文献2)。

在专利文献2的技术中，从立体显示用的多个摄像图像数据中，提取一个基准图像数据与视差图像数据的视差信息而生成差分图像数据。并且，差分图像数据附加于基准图像数据，并且在文件的标题区域中附加表示附加有差分图像数据的附加识别信息。

专利文献1：日本特开2005-73012号公报

专利文献2：日本特开2004-363758号公报

发明内容

然而，当最初的阶段存在问题时，例如，当根据由摄像部得到的多个视点图像而求出的视差量自身存在问题时或无法检测视差调整对象时，会存在即使使用专利文献1及2的技术也无法适当地进行视差调整的问题。

本发明鉴于此种情况而提出，其目的在于提供一种即使在根据多个视点图像求出的视差量自身存在问题时或无法检测视差调整对象时，也能够适当地进行视差调整的复眼摄像装置及其视差调整方法和程序。

本发明的第一方面涉及一种复眼摄像装置，具备：摄像部，通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像；视差量获取部，基于由所述摄像部生成的多个视点图像而取得视差量；异常判定部，在通过所述视差量获取部取得的视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常；及视差调整部，在通过所述异常判定部判定为所述视差量没有异常的情况下，进行第一视差调整，在通过所述异常判定部判定为所述视差量存在异常的情况下，切换成与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整。

本发明的第二方面的复眼摄像装置以本发明的第一方面的复眼摄像装置为基础，其中，在通过所述异常判定部判定为所述视差量存在异常的情况下，所述视差调整部在预定的视差量最大变化量的范围内进行视差调整。

本发明的第三方面的复眼摄像装置以本发明的第一或第二方面的复眼摄像装置为基础，其中，在通过所述异常判定部判定为所述视差量存在异常的情况下，所述视差调整部使用前一帧下的视差量进行视差调整。

本发明的第四方面的复眼摄像装置以本发明的第一至第三方面中任一方面的复眼摄像装置为基础，其中，在通过所述异常判定部判定为所述视差量存在异常的情况下，所述视差调整部使视差调整频率降低。

本发明的第五方面的复眼摄像装置以本发明的第一至第四方面中任一方面的复眼摄像装置为基础，其中，还具备建立关联部，该建立关联部使从通过所述摄像部生成的多个视点图像得到且为了在所述视差量获取部取得所述视差量而使用的信息、使用该信息而通过所述视差量获取部取得的表示视差量的信息、以及表示是否使用该视差量进行了规定处理的信息中的至少一个信息、与对应于该信息并进行了所述视差调整的所述多个视点图像建立关联。

本发明的第六方面的复眼摄像装置以本发明的第五方面的复眼摄像装置为基础，其中，所述建立关联部使所述至少一个信息与对应于该信息并进行了所述视差调整的所述多个视点图像建立关联，且汇总成一个电子化文件。

本发明的第七方面涉及一种复眼摄像装置，具备：摄像部，通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像；视差量获取部，基于由所述摄像部生成的多个视点图像而取得规定目标的视差量；异常判定部，在通过所述视差量获取部取得的视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常；及视差调整部，在通过所述异常判定部判定为所述视差量没有异常的情况下，进行所述规定目标的视差调整，在通过所述异常判定部判定为所述视差量存在异常的情况下，将与所述规定目标不同的其他目标作为对象而进行视差调整。

本发明的第八方面的复眼摄像装置以本发明的第七方面的复眼摄像装置为基础，其中，所述视差调整部将与所述视点图像的图像面垂直的方向上的与所述规定目标距离最近的目标作为所述其他目标。

本发明的第九方面的复眼摄像装置以本发明的第七方面的复眼摄像装置为基础，其中，所述视差调整部将所述视点图像的图像面上的与所述规定目标距离最近的目标作为所述其他目标。

本发明的第十方面的复眼摄像装置以本发明的第七至第九方面中任一方面的复眼摄像装置为基础，其中，还具备建立关联部，该建立关联部使从通过所述摄像部生成的多个视点图像得到且为了在所述视差量获取部取得所述视差量而使用的信息、使用该信息而通过所述视差量获取部取得的表示视差量的信息、以及表示是否使用该视差量进行了规定处理的信息中的至少一个信息、与对应于该信息并进行了所述视差调整的所述规定目标或所述其他目标建立关联。

本发明的第十一方面的复眼摄像装置以本发明的第十方面的复眼摄像装置为基础，其中，所述建立关联部使所述至少一个信息与对应于该信息并进行了所述视差调整的所述规定目标或所述其他目标建立关联，且汇总成一个电子化文件。

本发明的第十二方面涉及一种复眼摄像装置的视差调整方法，基于由摄像部生成的多个视点图像而取得视差量，该摄像部通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像，在所述取得的所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常，在判定为所述视差量没有异常的情况下，进行第一视差调整，在判定为所述视差量存在异常的情况下，切换成与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整。

本发明的第十三方面涉及一种复眼摄像装置的视差调整方法，基于由摄像部生成的多个视点图像而取得规定目标的视差量，该摄像部通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像，在所述取得的所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常，在判定为所述视差量没有异常的情况下，进行所述规定目标的视差调整，在判定为所述视差量存在异常的情况下，将与所述规定目标不同的其他目标作为对象而进行视差调整。

本发明的第十四方面涉及一种复眼摄像装置的视差调整程序，用于使计算机作为如下单元发挥作用：视差量获取部，基于由摄像部生成的多个视点图像而取得视差量，该摄像部通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像；异常判定部，在通过所述视差量获取部取得的视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常；及视差调整部，在通过所述异常判定部判定为所述视差量没有异常的情况下，进行第一视差调整，在通过所述异常判定部判定为所述视差量存在异常的情况下，切换成与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整。

本发明的第十五方面涉及一种复眼摄像装置的视差调整程序，其用于使计算机作为如下单元发挥作用：视差量获取部，基于由摄像部生成的多个视点图像而取得规定目标的视差量，该摄像部通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像；异常判定部，在通过所述视差量获取部取得的视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常；及视差调整部，在通过所述异常判定部判定为所述视差量没有异常的情况下，进行所述规定目标的视差调整，在通过所述异常判定部判定为所述视差量存在异常的情况下，将与所述规定目标不同的其他目标作为对象而进行视差调整。

发明效果

根据本发明，基于各帧的多个视点图像而取得视差量，在取得的视差量的一定期间的变动大于规定值、取得的视差量达到预定的容许极限值、以及无法检测出视差量的获取对象中的至少一种情况下，判定为视差量存在异常。而且，在不是视差量的一定期间的变动大于规定值、视差量达到预定的容许极限值、以及无法检测出视差量的获取对象中的任一种情况的情况下，判定为视差量没有异常。并且，在判定为视差量没有异常的情况下，进行第一视差调整，在判定为视差量存在异常的情况下，切换成与第一视差调整的控制不同的第二视差调整的控制而进行视差调整。因此，即使在视差量存在异常的情况下，也能够使视差量调整稳定。

另外，根据本发明，基于各帧的多个视点图像而取得规定目标的视差量，在取得的视差量的一定期间的变动大于规定值、取得的视差量达到预定的容许极限值、以及无法检测出视差量的获取对象中的至少一种情况下，判定为视差量存在异常。而且，在不是视差量的一定期间的变动大于规定值、视差量达到预定的容许极限值、以及无法检测出视差量的获取对象中的任一种情况的情况下，判定为视差量没有异常。并且，在判定为视差量没有异常的情况下，进行所述规定目标的视差调整，在判定为视差量存在异常的情况下，将与所述规定目标不同的其他目标作为对象而进行视差调整。因此，即使在规定目标的视差量存在异常的情况下，通过调整其他目标的视差量，也能够使视差量调整稳定。

附图说明

图1是本发明的实施方式的复眼相机的正面侧立体图。

图2是复眼相机的背面侧立体图。

图3是表示复眼相机的内部结构的简要框图。

图4是表示摄影部的结构的图。

图5是表示体视图像的图像文件的文件格式的图。

图6是表示监视器的结构的图。

图7是表示透镜片(lenticular sheet)的结构的图。

图8是用于说明对第一及第二图像的三维处理的图。

图9是表示第一视差调整例行程序的流程图。

图10是表示第一视差量获取例行程序的流程图。

图11是表示第二视差量获取例行程序的流程图。

图12是表示第一波动有无判定例行程序的流程图。

图13是表示第二波动有无判定例行程序的流程图。

图14是表示第二视差调整例行程序的流程图。

图15是表示第三视差调整例行程序的流程图。

图16A是表示利用GUI对视差调整对象进行标记后的状态的图。

图16B是表示利用GUI对视差调整对象进行标记后的状态的图。

图16C是表示利用GUI对视差调整对象进行标记后的状态的图。

图17是表示视差关联信息的一例的图。

图18A是用于说明视差关联信息的图。

图18B是用于说明视差关联信息的图。

图19是表示第四视差调整例行程序的流程图。

图20是表示第五视差调整例行程序的流程图。

图21是表示第六视差调整例行程序的流程图。

具体实施方式

[第一实施方式]

以下，参照附图，对本发明的实施方式进行说明。图1是本发明的实施方式的复眼相机1的正面侧立体图，图2是背面侧立体图。

在复眼相机1的上部具备释放按钮2、电源按钮3及变焦杆4。在复眼相机1的正面配置有闪光灯5及两个摄影部21A、21B的透镜。而且，在复眼相机1的背面配置有进行各种显示的液晶监视器(以下简称为“监视器”)7及各种操作按钮8。

图3是表示复眼相机1的内部结构的简要框图。复眼相机1具备两个摄影部21A、21B、摄影控制部22、图像处理部23、压缩/伸长处理部24、帧存储器25、媒体控制部26、内部存储器27、显示控制部28及CPU35。需要说明的是，摄影部21A、21B具有预估被拍摄体的辐辏角，且以成为预先确定的基线长度的方式配置。而且，辐辏角及基线长度的信息存储在内部存储器27中。

图4是表示摄影部21A、21B的结构的图。如图4所示，摄影部21A、21B分别具备透镜10A、10B、光圈11A、11B、快门12A、12B、摄像元件13A、13B、模拟前端(AFE)14A、14B及A/D转换部15A、15B。

透镜10A、10B具有用于使焦点与被拍摄体一致的聚焦透镜、用于实现变焦功能的变焦透镜等不同的多个功能的透镜。透镜10A、10B的位置基于通过摄影控制部22的AF处理部22a得到的对焦数据及操作图1及图2所示的变焦杆4时得到的变焦数据，由未图示的透镜驱动部进行调整。

相对于光圈11A、11B，基于通过摄影控制部22的AE处理部22b得到的光圈值数据，通过未图示的光圈驱动部进行光圈直径的调整。

快门12A、12B是机械快门，通过未图示的快门驱动部，根据由AE处理部22b得到的快门速度进行驱动。

摄像元件13A、13B具有将多个受光元件排列成二维状的光电面。被拍摄体光在该光电面上成像，进行光电转换而取得模拟摄影信号。而且，在摄像元件13A、13B的前方配置有将R、G、B各色的过滤器规则地排列而成的滤色器。

AFE14A、14B对于从摄像元件13A、13B输出的模拟摄影信号，实施除去模拟摄影信号的噪声的处理及调节模拟摄影信号的增益的处理(以下称为“模拟处理”)。

A/D转换部15A、15B将通过AFE14A、14B实施了模拟处理的模拟摄影信号转换成数字信号。需要说明的是，设由通过摄影部21A取得的数字的图像数据所表示的图像为第一图像G1，设由通过摄影部21B取得的图像数据所表示的图像为第二图像G2。

如上所述，摄影控制部22具有AF处理部22a及AE处理部22b。AF处理部22a对释放按钮2进行半按压操作时，从测距传感器取得测距信息，决定透镜10A、10B的焦点位置，向摄影部21A、21B输出。AE处理部22b基于预览图像来决定光圈值和快门速度，向摄影部21A、21B输出。

需要说明的是，作为AF处理部22a检测焦点位置的检测方式，并不局限于使用测距信息的主动方式，也可以使用利用图像的对比度而检测对焦位置的被动方式。

在未操作释放按钮2的状态下，摄影控制部22控制摄影部21A、21B，以按照规定时间间隔(例如1/30秒间隔)依次生成用于确认摄影范围的、像素数比第一及第二图像G1、G2的正式图像少的取景图像。并且，在对释放按钮2进行全按压操作时，摄影控制部22为了开始正式摄影，而控制摄影部21A、21B，以生成第一及第二图像G1、G2的正式图像。

以上的说明是静止画面模式的情况，但在本实施方式中，也可以设定成动画摄影模式。在动画摄影模式的情况下，当释放按钮2被按压时开始动画摄影，对于每一帧生成第一及第二图像G1、G2，当释放按钮2再次被按压时，动画摄影停止。

图像处理部23对于摄影部21A、21B取得的第一及第二图像G1、G2的数字的图像数据，实施白平衡调整、灰度校正、清晰度校正及颜色校正等图像处理。

压缩/伸长处理部24对表示通过图像处理部23实施了处理的第一及第二图像G1、G2的正式图像的图像数据，例如以JPEG等压缩形式进行压缩处理，生成体视用的图像文件F0。该体视用的图像文件F0具有第一及第二图像G1、G2的图像数据，还包含基于Exif格式等的基线长度、辐辏角及摄影日期等附带信息及表示视点位置的视点信息。

图5是表示体视用的图像文件的文件格式的图。在体视用的图像文件F0中存储有第一图像G1的附带信息H1、第一图像G1的视点信息S1、第一图像G1的图像数据、第二图像G2的附带信息H2、第二图像G2的视点信息S2及第二图像G2的图像数据。而且，虽然未图示，但在体视用的图像文件F0的关于第一及第二图像G1、G2的附带信息、视点信息及图像数据的前后包含表示数据的开始位置及结束位置的信息。

在附带信息H1、H2中包含第一及第二图像G1、G2的摄影日、基线长度及辐辏角的信息。在附带信息H1、H2中还包含有第一及第二图像G1、G2的缩略图像。需要说明的是，作为视点信息，例如可以使用从左侧的摄影部依次提供的视点位置的号码。

帧存储器25是对于表示摄影部21A、21B取得的第一及第二图像G1、G2的图像数据，进行包含前述的图像处理部23所进行的处理的各种处理时所使用的作业用存储器。

媒体控制部26访问记录媒体29而进行图像文件等的写入和读入的控制。

内部存储器27存储有复眼相机1中设定的各种常数及CPU35执行的程序等。

显示控制部28在进行体视时，将帧存储器25或记录媒体29中记录的体视图像GR显示在监视器7上。

图6是表示监视器7的结构的分解立体图。如图6所示，将通过LED进行发光的背光单元40及用于进行各种显示的液晶面板41层叠，并在液晶面板41的表面安装透镜片42，从而构成监视器7。

图7是表示透镜片的结构的图。如图7所示，透镜片42通过将多个柱面透镜43在沿着基线的方向上并列排列而构成。

另外，复眼相机1具备三维处理部30。三维处理部30为了将第一及第二图像G1、G2在监视器7上进行体视显示，而对第一及第二图像G1、G2进行三维处理，生成体视图像GR。

图8是用于说明对第一及第二图像G1、G2的三维处理的图。如图8所示，三维处理部30进行三维处理而生成体视图像GR，该三维处理是：分别将第一及第二图像G1、G2沿与基线垂直的方向切割成长条状，相对于透镜片42中的各个柱面透镜43，将位置对应的切割成长条状的第一及第二图像G1、G2交替配置。构成体视图像GR的第一及第二图像G1、G2的图像对分别对应于一个柱面透镜进行配置。

另外，三维处理部30也能够调整第一及第二图像G1、G2的视差。在此，视差是指第一及第二图像G1、G2这双方包含的被拍摄体的、在第一及第二图像G1、G2的横向上即在沿着基线的方向上的像素位置的偏移量。通过调整视差，而能够使体视图像GR包含的被拍摄体的立体感更恰当。

另外，三维处理部30既可以实时调整通过摄影部21A、21B得到的第一及第二图像G1、G2的视差，也可以调整预先记录在记录媒体29中的第一及第二图像G1、G2的视差。

在如上所述构成的复眼相机1中，执行如下的第一或第二视差调整例行程序。需要说明的是，第一及第二视差调整例行程序的程序预先存储在内部存储器27中。

(第一视差调整例行程序)

图9是表示第一视差调整例行程序的流程图。

在步骤100中，CPU35经由释放按钮2被输入动画摄影开始的指示后，开始三维动画摄影，向步骤102前进。

在步骤102中，CPU35使三维处理部30取得视差量，该视差量基于摄影部21A、21B所取得的第一及第二图像G1、G2。在此，执行第一或第二视差量获取例行程序，三维处理部30进行如下的处理。

(视差量的取得)

图10是表示第一视差量获取例行程序的流程图。三维处理部30最初从多个图像即从摄影部21A、21B所取得的第一及第二图像G1、G2中分别检测出同一人物的脸部区域，取得表示这些脸部区域的坐标的脸部检测坐标(步骤200)，算出取得的脸部检测坐标的坐标差分(步骤202)，根据坐标差分算出视差量(步骤204)。

图11是表示第二视差量获取例行程序的流程图。三维处理部30最初从多个图像即从摄影部21A、21B所取得的第一及第二图像G1、G2中分别检测同一目标，取得确定这些目标的特征点的坐标即特征点坐标(步骤210)，算出取得的特征点坐标的坐标差分(步骤212)，根据坐标差分算出视差量(步骤214)。然后，当第一或第二视差量获取例行程序结束时，向图9所示的步骤104前进。

(视差量的异常判定)

在步骤104中，CPU35判定三维处理部30所取得的视差量是否存在异常，当判定为存在异常时向步骤106前进，当判定为不存在异常时向步骤108前进。在此，基于(1)视差量是否存在波动、(2)视差量是否达到容许极限、(3)是否未看到视差调整对象而无法检测中的任一者而判定视差量的异常。

(1)波动有无的判定

CPU35在步骤104中，执行如下所示的第一或第二波动有无判定例行程序。需要说明的是，第一及第二波动有无判定例行程序的程序预先存储在内部存储器27中。

图12是表示第一波动有无判定例行程序的流程图。CPU35取得由三维处理部30得到的一定期间的视差量(步骤220)，算出取得的视差量的变动S(步骤222)。然后，CPU35判定变动S是否小于波动阈值T(S＜T)(步骤224)。CPU35在S＜T时判定为没有波动(视差量不存在异常)而向图9的步骤108前进。CPU35在不是S＜T时判定为存在波动(视差量存在异常)而向图9的步骤106前进。

图13是表示第二波动有无判定例行程序的流程图。CPU35取得由三维处理部30得到的当前帧与前一帧的视差量的变化量D(步骤230)。然后，CPU35判定变化量D是否小于波动阈值T(S＜T)(步骤232)。CPU35在D＜T时判定为没有波动(视差量没有异常)而向图9的步骤108前进。CPU35在不是D＜T时判定为存在波动(视差量存在异常)而向图9的步骤106前进。

(2)视差量的容许极限判定

CPU35也可以在步骤104中判定视差量是否达到预定的容许极限值。在此，容许极限是指表示由体视图像所表示的物体的过量凸出或过量凹陷的视差量的阈值。CPU35在视差量达到容许极限值时向步骤106前进。CPU35在视差量未达到容许极限时向步骤108前进。

(3)视差调整对象的判定

CPU35也可以在步骤104中判定是否未看见视差调整对象而无法进行检测。视差调整对象相当于例如人物的脸部等处于画面的中心位置附近的目标或多个特征点等。

在此，CPU35在视差调整对象未检测到例如10帧时，判定为未看见视差调整对象而向步骤106前进。CPU35在视差调整对象未检测到10帧时向步骤108前进。需要说明的是，“10帧”只不过是一例，也可以是其他帧数。由此，在未看见视差调整对象时，对视差调整控制进行切换，因此能够使三维动画摄影的视差调整稳定。

(视差调整控制的切换)

在步骤106中，CPU35将视差调整控制切换成其他的控制。在此，执行第一至第三切换处理中的任一个处理。

作为第一切换处理，CPU35通过定义每帧的视差量最大变化量而设定于三维处理部30，对每帧的视差量的变化量加以限制。由此，在视差量最大变化量的范围内进行视差调整，能够抑制视差量的急剧变化，因此能够使三维动画摄影的视差调整稳定。

另外，作为第二切换处理，CPU35跳过该帧下的视差调整(禁止该帧下的视差调整)，而原封不动地继续前一帧下的视差调整。即，使用前一帧下的视差量。由此，即使在视差量存在异常的情况下，也能够跳过视差调整，因此能够使三维动画摄影的视差调整稳定。

此外，作为第三切换处理，CPU35减少实施视差调整的频率。在此，取代图9所示的视差调整例行程序，而执行接下来的图14所示的第二视差调整例行程序。需要说明的是，对与图9的步骤相同的步骤，标注同一标号，省略重复的说明。

图14的视差调整例行程序在如下的方面与图9不同，即，在接着步骤100之后，设定索引号码i＝0(步骤101)，在接着步骤102之后，使I增加1(i++)(步骤103)。而且，在进行第三切换处理的步骤106中，进行如下的处理。

CPU35最初判定索引号码i是否在视差调整频率N以上(i≥N)(步骤240)。然后，CPU35在i≥N时设定成i＝0(步骤242)而向步骤108前进。CPU35在不是i≥N时跳过步骤108而向步骤110前进。

因此，当索引号码i小于N时，反复执行步骤102、103、104、106(步骤240)、110，不进行视差调整(步骤108)。而且，当索引号码i达到N时，经过步骤104、106(步骤240、242)，向步骤108前进，因而实施视差调整。

因此，当视差存在异常时，不是按照每帧进行视差调整，而是每隔N帧进行一次视差调整，因此能够减少视差调整的频率，而使视差调整的变化平缓。

在步骤108中，CPU35对三维处理部30实施视差调整，而向步骤110前进。

在步骤110中，CPU35判定是否通过释放按钮2输入了动画摄影停止的指示。CPU35在得到肯定判定时，结束本例行程序。CPU35在得到否定判定时向下一个帧的处理转移，再次向步骤102返回。

如上所述，第一实施方式的复眼相机1即使在视差量存在异常的情况下或看不见视差对象的情况下，也对视差调整控制进行切换，然后进行视差调整。因此，能够使三维动画摄影的视差调整稳定。

需要说明的是，CPU35在检测到波动时，也可以在实施了视差调整后(步骤108结束后)，将表示波动的有无的波动信息记录在记录媒体29中。由此，在动画信息中附加有波动的有无，因此CPU35在动画重放时能够利用波动信息，能够使三维动画重放时的视差调整稳定。而且，在步骤104中，说明了执行(1)波动有无的判定、(2)视差量的容许极限判定、(3)视差调整对象的判定中的任一个判定，但只要执行(1)至(3)中的至少一个即可。此外，在步骤106中，说明了执行第一至第三切换处理中的任一个处理的情况，但只要执行第一至第三切换处理中的至少一个处理即可。

[第二实施方式]

接下来，对本发明的第二实施方式进行说明。需要说明的是，对与第一实施方式相同的部位，标注相同的标号，省略其详细的说明。在第一实施方式中执行了第一或第二视差调整例行程序，但在第二实施方式中，取代第一或第二视差调整例行程序而执行接下来的第三视差调整例行程序。

(第三视差调整例行程序)

图15是表示第三视差调整例行程序的流程图。

在步骤130中，CPU35在经由释放按钮2被输入动画摄影开始的指示时，开始三维动画摄影，向步骤132前进。

在步骤132中，CPU35使三维处理部30取得基本视差量，向步骤134前进，该基本视差量基于由摄影部21A、21B取得的第一及第二图像G1、G2。在此，基本视差量是指默认目标的视差量，例如是指最接近画面中心的目标的视差量。

在步骤134中，CPU35判定由三维处理部30取得的基本视差量是否存在异常。在此，执行与图9所示的步骤104相同的处理。并且，CPU35在基本视差量存在异常时向步骤138前进。CPU35在没有异常时向步骤136前进。

在步骤136中，CPU35以使用基本视差量进行视差调整的方式控制三维处理部30，向步骤142前进。

另一方面，在步骤138中，CPU35使三维处理部30取得其他目标的视差量，向步骤138前进。作为其他目标，例如相当于默认目标以外的人物的脸部等。

在步骤140中，以使用其他目标的视差量来实施视差调整的方式控制三维处理部30。此时，三维处理部30选择“在Z方向上接近默认目标的目标”或“在二维坐标中接近默认目标的目标”作为“其他目标”，使用选择的目标的视差量进行视差调整。在此，利用二维坐标(X，Y)表示与由摄影部21A、21B取得的第一及第二图像G1、G2相同的平面，设与该面(基线)垂直的方向为Z方向。

因此，“在Z方向上接近默认目标的目标”是与在二维坐标上是否接近无关，但与默认目标的立体感最接近的目标。因此，三维处理部30通过使用该目标的视差量进行视差调整，而能够抑制视差量的急剧变化，其结果是，能够稳定地进行视差调整。

另外，“在二维坐标中接近默认目标的目标”是与是否接近默认目标的立体感无关，但在二维坐标上最接近默认目标的目标。因此，三维处理部30通过使用该目标的视差量进行视差调整，而能够通过到目前为止的接近视差调整对象的目标进行视差调整，其结果是，能够稳定地进行视差调整。并且，CPU35经过以上的处理，向步骤142前进。

在步骤142中，CPU35通过GUI(Graphical User Interface：图形用户界面)对视差调整对象进行标记而显示在监视器7上，向步骤144前进。在此，对于作为视差调整对象的人物的脸部，例如既可以如图16A所示利用四边形进行包围，也可以如图16B所示利用圆圈进行包围，还可以如图16C所示标上星号。

在步骤144中，CPU35判定是否通过释放按钮2输入了动画摄影停止的指示。CPU35在得到肯定判定时结束本例行程序。CPU35在得到否定判定时向下一个帧的处理转移，再次向步骤132返回。

如上所述，第二实施方式的复眼相机1即使在默认目标的基本视差量存在异常的情况下或看不见默认目标的情况下，也将视差调整对象切换成其他目标，然后进行视差调整。因此，能够使三维动画摄影的视差调整稳定。

需要说明的是，本发明并不局限于上述的实施方式，对于在权利要求书所记载的事项的范围内进行了设计变更后的技术方案也能够适用。

例如，在上述的第一及第二实施方式中，也可以取代直接取得视差量的情况，而取得视差关联信息。

图17是表示视差关联信息的一例的图。图18A及图18B是用于说明视差关联信息的图。视差关联信息对于每帧的左眼图像(第一图像G1)及右眼图像(第二图像G2)，相当于特征点A的坐标组、特征脸部A的坐标组、特征脸部B的坐标组、波动有无等信息。并且，CPU35也可以使用这些视差关联信息进行视差调整。

[第三实施方式]

接下来，对本发明的第三实施方式进行说明。需要说明的是，对与第一实施方式相同的部位及电路，附加相同的标号，省略其详细的说明。在第一实施方式中执行了第一及第二视差调整例行程序，但在第三实施方式中，取代第一视差调整例行程序而执行接下来的第四视差调整例行程序，并取代第二视差调整例行程序而执行第五视差调整例行程序。

图19是表示第四视差调整例行程序的流程图，图20是表示第五视差调整例行程序的流程图。需要说明的是，图19所示的第四视差调整例行程序仅在取代图9所示的第一视差调整例行程序的流程图的步骤102而适用步骤102A及步骤102B这一点上与图9不同。图20所示的第五视差调整例行程序仅在取代图14所示的第二视差调整例行程序的流程图的步骤102而适用步骤102A及步骤102B这一点上与图14不同。以下，仅说明图9及图14的不同点即步骤102A及步骤102B。

在步骤102A中，CPU35通过对三维处理部30执行第一或第二视差量获取例行程序，而取得与基于第一及第二图像G1、G2的视差相关联的视差关联信息。

CPU35通过对三维处理部30执行图10所示的第一视差量获取例行程序，而使三维处理部30从由摄影部21A、21B取得的第一及第二图像G1、G2分别检测出同一人物的脸部区域，并取得表示所述脸部区域的坐标的脸部检测坐标作为视差关联信息(步骤200)。然后，使三维处理部30算出该脸部检测坐标的坐标差分作为视差关联信息(步骤202)，根据该坐标差分，算出视差量作为视差关联信息(步骤204)。

CPU35通过对三维处理部30执行图11所示的第二视差量获取例行程序，而使三维处理部30从由摄影部21A、21B取得的第一及第二图像G1、G2分别检测出同一目标，并取得确定所述目标的特征点的坐标即特征点坐标作为视差关联信息(步骤210)。使三维处理部30算出该特征点坐标的坐标差分作为视差关联信息(步骤212)，根据该坐标差分，算出视差量作为视差关联信息(步骤214)。

在步骤102B中，CPU35对于三维处理部30，生成将步骤102A中取得的视差关联信息与步骤102A中使用的第一及第二图像G1、G2建立了关联的电子化文件。需要说明的是，在本第三实施方式中，作为该文件，适用记录了视差关联信息作为附带信息的图像文件F0。在通过三维处理部30来执行图10所示的第一视差量获取例行程序或图11所示的第二视差量获取例行程序时，CPU35通过将视差关联信息作为附带信息记录于图5所示的图像文件F0而生成该文件。

即，CPU35在通过三维处理部30来执行图10所示的第二视差量获取例行程序时，将步骤200中取得的脸部检测坐标作为附带信息分别记录于第一及第二图像G1、G2。并且，CPU35将步骤202中算出的坐标差分作为对应的第一及第二图像G1、G2的附带信息进行记录，并将步骤204中算出的视差量作为对应的第一及第二图像G1、G2的附带信息进行记录。

另外，CPU35在通过三维处理部30来执行图11所示的第二视差量获取例行程序时，将步骤210中取得的特征点坐标作为附带信息分别记录于第一及第二图像G1、G2。并且，CPU35将步骤212中算出的坐标差分作为对应的第一及第二图像G1、G2的附带信息进行记录，并将步骤214中算出的视差量作为对应的第一及第二图像G1、G2的附带信息进行记录。

如上所述，根据本第三实施方式，由于复眼相机1将视差关联信息记录在图像文件F0中，因此在对基于第一及第二图像G1、G2的体视图像进行重放时，能够有效地利用视差关联信息。需要说明的是，作为视差关联信息的利用例，可列举当前与重放的体视图像一起通过监视器7进行可视显示的利用例、在关联的体视图像的重放时利用内置扬声器(未图示)进行可听显示的利用例、使用与复眼相机1连接的打印机(未图示)进行永久可视显示的利用例、以及向外部装置(未图示)发送的利用例。

[第四实施方式]

接下来，对本发明的第四实施方式进行说明。需要说明的是，对与第二实施方式相同的部位及电路，标注同一标号，省略其详细的说明。在第二实施方式中执行了第三视差调整例行程序，但在第四实施方式中，取代第三视差调整例行程序而执行接下来的第六视差调整例行程序。

图21是表示第六视差调整例行程序的流程图。需要说明的是，图21所示的第六视差调整例行程序仅在取代图15所示的第三视差调整例行程序的流程图的步骤132而适用步骤132A及步骤132B这一点上与图15不同。以下，仅说明与图15的不同点即步骤132A及步骤132B。

在步骤132A中，CPU35对于三维处理部30，取得用于重放时的视差调整的信息，且与基于第一及第二图像G1、G2的视差相关联的视差关联信息。在本第四实施方式中，作为视差关联信息，适用第一及第二图像G1、G2的各个特征点(例如，具有规定的空间频率的区域的重心坐标)、第一图像G1的特征点与第二图像G1的特征点之间的坐标差分、以及根据该坐标差分算出的基本视差量。

在步骤132B中，CPU35对于三维处理部30，生成将步骤132A中取得的视差关联信息与步骤132A中使用的第一及第二图像G1、G2建立了关联的电子化文件。需要说明的是，在本第四实施方式中，作为该文件，适用记录了视差关联信息作为附带信息的图像文件F0。在通过三维处理部30来取得视差关联信息时，CPU35通过将视差关联信息作为附带信息记录于图5所示的图像文件F0而生成该文件。

即，CPU35将步骤132A中取得的第一及第二图像G1、G2的各个特征点作为附带信息分别记录于第一及第二图像G1、G2。并且，CPU35将步骤132A中算出的坐标差分作为对应的第一及第二图像G1、G2的附带信息进行记录，并将步骤132A中取得的基本视差量作为对应的第一及第二图像G1、G2的附带信息进行记录。

如上所述，根据本第四实施方式，由于复眼相机1将视差关联信息记录于图像文件F0，因此在对基于第一及第二图像G1、G2的体视图像进行重放时，能够有效利用视差关联信息。

需要说明的是，在上述第三及第四实施方式中，列举在进行视差量的异常判定的处理的前阶段，CPU35将视差关联信息记录于图像文件F0时的方式例进行了说明，但并不局限于此。也可以在实施了视差调整后，CPU35将视差关联信息记录于图像文件F0。

另外，在上述第三及第四实施方式中，列举通过记录视差关联信息作为图像文件F0的附带信息，而将视差关联信息和第一及第二图像G1、G2汇总成一个电子化文件的方式例进行了说明，但并不局限于此。例如，作为记录有视差关联信息的文件，也可以生成与图像文件F0不同的文件。这种情况下，列举有生成与图像文件F0的第一及第二图像G1、G2建立了关联，并且对于确定第一及第二图像G1、G2的图像确定信息也关联有对应的视差关联信息的文件的方式例。而且，也可以不生成文件而对第一及第二图像G1、G2与视差关联信息建立关联。这种情况下，可以例示如下的方式，即，在两个不挥发性存储器的一方存储确定第一及第二图像G1、G2的确定信息或第一及第二图像G1、G2其本身，而将对应于该第一及第二图像G1、G2的视差关联信息与一方的不挥发性存储器中存储的对应的确定信息或第一及第二图像G1、G2建立了关联后，存储在另一方。而且，可以例示如下的方式，即，将确定第一及第二图像G1、G2的确定信息或第一及第二图像G1、G2、和该确定信息或与第一及第二图像G1、G2对应的视差关联信息建立了关联后，存储在一个不挥发性存储器中。

另外，在上述第三及第四实施方式中，将从第一及第二图像G1、G2得到且为了取得视差量而使用的信息(例如，在取得脸部检测坐标及坐标差分等的视差量的前阶段所得到的信息)、及视差量作为视差关联信息而与第一及第二图像G1、G2建立了关联，但并不局限于此。例如，也可以将上述的视差关联信息、表示结果的信息(表示视差量是否存在异常的信息)、表示执行了上述第一实施方式中说明的第一至第三切换处理中的哪一个切换处理的信息中的至少一个信息、与对应于该信息并进行视差调整的第一及第二图像G1、G2建立关联，其中，所述表示结果的信息表示执行第一或第二波动有无判定例行程序而得到的结果、上述第一实施方式中说明的视差量的容许极限判定的结果、以及上述第一实施方式中说明的视差调整对象的判定的结果中的至少一个结果。而且，当使用上述第二及第四实施方式中说明的基本视差量来进行视差调整时，也可以将表示其内容的信息和与该信息对应的目标其本身、包含该目标的视差调整完的第一及第二图像G1、G2中的至少一方建立关联。而且，在从上述第二及第四实施方式中说明的其他目标取得视差量时，也可以将表示其内容的信息和与该信息对应的目标其本身、包含该目标的视差调整完的第一及第二图像G1、G2中的至少一方建立关联。而且，在上述第二及第四实施方式中说明的调整其他目标的视差量时，也可以将表示其内容的信息和与该信息对应的目标、包含该目标的视差调整完的第一及第二图像G1、G2中的至少一方建立关联。此外，也可以将在上述第二及第四实施方式中说明的表示适用什么样的目标作为其他目标的信息和与该信息对应的目标其本身、包含该目标的视差调整完的第一及第二图像G1、G2中的至少一方建立关联。

如此，只要将从第一及第二图像G1、G2得到且为了取得视差量而使用的信息、使用该信息而取得的视差量、以及表示是否使用该视差量进行了规定处理的信息中的至少一个信息、与对应于该信息并进行了视差调整的第一及第二图像G1、G2(上述第二及第四实施方式中，例如是默认目标或其他目标)建立关联即可。由此，能够有效利用包含重放时的视差调整在内的与重放的体视图像相关联的信息(视差关联信息)。

标号说明

7监视器

21A、21B摄影部

22摄影控制部

30三维处理部

35CPU

Claims (15)

1.一种复眼摄像装置，具备：

摄像部，通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像；

视差量获取部，基于由所述摄像部生成的多个视点图像而取得视差量；

异常判定部，在通过所述视差量获取部取得的视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常；及

视差调整部，在通过所述异常判定部判定为所述视差量没有异常的情况下，进行第一视差调整，在通过所述异常判定部判定为所述视差量存在异常的情况下，切换成与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整。

2.根据权利要求1所述的复眼摄像装置，其中，

在通过所述异常判定部判定为所述视差量存在异常的情况下，所述视差调整部在预定的视差量最大变化量的范围内进行视差调整。

3.根据权利要求1或2所述的复眼摄像装置，其中，

在通过所述异常判定部判定为所述视差量存在异常的情况下，所述视差调整部使用前一帧下的视差量进行视差调整。

4.根据权利要求1至3中任一项所述的复眼摄像装置，其中，

在通过所述异常判定部判定为所述视差量存在异常的情况下，所述视差调整部使视差调整频率降低。

5.根据权利要求1至4中任一项所述的复眼摄像装置，其中，

还具备建立关联部，该建立关联部使从通过所述摄像部生成的多个视点图像得到且为了在所述视差量获取部取得所述视差量而使用的信息、表示使用该信息而通过所述视差量获取部取得的视差量的信息、以及表示是否使用该视差量进行了规定处理的信息中的至少一个信息、与对应于该信息并进行了所述视差调整的所述多个视点图像建立关联。

6.根据权利要求5所述的复眼摄像装置，其中，

所述建立关联部使所述至少一个信息与对应于该信息并进行了所述视差调整的所述多个视点图像建立关联，且汇总成一个电子化文件。

7.一种复眼摄像装置，具备：

摄像部，通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像；

视差量获取部，基于由所述摄像部生成的多个视点图像而取得规定目标的视差量；

异常判定部，在通过所述视差量获取部取得的视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常；及

视差调整部，在通过所述异常判定部判定为所述视差量没有异常的情况下，进行所述规定目标的视差调整，在通过所述异常判定部判定为所述视差量存在异常的情况下，将与所述规定目标不同的其他目标作为对象而进行视差调整。

8.根据权利要求7所述的复眼摄像装置，其中，

所述视差调整部将与所述视点图像的图像面垂直的方向上的与所述规定目标距离最近的目标作为所述其他目标。

9.根据权利要求7所述的复眼摄像装置，其中，

所述视差调整部将所述视点图像的图像面上的与所述规定目标距离最近的目标作为所述其他目标。

10.根据权利要求7至9中任一项所述的复眼摄像装置，其中，

还具备建立关联部，该建立关联部使从通过所述摄像部生成的多个视点图像得到且为了在所述视差量获取部取得所述视差量而使用的信息、表示使用该信息而通过所述视差量获取部取得的视差量的信息、以及表示是否使用该视差量进行了规定处理的信息中的至少一个信息、与对应于该信息并进行了所述视差调整的所述规定目标或所述其他目标建立关联。

11.根据权利要求10所述的复眼摄像装置，其中，

所述建立关联部使所述至少一个信息与对应于该信息并进行了所述视差调整的所述规定目标或所述其他目标建立关联，且汇总成一个电子化文件。

12.一种复眼摄像装置的视差调整方法，其中，

基于由摄像部生成的多个视点图像而取得视差量，该摄像部通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像，

在所述取得的所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常，

在判定为所述视差量没有异常的情况下，进行第一视差调整，在判定为所述视差量存在异常的情况下，切换成与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整。

13.一种复眼摄像装置的视差调整方法，其中，

基于由摄像部生成的多个视点图像而取得规定目标的视差量，该摄像部通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像，

在所述取得的所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常，

在判定为所述视差量没有异常的情况下，进行所述规定目标的视差调整，在判定为所述视差量存在异常的情况下，将与所述规定目标不同的其他目标作为对象而进行视差调整。

14.一种复眼摄像装置的视差调整程序，用于使计算机作为如下单元发挥作用：

视差量获取部，基于由摄像部生成的多个视点图像而取得视差量，该摄像部通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像；

异常判定部，在通过所述视差量获取部取得的视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常；及

视差调整部，在通过所述异常判定部判定为所述视差量没有异常的情况下，进行第一视差调整，在通过所述异常判定部判定为所述视差量存在异常的情况下，切换成与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整。

15.一种复眼摄像装置的视差调整程序，用于使计算机作为如下单元发挥作用：

视差量获取部，基于由摄像部生成的多个视点图像而取得规定目标的视差量，该摄像部通过从多个视点拍摄同一被拍摄体而对于每一帧生成多个视点图像；

异常判定部，在通过所述视差量获取部取得的视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的至少一种情况下，判定为所述视差量存在异常，在不是所述视差量的一定期间的变动大于规定值、所述视差量达到预定的容许极限值、以及无法检测出所述视差量的获取对象中的任一种情况的情况下，判定为所述视差量没有异常；及

视差调整部，在通过所述异常判定部判定为所述视差量没有异常的情况下，进行所述规定目标的视差调整，在通过所述异常判定部判定为所述视差量存在异常的情况下，将与所述规定目标不同的其他目标作为对象而进行视差调整。

Images