CN103597822A - 图像加工装置、复眼摄像装置、图像加工方法及程序 - Google Patents

Abstract

提供一种能够简便且高精度地掌握视差量的异常的图像加工装置、复眼摄像装置、图像加工方法及程序。在作为实施加工的对象的帧显示于监视器的期间，使视差量（进深侧视差量图表和近前侧视差量图表）和用于判断该视差量是否超量的指标（凹侧允许界限线、凸侧允许界限线及标志）能够对比地显示。

Description

图像加工装置、复眼摄像装置、图像加工方法及程序

技术领域

本发明涉及图像加工装置、复眼摄像装置、图像加工方法及程序。背景技术

以往，提出了具有多个摄像部而生成体视图像的复眼摄像装置。复眼摄像装置基于由多个摄像部分别生成的多个视点图像来生成体视图像，并将该体视图像显示于体视显示用监视器。

由复眼摄像装置拍摄到的体视图像的立体感受使用者双眼的距离、从体视显示用监视器到使用者的距离所左右，因此对于复眼摄像装置的体视功能，存在个人差异大的问题。因此，在复眼摄像装置中，能够根据使用者的操作来调整多个视点图像的视差，从而调整体视图像的立体感。

因此，提出了以下技术：不论显示体视图像的显示器的种类如何，都进行与最初进行了视差量调整的使用者意图一致的视差量调整（参照日本特开2005-73012号公报）。根据该技术，基于视差量的变更要求来生成与视差量的调整相关的信息，将其变换为不依赖于显示器种类的单位的信息并记录。并且，当所记录的信息被读出时，基于该信息来生成与视差量的调整相关的信息，基于该信息来生成立体显示用的图像。

并且，在日本特开2004-221700号公报中，提出了在显示体视图像的期间确定与使用者意图一致的视差的技术。根据日本特开2004-221700号公报中记载的技术，根据使用者的指示来确定显示装置所显示的体视图像的界限视差，以在显示体视图像之前实现适当的视差的方式进行图像处理。

但是，日本特开2005-73012号公报及日本特开2004-221700号公报中记载的技术均存在以下问题：在最初的阶段存在问题的情况下，例如根据由摄像部获得的多个视点图像求出的视差量本身存在问题的情况下，无法检测出视差调整对象的情况下，即使使用日本特开2005-73012号公报及日本特开2004-221700号公报的技术，也无法适当地进行视差调整。因此，提出了以下技术：在未进行适当的视差调整而将图像显示于画面上的情况下，由使用者掌握画面上所显示的图像的视差量为何种程度（例如参照日本特开2008-103820号公报）。

在日本特开2008-103820号公报中提出了以下技术：在重放包括立体图像数据的动画数据时，能够一眼判断出视差的分布。根据该技术，通过将视差的大小每隔一定的范围改变颜色而使使用者识别视差的大小，由此能够将使用者视觉确认包括立体图像的动画时对活体的不良影响防患于未然。

发明内容

发明要解决的问题

但是，在日本特开2008-103820号公报记载的技术中存在如下问题：虽然使用者能够一眼判断出视差量，但难以掌握该视差量是否为异常。

本发明鉴于这一情况而提出，其目的在于提供能够简便且高精度地掌握视差量的异常的图像加工装置、复眼摄像装置、图像加工方法及程序。

用于解决问题的方法

为了实现上述目的，本发明的第一方式的图像加工装置构成为包括：图像获取单元，取得从多个视点连续拍摄同一被摄体而获得的连续帧图像；视差量获取单元，基于构成由上述图像获取单元取得的上述连续帧图像的多个帧图像中的各帧图像，取得上述多个帧图像中的各帧图像的视差量；显示单元，将构成由上述图像获取单元取得的连续帧图像的帧图像作为体视图像以能够视觉确认的方式进行显示；接收单元，接收加工指示信息，该加工指示信息指示对上述帧图像的视差量的加工；加工单元，对上述显示单元所显示的上述帧图像实施由上述接收单元接收到的加工指示信息所指示的视差量的加工；及控制单元，控制上述显示单元，使得在上述加工单元对视差量的加工被指示后的上述帧图像显示于上述显示单元的期间，将与由上述视差量获取单元取得的视差量有关的视差量相关信息和用于判断该视差量是否为异常的指标建立对应并进行显示。

并且，本发明的第二方式的图像加工装置在第一方式的图像加工装置的基础上，上述视差量获取单元基于在上述帧图像内作为视差量的获取对象的被摄体图像而预先规定的被摄体图像来取得视差量。

并且，本发明的第三方式的图像加工装置在第二方式的图像加工装置的基础上，将上述预先规定的被摄体图像设为上述帧图像内的具有规定值以上的空间频率的被摄体图像。

并且，本发明的第四方式的图像加工装置在第一至第三中任一方式的图像加工装置的基础上，上述控制单元进一步控制上述显示单元，使得在上述加工单元对视差量的加工被指示后的上述帧图像显示于上述显示单元的期间，将表示视差量的允许界限的信息、表示视差量的经时变化的信息、在表示该视差量的经时变化的信息中能够确认当前显示的帧图像的视差的信息建立对应并进行显示。

并且，本发明的第五方式的图像加工装置在第四方式的图像加工装置的基础上，使表示上述视差量的允许界限的信息和表示上述视差量的经时变化的信息与被摄体图像的进深侧和近前侧分别对应。

并且，本发明的第六方式的图像加工装置在第一至第五中任一方式的图像加工装置的基础上，还包括异常判定单元，该异常判定单元以下情况中的至少一种情况下判定为上述视差量有异常：由上述视差量获取单元取得的视差量的一定期间的变动大于规定值的情况、上述视差量达到预先规定的允许界限值的情况和无法检测出上述视差量的获取对象的情况，上述控制单元进一步控制上述显示单元，使得在由上述异常判定单元判定为视差量为异常的情况下，与该视差量所对应的帧图像的显示同步地显示警告。

并且，本发明的第七方式的图像加工装置在第六方式的图像加工装置的基础上，还包括视差调整单元，在通过上述异常判定单元判定为上述视差量无异常的情况下，该视差调整单元进行第一视差调整，在由上述异常判定单元判定为上述视差量有异常的情况下，该视差调整单元切换到与上述第一视差调整的控制不同的第二视差调整的控制来进行视差调整，上述控制单元进一步控制上述显示单元，使得在作为由上述加工单元实施加工的对象的上述帧图像显示于上述显示单元的情况下，对被上述视差调整单元进行了上述视差调整的上述帧图像进行显示。

并且，本发明的第八方式的图像加工装置在第七方式的图像加工装置的基础上，在由上述异常判定单元判定为上述视差量有异常的情况下，上述视差调整单元在预先规定的视差量最大变化量的范围内进行视差调整。

并且，本发明的第九方式的图像加工装置在第七或第八方式的图像加工装置的基础上，在由上述异常判定单元判定为上述视差量有异常的情况下，上述视差调整单元使用前一帧的视差量来进行视差调整。

并且，本发明的第十方式的图像加工装置在第七至第八中任一方式的图像加工装置的基础上，在由上述异常判定单元判定为上述视差量有异常的情况下，上述视差调整单元降低视差调整频率。

并且，本发明的第十一方式的复眼摄像装置构成为包括：第一至第十中任一方式的图像加工装置；及摄像单元，通过从多个视点以连续帧拍摄同一被摄体而生成上述连续帧图像。

并且，本发明的第十二方式的图像加工方法中，取得从多个视点连续拍摄同一被摄体而获得的连续帧图像，基于构成所取得的上述连续帧图像的多个帧图像中的各帧图像，取得上述多个帧图像中的各帧图像的视差量，将构成所取得的连续帧图像的帧图像作为体视图像以能够视觉确认的方式进行显示，接收加工指示信息，该加工指示信息指示对上述帧图像的视差量的加工，对所显示的上述帧图像实施由接收到的加工指示信息所指示的视差量的加工，在对视差量的加工被指示后的上述帧图像进行显示的期间，将与所取得的视差量有关的视差量相关信息和用于判断该视差量是否为异常的指标建立对应并进行显示。

并且，本发明的第十三方式的程序用于使计算机作为以下单元发挥功能：图像获取单元，取得从多个视点连续拍摄同一被摄体而获得的连续帧图像；视差量获取单元，基于构成由上述图像获取单元取得的上述连续帧图像的多个帧图像中的各帧图像，取得上述多个帧图像中的各帧图像的视差量；将构成由上述图像获取单元取得的连续帧图像的帧图像作为体视图像以能够视觉确认的方式显示于显示单元的单元；接收单元，接收加工指示信息，该加工指示信息指示对上述帧图像的视差量的加工；加工单元，对上述显示单元所显示的上述帧图像实施由上述接收单元接收到的加工指示信息所指示的视差量的加工；及控制单元，控制上述显示单元，使得在上述加工单元对视差量的加工被指示后的上述帧图像显示于上述显示单元的期间，将与由上述视差量获取单元取得的视差量有关的视差量相关信息和用于判断该视差量是否为异常的指标建立对应并进行显示。

发明效果

根据本发明，可获得能够简便且高精度地掌握视差量的异常的效果。

附图说明

图1是表示图像重放加工装置的概略的立体图。

图2是表示图像重放加工装置的显示装置侧的概略构成的框图。

图3是表示体视用的图像文件的文件格式的图。

图4是表示图像重放加工装置的液晶快门眼镜侧的概略构成的框图。

图5是表示第一基本方式涉及的3D动画编辑例程的流程图。

图6是表示第一视差量获取例程的流程图。

图7是表示第二视差量获取例程的流程图。

图8是表示视差量显示画面的显示例的示意图。

图9A是表示使视差量显示画面重叠于监视器所显示的帧上的状态的一例的图，表示视差量正常时的例子。

图9B是表示使视差量显示画面重叠于监视器所显示的帧上的状态的一例的图，表示视差量异常时的例子。

图10是表示第一波动有无判定例程的流程图。

图11是表示第二波动有无判定例程的流程图。

图12是表示第一实施方式涉及的3D动画编辑例程的流程图。

图13是表示第一实施方式涉及的图像重放加工装置的变形例的构成图。

图14是表示第二基本方式涉及的3D动画编辑例程的流程图。

图15是表示第二实施方式涉及的3D动画编辑例程的流程图。

图16是图15所示的流程图的延续。

图17是表示第三基本方式涉及的3D动画编辑例程的流程图。

图18是表示第三实施方式涉及的3D动画编辑例程的流程图。

图19是图18所示的流程图的延续。

图20是表示第四基本方式涉及的3D动画编辑例程的流程图。

图21A是表示以GUI标记了视差调整对象的状态的图。

图21B是表示以GUI标记了视差调整对象的状态的图。

图21C是表示以GUI标记了视差调整对象的状态的图。

图22是表示第四实施方式涉及的3D动画编辑例程的流程图。

图23是图22所示的流程图的延续。

图24是复眼相机的正面侧立体图。

图25是复眼相机的背面侧立体图。

图26是表示复眼相机的内部构成的概略框图。

图27是表示摄影部的构成的图。

图28是表示监视器的构成的图。

图29是表示柱面透镜片的构成的图。

图30是用于说明对左眼用及右眼用图像的三维处理的图。

图31是表示视差相关信息的一例的图。

图32A是用于说明视差相关信息的图。

图32B是用于说明视差相关信息的图。

具体实施方式

（第一基本方式）

图1是表示作为后述的本发明的第一实施方式的前提的第一基本方式涉及的图像重放加工装置10的概略的图。

如图1所示，图像重放加工装置10具有显示体视图像的显示装置12及液晶快门眼镜14。并且，显示装置12具有进行各种显示的监视器12A。而且，显示装置12具有操作部13，该操作部13构成为包括：电源按钮13A，接通电源时被按压操作；重放开始按钮13B，重放体视图像时被按压操作；重放停止按钮13C，停止体视图像的重放时被按压操作；菜单按钮13D，在将包括由使用者选择的信息在内的菜单画面显示于监视器12A时被按压操作；取消按钮13E，监视器12A所显示的信息由使用者选择而取消所选择的信息时被按压操作；确定按钮13F，监视器12A所显示的信息由使用者选择而确定所选择的信息时被按压操作；及十字键13G，选择监视器12A所显示的信息时被操作。

此外，在该第一基本方式中，以如下方式为例进行说明：将左眼用图像G1和右眼用图像G2交替显示于显示装置12，并且以交替驱动液晶快门使得在左眼用图像G1被显示时液晶快门眼镜14的右眼的液晶快门变为透射状态、在右眼用图像G2被显示时液晶快门眼镜14的左眼的液晶快门变为透射状态的方式重放三维立体影像以作为体视图像进行视觉确认。此外，在该第一基本方式中，以使用液晶快门眼镜14来重放三维立体影像的图像重放加工装置作为一例来进行说明，但不限于此，例如也可以适用使用偏振滤光眼镜来重放三维立体影像的装置，还可以适用以不使用眼镜的方式来重放三维立体影像的方式的图像重放加工装置。并且，在该第一基本方式中，通过长按（例如1秒以上的按压操作）重放开始按钮13B来执行后述的3D动画编辑例程。

图2是表示该第一基本方式涉及的图像重放加工装置10的显示装置12侧的概略构成的框图。

显示装置12具有同步通信部16、图像处理部18、压缩/解压缩处理部20、帧存储器22、介质控制部24、内部存储器26、三维处理部28、显示控制部30及CPU32，它们经由总线BUS相互连接。并且，在介质控制部24连接有记录介质34，在显示控制部30连接有监视器12A。而且，在CPU32连接有操作部13。

同步通信部16进行信号的发送及接收，该信号用于使液晶快门眼镜14的左右的液晶快门的驱动与显示装置12所显示的左眼用及右眼用的各图像同步。

图像处理部18对表示应显示的图像的图像数据实施白平衡调整、灰度校正、锐度校正、颜色校正等各种图像处理。

压缩/解压缩处理部20对由图像处理部18实施了处理的图像数据例如以JPEG、MPEG等压缩格式进行压缩处理，生成体视用的图像文件F0，或在重放时进行对被压缩的图像数据进行解压缩的处理。图像文件F0具有左眼用图像G1及右眼用图像G2的图像数据，而且，包括基于例如Exif格式的基线长、收敛角及摄影时间等附带信息及表示视点位置的视点信息。

图3是表示体视用的图像文件的文件格式的图。体视用的图像文件F0存储有左眼用图像G1的附带信息H1、左眼用图像G1的视点信息S1、左眼用图像G1的图像数据、右眼用图像G2的附带信息H2、右眼用图像G2的视点信息S2及右眼用图像G2的图像数据。并且，虽未图示，但在左眼用图像G1及右眼用图像G2的附带信息、视点信息及图像数据的前后包含表示数据的开始位置及结束位置的信息。

附带信息H1、H2包括左眼用图像G1及右眼用图像G2的摄影日、基线长及收敛角的信息。附带信息H1、H2也包括左眼用图像G1及右眼用图像G2的缩略图图像。此外，作为视点信息，例如能够使用从左侧的摄影部开始依次赋予的视点位置的序号。

帧存储器22是对图像数据进行图像处理部18所进行的处理的各种处理时使用的作业用存储器。

介质控制部24对记录介质34进行存取，例如进行图像文件等的写入和读入的控制。

内部存储器26例如存储表示显示装置12的各种设定的信息及CPU35所执行的程序。

三维处理部28读出记录介质34中所存储的图像数据，并控制显示控制部30，使得与通过同步通信部16进行的与液晶快门眼镜14的通信所获得的同步信号同步地交替显示用于显示体视图像的左眼用图像G1和右眼用图像G2，从而显示体视图像GR。并且，在图像数据中未记录每帧的视差信息的情况下，三维处理部28检测主要被摄体，进行算出每帧的视差的处理。并且，三维处理部28也能够调整左眼用图像G1及右眼用图像G2的视差。在此，视差是指左眼用图像G1及右眼用图像G2两者含有的被摄体的、左眼用图像G1及右眼用图像G2的横向、即沿着基线的方向上的像素位置的偏移量。通过调整视差，能够使体视图像GR中含有的被摄体的立体感适当。

在立体视的情况下，显示控制部30通过三维处理部28的控制而使左眼用图像G1和右眼用图像G2交替显示于监视器12A。

图4是表示第一基本方式涉及的图像重放加工装置10的液晶快门眼镜14侧的概略构成的框图。

液晶快门眼镜14具有同步通信部36、液晶快门驱动部38、右眼用液晶快门40及左眼用液晶快门42。

同步通信部36进行信号通信，该信号用于使左右的液晶快门的驱动与显示装置12所显示的左右各自的图像同步。

液晶快门驱动部38与通过同步通信部36进行的与显示装置12的通信所获得的同步信号同步地控制右眼用液晶快门40及左眼用液晶快门42的驱动。由此，在左眼用图像G1显示于显示装置12的监视器12A时，右眼用液晶快门40变为透射状态而左眼用液晶快门42变为遮挡状态，在右眼用图像G2显示于显示装置12的监视器12A时，左眼用液晶快门42变为透射状态而右眼用液晶快门40变为遮挡状态，体视图像被重放。

在如上构成的显示装置12中，由CPU32执行下述的3D动画编辑例程。此外，3D动画编辑例程的程序预先存储于内部存储器26中。

（3D动画编辑例程）

图5是表示3D动画编辑例程的流程图。另外在此，为了避免混乱，作为在本3D动画编辑例程中实际实施的编辑菜单，对剪切、组合、缩放、剪辑、旋转、色调校正、图像（静止图像/动画/文字等）的重叠、帧率转换、交错转换、反转、淡入/淡出、镶嵌、格式转换等预先规定的多个编辑菜单中的任一个已由使用者指定了的情况进行说明。

在步骤100中，当3D动画的编辑开始的指示经由重放开始按钮13B被输入时，开始三维动画编辑，前进到步骤102。在步骤102中，由三维处理部28取得基于记录介质34中所存储的构成编辑对象的动画数据（连续帧）的图像文件F0的左眼用图像G1及右眼用图像G2的视差量。在此，执行第一或第二视差量获取例程，三维处理部30进行下一处理。

（视差量的取得）

图6是表示第一视差量获取例程的流程图。三维处理部28首先分别检测多个图像、即记录介质34中所存储的图像文件F0的左眼用图像G1及右眼用图像G2中的同一人物的脸部区域，取得表示这些脸部区域的坐标的脸部检测坐标（步骤200），算出所取得的脸部检测坐标的坐标差（步骤202），根据坐标差算出视差量（步骤204）。

图7是表示第二视差量获取例程的流程图。三维处理部28首先分别检测多个图像、即记录介质34中所存储的图像文件F0的左眼用图像G1及右眼用图像G2中的同一对象，取得确定这些对象的特征点的坐标即特征点坐标（步骤210），算出所取得的特征点坐标的坐标差（步骤212），根据坐标差算出视差量（步骤214）。并且，当第一或第二视差量获取例程结束时，前进到图5所示的步骤104。

（视差量的显示）

在步骤104中，在将通过上述步骤102的处理获得的视差量和用于判断该视差量是否为异常的指标能够对比地显示于监视器12A后，前进到步骤106。图8表示视差量和指标能够对比地显示于监视器12A的状态的一例。如图8所示，本实施方式涉及的显示装置12的监视器12A上，包括对在帧内的进深方向上对称的对象（被摄体图像）的视差量的允许界限范围进行规定的凹侧允许界限线401（表示允许界限范围的最大值的直线图像）及凸侧允许界限线402（表示允许界限范围的最小值的直线图像）的视差量显示画面40显示于监视器12A。并且，表示上述对称的对象中的进深侧的对象即凹侧对象的视差量410的经时变化的进深侧视差量图表403及表示上述对称的对象中的近前侧的对象即凸侧对象的视差量411的经时变化的近前侧视差量图表404与凹侧允许界限线及凸侧允许界限线能够对比地重叠显示于视差量显示画面40上。并且，在基于当前时刻下监视器12A所显示的帧的视差量所对应的部位，标识被重叠显示于视差量显示画面40上。因此，标识在监视器12A随着帧的显示进行而改变位置。在图8所示的例子中，标识从视差量显示画面40的左端405（表示动画重放开始点的位置）向右端406（表示动画重放结束点的位置）以与帧的显示速度相同的速度移动。并且，在图8所示的例子中，作为标识而适用纵贯凹侧视差量允许界限线407、凸侧视差量允许界限线408、进深侧视差量图表403及近前侧视差量图表404的纵贯线409（标识，当前的显示位置），但不限于此，只要是至少对于进深侧视差量图表及近前侧视差量图表基于当前时刻下监视器12A所显示的帧的视差量所对应的部位在视觉上能够确定的显示方式的标识，则可以是任意的标识。附图标记412表示交叉点。

这样一来，通过在视差量显示画面40上重叠显示进深侧视差量图表及近前侧视差量图表，若进深侧视差量图表及近前侧视差量图表的至少一方未收于由凹侧允许界限线和凸侧允许界限线夹持的范围内则使用者（例如3D动画的编辑者）能够判断为视差量超过了允许界限范围，若进深侧视差量图表及近前侧视差量图表的至少一方收于由凹侧允许界限线和凸侧允许界限线夹持的范围内则使用者（例如3D动画的编辑者）能够判断为视差量未超过允许界限范围。此外，允许界限范围根据帧的假定显示尺寸而变动，因此也可以变更假定显示尺寸并将其变更结果反映到进深侧视差量图表及近前侧视差量图表。

在步骤106中，作为一例，如图9A及图9B所示，在监视器12A显示编辑对象的动画数据中含有的帧，并且将视差量显示画面40重叠于帧的一部分而显示。

在下一步骤108中，对于当前时刻下监视器12A所显示的帧，判定由三维处理部28取得的视差量是否有异常，在判定为有异常的情况下，前进到步骤110，在判定为无异常的情况下，前进到步骤114。在该步骤108中，基于以下任一个来判定视差量的异常：（1）视差量是否存在波动；（2）视差量是否为允许界限；（3）是否错过了视差调整对象而无法检测出。

（1）波动有无的判定

在步骤108中，CPU32执行如下所示的第一或第二波动有无判定例程。此外，第一及第二波动有无判定例程的程序预先存储于内部存储器26中。

图10是表示第一波动有无判定例程的流程图。CPU32取得由三维处理部28获得的一定期间的视差量（步骤220），算出所取得的视差量的偏差S（步骤222）。并且，CPU32判定偏差S是否小于波动阈值T（S<T）（步骤224）。在S<T的情况下，判定为无波动（视差量无异常），前进到图5的步骤114，在不是S<T的情况下，判定为有波动（视差量有异常），前进到图5的步骤110。

图11是表示第二波动有无判定例程的流程图。CPU32取得由三维处理部28获得的当前帧和前一帧的视差量的变化量D（步骤230）。并且，CPU32判定变化量D是否小于波动阈值T（D<T）（步骤232）。在D<T的情况下，判定为无波动（视差量无异常），前进到图5的步骤114，在不是D<T的情况下，判定为有波动（视差量有异常），前进到图5的步骤110。

（2）视差量的允许界限判定

在步骤108中，CPU32也可以判定视差量是否达到预先规定的允许界限值。在此，允许界限是指表示体视图像中所显示的物体的过凸或过凹的视差量的阈值。在视差量达到允许界限值的情况下，前进到步骤110，在视差量未达到允许界限的情况下，前进到步骤114。

（3）视差调整对象的判定

在步骤108中，CPU32也可以判定是否错过了视差调整对象而无法检测出。视差调整对象是指例如人物的脸部等画面中心位置附近所存在的对象、多个特征点等。

在此，在例如10帧未检测出视差调整对象的情况下，CPU32判定为错过了视差调整对象，前进到作为控制单元的步骤110，在10帧未检测出视差调整对象的情况下，前进到步骤114。此外，“10帧”仅是一例，也可以是其他帧数。由此，在错过了视差调整对象的情况下，切换视差调整控制，因此能够使三维动画重放的视差调整稳定化。

（视差量异常信息的显示）

在步骤110中，作为一例，如图9B所示，在监视器12A，将表示视差量有异常的视差量异常信息450（作为一例是图9B所示的“NG”这一表示视差量警告的文字）与帧重叠地显示。由此，使用者能够易于掌握基于当前时刻下所显示的帧的视差量为异常这一情况。此外，在本实施方式中，以可视显示为例进行了说明，但不限于此，也可以可听显示视差量有异常。并且，也可以同时使用可视显示和可听显示。

（视差调整控制的切换）

在下一步骤112中，在CPU32将视差调整控制切换到其他控制后，前进到步骤114。在该步骤112中，执行第一及第二切换处理中的任一个处理。

作为第一切换处理，CPU32定义每帧的视差量最大变化量，并设定于三维处理部28，从而对每帧的视差量的变化量加以限制。由此，能够在视差量最大变化量的范围内进行视差调整，抑制视差量的急剧的变化，所以能够使三维动画重放的视差调整稳定化。

并且，作为第二切换处理，CPU32跳过该帧的视差调整（禁止该帧的视差调整），而原封不动地继续前一帧的视差调整。即，使用前一帧的视差量。由此，即使在视差量有异常的情况下，也能够跳过视差调整，因此能够使三维动画重放的视差调整稳定化。

在步骤114中，CPU32使三维处理部28实施视差调整，将进行了视差调整的左眼用图像G1及右眼用图像G2输出到显示控制部30，前进到步骤116。

在步骤116中，CPU32对当前时刻下所显示的帧实施由使用者预先指定的编辑。此外，在该步骤116中，根据使用者的指示操作对一幅单位的帧实施编辑，但不限于此，也可以汇总多个帧进行编辑。

在下一步骤118中，CPU32判定是否通过重放停止按钮13C输入了动画重放停止的指示，在肯定判定的情况下，结束本例程，在否定判定的情况下转换到下一帧的处理，再次返回到步骤106。

如上所述，在图像重放加工装置10中，在作为实施加工的对象的帧显示于监视器12A的期间，进行控制使得视差量（进深侧视差量图表及近前侧视差量图表）和用于判断该视差量是否异常的指标（凹侧允许界限线、凸侧允许界限线及标识）能够对比地显示，因此能够简便且高精度地掌握视差量的异常。

并且，在图像重放加工装置10中，能够在实际实施编辑前的阶段掌握构成作为编辑对象的动画数据的帧的视差量的异常，因此能够容易地进行视差量异常的部位的修正。

此外，在检测出波动的情况下，CPU32也可以在实施了视差调整后（步骤108结束后）将表示波动有无的波动信息记录于记录介质34。由此，对动画信息附加了波动的有无，所以再次进行动画重放时能够利用波动信息，能够使再次进行三维动画重放时的视差调整稳定化。并且，在步骤104中，对（1）波动有无的判定、（2）视差量的允许界限判定、（3）视差调整对象的判定的任一个被执行的情况作了说明，但也可以执行（1）至（3）中的任两个或全部。

（第一实施方式）

接着，说明以上述第一基本方式为前提的本发明的第一实施方式。此外，在此，对上述的相同的部位标注相同的附图标记，省略其详细说明。

图12是表示该第一实施方式涉及的3D动画编辑例程的流程图。此外，以下对与上述3D动画编辑例程相同的处理标注相同的步骤序号而省略说明，并说明与上述3D动画编辑例程的不同点。

在该第一实施方式涉及的3D动画编辑例程中，如图12所示，CPU32执行了步骤110的处理后，前进到步骤113A。在步骤113A中，判定是否通过作为接收单元的操作部13接收到了进行视差量调整的指示，在作出肯定判定的情况下，转换到步骤113B，而在作出否定判定的情况下，转换到步骤113C。进行视差量调整的指示例如通过操作部13的菜单按钮13D被按压操作而实现。此外，在该步骤113A中作出了肯定判定的情况下，当前时刻下在监视器12A所显示的进深侧视差量图表及近前侧视差量图表中的任一个（例如进深侧视差量图表）闪烁显示。在该第一实施方式涉及的显示装置12中，将闪烁显示的图表作为视差量的调整对象的图表被选择这一情况视觉性地传达给使用者，但不限于此，也可以通过声音将当前时刻下哪个图表处于被选择的状态传达给使用者。例如，也可以在进深侧视差量图表处于被选择的状态时输出“当前，上侧的图表被选择”的声音，在近前侧视差量图表处于被选择的状态时输出“当前，下侧的图表被选择”的声音。并且，也可以通过组合上述可视显示及可听显示来向使用者传达当前哪个图表被选择。

在步骤113C中，判定是否满足了作为不进行视差量调整的条件而预先规定的条件（例如，在上述步骤108或上述步骤110的处理执行结束后经过了规定时间（例如3秒）的条件），在作出否定判定的情况下转换到步骤113A，而在作出肯定判定的情况下转换到步骤116。

在步骤113B中，判定进深侧视差量图表及近前侧视差量图表中作为视差量的调整对象的图表是否被指定，在作出肯定判定的情况下转换到步骤113D，而在作出否定判定的情况下转换到步骤113E。当通过上述步骤113B的处理指定了作为视差量的调整对象的图表时，当前时刻下闪烁显示的图表的显示方式变更为表示被指定为作为视差量的调整对象的图表这一情况的显示方式（例如以虚线停止显示的方式）。此外，作为视差量的调整对象的图表例如进深侧视差量图表及近前侧视差量图表的任一个通过十字键13G的左右方向的键被按压操作而被选择，在被选择的状态下通过确定按钮13F被按压操作而被指定（确定）。但是，作为视差量的调整对象的图表的指定方法不限于此。例如，也可以在监视器12A设置触摸面板，使用者经由触摸面板接触闪烁显示状态的图表，从而将该接触到的图表指定为作为视差量的调整对象的图表。

在步骤113E中，判定是否满足了作为不进行视差量调整的条件而预先规定的条件（例如，在上述步骤113A的处理执行结束后经过了规定时间（例如3秒）的条件），在作出否定判定的情况下转换到步骤113B，而在作出肯定判定的情况下转换到步骤116。

在步骤113D中，判定是否经由操作部13取得了视差量的调整量。视差量的调整量例如通过十字键13G的向上键或向下键被按压操作而取得。即，对十字键13G的向上键或向下键的按压操作量相当于视差量的调整量，对十字键13G的向上键或向下键的按压操作量作为视差量的调整量而被取得。并且，在该第二实施方式涉及的显示装置12中，在作为视差量的调整对象的图表被指定后十字键13G的向上键或向下键被按压操作时，作为视差量的调整对象被指定的图表根据该按压操作而发生变形。具体而言，CPU32进行以下控制：使作为视差量的调整对象的图表根据十字键13G的向上键或向下键的按压操作，以标识的纵贯线为中心越向左右方向（动画开始点侧及动画结束点侧）离开则变形量以预先规定的比例变得越小（与距标识的距离成反比）地发生变形。

此外，视差量的调整量的获取方法不限于十字键13G的向上键或向下键的按压操作的方法。其他方法中例如也可以在监视器12A设置触摸面板，使用者经由触摸面板接触作为视差量的调整对象而被指定的图表中的标识部分，将接触到的部分移动至规定位置（例如由凹侧允许界限线和凸侧允许界限线夹持的范围内的规定位置），在移动目的地停止对触摸面板的接触，从而取得所确定的移动量作为视差量的调整量。

在步骤113D中作出肯定判定的情况下，转换到作为加工单元的步骤113F，而在作出否定判定的情况下，转换到步骤113G。在步骤113G中，判定当前时刻下作为视差量的调整对象的图表的指定是否被解除，在作出肯定判定的情况下转换到步骤113B，而在作出否定判定的情况下转换到步骤113D。此外，图表指定的解除例如通过按压操作取消按钮13E来实现。

在步骤113F中，以通过上述步骤113B的处理所指定的图表为对象，基于通过上述步骤113D的处理而取得的调整量，使三维处理部28实施视差调整。由此，三维处理部28对当前时刻下所显示的帧实施通过上述步骤113D的处理而取得的调整量的视差调整，并且调整与当前时刻下所显示的帧的前后相连的帧的视差量。具体而言，对这些帧实施视差调整，使其沿与当前时刻下作为视差量的调整对象的图表中的标识部分的变形方向相同的方向发生变形，并且以标识为中心越向图表的左右方向（动画开始点侧及动画结束点侧）离开，则图表的变形量以预先规定的比例逐渐变得越小（与距标识的距离成反比），与之相伴，视差量也变得越小。由此，不仅对作为视差量的调整对象的图表中的标识部分所对应的帧（当前所显示的帧）的视差量，而且对与该帧前后相连的帧的视差量也可进行调整而不会感到不协调。

通过如此执行上述步骤113B、113D、113F的处理，例如在进深侧视差量图表未收于由凹侧允许界限线和凸侧允许界限线夹持的范围内的情况下（位于凹侧允许界限线的上方的情况下），在将进深侧视差量图表指定为作为视差量的调整对象的图表后，通过按压操作十字键13G的向下键，能够使进深侧视差量图表中的标识部分收于由凹侧允许界限线和凸侧允许界限线夹持的范围内。并且，在近前侧视差量图表未收于由凹侧允许界限线和凸侧允许界限线夹持的范围内的情况下（位于凸侧允许界限线的下方的情况下），在将近前侧视差量图表指定为作为视差量的调整对象的图表后，通过按压操作十字键13G的向上键，能够使近前侧视差量图表中的标识部分收于由凹侧允许界限线和凸侧允许界限线夹持的范围内。

在步骤113H中，判定是否满足了作为不进行视差量调整的条件而预先规定的条件（例如，在上述步骤113F的处理执行结束后经过了规定时间（例如3秒）的条件），在作出否定判定的情况下转换到步骤113A，而在作出肯定判定的情况下转换到步骤116。

此外，在该第一实施方式中，列举以进深侧视差量图表或近前侧视差量图表中的标识部分为中心而根据使用者的操作来调整视差量的情况的方式例进行了说明，但不限于此，也可以对于视差量显示画面40上所显示的进深侧视差量图表或近前侧视差量图表，指定超过视差量的允许界限范围的部位，使用在第一基本方式中说明的“第一切换处理”进行视差调整。在这种情况下，只要替代该第一实施方式涉及的3D动画编辑例程的步骤113A～113H的处理而使三维处理部28实施利用了“第一切换处理”的视差调整即可。此外，即使在这种情况下，也实施视差调整，使得以作为视差调整的部位而指定的部位为中心越向图表的左右方向离开则图表的变动量以预先规定的比例逐渐变得越小，从而不仅对作为视差量的调整对象的图表中的标识部分所对应的帧（当前所显示的帧）的视差量，而且对与该帧前后相连的帧的视差量也可进行调整而不会感到不协调。

并且，在该第一实施方式中，列举通过显示装置12的操作部13被操作而进行调整视差量的指示（步骤113A）、作为视差量的调整对象的图表的指定（步骤113B）、视差量的调整量的指示（步骤113D）及调整对象图表的指定的解除（步骤113G）的情况的方式例进行了说明，但这些例如也可以使用图13所示的遥控器50来进行。遥控器50具有对显示装置12发送无线信号的信号发送部51。并且，遥控器50具有操作部52，该操作部52构成为包括：电源按钮52A，与电源按钮13A一样地对显示装置12发挥功能；重放开始按钮52B，与重放开始按钮13B一样地对显示装置12发挥功能；重放停止按钮52C，与重放停止按钮13C一样地对显示装置12发挥功能；菜单按钮52D，与菜单按钮13D一样地对显示装置12发挥功能；取消按钮52E，与取消按钮13E一样地对显示装置12发挥功能；确定按钮52F，与确定按钮13F一样地对显示装置12发挥功能；及十字键52G，与十字键13G一样地对显示装置12发挥功能。如此构成的遥控器50将通过操作部52被操作而接收到的指示形成为无线信号，并发送到显示装置12。

另一方面，显示装置12构成为还包括信号接收部35。信号接收部35用于接收由遥控器50发送的无线信号，与总线BUS连接。由此，CPU32能够掌握由信号接收部35接收到的无线信号中包含的各种指示。因此，在如此构成的图像重放加工装置10中，作为经由遥控器50的操作部52接收到的指示，CPU32能够掌握进行视差量的调整的指示（步骤113A）、作为视差量的调整对象的图表的指定（步骤113B）、视差量的调整量的指示（步骤113D）及调整对象图表的指定的解除（步骤113G），因此能够获得与该第一实施方式同样的作用及效果。

并且，在该第一实施方式中，将视差量调整的实施及3D动画编辑例程的步骤116的处理一并作为“3D动画编辑”，但不限于此，也可以从3D动画编辑例程中去除步骤116，而将“视差量调整的实施”作为“3D动画编辑”。

（第二基本方式）

接着，说明作为后述的本发明的第二实施方式的前提的第二基本方式。此外，对与第一实施方式相同的部位标注相同的附图标记，省略其详细说明。

图14是表示该第二基本方式涉及的3D动画编辑例程的流程图。此外，以下对与第一实施方式涉及的3D动画编辑例程相同的处理标注相同的步骤序号而省略说明，并说明与第一实施方式涉及的3D动画编辑例程的不同点。

在该第二基本方式涉及的3D动画编辑例程中，如图14所示，CPU32执行了步骤100的处理后，前进到步骤250。在步骤250中，经由操作部13接收编辑菜单的指示。在该步骤250中，由使用者指示的编辑菜单是剪切、组合、缩放、剪辑、旋转、色调校正、图像（静止图像/动画/文字等）的重叠、帧率转换、交错转换、反转、淡入/淡出、镶嵌、格式转换等预先规定的多个编辑菜单中的任一个。

在下一步骤252中，根据通过上述步骤250的处理接收到的编辑菜单实施了编辑后，前进到步骤254。在步骤254中，对于三维处理部28，在以构成通过上述步骤252的处理所编辑的编辑完的动画数据的所有帧的各帧为对象而取得了视差量后，转换到步骤104。在此，执行在上述第一实施方式中说明的第一或第二视差量获取例程。

在CPU32执行了步骤104的处理后，前进到步骤256。在步骤256中，以通过上述步骤252的处理所编辑的编辑完的动画数据为对象，开始三维动画重放。

在CPU32执行了步骤114的处理后，前进到步骤258，判定是否满足了作为用于结束三维动画重放的条件而预先规定的条件（例如，通过重放停止按钮13C输入了动画重放停止的指示这一条件，或构成通过上述步骤252的处理所编辑的编辑完的动画数据的所有帧的重放结束了这一条件），在作出否定判定的情况下返回到步骤106，而在作出肯定判定的情况下前进到步骤260。在步骤260中，判定是否满足了作为用于结束该3D动画编辑例程的条件而预先规定的条件（例如，在结束三维动画重放后经过了规定时间的条件），在作出否定判定的情况下返回到步骤250，而在作出肯定判定的情况下结束本例程。

如上所述，在该第二基本方式涉及的图像重放加工装置10中，能够掌握实际实施了编辑后构成编辑完的动画数据的帧的视差量的异常，因此能够进行包括视差量异常的部位的修正在内的再次编辑。

（第二实施方式）

接着，说明以上述第二基本方式为前提的本发明的第二实施方式。此外，在此对上述的相同的部位标注相同的附图标记，省略其详细说明。

图15及图16是表示该第二实施方式涉及的3D动画编辑例程的流程图。并且，以下对与上述第一实施方式涉及的3D动画编辑例程相同的处理及与上述第二基本方式涉及的3D动画编辑例程相同的处理标注相同的步骤序号而省略说明，并说明与上述第二基本方式涉及的3D动画编辑例程的不同点。

该第二实施方式涉及的3D动画编辑例程与上述第二基本方式涉及的3D动画编辑例程相比其不同点在于：去除了步骤112、114；以及设置了上述第一实施方式涉及的3D动画编辑例程的步骤113A～113H。

在步骤108中，在作出否定判定的情况下转换到步骤113A，而在作出肯定判定的情况下转换到步骤110。当CPU32结束了步骤110的处理的执行时，转换到步骤113A，执行步骤113A～113H的处理。在步骤113C、113E、113H中，在作出肯定判定的情况下，转换到步骤258。

此外，在该第二实施方式中，列举以进深侧视差量图表或近前侧视差量图表中的标识部分为中心而根据使用者的操作来调整视差量的情况的方式例进行了说明，但不限于此，也可以对于视差量显示画面40上所显示的进深侧视差量图表或近前侧视差量图表，指定超过视差量的允许界限范围的部位，使用在第一基本方式中说明的“第一切换处理”进行视差调整。

并且，在该第二实施方式中，列举通过显示装置12的操作部13被操作而进行调整视差量的指示（步骤113A）、作为视差量的调整对象的图表的指定（步骤113B）、视差量的调整量的指示（步骤113D）及调整对象图表的指定的解除（步骤113G）的情况的方式例进行了说明，但这些例如也可以使用图13所示的遥控器50来进行。

并且，在该第二实施方式中，将视差量调整的实施及3D动画编辑例程的步骤252的处理一并作为“3D动画编辑”，但不限于此，也可以从3D动画编辑例程中去除步骤252，而将“视差量调整的实施”作为“3D动画编辑”。在这种情况下，在步骤254中，替代编辑完的动画数据，执行从动画数据取得视差量的处理。

（第三基本方式）

接着，说明作为后述的本发明的第三实施方式的前提的第三基本方式。此外，对与第一及第二实施方式相同的部位标注相同的附图标记，省略其详细说明。

图17是表示该第三基本方式涉及的3D动画编辑例程的流程图。此外，以下对与第二实施方式涉及的3D动画编辑例程相同的处理标注相同的步骤序号而省略说明，并说明与第二实施方式涉及的3D动画编辑例程的不同点。

在该第三基本方式涉及的3D动画编辑例程中，如图17所示，CPU32执行了步骤256的处理后，前进到步骤300。在步骤300中，在设定了索引序号i=0后，前进到步骤106，在执行了步骤106的处理后，前进到步骤302。在步骤302中，在取得了当前时刻下所显示的帧的视差量后，前进到步骤304。在步骤304中，在将i加1（i=i+1）后，前进到步骤108。

在CPU32执行了步骤110的处理后，前进到步骤306A。在步骤306A中，判定索引序号i是否为视差调整频率N以上（i≥N）。并且，在i≥N的情况下，前进到步骤306B，在设定为i=0后，前进到步骤114，在不是i≥N的情况下，跳过步骤114，前进到步骤258。

因此，在索引序号i小于N的情况下，反复执行步骤106、302、108、110、306（步骤306A）、258，不进行视差调整（步骤114）。并且，当索引序号i达到N时，经过步骤108、110、306（步骤306A、306B），前进到步骤114，所以实施视差调整。因此，在视差存在异常的情况下，并非对每帧进行视差调整，而是对N帧仅进行一次视差调整，所以能够减少视差调整频率，使视差调整的变化减缓。

（第三实施方式）

接着，说明以上述第三基本方式为前提的本发明的第三实施方式。此外，在此对上述的相同的部位标注相同的附图标记，省略其详细说明。

图18及图19是表示该第三实施方式涉及的3D动画编辑例程的流程图。并且，以下对与上述第二实施方式涉及的3D动画编辑例程相同的处理及与上述第三基本方式涉及的3D动画编辑例程相同的处理标注相同的步骤序号而省略说明，并说明与上述第三基本方式涉及的3D动画编辑例程的不同点。

该第三实施方式涉及的3D动画编辑例程与上述第三基本方式涉及的3D动画编辑例程相比其不同点在于：去除了步骤114；以及设置了上述第一实施方式涉及的3D动画编辑例程的步骤113A～113H。

在步骤108中，在作出否定判定的情况下转换到步骤113A，而在作出肯定判定的情况下转换到步骤110。当CPU32结束了步骤306B的处理的执行时，转换到步骤113A，执行步骤113A～113H的处理。在步骤113C、113E、113H中，在作出肯定判定的情况下，转换到步骤258。

此外，在该第三实施方式中，列举以进深侧视差量图表或近前侧视差量图表中的标识部分为中心而根据使用者的操作来调整视差量的情况的方式例进行了说明，但不限于此，也可以对于视差量显示画面40上所显示的进深侧视差量图表或近前侧视差量图表，指定超过视差量的允许界限范围的部位，使用在第一基本方式中说明的“第一切换处理”进行视差调整。

并且，在该第三实施方式中，列举通过显示装置12的操作部13被操作而进行调整视差量的指示（步骤113A）、作为视差量的调整对象的图表的指定（步骤113B）、视差量的调整量的指示（步骤113D）及调整对象图表的指定的解除（步骤113G）的情况的方式例进行了说明，但这些例如也可以使用图13所示的遥控器50来进行。

并且，在该第三实施方式中，将视差量调整的实施及3D动画编辑例程的步骤252的处理一并作为“3D动画编辑”，但不限于此，也可以从3D动画编辑例程中去除步骤252，而将“视差量调整的实施”作为“3D动画编辑”。在这种情况下，在步骤254中，替代编辑完的动画数据，执行从动画数据取得视差量的处理。

（第四基本方式）

接着，说明作为后述的本发明的第四实施方式的前提的第四基本方式。此外，对与第一～第三实施方式相同的部位标注相同的附图标记，省略其详细说明。

图20是表示该第四基本方式涉及的3D动画编辑例程的流程图。此外，以下对与第三实施方式涉及的3D动画编辑例程相同的处理标注相同的步骤序号而省略说明，并说明与第三实施方式涉及的3D动画编辑例程的不同点。

在该第四基本方式涉及的3D动画编辑例程中，如图20所示，CPU32执行了步骤106的处理后，前进到步骤350。在步骤350中，使三维处理部28取得基于记录介质34中所存储的图像文件F0的左眼用图像G1及右眼用图像G2的基本视差量，前进到步骤352。在此，基本视差量是指默认对象的视差量，例如是最靠近画面中心的对象的视差量。

在步骤352中，判定由三维处理部28取得的基本视差量是否有异常。在此，执行与图18所示的步骤108相同的处理。并且，在基本视差量有异常的情况下前进到步骤110，在无异常的情况下前进到步骤354。

在步骤354中，CPU32控制三维处理部28以使用基本视差量来实施视差调整，前进到步骤360。根据该步骤354的处理，三维处理部28使用左眼用图像G1及右眼用图像G2的基本视差量进行视差调整，将视差调整后的左眼用图像G1及右眼用图像G2输出到显示控制部30。

另一方面，在CPU32执行了步骤110的处理后，前进到步骤356。在步骤356中，使三维处理部28取得其他对象的视差量，前进到步骤358。作为其他对象，例如默认对象以外的人物的脸部等。

在步骤358中，控制三维处理部28以使用其他对象的视差量来实施视差调整。此时，三维处理部28选择“在Z方向上接近默认对象的对象”或“在二维坐标上接近默认对象的对象”作为“其他对象”，使用所选择的对象的视差量来进行视差调整，将视差调整后的对象输出到显示控制部30。在此，用二维坐标（X、Y）表示与记录介质34中所存储的图像文件F0的左眼用图像G1及右眼用图像G2相同的平面，将与该面（基线）垂直的方向称为Z方向。

因此，“在Z方向上接近默认对象的对象”不管在二维坐标中是否接近都是立体感与默认对象最接近的对象。因此，三维处理部28使用该对象的视差量来进行视差调整，从而能够抑制视差量的急剧的变化，结果能够稳定地进行视差调整。

并且，“在二维坐标上接近默认对象的对象”不管是否接近默认对象的立体感都是在二维坐标上最接近默认对象的对象。因此，三维处理部28使用该对象的视差量进行视差调整，从而能够通过与到目前为止的视差调整对象接近的对象进行视差调整，结果能够稳定地进行视差调整。并且，经过上述处理后前进到步骤360。

在步骤360中，将视差调整对象用GUI（Graphical User Interface：图形使用者接口）标记并显示于监视器12A，前进到步骤258。在此，对于作为视差调整对象的人物的脸部，例如可以如图21A所示用方形包围，也可以如图21B所示用圆包围，还可以如图21C所示加上星星标记。

在步骤258中，CPU32判定是否通过重放停止按钮13C输入了动画重放停止的指示，在肯定判定的情况下结束本例程，在否定判定的情况下转换到下一帧的处理，再次返回到步骤106。

如上所述，第四基本方式的图像重放加工装置10中，即使在默认对象的基本视差量有异常的情况下，或错过了默认对象的情况下，也能将视差调整对象切换到其他对象后进行视差调整，因此能够使三维动画重放的视差调整稳定化。

（第四实施方式）

接着，说明以上述第四基本方式为前提的本发明的第四实施方式。此外，在此对上述的相同的部位标注相同的附图标记，省略其详细说明。

图22及图23是表示该第四实施方式涉及的3D动画编辑例程的流程图。并且，以下对与上述第三实施方式涉及的3D动画编辑例程相同的处理及与上述第四基本方式涉及的3D动画编辑例程相同的处理标注相同的步骤序号而省略说明，并说明与上述第四基本方式涉及的3D动画编辑例程的不同点。

该第四实施方式涉及的3D动画编辑例程与上述第四基本方式涉及的3D动画编辑例程相比其不同点在于：去除了步骤356、358；以及设置了上述第一实施方式涉及的3D动画编辑例程的步骤113A～113H。

当CPU32结束了步骤110的处理时，转换到步骤113A，执行步骤113A～113H的处理。在步骤113C、113E、113H中，在作出肯定判定的情况下，转换到步骤360。

此外，在该第四实施方式中，列举以进深侧视差量图表或近前侧视差量图表中的标识部分为中心而根据使用者的操作来调整视差量的情况的方式例进行了说明，但不限于此，也可以对于视差量显示画面40上所显示的进深侧视差量图表或近前侧视差量图表，指定超过视差量的允许界限范围的部位，使用在第一基本方式中说明的“第一切换处理”进行视差调整。

并且，在该第四实施方式中，列举通过显示装置12的操作部13被操作而进行调整视差量的指示（步骤113A）、作为视差量的调整对象的图表的指定（步骤113B）、视差量的调整量的指示（步骤113D）及调整对象图表的指定的解除（步骤113G）的情况的方式例进行了说明，但这些例如也可以使用图13所示的遥控器50来进行。

并且，在该第四实施方式中，将视差量调整的实施及3D动画编辑例程的步骤252的处理一并作为“3D动画编辑”，但不限于此，也可以从3D动画编辑例程中去除步骤252，而将“视差量调整的实施”作为“3D动画编辑”。在这种情况下，在步骤254中，替代编辑完的动画数据，执行从动画数据取得视差量的处理。

（第五实施方式）

接着，参照附图说明本发明的第五实施方式。图24是本发明的实施方式涉及的复眼相机301的正面侧立体图，图25是背面侧立体图。

在复眼相机301的上部具有释放按钮302、电源按钮303及变焦杆304。在复眼相机301的正面配置有闪光灯305及两个摄影部321A、321B的透镜。并且，在复眼相机301的背面配置有进行各种显示的液晶监视器（以下简称为“监视器”）307及包括也作为在第一及第二实施方式中说明的重放开始按钮13B及重放停止按钮13C发挥功能的按钮在内的各种操作按钮308。

图26是表示复眼相机301的内部构成的概略框图。复眼相机301具有两个摄影部321A、321B、摄影控制部322、图像处理部323、压缩/解压缩处理部324、帧存储器325、介质控制部326、内部存储器327、显示控制部328及CPU335，它们经由总线BUS相互连接。并且，在介质控制部326连接有记录介质329，在显示控制部328连接有监视器307。而且，在CPU335连接有输入部334，该输入部334构成为包括释放按钮302、电源按钮303、变焦杆304及操作按钮308。此外，摄影部321A、321B被配置为具有将被摄体视入的收敛角并成为预先规定的基线长。并且，收敛角及基线长的信息存储于内部存储器327中。

图27是表示摄影部321A、321B的构成的图。如图27所示，摄影部321A、321B分别具有透镜310A、310B、光圈311A、311B、快门312A、312B、摄像元件313A、313B、模拟前端（AFE）314A、314B及A/D转换部315A、315B。

透镜310A、310B具有用于使焦点与被摄体对齐的聚焦透镜、用于实现变焦功能的变焦透镜等多个功能有别的透镜。透镜310A、310B的位置基于由摄影控制部322的AF处理部322a获得的对焦数据及图24和图25所示的变焦透镜304被操作的情况下获得的变焦数据，由未图示的透镜驱动部进行调整。

光圈311A、311B基于由摄影控制部322的AE处理部322b获得的光圈值数据，通过未图示的光圈驱动部进行光圈径的调整。

快门312A、312B是机械快门，通过未图示的快门驱动部，根据由AE处理部322b获得的快门速度而驱动。

摄像元件313A、313B具有将多个受光元件二维状地排列而成的光电面，被摄体光在该光电面上成像并被光电转换而取得模拟摄影信号。并且，在摄像元件313A、313B的前面配置有R、G、B各色滤光片规则性排列而成的滤色器。

AFE314A、314B对从摄像元件313A、313B输出的模拟摄影信号实施去除模拟摄影信号的噪声的处理及调节模拟摄影信号的增益的处理（以下称为“模拟处理”）。

A/D转换部315A、315B将被AFE314A、314B实施了模拟处理的模拟摄影信号转换为数字信号。此外，将由摄影部321A取得的数字图像数据所表示的图像作为左眼用图像，将由摄影部321B取得的数据图像所表示的图像作为右眼用图像G2。

摄影控制部322如上所述具有AF处理部322a及AE处理部322b。AF处理部322a在释放按钮302被半按操作时，从测距传感器获得测距信息，决定透镜310A、310B的焦点位置，并输出到摄影部321A、321B。AE处理部322b基于预图像决定光圈值和快门速度，并输出到摄影部321A、321B。

此外，作为AF处理部322a对焦点位置的检测方式，不限于使用了测距信息的主动方式，也可以使用利用图像的对比度来检测对焦位置的被动方式。

摄影控制部322在释放按钮302未被操作的状态下控制摄影部321A、321B，使得以规定时间间隔（例如1/30秒间隔）依次生成用于确认摄影范围的、像素数比左眼用图像G1及右眼用图像G2的本图像少的实时取景图像。并且，在释放按钮302被全按操作时摄影控制部322控制摄影部321A、321B，使得为了开始本摄影而生成左眼用图像G1及右眼用图像G2的本图像。

以上说明了静止画面模式的情况，而在本第五实施方式中，也可以设定为动画摄影模式。在动画摄影模式的情况下，当释放按钮302被按压时开始动画摄影，对应每帧生成左眼用图像G1及右眼用图像G2，当再次按压释放按钮302时，动画摄影停止。

图像处理部323对摄影部321A、321B所取得的左眼用图像G1及右眼用图像G2的数字图像数据实施白平衡调整、灰度校正、锐度校正及颜色校正等图像处理。

压缩/解压缩处理部324对被图像处理部323实施了处理的表示左眼用图像G1及右眼用图像G2的本图像的图像数据例如以JPEG等压缩形式进行压缩处理，生成体视用的图像文件F0。该体视用的图像文件F0具有左眼用图像G1及右眼用图像G2的图像数据，而且还包括基于Exif格式等的基线长、收敛角及摄影时间等附带信息及表示视点位置的视点信息。

帧存储器325是对摄影部321A、321B所取得的表示左眼用图像G1及右眼用图像G2的图像数据进行包括上述图像处理部323所进行的处理在内的各种处理时所使用的作业用存储器。

介质控制部326对记录介质329进行存取，进行图像文件等的写入和读入的控制。

内部存储器327存储复眼相机301中所设定的各种常数及CPU335所执行的程序等。

在立体视的情况下，显示控制部328将帧存储器325或记录介质329中所记录的体视图像GR显示于监视器307。

图28是表示监视器307的构成的分解立体图。如图28所示，监视器307如下构成：将由LED发光的背光单元340及用于进行各种显示的液晶面板341层叠，在液晶面板341的表面安装柱面透镜片342。

图29是表示柱面透镜片的构成的图。如图29所示，柱面透镜片342通过在沿着基线的方向上并排排列多个圆柱体透镜343而构成。

并且，复眼相机301具有三维处理部330。三维处理部330为了将左眼用图像G1及右眼用图像G2体视显示于监视器307，对左眼用图像G1及右眼用图像G2进行三维处理，生成体视图像GR。

图30是用于说明对左眼用图像G1及右眼用图像G2的三维处理的图。如图30所示，三维处理部330以如下方式进行三维处理而生成立体图像GR：将左眼用图像G1及右眼用图像G2分别在相对于基线垂直的方向上剪切成长条状，在柱面透镜片342中的圆柱体透镜343上分别交替配置位置对应的剪切为长条状的左眼用图像G1及右眼用图像G2。构成体视图像GR的左眼用图像G1及右眼用图像G2的图像对分别与一个圆柱体透镜对应而配置。

并且，三维处理部330也能够调整左眼用图像G1及右眼用图像G2的视差。在此，视差是指左眼用图像G1及右眼用图像G2双方含有的被摄体的、左眼用图像G1及右眼用图像G2的横向、即沿着基线的方向上的像素位置的偏移量。通过调整视差，能够使立体图像GR中含有的被摄体的立体感适当。

并且，三维处理部330可以实时调整由摄影部321A、321B获得的左眼用图像G1及右眼用图像G2的视差，也可以调整记录介质329中预先记录的左眼用图像G1及右眼用图像G2的视差。

在如上构成的复眼相机301中，执行在第一～第四实施方式中说明的3D动画编辑例程。此外，第一及第二视差调整例程的程序预先存储于内部存储器327中。

此外，本发明不限于上述实施方式，能够适用于在权利要求范围所记载的事项的范围内进行了设计变更的方式。

例如，在上述第一～第四实施方式中，替代直接取得视差量，作为一例，也可以取得图31所示的视差相关信息。

图32A及图32B是用于说明视差相关信息的图。视差相关信息对于每帧的左眼图像（左眼用图像G1）及右眼图像（右眼用图像G2），为特征点A的坐标组、特征脸部A的坐标组、特征脸部B的坐标组、波动有无等信息。并且，也可以使用这些视差相关信息进行视差调整。

在本第五实施方式中，列举在监视器307显示体视图像的情况的方式例进行了说明，但不限于此，例如也可以将图1所示的显示装置12和复眼相机301以能够利用有线或无线进行通信的方式连接，将由复眼相机301生成的左眼用图像G1及右眼用图像G2发送到显示装置12，在显示装置12显示基于从复眼相机301发送的左眼用图像G1及右眼用图像G2的三维立体图像。在这种情况下，使用者例如可以通过一边视觉确认显示装置12所显示的三维立体图像一边操作复眼相机301的操作按钮308来进行图像数据的编辑、视差量的调整。并且，在显示装置12和复眼相机301已连接的情况下，也能够对显示装置12的记录介质34中记录的图像数据进行编辑、视差量的调整。在这种情况下，只要使用图13所示的遥控器50或显示装置12的操作部13进行图像数据的编辑、视差量的调整即可。

此外，在上述第一～第四实施方式中，列举使用液晶快门眼镜14使使用者视觉确认体视图像的情况的方式例进行了说明，在上述第五实施方式中，列举通过使用柱面透镜片42使使用者视觉确认体视图像的情况的方式例进行了说明，但不限于此，例如也可以在上述第一～第四实施方式中说明的显示装置12的监视器12A适用柱面透镜片42，并且如上述第五实施方式所述，生成体视图像GR并显示于监视器12A，从而使使用者不使用液晶快门眼镜14而视觉确认体视图像，并且，也可以替代在上述第五实施方式中说明的在复眼相机301的监视器307设置柱面透镜片342，而将左眼用图像G1和右眼用图像G2交替显示于监视器307，并如上述第一～第四实施方式所述，通过使用液晶快门眼镜14使使用者视觉确认体视图像。

并且，在上述各实施方式中，列举基于同一人物的脸部区域取得视差量的方式例进行了说明，但不限于此，例如也可以适用狗、猫等宠物的脸部区域、特定的动物、植物的特征部分的轮廓、或生物以外的物体（例如汽车、电车及建筑等）的特征部分的轮廓作为视差量的获取对象。在这种情况下，列举以下方式例：预先准备存储有表示获取对象的图像的特征的特征量数据的图案匹配用的图像辞典，使用该图像辞典确定获取对象，算出所确定的获取对象的视差量。此外，图像辞典优选由使用者自定义的方式。在这种情况下，能够例示如下的图像辞典：使用者能够向图像辞典追加注册表示图像特征的特征量数据以及从图像辞典删除表示图像特征的特征量数据，其中该图像特征表示作为视差量的获取对象所指定的事物。

并且，也可以将视差量的获取对象设为具有帧内的规定值以上的空间频率的被摄体图像。在这种情况下，例如可以设为基于对应每帧由以规定值的空间频率（边缘成分）规定的闭合曲线所包围的区域（闭合曲线区域）的被摄体图像，也可以设为基于对应每帧由以超过规定空间频率的空间频率（规定值）规定的闭合曲线区域的被摄体图像。此外，该被摄体图像可以是帧内的以规定空间频率以上的空间频率规定的闭合曲线区域本身，也可以是包围以规定值的空间频率规定的闭合曲线区域的最小矩形、最小圆形等几何形状内的区域，还可以是使闭合曲线区域按照规定的算法变形而获得的区域。这样一来，视差量的获取对象只要是每帧的预先规定的被摄体图像，则可以是任意的。

并且，在上述各实施方式中，列举以下情况的方式例进行了说明：取得在帧内的进深侧及近前侧视差量较大的对象即凹侧对象及凸侧对象的视差量并将所取得的视差量的经时变化对应每个对象进行图表化而进行显示，但不限于此，也可以取得帧内的任一个对象的视差量并将该视差量的经时变化图表化进行显示，还可以取得帧内的三个以上的对象的视差量并将这些视差量的各经时变化图表化进行显示。

并且，在上述各实施方式中，将视差量的经时变化图表化来表现，但不限于此，也可以数值化地表现。在这种情况下，只要将表示作为异常的视差量而预先规定的视差量的数值能够对比地一并显示即可。并且，也可以将视差量图表化进行显示并且与该显示一并地显示表示视差量的数值。在这种情况下，优选使表示视差量的数值与当前时刻下所显示的帧相关。由此，能够更进一步易于掌握当前时刻下所显示的帧中含有的对象的视差量是否为异常。

并且，在上述各实施方式中，列举与监视器12A所显示的帧重叠地显示视差量显示画面40的情况的方式例进行了说明，但不限于此，也可以将重放的帧和视差量显示画面40以不同的监视器进行显示。在这种情况下，优选将视差量显示画面40内显示的标识显示于确定基于当前时刻下所显示的帧中含有的对象的视差量的位置上。

并且，在上述各实施方式中，列举直接对比表示视差量的图表与用于判断视差量是否为异常的指标（允许界限线）的方式例进行了说明，但也可以采用交替地显示表示视差量的图表和用于判断视差量是否为异常的指标的间接对比。在这种情况下，通过高速地交替显示，能够实质上进行直接对比。

日本专利申请第2011-126295号的公开内容其整体通过参照而并入到本说明书中。

本说明书中记载的所有文献、专利申请及技术规格通过参照而并入到本说明书中，各文献、专利申请及技术规格通过参照而并入等同于它们被具体且分别地记载。

Claims (13)

1.一种图像加工装置，包括：

图像获取单元，取得从多个视点连续拍摄同一被摄体而获得的连续帧图像；

视差量获取单元，基于构成由上述图像获取单元取得的上述连续帧图像的多个帧图像的各帧图像，取得上述多个帧图像的各帧图像的视差量；

显示单元，将构成由上述图像获取单元取得的连续帧图像的帧图像作为体视图像以能够视觉确认的方式进行显示；

接收单元，接收加工指示信息，该加工指示信息指示对上述帧图像的视差量的加工；

加工单元，对上述显示单元所显示的上述帧图像实施由上述接收单元接收到的加工指示信息所指示的视差量的加工；及

控制单元，控制上述显示单元，使得在上述加工单元对视差量的加工被指示后的上述帧图像显示于上述显示单元的期间，将与由上述视差量获取单元取得的视差量有关的视差量相关信息和用于判断该视差量是否为异常的指标建立对应并进行显示。

2.根据权利要求1所述的图像加工装置，其中，

上述视差量获取单元基于在上述帧图像内作为视差量的获取对象的被摄体图像而预先规定的被摄体图像来取得视差量。

3.根据权利要求2所述的图像加工装置，其中，

将上述预先规定的被摄体图像设为上述帧图像内的具有规定值以上的空间频率的被摄体图像。

4.根据权利要求1～3中任一项所述的图像加工装置，其中，

上述控制单元进一步控制上述显示单元，使得在上述加工单元对视差量的加工被指示后的上述帧图像显示于上述显示单元的期间，将表示视差量的允许界限的信息、表示视差量的经时变化的信息、在表示该视差量的经时变化的信息中能够确认当前显示的帧图像的视差的信息建立对应并进行显示。

5.根据权利要求4所述的图像加工装置，其中，

使表示上述视差量的允许界限的信息和表示上述视差量的经时变化的信息与被摄体图像的进深侧和近前侧分别对应。

6.根据权利要求1～5中任一项所述的图像加工装置，其中，

还包括异常判定单元，该异常判定单元在以下情况中的至少一种情况下判定为上述视差量有异常：由上述视差量获取单元取得的视差量的一定期间的变动大于规定值的情况、上述视差量达到预先规定的允许界限值的情况和无法检测出上述视差量的获取对象的情况，

上述控制单元进一步控制上述显示单元，使得在由上述异常判定单元判定为视差量为异常的情况下，与该视差量所对应的帧图像的显示同步地显示警告。

7.根据权利要求6所述的图像加工装置，其中，

还包括视差调整单元，在由上述异常判定单元判定为上述视差量无异常的情况下，该视差调整单元进行第一视差调整，在由上述异常判定单元判定为上述视差量有异常的情况下，该视差调整单元切换到与上述第一视差调整的控制不同的第二视差调整的控制来进行视差调整，

上述控制单元进一步控制上述显示单元，使得在作为由上述加工单元实施加工的对象的上述帧图像显示于上述显示单元的情况下，对被上述视差调整单元进行了上述视差调整的上述帧图像进行显示。

8.根据权利要求7所述的图像加工装置，其中，

在由上述异常判定单元判定为上述视差量有异常的情况下，上述视差调整单元在预先规定的视差量最大变化量的范围内进行视差调整。

9.根据权利要求7或8所述的图像加工装置，其中，

在由上述异常判定单元判定为上述视差量有异常的情况下，上述视差调整单元使用前一帧的视差量来进行视差调整。

10.根据权利要求7～9中任一项所述的图像加工装置，其中，

在由上述异常判定单元判定为上述视差量有异常的情况下，上述视差调整单元降低视差调整频率。

11.一种复眼摄像装置，包括：

权利要求1～10中任一项所述的图像加工装置；及

摄像单元，通过从多个视点以连续帧拍摄同一被摄体而生成上述连续帧图像。

12.一种图像加工方法，

取得从多个视点连续拍摄同一被摄体而获得的连续帧图像，

基于构成所取得的上述连续帧图像的多个帧图像中的各帧图像，取得上述多个帧图像中的各帧图像的视差量，

将构成所取得的连续帧图像的帧图像作为体视图像以能够视觉确认的方式进行显示，

接收加工指示信息，该加工指示信息指示对上述帧图像的视差量的加工，

对所显示的上述帧图像实施由接收到的加工指示信息所指示的视差量的加工，

在对视差量的加工被指示后的上述帧图像进行显示的期间，将与所取得的视差量有关的视差量相关信息和用于判断该视差量是否为异常的指标建立对应并进行显示。

13.一种程序，用于使计算机作为以下单元发挥功能：

图像获取单元，取得从多个视点连续拍摄同一被摄体而获得的连续帧图像；

视差量获取单元，基于构成由上述图像获取单元取得的上述连续帧图像的多个帧图像中的各帧图像，取得上述多个帧图像中的各帧图像的视差量；

将构成由上述图像获取单元取得的连续帧图像的帧图像作为体视图像以能够视觉确认的方式显示于显示单元的单元；

接收单元，接收加工指示信息，该加工指示信息指示对上述帧图像的视差量的加工；

加工单元，对上述显示单元所显示的上述帧图像实施由上述接收单元接收到的加工指示信息所指示的视差量的加工；及

控制单元，控制上述显示单元，使得在上述加工单元对视差量的加工被指示后的上述帧图像显示于上述显示单元的期间，将与由上述视差量获取单元取得的视差量有关的视差量相关信息和用于判断该视差量是否为异常的指标建立对应并进行显示。

Images