CN103959336A - 图像处理装置、其方法和非暂时性计算机可读存储介质 - Google Patents

Abstract

一种图像处理装置、图像处理方法和计算机程序产品基于图像处理装置的姿势执行图像处理以便抑制视差调整的量。所述装置包括视差控制单元，其基于在成像操作过程中检测到的成像设备的移动，调整由成像设备拍摄的左图像和右图像内的对象的位置。所述左图像和右图像配置为被作为立体图像一起显示。

Description

图像处理装置、其方法和非暂时性计算机可读存储介质

技术领域

本技术涉及一种图像处理设备。特别地，该技术涉及一种处理立体图像的图像处理设备、其控制方法和在计算机中执行该方法的计算机程序产品。

背景技术

在涉及的技术中，图像处理设备诸如数字静态照相机或数字摄像机(例如，集成相机的记录装置等等)，记录多个图像(图像数据)以便显示立体图像，所述立体图像能够利用左眼和右眼的视差通过使它们彼此相关联来获得三维视觉。

当用户观看以这种方式记录的立体图像时，可能存在焦距变得不同的情况，即使当现实世界和会聚角彼此相同时也是如此。为此，减少由这种原因所引起的用户的不自然感觉是重要的。

因此，提出了视差转换设备，其中，例如，产生用于使用输入图像的左图像和右图像执行适当视差控制的视差控制参数，并且根据该视差控制参数控制图像转换处理的内容(例如，参见专利文献1)。

引用列表专利文献

专利文献1:JP2011-55022A概述

发明内容

技术问题

根据上述相关技术，当显示经过视差调整之后的立体图像时，通过相对于立体图像执行视差调整，可以自然地并且舒适地显示该立体图像。

这里，例如，通过顺序显示用于显示立体图像(运动图像)的左眼图像和右眼图像中的任意一个，可以作为平面图像(运动图像)显示立体图像内容。然而，当作为平面图像显示经过视差调整之后的立体图像时，存在平面图像变得难以观看的顾虑，这是因为用户觉得由于视差调整产生的视差改变不自然。

考虑到该情况产生本技术，并且本技术的一个目的是提供用户可以容易地观看的图像内容。

技术问题

作为非限制性的例子，描述了一种图像处理装置，包括视差控制单元，其基于在成像设备的成像操作过程中对该成像设备的移动的检测，调整由成像设备拍摄的左图像和右图像内的对象的位置。左图像和右图像配置为被作为立体图像一起显示。还描述了一种对应的方法和非暂时性计算机程序产品。

发明的有利效果

根据本技术，可以提供能够提供用户可以容易地观看的图像内容的优异效果。

附图说明

图1是示出了根据本技术的第一实施例的成像设备100的配置例子的方框图。

图2是示意地示出了使用成像设备100执行的成像操作的例子和通过该成像操作产生的立体图像的图。

图3是示意地示出了根据本技术的第一实施例，由图像转换单元222执行的图像转换的例子的图。

图4是以时间顺序示意地示出了根据本技术的第一实施例，经过图像转换单元222的图像转换的立体图像的转变的图。

图5是按时间顺序示意地示出了根据本技术的第一实施例，当显示由成像设备100记录的立体图像时，显示该立体图像的转变的图。

图6是示出了根据本技术的第一实施例，当限制由图像转换单元222执行的图像转换(视差调整)时使用的限制量的例子的图。

图7是按时间顺序示意地示出了根据本技术的第一实施例，当显示由成像设备100记录的立体图像时，显示该立体图像的转变的图。

图8是示出了根据本技术的第一实施例，成像设备100执行的立体图像的记录处理命令的例子的流程图。

图9是示出了根据本技术的第一实施例，由成像设备100执行的立体图像的记录处理命令的例子的流程图。

图10是示出了根据本技术的第二实施例，成像设备600的功能配置例子的方框图。

具体实施方案

以下，将描述用于实现本技术的实施例(以下称为实施例)。将以下面的顺序进行描述。

第一实施例(立体图像的记录控制的例子：根据立体图像的成像操作时的成像操作的状态，控制立体图像的视差调整的例子)

第二实施例(限制通过调整两个成像单元的会聚角，执行立体图像的视差调整的成像设备的视差调整的例子)

<1.第一实施例>

"成像设备的配置例子"

图1是示出了根据本技术的第一实施例的成像设备100的配置例子的方框图。

成像设备100包括成像单元210、图像处理单元221、图像转换单元222、显示控制单元223、显示单元224、记录控制单元225和内容存储单元226。另外，成像设备100包括姿势检测单元230、视差估计单元240、视差控制单元250、操作接收单元260和控制单元270。另外，成像设备100是在本发明的权利要求的范围内描述的图像处理装置的例子。

成像单元210是成像单元，其通过拍摄被摄体而产生包括该被摄体的平面图像，或根据控制单元270的控制，形成该被摄体的立体视觉的立体图像，并且包括第一和第二成像单元211和212。

第一和第二成像单元211和212由光学系统和一对分别在左边和右边的成像元件构成。另外，除了不同的布置位置之外，第一和第二成像单元211和212中的每个配置(每个光学系统、每个成像元件等等)彼此近似相同。为此，以下，将通过省略这些左右配置中的任意一个的一部分描述该配置。

第一成像单元211包括将通过光学系统(未示出)输入的光转换为电信号的成像元件(未示出)，和对该成像元件的输出信号(模拟信号)执行处理的模拟信号处理单元(未示出)。即，在第一成像单元211中，在成像元件的成像表面上形成通过光学系统输入的被摄体的光学图像，并且通过在该状态下由成像元件执行成像操作产生模拟信号。另外，当模拟信号处理单元对于该模拟信号执行模拟处理(诸如放大或去除噪声)时，产生图像信号。另外，产生的图像信号(模拟信号)被输出到图像处理单元221。另外，作为成像元件，例如，可以使用CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等等。

另外，第一成像单元211的光学系统由镜头组或光阑构成，所述镜头组聚集来自被摄体的入射光，并且由镜头组聚集的光被通过该光阑输入到成像元件。另外，该镜头组由用于聚焦的聚焦透镜、用于放大被摄体的变焦透镜等等构成。另外，基于控制单元270的指令驱动构成该光学系统的每个透镜，并且通过相对于该被摄体来回移动执行聚焦和缩放的功能。

另外，成像单元210执行对应于由控制单元270设置的成像模式的成像处理。这里，平面图像成像模式和立体图像成像模式的成像模式中的任意一个作为该成像模式。平面图像成像模式是这样的成像模式，其中第一和第二成像单元211和212中的任意一个通过对被摄体成像产生平面图像，并且记录该平面图像。另外，立体图像成像模式是这样的成像模式，其中第一和第二成像单元211和212分别对被摄体成像，并且产生立体图像(左眼图像和右眼图像)以便形成被摄体的立体视觉，并且记录该立体图像。

另外，在这些成像模式中的每一个内，假设可以设置用于记录静止图像的静止图像成像模式和用于记录运动图像的运动图像成像模式中的任意一个。即，当设置平面图像成像模式和立体图像成像模式的成像模式中的任意一个时，可以根据用户的操作执行静止图像记录操作和运动图像记录操作两者。

另外，第一成像单元211将产生的图像(例如，左眼图像)输出到图像处理单元221，第二成像单元212将产生的图像(例如，右眼图像)输出到图像处理单元221。

图像处理单元221根据来自控制单元270的指令转换从成像单元210输出的图像信号(模拟信号)，并且相对于通过变换产生的图像信号(数字信号)执行各种图像处理。另外，图像处理单元221将经过各种图像处理的图像信号(图像数据)输出到图像转换单元222和视差估计单元240。

图像转换单元222是用于根据来自视差控制单元250的指令，相对于从图像处理单元221输出的图像信号(图像数据)执行图像转换的单元，并且在经过图像转换之后将图像信号(图像数据)输出到显示控制单元223和记录控制单元225。例如，当立体图像的图像信号(图像数据)被从图像处理单元221输出时，图像转换单元222对于该立体图像的执行图像转换(视差调整)。即，图像转换单元222根据视差控制单元250设置的视差量执行改变左眼图像和右眼图像的视差的图像转换。这里，视差调整指在深度方向上调整包括在立体图像内的对象的位置。

例如，图像转换单元222通过执行偏移处理执行图像转换(视差调整)，在该偏移处理中，在水平方向上偏移构成从图像处理单元221输出的立体图像的左眼图像和右眼图像的相对位置。另外，图像转换单元222通过执行按比例缩放处理执行图像转换(视差调整)，其中基于预定位置(水平方向方向上的位置)，在水平方向上放大或缩小整个画面。另外，图像转换单元222可以执行两阶段图像转换(视差调整)，其中相对于左眼图像和右眼图像中的每一个在两个阶段中执行每个上述处理(例如，参考日本待审专利申请公开No.2011-55022)。以这种方式，通过执行两阶段图像转换，可以再现更自然的立体视觉。另外，图像转换单元222是在本发明的权利要求的范围内描述的图像转换单元的例子。

显示控制单元223是根据来自控制单元270的控制，在显示单元224上显示从图像转换单元222输出的图像信号(图像数据)的单元。例如，当设置成像模式时，显示控制单元223在显示单元224上显示从图像转换单元222输出的图像信号(图像数据)作为直通图像(监视图像)。

显示单元224是一个显示面板，其根据控制单元270的控制显示每个图像。例如，在显示单元224上显示在成像处理当中实时输入的成像处理内的图像(直通图像)。以这种方式，用户可以在观看显示单元224上的成像操作当中的直通图像的同时操作成像设备100。另外，当执行存储在内容存储单元226内的图像内容的回放指令操作时，显示单元224显示与该回放指令操作有关的图像内容。例如，作为显示单元224，可以使用显示面板诸如LCD(液晶显示器)、有机EL(电致发光)面板等等。另外，作为显示单元224，可以使用能够显示立体图像和平面图像中的任意一个的显示面板。

记录控制单元225是根据控制单元270的指令对于内容存储单元226执行记录控制的单元。例如，记录控制单元225在内容存储单元226内记录从图像转换单元222输出的图像信号(图像数据)作为图像内容(静止图像文件或运动图像文件)。另外，例如，在设置了立体图像成像模式的情况下，当按压记录按钮(未示出)时，记录控制单元225使用预定压缩编码方法压缩图像信号(图像数据)。另外，压缩的图像信号被作为运动图像内容(立体图像内容)记录在内容存储单元226内。进一步，在设置了立体图像成像模式的情况下，当按压快门按钮(未示出)时，记录控制单元225使用预定的压缩编码方法压缩图像信号(图像数据)。另外，压缩的图像信号被作为静止图像内容(立体图像内容)记录在内容存储单元226内。

内容存储单元226是一种记录介质，其根据记录控制单元225的控制记录各种信息(图像内容等等)。另外，内容存储单元226可被内置于成像设备100，或可被提供在成像设备100内以便可被从成像设备100拆卸。

姿势检测单元230是通过检测成像设备100的加速度、运动、斜度等等，来检测成像设备100的姿势的改变的单元，并且与成像设备100的姿势的改变有关的姿势信息被输出到视差控制单元250。即，姿势检测单元230检测成像设备100是否停止，或检测成像设备100的位置或姿势的改变是小的。另外，作为姿势检测单元230，例如，可以使用陀螺仪传感器。通过使用陀螺仪传感器，可以检测成像设备100的角速度，以及成像设备100的姿势的改变。另外，还可以使用其它传感器(例如，加速度传感器)而不是陀螺仪传感器，通过检测成像设备100的加速度、运动、斜度等等，基于检测结果检测姿势，以及成像设备100的位置的改变。另外，姿势检测单元230是在本发明的权利要求的范围内描述的姿势检测单元的例子。

另外，还可以根据由成像单元210产生的图像检测成像设备100的姿势的改变。例如，对于由成像单元210产生的图像，图像处理单元221检测在时间轴上彼此接近的图像之间的偏移量和移动方向。另外，图像处理单元221向视差控制单元250输出关于检测到的偏移量以及移动方向的信息(移动信息)作为关于成像设备100的姿势的改变的姿势信息。例如，图像处理单元221执行构成彼此接近的两个图像的像素之间的匹配处理(即，区分相同被摄体的成像区域的匹配处理)，并且计算在每个图像之间移动的像素的数目。在该匹配处理中，基本上，通过假设被摄体静止执行该处理。另外，当该被摄体包括移动体时，检测不同于整个图像的运动向量的运动向量，然而，对应于移动体的运动向量被作为非检测目标处理。即，检测对应于随同成像设备100的移动产生的整个图像的运动的运动向量(GMV:全局运动向量)。

视差估计单元240通过估计从图像处理单元221输出的立体图像的图像信号(图像数据)中的视差，并且根据控制单元270的控制分析视差，来产生视差控制参数。另外，视差估计单元240向视差控制单元250输出产生的视差控制参数。即，视差估计单元240根据从图像处理单元221输出的立体图像(左眼图像和右眼图像)估计舒适的视差量。

例如，视差估计单元240根据由第一成像单元211产生的左眼图像和由第二成像单元212产生的右眼图像估计视差，并且产生视差图。视差图是保持构成立体图像(左眼图像和右眼图像)的像素的视差或每一个像素组的视差的图。在这种情况下，作为立体图像，左眼图像和右眼图像中的任意一个可被用作参考。另外，作为估计视差的方法，可以使用公认的估计方法。例如，可以使用一种技术(例如，参考日本待审专利申请公开No.2006-114023)，其中通过对于从左图像和右图像中去除了背景图像的前景图像执行匹配，估计左图像和右图像的视差并且产生视差图。

另外，视差估计单元240通过分析产生的视差图，产生用于执行适当的视差控制的视差控制参数。特别地，视差估计单元240根据视差图产生视差的直方图，并且确定视差控制参数，从而该直方图的分布在适当的范围内(例如，参考日本待审专利申请公开No.2011-55022)。

另外，当在操作接收单元260中执行与视差控制参数有关的输入操作时，视差估计单元240可以产生关于输入操作的视差控制参数，并且将产生的视差控制参数输出到视差控制单元250。在这种情况下，可以根据用户的偏好设置视差控制参数。

视差控制单元250执行对图像转换(视差调整)的控制，由图像转换单元222执行图像转换，以便根据控制单元270的控制将立体图像的视差量转变为舒适的视差量。即，视差控制单元250根据从视差估计单元240输出的视差控制参数，执行对图像转换单元222执行的图像转换(视差调整)的控制。另外，视差控制单元250根据来自姿势检测单元230的检测结果，根据检测结果(立体图像的成像操作时的成像操作状态)执行限制图像转换(视差调整)的控制。例如，视差控制单元250限制图像转换单元222的视差改变速度，或当成像设备100停止或成像设备100的位置或姿势的改变较小时停止视差改变。另外，将参考图6和7详细描述对视差调整的限制。另外，视差控制单元250是在本发明的权利要求的范围内描述的视差控制单元的例子。

操作接收单元260是用于接收由用户执行的操作的单元，并且向控制单元270输出对应于接收的操作内容的控制信号(操作信号)。

控制单元270是用于根据存储在存储器(未示出)内的控制程序控制成像设备100内的每个单元的单元。例如，控制单元270执行对应于由操作接收单元260接收的来自用户的操作输入的控制。

"成像操作和立体图像的例子"

图2是示意地示出了使用根据本技术该第一实施例的成像设备100执行的成像操作，以及通过成像操作产生的立体图像的例子的图。

在图2中，"a"示出了当从其侧面看时，使用被固定在三脚架20上的成像设备100执行的成像操作的状态。特别地，该图示出了一种状态，其中摄影师10使用成像设备100执行成像操作，被摄体是跑步者30和山40。在这种情况下，假设成像设备100与跑步者30之间的距离(被摄体距离)相对近，并且与山40之间的被摄体距离相对远。

在图2中，"b"示出了通过使用成像设备100执行的成像操作产生的立体图像300(左眼图像301和右眼图像302)。特别地，该图示出了在图2的"a"所示的状态中由第一成像单元211产生的左眼图像301，以及由第二成像单元212产生的右眼图像302。

以这种方式，在图2的"a"所示的状态中，通过使用设置了立体图像成像模式的成像设备100执行成像操作，可以产生立体图像300(左眼图像301和右眼图像302)。

这里，如图2的"a"所示，设想播放一个立体图像的运动图像内容的情况，在该立体图像中，对在成像设备100的光轴方向上移动的一个对象(跑步者30)成像。当播放该立体图像的运动图像内容时，假设在执行成像操作时在光轴方向上移动的对象(跑步者30)在显示屏内跑过去。

因此，在这种情况下，通过调整构成立体图像300的左眼图像301和右眼图像302的视差，可以提供用户容易观看的立体图像(例如，参考日本待审专利申请公开No.2011-55022)。图3示出了这种视差调整的一个例子。

"立体图像的视差调整的例子"

图3是示意地示出了根据本技术的第一实施例，由图像转换单元222执行的图像转换的例子的图。图3示出了执行偏移处理作为视差调整的例子。

在图3中，"a"示出了在图2的"a"所示的状态中通过成像操作产生的立体图像300(左眼图像301和右眼图像302)。即，图3的"a"示出了不执行偏移处理(即，偏移量s＝0)的状态下的立体图像。另外，因为立体图像300与图2的"b"的立体图像相同，将省略其描述。

在图3中，"b"和"c"示出了图像转换单元222对于图3的"a"所示的立体图像300执行偏移处理的状态。另外，图3的"b"和"c"中所示的由粗虚线形成的矩形303到306表示作为记录目标的图像区域。另外，由于每个偏移处理是多出来的区域，所以区域311到314保持空白。

在图3中，"b"示出了经过图像转换单元222在左眼图像和右眼图像彼此远离的方向上的偏移处理(即，偏移量s>0)的状态下的立体图像。

例如，视差控制单元250根据由视差估计单元240确定的视差控制参数确定偏移量s(s＝2d>0)。另外，图像转换单元222执行偏移处理，从而在左眼图像301中每一个像素在水平方向上的坐标被向左偏移d个像素，并且在右眼图像302中每一个像素在水平方向上的坐标被向右偏移d个像素。

在图3中，"c"示出了经过图像转换单元222在左眼图像和右眼图像彼此接近的方向上的偏移处理(即，偏移量s<0)的状态下的立体图像。

例如，视差控制单元250根据由视差估计单元240确定的视差控制参数确定偏移量s(s＝2d<0)。另外，图像转换单元222执行偏移处理，从而在左眼图像301中每一个像素在水平方向上的坐标被向右偏移d个像素，并且在右眼图像302中每一个像素在水平方向上的坐标被向左偏移d个像素。

以这种方式，图3的"b"和"c"示意地示出了经过偏移处理从而相应的左眼图像301和右眼图像302被偏移d个像素(即，总共2d像素)的情况下的立体图像。

另外，图3所示的视差调整是一个例子，并且还可以执行另一种视差调整。例如，如上所述，还可以使用按比例缩放处理执行视差调整。

"立体图像的视差调整的转变例子"

图4是示意地示出了根据本技术的第一实施例，经过图像转换单元222的图像转换的立体图像的按时间顺序的转变的图。

在图4中，通过沿着时间轴对齐，"a"示出了经过图像转换(视差调整)之前的立体图像(左眼图像组320和右眼图像组330)。另外，通过沿着时间轴对齐，图4的"b"示出了经过图像转换(视差调整)之后的立体图像(左眼图像组321和右眼图像组331)。另外，图4的"a"和"b"以轮廓矩形示意地示出了每个图像，并且以其中附带的参考号表示每个矩形。特别地，构成左眼图像组320的每个左眼图像附带有Ln，并且构成右眼图像组330的每个右眼图像附带有Rn(这里，n＝1到4)。另外，产生时间最早的图像被设置为n＝1，并且产生时间最晚的图像被设置为n＝4。

另外，在图4的"b"中，为了便于描述，相对大地示出了关于相对于立体图像执行的图像转换的偏移量。特别地，假设左眼图像L2和右眼图像R2中的每一个接受偏移处理，从而被从参考位置(以虚线表示)偏移d1个像素。另外，假设左眼图像L3和右眼图像R3中的每一个接受偏移处理，从而被从参考位置(以虚线表示)偏移d2个像素。另外，假设左眼图像L4和右眼图像R4中的每一个接受偏移处理以便从参考位置(比虚线表示)偏移d3个像素。

"视差调整之后的立体图像的显示例子"

图5是示意地示出了根据本技术的第一实施例，当显示由成像设备100记录的立体图像时立体图像的显示转变。

在图5中，"a"示出了左眼图像341到344的显示转变的例子。另外，图5的"b"示出了右眼图像351到354的显示转变的例子。另外，图5的"a"中的左眼图像341对应于图3的"a"中的左眼图像301，并且图5的"b"中的右眼图像351对应于图3的"a"中的右眼图像302。

另外，在图5中，类似于图4的"b"，为了便于描述，关于相对于该立体图像执行的图像转换的偏移量被较大地示出。另外，偏移量(d1到d3)与图4的"b"中的偏移量相同。

如上所述，当播放存储在内容存储单元226内的图像内容(立体图像内容)时，如果显示经过上述的视差调整的立体图像，则用户容易观看该立体图像。

这里，当播放立体图像内容时，存在允许用户能够根据用户的偏好观看立体图像(3D图像)和平面图像(2D图像)中的任意一个的显示设备(例如，显示单元224和立体电视)。因此，例如，设想使用该显示设备播放立体图像内容的情况。在这种情况下，例如，通过顺序显示构成该立体图像的左眼图像和右眼图像中的仅仅一个图像(例如，左眼图像)，可以作为平面图像(2D图像)观看该立体图像。例如，通过显示图5的"a"所示的左眼图像341到344，可以作为平面图像(2D图像)观看立体图像。

这里，由图像转换单元222执行的图像转换(视差调整)是使得立体图像易于观看的图像转换。为此，当经过图像转换单元222的图像转换(视差调整)的立体图像(例如，图5的"a"所示的左眼图像341到344和图5的"b"所示的右眼图像351到354)，用户容易观看该图像。

然而，当作为平面图像(例如，图5的"a"所示的左眼图像341到344)观看经过图像转换222的图像转换的立体图像时，存在图像转换(视差调整)之后的图像变为不自然的图像的情况。

例如，如图5的"a"所示，当左眼图像341被设置为参考时，在显示左眼图像341之后显示的左眼图像342被在水平方向上偏移一个偏移量d1。另外，当左眼图像342被设置为参考时，在显示左眼图像342之后显示的左眼图像343被在水平方向偏移一个偏移量(d2-d1)。另外，当左眼图像343被设置为参考时，在显示左眼图像343之后显示的左眼图像344被在水平方向偏移一个偏移量(d3-d2)。

为此，当作为平面图像显示图5的"a"所示的左眼图像341到344时，包括在每个图像内的被摄体看起来大幅地横向振动。具体地，在停止成像设备100的状态下(例如，如图2的"a"所示，该设备被固定到三脚架20上)，该横向振动是突出的。另外，还存在现在示出了图5的"a"中所示的左眼图像342到344的左端部分的情况。

因此，根据本技术的第一实施例，根据立体图像的成像操作时的成像操作状态，限制对立体图像的视差调整。以这种方式，当作为平面图像显示立体图像时，可以使得用户容易地观看立体图像。

"视差调整的限制例子"

图6是示出了根据本技术第一实施例，用于限制由图像转换单元222执行的图像转换(视差调整)的限制量的例子的图。

在图6中，"a"示出了当图像转换单元222对于立体图像执行图像转换(视差调整)时，对应于用于对于图像转换执行某个限制的两个模式的视差改变速度的曲线(曲线400和410)。

这里，曲线400是对应于第一模式的曲线，当姿势检测单元230检测到成像设备100的姿势的改变时，应用第一模式，并且该曲线具有上限值A1。另外，曲线410是对应于第二模式的曲线，当姿势检测单元230未检测到成像设备100的姿势的改变时，应用第二模式，并且该曲线具有上限值B1。

这里，可以将曲线400的上限值A1设置为，例如，大约1/60(帧/秒)x1像素。另外，可以将曲线410的上限值B1设置为，例如，上限值A1的近似1/4到1/8。例如，可以将上限值B1设置为，例如，大约1/60(帧/秒)x0.25像素。

另外，假设基于由视差估计单元240确定的视差参数计算曲线400的终止时间t5和曲线410的终止时间t6。

在图6，"b"示出了对应于图6的"a"所示的视差改变速度曲线的视差改变加速度的曲线。即，图6的"b"所示的视差改变加速度的曲线是示出对应于图6的"a"所示的视差改变速度曲线的每个间隔内的加速度的曲线(曲线401、402、411和412)。

这里，曲线401是对应于间隔t0到t1内的曲线400(图6的"a"中所示)的视差改变加速度的曲线，并且曲线402是对应于间隔t3到t5内的曲线400的视差改变加速度的曲线。另外，对应于曲线400的视差改变加速度的曲线(曲线401和402)的上限值被设置为A2。

另外，曲线411是对应于间隔t0到t1内的曲线410(图6的"a"中所示)的视差改变加速度的曲线，并且曲线412是对应于间隔t4到t6内的曲线410的视差改变加速度的曲线。另外，对应于曲线410的视差改变加速度的曲线(曲线401和402)的上限值被设置为B2。

如上所述，在成像设备100停止的固定状态下(例如，如图2的"a"所示，该设备被固定到三脚架20上)，横向振动突出。与此相反，在成像设备100正被操作的状态下(例如，摄影师正拿着成像设备100的手持状态)，罕有突出的横向振动。

因此，当姿势检测单元230检测到成像设备100的姿势的改变时，使用第一模式(曲线400)，并且当姿势检测单元230未检测到成像设备100的姿势的改变时，使用第二模式(曲线410)。

这里，将设想和描述一个情况，其中在图2的"a"所示的状态下，图像转换单元222对于由成像单元210产生的立体图像执行偏移处理(视差调整)。

例如，如图3的"b"所示，视差估计单元240确定用于在水平方向将左眼图像301的每一个像素的坐标向左偏移d个像素的视差控制参数。另外，因为成像设备100在图2的"a"所示的状态下被固定到三脚架20上，姿势检测单元230未检测到成像设备100的姿势的改变。为此，视差控制单元250确定使用第二模式(曲线410)。在这种情况下，视差控制单元250根据视差估计单元240确定的视差控制参数计算使用第二模式(曲线410)的情况下的时间(t6)。即，计算达到用于执行对应于由视差估计单元240确定的视差控制参数的视差调整的目标值(向左偏移d个像素)所需的时间(t6)。

随后，当执行对应于由视差估计单元240确定的视差控制参数的视差调整(向左偏移d个像素)时，在达到该目标值(向左d个像素)的同时，视差控制单元250根据曲线410确定一个偏移速度。即，确定直到达到用于执行对应于视差估计单元240确定的视差控制参数的视差调整的目标值(向左偏移d个像素)的偏移速度和加速度。另外，图像转换单元222根据视差控制单元250确定的偏移速度执行偏移处理。

例如，因为在曲线410中的时刻t0偏移速度是0，图像转换单元222不执行偏移处理。随后，因为偏移速度在曲线410中的时刻t0和时刻t2之间增加，图像转换单元222在连续增加偏移速度的同时执行偏移处理。在这种情况下，偏移速度成为对应于图6的“b”所示的曲线411的加速度。

随后，因为该速度在曲线410中的时刻t2和时刻t4之间是恒定的，图像转换单元222在保持固定的偏移速度的同时执行偏移处理。随后，因为该速度在曲线410中的时刻t4和时刻t6之间减小，图像转换单元222在连续减小偏移速度的同时执行偏移处理。在这种情况下，偏移速度成为对应于图6的“b”所示的曲线412的加速度。

以这种方式，可以通过使用对应于曲线410的偏移速度执行视差调整，防止速度的急剧变化。由此，可以提供用户眼中的更友好的平面图像。

另外，当由姿势检测单元230检测到成像设备100的姿势的改变时，可以使用对应于曲线400的偏移速度执行视差调整。

这里，设想在姿势检测单元230没有检测到成像设备100的姿势的改变的情况中，当姿势检测单元230检测到成像设备100的姿势的改变时，使用对应于曲线400的偏移速度执行视差调整。在这种情况下，上限值从A1改变为B1，并且偏移速度被改变，以便从对应于曲线400的偏移速度变为对应于曲线410的偏移速度，并且执行视差调整。另外，设想在姿势检测单元230检测到成像设备100的姿势的改变的情况中，当姿势检测单元230没有检测到成像设备100的姿势的改变时，以对应于曲线410的偏移速度执行视差调整。这种情况下，类似地，上限值从B1改变为A1，并且偏移速度被改变，以便从对应于曲线410的偏移速度变为对应于曲线400的偏移速度，并且执行视差调整。

以这种方式，视差控制单元250根据立体图像的成像操作时的成像操作的状态，执行限制视差调整的控制。即，视差控制单元250根据来自姿势检测单元230的检测结果执行限制视差调整的控制。

在这种情况下，与成像设备100的姿势的改变比一个预定值大的情况相比，在(姿势的)改变小于预定值的情况下，视差控制单元250强烈地限制视差调整。例如，与检测到成像设备100的姿势的改变的情况相比(曲线400)，在未检测到改变的情况下(曲线410)，视差控制单元250强烈地限制视差调整。即，与成像设备100的姿势的改变比预定值大的情况相比，在改变小于该预定值的情况下，视差控制单元250将用于控制视差调整的上限值设置得较小。例如，与检测到成像设备100的姿势的改变的情况下的上限值(曲线400的上限值A1)相比，没有检测到改变的情况下的上限值被设置得较小。

另外，通过控制图像转换单元222执行图像处理时图像在水平方向上图像改变时的改变速度或加速度，视差控制单元250控制视差调整。在这种情况下，通过设置速度或加速度的上限值，视差控制单元250限制视差调整。例如，当没有检测到成像设备100的姿势的改变时(即，成像设备100停止)，B1被设置为速度的上限值，并且B2被设置为加速度的上限值。

另外，在该例子中，示出了没有检测到成像设备100的姿势的改变(即，成像设备100停止)，并且使用对应于曲线410的偏移速度执行视差调整的情况。然而，例如，当没有检测到成像设备100的姿势的改变时(即，成像设备100停止)，视差调整可被停止。在这种情况下，视差控制单元250执行用于停止视差调整的控制。

另外，在该例子中，示出了这样的情况，其中当检测到成像设备100的姿势的改变，通过使用对应于曲线400的偏移速度执行视差调整，提供对速度或加速度的某个限制。然而，还可以在检测到成像设备100的姿势时，执行最佳视差调整(对应于由视差估计单元240确定的视差控制参数的视差调整)，而不提供限制。

"具有视差调整限制的立体图像的显示例子"

图7是以时间顺序示意地示出根据本技术的第一实施例，由成像设备100记录的立体图像的显示转变的图。

在图7中，"a"示出了左眼图像361到364的显示转变的例子。另外，图7的"b"示出了右眼图像371到374的显示转变的例子。另外，图7的"a"所示的左眼图像361到364是对于图5的"a"所示的左眼图像341到344执行视差调整的限制的图像。另外，图7的"b"所示的右眼图像371到374是对于图5的"b"所示的右眼图像351到354执行视差调整的限制的图像。

这里，设想通过连续地显示构成立体图像的左眼图像和右眼图像中的仅仅一个图像(例如，左眼图像)，作为平面图像(2D图像)观看该立体图像的情况。例如，可以通过连续地显示图7的"a"所示的左眼图像361到364，作为平面图像(2D图像)观看该立体图像。以这种方式，当显示执行了视差调整的限制的左眼图像361到364时，可以防止看到包括在每个图像内的被摄体极大地横向振动。

另外，例如，设想一种情况，其中如图2的"a"所示，在成像设备100被固定到三脚架20上的状态下，摄影师10观看到显示单元224内显示的直通图像(2D图像)。在这种情况下，也可以防止看到包括在被显示在显示单元224内的直通图像(2D图像)内的被摄体极大地横向振动。为此，当摄影师10在观看正在显示单元224上成像的直通图像的同时操作成像设备100时，可以使得易于观看该直通图像。

"成像设备的操作例子"

图8和图9是示出了根据本技术的第一实施例，由成像设备100执行的立体图像的记录处理的过程的例子的流程图。

首先，控制单元270确定立体图像是否被设置为成像模式(步骤S901)，并且当立体图像成像模式未被设置为成像模式时继续监视。在另一方面，当设置了立体图像成像模式时(步骤S901)，姿势检测单元230检测成像设备100的姿势(步骤S902)。随后，成像单元210产生立体图像，并且图像处理单元221对于该立体图像执行图像处理(步骤S903)。

随后，视差估计单元240根据该立体图像估计对于该立体图像是最佳的视差(步骤S904)。即，视差估计单元240产生视差控制参数(步骤S904)。随后，视差控制单元250确定是否必须根据视差估计单元240产生的视差控制参数启动视差调整，或图像转换单元222正在执行图像转换(视差调整)(步骤S905)。当没有必要启动视差调整或当图像转换单元222没有正在执行图像转换(视差调整)时(步骤S905)，处理继续到步骤S911。另外，没有必要启动视差调整的情况是，例如，对应于视差估计单元240产生的视差控制参数的视差量是0的情况。

当必须启动视差调整和当图像转换单元222正在执行图像转换(视差调整)时(步骤S905)，视差控制单元250确定成像设备100的姿势的改变是否大于某个值(步骤S906)。即，基于姿势检测单元230检测的成像设备100的姿势，视差控制单元250确定成像设备100的姿势的改变是否大于某个值(步骤S906)。

另外，当成像设备100的改变大于某个值时(步骤S906)，视差控制单元250设置A1(图6的"a"中的上限值A1)为视差改变速度的上限值(步骤s908)。即，当成像设备100正在移动时，根据上限值A1相对较高的第一模式(曲线400)执行图像转换(视差调整)。

在另一方面，当成像设备100的改变不大于某个值时(步骤S905)，视差控制单元250设置B1(图6的"a"中的上限值B1)为视差改变速度的上限值(步骤S907)。即，当成像设备100停止时，根据上限值B1相对较低的第二模式(曲线410)执行图像转换(视差调整)。

随后，根据视差估计单元240估计的视差和设置的上限值(上限值A1或B1)，视差控制单元250确定图像转换时的速度(步骤S909)。即，根据第一模式(曲线400)或第二模式(曲线410)确定图像转换时的速度。

随后，图像转换单元222根据视差控制单元250确定的速度，对于经过图像处理单元221的图像处理的立体图像执行图像转换(视差调整)(步骤S910)。另外，步骤S906到S910是在本发明的权利要求的范围内描述的调整步骤的例子。

随后，控制单元270确定是否3D显示被设置为监视显示(步骤S911)。另外，当3D显示未被设置为监视显示时(步骤S911)，显示控制单元223把经过图像转换单元222的图像转换的立体图像显示为显示单元224上的平面图像(步骤S913)。例如，仅仅在显示单元224上显示左眼图像(步骤S913)。

在另一方面，当3D显示被设置为监视显示时(步骤S911)，显示控制单元223在显示单元224上显示经过图像转换单元222的图像转换的立体图像(步骤S912)。

随后，控制单元270确定是否执行运动图像的记录指令操作(例如，记录按钮的第一按压操作)(步骤S914)，并且当不执行运动图像的记录指令操作时，回到步骤S902。在另一方面，当执行运动图像的记录指令操作时(步骤S914)，记录控制单元225执行用于在内容存储单元226内记录经过图像转换单元222的图像转换的立体图像作为立体图像内容的记录处理(步骤S915)。

随后，控制单元270确定是否执行立体图像成像模式的解除操作(步骤S916)，并且当不执行立体图像成像模式的解除操作时，回到步骤S902。在另一方面，当执行立体图像成像模式的解除操作时(步骤S916)，记录处理的操作结束。

另外，在该例子中，示出了根据成像设备100的姿势的改变是否大于某个值，将第一模式或第二模式设置为视差改变速度。然而，例如，通过准备对应于成像设备100的姿势的改变的三个或更多模式，并且选择这些模式当中的一个，可以设置对应于成像设备100的姿势改变的一种模式。

另外，还可以根据成像设备100的姿势的改变是否大于某个值，设置视差改变速度和视差改变加速度的仅仅一个上限值。例如，还可以通过准备对应于成像设备100的姿势的改变的两个或更多上限值，并且在这些上限值中的每一个中，设置对应于成像设备100的姿势的改变的上限值来设置上限值。即，还可以使得上限值可以根据成像设备100的移动的大小改变。

<2.第二实施例>

根据本技术的第一实施例，示出了图像转换单元222通过对于立体图像执行图像转换，执行立体图像的视差调整的例子。这里，给出了一种成像设备，其中通过移动成像单元的光学系统来调整两个成像单元的会聚角(包括在每个成像单元内的光学系统的光轴之间的角度)，执行立体图像的视差调整。

因此，根据本技术的第二实施例，示出了通过调整两个成像单元的会聚角来执行立体图像的视差调整的成像设备的视差调整的例子。

"成像设备的配置例子"

图10是示出了根据本技术的第二实施例的成像设备600的配置例子的方框图。另外，因为成像设备600是图1中的成像设备100的一部分发生变形的设备，以相同参考编号给出与成像设备100共同的部分，并且将省略其描述部分。

成像设备600包括成像单元610和视差控制单元620。

成像单元610是这样的成像单元，其产生通过拍摄被摄体而得到的包括该被摄体的平面图像，和用于根据控制单元270的控制立体地示出该被摄体的立体图像，并且成像单元610包括第一成像单元611和第二成像单元612。

这里，成像单元610是这样的成像单元，其能够通过改变第一成像单元611和第二成像单元612的各自的光轴方向来改变立体图像的视差。即，成像单元610是能够通过移动第一成像单元611和第二成像单元612的各自的光学系统，通过调整第一成像单元611和第二成像单元612的会聚角，执行立体图像的视差调整的成像单元。

通过调整第一成像单元611和第二成像单元612的会聚角，视差控制单元620执行用于执行立体图像的视差调整的控制。例如，在调整第一成像单元611和第二成像单元612的会聚角时，当第一成像单元611和第二成像单元612分别在水平方向上移动时，通过限制移动速度或移动加速度，视差控制单元620限制视差调整。在这种情况下，视差控制单元620通过设置移动速度或移动加速度的上限值，限制视差调整。另外，可以应用关于对视差调整的限制的图6所示的限制例子。另外，视差控制单元620是在本发明的权利要求的范围内描述的视差控制单元的例子。

以这种方式，根据本技术的实施例，当在成像设备100内把视差调整之后的立体图像显示为平面图像时，可以减少观看者的不适，并且显示舒适的平面图像。即，可以提供用户容易观看的图像内容。具体地，可以减少或去除横向振动，当把在成像设备100停止的状态下记录的立体图像显示为平面图像时，所述横向振动是突出的。

另外，根据本技术的实施例，示出了具有两个成像单元的图像处理设备，然而，可以将本技术的实施例应用于以一个成像单元或三个或更多图像单元产生立体图像的图像处理设备。

另外，根据本技术的实施例，具有两个成像单元的图像处理设备是示例，然而，可以将本技术的实施例应用于可拆卸地提供一个成像单元或多个成像单元的图像处理设备。另外，可以将本技术的实施例应用于图像处理设备，诸如具有成像功能的移动电话，或具有成像功能的移动终端设备(例如，智能电话)。

另外，上述实施例是用于实现本技术的例子，并且根据该实施例的主题内容和在本发明的权利要求的范围内的特定主题内容彼此分别具有相关关系。类似地，在本发明的权利要求的范围内的特定主题内容和与本发明的特定主题内容具有相同组件名称的根据本技术的实施例的主题内容彼此分别具有相关关系。然而，本技术不局限于这些实施例，并且可以通过对这些实施例执行各种修改实现本技术，而不脱离本发明的范围。

另外，上述实施例中描述的处理顺序可被理解为具有一系列顺序的方法，或可被理解为存储程序以便在计算机内执行一系列命令的记录介质。作为该记录介质，可以使用例如CD(压缩盘)、MD(迷你盘)、DVD(数字通用盘)、存储卡、蓝光盘(注册商标)等等。

另外，可以如下配置本技术。

在一个非限制性实施例中，描述了一种图像处理装置，包括：视差控制单元，基于在成像设备的成像操作过程中检测到的所述成像设备的移动，调整由所述成像设备拍摄的左图像和右图像内的对象的位置，其中所述左图像和所述右图像被配置为一起显示为立体图像。

根据所述实施例的一个方面，所述装置还包括姿势检测单元，用于检测所述检测到的移动，作为所述成像设备的姿势的改变。

根据另一个方面，所述视差控制单元配置为通过水平地偏移所述左图像和所述右图像中的至少一个来调整所述位置。

根据另一个方面，所述视差控制单元配置为通过缩放所述左图像和所述右图像中的至少一个来调整所述位置。

根据另一个方面，所述视差控制单元配置为通过水平地偏移并缩放所述左图像和所述右图像中的至少一个来调整所述位置。

根据另一个方面，所述视差控制单元配置为在不同时间间隔以不同的量值调整所述位置。

根据另一个方面，所述图像处理设备的姿势的改变是以下之一：从固定状态改变到手持状态，和从手持状态改变到固定状态。

根据另一个方面，所述姿势检测单元通过陀螺仪和图像处理中的至少一种来检测姿势的改变。

根据另一个方面，所述装置还包括：视差估计单元，用于产生视差控制参数，以及所述视差控制单元以对应于所述视差控制参数的量调整所述对象的位置。

根据另一个方面，所述视差控制单元包括图像转换单元，该图像转换单元对所述立体图像执行视差调整，当所述姿势检测单元检测到所述成像设备处于非静止状态时，视差调整的范围在第一范围内，并且当检测到所述成像设备处于静止状态时，视差调整的范围在第二范围内，所述第一范围比所述第二范围大。

根据另一个方面相比于所述成像设备非静止时，当所述成像设备静止时所述图像转换单元进行视差调整的速度更慢。

根据另一个方面，相比于所述成像设备非静止时，当所述成像设备静止时所述图像转换单元进行视差调整的加速度更慢。。

根据另一个方面，所述视差控制单元被配置为通过改变所述左图像和所述右图像的会聚角调整所述位置。

根据另一个方面，所述左图像和所述右图像是包含在运动图像文件内的图像。

根据另一个方面，当所述姿势检测单元未检测到姿势的改变时，所述视差控制单元停止调整所述对象的位置。

根据另一个方面，所述装置还包括成像设备，其中当所述成像设备静止时，所述左图像和所述右图像被作为二维图像拍摄。

根据另一个方面，所述装置还包括：显示单元，用于显示所述左图像和所述右图像中的至少一个作为直通图像。

根据另一个方面，所述视差估计单元产生保存在存储器内的视差图，所述视差图保持构成所述立体图像的像素的视差。

在一个示例性的图像处理方法实施例中，该方法包括：基于在成像设备的成像操作过程中检测到的所述成像设备的移动，使用视差控制单元调整由所述成像设备拍摄的左图像和右图像中的对象的位置；和将所述左图像和所述右图像一起显示为立体图像。

在一个示例性的非暂时性计算机可读存储介质实施例中，所述存储介质内存储有计算机可读指令，当被以处理电路执行时，执行一种图像处理方法，该方法包括：基于在成像设备的成像操作过程中检测到的所述成像设备的移动，使用视差控制单元调整由所述成像设备拍摄的左图像和右图像中的对象的位置；以及将所述左图像和所述右图像一起显示为立体图像。

参考符号列表

10 摄影师

20 三脚架

30 跑步者

40 山

100 成像设备

210 成像单元

211 第一成像单元

212 第二成像单元

221 图像处理单元

222 图像转换单元

223 显示控制单元

224 显示单元

225 记录控制单元

226 内容存储单元

230 姿势检测单元

240 视差估计单元

250 视差控制单元

260 操作接收单元

270 控制单元

600 成像设备

610 成像单元

611 第一成像单元

612 第二成像单元

620 视差控制单元

Claims (20)

1.一种图像处理装置，包括:

视差控制单元，基于在成像设备的成像操作过程中检测到的所述成像设备的移动，调整由所述成像设备拍摄的左图像和右图像内的对象的位置，

其中所述左图像和所述右图像被配置为一起显示为立体图像。

2.如权利要求1所述的图像处理装置，还包括:姿势检测单元，用于检测所述检测到的移动，作为所述成像设备的姿势的改变。

3.如权利要求1所述的图像处理装置，其中所述视差控制单元被配置为通过水平地偏移所述左图像和所述右图像中的至少一个来调整所述位置。

4.如权利要求1所述的图像处理装置，其中所述视差控制单元被配置为通过缩放所述左图像和所述右图像中的至少一个来调整所述位置。

5.如权利要求1所述的图像处理装置，其中所述视差控制单元被配置为通过水平地偏移并缩放所述左图像和所述右图像中的至少一个来调整所述位置。

6.如权利要求1所述的图像处理装置，其中所述视差控制单元被配置为在不同时间间隔以不同的量值调整所述位置。

7.如权利要求2所述的图像处理装置，其中所述图像处理设备的姿势的改变是以下之一：从固定状态改变到手持状态，和从手持状态改变到固定状态。

8.如权利要求2所述的图像处理装置，其中:

所述姿势检测单元通过陀螺仪和图像处理中的至少一种来检测姿势的改变。

9.如权利要求1所述的图像处理装置，还包括：视差估计单元，用于产生视差控制参数，和

所述视差控制单元以对应于所述视差控制参数的量调整所述对象的位置。

10.如权利要求2所述的图像处理装置，其中

所述视差控制单元包括图像转换单元，该图像转换单元对所述立体图像执行视差调整，当所述姿势检测单元检测到所述成像设备处于非静止状态时，视差调整的范围在第一范围内，并且当检测到所述成像设备处于静止状态时，视差调整的范围在第二范围内，所述第一范围比所述第二范围大。

11.如权利要求10所述的图像处理装置，其中相比于所述成像设备非静止时，当所述成像设备静止时所述图像转换单元进行视差调整的速度更慢。

12.如权利要求10所述的图像处理装置，其中相比于所述成像设备非静止时，当所述成像设备静止时所述图像转换单元进行视差调整的加速度更慢。

13.如权利要求1所述的图像处理装置，其中所述视差控制单元被配置为通过改变所述左图像和所述右图像的会聚角调整所述位置。

14.如权利要求1所述的图像处理装置，其中所述左图像和所述右图像是包含在运动图像文件内的图像。

15.如权利要求2所述的图像处理装置，其中当所述姿势检测单元未检测到姿势的改变时，所述视差控制单元停止调整所述对象的位置。

16.如权利要求1所述的图像处理装置，还包括所述成像设备，其中当所述成像设备静止时，所述左图像和所述右图像被作为二维图像拍摄。

17.如权利要求1所述的图像处理装置，还包括：

显示单元，用于显示所述左图像和所述右图像中的至少一个作为直通图像。

18.如权利要求9所述的图像处理装置，其中所述视差估计单元产生保存在存储器内的视差图，所述视差图保持构成所述立体图像的像素的视差。

19.一种图像处理方法，包括:

基于在成像设备的成像操作过程中检测到的所述成像设备的移动，使用视差控制单元调整由所述成像设备拍摄的左图像和右图像中的对象的位置；和；

将所述左图像和所述右图像一起显示为立体图像。

20.一种非暂时性计算机可读存储介质，所述存储介质中存储有计算机可读指令，当处理电路执行所述计算机可读指令时，执行一种图像处理方法，该方法包括：

基于在成像设备的成像操作过程中检测到的所述成像设备的移动，使用视差控制单元调整由所述成像设备拍摄的左图像和右图像中的对象的位置；以及

将所述左图像和所述右图像一起显示为立体图像。