CN102986233B - 图像摄像装置 - Google Patents

Abstract

本发明提供一种无论以纵向位置还是横向位置都能得到立体图像的图像摄像装置。图像摄像装置具有两个摄像元件(100、101)、以及使用由这些摄像元件拍摄到的图像来生成立体图像的图像处理部(102)。图像处理部(102)计算由摄像元件(100、101)拍摄到的第一图像与第二图像的视差，使用计算出的视差和第一图像，生成相对于第一图像在摄像元件(101、102)的排列方向的正交方向上具有视差的估计图像，并根据估计图像来生成立体图像。

Description

图像摄像装置

技术领域

本发明是涉及图像摄像装置的技术，尤其涉及对立体图像进行拍摄并显示的技术。

背景技术

正在开发如下的立体图像技术：使左眼视认左眼用的图像，使右眼视认右眼用的图像，根据两图像内的被拍摄对象的偏移(视差)而识别为立体像。存在如下技术：在显示立体图像的显示器中，与用于观看立体图像的眼镜进行组合，通过以时分方式对左右的图像进行显示、或改变偏光方向来进行显示，从而左右图像分离地使视听者进行视认。另外，作为拍摄立体图像的摄像机，具有CMOS(Complementary Metal OxideSemiconductor：互补金属氧化半导体)和CCD(Charge Coupled Device：电荷耦合器件)这样的两个固体摄像元件，将在左右配置各摄像元件而拍摄到的图像分别作为左眼用以及右眼用的图像。

但是，利用左右配置了两个摄像元件的摄像机无法进行基于纵向位置的立体图像的拍摄。例如，在图13中，在进行通常的拍摄的情况下，摄像元件的长边方向与配置有两个摄像元件的方向相同，可拍摄左眼用图像和右眼用图像。图14是将图11的摄像机设置为纵向位置的情况，在上下配置摄像元件，从而无法作为左右图像进行拍摄。

作为解决该课题的方法，可例举转动摄像元件自身的方法，例如，可例举专利文献1。在专利文献1中，如图15所示，公开有复眼摄像机装置，该复眼摄像机装置具有：可由摄像机主体4转动地支持的摄像头3a、3b；由摄像头3a、3b各自支持的多个摄像透镜1a、1b、以及摄像元件2a、2b。该复眼摄像机装置在进行通常拍摄的情况下是如图15(A)的状态，但进行纵向位置拍摄的情况下，设置为如图15(B)的状态。从图15(A)到图15(B)，摄像元件2a、2b转动，摄像元件的短边方向与配置摄像元件的方向(左右)变得相等，从而能通过纵向位置拍摄来拍摄左右图像。

现有技术文献

专利文献

专利文献1：日本专利特开平10-224820号公报

发明内容

然而，在上述方法中具有如下的问题。

在专利文献1的构成中，因为需要以物理方式来转动摄像元件，所以需要用于转动的机构、允许转动的空间、以及可承受转动的布线，由此造成装置的大型化、复杂化、以及高成本化。

本发明鉴于上述事实而提出，其目的是提供在不造成装置的大型化的前提下无论是纵向位置还是横向位置都可生成并显示立体图像的图像摄像装置。

用于解决课题的手段

本发明的图像摄像装置具有两个摄像元件、以及生成图像的图像处理部。并且，图像处理部计算由摄像元件拍摄到的第一图像与第二图像的视差，使用计算出的视差和第一图像，生成相对于第一图像在与摄像元件的排列方向为正交的方向上具有视差的估计图像，并根据估计图像来生成立体图像，另外，图像处理部切换地进行如下两个处理，即，将根据在与摄像元件的排列方向为正交的方向上具有视差的估计图像而生成的立体图像作为第一立体图像来生成的处理；以及根据由摄像元件拍摄到的第一图像以及第二图像来生成第二立体图像、或者从由摄像元件拍摄到的第一图像以及第二图像生成在摄像元件的排列方向上具有视差的估计图像并根据在排列方向上具有视差的估计图像来生成第二立体图像的处理。而且，本发明的图像摄像装置具有：图像显示部，对由图像处理部生成的立体图像进行显示；以及光控制部，在图像显示部显示立体图像时，对生成了立体图像的两个图像各自的图像光的行进进行控制，光控制部在显示第一立体图像时和在显示第二立体图像时，根据各立体图像，对图像光的行进的控制进行切换。

另外，本发明的图像摄像装置具有对图像摄像装置的姿势进行检测的姿势检测部。并且图像处理部根据由姿势检测部检测出的图像摄像装置的姿势，对生成第一立体图像的处理和生成第二立体图像的处理进行切换。

发明效果

根据本发明，在不造成装置大型化的前提下，无论是纵向位置还是横向位置都可得到立体图像。另外，具有通过控制光的行进来实现立体图像的视认的图像显示部，从而可将被拍摄对象作为立体图像一边在图像显示部进行确认一边进行拍摄。进而，通过由姿势检测部检测摄像装置的姿势，从而可自动地切换形成立体图像的左右图像的朝向。

附图说明

图1是示出本发明的图像摄像装置的一实施例的框图。

图2是示出图1的图像处理部的构成例的图。

图3是用于说明计算视差信息的方法的例子的图。

图4是用于说明基于视差变换的图像估计处理的图。

图5是示出视差与像素的移动量的关系的设定例的图。

图6是用于说明基于视差变换的图像估计处理的图。

图7是示出与视差屏障对应的立体图像信息的一例的图。

图8是示出与视差屏障对应的立体图像信息的另一例的图。

图9是示出使用了视差屏障的立体显示器的图。

图10是示出与立体图像相应的视差屏障的状态的图。

图11是示出本发明的图像摄像装置的另一实施例的框图。

图12是示出可适用本发明的图像摄像装置的摄像元件的配置关系的另一例的图。

图13是示出图像摄像装置的摄像元件的配置例的图。

图14是示出将图13的摄像元件设置为纵向位置时的配置的图。

图15是示出日本专利特开平10-224820号公报所记载的技术的图。

具体实施方式

以下，使用附图对本发明的实施方式进行详细说明。另外，在各图的表现是为了易于理解而进行夸张地记载，存在与实际不同的情况。

图1是示出本发明中的图像摄像装置的构成例的框图。图像摄像装置具有摄像元件100和摄像元件101的两个摄像元件。由摄像元件100以及101所拍摄了的图像在图像处理部102进行去马赛克、颜色变换、伽玛校正等的基本的图像处理、和后述作为立体图像所必要的图像处理。从图像处理部102输出的图像信息由可立体显示的显示器(图像显示部)103所显示，由存储装置104进行记录。

图2是示出图像处理部102的处理块的图。被输入的图像是在不同的位置所拍摄的两个图像A、B，相当于本发明的第一图像以及第二图像。首先，由视差计算部105计算视差信息，作为从拍摄图像所得到的信息。视差由平行配置的摄像机的间隔(基线长度)、摄像机的焦距、以及到被拍摄对象为止的距离所决定，到被拍摄对象为止的距离小则视差变大，到被拍摄对象为止的距离大则视差变小。

在视差的计算中可应用各种各样的方法，例如可例举块匹配的方法。图3是示出块匹配的概要的图，图3(A)示出由配置在左侧的摄像元件(摄像机)所拍摄的输入图像A，图3(B)示出由配置在右侧的摄像元件(摄像机)所拍摄的输入图像B，图3(C)示出根据输入图像A、B计算出的视差信息。

在这里，在输入图像A定义任意的基准宏块m，在配置于右侧的摄像元件(摄像机)所拍摄的输入图像B定义与基准宏块m相同大小的搜索宏块n。使搜索宏块n在输入图像B内移动，并且计算基准宏块m与搜索宏块n的差分绝对值和，并将差分绝对值和成为最小时的输入图像A与输入图像B的坐标之差作为视差。在图3中，输入图像A中的被拍摄对象X在输入图像B中在水平方向上偏移了24像素的情况下，将被拍摄对象X的视差作为24。同样，如果远离被拍摄对象X的被拍摄对象Y在水平方向上偏移8个像素，则被拍摄对象Y的视差成为8。

由视差计算部105所计算的视差信息被传送至视差变换部106。视差变换部106使用所输入的图像和视差信息，估计并生成在与被输入的图像不同的位置上所拍摄的图像。

例如，如图4所示，根据与输入图像A的各像素对应的视差的大小，使像素值向右方向移动。这时所生成的图像为A′，视差的值大的被拍摄对象X较大地移动，视差的值小的被拍摄对象Y轻微移动，没有视差的背景区域不进行移动。这成为对在从拍摄输入图像A的摄像机位置起向左方向移动了的摄像机位置上拍摄了的图像进行估计的情况。同样，在将像素的移动设为左方向的情况下，估计在将摄像机位置向右移动的位置上拍摄了的图像。并且，在向左方向移动了与各像素对应了的视差的量的情况下，估计在拍摄输入图像B的位置上的拍摄图像。

对根据输入图像A和视差信息来生成图像A′时的处理例进行说明。在这里将视差值的最大值设为255。作为输入图像A的被拍摄对象，存在X、Y，X的视差值为24，Y的视差值为8。

在制作在输入图像B的位置上的图像A′的情况下，被拍摄对象X的移动量为24则立体图像的视差为24，被拍摄对象Y的移动量为8则立体图像的视差为8。

在生成图像A和图像B的基线长度(摄像机间隔)的1/2的位置的像素A′的情况下，各像素的移动量设置为基线长度为1时的1/2即可。例如、被拍摄对象X的移动量为12则立体图像的视差为12，被拍摄对象Y的移动量为4则立体图像的视差为4。

即，通过根据各像素的视差值来移动被拍摄对象，从而可生成图像A′。

另外，在上述的处理之外，通过进一步将视差的对比度变大，从而也可设置为增强了主要被拍摄对象的立体感的立体图像。例如，也可以将视差和移动量的关系设定为不是如上述的线性关系，而是作为图5所示的关系。这种情况下，视差大的前景的被拍摄对象的移动量更大，视差小的背景的移动量变得更小，前景和背景的视差的对比度变大。由此，能得到视差为中间程度的主要被拍摄对象的立体感被增强了的立体图像。

另外，为了控制立体图像的立体感，也可以对一个或两个图像附加使其同样移动的处理。例如，在图3中，在使输入像素B的所有像素向右移动8个像素时，对于输入图像A和输入图像B的视差，在被拍摄对象X成为16，在被拍摄对象Y成为0，在背景成为-8。此时，作为立体图像在显示器显示时，能看到视差的符号为正的情况下被拍摄对象从显示器面突出，视差的符号为正的情况下被拍摄对象自显示器面凹陷。

通过如上述的处理使被拍摄对象移动，从而可估计并生成在与输入的图像不同的位置上所拍摄了的图像。

在这里，尽管有会产生不存在与被拍摄对象移动后对应的像素值的未确定像素的情况，但通过对这些区域以周边的像素值进行插补(補間)，可防止画质劣化。尤其是，如图像A′所示，在被拍摄对象向右方向移动的情况下，未确定像素在移动被拍摄对象的左侧产生。由于未确定像素左侧的像素值为背景，因此通过以左侧的像素值进行插补可降低画质劣化，是优选的。摄像机的移动方向为右的情况下左右反转，但同样可降低画质劣化。通过上述的方法，在视差变换部106根据输入图像和视差信息生成变换了输入图像的视差的图像A′并输出。

在输出图象生成部107，进行用于显示或保存的图像处理。在使立体图像在显示器103显示的情况下，需要生成与显示器103的显示方式对应的数据。例如，在按照显示器的每一行使偏光方向变化的方式中，需要逐行插入与左右的图像对应的两个图像来作为一张图像。同时，在以时分方式显示左右的图像的方式中，需要使与左右的图像对应的两个图像交替的帧结构。另外，作为图像数据在存储装置104中保存的情况下，需要按照与立体图像对应的文件格式，对与左右图像对应的两个图像、或成为基准的彩色图像和视差信息等进行变换、压缩。

在这里，关于被输入到输出图象生成部107的图像，存在由图像摄像装置具有的两个摄像元件100、101拍摄到的输入图像A、输入图像B、以及对输入图像进行视差变换后的图像A′的3种。在将输入图像A以及输入图像B作为左右图像而设置了输出图像信息的情况下，成为由两个摄像元件100、101拍摄的立体图像。视差变换后的图像A′相当于本发明的第二估计图像，得到的立体图像相当于本发明的第二立体图像。

在将输入图像B与图像A′作为左右图像设置为输出图像信息的情况下，成为对由两个摄像元件拍摄到的图像的视差进行调整后的立体图像。此时，在使图像A′的视差变换接近拍摄了输入图像B的位置这样的处理被执行的情况下，成为被拍摄对象的视差变小这样的变换处理，立体图像的突出(凹陷)量变小。另一方面，在从图像A′的视差变换从拍摄了输入图像B的位置上远离这样的处理被执行的情况下，成为被拍摄对象的视差变大这样的变换处理，立体图像的突出(凹陷)量变大。另外，针对视差信息在图像的移动量上想办法，例如，如上所述，通过使主要被拍摄对象具有的视差、与背景及前景具有的视差的对比度变大，从而成为主要被拍摄对象的立体感增强了的立体图像。左右图像也可以是输入图像A和图像A′。

以上对如图13所示的摄像元件的长边方向与两个摄像元件的配置方向为水平的情况进行了说明，而以下对如图14所示的摄像元件的长边方向与两个摄像元件的配置方向为垂直的情况，即对基于纵向位置的拍摄进行说明。

在对站立的人物进行拍摄等情况下，产生将图像摄像装置设为纵向位置进行拍摄的机会，但具有两个摄像元件的通常的图像摄像装置，无法拍摄立体图像。这是由于，若从在从左右配置了摄像元件100和摄像元件101的状态变为如在图6示出的基于纵向位置的拍摄状态时，则要将摄像元件100和摄像元件101在垂直方向进行配置。为了以纵向位置的拍摄来得到立体图像，在将摄像元件100设置为左眼用的图像的情况下，必须有在图6中的右摄像机位置上配置了摄像元件的拍摄图像。

但是，根据摄像元件100和摄像元件101能够计算拍摄图像的视差。这是因为视差是根据到被拍摄对象为止的距离而变化的值，所以摄像元件100与摄像元件101的视差在纵向产生。因此，即使是纵向位置的拍摄也能够由视差计算部105计算视差信息。

接着，将由摄像元件100拍摄到的输入图像A、以及由摄像元件100和摄像元件101计算出的视差信息输入到视差变换部106。在想要通过纵向位置的摄影来得到立体图像的情况下，估计在与计算出视差信息的方向成为垂直的方向、即在水平方向的位置上拍摄到的图像。

作为成为生成估计图像的基础的输入图像，可以使用输入图像B。此时的视差信息最好是使用以输入图像B为基准而计算出的视差信息。由此，使用输入图像A或B和视差信息，可在摄像元件的排列方向的垂直方向上生成估计图像。

由视差变换部106生成的图像A′被传送至图象生成部107，并选择左右图像来作为输出图像信息。在横向位置的拍摄的情况下，将左右图像中的一个作为输入图像B，将另一个作为输入图像A或图像A′。在基于纵向位置的拍摄的情况下，将左右图像设为输入图像A与图像A′的组合。图像A′由输入图像A产生，但因为根据从输入图像A和输入图像B计算出的视差信息而以在被拍摄对象产生视差的方式进行了视差变换处理，所以在输入图像A和图像A′之间也产生了视差。因此，以输入图像A与图像A′的组合可生成立体图像。该立体图像相当于本发明的第一立体图像。

通过以上的方法，可生成在不使摄像元件以物理方式转动的前提下、小型且低成本的图像摄像装置，并且即使基于纵向位置也能生成立体图像。并且，可使立体图像的生成处理在横向位置和纵向位置间切换来执行。

另一方面，即使将从图像处理部102输出的输出图像信息在显示器103显示的情况下，通过基于横向位置的拍摄和基于纵向位置的拍摄，也能使在左右图像产生的视差的方向也变化。在小型数码相机和附带摄像机的便携式电话等的移动设备中，对于可立体显示的显示器优选以用户不需要佩戴眼镜的裸眼的立体显示的方式。

为了能够以裸眼视认立体图像，在显示器103中，对左右图像的光的行进方向进行限制，以使左右图像的光仅到达各眼。例如，在横向位置的立体图像的情况下，如图7所示，事先将左眼用图像L和右眼用图像R按照每列交替地呈L、R、L、R…来进行变换。另外，在纵向位置的立体图像的情况下，如图8所示，也事先将左眼用图像L和右眼用图像R以呈交替的方式进行变换。

并且，如图9所出，配置有以左眼用图像L的像素的光到达左眼、右眼用图像R的像素的光到达右眼的方式对图像光的行进进行控制的光控制部(视差屏障110)。由此可进行基于裸眼的立体显示。在这里，使用液晶作为视差屏障110。例如，利用液晶面板的光快门效应，并通过对液晶面板的光透过区域进行控制，从而可电控制视差屏障110的产生或消失。即，能以同一显示器103来电气地切换二维图像显示和立体图像显示。

图10是示出了立体图像和视差屏障的状态的图。在立体显示横向位置的立体图像(图10(A))的情况下，视差屏障110通过设置为图10(B)的状态，可进行立体显示。另一方面，在对纵向位置的立体图像(图10(C))进行立体显示的情况下，需要控制视差屏障110的产生。在视差屏障110的状态保持为图10(B)那样设置为纵向时，成为图10(D)示出的状态。在这种状态下，无法将纵向位置立体图像视认为立体图像。因此，通过以使视差屏障110构成的条纹的方向成为垂直方向的方式来控制液晶，从而成为如图10(E)所示的视差屏障110的状态。由此，可将纵向位置立体图像(图10(C))显示为立体图像。

在这里，关于显示立体图像的显示器，可应用时间分割方式的立体显示器，并可通过对显示器的显示与眼镜进行同步控制来予以实现。

并且，在本实施例中，说明了通过以输入图像A和图像A′生成立体图像而能进行基于纵向位置的立体图像的拍摄的情况，但是也可以使用计算出的视差信息，使用与图像A′不同的从输入图像A生成的图像A″。即，通过应用本发明，还能根据从输入图像A生成的不同的图像A′以及图像A″来生成立体图像。通过该方法，可将随着被拍摄对象的移动而产生的未确定像素的量划分到左右图像。即，通过使由连续的未确定像素所形成的面积的最大值减少，可降低画质劣化。

如以上说明，根据本发明的图像摄像装置，在不使摄像元件以物理方式转动的前提下，简易、低成本，无论基于横向位置、纵向位置都能拍摄立体图像。进而，通过具有无论基于横向位置还是纵向位置都能显示立体图像的显示器，从而可一边将图像确认为立体图像一边进行拍摄。

图11是示出具有对图像摄像装置的姿势进行检测的姿势检测部的构成的图。在本例中，除了上述的图像摄像装置的构成之外，还具有检测图像摄像装置的横向位置以及纵向位置的姿势检测部108。图像处理部102根据示出由姿势检测部108检测出的图像摄像装置的姿势(横向位置或纵向位置)的信息，自动地切换拍摄的方向来生成立体图像。对于姿势检测部108可应用加速度传感器等。另外，通过以预览画面旋转的数码相机、附带旋轮线式的摄像机的便携式电话等来检测显示器103的方向，从而能够自动且适当地切换拍摄的方向。

在这里，在上述的实施例中，对摄像元件的长边方向与配置两个摄像元件的方向相同的情况进行了说明，但如图12所示，对于摄像元件100、101的短方向、与配置两个摄像元件100、101的方向相同的情况也可适用本发明。

视差信息从摄像元件100的拍摄图像和摄像元件101的拍摄图像计算。在想得到基于纵向位置的立体图像的情况下，将左右图像中的一个作为摄像元件101的拍摄图像，从摄像元件100的拍摄图像A、以及对拍摄图像A进行视差变换后的图像A′当中选择左右图像中的另一个。在想得到基于横向位置的立体图像的情况下，通过将左右图像设置为摄像元件100的拍摄图像A、以及对拍摄图像A进行了视差变换后的图像A′，从而可得到立体图像。

进而，在生成立体图像时的左右图像的选择中，通过不使用输入图像B，且不论纵向位置还是横向位置都选择拍摄图像A、以及对拍摄图像A进行了视差变换后的图像A′，也能得到立体图像。

但是，在输入图像B侧生成立体图像时，生成的立体图像的基线长度比输入图像A与输入图像B的基线长度的1/2大时，与对输入图像A进行视差变换相比，对输入图像B进行视差变换时像素的移动量变小。因此，在处于能使用输入图像B的状态、且在输入图像B侧生成的立体图像的基线长度比输入图像A与输入图像B的基线长度的1/2大时，优选使用输入图像B。

另外，在对存储装置104中所记录的图像进行重放时，为了能够适当地判别以纵向位置显示还是以横向位置显示，在记录图像数据时，优选还同时记录是以纵向位置拍摄到的图像还是以横向位置拍摄到的图像的附加信息。

另外，本发明的图像处理部102可通过进行图像处理的各种单元来实现。例如，无论是基于CPU的软件的处理，还是LSI或FPGA这样的硬件的处理、以及利用这两者的情况都能够实现。

标号说明

1a、1b...摄像透镜，2a、2b...摄像元件，3a、3b...摄像头，100、101...摄像元件，102...图像处理部，103...显示器，104...存储装置，105...视差计算部，106...视差变换部，107...输出图象生成部，108...姿势检测部，110...视差屏障。

Claims (2)

1.一种图像摄像装置，具有：两个摄像元件、以及生成图像的图像处理部，

所述图像处理部计算由所述摄像元件拍摄到的第一图像与第二图像的视差，使用计算出的该视差和所述第一图像，生成相对于该第一图像在与所述摄像元件的排列方向为正交的方向上具有视差的估计图像，并根据所述估计图像来生成立体图像，

所述图像处理部切换地进行如下两个处理，即，

将根据在与所述摄像元件的排列方向为正交的方向上具有视差的估计图像而生成的立体图像作为第一立体图像来生成的处理；以及

根据由所述摄像元件拍摄到的第一图像以及第二图像来生成第二立体图像、或者从由所述摄像元件拍摄到的第一图像以及第二图像生成在所述摄像元件的排列方向上具有视差的估计图像并根据在该排列方向上具有视差的估计图像来生成第二立体图像的处理，

该图像摄像装置具有：图像显示部，对由所述图像处理部生成的立体图像进行显示；以及光控制部，在该图像显示部显示所述立体图像时，对生成了所述立体图像的两个图像各自的图像光的行进进行控制，

该光控制部在显示所述第一立体图像时和在显示所述第二立体图像时，根据各所述立体图像，通过使视差屏障的状态进行变化来对所述图像光的行进的控制进行切换，以使左眼用图像的像素的光到达左眼，且右眼用图像的像素的光到达右眼。

2.如权利要求1所述的图像摄像装置，其特征在于，

具有对所述图像摄像装置的姿势进行检测的姿势检测部，

所述图像处理部根据由所述姿势检测部检测出的所述图像摄像装置的姿势，对生成所述第一立体图像的处理和生成所述第二立体图像的处理进行切换。