CN102959943A - 立体全景图像合成装置、图像捕获装置、立体全景图像合成方法、记录介质、以及计算机程序 - Google Patents

Abstract

通过摇动图像捕获装置（10）并且执行高速连续拍摄获得多个图像。计算按时间顺序排列的捕获的图像中的基准图像（先前捕获图像）和当前捕获图像之间的光学流，并且基于所计算的光学流，并修剪图像之间的重叠区域（具有视差的区域）中的图像。一对修剪后的图像被存储在存储器（48）中分别作为左图像和右图像。此后，根据存储在存储器（48）中的多个左图像合成左全景图像，并且类似地，根据多个右图像合成右全景图像。

Description

立体全景图像合成装置、图像捕获装置、立体全景图像合成方法、记录介质、以及计算机程序

技术领域

本发明涉及立体全景图像合成装置、图像捕获装置、以及立体全景图像合成方法，并且特别是，本发明涉及基于由单目相机捕获的图像来合成立体全景图像的技术。

背景技术

在相关技术中，已知使用被固定至三脚架等并且旋转的摄像机捕获图像序列，结合根据这些捕获的图像序列而被切割为狭缝形状的狭缝图像并且合成全景图像的全景图像合成方法（专利文献1）。

根据在该专利文献1中描述的全景图像合成方法，通过基于两个连续图像之间的光学流尺寸确定狭缝图像宽度，切割狭缝图像并且合成它们，甚至可以在摄像机的每个速度不恒定的情况下，可靠地再现全景图像。

而且，专利文献2披露了可以合成三维空间全景的范围成像系统。

{引用列表}

{专利文献}

{PTL 1}日本专利申请公开No.11-164325

{PTL 2}日本专利申请公开No.2002-366948

发明内容

{技术问题}

专利文献1的摘要披露了结合根据所捕获的连续图像而被切割为狭缝形状的狭缝图像并且生成用于右眼和左眼的全景图像，专利文献1的说明书不包含关于生成用于右眼和左眼图像的全景图像的说明。

在专利文献2中披露的范围成像系统，调制后的电磁辐射束被照射到景色并且其反射束（即，通过至少三个图像形成的图像束）由作为激光雷达的相机捕获。该范围成像系统与普通相机不同之处在于照射调制后的电磁辐射束。

本发明的一个目的在于提供一种新立体全景图像合成装置、一种图像捕获装置和一种立体全景图像合成方法，其可以根据通过摇动（panning）单目图像捕获装置捕获的多个图像来合成立体全景图像。

{问题的解决方案}

为了实现以上目的，根据第一方面的立体全景图像合成装置包括：图像获取单元，其获取在摇动具有单个成像光学系统和成像元件的图像捕获装置的同时以预定帧速率连续捕获的多个图像；图像选择单元，其从所获取的多个图像选择用于全景图像合成的图像，并且选择其中图像之间的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像；重叠区域检测单元，其检测所选择的图像中的时间相邻图像之间的重叠区域；修剪单元，其切出检测到的重叠区域的图像；存储单元，其将重叠区域的被切出图像存储为左图像和右图像；以及全景图像合成单元，其基于所存储的左图像的图像组和所存储的右图像的图像组，来合成左全景图像和右全景图像。

在通过摇动具有单个成像光学系统和成像元件的图像捕获装置（单目图像捕获装置）捕获的多个图像当中，时间相邻图像之间的重叠区域的图像对应于左视点图像和右视点图像。从而，在根据第一方面的立体全景图像合成装置中，可以切出重叠区域的图像，使用它们作为左图像的图像组和右图像的图像组，根据左图像的图像组合成左图像的全景图像，并且根据右图像的图像组合成右图像的全景图像。

而且，在合成的立体全景图像中，优选相同距离处的特定对象的立体效果不由成像方向改变。从而，在根据第一方面的立体全景图像合成装置中，选择其中时间相邻图像之间的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像。

根据第二方面，根据第一方面的立体全景图像合成装置进一步包括：相应点检测单元，其将所获取的多个图像当中的预定图像设置为基准图像，并且检测在基准图像和在与基准图像的时间不同的时间捕获的一个或多个不同图像之间具有相同特征的相应点；以及光学流计算单元，其基于由相应点检测单元检测的相应点来计算光学流，其中，图像选择单元选择其中所计算的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像，并且将不同的被选择图像设置为下一个基准图像。

根据第三方面，在根据第一或第二方面的立体全景图像合成装置中，全景图像合成单元根据图像之间的光学流的平移矢量的水平分量，来将所存储的左图像的图像组的每个图像修剪为狭缝形状，并且基于光学流的平移矢量来合成修剪后的狭缝形状图像，以生成左全景图像，以及根据图像之间的光学流的平移矢量的水平分量，来将所存储的右图像的图像组的每个图像修剪为狭缝形状，并且基于光学流的平移矢量来合成修剪后的狭缝形状图像，以生成右全景图像。

根据第四方面，在根据第一或第二方面的立体全景图像合成装置中，全景图像合成单元通过基于所存储的左图像的图像组的图像之间的光学流的平移矢量，以时间顺序方式相对地移动左图像的图像组并且将图像组映射到存储器上，来合成左全景图像，并且通过基于所存储的左图像的图像组的图像之间的光学流的平移矢量，以时间顺序方式相对地移动右图像的图像组并且将图像组映射到存储器上，来合成右全景图像。

根据第三方面的立体全景图像合成装置被配置成修剪每个图像组的非重叠狭缝形图像，并且通过合成修剪后的狭缝形图像来合成全景图像。根据第四方面的立体全景图像合成装置被配置成通过基于图像组的图像之间的光学流的平移矢量，以时间顺序方式相对地移动每个图像组并且将图像组映射到存储器上，来合成全景图像。

根据第五方面，在根据第三或第四方面的立体全景图像合成装置中，全景图像合成单元进一步包括：修剪单元，修剪在通过图像合成单元合成的左全景图像和右全景图像之间具有重叠像素的区域的图像。用这种方法，甚至在图像捕获装置的摇动操作没有被准确地和水平地执行的情况下，也可以获取良好立体全景图像。

根据第六方面，根据第一至第五方面中的一个的立体全景图像合成装置进一步包括：记录单元，其相互关联地记录通过全景图像合成单元生成的左全景图像和右全景图像。

根据第七方面的一种图像捕获装置，包括根据第一至第六方面中的一个的立体全景图像合成装置。

根据第八方面，根据第七方面的图像捕获装置进一步包括：模式设置单元，其设置立体全景成像模式；以及控制单元，当选择立体全景成像模式并且输入成像开始命令时，其固定聚焦位置、曝光条件和白平衡增益，并且以预定帧速率连续地捕获图像。

用这种方法，可以固定聚焦位置、曝光条件和用于全景图像合成的每个狭缝形图像的白平衡增益。

根据第九方面，根据第七或第八方面的图像捕获装置进一步包括：模式设置单元，其设置立体全景成像模式；平移矢量计算单元，其计算在立体全景成像模式下成像时捕获的图像之间的光学流的平移矢量的水平分量；以及警报单元，其在由平移矢量计算单元计算的平移矢量的水平分量的绝对值大于预先设置的阈值时，发布警报。

根据第十方面，根据第七或第八方面的图像捕获装置进一步包括：模式设置单元，其设置立体全景成像模式；角速度检测单元，其检测在立体全景成像模式下成像时图像捕获装置的角速度；以及警报单元，当由角速度检测单元检测的角速度大于基于预定帧速率设置的最大角速度时，发布警报。

如果图像捕获装置的摇动速度（即，摆动速度或角速度）很大，则重叠区域变小，并且当在图像组的图像之间不存在用于合成的公共区域时，全景图像合成变得不可能。从而，根据第九方面的图像捕获装置被配置成在由平移矢量计算单元计算的平移矢量的水平分量超过预先设置的阈值的情况下发布警报。同时，根据第十方面的图像捕获装置被配置成在图像捕获装置的角速度超过基于预定帧速率设置的最大角速度的情况下发布警报。

根据第十一方面的一种立体全景图像合成方法包括：获取在摇动具有单个成像光学系统和成像元件的图像捕获装置的同时以预定帧速率连续捕获的多个图像的步骤；从所获取的多个图像选择用于全景图像合成的图像，并且选择其中图像之间的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像的步骤；检测所选图像中的时间相邻图像之间的重叠区域的步骤；切出所检测的重叠区域的图像的修剪步骤；将重叠区域的被切出图像存储为左图像和右图像的步骤；以及基于所存储的左图像的图像组和所存储的右图像的图像组，来合成左全景图像和右全景图像的全景图像合成步骤。

根据第十二方面，根据第十一方面的立体全景图像合成方法进一步包括：分别修剪具有所合成的左全景图像和右全景图像之间的重叠像素的区域的图像的步骤。而且，关于包括计算机可执行命令并且可以使计算机执行根据第十一或第十二方面的立体全景图像合成方法的计算机程序，通过在计算机上执行该计算机程序，可以实现以上目的。而且，关于记录以上计算机程序的计算机可读记录介质，通过经由该记录介质在计算机中安装该计算机程序并且执行该程序，可以实现以上目的。

{本发明的有益效果}

根据本发明，可以根据通过摇动普通图像捕获装置（即，单目图像捕获装置）捕获的多个图像来合成立体全景图像。

附图说明

图1是示出根据本发明的图像捕获装置的实施例的框图。

图2是用于说明通过根据本发明的图像捕获装置进行的三维全景图像合成处理的原理的说明图。

图3A是示出用于三维全景图像合成的图像的获取流程的示图（版本1）。

图3B是示出用于三维全景图像合成的图像的获取流程的示图（版本2）。

图3C是示出用于三维全景图像合成的图像的获取流程的示图（版本3）。

图3D是示出用于三维全景图像合成的图像的获取流程的示图（版本4）。

图4是示出用于三维全景图像合成的图像的获取流程的流程图。

图5A是示出三维全景图像的合成处理序列的示图（版本1）。

图5B是示出三维全景图像的合成处理序列的示图（版本2）。

图5C是示出三维全景图像的合成处理序列的示图（版本3）。

图5D是示出三维全景图像的合成处理序列的示图（版本4）。

具体实施方式

以下，参考附图，给出根据本发明的立体全景图像合成装置、图像捕获装置和立体全景图像合成方法的实施例的说明。

[图像捕获装置的总体结构]

图1是示出根据本发明的图像捕获装置10的实施例的框图。

该图像捕获装置10将诸如静止画面和运动画面之类的被捕获图像记录在诸如存储卡的记录介质54中，并且总体装置操作由中央处理单元（CPU）40整体控制。

图像捕获装置10包括操作单元38，诸如，快门按钮、模式旋钮、回放按钮、MENU/OK键、箭头键和BACK键。来自该操作单元38的信号被输入到CPU 40中，并且CPU 40基于输入的信号控制图像捕获装置10的每个电路以执行例如透镜驱动控制、光圈驱动控制、成像操作控制、图像处理控制、图像数据记录/回放控制、2D/3D显示器液晶监视器30的显示控制等，并且执行根据随后描述的本发明的立体（3D）全景图像合成处理。

快门按钮是输入成像开始指令的操作按钮，并且通过包括当按钮被半按时接通的S1开关和当按钮被全按时接通的S2开关的二级敲击型开关来形成。模式旋钮是选择成像模式的选择单元。成像模式的示例包括自动成像模式、手动成像模式、景色位置（诸如人、风景和夜景）、捕获运动画面的运动画面模式、以及根据本发明的立体全景成像模式。

回放按钮是将模式切换至回放模式以在液晶监视器30上显示成像的和记录的静止画面或运动画面的按钮。MENU/OK键是具有作为给出在液晶监视器30的屏幕上显示菜单的指令的菜单按钮的功能和作为给出确定和执行选择内容的指令的OK按钮的功能的操作键。箭头键是输入左、右、上和下的四个方向的指令的操作单元，并且用作从菜单按钮选择选项或者指示从每个菜单选择各个设置选项的按钮（即，光标移动操作单元）。而且，箭头键的向上和向下键用作成像时的变焦开关或者回放时的回放变焦开关，并且左键和右键用作回放模式时的帧前进（向前方向/向后方向前进）按钮。BACK键用于删除诸如选择项的期望目标，取消指令内容，或者使状态返回到先前操作状态。

在成像模式时，指示对象的图像光经由单个成像光学系统（例如，变焦透镜）12和光圈14形成在固态成像元件16的光接收表面上。以下，虽然使用CCD（电荷耦合器件）作为固态成像元件的示例给出说明，但是不期望限制固态成像元件的类型。成像光学系统12由通过CPU 40控制的透镜驱动单元36驱动并且经过焦点控制、变焦控制等。光圈14通过例如五个光圈叶片形成，通过由CPU 40控制的光圈驱动单元34驱动并且以1AV间隔经过例如从光圈值F2.8至光圈值F11的五级光圈控制。

而且，CPU 40经由光圈驱动单元34控制光圈14，经由CCD控制单元32控制CCD 16中的电荷累积时间（即，快门速度）并且控制从CCD 16读取图像信号。

基于由CCD控制单元32添加的读取信号，在CCD 16中累积的信号电荷被读取为对应于信号电荷的电压信号。从CCD 16读取的电压信号被添加至模拟信号处理单元18。在模拟信号处理单元18中，每个像素的R、G和B信号经过采样保持、放大，并且随后被添加至A/D转换器20。A/D转换器20将被顺序输入的R、G和B信号转换为数字R、G和B信号，并且将这些输出到图像输入控制器22。

数字信号处理单元24对经由图像输入控制器22输入的数字图像信号执行预定信号处理，诸如，偏移处理、包括白平衡校正和灵敏度校正的增益控制处理、伽玛校正处理、失真校正处理、色像差校正处理、同步处理、YC处理、以及清晰度校正处理。而且，ROM（或EEPROM（电可擦除可编程只读存储器））46存储相机控制程序、CCD 16的缺陷信息、用于图像处理的多种校正参数和表格、用于3D全景图像合成的软件等。

在数字信号处理单元24中处理的图像数据被输出到VRAM（视频随机存取存储器）50。VRAM 50包括存储指示一帧图像的图像数据的A区域和B区域，并且在VRAM 50中，指示一帧图像的图像数据被交替地盖写在A区域和B区域中。在VRAM 50的A区域和B区域之外，从不同于图像数据被盖写的区域的区域读取被写入的图像数据。从VRAM 50读取的图像数据在视频编码器28中被编码并且被输出到设置在相机背面的液晶监视器30，使得被捕获图像显示在液晶监视器30的显示屏上。

该液晶监视器30可以显示2D图像（即，平面图像）以及3D图像（即，通过左视点图像和右视点图像形成的立体图像）。例如，液晶监视器30可以被配置为可以通过视差屏障显示具有预定方向性的方向性图像的立体显示装置。液晶监视器30的结构不限于此，并且其可以采用使用双凸透镜的结构，或者可以被配置成使得可以通过佩戴诸如偏振眼镜和液晶快门眼镜之类的专用眼镜来查看左视点图像和右视点图像。

而且，当在第一级上按压（即半按）操作单元38的快门按钮时，CPU 40开始AF（自动聚焦）操作和AE（自动曝光）操作，并且执行控制，使得成像光学系统12中的聚焦透镜经由透镜驱动单元36布置在聚焦位置。而且，在快门按钮被半按时从A/D转换器20输出的图像数据被输入AE检测单元44。

AE检测单元44积分（integrate）整个屏幕的G信号或者积分在屏幕中心部分和外围部分中经过不同加权的G信号，并且将积分值输出到CPU 40。CPU 40基于该成像Ev值，从由AE检测单元44输入的积分值计算对象亮度（即，成像Ev值），根据预定程序图确定光圈14的光圈值和CCD 16的电子快门（即，快门速度），并且基于所确定的光圈值，经由光圈驱动单元34控制光圈14。而且，CPU 40基于所确定的快门速度，经由CCD控制单元32，控制CCD 16中的电荷累积时间。

AF处理单元42是执行对比AF处理的一个部件，并且通过在图像数据中的预定聚焦区域中提取图像数据的较高频率分量并且积分这些较高频率分量，来计算指示聚焦状态的AF估计值。通过控制成像光学系统12中的聚焦透镜来执行AF控制，以使得该AF估计值最大。

当AE操作和AF操作结束并且快门按钮被按压在第二级上（即，全按）时，响应于该按压从A/D转换器20输出的图像数据被从图像输入控制器22输出到存储器（例如，SDRAM（同步动态RAM））48并且被暂时存储。

暂时存储在存储器48中的图像数据由数字信号处理单元24适当地读取。数字信号处理单元24执行预定信号处理，包括图像数据的亮度数据和色差数据的生成处理（即，YC处理）。经过YC处理的图像数据（即，YC数据）被再次存储在存储器48中。随后，YC数据被输出到压缩/解压缩处理单元26，经过诸如JPEG（联合图像专家组）的预定压缩处理，并且被再次存储在存储器48中。

图像文件从存储在存储器48中的YC数据（即，压缩数据）生成，并且由媒体控制器52读取并且存储在存储卡54中。

<本发明的原理>

接下来，说明通过单目图像捕获装置10的3D全景图像合成处理的原理。

如图2中所示，图像捕获装置10被手持并且经过在右方向上以基本恒定旋转速度摇动，以预定帧速率（例如，60帧/秒）捕获图像的序列。

通过如上高速连续地捕获图像，在特定时间t_A捕获的图像A和稍在时间t_A之后的特定时间t_B捕获的图像B部分相互重叠。

当图像A和图像B的相互重叠的图像被切出并且被切出的图像被假设为图像A'和B'时，这些图像A'和B'是在不同视点位置处捕获的视点图像（即，左图像和右图像）。而且，在图2中所示的示例中，对应于图像A'和B'的会聚角是θ。

即，图像A'和B'形成可以立体地显示的3D图像。通过从图像捕获装置10的摇动期间捕获的时间相邻图像切出相互重叠图像，一个被获取作为左图像，并且另一个被获取作为右图像。用这种方法，可以获取用于3D全景图像合成的多个左图像和右图像。

<用于3D全景图像合成的图像获取>

图3A至图3D是示出用于3D全景图像合成的图像的获取流程的示图。

首先，如图3A中所示，图像捕获装置10被手持并且经过摇动以高速连续地捕获图像。在该情况下，当预先设置的n个（n连拍）图像组被捕获时或者当判定以预定角度执行旋转时，成像结束，并且其转换到全景图像合成处理。

如图3B中所示，基于相应点检测来计算基准图像（即，前次拍摄的被捕获图像）和当前拍摄的被捕获图像之间的图像的光学流。即，基准图像上的特征点和对应于那些特征点的被捕获图像上的特征点被检测为相应点，并且从这些相应点之间的移动量和移动方向（即，平移矢量）计算光学流。在此，作为相应点的检测方法，存在通过例如Harris方法等提取特征点并且使用KLT（Kanade Lucas Tomasi）方法等跟踪特征点的方法。

接下来，如图3C中所示，基于所计算的光学流，在基准图像和被捕获图像之间重叠的重叠区域（即，具有视差的区域）中的图像被从基准图像和被捕获图像中切出。

该对被切出的图像被存储在存储器48中（图3D）。在此，在顺时针摆动期间被连续捕获的图像的情况下，从基准图像切出的重叠区域图像被存储为左图像，并且从被捕获图像切出的重叠区域图像被存储为右图像。

在重叠区域的左图像和右图像被存储在存储器48中之后，被捕获图像被设置为基准图像，并且流程返回至下一次成像。即，在连续成像期间，每一次拍摄都重复图3B至图3D中所示的处理。随后，当判定图像捕获装置10从成像开始旋转预定角度时，成像结束，并且流程前进至合成3D全景图像的处理。

而且，当在每帧的成像间隔中不进行图3B至图3D中所示的处理时，高速连续捕获的多个图像可以暂时存储在存储器48中并且随后经过图3B至图3D中所示的处理。

图4是更详细地示出用于3D全景图像合成的图像的获取流程的流程图。

在图4中，首先，通过图1中所示的操作单元38的模式旋钮，选择3D全景成像模式以进入成像等待状态（步骤S10）。

随后，设置摇动成像时的摆动方向（步骤S11），并且在图像捕获装置10移动至摇动开始位置以执行3D全景成像（即，在构图被确定之后），快门按钮被半按（步骤S12）。当从操作单元38接收指示快门按钮被半按的信号输入时，CPU 40开始AF操作和AE操作，执行控制使得成像光学系统12中的聚焦透镜通过透镜驱动单元36布置在聚焦位置，并且基于从AE检测单元44输入的光度值确定曝光条件（例如，光圈14的光圈值和CCD 16的快门速度）（步骤S 12）。

此后，当快门被全按时，CPU 40根据在步骤S 12中确定的曝光条件开始连续成像（步骤S14）。此时，虽然摄影师使图像捕获装置10执行顺时针摇动，但是期望使图像捕获装置10以预定摆动速度执行摇动而不在垂直方向上模糊。

当连续成像开始时，通过包括CCD 16的图像捕获单元捕获的图像被输入（步骤S16）。CPU 40判定所输入的被捕获图像是否是第一被捕获图像，并且在第一被捕获图像的情况下（即，在“是”的情况下），流程进行至步骤S20，并且在第二或随后被捕获图像的情况下（即，在“否”的情况下），流程进行至步骤S22（步骤S18）。

在步骤S20，基于第一被捕获图像，计算对被捕获图像的白平衡（WB）进行校正的WB增益，以通过该WB增益执行被捕获图像（R、G和B信号）的白平衡校正。而且，关于第二或随后被捕获图像，基于第一被捕获图像计算的WB增益被用于在相同聚焦位置和上述曝光条件下捕获图像。这是因为在全景图像合成时使用的每个狭缝形图像的阴影、聚焦位置和亮度不改变，这将在随后描述。

经过诸如步骤S20中的白平衡校正的图像处理的第一被捕获图像被暂时存储在存储器48的工作区中作为基准图像（步骤S24）。

同时，在步骤S22中，当获取第二或随后被捕获图像时，执行基准图像（即，先前捕获的图像）和被捕获图像之间的相应点检测。随后，基于所计算的相应点来计算基准图像和被捕获图像的光学流（步骤S26）。

随后，判定所计算的光学流的平移矢量的水平分量x的绝对值|x|是否在预定范围内（即，阈值Th1≤|x|≤阈值Th2）（步骤S28）。在平移矢量的水平分量x的绝对值|x|在预定范围内的情况下（即，在“是”的情况下），执行旋转校正，以将被捕获图像调节至基准图像（步骤S30）。此后，指定基准图像和经过旋转校正的被捕获图像之间的重叠区域中的图像，并且从基准图像和被捕获图像切出重叠区域图像（步骤S32）。

接下来，判定在摇动成像时的摆动方向设置是否是顺时针（步骤S34）。可以基于成像之前由用户设置的方向是顺时针还是逆时针来判定摆动方向。

当判定摆动方向是顺时针时（即，在“是”的情况下），从基准图像切出的重叠区域图像被存储在存储器48中作为左图像，并且从被捕获图像切出的重叠区域图像被存储在存储器48中作为右图像（步骤S36）。同时，当判定摆动方向是逆时针时（即，在“否”的情况下），从基准图像切出的重叠区域图像被存储在存储器48中作为右图像，并且从被捕获图像切出的重叠区域图像被存储在存储器48中作为左图像（步骤S38）。

接下来，光学流的平移矢量的水平分量x的绝对值|x|与被切出的重叠区域图像相关联地存储在存储器中（步骤S40）。而且，计算从成像开始的水平分量x的绝对值|x|的总和Sum_|x|，并且判定总和Sum_|x|是否超过阈值Th4（步骤S42）。当其超过阈值Th4时（即，在“是”的情况下），认为已经获取预定角度范围内的用于3D全景图像合成的图像，并且成像结束（步骤S43）。此时，在液晶监视器30上，其可以报告摄影师通过3D全景成像模式的成像结束。

同时，当其不超过阈值Th4时（即，在“否”的情况下），被捕获图像用基准图像代替（即，盖写）（步骤S24），并且流程返回到步骤S16。

而且，在步骤S28中，当判定光学流的平移矢量的水平分量x的绝对值|x|不在预定范围（即，阈值Th1≤|x|≤阈值Th2）内时（在“否”的情况下），判定平移矢量的水平分量x的绝对值|x|小于下限侧阈值Th1（步骤S44）。当其小于该下限侧阈值时（即，在“是”的情况下），流程进行至步骤S45，并且基于平移矢量的水平分量x的符号，判定在步骤S11中设置的摆动方向与在摇动成像时的摆动方向是否匹配。例如，当在步骤S11中成像之前设置的摆动方向是顺时针并且“x”为正时，判定在实际摇动成像时的摆动方向类似于该设置，是顺时针。当摆动方向匹配时（即，在“是”的情况下），当前捕获图像被丢弃（步骤S46），并且流程返回到步骤S16。

即，当平移矢量的水平分量x的绝对值|x|小于下限侧阈值Th1并且摆动方向与所设置方向匹配时，基准图像和被捕获图像之间的重叠区域大，并且重叠区域图像之间的视差小。因此，在该情况下，被捕获图像被丢弃，以不采用被捕获图像。

在步骤S45中，当判定摆动方向不匹配时（即，在“否”的情况下），液晶监视器30显示摆动方向相反的警报（步骤S50），并且通过3D全景成像模式的成像结束（步骤S43）。

同时，在步骤S44中，当判定平移矢量的水平分量x的绝对值|x|大于下限侧阈值Th1时（或当根据步骤S28中的判定结果判定其大于上限侧阈值Th2时）（即，在“否”的情况下），液晶监视器30显示摇动成像时的摆动速度太快的警报（步骤S48），并且通过3D全景成像模式的成像结束（步骤S43）。在该情况下，未获取用于3D全景图像合成的图像，并且必须再次捕获图像。

<3D全景图像合成处理>

接下来，给出用于使用如上获取的用于3D全景合成的多个左图像和右图像合成3D全景图像的合成处理序列的说明。

图5A至图5D是示出3D全景图像的合成处理序列的示图。

在图5A中，参考数字1至9指示图像捕获装置10的摇动期间捕获的时间顺序图像，并且上方图像1至8和下方图像2至9是重叠区域图像中的左图像和右图像。

在合成这些左图像和右图像的处理中，可以使用在步骤S26中计算的光学流。在图5A中所示的示例中，作为相邻图像1和2、2和3、3和4等之间的光学流（即，平移矢量），计算(x,y)=(19,2),(21,-1),(20,0)等。

随后，如图5B中所示，基于以上计算的光学流（即，平移矢量）(x,y)=(19,2),(21,-1),(20,0)等，每个图像被修剪为狭缝形，并且修剪后的狭缝形图像按顺序被合成。即，从先前捕获图像和随后捕获图像（即，时间顺序图像中的两个相邻图像）切出与从图像中心移动平移矢量的水平分量x的1/2的位置具有固定宽度w的狭缝形图像，并且这些被切出的狭缝形图像在垂直和水平方向上按平移矢量移动的同时被合成。用这种方法，3D全景图像合成完成。

接下来，在经过全景图像合成的左图像和右图像中，包括相互重叠像素的区域图像被修剪。在图5C中所示的示例中，从左图像和右图像切出最大矩形区域的图像AL和AR，并且将这些切出的矩形区域图像AL和AR之间重叠的区域图像确定为修剪区域。而且，如图5D中所示，从左图像和右图像切出对应于所确定的修剪区域的部分。

这些被切出的左图像和右图像被存储在存储卡54中作为立体图像（即，3D全景图像）。例如，从两个右和左全景图像生成多图片文件（MP文件：连接多个图像的格式的文件），并且经由媒体控制器52将该MP文件记录在存储卡54中。在此，两个右和左全景图像不限于被存储在一个MP文件中，并且只要它们相互关联地存储，就可以存储为各自图像文件。

[其他]

在以上实施例中，从在摇动成像期间获得的时间顺序捕获图像中提取这样的被捕获图像：其中图像之间的光学流的平移矢量的水平分量x处在预定范围内，但是被捕获图像提取方法不限于此。例如，角速度传感器可以设置在图像捕获装置10中，以提取水平方向上的角速度处在预定范围内的被捕获图像。而且，当相邻图像之间的水平方向上的角度变化超过预定上限值（即，基于帧速率设置的最大角速度）时，可以给出摆动速度过量警报。

而且，如图2中所示，当在摇动成像期间的图像捕获装置10的摆动半径R变小时，重叠区域图像之间的视差变小。从而，可以在图像捕获装置10中设置检测水平方向上的速度或加速度的传感器等，以测量摆动速度V，基于以上角速度传感器的输出结果ω计算摆动半径R=V/ω，并且当R等于或小于预定阈值时，警告摆动半径小。

而且，在本实施例中，当使用用于3D全景图像合成的多个左图像和右图像合成3D全景图像时，基于相邻图像之间的光学流切出狭缝形图像，并且连接这些被切出的狭缝形图像。然而，可以通过基于左图像的图像组的图像之间的移动矢量以时间顺序方式相对地移动左图像的图像组并且将结果映射在存储器上，来合成左全景图像，并且类似地，可以通过基于右图像的图像组的图像之间的平移矢量以时间顺序方式相对地移动右图像的图像组并且将结果映射在存储器上，来合成右全景图像。即，全景图像合成方法不限于本实施例，并且多种方法可应用。

而且，虽然根据本发明的图像捕获装置结合了3D全景图像合成功能，但是3D全景图像合成装置可以通过诸如没有成像功能的个人计算机的外部装置来配置。在该情况下，通过摇动具有连续成像功能或运动画面成像功能的普通数码相机或摄像机捕获的图像被处理为输入图像。而且，使计算机实现根据本发明的3D全景图像合成处理的程序被准备并且安装在计算机中。随后，通过在计算机中执行该程序，使用输入的图像合成3D全景图像。而且，使计算机实现3D全景图像合成处理的程序可以被存储在记录介质中并且经由该记录介质被安装在计算机中。记录介质的示例包括磁光盘、软盘和存储芯片。

而且，本发明不限于以上实施例，并且不必说，可以在不脱离本发明的精神的情况下作出多种改变。

{附图标记列表}

10图像捕获装置

12成像光学系统

14光圈

16成像元件（CCD）

30液晶监视器

32CCD控制单元

34光圈驱动单元

36透镜驱动单元

38操作单元

40中央处理单元（CPU）

42AF处理单元

44AE检测单元

46ROM

40存储器（SDRAM）

52媒体控制器

54存储卡

Claims (14)

1.一种立体全景图像合成装置，包括：

图像获取单元，其被配置成获取在摇动包括单个成像光学系统和成像元件的图像捕获装置的同时以预定帧速率连续捕获的多个图像；

图像选择单元，其被配置成从所获取的多个图像选择用于全景图像合成的图像，所述图像选择单元被配置成选择这样的图像：其中这些图像之间的光学流的平移矢量的水平分量处在预先设置的预定范围内；

重叠区域检测单元，其被配置成检测所选择的图像中的时间相邻图像之间的重叠区域；

修剪单元，其被配置成切出检测到的重叠区域的图像；

存储单元，其被配置成将所述重叠区域的被切出图像存储为左图像和右图像；以及

全景图像合成单元，其被配置成基于所存储的左图像的图像组和所存储的右图像的图像组，来合成左全景图像和右全景图像。

2.根据权利要求1所述的立体全景图像合成装置，进一步包括：

相应点检测单元，其被配置成将所获取的多个图像当中的预定图像设置为基准图像，并且被配置成检测在所述基准图像和在与所述基准图像的时间不同的时间捕获的一个或多个不同图像之间具有相同特征的相应点；以及

光学流计算单元，其被配置成基于由所述相应点检测单元检测的所述相应点，来计算所述光学流，

其中，所述图像选择单元选择所计算的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像，并且将不同的被选择图像设置为下一个基准图像。

3.根据权利要求1或2所述的立体全景图像合成装置，

其中，所述全景图像合成单元根据图像之间的光学流的平移矢量的水平分量，来将所存储的左图像的图像组的每个图像修剪为狭缝形状，并且基于所述光学流的平移矢量来合成修剪后的狭缝形状图像，以生成左全景图像，以及根据图像之间的光学流的平移矢量的水平分量，来将所存储的右图像的图像组的每个图像修剪为狭缝形状，并且基于所述光学流的平移矢量来合成修剪后的狭缝形状图像，以生成右全景图像。

4.根据权利要求1或2所述的立体全景图像合成装置，

其中，所述全景图像合成单元通过基于所存储的左图像的图像组的图像之间的所述光学流的平移矢量，按照时间顺序方式相对地移动所述左图像的图像组并且将所述图像组映射到存储器上，来合成所述左全景图像，并且通过基于所存储的左图像的图像组的图像之间的所述光学流的平移矢量，按照时间顺序方式相对地移动所述右图像的图像组并且将所述图像组映射到存储器上，来合成所述右全景图像。

5.根据权利要求3或4所述的立体全景图像合成装置，

其中，所述全景图像合成单元进一步包括：修剪单元，其被配置成修剪在通过所述图像合成单元合成的所述左全景图像和所述右全景图像之间具有重叠像素的区域的图像。

6.根据权利要求1至5中任一项所述的立体全景图像合成装置，进一步包括：

记录单元，其被配置成相互关联地记录通过所述全景图像合成单元生成的所述左全景图像和所述右全景图像。

7.一种图像捕获装置，包括根据权利要求1至6中任一项所述的立体全景图像合成装置。

8.根据权利要求7所述的图像捕获装置，进一步包括：

模式设置单元，其被配置成设置立体全景成像模式；以及

控制单元，其被配置成当选择所述立体全景成像模式并且输入成像开始命令时，固定聚焦位置、曝光条件和白平衡增益，并且以所述预定帧速率连续地捕获图像。

9.根据权利要求7或8所述的图像捕获装置，进一步包括：

模式设置单元，其被配置成设置立体全景成像模式；

平移矢量计算单元，其被配置成计算在所述立体全景成像模式下成像时捕获的图像之间的光学流的平移矢量的水平分量；以及

警报单元，其被配置成当由所述平移矢量计算单元计算的所述平移矢量的水平分量的绝对值大于预先设置的阈值时，发布警报。

10.根据权利要求7或8所述的图像捕获装置，进一步包括：

模式设置单元，其被配置成设置立体全景成像模式；

角速度检测单元，其被配置成检测在所述立体全景成像模式下成像时所述图像捕获装置的角速度；以及

警报单元，其被配置成当由所述角速度检测单元检测的所述角速度大于基于所述预定帧速率设置的最大角速度时，发布警报。

11.一种立体全景图像合成方法，包括：

获取在摇动具有单个成像光学系统和成像元件的图像捕获装置的同时以预定帧速率连续捕获的多个图像的步骤；

从所获取的多个图像选择用于全景图像合成的图像并且选择其中图像之间的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像的步骤；

检测所选图像中的时间相邻图像之间的重叠区域的步骤；

切出检测到的重叠区域的图像的修剪步骤；

将所述重叠区域的被切出图像存储为左图像和右图像的步骤；以及

基于所存储的左图像的图像组和所存储的右图像的图像组，来合成左全景图像和右全景图像的全景图像合成步骤。

12.根据权利要求11所述的立体全景图像合成方法，

其中，所述全景图像合成步骤进一步包括：分别修剪在所合成的左全景图像和右全景图像之间具有重叠像素的区域的图像的步骤。

13.一种记录计算机程序的计算机可读记录介质，其中，所述计算机程序使得至少一个计算机：

获取在摇动具有单个成像光学系统和成像元件的图像捕获装置的同时以预定帧速率连续捕获的多个图像；

从所获取的多个图像选择用于全景图像合成的图像，并且选择其中图像之间的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像；

检测所选图像中的时间相邻图像之间的重叠区域；

修剪和切出检测到的重叠区域的图像；

将所述重叠区域的被切出图像存储为左图像和右图像；以及

基于所存储的左图像的图像组和所存储的右图像的图像组，来合成左全景图像和右全景图像。

14.一种包括计算机可执行命令的计算机程序，包括使得至少一个计算机执行以下操作的命令：

获取在摇动具有单个成像光学系统和成像元件的图像捕获装置的同时以预定帧速率连续捕获的多个图像；

从所获取的多个图像选择用于全景图像合成的图像，并且选择其中图像之间的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像；

检测所选择图像中的时间相邻图像之间的重叠区域；

修剪并且切出检测到的重叠区域的图像；

将所述重叠区域的被切出图像存储为左图像和右图像；以及

基于所存储的左图像的图像组和所存储的右图像的图像组，来合成左全景图像和右全景图像。

Images