CN102694993A - 图像处理器、图像处理方法和程序 - Google Patents

Abstract

本发明涉及图像处理器、图像处理方法和程序。该图像处理器包括：合成处理单元，该合成处理单元通过从多个所捕获图像中剪辑图像并且将所剪辑的图像连接在一起来生成全景图像；以及处理单元，该处理单元适于通过基于通过测量到主题的多个位置的距离所获得的距离信息修饰该全景图像来校正由到该主题不同的距离所引起的全景图像中主题的图像失真。

Description

图像处理器、图像处理方法和程序

技术领域

本发明涉及图像处理器、图像处理方法和程序。具体而言，本技术便于生成图像失真已被校正的广角合成图像。

背景技术

在相关技术中，在摆动或平移成像装置并且连接所捕获的图像以生成全景图像，即合成图像的同时，执行多个成像操作，其中该合成图像与通过单个成像操作获得的图像相比，覆盖了更宽的视角。

例如，在日本未审查专利申请公报No.8-116490中，为了生成全景图像，当合成图像时，对由摄影透镜像差、视差等等所引起的几何移位进行校正。在日本未审查专利申请公报No.8-116490中，通过使用其中视差已经基于通过到主题的距离的距离信息所计算的视差大小校正的图像来生成图像。

在日本未审查专利申请公报No.2009-260567中，失真根据摄影条件或图像的使用来校正。为了通过将多个所捕获的图像数据连接在一起来产生全景图像，例如，根据成像时透镜的焦距来校正失真，并且将失真已被校正的图像连接在一起。当通过使用广角透镜来捕获广角图像时，进行了遗留了边缘失真的校正，这是因为具有边缘失真的图像比没有边缘失真的图像看起来更自然。

发明内容

当采用圆柱投影法来生成全景图像时，在固定的位置处旋转成像装置以生成多个所捕获图像，并接着将所生成的图像连接在一起。

图1A至1D示出了圆柱投影法。该圆柱投影法假设成像装置到主题的距离总是恒定的。如图1A所示，当成像装置90到主题91的距离恒定且主题91的尺寸相同，则图1B所示的所捕获图像中的主题图像91p的尺寸似乎相等。另一方面，当成像装置到主题的距离发生了改变，则会根据到主题的距离而发生图像失真。例如，假定从成像装置90延伸到圆柱表面93上的第一捕获图像94的一个端点P1的分段LN1与平面96相交于交点P1′处，如图1C所示。从成像装置90的位置延伸到第一捕获图像94的另一端点P2的分段LN2与平面96相交于交点P2′处。类似地，假定从成像装置90的位置延伸到圆柱表面93上的第二捕获图像95的一个端点P3的分段LN3与平面96相交于交点P3′处。从成像装置90的位置延伸到第二捕获图像95的另一端点P4的分段LN4与平面96相交于交点P4′处。在此情况下，第一捕获图像94代表在平面96上的交点P1′与P2′之间延伸的范围。类似地，第二捕获图像95代表在平面96上的交点P3与P4′之间延伸的范围。从成像装置90的位置到交点P1′的距离大于从成像装置90的位置到交点P2′的距离，并且从成像装置90的位置到交点P4′的距离大于从成像装置90的位置到交点P3′的距离。结果，平面96上的主题92成了如图1D所示的鼓状失真主题图像92p。

由于圆柱投影法是假设了成像装置到主题的距离总是恒定的成像方法，所以位于距成像装置的不同的距离处的主题似乎根据其距离在所捕获图像上发生失真。但是，很难通过校正由成像透镜像差和视差所引起的几何移位(如在日本未审查专利申请公报No.8-116490中)或通过根据透镜焦距校正失真(如在日本未审查专利申请公报No.2009-260567中)来校正由到成像装置的不同的距离所引起的这些失真。

期望提供能够方便生成其中由到成像装置的不同的距离所引起的图像失真已被校正的广角合成图像的图像处理器、图像处理方法和程序。

本发明的实施例涉及图像处理器，该图像处理器包括合成处理单元，该成处理单元通过从多个所捕获图像中剪辑图像并且将所剪辑的图像连接在一起来生成全景图像；以及处理单元，该处理单元适于通过基于通过测量到主题的多个位置的距离所获得的距离信息修饰该全景图像来校正由到该主题的不同距离所引起的全景图像中主题的图像失真。

在本技术的实施例中，通过采用圆柱投影法来捕获多个图像。通过从多个所捕获图像中剪辑图像并且将所剪辑的图像连接在一起来生成广角合成图像。通过基于在主题的多个位置处，例如在将所剪辑图像连接在一起的方向上的多个位置处所测量的到主题的距离的距离信息来校正由不同的距离所引起的全景图像中主题的图像失真。当合成图像被缩小时，当距离信息从最长距离开始变短时，合成图像的缩小率增大。因合成图像的缩小所产生的没有图像信息的区域被转换成预定的图像。此外，通过去除没有图像信息的区域来从所缩小的合成图像中剪辑矩形图像。当合成图像被放大时，当距离信息从最短距离开始变长时，合成图像的放大率增大。在显示了图像的显示单元上，显示合成图像和失真已被校正的合成图像，使得可以选择合成图像的任一者。

本技术的另一实施例涉及图像处理方法，该图像处理方法包括通过从多个所捕获图像中剪辑图像并且将所剪辑的图像连接在一起来生成全景图像；以及通过基于通过测量到主题的多个位置的距离所获得的距离信息修饰该全景图像来校正由到该主题不同的距离所引起的全景图像中主题的图像失真。

本技术的另一实施例涉及用于使计算机执行图像处理以通过多个所捕获图像来生成广角全景图像的程序，该程序包括通过从多个所捕获图像中剪辑图像并且将所剪辑的图像连接在一起来生成全景图像；以及通过基于通过测量到主题的多个位置的距离所获得的距离信息修饰该全景图像来校正由到该主题不同的距离所引起的全景图像中主题的图像失真。

根据本技术实施例的程序是可以诸如光盘、磁盘、半导体存储器或任何其他记录介质中的计算机可读形式设置到能够执行各种程序的通用计算机，或通过诸如网络之类的通信介质设置的程序。一旦这样的程序以计算机可读形式设置，则根据该程序在计算机系统上执行处理。

根据本技术的实施例，通过从多个所捕获图像中剪辑图像并将所剪辑的图像连接在一起来生成合成图像。通过基于通过测量到主题的多个位置的距离所得到的距离信息来校正由不同的距离所引起的合成图像中主题的图像失真。因此，本技术的实施例使得能够生成其中由到成像装置的不同的距离所引起的图像失真已被校正的广角合成图像。

附图说明

图1A至图1D阐明了圆柱投影法；

图2示出了其中采用了图像处理器的成像装置的构造；

图3示出了具有相位差像素的CMOS固态成像设备的构造；

图4阐明了偏移量与散焦(defocus)量之间的关系；

图5是阐明其中采用了图像处理器的成像装置的操作的流程；

图6A及图6B阐明了当采用圆柱投影法时成像装置与主题之间的关系；

图7示出了成像装置与主题之间爱你的示例性距离；

图8示出了基于距离信息进行图像缩小的示例性缩小率；

图9A及图9B阐明了在处理单元中所执行的失真校正处理；

图10A至图10E阐明了在完成失真校正处理之后由处理单元所执行的图像处理；以及

图11是阐明其中采用了图像处理器的成像装置的其它操作的流程。

具体实施方式

现在，将描述本技术的实施例。将按照下列次序给出描述。

1.其中采用了图像处理器的成像装置的构造

2.其中采用了图像处理器的成像装置的操作

3.其中采用了图像处理器的成像装置的其它操作

<1.其中采用了图像处理器的成像装置的构造>

图2阐明了其中采用了根据本技术实施例的图像处理器的成像装置10的构造。成像装置10包括成像透镜单元11、成像设备12、成像设备驱动单元13、预处理单元14、相机DSP(数字信号处理)部20、存储器单元41、显示单元42、记录介质43、系统控制单元50和操作单元51。

成像透镜单元11充当成像光学系统，用以将来自主题的光导向成像设备12。成像透镜单元11包括用于调整形成在成像设备12的成像表面上的光学图像的焦点的聚焦透镜和用于缩放光学图像的变焦透镜。

成像设备12被构造为具有诸如CMOS(互补金属氧化物半导体)或CCD(电荷耦合设备)等等之类的固态成像设备。成像设备12根据通过成像透镜单元11形成在受光表面上的光学图像来生成成像信号，并且将所生成的成像信号输出到预处理单元14。

成像设备驱动单元13生成驱动信号并将该驱动信号供给成像设备12，以使成像设备12生成并输出成像信号。

预处理单元14通过对成像设备12所供给的成像信号执行校正双向采样(CDS)、模拟放大、模数(A/D)转换等等来生成图像数据，并将所生成的图像数据输出到相机DSP部20。

在下述系统控制单元50的控制下，相机DSP部20执行以下处理，包括记录并再现从预处理单元14输出的图像数据，基于该图像数据显示图像，并且生成广角合成图像，即全景图像。存储器单元41被连接到相机DSP部20，并充当执行各种处理的相机DSP部20的工作空间。

相机DSP部20包括相机信号处理单元21、存储器控制单元22、透镜控制单元23、分辨率转换单元24、显示控制单元25、编译码器单元26、介质控制单元27、主题距离测量单元28、合成处理单元29和处理单元30。相机DSP部20中的这些单元通过内部线31彼此连接。

相机信号处理单元21对预处理单元14所供给的图像数据执行白平衡调整、γ校正和其它处理。相机信号处理单元21从该图像数据中检测孔径校正和自动对焦调整所必需的信息，并将所检测到的信息输出到透镜控制单元23。

存储器控制单元22控制数据写入存储器单元41或从存储器单元41读取数据。存储器控制单元22将相机DSP部20的各单元所供给的图像数据和编码数据写入存储器单元41，并且从存储器单元41中读取图像数据和编码数据，并且将所读取的数据输出到相机DSP部20的各单元。

基于从相机信号处理单元21所获得的信息和来自下述系统控制单元50的控制信号，透镜控制单元23驱动成像透镜单元11控制自动对焦、变焦、孔径等等。

分辨率转换单元24使存储在存储器单元41中的图像数据或从相机信号处理单元21输出的图像数据的分辨率发生转换。例如，分辨率转换单元24将经受了相机信号处理的图像数据转换成与显示单元42的显示分辨率相对应的图像数据。分辨率转换单元24也将图像数据转换成由用户所标识的分辨率，使得该数据能够被记录在记录介质43中。此外，分辨率转换单元24修剪所捕获图像的区域，并且执行与其分辨率转换有关的处理，以生成经受了电子变焦或再现变焦的图像数据。

显示控制单元25利用分辨率转换单元24所供给的图像数据和/或存储在存储器单元41中的图像数据来驱动显示单元42，以在成像操作过程中显示监控器图像、记录在存储器单元41中的图像和/或记录在记录介质43中的图像。显示控制单元25也使显示单元42显示菜单，用以选择安装在成像装置10上的功能和成像装置10的设定状态。

编译码器26压缩图像数据并将所得到的被编码数据输出到存储器控制单元22和/或介质控制单元27以将被编码数据记录在存储器单元41和/或记录介质43中。编译码器26也对从存储器单元41和/或记录介质43中所读取的被编码数据进行解压，并且将所得到的图像数据输出到存储器控制单元22、显示控制单元25等等。为了对静止图像进行数据压缩和解压，应用了JPEG(joint photographic coding experts group，联合图像专家组)方案。为了对运动图像进行数据压缩和解压，应用了使用诸如ISO/IEC JTC1/SC29WG11的MPEG1(motion picture experts group 1，运动图像专家组1)、MPEG2(运动图像专家组2)或MPEG 4(运动图像专家组4)、ITU-T的H.263或H.264/MPEG4-AVC(advanced videocoding，高级视频编码)等等之类的运动向量的数据压缩方案。

存储器控制单元22控制数据写入存储器单元41或从存储器单元41读取数据。存储器控制单元22将相机DSP部20的各单元所供给的图像数据和编码数据写入存储器单元41，并且相对于相机DSP部20的各单元读取并输出在存储器单元41中存储的图像数据和编码数据。

介质控制单元27控制数据写入记录介质43或从记录介质43中读取数据。介质控制单元27将相机DSP部20的各单元所供给的图像数据和编码数据写入记录介质43，并且读取并将存储在记录介质43中的图像数据和编码数据输出到相机DSP部20的各单元。

主题距离测量单元28通过测量到主题的多个位置的距离来生成距离信息。主题距离测量单元28将所生成的距离信息供给存储器单元41和/或记录介质43。只要主题距离测量单元28能够生成指示到主题的距离的距离信息，它就可以具备任何构造。例如，主题距离测量单元28可以通过基于来自使用了红外光或超声波等的距离传感器的传感器信号测量到主题的多个位置的距离来生成距离信息。主题距离测量单元28也可以通过使用成像装置的自动对焦功能来生成到聚焦透镜的焦点的距离信息。主题的多个位置的距离信息也可通过旋转成像装置10来生成。如在日本未审查专利申请公报No.2010-169709中所公开的，所捕获图像中的主题的多个位置的距离信息也可通过使用CMOS固态成像设备来生成，其中该CMOS固态成像设备具有用于通过瞳分割(pupil-dividing)来自主题的光来检测焦点的相位差像素。成像设备并不限于CMOS设备，并且可以具有具备相位差像素的任何构造。

图3示出了CMOS固态成像设备的构造，其中该CMOS固态成像设备具有用于通过瞳分割来自主题的光来检测焦点的相位差像素。成像设备12具有被构造为具有二极管的多个像素的二维矩阵。红色(R)像素121、绿色(G)像素122和蓝色(B)像素123被形成为具有不同光谱特性的滤色镜，诸如在各个像素的受光表面上以1∶2∶1的比率配置的红色(R)、绿色(G)和蓝色(B)滤色镜。相位差像素对(以下被称作自动对焦(AF)像素对)12f也被设置为通过瞳分割来自主题的光来见检测焦点。在图3中，R像素121、G像素122、B像素123和AF像素对12f中的虚线表示充当聚光镜的微透镜。

不具备瞳分割功能的R像素121和G像素122沿水平方向交替配置，形成了水平线L1，而B像素123和G像素122沿水平方向交替配置，形成了水平线L2。水平线L1和L2沿垂直方向交替配置，形成了Brayer阵列。

AF像素对12f沿水平方向重复配置，形成了AF线Lf。阴影区域为遮光部LS。多个如此构造的AF线Lf沿垂直方向配置在该线的预定数目的间隔处。在AF像素对12f中的第一AF像素12f-a处所获得的受光数据被称作A-系列数据，而在AF像素对12f中的第二AF像素12f-b处所获取的受光数据被称作B-系列数据。

当对A-和B-系列图像进行比较时，A-与B-系列图像沿AF线Lf(水平方向)的偏移(位移)量随散焦量的增加而增大。图4阐明了A-和B-系列图像之间的散焦量与偏移量之间的关系。在图4中，横轴表示B系列图像的重心位置相对于A系列图像的重心位置的差值(像素间距)，而纵轴表示散焦量(μm)。重心Xg的位置通过下列等式(1)来确定。在等式(1)中，例如，X₁-X_n表示AF线Lf左端的像素位置，而Y₁-Y_n表示第一和第二AF像素12f-a和12f-b在各个位置X₁-X_n处的输出值。

$\mathrm{Xg}=\frac{X_1{Y}_1+X_2{Y}_2+-----+X_n{Y}_n}{Y_1+Y_2+-----+Y_n}\&CenterDot;\&CenterDot;\&CenterDot;\left(1\right)$

如图4所示，一对图像重心位置之间的差值(间距)与散焦量(μm)成比例关系。该关系通过下列等式(2)来表达，其中DF(μm)为散焦量，且C(μm)为重心位置之间的差值。在等式(2)中，系数k表示斜率Gk(通过图4中的虚线来表示)，其可以在工厂试验中被提前确定。

DF＝k×C...  (2)

如上所述，可以计算从AF线Lf中的AF像素对12f中所获得的A-与B-系列数据的重心位置之间的差值(相位差)C，并且可以通过等式(2)计算散焦量DF。基于所计算的散焦量DF，计算到主题的距离。由于AF像素对12f分布在成像表面上，所以可以计算到成像范围内多个点处的主题的距离。

返回到图2，合成处理单元29通过使用从相机信号处理单元21和/或存储器单元41读取的多个所捕获图像的图像数据，或编译码器单元26所供给的多个所捕获图像的图像数据来生成用于全景图像的图像数据。为了生成用于全景图像的图像数据，从多个所捕获图像中剪辑图像，并且使所剪辑的图像彼此连接。

处理单元30通过基于由主题距离测量单元28所生成的距离信息修饰全景图像来校正由不同的距离所引起的全景图像中主题的图像失真。当由于失真校正的结果而产生没有图像信息的区域时，处理单元30将没有图像信息的区域转换成预定的图像。

显示单元42被构造为具有液晶显示器或有机EL显示器等等。在显示控制单元25的控制下，显示单元42显示菜单，用以选择安装在成像装置10中的功能、成像装置10的设定状态、所捕获图像和/或所再现图像等。

记录介质43可以是半导体记录卡、或用于磁或光记录和再现的盘状记录介质等。记录介质43记录由编译码器单元26等生成的编码数据。

操作单元51被连接到系统控制单元50。操作单元51具有被设置在成像装置10上的操作开关或按钮、被设置在显示单元42的显示屏上的触摸面板等等，并且响应于用户操作将操作信号输出到系统控制单元50。

系统控制单元50包括CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等等。系统控制单元50读取存储在ROM中的程序并在CPU中执行它们以基于操作信号来控制各个单元的操作，使得成像装置10响应于用户操作来运作。程序可通过诸如因特网之类的网络来安装，从而替代预先被安装在成像装置10中。程序也可被设置在诸如记录卡、光盘和磁盘之类的各种记录介质中。

<2.其中采用了图像处理器的成像装置的操作>

图5是阐明其中采用了根据本技术实施例的图像处理器的成像装置的操作的流程图。在图5所示的操作中，成像装置在生成全景图像之前生成距离信息。

在步骤ST1中，成像装置10接收用户操作。成像装置10接收在操作单元51上被执行的用户操作，并且前行到步骤ST2。

在步骤ST2中，成像装置10判断所接收的用户操作是否指示全景成像。当所接收的用户操作指示全景成像时，成像装置10前行到步骤ST3。当所接收的用户操作没有指示全景成像时，成像装置10前行到步骤ST15以执行响应于该用户操作的处理，并接着返回到步骤ST1。

在步骤ST3中，成像装置10生成距离信息。当成像装置10在固定位置处旋转时，它在生成多个多捕获图像之前，在主题距离测量单元28中生成主题的多个位置的距离信息，并接着前行到步骤ST4。

在步骤ST4中，成像装置10判断是否成功地生成了距离信息。当通过主题距离测量单元28生成距离信息时，成像装置10前行到步骤ST5；当未生成距离信息时，成像装置10前行到步骤ST14。

在步骤ST5中，成像装置10存储距离信息。成像装置10例如将所生成的距离信息存储在存储器单元41中，并接着前行到步骤ST6。

在步骤ST6中，成像装置10生成所捕获图像。成像装置10采用圆柱投影法来捕获多个图像。更具体而言，通过在固定位置处旋转成像装置来生成用于生成全景图像的多个所捕获图像的图像数据，并且将所生成的图像数据例如存储在存储器单元41中，接着处理前行到步骤ST7。通过在固定位置处旋转成像装置来生成用于生成全景图像的多个所捕获图像的图像数据导致所捕获的图像通过采用圆柱投影法生成。

在步骤ST7中，成像装置10判断成像是否成功。当成功地生成用于生成全景图像的多个所捕获图像时，成像装置10前行到步骤ST8。当由于成像装置10旋转太快并且当将一个所捕获图像连接到下一所捕获图像时主题部分丢失，或者由于例如成像操作中途停止而未能成功地生成多个所捕获图像时，成像装置10前行到步骤ST14。

在步骤ST8中，成像装置10生成全景图像。成像装置10中的合成处理单元29使用多个所捕获图像的图像数据，即通过剪辑来自多个所捕获图像的图像并且将所剪辑的图像连接在一起来生成用于全景图像的图像数据。成像装置10将所生成的用于全景图像的图像数据例如存储在存储器单元41中，并接着前行到步骤ST9。

在步骤ST9中，成像装置10基于距离信息执行主题分析处理。基于所存储的距离信息，成像装置10分析全景图像中的主题以判断该主题是否位于如图1C所示的不同的距离处，并接着前行到步骤ST10。

在步骤ST10中，成像装置10判断主题是否位于距成像装置10的不同的距离处。当全景图像中的主题位于距成像装置10的不同的距离处时，成像装置10前行到步骤ST11；当主题位于距成像装置10的恒定距离处时，成像装置10前行到步骤ST12。

在步骤ST11中，成像装置10基于距离信息执行失真校正。成像装置10中的处理单元30基于距离信息来对全景图像执行失真校正处理，并接着前行到步骤ST12。下面将具体描述基于距离信息的失真校正处理。

在步骤ST12中，成像装置10执行填补(padding)处理。如果由于基于距离信息的失真校正处理而产生了没有图像信息的填补区域，则成像装置10中的处理单元30将该填补区域转换成预定的图像，并接着前行到步骤ST13。

在步骤ST13中，成像装置10存储全景图像。成像装置10将已经经受了失真校正和/或填补处理的全景图像存储在例如存储器单元41和/或记录介质43中。如果在全景图像被存储之前，全景图像的图像数据被编译码器单元压缩并编码，则可以减小所存储的全景图像的数据大小。

在步骤ST14中，成像装置10给出误差指示。当没有成功生成全景图像或者未能基于记录信息成功校正失真时，成像装置10在显示单元42上显示误差指示。

图5阐明了其中采用了根据本技术实施例的图像处理器的成像装置的示例性操作。在本流程中，步骤ST1、ST2和ST12-ST15可被本实施例的图像处理器忽略。

现在将描述基于距离信息的失真校正处理。图6A和图6B示出了当采用圆柱投影法时成像装置与主题之间的距离。当在如图6A所示的固定位置处旋转成像装置10时，成像装置10与大平面状主题60之间的距离LM沿旋转方向发生了如图6B所示的变化，其中旋转方向是将所剪辑图像连接在一起以形成全景图像的方向。成像装置10可通过将成像装置的自身位置用作旋转轴(如图6A所示)而在固定位置处旋转或可通过在固定位置处旋转保持成像装置的用户的身体来旋转。

图7阐明了成像装置10与主题60在位置PS0-PS10处的距离LM。例如，在位置PS0处，该距离为10，并且当成像装置10的成像方向朝向主题60的中心移动时，该距离减小，在位置PS5处变为5。当成像装置10的成像方向进一步朝向主题60的右端移动时，该距离会进一步增加，并且在PS10处变为10。在图6A至图8中，D1-D10表示距位置PS0的距离。

处理单元30通过基于距离信息修饰，即缩小或放大图像来校正由不同的距离所引起的图像失真。当基于距离信息缩小图像时，当距离LM从最长距离LM(max)开始变短时，处理单元30通过自最长距离LM(max)处位置的缩小率100％(无缩小)开始增加缩小率来校正由不同的距离所引起的图像失真。缩小率比通过下列等式(3)来设定：

n＝LM/LM(max)×100％...  (3)

图8阐明了基于距离信息来缩小图像的缩小率n。位置PS0位于最远点处，即最长距离LM(max)(＝10)处，所以缩小比为100％(无缩小)。当距离LM缩短时，缩小比被增大以缩小图像。位置PS5位于最短渐露LM(min)(＝5)处，缩小比为LM(min)/LM(max)×100％＝50％。当距离增加时，缩小比减小，并且在位于最长距离LM(max)的位置PS10处变为100％。

图9A及图9B阐明了在处理单元30中被执行的失真校正处理。处理单元30通过基于距离信息使全景图像缩小根据到主题的距离所确定的缩小比来校正图像失真。例如，通过推导下列等式(4)中的计算，使图像根据到主题的距离而缩小来生成如图9B所示的图像失真已被校正的全景图像，其中“Sh”是与全景图像的纵向正交的方向上的图像尺寸，如图9A所示，

SCh＝n×Sh...  (4)

图10A至图10E阐明了在失真被校正之后由处理单元30执行的图像处理。在处理单元30通过缩小图像校正了失真之后，生成了如图10A所示的没有图像信息的填补区域PA(阴影区域)。处理单元30将该填补区域转换成预定的图像。处理单元30利用例如，如图10B所示的预定色彩CP填充该填补区域。此外，处理单元30可修饰与该填补区域PA邻接的区域中的图像，并将所修饰的图像粘贴到填补区域PA。

相反，处理单元30可从如图10C所示的失真已被校正的全景图像中剪辑除了填补区域PA以外的矩形局域PB，并且将所剪辑的矩形区域PB用作如图10D所示的全景图像。

此外，当距离信息从最短距离开始变长时，处理单元30可通过增加全景图像的放大率来生成失真已被校正的全景图像。在此情况下，等式(3)中的n表示放大率，其中LM(max)被LM(min)替代。

当全景图像随到主题的距离而缩小时，远离成像装置10的部分的图像质量维持在失真已被校正的整个全景图像中。另一方面，当全景图像随到主题的距离而放大时，靠近成像装置10的部分的图像质量维持在失真已被校正的整个全景图像中。

以此方式，通过根据距离信息缩小或放大全景图像来校正由到成像装置的不同的距离所引起的图像失真。因此，可以容易地生成其中具有未失真主题图像的全景图像。

在图5所示的操作中，距离信息在执行成像操作之前被获取；如果使用了如上所述的CMOS固态成像设备，则可以在生成所捕获图像的图像数据的同时生成距离信息。

<3.其中采用了图像处理器的成像装置的其它操作>

现在参考图11中的流程，将描述其中采用了根据本技术实施例的图像处理器的成像装置的其它操作。在此情况下，在采用圆周投影法生成多个所捕获图像的图像数据的同时生成了距离信息。

在步骤ST21中，成像装置10接收用户操作。成像装置10接收在操作单元51上被执行的用户操作，并且前行到步骤ST22。

在步骤ST22中，成像装置10判断所接收的用户操作是否指示全景成像。当所接收的用户操作指示全景成像时，成像装置10前行到步骤ST23。当所接收的用户操作没有指示全景成像时，成像装置10前行到步骤ST35以执行响应于该用户操作的处理，并接着返回到步骤ST21。

在步骤ST23中，成像装置10生成所捕获的图像。在生成一个所捕获图像之后，成像装置10前行到步骤ST24。

在步骤ST24中，成像装置10生成距离信息。成像装置10根据到在步骤ST23中所成像的主题的距离，在主题距离测量单元28中生成距离信息，并接着前行到步骤ST24。

在步骤ST25中，成像装置10存储所捕获的图像和距离信息。成像装置10将在步骤ST23中所生成的所捕获图像的图像数据和在步骤ST24中所生成的距离信息例如存储在存储器单元41中，并接着前行到步骤ST26。

在步骤ST26中，成像装置10判断成像是否结束。当判断成像已经结束时，成像装置10前行到步骤ST27。当判断成像还没有结束时，成像装置10返回到步骤ST23以生成另一旋转位置处的所捕获图像。例如，当用户执行了快门停止操作，或当已经生成了预订数目的所捕获图像时，或者当成像装置10的旋转运动完成时，成像装置10判断成像已经结束。通过在固定位置处旋转成像装置来生成用于生成全景图像的多个所捕获图像的图像数据导致所捕获的图像通过采用圆柱投影法生成。

在步骤ST27中，成像装置10判断成像是否成功。当成功地生成用于生成全景图像的多个所捕获图像时，成像装置10前行到步骤ST28。当由于成像装置10旋转太快并且当将一个所捕获图像连接到下一所捕获图像时主题部分丢失，或者由于例如成像操作中途停止而未能成功地生成多个所捕获图像时，成像装置10前行到步骤ST34。

在步骤ST28中，成像装置10生成全景图像。成像装置10中的合成处理单元29使用多个所捕获图像的图像数据，即通过剪辑来自多个所捕获图像的图像并且将所剪辑的图像连接在一起来生成用于全景图像的图像数据。成像装置10将所生成的用于全景图像的图像数据例如存储在存储器单元41中，并接着前行到步骤ST29。

在步骤ST29中，成像装置10基于距离信息执行主题分析处理。基于所存储的距离信息，成像装置10分析全景图像中的主题以判断该主题是否位于不同的距离处，并接着前行到步骤ST30。

在步骤ST30中，成像装置10判断主题是否位于距成像装置10的不同的距离处。当全景图像中的主题位于距成像装置10的不同的距离处时，成像装置10前行到步骤ST31；当主题位于距成像装置10的恒定距离处时，成像装置10前行到步骤ST32。

在步骤ST31中，成像装置10基于距离信息执行失真校正。成像装置10中的处理单元30基于距离信息来对全景图像执行失真校正处理，并接着前行到步骤ST32。

在步骤ST32中，成像装置10执行填补(padding)处理。如果由于基于距离信息的失真校正处理而产生了没有图像信息的填补区域，则成像装置10中的处理单元30将该填补区域转换成预定的图像，并接着前行到步骤ST33。

在步骤ST33中，成像装置10存储全景图像。成像装置10将已经经受了失真校正和/或填补处理的全景图像例如存储在存储器单元41和/或记录介质43中。如果在全景图像被存储之前，用于全景图像的图像数据被编译码器单元压缩并编码，则可以减小所存储的全景图像的数据大小。

在步骤ST34中，成像装置10给出误差指示。当成像装置10没有生成全景图像或者未能基于记录信息成功地校正失真时，成像装置10在显示单元42上显示误差指示。

图11阐明了其中采用了根据本技术实施例的图像处理器的成像装置的示例性操作。在本流程中，步骤ST21、ST22和ST32-ST35可被本实施例的图像处理器忽略。

由于可以在生成所捕获图像的同时生成距离信息，所以可以更容易且更快速地生成其中由到成像装置的不同的距离所引起的图像失真已被校正的全景图像。

本说明书中所描述的处理次序可通过硬件、软件或其集合来实施。当该处理由软件实施时，其中记录了处理次序的程序被安装在计算机(被建立在专用硬件中)的存储器中，并且由该计算机执行。该程序可安装在能够执行各种处理的通用计算机中，并由其执行。

该程序可被记录在诸如硬盘或ROM(只读存储器)之类的记录介质中。此外，该程序可被暂时或永久存储(记录)在诸如柔性盘、CD-ROM(只读存储型光盘)、MO(磁光)盘、DVD(数字通用光盘)磁盘或半导体存储器之类的可移动记录介质中。这样的可移动记录介质可被设置为套装软件。

除了从上述可移动记录介质安装到计算机之外，该程序可通过从下载站点到计算机的无线连接来传输，或通过诸如LAN(局域网)或因特网之类的网络到计算机的有线连接来传输。该计算机可接收所传输的程序，并将其安装在诸如内置硬盘等等之类的记录介质中。

在上面的实施例中，失真在成像时被校正；相反，可以在再现全景图像的同时响应于用户指示来校正失真。此外，未被校正的全景图像和相应的已被校正的全景图像可显示在显示单元42上，以通过操作单元51上的用户操作对其进行选择，并且可记录所选择全景图像的图像数据。显示单元42可被构造为只具有将被校正的全景图像显示在显示单元42上的功能。此外，未被校正的全景图像和已被校正的全景图像的图像数据均可被记录在存储器单元41和/或记录介质43中。

距离信息和图像信号可被彼此独立地记录，或者距离信息可包含在图像信号文件中。例如，距离信息可包含在Exif文件的标签中。

在上述实施例中，图像处理器被应用在成像装置中。此外，成像装置和信号处理器可彼此独立地构造。在此情况下，成像装置将采用圆柱投影法来生成多个所捕获图像，并且根据到主题的距离来生成距离信息。另一方面，图像处理器将通过使用由成像装置生成的所捕获图像的图像数据和距离信息来生成全景图像并校正失真。

本技术的实施例仅通过示例的方式公开了本技术，并且可以在不脱离本技术范围和本质的情况下对这些实施例作出各种修饰和替代，这对本领域技术人员是显而易见的。也就是说，本技术的实质应根据本技术的实施例来判断。

本技术也可采用下列构造的任一者：

(1)图像处理器包括：

合成处理单元，该合成处理单元通过从多个所捕获图像中剪辑图像并且将所剪辑的图像连接在一起来生成合成图像；以及

处理单元，该处理单元通过基于通过测量到多个主题未知的距离所获得的距离信息修饰全景图像来校正由到主题的不同的距离所引起的全景图像中主题的图像失真。

(2)根据项目(1)的图像处理器，其中多个所捕获图像通过采用圆柱投影法捕获图像来生成。

(3)根据项目(1)或(2)的图像处理器，其中多个所剪辑图像布置在将所剪辑图像连接在一起的方向上。

(4)根据项目(1)至(3)任一项的图像处理器，其中处理单元基于距离信息，根据到主题的距离，通过缩小或放大全景图像来校正图像失真。

(5)根据项目(4)的图像处理器，其中当距离信息从最长距离开始变短时，处理单元增大全景图像的缩小率。

(6)根据项目(4)或(5)的图像处理器，其中处理单元将因全景图像的缩小所产生的、没有图像信息的区域转换成预定的图像。

(7)根据项目(4)或(5)的图像处理器，其中处理单元从所缩小的全景图像中剪辑除了因全景图像的缩小所产生的、没有图像信息的区域之外的矩形图像。

(8)根据项目(4)的图像处理器，其中当距离信息从最短距离开始变长时，处理单元增大全景图像的放大率。

(9)根据项目(1)至(8)任一项的图像处理器，包括：

显示单元，该显示单元适于显示图像；

其中全景图像和失真已被校正的全景图像显示在显示单元上，使得能够选择全景图像的一者。

在本申请包含于2011年3月22日向日本特许厅递交的日本在先专利申请JP2011-062175涉及的主题，在此通过引用将其全部内容包含在本说明书中。

Claims (11)

1.一种图像处理器，所述图像处理器包括：

合成处理单元，所述合成处理单元通过从多个所捕获图像中剪辑图像并且将所剪辑的图像连接在一起来生成全景图像；以及

处理单元，所述处理单元适于通过基于通过测量到主题的多个位置的距离所获得的距离信息修饰所述全景图像来校正由到所述主题的距离的不同所引起的全景图像中主题的图像失真。

2.根据权利要求1所述的图像处理器，其中通过采用圆柱投影法使所述主题成像来生成所述多个所捕获图像。

3.根据权利要求1所述的图像处理器，其中所述多个位置沿将所剪辑图像连接在一起的方向布置。

4.根据权利要求1所述的图像处理器，其中所述处理单元基于所述距离信息，根据到所述主题的距离，通过缩小或放大所述全景图像来校正所述图像失真。

5.根据权利要求4所述的图像处理器，其中当所述距离信息从最长距离变短时，所述处理单元增加所述全景图像的缩小率。

6.根据权利要求5所述的图像处理器，其中所述处理单元将因所述全景图像的缩小所产生的没有图像信息的区域转换成预定的图像。

7.根据权利要求5所述的图像处理器，其中所述处理单元从所缩小的全景图像中剪辑除了因所述全景图像的缩小所产生的没有图像信息的区域之外的矩形图像。

8.根据权利要求4所述的图像处理器，其中当所述距离信息从最短距离变长时，所述处理单元增加所述全景图像的放大率。

9.根据权利要求1所述的图像处理器，包括：

显示单元，所述显示单元适于显示图像；

其中所述全景图像和所述失真已被校正的全景图像被显示在所述显示单元上以使得能够对全景图像的一者进行选择。

10.一种图像处理方法，所述图像处理方法包括：

通过从多个所捕获图像中剪辑图像并且将所剪辑的图像连接在一起来生成全景图像；并且

通过基于通过测量到主题的多个位置的距离所获得的距离信息修饰所述全景图像来校正由到所述主题的距离的不同所引起的全景图像中主题的图像失真。

11.一种用于使计算机执行图像处理以通过从多个所捕获图像来生成广角全景图像的程序，所述程序包括以下步骤：

通过从多个所捕获图像中剪辑图像并且将所剪辑的图像连接在一起来生成全景图像；并且

通过基于通过测量到主题的多个位置的距离所获得的距离信息修饰所述全景图像来校正由到所述主题的距离的不同所引起的全景图像中主题的图像失真。

Images