CN102694973B

CN102694973B - 摄像设备

Info

Publication number: CN102694973B
Application number: CN201210078223.0A
Authority: CN
Inventors: 小泉达朗
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-03-22
Filing date: 2012-03-19
Publication date: 2015-04-01
Anticipated expiration: 2032-03-19
Also published as: US20120242870A1; JP2012199805A; US8860852B2; JP5704984B2; CN102694973A

Abstract

本发明提供一种摄像设备。拍摄单元从对象获取具有彼此不同的特性的图像数据。图像生成器计算表示由所述拍摄单元获取的图像数据表示的图像之间的位置偏移的偏移量，并且生成多通道图像的图像数据，在所述多通道图像中，已经使用所述偏移量校正由所述拍摄单元获取的图像数据表示的图像之间的位置偏移。所述拍摄单元中的各个拍摄单元包括具有所述拍摄单元专有的拍摄特性的拍摄元件和具有多个拍摄单元共同的拍摄特性的拍摄元件。所述图像生成器从具有共同拍摄特性的拍摄元件获取的图像数据计算所述偏移量。

Description

摄像设备

技术领域

本发明涉及摄像设备，并且尤其涉及生成多通道(multi-channel)图像的图像数据的摄像设备。

背景技术

彩色摄像设备，如数字照相机，经由具有周期性布置的颜色滤波器的拍摄装置上的成像光学系统形成对象图像，并且通过光电转换和模拟-数字(AD)转换生成数字图像数据。一般来说，使用红(R)、绿(G)、蓝(B)三个颜色的颜色滤波器。拍摄装置的灵敏度特性对于所有像素是一致的。所获得的图像的颜色信息局限于这三种颜色，并且甚至色调信息也局限于拍摄装置的灵敏度特性规定的范围。

当获得颜色信息和色调信息受限的图像时，用户可能想要更精确地获取对象信息或者在图像编辑中增加调节的自由度。因为这些原因，用于获取具有大量颜色信息和色调信息的图像的需求增加。

为了满足该需求，有如下一种技术：在切换具有不同光谱透射特性的多个颜色滤波器的同时，通过使用单色照相机进行多次拍摄来获取更大量的颜色信息(例如，S.Tominaga，″Spectral imaging by a multi-channelcamera″，Journal of Electronic Imaging，Vol.8，No.4，pp.332-341，October，1999)。注意，由此获得的具有大量颜色信息的图像将被称为多带(multi-band)图像。

还有如下一种技术：在改变曝光的同时通过进行多次拍摄来获取比拍摄装置的限度宽的动态范围的信息(例如，文献1：Paul E.Debevec et al.，″Recovering high dynamic range radiance maps from photographs″，ACMSIGGRAPH 2008 classes，August 11-15，2008)。将所获得的多个图像合成为具有宽动态范围的一个图像的技术将被称为高动态范围合成。

然而，上述技术需要麻烦的多次拍摄操作，并且不能处理运动对象。

相反地，日本专利特开2009-278577号公报(文献2)公开了如下一种技术：针对要获取的各个颜色准备照相机并且在拍摄之后合并由这些照相机拍摄的图像以获得彩色图像。该技术需要用于获取颜色信息的多个照相机，但是能够获取多带图像。日本专利特开2002-171430号公报(文献3)公开了如下一种方法：准备灵敏度特性不同的多个照相机并且在拍摄之后对这些照相机拍摄的图像进行高动态范围合成。

文献2和3中公开的技术需要在合并由多个照相机拍摄的图像时进行图像之间的对准。然而，由于要对准的多个图像由颜色或灵敏度特性不同的多个照相机拍摄，因此无法获得高的对准精度。

发明内容

一方面，提供一种摄像设备，所述图像设备包括：多个拍摄单元，用于从对象获取具有彼此不同的特性的图像数据；计算器，其被配置为计算指示由所述多个拍摄单元获取的图像数据表示的图像之间的位置偏移的偏移量；以及生成器，其被配置为生成多通道图像的图像数据，在所述多通道图像中，使用所述偏移量校正了由所述多个拍摄单元获取的图像数据表示的图像之间的位置偏移，其中，所述多个拍摄单元中的各个拍摄单元包括具有所述拍摄单元专有的拍摄特性的拍摄元件、和具有所述多个拍摄单元共同的拍摄特性的拍摄元件，并且其中，所述计算器由具有所述共同拍摄特性的拍摄元件获取的图像数据计算所述偏移量。

另一方面，提供一种摄像设备，所述摄像设备包括：多个拍摄部，用于从对象获取具有彼此不同的特性的图像数据；计算器，其被配置为计算指示由所述多个拍摄部获取的图像数据表示的图像之间的位置偏移的偏移量；以及生成器，其被配置为生成多通道图像的图像数据，在所述多通道图像中，使用所述偏移量校正了由所述多个拍摄部获取的图像数据表示的图像之间的位置偏移，其中，所述多个拍摄部中的各个拍摄部包括具有该拍摄部和另一个拍摄部共同的拍摄特性的拍摄元件，并且包括具有该拍摄部和再另一个拍摄部共同的拍摄特性的拍摄元件，并且其中，所述计算器重复从具有所述共同拍摄特性的拍摄元件获取的图像数据计算由包括具有所述共同拍摄特性的拍摄元件的两个拍摄部获取的图像数据表示的图像之间的偏移量的处理，并且累积所述偏移量，从而计算一个拍摄部获取的图像数据的图像相对于另一个拍摄部获取的图像数据的基准图像的偏移量。

根据这些方面，当生成多通道图像的图像数据时能够提高图像之间的对准精度。

通过以下参照附图对示例性实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是用于说明合成由不同照相机拍摄的图像的方法的视图。

图2是用于说明合成由不同照相机拍摄的图像的另一方法的视图。

图3A和图3B是用于说明根据实施例的摄像设备的外观的示意图。

图4是用于说明根据实施例的摄像设备的配置的框图。

图5是用于说明根据实施例的摄像设备的摄像处理的流程图。

图6是用于说明拍摄单元的配置的框图。

图7是用于说明滤波器的配置的视图。

图8是用于说明图像生成器的配置的框图。

图9是用于说明图像生成器的处理的流程图。

图10是用于说明颜色像素的布置的视图。

图11是用于说明图像之间的位置偏移量的计算方法的流程图。

图12是用于说明根据第二实施例的滤波器的配置的视图。

图13是示出根据第二实施例的对准像素的排列的视图。

图14是用于说明根据第三实施例的滤波器的配置的视图。

图15是用于说明根据第三实施例的图像生成器的配置的框图。

图16是用于说明图像生成器的处理的流程图。

具体实施方式

现在，参照附图详细说明根据本发明的摄像设备的优选实施例。

[概述]

将参照图1说明合成由不同照相机拍摄的图像的方法。图1示出准备两个照相机101和102拍摄对象107的例子。

照相机101包括成像光学系统103和拍摄装置105，照相机102包括成像光学系统104和拍摄装置106。拍摄装置105和106对入射光的拍摄特性(颜色特性或灵敏度特性)不同。由拍摄装置105和106拍摄的图像(被称为通道图像)被叠加以生成图像。

照相机101拍摄通道图像108，照相机102拍摄通道图像109。这两个通道图像被对准。基于该结果，通道图像108和109被叠加以生成图像110。

一般的对准假定与对象的同一点相对应的图像上的点在对准的图像之间具有相同的像素值。然而，对于通道图像108和109来说，该假定不成立，因为它们由具有不同拍摄特性的拍摄装置获取。结果，对准精度下降。

将参照图2说明合成由不同照相机拍摄的图像的另一方法。与图1类似，图2示出准备两个照相机201和202拍摄对象207的例子。

照相机201包括成像光学系统203和拍摄装置205，照相机202包括成像光学系统204和拍摄装置206。与图1的配置不同，拍摄装置205和206中的各个包括两种类型的拍摄元件。一种拍摄元件(被称为共同元件)具有拍摄装置205和206共同的拍摄特性。另一种拍摄元件(被称为专有元件)具有拍摄装置205或206专有的拍摄特性，即，对入射光的颜色特性或灵敏度特性不同的拍摄特性。注意，成像光学系统203和204具有相同或几乎相同的光学特性。

照相机201和202使用共同元件拍摄图像209和210(被称为共同图像)，并且使用专有元件拍摄通道图像208和211。使用共同图像209和210进行对准，并且基于该结果叠加通道图像208和211以生成图像212。基于共同图像的对准能够防止对准精度下降，并且能够通过高精度的对准生成图像212。

尽管为了简便起见，在图1和图2中说明了使用两个照相机的例子，但是可以使用更多数量的照相机拍摄多通道图像。

第一实施例

将说明拍摄多通道图像的例子。

[摄像设备的配置]

将参照图3A和图3B的示意图描述根据实施例的摄像设备的外观。图3A示出了照相机主体301的正面(对象侧)，图3B示出了照相机主体301的背面。

照相机主体301的正面包括按矩阵方式布置并且对应于各通道的多个照相机305至313(被称为通道照相机)。照相机301的上面和背面包括快门按钮302、监视器303和操作单元304，操作单元304包括用于进行各种操作的按钮和转盘。用户根据显示在监视器303上的用户界面(UI)操作操作单元304以设置拍摄条件等，并且按下快门按钮302以拍摄图像。用户可以将拍摄装置拍摄的图像、各通道照相机拍摄的图像、通过合成通道图像获得的图像等显示在监视器303上。具有多个通道照相机的摄像设备有时被称为“多眼照相机”。

图3A和图3B示出在摄像设备的正面上布置多个通道照相机(拍摄单元)的例子。然而，可以通过布置独立于摄像设备的多个拍摄单元以拍摄同一对象、并且将这些拍摄单元连接到摄像设备，来配置多个通道照相机。

将参照图4的框图说明根据实施例的摄像设备的配置。微处理器(CPU)412使用随机存取存储器(RAM)411作为工作存储器，执行存储在只读存储器(ROM)410中的操作系统(OS)和各种程序，并且经由系统总线422控制各构成部件(稍后描述)。

CPU 412控制计算机图形(CG)生成器418和显示控制器413以将UI显示在监视器303上，并且经由操作单元304和快门按钮302接收用户指令。根据用户指令，CPU 412进行拍摄参数(例如摄像时的焦距、f值和曝光时间)的设置，摄像以及所拍摄的图像的显示设置。注意，CG生成器418生成用于实现UI的数据，如文本和图形。

接口(I/F)416具有用于对介质417(例如存储卡或USB(通用串行总线)存储器)读/写的功能和连接到有线或无线计算机网络的功能。根据来自CPU 412的指令，I/F 416将存储在例如RAM 411中的各种数据输出到外部介质或服务器设备，并且从外部介质或服务器设备接收各种数据。

拍摄单元401至409对应于通道照相机305至313的各拍摄单元，稍后描述其细节。各拍摄单元包括具有共同元件和专有元件的拍摄装置。拍摄单元401至409根据由CPU 412设置的拍摄参数和来自CPU 412的拍摄指令拍摄通道图像。通过拍摄获取的各通道的图像数据被临时保持在拍摄单元401至409的内部缓冲器(未示出)中，并且在CPU 412的控制下顺次存储在RAM 411的预定区域中。代替RAM 411，可以利用连接到I/F 416的介质417作为各通道的图像数据的存储区域。

数字信号处理器419对拍摄单元401至409拍摄的通道图像的图像数据进行各种信号处理，如降噪处理和伽马处理。图像生成器420通过进行将由数字信号处理器419进行了信号处理的各通道图像对准的处理(被称为对准处理)，来生成多通道图像，稍后描述其细节。

显示图像生成器421执行将多通道图像转换为监视器303上可显示的显示图像的处理(被称为显示图像生成处理)。更具体来说，显示图像生成器421进行处理，如对各通道的伽马处理以及从多通道图像到R、G、B图像的转换，从而生成监视器303上可显示的(用户可观察的)图像。

CPU 412将显示图像生成器421生成的显示图像显示在监视器303上。用户观察显示在监视器303上的图像，并且可以判断是否已经正确拍摄多通道图像以及转换参数是否适当。

基于各通道的伽马值和诸如变换矩阵的转换参数执行处理：如对各通道的伽马处理以及从多通道图像到R、G、B图像的转换。转换参数预先存储在ROM 410中，从外部介质或服务器设备输入，或者由用户通过UI设置。用户可以通过参照显示在监视器303上的图像，来设置或调整(改变)转换参数，并且将从多通道图像生成的图像的色调设置或调整为期望的色调。

[摄像处理]

将参照图5的流程图描述根据本实施例的摄像设备的摄像处理。

CPU 412根据用户指令控制拍摄单元401至409，并且设置拍摄参数，如焦距、f值和曝光时间(步骤S501)。然后，CPU 412确定用户操作(步骤S502)。如果用户已经操作操作单元304，则CPU 412将处理返回到步骤S501。如果用户已经按下快门按钮302，则CPU 412指示拍摄单元401至409拍摄图像(步骤S503)。

在拍摄结束之后，CPU 412从拍摄单元401至409的缓冲存储器顺次读出图像数据。CPU 412控制数字信号处理器419对读出的图像数据进行信号处理，并且将进行了信号处理的图像数据存储在RAM 411中(步骤S504)。

CPU 412读出存储在RAM 411中的各通道图像的图像数据。CPU 412控制图像生成器420通过将所读出的各通道图像的图像数据对准，来生成多通道图像。CPU 412将所生成的多通道图像的图像数据存储在RAM411中(步骤S505)。在存储多通道图像的图像数据之后，CPU 412从RAM411删除各通道的图像数据。

CPU 412读出存储在RAM 411中的多通道图像的图像数据。CPU 412控制显示图像生成器421通过对所读出的多通道图像的图像数据进行显示图像生成处理，来生成显示图像(步骤S506)。CPU 412将所生成的显示图像的图像数据提供给显示控制器413，以将该图像显示在监视器303上(步骤S507)。

CPU 412确定用户指令。用户观察显示在监视器303上的图像，并且操作操作单元304以指定转换参数的改变，多通道图像的输出或擦除等。

如果用户指定转换参数的改变(步骤S508中的“是”)，则CPU 412将转换参数改变UI显示在监视器303上，并且接受转换参数的改变(步骤S509)。在改变结束之后，CPU 412将处理返回到步骤S506。注意，监视器303可以同时显示图像和转换参数改变UI，并且显示根据改变后的转换参数转换的图像。

如果用户指定多通道图像的输出(步骤S510中的“是”)，则CPU 412将存储在RAM 411中的多通道图像的图像数据经由I/F 416输出到介质417等(步骤S511)。之后，CPU 412从RAM 411擦除多通道图像的图像数据(步骤S513)。

如果显示在监视器303上的图像不是期望的图像，例如，对象不完整，图像散焦，出现过度曝光或曝光不足，或者即使调节转换参数也不能获得想要的色调，则用户指定擦除多通道图像(步骤S512)。在此情况下，CPU 412从RAM 411擦除多通道图像的图像数据(步骤S513)。

在擦除多通道图像的图像数据之后，CPU 412将处理返回到步骤S501。当输出多通道图像的图像数据时，在预设的输出条件下，除了多通道图像的图像数据以外，还能够输出显示图像的图像数据以及转换参数。

[拍摄单元]

将参照图6的框图说明拍摄单元401至409的配置。图6示出拍摄单元401的配置，其余的拍摄单元402至409也具有相同的配置。

从对象传来的光通过变焦镜头601、聚焦镜头602、光圈603、快门604、光学低通滤波器605、红外截止(infrared cut)滤波器606以及滤波器607，并且在拍摄装置608(例如CMOS传感器或电荷耦合器件(CCD))上形成图像。模拟-数字转换器(A/D转换器)609对从拍摄装置608输出的信号进行A/D转换。缓冲器610临时存储从A/D转换器609输出的数字数据。

控制器611根据从CPU 412提供的拍摄参数，控制变焦镜头601、聚焦镜头602和光圈603以设置变焦、焦距和f值。此外，控制器611根据来自CPU 412的指令，控制快门604和拍摄装置608以拍摄图像。响应于来自CPU 412的请求，控制器611将存储在缓冲存储器中的数字数据经由系统总线422传送到RAM 411。

将参照图7说明滤波器607的配置。图7示出与拍摄装置608的各拍摄元件相对应的滤波器607的各单元(cell)。Y单元是亮度拍摄滤波器，并且通过布置透明滤波器或不布置滤波器来实现。在拍摄单元401至409中，Y单元具有共同的特性。Y单元和拍摄元件的组合对应于“共同元件”。

Cn单元是颜色信息拍摄滤波器，并且具有受控的波长透射特性。也就是说，Cn单元是用于特定波长的拍摄滤波器。各拍摄单元包括例如在可见范围内透射波长特性不同的Cn单元。Cn单元和拍摄元件的组合对应于“专有元件”。代替在各拍摄单元中使用透射波长特性不同的滤波器，可以使用能够动态控制各拍摄元件的光谱灵敏度特性的拍摄装置在拍摄单元401至409中获取不同波长的光信息。

拍摄单元401至409在像素数量上相等。图像上与共同元件相对应的像素将被称为“对准像素”，与专有元件相对应的像素将被称为“颜色像素”。

[图像生成器]

将参照图8的框图说明图像生成器420的配置。

基准图像存储单元801经由系统总线422接收基准图像的图像数据，并且保持该图像数据。尽管基准图像是由任意拍摄单元获取的图像，但是将由拍摄单元401获取的图像描述作为基准图像。缓冲器802经由系统总线422接收除了基准图像以外的图像(被称为对准图像)的图像数据，并保持该图像数据。保持在基准图像存储单元801和缓冲器802中的图像数据可以被划分成对准像素和颜色像素。

偏移计算器803比较由基准图像的对准像素表示的图像与由对准图像的对准像素表示的图像，并且计算表示从基准图像到对准图像的位置偏移的偏移量。

重新采样单元804基于偏移量重新采样对准图像的颜色像素，使得对准图像的颜色像素与基准图像的颜色像素交叠。然后重新采样单元804将通过插值对准图像的颜色像素获得的一个通道的图像数据输出到多通道图像生成器805。对于基准图像，重新采样单元804输出通过简单插值颜色像素获得的一个通道的图像数据。

多通道图像生成器805接收从重新采样单元804输出的图像数据，并且将该图像数据保持作为一个通道的图像数据而不进行任何处理。在重新采样各通道的颜色像素结束之后，多通道图像生成器805将所保持的各通道的图像合并为一个数据，并且将该数据作为已经校正了各通道的图像之间的位置偏移的多通道图像输出到系统总线422。在本实施例中，由于拍摄单元401至409的Cn单元的透射波长特性不同，因此多通道图像是九个带的多带图像。

将参照图9的流程图描述图像生成器420的处理。图9中所示的处理对应于根据来自CPU 412的指令执行的处理(步骤S505)。

图像生成器420接收基准图像的图像数据(步骤S901)。由于将对准图像变形以与基准图像交叠，因此拍摄基准图像的拍摄单元的视点作为多通道图像的视点。然后，图像生成器420插值基准图像的颜色像素，并且缓存得到的图像数据作为一个通道的图像数据(步骤S902)。

将参照图10说明颜色像素的布置。提取与Cn单元相对应的颜色像素，获得如图10中所示的拍摄装置608的像素I(m，n)在X方向和Y方向上交替存在和不存在的图像。像素存在的位置由m+n＝2λ，λ∈N给出。通过插值处理计算位置m+n≠2λ，λ∈N处的像素值。位置m+n＝2λ，λ∈N位于旋转45°的正方格子上，并且位置m+n≠2λ，λ∈N位于该格子的中央。因此，能够通过条件表达式(1)给出的线性插值来插值像素：

if(m+n＝2λ，λ∈N)

I′(m，n)＝I(m，n)；

if(m+n≠2λ，λ∈N)

I′(m，n)＝{I(m-1，n)+I(m+1，n)+I(m，n-1)+I(m，n+1)}/4；

...(1)

尽管条件表达式(1)表示双线性插值处理，但是也可以通过诸如双三次方法的其它方法来进行插值处理。

之后，图像生成器420接收未对准的通道的图像数据作为对准图像(步骤S903)，并且计算对准图像和基准图像之间的偏移量(步骤S904)，稍后描述其细节。图像生成器420基于计算出的偏移量，重新采样对准图像的颜色像素，使得对准图像与基准图像交叠(步骤S905)，并且缓存通过重新采样生成的图像数据作为一个通道的图像数据(步骤S906)，稍后描述其细节。

图像生成器420判断是否所有通道的图像数据都已经被对准(步骤S907)。如果还有未对准的通道的图像数据，则图像生成器420将处理返回到步骤S903。如果已经对准所有通道的图像数据，则图像生成器420将缓存的图像数据合并为一个文件，并且输出该文件作为多通道图像的图像数据(步骤S908)。

[偏移量的计算]

如图10中的空单元所表示的那样，与颜色像素类似，对准像素在X方向和Y方向上交替存在和不存在。为了对准，对准像素的排列旋转45°，并且被看作是通常的正方格子排列。等式(2)是用于进行坐标变换的矩阵：

M = [\begin{matrix} 1 / 2 & 1 / 2 \\ - 1 / 2 & 1 / 2 \end{matrix}] . . . (2)

假定(m，n)是原坐标，并且(h，k)是变换后的坐标，该坐标变换由等式(3)给出：

[\begin{matrix} h \\ k \end{matrix}] = M [\begin{matrix} m \\ n \end{matrix}] . . . (3)

通过坐标变换，可以将对准像素转换为排列在通常的正方格子上的像素。因此能够使用现有的对准方法计算偏移量。

将参照图11的流程图说明图像之间的偏移量的计算方法。将描述如下方法：提取基准图像的特征点、获得与特征点相对应的对准图像上的点(被称为对应点)并且获得整个图像的偏移量作为变形参数。

偏移计算器803提取基准图像的特征点(步骤S1101)，并且检测对准图像上与该特征点相对应的对应点(步骤S1102)。

特征点的提取例如使用在C.Harris and M.Stephens，″A combinedcorner and edge detector″，Proceedings of the 4th Alvey Vision Conference，pp.147-151，1988中记载的Harris角点检测。对应点的检测例如使用块匹配方法。更具体来说，将以特征点为中心的块设置在基准图像上，并且在逐渐移动基准图像和对准图像的相对位置的同时计算评价值。该评价值采用该块内基准图像的像素值和对准图像的像素值之间的差分绝对值之和或者差分的平方和。在获得最小评价值时对准图像中该块的中心被检测为对应点。通过基于线性函数的绝对值或二次函数拟合相对位置和评价值之间的关系并且从该函数上评价值变为最小值的相对位置获得对应点，能够以高精度检测出对应点。

基于像素值的偏移量计算方法的前提是图像内对象上的同一点处的像素值在图像之间几乎相等。因此，当在具有不同特性的照相机之间计算偏移量时，不能获得高精度。然而，根据本实施例，从具有相同特性的对准像素的图像计算偏移量，所以上述前提成立，能够保持高精度。

之后，偏移计算器803判断检测到的对应点是否正确(步骤S1103)。此时，例如判断在步骤S1102中计算出的最小评价值是否等于或小于预定阈值就足够了。如果最小评价值等于或小于阈值，则判断为检测到正确的对应点；如果最小评价值超过阈值，则判断为检测到错误的对应点。在接下来的处理中不使用检测到错误对应点的特征点。

偏移计算器803判断是否已经检测到与所有特征点相对应的点(步骤S1104)。如果步骤S1104中是“否”，则偏移计算器803将处理返回到步骤S1102。如果已经检测到与所有特征点相对应的点，则偏移计算器803基于特征点和对应点之间的关系计算变形参数(步骤S1105)。

在以下例子中，由仿射参数描述位置偏移量。特征点和对应点之间的关系可以由等式(4)给出：

[\begin{matrix} h^{'} \\ k^{'} \\ 1 \end{matrix}] = [\begin{matrix} a & b & c \\ d & e & f \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} h \\ k \\ 1 \end{matrix}] . . . (4)

其中(h，k)：特征点的位置

(h’，k’)：对应点的位置

在等式(4)中，3×3矩阵是仿射变换矩阵。该矩阵的各个元素是仿射参数。对于a＝1，b＝0，d＝0，e＝1，变换是c表示水平移动量并且f表示垂直移动量的平移。以旋转角度θ的旋转移动可以由a＝cosθ，b＝-sinθ，d＝sinθ，和e＝cosθ给出。通过使用广义矩阵形式，能够将等式(4)重写为等式(5)：

x′＝Ax ...(5)

其中x，x′：1×3矩阵

A：3×3矩阵

当已经获得正确对应点的特征点的数量是n时，能够由如等式(6)所表示的3×n矩阵表现特征点的坐标值：

X＝(x1 x2...xn) ...(6)

类似地，甚至可以由如等式(7)所表示的n×3矩阵表现对应点：

X′＝(x1′x2′...xn′) ...(7)

从而由等式(8)给出n个运动矢量：

X′＝AX ...(8)

换句话说，作为整个对准图像的位置偏移量获得等式(8)中的仿射矩阵A。变形等式(8)得到表示仿射矩阵A的等式(9)：

A＝X′X^T(XX^T)^-1 ...(9)

其中T：转置矩阵

根据该方法，将运动量表现为仿射变换参数。

对准图像的坐标变换和仿射变换可以由等式(10)来概括：

[\begin{matrix} m^{'} \\ n^{'} \\ 1 \end{matrix}] = {[\begin{matrix} M & 0 \\ 0 & 1 \end{matrix}]}^{- 1} A [\begin{matrix} M & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} M \\ n \\ 1 \end{matrix}] . . . (10)

基于等式(10)，能够计算表示位置偏移量的坐标偏移。

[重新采样]

重新采样单元804基于根据等式(10)计算出的位置偏移量重新采样对准图像的颜色像素。颜色像素仅存在于对准图像的一半中。因此，将如等式(3)所表示的坐标变换应用于等式(10)的两侧得到等式(11)：

[\begin{matrix} h^{'} \\ k^{'} \\ 1 \end{matrix}] = A [\begin{matrix} M & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} m \\ n \\ 1 \end{matrix}] . . . (11)

其中(h’，k’)：对准图像的变换后的坐标

变换后的坐标(h’，k’)表示在正方格子上的位置。因此，根据等式(11)获得颜色像素在对准图像上的位置。通过插值方法(例如双线性方法或者双三次方法)获得不存在颜色像素的位置处的颜色像素的值。然后，执行重新采样。

以这种方式，多眼照相机的各个拍摄单元的拍摄装置包括专有元件和共同元件。基于具有相同特性的共同元件获得的图像对准各通道的图像。能够以高精度对准各通道的图像。

实施例的变型

在上述例子中，多眼照相机包括以矩阵形式排列的九个拍摄单元。然而，布置至少两个拍摄单元就足以拍摄多带图像，并且实施例不受拍摄单元的数量和配置的限制。

多个拍摄单元可以包括具有相同的专有拍摄特性的拍摄元件(换句话说，具有相同的拍摄特性)的多个拍摄单元。例如，除了用于红R和亮度Y、绿G和亮度Y以及蓝B和亮度Y的三个拍摄单元以外，拍摄单元还可以包括用于红R和亮度Y的第二拍摄单元。

在上述例子中，专有元件和共同元件交替布置在正方格子中。然而，根据元件(颜色像素和对准像素)的数量和布置计算偏移量并进行插值处理就足够了。实施例不受元件(颜色像素和对准像素)的数量和布置的限制。

在上面的描述中，对准像素表示亮度信息。然而，对准像素可以表示任意颜色信息。实施例不受对准像素的布置和特性限制。

在上述的例子中，使用Harris角点检测、块匹配和仿射参数计算来计算偏移量。然而，该方法是任意的，只要能够使用对准像素计算偏移量即可。

在上述例子中，通过双线性或双三次方法重新采样(插值)颜色像素。然而，该插值处理方法是任意的。

第二实施例

将描述根据本发明第二实施例的摄像设备。在第二实施例中，与第一实施例中相同的附图标记表示相同的部分，并且不重复对这些部分的详细描述。

第二实施例将描述使用多眼照相机获取进行高动态范围合成的图像的例子。第二实施例与第一实施例的不同之处在于拍摄单元401至409中各个的滤波器607的配置。将参照图12描述根据第二实施例的滤波器607的配置。

与第一实施例类似，Y单元是亮度拍摄滤波器，并且通过布置透明滤波器或不布置滤波器来实现。在拍摄单元401至409中Y单元具有共同的特性。Y单元和拍摄元件的组合对应于“共同元件”。

Rn是用于透射R分量的滤波器，Gn是用于透射G分量的滤波器，Bn是用于透射B分量的滤波器。各拍摄单元包括透射率不同的Rn、Gn和Bn单元。颜色滤波器和拍摄元件的组合对应于“专有元件”。各拍摄单元获取以不同的灵敏度特性拍摄的图像。代替在各拍摄单元中使用透射率不同的颜色滤波器，可以动态控制各拍摄单元的灵敏度特性，以获取拍摄单元401至409中具有不同的灵敏度特性的颜色信息。作为控制各个拍摄单元的灵敏度特性的方法，例如，改变各个拍摄单元的曝光时间。

第二实施例与第一实施例的不同之处还在于图像生成方法、对准方法和重新采样方法。图13示出根据第二实施例的对准像素的排列。在第二实施例中，对准像素的数量是通过将所有像素纵横稀疏1/2获得的值。

在颜色像素插值(步骤S902和S905)中，例如，由周围的Gn和Bn像素插值与Rn单元相对应的像素(被称为Rn像素)的G和B分量。这也适用于Gn和Bn像素的其它颜色分量。在Y像素周围的八个像素(被称为周围像素)的R、G、B分量的插值结束之后，由周围像素插值与Y单元相对应的像素(被称为Y像素)的R、G、B分量。

位置偏移量的计算使用等式(12)代替等式(2)：

M = [\begin{matrix} 1 / 2 & 0 \\ 0 & 1 / 2 \end{matrix}] . . . (12)

类似地，甚至重新采样也采用等式(12)。

此外，第二实施例与第一实施例不同之处在于显示图像生成处理。为了获取用于高动态范围合成的多通道图像，当生成显示图像时使用文献1中描述的方法等执行高动态范围合成。

如上所述，多眼照相机中的各个拍摄单元的拍摄装置包括专有元件和共同元件。基于由具有相同特性的共同元件获得的图像对准各通道的图像。与第一实施例类似，能够以高精度对准各通道的图像。

实施例的变型

在上述例子中，一个拍摄单元包括一种类型的共同元件和三种类型的专有元件。然而，可以使用不同的拍摄单元拍摄各颜色分量。实施例不受专有元件的类型数量限制。

在以上描述中，对准像素表示亮度信息。然而，对准像素可以表示任意颜色信息。实施例不受对准像素的布置和特性的限制。

第三实施例

将描述根据本发明第三实施例的摄像设备。在第三实施例中，与第一和第二实施例中相同的附图标记表示相同的部分，并且不重复对相同部分的详细描述。

在第一和第二实施例中，所有拍摄单元都包括共同元件。第三实施例准备在两个拍摄单元之间具有共同特性的拍摄元件。更具体来说，第三实施例将说明如下方法：在具有拍摄元件X对拍摄单元A和B共同、拍摄元件Y对拍摄单元B和C共同的配置的所有拍摄单元之间进行对准处理。将参照图14描述根据第三实施例的滤波器607的配置。各个拍摄单元包括具有该拍摄单元和另一个拍摄单元共同的拍摄特性的拍摄元件、和具有该拍摄单元和再另一个拍摄单元共同的拍摄特性的拍摄元件。

有10种类型的Cn单元C1至C10用作颜色信息拍摄滤波器。在第n个拍摄单元的滤波器607上，交替排列Cn单元和特性不同于Cn单元的Cm单元(例如，Cn+1和Cn-1单元)。注意，Cn单元可以是具有不同透射波长以获取多带图像的滤波器，或者是具有不同透射率以获取高动态范围图像的R、G、B颜色分量的滤波器。代替具有不同透射率的R、G、B颜色分量的滤波器，可以将具有相同透射率的R、G、B颜色分量的滤波器和具有不同透射率的中性密度(neutral density，ND)滤波器组合。

将参照图15说明根据第三实施例的图像生成器420的配置。I₁至I₉是由拍摄单元401至409拍摄的图像，并且T_nn+1表示从图像I_n的坐标到图像I_n+1的坐标的坐标变换。

缓冲器1503经由系统总线422接收图像数据，并且保持该图像数据。第一输入图像数据可以是由任意拍摄单元获取的图像数据。在此情况下，图像I₁(第三实施例中的基准图像)的图像数据被输入。

重新采样单元804重新采样(插值)保持在缓冲器1503中的图像数据的两种类型的像素，并且输出两个通道的图像数据。多通道图像生成器1505保持从重新采样单元804输出的两个通道的图像数据。

在重新采样单元804的处理结束之后，缓冲器1503将所保持的图像I₁的图像数据发送到缓冲器1502，经由系统总线422接收图像I₂的图像数据，并且保持该图像数据。

偏移计算器803计算保持在缓冲器1502中的图像I₁和保持在缓冲器1503中的图像I₂之间的位置偏移量T₁₂。此时，偏移计算器803通过使用与获取到图像I₁的拍摄单元401和获取到图像I₂的拍摄单元402共同的滤波器相对应的像素的值，来计算位置偏移量T₁₂。例如，当拍摄单元401包括滤波器C1和C2并且拍摄单元402包括滤波器C2和C3时，使用与滤波器C2相对应的像素的值，来计算位置偏移量T₁₂。

累积偏移计算器1504存储从偏移计算器803输出的偏移量T₁₂作为累积偏移量。重新采样单元804基于从累积偏移计算器1504输出的累积偏移量，在保持在缓冲器1503中的图像数据上重新采样两种类型的像素，并且输出两个通道的图像数据。多通道图像生成器1505保持从重新采样单元804输出的两个通道的图像数据。

在重新采样单元804的处理结束之后，缓冲器1503将所保持的图像I₂的图像数据再次传送到缓冲器1502，经由系统总线422接收图像I₃的图像数据，并且保持该图像数据。通过同样的处理，偏移计算器803计算偏移量T₂₃。

累积偏移计算器1504从偏移计算器803接收偏移量T₂₃，存储该偏移量，并且计算并存储组合偏移量(组合函数)T₂₃T₁₂作为累积偏移量T₁₃。重新采样单元804基于从累积偏移计算器1504输出的累积偏移量T₁₃，在保持在缓冲器1503中的图像数据上重新采样两种类型的像素，并且输出两个通道的图像数据。多通道图像生成器1505保持从重新采样单元804输出的两个通道的图像数据。

重复同样的处理，直到图像I₉的图像数据，并且执行重新采样，使得图像I₂至I₉与图像I₁交叠。在重新采样所有图像结束之后，多通道图像生成器1505将这两个图像数据取平均，以保持与除了滤波器C1和C10以外的滤波器C2至C9相对应的每两个图像数据。多通道图像生成器1505通过将平均的图像数据用作多通道图像的一部分，来将与滤波器C1至C10相对应的图像数据合并为一个文件，并且将该文件作为多通道图像输出到系统总线422。

将参照图16的流程图描述图像生成器420的处理。图16中所示的处理对应于根据来自CPU 412的指令执行的处理(步骤S505)。

图像生成器420读取图像I₁的图像数据(步骤S1601)，插值图像I₁的两种类型的像素，并且缓存得到的图像数据作为两个通道的图像数据(步骤S1602)。

图像生成器420将图像I_n(在此情况下为图像I₁)的图像数据设置为基准图像(步骤S1603)，并且接收图像I_n+1(在此情况下为图像I₂)的图像数据(步骤S1604)。图像生成器420通过使用图像I_n和I_n+1共同的拍摄元件的像素值，计算图像I_n和I_n+1之间的位置偏移量T_nn+1(步骤S1605)。

图像生成器420根据等式(13)计算从图像I₁至图像I_n+1的累积位置偏移T_1n+1，并保持该累积位置偏移(步骤S1606)：

T_1n+1＝T_nn+1·T_1n ...(13)

注意，等式(13)表示矩阵T_nn+1和T_1n的积，并且当由于重复中的第一处理而没有保持T_1n时，将T_1n作为恒等映射执行处理。

然后，图像生成器420基于累积位置偏移量T_in+1插值图像I_n+1的两种类型像素，使得图像I_n+1与图像I₁交叠，并且缓存得到的图像数据作为两个通道的图像数据(步骤S1607)。

图像生成器420判断是否已经对图像I₂至I₉执行了步骤S1604至S1607中的处理(步骤S1608)。如果步骤S1608中是“否”，则图像生成器420将处理返回到步骤S1604。如果已经针对图像I₂至I₉结束了步骤S1604至S1607中的处理，则图像生成器420将与除了滤波器C1和C10以外的滤波器C2至C9相对应的两个图像数据取平均(步骤S1609)。图像生成器420将与滤波器C1至C10相对应的图像数据合并为一个文件，并且将该文件作为多通道图像输出到系统总线422(步骤S1610)。

这样，多眼照相机的各拍摄单元的拍摄装置包括共同拍摄元件，并且基于共同拍摄元件获得的图像对准各通道的图像。能够以高精度对准各通道的图像。通过将不使用只专用于对准的拍摄元件而使用共同拍摄元件叠加的图像数据取平均，能够以高SN比、高精度对准生成多通道图像。

实施例的变型

还可以通过设置滤波器C1＝C10来配置拍摄单元401至409。图像生成器420重复如下处理：由具有共同拍摄特性的拍摄单元获取的图像数据，计算由包括具有共同拍摄特性的拍摄元件的两个拍摄单元获取的图像数据的图像之间的偏移量。通过累积计算出的偏移量，计算相对由一个拍摄单元获取的图像数据的基准图像、由另一个拍摄单元获取的图像数据的图像的偏移量。

在此情况下，与波长相对应的通道图像的数量或者与灵敏度范围相对应的通道图像的数量减少一个。然而，可以将与滤波器C1和C10相对应的图像数据取平均，以增加与所有波长或所有灵敏度范围相对应的SN比。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims

1.一种摄像设备，包括：

具有第一拍摄装置的第一拍摄单元，所述第一拍摄单元被配置为通过使用所述第一拍摄装置的、具有第一拍摄特性的颜色像素拍摄被摄体，来获得第一图像数据；

具有第二拍摄装置的第二拍摄单元，所述第二拍摄单元用于从与所述第一拍摄单元不同的视点拍摄所述被摄体，并被配置为通过使用所述第二拍摄装置的、具有与所述第一拍摄特性不同的第二拍摄特性的颜色像素拍摄所述被摄体，来获得第二图像数据；

计算器，其被配置为计算指示所述第一图像数据与所述第二图像数据之间的位置偏移的偏移量；以及

生成器，其被配置为通过使用所述偏移量将所述第一图像数据与所述第二图像数据对准，来合并所述第一图像数据与所述第二图像数据，以生成图像数据，

其中，所述第一拍摄装置还包括对准像素，所述对准像素具有与所述第二拍摄装置中包括的对准像素共同的拍摄特性，并且

其中，所述计算器基于由所述第一拍摄装置的对准像素表示的图像与由所述第二拍摄装置的对准像素表示的图像之间的对应关系，计算所述偏移量。

2.根据权利要求1所述的摄像设备，其中，所述生成器生成指示具有所述第一图像数据和所述第二图像数据二者的信息的多通道图像的图像数据。

3.根据权利要求1所述的摄像设备，其中，所述第一拍摄装置的颜色像素对应于滤波器，所述滤波器具有不同于与所述第二拍摄装置的颜色像素相对应的滤波器的波长透射特性。

4.根据权利要求1所述的摄像设备，其中，所述第一拍摄装置的颜色像素，具有与所述第二拍摄装置的颜色像素的对光的灵敏度特性不同的对光的灵敏度特性。

5.一种摄像设备，包括：

多个拍摄部，用于从对象获取具有彼此不同的特性的图像数据；

计算器，其被配置为计算指示由所述多个拍摄部获取的图像数据表示的图像之间的位置偏移的偏移量；以及

生成器，其被配置为生成多通道图像的图像数据，在所述多通道图像中，使用所述偏移量校正了由所述多个拍摄部获取的图像数据表示的图像之间的位置偏移，

其中，所述多个拍摄部中的各个拍摄部包括具有该拍摄部和另一个拍摄部共同的拍摄特性的拍摄元件，并且包括具有该拍摄部和再另一个拍摄部共同的拍摄特性的拍摄元件，并且

其中，所述计算器重复从具有所述共同拍摄特性的拍摄元件获取的图像数据计算由包括具有所述共同拍摄特性的拍摄元件的两个拍摄部获取的图像数据表示的图像之间的偏移量的处理，并且累积所述偏移量，从而计算一个拍摄部获取的图像数据的图像相对于另一个拍摄部获取的图像数据的基准图像的偏移量。

6.根据权利要求5所述的设备，其中，所述生成器将由具有所述共同拍摄特性的拍摄元件获取的两个图像数据取平均，并且生成平均的图像数据作为所述多通道图像的图像数据。

7.根据权利要求5所述的设备，其中，所述多个拍摄部针对波长彼此不同的光分量获取图像数据。

8.根据权利要求5所述的设备，其中，所述多个拍摄部获取具有彼此不同的光灵敏度特性的图像数据。