CN102143305A - 摄像方法及系统 - Google Patents

Abstract

本发明实施例公开了一种摄像方法及系统，所述方法包括：摄像装置中的各摄像设备分别拍摄物体，所述摄像装置包括多个摄像设备，所述多个摄像设备光心重合，且相邻两个摄像设备的拍摄图像之间有重叠区域；将摄像装置中各摄像设备的拍摄图像进行拼接成像。本发明适用于对高分辨率或大范围图像进行拍摄及处理。

Description

摄像方法及系统

技术领域

本发明涉及图像采集技术领域，特别涉及一种摄像方法及系统。

背景技术

在高分辨率电影电视的制作、远程呈现等过程中，通常需要对高分辨率和大范围图像进行拍摄。由于单台摄像机的分辨率和拍摄范围有限，为了满足拍摄需求，通常采用多台摄像机进行拍摄，然后将各台摄像机拍摄的图像进行拼接成像。

现有技术有两种利用两台摄像机进行拍摄的方案，在方案一中，两台摄像机平行放置，对两台摄像机拍摄到的图像进行拼接成像，两台摄像机拍摄的图像在不同深度上重叠区域不同。在方案二中，通过反射镜使一台摄像机的等价光心与另一台摄像机的光心重合，且两台摄像机的拍摄边缘也正好对齐。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

在方案一中，两台摄像机拍摄的图像在不同深度上重叠区域不同，难以拼接出各深度层次都对齐的图像；在方案二中，两台摄像机没有拍摄的重叠区域，存在明显的拼接缝，另外如果两台摄像机存在差异，拍摄图像时会导致两台摄像机拍摄的图像的亮度和/或色度有差异，拼接到一起会有明显的差异，而没有重叠区域则难以很好的将两幅图像对齐，也难以通过图像处理的方法确定并消除亮度和/或色度差异，不利于图像的拼接成像。

发明内容

本发明的实施例提供一种摄像方法及系统，多个摄像设备能够实现光心重合同时有重叠区域的拍摄，有利于图像的拼接成像。

本发明实施例采用的技术方案为：

一种摄像方法，包括：

摄像装置中的各摄像设备分别拍摄物体，所述摄像装置包括多个摄像设备，所述多个摄像设备光心重合，且相邻两个摄像设备的拍摄图像之间有重叠区域；

将摄像装置中各摄像设备的拍摄图像进行拼接成像。

一种摄像系统，包括：

摄像装置，所述摄像装置包括多个摄像设备，所述多个摄像设备分别拍摄物体，所述多个摄像设备光心重合，且相邻两个摄像设备的拍摄图像之间有重叠区域；

处理装置，用于将所述摄像装置中各摄像设备的拍摄图像进行拼接成像。

本发明实施例摄像方法及系统，摄像装置包括多个摄像设备，所述多个摄像设备光心重合，当将摄像装置中各摄像设备的拍摄图像进行拼接成像时，利用重叠区域，能够方便地进行图像的对齐以拼接图像的亮度和/或色度的融合，有利于图像拼接时的分析处理；由于相邻两个摄像设备的拍摄图像之间有重叠区域，可以容易地消除拼接缝对图像拼接带来的影响，提高成像质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一提供的摄像方法流程图；

图2为本发明实施例二提供的摄像方法流程图；

图2a为本发明实施例二提供的重叠区域中各像素点的亮度拟合曲线示意图；

图3为本发明实施例三提供的摄像系统结构示意图；

图4为本发明实施例四提供的摄像系统结构示意图；

图5为本发明实施例四提供的摄像装置结构示意图；

图6为本发明实施例五提供的摄像装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。

实施例一

本实施例提供一种摄像方法，如图1所示，所述方法包括：

101、摄像装置中的各摄像设备分别拍摄物体，所述摄像装置包括多个摄像设备，所述多个摄像设备光心重合，且相邻两个摄像设备的拍摄图像之间有重叠区域；

102、将摄像装置中各摄像设备的拍摄图像进行拼接成像。

本发明实施例摄像方法，摄像装置包括多个摄像设备，所述多个摄像设备光心重合，当将摄像装置中各摄像设备的拍摄图像进行拼接成像时，利用重叠区域，能够方便地进行图像的对齐以及拼接图像的亮度和/或色度的融合，有利于图像拼接时的分析处理；由于相邻两个摄像设备的拍摄图像之间有重叠区域，可以容易地消除拼接缝对图像拼接带来的影响，提高成像质量。

实施例二

如图2所示，所述摄像方法包括：

201、摄像装置中的各摄像设备分别拍摄物体，所述摄像装置包括多个摄像设备，所述多个摄像设备光心重合，且相邻两个摄像设备的拍摄图像之间有重叠区域。

202、将相邻两个摄像设备的拍摄图像之间的重叠区域对齐，得到拼接图像。

其中，将相邻两个摄像设备的拍摄图像之间的重叠区域对齐可通过对两个摄像设备拍摄到的图像进行分析，寻找重叠区域的配对特征点，基于配对特征点将图像对准(位置校正)。配对特征点的确定可采用SIFT(Scale-InvariantFeature Transform，尺度不变特征转换)方法。

203、根据所述重叠区域中部分图像或像素点的亮度值和/或色度值，确定重叠区域的亮度和/或色度校正关系。

确定重叠区域的亮度和/或色度校正关系可以通过计算多个图像/像素点的亮度和/或色度值，然后拟合出校正曲线的方法得到。以亮度计算为例，假如选择了重叠区域的10个点，这10个点在两个摄像设备的拍摄图像中的亮度值分别为：

点序号	1	2	3	4	5	6	7	8	9	10
											第一摄像设备拍摄图像对应亮度	4	10	20	10	49	70	100	142	30	93
第二摄像设备拍摄图像对应亮度	14	18	27	17	55	74	103	152	36	97

根据此亮度值，可以使用最小二乘法得到一个线性的拟合曲线，如图2a所示，该线性的拟合曲线具有如下的函数关系：

y＝0.987x+7.184

其中，x表示第一摄像设备拍摄图像的亮度值，y表示第二摄像设备拍摄图像的亮度值。

204、根据所述重叠区域的亮度和/或色度校正关系，对所述拼接图像的亮度和/或色度差异进行校正。

根据步骤203中得到的重叠区域的亮度和/或色度校正关系对拼接图像进行校正，可以以一个摄像设备的拍摄图像为基准，校正另外一个摄像设备的拍摄图像，也可以同时对两个摄像设备的拍摄图像进行处理。

假设保持第二摄像设备拍摄图像的亮度值不变，则对第一摄像设备拍摄图像的各点的亮度值按照步骤203得到的拟合曲线函数关系进行调整，也即：

Y₁′＝0.987Y₁+7.184

其中，Y₁′为调整后的亮度，Y₁为调整前的亮度。

色度的调整方法和亮度类似，当然也可以不拟合出函数关系，直接构建每个像素点与亮度值的对应关系表，采用查表的方式进行调整。

亮度值和/或色度值校正可以基于一帧或多帧图像进行分析，计算出校正关系后，在后续的图像直接使用该校正关系进行校正，不用实时进行配对特征点的提取和分析。

在重叠区域的两个边缘，某一个摄像机的成像质量可能不是很好，因此在重叠区域的边缘处，可以选择某一个摄像机的图像作为主要参考进行校正，即在重叠区域通过加权得到图像，具体可以采用下式进行加权：

F(P)＝α×F₁(P)+β×F₂(P)

在上式中，F(P)表示重叠区域中任意一点P最终合成的图像信号，所述图像信号可以为RGB值或YUV值，F₁(P)表示摄像机C1输出的P点的图像信号，F₂(P)表示摄像机C2输出的P点的图像信号，α和β为加权系数，一般取α＝β，在重叠区域的边缘处，可根据边缘情况设置α和β，例如：可以取α＝2，β＝0。

进一步地，当需要将拍摄的图像通过投影输出时，若每个摄像设备对应一个投影输出，将投影拼接的融合区域设置为与拍摄图像的重叠区域一致，α×F₁(P)和β×F₂(P)分别作为相邻两个投影的输入，则图像自然的在输出叠加时恢复，不用投影拼接再做拼接融合。

本发明实施例摄像方法，摄像装置包括多个摄像设备，所述多个摄像设备光心重合，当将摄像装置中各摄像设备的拍摄图像进行拼接成像时，利用重叠区域，能够根据重叠区域内的配对特征点方便地进行图像的对齐以及拼接图像的亮度和/或色度的校正，有利于图像拼接时的分析处理；由于相邻两个摄像设备的拍摄图像之间有重叠区域，可以容易地消除拼接缝对图像拼接带来的影响，提高成像质量。

实施例三

本实施例提供一种摄像系统，如图3所示，所述系统包括：

摄像装置31，所述摄像装置31包括多个摄像设备，所述多个摄像设备分别获取拍摄图像，所述多个摄像设备光心重合，且相邻两个摄像设备的拍摄图像之间有重叠区域；

处理装置32，用于将所述摄像装置31中各摄像设备的拍摄图像进行拼接成像。

本发明实施例摄像系统，摄像装置包括多个摄像设备，所述多个摄像设备光心重合，当将摄像装置中各摄像设备的拍摄图像进行拼接成像时，利用重叠区域，能够方便地进行图像的对齐以及拼接图像的亮度和/或色度的融合，有利于图像拼接时的分析处理；由于相邻两个摄像设备的拍摄图像之间有重叠区域，可以容易地消除拼接缝对图像拼接带来的影响，提高成像质量。

实施例四

本实施例提供一种摄像系统，如图4所示，所述系统包括：

摄像装置41，所述摄像装置41包括多个摄像设备，所述多个摄像设备分别获取拍摄图像，所述多个摄像设备光心重合，且相邻两个摄像设备的拍摄图像之间有重叠区域；

处理装置42，用于将所述摄像装置41中各摄像设备的拍摄图像进行拼接成像。

以包括两个摄像设备的摄像装置为例，如图5所示，所述摄像装置包括：

两个摄像机C1和C2，在C1的光心和C2的光心连接组成的线段的中垂线上，设置有镜面AD，其中，AC段为全反射镜面，CD段为半反半透镜面。通过BD段的反射作用，使得C1的虚拟光心(C1光心相对于AD面的镜像)与C2的光心O重合。

PQRS为拍摄物体，QR段发出的光经过半反半透镜面CD时，一部分光线经过反射进入C1，一部分光线经过透射进入C2，QR段在两个摄像机内都会成像，只是亮度会较其他区域低。因此C1可以拍摄到物体的PR段，C2可以拍摄到物体的QS段，最终形成重叠区域QR。

镜面AD可以选择玻璃作为基材，在AC段镀有全反射膜(如铝)，形成全反射，在CD段镀有一层非常薄的半反射膜(也可以是铝)，既可以透过一部分光线，又可以反射一部分光线。优选地，CD段光线的透射率和反射率都接近50％。由于镜面AD上的镀膜非常薄，且基材是相同的，所以在全反射膜和半反射膜连接处的缝隙非常小，基本上不影响成像。为了减少折射对成像的影响，基材选择折射率低的材料，例如：轻冕玻璃、有机玻璃、树脂，且基材的厚度很小。

如图5所示，为避免干扰，需要将JK面形成遮挡(不透光)，同时CDJK区域无拍摄物体，通过摄像机C1和C2以及半反半透镜面CD位置的调整，使得拍摄物体位于EBDJH区域(E、H点可以延伸)。

在对摄像机C1和C2的拍摄图像进行拼接处理时，可以采用实施例二所述的方法，在此不再赘述。

进一步地，如图4所示，所述处理装置42可以包括：

拼接模块421，用于将相邻两个摄像设备的拍摄图像之间的重叠区域对齐，得到拼接图像。

进一步地，如图4所示，所述处理装置42还可以包括：

校正模块422，用于根据所述重叠区域校正所述拼接图像的亮度和/或色度差异。

其中，所述校正模块422可以包括：

确定单元4221，用于根据所述重叠区域中部分图像或像素点的亮度值和/或色度值，确定重叠区域的亮度和/或色度校正关系；

校正单元4222，用于根据所述重叠区域的亮度和/或色度校正关系，对所述拼接图像的亮度和/或色度差异进行校正。

在本实施例中，在确定重叠区域的亮度校正关系时，是以半反半透镜面CD的透射率和反射率相等为例进行计算的，当半反半透镜面CD的透射率和反射率不等时，需要将亮度值除以相应的透射率或反射率后再进行计算。具体地，对于摄像机C1的拍摄图像来说，需要将重叠区域的亮度值除以该半反半透镜面CD的反射率；对于摄像机C2的拍摄图像来说，需要将重叠区域的亮度值除以该半反半透镜面CD的透射率。

本发明实施例摄像系统，摄像装置包括多个摄像设备，所述多个摄像设备光心重合，当将摄像装置中各摄像设备的拍摄图像进行拼接成像时，利用重叠区域，能够方便地进行图像的对齐以及拼接图像的亮度和/或色度的融合，有利于图像拼接时的分析处理；由于相邻两个摄像设备的拍摄图像之间有重叠区域，可以容易地消除拼接缝对图像拼接带来的影响，提高成像质量。

在本实施例中，所述摄像机C1和C2可以替换为成像和感光器件，例如：镜头和CCD感光器件。

实施例五

本实施例提供一种摄像系统，所述系统包括如实施例四中图4所示的各装置、模块和单元。

以包括三个摄像设备的摄像装置为例，如图6所示，所述摄像装置包括：

凸透镜L和凹面镜M，点O为凸透镜L的光心，凹面镜M为球面反射镜，凹面镜M的圆心也位于O，由于通过O的光线经过球面反射镜后方向不变(沿原路反射)，因此O实际是凹面镜M的等价光心。1、2、3为三个感光器件，其中1的感光面朝向凸透镜L，2和3的感光面朝向凹面镜M。物体AF在1、2、3上将分别成像，且成像的物空间对应为EF、BE、AC，这样1和2之间具有重叠区域DE，2和3之间具有重叠区域BC。

在近轴拍摄条件下，凸透镜和球面反射镜成像条件可用式(1)表示：

在上式中：s₁为凸透镜L的物距，s₂为凹面镜M的物距，s₁′为凸透镜L的像距、s₂′为凹面镜M的像距，f₂为凹面镜M的物方焦距，f₁′为凸透镜L的像方焦距。

如图6所示，上述各参数的赋值如式(2)所示：

$\left\{\begin{array}{c}{s}_1^{\′}=V1\\ s_1=-U1\\ s_2^{\′}=-V2\\ s_2=-U2\\ f_2=-R/2\\ U2=R+U1\end{array}\right.---\left(2\right)$

将式(2)中各参数的值代入式(1)，可得出式(3)：

$f_1^{\′}=\frac{{\mathrm{RV}}_1(R-V_2)}{{2V}_1{V}_2-(V_1+V_2)R+R^2}---\left(3\right)$

在式(3)中，当(V₁+V₂)＝R，也即凸透镜L和凹面镜M的成像比例相同时，感光器件1、2、3位于同一像平面(即感光器件2分别与感光器件1、3背靠背放置)时，可得出： $f_1^{\′}=\frac{R}{2}\·\frac{V_1}{V_2},$ 也即： $\left|\frac{f_1^{\′}}{f_2}\right|=\frac{V_1}{V_2}.$ 所以当凸透镜L的光心与凹面镜M的中心(圆心)重合，凸透镜L的像方焦距与凹面镜M的焦距之比为V₁/V₂时，将在同一成像平面成像，即：(V₁+V₂)＝R，此时空间任意一点在感光器件2上的成像位置与在感光器件1或3上成像的位置是完全相同的。

由图6可以看出，当(V₁+V₂)＜R时，可以通过简单的线性变换，将感光器件1或3上的像点映射到感光器件2的成像平面。

为了使得感光器件2与感光器件1和3成像的亮度相当，需要使得凸透镜L和凹面镜M的通光亮相当，假设L和M均为圆形，凸透镜L的口径为D，凹面镜M的口径为d，当物距远远大于像距时，可近似确定凸透镜L与凹面镜M的口径之间的关系为： $D=\sqrt{2}d.$

在实际的光学系统中，D和d为凸透镜L和凹面镜M相应的光阑尺寸，由于受透光率、反射率、光程以及拍摄距离等影响，可以根据实际情况适当调整，也可以对传感器采集的信号进行校正，校正方式为：F₂′＝λ×F₂。

其中，F₂为感光器件2采集的图像信号，λ为比例系数，可以通过在实际的光学系统中进行测试确定，F₂′为调整后的图像信号。当然，也可以对感光器件1和3的图像信号进行调整。

在对摄像机感光器件1、2和3的采集的图像进行拼接处理时，可以采用实施例二所述的方法，在此不再赘述。

在本实施例中，凸透镜L和凹面镜M也可以是由多个光学器件构成的等效凸透镜和等效凹面镜。

在本实施例中，通过增加一些光学器件，也可以将CCD替换为摄像头。例如：去掉3个感光器件，并通过在感光器件2后方放置摄像头，将感光器件1和3上的像通过反射镜反射到其他位置，并在其他位置安置摄像头，相当于拍摄透镜和凹面镜形成的实像，就可以变化为光心重合、且具有重叠区域的摄像机组，这里不再赘述。

本发明实施例摄像系统，摄像装置包括多个摄像设备，所述多个摄像设备光心重合，当将摄像装置中各摄像设备的拍摄图像进行拼接成像时，利用重叠区域，能够方便地进行图像的对齐以及拼接图像的亮度和/或色度的融合，有利于图像拼接时的分析处理；由于相邻两个摄像设备的拍摄图像之间有重叠区域，可以容易地消除拼接缝对图像拼接带来的影响，提高成像质量。

本发明实施例提供的摄像系统可以实现上述提供的方法实施例。本发明实施例提供的摄像方法及系统可以适用于对高分辨率或大范围图像进行拍摄，但不仅限于此。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种摄像方法，其特征在于，包括：

摄像装置中的各摄像设备分别拍摄物体，所述摄像装置包括多个摄像设备，所述多个摄像设备光心重合，且相邻两个摄像设备的拍摄图像之间有重叠区域；

将摄像装置中各摄像设备的拍摄图像进行拼接成像。

2.根据权利要求1所述的方法，其特征在于，所述将摄像装置中各摄像设备的拍摄图像进行拼接成像包括：

将相邻两个摄像设备的拍摄图像之间的重叠区域对齐，得到拼接图像。

3.根据权利要求2所述的方法，其特征在于，在所述将相邻两个摄像设备的拍摄图像之间的重叠区域对齐，得到拼接图像之后，所述方法还包括：

根据所述重叠区域校正所述拼接图像的亮度和/或色度差异。

4.根据权利要求3所述的方法，其特征在于，所述根据所述重叠区域校正所述拼接图像的亮度和/或色度差异包括：

根据所述重叠区域中部分图像或像素点的亮度值和/或色度值，确定重叠区域的亮度和/或色度校正关系；

根据所述重叠区域的亮度和/或色度校正关系，对所述拼接图像的亮度和/或色度差异进行校正。

5.一种摄像系统，其特征在于，包括：

摄像装置，所述摄像装置包括多个摄像设备，所述多个摄像设备分别获取拍摄图像，所述多个摄像设备光心重合，且相邻两个摄像设备的拍摄图像之间有重叠区域；

处理装置，用于将所述摄像装置中各摄像设备的拍摄图像进行拼接成像。

6.根据权利要求5所述的系统，其特征在于，所述摄像装置包括：至少两个摄像设备，在相邻的两个摄像设备中，第一摄像设备的光心与第二摄像设备的光心连接组成的线段的中垂线上设置有一镜面，其中，所述镜面包括全反射镜面和半反半透镜面两段；

所述第一摄像设备的光心通过所述全反射镜面和半反半透镜面形成虚拟光心，所述虚拟光心与所述第二摄像设备的光心重合；

所述第一摄像设备和第二摄像设备通过所述半反半透镜面形成重叠区域。

7.根据权利要求6所述的系统，其特征在于，所述第一摄像设备的光心与所述半反半透镜面的第一端点连接组成的线段的延长线与所述第二摄像设备的视场边缘形成第一交点，所述第一摄像设备的光心与所述半反半透镜面的第二端点连接组成的线段的延长线与所述第二摄像设备的视场边缘形成第二交点，系统设置为阻止所述第一交点与第二交点的连线对应平面之外的光进入所述第一摄像设备；

依次连接所述第一端点、第二端点、第二交点与第一交点组成的封闭区域内没有拍摄物体。

8.根据权利要求5所述的系统，其特征在于，所述摄像装置包括：至少两个摄像设备，在相邻的两个摄像设备中，第一摄像设备由凸透镜和第一成像器件构成，第二摄像设备由凹面镜和第二成像器件构成，所述凸透镜的光轴与所述凹面镜的光轴在同一条直线上，且所述凸透镜的光心与所述凹面镜的光心重合，所述第一成像器件和第二成像器件通过凸透镜和凹面镜形成重叠区域拍摄。

9.根据权利要求5所述的系统，其特征在于，所述第一成像器件和第二成像器件为感光器件或摄像头。

10.根据权利要求9所述的系统，其特征在于，所述第一成像器件和第二成像器件为感光器件，第一成像器件的感光面朝向所述凸透镜，第二成像器件的感光面朝向所述凹面镜，所述第一成像器件在所述第二成像器件所在平面上的投影与所述第二成像器件之间具有重叠区域。

11.根据权利要求10所述的系统，其特征在于，所述第一成像器件的背面与所述第二成像器件的背面相接触。

12.根据权利要求5至11中任一项所述的系统，其特征在于，所述处理装置包括：

拼接模块，用于将相邻两个摄像设备的拍摄图像之间的重叠区域对齐，得到拼接图像。

13.根据权利要求12所述的系统，其特征在于，所述处理装置还包括：

校正模块，用于根据所述重叠区域校正所述拼接图像的亮度和/或色度差异。

14.根据权利要求13所述的系统，其特征在于，所述校正模块包括：

确定单元，用于根据所述重叠区域中部分图像或像素点的亮度值和/或色度值，确定重叠区域的亮度和/或色度校正关系；

校正单元，用于根据所述重叠区域的亮度和/或色度校正关系，对所述拼接图像的亮度和/或色度差异进行校正。

Images