CN109478011A - 用于全景成像的方法和装置 - Google Patents

Abstract

本发明是公开了一种用于捕捉全景场景的全景成像方法和装置。全景摄像装置包括：用来收集一组全景场景段的两个或两个以上的一组光学透镜单元；光学图像传输模块，它由多个光学波导组成，光学波导被光学耦合到每个光学透镜单元并传送到主图像传感器以形成数字图像信号。图像处理模块从数字图像信号重建全景图像。

Description

用于全景成像的方法和装置

技术领域

本发明公开涉及一种成像方法和装置，用于采用单个或多个图像传感器来形成全景图像或视频。

背景技术

全景成像的方法和装置在这之前已经发明出来了。现有的常规方法可分为三种类型。

第一种类型的方法是基于数字图像拼接技术。通过指向不同方向的多个摄像机采集多个图像。全景图像可以通过将这些图像拼接在一起来产生。这种类型的方法增加了系统的复杂度、尺寸、功耗和成本，因此它不适于那些对上述因素敏感的应用。

第二种类型的方法则是基于超广角镜头，它可以创建一个宽阔的全景或半球形的图像，但这种类型的视觉效果失真很大。

第三种类型的方法类似于第二种。它采用镜子来代替广角镜头，将视场引导到图像传感器上。该类型方案和广角镜头方案具有相同的缺点，此外其还会在图像传感器中心区域形成盲区。

发明目的

本发明的目的在于提供一种全景成像系统，具有高画质、低成本以及低功耗。

发明内容

本发明公开了一种全新的摄像设备，其可以瞬时且持续地捕捉全景场景。该全景摄像设备包括：两个或两个以上的一组光学透镜单元，其中每个透镜分别包含一个或多个光学元件，以收集全景场景的一部分并形成成像面上的子图像；光学图像传输模块，包括多个被光学耦合到每个光学透镜单元的光纤波导，用来从相应的成像面接收光，其中每一个光纤波导弯曲和/或扭转合适的角度，将光从光纤波导的输入面传送到指向主图像传感器的输出面；光学传导机构，用于将由光学图像传到模块的输出面发出的光传输到主图像传感器；主图像传感器，用于将接收到的光信号转换成数字图像；一个支撑夹具，用于固定光学图像传导模块和光学传导机构；以及图像处理模块，用于从数字图像信号构建全景图像。

在光学图像系统中，两个或更多的透镜按照期望的布局在空间上隔开，以同时捕捉单独的图像，这些单独的图像用于重建全景图像。多种配置包括但不限于那些已公开的分别形成360度的全景场景、半球全景场景和全球全景场景的那些配置方法。此外，由多个光纤波导组成的光学图像传输模块向单个图像传感器传送多个期望的视场。图像传感器从而将光转换成用于进一步处理的数字信号。

数字图像随之被分成多个段，由透镜引起的图像畸变(既包括几何方面也包括光强方面)将由软件算法进行修正。软件校正参数可以从制造校准过程中获得。在校正畸变之后，所有段被按合适次序拼接以重建得到全景图像。相比传统的拼接方法，本发明所公开的方法拥有计算要求低且畸变低的优点。这种图像或图像序列然后被压缩存储或传输。

通过附图和以下详细地描述，本发明的其他目的，特征和优点清晰可见。

附图说明

为了使本发明得到更完整的理解，请参考以下说明和附图，其中：

图1为根据本发明一实施例的流程图，其中，摄像设备通过多个透镜接收到分段的全景图像，通过包含多个光学波导的光学图像传输模块传输到主图像传感器，并对图像进行处理后重建无缝全景图像；

图2图示了一坐标系，用于描述根据全景摄像装置的实施例的透镜朝向和透镜视场；

图3图示了根据全景摄像装置的实施例光学波导沿其中心线被弯曲角度θ；

图4图示了根据全景摄像装置的实施例光学波导被扭转γ角度；

图5图示了根据全景摄像装置的实施例光学波导首先被扭转γ_i角度然后被弯曲θ_i角度；

图6图示了根据本发明实施例的一种示范性全景光学系统，其创建360度全景图像；

图7图示了根据一示例性实施例的示例性全景光学系统，其构建一个360度全景摄像设备；

图8图示了根据全景摄像设备的实施例的两种配置，其将图像从光学图像传输模块传输到图像传感器；其中，图8-A图示了一套输出面直接连结到图像传感器上的光学图像传输模块；图8-B图示了一种将图像光经由中继透镜从光学图像传输模块的输出面传送到图像传感器的间接中继透镜方法；

图9描述了一个用来捕捉半球体视场的光学图像摄像系统的实施例；图9-A描述了一个输出面长宽比为4：3的示例性波导束配置；在另一实例中，图9-B描述了输出面长宽比为1：1的示例性波导束配置；

图10描述了一个捕捉完整球体视场的光学图像摄像系统的实施例；其中，图10-A描述了一个输出面长宽比为4：3的示例性波导束配置；在另一实例中，图10-B描述了一个输出面纵横比为1：1的示例性波导束配置；

图11图示了一个实施例，其中，全景图像被分隔成四段并分别被投射到单个图像传感器；

图12描述了全景摄像校准的程序。图12-A图示了用于如图8-A所示的直接连结配置的校准程序。图12-B图示了用于如图8-B所示的中继透镜配置的校准程序。图12-A还呈现了在用户端的适应性校准程序；和

图13描述了图像数字化、畸变校正和全景图像重建的进程。

具体实施方式

本节所述之实施例及相关联的附图实例用于做示例性说明。零件的设计，透镜/光纤波导的数目及其位置安排可以根据应用和设计要求而做出相应变化。

图1示出根据本发明实施例的一种全景摄像系统，其包括四个透镜101、包含多个光纤波导组成的光学图像传导模块102、图像传感器103、和接收并处理原始图像流以产生全景图像的图像处理模块104。在全景摄像系统的初始特性中，图像处理模块104执行校准阶段105的图表以生成图像校正映射网格107并将其存储在存储器模块中。在校准完成之后，图像处理模块104执行实时全景拼接阶段106的图表，应用图像校正映射网格107去除图像畸变，并拼接多个图像段以生成全景图像。全景图像将被进一步编码并发送到合适的存储设备108中，存储设备108例如可以是存储卡、硬盘驱动器或任何其他数据存储装置。编码后的全景图像或全景视频通过串流方法108进行传输，串流方法例如可以是Wi-Fi、蓝牙或高速蜂窝数据等。

基于本发明的全景摄像系统包括多个光学透镜。图2描述了一个基于本发明实例的单个光学透镜单元的视场角(FOV)P_i。所谓的全景场景N被定义为球面两条虚线202之间的环形区域。光学透镜单元201的视场角P_i被描述为，

P_i＝f(α_i,β_i,o_i)

其中α_i，β_i和o_i分别是独立的光学透镜单元201的水平视场角，垂直视场角以及朝向。多个光学图像透镜被放置在朝向为的环形柱体内，其中为z轴203和o_i之间的角度，为x轴204和o_i在xy平面上的投影之间的角度。每个单独的光学透镜单元201捕捉全景场景N的一部分，那么多个光学透镜捕捉到图像P，该图像P包含了全景场景N，即：

图像透镜201的朝向o_i根据每个透镜单元的水平视场角α_k间隔开合适的角度，以满足公式：

其中，是参考光学透镜的朝向o_i。

图3描述了基于本发明实施例的示例性弯曲光纤波导。光纤波导由数以百万计的直径小到几微米的光纤组成。由于光纤的全内反射效应，每根光纤可以将光线传输到输出侧且能量损失很少。在所示的例子中，光纤波导301的中心线按弯曲曲率半径r和弯曲角度θ进行弯曲。从光纤波导301的输入面302进入的光线弯曲θ角度后传送到光纤波导301的输出面303。这样的话，来自输入面302的图像可被传输到输出面303而朝向改变了θ角度。

图4描述了一个基于本发明实施例的示例性扭转光纤波导。在所示的例子中，光纤波导401被沿着其中心线扭转γ角度。这样的话，输入面402的图像可在旋转γ角度情况下被传输到输出面403。

图5描述了一个基于本发明实施例的示例性扭转弯曲光纤波导。在所示的例子中，首先，光纤波导501沿其中心线扭转γ_i角度，然后其中心线弯曲θ_i角度。其结果是，输入面503的图像可传递到输出面502，而朝向相应旋转和相对应的θ_i和γ_i角度。采用光纤波导501，该输入面502可朝向为指向任意方向，而输出面503的朝向是固定的。

图6描述了一个基于本发明实施例的示范性全景摄像系统。在示例中，四个光学透镜601、602、603和604被均匀地放置在一个环形柱体中。经过设计，每个光学透镜被设计为以超过90度的水平视场角能进行捕捉拍摄。示例中所示的四个光学透镜的朝向是

o₁＝{90,0},o₂＝{90,90},o₃＝{90,180}，和o₄＝{90,270}，

其中，o₁是光学透镜601的朝向，o₂是光学透镜602的朝向，o₃是光学透镜603的朝向，以及o₄是光学透镜604的朝向。由于水平视场角大于相邻的光学透镜的分离角，示例中的四个光学透镜的组合是能够捕捉到360度图像的。由每个单独的镜头拍摄的图像，通过由四个光纤波导605，606，607和608组成的光学传像束，被传输到主图像传感器609上。示例中，光纤波导605和光纤波导607是弯曲的光纤波导，弯曲角为θ＝90度；光纤波导606和光纤波导608均被扭转和弯曲，扭转角为γ＝90度，弯曲角为θ＝90度。这四个光纤波导采用合适的光学粘合剂连接在一起以形成共同输出面。输出面被抛光并连结到主图像传感器609上。在另一实例中，光纤波导的输入和输出面均为正方形，在此情况下，该光学图像传输模块包括四个弯曲角度为θ＝90度的光纤波导。又一实例中，多于四个的光学透镜可以用来捕捉360度图像。相邻光学透镜的分离角由360/M来确定，其中M是光学透镜的总数。水平视场角α_i要求大于360/M，以覆盖全景场景。

图7描述了一个基于本发明实例的全景摄像系统外部视图的示范性实施例。四个透镜601、602、603和604均匀地安装在镜头支架上，由于在装配上会有偏差，必须在六个自由度(俯仰，偏转，侧倾和(X，Y，Z))上具有可容忍的装配误差，并导致图像在的x和y轴位移。一般位置上的装配偏差可以在制造过程中被优化，最终光学性能也被控制在光学设计的可接受范围内。

在该示例性实施例中，整个外壳是防水的，对温度不敏感并且抗击打，这使得该装置可以安装在外墙、车辆、头盔、遥控移动机器人上，并且能够在高海拔或水下危险环境中使用。

在该示例性实施例中，顶盖是平坦的，并且可以是磁性的以便于吸附到金属表面。四个透镜支架可以正好钻在外壳的侧面。光学透镜被安装到镜头支架上，其中，可以使用适当的防水接合材料以用于预防漏水。光学透镜的位置和倾斜角度可以根据各种应用和摄像机安装环境的不同进行配置。例如，摄像机如果安装在天花板上，可以被配置好以捕捉下半球视图。外壳的下半部分包围住光纤图像传输和图像传感器。它被密封及加固以防水、耐压和抗冲击。

在图6所示的示范性全景摄像系统中，光学图像传输模块的输出面传送到图像传感器609上。为了成功地将光从成像光纤束耦合到图像传感器上，图像传感器和光纤束必须非常接近。光在各单独光纤中以大角度入射，光纤和图像传感器之间的间隙将导致分辨率损失。为了获得的令人满意的结果，图8描述了两种根据本发明实施例的用来耦合光纤束和图像传感器的类型的方法。

如图8-A所示，光学图像传输模块的输出面通过采用合适的光学粘合剂被直接耦合到图像传感器609上。为了确保得到满意的质量，粘合过程应在洁净室环境中进行，以避免灰尘颗粒遗留在粘接层。用于粘合的光学粘合剂的选择应考虑选用在固化时具有低收缩率，针对冷光的高透射率以及低粘度。粘合剂也预期要具备热稳定性和化学稳定性，并具有高机械强度和低热膨胀系数。相对于传统透镜，光纤提供更高的50％至90％的光收集效率。在弱光应用中，直接耦合的好处更加明显。

如图8-B所示，这是一种将图像光从光学图像传输模块的输出面经由中继透镜801传送到图像传感器609的间接中继透镜方法。与图8-A中的直接耦合法相比较，这种方法增加了将光学图像传输模块的输出面与图像传感器连接的间距，因此它可能会增加全景相机的整体尺寸。另一方面，间接中继透镜法的设计灵活性更佳。在示例中，放大比r将由从光学传输模块的输出面到中继透镜801的距离b和中继透镜801到图像传感器609的距离a来决定，三者满足以下方程：

通过调整放大比r，该方法允许选择不同尺寸的图像传感器609和光纤波导，因此提供了更多的设计灵活性。

图9描述了一个基于本发明实例的示例性半球形摄像机系统。在示例中，四个光学透镜901、902、903和904被均匀地放置在一个弧形球面体上。经过设计，每个光学透镜捕捉的水平视场角能超过90度。示例中所示的四个光学透镜的朝向分别是：

o₁＝{45,0},o₂＝{45,90},o₃＝{45,180}和o₄＝{45,270}，

其中，o₁是光学透镜901的朝向，o₂是光学透镜902的朝向，o₃是光学透镜903的朝向，以及o₄是光学透镜904的朝向。每个单独的光学透镜的视场角被设计成其水平视场角α_i>90度和垂直视场角β_i>90度。

大部分市售的图像传感器采用诸如4：3或16：9的不相等宽高比格式。为了提高图像传感器利用效率，图9-A描述了一个基于本发明实例的示例性光学图像传输模块配置。在示例中，四个光纤波导被捆绑在一起，用于将来自四个光学透镜的图像传送到输出面。每个单独的光纤波导的输入面和输出面使用相同宽高比。905和907是具有弯曲角度θ＝90度的弯曲光纤波导；906和908是具有扭转角γ＝90度和弯曲角度θ＝45度的扭转弯曲光纤波导。四个光纤波导通过合适的光学粘合剂粘合在一起并形成一个共同的输出面，从而确保耦合输出面拥有与图像传感器相同的宽高比。

图9-B描述了另一个基于本发明实例的示例性光学传像束的配置。在示例中，四个光纤波导被捆绑在一起，用于将四个光学透镜拍摄的图像传送到输出面上。每个单独的光纤波导的输入和输出面宽高比为1：1。由于宽高比的选择，四个光纤波导915、916、917和918都是具有弯曲角度θ＝90度的弯曲光纤波导。选择这种结构可帮助减少光纤波导的制造成本。但是，如果摄像系统采用宽高比为4：3或16：9的商用图像传感器，而又采用宽高比为1：1的光纤波导，传感器格式效率将减少25％至45％。为了最大限度地提高传感器利用率，可将图像传感器905设计成宽高比为1：1。

图9的两个例子都表明，来自耦合输出面的图像通过光学中继透镜传送到图像传感器上。在另一个类似于图8-A的示例中，光纤波导束的耦合输出面可以用适当的光学粘合剂直接耦合到所述图像传感器上。

在另一个实例中，图10描述了一个基于本发明实施例的全球形摄像系统。两个半球形摄像系统被背对着放置安装以捕获球形视图，其中上半部和下半部分别接收上半球和下半球的场景图像，并将图像传输到与之对应的图像传感器上用于进一步处理。可以根据图像传感器的宽高比来配置两种类型的光学传像束。在一个实例中，图10-A描述的示例性光学传像束配置的输出面宽高比为1:1。在另一实例中，图10-B描述的示例性光学传像束配置的输出面宽高比为4：3。

在另一个实例中，图像传感器103从光学图像传输模块102接收图像。图11-A描述了一个基于本发明实例的示范性全景图像，它被分成了四个段N1，N2，N3和N4。每一段对应一个90度视场角的子图像。图11-B描述了由图像传感器103接收到的图像。根据图8中所述的光学传输模块的配置，每个子图像可以具有不同的旋转角。在示例中，包含四个光纤波导(605，606，607和608)的光学传输模块被用于从四个光学透镜传送图像至图像传感器103，四个子图像P1，P2，P3和P4与从四个光学透镜601，602，603和604接收到的图像一一对应。子图像P2和P3与P1和P4相比较，具有180度的朝向差。

透镜101和中继透镜801都受制于标准镜头畸变，该畸变可以通过摄相机单应模型和镜头失真模型来描述。在实际应用中，如果摄相机所承受的机械冲击导致以下相对平移和旋转位置的变化，摄相机单应模型会在操作期间发生改变，上述情况包括：1)光学透镜单元101和光学图像传输的输入面之间；2)光学图像传输的输出面和中继透镜801之间；3)中继透镜801和图像传感器609之间。因此，校准过程对于由子图像重建全景图像而言是必要的。制造时完成全部的校准，正常工作时完成自适应校准。

在图12的流程图描述的实施例中，校准过程是制造过程的一部分。在一个实施方案中，如在图8-A所示的光纤束下，在整体组装完成后才进行校准。摄相机被放置在全景图像校准环境中(步骤1201)。正如前面所提到的，由每个透镜601-604捕获的图像被转移到光学图像传输的输出面上。在上述输出面的光纤波导605-608之间的界限都是通过搜索盲区进行标识的(步骤1202)。为了确保没有盲区，采用标准镜头校准图表拍摄不同朝向的多张照片(例如编号为棋盘图像)。然后使用普通单相机校准算法基于子图像针对每个透镜来校准照相机参数和镜头失真模型(步骤1203)。经过验证后(步骤1204至1205)，根据配置捕获并旋转每个子图像(步骤1206)。然后，透镜之间的重叠部分是通过发现子图像之间的匹配特征来确定(步骤1207)。最终验证之后(步骤1208-1209)，最后的校准结果存储在永久存储器里(步骤1210)。

另一个实施例中，在图8-B中所示的中继透镜的情况下，摄像机参数和透镜畸变需要在所述光学透镜101校准之前单独校准。在制造过程中，首先组装图像传感器801和中继透镜609(步骤1211)，并放置到单个摄相机校准环境中(步骤1212)。然后校准中继透镜的摄相机参数和透镜畸变(步骤1213)。验证后(步骤1214至1215)，光学图像传输和输入透镜被组装起来进行剩余的校准(步骤1201至1210)。

在用户端，上述全景相机可能会受到强烈的机械冲击，如强烈的机械振动。在极端温度(材料的耐热温度极限)的情况下，由于壳体或透镜支架材料的热特性，装配过程中的壳体或透镜支架就可能出现不均匀畸变。这两个因素可以改变摄相机和镜头的参数，尤其是所述光学透镜101和光学图像传输的参数，因为它们相比中继透镜801进一步远离图像传感器609。在最坏的情况下，机械变形导致可观察到的图像质量下降并直接影响到最终的全景图像，例如在缝合全景场景时有除去重叠或失去连续性，以及径向图像失真等。因此，有必要执行自适应校正以恢复用户端的全景图像质量。在用户端的自适应校准按照如图12-A所示的相同步骤进行。通过使用预先校准的相机和透镜参数作为初始值，所述自适应校准程序可以实现比上述参数快得多的收敛速度。

图13的流程图描述了在图像数字化处理后在数字信号处理器中的处理过程。子图像由每个光学透镜单元101捕获并引导到单独的图像传感器609上(步骤1301-1302)。然后将原始数字图像划分成多个段(步骤1303)。图像处理算法，镜头畸变校正模型和去除重叠模型(步骤1304)适用于所有子图像。校正后，将子图像旋转和缝合以形成最终的全景图像(步骤1305)。

Claims (16)

1.一种用于观察全景场景的光学成像系统，其特征在于，包括：

多个光学模块，包括：

两个或两个以上的一组光学透镜单元，其中每个光学透镜单元分别包含一个或多个光学元件，用来收集所述全景场景的一部分并形成成像面上的子图像；

光学图像传输模块，包括多个被光学耦合到每个光学透镜单元的光纤波导，以从相应的成像面接收光，其中每一个光纤波导被弯曲和/或扭转适当的角度，将光从光纤波导的输入面传送到指向主图像传感器的输出面；

光学传导机构，用于将从光学图像传输模块的输出面发出的光传输到主图像传感器；

主图像传感器，用于将接收到的光信号转换成数字图像；

一个支撑夹具，用于固定光学图像传输模块和光学传导机构；

图像处理模块，用于从数字图像信号构建全景图像。

2.如权利要求1中所述的系统，其特征在于，单个光学透镜单元捕捉上述全景场景的一部分，每个光学透镜单元的视场角的计算公式为：

P_i＝f(α_i,β_i,o_i)，

其中α_i，β_i和o_i分别是每个光学透镜单元的水平视场角，垂直视场角以及朝向。

3.如权利要求1中所述的系统，其特征在于，多个光学透镜被放置在一个朝向为的环形柱体中，光学透镜的朝向o_i根据每个光学透镜单元的水平视场角α_k隔开合适的角度，满足公式：

其中，是参考成像透镜的朝向o_i。

4.如权利要求1中所述的系统，其特征在于，所述一组光学透镜单元捕获包含全景场景的图像，即：

其中N表示全景场景。

5.如权利要求1中所述的系统，其特征在于，其中每个光纤波导的输入面通过合适的耦合方法光学耦合到相应的光学透镜单元的成像面上，以便从相应的成像面接收光。

6.如权利要求1中所述的系统，其特征在于，所述光学图像传输模块将多个具有合适的弯曲和扭转角度的弯曲和扭转的光纤波导组合起来，其中，它们的输入和输出面允许不等的宽高比格式；光纤波导的输出面被连结起来以形成共同输出面；然后共同输出面处的目标图像通过所述光学传导机构被传送到图像传感器上；上述共同输出面保持不相等的宽高比格式。

7.如权利要求1中所述的系统，其特征在于，光学图像传输模块将具有合适的弯曲角度的多个弯曲光纤波导结合起来，其中，该多个光纤波导的输入面和输出面允许形成相等的宽高比格式，光纤波导的输出面被连结合起来以形成共同输出面；在共同输出面处的目标图像通过所述的光学传导机构被传送到图像传感器上；上述共同输出面保持相等的宽高比格式。

8.如权利要求1中所述的系统，其特征在于，光学传导机构采用合适的光学清洁粘合剂将光学图像传输模块的共同输出面直接连结到图像传感器，所述图像传感器从光学传输模块无缝接收光信号。

9.如权利要求1中所述的系统，其特征在于，包含光学透镜单元、光学图像传输模块和主图像传感器在内的光学全景成像系统被安装在支撑夹具上，其中支撑夹具的顶盖能够磁性附着到合适的表面上。

10.如权利要求1中所述的系统，其特征在于，一组光学透镜单元被放置在一个环形柱体中，其中每个透镜单元捕获环形全景场景的一部分场景P_i，所有P_i部分的联合包含有环形全景场景N。

11.如权利要求1中所述的系统，其特征在于，所述一组光学透镜单元被放置在一个半球形柱体中，其中每个光学透镜捕获半球形全景场景的一部分场景P_i，所有P_i部分的联合包含有半球形全景场景N。

12.如权利要求1中所述的系统，其特征在于，一组光学透镜单元被放置在一个完整球形的柱体中，其中每个透镜单元捕获完整球形的全景场景的一部分场景P_i，所有P_i部分的联合包含有完整球形的全景场景N。

13.如权利要求1中所述的系统，其特征在于，图像处理模块将数字图像中的失真和重叠从图像传感器移除。

14.如权利要求1中所述的系统，其特征在于，图像处理模块将经过校正的数字图像分割成多个段并旋转缝合每个段以形成最终的全景图像。

15.一种用于观察全景场景的光学系统，其特征在于，包括：

多个光学元件，包括：

两个或两个以上的一组光学透镜，其中每个透镜分别包含一个或多个光学元件，以收集全景场景的一部分并形成成像面上的子图像；

光学图像传输模块，其包括多个被光学耦合到每个光学透镜单元的光纤波导，以从相应的成像面接收光，其中每一个光纤波导被弯曲和/或扭转一定的角度，将光从输入面传输到指向主图像传感器的输出面；

主图像传感器，用于将接收到的光信号转换成数字图像；

位于光学图像传输模块和图像传感器之间的中继透镜，用于将目标图像从输出面投射到主图像传感器；

一个支撑夹具，用于固定光学图像传输模块和/或光传导机构；

图像处理模块，用于从数字图像信号构建全景图像。

16.如权利要求15所述的系统，其特征在于，所述中继透镜，作为权利要求8的替代方案，将目标图像从所述光学图像传输模块的输出面投射到图像传感器上，其放大比率由下式确定：