CN110211028A - 一种基于球面全景显示的鱼眼图像显示方法 - Google Patents

Abstract

本发明公开了一种基于球面全景显示的鱼眼图像全景显示方法，步骤包括：1.图像网格化；2.图像正射变换；3.鱼眼图像球面化贴合寻址。可用于封闭座舱等环境下用于球面屏幕的全景图像显示，可以将鱼眼图像转化成适用于球面显示的全景图像。本发明为新型的球面全景显示，提供了一种显示方法，在兼容传统的行列式寻址方法的同时，将便于感光采集及存储的双鱼眼全景图像，复现在球面上，克服鱼眼图像的畸变存储，完成从平面鱼眼图到全景显示器的显示过程,达到“沉浸式”观看效果。

Description

一种基于球面全景显示的鱼眼图像显示方法

技术领域

本发明涉及封闭座舱信息显示及交互领域，全景图像显示领域，具体涉及一种基于球面全景显示的鱼眼图像显示方法。

背景技术

近年来，增强现实技术，虚拟现实技术，航空领域等多个领域迅速发展，对于全景图像的采集与显示要求不断提高，封闭座舱内进行全景显示的地位和价值愈发凸显。

基于虚拟现实的全景显示系统是现有方案中较为热门的全景显示方法，但使用者必须佩戴VR设备，当前多为VR眼镜。这会对使用者的行动带来不便，同时这种实现方式也存在着视野范围小，边缘畸变，晕眩感等诸多问题。

传统的封闭座舱显示系统中多采用多单元显示的方案，即通过多块二维屏幕拼接为全景显示。此方法寻址方案较为简单，通过多块视频采集卡控制多块屏幕显示的内容，将不同图像显示于不同屏幕中，即可完成全景图像的显示。但传统的拼接方案基于二维屏幕拼接实现，当封闭座舱为球体或其他不规则图案时，上述方案将难以实现。

对于全景图像的采集，鱼眼镜头采集180度视场的全景图像是一个很成熟的技术，然而对于相应的全景显示，却没有方便成熟的方案。

发明内容

本发明所要解决的技术问题是：

为了克服鱼眼图像的畸变存储，完成从平面鱼眼图到全景显示器的寻址显示过程，以及二维屏幕难以自由拼接的问题，本发明提出一种基于球面全景显示的鱼眼图像显示方法。

本发明为解决上述技术问题采用以下技术方案：

本发明提出一种基于球面全景显示的鱼眼图像显示方法，其特征在于，所述显示方法步骤包括：

步骤一、图像网格化：以圆形鱼眼图像的圆心为中心，将所述圆形鱼眼图像平均划分为N个原始区域，且令单位间隔角度为D，有如下公式：

N＝360÷D

所述原始区域为扇形，用于变形变换后贴合于球面；来自单幅鱼眼图像的原始区域变形后用于覆盖半个球面，球面的全表面由两幅鱼眼图像的原始区域变形覆盖；

步骤二、图像正射变换：对步骤一得到的原始区域进行变换，得到一个平面曲边区域，所述平面曲边区域用于近似贴合到球面；将所述平面曲边区域近似贴合到球面，形成球面近似贴合区域，组成球面全景图像；在所述原始区域边缘半径上取一点M，点M处沿周长方向的扇形弧长记为s，点M到圆心的距离记为t；点M对应平面曲边区域和球面上的点M’；以所述平面曲边区域的对称轴为y轴，点M沿y轴方向到平面曲边区域边缘的距离为高度L’；三维坐标系内，点M’在球面上沿纬度方向的弧长记为s’，点M’沿z方向到xOy平面的距离记为h，点M’与原点的连线与所述连线在xOy平面上的投影形成的夹角为所述参数对应的数量关系如下：

步骤三、鱼眼图像球面化贴合寻址：所述球面全景图像参与寻址，所述驱动与寻址顺序按照网格区域化进行。

如前所述的一种基于球面全景显示的鱼眼图像显示方法，进一步地，在步骤二中，将所述球面近似贴合区域的弦长作为平面边长，将所述球面近似贴合区域近似为n个平面多边形区域的组合，其中包括一个三角形区域和n-1个梯形区域；令所述区域作为参与寻址的网格进入步骤三。

如前所述的一种基于球面全景显示的鱼眼图像显示方法，进一步地，步骤一所述圆形鱼眼图像的获取方式包括全景相机、鱼眼镜头相机以及小行星投影模型合成。

如前所述的一种基于球面全景显示的鱼眼图像显示方法，进一步地，步骤三中使用FPGA或ASIC方法设计SOC来设计全新的显示驱动。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.本发明所述方法为全景球面显示提供了一种全新的显示方法，解决了现有图像采集格式难以适配球面全景显示的难题，使得当下广泛存在的鱼眼镜头，其所采集的鱼眼格式图像，能够直接兼容球面全景显示器，避免了直接观看鱼眼图带来的畸变和穿戴式观看的繁琐；

2.本发明提供的显示方案，相较于可穿戴显示方案如VR眼镜，观看者无需佩戴任何设备，并且解决了可穿戴显示方案存在的视野范围小的问题；而相较于二维拼接实现全景显示，没有拼接带来的图像畸变和质量损耗，在特定的焦距能够较为完整地复现全景光场，能够给观看者提供更好的“沉浸式”体验。

附图说明

图1为球面全景显示结构图；

图2为球面全景显示电极分布图；

图3为鱼眼图像寻址方案流程图；

图4为鱼眼图像网格化方案效果图；

图5为鱼眼图像正射变换及球面化贴合方案示意图；

图6为弦平面切分图；

图7为弧长弦长对应关系图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明提出了一种基于球面全景显示的鱼眼图像显示方法，目的是将全景摄像头采集到的，或输入的鱼眼图像转化为球面图像，并在一种全景球面显示器上寻址并显示。本发明所基于的全景球面显示器既可以实现向内显示也可实现向外显示。全景球面显示器的示意图如图1所示。全景球面显示器的部件具体地包括：球形外壳2，球形电路基板3，MiniLED材料4，球形保护层5，球形上电极板6，寻址电路7，供电设备8，视频输入接口9。

接下来以向外显示的全景球面显示器为例，说明其硬件连接关系。本发明所述的球形外壳2，构成了球面显示器的整体结构模型，作为整个模组的硬件架构。球形外壳上附着一层球形电路极板3，作为显示面板的电极，作为MiniLED的驱动源，球形电路基板3上附着MiniLED材料4，作为显示器件的发光源，在MiniLED材料4贴上基板后，利用物理沉积完成球形保护层5及球形上电极板6的制作。这些结构构成了整个显示模组。显示器的显示电路驱动结构与全景显示器的寻址方式有关。

所述的球形电路基板3及球形上电极板6，其中球形电路基板3由沿径向分布的电极组成，如图1所示，径线间隔可取为0.5度。球形上电极板6由沿纬度方向分布的环形电极组成如图2所示，纬度间间隔可取为0.5度。所述球形电路基板3和所述球形上电极板6共同构成网格状交错分布的导电电极；它们分别与寻址电路7相连接，以实现对于不同经纬度上的MiniLED点的驱动。所述寻址电路7的结构是与所述方法中的网格分割方式对应网格化的。

基于具有上述功能的全景球面显示器，本发明提出一种基于全景球面显示的鱼眼图像显示方法。该方案中，基于单幅鱼眼图像变形而来的立体图像覆盖180度的半球体，对两幅鱼眼图像进行变形操作，则可覆盖360度的球体。图3所示为本方法的流程图。

一、图像网格化方案(A)：

首先将一幅鱼眼图像分割为若干扇形区间，分割成的区间数量取决于应用场景，越精细则球面贴合效果越好。此处对图像进行的扇形网格化分割也决定了球形基板上的电极分布及电路驱动样式。鱼眼图像的获取方式可以来自全景相机、鱼眼镜头相机，也可来自计算机合成，例如小行星投影模型合成。

定义单位间隔角度D，总扇形区域个数N，利用如下公式：

N＝360÷D

计算出将图像划分为的区域个数。图4示例性地将图像划分为16个区域，即D＝22.5°。

图4为鱼眼图像网格化方案效果图。如图4所示，在上述参数下，将鱼眼图像等分为16个区间，对应于16个扇形，每个扇形对应于球面显示器的N个区间的一半，两幅鱼眼图的切分正好对应于球面显示器的N个区间，用于后文将对应的图像贴合于球面显示器中。

二、图像正射变换(B)：

接下来，对(A)中分割得到的平面扇形区域分别进行正射变换，所述正射变换的规则如下所示。

图5为鱼眼图像正射变换及球面化贴合方案示意图。如图5所示，图5(c)为球面三维立体图，图5(b)为球面上剥离出来的平面近似贴合扇形图，可认为图5(b)可近似贴合到三维球面上。本发明所述的图像正射变换(B)过程，就是将图5(a)所示的二维平面扇形图，变换成图5(b)可近似三维贴合的平面图的操作。

如图5(a)所示，图中扇形半径为R，单位间隔角度为D，则对于图5(a)中扇形区域边缘任意一点M，以该点至扇形顶点的距离t为半径，扇形顶点为圆心作弧，与所述扇形两条半径分别相交得到一段弧，所述弧长取为s；经过正射变换后，在平面变换图形上对应的点是M’，如图5(b)所示。以点M’至多边形顶点的距离为半径，多边形顶点为圆心作弧，与所述多边形的两侧边分别相交得到一段弧，所述弧长取为s’；如图5(c)所示，球半径为R，当点M’贴合到球面后，在三维坐标系中对点M’定位，此时令点M’在z方向的高度为h，点M’与原点的连线与所述连线在xOy平面上的投影形成的夹角为图5(b)二维贴合图像中M’点的高度为L’，在图5(c)中即为M’到赤道的经度弧长。所述参数对应的数量关系如下：

使用所述的正射变换对分割后的平面扇形图像进行变换，目的是将所述平面扇形区域变换成适用于空间显示的球面化贴合图像。

三、球面化贴合方案(C)：

将上一步骤得到的经过正射变换后的图像对应贴合于球面显示器的各个区域，即可得到完整的球面显示图像。

本发明基于的MiniLED全景显示器具体结构如图1所示，球形外壳2，球形电路基板3，MiniLED材料4，球形保护层5，球形上电极板6，寻址电路7，供电设备8，视频输入接口9。

全景图像通过视频输入接口输入显示器，通过本发明所设计的寻址方案，将存储的图像像素，一一显示在显示器面板上。基于球面全景显示器的结构特点，显示器上有球形的上电极板，用于显示器各个模块的供电。电极板上的球形基板，用于给MiniLED贴片，基于MiniLED的尺寸，在球面上进行单个颗粒贴片形成整个显示器是可行的。

基于MiniLED的尺寸大小所发明的全景显示器，其关键仍在于寻址，也就是如何将存储图像映射到每一个MiniLED上。本发明令寻址电路对应于步骤一划分的网格，每个网格区域驱动单独供电，寻址顺序也按照网格区域化进行，将一个网格内的像素寻址完成后，进入下一个网格进行寻址。显示驱动可以采用传统的行列式扫描，也可以使用LED驱动芯片设计，或使用FPGA或ASIC方法设计SOC来设计全新的显示驱动。

实施例1

按照本发明提出的思想，将鱼眼全景图像网格化的过程不限于形成扇形网格化区域，也可以将扇形网格化区域再进行切割，利于以平面近似球面进行像素贴合。本实施例中，将扇形区域分成n份，此处以n为2，N为8进行示例说明。如图6所示，球面上的M点所在的扇状区域可以分为2块；又由于两个半球面为对称结构，所以南半球也可以做同样的划分。此处以弦长作为平面边长，以弦平面代替圆平面。

设球半径为R，直径为d。取N为8，n为2，如图7所示，各弧长关系如下：

弧长构成的弧面，对应于图7中右侧的弦平面，各边长关系如下所示：

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于球面全景显示的鱼眼图像显示方法，其特征在于，所述显示方法步骤包括：

步骤一、图像网格化：以圆形鱼眼图像的圆心为中心，将所述圆形鱼眼图像平均划分为N个原始区域，且令单位间隔角度为D，有如下公式：

N＝360÷D

所述原始区域为扇形，用于变形变换后贴合于球面；来自单幅鱼眼图像的原始区域变形后用于覆盖半个球面，球面的全表面由两幅鱼眼图像的原始区域变形覆盖；

步骤二、图像正射变换：对步骤一得到的原始区域进行变换，得到一个平面曲边区域，所述平面曲边区域用于近似贴合到球面；将所述平面曲边区域近似贴合到球面，形成球面近似贴合区域，组成球面全景图像；在所述原始区域边缘半径上取一点M，点M处沿周长方向的扇形弧长记为s，点M到圆心的距离记为t；点M对应平面曲边区域和球面上的点M’；以所述平面曲边区域的对称轴为y轴，点M沿y轴方向到平面曲边区域边缘的距离为高度L’；三维坐标系内，点M’在球面上沿纬度方向的弧长记为s’，点M’沿z方向到xOy平面的距离记为h，点M’与原点的连线与所述连线在xOy平面上的投影形成的夹角为所述参数对应的数量关系如下：

步骤三、鱼眼图像球面化贴合寻址：所述球面全景图像参与寻址，驱动与寻址顺序按照网格区域化进行。

2.如权利要求1所述的一种基于球面全景显示的鱼眼图像显示方法，其特征在于，在步骤二中，将所述球面近似贴合区域的弦长作为平面边长，将所述球面近似贴合区域近似为n个平面多边形区域的组合，其中包括一个三角形区域和n-1个梯形区域；令所述区域作为参与寻址的网格进入步骤三。

3.如权利要求1所述的一种基于球面全景显示的鱼眼图像显示方法，其特征在于，步骤一所述圆形鱼眼图像的获取方式包括全景相机、鱼眼镜头相机以及小行星投影模型合成。

4.如权利要求1所述的一种基于球面全景显示的鱼眼图像显示方法，其特征在于，步骤三中使用FPGA或ASIC方法设计SOC来设计全新的显示驱动。