CN103413339A - 十亿像素高动态范围图像重建与显示的方法 - Google Patents

Abstract

本发明提出了一种十亿像素高动态范围图像重建与显示的方法，包括以下步骤：获取多个百万像素级的子图像；将所获取的子图像拼接成十亿像素的球面图像，并调整球面图像的动态范围；根据用户的需求，交互式地将拼接成的图像显示给用户。根据本发明的方法，不仅可以获取细节完整、不同动态范围的全景图像，而且方便用户智能地调取关心的局部图像并展示出来。

Description

十亿像素高动态范围图像重建与显示的方法

技术领域

本发明属计算机视觉领域，具体涉及一种十亿像素高动态范围图像重建与显示的方法。

背景技术

随着计算机计算能力不断提高以及拍摄设备的不断改进，人们希望在得到全景图像的同时，又不损失细节信息。单个相机的分辨率、动态范围、视野往往是互相制约的，通过多个摄像头进行采集，将得到的图像进行拼接，可以突破单相机的制约，拼接得到超高像素图像。

但现有技术中，超高像素图像拼接具有如下困难：

1为了获取更高的动态范围，不同相机的曝光时间不同，因此每张图像都有自己的动态范围，难以进行直接拼接。

2超高像素数据量非常巨大，如果全部读入显示需要耗费很大的内存资源，而如果需要网络传输，也会占据较大的带宽。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的一个目的在于提出一种高动态范围、可智能调取局部图像的十亿像素高动态范围图像重建与显示的方法。

为达到上述目的，本发明提出一种十亿像素高动态范围图像重建与显示的方法，包括以下步骤：S1.获取多个百万像素级的子图像；S2.将所述子图像拼接成十亿像素的球面图像，并调整所述球面图像的动态范围；S3.根据用户的需求，交互式地将所述用户所需图像显示给用户。

进一步地，所述步骤S1，还包括：S11.在半球摄像台上分布多个相机定位孔，并获得所述多个相机定位孔相对位置的先验信息；S12.在所述相机定位孔中设置百万像素级的长焦镜头的相机；以及S13.通过硬件控制程序使所述相机同时进行拍照，并将获得的子图像存储到计算机中。

进一步地，所述步骤S2，还包括：S21.读取所述子图像上每一个像素R、G、B三通道的值；S22.调整所述子图像的动态范围，对R、G、B三通道的值进行归一化，每一个像素的原始R、G、B三通道的值R_pre，G_pre，B_pre与归一化后的R_post，G_post，B_post的计算关系为：

其中f(t)是和曝光时间t相关的函数，取f(t)=t；S23.将归一化后的所述子图像进行对齐操作：在每张所述子图像上提取一些特征点，然后在邻近相机的子图像上进行特征点匹配，将匹配到的特征点标记成全局坐标；S24.根据所述特征点对所述子图像进行图像分割操作，计算出拼接后球面图像中的每个区域与相应的所述子图像的对应关系，其中，每个所述区域都是一个由三个所述特征点坐标表示的三角形；以及S25.根据所述特征点在子图像上的局部坐标和所述球面图像上的全局坐标之间的关系，利用仿射变换计算出拼接后图像上每一个像素点上R、G、B三通道的值，其中仿射变换为(x',y',1)=A(x,y,1)，其中A表示仿射变换矩阵，(x',y')表示变换后的所述全局坐标，（x,y）表示变换前的所述局部坐标，A是通过子图像和球面图像三角形三个顶点坐标计算得到的。

进一步地，所述步骤S3还包：S31.将所述球面图像变换为圆柱面图像，根据原球面图像坐标x_o，y_o，z_o计算出圆柱面图像的变换坐标x_p，y_p，z_p，采用计算转移参数x_t，r_t，z_t，令x_t=0，z_t=1-r_t，其中α∈（0，π/6），计算公式为

y_p=y_o，

S32.对所述圆柱面图像分级进行切分，记所述圆柱面图像宽度为w，高度为h，切分大小为c，切分级别为g，其中切分级别g表示每g个点取一个点，宽度上切成

份，高度上切成

份，其中[]表示向上取整，将原圆柱面图像上宽度为[1+i*cg，min((i+1)*cg，w)]中被g除余1，高度为[1+j*cg，min((j+1)*cg，h)]中被g除余1的所有点按照原来的顺序存入g-i-j中。其中i=0，1，2，…，nw-1；j=0，1，2，…，nh-1；S33.计算用户需求的图像级以及对应的图像块，记用户需求的原图宽度范围从w₁到w₂，高度范围从h₁到h₂，计算原图

需求 $s^{\′}=\sqrt{(w_2-w_1)*(h_2-h_1)},$ 读取切分级别 $g^{\′}=\[{\log }_2\frac{s}{s^{\′}}\]-1,$ 宽度索引从 $i_1=\[\frac{w_1}{c*g^{\′}}\]-1$ 到 $i_2=\[\frac{w_2}{c*g^{\′}}\]-1,$ 高度索引从 $j_1=\[\frac{h_1}{c*g^{\′}}\]-1$ 到 $j_2=\[\frac{h_2}{c*g^{\′}}\]-1,$ 其中[]表示向上取整；S34.将所述图像块进行组合，将g’_i₁_j₁到g’_i₂_j₂的图像按照顺序拼接成宽度为(i₂-i₁+1)*c，高度为(j₂-j₁+1)*c的图像；S35.分割出用户需要的图像内容，记用户需求的原图宽度范围为从w₁到w₂，高度范围为从h₁到h₂，这个区域在所述步骤S33中对应为宽度范围为

到 $\left(\frac{w_1}{g^{\′}}\right)\%c+\frac{w_2-w_1}{g^{\′}}),$ 高度范围为从 $\left(\frac{h_1}{g^{\′}}\right)\%c$ 到 $\left(\frac{h_1}{g^{\′}}\right)\%c+\frac{h_2-h_1}{g^{\′}},$ 其中%为取余运算；S36.根据窗口大小对分割出的图像内容进行放缩，记窗口的宽度为ww，高度为wh，若在分割出的图像像素坐标为(x，y)，则在窗口上的坐标为

以及S37.将最终得到的图像显示到屏幕上。

进一步地，本发明十亿像素高动态范围图像重建与显示的方法，还包括，用户操作界面设计。

根据本发明的十亿像素高动态范围图像重建与显示的方法，不仅可以获取细节完整、不同动态范围的全景图像，而且方便用户智能地调取关心的局部图像并展示出来。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例的十亿像素高动态范围图像重建与显示的方法的流程图；

图2是本发明实施例的方法的步骤S2的详细流程图；

图3是本发明实施例的方法的步骤S3的详细流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明实施例的十亿像素高动态范围图像重建与显示的方法的具体步骤为：

S1.获取多个百万像素级的子图像。具体地：

S11.在半球摄像台上分布多个相机定位孔，并获得多个相机定位孔相对位置的先验信息；

S12.在相机定位孔中设置百万像素级的长焦镜头的相机；

S13.通过硬件控制程序使所有相机同时进行拍照，并将获得的子图像存储到计算机中。

S2.将获取的子图像拼接成十亿像素的球面图像，并调整球面图像的动态范围。参见图2，具体地：

S21.读取所得到的子图像上每一个像素R、G、B三通道的值；

S22.调整子图像的动态范围，对R、G、B三通道的值进行归一化，每一个像素的原始R、G、B三通道的值R_pre，G_pre，B_pre与归一化后的R_post，G_post，B_post的计算关系为： $R_{\mathrm{post}}=\frac{R_{\mathrm{pre}}}{f\left(t\right)},R_{\mathrm{post}}=\frac{R_{\mathrm{pre}}}{f\left(t\right)},B_{\mathrm{post}}=\frac{B_{\mathrm{pre}}}{f\left(t\right)},$ 其中f(t)是和曝光时间t相关的函数，取f(t)=t；

S23.将归一化后的子图像进行对齐操作：在每张子图像上提取一些特征点，然后在邻近相机的子图像上进行特征点匹配，将匹配到的特征点标记成全局坐标；

S24.根据特征点对子图像进行图像分割操作，计算出拼接后球面图像中的每个区域与相应的子图像的对应关系，其中，每个区域都是一个由三个所述特征点坐标表示的三角形；

S25.根据特征点在子图像上的局部坐标和所述球面图像上的全局坐标之间的关系，利用仿射变换计算出拼接后图像上每一个像素点上R、G、B三通道的值，其中仿射变换为(x',y',1)=A(x,y,1)，其中A表示仿射变换矩阵，(x',y')表示变换后的所述全局坐标，（x,y）表示变换前的所述局部坐标，A是通过子图像和球面图像三角形三个顶点坐标计算得到的。

S3.根据用户的需求，交互式地将用户所需的图像显示给用户。参见图3，具体地：

S31.将球面图像变换为圆柱面图像，根据原球面图像坐标x_o，y_o，z_o计算出圆柱面图像的变换坐标x_p，y_p，z_p，采用计算转移参数x_t，r_t，z_t，令x_t=0，z_t=1-r_t，其中α∈（0，π/6），计算公式为

y_p=y_o，，其中y轴的方向不发生变化；

S32.对圆柱面图像分级进行切分，记圆柱面图像宽度为w，高度为h，切分大小为c，切分级别为g，其中切分级别g表示每g个点取一个点，宽度上切成

份，高度上切成

份，其中[]表示向上取整，将原圆柱面图像上宽度为[1+i*cg，min((i+1)*cg，w)]中被g除余1，高度为[1+j*cg，min((j+1)*cg，h)]中被g除余1的所有点按照原来的顺序存入g-i-j中。其中i=0，1，2，…，nw-1；j=0，1，2，…，nh-1；

S33.计算用户需求的图像级以及对应的图像块，记用户需求的原图宽度范围从w₁到w₂，高度范围从h₁到h₂，计算原图

需求

读取切分级别 $g^{\′}=\[{\log }_2\frac{s}{s^{\′}}\]-1,$ 宽度索引从 $i_1=\[\frac{w_1}{c*g^{\′}}\]-1$ 到 $i_2=\[\frac{w_2}{c*g^{\′}}\]-1,$ 高度索引从 $j_1=\[\frac{h_1}{c*g^{\′}}\]-1$ 到

其中[]表示向上取整；

S34.将所得到的图像块进行组合，将g’_i₁_j₁到g’_i₂_j₂的图像按照顺序拼接成宽度为(i₂-i₁+1)*c，高度为(j₂-j₁+1)*c的图像；

S35.分割出用户需要的图像内容，记用户需求的原图宽度范围为从w₁到w₂，高度范围为从h₁到h₂，这个区域在步骤S33中对应为宽度范围为

到

高度范围为从

到

其中%为取余运算；

S36.根据窗口大小对分割出的图像内容进行放缩，记窗口的宽度为ww，高度为wh。若在分割出的图像像素坐标为(x，y)，则在窗口上的坐标为

S37.将最终得到的图像显示到屏幕上。

在本发明的一个实施例中，还包括步骤S4.用户操作界面设计

a)方向控制

(i)键盘上的上、下、左、右的方向键

(ii)鼠标点击上、下、左、右按钮

(iii)鼠标在图像区域进行拖动

b)缩放控制

(i)键盘上的+、-键

(ii)鼠标点击放大、缩小按钮

(iii)鼠标滚轮向上、向下滚动

根据本发明的实施例的方法，不仅可以获取细节完整、不同动态范围的子图像拼接成的全景图像，而且方便用户智能地调取关心的小部分图像并显示出来。另外，根据本发明的实施例的方法，一方面通过相机之间的相邻关系，可以大大缩小特征点的搜索范围，从而提高运行速度；另一方面通过对不同相机获取的子图像的动态范围进行调整，得到曝光时间归一化后的子图像，可以降低了拼接的难度；再一方面通过对拼接成的球面图像进行分级、分块存储，组合显示，可以大大减少图像输与显示的时间。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种十亿像素高动态范围图像重建与显示的方法，其特征在于，包括以下步骤：

S1.获取多个百万像素级的子图像；

S2.将所述子图像拼接成十亿像素的球面图像，并调整所述球面图像的动态范围；以及

S3.根据用户的需求，交互式地将所述用户所需图像显示给用户。

2.如权利要求1所述的十亿像素高动态范围图像重建与显示的方法，其特征在于，所述步骤S1进一步包括以下步骤：

S11.在半球摄像台上分布多个相机定位孔，并获得所述多个相机定位孔相对位置的先验信息；

S12.在所述相机定位孔中设置百万像素级的长焦镜头的相机；以及

S13.通过硬件控制程序使所述相机同时进行拍照，并将获得的子图像存储到计算机中。

3.如权利要求1所述的十亿像素高动态范围图像重建与显示的方法，其特征在于，所述步骤S2进一步包括以下步骤：

S21.读取所述子图像上每一个像素R、G、B三通道的值；

S22.调整所述子图像的动态范围，对R、G、B三通道的值进行归一化，每一个像素的原始R、G、B三通道的值R_pre，G_pre，B_pre与归一化后的R_post，G_post，B_post的计算关系为： $R_{\mathrm{post}}=\frac{R_{\mathrm{pre}}}{f\left(t\right)},R_{\mathrm{post}}=\frac{R_{\mathrm{pre}}}{f\left(t\right)},B_{\mathrm{post}}=\frac{B_{\mathrm{pre}}}{f\left(t\right)},$ 其中f(t)是和曝光时间t相关的函数，取f(t)=t；

S23.将归一化后的所述子图像进行对齐操作：在每张所述子图像上提取一些特征点，然后在邻近相机的子图像上进行特征点匹配，将匹配到的特征点标记成全局坐标；

S24.根据所述特征点对所述子图像进行图像分割操作，计算出拼接后球面图像中的每个区域与相应的所述子图像的对应关系，其中，每个所述区域都是一个由三个所述特征点坐标表示的三角形；以及

S25.根据所述特征点在子图像上的局部坐标和所述球面图像上的全局坐标之间的关系，利用仿射变换计算出拼接后图像上每一个像素点上R、G、B三通道的值，其中仿射变换为(x',y',1)=A(x,y,1)，其中A表示仿射变换矩阵，(x',y')表示变换后的所述全局坐标，（x,y）表示变换前的所述局部坐标，A是通过子图像和球面图像三角形三个顶点坐标计算得到的。

4.如权利要求1所述的十亿像素高动态范围图像重建与显示的方法，其特征在于，所述步骤S3进一步包括以下步骤：

S31.将所述球面图像变换为圆柱面图像，根据原球面图像坐标x_o，y_o，z_o计算出圆柱面图像的变换坐标x_p，y_p，z_p，采用计算转移参数x_t，r_t，z_t，令x_t=0，z_t=1-r_t，其中α∈（0，π/6），计算公式为

y_p=y_o，

S32.对所述圆柱面图像分级进行切分，记所述圆柱面图像宽度为w，高度为h，切分大小为c，切分级别为g，其中切分级别g表示每g个点取一个点，宽度上切成

份，高度上切成

份，其中[]表示向上取整，将原圆柱面图像上宽度为[1+i*cg，min((i+1)*cg，w)]中被g除余1，高度为[1+j*cg，min((j+1)*cg，h)]中被g除余1的所有点按照原来的顺序存入g-i-j中。其中i=0，1，2，…，nw-1；j=0，1，2，…，nh-1；

S33.计算用户需求的图像级以及对应的图像块，记用户需求的原图宽度范围从w₁到w₂，高度范围从h₁到h₂，计算原图

需求读取切分级别 $g^{\′}=\[{\log }_2\frac{s}{s^{\′}}\]-1,$ 宽度索引从 $i_1=\[\frac{w_1}{c*g^{\′}}\]-1$ 到 $i_2=\[\frac{w_2}{c*g^{\′}}\]-1,$ 高度索引从j₁=

到

其中[]表示向上取整；

S34.将所述图像块进行组合，将g’_i₁_j₁到g’_i₂_j₂的图像按照顺序拼接成宽度为(i₂-i₁+1)*c，高度为(j₂-j₁+1)*c的图像；

S35.分割出用户需要的图像内容，记用户需求的原图宽度范围为从w₁到w₂，高度范围为从h₁到h₂，这个区域在所述步骤S33中对应为宽度范围为

到

高度范围为从到

其中%为取余运算；

S36.根据窗口大小对分割出的图像内容进行放缩，记窗口的宽度为ww，高度为wh，若在分割出的图像像素坐标为(x，y)，则在窗口上的坐标为以及

S37.将最终得到的图像显示到屏幕上。

5.如权利要求1所述的十亿像素高动态范围图像重建与显示的方法，其特征在于，还包括：S4.对用户操作界面设计。

Images