CN103413339B - 十亿像素高动态范围图像重建与显示的方法 - Google Patents
十亿像素高动态范围图像重建与显示的方法 Download PDFInfo
- Publication number
- CN103413339B CN103413339B CN201310310990.4A CN201310310990A CN103413339B CN 103413339 B CN103413339 B CN 103413339B CN 201310310990 A CN201310310990 A CN 201310310990A CN 103413339 B CN103413339 B CN 103413339B
- Authority
- CN
- China
- Prior art keywords
- subimage
- dynamic range
- pixel
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提出了一种十亿像素高动态范围图像重建与显示的方法,包括以下步骤:获取多个百万像素级的子图像;将所获取的子图像拼接成十亿像素的球面图像,并调整球面图像的动态范围;根据用户的需求,交互式地将拼接成的图像显示给用户。根据本发明的方法,不仅可以获取细节完整、不同动态范围的全景图像,而且方便用户智能地调取关心的局部图像并展示出来。
Description
技术领域
本发明属计算机视觉领域,具体涉及一种十亿像素高动态范围图像重建与显示的方法。
背景技术
随着计算机计算能力不断提高以及拍摄设备的不断改进,人们希望在得到全景图像的同时,又不损失细节信息。单个相机的分辨率、动态范围、视野往往是互相制约的,通过多个摄像头进行采集,将得到的图像进行拼接,可以突破单相机的制约,拼接得到超高像素图像。
但现有技术中,超高像素图像拼接具有如下困难:
1为了获取更高的动态范围,不同相机的曝光时间不同,因此每张图像都有自己的动态范围,难以进行直接拼接。
2超高像素数据量非常巨大,如果全部读入显示需要耗费很大的内存资源,而如果需要网络传输,也会占据较大的带宽。
发明内容
本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此,本发明的一个目的在于提出一种高动态范围、可智能调取局部图像的十亿像素高动态范围图像重建与显示的方法。
为达到上述目的,本发明提出一种十亿像素高动态范围图像重建与显示的方法,包括以下步骤:S1.获取多个百万像素级的子图像;S2.将所述子图像拼接成十亿像素的球面图像,并调整所述球面图像的动态范围;S3.根据用户的需求,交互式地将所述用户所需图像显示给用户。
进一步地,所述步骤S1,还包括:S11.在半球摄像台上分布多个相机定位孔,并获得所述多个相机定位孔相对位置的先验信息;S12.在所述相机定位孔中设置百万像素级的长焦镜头的相机;以及S13.通过硬件控制程序使所述相机同时进行拍照,并将获得的子图像存储到计算机中。
进一步地,所述步骤S2,还包括:S21.读取所述子图像上每一个像素R、G、B三通道的值;S22.调整所述子图像的动态范围,对R、G、B三通道的值进行归一化,每一个像素的原始R、G、B三通道的值Rpre,Gpre,Bpre与归一化后的Rpost,Gpost,Bpost的计算关系为:其中f(t)是和曝光时间t相关的函数,取f(t)=t;S23.将归一化后的所述子图像进行对齐操作:在每张所述子图像上提取一些特征点,然后在邻近相机的子图像上进行特征点匹配,将匹配到的特征点标记成全局坐标;S24.根据所述特征点对所述子图像进行图像分割操作,计算出拼接后球面图像中的每个区域与相应的所述子图像的对应关系,其中,每个所述区域都是一个由三个所述特征点坐标表示的三角形;以及S25.根据所述特征点在子图像上的局部坐标和所述球面图像上的全局坐标之间的关系,利用仿射变换计算出拼接后图像上每一个像素点上R、G、B三通道的值,其中仿射变换为(x',y',1)=A(x,y,1),其中A表示仿射变换矩阵,(x',y')表示变换后的所述全局坐标,(x,y)表示变换前的所述局部坐标,A是通过子图像和球面图像三角形三个顶点坐标计算得到的。
进一步地,所述步骤S3还包:S31.将所述球面图像变换为圆柱面图像,根据原球面图像坐标xo,yo,zo计算出圆柱面图像的变换坐标xp,yp,zp,采用计算转移参数xt,rt,zt,令xt=0,zt=1-rt,其中α∈(0,π/6),计算公式为yp=yo,S32.对所述圆柱面图像分级进行切分,记所述圆柱面图像宽度为w,高度为h,切分大小为c,切分级别为g,其中切分级别g表示每g个点取一个点,宽度上切成份,高度上切成份,其中[]表示向上取整,将原圆柱面图像上宽度为[1+i*cg,min((i+1)*cg,w)]中被g除余1,高度为[1+j*cg,min((j+1)*cg,h)]中被g除余1的所有点按照原来的顺序存入g-i-j中。其中i=0,1,2,…,nw-1;j=0,1,2,…,nh-1;S33.计算用户需求的图像级以及对应的图像块,记用户需求的原图宽度范围从w1到w2,高度范围从h1到h2,计算原图需求 读取切分级别 宽度索引从 到 高度索引从 到 其中[]表示向上取整;S34.将所述图像块进行组合,将g’_i1_j1到g’_i2_j2的图像按照顺序拼接成宽度为(i2-i1+1)*c,高度为(j2-j1+1)*c的图像;S35.分割出用户需要的图像内容,记用户需求的原图宽度范围为从w1到w2,高度范围为从h1到h2,这个区域在所述步骤S33中对应为宽度范围为到 高度范围为从 到 其中%为取余运算;S36.根据窗口大小对分割出的图像内容进行放缩,记窗口的宽度为ww,高度为wh,若在分割出的图像像素坐标为(x,y),则在窗口上的坐标为以及S37.将最终得到的图像显示到屏幕上。
进一步地,本发明十亿像素高动态范围图像重建与显示的方法,还包括,用户操作界面设计。
根据本发明的十亿像素高动态范围图像重建与显示的方法,不仅可以获取细节完整、不同动态范围的全景图像,而且方便用户智能地调取关心的局部图像并展示出来。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明实施例的十亿像素高动态范围图像重建与显示的方法的流程图;
图2是本发明实施例的方法的步骤S2的详细流程图;
图3是本发明实施例的方法的步骤S3的详细流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
如图1所示,本发明实施例的十亿像素高动态范围图像重建与显示的方法的具体步骤为:
S1.获取多个百万像素级的子图像。具体地:
S11.在半球摄像台上分布多个相机定位孔,并获得多个相机定位孔相对位置的先验信息;
S12.在相机定位孔中设置百万像素级的长焦镜头的相机;
S13.通过硬件控制程序使所有相机同时进行拍照,并将获得的子图像存储到计算机中。
S2.将获取的子图像拼接成十亿像素的球面图像,并调整球面图像的动态范围。参见图2,具体地:
S21.读取所得到的子图像上每一个像素R、G、B三通道的值;
S22.调整子图像的动态范围,对R、G、B三通道的值进行归一化,每一个像素的原始R、G、B三通道的值Rpre,Gpre,Bpre与归一化后的Rpost,Gpost,Bpost的计算关系为: 其中f(t)是和曝光时间t相关的函数,取f(t)=t;
S23.将归一化后的子图像进行对齐操作:在每张子图像上提取一些特征点,然后在邻近相机的子图像上进行特征点匹配,将匹配到的特征点标记成全局坐标;
S24.根据特征点对子图像进行图像分割操作,计算出拼接后球面图像中的每个区域与相应的子图像的对应关系,其中,每个区域都是一个由三个所述特征点坐标表示的三角形;
S25.根据特征点在子图像上的局部坐标和所述球面图像上的全局坐标之间的关系,利用仿射变换计算出拼接后图像上每一个像素点上R、G、B三通道的值,其中仿射变换为(x',y',1)=A(x,y,1),其中A表示仿射变换矩阵,(x',y')表示变换后的所述全局坐标,(x,y)表示变换前的所述局部坐标,A是通过子图像和球面图像三角形三个顶点坐标计算得到的。
S3.根据用户的需求,交互式地将用户所需的图像显示给用户。参见图3,具体地:
S31.将球面图像变换为圆柱面图像,根据原球面图像坐标xo,yo,zo计算出圆柱面图像的变换坐标xp,yp,zp,采用计算转移参数xt,rt,zt,令xt=0,zt=1-rt,其中α∈(0,π/6),计算公式为yp=yo,,其中y轴的方向不发生变化;
S32.对圆柱面图像分级进行切分,记圆柱面图像宽度为w,高度为h,切分大小为c,切分级别为g,其中切分级别g表示每g个点取一个点,宽度上切成份,高度上切成份,其中[]表示向上取整,将原圆柱面图像上宽度为[1+i*cg,min((i+1)*cg,w)]中被g除余1,高度为[1+j*cg,min((j+1)*cg,h)]中被g除余1的所有点按照原来的顺序存入g-i-j中。其中i=0,1,2,…,nw-1;j=0,1,2,…,nh-1;
S33.计算用户需求的图像级以及对应的图像块,记用户需求的原图宽度范围从w1到w2,高度范围从h1到h2,计算原图需求读取切分级别 宽度索引从 到 高度索引从 到其中[]表示向上取整;
S34.将所得到的图像块进行组合,将g’_i1_j1到g’_i2_j2的图像按照顺序拼接成宽度为(i2-i1+1)*c,高度为(j2-j1+1)*c的图像;
S35.分割出用户需要的图像内容,记用户需求的原图宽度范围为从w1到w2,高度范围为从h1到h2,这个区域在步骤S33中对应为宽度范围为到高度范围为从到其中%为取余运算;
S36.根据窗口大小对分割出的图像内容进行放缩,记窗口的宽度为ww,高度为wh。若在分割出的图像像素坐标为(x,y),则在窗口上的坐标为
S37.将最终得到的图像显示到屏幕上。
在本发明的一个实施例中,还包括步骤S4.用户操作界面设计
a)方向控制
(i)键盘上的上、下、左、右的方向键
(ii)鼠标点击上、下、左、右按钮
(iii)鼠标在图像区域进行拖动
b)缩放控制
(i)键盘上的+、-键
(ii)鼠标点击放大、缩小按钮
(iii)鼠标滚轮向上、向下滚动
根据本发明的实施例的方法,不仅可以获取细节完整、不同动态范围的子图像拼接成的全景图像,而且方便用户智能地调取关心的小部分图像并显示出来。另外,根据本发明的实施例的方法,一方面通过相机之间的相邻关系,可以大大缩小特征点的搜索范围,从而提高运行速度;另一方面通过对不同相机获取的子图像的动态范围进行调整,得到曝光时间归一化后的子图像,可以降低了拼接的难度;再一方面通过对拼接成的球面图像进行分级、分块存储,组合显示,可以大大减少图像输与显示的时间。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (3)
1.一种十亿像素高动态范围图像重建与显示的方法,其特征在于,包括以下步骤:
S1.获取多个百万像素级的子图像;
S2.将所述子图像拼接成十亿像素的球面图像,并调整所述球面图像的动态范围,
所述步骤S2进一步包括以下步骤:
S21.读取所述子图像上每一个像素R、G、B三通道的值;
S22.调整所述子图像的动态范围,对R、G、B三通道的值进行归一化,每一个像素的原始R、G、B三通道的值Rpre,Gpre,Bpre与归一化后的Rpost,Gpost,Bpost的计算关系为: 其中f(t)是和曝光时间t相关的函数,取f(t)=t;
S23.将归一化后的所述子图像进行对齐操作:在每张所述子图像上提取一些特征点,然后在邻近相机的子图像上进行特征点匹配,将匹配到的特征点标记成全局坐标;
S24.根据所述特征点对所述子图像进行图像分割操作,计算出拼接后球面图像中的每个区域与相应的所述子图像的对应关系,其中,每个所述区域都是一个由三个所述特征点坐标表示的三角形;以及
S25.根据所述特征点在子图像上的局部坐标和所述球面图像上的全局坐标之间的关系,利用仿射变换计算出拼接后图像上每一个像素点上R、G、B三通道的值,其中仿射变换为(x',y',1)=A(x,y,1),其中A表示仿射变换矩阵,(x',y')表示变换后的所述全局坐标,(x,y)表示变换前的所述局部坐标,A是通过子图像和球面图像三角形三个顶点坐标计算得到的;以及
S3.根据用户的需求,交互式地将所述用户所需图像显示给用户。
2.如权利要求1所述的十亿像素高动态范围图像重建与显示的方法,其特征在于,所述步骤S1进一步包括以下步骤:
S11.在半球摄像台上分布多个相机定位孔,并获得所述多个相机定位孔相对位置的先验信息;
S12.在所述相机定位孔中设置百万像素级的长焦镜头的相机;以及
S13.通过硬件控制程序使所述相机同时进行拍照,并将获得的子图像存储到计算机中。
3.如权利要求1所述的十亿像素高动态范围图像重建与显示的方法,其特征在于,还包括:S4.对用户操作界面设计。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310310990.4A CN103413339B (zh) | 2013-07-23 | 2013-07-23 | 十亿像素高动态范围图像重建与显示的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310310990.4A CN103413339B (zh) | 2013-07-23 | 2013-07-23 | 十亿像素高动态范围图像重建与显示的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103413339A CN103413339A (zh) | 2013-11-27 |
CN103413339B true CN103413339B (zh) | 2016-08-10 |
Family
ID=49606344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310310990.4A Active CN103413339B (zh) | 2013-07-23 | 2013-07-23 | 十亿像素高动态范围图像重建与显示的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103413339B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9600887B2 (en) * | 2013-12-09 | 2017-03-21 | Intel Corporation | Techniques for disparity estimation using camera arrays for high dynamic range imaging |
EP2922288A1 (en) * | 2014-03-18 | 2015-09-23 | Thomson Licensing | Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium |
CN105405158B (zh) * | 2015-10-30 | 2018-08-03 | 清华大学 | 十亿像素视频的实现方法 |
CN105913395B (zh) * | 2016-04-10 | 2019-06-04 | 中国人民解放军海军航空工程学院青岛校区 | 一种运动目标观测及模糊复原方法 |
CN108171735B (zh) * | 2017-12-27 | 2021-01-22 | 清华大学 | 基于深度学习的十亿像素视频对齐方法及系统 |
CN111161350B (zh) * | 2019-12-18 | 2020-12-04 | 北京城市网邻信息技术有限公司 | 位置信息及位置关系确定方法、位置信息获取装置 |
CN112734639B (zh) * | 2020-12-28 | 2023-09-12 | 南京欣威视通信息科技股份有限公司 | 一种图像显示拼接方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7424218B2 (en) * | 2005-07-28 | 2008-09-09 | Microsoft Corporation | Real-time preview for panoramic images |
CN101388043B (zh) * | 2008-09-26 | 2011-12-07 | 北京航空航天大学 | 一种基于小块图片的ogc高性能遥感图像地图服务方法 |
CN101877140A (zh) * | 2009-12-18 | 2010-11-03 | 北京邮电大学 | 一种基于全景图的全景虚拟游方法 |
CN102447934B (zh) * | 2011-11-02 | 2013-09-04 | 吉林大学 | 稀疏镜头采集的组合立体图像系统中立体元的合成方法 |
-
2013
- 2013-07-23 CN CN201310310990.4A patent/CN103413339B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN103413339A (zh) | 2013-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103413339B (zh) | 十亿像素高动态范围图像重建与显示的方法 | |
CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
US10057562B2 (en) | Generating intermediate views using optical flow | |
US8478072B2 (en) | Device, method, and program for image processing | |
CN106971165B (zh) | 一种滤镜的实现方法及装置 | |
KR101785982B1 (ko) | 모자이크 이미지 생성 방법 및 장치 | |
JP4996679B2 (ja) | オクルージョンコスト計算を用いるコラージュ生成 | |
US8743119B2 (en) | Model-based face image super-resolution | |
CN110288614A (zh) | 图像处理方法、装置、设备及存储介质 | |
Jung et al. | Robust upright adjustment of 360 spherical panoramas | |
CN107563978A (zh) | 人脸去模糊方法及装置 | |
US20130176285A1 (en) | Image processing apparatus, image processing method, and program | |
CN102905136B (zh) | 一种视频编解码方法、系统 | |
US20140169696A1 (en) | Generating an assembled group image from subject images | |
CN109803172A (zh) | 一种直播视频的处理方法、装置及电子设备 | |
CN112639870B (zh) | 图像处理装置、图像处理方法和图像处理程序 | |
JP6311372B2 (ja) | 画像処理装置および画像処理方法 | |
CN110248147B (zh) | 一种图像显示方法及装置 | |
CN111083368A (zh) | 一种基于云端的模拟物理云台全景视频展示系统 | |
CN114897684A (zh) | 车辆图像的拼接方法、装置、计算机设备和存储介质 | |
WO2018011930A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN106846254A (zh) | 一种基于云端自主学习的图像缩放方法及系统 | |
WO2021136224A1 (zh) | 图像分割方法以及图像分割装置 | |
EP3177005B1 (en) | Display control system, display control device, display control method, and program | |
Au et al. | Ztitch: A mobile phone application for immersive panorama creation, navigation, and social sharing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |