CN110276714A - 快速扫描式全景图图像合成方法及装置 - Google Patents
快速扫描式全景图图像合成方法及装置 Download PDFInfo
- Publication number
- CN110276714A CN110276714A CN201910192881.4A CN201910192881A CN110276714A CN 110276714 A CN110276714 A CN 110276714A CN 201910192881 A CN201910192881 A CN 201910192881A CN 110276714 A CN110276714 A CN 110276714A
- Authority
- CN
- China
- Prior art keywords
- image
- panorama
- exposure
- processing result
- hdr processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 110
- 238000004422 calculation algorithm Methods 0.000 claims description 33
- 230000015572 biosynthetic process Effects 0.000 claims description 22
- 238000003786 synthesis reaction Methods 0.000 claims description 21
- 230000001186 cumulative effect Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 10
- 235000013399 edible fruits Nutrition 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 239000000155 melt Substances 0.000 claims 1
- 230000002950 deficient Effects 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种快速扫描式全景图图像合成方法及装置,其中方法包括:同时获取两张相同视角的原始图像,其中,一张为锁定曝光的图像,另一张为不锁定曝光的图像;以锁定曝光的图像作为基准,对同时获取的两张原始图像进行HDR处理,得到HDR处理结果图;基于前一帧的全景临时结果图,对当前帧图像的HDR处理结果图进行曝光补偿;将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图。利用本发明可以对原先图像中的过曝区域和欠曝区域丢失的细节进行有效恢复,从而避免由于锁定曝光而引起的全景图结果丢失图像细节的问题。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于双摄HDR(High Dynamic RangeImaging,高动态范围成像)预处理的快速扫描式全景图图像合成方法及装置。
背景技术
全景图是一种广角图,是用很多张较窄视角的图像,通过算法合成一张宽视角的图像。全景图的合成方式有很多种:如先拍摄单张图片然后经过后期处理合成,或者在图像拍摄期间捕获特定的图像块进行实时合成,或者使用双鱼眼镜头同时拍摄两张鱼眼图像进行合成。
目前,很多智能手机预装了快速扫描式全景图合成程序。用户点击开始拍摄,手持手机朝一个方向移动,结束拍摄后可以很快获取一张全景图。这种图像合成方法主要通过运动估计,移动一小段距离就选取一张图像,通过匹配算法识别图像中间区域的某个选定的图像块与先前图像块之间的精确重合区域,然后使用融合算法将识别的图像块拼接成结果图象,最后通过大量上述类型的图像块来形成一张全景图像。该方法可以实现实时拼接,拍摄完毕即可获取全景图。
这种快速全景拼接算法,为了提升性能并且保证拼接质量,通常在采集图像数据的时候会锁定曝光,这样可以省去后期的曝光补偿的过程。但是这种提前锁定曝光的做法在某些场景很容易引起过曝和欠曝的现象。比如,用户在室内正常曝光的区域开始拍摄,向窗户方向移动,由于锁定了曝光,所以越靠近窗户时曝光越强,从而引起过曝,呈现出一个没有窗外景物的高亮区域,如图1所示。
还有一些智能手机,预装了拍照式全景图程序。用户点击开始拍摄,手持手机可以朝任意方向移动,拍摄不同方向的照片,后台程序通过算法合成,结束拍摄后等待一段时间才能获取一张全景图。该方法主要通过运动估计,隔一段距离拍摄一张图像,再后期经过特征点匹配计算出各图像之间的位置关系,经过曝光补偿修正亮度和颜色差异,经过柱面或球面变换,再使用融合算法拼接到结果图中。这种传统全景拼接算法,性能很慢,对于景深差异比较大的场景容易产生大的拼接错位。因为不锁定曝光,在光线差异很大的场景,曝光补偿算法也容易产生误差,引起奇怪的色块。
本发明主要解决现有技术中,因为锁定曝光而引起的全景图结果丢失图像细节的问题。
发明内容
基于此,本发明提供了一种快速扫描式全景图图像合成方法及装置,在快速扫描式全景拼接算法中,加入输入图序列的HDR预处理,并对HDR处理后的结果图进行曝光补偿,从而避免了由于锁定曝光而引起的全景图结果丢失图像细节的问题。
本发明提供的一种快速扫描式全景图图像合成方法,包括以下步骤:
同时获取两张相同视角的原始图像,其中,一张为锁定曝光的图像,另一张为不锁定曝光的图像;
以锁定曝光的图像作为基准,对同时获取的两张原始图像进行HDR处理,得到HDR处理结果图;
基于前一帧的全景临时结果图,对当前帧图像的HDR处理结果图进行曝光补偿;
将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图。
可选地,作为一种可实施方式,所述同时获取两张相同视角的原始图像,其中,一张为锁定曝光的图像,另一张为不锁定曝光的图像,包括以下步骤:
控制两个相同视角的摄像头同时获取原始图像,其中一个摄像头锁定曝光,另一个摄像头不锁定曝光。
可选地,作为一种可实施方式,所述基于前一帧的全景临时结果图,对当前帧图像的HDR处理结果图进行曝光补偿,包括以下步骤:
获取前后两帧图像之间的相对运动参数;
根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域;
计算两个图像上的所述重叠区域的灰度值,根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。
可选地,作为一种可实施方式,所述获取前后两帧图像之间的相对运动参数,包括以下步骤:
采用光流算法,计算前后两帧图像之间的平移运动参数;
或,获取图像采集设备的旋转角速度数据和单帧图像的视角数据,根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。
可选地,作为一种可实施方式,所述根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域,包括以下步骤:
根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域;
基于得到的粗略重叠区域,利用块匹配算法,计算两张图像之间的对齐平移运动参数,以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
可选地,作为一种可实施方式,计算两个图像上的所述重叠区域的灰度值,根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿,包括以下步骤:
分别计算两个重叠区域的像素灰度值的累加和A1和A2,A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和,A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和;
计算亮度补偿值a,a=A2/A1,对当前帧图像的HDR处理结果图的亮度值乘以a。
可选地,作为一种可实施方式,所述将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图,包括以下步骤:
在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域,查找一条灰度值差异累加和最小的路径,沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行线性融合,合成新的全景临时结果图。
相应地,本发明提供的一种快速扫描式全景图图像合成装置,包括原始图像获取模块、HDR预处理模块、曝光补偿模块以及图像合成模块;
所述原始图像获取模块,用于同时获取两张相同视角的原始图像,其中,一张为锁定曝光的图像,另一张为不锁定曝光的图像;
所述HDR预处理模块,用于以锁定曝光的图像作为基准,对同时获取的两张原始图像进行HDR处理,得到HDR处理结果图;
所述曝光补偿模块,用于基于前一帧的全景临时结果图,对当前帧图像的HDR处理结果图进行曝光补偿;
所述图像合成模块,用于将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图。
可选地,作为一种可实施方式,所述原始图像获取模块还用于控制两个相同视角的摄像头同时获取原始图像,其中一个摄像头锁定曝光,另一个摄像头不锁定曝光。
可选地,作为一种可实施方式,所述曝光补偿模块包括相对运动参数获取单元、重叠区域计算单元以及曝光补偿单元;
所述相对运动参数获取单元,用于获取前后两帧图像之间的相对运动参数;
所述重叠区域计算单元,用于根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域;
所述曝光补偿单元,用于计算两个图像上的所述重叠区域的灰度值,根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。
可选地,作为一种可实施方式,所述相对运动参数获取单元具体用于采用光流算法,计算前后两帧图像之间的平移运动参数;或用于获取图像采集设备的旋转角速度数据和单帧图像的视角数据,根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。
可选地,作为一种可实施方式,所述重叠区域计算单元具体用于根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域;所述重叠区域计算单元还用于基于得到的粗略重叠区域,利用块匹配算法,计算两张图像之间的对齐平移运动参数,以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
可选地,作为一种可实施方式,所述曝光补偿单元具体用于分别计算两个重叠区域的像素灰度值的累加和A1和A2,A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和,A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和;计算亮度补偿值a,a=A2/A1,对当前帧图像的HDR处理结果图的亮度值乘以a。
可选地,作为一种可实施方式,所述图像合成模块具体用于在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域,查找一条灰度值差异累加和最小的路径,沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果进行线性融合,合成新的全景临时结果图。
相应地,本发明还提供一种快速扫描式全景图图像合成装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
可选地,作为一种可实施方式,所述快速扫描式全景图图像合成装置,还包括两个摄像头,两个所述摄像头与所述处理器连接;
两个所述摄像头在采集原始图像时视角相同,一个摄像头锁定曝光,另一个摄像头不锁定曝光。
相应地,本发明还提供一种快速扫描式全景图图像合成装置,包括计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比,本技术方案具有以下优点:
本发明提供的快速扫描式全景图图像合成方法及装置,以锁定曝光的摄像头获取的图像为HDR算法的基准图像,进行HDR处理,以保持相邻帧的HDR处理结果图的亮度一致性。从而克服传统的HDR算法根据一个评判标准,选定其中一张输入图像作为基准图像,从而导致相邻帧的HDR结果图的亮度无法保持一致的缺陷。进一步地,在图像融合之前对HDR处理结果图进行曝光补偿,以减小HDR处理产生的亮度差异。最后根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图,直至得到最终合成的全景图。利用本发明可以对原先图像中的过曝区域和欠曝区域丢失的细节进行有效恢复,从而避免由于锁定曝光而引起的全景图结果丢失图像细节的问题。
附图说明
图1为本发明背景技术中的全景图;
图2为本发明实施例一提供的快速扫描式全景图图像合成方法的流程示意图;
图3为利用本发明实施例一提供的快速扫描式全景图图像合成方法合成的全景图;
图4为本发明实施例二提供的快速扫描式全景图图像合成装置的结构示意图。
具体实施方式
以下结合附图,对本发明上述的和另外的技术特征和优点进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的部分实施例,而不是全部实施例。
参见图2,本发明实施例一提供了一种快速扫描式全景图图像合成方法,包括以下步骤:
S100、同时获取两张相同视角的原始图像,其中,一张为锁定曝光的图像,另一张为不锁定曝光的图像;
S200、以锁定曝光的图像作为基准,对同时获取的两张原始图像进行HDR处理,得到HDR处理结果图;
S300、基于前一帧的全景临时结果图,对当前帧图像的HDR处理结果图进行曝光补偿;
S400、根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图。
步骤S100,通过控制两个相同视角的摄像头同时获取原始图像即可实现,其中一个摄像头锁定曝光,另一个摄像头不锁定曝光,并且两张图像同时获取。目前,双摄像头手机已非常常见,所以基于现有的双摄像头手机等设备均可同时获取两张相同视角的原始图像。
步骤S200中,将锁定曝光的输入图和不锁定曝光的输入图同时作为HDR算法的输入图,并以锁定曝光的图像作为基准,进行HDR处理,得到HDR处理结果图。
此处需要说明的是,传统的HDR算法,一般是采用3张不同曝光(低曝光、正常曝光、高曝光)的输入图,因为只采用一个摄像头,所以三张图像不是同时获取,而是依次拍摄的。本实施例中以锁定曝光的摄像头获取的图像为HDR算法的基准图像,即设定锁定曝光的图像为正常曝光的图像,从而能够尽量保持HDR处理结果图的亮度和锁定曝光的图像一致。又因为锁定曝光时,相邻帧的亮度差异很小,所以将锁定曝光的图像当作正常曝光的图像进行HDR处理,可以保持相邻帧的HDR处理结果图的亮度一致性。从而克服传统的HDR算法根据一个评判标准,选定其中一张输入图像作为基准图像,从而导致相邻帧的HDR结果图的亮度无法保持一致的缺陷。
实施例一中采用的HDR算法,需要设定锁定曝光的输入图作为正常曝光的图像,以这张图像为基础,用算法找到细节缺失或者曝光不正常的区域,对锁定曝光的图像进行修复。经过HDR处理后的图像的亮度接近这张锁定曝光的图像,接近程度可以超过80%,并且使原先过曝区域和欠曝区域丢失的细节得到较好的恢复。
本发明的主要发明点在于将锁定基准图像的HDR处理结果图作为输入图去合成全景图像,并且在图像融合之前进行曝光补偿,以减小HDR处理产生的亮度差异,最后根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图,直至得到最终合成的全景图。对比图1,利用本发明实施例一得到的全景图,如图3所示,原先图像中的过曝区域和欠曝区域丢失的细节均得到了有效恢复。
上述实施例中的HDR处理的具体实现过程为本领域的现有技术,此处不再冗述。
具体地,作为一种可实施方式,步骤S300中,基于前一帧的全景临时结果图,对当前帧图像的HDR处理结果图进行曝光补偿,可通过以下步骤实现:
S310、获取前后两帧图像之间的相对运动参数。
在进行曝光补偿之前,首先需要进行运动估计,即获取前后两帧图像之间的相对运动参数,获取运动参数的目的是为了计算前后两帧图像之间的粗略重叠区域。可以采用光流算法,计算前后两帧图像之间的平移运动参数。光流算法可以计算两张图像之间的平移运动参数,用于纹理比较复杂的场景。也可以获取图像采集设备的旋转角速度数据和单帧图像的视角数据,根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。摄像头的陀螺仪数据可以获取设备的旋转角速度,而单帧图像的视角也是可以直接从设备信息中读取,这样可以计算出平移运动参数,平移运动参数=(角速度*时间)*视角*图像边长,用于纹理比较简单的场景。
S320、根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域。两张图像的重叠区域可以分两步计算:第一步,根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域;第二步,基于得到的粗略重叠区域,利用块匹配算法,计算两张图像之间的对齐平移运动参数,以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
根据运动估计的结果,可以计算出当前帧HDR处理结果图和前一帧的全景临时结果图的粗略重叠区域。使用块匹配算法,可以计算更精确的对齐平移运动参数,用于曝光补偿和融合。块匹配算法是将一个图像中的重叠区域,在另一个图像中的重叠区域周围的小范围内搜索,计算对应像素灰度值差的绝对值之和,取平均值。当平均值最小时,就得到了更精确的平移运动参数。
S330、计算两个图像上的重叠区域的灰度值,根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。该处的重叠区域指的是精确重叠区域。曝光补偿的目的在于减小HDR处理产生的亮度差异,使得HDR处理结果图的亮度更接近正常曝光的图像。其具体实现方式可以有多种,下面列举一种具体的可实现方式:分别计算两个重叠区域的像素灰度值的累加和A1和A2,A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和,A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和;计算亮度补偿值a,a=A2/A1,对当前帧图像的HDR处理结果图的亮度值乘以a。
拍摄过程中只对重叠区域及外扩的一定区域进行曝光补偿,拍摄结束后对没有补偿的部分进行曝光补偿,这样可以进一步减少一些无用的运算量,提高运行速度。
具体地,作为一种可实施方式,步骤S400中,根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图,可以通过以下步骤实现:
在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域,查找一条灰度值差异累加和最小的路径,沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行线性融合,合成新的全景临时结果图。
沿着路径进行线性融合,是指在路径左右L宽度内,图像的像素值做平滑过渡,可表述为:Pixel=LeftPixel*(L-x)/L+RightPixel*x/L,其中,x的范围为1~L,L为过渡区域的长度,LeftPixel为输入图(即HDR处理结果图)的像素灰度值,RightPixel为全景临时结果图的像素灰度值。x越小,计算结果Pixel越接近LeftPixel和RightPixel。
此处,需要补充说明的是,对于HDR处理过程中的第一帧图像,可以直接用合成的第一张HDR处理结果图拷贝到全景结果图内存中,作为全景临时结果图。
基于同一发明构思,本发明实施例二还提供了一种快速扫描式全景图图像合成装置,该装置与前述方法的原理相同,其工作过程可参照前述方法的流程实现,重复之处不再冗述。
参见图4,本发明实施例二提供的一种快速扫描式全景图图像合成装置,包括原始图像获取模块100、HDR预处理模块200、曝光补偿模块300以及图像合成模块400。
原始图像获取模块100用于同时获取两张相同视角的原始图像,其中,一张为锁定曝光的图像,另一张为不锁定曝光的图像;HDR预处理模块200用于以锁定曝光的图像作为基准,对同时获取的两张原始图像进行HDR处理,得到HDR处理结果图;曝光补偿模块300用于基于前一帧的全景临时结果图,对当前帧图像的HDR处理结果图进行曝光补偿;图像合成模块400用于将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图。
上述原始图像获取模块100还用于控制两个相同视角的摄像头同时获取图像,其中一个摄像头锁定曝光,另一个摄像头不锁定曝光。
进一步地,曝光补偿模块300包括相对运动参数获取单元310、重叠区域计算单元320以及曝光补偿单元330。相对运动参数获取单元310用于获取前后两帧图像之间的相对运动参数;重叠区域计算单元320用于根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域;曝光补偿单元330用于计算两个图像上的重叠区域的灰度值,根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。
更进一步地,相对运动参数获取单元310采用光流算法,计算前后两帧图像之间的平移运动参数;或获取图像采集设备的旋转角速度数据和单帧图像的视角数据,根据旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。
重叠区域计算单元320具体用于根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域;重叠区域计算单元还用于基于得到的粗略重叠区域,利用块匹配算法,计算两张图像之间的对齐平移运动参数,以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
曝光补偿单元330具体用于分别计算两个重叠区域的像素灰度值的累加和A1和A2,A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和,A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和;计算亮度补偿值a,a=A2/A1,对当前帧图像的HDR处理结果图的亮度值乘以a。
作为一种可实施方式,图像合成模块400用于在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域,查找一条灰度值差异累加和最小的路径,沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果进行线性融合,合成新的全景临时结果图。
基于同一发明构思,本发明实施例三提供了一种快速扫描式全景图图像合成装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例一中任一实施方式所述方法的步骤。
进一步地,所述快速扫描式全景图图像合成装置还包括两个摄像头,两个所述摄像头与所述处理器连接;两个所述摄像头在采集原始图像时视角相同,一个摄像头锁定曝光,另一个摄像头不锁定曝光。
基于同一发明构思,本发明实施例四提供了一种快速扫描式全景图图像合成装置,包括计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例一中任一实施方式所述方法的步骤。
上述实施例提供的快速扫描式全景图图像合成方法及装置,以锁定曝光的摄像头获取的图像为HDR算法的基准图像,进行HDR处理,以保持相邻帧的HDR处理结果图的亮度一致性。从而克服传统的HDR算法根据一个评判标准,选定其中一张输入图像作为基准图像,从而导致相邻帧的HDR结果图的亮度无法保持一致的缺陷。进一步地,在图像融合之前对HDR处理结果图进行曝光补偿,以减小HDR处理产生的亮度差异。最后根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图,直至得到最终合成的全景图。
本发明的关键点在于将锁定曝光的原始图像作为基准图像进行HDR预处理,得到HDR处理结果图;进而将HDR处理结果图作为输入图去合成全景图像,并且在后续的图像融合之前对输入图进行光补偿,以减小HDR处理产生的亮度差异。利用本发明可以对原先图像中的过曝区域和欠曝区域丢失的细节进行有效恢复,从而避免由于锁定曝光而引起的全景图结果丢失图像细节的问题。
进一步地,本发明提供的快速扫描式全景图图像合成方法及装置,还可以应用于合成曝光稳定的视频。通常手机摄像头自带的视频软件是不锁定曝光的,录制时会发生亮度变化剧烈的现象。使用本发明提供的技术方案,可以用锁定曝光的图像作为基准图像,和同时获取的不锁定曝光的图像通过HDR算法合成,将合成的结果编码得到曝光稳定的视频,并且保留住图像细节。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。
Claims (17)
1.一种快速扫描式全景图图像合成方法,其特征在于,包括以下步骤:
同时获取两张相同视角的原始图像,其中,一张为锁定曝光的图像,另一张为不锁定曝光的图像;
以锁定曝光的图像作为基准,对同时获取的两张原始图像进行HDR处理,得到HDR处理结果图;
基于前一帧的全景临时结果图,对当前帧图像的HDR处理结果图进行曝光补偿;
将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图。
2.根据权利要求1所述的快速扫描式全景图图像合成方法,其特征在于,所述同时获取两张相同视角的原始图像,其中,一张为锁定曝光的图像,另一张为不锁定曝光的图像,包括以下步骤:
控制两个相同视角的摄像头同时获取原始图像,其中一个摄像头锁定曝光,另一个摄像头不锁定曝光。
3.根据权利要求1所述的快速扫描式全景图图像合成方法,其特征在于,所述基于前一帧的全景临时结果图,对当前帧图像的HDR处理结果图进行曝光补偿,包括以下步骤:
获取前后两帧图像之间的相对运动参数;
根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域;
计算两个图像上的所述重叠区域的灰度值,根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。
4.根据权利要求3所述的快速扫描式全景图图像合成方法,其特征在于,所述获取前后两帧图像之间的相对运动参数,包括以下步骤:
采用光流算法,计算前后两帧图像之间的平移运动参数;
或,获取图像采集设备的旋转角速度数据和单帧图像的视角数据,根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。
5.根据权利要求3所述的快速扫描式全景图图像合成方法,其特征在于,所述根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域,包括以下步骤:
根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域;
基于得到的粗略重叠区域,利用块匹配算法,计算两张图像之间的对齐平移运动参数,以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
6.根据权利要求3所述的快速扫描式全景图图像合成方法,其特征在于,计算两个图像上的所述重叠区域的灰度值,根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿,包括以下步骤:
分别计算两个重叠区域的像素灰度值的累加和A1和A2,A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和,A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和;
计算亮度补偿值a,a=A2/A1,对当前帧图像的HDR处理结果图的亮度值乘以a。
7.根据权利要求1至6任一项所述的快速扫描式全景图图像合成方法,其特征在于,所述将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图,包括以下步骤:
在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域,查找一条灰度值差异累加和最小的路径,沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行线性融合,合成新的全景临时结果图。
8.一种快速扫描式全景图图像合成装置,其特征在于,包括原始图像获取模块、HDR预处理模块、曝光补偿模块以及图像合成模块;
所述原始图像获取模块,用于同时获取两张相同视角的原始图像,其中,一张为锁定曝光的图像,另一张为不锁定曝光的图像;
所述HDR预处理模块,用于以锁定曝光的图像作为基准,对同时获取的两张原始图像进行HDR处理,得到HDR处理结果图;
所述曝光补偿模块,用于基于前一帧的全景临时结果图,对当前帧图像的HDR处理结果图进行曝光补偿;
所述图像合成模块,用于将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合,以合成新的全景临时结果图。
9.根据权利要求8所述的快速扫描式全景图图像合成装置,其特征在于,所述原始图像获取模块还用于控制两个相同视角的摄像头同时获取原始图像,其中一个摄像头锁定曝光,另一个摄像头不锁定曝光。
10.根据权利要求8所述的快速扫描式全景图图像合成装置,其特征在于,所述曝光补偿模块包括相对运动参数获取单元、重叠区域计算单元以及曝光补偿单元;
所述相对运动参数获取单元,用于获取前后两帧图像之间的相对运动参数;
所述重叠区域计算单元,用于根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域;
所述曝光补偿单元,用于计算两个图像上的所述重叠区域的灰度值,根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。
11.根据权利要求10所述的快速扫描式全景图图像合成装置,其特征在于,所述相对运动参数获取单元具体用于采用光流算法,计算前后两帧图像之间的平移运动参数;或用于获取图像采集设备的旋转角速度数据和单帧图像的视角数据,根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。
12.根据权利要求10所述的快速扫描式全景图图像合成装置,其特征在于,所述重叠区域计算单元具体用于根据前后两帧图像之间的相对运动参数,计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域;所述重叠区域计算单元还用于基于得到的粗略重叠区域,利用块匹配算法,计算两张图像之间的对齐平移运动参数,以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
13.根据权利要求10所述的快速扫描式全景图图像合成装置,其特征在于,所述曝光补偿单元具体用于分别计算两个重叠区域的像素灰度值的累加和A1和A2,A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和,A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和;计算亮度补偿值a,a=A2/A1,对当前帧图像的HDR处理结果图的亮度值乘以a。
14.根据权利要求8至13任一项所述的快速扫描式全景图图像合成装置,其特征在于,所述图像合成模块具体用于在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域,查找一条灰度值差异累加和最小的路径,沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果进行线性融合,合成新的全景临时结果图。
15.一种快速扫描式全景图图像合成装置,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
16.根据权利要求15所述的快速扫描式全景图图像合成装置,其特征在于,还包括两个摄像头,两个所述摄像头与所述处理器连接;
两个所述摄像头在采集原始图像时视角相同,一个摄像头锁定曝光,另一个摄像头不锁定曝光。
17.一种快速扫描式全景图图像合成装置,包括计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/354,576 US10764496B2 (en) | 2018-03-16 | 2019-03-15 | Fast scan-type panoramic image synthesis method and device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810220580 | 2018-03-16 | ||
CN2018102205803 | 2018-03-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110276714A true CN110276714A (zh) | 2019-09-24 |
CN110276714B CN110276714B (zh) | 2023-06-06 |
Family
ID=67959223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910192881.4A Active CN110276714B (zh) | 2018-03-16 | 2019-03-14 | 快速扫描式全景图图像合成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110276714B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161148A (zh) * | 2019-12-30 | 2020-05-15 | 上海闻泰电子科技有限公司 | 一种全景图像生成方法、装置、设备和存储介质 |
CN114979505A (zh) * | 2022-05-27 | 2022-08-30 | 众趣(北京)科技有限公司 | 一种旋转拍摄全景的方法及装置 |
CN115514876A (zh) * | 2021-06-23 | 2022-12-23 | 荣耀终端有限公司 | 图像融合方法、电子设备、存储介质及计算机程序产品 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080278518A1 (en) * | 2007-05-08 | 2008-11-13 | Arcsoft (Shanghai) Technology Company, Ltd | Merging Images |
CN102148936A (zh) * | 2011-05-04 | 2011-08-10 | 展讯通信(上海)有限公司 | 一种高动态范围成像优化方法及装置 |
CN102739955A (zh) * | 2011-03-31 | 2012-10-17 | 卡西欧计算机株式会社 | 能生成动态范围宽的全景图像的数据的摄像装置 |
US20130033566A1 (en) * | 2011-08-02 | 2013-02-07 | Sony Corporation | Image processing device, and control method and computer readable medium |
US8933985B1 (en) * | 2011-06-06 | 2015-01-13 | Qualcomm Technologies, Inc. | Method, apparatus, and manufacture for on-camera HDR panorama |
CN104935911A (zh) * | 2014-03-18 | 2015-09-23 | 华为技术有限公司 | 一种高动态范围图像合成的方法及装置 |
CN106131443A (zh) * | 2016-05-30 | 2016-11-16 | 南京大学 | 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法 |
US20170094145A1 (en) * | 2014-06-11 | 2017-03-30 | Sony Corporation | Image capturing apparatus and image capturing method |
CN107222680A (zh) * | 2017-06-30 | 2017-09-29 | 维沃移动通信有限公司 | 一种全景图像的拍摄方法和移动终端 |
CN107566730A (zh) * | 2017-09-27 | 2018-01-09 | 维沃移动通信有限公司 | 一种全景图像拍摄方法及移动终端 |
CN107635102A (zh) * | 2017-10-30 | 2018-01-26 | 广东欧珀移动通信有限公司 | 高动态范围图像曝光补偿值获取方法和装置 |
-
2019
- 2019-03-14 CN CN201910192881.4A patent/CN110276714B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080278518A1 (en) * | 2007-05-08 | 2008-11-13 | Arcsoft (Shanghai) Technology Company, Ltd | Merging Images |
CN102739955A (zh) * | 2011-03-31 | 2012-10-17 | 卡西欧计算机株式会社 | 能生成动态范围宽的全景图像的数据的摄像装置 |
CN102148936A (zh) * | 2011-05-04 | 2011-08-10 | 展讯通信(上海)有限公司 | 一种高动态范围成像优化方法及装置 |
US8933985B1 (en) * | 2011-06-06 | 2015-01-13 | Qualcomm Technologies, Inc. | Method, apparatus, and manufacture for on-camera HDR panorama |
US20130033566A1 (en) * | 2011-08-02 | 2013-02-07 | Sony Corporation | Image processing device, and control method and computer readable medium |
CN104935911A (zh) * | 2014-03-18 | 2015-09-23 | 华为技术有限公司 | 一种高动态范围图像合成的方法及装置 |
US20170094145A1 (en) * | 2014-06-11 | 2017-03-30 | Sony Corporation | Image capturing apparatus and image capturing method |
CN106131443A (zh) * | 2016-05-30 | 2016-11-16 | 南京大学 | 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法 |
CN107222680A (zh) * | 2017-06-30 | 2017-09-29 | 维沃移动通信有限公司 | 一种全景图像的拍摄方法和移动终端 |
CN107566730A (zh) * | 2017-09-27 | 2018-01-09 | 维沃移动通信有限公司 | 一种全景图像拍摄方法及移动终端 |
CN107635102A (zh) * | 2017-10-30 | 2018-01-26 | 广东欧珀移动通信有限公司 | 高动态范围图像曝光补偿值获取方法和装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161148A (zh) * | 2019-12-30 | 2020-05-15 | 上海闻泰电子科技有限公司 | 一种全景图像生成方法、装置、设备和存储介质 |
CN111161148B (zh) * | 2019-12-30 | 2024-01-30 | 上海闻泰电子科技有限公司 | 一种全景图像生成方法、装置、设备和存储介质 |
CN115514876A (zh) * | 2021-06-23 | 2022-12-23 | 荣耀终端有限公司 | 图像融合方法、电子设备、存储介质及计算机程序产品 |
CN115514876B (zh) * | 2021-06-23 | 2023-09-01 | 荣耀终端有限公司 | 图像融合方法、电子设备、存储介质及计算机程序产品 |
CN114979505A (zh) * | 2022-05-27 | 2022-08-30 | 众趣(北京)科技有限公司 | 一种旋转拍摄全景的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110276714B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11115638B2 (en) | Stereoscopic (3D) panorama creation on handheld device | |
KR101156991B1 (ko) | 촬상 장치, 화상 처리 방법 및 기록 매체 | |
US10764496B2 (en) | Fast scan-type panoramic image synthesis method and device | |
JP4487191B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4775700B2 (ja) | 画像処理装置及び画像処理方法 | |
KR20110078175A (ko) | 영상 데이터 생성 방법 및 장치 | |
CN110536057A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
JP5300591B2 (ja) | 画像処理装置およびその方法 | |
CN110276714A (zh) | 快速扫描式全景图图像合成方法及装置 | |
JP5313127B2 (ja) | 映像合成方法、映像合成システム | |
US20110141300A1 (en) | Panorama Imaging Using a Blending Map | |
US20110141224A1 (en) | Panorama Imaging Using Lo-Res Images | |
US20110141229A1 (en) | Panorama imaging using super-resolution | |
US20110141225A1 (en) | Panorama Imaging Based on Low-Res Images | |
US20100128108A1 (en) | Apparatus and method for acquiring wide dynamic range image in an image processing apparatus | |
US7224392B2 (en) | Electronic imaging system having a sensor for correcting perspective projection distortion | |
KR102515482B1 (ko) | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 | |
JP2010187347A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
WO2011069698A1 (en) | Panorama imaging | |
JP2010130408A (ja) | 撮像装置 | |
KR102674601B1 (ko) | 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 | |
JP2020182045A (ja) | パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム | |
CN110177212A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
JP2009118434A (ja) | ぶれ補正装置及び撮像装置 | |
CN113327198A (zh) | 一种远距离双目视频拼接方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |