CN110276714A - 快速扫描式全景图图像合成方法及装置 - Google Patents

快速扫描式全景图图像合成方法及装置 Download PDF

Info

Publication number
CN110276714A
CN110276714A CN201910192881.4A CN201910192881A CN110276714A CN 110276714 A CN110276714 A CN 110276714A CN 201910192881 A CN201910192881 A CN 201910192881A CN 110276714 A CN110276714 A CN 110276714A
Authority
CN
China
Prior art keywords
image
panorama
exposure
processing result
hdr processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910192881.4A
Other languages
English (en)
Other versions
CN110276714B (zh
Inventor
陈平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongsoft Technology Co Ltd
Original Assignee
Hongsoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongsoft Technology Co Ltd filed Critical Hongsoft Technology Co Ltd
Priority to US16/354,576 priority Critical patent/US10764496B2/en
Publication of CN110276714A publication Critical patent/CN110276714A/zh
Application granted granted Critical
Publication of CN110276714B publication Critical patent/CN110276714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种快速扫描式全景图图像合成方法及装置，其中方法包括：同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；以锁定曝光的图像作为基准，对同时获取的两张原始图像进行HDR处理，得到HDR处理结果图；基于前一帧的全景临时结果图，对当前帧图像的HDR处理结果图进行曝光补偿；将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图。利用本发明可以对原先图像中的过曝区域和欠曝区域丢失的细节进行有效恢复，从而避免由于锁定曝光而引起的全景图结果丢失图像细节的问题。

Description

快速扫描式全景图图像合成方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于双摄HDR(High Dynamic RangeImaging，高动态范围成像)预处理的快速扫描式全景图图像合成方法及装置。
背景技术
全景图是一种广角图，是用很多张较窄视角的图像，通过算法合成一张宽视角的图像。全景图的合成方式有很多种：如先拍摄单张图片然后经过后期处理合成，或者在图像拍摄期间捕获特定的图像块进行实时合成，或者使用双鱼眼镜头同时拍摄两张鱼眼图像进行合成。
目前，很多智能手机预装了快速扫描式全景图合成程序。用户点击开始拍摄，手持手机朝一个方向移动，结束拍摄后可以很快获取一张全景图。这种图像合成方法主要通过运动估计，移动一小段距离就选取一张图像，通过匹配算法识别图像中间区域的某个选定的图像块与先前图像块之间的精确重合区域，然后使用融合算法将识别的图像块拼接成结果图象，最后通过大量上述类型的图像块来形成一张全景图像。该方法可以实现实时拼接，拍摄完毕即可获取全景图。
这种快速全景拼接算法，为了提升性能并且保证拼接质量，通常在采集图像数据的时候会锁定曝光，这样可以省去后期的曝光补偿的过程。但是这种提前锁定曝光的做法在某些场景很容易引起过曝和欠曝的现象。比如，用户在室内正常曝光的区域开始拍摄，向窗户方向移动，由于锁定了曝光，所以越靠近窗户时曝光越强，从而引起过曝，呈现出一个没有窗外景物的高亮区域，如图1所示。
还有一些智能手机，预装了拍照式全景图程序。用户点击开始拍摄，手持手机可以朝任意方向移动，拍摄不同方向的照片，后台程序通过算法合成，结束拍摄后等待一段时间才能获取一张全景图。该方法主要通过运动估计，隔一段距离拍摄一张图像，再后期经过特征点匹配计算出各图像之间的位置关系，经过曝光补偿修正亮度和颜色差异，经过柱面或球面变换，再使用融合算法拼接到结果图中。这种传统全景拼接算法，性能很慢，对于景深差异比较大的场景容易产生大的拼接错位。因为不锁定曝光，在光线差异很大的场景，曝光补偿算法也容易产生误差，引起奇怪的色块。
本发明主要解决现有技术中，因为锁定曝光而引起的全景图结果丢失图像细节的问题。
发明内容
基于此，本发明提供了一种快速扫描式全景图图像合成方法及装置，在快速扫描式全景拼接算法中，加入输入图序列的HDR预处理，并对HDR处理后的结果图进行曝光补偿，从而避免了由于锁定曝光而引起的全景图结果丢失图像细节的问题。
本发明提供的一种快速扫描式全景图图像合成方法，包括以下步骤：
同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；
以锁定曝光的图像作为基准，对同时获取的两张原始图像进行HDR处理，得到HDR处理结果图；
基于前一帧的全景临时结果图，对当前帧图像的HDR处理结果图进行曝光补偿；
将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图。
可选地，作为一种可实施方式，所述同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像，包括以下步骤：
控制两个相同视角的摄像头同时获取原始图像，其中一个摄像头锁定曝光，另一个摄像头不锁定曝光。
可选地，作为一种可实施方式，所述基于前一帧的全景临时结果图，对当前帧图像的HDR处理结果图进行曝光补偿，包括以下步骤：
获取前后两帧图像之间的相对运动参数；
根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域；
计算两个图像上的所述重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。
可选地，作为一种可实施方式，所述获取前后两帧图像之间的相对运动参数，包括以下步骤：
采用光流算法，计算前后两帧图像之间的平移运动参数；
或，获取图像采集设备的旋转角速度数据和单帧图像的视角数据，根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。
可选地，作为一种可实施方式，所述根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域，包括以下步骤：
根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域；
基于得到的粗略重叠区域，利用块匹配算法，计算两张图像之间的对齐平移运动参数，以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
可选地，作为一种可实施方式，计算两个图像上的所述重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿，包括以下步骤：
分别计算两个重叠区域的像素灰度值的累加和A1和A2，A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和，A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和；
计算亮度补偿值a，a＝A2/A1，对当前帧图像的HDR处理结果图的亮度值乘以a。
可选地，作为一种可实施方式，所述将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图，包括以下步骤：
在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域，查找一条灰度值差异累加和最小的路径，沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行线性融合，合成新的全景临时结果图。
相应地，本发明提供的一种快速扫描式全景图图像合成装置，包括原始图像获取模块、HDR预处理模块、曝光补偿模块以及图像合成模块；
所述原始图像获取模块，用于同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；
所述HDR预处理模块，用于以锁定曝光的图像作为基准，对同时获取的两张原始图像进行HDR处理，得到HDR处理结果图；
所述曝光补偿模块，用于基于前一帧的全景临时结果图，对当前帧图像的HDR处理结果图进行曝光补偿；
所述图像合成模块，用于将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图。
可选地，作为一种可实施方式，所述原始图像获取模块还用于控制两个相同视角的摄像头同时获取原始图像，其中一个摄像头锁定曝光，另一个摄像头不锁定曝光。
可选地，作为一种可实施方式，所述曝光补偿模块包括相对运动参数获取单元、重叠区域计算单元以及曝光补偿单元；
所述相对运动参数获取单元，用于获取前后两帧图像之间的相对运动参数；
所述重叠区域计算单元，用于根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域；
所述曝光补偿单元，用于计算两个图像上的所述重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。
可选地，作为一种可实施方式，所述相对运动参数获取单元具体用于采用光流算法，计算前后两帧图像之间的平移运动参数；或用于获取图像采集设备的旋转角速度数据和单帧图像的视角数据，根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。
可选地，作为一种可实施方式，所述重叠区域计算单元具体用于根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域；所述重叠区域计算单元还用于基于得到的粗略重叠区域，利用块匹配算法，计算两张图像之间的对齐平移运动参数，以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
可选地，作为一种可实施方式，所述曝光补偿单元具体用于分别计算两个重叠区域的像素灰度值的累加和A1和A2，A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和，A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和；计算亮度补偿值a，a＝A2/A1，对当前帧图像的HDR处理结果图的亮度值乘以a。
可选地，作为一种可实施方式，所述图像合成模块具体用于在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域，查找一条灰度值差异累加和最小的路径，沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果进行线性融合，合成新的全景临时结果图。
相应地，本发明还提供一种快速扫描式全景图图像合成装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
可选地，作为一种可实施方式，所述快速扫描式全景图图像合成装置，还包括两个摄像头，两个所述摄像头与所述处理器连接；
两个所述摄像头在采集原始图像时视角相同，一个摄像头锁定曝光，另一个摄像头不锁定曝光。
相应地，本发明还提供一种快速扫描式全景图图像合成装置，包括计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比，本技术方案具有以下优点：
本发明提供的快速扫描式全景图图像合成方法及装置，以锁定曝光的摄像头获取的图像为HDR算法的基准图像，进行HDR处理，以保持相邻帧的HDR处理结果图的亮度一致性。从而克服传统的HDR算法根据一个评判标准，选定其中一张输入图像作为基准图像，从而导致相邻帧的HDR结果图的亮度无法保持一致的缺陷。进一步地，在图像融合之前对HDR处理结果图进行曝光补偿，以减小HDR处理产生的亮度差异。最后根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图，直至得到最终合成的全景图。利用本发明可以对原先图像中的过曝区域和欠曝区域丢失的细节进行有效恢复，从而避免由于锁定曝光而引起的全景图结果丢失图像细节的问题。
附图说明
图1为本发明背景技术中的全景图；
图2为本发明实施例一提供的快速扫描式全景图图像合成方法的流程示意图；
图3为利用本发明实施例一提供的快速扫描式全景图图像合成方法合成的全景图；
图4为本发明实施例二提供的快速扫描式全景图图像合成装置的结构示意图。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。
参见图2，本发明实施例一提供了一种快速扫描式全景图图像合成方法，包括以下步骤：
S100、同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；
S200、以锁定曝光的图像作为基准，对同时获取的两张原始图像进行HDR处理，得到HDR处理结果图；
S300、基于前一帧的全景临时结果图，对当前帧图像的HDR处理结果图进行曝光补偿；
S400、根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图。
步骤S100，通过控制两个相同视角的摄像头同时获取原始图像即可实现，其中一个摄像头锁定曝光，另一个摄像头不锁定曝光，并且两张图像同时获取。目前，双摄像头手机已非常常见，所以基于现有的双摄像头手机等设备均可同时获取两张相同视角的原始图像。
步骤S200中，将锁定曝光的输入图和不锁定曝光的输入图同时作为HDR算法的输入图，并以锁定曝光的图像作为基准，进行HDR处理，得到HDR处理结果图。
此处需要说明的是，传统的HDR算法，一般是采用3张不同曝光(低曝光、正常曝光、高曝光)的输入图，因为只采用一个摄像头，所以三张图像不是同时获取，而是依次拍摄的。本实施例中以锁定曝光的摄像头获取的图像为HDR算法的基准图像，即设定锁定曝光的图像为正常曝光的图像，从而能够尽量保持HDR处理结果图的亮度和锁定曝光的图像一致。又因为锁定曝光时，相邻帧的亮度差异很小，所以将锁定曝光的图像当作正常曝光的图像进行HDR处理，可以保持相邻帧的HDR处理结果图的亮度一致性。从而克服传统的HDR算法根据一个评判标准，选定其中一张输入图像作为基准图像，从而导致相邻帧的HDR结果图的亮度无法保持一致的缺陷。
实施例一中采用的HDR算法，需要设定锁定曝光的输入图作为正常曝光的图像，以这张图像为基础，用算法找到细节缺失或者曝光不正常的区域，对锁定曝光的图像进行修复。经过HDR处理后的图像的亮度接近这张锁定曝光的图像，接近程度可以超过80％，并且使原先过曝区域和欠曝区域丢失的细节得到较好的恢复。
本发明的主要发明点在于将锁定基准图像的HDR处理结果图作为输入图去合成全景图像，并且在图像融合之前进行曝光补偿，以减小HDR处理产生的亮度差异，最后根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图，直至得到最终合成的全景图。对比图1，利用本发明实施例一得到的全景图，如图3所示，原先图像中的过曝区域和欠曝区域丢失的细节均得到了有效恢复。
上述实施例中的HDR处理的具体实现过程为本领域的现有技术，此处不再冗述。
具体地，作为一种可实施方式，步骤S300中，基于前一帧的全景临时结果图，对当前帧图像的HDR处理结果图进行曝光补偿，可通过以下步骤实现：
S310、获取前后两帧图像之间的相对运动参数。
在进行曝光补偿之前，首先需要进行运动估计，即获取前后两帧图像之间的相对运动参数，获取运动参数的目的是为了计算前后两帧图像之间的粗略重叠区域。可以采用光流算法，计算前后两帧图像之间的平移运动参数。光流算法可以计算两张图像之间的平移运动参数，用于纹理比较复杂的场景。也可以获取图像采集设备的旋转角速度数据和单帧图像的视角数据，根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。摄像头的陀螺仪数据可以获取设备的旋转角速度，而单帧图像的视角也是可以直接从设备信息中读取，这样可以计算出平移运动参数，平移运动参数＝(角速度*时间)*视角*图像边长，用于纹理比较简单的场景。
S320、根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域。两张图像的重叠区域可以分两步计算：第一步，根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域；第二步，基于得到的粗略重叠区域，利用块匹配算法，计算两张图像之间的对齐平移运动参数，以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
根据运动估计的结果，可以计算出当前帧HDR处理结果图和前一帧的全景临时结果图的粗略重叠区域。使用块匹配算法，可以计算更精确的对齐平移运动参数，用于曝光补偿和融合。块匹配算法是将一个图像中的重叠区域，在另一个图像中的重叠区域周围的小范围内搜索，计算对应像素灰度值差的绝对值之和，取平均值。当平均值最小时，就得到了更精确的平移运动参数。
S330、计算两个图像上的重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。该处的重叠区域指的是精确重叠区域。曝光补偿的目的在于减小HDR处理产生的亮度差异，使得HDR处理结果图的亮度更接近正常曝光的图像。其具体实现方式可以有多种，下面列举一种具体的可实现方式：分别计算两个重叠区域的像素灰度值的累加和A1和A2，A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和，A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和；计算亮度补偿值a，a＝A2/A1，对当前帧图像的HDR处理结果图的亮度值乘以a。
拍摄过程中只对重叠区域及外扩的一定区域进行曝光补偿，拍摄结束后对没有补偿的部分进行曝光补偿，这样可以进一步减少一些无用的运算量，提高运行速度。
具体地，作为一种可实施方式，步骤S400中，根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图，可以通过以下步骤实现：
在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域，查找一条灰度值差异累加和最小的路径，沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行线性融合，合成新的全景临时结果图。
沿着路径进行线性融合，是指在路径左右L宽度内，图像的像素值做平滑过渡，可表述为：Pixel＝LeftPixel*(L-x)/L+RightPixel*x/L，其中，x的范围为1～L，L为过渡区域的长度，LeftPixel为输入图(即HDR处理结果图)的像素灰度值，RightPixel为全景临时结果图的像素灰度值。x越小，计算结果Pixel越接近LeftPixel和RightPixel。
此处，需要补充说明的是，对于HDR处理过程中的第一帧图像，可以直接用合成的第一张HDR处理结果图拷贝到全景结果图内存中，作为全景临时结果图。
基于同一发明构思，本发明实施例二还提供了一种快速扫描式全景图图像合成装置，该装置与前述方法的原理相同，其工作过程可参照前述方法的流程实现，重复之处不再冗述。
参见图4，本发明实施例二提供的一种快速扫描式全景图图像合成装置，包括原始图像获取模块100、HDR预处理模块200、曝光补偿模块300以及图像合成模块400。
原始图像获取模块100用于同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；HDR预处理模块200用于以锁定曝光的图像作为基准，对同时获取的两张原始图像进行HDR处理，得到HDR处理结果图；曝光补偿模块300用于基于前一帧的全景临时结果图，对当前帧图像的HDR处理结果图进行曝光补偿；图像合成模块400用于将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图。
上述原始图像获取模块100还用于控制两个相同视角的摄像头同时获取图像，其中一个摄像头锁定曝光，另一个摄像头不锁定曝光。
进一步地，曝光补偿模块300包括相对运动参数获取单元310、重叠区域计算单元320以及曝光补偿单元330。相对运动参数获取单元310用于获取前后两帧图像之间的相对运动参数；重叠区域计算单元320用于根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域；曝光补偿单元330用于计算两个图像上的重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。
更进一步地，相对运动参数获取单元310采用光流算法，计算前后两帧图像之间的平移运动参数；或获取图像采集设备的旋转角速度数据和单帧图像的视角数据，根据旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。
重叠区域计算单元320具体用于根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域；重叠区域计算单元还用于基于得到的粗略重叠区域，利用块匹配算法，计算两张图像之间的对齐平移运动参数，以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
曝光补偿单元330具体用于分别计算两个重叠区域的像素灰度值的累加和A1和A2，A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和，A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和；计算亮度补偿值a，a＝A2/A1，对当前帧图像的HDR处理结果图的亮度值乘以a。
作为一种可实施方式，图像合成模块400用于在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域，查找一条灰度值差异累加和最小的路径，沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果进行线性融合，合成新的全景临时结果图。
基于同一发明构思，本发明实施例三提供了一种快速扫描式全景图图像合成装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例一中任一实施方式所述方法的步骤。
进一步地，所述快速扫描式全景图图像合成装置还包括两个摄像头，两个所述摄像头与所述处理器连接；两个所述摄像头在采集原始图像时视角相同，一个摄像头锁定曝光，另一个摄像头不锁定曝光。
基于同一发明构思，本发明实施例四提供了一种快速扫描式全景图图像合成装置，包括计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例一中任一实施方式所述方法的步骤。
上述实施例提供的快速扫描式全景图图像合成方法及装置，以锁定曝光的摄像头获取的图像为HDR算法的基准图像，进行HDR处理，以保持相邻帧的HDR处理结果图的亮度一致性。从而克服传统的HDR算法根据一个评判标准，选定其中一张输入图像作为基准图像，从而导致相邻帧的HDR结果图的亮度无法保持一致的缺陷。进一步地，在图像融合之前对HDR处理结果图进行曝光补偿，以减小HDR处理产生的亮度差异。最后根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图，直至得到最终合成的全景图。
本发明的关键点在于将锁定曝光的原始图像作为基准图像进行HDR预处理，得到HDR处理结果图；进而将HDR处理结果图作为输入图去合成全景图像，并且在后续的图像融合之前对输入图进行光补偿，以减小HDR处理产生的亮度差异。利用本发明可以对原先图像中的过曝区域和欠曝区域丢失的细节进行有效恢复，从而避免由于锁定曝光而引起的全景图结果丢失图像细节的问题。
进一步地，本发明提供的快速扫描式全景图图像合成方法及装置，还可以应用于合成曝光稳定的视频。通常手机摄像头自带的视频软件是不锁定曝光的，录制时会发生亮度变化剧烈的现象。使用本发明提供的技术方案，可以用锁定曝光的图像作为基准图像，和同时获取的不锁定曝光的图像通过HDR算法合成，将合成的结果编码得到曝光稳定的视频，并且保留住图像细节。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (17)

1.一种快速扫描式全景图图像合成方法，其特征在于，包括以下步骤：
同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；
以锁定曝光的图像作为基准，对同时获取的两张原始图像进行HDR处理，得到HDR处理结果图；
基于前一帧的全景临时结果图，对当前帧图像的HDR处理结果图进行曝光补偿；
将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图。
2.根据权利要求1所述的快速扫描式全景图图像合成方法，其特征在于，所述同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像，包括以下步骤：
控制两个相同视角的摄像头同时获取原始图像，其中一个摄像头锁定曝光，另一个摄像头不锁定曝光。
3.根据权利要求1所述的快速扫描式全景图图像合成方法，其特征在于，所述基于前一帧的全景临时结果图，对当前帧图像的HDR处理结果图进行曝光补偿，包括以下步骤：
获取前后两帧图像之间的相对运动参数；
根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域；
计算两个图像上的所述重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。
4.根据权利要求3所述的快速扫描式全景图图像合成方法，其特征在于，所述获取前后两帧图像之间的相对运动参数，包括以下步骤：
采用光流算法，计算前后两帧图像之间的平移运动参数；
或，获取图像采集设备的旋转角速度数据和单帧图像的视角数据，根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。
5.根据权利要求3所述的快速扫描式全景图图像合成方法，其特征在于，所述根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域，包括以下步骤：
根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域；
基于得到的粗略重叠区域，利用块匹配算法，计算两张图像之间的对齐平移运动参数，以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
6.根据权利要求3所述的快速扫描式全景图图像合成方法，其特征在于，计算两个图像上的所述重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿，包括以下步骤：
分别计算两个重叠区域的像素灰度值的累加和A1和A2，A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和，A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和；
计算亮度补偿值a，a＝A2/A1，对当前帧图像的HDR处理结果图的亮度值乘以a。
7.根据权利要求1至6任一项所述的快速扫描式全景图图像合成方法，其特征在于，所述将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图，包括以下步骤：
在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域，查找一条灰度值差异累加和最小的路径，沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行线性融合，合成新的全景临时结果图。
8.一种快速扫描式全景图图像合成装置，其特征在于，包括原始图像获取模块、HDR预处理模块、曝光补偿模块以及图像合成模块；
所述原始图像获取模块，用于同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；
所述HDR预处理模块，用于以锁定曝光的图像作为基准，对同时获取的两张原始图像进行HDR处理，得到HDR处理结果图；
所述曝光补偿模块，用于基于前一帧的全景临时结果图，对当前帧图像的HDR处理结果图进行曝光补偿；
所述图像合成模块，用于将前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果图进行图像融合，以合成新的全景临时结果图。
9.根据权利要求8所述的快速扫描式全景图图像合成装置，其特征在于，所述原始图像获取模块还用于控制两个相同视角的摄像头同时获取原始图像，其中一个摄像头锁定曝光，另一个摄像头不锁定曝光。
10.根据权利要求8所述的快速扫描式全景图图像合成装置，其特征在于，所述曝光补偿模块包括相对运动参数获取单元、重叠区域计算单元以及曝光补偿单元；
所述相对运动参数获取单元，用于获取前后两帧图像之间的相对运动参数；
所述重叠区域计算单元，用于根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的重叠区域；
所述曝光补偿单元，用于计算两个图像上的所述重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的HDR处理结果图进行曝光补偿。
11.根据权利要求10所述的快速扫描式全景图图像合成装置，其特征在于，所述相对运动参数获取单元具体用于采用光流算法，计算前后两帧图像之间的平移运动参数；或用于获取图像采集设备的旋转角速度数据和单帧图像的视角数据，根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。
12.根据权利要求10所述的快速扫描式全景图图像合成装置，其特征在于，所述重叠区域计算单元具体用于根据前后两帧图像之间的相对运动参数，计算当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的粗略重叠区域；所述重叠区域计算单元还用于基于得到的粗略重叠区域，利用块匹配算法，计算两张图像之间的对齐平移运动参数，以得到当前帧图像的HDR处理结果图和前一帧的全景临时结果图之间的精确重叠区域。
13.根据权利要求10所述的快速扫描式全景图图像合成装置，其特征在于，所述曝光补偿单元具体用于分别计算两个重叠区域的像素灰度值的累加和A1和A2，A1为当前帧图像的HDR处理结果图在重叠区域的像素灰度值的累加和，A2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和；计算亮度补偿值a，a＝A2/A1，对当前帧图像的HDR处理结果图的亮度值乘以a。
14.根据权利要求8至13任一项所述的快速扫描式全景图图像合成装置，其特征在于，所述图像合成模块具体用于在当前帧图像的HDR处理结果图和前一帧的全景临时结果图的重叠区域，查找一条灰度值差异累加和最小的路径，沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的HDR处理结果进行线性融合，合成新的全景临时结果图。
15.一种快速扫描式全景图图像合成装置，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
16.根据权利要求15所述的快速扫描式全景图图像合成装置，其特征在于，还包括两个摄像头，两个所述摄像头与所述处理器连接；
两个所述摄像头在采集原始图像时视角相同，一个摄像头锁定曝光，另一个摄像头不锁定曝光。
17.一种快速扫描式全景图图像合成装置，包括计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201910192881.4A 2018-03-16 2019-03-14 快速扫描式全景图图像合成方法及装置 Active CN110276714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/354,576 US10764496B2 (en) 2018-03-16 2019-03-15 Fast scan-type panoramic image synthesis method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810220580 2018-03-16
CN2018102205803 2018-03-16

Publications (2)

Publication Number Publication Date
CN110276714A true CN110276714A (zh) 2019-09-24
CN110276714B CN110276714B (zh) 2023-06-06

Family

ID=67959223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910192881.4A Active CN110276714B (zh) 2018-03-16 2019-03-14 快速扫描式全景图图像合成方法及装置

Country Status (1)

Country Link
CN (1) CN110276714B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161148A (zh) * 2019-12-30 2020-05-15 上海闻泰电子科技有限公司 一种全景图像生成方法、装置、设备和存储介质
CN114979505A (zh) * 2022-05-27 2022-08-30 众趣（北京）科技有限公司 一种旋转拍摄全景的方法及装置
CN115514876A (zh) * 2021-06-23 2022-12-23 荣耀终端有限公司 图像融合方法、电子设备、存储介质及计算机程序产品

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278518A1 (en) * 2007-05-08 2008-11-13 Arcsoft (Shanghai) Technology Company, Ltd Merging Images
CN102148936A (zh) * 2011-05-04 2011-08-10 展讯通信（上海）有限公司 一种高动态范围成像优化方法及装置
CN102739955A (zh) * 2011-03-31 2012-10-17 卡西欧计算机株式会社 能生成动态范围宽的全景图像的数据的摄像装置
US20130033566A1 (en) * 2011-08-02 2013-02-07 Sony Corporation Image processing device, and control method and computer readable medium
US8933985B1 (en) * 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama
CN104935911A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种高动态范围图像合成的方法及装置
CN106131443A (zh) * 2016-05-30 2016-11-16 南京大学 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法
US20170094145A1 (en) * 2014-06-11 2017-03-30 Sony Corporation Image capturing apparatus and image capturing method
CN107222680A (zh) * 2017-06-30 2017-09-29 维沃移动通信有限公司 一种全景图像的拍摄方法和移动终端
CN107566730A (zh) * 2017-09-27 2018-01-09 维沃移动通信有限公司 一种全景图像拍摄方法及移动终端
CN107635102A (zh) * 2017-10-30 2018-01-26 广东欧珀移动通信有限公司 高动态范围图像曝光补偿值获取方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278518A1 (en) * 2007-05-08 2008-11-13 Arcsoft (Shanghai) Technology Company, Ltd Merging Images
CN102739955A (zh) * 2011-03-31 2012-10-17 卡西欧计算机株式会社 能生成动态范围宽的全景图像的数据的摄像装置
CN102148936A (zh) * 2011-05-04 2011-08-10 展讯通信（上海）有限公司 一种高动态范围成像优化方法及装置
US8933985B1 (en) * 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama
US20130033566A1 (en) * 2011-08-02 2013-02-07 Sony Corporation Image processing device, and control method and computer readable medium
CN104935911A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种高动态范围图像合成的方法及装置
US20170094145A1 (en) * 2014-06-11 2017-03-30 Sony Corporation Image capturing apparatus and image capturing method
CN106131443A (zh) * 2016-05-30 2016-11-16 南京大学 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法
CN107222680A (zh) * 2017-06-30 2017-09-29 维沃移动通信有限公司 一种全景图像的拍摄方法和移动终端
CN107566730A (zh) * 2017-09-27 2018-01-09 维沃移动通信有限公司 一种全景图像拍摄方法及移动终端
CN107635102A (zh) * 2017-10-30 2018-01-26 广东欧珀移动通信有限公司 高动态范围图像曝光补偿值获取方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161148A (zh) * 2019-12-30 2020-05-15 上海闻泰电子科技有限公司 一种全景图像生成方法、装置、设备和存储介质
CN111161148B (zh) * 2019-12-30 2024-01-30 上海闻泰电子科技有限公司 一种全景图像生成方法、装置、设备和存储介质
CN115514876A (zh) * 2021-06-23 2022-12-23 荣耀终端有限公司 图像融合方法、电子设备、存储介质及计算机程序产品
CN115514876B (zh) * 2021-06-23 2023-09-01 荣耀终端有限公司 图像融合方法、电子设备、存储介质及计算机程序产品
CN114979505A (zh) * 2022-05-27 2022-08-30 众趣（北京）科技有限公司 一种旋转拍摄全景的方法及装置

Also Published As

Publication number Publication date
CN110276714B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US11115638B2 (en) Stereoscopic (3D) panorama creation on handheld device
KR101156991B1 (ko) 촬상 장치, 화상 처리 방법 및 기록 매체
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
JP4487191B2 (ja) 画像処理装置および画像処理プログラム
JP4775700B2 (ja) 画像処理装置及び画像処理方法
KR20110078175A (ko) 영상 데이터 생성 방법 및 장치
JP5300591B2 (ja) 画像処理装置およびその方法
CN110276714A (zh) 快速扫描式全景图图像合成方法及装置
CN110536057A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP5313127B2 (ja) 映像合成方法、映像合成システム
US20110141300A1 (en) Panorama Imaging Using a Blending Map
US20110141224A1 (en) Panorama Imaging Using Lo-Res Images
US20110141229A1 (en) Panorama imaging using super-resolution
US20110141225A1 (en) Panorama Imaging Based on Low-Res Images
JP2004357040A (ja) 撮像制御装置
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
US20100128108A1 (en) Apparatus and method for acquiring wide dynamic range image in an image processing apparatus
JP5096297B2 (ja) 撮像装置
JP2010187347A (ja) 画像処理装置、画像処理方法、画像処理プログラム
EP2545411A1 (en) Panorama imaging
JP2020182045A (ja) パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
CN110177212A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR102495627B1 (ko) 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
JP2009118434A (ja) ぶれ補正装置及び撮像装置
JP2004247793A (ja) パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant