CN107734271A - 高动态范围十亿像素视频生成方法 - Google Patents
高动态范围十亿像素视频生成方法 Download PDFInfo
- Publication number
- CN107734271A CN107734271A CN201710958201.6A CN201710958201A CN107734271A CN 107734271 A CN107734271 A CN 107734271A CN 201710958201 A CN201710958201 A CN 201710958201A CN 107734271 A CN107734271 A CN 107734271A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- image
- exposure
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000000844 transformation Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000000265 homogenisation Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012876 topography Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
一种高动态范围十亿像素视频生成方法，包括：用多个局部视角相机进行正常采集视频，用中心全局相机进行变曝光采集，使用不同长度的曝光时间对全局进行多次曝光采样，获得不同强度范围入射光的细节；对中心全局相机得到的变曝光采集到的视频图像进行曝光融合，得到全局高动态范围低时域噪声的视频图像；对未进行变曝光采集的局部视频图像预处理，按照设定的比例缩小，利用零均值归一化互相关匹配找到缩小后图像在变曝光融合后的全局图中的位置，从全局图中裁剪出最佳匹配块，放大到与局部视频图像同样大小，作为参考块；对局部视频图像进行特征点提取匹配及变换，利用图割技术将局部视频图像进行拼接。该方法可以得到高动态范围的十亿像素视频。
Description
技术领域
本发明涉及计算机视觉技术和图像视频处理领域，特别涉及一种高动态范围十亿像素视频生成方法。
背景技术
随着计算机计算能力及相机分辨率和视野的提升，人们对图像视频和质量的要求越来越高，希望得到高分辨率的全景图，既能获得更广阔的视野，又不损失图像和视频的细节信息。由于单个相机视角及分辨率有限，这就需要用到拼接技术，将单个相机获得的多张图片视频或者多个摄像头采集的图像和视频进行拼接，得到超高像素的图像和视频。
目前为止，超高像素图像技术，尤其是十亿像素图像技术，也有很多研究成果，而十亿像素视频技术，主要有以下三种方法：1、利用延时摄影来制作十亿像素视频；2、使用视频纹理来实现简单场景的十亿像素视频；3、用半球形透镜阵列采集大场景的视频。
这些方法有一定的应用价值，但总体来讲存在一些问题：1、视频采集设备难以设计，并且通常体积庞大；2、十亿像素每个摄像头获取的数据量十分巨大，目前的存储设备难以长时间存储，而又缺乏高效的数据压缩方法；3、对于高动态范围的十亿像素视频，由于不同相机的曝光时间不同，因此图像之间的动态范围不一致，不能直接进行拼接；4、高动态范围视频拍摄过程中，摄像机发生抖动，多幅输入图像会发生错位，使得生成的HDR图像产生重影而显得模糊。
以上背景技术的内容仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明旨在至少在一定程度上解决上述相关技术问题之一。为此，本发明提出一种可以生成高动态范围的十亿像素视频的方法。
为实现上述目的，本发明采用以下技术方案：
一种高动态范围十亿像素视频生成方法，其特征在于，包括以下步骤：
S1：搭建包括多个局部视角相机和作为参考相机的一个中心全局相机的多尺度混合相机阵列；
S2：用所述多个局部视角相机进行正常视频采集，用所述中心全局相机进行变曝光采集，使用不同长度的曝光时间对全局进行多次曝光采样，获得不同强度范围入射光的细节；
S3：对所述中心全局相机得到的变曝光采集到的视频图像进行曝光融合，得到全局高动态范围低时域噪声的视频图像；
S4：对未进行变曝光采集的局部视频图像进行预处理，将它们按照设定的比例缩小，比例为中心全局相机的焦距与局部视角相机的焦距的比值，然后利用零均值归一化互相关匹配找到缩小后图像在变曝光融合后的全局图中的位置，然后将最佳匹配块从全局图中裁剪出来，并将它放大到与局部视频图像同样大小，作为参考块；
S5：采用跨分辨率匹配及变换方法对局部视频图像进行特征点提取匹配及变换，然后利用图像分割技术在参考块上找到适当的缝合线，将局部视频图像进行拼接，以得到高动态范围十亿像素视频。
进一步地：
步骤S3采用基于金字塔变换的多曝光图像融合，包括以下子步骤：
S31：计算融合指标：采用分块的方法将图像分成若干块，计算每个块的信息量，包括三个度量因子：对比度、熵以及适度曝光量；
对比度的计算：先将图像与拉普拉斯片子进行卷积，得到的系数取绝对值即对比度信息；
熵的计算如下：
其中，p(z)是图像的直方图数据，L是图像的灰度级；
适度曝光量的计算如下：
其中，I(x,y)为图像的归一化像素值；σ为方差；
S32：生成权重图：分别计算出每个块中像素的三个度量因子值后，对相同块进行加权归一处理：
将三个度量因子线性组合如下：
wk(x,y)＝(Ck(x,y)+a)×(Sk(x,y)+b)×(Pk(x,y)+c)
其中k是图像的序列号，C、S、P分别是对比度、熵和适度曝光量；a、b、c是常数项；
然后将所有多曝光图像序列中相同位置块的权重值wk(x,y)进行归一化处理得到最终不同曝光图像相对应的权重图：
S33：加权平均：将得到的权重图按照金字塔分解的形式进行分解，得到与原图拉普拉斯金字塔相同大小的和层图像，然后将权重图的分解图与原图像的分解图进行加权平均，得到最终生成的全局高动态范围图：
其中，LP表示拉普拉斯金字塔，i表示分解的层数。
步骤S5中，跨分辨率匹配及变换包括以下子步骤：
S51：全局变换迭代：根据步骤S4中用零均值归一化互相关法计算的局部图片初始的特征相关性，基于匹配的相关性，计算全局的单应性矩阵H，将位于参考块上的局部图进行全局变换。
步骤S4中利用零均值归一化互相关匹配和步骤S51各进行一次迭代，在这两次的迭代中，零均值归一化互相关(ZNCC)表示为：
式中，pl表示局部图像Il中的块，pr表示全局图像Ir中的块，是pl的均匀化，函数π表示基于单应性矩阵H的透视投影变换。
在步骤S4中的第一次迭代中，H矩阵初始化为3×3的单位矩阵，使用比较大的第一图像块，在步骤S51中的第二次迭代中，使用比较小的第二图像块。
步骤S5中，跨分辨率匹配及变换还包括以下子步骤：
S52：网格变换迭代：
以s51步骤中的结果为初值，利用光流法对匹配结果进行优化，得到逐像素的匹配关系，确定局部图与参考图之间的相关性，对光流结果进行采样，得到平滑区域的特征点，结合步骤S51中的特征点求得最终基于网格的单应性变换，将网格求解过程转换成使得以下能量项有最小值：
Er(V)＝λrEr(V)+λtEt(V)+λsEs(V)
其中V代表变形的网格顶点的位置，Er代表数据项：
其中αpl是pl双线性插值的权重；
Et代表时间稳定项：
其中与pl是特征点对，B是指数函数，用来检查特征点像素是否在静止块上，如果pl位于运动物体上，则B(pl)＝0；
Es(V)代表网格优化中的平滑项。
步骤5中，将局部视频图像进行拼接后，还对整体拼接图进行颜色校正。
设置14个所述局部视角相机。
每个局部视角的相机在采集视频过程中是静止的或运动的。
每个相机的分辨率不低于800万像素。
与现有技术相比，本发明的有益效果在于：本发明的高动态范围十亿像素视频生成方法通过多个局部视角相机和作为参考相机的一个中心全局相机视频采集获得局部图和全局图，通过融合多曝光的全局图得到更多细节信息的参考图，然后根据参考图拼接全局图，得到更清晰无疑的高动态范围十亿像素图，一帧一帧拼接成视频，减少视差和重影，大大提升了拼接质量，保存了大量细节信息。
附图说明
图1是本发明优选实施例的高动态范围十亿像素视频生成的流程示意图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
参阅图1，在一种实施例中，一种高动态范围十亿像素视频生成方法，包括以下步骤：
S1：搭建包括多个局部视角相机(例如14个局部视角相机)和作为参考相机的一个中心全局相机的多尺度混合相机阵列；每个局部视角的相机在采集视频过程中可以是静止的也可以是运动的，每个相机的分辨率优选至少800万像素；
S2：用所述多个局部视角相机进行正常视频采集，用所述中心全局相机进行变曝光采集，使用不同长度的曝光时间对全局进行多次曝光采样，获得不同强度范围入射光的细节；
S3：对所述中心全局相机得到的变曝光采集到的视频图像进行曝光融合，得到全局高动态范围低时域噪声的视频图像；
S4：对未进行变曝光采集的局部视频图像进行预处理，将它们按照设定的比例缩小，比例为中心全局相机的焦距与局部视角相机的焦距的比值，然后利用零均值归一化互相关匹配找到缩小后图像在变曝光融合后的全局图中的位置，然后将最佳匹配块从全局图中裁剪出来，并将它放大到与局部视频图像同样大小，作为参考块；
S5：采用跨分辨率匹配(即在低分辨率图和高分辨图之间做匹配)及变换方法对局部视频图像进行特征点提取匹配及变换，然后利用图像分割技术在参考块上找到适当的缝合线，将局部视频图像进行拼接，以得到高动态范围十亿像素视频。
在优选的实施例中，步骤S3采用基于金字塔变换的多曝光图像融合，包括以下几个子步骤：
S31：计算融合指标。采用分块的方法将图像分成若干块，计算每个块的信息量，通常由三个度量因子来测定：对比度、熵以及适度曝光量；
对比度的计算，先将图像与拉普拉斯片子进行卷积，得到的系数取绝对值，该值就是对比度信息。
熵的计算如下：
其中，p(z)是图像的直方图数据，L是图像的灰度级。
适度曝光量的计算如下：
其中，I(x,y)为图像的归一化像素值；σ为方差。
S32：生成权重图。分别计算出每个块中像素的三个度量因子值后，对相同块进行加权归一处理，得到权重图：
三个度量因子线性组合如下：
wk(x,y)＝(Ck(x,y)+a)×(Sk(x,y)+b)×(Pk(x,y)+c)
其中k是图像的序列号，C,S,P分别是对比度、熵和适度曝光量；a,b,c是常数项。然后将所有多曝光图像序列中相同位置块的权重值wk(x,y)进行归一化处理得到最终不同曝光图像相对应的权重图：
S33：加权平均。将得到的权重图按照金字塔分解的形式进行分解，得到与原图拉普拉斯金字塔相同大小的和层图像，然后将权重图的分解图与原图像的分解图进行加权平均，得到最终生成的全局高动态范围图：
其中，LP表示拉普拉斯金字塔，i表示分解的层数。
在优选的实施例中，步骤S5中：跨分辨率匹配及变换算法包括以下两个部分：
S51：全局变换迭代。步骤S4中用零均值归一化互相关法计算了局部图片初始的特征相关性，基于这匹配的相关性，接下来计算全局的单应性矩阵H，将位于参考块上的局部图进行全局变换。在这两次的迭代中，零均值归一化互相关(ZNCC)可以表示为：
式中，pl表示局部图像Il中的块，pr表示全局图像Ir中的块，是pl的均匀化，函数π表示基于单应性矩阵H的透视投影变换。在步骤S4中的第一次迭代中，H矩阵初始化为3×3单位矩阵，使用比较大(如256x256大小)的图像块，在本步骤的迭代中，使用比较小(如128x128大小)的图像块。
S52：网格变换迭代。
在用全局单应性矩阵进行变换之后，一些平滑区域仍然只有少量的特征相关点，这会使得配准出现误差。因此在全局变换的基础上引入网格变换。
以s51步骤中的结果为初值，利用光流法对匹配结果进行优化，得到逐像素的匹配关系，确定局部图与参考图之间的相关性，对光流结果进行采样，获得平滑区域的特征点，结合S51中的特征点求得最终基于网格的单应性变换，将网格求解过程转换成使得以下能量项有最小值：
Er(V)＝λrEr(V)+λtEt(V)+λsEs(V)
式中，V代表变形的网格顶点的位置，可以看到能量项由三部分组成，Er代表数据项，通过它使得局部图的变换更接近参考块，具体表达如下：
式中，αpl是pl双线性插值的权重。
Et代表时间稳定项，具体表达如下：
式中，与pl是特征点对，B是指数函数，用来检查特征点像素是否在静止块上，如果pl位于运动物体上，则B(pl)＝0。
Es(V)代表网格优化中的平滑项。
本发明优选实施例的高动态范围十亿像素视频生成方法通过对中心全局相机进行多曝光融合，获取高动态范围的全局图，然后对局部相机采集到的视频图像进行预处理得到全局图中的参考块，根据全局单应性变换及网格变换相结合的方式对局部视频图像进行变换，进行拼接成最终的宽视角的十亿像素视频图像，从而可以处理超高像素高动态范围的拼接，保留细节信息，减少视差和重影问题，大大提升了拼接质量与视觉效果。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
Claims (10)
1.一种高动态范围十亿像素视频生成方法，其特征在于，包括以下步骤：
S1：搭建包括多个局部视角相机和作为参考相机的一个中心全局相机的多尺度混合相机阵列；
S2：用所述多个局部视角相机进行正常视频采集，用所述中心全局相机进行变曝光采集，使用不同长度的曝光时间对全局进行多次曝光采样，获得不同强度范围入射光的细节；
S3：对所述中心全局相机得到的变曝光采集到的视频图像进行曝光融合，得到全局高动态范围低时域噪声的视频图像；
S4：对未进行变曝光采集的局部视频图像进行预处理，将它们按照设定的比例缩小，比例为中心全局相机的焦距与局部视角相机的焦距的比值，然后利用零均值归一化互相关匹配找到缩小后图像在变曝光融合后的全局图中的位置，然后将最佳匹配块从全局图中裁剪出来，并将它放大到与局部视频图像同样大小，作为参考块；
S5：采用跨分辨率匹配及变换方法对局部视频图像进行特征点提取匹配及变换，然后利用图像分割技术在参考块上找到适当的缝合线，将局部视频图像进行拼接，以得到高动态范围十亿像素视频。
2.如权利要求1所述的十亿像素视频生成方法，其特征在于，步骤S3采用基于金字塔变换的多曝光图像融合，包括以下子步骤：
S31：计算融合指标：采用分块的方法将图像分成若干块，计算每个块的信息量，包括三个度量因子：对比度、熵以及适度曝光量；
对比度的计算：先将图像与拉普拉斯片子进行卷积，得到的系数取绝对值即对比度信息；
熵的计算如下：
<mrow>
<mi>e</mi>
<mo>=</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>L</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<msub>
<mi>log</mi>
<mn>2</mn>
</msub>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，p(z)是图像的直方图数据，L是图像的灰度级；
适度曝光量的计算如下：
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mn>0.5</mn>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
其中，I(x,y)为图像的归一化像素值；σ为方差；
S32：生成权重图：分别计算出每个块中像素的三个度量因子值后，对相同块进行加权归一处理：
将三个度量因子线性组合如下：
wk(x,y)＝(Ck(x,y)+a)×(Sk(x,y)+b)×(Pk(x,y)+c)
其中k是图像的序列号，C、S、P分别是对比度、熵和适度曝光量；a、b、c是常数项；
然后将所有多曝光图像序列中相同位置块的权重值wk(x,y)进行归一化处理得到最终不同曝光图像相对应的权重图：
<mrow>
<msup>
<mover>
<mi>w</mi>
<mo>~</mo>
</mover>
<mi>k</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<msup>
<mi>w</mi>
<mi>k</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msup>
<mi>w</mi>
<mi>k</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
S33：加权平均：将得到的权重图按照金字塔分解的形式进行分解，得到与原图拉普拉斯金字塔相同大小的和层图像，然后将权重图的分解图与原图像的分解图进行加权平均，得到最终生成的全局高动态范围图：
<mrow>
<msub>
<mi>G</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>N</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>N</mi>
</munderover>
<msubsup>
<mi>LP</mi>
<mi>i</mi>
<mi>j</mi>
</msubsup>
<msubsup>
<mover>
<mi>w</mi>
<mo>~</mo>
</mover>
<mi>i</mi>
<mi>j</mi>
</msubsup>
</mrow>
其中，LP表示拉普拉斯金字塔，i表示分解的层数。
3.如权利要求1或2所述的十亿像素视频生成方法，其特征在于，步骤S5中，跨分辨率匹配及变换包括以下子步骤：
S51：全局变换迭代：根据步骤S4中用零均值归一化互相关法计算的局部图片初始的特征相关性，基于匹配的相关性，计算全局的单应性矩阵H，将位于参考块上的局部图进行全局变换。
4.如权利要求3所述的十亿像素视频生成方法，其特征在于，步骤S4中利用零均值归一化互相关匹配和步骤S51各进行一次迭代，在这两次的迭代中，零均值归一化互相关(ZNCC)表示为：
<mrow>
<msubsup>
<mi>P</mi>
<mi>r</mi>
<mo>*</mo>
</msubsup>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>max</mi>
<msub>
<mi>p</mi>
<mi>r</mi>
</msub>
</munder>
<mi>Z</mi>
<mi>N</mi>
<mi>C</mi>
<mi>C</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>r</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>p</mi>
<mi>r</mi>
</msub>
<mo>,</mo>
<mi>w</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<msub>
<mi>I</mi>
<mi>l</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>p</mi>
<mi>l</mi>
</msub>
<mo>,</mo>
<mi>w</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>&pi;</mi>
<mrow>
<mo>(</mo>
<mi>H</mi>
<msub>
<mover>
<mi>p</mi>
<mo>~</mo>
</mover>
<mi>l</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>r</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
<mo><</mo>
<mo>&Element;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
式中，p1表示局部图像I1中的块，pr表示全局图像Ir中的块，是pl的均匀化，函数π表示基于单应性矩阵H的透视投影变换。
5.如权利要求4所述的十亿像素视频生成方法，其特征在于，在步骤S4中的第一次迭代中，H矩阵初始化为3×3的单位矩阵，使用比较大的第一图像块，在步骤S51中的第二次迭代中，使用比较小的第二图像块。
6.如权利要求3至5任一项所述的十亿像素视频生成方法，其特征在于，步骤S5中，跨分辨率匹配及变换还包括以下子步骤：
S52：网格变换迭代：
以s51步骤中的结果为初值，利用光流法对匹配结果进行优化，得到逐像素的匹配关系，确定局部图与参考图之间的相关性，对光流结果进行采样，得到平滑区域的特征点，结合步骤S51中的特征点求得最终基于网格的单应性变换，将网格求解过程转换成使得以下能量项有最小值：
Er(V)＝λrEr(V)+λtEt(V)+λsEs(V)
其中V代表变形的网格顶点的位置，Er代表数据项：
<mrow>
<msub>
<mi>E</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>V</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mi>l</mi>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>&alpha;</mi>
<mrow>
<mi>p</mi>
<mi>l</mi>
</mrow>
</msub>
<mi>V</mi>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>r</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中αpl是pl双线性插值的权重；
Et代表时间稳定项：
<mrow>
<msub>
<mi>E</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>V</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mi>l</mi>
</mrow>
</munder>
<mi>B</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mi>l</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>&alpha;</mi>
<mrow>
<mi>p</mi>
<mi>l</mi>
</mrow>
</msub>
<mi>V</mi>
<mo>-</mo>
<mrow>
<mo>(</mo>
<msub>
<msup>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
<mo>&prime;</mo>
</msup>
<mi>l</mi>
</msub>
<mo>+</mo>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中与pl是特征点对，B是指数函数，用来检查特征点像素是否在静止块上，如果pl位于运动物体上，则B(pl)＝0；
Es(V)代表网格优化中的平滑项。
7.如权利要求1至6任一项所述的十亿像素视频生成方法，其特征在于，步骤5中，将局部视频图像进行拼接后，还对整体拼接图进行颜色校正。
8.如权利要求1至7任一项所述的十亿像素视频生成方法，其特征在于，设置14个所述局部视角相机。
9.如权利要求1至8任一项所述的十亿像素视频生成方法，其特征在于，每个局部视角的相机在采集视频过程中是静止的或运动的。
10.如权利要求1至9任一项所述的十亿像素视频生成方法，其特征在于，每个相机的分辨率不低于800万像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710958201.6A CN107734271B (zh) | 2017-10-16 | 2017-10-16 | 高动态范围十亿像素视频生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710958201.6A CN107734271B (zh) | 2017-10-16 | 2017-10-16 | 高动态范围十亿像素视频生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107734271A true CN107734271A (zh) | 2018-02-23 |
| CN107734271B CN107734271B (zh) | 2019-09-06 |
Family
ID=61211307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710958201.6A Active CN107734271B (zh) | 2017-10-16 | 2017-10-16 | 高动态范围十亿像素视频生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107734271B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108429889A (zh) * | 2018-03-06 | 2018-08-21 | 深圳市未来媒体技术研究院 | 一种高光谱十亿像素视频生成方法 |
| CN110139045A (zh) * | 2019-06-17 | 2019-08-16 | 北京拙河科技有限公司 | 一种亿级像素视频采集、处理、展示方法，装置及系统 |
| WO2020043155A1 (zh) * | 2018-08-31 | 2020-03-05 | 清华-伯克利深圳学院筹备办公室 | 图像的多尺度融合方法、装置、存储介质及终端 |
| CN111382674A (zh) * | 2020-02-24 | 2020-07-07 | 江苏大学 | 一种基于视觉显著性的攻击行为猪的识别方法 |
| CN111932594A (zh) * | 2020-09-18 | 2020-11-13 | 西安拙河安见信息科技有限公司 | 一种基于光流的十亿像素视频对齐方法及装置、介质 |
| CN112087580A (zh) * | 2019-06-14 | 2020-12-15 | Oppo广东移动通信有限公司 | 图像采集方法和装置、电子设备、计算机可读存储介质 |
| CN112203023A (zh) * | 2020-09-18 | 2021-01-08 | 西安拙河安见信息科技有限公司 | 一种十亿像素视频生成方法及装置、设备、介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101720027A (zh) * | 2009-11-27 | 2010-06-02 | 西安电子科技大学 | 可变焦阵列摄像机协同获取不同分辨率多目标视频方法 |
| CN105933617A (zh) * | 2016-05-19 | 2016-09-07 | 中国人民解放军装备学院 | 一种用于克服动态问题影响的高动态范围图像融合方法 |
| WO2017163928A1 (ja) * | 2016-03-24 | 2017-09-28 | ソニー株式会社 | 画像処理装置および方法 |
| CN107220931A (zh) * | 2017-08-02 | 2017-09-29 | 安康学院 | 一种基于灰度级映射的高动态范围图像重建方法 |
-
2017
- 2017-10-16 CN CN201710958201.6A patent/CN107734271B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101720027A (zh) * | 2009-11-27 | 2010-06-02 | 西安电子科技大学 | 可变焦阵列摄像机协同获取不同分辨率多目标视频方法 |
| WO2017163928A1 (ja) * | 2016-03-24 | 2017-09-28 | ソニー株式会社 | 画像処理装置および方法 |
| CN105933617A (zh) * | 2016-05-19 | 2016-09-07 | 中国人民解放军装备学院 | 一种用于克服动态问题影响的高动态范围图像融合方法 |
| CN107220931A (zh) * | 2017-08-02 | 2017-09-29 | 安康学院 | 一种基于灰度级映射的高动态范围图像重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨帆 等: "《数字图像处理及应用 (MATLAB版)》", 30 September 2013, 化学工业出版社 * |
| 索津莉 等: "计算摄像学：核心、方法与应用", 《自动化学报》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108429889A (zh) * | 2018-03-06 | 2018-08-21 | 深圳市未来媒体技术研究院 | 一种高光谱十亿像素视频生成方法 |
| WO2020043155A1 (zh) * | 2018-08-31 | 2020-03-05 | 清华-伯克利深圳学院筹备办公室 | 图像的多尺度融合方法、装置、存储介质及终端 |
| CN112087580A (zh) * | 2019-06-14 | 2020-12-15 | Oppo广东移动通信有限公司 | 图像采集方法和装置、电子设备、计算机可读存储介质 |
| CN112087580B (zh) * | 2019-06-14 | 2022-03-18 | Oppo广东移动通信有限公司 | 图像采集方法和装置、电子设备、计算机可读存储介质 |
| CN110139045A (zh) * | 2019-06-17 | 2019-08-16 | 北京拙河科技有限公司 | 一种亿级像素视频采集、处理、展示方法，装置及系统 |
| CN111382674A (zh) * | 2020-02-24 | 2020-07-07 | 江苏大学 | 一种基于视觉显著性的攻击行为猪的识别方法 |
| CN111382674B (zh) * | 2020-02-24 | 2023-08-22 | 江苏大学 | 一种基于视觉显著性的攻击行为猪的识别方法 |
| CN111932594A (zh) * | 2020-09-18 | 2020-11-13 | 西安拙河安见信息科技有限公司 | 一种基于光流的十亿像素视频对齐方法及装置、介质 |
| CN112203023A (zh) * | 2020-09-18 | 2021-01-08 | 西安拙河安见信息科技有限公司 | 一种十亿像素视频生成方法及装置、设备、介质 |
| CN112203023B (zh) * | 2020-09-18 | 2023-09-12 | 西安拙河安见信息科技有限公司 | 一种十亿像素视频生成方法及装置、设备、介质 |
| CN111932594B (zh) * | 2020-09-18 | 2023-12-19 | 西安拙河安见信息科技有限公司 | 一种基于光流的十亿像素视频对齐方法及装置、介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107734271B (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107734271A (zh) | 高动态范围十亿像素视频生成方法 | |
| CN109741256A (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| CN111080724A (zh) | 一种红外和可见光的融合方法 | |
| CN110570353A (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN107203985B (zh) | 一种端到端深度学习框架下的多曝光图像融合方法 | |
| CN101980289B (zh) | 基于频域配准和凸集投影的多帧图像超分辨率重建方法 | |
| CN112653899B (zh) | 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法 | |
| CN109886871A (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
| CN102982520B (zh) | 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 | |
| CN104077759A (zh) | 一种基于色觉感知及全局质量因子的多曝光度图像融合方法 | |
| CN101950415B (zh) | 一种基于形状语义模型约束的人脸超分辨率处理方法 | |
| CN111242883A (zh) | 一种基于深度学习的动态场景hdr重建方法 | |
| Sen et al. | Practical high dynamic range imaging of everyday scenes: Photographing the world as we see it with our own eyes | |
| CN106251297A (zh) | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 | |
| CN109472752B (zh) | 基于航拍图像的多曝光融合系统 | |
| KR20200140713A (ko) | 이미지 디테일 향상을 위한 신경 네트워크 모델 학습 방법 및 장치 | |
| CN107833182A (zh) | 基于特征提取的红外图像超分辨率重建方法 | |
| CN101551902A (zh) | 基于学习的压缩视频超分辨率的特征匹配方法 | |
| CN110349085A (zh) | 一种基于生成对抗网络的单幅图像超分辨特征增强方法 | |
| CN111986106A (zh) | 一种基于神经网络的高动态图像重建方法 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| CN106780463B (zh) | 一种全参考多曝光融合图像质量评估方法 | |
| Chen et al. | Image denoising via deep network based on edge enhancement | |
| CN113409247B (zh) | 一种多曝光融合图像质量评价方法 | |
| CN117237207A (zh) | 针对动态场景的无鬼影高动态范围光场成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518000 Guangdong city in Shenzhen Province, Nanshan District City Xili University Tsinghua Park F305B Co-patentee after: Shenzhen International Graduate School of Tsinghua University Patentee after: SHENZHEN WEILAI MEDIA TECHNOLOGY Research Institute Address before: 518000 Guangdong city in Shenzhen Province, Nanshan District City Xili University Tsinghua Park F305B Co-patentee before: Graduate School at Shenzhen, Tsinghua University Patentee before: SHENZHEN WEILAI MEDIA TECHNOLOGY RESEARCH INSTITUTE |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191025 Address after: 100083 No. 1 Wangzhuang Road, Haidian District, Beijing Patentee after: Beijing Zhuohe Technology Co.,Ltd. Address before: 518000 Guangdong city in Shenzhen Province, Nanshan District City Xili University Tsinghua Park F305B Co-patentee before: Shenzhen International Graduate School of Tsinghua University Patentee before: SHENZHEN WEILAI MEDIA TECHNOLOGY RESEARCH INSTITUTE |