CN104363384A - 一种视频融合中基于行的硬件缝合方法 - Google Patents
一种视频融合中基于行的硬件缝合方法 Download PDFInfo
- Publication number
- CN104363384A CN104363384A CN201410590937.9A CN201410590937A CN104363384A CN 104363384 A CN104363384 A CN 104363384A CN 201410590937 A CN201410590937 A CN 201410590937A CN 104363384 A CN104363384 A CN 104363384A
- Authority
- CN
- China
- Prior art keywords
- line
- stitching
- absolute difference
- points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 101100379080 Emericella variicolor andB gene Proteins 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
Landscapes
- Sewing Machines And Sewing (AREA)
- Image Processing (AREA)
Abstract
本发明属于数字视频技术领域，具体为一种视频融合中基于行的硬件缝合方法。对于一个普适的视频拼接应用，需要执行获取、投影、匹配、缩放和旋转、校正、缝合、拼接、输出等一系列操作；其中，缝合操作是极为关键的一步。本发明首先计算第1行内重叠部分所有对应像素的绝对差，取绝对差值最小的一对像素点的位置作为缝合线的起点，然后依据计算第2行直至最后1行的在[ ij-1-2 , ij-1+2 ]范围内的所有对应像素的绝对差，取绝对差值最小的一对像素点的位置作为该行的缝合点；最后将缝合线的起和后续的缝合点连接，得到缝合线。本发明可以有效地减少硬件实现下对于缝合线的搜索时间，提高缝合线的质量，从而高效地实现数字视频的实时融合操作。
Description
技术领域
本发明属于数字视频处理技术领域，具体涉及一种适用于视频融合的基于行的硬件缝合方法。
背景技术
随着电子多媒体的长足发展，人们对于宽屏乃至全景视频的需求也越来越旺盛。不管是看电影、玩游戏、还是视频会议、车载监控，人们都在追求更宽更大的视频体验。这种追求来源于宽屏全景能够提供普通视频所不能提供的沉浸式体验。在沉浸式的体验中，从情感上，人们能够更为身临其境地感受视频的氛围；从功能上，人们能够从视频中获取更多的信息。
为了实现宽屏乃至全景，传统的方法是利用广角镜头进行拍摄。但这种方法会不可避免地引入至少以下三种问题。其一、由于拍摄范围过大所导致的细节分辨率下降；其二、由于广角镜头所引入的边缘扭曲甚至畸形；其三、昂贵的镜头和摄像机费用。
作为广角镜头的候选方法，视频拼接慢慢地为人们所关注。该方向致力于从若干个分辨率较低的摄像头中获取源视频，通过拼接处理，从而产生出一个分辨率较高的融合后视频。由于每个摄像头只用于拍摄拼接后视频中的一部分区域，因此细节分辨率较高；普通镜头避免了广角引入的畸变；而由于实际使用的摄像头分辨率较低，因此成本相较低廉（此处并未考虑拼接成本）。
对于一个普适的视频拼接应用，如图1所示，需要执行以下操作：
1、获取，包含了对于处理前视频的格式转换乃至视频解码；
2、投影，实际上，摄像头在摄影过程当中隐式地包含了由三维空间到二维空间的投影，这一投影会或多或少地导致边界处的扭曲以及相对于视频中心的失配。为了更好地进行匹配操作，需要将视频投影到一个更为合适的平面上，例如一个圆柱面，以减少扭曲或者失配所引入的影响；
3、匹配，利用SIFT、SURF或者其他算法，寻找视频间的特征点，并生成对应的转换矩阵和相对位移；
4、缩放和旋转，根据转换矩阵完成对于视频的缩放和旋转操作；
5、校正，消除由于摄像头之间的失配所导致的色差；
6、缝合，在被拼接视频中寻找最佳的缝合线；
7、拼接，沿着缝合线拼接视频；
8、输出，包含了对于处理后视频的格式转换乃至视频编码。
缝合的优劣和执行速度直接影响了后续的拼接操作，进而影响了视频融合的效果和性能。
本发明可以有效地减少硬件实现下对于缝合线的搜索时间，提高缝合线的质量，从而高效地实现数字视频的实时融合操作。
发明内容
本发明的目的在于提出一种可以克服现有技术不足的、能有效进行视频融合中硬件缝合的方法，以有效地减少硬件实现下对于缝合线的搜索时间，提高缝合线的质量，从而高效地实现数字视频的实时融合操作。
本发明提出的视频融合中硬件缝合的方法，是基于行进行的。首先，依据公式（1）计算第1行内重叠部分所有对应像素的绝对差，取值最小的一对像素点的位置作为缝合线的起点，并记为i 1 ：
（1）
其中，i是像素所处的列坐标，j是像素所处的行坐标，以视频源重叠的部分作为起点，d i,j 是重叠部分第j行第i列的对应像素的绝对差，B ov 1,i,j 和B ov 2,i,j 分别是第1个视频源和第2个视频源重叠部分第j行第i列的像素，而所谓重叠部分指的是两个视频源所拍摄到的相同的一部分镜头，需要在融合时合并为一个镜头，m是重叠部分的总列数。
接着，依据公式（2）计算第2行直至最后1行的在[i j-1 -2,i j-1 +2]范围内的所有对应像素的绝对差，取差最小的一对像素点的位置作为该行的缝合点，并根据当前行数j记为i j
（2）
其中，i是像素所处的列坐标，j是像素所处的行坐标，以视频源重叠的部分作为起点，d i,j 是重叠部分第j行第i列的对应像素的绝对差，B ov 1,i,j 和B ov 2,i,j 分别是第1个视频源和第2个视频源重叠部分第j行第i列的像素，n是重叠部分的总行数。
最后，将缝合线的起点i 1 和后续的缝合点i 2 ，i 3 ，i 4 ，……，i n 连接，即可得到缝合线。
上述算法通过计算重叠区域第一行中所有对应点的绝对差以得到缝合线的最佳入口，接着通过计算下一行中与该入口相邻的点的绝对差来决定下一行的缝合点，直到处理完最后一行。在硬件实现时，可以：
（1）降低带宽占用，本算法的处理单位为行，完成对于当前行的搜索之后，当前的缝合点能够立即产生，不需要重复读入图像数据。基于这个原因，融合操作也能够随即执行，再次省去了一次读入操作。两相结合之下，省下了大量的数据带宽；
（2）减少存储空间，为了得到缝合点，本算法的中间变量只有i j-1 ，不需要记录所有入口所对应的最小累积方差；
（3）易于扩展，本方法中的判别标准，即对于d i,j 的计算可以从单点的绝对差进一步升级为使用多点的绝对差，并取值最小的多个像素点的中心作为缝合点或缝合线的起点，如公式（3）所示的3点的绝对差：
（3）。
本方法中，对于第2行直至最后1行中缝合点的搜索范围也可以从从[i j-1 -1,i j-1 +1]扩展到更多的点，比如[i j-1 -2,i j-1 +2]，那么，公式（2）将变形为公式（4）：
（4）
而在搜索的过程中，为了避免缝合线向左和向右偏斜的倾向，对绝对差的计算过程需要从搜索范围的中心开始向两边辐射，直到搜索完所有的点。具体地，如果搜索范围为[i j-1 -2,i j-1 +2]，那么首先中间变量d min 记录i j-1 点所对应的绝对差，本行的缝合点i j 记录为i j-1 ，亦即上一行的缝合点；接着搜索i j-1 -1点所对应的绝对差，仅当该绝对差小于d min 时，将d min 记录为该绝对差，i j 记录为当前位置i j-1 -1；以此类推，依次搜索i j-1 +1，i j-1 -2，i j-1 +2。最终得到当前行的缝合点，并作为下一行缝合点搜索范围的中心点。如果按照从左到右依次搜索的顺序，且当该绝对差等于d min 时，更新i j 为当前位置i j-1 -1，那么缝合线会向右偏斜；如果按照从左到右依次搜索的顺序，且当该绝对差等于d min 时，不更新i j ，那么缝合线会向左偏斜。其中向左倾斜的情况和使用本方法从中间交替向两边搜索的情况都如图2所示。
最后，在视频源重叠的部分较小（如重叠范围近似等于拼接范围的两倍）的情况下，本方法包含了对于缝合线到重叠部分中心的最远距离的设置，即当搜索范围中的若干点超出了这一距离，就不对这些点进行搜索。为了阐述这一问题，需要结合图3中的以下概念：
（1）重叠范围：指被拼接视频重叠部分宽度的一半；
（2）搜索范围：指缝合线离重叠部分中心线的最远距离；
（3）拼接范围：指沿着缝合线进行拼接的距离。
显然应该有“融合范围+搜索范围≤重叠范围”，否则将不存在足够的数据进行拼接操作。而在传统的算法中，并没有对上述三个变量设置约束。在某些情况下，缝合线会极为远离中心线，导致可供融合的余量变得很小。如果这种情况发生了，很有可能会在融合后的视频中出现一条肉眼可观测的“融合线”。因此，本方法在重叠区域较小的情况下，为搜索范围添加了一对搜索边界，即当搜索范围中的若干点超出了这一距离，就不对这些点进行搜索，从而为拼接操作留有足够的余量。
附图说明
图1：普适的视频融合流程。
图2：不同的搜索顺序和可能的结果。
图3：缝合过程中的相关概念。
具体实施方式
下面通过实例并结合表格，进一步具体描述本发明方法。
假设某对视频源的某一帧图像中重叠部分的前三行如下表所示：
采用三点的绝对差作为判断标准对第1行进行搜索有：
得到第0点为缝合线起点，采用单点的绝对差作为判断标准，并在[i j-1 -2,i j-1 +2]的范围内搜索第2行有：
由于搜索和更新顺序为0，-1，1，-2，2，且绝对差相等时不更新缝合点，因此，得到第-1点为第2行的缝合点，再次采用相同标准对第3行搜索有：
得到第3行的缝合点为-2，再次采用相同标准对第4行搜索有：
如果搜索边界设定为[-3,3]，尽管此处绝对差最小的点为第-4点，但是-4超出了搜索边界，因此不被搜索，所以得到第4行的缝合点为第-1点。
以上就是本方法的具体实施过程。
Claims (5)
1. 一种视频融合中基于行的硬件缝合方法，其特征在于，以一行像素作为单位执行并完成对于视频的缝合操作，具体步骤为：
（一）依据公式（1）计算第1行内重叠部分所有对应像素的绝对差，取绝对差值最小的一对像素点的位置作为缝合线的起点，并记为i 1 ：
（1）
其中，i是像素所处的列坐标，j是像素所处的行坐标，以视频源重叠的部分作为起点，d i,j 是重叠部分第j行第i列的对应像素的绝对差，B ov 1,i,j 和B ov 2,i,j 分别是第1个视频源和第2个视频源重叠部分第j行第i列的像素；而所谓重叠部分指的是两个视频源所拍摄到的相同的一部分镜头，需要在融合时合并为一个镜头，m是重叠部分的总列数；
（二）依据公式（2）计算第2行直至最后1行的在[i j-1 -2,i j-1 +2]范围内的所有对应像素的绝对差，取绝对差值最小的一对像素点的位置作为该行的缝合点，并根据当前行数j记为i j
（2）
其中，i是像素所处的列坐标，j是像素所处的行坐标，以视频源重叠的部分作为起点，d i,j 是重叠部分第j行第i列的对应像素的绝对差，B ov 1,i,j 和B ov 2,i,j 分别是第1个视频源和第2个视频源重叠部分第j行第i列的像素，n是重叠部分的总行数；
（三）将缝合线的起点i 1 和后续的缝合点i 2 ，i 3 ，i 4 ，……，i n 连接，即得到缝合线。
2. 根据权利要求1所述的视频融合中基于行的硬件缝合方法，其特征在于将判别标准从单点的绝对差进一步升级为使用多点的绝对差，并取值最小的多个像素点的中心作为缝合点或缝合线的起点，3点的绝对差的计算公式如（3）式所示：
（3）。
3. 根据权利要求1所述的视频融合中基于行的硬件缝合方法，其特征在于将第2行直至最后1行中缝合点的搜索范围从[i j-1 -1,i j-1 +1]扩展到更多的点：[i j-1 -2,i j-1 +2]，那么，公式（2）将变形为公式（4）：
（4）。
4. 根据权利要求3所述的适用于视频融合中基于行的硬件缝合方法，其特征在于计算绝对差的过程从搜索范围的中心开始向两边辐射，直到搜索完所有的点；如果搜索范围为[i j-1 -2,i j-1 +2]，那么首先中间变量d min 记录i j-1 点所对应的绝对差，本行的缝合点i j 记录为i j-1 ，亦即上一行的缝合点；接着搜索i j-1 -1点所对应的绝对差，仅当该绝对差小于d min 时，将d min 记录为该绝对差，i j 记录为当前位置i j-1 -1；以此类推，依次搜索i j-1 +1，i j-1 -2，i j-1 +2；最终得到当前行的缝合点，并作为下一行缝合点搜索范围的中心点。
5. 根据权利要求4所述的视频融合中基于行的硬件缝合方法，其特征在于当视频源重叠的部分较小时，即重叠范围近似等于拼接范围的两倍时，设置缝合线到重叠部分中心的距离，即当搜索范围中的若干点超出了这一距离，就不对这些点进行搜索。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410590937.9A CN104363384B (zh) | 2014-10-29 | 2014-10-29 | 一种视频融合中基于行的硬件缝合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410590937.9A CN104363384B (zh) | 2014-10-29 | 2014-10-29 | 一种视频融合中基于行的硬件缝合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104363384A true CN104363384A (zh) | 2015-02-18 |
| CN104363384B CN104363384B (zh) | 2017-06-06 |
Family
ID=52530607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410590937.9A Active CN104363384B (zh) | 2014-10-29 | 2014-10-29 | 一种视频融合中基于行的硬件缝合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104363384B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909594A (zh) * | 2017-11-27 | 2018-04-13 | 常州市新创智能科技有限公司 | 一种自动判别绗缝起始原点的定位装置及方法 |
| CN108495060A (zh) * | 2018-03-26 | 2018-09-04 | 浙江大学 | 一种高清视频实时拼接方法 |
| CN113409719A (zh) * | 2021-08-19 | 2021-09-17 | 南京芯视元电子有限公司 | 视频源显示方法、系统、微显示芯片和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090192921A1 (en) * | 2008-01-24 | 2009-07-30 | Michael Alan Hicks | Methods and apparatus to survey a retail environment |
| US20120106860A1 (en) * | 2010-10-29 | 2012-05-03 | Altek Corporation | Image processing device and image processing method |
| CN103020938A (zh) * | 2012-12-14 | 2013-04-03 | 北京经纬恒润科技有限公司 | 一种基于加权平均法的空域图像缝合方法和系统 |
| CN103544696A (zh) * | 2013-10-01 | 2014-01-29 | 中国人民解放军国防科学技术大学 | 一种用于fpga实现的缝合线实时查找方法 |
-
2014
- 2014-10-29 CN CN201410590937.9A patent/CN104363384B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090192921A1 (en) * | 2008-01-24 | 2009-07-30 | Michael Alan Hicks | Methods and apparatus to survey a retail environment |
| US20120106860A1 (en) * | 2010-10-29 | 2012-05-03 | Altek Corporation | Image processing device and image processing method |
| CN103020938A (zh) * | 2012-12-14 | 2013-04-03 | 北京经纬恒润科技有限公司 | 一种基于加权平均法的空域图像缝合方法和系统 |
| CN103544696A (zh) * | 2013-10-01 | 2014-01-29 | 中国人民解放军国防科学技术大学 | 一种用于fpga实现的缝合线实时查找方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909594A (zh) * | 2017-11-27 | 2018-04-13 | 常州市新创智能科技有限公司 | 一种自动判别绗缝起始原点的定位装置及方法 |
| CN108495060A (zh) * | 2018-03-26 | 2018-09-04 | 浙江大学 | 一种高清视频实时拼接方法 |
| CN113409719A (zh) * | 2021-08-19 | 2021-09-17 | 南京芯视元电子有限公司 | 视频源显示方法、系统、微显示芯片和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104363384B (zh) | 2017-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104363385B (zh) | 一种图像融合的基于行的硬件实现方法 | |
| KR102013978B1 (ko) | 이미지들의 융합을 위한 방법 및 장치 | |
| KR101956151B1 (ko) | 사용자 단말기에 이용되는 전경 영상 생성 방법 및 장치 | |
| US9251612B2 (en) | Optimal dynamic seam adjustment system and method for image stitching | |
| JPH06217184A (ja) | 複眼撮像装置 | |
| US7400782B2 (en) | Image warping correction in forming 360 degree panoramic images | |
| WO2016086754A1 (zh) | 一种大场景视频图像拼接方法 | |
| CN104104887A (zh) | 向图像施加边界的方法和设备 | |
| JP7093015B2 (ja) | パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム | |
| US20190289207A1 (en) | Fast scan-type panoramic image synthesis method and device | |
| WO2013015024A1 (ja) | パノラマ画像生成方法及び撮像装置 | |
| CN103986867A (zh) | 一种图像拍摄终端和图像拍摄方法 | |
| US10963989B2 (en) | Apparatus and method of generating stitched image based on look-up table | |
| JP2007108744A (ja) | パノラマ映像発生用マルチレンズ・カメラ方式の撮像装置 | |
| JP2007282245A (ja) | 画像合成装置及び画像合成方法 | |
| JP2012199621A (ja) | 複眼撮像装置 | |
| CN104363384B (zh) | 一种视频融合中基于行的硬件缝合方法 | |
| Huang et al. | A 360-degree panoramic video system design | |
| KR20170096071A (ko) | 3d vr 영상 제작 방법 및 장치 | |
| US11158026B1 (en) | Field of view extension in a stereo camera system | |
| KR102558959B1 (ko) | 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN104735436A (zh) | 单摄像头立体成像方法及电子设备 | |
| CN106412461A (zh) | 视频拼接方法 | |
| JP2014176053A (ja) | 画像信号処理装置 | |
| CN113012194B (zh) | 目标追踪方法、装置、介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |