CN113709388B - 一种多源视频拼接方法及装置 - Google Patents
一种多源视频拼接方法及装置 Download PDFInfo
- Publication number
- CN113709388B CN113709388B CN202110971199.2A CN202110971199A CN113709388B CN 113709388 B CN113709388 B CN 113709388B CN 202110971199 A CN202110971199 A CN 202110971199A CN 113709388 B CN113709388 B CN 113709388B
- Authority
- CN
- China
- Prior art keywords
- pixel
- point
- observer
- pixel point
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003384 imaging method Methods 0.000 claims abstract description 151
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 10
- 230000009466 transformation Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 102000046669 Surf-1 Human genes 0.000 description 1
- 102100030638 Surfeit locus protein 2 Human genes 0.000 description 1
- 101710093351 Surfeit locus protein 2 Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 101150081019 surf1 gene Proteins 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多源视频拼接方法及装置，将多源视频均分解为若干帧图像，将对应的帧图像分别进行拼接得到观察者成像面，根据观察者成像面生成观察者视频；本发明通过将视频分为多帧图像，并对每帧图像分别进行拼接，在拼接过程中，通过观察角度转换观察者成像面中的像素点坐标，再使用该像素点计算与每个摄像机成像面的交点，通过该交点的像素值生成观察者成像面中像素点的像素值，可以提高视频源中图像拼接速度，提升视频拼接效率。
Description
技术领域
本发明属于视频处理技术领域，尤其涉及一种多源视频拼接方法及装置。
背景技术
分布式孔径传感器系统(Distributed Aperture Sensor，DAS)最早源于一项研究用于战机的分布式孔径红外传感器系统(DAIRS)的项目，其中首次提到基于DAS系统的多源图像拼接问题。之后，随着信息技术的发展，该技术也逐渐推广到民用领域，目前广义的DAS系统是指分布在飞机，船舶和汽车等运输设备上的光电传感系统。
视频拼接技术是将视频转换为图像，图像拼接是图像处理领域较为综合的技术，目的是将两幅或两幅以上部分重叠的图片合成为一个整体。图像配准是根据图像的几何空间模型，将其“对齐”到相同的空间坐标系下。狭义的配准是指具有重叠区域的相邻图像的配准，而广义的图像配准指多源、多幅图像的配准，所以对于多图像配准问题，一般先进行狭义的局部配准，确定具备一定重叠区域的相邻图像所在二维平面之间的空间映射矩阵，然后对所有图像进行全局配准，尽量减少多幅图像配准时产生的误差。图像配准阶段完成后可进行待拼接图像的组合，图像组合主要使用单应性矩阵将待拼接图像进行组合，并通过一定的后处理操作降低像素失真，使得最终的拼接图像主观性能更好。
但是，当视频中环境比较复杂，如在林区中，树木树叶特别所，就造成了特征点非常密集，且相似度高，常规的图像拼接方法进行图像拼接时，将会耗费大量的时间，难以做到视频的实时输出，造成视频拼接效率低。
发明内容
本发明的目的是提供一种多源视频拼接方法及装置，基于DAS系统采集的视频源进行拼接，提高视频源中图像拼接速度，提升视频拼接效率。
本发明采用以下技术方案：一种多源视频拼接方法，将多源视频均分解为若干帧图像，将对应的帧图像分别进行拼接得到观察者成像面，根据观察者成像面生成观察者视频；其中，将对应的帧图像分别进行拼接包括以下步骤：
获取观察者成像面在DAS图像采集系统的三维坐标系内的观察角度；
根据观察角度确定观察者成像面上的第一像素点；
根据DAS图像采集系统的视点和第一像素点，确定DAS图像采集系统中摄像机成像面上与第一像素点对应的至少一个第二像素点；
根据至少一个第二像素点的像素值生成第一像素点的像素值；
根据每个第一像素点的像素值生成观察者成像面。
进一步地，根据观察角度计算确定观察者成像面上的第一像素点包括：
确定基准摄像机成像面上的像素点p(x，y)，(x，y)为基准摄像机成像面上像素点p的坐标；
以像素点p的坐标为输入值，使用
成第一像素点的坐标(xp，yp，zp)；
其中，θ为观察角度中的水平旋转角，
为观察角度中的垂直俯仰角，d为观察者成像面与视点之间的距离。
进一步地，确定DAS图像采集系统中摄像机成像面上与第一像素点对应的至少一个第二像素点包括：
根据第一像素点在x轴、y轴和z轴上坐标值的正负号选择摄像机成像面；
计算选择的摄像机成像面与第一射线/第一直线的交点坐标；其中，第一射线/第一直线为视点与第一像素点形成的射线/直线；
当交点坐标位于与其对应的摄像机成像面内时，将交点作为第二像素点。
进一步地，当交点坐标位于与其对应的摄像机成像面外时，删除交点。
进一步地，计算选择的摄像机成像面与第一射线/第一直线的交点坐标后还包括：
将交点坐标转换为与其对应的摄像机成像面坐标系中的内部坐标值；
根据内部坐标值判断交点坐标是否位于摄像机成像面内。
进一步地，当第二像素点的数量为一个时，以第二像素点的像素值为输入，计算第一像素点的像素值。
进一步地，当第二像素点的数量大于一个时，以每个第二像素点的像素值为输入，生成至少两个像素值，计算生成的像素值均值，将像素值均值作为第一像素点的像素值。
进一步地，具体通过(ti，tiyp/xp，tizp/xp)计算选择的摄像机成像面与第一射线/第一直线的交点坐标；
其中，i＝0，1，2，3，4，ti表示对应的摄像机成像面与视点之间的距离，具体通过以下方法计算：
其中，
(x，y)和(x′，y′)分别表示物点和视点的连线与相邻的两个摄像机成像面的交点、在其所在的摄像机成像面内的坐标值。
本发明的另一种技术方案：一种多源视频拼接装置，用于实现上述的一种多源视频拼接方法，该将多源视频均分解为若干帧图像，将对应的帧图像分别进行拼接得到观察者成像面，根据观察者成像面生成观察者视频；其中，将对应的帧图像分别进行拼接包括：
获取模块，用于获取观察者成像面在DAS图像采集系统的三维坐标系内的观察角度；
第一确定模块，用于根据观察角度确定观察者成像面上的第一像素点；
第二确定模块，用于根据DAS图像采集系统的视点和第一像素点，确定DAS图像采集系统中摄像机成像面上与第一像素点对应的至少一个第二像素点；
第一生成模块，用于根据至少一个第二像素点的像素值生成第一像素点的像素值；
第二生成模块，用于根据每个第一像素点的像素值生成观察者成像面。
本发明的另一种技术方案：一种多源视频拼接装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述的一种多源视频拼接方法。
本发明的有益效果是：本发明通过将视频分为多帧图像，并对每帧图像分别进行拼接，在拼接过程中，通过观察角度转换观察者成像面中的像素点坐标，再使用该像素点计算与每个摄像机成像面的交点，通过该交点的像素值生成观察者成像面中像素点的像素值，可以提高视频源中图像拼接速度，提升视频拼接效率。
附图说明
图1为本发明实施例中所使用的DAS采集装置的抽象示意图；
图2为本发明实施例中长方体模型示意图；
图3为本发明实施例中相邻两个图片间两个点的配准示意图；
图4为本发明实施例中实际柱面投影与理想柱面投影示意图；
图5为本发明实施例中相邻的两个摄像机成像面进行配准时点对示意图；
图6为本发明实施例中拼接模型的参数估计流程图；
图7为本发明实施例中观察者成像面变换示意图；
图8为本发明实施例中绕观察者成像面中心的坐标变换示意图；
图9为本发明实施例中的双三次插值基函数示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
常规的DAS系统都存在多个图像传感器，可同时得到多路视频输入，如果能够将多路视频输入实时、完整地拼接为单路全景视频，那么就可以通过DAS系统更加高效、直观的反映载具周遭环境的状态，更方便其它后续模块(例如目标检测模块、目标跟踪模块等)的实现。
考虑到DAS系统如今的应用需要以及FPGA的固有优势，本发明将FPGA技术和任意观察角视频拼接方法进行融合，以解决DAS系统中多路视频的拼接问题。
在本发明中，先对DAS系统进行模型设计，再进行图像的配准和拼接。具体的，本发明中DAS采集系统的布局假设DAS系统要求光轴交于一点。
如图1所示，为本发明实施例所使用的DAS采集装置的抽象图示，传感器由5个摄像机组成，摄像机的光轴交于一点O，并且相邻摄像机的光轴垂直，前后左右四个摄像机的光轴是共面的，下方的摄像机的光轴则垂直于该平面。
本发明采用长方体模型作为拼接模型，如图2所示，每个摄像头的成像面都在长方体的表面上，每路成像面的中心都位于坐标轴上。从模型配准的角度，如果将视点O点到五个面的距离调整到合适的值，就可以使相邻的成像面交界处的内容连续，图3给出了相邻两个图片间两个点的配准示意图，这两个点是通过求射线OP与两个成像面的交点得到的，也就是同一个物点P分别在两个成像面上的投影，而在交界处投影则会重合。
从拼接的角度，长方体表面上的图像就是对外部场景的成像，只需要在相应的观察角方向法平面上安排一个新的成像面即可自然得到该观察角下的图像(这个成像面可认为是观察者的视网膜)。模型中把这五个面均称为摄像机成像面，而需要进行图像填充的面被称为观察者成像面，也即使要拼接形成的最终成像面。
由长方体模型可知，需要估计的未知参数为O点到五个摄像机成像面的距离，得到这五个距离值，相邻两图像之间点与点的关系就固定了，也就完成了相邻图像的配准。
为了解决相邻两摄像机拍摄角度过大(即大于90°)导致的透视畸变问题，本发明提出了另一种思路，由于DAS系统相邻摄像头之间其中一个几乎可以认为是另一个通过绕光心旋转得到的，如图4所示，如果通过柱面投影，那么理想情况下，图像的投影之间满足的是平移(相似)变换，可基于SIFT特征进行配准。
柱面模型需要确定圆柱面的半径r，如果半径估计准确，就会出现如图4的理想投影柱面情况，理想柱面投影夹角θ为0°，当无法在理想柱面投影时，实际投影柱面之间的夹角不再是0°，但相对于长方体模型的成像平面90°的夹角，已经有显著的减小。
由于半径的估计可能仍存在一些误差，图像的投影可能依然不满足平移关系，但因SIFT特征提取算法具备一定的仿射不变性，所以只需要估计出半径的真实值在一定的范围内，基于SIFT的特征就能够成功地配准。r可以根据相机的焦距进行粗略的估算。按照透镜成像的规律物距在二倍焦距之外，像距在一倍焦距和二倍焦距之间。中远距离的场景意味着像距近似等于焦距。因此可以直接使用相机的焦距计算出r后进行柱面投影，如下式(1)。
其中，f是焦距，cols是源图像列数，(x，y)是原图像上相对原图像中心的坐标，
是柱面图像上相对柱面图像中心的坐标。
特征点匹配完成之后，再将这些特征点的位置按照逆投影映射公式反算回原来的图像，这样就间接地完成了原图之间的配准，如图5所示。在进行单应矩阵拟合时又可以通过RANSAC方法将少量不够精确或者错误的点对滤除。剩下来的点对可以用于估计拼接模型需要的距离值。
得到正确匹配点对之后，再计算拼接时需要的距离参数。在长方体配准模型中，相邻两幅图像之间的像素映射关系如图3所示，surf1和surf2是长方体模型中两个相邻的成像面，O，d1，d2定义跟长方体模型中相同，O1和O2分别是两个成像面的中心，景物P与O点连线分别交两个摄像机成像面于P1，P2点。设P1相对O1的位置坐标为(x，y)，P2相对O2的位置坐标为(x′，y′)。它们之间的关系式为：
可见在P1，P2中任意一个已知的情况下都可以得到其中另一个，它们之间的映射关系只由d1和d2决定。n个正确匹配的点对都满足该关系式，由最小均方误差估计准则，有下式：
展开后有：
其中，
分别对d1和d2求偏导并令其为0，有：
可解得：
总结本发明参数估计步骤，如图6所示，首先根据摄像机焦距估算出的半径进行柱面投影，接着进行SIFT特征提取与匹配，然后将特征点坐标反算回原图坐标系，再使用RANSAC方法进行单应矩阵的估计，以滤除一部分不精确的点对，最后使用最终得到的点对集合估计距离参数(本文使用最小均方误差估计)。
在本发明中一种多源视频拼接方法，将多源视频均分解为若干帧图像，将对应的帧图像分别进行拼接得到观察者成像面，根据观察者成像面生成观察者视频；其中，将对应的帧图像分别进行拼接包括以下步骤：
获取观察者成像面在DAS图像采集系统的三维坐标系内的观察角度；
根据观察角度确定观察者成像面上的第一像素点；
根据DAS图像采集系统的视点和第一像素点，确定DAS图像采集系统中摄像机成像面上与第一像素点对应的至少一个第二像素点；
根据至少一个第二像素点的像素值生成第一像素点的像素值；
根据每个第一像素点的像素值生成观察者成像面。
本实施例中，以O点为原点建立三维直角坐标系，使摄像机成像面垂直于坐标轴且图像中心都位于坐标轴上，每路图像宽高都分别为W和H。经过配准得到五个面前后左右下的距离分别为d0、d1、d2、d3、d4，从而前后左右下五个摄像机成像面所在的平面方程分别为：
前：
x＝d0 (8)
后：
x＝-d1 (9)
左：
y＝d2 (10)
右：
y＝-d3 (11)
下：
z＝d4 (12)
由针孔模型可知，给定焦距和观察者成像面的长宽就能决定视场范围。因此，只需要给定观察者成像面到O点的距离d和成像面的高和宽(M和N)也就给定了视场角。
对于观察者成像面上的任意一点(该坐标是相对于成像中心的坐标)，射线OP与长方体成像面的交点处的值就是P点的像素值，如何计算出交点是本发明拼接算法的核心。
如图7所示，观察者成像面在观察角
下首先水平偏转θ，再俯仰偏转
该过程是一个刚体变换过程。
为了简化计算，假设观察者成像面在初始位置x＝d上，则观察者成像面上任一点p的三维坐标为(d，-x，-y)。换句话说，观察者成像面上的点(x，y)在成像面上的局部二维坐标始终是(x，y)，但因为成像面的刚体运动导致其在空间中的位置在变化。求该点的空间位置，可以转化为p点关于成像面中心C的相应角度的坐标变换、与C关于O点的相应角度的坐标变换的叠加。
p点(即第一像素点，表示观察者成像面上任意一点)关于C的变换得到新的位置p′(x′，y′，z′)，如图8所示，C作为原点，p0点所在平面首先水平旋转θ角至p1点所在平面，p1点所在平面再垂直俯仰
角至黑色平面位置，p点的位置相应从p0至p1再至p2(即p′)。
而成像面中心点C(d，0，0)的位置经过这个过程后，坐标变为C′(xc，yc，zc)。
那么p(x，y)点坐标经过变换后的值(xp，yp，zp)为：
现在，成像面上点p(x，y)在观察角
下的三维坐标已经得到，用P表示这个三维坐标，d为观察者成像面与视点之间的距离。
接下来需要得到射线OP与摄像机成像面的交点。也就是说，视点O和第一像素点P的连线，在向P点方向延伸，即为射线OP。另外，也可能是直线OP。
容易知道，射线OP最多与3个摄像机成像面有交点(即第二像素点)，比如同时与前方、左方还有下方有交点，那么将这三个交点处的像素值通过融合即可得到p处的像素值。即当第二像素点的数量为一个时，以第二像素点的像素值为输入，计算第一像素点的像素值。当第二像素点的数量大于一个时，以每个第二像素点的像素值为输入，生成至少两个像素值，计算生成的像素值均值，将像素值均值作为第一像素点的像素值。
求射线OP与成像面的交点时需要进行判断。首先可以确定的一点是P点肯定不会变换到原点O，因为||OP||≥||OC||，而||OC||大于0且偏转过程中不变。||OP||表示观察者成像面上的点P到视点O点的距离，||OC||是O到成像面的距离，这里以计算前后方向摄像机成像面的交点为例。
前后摄像机成像面x＝ti(i＝0，1)，x表示前后成像面，t0＝d0且t1＝-d1。如果xp＝0，xp也表示一个成像面，那么射线OP在zoy平面上，那么可确定OP与它们两个中的任何一个都不会有交点。如果xp≠0，判断ti与xp是否同号，这里t0和t1中只有一个与xp同号。选择其中同号的ti，计算它(OP)与面的交点即为(ti，tiyp/xp，tizp/xp)。
换句话说，根据第一像素点在x轴、y轴和z轴上坐标值的正负号选择摄像机成像面；计算选择的摄像机成像面与第一射线/第一直线的交点坐标；其中，第一射线/第一直线为视点与第一像素点形成的射线/直线；当交点坐标位于与其对应的摄像机成像面内时，将交点作为第二像素点。
求得的交点坐标为全局坐标系中的点坐标，需要把相应的坐标值按照当前摄像机成像面局部坐标系进行相应符号调整(根据相应坐标方向是否一致，相同则为正，反之为负)，再加上图像中心的偏移(即加上
)才能得到在图像中的位置。也就是说，将交点坐标转换为与其对应的摄像机成像面坐标系中的内部坐标值；再根据内部坐标值判断交点坐标是否位于摄像机成像面内。
对于前路摄像机成像面，即为
其它摄像机成像面与此类似。
接下来需要判断该位置是不是超出了图像(摄像机成像面)大小范围(判断交点所在成像面的交点的范围)，超过了仍然认为没有交点，因为实际上要求是与摄像机成像面的交点而不是其所在整个平面。如果没有超出范围，就可以取该位置处的像素值。
因为该位置的像素值是通过数值计算得到的亚像素坐标，需要进行插值才能得到该点的像素值。常用的插值方法有最近邻插值，双线性插值和双三次插值。本发明中使用了效果较好的双三次插值法进行像素插值，在双三次插值方法中，假设要得到(x，y)处的像素值，这里x，y皆为小数，其整数部分分别为u，v，小数部分分别为fu，fv。记Pixel(p)表示p点的像素值。
双三次插值又称立方卷积插值，是一种更加复杂的插值方式，该算法利用待采样点周围16个点的像素值作双三次插值，它不是仅仅考虑了周围4个相邻点的影响，而是把范围进行了扩大，将周围4×4的区域内16个点的像素值考虑进来，利用变化率进行估计。双三次插值能够得到更接近高分辨率图像的放大效果，但也导致了运算量的急剧增加。该插值算法需要选取插值基函数来进行数据估计，其最常用的插值基函数如图9所示。
其表达式为：
双三次插值公式则为：
Pixel(p)＝ABC (17)
其中，
f(u，v)表示点(u，v)处的像素值。
综上，对于观察者成像面上的一点p(x，y)，其像素值采用如下步骤得到：
1、根据公式(15)计算出其在空间坐标P；
2、分别计算射线OP与五个成像面的交点。该步骤最多得到三个交点P0，P1，P2，使用有效标志v0，v1，v2表示，当值为1时表示交点有效，为0时表示交点无效；
3、如果vi＝1(i＝0，1，2)，则计算Pi在所在图像中的位置pi；
4、判断pi是否超出图像大小范围，超出范围则将对应vi重置为0，否则通过插值得到pi处的像素值，且记录与图像中点的距离di。
5、按照式(17)计算最终的像素值。
6、将所有M×N的像素填满即可生成拼接的结果图片。
另外，在本发明中可以采用并行计算来进一步提升计算速度。并行计算是一种算法的平台级加速方法，其本质是对一个计算或者处理问题的分解。通过将一个问题分成许多不相关的部分，然后对每个部分使用独立的处理器同时处理，就能将任务的完成时间大大缩短。
本发明用到空间并行计算的地方主要是在计算射线OP与长方体成像面的交点的时候，可以同时计算5个方向的交点。
流水线计算适用于流水线式任务。例如对外存储器中一些数据做求和运算，完全可以一边把数据读进内存一边做加法运算。而空间并行计算就做不到这一点，因为数据一般总是一个一个地加载进内存，即不可能同时访问两个或以上的数据。采用流水线的方式则能够一边读数据，一边计算，数据读完计算也就完成了。
首先拼接算法中会计算观察者成像面上一点的空间坐标位置，这个位置的计算过程包括中心点位置变换和相对位置变换，最后相加。根据公式(15)可知：
1.对于某个观察角度下的一次拼接，涉及到的三角函数计算只需要一次，可以先计算再保存起来。
2.中心点位置变换也只需要一次，其他点只需做完相对位置变换叠加上这个即可。
为了节约资源，可以采用增量思想避免每个点的坐标变换都要做乘法。根据变换公式(15)可得到如下增量公式。这样新的一行的坐标或者同一行的下一个坐标只需要在上一个坐标的基础上叠加一个增量即可。
p′(x，y)表示成像面上点(x，y)在空间中的三维坐标。
综上，本发明首先建立拼接模型，再确定待求参数。为了确定相邻图像之间点与点的对应关系，就必须确定光心与成像面之间的距离，只要得到这些距离值，也就相当于完成了相邻图像的配准。基于本实施例选定的长方体投影模型，待求参数为中心点到五个成像面的距离。再求解参数，为求解距离参数，先将采集到的五路图像进行柱面投影。利用柱面投影模型相邻两幅图像之间满足相似变换的性质，利用SIFT特征进行配准(特征提取方法并不唯一，满足需求即可)。特征提取完成后，再将这些特征点的位置按照逆投影映射公式反算回原来的图像，就可以反解出所需的距离参数。再图像配准，求解出中心点与成像面的距离后，完成配准工作。采用此方法估计出中心点到所有成像面的距离，由于是靠相邻图像两两估计出的，最后中心点到同一个成像面的距离会估计出三个值，本实施例直接采用均值作为最终的估计。因为本实施例的应用场景是对中远距离的目标进行拼接，基于此，本实施例认为只要采集系统不发生形变配准参数是固定不变的。因此，本实施例采用离线配准，首先让采集系统采集到中远距离的场景，然后根据模型参数估计的方法估计出距离参数，这个步骤可以认为是对这个采集系统的标定。然后将这个参数存进存储器，提供给拼接系统进行拼接。如果后面更换了采集系统，则首先需要对这个采集系统进行标定，并将参数存储器的参数进行更新。
为了节约FPGA片上计算、存储资源，本实施例针对FPGA大规模流水线并行加速的优势对算法做出了一定的改进，让算法在FPGA上得到充分加速(当然算法本身也应该尽的可能高效)。加速优化的思路为尽可能的拆分复杂的计算，加深流水线深度。流水线深度越深，FPGA并行加速的优势就越能被体现。
本实施例中选取满足性能要求的FPGA系统，实现算法功能。依照实施例所属步骤，本发明在Xilinx Zynq7100 SoC开发板上实现了该系统，以150MHz的时钟频率，3.03W的功率得到了输出帧率为43.4FPS，大小为的视频流。
由于现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)有着极高的并行性，因此，对一些大吞吐量、重复执行的数据传输、处理操作，软件往往无法胜任，必须要借助FPGA器件来实现。
本发明另一实施例中还公开了一种多源视频拼接装置，用于实现上述的一种多源视频拼接方法，该将多源视频均分解为若干帧图像，将对应的帧图像分别进行拼接得到观察者成像面，根据观察者成像面生成观察者视频；其中，将对应的帧图像分别进行拼接包括：
获取模块，用于获取观察者成像面在DAS图像采集系统的三维坐标系内的观察角度；第一确定模块，用于根据观察角度确定观察者成像面上的第一像素点；第二确定模块，用于根据DAS图像采集系统的视点和第一像素点，确定DAS图像采集系统中摄像机成像面上与第一像素点对应的至少一个第二像素点；第一生成模块，用于根据至少一个第二像素点的像素值生成第一像素点的像素值；第二生成模块，用于根据每个第一像素点的像素值生成观察者成像面。
本发明的另一实施例还公开了一种多源视频拼接装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述的一种多源视频拼接方法。
所述装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，该装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备，例如所述装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将所述装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
Claims (7)
1.一种多源视频拼接方法，其特征在于，将多源视频均分解为若干帧图像，将对应的帧图像分别进行拼接得到观察者成像面，根据所述观察者成像面生成观察者视频；其中，将对应的帧图像分别进行拼接包括以下步骤：
获取观察者成像面在DAS图像采集系统的三维坐标系内的观察角度；
根据所述观察角度确定所述观察者成像面上的第一像素点；
根据所述DAS图像采集系统的视点和所述第一像素点，确定所述DAS图像采集系统中摄像机成像面上与所述第一像素点对应的至少一个第二像素点；
根据至少一个所述第二像素点的像素值生成所述第一像素点的像素值；
根据每个所述第一像素点的像素值生成所述观察者成像面；
根据所述观察角度计算确定所述观察者成像面上的第一像素点包括：
确定基准摄像机成像面上的像素点p(x，y)，(x，y)为所述基准摄像机成像面上像素点p的坐标；
以所述像素点p的坐标为输入值，使用
生成第一像素点的坐标(xp，yp，zp)；
其中，θ为所述观察角度中的水平旋转角，
为所述观察角度中的垂直俯仰角，d为所述观察者成像面与所述视点之间的距离；
确定所述DAS图像采集系统中摄像机成像面上与所述第一像素点对应的至少一个第二像素点包括：
根据所述第一像素点在x轴、y轴和z轴上坐标值的正负号选择摄像机成像面；
计算选择的摄像机成像面与第一射线/第一直线的交点坐标；其中，第一射线/第一直线为所述视点与所述第一像素点形成的射线/直线；
当所述交点坐标位于与其对应的摄像机成像面内时，将所述交点作为第二像素点；
具体通过(ti,tiyp/xp,tizp/xp)计算选择的摄像机成像面与第一射线/第一直线的交点坐标；
其中，i＝0,1,2,3,4，ti表示对应的摄像机成像面与视点之间的距离，具体通过以下方法计算：
其中，
(x，y)和(x'，y')分别表示物点和视点的连线与相邻的两个摄像机成像面的交点、在其所在的摄像机成像面内的坐标值。
2.如权利要求1所述的一种多源视频拼接方法，其特征在于，当所述交点坐标位于与其对应的摄像机成像面外时，删除所述交点。
3.如权利要求1或2所述的一种多源视频拼接方法，其特征在于，计算选择的摄像机成像面与第一射线/第一直线的交点坐标后还包括：
将所述交点坐标转换为与其对应的摄像机成像面坐标系中的内部坐标值；
根据所述内部坐标值判断所述交点坐标是否位于所述摄像机成像面内。
4.如权利要求3所述的一种多源视频拼接方法，其特征在于，当所述第二像素点的数量为一个时，以所述第二像素点的像素值为输入，计算所述第一像素点的像素值。
5.如权利要求4所述的一种多源视频拼接方法，其特征在于，当所述第二像素点的数量大于一个时，以每个所述第二像素点的像素值为输入，生成至少两个像素值，计算生成的像素值均值，将所述像素值均值作为所述第一像素点的像素值。
6.一种多源视频拼接装置，其特征在于，用于实现权利要求1-5任一所述的一种多源视频拼接方法，该将多源视频均分解为若干帧图像，将对应的帧图像分别进行拼接得到观察者成像面，根据所述观察者成像面生成观察者视频；其中，将对应的帧图像分别进行拼接包括：
获取模块，用于获取观察者成像面在DAS图像采集系统的三维坐标系内的观察角度；
第一确定模块，用于根据所述观察角度确定所述观察者成像面上的第一像素点；
第二确定模块，用于根据所述DAS图像采集系统的视点和所述第一像素点，确定所述DAS图像采集系统中摄像机成像面上与所述第一像素点对应的至少一个第二像素点；
第一生成模块，用于根据至少一个所述第二像素点的像素值生成所述第一像素点的像素值；
第二生成模块，用于根据每个所述第一像素点的像素值生成所述观察者成像面；
根据所述观察角度计算确定所述观察者成像面上的第一像素点包括：
确定基准摄像机成像面上的像素点p(x，y)，(x，y)为所述基准摄像机成像面上像素点p的坐标；
以所述像素点p的坐标为输入值，使用
生成第一像素点的坐标(xp，yp，zp)；
其中，θ为所述观察角度中的水平旋转角，
为所述观察角度中的垂直俯仰角，d为所述观察者成像面与所述视点之间的距离；
确定所述DAS图像采集系统中摄像机成像面上与所述第一像素点对应的至少一个第二像素点包括：
根据所述第一像素点在x轴、y轴和z轴上坐标值的正负号选择摄像机成像面；
计算选择的摄像机成像面与第一射线/第一直线的交点坐标；其中，第一射线/第一直线为所述视点与所述第一像素点形成的射线/直线；
当所述交点坐标位于与其对应的摄像机成像面内时，将所述交点作为第二像素点；
具体通过(ti,tiyp/xp,tizp/xp)计算选择的摄像机成像面与第一射线/第一直线的交点坐标；
其中，i＝0,1,2,3,4，ti表示对应的摄像机成像面与视点之间的距离，具体通过以下方法计算：
其中，
(x，y)和(x'，y')分别表示物点和视点的连线与相邻的两个摄像机成像面的交点、在其所在的摄像机成像面内的坐标值。
7.一种多源视频拼接装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的一种多源视频拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110971199.2A CN113709388B (zh) | 2021-08-23 | 2021-08-23 | 一种多源视频拼接方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110971199.2A CN113709388B (zh) | 2021-08-23 | 2021-08-23 | 一种多源视频拼接方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113709388A CN113709388A (zh) | 2021-11-26 |
| CN113709388B true CN113709388B (zh) | 2022-07-05 |
Family
ID=78654297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110971199.2A Active CN113709388B (zh) | 2021-08-23 | 2021-08-23 | 一种多源视频拼接方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113709388B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9652828B1 (en) * | 2015-12-29 | 2017-05-16 | Motorola Solutions, Inc. | Method and apparatus for imaging a scene |
| CN106683071A (zh) * | 2015-11-06 | 2017-05-17 | 杭州海康威视数字技术股份有限公司 | 图像的拼接方法和装置 |
| CN113191954A (zh) * | 2021-06-11 | 2021-07-30 | 南京工程学院 | 一种基于双目相机的全景图像拼接方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006022855A2 (en) * | 2004-03-18 | 2006-03-02 | Northrop Grumman Corporation | Multi-camera image stitching for a distributed aperture system |
| US9936131B2 (en) * | 2012-07-18 | 2018-04-03 | Nokia Technologies Oy | Robust two dimensional panorama generation using light field camera capture |
-
2021
- 2021-08-23 CN CN202110971199.2A patent/CN113709388B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683071A (zh) * | 2015-11-06 | 2017-05-17 | 杭州海康威视数字技术股份有限公司 | 图像的拼接方法和装置 |
| US9652828B1 (en) * | 2015-12-29 | 2017-05-16 | Motorola Solutions, Inc. | Method and apparatus for imaging a scene |
| CN113191954A (zh) * | 2021-06-11 | 2021-07-30 | 南京工程学院 | 一种基于双目相机的全景图像拼接方法 |
Non-Patent Citations (3)
| Title |
|---|
| 图像匹配中的特征点筛选方法;卫保国 等;《Computer Engineering and Applications 计算机工程与应用》;20210226;第57卷(第3期);全文 * |
| 基于DAS的实时全景视频拼接系统的设计与实现;王庆波;《中国优秀硕士学位论文》;20131215;全文 * |
| 基于特征点匹配的视频图像实时拼接系统;肖青青等;《软件导刊》;20100730(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113709388A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sahu et al. | Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review | |
| Micusik et al. | Autocalibration & 3D reconstruction with non-central catadioptric cameras | |
| US6219444B1 (en) | Synthesizing virtual two dimensional images of three dimensional space from a collection of real two dimensional images | |
| CN111127422A (zh) | 图像标注方法、装置、系统及主机 | |
| CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
| CN111750820A (zh) | 影像定位方法及其系统 | |
| Larsson et al. | Revisiting radial distortion absolute pose | |
| US20090141043A1 (en) | Image mosaicing apparatus for mitigating curling effect | |
| US10762654B2 (en) | Method and system for three-dimensional model reconstruction | |
| US10565803B2 (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
| CN113744340A (zh) | 用轴向视点偏移的非中心相机模型校准相机并计算点投影 | |
| Wan et al. | Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform | |
| CN113793387A (zh) | 单目散斑结构光系统的标定方法、装置及终端 | |
| Ding et al. | Minimal solutions for panoramic stitching given gravity prior | |
| Guan et al. | Affine correspondences between multi-camera systems for 6DOF relative pose estimation | |
| CN114697542A (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| WO2018100230A1 (en) | Method and apparatuses for determining positions of multi-directional image capture apparatuses | |
| CN113709388B (zh) | 一种多源视频拼接方法及装置 | |
| Manda et al. | Image stitching using ransac and bayesian refinement | |
| JP2005275789A (ja) | 三次元構造抽出方法 | |
| WO2018150086A2 (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
| Ornhag et al. | Efficient real-time radial distortion correction for uavs | |
| Dunn et al. | A geometric solver for calibrated stereo egomotion | |
| JP2005063012A (ja) | 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体 | |
| De Boi et al. | How to turn your camera into a perfect pinhole model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |