CN111107307A - 基于单应性变换的视频融合方法、系统、终端及介质 - Google Patents
基于单应性变换的视频融合方法、系统、终端及介质 Download PDFInfo
- Publication number
- CN111107307A CN111107307A CN201811268133.1A CN201811268133A CN111107307A CN 111107307 A CN111107307 A CN 111107307A CN 201811268133 A CN201811268133 A CN 201811268133A CN 111107307 A CN111107307 A CN 111107307A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- data
- homography
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 41
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 80
- 230000004927 fusion Effects 0.000 claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 abstract description 8
- 238000007499 fusion processing Methods 0.000 abstract description 6
- 238000012805 post-processing Methods 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明提供基于单应性变换的视频融合方法、系统、终端及介质，其根据单应性变换的物理模型，将多个有重叠区域的监控摄像头画面融合成一个画面，便于更加直观形象的观察分析现场情况。通过视频流解码取帧，标记点预处理，单应性变换求解，视频融合和融合结果后处理的过程，其中在视频融合过程中更是引入了映射图像，大大提升了视频融合的效率，降低了视频融合的计算量，从而为实时性提供强有力的保证。
Description
技术领域
本发明涉及视觉技术领域，特别是涉及基于单应性变换的视频融合方法、系统、终端及介质。
背景技术
视频监控可以让人在远程实时掌握并记录现场情况，为各项生产生活带来方便。在生产方面，视频监控能在一些较为恶劣的环境下，代替人力进行监视控制，由于监控系统体积小，工作稳定，且不会产生人出现的视觉疲劳等生理缺陷，所以正常情况下能够监控保证生产安全；在治安方面，将视频监控系统安装在超市、银行、厂房、施工地点等，可以及时了解室内情况和顾客行为，有效保障消费者或者工人的权益，监控厂房运行情况，提高社会安全保障水平；在交通监控方面，视频监控系统及时准确且监控范围广，可以保证在交通堵塞或者事故中第一时间通知交警。
但是，目前的视频监控系统在后台视频观看分析方面仍然是独立的每个摄像头对应一个画面，若用户想追踪某个视频现场，尤其是路口的移动路径，须在不同的摄像头画面之间做切换操作，这给后台工作人员的观察分析带来极大的不便。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供基于单应性变换的视频融合方法、系统、终端及介质，用于解决现有技术中多视频的处理须在不同的摄像头画面之间做切换操作，这给后台工作人员的观察分析带来极大的不便的问题。
为实现上述目的及其他相关目的，本发明提供一种基于单应性变换的视频融合方法，其包括：对多个待融合视频流分别进行解码和取帧操作；以一待融合视频流的帧图像为基准图像，并对其它待融合视频流的帧图像对应于所述基准图像进行对应点标记；构造一拓宽于所述基准图像且画面尺寸与最终融合图像的尺寸相一致的映射图像，并基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据；根据所述映射图像中每个像素的像素数据生成所述最终融合图像。
于本发明的一实施例中，构造一拓宽于基准图像且画面尺寸与最终融合图像的尺寸相一致的映射图像，其方式包括：获取所述基准图像的长度数据length和宽度数据width；沿所述基准图像四周拓宽预设长度edge，以生成长度为(length+2×edge)且宽度为(width+2×edge)的映射图像。
于本发明的一实施例中，基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据，其方式包括：将所述基准图像中心对位地置于所述映射图像中；根据所述对应点标记信息计算各帧图像对应的单应性矩阵，并根据所述单应性矩阵计算所述映射图像中的像素点在原始图像中的像素数据；所述像素数据包括：原始图像索引数据、位置数据以及RGB数据。
于本发明的一实施例中，所述方法包括：所述位置数据根据下式求解：
于本发明的一实施例中，根据所述映射图像中每个像素的像素数据生成所述最终融合图像，其方式包括：根据所述映射图像中每个像素的像素数据，查得所述最终融合图像中各目标像素的位置数据和RGB数据；根据查询结果信息构建最终输出的融合图像。
为实现上述目的及其他相关目的，本发明提供一种基于单应性变换的视频融合系统，其包括：解码取帧模块，用于对多个待融合视频流分别进行解码和取帧操作；对应点标记模块，用于以一待融合视频流的帧图像为基准图像并对其它待融合视频流的帧图像对应于所述基准图像进行对应点标记；映射图像构造模块，用于构造一拓宽于所述基准图像且画面尺寸与最终融合图像的尺寸相一致的映射图像，并基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据；融合图像生成模块，用于根据所述映射图像中每个像素的像素数据生成所述最终融合图像。
于本发明的一实施例中，所述映射图像构造模块构造所述映射图像的方式包括：获取所述基准图像的长度数据length和宽度数据width；沿所述基准图像四周拓宽预设长度edge，以生成长度为(length+2×edge)且宽度为(width+2×edge)的映射图像。
于本发明的一实施例中，所述映射图像构造模块基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据，其方式包括：将所述基准图像中心对位地置于所述映射图像中；根据所述对应点标记信息计算各帧图像对应的单应性矩阵，并根据所述单应性矩阵计算所述映射图像中的像素点在原始图像中的像素数据；所述像素数据包括：原始图像索引数据、位置数据以及RGB数据。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法。
为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述方法。
如上所述，本发明的基于单应性变换的视频融合方法、系统、终端及介质，具有以下有益效果：本发明根据单应性变换的物理模型，将多个有重叠区域的监控摄像头画面融合成一个画面，便于更加直观形象的观察分析现场情况。通过视频流解码取帧，标记点预处理，单应性变换求解，视频融合和融合结果后处理的过程，其中在视频融合过程中更是引入了映射图像，大大提升了视频融合的效率，降低了视频融合的计算量，从而为实时性提供强有力的保证。
附图说明
图1显示为本发明一实施例中基于单应性变换的视频融合方法的流程示意图。
图2显示为本发明一实施例中映射图像的示意图。
图3显示为本发明一实施例中构造映射图像的流程示意图。
图4显示为本发明一实施例中计算所述映射图像中每个像素的像素数据的流程示意图。
图5显示为本发明一实施例中基于单应性变换的视频融合系统的示意图。
图6显示为本发明一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
在计算机视觉领域，对于空间中某个平面，任意两张从不同角度拍摄得到的图像可以用一个单应性矩阵(Homography)进行变换，前提是假设成像的模型是小孔成像的相机模型。因而，单应性变换有很多实际应用场景，例如图像矫正，图像配准，或者对于相机旋转平移运动的计算。因此，相机的旋转平移从单应性矩阵中提取出来后的信息可用于导航，或将一个物体模型插入一张图片或一段视频，然后可以以正确的透视角度去渲染，以达到逼真的渲染效果。
本发明专利的主要目的在于提出了基于单应性变换的视频融合方法、系统、终端及介质。本专利根据单应性变换的物理模型，将多个有重叠区域的监控摄像头画面融合成一个画面，便于更加直观形象的观察分析现场情况。通过视频流解码取帧，标记点预处理，单应性变换求解，视频融合和融合结果后处理的过程，其中在视频融合过程中更是引入了映射图像，大大提升了视频融合的效率，降低了视频融合的计算量，从而为实时性提供强有力的保证。
本发明提供的基于单应性变换的视频融合方法、系统、终端及介质，可应用于多种不同类型的场合，例如用于融合排布于十字路口的多个摄像头的视频流，或者用于融合布设于大型商场的不同位置的多个摄像头的视频流，抑或用于融合机场、火车站、地铁站等公共交通场所的多个摄像头的视频流等等。下文，将结合具体的实施例说明本发明技术方案的工作原理。
如图1所示，展示本发明一实施例中基于单应性变换的视频融合方法的流程示意图。所述基于单应性变换的视频融合方法应用于智能终端，所述智能终端包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal DigitalAssistant，简称PDA)等个人电脑；所述智能终端还可以是由带有多个虚拟机的主机和对应每个虚拟机的人机交互装置(如触控显示屏、键盘和鼠标)所构成的电子设备；所述智能终端还可以根据功能、负载等多种因素布置在一个或多个实体服务器上，或者还可以由分布的或集中的服务器集群构成，本发明对此不作限定。所述基于单应性变换的视频融合方法的流程步骤具体包括：
S1：对多个待融合视频流分别进行解码和取帧操作。
以排布于十字路口的多个摄像头的视频流为例，可接入排布于十字路口的各个监控摄像头的视频流，对各个视频流进行解码取帧操作，并导入标记程序。
S2：以一待融合视频流的帧图像为基准图像，并对其它待融合视频流的帧图像对应于所述基准图像进行对应点标记。
具体的，在从每一路视频流取出的若干帧中选取其中遮蔽物最少的一帧为初始帧，并以其中一个监控摄像头的帧图像为基准图像，其它监控摄像头的帧图像则按照帧顺序分别与对应的基准图像进行对应点标记。记录并存储所有的对应点关系数据和位置数据；其中，标记的对应点数量优选为至少4个且对应点位于空间同一平面上，以提升对应点标记的准确度。
S3：构造一拓宽于所述基准图像且画面尺寸与最终融合图像的尺寸相一致的映射图像，并基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据。
为便于本领域技术人员理解，图2展示了本发明一实施例中映射图像的示意图。其中，较小的矩形框用于表示基准图像，较大的矩形框用于表示构造的映射图像。构造一拓宽于基准图像且画面尺寸与最终融合图像的尺寸相一致的映射图像，其方式包括图3所示的方法步骤：
S331：获取所述基准图像的长度数据length和宽度数据width。当然，基准图像在其它的实施例中可呈现不同的形状，例如圆形、菱形或者三角形等等，不同的基准图像所对应的尺寸数据有所不同，例如圆形对应的尺寸数据为半径数据，三角形对应的尺寸数据为边长数据和角度数据等等。
S332：沿所述基准图像四周拓宽预设长度edge以生成图2所示的映射图像。也即，在长度为length且宽度为width的基准图像四周按照edge长度进行拓宽，构造的映射图像长度为(length+2×edge)，宽度为(width+2×edge)。于本实施例中，构造一画面尺寸大于基准图像的映射图像的目的在于，能够尽量多地保留其它帧图像的信息。
步骤S3中所述的基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据，其方式包括图4所示的方法步骤：
S341：将所述基准图像中心对位地置于所述映射图像中。
于本实施例中，将所述基准图像置于映射图像的中央，使基准图像的图像中心点与映射图像的图像中心点对齐，映射图像呈现为图2所展示的在基准图像的基础上四周拓宽了edge长度的一圈黑色条带。
S342：根据所述对应点标记信息计算各帧图像对应的单应性矩阵，并根据所述单应性矩阵计算所述映射图像中的像素点在原始图像中的像素数据；所述像素数据包括：原始图像索引数据、位置数据以及RGB数据。
具体的，在视频预融合过程中，先读取对应点标记信息，再对基准图像以及与基准图像相对应的其它待融合视频的帧图像进行单应性变化求解。得到其它待融合视频的帧图像与基准图像各自对应的单应性矩阵
所述单应性矩阵进行逆变换得到
关于单应性变换，对于空间中的3D点，从相机1到相机2的变换过程如下：X2＝HX1，
在图像平面，运用归一化坐标，可计算得到λ1x1＝X1，λ2x2＝X2。根据上述各公式，可得到λ2x2＝Hλ1x1。需要说明的是，x2～Hx1是关于两个图像平面上的点的直接映射，从归一化图像平面坐标x2到HX1之间存在着一个尺度因子；在一张图像中若已知一些点都在一个平面上，那么这张图像可被直接矫正而无需恢复和计算3D坐标。
等式x2～Hx1在齐次坐标系中可得到如下限制条件：
在非齐次坐标系中可得到x2＝x2/z2,y2＝y2/z2，其中，
具体的，上文所构造的映射图像的每个像素一一对应于最终输出的融合图像的每个像素，各像素是一个能够记录图像索引数据、位置数据以及RGB数据的结构体。构造映射图像后，因每个帧图像都有其对应的h矩阵，故对于映射图像中的每个像素，可根据
依次寻找其在原始图像上的位置。
若能找到其在原始图像上的位置，则在相应的映射图像的像素数据中记录该像素来自哪一张原始图像，也即记录图像索引信息、该像素在原始图像上的位置信息以及对应的RGB信息。在遍历了映射图像上的所有像素之后，便可生成一张完整的映射图像。
S4：根据所述映射图像中每个像素的像素数据生成所述最终融合图像。因所述映射图像的图像尺寸与最终融合图像的图像尺寸相一致，映射图像中的像素与最终融合图像中的像素一一对应。因此，利用生成的映射图像，在无需转换矩阵H做逆映射计算的基础上，只需根据映射图像与最终融合图像之间的像素对照表便可实现视频融合。对于融合好的画面，我们可以直接显示出来，或者重新进行编码推流以备他用。
需要说明的是，基于逆映射计算的视频融合过程虽已能够达到实时的要求，但对于处理器的性能要求较高，例如采用M4000GPU方可实现该些算法，但是大部分计算设备却没有那么高的计算能力。因此，本发明利用生成的映射图像实现直接的显存访问过程，所以这一步操作可以保持在1ms以内，大大减少了计算量提升了计算效率。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图5所示，展示本发明一实施例中基于单应性变换的视频融合系统的示意图。所述视频融合系统包括解码取帧模块51、对应点标记模块52、映射图像构造模块53以及融合图像生成模块。其中，解码取帧模块51用于对多个待融合视频流分别进行解码和取帧操作；对应点标记模块52用于以一待融合视频流的帧图像为基准图像并对其它待融合视频流的帧图像对应于所述基准图像进行对应点标记；映射图像构造模块53用于构造一拓宽于所述基准图像且画面尺寸与最终融合图像的尺寸相一致的映射图像，并基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据；融合图像生成模块54用于根据所述映射图像中每个像素的像素数据生成所述最终融合图像。
在一实施例中，所述映射图像构造模块构造所述映射图像的方式包括：获取所述基准图像的长度数据length和宽度数据width；沿所述基准图像四周拓宽预设长度edge，以生成长度为(length+2×edge)且宽度为(width+2×edge)的映射图像。
在一实施例中，所述映射图像构造模块基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据，其方式包括：将所述基准图像中心对位地置于所述映射图像中；根据所述对应点标记信息计算各帧图像对应的单应性矩阵，并根据所述单应性矩阵计算所述映射图像中的像素点在原始图像中的像素数据；所述像素数据包括：原始图像索引数据、位置数据以及RGB数据。
需要说明的是，所述基于单应性变换的视频融合系统的实施方式与上文中基于单应性变换的视频融合方法的实施方式类似，故不再赘述。另外，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，融合图像生成模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上融合图像生成模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图6所示，展示本发明一实施例中电子终端的结构示意图。本实施例提供的电子终端包括：处理器61、存储器62、收发器63、通信接口64和系统总线65；存储器62和通信接口64通过系统总线65与处理器61和收发器63连接并完成相互间的通信，存储器62用于存储计算机程序，通信接口64和收发器64用于和其他设备进行通信，处理器61用于运行计算机程序，使电子终端执行如上基于单应性变换的视频融合方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明提供的基于单应性变换的视频融合方法、系统、终端及介质，根据单应性变换的物理模型，将多个有重叠区域的监控摄像头画面融合成一个画面，便于更加直观形象的观察分析现场情况。通过视频流解码取帧，标记点预处理，单应性变换求解，视频融合和融合结果后处理的过程，其中在视频融合过程中更是引入了映射图像，大大提升了视频融合的效率，降低了视频融合的计算量，从而为实时性提供强有力的保证。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于单应性变换的视频融合方法，其特征在于，包括：
对多个待融合视频流分别进行解码和取帧操作；
以一待融合视频流的帧图像为基准图像，并对其它待融合视频流的帧图像对应于所述基准图像进行对应点标记；
构造一拓宽于所述基准图像且画面尺寸与最终融合图像的尺寸相一致的映射图像，并基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据；
根据所述映射图像中每个像素的像素数据生成所述最终融合图像。
2.根据权利要求1所述的基于单应性变换的视频融合方法，其特征在于，构造一拓宽于基准图像且画面尺寸与最终融合图像的尺寸相一致的映射图像，其方式包括：
获取所述基准图像的长度数据length和宽度数据width；
沿所述基准图像四周拓宽预设长度edge，以生成长度为(length+2×edge)且宽度为(width+2×edge)的映射图像。
3.根据权利要求1所述的基于单应性变换的视频融合方法，其特征在于，基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据，其方式包括：
将所述基准图像中心对位地置于所述映射图像中；
根据所述对应点标记信息计算各帧图像对应的单应性矩阵，并根据所述单应性矩阵计算所述映射图像中的像素点在原始图像中的像素数据；所述像素数据包括：原始图像索引数据、位置数据以及RGB数据。
4.根据权利要求3所述的基于单应性变换的视频融合方法，其特征在于，包括：
所述位置数据根据下式求解：
其中，
5.根据权利要求1所述的基于单应性变换的视频融合方法，其特征在于，根据所述映射图像中每个像素的像素数据生成所述最终融合图像，其方式包括：
根据所述映射图像中每个像素的像素数据，查得所述最终融合图像中各目标像素的位置数据和RGB数据；
根据查询结果信息构建最终输出的融合图像。
6.一种基于单应性变换的视频融合系统，其特征在于，包括：
解码取帧模块，用于对多个待融合视频流分别进行解码和取帧操作；
对应点标记模块，用于以一待融合视频流的帧图像为基准图像并对其它待融合视频流的帧图像对应于所述基准图像进行对应点标记；
映射图像构造模块，用于构造一拓宽于所述基准图像且画面尺寸与最终融合图像的尺寸相一致的映射图像，并基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据；
融合图像生成模块，用于根据所述映射图像中每个像素的像素数据生成所述最终融合图像。
7.根据权利要求6所述的基于单应性变换的视频融合系统，其特征在于，所述映射图像构造模块构造所述映射图像的方式包括：
获取所述基准图像的长度数据length和宽度数据width；
沿所述基准图像四周拓宽预设长度edge，以生成长度为(length+2×edge)且宽度为(width+2×edge)的映射图像。
8.根据权利要求6所述的基于单应性变换的视频融合系统，其特征在于，所述映射图像构造模块基于对应点标记信息以及单应性变换关系计算所述映射图像中每个像素对应于原始帧图像的像素数据，其方式包括：
将所述基准图像中心对位地置于所述映射图像中；
根据所述对应点标记信息计算各帧图像对应的单应性矩阵，并根据所述单应性矩阵计算所述映射图像中的像素点在原始图像中的像素数据；所述像素数据包括：原始图像索引数据、位置数据以及RGB数据。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的基于单应性变换的视频融合方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至5中任一项所述的基于单应性变换的视频融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811268133.1A CN111107307A (zh) | 2018-10-29 | 2018-10-29 | 基于单应性变换的视频融合方法、系统、终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811268133.1A CN111107307A (zh) | 2018-10-29 | 2018-10-29 | 基于单应性变换的视频融合方法、系统、终端及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111107307A true CN111107307A (zh) | 2020-05-05 |
Family
ID=70419860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811268133.1A Pending CN111107307A (zh) | 2018-10-29 | 2018-10-29 | 基于单应性变换的视频融合方法、系统、终端及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111107307A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163996A (zh) * | 2020-09-10 | 2021-01-01 | 沈阳风驰软件股份有限公司 | 一种基于图像处理的平角视频融合方法 |
| CN113727078A (zh) * | 2021-10-13 | 2021-11-30 | 广联达科技股份有限公司 | 一种工程监控方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102256111A (zh) * | 2011-07-17 | 2011-11-23 | 西安电子科技大学 | 多通道全景视频实时监控系统及方法 |
| US8699819B1 (en) * | 2012-05-10 | 2014-04-15 | Google Inc. | Mosaicing documents for translation using video streams |
| CN103763479A (zh) * | 2013-12-31 | 2014-04-30 | 深圳英飞拓科技股份有限公司 | 实时高速高清全景视频的拼接装置及其方法 |
| CN104408701A (zh) * | 2014-12-03 | 2015-03-11 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
| CN106056539A (zh) * | 2016-06-24 | 2016-10-26 | 中国南方电网有限责任公司 | 一种全景视频拼接方法 |
| CN107918927A (zh) * | 2017-11-30 | 2018-04-17 | 武汉理工大学 | 一种匹配策略融合及低误差的快速图像拼接方法 |
| CN108038825A (zh) * | 2017-12-12 | 2018-05-15 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
-
2018
- 2018-10-29 CN CN201811268133.1A patent/CN111107307A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102256111A (zh) * | 2011-07-17 | 2011-11-23 | 西安电子科技大学 | 多通道全景视频实时监控系统及方法 |
| US8699819B1 (en) * | 2012-05-10 | 2014-04-15 | Google Inc. | Mosaicing documents for translation using video streams |
| CN103763479A (zh) * | 2013-12-31 | 2014-04-30 | 深圳英飞拓科技股份有限公司 | 实时高速高清全景视频的拼接装置及其方法 |
| CN104408701A (zh) * | 2014-12-03 | 2015-03-11 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
| CN106056539A (zh) * | 2016-06-24 | 2016-10-26 | 中国南方电网有限责任公司 | 一种全景视频拼接方法 |
| CN107918927A (zh) * | 2017-11-30 | 2018-04-17 | 武汉理工大学 | 一种匹配策略融合及低误差的快速图像拼接方法 |
| CN108038825A (zh) * | 2017-12-12 | 2018-05-15 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163996A (zh) * | 2020-09-10 | 2021-01-01 | 沈阳风驰软件股份有限公司 | 一种基于图像处理的平角视频融合方法 |
| CN112163996B (zh) * | 2020-09-10 | 2023-12-05 | 沈阳风驰软件股份有限公司 | 一种基于图像处理的平角视频融合方法 |
| CN113727078A (zh) * | 2021-10-13 | 2021-11-30 | 广联达科技股份有限公司 | 一种工程监控方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sahu et al. | Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review | |
| CN111046744B (zh) | 一种关注区域检测方法、装置、可读存储介质及终端设备 | |
| US11816829B1 (en) | Collaborative disparity decomposition | |
| US9070216B2 (en) | Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring | |
| CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
| US10733777B2 (en) | Annotation generation for an image network | |
| CN103914876A (zh) | 用于在3d地图上显示视频的方法和设备 | |
| Assadzadeh et al. | Automatic far‐field camera calibration for construction scene analysis | |
| Franz et al. | Real-time collaborative reconstruction of digital building models with mobile devices | |
| CN115661371B (zh) | 三维对象建模方法、装置、计算机设备及存储介质 | |
| WO2014026021A1 (en) | Systems and methods for image-based searching | |
| CN112733641A (zh) | 物体尺寸测量方法、装置、设备及存储介质 | |
| Ye et al. | Exploiting depth camera for 3d spatial relationship interpretation | |
| CN111107307A (zh) | 基于单应性变换的视频融合方法、系统、终端及介质 | |
| Kalampokas et al. | Performance benchmark of deep learning human pose estimation for UAVs | |
| Liu et al. | On the precision of third person perspective augmented reality for target designation tasks | |
| Gomes Jr et al. | Semi-automatic methodology for augmented panorama development in industrial outdoor environments | |
| KR102627538B1 (ko) | ３６０도 파노라마 영상 기반 안전교육 콘텐츠 생성 서비스 제공 시스템 | |
| RU2679200C1 (ru) | Способ и система отображения данных с видеокамеры | |
| Córdova-Esparza et al. | A panoramic 3D reconstruction system based on the projection of patterns | |
| Makita et al. | Mixed reality navigation on a tablet computer for supporting machine maintenance in wide-area indoor environment | |
| Zhao et al. | Modeling 3D synthetic view dissimilarity | |
| Wang et al. | Identifying people wearing masks in a 3D-scene | |
| Shi et al. | Spatial calibration method for master-slave camera based on panoramic image mosaic | |
| Li et al. | Fisheye image rectification using spherical and digital distortion models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200505 |
|
| RJ01 | Rejection of invention patent application after publication |