CN116760937B - 一种基于多机位的视频拼接方法、装置、设备及存储介质 - Google Patents

一种基于多机位的视频拼接方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116760937B
CN116760937B CN202311034809.1A CN202311034809A CN116760937B CN 116760937 B CN116760937 B CN 116760937B CN 202311034809 A CN202311034809 A CN 202311034809A CN 116760937 B CN116760937 B CN 116760937B
Authority
CN
China
Prior art keywords
corner
corner points
image data
mapping
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311034809.1A
Other languages
English (en)
Other versions
CN116760937A (zh
Inventor
潘宇聪
黄何列
黄戈文
姚祖发
陈之华
李正权
张候云
李洁儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Science & Technology Infrastructure Center
Original Assignee
Guangdong Science & Technology Infrastructure Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Science & Technology Infrastructure Center filed Critical Guangdong Science & Technology Infrastructure Center
Priority to CN202311034809.1A priority Critical patent/CN116760937B/zh
Publication of CN116760937A publication Critical patent/CN116760937A/zh
Application granted granted Critical
Publication of CN116760937B publication Critical patent/CN116760937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多机位的视频拼接方法、装置、设备及存储介质，所述方法包括：获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据；对相邻机位的图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵；将匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选；当筛选后的映射角点的数量大于预设角点阈值时，则根据所述拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频。本发明解决了动态目标物对于拼接矩阵的影响，有效提升了视频拼接的精度，能够实时输出流畅的拼接视频。

Description

一种基于多机位的视频拼接方法、装置、设备及存储介质
技术领域
本发明涉及视频处理技术领域，尤其涉及一种基于多机位的视频拼接方法、装置、设备及存储介质。
背景技术
视频拼接技术将多路具有重叠区域的小视野视频拼接为一路完整的大视野场景，有效地解决了单个摄像头视野局限性的问题，其在虚拟现实、智能监控、军事领域、航空拍摄领域、交通安全领域等诸多领域都有着非常广阔的应用前景。
在绝大多数的视频监控场景中相机多为固定机位，监控人员需要同时关注多个相机中的视频数据，给安保及监控人员带来许多不便，无法及时发现突发事件。虽然AI技术发展的较快，可以对单个的视频流进行处理，协助突发事件的发现。但是众多的相机需要接入AI硬件模块中进行实时检测，需要增加大量的AI检测硬件，成本较高。并且，现有的拼接技术对于实时性要求较高、应用场景复杂多变的环境，视频拼接的精度较低。
发明内容
本发明所要解决的技术问题在于，提供一种基于多机位的视频拼接方法、装置、设备及存储介质，解决了动态目标物对于拼接矩阵的影响，有效提升了视频拼接的精度，能够实时输出流畅的拼接视频。
为了实现上述目的，本发明实施例提供了一种基于多机位的视频拼接方法，包括：
获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据；
对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵；
将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选；
当筛选后的映射角点的数量大于预设角点阈值时，则根据所述拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频。
作为上述方案的改进，所述获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据之后，还包括：
检测所述图像数据中的动态目标和静态目标，并记录所述动态目标和所述静态目标的位置；
对所述图像数据进行灰度化处理、亮度均衡化处理以及高斯滤波，得到处理后的图像数据。
作为上述方案的改进，所述方法还包括：
按照预设的缩放比例对处理后的图像数据进行缩放，根据缩放后的图像数据生成图像金字塔；
对所述图像金字塔的各层提取预设数量的角点，并计算所述角点的参数；
根据所述角点的参数对所述角点进行筛选，保留满足预设条件的角点。
作为上述方案的改进，所述对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵，具体包括：
对相邻机位的所述图像数据提取角点并进行匹配，得到初始匹配成功的角点对；
采用随机抽样一致算法对所述初始匹配成功的角点对进行检测，删除误匹配的角点，得到匹配成功的角点对；
计算相邻机位的两张图像数据之间的单应矩阵，并记录匹配成功的角点的可信度值；
根据相邻机位中左侧机位的图像数据中检测出的所述静态目标的坐标以及所述单应矩阵，计算所述静态目标在右侧机位的图像数据中的坐标；
根据所述静态目标在右侧机位的图像数据中的坐标，计算得到重叠区域的拼接矩阵。
作为上述方案的改进，所述将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选，具体包括：
将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，得到映射角点；
根据所述拼接矩阵计算所述映射角点的位置坐标，并计算所述映射角点的位置坐标与所述右侧机位中原始匹配成功的角点的位置坐标之间的距离；
判断所述距离是否小于预设距离阈值；若是，则保留所述映射角点；若否，则删除所述映射角点。
作为上述方案的改进，所述方法还包括：
当所述重叠区域的画面发生变化时，对所述拼接矩阵进行更新。
作为上述方案的改进，所述对所述拼接矩阵进行更新，具体包括：
重新从每个固定机位的视频数据中选取同步的一帧图像数据；
对相邻机位的所述图像数据提取角点并进行匹配，更新得到正确的匹配成功的角点对；
根据匹配成功的角点的可信度值对角点进行筛选，根据筛选后的角点对所述拼接矩阵进行重新计算。
本发明实施例还提供了一种基于多机位的视频拼接装置，包括：
获取模块，用于获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据；
匹配模块，用于对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵；
映射模块，用于将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选；
拼接模块，用于当筛选后的映射角点的数量大于预设角点阈值时，则根据所述拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频。
本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的基于多机位的视频拼接方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一项所述的基于多机位的视频拼接方法。
相对于现有技术，本发明实施例提供的一种基于多机位的视频拼接方法、装置、设备及存储介质的有益效果在于：通过获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据；对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵；将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选；当筛选后的映射角点的数量大于预设角点阈值时，则根据所述拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频。本发明实施例解决了动态目标物对于拼接矩阵的影响，有效提升了视频拼接的精度，能够实时输出流畅的拼接视频。
附图说明
图1是本发明提供的一种基于多机位的视频拼接方法的一个优选实施例的流程示意图；
图2是本发明提供的一种基于多机位的视频拼接装置的一个优选实施例的结构示意图；
图3是本发明提供的一种终端设备的一个优选实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明提供的一种基于多机位的视频拼接方法的一个优选实施例的流程示意图。所述基于多机位的视频拼接方法，包括：
S1，获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据；
S2，对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵；
S3，将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选；
S4，当筛选后的映射角点的数量大于预设角点阈值时，则根据所述拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频。
具体的，本发明实施例通过向固定机位的多台相机发送抓图指令，获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据。对相邻机位的两张图像数据分别提取角点并进行匹配，得到匹配成功的角点对，根据匹配成功的角点对计算得到重叠区域的拼接矩阵。将匹配成功的角点对中左侧机位的角点映射到右侧机位，根据右侧机位中的映射角点与右侧机位中原始匹配成功的角点之间的距离对映射角点进行筛选。当筛选后的映射角点的数量大于预设角点阈值时，则根据拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频。
本发明实施例解决了动态目标物对于拼接矩阵的影响，有效提升了视频拼接的精度，能够实时输出流畅的拼接视频，便于及时发现并处理突发事件，同时如果有AI协助发现突发事件，仅仅需要较少的AI硬件即可完成，大幅降低成本。
在另一个优选实施例中，所述获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据之后，还包括：
检测所述图像数据中的动态目标和静态目标，并记录所述动态目标和所述静态目标的位置；
对所述图像数据进行灰度化处理、亮度均衡化处理以及高斯滤波，得到处理后的图像数据。
具体的，本发明实施例在获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据之后，采用深度学习模型对每一图像数据的动态目标和静态目标进行检测，并记录动态目标和静态目标的位置。另外还需记录动态目标和静态目标的类别、概率以及检测框的左上角坐标pt(x,y)以及框的长度w与宽度h。其中，动态目标包括但不限于车、行人、自行车、电动自行车等；静态目标包括但不限于路灯、红绿灯、路面箭头、标识牌等。同时还需要对每一图像数据进行灰度化处理、亮度均衡化处理以及高斯滤波，得到处理后的图像数据。
在又一个优选实施例中，所述方法还包括：
按照预设的缩放比例对处理后的图像数据进行缩放，根据缩放后的图像数据生成图像金字塔；
对所述图像金字塔的各层提取预设数量的角点，并计算所述角点的参数；
根据所述角点的参数对所述角点进行筛选，保留满足预设条件的角点。
具体的，本发明实施例按照预设的缩放比例对处理后的图像数据进行缩放，根据缩放后的图像数据生成图像金字塔。示例性的，本发明实施例中金字塔层数为5层，假设原图为第0层，则缩放比例的计算公式为：
；
其中，S0取大于1的数值（一般取1.2-1.5），假设某一层的金字塔层的缩放比例为，则以行和列为单位，每隔/>个像素单位取一个采样点，假设该采样点的位置为/>，则缩放后的该点的位置以及对应的像素值的计算公式为：
；
其中，指的是以/>为中心，其周围8个像素点的值，超过图像范围的点则认为该点的像素值与/>位置处相同。
对图像金字塔的各层提取预设数量的角点，假设对该图像提取的角点数总共为N个，则第i层金字塔提取的角点数为：
。
遍历每层金字塔图像，对该层的图像进行分块，每块的大小为32*32，保存每个角点所在的金字塔的层数evel，以及其所在分块的左上角坐标/>。取每一个分块中的所有角点，遍历所有的角点，计算每个角点的信号强度并保留信号强度最强的角点，角点信号强度的计算公式为：
；
计算每个角点的BRIEF描述子、旋转方向以及对应词袋的单词。将保留下的角点中非第0层的角点转换至第0层，转换坐标的计算公式为：
；
其中，与/>分别表示该角点在分块中的坐标，/>表示在生成金字塔时的比例。判断角点是否在检测动态目标和静态目标的检测框内；若在，则删除该角点。若不在，则保留该角点。
在又一个优选实施例中，所述对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵，具体包括：
对相邻机位的所述图像数据提取角点并进行匹配，得到初始匹配成功的角点对；
采用随机抽样一致算法对所述初始匹配成功的角点对进行检测，删除误匹配的角点，得到匹配成功的角点对；
计算相邻机位的两张图像数据之间的单应矩阵，并记录匹配成功的角点的可信度值；
根据相邻机位中左侧机位的图像数据中检测出的所述静态目标的坐标以及所述单应矩阵，计算所述静态目标在右侧机位的图像数据中的坐标；
根据所述静态目标在右侧机位的图像数据中的坐标，计算得到重叠区域的拼接矩阵。
具体的，本发明实施例取相邻机位的两张图像数据，对相邻机位的图像数据提取角点，假设两张图像分别为左图像与右图像，遍历左图的角点，分别与右图的角点进行匹配，同时满足以下三个条件时，则认为该角点匹配成功，并记录匹配成功的角点对。其三个条件如下：条件1：两角点所在的金字塔层数差小于等于1；条件2：两角点的描述子之间的距离小于10；条件3：两角点之间所在的分块位置小于等于1。取匹配好的的角点对，采用RANSAC随机抽样一致算法删除误匹配的角点，初步计算出两张图像之间的单应矩阵，单应矩阵表示方法如下：
。
同时记录下所有匹配角点的可信度confidence=2，保存该图像匹配上的所有角点。取左图中的右侧一半图像中所有检测出的静态目标物，按照左上角坐标x值从小到大一次排序。依次遍历所有静态目标物框的左上角坐标与右上角坐标，按照下述公式计算该点在右图中的坐标/>。
。
当计算所得在右图中的坐标满足如下2个条件，则保存下来。条件1：该坐标在右图图像范围内，条件2：该点的在右图中的类别与作图中检测的类别相同。
取所有的左上角点x方向的最小值，则左图的重叠范围为如下四个点构成的矩形框，/>。取所有的右上角点x方向最大值/>，则右图的重叠范围为如下四个点构成的矩形框，。
读取下一帧图像数据，对其重叠区域的图像提取角点，并匹配该帧与上一帧图像检测到的角点，若匹配上则将该角点的可信度在原可信度基础上加1。若该帧有未匹配到的角点，则保留该角点，且其可信度confidence=1。循环上述步骤，直到同时满足以下三个条件位置。条件1：保留下的角点个数大于等于100，条件2：无新增匹配上的角点，条件3：已循环10次。取保存的所有左图的角点与右图角点，再一次进行匹配，记录下所有匹配成功的角点对。取所有confidence大于等于5的匹配成功的角点对，进一步优化计算拼接矩阵，优化的误差函数如下：
；
其中，表示误差核函数，在本实施例中使用Tukey核，/>表示第i对角点匹配对，H为上述误差最小所计算出的最优拼接矩阵。
在又一个优选实施例中，所述将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选，具体包括：
将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，得到映射角点；
根据所述拼接矩阵计算所述映射角点的位置坐标，并计算所述映射角点的位置坐标与所述右侧机位中原始匹配成功的角点的位置坐标之间的距离；
判断所述距离是否小于预设距离阈值；若是，则保留所述映射角点；若否，则删除所述映射角点。
具体的，本发明实施例将匹配成功的角点对中左侧机位重叠区域中的所有角点映射到右侧机位，得到映射角点。根据拼接矩阵计算映射角点的位置坐标，并计算映射角点的位置坐标与右侧机位中原始匹配成功的角点的位置坐标之间的距离。判断距离是否小于预设距离阈值；若是，则保留映射角点；若否，则删除映射角点。当筛选后的映射角点的数量大于预设角点阈值时，则根据拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频。需要说明的是，预设距离阈值和预设角点阈值可以根据实际需求进行设置，本实施例中预设距离阈值优选为5，预设角点阈值优选为50。
在又一个优选实施例中，所述方法还包括：
当所述重叠区域的画面发生变化时，对所述拼接矩阵进行更新。
在又一个优选实施例中，所述对所述拼接矩阵进行更新，具体包括：
重新从每个固定机位的视频数据中选取同步的一帧图像数据；
对相邻机位的所述图像数据提取角点并进行匹配，更新得到正确的匹配成功的角点对；
根据匹配成功的角点的可信度值对角点进行筛选，根据筛选后的角点对所述拼接矩阵进行重新计算。
具体的，本发明实施例在拼接视频的过程中，当重叠区域的画面发生变化时，需要对拼接矩阵进行更新。重新从每个固定机位的视频数据中每隔10帧选取同步的一帧图像数据。对相邻机位的所述图像数据提取角点并进行匹配，更新得到正确的匹配成功的角点对。对匹配到的角点，confidence加1，否则减1。当confidence=0时，则删除该角点。取confidence大于等于5的所有角点，如果筛选后的角点个数大于20小于50或者重叠区域的动态目标与静态目标个数相差超过1，则根据筛选后的角点对拼接矩阵进行重新计算。本发明实施例在画面发生抖动时，能快速地更新拼接矩阵，进而输出流畅的拼接视频。
相应地，本发明还提供一种基于多机位的视频拼接装置，能够实现上述实施例中的基于多机位的视频拼接方法的所有流程。
请参阅图2，图2是本发明提供的一种基于多机位的视频拼接装置的一个优选实施例的结构示意图。所述基于多机位的视频拼接装置，包括：
获取模块201，用于获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据；
匹配模块202，用于对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵；
映射模块203，用于将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选；
拼接模块204，用于当筛选后的映射角点的数量大于预设角点阈值时，则根据所述拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频。
优选地，所述获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据之后，还包括：
检测所述图像数据中的动态目标和静态目标，并记录所述动态目标和所述静态目标的位置；
对所述图像数据进行灰度化处理、亮度均衡化处理以及高斯滤波，得到处理后的图像数据。
优选地，所述装置还用于：
按照预设的缩放比例对处理后的图像数据进行缩放，根据缩放后的图像数据生成图像金字塔；
对所述图像金字塔的各层提取预设数量的角点，并计算所述角点的参数；
根据所述角点的参数对所述角点进行筛选，保留满足预设条件的角点。
优选地，所述匹配模块202，具体用于：
对相邻机位的所述图像数据提取角点并进行匹配，得到初始匹配成功的角点对；
采用随机抽样一致算法对所述初始匹配成功的角点对进行检测，删除误匹配的角点，得到匹配成功的角点对；
计算相邻机位的两张图像数据之间的单应矩阵，并记录匹配成功的角点的可信度值；
根据相邻机位中左侧机位的图像数据中检测出的所述静态目标的坐标以及所述单应矩阵，计算所述静态目标在右侧机位的图像数据中的坐标；
根据所述静态目标在右侧机位的图像数据中的坐标，计算得到重叠区域的拼接矩阵。
优选地，所述将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选，具体包括：
将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，得到映射角点；
根据所述拼接矩阵计算所述映射角点的位置坐标，并计算所述映射角点的位置坐标与所述右侧机位中原始匹配成功的角点的位置坐标之间的距离；
判断所述距离是否小于预设距离阈值；若是，则保留所述映射角点；若否，则删除所述映射角点。
优选地，所述装置还用于：
当所述重叠区域的画面发生变化时，对所述拼接矩阵进行更新。
优选地，所述对所述拼接矩阵进行更新，具体包括：
重新从每个固定机位的视频数据中选取同步的一帧图像数据；
对相邻机位的所述图像数据提取角点并进行匹配，更新得到正确的匹配成功的角点对；
根据匹配成功的角点的可信度值对角点进行筛选，根据筛选后的角点对所述拼接矩阵进行重新计算。
在具体实施当中，本发明实施例提供的基于多机位的视频拼接装置的工作原理、控制流程及实现的技术效果，与上述实施例中的基于多机位的视频拼接方法对应相同，在此不再赘述。
请参阅图3，图3是本发明提供的一种终端设备的一个优选实施例的结构示意图。所述终端设备包括处理器301、存储器302以及存储在所述存储器302中且被配置为由所述处理器301执行的计算机程序，所述处理器301执行所述计算机程序时实现上述任一实施例所述的基于多机位的视频拼接方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元（如计算机程序1、计算机程序2、……），所述一个或者多个模块/单元被存储在所述存储器302中，并由所述处理器301执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器301可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器301也可以是任何常规的处理器，所述处理器301是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器302主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器302可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡和闪存卡（Flash Card）等，或所述存储器302也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3的结构示意图仅仅是上述终端设备的示例，并不构成对上述终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一实施例所述的基于多机位的视频拼接方法。
本发明实施例提供了一种基于多机位的视频拼接方法、装置、设备及存储介质，通过获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据；对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵；将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选；当筛选后的映射角点的数量大于预设角点阈值时，则根据所述拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频。本发明实施例解决了动态目标物对于拼接矩阵的影响，有效提升了视频拼接的精度，能够实时输出流畅的拼接视频。
需说明的是，以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的系统实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种基于多机位的视频拼接方法，其特征在于，包括：
获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据；
对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵；
将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选；
当筛选后的映射角点的数量大于预设角点阈值时，则根据所述拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频；
其中，所述将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选，具体包括：
将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，得到映射角点；
根据所述拼接矩阵计算所述映射角点的位置坐标，并计算所述映射角点的位置坐标与所述右侧机位中原始匹配成功的角点的位置坐标之间的距离；
判断所述距离是否小于预设距离阈值；若是，则保留所述映射角点；若否，则删除所述映射角点。
2.如权利要求1所述的基于多机位的视频拼接方法，其特征在于，所述获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据之后，还包括：
检测所述图像数据中的动态目标和静态目标，并记录所述动态目标和所述静态目标的位置；
对所述图像数据进行灰度化处理、亮度均衡化处理以及高斯滤波，得到处理后的图像数据。
3.如权利要求2所述的基于多机位的视频拼接方法，其特征在于，所述对相邻机位的所述图像数据提取角点，具体包括：
按照预设的缩放比例对处理后的图像数据进行缩放，根据缩放后的图像数据生成图像金字塔；
对所述图像金字塔的各层提取预设数量的角点，并计算所述角点的参数；
根据所述角点的参数对所述角点进行筛选，保留满足预设条件的角点。
4.如权利要求2所述的基于多机位的视频拼接方法，其特征在于，所述对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵，具体包括：
对相邻机位的所述图像数据提取角点并进行匹配，得到初始匹配成功的角点对；
采用随机抽样一致算法对所述初始匹配成功的角点对进行检测，删除误匹配的角点，得到匹配成功的角点对；
计算相邻机位的两张图像数据之间的单应矩阵，并记录匹配成功的角点的可信度值；
根据相邻机位中左侧机位的图像数据中检测出的所述静态目标的坐标以及所述单应矩阵，计算所述静态目标在右侧机位的图像数据中的坐标；
根据所述静态目标在右侧机位的图像数据中的坐标，计算得到重叠区域的拼接矩阵。
5.如权利要求4所述的基于多机位的视频拼接方法，其特征在于，所述方法还包括：
当所述重叠区域的画面发生变化时，对所述拼接矩阵进行更新。
6.如权利要求5所述的基于多机位的视频拼接方法，其特征在于，所述对所述拼接矩阵进行更新，具体包括：
重新从每个固定机位的视频数据中选取同步的一帧图像数据；
对相邻机位的所述图像数据提取角点并进行匹配，更新得到正确的匹配成功的角点对；
根据匹配成功的角点的可信度值对角点进行筛选，根据筛选后的角点对所述拼接矩阵进行重新计算。
7.一种基于多机位的视频拼接装置，其特征在于，包括：
获取模块，用于获取多个固定机位的视频数据，并从每个固定机位的视频数据中选取同步的一帧图像数据；
匹配模块，用于对相邻机位的所述图像数据提取角点并进行匹配，根据匹配成功的角点对计算得到重叠区域的拼接矩阵；
映射模块，用于将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选；
拼接模块，用于当筛选后的映射角点的数量大于预设角点阈值时，则根据所述拼接矩阵按照固定机位的顺序对同一时刻的图像数据进行拼接，得到拼接后的视频；
其中，所述将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，根据映射角点与所述右侧机位中原始匹配成功的角点之间的距离对所述映射角点进行筛选，具体包括：
将所述匹配成功的角点对中左侧机位的角点映射到右侧机位，得到映射角点；
根据所述拼接矩阵计算所述映射角点的位置坐标，并计算所述映射角点的位置坐标与所述右侧机位中原始匹配成功的角点的位置坐标之间的距离；
判断所述距离是否小于预设距离阈值；若是，则保留所述映射角点；若否，则删除所述映射角点。
8.一种终端设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，且所述计算机程序被配置为由所述处理器执行，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的基于多机位的视频拼接方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，所述计算机可读存储介质所在设备执行所述计算机程序时，实现如权利要求1至6中任意一项所述的基于多机位的视频拼接方法。
CN202311034809.1A 2023-08-17 2023-08-17 一种基于多机位的视频拼接方法、装置、设备及存储介质 Active CN116760937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311034809.1A CN116760937B (zh) 2023-08-17 2023-08-17 一种基于多机位的视频拼接方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311034809.1A CN116760937B (zh) 2023-08-17 2023-08-17 一种基于多机位的视频拼接方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116760937A CN116760937A (zh) 2023-09-15
CN116760937B true CN116760937B (zh) 2023-12-08

Family

ID=87959447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311034809.1A Active CN116760937B (zh) 2023-08-17 2023-08-17 一种基于多机位的视频拼接方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116760937B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117544862B (zh) * 2024-01-09 2024-03-29 北京大学 一种基于图像矩并行处理的图像拼接方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903085A (zh) * 2012-09-25 2013-01-30 福州大学 基于角点匹配的快速图像拼接方法
CN108769578A (zh) * 2018-05-17 2018-11-06 南京理工大学 一种基于多路摄像头的实时全景成像系统及方法
CN110111248A (zh) * 2019-03-15 2019-08-09 西安电子科技大学 一种基于特征点的图像拼接方法、虚拟现实系统、照相机
CN114359915A (zh) * 2021-12-30 2022-04-15 西安紫光展锐科技有限公司 图像处理方法、装置和可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160115466A (ko) * 2015-03-27 2016-10-06 한국전자통신연구원 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903085A (zh) * 2012-09-25 2013-01-30 福州大学 基于角点匹配的快速图像拼接方法
CN108769578A (zh) * 2018-05-17 2018-11-06 南京理工大学 一种基于多路摄像头的实时全景成像系统及方法
CN110111248A (zh) * 2019-03-15 2019-08-09 西安电子科技大学 一种基于特征点的图像拼接方法、虚拟现实系统、照相机
CN114359915A (zh) * 2021-12-30 2022-04-15 西安紫光展锐科技有限公司 图像处理方法、装置和可读存储介质

Also Published As

Publication number Publication date
CN116760937A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN110660023B (zh) 一种基于图像语义分割的视频拼接方法
Chen et al. Surrounding vehicle detection using an FPGA panoramic camera and deep CNNs
CN111160172B (zh) 泊车位检测方法、装置、计算机设备和存储介质
US5706416A (en) Method and apparatus for relating and combining multiple images of the same scene or object(s)
CN111754394B (zh) 鱼眼图像中的对象检测方法、装置及存储介质
WO2020134528A1 (zh) 目标检测方法及相关产品
CN116760937B (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
CN111429518B (zh) 一种标注方法、装置、计算设备及存储介质
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN115035235A (zh) 三维重建方法及装置
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
WO2020259416A1 (zh) 图像采集控制方法、装置、电子设备及存储介质
CN116452573A (zh) 变电站设备缺陷检测方法、模型训练方法、装置和设备
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
US9392146B2 (en) Apparatus and method for extracting object
Aktar et al. Performance evaluation of feature descriptors for aerial imagery mosaicking
CN114092720A (zh) 目标跟踪方法、装置、计算机设备和存储介质
WO2022127576A1 (zh) 站点模型更新方法及系统
CN104182993B (zh) 一种目标跟踪的方法
CN112150355B (zh) 一种图像处理方法及相关设备
CN113239931A (zh) 一种物流站车牌识别的方法
Tian et al. High confidence detection for moving target in aerial video
Porzi et al. An automatic image-to-DEM alignment approach for annotating mountains pictures on a smartphone

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant