CN114125178A - 视频拼接方法、设备和可读介质 - Google Patents

视频拼接方法、设备和可读介质 Download PDF

Info

Publication number
CN114125178A
CN114125178A CN202111354762.8A CN202111354762A CN114125178A CN 114125178 A CN114125178 A CN 114125178A CN 202111354762 A CN202111354762 A CN 202111354762A CN 114125178 A CN114125178 A CN 114125178A
Authority
CN
China
Prior art keywords
video data
path
mapping
video
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111354762.8A
Other languages
English (en)
Inventor
张培阳
牛振兴
张洁靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Damo Institute Hangzhou Technology Co Ltd filed Critical Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority to CN202111354762.8A priority Critical patent/CN114125178A/zh
Publication of CN114125178A publication Critical patent/CN114125178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供了一种视频拼接方法、设备和可读介质，以提高视频拼接的精度。所述方法包括：获取至少两路视频数据，所述至少两路视频数据为同一地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同；从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵；依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据；输出所述拼接视频数据。依据所述同步的多帧图像数据对确定映射矩阵，从而能够剔除离群值，提高矩阵的精度，因此映射、拼接的视频精度较高，提高拼接质量，可输出高质量的拼接视频数据。

Description

视频拼接方法、设备和可读介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种视频拼接方法、一种终端设备和一种机器可读介质。
背景技术
随着图像处理技术的发展，图像拼接也有了广泛的应用，图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同设备采集的)拼成一张图像的技术。
但是，在实际的应用场景中，图像中往往包含噪声，在进行图像拼接的过程中，噪声点的位置可能会导致出现像素偏差，甚至出现特征点对误匹配的现象，从而导致图像进行拼接时无法对齐，影响拼接的精度。
发明内容
本申请实施例提供了一种视频拼接方法，以提高视频拼接的精度。
相应的，本申请实施例还提供了一种电子设备和一种机器可读介质，用以保证上述方法的实现及应用。
为了解决上述问题，本申请实施例公开了一种视频拼接方法，所述方法包括：获取至少两路视频数据，所述至少两路视频数据为同一地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同；从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵；依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据；输出所述拼接视频数据。
可选的，依据所述同步的多帧图像数据对确定映射矩阵，包括：将图像数据对分别进行匹配，确定对应的单应性矩阵；依据多帧图像数据对对应的单应性矩阵，确定平均单应性矩阵。
可选的，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据，包括：依据所述映射矩阵，将一路视频数据向另一路视频数据进行映射，得到映射视频数据；将所述映射视频数据和另一路视频数据进行拼接，得到拼接视频数据。
可选的，还包括：在执行映射之前，将需要映射的视频数据拷贝到第一处理器上；以及，在映射完成后，将映射视频数据拷贝到第二处理器上。
可选的，还包括：在视频页面中显示所述拼接视频数据，并显示拼接信息，所述拼接信息包括以下至少一种拼接点位置、拼接时间、采集角度、映射基准；响应于对调整控件的触发，调整拼接信息，以基于调整的拼接信息调整所述拼接视频数据。
可选的，所述至少两路视频数据包括第一路视频数据、中间路视频数据和第三路视频数据；从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵，包括：从第一路视频数据和中间路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中间路视频数据和第三路视频数据中获取同步的多帧图像数据构成第二图像对集合；以中间路视频数据为基准，确定第一图像对集合对应的第一平均单应性矩阵，以及第二图像对集合对应的第二平均单应性矩阵。
可选的，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据，包括：依据所述第一平均单应性矩阵，将第一路视频数据向中间路视频数据进行映射，得到第一映射视频数据；依据所述第二平均单应性矩阵，将第三路视频数据向中间路视频数据进行映射，得到第二映射视频数据；将所述第一映射视频数据、中间路视频数据和第二映射视频数据进行拼接，得到拼接视频数据。
本申请实施例还公开了一种会议视频拼接方法，所述方法包括：获取至少两路视频数据，所述至少两路视频数据为同一会议地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同；从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵；依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到会议视频数据；输出所述会议视频数据。
可选的，所述三路视频数据包括左路视频数据、中路视频数据和右路视频数据；所述从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵，包括：确定左路视频数据到中路视频数据的左路映射矩阵，以及右路视频数据到中路视频数据的右路映射矩阵。
可选的，所述依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到会议视频数据，包括：依据所述左路映射矩阵对所述左路视频数据进行映射，得到左路拼接视频数据；依据所述右路映射矩阵对所述右路视频数据进行映射，得到右路拼接视频数据；对所述左路拼接视频数据、中路视频数据和右路拼接视频数据进行拼接，得到会议视频数据。
可选的，还包括：在执行映射之前，将所述左路视频数据和/或右路视频数据拷贝到第一处理器上；以及，在映射完成后，将所述左路拼接视频数据和/或右路拼接视频数据拷贝到第二处理器上。
可选的，所述确定左路视频数据到中路视频数据的左路映射矩阵，以及右路视频数据到中路视频数据的右路映射矩阵，包括：从左路视频数据和中路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中路视频数据和右路视频数据中获取同步的多帧图像数据构成第二图像对集合；以中路视频数据为基准，确定第一图像对集合对应的左路平均单应性矩阵，以及第二图像对集合对应的右路平均单应性矩阵。
可选的，所述确定第一图像对集合对应的左路平均单应性矩阵，以及第二图像对集合对应的右路平均单应性矩阵，包括：对第一图像对集合中第一图像对计算左路单应性矩阵，得到对应的左路单应性矩阵集合，通过聚类消除所述左路单应性矩阵集合中的异常数据后，确定左路平均单应性矩阵；对第二图像对集合中第二图像对计算右路单应性矩阵，得到对应的右路单应性矩阵集合，通过聚类消除所述右路单应性矩阵集合中的异常数据后，确定右路平均单应性矩阵。
可选的，还包括：基于所述视频数据的音频信息进行语音识别，得到文本数据；依据所述文本数据得到对应的会议记录，所述会议记录中标记有发言人信息；输出所述会议记录。
本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例所述的方法。
本申请实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例所述的方法。
与现有技术相比，本申请实施例包括以下优点：
在本申请实施例中，可以从同一地点的至少两个视频源采集角度不同的至少两路视频数据，然后从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵，从而能够剔除离群值，提高矩阵的精度，然后依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据，由于矩阵精度较高，因此映射、拼接的视频精度较高，提高拼接质量，可输出高质量的拼接视频数据。
附图说明
图1A是本申请实施例的一种视频拼接场景的示意图；
图1B是本申请实施例的一种云服务场景示例的示意图；
图2是本申请的一种视频拼接方法实施例的步骤流程图；
图3是本申请实施例的一种视频的映射矩阵确定示例的示意图；
图4是本申请的另一种视频拼接方法实施例的步骤流程图；
图5是本申请实施例的一种三路视频拼接示例的示意图；
图6是本申请的一种会议视频拼接方法实施例的步骤流程图；
图7是本申请的一种网课视频拼接方法实施例的步骤流程图；
图8是本申请的一种医疗视频拼接方法实施例的步骤流程图；
图9是本申请一实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例可应用于视频拼接的场景中，例如会议场景、直播场景、晚会场景、网络课程场景、医疗影像场景等多视频采集源的场景中，进行实时的视频拼接。通过视频中的多帧图像的匹配来减少噪声的影响，提高视频拼接的精度。
在一个会议场景中，由于视频源的清晰度、视角范围等原因，采用多个视频源同步采集该会议的视频。参照图1A所示的一种视频拼接示例的示意图。视频源包括视频源1、视频源2和视频源3，其中，视频源为视频采集源，用于采集视频数据。对多个视频源采集的视频数据进行拼接，得到一个拼接视频数据。参照图2所示的拼接方法：
步骤202，获取至少两路视频数据，所述至少两路视频数据为同一地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同。
在一个地点通过至少两个视频源采集视频数据，这些视频源的采集角度不同，且相邻两个视频源所采集的视频数据的部分区域具有重复的部分。可从这些视频源中分别获取所采集的视频数据，从而得到至少两路视频数据。
本申请实施例的电子设备可具有图像采集组件、显示组件、音频输入/输出组件等，如摄像头、显示器、麦克风、音响等组件。从而能够进行图像、视频、音频数据的采集、播放。本申请实施例中，可通过麦克风等音频输入组件采集语音数据，并通过图像采集组件采集视频数据的图像流，从而实现针对视频数据的采集。
步骤204，从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵。
对于至少两路视频数据，可以从每两路视频源对应的视频数据中，获取同步的多帧图像数据，这些图像数据可为连续的多帧图像数据，然后可将两路视频中对应的图像数据构成图像数据对。其中，可基于视频源的位置，采用相邻两路视频源对应视频数据构成图像数据对。其中，图像数据对中两个图像数据是同步的，如依据时间戳确定同步的两帧图像数据为一个图像数据对，也可获取连续多帧图像数据对。
然后可基于多帧图像数据对确定对应的映射矩阵。其中，所述映射矩阵也可称为变换矩阵，为执行映射的参考矩阵。该映射矩阵可基于图像数据对中的一帧图像数据向另一帧图像数据确定，基于两个图像数据的坐标确定对应的映射矩阵。映射矩阵可基于多种方式确定，例如一种映射矩阵为单应性矩阵(Homography)描述的是点与点之间的约束关系，其可以确定共面点在两个相机视图下的像素点的约束关系，使用单应矩阵可以找到像点在另一幅图像上对应点的确切位置。
一个可选实施例中，依据所述同步的多帧图像数据对确定映射矩阵，包括：将图像数据对分别进行匹配，确定对应的单应性矩阵；依据多帧图像数据对对应的单应性矩阵，确定平均单应性矩阵。对于相邻两路视频数据，如图3所示，在确定出同步的多帧图像数据对之后，针对每帧图像数据对可分别进行匹配，确定图像数据对之间的单应性矩阵，能够得到一组单应性矩阵的集合。然后可基于该集合中单应性矩阵确定平均单应性矩阵。其中，还可计算各单应性矩阵之间的偏移分量，然后可通过聚类算法去除异常单应性矩阵，例如，基于密度的噪声应用空间聚类(Density-Based Spatial Clustering of Applications withNoise，DBSCAN)对各单应性矩阵进行聚类，去除其中异常的单应性矩阵，然后采用剩余的单应性矩阵的平均值作为平均单应性矩阵。基于多帧图像数据对可分别匹配出单应性矩阵，基于多个单应性矩阵计算平均值，能够有效的消除噪声的影响，提高矩阵的准确性。
本申请另一个可选实施例中，可以包括三路视频数据，分别为第一路视频数据、中间路视频数据(也称第二路视频数据)和第三路视频数据。从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵，包括：从第一路视频数据和中间路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中间路视频数据和第三路视频数据中获取同步的多帧图像数据构成第二图像对集合；以中间路视频数据为基准，确定第一图像对集合对应的第一平均单应性矩阵，以及第二图像对集合对应的第二平均单应性矩阵。第一路视频数据和第三路视频数据可分别向中间路视频数据进行映射，从而以中间路视频数据为基准，可从第一路视频数据和中间路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中间路视频数据和第三路视频数据中获取同步的多帧图像数据构成第二图像对集合，然后在第一图像对集合中将第一路视频数据对应的图像数据，向中间路对应的图像数据确定第一单应性矩阵，再基于多个第一单应性矩阵，消除异常数据后，确定第一平均单应性矩阵。针对第二图像对集合，将第三路视频数据对应的图像数据，向中间路对应的图像数据确定第而单应性矩阵，再基于多个第二单应性矩阵，消除异常数据后，确定第二平均单应性矩阵。
本申请实施例可对一段标定视频进行单应性矩阵计算，剔除离群值，提高精度，得到精度更高的单应性矩阵。
步骤206，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据。
然后可基于相应的映射矩阵将一路视频数据向另一路视频数据进行映射，采用映射后的视频数据和另一路视频数据进行拼接，得到拼接视频数据。
一个可选实施例中，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据，包括：依据所述映射矩阵，将一路视频数据向另一路视频数据进行映射，得到映射视频数据；将所述映射视频数据和另一路视频数据进行拼接，得到拼接视频数据。可基于该平均单应性矩阵，将一路视频数据向另一路视频数据进行映射，如进行透视变换，得到映射视频数据。然后可将所述映射视频数据和另一路视频数据进行拼接，其中，将所述映射视频数据和另一路视频数据之间有部分区域是重合的，可裁剪掉重合区域后再进行拼接，得到拼接视频数据。其中，透视变换(Perspective Transformation)就是将图片投影到一个新的视平面，直线在该变换下仍映射为直线，也称为投影映射。
以三路视频数据为例：依据所述第一平均单应性矩阵，将第一路视频数据向中间路视频数据进行映射，得到第一映射视频数据；依据所述第二平均单应性矩阵，将第三路视频数据向中间路视频数据进行映射，得到第二映射视频数据；将所述第一映射视频数据、中间路视频数据和第二映射视频数据进行拼接，得到拼接视频数据。依据所述第一平均单应性矩阵，将第一路视频数据向中间路视频数据进行映射，如进行仿射变换，得到第一映射视频数据，相应的，依据所述第二平均单应性矩阵，将第三路视频数据向中间路视频数据进行映射，得到第二映射视频数据。然后可确定第一映射视频数据和中间路视频数据之间的重合区域，以及第二映射视频数据和中间路视频数据之间的重合区域，分别在第一映射视频数据、第二映射视频数据中去除重合区域后，与中间路视频数据进行拼接，得到拼接的视频数据。
本申请实施例中，对于视频数据的映射、拼接等，可基于设备的硬件性能选择合适的方式，例如将映射和拼接采用不同的处理器进行处理。例如，视频采集后通过第二处理器进行处理，例如计算单应性矩阵等处理，然后可在执行映射之前，将需要映射的视频数据拷贝到第一处理器上，由第一处理器进行映射处理。在完成映射，得到映射图像后，可将映射完成后，将映射视频数据拷贝到第二处理器上，由第二处理器进行拼接处理。例如第一处理器为图形处理器(graphics processing unit，GPU)，第二处理器为中央处理器(centralprocessing unit，CPU)，视频采集后在CPU上处理，执行映射前可拷贝到GPU上执行映射处理，映射完成后，可拷贝会CPU在上进行拼接等处理。从而合理利用设备的硬件资源。
本申请实施例中，对视频数据中各帧图像分别进行映射和拼接，从而可基于设备的硬件性能调用一个或多个处理器进行处理，当多个处理器进行处理时，可并行处理。一个示例中，图像的映射和拼接可通过不同的处理器并行执行，当之前帧图像完成映射后，拷贝到另一个处理器上，从而一个处理器对当前帧映射处理，而另一个处理器上可对映射完成的之前帧进行拼接。在另外一些实施例中，映射处理也可通过多个处理器并行处理，完成处理后按照时间戳排列拼接即可。并且各个拼接流程也可独立并行处理，降低拼接时间。
步骤208，输出所述拼接视频数据。
然后可输出该拼接视频数据，例如可在终端设备上通过视频页面、视频播放器等播放该拼接视频数据，又如可以上传该拼接视频数据到服务端，服务端也可将拼接视频数据发送到各终端设备处，从而能够基于需求来播放该拼接视频数据。本申请实施例可提供拼接视频数据的云服务。视频源采集到视频数据后，可在处理端执行以上拼接、映射等处理。然后可上传拼接视频数据到服务端，服务端对拼接视频数据进行存储。并结合具体的场景执行所需的处理。例如，在网课场景中可推送到观看网课的客户端中。如图1B所示的一种示例中。视频源采集到视频数据后，可在处理端执行以上拼接、映射等处理，得到拼接视频数据后，一方面可以在本地显示该拼接视频数据，另一方面可上传该拼接视频数据到服务端。然后服务端可推送该拼接视频数据到各终端处显示，因此也可称其为显示端，如手机、平板、计算机显示器、电视等。因此在会议、网络课程、医疗、晚会等场景中均可通过上述方案实现。在另外一些场景中，处理端和服务端也可为同一端，视频源采集视频数据后直接上传到服务端进行映射、拼接得到拼接视频数据后，再推流到各显示端。
本申请实施例中，可设置视频页面，该视频页面用于对视频的采集、映射、拼接等进行管理。在视频页面中显示所述拼接视频数据，并显示拼接信息。该视频处理页面可设置有调整控件，所述调整控件用于对视频的采集以及处理进行调整。响应于对调整控件的触发，调整拼接信息，所述拼接信息包括以下至少一个：拼接点位置、拼接时间、采集角度、映射基准。
可以在视频页面中显示拼接视频数据，还可标注出拼接信息，例如在视频播放的进度条上显示出拼接点位置，还可显示拼接时间，如拼接点位置对应的拼接起始时间和拼接结束时间，以及拼接时长等。从而可以基于进度条选择拼接点位置，对拼接点进行调整，也可调整拼接的起始、结束时间，从而调整拼接时长。还可通过控件等显示采集角度、映射基准等信息。其中，采集角度可通过调整视频源的摄像头的角度实现，从而在不同的角度调整后，重新确定映射矩阵。另外，还可调整图像的映射基准，例如两路视频时默认左路为基准，则可调整到右路为基准等。在调整映射基准后，可重新计算映射矩阵再执行映射、拼接等处理。
综上，可以从同一地点的至少两个视频源采集角度不同的至少两路视频数据，然后从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵，从而能够剔除离群值，提高矩阵的精度，然后依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据，由于矩阵精度较高，因此映射、拼接的视频精度较高，提高拼接质量，可输出高质量的拼接视频数据。
本申请实施例中，以上过程可在终端设备侧执行，也可在服务端执行，或者由服务端和终端设备合作实现。如终端设备的性能比较好，可以将视频的采集、映射、拼接等处理均在终端设备中完成，从而终端设备采集视频数据后，按照上述过程确定映射矩阵并执行映射、拼接，然后可在该终端设备上播放视频数据。终端设备还可将视频数据发送到服务端，由服务端基于具体的应用场景执行所需的处理，如缓存，又如直播场景下推流到各个观看用户的终端设备上。或者可由服务端获取视频数据后，按照上述过程确定映射矩阵并执行映射、拼接，再输出到相应的终端设备上。或者在一些实施例中，可由终端设备采集视频数据，然后直接上传到服务端，或者确定出映射矩阵也提交到服务端，而后由服务端执行映射、拼接并生成拼接视频数据，再输出到相应的终端设备上。
在上述实施例的基础上，提供一种三路视频进行拼接的示例，例如，在会议视频场景下以3路视频数据为例。如图4、图5所示：
步骤402，获取三路视频数据，所述三路视频数据为同一地点的三个视频源采集的，所述三个视频源的采集角度不同，所述三路视频数据包括左路视频数据、中路视频数据和右路视频数据。
在会议场地内设置3台摄像机作为视频源，如图1所示的一种设置示例。每个视频源可采集一路视频数据，则在该会议地点可通过三个视频源采集三路视频数据。其中，每个视频源所放置的位置不同，相应视频源的采集角度也不同，并且各视频源所采集的视频数据中有部分是重叠的，从而能够进行拼接。其中，基于位置将三路视频数据依次称为左路视频数据、中路视频数据和右路视频数据。
对于三路视频数据，从而有两侧的视频数据向中间的视频数据进行映射，降低资源消耗。在另外一些实施例中，在执行映射和拼接时，可直接依据所采集的视频数据的格式进行处理，无需另外调整视频格式，进一步减少资源的消耗。例如，获取三路的视频数据为nv21视频流，nv21格式是一种视频格式，其可以是摄像头采集的原始格式，以nv21格式直接进行透视变换和拼接处理降低中间图像颜色空间变换带来的资源消耗。
步骤404，确定左路视频数据到中路视频数据的左路映射矩阵。
步骤406，依据所述左路映射矩阵对所述左路视频数据进行映射，得到左路拼接视频数据。
本申请一个可选实施例中，从左路视频数据和中路视频数据中获取同步的多帧图像数据构成第一图像对集合，以中路视频数据为基准，确定第一图像对集合对应的左路平均单应性矩阵。针对左路视频数据，可从左路视频数据和中路视频数据中抽取一段同步的视频片段，如2分钟的视频片段，然后对视频片段中的图像数据，按照时间戳从左路和中路分别抽取一个作为图像数据对，得到连续多帧图像数据对。当然在另外示例中，也可是不连续的多帧图像数据对，图像帧的数量在20-30帧以上。多帧图像数据对中的每一帧图像数据对，可分别计算左路到中路的映射矩阵，从而得到多个映射矩阵。该映射矩阵可为单应性矩阵。其中，对第一图像对集合中第一图像对计算左路单应性矩阵，得到对应的左路单应性矩阵集合，通过聚类消除所述左路单应性矩阵集合中的异常数据后，确定左路平均单应性矩阵。然后可基于该单应性矩阵等映射矩阵，通过聚类等方式消除异常数据。一个示例中，可基于单应性矩阵中的偏移分量，通过DBSCAN聚类算法去除异常单应性矩阵，作为左路映射矩阵。即可对第一图像对集合中第一图像对计算左路单应性矩阵，得到对应的左路单应性矩阵集合，通过聚类消除所述左路单应性矩阵集合中的异常数据后，确定左路平均单应性矩阵。
然后可依据所述左路映射矩阵对所述左路视频数据进行映射，得到左路拼接视频数据。其中，以中路视频数据为基准，将左路映射矩阵对所述左路视频数据向中路视频数据进行映射，如可执行透视变换等。如图5，针对左路视频、中路视频和右路视频这三路视频数据，可基于左路视频数据，计算左路视频数据相对于中路视频数据的单应性矩阵H1，经H1透视变换后的左路视频，即左路拼接视频数据可用于拼接。
步骤408，确定右路视频数据到中路视频数据的右路映射矩阵。
步骤410，依据所述右路映射矩阵对所述右路视频数据进行映射，得到右路拼接视频数据。
本申请一个可选实施例中，从右路视频数据和中路视频数据中获取同步的多帧图像数据构成第二图像对集合，以中路视频数据为基准，确定第二图像对集合对应的右路平均单应性矩阵。针对右路视频数据，可从右路视频数据和中路视频数据中抽取一段同步的视频片段，如2分钟的视频片段，然后对视频片段中的图像数据，按照时间戳从右路和中路分别抽取一个作为图像数据对，得到连续多帧图像数据对。当然在另外示例中，也可是不连续的多帧图像数据对，图像帧的数量在20-30帧以上。多帧图像数据对中的每一帧图像数据对，可分别计算右路到中路的映射矩阵，从而得到多个映射矩阵。该映射矩阵可为单应性矩阵。其中，对第二图像对集合中第二图像对计算右路单应性矩阵，得到对应的右路单应性矩阵集合，通过聚类消除所述右路单应性矩阵集合中的异常数据后，确定右路平均单应性矩阵。然后可基于该单应性矩阵等映射矩阵，通过聚类等方式消除异常数据。一个示例中，可基于单应性矩阵中的偏移分量，通过DBSCAN聚类算法去除异常单应性矩阵，作为右路映射矩阵。即可对第二图像对集合中第二图像对计算右路单应性矩阵，得到对应的右路单应性矩阵集合，通过聚类消除所述右路单应性矩阵集合中的异常数据后，确定右路平均单应性矩阵。
然后可依据所述右路映射矩阵对所述右路视频数据进行映射，得到右路拼接视频数据。其中，以中路视频数据为基准，将左路映射矩阵对所述左路视频数据向中路视频数据进行映射，如可执行透视变换等。如图5，针对左路视频、中路视频和右路视频这三路视频数据，可基于右路视频数据，计算右路视频数据相对于中路视频数据的单应性矩阵H2，经H2透视变换后的右路视频，即右路拼接视频数据可用于拼接。
步骤412，对所述左路拼接视频数据、中路视频数据和右路拼接视频数据进行拼接，得到视频数据。
在完成映射后，可将左路拼接视频数据、中路视频数据和右路拼接视频数据进行拼接，其中，可先去除左路拼接视频数据与中路视频数据重叠的第一区域，以及右路拼接视频数据与中路视频数据重叠的第二区域，然后再执行拼接处理，得到对应的视频数据，如会议视频数据、直播视频数据等。
步骤414，输出所述视频数据。
然后可输出该视频数据，例如在视频页面中输出该视频数据，又如上传到服务端中推送给其他设备端。
以上仅是一种场景的示例，实际处理中还可应用于其他多视频源采集、拼接的场景中，例如在晚会场景中等。
在上述实施例的基础上，提供一种会议视频进行拼接的示例，如图6所示：
步骤602，获取至少两路视频数据，所述至少两路视频数据为同一会议地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同。
在一个会议场景中，由于视频源的清晰度、视角范围等原因，采用多个视频源同步采集该会议的视频。可在一个会议地点通过至少两个视频源采集视频数据，这些视频源的采集角度不同，且相邻两个视频源所采集的视频数据的部分区域具有重复的部分。可从这些视频源中分别获取所采集的视频数据，从而得到至少两路视频数据。
步骤604，从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵。
一个可选实施例中，依据所述同步的多帧图像数据对确定映射矩阵，包括：将图像数据对分别进行匹配，确定对应的单应性矩阵；依据多帧图像数据对对应的单应性矩阵，确定平均单应性矩阵。对于相邻两路视频数据，如图3所示，在确定出同步的多帧图像数据对之后，针对每帧图像数据对可分别进行匹配，确定图像数据对之间的单应性矩阵，能够得到一组单应性矩阵的集合。然后可基于该集合中单应性矩阵确定平均单应性矩阵。其中，还可计算各单应性矩阵之间的偏移分量，然后可通过聚类算法去除异常单应性矩阵，例如，基于密度的噪声应用空间聚类(Density-Based Spatial Clustering of Applications withNoise，DBSCAN)对各单应性矩阵进行聚类，去除其中异常的单应性矩阵，然后采用剩余的单应性矩阵的平均值作为平均单应性矩阵。基于多帧图像数据对可分别匹配出单应性矩阵，基于多个单应性矩阵计算平均值，能够有效的消除噪声的影响，提高矩阵的准确性。
本申请另一个可选实施例中，可以包括三路视频数据，分别为第一路视频数据、中间路视频数据(也称第二路视频数据)和第三路视频数据。从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵，包括：从第一路视频数据和中间路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中间路视频数据和第三路视频数据中获取同步的多帧图像数据构成第二图像对集合；以中间路视频数据为基准，确定第一图像对集合对应的第一平均单应性矩阵，以及第二图像对集合对应的第二平均单应性矩阵。第一路视频数据和第三路视频数据可分别向中间路视频数据进行映射，从而以中间路视频数据为基准，可从第一路视频数据和中间路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中间路视频数据和第三路视频数据中获取同步的多帧图像数据构成第二图像对集合，然后在第一图像对集合中将第一路视频数据对应的图像数据，向中间路对应的图像数据确定第一单应性矩阵，再基于多个第一单应性矩阵，消除异常数据后，确定第一平均单应性矩阵。针对第二图像对集合，将第三路视频数据对应的图像数据，向中间路对应的图像数据确定第而单应性矩阵，再基于多个第二单应性矩阵，消除异常数据后，确定第二平均单应性矩阵。
步骤606，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到会议视频数据。
一个可选实施例中，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据，包括：依据所述映射矩阵，将一路视频数据向另一路视频数据进行映射，得到映射视频数据；将所述映射视频数据和另一路视频数据进行拼接，得到拼接视频数据。可基于该平均单应性矩阵，将一路视频数据向另一路视频数据进行映射，如进行透视变换，得到映射视频数据。然后可将所述映射视频数据和另一路视频数据进行拼接，其中，将所述映射视频数据和另一路视频数据之间有部分区域是重合的，可裁剪掉重合区域后再进行拼接，得到拼接视频数据。其中，透视变换(Perspective Transformation)就是将图片投影到一个新的视平面，直线在该变换下仍映射为直线，也称为投影映射。
以三路视频数据为例：依据所述第一平均单应性矩阵，将第一路视频数据向中间路视频数据进行映射，得到第一映射视频数据；依据所述第二平均单应性矩阵，将第三路视频数据向中间路视频数据进行映射，得到第二映射视频数据；将所述第一映射视频数据、中间路视频数据和第二映射视频数据进行拼接，得到拼接视频数据。依据所述第一平均单应性矩阵，将第一路视频数据向中间路视频数据进行映射，如进行仿射变换，得到第一映射视频数据，相应的，依据所述第二平均单应性矩阵，将第三路视频数据向中间路视频数据进行映射，得到第二映射视频数据。然后可确定第一映射视频数据和中间路视频数据之间的重合区域，以及第二映射视频数据和中间路视频数据之间的重合区域，分别在第一映射视频数据、第二映射视频数据中去除重合区域后，与中间路视频数据进行拼接，得到拼接的视频数据。
本申请实施例中，对于视频数据的映射、拼接等，可基于设备的硬件性能选择合适的方式，例如将映射和拼接采用不同的处理器进行处理。例如，视频采集后通过第二处理器进行处理，例如计算单应性矩阵等处理，然后可在执行映射之前，将需要映射的视频数据拷贝到第一处理器上，由第一处理器进行映射处理。在完成映射，得到映射图像后，可将映射完成后，将映射视频数据拷贝到第二处理器上，由第二处理器进行拼接处理。例如第一处理器为图形处理器(graphics processing unit，GPU)，第二处理器为中央处理器(centralprocessing unit，CPU)，视频采集后在CPU上处理，执行映射前可拷贝到GPU上执行映射处理，映射完成后，可拷贝会CPU在上进行拼接等处理。从而合理利用设备的硬件资源。
本申请实施例中，对视频数据中各帧图像分别进行映射和拼接，从而可基于设备的硬件性能调用一个或多个处理器进行处理，当多个处理器进行处理时，可并行处理。一个示例中，图像的映射和拼接可通过不同的处理器并行执行，当之前帧图像完成映射后，拷贝到另一个处理器上，从而一个处理器对当前帧映射处理，而另一个处理器上可对映射完成的之前帧进行拼接。在另外一些实施例中，映射处理也可通过多个处理器并行处理，完成处理后按照时间戳排列拼接即可。并且各个拼接流程也可独立并行处理，降低拼接时间。
步骤608，输出所述会议视频数据。
然后可输出该会议视频数据，例如在视频会议页面中输出该会议视频数据，又如上传到服务端中推送给其他会议设备端。
本申请实施例中，还可基于所述视频数据的音频信息进行语音识别，得到文本数据；依据所述文本数据得到对应的会议记录，输出所述会议记录。并且，还可基于音频信息进行声纹识别，基于声纹确定对应的发言人，区分不同发言人的发言内容，在会议记录中标记发言人以及发言内容等发言人信息。从而在会议记录中自动记录不同发言人的发言内容。若对应可确定出声纹对应的用户，则发言人可标记成具体的用户。
在上述实施例的基础上，提供一种网络课程的视频进行拼接的示例，如图7所示：
步骤702，获取至少两路视频数据，所述至少两路视频数据为同一课程地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同。
在一个网络课程场景中，由于视频源的清晰度、视角范围等原因，采用多个视频源同步采集该网络课程的视频。可在一个课程地点通过至少两个视频源采集视频数据，这些视频源的采集角度不同，且相邻两个视频源所采集的视频数据的部分区域具有重复的部分。可从这些视频源中分别获取所采集的视频数据，从而得到至少两路视频数据。
步骤704，从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵。
一个可选实施例中，依据所述同步的多帧图像数据对确定映射矩阵，包括：将图像数据对分别进行匹配，确定对应的单应性矩阵；依据多帧图像数据对对应的单应性矩阵，确定平均单应性矩阵。对于相邻两路视频数据，如图3所示，在确定出同步的多帧图像数据对之后，针对每帧图像数据对可分别进行匹配，确定图像数据对之间的单应性矩阵，能够得到一组单应性矩阵的集合。然后可基于该集合中单应性矩阵确定平均单应性矩阵。其中，还可计算各单应性矩阵之间的偏移分量，然后可通过聚类算法去除异常单应性矩阵，例如，基于密度的噪声应用空间聚类(Density-Based Spatial Clustering of Applications withNoise，DBSCAN)对各单应性矩阵进行聚类，去除其中异常的单应性矩阵，然后采用剩余的单应性矩阵的平均值作为平均单应性矩阵。基于多帧图像数据对可分别匹配出单应性矩阵，基于多个单应性矩阵计算平均值，能够有效的消除噪声的影响，提高矩阵的准确性。
本申请另一个可选实施例中，可以包括三路视频数据，分别为第一路视频数据、中间路视频数据(也称第二路视频数据)和第三路视频数据。从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵，包括：从第一路视频数据和中间路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中间路视频数据和第三路视频数据中获取同步的多帧图像数据构成第二图像对集合；以中间路视频数据为基准，确定第一图像对集合对应的第一平均单应性矩阵，以及第二图像对集合对应的第二平均单应性矩阵。第一路视频数据和第三路视频数据可分别向中间路视频数据进行映射，从而以中间路视频数据为基准，可从第一路视频数据和中间路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中间路视频数据和第三路视频数据中获取同步的多帧图像数据构成第二图像对集合，然后在第一图像对集合中将第一路视频数据对应的图像数据，向中间路对应的图像数据确定第一单应性矩阵，再基于多个第一单应性矩阵，消除异常数据后，确定第一平均单应性矩阵。针对第二图像对集合，将第三路视频数据对应的图像数据，向中间路对应的图像数据确定第而单应性矩阵，再基于多个第二单应性矩阵，消除异常数据后，确定第二平均单应性矩阵。
步骤706，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到课程视频数据。
一个可选实施例中，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据，包括：依据所述映射矩阵，将一路视频数据向另一路视频数据进行映射，得到映射视频数据；将所述映射视频数据和另一路视频数据进行拼接，得到拼接视频数据。可基于该平均单应性矩阵，将一路视频数据向另一路视频数据进行映射，如进行透视变换，得到映射视频数据。然后可将所述映射视频数据和另一路视频数据进行拼接，其中，将所述映射视频数据和另一路视频数据之间有部分区域是重合的，可裁剪掉重合区域后再进行拼接，得到课程视频数据。
以三路视频数据为例：依据所述第一平均单应性矩阵，将第一路视频数据向中间路视频数据进行映射，得到第一映射视频数据；依据所述第二平均单应性矩阵，将第三路视频数据向中间路视频数据进行映射，得到第二映射视频数据；将所述第一映射视频数据、中间路视频数据和第二映射视频数据进行拼接，得到拼接视频数据。依据所述第一平均单应性矩阵，将第一路视频数据向中间路视频数据进行映射，如进行仿射变换，得到第一映射视频数据，相应的，依据所述第二平均单应性矩阵，将第三路视频数据向中间路视频数据进行映射，得到第二映射视频数据。然后可确定第一映射视频数据和中间路视频数据之间的重合区域，以及第二映射视频数据和中间路视频数据之间的重合区域，分别在第一映射视频数据、第二映射视频数据中去除重合区域后，与中间路视频数据进行拼接，得到课程视频数据。
本申请实施例中，对于视频数据的映射、拼接等，可基于设备的硬件性能选择合适的方式，例如将映射和拼接采用不同的处理器进行处理。例如，视频采集后通过第二处理器进行处理，例如计算单应性矩阵等处理，然后可在执行映射之前，将需要映射的视频数据拷贝到第一处理器上，由第一处理器进行映射处理。在完成映射，得到映射图像后，可将映射完成后，将映射视频数据拷贝到第二处理器上，由第二处理器进行拼接处理。例如第一处理器为图形处理器(graphics processing unit，GPU)，第二处理器为中央处理器(centralprocessing unit，CPU)，视频采集后在CPU上处理，执行映射前可拷贝到GPU上执行映射处理，映射完成后，可拷贝会CPU在上进行拼接等处理。从而合理利用设备的硬件资源。
本申请实施例中，对视频数据中各帧图像分别进行映射和拼接，从而可基于设备的硬件性能调用一个或多个处理器进行处理，当多个处理器进行处理时，可并行处理。一个示例中，图像的映射和拼接可通过不同的处理器并行执行，当之前帧图像完成映射后，拷贝到另一个处理器上，从而一个处理器对当前帧映射处理，而另一个处理器上可对映射完成的之前帧进行拼接。在另外一些实施例中，映射处理也可通过多个处理器并行处理，完成处理后按照时间戳排列拼接即可。并且各个拼接流程也可独立并行处理，降低拼接时间。
步骤708，输出所述课程视频数据。
然后可输出该课程视频数据，例如在网络课程页面中输出该课程视频数据，又如上传到服务端中推送给其他设备端，从而能够共同观看网课。
视频源在采集时可采集到图像流和音频流来共同构成视频数据，则视频数据中的音频信息(即音频流)可进行语音识别，得到对应的文本数据。基于具体的场景可对文本数据进行相应的处理。例如在网课场景下，可基于该文本数据生成字幕信息，添加到课程视频中，还可对应添加其他标记，如讲到某个公式、定理等，可添加标记，基于对标记的触发可页面上显示对应的公式、定理介绍，也可对应暂停课程的播放，显示相应的习题等内容。又如在晚会场景中，可基于该文本数据生成字幕信息，添加到晚会视频中，从而自动实现字幕的生成和添加。
在上述实施例的基础上，提供一种网络课程的视频进行拼接的示例，如图8所示：
步骤802，获取至少两路视频数据，所述至少两路视频数据为同一医疗地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同。
在一个医疗影像视频拼接场景中，由于视频源的清晰度、视角范围等原因，采用多个视频源同步采集该医疗影像视频。可在一个影像采集地点通过至少两个视频源采集视频数据，这些视频源的采集角度不同，且相邻两个视频源所采集的视频数据的部分区域具有重复的部分。可从这些视频源中分别获取所采集的视频数据，从而得到至少两路视频数据。
步骤804，从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵。
一个可选实施例中，依据所述同步的多帧图像数据对确定映射矩阵，包括：将图像数据对分别进行匹配，确定对应的单应性矩阵；依据多帧图像数据对对应的单应性矩阵，确定平均单应性矩阵。对于相邻两路视频数据，如图3所示，在确定出同步的多帧图像数据对之后，针对每帧图像数据对可分别进行匹配，确定图像数据对之间的单应性矩阵，能够得到一组单应性矩阵的集合。然后可基于该集合中单应性矩阵确定平均单应性矩阵。其中，还可计算各单应性矩阵之间的偏移分量，然后可通过聚类算法去除异常单应性矩阵，例如，基于密度的噪声应用空间聚类(Density-Based Spatial Clustering of Applications withNoise，DBSCAN)对各单应性矩阵进行聚类，去除其中异常的单应性矩阵，然后采用剩余的单应性矩阵的平均值作为平均单应性矩阵。基于多帧图像数据对可分别匹配出单应性矩阵，基于多个单应性矩阵计算平均值，能够有效的消除噪声的影响，提高矩阵的准确性。
本申请另一个可选实施例中，可以包括三路视频数据，分别为第一路视频数据、中间路视频数据(也称第二路视频数据)和第三路视频数据。从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵，包括：从第一路视频数据和中间路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中间路视频数据和第三路视频数据中获取同步的多帧图像数据构成第二图像对集合；以中间路视频数据为基准，确定第一图像对集合对应的第一平均单应性矩阵，以及第二图像对集合对应的第二平均单应性矩阵。第一路视频数据和第三路视频数据可分别向中间路视频数据进行映射，从而以中间路视频数据为基准，可从第一路视频数据和中间路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中间路视频数据和第三路视频数据中获取同步的多帧图像数据构成第二图像对集合，然后在第一图像对集合中将第一路视频数据对应的图像数据，向中间路对应的图像数据确定第一单应性矩阵，再基于多个第一单应性矩阵，消除异常数据后，确定第一平均单应性矩阵。针对第二图像对集合，将第三路视频数据对应的图像数据，向中间路对应的图像数据确定第而单应性矩阵，再基于多个第二单应性矩阵，消除异常数据后，确定第二平均单应性矩阵。
步骤806，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到医疗影像数据。
一个可选实施例中，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据，包括：依据所述映射矩阵，将一路视频数据向另一路视频数据进行映射，得到映射视频数据；将所述映射视频数据和另一路视频数据进行拼接，得到拼接视频数据。可基于该平均单应性矩阵，将一路视频数据向另一路视频数据进行映射，如进行透视变换，得到映射视频数据。然后可将所述映射视频数据和另一路视频数据进行拼接，其中，将所述映射视频数据和另一路视频数据之间有部分区域是重合的，可裁剪掉重合区域后再进行拼接，得到医疗影像数据。
以三路视频数据为例：依据所述第一平均单应性矩阵，将第一路视频数据向中间路视频数据进行映射，得到第一映射视频数据；依据所述第二平均单应性矩阵，将第三路视频数据向中间路视频数据进行映射，得到第二映射视频数据；将所述第一映射视频数据、中间路视频数据和第二映射视频数据进行拼接，得到拼接视频数据。依据所述第一平均单应性矩阵，将第一路视频数据向中间路视频数据进行映射，如进行仿射变换，得到第一映射视频数据，相应的，依据所述第二平均单应性矩阵，将第三路视频数据向中间路视频数据进行映射，得到第二映射视频数据。然后可确定第一映射视频数据和中间路视频数据之间的重合区域，以及第二映射视频数据和中间路视频数据之间的重合区域，分别在第一映射视频数据、第二映射视频数据中去除重合区域后，与中间路视频数据进行拼接，得到医疗影像数据。
本申请实施例中，对于视频数据的映射、拼接等，可基于设备的硬件性能选择合适的方式，例如将映射和拼接采用不同的处理器进行处理。例如，视频采集后通过第二处理器进行处理，例如计算单应性矩阵等处理，然后可在执行映射之前，将需要映射的视频数据拷贝到第一处理器上，由第一处理器进行映射处理。在完成映射，得到映射图像后，可将映射完成后，将映射视频数据拷贝到第二处理器上，由第二处理器进行拼接处理。例如第一处理器为图形处理器(graphics processing unit，GPU)，第二处理器为中央处理器(centralprocessing unit，CPU)，视频采集后在CPU上处理，执行映射前可拷贝到GPU上执行映射处理，映射完成后，可拷贝会CPU在上进行拼接等处理。从而合理利用设备的硬件资源。
本申请实施例中，对视频数据中各帧图像分别进行映射和拼接，从而可基于设备的硬件性能调用一个或多个处理器进行处理，当多个处理器进行处理时，可并行处理。一个示例中，图像的映射和拼接可通过不同的处理器并行执行，当之前帧图像完成映射后，拷贝到另一个处理器上，从而一个处理器对当前帧映射处理，而另一个处理器上可对映射完成的之前帧进行拼接。在另外一些实施例中，映射处理也可通过多个处理器并行处理，完成处理后按照时间戳排列拼接即可。并且各个拼接流程也可独立并行处理，降低拼接时间。
步骤808，输出所述医疗影像数据。
然后可输出该医疗影像数据，例如在医疗页面中输出该医疗影像数据，又如上传到服务端中进行存储，从而在医生给用户诊断时获取该医疗影像到相应的设备端，从而能够随时查看该医疗影像。
本申请实施例中，还可在架设视频源之后，会议刚开始或未开始前，提前进行视频数据的映射，确定出映射矩阵，然后提前存储坐标映射关系表，以空间换时间，降低透视变换时间。
本申请实施例通过对一段标定视频进行单应性矩阵计算，剔除离群值，提高精度，得到更高精度单应性矩阵。
本申请实施例可直接基于所采集的视频数据进行变换，例如，直接基于NV21进行映射和拼接，，输出NV21图像显示，无需将色彩空间变换(Color Space Convert，CSC)转成RGB色彩模式，从而能够以更低的内存、更小的CPU消耗实现视频数据的变换和拼接。相应的具有更快的处理速度，通过实验处理，3张2880*2160像素的图片的平均拼接时间23ms，43fps(Frames Per Second，每秒传输帧数)。
本申请实施例中，对计算较重的任务如仿射变换通过GPU加速实现，还可提前存储坐标映射关系表，不用做透视变换计算，加快透视变换的处理速度。
本申请实施例中，可将整个拼接流程拆分成变换、拼接等子流程，实现并行化加速处理，加速处理时间。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
在上述实施例的基础上，本实施例还提供了一种视频拼接装置，应用于终端设备、服务端设备等电子设备中。
获取模块，用于获取至少两路视频数据，所述至少两路视频数据为同一地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同。
矩阵确定模块，用于从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵。
映射拼接模块，用于依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据。
输出模块，用于输出所述拼接视频数据。
综上，可以从同一地点的至少两个视频源采集角度不同的至少两路视频数据，然后从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵，从而能够剔除离群值，提高矩阵的精度，然后依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据，由于矩阵精度较高，因此映射、拼接的视频精度较高，提高拼接质量，可输出高质量的拼接视频数据。
矩阵确定模块，用于将图像数据对分别进行匹配，确定对应的单应性矩阵；依据多帧图像数据对对应的单应性矩阵，确定平均单应性矩阵。
所述映射拼接模块，包括：
映射子模块，用于依据所述映射矩阵，将一路视频数据向另一路视频数据进行映射，得到映射视频数据。
拼接子模块，用于将所述映射视频数据和另一路视频数据进行拼接，得到拼接视频数据。
所述映射子模块，用于在执行映射之前，将需要映射的视频数据拷贝到第一处理器如图形处理器GPU上；以及，拼接子模块，用于在映射完成后，将映射视频数据拷贝到第二处理器，如中央处理器CPU上。
调整模块，用于在视频页面中显示所述拼接视频数据，并显示拼接信息，所述拼接信息包括以下至少一种拼接点位置、拼接时间、采集角度、映射基准；响应于对调整控件的触发，调整拼接信息，以基于调整的拼接信息调整所述拼接视频数据。
在一个视频会议场景中，所述装置包括：
获取模块，用于获取至少两路视频数据，所述至少两路视频数据为同一会议地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同。例如，获取三路视频数据，所述三路视频数据为同一地点的三个视频源采集的，所述三个视频源的采集角度不同，所述三路视频数据包括左路视频数据、中路视频数据和右路视频数据。
矩阵确定模块，用于从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵。具体用于确定左路视频数据到中路视频数据的左路映射矩阵，以及右路视频数据到中路视频数据的右路映射矩阵。
映射模块，用于依据所述映射矩阵对所述至少两路视频数据进行映射。具体用于依据所述左路映射矩阵对所述左路视频数据进行映射，得到左路拼接视频数据；依据所述右路映射矩阵对所述右路视频数据进行映射，得到右路拼接视频数据。
拼接模块，用于对映射视频数据进行拼接。具体用于对所述左路拼接视频数据、中路视频数据和右路拼接视频数据进行拼接，得到会议视频数据。
输出模块，用于输出所述会议视频数据。
所述映射模块，还用于在执行映射之前，将所述左路视频数据和/或右路视频数据拷贝到第一处理器如图形处理器GPU上；以及，所述拼接模块，还用于在映射完成后，将所述左路拼接视频数据和/或右路拼接视频数据拷贝到第二处理器如中央处理器CPU上。
矩阵确定模块，用于从左路视频数据和中路视频数据中获取同步的多帧图像数据构成第一图像对集合；从中路视频数据和右路视频数据中获取同步的多帧图像数据构成第二图像对集合；以中路视频数据为基准，确定第一图像对集合对应的左路平均单应性矩阵，以及第二图像对集合对应的右路平均单应性矩阵。
矩阵确定模块，用于对第一图像对集合中第一图像对计算左路单应性矩阵，得到对应的左路单应性矩阵集合，通过聚类消除所述左路单应性矩阵集合中的异常数据后，确定左路平均单应性矩阵；对第二图像对集合中第二图像对计算右路单应性矩阵，得到对应的右路单应性矩阵集合，通过聚类消除所述右路单应性矩阵集合中的异常数据后，确定右路平均单应性矩阵。
还包括：音频处理模块，用于基于所述视频数据的音频信息进行语音识别，得到文本数据；依据所述文本数据得到对应的会议记录，所述会议记录中标记有发言人信息；输出所述会议记录。
本申请实施例中，还可在架设视频源之后，会议刚开始或未开始前，提前进行视频数据的映射，确定出映射矩阵，然后提前存储坐标映射关系表，以空间换时间，降低透视变换时间。
本申请实施例通过对一段标定视频进行单应性矩阵计算，剔除离群值，提高精度，得到更高精度单应性矩阵。
本申请实施例可直接基于所采集的视频数据进行变换，例如，直接基于NV21进行映射和拼接，，输出NV21图像显示，无需将色彩空间变换(Color Space Convert，CSC)转成RGB色彩模式，从而能够以更低的内存、更小的CPU消耗实现视频数据的变换和拼接。相应的具有更快的处理速度，通过实验处理，3张2880*2160像素的图片的平均拼接时间23ms，43fps(Frames Per Second，每秒传输帧数)。
本申请实施例中，对计算较重的任务如仿射变换通过GPU加速实现，还可提前存储坐标映射关系表，不用做透视变换计算，加快透视变换的处理速度。
本申请实施例中，可将整个拼接流程拆分成变换、拼接等子流程，实现并行化加速处理，加速处理时间。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中，所述电子设备包括终端设备、服务器(集群)等各类型的设备。
本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括数据中心内的终端设备、服务器(集群)等电子设备。图9示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置900。
对于一个实施例，图9示出了示例性装置900，该装置具有一个或多个处理器902、被耦合到(一个或多个)处理器902中的至少一个的控制模块(芯片组)904、被耦合到控制模块904的存储器906、被耦合到控制模块904的非易失性存储器(NVM)/存储设备908、被耦合到控制模块904的一个或多个输入/输出设备910，以及被耦合到控制模块904的网络接口912。
处理器902可包括一个或多个单核或多核处理器，处理器902可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置900能够作为本申请实施例中所述终端设备、服务器(集群)等设备。
在一些实施例中，装置900可包括具有指令914的一个或多个计算机可读介质(例如，存储器906或NVM/存储设备908)以及与该一个或多个计算机可读介质相合并被配置为执行指令914以实现模块从而执行本公开中所述的动作的一个或多个处理器902。
对于一个实施例，控制模块904可包括任意适当的接口控制器，以向(一个或多个)处理器902中的至少一个和/或与控制模块904通信的任意适当的设备或组件提供任意适当的接口。
控制模块904可包括存储器控制器模块，以向存储器906提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器906可被用于例如为装置900加载和存储数据和/或指令914。对于一个实施例，存储器906可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器906可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，控制模块904可包括一个或多个输入/输出控制器，以向NVM/存储设备908及(一个或多个)输入/输出设备910提供接口。
例如，NVM/存储设备908可被用于存储数据和/或指令914。NVM/存储设备908可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备908可包括在物理上作为装置900被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备908可通过网络经由(一个或多个)输入/输出设备910进行访问。
(一个或多个)输入/输出设备910可为装置900提供接口以与任意其他适当的设备通信，输入/输出设备910可以包括通信组件、音频组件、传感器组件等。网络接口912可为装置900提供接口以通过一个或多个网络通信，装置900可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G等，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器902中的至少一个可与控制模块904的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器902中的至少一个可与控制模块904的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器902中的至少一个可与控制模块904的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器902中的至少一个可与控制模块904的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，装置900可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置900可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置900包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中，检测装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或NVM/存储设备中，传感器组可作为输入/输出设备，通信接口可包括网络接口。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种视频拼接方法和装置、一种终端设备和一种机器可读介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种视频拼接方法，其特征在于，所述方法包括：
获取至少两路视频数据，所述至少两路视频数据为同一地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同；
从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵；
依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据；
输出所述拼接视频数据。
2.根据权利要求1所述的方法，其特征在于，依据所述同步的多帧图像数据对确定映射矩阵，包括：
将图像数据对分别进行匹配，确定对应的单应性矩阵；
依据多帧图像数据对对应的单应性矩阵，确定平均单应性矩阵。
3.根据权利要求2所述的方法，其特征在于，依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到拼接视频数据，包括：
依据所述映射矩阵，将一路视频数据向另一路视频数据进行映射，得到映射视频数据；
将所述映射视频数据和另一路视频数据进行拼接，得到拼接视频数据。
4.根据权利要求1-3任一所述的方法，其特征在于，还包括：
在执行映射之前，将需要映射的视频数据拷贝到第一处理器；以及，
在映射完成后，将映射视频数据拷贝到第二处理器。
5.根据权利要求1所述的方法，其特征在于，还包括：
在视频页面中显示所述拼接视频数据，并显示拼接信息，所述拼接信息包括以下至少一种拼接点位置、拼接时间、采集角度、映射基准；
响应于对调整控件的触发，调整拼接信息，以基于调整的拼接信息调整所述拼接视频数据。
6.一种会议视频拼接方法，其特征在于，所述方法包括：
获取至少两路视频数据，所述至少两路视频数据为同一会议地点的至少两个视频源采集的，所述至少两个视频源的采集角度不同；
从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵；
依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到会议视频数据；
输出所述会议视频数据。
7.根据权利要求6所述的方法，其特征在于，所述至少两路视频数据包括：左路视频数据、中路视频数据和右路视频数据；
所述从所述至少两路视频数据中获取同步的多帧图像数据对，依据所述同步的多帧图像数据对确定映射矩阵，包括：
确定左路视频数据到中路视频数据的左路映射矩阵，以及右路视频数据到中路视频数据的右路映射矩阵。
8.根据权利要求7所述的方法，其特征在于，所述依据所述映射矩阵对所述至少两路视频数据进行映射并拼接，得到会议视频数据，包括：
依据所述左路映射矩阵对所述左路视频数据进行映射，得到左路拼接视频数据；
依据所述右路映射矩阵对所述右路视频数据进行映射，得到右路拼接视频数据；
对所述左路拼接视频数据、中路视频数据和右路拼接视频数据进行拼接，得到会议视频数据。
9.根据权利要求7所述的方法，其特征在于，所述确定左路视频数据到中路视频数据的左路映射矩阵，以及右路视频数据到中路视频数据的右路映射矩阵，包括：
从左路视频数据和中路视频数据中获取同步的多帧图像数据构成第一图像对集合；
从中路视频数据和右路视频数据中获取同步的多帧图像数据构成第二图像对集合；
以中路视频数据为基准，确定第一图像对集合对应的左路平均单应性矩阵，以及第二图像对集合对应的右路平均单应性矩阵。
10.根据权利要求8所述的方法，其特征在于，所述确定第一图像对集合对应的左路平均单应性矩阵，以及第二图像对集合对应的右路平均单应性矩阵，包括：
对第一图像对集合中第一图像对计算左路单应性矩阵，得到对应的左路单应性矩阵集合，通过聚类消除所述左路单应性矩阵集合中的异常数据后，确定左路平均单应性矩阵；
对第二图像对集合中第二图像对计算右路单应性矩阵，得到对应的右路单应性矩阵集合，通过聚类消除所述右路单应性矩阵集合中的异常数据后，确定右路平均单应性矩阵。
11.根据权利要求6所述的方法，其特征在于，还包括：
基于所述视频数据的音频信息进行语音识别，得到文本数据；
依据所述文本数据得到对应的会议记录，所述会议记录中标记有发言人信息；
输出所述会议记录。
12.一种电子设备，其特征在于，包括：处理器；和
存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-11中任一项所述的方法。
13.一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如权利要求1-11中任一项所述的方法。
CN202111354762.8A 2021-11-16 2021-11-16 视频拼接方法、设备和可读介质 Pending CN114125178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111354762.8A CN114125178A (zh) 2021-11-16 2021-11-16 视频拼接方法、设备和可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111354762.8A CN114125178A (zh) 2021-11-16 2021-11-16 视频拼接方法、设备和可读介质

Publications (1)

Publication Number Publication Date
CN114125178A true CN114125178A (zh) 2022-03-01

Family

ID=80395641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111354762.8A Pending CN114125178A (zh) 2021-11-16 2021-11-16 视频拼接方法、设备和可读介质

Country Status (1)

Country Link
CN (1) CN114125178A (zh)

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140829A1 (en) * 1999-12-31 2002-10-03 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
CN101646022A (zh) * 2009-09-04 2010-02-10 深圳华为通信技术有限公司 一种图像拼接的方法、系统
CN102724477A (zh) * 2012-05-25 2012-10-10 黑龙江大学 基于fpga的监控视频实时拼接装置及拼接方法
US20150116451A1 (en) * 2013-10-29 2015-04-30 Cisco Technology, Inc. Panoramic Video Conference
WO2016086754A1 (zh) * 2014-12-03 2016-06-09 中国矿业大学 一种大场景视频图像拼接方法
CN106034202A (zh) * 2015-03-10 2016-10-19 杭州海康威视数字技术股份有限公司 视频拼接摄像头的调整方法及其装置
CN106991690A (zh) * 2017-04-01 2017-07-28 电子科技大学 一种基于运动目标时序信息的视频序列同步方法
CN106991644A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种基于运动场多路摄像头进行视频拼接的方法
CN107113381A (zh) * 2014-11-13 2017-08-29 华为技术有限公司 时空局部变形及接缝查找的容差视频拼接
CN107249123A (zh) * 2017-08-04 2017-10-13 江苏云光智慧信息科技有限公司 一种基于视频拼接技术的视频监控方法
CN107507133A (zh) * 2017-09-13 2017-12-22 中国海洋石油总公司 一种基于圆管作业机器人的实时图像拼接方法
CN206807650U (zh) * 2017-05-18 2017-12-26 深圳市汉锐信息技术股份有限公司 一种摄像机视频拼接电路
CN107918927A (zh) * 2017-11-30 2018-04-17 武汉理工大学 一种匹配策略融合及低误差的快速图像拼接方法
KR101868740B1 (ko) * 2017-01-04 2018-06-18 명지대학교 산학협력단 파노라마 이미지 생성 방법 및 장치
CN108234966A (zh) * 2018-03-19 2018-06-29 成都杠上花信息技术有限公司 一种基于嵌入式平台的实时全景视频拼接系统
CN109388701A (zh) * 2018-08-17 2019-02-26 深圳壹账通智能科技有限公司 会议记录生成方法、装置、设备和计算机存储介质
CN109598675A (zh) * 2018-11-13 2019-04-09 北京交通大学 多重复纹理图像的拼接方法
CN110232925A (zh) * 2019-06-28 2019-09-13 百度在线网络技术（北京）有限公司 生成会议记录的方法、装置和会议终端
JP2020086879A (ja) * 2018-11-22 2020-06-04 エヌ・ティ・ティ・コミュニケーションズ株式会社 座標変換行列推定方法及びコンピュータプログラム
CN111445389A (zh) * 2020-02-24 2020-07-24 山东省科学院海洋仪器仪表研究所 一种高分辨率图像的宽视角快速拼接方法
US10798037B1 (en) * 2019-06-12 2020-10-06 International Business Machines Corporation Media content mapping
CN112261417A (zh) * 2020-10-26 2021-01-22 京东方科技集团股份有限公司 视频推送方法及系统、设备及可读存储介质
CN112738534A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质
CN112927143A (zh) * 2021-04-09 2021-06-08 中国工商银行股份有限公司 图像拼接方法、装置、电子设备及存储介质
US11044400B1 (en) * 2019-04-03 2021-06-22 Kentucky Imaging Technologies Frame stitching in human oral cavity environment using intraoral camera
CN113301274A (zh) * 2021-07-28 2021-08-24 北京海兰信数据科技股份有限公司 一种船舶实时视频全景拼接方法及系统

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140829A1 (en) * 1999-12-31 2002-10-03 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
CN101646022A (zh) * 2009-09-04 2010-02-10 深圳华为通信技术有限公司 一种图像拼接的方法、系统
CN102724477A (zh) * 2012-05-25 2012-10-10 黑龙江大学 基于fpga的监控视频实时拼接装置及拼接方法
US20150116451A1 (en) * 2013-10-29 2015-04-30 Cisco Technology, Inc. Panoramic Video Conference
CN107113381A (zh) * 2014-11-13 2017-08-29 华为技术有限公司 时空局部变形及接缝查找的容差视频拼接
WO2016086754A1 (zh) * 2014-12-03 2016-06-09 中国矿业大学 一种大场景视频图像拼接方法
CN106034202A (zh) * 2015-03-10 2016-10-19 杭州海康威视数字技术股份有限公司 视频拼接摄像头的调整方法及其装置
CN106991644A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种基于运动场多路摄像头进行视频拼接的方法
KR101868740B1 (ko) * 2017-01-04 2018-06-18 명지대학교 산학협력단 파노라마 이미지 생성 방법 및 장치
CN106991690A (zh) * 2017-04-01 2017-07-28 电子科技大学 一种基于运动目标时序信息的视频序列同步方法
CN206807650U (zh) * 2017-05-18 2017-12-26 深圳市汉锐信息技术股份有限公司 一种摄像机视频拼接电路
CN107249123A (zh) * 2017-08-04 2017-10-13 江苏云光智慧信息科技有限公司 一种基于视频拼接技术的视频监控方法
CN107507133A (zh) * 2017-09-13 2017-12-22 中国海洋石油总公司 一种基于圆管作业机器人的实时图像拼接方法
CN107918927A (zh) * 2017-11-30 2018-04-17 武汉理工大学 一种匹配策略融合及低误差的快速图像拼接方法
CN108234966A (zh) * 2018-03-19 2018-06-29 成都杠上花信息技术有限公司 一种基于嵌入式平台的实时全景视频拼接系统
CN109388701A (zh) * 2018-08-17 2019-02-26 深圳壹账通智能科技有限公司 会议记录生成方法、装置、设备和计算机存储介质
CN109598675A (zh) * 2018-11-13 2019-04-09 北京交通大学 多重复纹理图像的拼接方法
JP2020086879A (ja) * 2018-11-22 2020-06-04 エヌ・ティ・ティ・コミュニケーションズ株式会社 座標変換行列推定方法及びコンピュータプログラム
US11044400B1 (en) * 2019-04-03 2021-06-22 Kentucky Imaging Technologies Frame stitching in human oral cavity environment using intraoral camera
US10798037B1 (en) * 2019-06-12 2020-10-06 International Business Machines Corporation Media content mapping
CN110232925A (zh) * 2019-06-28 2019-09-13 百度在线网络技术（北京）有限公司 生成会议记录的方法、装置和会议终端
CN112738534A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质
CN111445389A (zh) * 2020-02-24 2020-07-24 山东省科学院海洋仪器仪表研究所 一种高分辨率图像的宽视角快速拼接方法
CN112261417A (zh) * 2020-10-26 2021-01-22 京东方科技集团股份有限公司 视频推送方法及系统、设备及可读存储介质
CN112927143A (zh) * 2021-04-09 2021-06-08 中国工商银行股份有限公司 图像拼接方法、装置、电子设备及存储介质
CN113301274A (zh) * 2021-07-28 2021-08-24 北京海兰信数据科技股份有限公司 一种船舶实时视频全景拼接方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张春雨;王文;邱亚特;郭克友;: "视频拼接中最优自适应单应性矩阵求解算法", 吉林大学学报(工学版), no. 04 *
杨宇博;程承旗;: "基于分块Harris特征的航拍视频拼接方法", 北京大学学报(自然科学版), no. 04, 10 May 2013 (2013-05-10), pages 1 - 4 *
首照宇;欧阳宁;张华俊;莫建文;张彤;: "基于SURF和动态ROI的实时视频拼接", 计算机工程与设计, no. 03 *
首照宇;欧阳宁;张华俊;莫建文;张彤;: "基于SURF和动态ROI的实时视频拼接", 计算机工程与设计, no. 03, 16 March 2013 (2013-03-16), pages 1 - 3 *

Similar Documents

Publication Publication Date Title
WO2016045381A1 (zh) 呈现图像的方法、终端设备和服务器
CN106507200B (zh) 视频播放内容插入方法和系统
WO2023279793A1 (zh) 视频的播放方法及装置
US20230283888A1 (en) Processing method and electronic device
CN112511896A (zh) 一种视频渲染方法及装置
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
WO2018025474A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111918127B (zh) 一种视频剪辑方法、装置、计算机可读存储介质及相机
US10205940B1 (en) Determining calibration settings for displaying content on a monitor
CN113438550B (zh) 一种视频播放方法、视频会议方法、直播方法及相关装置
CN109076251B (zh) 远程会议传输
CN113497963B (zh) 视频处理方法、装置及设备
CN109862385B (zh) 直播的方法、装置、计算机可读存储介质及终端设备
US9445052B2 (en) Defining a layout for displaying images
JP2009246917A (ja) 映像表示装置及び映像処理装置
CN114125178A (zh) 视频拼接方法、设备和可读介质
CN107995538B (zh) 视频批注方法及系统
EP3503579B1 (en) Multi-camera device
CN112887653B (zh) 一种信息处理方法和信息处理装置
CN112004100B (zh) 将多路音视频源集合成单路音视频源的驱动方法
US10681327B2 (en) Systems and methods for reducing horizontal misalignment in 360-degree video
CN115499673B (zh) 一种直播方法及装置
CN113453041A (zh) 数据处理方法、装置、设备和存储介质
TW201227632A (en) Interactive multimedia teaching device and its video analysis system
KR101769660B1 (ko) 영상 처리 장치 및 영상 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination