CN116033228A - 一种多路音视频整合方法、装置、设备和介质 - Google Patents
一种多路音视频整合方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN116033228A CN116033228A CN202211639985.3A CN202211639985A CN116033228A CN 116033228 A CN116033228 A CN 116033228A CN 202211639985 A CN202211639985 A CN 202211639985A CN 116033228 A CN116033228 A CN 116033228A
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- integration
- synchronous
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010354 integration Effects 0.000 title claims abstract description 482
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000001360 synchronised effect Effects 0.000 claims abstract description 372
- 238000012545 processing Methods 0.000 claims abstract description 106
- 230000006399 behavior Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
本申请涉及通信技术的技术领域，尤其是涉及一种多路音视频整合方法、装置、设备和介质，其方法包括：基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型，能够较为精准的基于多路音视频的特点确定匹配度高的整合方式，然后，基于多路音视频数据进行同步处理，得到多个同步音视频，以避免多路音视频数据在传输时由于延时而导致多路音视频数据的播放进度不一致，进而，基于多个同步音视频和音视频整合类型进行整合处理，并在显示界面上播放音视频整合数据。通过这种方式，在确定音视频整合类型时，综合考虑了多路音视频的特点，且提高了多路音视频与音视频整合类型的匹配度。
Description
技术领域
本申请涉及通信技术的技术领域，尤其是涉及一种多路音视频整合方法、装置、设备和介质。
背景技术
随着互联网视频技术的发展，人们已经习惯了通过具有视频播放功能的电子设备连接互联网观看各种视频来丰富业余生活。目前，相关技术中，用户在基于具有视频播放功能的电子设备观看各种视频时，视频服务器能够根据用户请求将音视频发送至电子设备进行播放。在进行视频播放时，显示界面只能播放一个音视频，然而，这种情况在大多数情况下是不能满足用户的需求的，例如，在视频监控领域，同一显示界面需要显示多个监控视频；在线课程中，也需要在同一显示界面需要显示多个视频；在医学中的手术教学中，需要将多角度拍摄的手术视频同步显示在显示界面上。因此，为了满足用户的观看需求，多路音视频技术应运而生。
随着流媒体技术的发展，多路音视频技术得到广泛应用，其中，多路音视频是从多个终端分别获取的。基于获取的多路音视频进行整合处理得到音视频整合数据，并将音视频整合数据在显示界面播放，以使得用户能够在同一显示界面观看到多路音视频，提高了用户的观看体验感。然而，相关技术中，多路音视频的整合方式较为固定，并未考虑多路音视频的特点，因而，导致多路音视频与整合方式匹配度低。
因而，如何提高多路音视频与整合方法的匹配度是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种多路音视频整合方法，用于解决以上至少一项技术问题。
本申请的上述发明目的是通过以下技术方案得以实现的：
第一方面，本申请提供一种多路音视频整合方法，采用如下的技术方案：
一种多路音视频整合方法，所述方法包括：
获取多路音视频数据和每一路音视频数据对应的播放权重；
基于所述多路音视频数据和所述每一路音视频数据对应的播放权重，确定音视频整合类型，其中，所述音视频整合类型包括：主从视频整合、多角度同步播放整合、轮播整合；
基于所述多路音视频数据进行同步处理，得到多个同步音视频，其中，所述同步处理用于同步每一路音视频数据的播放进度；
基于所述多个同步音视频、所述音视频整合类型进行整合处理，得到一个音视频整合数据，并在显示界面上播放所述音视频整合数据。
通过采用上述技术方案，基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型，能够较为精准的基于多路音视频的特点确定匹配度高的整合方式，然后，基于多路音视频数据进行同步处理，以避免多路音视频数据在传输时由于延时而导致多路音视频数据的播放进度不一致，进而，基于多个同步音视频和音视频整合类型进行整合处理，并在显示界面上播放音视频整合数据。通过这种方式，在确定音视频整合类型时，综合考虑了多路音视频的特点，且提高了多路音视频与音视频整合类型的匹配度。
本申请在一较佳示例中可以进一步配置为：所述基于所述多路音视频数据和所述每一路音视频数据对应的播放权重，确定音视频整合类型，包括：
基于所述每一路音视频数据对应的播放权重，判断所有所述播放权重中是否存在任意两个播放权重不同；
若存在任意两个播放权重不同，则确定音视频整合类型为主从视频整合；
若任意两个播放权重均相同，则基于所有音视频数据的音频数据对任意两个所述音频数据进行音频相似度匹配，得到多个音频相似度；
若所有音频相似度均高于音频相似度阈值，则确定音视频整合类型为多角度同步播放整合；
若存在任一音频相似度不高于所述音频相似度阈值，则确定音视频整合类型为轮播整合。
通过采用上述技术方案,若所有播放权重中存在任意两个播放权重不同，则表明在进行音视频整合播放时，不同的音视频数据播放的重要性不同，故确定音视频整合类型为主从视频整合，然而，若所有音视频数据各自对应的播放权重均相同，则表明音视频整合数据中的每一路音视频数据展示的重要程度相同，可以基于所有音视频数据的音频数据对任意两个音频数据进行音频相似度匹配，若所有音频相似度均高于音频相似度阈值，则确定音视频整合类型为多角度同步播放整合，否则，确定音视频整合类型为轮播整合。通过这种方式，能够较为精准的基于多路音视频的特点确定匹配度高的整合方式。
本申请在一较佳示例中可以进一步配置为：所述基于所述多个同步音视频、所述音视频整合类型进行整合处理，得到一个音视频整合数据，包括：
当所述音视频整合类型为所述主从视频整合时，从所述多个同步音视频中确定一个主音视频，并将其余所述同步音视频确定为从音视频；
将所述主音视频的音量调至第一阈值，并将所有所述从音视频的音量调至第二阈值，其中，所述第一阈值高于第二阈值；
基于所有同步音视频的数量，利用第一数量布局关系确定主从整合布局；
基于所述主从整合布局，对调整音量后的主音视频和所有调整音量后的从音视频进行整合处理，得到一个音视频整合数据。
通过采用上述技术方案，当音视频整合类型为主从视频整合时，则从多个同步音视频中确定一个主音视频和至少一个从音视频，然后，将主音视频的音量调至第一阈值、所有从音视频的音量调至第二阈值，并利用第一数量布局关系确定与所有同步音视频的数量对应的主从整合布局，基于主从整合布局对调整音量后的主音视频和所有从音视频进行整合处理，得到一个音视频整合数据。在进行主从视频整合后，得到的音视频整合数据能够在同一显示界面展示多个同步音视频，同时，将主音视频的视频布局以及音量均进行了突出展示，满足了多路音视频的特点，提高音视频整合类型与多路音视频的匹配度。
本申请在一较佳示例中可以进一步配置为：所述基于所述多个同步音视频、所述音视频整合类型进行整合处理，得到一个音视频整合数据，包括：
当所述音视频整合类型为所述多角度同步播放整合时，为每一同步音视频进行编号，得到每一同步音视频的编号；
基于所述多个同步音视频的数量和所述每一同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，所述多角度整合布局包括多个布局编号，每一同步音视频的编号与多个布局编号具有对应关系；
基于所述多个同步音视频各自对应的音频数据进行去噪声处理，得到整合音频数据；
基于所述多角度整合布局、所述多个同步音视频、所述每一同步音视频的编号和所述整合音频数据进行整合处理，得到一个音视频整合数据。
通过采用上述技术方案，当音视频整合类型为多角度同步播放整合时，为每一同步音视频进行编号，并基于多个同步音视频的数量和所述每一同步音视频的编号，利用第二数量布局关系确定多角度整合布局，然后，对多个同步音视频各自对应的音频数据进行去噪声处理，以提高整合音频数据的质量，基于多角度整合布局、多个同步音视频、每一同步音视频的编号和整合音频数据进行整合处理，得到一个音视频整合数据。针对同一场景的多角度音视频进行整合后，能够同时观看到同一场景的多角度音视频，获取到更加丰富的信息。
本申请在一较佳示例中可以进一步配置为：所述基于所述多个同步音视频、所述音视频整合类型进行整合处理，得到一个音视频整合数据，包括：
当所述音视频整合类型为所述轮播整合时，获取轮播整合方案，其中，所述轮播整合方案包括：所述多个同步音视频的播放顺序、每一所述同步音视频的播放时间、是否为交替播放、播放显示状态；
基于所述多个同步音视频的数量，利用第三数量布局关系确定轮播整合布局；
基于所述多个同步音视频、所述轮播整合方案和所述轮播整合布局进行整合处理，得到一个音视频整合数据。
通过采用上述技术方案，当所述音视频整合类型为所述轮播整合时，利用第三数量布局关系确定与多个同步音视频的数量对应的轮播整合布局，并基于多个同步音视频、轮播整合方案和轮播整合布局进行整合处理，得到一个音视频整合数据。倘若需要对多个同步音视频进行对比播放，采用轮播整合，便于展示出多个同步音视频之间的区别与联系，提高了多路音视频的特点与整合方式匹配度，且提升了用户的观看体验感。
本申请在一较佳示例中可以进一步配置为：所述音视频整合数据是基于多个同步音视频构成的，
所述在显示界面上播放所述音视频整合数据之后，还包括：
当检测到播放行为指令后，则基于所述播放行为指令确定所述音视频整合数据中每一同步音视频的播放状态，其中，所述播放状态包括：暂停和进行；
基于所述每一同步音视频的播放状态进行音视频整合数据的播放控制；
若目标同步音视频的所述播放状态由暂停更改为进行，则基于在预设时段内所述播放状态均为进行的同步音视频确定目标同步音视频的播放进度，以使得音视频整合数据中每一同步音视频播放进度相同。
通过采用上述技术方案，基于播放行为指令确定音视频整合数据中每一同步音视频的播放状态，并基于每一同步音视频的播放状态进行音视频整合数据的播放控制，若目标同步音视频的播放状态由暂停更改为进行，则基于在预设时段内播放状态均为进行的同步音视频确定目标同步音视频的播放进度，以使得音视频整合数据中每一同步音视频播放进度相同，避免了目标同步音视频的播放进度与其余同步音视频播放进度不匹配的情况。
本申请在一较佳示例中可以进一步配置为：所述当所述音视频整合类型为所述多角度同步播放整合时，为每一同步音视频进行编号，得到每一同步音视频的编号，包括：
当所述音视频整合类型为所述多角度同步播放整合时，基于所有同步音视频各自对应的视频图像，对任意两个所述视频图像进行视频相似度匹配，得到所有视频相似度；
基于所述所有视频相似度，对所有同步音视频进行去重处理，得到去重后的同步音视频；
基于所述去重后的同步音视频进行编号，得到每一去重后的同步音视频的编号；
相应的，基于所述多个同步音视频的数量和所述每一同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，所述多角度整合布局包括多个布局编号，每一同步音视频的编号与多个布局编号具有对应关系，包括：
基于所述去重后的同步音视频的数量和所述每一去重后的同步音视频的编号，利用第二数量布局关系确定多角度整合布局；
相应的，所述基于所述多个同步音视频各自对应的音频数据进行去噪声处理，得到整合音频数据，包括：
基于所述每一去重后的同步音视频对应的音频数据进行去噪声处理，得到整合音频数据；
相应的，所述基于所述多角度整合布局、所述多个同步音视频、所述每一同步音视频的编号和所述整合音频数据进行整合处理，得到一个音视频整合数据，包括：
基于所述多角度整合布局、所述每一去重后的同步音视频、所述每一去重后的同步音视频的编号和所述整合音频数据进行整合处理，得到一个音视频整合数据。
通过采用上述技术方案，基于所有同步音视频各自对应的视频图像，对任意两个视频图像进行视频相似度匹配，并基于所有视频相似度，对所有同步音视频进行去重处理，并基于去重后的同步音视频进行编号、去噪声和整合处理，最终得到一个音视频整合数据。通过这种方式，有效的避免了整合处理后的音视频整合数据内包括部分相同的同步音视频。
第二方面，本申请提供一种多路音视频整合装置，采用如下的技术方案：
一种多路音视频整合装置，包括：
获取权重模块，用于获取多路音视频数据和每一路音视频数据对应的播放权重；
整合类型确定模块，用于基于所述多路音视频数据和所述每一路音视频数据对应的播放权重，确定音视频整合类型，其中，所述音视频整合类型包括：主从视频整合、多角度同步播放整合、轮播整合；
同步处理模块，用于基于所述多路音视频数据进行同步处理，得到多个同步音视频，其中，所述同步处理用于同步每一路音视频数据的播放进度；
整合处理模块，用于基于所述多个同步音视频、所述音视频整合类型进行整合处理，得到一个音视频整合数据，并在显示界面上播放所述音视频整合数据。
通过采用上述技术方案，基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型，能够较为精准的基于多路音视频的特点确定匹配度高的整合方式，然后，基于多路音视频数据进行同步处理，以避免多路音视频数据在传输时由于延时而导致多路音视频数据的播放进度不一致，进而，基于多个同步音视频和音视频整合类型进行整合处理，并在显示界面上播放音视频整合数据。通过这种方式，在确定音视频整合类型时，综合考虑了多路音视频的特点，且提高了多路音视频与音视频整合类型的匹配度。
第三方面，本申请提供一种电子设备，采用如下的技术方案：
至少一个处理器；
存储器；
至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述的方法。
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行上所述的方法。
综上所述，本申请包括以下至少一种有益技术效果：
1. 基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型，能够较为精准的基于多路音视频的特点确定匹配度高的整合方式，然后，基于多路音视频数据进行同步处理，以避免多路音视频数据在传输时由于延时而导致多路音视频数据的播放进度不一致，进而，基于多个同步音视频和音视频整合类型进行整合处理，并在显示界面上播放音视频整合数据。通过这种方式，在确定音视频整合类型时，综合考虑了多路音视频的特点，且提高了多路音视频与音视频整合类型的匹配度。
附图说明
图1是本申请其中一实施例的一种多路音视频整合方法的流程示意图。
图2是本申请其中一实施例的一种多路音视频整合装置的结构示意图。
图3是本申请其中一实施例的一种电子设备的结构示意图。
具体实施方式
以下结合图1至图3对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
随着流媒体技术的发展，多路音视频技术得到广泛应用，其中，多路音视频是从多个终端分别获取的。基于获取的多路音视频进行整合处理得到音视频整合数据，并将音视频整合数据在显示界面播放，以使得用户能够在同一显示界面观看到多路音视频，提高了用户的观看体验感。然而，相关技术中，多路音视频的整合方式较为固定，并不能较为精准的基于多路音视频的特点确定匹配度高的整合方式，导致多路音视频与整合方式匹配度低。
然而，为了解决上述技术问题，本申请提供了一种多路音视频整合方法、装置、设备和介质，基于多路音视频数据和每一路音视频数据对应的播放权重确定音视频整合类型，其中，音视频整合类型包括：主从视频整合、多角度同步播放整合、轮播整合，在确定音视频整合类型时，综合考虑了多路音视频的特点，因而，提高了多路音视频与音视频整合类型的匹配度。
本申请实施例提供了一种多路音视频整合方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，如图1所示，该方法包括步骤S101、步骤S102、步骤S103和步骤S104，其中：
步骤S101：获取多路音视频数据和每一路音视频数据对应的播放权重。
对于本申请实施例，利用网络传输协议从多个终端获取多路音视频数据，其中，获取音视频的终端可以为视频采集终端、网络摄像机(IPC)、硬盘录像机(DVR)、网络直播系统和PC终端，网络传输协议可以为BT1120协议、RTSP(Real Time Streaming Protocol，网络流媒体协议)，当然也可以是RTMP(Real Time Messaging Protocol，实时消息传输协议)。在进行多路音视频整合时，由于多路音视频会有内在的联系以及各自的特点，因而，可以基于每一路音视频对应的播放权重确定音视频整合类型。对于播放权重设定方法有多种可实现的方式，在一种可实现的方式中，针对获取音视频的不同终端进行分类，并为每一获取音视频的终端设定对应的数值，因而，将获取音视频数据对应的音视频终端的数值作为播放权重，通过这种方式，能够将希望主要播放的音视频数据采用数值大的终端进行采集；在另一种可实现的方式中，在获取到多路音视频数据后，基于用户的选择指令为每一路音视频赋予对应的播放权重。当然，还可以采用其他方式设定音视频数据的播放权重，本申请实施例不再进行限定。
步骤S102：基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型，其中，音视频整合类型包括：主从视频整合、多角度同步播放整合、轮播整合。
对于本申请实施例，基于多路音视频数据和每一路音视频数据对应的播放权重，综合确定音视频整合类型，通过这种方式，使得确定音视频整合类型时，考虑到多路音视频的特点，进而，提高了多路音视频与音视频整合类型的匹配度。具体的，若所有播放权重中存在任意两个播放权重不同，则确定音视频整合类型为主从视频整合，将播放权重最高的音视频数据作为主音视频，除主音视频外的其他音视频数据作为从音视频，其中，音视频数据的播放权重越高则表明在整合播放时应进行重点展示；若所有音视频数据各自对应的播放权重均相同，则表明对多路音视频进行整合处理得到音视频整合数据后，音视频整合数据中的每一路音视频数据展示的重要程度相同，因而，音视频整合类型可以为多角度同步播放整合或轮播整合；在针对同一对象或场景进行多角度拍摄时，获取到的多路音视频数据为同一场景的多角度视频数据和音频数据，由于在同一场景中，因而，多路音视频数据各自对应的音频数据应该具有较高的音频相似度，故若任意两个音视频数据的音频相似度均高于音频相似度阈值，则确定音视频整合类型为多角度同步播放整合；否则，即确定音视频整合类型为轮播整合。
步骤S103：基于多路音视频数据进行同步处理，得到多个同步音视频，其中，同步处理用于同步每一路音视频数据的播放进度。
对于本申请实施例，由于获取的多路音视频数据在利用网络传输协议进行传输时，会因为复杂的网络环境产生延时，倘若不对接收到的多路音视频数据进行同步处理，会造成音视频整合数据中播放进度不一致，同时，给用户带来不好的观看体验。因而，在对多路音视频进行整合处理前，先将多路音视频数据进行同步处理，得到多个同步音视频，具体的，基于每一路音视频数据的时间戳进行匹配，将第一个匹配成功的时间戳记作最早时间戳，并按照最早时间戳截取多路音视频数据，得到多个同步音视频，通过同步处理使得每一路音视频数据能够基于同一时间戳进行同步播放。
步骤S104： 基于多个同步音视频、音视频整合类型进行整合处理，得到一个音视频整合数据，并在显示界面上播放音视频整合数据。
对于本申请实施例，基于同步处理后的多个同步音视频和音视频整合类型进行整合处理，具体的，基于所有同步音视频的数量与不同音视频整合类型各自对应的整合布局关系，确定多路音视频整合处理的整合布局，并按照整合布局将多个同步音视频进行整合处理，得到一个音视频整合数据。音视频整合数据中可以实现双视窗、多视窗显示，即，在显示界面中可同时显示多路同步音视频，当然，还可以实现主从视频播放的效果，即一个主视频占满屏幕，其余从视频以小窗口方式叠加在主视频之上，且从视频的小窗口可以移动位置。
可见，在本申请实施例中，基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型，能够较为精准的基于多路音视频的特点确定匹配度高的整合方式，然后，基于多路音视频数据进行同步处理，以避免多路音视频数据在传输时由于延时而导致多路音视频数据的播放进度不一致，进而，基于多个同步音视频和音视频整合类型进行整合处理，并在显示界面上播放音视频整合数据。通过这种方式，在确定音视频整合类型时，综合考虑了多路音视频的特点，且提高了多路音视频与音视频整合类型的匹配度。
进一步的，为了较为精准的基于多路音视频的特点确定匹配度高的整合方式，在本申请实施例中，基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型，包括：
基于每一路音视频数据对应的播放权重，判断所有播放权重中是否存在任意两个播放权重不同；
若存在任意两个播放权重不同，则确定音视频整合类型为主从视频整合；
若任意两个播放权重均相同，则基于所有音视频数据的音频数据对任意两个音频数据进行音频相似度匹配，得到多个音频相似度；
若所有音频相似度均高于音频相似度阈值，则确定音视频整合类型为多角度同步播放整合；
若存在任一音频相似度不高于音频相似度阈值，则确定音视频整合类型为轮播整合。
对于本申请实施例，在确定音视频整合类型时，综合多路音视频数据和每一路音视频数据对应的播放权重，通过这种方式，能够使得确定音视频整合类型时考虑多路音视频的特点，提高了多路音视频与音视频整合类型的匹配度。基于所有音视频数据对应的播放权重，若所有播放权重中存在任意两个播放权重不同，则表明在进行音视频整合播放时，不同的音视频数据播放的重要性不同，故确定音视频整合类型为主从视频整合。若所有音视频数据各自对应的播放权重均相同，则表明对多路音视频进行整合处理得到音视频整合数据后，音视频整合数据中的每一路音视频数据展示的重要程度相同，此时，并不能较为准确的确定音视频整合类型为多角度同步播放整合或轮播整合。结合实际情况可知，基于同一终端获取的音视频数据为固定角度的，然而，为了能够更加全面的了解到某一情景或者过程，通常需要针对同一场景进行多角度拍摄，以获取更加全面的信息，例如，医学中的手术教学。在这种情况下，基于多个角度获取的多路音视频数据中音频数据相似度较高，但视频数据为多角度拍摄的画面相似度较低，因而，在所有音视频数据各自对应的播放权重均相同时，可以基于所有音视频数据的音频数据对任意两个音频数据进行音频相似度匹配，若所有音频相似度均高于音频相似度阈值，则确定音视频整合类型为多角度同步播放整合。对于多路音视频的其他情况，则确定音视频整合类型为轮播整合，经过轮播整合得到的音视频整合数据，在显示界面上可以显示多路同步音视频，以轮播的形式对同步音视频进行播放。
可见，在本申请实施例中，若所有播放权重中存在任意两个播放权重不同，则表明在进行音视频整合播放时，不同的音视频数据播放的重要性不同，故确定音视频整合类型为主从视频整合，然而，若所有音视频数据各自对应的播放权重均相同，则表明音视频整合数据中的每一路音视频数据展示的重要程度相同，可以基于所有音视频数据的音频数据对任意两个音频数据进行音频相似度匹配，若所有音频相似度均高于音频相似度阈值，则确定音视频整合类型为多角度同步播放整合，否则，确定音视频整合类型为轮播整合。通过这种方式，能够较为精准的基于多路音视频的特点确定匹配度高的整合方式。
进一步的，为了满足多路音视频的特点，提高音视频整合类型与多路音视频的匹配度，在本申请实施例中，基于多个同步音视频、音视频整合类型进行整合处理，得到一个音视频整合数据，包括：
当音视频整合类型为主从视频整合时，从多个同步音视频中确定一个主音视频，并将其余同步音视频确定为从音视频；
将主音视频的音量调至第一阈值，并将所有从音视频的音量调至第二阈值，其中，第一阈值高于第二阈值；
基于所有同步音视频的数量，利用第一数量布局关系确定主从整合布局；
基于主从整合布局，对调整音量后的主音视频和所有调整音量后的从音视频进行整合处理，得到一个音视频整合数据。
对于本申请实施例，当音视频整合类型为主从视频整合时，则表明多路音视频数据展示的重要程度不同，则将播放权重最高的音视频数据作为主音视频，除主音视频外的其他音视频数据作为从音视频，可以理解的是，主音视频仅有一个，而从音视频至少有一个当然也可以有多个。由于主音视频的重要程度较高，因而，在对多路音视频的音量进行处理时也要区分主音视频和从音视频，故将主音视频的音量调至第一阈值，并将所有从音视频的音量调至第二阈值，其中，第一阈值高于第二阈值，且第一阈值和第二阈值的大小是技术人员基于大量的实验操作确定的。由于在多路音视频数据中主音视频的重要程度较高，故将主音视频的音量调至高于从音视频的音量，通过这种方式，能够从视频播放以及视频音量两方面将主音视频突出，并能够给用户较好的观看体验。
进一步的，基于所有同步音视频的数量，利用第一数量布局关系确定主从整合布局，具体的，从第一数量布局关系中选取与所有同步音视频的数量对应的主从整合布局，主从整合布局确定了每一从音视频的从视频所在位置和每一从视频的大小，其中，主从整合布局中主音视频的主视频占据整个显示界面，每一从音视频的从视频按照主从整合布局，以小窗口的形式叠加在主音视频的主视频上，并将多个同步音视频调整音量后的音频数据作为音视频整合数据的音频数据，以完成基于主从整合布局对主音视频和所有从音视频进行整合处理，得到音视频整合数据的过程。
可见，在本申请实施例中，当音视频整合类型为主从视频整合时，则从多个同步音视频中确定一个主音视频和至少一个从音视频，然后，将主音视频的音量调至第一阈值、所有从音视频的音量调至第二阈值，并利用第一数量布局关系确定与所有同步音视频的数量对应的主从整合布局，基于主从整合布局对调整音量后的主音视频和所有从音视频进行整合处理，得到一个音视频整合数据。在进行主从视频整合后，得到的音视频整合数据能够在同一显示界面展示多个同步音视频，同时，将主音视频的视频布局以及音量均进行了突出展示，满足了多路音视频的特点，提高音视频整合类型与多路音视频的匹配度。
进一步的，为了能够同时观看到同一场景的多角度音视频，获取到更加丰富的信息，在本申请实施例中，基于多个同步音视频、音视频整合类型进行整合处理，得到一个音视频整合数据，包括：
当音视频整合类型为多角度同步播放整合时，为每一同步音视频进行编号，得到每一同步音视频的编号；
基于多个同步音视频的数量和每一同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，多角度整合布局包括多个布局编号，每一同步音视频的编号与多个布局编号具有对应关系；
基于多个同步音视频各自对应的音频数据进行去噪声处理，得到整合音频数据；
基于多角度整合布局、多个同步音视频、每一同步音视频的编号和整合音频数据进行整合处理，得到一个音视频整合数据。
对于本申请实施例，当音视频整合类型为多角度同步播放整合时，需要为每一同步音视频编号，每一同步音视频的编号是与多角度整合布局的布局编号是存在对应关系的，以便于基于编号完成多路音视频的整合处理，其中，为每一同步音视频编号的方式有很多，在一种可实现的方式中，基于同步音视频的数量，确定与同步音视频对应的所有编号，例如，有4个同步音视频，则确定所有编号为1、2、3、4，当然，同步音视频与编号的对应关系也可以为其他方式，然后，基于每一编号随机选择一个同步音视频，以完成为每一同步音视频编号的操作；在另一种可实现的方式中，在电子设备内预先存储有终端与编号之间的关系，即，预先设定了获取同步音视频的终端与同步音视频编号的关系，优选的，终端与编号之间存在一一对应的关系，然后，利用终端与编号之间的关系为每一同步音视频进行编号。
进一步的，利用第二数量布局关系确定与多个同步音视频的数量对应的多角度整合布局，第二数量布局关系中预先存储有多个同步音视频的数量和多角度整合布局的对应关系，多角度整合布局由多个视频小窗构成，针对每一视频小窗确定了窗口的大小以及位于显示界面的位置，其中，视频小窗的数量与多个同步音视频的数量相同，优选的，每一视频小窗的大小相同。
针对同一场景不同角度的多个同步音视频，由于采集的场景相同，因而每一同步音视频的音频数据的音频相似度较高，故在确定音视频整合数据的音频数据时，针对多个同步音视频各自对应的音频数据进行去噪声处理，其中，去噪声主要用于剔除环境噪声，同时，也可以基于音视频数据在传输过程中产生的噪声进行去除，以便于提高整合音频数据的质量。然后，基于多角度整合布局、多个同步音视频、每一同步音视频的编号和整合音频数据进行整合处理，得到一个音视频整合数据，使得在显示界面播放音视频整合数据时，能够同时观看到同一场景的多角度音视频，获取到更加丰富的信息。
可见，在本申请实施例中，当音视频整合类型为多角度同步播放整合时，为每一同步音视频进行编号，并基于多个同步音视频的数量和每一同步音视频的编号，利用第二数量布局关系确定多角度整合布局，然后，对多个同步音视频各自对应的音频数据进行去噪声处理，以提高整合音频数据的质量，基于多角度整合布局、多个同步音视频、每一同步音视频的编号和整合音频数据进行整合处理，得到一个音视频整合数据。针对同一场景的多角度音视频进行整合后，能够同时观看到同一场景的多角度音视频，获取到更加丰富的信息。
进一步的，为了便于展示出多个同步音视频之间的区别与联系，提高多路音视频的特点与整合方式匹配度，且提升了用户的观看体验感，在本申请实施例中，基于多个同步音视频、音视频整合类型进行整合处理，得到一个音视频整合数据，包括：
当音视频整合类型为轮播整合时，获取轮播整合方案，其中，轮播整合方案包括：多个同步音视频的播放顺序、每一同步音视频的播放时间、是否为交替播放、播放显示状态；
基于多个同步音视频的数量，利用第三数量布局关系确定轮播整合布局；
基于多个同步音视频、轮播整合方案和轮播整合布局进行整合处理，得到一个音视频整合数据。
对于本申请实施例，实际情况中，常常会存在多路音视频数据轮播的情况，优选的，倘若需要对多个同步音视频进行对比播放，采用轮播整合，便于展示出多路音视频数据之间的区别与联系，提高了多路音视频与整合方式匹配度，且提升了用户的观看体验感。轮播整合方案中至少包括：多个同步音视频的播放顺序、每一同步音视频的播放时间、是否为交替播放、播放显示状态等信息，其中，轮播整合方案可以为预先设定的，针对所有音视频整合类型为轮播整合的多个同步音视频，均采用相同的轮播整合方案，当然，轮播整合方案也可以基于用户的实际播放需求自行设定，且可以将自行设定的轮播整合方案存储在电子设备内，在后续进行轮播整合时，能够直接使用自行设定的轮播整合方案。
进一步的，利用第三数量布局关系确定与多个同步音视频的数量对应的轮播整合布局，第三数量布局关系中预先存储有多个同步音视频的数量和轮播整合布局的对应关系，轮播整合布局由多个视频小窗构成，针对每一视频小窗确定了窗口的大小以及位于显示界面的位置，其中，视频小窗的数量与多个同步音视频的数量相同，优选的，每一视频小窗的大小相同。然后，将多个同步音视频基于轮播整合布局和轮播整合方案，得到一个音视频整合数据，其中，音视频整合数据是基于轮播整合方案进行播放控制的。
可见，在本申请实施例中，当音视频整合类型为轮播整合时，利用第三数量布局关系确定与多个同步音视频的数量对应的轮播整合布局，并基于多个同步音视频、轮播整合方案和轮播整合布局进行整合处理，得到一个音视频整合数据。倘若需要对多个同步音视频进行对比播放，采用轮播整合，便于展示出多个同步音视频之间的区别与联系，提高了多路音视频的特点与整合方式匹配度，且提升了用户的观看体验感。
进一步的，为了使得音视频整合数据中每一同步音视频播放进度相同，在本申请实施例中，音视频整合数据是基于多个同步音视频构成的，
在显示界面上播放音视频整合数据之后，还包括：
当检测到播放行为指令后，则基于播放行为指令确定音视频整合数据中每一同步音视频的播放状态，其中，播放状态包括：暂停和进行；
基于每一同步音视频的播放状态进行音视频整合数据的播放控制；
若目标同步音视频的播放状态由暂停更改为进行，则基于在预设时段内播放状态均为进行的同步音视频确定目标同步音视频的播放进度，以使得音视频整合数据中每一同步音视频播放进度相同。
对于本申请实施例，显示界面上播放音视频整合数据之后，用户可以根据实际观看情况对音视频整合数据进行操作，在显示界面上，针对音视频整合数据中的每一同步音视频均设置有控制播放状态的按钮。基于用户在显示界面的操作，获取音视频整合数据的播放行为指令，并基于播放行为指令确定音视频整合数据中每一同步音视频的播放状态，进而，基于每一同步音视频的播放状态对显示界面上的音视频整合数据进行播放控制，以满足用户的观看需求。即，用户在显示界面观看音视频整合数据时，可以依据自身的观看需求对音视频整合数据中的部分或全部同步音视频进行播放状态控制。
若音视频整合数据中部分同步音视频的播放状态由暂停更改为进行，则将播放状态由暂停更改为进行的同步音视频记为目标同步音视频。当目标同步音视频的播放状态为暂停时，音视频整合数据中除目标同步音视频外的同步音视频在正常播放，倘若间隔一段时间后，将目标同步音视频的播放状态由暂停更改为进行，此时，音视频整合数据中的同步音视频的播放进度与目标同步音视频的播放进度不再相同，倘若目标同步音视频直接从暂停处开始播放，会导致音视频整合数据中的多个同步音视频的播放进度不匹配，这种情况会严重影响到音视频整合数据的播放质量。因而，若目标同步音视频的播放状态由暂停更改为进行，则基于在预设时段内播放状态均为进行的同步音视频确定目标同步音视频的播放进度，以使得音视频整合数据中每一同步音视频播放进度相同。
可见，在本申请实施例中，基于播放行为指令确定音视频整合数据中每一同步音视频的播放状态，并基于每一同步音视频的播放状态进行音视频整合数据的播放控制，若目标同步音视频的播放状态由暂停更改为进行，则基于在预设时段内播放状态均为进行的同步音视频确定目标同步音视频的播放进度，以使得音视频整合数据中每一同步音视频播放进度相同，避免了目标同步音视频的播放进度与其余同步音视频播放进度不匹配的情况。
进一步的，为了有效地避免整合处理后的音视频整合数据内包括部分相同的同步音视频，在本申请实施例中，当音视频整合类型为多角度同步播放整合时，为每一同步音视频进行编号，得到每一同步音视频的编号，包括：
当音视频整合类型为多角度同步播放整合时，基于所有同步音视频各自对应的视频图像，对任意两个视频图像进行视频相似度匹配，得到所有视频相似度；
基于所有视频相似度，对所有同步音视频进行去重处理，得到去重后的同步音视频；
基于去重后的同步音视频进行编号，得到每一去重后的同步音视频的编号；
相应的，基于多个同步音视频的数量和每一同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，多角度整合布局包括多个布局编号，每一同步音视频的编号与多个布局编号具有对应关系，包括：
基于去重后的同步音视频的数量和每一去重后的同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，多角度整合布局包括多个布局编号，每一去重后的同步音视频的编号与多个布局编号具有对应关系；
相应的，基于多个同步音视频各自对应的音频数据进行去噪声处理，得到整合音频数据，包括：
基于每一去重后的同步音视频对应的音频数据进行去噪声处理，得到整合音频数据；
相应的，基于多角度整合布局、多个同步音视频、每一同步音视频的编号和整合音频数据进行整合处理，得到一个音视频整合数据，包括：
基于多角度整合布局、每一去重后的同步音视频、每一去重后的同步音视频的编号和整合音频数据进行整合处理，得到一个音视频整合数据。
对于本申请实施例，当音视频整合类型为多角度同步播放整合时，可能会存在多个同步音视频是基于同一角度进行拍摄的音视频数据，倘若不进行去重处理，会使得整合处理后的音视频整合数据内包括部分相同的同步音视频，且会影响用户观看满意度，因而，针对所有同步音视频进行去重处理是较为重要的。
进一步的，基于相同的时间戳从所有同步音视频中选取与时间戳对应的多个视频图像，并对任意两个视频图像进行视频相似度匹配，得到所有视频相似度。然后，基于所有视频相似度，对所有同步音视频进行去重处理，得到去重后的同步音视频，具体的，将每一视频相似度分别与视频相似度阈值进行比较，针对每一视频相似度，若视频相似度高于视频相似度阈值，则确定该视频相似度对应的两个同步音视频，并仅保留视频相似度高的两个同步视频中的一个，以对所有同步音视频的完成去重处理。且，基于去重后的同步音视频的数量、每一去重后的同步音视频的编号和第二数量布局关系确定多角度整合布局，并对每一去重后的同步音视频对应的音频数据进行去噪声处理，得到整合音频数据，最终进行整合处理，得到一个音视频整合数据。
可见，在本申请实施例中，基于所有同步音视频各自对应的视频图像，对任意两个视频图像进行视频相似度匹配，并基于所有视频相似度，对所有同步音视频进行去重处理，并基于去重后的同步音视频进行编号、去噪声和整合处理，最终得到一个音视频整合数据。通过这种方式，有效的避免了整合处理后的音视频整合数据内包括部分相同的同步音视频。
上述实施例从方法流程的角度介绍一种多路音视频整合方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种多路音视频整合装置，具体详见下述实施例。
本申请实施例提供一种多路音视频整合装置200，如图2所示，该多路音视频整合装置200具体可以包括：
获取权重模块210，用于获取多路音视频数据和每一路音视频数据对应的播放权重；
整合类型确定模块220，用于基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型，其中，音视频整合类型包括：主从视频整合、多角度同步播放整合、轮播整合；
同步处理模块230，用于基于多路音视频数据进行同步处理，得到多个同步音视频，其中，同步处理用于同步每一路音视频数据的播放进度；
整合处理模块240，用于基于多个同步音视频、音视频整合类型进行整合处理，得到一个音视频整合数据，并在显示界面上播放音视频整合数据。
对于本申请实施例，基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型，能够较为精准的基于多路音视频的特点确定匹配度高的整合方式，然后，基于多路音视频数据进行同步处理，以避免多路音视频数据在传输时由于延时而导致多路音视频数据的播放进度不一致，进而，基于多个同步音视频和音视频整合类型进行整合处理，并在显示界面上播放音视频整合数据。通过这种方式，在确定音视频整合类型时，综合考虑了多路音视频的特点，且提高了多路音视频与音视频整合类型的匹配度。
本申请实施例的一种可能的实现方式，整合类型确定模块220在执行基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型时，用于：
基于每一路音视频数据对应的播放权重，判断所有播放权重中是否存在任意两个播放权重不同；
若存在任意两个播放权重不同，则确定音视频整合类型为主从视频整合；
若任意两个播放权重均相同，则基于所有音视频数据的音频数据对任意两个音频数据进行音频相似度匹配，得到多个音频相似度；
若所有音频相似度均高于音频相似度阈值，则确定音视频整合类型为多角度同步播放整合；
若存在任一音频相似度不高于音频相似度阈值，则确定音视频整合类型为轮播整合。
本申请实施例的一种可能的实现方式，整合处理模块240在执行基于多个同步音视频、音视频整合类型进行整合处理，得到一个音视频整合数据时，用于：
当音视频整合类型为主从视频整合时，从多个同步音视频中确定一个主音视频，并将其余同步音视频确定为从音视频；
将主音视频的音量调至第一阈值，并将所有从音视频的音量调至第二阈值，其中，第一阈值高于第二阈值；
基于所有同步音视频的数量，利用第一数量布局关系确定主从整合布局；
基于主从整合布局，对调整音量后的主音视频和所有调整音量后的从音视频进行整合处理，得到一个音视频整合数据。
本申请实施例的一种可能的实现方式，整合处理模块240在执行基于多个同步音视频、音视频整合类型进行整合处理，得到一个音视频整合数据时，用于：
当音视频整合类型为多角度同步播放整合时，为每一同步音视频进行编号，得到每一同步音视频的编号；
基于多个同步音视频的数量和每一同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，多角度整合布局包括多个布局编号，每一同步音视频的编号与多个布局编号具有对应关系；
基于多个同步音视频各自对应的音频数据进行去噪声处理，得到整合音频数据；
基于多角度整合布局、多个同步音视频、每一同步音视频的编号和整合音频数据进行整合处理，得到一个音视频整合数据。
本申请实施例的一种可能的实现方式，整合处理模块240在执行基于多个同步音视频、音视频整合类型进行整合处理，得到一个音视频整合数据时，用于：
当音视频整合类型为轮播整合时，获取轮播整合方案，其中，轮播整合方案包括：多个同步音视频的播放顺序、每一同步音视频的播放时间、是否为交替播放、播放显示状态；
基于多个同步音视频的数量，利用第三数量布局关系确定轮播整合布局；
基于多个同步音视频、轮播整合方案和轮播整合布局进行整合处理，得到一个音视频整合数据。
本申请实施例的一种可能的实现方式，音视频整合数据是基于多个同步音视频构成的，
多路音视频整合装置200，还包括：
同步播放进度模块，用于当检测到播放行为指令后，则基于播放行为指令确定音视频整合数据中每一同步音视频的播放状态，其中，播放状态包括：暂停和进行；
基于每一同步音视频的播放状态进行音视频整合数据的播放控制；
若目标同步音视频的播放状态由暂停更改为进行，则基于在预设时段内播放状态均为进行的同步音视频确定目标同步音视频的播放进度，以使得音视频整合数据中每一同步音视频播放进度相同。
本申请实施例的一种可能的实现方式，整合处理模块240在执行当音视频整合类型为多角度同步播放整合时，为每一同步音视频进行编号，得到每一同步音视频的编号时，用于：
当音视频整合类型为多角度同步播放整合时，基于所有同步音视频各自对应的视频图像，对任意两个视频图像进行视频相似度匹配，得到所有视频相似度；
基于所有视频相似度，对所有同步音视频进行去重处理，得到去重后的同步音视频；
基于去重后的同步音视频进行编号，得到每一去重后的同步音视频的编号；
相应的，整合处理模块240在执行基于多个同步音视频的数量和每一同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，多角度整合布局包括多个布局编号，每一同步音视频的编号与多个布局编号具有对应关系时，用于：
基于去重后的同步音视频的数量和每一去重后的同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，多角度整合布局包括多个布局编号，每一去重后的同步音视频的编号与多个布局编号具有对应关系；
相应的，整合处理模块240在执行基于多个同步音视频各自对应的音频数据进行去噪声处理，得到整合音频数据时，用于：
基于每一去重后的同步音视频对应的音频数据进行去噪声处理，得到整合音频数据；
相应的，整合处理模块240在执行基于多角度整合布局、多个同步音视频、每一同步音视频的编号和整合音频数据进行整合处理，得到一个音视频整合数据时，用于：
基于多角度整合布局、每一去重后的同步音视频、每一去重后的同步音视频的编号和整合音频数据进行整合处理，得到一个音视频整合数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的一种多路音视频整合装置200的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例中提供了一种电子设备，如图3所示，图3所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一型的总线。
存储器303可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图3示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术相比，本申请实施例，基于多路音视频数据和每一路音视频数据对应的播放权重，确定音视频整合类型，能够较为精准的基于多路音视频的特点确定匹配度高的整合方式，然后，基于多路音视频数据进行同步处理，以避免多路音视频数据在传输时由于延时而导致多路音视频数据的播放进度不一致，进而，基于多个同步音视频和音视频整合类型进行整合处理，并在显示界面上播放音视频整合数据。通过这种方式，在确定音视频整合类型时，综合考虑了多路音视频的特点，且提高了多路音视频与音视频整合类型的匹配度。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种多路音视频整合方法，其特征在于，包括：
获取多路音视频数据和每一路音视频数据对应的播放权重；
基于所述多路音视频数据和所述每一路音视频数据对应的播放权重，确定音视频整合类型，其中，所述音视频整合类型包括：主从视频整合、多角度同步播放整合、轮播整合；
基于所述多路音视频数据进行同步处理，得到多个同步音视频，其中，所述同步处理用于同步每一路音视频数据的播放进度；
基于所述多个同步音视频、所述音视频整合类型进行整合处理，得到一个音视频整合数据，并在显示界面上播放所述音视频整合数据。
2.根据权利要求1所述的多路音视频整合方法，其特征在于，所述基于所述多路音视频数据和所述每一路音视频数据对应的播放权重，确定音视频整合类型，包括：
基于所述每一路音视频数据对应的播放权重，判断所有所述播放权重中是否存在任意两个播放权重不同；
若存在任意两个播放权重不同，则确定音视频整合类型为主从视频整合；
若任意两个播放权重均相同，则基于所有音视频数据的音频数据对任意两个所述音频数据进行音频相似度匹配，得到多个音频相似度；
若所有音频相似度均高于音频相似度阈值，则确定音视频整合类型为多角度同步播放整合；
若存在任一音频相似度不高于所述音频相似度阈值，则确定音视频整合类型为轮播整合。
3.根据权利要求1所述的多路音视频整合方法，其特征在于，所述基于所述多个同步音视频、所述音视频整合类型进行整合处理，得到一个音视频整合数据，包括：
当所述音视频整合类型为所述主从视频整合时，从所述多个同步音视频中确定一个主音视频，并将其余所述同步音视频确定为从音视频；
将所述主音视频的音量调至第一阈值，并将所有所述从音视频的音量调至第二阈值，其中，所述第一阈值高于第二阈值；
基于所有同步音视频的数量，利用第一数量布局关系确定主从整合布局；
基于所述主从整合布局，对调整音量后的主音视频和所有调整音量后的从音视频进行整合处理，得到一个音视频整合数据。
4.根据权利要求1所述的多路音视频整合方法，其特征在于，所述基于所述多个同步音视频、所述音视频整合类型进行整合处理，得到一个音视频整合数据，包括：
当所述音视频整合类型为所述多角度同步播放整合时，为每一同步音视频进行编号，得到每一同步音视频的编号；
基于所述多个同步音视频的数量和所述每一同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，所述多角度整合布局包括多个布局编号，每一同步音视频的编号与多个布局编号具有对应关系；
基于所述多个同步音视频各自对应的音频数据进行去噪声处理，得到整合音频数据；
基于所述多角度整合布局、所述多个同步音视频、所述每一同步音视频的编号和所述整合音频数据进行整合处理，得到一个音视频整合数据。
5.根据权利要求4所述的多路音视频整合方法，其特征在于，所述当所述音视频整合类型为所述多角度同步播放整合时，为每一同步音视频进行编号，得到每一同步音视频的编号，包括：
当所述音视频整合类型为所述多角度同步播放整合时，基于所有同步音视频各自对应的视频图像，对任意两个所述视频图像进行视频相似度匹配，得到所有视频相似度；
基于所述所有视频相似度，对所有同步音视频进行去重处理，得到去重后的同步音视频；
基于所述去重后的同步音视频进行编号，得到每一去重后的同步音视频的编号；
相应的，基于所述多个同步音视频的数量和所述每一同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，所述多角度整合布局包括多个布局编号，每一同步音视频的编号与多个布局编号具有对应关系，包括：
基于所述去重后的同步音视频的数量和所述每一去重后的同步音视频的编号，利用第二数量布局关系确定多角度整合布局，其中，所述多角度整合布局包括多个布局编号，每一去重后的同步音视频的编号与多个布局编号具有对应关系；
相应的，所述基于所述多个同步音视频各自对应的音频数据进行去噪声处理，得到整合音频数据，包括：
基于所述每一去重后的同步音视频对应的音频数据进行去噪声处理，得到整合音频数据；
相应的，所述基于所述多角度整合布局、所述多个同步音视频、所述每一同步音视频的编号和所述整合音频数据进行整合处理，得到一个音视频整合数据，包括：
基于所述多角度整合布局、所述每一去重后的同步音视频、所述每一去重后的同步音视频的编号和所述整合音频数据进行整合处理，得到一个音视频整合数据。
6.根据权利要求1所述的多路音视频整合方法，其特征在于，所述基于所述多个同步音视频、所述音视频整合类型进行整合处理，得到一个音视频整合数据，包括：
当所述音视频整合类型为所述轮播整合时，获取轮播整合方案，其中，所述轮播整合方案包括：所述多个同步音视频的播放顺序、每一所述同步音视频的播放时间、是否为交替播放、播放显示状态；
基于所述多个同步音视频的数量，利用第三数量布局关系确定轮播整合布局；
基于所述多个同步音视频、所述轮播整合方案和所述轮播整合布局进行整合处理，得到一个音视频整合数据。
7.根据权利要求1至6任意一项所述的多路音视频整合方法，其特征在于，所述音视频整合数据是基于多个同步音视频构成的，
所述在显示界面上播放所述音视频整合数据之后，还包括：
当检测到播放行为指令后，则基于所述播放行为指令确定所述音视频整合数据中每一同步音视频的播放状态，其中，所述播放状态包括：暂停和进行；
基于所述每一同步音视频的播放状态进行音视频整合数据的播放控制；
若目标同步音视频的所述播放状态由暂停更改为进行，则基于在预设时段内所述播放状态均为进行的同步音视频确定目标同步音视频的播放进度，以使得音视频整合数据中每一同步音视频播放进度相同。
8.一种多路音视频整合装置，其特征在于，包括：
获取权重模块，用于获取多路音视频数据和每一路音视频数据对应的播放权重；
整合类型确定模块，用于基于所述多路音视频数据和所述每一路音视频数据对应的播放权重，确定音视频整合类型，其中，所述音视频整合类型包括：主从视频整合、多角度同步播放整合、轮播整合；
同步处理模块，用于基于所述多路音视频数据进行同步处理，得到多个同步音视频，其中，所述同步处理用于同步每一路音视频数据的播放进度；
整合处理模块，用于基于所述多个同步音视频、所述音视频整合类型进行整合处理，得到一个音视频整合数据，并在显示界面上播放所述音视频整合数据。
9.一种电子设备，其特征在于，包括：
至少一个处理器；
存储器；
至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行权利要求1～7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211639985.3A CN116033228A (zh) | 2022-12-20 | 2022-12-20 | 一种多路音视频整合方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211639985.3A CN116033228A (zh) | 2022-12-20 | 2022-12-20 | 一种多路音视频整合方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116033228A true CN116033228A (zh) | 2023-04-28 |
Family
ID=86077064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211639985.3A Pending CN116033228A (zh) | 2022-12-20 | 2022-12-20 | 一种多路音视频整合方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116033228A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020057382A1 (en) * | 2000-08-31 | 2002-05-16 | Hideaki Yui | Television signal reception apparatus |
| US20050134900A1 (en) * | 2003-09-09 | 2005-06-23 | Naoki Kuwata | Output image data generating device & method of generating output image data |
| CN1960492A (zh) * | 2006-09-30 | 2007-05-09 | 中兴通讯股份有限公司 | 一种移动多媒体广播视频处理方法 |
| US20160173823A1 (en) * | 2014-12-10 | 2016-06-16 | Polycom, Inc. | Automated layouts optimized for multi-screen and multi-camera videoconferencing calls |
| JP2017017441A (ja) * | 2015-06-29 | 2017-01-19 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
| WO2017177524A1 (zh) * | 2016-04-11 | 2017-10-19 | 深圳Tcl新技术有限公司 | 音视频同步播放的方法及装置 |
| US20200099889A1 (en) * | 2018-09-25 | 2020-03-26 | Kyocera Document Solutions Inc. | Video conferencing apparatus and video conferencing method |
| CN212909765U (zh) * | 2020-07-30 | 2021-04-06 | 深圳市东明炬创电子有限公司 | 一种多视图的4k无缝演示切换器 |
-
2022
- 2022-12-20 CN CN202211639985.3A patent/CN116033228A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020057382A1 (en) * | 2000-08-31 | 2002-05-16 | Hideaki Yui | Television signal reception apparatus |
| US20050134900A1 (en) * | 2003-09-09 | 2005-06-23 | Naoki Kuwata | Output image data generating device & method of generating output image data |
| CN1960492A (zh) * | 2006-09-30 | 2007-05-09 | 中兴通讯股份有限公司 | 一种移动多媒体广播视频处理方法 |
| US20160173823A1 (en) * | 2014-12-10 | 2016-06-16 | Polycom, Inc. | Automated layouts optimized for multi-screen and multi-camera videoconferencing calls |
| US20170150099A1 (en) * | 2014-12-10 | 2017-05-25 | Polycom, Inc. | Automated layouts optimized for multi-screen and multi-camera videoconferencing calls |
| JP2017017441A (ja) * | 2015-06-29 | 2017-01-19 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
| WO2017177524A1 (zh) * | 2016-04-11 | 2017-10-19 | 深圳Tcl新技术有限公司 | 音视频同步播放的方法及装置 |
| US20200099889A1 (en) * | 2018-09-25 | 2020-03-26 | Kyocera Document Solutions Inc. | Video conferencing apparatus and video conferencing method |
| CN212909765U (zh) * | 2020-07-30 | 2021-04-06 | 深圳市东明炬创电子有限公司 | 一种多视图的4k无缝演示切换器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017193576A1 (zh) | 一种视频分辨率的适应方法、装置及虚拟现实终端 | |
| JP2009111972A (ja) | 時間ベースのメタデータを用いた動的なメディアのインタラクション | |
| US10798363B2 (en) | Video file processing method and apparatus | |
| US10721545B2 (en) | Method and device for combining videos | |
| WO2017181597A1 (zh) | 视频播放方法及装置 | |
| CN113055624B (zh) | 课程回放的方法、服务器、客户端及电子设备 | |
| US11363088B1 (en) | Methods and apparatus for receiving virtual relocation during a network conference | |
| US20170195384A1 (en) | Video Playing Method and Electronic Device | |
| CN111436005A (zh) | 用于显示图像的方法和装置 | |
| WO2018205643A1 (zh) | Vr多媒体的体验质量确定方法及装置 | |
| WO2019114330A1 (zh) | 一种视频播放方法、装置和终端设备 | |
| US11076121B2 (en) | Apparatus and associated methods for video presentation | |
| US11405226B1 (en) | Methods and apparatus for assessing network presence | |
| US20170161928A1 (en) | Method and Electronic Device for Displaying Virtual Device Image | |
| WO2018000620A1 (zh) | 一种数据展示方法及装置、虚拟现实设备与播放控制器 | |
| CN111541927A (zh) | 一种视频播放方法及装置 | |
| CN114584821A (zh) | 视频处理方法及装置 | |
| US11825170B2 (en) | Apparatus and associated methods for presentation of comments | |
| CN109076251B (zh) | 远程会议传输 | |
| CN106057222B (zh) | 一种多媒体文件的播放方法及电子设备 | |
| CN112929728A (zh) | 一种视频渲染方法、装置、系统、电子设备及存储介质 | |
| EP2942949A1 (en) | System for providing complex-dimensional content service using complex 2d-3d content file, method for providing said service, and complex-dimensional content file therefor | |
| US11317127B2 (en) | Intelligent download of content | |
| CN116033228A (zh) | 一种多路音视频整合方法、装置、设备和介质 | |
| KR102372181B1 (ko) | 전자 장치 및 그의 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |