CN113436161A - 即时通信视频的处理方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种即时通信视频的处理方法、装置和电子设备，获取即时通信下当前指定时间段内的多路待混流视频；基于混流参数对多路待混流视频进行混流处理，得到一路混流视频；对多路待混流视频和混流视频进行质量评价，得到第一评价结果和第二评价结果；基于第一评价结果和第二评价结果，调整对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理的混流参数。该方式能够对混流前后的视频进行准确地质量评价；同时本发明通过即时通信视频的质量评价结果自适应调整混流参数，提高了即时通信视频的质量。

Description

即时通信视频的处理方法、装置和电子设备

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种即时通信视频的处理方法、装置和电子设备。

背景技术

随着直播连麦、实时通信等相关技术的发展，RTC(Real-Time Communication，即时通信)场景应用呈现爆炸式增长，比如直播带货、云游戏、直播教学等。在进行多人RTC通话过程中，通常需要在高性能服务器上对即时通信视频进行混流转码(混流转码是指将多路音视频进行预处理、编码处理后，合并为一路音视频的操作)，且混流转码后的视频质量直接关系到接收方接收的视频质量，因此对混流前后的视频进行质量监控成为保证RTC高质量视频通话的关键环节。

相关技术中，通常采用PSNR(Peak Signal to Noise Ratio，峰值信噪比)、SSIM(Structural Similarity，结构相似性)等客观指标对混流前后的视频进行质量评价，通过计算混流转码前后的视频的全参考指标，对混流转码进行监控。但是，上述全参考质量评价算法适用于高清视频，而RTC通话中，视频质量通常不高；而且在混流转码过程中，会对每一路视频进行视频预处理操作，而上述全参考质量评价算法难以对经过预处理、编码等复杂操作的视频进行准确预测；因而，上述全参考质量评价算法难以准确预测RTC通话的视频质量，从而难以对RTC通话视频进行准确的质量监控。

发明内容

本发明的目的在于提供一种即时通信视频的处理方法、装置和电子设备，以提高即时通信的视频质量评价，从而对即时通信视频进行准确的质量监控。

第一方面，本发明提供了一种即时通信视频的处理方法，该方法包括：获取即时通信下当前指定时间段内的多路待混流视频；基于混流参数，对多路待混流视频进行混流处理，得到一路混流视频；对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果；基于第一评价结果和第二评价结果，调整混流参数，以通过调整后的混流参数对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。

在可选的实施方式中，上述对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果的步骤，包括：针对多路待混流视频中每路待混流视频，通过预先训练完成的无参考视频质量评价模型或无参考图像质量评价模型，对当前待混流视频进行质量评价，得到当前待混流视频的质量评价结果；组合每路待混流视频的质量评价结果，得到第一评价结果；采用无参考质量评价的方式，对混流视频进行质量评价，得到混流视频的第二评价结果。

在可选的实施方式中，上述通过预先训练完成的无参考视频质量评价模型，对当前待混流视频进行质量评价，得到当前待混流视频的质量评价结果的步骤，包括：从当前待混流视频中抽取多帧视频，将多帧视频输入至无参考视频质量评价模型中，得到当前待混流视频的质量评价结果。

在可选的实施方式中，上述通过预先训练完成的无参考图像质量评价模型，对当前待混流视频进行质量评价，得到当前待混流视频的质量评价结果的步骤，包括：从当前待混流视频中抽取多个视频帧图像；将每个视频帧图像依次输入至无参考图像质量评价模型中，得到每个视频帧图像对应的质量评价结果；计算每个视频帧图像对应的质量评价结果的平均值，将平均值作为当前待混流视频的质量评价结果。

在可选的实施方式中，上述采用无参考质量评价的方式，对混流视频进行质量评价，得到混流视频的第二评价结果的步骤，包括：通过无参考视频质量评价模型或无参考图像质量评价模型，对混流视频进行质量评价，得到混流视频的第二评价结果。

在可选的实施方式中，上述采用无参考质量评价的方式，对混流视频进行质量评价，得到混流视频的第二评价结果的步骤，包括：将混流视频切分为多路子视频；其中，一路子视频为多路待混流视频中的一路待混流视频进行混流处理后的结果；针对多路子视频中的每路子视频，通过无参考视频质量评价模型或无参考图像质量评价模型，对当前子视频进行质量评价，得到当前子视频的质量评价结果；计算每个子视频的质量评价结果的平均值或者最小值，将平均值或者最小值作为混流视频的第二评价结果。

在可选的实施方式中，上述基于第一评价结果和第二评价结果，调整混流参数的步骤之后，上述方法还包括：将当前指定时间段的下一个时间段作为新的当前指定时间段，将调整后的混流参数作为新的混流参数；继续执行获取即时通信下当前指定时间段内的多路待混流视频的步骤。

第二方面，本发明提供了一种即时通信视频的处理装置，该装置包括：视频获取模块，用于获取即时通信下当前指定时间段内的多路待混流视频；视频混流模块，用于基于混流参数，对多路待混流视频进行混流处理，得到一路混流视频；质量评价模块，用于对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果；参数调整模块，用于基于第一评价结果和第二评价结果，调整混流参数，以通过调整后的混流参数对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。

第三方面，本发明提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述即时通信视频的处理方法。

第四方面，本发明提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述即时通信视频的处理方法。

本发明实施例带来了以下有益效果：

本发明提供的一种即时通信视频的处理方法、装置和电子设备，首先获取即时通信下当前指定时间段内的多路待混流视频；进而基于混流参数，对多路待混流视频进行混流处理，得到一路混流视频；再对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果；然后基于第一评价结果和第二评价结果，调整混流参数，以通过调整后的混流参数对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。该方式能够对混流前后的视频进行准确地质量评价；同时，本发明通过即时通信视频的质量评价结果来自适应调整混流参数，从而有效提高了即时通信视频的播放质量。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种即时通信视频的处理方法的流程图；

图2为本发明实施例提供的另一种即时通信视频的处理方法的流程图；

图3为本发明实施例提供的一种即时通信视频的处理装置的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在进行多人RTC通话过程中，通常为降低直接在手机端进行混流处理造成的资源占用及实时性处理限制，会将混流处理放在高性能服务器上进行。混流转码后的视频质量直接关系到接收方接收的视频质量，因此对混流前后的视频进行质量监控成为保证RTC高质量视频通话的关键环节。

相关技术中，通常采用PSNR、SSIM等客观指标对混流前后的视频进行质量评价，通过计算混流转码前后的视频的全参考指标，对混流转码前后的视频进行监控。一方面，PSNR等全参考质量评价算法较适合原始视频为高清视频的情况，对于低清视频(RTC通话中视频质量通常不高)，其预测值并不能表示视频质量的变化；另一方面，在混流转码过程中，会对每一路视频进行视频预处理操作，而上述全参考评价算法难以对经过预处理、编码等复杂操作的视频进行准确预测，再者，混流后视频与原视频相比存在分辨率和帧率可能发生改变的情况，在进行PSNR等指标计算时必须对视频进行归一化处理，相比直接对视频进行无参考质量评价的复杂度和计算量更高。因而，上述全参考质量评价算法难以准确预测RTC通话的视频质量，从而难以对RTC通话视频进行准确的质量监控。

基于上述问题，本发明实施例提供了一种即时通信视频的处理方法、装置和电子设备，该技术可以应用于即时通信场景下的视频质量评价、视频质量监控等场景中。为便于对本实施例进行理解，首先对本发明实施例所公开的一种即时通信视频的处理方法进行详细介绍，如图1所示，该方法包括如下具体步骤：

步骤S102，获取即时通信下当前指定时间段内的多路待混流视频。

上述即时通信可以是直播带货场景、云游戏场景或者直播教学场景等。上述多路待混流视频是在即时通信场景中获取的当前时刻下的指定时间段内的视频数据；该指定时间段的时长可以根据用户需求设定，例如，可以设置为10秒或者30秒等。

步骤S104，基于混流参数，对多路待混流视频进行混流处理，得到一路混流视频。

当获取到多路待混流视频后，需要根据预先设置好的或者调整之后的混流参数对多路待混流视频进行混流处理，得到一路混流视频(该混流视频也可以称为混流处理后的视频)；其中，该混流参数通常包括视频增强参数、去噪参数、编码参数和解码参数等，也可以理解为混流处理的过程会对每路待混流视频进行视频增强、去噪和编解码处理等，从而得到一路混流视频。

步骤S106，对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果。

在具体实现时，可以采用无参考质量评价的方式对多路待混流视频进行质量评价，得到多路待混流视频对应的第一评价结果；再采用无参考质量评价的方式对混流视频进行质量评价，得到混流视频对应的第二评价结果。上述无参考质量评价的方式可以采用预先训练好的无参考质量评价模型或者传统的无参考质量评价方式等，其中，无参考质量评价模型可以选用神经网络模型或者深度学习模型等。

在一些实施例中，还可以采用有参考质量评价的方式分别对多路待混流视频和混流视频进行质量评价，得到多路待混流视频对应的第一评价结果和混流视频对应的第二评价结果。上述有参考质量评价的方式可以采用预先训练好的有参考质量评价模型或者传统的有参考质量评价方式等。

在具体实现时，上述第一评价结果和第二评价结果中均可以包含有清晰度、色彩、对比度、噪声和编码率等因素的评价分数。

步骤S108，基于第一评价结果和第二评价结果，调整混流参数，以通过调整后的混流参数对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。

根据当前指定时间段内多路待混流视频对应的第一评价结果和混流视频对应的第二评价结果，可以调整当前指定时间段的下一个指定时间段进行混流处理的混流参数，以使下一个指定时间段内的混流视频的质量更加好。例如，第一评价结果和第二评价结果中，噪声因素对应的评价分数较低，此时，可以调整混流参数中噪声处理参数，以尽量消除噪声对后续视频质量的影响。

在具体实现时，调整完混流参数后，通常需要继续获取即时通信下当前指定时间段的下一个指定时间段内的多路待混流视频，通过调整后的混流参数对下一个指定时间段内的多路待混流视频进行混流处理，并对混流前后的视频进行质量评价，根据评价结果来调整混流参数，不断重复上述步骤，可以使得即时通信下混流后的视频效果更佳，有利于提高用户体验。

本发明实施例提供的一种即时通信视频的处理方法，首先获取即时通信下当前指定时间段内的多路待混流视频；进而基于混流参数，对多路待混流视频进行混流处理，得到一路混流视频；再对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果；然后基于第一评价结果和第二评价结果，调整混流参数，以通过调整后的混流参数对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。该方式能够对混流前后的视频进行准确地质量评价；同时，本发明通过即时通信视频的质量评价结果来自适应调整混流参数，从而有效提高了即时通信视频的播放质量。

本发明实施例还提供了另一种即时通信视频的处理方法，该方法在上述实施例方法的基础上实现；该方法重点描述对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果的具体过程(通过下述步骤S206-S210实现)，如图2所示，该方法包括如下具体步骤：

步骤S202，获取即时通信下当前指定时间段内的多路待混流视频。

步骤S204，基于混流参数，对多路待混流视频进行混流处理，得到一路混流视频。

步骤S206，针对多路待混流视频中每路待混流视频，通过预先训练完成的无参考视频质量评价模型或无参考图像质量评价模型，对当前待混流视频进行质量评价，得到当前待混流视频的质量评价结果。

在具体实现时，可以采用预先训练好的无参考视频质量评价模型或者预先训练好的无参考图像质量评价模型，对多路待混流视频中的每路待混流视频进行质量评价，并得到每路待混流视频的质量评价结果。

具体地，无参考视频质量评价模型由预先通过视频质量标注数据进行训练得到，即将视频和对应标注的主观质量分数值输入到无参考视频质量评价模型的初始模型中，由初始模型自主学习视频质量到标注的分数值之间的映射，视频主观质量标注涉及到视频的清晰度、色彩、对比度、噪声等因素。同样地，无参考图像质量评价模型由预先通过图像质量标注数据进行训练得到，即将图像和对应标注的主观质量分数值输入到无参考图像质量评价模型的初始模型中，由初始模型自主学习图像质量到标注的分数值之间的映射，得到训练完成的无参考图像质量评价模型。

在一些实施例中，如果采用无参考视频质量评价模型对多路待混流视频中的每路待混流视频进行质量评价，需要从当前待混流视频中抽取多帧视频，将多帧视频输入至无参考视频质量评价模型中，得到当前待混流视频的质量评价结果。具体从当前待混流视频中抽取的多帧视频的帧数可以由模型自身的需求确定。

在一些实施例中，如果采用无参考图像质量评价模型对多路待混流视频中的每路待混流视频进行质量评价，需要从当前待混流视频中抽取多个视频帧图像；将每个视频帧图像依次输入至无参考图像质量评价模型中，得到每个视频帧图像对应的质量评价结果；计算每个视频帧图像对应的质量评价结果的平均值，将该平均值作为当前待混流视频的质量评价结果。具体从当前待混流视频中抽取的多个视频帧图像的数量可以由用户需求确定，在此不做具体限定。

步骤S208，组合每路待混流视频的质量评价结果，得到第一评价结果。

在具体实现时，可以将多个待混流视频中每路待混流视频的质量评价结果的平均值、加权后的均值或者最小值等，作为第一评价结果；也可以将多个待混流视频中每路待混流视频的质量评价结果，均作为第一评价结果，以根据该第一评价结果调整每路待混流视频对应的混流视频的混流参数。

步骤S210，采用无参考质量评价的方式，对混流视频进行质量评价，得到混流视频的第二评价结果。

在具体实现时，上述对混流视频进行质量评价的方式可以采用与对待混流视频进行质量评价相同的方式，也可以采用不同的方式。

在一些实施例中，可以通过无参考视频质量评价模型或无参考图像质量评价模型，对混流视频进行质量评价，得到混流视频的第二评价结果。具体实现方式可以参考上述步骤S206，在此不再赘述。

在一些实施例中，还可以通过下述步骤10-12实现上述步骤S210：

步骤10，将混流视频切分为多路子视频；其中，一路子视频为多路待混流视频中的一路待混流视频进行混流处理后的结果。

在具体实现时，可以按照多路待混流视频混流处理后，拼接为一路混流视频的拼接线，将一路混流视频切分为多路子视频，以使每路子视频都为多路待混流视频进行混流处理之后的视频。具体地，由于混流处理阶段会进行时间戳、分辨率、帧率的对齐，因此，子视频相比对应的混流前的视频可能存在分辨率、帧率不一样的情况。

步骤11，针对多路子视频中的每路子视频，通过无参考视频质量评价模型或无参考图像质量评价模型，对当前子视频进行质量评价，得到当前子视频的质量评价结果。

步骤12，计算每个子视频的质量评价结果的平均值或者最小值，将该平均值或者最小值作为混流视频的第二评价结果。

步骤S212，基于第一评价结果和第二评价结果，调整混流参数，以通过调整后的混流参数对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。

在具体实现时，可以基于当前指定时间段内的混流前后的视频的质量评价结果对接下来的视频流的编码及视频处理的参数进行调整(相当于对当前指定时间段的下一个指定时间段进行混流处理的混流参数进行调整)。由于混流后的视频质量(相当于上述混流视频对应的第二评价结果)取决于每个混流后子视频的最差质量，因此在调整混流参数时可以按照从质量最差向质量最好的子视频的方向进行强度逐渐递减的顺序调整。

步骤S214，将当前指定时间段的下一个时间段作为新的当前指定时间段，将调整后的混流参数作为新的混流参数。

步骤S216，判断上述即时通信是否结束或者混流视频的质量评价结果是否满足预设要求，如果是，结束；否则，执行步骤S202。

在具体实现时，调整完混流参数后，通常需要继续获取即时通信下当前指定时间段的下一个指定时间段内的多路待混流视频，通过调整后的混流参数对下一个指定时间段内的多路待混流视频进行混流处理，并对混流前后的视频进行质量评价，根据评价结果来调整混流参数，直到即时通信结束或者混流视频的质量评价结果满足预设要求为止。该预设要求可以根据用户需求进行确定，在此不做具体限定。

上述即时通信视频的处理方法，该方式使用无参考质量评价方式对混流前后的视频进行质量评价，相比相关技术中提供的PSNR等全参考质量方式复杂度更低、接入方便；另外，对于即时通信场景中大量非高清视频，无参考评价方式的准确度更高。同时，该方式能够对混流前后的视频进行质量评价和质量监控，并根据质量监控结果来自适应调整视频预处理和转码策略，从而提高了即时通信视频的播放质量。

针对于上述即时通信视频的处理方法的实施例，本发明实施例提供了一种即时通信视频的处理装置，如图3所示，该装置包括：

视频获取模块30，用于获取即时通信下当前指定时间段内的多路待混流视频。

视频混流模块31，用于基于混流参数，对多路待混流视频进行混流处理，得到一路混流视频。

质量评价模块32，用于对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果。

参数调整模块33，用于基于第一评价结果和第二评价结果，调整混流参数，以通过调整后的混流参数对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。

上述即时通信视频的处理装置，首先获取即时通信下当前指定时间段内的多路待混流视频；进而基于混流参数，对多路待混流视频进行混流处理，得到一路混流视频；再对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果；然后基于第一评价结果和第二评价结果，调整混流参数，以通过调整后的混流参数对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。该方式能够对混流前后的视频进行准确地质量评价；同时，本发明通过即时通信视频的质量评价结果来自适应调整混流参数，从而有效提高了即时通信视频的播放质量。

进一步地，上述质量评价模块32，包括：第一评价模块，用于针对多路待混流视频中每路待混流视频，通过预先训练完成的无参考视频质量评价模型或无参考图像质量评价模型，对当前待混流视频进行质量评价，得到当前待混流视频的质量评价结果；结果组合模块，用于组合每路待混流视频的质量评价结果，得到第一评价结果；第二评价模块，用于采用无参考质量评价的方式，对混流视频进行质量评价，得到混流视频的第二评价结果。

具体地，上述第一评价模块，还用于：从当前待混流视频中抽取多帧视频，将多帧视频输入至无参考视频质量评价模型中，得到当前待混流视频的质量评价结果。

具体地，上述第一评价模块，还用于：从当前待混流视频中抽取多个视频帧图像；将每个视频帧图像依次输入至无参考图像质量评价模型中，得到每个视频帧图像对应的质量评价结果；计算每个视频帧图像对应的质量评价结果的平均值，将平均值作为当前待混流视频的质量评价结果。

进一步地，上述第二评价模块，用于：通过无参考视频质量评价模型或无参考图像质量评价模型，对混流视频进行质量评价，得到混流视频的第二评价结果。

在一些实施例中，上述第二评价模块，还用于：将混流视频切分为多路子视频；其中，一路子视频为多路待混流视频中的一路待混流视频进行混流处理后的结果；针对多路子视频中的每路子视频，通过无参考视频质量评价模型或无参考图像质量评价模型，对当前子视频进行质量评价，得到当前子视频的质量评价结果；计算每个子视频的质量评价结果的平均值或者最小值，将平均值或者最小值作为混流视频的第二评价结果。

在具体实现时，上述装置还包括循环模块，用于：在基于第一评价结果和第二评价结果，调整混流参数之后，将当前指定时间段的下一个时间段作为新的当前指定时间段，将调整后的混流参数作为新的混流参数；继续执行获取即时通信下当前指定时间段内的多路待混流视频的步骤。

本发明实施例所提供的即时通信视频的处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种电子设备，如图4所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述即时通信视频的处理方法。

其中，存储器100可能包含高速随机存取存储器(RAM，RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述即时通信视频的处理方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种即时通信视频的处理方法，其特征在于，所述方法包括：

获取即时通信下当前指定时间段内的多路待混流视频；

基于混流参数，对所述多路待混流视频进行混流处理，得到一路混流视频；

对所述多路待混流视频进行质量评价得到第一评价结果，对所述混流视频进行质量评价得到第二评价结果；

基于所述第一评价结果和所述第二评价结果，调整所述混流参数，以通过调整后的混流参数对所述当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。

2.根据权利要求1所述的方法，其特征在于，所述对所述多路待混流视频进行质量评价得到第一评价结果，对所述混流视频进行质量评价得到第二评价结果的步骤，包括：

针对所述多路待混流视频中每路待混流视频，通过预先训练完成的无参考视频质量评价模型或无参考图像质量评价模型，对当前待混流视频进行质量评价，得到所述当前待混流视频的质量评价结果；

组合每路所述待混流视频的质量评价结果，得到第一评价结果；

采用无参考质量评价的方式，对混流视频进行质量评价，得到所述混流视频的第二评价结果。

3.根据权利要求2所述的方法，其特征在于，通过预先训练完成的无参考视频质量评价模型，对当前待混流视频进行质量评价，得到所述当前待混流视频的质量评价结果的步骤，包括：

从所述当前待混流视频中抽取多帧视频，将所述多帧视频输入至所述无参考视频质量评价模型中，得到所述当前待混流视频的质量评价结果。

4.根据权利要求2所述的方法，其特征在于，通过预先训练完成的无参考图像质量评价模型，对当前待混流视频进行质量评价，得到所述当前待混流视频的质量评价结果的步骤，包括：

从所述当前待混流视频中抽取多个视频帧图像；

将每个所述视频帧图像依次输入至所述无参考图像质量评价模型中，得到每个所述视频帧图像对应的质量评价结果；

计算每个所述视频帧图像对应的质量评价结果的平均值，将所述平均值作为所述当前待混流视频的质量评价结果。

5.根据权利要求2所述的方法，其特征在于，所述采用无参考质量评价的方式，对混流视频进行质量评价，得到所述混流视频的第二评价结果的步骤，包括：

通过所述无参考视频质量评价模型或所述无参考图像质量评价模型，对所述混流视频进行质量评价，得到所述混流视频的第二评价结果。

6.根据权利要求2所述的方法，其特征在于，所述采用无参考质量评价的方式，对混流视频进行质量评价，得到所述混流视频的第二评价结果的步骤，包括：

将所述混流视频切分为多路子视频；其中，一路所述子视频为所述多路待混流视频中的一路所述待混流视频进行混流处理后的结果；

针对所述多路子视频中的每路所述子视频，通过所述无参考视频质量评价模型或所述无参考图像质量评价模型，对当前子视频进行质量评价，得到所述当前子视频的质量评价结果；

计算每个所述子视频的质量评价结果的平均值或者最小值，将所述平均值或者所述最小值作为所述混流视频的第二评价结果。

7.根据权利要求1所述的方法，其特征在于，所述基于所述第一评价结果和所述第二评价结果，调整所述混流参数的步骤之后，所述方法还包括：

将所述当前指定时间段的下一个时间段作为新的当前指定时间段，将调整后的混流参数作为新的混流参数；继续执行获取即时通信下当前指定时间段内的多路待混流视频的步骤。

8.一种即时通信视频的处理装置，其特征在于，所述装置包括：

视频获取模块，用于获取即时通信下当前指定时间段内的多路待混流视频；

视频混流模块，用于基于混流参数，对所述多路待混流视频进行混流处理，得到一路混流视频；

质量评价模块，用于对所述多路待混流视频进行质量评价得到第一评价结果，对所述混流视频进行质量评价得到第二评价结果；

参数调整模块，用于基于所述第一评价结果和所述第二评价结果，调整所述混流参数，以通过调整后的混流参数对所述当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至7任一项所述的即时通信视频的处理方法。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至7任一项所述的即时通信视频的处理方法。

Images