CN117411990A - 视频通话处理方法、装置、存储介质及电子设备 - Google Patents
视频通话处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117411990A CN117411990A CN202310084131.1A CN202310084131A CN117411990A CN 117411990 A CN117411990 A CN 117411990A CN 202310084131 A CN202310084131 A CN 202310084131A CN 117411990 A CN117411990 A CN 117411990A
- Authority
- CN
- China
- Prior art keywords
- data packet
- preset
- video call
- video quality
- processing parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 189
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000005856 abnormality Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000903 blocking effect Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种视频通话处理方法、装置、存储介质及电子设备，涉及通信技术领域，该方法包括：在视频通话过程中，对发送原始视频通话数据包的网络进行网络环境分级，得到网络环境等级；获取网络环境等级所对应的数据包处理参数及预设视频质量阈值；根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，并统计所述处理后数据包对应的实际视频质量数值；根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，所述调整后的数据包处理参数用于对后续接收到的原始视频通话数据包进行处理。本申请可以有效提升视频通话数据包处理可靠性，提升视频通话效果。
Description
技术领域
本申请涉及通信技术领域，具体涉及一种视频通话处理方法、装置、存储介质及电子设备。
背景技术
在视频通话过程中，通常存在由于网络环境异常，网络发送过来的原始视频通话数据包是完整的，但是终端接收到的原始视频通话数据包是乱序的，如果终端不对接收到的原始视频通话数据包进行适当的处理，将导致很多原始视频通话数据包因为乱序被丢弃，进而引起视频画面卡顿、不清晰等问题。
目前，通常的处理方式为根据预定的固定数据包处理参数对接收到的原始视频通话数据包进行适当的处理，目前的方式下，以预定的固定数据包处理参数，难以有效应对不同网络环境导致的数据包异常，导致视频通话数据包处理可靠性较差，导致视频通话效果较差。
发明内容
本申请实施例提供一种方案，可以有效提升视频通话数据包处理可靠性，提升视频通话效果。
本申请实施例提供以下技术方案：
根据本申请的一个实施例，一种视频通话处理方法，其包括：在视频通话过程中，对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级；获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值；根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，并统计所述处理后数据包对应的实际视频质量数值；根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，所述调整后的数据包处理参数用于对后续接收到的原始视频通话数据包进行处理。
在本申请的一些实施例中，所述对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级，包括：监听网络发送过来的原始视频通话数据包的抖动和延时中至少一种，根据所述抖动和延时中至少一种，得到所述网络的网络环境等级。
在本申请的一些实施例中，所述根据所述抖动和延时中至少一种，得到所述网络的网络环境等级，包括：获取所述抖动和所述延时所对应的预定范围；将所述预定范围对应的环境等级，确定为所述网络对应的网络环境等级。
在本申请的一些实施例中，所述获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值，包括：获取所述网络环境等级对应的时间窗口及序列号间隔中至少一种，作为所述数据包处理参数，所述时间窗口为对接收到的原始视频通话数据包重新排序处理的时长，所述序列号间隔为时间窗口内丢弃的原始视频通话数据包的序列号之间的最小间隔；获取所述网络环境等级对应的预设丢包率和预设卡顿率中至少一种，作为所述预设视频质量阈值。
在本申请的一些实施例中，在所述根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整参数之后，所述方法还包括：按照预定步长，对数据包处理参数进行调整，直至所述实际视频质量数值与所述预设视频质量阈值的差值小于预定阈值或达到预定调整次数，其中，每次对数据包处理参数进行调整包括：根据前一次调整得到的数据包处理参数对接收到的原始视频通话数据包进行处理，得到当次的处理后数据包，并统计当次的处理后数据包对应的当次实际视频质量数值；根据当次实际视频质量数值与所述预设视频质量阈值，对前一次调整得到的数据包处理参数进行调整得到当次调整后的数据包处理参数。
在本申请的一些实施例中，所述数据包处理参数包括时间窗口及序列号间隔；所述根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，包括：在所述时间窗口内对接收到的原始视频通话数据包按照序列号进行排序，并将序列号相差间隔大于所述序列号间隔的原始视频通话数据包丢弃，得到处理后数据包。
在本申请的一些实施例中，所述预设视频质量阈值包括预设丢包率和预设卡顿率中至少一种，所述实际视频质量数值包括实际丢包率和实际卡顿率中至少一种，所述数据包处理参数包括时间窗口及序列号间隔中至少一种；所述根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，包括：若丢包率异常或卡顿率异常中至少一种发生，则将所述时间窗口及序列号间隔中至少一种调大，得到调大后的时间窗口及调大后的序列号间隔中至少一种，其中，所述丢包率异常为所述实际丢包率大于所述预设丢包率，所述卡顿率异常为所述实际卡顿率大于所述预设卡顿率。
根据本申请的一个实施例，一种视频通话处理装置，所述装置包括：分级单元，用于在视频通话过程中，对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级；获取单元，用于获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值；处理单元，用于根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，并统计所述处理后数据包对应的实际视频质量数值；调整单元，用于根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，所述调整后的数据包处理参数用于对后续接收到的原始视频通话数据包进行处理。
在本申请的一些实施例中，所述分级单元，用于：监听网络发送过来的原始视频通话数据包的抖动和延时中至少一种，根据所述抖动和延时中至少一种，得到所述网络的网络环境等级。
在本申请的一些实施例中，所述分级单元，用于：获取所述抖动和所述延时所对应的预定范围；将所述预定范围对应的环境等级，确定为所述网络对应的网络环境等级。
在本申请的一些实施例中，所述获取单元，用于：获取所述网络环境等级对应的时间窗口及序列号间隔中至少一种，作为所述数据包处理参数，所述时间窗口为对接收到的原始视频通话数据包重新排序处理的时长，所述序列号间隔为时间窗口内丢弃的原始视频通话数据包的序列号之间的最小间隔；获取所述网络环境等级对应的预设丢包率和预设卡顿率中至少一种，作为所述预设视频质量阈值。
在本申请的一些实施例中，所述装置还包括循环调整单元，由于：按照预定步长，对数据包处理参数进行调整，直至所述实际视频质量数值与所述预设视频质量阈值的差值小于预定阈值或达到预定调整次数，其中，每次对数据包处理参数进行调整包括：根据前一次调整得到的数据包处理参数对接收到的原始视频通话数据包进行处理，得到当次的处理后数据包，并统计当次的处理后数据包对应的当次实际视频质量数值；根据当次实际视频质量数值与所述预设视频质量阈值，对前一次调整得到的数据包处理参数进行调整得到当次调整后的数据包处理参数。
在本申请的一些实施例中，所述数据包处理参数包括时间窗口及序列号间隔；所述处理单元，用于：在所述时间窗口内对接收到的原始视频通话数据包按照序列号进行排序，并将序列号相差间隔大于所述序列号间隔的原始视频通话数据包丢弃，得到处理后数据包。
在本申请的一些实施例中，所述预设视频质量阈值包括预设丢包率和预设卡顿率中至少一种，所述实际视频质量数值包括实际丢包率和实际卡顿率中至少一种，所述数据包处理参数包括时间窗口及序列号间隔中至少一种；所述调整单元，用于：若丢包率异常或卡顿率异常中至少一种发生，则将所述时间窗口及序列号间隔中至少一种调大，得到调大后的时间窗口及调大后的序列号间隔中至少一种，其中，所述丢包率异常为所述实际丢包率大于所述预设丢包率，所述卡顿率异常为所述实际卡顿率大于所述预设卡顿率。
根据本申请的另一实施例，一种存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行本申请实施例所述的方法。
根据本申请的另一实施例，一种电子设备可以包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行本申请实施例所述的方法。
根据本申请的另一实施例，一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例所述的各种可选实现方式中提供的方法。
本申请实施例中，在视频通话过程中，对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级；获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值；根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，并统计所述处理后数据包对应的实际视频质量数值；根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，所述调整后的数据包处理参数用于对后续接收到的原始视频通话数据包进行处理。
以这种方式，在视频通话过程中，通过网络环境分级，在不同的网络环境等级下，根据对应的预设视频质量阈值及实际视频质量数值对数据包处理参数进行动态调整，可以有效应对不同网络环境导致的数据包异常，提升视频通话数据包处理可靠性，提升视频通话效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请的一个实施例的视频通话处理方法的流程图。
图2示出了根据本申请的一个实施例的视频通话的流程图。
图3示出了根据本申请的一个实施例的视频通话处理装置的框图。
图4示出了根据本申请的一个实施例的电子设备的框图。
实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1示意性示出了根据本申请的一个实施例的视频通话处理方法的流程图。该视频通话处理方法的执行主体可以是任意具有通信能力的设备，例如电视、电脑、手机、智能手表以及家电设备等。
如图1所示，该视频通话处理方法可以包括步骤S110至步骤S140。
步骤S110，在视频通话过程中，对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级；步骤S120，获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值；步骤S130，根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，并统计所述处理后数据包对应的实际视频质量数值；步骤S140，根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，所述调整后的数据包处理参数用于对后续接收到的原始视频通话数据包进行处理。
原始视频通话数据包即通话的对方通过网络发送过来的通话数据包，原始视频通话数据包通常可以是原始视频RTP（Real-time Transport Protocol）数据包。由于网络原因，网络发送过来的原始视频通话数据包会存在比较大的抖动和延时，导致设备接收到的原始视频通话数据包是乱序的，设备需要对接收到的原始视频通话数据包进行适当的处理。
本申请中，在视频通话过程中，对发送原始视频通话数据包的网络进行网络环境分级，得到网络的网络环境等级。不同的网络环境等级预设对应的数据包处理参数及预设视频质量阈值，数据包处理参数为数据接收到的原始视频通话数据包的参数，预设视频质量阈值为预设的可以反映视频画面质量的阈值。
获取网络环境等级所对应的数据包处理参数及预设视频质量阈值，根据数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，并统计处理后数据包对应的实际视频质量数值，实际视频质量数值为实际的可以反映视频画面质量的数值。
比较实际视频质量数值与预设视频质量阈值，根据比较结果可以对数据包处理参数进行调整得到调整后的数据包处理参数，通过调整后的数据包处理参数用于对后续接收到的原始视频通话数据包可以进行对应处理，实现视频通话过程中的动态调整。
以这种方式，基于步骤S110至步骤S140，在视频通话过程中，通过网络环境分级，在不同的网络环境等级下，根据对应的预设视频质量阈值及实际视频质量数值对数据包处理参数进行动态调整，可以有效应对不同网络环境导致的数据包异常，提升视频通话数据包处理可靠性，提升视频通话效果。
下面描述图1实施例下进行视频通话处理时，所进行的各步骤下进一步可选的具体实施例。
一种实施例中，步骤S110，所述对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级，包括：监听网络发送过来的原始视频通话数据包的抖动和延时中至少一种，根据所述抖动和延时中至少一种，得到所述网络的网络环境等级。
在网络上连续传输的原始视频通话数据包即便使用相同的路径，也会有不同的延时，每个原始视频通话数据包之间的这种延时不一致称为抖动。原始视频通话数据包从一个端点（通话的对方）移动到另一个端点（本地设备）所需的时间即延时。
原始视频通话数据包的抖动和延时可以有效反映网络的环境情况，进而，根据原始视频通话数据包的抖动和延时中至少一种，可以可靠地分析网络的网络环境等级。
一种实施例中，所述根据所述抖动和延时中至少一种，得到所述网络的网络环境等级，包括：获取所述抖动和所述延时所对应的预定范围；将所述预定范围对应的环境等级，确定为所述网络对应的网络环境等级。
该实施例下，根据抖动和延时两种信息一起分析网络对应的网络环境等级。参阅下表所示，一种示例中，将网络环境分成三个网络环境等级，可以理解，实际运用中可以划分更多网络环境等级，以便实现更优的视频通话体验。如下表所示，该示例中，抖动具体为监测到的最大抖动J(ms)，延时为监测到的最大延时D(ms)，三个网络环境等级分别为好、中等及差，其中，以预定范围J<30、D<250为例，该预定范围对应的网络环境等级为好。
| 环境等级 | 最大抖动J(ms)/最大延时D(ms) |
| 好 | J<30，D<250 |
| 中等 | 30≤J<70，250≤D<300 |
| 差 | J≧70，D≧300 |
一种实施例中，所述根据所述抖动和延时中至少一种，得到所述网络的网络环境等级，包括：将抖动所对应的预定范围对应的环境等级，确定为网络对应的网络环境等级，或者，将延时所对应的预定范围对应的环境等级，确定为网络对应的网络环境等级，或者，将加权环境分数对应的环境等级，确定为网络对应的网络环境等级，其中，加权环境分数可以是将抖动和延时加权求和得到的。
一种实施例中，步骤S120，所述获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值，包括：
获取所述网络环境等级对应的时间窗口及序列号间隔中至少一种，作为所述数据包处理参数，所述时间窗口为对接收到的原始视频通话数据包重新排序处理的时长，所述序列号间隔为时间窗口内丢弃的原始视频通话数据包的序列号之间的最小间隔；获取所述网络环境等级对应的预设丢包率和预设卡顿率中至少一种，作为所述预设视频质量阈值。
丢包率是指丢包数据（丢弃的数据包）占总传输数据（总数据包）的百分比；卡顿率=卡顿时长/总时长。预设丢包率即预设的丢包率，预设卡顿率即预设的卡顿率。不同的网络环境等级预设对应的预设丢包率和预设卡顿率，可以获取到当前的网络环境等级对应的预设丢包率和预设卡顿率中至少一种，作为预设视频质量阈值，也即预设视频质量阈值可以包括预设丢包率和预设卡顿率中至少一种。
时间窗口为对接收到的原始视频通话数据包重新排序处理的时长，在每个时间窗口内可以对接收到的原始视频通话数据包按照序号进行重新排序。序列号间隔为时间窗口内丢弃的原始视频通话数据包的序列号之间的最小间隔，即在时间窗口内对接收到的原始视频通话数据包按照序号进行重新排序，若检测到序列号之间的间隔超过该序列号间隔，将超过该序列号间隔的最后一个接收到的序列号对应的原始视频通话数据包丢弃。其中，数据包处理参数包括时间窗口及序列号间隔中至少一种。
如下表所示，该示例中，三个网络环境等级分别为好、中等及差，其中，以网络环境等级为好为例，该网络环境等级对应的时间窗口T(ms)为40，序列号间隔为20，该网络环境等级对应的预设丢包率L为10%，预设卡顿率F为13%。
| 环境等级 | 时间窗口T(ms)和序列号间隔G | 预设丢包率L/预设卡顿率F |
| 好 | T=40，G=20 | L=10%，F=13% |
| 中等 | T=80，G=30 | L=12%，F=14% |
| 差 | T=120，G=50 | L=14%，F=15% |
一种实施例中，所述数据包处理参数包括时间窗口及序列号间隔；步骤S130，根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，包括：在所述时间窗口内对接收到的原始视频通话数据包按照序列号进行排序，并将序列号相差间隔大于所述序列号间隔的原始视频通话数据包丢弃，得到处理后数据包。
在时间窗口内对接收到的原始视频通话数据包按照序号进行重新排序，若检测到序列号之间的间隔超过该序列号间隔，将超过该序列号间隔的最后一个接收到的序列号对应的原始视频通话数据包丢弃，该时间窗口到达后，即生成该时间窗口对应的处理后数据包。可以理解，时间窗口随着通过时间连续分布，每个时间窗口可以得到对应的处理后数据包。
一种实施例中，步骤S130中，统计处理后数据包对应的实际视频质量数值，具体包括：统计处理后数据包对应的丢包率，得到实际丢包率；统计处理后数据包对应的视频画面的卡顿率，得到实际卡顿率。
一种实施例中，所述预设视频质量阈值包括预设丢包率和预设卡顿率中至少一种，所述实际视频质量数值包括实际丢包率和实际卡顿率中至少一种，所述数据包处理参数包括时间窗口及序列号间隔中至少一种；所述根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，包括：若丢包率异常或卡顿率异常中至少一种发生，则将所述时间窗口及序列号间隔中至少一种调大，得到调大后的时间窗口及调大后的序列号间隔中至少一种，其中，所述丢包率异常为所述实际丢包率大于所述预设丢包率，所述卡顿率异常为所述实际卡顿率大于所述预设卡顿率。
将时间窗口T及序列号间隔G调大的数值可以根据实际情况设定。以中等网络环境等级为例，若中等网络环境等级对应的数据包处理参数为时间窗口T=80ms，序列号间隔G=30，使用该数据包处理参数对原始视频通话数据包进行处理，得到处理后数据包，然后统计处理后数据包对应的实际丢帧率L0和实际卡顿率F0，如果L0或者F0大于预设丢帧率L或预设卡顿率F，将触发动态调整机制，即将数据包处理参数中：T调大为90ms和/或G调大为40。该示例中，将时间窗口T及序列号间隔G调大的数值为10。
一种实施例中，在根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整参数之后，所述方法还包括：按照预定步长，对数据包处理参数进行调整，直至实际视频质量数值与所述预设视频质量阈值的差值小于预定阈值或达到预定调整次数，其中，每次对数据包处理参数进行调整包括：根据前一次调整得到的数据包处理参数对接收到的原始视频通话数据包进行处理，得到当次的处理后数据包，并统计当次的处理后数据包对应的当次实际视频质量数值；根据当次实际视频质量数值与所述预设视频质量阈值，对前一次调整得到的数据包处理参数进行调整得到当次调整后的数据包处理参数。
该实施例下，进一步按照预定步长，对数据包处理参数进行循环调整，进一步提升视频通话质量。其中，预定步长可以根据实际情况设定，预定步长可以是每次动态调整的时间步长t(ms)或间隔步长g，一个示例中，时间步长t(ms)=10，间隔步长g=10。
每次对数据包处理参数进行调整，具体以中等网络环境等级为例，若中等网络环境等级对应的数据包处理参数为时间窗口T=80ms，序列号间隔G=30，使用该数据包处理参数对原始视频通话数据包进行处理，得到处理后数据包，然后统计处理后数据包对应的实际丢帧率L0和实际卡顿率F0，如果L0或者F0大于预设丢帧率L或预设卡顿率F，将触发动态调整机制，即将数据包处理参数中：T调大为90ms和/或G调大为40，得到调整后的数据包处理参数。
然后重新统计，使用该调整后的数据包处理参数之后的当次的处理后数据包对应的当次的实际丢帧率L1或实际卡顿率F1，再与预设丢帧率L或预设卡顿率F进行对比，如果小于预设丢帧率L或预设卡顿率F，则不再调整上一次调整得到数据包处理参数，相反，如果还是预设丢帧率L或预设卡顿率F，继续触发动态调整机制，得到当次调整后的数据包处理参数，如此循环，直至实际丢帧率或实际卡顿率大于预设丢帧率L或预设卡顿率F或者达到预定调整次数M。其中，当次实际视频质量数值包括当次的实际丢帧率或实际卡顿率。
进一步的，参阅图2，以手机中进行视频通话处理为例，手机modem（调制解调器）模块接收到网络发送的原始视频通话数据包（即图2所示的原始视频RTP数据包）之后，发送给手机的RTP（Real-time Transport Protocol）模块，RTP（Real-time Transport Protocol）模块中可以应用前述的任意实施例进行视频通话处理处理，RTP模块会对原始视频通话数据包进行重新排序、丢弃等处理，然后再发送给视频编解码模块进行解码；视频解码之后再呈现到手机界面进行显示。
为便于更好的实施本申请实施例提供的视频通话处理方法，本申请实施例还提供一种基于上述视频通话处理方法的视频通话处理装置。其中名词的含义与上述视频通话处理方法中相同，具体实现细节可以参考方法实施例中的说明。图3示出了根据本申请的一个实施例的视频通话处理装置的框图。一些应用场景中，视频通话处理装置200可以应用于图2所示的RTP（Real-time Transport Protocol）模块中。
如图3所示，视频通话处理装置200中可以包括：分级单元210可以用于在视频通话过程中，对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级；获取单元220可以用于获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值；处理单元230可以用于根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，并统计所述处理后数据包对应的实际视频质量数值；调整单元240可以用于根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，所述调整后的数据包处理参数用于对后续接收到的原始视频通话数据包进行处理。
在本申请的一些实施例中，所述分级单元，用于：监听网络发送过来的原始视频通话数据包的抖动和延时中至少一种，根据所述抖动和延时中至少一种，得到所述网络的网络环境等级。
在本申请的一些实施例中，所述分级单元，用于：获取所述抖动和所述延时所对应的预定范围；将所述预定范围对应的环境等级，确定为所述网络对应的网络环境等级。
在本申请的一些实施例中，所述获取单元，用于：获取所述网络环境等级对应的时间窗口及序列号间隔中至少一种，作为所述数据包处理参数，所述时间窗口为对接收到的原始视频通话数据包重新排序处理的时长，所述序列号间隔为时间窗口内丢弃的原始视频通话数据包的序列号之间的最小间隔；获取所述网络环境等级对应的预设丢包率和预设卡顿率中至少一种，作为所述预设视频质量阈值。
在本申请的一些实施例中，所述装置还包括循环调整单元，由于：按照预定步长，对数据包处理参数进行调整，直至所述实际视频质量数值与所述预设视频质量阈值的差值小于预定阈值或达到预定调整次数，其中，每次对数据包处理参数进行调整包括：根据前一次调整得到的数据包处理参数对接收到的原始视频通话数据包进行处理，得到当次的处理后数据包，并统计当次的处理后数据包对应的当次实际视频质量数值；根据当次实际视频质量数值与所述预设视频质量阈值，对前一次调整得到的数据包处理参数进行调整得到当次调整后的数据包处理参数。
在本申请的一些实施例中，所述数据包处理参数包括时间窗口及序列号间隔；所述处理单元，用于：在所述时间窗口内对接收到的原始视频通话数据包按照序列号进行排序，并将序列号相差间隔大于所述序列号间隔的原始视频通话数据包丢弃，得到处理后数据包。
在本申请的一些实施例中，所述预设视频质量阈值包括预设丢包率和预设卡顿率中至少一种，所述实际视频质量数值包括实际丢包率和实际卡顿率中至少一种，所述数据包处理参数包括时间窗口及序列号间隔中至少一种；所述调整单元，用于：若丢包率异常或卡顿率异常中至少一种发生，则将所述时间窗口及序列号间隔中至少一种调大，得到调大后的时间窗口及调大后的序列号间隔中至少一种，其中，所述丢包率异常为所述实际丢包率大于所述预设丢包率，所述卡顿率异常为所述实际卡顿率大于所述预设卡顿率。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，本申请实施例还提供一种电子设备，该电子设备可以为终端或者服务器，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器301是该电子设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行计算机设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器301可包括一个或多个处理核心；优选的，处理器301可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器301中。
存储器302可用于存储软件程序以及模块，处理器301通过运行存储在存储器302的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器302还可以包括存储器控制器，以提供处理器301对存储器302的访问。
电子设备还包括给各个部件供电的电源303，优选的，电源303可以通过电源管理系统与处理器301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元304，该输入单元304可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器301会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现本申请前述实施例中各种功能，如处理器301可以执行下述步骤：
在视频通话过程中，对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级；获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值；根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，并统计所述处理后数据包对应的实际视频质量数值；根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，所述调整后的数据包处理参数用于对后续接收到的原始视频通话数据包进行处理。
在本申请的一些实施例中，所述对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级，包括：监听网络发送过来的原始视频通话数据包的抖动和延时中至少一种，根据所述抖动和延时中至少一种，得到所述网络的网络环境等级。
在本申请的一些实施例中，所述根据所述抖动和延时中至少一种，得到所述网络的网络环境等级，包括：获取所述抖动和所述延时所对应的预定范围；将所述预定范围对应的环境等级，确定为所述网络对应的网络环境等级。
在本申请的一些实施例中，所述获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值，包括：获取所述网络环境等级对应的时间窗口及序列号间隔中至少一种，作为所述数据包处理参数，所述时间窗口为对接收到的原始视频通话数据包重新排序处理的时长，所述序列号间隔为时间窗口内丢弃的原始视频通话数据包的序列号之间的最小间隔；获取所述网络环境等级对应的预设丢包率和预设卡顿率中至少一种，作为所述预设视频质量阈值。
在本申请的一些实施例中，在所述根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整参数之后，还包括：按照预定步长，对数据包处理参数进行调整，直至所述实际视频质量数值与所述预设视频质量阈值的差值小于预定阈值或达到预定调整次数，其中，每次对数据包处理参数进行调整包括：根据前一次调整得到的数据包处理参数对接收到的原始视频通话数据包进行处理，得到当次的处理后数据包，并统计当次的处理后数据包对应的当次实际视频质量数值；根据当次实际视频质量数值与所述预设视频质量阈值，对前一次调整得到的数据包处理参数进行调整得到当次调整后的数据包处理参数。
在本申请的一些实施例中，所述数据包处理参数包括时间窗口及序列号间隔；所述根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，包括：在所述时间窗口内对接收到的原始视频通话数据包按照序列号进行排序，并将序列号相差间隔大于所述序列号间隔的原始视频通话数据包丢弃，得到处理后数据包。
在本申请的一些实施例中，所述预设视频质量阈值包括预设丢包率和预设卡顿率中至少一种，所述实际视频质量数值包括实际丢包率和实际卡顿率中至少一种，所述数据包处理参数包括时间窗口及序列号间隔中至少一种；所述根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，包括：若丢包率异常或卡顿率异常中至少一种发生，则将所述时间窗口及序列号间隔中至少一种调大，得到调大后的时间窗口及调大后的序列号间隔中至少一种，其中，所述丢包率异常为所述实际丢包率大于所述预设丢包率，所述卡顿率异常为所述实际卡顿率大于所述预设卡顿率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种方法中的步骤。
其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种方法中的步骤，因此，可以实现本申请实施例所提供的方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的实施例，而可以在不脱离其范围的情况下进行各种修改和改变。
Claims (10)
1.一种视频通话处理方法，其特征在于，包括：
在视频通话过程中，对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级；
获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值；
根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，并统计所述处理后数据包对应的实际视频质量数值；
根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，所述调整后的数据包处理参数用于对后续接收到的原始视频通话数据包进行处理。
2.根据权利要求1所述的方法，其特征在于，所述对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级，包括：
监听网络发送过来的原始视频通话数据包的抖动和延时中至少一种，
根据所述抖动和延时中至少一种，得到所述网络的网络环境等级。
3.根据权利要求2所述的方法，其特征在于，所述根据所述抖动和延时中至少一种，得到所述网络的网络环境等级，包括：
获取所述抖动和所述延时所对应的预定范围；
将所述预定范围对应的环境等级，确定为所述网络对应的网络环境等级。
4.根据权利要求1所述的方法，其特征在于，所述获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值，包括：
获取所述网络环境等级对应的时间窗口及序列号间隔中至少一种，作为所述数据包处理参数，所述时间窗口为对接收到的原始视频通话数据包重新排序处理的时长，所述序列号间隔为时间窗口内丢弃的原始视频通话数据包的序列号之间的最小间隔；
获取所述网络环境等级对应的预设丢包率和预设卡顿率中至少一种，作为所述预设视频质量阈值。
5.根据权利要求1所述的方法，其特征在于，在所述根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整参数之后，所述方法还包括：
按照预定步长，对数据包处理参数进行调整，直至所述实际视频质量数值与所述预设视频质量阈值的差值小于预定阈值或达到预定调整次数，
其中，每次对数据包处理参数进行调整包括：
根据前一次调整得到的数据包处理参数对接收到的原始视频通话数据包进行处理，得到当次的处理后数据包，并统计当次的处理后数据包对应的当次实际视频质量数值；
根据当次实际视频质量数值与所述预设视频质量阈值，对前一次调整得到的数据包处理参数进行调整得到当次调整后的数据包处理参数。
6.根据权利要求1所述的方法，其特征在于，所述数据包处理参数包括时间窗口及序列号间隔；
所述根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，包括：
在所述时间窗口内对接收到的原始视频通话数据包按照序列号进行排序，并将序列号相差间隔大于所述序列号间隔的原始视频通话数据包丢弃，得到处理后数据包。
7.根据权利要求1所述的方法，其特征在于，所述预设视频质量阈值包括预设丢包率和预设卡顿率中至少一种，所述实际视频质量数值包括实际丢包率和实际卡顿率中至少一种，所述数据包处理参数包括时间窗口及序列号间隔中至少一种；
所述根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，包括：
若丢包率异常或卡顿率异常中至少一种发生，则将所述时间窗口及序列号间隔中至少一种调大，得到调大后的时间窗口及调大后的序列号间隔中至少一种，其中，所述丢包率异常为所述实际丢包率大于所述预设丢包率，所述卡顿率异常为所述实际卡顿率大于所述预设卡顿率。
8.一种视频通话处理装置，其特征在于，包括：
分级单元，用于在视频通话过程中，对发送原始视频通话数据包的网络进行网络环境分级，得到所述网络的网络环境等级；
获取单元，用于获取所述网络环境等级所对应的数据包处理参数及预设视频质量阈值；
处理单元，用于根据所述数据包处理参数对接收到的原始视频通话数据包进行处理，得到处理后数据包，并统计所述处理后数据包对应的实际视频质量数值；
调整单元，用于根据所述实际视频质量数值与所述预设视频质量阈值，对所述数据包处理参数进行调整得到调整后的数据包处理参数，所述调整后的数据包处理参数用于对后续接收到的原始视频通话数据包进行处理。
9.一种存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7任一项所述的方法。
10.一种电子设备，其特征在于，包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310084131.1A CN117411990A (zh) | 2023-01-13 | 2023-01-13 | 视频通话处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310084131.1A CN117411990A (zh) | 2023-01-13 | 2023-01-13 | 视频通话处理方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117411990A true CN117411990A (zh) | 2024-01-16 |
Family
ID=89495042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310084131.1A Pending CN117411990A (zh) | 2023-01-13 | 2023-01-13 | 视频通话处理方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117411990A (zh) |
-
2023
- 2023-01-13 CN CN202310084131.1A patent/CN117411990A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109600610B (zh) | 一种数据编码方法、终端及计算机可读存储介质 | |
| CN107342848B (zh) | 一种自适应码流传输方法、装置及设备 | |
| US10432725B2 (en) | Server access processing system | |
| CN111263153B (zh) | 视频编码方法、装置、设备及存储介质 | |
| US11722545B2 (en) | Systems and methods for adaptively improving the perceived quality of a video conference by passive users | |
| CN113490055B (zh) | 数据处理方法和装置 | |
| EP4161013A1 (en) | Video data processing method and apparatus, and electronic device | |
| CN112087627B (zh) | 图像的编码控制方法、装置、设备及存储介质 | |
| CN113645477A (zh) | 直播数据处理方法、装置、直播客户端设备及存储介质 | |
| CN109981482B (zh) | 音频处理方法及装置 | |
| CN114338401A (zh) | 资源分配方法、装置、电子设备和可读介质 | |
| CN108712494A (zh) | 处理异步消息的方法、装置及设备 | |
| CN110912922B (zh) | 一种图像传输方法、装置、电子设备及存储介质 | |
| CN117411990A (zh) | 视频通话处理方法、装置、存储介质及电子设备 | |
| CN117336534A (zh) | 数据传输方法、装置、电子设备及存储介质 | |
| CN114866196B (zh) | 数据包重传方法、装置、电子设备和存储介质 | |
| CN111787268B (zh) | 音频信号的处理方法、装置、电子设备及存储介质 | |
| CN112422370B (zh) | 语音通话质量的确定方法和装置 | |
| CN116996649B (zh) | 投屏方法、装置、存储介质及电子设备 | |
| CN117354252A (zh) | 一种数据传输处理方法、装置、存储介质及电子装置 | |
| CN114079619A (zh) | 端口流量的采样方法和装置 | |
| CN114428685A (zh) | 一种数据处理的方法、装置、设备及计算机存储介质 | |
| JP3182073B2 (ja) | パケット通信処理装置 | |
| CN115002527B (zh) | 数据传输优化方法、装置、设备及存储介质 | |
| US20240340331A1 (en) | Audio playback control method, device and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |