CN111294546B - 一种用于视频通话的分辨率调整方法及装置 - Google Patents

一种用于视频通话的分辨率调整方法及装置 Download PDF

Info

Publication number
CN111294546B
CN111294546B CN201910142646.6A CN201910142646A CN111294546B CN 111294546 B CN111294546 B CN 111294546B CN 201910142646 A CN201910142646 A CN 201910142646A CN 111294546 B CN111294546 B CN 111294546B
Authority
CN
China
Prior art keywords
resolution
video call
code rate
opinion score
subjective opinion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910142646.6A
Other languages
English (en)
Other versions
CN111294546A (zh
Inventor
韩颖
花文美
刘文起
李锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201910142646.6A priority Critical patent/CN111294546B/zh
Publication of CN111294546A publication Critical patent/CN111294546A/zh
Application granted granted Critical
Publication of CN111294546B publication Critical patent/CN111294546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738Monitoring network characteristics, e.g. bandwidth, congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及一种用于视频通话的分辨率调整方法及装置,方法包括:获取视频通话过程中的实际发送码率;获取平均主观意见分;根据实际发送码率和平均主观意见分,基于视频通话的初始分辨率,对当前分辨率进行调整,使当前分辨率与网络信号状态相匹配。装置包括:实际发送码率获取单元,用于获取实际发送码率;平均主观意见分获取单元,用于获取平均主观意见分;分辨率调整单元,用于根据实际发送码率和平均主观意见分,基于视频通话的初始分辨率,对视频通话的当前分辨率进行调整。通过基于实际发送码率和平均主观意见分调整视频通话的分辨率,采用本公开实施例的用于视频通话的分辨率调整方法及装置,能够提升视频通话质量,提升用户体验。

Description

一种用于视频通话的分辨率调整方法及装置
技术领域
本公开涉及移动终端通信领域,尤其涉及一种用于视频通话的分辨率调整方法及装置。
背景技术
基于长期演进(LTE,Long Term Evolution)网络的语音技术又被称为VoLTE,是通过LTE网络作为业务接入、IP多媒体系统(IMS,IP Multimedia Subsystem)网络实现业务控制的语音解决方案,可以提供高清语音、低延迟视频通话。基于无线保真(Wi-Fi,Wireless-FIdelity)网络的语音技术又被称为VoWiFi,是用户使用具有VoWiFi能力的智能终端,在Wi-Fi环境下能够通过传统的拨号方式进行语音和视频通话,可以与VoLTE之间进行无缝切换。
VoLTE/VoWiFi的核心业务之一就是实时视频通话,在视频通过过程中,如果码率过大的话会造成网络丢包使得对端视频画面出现马赛克,从而降低视频通话的质量。
为了提升视频通话的质量,可以根据网络状况动态调整视频的编码码率,或是降低发送帧率来减少丢包情况,但是由于编码码率和帧率均有最小值的限制,因此同样会发生视频图像显示模糊或是视频图像卡顿等情况,无法保证视频通话的流畅。
发明内容
有鉴于此,本公开提出了一种用于视频通话的分辨率调整方法及装置,能够提升视频通话的视频质量。
根据本公开的第一方面,提供了一种用于视频通话的分辨率调整方法,所述方法应用于发送数据的移动终端,包括:获取视频通话过程中的实际发送码率;获取视频通话过程中的平均主观意见分MOS;根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,对视频通话的当前分辨率进行调整,使所述当前分辨率与网络信号状态相匹配。
在一种可能的实现方式中,获取视频通话过程中的实际发送码率,包括:直接读取发送数据的移动终端输出的实际发送码率。
在一种可能的实现方式中,获取视频通话过程中的平均主观意见分MOS,包括:获取接收数据的移动终端反馈的接收端报告;根据所述接收端报告,获取网络参数;将所述网络参数通过视频质量评估模型,得到的输出结果作为平均主观意见分。
在一种可能的实现方式中,根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,对视频通话的当前分辨率进行调整,使所述当前分辨率与网络信号状态相匹配,包括:在网络信号状态减弱的情况下,根据所述实际发送码率和所述平均主观意见分,下调所述当前分辨率;或者,在网络信号状态增强的情况下,根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,提升所述当前分辨率。
在一种可能的实现方式中,在网络信号状态减弱的情况下,根据所述实际发送码率和所述平均主观意见分,下调所述当前分辨率,包括:读取所述当前分辨率;在所述实际发送码率小于第一发送码率阈值,且平均主观意见分决策结果达到第一预设条件时,将所述当前分辨率下调一级。
在一种可能的实现方式中,所述第一预设条件包括:平均主观意见分低于第一主观意见分阈值,且在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值。
在一种可能的实现方式中,在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值,包括:在连续5s内,视频通话的丢包比例均大于2%。
在一种可能的实现方式中,在网络信号状态减弱的情况下,根据所述实际发送码率和所述平均主观意见分,下调所述当前分辨率,还包括:在网络信号状态减弱,且所述当前分辨率未达到最小分辨率时,根据所述实际发送码率和所述平均主观意见分,继续下调所述当前分辨率;在网络信号状态减弱,且所述当前分辨率达到最小分辨率时,停止下调所述当前分辨率。
在一种可能的实现方式中,在网络信号状态增强的情况下,根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,提升所述当前分辨率,包括:读取所述当前分辨率和视频通话的初始分辨率;在所述当前分辨率小于所述初始分辨率,所述实际发送码率大于第二发送码率阈值,且平均主观意见分决策结果达到第二预设条件时,将所述当前分辨率提升一级。
在一种可能的实现方式中,所述第二预设条件包括:平均主观意见分高于第二主观意见分阈值,且在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值。
在一种可能的实现方式中,在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值,包括:在连续5s内,视频通话的丢包比例均小于1%。
在一种可能的实现方式中,在网络信号状态增强的情况下,根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,提升所述当前分辨率,还包括:在网络信号状态增强,且所述当前分辨率未达到所述初始分辨率时,根据所述实际发送码率和所述平均主观意见分,继续提升所述当前分辨率;在网络信号状态增强,且所述当前分辨率达到初始分辨率时,停止提升所述当前分辨率。
根据本公开的第二方面,提供了一种用于视频通话的分辨率调整装置,包括:实际发送码率获取单元,用于获取视频通话过程中的实际发送码率;平均主观意见分MOS获取单元,用于获取视频通话过程中的平均主观意见分;分辨率调整单元,用于根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,对视频通话的当前分辨率进行调整,使所述当前分辨率与网络信号状态相匹配。
在一种可能的实现方式中,所述实际发送码率获取单元用于:直接读取发送数据的移动终端输出的实际发送码率。
在一种可能的实现方式中,所述平均主观意见分MOS获取单元用于:获取接收数据的移动终端反馈的接收端报告;根据所述接收端报告,获取网络参数;将所述网络参数通过视频质量评估模型,得到的输出结果作为平均主观意见分。
在一种可能的实现方式中,所述分辨率调整单元包括:分辨率下调子单元,用于在网络信号状态减弱的情况下,根据所述实际发送码率和所述平均主观意见分,下调所述当前分辨率;或者,分辨率提升子单元,用于在网络信号状态增强的情况下,根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,提升所述当前分辨率。
在一种可能的实现方式中,所述分辨率下调子单元用于:读取所述当前分辨率;在所述实际发送码率小于第一发送码率阈值,且平均主观意见分决策结果达到第一预设条件时,将所述当前分辨率下调一级。
在一种可能的实现方式中,所述第一预设条件包括:平均主观意见分低于第一主观意见分阈值,且在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值。
在一种可能的实现方式中,在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值,包括:在连续5s内,视频通话的丢包比例均大于2%。
在一种可能的实现方式中,所述分辨率下调子单元进一步用于:在网络信号状态减弱,且所述当前分辨率未达到最小分辨率时,根据所述实际发送码率和所述平均主观意见分,继续下调所述当前分辨率;在网络信号状态减弱,且所述当前分辨率达到最小分辨率时,停止下调所述当前分辨率。
在一种可能的实现方式中,所述分辨率提升子单元用于:读取所述当前分辨率和视频通话的初始分辨率;在所述当前分辨率小于所述初始分辨率,所述实际发送码率大于第二发送码率阈值,且平均主观意见分决策结果达到第二预设条件时,将所述当前分辨率提升一级。
在一种可能的实现方式中,所述第二预设条件包括:平均主观意见分高于第二主观意见分阈值,且在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值。
在一种可能的实现方式中,在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值,包括:在连续5s内,视频通话的丢包比例均小于1%。
在一种可能的实现方式中,所述分辨率提升子单元进一步用于:在网络信号状态增强,且所述当前分辨率未达到所述初始分辨率时,根据所述实际发送码率和所述平均主观意见分,继续提升所述当前分辨率;在网络信号状态增强,且所述当前分辨率达到初始分辨率时,停止提升所述当前分辨率。
根据本公开的第三方面,提供了一种用于视频通话的分辨率调整装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行上述第一方面的方法。
根据本公开的第四方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述第一方面的方法。
通过获取视频通话过程中的实际发送码率和MOS,并根据获取的结果,对视频通话的当前分辨率进行调整,使其与网络信号状态相匹配,根据本公开的各方面实施例的用于视频通话的分辨率调整方法及装置,能够跟随网络信号的情况及时调整视频通话的分辨率,继而尽量减少视频通话过程中的网络丢包情况,从而提升视频通话的流畅程度和视频画面完整程度,提升视频通话质量的同时提升用户体验。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图。
图2示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图。
图3示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图。
图4示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图。
图5示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图。
图6示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图。
图7示出根据本公开一实施例的用于视频通话的分辨率调整装置的框图。
图8示出根据本公开一应用示例的示意图。
图9示出根据本公开一应用示例的示意图。
图10示出根据本公开一实施例的用于视频通话的分辨率调整装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
VoLTE是通过LTE网络作为业务接入、IMS网络实现业务控制的语音解决方案,它支持高清语音、高清视频等通信业务,也可实现与现网2G/3G的语音兼容互通。VoLTE能提供高清语音、低延迟视频通话,是发展融合通信业务的核心。VoWiFi是用户使用具有VoWiFi能力的智能终端,在Wi-Fi环境下能够通过传统的拨号方式进行语音和视频通话,使用户能够通过Wi-Fi热点接入网络,享受高清音视频,以及与VoLTE之间的无缝切换。
VoLTE/VoWiFi的核心业务之一就是实时视频通话,为用户提供了新的通话体验。而在视频通话过程中视频质量的好坏对用户体验来说尤为重要,如何保证良好视频的质量,提升用户的主观视觉效果,是视频通话一直以来所要解决的问题。
移动终端进行视频通话时,会根据视频分辨率和帧率来配置视频编码的码率,如果码率过大的话会造成网络丢包使得对端视频画面出现马赛克,影响用户体验。常见的提升视频质量的配置方案有两种:一是根据网络状况动态调整配置的视频编码码率;二是降低发送的帧率以达到减少丢包的情况。
对于第一种方案,由于每个分辨率都有对应的可以设置的最小编码码率,若设置的码率太小,视频编码压缩过多,包含的信息就会很少,导致对端显示的图像模糊。而第二种方案中,降低发送帧率也有最小值,若帧率太低,对端显示图像会卡顿,音频和视频(AV,Audio Vedio)时延变大。因此可以看出,这两种方案在视频通话的图像质量和流畅程度上均具有一定的缺陷,不能较好的提升视频通话质量。
为了解决上述问题,本实施例公开了一种用于视频通话的分辨率调整方法的应用示例,在本示例中,在进行视频通话的过程中,发送数据的移动终端会不断获取视频通话过程中的实际发送码率,以及评估视频通话过程的视频质量,本示例中视频质量的具体评估方式是获取视频通话的平均主观意见分(MOS,Mean Opinion Score),在获取了视频通话的MOS后,结合实际发送码率,可以判断当前视频通话的分辨率是否可以和当前网络信号的状态相匹配,如果相匹配的话则控制视频通话继续正常进行,如果不相匹配的话,则调整视频通话的分辨率使之和当前网络信号的状态相符,比如如果当前网络信号的状态较差,则不断调低视频分辨率直至当前的网络信号状态可以在该分辨率下使视频通话可以流畅的进行,如果网络信号好转,可以支持视频通话在预设的分辨率下流畅的进行,那么也可以调高视频分辨率,从而提升用户的视频通话体验。
图1示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图。该方法可以由发送数据的移动终端执行,如图所示,该方法可以包括:
步骤S11,获取视频通话过程中的实际发送码率。
步骤S12,获取视频通话过程中的平均主观意见分MOS。
步骤S13,根据实际发送码率和平均主观意见分,基于视频通话的初始分辨率,对视频通话的当前分辨率进行调整,使当前分辨率与网络信号状态相匹配。
发送数据的移动终端(MO,Mobile Original)可以是任意具有数据发送功能,可以进行视频通话的用户设备,如手机、平板电脑以及智能手表等等。该移动终端实现视频通话所依赖的网络技术不受限制,可以是基于LTE网络的语音技术VoLTE、可以是基于LTE网络的视频技术ViLTE、可以是基于WiFi网络的语音技术VoWiFi、也可以是基于WiFi网络的视频技术ViWiFi。
通过上述步骤,可以看出,本示例中在进行视频通话的分辨率调整的过程中,通过获取视频通话过程中的实际发送码率和MOS,可以对视频通话的当前分辨率与当前网络信号状态的匹配程度进行判断,基于此判断结果,可以相应的对视频通话的当前分辨率进行一定的调整,使之可以与当前的网络信号状态相匹配,这样就可以使得移动终端在视频通话过程中,无论网络环境如何变化,都可以较为稳定和流畅的保障视频通话的正常进行。
从上述步骤可以看出,为了判断视频通话的当前分辨率是否和网络信号状态相匹配,首先需要获取视频通话过程中的实际发送码率,获取实际发送码率的具体方式不受限定,任何可以获取到视频通话过程中的实际发送码率的方法都可以适用于本实施例中。在一种可能的实现方式中,步骤S11可以包括:直接读取发送数据的移动终端输出的实际发送码率。实际发送码率是MO在进行视频通话过程中,实际输出的码率值,对于进行视频通话的MO来说,可以根据视频分辨率和帧率,来不断依据一定的算法来调整码率,依据的算法不受具体限制,在一个示例中,MO可以基于延迟(delay-based)的拥塞控制算法来调整输出码率,在一个示例中,MO可以基于丢包(loss-based)的拥塞控制算法来调整输出码率,无论依据何种算法调整输出码率,MO均可以实时计算最终的码率值(bitrate),在计算出最终的码率值后,MO可以由媒体引擎将码率值配置给编码器,配置给编码器的码率,依据视频分辨率的不同,各自具有不同的最小值,如果编码器的输出码率大于实时计算得到的bitrate,那么MO可以对编码器输出帧做降帧处理,以达到接近bitrate值,此时MO进行降帧处理后的每秒输出的码率值,为视频通话过程中的实际发送码率。在一个示例中,对于MO来说,由于输出码率的调整过程是在该移动终端内部进行的,因此MO可以通过直接读取的方法,来获取到该实际发送码率。在一个示例中,对于MO来说,可以依据MO内部的某些硬件设备或是软件设备,来读取该实际发送码率。
从上述步骤可以看出,为了判断视频通话的当前分辨率是否和网络信号状态相匹配,还需要获取视频通话过程中的平均主观意见分MOS,获取MOS的具体方式同样不受限定,任何可以获取到MOS的方法都可以适用于本实施例中。图2示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图,如图所示,在一种可能的实现方式中,步骤S12可以包括:
步骤S121,获取接收数据的移动终端反馈的接收端报告。
步骤S122,根据接收端报告,获取网络参数。
步骤S123,将网络参数通过视频质量评估模型,得到的输出结果作为平均主观意见分。
在视频通话过程中,MO除了向接收数据的移动终端(MT,Mobile Terminated)发送相应的数据以外,也会接收到MT所反馈的数据,反馈的形式不受限定,在一个示例中,MT可以向MO反馈接收者报告(RR,Receiver Reports),在RR中包含了视频通话过程中MT端的网络参数,MT端可以将该网络参数作为输入数据,通过已建立好的视频质量评估模型,得到的输出数据则可以作为当前视频通话过程中的MOS。
用于获取MOS的视频质量评估模型,其模型的具体构建方式不受限定,可以根据实际情况选择不同形式的视频质量评估模型。在一个示例中,用于获取MOS的视频质量评估模型,其构建的方式可以为:根据网络传输中网络参数变化对MOS值的影响关系,构建相应的视频质量评估模型;其中网络传输中网络参数包含的参数内容可以包括带宽值、丢包值、抖动值和延迟值等等,具体依据哪个参数内容和MOS之间的对应关系来构建视频质量评估模型,可以根据需求和实际情况进行灵活选择,同样,无论视频质量评估模型依据哪个或那种组合下的网络参数来进行构建,对应的,在获取MOS时,步骤S122中获取的网络参数也就对应的是建立该视频质量评估模型时依据的网络参数,在一个示例中,视频质量评估模型可以依据丢包值和抖动值与MOS之间的对应关系来进行建立,因此在MO获取MOS时,可以从MT反馈的RR中获取视频通话过程中的丢包值和抖动值,并将此丢包值和抖动值作为输入数据,通过建立的视频质量评估模型,来得到MOS。
在一个示例中,视频质量评估模型的具体建立过程可以为:首先搭建视频通话的实验平台,并构建一个视频质量评估的初始模型,然后设置具体的丢包值和抖动值作为网络参数,并采用开源的视频质量评价工具,此视频质量评价工具可以根据实际情况进行灵活选择,不受限定,在一个示例中,该评价工具可以为Evalvid,根据原始发送的YUV数据,以及经过模拟网络得到的受损的YUV数据,来获取相应的MOS分值,然后修改丢包值和抖动值,重复上述过程,则可以得到新的MOS分值,通过对丢包值和抖动值的多次修改,可以得到多组对应的网络参数和MOS分值之间的对应数据,将这多组对应数据作为训练数据,代入到构建的视频质量评估的初始模型中,通过多次训练最终得到的模型,即可作为用于MO获取MOS的视频质量评估模型。
在获取了MO的实际发送码率和MOS之后,可以根据二者对当前分辨率与网络信号状态之间的匹配程度进行相应的评估,并根据评估结果对视频通话的当前分辨率进行相应的调整,具体如何评估当前分辨率和网络信号状态之间的匹配程度,以及如何根据评估结果来对应调整视频通话的分辨率,可以根据实际情况进行灵活操作,并不局限于下述某一种方法。在一种可能的实现方式中,步骤S13可以包括:
在网络信号状态减弱的情况下,根据实际发送码率和平均主观意见分,下调当前分辨率;或者,在网络信号状态增强的情况下,根据实际发送码率和平均主观意见分,基于视频通话的初始分辨率,提升当前分辨率。
由于网络信号状态由可能由“好点”,即VoLTE或VoWiFi网络信号状态好,转为“中差点”,即VoLTE或VoWiFi网络信号状态中或差,也可能由“中差点”转为好点,因此,随着网络信号状态变化方式的不同,对视频通话的当前分辨率的调整方式也随之发生变化。在一个示例中,网络信号可能逐渐转差,此时如果仍采用在网络信号较好时采用的分辨率,可能会导致视频画面出现马赛克或是视频出现卡顿以及延时等情况,因此,为了保障视频通话质量,可以对当前分辨率进行下调,使得当前的网络信号状态可以支撑视频通话在下调后的分辨率下高质量的进行。在一个示例中,网络信号可能逐渐转好,此时如果仍采用在网络信号较差时采用的分辨率,会降低用户对视频通话的清晰度体验,因此,为了提升视频通话质量,可以对当前分辨率进行提升,使得当前的网络信号状态可以支撑视频通话在提升后的分辨率下仍然可以高质量的进行。
在网络信号转弱时具体如何下调当前分辨率,可以根据实际情况灵活选择。图3示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图,如图所示,在一种可能的实现方式中,在网络信号状态减弱的情况下,根据实际发送码率和平均主观意见分,下调当前分辨率,可以包括:
步骤S1311,读取当前分辨率。
步骤S1312,在实际发送码率小于第一发送码率阈值,且平均主观意见分决策结果达到第一预设条件时,将当前分辨率下调一级。
对于视频通话来说,可以存在多种可供选择的分辨率格式,如720P、960P、1080P、VGA30、VGA15以及QVGA15等,具体如何组合和选择不受具体限定。在一个示例中,视频通话系统中可供选择调节的分辨率格式包括720P、VGA30、VGA15和QVGA15,由于不同分辨率格式的清晰度具有差异,因此可以根据清晰度的不同对其进行等级划分,具体如何划分根据分辨率格式的具体组合结果进行对应划分,在本示例中,对上述四种分辨率格式按照从大到小的等级进行划分,则具体的等级划分结果可以为:720P>VGA30=VGA15>QVGA15,因此在网络信号状态减弱的情况下,可以依据此种等级划分结果,对当前分辨率进行从上级到下级的调整。
具体在何种情况下对当前分辨率进行下调,可以根据实际情况进行具体条件的设定,在一个示例中,对当前分辨率进行下调的触发情况可以为:在实际发送码率小于第一发送码率阈值,且平均主观意见分决策结果达到第一预设条件时,会触发对当前分辨率的下调。
第一发送码率阈值是一个人为设定的阈值,具体的设定值并不受限定,同时它可以跟随当前分辨率情况的不同,随之发生改变。
在一个示例中,第一发送码率阈值的具体设定值可能与当前分辨率是否为初始分辨率有关,初始分辨率可以是在视频通话开始建立时,预先设定的分辨率。在当前分辨率是初始分辨率的情况下,这一初始分辨率可以是720P、VGA30、VGA15或是其他预设值,可以记为此时的第一发送码率阈值的具体值为码率阈值A,在实际发送码率小于码率阈值A且平均主观意见分决策结果达到第一预设条件时,可以对当前分辨率进行下调,具体下调的方式不受限定,在后续会进行举例说明,在一个示例中,视频通话的初始分辨率可能是720P,在进行下调后可能被调整为VGA15,此时网络信号状态可能继续转差,则此时可以存在另一个第一发送码率阈值的具体值为码率阈值B,码率阈值B<码率阈值A,在实际发送码率小于码率阈值B且平均主观意见分决策结果达到第一预设条件时,可以对当前已经下调至VGA15的分辨率进行进一步下调,可能被调整为QVGA15,由此可见,第一发送码率阈值的具体值可能与当前分辨率是不是初始分辨率有关,在当前分辨率是初始分辨率时,可以存在一个第一发送码率阈值用于当前分辨率的下调,在当前分辨率不是初始分辨率时,可以存在一个不同值的第一发送码率阈值,用于当前分辨率的进一步下调。
在一个示例中,第一发送码率阈值的具体设定值可能与当前分辨率具体为何种格式有关,在一种可能的实现方式中,当前分辨率可以为720P,可以记为此时的第一发送码率阈值的具体值为码率阈值C,在实际发送码率小于码率阈值C且平均主观意见分决策结果达到第一预设条件时,可以对当前分辨率进行下调,下调至低于720P的某一分辨率上,具体下调的方式不受限定,在后续会进行举例说明,而如果当前分辨率为VGA30时,则此时可以存在另一个第一发送码率阈值的具体值为码率阈值D,在实际发送码率小于码率阈值D且平均主观意见分决策结果达到第一预设条件时,可以对当前分辨率进行下调,下调至低于VGA30的某一分辨率上,对于当前分辨率为720P的情况来说,当实际发送码率小于码率阈值D且平均主观意见分决策结果达到第一预设条件时,不会影响到720P进行分辨率下调的触发,同理,对于当前分辨率为VGA30的情况来说,当实际发送码率小于码率阈值C且平均主观意见分决策结果达到第一预设条件时,同样也不会影响到VGA30进行分辨率下调的触发,由此可见,第一发送码率阈值的具体值可能与当前分辨率是何种具体格式有关,不同格式的分辨率可能存在着不同第一发送码率阈值的具体值。
同样,平均主观意见分决策结果达到的第一预设条件,具体的条件设置也可以根据实际情况进行灵活选择,在一种可能的实现方式中,第一预设条件可以包括:平均主观意见分低于第一主观意见分阈值,且在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值;即平均主观意见分较低,且在一定时间内持续进行较高比例的丢包时,则说明当前网络信号状态较差,不足以维持当前分辨率下视频通话的高质量进行,因此可以触发对视频通话分辨率的调整。其中第一主观意见分阈值、第一连续时间阈值和第一丢包比阈值均可以根据实际情况进行灵活设定,并不做具体值的限定,在一个示例中,第一连续时间阈值可以在1~10s内进行选择;在一个示例中,第一连续时间阈值可以为5s;在一个示例中,第一丢包比阈值可以在1%~5%内进行选择;在一个示例中,第一丢包比阈值可以为2%。在一种可能的实现方式中,在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值,可以包括:在连续5s内,视频通话的丢包比例均大于2%。
在达到了上述任一种形式的触发条件后,可以触发MO下调当前分辨率,具体如何下调当前分辨率可以根据实际情况进行灵活选择,并不局限于下述某一种方式。在一个示例中,下调分辨率的方式可以为逐级下调,以上述示例中MO内视频分辨率的等级排序为720P>VGA30=VGA15>QVGA15为例,在本示例中进行逐级下调时,如果当前分辨率是VGA30或是VGA15,则在达到触发下调分辨率的条件时,可以直接下调分辨率至QVGA15;如果当前分辨率是720P,则在达到触发下调分辨率的条件时,可以先下调分辨率至VGA30或是VGA15。在一个示例中,下调分辨率的方式可以为直接下调,即不按照分辨率的等级排序进行逐级下调,而是直接设定下调至某一分辨率格式,同样以MO内视频分辨率的等级排序为720P>VGA30=VGA15>QVGA15为例,在本示例中进行直接下调时,无论当前分辨率为720P、VGA30还是VGA15,在达到触发下调分辨率的条件时,均直接下调至QVGA15。
图4示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图,如图所示,在一种可能的实现方式中,在网络信号状态减弱的情况下,根据实际发送码率和所述平均主观意见分,下调所述当前分辨率,还可以包括:
步骤S1313,在网络信号状态减弱,且当前分辨率未达到最小分辨率时,根据实际发送码率和平均主观意见分,继续下调当前分辨率。
步骤S1314,在网络信号状态减弱,且当前分辨率达到最小分辨率时,停止下调当前分辨率。
在一个示例中,由于下调当前分辨率的方式可能是逐级下调,因此在网络信号状态继续减弱,且当前分辨率未达到最小分辨率时,可以继续通过上述方式进行判断,如果再次达到下调分辨率的触发条件,则继续下调分辨率,直至网络信号状态不再减弱,或是当前分辨率达到了最小分辨率,才停止对当前分辨率的下调。在一个示例中,以上述示例中MO内视频分辨率的等级排序为720P>VGA30=VGA15>QVGA15为例,在本示例中进行逐级下调时,如果当前分辨率是VGA30或是VGA15,则在达到触发下调分辨率的条件时,可以直接下调分辨率至QVGA15;如果当前分辨率是720P,则在达到触发下调分辨率的条件时,可以先下调分辨率至VGA30或是VGA15,并进一步对网络信号状态进行监控,如果发现网络信号状态持续减弱,不足以支撑在VGA30或VGA15分辨率下的视频通话流畅进行时,则可以对当前分辨率进行进一步下调,调整至QVGA15,由于在本示例中,QVGA15已是最小的分辨率格式,因此无论网络状态是否仍持续减弱,都不再继续调整当前分辨率。
同理,在网络信号转强时具体如何提升当前分辨率,也可以根据实际情况灵活选择。图5示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图,如图所示,在一种可能的实现方式中,在网络信号状态增强的情况下,根据实际发送码率和平均主观意见分,基于视频通话的初始分辨率,提升当前分辨率,可以包括:
步骤S1321,读取当前分辨率和视频通话的初始分辨率。
步骤S1322,在当前分辨率小于初始分辨率,实际发送码率大于第二发送码率阈值,且平均主观意见分决策结果达到第二预设条件时,将当前分辨率提升一级。
提升分辨率时,分辨率格式的组合情况可以参考下调分辨率时的组合情况,在此不再赘述。具体在何种情况下对当前分辨率进行提升,可以根据实际情况进行具体条件的设定,在一个示例中,对当前分辨率进行提升的触发情况可以为:在实际发送码率大于第二发送码率阈值,且平均主观意见分决策结果达到第二预设条件时,会触发对当前分辨率的提升。
第二发送码率阈值是一个人为设定的阈值,具体的设定值并不受限定,同时它可以跟随当前分辨率情况的不同,随之发生改变。
在一个示例中,第二发送码率阈值的具体设定值可能与当前分辨率是否为最小分辨率有关,最小分辨率可以是视频通话系统中,规定的最小等级的分辨率格式。在当前分辨率是最小分辨率的情况下,这一最小分辨率可以是QVGA15、VGA30、VGA15或是其他预设值,可以记为此时的第二发送码率阈值的具体值为码率阈值E,在实际发送码率大于码率阈值E且平均主观意见分决策结果达到第二预设条件时,可以对当前分辨率进行提升,具体提升的方式不受限定,在后续会进行举例说明,在一个示例中,视频通话的最小分辨率可能是QVGA15,在进行提升后可能被调整为VGA15,此时网络信号状态可能继续增强,则此时可以存在另一个第二发送码率阈值的具体值为码率阈值F,码率阈值F>码率阈值E,在实际发送码率大于码率阈值F且平均主观意见分决策结果达到第二预设条件时,可以对当前已经提升至VGA15的分辨率进行进一步提升,可能被调整为720P,由此可见,第二发送码率阈值的具体值可能与当前分辨率是不是最小分辨率有关,在当前分辨率是最小分辨率时,可以存在一个第二发送码率阈值用于当前分辨率的提升,在当前分辨率不是最小分辨率时,可以存在一个不同值的第二发送码率阈值,用于当前分辨率的进一步提升。
在一个示例中,第二发送码率阈值的具体设定值可能与当前分辨率具体为何种格式有关,在一种可能的实现方式中,当前分辨率可以为QVGA15,可以记为此时的第一发送码率阈值的具体值为码率阈值G,在实际发送码率大于码率阈值G且平均主观意见分决策结果达到第二预设条件时,可以对当前分辨率进行提升,提升至高于QVGA15的某一分辨率上,具体提升的方式不受限定,在后续会进行举例说明,而如果当前分辨率为VGA30时,则此时可以存在另一个第二发送码率阈值的具体值为码率阈值H,在实际发送码率大于码率阈值H且平均主观意见分决策结果达到第二预设条件时,可以对当前分辨率进行提升,提升至高于VGA30的某一分辨率上,对于当前分辨率为QVGA15的情况来说,当实际发送码率大于码率阈值H且平均主观意见分决策结果达到第二预设条件时,不会影响到QVGA15进行分辨率提升的触发,同理,对于当前分辨率为VGA30的情况来说,当实际发送码率大于码率阈值G且平均主观意见分决策结果达到第二预设条件时,同样也不会影响到VGA30进行分辨率提升的触发,由此可见,第二发送码率阈值的具体值可能与当前分辨率是何种具体格式有关,不同格式的分辨率可能存在着不同第二发送码率阈值的具体值。
同样,平均主观意见分决策结果达到的第二预设条件,具体的条件设置也可以根据实际情况进行灵活选择,在一种可能的实现方式中,第二预设条件可以包括:平均主观意见分高于第二主观意见分阈值,且在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值;即平均主观意见分较高,且在一定时间内持续进行较低比例的丢包时,则说明当前网络信号状态较好,可以支持更高分辨率下视频通话的高质量进行,因此可以触发对视频通话分辨率的调整。其中第二主观意见分阈值、第二连续时间阈值和第二丢包比阈值均可以根据实际情况进行灵活设定,并不做具体值的限定,在一个示例中,第二连续时间阈值可以在1~10s内进行选择;在一个示例中,第二连续时间阈值可以为5s;在一个示例中,第二丢包比阈值可以在0.1%~5%内进行选择;在一个示例中,第二丢包比阈值可以为1%。在一种可能的实现方式中,在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值,可以包括:在连续5s内,视频通话的丢包比例均小于1%。
在达到了上述任一种形式的触发条件后,可以触发MO提升当前分辨率,具体如何提升当前分辨率可以根据实际情况进行灵活选择,并不局限于下述某一种方式。在一个示例中,提升分辨率的方式可以为依据视频通话的初始分辨率逐级提升,初始分辨率与下调时提出的初始分辨率意义一致,以上述示例中MO内视频分辨率的等级排序为720P>VGA30=VGA15>QVGA15为例,在本示例中进行逐级提升时,如果当前分辨率是QVGA15,而初始分辨率为VGA30或是VGA15时,则在达到触发提升分辨率的条件时,可以直接提升分辨率至VGA30或是VGA15;如果当前分辨率是QVGA15,而初始分辨率为720P,则在达到触发提升分辨率的条件时,可以先提升分辨率至VGA30或是VGA15。在一个示例中,提升分辨率的方式可以为直接提升,即不按照分辨率的等级排序进行逐级提升,而是直接设定将分辨率提升至初始分辨率,同样以MO内视频分辨率的等级排序为720P>VGA30=VGA15>QVGA15为例,在本示例中进行直接提升时,无论当前分辨率与初始分辨率之间存在几种等级差异,都直接提升至初始分辨率,即在当前分辨率是QVGA15时,如果初始分辨率是VGA15或是VGA30,在达到分辨率提升的触发条件时,将分辨率直接提升至VGA15或是VGA30,如果初始分辨率是720P,在达到分辨率提升的触发条件时,同样将分辨率直接提升至720P,而不再过渡至VGA15或是VGA30。
图6示出根据本公开一实施例的用于视频通话的分辨率调整方法的流程图,如图所示,在一种可能的实现方式中在网络信号状态增强的情况下,根据实际发送码率和平均主观意见分,基于视频通话的初始分辨率,提升当前分辨率,还可以包括:
步骤S1323,在网络信号状态增强,且当前分辨率未达到初始分辨率时,根据实际发送码率和平均主观意见分,继续提升当前分辨率。
步骤S1324,在网络信号状态增强,且当前分辨率达到初始分辨率时,停止提升当前分辨率。
在一个示例中,由于提升当前分辨率的方式可能是逐级提升,因此在网络信号状态继续增强,且当前分辨率未达到初始分辨率时,可以继续通过上述方式进行判断,如果再次达到提升分辨率的触发条件,则提升下调分辨率,直至网络信号状态不再增强,或是当前分辨率达到了初始分辨率,才停止对当前分辨率的提升。在一个示例中,以上述示例中MO内视频分辨率的等级排序为720P>VGA30=VGA15>QVGA15为例,在本示例中进行逐级提升时,如果当前分辨率是QVGA15,而初始分辨率为VGA30或是VGA15时,则在达到触发提升分辨率的条件时,可以直接提升分辨率至VGA30或是VGA15;如果当前分辨率是QVGA15,而初始分辨率为720P,则在达到触发提升分辨率的条件时,可以先提升分辨率至VGA30或是VGA15,如果网络信号状态持续增强,达到相应的触发条件,可以支撑视频通话以更高形式的分辨率流畅进行,则可以继续提升分辨率至720P。在本示例中,如果当前分辨率达到了初始分辨率,则可以停止继续提升当前分辨率。在一种可能的实现方式中,为了进一步提升视频通话的质量,让用户有更高的视频通话体验,也可以在网络信号持续转好,可以支持在高于初始分辨率的分辨率格式下进行流畅视频通话时,为用户提供对应的选项,使视频通话在高于初始分辨率的分辨率格式下正常进行。在一个示例中,初始分辨率可以是VGA30,当前分辨率时QVGA15,在达到上述任意形式的提升当前分辨率的触发条件时,可以将当前分辨率提升至VGA30,当网络信号状态进一步增强,可以达到进一步提升当前分辨率的触发条件时,可以向用户发送通知,请求以高于初始分辨率VGA30的分辨率格式,如720P的格式进行视频通话,或是直接进一步提升当前分辨率至720P,来进一步提升视频通话的质量。
这样,通过不断获取视频通话过程中的实际发送码率和MOS,可以对视频通话的当前分辨率和网络信号状态的匹配程度产生一定的判断,基于此判断结果,可以跟随网络信号状态的实际情况灵活调整视频通话的分辨率,从而保证当前的网络信号状态可以支撑视频通话以该调整后的分辨率流畅和高质量的进行,从而使视频画面更加流畅;在网络信号状态转弱时可以通过调低视频通话的分辨率格式保障视频画面的完整度和通话的流畅程度,在网络信号状态转强时可以通过调高视频通话的分辨率格式提升清晰度,从而综合的提升视频通话的质量,提升用户的体验感受。
图7示出了根据本公开一实施例的用于视频通话的分辨率调整装置的框图,如图所示,该装置20包括:
实际发送码率获取单元21,用于获取视频通话过程中的实际发送码率;
平均主观意见分MOS获取单元22,用于获取视频通话过程中的平均主观意见分;
分辨率调整单元23,用于根据实际发送码率和平均主观意见分,基于视频通话的初始分辨率,对视频通话的当前分辨率进行调整,使当前分辨率与网络信号状态相匹配。
在一种可能的实现方式中,实际发送码率获取单元用于:直接读取发送数据的移动终端输出的实际发送码率。
在一种可能的实现方式中,平均主观意见分MOS获取单元用于:获取接收数据的移动终端反馈的接收端报告;根据所述接收端报告,获取网络参数;将所述网络参数通过视频质量评估模型,得到的输出结果作为平均主观意见分。
在一种可能的实现方式中,分辨率调整单元包括:分辨率下调子单元,用于在网络信号状态减弱的情况下,根据实际发送码率和所述平均主观意见分,下调所述当前分辨率;或者,分辨率提升子单元,用于在网络信号状态增强的情况下,根据实际发送码率和平均主观意见分,基于视频通话的初始分辨率,提升当前分辨率。
在一种可能的实现方式中,分辨率下调子单元用于:读取当前分辨率;在实际发送码率小于第一发送码率阈值,且平均主观意见分决策结果达到第一预设条件时,将当前分辨率下调一级。
在一种可能的实现方式中,第一预设条件包括:平均主观意见分低于第一主观意见分阈值,且在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值。
在一种可能的实现方式中,在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值,包括:在连续5s内,视频通话的丢包比例均大于2%。
在一种可能的实现方式中,分辨率下调子单元进一步用于:在网络信号状态减弱,且当前分辨率未达到最小分辨率时,根据实际发送码率和平均主观意见分,继续下调当前分辨率;在网络信号状态减弱,且当前分辨率达到最小分辨率时,停止下调当前分辨率。
在一种可能的实现方式中,分辨率提升子单元用于:读取当前分辨率和视频通话的初始分辨率;在当前分辨率小于初始分辨率,实际发送码率大于第二发送码率阈值,且平均主观意见分决策结果达到第二预设条件时,将当前分辨率提升一级。
在一种可能的实现方式中,第二预设条件包括:平均主观意见分高于第二主观意见分阈值,且在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值。
在一种可能的实现方式中,在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值,包括:在连续5s内,视频通话的丢包比例均小于1%。
在一种可能的实现方式中,分辨率提升子单元进一步用于:在网络信号状态增强,且当前分辨率未达到所述初始分辨率时,根据实际发送码率和平均主观意见分,继续提升当前分辨率;在网络信号状态增强,且当前分辨率达到初始分辨率时,停止提升当前分辨率。
图8~图9示出了本公开一应用实例的示意图,该应用示例仅为便于理解本公开实施例,不对本公开实施例进行限制。
图8和图9分别为网络信号状态由“好点”转为“差点”和网络信号状态由“差点”转为“好点”时,对视频通话分辨率调整的具体流程。如图8所示,在进行视频通话的过程中,MO首先通过读取获取MO端的实际发送码率,同时MO端接收MT端反馈的RR,从RR中读取丢包值和抖动值,并将此丢包值和抖动值通过预先训练好的视频质量评估模型,得到输出的MOS分,在获取了实际发送码率和MOS分后,MO端再读取视频通话过程中的当前分辨率,并依据此当前分辨率、实际发送码率和MOS分开始进行判断,从图中可以看出,如果当前分辨率为720P,则首先判断实际发送码率是否小于码率阈值1且第一决策算法返回真值true,码率阈值1的值在本示例中不做具体限定,根据实际情况选择,第一决策算法在本示例中具体为:若连续5s都有丢包大于2%,且MOS分小于第一主观意见分阈值,则返回true,否则返回非真值false,第一主观意见分阈值为人为设定的阈值,在此不做限定。如果上述两个条件同时满足,则说明当前网络信号状态变差,需要调低当前分辨率,此时可以将当前分辨率从720P调至VGA15。若是当前分辨率为VGA30或是VGA15,或是经由720P调整后的VGA15,则可以继续进行判断,从图中进一步可以看出,当分辨率为VGA30或是VGA15时,首先判断实际发送码率是否小于码率阈值2,且第一决策算法返回真值true,码率阈值2的值同样在本示例中不做具体限定,根据实际情况选择,第一决策算法与上述中的第一决策算法一致,在此不再赘述。如果上述两个条件同时满足,则继续调低视频通话的分辨率,将其降为QVGA15。如果网络信号状态继续转差,由于本示例中QVGA15已是可选的最低分辨率,因此不再继续调整分辨率的值,始终维持在QVGA15,如果网络状态转好,则可以相应的提升分辨率,具体过程可以如图9所示。
从图9中可以看出,当网络信号状态由“差点”转为“好点”时,对分辨率的调整过程可以为:MO首先获取MO端的实际发送码率和MOS分,具体的获取方式可以与图8中的过程相同,在此不再赘述,在获取了实际发送码率和MOS分后,MO端再读取视频通话过程中的初始分辨率和当前分辨率,并依据初始分辨率、当前分辨率、实际发送码率和MOS分开始进行判断,从图中可以看出,如果当前分辨率为QVGA15,则首先判断实际发送码率是否大于码率阈值4且第二决策算法返回真值true,码率阈值4的值在本示例中不做具体限定,根据实际情况选择,第二决策算法在本示例中具体为:若连续5s都有丢包小于1%,且MOS分大于第二主观意见分阈值,则返回true,否则返回false,第二主观意见分阈值为人为设定的阈值,在此不作限定。如果上述两个条件同时满足,则说明当前网络信号状态变好,可以提升当前分辨率,此时如果初始分辨率是720P,则可以首先将当前分辨率从QVGA15调至VGA15。若是初始分辨率为VGA30或是VGA15,则可以直接将当前分辨率调整至对应的初始分辨率,即VGA30或VGA15。从图中进一步可以看出,当初始分辨率为720P时,在将当前分辨率从QVGA15提升至VGA15后,可以在网络环境进一步好转时提升分辨率,此时可以判断实际发送码率是否大于码率阈值3,且第二决策算法返回真值true,码率阈值3的值同样在本示例中不做具体限定,根据实际情况选择,第二决策算法与上述中的第二决策算法一致,在此不再赘述。如果上述两个条件同时满足,则继续提升视频通话的分辨率,将其升为720P。如果网络信号状态继续提升,由于本示例中视频通话的分辨率经调整已达到初始分辨率,因此不再继续调整分辨率的值,始终维持在初始分辨率上,如果网络状态又转差,则再返回到图8的过程,保证视频通话的分辨率可以与网络信号状态进行实时适应。
图10是根据一示例性实施例示出的一种用于视频通话的分辨率调整装置1300的框图。例如,装置1300可以被提供为一服务器。参照图10,装置1300包括处理组件1322,其进一步包括一个或多个处理器,以及由存储器1332所代表的存储器资源,用于存储可由处理组件1322的执行的指令,例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1322被配置为执行指令,以执行上述方法。
装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理,一个有线或无线网络接口1350被配置为将装置1300连接到网络,和一个输入输出(I/O)接口1358。装置1300可以操作基于存储在存储器1332的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1332,上述计算机程序指令可由装置1300的处理组件1322执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (22)

1.一种用于视频通话的分辨率调整方法,其特征在于,所述方法应用于发送数据的移动终端,包括:
获取视频通话过程中的实际发送码率;
获取视频通话过程中的平均主观意见分MOS;
根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,对视频通话的当前分辨率进行调整,使所述当前分辨率与网络信号状态相匹配,
其中,所述根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,对视频通话的当前分辨率进行调整,使所述当前分辨率与网络信号状态相匹配,包括:
在网络信号状态减弱的情况下,根据所述实际发送码率和所述平均主观意见分,下调所述当前分辨率;或者,
在网络信号状态增强的情况下,根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,提升所述当前分辨率;
获取视频通话过程中的平均主观意见分MOS,包括:
获取接收数据的移动终端反馈的接收端报告;
根据所述接收端报告,获取网络参数;
将所述网络参数通过视频质量评估模型,得到的输出结果作为平均主观意见分。
2.根据权利要求1所述的用于视频通话的分辨率调整方法,其特征在于,获取视频通话过程中的实际发送码率,包括:
直接读取发送数据的移动终端输出的实际发送码率。
3.根据权利要求1所述的用于视频通话的分辨率调整方法,其特征在于,在网络信号状态减弱的情况下,根据所述实际发送码率和所述平均主观意见分,下调所述当前分辨率,包括:
读取所述当前分辨率;
在所述实际发送码率小于第一发送码率阈值,且平均主观意见分决策结果达到第一预设条件时,将所述当前分辨率下调一级。
4.根据权利要求3所述的用于视频通话的分辨率调整方法,其特征在于,所述第一预设条件包括:
平均主观意见分低于第一主观意见分阈值,且在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值。
5.根据权利要求4所述的用于视频通话的分辨率调整方法,其特征在于,在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值,包括:
在连续5s内,视频通话的丢包比例均大于2%。
6.根据权利要求3所述的用于视频通话的分辨率调整方法,其特征在于,在网络信号状态减弱的情况下,根据所述实际发送码率和所述平均主观意见分,下调所述当前分辨率,还包括:
在网络信号状态减弱,且所述当前分辨率未达到最小分辨率时,根据所述实际发送码率和所述平均主观意见分,继续下调所述当前分辨率;
在网络信号状态减弱,且所述当前分辨率达到最小分辨率时,停止下调所述当前分辨率。
7.根据权利要求1所述的用于视频通话的分辨率调整方法,其特征在于,在网络信号状态增强的情况下,根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,提升所述当前分辨率,包括:
读取所述当前分辨率和视频通话的初始分辨率;
在所述当前分辨率小于所述初始分辨率,所述实际发送码率大于第二发送码率阈值,且平均主观意见分决策结果达到第二预设条件时,将所述当前分辨率提升一级。
8.根据权利要求7所述的用于视频通话的分辨率调整方法,其特征在于,所述第二预设条件包括:
平均主观意见分高于第二主观意见分阈值,且在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值。
9.根据权利要求8所述的用于视频通话的分辨率调整方法,其特征在于,在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值,包括:
在连续5s内,视频通话的丢包比例均小于1%。
10.根据权利要求9所述的用于视频通话的分辨率调整方法,其特征在于,在网络信号状态增强的情况下,根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,提升所述当前分辨率,还包括:
在网络信号状态增强,且所述当前分辨率未达到所述初始分辨率时,根据所述实际发送码率和所述平均主观意见分,继续提升所述当前分辨率;
在网络信号状态增强,且所述当前分辨率达到初始分辨率时,停止提升所述当前分辨率。
11.一种用于视频通话的分辨率调整装置,其特征在于,包括:
实际发送码率获取单元,用于获取视频通话过程中的实际发送码率;
平均主观意见分MOS获取单元,用于获取视频通话过程中的平均主观意见分;
分辨率调整单元,用于根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,对视频通话的当前分辨率进行调整,使所述当前分辨率与网络信号状态相匹配,
其中,所述分辨率调整单元包括:
分辨率下调子单元,用于在网络信号状态减弱的情况下,根据所述实际发送码率和所述平均主观意见分,下调所述当前分辨率;或者,
分辨率提升子单元,用于在网络信号状态增强的情况下,根据所述实际发送码率和所述平均主观意见分,基于视频通话的初始分辨率,提升所述当前分辨率;
所述平均主观意见分MOS获取单元还用于:
获取接收数据的移动终端反馈的接收端报告;
根据所述接收端报告,获取网络参数;
将所述网络参数通过视频质量评估模型,得到的输出结果作为平均主观意见分。
12.根据权利要求11所述的用于视频通话的分辨率调整装置,其特征在于,所述实际发送码率获取单元用于:
直接读取发送数据的移动终端输出的实际发送码率。
13.根据权利要求11所述的用于视频通话的分辨率调整装置,其特征在于,所述分辨率下调子单元用于:
读取所述当前分辨率;
在所述实际发送码率小于第一发送码率阈值,且平均主观意见分决策结果达到第一预设条件时,将所述当前分辨率下调一级。
14.根据权利要求13所述的用于视频通话的分辨率调整装置,其特征在于,所述第一预设条件包括:
平均主观意见分低于第一主观意见分阈值,且在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值。
15.根据权利要求14所述的用于视频通话的分辨率调整装置,其特征在于,在第一连续时间阈值内,视频通话的丢包比例大于第一丢包比阈值,包括:
在连续5s内,视频通话的丢包比例均大于2%。
16.根据权利要求13所述的用于视频通话的分辨率调整装置,其特征在于,所述分辨率下调子单元进一步用于:
在网络信号状态减弱,且所述当前分辨率未达到最小分辨率时,根据所述实际发送码率和所述平均主观意见分,继续下调所述当前分辨率;
在网络信号状态减弱,且所述当前分辨率达到最小分辨率时,停止下调所述当前分辨率。
17.根据权利要求11所述的用于视频通话的分辨率调整装置,其特征在于,所述分辨率提升子单元用于:
读取所述当前分辨率和视频通话的初始分辨率;
在所述当前分辨率小于所述初始分辨率,所述实际发送码率大于第二发送码率阈值,且平均主观意见分决策结果达到第二预设条件时,将所述当前分辨率提升一级。
18.根据权利要求17所述的用于视频通话的分辨率调整装置,其特征在于,所述第二预设条件包括:
平均主观意见分高于第二主观意见分阈值,且在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值。
19.根据权利要求18所述的用于视频通话的分辨率调整装置,其特征在于,在第二连续时间阈值内,视频通话的丢包比例小于第二丢包比阈值,包括:
在连续5s内,视频通话的丢包比例均小于1%。
20.根据权利要求17所述的用于视频通话的分辨率调整装置,其特征在于,所述分辨率提升子单元进一步用于:
在网络信号状态增强,且所述当前分辨率未达到所述初始分辨率时,根据所述实际发送码率和所述平均主观意见分,继续提升所述当前分辨率;
在网络信号状态增强,且所述当前分辨率达到初始分辨率时,停止提升所述当前分辨率。
21.一种用于视频通话的分辨率调整装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-10任一项所述的方法。
22.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至10中任意一项所述的方法。
CN201910142646.6A 2019-02-26 2019-02-26 一种用于视频通话的分辨率调整方法及装置 Active CN111294546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910142646.6A CN111294546B (zh) 2019-02-26 2019-02-26 一种用于视频通话的分辨率调整方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910142646.6A CN111294546B (zh) 2019-02-26 2019-02-26 一种用于视频通话的分辨率调整方法及装置

Publications (2)

Publication Number Publication Date
CN111294546A CN111294546A (zh) 2020-06-16
CN111294546B true CN111294546B (zh) 2022-01-25

Family

ID=71024159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910142646.6A Active CN111294546B (zh) 2019-02-26 2019-02-26 一种用于视频通话的分辨率调整方法及装置

Country Status (1)

Country Link
CN (1) CN111294546B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333414A (zh) * 2020-10-30 2021-02-05 维沃移动通信有限公司 视频通话方法、装置、电子设备及可读存储介质
CN112804469B (zh) * 2021-01-04 2023-03-24 北京小米松果电子有限公司 视频通话处理方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119483A (zh) * 2006-07-31 2008-02-06 联想(北京)有限公司 一种基于源质量的视频流传输速率调整方法
CN101222296A (zh) * 2008-01-31 2008-07-16 上海交通大学 上行蜂窝视频通信中自适应的传输方法及系统
US20110267951A1 (en) * 2009-06-12 2011-11-03 Cygnus Broadband, Inc. Systems and Methods For Prioritization of Data For Intelligent Discard in a Communication Network
CN102469374A (zh) * 2010-11-12 2012-05-23 北京信威通信技术股份有限公司 一种无线通信中视频业务跨层优化的方法
CN102802089A (zh) * 2012-09-13 2012-11-28 浙江大学 一种基于体验质量预测的移动视频码率调整方法
CN102917201A (zh) * 2012-07-18 2013-02-06 北京博惠聚通科技有限责任公司 一种基于物联网和云计算的物流调度方法及系统
CN104702922A (zh) * 2013-12-10 2015-06-10 中国电信股份有限公司 一种视频传输方法和系统
CN105100675A (zh) * 2015-09-11 2015-11-25 Tcl集团股份有限公司 一种终端视频通信的质量调节方法及系统
CN105163134A (zh) * 2015-08-03 2015-12-16 腾讯科技(深圳)有限公司 直播视频的视频编码参数设置方法、装置及视频编码设备
US20160021161A1 (en) * 2014-07-16 2016-01-21 Alcatel-Lucent Usa, Inc. Mobile network video optimization for centralized processing base stations
CN106792146A (zh) * 2016-09-22 2017-05-31 南京邮电大学 一种视频业务中数据驱动的用户体验的客观评价方法
CN108881780A (zh) * 2018-07-17 2018-11-23 聚好看科技股份有限公司 视频通话中动态调整清晰度模式的方法、服务器
CN109361756A (zh) * 2018-11-08 2019-02-19 重庆急视飞救科技发展有限公司 基于120网络报警的跨平台数据传输方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119483A (zh) * 2006-07-31 2008-02-06 联想(北京)有限公司 一种基于源质量的视频流传输速率调整方法
CN101222296A (zh) * 2008-01-31 2008-07-16 上海交通大学 上行蜂窝视频通信中自适应的传输方法及系统
US20110267951A1 (en) * 2009-06-12 2011-11-03 Cygnus Broadband, Inc. Systems and Methods For Prioritization of Data For Intelligent Discard in a Communication Network
CN102469374A (zh) * 2010-11-12 2012-05-23 北京信威通信技术股份有限公司 一种无线通信中视频业务跨层优化的方法
CN102917201A (zh) * 2012-07-18 2013-02-06 北京博惠聚通科技有限责任公司 一种基于物联网和云计算的物流调度方法及系统
CN102802089A (zh) * 2012-09-13 2012-11-28 浙江大学 一种基于体验质量预测的移动视频码率调整方法
CN104702922A (zh) * 2013-12-10 2015-06-10 中国电信股份有限公司 一种视频传输方法和系统
US20160021161A1 (en) * 2014-07-16 2016-01-21 Alcatel-Lucent Usa, Inc. Mobile network video optimization for centralized processing base stations
CN105163134A (zh) * 2015-08-03 2015-12-16 腾讯科技(深圳)有限公司 直播视频的视频编码参数设置方法、装置及视频编码设备
CN105100675A (zh) * 2015-09-11 2015-11-25 Tcl集团股份有限公司 一种终端视频通信的质量调节方法及系统
CN106792146A (zh) * 2016-09-22 2017-05-31 南京邮电大学 一种视频业务中数据驱动的用户体验的客观评价方法
CN108881780A (zh) * 2018-07-17 2018-11-23 聚好看科技股份有限公司 视频通话中动态调整清晰度模式的方法、服务器
CN109361756A (zh) * 2018-11-08 2019-02-19 重庆急视飞救科技发展有限公司 基于120网络报警的跨平台数据传输方法

Also Published As

Publication number Publication date
CN111294546A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN108881780B (zh) 视频通话中动态调整清晰度模式的方法、服务器
US9699099B2 (en) Method of transmitting data in a communication system
EP3866474B1 (en) Video self-adaptation method, related device and storage medium
US10045089B2 (en) Selection of encoder and decoder for a video communications session
TWI680662B (zh) 在網路裝置所執行之進行流量對話中分配該網路可用頻寬之方法及其裝置
US20140348246A1 (en) Video Conversion Method and Apparatus
CN104980411B (zh) 视频通话的控制方法、服务器、终端及视频通话系统
JP2015536594A (ja) 積極的なビデオフレームドロップ
CN106576345B (zh) 通过蜂窝网络传播通信感知
CN111294546B (zh) 一种用于视频通话的分辨率调整方法及装置
EP2272237B1 (en) Method of transmitting data in a communication system
CN104639978A (zh) 多媒体处理方法及装置
CN111028792B (zh) 显示控制方法及装置
CN107211057B (zh) 管理电子通信会话的方法和系统
EP2437473A2 (en) Control apparatus and control method
CN114788297B (zh) 上下文相关的呼叫中视频编解码器切换
US10404606B2 (en) Method and apparatus for acquiring video bitstream
JP4685372B2 (ja) 移動通信端末機の映像データ処理方法
CN112929712A (zh) 视频码率调整方法和装置
CN112422591A (zh) 一种传输视频流数据的方法、装置及电子设备
US8830853B2 (en) Signal processing
EP3920537A1 (en) Video decoding method and apparatus, video encoding method and apparatus, storage medium and electronic device
CN112333414A (zh) 视频通话方法、装置、电子设备及可读存储介质
US10666999B2 (en) Methods and apparatus for adaptive video transmission based on channel capacity
EP3235258B1 (en) Adjusting quality level of media streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant