CN108668167A - 一种视频还原的方法及装置 - Google Patents

一种视频还原的方法及装置 Download PDF

Info

Publication number
CN108668167A
CN108668167A CN201710192936.2A CN201710192936A CN108668167A CN 108668167 A CN108668167 A CN 108668167A CN 201710192936 A CN201710192936 A CN 201710192936A CN 108668167 A CN108668167 A CN 108668167A
Authority
CN
China
Prior art keywords
video
frame
data
information
sequence
Prior art date
Application number
CN201710192936.2A
Other languages
English (en)
Inventor
秦宇
黄成�
Original Assignee
中国移动通信有限公司研究院
中国移动通信集团公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国移动通信有限公司研究院, 中国移动通信集团公司 filed Critical 中国移动通信有限公司研究院
Priority to CN201710192936.2A priority Critical patent/CN108668167A/zh
Publication of CN108668167A publication Critical patent/CN108668167A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Abstract

本发明公开了一种视频还原的方法及装置,该方法为获取接收端上传的视频信息;对视频信息进行解码,获得解码信息,其中,解码信息中包括负载信息和数据包包头信息;对负载信息进行重组处理,获得解码视频,以及对数据包包头信息进行序列分析,获得视频丢帧信息;基于视频丢帧信息,对解码视频进行丢帧补偿处理,获得还原视频,这样,本方案不需要附加设备,降低了软件和硬件成本,简化了视频获取的步骤,减小了视频的失真度,提高了还原视频的精度。

Description

一种视频还原的方法及装置

技术领域

[0001] 本发明涉及无线通信及计算机技术领域,尤其涉及一种视频还原的方法及装置。

背景技术

[0002]随着4G IP数据传输技术(Voice over Long Term Evolution,VoLTE)的广泛应 用,通过VoLTE进行视频通话的需求也在不断的增加,因此,视频通话的质量测试也成为关 注的焦点。

[0003] 现有技术下,对视频质量进行测试时,首先,获取发送端和接收端的视频数据,然 后,将发送端和接收端的视频数据进行帧对帧的对比分析,从而获得视频质量的测试结果。

[0004] 其中,获取接收端的视频数据主要采用以下两种方式:

[0005] 第一种方式为:采用高清摄像头进行拍摄的方式获取接收端的视频数据,即在接 收端的屏幕前放置高清摄像头,然后,在接收端接收视频数据之前开始拍摄,并且设置拍摄 帧率高于接收端视频的播放帧率,以及在视频数据接收停止之后停止拍摄,进一步地,在拍 摄完成后,对拍摄的视频的分辨率、帧率和长度进行调整,从而使拍摄的视频尽量贴近接收 端播放的视频。

[0006] 但是,采用第一种方式,首先,需要外接摄像头设备,这对测试环境要求高,不适于 路测等情况,其次,采用摄像头进行拍摄时,拍摄的角度对测试的结果影响较大,需要手动 对拍摄的角度进行调整,进一步地,需要对拍摄的视频数据进行后期的处理,这会造成视频 的失真,并且难以在帧率、分辨率以及色彩方面进行精确地视频还原,进而无法获得精确地 视频质量测量结果。

[0007] 第二种方式为:采用屏幕录制方式获取接收端的视频数据,即在接收端中安装屏 幕录制软件,然后,在接收端接收视频数据之前开始录制,并且设置屏幕录制的帧率高于接 收端视频的播放帧率,以及设置录制视频的分辨率不低于接收端视频的分辨率,进一步地, 在视频数据接收停止之后停止录制,最后对录制视频的分辨率、帧率以及长度进行调整,从 而使录制的视频尽量贴近接收端播放的视频。

[0008] 但是,采用第二种方式,首先,录制后的视频需要进行后期处理,这也会造成视频 的失真,其次,由于屏幕录制会占用大量的系统资源,因此,这会对视频通信造成一定的影 响,从而降低接收端接收的视频的质量,进一步地,屏幕录制对接收端设备的配置要求较 局,提局了硬件成本。

发明内容

[0009] 本发明实施例提供一种视频还原的方法及装置,用于在进行视频还原时,简化视 频还原的繁琐操作,提高还原视频的精度。

[0010] 本发明实施例提供的具体技术方案如下:

[0011] —种视频还原的方法,包括:

[0012] 获取接收端上传的视频信息;

[0013] 对视频信息进行解码,获得解码信息,其中,解码信息中包括负载信息和数据包包 头信息;

[0014] 对负载信息进行重组处理,获得解码视频,以及对数据包包头信息进行序列分析, 获得视频丢帧信息;

[0015] 基于视频丢帧信息,对解码视频进行丢帧补偿处理,获得还原视频。

[0016] 较佳的,获取接收端上传的视频信息,具体包括:

[0017] 获取接收端对接收的视频通话进行抓包处理后上传的视频信息,其中,抓包处理 需要接收端在视频通话开始前开始进行数据抓包,并在视频通话结束后停止数据抓包。

[0018] 较佳的,对负载信息进行重组处理,获得解码视频,具体包括:

[0019] 获取负载信息包含的每一帧视频数据,每一帧视频数据对应的时间戳,以及每一 帧视频数据中包含的各个数据包的序列号;

[0020] 分别基于每一帧视频数据中包含的各个数据包的序列号,按照序列号由小到大的 顺序,对每一帧视频数据中包含的各个数据包的顺序进行调整,以及确定存在数据包丢失 的视频数据时,将数据包丢失的视频数据丢弃;

[0021] 基于每一帧视频数据对应的时间戳,按照时间戳的先后顺序,将各帧视频数据进 行排序,获得解码视频。

[0022] 较佳的,对数据包包头信息进行序列分析,获得视频丢帧信息,具体包括:

[0023] 获取数据包包头信息中每一个数据包的序列号,以及每一帧视频数据对应的时间 戳;

[0024] 判断每一帧视频数据包含的各个数据包的序列号是否连续,获得判断结果集合; [0025] 基于判断结果集合,将判断结果集合中表征数据包非连续的各帧视频数据丢弃; [0026] 计算判断结果集合中表征数据包连续的各帧视频数据的丢帧帧数,获得丢帧集 合,其中,丢帧帧数=(本帧时间戳-前一帧时间戳)*帧率/时钟钟率_ 1;

[0027] 基于丢帧集合中包含的丢帧帧数,分别确定相应的每一帧视频数据与前一帧视频 数据之间丢失的帧数,作为视频丢帧信息。

[0028] 较佳的,基于视频丢帧信息,对解码视频进行丢帧补偿处理,获得还原视频,具体 包括:

[0029] 基于视频丢帧信息,分别对每一帧视频数据的前一帧视频数据,按照每一帧视频 数据与前一帧视频数据对应的丢失的帧数进行复制,获得复制数据集合;

[0030] 分别将复制数据集合中的每一帧视频数据,按照相应的时间戳对解码视频中丢失 的数据进行补偿,获得还原视频。

[0031] 一种视频还原的装置,包括:

[0032] 获取单元,用于获取接收端上传的视频信息;

[0033] 解码单元,用于对视频信息进行解码,获得解码信息,其中,解码信息中包括负载 信息和数据包包头信息;

[0034] 处理单元,用于对负载信息进行重组处理,获得解码视频,以及对数据包包头信息 进行序列分析,获得视频丢巾贞fe息;

[0035] 补偿单元,用于基于视频丢帧信息,对解码视频进行丢帧补偿处理,获得还原视 频。

[0036] 较佳的,在获取接收端上传的视频信息时,获取单元具体用于:

[0037] 获取接收端对接收的视频通话进行抓包处理后上传的视频信息,其中,抓包处理 需要接收端在视频通话开始前开始进行数据抓包,并在视频通话结束后停止数据抓包。 [0038] 较佳的,在对负载信息进行重组处理,获得解码视频时,处理单元具体用于:

[0039] 获取负载信息包含的每一帧视频数据,每一帧视频数据对应的时间戳,以及每一 帧视频数据中包含的各个数据包的序列号;

[0040] 分别基于每一帧视频数据中包含的各个数据包的序列号,按照序列号由小到大的 顺序,对每一帧视频数据中包含的各个数据包的顺序进行调整,以及确定存在数据包丢失 的视频数据时,将数据包丢失的视频数据丢弃;

[0041] 基于每一帧视频数据对应的时间戳,按照时间戳的先后顺序,将各帧视频数据进 行排序,获得解码视频。

[0042] 较佳的,在对数据包包头信息进行序列分析,获得视频丢帧信息时,处理单元还用 于:

[0043] 获取数据包包头信息中每一个数据包的序列号,以及每一帧视频数据对应的时间 戳;

[0044] 判断每一帧视频数据包含的各个数据包的序列号是否连续,获得判断结果集合; [0045] 基于判断结果集合,将判断结果集合中表征数据包非连续的各帧视频数据丢弃; [0046] 计算判断结果集合中表征数据包连续的各帧视频数据的丢帧帧数,获得丢帧集 合,其中,丢帧帧数=(本帧时间戳-前一帧时间戳)*帧率/时钟钟率-1;

[0047] 基于丢帧集合中包含的丢帧帧数,分别确定相应的每一帧视频数据与前一帧视频 数据之间丢失的帧数,作为视频丢帧信息。

[0048] 较佳的,在基于视频丢帧信息,对解码视频进行丢帧补偿处理,获得还原视频时, 补偿单元具体用于:

[0049] 基于视频丢帧信息,分别对每一帧视频数据的前一帧视频数据,按照每一帧视频 数据与前一帧视频数据对应的丢失的帧数进行复制,获得复制数据集合;

[0050] 分别将复制数据集合中的每一帧视频数据,按照相应的时间戳对解码视频中丢失 的数据进行补偿,获得还原视频。

[0051] 本发明实施例中,获取接收端上传的视频信息;对视频信息进行解码,获得解码信 息,其中,解码信息中包括负载信息和数据包包头信息;对负载信息进行重组处理,获得解 码视频,以及对数据包包头信息进行序列分析,获得视频丢帧信息;基于视频丢帧信息,对 解码视频进行丢帧补偿处理,获得还原视频,这样,本方案不需要附加设备,降低了软件和 硬件成本,并且仅基于解码信息,对获得的解码视频进行丢帧补偿处理,就可以获得还原视 频,简化了视频获取的步骤,以及通过丢帧补偿的方式,减小了视频的失真度,提高了还原 视频的精度。

附图说明

[0052] 图1为本发明实施例中视频还原的方法的流程图;

[0053] 图2为本发明实施例中视频还原的装置的结构示意图。

具体实施方式

[0054]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,并不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例,都属于本发明保护的范围。

[0055]为了在进行视频还原时,可以不需要附加设备,降低软件和硬件成本,简化视频还 原的繁琐操作,减小视频的失真度,提高还原视频的精度,本发明实施例中,设计了一种视 频还原的方法,该方法为,对接收端上传的视频信息进行解码,获得解码信息,基于解码信 息获得解码视频,并对解码视频进行丢帧补偿处理,恢复视频的卡顿现象,获得还原视频。 [0056]下面结合附图对本申请优选的实施方式进行详细说明。

[0057]参阅图1所示,本发明实施例中,对视频还原的具体流程如下:

[0058] 步骤100:测试者在发送端发出测试指令。

[0059]实际应用中,测试者先在发送端和接收端上安装测试软件,然后,发送端接收用户 下发的测试指令,并将测试指令通过测试软件发送至接收端。

[0060] 例如,测试者在终端A和终端B中均安装视频测试应用程序,然后,在终端A启动视 频测试应用程序,并点击“测试”按键,进一步地,终端A向终端B发送“测试”指令。

[0061] 步骤110:接收端基于接收的测试指令,运行抓包命令,获取视频信息。

[00621实际应用中,接收端接收发送端发送的测试指令,并基于测试指令,在本地运行抓 包命令,接着,接受发送端发送的VoLTE视频通话,进一步地,确定VoLTE视频通话结束时,停 止抓包,获得视频彳目息。

[0063] 其中,所谓抓包是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等 操作,也用来检查网络安全,以及数据截取等。

[0064]例如,终端B接收终端A发送的“测试”指令后,运行抓包命令,然后,终端A基于测试 者的命令向终端B发起VoLTE视频通话的请求,进一步地,终端B接受终端A的VoLTE视频通话 请求,与终端A进行VoLTE视频通话,最后,终端B确定VoLTE视频通话结束时,停止运行抓包 命令,获得视频信息。

[0065] 步骤120:服务器获取接收端上传的视频信息。

[0066] 实际应用中,执行步骤120时,可选的,上传的视频信息,可以是PCAP文件,所谓 PCAP文件即通过抓包命令对网络数据进行截取后获得的数据包的存储文件。

[0067] 步骤130:服务器对视频信息进行解码,获得解码信息。

[0068] 实际应用中,执行步骤130时,可选的,服务器通过实时传输协议(Real Time Protocol,RTP)协议对PCAP文件中包含的各个数据包即视频信息进行解码,获得解码信息, 其中,解码信息包含负载信息和数据包包头信息。

[0069] 步骤140:服务器对解码信息包含的负载信息进行重组处理,获得解码视频。

[0070] 实际应用中,服务器获取负载信息包含的每一帧视频数据,每一帧视频数据对应 的时间戳,以及每一帧视频数据中包含的各个数据包的序列号。

[0071]接着,服务器分别基于分别基于每一帧视频数据中包含的各个数据包的序列号, 按照序列号由小到大的顺序,对每一帧视频数据中包含的各个数据包的顺序进行调整,以 及确定存在数据包丢失的视频数据时,将数据包丢失的视频数据丢弃;基于每一帧视频数 据对应的时间戳,按照时间戳的先后顺序,将各帧视频数据进行排序,获得解码视频。

[0072] 例如,一帧视频数据中包含5个数据包,序列号依次为02,01,03,04,05,服务器根 据各个数据包的序列号,将各个数据包的顺序进行调整,获得序列号依次01,02,03,04,05 的各个数据包组成的一帧视频数据,并分别基于每一帧视频数据对应的时间戳,按照时间 戳的先后顺序,将各帧视频数据进行排序,获得解码视频。

[0073] 步骤150:服务器对解码信息包含的数据包包头信息进行序列分析,获得视频丢帧 fg息。

[0074]实际应用中,首先,服务器获取所述数据包包头信息中每一个数据包的序列号,以 及每一帧视频数据对应的时间戳。

[0075] 然后,服务器判断每一帧视频数据包含的各个数据包的序列号是否连续,获得判 断结果集合;基于判断结果集合,将判断结果集合中表征数据包非连续的各帧视频数据丢 弃;计算判断结果集合中表征数据包连续的各帧视频数据的丢帧帧数,获得丢帧集合,其 中,丢帧帧数=(本帧时间戳-前一帧时间戳)*帧率/时钟钟率-1。

[0076]例如,一帧视频数据的时间戳信息为9000与前一帧视频数据的时间戳为3000,视 频帧率为3〇帧/秒,时钟钟率为9000HZ,丢帧数量=(9000-3000)*30/9000-1二1,判定该一 帧视频数据与前一帧视频数据之间存在丢失的数据,丢帧数量为1。

[0077] 最后,服务器基于基于丢帧集合中包含的丢帧帧数,分别确定相应的每一帧视频 数据与前一帧视频数据之间丢失的帧数,作为视频丢帧信息。

[0078] 步骤160:服务器基于视频丢帧信息,对解码视频进行丢帧补偿处理,获得还原视 频。

[0079]实际应用中,服务器基于视频丢帧信息,分别对每一帧视频数据的前一帧视频数 据,按照每一帧视频数据与前一帧视频数据对应的丢失的帧数进行复制,获得复制数据集 合。

[0080] 例如,服务器基于第五帧视频数据的时间戳t5,以及第五帧视频数据与第四帧视 频数据之间丢失的帧数3,按照时间戳t5,对第四帧视频数据进行复制,其中,第四帧复制的 数量为3帧。

[0081] 服务器分别将复制数据集合中的每一帧视频数据,按照相应的时间戳对解码视频 中丢失的数据进行补偿,恢复视频的卡顿现象,获得还原视频。

[0082] 下面通过一个具体的应用场景对上述实施例进行进一步详细说明。

[0083] 测试者在终端A和终端B中均安装视频测试应用程序后,在终端A启动视频测试应 用程序,并点击“测试”按键。

[0084] 接着,终端A向终端B发送“测试”指令后,终端B接收终端A发送的“测试”指令,并运 行抓包命令。

[0085] 然后,终端A基于测试者的命令向终端B发起VoLTE视频通话的请求。终端B接受终 端A的VoLTE视频通话请求,与终端A进行VoLTE视频通话,并确定VoLTE视频通话结束时,停 止运行抓包命令,获得PCAP文件格式的视频信息。

[0086] 接着,服务器接收接收端发送的视频信息,并对视频信息进行解码,获得包含负载 信息和报头信息的解码信息。

[0087]然后,服务器获取负载信息包含的5帧视频数据,每一帧视频数据对应的时间戳依 次为〖142,〖3 44^5,以及每一帧视频数据中包含的各个数据包的序列号,其中,第一帧视 频数据中包含5个数据包,序列号依次为02,01,03,04,05;第二帧视频数据中包含5个数据 包,序列号依次为06,〇7,08,09,10;第三帧视频数据中包含5个数据包,序列号依次为11, 12,13,14,15;第四帧视频数据中包含2个数据包,序列号依次为16,20;第五帧视频数据中 包含5个数据包,序列号依次为26,27,28,29,30。

[0088]服务器根据各个数据包的序列号,将第一帧视频数据中的各个数据包的顺序进行 调整,获得序列号依次01,02,03,04,05的各个数据包组成的第一帧视频数据;第四帧中有 数据包丢失,则该帧不能完全解码,则丢弃;之后按照时间戳的先后顺序,将各帧视频数据 进行排序,获得解码视频。

[0089] 进一步地,服务器获取数,每一帧视频数据对应的时间戳。其中,依次为tl,t2,t3, t5〇

[0090] 服务器分别根据时间戳信息计算每两帧之间是否丢帧,计算出t5与t3之间丢失两 帧,则将第三帧复制两帧。。

[0091] 最后,服务器将复制数据集合中包含的两帧第三帧视频数据添加到第三帧视频数 据与第五帧视频数据之间,对丢失的数据进行补偿,恢复视频的卡顿现象,获得还原视频。

[0092] 基于上述实施例,参阅图2所示,视频还原的装置的结构示意图,本发明实施例中, 视频还原的装置具体包括:

[0093] 获取单元20,用于获取接收端上传的视频信息;

[0094] 解码单元21,用于对视频信息进行解码,获得解码信息,其中,解码信息中包括负 载信息和数据包包头信息;

[0095] 处理单元22,用于对负载信息进行重组处理,获得解码视频,以及对数据包包头信 息进行序列分析,获得视频丢帧信息;

[0096] 补偿单元23,用于基于视频丢帧信息,对解码视频进行丢帧补偿处理,获得还原视 频。

[0097] 较佳的,在获取接收端上传的视频信息时,获取单元20具体用于:

[0098] 获取接收端对接收的视频通话进行抓包处理后上传的视频信息,其中,抓包处理 需要接收端在视频通话开始前开始进行数据抓包,并在视频通话结束后停止数据抓包。 [0099] 较佳的,在对负载信息进行重组处理,获得解码视频时,处理单元22具体用于: [0100] 获取负载信息包含的每一帧视频数据,每一帧视频数据对应的时间戳,以及每一 帧视频数据中包含的各个数据包的序列号; 分别基于每一帧视频数据中包含的各个数据包的序列号,按照序列号由小到大的 顺序,对每一帧视频数据中包含的各个数据包的顺序进行调整,以及确定存在数据包丢失 的视频数据时,将数据包丢失的视频数据丢弃;

[0102] 基于每一帧视频数据对应的时间戳,按照时间戳的先后顺序,将各帧视频数据进 行排序,获得解码视频。

[0103] 较佳的,在对数据包包头信息进行序列分析,获得视频丢帧信息时,处理单元22还 用于:

[0104] 获取数据包包头信息中每一个数据包的序列号,以及每一帧视频数据对应的时间 戳;

[0105] 判断每一帧视频数据包含的各个数据包的序列号是否连续,获得判断结果集合;

[0106] 基于判断结果集合,将判断结果集合中表征数据包非连续的各帧视频数据丢弃;

[0107] 计算判断结果集合中表征数据包连续的各帧视频数据的丢帧帧数,获得丢帧集 合,其中,丢帧帧数=(本帧时间戳-前一帧时间戳)*帧率/时钟钟率-1;

[0108] 基于丢帧集合中包含的丢帧帧数,分别确定相应的每一帧视频数据与前一帧视频 数据之间丢失的帧数,作为视频丢帧信息。

[0109] 较佳的,在基于视频丢帧信息,对解码视频进行丢帧补偿处理,获得还原视频时, 补偿单元23具体用于:

[0110] 基于视频丢帧信息,分别对每一帧视频数据的前一帧视频数据,按照每一帧视频 数据与前一帧视频数据对应的丢失的帧数进行复制,获得复制数据集合;

[0111] 分别将复制数据集合中的每一帧视频数据,按照相应的时间戳对解码视频中丢失 的数据进行补偿,获得还原视频。

[0112] 本发明实施例中,获取接收端上传的视频信息;对视频信息进行解码,获得解码信 息,其中,解码信息中包括负载信息和数据包包头信息;对负载信息进行重组处理,获得解 码视频,以及对数据包包头信息进行序列分析,获得视频丢帧信息;基于视频丢帧信息,对 解码视频进行丢帧补偿处理,获得还原视频,这样,本方案不需要附加设备,降低了软件和 硬件成本,并且仅基于解码信息,对获得的解码视频进行丢帧补偿处理,就可以获得还原视 频,简化了视频获取的步骤,以及通过丢帧补偿的方式,减小了视频的失真度,提高了还原 视频的精度。

[0113]本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序 产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产 品的形式。

[0114] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流 程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序 指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产 生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0115] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。

[0116]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能的步骤。

[0117]尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造 性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优 选实施例以及落入本发明范围的所有变更和修改。

[0118]显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发 明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求 及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1. 一种视频还原的方法,其特征在于,包括: 获取接收端上传的视频信息; 对所述视频信息进行解码,获得解码信息,其中,所述解码信息中包括负载信息和数据 包包头信息; 对所述负载信息进行重组处理,获得解码视频,以及对所述数据包包头信息进行序列 分析,获得视频丢帧信息; 基于所述视频丢帧信息,对所述解码视频进行丢帧补偿处理,获得还原视频。
2. 如权利要求1所述的方法,其特征在于,获取接收端上传的视频信息,具体包括: 获取所述接收端对接收的视频通话进行抓包处理后上传的视频信息,其中,所述抓包 处理需要所述接收端在所述视频通话开始前开始进行数据抓包,并在所述视频通话结束后 停止数据抓包。
3. 如权利要求1或2所述的方法,其特征在于,对所述负载信息进行重组处理,获得解码 视频,具体包括: 获取所述负载信息包含的每一帧视频数据,每一帧视频数据对应的时间戳,以及每一 帧视频数据中包含的各个数据包的序列号; 分别基于每一帧视频数据中包含的各个数据包的序列号,按照序列号由小到大的顺 序,对每一帧视频数据中包含的各个数据包的顺序进行调整,以及确定存在数据包丢失的 视频数据时,将所述数据包丢失的视频数据丢弃; 基于每一帧视频数据对应的时间戳,按照时间戳的先后顺序,将各帧视频数据进行排 序,获得所述解码视频。
4. 如权利要求1或2所述的方法,其特征在于,对所述数据包包头信息进行序列分析,获 得视频丢桢彳目息,具体包括: 获取所述数据包包头信息中每一个数据包的序列号,以及每一帧视频数据对应的时间 戳; 判断每一帧视频数据包含的各个数据包的序列号是否连续,获得判断结果集合; 基于所述判断结果集合,将所述判断结果集合中表征数据包非连续的各帧视频数据丢 弃; 计算所述判断结果集合中表征数据包连续的各帧视频数据的丢帧帧数,获得丢帧集 合,其中,所述丢帧帧数=(本帧时间戳-前一帧时间戳)*帧率/时钟钟率-1; 基于所述丢帧集合中包含的丢帧帧数,分别确定相应的每一帧视频数据与前一帧视频 数据之间丢失的帧数,作为所述视频丢帧信息。
5. 如权利要求4所述的方法,其特征在于,基于所述视频丢帧信息,对所述解码视频进 行丢帧补偿处理,获得还原视频,具体包括: 基于所述视频丢帧信息,分别对每一帧视频数据的前一帧视频数据,按照所述每一帧 视频数据与前一帧视频数据对应的丢失的帧数进行复制,获得复制数据集合; 分别将所述复制数据集合中的每一帧视频数据,按照相应的时间戳对所述解码视频中 丢失的数据进行补偿,获得还原视频。
6. —种视频还原的装置,其特征在于,包括: 获取单元,用于获取接收端上传的视频信息; 解码单元,用于对所述视频信息进行解码,获得解码信息,其中,所述解码信息中包括 负载信息和数据包包头信息; 处理单元,用于对所述负载信息进行重组处理,获得解码视频,以及对所述数据包包头 信息进行序列分析,获得视频丢帧信息; 补偿单元,用于基于所述视频丢帧信息,对所述解码视频进行丢帧补偿处理,获得还原 视频。
7. 如权利要求6所述的装置,其特征在于,在获取接收端上传的视频信息时,所述获取 单元具体用于: 获取所述接收端对接收的视频通话进行抓包处理后上传的视频信息,其中,所述抓包 处理需要所述接收端在所述视频通话开始前开始进行数据抓包,并在所述视频通话结束后 停止数据抓包。
8. 如权利要求6或7所述的装置,其特征在于,在对所述负载信息进行重组处理,获得解 码视频时,所述处理单元具体用于: 获取所述负载信息包含的每一帧视频数据,每一帧视频数据对应的时间戳,以及每一 帧视频数据中包含的各个数据包的序列号; 分别基于每一帧视频数据中包含的各个数据包的序列号,按照序列号由小到大的顺 序,对每一帧视频数据中包含的各个数据包的顺序进行调整,以及确定存在数据包丢失的 视频数据时,将所述数据包丢失的视频数据丢弃; 基于每一帧视频数据对应的时间戳,按照时间戳的先后顺序,将各帧视频数据进行排 序,获得所述解码视频。
9. 如权利要求6或7所述的装置,其特征在于,在对所述数据包包头信息进行序列分析, 获得视频丢帧信息时,所述处理单元还用于: 获取所述数据包包头信息中每一个数据包的序列号,以及每一帧视频数据对应的时间 戳; 判断每一帧视频数据包含的各个数据包的序列号是否连续,获得判断结果集合; 基于所述判断结果集合,将所述判断结果集合中表征数据包非连续的各帧视频数据丢 弃; 计算所述判断结果集合中表征数据包连续的各巾贞视频数据的丢巾贞巾贞数,获得丢帧集 合,其中,所述丢帧帧数=(本帧时间戳-前一帧时间戳)*帧率/时钟钟率-1; 基于所述丢帧集合中包含的丢帧帧数,分别确定相应的每一帧视频数据与前一帧视频 数据之间丢失的帧数,作为所述视频丢帧信息。
10.如权利要求9所述的装置,其特征在于,在基于所述视频丢帧信息,对所述解码视频 进行丢帧补偿处理,获得还原视频时,所述补偿单元具体用于: 基于所述视频丢帧信息,分别对每一帧视频数据的前一帧视频数据,按照所述每一帧 视频数据与前一帧视频数据对应的丢失的帧数进行复制,获得复制数据集合; 分别将所述复制数据集合中的每一帧视频数据,按照相应的时间戳对所述解码视频中 丢失的数据进行补偿,获得还原视频。
CN201710192936.2A 2017-03-28 2017-03-28 一种视频还原的方法及装置 CN108668167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710192936.2A CN108668167A (zh) 2017-03-28 2017-03-28 一种视频还原的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710192936.2A CN108668167A (zh) 2017-03-28 2017-03-28 一种视频还原的方法及装置

Publications (1)

Publication Number Publication Date
CN108668167A true CN108668167A (zh) 2018-10-16

Family

ID=63785903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710192936.2A CN108668167A (zh) 2017-03-28 2017-03-28 一种视频还原的方法及装置

Country Status (1)

Country Link
CN (1) CN108668167A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000003717A (ko) * 1998-06-29 2000-01-25 윤종용 음성 인식/합성을 이용한 음성 통신 방법 및 그 장치
EP2259521A1 (fr) * 2009-06-05 2010-12-08 STMicroelectronics (Grenoble 2) SAS Demodulateur DVB-S2
CN102740064A (zh) * 2012-06-15 2012-10-17 福建星网视易信息系统有限公司 对讲系统中流媒体传输的组包方法
CN104113722A (zh) * 2014-06-19 2014-10-22 南京熊猫电子股份有限公司 一种无线视频会议传输方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000003717A (ko) * 1998-06-29 2000-01-25 윤종용 음성 인식/합성을 이용한 음성 통신 방법 및 그 장치
EP2259521A1 (fr) * 2009-06-05 2010-12-08 STMicroelectronics (Grenoble 2) SAS Demodulateur DVB-S2
CN102740064A (zh) * 2012-06-15 2012-10-17 福建星网视易信息系统有限公司 对讲系统中流媒体传输的组包方法
CN104113722A (zh) * 2014-06-19 2014-10-22 南京熊猫电子股份有限公司 一种无线视频会议传输方法

Similar Documents

Publication Publication Date Title
Zheng et al. Quality-of-experience assessment and its application to video services in LTE networks
US10123070B2 (en) Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
US9325985B2 (en) Reference and non-reference video quality evaluation
EP3197097B1 (en) Multi kpi correlation in wireless protocols
US20160277779A1 (en) Method and apparatus for processing video image
Takahashi et al. Standardization activities in the ITU for a QoE assessment of IPTV
US8583268B2 (en) Synchronization and mixing of audio and video streams in network-based video conferencing call systems
Xu et al. PROTEUS: network performance forecast for real-time, interactive mobile applications
Li et al. Content-aware playout and packet scheduling for video streaming over wireless links
JP4712558B2 (ja) サービス品質監視アーキテクチャー、関連の方法、ネットワーク及びコンピュータプログラムプロダクト
US7936916B2 (en) System and method for video quality measurement based on packet metric and image metric
JP4000905B2 (ja) 情報処理システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム
Chan et al. Metrics for evaluating video streaming quality in lossy IEEE 802.11 wireless networks
US7319698B2 (en) Recovery system for restoring preserved regeneration data
EP2613524A1 (en) Transmission device, transmission method, reception device, reception method, program, and broadcast system
JP5302342B2 (ja) ビデオ符号ストリームの品質を評価する方法、装置およびシステム
KR101132935B1 (ko) 미디어 스트림들의 생성 및 선택
Kuipers et al. Techniques for measuring quality of experience
CN105472477B (zh) 一种数据传输方法、装置及设备
CN105763832B (zh) 一种视频互动、控制方法及装置
US20090234940A1 (en) System and method for evaluating streaming multimedia quality
EP2509320A1 (en) Channel switching method, apparatus and system
JP2004511930A (ja) ネットワーク・プロセッサを試験システムの一部として利用するための方法および装置
EP1385292A2 (en) Method of generating transmission control parameters and method of selective retransmission according to packet characteristics
CN101291260B (zh) 一种用于流媒体服务的负载测试系统以及测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination