发明内容
有鉴于此,本发明实施例提供一种视频处理方法和装置,能够在接收到第一种类的待处理视频之后,对待处理视频进行解码,得到视频源数据以及解码信息,再根据解码信息对视频源数据进行编码,得到第二种类的视频,从而在对视频源数据进行重新编码的时候实现了对解码信息的复用,充分利用了待处理视频中包含的信息,提高了对待处理视频进行处理的效率。
为实现上述目的,根据本发明实施例的一个方面,提供了一种视频处理方法。
本发明实施例的一种视频处理方法包括:
接收第一种类的待处理视频;
对待处理视频进行解码,得到视频源数据以及解码信息;
根据解码信息,对视频源数据进行编码,得到第二种类的视频。
可选地,
待处理视频中的每一帧视频包括多个宏块,解码信息包括每一个宏块的类型以及分割方式;
根据解码信息,对视频源数据进行编码,包括:
根据每一个宏块的类型和/或分割方式,对视频源数据进行宏块编码。
可选地,
根据每一个宏块的类型和/或分割方式,对视频源数据进行宏块编码,包括:
分别将每一个宏块作为当前宏块,执行:
在当前宏块对应的当前帧中,确定与当前宏块相邻的目标宏块;
根据当前宏块以及目标宏块分别对应的类型和/或分割方式,确定每一个类型和/或分割方式的权重因子;
根据权重因子,确定当前宏块对应的宏块编码方式;
根据宏块编码方式,对当前宏块进行宏块内容编码。
可选地,
解码信息还包括:每一个宏块的运动矢量范围;
根据解码信息,对视频源数据进行编码,包括:
根据每一个宏块的运动矢量范围,对视频源数据进行宏块运动矢量编码。
可选地,
根据每一个宏块的运动矢量范围,对视频源数据进行宏块运动矢量编码,包括:
分别确定每一个宏块在对应的运动矢量范围内相对于参考帧的偏移轨迹;
根据偏移轨迹,对视频源数据进行宏块运动矢量编码。
可选地,
解码信息还包括以下任意一个或多个:每一个宏块的预测模式、量化参数以及参考帧索引。
可选地,
待处理视频包括一个或多个画面组,每一个画面组由待处理视频中的一帧或多帧视频组成;
根据解码信息,对视频源数据进行编码,包括:
根据解码信息,得到每一帧视频的时间复杂度和/或空间复杂度;
根据时间复杂度和/或空间复杂度,确定每一个画面组的复杂度;
根据画面组的复杂度,对视频源数据进行编码。
可选地,
根据画面组的复杂度,对视频源数据进行编码,包括:
针对每一个画面组,均执行:
根据画面组的复杂度,确定画面组对应的编码参数;
根据编码参数,对画面组进行编码,以对视频源数据进行编码。
为实现上述目的,根据本发明实施例的又一方面,提供了一种视频处理装置。
本发明实施例的一种视频处理装置包括接收模块、解码模块以及编码模块;其中:
接收模块,用于接收第一种类的待处理视频;
解码模块,用于对待处理视频进行解码,得到视频源数据以及解码信息;
编码模块,用于根据解码信息,对视频源数据进行编码,得到第二种类的视频。
为实现上述目的,根据本发明实施例的又一方面,提供了一种视频处理电子设备。
本发明实施例的一种视频处理电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现本发明实施例的一种视频处理方法。
为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读存储介质。
本发明实施例的一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现本发明实施例的一种视频处理方法。
上述发明中的一个实施例具有如下优点或有益效果:能够在接收到第一种类的待处理视频之后,对待处理视频进行解码,得到视频源数据以及解码信息,再根据解码信息对视频源数据进行编码,得到第二种类的视频,从而在对视频源数据进行重新编码的时候实现了对解码信息的复用,充分利用了待处理视频中包含的信息,提高了对待处理视频进行处理的效率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要指出的是,在不冲突的情况下,本发明的实施例以及实施例中的技术特征可以相互结合。
目前,由于视频网站或视频平台等会遇到各种各样的视频,如果直接分发该视频,会遇到如视频的码率太高、视频的质量太差、用户端播放器格式不支持、或其他视频参数不合理等问题。为了保证用户观看到播放器支持或质量更高的视频,就需要对视频进行转码处理。
而对视频进行转码处理的过程,就是将已经压缩编码的视频码流转换成另一种视频码流,以适应不同的网络带宽、不同的终端处理能力和不同的用户需求的过程。通常转码处理包括流协议解析、音视频解码、音视频编码、加密、流协议封装及发布等步骤,本质上是一个先解码再重新编码的过程。
然而现有技术中,对视频的解码和重新编码两个步骤相互独立,导致视频中包含的信息在转码过程中没有被充分利用,进而导致重新编码时又做了一次原视频在编码时已经做过的计算过程,降低了视频处理的效率。
基于此,本发明提出了一种视频处理方法,图1是根据本发明实施例的一种视频处理方法的主要步骤的示意图。
如图1所示,本发明实施例的一种视频处理方法主要包括以下步骤:
步骤S101:接收第一种类的待处理视频。
在本发明实施例中,“第一种类”可以是待处理视频的格式、码率、和/或分辨率等,也可以是其他视频参数,对此本方案不作具体限制。同理,下文中的“第二种类”也可以是处理后所得的视频的格式、码率、和/或分辨率等。其中,由于第一种类的待处理视频并不满足视频网站、视频平台等的要求,所以才将第一种类的待处理视频处理为第二种类的视频,以使用户观看到播放器支持或质量更高的视频。
步骤S102:对待处理视频进行解码,得到视频源数据以及解码信息。
在本发明实施例中,如果待处理视频中包括音频,则在对待处理视频进行解码之前,可以先将音频从待处理视频中分离出来,然后对音频和不含音频的待处理视频分别先解码,得到视频源数据和音频源数据,再对视频源数据和音频源数据分别重新编码,并将编码得到的结果混流,即可得到第二种类的视频。在本发明一个优选的实施例中,视频源数据为YUV格式,音频源数据为PCM(Pulse Code Modulation,脉冲编码调制)格式。
在本发明实施例中,解码信息是在解码待处理视频的过程中得到的,可以包括解码流语法信息和解码流场景信息。具体地,解码流语法信息可以包括每一帧待处理视频中的多个宏块分别对应的类型、分割方式和/或运动矢量范围,在对视频源数据进行编码的过程中,解码流语法信息可以作为宏块编码时的参考、提高编码效率;解码流场景信息可以包括每一个宏块的预测模式、量化参数、和/或参考帧索引,在对视频源数据进行编码的过程中,解码流场景信息可以作为选择编码参数的参考,以使编码过程能够根据解码流场景信息自适应调整编码复杂度。
步骤S103:根据解码信息,对视频源数据进行编码,得到第二种类的视频。
在本发明实施例中,待处理视频中的每一帧视频可以包括多个宏块,且解码信息中可以包括每一个宏块的类型以及分割方式,此时可以根据解码信息中每一个宏块的类型和/或分割方式,对视频源数据进行宏块编码。
在本发明实施例中,对视频源数据进行宏块编码的过程,包括对视频源数据进行宏块内容编码和宏块运动矢量编码两个过程,下面分别对这两个过程进行详细解释。
在本发明实施例中,一种对视频源数据进行宏块内容编码的方法如图2所示,该方法分别将每一个宏块作为当前宏块,执行:
步骤S201:在当前宏块对应的当前帧中,确定与当前宏块相邻的目标宏块;
步骤S202:根据当前宏块以及目标宏块分别对应的类型和/或分割方式,确定每一个类型和/或分割方式的权重因子;
步骤S203:根据权重因子,确定当前宏块对应的宏块编码方式;
步骤S204:根据宏块编码方式,对当前宏块进行宏块内容编码。
举例来说,在确定出当前宏块之后,在当前宏块对应的当前帧中,可以确定出与当前宏块上下左右相邻的四个目标宏块,此时当前宏块的类型是P类型,则可以直接将P类型的权重因子定为1,而I、B类型的权重因子定为0,以使对当前宏块进行宏块内容编码后得到的对应宏块的类型也是P类型。也可以根据四个目标宏块的类型(假设为两个P类型、一个I类型、一个B类型)以及当前宏块的P类型,计算得到P类型的权重因子为五分之三(目标宏块加当前宏块共有五个,其中P类型的共有三个,因此为五分之三,下同)、I类型的权重因子为五分之一、B类型的权重因子也为五分之一,因此确定当前宏块对应的宏块编码方式中的类型为P类型,以使根据宏块编码方式对当前宏块进行宏块内容编码后得到的对应宏块的类型是P类型。
而对于分割方式而言,如果当前宏块的分割方式为16x16,而四个目标宏块的分割方式分别为4x4、8x8、16x8、16x8,则计算得到分割方式为16x16的权重因子为五分之一(目标宏块加当前宏块共有五个,其中分割方式为16x16的共有一个,因此为五分之一,下同)、4x4的权重因子为五分之一、8x8的权重因子为五分之一、16x8的权重因子为五分之二,因此确定当前宏块对应的宏块编码方式中的分割方式为16x8,以使根据宏块编码方式对当前宏块进行宏块内容编码后得到的对应宏块的分割方式是16x8。
在确定类型和/或分割方式的权重因子时,如果有两个或多个类型和/或分割方式的权重因子相同,则可以任选一种类型和/或分割方式作为宏块编码方式,也可以预设类型和/或分割方式的优先级,在权重因子相同的类型和/或分割方式中选择优先级更高的类型和/或分割方式作为宏块编码方式,还可以采用其它方式解决这一问题,对此本方案不作具体限制。
在本发明实施例中,在确定出当前宏块之后,在当前宏块对应的当前帧中,也可以确定出与当前宏块四周相邻的八个目标宏块,还可以确定出与当前宏块相邻的其他数量的目标宏块,对于目标宏块的选取方式和选取数量,本方案不作具体限制。
在本发明实施例中,由于解码信息还可以包括每一个宏块的运动矢量范围,因此可以根据每一个宏块的运动矢量范围,对视频源数据进行宏块运动矢量编码。
具体地,一种对视频源数据进行宏块运动矢量编码的方法如图3所示,该方法主要包括以下步骤:
步骤S301:分别确定每一个宏块在对应的运动矢量范围内相对于参考帧的偏移轨迹;
步骤S302:根据偏移轨迹,对视频源数据进行宏块运动矢量编码。
在本发明实施例中,参考帧是一个画面组中作为参考的一帧视频,通常是一个画面组的第一帧视频。而偏移轨迹可以是某一个宏块在对应的运动矢量范围内相对于参考帧中对应的宏块所移动的方向和距离。
在本发明实施例中,在对每一帧视频进行宏块运动矢量编码时,也可以将每一帧视频中所有宏块的运动矢量范围作为确定每一个宏块的偏移轨迹时的搜索范围,以降低搜索次数,加速编码。
在本发明实施例中,解码信息还可以包括以下任意一个或多个:每一个宏块的预测模式、量化参数以及参考帧索引。
在本发明实施例中,待处理视频可以包括一个或多个画面组,每一个画面组由待处理视频中的一帧或多帧视频组成;此时根据解码信息,对视频源数据进行编码的方法如图4所示,该方法主要包括以下步骤:
步骤S401:根据解码信息,得到每一帧视频的时间复杂度和/或空间复杂度。
在本发明实施例中,时间复杂度用于表征多帧视频在时间维度上的变化情况,具体地,可以通过分别计算每一帧视频与其相邻的上一帧视频的帧差图像,并对帧差图像做标准差的方式,得到每一帧视频的时间复杂度。其中,某一帧视频的时间复杂度越大,则表明该帧视频相比于上一帧视频的变化越剧烈,该帧视频为动态视频;时间复杂度越小,则表明该帧视频相比于上一帧视频的变化越平缓,该帧视频为静态视频。举例来说,数帧用于拍摄静物的视频的时间复杂度,小于数帧用于拍摄呼啸而过的飞船的时间复杂度。
在本发明实施例中,空间复杂度用于表征一帧视频中纹理的变化情况,具体地,可以分别计算一帧视频在垂直方向、水平方向、直流和平面模式这四个方向上的像素差值的绝对值的和,并取四个结果中的最小值作为空间复杂度。其中,某一帧视频的空间复杂度越大,则表明该帧视频中的内容越复杂;某一帧视频的空间复杂度越小,则表明该帧视频中的内容越简单。举例来说,一帧拍摄有碧海蓝天的视频的空间复杂度,小于一帧拍摄有闹市区的视频的空间复杂度。
步骤S402:根据时间复杂度和/或空间复杂度,确定每一个画面组的复杂度。
在本发明实施例中,可以对画面组中各帧视频的时间复杂度和/或空间复杂度求和,得到每一个画面组的复杂度。
步骤S403:根据画面组的复杂度,对视频源数据进行编码。
在本发明实施例中,根据画面组的复杂度,对视频源数据进行编码的方法如图5所示,该方法针对每一个画面组,均执行:
步骤S501:根据画面组的复杂度,确定画面组对应的编码参数。
在本发明实施例中,可以针对不同的复杂度,采用相应的编码参数。举例来说,针对只拍摄有碧海蓝天的画面组,可以采用分辨率较低的编码参数,因为此时视频的观看者并不在意视频中的细节;而针对拍摄有多个人物的画面组,可以采用分辨率较高的编码参数,因为此时视频的观看者会在意视频中的细节。在本发明实施例中,编码参数包括格式、码率、和/或分辨率等。
在本发明实施例中,可以预设复杂度与编码参数的对应关系,这样在得到画面组的复杂度之后,根据预设的对应关系,即可确定出该画面组对应的编码参数,从而进一步提高了编码的效率。
步骤S502:根据编码参数,对画面组进行编码,以对视频源数据进行编码。
在本发明实施例中,将本方案应用于直播场景中的有益效果最为明显,由于直播场景中对实时性的要求较高,因此采用本方案能够提升将第一种类的直播视频处理为用户端支持的第二种类的视频的效率,从而减少从直播端到用户端的处理时长,提高用户体验。
根据本发明实施例的一种视频处理方法可以看出,该方法能够在接收到第一种类的待处理视频之后,对待处理视频进行解码,得到视频源数据以及解码信息,再根据解码信息对视频源数据进行编码,得到第二种类的视频,从而在对视频源数据进行重新编码的时候实现了对解码信息的复用,充分利用了待处理视频中包含的信息,提高了对待处理视频进行处理的效率。
图6是根据本发明实施例的一种视频处理装置的主要模块的示意图。
如图6所示,本发明实施例的一种视频处理装置600包括接收模块601、解码模块602以及编码模块603;其中:
接收模块601,用于接收第一种类的待处理视频;
解码模块602,用于对待处理视频进行解码,得到视频源数据以及解码信息;
编码模块603,用于根据解码信息,对视频源数据进行编码,得到第二种类的视频。
在本发明实施例中,待处理视频中的每一帧视频包括多个宏块,解码信息包括每一个宏块的类型以及分割方式;编码模块603进一步用于:根据每一个宏块的类型和/或分割方式,对视频源数据进行宏块编码。
在本发明实施例中,编码模块603进一步用于:分别将每一个宏块作为当前宏块,执行:在当前宏块对应的当前帧中,确定与当前宏块相邻的目标宏块;根据当前宏块以及目标宏块分别对应的类型和/或分割方式,确定每一个类型和/或分割方式的权重因子;根据权重因子,确定当前宏块对应的宏块编码方式;根据宏块编码方式,对当前宏块进行宏块内容编码。
在本发明实施例中,解码信息还包括:每一个宏块的运动矢量范围;编码模块603进一步用于:根据每一个宏块的运动矢量范围,对视频源数据进行宏块运动矢量编码。
在本发明实施例中,编码模块603进一步用于:分别确定每一个宏块在对应的运动矢量范围内相对于参考帧的偏移轨迹;根据偏移轨迹,对视频源数据进行宏块运动矢量编码。
在本发明实施例中,解码信息还包括以下任意一个或多个:每一个宏块的预测模式、量化参数以及参考帧索引。
在本发明实施例中,待处理视频包括一个或多个画面组,每一个画面组由待处理视频中的一帧或多帧视频组成;编码模块603进一步用于:根据解码信息,得到每一帧视频的时间复杂度和/或空间复杂度;根据时间复杂度和/或空间复杂度,确定每一个画面组的复杂度;根据画面组的复杂度,对视频源数据进行编码。
在本发明实施例中,编码模块603进一步用于:针对每一个画面组,均执行:根据画面组的复杂度,确定画面组对应的编码参数;根据编码参数,对画面组进行编码,以对视频源数据进行编码。
根据本发明实施例的一种视频处理装置可以看出,该装置能够在接收到第一种类的待处理视频之后,对待处理视频进行解码,得到视频源数据以及解码信息,再根据解码信息对视频源数据进行编码,得到第二种类的视频,从而在对视频源数据进行重新编码的时候实现了对解码信息的复用,充分利用了待处理视频中包含的信息,提高了对待处理视频进行处理的效率。
图7示出了可以应用本发明实施例的一种视频处理方法或一种视频处理装置的示例性系统架构700。
如图7所示,系统架构700可以包括终端设备701、702、703,网络704和电子设备705。网络704用以在终端设备701、702、703和电子设备705之间提供通信链路的介质。网络704可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与电子设备705交互,以接收或发送消息等。终端设备701、702、703上可以安装有各种视频类应用,例如视频网站、视频播放软件等。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
电子设备705可以是提供各种服务的服务器,例如对用户利用终端设备701、702、703所浏览的视频网站提供支持的后台管理服务器。后台管理服务器可以对接收到的视频播放请求等数据进行分析等处理,并将处理结果(例如视频推送信息)反馈给终端设备。
需要说明的是,本发明实施例所提供的一种视频处理方法一般由电子设备705执行,相应地,一种视频处理装置一般设置于电子设备705中。
应该理解,图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和电子设备。
下面参考图8,其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,计算机系统800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括接收模块、解码模块以及编码模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,接收模块还可以被描述为“用于接收第一种类的待处理视频的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:接收第一种类的待处理视频;对待处理视频进行解码,得到视频源数据以及解码信息;根据解码信息,对视频源数据进行编码,得到第二种类的视频。
根据本发明实施例的技术方案,能够在接收到第一种类的待处理视频之后,对待处理视频进行解码,得到视频源数据以及解码信息,再根据解码信息对视频源数据进行编码,得到第二种类的视频,从而在对视频源数据进行重新编码的时候实现了对解码信息的复用,充分利用了待处理视频中包含的信息,提高了对待处理视频进行处理的效率。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。