CN112004114A - 视频处理方法、系统、装置、可读存储介质及电子设备 - Google Patents

视频处理方法、系统、装置、可读存储介质及电子设备 Download PDF

Info

Publication number
CN112004114A
CN112004114A CN202010899610.5A CN202010899610A CN112004114A CN 112004114 A CN112004114 A CN 112004114A CN 202010899610 A CN202010899610 A CN 202010899610A CN 112004114 A CN112004114 A CN 112004114A
Authority
CN
China
Prior art keywords
value
video
block
image
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010899610.5A
Other languages
English (en)
Other versions
CN112004114B (zh
Inventor
陈大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN202010899610.5A priority Critical patent/CN112004114B/zh
Publication of CN112004114A publication Critical patent/CN112004114A/zh
Application granted granted Critical
Publication of CN112004114B publication Critical patent/CN112004114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频处理方法、系统、装置、可读存储介质及电子设备,属于视频技术领域。该方法中,会根据用户输入的第一参数,确定第一标志值及第二标志值,若第一标志值为第一预设值,则根据第二标志值获取待编码视频对应的背景图像,接着,会根据背景图像对待编码视频进行编码;将进行编码之后得到的码流、第一标志值及第二标志值,发送给解码器。这样,无需进行率失真代价评估,用户可以在需要对待编码视频按照背景区域进行编码的情况下,直接控制解码器根据背景区域进行编码,进而一定程度上可以降低视频处理的复杂度,提高效率。

Description

视频处理方法、系统、装置、可读存储介质及电子设备
技术领域
本发明属于视频技术领域,特别是涉及一种视频处理方法、系统、装置、可读存储介质及电子设备。
背景技术
为了便于视频传输,在传输之前往往会对视频进行编码。在对视频进行编码时,会将视频中包含的视频图像按照预设方式划分出多个块。以块为单位进行编码。
为了提高视频编码效率,现有技术中,往往会基于背景区域进行编码。例如,采用视频编码标准提供的跳过(skip)模式,在编码块属于视频中的未发生变化或变化程度较小的背景区域时,将该编码块作为背景区域,跳过对该编码块处理,即,基于背景区域进行编码。但是,使用skip模式时,需要计算编码快在视频编码标准提供的各个模式下的率失真代价,只有在skip模式对应的的率失真代价最小的情况下,才能将该编码块作为背景区域进行处理,进而导致视频处理的复杂度较高,效率较低。
发明内容
有鉴于此,本发明提供一种视频处理方法、系统、装置、可读存储介质及电子设备,在一定程度上解决了视频处理的复杂度较高,效率较低的问题。
依据本发明的第一方面,提供了一种视频处理方法,应用于编码器,该方法可以包括:
根据用户输入的第一参数,确定第一标志值及第二标志值;
若所述第一标志值为第一预设值,则根据所述第二标志值获取待编码视频对应的背景图像;
根据所述背景图像对所述待编码视频进行编码;
将进行编码之后得到的码流、所述第一标志值及所述第二标志值,发送给解码器。
依据本发明的第二方面,提供了一种视频处理方法,应用于解码器,该方法可以包括:
接收编码器发送的码流、第一标志值及第二标志值;
若所述第一标志值为第一预设值,则根据所述第二标志值获取待解码视频对应的背景图像;
根据所述背景图像对所述待解码视频进行解码。
依据本发明的第三方面,提供了一种视频处理方法,应用于包括编码器及解码器的系统,该方法可以包括:
所述编码器根据用户输入的第一参数,确定第一标志值及第二标志值;
所述编码器在所述第一标志值为第一预设值的情况下,则根据所述第二标志值获取待编码视频对应的背景图像;
所述编码器根据所述背景图像对所述待编码视频进行编码;
所述编码器将进行编码之后得到的码流、所述第一标志值及所述第二标志值,发送给所述解码器;
所述解码器接收所述编码器发送的码流、第一标志值及第二标志值;
所述解码器在所述第一标志值为第一预设值的情况下,则根据所述第二标志值获取待解码视频对应的背景图像;
所述解码器根据所述背景图像对所述待解码视频进行解码。
依据本发明的第四方面,提供了一种视频处理装置,应用于编码器,该装置可以包括:
第一确定模块,用于根据用户输入的第一参数,确定第一标志值及第二标志值;
获取模块,用于若所述第一标志值为第一预设值,则根据所述第二标志值获取待编码视频对应的背景图像;
编码模块,用于根据所述背景图像对待编码视频进行编码;
第一发送模块,用于将进行编码之后得到的码流、所述第一标志值及所述第二标志值,发送给解码器。
依据本发明的第五方面,提供了一种视频处理装置,应用于解码器,该装置可以包括:
第一接收模块,用于接收编码器发送的码流、第一标志值及第二标志值;
获取模块,用于若所述第一标志值为第一预设值,则根据所述第二标志值获取待解码视频对应的背景图像;
解码模块,用于根据所述背景图像对所述待解码视频进行解码。
第六方面,本发明实施例提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上述任一的视频处理方法的步骤。
第七方面,本发明提供了一种电子设备包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如第一方面所述的视频处理方法的步骤。
针对在先技术,本发明具备如下优点:
会根据用户输入的第一参数,确定第一标志值及第二标志值,若第一标志值为第一预设值,则根据第二标志值获取待编码视频对应的背景图像,接着,会根据背景图像对待编码视频进行编码;将进行编码之后得到的码流、第一标志值及第二标志值,发送给解码器。这样,无需进行率失真代价评估,用户可以在需要对待编码视频按照背景区域进行编码的情况下,直接控制解码器根据背景区域进行编码,进而一定程度上可以降低视频处理的复杂度,提高效率。
附图说明
图1是本发明实施例提供的一种视频处理方法的步骤流程图;
图2-1是本发明实施例提供的另一种视频处理方法的步骤流程图;
图2-2是本发明实施例提供的一种具体实例的处理过程示意图;
图3是本发明实施例提供的又一种视频处理方法的步骤流程图;
图4-1是本发明实施例提供的再一种视频处理方法的步骤流程图;
图4-2是本发明实施例提供的另一种具体实例的处理过程示意图;
图5是本发明实施例提供的再一种视频处理方法的步骤流程图;
图6是本发明实施例提供的一种视频处理系统的结构图;
图7是本发明实施例提供的一种视频处理装置的框图;
图8是本发明实施例提供的一种视频处理装置的框图;
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
首先,对本发明实施例中涉及的应用场景进行说明。具体的,随着通信技术的快速发展,视频通信在各个领域的使用越来越广泛。例如,除了传统媒体,近几年新兴的直播和短视频也成为了视频通信的主要平台,这就使得视频传输会带来巨大的流量开销。在如此巨大的流量开销下,视频在传输前的编码压缩成为了各个厂商关注的焦点。
目前,为了实现编码压缩,诞生了多种视频编码标准。基于现代编码理论,国际上主流的视频编码标准,例如,HEVC、AV1、AVS2等,均主要聚焦于视频中的空间冗余、时间冗余、编码冗余、视觉冗余和信息冗余这5大类冗余的消除,他们的主要方法都是按照分块的方式划分视频,然后通过预测、变换、量化、滤波、熵编码等环节来对视频信息进行编码。
而由于有些视频中可能会存在静态或接近静态背景的视频,例如,会议视频场景,视频监控场景中的视频。为了提高编码效率。各个编解码标准对于视频中背景区域的处理都有一套自己的方法。例如,在现有编码标准形成的传统编码框架下提供的跳过(skip)模式,该模式中,在编码块属于视频中的未发生变化或变化程度较小的背景区域时,可以将该编码块作为背景区域,跳过对该编码块的处理,同时,通过向解码端传送skipflag来告知解码端编码块没有编码处理,即,没有残差信息,可以直接从背景图像中通过拷贝像素值的方式进行图像的重建。然而,在正常的编码逻辑下,使用skip模式进行编码仍然需要对块进行划分并对每一个深度的编码块进行率失真代价评估,以确认当前的划分深度以及skip模式是否是当前编码块的最优模式。只有在skip模式是当前编码块的最优模式的情况下,才能使用这样就会增加视频处理的复杂度较高,降低效率。
为此本发明实施例提出了一种视频处理方法,以降低复杂度,提高效率。
图1是本发明实施例提供的一种视频处理方法的步骤流程图,如图1所示,该方法可以包括:
步骤101、根据用户输入的第一参数,确定第一标志值及第二标志值。
本发明实施例中,第一参数可以是用户根据实际需求在编码器开始运行之前输入的外部参数。第一标志值可以是第一标志位的值,第二标志值可以是第二标志位的值。其中,第一标志值可以用于指示编码器是否需要根据背景图像进行编码,即,是否需要打开背景编码模式,第一标志位可以用“background_mode_flag”表示,相应地,可以通过写入标志位的方法,设置background_mode_flag”的值。不同的第二标志值可以用于指示编码器按照不同的获取方式获取背景图像,其中,该获取方式可以包括直接读取已有图像,以及自动生成背景图像,第二标志位可以用“background_train_flag”表示。
进一步地,第一参数可以表示用户是否需要打开背景编码模式,以表示用户想要控制解码器以何种获取方式获取背景图像。相应地,根据用户输入的第一参数,确定第一标志值及第二标志值时,可以根据第一参数代表的实际含义,为设置相对应的第一标志值。示例的,第一参数可以为数值,其中不同数值可以表示不同的含义,相应地,解码器可以直接将用户输入的第一参数作为标志值,也可以按照预设规则,对第一参数进行转换,将转换之后得到的数值确定为标志值。
需要说明的是,实际应用场景中,往往是在需要根据背景区域进行编码模式的情况下,才需要获取背景图像,因此,本发明实施例中,可以先确定第一标志值,在第一标志值为指示编码器需要根据背景图像进行编码的数值的情况下,再去确定第二标志值,进而避免在不需要确定的情况执行确定操作。
步骤102、若所述第一标志值为第一预设值,则根据所述第二标志值获取待编码视频对应的背景图像。
本发明实施例中,第一预设值可以是根据实际需求设置,第一预设值可以是用于指示编码器需要根据背景图像进行编码的数值。示例的,第一预设值可以为1。相应地,如果第一标志值为第一预设值,即,background_mode_flag的值被记为“1”,则可以认为当前需求根据背景图像进行编码,相应地,可以根据第二标志值获取待编码视频对应的背景图像,以确保后续步骤中能够基于背景图像进行编码。
步骤103、根据所述背景图像对所述待编码视频进行编码。
具体的,背景图像可以表示待编码视频中的变化较小或不发生变化的背景部分,根据所述背景图像对待编码视频进行编码时,可以在待编码视频中的编码块属于背景区域的情况下,跳过编码,进而节省处理资源。在编码块不属于背景区域的情况下,对编码块进行编码,得到码流。
步骤104、将进行编码之后得到的码流、所述第一标志值及所述第二标志值,发送给解码器。
本发明实施例中,可以将码流及标志值分开发送给解码器,也可以将标志为插入在码流中,一起发送至解码器。这样,通过发送码流,使得解码器根据码流进行解码之后,即可得到完整的视频。同时,通过发送第一标志值和第二标志值,可以使解码器能够及时获知编码器是否使用了背景编码模式以及通过何种方式生成了背景图像,进而方便解码器能够以相对应的方式进行解码,确保解码器能够正常解码。
综上所述,本发明实施例提供的视频处理方法,会根据用户输入的第一参数,确定第一标志值及第二标志值,若第一标志值为第一预设值,则根据第二标志值获取待编码视频对应的背景图像,接着,会根据背景图像对待编码视频进行编码;将进行编码之后得到的码流、第一标志值及第二标志值,发送给解码器。这样,无需进行率失真代价评估,用户可以在需要对待编码视频按照背景区域进行编码的情况下,直接控制解码器根据背景区域进行编码,进而一定程度上可以降低视频处理的复杂度,提高效率。
图2-1是本发明实施例提供的另一种视频处理方法的步骤流程图,如图2-1所示,该方法可以包括:
步骤201、根据用户输入的第一参数,确定第一标志值及第二标志值。
具体的,本步骤的实现方式,可以参考前述步骤101,本发明实施例对此不作限定。
步骤202、若所述第一标志值为第一预设值,则根据所述第二标志值获取待编码视频对应的背景图像。
具体的,本步骤可以通过下述子步骤(1)~子步骤(2)实现:
子步骤(1):若所述第二标志值为第二预设值,则从第一预设目录中获取预设图像;将所述预设图像确定为所述背景图像。
本步骤中,第二预设值可以是根据实际需求设置,第二预设值可以是用于指示编码器以直接读取已有图像的获取方式获取背景图像。示例的,第二预设值可以为0,即,background_train_flag的值被记为“0”。
进一步地,第一预设目录可以为指定目录,它的建立位置可以是根据实际需求设置的,例如,可以是在编码端或解码端中,本发明实施例对此不作限定。预设图像可以是预先生成的,或者是用户指定的图像。例如,在待编码视频为会议场景中的视频时,可以先获取会议场地的图像作为预设图像。本发明实施例中,编码器无需执行额外的操作,通过直接获取已有的预设图像即可得到背景图像,进而一定程度上可以节省处理资源。
子步骤(2):若所述第二标志值为第三预设值,则直接对所述待编码视频的前m帧视频图像执行编码操作,得到m帧已编码视频图像;获取所述m帧已编码视频图像对应的重建图像;根据所述重建图像,生成所述背景图像;其中所述重建图像是根据所述已编码视频图像对应的码流构建的。
本步骤中,第三预设值可以是根据实际需求设置,第三预设值可以是用于指示编码器以自己生成的获取方式获取背景图像。示例的,第三预设值可以为1,即,background_train_flag的值被记为“1”。进一步地,m也可以是根据实际需求设置的,例如,m可以为3,或者为5,等等。
相应地,这种情况下,编码器可以先对待编码视频的前m帧视频图像执行编码操作,其中,执行编码操作可以是按照视频编码标准,分别对m帧视频图像进行预测、变换、量化、滤波、熵编码等环节。在编码完成之后,还可以基于编码结果生成重建图像,以供后续其他操作使用。进一步地,获取m帧已编码视频图像对应的重建图像时,可以是根据已编码视频图像对应的编码后得到码流进行重建得到的。本发明实施例中,通过先对待编码视频中的部分图像进行编码,基于编码结果生成重建图像,并基于重建图像生成背景图像,由于重建图像是基于待编码视频中的内容得到的,因此,基于重建图像生成的背景图像,一定程度上可以更加真实可靠,进而可以提高基于该背景图像进行编码的效果。同时,由于解码器无法拿到原始的视频图像,因此,本发明实施例中,根据通过编码得到的码流生成重建图像,并基于重建图像生成背景图像的方式,可以使得后续步骤中解码器可以使用相同的标准生成背景图像,进而确保编解码操作的一致性。
具体的,根据重建图像,生成背景图像时,可以是对重建图像进行运动区域检测,得到所述重建图像中的静态区域及动态区域。例如,可以利用预设得运动区域检测算法,对每个重建图像分别进行识别,得到其中的静区域和动态区域。接着,可以将根据每个重建图像中的静态区域,获取背景图像。例如,可以对所有重建图像中的静态区域取交集,作为背景图像,或者,也可以对所有重建图像中的静态区域取并集,作为背景图像。由于背景区域往往是不发生变化或变成程度很小的区域,因此,本发实施例中,通过检测静态区域,并基于静态区域确定背景图像,一定程度上可以确保生成的背景图像的质量。
步骤203、根据用户输入的第三参数,确定第三标志值。
本发明实施例中,第三参数可以是用户根据实际需求在编码器开始运行之前输入的外部参数。第三标志值可以是第三标志位的值,第三标志值可以用于指示编码器是否需要对背景图像进行更新。第三标志位可以用“background_update_flag”表示。具体的,根据参数确定标志值的实现方式,可以参考前述步骤中的相关描述,本发明实施例在此不做赘述。
步骤204、对于未编码的待编码视频图像中的任一编码块,确定所述背景图像中包含的背景块中,是否存在与所述编码块相匹配的背景块。
具体的,可以先获取并记录背景图像中包含的各个所述背景块的编号。然后在所述背景图像中包含的背景块的编号存在与所述编码块的编号相匹配的编号时,确定所存在与所述编码块相匹配的背景块。其中,背景图像中的背景块可以由作为背景的像素点组成,背景图像的尺寸可以与待编码视频中视频图像的尺寸相同,背景图像中可以保留有会作为背景的像素点的像素值,其他不为背景的像素点的像素值可以统一设置为指定标志值,可以便于能够方便的获知哪些是背景哪些不是背景。背景图像可以按照视频编码时的划分方式被划分为多个块,每个块可以包含编号,其中,该编号可以用于指示块在视频图像中的相对位置。示例的,假设划分规则会将视频图像划分为4个块,编号为1时,可以指示块在视频图像中的左上角,编号为2时,可以指示块在视频图像中的右上角,编号为3时,可以指示块在视频图像中的左下角,编号为4时,可以指示块在视频图像中的右下角。背景图像中包含的各个块的划分方式及编号的设置方式可以与待编码视频中各个块的划分方式及编号的设置方式相同。这样,可以确保两者的编号具有较强的参考性。进一步地,编码器可以先定位背景图像中没有被设置指定标志值的像素点所在的块,即,背景块,然后获取这些块的编号记录在预设位置中。还可以记录下背景块中像素点的像素值,以便于后续过程中使用。
进一步地,可以将当前编码块的编号与记录的各个背景块的编号进行一一比对,如果存在相同的编号,则可以认为存在与编码块的编号相匹配的编号,如果不存在相同的编号,则可以认为不存在与编码块的编号相匹配的编号。
步骤205、若存在,则在所述第三标志值为第四预设值的情况下,跳过对所述编码块的编码操作。
本步骤中,若存在则可以认为该编码块有很大概率属于背景,进一步地,第四预设值可以是根据实际需求设置,第四预设值可以用于指示编码器不更新背景图像。示例的,第四预设值可以为0,即,background_update_flag的值被记为“0”。由于实际应用场景中,用户往往是在背景图像可靠性较高,背景的变化很弱情况下,会控制编码器不进行更新,因此,可以在存在与编码块相匹配背景块且用户选择不更新,即,background_update_flag为“0”的情况下,直接跳过对该编码块的编码操作,以对下一编码块进行处理。相应地,还可以直接拷贝该相匹配的背景块中的像素值作为该编码块的重建像素。其中,本发明实施例中的编码块可以为一个MB或CTU,编码块还可以往下继续划分为单元,例如,编码单元(CU)、预测单元(PU)和变换单元(TU),等等。
步骤206、在所述第三标志值为第五预设值的情况下,根据所述待编码视频图像的帧类型及所述背景图像中各个背景块的像素值,对所述编码块进行编码。
本步骤中,第五预设值可以是根据实际需求设置,第五预设值可以用于指示编码器更新背景图像。示例的,第五预设值可以为1,即,background_update_flag的值被记为“1”。这种情况下,为了确保对编码块执行正确的操作,可以进一步根据待编码视频图像的帧类型及背景图像中各个背景块的像素值,对编码块进行编码,以确保编码效果。
具体的,可以将所述相匹配的背景块确定为目标背景块。通过下述子步骤(3)~子步骤(4)实现根据帧类型对编码块进行编码:
子步骤(3):若所述待编码视频图像的帧类型为I帧或P帧,则在所述编码块中像素点的像素值与所述目标背景块中像素点的像素值的误差小于第一预设阈值的情况下,跳过对所述编码块的编码操作;在所述误差不小于所述第一预设阈值的情况下,对所述编码块执行编码操作。
本步骤中,该第一预设阈值可以是根据实际需求设定,如果误差小于第一预设阈值,则可以认为两者很大概率一致。因此,本步骤中,可以计算编码块中像素点的像素值与目标背景块中像素点的像素值的均方误差,在该均方误差小于第一预设阈值的情况下,再跳过对编码块的编码操作,以对下一编码块进行处理,直到整幅图像编码完成。相应地,还可以直接拷贝该相匹配的背景块中的像素值作为该编码块的重建像素。进一步地,在不小于第一预设阈值的情况下,继续对编码块执行编码操作,进而可以避免在需要对编码块执行编码操作时,未执行编码操作,导致编码效果较差的问题。其中,该误差可以是均方误差(MSE),MSE的具体计算方式可以参照相关技术,执行编码操作的具体实现方式可以参照前述步骤中的相关描述,本发明实施例在此不做赘述。
子步骤(4):若所述待编码视频图像的帧类型为B帧,则将所述编码块在所述待编码视频图像的前向视频图像及后向视频图像中对应的编码块确定为参考块;在所述参考块中像素点的像素值与所述目标背景块中像素点的像素值均相匹配的情况下,跳过对所述编码块的编码操作;在不均相匹配的情况下,对所述编码块执行编码操作。
本步骤中,前向视频图像及后向视频图像可以是两个第一参考帧,由于B帧在解码时,需要结合前向和后向的图像,因此,为了确保判断的准确性,本发明实施例中,针对B帧中的编码块,可以将前向视频图像及后向视频图像中对应的编码块确定为参考块,根据参考块与目标背景块中像素点的像素值的相对关系,确定是否需要跳过对编码块的编码操作,这样,一定程度上可以提高执行跳过操作的准确性,进而提高编码效果。
进一步地,由于参考块不是编码块本身,因此,本步骤中,通过在参考块中像素点的像素值与目标背景块中像素点的像素值均相匹配,即,两个参考块中像素值都等于目标背景块中像素值,即,像素值之间的误差极大程度小于第一预设阈值的情况下,才需要跳过对编码块的编码操作,可以进一步提高判断的准确性。
进一步地,相较于在视频编码的一开始生成一个质量较高的长期参考帧,后续的帧间图像把这一帧加入自己的参考帧列表中,通过该长期参考帧中来参与其他帧图像的编码操作的方式,本发明实施例中,仅使用背景图像中的背景块进行编码,一定程度上可以更加精准的基于背景进行编码,进而提高编码效果。
步骤207、若所述第三标志值为所述第五预设值,则在跳过对所述编码块的编码操作的情况下,将所述编码块的第四标志值设置为第六预设值,在对所述编码块执行编码操作的情况下,将所述编码块的第四标志值设置为第七预设值。
本步骤中,第四标志值可以表示是否对该编码块跳过了编码操作。具体的,第四标志值为第六预设值时,可以表示跳过了对该编码块的编码操作,第四标志值为第七预设值时,可以表示未跳过对该编码块的编码操作。第四标志值可以表示为“background_block_flag”,第六预设值可以为“1”,第七预设值可以为“0”。即,可以在跳过对所述编码块的编码操作的情况下,设置“background_block_flag”为1,在对编码块执行编码操作的情况下,设置“background_block_flag”为0。
步骤208、根据被设置为所述第六预设值的第四标志值的数量,对所述背景图像进行更新。
具体的,若连续n帧视频图像中同一编号的编码块的第四标志值均被设置为所述第六预设值,则从所述n帧视频图像中同一编号的编码块中,选择p个编码块作为参考编码;若p个所述参考编码块之间的像素值误差均小于第二预设阈值,则根据所述n帧视频图像中第n帧视频图像中同一编号的编码块的像素值,更新所述背景图像中对应的背景块的像素值。
其中,n、p及第二预设阈值的具体值可以是根据实际情况确定,例如,n可以为10,p可以为不大于n的数值,第二预设阈值可以与前述第一预设阈值相同。如果连续n帧视频图像中同一编号的编码块的第四标志值均设置为第六预设值,则可以认为连续多个编码块都被跳过执行编码操作了,当前的背景图像的可信度可能有所降低,因此,可以在这种情况下,可以从中选择p个编码块作为参考编码,以进行更新。示例的,p可以为3,选择时可以等间距选取。例如,可以选取第1帧,第n/2帧,第n帧。具体的,如果p个所述参考编码块之间的像素值误差均小于预设阈值,则可以使用取第n帧视频图像中同一编号的编码块的像素值,替换背景图像中对应的背景块的像素值,进而实现更新。本发明实施例中,通过设置第四标志值,可以使得解码器能够便捷的更新背景图像,同时通过更新背景图像,可以提高背景图像的可信度,进而提高基于该背景图像进行编码的效果。进一步地,相较于在视频开始时编解码端同步生成一个背景图像,之后每隔一个固定时间进行背景图像在编解码端的同步更新的方式,本发明实施例中,编码器根据连续被跳过的编码块的个数,来评估当前背景图像的可信度,在可信度较低时进行更新,可以使得背景更新更加灵活。
步骤209、将进行编码之后得到的码流、所述第一标志值、所述第二标志值、所述第三标志值及所述第四标志值,发送给解码器。
本步骤中,可以对码流结构进行更改,具体的,可以码流的序列头(sequenceheader)中增加第一标志位、第二标志位、第三标志位及第四标志位,即,添加它们各自对应的语法元素。相应地,可以将将第一标志值、第二标志值、第三标志值及第四标志值写入序列头(sequenceheader)的对应位置,最后通过发送该码流,实现将码流、第一标志值、第二标志值、第三标志值及第四标志值发送给解码器。这样,通过在序列头中添加标志位,可以在实现发送的同时,减少需要发送的信息的种类,进而一定程度上提高发送效果。
示例的,图2-2是本发明实施例提供的一种具体实例的处理过程示意图,如图2-2所示,可以先判断第一标志位的值是否为第一预设值,即,判断“background_mode_flag”是否为1,若“background_mode_flag”不为1,例如,“background_mode_flag”为0时,可以按照标准编码流程对编码块进行处理。进一步地,若“background_mode_flag”为1,则可以进一步判断第二标志位的值是否为第三预设值,即“background_train_flag”是否为1,若为1,则可以使用前若干帧图像生成背景图像。若不为1,即,background_train_flag”为0,则可以读取指定目录中的文件并生成背景,即,直接将读取的预设图像作为背景图像。接着,可以读取第三标志位的值“background_update_flag”并开始编码。具体的,可以确定当前编码块的编号与背景块的编号是否相等,如果不相等,则对该编码块进行常规预测编码,即,按照原有方法进行编码。如果相等,则判断background_update_flag是否为第五预设值,即,判断background_update_flag是否为1,如果为1,则判断编码块与背景块中像素值的MSE是否大于预设阈值,如果大于则对该编码块进行常规预测编码,如果不大于,或者,background_update_flag不为1,则直接拷贝背景图像中对应块的像素值,生成重建图像,即,跳过对该编码块的编码操作。循环执行,直至当前图像编码完成,再继续对下一帧图像编码。
综上所述,本发明实施例提供的视频处理方法,会根据用户输入的第一参数,确定第一标志值及第二标志值,若第一标志值为第一预设值,则根据第二标志值获取待编码视频对应的背景图像,根据用户输入的第三参数,确定第三标志值,根据背景图像第三标志值以及编码块的帧类型,有针对性的进行编码,在编码过程会同时设置第四标志值,以方便进行更新,最后,将进行编码之后得到的码流、第一标志值、第二标志值,发送给解码器。这样,无需进行率失真代价评估,用户可以在需要对待编码视频按照背景区域进行编码的情况下,直接控制解码器根据背景区域进行编码,进而一定程度上可以降低视频处理的复杂度,提高效率。同时,相较于现有技术中,率失真代价最小的情况下,才能基于背景图像进行编码的方式,本发明实施例中,可以在想要对视频基于背景区域进行编码时就基于背景区域进行编码,进而可以提高基于背景区域进行编码的灵活性。
图3是本发明实施例提供的又一种视频处理方法的步骤流程图,应用于解码器,如图3所示,该方法可以包括:
步骤301、接收编码器发送的码流、第一标志值及第二标志值。
本发明实施例中,第一标志值及第二标志值可以是编码器根据用户输入的第一参数确定。
步骤302、若所述第一标志值为第一预设值,则根据所述第二标志值获取待解码视频对应的背景图像。
本发明实施例中,第一预设值可以是用于指示编码器需要根据背景图像进行编码的数值。如果第一标志值为第一预设值,即,background_mode_flag的值被记为“1”,则可以认为编码器根据背景图像进行编码,因此,解码器可以相应地获取待解码视频对应的背景图像,以便于后续步骤中,可以基于背景图像进行解码,进而确保编解码的一致性。
步骤303、根据所述背景图像对所述待解码视频进行解码。
具体的,根据所述背景图像对待解码视频中的解码块进行解码时,可以在解码块属于背景区域的情况下,直接使用背景图像中对应块的像素值作为重建像素值,以生成解码图像。在解码块不属于背景区域的情况下,根据码流进行反变化,以获取重建像素值,进而实现对解码块进行解码。
综上所述,本发明实施例提供的视频处理方法,解码器会接收编码器发送的码流、第一标志值及第二标志值,若所述第一标志值为第一预设值,则根据所述第二标志值获取待解码视频对应的背景图像,根据所述背景图像对所述待解码视频进行解码。这样,使得编码器无需进行率失真代价评估,根据用户按照需求设置的外部参数,即可灵活的根据背景区域进行编码,进而一定程度上可以降低视频处理的复杂度,提高效率。同时,通过同时发送第一标志值及第二标志值,使得解码器可以根据第一标志值及第二标志值相应地基于背景图像进行解码,进而可以确保视频编解码的一致性,确保视频能够顺利解码。
图4-1是本发明实施例提供的再一种视频处理方法的步骤流程图,应用于解码器,如图4-1所示,该方法可以包括:
步骤401、接收编码器发送的码流、第一标志值、第二标志值、第三标志值及第四标志值。
具体的,本步骤的具体实现步骤可以参考前述相关描述,本发明实施例在此不做赘述。
步骤402、若所述第一标志值为第一预设值,则根据所述第二标志值获取待解码视频对应的背景图像。
具体的,本步骤可以通过下述子步骤(5)~子步骤(6)实现:
子步骤(5):若所述第二标志值为第二预设值,则从第二预设目录中获取预设图像;将所述预设图像确定为所述背景图像。
本步骤中,第二标志值为第二预设值,即,background_train_flag的值被记为“0”,则可以认为编码器是以直接读取已有图像的获取方式获取背景图像的,相应地,为了确保编解码一致,解码器也可以从第二预设目录中获取预设图像。其中,第二预设目录可以为指定目录,第二预设目录可以与第一预设目录为同一目录,也可以为不同的目录。本发明实施例中,解码器无需执行额外的操作,通过直接获取已有的预设图像即可得到背景图像,进而一定程度上可以节省处理资源。
子步骤(6):若所述第二标志值为第三预设值,则根据所述码流对所述待解码视频的前m帧视频图像进行解码,得到m帧重建图像;根据所述m帧重建图像,生成所述背景图像。
本步骤中,第二标志值为第三预设值,即,background_train_flag的值被记为“1”,则可以认为编码器是以自己生成的获取方式获取背景图像的,相应地,为了确保编解码一致,解码器也可以通过本步骤生成。具体的,根据码流进行解码时,可以是根据码流中的解码模式、运动矢量残差等信息进行反预测、反变换、反量化、反滤波、等环节,进而得到重建图像。最后,可以基于重建图像生成背景图像。由于编码端在自己生成背景图像时,也是根据重建图像生成的,因此,解码器也根据重建图像生成背景图像的方式,可以确保使用相同的标准生成背景图像,进而确保编解码操作的一致性。
具体的,根据重建图像生成背景图像时,可以对所述重建图像进行运动区域检测,得到所述重建图像中的静态区域及动态区域;根据每个所述重建图像中的静态区域,获取所述背景图像。其中,各个操作的具体实现方式可以参照前述相关步骤中的描述,本发明实施例在此不做赘述。
步骤403、对于未解码的待解码视频图像中的任一解码块,确定所述背景图像中包含的背景块中,是否存在与所述解码块相匹配的背景块。
具体的,解码器可以先获取并记录背景图像中包含的各个所述背景块的编号。然后在所述背景图像中包含的背景块的编号存在与所述解码块的编号相匹配的编号时,确定所存在与所述解码块相匹配的背景块。其中,背景图像中的背景块可以由作为背景的像素点组成,背景图像的尺寸可以与待解码视频中视频图像的尺寸相同,待解码视频中视频图像可以与前述实施例中待编码视频图像的尺寸相同。
背景图像中可以保留有会作为背景的像素点的像素值,其他不为背景的像素点的像素值可以统一设置为指定标志值,可以便于能够方便的获知哪些是背景哪些不是背景。背景图像可以按照视频解码时的划分方式被划分为多个块,每个块可以包含编号,其中,该编号可以用于指示块在视频图像中的相对位置。背景图像中包含的各个块的划分方式及编号的设置方式、待解码视频中各个块的划分方式及编号的设置方式可以与上述实施例中待解码视频中各个块的划分方式及编号的设置方式相同。这样,可以编号具有较强的参考性。进一步地,解码器可以先定位背景图像中没有被设置指定标志值的像素点所在的块,即,背景块,然后获取这些块的编号记录在预设位置中。还可以记录下背景块中像素点的像素值,以便于后续过程中使用。进一步地,可以将当前解码块的编号与记录的各个背景块的编号进行一一比对,如果存在相同的编号,则可以认为存在与解码块的编号相匹配的编号,如果不存在相同的编号,则可以认为不存在与解码块的编号相匹配的编号。
步骤404、若存在,则在所述第三标志值为第四预设值的情况下,将所述相匹配的背景块中像素点的像素值确定为所述解码块的重建像素值。
本步骤中,若存在则可以认为该解码块有很大概率属于背景,进一步地,第三标志值为第四预设值,即,background_update_flag的值被记为“0”,说明背景图像不需要更新。这种情况下,解码器可以直接将相匹配的背景块中像素点的像素值确定为解码块的重建像素值,接着进入下一解码块的处理流程。即,通过拷贝相匹配的背景块中像素点的像素值,即可得到当前解码块解码后的像素值。具体的,拷贝时,可以从前述步骤中存储的像素值中对应拷贝。以对下一编码块进行处理。其中,本发明实施例中的解码块可以为一个MB或CTU,解码块还可以往下继续划分为单元,例如,编码单元(CU)、预测单元(PU)和变换单元(TU),等等。
步骤405、在所述第三标志值为第五预设值的情况下,根据所述待解码视频图像的帧类型及所述第四标志值,对所述解码块进行解码。
本步骤中,第三标志值为第五预设值,即,background_update_flag的值被记为“1”。这种情况下,编码器为了确保对编码块执行正确的操作,会进一步根据待编码视频图像的帧类型及背景图像中各个背景块的像素值,对编码块进行编码,以确保编码效果。因此,相应地,解码器可以进一步根据待解码视频图像的帧类型及第四标志值,对解码块进行解码,以确保编解码一致,确保解码效果。
具体的,若所述待解码视频图像的帧类型为I帧或P帧,则在所述第四标志值为第六预设值的情况下,将所述相匹配的背景块中像素点的像素值确定为所述解码块的重建像素值;在所述第四标志值为第七预设值的情况下,根据所述码流对所述解码块执行解码操作,得到所述解码块的重建像素值。
本步骤中,如果待解码视频图像帧类型为I帧或P帧,第四标志值为第六预设值,即,“background_block_flag”为“1”,则说明编码器跳过了编码操作,因此,可以直接将相匹配的背景块中像素点的像素值确定为解码块的重建像素值。进一步地,如果第四标志值为第七预设值,即,“background_block_flag”为0,则说明编码器执行了编码操作,因此,解码器可以相应地根据码流对解码块执行解码操作,得到解码块的重建像素值。具体的,本步骤中各个操作的具体实现方式可以参照前述相关步骤中的描述,本发明实施例在此不做赘述。
或者,若所述待解码视频图像的帧类型为B帧,则将所述解码块在所述待解码视频图像的前向视频图像及后向视频图像中对应的解码块确定为参考块;在所述参考块中像素点的像素值与所述相匹配的背景块中像素点的像素值均相匹配的情况下,将所述相匹配的背景块中像素点的像素值确定为所述解码块的重建像素值;在不均相匹配的情况下,根据所述码流对所述解码块执行解码操作,得到所述解码块的重建像素值。
其中,前向视频图像及后向视频图像可以是两个第一参考帧,由于B帧在解码时,需要结合前向和后向的图像,因此,为了确保判断的准确性,编码器针对B帧中的编码块,会将前向视频图像及后向视频图像中对应的编码块确定为参考块,在参考块中像素点的像素值与目标背景块中像素点的像素值均相匹配的情况下才跳过编码操作,以确保判断的准确性。因此,本步骤中,解码器可以相应地也先确定为参考块,然后在参考块中像素点的像素值与相匹配的背景块中像素点的像素值均相匹配的情况下,直接将相匹配的背景块中像素点的像素值确定为解码块的重建像素值;在不均相匹配的情况下,根据码流对所述解码块执行解码操作,得到解码块的重建像素值。具体的,本步骤中各个操作的具体实现方式可以参照前述相关步骤中的描述,本发明实施例在此不做赘述。本发明实施例中,通过根据不同的帧类型即第四标记值,执行相对应的操作,可以确保编解码的一致性,进而提高解码效果。
步骤406、若所述第三标志值为所述第五预设值,则在连续n帧视频图像中同一编号的解码块的第四标志值均为第六预设值的情况下,从所述n帧视频图像中同一编号的解码块中,选择p个解码块作为参考解码块。
本步骤中,第三标志值为第五预设值,即,background_update_flag的值为“1”,背景图像需要更新,由于编码器是在连续n帧视频图像中同一编号的编码块的第四标志值均设置为第六预设值时,认为当前的背景图像的可信度可能有所降低,并进行更新的。因此,解码器可以相应地在该情况下选择p个解码块作为参考解码块进行更新。具体的,选择方式可以参照前述相关描述,本发明实施例对此不做限定。
步骤407、若p个所述参考解码块之间的像素值误差均小于第二预设阈值,则根据所述n帧视频图像中的第n帧视频图像中同一编号的解码块的像素值,更新所述背景图像中对应的背景块的像素值。
具体的,本步骤的具体实现方式可以参照前述相关描述,本发明实施例对此不做限定。本发明实施例中,解码器通过在相同时机下,采用与编码器相同的更新方式对背景图像进行更新,可以确保背景图像的一致性,进而提高解码效果。进一步地,相较于在视频开始时编解码端同步生成一个背景图像,之后每隔一个固定时间进行背景图像在编解码端的同步更新的方式,本发明实施例中,根据连续被跳过的编码块的个数,来评估当前背景图像的可信度,在可信度较低时进行更新,可以使得背景更新更加灵活。
示例的,图4-2是本发明实施例提供的另一种具体实例的处理过程示意图,如图4-2所示,解码器可以先判断第一标志位的值是否为第一预设值,即,判断“background_mode_flag”是否为1,若“background_mode_flag”不为1,例如,“background_mode_flag”为0时,可以按照标准解码流程对解码块进行处理。进一步地,若“background_mode_flag”为1,则可以进一步判断第二标志位的值是否为第三预设值,即“background_train_flag”是否为1,若为1,则可以解码前若干帧图像生成背景图像。若不为1,即,background_train_flag”为0,则可以读取指定目录中的文件并生成背景,即,直接将读取的预设图像作为背景图像。接着,可以读取第三标志位的值“background_update_flag”并开始解码。具体的,可以确定当前解码块的编号与背景块的编号是否相等,如果不相等,则按照原有方法解码当前块,即,对该解码块进行常规解码操作。如果相等,则判断background_update_flag是否为第五预设值,即,判断background_update_flag是否为1,如果为1,则根据解码模式、运动矢量残差等信息,生成解码图像,即,对该解码块进行常规解码操作,如果background_update_flag不为1,则直接拷贝背景图像中对应块的像素值,生成解码图像。循环执行,直至当前图像解码完成,再继续对下一帧图像解码。
综上所述,本发明实施例提供的视频处理方法,解码器会接收编码器发送的码流、第一标志值、第二标志值、第三标志值及第四标志值,若所述第一标志值为第一预设值,则根据所述第二标志值获取待解码视频对应的背景图像,根据第三标志值及第四标志值及背景图像,对待解码视频中的解码块进行解码。这样,使得编码器无需进行率失真代价评估,根据用户按照需求设置的外部参数,即可灵活的根据背景区域进行编码,进而一定程度上可以降低视频处理的复杂度,提高效率。同时,通过接收第一标志值、第二标志值、第三标志值及第四标志值,使得解码器可以根据标志值相应地基于背景图像进行解码,进而可以确保视频编解码的一致性,确保视频能够顺利解码。
图5是本发明实施例提供的再一种视频处理方法的步骤流程图,应用于包括编码器及解码器的系统,如图5所示,该方法可以包括:
步骤501、所述编码器根据用户输入的第一参数,确定第一标志值及第二标志值。
步骤502、所述编码器在所述第一标志值为第一预设值的情况下,则根据所述第二标志值获取待编码视频对应的背景图像。
步骤503、所述编码器根据所述背景图像对所述待编码视频进行编码。
步骤504、所述编码器将进行编码之后得到的码流、所述第一标志值及所述第二标志值,发送给所述解码器。
步骤505、所述解码器接收所述编码器发送的码流、第一标志值及第二标志值。
步骤506、所述解码器在所述第一标志值为第一预设值的情况下,则根据所述第二标志值获取待解码视频对应的背景图像。
步骤507、所述解码器根据所述背景图像对所述待解码视频进行解码。
具体的本发明实施例中各个步骤的实现方式可以参照前述相关步骤中的描述,本发明实施例在此不做赘述。
综上所述,本发明实施例提供的视频处理方法,会根据用户输入的第一参数,确定第一标志值及第二标志值,若第一标志值为第一预设值,则根据第二标志值获取待编码视频对应的背景图像,接着,会根据背景图像对待编码视频进行编码;将进行编码之后得到的码流、第一标志值及第二标志值,发送给解码器。相应地,解码器会根据码流及标志值进行相应的解码操作。这样,无需进行率失真代价评估,用户可以在需要对待编码视频按照背景区域进行编码的情况下,直接控制解码器根据背景区域进行编码,进而一定程度上可以降低视频处理的复杂度,提高效率。
图6是本发明实施例提供的一种视频处理系统的结构图,如图6所示,该系统60可以包括:编码器601及解码器602;
所述编码器601,用于根据用户输入的第一参数,确定第一标志值及第二标志值。
所述编码器601,用于在所述第一标志值为第一预设值的情况下,则根据所述第二标志值获取待编码视频对应的背景图像。
所述编码器601,用于根据所述背景图像对所述待编码视频进行编码。
所述编码器601,用于将进行编码之后得到的码流、所述第一标志值及所述第二标志值,发送给所述解码器602。
所述解码器602,用于接收所述编码器601发送的码流、第一标志值及第二标志值。
所述解码器602,用于在所述第一标志值为第一预设值的情况下,则根据所述第二标志值获取待解码视频对应的背景图像。
所述解码器602,用于根据所述背景图像对所述待解码视频进行解码。
综上所述,本发明实施例提供的视频处理系统,编码器会根据用户输入的第一参数,确定第一标志值及第二标志值,若第一标志值为第一预设值,则根据第二标志值获取待编码视频对应的背景图像,接着,会根据背景图像对待编码视频进行编码;将进行编码之后得到的码流、第一标志值及第二标志值,发送给解码器。相应地,解码器会根据码流及标志值进行相应的解码操作。这样,无需进行率失真代价评估,用户可以在需要对待编码视频按照背景区域进行编码的情况下,直接控制解码器根据背景区域进行编码,进而一定程度上可以降低视频处理的复杂度,提高效率。
图7是本发明实施例提供的一种视频处理装置的框图,应用于编码器,如图7所示,该装置70可以包括:
第一确定模块701,用于根据用户输入的第一参数,确定第一标志值及第二标志值;
获取模块702,用于若所述第一标志值为第一预设值,则根据所述第二标志值获取待编码视频对应的背景图像;
编码模块703,用于根据所述背景图像对所述待编码视频进行编码;
第一发送模块704,用于将进行编码之后得到的码流、所述第一标志值及所述第二标志值,发送给解码器。
可选的,所述获取模块702,具体用于:
若所述第二标志值为第二预设值,则从第一预设目录中获取预设图像;将所述预设图像确定为所述背景图像;
若所述第二标志值为第三预设值,则直接对所述待编码视频的前m帧视频图像执行编码操作,得到m帧已编码视频图像;获取所述m帧已编码视频图像对应的重建图像;根据所述重建图像,生成所述背景图像;其中所述重建图像是根据所述已编码视频图像对应的码流构建的。
可选的,所述获取模块702,还具体用于:
对所述重建图像进行运动区域检测,得到所述重建图像中的静态区域及动态区域;
根据每个所述重建图像中的静态区域,获取所述背景图像。
可选的,所述装置70还包括:
第二确定模块,用于根据用户输入的第三参数,确定第三标志值;
第二发送模块,用于将所述第三标志值发送给所述解码器;
相应地,所述编码模块703,具体用于:
对于未编码的待编码视频图像中的任一编码块,确定所述背景图像中包含的背景块中,是否存在与所述编码块相匹配的背景块;
若存在,则在所述第三标志值为第四预设值的情况下,跳过对所述编码块的编码操作;
在所述第三标志值为第五预设值的情况下,根据所述待编码视频图像的帧类型及所述背景图像中各个背景块的像素值,对所述编码块进行编码。
可选的,所述编码模块703,还具体用于:
将所述相匹配的背景块确定为目标背景块;
若所述待编码视频图像的帧类型为I帧或P帧,则在所述编码块中像素点的像素值与所述目标背景块中像素点的像素值的误差小于第一预设阈值的情况下,跳过对所述编码块的编码操作;在所述误差不小于所述第一预设阈值的情况下,对所述编码块执行编码操作;
或者,若所述待编码视频图像的帧类型为B帧,则将所述编码块在所述待编码视频图像的前向视频图像及后向视频图像中对应的编码块确定为参考块;在所述参考块中像素点的像素值与所述目标背景块中像素点的像素值均相匹配的情况下,跳过对所述编码块的编码操作;在不均相匹配的情况下,对所述编码块执行编码操作。
可选的,所述装置70还包括:
设置模块,用于若所述第三标志值为所述第五预设值,则在跳过对所述编码块的编码操作的情况下,将所述编码块的第四标志值设置为第六预设值,在对所述编码块执行编码操作的情况下,将所述编码块的第四标志值设置为第七预设值;
更新模块,用于将所述第四标志值发送给所述解码器,以及,根据被设置为所述第六预设值的第四标志值的数量,对所述背景图像进行更新。
可选的,所述更新模块,具体用于,包括:
若连续n帧视频图像中同一编号的编码块的第四标志值均被设置为所述第六预设值,则从所述n帧视频图像中同一编号的编码块中,选择p个编码块作为参考编码块;
若p个所述参考编码块之间的像素值误差均小于第二预设阈值,则根据所述n帧视频图像中的第n帧视频图像中同一编号的编码块的像素值,更新所述背景图像中对应的背景块的像素值。
综上所述,本发明实施例提供的视频处理装置,会根据用户输入的第一参数,确定第一标志值及第二标志值,若第一标志值为第一预设值,则根据第二标志值获取待编码视频对应的背景图像,接着,会根据背景图像对待编码视频进行编码;将进行编码之后得到的码流、第一标志值及第二标志值,发送给解码器。这样,无需进行率失真代价评估,用户可以在需要对待编码视频按照背景区域进行编码的情况下,直接控制解码器根据背景区域进行编码,进而一定程度上可以降低视频处理的复杂度,提高效率。
图8是本发明实施例提供的一种视频处理装置的框图,应用于解码器,如图8所示,该装置80可以包括:
第一接收模块801,用于接收编码器发送的码流、第一标志值及第二标志值;
获取模块802,用于若所述第一标志值为第一预设值,则根据所述第二标志值获取待解码视频对应的背景图像;
解码模块803,用于根据所述背景图像对所述待解码视频进行解码。
可选的,所述获取模块802,具体用于:
若所述第二标志值为第二预设值,则从第二预设目录中获取预设图像;将所述预设图像确定为所述背景图像;
若所述第二标志值为第三预设值,则根据所述码流对所述待解码视频的前m帧视频图像进行解码,得到m帧重建图像;根据所述m帧重建图像,生成所述背景图像。
可选的,所述装置80还包括:
第二接收模块,用于接收所述编码器发送的第三标志值及第四标志值;
所述解码模块803,具体用于:
对于未解码的待解码视频图像中的任一解码块,确定所述背景图像中包含的背景块中,是否存在与所述解码块相匹配的背景块;
若存在,则在所述第三标志值为第四预设值的情况下,将所述相匹配的背景块中像素点的像素值确定为所述解码块的重建像素值;
在所述第三标志值为第五预设值的情况下,根据所述待解码视频图像的帧类型及所述第四标志值,对所述解码块进行解码。
可选的,所述解码模块803,还具体用于:
若所述待解码视频图像的帧类型为I帧或P帧,则在所述第四标志值为第六预设值的情况下,将所述相匹配的背景块中像素点的像素值确定为所述解码块的重建像素值;在所述第四标志值为第七预设值的情况下,根据所述码流对所述解码块执行解码操作,得到所述解码块的重建像素值;
或者,若所述待解码视频图像的帧类型为B帧,则将所述解码块在所述待解码视频图像的前向视频图像及后向视频图像中对应的解码块确定为参考块;在所述参考块中像素点的像素值与所述相匹配的背景块中像素点的像素值均相匹配的情况下,将所述相匹配的背景块中像素点的像素值确定为所述解码块的重建像素值;在不均相匹配的情况下,根据所述码流对所述解码块执行解码操作,得到所述解码块的重建像素值。
所述装置80还包括:
选择模块,用于若所述第三标志值为所述第五预设值,则在连续n帧视频图像中同一编号的解码块的第四标志值均为第六预设值的情况下,从所述n帧视频图像中同一编号的解码块中,选择p个解码块作为参考解码块;
更新模块,用于若p个所述参考解码块之间的像素值误差均小于第二预设阈值,则根据所述n帧视频图像中的第n帧视频图像中同一编号的解码块的像素值,更新所述背景图像中对应的背景块的像素值。
综上所述,本发明实施例提供的装置,解码器会接收编码器发送的码流、第一标志值及第二标志值,若所述第一标志值为第一预设值,则根据所述第二标志值获取待解码视频对应的背景图像,根据所述背景图像对所述待解码视频进行解码。这样,使得编码器无需进行率失真代价评估,根据用户按照需求设置的外部参数,即可灵活的根据背景区域进行编码,进而一定程度上可以降低视频处理的复杂度,提高效率。同时,通过同时发送第一标志值及第二标志值,使得解码器可以根据第一标志值及第二标志值相应地基于背景图像进行解码,进而可以确保视频编解码的一致性,确保视频能够顺利解码。
对于上述装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可选的,本发明实施例还提供一种电子设备,电子设备可以包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述视频处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
可选的,本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述视频处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。如只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
例如,图9示出了可以一种电子设备的结构示意图。该电子设备传统上包括处理器910和存储器920。存储器920可以是诸如闪存、电可擦除可编程只读存储器、硬盘、随机存取存储器(Random Access Memory,RAM)、磁碟、光盘或只读存储器(Read-Only Memory,ROM)之类的电子存储器。存储器920具有用于程序代码的存储空间930。用于程序代码的存储空间930可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以具有与电子设备中的存储器920类似布置的存储段、存储空间等。通常,存储单元包括计算机可读代码,即可以由例如诸如处理器910之类的处理器读取的代码,这些代码当由计算处理设备运行时,导致该计算处理设备执行上面所描述的方法中的各个步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。

Claims (17)

1.一种视频处理方法,其特征在于,应用于编码器,所述方法包括:
根据用户输入的第一参数,确定第一标志值及第二标志值;
若所述第一标志值为第一预设值,则根据所述第二标志值获取待编码视频对应的背景图像;
根据所述背景图像对所述待编码视频进行编码;
将进行编码之后得到的码流、所述第一标志值及所述第二标志值,发送给解码器。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第二标志值获取待编码视频对应的背景图像,包括:
若所述第二标志值为第二预设值,则从第一预设目录中获取预设图像;将所述预设图像确定为所述背景图像;
若所述第二标志值为第三预设值,则直接对所述待编码视频的前m帧视频图像执行编码操作,得到m帧已编码视频图像;获取所述m帧已编码视频图像对应的重建图像;根据所述重建图像,生成所述背景图像;其中所述重建图像是根据所述已编码视频图像对应的码流构建的。
3.根据权利要求2所述的方法,其特征在于,所述根据所述重建图像,生成所述背景图像,包括:
对所述重建图像进行运动区域检测,得到所述重建图像中的静态区域及动态区域;
根据每个所述重建图像中的静态区域,获取所述背景图像。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据用户输入的第三参数,确定第三标志值;
将所述第三标志值发送给所述解码器;
相应地,所述根据所述背景图像对所述待编码视频进行编码,包括:
对于未编码的待编码视频图像中的任一编码块,确定所述背景图像中包含的背景块中,是否存在与所述编码块相匹配的背景块;
若存在,则在所述第三标志值为第四预设值的情况下,跳过对所述编码块的编码操作;
在所述第三标志值为第五预设值的情况下,根据所述待编码视频图像的帧类型及所述背景图像中各个背景块的像素值,对所述编码块进行编码。
5.根据权利要求4所述的方法,其特征在于,所述根据所述待编码视频图像的帧类型及所述背景图像中各个背景块的像素值,对所述编码块进行编码,包括:
将所述相匹配的背景块确定为目标背景块;
若所述待编码视频图像的帧类型为I帧或P帧,则在所述编码块中像素点的像素值与所述目标背景块中像素点的像素值的误差小于第一预设阈值的情况下,跳过对所述编码块的编码操作;在所述误差不小于所述第一预设阈值的情况下,对所述编码块执行编码操作;
或者,若所述待编码视频图像的帧类型为B帧,则将所述编码块在所述待编码视频图像的前向视频图像及后向视频图像中对应的编码块确定为参考块;在所述参考块中像素点的像素值与所述目标背景块中像素点的像素值均相匹配的情况下,跳过对所述编码块的编码操作;在不均相匹配的情况下,对所述编码块执行编码操作。
6.根据权利要求4或5所述的方法,其特征在于,所述方法还包括:
若所述第三标志值为所述第五预设值,则在跳过对所述编码块的编码操作的情况下,将所述编码块的第四标志值设置为第六预设值,在对所述编码块执行编码操作的情况下,将所述编码块的第四标志值设置为第七预设值;
将所述第四标志值发送给所述解码器,以及,根据被设置为所述第六预设值的第四标志值的数量,对所述背景图像进行更新。
7.根据权利要求6所述的方法,其特征在于,所述根据被设置为所述第六预设值的第四标志值的数量,对所述背景图像进行更新,包括:
若连续n帧视频图像中同一编号的编码块的第四标志值均被设置为所述第六预设值,则从所述n帧视频图像中同一编号的编码块中,选择p个编码块作为参考编码块;
若p个所述参考编码块之间的像素值误差均小于第二预设阈值,则根据所述n帧视频图像中的第n帧视频图像中同一编号的编码块的像素值,更新所述背景图像中对应的背景块的像素值。
8.一种视频处理方法,其特征在于,应用于解码器,所述方法包括:
接收编码器发送的码流、第一标志值及第二标志值;
若所述第一标志值为第一预设值,则根据所述第二标志值获取待解码视频对应的背景图像;
根据所述背景图像对所述待解码视频进行解码。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第二标志值获取待解码视频对应的背景图像,包括:
若所述第二标志值为第二预设值,则从第二预设目录中获取预设图像;将所述预设图像确定为所述背景图像;
若所述第二标志值为第三预设值,则根据所述码流对所述待解码视频的前m帧视频图像进行解码,得到m帧重建图像;根据所述m帧重建图像,生成所述背景图像。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
接收所述编码器发送的第三标志值及第四标志值;
所述根据所述背景图像对所述待解码视频进行解码,包括:
对于未解码的待解码视频图像中的任一解码块,确定所述背景图像中包含的背景块中,是否存在与所述解码块相匹配的背景块;
若存在,则在所述第三标志值为第四预设值的情况下,将所述相匹配的背景块中像素点的像素值确定为所述解码块的重建像素值;
在所述第三标志值为第五预设值的情况下,根据所述待解码视频图像的帧类型及所述第四标志值,对所述解码块进行解码。
11.根据权利要求10所述的方法,其特征在于,所述根据所述待解码视频图像的帧类型及所述第四标志值,对所述解码块进行解码包括:
若所述待解码视频图像的帧类型为I帧或P帧,则在所述第四标志值为第六预设值的情况下,将所述相匹配的背景块中像素点的像素值确定为所述解码块的重建像素值;在所述第四标志值为第七预设值的情况下,根据所述码流对所述解码块执行解码操作,得到所述解码块的重建像素值;
或者,若所述待解码视频图像的帧类型为B帧,则将所述解码块在所述待解码视频图像的前向视频图像及后向视频图像中对应的解码块确定为参考块;在所述参考块中像素点的像素值与所述相匹配的背景块中像素点的像素值均相匹配的情况下,将所述相匹配的背景块中像素点的像素值确定为所述解码块的重建像素值;在不均相匹配的情况下,根据所述码流对所述解码块执行解码操作,得到所述解码块的重建像素值。
12.根据权利要求10所述的方法,其特征在于,所述方法还包括:
若所述第三标志值为所述第五预设值,则在连续n帧视频图像中同一编号的解码块的第四标志值均为第六预设值的情况下,从所述n帧视频图像中同一编号的解码块中,选择p个解码块作为参考解码块;
若p个所述参考解码块之间的像素值误差均小于第二预设阈值,则根据所述n帧视频图像中的第n帧视频图像中同一编号的解码块的像素值,更新所述背景图像中对应的背景块的像素值。
13.一种视频处理方法,其特征在于,应用于包括编码器及解码器的系统,所述方法包括:
所述编码器根据用户输入的第一参数,确定第一标志值及第二标志值;
所述编码器在所述第一标志值为第一预设值的情况下,则根据所述第二标志值获取待编码视频对应的背景图像;
所述编码器根据所述背景图像对所述待编码视频进行编码;
所述编码器将进行编码之后得到的码流、所述第一标志值及所述第二标志值,发送给所述解码器;
所述解码器接收所述编码器发送的码流、第一标志值及第二标志值;
所述解码器在所述第一标志值为第一预设值的情况下,则根据所述第二标志值获取待解码视频对应的背景图像;
所述解码器根据所述背景图像对所述待解码视频进行解码。
14.一种视频处理装置,其特征在于,应用于编码器,所述装置包括:
第一确定模块,用于根据用户输入的第一参数,确定第一标志值及第二标志值;
获取模块,用于若所述第一标志值为第一预设值,则根据所述第二标志值获取待编码视频对应的背景图像;
编码模块,用于根据所述背景图像对所述待编码视频进行编码;
第一发送模块,用于将进行编码之后得到的码流、所述第一标志值及所述第二标志值,发送给解码器。
15.一种视频处理装置,其特征在于,应用于解码器,所述装置包括:
第一接收模块,用于接收编码器发送的码流、第一标志值及第二标志值;
获取模块,用于若所述第一标志值为第一预设值,则根据所述第二标志值获取待解码视频对应的背景图像;
解码模块,用于根据所述背景图像对所述待解码视频进行解码。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至13任一所述的视频处理方法。
17.一种电子设备,其特征在于,包括:
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至13任一所述的视频处理方法。
CN202010899610.5A 2020-08-31 2020-08-31 视频处理方法、装置、可读存储介质及电子设备 Active CN112004114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010899610.5A CN112004114B (zh) 2020-08-31 2020-08-31 视频处理方法、装置、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899610.5A CN112004114B (zh) 2020-08-31 2020-08-31 视频处理方法、装置、可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112004114A true CN112004114A (zh) 2020-11-27
CN112004114B CN112004114B (zh) 2022-07-05

Family

ID=73464497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899610.5A Active CN112004114B (zh) 2020-08-31 2020-08-31 视频处理方法、装置、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112004114B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672154A (zh) * 2020-12-15 2021-04-16 上海信联信息发展股份有限公司 直播视频播放方法、装置、服务器和计算机可读存储介质
CN112954398A (zh) * 2021-02-07 2021-06-11 杭州朗和科技有限公司 编码方法、解码方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127912A (zh) * 2007-09-14 2008-02-20 浙江大学 利用动态背景帧的视频编码方法
CN101321287A (zh) * 2008-07-08 2008-12-10 浙江大学 基于运动目标检测的视频编码方法
US20100124274A1 (en) * 2008-11-17 2010-05-20 Cheok Lai-Tee Analytics-modulated coding of surveillance video
CN101902642A (zh) * 2010-05-31 2010-12-01 中山大学 一种h.264帧间skip模式快速判定方法
CN105898310A (zh) * 2016-04-26 2016-08-24 广东中星电子有限公司 视频编码方法和装置
WO2016161675A1 (zh) * 2015-04-08 2016-10-13 杭州海康威视数字技术股份有限公司 一种基于目标的视频编码方法及系统
CN107995494A (zh) * 2017-12-12 2018-05-04 珠海全志科技股份有限公司 视频图像数据的压缩方法与解压方法、计算机装置、计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127912A (zh) * 2007-09-14 2008-02-20 浙江大学 利用动态背景帧的视频编码方法
CN101321287A (zh) * 2008-07-08 2008-12-10 浙江大学 基于运动目标检测的视频编码方法
US20100124274A1 (en) * 2008-11-17 2010-05-20 Cheok Lai-Tee Analytics-modulated coding of surveillance video
CN101902642A (zh) * 2010-05-31 2010-12-01 中山大学 一种h.264帧间skip模式快速判定方法
WO2016161675A1 (zh) * 2015-04-08 2016-10-13 杭州海康威视数字技术股份有限公司 一种基于目标的视频编码方法及系统
CN105898310A (zh) * 2016-04-26 2016-08-24 广东中星电子有限公司 视频编码方法和装置
CN107995494A (zh) * 2017-12-12 2018-05-04 珠海全志科技股份有限公司 视频图像数据的压缩方法与解压方法、计算机装置、计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
F. CHEN ET AL.: "Block-Composed Background Reference for High Efficiency Video Coding", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
黄福咏: "HEVC框架下监控视频编码优化算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊),2018年第09期》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672154A (zh) * 2020-12-15 2021-04-16 上海信联信息发展股份有限公司 直播视频播放方法、装置、服务器和计算机可读存储介质
CN112954398A (zh) * 2021-02-07 2021-06-11 杭州朗和科技有限公司 编码方法、解码方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112004114B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
US20200260117A1 (en) Methods and Apparatuses for Coding and Decoding Depth Map
CN113824966B (zh) 获取视频图像运动矢量的方法与装置
US8064518B2 (en) Encoding apparatus, encoding method, decoding apparatus, and decoding method
US20190014325A1 (en) Video encoding method, video decoding method, video encoder and video decoder
US10404979B2 (en) Video coding with interpolated reference pictures
CN110944185B (zh) 视频解码的方法和装置、计算机设备及存储介质
US20160373767A1 (en) Encoding and Decoding Methods and Apparatuses
CN113507612B (zh) 视频处理方法和装置
US20210144370A1 (en) Encoding processing method and device, decoding processing method and device, encoder, and decoder
CN109922336B (zh) 视频数据的帧间预测方法和装置
US9503751B2 (en) Method and apparatus for simplified depth coding with extended prediction modes
CN111316642B (zh) 信令图像编码和解码划分信息的方法和装置
CN112004114B (zh) 视频处理方法、装置、可读存储介质及电子设备
US11949853B2 (en) Data decoding method and apparatus, and data coding method and apparatus
US20150365698A1 (en) Method and Apparatus for Prediction Value Derivation in Intra Coding
US20210360246A1 (en) Shape adaptive discrete cosine transform for geometric partitioning with an adaptive number of regions
US20220232208A1 (en) Displacement vector prediction method and apparatus in video encoding and decoding and device
EP3523967A1 (en) Method and apparatus for encoding a video
US20230239464A1 (en) Video processing method with partial picture replacement
CN114900691B (zh) 编码方法、编码器及计算机可读存储介质
CN112702602A (zh) 一种视频编解码的方法及存储介质
CN110870312A (zh) 用于视频压缩中的帧内编码的方法和设备
US20230370600A1 (en) A method and apparatus for encoding and decoding one or more views of a scene
CN116647695A (zh) 图像解码设备、图像编码设备和数据发送设备
US20240107054A1 (en) Video coding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221123

Address after: 31a, 15th floor, building 30, maple commercial city, bangrang Road, Brazil

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 511400 floor 5-13, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right