CN106231315A - 一种视频编码系统和应用该系统的视频编码方法 - Google Patents

一种视频编码系统和应用该系统的视频编码方法 Download PDF

Info

Publication number
CN106231315A
CN106231315A CN201610639691.9A CN201610639691A CN106231315A CN 106231315 A CN106231315 A CN 106231315A CN 201610639691 A CN201610639691 A CN 201610639691A CN 106231315 A CN106231315 A CN 106231315A
Authority
CN
China
Prior art keywords
video
information
encoder
frame
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610639691.9A
Other languages
English (en)
Other versions
CN106231315B (zh
Inventor
司继播
李欣
张龙霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumavision Technologies Co Ltd
Original Assignee
Sumavision Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumavision Technologies Co Ltd filed Critical Sumavision Technologies Co Ltd
Priority to CN201610639691.9A priority Critical patent/CN106231315B/zh
Publication of CN106231315A publication Critical patent/CN106231315A/zh
Application granted granted Critical
Publication of CN106231315B publication Critical patent/CN106231315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频编码系统和应用该系统的视频编码方法,其中,该系统包括:与外界视频源连接的第一编码器,用于读入视频帧,并根据指定的编码标准对视频帧进行编码,并输出第一码流;与第一编码器连接的解码器,用于对第一码流进行解码,从解码结果中的提取并保存视频编码参考信息;其中,该视频编码参考信息包括视频信息;与外界视频源和解码器连接的第二编码器,用于读入视频帧和视频编码参考信息,并根据指定的编码标准和视频编码参考信息对视频帧进行编码,并输出第二码流。本发明能够高效、快速地进行编码,且计算量小、可扩展性高。

Description

一种视频编码系统和应用该系统的视频编码方法
技术领域
本发明涉及计算机应用技术领域,具体而言,涉及一种视频编码系统和应用该系统的视频编码方法。
背景技术
视频编码是指通过特定的压缩技术,将某个视频格式的文件转换成另一种视频格式文件的方式。现有的一种多过程最优化编码系统,包括若干个并行编码器、前瞻缓冲器和二次编码器;该前瞻缓冲器的输入端与并行编码器的输出端连接,该前瞻缓冲器的输出端与二次编码器的输入端连接;上述系统的编码方法包括第一编码阶段、最优化选择阶段和第二编码阶段3个步骤;上述第一编码阶段由若干个并行编码器同时进行编码,前瞻缓冲器对第一编码阶段所得到的结果进行最优化选择以获得最优编码路径,二次编码器根据最优化选择阶段所获得的最优编码路径第二次编码,获得最终而最优的编码结果。
然而,在使用现有的上述编码系统进行编码时,第一编码阶段需要计算的信息很多,且效率比较低;上述编码系统正常运行的条件是用户需要知道所有编码器的具体实现过程;上述系统的编码方法中的三个步骤之间衔接的很紧密,可扩展性不强。
针对现有的编码系统计算量大、效率较低且扩展性差的问题,目前尚未提出有效的解决方案。
发明内容
有鉴于此,本发明实施例的目的在于提供一种视频编码系统和应用该系统的视频编码方法,能够高效、快速地进行编码,且计算量小、可扩展性高。
第一方面,本发明实施例提供了一种视频编码系统,该系统包括:与外界视频源连接的第一编码器,用于读入视频帧,并根据指定的编码标准对视频帧进行编码,并输出第一码流;其中,该编码标准包括H.264、H.265、AVS或AVS+;与第一编码器连接的解码器,用于对第一码流进行解码,从解码结果中的提取并保存视频编码参考信息;其中,该视频编码参考信息包括视频信息,视频信息包括帧类型信息、宏块的分割方法信息、运动矢量信息、参考索引信息、量化参数信息和帧内预测模式信息中的一种或多种;与外界视频源和解码器连接的第二编码器,用于读入视频帧和视频编码参考信息,并根据指定的编码标准和视频编码参考信息对视频帧进行编码,并输出第二码流。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述解码器包括:解码模块,用于对第一码流进行解码;与解码模块连接的视频信息提取模块,用于从解码结果中的提取视频信息;与解码模块连接的视频索引提取模块,用于从解码结果中的提取视频索引信息,视频索引信息包括:视频帧索引和宏块索引;其中,宏块索引携带有视频信息所在的宏块位置;与视频索引提取模块和视频信息提取模块连接的筛选模块,用于从视频信息和视频索引信息中筛选出与第二编码器的配置参数对应的视频编码参考信息;与筛选模块连接的保存模块,用于保存视频编码参考信息。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,上述第一编码器包括:并联的多个子编码器,用于分别根据指定的编码标准对视频帧进行编码,并输出多个第一码流;上述解码器还包括:设置于视频信息提取模块与筛选模块之间的优选模块,用于对多个第一码流进行解码并提取出多个视频信息,从多个视频信息之中选择出与视频帧匹配程度最高的视频信息。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,上述第二编码器包括:读入模块,用于读入视频帧和视频编码参考信息;与读入模块连接的视频信息获取模块,用于从视频编码参考信息中获取视频信息;与读入模块连接的视频索引信息提取模块,用于从视频编码参考信息中提取视频索引信息,输出视频索引信息;与视频信息获取模块和视频索引信息提取模块连接的编码模块,用于根据接收到的信息对视频帧进行编码,输出第二码流。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,上述第二编码器还包括:设置于视频信息获取模块与编码模块之间的宏块类型判断模块,用于判断宏块类型信息的类型,其中,宏块类型信息的类型包括:帧间宏块和帧内宏块;与宏块类型判断模块、读入模块和编码模块均连接的处理模块,用于当宏块类型为帧间宏块时,从视频编码参考信息的视频信息中获取运动矢量信息和参考索引信息,输出运动矢量信息和参考索引信息至编码模块;当宏块类型为帧内宏块时,从视频编码参考信息的视频信息中获取帧内预测模式信息,输出帧内预测模式信息至编码模块。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,上述第一编码器和第二编码器为开源编码器或非开源编码器;第一编码器和第二编码器具有相同的编码标准。
第二方面,本发明实施例提供了一种应用上述系统的视频编码方法,该方法包括:第一编码器读入视频帧,并根据指定的编码标准对视频帧进行编码,并输出第一码流;其中,编码标准包括H.264、H.265、AVS或AVS+;解码器对第一码流进行解码,从解码结果中提取并保存视频编码参考信息;其中,视频编码参考信息包括视频信息;视频信息包括帧类型信息、宏块的分割方法信息、运动矢量信息、参考索引信息、量化参数信息和帧内预测模式信息中的一种或多种;第二编码器读入视频帧和视频编码参考信息,并根据指定的编码标准和视频编码参考信息对视频帧进行编码,并输出第二码流。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,上述解码器对第一码流进行解码,从解码结果中提取并保存视频编码参考信息包括:解码器对第一码流进行解码,并从解码结果中提取视频信息和视频索引信息;其中,视频索引信息包括:视频帧索引和宏块索引;宏块索引携带有视频信息所在的宏块位置;解码器从视频信息和视频索引信息中筛选出与第二编码器的配置参数对应的视频编码参考信息;保存视频编码参考信息。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中,上述第二编码器读入视频帧和视频编码参考信息,并根据指定的编码标准和视频编码参考信息对视频帧进行编码,并输出第二码流包括:第二编码器读入视频帧和视频编码参考信息;第二编码器从视频编码参考信息中获取视频信息;第二编码器从视频编码参考信息中提取视频索引信息;第二编码器根据接收到的信息对视频帧进行编码,输出第二码流。
结合第二方面的第二种可能的实施方式,本发明实施例提供了第二方面的第三种可能的实施方式,其中,第二编码器判断宏块类型信息的类型,其中,该宏块类型信息的类型包括:帧间宏块和帧内宏块;当宏块类型为帧间宏块时,第二编码器从视频编码参考信息的视频信息中获取运动矢量信息和参考索引信息,根据运动矢量信息和参考索引信息对视频帧进行编码并输出第二码流;当宏块类型为帧内宏块时,第二编码器从视频编码参考信息的视频信息中获取帧内预测模式信息,根据帧内预测模式信息对视频帧进行编码并输出第二码流。
本发明实施例所提供的一种视频编码系统和应用该系统的视频编码方法,通过第一编码器对视频帧进行编码,并输出第一码流;通过解码器对该第一码流解码,并从解码结果中的提取并保存视频编码参考信息;通过第二编码器根据指定的编码标准和视频编码参考信息对视频帧进行编码,并输出第二码流;通过上述方式可以高效、快速地进行编码,且计算量小、可扩展性高。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种视频编码系统的结构示意图;
图2示出了本发明实施例所提供的第二种视频编码系统的具体结构示意图;
图3示出了本发明实施例所提供的第三种视频编码系统的具体结构示意图;
图4示出了本发明实施例所提供的一种应用上述视频编码系统的视频编码方法的流程图;
图5示出了本发明实施例所提供的一种多次编解码系统的结构示意图;
图6示出了本发明实施例所提供的一种多次编解码方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有的编码系统计算量大、效率较低且扩展性差的问题,本发明实施例提供了一种视频编码系统和应用该系统的视频编码方法,该技术可以应用于多种编解码标准的视频编解码,或者其他相关多媒体数据的编解码;该技术可以采用相关的软件和硬件实现,下面通过实施例进行描述。
实施例1
参见图1所示的一种视频编码系统的结构示意图,该系统包括如下部分:
与外界视频源连接的第一编码器10,用于读入视频帧,并根据指定的编码标准对视频帧进行编码,并输出第一码流;其中,编码标准包括H.264、H.265、AVS或AVS+;
与第一编码器10连接的解码器12,用于对上述第一码流进行解码,从解码结果中的提取并保存视频编码参考信息;其中,该视频编码参考信息包括视频信息,该视频信息包括帧类型信息、宏块的分割方法信息、运动矢量信息、参考索引信息、量化参数信息和帧内预测模式信息中的一种或多种;
与外界视频源和解码器12连接的第二编码器14,用于读入视频帧和视频编码参考信息,并根据指定的编码标准和视频编码参考信息对视频帧进行编码,并输出第二码流。
其中,上述视频信息中的帧类型信息(也称为条带类型信息)包括I条带、P条带、B条带、SI条带、SP条带等帧类型(条带类型),该帧类型(条带类型)决定了解码器将使用何种预测方式进行解码,解码器由码流中解码得出条带类型信息,该条带类型信息传输给第二编码器后,可以省去第二编码器条带类型的计算;上述宏块的分割方法为:宏块指一个特定尺寸(对于H.264来说是16×16)的亮度样点块和相应的两个色度块样点;为了进行帧间预测,从一个宏块的分割中得到的一个亮度块样点和两个相应的色度块样点的过程称为宏块分割;宏块分割的算法中通过比较多种分割方法的代价,得到最优的分割方法;上述运动矢量通常用于帧间预测,该运动矢量表示匹配对象在解码图像和在参考图像的位置偏移的二维矢量;上述参考索引为:用于P、B或SP条带帧间预测的一系列参考图像叫做参考图像列表,该参考图像列表中的索引称为参考索引;上述量化参数为解码过程中对变换系数幅度进行缩放时使用的变量;上述帧内预测模式为在相同解码条带中使用先前已解码的样值生成当前样值的预测过程中所选取的模式。
本发明实施例所提供的一种视频编码系统,通过第一编码器对视频帧进行编码,并输出第一码流;通过解码器对该第一码流解码,并从解码结果中的提取并保存视频编码参考信息;通过第二编码器根据指定的编码标准和视频编码参考信息对视频帧进行编码,并输出第二码流;通过上述方式可以高效、快速地进行编码,且计算量小、可扩展性高。
为了便于实现,本发明实施例在实际实现时,参见图2所示的第二种视频编码系统的具体结构示意图,上述解码器12包括如下部分:解码模块202,用于对第一码流进行解码;与解码模块连接的视频信息提取模块204,用于从解码结果中的提取视频信息;与解码模块连接的视频索引提取模块206,用于从解码结果中的提取视频索引信息,视频索引信息包括:视频帧索引和宏块索引;其中,宏块索引携带有视频信息所在的宏块位置;与视频索引提取模块和视频信息提取模块连接的筛选模块208,用于从视频信息和视频索引信息中筛选出与第二编码器的配置参数对应的视频编码参考信息;与筛选模块连接的保存模块210,用于保存视频编码参考信息。通过上述方式,解码器可提取第一编码器输出的视频编码参考信息,为后续编码过程提供了可靠的参考数据,进而提高了编码效率。
进一步地,本发明实施例在实际实现时,上述第一编码器10包括如下部分:并联的多个子编码器(图2中以两个子编码器为例,包括第一子编码器212和第二子编码器214),用于分别根据指定的编码标准对视频帧进行编码,并输出多个第一码流;上述解码器12还包括:设置于视频信息提取模块204与筛选模块208之间的优选模块216,用于对多个第一码流进行解码并提取出多个视频信息,从多个视频信息之中选择出与视频帧匹配程度最高的视频信息。通过上述多个子编码器和优选模块,可以获得与视频帧匹配程度最高的视频信息,进一步提高了后续编码的效率和准确率。
考虑到上述第一编码器编码效果较差,本发明实施例在实际实现时,上述第二编码器14包括如下部分:读入模块218,用于读入视频帧和视频编码参考信息;与读入模块连接的视频信息获取模块220,用于从视频编码参考信息中获取视频信息,输出视频信息;与读入模块连接的视频索引信息提取模块30,用于从视频编码参考信息中提取视频索引信息,输出视频索引信息;与视频信息获取模块和视频索引信息提取模块连接的编码模块222,用于根据接收到的信息对视频帧进行编码,输出第二码流。通过上述第二编码器,可以提高上述编码系统的效果,且降低了编码的计算量,还可以可靠地提取上述视频索引信息,进而提高编码效率。
考虑到在上述视频编码系统中,通过上述视频信息获取模块从视频编码参考信息的视频信息中获取视频帧的宏块类型信息之后,还需要对该宏块类型信息进行判断和分析处理,参见图3所示的第三种视频编码系统的具体结构示意图,该图中,以第一种视频编码系统为基础,在该基础上,上述第二编码器14还包括:设置于视频信息获取模块220与编码模块222之间的宏块类型判断模块40,用于判断宏块类型信息的类型,其中,宏块类型信息的类型包括:帧间宏块和帧内宏块;与宏块类型判断模块40、读入模块218和编码模块222均连接的处理模块42,用于当宏块类型为帧间宏块时,从视频编码参考信息的视频信息中获取运动矢量信息和参考索引信息,输出运动矢量信息和参考索引信息至编码模块222;当宏块类型为帧内宏块时,从视频编码参考信息的视频信息中获取帧内预测模式信息,输出帧内预测模式信息至编码模块222。通过上述方式系统可以针对不同的宏块类型进行不同的操作处理,提升了编码的效率。
进一步,本发明实施例在实际实现时,上述第一编码器和第二编码器为开源编码器或非开源编码器;上述第一编码器和第二编码器具有相同的编码标准。上述第一编码器和第二编码器的编码标准包括但不限于H.264,H.265,AVS和AVS+。第一编码器和第二编码器的编码标准应当相同,以使解码器对第一编码器输出码流的解码所获得的信息能够用于第二编码器的编码过程。第一编码器输出的码流中包括了多种信息,通过解码器解码,可以得到视频信息(或码流信息),该信息包括但不限于视频帧的帧类型、宏块的分割方法、运动矢量、参考索引、量化系数和帧内预测模式。第二编码器可以使用上述信息,或在第二编码器内部对上述信息进行加工,用于第二编码器的编码过程。
采用本发明实施例提供的一种视频编码系统进行编码时,第一编码器和第二编码器需要满足码流的解码原理相同,还需知道第二编码器的内部原理;而对于第一编码器的内部实现具体过程不需知道;因此非开源的编码器也可用于本系统。在进行编码时,只需要获取第一编码器的码流,该码流通过解码器解码后,再选择相关信息输入至第二编码器;另外,解码器通过解码获取的所有信息,都可以直接用于第二编码器,因此第二编码器对于信息的选择余地较大。
实施例2
对应于上述系统实施例,本发明实施例提供了一种应用上述视频编码系统的视频编码方法,参见图4所示的一种应用上述视频编码系统的视频编码方法的流程图,该方法包括如下步骤:
步骤S402,第一编码器读入视频帧,并根据指定的编码标准对视频帧进行编码,并输出第一码流;其中,编码标准包括H.264、H.265、AVS或AVS+;
步骤S404,解码器对第一码流进行解码,从解码结果中提取并保存视频编码参考信息;其中,视频编码参考信息包括视频信息;视频包括帧类型信息、宏块的分割方法信息、运动矢量信息、参考索引信息、量化参数信息和帧内预测模式信息中的一种或多种;
步骤S406,第二编码器读入视频帧和视频编码参考信息,并根据指定的编码标准和视频编码参考信息对视频帧进行编码,并输出第二码流。
本发明实施例所提供的一种视频编码方法,通过第一编码器对视频帧进行编码,并输出第一码流;通过解码器对该第一码流解码,并从解码结果中的提取并保存视频编码参考信息;通过第二编码器根据指定的编码标准和视频编码参考信息对视频帧进行编码,并输出第二码流;通过上述方式可以高效、快速地进行编码,且计算量小、可扩展性高。
为了便于实现,本发明实施例在实际实现时,上述解码器对第一码流进行解码,从解码结果中的提取并保存视频编码参考信息,包括如下步骤:(1)解码器对第一码流进行解码,并从解码结果中提取视频信息和视频索引信息;其中,该视频索引信息包括:视频帧索引和宏块索引;宏块索引携带有视频信息所在的宏块位置;(2)解码器从视频信息和视频索引信息中筛选出与第二编码器的配置参数对应的视频编码参考信息;(3)保存视频编码参考信息。通过上述方式,解码器可提取第一编码器输出的视频编码参考信息,为后续编码过程提供了可靠的参考数据,进而提高了编码效率。
考虑到上述第一编码器编码效果较差,本发明实施例在实际实现时,上述第二编码器读入视频帧和视频编码参考信息,并根据指定的编码标准和视频编码参考信息对视频帧进行编码,并输出第二码流,包括如下步骤:(1)第二编码器读入视频帧和视频编码参考信息;(2)第二编码器从视频编码参考信息中获取视频信息;(3)第二编码器判断宏块类型信息的类型,其中,宏块类型信息的类型包括:帧间宏块和帧内宏块;当宏块类型为帧间宏块时,第二编码器从视频编码参考信息的视频信息中获取运动矢量信息和参考索引信息,根据运动矢量信息和参考索引信息对视频帧进行编码并输出第二码流;当宏块类型为帧内宏块时,第二编码器从视频编码参考信息的视频信息中获取帧内预测模式信息,根据帧内预测模式信息对视频帧进行编码并输出第二码流。通过上述方式系统可以针对不同的宏块类型进行不同的操作处理,提升了编码的效率。
实施例3
对应于上述实施例1或实施例2,本发明实施例提供了一种多次编解码系统和应用该系统的编码方法;其中,参见图5所示的一种多次编解码系统的结构示意图,该系统包括编码器1(相当于实施例1中的第一编码器),解码器3(相当于实施例1中的解码器)和编码器2(相当于实施例1中的第二编码器)共三个组成部分。编码器1对原始视频帧进行编码并输出码流1;解码器3从编码器1输出的码流1中解读信息,并输出码流信息;编码器2利用码流信息对原始视频流进行编码,最终输出码流2。
与现有技术相比,本发明实施例提供了一种多次编解码系统使用编码后的码流作为编码器2的编码依据,而不是编码器1的中间计算结果。上述系统可以发挥两个编码器的优势,例如编码器1的速度足够快,但编码的效果不好;编码器2的效果好,但速度慢时;该系统可以通过对两个编码器的参数进行调整,利用上述编码器1码流的视频信息后,上述编码器2可以省去这些信息的计算(上述视频信息的计算是编码算法中最耗时的部分)。编码器2可以直接使用上述视频信息或对该信息进行加工。该系统可以通过参数调整,使最终码流的输出速度优于编码器2,最终码流的编码效果好于编码器1,并可在此区间内灵活变动。本发明实施例提供一种多次编解码系统结构简单、计算量小;该系统是对编码器1的输出码流进行分析,因此用户可以不必了解编码器1内部的实现细节;由于上述系统中的编码器1和编码器2只要遵循共同的解码原理即可工作,因此上述系统可扩展性强。
本发明实施例还提供了一种多次编解码方法,该方法应用上述一种多次编解码系统,且以编码标准H.264为例,参见图6所示的一种多次编解码方法的流程图,该方法包括如下步骤:
步骤S602,编码器1读入视频;编码器1编码,输出视频码流;
步骤S606,解码器解码;解码器生成视频信息文件,并生成视频帧索引和宏块索引;
步骤S610,编码器2编码;编码器2进行帧类型判别;
步骤S614,判断是否使用视频信息;如果是,执行步骤S616;如果否,执行步骤S618;
步骤S616,编码器2按照帧索引找到视频信息对应的帧,略去判别过程,直接使用视频信息给出的帧类型;
步骤S618,编码器2按照原编解码器的计算过程进行编码;
步骤S620,编码器2进行预处理;编码器2进行宏块分析;
步骤S624,判断是否使用视频信息;如果是,执行步骤S626;如果否,执行步骤S628;
步骤S626,编码器2按照宏块索引找到宏块信息对应的宏块,略去判别宏块类型过程,直接使用视频信息给出的宏块类型;
步骤S628,编码器2按照原编解码器的计算过程进行编码;执行步骤S646;
步骤S630,判断是否使用视频信息;如果是,执行步骤S634;如果否,执行步骤S632;
步骤S632,编码器2按照原编解码器的计算过程进行编码;
步骤S634,判断宏块类型是否是inter;如果是,执行步骤S636;如果否,执行步骤S638;
步骤S636,编码器2直接使用视频信息中的mv和ref index信息,跳过上述信息的计算;
步骤S638,判断宏块类型是否是intra;如果是,执行步骤S640;如果否,执行步骤S642;
步骤S640,编码器2略去帧内预测方式的判别,直接使用视频信息给出的预测方式;
步骤S642,判断宏块类型是否是skip;如果是,执行步骤S644;如果否,执行步骤S646;
步骤S644,编码器2使用视频信息更新数据,为后续计算做准备;
步骤S646,编码器2利用计算结果进行提炼与改善,确定最终的判断结果;
步骤S648,编码器2完成后续计算,输出最终码流。
上述方法中,视频帧经过编码器1编码,该编码器1输出码流;解码器在对该码流解码时,将视频帧的视频信息保存下来,并且保存视频帧的索引,也会保存宏块的索引,根据宏块索引可以寻到视频信息所在的宏块位置。视频信息数据保存后传递给编码器2,同时,传递给编码器1的视频帧也传递给编码器2。编码器2将视频帧和视频信息中的帧索引比对,实现数据的同步;如果用户确定采用视频信息中的帧类型,则编码器2将视频帧的类型直接判别为视频信息中的帧类型,略去帧类型计算过程,可节省大量时间。上述编码器2在经过阵列性判别和其他一系列预处理计算后,用户如果确定采用视频信息中的宏块类型,编码器2可以直接依据视频信息判别宏块的类型,并根据宏块类型继续完成计算;如果判别宏块类型为帧内intra宏块类型,编码器2可以直接使用视频信息中的帧内预测模式,略去帧内预测模式的计算;如果判别宏块类型为帧间inter宏块类型,上述编码器2可以直接使用视频信息中的运动矢量和参考图像索引,略去相关的计算过程;如果判别宏块类型为skip类型,则进入skip过程,并用视频信息提供的数据更新当前数据,为后续计算做准备。用户还可以选择不使用视频信息提供的数据,此时编码器2可以按照原编码器算法的方法计算。上述过程可节省大量时间,且由于在计算这些数据后,还有对数据的精炼和改善过程,因此可以把编码后质量降低的程度减到最低。
下述为编码器1或者编码器2内部编码的过程:
视频由一系列视频帧组成,这些视频帧可看做是独立的静止图片,编码的过程就是去除这些静止图片之间相关性的过程。视频帧大致分为I帧、P帧、B帧和其他种类的帧。I帧编码时只以自身作为编码依据,即帧内编码方式,P帧和B帧要以其他帧作参考,即帧间编码方式,不同的是P帧是单向参考,B帧是前后双向参考,编码器在对一帧图像进行编码之初,要确定此帧是I帧或P帧或其他帧,即帧类型,这就是码流信息中的条带类型。
视频编码的单元,包括图像组(gop),条带(slice),宏块(macroblock),子宏块等。宏块可以被进一步分割为子宏块,且子宏块的分割方法也不唯一,为了以最小的容量获取最好的效果,需要在诸多分割方法中选择最优的分割方法,这个就是码流信息中的宏块分割方法。
帧间编码方式(inter)的目的是为了去除视频的时间和空间相关性,通俗的说,该方法认为被参考图像(或宏块)会出现在本帧中的某个位置,于是该帧中这个位置的图像(或宏块)可以不用记录,仅记录这个偏移位置、即可从被参考图像中间接获得图像(或宏块)的内容,这个偏移位置就是码流信息中的运动矢量(mv)。
前述内容中提到的被参考图像,可以是单纯的一个、也可能是一组视频帧中的某一个,所以,当被参考图像属于一组视频帧时,除了记录运动矢量,还需要记录被参考图像在组内的序号,这个序号就是码流信息中的参考索引(ref index)。
当选择好了分割方法后,将对宏块进行频率变换,将空间信息转变为频域信息,图像的平缓部分对应频域的低频信息,细节部分对应频域的高频信息,频域变换后,高频信息可以有选择的去除,而对视频效果的影响有不明显,因此可以这个去除过程叫做量化,具体的实现方法是将样本点的值除以一个参数后取整,通过减小编码长度来达到压缩目的。这个系数就是码流信息中的量化参数(qp)。
除去帧内编码方式,还有帧间编码方式(intra),主要是为了去除视频的空间相关性,与帧间模式比,帧内模式没有一个现成的图像模板可供参考,只能用待预测图像周围的像素作为预测依据。预测的方案依编码标准有所不同,但都会提供若干种方式以供选择,这就是码流信息中的帧内预测模式。除以上过程外,还有熵编码,码率控制等过程。
本发明实施例提供的一种视频编码系统和应用该系统的视频编码方法,可以在编码器单独运行不能满足速度和效果的要求时,通过两个编码器间的协作,使用多次编解码方法实现编码算法的加速。具体地,在编码器2单独编码效果优于编码器1的前提下,系统的最终编码效果不会低于单独编码的编码器1;编码器1将视频信息提供给编码器2,而这部分信息只是视频编解码过程里用到的众多信息中的一部分,由于编码器2的效果优于编码器1,因此除去编码器1提供的视频信息外,编码器2进行的其他信息的计算都要优于编码器1,因此上述系统的编码效果好于单独使用编码器1的编码效果。在编码器1单独编码速度优于编码器2的前提下,系统的最终编码速度不会低于单独编码的编码器2;编码器1计算出的码流中包含了视频信息,该视频信息直接用于编码器2的计算,这样编码器2节省了计算这部分信息所花费的时间,可以使编码系统的编码时间降低。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种视频编码系统,其特征在于,所述系统包括:
与外界视频源连接的第一编码器,用于读入视频帧,并根据指定的编码标准对所述视频帧进行编码,并输出第一码流;其中,所述编码标准包括H.264、H.265、AVS或AVS+;
与所述第一编码器连接的解码器,用于对所述第一码流进行解码,从解码结果中的提取并保存视频编码参考信息;其中,所述视频编码参考信息包括视频信息,所述视频信息包括帧类型信息、宏块的分割方法信息、运动矢量信息、参考索引信息、量化参数信息和帧内预测模式信息中的一种或多种;
与所述外界视频源和所述解码器连接的第二编码器,用于读入所述视频帧和所述视频编码参考信息,并根据指定的所述编码标准和所述视频编码参考信息对所述视频帧进行编码,并输出第二码流。
2.根据权利要求1所述的系统,其特征在于,所述解码器包括:
解码模块,用于对所述第一码流进行解码;
与所述解码模块连接的视频信息提取模块,用于从解码结果中的提取所述视频信息;
与所述解码模块连接的视频索引提取模块,用于从解码结果中的提取视频索引信息,所述视频索引信息包括:视频帧索引和宏块索引;其中,所述宏块索引携带有所述视频信息所在的宏块位置;
与所述视频索引提取模块和视频信息提取模块连接的筛选模块,用于从所述视频信息和所述视频索引信息中筛选出与所述第二编码器的配置参数对应的视频编码参考信息;
与所述筛选模块连接的保存模块,用于保存所述视频编码参考信息。
3.根据权利要求2所述的系统,其特征在于,所述第一编码器包括:并联的多个子编码器,用于分别根据指定的编码标准对所述视频帧进行编码,并输出多个第一码流;
所述解码器还包括:设置于视频信息提取模块与筛选模块之间的优选模块,用于对多个所述第一码流进行解码并提取出多个视频信息,从所述多个视频信息之中选择出与所述视频帧匹配程度最高的视频信息。
4.根据权利要求2所述的系统,其特征在于,所述第二编码器包括:
读入模块,用于读入所述视频帧和所述视频编码参考信息;
与所述读入模块连接的视频信息获取模块,用于从所述视频编码参考信息中获取视频信息,输出所述视频信息;
与所述读入模块连接的视频索引信息提取模块,用于从所述视频编码参考信息中提取所述视频索引信息,输出所述视频索引信息;
与所述视频信息获取模块和所述视频索引信息提取模块连接的编码模块,用于根据接收到的信息对所述视频帧进行编码,输出第二码流。
5.根据权利要求4所述的系统,其特征在于,所述第二编码器还包括:
设置于所述视频信息获取模块与所述编码模块之间的宏块类型判断模块,用于判断所述宏块类型信息的类型,其中,所述宏块类型信息的类型包括:帧间宏块和帧内宏块;
与所述宏块类型判断模块、所述读入模块和所述编码模块均连接的处理模块,用于当所述宏块类型为帧间宏块时,从所述视频编码参考信息的视频信息中获取运动矢量信息和参考索引信息,输出所述运动矢量信息和所述参考索引信息至所述编码模块;
当所述宏块类型为帧内宏块时,从所述视频编码参考信息的视频信息中获取帧内预测模式信息,输出所述帧内预测模式信息至所述编码模块。
6.根据权利要求1所述的系统,其特征在于,所述第一编码器和所述第二编码器为开源编码器或非开源编码器;所述第一编码器和所述第二编码器具有相同的编码标准。
7.一种应用权利要求1-6任一项所述视频编码系统的视频编码方法,其特征在于,所述方法包括:
第一编码器读入视频帧,并根据指定的编码标准对所述视频帧进行编码,并输出第一码流;其中,所述编码标准包括H.264、H.265、AVS或AVS+;
解码器对所述第一码流进行解码,从解码结果中提取并保存视频编码参考信息;其中,所述视频编码参考信息包括视频信息;所述视频信息包括帧类型信息、宏块的分割方法信息、运动矢量信息、参考索引信息、量化参数信息和帧内预测模式信息中的一种或多种;
第二编码器读入所述视频帧和所述视频编码参考信息,并根据指定的所述编码标准和所述视频编码参考信息对所述视频帧进行编码,并输出第二码流。
8.根据权利要求7所述的方法,其特征在于,解码器对所述第一码流进行解码,从解码结果中提取并保存视频编码参考信息包括:
解码器对所述第一码流进行解码,并从解码结果中提取所述视频信息和视频索引信息;其中,所述视频索引信息包括:视频帧索引和宏块索引;所述宏块索引携带有所述视频信息所在的宏块位置;
所述解码器从所述视频信息和所述视频索引信息中筛选出与所述第二编码器的配置参数对应的视频编码参考信息;
保存所述视频编码参考信息。
9.根据权利要求7所述的方法,其特征在于,第二编码器读入所述视频帧和所述视频编码参考信息,并根据指定的所述编码标准和所述视频编码参考信息对所述视频帧进行编码,并输出第二码流包括:
所述第二编码器读入所述视频帧和所述视频编码参考信息;
所述第二编码器从所述视频编码参考信息中获取视频信息;
所述第二编码器从所述视频编码参考信息中提取所述视频索引信息;
所述第二编码器根据接收到的信息对所述视频帧进行编码,输出第二码流。
10.根据权利要求9所述的方法,其特征在于,所述第二编码器根据接收到的信息对所述视频帧进行编码,输出第二码流,包括:
所述第二编码器判断所述宏块类型信息的类型,其中,所述宏块类型信息的类型包括:帧间宏块和帧内宏块;
当所述宏块类型为帧间宏块时,所述第二编码器从所述视频编码参考信息的视频信息中获取运动矢量信息和参考索引信息,根据所述运动矢量信息和参考索引信息对所述视频帧进行编码并输出第二码流;
当所述宏块类型为帧内宏块时,所述第二编码器从所述视频编码参考信息的视频信息中获取帧内预测模式信息,根据帧内预测模式信息对所述视频帧进行编码并输出第二码流。
CN201610639691.9A 2016-08-05 2016-08-05 一种视频编码系统和应用该系统的视频编码方法 Active CN106231315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610639691.9A CN106231315B (zh) 2016-08-05 2016-08-05 一种视频编码系统和应用该系统的视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610639691.9A CN106231315B (zh) 2016-08-05 2016-08-05 一种视频编码系统和应用该系统的视频编码方法

Publications (2)

Publication Number Publication Date
CN106231315A true CN106231315A (zh) 2016-12-14
CN106231315B CN106231315B (zh) 2019-06-14

Family

ID=57546903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610639691.9A Active CN106231315B (zh) 2016-08-05 2016-08-05 一种视频编码系统和应用该系统的视频编码方法

Country Status (1)

Country Link
CN (1) CN106231315B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401185A (zh) * 2018-05-03 2018-08-14 深圳市网心科技有限公司 参考帧选择方法、视频转码方法、电子设备和存储介质
CN108600757A (zh) * 2018-05-03 2018-09-28 深圳市网心科技有限公司 宏块类型判定方法、视频转码方法、电子设备和存储介质
CN108769689A (zh) * 2018-05-03 2018-11-06 深圳市网心科技有限公司 skip宏块判定方法、视频转码方法、电子设备和存储介质
CN110971903A (zh) * 2019-10-17 2020-04-07 西安万像电子科技有限公司 编码方法、设备及系统
CN112055214A (zh) * 2019-06-06 2020-12-08 阿里巴巴集团控股有限公司 一种视频编码方法、设备及存储介质
CN113438486A (zh) * 2021-05-11 2021-09-24 中天恒星(上海)科技有限公司 多路视频编码方法与编码装置
CN117615141A (zh) * 2023-11-23 2024-02-27 镕铭微电子(济南)有限公司 视频的编码方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1146840A (zh) * 1994-04-21 1997-04-02 英国电讯有限公司 一种编码转换器
CN103828369A (zh) * 2011-06-10 2014-05-28 茨特里克斯系统公司 质量感知视频优化中的宏块级自适应量化
EP2966865A1 (en) * 2014-07-07 2016-01-13 Renesas Electronics Corporation Picture encoding device, picture decoding device, and picture communication system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1146840A (zh) * 1994-04-21 1997-04-02 英国电讯有限公司 一种编码转换器
CN103828369A (zh) * 2011-06-10 2014-05-28 茨特里克斯系统公司 质量感知视频优化中的宏块级自适应量化
EP2966865A1 (en) * 2014-07-07 2016-01-13 Renesas Electronics Corporation Picture encoding device, picture decoding device, and picture communication system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401185A (zh) * 2018-05-03 2018-08-14 深圳市网心科技有限公司 参考帧选择方法、视频转码方法、电子设备和存储介质
CN108600757A (zh) * 2018-05-03 2018-09-28 深圳市网心科技有限公司 宏块类型判定方法、视频转码方法、电子设备和存储介质
CN108769689A (zh) * 2018-05-03 2018-11-06 深圳市网心科技有限公司 skip宏块判定方法、视频转码方法、电子设备和存储介质
CN108401185B (zh) * 2018-05-03 2021-10-22 深圳市网心科技有限公司 参考帧选择方法、视频转码方法、电子设备和存储介质
CN112055214A (zh) * 2019-06-06 2020-12-08 阿里巴巴集团控股有限公司 一种视频编码方法、设备及存储介质
CN110971903A (zh) * 2019-10-17 2020-04-07 西安万像电子科技有限公司 编码方法、设备及系统
CN113438486A (zh) * 2021-05-11 2021-09-24 中天恒星(上海)科技有限公司 多路视频编码方法与编码装置
CN117615141A (zh) * 2023-11-23 2024-02-27 镕铭微电子(济南)有限公司 视频的编码方法、系统、设备及介质

Also Published As

Publication number Publication date
CN106231315B (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN106231315A (zh) 一种视频编码系统和应用该系统的视频编码方法
US11470311B2 (en) Region specific encoding and SAO-sensitive-slice-width-adaptation for improved-quality HEVC encoding
US11284086B2 (en) Decoder side intra mode derivation (DIMD) tool computational complexity reduction
CN104025592B (zh) 确定视频序列的图像的编码或解码所用的参数的方法和装置
CN104284197B (zh) 视频编码器及其操作方法
US10419785B2 (en) Distributed learning video encoder/decoder
US20080181304A1 (en) Moving image encoding device and moving image encoding method
CN105900420A (zh) 选择运动向量精度
JP2018110428A (ja) 映像符号化及び復号化のためのdcイントラ予測モードのための方法及び装置
CN102265611A (zh) 在混合视频编码中具有多个滤波器的本地环路内滤波
CN102696226B (zh) 复用码流信息的h264转码方法
RU2010135495A (ru) Видеотранскодер с гибким управлением качеством и сложностью
CN104754342B (zh) 带有块合并的视频编码器以及与其一起使用的方法
US8379985B2 (en) Dominant gradient method for finding focused objects
CN101742288B (zh) 视频降噪编码方法和视频降噪编码装置
CN102934445A (zh) 基于分段对图像编码和解码的方法和设备
US20080253670A1 (en) Image Signal Re-Encoding Apparatus And Image Signal Re-Encoding Method
CN106878754B (zh) 一种3d视频深度图像帧内预测模式选择方法
CN116916029A (zh) 一种帧间预测方法、编码器、解码器及存储介质
CN102783148A (zh) 用于视频编码的方法和装置
CN107483936B (zh) 一种基于宏像素的光场视频帧间预测方法
US20090067494A1 (en) Enhancing the coding of video by post multi-modal coding
EP2899975A1 (en) Video encoder with intra-prediction pre-processing and methods for use therewith
KR101247024B1 (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법
CN118590653A (zh) 一种基于帧内预测算法的视频数据压缩方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant