CN107454428A - 一种视频数据的编解码预处理方法 - Google Patents

一种视频数据的编解码预处理方法 Download PDF

Info

Publication number
CN107454428A
CN107454428A CN201710817119.1A CN201710817119A CN107454428A CN 107454428 A CN107454428 A CN 107454428A CN 201710817119 A CN201710817119 A CN 201710817119A CN 107454428 A CN107454428 A CN 107454428A
Authority
CN
China
Prior art keywords
video
frame
data
decoding
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710817119.1A
Other languages
English (en)
Other versions
CN107454428B (zh
Inventor
纪琦华
蒲珂
曾泽基
方宏
李哲山
鲁豪
胡彬
魏明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Science And Technology Co Ltd
Original Assignee
China Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Science And Technology Co Ltd filed Critical China Science And Technology Co Ltd
Priority to CN201710817119.1A priority Critical patent/CN107454428B/zh
Publication of CN107454428A publication Critical patent/CN107454428A/zh
Application granted granted Critical
Publication of CN107454428B publication Critical patent/CN107454428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频数据的打包、编解码方法,包括以下步骤:实时接收视频数据信息,每隔一段固定的时间给数据信息插入一个第一标签,每两个第一标签之间的视频数据构成一个数据段;提取每一视频帧的时间戳;在部分特定的视频帧前面插入一个第二标签;对带有第二标签的视频帧进行H.264压缩;解码时,将背景图像中带有第二标签的视频帧和运动图像的每一个视频帧解码组合成数据段,然后对应第一标签按顺序组合这些数据段构成完整视频输出。本方法在对视频数据进行压缩之前,将某些视频帧进行删除或者合并,极大地提高了视频打包和编解码的效率,而且由于极大地减少了需要处理的视频帧的数量,大大地降低了突发性错误发生的频率,提高了解码的效率。

Description

一种视频数据的编解码预处理方法
技术领域
本发明涉及视频通信技术领域,具体涉及一种视频数据的编解码 预处理方法。
背景技术
随着宽带Internet网络的普及,以及近年来视频压缩技术和多媒 体技术的快速发展,流媒体技术得到了越来越广泛的应用,尤其是网 络视频的实时传输成为网络应用的热点之一,它可以说是流媒体技术 与视频压缩技术等多种技术的结合体。视频的实时传输要求较低的时 延和较小的丢包率,由于TCP协议的重发机制带来较大的时延,UDP 协议本身又不提供任何服务质量保证,因此需要新的协议来满足网络 视频实时传输的时延和丢包要求。最新的视频编码标准H.264/AVC定 义了视频编码层(VCL)和网络提取层(NAL),其特点是具有更高的 编码效率和更好的网络适应性;同时,由Internet工程任务组IETF(Internet Engineering Task Force,简称IETF)1996年制定的实 时传输协议(Real TimeTransport Protocol,简称RTP)能满足多媒 体实时传输的要求。要通过RTP进行H.264视频传输,必须按RTP荷 载格式将H.264视频数据封装成一个个RTP包。但是在后期对封装的RTP包进行编解码的时候,某些复杂的视频文件在解码过程会因为要处 理的视频帧过多,导致突发性错误的发生,从而需要解码端对其纠错, 极大地影响了解码的效率。
发明内容
为了解决上述现有的视频数据的打包、编解码过程中遇到比较复 杂的视频文件时由于要处理的视频帧过多影响解码效率,本发明提供 了一种视频数据的编解码预处理方法,所述方法包括以下步骤:
S1.在编码端进行编码之前,对视频数据进行预处理,所述预处理 包括每隔一段固定的时间给视频数据插入一个第一标签,每两个第一 标签之间的视频数据构成一个数据段,然后进行S2;
S2.分离每一个数据段内的背景图像和运动图像,背景图像进行 S3,运动图像进行S5;
S3.接收数据段内背景图像每个视频帧的数据包,提取每个数据段 第一个视频帧的时间戳,然后进行S4;
S4.对比每个数据段背景图像第一个视频帧的图像信息,在部分特 定的数据段前面插入一个第二标签,然后进行S5;
S5.将视频数据根据第一标签按照每个数据段的顺序依次进行 H.264压缩成用于传输的码流,然后用于储存或者传输;
S6.解码时,将码流中带有第二标签的背景图像和运动图像分别解 码然后对照第一标签组合成新的数据段用于输出。
进一步地,所述部分特定的数据段是指该数据段的第一个视频帧 与前一个数据段的第一个视频帧有差别的数据段。
进一步地,判断特定数据段的方法包括:
S41.将每个数据段背景图像的第一个视频帧与相邻的前一个数据 段背景图像的第一个视频帧作减法处理,得到第一像素点差值,然后 将第一像素点差值与第一阈值进行比对,当第一像素点差值大于第一 阈值时,在该数据段背景图像的第一个视频帧前面插入一个第二标签。
进一步地,判断特定视频的方法在S41之后还要进行S42:
S42.将同一个数据段里每个背景图像的视频帧与其前一个背景图 像的视频帧作减法处理,得到第二像素点差值,然后将第二像素点差 值与第一阈值进行比对,当第二像素点差值大于第一阈值时,在该视 频帧前面插入一个第二标签。
进一步地,所述视频数据的编解码预处理方法在S2后还需要进行 S21和S22:
S21.判断同一个数据段内背景图像和运动图像的工作状态,处于 工作状态下的图像直接进行S5,处于非工作状态下的图像进行S22;
S22.对比处于非工作状态的图像数据中每个视频帧的图像信息, 在部分特定的视频帧前面插入一个第二标签;
进一步地,所述非正常工作状态是指该图像的视频帧的像素低于 第二阈值。
进一步地,所述视频数据的编解码预处理方法包括:
S1.在编码端进行编码之前,对视频数据进行预处理,所述预处理 包括每隔一段固定的时间给视频数据插入一个第一标签,每两个第一 标签之间的视频数据构成一个数据段,然后进行S2;
S2.分离每一个数据段内的背景图像和运动图像,背景图像进行 S3,运动图像进行S5;
S21.判断同一个数据段内背景图像和运动图像的工作状态,处于 工作状态下的图像直接进行S5,处于非工作状态下的图像进行S22;
S22.对比处于非工作状态的图像数据中每个视频帧的图像信息, 在部分特定的视频帧前面插入一个第二标签;
S3.接收数据段内背景图像每个视频帧的数据包,提取每个数据段 第一个视频帧的时间戳,然后进行S4;
S4.对比每个数据段背景图像第一个视频帧的图像信息,在部分特 定的数据段前面插入一个第二标签,然后进行S5;
S5.将视频数据根据第一标签按照每个数据段的顺序依次进行 H.264压缩成用于传输的码流,然后用于储存或者传输;
S61.解码时,将背景图像和运动图像中带有第二标签的视频帧解 码,然后对应第一标签按顺序分别组合成新背景图像和运动图像,然 后对照原数据段中第一标签的顺序将新的背景图像和运动图像组合成 完整的输出文件。
进一步地,所述视频数据的编解码预处理方法在S61之前还需要 进行S62和S63:
S52.按顺序复制每一个带有第二标签的视频帧,然后进行S63;
S63.在每一个复制的带有第二标签的视频帧之后,重复排列若干 该视频帧,重复排列的视频帧数量为该视频帧距离下一个带有第二标 签的视频帧之间的视频帧个数,然后删除该视频帧,保留若干重复排 列的视频帧形成补充视频帧段。
进一步地,所述视频数据的编解码预处理方法在S63之后还需要 进行S64:
S64.首先取出一个补充视频帧段,然后将其第一个视频帧与解码 后若干带有第二标签的视频帧进行比对,找到与其匹配的带有第二标 签的视频帧,然后在该视频帧后插入该视频帧段;
重复若干次S64步骤,直至解码后新视频数据的视频帧个数与原 始视频数据的视频帧个数对应,然后用于输出。
进一步地,所述视频数据的编解码预处理方法在S64之后还需要 进行S65;
S65.比对新视频数据的视频帧个数与原始视频数据的视频帧,若 匹配,则直接输出,若不匹配则进行S66;
S66.根据第二标签的顺序依次比对新视频数据两个带有第二标签 的视频帧之间视频帧的个数与原始视频数据中带有对应的两个第二标 签的视频帧之间的视频帧个数,若匹配则继续比对下一组,若不匹配 则在该两个带有第二标签的视频帧之间插入复制于第一个带第二标签 的视频帧的视频帧,直至新视频数据的视频帧个数与原始视频数据的视频帧个数对应,然后用于输出。
本发明的有益效果在于:本发明提出的一种视频数据的编解码预 处理方法和系统,在对视频数据进行H.264压缩之前,首先对视频数 据进行预处理,将某些特定的视频帧进行标记,然后将带有标记的视 频数据通过编码器压缩成码流进行储存或者传输;解码的时候,只对 带有标记的数据进行解码,然后在这些带标记的视频帧之间的空白处 插入复制于之前带标记的视频帧;将视频数据传输过程中部分比较复 杂的步骤简化为简单的复制、组合、插入等步骤,大大地降低了突发 性错误发生的频率;而且由于极大地减少了解码时需要处理的视频帧 的数量,提高了解码的效率,极大地提高了视频打包和编解码的效率。
附图说明
图1.本发明实施例1视频数据的编解码预处理方法的流程图,
图2.本发明实施例2视频数据的编解码预处理方法的流程图,
图3.本发明实施例3S32、S33的流程图
图4.本发明实施例3S61的流程图。
具体实施方式
为详细说明本发明之技术内容、构造特征、所达成目的及功效, 以下兹例举实施例并配合附图详予说明。
实施例1
请参阅图1,本发明提供一种视频数据的编解码预处理方法,包括 以下步骤:
S1.在编码端进行编码之前,对视频数据进行预处理,所述预处 理包括每隔一段固定的时间给视频数据插入一个第一标签,每两个第 一标签之间的视频数据构成一个数据段,然后进行S2;
S2.分离每一个数据段内的背景图像和运动图像,背景图像进行 S3,运动图像进行S5;
S3.接收数据段内背景图像每个视频帧的数据包,提取每个数据 段第一个视频帧的时间戳,然后进行S4;
S41.将每个数据段背景图像的第一个视频帧与相邻的前一个数 据段背景图像的第一个视频帧作减法处理,得到第一像素点差值,然 后将第一像素点差值与第一阈值进行比对,当第一像素点差值大于第 一阈值时,在该数据段背景图像的第一个视频帧前面插入一个第二标 签,然后进行S5;
S5.将视频数据根据第一标签按照每个数据段的顺序依次进行 H.264压缩成码流,然后用于储存或者传输;
S6.解码时,将码流中带有第二标签的背景图像和运动图像分别 解码然后对照第一标签组合成新的数据段用于输出。
本实施例视频数据的编解码预处理系统包括:
预处理单元,预处理单元包括数据连通的接收模块、第一插入模 块、第一分离模块、第一提取模块、比对模块、第一插入模块和第二 插入模块,接收模块用于接收待处理的视频数据,第一插入模块用于 每隔一段固定的时间向待处理的视频数据里插入一个第一熵编码填充 符号,使得每两个第一熵编码填充符号的视频数据构成一个数据段; 第一分离模快用于分离待处理视频数据的运动图像和背景图像,第一 提取模块用于提取指定视频帧的时间戳;所述计算模块包括第一计算 模块,所述第一计算模块用于将每个数据段的第一个视频帧与相邻的 前一个数据段的第一个视频帧作减法处理得到第一像素点差值;所述 比对模块包括第一比对模块,所述第一比对模块用于接收所述第一计 算模块得到的第一像素点差值并与第一阈值进行比对;所述第二插入 模块用于根据所述第一比对模块的比对结果在第一像素点差值大于所 述第一阈值的视频帧前面插入一个第二熵编码填充符号;
编码单元,所述编码单元包括H.264压缩模块和NALU提取模块, 所述H.264压缩模块是基于达芬奇平台上的编解码引擎,其用于对经 过上述预处理之后的视频数据进行;所述NALU提取模块是通过在编解 码进程和RTP进程间建立管道共享视频数据提取出NAL单元并发送给 传输单元;
传输单元,所述传输单元用于对负载进行相应协议包头处理成RTP 数据包然后实时传输;
解码单元,所述解码单元包括解码器,用于将传输单元传输的RTP 数据包解码成可供输出的视频图像。
由于视频在实际播放过程中,背景图像不是用户观看的主体,而 且很多时候背景图像是多个重复不变的视频帧,造成视频数据在压缩 传输过程中重复多余不必要的步骤,而且大大地提高了突发性错误的 发生几率,从而在解码过程中需要解码端对其纠错,极大地影响了解 码的效率。所以本实施例提供一种视频数据的编解码预处理方法,视 频数据在进行H.264压缩之前,首先将视频数据分成若干个数据段, 再分离数据段中的背景图像和运动图像;然后将每个数据段背景图像 的第一个视频帧与相邻的前一个数据段背景图像的第一个视频帧作减 法处理,得到第一像素点差值,然后将第一像素点差值与第一阈值进 行比对,当第一像素点差值大于第一阈值时,说明这两个数据段之间 的背景图像视频帧发生改变,所以在该数据段背景图像的第一个视频 帧前面插入一个第二标签;当第一像素点差值小于第一阈值时,说明 这两个数据段之间的背景图像视频帧未发生改变,即这两个数据段的 背景图像是重复的视频帧,不需要额外进行压缩或者传输。即在视频 数据压缩之前,就把视频数据的背景图像中重复不变的多个视频帧删 除保留其中一个即可,降低了突发性错误的发生几率,极大地提高了 压缩和传播的效率。解码时,直接将这些带有第二标签的背景图像视 频帧和运动图像解码组合成新的数据段,然后再对照第一标签将这些 数据段按顺序组合成用于输出的完整视频数据。
实施例2
请参阅图2,实施例2与实施例1的区别在于:将S41步骤之后还 要进行S42步骤,
S42.将同一个数据段里每个背景图像的视频帧与其前一个背景图 像的视频帧作减法处理,得到第二像素点差值,然后将第二像素点差 值与第一阈值进行比对,当第二像素点差值大于第一阈值时,在该视 频帧前面插入一个第二标签。
本实施例的视频数据的编解码预处理系统相较于实施例1还包括:
第二计算模块,用于将同一个数据段里的指定视频帧与相邻的前 一个视频帧作减法处理得到第二像素点差值;第二计算模块,用于将 同一个数据段里的指定视频帧与相邻的前一个视频帧作减法处理得到 第二像素点差值;第二对比模块,用于接收所述第二计算模块得到的 第二像素点差值并与第一阈值比对;第二插入模块,用于根据所述第 二比对模块的比对结果在第二点像素点差值大于所述第一阈值的视频 帧前面插入一个第二熵编码填充符号。
针对于实施例1的情况,背景图像视频帧的改变并不一定总是发 生在数据段的开始,这样可能导致下列的情况发生:一个数据段背景 图像的第一个视频帧与前一个数据段背景图像的第一个视频帧相同, 但是这个数据段背景图像从中间开始发生改变,但是压缩过程中被误 删除;又或者一个数据段背景图像的第一个视频帧与前一个数据段背 景图像的第一个视频帧不相同,但是这个数据段背景图像的其它视频 帧与前一个数据段背景图像的第一个视频帧相同,虽然有很多重复的 视频帧,但是整个数据段都在压缩之前被保留下来,没有起到提高效 率的作用。本实施例提供一个更准确地判断特定视频的方法,将同一 个数据段每一个背景图像的视频帧都与前一个时间戳的视频帧进行减 法处理,得到第二像素点差值,然后将第二像素点差值与第一阈值进 行比对,当第二像素点差值大于第一阈值时,说明这两个时间戳的背 景图像视频帧发生了改变,所以在该时间戳的视频帧前面插入一个第 二标签;当第二像素点差值小于第一阈值时,说明这两个时间戳的背 景图像视频帧未发生改变,即这两个数据段的背景图像是重复的视频 帧,不需要额外进行压缩或者传输。这样使得在对视频数据进行压缩 之前判断重复冗余视频帧更加准确,避免误判断。
实施例3
请参阅图3和图4,实施例3与实施例1的区别在于,包括以下步 骤:
S1.在编码端进行编码之前,对视频数据进行预处理,所述预处理 包括每隔一段固定的时间给视频数据插入一个第一标签,每两个第一 标签之间的视频数据构成一个数据段,然后进行S21;
S21.判断同一个数据段内背景图像和运动图像的工作状态,处于 工作状态下的图像直接进行S5,处于非工作状态下的图像进行S3;
S3.接收数据段每个视频帧的数据包,提取每个数据段第一个视频 帧的时间戳,然后进行S41;
S41.将每个数据段的第一个视频帧与相邻的前一个数据段像的第 一个视频帧作减法处理,得到第一像素点差值,然后将第一像素点差 值与第一阈值进行比对,当第一像素点差值大于第一阈值时,在该数 据段的第一个视频帧前面插入一个第二标签,然后进行S42;
S42.将同一个数据段里每个的视频帧与其前一个视频帧作减法处 理,得到第二像素点差值,然后将第二像素点差值与第一阈值进行比 对,当第二像素点差值大于第一阈值时,在该视频帧前面插入一个第 二标签,然后进行S5;
S5.将视频数据根据第一标签按照每个数据段的顺序依次进行 H.264压缩成用于传输的码流,然后用于储存或者传输;
S61.解码时,将背景图像和运动图像中带有第二标签的视频帧解 码,然后对应第一标签按顺序分别组合成新背景图像和运动图像,然 后对照原数据段中第一标签的顺序将新的背景图像和运动图像组合成 完整的输出文件。
本实施例的视频数据的编解码预处理系统相较于实施例1还包括:
判断单元,所述判断单元包括第二分离模块、第二提取模块和第 三比对模块,所述第二分离模快用于分离待处理视频数据的运动图像 和背景图像,所述第二提取模块用于提取指定视频帧的时间戳,所述 第三比对模块用于将带有时间戳的视频帧的像素值与第二阈值进行比 对,然后将像素值小于第二阈值的视频帧发送给计算模块。
视频在实际播放过程中一般存在两种状态:运动图像的特写,此 时用户对背景图像没有很高的关注度,而且此时一般背景图像的像素 都比较低(例如人物特写、近景特写等);背景图像的特写,此时一 般对运动图像进行低像素处理(例如远视、角色心理活动、切镜等)。 本实施例在判断视频数据中不一样的视频帧之前,先判断该数据段内 的运动图像和背景图像的工作状态,将用户处于低关注度的图像中重 复或者很接近的视频帧进行删除合并,只保留关键的有变化的视频帧, 在不影响用户观看的前提下,尽量减少需要压缩的视频帧数量,进一 步地降低了突发性错误的发生几率。
实施例4
请参阅图4,实施例4与实施例3的区别在于:在S61步骤之后还 要进行S62-S66步骤,
S62.按顺序复制每一个带有第二标签的视频帧,然后进行S63;
S63.在每一个复制的带有第二标签的视频帧之后,重复排列若干 该视频帧,重复排列的视频帧数量为该视频帧距离下一个带有第二标 签的视频帧之间的视频帧个数,然后删除该视频帧,保留若干重复排 列的视频帧形成补充视频帧段,然后进行S64;
S64.首先取出一个补充视频帧段,然后将其第一个视频帧与解码 后若干带有第二标签的视频帧进行比对,找到与其匹配的带有第二标 签的视频帧,然后在该视频帧后插入该视频帧段,然后进行S65;
S65.比对新视频数据的视频帧个数与原始视频数据的视频帧,若 匹配,则直接输出,若不匹配则进行S66;
S66.根据第二标签的顺序依次比对新视频数据两个带有第二标签 的视频帧之间视频帧的个数与原始视频数据中带有对应的两个第二标 签的视频帧之间的视频帧个数,若匹配则继续比对下一组,若不匹配 则在该两个带有第二标签的视频帧之间插入复制于第一个带第二标签 的视频帧的视频帧,直至新视频数据的视频帧个数与原始视频数据的视频帧个数对应,然后用于输出。
本实施例的视频数据的编解码预处理系统相较于实施例3还包括:
补充单元,所述补充单元包括复制模块、排列模块、第四比对模 块、填充模块和核对模块,复制模块,所述复制模块用于按顺序复制 每一个带有第二熵编码填充符号的视频帧;排列模块,重复排列若干 复制的该视频帧,数量为该视频帧距离下一个带有第二熵编码填充符 号视频帧之间空白视频帧的数量,从而形成若干补充视频帧段;第四 比对模块,用于按照时间戳依次将这若干补充视频帧段的第一个视频 帧与视频数据中若干带有第二熵编码填充符号的视频帧进行比对;填 充模块,用于将某一补充视频帧段插入到与其匹配的带有第二熵编码 填充符号的视频帧后面形成新的视频数据;核对模块,用于将新的视频数据与原始的视频数据的视频帧个数进行对比,当新的视频数据的 视频帧个数小于原始的视频数据的视频帧个数时,通过第四比对模块 和填充模块在缺少视频帧的带有第二熵编码填充符号视频帧之后插入 与其对应的补充视频帧段;组合单元,所述组合单元用于将经过补充 单元处理后的若干数据段按照第一熵编码填充符号的时间戳顺序生成 与原始视频数据对应的可输出的视频图像。
本实施例在实施例3的基础上添加复制步骤、填充步骤和核对步 骤,在编解码的时候,将空白视频帧填充一个跟前一个带有第二标签 的视频帧一样的视频帧,保证视频的完整度,防止因为数据段内视频 帧数量发生变化导致新的视频数据与原始视频数据不对应。
综上所述,仅为本发明之较佳实施例,不以此限定本发明的保护 范围,凡依本发明专利范围及说明书内容所作的等效变化与修饰,皆 为本发明专利涵盖的范围之内。

Claims (10)

1.一种视频数据的编解码预处理方法,包括在编码端的进行编码步骤,及在解码端的解码步骤,其特征在于,在编码端进行编码步骤之前先进行编码预处理步骤,所述预处理步骤包括:
S1.每隔一段固定的时间给视频数据的视频编码层中插入一个第一熵编码填充符号,所述第一熵编码填充符号为一比特填充符号,每两个第一熵编码填充符号之间的视频数据构成一个数据段,然后进行S2;
S2.分离每一个数据段内的背景图像和运动图像,背景图像进行S3,运动图像进行S5;
S3.接收数据段内背景图像每个视频帧的数据包,提取每个数据段第一个视频帧的时间戳,然后进行S4;
S4.对比每个数据段背景图像第一个视频帧的图像信息,在部分特定的数据段前面插入一个第二熵编码填充符号,然后进行S5;
S5.将视频数据根据第一熵编码填充符号按照每个数据段的顺序依次进行H.264压缩成用于传输的码流,然后用于储存或者传输;
在解码端进行解码步骤之前进行解码预处理步骤,所述解码预处理步骤包括:
S6.将码流中带有第二熵编码填充符号的背景图像和运动图像分别解码然后对照第一熵编码填充符号组合成新的数据段用于输出。
2.根据权利要求1所述的一种视频数据的编解码预处理方法,其特征在于:所述部分特定的数据段是指该数据段的第一个视频帧与前一个数据段的第一个视频帧有差别的数据段。
3.根据权利要求2所述的一种视频数据的编解码预处理方法,其特征在于,判断特定数据段的方法包括:
S41.将每个数据段背景图像的第一个视频帧与相邻的前一个数据段背景图像的第一个视频帧作减法处理,得到第一像素点差值,然后将第一像素点差值与第一阈值进行比对,当第一像素点差值大于第一阈值时,在该数据段背景图像的第一个视频帧前面插入一个第二熵编码填充符号。
4.根据权利要求3所述的一种视频数据的编解码预处理方法,其特征在于,判断特定视频的方法在S41之后还要进行S42:
S42.将同一个数据段里每个背景图像的视频帧与其前一个背景图像的视频帧作减法处理,得到第二像素点差值,然后将第二像素点差值与第一阈值进行比对,当第二像素点差值大于第一阈值时,在该视频帧前面插入一个第二熵编码填充符号。
5.根据权利要求1所述的一种视频数据的编解码预处理方法,其特征在于,所述视频数据的打包、编解码方法在S2后还需要进行S21和S22:
S21.判断同一个数据段内背景图像和运动图像的工作状态,处于工作状态下的图像直接进行S5,处于非工作状态下的图像进行S22;
S22.对比处于非工作状态的图像数据中每个视频帧的图像信息,在部分特定的视频帧前面插入一个第二熵编码填充符号。
6.根据权利要求5所述的一种视频数据的编解码预处理方法,其特征在于:所述非正常工作状态是指该图像的视频帧的像素低于第二阈值,所述部分特定的视频帧与前一个视频帧有差别的视频帧。
7.一种视频数据的编解码预处理方法,其特征在于,所述预处理包括:
S1.在编码端进行编码之前,对视频数据进行预处理,所述预处理包括每隔一段固定的时间给视频数据插入一个第一熵编码填充符号,每两个第一熵编码填充符号之间的视频数据构成一个数据段,然后进行S21;
S21.判断同一个数据段内背景图像和运动图像的工作状态,处于工作状态下的图像直接进行S5,处于非工作状态下的图像进行S3;
S3.接收数据段每个视频帧的数据包,提取每个数据段第一个视频帧的时间戳,然后进行S41;
S41.将每个数据段的第一个视频帧与相邻的前一个数据段像的第一个视频帧作减法处理,得到第一像素点差值,然后将第一像素点差值与第一阈值进行比对,当第一像素点差值大于第一阈值时,在该数据段的第一个视频帧前面插入一个第二熵编码填充符号,然后进行S42;
S42.将同一个数据段里每个的视频帧与其前一个视频帧作减法处理,得到第二像素点差值,然后将第二像素点差值与第一阈值进行比对,当第二像素点差值大于第一阈值时,在该视频帧前面插入一个第二熵编码填充符号,然后进行S5;
S5.将视频数据根据第一熵编码填充符号按照每个数据段的顺序依次进行H.264压缩成用于传输的码流,然后用于储存或者传输;
解码时包括:
S61.将背景图像和运动图像中带有第二熵编码填充符号的视频帧解码,然后对应第一熵编码填充符号按顺序分别组合成新背景图像和运动图像,然后对照原数据段中第一熵编码填充符号的顺序将新的背景图像和运动图像组合成完整的输出文件。
8.根据权利要求7所述的一种视频数据的编解码预处理方法,其特征在于,所述视频数据的打包、编解码方法在S61之后还需要进行S62-S63:
S62.按顺序复制每一个带有第二熵编码填充符号的视频帧,然后进行S63;
S63.在每一个复制的带有第二熵编码填充符号的视频帧之后,重复排列若干该视频帧,重复排列的视频帧数量为该视频帧距离下一个带有第二熵编码填充符号的视频帧之间的视频帧个数,然后删除该视频帧,保留若干重复排列的视频帧形成补充视频帧段,然后进行S64:
S64.首先取出一个补充视频帧段,然后将其第一个视频帧与解码后若干带有第二熵编码填充符号的视频帧进行比对,找到与其匹配的带有第二熵编码填充符号的视频帧,然后在该视频帧后插入该视频帧段,然后进行S65;
S65.比对新视频数据的视频帧个数与原始视频数据的视频帧,若匹配,则直接输出,若不匹配则进行S66;
S66.根据第二熵编码填充符号的顺序依次比对新视频数据两个带有第二熵编码填充符号的视频帧之间视频帧的个数与原始视频数据中带有对应的两个第二熵编码填充符号的视频帧之间的视频帧个数,若匹配则继续比对下一组,若不匹配则在该两个带有第二熵编码填充符号的视频帧之间插入复制于第一个带第二熵编码填充符号的视频帧的视频帧,直至新视频数据的视频帧个数与原始视频数据的视频帧个数对应,然后用于输出。
9.一种视频数据的编解码预处理系统,其特征在于,所述系统包括:
预处理单元,所述预处理单元包括数据连通的接收模块、第一插入模块、第一分离模块、第一提取模块、比对模块、第一插入模块和第二插入模块,所述接收模块用于接收待处理的视频数据,所述第一插入模块用于每隔一段固定的时间向待处理的视频数据里插入一个第一熵编码填充符号,使得每两个第一熵编码填充符号的视频数据构成一个数据段;所述第一分离模快用于分离待处理视频数据的运动图像和背景图像,所述第一提取模块用于提取指定视频帧的时间戳;所述计算模块包括第一计算模块和第二计算模块,所述第一计算模块用于将每个数据段的第一个视频帧与相邻的前一个数据段的第一个视频帧作减法处理得到第一像素点差值,所述第二计算模块用于将同一个数据段里的指定视频帧与相邻的前一个视频帧作减法处理得到第二像素点差值;所述比对模块包括第一比对模块和第二比对模块,所述第一比对模块用于接收所述第一计算模块得到的第一像素点差值并与第一阈值进行比对,所述第二比对模块用于接收所述第二计算模块得到的第二像素点差值并与第一阈值比对;所述第二插入模块用于根据所述第一比对模块和所述第二比对模块的比对结果在第一像素点差值和第二点像素点差值大于所述第一阈值的视频帧前面插入一个第二熵编码填充符号;
编码单元,所述编码单元包括H.264压缩模块和NALU提取模块,所述H.264压缩模块是基于达芬奇平台上的编解码引擎,其用于对经过上述预处理之后的视频数据进行;所述NALU提取模块是通过在编解码进程和RTP进程间建立管道共享视频数据提取出NAL单元并发送给传输单元;
传输单元,所述传输单元用于对负载进行相应协议包头处理成RTP数据包然后实时传输;
解码单元,所述解码单元包括解码器,用于将传输单元传输的RTP数据包解码成可供输出的视频图像。
10.根据权利要求9所述的一种视频数据的编解码预处理系统,其特征在于,所述系统还包括:
判断单元,所述判断单元包括第二分离模块、第二提取模块和第三比对模块,所述第二分离模快用于分离待处理视频数据的运动图像和背景图像,所述第二提取模块用于提取指定视频帧的时间戳,所述第三比对模块用于将带有时间戳的视频帧的像素值与第二阈值进行比对,然后将像素值小于第二阈值的视频帧发送给计算模块;
补充单元,所述补充单元包括复制模块、排列模块、第四比对模块、填充模块和核对模块,复制模块,所述复制模块用于按顺序复制每一个带有第二熵编码填充符号的视频帧;排列模块,重复排列若干复制的该视频帧,数量为该视频帧距离下一个带有第二熵编码填充符号视频帧之间空白视频帧的数量,从而形成若干补充视频帧段;第四比对模块,用于按照时间戳依次将这若干补充视频帧段的第一个视频帧与视频数据中若干带有第二熵编码填充符号的视频帧进行比对;填充模块,用于将某一补充视频帧段插入到与其匹配的带有第二熵编码填充符号的视频帧后面形成新的视频数据;核对模块,用于将新的视频数据与原始的视频数据的视频帧个数进行对比,当新的视频数据的视频帧个数小于原始的视频数据的视频帧个数时,通过第四比对模块和填充模块在缺少视频帧的带有第二熵编码填充符号视频帧之后插入与其对应的补充视频帧段;
组合单元,所述组合单元用于将经过补充单元处理后的若干数据段按照第一熵编码填充符号的时间戳顺序生成与原始视频数据对应的可输出的视频图像。
CN201710817119.1A 2017-09-12 2017-09-12 一种视频数据的编解码预处理方法 Active CN107454428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710817119.1A CN107454428B (zh) 2017-09-12 2017-09-12 一种视频数据的编解码预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710817119.1A CN107454428B (zh) 2017-09-12 2017-09-12 一种视频数据的编解码预处理方法

Publications (2)

Publication Number Publication Date
CN107454428A true CN107454428A (zh) 2017-12-08
CN107454428B CN107454428B (zh) 2019-08-27

Family

ID=60495320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710817119.1A Active CN107454428B (zh) 2017-09-12 2017-09-12 一种视频数据的编解码预处理方法

Country Status (1)

Country Link
CN (1) CN107454428B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804526A (zh) * 2020-12-31 2021-05-14 紫光展锐(重庆)科技有限公司 图像数据存储方法、设备及存储介质、芯片、模组设备
CN114025172A (zh) * 2021-08-20 2022-02-08 北京旷视科技有限公司 视频帧的处理方法、装置和电子系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006475A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 一种视频编解码装置和方法
CN103024445A (zh) * 2012-12-13 2013-04-03 北京百度网讯科技有限公司 云端的视频转码方法和云服务器
CN103220530A (zh) * 2013-04-22 2013-07-24 郑永春 用于智能监控的高分辨率图像处理系统及方法
CN106851282A (zh) * 2017-02-15 2017-06-13 福建时迅信息科技有限公司 一种vdi协议中减少视频图像编码数据量的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006475A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 一种视频编解码装置和方法
CN103024445A (zh) * 2012-12-13 2013-04-03 北京百度网讯科技有限公司 云端的视频转码方法和云服务器
CN103220530A (zh) * 2013-04-22 2013-07-24 郑永春 用于智能监控的高分辨率图像处理系统及方法
CN106851282A (zh) * 2017-02-15 2017-06-13 福建时迅信息科技有限公司 一种vdi协议中减少视频图像编码数据量的方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804526A (zh) * 2020-12-31 2021-05-14 紫光展锐(重庆)科技有限公司 图像数据存储方法、设备及存储介质、芯片、模组设备
CN112804526B (zh) * 2020-12-31 2022-11-11 紫光展锐(重庆)科技有限公司 图像数据存储方法、设备及存储介质、芯片、模组设备
CN114025172A (zh) * 2021-08-20 2022-02-08 北京旷视科技有限公司 视频帧的处理方法、装置和电子系统

Also Published As

Publication number Publication date
CN107454428B (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN101675435B (zh) 将媒体流记录到多媒体容器文件的接收索引轨道中
CN102685562B (zh) 用于媒体信号的压缩域编码设备和方法
CN101505316B (zh) 重排和复用属于互相关会话的多媒体流的包的方法和设备
CN102143367B (zh) 一种纠错校验方法、设备和系统
EP3228082B1 (en) Parallel processing to identify marker sequences in video data
DE602004003067T2 (de) Verfahren zur verschlüsselung eines fehlertoleranzkomprimierten audio- oder videostroms
CN101707701B (zh) 多流信息传输系统及其传输方法
CN1246997A (zh) 在恒定大小的传送分组中封装数据的方法
CN1781314A (zh) 图像编码方法
CN102342079B (zh) 不提高流速率而可靠地传输具有压缩报头的数据包的流的方法和装置
CN107454428A (zh) 一种视频数据的编解码预处理方法
CN112565224B (zh) 一种视频处理方法及装置
EP2297968A1 (fr) Procede et systeme permettant de proteger un flux video compresse contre les erreurs survenant lors d'une transmission
US7747087B2 (en) Apparatus, method, and article of manufacture used to encode information into an image and to decode information from a captured image
CN110535846A (zh) 一种基于dl/t698.45协议的数据帧压缩方法和系统
US20090003429A1 (en) Apparatus And Method For Processing A Bitstream
US20090245283A1 (en) Method and apparatus for repairing samples included in container files having lost packets
CN103873873B (zh) 一种非可靠信道下的图像编解码方法
CN112333470B (zh) 一种基于视频帧的fec纠错系统
CN104363461B (zh) 视频帧的错误隐藏方法及应用其的视频解码方法
CN104754341A (zh) 一种视频数据编码、解码的方法和装置
US20080101409A1 (en) Packetization
CN101540899B (zh) 流媒体系统中的i帧解析方法和i帧解析器
CN107911196B (zh) 一种雷达航迹报文传输方法
CN115942009A (zh) 基于混合式编码的远程视频业务办理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A preprocessing method of video data encoding and decoding

Effective date of registration: 20210622

Granted publication date: 20190827

Pledgee: Beijing culture science and technology financing Company limited by guarantee

Pledgor: CBC CLOUD TECHNOLOGY Co.,Ltd.

Registration number: Y2021980005035