CN114339196A - 一种视频编码方法、装置、设备及介质 - Google Patents

一种视频编码方法、装置、设备及介质 Download PDF

Info

Publication number
CN114339196A
CN114339196A CN202011062370.XA CN202011062370A CN114339196A CN 114339196 A CN114339196 A CN 114339196A CN 202011062370 A CN202011062370 A CN 202011062370A CN 114339196 A CN114339196 A CN 114339196A
Authority
CN
China
Prior art keywords
frame
video
quantization parameter
region
compressing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011062370.XA
Other languages
English (en)
Inventor
沈建强
曾雁星
龚骏辉
岳泊暄
王成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011062370.XA priority Critical patent/CN114339196A/zh
Priority to EP21874101.5A priority patent/EP4213484A4/en
Priority to PCT/CN2021/112719 priority patent/WO2022068439A1/zh
Publication of CN114339196A publication Critical patent/CN114339196A/zh
Priority to US18/192,553 priority patent/US20230239474A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了一种视频压缩方法，本申请实施例方法包括：获取视频帧，视频帧中包括第一动态图像组和第二动态图像组，提取第一动态图像组中的第一I帧，提取第二动态图像组的第二I帧，删除第一I帧与第二I帧之间的重复数据，得到目标I帧，并将目标I帧进行压缩处理。由于删除了第一I帧与第二I帧之间的重复数据，并不会影响视频帧的数据的完整性，因此在提高视频缩减率的同时，还能保证视频质量不会受损。

Description

一种视频编码方法、装置、设备及介质
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种视频编码方法、装置、设备以及计算机可读存储介质。
背景技术
根据相关法规，安防领域的视频数据存储需要至少存储90天，同时还需要全天候不间断采集，因此对网络带宽和存储空间的需求巨大，由此带来的存储成本已成为行业掣肘。另外，在对视频数据进行压缩后，还需要该压缩后的视频能够保持较高的视频质量来完成视频分析业务，如人脸识别，车牌检测等。因此，在通过视频数据压缩技术最大化地进行视频压缩的同时，并且保证较高的压缩后的视频质量是提升安防产品的竞争力的重要手段之一。
请参阅图1的现有的动态图像组(GOP，Group of Picture)技术示意图。在视频编码序列中，主要有三种编码帧：帧内编码图像(I,intra coded picture)帧、预测编码图像(P,predictive coded picture)帧以及双向预测编码图像(B，bi directionallypredicted picture)帧。具体的，I帧不参考其他图像帧，只利用本帧的信息进行编码，P帧利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码，B帧提供最高的压缩比，它既需要之前的图像帧，也需要后来的图像帧，采用运动预测的方式进行帧间双向预测编码。在视频编码序列中，GOP指两个I帧之间的距离，参考周期指两个P帧之间的距离。
GOP技术主要包含2个技术点：A：可以根据场景中的动态量来动态地调节I帧之间的间隔；B：在GOP内引入双参考帧和虚拟I帧，P帧可以参考前一帧或者I帧来选择最佳参考块进行压缩。同时根据需要可以灵活插入虚拟I帧，其可以直接参考I帧不需要参考前边的P帧。由于动态GOP技术会实时检测视频流中运动物体的运动状态，比如夜间运动物体很少的时候，动态GOP技术会选择较大的GOP值，这样I帧较少，P、B帧的数量会增多，从而节省视频流的存储空间。
由于在整个视频文件中，往往存在大量的重复数据，压缩不够充分。
发明内容
本申请实施例提供了一种视频压缩方法，通过该方法进行编码，删除了不同I帧之间的重复数据，从而减少了视频帧的占用空间。本申请还提供了视频编码装置、视频编码设备、计算机可读存储介质以及计算机程序产品。
本申请实施例第一方面提供了一种检测路由环路的方法，该方法中，需要先获取原始的视频帧。而当获取到的是经过压缩后的视频流时，需要通过解码，将视频流解码为原始的视频帧。
获取到原视的视频帧后，基于GOP技术，视频帧中可以包括多个GOP，而每个GOP中，都会有一个I帧以及多个P帧。可以先从视频帧中的第一GOP和第二GOP中分别提取出第一I帧、第二I帧以及多个P帧。
进一步的，由于每个I帧都是一个全帧压缩编码帧，都包括了当前帧的完整图像画面，所以第一I帧和第二I帧之间，往往存在着重复的画面数据。可以对第一I帧和第二I帧之间的重复数据进行去冗余，得到目标I帧，然后再对目标I帧进行压缩处理。本申请实施例中，删除的只是第一I帧和第二I帧之间重复的画面数据，该重复的画面数据，在经过去冗余之后，至少还会保留一份在某个I帧之中。所以对整个视频帧而言，完整的画面数据并没有丢失，所以一方面减少了第一GOP和第二GOP之间的冗余数据，另一方面也不会对视频质量造成影响。本申请实施例中，从多个GOP中提取出多个I帧，通过删除多个I帧之间的重复数据，提高了视频的缩减率，从而减少了视频的传输成本和存储成本，同时也不会对视频质量造成影响。
基于第一方面，本申请实施例还提供了第一方面的第一种实施方式：
第一GOP和第二GOP中，还包括了第一P帧和第二P帧。可以对第一P帧和第二P帧统一提取，再通过标准的编码方式压缩到同一个数据包中。
P帧属于预测编码图像帧，并不包括完整的画面数据。本申请实施例中，对第一P帧和第二P帧进行统一无损压缩，并不影响视频帧的数据的完整性，保证了视频质量。
基于第一方面的第一种实施方式，本申请实施例还提供了第一方面的第二种实施方式：基于感兴趣区域(ROI，region of interest)技术，视频帧中的画面数据，可以区分为ROI和非ROI，所以第一I帧和第二I帧中，也存在ROI和非ROI，第一P帧和第二P帧中，也存在ROI和非ROI。可以对ROI配置第一量化(QP，quantization parameter)参数，对非ROI配置第二QP参数。
具体的，QP参数反映了空间细节压缩情况，QP参数值越小，则压缩过程中，画面数据保留得越完整，视频质量越高；QP参数值越大，则画面数据越容易丢失，视频质量越低。
根据第一QP参数对去冗余后得到的目标I帧中的ROI进行压缩处理，根据第二QP参数对去冗余后得到的目标I帧中的非ROI进行压缩处理。
该实施方式中，对去冗余后得到的目标I帧进行进一步的ROI处理，更进一步地压缩了视频数据。
基于第一方面的第二种实施方式，本申请实施例还提供了第一方面的第三种实施方式：提取出了第一P帧以及第二P帧后，根据第一QP参数对第一P帧以及第二P帧中的ROI进行压缩处理，根据第二QP参数对第一P帧以及第二P帧中的非ROI进行压缩处理。
该实施方式中，对第一P帧以及第二P帧进行ROI处理，更进一步地压缩了视频数据。
基于第一方面的第二种实施方式，本申请实施例还提供了第一方面的第四种实施方式：本申请实施例中，可以通过码控算法，分别配置ROI对应的第一QP参数以及非ROI对应的第二QP参数。
基于第一方面的第二种实施方式、第一方面的第三种实施方式或第一方面的第四种实施方式，本申请实施例还提供了第一方面的第五种实施方式：
ROI对应的第一QP参数的值，小于非ROI对应的第二QP参数的值，这样可以在对视频帧进行压缩的同时，ROI的画面质量会高于非ROI的画面质量。
基于第一方面，或第一方面的第一种实施方式至第一方面的第四种实施方式中的任意一种，本申请实施例还提供了第一方面的第六种实施方式：
本申请实施例中，需要对经过压缩后的视频流进行解压，得到原始的视频帧图像。
基于第一方面，或第一方面的第一种实施方式至第一方面的第四种实施方式中的任意一种，本申请实施例还提供了第一方面的第七种实施方式：
在现有的GOP技术中，同一帧中的I帧和P帧是属于同一个动态图像组的。本申请实施例中，将多个GOP中的多个I帧进行统一去冗余，得到目标I帧，将多个P帧统一压缩到一个数据包中，所以经过上述压缩处理，视频帧中的GOP的格式已经被改变了。
当经过上述压缩处理后的视频文件需要解压时，需要获取目标I帧，并对目标I帧进行解压，恢复各个I帧被删除的重复数据，得到原始的第一I帧以及第二I帧，从而保证了解压后的视频质量是无损的。
基于第一方面的第一种实施方式至第一方面的第四种实施方式中的任意一种，本申请实施例还提供了第一方面的第八种实施方式：
本申请实施例中，第一GOP和第二GOP中的第一P帧以及第二P帧是打包在同一个数据包内的。需要对该数据包进行解压，由于P帧的解码，需要参考对应的I帧。所以需要结合解压后的第一I帧恢复第一P帧，结合解压后的第二I帧恢复第二P帧，从而保证完整地恢复出原始的视频帧图像。
本申请实施例第二方面提供了一种视频编码装置，其特征在于，该视频编码装置包括：
获取单元，用于获取视频帧，所述视频帧包括第一动态图像组和第二动态图像组，所述第一动态图像组包括第一帧内编码图像I帧，所述第二动态图像组包括第二I帧；
第一提取单元，用于提取所述第一I帧和所述第二I帧；
删除单元，用于删除所述第一I帧和所述第二I帧之间的重复数据，得到目标I帧；
第一压缩单元，用于压缩所述目标I帧。
在一些可能的实现方式中，所述第一动态图像组还包括第一预测编码图像P帧，所述第二动态图像组还包括第二P帧，所述视频编码装置还包括：
第二提取单元，用于提取所述第一P帧和所述第二P帧；
第二压缩单元，用于压缩所述第一P帧和所述第二P帧。
在一些可能的实现方式中，所述视频帧包含感兴趣区域和非感兴趣区域，所述视频编码装置还包括：
配置单元，用于对所述感兴趣区域配置第一量化参数，对所述非感兴趣区域配置第二量化参数；
所述第一压缩单元具体用于：
根据所述第一量化参数对所述目标I帧中的感兴趣区域进行压缩处理，以及根据所述第二量化参数对所述目标I帧中的非感兴趣区域进行压缩处理。
在一些可能的实现方式中，所述第二压缩单元具体用于：
根据所述第一量化参数对所述第一P帧和第二P帧中的感兴趣区域进行压缩处理，以及根据所述第二量化参数对所述第一P帧和第二P帧中的非感兴趣区域进行压缩处理。
在一些可能的实现方式中，所述配置单元具体用于：
根据码控算法对所述感兴趣区域配置第一量化参数，根据码控算法对所述非感兴趣区域配置第二量化参数。
在一些可能的实现方式中，所述第一量化参数小于所述第二量化参数。
在一些可能的实现方式中，所述视频帧是经过解压缩处理后的视频帧。
在一些可能的实现方式中，所述视频编码装置还包括第一解压单元，用于对经过压缩处理后的所述目标I帧进行解压处理。
在一些可能的实现方式中，所述视频编码装置还包括：第二解压单元，用于对经过压缩处理后的所述第一P帧和所述第二P帧进行解压处理。
本申请实施例第三方面提供了一种网络设备，包括：
处理器、存储器、输入输出设备以及总线；
所述处理器、存储器、输入输出设备与所述总线相连；
所述处理器用于执行第一方面或第一方面的任一种实施方式中所述的视频压缩方法。
本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在设备如计算机设备上运行时，使得设备执行第一方面或第一方面的任一种实施方式中所述的检测路由环路的方法。
附图说明
图1为现有的GOP技术示意图；
图2为智能安防系统结构示意图；
图3为智能安防系统的实体框架图；
图4为ROI技术流程图；
图5为道路监控场景下的ROI技术示意图；
图6为现有的一种视频压缩流程图；
图7为本申请实施例中视频压缩方法的一个实施例示意图；
图8为本申请实施例中视频压缩方法的另一个实施例示意图；
图9为本申请实施例中视频解压方法的一个实施例示意图；
图10为本申请实施例中视频编码装置的一种结构示意图；
图11为本申请实施例中视频编码装置的另一种结构示意图；
图12为本申请实施例中视频编码装置的另一种结构示意图。
具体实施方式
本申请实施例提供了一种视频压缩方法，用于提高视频的缩减率。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述：
请参阅图2所示的智能安防系统。智能安防系统可以包括三个部分：采集设备201，例如可以是网络摄像头或者软件定义摄像头(SDC，software define camera)等，用于采集视频、图像或音频等数据；存储设备202，例如可以是存储服务器或者视频云节点(VCN，video cloud node)等；分析设备203，例如视频内容管理系统(VCM，video contentmanagement)等。
请参阅图3所示的智能安防系统的实体框架图：
SDC采集视频、图像或音频等数据后，通过编码器(基于H.265或H.264等标准)对采集到的上述数据进行压缩，得到标准视频流，并通过网络传输给VCN。VCN收到该标准视频流后，进行保存，还可以传输给VCM。由VCM进行分析识别(例如人脸识别或车牌识别等)，再通过网络将分析数据传递给用户设备，如个人电脑或手机等，或者VCN可以直接将保存的视频流发送给用户设备。
由于采集设备所采集的视频往往占用较多的存储空间，这给视频的传输和存储带来较大的挑战。基于此，业界引入了视频编码技术，所谓视频编码也称作视频压缩，本质上属于一种数据压缩方法。在播放和分析视频的时候，通过视频解码即可恢复原始视频数据。由于视频编码的过程中，为了获取较高的视频缩减率，往往会对视频数据中的部分冗余信息进行删除，造成视频数据的丢失，因此解码后重新得到的视频的信息量可能会少于原始视频。
现有智能安防系统的视频压缩技术方案大致可以分为2类：前端视频压缩方案和后端视频压缩方案。所述前端视频压缩方案是指，当前端采集摄像头的芯片计算力足够的情况下，直接利用摄像头芯片的计算力进行视频压缩。该技术方案的优势是可以同时节省网络传输的开销和后端存储开销。缺点是摄像头的计算力通常不足，因此无法做到极致的视频压缩。而后端视频压缩方案是指，在后端存储模块一侧，通过增加强大的视频压缩芯片，进行视频的再处理和再压缩，从而达到极致视频压缩的技术。后端视频压缩方案的优势是通过强大的计算力和内存等资源的集中优势，通过计算力换取极致的视频缩减效果。
现有的压缩视频的技术方案，除了GOP技术以外，往往还运用到了ROI技术。下面进行说明：
请参阅图4所述的ROI技术流程图。该技术的主要原理是在对原始视频流进行视频编码过程中，使用各种技术对视频流中的视频帧进行ROI检测，识别出兴趣最大的区域，然后在视频帧中以方框、圆、椭圆或不规则多边形等方式勾勒出感兴趣区域。通常的ROI技术包括各种传统的图形图像处理方法。在完成对ROI区域的识别后，视频编码器会对感兴趣区域设置较小的压缩参数，以便保留较高的视频质量。而对不感兴趣的其他区域则设置较大的压缩参数，以便获取更大的视频缩减率。
例如图5所示的安防领域的道路监控场景中，ROI可以是车辆或行人等区域，背景画面中的树木和道路则可以选定为非ROI。例如在仓库监控场景中，ROI可以是运动的仓储叉车，也可以是静止的货物，而视频中的背景画面则可以是非ROI区域。又例如，在安防领域的在教育行业的教学直播场景中，ROI可以是教师、学生或写字板等区域。
在视频压缩的实际应用场景中，往往是将多方面的压缩技术相结合，对视频图像多次处理后，再进行压缩。如图6所示的现有的一种视频压缩流程：
601、对视频帧进行ROI识别；
根据预设条件，对视频帧中的画面区分为ROI和非ROI。
602、动态优化GOP；
对视频图像流进行运动统计，去除GOP内的冗余信息。
603、根据ROI分布进行QP参数的配置；
对经过GOP技术去冗余后的视频帧，分别对ROI和非ROI配置不同的QP参数。
604、根据配置好的QP参数压缩视频；
对ROI和非ROI，按照配置好的对应的QP参数进行压缩，得到标准视频流。
下面对本申请实施例所提供的视频压缩方案进行介绍：
需要说明的是，本申请实施例关键点在于提供了对视频数据的压缩方法和处理逻辑，并不受实际应用场景的限制。在实际的应用过程中，可以适用于只能安防系统场景，还可以应用于其他的视频压缩场景上，例如视频会议场景，或者新媒体、在线教育等行业的视频直播场景，还可以应用于本地的视频文件的压缩。具体此处不做限定。为了方便理解，本申请实施例以安防系统场景为例对视频压缩方法进行示例说明。
本申请实施例中，对GOP技术进行了改进。在实际的视频压缩应用场景中，可以将本申请实施例中的GOP技术与ROI技术相结合，对视频进行压缩；还可以直接使用本申请实施例中的GOP技术对视频进行压缩。下面分别对两种不同的压缩方案进行说明：
一、将本申请实施例中的GOP技术与ROI技术相结合，对视频进行压缩：
请参阅图7，本申请实施例中，一种视频压缩方法包括：
701、VCN获取视频帧；
需要说明的是，本申请实施例中，“VCN”只是用于执行本申请实施例所述压缩功能的其中一种设备，在实际应用中，执行本申请实施例所述的压缩功能的设备也可以不是VCN，例如可以是其他后端存储服务器、或前端设备如SDC，或其他的单独一个设备，还可以集成在前端的采集设备、后端的存储设备或者其他硬件设备中，也还可以是一个软编码的计算机程序，具体此处不做限定。为了便于进行后续描述，本申请实施例中以“VCN”为例进行说明。
具体的，本申请所述实施方式，可以应用于图2所示前端的采集设备或后端的存储设备。如果应用于前端视频压缩架构，则输入的是原始的视频帧，可以直接执行本申请实施例后续所述操作步骤。如果应用于后端视频缩减架构，则需要对输入的压缩后的视频流进行解压，得到原始的视频帧，然后再执行本申请实施例所述操作步骤。本申请实施例中，VCN属于后端的存储设备，所以VCN需要对输入的的压缩后的视频流进行解压，才能获取到原始的视频帧。
702、VCN对获取到的视频帧进行ROI识别；
系统场景中，进出小区人员的人脸，或者往来车辆的车牌等，都可以设置为ROI，而视频背景中的道路或树木等，则可以设置为非ROI。
在ROI识别技术方案中，VCN一般按照预设条件，对预先选定好的感兴趣的画面进行识别，并设置为ROI。本申请实施例中，可以使用人工智能(AI，artificialintelligence)算法进行ROI识别。VCN通过AI算法，能够以机器学习的方式，根据过往历史的识别数据，不断地学习识别ROI的能力，使VCN能够更加准确地自动识别出用户感兴趣的画面。
703、VCN根据码控算法对识别出来的ROI和非ROI分别配置不同的QP参数；
VCN识别出ROI和非ROI后，由于ROI为重点区域，需要在压缩后能够保持较高的视频质量和画面细节，以便进行后续的视频分析识别。QP参数反映了空间细节压缩情况，压缩后的视频质量成反比，QP参数值越小，视频质量越高，画面细节越好，但相应压缩后的视频体积也会较大。所以，本实施例中，VCN可以通过码控算法，对ROI配置较小的QP参数值，以便保证压缩后的视频质量，对非ROI可以配置较大的QP参数值，获得更高的视频缩减率。
所以，VCN可以对ROI配置第一QP参数，非ROI配置第二QP参数，其中，第一QP参数可以小于第二QP参数。
704、VCN提取视频帧中的I帧和P帧；
每个GOP中，都会有一个I帧，以及至少一个P帧。其中I帧是一个全帧压缩编码帧，解码时仅用当前I帧的数据就可重构完整图像，不需要参考其他画面。而P帧没有完整画面数据，只有当前这一帧与前一帧的画面差别的数据，需要结合I帧才能解码得到完整图像。
本申请实施例中，并不限定提取的I帧和P帧的数量。VCN可以从多个GOP中，提取出多个I帧以及多个P帧。
在实际应用中，VCN往往会收到内存容量或计算力的限制，不能一次性处理完输入的所有视频帧。所以，可以根据VCN的内存容量或计算力等条件，设置一个阈值。当VCN所提取的I帧和P帧的数量达到了该阈值时，VCN暂停提取I帧和P帧，直接执行步骤705。
需要说明的是，由于GOP组中也可以包括B帧，若存在B帧，则VCN也可以对B帧进行提取。
705、VCN去除多个I帧的冗余；
由于I帧包括了完整的画面数据，在多个I帧之间，往往存在重复的画面数据。例如安防系统的道路监控场景中，视频画面中的背景街道、树木和路牌基本都是不变的。而每个I帧中，都会有上述街道、树木和路牌的画面数据。VCN可以将多个I帧之间重复的画面进行删除。具体的，VCN删除多个I帧之间的重复数据后，至少还会保留一份相对应的重复数据。
由于VCN删除的，仅仅是I帧之间重复的画面数据，所以视频帧中的完整画面数据，并不会缺失，也不会对视频质量造成影响。这种去除多个I帧之间的冗余的方法，对视频质量是无损的。
VCN对所提取的I帧去冗余后，可以判断，是否已经对输入的视频帧全部处理完毕，若是，则执行步骤706，若不是则返回继续执行步骤704。
706、VCN根据配置好的QP参数压缩去冗余后的I帧；
VCN将多个I帧之间的冗余数据删除后，可以对这些去冗余后的I帧进行压缩。由于本实施例在步骤702和步骤703中，已经对视频帧进行ROI识别，并对视频帧中的ROI和非ROI分别配置了不同的QP参数。所以，在对多个I帧进行去冗余后，可以根据配置好的不同的QP参数，分别对I帧中的ROI和I帧中的非ROI进行压缩。
例如本实施例中，VCN已经对ROI配置了第一QP参数，对非ROI配置了第二QP参数，所以，此时VCN可以根据较小的第一QP参数对去冗余后的I帧中的ROI进行压缩，根据较大的第二QP参数对去冗余后的I帧中的非ROI进行压缩。
本申请实施例中，VCN可以把多个去冗余后的I帧统一压缩在同一个数据包内。
707、VCN压缩P帧；
本实施例中，步骤707与步骤706类似，VCN可以根据较小的第一QP参数对去冗余后的P帧中的ROI进行压缩，根据较大的第二QP参数对去冗余后的P帧中的非ROI进行压缩。
本申请实施例中，VCN可以把多个P帧统一压缩在同一个数据包内。
需要说明的是，本实施例并不限定步骤707与步骤705和706之间的时序关系。即VCN可以先压缩P帧，再对I帧进行去冗余后压缩，也可以先对I帧去冗余和压缩之后，再对P帧进行压缩。
708、VCN保存压缩后的视频文件；
VCN对视频数据进行压缩后，可以将压缩后的视频文件保存到本地，或者发送到其他存储设备，如云端服务器进行保存。
709、VCN将视频文件发送给VCM；
710、VCM识别视频文件；
在安防场景中，用户往往需要对压缩后的视频进行分析识别，例如车牌识别或人脸识别等。所以VCN可以将保存好的视频文件发送给VCM，由VCM对视频文件进行分析识别。
本实施例中，VCN获取视频帧后，先识别出视频帧中的ROI和非ROI，并分别配置对应的QP参数，对视频帧中的I帧去冗余后，再根据配置好的QP参数，对视频帧中的ROI和非ROI进行压缩。本实施例将有损的ROI技术与无损的GOP技术相结合，在尽量保留用户感兴趣区域的图像质量的同时，又进一步提升了视频的缩减率，减少了视频文件的传输成本和存储成本。
二、通过本申请实施例中的GOP技术，对视频文件进行无损压缩：
请参阅图8，本申请实施例中，另一种视频压缩方法包括：
801、VCN获取视频帧；
本实施例中的步骤801与前述图7所示的步骤701类似，此处不再赘述。
802、VCN提取视频帧中的I帧和P帧；
803、VCN去除多个I帧的冗余；
804、VCN对去冗余后的I帧进行压缩；
805、VCN压缩P帧；
806、VCN保存压缩后的视频文件；
807、VCN将视频文件发送给VCM；
808、VCM识别视频文件；
本实施例中的步骤802至步骤808与前述图7所示的步骤704至步骤710类似，此处不再赘述。
需要说明的是，本实施例的步骤804和步骤805中，VCN对P帧以及去冗余后的I帧通过无损的编码方式进行压缩，例如VCN可以使用标准里的熵编码算法进行压缩，或者也可以使用其他更高压缩率的无损压缩算法。通常标准上的熵编码会采用基于上下文的自适应二进制算术编码(CABAC，context-based adaptive binary arithmetic coding)或基于上下文的自适应变长编码(CAVLC，context-adaptive varialbe-length coding)等编码方案。
本实施例中，VCN所去除的冗余信息是多个I帧之间的重复数据，并不会对视频数据的完整性造成影响，所以整个压缩过程，对视频质量是无损的。在实际应用中，本实施例中提供的无损的视频压缩技术，完全可以适用于例如公安等特殊客户的需求(公安要求不能对摄像头标准编码后的视频进行有损压缩)。
在传统的GOP技术中，I帧以及对应的P帧是压缩在一个数据包里的。本申请实施例中，VCN将多个I帧压缩在一个数据包中，将多个P帧压缩在另一个数据包中，改变了视频文件的编码格式。所以，当播放设备需要读取该视频文件时，需要先对视频文件进行解压，再恢复成标准编码的视频流。
请参阅图9，本申请实施例中，一种视频解压方法包括：
901、VCN获取视频文件；
VCN获取上述改变了编码格式的视频流，该视频流中的I帧是统一编码在一个数据包中，P帧则编码在另一个数据包中。
902、VCN恢复原始的I帧图像；
VCN对封装了I帧的数据包进行解压，并提取出I帧，恢复各个I帧被删除的重复数据，得到原始的完整的I帧图像。
903、VCN恢复原始的P帧图像；
由于P帧的解码，需要参考对应的I帧。所以，当VCN恢复出完整的I帧后，便可以结合I帧，对P帧进行恢复，得到原始的P帧图像。
904、VCN将恢复完成的I帧和P帧重新封装为标准的视频流；
905、VCN将重新封装后的视频流发送给视频播放器。
本实施例中，VCN对各个I帧中被删除的重复的数据进行恢复，得到原始的完整的I帧图像，并结合恢复后的I帧对P帧进行解压，保证了视频帧的数据的完整性，不会对视频质量造成影响。
下面对本申请实施例中的视频编码装置进行描述：
请参阅图10，本申请实施例中，视频编码装置一种结构包括：
获取单元1001，用于获取视频帧，所述视频帧包括第一动态图像组和第二动态图像组，所述第一动态图像组包括第一帧内编码图像I帧，所述第二动态图像组包括第二I帧；
第一提取单元1002，具体用于提取所述第一I帧和所述第二I帧；
删除单元1003，具体用于删除所述第一I帧和所述第二I帧中的重复数据，得到目标I帧；
第一压缩单元1004，具体用于压缩所述目标I帧。
请参阅图11，本申请实施例中，视频编码装置另一种结构包括：
获取单元1101，具体用于获取视频帧，所述视频帧包括第一动态图像组和第二动态图像组，所述第一动态图像组包括第一帧内编码图像I帧，所述第二动态图像组包括第二I帧；
配置单元1102，具体用于对所述感兴趣区域配置第一量化参数，对所述非感兴趣区域配置第二量化参数；
第一提取单元1103，具体用于提取所述第一I帧和所述第二I帧；
第二提取单元1104，具体用于提取所述第一P帧和所述第二P帧；
删除单元1105，具体用于删除所述第一I帧和所述第二I帧中的重复数据，得到目标I帧；
第一压缩单元1106，具体用于压缩所述目标I帧；
第二压缩单元1107，具体用于压缩所述第一P帧和所述第二P帧；
第一解压单元1108，具体用于对经过压缩处理后的所述目标I帧进行解压处理；
第二解压单元1109，具体用于对经过压缩处理后的所述第一P帧和所述第二P帧进行解压处理。
在一些可能的实现方式中，所述配置单元1102具体用于：
根据码控算法对所述感兴趣区域配置第一量化参数，根据码控算法对所述非感兴趣区域配置第二量化参数。
在一些可能的实现方式中，所述第一压缩单元1106具体用于：
根据所述第一量化参数对所述目标I帧中的感兴趣区域进行压缩处理，以及根据所述第二量化参数对所述目标I帧中的非感兴趣区域进行压缩处理。
在一些可能的实现方式中，所述第二压缩单元1107具体用于：
根据所述第一量化参数对所述第一P帧和第二P帧中的感兴趣区域进行压缩处理，以及根据所述第二量化参数对所述第一P帧和第二P帧中的非感兴趣区域进行压缩处理。
本实施例中，视频编码装置中各单元所执行的流程与前述图7至图9所示的实施例中描述的方法流程类似，此处不再赘述。
图12是本申请实施例提供的一种视频编码装置结构示意图，该视频编码装置1200可以包括一个或一个以上中央处理器(central processing units，CPU)1201和存储器1205，该存储器1205中存储有一个或一个以上的应用程序或数据。
其中，存储器1205可以是易失性存储或持久存储。存储在存储器1205的程序可以包括一个或一个以上模块，每个模块可以包括对编码模块中的一系列指令操作。更进一步地，中央处理器1201可以设置为与存储器1205通信，在视频编码装置1200上执行存储器1205中的一系列指令操作。
视频编码装置1200还可以包括一个或一个以上电源1202，一个或一个以上有线或无线网络接口1203，一个或一个以上输入输出接口1204，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该视频编码装置1200或中央处理器1201可以执行前述图7至图9所示实施例中VCN所执行的操作，具体此处不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (20)

1.一种视频压缩方法，其特征在于，包括：
获取视频帧，所述视频帧包括第一动态图像组和第二动态图像组，所述第一动态图像组包括第一帧内编码图像I帧，所述第二动态图像组包括第二I帧；
提取所述第一I帧和所述第二I帧；
删除所述第一I帧和所述第二I帧之间的重复数据，得到目标I帧；
对所述目标I帧进行压缩处理。
2.根据权利要求1所述的视频压缩方法，其特征在于，所述第一动态图像组还包括第一预测编码图像P帧，所述第二动态图像组还包括第二P帧，所述方法还包括：
提取所述第一P帧和所述第二P帧；
对所述第一P帧和所述第二P帧进行压缩处理。
3.根据权利要求2所述的视频压缩方法，其特征在于，所述视频帧包括感兴趣区域和非感兴趣区域，所述方法还包括：
对所述感兴趣区域配置第一量化参数，对所述非感兴趣区域配置第二量化参数；
所述对所述目标I帧进行压缩处理包括：
根据所述第一量化参数对所述目标I帧中的感兴趣区域进行压缩处理，以及根据所述第二量化参数对所述目标I帧中的非感兴趣区域进行压缩处理。
4.根据权利要求3所述的视频压缩方法，其特征在于，所述对所述第一P帧和所述第二P帧进行压缩处理包括：
根据所述第一量化参数对所述第一P帧和第二P帧中的感兴趣区域进行压缩处理，以及根据所述第二量化参数对所述第一P帧和第二P帧中的非感兴趣区域进行压缩处理。
5.根据权利要求3所述的视频压缩方法，其特征在于，所述对所述感兴趣区域配置第一量化参数，对所述非感兴趣区域配置第二量化参数包括：
根据码控算法对所述感兴趣区域配置第一量化参数，根据码控算法对所述非感兴趣区域配置第二量化参数。
6.根据权利要求3、4或5所述的视频压缩方法，其特征在于，所述第一量化参数的值小于所述第二量化参数的值。
7.根据权利要求1至5中任一项所述的视频压缩方法，其特征在于，所述视频帧是经过解压缩处理后的视频帧。
8.根据权利要求1至5中任一项所述的视频压缩方法，其特征在于，所述对所述目标I帧进行压缩处理之后，所述方法还包括：
对经过压缩处理后的所述目标I帧进行解压处理。
9.根据权利要求2至5中任一项所述的视频压缩方法，其特征在于，所述对所述第一P帧和所述第二P帧进行压缩处理之后，所述方法还包括：
对经过压缩处理后的所述第一P帧和所述第二P帧进行解压处理。
10.一种视频编码装置，其特征在于，包括：
获取单元，用于获取视频帧，所述视频帧包括第一动态图像组和第二动态图像组，所述第一动态图像组包括第一帧内编码图像I帧，所述第二动态图像组包括第二I帧；
第一提取单元，用于提取所述第一I帧和所述第二I帧；
删除单元，用于删除所述第一I帧和所述第二I帧之间的重复数据，得到目标I帧；
第一压缩单元，用于压缩所述目标I帧。
11.根据权利要求10所述的视频编码装置，其特征在于，所述第一动态图像组还包括第一预测编码图像P帧，所述第二动态图像组还包括第二P帧，所述视频编码装置还包括：
第二提取单元，用于提取所述第一P帧和所述第二P帧；
第二压缩单元，用于压缩所述第一P帧和所述第二P帧。
12.根据权利要求11所述的视频编码装置，其特征在于，所述视频帧包含感兴趣区域和非感兴趣区域，所述视频编码装置还包括：
配置单元，用于对所述感兴趣区域配置第一量化参数，对所述非感兴趣区域配置第二量化参数；
所述第一压缩单元具体用于：
根据所述第一量化参数对所述目标I帧中的感兴趣区域进行压缩处理，以及根据所述第二量化参数对所述目标I帧中的非感兴趣区域进行压缩处理。
13.根据权利要求12所述的视频编码装置，其特征在于，所述第二压缩单元具体用于：
根据所述第一量化参数对所述第一P帧和第二P帧中的感兴趣区域进行压缩处理，以及根据所述第二量化参数对所述第一P帧和第二P帧中的非感兴趣区域进行压缩处理。
14.根据权利要求12所述的视频编码装置，其特征在于，所述配置单元具体用于：
根据码控算法对所述感兴趣区域配置第一量化参数，根据码控算法对所述非感兴趣区域配置第二量化参数。
15.根据权利要求12、13或14所述的视频编码装置，其特征在于，所述第一量化参数的值小于所述第二量化参数的值。
16.根据权利要求10至14中任一项所述的视频编码装置，其特征在于，所述视频帧是经过解压缩处理后的视频帧。
17.根据权利要求10至14中任一项所述的视频编码装置，其特征在于，所述视频编码装置还包括：
第一解压单元，用于对经过压缩处理后的所述目标I帧进行解压处理。
18.根据权利要求10至14中任一项所述的视频编码装置，其特征在于，所述视频编码装置还包括：
第二解压单元，用于对经过压缩处理后的所述第一P帧和所述第二P帧进行解压处理。
19.一种视频编码设备，其特征在于，包括：
处理器、存储器、输入输出设备以及总线；
所述处理器、存储器、输入输出设备与所述总线相连；
所述处理器用于执行权利要求1至9中任一项所述的方法。
20.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至9中任意一项所述的方法。
CN202011062370.XA 2020-09-30 2020-09-30 一种视频编码方法、装置、设备及介质 Pending CN114339196A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011062370.XA CN114339196A (zh) 2020-09-30 2020-09-30 一种视频编码方法、装置、设备及介质
EP21874101.5A EP4213484A4 (en) 2020-09-30 2021-08-16 VIDEO CODING METHOD AND APPARATUS, DEVICE AND MEDIUM
PCT/CN2021/112719 WO2022068439A1 (zh) 2020-09-30 2021-08-16 一种视频编码方法、装置、设备及介质
US18/192,553 US20230239474A1 (en) 2020-09-30 2023-03-29 Video coding method, apparatus, and device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011062370.XA CN114339196A (zh) 2020-09-30 2020-09-30 一种视频编码方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114339196A true CN114339196A (zh) 2022-04-12

Family

ID=80951073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011062370.XA Pending CN114339196A (zh) 2020-09-30 2020-09-30 一种视频编码方法、装置、设备及介质

Country Status (4)

Country Link
US (1) US20230239474A1 (zh)
EP (1) EP4213484A4 (zh)
CN (1) CN114339196A (zh)
WO (1) WO2022068439A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539124B2 (en) * 1999-02-03 2003-03-25 Sarnoff Corporation Quantizer selection based on region complexities derived using a rate distortion model
JP2002152759A (ja) * 2000-11-10 2002-05-24 Sony Corp 画像情報変換装置および画像情報変換方法
US20100296579A1 (en) * 2009-05-22 2010-11-25 Qualcomm Incorporated Adaptive picture type decision for video coding
CN105744345B (zh) * 2014-12-12 2019-05-31 深圳Tcl新技术有限公司 视频压缩方法及装置
JP6606827B2 (ja) * 2015-01-21 2019-11-20 沖電気工業株式会社 動画像符号化装置、動画像符号化プログラム、及び動画像符号化システム
CN109361927B (zh) * 2018-09-29 2020-10-30 西安万像电子科技有限公司 图像处理方法及装置
CN111479112B (zh) * 2020-06-23 2020-11-03 腾讯科技（深圳）有限公司 一种视频编码方法、装置、设备和存储介质

Also Published As

Publication number Publication date
EP4213484A1 (en) 2023-07-19
US20230239474A1 (en) 2023-07-27
EP4213484A4 (en) 2024-03-06
WO2022068439A1 (zh) 2022-04-07

Similar Documents

Publication Publication Date Title
CN112673625A (zh) 混合视频以及特征编码和解码
US9756348B2 (en) Method, device and system for producing a merged digital video sequence
US20090022219A1 (en) Enhanced Compression In Representing Non-Frame-Edge Blocks Of Image Frames
CN104581177B (zh) 一种结合块匹配和串匹配的图像压缩方法和装置
CN111131825A (zh) 一种视频处理方法及相关装置
CN113473142B (zh) 视频编码、视频解码方法及装置、电子设备、存储介质
KR102090785B1 (ko) 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법
CN112584155B (zh) 一种视频数据处理方法和装置
WO2022057746A1 (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
CN113205010B (zh) 基于目标聚类的智能勘灾现场视频帧高效压缩系统及方法
KR102090775B1 (ko) 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
CN117880518A (zh) 无损压缩方法和芯片、无损解压方法和芯片、芯片系统
WO2024078066A1 (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
KR102061915B1 (ko) 압축영상에 대한 신택스 기반의 객체 분류 방법
CN116723183A (zh) 一种基于轻量化的视频文件设备及处理方法
WO2022068439A1 (zh) 一种视频编码方法、装置、设备及介质
CN114422788A (zh) 数字视网膜视频联合编码方法、译码方法、装置及电子设备
CN112165619A (zh) 一种面向监控视频压缩存储的方法
CN114626994A (zh) 一种图像处理方法、视频处理方法、计算机设备、存储介质
KR100319916B1 (ko) 계층구조를갖는스케일러블디지탈화상압축/복원방법및장치
CN111212288A (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
KR20200068102A (ko) 압축영상에 대한 신택스 기반의 mrpn-cnn을 이용한 객체 분류 방법
WO2024188073A1 (zh) 编解码方法及电子设备
EP4447444A1 (en) Methods and systems for compressing video data using pca
Samaiya et al. Segmentation & bitstream encoding of foreground objects in HEVC encoder for edge computing environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination