CN113453070B - 视频关键帧压缩方法及装置、存储介质和电子设备 - Google Patents
视频关键帧压缩方法及装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN113453070B CN113453070B CN202110680235.XA CN202110680235A CN113453070B CN 113453070 B CN113453070 B CN 113453070B CN 202110680235 A CN202110680235 A CN 202110680235A CN 113453070 B CN113453070 B CN 113453070B
- Authority
- CN
- China
- Prior art keywords
- frame image
- video
- key frame
- historical
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006835 compression Effects 0.000 title claims abstract description 70
- 238000007906 compression Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000000605 extraction Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 abstract description 14
- 238000013500 data storage Methods 0.000 abstract description 10
- 238000012544 monitoring process Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频关键帧压缩方法及装置、存储介质和电子设备，其中，视频关键帧压缩方法在对待压缩视频关键帧图像进行压缩时，可以从预设标准库中找到与该待压缩视频关键帧图像最为相似的历史帧图像信息，使得解码重构获得的待压缩视频关键帧图像与原始图像更为接近，减小失真。并且，在保存时只需要保存该视频关键帧对应的最相似的历史视频关键帧的历史帧编号，可以大大降低数据存储量，提高视频压缩效能，便于传输。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种视频关键帧压缩方法及装置、存储介质和电子设备。
背景技术
视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像。由于人眼的视觉暂留效应，当帧序列以一定的速率播放时，人眼看到的即为动作连续的视频。由于连续的帧之间相似性极高，为便于储存及传输，需要对原始的视频进行编码压缩，以去除空间、时间维度的冗余。相关技术中，压缩效能较低。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种视频关键帧压缩方法，能够寻找到理想的历史帧以减少待压缩关键帧和历史帧之间的差别信息，提高压缩效能。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种视频关键帧压缩装置。
为达到上述目的，本发明第一方面实施例提出了一种视频关键帧压缩方法，包括：
获取待压缩视频关键帧图像，并对待压缩视频关键帧图像进行特征提取，以获得第一特征值；
将第一特征值与预设标准库中的所有样本特征值进行比对，以获得与待压缩视频关键帧图像相匹配的历史帧图像信息，其中，历史帧图像信息包括历史帧编号和历史帧图像；
获取待压缩视频关键帧图像与历史帧图像之间的差别信息，并将待压缩视频关键帧图像表达为历史帧编号和差别信息。
根据本发明实施例的视频关键帧压缩方法，通过获取待压缩视频关键帧图像，并对待压缩视频关键帧图像进行特征提取，以获得第一特征值，并通过将第一特征值与预设标准库中的所有样本特征值进行比对，以获得与待压缩视频关键帧图像相匹配的历史帧图像信息，其中，历史帧图像信息包括历史帧编号和历史帧图像，获取待压缩视频关键帧图像与历史帧图像之间的差别信息，并将待压缩视频关键帧图像表达为历史帧编号和差别信息，从而在对待压缩视频关键帧图像进行压缩时，可以从预设标准库中找到与该待压缩视频关键帧图像最为相似的历史帧图像信息，使得解码重构获得的待压缩视频关键帧图像与原始图像更为接近，减小失真。并且，在保存时只需要保存该视频关键帧对应的最相似的历史视频关键帧的历史帧编号，可以大大降低数据存储量，提高视频压缩效能。
根据本发明的一个实施例，历史帧图像信息为历史图像帧信息或者历史帧图像分块信息。
根据本发明的一个实施例，获取待压缩视频关键帧图像与历史帧图像之间的差别信息，包括：
获取历史帧图像信息中的可调参量，并将历史帧图像信息中的可调参量与待压缩视频关键帧图像进行校准，以获得校准参量；
根据校准参量对历史帧图像信息进行修正，以获得修正历史帧图像；
获取待压缩视频关键帧图像与修正历史帧图像之间的差别信息；
根据待压缩视频关键帧图像与修正历史帧图像之间的差别信息和校准参量，获取待压缩视频关键帧图像与历史帧图像之间的差别信息。
根据本发明的一个实施例，可调参量包括横向偏移参量、纵向偏移参量和亮度参量中的至少一种。
根据本发明的一个实施例，在获得修正历史帧图像之后，还获取待压缩视频关键帧图像与修正历史帧图像之间的差别信息，并保存差别信息。
根据本发明的一个实施例，差别信息包括差别像素。
根据本发明的一个实施例，预设标准库根据以下步骤生成：
获取视频关键帧图像样本集，并对视频关键帧图像样本集中的每个视频关键帧图像进行特征提取，以获得每个视频关键帧图像对应的样本特征值；
对视频关键帧图像样本集中的每个视频关键帧图像进行编号，以获得每个视频关键帧图像对应的历史帧编号；
根据每个视频关键帧图像、每个视频关键帧图像对应的样本特征值以及每个视频关键帧图像对应的历史帧编号生成预设标准库。
根据本发明的一个实施例，每个视频关键帧图像和待压缩视频关键帧图像均为视频图像序列中的I帧图像。
根据本发明的一个实施例，还包括：
定期更新预设标准库中的历史帧图像信息。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有视频关键帧压缩程序，该视频关键帧压缩程序被处理器执行时实现前述视频关键帧压缩方法。
根据本发明实施例的计算机可读存储介质，通过前述视频关键帧压缩方法，在对视频关键帧进行压缩时，可以从预设标准库中找到与待压缩视频关键帧图像最为相似的历史帧图像信息，使得解码重构获得的待压缩视频关键帧图像与原始图像更为接近，减小失真。并且，在保存时只需要保存该视频关键帧图像对应的最相似的历史视频关键帧的历史帧编号，可以大大降低数据存储量，提高视频压缩效能，便于传输。
为达到上述目的，本发明第三方面实施例提出的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的视频关键帧压缩程序，处理器执行视频关键帧压缩程序时，实现前述视频关键帧压缩方法。
根据本发明实施例的电子设备，通过前述视频关键帧压缩方法，在对视频关键帧进行压缩时，可以从预设标准库中找到与待压缩视频关键帧图像最为相似的历史帧图像信息，使得解码重构获得的待压缩视频关键帧图像与原始图像更为接近，减小失真。并且，在保存时只需要保存该视频关键帧图像对应的最相似的历史视频关键帧的历史帧编号，可以大大降低数据存储量，提高视频压缩效能，便于传输。
为达到上述目的，本发明第四方面实施例提出的一种视频关键帧压缩装置，包括：
获取模块，用于获取待压缩视频关键帧图像；
特征提取模块，用于对待压缩视频关键帧图像进行特征提取，以获得第一特征值；
比对模块，用于将第一特征值与预设标准库中的所有样本特征值进行比对，以获得与待压缩视频关键帧图像相匹配的历史帧图像信息，其中，历史帧图像信息包括历史帧编号和历史帧图像；
表达模块，用于获取待压缩视频关键帧图像与历史帧图像之间的差别信息，并将待压缩视频关键帧图像表达为历史帧编号和差别信息。
根据本发明实施例的视频关键帧压缩装置，通过获取模块获取待压缩视频关键帧图像，通过特征提取模块对待压缩视频关键帧图像进行特征提取，以获得第一特征值，通过比对模块将第一特征值与预设标准库中的所有样本特征值进行比对，以获得与待压缩视频关键帧图像相匹配的历史帧图像信息，其中，历史帧图像信息包括历史帧编号和历史帧图像，以及通过表达模块获取待压缩视频关键帧图像与历史帧图像之间的差别信息，并将待压缩视频关键帧图像表达为历史帧编号和差别信息，从而在对视频关键帧进行压缩时，可以从预设标准库中找到与待压缩视频关键帧图像最为相似的历史帧图像信息，使得解码重构获得的待压缩视频关键帧图像与原始图像更为接近，减小失真。并且，在保存时只需要保存该视频关键帧图像对应的最相似的历史视频关键帧的历史帧编号，可以大大降低数据存储量，提高视频压缩效能，便于传输。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为根据本发明第一个实施例的视频关键帧提取方法的流程图；
图2为根据本发明第二个实施例的视频关键帧提取方法的流程图；
图3为根据本发明第三个实施例的视频关键帧提取方法的流程图；
图4为根据本发明一个实施例的视频关键帧提取装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，视频压缩方法通常采用记录I帧(Intra-Picture，帧内编码帧)的原始像素信息，将I帧全帧图像进行压缩编码及传输，后续其他帧的视频压缩基于帧间差分法进行，也即压缩P帧(Predictive-Picture，前后预测编码帧)时，将I帧作为参考历史帧，记录P帧与I帧的差别信息，并存储。然而采用这种方案需要对每个视频中I帧的全帧图像信息进行编码，导致待压缩数据量较大，所需的存储空间较大，并且在视频监控领域，当镜头发生移动、自旋转或自动对焦时，当前帧图像与上一帧或上N帧图像的差别信息过多，无法寻找到较为理想的参考历史帧，导致存储的数据量较多，从而影响压缩效能。
针对相关技术存在的缺陷，本实施例提供一种视频关键帧压缩方法、装置、计算机可读存储介质和电子设备，可以寻找到理想的参考历史帧，降低视频压缩数据量，提高视频压缩效能。
参考图1所示，图1为根据本发明实施例的视频关键帧压缩方法的流程图，该方法可以由配置有视频处理软件及硬件的设备来执行，该方法可包括以下步骤：
步骤S101，获取待压缩视频关键帧图像，并对所述待压缩视频关键帧图像进行特征提取，以获得第一特征值。
其中，待压缩视频可以是监控相机采集到的监控视频，也即本实施例提供的视频关键帧压缩方法可应用于视频监控领域，当然并不限制于视频监控领域。对于视频而言，视频的关键帧图像数据量较大，因此本方案拟对视频关键帧图像进行压缩。
待压缩视频关键帧图像是用于描述镜头的关键图像的帧，通常用于反映镜头的主要内容。本实施例可以采用常用的视频关键帧提取方法，例如基于镜头边界的方法、基于视觉内容的方法、基于运动分析的方法或基于视频聚类的方法等从待压缩视频中提取待压缩视频关键帧图像。
获取待压缩视频关键帧图像后，可以通过特征抽取器抽取待压缩视频关键帧图像的第一特征值。其中，特征抽取器可以是卷积神经网络、循环神经网络或长短期记忆网络等。从待压缩视频关键帧图像抽取的第一特征值可以是待压缩视频关键帧图像的特征向量。
步骤S102，将第一特征值与预设标准库中的所有样本特征值进行比对，以获得与待压缩视频关键帧图像相匹配的历史帧图像信息，其中，历史帧图像信息包括历史帧编号和历史帧图像。
通常，监控相机静态放置，或者在有限区域内巡检，因此监控相机获得的监控视频大多能从以往录制过的监控视频中找到比较相似的图像画面。因此，本实施例通过建立预设标准库，并从以往录制过的视频中提取多个视频关键帧图像，以及将多个视频关键帧图像的相关信息(也即历史帧图像信息)存储于预设标准库中，从而可以从预设标准库中找到与待压缩视频关键帧图像较为相似的历史帧图像，该历史帧图像对应的图像信息即为与待压缩视频关键帧图像相匹配的历史帧图像信息。
如图2所示，在其中一个实施例中，预设标准库根据以下步骤生成：
步骤S201，获取视频关键帧图像样本集，并对视频关键帧图像样本集中的每个视频关键帧图像进行特征提取，以获得每个视频关键帧图像对应的样本特征值。
具体地，在对监控视频进行视频关键帧压缩之前，先采用监控相机对需要监控的区域进行大量的视频采集，抽取监控视频中的多个视频关键帧图像形成视频关键帧图像样本集。例如，根据采集到的监控视频的监控时长，每隔一分钟提取上一分钟内监控视频的视频关键帧图像形成视频关键帧图像样本集。本实施例可以采用与提取待压缩视频关键帧图像相同的方式提取提前录制的监控视频的视频关键帧图像。
然后，分别对视频关键帧图像样本集中的每个视频关键帧图像进行特征提取，以获得每个视频关键帧图像的样本特征值。本实施例采用与提取第一特征值相同的方式提取样本特征值，以便于将提取到的样本特征值与第一特征值进行比较。
步骤S202，对视频关键帧图像样本集中的每个视频关键帧图像进行编号，以获得每个视频关键帧图像对应的历史帧编号。
步骤S203，根据每个视频关键帧图像、每个视频关键帧图像对应的样本特征值以及每个视频关键帧图像对应的历史帧编号生成预设标准库。
也即，预设标准库中存储的历史帧图像信息包括每个视频关键图像(也即历史帧图像)及其对应的历史帧编号和样本特征值。其中，视频关键帧图像为未经过压缩处理的原始图像。本实施例中，预设标准库中每个历史帧图像和待压缩视频关键帧图像均为视频图像序列中的I帧图像，对于视频而言，视频的I帧图像数据量较大，因此本方案对视频关键帧图像进行压缩，以提高压缩效能。
进一步地，在生成预设标准库后，将第一特征值和预设标准库中的所有样本特征值进行比对，其中第一特征值和样本特征值均为特征向量，可以比较第一特征值和每一个样本特征值的距离，特征向量之间的距离可以用于表征两幅图像之间的相似度，根据距离大小获取与待压缩视频关键帧图像最为相似的历史帧图像，进而获取该历史帧图像对应的历史帧图像信息。举例来说，第一特征值和每个样本特征值的距离可以是汉明距离，将获取的第一特征值和每个样本特征值之间的汉明距离由小到大进行排序，得到汉明距离最小的样本特征值，其中，预设标准库中与第一特征值的汉明距离最小的样本特征值对应的历史帧图像即为与待压缩视频关键帧图相似度最高的历史帧图像，从而可以根据该历史帧图像获取该历史帧图像对应的历史帧编号。
步骤S103，获取待压缩视频关键帧图像与历史帧图像之间的差别信息，并将待压缩视频关键帧图像表达为历史帧编号和差别信息。
具体地，获取的历史帧图像信息包括历史帧图像及其对应的历史帧编号和样本特征值。由于相机在监控过程中镜头可能存在微小的转动，因此，待压缩视频关键帧图像和历史帧图像之间可能存在较小的偏移。为了解码时获得失真较小的待压缩视频关键帧图像，在进行压缩时，可以获取待压缩视频关键帧与历史帧图像之间的差别信息，其中，差别信息可以是差别像素、亮度差异等视频图像的特征信息。
在对待压缩视频关键帧图像进行压缩保存时，可以将待压缩视频关键帧图像表达为与其相匹配的历史帧图像信息的历史帧编号和差别信息，也即在存储待压缩视频关键帧图像时，在存储器中存储与该待压缩视频关键帧图像相匹配的历史帧图像信息的历史帧编号和差别信息，相较于传统技术中保存完整的待压缩视频关键帧图像信息后进行视频传输，本实施例通过包括历史帧编号并进行视频传输可以减少数据存储量，便于传输，提高压缩效能。
需要说明的是，某些情况下，待压缩视频关键帧图像与获取的历史帧图像完全相同，也即两者之间不存在差别信息，此时保存的差别信息为0。在解压重构待压缩视频关键帧图像时，可以仅根据保存的历史帧编号获取待压缩视频关键帧图像的原始图像内容。
本实施例中，预设标准库可以常驻内存，视频压缩和视频解码的区域均包括预设标准库。在进行视频压缩时，根据待压缩视频关键帧图像从预设标准库中获取与其相匹配的历史关键帧图像信息，并保存对应的历史帧编号和差别信息。在进行视频解码时，根据历史帧编号，从预设标准库中查找与该历史帧编号对应的历史帧图像信息，并将该历史帧图像信息加上差别信息即可解码重构该待压缩视频关键帧的原始图像。
为了提高预设标准库中视频关键帧图像样本集的实时性和有效性，还可以定期对预设标准库中存储的数据进行更新，例如每隔一分钟从当前采集到的监控视频提取视频关键帧图像并保存至视频关键帧图像样本集，并丢弃视频关键帧图像样本集中N天前视频关键帧图像，确定每个视频关键帧图像对应的样本特征值以及每个视频关键帧图像对应的历史帧编号，例如，可以对新增的视频关键帧图像，提取样本特征值并确定对应的历史帧编号，删除丢弃的视频关键帧图像的样本特征值以及其对应的历史帧编号，从而在进行历史视频关键帧图像匹配时，可以提高匹配到的历史视频关键帧的相似度和准确性。
上述实施例提供的视频关键帧压缩方法，通过获取待压缩视频关键帧图像，并对待压缩视频关键帧图像进行特征提取，以获得第一特征值，并通过将第一特征值与预设标准库中的所有样本特征值进行比对，以获得与待压缩视频关键帧图像相匹配的历史帧图像信息，其中，历史帧图像信息包括历史帧编号和历史帧图像，获取待压缩视频关键帧图像与历史帧图像之间的差别信息，并将待压缩视频关键帧图像表达为历史帧编号和差别信息，从而在对待压缩视频关键帧图像进行压缩时，可以从预设标准库中找到与该待压缩视频关键帧图像最为相似的历史帧图像信息，使得解码重构获得的待压缩视频关键帧图像与原始图像更为接近，降低差别信息量，减小解码重构后的视频失真度。并且，在进行视频压缩传输时只需要保存该视频关键帧对应的最相似的历史视频关键帧的历史帧编号和差别信息，可以大大降低数据存储量，提高视频压缩效能，便于传输。
在其中一个实施例中，历史帧图像信息为历史图像帧信息或者历史帧图像分块信息。其中，历史图像帧信息包括历史帧图像的全部图像区域及该历史帧图像对应的历史帧编号和样本特征值。历史帧图像分块信息包括：将历史帧帧图像按照预设方式分块后，每一块图像块对应的图像信息及该历史帧图像的历史帧编号和每一个图像块的样本特征值，其中每一个图像块分别对应该历史帧图像中的一个局部区域。
作为一种示例，当历史帧图像信息为历史图像帧信息时，待压缩视频关键帧图像也为完整的图像。预设标准库中存储的历史帧图像信息为每一帧历史帧图像及其历史帧编号和对应的样本特征值。通过比较待压缩视频关键帧图像的第一特征值和每一个历史帧图像的样本特征值，获取与待压缩视频关键帧图像相匹配的历史帧图像的历史帧编号，以及通过比较获取待压缩视频关键帧图像与该历史帧帧图像的差别信息，在对待压缩视频关键帧图像进行压缩时，存储并传输与待压缩视频关键帧图像相匹配的历史帧图像的历史帧编号及对应的差别信息。
作为另一种示例，当历史帧图像信息为历史帧图像分块信息时，待压缩视频关键帧图像也为分块图像，并且待压缩视频关键帧图像的图像分块方式与历史帧图像信息中历史帧图像的分块方式相同，例如，可以将一幅完整的图像分为两块、四块或八块等。通过分别比较待压缩视频关键帧图像中每一个图像块的第一特征值和历史帧图像中的每个图像块的样本特征值，获取多个距离，对多个距离加权求和，或者求多个距离的平均值，以获得待压缩视频关键帧图像与每一历史帧图像的相似度，从而获得与待压缩视频关键帧图像相匹配的历史帧图像的历史帧编号，以及比较待压缩视频关键帧图像的每个图像块与该历史帧图像的每个图像块的差别信息，在对待压缩视频关键帧图像进行压缩时，在存储器中存储与待压缩视频关键帧图像相匹配的历史帧图像的历史帧编号及各个图像块的差别信息。
上述实施例通过对待压缩视频关键帧图像进行分块并提取第一特征值，能够更加凸显待压缩视频关键帧图像中的细节特征，提高了后续与视频关键帧图像样本集中每个视频关键帧图像的对比准确率，从而可以从预设标准库中找到与待压缩视频关键帧图像最为相似的视频关键帧图像，并且通过保存各个图像块之间的差别信息，使得解码重构获得的待压缩视频关键帧图像与原始图像更为接近，减小解码视频的失真。
如图3所示，在其中一个实施例中，获取待压缩视频关键帧图像与历史帧图像之间的差别信息，包括：
步骤S301，获取历史帧图像信息中的可调参量，并将历史帧图像信息中的可调参量与待压缩视频关键帧图像进行校准，以获得校准参量。
在其中一种实施例中，可调参量可以包括横向偏移参量、纵向偏移参量和亮度参量中的至少一种。
具体来说，由于相机在监控过程中可能存在微小转动，因此待压缩视频关键帧图像与对应的历史帧图像信息之间可能存在偏移，进而为了获得较为准确的差别信息，可以将待压缩视频关键帧图像与对应的历史帧图像信息中的图像数据转换为同一坐标系下的图像数据。本实施例可以以待压缩视频关键帧图像的坐标系为基准，将历史帧图像信息中的图像数据转换至待压缩视频关键帧图像的坐标系下，并且对历史帧图像信息中的历史帧图像的亮度进行调节，以获得校准参量。也即，校准参量为待压缩视频关键帧图像与对应的历史帧图像之间的横向偏移、纵向偏移以及亮度差值。
步骤S302，根据校准参量对历史帧图像信息进行修正，以获得修正历史帧图像。
具体来说，可以根据横向偏移、纵向偏移和亮度差值等校准参量对历史帧图像信息进行修正获得修正历史帧图像，以使修正历史帧图像与待压缩视频关键帧的上述可调参量相同。
步骤S303，获取待压缩视频关键帧图像与修正历史帧图像之间的差别信息；
本实施例中，差别信息可以包括差别像素。
当相机转动时，待压缩视频关键帧图像与对应的修正历史帧图像之间存在重叠区域和非重叠区域，重叠区域的像素数据相同，非重叠区域的像素数据即为待压缩视频关键帧图像与对应的修正历史帧图像之间的差别像素。将待压缩视频关键帧图像与对应的修正历史帧图像之间的差别像素进行压缩保存，以便在解码后得到完整的待压缩视频关键帧图像。
步骤S302，根据待压缩视频关键帧图像与修正历史帧图像之间的差别信息和校准参量，获取待压缩视频关键帧图像与历史帧图像之间的差别信息。
其中，待压缩视频关键帧图像与历史帧图像之间的差别信息包括校准参量和待压缩视频关键帧图像与修正历史帧图像之间的差别信息。
在对待压缩视频关键帧进行解码重构时，可以先根据保存的历史帧编号从预设标准库中获取对应的历史帧图像，将历史帧图像的图像数据加上待压缩视频关键帧图像与历史帧图像之间的差别信息即可重构获得原始的待压缩视频关键帧图像。
上述实施例通过获取历史帧图像信息中的可调参量，并将历史帧图像信息中的可调参量与待压缩视频关键帧图像进行校准，以获得校准参量，以及根据校准参量对历史帧图像信息进行修正，在获得修正历史帧图像之后，还获取待压缩视频关键帧图像与修正历史帧图像之间的差别信息，根据待压缩视频关键帧图像与修正历史帧图像之间的差别信息和校准参量，获取待压缩视频关键帧图像与所述历史帧图像之间的差别信息并保存该差别信息，由于存储历史帧编号和差别信息所需的存储空间远小于存储待压缩视频关键帧图像的全部图像数据所需的存储空间，因此可节省存储空间，提高压缩效能，便于传输。
如图4所示，本申请的又一实施例提供一种视频关键帧压缩装置，包括获取模块100、特征提取模块200、比对模块300和表达模块500。其中，获取模块100用于获取待压缩视频关键帧图像。特征提取模块200用于对待压缩视频关键帧图像进行特征提取，以获得第一特征值。比对模块300用于将第一特征值与预设标准库中的所有样本特征值进行比对，以获得与待压缩视频关键帧图像相匹配的历史帧图像信息，其中，历史帧图像信息包括历史帧编号和历史帧图像。表达模块400用于获取待压缩视频关键帧图像与历史帧图像之间的差别信息，并将待压缩视频关键帧图像表达为历史帧编号和差别信息。
在其中一个实施例中，表达模块400包括修正单元和差别获取单元，其中，修正单元用于获取历史帧图像信息中的可调参量，并将历史帧图像信息中的可调参量与待压缩视频关键帧图像进行校准，以获得校准参量，根据校准参量对历史帧图像信息进行修正，以获得修正历史帧图像。差别获取单元用于获取待压缩视频关键帧图像与修正历史帧图像之间的差别信息，根据待压缩视频关键帧图像与修正历史帧图像之间的差别信息和校准参量，获取待压缩视频关键帧图像与历史帧图像之间的差别信息。
在其中一个实施例中，视频关键帧压缩装置还包括预设标准库生成模块，预设标准库生成模块用于获取视频关键帧图像样本集，并对视频关键帧图像样本集中的每个视频关键帧图像进行特征提取，以获得每个视频关键帧图像对应的样本特征值，对视频关键帧图像样本集中的每个视频关键帧图像进行编号，以获得每个视频关键帧图像对应的历史帧编号，根据每个视频关键帧图像、每个视频关键帧图像对应的样本特征值以及每个视频关键帧图像对应的历史帧编号生成预设标准库。
在其中一个实施例中，视频关键帧压缩装置还包括更新模块，用于定期更新预设标准库中的历史帧图像信息。
需要说明的是，关于本申请中视频关键帧压缩装置的描述，请参考本申请中关于视频关键帧压缩方法的描述，具体这里不再赘述。
上述视频关键帧压缩装置，通过获取模块获取待压缩视频关键帧图像，通过特征提取模块对待压缩视频关键帧图像进行特征提取，以获得第一特征值，通过比对模块将第一特征值与预设标准库中的所有样本特征值进行比对，以获得与待压缩视频关键帧图像相匹配的历史帧图像信息，其中，历史帧图像信息包括历史帧编号和历史帧图像，以及通过表达模块获取待压缩视频关键帧图像与历史帧图像之间的差别信息，并将待压缩视频关键帧图像表达为历史帧编号和差别信息，从而在对视频关键帧进行压缩时，可以从预设标准库中找到与待压缩视频关键帧图像最为相似的历史帧图像信息，使得解码重构获得的待压缩视频关键帧图像与原始图像更为接近，减小失真。并且，在保存时只需要保存该视频关键帧图像对应的最相似的历史视频关键帧的历史帧编号，可以大大降低数据存储量，提高视频压缩效能，便于传输。
此外，本申请的又一实施例提供一种计算机可读存储介质，其上存储有视频关键帧压缩程序，该视频关键帧压缩程序被处理器执行时实现前述视频关键帧压缩方法。
上述计算机可读存储介质，通过前述视频关键帧压缩方法，在对视频关键帧进行压缩时，可以从预设标准库中找到与待压缩视频关键帧图像最为相似的历史帧图像信息，使得解码重构获得的待压缩视频关键帧图像与原始图像更为接近，减小失真。并且，在保存时只需要保存该视频关键帧图像对应的最相似的历史视频关键帧的历史帧编号，可以大大降低数据存储量，提高视频压缩效能，便于传输。
此外，本申请的又一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的视频关键帧压缩程序，处理器执行视频关键帧压缩程序时，实现前述视频关键帧压缩方法。
上述电子设备，通过前述视频关键帧压缩方法，在对视频关键帧进行压缩时，可以从预设标准库中找到与待压缩视频关键帧图像最为相似的历史帧图像信息，使得解码重构获得的待压缩视频关键帧图像与原始图像更为接近，减小失真。并且，在保存时只需要保存该视频关键帧图像对应的最相似的历史视频关键帧的历史帧编号，可以大大降低数据存储量，提高视频压缩效能，便于传输。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种视频关键帧压缩方法，其特征在于，包括：
获取待压缩视频关键帧图像，并对所述待压缩视频关键帧图像进行特征提取，以获得第一特征值；
将所述第一特征值与预设标准库中的所有样本特征值进行比对，以获得与所述待压缩视频关键帧图像相匹配的历史帧图像信息，其中，所述历史帧图像信息包括历史帧编号和历史帧图像，所述预设标准库常驻内存，视频压缩和视频解码的区域均包括所述预设标准库；
获取所述待压缩视频关键帧图像与所述历史帧图像之间的差别信息，并将所述待压缩视频关键帧图像表达为所述历史帧编号和所述差别信息；
其中，所述获取所述待压缩视频关键帧图像与所述历史帧图像之间的差别信息，包括：
获取所述历史帧图像信息中的可调参量，并将所述历史帧图像信息中的可调参量与所述待压缩视频关键帧图像进行校准，以获得校准参量；
根据所述校准参量对所述历史帧图像信息进行修正，以获得修正历史帧图像；
获取所述待压缩视频关键帧图像与所述修正历史帧图像之间的差别信息；
根据所述待压缩视频关键帧图像与所述修正历史帧图像之间的差别信息和所述校准参量，获取所述待压缩视频关键帧图像与所述历史帧图像之间的差别信息。
2.如权利要求1所述的视频关键帧压缩方法，其特征在于，所述历史帧图像信息为历史图像帧信息或者历史帧图像分块信息。
3.如权利要求1所述的视频关键帧压缩方法，其特征在于，所述可调参量包括横向偏移参量、纵向偏移参量和亮度参量中的至少一种。
4.如权利要求1-3中任一项所述的视频关键帧压缩方法，其特征在于，所述差别信息包括差别像素。
5.如权利要求1-3中任一项所述的视频关键帧压缩方法，其特征在于，所述预设标准库根据以下步骤生成：
获取视频关键帧图像样本集，并对所述视频关键帧图像样本集中的每个视频关键帧图像进行特征提取，以获得每个视频关键帧图像对应的样本特征值；
对所述视频关键帧图像样本集中的每个视频关键帧图像进行编号，以获得每个视频关键帧图像对应的历史帧编号；
根据所述每个视频关键帧图像、所述每个视频关键帧图像对应的样本特征值以及所述每个视频关键帧图像对应的历史帧编号生成所述预设标准库。
6.如权利要求5所述的视频关键帧压缩方法，其特征在于，所述每个视频关键帧图像和所述待压缩视频关键帧图像均为视频图像序列中的I帧图像。
7.如权利要求1所述的视频关键帧压缩方法，其特征在于，还包括：
定期更新所述预设标准库中的历史帧图像信息。
8.一种计算机可读存储介质，其特征在于，其上存储有视频关键帧压缩程序，该视频关键帧压缩程序被处理器执行时实现如权利要求1-7中任一项所述的视频关键帧压缩方法。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的视频关键帧压缩程序，所述处理器执行所述视频关键帧压缩程序时，实现如权利要求1-7中任一项所述的视频关键帧压缩方法。
10.一种视频关键帧压缩装置，其特征在于，包括：
获取模块，用于获取待压缩视频关键帧图像；
特征提取模块，用于对所述待压缩视频关键帧图像进行特征提取，以获得第一特征值；
比对模块，用于将所述第一特征值与预设标准库中的所有样本特征值进行比对，以获得与所述待压缩视频关键帧图像相匹配的历史帧图像信息，其中，所述历史帧图像信息包括历史帧编号和历史帧图像，所述预设标准库常驻内存，视频压缩和视频解码的区域均包括所述预设标准库；
表达模块，用于获取所述待压缩视频关键帧图像与所述历史帧图像之间的差别信息，并将所述待压缩视频关键帧图像表达为所述历史帧编号和所述差别信息；
其中，所述表达模块包括修正单元和差别获取单元；
所述修正单元用于获取历史帧图像信息中的可调参量，并将历史帧图像信息中的可调参量与待压缩视频关键帧图像进行校准，以获得校准参量，根据校准参量对历史帧图像信息进行修正，以获得修正历史帧图像；
所述差别获取单元用于获取待压缩视频关键帧图像与修正历史帧图像之间的差别信息，根据待压缩视频关键帧图像与修正历史帧图像之间的差别信息和校准参量，获取待压缩视频关键帧图像与历史帧图像之间的差别信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110680235.XA CN113453070B (zh) | 2021-06-18 | 2021-06-18 | 视频关键帧压缩方法及装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110680235.XA CN113453070B (zh) | 2021-06-18 | 2021-06-18 | 视频关键帧压缩方法及装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113453070A CN113453070A (zh) | 2021-09-28 |
| CN113453070B true CN113453070B (zh) | 2023-01-03 |
Family
ID=77811816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110680235.XA Active CN113453070B (zh) | 2021-06-18 | 2021-06-18 | 视频关键帧压缩方法及装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113453070B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116320536B (zh) * | 2023-05-16 | 2023-08-18 | 瀚博半导体(上海)有限公司 | 视频处理方法、装置、计算机设备及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416013A (zh) * | 2018-03-02 | 2018-08-17 | 北京奇艺世纪科技有限公司 | 视频匹配、检索、分类和推荐方法、装置及电子设备 |
| CN109348125A (zh) * | 2018-10-31 | 2019-02-15 | Oppo广东移动通信有限公司 | 视频校正方法、装置、电子设备和计算机可读存储介质 |
| CN109547786A (zh) * | 2017-09-22 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 视频编码、以及视频解码的方法、装置 |
| CN112351280A (zh) * | 2020-10-26 | 2021-02-09 | 杭州海康威视数字技术股份有限公司 | 视频编码方法、装置、电子设备及可读存储介质 |
| CN112714336A (zh) * | 2020-12-01 | 2021-04-27 | 万兴科技集团股份有限公司 | 视频分割方法和装置、电子设备、计算机可读存储介质 |
| CN112948151A (zh) * | 2021-04-13 | 2021-06-11 | 山东云海国创云计算装备产业创新中心有限公司 | 程序界面图像传输方法、基板管理控制器及远程控制设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8594197B2 (en) * | 2010-02-02 | 2013-11-26 | Nice Systems Ltd. | System and method for relative storage of video data |
| WO2016114788A1 (en) * | 2015-01-16 | 2016-07-21 | Hewlett Packard Enterprise Development Lp | Video encoder |
-
2021
- 2021-06-18 CN CN202110680235.XA patent/CN113453070B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109547786A (zh) * | 2017-09-22 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 视频编码、以及视频解码的方法、装置 |
| CN108416013A (zh) * | 2018-03-02 | 2018-08-17 | 北京奇艺世纪科技有限公司 | 视频匹配、检索、分类和推荐方法、装置及电子设备 |
| CN109348125A (zh) * | 2018-10-31 | 2019-02-15 | Oppo广东移动通信有限公司 | 视频校正方法、装置、电子设备和计算机可读存储介质 |
| CN112351280A (zh) * | 2020-10-26 | 2021-02-09 | 杭州海康威视数字技术股份有限公司 | 视频编码方法、装置、电子设备及可读存储介质 |
| CN112714336A (zh) * | 2020-12-01 | 2021-04-27 | 万兴科技集团股份有限公司 | 视频分割方法和装置、电子设备、计算机可读存储介质 |
| CN112948151A (zh) * | 2021-04-13 | 2021-06-11 | 山东云海国创云计算装备产业创新中心有限公司 | 程序界面图像传输方法、基板管理控制器及远程控制设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113453070A (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110225341B (zh) | 一种任务驱动的码流结构化图像编码方法 | |
| US8098959B2 (en) | Method and system for frame rotation within a JPEG compressed pipeline | |
| US10223811B2 (en) | Image encoding method, image decoding method, image encoding device and image decoding device | |
| EP3354030A1 (en) | Methods and apparatuses for encoding and decoding digital images through superpixels | |
| EP3648059B1 (en) | Video processing device and method for determining motion metadata for an encoded video | |
| US10785493B2 (en) | Method of compressing and decompressing image data | |
| US5831677A (en) | Comparison of binary coded representations of images for compression | |
| CN113453070B (zh) | 视频关键帧压缩方法及装置、存储介质和电子设备 | |
| CN112887587B (zh) | 一种可进行无线连接的自适应图像数据快速传输方法 | |
| CN111277835A (zh) | 一种结合yolo3与flownet2网络的监控视频压缩及解压方法 | |
| US20240070924A1 (en) | Compression of temporal data by using geometry-based point cloud compression | |
| JP2003531553A (ja) | 固定圧縮率を使用する効率的なビデオデータアクセス | |
| CN112492384B (zh) | 视频解码方法、装置和计算机设备 | |
| CN111243046B (zh) | 图像质量检测方法、装置、电子设备及存储介质 | |
| CN109819251B (zh) | 一种脉冲阵列信号的编解码方法 | |
| CN113691814A (zh) | 视频编码方法、装置、电子装置和存储介质 | |
| US20170064331A1 (en) | Adaptive Content Dependent Intra Prediction Mode Coding | |
| Kumar et al. | A novel method for image compression using spectrum | |
| TW201206173A (en) | Block noise detection in digital video | |
| CN112533024A (zh) | 一种人脸视频处理方法、装置及存储介质 | |
| US8571334B2 (en) | Image compression device, image compression method, and image compression program | |
| CN117236566B (zh) | 一种全程可视的法兰盘包装管理系统 | |
| US7706440B2 (en) | Method for reducing bit rate requirements for encoding multimedia data | |
| US20230319288A1 (en) | Systems and methods for video processing | |
| EP3989587A1 (en) | Image processing device and method of pre-processing images of a video stream before encoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |