CN114996227A - 一种监控视频压缩及复原方法 - Google Patents
一种监控视频压缩及复原方法 Download PDFInfo
- Publication number
- CN114996227A CN114996227A CN202210599158.XA CN202210599158A CN114996227A CN 114996227 A CN114996227 A CN 114996227A CN 202210599158 A CN202210599158 A CN 202210599158A CN 114996227 A CN114996227 A CN 114996227A
- Authority
- CN
- China
- Prior art keywords
- frame picture
- degraded
- partition
- picture
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000006835 compression Effects 0.000 title claims abstract description 19
- 238000007906 compression Methods 0.000 title claims abstract description 19
- 238000012544 monitoring process Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000005192 partition Methods 0.000 claims description 82
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及数据处理技术领域，特别涉及一种监控视频压缩及复原方法，包括视频压缩处理和视频复原处理，视频压缩处理包括抽取参考帧画面和画质降低操作，视频复原处理包括图像替换和超分辨率算法复原。该方案基于监控视频的自身特点设计的视频压缩及复原方法，降低了存储空间及网络传输带宽，复原后视频清晰度高。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种监控视频压缩及复原方法。
背景技术
根据国家提出平安城市的发展及建设需求，重点保护人民群众、财产、社会公共场所、重点仓库、及各类物质的安全，从原来的大量人力投入，为维护社会治安也从传统的方式，提升为监控IPC摄像头的普及，以IPC摄像头的广范运用所建立起来的视频大数据为一体化的平安城市研判系统成为目前最大的可实现的平台。
目前因电力系统的重点物质安全问题进一步得到重视，但存在的存储不够，带宽不足等等问题排在我们的面前，不能再采用原来的方式进行不断的增加设备以保障正常的信息化运行。
发明内容
为克服现有技术中的不足，本发明提供一种基于监控视频的自身特点设计，复原后清晰度高的监控视频压缩及复原方法。
为实现上述目的，本发明采用的技术方案如下：一种监控视频压缩及复原方法，其特征在于：包括
视频压缩处理：
A1.输入原视频数据；
A2.抽取参考帧画面，每隔若干帧抽取一帧高分辨率彩色的参考帧画面,并记录该参考帧画面对应原视频的帧数位置，形成参考帧集合；
A3.对原视频数据进行降低分辨率、去除色彩信息的压缩处理，获得低分辨率灰度的降质视频数据；
视频复原处理：
B1.获取参考帧集合、降质视频数据；
B2.降质视频数据以帧数位置进行分段,获得若干降质帧画面集合，且每一降质帧画面集合内具有一参考帧画面的帧数位置的对应帧，该帧作为参考降质帧画面；
B3.于一降质帧画面集合内：
B31.对降质帧画面进行分辨率提升至与参考帧画面分辨率一致；
B32.对降质帧画面、参考帧画面、参考降质帧画面进行图像分区切割，对待处理的降质帧画面与参考降质帧画面的各分割区进行比对，判断区分不变分区或变化分区；
B33.若分割区为不变分区，将参考帧画面对应的分区图像赋予待处理降质帧画面对应位置进行替换；
B34.若分割区为变化分区，则进行画面主体识别：待处理降质帧画面与参考降质帧画面的分割区内的主体进行比对匹配，基于参考降质帧画面变化至待处理降质帧画面计算出形变路径，将该形变路径应用至参考帧画面的对应分区，获得形变参考帧画面分区图像；
B35.提取形变参考帧画面分区图像的细节特征，基于细节特征对待处理降质帧画面的变化分区进行超分辨率图像重建并赋予颜色，得到变化分区处理图像，将变化分区处理图像赋予待处理降质帧画面对应位置进行替换；
B36.得到提升分辨率且彩色的复原帧图像；
B4.对降质视频数据所有降质帧画面集合进行上述B3的复原操作，组合获得复原视频数据。
进一步的，B32中，对图像由宽度及长度方向进行等分分割，获得若干分割区，降质帧画面的分割区与参考帧画面的分割区通过相似度算法进行比较，若两者相似度大于等于95％，因此判断为不变分区，若两者相似度小于95％，因此判断为变化分区。
进一步的，B34中，将处于相近位置的变化分区进行组合，并将相邻的不变分区进行扩展，获得变化大分区，通过变化大分区进行主体识别。
由上述对本发明的描述可知，与现有技术相比，本发明提供的一种监控视频压缩及复原方法，具有如下优点：
基于监控视频的自身特点设计的视频压缩及复原方法，降低了存储空间及网络传输带宽；图像复原过程采用替换与重建相结合的方式进行，不变画面采用参考帧图像局部替换方式，计算量少速度快，非常适合监控视频这类不变画面居多的视频处理，变化图像经由超分辨率算法复原，基于参考帧画面的复原算法使得画面中细节重建还原度高，复原后视频清晰度高。
附图说明
图1为本发明一种监控视频压缩及复原方法流程框图。
图2为本发明实施例中一帧降质帧画面示意图。
图3为本发明实施例中一帧参考降质帧画面示意图。
图4为本发明图2中(P1、Q1)分区放大图。
图5为本发明图3中(P1、Q1)分区放大图。
图6为本发明图2中(P13、Q3)分区放大图。
图7为本发明图3中(P13、Q3)分区放大图。
图8为本发明图2降质帧画面变化大分区。
图9为本发明图3参考降质帧画面变化大分区。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
参照图1至图9所示，一种监控视频压缩及复原方法，包括
监控摄像头进行拍摄，获得监控视频数据。以原视频数据为1080P分辨率， 20帧/秒的画质为例。
视频压缩处理：
A1.输入原视频数据。
A2.抽取参考帧画面，每隔若干帧抽取一帧高分辨率彩色的参考帧画面,并记录该参考帧画面对应原视频的帧数位置，形成参考帧集合；该实施例中具体为，1秒抽取2帧画面，具体为抽取每一秒的第5帧与第15帧画面。
A3.对原视频数据进行降低分辨率、去除色彩信息的压缩处理，获得低分辨率灰度的降质视频数据；具体为，将1080P分辨率原视频画质降低为720P分辨率视频画质，并进行灰度化去除色彩信息。
视频复原处理：
B1.获取参考帧集合、降质视频数据；
B2.降质视频数据以帧数位置进行分段,获得若干降质帧画面集合，且每一降质帧画面集合内具有一参考帧画面的帧数位置的对应帧，该帧作为参考降质帧画面；具体为：每隔0.5秒，即10帧做为一段帧集合，帧集合中排序位置第5 帧为参考降质帧画面。
B3.于一降质帧画面集合内：
B31.对降质帧画面进行分辨率提升至与参考帧画面分辨率一致；具体为： 720P分辨率的降质帧画面通过画布分辨率放大调整恢复为1080P分辨率，虽然分辨率上升，但存在细节丢失和边缘模糊的情况。
B32.对降质帧画面、参考帧画面、参考降质帧画面进行图像分区切割，对待处理的降质帧画面与参考降质帧画面的各分割区进行比对，判断区分不变分区或变化分区；具体为：参考图2图3所示，宽度与长度方向15等分分割，将图像分割为225份。参考图4图5所示，降质帧画面的第(P1、Q1)分区与参考降质帧画面的第(P1、Q1)分区进行比对，通过相似度算法计算两者相似度大于95％，因此判断P1分区为不变分区；参考图6图7所示所示，降质帧画面的第P(P13、Q3) 分区与参考降质帧画面的第(P13、Q3)分区进行比对，通过相似度算法计算两者相似度小于95％，因此判断P5分区为变化分区。
B33.若分割区为不变分区，将参考帧画面对应的分区图像赋予待处理降质帧画面对应位置进行替换；具体为：将参考帧画面的(P1、Q1)分区，替换待处理降质帧画面的(P1、Q1)分区。
B34.若分割区为变化分区，则进行画面主体识别：待处理降质帧画面与参考降质帧画面的分割区内的主体进行比对匹配，基于参考降质帧画面变化至待处理降质帧画面计算出形变路径，将该形变路径应用至参考帧画面的对应分区，获得形变参考帧画面分区图像；
具体为：为了保证主体识别的准确度，将变化分区进行组合扩展，参考图8 图9图所示，P(P13、Q3)、P(P13、Q4)、P(P12、Q5)等为变化分区，且这些分区处于相近位置，将其相邻的不变分区进行扩展，获得变化大分区，参考图7图8 所示，即边缘为P(P12、Q3)、(P14、Q3)、(P12、Q14)、(P14、Q14)为该变化大分区的四个边角位置。输入参考降质帧画面的变化大分区与待处理降质帧画面的变化大分区进行计算，获得由参考降质帧画面的变化大分区内的主体形变至待处理降质帧画面的变化大分区的主体状态的形变路径，如放大缩小、扭曲、拉伸、偏移等操作；将该形变路径应用到参考帧画面的变化大分区内，获得一张主体位置状态形变至接近参考降质帧画面的主体位置状态的形变参考帧画面分区图像。
B35.提取形变参考帧画面分区图像的细节特征，基于细节特征对待处理降质帧画面的变化分区进行超分辨率图像重建并赋予颜色，得到变化分区处理图像，将变化分区处理图像赋予待处理降质帧画面对应位置进行替换；具体为：采用SRCNN超分辨率图像算法，输入形变参考帧画面分区图像作为参考，对待处理降质帧画面的变化大分区进行重构，通过采用参考图像细节特征对处理的图像具有更多的像素点，更丰富的细节，补充出更多的高频成分，进而获得清晰高分辨率的变化大分区图像，将该图像替换待处理降质帧画面的变化大分区图像位置。
B36.得到提升分辨率且彩色的复原帧图像；
B4.对降质视频数据所有降质帧画面集合进行上述B3的复原操作，组合获得复原视频数据。
监控视频通常为固定机位角度，短时间内图像画面中的不变分区较多，因此可通过参考帧画面替换的方式快速获得提升分辨率且彩色的大部分画面。对于变化分区，由于5帧画面对应0.25s，5帧范内图像的变化量较小，因此识别出主体后，通过少量的形变即可将参考帧画面的主体状态变化为待处理降质帧画面的对应状态，基于这张照片，SRCNN算法，通过机器学习识别细节部分，可以更快并且更准确的通过图片融合实现图像清晰化处理。
上述仅为本发明的一种具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (3)
1.一种监控视频压缩及复原方法，其特征在于：包括
视频压缩处理：
A1.输入原视频数据；
A2.抽取参考帧画面，每隔若干帧抽取一帧高分辨率彩色的参考帧画面,并记录该参考帧画面对应原视频的帧数位置，形成参考帧集合；
A3.对原视频数据进行降低分辨率、去除色彩信息的压缩处理，获得低分辨率灰度的降质视频数据；
视频复原处理：
B1.获取参考帧集合、降质视频数据；
B2.降质视频数据以帧数位置进行分段,获得若干降质帧画面集合，且每一降质帧画面集合内具有一参考帧画面的帧数位置的对应帧，该帧作为参考降质帧画面；
B3.于一降质帧画面集合内：
B31.对降质帧画面进行分辨率提升至与参考帧画面分辨率一致；
B32.对降质帧画面、参考帧画面、参考降质帧画面进行图像分区切割，对待处理的降质帧画面与参考降质帧画面的各分割区进行比对，判断区分不变分区或变化分区；
B33.若分割区为不变分区，将参考帧画面对应的分区图像赋予待处理降质帧画面对应位置进行替换；
B34.若分割区为变化分区，则进行画面主体识别：待处理降质帧画面与参考降质帧画面的分割区内的主体进行比对匹配，基于参考降质帧画面变化至待处理降质帧画面计算出形变路径，将该形变路径应用至参考帧画面的对应分区，获得形变参考帧画面分区图像；
B35.提取形变参考帧画面分区图像的细节特征，基于细节特征对待处理降质帧画面的变化分区进行超分辨率图像重建并赋予颜色，得到变化分区处理图像，将变化分区处理图像赋予待处理降质帧画面对应位置进行替换；
B36.得到提升分辨率且彩色的复原帧图像；
B4.对降质视频数据所有降质帧画面集合进行上述B3的复原操作，组合获得复原视频数据。
2.根据权利要求1所述一种监控视频压缩及复原方法，其特征在于：
B32中，对图像由宽度及长度方向进行等分分割，获得若干分割区，降质帧画面的分割区与参考帧画面的分割区通过相似度算法进行比较，若两者相似度大于等于95％，因此判断为不变分区，若两者相似度小于95％，因此判断为变化分区。
3.根据权利要求1所述一种监控视频压缩及复原方法，其特征在于：
B34中，将处于相近位置的变化分区进行组合，并将相邻的不变分区进行扩展，获得变化大分区，通过变化大分区进行主体识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210599158.XA CN114996227A (zh) | 2022-05-30 | 2022-05-30 | 一种监控视频压缩及复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210599158.XA CN114996227A (zh) | 2022-05-30 | 2022-05-30 | 一种监控视频压缩及复原方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114996227A true CN114996227A (zh) | 2022-09-02 |
Family
ID=83029352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210599158.XA Pending CN114996227A (zh) | 2022-05-30 | 2022-05-30 | 一种监控视频压缩及复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114996227A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116431857A (zh) * | 2023-06-14 | 2023-07-14 | 山东海博科技信息系统股份有限公司 | 一种用于无人场景的视频处理方法和系统 |
| CN117896552A (zh) * | 2024-03-14 | 2024-04-16 | 浙江华创视讯科技有限公司 | 视频会议的处理方法、视频会议系统以及相关装置 |
| CN117896552B (zh) * | 2024-03-14 | 2024-07-12 | 浙江华创视讯科技有限公司 | 视频会议的处理方法、视频会议系统以及相关装置 |
-
2022
- 2022-05-30 CN CN202210599158.XA patent/CN114996227A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116431857A (zh) * | 2023-06-14 | 2023-07-14 | 山东海博科技信息系统股份有限公司 | 一种用于无人场景的视频处理方法和系统 |
| CN116431857B (zh) * | 2023-06-14 | 2023-09-05 | 山东海博科技信息系统股份有限公司 | 一种用于无人场景的视频处理方法和系统 |
| CN117896552A (zh) * | 2024-03-14 | 2024-04-16 | 浙江华创视讯科技有限公司 | 视频会议的处理方法、视频会议系统以及相关装置 |
| CN117896552B (zh) * | 2024-03-14 | 2024-07-12 | 浙江华创视讯科技有限公司 | 视频会议的处理方法、视频会议系统以及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6912313B2 (en) | Image background replacement method | |
| CN108961186A (zh) | 一种基于深度学习的老旧影片修复重制方法 | |
| US10334256B2 (en) | Video compression method | |
| US11037308B2 (en) | Intelligent method for viewing surveillance videos with improved efficiency | |
| US20120328205A1 (en) | Image enhancement for challenging lighting conditions | |
| CN110675403B (zh) | 一种基于编码辅助信息的多实例图像分割方法 | |
| CN111062867A (zh) | 一种视频超分辨率重建方法 | |
| CN114996227A (zh) | 一种监控视频压缩及复原方法 | |
| US7821673B2 (en) | Method and apparatus for removing visible artefacts in video images | |
| US20200193565A1 (en) | Multi-level temporal resolution increase of video | |
| KR102090775B1 (ko) | 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법 | |
| CN113888426A (zh) | 一种基于深度可分离残差网络的电力监控视频去模糊方法 | |
| US11044399B2 (en) | Video surveillance system | |
| CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 | |
| CN115914676A (zh) | 一种超高清视频信号的实时监测比对方法及系统 | |
| Jammal et al. | Multiview video quality enhancement without depth information | |
| US20230186608A1 (en) | Method, device, and computer program product for video processing | |
| CN110674347B (zh) | 视觉屏蔽双层ap视频摘要生成方法 | |
| CN111932459A (zh) | 视频图像的处理方法及装置、电子设备、存储介质 | |
| Han et al. | Video Dehazing Network based on Multiscale Attention | |
| CN111586348B (zh) | 一种视频背景图像获取方法、存储介质、视频抠像方法和存储设备 | |
| Yang et al. | An IBC Reference Block Enhancement Model Based on GAN for Screen Content Video Coding | |
| Yang et al. | Restoration of low resolution car plate images using PCA based image super-resolution | |
| JPH0767107A (ja) | 画像符号化装置 | |
| Baluja et al. | Neural image decompression: Learning to render better image previews |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 362000, No. 48 Chengbei Road, Citong Community, Kaiyuan Street, Licheng District, Quanzhou City, Fujian Province Applicant after: Licheng Automation Branch of Quanzhou Yixing Power Engineering Construction Co.,Ltd. Address before: No. 45, Chengbei Road, Citong Community, Kaiyuan Street, Licheng District, Quanzhou City, Fujian Province, 362000 Applicant before: Licheng Automation Branch of Quanzhou Yixing Power Engineering Construction Co.,Ltd. |
|
| CB02 | Change of applicant information |