CN111212322A - 一种基于多视频去重拼接的视频压缩方法 - Google Patents

一种基于多视频去重拼接的视频压缩方法 Download PDF

Info

Publication number
CN111212322A
CN111212322A CN202010040945.1A CN202010040945A CN111212322A CN 111212322 A CN111212322 A CN 111212322A CN 202010040945 A CN202010040945 A CN 202010040945A CN 111212322 A CN111212322 A CN 111212322A
Authority
CN
China
Prior art keywords
video
similarity
image
images
videos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010040945.1A
Other languages
English (en)
Inventor
孙凯
李锐
金长新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN202010040945.1A priority Critical patent/CN111212322A/zh
Publication of CN111212322A publication Critical patent/CN111212322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种基于多视频去重拼接的视频压缩方法，属于视频编解码、视频压缩技术领域，首先运用H.265编解码处理视频，利用FFmpeg提取视频关键帧和图像，运用深度学习判别图像相似性，相似值是一个0～1之间的数。然后进行对比去重，对视频单帧静态拼接，H.265编解码，动态压缩，生成文件。可以节省大量的压缩空间，节约客户的视频存储成本。

Description

一种基于多视频去重拼接的视频压缩方法
技术领域
本发明涉及视频编解码、视频压缩技术，尤其涉及一种基于多视频去重拼接的视频压缩方法。
背景技术
在数字媒体时代，随着抖音、快手、虎牙、斗鱼等短视频或直播行业的发展，视频的数据量越来越庞大，每天有成千上万的视频产生，每天都有海量的视频要处理。视频行业主要有两个来源，一个是以用户产生内容为主的视频网站，每天都能获取到用户上传的大量视频，用户上传的视频存在数量大、重复视频多等特点，导致视频网站存在大量重复视频，既影响了视频网站的运营效率，又增加了视频网站的运营成本；另一个是社区、工业、政府等城市安防行业，每天都会产生大量视频，这其中只有少部分是有效视频，有大量是重复且无效的视频，这使得相关部门在工作时作业量极大，严重影响了作业效率。
因此，需要对多段视频进行去重处理，然后进行视频压缩，这既能减少视频的存储量，节约存储空间，又能提高相关部门的作业效率。
现有的视频去重方法，最常见的方法是通过视频文件的md5值进行去重，该方法认为，如果两个视频的md5值是一样的，那么它们就是同一部视频。该方法的优点在于同一视频文件项目中，效率较高，能够快速准确的识别出大量的重复视频，但弊端也很明显，当视频被进行一定的处理后会改变md5值，比如转码、删减或植入广告等字幕，这使得采用md5值去重的视频去重方法工作量就很大。
另一种方法，是根据视频的内容去重。众所周知，视频是由很多连续变化的图像帧组成，而图像帧存在时间和空间上的冗余度，连续的关键帧反应了视频的主要内容。通过提取视频关键帧和图像，对其进行识别，进行分析视频的内容和特征。视频特征就是能够反应视频内容信息的视频本身所具有的物理性质，主要包括颜色、特征、纹理特征、运动特征以及声音和字幕等等。这样，利用关键帧的视频特征来对视频内容进行分析，就能比较容易的识别出相同视频。
现阶段，由于技术的不断发展，深度学习、图像挖掘等技术快速进步，通过视频内容进行去重的方法越来越受欢迎。
发明内容
为了解决以上技术问题，本发明提出了一种基于多视频去重拼接的视频压缩方法，对多段视频进行去重处理，然后进行视频压缩，这既能减少视频的存储量，节约存储空间，又能提高作业效率。
本发明的技术方案是：
一种基于多视频去重拼接的视频压缩方法，
利用深度学习技术，运用H.265编解码分别获取待处理的视频，利用FFmpeg提取其中的连续关键帧和图像，分析待处理图像的关键特征点信息，然后利用深度学习对两段不同来源的视频的关键特征点信息进行比对，判断是否存在视频内容相同的特征点信息，如果存在则进行去重处理，进而对去重后的视频单帧静态拼接，然后通过H.265对视频进行编解码、动态压缩，最终达到降低视频数据存储量和节省空间的目的。
运用FFmpeg提取待处理视频中的关键帧和图像，获取待处理图像关键特征点信息，为下一步分析关键帧和图像的关键特征点信息、对比图像相似性作准备。
H.265的编码单位选择从最小的8x8到最大的64x64。
进一步的，
运用深度学习判别对比图像相似性，比较两幅图片的相似水平，因此构建的卷积神经网络模型的输入就是：两幅图片，然后网络的输出是一个相似度数值；通过输出相似度数值，来判别两幅图片的相似度或两幅图片的匹配程度。
运用深度学习判别图像相似性，相似值是一个0～1之间的数。
如果两张图片完全匹配，输出值标注为y＝1，如果两张图片不匹配，那么训练数据标注为y＝0，也就是说，这个训练数据的标注方法，得出一个是否匹配的数值。
将识别相似的图像进行去重处理，对去重后的图像进行单帧拼接，得到去重后的视频。
本发明的有益效果是
相对于传统的视频内容去重有了较大的升级，效果更好。能够节省大量的压缩空间，节约客户的视频存储成本。
附图说明
图1是本发明的工作流程示意图；
图2是运用深度学习判别对比图像相似性示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种基于多视频去重拼接后进行视频压缩的方法。通过H.265分别获取待处理的视频，利用FFmpeg提取待处理视频中的关键帧和图像，获取待处理图像关键特征点信息，然后对两段不同来源的视频的关键特征点信息进行比对，作去重处理，由于缩略图的关键特征点信息能够较好的反应视频的内容，因此通过单帧的关键特征点信息来确定重复视频，准确度高，从而能够有效的去除重复视频，进而对去重后的视频单帧静态拼接，然后通过H.265对视频进行编解码、动态压缩。
实施步骤包括：运用H.265编解码处理视频，利用FFmpeg提取视频关键帧和图像，运用深度学习判别图像相似性，对比去重，单帧静态拼接，H.265编解码，动态压缩，生成文件。
具体如下：
1、运用H.265编解码处理视频，获取待处理的不同来源的视频，H.265的编码单位可以选择从最小的8x8到最大的64x64，其保留了H.264的某些技术，并加以改进，能够提高压缩效率、提高鲁棒性和错误恢复能力、降低复杂度等，
2、运用FFmpeg提取待处理视频中的关键帧和图像，获取待处理图像关键特征点信息，为下一步分析关键帧和图像的关键特征点信息、对比图像相似性作准备。
3、运用深度学习判别对比图像相似性，如图2所示，
比较两幅图片的相似水平，或者说相似度是多少，因此构建的卷积神经网络模型的输入就是：两幅图片，然后网络的输出是一个相似度数值。也就是说，通过输出相似度数值，来判别两幅图片的相似度，也可以理解为两幅图片的匹配程度。如果两张图片匹配，输出值标注为y＝1，如果两张图片不匹配，那么训练数据标注为y＝0，也就是说，这个训练数据的标注方法，得出一个是否匹配的数值。例如，有三样物体：钢笔、铅笔、书包，那么在训练的过程中，就把钢笔和铅笔标注为y＝1，钢笔和铅笔的相似度我们把它标注为y＝0.9，所以最后计算出来的值是一个0～1之间的数。
4、将识别相似的图像进行去重处理，对去重后的图像进行单帧拼接，得到去重后的视频。
5、通过H.265编解码对视频进行动态压缩，最后生成文件，最终得到的视频文件相对于原来的两段视频有了较大数据量的压缩。
由于视频关键帧中，缩略图的关键特征点信息能够较好的反应视频的内容，因此通过单帧的关键特征点信息来确定重复视频，准确度高，从而能够有效的去除重复视频，既能保证视频去重的效果，又能节省大量的工作量，进而能够快速的执行后续单帧静态拼接和视频动态压缩的步骤，提高整体的作业效率。
该方法可应用于视频编解码和压缩领域，通过对已有的视频进行单帧去重、静态拼接和动态压缩，大量减少存储空间，节约存储成本。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种基于多视频去重拼接的视频压缩方法，其特征在于，
首先运用H.265编解码处理视频，利用FFmpeg提取视频关键帧和图像，运用深度学习判别图像相似性，然后对比去重，对视频单帧静态拼接，然后通过H.265对视频进行编解码、动态压缩生成文件。
2.根据权利要求1所述的方法，其特征在于，
运用FFmpeg提取待处理视频中的关键帧和图像，获取待处理图像关键特征点信息，为下一步分析关键帧和图像的关键特征点信息、对比图像相似性作准备。
3.根据权利要求2所述的方法，其特征在于，
分析待处理图像的关键特征点信息，利用深度学习对两段不同来源的视频的关键特征点信息进行比对，判断是否存在视频内容相同的特征点信息，如果存在则进行去重处理。
4.根据权利要求1或2或3所述的方法，其特征在于，
运用H.265编解码处理视频，获取待处理的不同来源的视频，H.265的编码单位选择从最小的8x8到最大的64x64。
5.根据权利要求4所述的方法，其特征在于，
运用深度学习判别对比图像相似性，比较两幅图片的相似水平，因此构建的卷积神经网络模型的输入就是：两幅图片，然后网络的输出是一个相似度数值；通过输出相似度数值，来判别两幅图片的相似度或两幅图片的匹配程度。
6.根据权利要求5所述的方法，其特征在于，
运用深度学习判别图像相似性，相似值是一个0～1之间的数。
7.根据权利要求6所述的方法，其特征在于，
如果两张图片完全匹配，输出值标注为y＝1，如果两张图片不匹配，那么训练数据标注为y＝0，也就是说，这个训练数据的标注方法，得出一个是否匹配的数值。
8.根据权利要求6所述的方法，其特征在于，
将识别相似的图像进行去重处理，对去重后的图像进行单帧拼接，得到去重后的视频。
CN202010040945.1A 2020-01-15 2020-01-15 一种基于多视频去重拼接的视频压缩方法 Pending CN111212322A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010040945.1A CN111212322A (zh) 2020-01-15 2020-01-15 一种基于多视频去重拼接的视频压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010040945.1A CN111212322A (zh) 2020-01-15 2020-01-15 一种基于多视频去重拼接的视频压缩方法

Publications (1)

Publication Number Publication Date
CN111212322A true CN111212322A (zh) 2020-05-29

Family

ID=70787791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010040945.1A Pending CN111212322A (zh) 2020-01-15 2020-01-15 一种基于多视频去重拼接的视频压缩方法

Country Status (1)

Country Link
CN (1) CN111212322A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468843A (zh) * 2020-10-26 2021-03-09 国家广播电视总局广播电视规划院 视频去重方法及装置
CN114268750A (zh) * 2021-12-14 2022-04-01 咪咕音乐有限公司 视频处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070214418A1 (en) * 2006-03-10 2007-09-13 National Cheng Kung University Video summarization system and the method thereof
CN105608233A (zh) * 2016-02-26 2016-05-25 北京大学 一种基于改进的om特征的视频拷贝检测方法
CN105893405A (zh) * 2015-11-12 2016-08-24 乐视云计算有限公司 重复视频检测方法和系统
US20170069348A1 (en) * 2015-09-08 2017-03-09 Hanwha Techwin Co., Ltd. Method and method for shortening video with event preservation
CN109189991A (zh) * 2018-08-17 2019-01-11 百度在线网络技术（北京）有限公司 重复视频识别方法、装置、终端及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070214418A1 (en) * 2006-03-10 2007-09-13 National Cheng Kung University Video summarization system and the method thereof
US20170069348A1 (en) * 2015-09-08 2017-03-09 Hanwha Techwin Co., Ltd. Method and method for shortening video with event preservation
CN105893405A (zh) * 2015-11-12 2016-08-24 乐视云计算有限公司 重复视频检测方法和系统
CN105608233A (zh) * 2016-02-26 2016-05-25 北京大学 一种基于改进的om特征的视频拷贝检测方法
CN109189991A (zh) * 2018-08-17 2019-01-11 百度在线网络技术（北京）有限公司 重复视频识别方法、装置、终端及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闲鱼技术: "向量检索在闲鱼视频去重的实践", 《HTTPS://BLOG.CSDN.NET/WEIXIN_38912070/ARTICLE/DETAILS/93857132》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468843A (zh) * 2020-10-26 2021-03-09 国家广播电视总局广播电视规划院 视频去重方法及装置
CN114268750A (zh) * 2021-12-14 2022-04-01 咪咕音乐有限公司 视频处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US8593478B2 (en) Extraction of a color palette model from an image of a document
CN103886623A (zh) 一种图像压缩方法、设备及系统
CN102682024B (zh) 未残缺jpeg文件碎片重组的方法
CN109783691B (zh) 一种深度学习和哈希编码的视频检索方法
CN106557545A (zh) 视频检索方法和装置
Tang et al. Recovery of heavily fragmented JPEG files
CN111212322A (zh) 一种基于多视频去重拼接的视频压缩方法
CN111325245A (zh) 重复图像识别方法、装置、电子设备及计算机可读存储介质
De Bock et al. JPGcarve: an advanced tool for automated recovery of fragmented JPEG files
CN116233445B (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
Sari et al. A review of graph theoretic and weightage techniques in file carving
CN109168006A (zh) 一种图形和图像共存的视频编解码方法
US20190311744A1 (en) Comparing frame data to generate a textless version of a multimedia production
Li et al. Coverless Video Steganography Based on Frame Sequence Perceptual Distance Mapping.
Jin et al. Object-based video forgery detection via dual-stream networks
Ali et al. A meta-heuristic method for reassemble bifragmented intertwined JPEG image files in digital forensic investigation
CN112203036A (zh) 一种基于视频内容生成文本文档的方法和装置
KR100520711B1 (ko) 벡터 양자화 기법에서 코드북 그룹화를 이용한 블라인드 이미지 워터마킹 처리 방법
CN114372169A (zh) 一种同源视频检索的方法、装置以及存储介质
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质
KR101568680B1 (ko) 데이터 파편 분류를 이용한 데이터 복원 방법
Fang et al. Coarse-to-fine two-stage semantic video carving approach in digital forensics
Abdullah et al. X_myKarve: Non-contiguous JPEG file carver
CN117475443B (zh) 一种基于aigc的图像分割及重组系统
CN113627341B (zh) 一种视频样例比对的方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200529

RJ01 Rejection of invention patent application after publication