CN109508408A - 一种基于帧密度的视频检索方法及计算机可读存储介质 - Google Patents

一种基于帧密度的视频检索方法及计算机可读存储介质 Download PDF

Info

Publication number
CN109508408A
CN109508408A CN201811250933.0A CN201811250933A CN109508408A CN 109508408 A CN109508408 A CN 109508408A CN 201811250933 A CN201811250933 A CN 201811250933A CN 109508408 A CN109508408 A CN 109508408A
Authority
CN
China
Prior art keywords
frame
video
picture
image
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811250933.0A
Other languages
English (en)
Other versions
CN109508408B (zh
Inventor
管永来
张默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Moshanghua Technology Co Ltd
Original Assignee
Beijing Moshanghua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Moshanghua Technology Co Ltd filed Critical Beijing Moshanghua Technology Co Ltd
Priority to CN201811250933.0A priority Critical patent/CN109508408B/zh
Publication of CN109508408A publication Critical patent/CN109508408A/zh
Application granted granted Critical
Publication of CN109508408B publication Critical patent/CN109508408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于帧密度的视频检索方法及计算机可读存储介质，提取第一图像帧的第一CNN特征；提取第二图像帧的第二CNN特征；所述第一图像帧包括待检索视频帧中的每一帧图像；所述第二图像帧包括用于检索的视频帧库中的每一帧图像；把第一CNN特征和第二CNN特征进行余弦距离比较，找出第一图像帧中每一帧图像各自在第二图像帧中相似度最高的N个图像作为匹配结果；标出第一图像帧中每一帧图像的所述N个图像在所述视频帧库中的位置；对所述位置进行密度筛选，密度最高的位置作为检索结果。与现有技术相比，本发明视频定位过程具有更高的鲁棒性。

Description

一种基于帧密度的视频检索方法及计算机可读存储介质
技术领域
本发明涉及视频检索领域，特别涉及一种基于帧密度的视频检索方法及计算机可读存储介质。
背景技术
基于内容的视频检索作为计算机视觉领域的一个重要研究问题，在过去的十年里受到国内外学者的广泛关注。基于内容的视频检索是指从视频库中定位出与待检索短视频最匹配的位置。通过对待检索短视频的帧图像进行匹配，得出在视频库的匹配位置。
发明内容
本发明提供了一种基于帧密度的视频检索方法，具有鲁棒性更高的特点。
本发明还提供了一种计算机可读存储介质，具有能够便于实施上述任何一种方法的特点。
根据本发明提供的一种基于帧密度的视频检索方法，包括，
提取第一图像帧的第一CNN特征；提取第二图像帧的第二CNN特征；所述第一图像帧包括待检索视频帧中的每一帧图像；所述第二图像帧包括用于检索的视频帧库中的每一帧图像；把第一CNN特征和第二CNN特征进行余弦距离比较，找出第一图像帧中每一帧图像各自在第二图像帧中相似度最高的N个图像作为匹配结果；所述N为大于0的自然数；
标出第一图像帧中每一帧图像的所述N个图像在所述视频帧库中的位置；对所述位置进行密度筛选，密度最高的位置作为检索结果。
所述N为大于等于2小于等于6的自然数。
所述N等于5。
所述方法还包括，抽取待检索视频的每一帧图像，从第一帧图像开始，去除与在前图像帧相比相似度高于设置的相似度阈值T1的图像帧，剩下的图像帧作为待检索视频帧组成所述第一图像帧。
所述方法还包括，采用包括但不仅限于差异哈希算法DHash去除所述相似度高于设置的相似度阈值T1的图像帧。
采用差异哈希算法DHash去除图像帧的具体方法包括，
缩小图片：将图片缩小到M*K大小，其中M和K均为大于2的自然数；
灰度图转化：将缩小后的图片转化为灰度图；
计算差异值：DHash算法工作在相邻像素之间，这样每行M个像素之间产生了M-1个不同的差异，一共K行，则产生了(M-1)*K个差异值；
获得指纹:如果第一方向上的像素的灰度值比第二方向上的像素的灰度值高，则记为1，否则为0；
对比指纹：计算两幅图片的汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同。
所述相似度阈值T1大于等于60％小于等于100％。
所述相似度阈值T1等于80％。
所述方法还包括，按照设置的帧抽取间隔阈值T2抽取用于检索的视频的帧图像，组成用于检索的视频帧库。
所述帧抽取间隔阈值T2大于等于1小于等于6。
所述帧抽取间隔阈值T2等于2。
根据本发明提供的一种计算机可读存储介质，存储有便于处理器加载并执行上述任意一种的方法的计算机程序。
与现有技术相比，本发明视频定位过程具有更高的鲁棒性。
附图说明
图1为本发明其中一实施例的检索结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明还提供了一种计算机可读存储介质，具有能够便于实施上述任何一种方法的特点。
根据本发明提供的一种基于帧密度的视频检索方法，包括，
提取第一图像帧的第一CNN特征；提取第二图像帧的第二CNN特征；所述第一图像帧包括待检索视频帧中的每一帧图像；所述第二图像帧包括用于检索的视频帧库中的每一帧图像；把第一CNN特征和第二CNN特征进行余弦距离比较，找出第一图像帧中每一帧图像各自在第二图像帧中相似度最高的N个图像作为匹配结果；所述N为大于0的自然数；
标出第一图像帧中每一帧图像的所述N个图像在所述视频帧库中的位置；对所述位置进行密度筛选，密度最高的位置作为检索结果。
本发明用待检索视频的帧匹配用于检索的视频库的帧；找出待检索视频帧中每一帧所对应的相似度最高的N个图像在所述视频帧库中的对应的时间序列并进行标示；所述N个图像可能分布在所述视频帧库的不同时间序列上。在所述视频帧库中得到的位置标记中，找出位置标记最密集位置(作为本发明的一种实施例，如图1所示中圈出的位置)，即为和待检索视频相匹配的时间片段，以此来完成视频检索。
本发明通过对匹配位置进行密度筛选，匹配结果最集中的区域就是待检索视频所在的时间片段。其中，在特征提取过程中采用CNN方法，在帧匹配的过程中采用余弦距离的度量方法。考虑到待检索视频帧中个每一帧信息，最大化突出视频的特征，使最终进行视频时间段定位过程中具有更高的鲁棒性。
作为本发明的实施方式，作为比较适合的选择，所述N为大于等于2小于等于6的自然数，可以根据实际需求进行设置N的值。
作为本发明的一种实施方式，所述N等于5，即找出第一图像帧中每一帧图像各自在第二图像帧中相似度最高的5个图像作为匹配结果。
作为本发明的一种具体实施方式，所述方法还包括，抽取待检索视频的每一帧图像，从第一帧图像开始，去除与在前图像帧相比相似度高于设置的相似度阈值T1的图像帧，剩下的图像帧作为待检索视频帧组成所述第一图像帧。在本发明方案中，采用相似度比较去除待检索视频中的大量冗余帧，在保证鲁棒性的基础上，提高了帧匹配的效率。
作为本发明的实施方式，所述方法还包括，采用包括但不仅限于差异哈希算法DHash去除所述相似度高于设置的相似度阈值T1的图像帧。
作为本发明的一种实施方式，采用差异哈希算法DHash去除图像帧的具体方法包括，
缩小图片：将图片缩小到M*K大小，其中M和K均为大于2的自然数；
灰度图转化：将缩小后的图片转化为灰度图；
计算差异值：DHash算法工作在相邻像素之间，这样每行M个像素之间产生了M-1个不同的差异，一共K行，则产生了(M-1)*K个差异值；
获得指纹:如果第一方向上的像素的灰度值比第二方向上的像素的灰度值高，则记为1，否则为0；
对比指纹：计算两幅图片的汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同。
作为本发明的一种实施方式，将图片缩小到9*8大小，共72个像素点；将缩小后的图片转化为256阶的灰度图；计算差异值时，每行9个像素之间产生了8个不同的差异，一共8行，则产生了64个差异值。
作为本发明的一种实施方式，如果左边的像素的灰度值比右边的像素的灰度值高，则记为1，否则为0。计算两幅图片的汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同。通常认为距离>10，就是两张完全不同的图片。
作为本发明的实施方式，所述相似度阈值T1大于等于60％小于等于100％，可以根据实际需求设置T1的值。
作为本发明的一种实施方式，所述相似度阈值T1等于80％。
作为本发明的一种实施方式，所述方法还包括，按照设置的帧抽取间隔阈值T2抽取用于检索的视频的帧图像，组成用于检索的视频帧库。
因为用于检索的视频的相邻帧之间相似度很高，如果挨个提取视频的帧会造成很大的数据冗余，所以采取隔几帧提取一张图片的方式，遍历整个视频，将抽取的帧组成的视频帧库作为用于检索的视频帧库，在保证鲁棒性的基础上，减小了数据冗余，提高了帧匹配的效率。
作为本发明的实施方式，所述帧抽取间隔阈值T2大于等于1小于等于6，根据实际需求取值。
作为本发明的一种实施方式，所述帧抽取间隔阈值T2等于2。
根据本发明提供的一种计算机可读存储介质，存储有便于处理器加载并执行上述任意一种的方法的计算机程序。

Claims (10)

1.一种基于帧密度的视频检索方法，包括，
提取第一图像帧的第一CNN特征；提取第二图像帧的第二CNN特征；所述第一图像帧包括待检索视频帧中的每一帧图像；所述第二图像帧包括用于检索的视频帧库中的每一帧图像；把第一CNN特征和第二CNN特征进行余弦距离比较，找出第一图像帧中每一帧图像各自在第二图像帧中相似度最高的N个图像作为匹配结果；所述N为大于0的自然数；
标出第一图像帧中每一帧图像的所述N个图像在所述视频帧库中的位置；
对所述位置进行密度筛选，密度最高的位置作为检索结果。
2.根据权利要求1所述的视频检索方法，所述N为大于等于2小于等于6的自然数。
3.根据权利要求2所述的视频检索方法，所述N等于5。
4.根据权利要求1所述的视频检索方法，所述方法还包括，抽取待检索视频的每一帧图像，从第一帧图像开始，去除与在前图像帧相比相似度高于设置的相似度阈值T1的图像帧，剩下的图像帧作为待检索视频帧组成所述第一图像帧。
5.根据权利要求4所述的视频检索方法，所述方法还包括，采用包括但不仅限于差异哈希算法DHash去除所述相似度高于设置的相似度阈值T1的图像帧。
6.根据权利要求5所述的视频检索方法，采用差异哈希算法DHash去除图像帧的具体方法包括，
缩小图片：将图片缩小到M*K大小，其中M和K均为大于2的自然数；
灰度图转化：将缩小后的图片转化为灰度图；
计算差异值：DHash算法工作在相邻像素之间，这样每行M个像素之间产生了M-1个不同的差异，一共K行，则产生了(M-1)*K个差异值；
获得指纹:如果第一方向上的像素的灰度值比第二方向上的像素的灰度值高，则记为1，否则为0；
对比指纹：计算两幅图片的汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同。
7.根据权利要求4所述的视频检索方法，所述相似度阈值T1大于等于60％小于等于100％。
8.根据权利要求1到7之一所述的视频检索方法，所述方法还包括，按照设置的帧抽取间隔阈值T2抽取用于检索的视频的帧图像，组成用于检索的视频帧库。
9.根据权利要求8所述的视频检索方法，所述帧抽取间隔阈值T2大于等于1小于等于6。
10.一种计算机可读存储介质，其特征在于，存储有便于处理器加载并执行权利要求1到9中任意一种的方法的计算机程序。
CN201811250933.0A 2018-10-25 2018-10-25 一种基于帧密度的视频检索方法及计算机可读存储介质 Active CN109508408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811250933.0A CN109508408B (zh) 2018-10-25 2018-10-25 一种基于帧密度的视频检索方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811250933.0A CN109508408B (zh) 2018-10-25 2018-10-25 一种基于帧密度的视频检索方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109508408A true CN109508408A (zh) 2019-03-22
CN109508408B CN109508408B (zh) 2021-07-30

Family

ID=65745900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811250933.0A Active CN109508408B (zh) 2018-10-25 2018-10-25 一种基于帧密度的视频检索方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109508408B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599486A (zh) * 2019-09-20 2019-12-20 福州大学 一种视频抄袭的检测方法及系统
CN112437344A (zh) * 2020-10-30 2021-03-02 福建星网视易信息系统有限公司 一种视频匹配方法及终端

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945679A (zh) * 2012-09-29 2013-02-27 华为技术有限公司 视频数据处理方法和视频数据读写设备
CN106354816A (zh) * 2016-08-30 2017-01-25 东软集团股份有限公司 一种视频图像处理方法及装置
CN106682108A (zh) * 2016-12-06 2017-05-17 浙江大学 一种基于多模态卷积神经网络的视频检索方法
CN106778686A (zh) * 2017-01-12 2017-05-31 深圳职业技术学院 一种基于深度学习和图论的拷贝视频检测方法和系统
US20170337271A1 (en) * 2016-05-17 2017-11-23 Intel Corporation Visual search and retrieval using semantic information
WO2018048227A1 (ko) * 2016-09-07 2018-03-15 이철우 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
CN108062531A (zh) * 2017-12-25 2018-05-22 南京信息工程大学 一种基于级联回归卷积神经网络的视频目标检测方法
CN108416013A (zh) * 2018-03-02 2018-08-17 北京奇艺世纪科技有限公司 视频匹配、检索、分类和推荐方法、装置及电子设备
CN108595477A (zh) * 2018-03-12 2018-09-28 北京奇艺世纪科技有限公司 一种视频数据的处理方法和装置
CN108694236A (zh) * 2018-05-11 2018-10-23 优视科技有限公司 视频数据处理方法、装置及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945679A (zh) * 2012-09-29 2013-02-27 华为技术有限公司 视频数据处理方法和视频数据读写设备
US20170337271A1 (en) * 2016-05-17 2017-11-23 Intel Corporation Visual search and retrieval using semantic information
CN106354816A (zh) * 2016-08-30 2017-01-25 东软集团股份有限公司 一种视频图像处理方法及装置
WO2018048227A1 (ko) * 2016-09-07 2018-03-15 이철우 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
CN106682108A (zh) * 2016-12-06 2017-05-17 浙江大学 一种基于多模态卷积神经网络的视频检索方法
CN106778686A (zh) * 2017-01-12 2017-05-31 深圳职业技术学院 一种基于深度学习和图论的拷贝视频检测方法和系统
CN108062531A (zh) * 2017-12-25 2018-05-22 南京信息工程大学 一种基于级联回归卷积神经网络的视频目标检测方法
CN108416013A (zh) * 2018-03-02 2018-08-17 北京奇艺世纪科技有限公司 视频匹配、检索、分类和推荐方法、装置及电子设备
CN108595477A (zh) * 2018-03-12 2018-09-28 北京奇艺世纪科技有限公司 一种视频数据的处理方法和装置
CN108694236A (zh) * 2018-05-11 2018-10-23 优视科技有限公司 视频数据处理方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NASH_: "相似图片搜索的三种哈希算法", 《HTTP://DOWNLOAD.CSDN.NET/DETAIL/NASH_/5093143》 *
刘帷 等: "融合视频指纹和时空信息的视频检索算法", 《北京工业大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599486A (zh) * 2019-09-20 2019-12-20 福州大学 一种视频抄袭的检测方法及系统
CN112437344A (zh) * 2020-10-30 2021-03-02 福建星网视易信息系统有限公司 一种视频匹配方法及终端
CN112437344B (zh) * 2020-10-30 2023-02-28 福建星网视易信息系统有限公司 一种视频匹配方法及终端

Also Published As

Publication number Publication date
CN109508408B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN109977262B (zh) 从视频中获取候选片段的方法、装置及处理设备
US8761462B2 (en) Image processing apparatus, image processing method, and program
US9530071B2 (en) Hierarchical interlinked multi-scale convolutional network for image parsing
JP4725690B2 (ja) 映像識別子抽出装置
US7184100B1 (en) Method of selecting key-frames from a video sequence
JP4907938B2 (ja) 少なくとも１つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体
JP5097280B2 (ja) 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体
JP5766564B2 (ja) 顔認証装置及び顔認証方法
JP2008269471A (ja) 類似画像判定装置と類似画像判定方法およびプログラムと記録媒体
JP2013012163A (ja) 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
JP2016119059A (ja) 画像処理装置および画像処理方法
CN109508408A (zh) 一种基于帧密度的视频检索方法及计算机可读存储介质
Patel et al. Exemplar based image inpainting with reduced search region
KR20190080388A (ko) Cnn을 이용한 영상 수평 보정 방법 및 레지듀얼 네트워크 구조
JPH05174149A (ja) 画像認識装置
JPH05159063A (ja) 画像検索装置
JP5644505B2 (ja) 照合加重情報抽出装置
CN116452426B (zh) 一种全景图拼接方法及装置
JPH05159064A (ja) 画像探索装置
CN114697751B (zh) 一种视频倒放防重切的方法及系统
CN106528552B (zh) 图像搜索方法及系统
US9870621B1 (en) Motion-based feature correspondence
CN112308162A (zh) 一种图像大数据相似度比对方法及系统
Rahman et al. Creation of video summary with the extracted salient frames using color moment, color histogram and speeded up robust features
CN109168082A (zh) 基于固定视频的马赛克检测实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant