CN107122439A - 一种视频片段查询方法及装置 - Google Patents

一种视频片段查询方法及装置 Download PDF

Info

Publication number
CN107122439A
CN107122439A CN201710267378.1A CN201710267378A CN107122439A CN 107122439 A CN107122439 A CN 107122439A CN 201710267378 A CN201710267378 A CN 201710267378A CN 107122439 A CN107122439 A CN 107122439A
Authority
CN
China
Prior art keywords
target
video
specific objective
feature data
video segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710267378.1A
Other languages
English (en)
Inventor
朱才志
周晓
张险峰
魏京京
朱良
张勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Graphic Information Technology (shenzhen) Co Ltd
Original Assignee
Graphic Information Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Graphic Information Technology (shenzhen) Co Ltd filed Critical Graphic Information Technology (shenzhen) Co Ltd
Priority to CN201710267378.1A priority Critical patent/CN107122439A/zh
Publication of CN107122439A publication Critical patent/CN107122439A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种视频片段查询方法及装置，所述方法包括：获得作为查询依据的图像；提取所述图像包含的特定目标，其中，所述特定目标属于可运动型的目标；确定所述特定目标的第一特征数据，并对所述第一特征数据进行量化编码；根据量化编码后的第一特征数据和特征数据库，从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，其中，所述特征数据库包括多个目标所对应的量化编码后的第二特征数据，一个视频片段对应所述多个目标中的一个目标，且所述多个目标和所述多个视频片段均基于作为查询库的视频数据库所确定。利用本发明实施例，提高了目标对应视频片段的搜索效率。

Description

一种视频片段查询方法及装置
技术领域
本发明涉及数据搜索技术领域，特别是涉及一种视频片段查询方法及装置。
背景技术
安防系统(Security&Protection System，SPS)是以运用安全防范产品和其它相关产品所构成的入侵报警系统、视频安防监控系统、出入口控制系统、防爆安全检查等的系统；或是由这些系统为子系统组合或集成的电子系统或网络。
目前，在视频安防监控系统中，针对海量的监控视频，从监控视频中搜索包含例如行人、车辆等可运动目标的视频片段，即目标对应的视频片段。现有的查询方法是首先检测出图像中的特定目标，然后针对视频数据库(即大量的监控视频构成的数据库)中的目标视频的每一视频帧，选取可能包含特定目标的所有待匹配区域，提取这些待匹配区域的特征，将提取的特征与预设模板图像的特征进行相似度匹配，获得包含筛选出的待匹配区域的视频帧，其中，筛选出的待匹配区域所对应的相似度高于预设阈值；将获得的所有视频帧，确定为包含该特定目标的视频帧，进而得到该特定目标对应的视频片段。
然而，现有目标对应视频片段的查询方法，在每次检测出特定目标后，均需要针对视频数据库的目标视频的每一视频帧，执行待匹配区域选取、待匹配区域的特征提取、特征相似度匹配等步骤，以获得包含该特定目标的所有视频帧，从而得到该目标对应的视频片段。可见，现有的针对目标对应视频片段的搜索，过程比较繁琐，所花费的时间较长，导致搜索效率不高。
发明内容
本发明实施例的目的在于提供一种视频片段查询方法及装置，以提高目标对应视频片段的搜索效率。具体技术方案如下：
为达到上述目的，本发明实施例公开了一种视频片段查询方法，应用于服务器，方法包括：
获得作为查询依据的图像；
提取所述图像包含的特定目标，其中，所述特定目标属于可运动型的目标；
确定所述特定目标的第一特征数据，并对所述第一特征数据进行量化编码；
根据量化编码后的第一特征数据和特征数据库，从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，其中，所述特征数据库包括多个目标所对应的量化编码后的第二特征数据，一个视频片段对应所述多个目标中的一个目标，且所述多个目标和所述多个视频片段均基于作为查询库的视频数据库所确定。
可选地，所述特征数据库的构建过程，包括：
解码所述视频数据库中的视频，检测每一采样视频帧包含的目标，其中，所述目标属于可运动型的目标；
针对每个目标，提取所述目标的第二特征数据；
对所提取的第二特征数据进行量化编码；
利用量化编码后的第二特征数据，建立特征数据库；
所述视频片段的生成方式，包括：
在检测完毕所述视频中所有视频帧所包含的目标后，确定包含各个目标的视频帧，基于所确定出的包含各个目标的视频帧，得到各个目标对应的视频片段。
可选地，所述针对每个目标，提取所述目标的第二特征数据，包括：
对检测到的目标进行分类；
针对每个目标，提取与所述目标相关的第二预定特征的第二特征数据，其中，所述第二预定特征为所述目标所属的类别所对应的特征。
可选地，所述提取所述图像包含的特定目标，包括：
提取所述图像包含的特定目标，并获得所述特定目标所属的类别；
所述确定所述特定目标的第一特征数据，包括：
确定与所述特定目标相关的第一预定特征的第一特征数据，其中，所述第一预定特征为所述特定目标所属的类别所对应的特征。
可选地，所述根据量化编码后的第一特征数据和特征数据库，从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，包括：
将所述特定目标的量化编码后的第一特征数据，与特征数据库包含的所有目标的量化编码后的第二特征数据进行比对，得到所有目标与特定目标的相似度；
确定与所述特定目标的相似度达到预设阈值的目标；
从预先存储的多个视频片段中，查询所确定的目标对应的视频片段；
将所查询到的视频片段，确定为所述特定目标对应的视频片段。
为达到上述目的，本发明实施例公开了一种视频片段查询装置，应用于服务器，装置包括：
获得模块，用于获得作为查询依据的图像；
提取模块，用于提取所述图像包含的特定目标，其中，所述特定目标属于可运动型的目标；
第一确定模块，用于确定所述特定目标的第一特征数据，并对所述第一特征数据进行量化编码；
第二确定模块，用于根据量化编码后的第一特征数据和特征数据库，从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，其中，所述特征数据库包括多个目标所对应的量化编码后的第二特征数据，一个视频片段对应所述多个目标中的一个目标，且所述多个目标和所述多个视频片段均基于作为查询库的视频数据库所确定。
可选地，所述装置还包括特征数据库构建模块和视频片段生成模块；其中，所述特征数据库构建模块包括：目标检测子模块、特征数据提取子模块、量化编码子模块和数据库构建子模块；
所述目标检测子模块，用于解码所述视频数据库中的视频，检测每一采样视频帧包含的目标，其中，所述目标属于可运动型的目标；
所述特征数据提取子模块，用于针对每个目标，提取所述目标的第二特征数据；
所述量化编码子模块，用于对所提取的第二特征数据进行量化编码；
所述数据库构建子模块，用于利用量化编码后的第二特征数据，建立特征数据库；
所述视频片段生成模块，用于在检测完毕所述视频中所有视频帧所包含的目标后，确定包含各个目标的视频帧，基于所确定出的包含各个目标的视频帧，得到各个目标对应的视频片段。
可选地，所述特征数据提取子模块，具体用于：
对检测到的目标进行分类；
针对每个目标，提取与所述目标相关的第二预定特征的第二特征数据，其中，所述第二预定特征为所述目标所属的类别所对应的特征。
可选地，所述提取模块，具体用于：
提取所述图像包含的特定目标，并获得所述特定目标所属的类别；
所述第一确定模块，具体用于：
确定与所述特定目标相关的第一预定特征的第一特征数据，其中，所述第一预定特征为所述特定目标所属的类别所对应的特征。
可选地，所述第二确定模块，包括：
相似度确定子模块，用于将所述特定目标的量化编码后的第一特征数据，与特征数据库包含的所有目标的量化编码后的第二特征数据进行比对，得到所有目标与特定目标的相似度；
目标确定子模块，用于确定与所述特定目标的相似度达到预设阈值的目标；
片段查询子模块，用于从预先存储的多个视频片段中，查询所确定的目标对应的视频片段；
片段确定子模块，用于将所查询到的视频片段，确定为所述特定目标对应的视频片段。
可见，本发明实施例所提供的视频片段查询方法中，在提取出特定目标后，无需针对视频数据库的目标视频的每一帧，执行待匹配区域选取、待匹配区域的特征提取、特征相似度匹配等步骤，而是可以根据量化编码后的第一特征数据和特征数据库，直接从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，简化针对特定目标对应视频片段的搜索过程，搜索花费的时间变得较短，从而提高目标对应视频片段的搜索效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频片段查询方法的一种流程示意图；
图2为本发明实施例提供的视频片段查询装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面首先对本发明实施例提供的一种视频片段查询方法进行详细说明。
需要说明的是，本发明实施例提供的一种视频片段查询方法可以优选应用于服务器，当然并不局限于服务器，例如：该方法还可以应用于用户设备，这也是合理的。
具体的，对于应用于服务器而言，本发明实施例所提供的方法可以应用部署在云端服务器，也可以在本地服务器；并且，服务器所需处理的数据量规模较小时，可以选择单机部署，数据量规模较大时可以以分布式架构，部署在服务器组上。
图1为本发明实施例提供的视频片段查询方法的一种流程示意图。如图1所示，本发明实施例所提供的视频片段查询方法，可以包括如下步骤：
S101，获得作为查询依据的图像；
具体的，可以接收用户输入的作为查询依据的图像，即可获得该图像，并作为图像。其中，作为查询依据的图像，可以是监控视频中的一视频帧，且该视频帧中包含用户想要查询的某个目标，该目标可以称之为特定目标。
当然，所获得的作为查询依据的图像并不局限于用户所输入的图像，例如：还可以为其他设备所发送的图像；并且，作为查询依据的图像也并不局限于监控视频中的一视频帧，例如：还可以为本地或网络侧所存在的能够作为查询依据的任一图像。
S102，提取所述图像包含的特定目标，其中，所述特定目标属于可运动型的目标；
具体的，在实际应用中，可以采用人机交互方式提取图像包含的特定目标，即人工直接在图像中画出想要查询的该特定目标。另外，也可以采用目标检测方法如DPM(Deformable Parts Model，可变性部件模型)等，或者基于深度学习的目标检测方法如Faster-RCNN(Faster Regions with Convolutional Neural Network，基于区域的快速卷积神经网络)、RCNN(Regions with Convolutional Neural Network，基于区域的卷积神经网络)、SSD(Single Shot MultiBox Detector，单箱检测器)、YOLO(You Only Look Once，一瞥)、高斯混合模型(GMM)、VIBE(visual background extractor，视觉背景提取)、背景减除法、动态背景更新等，去提取图像包含的特定目标。可以理解的是，还可以采用现有技术所存在的其他目标检测方法来提取所述图像包含的特定目标。
并且，在实际应用中，特定目标属于监控视频中可运动型的目标，可以是人、车或其他感兴趣的目标，例如婴儿车、狗、车上的某个logo(标志)等等。
S103，确定所述特定目标的第一特征数据，并对所述第一特征数据进行量化编码；
其中，为了保证该第一特征数据与特征数据库中的第二特征数据的对比具有有效性，该特定目标的第一特征数据的具体特征类别与该特征数据库中的第二特征数据的具体特征类别相同；并且，在不考虑目标所属类别的前提下，该特定目标的第一特征数据和该特征数据库中的第二特征数据可以为任何全局特征数据或局部特征数据。举例而言：该第一特征数据的具体特征类别可以包括但不局限于：颜色直方图、颜色矩、GLOH(GradientLocation and Orientation Histogram，梯度位置方向直方图)、HOG(Histogram ofOriented Gradient，方向梯度直方图)、SIFT(Scale Invariant Feature Transform，尺度不变特征变换)、Shape context(形状上下文)等等。上述的对所述第一特征数据进行量化编码的步骤，所采用的量化编码方法，亦与后续提及的对所提取的第二特征数据进行量化编码的步骤中的量化编码相同，所采用的码本与后续所述的大小为k的特征码本保持一致。确定所述特定目标的第一特征数据，并对所述第一特征数据进行量化编码，为现有技术，本发明实施例在此不对其进行赘述。
S104，根据量化编码后的第一特征数据和特征数据库，从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，其中，所述特征数据库包括多个目标所对应的量化编码后的第二特征数据，一个视频片段对应所述多个目标中的一个目标，且所述多个目标和所述多个视频片段均基于作为查询库的视频数据库所确定。
具体的，所述根据量化编码后的第一特征数据和特征数据库，从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，可以包括以下步骤：
步骤A1：将所述特定目标的量化编码后的第一特征数据，与特征数据库包含的所有目标的量化编码后的第二特征数据进行比对，得到所有目标与特定目标的相似度；
其中，可以利用比对算法，实现：将所述特定目标的量化编码后的第一特征数据，与特征数据库包含的所有目标的量化编码后的第二特征数据进行比对。比对算法可以是近邻与准近邻搜索算法，例如Bruteforce search(暴风搜索)、反向文件索引、kd-tree(k-dimensional树，k-空间树)、ANN(Approximate Nearest Neighbor，近似最近邻搜索)或哈希等算法。
步骤A2：确定与所述特定目标的相似度达到预设阈值的目标；
例如，预设阈值可以设为80％、90％或95％等等，或者根据实际情况自行设定。
可以理解的是，上述给出的预设阈值的具体值仅仅作为示例，并不应该构成对本发明实施例的限定。
步骤A3：从预先存储的多个视频片段中，查询所确定的目标对应的视频片段；
步骤A4：将所查询到的视频片段，确定为所述特定目标对应的视频片段。
例如，确定出相似度达到预设阈值的目标为C，则将目标C对应的一个视频片段搜索出来，将搜索出的视频片段，作为该特定目标对应的视频片段。或者，确定出相似度达到预设阈值的目标为D、E、F，则从预先存储的多个视频片段中，查找目标C、D、F分别对应的视频片段，将查找到的三个视频片段，按照相似度进行排序，予以显示。
可以理解的是，可以预先构建特征数据库。具体的，所述特征数据库的构建过程，可以包括以下步骤：
步骤B1：解码所述视频数据库中的视频，检测每一采样视频帧包含的目标，其中，所述目标属于可运动型的目标；
其中，解码输入的视频数据库中的视频，针对视频的每一采样视频帧，可以将其最大边长重设为M，并保持长宽缩放比，再对每一采样视频帧包含的、属于可运动型的目标进行检测。在实际应用中，可以利用高斯混合模型、VIBE、背景减除法、动态背景更新、DPM、Faster-RCNN、RCNN、SSD、YOLO等方法，检测每一采样视频帧包含的目标。一般地，在获得视频后，先做关键帧提取，提取的关键帧也就是上述提及的采样视频帧。对于一个视频而言，可以将全部或部分的关键帧作为采样视频帧，本发明实施例对此并不进行限定。
步骤B2：针对每个目标，提取所述目标的第二特征数据；
其中，每个目标所对应的第二特征数据的提取方式，与上述所提及的特定目标的第一特征数据的提取方式相同。
可选地，在一种具体实现方式中，为了使得特征数据的提取更能具有针对性，从而提高查询精准性，可以考虑目标的具体类别，基于具体类别来提取第二特征数据。基于该种处理思想，针对每个目标，提取所述目标的第二特征数据可以包括：对检测到的目标进行分类；针对每个目标，提取与所述目标相关的第二预定特征的第二特征数据，其中，所述第二预定特征为所述目标所属的类别所对应的特征。例如，类别A对应于特征a，类别B对应于特征b，也可以任一类别对应于同一特征，例如类别行人、车辆及其他类别所对应的特征均为颜色直方图或颜色矩。在实际应用中，可以利用支持向量机(SVM)、贝叶斯分类器、最近邻分类器或神经网络，对检测到的目标进行分类。
并且，第二预定特征可以是任何全局或局部特征，例如颜色直方图、颜色矩、GLOH、HOG、SIFT、Shape context等等。
需要说明的是，对于在提取第二特征数据时考虑具体类别的情况而言，为了保证第一特征数据与第二特征数据的比对具有有效性，上述提取所述图像包含的特定目标的步骤，可以为：提取所述图像包含的特定目标，并获得所述特定目标所属的类别；
相应的，所述确定所述特定目标的第一特征数据的步骤，可以为：确定与所述特定目标相关的第一预定特征的第一特征数据，其中，所述第一预定特征为所述特定目标所属的类别所对应的特征。
其中，第一预定特征可以是任何全局或局部特征，例如颜色直方图、颜色矩、GLOH、HOG、SIFT、Shape context等等。需要强调的是，对于同一类目标而言，采用何种第一预定特征，具体以第二预定特征为准，所采用的第一预定特征需要与第二预定特征保持一致。
比如，在特征数据库的构建过程中，对于行人类别所采用的第二预定特征是颜色直方图，轿车类别所采用的第二预定特征是颜色矩，货车类别对应的第二预定特征是GLOH，等等。如果提取到的所述图像包含的特定目标属于行人类别，则与该特征目标相关的第一预定特征跟上述的行人类别所采用的第二预定特征相同，即为颜色直方图。
再如，在特征数据库的构建过程中，所有类别对应的第二预定特征相同，均为颜色直方图，那么，无论提取到的所述图像包含的特定目标属于何种类别，与该特征目标相关的第一预定特征都需要与该第二预定特征保持一致，均为颜色直方图。
步骤B3：对所提取的第二特征数据进行量化编码；
其中，可以利用现有技术，实现：对所提取的第二特征数据进行量化编码。简单来说，即是从提取的第二特征数据中，可以间隔或随机抽取一部分第二特征数据，利用无监督聚类技术，得到k个典型特征中心，作为特征码本。以该大小为k的特征码本，量化所提取的所有目标的第二特征数据。
步骤B4：利用量化编码后的第二特征数据，建立特征数据库。
其中，可以将上述的特征码本和所有量化编码后的第二特征数据集合在一起，即可建立基于目标的特征数据库。
另外，类似的，可以预先生成并存储多个目标分别对应的视频片段。所述视频片段的生成方式，可以包括：在检测完毕所述视频中所有视频帧所包含的目标后，确定包含各个目标的视频帧，基于所确定出的包含各个目标的视频帧，得到各个目标对应的视频片段。
其中，可以利用现有技术，实现：基于所确定出的包含各个目标的视频帧，得到各个目标对应的视频片段，本发明实施例在此不对其进行赘述。
另外，本领域技术人员可以理解的是，构建特征数据库和生成视频片段，可以部署在视频处理服务器组上，其硬件配置可以为CPU：Xeon3.0G*N；内存：16G以上；硬盘：300G*2，RAID0+1。
执行S101-S104，可以部署在检索服务器组上，其硬件配置可以为CPU：Xeon2.4G；内存：64G以上；硬盘：300G*2,RAID0+1。
视频片段和特征数据库，可以存储在存储磁盘阵列，其硬件配置可以为：存储容量(GB)：10000以上；平均传输速率(MB/S)：200M以上；RAID(Redundant Arrays ofIndependent Disks，磁盘阵列)支持：0，0+1，1，5，6，10，50，JBOD(Just a Bunch Of Disks，磁盘簇)。
可见，在提取出特定目标后，无需针对视频数据库的目标视频的每一帧，执行待匹配区域选取、待匹配区域的特征提取、特征相似度匹配等步骤，而是可以根据量化编码后的第一特征数据和特征数据库，直接从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，简化针对特定目标对应视频片段的搜索过程，搜索花费的时间变得较短，从而提高目标对应视频片段的搜索效率。
相应于上述方法实施例，本发明实施例还提供了一种视频片段查询装置。
需要说明的是，本发明实施例提供的一种视频片段查询装置可以优选应用于与视频片段查询方法相同的服务器。
图2为本发明实施例提供的视频片段查询装置的一种结构示意图。如图2所示，本发明实施例所提供的视频片段查询装置，可以包括：获得模块201、提取模块202、第一确定模块203和第二确定模块204；
获得模块201，用于获得作为查询依据的图像；
提取模块202，用于提取所述图像包含的特定目标，其中，所述特定目标属于可运动型的目标；
第一确定模块203，用于确定所述特定目标的第一特征数据，并对所述第一特征数据进行量化编码；
第二确定模块204，用于根据量化编码后的第一特征数据和特征数据库，从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，其中，所述特征数据库包括多个目标所对应的量化编码后的第二特征数据，一个视频片段对应所述多个目标中的一个目标，且所述多个目标和所述多个视频片段均基于作为查询库的视频数据库所确定。
具体的，所述装置还包括特征数据库构建模块和视频片段生成模块；其中，所述特征数据库构建模块包括：目标检测子模块、特征数据提取子模块、量化编码子模块和数据库构建子模块；
所述目标检测子模块，用于解码所述视频数据库中的视频，检测每一采样视频帧包含的目标，其中，所述目标属于可运动型的目标；
所述特征数据提取子模块，用于针对每个目标，提取所述目标的第二特征数据；
所述量化编码子模块，用于对所提取的第二特征数据进行量化编码；
所述数据库构建子模块，用于利用量化编码后的第二特征数据，建立特征数据库；
所述视频片段生成模块，用于在检测完毕所述视频中所有视频帧所包含的目标后，确定包含各个目标的视频帧，基于所确定出的包含各个目标的视频帧，得到各个目标对应的视频片段。
具体的，所述特征数据提取子模块，具体用于：
对检测到的目标进行分类；
针对每个目标，提取与所述目标相关的第二预定特征的第二特征数据，其中，所述第二预定特征为所述目标所属的类别所对应的特征。
具体的，所述提取模块，具体用于：
提取所述图像包含的特定目标，并获得所述特定目标所属的类别；
所述第一确定模块，具体用于：
确定与所述特定目标相关的第一预定特征的第一特征数据，其中，所述第一预定特征为所述特定目标所属的类别所对应的特征。
具体的，所述第二确定模块，包括：
相似度确定子模块，用于将所述特定目标的量化编码后的第一特征数据，与特征数据库包含的所有目标的量化编码后的第二特征数据进行比对，得到所有目标与特定目标的相似度；
目标确定子模块，用于确定与所述特定目标的相似度达到预设阈值的目标；
片段查询子模块，用于从预先存储的多个视频片段中，查询所确定的目标对应的视频片段；
片段确定子模块，用于将所查询到的视频片段，确定为所述特定目标对应的视频片段。
可见，在提取出特定目标后，无需针对视频数据库的目标视频的每一帧，执行待匹配区域选取、待匹配区域的特征提取、特征相似度匹配等步骤，而是可以根据量化编码后的第一特征数据和特征数据库，直接从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，简化针对特定目标对应视频片段的搜索过程，搜索花费的时间变得较短，从而提高目标对应视频片段的搜索效率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种视频片段查询方法，其特征在于，所述方法包括：
获得作为查询依据的图像；
提取所述图像包含的特定目标，其中，所述特定目标属于可运动型的目标；
确定所述特定目标的第一特征数据,并对所述第一特征数据进行量化编码；
根据量化编码后的第一特征数据和特征数据库，从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，其中，所述特征数据库包括多个目标所对应的量化编码后的第二特征数据，一个视频片段对应所述多个目标中的一个目标，且所述多个目标和所述多个视频片段均基于作为查询库的视频数据库所确定。
2.根据权利要求1所述的方法，其特征在于，所述特征数据库的构建过程，包括：
解码所述视频数据库中的视频，检测每一采样视频帧包含的目标，其中，所述目标属于可运动型的目标；
针对每个目标，提取所述目标的第二特征数据；
对所提取的第二特征数据进行量化编码；
利用量化编码后的第二特征数据，建立特征数据库；
所述视频片段的生成方式，包括：
在检测完毕所述视频中所有视频帧所包含的目标后，确定包含各个目标的视频帧，基于所确定出的包含各个目标的视频帧，得到各个目标对应的视频片段。
3.根据权利要求2所述的方法，其特征在于，所述针对每个目标，提取所述目标的第二特征数据，包括：
对检测到的目标进行分类；
针对每个目标，提取与所述目标相关的第二预定特征的第二特征数据，其中，所述第二预定特征为所述目标所属的类别所对应的特征。
4.根据权利要求3所述的方法，其特征在于，所述提取所述图像包含的特定目标，包括：
提取所述图像包含的特定目标，并获得所述特定目标所属的类别；
所述确定所述特定目标的第一特征数据，包括：
确定与所述特定目标相关的第一预定特征的第一特征数据，其中，所述第一预定特征为所述特定目标所属的类别所对应的特征。
5.根据权利要求1所述的方法，其特征在于，所述根据量化编码后的第一特征数据和特征数据库，从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，包括：
将所述特定目标的量化编码后的第一特征数据，与特征数据库包含的所有目标的量化编码后的第二特征数据进行比对，得到所有目标与特定目标的相似度；
确定与所述特定目标的相似度达到预设阈值的目标；
从预先存储的多个视频片段中，查询所确定的目标对应的视频片段；
将所查询到的视频片段，确定为所述特定目标对应的视频片段。
6.一种视频片段查询装置，其特征在于，所述装置包括：
获得模块，用于获得作为查询依据的图像；
提取模块，用于提取所述图像包含的特定目标，其中，所述特定目标属于可运动型的目标；
第一确定模块，用于确定所述特定目标的第一特征数据，并对所述第一特征数据进行量化编码；
第二确定模块，用于根据量化编码后的第一特征数据和特征数据库，从预先存储的多个视频片段中，确定所述特定目标对应的视频片段，其中，所述特征数据库包括多个目标所对应的量化编码后的第二特征数据，一个视频片段对应所述多个目标中的一个目标，且所述多个目标和所述多个视频片段均基于作为查询库的视频数据库所确定。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括特征数据库构建模块和视频片段生成模块；其中，所述特征数据库构建模块包括：目标检测子模块、特征数据提取子模块、量化编码子模块和数据库构建子模块；
所述目标检测子模块，用于解码所述视频数据库中的视频，检测每一采样视频帧包含的目标，其中，所述目标属于可运动型的目标；
所述特征数据提取子模块，用于针对每个目标，提取所述目标的第二特征数据；
所述量化编码子模块，用于对所提取的第二特征数据进行量化编码；
所述数据库构建子模块，用于利用量化编码后的第二特征数据，建立特征数据库；
所述视频片段生成模块，用于在检测完毕所述视频中所有视频帧所包含的目标后，确定包含各个目标的视频帧，基于所确定出的包含各个目标的视频帧，得到各个目标对应的视频片段。
8.根据权利要求7所述的装置，其特征在于，所述特征数据提取子模块，具体用于：
对检测到的目标进行分类；
针对每个目标，提取与所述目标相关的第二预定特征的第二特征数据，其中，所述第二预定特征为所述目标所属的类别所对应的特征。
9.根据权利要求8所述的装置，其特征在于，所述提取模块，具体用于：
提取所述图像包含的特定目标，并获得所述特定目标所属的类别；
所述第一确定模块，具体用于：
确定与所述特定目标相关的第一预定特征的第一特征数据，其中，所述第一预定特征为所述特定目标所属的类别所对应的特征。
10.根据权利要求6所述的装置，其特征在于，所述第二确定模块，包括：相似度确定子模块，用于将所述特定目标的量化编码后的第一特征数据，与特征数据库包含的所有目标的量化编码后的第二特征数据进行比对，得到所有目标与特定目标的相似度；
目标确定子模块，用于确定与所述特定目标的相似度达到预设阈值的目标；
片段查询子模块，用于从预先存储的多个视频片段中，查询所确定的目标对应的视频片段；
片段确定子模块，用于将所查询到的视频片段，确定为所述特定目标对应的视频片段。
CN201710267378.1A 2017-04-21 2017-04-21 一种视频片段查询方法及装置 Pending CN107122439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710267378.1A CN107122439A (zh) 2017-04-21 2017-04-21 一种视频片段查询方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710267378.1A CN107122439A (zh) 2017-04-21 2017-04-21 一种视频片段查询方法及装置

Publications (1)

Publication Number Publication Date
CN107122439A true CN107122439A (zh) 2017-09-01

Family

ID=59725318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710267378.1A Pending CN107122439A (zh) 2017-04-21 2017-04-21 一种视频片段查询方法及装置

Country Status (1)

Country Link
CN (1) CN107122439A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609104A (zh) * 2017-09-12 2018-01-19 中广热点云科技有限公司 根据视频图像素材查找相关视频的方法和系统
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
CN108090442A (zh) * 2017-12-15 2018-05-29 四川大学 一种基于卷积神经网络的机场场面监视方法
CN108268598A (zh) * 2017-12-18 2018-07-10 苏州航天系统工程有限公司 一种基于视频图像数据的分析系统及分析方法
CN108932509A (zh) * 2018-08-16 2018-12-04 新智数字科技有限公司 一种基于视频跟踪的跨场景目标检索方法及装置
CN109408671A (zh) * 2018-07-23 2019-03-01 中国联合网络通信集团有限公司 特定目标的搜索方法及其系统
CN111209431A (zh) * 2020-01-13 2020-05-29 上海极链网络科技有限公司 一种视频搜索方法、装置、设备及介质
CN110309765B (zh) * 2019-06-27 2021-08-24 浙江工业大学 一种视频运动目标高效检测方法
CN115529460A (zh) * 2021-10-29 2022-12-27 深圳小悠娱乐科技有限公司 一种基于内容编码的实现动态马赛克的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103609A (zh) * 2009-12-21 2011-06-22 北京中星微电子有限公司 一种信息检索方法及系统
CN103475935A (zh) * 2013-09-06 2013-12-25 北京锐安科技有限公司 一种视频片段的检索方法及装置
CN104636505A (zh) * 2015-03-13 2015-05-20 北京世纪互联宽带数据中心有限公司 一种视频检索方法及装置
CN105468781A (zh) * 2015-12-21 2016-04-06 小米科技有限责任公司 视频查询方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103609A (zh) * 2009-12-21 2011-06-22 北京中星微电子有限公司 一种信息检索方法及系统
CN103475935A (zh) * 2013-09-06 2013-12-25 北京锐安科技有限公司 一种视频片段的检索方法及装置
CN104636505A (zh) * 2015-03-13 2015-05-20 北京世纪互联宽带数据中心有限公司 一种视频检索方法及装置
CN105468781A (zh) * 2015-12-21 2016-04-06 小米科技有限责任公司 视频查询方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609104A (zh) * 2017-09-12 2018-01-19 中广热点云科技有限公司 根据视频图像素材查找相关视频的方法和系统
CN107609104B (zh) * 2017-09-12 2020-09-08 中广热点云科技有限公司 根据视频图像素材查找相关视频的方法和系统
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
CN108090442A (zh) * 2017-12-15 2018-05-29 四川大学 一种基于卷积神经网络的机场场面监视方法
CN108268598A (zh) * 2017-12-18 2018-07-10 苏州航天系统工程有限公司 一种基于视频图像数据的分析系统及分析方法
CN109408671A (zh) * 2018-07-23 2019-03-01 中国联合网络通信集团有限公司 特定目标的搜索方法及其系统
CN108932509A (zh) * 2018-08-16 2018-12-04 新智数字科技有限公司 一种基于视频跟踪的跨场景目标检索方法及装置
CN110309765B (zh) * 2019-06-27 2021-08-24 浙江工业大学 一种视频运动目标高效检测方法
CN111209431A (zh) * 2020-01-13 2020-05-29 上海极链网络科技有限公司 一种视频搜索方法、装置、设备及介质
CN115529460A (zh) * 2021-10-29 2022-12-27 深圳小悠娱乐科技有限公司 一种基于内容编码的实现动态马赛克的方法

Similar Documents

Publication Publication Date Title
CN107122439A (zh) 一种视频片段查询方法及装置
CN107885764B (zh) 基于多任务深度学习快速哈希车辆检索方法
CN107291910A (zh) 一种视频片段结构化查询方法、装置及电子设备
CN102110122B (zh) 一种建立样本图片索引表和图片过滤、搜索方法及装置
CN102622607B (zh) 一种基于多特征融合的遥感图像分类方法
CN105320705B (zh) 相似车辆的检索方法及装置
Maurya et al. Road extraction using k-means clustering and morphological operations
Li et al. A novel approach to hyperspectral band selection based on spectral shape similarity analysis and fast branch and bound search
CN104239898A (zh) 一种快速卡口车辆比对和车型识别方法
CN109815775A (zh) 一种基于人脸属性的人脸识别方法及系统
CN113918753A (zh) 基于人工智能的图像检索方法及相关设备
CN111368867B (zh) 档案归类方法及系统、计算机可读存储介质
Khan et al. Automatic target recognition in infrared imagery using dense hog features and relevance grouping of vocabulary
CN110874417A (zh) 数据检索的方法和装置
Song et al. Fingerprint indexing based on pyramid deep convolutional feature
Raja et al. An effective contour detection based image retrieval using multi-fusion method and neural network
Murugan et al. Vehicle logo recognition using RCNN for intelligent transportation systems
CN111428064B (zh) 小面积指纹图像快速索引方法、装置、设备及存储介质
CN113222109A (zh) 一种基于多源异构数据聚合技术的物联网边缘算法
Wu et al. Mixed Pattern Matching‐Based Traffic Abnormal Behavior Recognition
Li et al. Incremental learning of infrared vehicle detection method based on SSD
Khare et al. Keyframe extraction using binary robust invariant scalable keypoint features
Das et al. Image splicing detection based on deep convolutional neural network and transfer learning
Li et al. A novel fingerprint indexing approach focusing on minutia location and direction
Kishore et al. Vehicle ReID: learning robust feature using vision transformer and gradient accumulation for vehicle re-identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170901

RJ01 Rejection of invention patent application after publication