CN110110147A - 一种视频检索的方法及装置 - Google Patents

一种视频检索的方法及装置 Download PDF

Info

Publication number
CN110110147A
CN110110147A CN201711447279.8A CN201711447279A CN110110147A CN 110110147 A CN110110147 A CN 110110147A CN 201711447279 A CN201711447279 A CN 201711447279A CN 110110147 A CN110110147 A CN 110110147A
Authority
CN
China
Prior art keywords
video
information
characteristic information
image
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711447279.8A
Other languages
English (en)
Inventor
贾嘉
俞婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201711447279.8A priority Critical patent/CN110110147A/zh
Priority to PCT/CN2018/123938 priority patent/WO2019129075A1/zh
Publication of CN110110147A publication Critical patent/CN110110147A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Abstract

一种视频检索的方法及装置，该方法包括：接收到用户选择的目标图像后，对所述目标图像进行图形识别，提取出特征信息，将所述特征信息保存为视频标识；对当前播放的视频或指定视频或本地存储的全部视频的每一帧或抽样帧进行图像识别，当识别到存在与所述特征信息相同或近似的特征信息时，更新所述视频标识；接收到检索指令后，根据所述检索指令携带的信息对所述视频标识进行检索。本方案可以加快视频文件检索速度，提升视频文件检索准确度，增强安卓系统手机的用户体验。

Description

一种视频检索的方法及装置
技术领域
本公开实施例涉及但不限于信息处理领域，尤指一种视频检索的方法及装置。
背景技术
安卓系统手机具备视频录像功能，随着手机存储容量的提升和手机视频应用的扩展，采用安卓系统手机进行视频录像的场景越来越多，从而会在安卓系统手机中存储大量的视频文件。安卓系统手机采用SQLite数据库进行安卓系统数据管理，类似管理图片文件和音频文件，SQLite记录视频文件相关信息，如：视频文件名、视频格式、视频尺寸、视频时长、视频分辨率、视频帧率等。用户通过安卓系统手机中的文件管理器应用获取视频文件名列表，通过点击视频文件名进行视频播放。
现有安卓系统手机在使用过程中，经常会拍摄大量视频。视频文件中包含通过压缩算法进行压缩后的多帧图像，若需获取完整视频内容，则须对视频文件进行解压。由于视频文件的压缩特性，以及图像的图形化表现形式，导致视频文件无法像图片一样，通过缩略图获取完整信息，也无法像文本文件一样，直接搜索文本文件中的内容。同时，安卓系统手机通过SQLite数据库管理视频、音频、图片等多媒体文件，SQLite数据库仅通过读取多媒体文件头信息建立数据索引，故无法准确描述视频文件内容，导致用户无法有效管理视频文件，无法快速检索目标视频文件。
现有的视频检索方法，如：用户针对视频某一特定帧标注文字信息，后续通过该文字信息检索该图像帧，存在以下缺点：
用户只能手动一个个标注文字信息，工作量大，且标注不全。
只能在该视频文件中检索已标记的文字标签，无法跨视频进行检索。
无法根据现有的标记进行自动分类，可维护性差，检索难度大。
发明内容
本发明实施例提供一种视频检索的方法及装置，以提升视频文件检索准确度。
一种视频检索的方法，包括：
接收到用户选择的目标图像后，对所述目标图像进行图形识别，提取出特征信息，将所述特征信息保存为视频标识；
对当前播放的视频或指定视频或本地存储的全部视频的每一帧或抽样帧进行图像识别，当识别到存在与所述特征信息相同或近似的特征信息时，更新所述视频标识；
接收到检索指令后，根据所述检索指令携带的信息对所述视频标识进行检索。
可选地，所述对所述目标图像进行图形识别，提取出特征信息，包括：
确定所述目标图像的标识区域，对所述标识区域进行边缘检测，提取出主要对象的特征信息，所述主要对象包括以下的任一种：占区域面积最大的对象，颜色与其他颜色色差区别最大的对象，清晰度最高的对象。
可选地，所述主要对象的特征信息包括以下的一项或多项：
主要对象的类型、主要对象的色彩、主要对象占整帧图像的面积比例、主要对象位于整帧图像的所在区域。
可选地，所述对所述目标图像进行图形识别，提取出特征信息，还包括：
识别所述标识区域内的一个或多个次要对象，获得对应的次要特征信息。
可选地，所述对所述目标图像进行图形识别，提取出特征信息，还包括：
接收用户标注的特征信息。
可选地，所述对所述目标图像进行图形识别，提取出特征信息，还包括：
对所述标识区域进行增大，识别增大的标识区域内的辅助特征信息。
可选地，所述视频标识对应的信息还包括以下的一项或多项：
所述特征信息对应的特征图片、所述特征信息位于视频中的时间信息、视频文件的文件信息。
可选地，所述检索指令的信息包括特征图像，所述接收到检索指令之前包括，显示所有视频标识对应的特征图片，
所述根据所述检索指令的信息对所述视频标识进行检索，包括：根据所述特征图像获取对应的标识名称，根据所述标识名称查找数据库中的所有视频标识，获取所述标识名称对应的视频文件信息。
一种视频检索的装置，其中，包括：
识别模块，用于接收到用户选择的目标图像后，对所述目标图像进行图形识别，提取出特征信息，将所述特征信息保存为视频标识；
标识模块，用于对当前播放的视频或指定视频或本地存储的全部视频的每一帧或抽样帧进行图像识别，当识别到存在与所述特征信息相同或近似的特征信息时，更新所述视频标识；
检索模块，用于接收到检索指令后，根据所述检索指令的信息对所述视频标识进行检索。
可选地，所述识别模块,对所述目标图像进行图形识别，提取出特征信息，包括：确定所述目标图像的标识区域，对所述标识区域进行边缘检测，提取出主要对象的特征信息，所述主要对象包括以下的任一种：占区域面积最大的对象，颜色与其他颜色色差区别最大的对象，清晰度最高的对象，
所述主要对象的特征信息包括以下的一项或多项：
主要对象的类型、主要对象的色彩、主要对象占整帧图像的面积比例、主要对象位于整帧图像的所在区域。
可选地，所述识别模块，对所述目标图像进行图形识别，提取出特征信息，还包括：识别所述标识区域内的一个或多个次要对象，获得对应的次要特征信息。
可选地，所述识别模块，对所述目标图像进行图形识别，提取出特征信息，还包括：接收用户标注的特征信息。
可选地，所述识别模块，对所述目标图像进行图形识别，提取出特征信息，还包括：对所述标识区域进行增大，识别增大的标识区域内的辅助特征信息。
可选地，所述视频标识对应的信息还包括以下的一项或多项：
所述特征信息对应的特征图片、所述特征信息位于视频中的时间信息、视频文件的文件信息。
可选地，所述装置还包显示模块，
所述显示模块，在所述检索模块接收到检索指令之前，用于显示所有视频标识对应的特征图片，所述检索指令携带的信息包括特征图像，
所述检索模块，根据所述检索指令携带的信息对所述视频标识进行检索，包括：根据所述特征图像获取对应的标识名称，根据所述标识名称查找数据库中的所有视频标识，获取所述标识名称对应的视频文件信息。
一种视频检索的装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令被所述处理器执行时，实现如上述的方法。
综上，本发明实施例提供一种视频检索的方法及装置，可以加快视频文件检索速度，提升视频文件检索准确度，增强安卓系统手机的用户体验。
附图说明
图1为本公开实施例的一种视频检索的方法的流程图；
图2为安卓系统原有的系统结构框图；
图3为本实施例提供的一种视频检索的方法的系统结构框；
图4为本实施例提供的一种视频检索的方法的目标标记引擎框图；
图5为本发明实施例的一种视频检索的装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1为本公开实施例的一种视频检索的方法的流程图，如图1所示，本实施例的方法包括：
步骤10、接收到用户选择的目标图像后，对所述目标图像进行图形识别，提取出特征信息，将所述特征信息保存为视频标识；
步骤20、对当前播放的视频或指定视频或本地存储的全部视频的每一帧或抽样帧进行图像识别，当识别到存在与所述特征信息相同或近似的特征信息时，更新所述视频标识；
步骤30、接收到检索指令后，根据所述检索指令的信息对所述视频标识进行视频检索。
本实施例中，可由用户标记目标图像，并针对用户标记的对象进行图形识别，识别出其特征信息，并保存为视频标识。所述目标图像可以在视频录制或者播放过程中选择的，也可以是用户自己选择的图像。
本实施例的方法只需用户进行一次标识，即可针对该视频乃至所有本地视频文件更新该视频标识，记录下所有涉及到的视频文件信息和各视频中视频标识出现的时间点/时间范围。便于用户通过文字或者图片的方式，快速地检索视频，找到目标对象出现的所有视频时间点，并快速定位和查看。此外，本方案还能对用户标记的对象识别出多个特征信息(类别指针)，如：主要特征信息(类别指针)、次要特征信息(类别指针)、辅助特征信息(类别指针)，并进行记录，便于后续使用中的视频分类，以及便于用户进行检索。
本实施例的方法存在以下优点：
一：用户只需一次标记，即可获得所有本地视频关于该对象的所有时间标签，而现有技术只能用户手动一个个标记。
二、借助“主要特征信息(类别指针)”、“次要特征信息(类别指针)”、“辅助特征信息(类别指针)”的一种或多种，对视频标识增加若干个类别标记，可对所有视频标识进行自动分类，便于后续的归类和用户检索。
三、因为是根据“特征信息”针对视频来更新视频标识，在对象涉及到人脸的时候，不受到对象年龄或者打扮的影响，使得结果更为准确。
在一实施例中，步骤10可以包括以下步骤：
步骤11：录制视频或播放视频过程中，接收用户的选定操作。
具体的，选定操作可以为点选、框选、圈选，也可以通过压力大小选择对应的选定区域。
步骤12：根据用户的选定操作，确定标识区域。
步骤13：对标识区域进行图像分析，提取其特征信息。
步骤14：将该标识区域的特征信息保存为视频标识，记录该标识区域的特征信息、标识区域位于该视频的时间点信息，还可进一步记录该视频文件的文件信息和/或该标识区域的特征图片。
步骤20中，可以对视频的每一帧/抽样帧(如：每隔10帧，或者20帧，抽样一帧，或每隔一段时间，如2秒抽样一帧)进行图像分析，当识别到存在与现有视频标识相同或近似的特征信息时，更新该视频标识，具体为，在视频标识信息中，增加该标识区域在该视频中出现的新的时间点信息。
可选的，局部/全局扫描部分/全部视频文件，根据视频标识的特征信息对每帧/抽样帧进行检索，以更新视频标识。
其中，步骤13中“对标识区域进行图像分析，提取其特征信息”，具体包括：
步骤1300：在用户选定的区域内，进行边缘检测，识别出主要对象。根据该主要对象识别出相应的“类别指针”，即主要特征信息(类别指针)。
可选的，步骤13还可包括：“步骤1301”、“步骤1302”、“步骤1303”中的一个或多个，而先后顺序无限定。
步骤1301，识别该标识区域内的一个或多个次要对象，获得对应的次要特征信息(类别指针)。
步骤1302，在用户事先标记或者事后编辑视频标识信息的情况下，进一步获得用户标注的“类别指针”，即手动特征信息(类别指针)。
步骤1303，扩大标记对象范围，识别辅助特征信息(类别指针)。
在一实施例中，步骤20的视频标识检索流程，可以包括以下方法：
方法一：图片检索接口：
步骤2011：向用户显示所有/部分视频标识对应的特征图片。
可选的，根据特征信息的类别指针进行分类显示，当同类别图片超出一定数量时，可部分进行隐藏。
步骤2012：接收用户的选择，并获得该特征图片对应的标识名称。
标识名称包含了特征图片相关信息，以此与待检索的视频进行检索匹配。标识名称属于特征图片范畴，视屏标识属于特征视频范畴，特征视频包含多幅图片，其中若干图片为特征图片(并非所有图片为标识图片)。
步骤2013：根据上述标识名称对所有视频标识进行检索，获得对应的“视频文件信息”，并显示给用户。具体呈现方式可以为：文件的方式，也可以为缩略视频文件的方式。所述视频文件信息包括：包括视频文件路径，视频文件名称，视频文件缩略图，视频文件内容简介等。
可选的，视频文件打开后，在进度条上视频标识出现的位置显示特殊标记。
可选的，在进行图像分类时，主要特征信息(类别指针)的优先级大于次要特征信息(类别指针)大于辅助特征信息(类别指针)，或主要特征信息(类别指针)的优先级大于辅助特征信息(类别指针)大于次要特征信息(类别指针)，手动特征信息(类别指针)的优先级不进行限定。
方法二：文字检索接口：
步骤2021：接收用户输入的文字检索信息。
步骤2022：根据文字检索信息，对所有视频标识进行检索。
具体为，检索视频标识的“主要特征信息(类别指针)”、“次要特征信息(类别指针)”字段、“手动特征信息(类型指针)”、“辅助特征信息(类别指针)”的一种或多种。
步骤2023：将检索命中的视频标识的“视频文件信息”显示给用户。可以为文件的方式，也可以为缩略视频文件的方式。
可选的，也可根据用户输入的文字检索词，在所有视频标识中查找其近似词。
本公开实施例的应用环境可以为安卓系统手机，也可以为其他操作系统。以下，以安卓系统为例进行说明。
在安卓系统手机中，存在各种多媒体应用，涉及拍照/查看图片、录制/播放视频、录制/播放音频等。若用户进行拍照/查看图片、录制/播放视频、录制/播放音频等，安卓系统手机会在存储设备中生成相应的图片、视频、音频等文件，同时，安卓系统手机采用SQLite数据库管理多媒体文件，其会扫描存储设备，为新生成的图片、视频、音频等文件建立数据库索引。SQLite数据库索引基于图片、视频、音频等文件的文件头信息建立(多媒体文件头信息包括：视频文件名、视频格式、视频尺寸、视频时长、视频分辨率、视频帧率等)。安卓系统手机包含文件管理器应用，其通过查询SQLite数据库，创建文件列表视图并呈现给用户，供用户选择。
图2为安卓系统原有的系统结构框图，如图2所示，Camcorder(视频录制应用)、Video Player(视频播放应用)、File Explorer(文件管理器应用)等模块通过MediaProvider(媒体提供者)与SQLite Engine(引擎)交互，创建多媒体文件数据索引。视频录制应用录制视频完成后，将视频文件索引信息(如：视频文件名、视频格式、视频尺寸、视频时长、视频分辨率、视频帧率等)写入Media Provider数据库。视频播放应用和文件管理器应用从Media Provider数据库读取视频文件索引信息，用户根据索引信息选择所需的视频文件。
图3为本实施例提供的一种视频检索的方法的系统结构框图，如图3所示，Camcorder(视频录制应用)、Video Player(视频播放应用)、File Explorer(文件管理器应用)等模块通过与Object Marker(目标标记)模块交互，实现视频标记和视频检索，视频标记数据通过Media Provider写入多媒体文件数据库。
视频录制应用在录制视频过程中/视频播放应用在播放视频过程中，ObjectMarker获取每帧/抽样帧图像数据，由用户进行标记，对其进行目标检测、目标追踪、目标识别，并记录为视频标识。
文件管理器应用从Media Provider获取视频文件索引，并根据Media Provider数据库中的视频标记信息，为用户显示更为详细的视频内容信息，同时会显示已标记的目标图像缩略图，从而为用户提供更为直观的视频索引。
图4为本实施例提供的一种视频检索的方法的目标标记引擎框图，如图4所示，Object Marker Engine(目标标记引擎)对Object Detection(目标检测)、ObjectTracking(目标追踪)、Object Recognize(目标识别)、Object Mark(目标标记)等模块进行调度。目标标记引擎与Video Encoder/Decoder(视频编/解码器)交互，获取视频每帧/抽样帧图像。目标标记引擎与Media Provider交互，将视频标识信息写入多媒体数据库索引中。
接收用户的标记操作，如在“视频文件1”的00：44秒选定框区域(例如一男子头像)，对框区域内的图像进行图像识别，提取特征信息，并保存为视频标识A，如表1所示：
表1
对“视频文件1”的每一帧/抽样帧(如：每隔10帧，或者20帧，抽样一帧，或每隔一段时间，如2秒抽样一帧)进行图像分析，当出现与特征信息A相同的信息时，更新视频标识A。举例，如果该男子在视频的00：15，00：44，01:35开始出现，则更新视频标识A，如表2所示：
表2
可选的，所在时间位置信息，还可以时间区间的方式进行记录，如【00：44-01:10】。
在步骤1300中，在用户选定的区域内，进行边缘检测，识别出主要对象。
其中，主要对象的选择可以是所占区域面积最大的对象，可以是颜色与其他颜色色差区别最大的对象，也可以是清晰度最高的对象或其他某一识别因素最大的对象。
根据该主要对象识别出相应的“类别指针”，“类别指针”具体为：主要对象的类型、主要对象的色彩、主要对象占整帧图像的面积比例、主要对象位于整帧图像的所在区域中的一项或多项。类别指针可以是具体数值、具体类别，也可以是区间范围。示例如表3所示：
表3
步骤13中，使用的图像分析方法可以为：SIFT(Scale-invariant featuretransform，尺度不变特征变换)/SURF(Speeded Up Robust Features，加速稳健特征)、haar(哈尔小波转换)特征、广义hough(霍夫)变换等方法。
步骤1301中，识别该标识区域内的一个或多个次要对象，获得对应的次要特征信息(类别指针)。例如：
例1：可根据视频标识A的特征信息A进一步识别出次要对象，如“棕色眼睛”、“棕色短发”、“黄色帽子”，并将该信息更新到视频标识A中，如保存字段次要特征信息(类别指针1_1)：眼睛；次要特征信息(类别指针1_2)：棕色；次要特征信息(类别指针2_1)：短发；次要特征信息(类别指针2_2)：棕色；次要特征信息(类别指针3_1)：帽子；次要特征信息(类别指针3_2)：黄色。保存信息如表4所示：
表4
例2：用户标识了一个海滩，海滩上还有“占图像比例12％的褐色礁石”、“占图像比例5％的白色贝壳”，则识别次要对象后，保存次要特征信息(类别指针如下)，如表5所示：
表5
步骤1302，在用户事先标记或者事后编辑视频标识信息的情况下，进一步获得用户标注的手动特征信息(类别指针)，或将已识别到的类别指针提供给用户确认。如：用户标记“James”，“记者”或其他标签。如表5所示：
表6
步骤1303中，扩大标记对象范围，识别辅助特征信息，获得对应的“类别指针”。具体可以是，根据边缘检测，对选定标记对象的区域范围进行增大，从而增加可识别的信息，例如：原用户圈选的对象A的人脸部分，除了识别人脸部分的特征信息得出类别指针外，还可利用边缘识别技术将标记对象扩展到对象A的全身，并提取新的特征信息进行识别，并将结果作为辅助特征信息进行存储，例如，特征“蓝色衬衫”，“工卡”。同理，视频标识B(橙色橘子、蓝色西装)、视频标识C(黄色帽子、红色领结)经识别以后，保存信息如表7所示：
表7
可选的，当系统新增新的视频标识后，针对部分视频文件或者全部视频文件更新该视频标识信息。例如，新增视频标识A且已针对“视频文件1”更新视频标识A后，进一步针对其他视频如“视频文件2”、“视频文件3”、“视频文件4”等视频文件，更新视频标识A，如表8所示：
表8
实施例2：
根据视频标识中的各种特征信息(类别指针)字段，向用户分类显示所有视频标识的特征图片。
用户点击某一特征图片，检索与其相关的视频信息。具体为，获得该特征图片对应的标识名称，根据标识名称查找数据库中的所有视频标识信息，获得该标识名称对应的视频文件信息，或视频文件信息及其所在时间位置。将检索结果呈现给用户。具体呈现方式可以为：文件夹的方式，也可以为缩略视频文件的方式。
特征图片为用户选择的图片，包含了用户感兴趣的信息；标识名称可认为是数据库索引，用于通过特征图片来查找/匹配数据库中所有标识名称所对应的视频标识。视频标识与视频文件一一对应，视频信息包括：视频文件路径，视频文件名称，视频文件缩略图，视频文件内容简介等。
实施例3：
用户输入文字检索词进行检索，如“手机”，则检索数据库中所有视频标识的“主要特征信息(类别指针)”字段，查找与手机相关的视频标识信息，并将检索结果的特征图片呈现给用户，即，显示视频标识E与视频标识F对应的特征图片。可选的，也可根据用户输入的文字检索词，在所有视频标识中查找其近似词。如表9所示：
表9
可选的，检索时，也可同时检索视频标识的“主要特征信息(类别指针)”字段、“次要特征信息(类别指针)”字段、“手动特征信息(类别指针)”字段”、“辅助特征信息(类别指针)”字段的一种或多种。优先级上，“主要特征信息(类别指针)”大于“次要特征信息(类别指针)”大于“辅助特征信息(类别指针)”，或优先级主要特征信息(类别指针)”大于“辅助特征信息(类别指针)”大于“次要特征信息(类别指针)”，“特征信息(类别指针)”优先级本发明不进行限制，均可。
系统接收用户输入的关键词/关键语句，对关键词/关键语句进行分词，得到若干个字/词。针对获得的字/词分别在所有视频标识的“主要特征信息(类别指针)”、“次要特征信息(类别指针)”、“手动特征信息(类别指针)”、“辅助特征信息(类别指针)”的一种或多种中进行检索，每命中一个字/词，即在该视频标识的相关指数上进行累加或乘以一定比例系数或两者的组合。对所有视频标识的相关指数进行排序，优先向用户呈现与检索结果相关度较大的视频文件。
本实施例可以通过用户的一次标记，对标记图像进行图像分析，提取特征信息，并根据特征信息查找当前视频或者其他视频中相同的图像，并据此更新视频标识。更新后的视频标识信息中记录了本地所有出现该图像的全部视频的所有时间点信息，还包括根据特征信息得到的“特征信息(类别指针)”。借助视频标识，用户可通过文字或者图片快速检索并定位到所有相关视频的所有时间点，达到快速检索的技术效果。
此外，本方案还能对用户标记的对象识别出多个特征信息(类别指针)，如：主要特征信息(类别指针)、次要特征信息(类别指针)、辅助特征信息(类别指针)，并进行记录，便于后续使用中的视频分类，以及便于用户进行检索。
图5为本发明实施例的一种视频检索的装置的示意图，如图5所示，本实施例的装置可以包括：
识别模块，用于接收到用户选择的目标图像后，对所述目标图像进行图形识别，提取出特征信息，将所述特征信息保存为视频标识；
标识模块，用于对当前播放的视频或指定视频或本地存储的全部视频的每一帧或抽样帧进行图像识别，当识别到存在与所述特征信息相同或近似的特征信息时，更新所述视频标识；
检索模块，用于接收到检索指令后，根据所述检索指令的信息对所述视频标识进行检索。
在一实施例中，所述识别模块,对所述目标图像进行图形识别，提取出特征信息，包括：确定所述目标图像的标识区域，对所述标识区域进行边缘检测，提取出主要对象的特征信息，所述主要对象包括以下的任一种：占区域面积最大的对象，颜色与其他颜色色差区别最大的对象，清晰度最高的对象，
所述主要对象的特征信息包括以下的一项或多项：
主要对象的类型、主要对象的色彩、主要对象占整帧图像的面积比例、主要对象位于整帧图像的所在区域。
在一实施例中，所述识别模块，对所述目标图像进行图形识别，提取出特征信息，还包括：识别所述标识区域内的一个或多个次要对象，获得对应的次要特征信息。
在一实施例中，所述识别模块，对所述目标图像进行图形识别，提取出特征信息，还包括：接收用户标注的特征信息。
在一实施例中，所述识别模块，对所述目标图像进行图形识别，提取出特征信息，还包括：对所述标识区域进行增大，识别增大的标识区域内的辅助特征信息。
在一实施例中，所述视频标识对应的信息还包括以下的一项或多项：
所述特征信息对应的特征图片、所述特征信息位于视频中的时间信息、视频文件的文件信息。
在一实施例中，所述装置还包显示模块，
所述显示模块，在所述检索模块接收到检索指令之前，用于显示所有视频标识对应的特征图片，所述检索指令携带的信息包括特征图像，
所述检索模块，根据所述检索指令携带的信息对所述视频标识进行检索，包括：根据所述特征图像获取对应的标识名称，根据所述标识名称查找数据库中的所有视频标识，获取所述标识名称对应的视频文件信息。
本发明实施例还提供一种视频检索的装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其中，当所述指令被所述处理器执行时，实现上述视频检索的方法。
本发明实施例还提供了一种计算机可读存储介质，其存储有计算机可执行指令，所述计算机可执行指令被执行时实现所述视频检索的方法。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上仅为本发明的优选实施例，当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (16)

1.一种视频检索的方法，包括：
接收到用户选择的目标图像后，对所述目标图像进行图形识别，提取出特征信息，将所述特征信息保存为视频标识；
对当前播放的视频或指定视频或本地存储的全部视频的每一帧或抽样帧进行图像识别，当识别到存在与所述特征信息相同或近似的特征信息时，更新所述视频标识；
接收到检索指令后，根据所述检索指令携带的信息对所述视频标识进行检索。
2.如权利要求1所述的方法，其特征在于：所述对所述目标图像进行图形识别，提取出特征信息，包括：
确定所述目标图像的标识区域，对所述标识区域进行边缘检测，提取出主要对象的特征信息，所述主要对象包括以下的任一种：占区域面积最大的对象，颜色与其他颜色色差区别最大的对象，清晰度最高的对象。
3.如权利要求2所述的方法，其特征在于：所述主要对象的特征信息包括以下的一项或多项：
主要对象的类型、主要对象的色彩、主要对象占整帧图像的面积比例、主要对象位于整帧图像的所在区域。
4.如权利要求2所述的方法，其特征在于：所述对所述目标图像进行图形识别，提取出特征信息，还包括：
识别所述标识区域内的一个或多个次要对象，获得对应的次要特征信息。
5.如权利要求2所述的方法，其特征在于：所述对所述目标图像进行图形识别，提取出特征信息，还包括：
接收用户标注的特征信息。
6.如权利要求2所述的方法，其特征在于：所述对所述目标图像进行图形识别，提取出特征信息，还包括：
对所述标识区域进行增大，识别增大的标识区域内的辅助特征信息。
7.如权利要求1所述的方法，其特征在于：所述视频标识对应的信息还包括以下的一项或多项：
所述特征信息对应的特征图片、所述特征信息位于视频中的时间信息、视频文件的文件信息。
8.如权利要求1所述的方法，其特征在于：
所述检索指令的信息包括特征图像，所述接收到检索指令之前包括，显示所有视频标识对应的特征图片，
所述根据所述检索指令的信息对所述视频标识进行检索，包括：根据所述特征图像获取对应的标识名称，根据所述标识名称查找数据库中的所有视频标识，获取所述标识名称对应的视频文件信息。
9.一种视频检索的装置，其特征在于，包括：
识别模块，用于接收到用户选择的目标图像后，对所述目标图像进行图形识别，提取出特征信息，将所述特征信息保存为视频标识；
标识模块，用于对当前播放的视频或指定视频或本地存储的全部视频的每一帧或抽样帧进行图像识别，当识别到存在与所述特征信息相同或近似的特征信息时，更新所述视频标识；
检索模块，用于接收到检索指令后，根据所述检索指令的信息对所述视频标识进行检索。
10.如权利要求9所述的装置，其特征在于：
所述识别模块,对所述目标图像进行图形识别，提取出特征信息，包括：确定所述目标图像的标识区域，对所述标识区域进行边缘检测，提取出主要对象的特征信息，所述主要对象包括以下的任一种：占区域面积最大的对象，颜色与其他颜色色差区别最大的对象，清晰度最高的对象，
所述主要对象的特征信息包括以下的一项或多项：
主要对象的类型、主要对象的色彩、主要对象占整帧图像的面积比例、主要对象位于整帧图像的所在区域。
11.如权利要求10所述的装置，其特征在于：
所述识别模块，对所述目标图像进行图形识别，提取出特征信息，还包括：识别所述标识区域内的一个或多个次要对象，获得对应的次要特征信息。
12.如权利要求10所述的装置，其特征在于：
所述识别模块，对所述目标图像进行图形识别，提取出特征信息，还包括：接收用户标注的特征信息。
13.如权利要求10所述的装置，其特征在于：
所述识别模块，对所述目标图像进行图形识别，提取出特征信息，还包括：对所述标识区域进行增大，识别增大的标识区域内的辅助特征信息。
14.如权利要求9所述的装置，其特征在于：所述视频标识对应的信息还包括以下的一项或多项：
所述特征信息对应的特征图片、所述特征信息位于视频中的时间信息、视频文件的文件信息。
15.如权利要求9所述的装置，其特征在于：所述装置还包显示模块，
所述显示模块，在所述检索模块接收到检索指令之前，用于显示所有视频标识对应的特征图片，所述检索指令携带的信息包括特征图像，
所述检索模块，根据所述检索指令携带的信息对所述视频标识进行检索，包括：根据所述特征图像获取对应的标识名称，根据所述标识名称查找数据库中的所有视频标识，获取所述标识名称对应的视频文件信息。
16.一种视频检索的装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令被所述处理器执行时，实现如权利要求1-8任一项所述的方法。
CN201711447279.8A 2017-12-27 2017-12-27 一种视频检索的方法及装置 Withdrawn CN110110147A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711447279.8A CN110110147A (zh) 2017-12-27 2017-12-27 一种视频检索的方法及装置
PCT/CN2018/123938 WO2019129075A1 (zh) 2017-12-27 2018-12-26 视频检索的方法和装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711447279.8A CN110110147A (zh) 2017-12-27 2017-12-27 一种视频检索的方法及装置

Publications (1)

Publication Number Publication Date
CN110110147A true CN110110147A (zh) 2019-08-09

Family

ID=67066612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711447279.8A Withdrawn CN110110147A (zh) 2017-12-27 2017-12-27 一种视频检索的方法及装置

Country Status (2)

Country Link
CN (1) CN110110147A (zh)
WO (1) WO2019129075A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598705A (zh) * 2019-09-27 2019-12-20 腾讯科技（深圳）有限公司 图像的语义标注方法及装置
CN110825909A (zh) * 2019-11-05 2020-02-21 北京字节跳动网络技术有限公司 视频图像的识别方法、装置、服务器、终端和存储介质
CN111027406A (zh) * 2019-11-18 2020-04-17 惠州Tcl移动通信有限公司 图片识别方法、装置、存储介质及电子设备
CN111241344A (zh) * 2020-01-14 2020-06-05 新华智云科技有限公司 视频查重方法、系统、服务器及存储介质
WO2020154982A1 (en) * 2019-01-30 2020-08-06 Zheng Shi System and method for composing music with physical cards
CN112347305A (zh) * 2020-12-11 2021-02-09 南京简昊智能科技有限公司 一种智能运维系统及其控制方法
CN113254702A (zh) * 2021-05-28 2021-08-13 浙江大华技术股份有限公司 一种视频录像检索的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
CN101840422A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于目标特征和报警行为的智能视频检索系统和方法
CN102509118B (zh) * 2011-09-28 2014-07-23 安科智慧城市技术（中国）有限公司 一种监控视频检索方法
US20170024384A1 (en) * 2014-09-02 2017-01-26 Netra Systems Inc. System and method for analyzing and searching imagery
CN104504121A (zh) * 2014-12-29 2015-04-08 北京奇艺世纪科技有限公司 一种视频检索方法及装置
CN104636497A (zh) * 2015-03-05 2015-05-20 四川智羽软件有限公司 一种视频数据智能检索方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020154982A1 (en) * 2019-01-30 2020-08-06 Zheng Shi System and method for composing music with physical cards
CN110598705A (zh) * 2019-09-27 2019-12-20 腾讯科技（深圳）有限公司 图像的语义标注方法及装置
CN110598705B (zh) * 2019-09-27 2022-02-22 腾讯科技（深圳）有限公司 图像的语义标注方法及装置
CN110825909A (zh) * 2019-11-05 2020-02-21 北京字节跳动网络技术有限公司 视频图像的识别方法、装置、服务器、终端和存储介质
CN111027406A (zh) * 2019-11-18 2020-04-17 惠州Tcl移动通信有限公司 图片识别方法、装置、存储介质及电子设备
CN111027406B (zh) * 2019-11-18 2024-02-09 惠州Tcl移动通信有限公司 图片识别方法、装置、存储介质及电子设备
CN111241344A (zh) * 2020-01-14 2020-06-05 新华智云科技有限公司 视频查重方法、系统、服务器及存储介质
CN111241344B (zh) * 2020-01-14 2023-09-05 新华智云科技有限公司 视频查重方法、系统、服务器及存储介质
CN112347305A (zh) * 2020-12-11 2021-02-09 南京简昊智能科技有限公司 一种智能运维系统及其控制方法
CN113254702A (zh) * 2021-05-28 2021-08-13 浙江大华技术股份有限公司 一种视频录像检索的方法及装置

Also Published As

Publication number Publication date
WO2019129075A1 (zh) 2019-07-04

Similar Documents

Publication Publication Date Title
CN110110147A (zh) 一种视频检索的方法及装置
US11334922B2 (en) 3D data labeling system over a distributed network
US10282616B2 (en) Visual data mining
US9042646B2 (en) Detecting recurring themes in consumer image collections
US8150098B2 (en) Grouping images by location
US6804684B2 (en) Method for associating semantic information with multiple images in an image database environment
Mishra et al. Image retrieval using textual cues
US6578040B1 (en) Method and apparatus for indexing of topics using foils
KR20110007179A (ko) 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치
US7099894B2 (en) Multimedia information collection control apparatus and method
JP2009543197A (ja) 画像集団を探索するための背景の使用
WO2022100352A1 (zh) 用于显示识别结果的方法和计算机系统
CN111753120A (zh) 一种搜题的方法、装置、电子设备和存储介质
KR100876214B1 (ko) 문맥기반 광고 장치와 그 방법 및 이를 구현할 수 있는컴퓨터로 읽을 수 있는 기록 매체
CN111079777B (zh) 一种基于书页定位的点读方法及电子设备
Chivadshetti et al. Content based video retrieval using integrated feature extraction and personalization of results
Vijayakumar et al. A novel method for super imposed text extraction in a sports video
CN111008295A (zh) 书页检索方法、装置、电子设备和存储介质
JPH10254901A (ja) 画像検索方法および装置
JP2005107931A (ja) 画像検索装置
CN115827951A (zh) 网页内容的优化方法、装置及设备
JP4270118B2 (ja) 映像シーンに対する意味ラベル付与方法及び装置及びプログラム
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity
CN113901053A (zh) 一种基于大数据的教材索引管理系统
Roman-Rangel et al. Retrieving ancient maya glyphs with shape context

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190809