CN107609104A - 根据视频图像素材查找相关视频的方法和系统 - Google Patents
根据视频图像素材查找相关视频的方法和系统 Download PDFInfo
- Publication number
- CN107609104A CN107609104A CN201710817451.8A CN201710817451A CN107609104A CN 107609104 A CN107609104 A CN 107609104A CN 201710817451 A CN201710817451 A CN 201710817451A CN 107609104 A CN107609104 A CN 107609104A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- frame
- target
- image material
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种根据视频图像素材查找相关视频的方法和系统，使用该方法查找视频时，首先从现有视频中选择至少一个目标素材作为参照，并且选取多个角度的图像来拼接成一个完整的空间图像素材，以解决平面图片不能完整地呈现出目标素材的全部特征、直接作为参照会大大影响查找的准确性的问题；再从空间素材中提取多个图像元素，可以是二维的或三维的细节特征，生成图像元素集，作为最终的标准参照物，以此查找其他含有该目标素材的相关视频，可以更加准确、全面，可靠性更高。通过本方法进行视频查找，可以最大限度避免因查找条件的限制导致查找范围缩小、大量相关视频被漏掉的问题。
Description
技术领域
本发明属于视频归类检索技术领域，特别涉及一种根据视频图像素材查找相关视频的方法和系统。
背景技术
从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是基于文本的图像检索技术(Text-based Image Retrieval，简称TBIR)，利用文本描述的方式描述图像的特征，如绘画作品的作者、年代、流派、尺寸等。到90年代以后，出现了对图像的内容语义，如图像的颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索(Content-based Image Retrieval，简称CBIR)技术。在检索原理上，无论是基于文本的图像检索还是基于内容的图像检索，主要包括三方面：一方面对用户需求的分析和转化，形成可以检索索引数据库的提问；另一方面，收集和加工图像资源，提取特征，分析并进行标引，建立图像的索引数据库；最后一方面是根据相似度算法，计算用户提问与索引数据库中记录的相似度大小，提取出满足阈值的记录作为结果，按照相似度降序的方式输出。
申请公布号为CN106610987A的发明专利公开了一种视频图像检索方法、装置和系统，通过色彩统计数据对视频帧进行检索，可以减少操作、提高效率。但该方法不能避免相同色彩造成识别障碍，对检索的准确度可能造成影响。
发明内容
为了解决上述技术问题，本发明提供了一种根据视频图像素材查找相关视频的方法和系统。
本发明具体技术方案如下：
本发明一方面提供了一种根据视频图像素材查找相关视频的方法，包括如下步骤：
S1：获取至少一个现有视频文件，从所述现有视频文件中选择至少一个目标素材，添加标签到封装层，并对不同帧中出现的所述目标素材选择若干不同角度的图像进行截取；
S2：将若干所述不同角度的图像进行空间拼接，生成一个空间图像素材；
S3：从所述空间图像素材中提取若干图像元素，生成图像元素集；
S4：以所述图像元素集为模板，从数据库中查找画面中含有所述图像素材的视频作为目标视频。
进一步地，所述步骤1包括如下步骤：
S1.1：获取至少一个现有视频文件，将所述视频文件截成若干片段；
S1.2：对每个所述片段的起始帧和结尾帧进行分析，选出若干目标素材，生成备用素材集；
S1.3：从所述备用素材集中选择出现频率最高的至少一个素材，作为目标素材；
S1.4：对所述目标素材选取至少四幅不同角度的图像。
进一步地，所述步骤2包括如下步骤：
S2.1：将若干所述不同角度的图像进行空间拼接，形成空间图像；
S2.2：将所述空间图像中中断的线条延伸并相互连接；
S2.3：将所述空间图像中缺失的部分填充完整，生成一个空间图像素材。
进一步地，所述步骤S3中，所述图像元素包括线条、形状、颜色、纹理、图案、文字以及组合方式。
进一步地，所述步骤S4包括如下步骤：
S4.1：根据所述标签，从数据库中查找与至少一个所述标签相匹配的候选视频，将所述候选视频截成若干片段；
S4.2：将每个所述片段的起始帧和结尾帧与所述图像元素集进行比对，查找含有所述图像元素的帧并进行统计；
S4.3：选出含有至少三个所述图像元素的视频作为目标视频。
进一步地，所述步骤S4.3中，判断所述视频含有至少三个所述图像元素的方法如下：
设定一个数量阈值，统计视频中同时含有至少三个所述图像元素的帧，当所述帧的数量不小于所述数量阈值时，即认为所述视频含有至少三个所述图像元素。
进一步地，所述片段的长度为30～300帧。
本发明另一方面提供了一种根据视频图像素材查找相关视频的系统，包括依次连接的如下部分：
图像素材管理模块，用于从现有视频文件中提取图像素材、添加标签并进行处理；
查找模块，用于根据所述标签从数据库中查找候选视频；
比对模块，用于将所述候选视频与所述图像素材进行比对，选出目标视频。
进一步地，所述图像素材管理模块包括依次连接的如下部分：
多角度图像截取子模块，用于从所述现有视频文件中选择至少一个目标素材，添加标签并截取若干不同角度的图像；
空间图像生成子模块，用于将若干所述不同角度的图像进行空间拼接，生成空间图像素材；
图像元素提取子模块，用于从所述空间图像素材中提取若干图像元素，生成图像元素集。
进一步地，所述比对模块包括如下部分：
比对统计子模块，用于将所述候选视频截成若干片段，将每个所述片段的起始帧和结尾帧与所述图像素材进行比对，查找与所述图像素材相匹配的帧并进行统计；
逻辑判断子模块，用于设置数量阈值，并与所述帧的数量进行比较，判断所述候选视频是否为目标视频。
本发明的有益效果如下：本发明提供了一种根据视频图像素材查找相关视频的方法和系统，使用该方法查找视频时，首先从现有视频中选择至少一个目标素材作为参照，并且选取多个角度的图像来拼接成一个完整的空间图像素材，以解决平面图片不能完整地呈现出目标素材的全部特征、直接作为参照会大大影响查找的准确性的问题；再从空间素材中提取多个图像元素，可以是二维的或三维的细节特征，生成图像元素集，作为最终的标准参照物，以此查找其他含有该目标素材的相关视频，可以更加准确、全面，可靠性更高。通过本方法进行视频查找，可以最大限度避免因查找条件的限制导致查找范围缩小、大量相关视频被漏掉的问题。
附图说明
图1为实施例1所述的一种根据视频图像素材查找相关视频的方法的示意图；
图2为实施例2所述的一种根据视频图像素材查找相关视频的方法中空间图像素材的生成方法示意图；
图3为实施例3所述的一种根据视频图像素材查找相关视频的方法中目标视频的查找方法示意图；
图4为实施例4所述的一种根据视频图像素材查找相关视频的系统的结构示意图；
图5为实施例5所述的一种根据视频图像素材查找相关视频的系统的结构示意图；
图6为实施例6所述的一种根据视频图像素材查找相关视频的系统的结构示意图。
具体实施方式
下面结合附图和以下实施例对本发明作进一步详细说明。
实施例1
如图1所示，本发明实施例1提供了一种根据视频图像素材查找相关视频的方法，包括如下步骤：
S1：获取至少一个现有视频文件，从所述现有视频文件中选择至少一个目标素材，添加标签到封装层，并对不同帧中出现的所述目标素材选择若干不同角度的图像进行截取；
S2：将若干所述不同角度的图像进行空间拼接，生成一个空间图像素材；
S3：从所述空间图像素材中提取若干图像元素，生成图像元素集；
S4：以所述图像元素集为模板，从数据库中查找画面中含有所述图像素材的视频作为目标视频。
使用该方法查找视频时，首先从现有视频中选择至少一个目标素材作为参照，可以是人、建筑、食物、图案等，考虑到平面图片不能完整地呈现出目标素材的全部特征，直接作为参照会大大影响查找的准确性；因此需要选取多个角度的图像来拼接成一个完整的空间图像素材，再从空间素材中提取多个图像元素，可以是二维的或三维的，生成图像元素集，作为最终的标准参照物，以此查找其他含有该目标素材的相关视频，可以更加准确、全面，可靠性更高。通过本方法进行视频查找，可以最大限度避免因查找条件的限制导致查找范围缩小、大量相关视频被漏掉的问题
实施例2
如图2所示，本实施例2在实施例1的基础上提供了一种视频图像素材查找相关视频的方法，该实施例2进一步限定了所述步骤S1的具体方法如下：
S1.1：获取至少一个现有视频文件，将所述视频文件截成若干片段；
S1.2：对每个所述片段的起始帧和结尾帧进行分析，选出若干目标素材，生成备用素材集；
S1.3：从所述备用素材集中选择出现频率最高的至少一个素材，作为目标素材；
S1.4：对所述目标素材选取至少四幅不同角度的图像。
对于长视频来说，由于帧数过多，如果对每一帧图像分别进行筛选则工作量极大，考虑到同一个镜头往往会持续若干帧，因此可将视频分成若干片段，所述片段的长度可以为30～300帧不等，只需对每个片段的起始帧和结尾帧进行分析，既可以节省大量的工作量，又能保证筛选的准确性和可靠；当可选的素材过多时，可以选择其中出现概率最高、最有代表性的作为目标素材，并选取四幅不同角度的图像，相邻图像可以彼此呈90°，以便用最少的幅数记录最全面的信息。
所述步骤2包括如下步骤：
S2.1：将若干所述不同角度的图像进行空间拼接，形成空间图像；
S2.2：将所述空间图像中中断的线条延伸并相互连接；
S2.3：将所述空间图像中缺失的部分填充完整，生成一个空间图像素材。
拼接图像时，由于角度不同，不同图像的边界处可能无法完全拼合，因此需要对线条进行连接，以便将图像拼接；对于图像中缺失的部分，可用与相邻部分相同的颜色或纹路填充，以保证图像完整。
所述步骤S3中，所述图像元素包括线条、形状、颜色、纹理、图案、文字以及组合方式。
实施例3
如图3所示，本实施例3在实施例1的基础上提供了一种视频图像素材查找相关视频的方法，该实施例3进一步限定了所述步骤S4包括如下步骤：
S4.1：根据所述标签，从数据库中查找与至少一个所述标签相匹配的候选视频，将所述候选视频截成若干片段；
S4.2：将每个所述片段的起始帧和结尾帧与所述图像元素集进行比对，查找含有所述图像元素的帧并进行统计；
S4.3：选出含有至少三个所述图像元素的视频作为目标视频。
由于存在大量需要检索的视频，如果对每个视频的每一帧图像分别进行查找匹配，则工作量极大；考虑到同一个镜头往往会持续若干帧，因此可将视频分成若干片段，所述片段的长度可以为30～300帧不等，只需对每个片段的起始帧和结尾帧进行比对，既可以节省大量的工作量，又能保证筛选的准确性和可靠；可以选择含有至少三个图像元素的视频作为目标视频，以进一步提高筛选的精确性和筛选结果的相关性。
所述步骤S4.3中，判断所述视频含有至少三个所述图像元素的方法如下：
设定一个数量阈值，统计视频中同时含有至少三个所述图像元素的帧，当所述帧的数量不小于所述数量阈值时，即认为所述视频含有至少三个所述图像元素。
由于一个画面帧中可能同时存在多个图像元素，为了提高准确性、缩小筛选范围，只统计同时含有至少三个图像元素的帧，当视频中符合要求的视频帧的数量达到数量阈值时，方能认定该视频为所需的目标视频
实施例4
如图4所示，本实施例4提供了一种根据视频图像素材查找相关视频的系统，包括依次连接的如下部分：
图像素材管理模块1，用于从现有视频文件中提取图像素材、添加标签并进行处理；
查找模块2，用于根据所述标签从数据库中查找候选视频；
比对模块3，用于将所述候选视频与所述图像素材进行比对，选出目标视频。
实施例5
如图5所示，本实施例5在实施例4的基础上提供了一种根据视频图像素材查找相关视频的系统，该实施例6进一步限定了所述图像素材管理模块1包括依次连接的如下部分：
多角度图像截取子模块11，用于从所述现有视频文件中选择至少一个目标素材，添加标签并截取若干不同角度的图像；
空间图像生成子模块12，用于将若干所述不同角度的图像进行空间拼接，生成空间图像素材；
图像元素提取子模块13，用于从所述空间图像素材中提取若干图像元素，生成图像元素集。
实施例6
如图6所示，本实施例6在实施例4的基础上提供了一种根据视频图像素材查找相关视频的系统，该实施例6进一步限定了所述比对模块2包括如下部分：
比对统计子模块21，用于将所述候选视频截成若干片段，将每个所述片段的起始帧和结尾帧与所述图像素材进行比对，查找与所述图像素材相匹配的帧并进行统计；
逻辑判断子模块22，用于设置数量阈值，并与所述帧的数量进行比较，判断所述候选视频是否为目标视频。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种根据视频图像素材查找相关视频的方法，其特征在于，包括如下步骤：
S1：获取至少一个现有视频文件，从所述现有视频文件中选择至少一个目标素材，添加标签到封装层，并对不同帧中出现的所述目标素材选择若干不同角度的图像进行截取；
S2：将若干所述不同角度的图像进行空间拼接，生成一个空间图像素材；
S3：从所述空间图像素材中提取若干图像元素，生成图像元素集；
S4：以所述图像元素集为模板，从数据库中查找画面中含有所述图像素材的视频作为目标视频。
2.如权利要求1所述的根据视频图像素材查找相关视频的方法，其特征在于，所述步骤1包括如下步骤：
S1.1：获取至少一个现有视频文件，将所述视频文件截成若干片段；
S1.2：对每个所述片段的起始帧和结尾帧进行分析，选出若干目标素材，生成备用素材集；
S1.3：从所述备用素材集中选择出现频率最高的至少一个素材，作为目标素材；
S1.4：对所述目标素材选取至少四幅不同角度的图像。
3.如权利要求1所述的根据视频图像素材查找相关视频的方法，其特征在于，所述步骤2包括如下步骤：
S2.1：将若干所述不同角度的图像进行空间拼接，形成空间图像；
S2.2：将所述空间图像中中断的线条延伸并相互连接；
S2.3：将所述空间图像中缺失的部分填充完整，生成一个空间图像素材。
4.如权利要求1所述的根据视频图像素材查找相关视频的方法，其特征在于，所述步骤S3中，所述图像元素包括线条、形状、颜色、纹理、图案、文字以及组合方式。
5.如权利要求1所述的根据视频图像素材查找相关视频的方法，其特征在于，所述步骤S4包括如下步骤：
S4.1：根据所述标签，从数据库中查找与至少一个所述标签相匹配的候选视频，将所述候选视频截成若干片段；
S4.2：将每个所述片段的起始帧和结尾帧与所述图像元素集进行比对，查找含有所述图像元素的帧并进行统计；
S4.3：选出含有至少三个所述图像元素的视频作为目标视频。
6.如权利要求5所述的根据视频图像素材查找相关视频的方法，其特征在于，所述步骤S4.3中，判断所述视频含有至少三个所述图像元素的方法如下：
设定一个数量阈值，统计视频中同时含有至少三个所述图像元素的帧，当所述帧的数量不小于所述数量阈值时，即认为所述视频含有至少三个所述图像元素。
7.如权利要求2或5所述的根据视频图像素材查找相关视频的方法，其特征在于，所述片段的长度为30～300帧。
8.一种根据视频图像素材查找相关视频的系统，其特征在于，包括依次连接的如下部分：
图像素材管理模块(1)，用于从现有视频文件中提取图像素材、添加标签并进行处理；
查找模块(2)，用于根据所述标签从数据库中查找候选视频；
比对模块(3)，用于将所述候选视频与所述图像素材进行比对，选出目标视频。
9.如权利要求8所述的根据视频图像素材查找相关视频的系统，其特征在于，所述图像素材管理模块(1)包括依次连接的如下部分：
多角度图像截取子模块(11)，用于从所述现有视频文件中选择至少一个目标素材，添加标签并截取若干不同角度的图像；
空间图像生成子模块(12)，用于将若干所述不同角度的图像进行空间拼接，生成空间图像素材；
图像元素提取子模块(13)，用于从所述空间图像素材中提取若干图像元素，生成图像元素集。
10.如权利要求8所述的根据视频图像素材查找相关视频的系统，其特征在于，所述比对模块(2)包括如下部分：
比对统计子模块(21)，用于将所述候选视频截成若干片段，将每个所述片段的起始帧和结尾帧与所述图像素材进行比对，查找与所述图像素材相匹配的帧并进行统计；
逻辑判断子模块(22)，用于设置数量阈值，并与所述帧的数量进行比较，判断所述候选视频是否为目标视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710817451.8A CN107609104B (zh) | 2017-09-12 | 2017-09-12 | 根据视频图像素材查找相关视频的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710817451.8A CN107609104B (zh) | 2017-09-12 | 2017-09-12 | 根据视频图像素材查找相关视频的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107609104A true CN107609104A (zh) | 2018-01-19 |
| CN107609104B CN107609104B (zh) | 2020-09-08 |
Family
ID=61062786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710817451.8A Active CN107609104B (zh) | 2017-09-12 | 2017-09-12 | 根据视频图像素材查找相关视频的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107609104B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110855904A (zh) * | 2019-11-26 | 2020-02-28 | Oppo广东移动通信有限公司 | 视频处理方法、电子装置和存储介质 |
| CN116258522A (zh) * | 2021-12-06 | 2023-06-13 | 北京微笑海科技有限公司 | 一种素材分析方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127106A (zh) * | 2016-06-13 | 2016-11-16 | 东软集团股份有限公司 | 视频中目标人物查找方法和装置 |
| CN106610987A (zh) * | 2015-10-22 | 2017-05-03 | 杭州海康威视数字技术股份有限公司 | 视频图像检索方法、装置及系统 |
| CN106713859A (zh) * | 2016-12-19 | 2017-05-24 | 贵州大学 | 一种图片视觉监控搜索系统及其搜索方法 |
| CN107122439A (zh) * | 2017-04-21 | 2017-09-01 | 图麟信息科技（深圳）有限公司 | 一种视频片段查询方法及装置 |
-
2017
- 2017-09-12 CN CN201710817451.8A patent/CN107609104B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106610987A (zh) * | 2015-10-22 | 2017-05-03 | 杭州海康威视数字技术股份有限公司 | 视频图像检索方法、装置及系统 |
| CN106127106A (zh) * | 2016-06-13 | 2016-11-16 | 东软集团股份有限公司 | 视频中目标人物查找方法和装置 |
| CN106713859A (zh) * | 2016-12-19 | 2017-05-24 | 贵州大学 | 一种图片视觉监控搜索系统及其搜索方法 |
| CN107122439A (zh) * | 2017-04-21 | 2017-09-01 | 图麟信息科技（深圳）有限公司 | 一种视频片段查询方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110855904A (zh) * | 2019-11-26 | 2020-02-28 | Oppo广东移动通信有限公司 | 视频处理方法、电子装置和存储介质 |
| CN110855904B (zh) * | 2019-11-26 | 2021-10-01 | Oppo广东移动通信有限公司 | 视频处理方法、电子装置和存储介质 |
| CN116258522A (zh) * | 2021-12-06 | 2023-06-13 | 北京微笑海科技有限公司 | 一种素材分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107609104B (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10922350B2 (en) | Associating still images and videos | |
| CN104504109B (zh) | 图片搜索方法和装置 | |
| CN102663015B (zh) | 基于特征袋模型和监督学习的视频语义标注方法 | |
| Feng et al. | A bootstrapping framework for annotating and retrieving WWW images | |
| CN102549603B (zh) | 基于相关性的图像选择 | |
| KR100471927B1 (ko) | 웹 기반 영상 데이터 검색 시스템 및 그 방법 | |
| CN101944109B (zh) | 一种基于页面分块的图片摘要提取系统及方法 | |
| CN104915449B (zh) | 一种基于水利对象分类标签的分面检索系统及方法 | |
| KR100706389B1 (ko) | 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치 | |
| US9229958B2 (en) | Retrieving visual media | |
| KR102258420B1 (ko) | 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법 | |
| JP4979070B2 (ja) | 動画像提示システム | |
| CN102236714A (zh) | 一种基于xml的交互应用多媒体信息检索方法 | |
| CN107609104A (zh) | 根据视频图像素材查找相关视频的方法和系统 | |
| CN115618014A (zh) | 一种应用大数据技术的标准文献分析管理系统及方法 | |
| Tseng et al. | Web image annotation by fusing visual features and textual information | |
| De Rooij et al. | Balancing thread based navigation for targeted video search | |
| CN104199950B (zh) | 一种基于图像相似度快速匹配的学术论文搜索方法 | |
| CN116524263A (zh) | 一种细粒度图像半自动标注方法 | |
| CN106776654B (zh) | 一种数据搜索方法及装置 | |
| Memon et al. | Region based localized matching image retrieval system using color-size features for image retrieval | |
| KR20090049433A (ko) | 색상 키워드를 이용한 검색 방법 및 시스템 | |
| Zhou et al. | Latent visual context analysis for image re-ranking | |
| Aggarwal et al. | Event summarization in videos | |
| Hatem et al. | Automatic content description and annotation of sport images using classification techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |