CN109299324A - 一种标签式视频文件的检索方法 - Google Patents

一种标签式视频文件的检索方法 Download PDF

Info

Publication number
CN109299324A
CN109299324A CN201811218512.XA CN201811218512A CN109299324A CN 109299324 A CN109299324 A CN 109299324A CN 201811218512 A CN201811218512 A CN 201811218512A CN 109299324 A CN109299324 A CN 109299324A
Authority
CN
China
Prior art keywords
vocal print
voice
label
retrieved
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811218512.XA
Other languages
English (en)
Other versions
CN109299324B (zh
Inventor
梁效宁
杨博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Art Beats Nature Information Security Intelligent Equipment Co Ltd
Original Assignee
Sichuan Art Beats Nature Information Security Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Art Beats Nature Information Security Intelligent Equipment Co Ltd filed Critical Sichuan Art Beats Nature Information Security Intelligent Equipment Co Ltd
Priority to CN201811218512.XA priority Critical patent/CN109299324B/zh
Publication of CN109299324A publication Critical patent/CN109299324A/zh
Application granted granted Critical
Publication of CN109299324B publication Critical patent/CN109299324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种标签式视频文件的检索方法，其特征在于包括以下步骤:S100：根据视频文件的时间戳，添加所选定时间节点的文字标签和/或声纹标签；S200：将文字标签与对应的时间节点及对应的视频帧进行关联并建立索引，生成文本数据库；将声纹标签与对应的时间节点及对应的视频帧进行关联并建立索引，生成声纹数据库；S300：采集待检索人员的人声，获取并记录待检索人员的人声的声纹特征，并对人声进行特征采样，在所述索引中对比声纹特征的相似度，获取相似度最高的索引信息，并获取待检索人员信息，形成检索依据；S400：在声纹数据库中采用声纹检索和/或在文本数据库中采用文本检索，并获取检索结果。

Description

一种标签式视频文件的检索方法
技术领域
本发明属于安防及监控领域，涉及一种视频文件的检索方法，具体涉及一种标签式视频文件的检索方法。
背景技术
视频作为信息涵盖量最大、记录方式最全面的一种信息记录手段，一直以来都被广泛应用在安防、经验传承、资料流转、娱乐等众多领域。但由于视频本身所表现内容无法直接被计算机解析，因此要对原始的视频根据所记录事件的内容进行精准检索就比较困难。其主要特点在于视频实际内容无法量化存储，因此无法像文字一样进行索引，也就无从精准检索。目前常见的检索方式有通过视频时间进行检索和通过图像识别技术对比视频帧记录的图像进行检索。现有技术各自存在不同的缺点：
1、通过视频的时间进行检索，该方法精度高，但逻辑性差，与实际内容并无直接关联。
2、使用图像识别技术对视频帧进行匹配检索。该方法可以针对人脸、场景进行识别，但速度慢，准确度也差强人意。
发明内容
本发明针对现有技术的不足问题，提出了一种标签式视频文件的检索方法，通过添加所选定时间节点的文字标签和/或声纹标签，建立索引并分别生成文本数据库和声纹数据库，通过声纹特征对人声进行特征采样，获取待检索人员信息，在声纹数据库中采用声纹检索和/或在文本数据库中采用文本检索，并获取检索结果，从而达到对视频文件检索的目的，包括以下步骤:
S100：根据视频文件的时间戳，添加所选定时间节点的文字标签和/或声纹标签；
S200：将文字标签与对应的时间节点及对应的视频帧进行关联并建立索引，生成文本数据库；将声纹标签与对应的时间节点及对应的视频帧进行关联并建立索引，生成声纹数据库；
S300：采集待检索人员的人声，获取并记录待检索人员的人声的声纹特征，并对人声进行特征采样，在所述索引中对比声纹特征的相似度，获取相似度最高的索引信息，并获取待检索人员信息，形成检索依据；
S400：在声纹数据库中采用声纹检索和/或在文本数据库中采用文本检索，并获取检索结果。
优选地，所述步骤S100包含以下具体步骤：
S101：记录所述时间点的时间标签和文字标签；
S102：获取所述时间点前后N秒内所记录的人声，获取并记录人声的声纹特征，其中，N为大于0的自然数；
S103：将每一声纹特征与各个人员的人声及人员信息进行匹配，生成声纹标签；
S104：将带时间戳的文字标签和带时间戳的声纹标签，按相同的时间戳形成一一对应的关系并记录在列表中。
优选地，步骤S200的具体步骤如下：
S201：遍历所述步骤S104的列表，以时间节点为主键，将同一时间节点的文字标签和/或声纹标签进行归集，生成以时间节点为主键的标签记录；
S202：遍历过程中，添加不同人员的人声的声纹特征，将声纹特征与人员的人声进行匹配，并将人员的人声与声纹特征进行关联，生成新的数据列表；
S203：遍历所述标签记录，获取各个所述标签记录的时间戳，根据时间戳，查找所述视频文件中时间节点所对应的视频帧，获取视频帧图片并插入所述步骤S202所生成的新的数据列表中，作为当前时间节点的视频缩略图；
S204：存储所述步骤S202中遍历所生成的新的数据列表，将所述数据列表与所述视频文件的MD5码关联，获得视频索引数据库。
优选地，所述步骤S400包括以下步骤：
S401：声纹特征包含待检索人员的人声的声纹特征，则根据当前声纹特征检索所述视频索引数据库，检索所有包含待检索人员的视频文件及相应的视频索引；
S402：声纹特征未包含待检索人员的人声的声纹特征，则将该声纹特征与声纹数据库中样本逐一对比，获取检索结果；
S403：在所述视频索引数据库中，对当前文本进行模糊搜索或精确搜索，获取检索结果、待检索的视频及对应的索引信息。
优选地，所述步骤S300还包括：采用索引中的声纹特征，获取待检索人员信息。
本发明的有益效果是:
1、在录制过程中或录制完成后，对视频进行预处理，生成记录声纹特征、增加声纹标签或根据内容添加文字标签，针对不同类型的视频可以定义不同类型的标签，检索自由度较高。
2、根据声纹标签或文字标签，创建与视频时间轴同步的索引信息，配合前文的标签，能够进行快速检索，能在耗时与普通时间戳检索相同的情况下，实现对内容甚至人声的检索。
3、使用人声识别技术构建人声特征标签，并根据人声特征标签构建索引，能够在事后对待检索的人声进行取样，并实现寻找众多视频中某个特定人的语音信息，便于进行会议、实验等与人相关的视频检索。
4、该方法可以对视频数据库进行检索，获得多维度的检索结果，不限于单文件的检索。
对本发明出现的术语作出以下解释：
与视频录制时间同步的视频标签：即一种文字或声纹索引，每一条索引都和视频的时间戳相对应，以便后期根据视频标签直接找到相应的视频时间，实现回溯。
声纹索引：每个人的声纹是不同的，根据通行的语音特征识别技术，对每个人的声纹特征进行记录，在预处理阶段，人声每次出现的时候即记录一个属于该声纹特征的声纹标签，并进行索引。
附图说明：
图1为本发明所提供的方法的总流程图。
具体实施方式
下面对本发明作进一步阐述。
结合附图对本发明提供的方法做进一步的说明，包括如图1所示的以下步骤:
S100：根据视频文件的时间戳，添加所选定时间节点的文字标签和/或声纹标签；
步骤S100包含以下具体步骤：
S101：记录时间点的时间标签和文字标签；
S102：获取时间点前后N秒内所记录的人声，获取并记录人声的声纹特征，其中，N为大于0的自然数；
S103：将每一声纹特征与各个人员的人声及人员信息进行匹配，生成声纹标签；
S104：将带时间戳的文字标签和带时间戳的声纹标签，按相同的时间戳形成一一对应的关系并记录在列表中。
S200：将文字标签与对应的时间节点及对应的视频帧进行关联并建立索引，生成文本数据库；将声纹标签与对应的时间节点及对应的视频帧进行关联并建立索引，生成声纹数据库；步骤S200的具体步骤如下：
S201：遍历步骤S104的列表，以时间节点为主键，将同一时间节点的文字标签和/或声纹标签进行归集，生成以时间节点为主键的标签记录；
S202：遍历过程中，添加不同人员的人声的声纹特征，将声纹特征与人员的人声进行匹配，并将人员的人声与声纹特征进行关联，生成新的数据列表；
S203：遍历标签记录，获取各个标签记录的时间戳，根据时间戳，查找视频文件中时间节点所对应的视频帧，获取视频帧图片并插入步骤S202所生成的新的数据列表中，作为当前时间节点的视频缩略图；
S204：存储步骤S202中遍历所生成的新的数据列表，将数据列表与视频文件的MD5码关联，获得视频索引数据库。
S300：采集待检索人员的人声，获取并记录待检索人员的人声的声纹特征，并对人声进行特征采样，在索引中对比声纹特征的相似度，获取相似度最高的索引信息，并获取待检索人员信息，形成检索依据；此外，还可以采用索引中的声纹特征，直接获取待检索人员信息。
S400：在声纹数据库中采用声纹检索和/或在文本数据库中采用文本检索，并获取检索结果；步骤S400包括以下步骤：
S401：声纹特征包含待检索人员的人声的声纹特征，则根据当前声纹特征检索视频索引数据库，检索所有包含待检索人员的视频文件及相应的视频索引；
S402：声纹特征未包含待检索人员的人声的声纹特征，则将该声纹特征与声纹数据库中样本逐一对比，获取检索结果；
S403：在视频索引数据库中，对当前文本进行模糊搜索或精确搜索，获取检索结果、待检索的视频及对应的索引信息。
通过本发明提供的方法，解决了现有技术中尚无一种标签式视频文件的检索方法的技术问题。
应当理解的是，本发明不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种标签式视频文件的检索方法，其特征在于包括以下步骤：
S100：根据视频文件的时间戳，添加所选定时间节点的文字标签和/或声纹标签；
S200：将文字标签与对应的时间节点及对应的视频帧进行关联并建立索引，生成文本数据库；将声纹标签与对应的时间节点及对应的视频帧进行关联并建立索引，生成声纹数据库；
S300：采集待检索人员的人声，获取并记录待检索人员的人声的声纹特征，并对人声进行特征采样，在所述索引中对比声纹特征的相似度，获取相似度最高的索引信息，并获取待检索人员信息，形成检索依据；
S400：在声纹数据库中采用声纹检索和/或在文本数据库中采用文本检索，并获取检索结果。
2.根据权利要求1所述的一种标签式视频文件的检索方法，其特征在于，所述步骤S100包含以下具体步骤：
S101：记录所述时间点的时间标签和文字标签；
S102：获取所述时间点前后N秒内所记录的人声，获取并记录人声的声纹特征，其中，N为大于0的自然数；
S103：将每一声纹特征与各个人员的人声及人员信息进行匹配，生成声纹标签；
S104：将带时间戳的文字标签和带时间戳的声纹标签，按相同的时间戳形成一一对应的关系并记录在列表中。
3.根据权利要求2所述的一种标签式视频文件的检索方法，其特征在于，所述步骤S200的具体步骤如下：
S201：遍历所述步骤S104的列表，以时间节点为主键，将同一时间节点的文字标签和/或声纹标签进行归集，生成以时间节点为主键的标签记录；
S202：遍历过程中，添加不同人员的人声的声纹特征，将声纹特征与人员的人声进行匹配，并将人员的人声与声纹特征进行关联，生成新的数据列表；
S203：遍历所述标签记录，获取各个所述标签记录的时间戳，根据时间戳，查找所述视频文件中时间节点所对应的视频帧，获取视频帧图片并插入所述步骤S202所生成的新的数据列表中，作为当前时间节点的视频缩略图；
S204：存储所述步骤S202中遍历所生成的新的数据列表，将所述数据列表与所述视频文件的MD5码关联，获得视频索引数据库。
4.根据权利要求3所述的一种标签式视频文件的检索方法，其特征在于，所述步骤S400包括以下步骤：
S401：声纹特征包含待检索人员的人声的声纹特征，则根据当前声纹特征检索所述视频索引数据库，检索所有包含待检索人员的视频文件及相应的视频索引；
S402：声纹特征未包含待检索人员的人声的声纹特征，则将该声纹特征与声纹数据库中样本逐一对比，获取检索结果；
S403：在所述视频索引数据库中，对当前文本进行模糊搜索或精确搜索，获取检索结果、待检索的视频及对应的索引信息。
5.根据权利要求1所述的一种标签式视频文件的检索方法，其特征在于，所述步骤S300还包括：采用索引中的声纹特征，获取待检索人员信息。
CN201811218512.XA 2018-10-19 2018-10-19 一种标签式视频文件的检索方法 Active CN109299324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811218512.XA CN109299324B (zh) 2018-10-19 2018-10-19 一种标签式视频文件的检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811218512.XA CN109299324B (zh) 2018-10-19 2018-10-19 一种标签式视频文件的检索方法

Publications (2)

Publication Number Publication Date
CN109299324A true CN109299324A (zh) 2019-02-01
CN109299324B CN109299324B (zh) 2022-03-04

Family

ID=65158251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811218512.XA Active CN109299324B (zh) 2018-10-19 2018-10-19 一种标签式视频文件的检索方法

Country Status (1)

Country Link
CN (1) CN109299324B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947971A (zh) * 2019-03-18 2019-06-28 Oppo广东移动通信有限公司 图像检索方法、装置、电子设备及存储介质
CN112650882A (zh) * 2019-10-11 2021-04-13 杭州海康威视数字技术股份有限公司 一种视频采集方法、装置及系统
CN114339299A (zh) * 2021-12-27 2022-04-12 司法鉴定科学研究院 一种汽车行车记录仪视频取证方法
CN114329068A (zh) * 2021-08-11 2022-04-12 腾讯科技（深圳）有限公司 一种数据处理方法及装置、电子设备、存储介质
CN115396627A (zh) * 2022-08-24 2022-11-25 易讯科技股份有限公司 一种录屏视频会议的定位管理方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060148A1 (en) * 2003-08-04 2005-03-17 Akira Masuda Voice processing apparatus
CN101055494A (zh) * 2006-04-13 2007-10-17 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
CN101382938A (zh) * 2008-10-23 2009-03-11 浙江大学 一种基于用户关注时间的网络视频排序方法
US20090174551A1 (en) * 2008-01-07 2009-07-09 William Vincent Quinn Internet activity evaluation system
CN102053998A (zh) * 2009-11-04 2011-05-11 周明全 一种利用声音方式检索歌曲的方法及系统装置
CN102650993A (zh) * 2011-02-25 2012-08-29 北大方正集团有限公司 音视频文件的索引建立和检索方法、装置及系统
CN102855317A (zh) * 2012-08-31 2013-01-02 王晖 一种基于演示视频的多模式索引方法及系统
CN103186663A (zh) * 2012-12-28 2013-07-03 中联竞成（北京）科技有限公司 一种基于视频的网络舆情监测方法及系统
CN103488764A (zh) * 2013-09-26 2014-01-01 天脉聚源(北京)传媒科技有限公司 个性化视频内容推荐方法和系统
CN103593476A (zh) * 2013-11-28 2014-02-19 中国科学院信息工程研究所 一种面向云存储的多关键词明密文检索方法和系统
CN103678309A (zh) * 2012-09-03 2014-03-26 许丰 智能标引导航系统
CN103678308A (zh) * 2012-09-03 2014-03-26 许丰 智能导航播放器
CN104391973A (zh) * 2014-12-05 2015-03-04 国家电网公司 一种用于提取关键帧的多媒体系统及处理方法
CN104978507A (zh) * 2014-04-14 2015-10-14 中国石油化工集团公司 一种基于声纹识别的智能测井评价专家系统身份认证方法
CN105005630A (zh) * 2015-08-18 2015-10-28 瑞达昇科技(大连)有限公司 全媒体中多维检测特定目标的方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060148A1 (en) * 2003-08-04 2005-03-17 Akira Masuda Voice processing apparatus
CN101055494A (zh) * 2006-04-13 2007-10-17 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
US20090174551A1 (en) * 2008-01-07 2009-07-09 William Vincent Quinn Internet activity evaluation system
CN101382938A (zh) * 2008-10-23 2009-03-11 浙江大学 一种基于用户关注时间的网络视频排序方法
CN102053998A (zh) * 2009-11-04 2011-05-11 周明全 一种利用声音方式检索歌曲的方法及系统装置
CN102650993A (zh) * 2011-02-25 2012-08-29 北大方正集团有限公司 音视频文件的索引建立和检索方法、装置及系统
CN102855317A (zh) * 2012-08-31 2013-01-02 王晖 一种基于演示视频的多模式索引方法及系统
CN103678309A (zh) * 2012-09-03 2014-03-26 许丰 智能标引导航系统
CN103678308A (zh) * 2012-09-03 2014-03-26 许丰 智能导航播放器
CN103186663A (zh) * 2012-12-28 2013-07-03 中联竞成（北京）科技有限公司 一种基于视频的网络舆情监测方法及系统
CN103488764A (zh) * 2013-09-26 2014-01-01 天脉聚源(北京)传媒科技有限公司 个性化视频内容推荐方法和系统
CN103593476A (zh) * 2013-11-28 2014-02-19 中国科学院信息工程研究所 一种面向云存储的多关键词明密文检索方法和系统
CN104978507A (zh) * 2014-04-14 2015-10-14 中国石油化工集团公司 一种基于声纹识别的智能测井评价专家系统身份认证方法
CN104391973A (zh) * 2014-12-05 2015-03-04 国家电网公司 一种用于提取关键帧的多媒体系统及处理方法
CN105005630A (zh) * 2015-08-18 2015-10-28 瑞达昇科技(大连)有限公司 全媒体中多维检测特定目标的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈南款: "基于分立目标的监控视频结构化方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947971A (zh) * 2019-03-18 2019-06-28 Oppo广东移动通信有限公司 图像检索方法、装置、电子设备及存储介质
CN109947971B (zh) * 2019-03-18 2023-04-18 Oppo广东移动通信有限公司 图像检索方法、装置、电子设备及存储介质
CN112650882A (zh) * 2019-10-11 2021-04-13 杭州海康威视数字技术股份有限公司 一种视频采集方法、装置及系统
CN114329068A (zh) * 2021-08-11 2022-04-12 腾讯科技（深圳）有限公司 一种数据处理方法及装置、电子设备、存储介质
CN114329068B (zh) * 2021-08-11 2024-05-31 腾讯科技（深圳）有限公司 一种数据处理方法及装置、电子设备、存储介质
CN114339299A (zh) * 2021-12-27 2022-04-12 司法鉴定科学研究院 一种汽车行车记录仪视频取证方法
CN115396627A (zh) * 2022-08-24 2022-11-25 易讯科技股份有限公司 一种录屏视频会议的定位管理方法及系统

Also Published As

Publication number Publication date
CN109299324B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN109299324A (zh) 一种标签式视频文件的检索方法
CN103593363B (zh) 视频内容索引结构的建立方法、视频检索方法及装置
US8457466B1 (en) Videore: method and system for storing videos from multiple cameras for behavior re-mining
US10606887B2 (en) Providing relevant video scenes in response to a video search query
CN101021855B (zh) 基于内容的视频检索系统
US8300953B2 (en) Categorization of digital media based on media characteristics
CN102799684B (zh) 一种视音频文件编目标引、元数据存储索引与搜索方法
US20110087703A1 (en) System and method for deep annotation and semantic indexing of videos
Lokoč et al. Is the reign of interactive search eternal? findings from the video browser showdown 2020
US20050114357A1 (en) Collaborative media indexing system and method
CN102855317B (zh) 一种基于演示视频的多模式索引方法及系统
US9229958B2 (en) Retrieving visual media
CN111008321A (zh) 基于逻辑回归推荐方法、装置、计算设备、可读存储介质
WO2015030645A1 (en) Methods, computer program, computer program product and indexing systems for indexing or updating index
CN108337482A (zh) 监控视频的存储方法和系统
Kurz et al. Semantic enhancement for media asset management systems: Integrating the Red Bull Content Pool in the Web of Data
JP2014153977A (ja) コンテンツ解析装置、コンテンツ解析方法、コンテンツ解析プログラム、およびコンテンツ再生システム
US11243995B2 (en) Method for atomically tracking and storing video segments in multi-segment audio-video compositions
CN103514226B (zh) 一种数字硬盘录像机文件存储的快速索引方法和装置
US8896708B2 (en) Systems and methods for determining, storing, and using metadata for video media content
CN113365100B (zh) 视频处理方法及装置
CN115017339A (zh) 一种基于ai算法的媒体文件多模检索方法和系统
CN101833978A (zh) 一种通过文字信号触发的法庭庭审视频实时标引方法
CN108153863B (zh) 一种视频信息的表示方法及装置
KR20130036765A (ko) 비디오에 대한 대표 이미지들의 결정

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant