CN111125383A - 基于事件模型的媒资标签存储及检索的方法 - Google Patents

基于事件模型的媒资标签存储及检索的方法 Download PDF

Info

Publication number
CN111125383A
CN111125383A CN201911356950.7A CN201911356950A CN111125383A CN 111125383 A CN111125383 A CN 111125383A CN 201911356950 A CN201911356950 A CN 201911356950A CN 111125383 A CN111125383 A CN 111125383A
Authority
CN
China
Prior art keywords
media asset
event model
asset tag
algorithm
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911356950.7A
Other languages
English (en)
Other versions
CN111125383B (zh
Inventor
刘亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinhua Zhiyun Technology Co ltd
Original Assignee
Xinhua Zhiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinhua Zhiyun Technology Co ltd filed Critical Xinhua Zhiyun Technology Co ltd
Priority to CN201911356950.7A priority Critical patent/CN111125383B/zh
Publication of CN111125383A publication Critical patent/CN111125383A/zh
Application granted granted Critical
Publication of CN111125383B publication Critical patent/CN111125383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于事件模型的媒资标签存储及检索的方法，包括以下步骤：对接入的多种算法，定义算法的识别结果结构；根据识别结果结构构建对应的Schema并向媒资系统注册全局唯一的事件模型及对应的数据Schema；媒资系统根据注册的数据Schema创建对应的ES索引字段；将算法的识别结果附加媒资ID和算法事件模型标识，导入到媒资系统；媒资系统收到媒资标签入库请求后，加载对应的数据Schema进行数据校验；通过对应算法定义的数据Schema的数据校验后，将媒资标签入库存储到媒资标签数据库。本发明的有益之处在于，对于不同算法的异构媒资标签，能够快速进行算法接入并存储，检索效率高。

Description

基于事件模型的媒资标签存储及检索的方法
技术领域
本发明涉及一种基于事件模型的媒资标签存储及检索的方法。
背景技术
随着互联网技术的快速发展，越来越多的传统媒资开始互联网化、云化。同时伴随AI等新技术的应用，传统媒资有了更多的智能能力，包括自动语音识别、字幕识别、人脸识别、视频内容理解(地标、建筑物…)等。如何对这类智能算法产生的海量标签进行接入，以及更好的存储和高效检索，就成了一个比较大的问题。传统媒资对这些异构的标签数据需要提前规划好数据结构，并且不能很好很快的利用这些标签辅助媒资检索。
现有方案主要缺陷在于:(1)接入效率慢。每增加一种新的智能算法，都需要提前规划好对应的数据结构，接入效率比较低下，不能快速响应；数据比较分散。(2)对各种算法产生的海量标签分表分散处理，无法统一存储。(3)检索效率低。数据分散在各自异构数据表中，无法提供一个统一的检索模型，只能分类型查找，查找效率比较低。
发明内容
为解决现有技术的不足，本发明提供了一种基于事件模型的媒资标签存储及检索的方法，对于不同算法的异构媒资标签，能够快速进行算法接入并存储，检索效率高。
一种基于事件模型的媒资标签存储及检索的方法，包括以下步骤：
对接入的多种算法，定义算法的识别结果结构；
根据识别结果结构构建对应的Schema并向媒资系统注册全局唯一的事件模型及对应的数据Schema；
媒资系统根据注册的数据Schema创建对应的ES索引字段；
将算法的识别结果附加媒资ID和算法事件模型标识，导入到媒资系统；
媒资系统收到媒资标签入库请求后，加载对应的数据Schema进行数据校验；
通过对应算法定义的数据Schema的数据校验后，将媒资标签入库存储到媒资标签数据库；
媒资标签落库存储后，媒资系统发出包含落库存储的媒资标签的媒资标签ID的MQ消息队列通知对应的索引进程实时处理落库存储的媒资标签的索引增量处理；
索引进程实时消费对应的MQ消息，拿到媒资标签ID，通过媒资标签ID从媒资标签数据库提取到完整的媒资标签内容并根据解析出的算法事件模型标识加载对应的数据Schema，找到对应的ES索引字段刷入媒资标签数据。
进一步地，将算法的识别结果附加媒资ID和算法事件模型标识后根据媒资标签入库协议导入到媒资系统。
进一步地，收到媒资标签入库请求后从媒资标签入库协议解析出算法事件模型标识，再根据事件模型标识加载对应的数据Schema进行数据校验。
进一步地，每条媒资标签具有一个全局唯一的媒资标签ID。
进一步地，每个媒资标签ID对应一个媒资ID和一个算法事件模型标识。
进一步地，媒资系统收到事件模型注册信息后存入到分布式配置中心，其他机器通过订阅实时获取到最新的配置信息并同步到本地。
进一步地，媒资标签数据库为NoSQL数据库。
进一步地，媒资系统在构建媒资标签的ES索引字段时给每种算法事件模型建立一个Nested类型的ES索引字段。
进一步地，媒资标签存储到媒资标签数据库并通过增量同步的方式实时索引到ES索引库。
进一步地，通过API向媒资系统注册全局唯一的事件模型及对应的数据Schema。
本发明的有益之处在于对于不同算法的异构媒资标签，能够快速进行算法接入并存储，检索效率高。
针对各种AI算法产生的海量异构标签数据进行统一注册、统一存储和统一检索。
统一注册可保证针对同一种算法，有一个强一致的数据模型和校验机制。统一存储可实现多种算法的结果集中处理。统一检索可满足业务系统对媒资的灵活查询需求。
附图说明
图1是一种基于事件模型的媒资标签存储及检索的方法的算法事件模型注册流程图；
图2是图1中基于事件模型的媒资标签存储及检索的方法的媒资标签处理流程图；
图3是图1中基于事件模型的媒资标签存储及检索的方法的媒资标签NoSQL存储结构的示意图；
图4是图1中基于事件模型的媒资标签存储及检索的方法的媒资标签ES索引结构。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1至图4所示，一种基于事件模型的媒资标签存储及检索的方法，包括算法事件模型注册流程、算法标签入库流程和媒资标签处理流程。
算法事件模型注册流程
对接入的多种算法，定义算法的识别结果结构；
根据识别结果结构构建对应的Schema并向媒资系统注册全局唯一的事件模型及对应的数据Schema；
媒资系统根据注册的数据Schema创建对应的ES索引字段。
例如图片人脸识别算法、视频语音识别算法、视频字幕识别算法、文本实体抽取算法、视频内容理解算法等，需要先定义各算法的识别结果结构。作为一种具体的实例，定义的各算法的识别结果结构为，图片人脸识别算法：人脸id、人名、人脸坐标、置信度。视频语音识别算法：开始时间、结束时间、语音内容、置信度。视频字幕识别算法：开始时间、结束时间、字幕内容、置信度。文本实体抽取算法：实体类型、实体id、实体名称、置信度。视频内容理解算法：标签名称、置信度。
算法不限于以上几种，更多算法在此不进一步进行举例。而算法识别结构也可以从更多角度或不同的角度上进行定义。
进一步地，根据识别结果结构构造对应的Schema，通过在线API向媒资系统注册全局唯一的事件模型及对应的数据Schema。媒资系统收到事件模型注册信息后，存入到分布式配置中心，其他机器通过订阅实时获取到最新的配置信息并同步到本地。同时媒资系统根据注册的数据Schema索引定义提前创建好对应的ES索引字段。
算法标签入库流程
当每路AI算法对某一个媒资(包括图片、音频、视频或文本等)进行算法处理时，会产生一个或多个识别结果(比如人脸数据)，并且可能会持续产生(比如语音识别)。
将算法的识别结果附加媒资ID和算法事件模型标识(EventName)，导入到媒资系统。具体而言，通过媒资标签入库协议导入到媒资系统。
媒资标签处理流程
媒资系统收到媒资标签入库请求后，加载对应的数据Schema进行数据校验。具体而言，收到媒资标签入库请求后从媒资标签入库协议解析出算法事件模型标识(EventName)，再根据事件模型标识加载对应的数据Schema进行数据校验。
例如收到一个图片人脸识别结果，会根据其数据Schema校验对应的人名是否设置，人脸坐标是否符合规范等。收到一个视频语音识别结果，会校验语音的时间点(开始时间点、结束时间点)、语音内容是否设置等。
只有通过对应算法定义的数据Schema的数据校验后，才会将媒资标签入库存储到媒资标签数据库。作为一种具体的方式，媒资标签数据库为NoSQL数据库。
媒资标签落库存储后，媒资系统发出一条MQ消息队列(包含该条落库存储的媒资标签的媒资标签ID)通知对应的索引进程实时处理落库存储的媒资标签的索引增量处理。
索引进程实时消费对应的MQ消息，拿到媒资标签ID，通过媒资标签ID从媒资标签数据库提取到完整的媒资标签内容。同样根据解析出的算法事件模型标识(EventName)加载对应的数据Schema，找到对应的ES索引字段刷入媒资标签数据。即把该条增量媒资标签数据刷入到ES的相应字段。
媒资标签检索
通过以上处理，AI算法识别产生的各种媒资标签存储到媒资标签数据库，并通过增量同步的方式实时索引到ES索引库，从而就能够满足从各维度对媒资数据的检索需求。
媒资标签ES索引结构，既可以满足跨媒资的检索请求，也可以满足单条媒资内的检索请求。
比如检索包含“故宫”地点的图片，就可以通过从NestedEntities实体字段检索该关键字，从而拿到所有满足条件的媒资列表。
再比如搜索某一视频里握手的时刻，就可以通过传入媒资ID和“握手”关键字，根据媒资ID可以定位到这条媒资，根据“握手”关键字可以从NestedAsr语音识别字段定位到对应语音提及到握手的时刻或从NestedOcr字幕识别字段定位到对应字幕提及到握手的时刻。
媒资标签NoSQL存储结构
每条媒资标签具有一个全局唯一的媒资标签ID(比如使用UUID生成)，同时包含其对应的媒资ID和算法事件模型标记(EventName)。作为一种具体的实施方式，具体结构如下：RecordID：媒资标签全局唯一ID；MediaID:对应的媒资ID；EventName:对应的算法事件模型标识；TagID：媒资标签ID(或实体ID)(非必须)；TagName:媒资标签名称；TimePointStart：标签开始时间点；TimePointEnd：标签结束时间点；Score：算法识别结果置信度；UserData：算法自定义数据内容；CreateTime：入库时间。
媒资标签ES索引结构
每条媒资可能会经过多个AI算法的处理，而每种AI算法也会产生很多条识别结果，从而每条媒资可能会包括成千上万条甚至更多媒资标签。
媒资系统在构建这些媒资标签的ES索引时，会给每种算法事件模型建立一个Nested类型的ES索引字段，比如语音识别算法，对应的ES索引字段是nestAsr(在对应的事件模型Schema里定义)，比如字幕识别算法，对应的ES索引字段是nestOcr。具体结构如下：MediaID:媒资ID；MediaType:媒资类型，比如图片、视频、音频；CreateTime：入库时间；NestTags：内容理解算法标签；NestEntities：实体抽取算法标签；NestFaces：人脸识别算法标签；NestAsr：语音识别算法标签；NestOcr：字幕识别算法标签。
标签数据存储模型可以有多种：针对亿级别及以下，可以采用传统数据库比如MySQL，但注册一种新的数据模型需要手动维护存储结构。针对更多量级的数据，除了可使用阿里云的OTS存储数据库以外，也可以使用Cassandra或MongoDB等其他NOSQL来替换。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于事件模型的媒资标签存储及检索的方法，其特征在于，包括以下步骤：
对接入的多种算法，定义算法的识别结果结构；
根据识别结果结构构建对应的Schema并向媒资系统注册全局唯一的事件模型及对应的数据Schema；
媒资系统根据注册的数据Schema创建对应的ES索引字段；
将算法的识别结果附加媒资ID和算法事件模型标识，导入到媒资系统；
媒资系统收到媒资标签入库请求后，加载对应的数据Schema进行数据校验；
通过对应算法定义的数据Schema的数据校验后，将媒资标签入库存储到媒资标签数据库；
媒资标签落库存储后，媒资系统发出包含落库存储的媒资标签的媒资标签ID的MQ消息队列通知对应的索引进程实时处理落库存储的媒资标签的索引增量处理；
索引进程实时消费对应的MQ消息，拿到媒资标签ID，通过媒资标签ID从媒资标签数据库提取到完整的媒资标签内容并根据解析出的算法事件模型标识加载对应的数据Schema，找到对应的ES索引字段刷入媒资标签数据。
2.根据权利要求1所述的基于事件模型的媒资标签存储及检索的方法，其特征在于，
将算法的识别结果附加媒资ID和算法事件模型标识后根据媒资标签入库协议导入到媒资系统。
3.根据权利要求2所述的基于事件模型的媒资标签存储及检索的方法，其特征在于，
收到媒资标签入库请求后从媒资标签入库协议解析出算法事件模型标识，再根据事件模型标识加载对应的数据Schema进行数据校验。
4.根据权利要求1所述的基于事件模型的媒资标签存储及检索的方法，其特征在于，
每条媒资标签具有一个全局唯一的媒资标签ID。
5.根据权利要求4所述的基于事件模型的媒资标签存储及检索的方法，其特征在于，
每个媒资标签ID对应一个媒资ID和一个算法事件模型标识。
6.根据权利要求1所述的基于事件模型的媒资标签存储及检索的方法，其特征在于，
媒资系统收到事件模型注册信息后存入到分布式配置中心，其他机器通过订阅实时获取到最新的配置信息并同步到本地。
7.根据权利要求1所述的基于事件模型的媒资标签存储及检索的方法，其特征在于，
媒资标签数据库为NoSQL数据库。
8.根据权利要求1所述的基于事件模型的媒资标签存储及检索的方法，其特征在于，
媒资系统在构建媒资标签的ES索引字段时给每种算法事件模型建立一个Nested类型的ES索引字段。
9.根据权利要求1所述的基于事件模型的媒资标签存储及检索的方法，其特征在于，
媒资标签存储到媒资标签数据库并通过增量同步的方式实时索引到ES索引库。
10.根据权利要求1所述的基于事件模型的媒资标签存储及检索的方法，其特征在于，
通过API向媒资系统注册全局唯一的事件模型及对应的数据Schema。
CN201911356950.7A 2019-12-25 2019-12-25 基于事件模型的媒资标签存储及检索的方法 Active CN111125383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911356950.7A CN111125383B (zh) 2019-12-25 2019-12-25 基于事件模型的媒资标签存储及检索的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911356950.7A CN111125383B (zh) 2019-12-25 2019-12-25 基于事件模型的媒资标签存储及检索的方法

Publications (2)

Publication Number Publication Date
CN111125383A true CN111125383A (zh) 2020-05-08
CN111125383B CN111125383B (zh) 2023-08-11

Family

ID=70503585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911356950.7A Active CN111125383B (zh) 2019-12-25 2019-12-25 基于事件模型的媒资标签存储及检索的方法

Country Status (1)

Country Link
CN (1) CN111125383B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115017339A (zh) * 2022-05-30 2022-09-06 新华智云科技有限公司 一种基于ai算法的媒体文件多模检索方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959724A (zh) * 2006-11-24 2007-05-09 清华大学 泛在计算环境中工作流上下文信息的获取方法和系统
US20160098429A1 (en) * 2014-10-07 2016-04-07 Nathali Ortiz Suarez Labelling Entities in a Canonical Data Model
CN107357933A (zh) * 2017-08-04 2017-11-17 刘应波 一种用于多源异构科技信息资源的标签描述方法和装置
CN110232106A (zh) * 2019-04-26 2019-09-13 安徽四创电子股份有限公司 一种基于MongoDB和Solr的海量数据存储及快速检索方法
CN110427498A (zh) * 2019-07-24 2019-11-08 新华智云科技有限公司 媒体信息的存储方法、装置、存储设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959724A (zh) * 2006-11-24 2007-05-09 清华大学 泛在计算环境中工作流上下文信息的获取方法和系统
US20160098429A1 (en) * 2014-10-07 2016-04-07 Nathali Ortiz Suarez Labelling Entities in a Canonical Data Model
CN107357933A (zh) * 2017-08-04 2017-11-17 刘应波 一种用于多源异构科技信息资源的标签描述方法和装置
CN110232106A (zh) * 2019-04-26 2019-09-13 安徽四创电子股份有限公司 一种基于MongoDB和Solr的海量数据存储及快速检索方法
CN110427498A (zh) * 2019-07-24 2019-11-08 新华智云科技有限公司 媒体信息的存储方法、装置、存储设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115017339A (zh) * 2022-05-30 2022-09-06 新华智云科技有限公司 一种基于ai算法的媒体文件多模检索方法和系统

Also Published As

Publication number Publication date
CN111125383B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
US9020882B2 (en) Database hosting middleware dimensional transforms
US8527651B2 (en) Content identification method and system, and SCIDM client and server
CN111459985B (zh) 标识信息处理方法及装置
US20110072015A1 (en) Tagging content with metadata pre-filtered by context
EP2275949B1 (en) Content identification method and system, content management client and server
CN106339498A (zh) 数据同步方法、装置和系统
CN112732949B (zh) 一种业务数据的标注方法、装置、计算机设备和存储介质
CN110597630A (zh) 一种分布式系统中内容资源的处理方法及系统
CN111125213A (zh) 数据采集的方法、装置及其系统
CN109039803A (zh) 一种处理回调通知消息的方法、系统及计算机设备
WO2023165256A1 (zh) 一种信息生成方法、装置及电子设备
CN111125383B (zh) 基于事件模型的媒资标签存储及检索的方法
CN111666263A (zh) 一种数据湖环境下异构数据管理的实现方法
CN117171108A (zh) 一种虚拟模型映射方法和系统
CN110717130A (zh) 打点方法、装置、终端及存储介质
CN109145092A (zh) 一种数据库更新、智能问答管理方法、装置及其设备
CN113641765B (zh) 面向巨量多源遥感数据的统一逻辑模型组织方法及其装置
US11205049B2 (en) Method for managing semantic information on M2M/IoT platform
CN113806416B (zh) 实时数据服务的实现方法、装置及电子设备
CN113760920B (zh) 一种数据同步方法、装置、电子设备和存储介质
CN114564621A (zh) 一种关联数据的方法、装置、设备及可读存储介质
US11755611B2 (en) Storing and identifying content through content descriptors in a historian system
EP1089197A2 (en) Determining a workbasket indentification for an item in a data store
CN109710673B (zh) 作品处理方法、装置、设备和介质
CN117852777B (zh) 用于多源异构数据资产的联管方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant