CN106354827A - 一种媒资数据整合方法及系统 - Google Patents

Abstract

本发明公开了一种媒资数据的自动整合方法及系统，所述媒资数据的自动整合方法包括：步骤A、收到待处理媒资时，根据基础条件在媒资数据库中确定比较范围；步骤B、将待处理媒资与比较范围内的媒资逐一比较，根据比较条件计算出相似度；步骤C、将相似度与阀值进行比较，当相似度大于阀值上限时，确认待处理媒资与媒资数据库中的标准媒资相同，将待处理媒资合入标准媒资。本发明先确定待处理媒资的比较范围，在比较范围内计算相似度，根据相似度判断待处理媒资与媒资数据库中已有的媒资是否相同，相同则合入，从而实现了媒资数据的自动整合，无需人工处理，解决了现有海量的媒资数据人工整合工作量巨大、很费时且操作麻烦的问题。

Description

一种媒资数据整合方法及系统

技术领域

本发明涉及媒资技术领域，特别涉及一种媒资数据的自动整合方法及系统。

背景技术

客户端平台的媒资信息一般来源于多个媒资牌照方，需要统一整合这些媒资数据生成标准的媒资以满足客户端需求。如图1和图2所示，牌照方有腾讯、爱奇艺、XX（其他牌照方）等，需要根据媒资数据（此处为视频以及与其相关的内容）的类型（电影、电视剧、综艺、动漫等类型）分别整合。判断牌照方提供的新片与对应的数据库中的某个片子是否相同，相同则不再增加该片的音视频数据，不同才加入该片。

但是，由于各个牌照方的媒资数据量太大、格式不统一、信息不完整、有重复并且存在错误信息等原因，自动整合这些数据实现起来有一定难度。以爱奇艺电影整合为例，其媒资信息如下表所示。但是标准的电影库中已经存在类似影片（由其他牌照方先合入），虽然影片名称相同，但仍有些基本信息不同。

	待整合牌照的媒资信息	已有的影片
			牌照	爱奇艺	数据库
频道	电影	电影
			标题	白色情人节	白色情人节
导演	杨东根	梁允浩
			演员	全智贤；车银真；朴信阳；全茂松；金世俊	朴信阳
类型	正片	正片
			年代	2011	1999
其他	海报、简介	海报、简介

表1

由此可知，在牌照方加入新的媒资信息需要整合时，由于标准的数据库中的某个片子可能有些项目与新片相同，有些项目不同，并不能确认两部片子是否为同一部，往往需要人工一一搜索比对处理（相同则牌照的电影合入标准电影；不同则新增一个标准的电影）。由于增加的媒资信息的数据量很大，人工处理进行海量的媒资数据整合的工作量巨大、很费时且操作麻烦。

因而现有技术还有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种媒资数据的自动整合方法及系统，以解决现有海量的媒资数据人工整合工作量巨大、很费时且操作麻烦的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种媒资数据的自动整合方法，其包括：

步骤A、收到待处理媒资时，根据基础条件在媒资数据库中确定比较范围；

步骤B、将待处理媒资与比较范围内的媒资逐一比较，根据比较条件计算出相似度；

步骤C、将相似度与阀值进行比较，当相似度大于阀值上限时，确认待处理媒资与媒资数据库中的标准媒资相同，将待处理媒资合入标准媒资。

所述的媒资数据的自动整合方法中，所述步骤A具体包括：

A1、收到待处理媒资时，获取条件组列表；所述条件组列表包括若干个按序排列的条件组，选择条件组一；

A2、根据条件组中的基础条件，在媒资数据库中查询是否有与待处理媒资的基础条件相同的标准媒资；

A3、有则该条件组为比较范围；没有则按序选择下一条件组，返回步骤A2。

所述的媒资数据的自动整合方法中，在所述步骤A1中，每个条件组包括根据媒资数据的基本信息生成的基础条件和比较条件、及阀值上限和阀值下限：

基础条件用于在海量数据中确定比较范围，比较条件用于计算相似度，阀值上限和阀值下限是相似度上下限的范围取值。

所述的媒资数据的自动整合方法中，在所述步骤A2中，基础条件为标题和类型时，采用单个字段比较方法，在媒资数据库中查询是否有与该待处理媒资的标题和类型相同的标准媒资。

所述的媒资数据的自动整合方法中，所述步骤B具体包括：

步骤B1、将待处理媒资与比较条件内的各媒资逐一比较；

步骤B2、分别计算待处理媒资与各媒资的比较值，根据比较值计算相似度。

所述的媒资数据的自动整合方法中，在所述步骤B2中，比较条件为导演、演员、年代时，导演、演员采用集合字段比较方法获得比较值，所述比较值为两个集合的交集除以两个集合的并集；

年代采用单个字段比较方法判断待处理媒资与比较条件的年代是否相同，相同则比较值为1，不同则比较值为0。

所述的媒资数据的自动整合方法中，在所述步骤B2中，相似度为各比较条件的比较值之和除以比较条件的个数。

所述的媒资数据的自动整合方法中，所述步骤C还包括：当相似度小于等于阀值下限时，确认待处理媒资与所述标准媒资不相同，按序选择下一条件组，返回步骤A2；直至所有条件组都判断为不相同时，将待处理媒资添加至媒资数据库中作为一条新的媒资。

所述的媒资数据的自动整合方法中，所述步骤C还包括：若相似度在阀值上限与阀值下限之间，则判断待处理媒资与所述标准媒资疑似，反馈待处理媒资至后台进行人工处理。

一种实现所述的媒资数据的自动整合方法的系统，其包括条件设置模块、处理判断模块和媒资数据库；

所述处理判断模块收到待处理媒资时，根据条件设置模块的基础条件在媒资数据库中确定比较范围；处理判断模块将待处理媒资与比较范围内的媒资逐一比较，根据比较条件计算出相似度；将相似度与阀值进行比较，当相似度大于阀值上限时，处理判断模块确认待处理媒资与媒资数据库中的标准媒资相同，将待处理媒资合入标准媒资。

相较于现有技术，本发明提供的媒资数据的自动整合方法及系统，收到待处理媒资时，根据基础条件在媒资数据库中确定比较范围；将待处理媒资与比较范围内的媒资逐一比较，根据比较条件计算出相似度；将相似度与阀值进行比较，当相似度大于阀值上限时，确认待处理媒资与媒资数据库中的标准媒资相同，将待处理媒资合入标准媒资。本发明先确定待处理媒资的比较范围，在比较范围内计算相似度，根据相似度判断待处理媒资与媒资数据库中已有的媒资是否相同，相同则合入，从而实现了媒资数据的自动整合，无需人工处理，解决了现有海量的媒资数据人工整合工作量巨大、很费时且操作麻烦的问题。

附图说明

图1为现有电影整合的示意图。

图2为现有电视剧整合的示意图。

图3为本发明提供的媒资数据的自动整合方法流程图。

图4为本发明提供的海量数据实时查询的系统的结构框图。

具体实施方式

本发明提供一种媒资数据的自动整合方法及系统，通过设置若干个条件组合，将需要增加的片子根据条件组合的条件与媒资数据库中的影片进行比较，即可判断需要增加的片子是否已由其他牌照方事先整合至媒资数据库中，从而实现了媒资数据的自动整合。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本实施例提供的媒资数据的自动整合方法可应用在云端系统或平台服务系统之类的系统上。各牌照方将新的媒资数据发送至系统中，由系统对海量的媒资数据进行自动整合。

请参阅图3，本发明提供的媒资数据的自动整合方法包括：

S100、收到待处理媒资时，根据基础条件在媒资数据库中确定比较范围；

S200、将待处理媒资与比较范围内的媒资逐一比较，根据比较条件计算出相似度；

S300、将相似度与阀值进行比较，当相似度大于阀值上限时，确认待处理媒资与媒资数据库中的标准媒资相同，将待处理媒资合入标准媒资。

本实施例中，系统工作时，实时检测是否收到牌照方提供的新的待处理媒资，一收到新的待处理媒资就立即执行上述步骤S100。一个牌照方可能同时上传多条待处理媒资，一条待处理媒资包括一条音视频数据及其基本信息。音视频数据如一部电影、综艺节目的一集或全集、或动漫的一集或全集的视频资源。基础信息可作为条件，其包括频道（如电影、电视剧、动漫、综艺等频道）、标题（即影片的名称）、导演、演员、类型（如正片、喜剧片、恐怖片、纪录片等类型）、年代、地区、语言、海报、简介等。

在所述步骤S100中，为了方便确定比较范围，可对基础条件进行分组比较。则所述步骤S100具体包括：

步骤110、收到待处理媒资时，获取条件组列表；所述条件组列表包括若干个按序排列的条件组，选择条件组一；

步骤120、根据条件组中的基础条件，在媒资数据库中查询是否有与待处理媒资的基础条件相同的标准媒资。

步骤130、有则该条件组为比较范围；没有则按序选择下一条件组，返回步骤120。

以电影为例，所述条件组列表如下表2所示的条件组一、条件组二、条件组三等。

表2

每个条件组包括根据基本信息生成的基础条件和比较条件、阀值上下限。所述基础条件用于在海量数据中确定比较范围，基础条件设置得越严格则后续的比较范围就较小，基础条件宽松则比较范围会较大，可根据实际情况进行调整定制。比较条件用于计算相似度来进一步判断其他基础信息是否相同，可以设置对应的媒资为基本信息中的其他内容，如导演、演员、年代等。通过比较条件即可进一步判断出两个名称相同的电影是否为同一电影。阀值上限和阀值下限是通过对不同频道（电影、电视剧、动漫等）、不同牌照方（腾讯、爱奇艺等）的媒资数据进行分析，并经过测试确认的相似度上下限的取值，即相似度的比较范围。

本实施例的整合主要是判断牌照方提供的待处理媒资与媒资数据库中已有的某数据是否相同。如判断两部电影是否相同，最方便的是判断两者的电影名称是否相同，通常情况下，名称不同是不同影片，相同可能是同一影片。因此，在第一个条件组中，基础条件设置为基本信息中的标题和类型。

由于现有的一部影片也可能有两个或多个不同的名字，例如外语片，因翻译差异导致名称不同。则条件组一中的基础条件不能确定比较范围时，需通过其他的条件组继续确定。即若根据条件组一的基础条件，没有找到相同的数据，则不用计算相似度，直接按序选择下一条件组（此时为条件组二）来进行查询。若条件组二也没找到相同的数据，按序选择条件组三来查询，以此类推，直至所有条件组选择完。有相同的数据则进入对应条件组中计算相似度，若全都没有，则说明该媒资数据是全新的，可添加至媒资数据库中作为一条新的数据。

在步骤S100中，根据条件组列表先选择条件组一来作为判断标准，根据基础条件来找到基础信息部分相同的影片以确定比较范围。步骤S200再根据比较条件计算两部影片的相似度。步骤S300将相似度与阀值的上下限进行比较即可判断出其他基础信息是否相同，从而识别出两者是否为同一影片。

以表3的基础信息为例。

表3

在所述步骤120中，基础条件的查询方法是单个字段比较方法，如表2中的基础条件是标题和类型，则在媒资数据库中查询是否有与该条待处理媒资的标题和类型相同的标准媒资。将两者的名称逐个字（英文则逐个字母）比较，相同再比较类型是否相同。所有字比较相同时比较值为1，不同时取值为0。如表3中，待处理媒资的标题是“美丽心灵”，查询时在媒资数据库中找是否有与“美丽心灵”这四个字相同（每个字的顺序也相同）的标准媒资。根据表格3显示有找到该标准媒资，接着比较类型均为正片。则该待处理媒资（影片）的基础条件与标准媒资相同。

由于名称相同也可能是不同影片，因此，在每个基础条件相同的条件组中，需要通过比较条件来作进一步判断。可继续根据条件组一中的比较条件来计算相似度。则所述步骤S200具体包括：

步骤210、将待处理媒资与比较条件内的各媒资逐一比较。

步骤220、分别计算待处理媒资与各媒资的比较值，根据比较值计算相似度。

根据常识可知，基础信息中的导演、演员可能列出1位或多位。因此比较条件为导演、演员、年代时，导演、演员的查询方法是集合字段比较方法，比较值为两个集合的交集（待处理媒资与标准媒资相同的部分）除以两个集合的并集（待处理媒资与标准媒资共有的部分）。如待处理媒资与标准媒资相同的演员个数为交集；待处理媒资与标准媒资共有的演员的个数为并集。年代采用上述单个字段比较方法判断待处理媒资与比较条件的年代是否相同，相同则比较值为1，不同则比较值为0。

基于现有媒资数据的数据量巨大，全人工处理实现难度较大，本实施例通过计算相似度来实现自动整合功能。相似度为各比较条件的比较值之和除以比较条件的个数，即S=（C1+C2+……Cn）/n，其中，S表示相似度，C表示比较条件的比较值，n为比较条件的个数，通常等于3。根据表2和表3可知，相似度的计算与导演、演员和年代有关，相似度=（导演比较值+演员比较值+年代比较值） / 3。由于表3中导演相同，导演比较值为1/1。两者的演员中4个相同则并集为4，媒资数据库中多出一个，则交集为5，演员比较值为4/5。由于两者的年代不同，则年代比较值为0。因此，S= (1 + 4/5 + 0) / 3 = 0.60。

获得相似度后，即可根据相似度来判断待处理媒资与标准媒资是否真的相同。在所述步骤S300中，若相似度大于或等于阀值上限则判断为相同，此时无需将该待处理媒资整合到媒资数据库中，但对该标准媒资（即媒资数据库的数据）增加该待处理媒资的牌照方（即待整合的牌照方）的映射关系。即媒资数据库中的一个标准媒资会映射到多个不同牌照方的相同电影，用户观看该影片时可以选择任意牌照方的链接地址进行播放。根据表3的数据可知，相似度为0.6大于阀值上限，则可认为爱奇艺提供的待处理媒资与媒资数据库中的标准媒资为同一部电影，在该标准媒资中增加一条爱奇艺的映射关系。结束本条待处理媒资的整合，选择下条待处理媒资和条件组一，返回上述步骤120。

在所述步骤S300中，若相似度小于等于阀值下限时，确认待处理媒资与所述标准媒资不相同，按序选择下一条件组，返回步骤120来继续判断。在其他条件组中，只有基础条件相同时才根据比较条件计算相似度，若基础条件不同则选择下一条件组。直至所有条件组都选择且判断均不相同时，则说明该待处理媒资是全新的，可添加至媒资数据库中作为一条新的标准媒资。

在所述步骤S300中，当相似度在阀值上限与阀值下限之间时，判断待处理媒资与所述标准媒资疑似，反馈待处理媒资至后台进行人工处理。如在后台弹出警示信息，将待处理媒资与疑似的标准媒资传输至操作界面上，由工作人员人为判断。

需要理解的是，本实施例根据待处理媒资中的先后顺序，按序对每一条待处理媒资进行自动整合。即一条待处理媒资执行步骤S100~S300后，下一条待处理媒资继续执行步骤S100~S300，以此类推直至所有条待处理媒资都完成整合。条件组中基础条件、比较条件、上下限阀值可人为设置修改。

基于上述的媒资数据的自动整合方法，本发明实施例还提供一种媒资数据的自动整合的系统，请参阅图4、所述系统包括条件设置模块10、处理处理判断模块20和媒资数据库30。所述条件设置模块10用于存储条件组列表，条件组列表包括若干个按序排列的条件组；还用于设置修改条件组中的条件。所述媒资数据库30用于存储所有媒资数据。

所述处理判断模块20收到待处理媒资时，根据条件设置模块的基础条件在媒资数据库中确定比较范围；处理判断模块将待处理媒资与比较范围内的媒资逐一比较，根据比较条件计算出相似度；将相似度与阀值进行比较，当相似度大于阀值上限时，处理判断模块确认待处理媒资与媒资数据库中的标准媒资相同，将待处理媒资合入标准媒资。

综上所述，本发明通过条件组的基础条件确定比较范围，通过定制比较条件来计算相似度，将媒资信息相似度数字化并与上下限阀值比较来确定是否与媒资数据库中的已有数据相同；通过对各种媒资数据的测试分析，细化条件组中的各项条件，灵活地调整条件组的上下阀值，实现对不同频道（电影、电视剧、动漫等）、不同牌照方（腾讯、爱奇艺等）媒资数据的整合（合并或增加新的数据），通过对条件的修改能支持不同场景的定制整合；有效地提高了整合数据的准确性和处理的自动化程度，大幅减少人工处理的数据量，提高了工作效率。

上述功能模块的划分仅用以举例说明，在实际应用中，可以根据需要将上述功能分配由不同的功能模块来完成，即划分成不同的功能模块，来完成上述描述的全部或部分功能。

本领域普通技术人员可以理解上述实施例方法中的全部或部分流程，是可以通过计算机（移动终端）程序来指令相关的硬件完成，所述的计算机（移动终端）程序可存储于一计算机（移动终端）可读取存储介质中，程序在执行时，可包括上述各方法的实施例的流程。其中的存储介质可以为磁碟、光盘等。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种媒资数据的自动整合方法，其特征在于，包括：

步骤A、收到待处理媒资时，根据基础条件在媒资数据库中确定比较范围；

步骤B、将待处理媒资与比较范围内的媒资逐一比较，根据比较条件计算出相似度；

步骤C、将相似度与阀值进行比较，当相似度大于阀值上限时，确认待处理媒资与媒资数据库中的标准媒资相同，将待处理媒资合入标准媒资。

2.根据权利要求1所述的媒资数据的自动整合方法，其特征在于，所述步骤A具体包括：

A1、收到待处理媒资时，获取条件组列表；所述条件组列表包括若干个按序排列的条件组，选择条件组一；

A2、根据条件组中的基础条件，在媒资数据库中查询是否有与待处理媒资的基础条件相同的标准媒资；

A3、有则该条件组为比较范围；没有则按序选择下一条件组，返回步骤A2。

3.根据权利要求2所述的媒资数据的自动整合方法，其特征在于，在所述步骤A1中，每个条件组包括根据媒资数据的基本信息生成的基础条件和比较条件、及阀值上限和阀值下限：

基础条件用于在海量数据中确定比较范围，比较条件用于计算相似度，阀值上限和阀值下限是相似度上下限的范围取值。

4.根据权利要求3所述的媒资数据的自动整合方法，其特征在于，在所述步骤A2中，基础条件为标题和类型时，采用单个字段比较方法，在媒资数据库中查询是否有与该待处理媒资的标题和类型相同的标准媒资。

5.根据权利要求3所述的媒资数据的自动整合方法，其特征在于，所述步骤B具体包括：

步骤B1、将待处理媒资与比较条件内的各媒资逐一比较；

步骤B2、分别计算待处理媒资与各媒资的比较值，根据比较值计算相似度。

6.根据权利要求5所述的媒资数据的自动整合方法，其特征在于，在所述步骤B2中，比较条件为导演、演员、年代时，导演、演员采用集合字段比较方法获得比较值，所述比较值为两个集合的交集除以两个集合的并集；

年代采用单个字段比较方法判断待处理媒资与比较条件的年代是否相同，相同则比较值为1，不同则比较值为0。

7.根据权利要求6所述的媒资数据的自动整合方法，其特征在于，在所述步骤B2中，相似度为各比较条件的比较值之和除以比较条件的个数。

8.根据权利要求3所述的媒资数据的自动整合方法，其特征在于，所述步骤C还包括：当相似度小于等于阀值下限时，确认待处理媒资与所述标准媒资不相同，按序选择下一条件组，返回步骤A2；直至所有条件组都判断为不相同时，将待处理媒资添加至媒资数据库中作为一条新的媒资。

9.根据权利要求3所述的媒资数据的自动整合方法，其特征在于，所述步骤C还包括：若相似度在阀值上限与阀值下限之间，则判断待处理媒资与所述标准媒资疑似，反馈待处理媒资至后台进行人工处理。

10.一种实现权利要求1所述的媒资数据的自动整合方法的系统，其

特征在于，包括条件设置模块、处理判断模块和媒资数据库；

所述处理判断模块收到待处理媒资时，根据条件设置模块的基础条件在媒资数据库中确定比较范围；处理判断模块将待处理媒资与比较范围内的媒资逐一比较，根据比较条件计算出相似度；将相似度与阀值进行比较，当相似度大于阀值上限时，处理判断模块确认待处理媒资与媒资数据库中的标准媒资相同，将待处理媒资合入标准媒资。