CN105893572B - 一种目标数据输出方法、装置及系统 - Google Patents

一种目标数据输出方法、装置及系统 Download PDF

Info

Publication number
CN105893572B
CN105893572B CN201610202562.3A CN201610202562A CN105893572B CN 105893572 B CN105893572 B CN 105893572B CN 201610202562 A CN201610202562 A CN 201610202562A CN 105893572 B CN105893572 B CN 105893572B
Authority
CN
China
Prior art keywords
data
fact
level
service
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610202562.3A
Other languages
English (en)
Other versions
CN105893572A (zh
Inventor
秦刚
蔡龙军
李兆军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201610202562.3A priority Critical patent/CN105893572B/zh
Publication of CN105893572A publication Critical patent/CN105893572A/zh
Application granted granted Critical
Publication of CN105893572B publication Critical patent/CN105893572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种目标数据输出方法、装置及系统，计算机中存储预先构建的筛选数据网络，该筛选数据网络包括N个层级，每个层级中包括至少一个节点，每个层级对应一类业务数据实体，每个节点对应一个业务数据实体，相邻层级的节点之间根据预先存储的业务信息设置有关联关系。当需要获取目标数据时，直接将事实数据输入该筛选数据网络，当事实数据满足该筛选数据网络中节点间的关联关系及筛选条件时，该事实数据即为通过该筛选数据网络的目标数据。应用上述方案，当需要获取目标数据时，避免了在多张数据表中进行筛选，降低了获取目标数据的工作量及复杂度，进而降低了对存储数据库的计算机性能要求。

Description

一种目标数据输出方法、装置及系统
技术领域
本发明涉及数据处理领域，特别涉及一种目标数据输出方法、装置及系统。
背景技术
随着科技的发展，企业的业务数据的结构越来越复杂、数据量也越来越大，因此越来越多的企业开始规划数据库。
目前，常用的数据库比如mysql数据库中的数据通常是按照数据结构进行存储。假设原始数据的数据结构为“姓名-年龄”，将该原始数据存储到mysql数据库中的方式为：将姓名存储在A表中，将年龄存储在B表中。相应的，获取目标数据的方法通常是从各表中分别进行筛选，比如，需要获得姓名中带有“王”字、且年龄在20岁以上的数据，则需要既在A表中筛选姓名中带有“王”字的数据，还要在B表中筛选年龄在20岁以上的数据，根据在两张表的筛选结果，获取目标数据。当数据结构较复杂时，会将数据存储在多张表中，则获取目标数据需要在多张表中进行筛选，工作量很大，复杂度较高，进而对存储数据库的计算机性能要求较高。
发明内容
本发明实施例的目的在于提供一种目标数据输出方法、装置及系统，降低获取目标数据的工作量及复杂度，进而降低对存储数据库的计算机性能要求。
为达到上述目的，本发明实施例公开了一种目标数据输出方法，应用于计算机，所述计算机中存储预先构建的筛选数据网络，所述筛选数据网络包括N个层级；其中，每个层级中包括至少一个节点，每个层级对应一类业务数据实体，每个节点对应一个业务数据实体，所述相邻层级的节点之间根据预先存储的业务信息设置有关联关系；
所述目标数据输出过程包括：
A、获取一条待处理事实数据，所述事实数据对应多个业务数据实体，且事实数据对应的各个业务数据实体分别对应各个层级的业务数据实体类别；
B、将所述事实数据输入至所述筛选数据网络的第一层级，若第一层级中有节点对应的业务数据实体与所述事实数据对应的第一个业务数据实体相同，且所述第一个业务数据实体满足预设的第一层级的筛选条件，则根据所述关联关系获得所述筛选数据网络的下一层级中与所述第一个业务数据实体相关联的下一层级节点；否则，确定所述事实数据不是目标数据，在还有待处理事实数据的情况下，返回步骤A；
C、若所述下一层级节点对应的业务数据实体与所述事实数据对应的下一个业务数据实体相同，且所述下一个业务数据实体满足预设的下一层级的筛选条件，则在所述筛选数据网络有再下一层级的情况下，根据所述关联关系获得所述筛选数据网络的再下一层级中与所述下一个业务数据实体相关联的再下一层级节点，将再下一层级节点作为下一层级节点，返回执行步骤C，或在所述筛选数据网络没有再下一层级的情况下，将所述事实数据作为目标数据输出；否则，确定所述事实数据不是目标数据，在还有待处理事实数据的情况下，返回步骤A。
可选的，所述获取一条待处理事实数据，可以包括：
从数据库中读取待处理事实数据；
解析所述待处理事实数据，获取所述待处理事实数据对应的多个业务数据实体。
可选的，所述解析所述待处理事实数据，获取所述待处理事实数据对应的多个业务数据实体，可以包括：
获取所述待处理事实数据中每个字段的数据内容，依据各个字段的数据内容，在所述预先存储的业务信息中，获取所述待处理事实数据对应的多个业务数据实体。
可选的，所述方法应用于网络视频播放系统中的计算机，所述计算机中存储的预先构建的筛选数据网络包括“专辑”层级、“剧”层级、“合同”层级和“版权方”层级；
所述事实数据可以为VV数据，所述VV数据包括：标识信息、所属剧的信息、日期信息和版权方信息中至少一种；
所述获取所述待处理事实数据中每个字段的数据内容，依据各个字段的数据内容，在所述预先存储的业务信息中，获取所述待处理事实数据对应的多个业务数据实体，可以包括：
获取所述VV数据每个字段的数据内容；
依据所述“标识信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“专辑”层级中的业务数据实体；和/或，
依据所述“所属剧的信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“剧”层级中的业务数据实体；和/或，
依据所述“日期信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“合同”层级中的业务数据实体；和/或，
依据所述“版权方信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“版权方”层级中的业务数据实体。
可选的，所述获取一条待处理事实数据，可以包括：
按照预设第一周期，从数据库中读取数据；
针对读取到的每一条数据，解析所述数据，获取对应多个业务数据实体的一条待处理事实数据；
所述将所述事实数据作为目标数据输出，包括：
存储所述目标数据，按照预设第二周期，输出多条目标数据。
为达到上述目的，本发明实施例还公开了一种目标数据输出装置，应用于计算机，所述计算机中存储预先构建的筛选数据网络，所述筛选数据网络包括N个层级；其中，每个层级中包括至少一个节点，每个层级对应一类业务数据实体，每个节点对应一个业务数据实体，所述相邻层级的节点之间根据预先存储的业务信息设置有关联关系；
所述装置包括：获取模块、第一判断模块、第一获得模块、第二判断模块、三判断模块、输出模块和第二获得模块，其中，
所述获取模块，用于获取一条待处理事实数据，所述事实数据对应多个业务数据实体，且事实数据对应的各个业务数据实体分别对应各个层级的业务数据实体类别；
所述第一判断模块，用于将所述事实数据输入至所述筛选数据网络的第一层级，判断第一层级中是否有节点对应的业务数据实体与所述事实数据对应的第一个业务数据实体相同，且所述第一个业务数据实体满足预设的第一层级的筛选条件，如果判断结果为是，触发所述第一获得模块，如果判断结果为否，在还有待处理事实数据的情况下，触发所述获取模块；
所述第一获得模块，用于根据所述关联关系获得所述筛选数据网络的下一层级中与所述第一个业务数据实体相关联的下一层级节点；
所述第二判断模块，用于判断下一层级节点对应的业务数据实体与所述事实数据对应的下一个业务数据实体是否相同，且所述下一个业务数据实体满足预设的下一层级的筛选条件，如果判断结果为是，触发所述第三判断模块，如果判断结果为否，在还有待处理事实数据的情况下，触发所述获取模块；
所述第三判断模块，用于判断所述筛选数据网络是否有再下一层级，如果判断结果为否，触发所述输出模块，如果判断结果为是，触发所述第二获得模块；
所述输出模块，用于将所述事实数据作为目标数据输出；
所述第二获得模块，用于根据所述关联关系获得所述筛选数据网络的再下一层级中与所述下一个业务数据实体相关联的再下一层级节点，将再下一层级节点作为下一层级节点，并触发所述第二判断模块。
可选的，所述获取模块，具体可以用于：
从数据库中读取待处理事实数据；
解析所述待处理事实数据，获取所述待处理事实数据对应的多个业务数据实体。
可选的，所述获取模块，具体可以用于：
从数据库中读取待处理事实数据；
获取所述待处理事实数据中每个字段的数据内容，依据各个字段的数据内容，在所述预先存储的业务信息中，获取所述待处理事实数据对应的多个业务数据实体。
可选的，所述装置应用于网络视频播放系统中的计算机，所述计算机中存储的预先构建的筛选数据网络包括“专辑”层级、“剧”层级、“合同”层级和“版权方”层级；
所述事实数据可以为VV数据，所述VV数据包括：标识信息、所属剧的信息、日期信息和版权方信息中至少一种；
所述获取模块，具体可以用于：从数据库中读取待处理VV数据；
获取所述VV数据每个字段的数据内容；
依据所述“标识信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“专辑”层级中的业务数据实体；和/或，
依据所述“所属剧的信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“剧”层级中的业务数据实体；和/或，
依据所述“日期信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“合同”层级中的业务数据实体；和/或，
依据所述“版权方信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“版权方”层级中的业务数据实体。
可选的，所述获取模块，具体可以用于：
按照预设第一周期，从数据库中读取数据；针对读取到的每一条数据，解析所述数据，获取对应多个业务数据实体的一条待处理事实数据；
所述输出模块，具体可以用于：
存储所述目标数据，按照预设第二周期，输出多条目标数据。
为达到上述目的，本发明实施例还公开了一种目标数据输出系统，所述系统包括多台计算机、与各台计算机分别对应连接的多个事实数据库及目标数据库；其中，
每台计算机中设置有上述目标数据输出装置；
每个事实数据库存储一部分事实数据；
所述每个计算机中的目标数据输出装置，从与其相连接的事实数据库中获取待处理事实数据，从获取的待处理事实数据中筛选出目标数据输出至目标数据库。
由上述的技术方案可见，计算机中存储预先构建的筛选数据网络，该筛选数据网络包括N个层级，其中，每个层级中包括至少一个节点，每个层级对应一类业务数据实体，每个节点对应一个业务数据实体，相邻层级的节点之间根据业务信息设置有关联关系。当需要获取目标数据时，直接将事实数据输入该筛选数据网络，当事实数据满足该筛选数据网络中节点间的关联关系及筛选条件时，该事实数据即为通过该筛选数据网络的目标数据。由此可见，应用上述方案，并未将事实数据按照数据结构拆分存储在不同的数据表中，当需要获取目标数据时，避免了在多张数据表中进行筛选，降低了获取目标数据的工作量及复杂度，进而降低了对存储数据库的计算机性能要求。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种目标数据输出方法的流程示意图；
图2为本发明实施例提供的一种筛选数据网络；
图3为本发明实施例提供的一种目标数据输出装置的结构示意图；
图4为本发明实施例提供的一种目标数据输出系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术问题，本发明实施例提供了一种目标数据输出方法、装置及系统，应用于计算机，所述计算机中存储预先构建的筛选数据网络，所述筛选数据网络包括N个层级；其中，每个层级中包括至少一个节点，每个层级对应一类业务数据实体，每个节点对应一个业务数据实体，所述相邻层级的节点之间根据预先存储的业务信息设置有关联关系。下面首先对本发明实施例提供的一种目标数据输出方法进行详细说明。
图1为本发明实施例提供的一种目标数据输出方法的流程示意图，包括：
S101：获取一条待处理事实数据。所述事实数据对应多个业务数据实体，且事实数据对应的各个业务数据实体分别对应各个层级的业务数据实体类别。
具体的，获取一条待处理事实数据，可以利用数据读取技术，从数据库中读取数据；针对读取到的每一条数据，解析所述数据，获取对应多个业务数据实体的一条待处理事实数据。
S102：将所述事实数据输入至所述筛选数据网络的第一层级，判断第一层级中是否有节点对应的业务数据实体与所述事实数据对应的第一个业务数据实体相同，且所述第一个业务数据实体满足预设的第一层级的筛选条件，如果是，执行S103，如果否，确定所述事实数据不是目标数据，在还有待处理事实数据的情况下，返回S101。
S103：根据所述关联关系获得所述筛选数据网络的下一层级中与所述第一个业务数据实体相关联的下一层级节点。
S104：判断下一层级节点对应的业务数据实体与所述事实数据对应的下一个业务数据实体是否相同，且所述下一个业务数据实体满足预设的下一层级的筛选条件，如果是，执行S105，如果否，确定所述事实数据不是目标数据，在还有待处理事实数据的情况下，返回S101。
S105：判断所述筛选数据网络是否有再下一层级，如果否，执行S106，如果是，执行S107。
S106：将所述事实数据作为目标数据输出。
S107：根据所述关联关系获得所述筛选数据网络的再下一层级中与所述下一个业务数据实体相关联的再下一层级节点，将再下一层级节点作为下一层级节点，然后继续执行S104。
上述方法可以应用于网络视频播放系统中的计算机，所述计算机中存储的预先构建的筛选数据网络可以为版权ROI(Return On Investment，投资回报率)筛选数据网络，包括“专辑”层级、“剧”层级、“合同”层级和“版权方”层级，如图2所示，所述筛选数据网络包括4个层级。其中，每个层级包括多个节点，每个层级对应一类业务数据实体：第一层级对应的业务数据实体类别为“专辑”，第一层级对应的业务数据实体类别为“剧”，第三层级对应的业务数据实体类别为“合同”，第四层级对应的业务数据实体类别为“版权方”；每个节点对应一个业务数据实体：第一层级中的S1节点对应的业务实体为“琅琊榜第一集”、S2节点对应的业务实体为“琅琊榜第四集”、S3节点对应的业务实体为“好声音2012.9.6”、S4节点对应的业务实体为“好声音2013.9.6”、S5节点对应的业务实体为“我是歌手2013.4.6”、S6节点对应的业务实体为我是歌手2014.4.6”等等，第一层级中的节点对应的业务数据实体代表某一视频；第二层级中的A1节点对应的业务实体为“电视剧琅琊榜”、A2节点对应的业务实体为“好声音第一季”、A3节点对应的业务实体为“好声音第二季”、A4节点对应的业务实体为“我是歌手第一季”、A5节点对应的业务实体为“我是歌手第二季”等等，第二层级中的节点对应的业务数据实体代表视频所归属的剧；第三层级中的C1节点对应的业务实体为“2012.1-2013.1”、C2节点对应的业务实体为“2013.2-2014.1”、C3节点对应的业务实体为“2014.2-2015.1”、C4节点对应的业务实体为“2015.2-2016.1”等等，第三层级中的节点对应的业务数据实体代表某一时间段；第四层级中的O1节点对应的业务实体为“北京卫视”、O2节点对应的业务实体为“浙江卫视”、O3节点对应的业务实体为“湖南卫视”等等，第四层级中的节点对应的业务数据实体代表版权方。
根据预先存储的业务信息，相邻层级的节点之间设置有相应的关联关系：第一层级中的“琅琊榜第一集”和“琅琊榜第四集”归属于第二层级中的“电视剧琅琊榜”，第一层级中的“好声音2012.9.6”归属于第二层级中的“好声音第一季”，第一层级中的“好声音2013.9.6”归属于第二层级中的“好声音第二季”，第一层级中的“我是歌手2013.4.6”归属于第二层级中的“我是歌手第一季”，第一层级中的“我是歌手2014.4.6”归属于第二层级中的“我是歌手第二季”；第二层级中的“电视剧琅琊榜”在时间段上归属于第三层级中的“2015.2-2016.1”，第二层级中的“好声音第一季”在时间段上归属于第三层级中的“2012.1-2013.1”，第二层级中的“好声音第二季”在时间段上归属于第三层级中的“2013.2-2014.1”，第二层级中的“我是歌手第一季”在时间段上归属于第三层级中的“2013.2-2014.1”，第二层级中的“我是歌手第二季”在时间段上归属于第三层级中的“2014.2-2015.1”；第三层级的节点与第四层级的节点之间的关联关系表示：使用该筛选数据网络的公司从2012.1-2016.1都与浙江卫视有业务往来，2013.2-2015.1与湖南卫视有业务往来，2015.2-2016.1与北京卫视有业务往来。
假设需要获取的目标数据为版权方为浙江卫视、且时间在2013.2-2014.1之间的数据，则第三层级的筛选条件为“浙江卫视”，第四层级的筛选条件为“2013.2-2014.1”。
目标数据输出过程可以包括：从数据库中读取待处理事实数据；解析所述待处理事实数据，获取所述待处理事实数据对应的多个业务数据实体。
具体的，所述解析所述待处理事实数据，获取所述待处理事实数据对应的多个业务数据实体，可以包括：
获取所述待处理事实数据中每个字段的数据内容，依据各个字段的数据内容，在所述预先存储的业务信息中，获取所述待处理事实数据对应的多个业务数据实体。
在本发明所示实施例中，事实数据可以为VV数据，所述VV数据可以包括：标识信息、所属剧的信息、日期信息和版权方信息中至少一种。
获取所述待处理事实数据中每个字段的数据内容，依据各个字段的数据内容，在所述预先存储的业务信息中，获取所述待处理事实数据对应的多个业务数据实体，可以包括：
获取所述VV数据每个字段的数据内容；
依据所述“标识信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“专辑”层级中的业务数据实体；和/或，
依据所述“所属剧的信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“剧”层级中的业务数据实体；和/或，
依据所述“日期信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“合同”层级中的业务数据实体；和/或，
依据所述“版权方信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“版权方”层级中的业务数据实体。
假设获取的待处理VV数据为“琅琊榜第一集-电视剧琅琊榜-2015.10-北京卫视”，该VV数据包括：标识信息(琅琊榜第一集)、所属剧的信息(电视剧琅琊榜)、日期信息(2015.10)和版权方信息(北京卫视)。
获取该VV数据每个字段的数据内容：琅琊榜第一集、电视剧琅琊榜、2015.2-2016.1、北京卫视；
依据“标识信息”的数据内容(琅琊榜第一集)，在所述预先存储的业务信息中，获取所述VV数据对应的所述“专辑”层级中的业务数据实体(琅琊榜第一集)；
依据“所属剧的信息”的数据内容(电视剧琅琊榜)，在所述预先存储的业务信息中，获取所述VV数据对应的所述“剧”层级中的业务数据实体(电视剧琅琊榜)；
依据“日期信息”的数据内容(2015.10)，在所述预先存储的业务信息中，获取所述VV数据对应的所述“合同”层级中的业务数据实体(2015.2-2016.1)；
依据“版权方信息”的数据内容(北京卫视)，在所述预先存储的业务信息中，获取所述VV数据对应的所述“版权方”层级中的业务数据实体(北京卫视)。
将该事实数据(VV数据)输入上述筛选数据网络的第一层级，第一层级中有S1节点对应的业务数据实体与该事实数据对应的第一个业务数据实体相同，均为“琅琊榜第一集”，且第一层级中没有筛选条件，也可以理解为任何业务数据实体均满足预设的第一层级的筛选条件，即S102中的判断结果为是，执行S103，获得所述筛选数据网络的下一层级中与该事实数据对应的第一个业务数据实体“琅琊榜第一集”相关联的下一层级节点为A1节点。
A1节点对应的业务数据实体为“电视剧琅琊榜”，与该事实数据对应的下一个业务数据实体“电视剧琅琊榜”相同，且第二层级中也没有筛选条件，也可以理解为任何业务数据实体均满足预设的第二层级的筛选条件，即S104中的判断结果为是，执行S105，判断结果为是，执行S107，根据所述关联关系获得所述筛选数据网络的再下一层级中与所述下一个业务数据实体“电视剧琅琊榜”相关联的再下一层级节点C4，将C4作为下一层级节点，，然后继续执行S104。
C4节点对应的业务数据实体为“2015.2-2016.1”，与该事实数据对应的下一个业务数据实体“2015.2-2016.1”相同，但不满足第三层级的筛选条件“2013.2-2014.1”，确定所述事实数据不是目标数据，在还有待处理事实数据的情况下，返回S101。
假设获取的下一条待处理事实数据为“好声音2013.9.6-好声音第二季-2013.9-浙江卫视”。将该事实数据输入上述筛选数据网络的第一层级，第一层级中有S6节点对应的业务数据实体与该事实数据对应的第一个业务数据实体相同，均为“好声音2013.9.6”，且第一层级中没有筛选条件，也可以理解为任何业务数据实体均满足预设的第一层级的筛选条件，即S102中的判断结果为是，执行S103，获得所述筛选数据网络的下一层级中与该事实数据对应的第一个业务数据实体“好声音2013.9.6”相关联的下一层级节点为A3节点。
A3节点对应的业务数据实体为“好声音第二季”，与该事实数据对应的下一个业务数据实体“好声音第二季”相同，且第二层级中也没有筛选条件，也可以理解为任何业务数据实体均满足预设的第二层级的筛选条件，即S104中的判断结果为是，执行S105，判断结果为是，执行S107，根据所述关联关系获得所述筛选数据网络的再下一层级中与所述下一个业务数据实体“好声音第二季”相关联的再下一层级节点C2，将C2作为下一层级节点，，然后继续执行S104。
C2节点对应的业务数据实体为“2013.2-2014.1”，与该事实数据对应的下一个业务数据实体，即依据数据内容“2013.9”获取的业务数据实体“2013.2-2014.1”相同，且满足第三层级的筛选条件“2013.2-2014.1”，即S104中的判断结果为是，执行S105，判断结果为是，执行S107，根据所述关联关系获得所述筛选数据网络的再下一层级中与所述下一个业务数据实体“2013.2-2014.1”相关联的再下一层级节点O2和O3，将O2和O3作为下一层级节点，，然后继续执行S104。
O2和O3节点中O2节点对应的业务数据实体为“浙江卫视”，与该事实数据对应的下一个业务数据实体“浙江卫视”相同，且满足第四层级的筛选条件“浙江卫视”，即S104中的判断结果为是，执行S105，所述筛选数据网络没有再下一层级，判断结果为否，将所述事实数据作为目标数据输出。
在还有待处理事实数据的情况下，继续执行S101，获取新的待处理事实数据。
在实际应用中，可以在每一层级上设置数据处理机transformer，用于使满足筛选条件和关联关系的事实数据通过该层级。
在实际应用中，获取一条待处理事实数据，可以按照预设第一周期，从数据库中读取数据；针对读取到的每一条数据，解析所述数据，获取对应多个业务数据实体的一条待处理事实数据；
将所述事实数据作为目标数据输出，可以存储所述目标数据，按照预设第二周期，输出多条目标数据。
数据库中的数据可以是实时更新的，每当有更新数据时，可以立即读取并解析该数据，获取对应多个业务数据实体的一条待处理事实数据，并将该待处理事实数据输入上述筛选数据网络；当然也可以按照预设第一周期(比如每周)，从数据库中读取数据，针对读取到的每一条数据，解析所述数据，获取对应多个业务数据实体的一条待处理事实数据，并将该待处理事实数据输入上述筛选数据网络。
相应的，将所述事实数据作为目标数据输出，可以包括：存储所述目标数据，按照预设第二周期，输出多条目标数据。
在实际应用中，每当产生目标数据时，可以直接将其输出，当然也可以先存储生成的目标数据，然后按照预设第二周期(比如每周)将目标数据进行输出。
需要说明的是，上述以图2中提供的筛选数据网络为例进行说明，仅为本发明的一具体实例，并不构成对本发明的限定。
应用本发明图1所示实施例，计算机中存储预先构建的筛选数据网络，该筛选数据网络包括N个层级，其中，每个层级中包括至少一个节点，每个层级对应一类业务数据实体，每个节点对应一个业务数据实体，相邻层级的节点之间根据预先存储的业务信息设置有关联关系。当需要获取目标数据时，直接将事实数据输入该筛选数据网络，当事实数据满足该筛选数据网络中节点间的关联关系及筛选条件时，该事实数据即为通过该筛选数据网络的目标数据。由此可见，应用上述方案，并未将事实数据按照数据结构拆分存储在不同的数据表中，当需要获取目标数据时，避免了在多张数据表中进行筛选，降低了获取目标数据的工作量及复杂度，进而降低了对存储数据库的计算机性能要求。
与上述的方法实施例相对应，本发明实施例还提供一种目标数据输出装置。
图3为本发明实施例提供的一种目标数据输出装置的结构示意图，包括：获取模块201、第一判断模块202、第一获得模块203、第二判断模块204、三判断模块205、输出模块206和第二获得模块207，其中，
获取模块201，用于获取一条待处理事实数据，所述事实数据对应多个业务数据实体，且事实数据对应的各个业务数据实体分别对应各个层级的业务数据实体类别；
在实际应用中，获取模块201，具体可以用于：
从数据库中读取待处理事实数据；解析所述待处理事实数据，获取所述待处理事实数据对应的多个业务数据实体。
在实际应用中，获取模块201，具体可以用于：
从数据库中读取待处理事实数据；获取所述待处理事实数据中每个字段的数据内容，依据各个字段的数据内容，在所述预先存储的业务信息中，获取所述待处理事实数据对应的多个业务数据实体。
在实际应用中，所述装置可以应用于网络视频播放系统中的计算机，所述计算机中存储的预先构建的筛选数据网络包括“专辑”层级、“剧”层级、“合同”层级和“版权方”层级；
所述事实数据可以为VV数据，所述VV数据可以包括：标识信息、所属剧的信息、日期信息和版权方信息中至少一种；
所述获取模块，具体可以用于：从数据库中读取待处理VV数据；
获取所述VV数据每个字段的数据内容；
依据所述“标识信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“专辑”层级中的业务数据实体；和/或，
依据所述“所属剧的信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“剧”层级中的业务数据实体；和/或，
依据所述“日期信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“合同”层级中的业务数据实体；和/或，
依据所述“版权方信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“版权方”层级中的业务数据实体。
第一判断模块202，用于将所述事实数据输入至所述筛选数据网络的第一层级，判断第一层级中是否有节点对应的业务数据实体与所述事实数据对应的第一个业务数据实体相同，且所述第一个业务数据实体满足预设的第一层级的筛选条件，如果判断结果为是，触发第一获得模块203，如果判断结果为否，在还有待处理事实数据的情况下，触发获取模块201；
第一获得模块203，用于根据所述关联关系获得所述筛选数据网络的下一层级中与所述第一个业务数据实体相关联的下一层级节点；
第二判断模块204，用于判断下一层级节点对应的业务数据实体与所述事实数据对应的下一个业务数据实体是否相同，且所述下一个业务数据实体满足预设的下一层级的筛选条件，如果判断结果为是，触发第三判断模块205，如果判断结果为否，在还有待处理事实数据的情况下，触发获取模块201；
第三判断模块205，用于判断所述筛选数据网络是否有再下一层级，如果判断结果为否，触发输出模块206，如果判断结果为是，触发第二获得模块207；
输出模块206，用于将所述事实数据作为目标数据输出；
第二获得模块207，用于根据所述关联关系获得所述筛选数据网络的再下一层级中与所述下一个业务数据实体相关联的再下一层级节点，将再下一层级节点作为下一层级节点，并触发所述第二判断模块。
在本发明所示实施例中，所述获取模块，具体可以用于：
按照预设第一周期，从数据库中读取数据；针对读取到的每一条数据，解析所述数据，获取对应多个业务数据实体的一条待处理事实数据；
所述输出模块，具体可以用于：
存储所述目标数据，按照预设第二周期，输出多条目标数据。
应用本发明图3所示实施例，计算机中存储预先构建的筛选数据网络，该筛选数据网络包括N个层级，其中，每个层级中包括至少一个节点，每个层级对应一类业务数据实体，每个节点对应一个业务数据实体，相邻层级的节点之间根据预先存储的业务信息设置有关联关系。当需要获取目标数据时，直接将事实数据输入该筛选数据网络，当事实数据满足该筛选数据网络中节点间的关联关系及筛选条件时，该事实数据即为通过该筛选数据网络的目标数据。由此可见，应用上述方案，并未将事实数据按照数据结构拆分存储在不同的数据表中，当需要获取目标数据时，避免了在多张数据表中进行筛选，降低了获取目标数据的工作量及复杂度，进而降低了对存储数据库的计算机性能要求。
图4为本发明实施例提供的一种目标数据输出系统的结构示意图，该目标数据输出系统可以包括：多台计算机、与各台计算机分别对应连接的多个事实数据库及目标数据库，其中，
每台计算机中设置有本发明图2所示实施例中的目标数据输出装置；
每个事实数据库存储一部分事实数据；
所述每个计算机中的目标数据输出装置，从与其相连接的事实数据库中获取待处理事实数据，从获取的待处理事实数据中筛选出目标数据输出至目标数据库。
目标数据库，用于存储目标数据，按照预设第二周期，输出多条目标数据。在实际应用中，目标数据库中存储的目标数据，可以根据实际需求，输出数据报表。多台计算机可以共用一个目标数据库，当然也可以设置多个目标数据库。
在本发明所示实施例中，利用分而治之的思想，数据库将存储的数据分配给上述系统中的多台计算机，由多台计算机处理数据，相比于一台计算机处理所有数据，提高了工作效率，降低了计算机的负载，进而降低了对计算机的性能要求。
另外，现有的数据处理通常使用多线程，使用多线程处理数据会有资源竞争的问题。应用本发明所示实施例，利用多台计算机处理数据，各台计算机中均存储有筛选数据网络，避免了使用多线程导致的资源竞争问题。
应用本发明图4所示实施例，每台计算机分别连接一个事实数据库及目标数据库，即，将总事实数据库拆分成多个子事实数据库，并分配给上述系统中的多台计算机，由多台计算机处理数据，提高了工作效率，降低了计算机的负载，进而降低了对计算机的性能要求，也避免了使用多线程导致的资源竞争问题。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种目标数据输出方法，其特征在于，应用于计算机，所述计算机中存储预先构建的筛选数据网络，所述筛选数据网络包括N个层级；其中，每个层级中包括至少一个节点，每个层级对应一类业务数据实体，每个节点对应一个业务数据实体，相邻层级的节点之间根据预先存储的业务信息设置有关联关系；
所述目标数据输出过程包括：
A、获取一条待处理事实数据，所述事实数据对应多个业务数据实体，且事实数据对应的各个业务数据实体分别对应各个层级的业务数据实体类别；
B、将所述事实数据输入至所述筛选数据网络的第一层级，若第一层级中有节点对应的业务数据实体与所述事实数据对应的第一个业务数据实体相同，且所述第一个业务数据实体满足预设的第一层级的筛选条件，则根据所述关联关系获得所述筛选数据网络的下一层级中与所述第一个业务数据实体相关联的下一层级节点；否则，确定所述事实数据不是目标数据，在还有待处理事实数据的情况下，返回步骤A；
C、若所述下一层级节点对应的业务数据实体与所述事实数据对应的下一个业务数据实体相同，且所述下一个业务数据实体满足预设的下一层级的筛选条件，则在所述筛选数据网络有再下一层级的情况下，根据所述关联关系获得所述筛选数据网络的再下一层级中与所述下一个业务数据实体相关联的再下一层级节点，将再下一层级节点作为下一层级节点，返回执行步骤C，或在所述筛选数据网络没有再下一层级的情况下，将所述事实数据作为目标数据输出；否则，确定所述事实数据不是目标数据，在还有待处理事实数据的情况下，返回步骤A。
2.根据权利要求1所述的方法，其特征在于，所述获取一条待处理事实数据，包括：
从数据库中读取待处理事实数据；
解析所述待处理事实数据，获取所述待处理事实数据对应的多个业务数据实体。
3.根据权利要求2所述的方法，其特征在于，所述解析所述待处理事实数据，获取所述待处理事实数据对应的多个业务数据实体，包括：
获取所述待处理事实数据中每个字段的数据内容，依据各个字段的数据内容，在所述预先存储的业务信息中，获取所述待处理事实数据对应的多个业务数据实体。
4.根据权利要求3所述的方法，其特征在于，所述方法应用于网络视频播放系统中的计算机，所述计算机中存储的预先构建的筛选数据网络包括“专辑”层级、“剧”层级、“合同”层级和“版权方”层级；
所述事实数据为VV数据，所述VV数据包括：标识信息、所属剧的信息、日期信息和版权方信息中至少一种；
所述获取所述待处理事实数据中每个字段的数据内容，依据各个字段的数据内容，在所述预先存储的业务信息中，获取所述待处理事实数据对应的多个业务数据实体，包括：
获取所述VV数据每个字段的数据内容；
依据所述“标识信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“专辑”层级中的业务数据实体；和/或，
依据所述“所属剧的信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“剧”层级中的业务数据实体；和/或，
依据所述“日期信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“合同”层级中的业务数据实体；和/或，
依据所述“版权方信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“版权方”层级中的业务数据实体。
5.根据权利要求1所述的方法，其特征在于，所述获取一条待处理事实数据，包括：
按照预设第一周期，从数据库中读取数据；
针对读取到的每一条数据，解析所述数据，获取对应多个业务数据实体的一条待处理事实数据；
所述将所述事实数据作为目标数据输出，包括：
存储所述目标数据，按照预设第二周期，输出多条目标数据。
6.一种目标数据输出装置，其特征在于，应用于计算机，所述计算机中存储预先构建的筛选数据网络，所述筛选数据网络包括N个层级；其中，每个层级中包括至少一个节点，每个层级对应一类业务数据实体，每个节点对应一个业务数据实体，相邻层级的节点之间根据预先存储的业务信息设置有关联关系；
所述装置包括：获取模块、第一判断模块、第一获得模块、第二判断模块、三判断模块、输出模块和第二获得模块，其中，
所述获取模块，用于获取一条待处理事实数据，所述事实数据对应多个业务数据实体，且事实数据对应的各个业务数据实体分别对应各个层级的业务数据实体类别；
所述第一判断模块，用于将所述事实数据输入至所述筛选数据网络的第一层级，判断第一层级中是否有节点对应的业务数据实体与所述事实数据对应的第一个业务数据实体相同，且所述第一个业务数据实体满足预设的第一层级的筛选条件，如果判断结果为是，触发所述第一获得模块，如果判断结果为否，在还有待处理事实数据的情况下，触发所述获取模块；
所述第一获得模块，用于根据所述关联关系获得所述筛选数据网络的下一层级中与所述第一个业务数据实体相关联的下一层级节点；
所述第二判断模块，用于判断下一层级节点对应的业务数据实体与所述事实数据对应的下一个业务数据实体是否相同，且所述下一个业务数据实体满足预设的下一层级的筛选条件，如果判断结果为是，触发第三判断模块，如果判断结果为否，在还有待处理事实数据的情况下，触发所述获取模块；
所述第三判断模块，用于判断所述筛选数据网络是否有再下一层级，如果判断结果为否，触发所述输出模块，如果判断结果为是，触发所述第二获得模块；
所述输出模块，用于将所述事实数据作为目标数据输出；
所述第二获得模块，用于根据所述关联关系获得所述筛选数据网络的再下一层级中与所述下一个业务数据实体相关联的再下一层级节点，将再下一层级节点作为下一层级节点，并触发所述第二判断模块。
7.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于：
从数据库中读取待处理事实数据；
解析所述待处理事实数据，获取所述待处理事实数据对应的多个业务数据实体。
8.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于：
从数据库中读取待处理事实数据；
获取所述待处理事实数据中每个字段的数据内容，依据各个字段的数据内容，在所述预先存储的业务信息中，获取所述待处理事实数据对应的多个业务数据实体。
9.根据权利要求8所述的装置，其特征在于，所述装置应用于网络视频播放系统中的计算机，所述计算机中存储的预先构建的筛选数据网络包括“专辑”层级、“剧”层级、“合同”层级和“版权方”层级；
所述事实数据为VV数据，所述VV数据包括：标识信息、所属剧的信息、日期信息和版权方信息中至少一种；
所述获取模块，具体用于：从数据库中读取待处理VV数据；
获取所述VV数据每个字段的数据内容；
依据所述“标识信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“专辑”层级中的业务数据实体；和/或，
依据所述“所属剧的信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“剧”层级中的业务数据实体；和/或，
依据所述“日期信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“合同”层级中的业务数据实体；和/或，
依据所述“版权方信息”的数据内容，在所述预先存储的业务信息中，获取所述VV数据对应的所述“版权方”层级中的业务数据实体。
10.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于：
按照预设第一周期，从数据库中读取数据；针对读取到的每一条数据，解析所述数据，获取对应多个业务数据实体的一条待处理事实数据；
所述输出模块，具体用于：
存储所述目标数据，按照预设第二周期，输出多条目标数据。
11.一种目标数据输出系统，其特征在于，所述系统包括多台计算机、与各台计算机分别对应连接的多个事实数据库及目标数据库；其中，
每台计算机中设置有权利要求6所述的目标数据输出装置；
每个事实数据库存储一部分事实数据；
所述每个计算机中的目标数据输出装置，从与其相连接的事实数据库中获取待处理事实数据，从获取的待处理事实数据中筛选出目标数据输出至目标数据库。
CN201610202562.3A 2016-03-31 2016-03-31 一种目标数据输出方法、装置及系统 Active CN105893572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610202562.3A CN105893572B (zh) 2016-03-31 2016-03-31 一种目标数据输出方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610202562.3A CN105893572B (zh) 2016-03-31 2016-03-31 一种目标数据输出方法、装置及系统

Publications (2)

Publication Number Publication Date
CN105893572A CN105893572A (zh) 2016-08-24
CN105893572B true CN105893572B (zh) 2019-02-22

Family

ID=57011838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610202562.3A Active CN105893572B (zh) 2016-03-31 2016-03-31 一种目标数据输出方法、装置及系统

Country Status (1)

Country Link
CN (1) CN105893572B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506613A (zh) * 2020-04-22 2020-08-07 支付宝(杭州)信息技术有限公司 一种数据记录的关联关系的查询方法、系统、装置及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8230339B2 (en) * 2010-03-02 2012-07-24 Oracle International Corporation Hierarchical data display
US8949281B2 (en) * 2012-03-31 2015-02-03 Emc Corporation System and method of hierarchical data containers
CN103559325A (zh) * 2013-11-25 2014-02-05 方正国际软件有限公司 临床文档模板的管理系统和管理方法
CN104021156B (zh) * 2014-05-22 2017-03-15 武汉天量数据技术有限公司 一种基于sql语句快速汇总多层事实数据的方法
CN105404660A (zh) * 2015-11-05 2016-03-16 上海智臻智能网络科技股份有限公司 多级数据存储方法及装置、多级数据结构、信息检索方法

Also Published As

Publication number Publication date
CN105893572A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN109325218B (zh) 一种数据筛选统计方法、装置、电子设备及存储介质
CN109766345B (zh) 元数据处理方法及装置、设备、可读存储介质
CN111553137B (zh) 报告生成方法、装置、存储介质及计算机设备
WO2015184762A1 (zh) 数据库查询方法及装置
WO2020140620A1 (zh) 基于智能决策的文本分类方法、装置、服务器及存储介质
US9336286B2 (en) Graphical record matching process replay for a data quality user interface
US8140479B2 (en) Logical classification of objects on a computer system
CN110647512A (zh) 一种数据存储和分析方法、装置、设备和可读介质
Wijaya et al. An overview and implementation of extraction-transformation-loading (ETL) process in data warehouse (Case study: Department of agriculture)
US9721362B2 (en) Auto-completion of partial line pattern
JP2012003497A (ja) 障害原因推定装置、障害原因推定プログラム及び障害原因推定方法
Hellsten et al. The creation of the climategate hype in blogs and newspapers: mixed methods approach
CN106599300B (zh) 一种分布式系统数据库结构对比方法和装置
CN105893572B (zh) 一种目标数据输出方法、装置及系统
CN108199862A (zh) 一种业务系统报错管理系统及方法
Ahmed et al. Progressive convergent definition and conceptualization of organizational resilience: A model development
US9785404B2 (en) Method and system for analyzing data in artifacts and creating a modifiable data network
CN109213979B (zh) 对电子表格进行筛选的方法、装置、电子设备及存储介质
CN104598598A (zh) 一种关系型数据标准性的评估方法
Lehtinen et al. What are problem causes of software projects? Data of root cause analysis at four software companies
CN114817257A (zh) 数据表关联生成及业务处理方法、装置、设备及存储介质
CN105320675A (zh) 数据库应用系统属性扩展管理方法及其装置
US20100250621A1 (en) Financial-analysis support apparatus and financial-analysis support method
CN110766555A (zh) 信息采集系统
CN111241347A (zh) 一种图数据库的创建方法、企业数据查询方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant