CN105787010B - 基于个人数据的采集处理及推送方法及系统 - Google Patents
基于个人数据的采集处理及推送方法及系统 Download PDFInfo
- Publication number
- CN105787010B CN105787010B CN201610098354.3A CN201610098354A CN105787010B CN 105787010 B CN105787010 B CN 105787010B CN 201610098354 A CN201610098354 A CN 201610098354A CN 105787010 B CN105787010 B CN 105787010B
- Authority
- CN
- China
- Prior art keywords
- data
- personal
- model
- information
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000008569 process Effects 0.000 title claims abstract description 46
- 238000013499 data model Methods 0.000 claims abstract description 101
- 238000012545 processing Methods 0.000 claims abstract description 40
- 239000003550 marker Substances 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims abstract description 8
- 230000003993 interaction Effects 0.000 claims description 14
- 238000013475 authorization Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 6
- 239000000284 extract Substances 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Abstract
本发明提出了一种基于个人数据的采集处理及推送方法及系统，包括：由数据采集器以预设采集时间周期采集来自企业系统的内部数据和外部数据，从内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据个人数据、基础数据和业务数据建立数据模型；当数据采集器监测到数据仓库中的数据发生变化时，查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令；数据模型对待处理的数据进行数据识别和分类标记；数据调度器根据预设推送策略将个人数据库中的数据推送至用户的终端设备，并与终端设备进行交互反馈。本发明对个人数据进行统一标准维护，减少个人用户在业务数据流程周转的步骤，提高数据利用率。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于个人数据的采集处理及推送方法及系统。
背景技术
目前市面上数据的集成、转换、加载的方法建立之初时就统一规划、建立共享数据平台，这些平台通过业务系统和共享数据平台进行数据的清洗、集中和交换、提供数据源，主要是避免了业务系统间接、直接的数据交互，降低了数据传输的复杂度保证了数据的统一性和一致性。
但是业务系统越多，要全面管理这些数据的难度就越大。
第一，数据规模不断在扩大，数据的同步规则越来越复杂，管理成本越来越大；
第二，数据质量不高，数据应用的有效性不高，导致有效数据却用不起来；
第三，整个业务流程变更，新的业务随着业务的发展有所变化，因而对数据组织架构提出了新的要求。个人用户的问题变得千差万别，用户需求各不相同。业务系统变成数据孤岛，互不相通。利用个人数据需登录业务系统模块，系统越多、与“人”相关的数据就越多，要全面获取这些数据的难度就越大。但是系统越多，需要获得数据的难度越高，需要不断地去了解新的系统和应用。因此，数据中心的建设过程中，IT部门关注数据的整合过程，强调完整性和一致性。但是最容易被忽略的是，保留的数据和用户所需的数据，这两者之间的偏差无法一一对应。
专利(申请号：201010206706.5；名称：读取、存储个人数据的方法和系统、终端、服务器)公开了一种通过将终端的个人数据存储在服务器上，每次使用个人数据时都通过鉴权从服务器下载的方案，可以提高用户终端个人数据使用的安全性。但是，该技术方案仍然没有解决个人数据在庞杂的业务系统中流转时，如何提高数据流转和利用效率。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种基于个人数据的采集处理及推送方法及系统，对个人数据进行统一标准维护，可以减少个人用户在业务数据流程周转的步骤，提高数据利用率。
为了实现上述目的，本发明一方面的实施例提供了一种基于个人数据采集处理及推送方法，包括如下步骤：
步骤S1，由数据采集器以预设采集时间周期采集来自企业系统的内部数据和外部数据，从所述内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据所述个人数据、基础数据和业务数据建立数据模型，将采集到的所述基础数据、业务数据和个人数据存储至数据仓库中；
步骤S2，当所述数据采集器监测到所述数据仓库中的数据发生变化时，向数据调度器发送提示，所述数据调度器根据发生变化的数据内容和数据量，对采集任务进行拆分，形成多个待处理的数据任务，并查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令；
步骤S3，所述数据模型在接收到所述数据处理指令后，对待处理的数据进行数据识别以得到对应的个人属性，并对数据进行分类标记，再根据数据的分类标记进行数据间的关联处理，存储关联处理后的数据至个人数据库；
步骤S4，所述数据调度器根据预设推送策略将所述个人数据库中的数据推送至用户的终端设备，并与所述终端设备进行交互反馈。
进一步，在所述步骤S1中，所述个人数据包括：基本信息、自定义需求信息、权限策略信息、业务交互信息、业务标签信息、应用点击信息、反馈信息。
进一步，在所述步骤S2中，所述对采集任务进行拆分，包括：将所述采集任务根据等量大小进行平局分片，形成多个所述待处理的数据任务。
进一步，在所述步骤S3中，将所述数据分类为：实时数据、告警数据、预测数据和业务问题数据。
进一步，当满足以下至少一个条件时，所述数据模型触发重新优化功能：
(1)所述数据模型处理的数据量超过预设数据量；
(2)所述数据模型的数据处理速度超过预设速度；
(3)所述数据模型处理的分类结果与用户得到的结果不一致。
根据本发明实施例的基于个人数据的采集处理及推送方法，采用科学的规划，重新构建数据基础，以面向对象的方式有机组合所有的企业经营各种相关的数据资源。围绕着一个人，例如企业的员工、管理人员、策略人员等，融合各类属性的数据，逐渐建立个人数据库，向外界提供查询、定时推送等服务，也可以上传到各个数据的通道。同时，本发明对个人数据进行统一标准维护，可以减少个人用户在业务数据流程周转的步骤，提高数据利用率。
本发明另一方面的实施例提出一种基于个人数据的采集处理及推送系统，包括：数据采集器、数据调度器、数据模型器和个人数据库，其中，
所述数据采集器用于以预设采集时间周期采集来自企业系统的内部数据和外部数据，从所述内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据所述个人数据、基础数据和业务数据建立数据模型并存储至所述数据模型器中，所述数据采集器进一步将采集到的所述基础数据、业务数据和个人数据存储至数据仓库中，当监测到所述数据仓库中的数据发生变化时，向所述数据调度器发送提示；
所述数据调度器用于根据发生变化的数据内容和数据量，对采集任务进行拆分，形成多个待处理的数据任务，从所述数据模型器中查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令，所述数据模型在接收到所述数据处理指令后，对待处理的数据进行数据识别以得到对应的个人属性，并对数据进行分类标记，再根据数据的分类标记进行数据间的关联处理，存储关联处理后的数据至所述个人数据库；
所述数据调度器还用于根据预设推送策略将所述个人数据库中的数据推送至用户的终端设备，并与所述终端设备进行交互反馈。
进一步，所述个人数据包括：基本信息、自定义需求信息、权限策略信息、业务交互信息、业务标签信息、应用点击信息、反馈信息。
进一步，所述数据模型对采集任务进行拆分，包括：将所述采集任务根据等量大小进行平局分片，形成多个所述待处理的数据任务。
进一步，所述数据模型将所述数据分类为：实时数据、告警数据、预测数据和业务问题数据。
进一步，当满足以下至少一个条件时，所述数据模型触发重新优化功能：
(1)所述数据模型处理的数据量超过预设数据量；
(2)所述数据模型的数据处理速度超过预设速度；
(3)所述数据模型处理的分类结果与用户得到的结果不一致。
根据本发明实施例的基于个人数据的采集处理及推送系统，采用科学的规划，重新构建数据基础，以面向对象的方式有机组合所有的企业经营各种相关的数据资源。围绕着一个人，例如企业的员工、管理人员、策略人员等，融合各类属性的数据，逐渐建立个人数据库，向外界提供查询、定时推送等服务，也可以上传到各个数据的通道。同时，本发明对个人数据进行统一标准维护，可以减少个人用户在业务数据流程周转的步骤，提高数据利用率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于个人数据的采集处理及推送方法的流程图；
图2为根据本发明实施例的基于个人数据的采集处理及推送系统的结构图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提出一种基于个人数据的采集处理及推送方法及系统，针对个人的业务属性进行定义模型，通过模型来确定数据结构的集成、转换和推送。具体地，由于个人信息随着时间、空间和业务的演变过程，需要分析变化规律，建立此人的数据模型。当需要向该人推送数据时，则从业务系统汇集数据，基于之前建立的数据模型进行数据集成、抽取、集成和加载推送。
如图1所示，本发明实施例的基于个人数据的采集处理及推送方法，包括如下步骤：
步骤S1，由数据采集器以预设采集时间周期采集来自企业系统的内部数据和外部数据，从内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据个人数据、基础数据和业务数据建立数据模型，将采集到的基础数据、业务数据和个人数据存储至数据仓库中。
其中，个人数据包括：基本信息、自定义需求信息、权限策略信息、业务交互信息、业务标签信息、应用点击信息、反馈信息。
基本信息包括：姓名、年龄(出生年月)、性别、个人简介、专业技能，岗位、职责等。权限策略信息是指此人的权限级别。业务标签信息主要是此人在企业能所从事的业务活动。自定义需求是指此人的对数据的需求。业务交互信息是指此人在业务过程中交互的信息。应用点击信息是指此人在应用点击的信息。反馈信息是指此人对数据的要求进行反馈信息。
需要说明的是，个人数据不限于上述类型，还可以扩展到其他类型的个人数据，扩展的类型数量不限。并且，由于个人的属性不同，个人的所包含的属性也不同。数据采集器可以根据人的属性不同，从企业数据库中收集不同的数据。
步骤S2，在数据采集过程中，当数据采集器监测到数据仓库中的数据发生变化时，向数据调度器发送提示，数据调度器根据发生变化的数据内容和数据量，对采集任务进行拆分，形成多个待处理的数据任务。
具体地，数据调度器对采集任务进行拆分，包括：根据数据变化量的大小将采集任务根据等量大小进行平局分片，形成多个待处理的数据任务。
数据调度器从数据模型器中查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令。其中，数据模型器可以包括多个数据模型，数据模型主要是对汇集的数据进行模型调用，并将处理的数据进行分类及数据分发到个人主数据库中。
创建数据模型步骤如下：
第一步，定义数据模型的名称；
第二步，训练数据模型，其中，训练数据模型包括：对数据进行分类、数据打标签定义、数据关联定义和数据存储。
第三步，测试数据模型。
第四步，验证数据模型。
第五部，对数据模型进行评分。其中，根据数据模型处理数据的时间和准确度对数据模型进行评分。当数据模型的数据处理速度小于评分数值则模型需要自我优化。
步骤S3，数据模型在接收到数据处理指令后，首先对待处理的数据进行数据识别以得到对应的个人属性，并对数据进行分类标记，再根据数据的分类标记进行数据间的关联处理，存储关联处理后的数据至个人数据库，并进行整理和校验。
在本发明的一个实施例中，数据模型可以将数据分类为：实时数据、告警数据、预测数据和业务问题数据等。需要说明的是，上述对数据的分类仅是出于示例的目的，数据模型还可以将数据划分为其他类别，在此不再赘述。
当满足以下至少一个条件时，数据模型触发重新优化功能：
(1)数据模型处理的数据量超过预设数据量，例如，数据量超过1万条数据；
(2)数据模型的数据处理速度超过预设速度，例如，处理速度大于30秒；
(3)数据模型处理的分类结果与用户得到的结果不一致。
本发明针对个人提供对业务数据的处理功能，采集和加载和个人相关的数据形成个人数据中心，结合个人的基本信息、权限策略、业务标签、自定义需求信息、业务交互信息、应用点击信息以及反馈信息进行数据模型构建，在通过机器自动构建模型，训练模型、模型测试工作，将有效数据汇集到个人数据库。
步骤S4，数据调度器根据预设推送策略将个人数据库中的数据推送至用户的终端设备，并与终端设备进行交互反馈。
具体地，个人数据库中的数据可以按照分类、策略、规则、定时进行对个人数据推送和交互。个人用户的终端设备收到上述数据后，可以向个人数据库发送反馈数据，在反馈的过程中，会参与到数据模型的优化。
根据本发明实施例的基于个人数据的采集处理及推送方法，采用科学的规划，重新构建数据基础，以面向对象的方式有机组合所有的企业经营各种相关的数据资源。围绕着一个人，例如企业的员工、管理人员、策略人员等，融合各类属性的数据，逐渐建立个人数据库，向外界提供查询、定时推送等服务，也可以上传到各个数据的通道。同时，本发明对个人数据进行统一标准维护，可以减少个人用户在业务数据流程周转的步骤，提高数据利用率。
下面参考图2对本发明实施例的基于个人数据的采集处理及推送系统。
如图2所示，本发明实施例的基于个人数据的采集处理及推送系统，包括：数据采集器1、数据调度器2、数据模型器3和个人数据库4。
具体地，数据采集器1用于以预设采集时间周期采集来自企业系统的内部数据和外部数据，从内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据个人数据、基础数据和业务数据建立数据模型并存储至数据模型器中。
其中，个人数据包括：基本信息、自定义需求信息、权限策略信息、业务交互信息、业务标签信息、应用点击信息、反馈信息。
基本信息包括：姓名、年龄(出生年月)、性别、个人简介、专业技能，岗位、职责等。权限策略信息是指此人的权限级别。业务标签信息主要是此人在企业能所从事的业务活动。自定义需求是指此人的对数据的需求。业务交互信息是指此人在业务过程中交互的信息。应用点击信息是指此人在应用点击的信息。反馈信息是指此人对数据的要求进行反馈信息。
需要说明的是，个人数据不限于上述类型，还可以扩展到其他类型的个人数据，扩展的类型数量不限。并且，由于个人的属性不同，个人的所包含的属性也不同。数据采集器可以根据人的属性不同，从企业数据库中收集不同的数据。
数据采集器1进一步将采集到的基础数据、业务数据和个人数据存储至数据仓库中，当监测到数据仓库中的数据发生变化时，向数据调度器2发送提示。
数据调度器2用于根据发生变化的数据内容和数据量，对采集任务进行拆分，形成多个待处理的数据任务，从数据模型器3中查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令。
具体地，数据调度器2对采集任务进行拆分，包括：根据数据变化量的大小将采集任务根据等量大小进行平局分片，形成多个待处理的数据任务。
数据调度器2从数据模型器3中查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令。其中，数据模型器可以包括多个数据模型，数据模型主要是对汇集的数据进行模型调用，并将处理的数据进行分类及数据分发到个人主数据库中。
创建数据模型步骤如下：
第一步，定义数据模型的名称；
第二步，训练数据模型，其中，训练数据模型包括：对数据进行分类、数据打标签定义、数据关联定义和数据存储。
第三步，测试数据模型。
第四步，验证数据模型。
第五部，对数据模型进行评分。其中，根据数据模型处理数据的时间和准确度对数据模型进行评分。当数据模型的数据处理速度小于评分数值则模型需要自我优化。
数据模型在接收到数据处理指令后，对待处理的数据进行数据识别以得到对应的个人属性，并对数据进行分类标记，再根据数据的分类标记进行数据间的关联处理，存储关联处理后的数据至个人数据库4。
在本发明的一个实施例中，数据模型可以将数据分类为：实时数据、告警数据、预测数据和业务问题数据等。需要说明的是，上述对数据的分类仅是出于示例的目的，数据模型还可以将数据划分为其他类别，在此不再赘述。
当满足以下至少一个条件时，数据模型触发重新优化功能：
(1)数据模型处理的数据量超过预设数据量，例如，数据量超过1万条数据；
(2)数据模型的数据处理速度超过预设速度，例如，处理速度大于30秒；
(3)数据模型处理的分类结果与用户得到的结果不一致。
数据调度器2进一步根据预设推送策略将个人数据库4中的数据推送至用户的终端设备，并与终端设备进行交互反馈。
具体地，个人数据库4中的数据可以按照分类、策略、规则、定时进行对个人数据推送和交互。个人用户的终端设备收到上述数据后，可以向个人数据库发送反馈数据，在反馈的过程中，会参与到数据模型的优化。
根据本发明实施例的基于个人数据的采集处理及推送系统，采用科学的规划，重新构建数据基础，以面向对象的方式有机组合所有的企业经营各种相关的数据资源。围绕着一个人，例如企业的员工、管理人员、策略人员等，融合各类属性的数据，逐渐建立个人数据库，向外界提供查询、定时推送等服务，也可以上传到各个数据的通道。同时，本发明对个人数据进行统一标准维护，可以减少个人用户在业务数据流程周转的步骤，提高数据利用率。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。
Claims (10)
1.一种基于个人数据的采集处理及推送方法，其特征在于，包括如下步骤：
步骤S1，由数据采集器以预设采集时间周期采集来自企业系统的内部数据和外部数据，从所述内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据所述个人数据、基础数据和业务数据建立数据模型，将采集到的所述基础数据、业务数据和个人数据存储至数据仓库中；
步骤S2，当所述数据采集器监测到所述数据仓库中的数据发生变化时，向数据调度器发送提示，所述数据调度器根据发生变化的数据内容和数据量，对采集任务进行拆分，形成多个待处理的数据任务，并查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令；
步骤S3，所述数据模型在接收到所述数据处理指令后，对待处理的数据进行数据识别以得到对应的个人属性，并对数据进行分类标记，再根据数据的分类标记进行数据间的关联处理，存储关联处理后的数据至个人数据库；其中，针对个人提供对业务数据的处理功能，采集和加载和个人相关的数据形成个人数据中心，结合个人的基本信息、权限策略、业务标签、自定义需求信息、业务交互信息、应用点击信息以及反馈信息，通过机器自动进行数据模型构建，训练数据模型、数据模型测试工作，将有效数据汇集到个人数据库；
步骤S4，所述数据调度器根据预设推送策略将所述个人数据库中的数据推送至用户的终端设备，并与所述终端设备进行交互反馈。
2.如权利要求1所述的基于个人数据的采集处理及推送方法，其特征在于，在所述步骤S1中，所述个人数据包括：基本信息、自定义需求信息、权限策略信息、业务交互信息、业务标签信息、应用点击信息、反馈信息。
3.如权利要求1所述的基于个人数据的采集处理及推送方法，其特征在于，在所述步骤S2中，所述对采集任务进行拆分，包括：将所述采集任务根据等量大小进行平局分片，形成多个所述待处理的数据任务。
4.如权利要求1所述的基于个人数据的采集处理及推送方法，其特征在于，在所述步骤S3中，将所述数据分类为：实时数据、告警数据、预测数据和业务问题数据。
5.如权利要求1所述的基于个人数据的采集处理及推送方法，其特征在于，当满足以下至少一个条件时，所述数据模型触发重新优化功能：
(1)所述数据模型处理的数据量超过预设数据量；
(2)所述数据模型的数据处理速度超过预设速度；
(3)所述数据模型处理的分类结果与用户得到的结果不一致。
6.一种基于个人数据的采集处理及推送系统，其特征在于，包括：数据采集器、数据调度器、数据模型器和个人数据库，其中，
所述数据采集器用于以预设采集时间周期采集来自企业系统的内部数据和外部数据，从所述内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据所述个人数据、基础数据和业务数据建立数据模型并存储至所述数据模型器中，所述数据采集器进一步将采集到的所述基础数据、业务数据和个人数据存储至数据仓库中，当监测到所述数据仓库中的数据发生变化时，向所述数据调度器发送提示；
所述数据调度器用于根据发生变化的数据内容和数据量，对采集任务进行拆分，形成多个待处理的数据任务，从所述数据模型器中查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令，所述数据模型在接收到所述数据处理指令后，对待处理的数据进行数据识别以得到对应的个人属性，并对数据进行分类标记，再根据数据的分类标记进行数据间的关联处理，存储关联处理后的数据至所述个人数据库；其中，针对个人提供对业务数据的处理功能，采集和加载和个人相关的数据形成个人数据中心，结合个人的基本信息、权限策略、业务标签、自定义需求信息、业务交互信息、应用点击信息以及反馈信息，通过机器自动进行数据模型构建，训练数据模型、数据模型测试工作，将有效数据汇集到个人数据库；
所述数据调度器还用于根据预设推送策略将所述个人数据库中的数据推送至用户的终端设备，并与所述终端设备进行交互反馈。
7.如权利要求6所述的基于个人数据的采集处理及推送系统，其特征在于，所述个人数据包括：基本信息、自定义需求信息、权限策略信息、业务交互信息、业务标签信息、应用点击信息、反馈信息。
8.如权利要求6所述的基于个人数据的采集处理及推送系统，其特征在于，所述数据模型对采集任务进行拆分，包括：将所述采集任务根据等量大小进行平局分片，形成多个所述待处理的数据任务。
9.如权利要求6所述的基于个人数据的采集处理及推送系统，其特征在于，所述数据模型将所述数据分类为：实时数据、告警数据、预测数据和业务问题数据。
10.如权利要求6所述的基于个人数据的采集处理及推送系统，其特征在于，当满足以下至少一个条件时，所述数据模型触发重新优化功能：
(1)所述数据模型处理的数据量超过预设数据量；
(2)所述数据模型的数据处理速度超过预设速度；
(3)所述数据模型处理的分类结果与用户得到的结果不一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610098354.3A CN105787010B (zh) | 2016-02-23 | 2016-02-23 | 基于个人数据的采集处理及推送方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610098354.3A CN105787010B (zh) | 2016-02-23 | 2016-02-23 | 基于个人数据的采集处理及推送方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105787010A CN105787010A (zh) | 2016-07-20 |
| CN105787010B true CN105787010B (zh) | 2019-08-16 |
Family
ID=56402822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610098354.3A Expired - Fee Related CN105787010B (zh) | 2016-02-23 | 2016-02-23 | 基于个人数据的采集处理及推送方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105787010B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133323A (zh) * | 2017-05-04 | 2017-09-05 | 山东浪潮云服务信息科技有限公司 | 数据模型构建方法、政务服务业务的实现方法及装置 |
| CN109522331B (zh) * | 2018-10-16 | 2021-04-16 | 易保互联医疗信息科技（北京）有限公司 | 以个人为中心的区域化多维度健康数据处理方法及介质 |
| CN111309710B (zh) * | 2020-02-21 | 2021-01-26 | 北京京东尚科信息技术有限公司 | 数据复用方法和装置 |
| CN117764631A (zh) * | 2024-02-22 | 2024-03-26 | 山东中翰软件有限公司 | 基于源端静态数据建模的数据治理优化方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101561825A (zh) * | 2009-06-02 | 2009-10-21 | 北京迈朗世讯科技有限公司 | 媒体技术平台系统、数据采集系统和网络内容提供方法 |
| CN102375837A (zh) * | 2010-08-19 | 2012-03-14 | 中国移动通信集团公司 | 数据采集系统和方法 |
| CN102436506A (zh) * | 2011-12-27 | 2012-05-02 | Tcl集团股份有限公司 | 一种网络服务器端海量数据的处理方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8793213B2 (en) * | 2012-05-23 | 2014-07-29 | Sap Ag | Embedded data marts for central data warehouse |
-
2016
- 2016-02-23 CN CN201610098354.3A patent/CN105787010B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101561825A (zh) * | 2009-06-02 | 2009-10-21 | 北京迈朗世讯科技有限公司 | 媒体技术平台系统、数据采集系统和网络内容提供方法 |
| CN102375837A (zh) * | 2010-08-19 | 2012-03-14 | 中国移动通信集团公司 | 数据采集系统和方法 |
| CN102436506A (zh) * | 2011-12-27 | 2012-05-02 | Tcl集团股份有限公司 | 一种网络服务器端海量数据的处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105787010A (zh) | 2016-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105787010B (zh) | 基于个人数据的采集处理及推送方法及系统 | |
| CN108021929A (zh) | 基于大数据的移动端电商用户画像建立与分析方法及系统 | |
| CN107862450A (zh) | 绩效考核系统及方法 | |
| CN107291902B (zh) | 一种基于混合分类技术的大众贡献审阅自动标注方法 | |
| CN109558530A (zh) | 基于数据处理的用户画像自动生成方法和系统 | |
| CN104361445B (zh) | 劳动力实时管理系统及管理方法 | |
| CN101118554A (zh) | 智能交互式问答系统及其处理方法 | |
| CN109214719A (zh) | 一种基于人工智能的营销稽查分析的系统和方法 | |
| CN103544623A (zh) | 一种基于用户偏好特征建模的Web 服务推荐方法 | |
| CN106375149A (zh) | 一种自动关联分析的云计算监控装置及方法 | |
| CN107368521B (zh) | 一种基于大数据和深度学习的知识推介方法及系统 | |
| CN107918818A (zh) | 基于大数据技术的供应链管理决策支持系统 | |
| CN111652280A (zh) | 基于行为的目标物数据分析方法、装置及存储介质 | |
| CN113872813B (zh) | 一种载波通信设备全生命周期管理方法及系统 | |
| CN112348348A (zh) | 一种任务数据处理方法及系统 | |
| CN114358445A (zh) | 一种业务流程剩余时间预测模型推荐方法及系统 | |
| CN109857829A (zh) | 一种地理信息数据融合系统 | |
| CN112200459B (zh) | 一种配电网数据质量分析评价方法及系统 | |
| CN108876093A (zh) | 一种众创平台下的众创设计任务推送方法 | |
| CN101576981A (zh) | 场景式服务系统 | |
| TWI684147B (zh) | 雲端自助分析平台與其分析方法 | |
| CN115471283A (zh) | 广告批量投放方法、装置、设备及存储介质 | |
| CN115496337A (zh) | 一种支撑企业大脑的数据系统 | |
| KR20100006458A (ko) | 맞춤형 정보보안 서비스 시스템 및 방법 | |
| CN112488658A (zh) | 一种数字化人力资源管理的任务画像建设算法、装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190816 |