CN104700221A - 一种saas模式的系统中海量数据变更日志的采集方法 - Google Patents
一种saas模式的系统中海量数据变更日志的采集方法 Download PDFInfo
- Publication number
- CN104700221A CN104700221A CN201510118348.5A CN201510118348A CN104700221A CN 104700221 A CN104700221 A CN 104700221A CN 201510118348 A CN201510118348 A CN 201510118348A CN 104700221 A CN104700221 A CN 104700221A
- Authority
- CN
- China
- Prior art keywords
- data
- change
- acquisition
- entity
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种SAAS模式的系统中海量数据变更日志的采集方法，其具体实现过程为：定义变更数据的实体步骤，该变更数据的实体结构包含以下实体：变更主体、行为、变更数据环境信息、变更数据详细信息；定义变更数据采集的步骤，即定义变更数据采集的应用拓扑，该拓扑的架构包括一个数据采集客户机、服务器，该数据采集客户机的客户端部署到需要记录数据变更的各个服务器节点上，数据采集的服务器提供数据采集数据的接收和持久化存储。该一种SAAS模式的系统中海量数据变更日志的采集方法与现有技术相比，定义了一种通用的变更数据记录标准，并可保证在SaaS应用环境海量变更数据采集的可靠性、性能，实用性强。
Description
技术领域
本发明涉及数据处理技术领域，具体地说是一种实用性强、SAAS模式的系统中海量数据变更日志的采集方法。
背景技术
随着互联网技术的发展和应用软件的成熟， 企业管理软件厂商将应用软件统一部署在自己的服务器上，客户可以根据自己实际需求，通过互联网向厂商定购所需的应用软件服务，按定购的服务多少和时间长短向厂商支付费用。这种应用模式称之为SaaS（Software-as-a-Service，软件即服务）。目前，尤其是对于许多小型企业来说，SaaS模式是采用先进技术的最好途径，它消除了企业购买、构建和维护基础设施和应用系统的繁琐，可有效降低采购及运营成本和风险。
在企业管理软件系统的应用过程中，其交易数据和部分主数据，在业务处理过程中会频繁的发生数据状态的变化。企业客户希望系统能够自动的记录这些数据变化情况，在需要时可以方便的查看到特定数据的变化情况（人、时间、操作、数据变化）；此外，这也通常是一种行业业务审计要求（例如医药GSP行业规定）。最后，基于数据变化情况，可做针对性的统计、分析，对系统数据的变化规律性有更深刻和清晰的认识，反过来用于企业及应用系统的改进、优化。
而企业管理软件系统中需要记录数据状态变更的数据种类繁多，分布广。为了提高开发及维护效率，系统通常会提供可复用的实现机制和框架，尽量减少具体的业务为了实现业务变更日志带来较多的开发及维护的开销。
在SaaS的应用模式下，由于众多的客户应用系统是集中部署的，会造成这种数据状态变更记录并发集中且会产生海量的数据存储，如何能够高效、可靠、低消耗的采集变更数据，是一个很有价值的问题。基于此，现提供一种SAAS模式的系统中海量数据变更日志的采集方法。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、SAAS模式的系统中海量数据变更日志的采集方法。
一种SAAS模式的系统中海量数据变更日志的采集方法，其具体实现过程为：
定义变更数据的实体步骤，该变更数据的实体结构包含以下实体：变更主体、行为、变更数据环境信息、变更数据详细信息，该步骤中的实体均支持属性的扩展，并且支持按变更主体实体中的租户标识，提供不同的属性扩展设置；
定义变更数据采集的步骤，即定义变更数据采集的应用拓扑，该拓扑的架构包括一个数据采集客户机、服务器，该数据采集客户机的客户端部署到需要记录数据变更的各个服务器节点上，数据采集的服务器提供数据采集数据的接收和持久化存储。
变更主体实体包含以下信息：租户标识、执行者标识；行为实体包括：功能标识、操作标识；变更数据环境信息包括：客户端信息、服务器信息、变更时间、说明信息；变更数据详细信息包括：变更数据分类标识、变更数据标识、变更数据内容集合。
所述变更数据内容集合包含一条或多条变更数据内容记录，该变更数据内容记录包括：实体标识、变更数据标识、属性标识、动作、原值、新值；上述动作内置三个枚举值：C、U、D，分别表示创建、更新、删除三个动作。
所述数据采集客户机和服务器之间采用异步消息通信机制进行通信。
所述数据采集客户机中包含三个模块：数据采集服务接口模块、数据缓存模块、数据发送模块，其中数据采集服务接口模块提供外部应用程序调用；数据缓存模块，提供数据变更数据的客户机缓存功能，当外部数据变更数据输入时，可快速的将输入的变更数据信息写入到本地缓存中；数据发送模块，负责定时扫描数据缓存模块中缓存的变更数据，批量的发送给服务器。
本发明的一种SAAS模式的系统中海量数据变更日志的采集方法，具有以下优点：
本发明提出的一种SAAS模式的系统中海量数据变更日志的采集方法，提供了一种通用的变更数据记录标准，并提供了良好的扩展性；通过在数据采集客户机建立记录、发送分离的机制，可保证数据采集的可靠性、性能，并有效的降低数据采集服务器的并发压力，实用性强，易于推广。
附图说明
附图1是本发明的变更数据的实体结构图。
附图2是本发明的变更数据采集架构图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
本发明公开了一种SAAS模式的系统中海量数据变更日志的采集方法，如附图1、图2所示，其具体实现过程包括：
定义变更数据的实体步骤，该变更数据的实体结构包含以下实体：变更主体、行为、变更数据环境信息、变更数据详细信息，该步骤中的实体均支持属性的扩展，并且支持按变更主体实体中的租户标识，提供不同的属性扩展设置；
定义变更数据采集的步骤，即定义变更数据采集的应用拓扑，该拓扑的架构包括一个数据采集客户机、服务器，该数据采集客户机的客户端部署到需要记录数据变更的各个服务器节点上，数据采集的服务器提供数据采集数据的接收和持久化存储。
变更主体实体包含以下信息：租户标识、执行者标识；行为实体包括：功能标识、操作标识；变更数据环境信息包括：客户端信息、服务器信息、变更时间、说明信息；变更数据详细信息包括：变更数据分类标识、变更数据标识、变更数据内容集合。
所述变更数据内容集合包含一条或多条变更数据内容记录，该变更数据内容记录包括：实体标识、变更数据标识、属性标识、动作、原值、新值；上述动作内置三个枚举值：C、U、D，分别表示创建、更新、删除三个动作。此外动作枚举值可自定义扩展。
所述数据采集客户机和服务器之间采用异步消息通信机制进行通信。
所述数据采集客户机中包含三个模块：数据采集服务接口模块、数据缓存模块、数据发送模块，其中数据采集服务接口模块提供外部应用程序调用；数据缓存模块，提供数据变更数据的客户机缓存功能，当外部数据变更数据输入时，可快速的将输入的变更数据信息写入到本地缓存中；数据发送模块，负责定时扫描数据缓存模块中缓存的变更数据，批量的发送给服务器。其中，定时扫描的时间间隔、每批次发送的数据量可通过程序参数设置。在服务器发送成功后，会同时在本地缓存中将相应缓存数据删除。
进一步的，数据采集服务接口，提供的接口定义的伪代码如下：
void RecChangeData(Principal actor，Operation op、Environment evn、DetailData detailData)；
其中Principal为变更主体；Operation行为实体；Environment为变更数据环境信息；DetailData为变更数据详细信息。
实施例：
首先设定在同一个软件产品的SaaS应用中有两个租户，T1、T2。
在软件产品中，当登录用户信息变化时，都会记录变更数据。用户实体的主要属性如下：RowID、UID、UName、UPassword、Note。此外用户实体包含一个用户所属角色的子实体，包含RowID、UID、RID三个属性。
当系统管理员admin打开“用户维护”（标识为F001）功能，对某个特定用户U01进行修改时，修改Note字段值，由空值变为“兼职人员”，删除了原有的1个角色R1，添加了另外1个角色R3。并点击保存。保持对应的动作为“Save”。
用户保存逻辑中，提取到的数据变更实体信息如下：
主实体信息：
变更数据内容记录：
应用程序调用数据变更采集接口，将构成的数据变更实体数据输入。数据变更采集接口将实体数据转发给变更数据缓存模块，先将变更数据缓存在本地，并立即返回。
变更数据发送模块，按系统设定的扫描间隔，调用变更数据缓存模块获取到该条变更数据，然后将变更数据发送到变更数据服务器，成功返回后将成功信息反馈给数据变更缓存模块，数据变更缓存模块将相应变更数据删除。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种SAAS模式的系统中海量数据变更日志的采集方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (5)
1.一种SAAS模式的系统中海量数据变更日志的采集方法，其特征在于，其具体实现过程为：
定义变更数据的实体步骤，该变更数据的实体结构包含以下实体：变更主体、行为、变更数据环境信息、变更数据详细信息，该步骤中的实体均支持属性的扩展，并且支持按变更主体实体中的租户标识，提供不同的属性扩展设置；
定义变更数据采集的步骤，即定义变更数据采集的应用拓扑，该拓扑的架构包括一个数据采集客户机、服务器，该数据采集客户机的客户端部署到需要记录数据变更的各个服务器节点上，数据采集的服务器提供数据采集数据的接收和持久化存储。
2.根据权利要求1所述的一种SAAS模式的系统中海量数据变更日志的采集方法，其特征在于，变更主体实体包含以下信息：租户标识、执行者标识；行为实体包括：功能标识、操作标识；变更数据环境信息包括：客户端信息、服务器信息、变更时间、说明信息；变更数据详细信息包括：变更数据分类标识、变更数据标识、变更数据内容集合。
3.根据权利要求2所述的一种SAAS模式的系统中海量数据变更日志的采集方法，其特征在于，所述变更数据内容集合包含一条或多条变更数据内容记录，该变更数据内容记录包括：实体标识、变更数据标识、属性标识、动作、原值、新值；上述动作内置三个枚举值：C、U、D，分别表示创建、更新、删除三个动作。
4.根据权利要求1所述的一种SAAS模式的系统中海量数据变更日志的采集方法，其特征在于，所述数据采集客户机和服务器之间采用异步消息通信机制进行通信。
5.根据权利要求4所述的一种SAAS模式的系统中海量数据变更日志的采集方法，其特征在于，所述数据采集客户机中包含三个模块：数据采集服务接口模块、数据缓存模块、数据发送模块，其中数据采集服务接口模块提供外部应用程序调用；数据缓存模块，提供数据变更数据的客户机缓存功能，当外部数据变更数据输入时，可快速的将输入的变更数据信息写入到本地缓存中；数据发送模块，负责定时扫描数据缓存模块中缓存的变更数据，批量的发送给服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510118348.5A CN104700221A (zh) | 2015-03-18 | 2015-03-18 | 一种saas模式的系统中海量数据变更日志的采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510118348.5A CN104700221A (zh) | 2015-03-18 | 2015-03-18 | 一种saas模式的系统中海量数据变更日志的采集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104700221A true CN104700221A (zh) | 2015-06-10 |
Family
ID=53347314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510118348.5A Pending CN104700221A (zh) | 2015-03-18 | 2015-03-18 | 一种saas模式的系统中海量数据变更日志的采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104700221A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113568587A (zh) * | 2021-09-22 | 2021-10-29 | 深圳市中天碧姆科技有限公司 | 智慧城市实时数据处理方法、系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102281330A (zh) * | 2011-08-03 | 2011-12-14 | 深圳市科迪特信息技术有限公司 | 用于saas平台的数据存储、通讯访问及控制的方法 |
| CN103049858A (zh) * | 2013-01-09 | 2013-04-17 | 杨建中 | 一种电子商务服务系统及其实现方法 |
| CN103605698A (zh) * | 2013-11-06 | 2014-02-26 | 广东电子工业研究院有限公司 | 一种用于分布异构数据资源整合的云数据库系统 |
| US20140330883A1 (en) * | 2005-06-22 | 2014-11-06 | Cybervore, Inc. | Systems and methods for retrieving data |
-
2015
- 2015-03-18 CN CN201510118348.5A patent/CN104700221A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140330883A1 (en) * | 2005-06-22 | 2014-11-06 | Cybervore, Inc. | Systems and methods for retrieving data |
| CN102281330A (zh) * | 2011-08-03 | 2011-12-14 | 深圳市科迪特信息技术有限公司 | 用于saas平台的数据存储、通讯访问及控制的方法 |
| CN103049858A (zh) * | 2013-01-09 | 2013-04-17 | 杨建中 | 一种电子商务服务系统及其实现方法 |
| CN103605698A (zh) * | 2013-11-06 | 2014-02-26 | 广东电子工业研究院有限公司 | 一种用于分布异构数据资源整合的云数据库系统 |
Non-Patent Citations (1)
| Title |
|---|
| 孙鹏: "面向SaaS应用的多租户海量存储系统设计与实现", 《中国学位论文全文数据库（万方数据）》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113568587A (zh) * | 2021-09-22 | 2021-10-29 | 深圳市中天碧姆科技有限公司 | 智慧城市实时数据处理方法、系统及存储介质 |
| CN113568587B (zh) * | 2021-09-22 | 2021-12-24 | 深圳市中天碧姆科技有限公司 | 智慧城市实时数据处理方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11941017B2 (en) | Event driven extract, transform, load (ETL) processing | |
| TWI698108B (zh) | 基於區塊鏈的資料處理方法和裝置 | |
| US20060163338A1 (en) | Supply chain visibility solution architecture | |
| US20150378721A1 (en) | Methods for managing applications using semantic modeling and tagging and devices thereof | |
| CN110019267A (zh) | 一种元数据更新方法、装置、系统、电子设备及存储介质 | |
| CN104967658A (zh) | 一种多终端设备上的数据同步方法 | |
| CN107977396B (zh) | 一种KeyValue数据库的数据表的更新方法与表数据更新装置 | |
| CN104899274B (zh) | 一种内存数据库高效远程访问方法 | |
| EP2380090B1 (en) | Data integrity in a database environment through background synchronization | |
| WO2019047441A1 (zh) | 一种通信优化方法及系统 | |
| CN107273369B (zh) | 一种表数据修改方法和装置 | |
| CN103377053A (zh) | 一种控制应用的方法、装置及系统 | |
| US20130046798A1 (en) | Method and apparatus for visualization of infrastructure using a non-relational graph data store | |
| US20150280786A1 (en) | Near field communication based data transfer | |
| CN107423404A (zh) | 流程实例数据同步处理方法和装置 | |
| CN110784377A (zh) | 一种多云环境下的云监控数据统一管理的方法 | |
| CN112328592A (zh) | 数据存储方法、电子设备及计算机可读存储介质 | |
| CN104765792B (zh) | 一种维度数据存储的方法、装置及系统 | |
| US11061926B2 (en) | Data warehouse management and synchronization systems and methods | |
| CN102937923B (zh) | 一种自动保存用户界面状态的方法 | |
| CN107943589A (zh) | 一种数据缓存的管理方法及装置 | |
| CN103399776A (zh) | 可重用mock创建方法及系统 | |
| CN104700221A (zh) | 一种saas模式的系统中海量数据变更日志的采集方法 | |
| CN115408546A (zh) | 一种时序数据管理方法、装置、设备及存储介质 | |
| US8930426B2 (en) | Distributed requests on remote data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150610 |
|
| WD01 | Invention patent application deemed withdrawn after publication |