CN112883367A - 触发器数据安全传输方法及装置 - Google Patents

触发器数据安全传输方法及装置 Download PDF

Info

Publication number
CN112883367A
CN112883367A CN202110107088.7A CN202110107088A CN112883367A CN 112883367 A CN112883367 A CN 112883367A CN 202110107088 A CN202110107088 A CN 202110107088A CN 112883367 A CN112883367 A CN 112883367A
Authority
CN
China
Prior art keywords
data
service
client
trigger
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110107088.7A
Other languages
English (en)
Inventor
张秋方
元金良
邓小龙
罗海斌
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing tulayan Technology Co.,Ltd.
Original Assignee
Beijing Gaoyin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gaoyin Technology Co ltd filed Critical Beijing Gaoyin Technology Co ltd
Priority to CN202110107088.7A priority Critical patent/CN112883367A/zh
Publication of CN112883367A publication Critical patent/CN112883367A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Abstract

本发明公开了一种触发器数据安全传输方法和装置，客户端通过数据库传输至服务端业务信息，服务端将业务信息相关的数据依据业务需要处理，将处理后的数据封装、压缩、序列化成字符串，推送数据流进入消息队列服务；客户端获取消息队列服务中的数据，消费数据，查找并过滤出所述业务所需的数据，控制模块对业务数据脱敏处理及验证模块对客户端秘钥验证，控制数据的安全性。本发明既有效地解决了流量高峰期处理资源少带来的传输不流畅的难题，又确保了客户端使用业务数据的安全可靠。

Description

触发器数据安全传输方法及装置
技术领域
本发明属于互联网传输技术领域，尤其涉及一种触发器数据安全传输方法及装置。
背景技术
目前，在互联网和移动互联网高速发展的时代，在为人们的生活带来了巨大的方便的同时，数据传输的安全性、完整性成为个人及企业最为关心的问题，数据传输的流畅性也成为人们享受互联网便捷的主要体验来源，而数据的传输离不开数据库，数据库的触发器是mysql数据库自带的功能，触发器存储过程的执行由事件来触发、激活，用于加强数据的完整性约束和业务规则等。在现有技术中，创建触发器时要关联相关的SQL，使得触发器的逻辑跟业务紧密联系在一起以便传输，但一方面在客户端获取业务数据时不易拆分，占用了mysql的处理资源，到流量高峰时mysql的传输性能会急剧下降，另一方面传输的数据传输时没有安全控制措施，使得客户端获取的业务数据不能保证安全可靠。
发明内容
为解决上述问题，本发明提供了一种触发器数据安全传输方法及装置，包括基于binlog的mysql触发器，客户端通过数据库触发器传输业务需要的binlog日志协议至服务端，客户端获取、解析binlog日志数据，并记录binlog日志的文件和位置，将解析的数据组装成设定的数据格式发送至服务端。服务端将业务数据封装、压缩、序列化成字符串，推送数据流进入消息队列服务。通过客户端解耦触发器的逻辑跟业务的关联，使大数据流变为小数据流，有效地解决了流量高峰期处理资源少带来的传输不流畅的难题，通过记录binlog日志的文件和位置，有助于服务端掌握业务所属客户端的精准信息；通过对业务数据的脱敏处理及对客户端秘钥的验证，确保了客户端使用业务数据的安全可靠；既满足了数据传输的流畅，又确保了客户端获取的业务数据的安全可靠性。
为实现上述发明目的，本发明的技术方案是：
一种触发器数据安全传输方法，包括如下步骤：
步骤1：客户端通过触发器数据库将业务信息传输至服务端；
步骤2：所述服务端将所述业务信息相关的数据依据业务需要处理，将处理后的数据封装、压缩、序列化成字符串，推送数据流进入消息队列服务；
步骤3：客户端获取消息队列服务中的数据，消费数据，查找并过滤出所述业务所需的数据；
步骤4：客户端控制所述数据的安全性；
步骤5：客户端获取并储存业务消费所需的安全数据。
优选地，步骤1还包括：所述触发器包括基于binlog的mysql触发器。
优选地，步骤2还包括：与所述业务信息相关的数据由以下步骤形成：
客户端基于固定格式的binlog日志，模拟交互协议，并向服务端发送获取的binlog日志协议；
服务端收到binlog日志协议，并推送相关数据给客户端；
客户端获取、解析binlog日志数据，并记录binlog日志的文件和位置，将解析的binlog日志数据组装成设定的数据格式，发送至服务端。
进一步地，还包括客户端解耦所述触发器的逻辑跟业务的关联。
优选地，还包括步骤4-1：对所述业务数据的敏感字段进行脱敏处理，确保安全性。
优选地，还包括步骤4-2：经验证，客户端使用的秘钥为服务端授权的秘钥时，则控制客户端获取需要的业务数据；客户端使用的秘钥不是服务端匹配的秘钥，或客户端没有秘钥时，则控制客户端不能获取需要的业务数据。
本发明还包括一种触发器数据安全传输装置，所述装置包括：
客户端，包括：
第一获取模块：用于获取业务数据信息；
第一处理模块：依据指令对获取的数据进行处理；
储存模块：用于储存业务消费所需的安全可靠的数据；
第一传输模块：将业务信息传输给数据库；
模拟模块：用于模拟交互协议；
解析模块：用于解析binlog日志的数据；
验证模块：对客户端使用秘钥的正确性进行验证；
控制模块：控制业务数据的脱敏、验证的安全性；
服务端，包括：
第二获取模块：用于获取binlog日志数据信息；
第二传输模块：用于传输数据或信息；
第二处理模块：依据指令对数据封装、压缩成序列化，推送数据流进入消息队列服务。
本发明的有益效果是：本发明提供了一种触发器数据安全传输方法及装置，包括基于binlog的mysql触发器，客户端通过数据库触发器传输业务需要的binlog日志协议至服务端，客户端获取、解析binlog日志数据，并记录binlog日志的文件和位置，将解析的数据组装成设定的数据格式发送至服务端。服务端将业务数据封装、压缩、序列化成字符串，推送数据流进入消息队列服务。通过客户端解耦触发器的逻辑跟业务的关联，使大数据流变为小数据流，有效地解决了流量高峰期处理资源少带来的传输不流畅的难题，通过记录binlog日志的文件和位置，有助于服务端掌握业务所属客户端的精准信息；通过对业务数据的脱敏处理及对客户端秘钥的验证，确保了客户端使用业务数据的安全可靠；既满足了数据传输的流畅，又确保了客户端获取的业务数据的安全可靠性。
附图说明
图1为本发明处理装置的结构示意图；
图2为本发明处理方法流程图；
其中：
1-客户端；11-第一获取模块；12-第一处理模块；13-储存模块；14-第一传输模块；15-控制模块；16-验证模块；17-模拟模块；18-解析模块；
2-服务端；21-第二获取模块；22-第二传输模块；23-第二处理模块。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
参照图1-2所示：
本发明实施例：
本发明包括一种触发器数据安全传输装置，所述装置包括：
客户端1，包括：
第一获取模块11：用于获取业务数据信息；
第一处理模块12：依据指令对获取的数据进行处理；
储存模块13：用于储存业务消费所需的安全可靠的数据；
第一传输模块14：将业务信息传输给数据库；
控制模块15：控制业务数据的脱敏、验证的安全性；
验证模块16：对客户端1使用秘钥的正确性进行验证；
模拟模块17：用于模拟交互协议；
解析模块18：用于解析binlog日志的数据；
服务端2，包括：
第二获取模块21：用于获取binlog日志数据信息；
第二传输模块22：用于传输数据或信息；
第二处理模块23：依据指令对数据封装、压缩成序列化，推送数据流进入消息队列服务。
本发明还提供一种触发器数据安全传输方法，包括如下步骤：
步骤1：客户端1通过触发器数据库经第一传输模块14将业务信息传输至服务端2；
步骤2：所述服务端2通过第二获取模块21获取业务信息，经第二处理模块23将所述业务信息相关的数据依据业务需要处理，将处理后的数据封装、压缩、序列化成字符串，经第二传输模块22推送数据流进入消息队列服务。
优选地，步骤2还包括：与所述业务信息相关的数据由以下步骤形成：
客户端1基于固定格式的binlog日志，模拟模块17模拟交互协议，并向服务端2经第一传输模块14发送第一获取模块11获取的binlog日志协议；
服务端2的第二获取模块21获取到binlog日志协议，并经第二传输模块22推送相关数据给客户端1；
客户端1通过第一获取模块11获取、通过解析模块18解析binlog日志数据，经第一处理模块12记录binlog日志的文件和位置，将解析的binlog日志数据组装成设定的数据格式，经第一传输模块14发送至服务端2。进一步地，还包括客户端1解耦所述触发器的逻辑跟业务的关联。
步骤3：客户端1经第一获取模块11获取消息队列服务中的数据，经第一处理模块12消费数据，查找并过滤出所述业务所需的数据；
步骤4：客户端1通过控制模块15控制所述数据的安全性；
步骤5：客户端1获取并储存业务消费所需的安全数据。
优选地，步骤1还包括：所述触发器包括基于binlog的mysql触发器。
优选地，还包括步骤4-1：通过第一处理模块12对所述业务数据的敏感字段进行脱敏处理，确保安全性。
优选地，还包括步骤4-2：经验证模块16验证，客户端1使用的秘钥为服务端2授权的秘钥时，则控制模块15控制客户端1获取需要的业务数据；客户端1使用的秘钥不是服务端2匹配的秘钥，或客户端1没有秘钥时，则控制客户端1不能获取需要的业务数据。
本发明的有益效果是：通过提供一种触发器数据安全传输方法及装置，包括基于binlog的mysql触发器，客户端通过数据库触发器传输业务需要的binlog日志协议至服务端，客户端获取、解析binlog日志数据，并记录binlog日志的文件和位置，将解析的数据组装成设定的数据格式发送至服务端。服务端将业务数据封装、压缩、序列化成字符串，推送数据流进入消息队列服务。通过客户端解耦触发器的逻辑跟业务的关联，使大数据流变为小数据流，有效地解决了流量高峰期处理资源少带来的传输不流畅的难题，通过记录binlog日志的文件和位置，有助于服务端掌握业务所属客户端的精准信息；通过对业务数据的脱敏处理及对客户端秘钥的验证，确保了客户端使用业务数据的安全可靠；既满足了数据传输的流畅，又确保了客户端获取的业务数据的安全可靠性。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (7)

1.一种触发器数据安全传输方法，其特征在于，包括如下步骤：
步骤1：客户端通过触发器数据库将业务信息传输至服务端；
步骤2：所述服务端将所述业务信息相关的数据依据业务需要处理，将处理后的数据封装、压缩、序列化成字符串，推送数据流进入消息队列服务；
步骤3：所述客户端获取消息队列服务中的数据，消费数据，查找并过滤出业务所需的数据；
步骤4：所述客户端控制所述数据的安全性；
步骤5：所述客户端获取并储存业务消费所需的安全数据。
2.根据权利要求1所述的触发器数据安全传输方法，其特征在于：步骤1还包括：所述触发器包括基于binlog的mysql触发器。
3.根据权利要求1所述的触发器数据安全传输方法，其特征在于：步骤2还包括：与所述业务信息相关的数据由以下步骤形成：
所述客户端基于固定格式的binlog日志，模拟交互协议，并向所述服务端发送获取的binlog日志协议；
所述服务端收到binlog日志协议，并推送相关数据给所述客户端；
所述客户端获取、解析binlog日志数据，并记录binlog日志的文件和位置，将解析的binlog日志数据组装成设定的数据格式，发送至所述服务端。
4.根据权利要求3所述的触发器数据安全传输方法，其特征在于：还包括所述客户端解耦所述触发器的逻辑跟业务的关联。
5.根据权利要求1所述的触发器数据安全传输方法，其特征在于：还包括步骤4-1：对所述业务数据的敏感字段进行脱敏处理，确保安全性。
6.根据权利要求1所述的触发器数据安全传输方法，其特征在于：还包括步骤4-2：经验证，所述客户端使用的秘钥为所述服务端授权的秘钥时，则控制所述客户端获取需要的业务数据；所述客户端使用的秘钥不是所述服务端匹配的秘钥，或所述客户端没有秘钥时，则控制所述客户端不能获取需要的业务数据。
7.一种触发器数据安全传输装置，其特征在于，所述装置包括：
客户端，包括：
客户端，包括：
第一获取模块：用于获取业务数据信息；
第一处理模块：依据指令对获取的数据进行处理；
储存模块：用于储存业务消费所需的安全可靠的数据；
第一传输模块：将业务信息传输给数据库；
模拟模块：用于模拟交互协议；
解析模块：用于解析binlog日志的数据；
验证模块：对客户端使用秘钥的正确性进行验证；
控制模块：控制业务数据的脱敏、验证的安全性；
服务端，包括：
第二获取模块：用于获取binlog日志数据信息；
第二传输模块：用于传输数据或信息；
第二处理模块：依据指令对数据封装、压缩成序列化，推送数据流进入消息队列服务。
CN202110107088.7A 2021-01-26 2021-01-26 触发器数据安全传输方法及装置 Pending CN112883367A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110107088.7A CN112883367A (zh) 2021-01-26 2021-01-26 触发器数据安全传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110107088.7A CN112883367A (zh) 2021-01-26 2021-01-26 触发器数据安全传输方法及装置

Publications (1)

Publication Number Publication Date
CN112883367A true CN112883367A (zh) 2021-06-01

Family

ID=76052438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110107088.7A Pending CN112883367A (zh) 2021-01-26 2021-01-26 触发器数据安全传输方法及装置

Country Status (1)

Country Link
CN (1) CN112883367A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257581B1 (en) * 2000-08-04 2007-08-14 Guardian Networks, Llc Storage, management and distribution of consumer information
CN102710768A (zh) * 2012-05-31 2012-10-03 深圳市远行科技有限公司 一种基于面向服务架构的大批量数据传输系统及方法
CN104391865A (zh) * 2014-10-24 2015-03-04 浪潮软件股份有限公司 一种基于触发器原理实现操作日志记录的方法
CN105095358A (zh) * 2015-06-24 2015-11-25 北京京东尚科信息技术有限公司 一种数据库操作日志获取方法及系统
CN105657699A (zh) * 2016-02-22 2016-06-08 成都北纬航信网络科技有限责任公司 数据安全传输方法
US20160285861A1 (en) * 2012-11-27 2016-09-29 Robojar Pty Ltd A system and method for authenticating the legitimacy of a request for a resource by a user
CN106411907A (zh) * 2016-10-13 2017-02-15 广西咪付网络技术有限公司 一种数据传输方法和系统
CN107180116A (zh) * 2017-06-28 2017-09-19 努比亚技术有限公司 一种数据同步处理方法、移动终端以及计算机可读存储介质
CN108255621A (zh) * 2018-01-10 2018-07-06 深圳友门鹿网络科技有限公司 一种基于binlog的MySQL增量消息解析方法
CN109492012A (zh) * 2018-10-31 2019-03-19 厦门安胜网络科技有限公司 一种数据实时统计和检索的方法、装置及存储介质
US20190087478A1 (en) * 2017-09-21 2019-03-21 Vmware, Inc. Trigger based analytics database synchronization
CN110597914A (zh) * 2019-09-18 2019-12-20 北京思维造物信息科技股份有限公司 数据传输系统、方法、装置及设备
CN110768790A (zh) * 2019-09-06 2020-02-07 深圳壹账通智能科技有限公司 数据安全授权访问方法、装置、设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257581B1 (en) * 2000-08-04 2007-08-14 Guardian Networks, Llc Storage, management and distribution of consumer information
CN102710768A (zh) * 2012-05-31 2012-10-03 深圳市远行科技有限公司 一种基于面向服务架构的大批量数据传输系统及方法
US20160285861A1 (en) * 2012-11-27 2016-09-29 Robojar Pty Ltd A system and method for authenticating the legitimacy of a request for a resource by a user
CN104391865A (zh) * 2014-10-24 2015-03-04 浪潮软件股份有限公司 一种基于触发器原理实现操作日志记录的方法
CN105095358A (zh) * 2015-06-24 2015-11-25 北京京东尚科信息技术有限公司 一种数据库操作日志获取方法及系统
CN105657699A (zh) * 2016-02-22 2016-06-08 成都北纬航信网络科技有限责任公司 数据安全传输方法
CN106411907A (zh) * 2016-10-13 2017-02-15 广西咪付网络技术有限公司 一种数据传输方法和系统
CN107180116A (zh) * 2017-06-28 2017-09-19 努比亚技术有限公司 一种数据同步处理方法、移动终端以及计算机可读存储介质
US20190087478A1 (en) * 2017-09-21 2019-03-21 Vmware, Inc. Trigger based analytics database synchronization
CN108255621A (zh) * 2018-01-10 2018-07-06 深圳友门鹿网络科技有限公司 一种基于binlog的MySQL增量消息解析方法
CN109492012A (zh) * 2018-10-31 2019-03-19 厦门安胜网络科技有限公司 一种数据实时统计和检索的方法、装置及存储介质
CN110768790A (zh) * 2019-09-06 2020-02-07 深圳壹账通智能科技有限公司 数据安全授权访问方法、装置、设备及存储介质
CN110597914A (zh) * 2019-09-18 2019-12-20 北京思维造物信息科技股份有限公司 数据传输系统、方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
夏凌云;龚文涛;: "基于存储过程和HTTP协议的消息主动推送系统实现", 微型电脑应用, no. 11, pages 227 - 229 *
王刚: "基于数据库和中间件技术的数据中心建设", 计算机时代, no. 11 *

Similar Documents

Publication Publication Date Title
JP5063258B2 (ja) 操作ログを記録するためのシステム、方法およびコンピュータ・プログラム
CN110149806B (zh) 堆栈数据结构的数字助理处理
US8812537B1 (en) Apparatuses, methods and systems for a descriptive business grammar syntax querier
US7257557B2 (en) Multi-modal testing methodology
CN110602052A (zh) 微服务处理方法及服务器
CN110555321B (zh) 智能家居系统中的数据处理方法、装置及存储介质
KR20160071166A (ko) 복수의 수집정책 처리 장치 및 그 방법
CN116450885B (zh) 一种Windows事件日志文件的数据重构方法
CN106941476B (zh) 一种sftp数据采集及审计的方法及系统
CN112883367A (zh) 触发器数据安全传输方法及装置
CN107835080B (zh) 一种分布式系统数据收集方法及数据签名生成方法
CN108737328A (zh) 一种浏览器用户代理识别方法、系统及装置
CN107273690B (zh) 演艺场所装备质量安全评估及预警系统及方法
CN105224836A (zh) 顶层悬浮窗的控制方法、装置和移动设备
US20060069682A1 (en) Profiler tool for database servers
KR20160071167A (ko) 복수의 수집정책 처리 장치 및 그 방법
CN112990308A (zh) 一种对印刷内容进行监测的方法、装置及设备
EP3945416B1 (en) Software query information management system and software query information management method
CN110502885A (zh) 身份认证方法、系统、计算机设备及计算机可读存储介质
WO2005054977A3 (en) A method and system to electronically identify and verify an individual presenting himself for such identification and verification
CN112994900B (zh) 文件会签方法、装置、客户端、服务端和存储介质
WO2003025717A1 (en) Server access control
Kim et al. A method for detecting illegally copied apk files on the network
CN107040502A (zh) 客户端软件下载后自动登录的方法和系统
CN113542232A (zh) 一种基于大数据的网站数据安全防护系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210810

Address after: 100000 1025, floor 1, No. 1, Kaifa Road, Shangdi Information Industry base, Haidian District, Beijing

Applicant after: Beijing tulayan Technology Co.,Ltd.

Address before: 08a01, block D, 8 / F, No. a 28, information road, Haidian District, Beijing

Applicant before: Beijing Gaoyin Technology Co.,Ltd.

TA01 Transfer of patent application right