CN111666186B - 数据访问异常的检测方法、装置、存储介质及计算机设备 - Google Patents

数据访问异常的检测方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN111666186B
CN111666186B CN202010339552.0A CN202010339552A CN111666186B CN 111666186 B CN111666186 B CN 111666186B CN 202010339552 A CN202010339552 A CN 202010339552A CN 111666186 B CN111666186 B CN 111666186B
Authority
CN
China
Prior art keywords
data
access
information
dimension
topological graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010339552.0A
Other languages
English (en)
Other versions
CN111666186A (zh
Inventor
王占群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dt Dream Technology Co Ltd
Original Assignee
Hangzhou Dt Dream Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dt Dream Technology Co Ltd filed Critical Hangzhou Dt Dream Technology Co Ltd
Priority to CN202010339552.0A priority Critical patent/CN111666186B/zh
Publication of CN111666186A publication Critical patent/CN111666186A/zh
Application granted granted Critical
Publication of CN111666186B publication Critical patent/CN111666186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提出一种数据访问异常的检测方法、装置、存储介质及计算机设备,该方法包括确定数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息;根据数据血缘信息和数据流转信息,形成数据维度的数据流转拓扑图;根据数据血缘信息和数据访问信息,形成访问维度的数据流转拓扑图;根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常。通过本发明能够实现对数据的流转过程进行全流程追踪,能够精准地追踪到数据访问的异常,便于数据监控和数据管理,有效地提升数据访问的安全性。

Description

数据访问异常的检测方法、装置、存储介质及计算机设备
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据访问异常的检测方法、装置、存储介质及计算机设备。
背景技术
数据资源的最大特点是具有重复利用性和增值性,有效的数据能为部门创造巨大价值,例如,电子政务基础数据库由自然人基础数据库、法人基础数据库、自然资源与空间地理基础数据库和宏观经济基础数据库等组成。通过构建数据共享平台,能够充分整合现有政务资源,为跨部门业务系统提供有力保障,还能够彻底打破信息孤岛,满足各业务部门信息互联互通和共享交换的需求,以及为政府、企业和社会公众提供全方位、实时更新的基础信息服务,而经由数据共享平台管理数据的应用场景中,对数据的权限管理显得尤为重要。
相关技术中,通过对数据共享平台进行权限控制,对数据使用过程,采用流程审批、日志审计等方式来实现数据的权限管理和数据的追踪。
这种方式下,仅是针对单个应用的数据来进行审计和控制,当数据经由数据链路内产生多次流转后,对数据访问的异常无法进行有效的追踪,容易导致数据访问的安全隐患。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明提出一种数据访问异常的检测方法、装置、存储介质及计算机设备,能够实现对数据的流转过程进行全流程追踪,能够精准地追踪到数据访问的异常,便于数据监控和数据管理,有效地提升数据访问的安全性。
为达到上述目的,本发明第一方面实施例提出的数据访问异常的检测方法,包括:确定数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息;根据所述数据血缘信息和数据流转信息,形成数据维度的数据流转拓扑图;根据所述数据血缘信息和数据访问信息,形成访问维度的数据流转拓扑图;根据所述数据维度的数据流转拓扑图和所述访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常。
本发明第一方面实施例提出的数据访问异常的检测方法,通过根据数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息,形成数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,从而根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常,能够实现对数据的流转过程进行全流程追踪,能够精准地追踪到数据访问的异常,便于数据监控和数据管理,有效地提升数据访问的安全性。
为达到上述目的,本发明第二方面实施例提出的数据访问异常的检测装置,包括:第一确定模块,用于确定数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息;第一形成模块,用于根据所述数据血缘信息和数据流转信息,形成数据维度的数据流转拓扑图;第二形成模块,用于根据所述数据血缘信息和数据访问信息,形成访问维度的数据流转拓扑图;检测模块,用于根据所述数据维度的数据流转拓扑图和所述访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常。
本发明第二方面实施例提出的数据访问异常的检测装置,通过根据数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息,形成数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,从而根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常,能够实现对数据的流转过程进行全流程追踪,能够精准地追踪到数据访问的异常,便于数据监控和数据管理,有效地提升数据访问的安全性。
本发明第三方面实施例提出的非临时性计算机可读存储介质,当所述存储介质中的指令由计算机设备的处理器被执行时,使得计算机设备能够执行一种数据访问异常的检测方法,所述方法包括:本发明第一方面实施例提出的数据访问异常的检测方法。
本发明第三方面实施例提出的非临时性计算机可读存储介质,通过根据数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息,形成数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,从而根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常,能够实现对数据的流转过程进行全流程追踪,能够精准地追踪到数据访问的异常,便于数据监控和数据管理,有效地提升数据访问的安全性。
本发明第四方面实施例提出的计算机设备,所述计算机设备包括:壳体、处理器、存储器、电路板和电源电路,其中,所述电路板安置在所述壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述计算机设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行本发明第一方面实施例提出的数据访问异常的检测方法。
本发明第四方面实施例提出的计算机设备,通过根据数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息,形成数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,从而根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常,能够实现对数据的流转过程进行全流程追踪,能够精准地追踪到数据访问的异常,便于数据监控和数据管理,有效地提升数据访问的安全性。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一实施例提出的数据访问异常的检测方法的流程示意图;
图2为本发明实施例中的数据维度的数据流转拓扑图;
图3为本发明实施例中的应用访问维度的数据流转拓扑图;
图4为本发明实施例中的用户访问维度的数据流转拓扑图;
图5是本发明另一实施例提出的数据访问异常的检测方法的流程示意图;
图6是本发明另一实施例提出的数据访问异常的检测方法的流程示意图;
图7是本发明一实施例提出的数据访问异常的检测装置的结构示意图;
图8是本发明另一实施例提出的数据访问异常的检测装置的结构示意图;
图9是本发明一个实施例提出的计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的数据访问异常的检测方法的流程示意图。
本实施例以数据访问异常的检测方法被配置为数据访问异常的检测装置中来举例说明。
本实施例中数据访问异常的检测方法可以被配置在数据访问异常的检测装置中,数据访问异常的检测装置可以设置在服务器中,或者也可以设置在计算机设备中,本申请实施例对此不作限制。
本实施例以数据访问异常的检测方法被配置在计算机设备中为例。
需要说明的是,本申请实施例的执行主体,在硬件上可以例如为服务器或者计算机设备中的中央处理器(Central Processing Unit,CPU),在软件上可以例如为服务器或者计算机设备中的相关的后台服务,对此不作限制。
参见图1,该方法包括:
S101:确定数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息。
上述的数据共享平台为相关技术中具有数据共享与流转功能的平台。
其中,数据共享平台包括多个数据处理子平台,各数据处理子平台对应一个数据处理阶段。
上述的数据处理子平台例如为数据交换平台、数据治理平台、数据集成(数据仓库技术Extract,transform,load,ETL)工具等,对此不作限制。
上述的数据交换平台用于辅助数据在数据共享平台中的交换流转,数据治理平台用于对数据进行相应的加工处理,数据集成工具用于对数据进行相应的抽取、清洗、转换、装载等操作。
上述的数据血缘信息能够用于描述各数据处理子平台中的数据(可以被称为第一数据,第一数据存储在数据共享平台对应的后台数据库中),与数据共享平台的共享数据所属的原始数据库(可以被称为第二数据)之间的血缘信息。
上述的数据流转信息能够用于描述各数据处理子平台中的数据(可以被称为第一数据,第一数据存储在数据共享平台对应的后台数据库中),与数据共享平台的共享数据所属的原始数据库(可以被称为第二数据)之间的数据流转情况。
上述的数据访问信息,能够用于描述用户通过客户端应用访问数据共享平台内数据的情况,例如,假设用户通过客户端应用A访问了数据库1中的数据a,以及数据库2中的数据b,则客户端应用A访问了数据库1中的数据a,以及数据库2中的数据b的情况,可以被称为数据访问信息,对此不作限制。
在一个应用场景中,业务系统A的数据在业务系统A对应的数据库A中,业务系统B的数据在业务系统B对应的数据库B中,业务系统C的数据在业务系统C对应的数据库C中,则数据库A、B、C可以被称为上述的原始数据库,当数据共享平台共享了业务系统A、业务系统B,以及业务系统C的数据后,数据共享平台可以分别抽取数据库A、B、C中的数据,并将这些数据进行相应的处理从而存储在数据共享平台自身的数据库中,以对外提供相应的数据访问服务,则自身的数据库即为上述的后台数据库。
可选地,在确定数据共享平台中的数据血缘信息和数据流转信息,可以是获取各数据处理子平台产生的数据日志;根据各数据日志中的第一数据与数据库内相应的第二数据之间的血缘关系,确定数据血缘信息,数据库为数据共享平台的共享数据所属的原始数据库;根据各数据日志中的第一数据与数据库内相应的第二数据之间的数据流转关系,确定数据流转信息,能够建立数据间的表级血缘,和/或,字段级血缘,便于后续绘制数据流转拓扑图,进而能够有效地辅助后续数据的全流程监控,便于全流程的数据审计。
上述的第一数据和第二数据为数据表,和/或,第一数据和第二数据为数据表中的字段。
作为一种示例,第一数据可以例如为数据共享平台的后台数据库db2内的t2表,第二数据可以例如为数据共享平台的共享数据所属的原始数据库db1中的t1表,或者,第一数据可以例如为数据共享平台的后台数据库db2内的t2表中的a2字段,第二数据可以例如为数据共享平台的共享数据所属的原始数据库db1中的t1表中a1字段,对此不作限制。
作为一个更具体的示例,可以提取数据集成(数据仓库技术Extract,transform,load,ETL)工具的数据转换日志,分析数据转换日志,从而提取出上述原始数据库到数据共享平台的后台数据库,或者,由数据共享平台的后台数据库到上述原始数据库的数据血缘信息,将得到的数据血缘信息存储在设备中。
例如,在原始数据库db1中存在表t1,在表t1中存在字段a1,从原始数据库db1的表t1中抽取字段a1的内容到数据共享平台的后台数据库db2的表t2中的a2字段中,则其中表t1与表t2存在表级血缘关系,字段a1与字段a2存在字段级血缘关系,将表级血缘关系和字段级血缘关系均作为数据血缘信息,另外,从数据流动的角度,可以分析出数据流转关系为db1中的t1表的a1字段流转到db2中的t2表的a2字段,则可以确定数据流转信息。
在另外一个更具体的示例,还可以采用数据交换平台的数据交换日志进行分析,数据交换日志通常记录了数据在两个或者多个不同数据库的交换信息,将数据库A的表t3中的字段a3中的数据与数据库B中表t4中的字段a4中的数据进行交换,产生交换信息,并将该交换信息存储在数据交换平台的数据交换日志中,从而根据该数据交换日志,确定数据的表级血缘关系和字段级血缘关系,并从数据流动的角度,可以分析出数据流转关系。
在另外一个更具体的示例,还可以采用数据治理平台的加工日志,提取表级血缘关系与字段级血缘关系并作为数据血缘信息,以及从数据流动的角度,可以分析出数据流转关系并作为数据流转信息。
S102:根据数据血缘信息和数据流转信息,形成数据维度的数据流转拓扑图。
上述在确定了数据血缘信息和数据流转信息后,根据数据血缘信息和数据流转信息形成数据维度的数据流转拓扑图,从而能够清晰的呈现出数据血缘信息和数据流转信息,便于异常检测和分析,提升异常检测效果。
参见图2,图2为本发明实施例中的数据维度的数据流转拓扑图,以数据表,和/或,数据字段为对象,通过根据数据血缘信息和数据流转信息形成数据维度的数据流转拓扑图,以表级血缘关系的拓扑图,将数据库1中表1的数据流转至数据库2的表1中,该数据又从数据库2的表1中流转至数据库2的表2和表3,以便于用户对相应数据的访问,数据库1中表1的数据还可以流转至应用A和应用B,其中数据流转信息为数据库1内的数据流向应用A和应用B,也可以是应用A和应用B中的数据流向数据库1中,用户通过应用A或者应用B访问相关数据。
S103:根据数据血缘信息和数据访问信息,形成访问维度的数据流转拓扑图。
可选地,访问维度的数据流转拓扑图包括:应用访问维度的数据流转拓扑图和/或用户访问维度的数据流转拓扑图。
上述应用访问维度的数据流转拓扑图和用户访问维度的数据流转拓扑图的呈现角度不相同,应用访问维度的数据流转拓扑图能够用于呈现出应用程序访问数据的路径,用户访问维度的数据流转拓扑图能够用于呈现出用户访问数据的路径。
应用访问维度的数据流转拓扑图可以例如图3所示,图3为本发明实施例中的应用访问维度的数据流转拓扑图,应用A可以对数据库1的表1中的数据进行访问,数据库1中表1的数据来源于数据库2中的表1,数据库2中表1的数据来源于关系型数据库服务中的表2;应用A还可以通过应用程序接口网关向应用B中访问数据,应用B中的数据来源于数据库1中的表2,数据库1中表2的数据来源于数据库2中的表2;应用A还可以直接访问数据库1中表3的数据,因此,应用A可以通过至少三种途径访问应用A所需要的数据。
用户访问维度的数据流转拓扑图可以例如图4所示,图4为本发明实施例中的用户访问维度的数据流转拓扑图,将用户数据传输至应用A,和/或,应用B,和/或,数据库表3,应用A中将用户数据传输至数据库的表1中,应用B将用户数据传输至数据库的表2,数据库表1和数据库表2将用户数据传输至数据库表4。
S104:根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常。
在具体执行过程中,设定的数据流转规则可以是,对于数据库A中表t1中的数据是不可以被数据库B所获取的,或者,数据库A中表t1中的数据是不可以被应用A所获取的,在绘制数据维度的数据流转拓扑图中,检测出存在由数据库A中表t1指向数据库B中表t2的数据流转信息,或者,检测出存在由数据库A中表t1指向应用A的数据流转信息时,系统发出警告,并可以快速地定位出数据访问异常的位置,减少排除错误所花费的时间,有效提升异常修复的效率。
本发明在具体执行的过程中,还可以在数据维度的数据流转拓扑图,和/或访问维度的数据流转拓扑图内识别出访问异常时,根据访问异常的信息对数据维度的数据流转拓扑图,和/或访问维度的数据流转拓扑图进行修正。
作为一种示例,在根据访问异常的信息对数据维度的数据流转拓扑图,和/或访问维度的数据流转拓扑图进行修正时,可以将数据访问异常的信息以清晰醒目地图像形式显示在相应的数据流转拓扑图中,或者也可以为其它任意可能的修正方式,对此不作限制。
通过根据访问异常的信息对数据维度的数据流转拓扑图,和/或访问维度的数据流转拓扑图进行修正,能够提升数据流转拓扑图辅助进行异常检测的参考价值,辅助后续的异常处理,提升异常处理效率。
本发明实施例中,通过根据数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息,形成数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,从而根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常,能够实现对数据的流转过程进行全流程追踪,能够精准地追踪到数据访问的异常,便于数据监控和数据管理,有效地提升数据访问的安全性。
图5是本发明另一实施例提出的数据访问异常的检测方法的流程示意图。
其中,数据共享平台还包括数据网关,以及客户端应用。
参见图5,该方法包括:
S501:根据数据网关的表转接口日志和客户端应用的访问日志确定数据访问信息。
上述的数据访问信息,能够用于描述用户通过客户端应用访问数据共享平台内数据的情况。
在具体执行的过程中,可以从表转接口日志中获取数据与应用程序编程接口API的关联,在从访问日志中确定客户端应用所调用的API,并根据所调用的API,结合数据与应用程序编程接口API的关联确定客户端应用所访问的数据,以及根据所访问的数据,结合客户端应用的标识以及客户端应用的登录用户信息确定数据访问信息,能够实现快速地确定出数据访问信息,便于后续基于该数据访问信息判定用户是否越权访问,辅助后续有效快速地识别数据是否泄露,实现对数据异常访问的快速检测。
作为一个具体的示例,采用数据治理平台对数据治理完成后会形成多种主题库,例如人口库、收入库、材料库等,可以供业务应用采用其对外提供服务,数据网关将多种数据库中的数据表转换为应用程序接口Application Programming Interface,API,并经由客户端应用调用相应的API接口从而对外提供数据访问的服务。
因此,本发明实施例中,可以在数据网关的表转接口日志中提取数据与应用程序编程接口API的关联,同时,在客户端应用访问数据网关时,将客户端应用的ID(Identitydocument,身份识别号)以及访问该应用的用户信息进行记录,从而根据所访问的数据,结合客户端应用的标识以及客户端应用的登录用户信息确定数据访问信息。
S502:根据数据血缘信息和数据访问信息,形成应用访问维度的数据流转拓扑图。
参见上述图3,图3为本发明实施例中的应用访问维度的数据流转拓扑图,应用A可以对数据库1的表1中的数据进行访问,数据库1中表1的数据来源于数据库2中的表1,数据库2中表1的数据来源于关系型数据库服务中的表2;应用A还可以通过应用程序接口网关向应用B中访问数据,应用B中的数据来源于数据库1中的表2,数据库1中表2的数据来源于数据库2中的表2;应用A还可以直接访问数据库1中表3的数据,因此,应用A可以通过至少三种途径访问应用A所需要的数据。
S503:根据应用访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常。
在具体执行过程中,设定的数据流转规则可以是,对于应用A不可以直接访问数据库2,应用A不可以直接访问关系型数据库服务等,对于数据访问拓扑图中若存在应用A直接从数据库2或者关系型数据库服务中的数据情况时,则判断数据访问异常,提示用户数据访问异常,并记录下该异常访问。
S504:当根据设定的数据流转规则,在应用访问维度的数据流转拓扑图中识别出访问异常时,根据所识别出的访问异常的信息,对应用访问维度的数据流转拓扑图进行修正。
在具体执行过程,可以根据所识别出的访问异常的信息重新绘制应用访问维度的数据流转拓扑图,或者对异常点的位置进行清晰醒目地显示。
例如,在应用访问维度的数据流转拓扑图中存在应用A直接访问数据库2中表的数据的时候,更新应用访问维度的数据流转拓扑图,对应用访问维度的数据流转拓扑图中应用A指向数据库2中表的数据的关系的箭头,以红色的箭头表示出来,便于快速地识别出数据访问异常的位置,提高数据异常处理的效率。
本发明实施例中,通过根据数据网关的表转接口日志,结合客户端应用的访问日志确定数据访问信息,在根据数据血缘信息和数据访问信息形成应用访问维度的数据流转拓扑图,并根据应用访问维度的数据流转拓扑图,结合数据流转规则检测数据访问异常,以及当根据数据流转规则,在应用访问维度的数据流转拓扑图中识别出访问异常时,根据所识别出的访问异常的信息,对应用访问维度的数据流转拓扑图进行修正,能够实现快速地确定出数据访问信息,便于后续基于该数据访问信息判定应用是否越权访问,辅助后续有效快速地识别数据是否泄露,实现对数据异常访问的快速检测,便于快速地识别出数据访问异常的位置,提高数据异常处理的效率。
图6是本发明另一实施例提出的数据访问异常的检测方法的流程示意图。
参见图6,该方法包括:
S601:根据数据血缘信息和数据访问信息形成用户访问维度的数据流转拓扑图。
用户访问维度的数据流转拓扑图可以例如图4所示,图4为本发明实施例中的用户访问维度的数据流转拓扑图,将用户数据传输至应用A,和/或,应用B,和/或,数据库表3,应用A中将用户数据传输至数据库的表1中,应用B将用户数据传输至数据库的表2,数据库表1和数据库表2将用户数据传输至数据库表4。
S602:根据用户访问维度的数据流转拓扑图,结合数据流转规则检测数据访问异常。
上述设定的数据流转规则可以是,对用户数据通过应用A或者应用B传输到数据库的表中,或者,用户数据直接传输至数据库的表中,对于存在将用户数据传输至数据库2的情况,系统将判断数据访问异常,并发出告警信息。
S603:根据数据流转规则,在用户访问维度的数据流转拓扑图中识别出访问异常时,根据所识别出的访问异常的信息,对用户访问维度的数据流转拓扑图进行修正。
在具体执行过程中,当检测到用户访问维度的数据流转拓扑图中存在由用户数据直接指向数据库2的数据流动方向时,判断数据访问异常,并更新用户访问维度的数据流转拓扑图,将异常的数据访问流动方向以比如红色的箭头表示出来,便于对异常点的快速定位,提高数据访问异常的处理效率。
本发明实施例中,通过根据数据血缘信息和数据访问信息形成用户访问维度的数据流转拓扑图,在根据用户访问维度的数据流转拓扑图,结合数据流转规则检测数据访问异常,以及根据数据流转规则,在用户访问维度的数据流转拓扑图中识别出访问异常时,根据所识别出的访问异常的信息,对用户访问维度的数据流转拓扑图进行修正,能够对用户数据的流动进行监控和审计,并实现根据用户访问维度的数据流转拓扑图对数据链路中用户数据进行快速准确地定位,保障了用户数据在数据链路中传输的安全性和可靠性。
图7是本发明一实施例提出的数据访问异常的检测装置的结构示意图。
参见图7,装置700包括:
第一确定模块701,用于确定数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息;
第一形成模块702,用于根据数据血缘信息和数据流转信息,形成数据维度的数据流转拓扑图;
第二形成模块703,用于根据数据血缘信息和数据访问信息,形成访问维度的数据流转拓扑图;
检测模块704,用于根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常。
可选地,一些实施例中,数据共享平台包括多个数据处理子平台,各数据处理子平台对应一个数据处理阶段,参见图8,第一确定模块701,包括:
获取子模块7011,用于获取各数据处理子平台产生的数据日志;
第一确定子模块7012,用于根据各数据日志中的第一数据与数据库内相应的第二数据之间的血缘关系,确定数据血缘信息,数据库为数据共享平台的共享数据所属的原始数据库;
第二确定子模块7013,用于根据各数据日志中的第一数据与数据库内相应的第二数据之间的数据流转关系,确定数据流转信息。
可选地,一些实施例中,第一数据和第二数据为数据表,和/或,第一数据和第二数据为数据表中的字段。
可选地,一些实施例中,数据共享平台还包括数据网关,以及客户端应用,参见图8,第一确定模块701,还包括:
第三确定子模块7014,用于根据数据网关的表转接口日志和客户端应用的访问日志确定数据访问信息。
可选地,一些实施例中,第三确定子模块7014,具体用于:
从表转接口日志中获取数据与应用程序编程接口API的关联,在从访问日志中确定客户端应用所调用的API,并根据所调用的API,结合数据与应用程序编程接口API的关联确定客户端应用所访问的数据,以及根据所访问的数据,结合客户端应用的标识以及客户端应用的登录用户信息确定数据访问信息。
可选地,一些实施例中,参见图8,装置700还包括:
修正模块705,若在数据维度的数据流转拓扑图,和/或访问维度的数据流转拓扑图内识别出访问异常,修正模块根据访问异常的信息对数据维度的数据流转拓扑图,和/或访问维度的数据流转拓扑图进行修正。
可选地,一些实施例中,访问维度的数据流转拓扑图包括:应用访问维度的数据流转拓扑图和/或用户访问维度的数据流转拓扑图。
需要说明的是,前述图1-图6实施例中对数据访问异常的检测方法的实施例的解释说明也适用于该实施例提出的数据访问异常的检测装置700,其实现原理类似,此处不再赘述。
本发明实施例中,通过根据数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息,形成数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,从而根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常,能够实现对数据的流转过程进行全流程追踪,能够精准地追踪到数据访问的异常,便于数据监控和数据管理,有效地提升数据访问的安全性。
图9是本发明一个实施例提出的计算机设备的结构示意图。
参见图9,本实施例的计算机设备900包括壳体901、处理器902、存储器903、电路板904和电源电路905,其中,电路板904安置在壳体901围成的空间内部,处理器902和存储器903设置在电路板904上;电源电路905,用于为计算机设备900的各个电路或器件供电;存储器903用于存储可执行程序代码;处理器902通过读取存储器903中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行:
确定数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息;
根据数据血缘信息和数据流转信息,形成数据维度的数据流转拓扑图;
根据数据血缘信息和数据访问信息,形成访问维度的数据流转拓扑图;
根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常。
需要说明的是,前述图1-图6实施例中对数据访问异常的检测方法的实施例的解释说明也适用于该实施例提出的计算机设备900,其实现原理类似,此处不再赘述。
本发明实施例中,通过根据数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息,形成数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,从而根据数据维度的数据流转拓扑图和访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常,能够实现对数据的流转过程进行全流程追踪,能够精准地追踪到数据访问的异常,便于数据监控和数据管理,有效地提升数据访问的安全性。
为了实现上述实施例,本申请实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述方法实施例的数据访问异常的检测方法。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种数据访问异常的检测方法,其特征在于,所述方法包括:
确定数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息,其中,所述数据共享平台包括多个数据处理子平台、数据网关和客户端应用,各所述数据处理子平台对应一个数据处理阶段,根据各所述数据处理子平台产生的数据日志中的第一数据与数据库内相应的第二数据之间的血缘关系确定所述数据血缘信息,根据各所述数据日志中的第一数据与所述数据库内相应的第二数据之间的数据流转关系确定所述数据流转信息,根据所述数据网关的表转接口日志和所述客户端应用的访问日志确定所述数据访问信息;
根据所述数据血缘信息和数据流转信息,形成数据维度的数据流转拓扑图,所述访问维度的数据流转拓扑图包括:应用访问维度的数据流转拓扑图和/或用户访问维度的数据流转拓扑图;
根据所述数据血缘信息和数据访问信息,形成访问维度的数据流转拓扑图;
根据所述数据维度的数据流转拓扑图和所述访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常。
2.如权利要求1所述的数据访问异常的检测方法,其特征在于,所述数据库为所述数据共享平台的共享数据所属的原始数据库。
3.如权利要求2所述的数据访问异常的检测方法,其特征在于,所述第一数据和所述第二数据为数据表,和/或,所述第一数据和所述第二数据为所述数据表中的字段。
4.如权利要求1所述的数据访问异常的检测方法,其特征在于,所述根据所述数据网关的表转接口日志和所述客户端应用的访问日志确定所述数据访问信息,包括:
从所述表转接口日志中获取数据与应用程序编程接口API的关联;
从所述访问日志中确定所述客户端应用所调用的API;
根据所述所调用的API,结合所述数据与应用程序编程接口API的关联确定所述客户端应用所访问的数据;
根据所述所访问的数据,结合所述客户端应用的标识以及所述客户端应用的登录用户信息确定所述数据访问信息。
5.如权利要求4所述的数据访问异常的检测方法,其特征在于,还包括:
若在所述数据维度的数据流转拓扑图,和/或所述访问维度的数据流转拓扑图内识别出访问异常,根据访问异常的信息对所述数据维度的数据流转拓扑图,和/或所述访问维度的数据流转拓扑图进行修正。
6.一种数据访问异常的检测装置,其特征在于,所述装置包括:
第一确定模块,用于确定数据共享平台中的数据血缘信息、数据流转信息,以及数据访问信息,其中,所述数据共享平台包括多个数据处理子平台、数据网关和客户端应用,各所述数据处理子平台对应一个数据处理阶段,根据各所述数据处理子平台产生的数据日志中的第一数据与数据库内相应的第二数据之间的血缘关系确定所述数据血缘信息,根据各所述数据日志中的第一数据与所述数据库内相应的第二数据之间的数据流转关系确定所述数据流转信息,根据所述数据网关的表转接口日志和所述客户端应用的访问日志确定所述数据访问信息;
第一形成模块,用于根据所述数据血缘信息和数据流转信息,形成数据维度的数据流转拓扑图;
第二形成模块,用于根据所述数据血缘信息和数据访问信息,形成访问维度的数据流转拓扑图,所述访问维度的数据流转拓扑图包括:应用访问维度的数据流转拓扑图和/或用户访问维度的数据流转拓扑图;
检测模块,用于根据所述数据维度的数据流转拓扑图和所述访问维度的数据流转拓扑图,结合设定的数据流转规则检测数据访问异常。
7.如权利要求6所述的数据访问异常的检测装置,其特征在于,所述数据库为所述数据共享平台的共享数据所属的原始数据库。
8.如权利要求7所述的数据访问异常的检测装置,其特征在于,所述第一数据和所述第二数据为数据表,和/或,所述第一数据和所述第二数据为所述数据表中的字段。
9.如权利要求6所述的数据访问异常的检测装置,其特征在于,所述根据所述数据网关的表转接口日志和所述客户端应用的访问日志确定所述数据访问信息,包括:
从所述表转接口日志中获取数据与应用程序编程接口API的关联,在从所述访问日志中确定所述客户端应用所调用的API,并根据所述所调用的API,结合所述数据与应用程序编程接口API的关联确定所述客户端应用所访问的数据,以及根据所述所访问的数据,结合所述客户端应用的标识以及所述客户端应用的登录用户信息确定所述数据访问信息。
10.如权利要求9所述的数据访问异常的检测装置,其特征在于,所述装置还包括:
修正模块,若在所述数据维度的数据流转拓扑图,和/或所述访问维度的数据流转拓扑图内识别出访问异常,所述修正模块根据访问异常的信息对所述数据维度的数据流转拓扑图,和/或所述访问维度的数据流转拓扑图进行修正。
11.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的数据访问异常的检测方法。
12.一种计算机设备,所述计算机设备包括壳体、处理器、存储器、电路板和电源电路,其中,所述电路板安置在所述壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述计算机设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行如权利要求1-5中任一项所述的数据访问异常的检测方法。
CN202010339552.0A 2020-04-26 2020-04-26 数据访问异常的检测方法、装置、存储介质及计算机设备 Active CN111666186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010339552.0A CN111666186B (zh) 2020-04-26 2020-04-26 数据访问异常的检测方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010339552.0A CN111666186B (zh) 2020-04-26 2020-04-26 数据访问异常的检测方法、装置、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN111666186A CN111666186A (zh) 2020-09-15
CN111666186B true CN111666186B (zh) 2023-09-15

Family

ID=72382987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010339552.0A Active CN111666186B (zh) 2020-04-26 2020-04-26 数据访问异常的检测方法、装置、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN111666186B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395333B (zh) * 2020-11-20 2023-07-25 北京百度网讯科技有限公司 用于排查数据异常的方法、装置、电子设备及存储介质
CN114650149A (zh) * 2020-12-02 2022-06-21 中国移动通信有限公司研究院 一种授权策略处理方法、系统及存储介质
CN112596986A (zh) * 2020-12-31 2021-04-02 恩亿科(北京)数据科技有限公司 一种监控方法及装置
CN113206855B (zh) * 2021-05-10 2022-10-28 中国工商银行股份有限公司 数据访问异常的检测方法、装置、电子设备及存储介质
CN114422390B (zh) * 2022-01-11 2024-02-13 支付宝(杭州)信息技术有限公司 数据处理方法及装置
CN114117311B (zh) * 2022-01-25 2022-04-19 深圳红途科技有限公司 数据访问风险检测方法、装置、计算机设备及存储介质
CN114861213B (zh) * 2022-07-07 2022-10-28 广东省科技基础条件平台中心 一种科技项目全周期智能管理系统及方法
CN116192467B (zh) * 2023-01-04 2023-10-10 北京夏石科技有限责任公司 数据跨境合规管控方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130904A (zh) * 2011-01-20 2011-07-20 武汉大学 信息系统中实体信任的血缘描述系统
CN106815255A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 检测数据访问异常的方法及装置
CN107733902A (zh) * 2017-10-23 2018-02-23 中国移动通信集团广东有限公司 一种目标数据扩散过程的监控方法及装置
JP2018116254A (ja) * 2017-01-16 2018-07-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法、及び、情報処理システム
CN108446546A (zh) * 2018-03-20 2018-08-24 深信服科技股份有限公司 异常访问检测方法、装置、设备及计算机可读存储介质
CN108694195A (zh) * 2017-04-10 2018-10-23 腾讯科技(深圳)有限公司 一种分布式数据仓库的管理方法及系统
CN109241358A (zh) * 2018-08-14 2019-01-18 中国平安财产保险股份有限公司 元数据管理方法、装置、计算机设备及存储介质
CN109446274A (zh) * 2017-08-31 2019-03-08 北京京东尚科信息技术有限公司 大数据平台bi元数据管理的方法和装置
CN109492994A (zh) * 2018-10-29 2019-03-19 成都思维世纪科技有限责任公司 一种基于大数据的立体式全方位安全管理平台
CN109739893A (zh) * 2018-12-28 2019-05-10 上海连尚网络科技有限公司 一种元数据管理方法、设备及计算机可读介质
CN110457405A (zh) * 2019-08-20 2019-11-15 上海观安信息技术股份有限公司 一种基于血缘关系的数据库审计方法
CN110516971A (zh) * 2019-08-29 2019-11-29 杭州网易再顾科技有限公司 异常检测的方法、装置、介质和计算设备
CN110602046A (zh) * 2019-08-13 2019-12-20 上海陆家嘴国际金融资产交易市场股份有限公司 数据监控处理方法、装置、计算机设备和存储介质
CN110704873A (zh) * 2019-09-25 2020-01-17 全球能源互联网研究院有限公司 一种防止敏感数据泄漏的方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482098B2 (en) * 2016-11-14 2019-11-19 Microsoft Technology Licensing, Llc Consuming streamed data records
US10803187B2 (en) * 2017-12-22 2020-10-13 Oracle International Corporation Computerized methods and systems for implementing access control to time series data

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130904A (zh) * 2011-01-20 2011-07-20 武汉大学 信息系统中实体信任的血缘描述系统
CN106815255A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 检测数据访问异常的方法及装置
JP2018116254A (ja) * 2017-01-16 2018-07-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法、及び、情報処理システム
CN108694195A (zh) * 2017-04-10 2018-10-23 腾讯科技(深圳)有限公司 一种分布式数据仓库的管理方法及系统
CN109446274A (zh) * 2017-08-31 2019-03-08 北京京东尚科信息技术有限公司 大数据平台bi元数据管理的方法和装置
CN107733902A (zh) * 2017-10-23 2018-02-23 中国移动通信集团广东有限公司 一种目标数据扩散过程的监控方法及装置
CN108446546A (zh) * 2018-03-20 2018-08-24 深信服科技股份有限公司 异常访问检测方法、装置、设备及计算机可读存储介质
CN109241358A (zh) * 2018-08-14 2019-01-18 中国平安财产保险股份有限公司 元数据管理方法、装置、计算机设备及存储介质
CN109492994A (zh) * 2018-10-29 2019-03-19 成都思维世纪科技有限责任公司 一种基于大数据的立体式全方位安全管理平台
CN109739893A (zh) * 2018-12-28 2019-05-10 上海连尚网络科技有限公司 一种元数据管理方法、设备及计算机可读介质
CN110602046A (zh) * 2019-08-13 2019-12-20 上海陆家嘴国际金融资产交易市场股份有限公司 数据监控处理方法、装置、计算机设备和存储介质
CN110457405A (zh) * 2019-08-20 2019-11-15 上海观安信息技术股份有限公司 一种基于血缘关系的数据库审计方法
CN110516971A (zh) * 2019-08-29 2019-11-29 杭州网易再顾科技有限公司 异常检测的方法、装置、介质和计算设备
CN110704873A (zh) * 2019-09-25 2020-01-17 全球能源互联网研究院有限公司 一种防止敏感数据泄漏的方法及系统

Also Published As

Publication number Publication date
CN111666186A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111666186B (zh) 数据访问异常的检测方法、装置、存储介质及计算机设备
US11108863B2 (en) Tag operating system
US11709819B2 (en) Validating test results using a blockchain network
US10387236B2 (en) Processing data errors for a data processing system
US20200364525A1 (en) Rf tag operating system with iot connector core
US10140453B1 (en) Vulnerability management using taxonomy-based normalization
CN108900353B (zh) 故障告警方法及终端设备
US20200019729A1 (en) System for provisioning validated sanitized data for application development
US20200110905A1 (en) Security hardened software footprint in a computing environment
US20200250812A1 (en) Method and system for image analysis
CN114598539B (zh) 根因定位方法、装置、存储介质及电子设备
US10073726B2 (en) Detection of outage in cloud based service using usage data based error signals
CN107357619A (zh) 一种板卡配置文件的生成方法、装置、设备以及存储介质
CN116737736A (zh) 数据一致性检查及修复方法、装置、设备、介质及产品
Coutinho et al. Integrated cybersecurity methodology and supporting tools for healthcare operational information systems
CN111324516A (zh) 自动记录异常事件的方法及装置、存储介质、电子设备
US20150309871A1 (en) Systems and methods for data storage remediation
US11763014B2 (en) Production protection correlation engine
US10963331B2 (en) Collecting repeated diagnostics data from across users participating in a document collaboration session
CN113656324B (zh) 疾病录入及决策的全链路测试方法、装置、设备及介质
CN107665258A (zh) 文件系统可用性确定方法及装置
US12013970B2 (en) System and method for detecting and obfuscating confidential information in task logs
US11899525B2 (en) Reproduction of graph data during query evaluation
US20230367636A1 (en) System and method for determining memory resource configuration for network nodes to operate in a distributed computing network
TWM558413U (zh) 日誌管理系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant