CN112364346B - 一种泄露数据探测方法、装置、设备及介质 - Google Patents
一种泄露数据探测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112364346B CN112364346B CN202011165711.6A CN202011165711A CN112364346B CN 112364346 B CN112364346 B CN 112364346B CN 202011165711 A CN202011165711 A CN 202011165711A CN 112364346 B CN112364346 B CN 112364346B
- Authority
- CN
- China
- Prior art keywords
- leakage data
- leakage
- data
- detection task
- data detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Storage Device Security (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种泄露数据探测方法、装置、设备及介质，包括：通过资产管理平台获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka；通过资产发现引擎监听所述kafka的第一topic，当所述资产发现引擎监听到所述第一topic中存在所述泄露数据探测任务消息，则获取所述第一topic中的所述泄露数据探测任务消息，并基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据。这样，能够及时发现泄露数据，从而降低数据泄露引起的损失。
Description
技术领域
本申请涉及信息安全技术领域，特别涉及一种泄露数据探测方法、装置、设备及介质。
背景技术
随着互联网以及云服务等新兴技术的兴起，企业管理慢慢的转变成信息化管理，这给企业带来了便利的同时，也带来了一定的危险，企业的关键性信息会一定程度的暴露到公网上，导致企业关键信息或者关键数据被泄露，使不法分子有了可乘之机。因此，如何及时的发现泄露数据，从而避免相应的损失是目前需要解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种泄露数据探测方法、装置、设备及介质，能够及时发现泄露数据，从而降低数据泄露引起的损失。其具体方案如下：
第一方面，本申请公开了一种泄露数据探测方法，包括：
通过资产管理平台获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka；
通过资产发现引擎监听所述kafka的第一topic，当所述资产发现引擎监听到所述第一topic中存在所述泄露数据探测任务消息，则获取所述第一topic中的所述泄露数据探测任务消息，并基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据。
可选的，所述通过资产管理平台获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka，包括：
通过所述资产管理平台的前端获取所述关键字信息，并对所述关键字信息进行合法性校验，然后将通过合法性校验的所述关键字信息发送至所述资产管理平台的后端服务；
通过所述后端服务生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka。
可选的，所述基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据，包括：
从所述泄露数据探测任务消息提取出所述关键字信息，然后利用所述关键字信息对预设资源平台进行泄露数据探测，并将探测得到的数据进行分页、分类以及去重处理，以得到所述目标泄露数据。
可选的，所述基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据之后，还包括：
对所述目标泄露数据进行封装以得到泄露数据消息，并将所述泄露数据消息发送至所述kafka；
通过资产管理平台从所述kafka的第二topic中获取所述泄露数据消息，并对所述泄露数据消息中携带的所述目标泄露数据进行过滤操作，然后将过滤后的所述目标泄露数据添加至预设数据库。
可选的，所述对所述泄露数据消息中携带的所述目标泄露数据进行过滤操作，包括：
对所述泄露数据消息中携带的所述目标泄露数据进行数据去重操作，和/或利用所述关键字信息对所述目标泄露数据进行数据匹配。
可选的，所述对所述目标泄露数据进行封装以得到泄露数据消息，包括：
对所述目标泄露数据以及所述目标泄露数据对应的数据上传者和泄露位置进行封装以得到所述泄露数据消息。
可选的，所述泄露数据探测方法，还包括：
通过所述资源管理平台的前端页面对所述目标泄露数据、所述数据上传者和所述泄露位置进行显示。
第二方面，本申请公开了一种泄露数据探测装置，包括：
资产管理平台，用于获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka；
资产发现引擎，用于监听所述kafka的第一topic，当监听到所述第一topic中存在所述泄露数据探测任务消息，则获取所述第一topic中的所述泄露数据探测任务消息，并基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据。
第三方面，本申请公开了一种泄露数据探测设备，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序以实现前述的泄露数据探测方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的泄露数据探测方法。
可见，本申请通过资产管理平台获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka；通过资产发现引擎监听所述kafka的第一topic，当所述资产发现引擎监听到所述第一topic中存在所述泄露数据探测任务消息，则获取所述第一topic中的所述泄露数据探测任务消息，并基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据。这样，生成用户终端输入的关键字对应的泄露数据探测任务消息，然后下发至kafka，之后通过资产发现引擎获取topic中的消息，对预设资源平台进行探测，能够及时发现泄露数据，从而降低数据泄露引起的损失。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种泄露数据探测方法流程图；
图2为本申请公开的一种具体的泄露数据探测方法流程图；
图3为本申请公开的一种泄露数据任务下发前端界面示意图；
图4为本申请公开的一种泄露数据探测结果前端界面示意图；
图5为本申请公开的一种具体的泄露数据探测结果前端界面示意图；
图6为本申请公开的一种泄露数据探测装置结构示意图；
图7为本申请公开的一种泄露数据探测设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着互联网以及云服务等新兴技术的兴起，企业管理慢慢的转变成信息化管理，这给企业带来了便利的同时，也带来了一定的危险，企业的关键性信息会一定程度的暴露到公网上，导致企业关键信息或者关键数据被泄露，使不法分子有了可乘之机。因此，如何及时的发现泄露数据，从而避免相应的损失是目前需要解决的问题。为此，本申请提供了一种泄露数据探测方案，能够及时发现泄露数据，从而降低数据泄露引起的损失。
参见图1所示，本申请实施例公开了一种泄露数据探测方法，包括：
步骤S11：通过资产管理平台获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka。
在具体的实施方式中，可以通过所述资产管理平台的前端获取所述关键字信息，并对所述关键字信息进行合法性校验，然后将通过合法性校验的所述关键字信息发送至所述资产管理平台的后端服务；通过所述后端服务生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka。
步骤S12：通过资产发现引擎监听所述kafka的第一topic，当所述资产发现引擎监听到所述第一topic中存在所述泄露数据探测任务消息，则获取所述第一topic中的所述泄露数据探测任务消息，并基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据。
其中，所述预设资源平台可以包括网盘、github(一个面向开源及私有软件项目的托管平台)。
在具体的实施方式中，可以从所述泄露数据探测任务消息提取出所述关键字信息，然后利用所述关键字信息对预设资源平台进行泄露数据探测，并将探测得到的数据进行分页、分类以及去重处理，以得到所述目标泄露数据。
也即，可以将大量数据进行分页，按关键字分类，以及进行去除重复的信息。
进一步的，可以通过资产发现引擎对所述目标泄露数据进行封装以得到泄露数据消息，并将所述泄露数据消息发送至所述kafka；然后通过资产管理平台从所述kafka的第二topic中获取所述泄露数据消息，并对所述泄露数据消息中携带的所述目标泄露数据进行过滤操作，然后将过滤后的所述目标泄露数据添加至预设数据库。
其中，所述对所述泄露数据消息中携带的所述目标泄露数据进行过滤操作的具体过程可以为对所述泄露数据消息中携带的所述目标泄露数据进行数据去重操作，和/或利用所述关键字信息对所述目标泄露数据进行数据匹配。
并且，所述对所述目标泄露数据进行封装以得到泄露数据消息的具体过程可以包括：对所述目标泄露数据以及所述目标泄露数据对应的数据上传者和泄露位置进行封装以得到所述泄露数据消息。
进一步的，可以通过所述资源管理平台的前端页面对所述目标泄露数据、所述数据上传者和所述泄露位置进行显示。
也即，可以通过所述资源管理平台的前端页面对过滤后的所述目标泄露数据，对应的数据上传者和泄露位置进行显示。
具体的，可以将所述泄露数据探测任务消息发序列化为对象，比如，通过开源组件fastjson进行反序列化操作，然后将对象通过引擎内部消息发送至各预设资源平台对应的子任务，以通过子任务执行泄露数据探测，所述子任务在接收到对应的消息后，首先判断线程池的状态以及阻塞情况，当线程池有可用的线程时，则将对应的泄露数据探测任务放入线程池执行，线程池任务中首先分解关键字信息，然后基于关键字信息进行针对对应预设资源平台的泄露数据探测。
比如，引擎收到任务消息以后，首先通过阿里开源组件fastjson进行反序列化操作，然后进行解析等一系列任务逻辑，最后根据定义的引擎内部消息，再发往各个数据泄露的子任务去执行。以子任务之一的github数据泄露探测为例，该子任务收到任务后，首先判断线程池的状态以及阻塞情况，当线程池有可用的线程时，则将任务放入线程池执行，线程池任务中首先分解关键字信息。然后构造获取数据的对象以及restTemplate，通过githubAPI V3获取到相关的数据，从反序列化的对象当中取出目标数据，例如作者信息，涉及到的数据所在的文件，然后再根据该文件的url路径，可以从github上获取到经过加密的文件内容，通过解密处理以后，可以根据关键字截取到解密文件中泄露的代码片段，之后再对数据进行分页，归类，去重等等处理。然后再通过API获取到具体的泄露数据的上下文信息，封装成集合，以得到泄露数据消息。回写到kafka。kafka收到回传的数据，又会将其传输到资管平台的后端服务，资管平台后端服务会对回传的数据进行一系列的清理以及过滤操作，例如去重，智能识别有效数据，精确匹配关键数据等等数据清理操作。最终清理过的数据会写入到数据库中，界面上即可看到这些数据。
可见，本申请通过资产管理平台获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka；通过资产发现引擎监听所述kafka的第一topic，当所述资产发现引擎监听到所述第一topic中存在所述泄露数据探测任务消息，则获取所述第一topic中的所述泄露数据探测任务消息，并基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据。这样，生成用户终端输入的关键字对应的泄露数据探测任务消息，然后下发至kafka，之后通过资产发现引擎获取topic中的消息，对预设资源平台进行探测，能够及时发现泄露数据，从而降低数据泄露引起的损失。
参见图2所示，本申请实施例公开了一种具体的泄露数据探测方法，首先用户通过资产管理平台中的—风险管理—风险检测—数据泄露进行任务的下发操作。例如，参见图3所示，图3为本申请实施例公开的一种泄露数据任务下发前端界面示意图。图3中的资产综合治理平台即为资产管理平台，用户通过用户终端下发包括关键字的泄露数据探测任务，资产管理平台获取用户终端输入的关键字信息，进行合法性校验，校验关键字信息的基本类型，长度，空值等，同时进行关键字以外的其他参数的合法性校验，具体的包括资源管理平台的参数，通过springboot暴露的接口，数据会到达后端服务处。后端服务收到数据，则进行校验以及其他的业务逻辑，首先进行参数的校验，避免有一些不合法的数据，校验完毕后，有一些其他细节的业务，例如任务的产生，日志的记录等，执行完毕后则立刻往消息中间件kafka发送任务消息，资产管理平台和资产发现引擎是通过消息中间件kafka来实现数据的打通。因引擎会监听数据泄露的topic，当有数据时，引擎会收到相关数据，至此，通过消息中间件kafka，数据已经到达了资产发现引擎。引擎收到任务消息以后，先把数据反序列化成对象，然后进行解析等一系列任务逻辑，最后根据定义的引擎内部消息，再发往各个数据泄露的子任务去执行，通过预设资源平台的API获取到具体的泄露数据，回写到kafka。kafka收到回传的数据，又会将其传输到资产管理平台的后端服务，资产管理平台后端服务会对回传的数据进行一系列的清理以及过滤操作，例如去重，智能识别有效数据，精确匹配关键数据等等数据清理操作。最终清理过的数据会写入到数据库中，界面上即可看到这些数据。参见图4所示，图4为本申请公开的一种泄露数据探测结果前端界面示意图，用户下发任务后，用户只需要到风险管理—数据泄露菜单即可查询到相关的数据内容。图5为本申请实施例公开的一种具体的泄露数据探测结果前端界面示意图，可以查看风险详情。
这样，可以使企业了解自己的数据在公网上暴露的位置，以及作者是谁，并可以及时的联系作者进行删除，或者其他维权处理，保证了企业关键数据的安全。并且，使企业自己的源代码安全得到保证，可以使企业了解自身的源代码泄露情况。
需要指出的是，本实施例通过Java、Springboot、Mybatis-plus、Kafka实现前述方法对应的程序，以进行泄露数据的探测。还可以通过其他编程语言，比如，可用python或者C++等取而不是java语言调用http协议。也可以基于关键字信息使用爬虫技术爬取网站数据以进行泄露数据的探测。其中，Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。Mybatis-plus是一个简化了JDBC规范的持久化框架，给操作数据库提供了很大的便利。Kafka是一种高吞吐量的分布式发布订阅消息系统。
也即，本申请实施例可以基于关键字信息进行数据挖掘，以得到泄露数据信息。
参见图6所示，本申请实施例公开了一种泄露数据探测装置，包括：
资产管理平台11，用于获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka；
资产发现引擎12，用于监听所述kafka的第一topic，当监听到所述第一topic中存在所述泄露数据探测任务消息，则获取所述第一topic中的所述泄露数据探测任务消息，并基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据。
可见，本申请通过资产管理平台获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka；通过资产发现引擎监听所述kafka的第一topic，当所述资产发现引擎监听到所述第一topic中存在所述泄露数据探测任务消息，则获取所述第一topic中的所述泄露数据探测任务消息，并基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据。这样，生成用户终端输入的关键字对应的泄露数据探测任务消息，然后下发至kafka，之后通过资产发现引擎获取topic中的消息，对预设资源平台进行探测，能够及时发现泄露数据，从而降低数据泄露引起的损失。
其中，所述资产管理平台，具体用于通过所述资产管理平台的前端获取所述关键字信息，并对所述关键字信息进行合法性校验，然后将通过合法性校验的所述关键字信息发送至所述资产管理平台的后端服务；通过所述后端服务生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka。
资产发现引擎12，具体用于从所述泄露数据探测任务消息提取出所述关键字信息，然后利用所述关键字信息对预设资源平台进行泄露数据探测，并将探测得到的数据进行分页、分类以及去重处理，以得到所述目标泄露数据。
并且，所述资产发现引擎12，还用于对所述目标泄露数据进行封装以得到泄露数据消息，并将所述泄露数据消息发送至所述kafka。相应的，所述资产管理平台11，用于从所述kafka的第二topic中获取所述泄露数据消息，并对所述泄露数据消息中携带的所述目标泄露数据进行过滤操作，然后将过滤后的所述目标泄露数据添加至预设数据库。
在具体的实施方式中，所述资产管理平台11，具体用于对所述泄露数据消息中携带的所述目标泄露数据进行数据去重操作，和/或利用所述关键字信息对所述目标泄露数据进行数据匹配。
并且，所述资产发现引擎12，具体用于对所述目标泄露数据以及所述目标泄露数据对应的数据上传者和泄露位置进行封装以得到所述泄露数据消息。
进一步的，所述资源管理平台11，具体用于通过前端页面对所述目标泄露数据、所述数据上传者和所述泄露位置进行显示。
参见图7所示，本申请实施例公开了一种泄露数据探测设备，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，以实现前述实施例公开的泄露数据探测方法。
关于上述泄露数据探测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的泄露数据探测方法。
关于泄露数据探测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上对本申请所提供的一种泄露数据探测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种泄露数据探测方法，其特征在于，包括：
通过资产管理平台获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka；
通过资产发现引擎监听所述kafka的第一topic，当所述资产发现引擎监听到所述第一topic中存在所述泄露数据探测任务消息，则获取所述第一topic中的所述泄露数据探测任务消息，并基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据；
其中，所述基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据，包括：
从所述泄露数据探测任务消息提取出所述关键字信息，然后利用所述关键字信息对预设资源平台进行泄露数据探测，并将探测得到的数据进行分页、分类以及去重处理，以得到所述目标泄露数据。
2.根据权利要求1所述的泄露数据探测方法，其特征在于，所述通过资产管理平台获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka，包括：
通过所述资产管理平台的前端获取所述关键字信息，并对所述关键字信息进行合法性校验，然后将通过合法性校验的所述关键字信息发送至所述资产管理平台的后端服务；
通过所述后端服务生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka。
3.根据权利要求1所述的泄露数据探测方法，其特征在于，所述基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据之后，还包括：
对所述目标泄露数据进行封装以得到泄露数据消息，并将所述泄露数据消息发送至所述kafka；
通过资产管理平台从所述kafka的第二topic中获取所述泄露数据消息，并对所述泄露数据消息中携带的所述目标泄露数据进行过滤操作，然后将过滤后的所述目标泄露数据添加至预设数据库。
4.根据权利要求3所述的泄露数据探测方法，其特征在于，所述对所述泄露数据消息中携带的所述目标泄露数据进行过滤操作，包括：
对所述泄露数据消息中携带的所述目标泄露数据进行数据去重操作，和/或利用所述关键字信息对所述目标泄露数据进行数据匹配。
5.根据权利要求3所述的泄露数据探测方法，其特征在于，所述对所述目标泄露数据进行封装以得到泄露数据消息，包括：
对所述目标泄露数据以及所述目标泄露数据对应的数据上传者和泄露位置进行封装以得到所述泄露数据消息。
6.根据权利要求5所述的泄露数据探测方法，其特征在于，还包括：
通过所述资产管理平台的前端页面对所述目标泄露数据、所述数据上传者和所述泄露位置进行显示。
7.一种泄露数据探测装置，其特征在于，包括：
资产管理平台，用于获取用户终端输入的关键字信息，并生成所述关键字信息对应的泄露数据探测任务消息，然后将所述泄露数据探测任务消息下发至kafka；
资产发现引擎，用于监听所述kafka的第一topic，当监听到所述第一topic中存在所述泄露数据探测任务消息，则获取所述第一topic中的所述泄露数据探测任务消息，并基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据；
其中，所述基于所述泄露数据探测任务消息对预设资源平台进行泄露数据探测，以得到目标泄露数据，包括：
从所述泄露数据探测任务消息提取出所述关键字信息，然后利用所述关键字信息对预设资源平台进行泄露数据探测，并将探测得到的数据进行分页、分类以及去重处理，以得到所述目标泄露数据。
8.一种泄露数据探测设备，其特征在于，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序以实现如权利要求1至6任一项所述的泄露数据探测方法。
9.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的泄露数据探测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011165711.6A CN112364346B (zh) | 2020-10-27 | 2020-10-27 | 一种泄露数据探测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011165711.6A CN112364346B (zh) | 2020-10-27 | 2020-10-27 | 一种泄露数据探测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112364346A CN112364346A (zh) | 2021-02-12 |
| CN112364346B true CN112364346B (zh) | 2024-03-22 |
Family
ID=74510806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011165711.6A Active CN112364346B (zh) | 2020-10-27 | 2020-10-27 | 一种泄露数据探测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364346B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106936812A (zh) * | 2017-01-10 | 2017-07-07 | 南京邮电大学 | 一种云环境下基于Petri网的文件隐私泄露检测方法 |
| CN107066882A (zh) * | 2017-03-17 | 2017-08-18 | 平安科技（深圳）有限公司 | 信息泄露检测方法及装置 |
| CN109657462A (zh) * | 2018-12-06 | 2019-04-19 | 江苏满运软件科技有限公司 | 数据检测方法、系统、电子设备和存储介质 |
| CN111753328A (zh) * | 2020-06-03 | 2020-10-09 | 支付宝(杭州)信息技术有限公司 | 隐私数据的泄露风险检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016138067A1 (en) * | 2015-02-24 | 2016-09-01 | Cloudlock, Inc. | System and method for securing an enterprise computing environment |
-
2020
- 2020-10-27 CN CN202011165711.6A patent/CN112364346B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106936812A (zh) * | 2017-01-10 | 2017-07-07 | 南京邮电大学 | 一种云环境下基于Petri网的文件隐私泄露检测方法 |
| CN107066882A (zh) * | 2017-03-17 | 2017-08-18 | 平安科技（深圳）有限公司 | 信息泄露检测方法及装置 |
| CN109657462A (zh) * | 2018-12-06 | 2019-04-19 | 江苏满运软件科技有限公司 | 数据检测方法、系统、电子设备和存储介质 |
| CN111753328A (zh) * | 2020-06-03 | 2020-10-09 | 支付宝(杭州)信息技术有限公司 | 隐私数据的泄露风险检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112364346A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11716349B2 (en) | Machine learning detection of database injection attacks | |
| CN105956474A (zh) | Android平台软件异常行为检测系统 | |
| CN103559118A (zh) | 一种基于aop与注解信息系统的安全审计方法 | |
| CN112560090B (zh) | 一种数据检测方法和装置 | |
| He et al. | An empirical study of log analysis at Microsoft | |
| EP4356564A1 (en) | Likelihood assessment for security incident alerts | |
| CN115514558A (zh) | 一种入侵检测方法、装置、设备及介质 | |
| US9632904B1 (en) | Alerting based on service dependencies of modeled processes | |
| CN114826639B (zh) | 基于函数调用链跟踪的应用攻击检测方法及装置 | |
| CN112822210B (zh) | 一种基于网络资产的漏洞管理系统 | |
| CN114153703A (zh) | 微服务的异常定位方法、装置、电子设备和程序产品 | |
| CN112364346B (zh) | 一种泄露数据探测方法、装置、设备及介质 | |
| CN117272308A (zh) | 软件安全测试方法、装置、设备、存储介质及程序产品 | |
| CN116662987A (zh) | 业务系统监控方法、装置、计算机设备及存储介质 | |
| CN113904828B (zh) | 接口的敏感信息检测方法、装置、设备、介质和程序产品 | |
| CN114579405A (zh) | 数据处理方法、数据处理装置、电子设备和存储介质 | |
| CN114301713A (zh) | 风险访问检测模型的训练方法、风险访问检测方法及装置 | |
| CN113421109A (zh) | 一种业务核对方法、装置、电子设备和存储介质 | |
| CN117610078B (zh) | 数据流转预警的方法、装置、电子设备及存储介质 | |
| CN116070268B (zh) | 隐私数据识别监控方法、装置和设备 | |
| US10805411B2 (en) | Interprogram communication with event handling for metric overlays | |
| US9916190B1 (en) | Interprogram communication with event handling for subscription tagging | |
| US10949605B2 (en) | Interprogram communication with event handling for online enhancements | |
| CN117076267A (zh) | 基于告警自动诊断的监控方法、装置、电子设备及介质 | |
| CN116484436A (zh) | 网页篡改监测方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |