CN112491912B - 数据处理方法、装置、系统和电子设备 - Google Patents

Abstract

本公开的实施例提供了一种数据处理方法、装置、系统和电子设备，该方法包括：将前置关联数据发送给客户端，以便客户端从隔离网络中采集与前置关联数据对应的待处理数据，并处理待处理数据以得到第一处理结果和风险信息；响应于接收到来自客户端的风险信息，对风险信息进行处理以得到第二处理结果；以及将第二处理结果发送给客户端，以便根据第一处理结果和第二处理结果得到针对待处理数据的第三处理结果。

Description

数据处理方法、装置、系统和电子设备

技术领域

本公开涉及计算机信息安全技术领域，更具体地，涉及一种数据处理方法、装置、系统和电子设备。

背景技术

随着网络的开放性、共享性和互联程度的不断扩大，网络安全问题日益重要。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：隔离网络无法较好地利用云端数据进行数据处理。

发明内容

有鉴于此，本公开实施例提供了一种有助于隔离网络利用云端数据进行数据处理的数据处理方法、装置、系统和电子设备。

本公开实施例的一个方面提供了一种由服务器端执行的数据处理方法，包括：将前置关联数据发送给客户端，以便客户端从隔离网络中采集与前置关联数据对应的待处理数据，并处理待处理数据以得到第一处理结果和风险信息；响应于接收到来自客户端的风险信息，对风险信息进行处理以得到第二处理结果；以及将第二处理结果发送给客户端，以便根据第一处理结果和第二处理结果得到针对待处理数据的第三处理结果。

根据本公开的实施例，风险信息包括多个子风险信息；响应于接收到来自客户端的风险信息，对风险信息进行处理以得到第二处理结果包括：确定与多个子风险信息各自对应的子处理结果，以整合与多个子风险信息各自对应的子处理结果，得到第二处理结果。

根据本公开的实施例，上述方法还包括：接收用户指令；以及响应于用户指令，从富化后的前置信息中确定前置关联数据。

根据本公开的实施例，从富化后的前置信息中确定前置关联数据包括：确定元数据实体；获取元数据实体的关联信息，以确定前置数据；富化前置数据；以及基于富化后的前置数据确定前置关联信息。

本公开实施例的另一方面提供了一种由客户端执行的数据处理方法，包括：获取来自服务器端的前置关联数据；从隔离网络中采集与前置关联数据对应的待处理数据，隔离网络与互联网之间相互隔离；处理待处理数据，得到第一处理结果和风险信息；以及将风险信息发送给服务器端，以便服务器端基于风险信息确定第二处理结果；以及响应于来自服务器端的第二处理结果，基于第一处理结果和第二处理结果确定针对待处理数据的第三处理结果。

根据本公开的实施例，上述方法还包括：确定待处理数据的数据类型；以及确定与数据类型对应的处理策略，处理策略包括数据类型与处理方式的至少一种组合之间的映射关系。

根据本公开的实施例，处理待处理数据，得到第一处理结果和风险信息包括：基于处理策略处理待处理数据，得到第一处理结果和风险信息。

根据本公开的实施例，处理方式包括以下至少一种：基于文件静态处理引擎对风险信息进行处理；基于动态处理沙箱对风险信息进行处理；以及基于威胁情报系统业务流对风险信息进行处理。

根据本公开的实施例，数据类型包括邮件类型；基于处理策略处理待处理数据，得到第一处理结果和风险信息包括：基于文件静态处理引擎解析与邮件类型对应的风险信息，以确定第一风险关联信息；基于威胁情报系统处理第一风险关联信息，以至少确定第二风险关联信息；基于动态处理沙箱分析第一风险关联信息和/或第二风险关联信息以至少确定第三风险关联信息，以至少基于第一风险关联信息、第二风险关联信息和第三风险关联信息中至少一种得到第一处理结果和风险信息。

根据本公开的实施例，前置关联数据是针对多个维度的；从隔离网络中采集与前置关联数据对应的待处理数据包括：基于多个维度中至少一个对隔离网中数据实体进行采集和拆分，以确定与前置关联数据对应的待处理数据，多个维度包括：统一资源定位符、域名系统、邮件、文件或传输控制协议/网际协议中至少一种。

根据本公开的实施例，风险信息包括针对业务数据和/或日志的处理结果。

本公开实施例的另一方面提供了一种数据处理装置，包括：前置关联数据发送模块、风险信息处理模块和处理结果输出模块。其中，前置关联数据发送模块用于将前置关联数据发送给客户端，以便客户端从隔离网络中采集与前置关联数据对应的待处理数据，并处理待处理数据以得到第一处理结果和风险信息；风险信息处理模块用于响应于接收到来自客户端的风险信息，对风险信息进行处理以得到第二处理结果；以及处理结果输出模块用于将第二处理结果发送给客户端，以便根据第一处理结果和第二处理结果得到针对待处理数据的第三处理结果。

本公开实施例的另一方面提供了一种数据处理装置，包括：前置关联数据获取模块、数据采集模块、第一处理模块、处理结果发送模块和处理结果整合模块。其中，前置关联数据获取模块用于获取来自服务器端的前置关联数据；数据采集模块用于从隔离网络中采集与前置关联数据对应的待处理数据，隔离网络与互联网之间相互隔离；第一处理模块用于处理待处理数据，得到第一处理结果和风险信息；处理结果发送模块用于将风险信息发送给服务器端，以便服务器端基于风险信息确定第二处理结果；以及处理结果整合模块用于响应于来自服务器端的第二处理结果，基于第一处理结果和第二处理结果确定针对待处理数据的第三处理结果。

本公开实施例的另一方面提供了一种数据处理系统，包括：前置数据下发模块、本地数据处理模块、数据运营模块、多维度数据处理模块和数据整合闭环模块。其中，前置数据下发模块用于将前置关联数据发送给本地数据处理模块；本地数据处理模块用于从隔离网络中采集与前置关联数据对应的待处理数据；数据运营模块用于处理待处理数据以得到第一处理结果和风险信息；多维度数据处理模块用于对风险信息进行处理以得到第二处理结果；以及数据整合闭环模块用于根据来自客户端的第一处理结果和第二处理结果得到第三处理结果，并且输出第三处理结果。

本公开实施例的另一方面提供了一种电子设备，包括一个或多个处理器以及存储装置，其中，上述存储装置用于存储可执行指令，上述可执行指令在被上述处理器执行时，实现本公开实施例的方法。

本公开实施例的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被处理器执行时用于实现本公开实施例的方法。

本公开实施例的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现本公开实施例的方法。

本公开实施例，将数据处理从由服务器端进行运维处理，下沉到隔离网络环境中，通过数据在隔离网络流转之后，在服务器端匹配查询风险信息，实现数据闭环处理，完成针对各恶意信息的判定。使得用户侧可以较好利用云端数据进行数据处理。通过将隔离网络内本地运营数据与服务器端的云端数据(如安全能力平台数据)相结合，经过人工和/或自动化闭环处理，达到安全能力的闭环以及实时响应能力。

本公开实施例，云端的高性能及全局数据处理能力结合用户特有数据处理及数据上报能力，加强了数据的反馈及分发能力。

本公开实施例，将数据从分发、使用到生产流程，生成可商业化统一业务数据，并提供对外业务封装。

本公开实施例，通过对安全数据的合理使用及闭环处理操作，达到各类安全数据的有效利用。

本公开实施例，将数据收集、数据处理、数据应用以及数据分析及数据生成的闭环操作，加强安全能力的闭环操作。在安全能力提供方面，达到了数据质量及效率的提升。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的数据处理方法、装置、系统和电子设备的应用场景；

图2示意性示出了根据本公开实施例适用于数据处理方法、装置、系统和电子设备的架构图；

图3示意性示出了根据本公开实施例的数据处理方法的流程图；

图4示意性示出了根据本公开实施例的数据处理方法的逻辑图；

图5示意性示出了根据本公开另一实施例的数据处理方法的流程图；

图6示意性示出了根据本公开另一实施例的数据处理方法的流程图；

图7示意性示出了根据本公开实施例的数据处理装置的框图；

图8示意性示出了根据本公开另一实施例的数据处理装置的框图；

图9示意性示出了根据本公开实施例的数据处理系统的框图；以及

图10示意性示出了根据本公开实施例的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。

图1示意性示出了根据本公开实施例的数据处理方法、装置、系统和电子设备的应用场景。

如图1所示，随着安全管理与精细化管理的要求越来越高，对各类运行情况实时监测的需求愈发迫切，如何全面提高数据的完整性和安全性成为急需解决的技术问题。

相关技术中可以利用诸如前置数据采集器在隔离网络中进行数据采集，通过交换机设备等将采集的数据传输给相关的系统供其使用，如通过互联网传输至数据分析系统。但是，传统的数据采集方案缺乏安全传输策略，使得在隔离网中采集的数据容易遭到外界黑客盗取，无法保障信息安全，造成信息安全隐患。

本公开的实施例提供了一种数据处理方法、装置、系统和电子设备。该方法包括数据处理过程和结果融合过程。在数据处理过程中，首先，将前置关联数据发送给客户端，以便客户端从隔离网络中采集与前置关联数据对应的待处理数据，并处理待处理数据以得到第一处理结果和风险信息，然后，响应于接收到来自客户端的风险信息，对风险信息进行处理以得到第二处理结果。在完成数据处理过程之后，进入结果融合过程，将第二处理结果发送给客户端，以便根据第一处理结果和第二处理结果得到针对待处理数据的第三处理结果。

图2示意性示出了根据本公开实施例适用于数据处理方法、装置、系统和电子设备的架构图。

需要注意的是，图2所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图2所示，根据该实施例的系统架构200可以包括终端设备201、202、203，网络204、服务器205。网络204用以在终端设备201、202、203、服务器205之间提供通信链路的介质。网络204可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备201、202、203通过网络204与服务器205交互，以接收或发送消息等。终端设备201、202、203上可以安装有各种通讯客户端应用及其许可证，例如防火墙类应用、查毒/杀毒类应用、安全卫士、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。服务器205和网关上可以安装有防火墙类应用。

终端设备201、202、203可以是能完成生产任务或数据处理的各种电子设备，包括但不限于智能手机、平板电脑、虚拟现实设备、膝上型便携计算机、机床、具有一定数据处理能力的生产制造设备和台式计算机等等。

服务器205可以是提供各种服务的服务器，例如对用户利用终端设备201、202、203所使用的应用提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的请求、数据等进行分析等处理，并将处理结果(例如根据请求获取或生成的处理结果、或数据等)反馈给终端设备。

网关可以将终端设备201、202、203和服务器205发送的信息路由至正确的地址。此外，网关还可以对接收的网络数据流进行测试。

需要说明的是，本公开实施例所提供的测试方法一般可以由服务器205或终端设备201、202、203执行。相应地，本公开实施例所提供的测试装置一般可以设置于服务器205或终端设备201、202、203中。本公开实施例所提供的测试方法也可以由不同于服务器205或终端设备201、202、203，且能够与服务器205、终端设备201、202、203通信的服务器或服务器集群执行。相应地，本公开实施例所提供的测试装置也可以设置于能够与服务器205、终端设备201、202、203通信的服务器或服务器集群中。

应该理解，终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下结合图3～图9对本公开实施例提供的数据处理方法、装置、系统和电子设备进行示例说明。

首先对本公开实施例涉及的部分术语进行说明。

TPD数据，是配置数据，如果为TPD类型，则其所有的子域名都处理命中。

失陷指标(Indicators of compromise，简称IOC数据)，表征威胁外在表象的内在特征，也就是威胁外在表象的内在特征。通过查看这些特征可以判定是否真的遭受了这个威胁的攻击。包括威胁处理的条件，可能的影响，有效时间，建议的数据处理方法，处理或测试方法，指标来源。

图3示意性示出了根据本公开实施例的数据处理方法的流程图。

如图3所示，该由服务器端执行的数据处理方法可以包括操作S302～操作S306。

在操作S302，将前置关联数据发送给客户端，以便客户端从隔离网络中采集与前置关联数据对应的待处理数据，并处理待处理数据以得到第一处理结果和风险信息。

在本实施例中，将前置关联数据发送给客户端，使得前置数据参与隔离网络内的数据采集，采集的数据的数据类型包括但不限于统一资源定位系统(uniform resourcelocator，简称URL)，域名系统(Domain Name System，简称DNS)，邮件(MAIL)，文件(FILE)，以及传输控制系统(Transmission Control Protocol，简称TCP)五元组信息。

具体地，前置关联数据可以包括前置数据、前置条件数据等，例如，各类白名单、域名查询协议(whois)数据、并行/分布式网络模拟系统(Parallel/Distributed NS，简称pdns数据)、TPD数据等。通过对前置关联数据的下推，保证安全业务处理的准确性，减少误报率。

在操作S304，响应于接收到来自客户端的风险信息，对风险信息进行处理以得到第二处理结果。

在本实施例中，可以将收集到的各类数据经过文件静态检测引擎、动态检测沙箱以及威胁情报系统业务流中至少一种进行处理。威胁情报系统业务流，其负责处理IOC情报生成以及IOC情报对多平台的共享。

其中，风险信息可以是从待处理数据中确定的，如从收集的各类数据中解析出来的IP地址、域名、联系人信息等，这些信息可以便于服务器端基于大数据分析其安全性等。

在一个实施例中，风险信息包括多个子风险信息。相应地，响应于接收到来自客户端的风险信息，对风险信息进行处理以得到第二处理结果包括：确定与多个子风险信息各自对应的子处理结果，以整合与多个子风险信息各自对应的子处理结果，得到第二处理结果。

例如，对来自客户端的可疑待查询信息进行处理，得到第二处理结果，可疑待查询信息包括但不限于whois信息、Pdns信息、文件信誉、IP信誉等中至少一种信息检测。例如，可以基于从风险信息中解析出的IP地址等查询情报系统等。

需要说明的是，可以基于专家经验或预设规则等确定各种类别的数据对应的处理策略，这样便于基于预设的处理策略对对应类别的数据进行处理，提升处理结果的准确度。例如，部分类别的数据需要经过文件静态检测引擎、动态检测沙箱进行处理，部分类别的数据需要经过文件静态检测引擎、动态检测沙箱以及威胁情报系统业务流进行处理。此外，不同类别的数据对应的处理顺序也可以不同。

在操作S306，将第二处理结果发送给客户端，以便根据第一处理结果和第二处理结果得到针对待处理数据的第三处理结果。

在本实施例中，可以由服务器端或客户端整合第一处理结果和第二处理结果，以预测待处理数据是否存在安全风险。例如，文件的源IP地址在服务器端的黑客名单中匹配成功，则该文件可能存在潜在风险。例如，邮件的发件人的IP地址在白名单中匹配成功，则该邮件应该是安全的。通过整合第一处理结果和第二处理结果，有助于提升处理结果的准确度。

图4示意性示出了根据本公开实施例的数据处理方法的逻辑图。

如图4所示，对于整个数据的能力闭环来说，通过各类业务接口将基本数据汇入，提供基本数据能力，以便在情报生产隔离网络内，将采集到的流量信息基于用户自有数据进行不同协议的数据处理和情报二次生产。

将用户自有环境中的信息提供静态引擎、动态引擎以及威胁情报检测，进行用户自有情报的二次生产，通过运营平台进行数据的生产运营。

将结果汇总至各类业务接口，达到数据处理闭环，基于自有数据及云端数据整合，进行完整的数据处理流。

例如，服务器端下发各类白名单、域名查询协议whois数据、PDNS数据、TPD数据等前置数据，采集器采集与前置数据对应的待处理数据，并从中解析出诸如URL、DNS、MAIL、FILE、TCP和IP中至少一种，基于互联网环境中运营平台提供的接口对这些风险信息(如不在隔离网络本地白名单中的IP信息等)进行查询、检测等。互联网平台基于各类业务接口整合处理以及查询分析，结果反馈给用户侧，达到数据处理的完整闭环。

此外，还可以便于建立本地化的内生威胁情报生产能力。例如，[分析人员+工具平台+处理流程+基础数据]X本地(隔离网络)数据，达到整个数据流的闭环。

本公开实施例基于数据收集、数据处理、数据应用以及数据分析及数据生成的闭环操作，不会将隐私信息等传输至隔离网络之外，有助于提升信息安全，加强安全能力的闭环操作。通过对安全数据的合理使用及闭环处理操作，达到各类安全数据的有效利用，在安全能力提供方面，达到了数据质量及效率的提升。

图5示意性示出了根据本公开另一实施例的数据处理方法的流程图。

如图5所示，上述方法在操作S302之前，还可以包括操作S502～操作S504。

在操作S502，接收用户指令。该用户指令可以是针对前置信息等的，以便设置前置关联数据。

在操作S504，响应于用户指令，从富化后的前置信息中确定前置关联数据。

通过以上操作便于灵活定义闭环参与的安全数据实体，包括如白名单、whois数据、pdns数据、TPD数据等，参与数据闭环及研判的数据输入及前置数据条件。

其中，富化过程可以是获取与前置信息相关信息的过程，如从前置信息的上下文、历史数据中等获取关联数据的过程。

在一个实施例中，从富化后的前置信息中确定前置关联数据可以包括如下操作。

首先，确定元数据实体。然后，获取元数据实体的关联信息，以确定前置数据。接着，富化前置数据。然后，基于富化后的前置数据确定前置关联信息。例如，定义元数据实体，覆盖范围包括whois，pdns数据，TPD(顶级私有域名)等实体内容，包括相关的IP、域名以及访问历史日志等，将实体数据分别进行存储及上下文关联，提供数据逻辑处理等前置准备。

然后，对前置数据进行网络流量的收集及信息补充，富化情报相关内容。

接着，将所有数据进行预处理、去重等操作之后，进入本地化自定义处理流程阶段。此部分数据为本地运营处理逻辑的前置可信数据，对二次生产和加工有基础参考作用。

本公开的实施例，用户可以灵活地定义闭环参与的安全数据实体，进而通过对前置数据的下推，保证安全业务处理的准确性，减少误报率。

图6示意性示出了根据本公开另一实施例的数据处理方法的流程图。

如图6所示，该由客户端执行的数据处理方法可以包括操作S602～操作S610。

在操作S602，获取来自服务器端的前置关联数据。

其中，前置关联数据可以参考上述相关部分内容，在此不再赘述。

在操作S604，从隔离网络中采集与前置关联数据对应的待处理数据，隔离网络与互联网之间相互隔离。

例如，采集隔离网中多个类型的业务数据及日志，以便对采集的数据进行解析、处理等，得到URL，file文件、邮件、TCP、IP协议流等中至少一种信息。

在操作S606，处理待处理数据，得到第一处理结果和风险信息。

在一个实施例中，可以基于诸如静态检测引擎、动态检测引擎以及威胁情报数据处理逻辑等进行数据处理。例如，经过静态检测引擎将文件样本数据的元信息提取出来，得到文件的静态信息。对于静态信息检测内容不够详细或者无数据的情况，再次通过动态检测引擎，模拟出样本执行的恶意行为及其释放文件等内容。将样本及动态行为特征提取出来进入威胁情报处理流程，查询威胁情报数据，并做上下文关联处理，得到本地化对数据对象的完整处理结果。通过在本地处理流程对数据进行不同阶段的内容生产和数据字段加强，得到自运营环境中的情报自有数据。

例如，风险信息包括针对业务数据和/或日志的处理结果。

在操作S608，将风险信息发送给服务器端，以便服务器端基于风险信息确定第二处理结果。

其中，基于风险信息确定第二处理结果可以参考上述相关部分内容，在此不再赘述。

在操作S610，响应于来自服务器端的第二处理结果，基于第一处理结果和第二处理结果确定针对待处理数据的第三处理结果。

例如，本地的第一处理结果未显示待处理数据存在安全风险，基于服务器端的第二处理结果显示风险数据存在安全风险，则可以结合第一处理结果和第二处理结果给出该待处理数据存在安全风险的结论，还可以输出其风险点信息。

在本实施例中，将用户侧个性化安全处置能力进行本地化处理后，再将处理结果和/或风险信息进行数据上报分析，由云端完成数据闭环分析，下推至用户侧，达到安全数据和安全能力等闭环。云端的高性能及全局数据处理能力结合用户特有数据处理及数据上报能力，加强了数据的反馈及分发能力，有助于提升数据处理结果的准确度。

在一个实施例中，为了提升针对风险信息的处理结果的准确度，在操作S606之前，上述方法还可以包括如下操作。

首先，确定待处理数据的数据类型。

然后。确定与数据类型对应的处理策略，处理策略包括数据类型与处理方式的至少一种组合之间的映射关系。

相应地，处理待处理数据，得到第一处理结果和风险信息包括：基于处理策略处理待处理数据，得到第一处理结果和风险信息。

具体地，处理方式包括以下至少一种：基于文件静态处理引擎对风险信息进行处理；基于动态处理沙箱对风险信息进行处理；以及基于威胁情报系统业务流对风险信息进行处理。

例如，在互联网环境下，对于采集到的不同类型信息对接不同的系统或者一个系统内部不同组件的安全能力，通过可编程应用接口(API)和人工检查点，按照一定的逻辑关系组合到一起，用以完成某个特定安全操作检测及数据处理。

在一个实施例中，数据类型包括邮件类型。相应地，对风险信息进行处理以确定第二处理结果可以包括如下操作。

首先，基于文件静态处理引擎解析与邮件类型对应的风险信息，以确定第一风险关联信息。

然后，基于威胁情报系统处理第一风险关联信息，以确定第二风险关联信息。

接着，基于动态处理沙箱分析第一风险关联信息和/或第二风险关联信息以至少确定第三风险关联信息，以至少基于第一风险关联信息、第二风险关联信息和第三风险关联信息中至少一种得到第一处理结果和风险信息。

例如，用户针对一封收到的可疑邮件进行深入检测与响应(操作)的过程可以分解为：根据拆解出来的发件人、统一资源定位器(URL)链接和IP等信息查询威胁情报系统，将附件送入沙箱系统进行分析，并根据情报系统和沙箱系统返回的信息进一步决定是否要通知邮件系统删除该邮件或者附件，是否要通过终端安全响应系统(EDR)获取收件人终端上的进一步信息做分析，等等。通过此可疑邮件分析的过程就是一个将邮件检测系统、威胁情报系统、沙箱系统、EDR等等系统通过整合在一起的数据处理实例。

又例如，针对某一个特定IOC，以其为key，进行对数据多维度的字段富化，此IOC相关联的所有上下文进行补充，包括可能关联的IP信息，域名信息，以及其他内容，形成一个IOC上，关联到多个生产环境的有效信息，进行key-value形式的组合存储。

在一个实施例中，前置关联数据是针对多个维度的。相应地，从隔离网络中采集与前置关联数据对应的待处理数据可以包括：基于多个维度中至少一个对隔离网中数据实体进行采集和拆分，以确定与前置关联数据对应的待处理数据，多个维度包括：统一资源定位符、域名系统、邮件、文件或传输控制协议/网际协议中至少一种。

本公开实施例将数据实体依据多个维度进行采集和拆分，分别送往本地不同处理模块，处理后进行数据整合关联。不同于相关技术中数据单维度分析，通过多维度数据处理，将不同类型待处理数据按照多个维度进行拆分处理，综合判定信息的上下文及关联分析，有助于提升数据处理结果的准确度。

本公开的另一方面提供了一种数据处理装置。

图7示意性示出了根据本公开实施例的数据处理装置的框图。

如图7所示，该数据处理装置700可以包括：前置关联数据发送模块710、风险信息处理模块720和处理结果输出模块730。

前置关联数据发送模块710用于将前置关联数据发送给客户端，以便客户端从隔离网络中采集与前置关联数据对应的待处理数据，并处理待处理数据以得到第一处理结果和风险信息。

风险信息处理模块720用于响应于接收到来自客户端的风险信息，对风险信息进行处理以得到第二处理结果。

处理结果输出模块730用于将第二处理结果发送给客户端，以便根据第一处理结果和第二处理结果得到针对待处理数据的第三处理结果。

图8示意性示出了根据本公开另一实施例的数据处理装置的框图。

如图8所示，该数据处理装置800可以包括前置关联数据获取模块810、数据采集模块820、第一处理模块830、处理结果发送模块840和处理结果整合模块850。

其中，前置关联数据获取模块810用于获取来自服务器端的前置关联数据。

数据采集模块820用于从隔离网络中采集与前置关联数据对应的待处理数据，隔离网络与互联网之间相互隔离。

第一处理模块830用于处理待处理数据，得到第一处理结果和风险信息。

处理结果发送模块840用于将风险信息发送给服务器端，以便服务器端基于风险信息确定第二处理结果。

处理结果整合模块850用于响应于来自服务器端的第二处理结果，基于第一处理结果和第二处理结果确定针对待处理数据的第三处理结果。

本公开的另一方面还提供了一种数据处理系统。

图9示意性示出了根据本公开实施例的数据处理系统的框图。

如图9所示，该数据处理系统900可以包括：前置数据下发模块910、本地数据处理模块920、数据运营模块930、多维度数据处理模块940和数据整合闭环模块950。

其中，前置数据下发模块910用于将前置关联数据发送给本地数据处理模块。

本地数据处理模块920用于从隔离网络中采集与前置关联数据对应的待处理数据。

数据运营模块930用于处理待处理数据以得到第一处理结果和风险信息。

多维度数据处理模块940用于对风险信息进行处理以得到第二处理结果。

数据整合闭环模块950用于根据第一处理结果和第二处理结果得到第三处理结果，并且输出第三处理结果。

例如，前置数据下发模块910负责基于用户本地化数据处理前置条件数据，包括各类白名单、域名查询协议whois数据、pdns数据、TPD数据等，通过对前置数据的下推，该模块保证安全业务处理的准确性，减少误报率。

数据本地化处理模块920处理并采集隔离网中多个类型的业务数据及日志，对其进行解析并预处理，得到如URL、file文件、邮件、TCP、IP协议流等。

数据运营模块930将收集到的各类数据经过文件静态检测引擎、动态检测沙箱、以及威胁情报系统业务流。其中威胁情报系统业务流，负责处理IOC情报生成以及IOC情报对多平台的共享。

多维度数据处理模块940在互联网环境下，对于采集到的不同类型信息，对接不同的系统或者一个系统内部不同组件的安全能力，通过可编程接口(API)和人工检查点，按照一定的逻辑关系组合到一起，用以完成某个特定安全操作检测及数据处理。例如，用户针对一封收到的可疑邮件进行深入检测与响应(操作)的过程可以分解为：根据拆解出来的发件人、URL链接和IP等信息查询威胁情报系统，将附件送入沙箱系统进行分析，并根据情报系统和沙箱系统返回的信息进一步决定是否要通知邮件系统删除该邮件或者附件，是否要通过EDR获取收件人终端上的进一步信息做分析等。通过此可疑邮件分析的过程就是一个将邮件检测系统、威胁情报系统、沙箱系统、EDR等等系统通过整合在一起的数据处理实例。

数据整合闭环模块950通过数据本地处理之后，将可疑待查询信息发送至云端商业服务接口，可以包括whois信息、Pdns信息、文件信誉、IP信誉等信息检测，经过检测接口整合处理以及查询分析，结果反馈给用户侧，达到数据处理的完整闭环。

其中，数据处理装置的各模块执行的操作可以参考如上所示的方法部分相关内容，在此不再一一详述。

根据本公开的实施例的模块、子模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，前置关联数据发送模块710、风险信息处理模块720和处理结果输出模块730中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，前置关联数据发送模块710、风险信息处理模块720和处理结果输出模块730中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，前置关联数据发送模块710、风险信息处理模块720和处理结果输出模块730中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图10示意性示出了根据本公开实施例的电子设备的方框图。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，根据本公开实施例的电子设备1000包括处理器1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1003中，存储有电子设备1000操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备1000还可以包括输入/输出(I/O)接口1005，输入/输出(I/O)接口1005也连接至总线1004。电子设备1000还可以包括连接至I/O接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本公开实施例的电子设备中限定的上述功能。根据本公开的实施例，上文描述的电子设备、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (15)

1.一种由服务器端执行的数据处理方法，包括：

将前置关联数据发送给客户端，以便所述客户端从隔离网络中采集与所述前置关联数据对应的待处理数据，并处理所述待处理数据以得到第一处理结果和风险信息；

响应于接收到来自所述客户端的所述风险信息，对所述风险信息进行处理以得到第二处理结果；以及

将所述第二处理结果发送给所述客户端，以便根据所述第一处理结果和所述第二处理结果得到针对所述待处理数据的第三处理结果。

2.根据权利要求1所述的方法，其中，所述风险信息包括多个子风险信息；

所述响应于接收到来自所述客户端的所述风险信息，对所述风险信息进行处理以得到第二处理结果包括：

确定与所述多个子风险信息各自对应的子处理结果，以整合与所述多个子风险信息各自对应的子处理结果，得到第二处理结果。

3.根据权利要求1或2所述的方法，还包括：

接收用户指令；以及

响应于所述用户指令，从富化后的前置信息中确定所述前置关联数据。

4.根据权利要求3所述的方法，其中，所述从富化后的前置信息中确定所述前置关联数据包括：

确定元数据实体；

获取所述元数据实体的关联信息，以确定前置数据；

富化所述前置数据；以及

基于富化后的前置数据确定前置关联信息。

5.一种由客户端执行的数据处理方法，包括：

获取来自服务器端的前置关联数据；

从隔离网络中采集与所述前置关联数据对应的待处理数据，所述隔离网络与互联网之间相互隔离；

处理所述待处理数据，得到第一处理结果和风险信息；以及

将所述风险信息发送给所述服务器端，以便所述服务器端基于所述风险信息确定第二处理结果；以及

响应于来自所述服务器端的第二处理结果，基于所述第一处理结果和所述第二处理结果确定针对所述待处理数据的第三处理结果。

6.根据权利要求5所述的方法，还包括：在所述处理所述待处理数据，得到第一处理结果和风险信息之前，

确定所述待处理数据的数据类型；以及

确定与所述数据类型对应的处理策略，所述处理策略包括数据类型与处理方式的至少一种组合之间的映射关系；

所述处理所述待处理数据，得到第一处理结果和风险信息包括：基于所述处理策略处理所述待处理数据，得到第一处理结果和风险信息。

7.根据权利要求6所述的方法，其中，所述处理方式包括以下至少一种：

基于文件静态处理引擎对所述风险信息进行处理；

基于动态处理沙箱对所述风险信息进行处理；以及

基于威胁情报系统业务流对所述风险信息进行处理。

8.根据权利要求7所述的方法，其中，所述数据类型包括邮件类型；

所述基于所述处理策略处理所述待处理数据，得到第一处理结果和风险信息包括：

基于文件静态处理引擎解析与所述邮件类型对应的风险信息，以确定第一风险关联信息；

基于所述威胁情报系统处理所述第一风险关联信息，以至少确定第二风险关联信息；

基于所述动态处理沙箱分析所述第一风险关联信息和/或所述第二风险关联信息以至少确定第三风险关联信息，以至少基于所述第一风险关联信息、所述第二风险关联信息和所述第三风险关联信息中至少一种得到所述第一处理结果和所述风险信息。

9.根据权利要求5所述的方法，其中，所述前置关联数据是针对多个维度的；

所述从隔离网络中采集与所述前置关联数据对应的待处理数据包括：基于所述多个维度中至少一个对所述隔离网络中数据实体进行采集和拆分，以确定与所述前置关联数据对应的待处理数据，所述多个维度包括：统一资源定位符、域名系统、邮件、文件或传输控制协议/网际协议中至少一种。

10.根据权利要求5至9任一项所述的方法，其中，所述风险信息包括针对业务数据和/或日志的处理结果。

11.一种数据处理装置，包括：

前置关联数据发送模块，用于将前置关联数据发送给客户端，以便所述客户端从隔离网络中采集与所述前置关联数据对应的待处理数据，并处理所述待处理数据以得到第一处理结果和风险信息；

风险信息处理模块，用于响应于接收到来自所述客户端的所述风险信息，对所述风险信息进行处理以得到第二处理结果；以及

处理结果输出模块，用于将所述第二处理结果发送给所述客户端，以便根据所述第一处理结果和所述第二处理结果得到针对所述待处理数据的第三处理结果。

12.一种数据处理装置，包括：

前置关联数据获取模块，用于获取来自服务器端的前置关联数据；

数据采集模块，用于从隔离网络中采集与所述前置关联数据对应的待处理数据，所述隔离网络与互联网之间相互隔离；

第一处理模块，用于处理所述待处理数据，得到第一处理结果和风险信息；

处理结果发送模块，用于将所述风险信息发送给所述服务器端，以便所述服务器端基于所述风险信息确定第二处理结果；以及

处理结果整合模块，用于响应于来自所述服务器端的第二处理结果，基于所述第一处理结果和所述第二处理结果确定针对所述待处理数据的第三处理结果。

13.一种数据处理系统，包括：

前置数据下发模块，用于将前置关联数据发送给本地数据处理模块；

本地数据处理模块，用于从隔离网络中采集与所述前置关联数据对应的待处理数据；

数据运营模块，用于处理所述待处理数据以得到第一处理结果和风险信息；

多维度数据处理模块，用于对所述风险信息进行处理以得到第二处理结果；以及

数据整合闭环模块，用于根据所述第一处理结果和所述第二处理结果得到第三处理结果，并且输出所述第三处理结果。

14.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现根据权利要求1~10中任一项所述的方法。

15.一种计算机可读存储介质，其上存储有可执行指令，所述可执行指令被处理器执行时实现根据权利要求1~10中任一项所述的方法。

Images