CN106326736A - 数据处理方法及系统 - Google Patents

数据处理方法及系统 Download PDF

Info

Publication number
CN106326736A
CN106326736A CN201510412133.4A CN201510412133A CN106326736A CN 106326736 A CN106326736 A CN 106326736A CN 201510412133 A CN201510412133 A CN 201510412133A CN 106326736 A CN106326736 A CN 106326736A
Authority
CN
China
Prior art keywords
output result
data transmission
transmission interface
parallel calculation
input order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510412133.4A
Other languages
English (en)
Other versions
CN106326736B (zh
Inventor
陈志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN106326736A publication Critical patent/CN106326736A/zh
Application granted granted Critical
Publication of CN106326736B publication Critical patent/CN106326736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/554Detecting local intrusion or implementing counter-measures involving event detection and direct action

Abstract

本发明实施例公开了一种数据处理方法及系统,提供数据传输界面至平行运算系统中。平行运算系统包括映射器、归纳器以及运算设备。数据传输界面用以拦截映射器所传送的平行运算输入命令,并且拦截运算设备所传送的输出结果。在数据传输界面接收到平行运算输入命令之后,并且基于安全政策而判定平行运算输入命令无异常时,直接传送平行运算输入命令至运算设备。在数据传输界面接收到输出结果之后,并且基于安全政策而判定输出结果无异常时,直接传送输出结果至归纳器。本发明实施例的技术方案可同时处理非法使用者与合法使用者的攻击。

Description

数据处理方法及系统
技术领域
本发明是有关于一种数据处理机制,且特别是有关于一种用于平行运算的数据处理方法及系统。
背景技术
随着网际网络技术的蓬勃发展,网际网络已成为社会上另外一种信息传播与交流的媒介工具。网际网络除了促进全球的信息交流外,愈来愈多人的生活形态从现实社会中逐渐融入虚拟世界。因此,不少有心人士会通过网际网络来进行恶意攻击。为了防止恶意攻击,目前发展出防火墙(Firewall)技术。防火墙是一种协助确保信息安全的机制,其依照特定的规则,允许或是限制传输的数据通过。
在目前巨量数据时代中,不再使用本地计算而是通过呼叫使用远地资源所在机器的计算。传统处理安全方式是以网络防火墙来过滤跟限制,但是,能通过网络防火墙并不代表也同时取得计算能力。另外,防火墙本身常使用特殊应用集成电路(Application-specific integrated circuit,ASIC)来制作,成本高昂且升级不易。另外,现有的数据防火墙在巨量数据时代已不适用。因为骇客偷窃的并不是巨量数据本身,而是巨量数据分析后的结果,亦即预测信息。比如,偷窃基于健检数据的预测信息,骇客可以事先向保险公司投保事后获得巨额理赔,进而造成社会问题。骇客并不需要撰写分析程序,因为巨量数据时代在资源所在地通常就有分析程序存在,只需利用计算能力未受限的漏洞呼叫这些分析程序,即可取得想要的预测信息。因此,如何获得一个设计良好的防火墙为本领域的重要课题之一。
发明内容
本发明提供一种数据处理方法及系统,可同时处理非法使用者与合法使用者的攻击。
本发明的数据处理方法,提供数据传输界面至平行运算系统中。平行运算系统包括映射器(mapper)、归纳器(reducer)以及至少一运算设备。映射器接收一命令,并传送对应上述命令的平行运算输入命令至运算设备,使运算设备依据平行运算输入命令执行运算后产生输出结果,并且传送输出结果至归纳器。数据传输界面位于映射器与运算设备之间,且数据传输界面位于运算设备与归纳器之间。通过数据传输界面执行下列步骤,包括:拦截映射器所传送的平行运算输入命令;在接收到平行运算输入命令之后,基于安全政策判断平行运算输入命令是否异常;当判定平行运算输入命令无异常时,传送平行运算输入命令至运算设备;拦截运算设备所传送的输出结果;在接收到输出结果之后,基于安全政策判断输出结果是否异常;以及当判定输出结果无异常时,传送输出结果至归纳器。
在本发明的一实施例中,上述在通过数据传输界面接收到平行运算输入命令之后,还包括:呼叫接收函数;基于安全政策判断接收函数内的参数是否异常;当判定接收函数内的参数无异常时,呼叫传送函数;基于安全政策判断传送函数内的参数是否异常;以及当判定传送函数内的参数无异常时,直接传送平行运算输入命令至运算设备。
在本发明的一实施例中,上述在通过数据传输界面接收到输出结果之后,还包括:呼叫接收函数;基于安全政策判断接收函数内的参数是否异常;当判定接收函数内的参数无异常时,呼叫传送函数;基于安全政策判断传送函数内的参数是否与异常;以及当判定传送函数内的参数无异常时,直接传送输出结果至归纳器。
本发明的一实施例中,上述安全政策记录有安全规则以及相对应的处理动作。而上述数据处理方法还包括:通过数据传输界面判断所接收的平行运算输入命令或输出结果是否与安全规则相匹配。在所接收的平行运算输入命令或输出结果与安全规则相匹配的情况下,数据传输界面获得相匹配的安全规则所对应的处理动作。
在本发明的一实施例中,上述在数据传输界面获得相匹配的安全规则所对应的处理动作之后,在处理动作为启动动作的情况下,传送平行运算输入命令至运算设备,或传送输出结果至归纳器;在处理动作为过滤动作的情况下,通过数据传输界面调整平行运算输入命令或输出结果的内容后,传送平行运算输入命令至运算设备,或传送输出结果至归纳器。在处理动作为隔离动作的情况下,通过数据传输界面隔离平行运算输入命令或输出结果,使得数据传输界面阻挡平行运算输入命令或输出结果。
在本发明的一实施例中,在所接收的平行运算输入命令或输出结果与安全规则相匹配的情况下,判定无异常,而通过数据传输界面传送平行运算输入命令至运算设备,或传送输出结果至归纳器。在所接收的平行运算输入命令或输出结果未与安全规则相匹配的情况下,判定为异常,数据传输界面获得相匹配的安全规则所对应的处理动作,进而在处理动作为过滤动作下,调整平行运算输入命令或输出结果,在处理动作为隔离动作下,阻挡平行运算输入命令或输出结果。
在本发明的一实施例中,在数据传输界面阻挡平行运算输入命令或输出结果之后,通过数据传输界面传送异常通知至映射器,使得映射器调整平行运算输入命令并重新传送平行运算输入命令。
在本发明的一实施例中,上述数据处理方法还包括:通过控制器来产生安全政策,并且通过控制器传送至少一安全政策至数据传输界面。上述通过控制器来产生安全政策包括:分析多个命令记录,藉以获得使用运算设备的至少一预测规则;基于至少一预测规则,通过控制器对命令记录进行异常检测,而获得至少一命令群组;以及基于每一命令群组内的命令记录,通过控制器建立对应于至少一预测规则的至少一安全政策。
在本发明的一实施例中,上述通过控制器来分析命令记录,藉以获得用以使用运算设备的至少一预测规则的步骤包括:对命令记录执行异常检测而获得多个相似群组;自每一相似群组获得预测门槛范围;以及比较上述预测门槛范围,来获得至少一预测规则。
在本发明的一实施例中,上述数据处理方法还包括:通过数据传输界面累计接收次数至对应的接收记录中,并传送接收记录至控制器,使得控制器更新至少一安全政策。
本发明的数据处理系统,包括:平行运算系统与数据传输界面。平行运算系统包括映射器、归纳器以及运算设备。映射器接收一命令,并传送对应上述命令的平行运算输入命令至运算设备,使运算设备依据平行运算输入命令执行运算后产生输出结果,并且传送输出结果至归纳器。数据传输界面位于映射器与运算设备之间,且位于运算设备与归纳器之间,其中数据传输界面拦截映射器所传送的平行运算输入命令,并且拦截运算设备所传送的输出结果。在数据传输界面接收到平行运算输入命令之后,基于安全政策判断平行运算输入命令是否异常,并且当判定平行运算输入命令无异常时,直接传送平行运算输入命令至运算设备。在数据传输界面接收到输出结果之后,基于安全政策判断输出结果是否异常,并且当判定输出结果无异常时,直接传送输出结果至归纳器。
基于上述,通过数据传输界面来实现双向(映射器至数据传输界面,以及运算设备至数据传输界面)防火墙的概念,可对平行运算输入命令与输出结果执行安全验证,达到双向保护功能。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附附图作详细说明如下。
附图说明
图1是依照本发明一实施例的数据处理系统的方块图。
图2是依照本发明一实施例的另一数据处理系统的方块图。
图3是依照本发明一实施例的异常预测装置的方块图。
图4是依照本发明一实施例的储存表的示意图。
图5A及图5B是依照本发明一实施例的数据处理方法的流程图。
其中,附图标记说明如下:
10:数据处理系统
110:映射器
120:归纳器
130:运算设备
140:数据传输界面
141:储存表
210:异常预测装置
220:信息交换平台
310:控制器
320:储存单元
331:行为预测模组
333:政策产生模组
334:传输模组
335:数据库
F1:规则字段
F2:动作字段
F3:状态字段
F11:来源/目的字段
F12:标签字段
F13:命令特定参数字段
S505~S535:数据处理方法各步骤
具体实施方式
图1是依照本发明一实施例的数据处理系统的方块图。请参照图1,数据处理系统10包括映射器(mapper)110、归纳器(reducer)120、运算设备130以及数据传输界面140。而映射器110、归纳器120以及运算设备130包括在平行运算系统内。即,图1所示的数据处理系统10是提供数据传输界面140于平行运算系统中,通过数据传输界面140基于安全政策(security policy)来判断平行运算输入命令或输出结果是否异常。
在本实施例中,平行运算系统采用映射-归纳(MapReduce)架构,通过把对数据集(data set)的大规模操作分发给网络上的每个节点(该节点例如为具有运算能力的电子装置)来实现可靠性,每个节点会周期性地把完成的工作和状态的更新报告回来。MapReduce架构可区分为映射(Map)与归纳(Reduce)两个阶段。巨量数据会被分割成多个较小的独立数据区段,每个数据区段可输入至一个运算设备130来运算,并将运算后的输出作为归纳器120的输入。
映射器110与归纳器120例如为位于网络上的任一具有运算能力的电子装置。在图1中,为了方便说明而仅示出出一个运算设备130以及一个数据传输界面140,然,运算设备130与数据传输界面140的数量可以为一个或多个,在此并不限制。
另外,平行运算系统例如为采用在信息传递界面(message passinginterface,MPI)的通信协议。MPI是一种跨语言的通信协议,为平行运算的应用程序界面(Application programming interface,API)。外部的传送端可以通过映射器110来传送一命令,并且由映射器110来转换上述命令的格式使其符合MPI的规定,进而获得对应于上述命令的平行运算输入命令。而在其他实施例中,平行运算系统亦可以应用在分散式共享存储器(Distributed shared memory,DSM)的架构,或者应用在平行虚拟机器(Parallel Virtual Machine)的架构。
在此,提供数据传输界面140来监听平行运算系统内的平行运算输入命令及输出结果,通过数据传输界面140来实现双向防火墙的概念。并且,数据传输界面140可以在不被映射器110与归纳器120察觉的情况下拦截平行运算输入命令及输出结果来对其进行判断。
数据传输界面140可由硬体来实现,配置在任一种电子装置,或者配置于运算设备130中,数据传输界面140例如为储存配接器(storageadapter)或代理服务器(proxy)。通过将安全政策记录在数据传输界面140中来实现防火墙的功能,详细步骤将在后续进行说明。另外,数据传输界面140亦可以由软体实现,而由处理器等具有运算功能的元件来驱动并执行数据传输界面140。而运算设备130可以是由一或多个硬体储存单元所组成,且运算设备130还可以进一步包括多个储存空间。
数据传输界面140位于映射器110与运算设备130之间,且位于运算设备130与归纳器120之间。数据传输界面140用以拦截映射器110所传送的平行运算输入命令,并且拦截运算设备130所传送的输出结果。在数据传输界面140接收到平行运算输入命令之后,基于安全政策判断平行运算输入命令是否异常,并且当判定平行运算输入命令无异常时,传送平行运算输入命令至运算设备130。
之后,数据传输界面140持续监听运算设备130是否传送出输出结果。而在数据传输界面140接收到输出结果之后,基于安全政策判断输出结果是否异常,并且当判定输出结果无异常时,传送输出结果至归纳器120。据此,可对平行运算输入命令与输出结果执行安全验证,达到双向保护功能。
另外,对映射器110下达命令的传送端,以及经由归纳器120来接收输出结果的接收端,两者可以为相同亦可以为不同。
图2是依照本发明一实施例的另一数据处理系统的方块图。在本实施例中,数据处理系统10包括多个数据传输界面140以及多个运算设备130,通过对应于一个或多个运算设备130(在图2中仅示出为一个,但并不以此为限)来设置一个数据传输界面140,通过数据传输界面140作为运算设备130的防火墙。并且,数据处理系统10还包括异常预测装置210。
异常预测装置210例如为个人电脑、笔记型电脑、平板电脑、智能型手机、服务器等具有运算能力的电子装置。异常预测装置210用以依据多笔命令记录(log)来产生安全政策。而这些命令记录包括由数据传输界面140或运算设备130所回传的命令记录,也可以包括由外部的信息交换平台220所提供的命令记录。在数据交换平台220中的命令记录可以是由厂商或其他使用者分享。
图3是依照本发明一实施例的异常预测装置的方块图。请参照图3,异常预测装置210包括控制器310以及储存单元320元。控制器310例如为中央处理单元(Central Processing Unit,CPU)、可程序化的微处理器(Microprocessor)、嵌入式控制晶片、数位信号处理器(Digital SignalProcessor,DSP)、特殊应用集成电路(Application Specific IntegratedCircuits,ASIC)或其他类似装置。储存单元320例如为非挥发性存储器(Non-volatile memory)、随机存取存储器(Random Access Memory,RAM)或硬盘等。
控制器310耦接至储存单元320。本实施例是以程序码来实现异常预测方法。即,储存单元320中储存有多个程序码片段,上述程序码片段在被安装后,会由控制器310来执行,以实现异常预测方法。在此,储存单元320中包括多个模组,而各模组是由一或多个程序码片段所组成。这些模组包括行为预测模组331、政策产生模组333及传输模组334。另外,储存单元320还包括数据库335。数据库335中储存了多个命令记录。在其他实施例中,上述行为预测模组331、政策产生模组333及传输模组334亦可以由硬体处理器或者由一个或多个逻辑闸晶片来实现。
行为预测模组331分析数据库335中的命令记录,藉以获得用以使用运算设备130的预测规则。行为预测模组331对数据库335记载的命令记录执行异常检测而获得多个相似群组,之后自各相似群组来获得预测门槛范围,进而比较多个预测门槛范围,来获得预测规则。
控制器310利用异常检测将行为相似的命令记录归为同一群(相似群组)。在此,异常检测演算法是将基于偏差的离群值检测(deviation basedoutlier detection)演算法套用至关联式规则(association rule)演算法及高频项目集(frequent itemset)演算法。基于偏差的离群值检测演算法例如为序列异常演算法,在获得一连串的相似数据后,将扰乱序列的元素视为是例外。先给定n个元素的集合S,建立一个子集合序列Sj={S1,S2,….,Sm},其中2≤m≤n且接下来,对每个子集合,分别确定该子集合与前序子集合的差异度,并利用光滑因子(smoothing factor)来判别异常的集合。光滑因子的意义为:从原始数据中去除一个子集合时,差异度降低的多寡。
另外,亦可根据各相似群组内所包括的命令记录的数量来判断哪些相似群组可能为正常,哪些相似群组可能为异常。例如,所包括的命令记录的数量为最多的相似群组表示多数者的动作相同。一般而言,异常命令属于少数,因此,包括的命令记录的数量最少的相似群组有可能属于异常。据此,控制器310可基于上述多个相似群组来获得对应的预测规则。例如,自多个相似群组获得其各自的预测门槛范围,并比较这些预测门槛范围,来获得预测规则。
在此,预测规则例如为壅塞阀值、重送阀值、非法存取阀值等。壅塞阀值为在一段时间内可以接受的命令总数。重送阀值为在一段时间内若数据封装遗失,而重送数据封装的可接受总次数。非法存取阀值为在一段时间内,特定使用者可执行的非法存取的命令总数。
上述壅塞阀值、重送阀值、非法存取阀值等预测规则的数值范围例如可如下所述而获得。计算出上述各相似群组所代表的预测门槛范围,比较这些预测门槛范围来获得一组具有代表性的数值范围。例如,以与其他组之间的相似度最低的数值范围作为预测规则。假设获得相似群组A、B、C、D,其预设门槛范围为范围a、b、c、d。若范围d与范围a、b、c之间的相似度最低,则判定相似群组D为异常的群组,进而基于范围d来获得预测规则。或是判定相似群组A、B、C为正常的群组,基于范围a、b、c来获得预测规则。
政策产生模组333例如以K平均(K-means)演算法或最近邻居(K-Nearest Neighbors,KNN)演算法等,基于上述预测规则,对上述命令记录进行异常检测,而获得符合预测规则的命令群组。并且,政策产生模组333基于各命令群组内的命令记录,建立对应于预测规则的安全政策。例如,一个预测规则对应至一个安全政策。安全政策例如为使用权限、使用频率、运算量至少其中之一或其组合,然并不以此为限。
传输模组334传送安全政策至数据传输界面140,使得数据传输界面140依据安全政策,获得对所接收到的平行运算输入命令或输出结果的处理动作。处理动作例如启动(active)动作、过滤(filter)动作或隔离(block)动作。启动动作为直接传送平行运算输入命令或输出结果至所指定的目的地。过滤动作为调整平行运算输入命令或输出结果。隔离动作为阻挡平行运算输入命令或输出结果。
另外,数据传输界面140在接收到安全政策之后,会进一步将安全政策转换为符合其储存表141的格式,以写入安全政策至储存表141。图4是依照本发明一实施例的储存表的示意图。安全政策记录有安全规则以及相对应的处理动作。数据传输界面140在接收到在数据传输界面140接收到安全政策之后,会将安全政策转换为符合其储存表141的格式,而将安全规则与处理动作写入至对应的字段中。
请参照图4,储存表141包括三个字段,即,规则字段F1、动作字段F2以及状态字段F3。数据传输界面140在获得安全政策之后,将安全规则写入至规则字段F1,并且将处理动作写入至动作字段。处理动作例如启动(active)动作、过滤(filter)动作或隔离(block)动作。规则字段F1包括来源/目的字段F11、标签(tag)字段F12以及命令特定参数字段F13。来源/目的字段F11记录来源地址及目的地址。标签字段F12记录执行动作。以符合MPI标准的平行运算输入命令而言,记录在标签字段F12中的例如为连加(summation)函数、连乘(product)函数等。命令特定参数字段F13记录标签的内容参数。动作字段F2记录处理动作。状态字段F3记录平行运算输入命令的接收次数。
在本实施例中,当所匹配的安全规则对应的处理动作为过滤动作或隔离动作时,判定平行运算输入命令或输出结果为异常。而当所匹配的安全规则对应的处理动作为启动动作时,判定平行运算输入命令或输出结果无异常。
即,在处理动作为启动动作的情况下,数据传输界面140直接传送平行运算输入命令至运算设备130,或直接传送输出结果至归纳器120。在处理动作为过滤动作的情况下,数据传输界面140调整平行运算输入命令或输出结果的内容后,传送平行运算输入命令至运算设备130,或传送输出结果至归纳器120。在处理动作为隔离动作的情况下,数据传输界面140隔离平行运算输入命令或输出结果,使得数据传输界面140阻挡平行运算输入命令或输出结果。
另外,在其他实施例中,安全政策中的安全规则亦可以仅是用来定义平行运算输入命令或输出结果是否为合法的安全规则,进而对应的动作字段记录的处理动作则是在判定平行运算输入命令或输出结果为不合法(异常)的情况下的防止异常动作。例如,当平行运算输入命令或输出结果与安全规则相匹配时,判定无异常,进而直接传送平行运算输入命令或输出结果至所指定的目的地。当平行运算输入命令或输出结果未与安全规则相匹配时,判定为异常,进而在对应的防止异常动作为过滤动作下,调整平行运算输入命令或输出结果,在对应的防止异常动作为隔离动作下,阻挡平行运算输入命令或输出结果。
在此,每一个运算设备130可以包括多个储存空间。储存空间的大小可根据数据传输频宽(bandwidth)来决定。而数据传输频宽可以由累计平行运算输入命令的接收次数来计算是否达到最小传输率。
当平行运算输入命令进入到数据传输界面140时,数据传输界面140会查询所记载的安全政策,以判断平行运算输入命令是否异常。而不管平行运算输入命令是否异常皆会累计接收次数。据此,可进一步统计在一时间区段内所接收到的平行运算输入命令的数量,而可以此接收次数来进一步更新安全政策。
例如,以原本安全政策中所设定的壅塞阀值最大为5次/10秒而言,假设在10秒内自来源地址aa接收到10次的平行运算输入命令,则前5次所接收的平行运算输入命令皆会被执行,而在第6次之后接收到的平行运算输入命令将不会被执行。而在将这次的接收记录回传至控制器310后,控制器310会去更新安全政策,例如,直接封锁来源地址aa,拒绝来源地址aa所传送的平行运算输入命令。然而,上述仅为举例说明,并不以此为限。
图5A及图5B是依照本发明一实施例的数据处理方法的流程图。图5A所示为拦截映射器110的输出,图5B所示为拦截运算设备130的输出。在此并不限定图5A及图5B的顺序。数据传输界面140可依据所拦截的内容来决定图5A或图5B的流程。
在步骤S505中,由数据传输界面140拦截映射器110所传送的平行运算输入命令。例如,数据传输界面140监听映射器110所发出的所有封装,藉此来栏截平行运算输入命令。接着,在步骤S510中,在数据传输界面140接收到平行运算输入命令之后,基于安全政策来判断平行运算输入命令是否异常。当判定平行运算输入命令无异常时,在步骤S515中,数据传输界面140传送平行运算输入命令至运算设备130。
以MPI标准为例,在数据传输界面140接收到平行运算输入命令之后,数据传输界面140会呼叫接收函数MPI_Recv,并基于安全政策来判断接收函数MPI_Recv内的参数是否异常。当接收函数MPI_Recv内的参数与安全规则相匹配,且此安全规则对应的处理动作为启动动作时,即判定接收函数MPI_Recv内的参数无异常。进而,数据传输界面140呼叫传送函数MPI_Send,并基于安全政策判断传送函数MPI_Send内的参数是否是否异常。当传送函数MPI_Send内的参数与安全规则相匹配,且此安全规则对应的处理动作为启动动作时,即判定传送函数MPI_Send内的参数无异常。进而,数据传输界面140直接传送平行运算输入命令至运算设备130。
接收函数MPI_Recv与传送函数MPI_Send如下所示:
MPI_Send(buf,count,datatype,dest,tag,communicator,ierr)。
MPI_Recv(buf,count,datatype,source,tag,comm,status)。
参数“buf”是指要传送的数据变数的名称,参数“count”是数据的长度,参数“datatype”是要被传送的数据的数值型态。参数“dest”是所要传送的目的端(例如为中央处理器的排序(rank)编号、或目的端的网络地址),参数“source”表来源端(例如为中央处理单元的编号、或来源端的网络地址),参数“tag”为自行定义的标签,在本实施例中用以。参数“comm”表示通信器。参数“status”是用来表示接收的状态。参数“ierr”做为错误检查用。
数据传输界面140在作为接收的一方时,会去呼叫接收函数MPI_Recv,以基于接收函数MPI_Recv中的参数“source”与参数“tag”来查询储存表141。而数据传输界面140在作为传送的一方时,则会去呼叫传送函数MPI_Send,以基于传送函数MPI_Send的参数“dest”与参数“tag”来查询储存表141。
当判定平行运算输入命令无异常时,在步骤S515中,数据传输界面140直接传送平行运算输入命令至运算设备130。运算设备130在接收到平行运算输入命令之后,依据平行运算输入命令来对相关数据执行对应的运算,进而产生运算结果(即,输出结果)。
在步骤S520中,由数据传输界面140拦截运算设备130所传送的输出结果。例如,数据传输界面140监听运算设备130所发出的所有封装,藉此来栏截输出结果。接着,在步骤S525中,数据传输界面140在接收到输出结果之后,基于安全政策判断输入结果是否异常。当判定输出结果无异常时,在步骤S530中,数据传输界面140直接传送输出结果至归纳器120。
以MPI标准为例,在数据传输界面140接收到输出结果之后,数据传输界面140会呼叫接收函数MPI_Recv,并基于安全政策来判断接收函数MPI_Recv内的参数是否异常。当接收函数MPI_Recv内的参数与安全规则相匹配,且此安全规则对应的处理动作为启动动作时,判定MPI_Recv内的参数无异常。进而,数据传输界面140呼叫传送函数MPI_Send,并基于安全政策判断传送函数MPI_Send内的参数是否与安全规则相匹配。当传送函数MPI_Send内的参数与安全规则相匹配,且此安全规则对应的处理动作为启动动作时,即判定传送函数MPI_Send内的参数无异常。进而,数据传输界面140传送输出结果至归纳器120。
而当通过数据传输界面140判定平行运算输入命令为异常(步骤S510的是),或判定输出结果为异常(步骤S525的是)时,执行步骤S535,数据传输界面140将平行运算输入命令或输出结果隔离或进行调整。
在步骤S535中,数据传输界面140是依据储存表141中的动作字段F2,来决定对平行运算输入命令或输出结果执行隔离或调整。以判定平行运算输入命令为异常而言,在处理动作为过滤动作的情况下,数据传输界面140调整平行运算输入命令的内容使其符合安全规则后,再传送调整后的平行运算输入命令至运算设备130;另一方面,在处理动作为隔离动作的情况下,数据传输界面140隔离平行运算输入命令,即,阻挡不传送平行运算输入命令至运算设备130。
以判定输出结果为异常而言,在处理动作为过滤动作的情况下,数据传输界面140调整输出结果的内容使其符合安全规则后,传送调整后的输出结果至归纳器120;另一方面,在处理动作为隔离动作的情况下,数据传输界面140隔离输出结果,即,阻挡输出结果至归纳器120。
另外,在处理动作为隔离动作的情况下,还可进一步通过数据传输界面140传送(forward)平行运算输入命令至控制器310或另一个数据传输界面。
此外,在数据传输界面140阻挡不传送平行运算输入命令或输出结果之后,可进一步传送异常通知至映射器110,使得映射器110调整平行运算输入命令并重新传送平行运算输入命令。例如,异常通知“MPI_ERR_TAG_PERM”表示标签的权限被拒绝,异常通知“MPI_ERR_RANK_PERM”表示来源端或目的端的权限被拒绝。
据此,关于通过映射器110下达命令的传送端,在传送端为非法的情况下,对应上述命令的平行运算输入命令会被阻挡(block)而不会被传送至内部。另外,即便传送端为合法,当其所下达的命令超过所允许的权限时,对应上述命令的平行运算输入命令则可进一步被过滤(filter out)。
而关于通过归纳器120接收输出结果的接收端,在接收端为非法的情况下,输出结果会被阻挡而不会被传送至外部。另外,即便接收端为合法,当平行运算输入命令中的执行动作超过所允许的权限时,输出结果亦可进一步被过滤。
综上所述,本发明提供数据传输界面来监听平行运算系统内的平行运算输入命令及输出结果,可在不被映射器与归纳器察觉的情况下,通过数据传输界面来实现双向(映射器至数据传输界面,以及运算设备至数据传输界面)防火墙的概念,可同时处理非法使用者与合法使用者的攻击,避免造成自己或其他公司的困扰。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何所属技术领域中普通技术人员,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视本申请权利要求范围所界定者为准。

Claims (20)

1.一种数据处理方法,包括:
提供一平行运算系统,该平行运算系统包括一映射器、一归纳器以及至少一运算设备,其中该映射器接收一命令,并传送对应该命令的平行运算输入命令至该运算设备,使该运算设备依据该平行运算输入命令执行一运算后产生一输出结果,并且传送该输出结果至该归纳器;
提供一数据传输界面,其中该数据传输界面位于该映射器与该运算设备之间,且该数据传输界面位于该运算设备与该归纳器之间,其中通过该数据传输界面执行下列步骤,包括:
拦截该映射器所传送的该平行运算输入命令;
在接收到该平行运算输入命令之后,基于至少一安全政策判断该平行运算输入命令是否异常;
当判定该平行运算输入命令无异常时,传送该平行运算输入命令至该运算设备;
拦截该运算设备所传送的该输出结果;
在接收到该输出结果之后,基于该至少一安全政策判断该输出结果是否异常;以及
当判定该输出结果为无异常时,传送该输出结果至该归纳器。
2.如权利要求1所述的数据处理方法,其特征在于,在通过该数据传输界面接收到该平行运算输入命令之后,还包括:
呼叫一接收函数;
基于该至少一安全政策,判断该接收函数内的参数是否异常;
当判定该接收函数内的参数无异常时,呼叫一传送函数;
基于该至少一安全政策,判断该传送函数内的参数是否异常;以及
当判定该传送函数内的参数无异常时,传送该平行运算输入命令至该运算设备。
3.如权利要求1所述的数据处理方法,其特征在于,在通过该数据传输界面接收到该输出结果之后,还包括:
呼叫一接收函数;
基于该至少一安全政策,判断该接收函数内的参数是否异常;
当判定该接收函数内的参数无异常时,呼叫一传送函数;
基于该至少一安全政策,判断该传送函数内的参数是否异常;以及
当判定该传送函数内的参数无异常时,传送该输出结果至该归纳器。
4.如权利要求1所述的数据处理方法,其特征在于,该至少一安全政策记录有一安全规则以及相对应的一处理动作,该数据处理方法还包括:
在所接收的该平行运算输入命令或该输出结果与该安全规则相匹配的情况下,该数据传输界面获得相匹配的该安全规则所对应的该处理动作。
5.如权利要求4所述的数据处理方法,其特征在于,在所接收的该平行运算输入命令或该输出结果与该安全规则相匹配的情况下,该数据传输界面获得相匹配的该安全规则所对应的该处理动作的步骤之后,还包括:
在该处理动作为一启动动作的情况下,通过该数据传输界面传送该平行运算输入命令至该运算设备,或传送该输出结果至该归纳器;
在该处理动作为一过滤动作的情况下,通过该数据传输界面调整该平行运算输入命令或该输出结果的内容后,传送该平行运算输入命令至该运算设备,或传送该输出结果至该归纳器;以及
在该处理动作为一隔离动作的情况下,通过该数据传输界面隔离该平行运算输入命令或该输出结果,使得该数据传输界面阻挡该平行运算输入命令或该输出结果。
6.如权利要求5所述的数据处理方法,其特征在于,在该处理动作为该隔离动作的情况下还包括:
通过该数据传输界面传送(forward)该平行运算输入命令至该控制器或另一数据传输界面。
7.如权利要求5所述的数据处理方法,其特征在于,还包括:
在该数据传输界面阻挡该平行运算输入命令或该输出结果之后,通过该数据传输界面传送一异常通知至该映射器,使得该映射器调整该平行运算输入命令并重新传送该平行运算输入命令。
8.如权利要求1所述的数据处理方法,其特征在于,该至少一安全政策记录有一安全规则以及相对应的一处理动作,该数据处理方法还包括:
在所接收的该平行运算输入命令或该输出结果与该安全规则相匹配的情况下,判定为无异常,而通过该数据传输界面传送该平行运算输入命令至该运算设备,或传送该输出结果至该归纳器;以及
在所接收的该平行运算输入命令或该输出结果未与该安全规则相匹配的情况下,判定为异常,该数据传输界面获得相匹配的该安全规则所对应的该处理动作,进而在该处理动作为一过滤动作下,调整该平行运算输入命令或该输出结果,在该处理动作为一隔离动作下,阻挡该平行运算输入命令或该输出结果。
9.如权利要求1所述的数据处理方法,其特征在于,还包括:
通过一控制器来产生该至少一安全政策,包括:
分析多个命令记录,藉以获得用以使用该运算设备的至少一预测规则;
基于该至少一预测规则,通过该控制器对所述多个命令记录进行异常检测,而获得至少一命令群组;以及
基于每一上述命令群组内的所述多个命令记录,通过该控制器建立对应于该至少一预测规则的该至少一安全政策;以及
通过该控制器传送该至少一安全政策至该数据传输界面。
10.如权利要求9所述的数据处理方法,其特征在于,通过该控制器来分析所述多个命令记录,藉以获得用以使用该运算设备的该至少一预测规则的步骤包括:
对所述多个命令记录执行该异常检测而获得多个相似群组;
自每一上述相似群组获得一预测门槛范围;以及
比较多个上述预测门槛范围,来获得该至少一预测规则。
11.如权利要求9所述的数据处理方法,其特征在于,还包括:
通过该数据传输界面累计一接收次数至对应的一接收记录中,并传送该接收记录至该控制器,使得该控制器更新该至少一安全政策。
12.一种数据处理系统,包括:
一平行运算系统,该平行运算系统包括一映射器、一归纳器以及至少一运算设备,其中该映射器接收一命令,并传送对应该命令的平行运算输入命令至该运算设备,使该运算设备依据该平行运算输入命令执行一运算后产生一输出结果,并且传送该输出结果至该归纳器;以及
一数据传输界面,位于该映射器与该运算设备之间,且位于该运算设备与该归纳器之间,其中该数据传输界面拦截该映射器所传送的该平行运算输入命令,并且拦截该运算设备所传送的该输出结果;
其中,在该数据传输界面接收到该平行运算输入命令之后,基于至少一安全政策判断该平行运算输入命令是否异常,并且当判定该平行运算输入命令无异常时,传送该平行运算输入命令至该运算设备;
在该数据传输界面接收到该输出结果之后,基于该至少一安全政策判断该输出结果是否异常,并且当判定该输出结果无异常时,传送该输出结果至该归纳器。
13.如权利要求12所述的数据处理系统,其特征在于,还包括:
一异常预测装置,耦接至该数据传输界面,该异常预测装置包括:
一数据库,储存多个命令记录;以及
一控制器,耦接至该数据库,执行多个模组来实现一异常预测方法;
其中所述多个模组包括:
一行为预测模组,分析多个命令记录,藉以获得用以使用该运算设备的至少一预测规则;
一政策产生模组,基于该至少一预测规则,对所述多个命令记录进行异常检测,而获得至少一命令群组,并且,基于每一上述命令群组内的所述多个命令记录,建立对应于该至少一预测规则的该至少一安全政策;以及
一传输模组,传送该至少一安全政策至该数据传输界面。
14.如权利要求13所述的数据处理系统,其特征在于,该行为预测模组对所述多个命令记录执行该异常检测而获得多个相似群组,之后自每一上述相似群组获得一预测门槛范围,并且比较多个上述预测门槛范围,来获得该至少一预测规则。
15.如权利要求12所述的数据处理系统,其特征在于,该数据传输界面在接收到该平行运算输入命令之后,呼叫一接收函数,并且基于该至少一安全政策,判断该接收函数内的参数是否异常;
当判定该接收函数内的参数无异常时,该数据传输界面呼叫一传送函数,并且基于该至少一安全政策,判断该传送函数内的参数是否异常;当判定该传送函数内的参数无异常时,该数据传输界面传送该平行运算输入命令至该运算设备。
16.如权利要求12所述的数据处理系统,其特征在于,该数据传输界面在接收到该输出结果之后,呼叫一接收函数,并且基于该至少一安全政策,判断该接收函数内的参数是否异常;
当判定该接收函数内的参数无异常时,该数据传输界面呼叫一传送函数,并且基于该至少一安全政策,判断该传送函数内的参数是否异常;当判定该传送函数内的参数无异常时,该数据传输界面传送该输出结果至该归纳器。
17.如权利要求12所述的数据处理系统,其特征在于,该至少一安全政策记录有一安全规则以及相对应的一处理动作,
该数据传输界面判断所接收的该平行运算输入命令或该输出结果是否与该安全规则相匹配;在所接收的该平行运算输入命令或该输出结果与该安全规则相匹配的情况下,该数据传输界面获得相匹配的该安全规则所对应的该处理动作。
18.如权利要求17所述的数据处理系统,其特征在于,
该数据传输界面在该处理动作为一启动动作的情况下,传送该平行运算输入命令至该运算设备,或传送该输出结果至该归纳器,
该数据传输界面在该处理动作为一过滤动作的情况下,调整该平行运算输入命令或该输出结果的内容后,传送该平行运算输入命令至该运算设备,或传送该输出结果至该归纳器;且
该数据传输界面在该处理动作为一隔离动作的情况下,隔离该平行运算输入命令或该输出结果,使得该数据传输界面阻挡该平行运算输入命令或该输出结果。
19.如权利要求18所述的数据处理系统,其特征在于,在阻挡该平行运算输入命令或该输出结果之后,该数据传输界面传送一异常通知至该映射器,使得该映射器调整该平行运算输入命令并重新传送该平行运算输入命令。
20.如权利要求12所述的数据处理系统,其特征在于,该至少一安全政策记录有一安全规则以及相对应的一处理动作,
在所接收的该平行运算输入命令或该输出结果与该安全规则相匹配的情况下,该数据传输界面判定该平行运算输入命令或该输出结果为无异常,而传送该平行运算输入命令至该运算设备,或传送该输出结果至该归纳器;以及
在所接收的该平行运算输入命令或该输出结果未与该安全规则相匹配的情况下,该数据传输界面判定该平行运算输入命令或该输出结果为异常,并获得相匹配的该安全规则所对应的该处理动作,进而在该处理动作为一过滤动作下,该数据传输界面调整该平行运算输入命令或该输出结果,在该处理动作为一隔离动作下,该数据传输界面阻挡该平行运算输入命令或该输出结果。
CN201510412133.4A 2015-07-06 2015-07-14 数据处理方法及系统 Active CN106326736B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104121843A TWI547822B (zh) 2015-07-06 2015-07-06 資料處理方法及系統
TW104121843 2015-07-06

Publications (2)

Publication Number Publication Date
CN106326736A true CN106326736A (zh) 2017-01-11
CN106326736B CN106326736B (zh) 2019-03-15

Family

ID=57444942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510412133.4A Active CN106326736B (zh) 2015-07-06 2015-07-14 数据处理方法及系统

Country Status (3)

Country Link
US (1) US9736187B2 (zh)
CN (1) CN106326736B (zh)
TW (1) TWI547822B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10320825B2 (en) * 2015-05-27 2019-06-11 Cisco Technology, Inc. Fingerprint merging and risk level evaluation for network anomaly detection
TWI578262B (zh) * 2015-08-07 2017-04-11 緯創資通股份有限公司 風險評估系統及資料處理方法
US10721212B2 (en) * 2016-12-19 2020-07-21 General Electric Company Network policy update with operational technology
US10462187B2 (en) * 2017-08-28 2019-10-29 General Electric Company Network security policy configuration based on predetermined command groups
US11212322B2 (en) * 2018-10-10 2021-12-28 Rockwelll Automation Technologies, Inc. Automated discovery of security policy from design data
US10467435B1 (en) 2018-10-24 2019-11-05 Palantir Technologies Inc. Approaches for managing restrictions for middleware applications

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1377162A (zh) * 2001-03-27 2002-10-30 信息产业部武汉邮电科学研究院 物理层与网络层设备之间的数据传输装置和方法
TW201018140A (en) * 2008-10-16 2010-05-01 Chunghwa Telecom Co Ltd System and method for protecting data of network user
CN102027780A (zh) * 2008-05-11 2011-04-20 高通股份有限公司 扫描用于对准WiMAX扫描间隔与CDMA寻呼窗口的请求的多模式终端
TW201220071A (en) * 2010-11-09 2012-05-16 Chunghwa Telecom Co Ltd for raising the treatment efficiency by using centralized management of resources stored in cloud platform space and cloud decentralization operation technique
US20130326579A1 (en) * 2012-05-30 2013-12-05 Rafae Bhatti Healthcare privacy breach prevention through integrated audit and access control
TW201430584A (zh) * 2013-01-16 2014-08-01 Delta Electronics Inc 管理雲端主機的監控系統及其監控方法
US20140380288A1 (en) * 2011-01-25 2014-12-25 Micron Technology, Inc. Utilizing special purpose elements to implement a fsm
US20150067402A1 (en) * 2013-08-30 2015-03-05 International Business Machines Corporation Providing a remote diagnosis for an information appliance via a secure connection

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5584914B2 (ja) * 2010-07-15 2014-09-10 株式会社日立製作所 分散計算システム
US8683591B2 (en) * 2010-11-18 2014-03-25 Nant Holdings Ip, Llc Vector-based anomaly detection
US9083741B2 (en) * 2011-12-29 2015-07-14 Architecture Technology Corporation Network defense system and framework for detecting and geolocating botnet cyber attacks
US8645399B2 (en) * 2012-01-03 2014-02-04 Intelius Inc. Dynamic record blocking
US8914406B1 (en) * 2012-02-01 2014-12-16 Vorstack, Inc. Scalable network security with fast response protocol
US20130318276A1 (en) * 2012-05-22 2013-11-28 Xockets IP, LLC Offloading of computation for rack level servers and corresponding methods and systems
US20140059552A1 (en) * 2012-08-24 2014-02-27 International Business Machines Corporation Transparent efficiency for in-memory execution of map reduce job sequences
US9143452B2 (en) * 2012-08-29 2015-09-22 Nec Laboratories America, Inc. Data processing
US9130920B2 (en) * 2013-01-07 2015-09-08 Zettaset, Inc. Monitoring of authorization-exceeding activity in distributed networks
WO2015066489A2 (en) * 2013-11-01 2015-05-07 Cognitive Electronics, Inc. Efficient implementations for mapreduce systems
WO2015066604A1 (en) * 2013-11-04 2015-05-07 Crypteia Networks S.A. Systems and methods for identifying infected network infrastructure
US10776325B2 (en) * 2013-11-26 2020-09-15 Ab Initio Technology Llc Parallel access to data in a distributed file system
US10033765B2 (en) * 2015-01-08 2018-07-24 BlueTalon, Inc. Distributed storage processing statement interception and modification

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1377162A (zh) * 2001-03-27 2002-10-30 信息产业部武汉邮电科学研究院 物理层与网络层设备之间的数据传输装置和方法
CN102027780A (zh) * 2008-05-11 2011-04-20 高通股份有限公司 扫描用于对准WiMAX扫描间隔与CDMA寻呼窗口的请求的多模式终端
TW201018140A (en) * 2008-10-16 2010-05-01 Chunghwa Telecom Co Ltd System and method for protecting data of network user
TW201220071A (en) * 2010-11-09 2012-05-16 Chunghwa Telecom Co Ltd for raising the treatment efficiency by using centralized management of resources stored in cloud platform space and cloud decentralization operation technique
US20140380288A1 (en) * 2011-01-25 2014-12-25 Micron Technology, Inc. Utilizing special purpose elements to implement a fsm
US20130326579A1 (en) * 2012-05-30 2013-12-05 Rafae Bhatti Healthcare privacy breach prevention through integrated audit and access control
TW201430584A (zh) * 2013-01-16 2014-08-01 Delta Electronics Inc 管理雲端主機的監控系統及其監控方法
US20150067402A1 (en) * 2013-08-30 2015-03-05 International Business Machines Corporation Providing a remote diagnosis for an information appliance via a secure connection

Also Published As

Publication number Publication date
CN106326736B (zh) 2019-03-15
TWI547822B (zh) 2016-09-01
US9736187B2 (en) 2017-08-15
US20170013017A1 (en) 2017-01-12
TW201702922A (zh) 2017-01-16

Similar Documents

Publication Publication Date Title
CN106326736A (zh) 数据处理方法及系统
Serpanos et al. Internet-of-things (IoT) systems: architectures, algorithms, methodologies
US9742794B2 (en) Method and apparatus for automating threat model generation and pattern identification
US9130983B2 (en) Apparatus and method for detecting abnormality sign in control system
US8332929B1 (en) Method and apparatus for process enforced configuration management
CN105247529A (zh) 在目录服务之间同步凭证散列
Sklyar et al. ENISA documents in cybersecurity assurance for industry 4.0: IIoT threats and attacks scenarios
DE112012000531T5 (de) Verfahren und Vorrichtung zum Verbessern der Sicherheit von Daten auf einer Hostcomputereinrichtung und einer Peripherieeinrichtung
CN103684922A (zh) 基于sdn网络的出口信息保密检查检测平台系统及检测方法
CN108064379A (zh) 用于远程端点信息取回的查询引擎
CN109327469A (zh) 用于管理物联网的方法及智能网关
CN109189749A (zh) 文件同步方法及终端设备
CN100539499C (zh) 一种安全的星形局域网计算机系统
CN108965297A (zh) 一种门禁设备管理系统
CN107797859A (zh) 一种定时任务的调度方法及一种调度服务器
US20230198771A1 (en) Systems and methods for providing secure internet of things data notifications using blockchain
CN104717188A (zh) 一种工业控制防火墙中资产对象安全防护系统和方法
CN112437070B (zh) 一种基于操作生成树状态机完整性验证计算方法及系统
CN109615742A (zh) 一种基于LoRaWAN的无线门禁控制方法及装置
Netkachov et al. Model-based evaluation of the resilience of critical infrastructures under cyber attacks
Dimitrios et al. Internet of Things (IoT) Systems: Architectures, Algorithms, Methodologies
CN113132379A (zh) 仓储体系智慧安防系统
Miloslavskaya et al. Blockchain application for iot cybersecurity management
KR101519543B1 (ko) 소프트웨어 정의 네트워크에서 제어 장치 및 그 동작 방법
CN112016115B (zh) 基于区块链的事件订阅系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant