CN110637320A - 评价装置、评价方法以及评价程序 - Google Patents

评价装置、评价方法以及评价程序 Download PDF

Info

Publication number
CN110637320A
CN110637320A CN201780090930.2A CN201780090930A CN110637320A CN 110637320 A CN110637320 A CN 110637320A CN 201780090930 A CN201780090930 A CN 201780090930A CN 110637320 A CN110637320 A CN 110637320A
Authority
CN
China
Prior art keywords
information
security
database
archive
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780090930.2A
Other languages
English (en)
Inventor
山本匠
西川弘毅
木藤圭亮
河内清人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Corp
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Corp filed Critical Mitsubishi Corp
Publication of CN110637320A publication Critical patent/CN110637320A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034—Test or assess a computer or a system

Abstract

在评价装置(10)中，档案数据库(31)是存储对于多个人物分别表示个人特征的档案信息的数据库。安全数据库(32)是存储对于多个人物分别表示可能成为安全事故的原因的举止的特征的安全信息的数据库。模型生成部(22)导出存储于档案数据库(31)的档案信息所示的特征与存储于安全数据库(32)的安全信息所示的特征的关系性作为模型。估计部(23)接受表示其他人物的特征的信息的输入，使用由模型生成部(22)导出的模型，对于该其他人物估计可能成为安全事故的原因的举止的特征。

Description

评价装置、评价方法以及评价程序
技术领域
本发明涉及评价装置、评价方法以及评价程序。
背景技术
为了保护组织的机密信息和资产，积极地进行针对网络攻击的措施。其中之一是与网络攻击和安全相关的教育和训练。存在如下措施：通过研讨会或E-learning学习与网络攻击及其对策相关的知识。还存在如下措施：通过发送模拟的靶向型攻击邮件训练对靶向型攻击的应对。但是，即使进行这样的措施，安全事故还是不断增加。
非专利文献1是Verizon Business社发表的与企业的信息泄露事件相关的实况调查的报告。
在非专利文献1中报告，信息泄露的企业中的59％虽然确定但是没有执行安全策略和流程。指出如果采取适当的对策则能够防止87％的信息泄露。根据该调查结果可知，无论导入多强的安全对策，安全对策的效果都强烈依存于实施该安全对策的人。
如果站在攻击者的角度可以预想到，攻击者为了使攻击成功而不引起目标组织注意，在事先充分调查该组织信息的基础上，采用攻击的成功率最高的途径。组织信息的例子是组织正在利用的系统及其版本、与外部的窗口、人员的信息、职务、相关组织以及组织的措施内容。人员信息的例子是上司、同事和好友等的交友关系、兴趣爱好以及社交媒体的利用状况。
可认为攻击者会根据这样的信息找到组织中脆弱的人，从此进入组织，慢慢地侵入组织的内部。
以企业为例进行考虑。通常，人事或资材等的工作人员比其他工作人员更多地与组织外的人物交流。组织外的人物的例子是，如果工作人员是人事负责人则为找工作中的学生，如果工作人员是资材负责人则为物品的供应商。人事或资材等的工作人员从此前没有交流过的人物收到邮件的可能性较高。能够预想到，如果是大量收到这样的邮件的工作人员，则即使从不认识的电子邮件地址收到攻击邮件，不小心没多想而打开该邮件的可能性也较高。
可以说，在Twitter(注册商标)或Facebook(注册商标)等社交媒体上非本意地登载组织信息的工作人员的安全意识，特别是针对信息泄露的意识较低。可认为攻击者将这样的工作人员作为最初的目标的可能性较高。可认为除了非本意地登载组织信息以外，还存在大量安全意识较低的人物共同的特征。由此，需要与这样的特征相关的调查。
这样，可认为攻击的容易程度根据组织的工作人员而不同。由此，可认为即使对组织的工作人员全员一律实施相同的安全教育和训练，也不能得到充分的效果。如果强迫全部工作人员进行与安全意识最低的工作人员相符的安全教育和训练，则会增加不必要的作业，业务效率降低。
因此，需要按照每个工作人员对安全意识进行评价。而且，需要通过对容易受到攻击的工作人员实施适当的安全教育和训练，提高安全而不降低组织整体的作业效率。
非专利文献2和非专利文献3是与对安全意识进行评价的技术相关的现有的研究报告。
在非专利文献2记载的技术中，计算关于性格的调查问卷与关于安全意识的调查问卷的相关性，提取性格与安全意识的因果关系。根据提取出的因果关系，提示每个组的最适当的安全对策。
在非专利文献3记载的技术中，导出心理特性与用户使用PC时的行动特性的关系。“PC”是“Personal Computer(个人计算机)”的简称。监视通常使用PC时的行动特性，判定容易受到侵害的心理状态的用户。
现有技术文献
非专利文献
非专利文献1：Verizon Business、“2008 Data Breach InvestigationsReport”、[online]、[2017年5月4日検索]、インターネット〈URL：http：//www.Verizonenterprise.com/resources/security/databreachreport.pdf〉
非专利文献2：中澤優美子、加藤岳久、漁田武雄、山田文康、山本匠、西垣正勝、“Best Match Security-性格と本人認証技術のセキュリティ意識との相関に関する検討-”、情報処理学会研究報告、Vol.2010-CSEC-48、No.21、2010年
非专利文献3：片山佳則、寺田剛陽、鳥居悟、津田宏、“ユーザー行動特性分析による個人と組織のITリスク見える化の試み”、SCIS2015、暗号と情報セキュリティシンポジウム、4D1-3、2015年
非专利文献4：NTTソフトウェア、“標的型メール訓練サービス”、[online]、[2017年3月24日検索]、インターネット〈URL：https：//www.ntts.co.jp/products/apttraining/index.html〉
发明内容
发明要解决的课题
在非专利文献2记载的技术中，通过调查问卷形式收集信息，因此需要花费工夫。利用性格这样的难以定量化的信息，因此，难以对得到的因果关系进行有根据的解释。
在非专利文献3记载的技术中，不需要每次实施调查问卷，但利用心理状态这样的难以定量化的信息，因此，难以对得到的因果关系进行有根据的解释。
本发明的目的在于，以有根据的方式对个人的安全意识进行评价。
用于解决课题的手段
本发明的一个方式的评价装置具有：
档案数据库，其存储对于多个人物分别表示个人特征的档案信息；
安全数据库，其存储对于所述多个人物分别表示可能成为安全事故的原因的举止的特征的安全信息；
模型生成部，其导出存储于所述档案数据库的档案信息所示的特征与存储于所述安全数据库的安全信息所示的特征的关系性作为模型；以及
估计部，其接受表示与所述多个人物不同的其他人物的特征的信息的输入，使用由所述模型生成部导出的模型，对于所述其他人物估计可能成为安全事故的原因的举止的特征。
发明效果
在本发明中，对于特定人物估计可能成为安全事故的原因的举止的特征，作为该人物是否容易遭遇安全事故的评价指标。因此，能够以有根据的形式评价个人的安全意识。
附图说明
图1是示出实施方式1的评价装置的结构的框图。
图2是示出实施方式1的评价装置的信息收集部的结构的框图。
图3是示出实施方式1的评价装置的模型生成部的结构的框图。
图4是示出实施方式1的评价装置的动作的流程图。
图5是示出实施方式1的评价装置的动作的流程图。
图6是示出实施方式1的评价装置的信息收集部的动作的流程图。
图7是示出实施方式1的档案信息的例子的表。
图8是示出实施方式1的评价装置的信息收集部的动作的流程图。
图9是示出实施方式1的安全信息的例子的表。
图10是示出实施方式1的评价装置的模型生成部的动作的流程图。
图11是示出实施方式1的评价装置的模型生成部的动作的流程图。
图12是示出实施方式1的评价装置的模型生成部的动作的流程图。
图13是示出实施方式1的评价装置的估计部的动作的流程图。
图14是示出实施方式2的评价装置的结构的框图。
图15是示出实施方式2的对策信息的例子的表。
图16是示出实施方式2的评价装置的估计部和提案部的动作的流程图。
图17是示出表示实施方式2的对策的信息的例子的表。
图18是示出表示实施方式2的对策的信息的其他例子的表。
图19是示出实施方式3的评价装置的结构的框图。
图20是示出实施方式3的训练邮件的内容的例子的表。
图21是示出实施方式3的评价装置的动作的流程图。
图22是示出实施方式3的针对训练邮件的举止的观察结果的例子的表。
图23是示出实施方式4的评价装置的结构的框图。
具体实施方式
以下，使用附图对本发明的实施方式进行说明。在各图中，对同一或相当的部分标注同一标号。在实施方式的说明中，对同一或相当的部分适当省略或简化说明。另外，本发明不限定于以下说明的实施方式，能够根据需要进行各种变更。例如，也可以组合实施以下说明的实施方式中的2个以上的实施方式。或者，也可以部分地实施以下说明的实施方式中的1个实施方式或2个以上的实施方式的组合。
实施方式1
使用图1～图13对本实施方式进行说明。
＊＊＊结构的说明＊＊＊
参照图1，对本实施方式的评价装置10的结构进行说明。
评价装置10经由网络41而与互联网42和由多个人物X1、X2、···、XN所属的组织运用的系统43连接。网络41例如是LAN或LAN和WAN的组合。“LAN”是Local Area Network(局域网)的简称。“WAN”是Wide Area Network(广域网)的简称。系统43例如是内部网。多个人物X1、X2、···、XN可以是任意的2名以上的人物，在本实施方式中是组织的工作人员。N是2以上的整数。
评价装置10是计算机。评价装置10具有处理器11，并且具有存储器12、辅助存储装置13、输入设备14、显示器15以及通信装置16这样的其他硬件。处理器11经由信号线而与其他硬件连接，对这些其他硬件进行控制。
评价装置10具有信息收集部21、模型生成部22、估计部23、档案(profile)数据库31以及安全数据库32。通过软件实现信息收集部21、模型生成部22以及估计部23的功能。可以在存储器12中构筑档案数据库31和安全数据库32，但在本实施方式中在辅助存储装置13中构筑。
处理器11是执行评价程序的装置。评价程序是实现信息收集部21、模型生成部22以及估计部23的功能的程序。处理器11例如是CPU。“CPU”是Central Processing Unit(中央处理单元)的简称。
存储器12和辅助存储装置13是存储评价程序的装置。存储器12例如是闪存或RAM。“RAM”是Random Access Memory(随机存取存储器)的简称。辅助存储装置13例如是闪存或HDD。“HDD”是Hard Disk Drive(硬盘驱动器)的简称。
输入设备14是为了向评价程序输入数据而由用户操作的设备。输入设备14例如是鼠标、键盘或触摸面板。
显示器15是将从评价程序输出的数据显示于画面的设备。显示器15例如是LCD。“LCD”是Liquid Crystal Display(液晶显示器)的简称。
通信装置16包含：接收机，其从互联网42和内部网等的系统43中的至少任意一方经由网络41接收向评价程序输入的数据；以及发送机，其发送从评价程序输出的数据。通信装置16例如是通信芯片或NIC。“NIC”是Network Interface Card(网络接口卡)的简称。
评价程序从辅助存储装置13加载到存储器12，由处理器11读取，由处理器11执行。在辅助存储装置13中不仅存储有评价程序还存储有OS。“OS”是Operating System(操作系统)的简称。处理器11一边执行OS一边执行评价程序。
另外，也可以将评价程序的一部分或全部组入OS。
评价装置10也可以具有代替处理器11的多个处理器。该多个处理器分担执行评价程序。各个处理器与处理器11同样是执行评价程序的装置。
由评价程序利用、处理或输出的数据、信息、信号值以及变量值存储于存储器12、辅助存储装置13或处理器11内的寄存器或高速缓冲存储器。
评价程序是使计算机执行将信息收集部21、模型生成部22以及估计部23的“部”改写成“处理”的各处理或将信息收集部21、模型生成部22以及估计部23的“部”改写成“步骤”的各步骤的程序。评价程序可以记录在计算机能读取的介质中来提供，也可以作为程序产品来提供。
档案数据库31是存储档案信息的数据库。档案信息是对于多个人物X1、X2、···、XN分别表示个人特征的信息。
安全数据库32是存储安全信息的数据库。安全信息是对于多个人物X1、X2、···、XN分别表示可能成为安全事故的原因的举止的特征的信息。
参照图2，对信息收集部21的结构进行说明。
信息收集部21具有档案信息收集部51和安全信息收集部52。
向档案信息收集部51输入作为复制或抓取的对象的互联网42上的服务列表和组织的工作人员名单。从档案信息收集部51向档案数据库31输出档案信息，作为后述的处理结果。
向安全信息收集部52输入组织的工作人员名单。从安全信息收集部52向安全数据库32输出安全信息，作为后述的处理结果。
参照图3，对模型生成部22的结构进行说明。
模型生成部22具有分类部61、数据生成部62以及学习部63。
向分类部61输入存储于档案数据库31的档案信息。
向数据生成部62输入存储于安全数据库32的安全信息和由分类部61执行的处理的结果。
向学习部63输入由数据生成部62执行的处理的结果。从学习部63输出识别器，作为后述的处理结果。
＊＊＊动作的说明＊＊＊
参照图1～图3以及图4～图13，对本实施方式的评价装置10的动作进行说明。评价装置10的动作相当于本实施方式的评价方法。
图4示出学习阶段的动作。
在步骤S101中，信息收集部21从互联网42和内部网等的系统43中的至少任意一方收集档案信息。在本实施方式中，信息收集部21从互联网42和内部网等的系统43双方收集档案信息。信息收集部21将收集到的档案信息存储于档案数据库31。
信息收集部21从系统43收集安全信息。信息收集部21将收集到的安全信息存储于安全数据库32。
这样，信息收集部21收集组织的工作人员的信息。收集到的信息大致由档案信息和安全信息这2个种类构成。
档案信息由组织的管理职位或IT管理者能够自动收集的组织档案信息和在互联网42上公开的公开档案信息这2个种类构成。“IT”是Information Technology(信息技术)的简称。
在组织档案信息中包含性別、年龄、所属、上司、邮件的发送接收频率、互联网42的利用频率、上班时间以及下班时间等信息。组织档案信息是只有组织的管理职位或IT管理者才能访问的信息。组织档案信息能够自动收集。
在公开档案信息中包含互联网42上的服务的使用频率和公开的个人信息的量等信息。从允许复制或抓取的互联网42上的服务网站收集公开档案信息。通过对复制或抓取而得到的信息进行分析，提取与个人的兴趣相关的信息。具体而言，从互联网42上的服务网站收集包含个人的姓名或邮件地址的网页。利用TF-IDF等自然语句处理技术，拾取在收集到的网页内作为关键词的单词。根据拾取到的单词生成与个人的兴趣相关的信息。将生成的信息也作为公开档案信息的一部分处理。“TF”是Term Frequency(术语频率)的简称。“IDF”是Inverse Document Frequency(逆文档频率)的简称。还能够组合现有技术的Maltego CE或the Harvester来收集公开档案信息。
安全信息是与网络攻击相关的安全事故的征兆的数量。这样的数量的例子是训练邮件打开数、恶意软件检测数、恶意网站访问数、策略违反数、执行文件下载数、文件下载数以及互联网利用数。训练邮件打开数是各个人物打开训练邮件的附件的比例、各个人物点击训练邮件中的URL的比例或者这些比例的总计。“URL”是Uniform Resource Locator(统一资源定位符)的简称。训练邮件是用于训练安全事故的邮件。另外，训练邮件打开数也可以不是比例而是次数。恶意网站访问数是各个人物受到恶意网站检测系统警告的次数。策略违反数是各个人物违反策略的次数。安全信息是只有组织的IT管理者或安全管理者才能访问的信息。安全信息能够自动收集。
在步骤S102中，模型生成部22导出存储于档案数据库31的档案信息所示的特征与存储于安全数据库32的安全信息所示的特征的关系性作为模型。
具体而言，模型生成部22进行对存储于档案数据库31的档案信息的聚类，将多个人物X1、X2、···、XN分类成若干组。模型生成部22按照每个组根据档案信息生成学习用数据，根据安全信息生成赋予给学习用数据的标签。模型生成部22按照每个组使用生成的学习用数据和标签导出模型。
虽然不是必须的，但优选的是，模型生成部22在导出模型之前，计算档案信息所示的特征与安全信息所示的特征的相关性，将表示计算出的相关性小于阈值θc1的特征的信息从档案信息中排除。
虽然不是必须的，但优选的是，模型生成部22在导出模型之前，计算档案信息所示的特征与安全信息所示的特征的相关性，将表示计算出的相关性小于阈值θc2的特征的信息从安全信息中排除。
这样，模型生成部22生成档案信息与安全信息的关系性的模型。模型表示在档案信息中具有什么样的倾向的人物容易引起什么样的安全事故的关系性。模型生成部22也可以事前计算档案信息与安全信息的相关性，排除无相关性的项目。
图5示出作为学习阶段的下一个阶段的评价阶段的动作。
在步骤S111中，估计部23接受表示与多个人物X1、X2、···、XN不同的人物Y的特征的信息的输入。在本实施方式中，估计部23从信息收集部21按照与步骤S101相同的顺序收集到的信息的输入。
这样，信息收集部21收集作为评价安全意识的对象的用户的档案信息。信息收集部21向估计部23输入收集到的档案信息。
在步骤S112中，估计部23使用由模型生成部22导出的模型，对于人物Y估计可能成为安全事故的原因的举止的特征。
这样，估计部23根据在步骤S102中生成的模型和在步骤S111中收集到的档案信息，估计作为评价安全意识的对象的用户容易引起什么样的安全事故。
以下，对评价装置10的信息收集部21、模型生成部22以及估计部23的动作进行详细叙述。
图6示出信息收集部21的档案信息收集部51的处理流程。
在步骤S121中，档案信息收集部51确认在组织的工作人员名单中是否存在未调查的记录。在名单中包含工作人员的姓名和邮件地址等标识符。如果没有未调查的记录，则档案信息收集部51结束信息收集。如果存在未调查的记录，则档案信息收集部51执行步骤S122的处理。
在步骤S122中，档案信息收集部51从未调查的记录取得标识符IDN。标识符IDN的例子是姓名和邮件地址等。
在步骤S123中，档案信息收集部51在互联网42上检索标识符IDN。档案信息收集部51从包含标识符IDN的网页的信息除了收集互联网42上的服务的使用频率和公开的个人信息的量等信息以外，还收集与个人兴趣相关的信息，作为档案信息。档案信息收集部51将得到的公开档案信息登记于档案数据库31。档案信息收集部51还取得社交网络服务的上传次数、社交网络服务中公开的个人信息的量以及在社交网络服务中登载的消息的内容等信息作为公开档案信息。
档案信息收集部51根据能否从公开信息取得与姓名、熟人关系、组织名、联系方式以及住所等相关的信息来计算公开的个人信息的量。档案信息收集部51利用BoW或TF-IDF等自然语句处理技术，拾取在收集到的网页内出现频率较高的单词和具有重要意义的单词，作为与个人兴趣相关的信息。“BoW”是Bag of Words(词袋)的简称。
当在相同网页还记载有标识符IDN’的情况下，档案信息收集部51视为在标识符IDN与标识符IDN’之间存在关系性，该标识符IDN’是与标识符IDN不同的其他人物的信息。档案信息收集部51取得标识符IDN’作为与熟人关系相关的信息。
在步骤S124中，档案信息收集部51通过组织内的系统43检索标识符IDN。档案信息收集部51将得到的组织档案信息登记于档案数据库31。具体而言，档案信息收集部51收集与标识符IDN关联的部署、上司、部下以及调度等信息作为组织档案信息。档案信息收集部51在步骤S124的处理之后再次执行步骤S121的处理。
图7示出档案信息的例子。通过如下的多维向量表现收集到的档案信息。
pij∈ProfileInfo DB
i是满足1≦i≦N的整数。N是样本的数量。j是满足1≦j≦P的整数。P是特征的种类。
收集到的档案信息还与隐私相关，因此，优选的是组织在充分研究的基础上决定取得什么信息。
图8示出信息收集部21的安全信息收集部52的处理流程。
在步骤S131中，安全信息收集部52确认在组织的工作人员名单中是否存在未调查的记录。如果没有未调查的记录，则安全信息收集部52结束信息收集。如果存在未调查的记录，则安全信息收集部52执行步骤S132的处理。
在步骤S132中，安全信息收集部52从未调查的记录取得标识符IDN。
在步骤S133中，安全信息收集部52通过组织内的系统43检索标识符IDN。安全信息收集部52将得到的安全信息登记于安全数据库32。具体而言，安全信息收集部52通过与组织内的安全事故相关的日志数据库检索标识符IDN。日志数据库是只有组织的IT管理者或安全管理者才能访问的数据库。在日志数据库中记录有训练邮件打开数、恶意软件检测数、恶意网站访问数以及策略违反数等。安全信息收集部52在步骤S133的处理之后再次执行步骤S131的处理。
图9示出安全信息的例子。通过如下的多维向量表现收集到的安全信息。
sik∈SecurityInfo DB
i是满足1≦i≦N的整数。N是样本的数量。k是满足1≦k≦S的整数。S是特征的种类。
图10示出模型生成部22的分类部61的处理流程。
在步骤S141中，分类部61计算档案信息的各特征pj与安全信息的各特征sk的相关性。如前所述，j是满足1≦j≦P的整数。k是满足1≦k≦S的整数。具体而言，分类部61通过下式计算相关系数corrjk。
corrjk＝σps/(σpσs)
σps是pj与sk的协方差。σp是pj的标准偏差。σs是sk的标准偏差。pj是与档案信息的第j种特征列对应的向量。该向量的维数为N。sk是与安全信息的第k种特征列对应的向量。该向量的维数也是N。
在步骤S142中，分类部61排除安全信息的任何特征的相关系数的绝对值都小于预先决定的阈值θc1的档案信息的特征pj：生成与安全信息具有相关性的档案信息。通过以下的多维向量表现该档案信息。
p’ij∈ProfileInfo DB’
i是满足1≦i≦N的整数。N是样本的数量。j是满足1≦j≦P’的整数。P’是特征的种类。
同样，分类部61排除档案信息的任何特征的相关系数的绝对值都小于预先决定的阈值θc2的安全信息的特征sk：生成与档案信息具有相关性的安全信息。通过以下的多维向量表现该安全信息。
s’ik∈SecurityInfo DB’
i是满足1≦i≦N的整数。N是样本的数量。k是满足1≦k≦S’的整数。S’是特征的种类。
步骤S141和步骤S142的处理是用于提高制作模型时的精度的处理，如果精度较高则也可以省略。即，也可以将ProfileInfo DB直接用作ProfileInfo DB’。也可以将SecurityInfo DB直接用作SecurityInfo DB’。
在步骤S143中，分类部61针对ProfileInfo DB’和SecurityInfo DB’的样本，根据特征信息进行聚类，将N个样本分类成C个组。通过如下的多维向量表现各组。
cm∈Clusters
m是满足1≦m≦C的整数。
如下所述，通过作为聚类对象的样本的档案信息与安全信息的对的集合来表示各个组cm。
cm＝{(pi，si)|i∈CIm}
pi是由P’种类的特征信息构成的向量。si是由S’种类的特征信息构成的向量。CIm是通过聚类而被分类成cm的样本的索引的集合。
分类部61基本上根据ProfileInfo DB’的特征进行聚类。但是，也能够包含SecurityInfo DB’的特征。作为聚类的算法，能够利用K-means法等通常的算法或者独自的算法。
图11示出模型生成部22的数据生成部62的处理流程。
在步骤S151中，数据生成部62确认是否存在未调查的组cm。如前所述，为1≦m≦C。如果没有未调查的组cm，则数据生成部62结束数据生成。如果存在未调查的组cm，则数据生成部62执行步骤S152的处理。
在步骤S152中，数据生成部62计算未调查的组cm中的安全信息的各自的特征的平均SecurityInfoAve(cm)。平均SecurityInfoAve(cm)定义成如下。
SecurityInfoAve(cm)＝(ave(s1)，ave(s2)，···，ave(sk)，···，ave(sS’-1)，ave(sS’))
通过下式计算安全信息的各特征sk的平均ave(sk)。
[数学式1]
|CIm|表示通过聚类而分类成cm的样本的数量。
数据生成部62计算未调查的组cm中的安全信息各自的特征的标准偏差SecurityInfoStdv(cm)。标准偏差SecurityInfoStdv(cm)定义成如下。
SecurityInfoStdv(cm)＝(stdv(s1)，stdv(s2)，···，stdv(sk)，···，stdv(sS’-1)，stdv(sS’))
通过下式计算安全信息的各特征sk的标准偏差stdv(sk)。
[数学式2]
在步骤S153中，数据生成部62根据平均SecurityInfoAve(cm)和标准偏差SecurityInfoStdv(cm)生成表现组cm的标签LAB(cm)。标签LAB(cm)定义成如下。
LAB(cm)＝(lab(s1)，lab(s2)，···，lab(sk)，···，lab(sS’-1)，lab(sS’))
关于安全信息的各特征sk的标签要素lab(sk)，如果标准偏差stdv(sk)收敛于按照每个安全信息的特征而预先定义的范围内，则设定为平均ave(sk)，否则，设定为“None”。数据生成部62在步骤S153的处理之后，再次执行步骤S151的处理。
图12示出模型生成部22的学习部63的处理流程。
在步骤S161中，学习部63确认是否存在未调查的组cm。如前所述，为1≦m≦C。如果没有未调查的组cm，则学习部63结束学习。如果存在未调查的组cm，则学习部63执行步骤S162的处理。
在步骤S162中，学习部63使用未调查的组cm内的各要素的档案信息pi作为学习用数据，使用标签LAB(cm)作为教师数据，从而执行机器学习。在实际的学习中，对标签LAB(cm)按照每个标签分配不同的数字。作为机器学习的执行结果，学习部63输出作为模型的识别器。学习部63在步骤S162的处理之后，再次执行步骤S161的处理。
另外，学习部63可以将标签LAB(cm)整体用作1个标签学习数据，也可以按照每个标签要素lab(sk)学习数据。在该情况下，有可能在其他组中出现相同的值或接近的值的标签要素。因此，也可以是，学习部63将收敛于预先决定的范围内的标签要素lab(sk)置换成规定的标签要素，使用置换后的标签要素学习数据。“规定的标签要素”是按照每个标签要素不同的数字等。
图13示出估计部23的处理流程。
步骤S171～步骤S174的处理相当于前述步骤S112的处理。由此，在步骤S171的处理之前，执行前述步骤S111的处理。在步骤S111中，估计部23利用信息收集部21取得新的档案信息。该档案信息是作为估计安全意识的对象的人物Y的档案信息。
在步骤S171中，估计部23从人物Y的档案信息中排除与在步骤S142中被排除的特征相同的特征。
在步骤S172中，估计部23将在步骤S171中得到的档案信息输入到从模型生成部22输出的识别器，取得估计出的组cm的标签LAB(cm)。
在步骤S173中，估计部23根据在步骤S172中得到的标签LAB(cm)确定人物Y容易引起的安全事故。具体而言，估计部23在构成标签LAB(cm)的标签要素lab(sk)不为“None”且为按照每个安全信息的特征而预先决定的阈值θk1以上的情况下，判定为人物Y容易引起与特征sk相关的安全事故。估计部23在显示器15的画面中显示人物Y容易引起的安全事故的信息。
在步骤S174中，估计部23根据在步骤S172中得到的标签LAB(cm)确定人物Y不容易引起的安全事故。具体而言，估计部23在构成标签LAB(cm)的标签要素lab(sk)不为“None”且为按照每个安全信息的特征而预先决定的阈值θk2以下的情况下，判定为人物Y不容易引起与特征sk相关的安全事故。估计部23在显示器15的画面中显示人物Y不容易引起的安全事故的信息。
＊＊＊实施方式的效果的说明＊＊＊
在本实施方式中，作为人物Y是否容易遭遇安全事故的评价指标，针对人物Y将可能成为安全事故的原因的举止的特征估计为标签LAB(cm)。因此，能够以有根据的形式评价个人的安全意识。
根据本实施方式，能够使用能够从互联网42和内部网等的系统43自动收集的信息，自动估计作为评价对象的用户容易引起什么样的安全事故。
在本实施方式中，组织能够根据估计人物Y容易引起什么样的安全事故的结果而研究对策。
＊＊＊其他的结构＊＊＊
在本实施方式中，通过软件来实现信息收集部21、模型生成部22以及估计部23的功能，但作为变形例，也可以通过软件和硬件的组合来实现信息收集部21、模型生成部22以及估计部23的功能。即，也可以是，通过专用硬件实现信息收集部21、模型生成部22以及估计部23的功能的一部分，通过软件实现剩余的部分。
专用硬件例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑IC、GA、FPGA或ASIC。“IC”是Integrated Circuit(集成电路)的简称。“GA”是Gate Array(门阵列)的简称。“FPGA”是Field-Programmable Gate Array(现场可编程门阵列)的简称。“ASIC”是Application Specific Integrated Circuit(面向特定用途的集成电路)的简称。
处理器11和专用硬件都是处理电路。即，与信息收集部21、模型生成部22以及估计部23的功能是通过软件实现还是通过软件与硬件的组合实现无关，能够通过处理电路实现信息收集部21、模型生成部22以及估计部23的功能。
实施方式2
针对本实施方式，使用图14～图18，主要对与实施方式1的差异进行说明。
在实施方式1中，假定组织根据估计人物Y容易引起什么样的安全事故的结果而研究对策。另一方面，在本实施方式中，根据估计人物Y容易引起什么样的安全事故的结果自动提出适合人物Y的对策。
＊＊＊结构的说明＊＊＊
参照图14，对本实施方式的评价装置10的结构进行说明。
评价装置10除了信息收集部21、模型生成部22、估计部23、档案数据库31以及安全数据库32之外，还具有提案部24和对策数据库33。通过软件实现信息收集部21、模型生成部22、估计部23以及提案部24的功能。可以在存储器12中构筑档案数据库31、安全数据库32以及对策数据库33，但在本实施方式中，在辅助存储装置13中构筑。
对策数据库33是存储对策信息的数据库。对策信息是定义对安全事故的对策的信息。
图15示出对策信息的例子。在该例子中，将针对安全信息的各特征sk较高的人有效的安全对策的一览作为对策信息记录于对策数据库33。对策信息预先由安全管理者定义。
＊＊＊动作的说明＊＊＊
参照图14和图15以及图16～图18对本实施方式的评价装置10的动作进行说明。评价装置10的动作相当于本实施方式的评价方法。
评价装置10的信息收集部21和模型生成部22的动作与实施方式1相同，因此省略说明。
以下，对评价装置10的估计部23和提案部24的动作进行说明。
图16示出估计部23和提案部24的处理流程。
步骤S201和步骤S202的处理与步骤S171和步骤S172的处理相同，因此省略说明。
在步骤S203中，提案部24参照存储于对策数据库33的对策信息，确定针对由于示出由估计部23估计出的特征的举止而可能引起的安全事故的对策。具体而言，提案部24根据在步骤S202中估计部23使用人物Y的档案信息取得的标签LAB(cm)和存储于对策数据库33的对策信息，确定针对人物Y容易引起的安全事故的对策。更具体而言，提案部24在构成标签LAB(cm)的标签要素lab(sk)不为“None”且为按照每个安全信息的特征预先决定的阈值θk1以上的情况下，判定为适合人物Y的对策是针对与特征sk相关的安全事故的对策。提案部24输出表示确定的对策的信息。具体而言，提案部24在显示器15的画面中显示针对人物Y容易引起的安全事故的对策方案。在图16和图17中分别示出针对训练邮件打开数较高的人的对策方案的例子和针对恶意网站访问数较高的人的对策方案的例子。
步骤S204的处理与步骤S174的处理相同，因此省略说明。
另外，在图15的例子中，按照每个安全信息的特征sk定义对策，这样有时会变得冗余。由此，也可以是，对相同或相似的对策预先赋予相同的组ID，在步骤S203中确定了具有相同组ID的多个对策的情况下，提案部24也可以仅提出代表该组的1个对策。“ID”是Identifier(标识符)的简称。
＊＊＊实施方式的效果的说明＊＊＊
根据本实施方式，能够使用能够从互联网42和内部网等的系统43自动收集的信息，根据估计作为评价对象的用户容易引起什么样的安全事故的结果，自动提出适当的对策。
＊＊＊其他的结构＊＊＊
在本实施方式中，与实施方式1相同，通过软件实现信息收集部21、模型生成部22、估计部23以及提案部24的功能，但与实施方式1的变形例相同，也可以通过软件和硬件的组合实现信息收集部21、模型生成部22、估计部23以及提案部24的功能。
实施方式3
针对本实施方式，使用图19～图22，主要对与实施方式1的差异进行说明。
在实施方式1中，假定利用能够从已知的系统43收集的安全信息。另一方面，在本实施方式中，从根据收集到的用户的档案信息发送改变内容后的训练邮件的结果，取得安全信息。
＊＊＊结构的说明＊＊＊
参照图19，对本实施方式的评价装置10的结构进行说明。
评价装置10除了具有信息收集部21、模型生成部22、估计部23、档案数据库31以及安全数据库32之外，还具有邮件生成部25和邮件内容数据库34。通过软件实现信息收集部21、模型生成部22、估计部23以及邮件生成部25的功能。可以在存储器12中构筑档案数据库31、安全数据库32以及邮件内容数据库34，但在本实施方式中，在辅助存储装置13中构筑。
邮件内容数据库34是存储训练邮件的内容的数据库。
图20示出内容的例子。在该例子中，按照新闻、兴趣以及工作等话题准备若干个训练邮件的内容，存储于邮件内容数据库34。例如，作为话题为新闻的训练邮件的内容，分别准备与经济、国际、国内、娱乐等相关的内容。
＊＊＊动作的说明＊＊＊
参照图19和图20以及图21和图22，对本实施方式的评价装置10的动作进行说明。评价装置10的动作相当于本实施方式的评价方法。
图21示出学习阶段的动作。
在步骤S301中，信息收集部21从互联网42和内部网等的系统43双方收集档案信息。信息收集部21将收集到的档案信息存储于档案数据库31。收集到的档案信息与在实施方式1的步骤S101中收集到的档案信息相同。
在步骤S302中，邮件生成部25根据由信息收集部21收集到的档案信息所示的特征，定制存储于邮件内容数据库34的训练邮件的内容。
具体而言，邮件生成部25按照每个组织的工作人员从邮件内容数据库34选择与在步骤S301中收集到的档案信息关联的内容。在本实施方式中，邮件生成部25按照每个话题取得工作人员的档案信息中的尤其是与工作和兴趣的信息相关的内容。邮件生成部25生成包含取得的内容的训练邮件的数据集。
在步骤S303中，邮件生成部25分别向多个人物X1、X2、···、XN发送包含在步骤S302中定制的内容的训练邮件。邮件生成部25观察针对所发送的训练邮件的举止而生成安全信息。邮件生成部25将生成的安全信息存储于安全数据库32。
具体而言，邮件生成部25定期向工作人员发送在步骤S302中生成的数据集中的训练邮件。邮件生成部25将每个话题的训练邮件打开数作为安全信息而登记于安全数据库32。对于训练邮件的发送，能够利用现有技术或非专利文献4中记载的服务等现有服务。
图22示出作为安全信息而登记的针对训练邮件的举止的观察结果的例子。在该例子中，将训练邮件打开数作为安全信息而登记于安全数据库32。与实施方式1的步骤S101相同，由信息收集部21收集恶意软件检测数、恶意网站访问数、策略违反数、执行文件下载数、文件下载数以及互联网利用数。
步骤S304的处理与步骤S102的处理相同。即，在步骤S304中，模型生成部22生成档案信息与安全信息的关系性的模型。
作为学习阶段的下一个阶段的评价阶段的动作与实施方式1的动作相同，因此省略说明。
＊＊＊实施方式的效果的说明＊＊＊
根据本实施方式，能够动态取得安全信息。
＊＊＊其他的结构＊＊＊
在本实施方式中，与实施方式1相同，通过软件实现信息收集部21、模型生成部22、估计部23以及邮件生成部25的功能，但与实施方式1的变形例相同，也可以通过软件和硬件的组合实现信息收集部21、模型生成部22、估计部23以及邮件生成部25的功能。
实施方式4
本实施方式是实施方式2与实施方式3的组合。
参照图23，对本实施方式的评价装置10的结构进行说明。
评价装置10除了具有信息收集部21、模型生成部22、估计部23、档案数据库31以及安全数据库32之外，还具有提案部24、邮件生成部25、对策数据库33以及邮件内容数据库34。通过软件实现信息收集部21、模型生成部22、估计部23、提案部24以及邮件生成部25的功能。可以在存储器12中构筑档案数据库31、安全数据库32、对策数据库33以及邮件内容数据库34，但在本实施方式中，在辅助存储装置13中构筑。
信息收集部21、模型生成部22、估计部23、邮件生成部25、档案数据库31、安全数据库32以及邮件内容数据库34与实施方式3的情况相同，因此省略说明。
提案部24和对策数据库33与实施方式2相同，因此省略说明。
标号说明
10：评价装置；11：处理器；12：存储器；13：辅助存储装置；14：输入设备；15：显示器；16：通信装置；21：信息收集部；22：模型生成部；23：估计部；24：提案部；25：邮件生成部；31：档案数据库；32：安全数据库；33：对策数据库；34：邮件内容数据库；41：网络；42：互联网；43：系统；51：档案信息收集部；52：安全信息收集部；61：分类部；62：数据生成部；63：学习部。

Claims (10)

1.评价装置，该评价装置具有：
档案数据库，其存储对于多个人物分别表示个人特征的档案信息；
安全数据库，其存储对于所述多个人物分别表示可能成为安全事故的原因的举止的特征的安全信息；
模型生成部，其导出存储于所述档案数据库的档案信息所示的特征与存储于所述安全数据库的安全信息所示的特征的关系性作为模型；以及
估计部，其接受表示与所述多个人物不同的其他人物的特征的信息的输入，使用由所述模型生成部导出的模型，对于所述其他人物估计可能成为安全事故的原因的举止的特征。
2.根据权利要求1所述的评价装置，其中，
所述模型生成部进行针对所述档案信息的聚类，将所述多个人物分类成若干个组，按照每个组根据所述档案信息生成学习用数据，根据所述安全信息生成赋予给所述学习用数据的标签，按照每个组使用所述学习用数据和所述标签导出所述模型。
3.根据权利要求1或2所述的评价装置，其中，
所述模型生成部在导出所述模型之前，计算所述档案信息所示的特征与所述安全信息所示的特征的相关性，将表示计算出的相关性小于阈值的特征的信息从所述档案信息中排除。
4.根据权利要求1或2所述的评价装置，其中，
所述模型生成部在导出所述模型之前，计算所述档案信息所示的特征与所述安全信息所示的特征的相关性，将表示计算出的相关性小于阈值的特征的信息从所述安全信息中排除。
5.根据权利要求1～4中的任意一项所述的评价装置，其中，
该评价装置具有：
对策数据库，其存储定义针对安全事故的对策的对策信息；以及
提案部，其参照存储于所述对策数据库的对策信息，确定针对由于示出由所述估计部估计出的特征的举止而可能引起的安全事故的对策，输出表示所确定的对策的信息。
6.根据权利要求1～5中的任意一项所述的评价装置，其中，
该评价装置还具有信息收集部，该信息收集部从互联网和由所述多个人物所属的组织运用的系统中的至少任意一方收集所述档案信息，将所述档案信息存储于所述档案数据库。
7.根据权利要求6所述的评价装置，其中，
所述信息收集部从所述系统收集所述安全信息，将所述安全信息存储于所述安全数据库。
8.根据权利要求1～6中的任意一项所述的评价装置，其中，
该评价装置具有：
邮件内容数据库，其存储作为用于训练安全事故的邮件的训练邮件的内容；以及
邮件生成部，其根据所述档案信息所示的特征，定制存储于所述邮件内容数据库的训练邮件的内容，分别向所述多个人物发送包含所定制的内容的训练邮件，观察针对所发送的训练邮件的举止，生成所述安全信息，将所述安全信息存储于所述安全数据库。
9.一种评价方法，其中，
模型生成部从数据库取得对于多个人物分别表示个人特征的档案信息和对于所述多个人物分别表示可能成为安全事故的原因的举止的特征的安全信息，导出所述档案信息所示的特征与所述安全信息所示的特征的关系性作为模型，
估计部接受表示与所述多个人物不同的其他人物的特征的信息的输入，使用由所述模型生成部导出的模型，对于所述其他人物估计可能成为安全事故的原因的举止的特征。
10.一种评价程序，该评价程序使计算机执行以下处理，其中，
所述计算机具有：
档案数据库，其存储对于多个人物分别表示个人特征的档案信息；以及
安全数据库，其存储对于所述多个人物分别表示可能成为安全事故的原因的举止的特征的安全信息，
所述处理包含：
模型生成处理，导出存储于所述档案数据库的档案信息所示的特征与存储于所述安全数据库的安全信息所示的特征的关系性作为模型；以及
估计处理，接受表示与所述多个人物不同的其他人物的特征的信息的输入，使用通过所述模型生成处理导出的模型，对于所述其他人物估计可能成为安全事故的原因的举止的特征。
CN201780090930.2A 2017-05-25 2017-05-25 评价装置、评价方法以及评价程序 Withdrawn CN110637320A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/019589 WO2018216175A1 (ja) 2017-05-25 2017-05-25 評価装置、評価方法および評価プログラム

Publications (1)

Publication Number Publication Date
CN110637320A true CN110637320A (zh) 2019-12-31

Family

ID=62976626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780090930.2A Withdrawn CN110637320A (zh) 2017-05-25 2017-05-25 评价装置、评价方法以及评价程序

Country Status (4)

Country Link
US (1) US20200074327A1 (zh)
JP (1) JP6362796B1 (zh)
CN (1) CN110637320A (zh)
WO (1) WO2018216175A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10715545B2 (en) * 2017-09-22 2020-07-14 Microsoft Technology Licensing, Llc Detection and identification of targeted attacks on a computing system
US11308208B2 (en) * 2018-08-03 2022-04-19 Endgame, Inc. Classifying ransom notes in received files for ransomware process detection and prevention
GB2595126B (en) * 2019-02-15 2022-12-07 Sophos Ltd Systems and methods for conducting a security recognition task
US11575677B2 (en) * 2020-02-24 2023-02-07 Fmr Llc Enterprise access control governance in a computerized information technology (IT) architecture
JP2021163048A (ja) * 2020-03-31 2021-10-11 株式会社トプコン 情報処理装置、情報処理システム、および情報処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095876A (ja) * 2009-10-28 2011-05-12 Hitachi Ltd ヒューマンエラー分析支援システムおよびヒューマンエラー分析支援方法
JP6084102B2 (ja) * 2013-04-10 2017-02-22 テンソル・コンサルティング株式会社 ソーシャルネットワーク情報処理装置、処理方法、および処理プログラム
JP6209914B2 (ja) * 2013-09-18 2017-10-11 富士通株式会社 メール作成プログラム、メール作成方法、及び情報処理装置
JP2016200955A (ja) * 2015-04-09 2016-12-01 株式会社リコー 情報処理装置、プログラム、推定方法
JP6134411B1 (ja) * 2016-03-17 2017-05-24 ヤフー株式会社 情報処理装置、情報処理システム、情報処理方法、および、情報処理プログラム
JP6130977B1 (ja) * 2016-05-24 2017-05-17 三井情報株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム

Also Published As

Publication number Publication date
JPWO2018216175A1 (ja) 2019-06-27
US20200074327A1 (en) 2020-03-05
WO2018216175A1 (ja) 2018-11-29
JP6362796B1 (ja) 2018-07-25

Similar Documents

Publication Publication Date Title
Van Der Heijden et al. Cognitive triaging of phishing attacks
Vishwanath et al. Suspicion, cognition, and automaticity model of phishing susceptibility
CN110637320A (zh) 评价装置、评价方法以及评价程序
Cresci et al. Fame for sale: Efficient detection of fake Twitter followers
Miller et al. Reviewer integration and performance measurement for malware detection
Agyepong et al. Challenges and performance metrics for security operations center analysts: a systematic review
US9628507B2 (en) Advanced persistent threat (APT) detection center
Kleitman et al. It’s the deceiver and the receiver: Individual differences in phishing susceptibility and false positives with item profiling
Singh et al. Who is who on twitter–spammer, fake or compromised account? a tool to reveal true identity in real-time
Sonowal Phishing email detection based on binary search feature selection
Sun et al. NLP-based digital forensic investigation platform for online communications
US20220156372A1 (en) Cybersecurity system evaluation and configuration
Taib et al. Social engineering and organisational dependencies in phishing attacks
Gandotra et al. Malware threat assessment using fuzzy logic paradigm
Haupt et al. Robust identification of email tracking: A machine learning approach
Petrič et al. The impact of formal and informal organizational norms on susceptibility to phishing: Combining survey and field experiment data
Zhuo et al. SoK: Human-centered phishing susceptibility
Sutter et al. Avoiding the hook: influential factors of phishing awareness training on click-rates and a data-driven approach to predict email difficulty perception
Hanus et al. Phish me, phish me not
Lima et al. Challenges of using machine learning algorithms for cybersecurity: a study of threat-classification models applied to social media communication data
Astakhova et al. An information tool for increasing the resistance of employees of an organization to social engineering attacks
US20190372998A1 (en) Exchange-type attack simulation device, exchange-type attack simulation method, and computer readable medium
Gill et al. Website Classification Through Exploratory Data Analysis Using Naive Bayes, Random Forest, and Support Vector Machine Classifier
US11537668B2 (en) Using a machine learning system to process a corpus of documents associated with a user to determine a user-specific and/or process-specific consequence index
Tian et al. Phishing susceptibility across industries: The differential impact of influence techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191231