CN113516398A - 基于分层抽样的风险设备识别方法、装置及电子设备 - Google Patents

基于分层抽样的风险设备识别方法、装置及电子设备 Download PDF

Info

Publication number
CN113516398A
CN113516398A CN202110833334.7A CN202110833334A CN113516398A CN 113516398 A CN113516398 A CN 113516398A CN 202110833334 A CN202110833334 A CN 202110833334A CN 113516398 A CN113516398 A CN 113516398A
Authority
CN
China
Prior art keywords
equipment
sample
sampling
risk
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110833334.7A
Other languages
English (en)
Inventor
冯海杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qilu Information Technology Co Ltd
Original Assignee
Beijing Qilu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qilu Information Technology Co Ltd filed Critical Beijing Qilu Information Technology Co Ltd
Priority to CN202110833334.7A priority Critical patent/CN113516398A/zh
Publication of CN113516398A publication Critical patent/CN113516398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

本发明公开了一种基于分层抽样的风险设备识别方法、装置及电子设备，所述方法包括：采集原始测试设备样本，并基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果；根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标；若所述模型指标满足预设条件，基于所述设备识别模型识别待识别设备的设备风险。本发明能够将模型在分层抽样样本上的表现还原到原始全量的测试设备样本中，为模型有效性验证提供全面而科学的评估指标，提高风险设备识别的准确率。

Description

基于分层抽样的风险设备识别方法、装置及电子设备
技术领域
本发明涉及计算机信息处理技术领域，具体而言，涉及一种基于分层抽样的风险设备识别方法、装置、电子设备及计算机可读介质。
背景技术
随着互联网的发展，出现了各种互联网服务平台，比如：网购平台、网约车平台、共享平台、地图、音乐等等。这些平台给人们的生活带来了很大的便利，但因其与互联网紧密结合，会存在一些比如：欺诈、失信等的风险。
为了识别这些存在风险的设备，通常会采集与设备相关的样本数据通过机器学习模型来预测该设备的风险值。在此过程中，需要先通过训练样本训练好模型，再对训练好的模型有效性进行验证，通过验证的模型才能用于实际的风险设备识别中。
对模型进行有效性验证时，通常需要准备一批样本给数据商回溯特征，确定模型在原始全量样本上的表现(即模型指标)。而实际中，数据商所支持的样本数量相对有限，例如10万条，就需要对原始全量样本进行抽样，因此，实际中只能得到模型在抽样样本上的模型指标，这显然会影响对模型的有效性验证，降低风险设备识别的准确率。
发明内容
有鉴于此，本发明主要目的在于提出一种基于分层抽样的风险设备识别方法、装置、电子设备及计算机可读介质，以期至少部分地解决上述技术问题中的至少之一。
为了解决上述技术问题，本发明第一方面提出一种基于分层抽样的风险设备识别方法，所述方法包括：
采集历史设备样本训练设备识别模型；
采集原始测试设备样本，并基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果；
根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标；
判断所述模型指标是否满足预设条件；
若所述模型指标满足预设条件，基于所述设备识别模型识别待识别设备的设备风险。
根据本发明一种优选实施方式，所述基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果包括：
根据分层指标将所述原始测试设备样本分为风险设备样本和无风险设备样本；
从所述风险设备样本中随机抽取α比例的第一样本，并从所述无风险设备样本中随机抽取β比例的第二样本；
将所述第一样本和所述第二样本混合，得到抽样设备样本；
将所述抽样设备样本输入训练好的设备识别模型中，得到第一识别结果；
根据预设阈值及所述第一识别结果将所述抽样设备样本分为抽样风险设备样本和抽样无风险设备样本。
根据本发明一种优选实施方式，所述根据预设阈值及所述第一识别结果将所述原始测试设备样本分为风险设备样本和无风险设备样本之前，所述方法还包括：
根据所述第一识别结果对所述抽样设备样本进行排序。
根据本发明一种优选实施方式，通过如下公式确定所述设备识别模型在所述原始测试设备样本上的提升度Life0：
Figure BDA0003176320210000021
其中，RJs,y＝1为抽样设备样本中识别结果为风险设备中坏样本的数量；RJs,y＝0为抽样设备样本中识别结果为风险设备中好样本的数量；PSs,y＝0为抽样设备样本中识别结果为无风险设备中好样本的数量；PSs,y＝1为抽样设备样本中识别结果为无风险设备中坏样本的数量，α为第一样占所述风险设备样本的比例，β为第二样本占所述无风险设备样本的比例。
根据本发明一种优选实施方式，所述模型指标为区分度和/或AUC，所述根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标包括：
根据所述识别结果计算所述设备识别模型在抽样设备样本上的区分度和/或AUC；
将所述设备识别模型在抽样设备样本上的区分度和/或AUC作为所述设备识别模型在所述原始测试设备样本上的区分度和/或AUC。
根据本发明一种优选实施方式，所述方法还包括：
若所述模型指标不满足预设条件，调整所述设备识别模型的参数，并重新训练所述设备识别模型。
为解决上述技术问题，本发明第二方面提供一种基于分层抽样的风险设备识别装置，所述装置包括：
采集模块，用于采集历史设备样本训练设备识别模型；
分层抽样模块，采集原始测试设备样本，并基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果；
确定模块，用于根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标；
判断模块，用于判断所述模型指标是否满足预设条件；
识别模块，用于若所述模型指标满足预设条件，基于所述设备识别模型识别待识别设备的设备风险。
根据本发明一种优选实施方式，所述分层抽样模块包括：
第一划分模块，用于根据分层指标将所述原始测试设备样本分为风险设备样本和无风险设备样本；
抽样模块，用于从所述风险设备样本中随机抽取α比例的第一样本，并从所述无风险设备样本中随机抽取β比例的第二样本；
混合模块，用于将所述第一样本和所述第二样本混合，得到抽样设备样本；
输入模块，用于将所述抽样设备样本输入训练好的设备识别模型中，得到第一识别结果；
第二划分模块，用于根据预设阈值及所述第一识别结果将所述抽样设备样本分为抽样风险设备样本和抽样无风险设备样本。
根据本发明一种优选实施方式，所述装置还包括：
排序模块，用于根据所述第一识别结果对所述原始测试设备样本进行排序。
根据本发明一种优选实施方式，所述确定模块通过如下公式确定所述设备识别模型在所述原始测试设备样本上的提升度Life0：
Figure BDA0003176320210000041
其中，其中，RJs,y＝1为抽样设备样本中识别结果为风险设备中坏样本的数量；RJs,y＝0为抽样设备样本中识别结果为风险设备中好样本的数量；PSs,y＝0为抽样设备样本中识别结果为无风险设备中好样本的数量；PSs,y＝1为抽样设备样本中识别结果为无风险设备中坏样本的数量，α为第一样占所述风险设备样本的比例，β为第二样本占所述无风险设备样本的比例。
根据本发明一种优选实施方式，所述确定模块包括：
计算模块，用于根据所述识别结果计算所述设备识别模型在抽样设备样本上的区分度；
子确定模块，用于将所述设备识别模型在抽样设备样本上的区分度作为所述设备识别模型在所述原始测试设备样本上的区分度。
根据本发明一种优选实施方式，所述装置还包括：
调整模块，用于若所述模型指标不满足预设条件，调整所述设备识别模型的参数，并重新训练所述设备识别模型。
为解决上述技术问题，本发明第三方面提供一种电子设备，包括：
处理器；以及
存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行上述的方法。
为解决上述技术问题，本发明第四方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现上述方法。
本发明基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果；根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标；从而将模型在分层抽样样本上的表现还原到原始全量的测试设备样本中，为模型有效性验证提供全面而科学的评估指标，提高风险设备识别的准确率。
附图说明
为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本发明的具体实施例。但需声明的是，下面描述的附图仅仅是本发明的示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。
图1是本发明实施例一种基于分层抽样的风险设备识别方法的流程示意图；
图2是本发明实施例原始测试设备样本和抽样设备样本的排序示意图；
图3a是20万原始测试设备样本分层抽样前后好样本和坏样本的分布示意图；
图3b是20万原始测试设备样本分层抽样前后模型的KS曲线；
图4是20万原始测试设备样本分层抽样前后模型AUC示意图。
图5是本发明实施例一种基于分层抽样的风险设备识别装置的结构框架示意图；
图6是根据本发明的一种电子设备的示例性实施例的结构框图；
图7是本发明一种计算机可读介质实施例的示意图。
具体实施方式
现在将参考附图来更加全面地描述本发明的示例性实施例，虽然各示例性实施例能够以多种具体的方式实施，但不应理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例是为了使本发明的内容更加完整，更加便于将发明构思全面地传达给本领域的技术人员。
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的结构、性能、效果或者其他特征可以以任何合适的方式结合到一个或更多其他的实施例中。
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
请参阅图1，图1是本发明提供的一种基于分层抽样的风险设备识别方法，所述方法用于互在联网服务中识别风险设备，其中，所述互联网服务可以是各种互联网服务平台提供的服务，所述互联网服务平台可以是网购平台、网约车平台、共享平台、搜索平台、社交平台等等，只要是基于互联网提供的服务可以适用，本发明不做具体限定。如图1所示，所述方法包括：
S1、采集历史设备样本训练设备识别模型；
本发明实施例中，所述设备样本可以是与设备相关的任何样本数据；示例性的，所述设备样本可以包括：设备ID及与设备ID相关的信息。可选的，所述与设备ID相关的信息可以包括：设备型号、设备业务信息、设备通讯信息、设备用户信息、第三方设备数据信息中的至少一种。在实际业务中，所述设备样本可以多达140多个。
其中，设备业务信息是设备产生的与当前业务相关的信息，比如，在基于互联网的资源交换服务中，设备业务信息可以包括：设备是否通过基于互联网的资源交换服务申请、设备资源配置额度、设备是否动支成功、设备逾期归还资源天数、设备逾期归还资源次数等等。所述资源是指任何可被利用的物质、信息、金钱、时间等。信息资源包括计算资源和各种类型的数据资源。其中，数据资源包括各个领域中的各种专用数据。
所述设备通讯信息指在预定时间段内设备与目标设备之间的通话时长，可以包括：设备与目标设备在预定时间段内的通话总时长、设备与目标设备在不同时间段内的通话时长等。所述设备用户信息可以包括：设备用户性别、设备用户年龄、设备用户学历、设备位置、设备是否有欺诈记录等；其中，设备位置可以根据设备所在经度和纬度来确定。所述第三方设备数据信息是由第三方数据平台提供的与设备相关的信息，比如：设备社交信息、设备用户资产负债信息、设备黑/灰名单等。
其中，所述设备识别模型可以采用Xgboost模型、随机森林模型等，本发明不做具体限定。
S2、采集原始测试设备样本，并基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果；
其中，原始测试设备样本是对设备识别模型的有效性进行验证的原始全量设备样本，其可以是设备识别模型具体应用业务场景中产生的全量历史设备样本。比如：设备识别模型应用于基于互联网的资源交换业务的APP场景中，则原始测试设备样本可以是基于互联网的资源交换业务的APP场景中产生的全量历史设备样本。进一步的，为了方便后续模型指标的计算，可以通过特征工程等方式对原始测试设备样本打上标签。所述抽样设备样本的识别结果可以包括：抽样设备样本中识别结果为风险设备中坏样本的数量、抽样设备样本中识别结果为风险设备中好样本的数量、抽样设备样本中识别结果为无风险设备中好样本的数量、抽样设备样本中识别结果为无风险设备中坏样本的数量。
实际中，由于数据商所支持的样本数量相对有限，本发明实施例通过分层抽样的方式对原始全量样本进行抽样。示例性的，所述基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果包括：
S21、根据分层指标将所述原始测试设备样本分为风险设备样本和无风险设备样本；
其中，分层指标用区分原始测试设备样本中的风险设备样本(坏样本)和无风险设备样本(好样本)，所述分层指标与实际业务相关，比如：在基于互联网的资源交换业务中，分层指标可以是首期逾期天数大于三十天，则将原始测试设备样本中首期逾期天数大于30天的作为风险设备样本，首期逾期天数小于30天的作为无风险设备样本。
S22、从所述风险设备样本中随机抽取α比例的第一样本，并从所述无风险设备样本中随机抽取β比例的第二样本；
本发明实施例分别在风险设备样本和无风险设备样本内部进行的随机抽样，因此，第一样本和第二样本与原始测试设备样本通过设备识别模型输出的的风险数值的排序性不发生改变。
其中，α和β可以根据需要配置，比如：α为10％，β为20％。
S23、将所述第一样本和所述第二样本混合，得到抽样设备样本；
S24、将所述抽样设备样本输入训练好的设备识别模型中，得到第一识别结果；
本发明实施例中，所述设备识别模型输出设备存在风险的风险数值，因此，所述第一识别结果为风险数值。
S25、根据预设阈值及所述第一识别结果将所述抽样设备样本分为抽样风险设备样本和抽样无风险设备样本；
优选的，在本步骤之前，可以根据所述第一识别结果对所述抽样设备样本进行排序。如图2所示，将第一识别结果中大于预设阈值的抽样设备样本作为抽样无风险设备样本(标记为SPS)，将第一识别结果中小于预设阈值的抽样设备样本作为抽样风险设备样本(标记为SRJ)。结合抽样设备样本中的真实标签，可以得到对抽样设备样本的识别结果：抽样设备样本中识别结果为风险设备中坏样本的数量、抽样设备样本中识别结果为风险设备中好样本的数量、抽样设备样本中识别结果为无风险设备中好样本的数量、抽样设备样本中识别结果为无风险设备中坏样本的数量。
S3、根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标；
本发明实施例中，模型指标用于衡量模型的性能好坏，具体与模型处理的任务类型相关，比如：在识别风险设备时，可以采用提升度Lift、区分度KS、AUC等。其中，Lift指经过筛选过后的样本坏账率，相对于整体样本坏账率的提升倍数。Lift指标评估了模型捕捉坏人的能力，体现了模型评分局部性能。Lift越高，说明模型捕捉坏账率的能力越强。模型KS定义为：max(TPR-FPR)，其中，TPR即真阳率，指所有真实类别为1的样本中，预测类别为1的比例；FPR即假阳率，指所有真实类别为0的样本中，预测类别为1的比例。KS描述了模型对于好坏样本的区分能力，体现了模型评分全局性能。KS指标越大越好，代表对好坏的区分度越好。AUC(area under the curve)是ROC(receiver operating characteristic curve)曲线下的面积。反映的是对于任意一对正负样本，模型将正样本预测为正样本的可能性大于将负样本预测为正样本的可能性的概率。
在风险设备识别中，将坏账率定义为：badrate＝B/(B+G)。其中，B为风险设备样本数量，G为无风险设备样本数量。
模型的提升度Lift为：
Figure BDA0003176320210000101
其中，RJbadrate为风险设备样本的坏账率，OAbadrate为设备样本的坏账率。PSy＝1为无风险设备样本中坏样本的数量，PSy＝0为无风险设备样本中好样本的数量，RJy＝1为风险设备样本中坏样本的数量，RJy＝0为风险设备样本中好样本的数量。
根据步骤S2进行分层抽样后，原始测试设备样本的Lift0和抽样设备样本的Lifts分别为：
Figure BDA0003176320210000102
其中，风险设备样本按α比例进行随机抽样，无风险设备样本按β比例进行随机抽样。如图2所示，由于步骤S22中采取了随机抽样的方式得到抽样设备样本，第一样本和第二样本与原始测试设备样本通过设备识别模型输出的的风险数值的排序性不发生改变。则通过预设阈值也可以根据原始测试设备样本通过设备识别模型输出的风险数值将原始测试设备样本分为无风险设备样本(标记为OPS)和风险设备样本(标记为ORJ)。则可以得到：
Figure BDA0003176320210000103
因此，可以得到Lift0的计算公式如下：
Figure BDA0003176320210000104
其中，RJs,y＝1为抽样设备样本中识别结果为风险设备中坏样本的数量；RJs,y＝0为抽样设备样本中识别结果为风险设备中好样本的数量；PSs,y＝0为抽样设备样本中识别结果为无风险设备中好样本的数量；PSs,y＝1为抽样设备样本中识别结果为无风险设备中坏样本的数量，α为第一样占所述风险设备样本的比例，β为第二样本占所述无风险设备样本的比例。
模型指标为区分度KS时，由于步骤S2进行分层抽样时，风险设备样本和无风险设备样本的分布相互独立，抽样不会影响累积的风险设备样本分布和累积无风险设备样本分布，所以KS不会发生变化。图3a为20万原始测试设备样本分层抽样前后好样本和坏样本的分布示意图，图3b为20万原始测试设备样本分层抽样前后模型的KS曲线。因此，本发明中，根据所述识别结果计算所述设备识别模型在抽样设备样本上的区分度，将所述设备识别模型在抽样设备样本上的区分度作为所述设备识别模型在所述原始测试设备样本上的区分度。
模型指标为AUC时，分层抽样不会对模型的AUC产生影响。图4为20万原始测试设备样本分层抽样前后模型AUC示意图。因此，本发明中，根据所述识别结果计算所述设备识别模型在抽样设备样本上的AUC，将所述设备识别模型在抽样设备样本上的AUC作为所述设备识别模型在所述原始测试设备样本上的AUC。
S4、判断所述模型指标是否满足预设条件；
其中，预设条件可以是预设Lift、预设KS、预设AUC中的至少一种。当模型指标大于对应的预设条件时，确定模型指标满足预设条件。
S5、若所述模型指标满足预设条件，基于所述设备识别模型识别待识别设备的设备风险。
本发明实施例中，若模型指标满足预设条件，说明训练好的设备识别模型通过了模型有效性的验证，具有很好的性能，可应用于实际场景中的风险设备识别。则将待识别设备的设备样本输入该设备识别模型即可识别其设备风险。
进一步的，若所述模型指标不满足预设条件，调整所述设备识别模型的参数，并重新训练所述设备识别模型。其中，设备识别模型的参数根据具体的设备识别模型而定，比如：xgboost模型的任务参数等。
图5是本发明一种基于分层抽样的风险设备识别装置，如图5所示，所述装置包括：
采集模块51，用于采集历史设备样本训练设备识别模型；
分层抽样模块52，采集原始测试设备样本，并基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果；
确定模块53，用于根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标；
判断模块54，用于判断所述模型指标是否满足预设条件；
识别模块55，用于若所述模型指标满足预设条件，基于所述设备识别模型识别待识别设备的设备风险。
在一种实施方式中，所述分层抽样模块52包括：
第一划分模块，用于根据分层指标将所述原始测试设备样本分为风险设备样本和无风险设备样本；
抽样模块，用于从所述风险设备样本中随机抽取α比例的第一样本，并从所述无风险设备样本中随机抽取β比例的第二样本；
混合模块，用于将所述第一样本和所述第二样本混合，得到抽样设备样本；
输入模块，用于将所述抽样设备样本输入训练好的设备识别模型中，得到第一识别结果；
第二划分模块，用于根据预设阈值及所述第一识别结果将所述抽样设备样本分为抽样风险设备样本和抽样无风险设备样本。
进一步的，所述装置还包括：
排序模块，用于根据所述第一识别结果对所述原始测试设备样本进行排序。
可选的，所述确定模块53通过如下公式确定所述设备识别模型在所述原始测试设备样本上的提升度Life0：
Figure BDA0003176320210000131
其中，其中，RJs,y＝1为抽样设备样本中识别结果为风险设备中坏样本的数量；RJs,y＝0为抽样设备样本中识别结果为风险设备中好样本的数量；PSs,y＝0为抽样设备样本中识别结果为无风险设备中好样本的数量；PSs,y＝1为抽样设备样本中识别结果为无风险设备中坏样本的数量，α为第一样占所述风险设备样本的比例，β为第二样本占所述无风险设备样本的比例。
可选的，所述确定模块53包括：
计算模块，用于根据所述识别结果计算所述设备识别模型在抽样设备样本上的区分度；
子确定模块，用于将所述设备识别模型在抽样设备样本上的区分度作为所述设备识别模型在所述原始测试设备样本上的区分度。
进一步的，所述装置还包括：
调整模块，用于若所述模型指标不满足预设条件，调整所述设备识别模型的参数，并重新训练所述设备识别模型。
本领域技术人员可以理解，上述装置实施例中的各模块可以按照描述分布于装置中，也可以进行相应变化，分布于不同于上述实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的实体形式的实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
图6是根据本发明的一种电子设备的示例性实施例的结构框图。图6显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，该示例性实施例的电子设备600以通用数据处理设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同电子设备组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元620存储有计算机可读程序，其可以是源程序或都只读程序的代码。所述程序可以被处理单元610执行，使得所述处理单元610执行本发明各种实施方式的步骤。例如，所述处理单元610可以执行如图1所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作电子设备、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备100(例如键盘、显示器、网络设备、蓝牙设备等)通信，使得用户能经由这些外部设备100与该电子设备600交互，和/或使得该电子设备600能与一个或多个其它数据处理设备(例如路由器、调制解调器等等)进行通信。这种通信可以通过输入/输出(I/O)接口650进行，还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)进行。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图6中未示出，电子设备600中可使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID电子设备、磁带驱动器以及数据备份存储电子设备等。
图7是本发明的一个计算机可读介质实施例的示意图。如图7所示，所述计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的电子设备、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。当所述计算机程序被一个或多个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法，即：采集历史设备样本训练设备识别模型；采集原始测试设备样本，并基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果；根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标；判断所述模型指标是否满足预设条件；若所述模型指标满足预设条件，基于所述设备识别模型识别待识别设备的设备风险。
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台数据处理设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行电子设备、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语音的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语音包括面向对象的程序设计语音—诸如Java、C++等，还包括常规的过程式程序设计语音—诸如“C”语音或类似的程序设计语音。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明可以执行计算机程序的方法、装置、电子设备或计算机可读介质来实现。可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现本发明的一些或者全部功能。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于分层抽样的风险设备识别方法，其特征在于，所述方法包括：
采集历史设备样本训练设备识别模型；
采集原始测试设备样本，并基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果；
根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标；
判断所述模型指标是否满足预设条件；
若所述模型指标满足预设条件，基于所述设备识别模型识别待识别设备的设备风险。
2.根据权利要求1所述的方法，其特征在于，所述基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果包括：
根据分层指标将所述原始测试设备样本分为风险设备样本和无风险设备样本；
从所述风险设备样本中随机抽取α比例的第一样本，并从所述无风险设备样本中随机抽取β比例的第二样本；
将所述第一样本和所述第二样本混合，得到抽样设备样本；
将所述抽样设备样本输入训练好的设备识别模型中，得到第一识别结果；
根据预设阈值及所述第一识别结果将所述抽样设备样本分为抽样风险设备样本和抽样无风险设备样本。
3.根据权利要求2所述的方法，其特征在于，所述根据预设阈值及所述第一识别结果将所述原始测试设备样本分为风险设备样本和无风险设备样本之前，所述方法还包括：
根据所述第一识别结果对所述抽样设备样本进行排序。
4.根据权利要求3所述的方法，其特征在于，通过如下公式确定所述设备识别模型在所述原始测试设备样本上的提升度Life0：
Figure FDA0003176320200000021
其中，RJs,y＝1为抽样设备样本中识别结果为风险设备中坏样本的数量；RJs,y＝0为抽样设备样本中识别结果为风险设备中好样本的数量；PSs,y＝0为抽样设备样本中识别结果为无风险设备中好样本的数量；PSs,y＝1为抽样设备样本中识别结果为无风险设备中坏样本的数量，α为第一样占所述风险设备样本的比例，β为第二样本占所述无风险设备样本的比例。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述模型指标为区分度和/或AUC，所述根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标包括：
根据所述识别结果计算所述设备识别模型在抽样设备样本上的区分度和/或AUC；
将所述设备识别模型在抽样设备样本上的区分度和/或AUC作为所述设备识别模型在所述原始测试设备样本上的区分度和/或AUC。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
若所述模型指标不满足预设条件，调整所述设备识别模型的参数，并重新训练所述设备识别模型。
7.一种基于分层抽样的风险设备识别装置，其特征在于，所述装置包括：
采集模块，用于采集历史设备样本训练设备识别模型；
分层抽样模块，采集原始测试设备样本，并基于训练好的设备识别模型对所述原始测试设备样本进行分层抽样，得到抽样设备样本以及所述抽样设备样本的识别结果；
确定模块，用于根据所述识别结果确定所述设备识别模型在所述原始测试设备样本上的模型指标；
判断模块，用于判断所述模型指标是否满足预设条件；
识别模块，用于若所述模型指标满足预设条件，基于所述设备识别模型识别待识别设备的设备风险。
8.一种电子设备，包括：
处理器；以及
存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行根据权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现权利要求1-6中任一项所述的方法。
CN202110833334.7A 2021-07-22 2021-07-22 基于分层抽样的风险设备识别方法、装置及电子设备 Pending CN113516398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110833334.7A CN113516398A (zh) 2021-07-22 2021-07-22 基于分层抽样的风险设备识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110833334.7A CN113516398A (zh) 2021-07-22 2021-07-22 基于分层抽样的风险设备识别方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113516398A true CN113516398A (zh) 2021-10-19

Family

ID=78067667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110833334.7A Pending CN113516398A (zh) 2021-07-22 2021-07-22 基于分层抽样的风险设备识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113516398A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701914A (zh) * 2023-06-21 2023-09-05 广东星云开物科技股份有限公司 一种硬件设备异常使用识别方法、装置、存储装置及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046876A (zh) * 2006-03-31 2007-10-03 探宇科技股份有限公司 应用数据挖掘方法的信用评分系统及信用评分方法
CN101719147A (zh) * 2009-11-23 2010-06-02 合肥兆尹信息科技有限责任公司 一种基于罗切斯特模型-朴素贝叶斯模型的数据分类系统
CN106066935A (zh) * 2016-05-27 2016-11-02 大连楼兰科技股份有限公司 损伤等级模型的性能分析方法及系统
CN108665166A (zh) * 2018-05-10 2018-10-16 易联支付有限公司 一种风险控制模型的训练方法及装置
CN109146667A (zh) * 2018-08-20 2019-01-04 众安在线财产保险股份有限公司 一种基于量化统计的外部接口综合应用模型的构建方法
CN109165284A (zh) * 2018-08-22 2019-01-08 重庆邮电大学 一种基于大数据的金融领域人机对话意图识别方法
CN109962795A (zh) * 2017-12-22 2019-07-02 中国移动通信集团广东有限公司 一种基于多维组合变量的4g用户流失预警方法和系统
CN110349038A (zh) * 2019-06-13 2019-10-18 中国平安人寿保险股份有限公司 风险评估模型训练方法和风险评估方法
CN110991657A (zh) * 2019-11-22 2020-04-10 深圳市魔数智擎人工智能有限公司 一种基于机器学习的异常样本检测方法
CN111160733A (zh) * 2019-12-16 2020-05-15 北京淇瑀信息科技有限公司 一种基于有偏样本的风险控制方法、装置及电子设备
CN111260209A (zh) * 2020-01-14 2020-06-09 山东大学 电子病历与医学影像结合的心血管疾病风险预测评估系统
CN111311402A (zh) * 2020-03-30 2020-06-19 百维金科(上海)信息科技有限公司 一种基于XGBoost的互联网金融风控模型
CN111861521A (zh) * 2019-04-26 2020-10-30 财付通支付科技有限公司 数据处理方法、装置、计算机可读介质及电子设备
CN112508697A (zh) * 2021-02-05 2021-03-16 北京淇瑀信息科技有限公司 一种资源回收风险预测方法、装置及电子设备
CN112633231A (zh) * 2020-12-30 2021-04-09 珠海大横琴科技发展有限公司 一种火灾识别的方法和装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046876A (zh) * 2006-03-31 2007-10-03 探宇科技股份有限公司 应用数据挖掘方法的信用评分系统及信用评分方法
CN101719147A (zh) * 2009-11-23 2010-06-02 合肥兆尹信息科技有限责任公司 一种基于罗切斯特模型-朴素贝叶斯模型的数据分类系统
CN106066935A (zh) * 2016-05-27 2016-11-02 大连楼兰科技股份有限公司 损伤等级模型的性能分析方法及系统
CN109962795A (zh) * 2017-12-22 2019-07-02 中国移动通信集团广东有限公司 一种基于多维组合变量的4g用户流失预警方法和系统
CN108665166A (zh) * 2018-05-10 2018-10-16 易联支付有限公司 一种风险控制模型的训练方法及装置
CN109146667A (zh) * 2018-08-20 2019-01-04 众安在线财产保险股份有限公司 一种基于量化统计的外部接口综合应用模型的构建方法
CN109165284A (zh) * 2018-08-22 2019-01-08 重庆邮电大学 一种基于大数据的金融领域人机对话意图识别方法
CN111861521A (zh) * 2019-04-26 2020-10-30 财付通支付科技有限公司 数据处理方法、装置、计算机可读介质及电子设备
CN110349038A (zh) * 2019-06-13 2019-10-18 中国平安人寿保险股份有限公司 风险评估模型训练方法和风险评估方法
CN110991657A (zh) * 2019-11-22 2020-04-10 深圳市魔数智擎人工智能有限公司 一种基于机器学习的异常样本检测方法
CN111160733A (zh) * 2019-12-16 2020-05-15 北京淇瑀信息科技有限公司 一种基于有偏样本的风险控制方法、装置及电子设备
CN111260209A (zh) * 2020-01-14 2020-06-09 山东大学 电子病历与医学影像结合的心血管疾病风险预测评估系统
CN111311402A (zh) * 2020-03-30 2020-06-19 百维金科(上海)信息科技有限公司 一种基于XGBoost的互联网金融风控模型
CN112633231A (zh) * 2020-12-30 2021-04-09 珠海大横琴科技发展有限公司 一种火灾识别的方法和装置
CN112508697A (zh) * 2021-02-05 2021-03-16 北京淇瑀信息科技有限公司 一种资源回收风险预测方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨春柏: "《大数据驱动下的心金融发展研究》", 科学技术文献出版社, pages: 157 - 159 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701914A (zh) * 2023-06-21 2023-09-05 广东星云开物科技股份有限公司 一种硬件设备异常使用识别方法、装置、存储装置及系统

Similar Documents

Publication Publication Date Title
CN111127178A (zh) 数据处理方法与装置、存储介质、电子设备
CN110659985A (zh) 一种捞回误拒潜在用户的方法、装置和电子设备
CN111210335A (zh) 用户风险识别方法、装置及电子设备
CN110688536A (zh) 一种标签预测方法、装置、设备和存储介质
CN110706096A (zh) 基于捞回用户管理授信额度的方法、装置和电子设备
CN112990294B (zh) 行为判别模型的训练方法、装置、电子设备及存储介质
CN111612040B (zh) 基于孤立森林算法的财务数据异常检测方法及相关装置
CN112529481A (zh) 一种用户捞回方法、装置及电子设备
CN111199469A (zh) 用户还款模型生成方法、装置及电子设备
CN111861521A (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN114444608A (zh) 数据集质量评估方法及装置、电子设备及存储介质
CN111967543A (zh) 用户资源配额确定方法、装置及电子设备
CN111931047A (zh) 基于人工智能的黑产账号检测方法及相关装置
CN111582645B (zh) 基于因子分解机的app风险评估方法、装置和电子设备
CA3135466A1 (en) User loan willingness prediction method and device and computer system
CN111181757B (zh) 信息安全风险预测方法、装置以及计算设备、存储介质
CN111210332A (zh) 贷后管理策略生成方法、装置及电子设备
CN111582315A (zh) 样本数据处理方法、装置及电子设备
CN115034596A (zh) 一种风险传导预测方法、装置、设备和介质
CN111161884A (zh) 针对不平衡数据的疾病预测方法、装置、设备及介质
CN111582649B (zh) 基于用户app独热编码的风险评估方法、装置和电子设备
CN111625555B (zh) 一种订单匹配方法、装置、设备及存储介质
CN113516398A (zh) 基于分层抽样的风险设备识别方法、装置及电子设备
CN110704614B (zh) 对应用中的用户群类型进行预测的信息处理方法及装置
CN111582647A (zh) 用户数据处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination