CN114493699A - 一种基于异常检测的消费预警系统及其方法 - Google Patents

一种基于异常检测的消费预警系统及其方法 Download PDF

Info

Publication number
CN114493699A
CN114493699A CN202210090544.6A CN202210090544A CN114493699A CN 114493699 A CN114493699 A CN 114493699A CN 202210090544 A CN202210090544 A CN 202210090544A CN 114493699 A CN114493699 A CN 114493699A
Authority
CN
China
Prior art keywords
data
consumption
unit
user
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210090544.6A
Other languages
English (en)
Inventor
赖善炎
吴军芳
马智伟
叶春杨
周辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN202210090544.6A priority Critical patent/CN114493699A/zh
Publication of CN114493699A publication Critical patent/CN114493699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)

Abstract

本发明属于数据检测技术领域，公开了一种基于异常检测的消费预警系统及其方法，所述的系统包括数据可视化单元、数据库单元、数据获取单元、数据处理单元以及欺诈检测单元；所述的方法包括如下步骤：初始化消费预警系统，建立异常检测模型；获取并存储互联网的商家的用户消费与评价数据；对用户消费与评价数据进行标准化处理，得到并存储标准化数据；将标准化数据输入异常检测模型进行欺诈检测，得到并存储异常商家及其对应的离群值；根据异常商家及其对应的离群值生成并显示热力值地图。本发明解决了现有技术存在的欺诈行为难以区分、数据集难以采集的问题。

Description

一种基于异常检测的消费预警系统及其方法
技术领域
本发明属于数据检测技术领域，具体涉及一种基于异常检测的消费预警系统及其方法。
背景技术
随机社会的发展和人民生活水平的提高，服务行业和旅游业呈现出爆炸式的增长，但随之而来的是消费欺诈事件的不断发生。根据消费者协会的统计显示，消费领域的欺诈事件占所有欺诈事件的比例最高，而且还在不断增长。不幸的是，现有的欺诈检测的研究主要集中在金融领域和电信领域，如信用卡欺诈检测、电信欺诈检测、财务报表欺诈、保险欺诈等。现有消费欺诈领域的存在很多的挑战，这其中包括：欺诈行为难以被记录，欺诈行为难以区分，这就导致了数据集的缺失和不平衡。因此需要一种能够综合互联网中的商家信息数据进行消费预测的系统问世。
发明内容
为了解决现有技术存在的欺诈行为难以区分、数据集难以采集的问题，提出一种基于异常检测的消费预警系统及其方法。
本发明所采用的技术方案为：
一种基于异常检测的消费预警系统，包括数据可视化单元、数据库单元、数据获取单元、数据处理单元以及欺诈检测单元，所述的数据库单元分别与数据可视化单元、数据获取单元、数据处理单元以及欺诈检测单元连接，所述的数据获取单元连接有外部的互联网；
数据可视化单元，采用交互式可视化操作界面，用于提供独立的微服务进行用户登陆和信息管理，以及根据数据库单元提取的异常商家的离群值生成并显示包括异常商家的热力值地图；
数据获取单元，用于提供独立的微服务获取互联网中商家的用户消费与评价数据，并将用户消费与评价数据发送至数据库单元进行存储；
数据处理单元，用于提供独立的微服务对数据库单元提取的用户消费与评价数据进行标准化处理，并将得到的标准化数据发送至数据库单元进行存储；
数据库单元，用于存储用户信息数据、数据获取单元发送的用户消费与评价数据、数据处理单元发送的标准化数据以及欺诈检测单元发送的异常商家的离群值；
欺诈检测单元，用于提供独立的微服务基于异常检测模型对数据库单元提取的标准化数据进行欺诈检测，将得到的异常商家的离群值发送至数据库单元进行存储。
进一步地，数据库单元设置有用户信息数据库、用户消费与评价数据库、标准化数据库以及离群值库。
一种基于异常检测的消费预警方法，基于消费预警系统，包括如下步骤：
初始化消费预警系统，建立异常检测模型；
获取并存储互联网的商家的用户消费与评价数据；
对用户消费与评价数据进行标准化处理，得到并存储标准化数据；
将标准化数据输入异常检测模型进行欺诈检测，得到并存储异常商家及其对应的离群值；
根据异常商家及其对应的离群值生成并显示热力值地图。
进一步地，用户消费与评价数据包括商家的人均消费数据和用户评价数据。
进一步地，标准化处理，包括如下步骤：
获取不同周期的用户消费与评价数据的平均值；
获取商家的位置数据；
根据商家的位置数据按照不同的行政区分别对区域内不同周期的用户消费与评价数据的平均值进行标准化处理，得到并存储标准化数据。
进一步地，采用z-score标准化方法对不同周期的用户消费与评价数据的平均值进行标准化处理，z-score标准化方法的公式为：
zij＝(xij-xi)/si
式中，zij为标准化数据；xij为不同周期的用户消费与评价数据的平均值；xi为参与标准化的用户消费与评价数据的算术平均值；si为参与标准化的标准差。
进一步地，欺诈检测，包括如下步骤：
将输入异常检测模型的标准化数据进行加权求和，得到人均消费值和用户评分值；
根据人均消费值和用户评分值获取第三方特征；
根据第三方特征获取异常商家及其对应的离群值。
进一步地，根据人均消费值s和用户评分值r使用P特征转换算法进行转换，得到第三方特征，第三方特征包括P1＝(s+r)、P2＝(s/r)、P3＝(s-r)三个特征值。
进一步地，使用LOF算法进行异常检测，LOF算法的公式为：
Figure BDA0003488919110000041
式中，LOFk(p)为检测点p的局部离群因子，即离群值；Nk(p)为检测点p的k距离邻域；lrdk(o)、lrdk(p)分别为检测点p和临近点o的局部可达密度；p为检测点指示量，其坐标p(P1、P2、P3)根据第三方特征设置；o为临近点指示量，其坐标o(P1、P2、P3)根据第三方特征设置；k为检测点p的邻域指示量。
进一步地，生成热力值地图，包括如下步骤：
获取异常商家的位置数据和实时地图；
将离群值作为热力值设置于实时地图的异常商家的对应位置，得到包括异常商家的热力值地图。
本发明的有益效果为：
1)本发明提供的基于异常检测的消费预警系统，采用微服务的架构，实现了可视化显示、商家的用户消费与评价数据获取、数据标准化处理、欺诈检测以及包括潜在欺诈可能性商家的热力值地图显示的功能，提高了用户使用的便捷性和实用性，直观的观看存在异常商家的区域，改善了用户使用满意度，同时来自互联网的用户消费与评价数据为欺诈检测提供了足够的数据集。
2)本发明提供的基于异常检测的消费预警方法，通过将P特征转换算法与LOF算法相结合的异常检测模型进行欺诈检测，提高了欺诈检测的效率和准确性，并提高了对商家进行欺诈检测的可靠性和准确性，最后以热力值地图进行显示，使得用户和行政人员均可以清晰的查看商家的服务和潜在不良行为的情况，用户可以选择更加合适的消费场所，减少被欺诈的风险，此外还可以为管理人员提供更加合理的巡查方案，节约人力资源。
本发明的其他有益效果将在具体实施方式中进一步进行说明。
附图说明
图1是本发明中基于异常检测的消费预警系统的结构框图。
图2是本发明中基于异常检测的消费预警方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供一种基于异常检测的消费预警系统，包括数据可视化单元、数据库单元、数据获取单元、数据处理单元以及欺诈检测单元，所述的数据库单元分别与数据可视化单元、数据获取单元、数据处理单元以及欺诈检测单元连接，所述的数据获取单元连接有外部的互联网；
数据可视化单元，采用交互式可视化操作界面，用于提供独立的微服务进行用户登陆和信息管理，以及根据数据库单元提取的异常商家的离群值生成并显示包括异常商家的热力值地图；
数据获取单元，用于提供独立的微服务获取互联网中商家的用户消费与评价数据，并将用户消费与评价数据发送至数据库单元进行存储；
数据处理单元，用于提供独立的微服务对数据库单元提取的用户消费与评价数据进行标准化处理，并将得到的标准化数据发送至数据库单元进行存储；
数据库单元，用于存储用户信息数据、数据获取单元发送的用户消费与评价数据、数据处理单元发送的标准化数据以及欺诈检测单元发送的异常商家的离群值；
欺诈检测单元，用于提供独立的微服务基于异常检测模型对数据库单元提取的标准化数据进行欺诈检测，将得到的异常商家的离群值发送至数据库单元进行存储。
作为优选，数据库单元设置有用户信息数据库、用户消费与评价数据库、标准化数据库以及离群值库。
本发明提供的基于异常检测的消费预警系统，采用微服务的架构，实现了可视化显示、商家的用户消费与评价数据获取、数据标准化处理、欺诈检测以及包括潜在欺诈可能性商家的热力值地图显示的功能，提高了用户使用的便捷性和实用性，直观的观看存在异常商家的区域，改善了用户使用满意度，同时来自互联网的用户消费与评价数据为欺诈检测提供了足够的数据集。
实施例2：
如图2所示，本实施例提供一种基于异常检测的消费预警方法，基于消费预警系统，包括如下步骤：
初始化消费预警系统，建立异常检测模型；
获取并存储互联网的商家的用户消费与评价数据，用户消费与评价数据包括商家的人均消费数据和用户评价数据；
对用户消费与评价数据进行标准化处理，得到并存储标准化数据，包括如下步骤：
获取不同周期的用户消费与评价数据的平均值，包括用户消费与评价数据在一个月内的平均值、半个月内的平均值以及一个星期内的平均值；
获取商家的位置数据；
根据商家的位置数据按照不同的行政区分别对区域内不同周期的用户消费与评价数据的平均值进行标准化处理，得到并存储标准化数据；
采用z标准差z-score标准化方法对不同周期的用户消费与评价数据的平均值进行标准化处理，z-score标准化方法的公式为：
zij＝(xij-xi)/si
式中，zij为标准化数据；xij为不同周期的用户消费与评价数据的平均值；xi为参与标准化的用户消费与评价数据的算术平均值；si为参与标准化的标准差；
将标准化数据输入异常检测模型进行欺诈检测，得到并存储异常商家及其对应的离群值，包括如下步骤：
将输入异常检测模型的标准化数据进行加权求和，得到人均消费值和用户评分值；
根据人均消费值s和用户评分值r使用P特征转换算法进行转换，得到第三方特征，第三方特征包括P1＝(s+r)、P2＝(s/r)、P3＝(s-r)三个特征值；
根据第三方特征使用局部异常因子LOF算法进行异常检测，得到异常商家及其对应的离群值，商家的坐标整体间距，密度，分散情况较为均匀一致，可以认为是同一簇，孤立点则为潜在欺诈可能性的异常商家，LOF算法的公式为：
Figure BDA0003488919110000071
式中，LOFk(p)为检测点p的局部离群因子，即离群值；Nk(p)为检测点p的k距离邻域；lrdk(o)、lrdk(p)分别为检测点p和临近点o的局部可达密度；p为检测点指示量，其坐标p(P1、P2、P3)根据第三方特征设置；o为临近点指示量，其坐标o(P1、P2、P3)根据第三方特征设置；k为检测点p的邻域指示量；如果局部离群因子越接近1，说明检测点p的其邻域点密度差不多，检测点p可能和邻域同属一簇；如果局部离群因子越小于1，说明检测点p的密度高于其邻域点密度，检测点p为密集点；如果局部离群因子越大于1，检测点p的密度小于其邻域点密度，检测点p越可能是异常点，当检测点p的离群值大于预设的阈值，证明检测点p对应的商家为异常商家，其存在欺诈可能性较大；
局部可达密度的公式为：
Figure BDA0003488919110000081
式中，reach-distk(p,o)＝max{k-distance(o),d(p,o)}为检测点p到第k临域的临近点o的可达距离；k-distance(o)为检测点p的第k距离；d(p,o)＝dk(p)为检测点p到临近点o的距离；
根据异常商家及其对应的离群值生成并显示热力值地图，包括如下步骤：
获取异常商家的位置数据和实时地图；
将离群值作为热力值设置于实时地图的异常商家的对应位置，得到包括异常商家的热力值地图，本实施例中，对潜在欺诈可能性的异常商家以热力图的形式显示在地图上，但不会出现商家的具体信息，只以用热力值的点进行显示。
本发明提供的基于异常检测的消费预警方法，通过将P特征转换算法与LOF算法相结合的异常检测模型进行欺诈检测，提高了欺诈检测的效率和准确性，并提高了对商家进行欺诈检测的可靠性和准确性，最后以热力值地图进行显示，使得用户和行政人员均可以清晰的查看商家的服务和潜在不良行为的情况，用户可以选择更加合适的消费场所，减少被欺诈的风险，此外还可以为管理人员提供更加合理的巡查方案，节约人力资源。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.一种基于异常检测的消费预警系统，其特征在于：包括数据可视化单元、数据库单元、数据获取单元、数据处理单元以及欺诈检测单元，所述的数据库单元分别与数据可视化单元、数据获取单元、数据处理单元以及欺诈检测单元连接，所述的数据获取单元连接有外部的互联网；
数据可视化单元，采用交互式可视化操作界面，用于提供独立的微服务进行用户登陆和信息管理，以及根据数据库单元提取的异常商家的离群值生成并显示包括异常商家的热力值地图；
数据获取单元，用于提供独立的微服务获取互联网中商家的用户消费与评价数据，并将用户消费与评价数据发送至数据库单元进行存储；
数据处理单元，用于提供独立的微服务对数据库单元提取的用户消费与评价数据进行标准化处理，并将得到的标准化数据发送至数据库单元进行存储；
数据库单元，用于存储用户信息数据、数据获取单元发送的用户消费与评价数据、数据处理单元发送的标准化数据以及欺诈检测单元发送的异常商家的离群值；
欺诈检测单元，用于提供独立的微服务基于异常检测模型对数据库单元提取的标准化数据进行欺诈检测，将得到的异常商家的离群值发送至数据库单元进行存储。
2.根据权利要求1所述的基于异常检测的消费预警系统，其特征在于：所述的数据库单元设置有用户信息数据库、用户消费与评价数据库、标准化数据库以及离群值库。
3.一种基于异常检测的消费预警方法，基于如权利要求1所述的消费预警系统，其特征在于：包括如下步骤：
初始化消费预警系统，建立异常检测模型；
获取并存储互联网的商家的用户消费与评价数据；
对用户消费与评价数据进行标准化处理，得到并存储标准化数据；
将标准化数据输入异常检测模型进行欺诈检测，得到并存储异常商家及其对应的离群值；
根据异常商家及其对应的离群值生成并显示热力值地图。
4.根据权利要求3所述的基于异常检测的消费预警方法，其特征在于：所述的用户消费与评价数据包括商家的人均消费数据和用户评价数据。
5.根据权利要求3所述的基于异常检测的消费预警方法，其特征在于：所述的标准化处理，包括如下步骤：
获取不同周期的用户消费与评价数据的平均值；
获取商家的位置数据；
根据商家的位置数据按照不同的行政区分别对区域内不同周期的用户消费与评价数据的平均值进行标准化处理，得到并存储标准化数据。
6.根据权利要求5所述的基于异常检测的消费预警方法，其特征在于：采用z-score标准化方法对不同周期的用户消费与评价数据的平均值进行标准化处理，所述的z-score标准化方法的公式为：
zij＝(xij-xi)/si
式中，zij为标准化数据；xij为不同周期的用户消费与评价数据的平均值；xi为参与标准化的用户消费与评价数据的算术平均值；si为参与标准化的标准差。
7.根据权利要求3所述的基于异常检测的消费预警方法，其特征在于：所述的欺诈检测，包括如下步骤：
将输入异常检测模型的标准化数据进行加权求和，得到人均消费值和用户评分值；
根据人均消费值和用户评分值获取第三方特征；
根据第三方特征获取异常商家及其对应的离群值。
8.根据权利要求7所述的基于异常检测的消费预警方法，其特征在于：根据人均消费值s和用户评分值r使用P特征转换算法进行转换，得到第三方特征，所述的第三方特征包括P1＝(s+r)、P2＝(s/r)、P3＝(s-r)三个特征值。
9.根据权利要求8所述的基于异常检测的消费预警方法，其特征在于：使用LOF算法进行异常检测，所述的LOF算法的公式为：
Figure FDA0003488919100000031
式中，LOFk(p)为检测点p的局部离群因子，即离群值；Nk(p)为检测点p的k距离邻域；lrdk(o)、lrdk(p)分别为检测点p和临近点o的局部可达密度；p为检测点指示量，其坐标p(P1、P2、P3)根据第三方特征设置；o为临近点指示量，其坐标o(P1、P2、P3)根据第三方特征设置；k为检测点p的邻域指示量。
10.根据权利要求3所述的基于异常检测的消费预警方法，其特征在于：所述的生成热力值地图，包括如下步骤：
获取异常商家的位置数据和实时地图；
将离群值作为热力值设置于实时地图的异常商家的对应位置，得到包括异常商家的热力值地图。
CN202210090544.6A 2022-01-26 2022-01-26 一种基于异常检测的消费预警系统及其方法 Pending CN114493699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210090544.6A CN114493699A (zh) 2022-01-26 2022-01-26 一种基于异常检测的消费预警系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210090544.6A CN114493699A (zh) 2022-01-26 2022-01-26 一种基于异常检测的消费预警系统及其方法

Publications (1)

Publication Number Publication Date
CN114493699A true CN114493699A (zh) 2022-05-13

Family

ID=81473674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210090544.6A Pending CN114493699A (zh) 2022-01-26 2022-01-26 一种基于异常检测的消费预警系统及其方法

Country Status (1)

Country Link
CN (1) CN114493699A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474539A (zh) * 2023-12-25 2024-01-30 青岛天高智慧科技有限公司 一种校园一卡通数据智能管理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474539A (zh) * 2023-12-25 2024-01-30 青岛天高智慧科技有限公司 一种校园一卡通数据智能管理方法
CN117474539B (zh) * 2023-12-25 2024-03-29 青岛天高智慧科技有限公司 一种校园一卡通数据智能管理方法

Similar Documents

Publication Publication Date Title
CN108053087A (zh) 反洗钱监测方法、设备及计算机可读存储介质
CN111553563A (zh) 企业欺诈风险的确定方法及装置
CN114078050A (zh) 贷款逾期预测方法、装置、电子设备及计算机可读介质
CN114493699A (zh) 一种基于异常检测的消费预警系统及其方法
CN112686473A (zh) 一种基于分类算法的用电量预测方法及预测系统
CN115545516A (zh) 一种基于流程引擎的绩效数据处理方法、装置及系统
CN114331719A (zh) 一种基于大数据的交易风控指标智能分析系统
CN114819494A (zh) 一种企业风险预警方法、装置、设备及介质
CN110210868B (zh) 数值转移数据的处理方法及电子设备
CN111861587A (zh) 一种基于隐马尔可夫模型和向前算法的居民用电行为分析的系统及方法
CN116563028A (zh) 基于ai的报送数据校验方法、系统及存储介质
Eckstrom et al. Outing power outages: real-time and predictive socio-demographic analytics for New York City
CN116680641A (zh) 一种基于机器学习算法的用户用电异常检测方法
CN116468540A (zh) 基于大数据的消费金融客群风险识别系统及其方法
US11961145B2 (en) Method for predicting financial product price based on accumulation distribution indicator
CN115409616A (zh) 风险检测方法、装置、设备、存储介质及产品
CN114626900A (zh) 一种基于特征识别和大数据分析的智能管理系统
CN112801788A (zh) 一种互联网股权融资平台监控系统及监控方法
CN112801528A (zh) 车险风险监测方法、装置、存储介质及计算机设备
CN113065710A (zh) 一种基于人工智能和区块链的金融预测系统
CN112052737A (zh) 一种金融机构营业网点治理方法、系统、存储介质及电子设备
CN111967783A (zh) 一种基于计算人工智能企业数据分析系统
CN117808601B (zh) 一种基于大数据的资金追溯方法及系统
CN115563185B (zh) 一种用户信息统计的一卡通系统
KR102566466B1 (ko) 개인의 신용도 평가를 위한 대체 신용 평가 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination