CN108764607A - 用户月数据复检方法、装置、设备及存储介质 - Google Patents

用户月数据复检方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108764607A
CN108764607A CN201810309824.5A CN201810309824A CN108764607A CN 108764607 A CN108764607 A CN 108764607A CN 201810309824 A CN201810309824 A CN 201810309824A CN 108764607 A CN108764607 A CN 108764607A
Authority
CN
China
Prior art keywords
user
data
script
list
fictitious users
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810309824.5A
Other languages
English (en)
Other versions
CN108764607B (zh
Inventor
戴秀凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201810309824.5A priority Critical patent/CN108764607B/zh
Publication of CN108764607A publication Critical patent/CN108764607A/zh
Application granted granted Critical
Publication of CN108764607B publication Critical patent/CN108764607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/105Human resources

Abstract

本发明属于数据处理技术领域,特别涉及一种用户月数据复检方法、装置、设备及存储介质,用户月数据复检方法包括获取用户行为数据,根据用户行为数据生成虚假用户名单,并根据虚假用户名单删除虚假用户,每隔预设时间段对虚假用户名单进行复检,判断是否存在恢复用户,当不存在恢复用户时,根据运行日脚本得到的数据计算用户月数据,当存在恢复用户时,创建恢复用户名单,对恢复用户名单中用户的数据进行恢复,并在完成用户数据恢复时获取当日的日脚本,根据日脚本生成月脚本,运行月脚本获取所述用户月数据。本发明能够实现对虚假用户进行筛选,删除虚假用户,自动生成月脚本获取用户月数据,减少工作量并增加数据准确率。

Description

用户月数据复检方法、装置、设备及存储介质
技术领域
本发明属于数据处理技术领域,特别涉及一种用户月数据复检方法、装置、设备及存储介质。
背景技术
目前,业绩考核是针对企业中每个职工所承担的工作,应用各种科学的定性和定量的方法,对职员行为的实际效果及其对企业的贡献或价值进行考核和评价。金融行业对业务员的考核指标中包括注册用户数,但是已注册用户中存在很多虚假用户,虚假用户的存在会使对业务员的考核不准确,影响公司业绩管理,因此每月需要手动对虚假用户进行清理,然后通过不同部门之间的人员配合重新补跑程序获取上月的数据。因此,现有技术中存在不能自动删除虚假用户重跑程序获取准确用户数据,导致工作量较大且人工操作出错率高的问题。
发明内容
本发明的目的在于提供一种用户月数据复检方法、装置、设备及存储介质,能够实现对虚假用户进行筛选,删除虚假用户,自动生成月脚本获取用户月数据。
本发明是这样实现的,本发明第一方面提供一种用户月数据复检方法,包括:
获取用户行为数据,根据所述用户行为数据生成虚假用户名单,并根据所述虚假用户名单删除虚假用户;
每隔预设时间段对所述虚假用户名单进行复检,判断是否存在恢复用户,当不存在恢复用户时,根据运行日脚本得到的数据计算用户月数据;
当存在恢复用户时,创建恢复用户名单,对所述恢复用户名单中用户的数据进行恢复,并在完成用户数据恢复时获取当日的日脚本;
根据所述日脚本生成月脚本,运行所述月脚本获取所述用户月数据。
本发明第二方面提供一种机构名称的智能搜索装置,所述机构名称的智能搜索装置包括:
虚假用户判断模块,用于获取用户行为数据,根据所述用户行为数据生成虚假用户名单,并根据所述虚假用户名单删除虚假用户;
虚假用户复检模块,用于每隔预设时间段对所述虚假用户名单进行复检,判断是否存在恢复用户,当不存在恢复用户时,根据运行日脚本得到的数据计算用户月数据;
恢复用户模块,用于当存在恢复用户时,创建恢复用户名单,对所述恢复用户名单中用户的数据进行恢复,并在完成用户数据恢复时获取当日的日脚本;
月数据获取模块,用于根据所述日脚本生成月脚本,运行所述月脚本获取所述用户月数据。
本发明第三方面提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本发明第一方面所述方法的步骤。
本发明第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本发明第一方面所述方法的步骤。
本发明提供一种用户月数据复检方法、装置、设备及存储介质,获取用户行为数据,根据用户行为数据生成虚假用户名单并删除虚假用户,每隔预设时间段对虚假用户名单进行复检,判断是否存在恢复用户,当不存在恢复用户时,根据运行日脚本得到的数据计算用户月数据,当存在恢复用户时,创建恢复用户名单,对恢复用户名单中用户的数据进行恢复,并在完成用户数据恢复时获取当日的日脚本,根据日脚本生成月脚本,运行月脚本获取所述用户月数据,实现了对虚假用户的筛选和删除,根据已有日脚本自动生成月脚本获取用户月数据,提高工作效率和数据准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一种实施例提供的一种用户月数据复检方法的流程图;
图2是本发明一种实施例提供的一种用户月数据复检方法中步骤S10的具体流程图;
图3是本发明一种实施例提供的一种用户月数据复检方法中步骤S20的具体流程图;
图4是本发明一种实施例提供的一种用户月数据复检方法中步骤S30的具体流程图;
图5是本发明一种实施例提供的一种用户月数据复检方法中步骤S40的具体流程图;
图6是本发明一种实施例提供的一种用户月数据复检方法中步骤S401的具体流程图;
图7是本发明第二实施例提供的一种用户月数据复检装置的结构示意图;
图8是本发明第二实施例提供的一种用户月数据复检装置中的月数据获取模块54的结构示意图;
图9是本发明第三实施例提供的终端设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明的技术方案,下面通过具体实施例来进行说明。
实施例1
本发明第一实施例提供一种用户月数据复检方法,如图1所示,用户月数据复检方法包括:
步骤S10,获取用户行为数据,根据所述用户行为数据生成虚假用户名单,并根据所述虚假用户名单删除虚假用户。
在步骤S10中,用户行为数据是指用户对用户账号进行操作的行为数据,例如,用户行为数据可以是用户登录的账号、用户登录账号次数、用户登录账号的时间、停留账户时长等等,获取用户行为数据是由对接该系统的统计工具生成的,统计工具是基于使用该系统的用户所产生的行为数据进行统计分析,统计用户行为指标包括用户账号名称、用户开启账号次数、启动账号频次、停留账号时长以及用户账号对应的设备号数量等,虚假用户名单是指用来存储虚假用户的名单,虚假用户是指为达到推广或任务目标进行注册,没有真实使用情况的用户,例如,虚假用户可以是通过注册机大量快速注册而没有真实使用情况的用户,通过设置本步骤,可以实现根据用户行为数据判断用户是否为虚假用户,创建虚假用户名单并删除虚假用户。
具体的,例如,从数据库中获取用户A的行为数据,用户A的行为数据包括用户A账号为userA,用户A账号登录次数为0次,用户A登录账号时间为空,用户A停留账户时长为0,通过统计工具对用户A的行为数据进行统计分析,分析获得用户A的用户账号名称为userA、用户开启账号次数为0次、启动账号频次为0、停留账号时长为0小时以及用户账号对应的设备号为160733efcb7cef745cf71a96777a5f77,将用户A判断为虚假用户,生成一个虚假用户名单,将用户A添加到虚假用户名单中,并在数据库中删除用户A对应的数据。
作为本实施例的一种实施方式,如图2所示,对于步骤S10中所述根据所述用户行为数据生成虚假用户名单,包括:
步骤S101,根据所述用户行为数据获取用户账号活跃度和用户账号对应设备号;
步骤S102,判断所述用户账号活跃度和所述用户账号对应设备号是否符合虚假用户预判条件,当所述用户账号活跃度或所述用户账号对应设备号符合所述虚假用户预判条件时,将用户判定为虚假用户,并生成虚假用户名单。
在步骤S101和步骤S102中,用户行为数据是指用户对用户账号进行操作的行为数据,例如,用户行为数据可以是用户登录的账号、用户登录账号次数、用户登录账号的时间、停留账户时长等等,用户账号活跃度是指线上产品的用户账号在线时长以及登录频次,例如,用户账号活跃度可以是通过统计工具对用户行为数据进行统计分析得出的活跃度数据,用户账号对应设备号是指注册用户账号时对应的设备号,例如,用户账号对应设备号可以是注册用户账号时的手机设备号,虚假用户预判条件是指预先设置的用来判断用户是否为虚假用户的条件,例如,虚假用户预判条件可以是用户账号活跃度为0的用户账号为虚假用户,也可以是用户账号对应设备号相同数量超过预设值的用户账号为虚假用户,虚假用户是指为达到推广或任务目标进行注册,没有真实使用情况的用户,例如,虚假用户可以是通过注册机大量快速注册而没有真实使用情况的用户,虚假用户名单是指用来存储虚假用户的名单。
具体的,例如,从数据库中获取用户A的行为数据,用户A的行为数据包括用户A账号为userA,用户A账号登录次数为0次,用户A登录账号时间为空,用户A停留账户时长为0,通过统计工具对用户A的行为数据进行统计分析,分析获得用户A的用户账号活跃度为0以及用户A账号对应设备号为160733efcb7cef745cf71a96777a5f77,获取预设的虚假用户预判条件,虚假用户预判条件为用户账号活跃度不低于活跃度预设值5或用户账号对应设备号相同数不超过设备号预设值5,对比用户A的用户账号活跃度与活跃度预设值5,可不进行用户账号对应设备号的判定,将用户A判定为虚假用户,也可以进一步查询设备号160733efcb7cef745cf71a96777a5f77对应的用户账号数量为100,将用户账号数量与设备号预设值5对比,将用户A判定为虚假用户,并生成一个虚假用户名单,将用户A添加到虚假用户名单中。
步骤S20,每隔预设时间段对所述虚假用户名单进行复检,判断是否存在恢复用户,当不存在恢复用户时,根据运行日脚本得到的数据计算用户月数据。
在步骤S20中,预设时间段是指预先设置的时间段间隔,用于对数据的检测,例如,预设时间段可以是1天或者1个月,虚假用户名单是指用来存储虚假用户的名单,复检是指对数据进行重新检测,恢复用户是指被错误判定为虚假用户的真实用户,例如,恢复用户可以是检测前长时间未登录视为虚假用户,但检测过后进行登录操作的用户,日脚本是指用于获取数据库中用户每日数据的脚本程序,例如,日脚本可以是用于获取2018年1月1日用户数据的etl程序,用户月数据是指数据库中所有用户一个月内使用产生的数据,是当月用户日数据的集合,当不存在恢复用户时,说明根据日脚本产生的数据是正确的数据,没有产生数据遗漏,此时,可以根据日脚本产生的数据正常计算月数据。通过设置本步骤,可以实现对虚假用户名单进行复检,避免将真实用户错误判定为虚假用户,并获取用户月数据。
具体的,例如,设置预设时间段为7天,在2018年1月1日获取用户日数据,根据用户行为数据判断是否存在虚假用户并生成了虚假用户名单A,同时在获取2018年1月2号至2018年1月7号的用户日数据时,也进行虚假用户的判定,并将判定的虚假用户添加到虚假用户名单A中,在2018年1月8日时对虚假用户名单A进行复检,获取虚假用户名单A中的用户账号,获取到用户B,根据用户B账号获取用户B行为数据,用户B的行为数据包括用户B账号为userB,用户B账号登录次数为0次,用户B登录账号时间为空,用户B停留账户时长为0,通过统计工具对用户B的行为数据进行统计分析,分析获得用户B的用户账号活跃度为0以及用户B账号对应设备号为160733efcb7cef745cf71a96777a5f77,根据预设的恢复用户判定条件判断用户B是否为恢复用户,根据用户B账号活跃度为0判定用户B不是恢复用户,并依次检测虚假用户名单A中的其他账号,当所有账号的活跃度均为0时,判定虚假用户名单A中不存在恢复用户时,再根据运行日脚本得到的数据计算得到用户月数据。
作为本实施例的一种实施方式,如图3所示,对于步骤S20中每隔预设时间段对所述虚假用户名单进行复检,判断是否存在恢复用户,包括:
步骤S201,每隔预设时间段获取所述虚假用户名单中用户账号活跃度,检测低活跃用户账号的活跃状态,当所述低活跃用户账号存在活跃状态时,将所述低活跃用户账号判定为恢复用户。
步骤S202,当所述低活跃用户账号不存在活跃状态时,将所述低活跃用户账号判定为虚假用户。
在步骤S201和步骤S202中,用户账号活跃度是指线上产品的用户账号在线时长以及登录频次,例如,用户账号活跃度可以是通过统计工具对用户行为数据进行统计分析得出的活跃度数据,低活跃用户账号是指用户账号活跃度低于预设值的用户账号,例如,低活跃用户账号可以是用户账号活跃度为0的用户账号,活跃状态是指用户账号上线产出的状态,例如,活跃状态可以是用户账号产生登录记录或者进行业务操作,恢复用户是指被错误判定为虚假用户的真实用户,例如,恢复用户可以是检测前长时间未登录,但检测过后进行登录操作的用户,虚假用户是指为达到推广或任务目标进行注册,没有真实使用情况的用户,例如,虚假用户可以是通过注册机大量快速注册而没有真实使用情况的用户。
具体的,例如,在2018年1月8日时对2018年1月8日之前的虚假用户名单A进行复检,获取虚假用户名单A中的用户账号,获取到用户B和用户C,根据用户B账号和用户C账号获取用户B和用户C的行为数据,用户B的行为数据包括用户B账号为userB,用户B账号登录次数为0次,用户B登录账号时间为空,用户B停留账户时长为0,通过统计工具对用户B的行为数据进行统计分析,分析获得用户B的用户账号活跃度为0以及用户B账号对应设备号为160733efcb7cef745cf71a96777a5f77,用户C的行为数据包括用户C账号为userC,用户C账号登录次数为5次,用户C登录账号时间为2018年1月3号至2018年1月7号,用户C停留账户时长为50分钟,通过统计工具对用户C的行为数据进行统计分析,分析获得用户C的用户账号活跃度为5以及用户C账号对应设备号为260733efcb7cef745cf71a96777a5f78,根据预设的恢复用户判定条件判断用户B和用户C是否为恢复用户,根据用户B的账号活跃度为0判定用户B是虚假用户,根据用户C账号活跃度为5和用户C存在登录记录,判定用户C为恢复用户。
步骤S30,当存在恢复用户时,创建恢复用户名单,对所述恢复用户名单中用户的数据进行恢复,并在完成用户数据恢复时获取当日的日脚本。
在步骤S30中,依次对虚假用户名单中的数据进行复检获取恢复用户,根据恢复用户创建恢复用户名单,依次对恢复用户名单中的恢复用户进行用户数据恢复,用户数据恢复是指恢复被误判的恢复用户被删除的用户数据,例如,用户数据恢复可以是恢复用户个人资料、用户登录记录、用户业务数据等等,由于存在恢复用户,则根据日脚本获取的数据已经不准确,此时不能采用根据日脚本的数据进行计算得到月数据的方式,需要重新根据恢复后的用户数计算月数据,本步骤中在完成用户数据恢复时获取当日的日脚本,通过对日脚本进行修改后重新获取月数据,通过设置本步骤,可以实现对被错误判定为虚假用户的真实用户的复检,并恢复被删数据,增强数据准确性。
作为本实施例的一种实施方式,如图4所示,对于步骤S30中对所述恢复用户名单中用户的数据进行恢复,包括:
步骤S301,在预设时间点获取所述恢复用户名单中恢复用户,在所述虚假用户名单中删除所述恢复用户。
步骤S302,将所述恢复用户对应所述用户数据还原至数据库中。
具体的,例如,在2018年1月8日时对2018年1月8日之前的虚假用户名单A进行复检,获取虚假用户名单A中的用户C账号,获取到用户C的行为数据,通过统计工具对用户C的行为数据进行统计分析,分析获得用户C的用户账号活跃度为5以及用户C账号对应设备号为260733efcb7cef745cf71a96777a5f78,根据预设的恢复用户判定条件判断用户C是否为恢复用户,根据用户C账号活跃度为5和用户C存在登录记录,判定用户C为恢复用户,生成恢复用户名单,并将用户C添加到恢复用户名单中,根据用户C账号搜索用户C账号对应的用户数据,用户数据包括用户C的个人资料,用户C的登录记录以及用户C的业务数据,将搜索到用户C对应数据重新存储至数据库中,并获取2018年1月8日的日脚本程序。
步骤S40,根据所述日脚本生成月脚本,运行所述月脚本获取所述用户月数据。
在步骤S40中,由于日脚本是指用于获取数据库中用户每日数据的脚本程序,例如,日脚本可以是用于获取2018年1月1日用户数据的etl程序,而月脚本是指用于获取数据库中用户每月数据的脚本程序,例如,月脚本可以是用于获取2018年1月份用户数据的etl程序,因此,日脚本和月脚本之间不同的部分仅在于上传数据的期限不同,即可以通过强制修改日脚本中的时间参数生成月脚本,在通过运行月脚本重新获取经过恢复用户数据后的当月用户数据得到正确的用户月数据。
作为本实施例的一种实施方式,如图5所示,对于步骤S40中根据所述日脚本生成月脚本,运行所述月脚本获取所述用户月数据,包括:
步骤S401,获取用户月数据的日期参数,将所述日脚本的日期参数修改为所述用户月数据的日期参数以生成月脚本。
步骤S402,执行所述月脚本,根据所述月脚本中的日期参数获取数据计算用户月数据。
在步骤S401和步骤S402中,用户月数据的日期参数是指月脚本的日期参数,例如用户月数据的日期参数可以是用户1月份的日期参数2018年1月1日至2018年1月31日,日脚本的日期参数是指用户日数据的日期参数,例如,日脚本的日期参数可以是2018年2月1日的日期参数2018年1月31日至2018年2月1日,月脚本是指用于获取数据库中用户月数据的脚本程序,例如,月脚本可以是用于获取2018年1月份用户数据的etl程序。
通过设置本步骤,本技术方案与现有技术相比其优点在于:由于系统每天生成环境上游生成很多张报表数据,其中有几张报表设计数据需要进行清理,例如,涉及虚假用户的清理,自动将符合虚假用户预判条件的用户账号确定为虚假用户,生成虚假用户名单并预删除虚假用户名单中的用户账号,通过预设条件对虚假用户进行判定并生成虚假用户名单,根据虚假用户名单对用户账号进行删除,将虚假用户删除后需要需要对虚假用户名单进行复检,从清理的名单中挑出待恢复的名单,通常恢复的名单在每月的1号到4号才进行恢复,恢复后需要对数据进行重跑,现有技术中没有建立脚本重跑机制之前,每个月月初找出所有任务,由于每个月都需要做重跑数据,在重跑数据时需要与运营部门的人员进行配合工作,告诉运营部门的人员任务需要重跑,帮忙把参数重新调一下,需要运营重新修改参数,例如,1月5日这一天,修改参数为2018年1月4日至2018年1月5日,需要跑月脚本时,跟运营说将参数改成2017年12月1日至2018年的1月1日,如果运营改错了对数据存在影响,本步骤中系统自动根据日脚本生成月脚本,运行月脚本获取用户月数据,避免了多人沟通并通过手工调整多个脚本导致工作量太大,而且手工调整很容易出错的问题。
作为本实施例的一种实施方式,如图6所示,对于步骤S401中将所述日脚本的日期参数修改为所述用户月数据的日期参数以生成月脚本,还包括:
步骤S4011,当所述日脚本为多个时,根据所述日脚本与日期的依赖关系获取重新执行脚本列表和不执行脚本列表。
步骤S4012,将所述重新执行脚本列表中的日脚本的日期参数修改为所述用户月数据的日期参数以生成月脚本。
在步骤S4011和步骤S4012中,日脚本是指用于获取数据库中用户每日数据的脚本程序,例如,日脚本可以是用于获取2018年1月1日用户数据的etl程序,依赖关系是指在软件工程对象模型中描述两个模型元素(类、用例等)之间的语义连接关系,例如,依赖关系可以是男业务员业绩脚本和女业务员业绩脚本依赖总业绩脚本,重新执行脚本列表是指一个存放拥有依赖关系的日脚本的列表,不执行脚本列表是指一个存放不拥有依赖关系的日脚本的列表,日脚本的日期参数是指用户日数据的日期参数,用户月数据的日期参数是指月脚本的日期参数例如用户月数据的日期参数可以是用户1月份的日期参数2018年1月1日至2018年1月31日,月脚本是指用于获取数据库中用户月数据的脚本程序,例如,月脚本可以是用于获取2018年1月份用户数据的etl程序。
本实施方式中通过修改日脚本,获取恢复后的名单数据,将需要重跑的任务挑出来,假设评估后有多个日脚本任务,将多个日脚本任务进行脚本复用,脚本复用是指日脚本任务任务复用成月脚本任务,例如A任务对应A脚本,B任务对应B脚本,将A任务设置成A/MOUTH,将B任务设置成B/MOUTH,通过调用A脚本和B脚本执行月任务,可以看出脚本数没变,但是任务数翻倍了,由于A和B是日脚本任务,A/MOUTH和B/MOUTH是月脚本任务,当监控日脚本任务是否跑完,例如每月5号,当日脚本任务跑完时调用A/MOUTH的任务,调出A/MOUTH的任务后修改上月数据,例如,正常时间参数为2018年1月4日至2018年1月5日,在执行完当日任务后,将时间改成12月1日到1月1日,当检测到月任务时强制修改参数;并且涉及多个脚本时,脚本之间的运行存在依赖关系,依赖关系是指跑完了一个脚本继续执行另一个脚本,在设置月任务时,将月任务进行合理拷贝,例如,日脚本A依赖于日脚本B和日脚本C,日脚本B和日脚本C跑完了再跑日脚本A,数据中原本存储的是A|B|C,A|B|C均在重跑的列表中,将其修改为A/MOUTH|B/MOUTH|C/MOUTH,其他不需要重跑的脚本就不需要增加/MOUTH,例如日脚本A依赖于日脚本B和日脚本C,还依赖与X表,X表不在重跑的列表中,则不需要将X表增加/MOUTH。当日任务传进来时,参数不变,当月任务传进来时强制修改参数,做一次评估后,自动根据依赖关系进行修改,第一次需要识别依赖关系,识别后进行配置,每个月根据依赖关系进行重跑数据。
本发明提供一种用户月数据复检方法,获取用户行为数据,根据用户行为数据生成虚假用户名单并删除虚假用户,每隔预设时间段对虚假用户名单进行复检,判断是否存在恢复用户,当不存在恢复用户时,根据运行日脚本得到的数据计算用户月数据,当存在恢复用户时,创建恢复用户名单,对恢复用户名单中用户的数据进行恢复,并在完成用户数据恢复时获取当日的日脚本,根据日脚本生成月脚本,运行月脚本获取所述用户月数据,实现了对虚假用户的筛选和删除,根据已有日脚本自动生成月脚本获取用户月数据,提高工作效率和数据准确性。
实施例2
本发明第二实施例提供一种用户月数据复检装置,如图7所示,用户月数据复检装置5包括:
虚假用户判断模块51,用于获取用户行为数据,根据所述用户行为数据生成虚假用户名单,并根据所述虚假用户名单删除虚假用户;
虚假用户复检模块52,用于每隔预设时间段对所述虚假用户名单进行复检,判断是否存在恢复用户,当不存在恢复用户时,根据运行日脚本得到的数据计算用户月数据;
恢复用户模块53,用于当存在恢复用户时,创建恢复用户名单,对所述恢复用户名单中用户的数据进行恢复,并在完成用户数据恢复时获取当日的日脚本;
月数据获取模块54,用于根据所述日脚本生成月脚本,运行所述月脚本获取所述用户月数据。
进一步,如图8所示,作为一种实施方式,所述月数据获取模块54包括:
月脚本生成模块541,用于获取用户月数据的日期参数,将所述日脚本的日期参数修改为所述用户月数据的日期参数以生成月脚本;
月脚本执行模块542,用于执行所述月脚本,根据所述月脚本中的日期参数获取数据计算用户月数据。
上述用户月数据复检装置5中模块的具体工作过程,可以参考前述实施例1中用户月数据复检方法对应的过程,在此不再赘述。
实施例3
本发明第三实施例提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例1中的一种用户月数据复检方法,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现上述实施例2中一种用户月数据复检装置中各模块/单元的功能,为避免重复,这里不再赘述。
实施例4
图9是本实施例中终端设备6的示意图。如图9所示,终端设备6包括处理器63、存储器61以及存储在存储器61中并可在处理器63上运行的计算机程序62。处理器63执行计算机程序62时实现上述实施例1中一种机构名称的智能搜索方法的各个步骤,例如图1所示的步骤S10、S20、S30和S40。或者,处理器63执行计算机程序62时实现上述实施例2中一种用户月数据装置各模块/单元的功能,如图7所示的虚假用户判断模块51、虚假用户复检模块52、恢复用户模块53以及月数据获取模块54。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种用户月数据复检方法,其特征在于,所述用户月数据复检方法包括:
获取用户行为数据,根据所述用户行为数据生成虚假用户名单,并根据所述虚假用户名单删除虚假用户;
每隔预设时间段对所述虚假用户名单进行复检,判断是否存在恢复用户,当不存在恢复用户时,根据运行日脚本得到的数据计算用户月数据;
当存在恢复用户时,创建恢复用户名单,对所述恢复用户名单中用户的数据进行恢复,并在完成用户数据恢复时获取当日的日脚本;
根据所述日脚本生成月脚本,运行所述月脚本获取所述用户月数据。
2.如权利要求1所述的用户月数据复检方法,其特征在于,所述根据所述用户行为数据生成虚假用户名单,包括:
根据所述用户行为数据获取用户账号活跃度和用户账号对应设备号;
判断所述用户账号活跃度和所述用户账号对应设备号是否符合虚假用户预判条件,当所述用户账号活跃度或所述用户账号对应设备号符合所述虚假用户预判条件时,将用户判定为虚假用户,并生成虚假用户名单。
3.如权利要求1所述的用户月数据复检方法,其特征在于,所述每隔预设时间段对所述虚假用户名单进行复检,判断是否存在恢复用户,包括:
每隔预设时间段获取所述虚假用户名单中用户账号活跃度,检测低活跃用户账号的活跃状态,当所述低活跃用户账号存在活跃状态时,将所述低活跃用户账号判定为恢复用户;
当所述低活跃用户账号不存在活跃状态时,将所述低活跃用户账号判定为虚假用户。
4.如权利要求1所述的用户月数据复检方法,其特征在于,所述对所述恢复用户名单中用户的数据进行恢复,包括:
在预设时间点获取所述恢复用户名单中恢复用户,在所述虚假用户名单中删除所述恢复用户;
将所述恢复用户对应所述用户数据还原至数据库中。
5.如权利要求1所述的用户月数据复检方法,其特征在于,所述根据所述日脚本生成月脚本,运行所述月脚本获取所述用户月数据,包括:
获取用户月数据的日期参数,将所述日脚本的日期参数修改为所述用户月数据的日期参数以生成月脚本;
执行所述月脚本,根据所述月脚本中的日期参数获取数据计算用户月数据。
6.如权利要求5所述的用户月数据复检方法,其特征在于,将所述日脚本的日期参数修改为所述用户月数据的日期参数以生成月脚本,包括:
当所述日脚本为多个时,根据所述日脚本与日期的依赖关系获取重新执行脚本列表和不执行脚本列表;
将所述重新执行脚本列表中的日脚本的日期参数修改为所述用户月数据的日期参数以生成月脚本。
7.一种用户月数据复检装置,其特征在于,所述用户月数据复检装置,包括:
虚假用户判断模块,用于获取用户行为数据,根据所述用户行为数据生成虚假用户名单,并根据所述虚假用户名单删除虚假用户;
虚假用户复检模块,用于每隔预设时间段对所述虚假用户名单进行复检,判断是否存在恢复用户,当不存在恢复用户时,根据运行日脚本得到的数据计算用户月数据;
恢复用户模块,用于当存在恢复用户时,创建恢复用户名单,对所述恢复用户名单中用户的数据进行恢复,并在完成用户数据恢复时获取当日的日脚本;
月数据获取模块,用于根据所述日脚本生成月脚本,运行所述月脚本获取所述用户月数据。
8.如权利要求7所述的用户月数据复检装置,其特征在于,所述月数据获取模块,包括:
月脚本生成模块,用于获取用户月数据的日期参数,将所述日脚本的日期参数修改为所述用户月数据的日期参数以生成月脚本;
月脚本执行模块,用于执行所述月脚本,根据所述月脚本中的日期参数获取数据计算用户月数据。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN201810309824.5A 2018-04-09 2018-04-09 用户月数据复检方法、装置、设备及存储介质 Active CN108764607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810309824.5A CN108764607B (zh) 2018-04-09 2018-04-09 用户月数据复检方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810309824.5A CN108764607B (zh) 2018-04-09 2018-04-09 用户月数据复检方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108764607A true CN108764607A (zh) 2018-11-06
CN108764607B CN108764607B (zh) 2022-04-15

Family

ID=63981426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810309824.5A Active CN108764607B (zh) 2018-04-09 2018-04-09 用户月数据复检方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108764607B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310128A (zh) * 2019-05-24 2019-10-08 中国平安人寿保险股份有限公司 虚假注册用户的过滤方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038412A (zh) * 2014-06-27 2014-09-10 小米科技有限责任公司 过滤垃圾消息的方法及装置
WO2016050064A1 (zh) * 2014-09-30 2016-04-07 中兴通讯股份有限公司 一种对获取加密内容的终端设备的权限管理装置及方法
CN106251162A (zh) * 2015-06-05 2016-12-21 科沃斯机器人股份有限公司 一种微商奖励方法及系统
CN106357811A (zh) * 2016-10-25 2017-01-25 广东欧珀移动通信有限公司 一种备份数据的删除方法、装置及系统
WO2017028689A1 (zh) * 2015-08-14 2017-02-23 阿里巴巴集团控股有限公司 一种网络平台下资源内容回收的方法和装置
CN107124391A (zh) * 2016-09-22 2017-09-01 北京小度信息科技有限公司 异常行为的识别方法及装置
CN107205019A (zh) * 2017-05-04 2017-09-26 聚好看科技股份有限公司 用户行为数据清理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038412A (zh) * 2014-06-27 2014-09-10 小米科技有限责任公司 过滤垃圾消息的方法及装置
WO2016050064A1 (zh) * 2014-09-30 2016-04-07 中兴通讯股份有限公司 一种对获取加密内容的终端设备的权限管理装置及方法
CN106251162A (zh) * 2015-06-05 2016-12-21 科沃斯机器人股份有限公司 一种微商奖励方法及系统
WO2017028689A1 (zh) * 2015-08-14 2017-02-23 阿里巴巴集团控股有限公司 一种网络平台下资源内容回收的方法和装置
CN107124391A (zh) * 2016-09-22 2017-09-01 北京小度信息科技有限公司 异常行为的识别方法及装置
CN106357811A (zh) * 2016-10-25 2017-01-25 广东欧珀移动通信有限公司 一种备份数据的删除方法、装置及系统
CN107205019A (zh) * 2017-05-04 2017-09-26 聚好看科技股份有限公司 用户行为数据清理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
粟武林: "一种基于逻辑回归的微博用户可信度评估方法", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310128A (zh) * 2019-05-24 2019-10-08 中国平安人寿保险股份有限公司 虚假注册用户的过滤方法和系统

Also Published As

Publication number Publication date
CN108764607B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
US10558629B2 (en) Intelligent data quality
Meneely et al. Predicting failures with developer networks and social network analysis
WO2022179008A1 (zh) 基于区块链的供应链金融AI DaaS算法仓库平台
Mockus Succession: Measuring transfer of code and developer productivity
EP3674918B1 (en) Column lineage and metadata propagation
CN102117323A (zh) 一种推荐求职简历的处理方法和系统
CN107993019B (zh) 一种简历评估方法及装置
CN106022708A (zh) 一种预测员工离职的方法
CN109039710B (zh) 路由数据稽核方法、装置、服务器及存储介质
Paruma-Pabón et al. Finding relationships between socio-technical aspects and personality traits by mining developer e-mails
KR102155877B1 (ko) 인공지능 학습 데이터 생성을 위한 크라우드소싱 플랫폼의 참여 자격에 매칭되는 프로젝트 정보 제공 방법
CN109460299B (zh) 一种分布式并行多源社交网络数据采集系统和方法
Boring Human reliability analysis for digital human-machine interfaces: a wish list for future research
CN107480188B (zh) 一种审计业务数据处理方法和计算机设备
Helal et al. Online correlation for unlabeled process events: A flexible CEP-based approach
CN111221873A (zh) 基于关联网络的企业间同名人识别方法及系统
CN108182512B (zh) 一种简历评估方法及装置
US8504412B1 (en) Audit automation with survey and test plan
CN108764607A (zh) 用户月数据复检方法、装置、设备及存储介质
Barcellos et al. A software measurement task ontology
KR102155839B1 (ko) 작업불가 사유 기반의 작업자 모니터링 방법 및 장치
Almomani et al. Software process improvement initiatives in small and medium firms: a systematic review
Dittrich et al. Network analysis of software repositories: identifying subject matter experts
Zou et al. An industrial case study of Coman's automated task detection algorithm: What Worked, What Didn't, and Why
Nasrullah et al. Risk Priority Analysis for Change Management on E-Government using RIPC4 and AHP

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant