CN112988851A - 反事实预测模型数据处理方法、装置、设备及存储介质 - Google Patents

反事实预测模型数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112988851A
CN112988851A CN202110461378.1A CN202110461378A CN112988851A CN 112988851 A CN112988851 A CN 112988851A CN 202110461378 A CN202110461378 A CN 202110461378A CN 112988851 A CN112988851 A CN 112988851A
Authority
CN
China
Prior art keywords
data
counterfactual
prediction
countermeasure
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110461378.1A
Other languages
English (en)
Other versions
CN112988851B (zh
Inventor
孙继超
叶志豪
田彦培
陈曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110461378.1A priority Critical patent/CN112988851B/zh
Publication of CN112988851A publication Critical patent/CN112988851A/zh
Application granted granted Critical
Publication of CN112988851B publication Critical patent/CN112988851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Abstract

本申请公开了一种反事实预测模型数据处理方法、装置、设备及存储介质,涉及人工智能技术领域。所述方法包括:获取与目标事件相关的历史观测数据;基于历史观测数据构建训练样本;通过编码网络基于训练样本,得到应对措施预测数据和平衡表示参数;通过解码网络基于平衡表示参数和应对措施真实数据,得到输出变量预测数据;基于应对措施预测数据、应对措施真实数据、输出变量预测数据和标签数据,确定训练损失;基于训练损失对模型进行训练。本申请提供的训练方法能够消除时变混杂因素和应对措施之间的关联,从而在反事实预测时,可以消除时变混杂因素所造成的偏差,提高了模型的预测准确性。本申请提供的技术方案适用于疫情的反事实预测。

Description

反事实预测模型数据处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及人工智能技术领域,特别涉及一种反事实预测模型数据处理方法、装置、设备及存储介质。
背景技术
随着人工智能技术在反事实预测模型方面的研究和进步,科研人员可以通过反事实预测模型预测目标应对措施对疫情的管控效果。
以由一个循环神经网络组成的反事实预测模型为例,基于历史疫情数据对该反事实预测模型进行训练,得到训练好的反事实预测模型,然后通过改变模型的输入数据,预测疫情未来发展趋势。例如,将模型的输入数据中的应对措施替换成目标应对措施,以预测目标应对措施对疫情的管控效果。
然而,由于时变混杂因素会和应对措施之间存在关联,反事实预测模型基于目标应对措施得到的预测结果是有偏差的,不够准确。
发明内容
本申请实施例提供了一种反事实预测模型数据处理方法、装置、设备及存储介质,能够提升反事实预测模型的预测准确性。所述技术方案包括如下内容。
根据本申请实施例的一个方面,提供了一种反事实预测模型数据处理方法,所述反事实预测模型包括编码网络和解码网络,所述方法包括:
获取与目标事件相关的历史观测数据,所述历史观测数据包括多个历史时间单元分别对应的观测数据,所述观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据;
基于所述历史观测数据构建训练样本,所述训练样本的输入数据包括第一历史时间单元序列对应的观测数据,所述训练样本的标签数据包括第二历史时间单元序列对应的输出变量真实数据;
通过所述编码网络基于所述训练样本的输入数据,得到所述训练样本对应的应对措施预测数据和平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联;
通过所述解码网络基于所述训练样本对应的平衡表示参数和应对措施真实数据,得到所述训练样本对应的输出变量预测数据;
基于所述训练样本对应的应对措施预测数据、应对措施真实数据、输出变量预测数据和标签数据,确定所述反事实预测模型的训练损失;
基于所述训练损失对所述反事实预测模型进行训练。
根据本申请实施例的一个方面,提供了一种事件的反事实预测方法,所述方法包括:
获取与目标事件相关的历史观测数据,所述历史观测数据包括多个历史时间单元分别对应的观测数据,所述观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据;
基于所述历史观测数据构建参考数据,所述参考数据包括参考历史时间单元序列对应的时变混杂因素数据和输出变量真实数据;
获取第一应对措施设定数据,所述第一应对措施设定数据用于替换所述应对措施真实数据输入至反事实预测模型;
通过所述反事实预测模型基于所述参考数据,得到所述参考数据的平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联;
通过所述反事实预测模型基于所述参考数据的平衡表示参数和所述第一应对措施设定数据,得到所述第一应对措施设定数据对应的输出变量预测数据。
根据本申请实施例的一个方面,提供了一种反事实预测模型数据处理装置,所述反事实预测模型包括编码网络和解码网络,所述装置包括:
观测数据获取模块,用于获取与目标事件相关的历史观测数据,所述历史观测数据包括多个历史时间单元分别对应的观测数据,所述观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据;
训练样本构建模块,用于基于所述历史观测数据构建训练样本,所述训练样本的输入数据包括第一历史时间单元序列对应的观测数据,所述训练样本的标签数据包括第二历史时间单元序列对应的输出变量真实数据;
中间数据获取模块,用于通过所述编码网络基于所述训练样本的输入数据,得到所述训练样本对应的应对措施预测数据和平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联;
预测数据获取模块,用于通过所述解码网络基于所述训练样本对应的平衡表示参数和应对措施真实数据,得到所述训练样本对应的输出变量预测数据;
训练损失确定模块,用于基于所述训练样本对应的应对措施预测数据、应对措施真实数据、输出变量预测数据和标签数据,确定所述反事实预测模型的训练损失;
预测模型训练模块,用于基于所述训练损失对所述反事实预测模型进行训练。
根据本申请实施例的一个方面,提供了一种事件的反事实预测装置,所述装置包括:
历史数据获取模块,用于获取与目标事件相关的历史观测数据,所述历史观测数据包括多个历史时间单元分别对应的观测数据,所述观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据;
参考数据构建模块,用于基于所述历史观测数据构建参考数据,所述参考数据包括参考历史时间单元序列对应的时变混杂因素数据和输出变量真实数据;
设定数据获取模块,用于获取第一应对措施设定数据,所述第一应对措施设定数据用于替换所述应对措施真实数据输入至反事实预测模型;
平衡表示获取模块,用于通过所述反事实预测模型基于所述参考数据,得到所述参考数据的平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联;
输出变量预测模块,用于通过所述反事实预测模型基于所述参考数据的平衡表示参数和所述第一应对措施设定数据,得到所述第一应对措施设定数据对应的输出变量预测数据。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述反事实预测模型数据处理方法,或者上述事件的反事实预测方法。
可选地,所述计算机设备为终端或服务器。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述反事实预测模型数据处理方法,或者上述事件的反事实预测方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述反事实预测模型数据处理方法,或者上述事件的反事实预测方法。
本申请实施例提供的技术方案可以包括如下有益效果:
通过历史观察数据对反事实预测模型的编码网络进行训练,消除了时变混杂因素和应对措施真实数据之间的关联,并基于两者之间的平衡表示参数和应对措施真实数据对反事实预测模型的解码网络进行训练,得到训练好的反事实预测模型。实现了在对应对措施真实数据进行反事实操作时,反事实预测模型的预测结果不会因时变混杂因素和应对措施真实数据之间的关联的影响而产生偏差,从而提高了反事实预测模型的预测准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的反事实预测模型数据处理方法的流程图;
图2是本申请一个实施例提供的反事实预测模型的示意图;
图3是本申请一个实施例提供的事件的反事实预测方法的流程图;
图4是本申请另一个实施例提供的事件的反事实预测方法的流程图;
图5是本申请一个实施例提供的应对措施的效果探究的流程图;
图6是本申请一个实施例提供的应对措施的管控效果的数据表;
图7是本申请一个实施例提供的反事实预测模型数据处理装置的框图;
图8是本申请一个实施例提供的事件的反事实预测装置的框图;
图9是本申请一个实施例提供的计算机设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习技术,利用机器学习技术训练反事实预测模型,通过该反事实预测模型对目标事件(如疫情、交通事故、自然灾害等)的应对措施的管控结果进行预测。
本申请实施例提供的方法,各步骤的执行主体可以是计算机设备,该计算机设备是指具备数据计算、处理和存储能力的电子设备。该计算机设备可以是诸如PC(PersonalComputer,个人计算机)、平板电脑、智能手机、可穿戴设备、智能机器人等终端;也可以是服务器。其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。
可选地,本申请中所涉及的各种预先存储的数据可保存于区块链上,诸如目标事件相关的历史观测数据(如历史疫情数据)、反事实预测模型的参数等。
本申请实施例提供的技术方案,可以被使用在任何需要反事实预测功能的产品或系统中,比如疫情防控系统、交通事故防控系统、自然灾害防控系统等,本申请实施例提供的技术方案能够有效提升反事实预测模型的预测准确性。
示例性地,在预测目标应对措施对疫情的管控效果的场景下,利用历史疫情数据对反事实预测模型进行训练,得到了可消除时变混杂因素和应对措施之间的关联的反事实预测模型,进而可以通过调整应对措施(例如将历史疫情数据中的应对措施修改为目标应对措施,或增加目标应对措施等),来预测目标应对措施对疫情的管控效果。
可选地,本申请实施例提供的技术方案可适用于预测目标应对措施对交通事故的管控效果的场景中,还适用于预测目标应对措施对自然灾害的管控效果的场景中,本申请实施例在此不作限定。
请参考图1,其示出了本申请一个实施例提供的反事实预测模型数据处理方法的流程图。该方法各步骤的执行主体可以是上文介绍的计算机设备,该方法可以包括如下几个步骤(101~106)。
步骤101,获取与目标事件相关的历史观测数据,历史观测数据包括多个历史时间单元分别对应的观测数据,观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据。
在本申请实施例中,反事实预测是指一种提出与事实不同的假定,并由此假定出发来预测事实结果可能发生的各种变化的预测方法。其可以是与事实相反的假定。例如,在事实情况中并没有采用应对措施A(或应对措施组合),则可假定采用了应对措施A(或应对措施组合)。其也可以是调整事实的假定。例如,在事实情况中采用应对措施A,则可假定增强了应对措施A的管控力度。其还可以是替换事实的假定。例如,在事实情况中采用应对措施A,则可假定应对措施B(或应对措施组合)替代了应对措施A被采用,本申请实施例在此不作限定。反事实预测模型可用于通过对应对措施进行反事实操作来预测目标应对措施对目标事件的管控效果。其中,目标事件可以是任何有反事实预测需求的事件,诸如疫情事件、交通事件、以及任何可通过应对措施进行管控的事件等。例如,以新冠肺炎疫情事件为例,可以通过对新冠肺炎疫情事件中的非药物性应对措施进行反事实操作(如假设增加新的非药物性应对措施),来预测新的非药物性应对措施对新冠肺炎疫情事件的管控效果。
可选地,历史观测数据是指用于描述目标事件的历史发展过程的数据。历史时间单元可以是指小时、天、周、年等时间单位,本申请实施例在此不作限定。时变混杂因素数据是指与应对措施真实数据相关联的因素的数据,若时变混杂因素在历史观测数据中分布不均的,可以歪曲应对措施真实数据与输出变量真实数据之间的真正关联。例如,在新冠肺炎疫情事件中,时变混杂因素数据可以是温度数据、人口流动数据等。其中,应对措施真实数据是指在目标事件的历史管控中所用到的应对措施对应的数据。输出变量真实数据是指用于描述目标事件的历史状态的数据。例如,疫情事件中的病例数或死亡数、交通事件的事故发生数、等等。
可选地,观测数据还可以包括固定因素的数据,固定因素是指与应对措施真实数据不关联,但会影响应输出变量真实数据的因素。例如,疫情事件中的人口密度、人均GDP(Gross Domestic Product,国内生产总值)、等等。
可选地,可以基于需求调整输出变量真实数据的类型,来调整反事实预测模型的输出变量。例如,输出变量真实数据可以只有病例数,也可以只有死亡数,还可以同时有病例数和死亡数。
示例性地,以新冠肺炎疫情事件为例,新冠肺炎疫情事件的历史观测数据可以是一个月内的时变混杂因素数据、应对措施真实数据、真实病例数和固定因素数据。历史时间单元的时间单位以及数量可根据实际需求进行设定。
步骤102,基于历史观测数据构建训练样本,训练样本的输入数据包括第一历史时间单元序列对应的观测数据,训练样本的标签数据包括第二历史时间单元序列对应的输出变量真实数据。
训练样本用于训练反事实预测模型。在本申请实施例中,训练样本包括输入数据和标签数据。输入数据是指反事实预测模型的输入数据,标签数据是指反事实预测模型的比对数据,结合输入数据和标签数据对反事实预测模型进行训练。
可选地,在本申请实施例中,第一历史时间单元序列对应的观测数据和第二历史时间单元序列对应的输出变量真实数据是成对构建的。第一历史时间单元序列对应的历史时间单元数量与第二历史时间单元序列对应的历史时间单元数量相同。第一历史时间单元序列对应的观测数据和第二历史时间单元序列对应的输出变量真实数据是依次一一对应的。
示例性地,第一历史时间单元序列包括多个历史时间单元中的第n个历史时间单元至第n+k个历史时间单元,n为正整数,k为正整数;第二历史时间单元序列包括多个历史时间单元中的第n+p个历史时间单元至第n+k+p个历史时间单元,p为正整数。
其中,k是指第一历史时间单元序列所包括的历史时间单元的数量。p是指目标预测时间单元。例如,需要反事实预测某一个历史时间单元在14天后的输出变量,该14天则为目标预测时间单元。可选地,k和p可以根据实际需求进行设定。
示例性地,在需要获取某一历史时间单元在p个历史时间单元后的输出变量预测数据的情况下,若选择历史观测数据中的第n个历史时间单元对应的观测数据为第一历史时间单元序列中的第1个观测数据,则第二历史时间单元序列中的第1个输出变量真实数据应当是历史观测数据中的第n+p个历史单元对应的输出变量真实数据。例如,以疫情事件为例。反事实预测模型需要基于第一历史时间单元序列中的第1个历史时间单元对应的观测数据,预测14个历史时间单元后(即第15个历史时间单元)的病例数,则第二历史时间单元序列中的第1个历史时间单元对应的病例数应当是历史观察数据中的第15个历史单元对应的病例数。
可选地,训练样本可以包括多组对应的第一历史事件单元序列对应的观测数据和第二历史事件单元序列对应的输出变量真实数据。
步骤103,通过编码网络基于训练样本的输入数据,得到训练样本对应的应对措施预测数据和平衡表示参数,平衡表示参数用于消除时变混杂因素数据与应对措施真实数据之间的关联。
在本申请实施例中,反事实预测模型包括编码网络和解码网络。其中,编码网络包括特征提取网络和应对措施分类网络。特征提取网络用于对输入数据进行特征提取以及确定下文中的平衡表示参数,应对措施分类网络用于对输入数据对应的应对措施预测数据进行分类。可选地,本申请提供的编码网络可以是由LSTM(Long Short-Term Memory,长短期记忆)网络和GRL(Gradient Reversal Layer,梯度逆转层)组成,GRL被设置在LSTM网络的特征提取网络和应对措施分类网络之间。例如,参考图2,反事实预测模型200包括LSTM网络201、梯度逆转层202和全连接神经网络203。在LSTM网络201的特征提取网络和应对措施分类网络之间设置有梯度逆转层202。LSTM网络201的输出与全连接神经网络203连接。
可选地,基于输入数据对反事实预测模型进行训练,可以得到应对措施真实数据和输出变量真实数据之间的关联,然而由于时变混杂因素和应对措施之间存在关联,时变混杂因素随时间单元的变动会对应对措施造成影响,进而得不到应对措施真实数据和输出变量真实数据之间的真正关联。本申请通过将时变混杂因素对输出变量真实数据的间接影响进行参数固定化,将两者之间的间接关系转换成类似于固定因素与输出变量真实数据之间的关联的等效表示,即上述的平衡表示参数,以消除时变混杂因素数据对应对措施真实数据的影响。然后在平衡表示参数的基础上,确定应对措施真实数据和输出变量真实数据之间的关联。平衡表示参数可用如下公式表示:
Figure 867687DEST_PATH_IMAGE001
其中,
Figure 519249DEST_PATH_IMAGE002
是指平衡表示参数,
Figure 971090DEST_PATH_IMAGE003
是指反事实预测模型,
Figure 100720DEST_PATH_IMAGE004
是指前n个历史时间单元内的累计输出变量真实数据,
Figure 578407DEST_PATH_IMAGE005
是指前n个历史时间单元内的累计时变混杂因素数据,S是指固定因素。
应对措施预测数据是指反事实预测模型对输入数据对应的应对措施的预测数据。
示例性地,应对措施预测数据和平衡表示参数的具体获取过程可以如下:
通过编码网络基于训练样本的输入数据中的第n个历史时间单元至第n+i个历史时间单元的时变混杂因素数据和输出变量真实数据,得到第n+i个历史时间单元的平衡表示参数,i为小于等于k的正整数;通过编码网络基于第n+i个历史时间单元的平衡表示参数和输出变量真实数据,得到第n+i个历史时间单元的应对措施预测数据。
在一个示例性实施例中,平衡表示参数的获取过程可以用如下公式表示:
Figure 135290DEST_PATH_IMAGE006
其中,
Figure 74427DEST_PATH_IMAGE007
是指第t个历史时间单元(即上述的第n+i个历史时间单元)的平衡表示参数,
Figure 7748DEST_PATH_IMAGE008
是指第t-1个历史时间单元的平衡表示参数,
Figure 348731DEST_PATH_IMAGE009
是相位相乘运算符号;
Figure 76515DEST_PATH_IMAGE010
Figure 502949DEST_PATH_IMAGE011
是指LSTM网络的遗忘门所获取的数据,
Figure 974381DEST_PATH_IMAGE012
是指Sigmoid函数,
Figure 169870DEST_PATH_IMAGE013
Figure 334135DEST_PATH_IMAGE014
是权重参数,
Figure 247865DEST_PATH_IMAGE015
Figure 254479DEST_PATH_IMAGE016
是指偏置参数,
Figure 570054DEST_PATH_IMAGE017
是指第t个历史时间单元的观测数据(例如时变混杂因素数据、固定因素数据和输出变量真实数据),
Figure 639641DEST_PATH_IMAGE018
是指第t-1个历史时间单元的应对措施预测数据;
Figure 306246DEST_PATH_IMAGE019
Figure 322744DEST_PATH_IMAGE020
是指LSTM网络的输入门所获取的数据,
Figure 758404DEST_PATH_IMAGE021
Figure 202155DEST_PATH_IMAGE022
是权重参数,
Figure 621635DEST_PATH_IMAGE023
Figure 238561DEST_PATH_IMAGE024
是指偏置参数;
Figure 263149DEST_PATH_IMAGE025
Figure 943048DEST_PATH_IMAGE026
是指LSTM网络的细胞状态的候选数据,
Figure 53086DEST_PATH_IMAGE027
是双曲正切函数,
Figure 942545DEST_PATH_IMAGE028
Figure 149535DEST_PATH_IMAGE029
是权重参数,
Figure 935089DEST_PATH_IMAGE030
Figure 594740DEST_PATH_IMAGE031
是指偏置参数。
应对措施预测数据的获取过程可以用如下公式表示:
Figure 491152DEST_PATH_IMAGE032
其中,
Figure 287069DEST_PATH_IMAGE033
是指第t个历史时间单元(即上述的第n+i个历史时间单元)的应对措施预测数据,
Figure 243524DEST_PATH_IMAGE034
Figure 124893DEST_PATH_IMAGE035
是指LSTM网络的输出门所获取的数据,
Figure 887312DEST_PATH_IMAGE036
Figure 738069DEST_PATH_IMAGE037
是权重参数,
Figure 662163DEST_PATH_IMAGE038
Figure 30827DEST_PATH_IMAGE039
是指偏置参数。
可选地,在获取第n个历史时间单元的平衡表示参数时,直接基于第n个历史时间单元的输入数据即可,即不包括上述的
Figure 269042DEST_PATH_IMAGE040
项和
Figure 305131DEST_PATH_IMAGE041
项。
可选地,在将训练样本的输入数据输入至反事实预测模型之前,还需要对输入数据进行预处理。例如,先将输入数据按照时间序列整理成输入矩阵,再获取输入矩阵对应的词向量表示,最后对词向量表示进行标准化、归一化处理,得到最终的词向量表示。
需要说明的是,上文介绍的以及图2示出的反事实预测模型,仅是示例性和解释性的,可以结合实际情况,对反事实预测模型的结构进行调整。例如,将上述LSTM网络替换成其他能够处理时间序列的机器学习网络,例如卷积神经网络、Transformer网络模型等。本申请不对反事实预测模型的具体结构进行限定,任何具有反事实预测功能的神经网络模型,都应当在本申请保护范围之内。
步骤104,通过解码网络基于训练样本对应的平衡表示参数和应对措施真实数据,得到训练样本对应的输出变量预测数据。
输出变量预测数据是指反事实预测模型对在目标时间单元后的输出变量的预测数据。例如,以疫情事件为例,训练样本的输出数据中第1天的病例数为A,通过反事实预测模型预测3天之后的病例数,则反事实预测模型的输出即为第4天的预测病例数(即输出变量预测数据)。
示例性地,输出变量预测数据的具体获取过程可以如下:通过解码网络基于第n+i个历史时间单元的平衡表示参数和应对措施真实数据,得到第n+i个历史时间单元的输出变量预测数据。
输出变量预测数据可用如下公式表示:
Figure 337809DEST_PATH_IMAGE042
其中,
Figure 459348DEST_PATH_IMAGE043
是指第n+i个历史时间单元的输出变量预测数据,
Figure 501254DEST_PATH_IMAGE044
是指第n+i个历史时间单元的应对措施真实数据,h是指输出变量预测数据、平衡表示参数和应对措施真实数据之间的关联函数,
Figure 329533DEST_PATH_IMAGE045
是指误差函数。可见,在时变混杂因素数据被转换成平衡表示参数之后,对应对措施进行反事实操作时,时变混杂因素不会再对其造成影响,也即不影响预测结果,如此可以实现无偏差的反事实预测,提高反事实预测模型的预测准确性。
步骤105,基于训练样本对应的应对措施预测数据、应对措施真实数据、输出变量预测数据和标签数据,确定反事实预测模型的训练损失。
可选地,训练损失的具体计算过程可以如下:基于训练样本对应的应对措施预测数据和应对措施真实数据,计算分类损失;基于训练样本对应的输出变量预测数据和标签数据,计算对比损失;基于分类损失和对比损失,计算反事实预测模型的训练损失。
可选地,LSTM网络的应对措施分类网基于应对措施预测数据进行应对措施的分类,得到应对措施分类结果,进而基于应对措施分类结果和应对措施真实数据,计算分类损失。其中,分类损失可以通过交叉熵损失函数基于应对措施分类结果和应对措施真实数据计算得到。例如,基于第n+i个历史时间单元的应对措施分类结果和其对应的第n+i个历史时间单元的应对措施真实数据,计算得到对比损失。对比损失可以通过均方差损失函数基于输出变量预测数据和输出变量真实数据得到。例如,基于第n+i个历史时间单元的输出变量预测数据和其对应的第n+i+p个历史时间单元的输出变量真实数据,计算得到对比损失。
步骤106,基于训练损失对反事实预测模型进行训练。
可选地,反事实预测模型的训练方法可以如下:基于对比损失减去分类损失的差值,得到反事实预测模型的训练损失;以最小化训练损失为目标,调整反事实预测模型的参数,得到完成训练的反事实预测模型。
可以将训练损失的最小化过程分成两个部分。
第一个部分:调整编码网络的参数,对分类损失进行最大化处理,使得编码网络预测不出下一时间步的应对措施预测数据,也即淡化时变混杂因素数据和应对措施真实数据之间的关联,通过不断地迭代,最终消除时变混杂因素数据和应对措施真实数据之间的关联,以及得到对应的平衡表示参数,最后得到完成训练的编码网络。其中,可以通过梯度逆转层实现编码网络的对抗训练。在正向传播过程中,梯度逆转层基本上充当一个恒等函数(输入与输出相同),但在反向传播过程中,梯度逆转层使得分类损失相对编码网络的特征提取网络是梯度上升的,进而使得编码网络预测不出下一时间步的应对措施预测数据。
第二个部分:调整解码网络的参数,对对比损失进行最小化处理,从而拉近解码网络的输出变量预测数据与输出变量真实数据的距离,通过不断地迭代,收敛对比损失,得到完成训练的解码网络。
综上所述,本申请实施例提供的技术方案,通过历史观察数据对反事实预测模型的编码网络进行训练,消除了时变混杂因素和应对措施真实数据之间的关联,并基于两者之间的平衡表示参数和应对措施真实数据对反事实预测模型的解码网络进行训练,得到训练好的反事实预测模型。实现了在对应对措施真实数据进行反事实操作时,反事实预测模型的预测结果不会因时变混杂因素和应对措施真实数据之间的关联的影响而产生偏差,从而提高了反事实预测模型的预测准确性。
另外,通过训练得到每一个历史时间单元对应的平衡表示参数,再基于每一个历史时间单元对应的平衡表示参数和应对措施真实数据对反事实预测模型进行训练,从而实现了可以以不同历史时间单位为基准点对同一应对措施进行输出变量的预测,提高了反事实预测模型的灵活性。同时还实现了可以在同一历史时间单位对不同的应对措施进行输出变量的预测,进一步提高了反事实预测模型的灵活性。
请参考图3,其示出了本申请一个实施例提供的事件的反事实预测方法的流程图。该方法各步骤的执行主体可以是上文介绍的计算机设备,该方法可以包括如下几个步骤(301~305)。
步骤301,获取与目标事件相关的历史观测数据,历史观测数据包括多个历史时间单元分别对应的观测数据,观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据。
历史观测数据是指用于描述目标事件的历史发展过程的数据。目标事件可以是任何有反事实预测需求的事件。时变混杂因素数据是指与应对措施真实数据相关联的因素的数据,若时变混杂因素在历史观测数据中分布不均,可以歪曲应对措施真实数据与输出变量真实数据之间的真正关联。
应对措施真实数据是指在目标事件的历史管控中所用到的应对措施对应的数据。输出变量真实数据是指用于描述目标事件的历史状态的数据。
可选地,观测数据还可以包括固定因素的数据,固定因素是指与应对措施真实数据不关联,但会影响应输出变量真实数据的因素。
步骤302,基于历史观测数据构建参考数据,参考数据包括参考历史时间单元序列对应的时变混杂因素数据和输出变量真实数据。
参考数据可用于确定下文中的每个历史时间单元对应的平衡表示参数。
可选地,参考历史时间单元序列包括多个历史时间单元中的第m个历史时间单元至第m+k个历史时间单元,m为正整数,k为正整数。
其中,第m+k个历史时间单元是指目标预测时间基准点。例如,以第3天为目标预测时间基准点,预测4天后的输出变量,则需要将第1天到第3天的时变混杂因素数据和输出变量真实数据作为参考数据。
步骤303,获取第一应对措施设定数据,第一应对措施设定数据用于替换应对措施真实数据输入至反事实预测模型。
第一应对措施设定数据可以根据实际需求进行调整。例如,通过调整第一应对措施设定数据来调整应对措施的强度,也可以通过调整第一应对措施设定数据来调整应对措施的数量,还可以通过调整第一应对措施设定数据来调整应对措施的组合,本申请实施例在此不作限定。
可选地,反事实预测模型可用于通过第一应对措施设定数据来预测各种应对措施或组合对目标事件的管控效果。
步骤304,通过反事实预测模型基于参考数据,得到参考数据的平衡表示参数,平衡表示参数用于消除时变混杂因素数据与应对措施真实数据之间的关联。
本申请通过将时变混杂因素对输出变量真实数据的间接影响进行参数固定化,将两者之间的间接关系转换成类似于固定因素与输出变量真实数据之间的关联的等效表示,即上述的平衡表示参数。
示例性地,平衡表示参数的获取过程可以如下:通过反事实预测模型基于参考数据中的第m个历史时间单元至第m+i个历史时间单元的时变混杂因素数据和输出变量真实数据,得到第m+i个历史时间单元的平衡表示参数,i为小于等于k的正整数。
步骤305,通过反事实预测模型基于参考数据的平衡表示参数和第一应对措施设定数据,得到第一应对措施设定数据对应的输出变量预测数据。
示例性地,输出变量预测数据的获取过程可以如下:通过反事实预测模型基于第m+i个历史时间单元的平衡表示参数和第一应对措施设定数据,得到第一应对措施设定数据在第m+i个历史时间单元对应的输出变量预测数据。
输出变量预测数据可以用如下公式表示:
Figure 861008DEST_PATH_IMAGE046
其中,
Figure 407527DEST_PATH_IMAGE047
是指第m+i个历史时间单元的输出变量预测数据,
Figure 267772DEST_PATH_IMAGE048
是指第m+i个历史时间单元的第一应对措施设定数据,h是指输出变量预测数据、平衡表示参数和应对措施真实数据之间的关联函数,
Figure 12874DEST_PATH_IMAGE049
是指误差函数。
可选地,可以在同一个历史时间单元进行不同应对措施的反事实预测,其具体方法可以如下:将第一应对措施设定数据调整为第二应对措施设定数据;通过反事实预测模型基于第m+i个历史时间单元的平衡表示参数和第二应对措施设定数据,得到第二应对措施设定数据在第m+i个历史时间单元对应的输出变量预测数据。
其中,第二应对措施设定数据可以与第一应对措施设定数据对应的应对措施的强度不同,第二应对措施设定数据可以与第一应对措施设定数据对应的应对措施不同,第二应对措施设定数据可以与第一应对措施设定数据对应的应对措施的数量不同,第二应对措施设定数据可以与第一应对措施设定数据对应的应对措施的组合不同,本申请实施例在此不作限定。
可选地,可以在不同的历史时间单元进行同一应对措施的反事实预测,其具体方法可以如下:通过反事实预测模型基于第m+i+1个历史时间单元的平衡表示参数和第一应对措施设定数据,得到第一应对措施设定数据在第m+i+1个历史时间单元对应的输出变量预测数据。
可选地,反事实预测模型的输出可以包括第m个历史时间单元到第m+k个历史时间单元分别对应的输出变量预测数据。
最后,基于输出变量预测数据和对应的输出变量真实数据,确定应对措施设定数据对应的应对措施对目标事件的管控效果。
综上所述,本申请实施例提供的技术方案,通过历史观察数据对反事实预测模型的编码网络进行训练,消除了时变混杂因素和应对措施真实数据之间的关联,并基于两者之间的平衡表示参数和应对措施真实数据对反事实预测模型的解码网络进行训练,得到训练好的反事实预测模型。实现了在对应对措施真实数据进行反事实操作时,反事实预测模型的预测结果不会因时变混杂因素和应对措施真实数据之间的关联的影响而产生偏差,从而提高了反事实预测模型的预测准确性。
另外,通过训练得到每一个历史时间单元对应的平衡表示参数,再基于每一个历史时间单元对应的平衡表示参数和应对措施真实数据对反事实预测模型进行训练,从而实现了可以以不同历史时间单位为基准点对同一应对措施进行输出变量的预测,提高了反事实预测模型的灵活性。同时还实现了可以在同一历史时间单位对不同的应对措施进行输出变量的预测,进一步提高了反事实预测模型的灵活性。
在一个示例性实施例中,以目标事件为疫情事件为为例,对事件的反事实预测方法进行介绍。参考图4,其示出了本申请另一个实施例提供的事件的反事实预测方法的流程图,该方法可以包括如下几个步骤(401~405)。
步骤401,获取与疫情事件相关的历史疫情数据。
其中,历史疫情数据包括多个历史时间单元分别对应的疫情数据,疫情数据包括时变混杂因素数据、应对措施真实数据和真实病例数。
时变混杂因素数据是指与应对措施真实数据相关联的因素的数据,若时变混杂因素在疫情数据中分布不均,可以歪曲应对措施真实数据与真实病例数之间的真正关联。
可选地,疫情数据还可以包括固定因素的数据,固定因素是指与应对措施真实数据不关联,但会影响应真实病例数的因素。
步骤402,基于历史疫情数据构建参考数据。
其中,参考数据包括参考历史时间单元序列对应的时变混杂因素数据和病例数。例如,疫情事件爆发的第1天至第30天对应的时变混杂因素数据和病例数。
步骤403,获取应对措施设定数据。
应对措施设定数据用于替换应对措施真实数据输入至反事实预测模型。例如,应对措施设定数据可以包括以下至少一项内容对应的数据:关闭学校、关闭工作场所、取消公共活动、禁止聚集、关闭公共交通设施、居家隔离、限制活动、限制国际旅游等。
步骤404,通过反事实预测模型基于参考数据,得到参考数据的平衡表示参数。
平衡表示参数用于消除时变混杂因素数据与应对措施真实数据之间的关联。例如,基于疫情事件爆发的第1天至第15天对应的参考数据,可以得到第15天的平衡表示参数。
步骤405,通过反事实预测模型基于参考数据的平衡表示参数和应对措施设定数据,得到应对措施设定数据对应的预测病例数。
例如,基于第15天的平衡表示参数和关闭学校这一应对措施对应的设定数据,可以得到A天后的预测病例数,即第15+A天对应的预测病例数,再通过比对第15+A天对应的预测病例数和真实病例数,得到关闭学校对疫情事件的管控效果。
在一个示例性实施例中,参考图5,其示出了本申请一个实施例提供的应对措施的效果探究的流程图。
获取训练样本。本实施例的训练样本的输入数据来源为75个国家的历史疫情发展记录数据、应对措施记录数据、人口流动记录数据(即时变混杂因素)、固定因素记录数据等。本申请实施例将从每百万人中新增大于一例的时间点作为疫情的爆发时间点,并以此爆发时间点到爆发时间点之后的100天为疫情在该国家的第一波疫情。
基于训练样本的输入数据对反事实预测模型进行训练,得到训练好的反事实预测模型。
修改反事实预测模型的输入数据,即将应对措施记录数据分别修改为目标应对措施设定数据。本申请实施例提供的目标应对措施包括关闭学校、关闭工作场所、取消公共活动、禁止聚集、关闭公共交通设施、居家隔离、限制活动、限制国际旅游这8种应对措施。
获取反事实预测模型输出的反事实预测数据,即每个目标应对措施对应的预测病例数。本申请实施例获取了不同目标管控措施在加强管控和放松管控这两种情况下的管控效果。
对比预测数据和真实数据,得出结论。示例性地,基于上述训练样本通过实验得到如下结论:有6项应对措施对疫情的管控有明显的效果。参考图6,其示出了该6项应对措施对疫情的管控效果:在第一波疫情中,关闭学校这一应对措施在加强管控的情况下,可以减少12%的病例数,在放松管控的情况下,增加了4%的病例数;关闭工作场所这一应对措施在加强管控的情况下,可以减少11%的病例数,在放松管控的情况下,增加了8%的病例数;关闭公共交通设施这一应对措施在加强管控的情况下,可以减少2.2%的病例数,在放松管控的情况下,增加了1%的病例数;居家隔离这一应对措施在加强管控的情况下,可以减少0.6%的病例数,在放松管控的情况下,增加了2%的病例数;限制活动这一应对措施在加强管控的情况下,可以减少11.1%的病例数,在放松管控的情况下,增加了8.36%的病例数;限制活动这一应对措施在加强管控的情况下,增加了0.6%的病例数,在放松管控的情况下,增加了4.3%的病例数。
综上所述,本申请实施例提供的技术方案,通过历史观察数据对反事实预测模型的编码网络进行训练,消除了时变混杂因素和应对措施真实数据之间的关联,并基于两者之间的平衡表示参数和应对措施真实数据对反事实预测模型的解码网络进行训练,得到训练好的反事实预测模型。实现了在对应对措施真实数据进行反事实操作时,反事实预测模型的预测结果不会因时变混杂因素和应对措施真实数据之间的关联的影响而产生偏差,从而提高了反事实预测模型的预测准确性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
参考图7,其示出了本申请一个实施例提供的反事实预测模型数据处理装置的框图。该装置具有实现上述方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备,也可以设置在计算机设备中。如图7所示,该装置700包括:观测数据获取模块701、训练样本构建模块702、中间数据获取模块703、预测数据获取模块704、训练损失确定模块705和预测模型训练模块706。
观测数据获取模块701,用于获取与目标事件相关的历史观测数据,所述历史观测数据包括多个历史时间单元分别对应的观测数据,所述观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据。
训练样本构建模块702,用于基于所述历史观测数据构建训练样本,所述训练样本的输入数据包括第一历史时间单元序列对应的观测数据,所述训练样本的标签数据包括第二历史时间单元序列对应的输出变量真实数据。
中间数据获取模块703,用于通过所述编码网络基于所述训练样本的输入数据,得到所述训练样本对应的应对措施预测数据和平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联。
预测数据获取模块704,用于通过所述解码网络基于所述训练样本对应的平衡表示参数和应对措施真实数据,得到所述训练样本对应的输出变量预测数据。
训练损失确定模块705,用于基于所述训练样本对应的应对措施预测数据、应对措施真实数据、输出变量预测数据和标签数据,确定所述反事实预测模型的训练损失。
预测模型训练模块706,用于基于所述训练损失对所述反事实预测模型进行训练。
在一个示例性实施例中,所述第一历史时间单元序列包括所述多个历史时间单元中的第n个历史时间单元至第n+k个历史时间单元,n为正整数,k为正整数;所述第二历史时间单元序列包括所述多个历史时间单元中的第n+p个历史时间单元至第n+k+p个历史时间单元,p为正整数。
在一个示例性实施例中,所述中间数据获取模块703,还用于:
通过所述编码网络基于所述训练样本的输入数据中的第n个历史时间单元至第n+i个历史时间单元的时变混杂因素数据和输出变量真实数据,得到所述第n+i个历史时间单元的平衡表示参数,i为小于等于k的正整数;
通过所述编码网络基于所述第n+i个历史时间单元的平衡表示参数和输出变量真实数据,得到所述第n+i个历史时间单元的应对措施预测数据。
在一个示例性实施例中,所述预测数据获取模块704还用于通过所述解码网络基于所述第n+i个历史时间单元的平衡表示参数和应对措施真实数据,得到所述第n+i个历史时间单元的输出变量预测数据。
在一个示例性实施例中,所述训练损失确定模块705,还用于:
基于所述训练样本对应的应对措施预测数据和应对措施真实数据,计算分类损失;
基于所述训练样本对应的输出变量预测数据和标签数据,计算对比损失;
基于所述分类损失和所述对比损失,计算所述反事实预测模型的训练损失。
在一个示例性实施例中,所述预测模型训练模块706,还用于:
基于所述对比损失减去所述分类损失的差值,得到所述反事实预测模型的训练损失;
所述基于所述训练损失对所述反事实预测模型进行训练,包括:
以最小化所述训练损失为目标,调整所述反事实预测模型的参数,得到完成训练的反事实预测模型。
综上所述,本申请实施例提供的技术方案,通过历史观察数据对反事实预测模型的编码网络进行训练,消除了时变混杂因素和应对措施真实数据之间的关联,并基于两者之间的平衡表示参数和应对措施真实数据对反事实预测模型的解码网络进行训练,得到训练好的反事实预测模型。实现了在对应对措施真实数据进行反事实操作时,反事实预测模型的预测结果不会因时变混杂因素和应对措施真实数据之间的关联的影响而产生偏差,从而提高了反事实预测模型的预测准确性。
参考图8,其示出了本申请一个实施例提供的事件的反事实预测装置的训练装置的框图。该装置具有实现上述方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备,也可以设置在计算机设备中。如图8所示,该装置800包括:历史数据获取模块801、参考数据构建模块802、设定数据获取模块803、平衡表示获取模块804和输出变量预测模块805。
历史数据获取模块801,用于获取与目标事件相关的历史观测数据,所述历史观测数据包括多个历史时间单元分别对应的观测数据,所述观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据。
参考数据构建模块802,用于基于所述历史观测数据构建参考数据,所述参考数据包括参考历史时间单元序列对应的时变混杂因素数据和输出变量真实数据。
设定数据获取模块803,用于获取第一应对措施设定数据,所述第一应对措施设定数据用于替换所述应对措施真实数据输入至反事实预测模型。
平衡表示获取模块804,用于通过所述反事实预测模型基于所述参考数据,得到所述参考数据的平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联。
输出变量预测模块805,用于通过所述反事实预测模型基于所述参考数据的平衡表示参数和所述第一应对措施设定数据,得到所述第一应对措施设定数据对应的输出变量预测数据。
在一个示例性实施例中,所述参考历史时间单元序列包括所述多个历史时间单元中的第m个历史时间单元至第m+k个历史时间单元,m为正整数,k为正整数;
所述平衡表示获取模块804,还用于通过所述反事实预测模型基于所述参考数据中的第m个历史时间单元至第m+i个历史时间单元的时变混杂因素数据和输出变量真实数据,得到所述第m+i个历史时间单元的平衡表示参数,i为小于等于k的正整数。
所述输出变量预测模块805,还用于通过所述反事实预测模型基于所述第m+i个历史时间单元的平衡表示参数和所述第一应对措施设定数据,得到所述第一应对措施设定数据在所述第m+i个历史时间单元对应的输出变量预测数据。
在一个示例性实施例中,所述装置800还包括:设定数据调整模块(图中未示出)。
设定数据调整模块,用于将所述第一应对措施设定数据调整为第二应对措施设定数据。
所述输出变量预测模块805,还用于通过所述反事实预测模型基于所述第m+i个历史时间单元的平衡表示参数和所述第二应对措施设定数据,得到所述第二应对措施设定数据在所述第m+i个历史时间单元对应的输出变量预测数据。
在一个示例性实施例中,所述输出变量预测模块805还用于通过所述反事实预测模型基于第m+i+1个历史时间单元的平衡表示参数和第一应对措施设定数据,得到所述第一应对措施设定数据在所述第m+i+1个历史时间单元对应的输出变量预测数据。
在一个示例性实施例中,所述目标事件为疫情事件,所述历史数据获取模块801,还用于获取与所述疫情事件相关的历史疫情数据,所述历史疫情数据包括多个历史时间单元分别对应的疫情数据,所述疫情数据包括时变混杂因素数据、应对措施真实数据和真实病例数。
所述参考数据构建模块802,还用于基于所述历史疫情数据构建参考数据,所述参考数据包括参考历史时间单元序列对应的时变混杂因素数据和病例数。
所述设定数据获取模块803,用于获取应对措施设定数据,所述应对措施设定数据用于替换所述应对措施真实数据输入至反事实预测模型。
所述平衡表示获取模块804,还用于通过所述反事实预测模型基于所述参考数据,得到所述参考数据的平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联。
所述输出变量预测模块805,还用于通过所述反事实预测模型基于所述参考数据的平衡表示参数和所述应对措施设定数据,得到所述应对措施设定数据对应的预测病例数。
综上所述,本申请实施例提供的技术方案,通过历史观察数据对反事实预测模型的编码网络进行训练,消除了时变混杂因素和应对措施真实数据之间的关联,并基于两者之间的平衡表示参数和应对措施真实数据对反事实预测模型的解码网络进行训练,得到训练好的反事实预测模型。实现了在对应对措施真实数据进行反事实操作时,反事实预测模型的预测结果不会因时变混杂因素和应对措施真实数据之间的关联的影响而产生偏差,从而提高了反事实预测模型的预测准确性。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图9,其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以用于实施上述实施例中提供的反事实预测模型数据处理方法或事件的反事实预测方法。具体可以包括如下内容。
该计算机设备900包括中央处理单元(如CPU(Central Processing Unit,中央处理器)、GPU(Graphics Processing Unit,图形处理器)和FPGA(Field Programmable GateArray,现场可编程逻辑门阵列)等)901、包括RAM(Random-Access Memory,随机存取存储器)902和ROM(Read-Only Memory,只读存储器)903的系统存储器904,以及连接系统存储器904和中央处理单元901的系统总线905。该计算机设备900还包括帮助服务器内的各个器件之间传输信息的基本输入/输出系统(Input Output System,I/O系统)906,和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。
该基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中,该显示器908和输入设备909都通过连接到系统总线905的输入输出控制器910连接到中央处理单元901。该基本输入/输出系统906还可以包括输入输出控制器910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器910还提供输出到显示屏、打印机或其他类型的输出设备。
该大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。该大容量存储设备907及其相关联的计算机可读介质为计算机设备900提供非易失性存储。也就是说,该大容量存储设备907可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory,只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性,该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦写可编程只读存储器)、闪存或其他固态存储其技术,CD-ROM、DVD(Digital Video Disc,高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知该计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。
根据本申请实施例,该计算机设备900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备900可以通过连接在该系统总线905上的网络接口单元911连接到网络912,或者说,也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括计算机程序,该计算机程序存储于存储器中,且经配置以由一个或者一个以上处理器执行,以实现上述反事实预测模型数据处理方法或事件的反事实预测方法。
在一个示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集在被处理器执行时以实现反事实预测模型数据处理方法或事件的反事实预测方法。
可选地,该计算机可读存储介质可以包括:ROM( Read-Only Memory,只读存储器)、RAM(Random-Access Memory,随机存储器)、SSD(Solid State Drives,固态硬盘)或光盘等。其中,随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory,动态随机存取存储器)。
在一个示例性实施例中,还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质中读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行反事实预测模型数据处理方法或事件的反事实预测方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种反事实预测模型数据处理方法,其特征在于,所述反事实预测模型包括编码网络和解码网络,所述方法包括:
获取与目标事件相关的历史观测数据,所述历史观测数据包括多个历史时间单元分别对应的观测数据,所述观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据;
基于所述历史观测数据构建训练样本,所述训练样本的输入数据包括第一历史时间单元序列对应的观测数据,所述训练样本的标签数据包括第二历史时间单元序列对应的输出变量真实数据;
通过所述编码网络基于所述训练样本的输入数据,得到所述训练样本对应的应对措施预测数据和平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联;
通过所述解码网络基于所述训练样本对应的平衡表示参数和应对措施真实数据,得到所述训练样本对应的输出变量预测数据;
基于所述训练样本对应的应对措施预测数据、应对措施真实数据、输出变量预测数据和标签数据,确定所述反事实预测模型的训练损失;
基于所述训练损失对所述反事实预测模型进行训练。
2.根据权利要求1所述的方法,其特征在于,
所述第一历史时间单元序列包括所述多个历史时间单元中的第n个历史时间单元至第n+k个历史时间单元,n为正整数,k为正整数;
所述第二历史时间单元序列包括所述多个历史时间单元中的第n+p个历史时间单元至第n+k+p个历史时间单元,p为正整数。
3.根据权利要求2所述的方法,其特征在于,所述通过所述编码网络基于所述训练样本的输入数据,得到所述训练样本对应的应对措施预测数据和平衡表示参数,包括:
通过所述编码网络基于所述训练样本的输入数据中的第n个历史时间单元至第n+i个历史时间单元的时变混杂因素数据和输出变量真实数据,得到所述第n+i个历史时间单元的平衡表示参数,i为小于等于k的正整数;
通过所述编码网络基于所述第n+i个历史时间单元的平衡表示参数和输出变量真实数据,得到所述第n+i个历史时间单元的应对措施预测数据。
4.根据权利要求3所述的方法,其特征在于,所述通过所述解码网络基于所述训练样本对应的平衡表示参数和应对措施真实数据,得到所述训练样本对应的输出变量预测数据,包括:
通过所述解码网络基于所述第n+i个历史时间单元的平衡表示参数和应对措施真实数据,得到所述第n+i个历史时间单元的输出变量预测数据。
5.根据权利要求1所述的方法,其特征在于,所述基于所述训练样本对应的应对措施预测数据、应对措施真实数据、输出变量预测数据和标签数据,确定所述反事实预测模型的训练损失,包括:
基于所述训练样本对应的应对措施预测数据和应对措施真实数据,计算分类损失;
基于所述训练样本对应的输出变量预测数据和标签数据,计算对比损失;
基于所述分类损失和所述对比损失,计算所述反事实预测模型的训练损失。
6.根据权利要求5所述的方法,其特征在于,所述基于所述分类损失和所述对比损失,计算所述反事实预测模型的训练损失,包括:
基于所述对比损失减去所述分类损失的差值,得到所述反事实预测模型的训练损失;
所述基于所述训练损失对所述反事实预测模型进行训练,包括:
以最小化所述训练损失为目标,调整所述反事实预测模型的参数,得到完成训练的反事实预测模型。
7.一种事件的反事实预测方法,其特征在于,所述方法包括:
获取与目标事件相关的历史观测数据,所述历史观测数据包括多个历史时间单元分别对应的观测数据,所述观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据;
基于所述历史观测数据构建参考数据,所述参考数据包括参考历史时间单元序列对应的时变混杂因素数据和输出变量真实数据;
获取第一应对措施设定数据,所述第一应对措施设定数据用于替换所述应对措施真实数据输入至反事实预测模型;
通过所述反事实预测模型基于所述参考数据,得到所述参考数据的平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联;
通过所述反事实预测模型基于所述参考数据的平衡表示参数和所述第一应对措施设定数据,得到所述第一应对措施设定数据对应的输出变量预测数据。
8.根据权利要求7所述的方法,其特征在于,所述参考历史时间单元序列包括所述多个历史时间单元中的第m个历史时间单元至第m+k个历史时间单元,m为正整数,k为正整数;
所述通过所述反事实预测模型基于所述参考数据,得到所述参考数据的平衡表示参数,包括:
通过所述反事实预测模型基于所述参考数据中的第m个历史时间单元至第m+i个历史时间单元的时变混杂因素数据和输出变量真实数据,得到所述第m+i个历史时间单元的平衡表示参数,i为小于等于k的正整数;
所述通过所述反事实预测模型基于所述参考数据的平衡表示参数和所述第一应对措施设定数据,得到所述第一应对措施设定数据对应的输出变量预测数据,包括:
通过所述反事实预测模型基于所述第m+i个历史时间单元的平衡表示参数和所述第一应对措施设定数据,得到所述第一应对措施设定数据在所述第m+i个历史时间单元对应的输出变量预测数据。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
将所述第一应对措施设定数据调整为第二应对措施设定数据;
通过所述反事实预测模型基于所述第m+i个历史时间单元的平衡表示参数和所述第二应对措施设定数据,得到所述第二应对措施设定数据在所述第m+i个历史时间单元对应的输出变量预测数据。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
通过所述反事实预测模型基于第m+i+1个历史时间单元的平衡表示参数和第一应对措施设定数据,得到所述第一应对措施设定数据在所述第m+i+1个历史时间单元对应的输出变量预测数据。
11.根据权利要求7至10任一项所述的方法,其特征在于,所述目标事件为疫情事件,所述方法包括:
获取与所述疫情事件相关的历史疫情数据,所述历史疫情数据包括多个历史时间单元分别对应的疫情数据,所述疫情数据包括时变混杂因素数据、应对措施真实数据和真实病例数;
基于所述历史疫情数据构建参考数据,所述参考数据包括参考历史时间单元序列对应的时变混杂因素数据和病例数;
获取应对措施设定数据,所述应对措施设定数据用于替换所述应对措施真实数据输入至反事实预测模型;
通过所述反事实预测模型基于所述参考数据,得到所述参考数据的平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联;
通过所述反事实预测模型基于所述参考数据的平衡表示参数和所述应对措施设定数据,得到所述应对措施设定数据对应的预测病例数。
12.一种反事实预测模型数据处理装置,其特征在于,所述反事实预测模型包括编码网络和解码网络,所述装置包括:
观测数据获取模块,用于获取与目标事件相关的历史观测数据,所述历史观测数据包括多个历史时间单元分别对应的观测数据,所述观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据;
训练样本构建模块,用于基于所述历史观测数据构建训练样本,所述训练样本的输入数据包括第一历史时间单元序列对应的观测数据,所述训练样本的标签数据包括第二历史时间单元序列对应的输出变量真实数据;
中间数据获取模块,用于通过所述编码网络基于所述训练样本的输入数据,得到所述训练样本对应的应对措施预测数据和平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联;
预测数据获取模块,用于通过所述解码网络基于所述训练样本对应的平衡表示参数和应对措施真实数据,得到所述训练样本对应的输出变量预测数据;
训练损失确定模块,用于基于所述训练样本对应的应对措施预测数据、应对措施真实数据、输出变量预测数据和标签数据,确定所述反事实预测模型的训练损失;
预测模型训练模块,用于基于所述训练损失对所述反事实预测模型进行训练。
13.一种事件的反事实预测装置,其特征在于,所述装置包括:
历史数据获取模块,用于获取与目标事件相关的历史观测数据,所述历史观测数据包括多个历史时间单元分别对应的观测数据,所述观测数据包括时变混杂因素数据、应对措施真实数据和输出变量真实数据;
参考数据构建模块,用于基于所述历史观测数据构建参考数据,所述参考数据包括参考历史时间单元序列对应的时变混杂因素数据和输出变量真实数据;
设定数据获取模块,用于获取第一应对措施设定数据,所述第一应对措施设定数据用于替换所述应对措施真实数据输入至反事实预测模型;
平衡表示获取模块,用于通过所述反事实预测模型基于所述参考数据,得到所述参考数据的平衡表示参数,所述平衡表示参数用于消除所述时变混杂因素数据与所述应对措施真实数据之间的关联;
输出变量预测模块,用于通过所述反事实预测模型基于所述参考数据的平衡表示参数和所述第一应对措施设定数据,得到所述第一应对措施设定数据对应的输出变量预测数据。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述权利要求1至6任一项所述的反事实预测模型数据处理方法,或如权利要求7至11任一项所述的事件的反事实预测方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述权利要求1至6任一项所述的反事实预测模型数据处理方法,或如权利要求7至11任一项所述的事件的反事实预测方法。
CN202110461378.1A 2021-04-27 2021-04-27 反事实预测模型数据处理方法、装置、设备及存储介质 Active CN112988851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110461378.1A CN112988851B (zh) 2021-04-27 2021-04-27 反事实预测模型数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110461378.1A CN112988851B (zh) 2021-04-27 2021-04-27 反事实预测模型数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112988851A true CN112988851A (zh) 2021-06-18
CN112988851B CN112988851B (zh) 2021-07-27

Family

ID=76340422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110461378.1A Active CN112988851B (zh) 2021-04-27 2021-04-27 反事实预测模型数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112988851B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705818A (zh) * 2021-08-31 2021-11-26 支付宝(杭州)信息技术有限公司 对支付指标波动进行归因的方法及装置
CN113724889A (zh) * 2021-08-30 2021-11-30 上海商汤智能科技有限公司 预测方法及其模型的训练方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622196A (zh) * 2017-09-18 2019-12-27 谷歌有限责任公司 评估依赖于聚合历史数据的模型
US20200075172A1 (en) * 2018-08-28 2020-03-05 Ajou University Industry-Academic Cooperation Foundation Method for adjusting continuous variable and method and apparatus for analyzing correlation using the same
CN111723973A (zh) * 2020-05-15 2020-09-29 西安交通大学 基于mooc日志数据中用户行为因果关系的学习效果优化方法
CN111883262A (zh) * 2020-09-28 2020-11-03 平安科技(深圳)有限公司 疫情趋势预测方法、装置、电子设备及存储介质
CN111882066A (zh) * 2020-07-23 2020-11-03 浙江大学 基于深度表征学习的反事实推理设备
CN112085252A (zh) * 2020-08-03 2020-12-15 清华大学 一种关于集合类型决策效果的反事实预测方法
CN112329879A (zh) * 2020-11-16 2021-02-05 浙江大学 基于反事实多智能体学习的图像场景图的生成方法和系统
CN112541520A (zh) * 2019-09-20 2021-03-23 罗伯特·博世有限公司 用于为神经网络生成反事实数据样本的设备和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622196A (zh) * 2017-09-18 2019-12-27 谷歌有限责任公司 评估依赖于聚合历史数据的模型
US20200075172A1 (en) * 2018-08-28 2020-03-05 Ajou University Industry-Academic Cooperation Foundation Method for adjusting continuous variable and method and apparatus for analyzing correlation using the same
CN112541520A (zh) * 2019-09-20 2021-03-23 罗伯特·博世有限公司 用于为神经网络生成反事实数据样本的设备和方法
CN111723973A (zh) * 2020-05-15 2020-09-29 西安交通大学 基于mooc日志数据中用户行为因果关系的学习效果优化方法
CN111882066A (zh) * 2020-07-23 2020-11-03 浙江大学 基于深度表征学习的反事实推理设备
CN112085252A (zh) * 2020-08-03 2020-12-15 清华大学 一种关于集合类型决策效果的反事实预测方法
CN111883262A (zh) * 2020-09-28 2020-11-03 平安科技(深圳)有限公司 疫情趋势预测方法、装置、电子设备及存储介质
CN112329879A (zh) * 2020-11-16 2021-02-05 浙江大学 基于反事实多智能体学习的图像场景图的生成方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
杜文会: ""国际石油价格对中国宏观经济的影响"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *
杨梦月 等: ""基于反事实学习及混淆因子建模的文章个性化推荐"", 《计算机系统应用》 *
袁潇 等: ""反事实思维对行人交通安全行为意向的影响"", 《心理科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724889A (zh) * 2021-08-30 2021-11-30 上海商汤智能科技有限公司 预测方法及其模型的训练方法、装置、设备及存储介质
CN113705818A (zh) * 2021-08-31 2021-11-26 支付宝(杭州)信息技术有限公司 对支付指标波动进行归因的方法及装置
CN113705818B (zh) * 2021-08-31 2024-04-19 支付宝(杭州)信息技术有限公司 对支付指标波动进行归因的方法及装置

Also Published As

Publication number Publication date
CN112988851B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
Hagenauer et al. A geographically weighted artificial neural network
US11423325B2 (en) Regression for metric dataset
Chen et al. Deep reinforcement learning in recommender systems: A survey and new perspectives
CN109902222A (zh) 一种推荐方法及装置
Schorn et al. Automated design of error-resilient and hardware-efficient deep neural networks
Stone Calibrating rough volatility models: a convolutional neural network approach
CN111782840B (zh) 图像问答方法、装置、计算机设备和介质
CN112988851B (zh) 反事实预测模型数据处理方法、装置、设备及存储介质
CN111091196A (zh) 客流数据确定方法、装置、计算机设备和存储介质
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN116010684A (zh) 物品推荐方法、装置及存储介质
Shin et al. PGCN: Progressive graph convolutional networks for spatial–temporal traffic forecasting
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
CN114266897A (zh) 痘痘类别的预测方法、装置、电子设备及存储介质
CN113779225A (zh) 实体链接模型的训练方法、实体链接方法及装置
CN112819024A (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
CN116664719A (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
CN108475346A (zh) 神经随机访问机器
CN113762331A (zh) 关系型自蒸馏方法、装置和系统及存储介质
Zhu et al. Dual-decoder transformer network for answer grounding in visual question answering
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
CN112394982A (zh) 生成语音识别系统的方法、装置、介质及电子设备
Yuan et al. EFFC-Net: lightweight fully convolutional neural networks in remote sensing disaster images
CN116227180A (zh) 基于数据驱动的机组组合智能决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40047249

Country of ref document: HK