CN115440390B - 一种传染病病例数量预测方法、系统、设备及存储介质 - Google Patents

一种传染病病例数量预测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115440390B
CN115440390B CN202211394862.8A CN202211394862A CN115440390B CN 115440390 B CN115440390 B CN 115440390B CN 202211394862 A CN202211394862 A CN 202211394862A CN 115440390 B CN115440390 B CN 115440390B
Authority
CN
China
Prior art keywords
sequence
component
decomposition
frequency
periodic component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211394862.8A
Other languages
English (en)
Other versions
CN115440390A (zh
Inventor
赵天龙
袁晨迅
李雪梅
张彩明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202211394862.8A priority Critical patent/CN115440390B/zh
Publication of CN115440390A publication Critical patent/CN115440390A/zh
Application granted granted Critical
Publication of CN115440390B publication Critical patent/CN115440390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种传染病病例数量预测方法、系统、设备及存储介质，涉及数据预测模型技术领域，包括：获取历史病例每日增长数据序列，并从中切分出子序列；对历史序列进行频率分解、增强、重构、残差连接后得到复合序列，对复合序列进行第一序列分解得到第一周期分量；对子序列进行第二序列分解得到第二周期分量和第一趋势分量，对第二周期分量进行频率分解、增强、重构和残差连接后，进行第三序列分解，将得到的第三周期分量与第一周期分量进行序列注意力匹配，得到与子序列对应周期相似的相关性序列，从而根据相关性序列进行未来序列的预测。在保留时序信息、提高信息利用率的同时降低注意力机制的时间复杂度。

Description

一种传染病病例数量预测方法、系统、设备及存储介质
技术领域
本发明涉及数据预测模型技术领域，特别是涉及一种传染病病例数量预测方法、系统、设备及存储介质。
背景技术
传染病流行趋势的变化是一个复杂的时间序列，且具有一定的周期性，虽然如循环神经网络、长短期记忆神经网络等模型已经广泛应用于传染病流行趋势的预测中，但是单一的机器学习或深度学习模型几乎很难捕捉其中更为有效的信息，目前现有一些使用机器学习方法的传染病时序预测模型中仍存在以下问题：
（1）现有预测模型对于具有一定周期性的病例数据并不契合，不能将包含周期-趋势两种特性的数据进行充分的分解，使得分解的周期分量中还存在着趋势成分，影响下游任务，目前仍缺乏对具有周期性病例数据预测模型的设计。
（2）现有预测模型采用的深度学习网络模型大多采用通用的网络结构，没有过多的关注数据的特性，缺乏有效的解释性，使得预测结果精度不高。
（3）使用注意力机制方法的预测模型时间复杂度较高，这是由于传统的注意力机制由于其二次复杂性，使得模型运行时间被迫延长，一方面增加了其对硬件的要求，另一方面使得其在实时预测任务中面临挑战；
另外，目前现有预测模型采用的自注意力机制更聚焦于时间维度的逐点点积，但是这种方式会破坏序列自身的时序性，降低了时序数据的信息利用率。
发明内容
为了解决上述问题，本发明提出了一种传染病病例数量预测方法、系统、设备及存储介质，采用频率增强方法，凸出有效频率分量在预测中的作用；采用序列注意力匹配以进行序列内的周期匹配，在保留时序信息、提高信息利用率的同时降低注意力机制的时间复杂度。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种传染病病例数量预测方法，包括：
获取历史病例每日增长数据序列，并从历史病例每日增长数据序列中切分出靠近当前时间设定长度的子序列；
对历史病例每日增长数据序列进行频率分解，对得到的频率分量采用频率注意力机制进行增强，对增强后的频率分量进行重构，对重构后的频率分量与历史病例每日增长数据序列进行残差连接后得到复合序列，对复合序列进行第一序列分解得到第一周期分量；
对子序列进行第二序列分解得到第二周期分量和第一趋势分量，对第二周期分量进行频率分解、增强、重构和残差连接后，再次进行第三序列分解，将得到的第三周期分量与第一周期分量进行序列注意力匹配，得到与子序列对应周期相似的相关性序列；
将相关性序列与第三周期分量经残差连接后，依次进行第四序列分解和第五序列分解后得到输出周期分量，将第一趋势分量与第三序列分解、第四序列分解和第五序列分解后得到趋势分量依次进行残差连接后得到输出趋势分量，将输出周期分量和输出趋势分量拼接后作为传染病病例数量的预测结果。
作为可选择的实施方式，第一序列分解、第二序列分解、第三序列分解、第四序列分解和第五序列分解的过程都是一样的，则周期分量和趋势分量分别表示为：
Figure 680911DEST_PATH_IMAGE001
Figure 606142DEST_PATH_IMAGE002
其中，x t 为趋势分量，x s 为周期分量，AvgPool为平均池化，X e 为待分解的序列，Padding为对待序列分解的序列进行填充。
作为可选择的实施方式，经频率分解后得到高频分量X j h 和低频分量X j l ，并去除低频分量，保留高频分量：
Figure 768133DEST_PATH_IMAGE003
Figure 95209DEST_PATH_IMAGE004
其中，j是频率分解的层数；b j (high)和b j (low)是第j层的偏差向量；W j (high)和W j (low)均为权重矩阵，X是待频率分解的序列。
作为可选择的实施方式，对得到的频率分量采用频率注意力机制进行增强的过程包括：
对频率分量进行拼接后，进行二维卷积操作生成通道Q、K、V；
对通道Q和通道K进行放缩点积操作得到频率注意力分布e；所述放缩点积操作为 对通道Q和通道K的单维度进行点积运算后进行放缩，放缩点积操作表示为：
Figure 379560DEST_PATH_IMAGE005
，w为两 个维度的张量尺寸；
频率注意力分布e通过softmax函数进行标准化后与通道V相乘得到注意力矩阵。
作为可选择的实施方式，将得到的第三周期分量与第一周期分量进行序列注意力匹配的过程包括：
将第三周期分量经线性映射得到查询序列；
将第一周期分量分别进行两次不同的线性映射得到键序列和值序列；
对查询序列和键序列进行序列注意力匹配，并将匹配起始位置定于查询序列的末端；
在键序列上滚动匹配查询序列时，通过待匹配的两个片段的置信度，判断相关性；
且匹配得到相关性序列后，从值序列的对应位置往后截取相同长度的序列用于预测。
作为可选择的实施方式，在截取序列时，当待预测的序列长度大于所能够截取的序列长度时，根据周期的重复性，将短周期历史序列进行周期延拓，通过拼接多个短周期历史序列进行预测。
作为可选择的实施方式，所述周期延拓为：对键序列前n补个零，对查询序列后补L个零，以使得两个序列长度相同，两个新序列分别以自身为周期进行前后延拓。
第二方面，本发明提供一种传染病病例数量预测系统，包括：
序列获取模块，被配置为获取历史病例每日增长数据序列，并从历史病例每日增长数据序列中切分出靠近当前时间设定长度的子序列；
历史序列处理模块，被配置为对历史病例每日增长数据序列进行频率分解，对得到的频率分量采用频率注意力机制进行增强，对增强后的频率分量进行重构，对重构后的频率分量与历史病例每日增长数据序列进行残差连接后得到复合序列，对复合序列进行第一序列分解得到第一周期分量；
相关序列匹配模块，被配置为对子序列进行第二序列分解得到第二周期分量和第一趋势分量，对第二周期分量进行频率分解、增强、重构和残差连接后，再次进行第三序列分解，将得到的第三周期分量与第一周期分量进行序列注意力匹配，得到与子序列对应周期相似的相关性序列；
序列预测模块，被配置为将相关性序列与第三周期分量经残差连接后，依次进行第四序列分解和第五序列分解后得到输出周期分量，将第一趋势分量与第三序列分解、第四序列分解和第五序列分解后得到趋势分量依次进行残差连接后得到输出趋势分量，将输出周期分量和输出趋势分量拼接后作为传染病病例数量的预测结果。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果为：
本发明所提出的传染病病例数量预测方法，通过对分解后的高频分量采用频率注意力机制进行频率增强，以更加凸出有效频率分量在预测中的作用。
本发明所提出的传染病病例数量预测方法，采用的频率注意力机制相比于自注意力机制，其优势在于：自注意力机制聚焦于时间维度的逐点点积，破坏序列自身的时序性，降低了时序数据的信息利用率，而频率注意力机制仅对频率分量之间进行序列级的点积运算，保留时间维度的信息，且频率注意力机制的复杂度低于自注意力机制。
本发明所提出的传染病病例数量预测方法，采用序列注意力匹配机制，增强序列表达能力，相比于自注意力的逐点点积聚合形式，本发明将注意力机制作用于序列片段上，从而在保留时序信息、提高信息利用率的同时降低注意力机制的时间复杂度。
本发明所提出的传染病病例数量预测方法，在序列注意力匹配是提出基于互相关性的周期延拓方法，使得模型具有可解释性，在历史时间序列中寻找强相关性片段来对未来进行预测，显著降低了预测时间复杂度，降低预测误差。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的传染病病例数量预测方法流程图；
图2为本发明实施例1提供的序列注意力匹配示意图；
图3为本发明实施例1提供的周期延拓示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
如图1所示，本实施例提供一种传染病病例数量预测方法，具体包括如下步骤：
获取历史病例每日增长数据序列，并从历史病例每日增长数据序列中切分出靠近当前时间设定长度的子序列；
对历史病例每日增长数据序列进行频率分解，对得到的频率分量采用频率注意力机制进行增强，对增强后的频率分量进行重构，对重构后的频率分量与历史病例每日增长数据序列进行残差连接后得到复合序列，对复合序列进行第一序列分解得到第一周期分量；
对子序列进行第二序列分解得到第二周期分量和第一趋势分量，对第二周期分量进行频率分解、增强、重构和残差连接后，再次进行第三序列分解，将得到的第三周期分量与第一周期分量进行序列注意力匹配，得到与子序列对应周期相似的相关性序列；
将相关性序列与第三周期分量经残差连接后，依次进行第四序列分解和第五序列分解后得到输出周期分量，将第一趋势分量与第三序列分解、第四序列分解和第五序列分解后得到趋势分量依次进行残差连接后得到输出趋势分量，将输出周期分量和输出趋势分量拼接后作为传染病病例数量的预测结果。
在本实施例中，获取历史病例每日增长数据序列X C ，并对X C 进行归一化处理后，得到归一化后的历史病例每日增长数据序列X E ：
Figure 729770DEST_PATH_IMAGE006
（1）
其中，
Figure 492190DEST_PATH_IMAGE007
为均值，
Figure 611455DEST_PATH_IMAGE008
为标准差。
将归一化处理后的历史病例每日增长数据序列X E 按照7：3划分为训练集和测试集，并在训练集中切分出靠近当前时间设定长度的子序列X D ；可以理解为以最新时间为起点，往前倒推设定时间段，取该时间段的序列作为子序列。
在本实施例中，第一序列分解、第二序列分解、第三序列分解、第四序列分解和第五序列分解的过程都是一样的，都采用滑动平均的方法进行序列分解，序列分解后均得到周期分量和趋势分量；周期分量和趋势分量分别表示为：
Figure 66707DEST_PATH_IMAGE001
（2）
Figure 904213DEST_PATH_IMAGE002
（3）
其中，x t 为趋势分量，x s 为周期分量，AvgPool为平均池化，X e 为待分解的序列，Padding为对待序列分解的序列进行填充。
在本实施例中，对历史病例每日增长数据序列进行的频率分解、增强和重构，与对第二周期分量进行的频率分解、增强和重构的过程原理是一样的；下面以对历史病例每日增长数据序列进行的频率分解、增强和重构为例，进行详细说明。
在本实施例中，采用最大重叠离散小波变换（Maximum Overlap DiscreteWavelet Transform，MODWT）对处理后的历史病例每日增长数据序列进行频率分解，得到高频分量X j h 和低频分量X j l ；
具体地，根据式（4）和式（5）进行多级频率分解，这种多级结构能在不同尺度下观察原始的数据序列，经分解后得到处理后的历史病例每日增长数据序列的高频分量X j h 和低频分量X j l ：
Figure 470324DEST_PATH_IMAGE003
（4）
Figure 506413DEST_PATH_IMAGE004
（5）
其中，j是频率分解的层数；b j (high)和b j (low)是第j层的偏差向量；X是待频率分 解的序列；W j (high)和W j (low)均为权重矩阵，由小波滤波矩阵
Figure 70250DEST_PATH_IMAGE009
和尺度滤波矩阵
Figure 457369DEST_PATH_IMAGE010
初始化 为小波系数
Figure 499274DEST_PATH_IMAGE011
和尺度系数
Figure 655449DEST_PATH_IMAGE012
。
在本实施例中，对于X E =(x t ,x t-1,…,x t-L+1)，第j层MODWT的小波系数
Figure 452504DEST_PATH_IMAGE013
和尺度系 数
Figure 999023DEST_PATH_IMAGE014
分别为：
Figure 172515DEST_PATH_IMAGE015
（6）
Figure 120879DEST_PATH_IMAGE016
（7）
其中，j是频率分解的层数，取值范围是
Figure 88835DEST_PATH_IMAGE017
；K j 是第j层小波系数的长度，
Figure 184967DEST_PATH_IMAGE018
，k是单位小波系数的长度，采用的是db2小波，k=4；
Figure 568675DEST_PATH_IMAGE019
和
Figure 699442DEST_PATH_IMAGE020
是第j层小波滤波器和尺度滤波器；N是时间序列的长度，N与滑动窗口长度T相等；l mod N指l除以N的余数。
需要指出的是，每个尺度的MODWT小波系数和尺度系数都与原始序列具有相同的长度。
为了更方便地将MODWT融合入深度网络进行训练，采用了与原始MODWT相等的矩阵表示形式，如式（8）所示：
Figure 775983DEST_PATH_IMAGE021
（8）
其中，
Figure 359411DEST_PATH_IMAGE022
是
Figure 546810DEST_PATH_IMAGE023
的小波滤波矩阵，可通过对MODWT的小波滤波器进行处理得到，如 式（9）所示：
Figure 532083DEST_PATH_IMAGE024
（9）
其中，
Figure 841842DEST_PATH_IMAGE025
为对
Figure 867827DEST_PATH_IMAGE026
进行周期化处理得到；同理，尺度滤波矩阵
Figure 921234DEST_PATH_IMAGE027
可通过将
Figure 698697DEST_PATH_IMAGE025
替 换为
Figure 179357DEST_PATH_IMAGE028
得到。
在本实施例中，为了凸出对于预测更有作用的高频分量，将经频率分解得到的低 频分量丢弃，原因是低频分量变换缓慢，可以视为长期趋势信息，这部分分量是在时域中难 以去除的非周期成分；从而将分解P次得到的高频分量表示为
Figure 471798DEST_PATH_IMAGE029
，采用频率注 意力机制进行频率增强处理，使得各个高频分量在互相感知的基础上，对未来序列进行更 好的表示。
具体地，将多个高频分量拼接得到
Figure 266579DEST_PATH_IMAGE030
，然后对齐进行三个独立的二维卷积 操作来生成
Figure 960865DEST_PATH_IMAGE031
，如式（10）所示，其中卷积核尺寸设置为
Figure 550110DEST_PATH_IMAGE032
，通道数为d；
Figure 595426DEST_PATH_IMAGE033
（10）
不同于自注意力机制仅对通道Q和K的单维度做点积，本实施例的频率注意力机制 在此基础上对高频分量的时序维度L同时进行点积运算，并且使用
Figure 990635DEST_PATH_IMAGE034
进行放缩，其中
Figure 477111DEST_PATH_IMAGE035
；频率注意力放缩点积操作表示为式（11）：
Figure 565153DEST_PATH_IMAGE005
（11）
其中，w为两个维度的张量尺寸，e为频率注意力分布，
Figure 769869DEST_PATH_IMAGE036
表示Q和K在两个维度对 应元素相乘并求和。
频率注意力分布e通过softmax函数进行标准化，使得每个频率注意力的值和为1， 使用式（12）将频率注意力分布e与V相乘得到注意力矩阵
Figure 703190DEST_PATH_IMAGE037
：
Figure 309752DEST_PATH_IMAGE038
（12）
与自注意力机制相比，频率注意力机制的优势有两点：
其一，自注意力机制聚焦于时间维度的逐点点积，这种方式破坏了序列自身的时序性，降低了时序数据的信息利用率；而频率注意力仅对频率分量之间进行序列级的点积运算，保留了时间维度的信息。
其二，注意力机制的复杂度为O(L 2)，而频率注意力的复杂度为
Figure 568695DEST_PATH_IMAGE039
。由于分解 次数P为常数且远小于输入的历史序列长度，因此频率注意力渐进为线性复杂度O(L)，相比 于自注意力机制拥有更低的复杂度。
在本实施例中，将经频率增强后的高频分量进行重构，对重构后的频率分量与历史病例每日增长数据序列进行残差连接后得到复合序列；由于不同小波系数的长度之比为有理数，各个高频分量的周期之比也为有理数，因此，将各个高频分量进行叠加得到的复合序列也具有周期性；与原始序列相比，复合序列具有更明显的周期性，从而根据复合序列进行后续的序列内的周期匹配，其目的是从历史病例每日增长数据序列中发现当下的周期模式，并用其对未来序列进行预测。
在本实施例中，对复合序列进行第一序列分解后，将得到的趋势分量丢弃，只保留第一周期分量用于后续的处理。
在本实施例中，第三序列分解后得到第三周期分量和第二趋势分量；第四序列分解后得到第四周期分量和第三趋势分量；第五序列分解后得到输出周期分量和第四趋势分量；那么，第一趋势分量与第二趋势分量残差连接后，再与第三趋势分量残差连接，最后再与第四趋势分量残差连接，得到输出趋势分量。
在本实施例中，对复合序列进行第一序列分解后得到的第一周期分量进行数据增强处理，将增强后的第一周期分量与原第一周期分量进行残差连接后，进入后续的序列注意力匹配阶段。
在本实施例中，在第四序列分解得到第四周期分量后，对第四周期分量同样进行数据增强处理，将增强后的第四周期分量与原第四周期分量进行残差连接后，进入第五序列分解，第五序列分解后得到输出周期分量。
作为可选择的一种实施方式，数据增强处理采用常规的前馈神经网络实现即可。
在本实施例中，为了增强对序列的表达能力，采用序列注意力匹配方法，相比于自注意力的逐点点积聚合形式，该方法将注意力机制作用于序列片段上，从而在保留时序信息、提高信息利用率的同时降低注意力机制的时间复杂度。
下面以图2所示为例，对序列注意力匹配方法进行详细说明。
X D 表示靠近当前时间设定长度的子序列，将X D 归属于序列X E 中的某个周期长度为
Figure 57445DEST_PATH_IMAGE040
的周期子序列X T ，因此，将X D 视为X T 中一段连续的相位片段，通过在序列X E 中匹配与子序 列X D 对应周期相似的相位片段作为相关性序列，并基于周期的延拓性用对应的历史序列预 测未来。
为了增强时间序列数据的表达能力，首先对X D 和X E 进行不同的线性映射，从而得到查询序列X D Q 、键序列X E K 和值序列X E V ，其中，X D Q 的长度为n，X E K 和X E V 的长度均为L，然后序列注意力匹配将被用来取代自注意力中的逐点匹配。
在本实施例中，将序列注意力匹配阶段分成三种情况，下面依次进行说明。
（1）查询序列X D Q 的部分项与键序列X E K 的匹配；
取靠近当前时间的查询序列X D Q 作为输入的原因是因为当前时间的序列对未来的影响更大；同理，在查询序列X D Q 中，越靠近当前时间的片段拥有更高的重要性，因此，将匹配的起始位置定于查询序列X D Q 的末端。
当时延为
Figure 997720DEST_PATH_IMAGE041
时，查询序列X D Q 的后半段与键序列X E K 中对应相位片段进行相关性匹 配，并计算置信度
Figure 521105DEST_PATH_IMAGE042
。
（2）查询序列X D Q 与键序列X E K 的匹配；
随着时延
Figure 623053DEST_PATH_IMAGE043
的缩小，匹配将向当前时间移动；当时延为
Figure 864678DEST_PATH_IMAGE044
时，完整的查询序列X D Q 将与键序列X E K 中对应相位的子序列进行相关性匹配，并计算置信度
Figure 405381DEST_PATH_IMAGE045
；查询序列X D Q 的 长度代表了能够影响未来序列的最近序列范围。
（3）查询序列X D Q 与自身的匹配；
上述两种情况描述的是查询序列X D Q 是键序列X E K 中某个长周期子序列X T 的片段，即
Figure 720956DEST_PATH_IMAGE046
。
Figure 321702DEST_PATH_IMAGE047
依靠查询序列X D Q 在键序列X E K 上定位相关相位片段，并基于后续历史序列进行 预测，此时查询序列X D Q 仅充当索引作用。
当查询序列X D Q 自身包含短周期成分时，即
Figure 722727DEST_PATH_IMAGE048
，意味着X D 依靠自身信息也可以预 测未来序列；即当时延为
Figure 67121DEST_PATH_IMAGE049
时，X D 的前段将与自身后段进行相关性匹配，并计算置信度
Figure 565098DEST_PATH_IMAGE050
。
为了同时满足算法的需求以及计算的便捷性，本实施例提出使用线性互相关来计 算X D Q 与X E K 上不同片段的置信度值。假设X D Q 的长度为n，X E K 的长度为m，将两个序列的有效线 性互相关操作表示为式（13），其中
Figure 8849DEST_PATH_IMAGE051
由式（14）计算得出：
Figure 225067DEST_PATH_IMAGE052
（13）
Figure 45255DEST_PATH_IMAGE053
（14）
互相关序列（置信度）的值说明了X D Q 与X E K 上某个周期子序列在部分相位上的匹配程度。置信度R的值越大，匹配程度越高，相关性越强；同时可以看出，在超出X E K 的索引范围时，X E K 通过补零的方式与X D Q 进行等效匹配。
在X E K 上滚动匹配X D Q 的同时，从X E V 上的对应位置往后截取相同长度的历史序列
Figure 397739DEST_PATH_IMAGE054
作为对未来的预测；而当预测的未来序列长度大于后续的历史序列的长度时，根据周期的 重复性，本实施例将短周期历史序列进行周期延拓，通过拼接多个短周期历史序列对未来 序列进行预测。
根据序列周期性质，置信度R不仅代表了历史序列与当前匹配序列的相关性程度， 同时从一定程度上反映了其后续历史序列与未来序列相关性程度。因此，通过延时
Figure 74708DEST_PATH_IMAGE055
截取 的历史序列
Figure 450326DEST_PATH_IMAGE047
对未来序列进行预测时，需要考虑其对应的置信度
Figure 136522DEST_PATH_IMAGE056
。最后，使用式（15）和 式（16）预测未来序列X P 。
Figure 281196DEST_PATH_IMAGE057
（15）
Figure 394645DEST_PATH_IMAGE058
（16）
在减少时间复杂度方面，本实施例提出了上述算法中置信度R的高效计算方法，具体如下：
周期延拓的运行速度主要受到周期片段匹配的影响。进行滑动匹配的序列X D Q 和X E K 长度分别为n和L，根据上述算法描述，因此匹配的时间复杂度为O(nL)。当X D Q 的长度为固定值且不考虑历史序列的长度时，可以将其视为常数项，此时的时间复杂度变为O(L)。当输入的历史序列长度发生变化来适用不同类型数据时，X D Q 根据历史序列长度进行灵活调整可以从历史数据中获得更有效的周期信息，此时的时间复杂度在最坏的情况下变为O(L 2)。
为了在最坏情况下提高算法的运行效率，本实施例采用循环互相关对上述匹配算法进行优化。循环互相关是表征两组等长的周期性数据之间相似性的操作，其与线性互相关的区别也正由“等长”和“周期性”这两个特点产生。不同于线性互相关，循环互相关其数据补充方式并不是“补零”而是“周期延拓”；
如图3所示，对X E K 进行前补n个零得到序列
Figure 257559DEST_PATH_IMAGE059
，对X D Q 进行后补L个零得到序列
Figure 481867DEST_PATH_IMAGE060
， 使得两个序列长度相同；随后，两个新序列分别以自身为周期进行前后延拓。
通过上述方式，
Figure 808943DEST_PATH_IMAGE060
和
Figure 25118DEST_PATH_IMAGE059
满足了循环互相关操作的条件，其周期延拓的数据补充 方式也与线性互相关中“补零”等效。因此，可以将X D Q 和X E K 的线性互相关计算等效为序列
Figure 172065DEST_PATH_IMAGE061
和
Figure 137747DEST_PATH_IMAGE062
的循环互相关计算。
因为循环互相关可以同时等效为循环卷积，所以可以利用快速傅里叶变换，如式 （17）和式（18）计算卷积来等效计算
Figure 319330DEST_PATH_IMAGE059
和
Figure 774582DEST_PATH_IMAGE060
的循环互相关；
Figure 612088DEST_PATH_IMAGE063
（17）
Figure 178198DEST_PATH_IMAGE064
（18）
其中，
Figure 151971DEST_PATH_IMAGE065
，
Figure 778124DEST_PATH_IMAGE066
，F为快速傅里叶变换（FFT），F -1为逆变换，i为虚数，t为时 间，f为频率，
Figure 899664DEST_PATH_IMAGE067
为共轭操作，
Figure 207148DEST_PATH_IMAGE068
为频域，
Figure 363323DEST_PATH_IMAGE069
为两个序列的间隔
Figure 98061DEST_PATH_IMAGE070
的互相关值。
对于任意时延
Figure 706897DEST_PATH_IMAGE071
，FFT可以通过一次计算求解所有时延的匹配置信度
Figure 552493DEST_PATH_IMAGE072
。通过 这种方式，互相关实现了
Figure 563174DEST_PATH_IMAGE073
的复杂度。因此，基于周期延拓的方法时间复杂度最低为O(L)，最高为
Figure 531130DEST_PATH_IMAGE074
，相比于传统注意力机制的二次复杂度有显著的提升。
为了更好的展示本实施例方法的效果，使用一些评价回归问题的指标进行结果的展示，分别是平均绝对误差(Mean absolute error，MAE)、均方误差（Mean Square Error，MSE），如式（19）和式（20）：
Figure 564946DEST_PATH_IMAGE075
（19）
Figure 276550DEST_PATH_IMAGE076
（20）
其中，y t 表示时间序列在时间t的实际值，
Figure 345000DEST_PATH_IMAGE077
表示y t 的预测值，N是测试集长度。
实施例2
本实施例提供一种传染病病例数量预测系统，包括：
序列获取模块，被配置为获取历史病例每日增长数据序列，并从历史病例每日增长数据序列中切分出靠近当前时间设定长度的子序列；
历史序列处理模块，被配置为对历史病例每日增长数据序列进行频率分解，对得到的频率分量采用频率注意力机制进行增强，对增强后的频率分量进行重构，对重构后的频率分量与历史病例每日增长数据序列进行残差连接后得到复合序列，对复合序列进行第一序列分解得到第一周期分量；
相关序列匹配模块，被配置为对子序列进行第二序列分解得到第二周期分量和第一趋势分量，对第二周期分量进行频率分解、增强、重构和残差连接后，再次进行第三序列分解，将得到的第三周期分量与第一周期分量进行序列注意力匹配，得到与子序列对应周期相似的相关性序列；
序列预测模块，被配置为将相关性序列与第三周期分量经残差连接后，依次进行第四序列分解和第五序列分解后得到输出周期分量，将第一趋势分量与第三序列分解、第四序列分解和第五序列分解后得到趋势分量依次进行残差连接后得到输出趋势分量，将输出周期分量和输出趋势分量拼接后作为传染病病例数量的预测结果。
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种传染病病例数量预测方法，其特征在于，包括：
获取历史病例每日增长数据序列，并从历史病例每日增长数据序列中切分出靠近当前时间设定长度的子序列；
对历史病例每日增长数据序列进行频率分解，对得到的频率分量采用频率注意力机制进行增强，对增强后的频率分量进行重构，对重构后的频率分量与历史病例每日增长数据序列进行残差连接后得到复合序列，对复合序列进行第一序列分解得到第一周期分量；
对得到的频率分量采用频率注意力机制进行增强的过程包括：
对频率分量进行拼接后，进行二维卷积操作生成通道Q、K、V；
对通道Q和通道K进行放缩点积操作得到频率注意力分布e；所述放缩点积操作为对通道Q和通道K的单维度进行点积运算后进行放缩，放缩点积操作表示为：
Figure 127436DEST_PATH_IMAGE001
，w为两个维度的张量尺寸；
频率注意力分布e通过softmax函数进行标准化后与通道V相乘得到注意力矩阵；
对子序列进行第二序列分解得到第二周期分量和第一趋势分量，对第二周期分量进行频率分解、增强、重构和残差连接后，再次进行第三序列分解，将得到的第三周期分量与第一周期分量进行序列注意力匹配，得到与子序列对应周期相似的相关性序列；
将得到的第三周期分量与第一周期分量进行序列注意力匹配的过程包括：
将第三周期分量经线性映射得到查询序列；
将第一周期分量分别进行两次不同的线性映射得到键序列和值序列；
对查询序列和键序列进行序列注意力匹配，并将匹配起始位置定于查询序列的末端；
在键序列上滚动匹配查询序列时，通过待匹配的两个片段的置信度，判断相关性；
且匹配得到相关性序列后，从值序列的对应位置往后截取相同长度的序列用于预测；
将相关性序列与第三周期分量经残差连接后，依次进行第四序列分解和第五序列分解后得到输出周期分量，将第一趋势分量与第三序列分解、第四序列分解和第五序列分解后得到趋势分量依次进行残差连接后得到输出趋势分量，将输出周期分量和输出趋势分量拼接后作为传染病病例数量的预测结果。
2.如权利要求1所述的一种传染病病例数量预测方法，其特征在于，第一序列分解、第二序列分解、第三序列分解、第四序列分解和第五序列分解的过程都是一样的，则周期分量和趋势分量分别表示为：
Figure 388653DEST_PATH_IMAGE002
Figure 57532DEST_PATH_IMAGE003
其中，x t 为趋势分量，x s 为周期分量，AvgPool为平均池化，X e 为待分解的序列，Padding为对待序列分解的序列进行填充。
3.如权利要求1所述的一种传染病病例数量预测方法，其特征在于，经频率分解后得到高频分量X j h 和低频分量X j l ，并去除低频分量，保留高频分量：
Figure 365410DEST_PATH_IMAGE004
Figure 119739DEST_PATH_IMAGE005
其中，j是频率分解的层数；b j (high)和b j (low)是第j层的偏差向量；W j (high)和W j (low)均为权重矩阵，X是待频率分解的序列。
4.如权利要求1所述的一种传染病病例数量预测方法，其特征在于，在截取序列时，当待预测的序列长度大于所能够截取的序列长度时，根据周期的重复性，将短周期历史序列进行周期延拓，通过拼接多个短周期历史序列进行预测。
5.如权利要求4所述的一种传染病病例数量预测方法，其特征在于，所述周期延拓为：对键序列前补n个零，对查询序列后补L个零，以使得两个序列长度相同，两个新序列分别以自身为周期进行前后延拓。
6.一种传染病病例数量预测系统，其特征在于，包括：
序列获取模块，被配置为获取历史病例每日增长数据序列，并从历史病例每日增长数据序列中切分出靠近当前时间设定长度的子序列；
历史序列处理模块，被配置为对历史病例每日增长数据序列进行频率分解，对得到的频率分量采用频率注意力机制进行增强，对增强后的频率分量进行重构，对重构后的频率分量与历史病例每日增长数据序列进行残差连接后得到复合序列，对复合序列进行第一序列分解得到第一周期分量；
对得到的频率分量采用频率注意力机制进行增强的过程包括：
对频率分量进行拼接后，进行二维卷积操作生成通道Q、K、V；
对通道Q和通道K进行放缩点积操作得到频率注意力分布e；所述放缩点积操作为对通道Q和通道K的单维度进行点积运算后进行放缩，放缩点积操作表示为：
Figure 919068DEST_PATH_IMAGE001
，w为两个维度的张量尺寸；
频率注意力分布e通过softmax函数进行标准化后与通道V相乘得到注意力矩阵；
相关序列匹配模块，被配置为对子序列进行第二序列分解得到第二周期分量和第一趋势分量，对第二周期分量进行频率分解、增强、重构和残差连接后，再次进行第三序列分解，将得到的第三周期分量与第一周期分量进行序列注意力匹配，得到与子序列对应周期相似的相关性序列；
将得到的第三周期分量与第一周期分量进行序列注意力匹配的过程包括：
将第三周期分量经线性映射得到查询序列；
将第一周期分量分别进行两次不同的线性映射得到键序列和值序列；
对查询序列和键序列进行序列注意力匹配，并将匹配起始位置定于查询序列的末端；
在键序列上滚动匹配查询序列时，通过待匹配的两个片段的置信度，判断相关性；
且匹配得到相关性序列后，从值序列的对应位置往后截取相同长度的序列用于预测；
序列预测模块，被配置为将相关性序列与第三周期分量经残差连接后，依次进行第四序列分解和第五序列分解后得到输出周期分量，将第一趋势分量与第三序列分解、第四序列分解和第五序列分解后得到趋势分量依次进行残差连接后得到输出趋势分量，将输出周期分量和输出趋势分量拼接后作为传染病病例数量的预测结果。
7.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项所述的方法。
CN202211394862.8A 2022-11-09 2022-11-09 一种传染病病例数量预测方法、系统、设备及存储介质 Active CN115440390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211394862.8A CN115440390B (zh) 2022-11-09 2022-11-09 一种传染病病例数量预测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211394862.8A CN115440390B (zh) 2022-11-09 2022-11-09 一种传染病病例数量预测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115440390A CN115440390A (zh) 2022-12-06
CN115440390B true CN115440390B (zh) 2023-03-24

Family

ID=84252986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211394862.8A Active CN115440390B (zh) 2022-11-09 2022-11-09 一种传染病病例数量预测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115440390B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529051A (zh) * 2022-01-17 2022-05-24 杭州电子科技大学 基于层次残差自注意力神经网络的长期电力负荷预测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120137367A1 (en) * 2009-11-06 2012-05-31 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
US20200302187A1 (en) * 2015-07-17 2020-09-24 Origin Wireless, Inc. Method, apparatus, and system for people counting and recognition based on rhythmic motion monitoring
CN111080487A (zh) * 2020-01-17 2020-04-28 广东电网有限责任公司 一种售电市场电量预测方法及装置
CN113793693A (zh) * 2021-09-18 2021-12-14 北京大学第三医院（北京大学第三临床医学院） 传染病流行趋势预测方法及装置
CN114817773A (zh) * 2022-05-11 2022-07-29 中国科学院计算机网络信息中心 一种基于多级分解和融合的时序预测系统及方法
CN114707772B (zh) * 2022-06-06 2022-08-23 山东大学 基于多特征分解与融合的电力负荷预测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529051A (zh) * 2022-01-17 2022-05-24 杭州电子科技大学 基于层次残差自注意力神经网络的长期电力负荷预测方法

Also Published As

Publication number Publication date
CN115440390A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
Yang et al. ADMM-Net: A deep learning approach for compressive sensing MRI
Qiu et al. Power quality disturbances recognition using modified s transform and parallel stack sparse auto-encoder
Ancona et al. Radial basis function approach to nonlinear Granger causality of time series
TW202004658A (zh) 深度神經網絡自我調整增量模型壓縮的方法
CN112149797B (zh) 神经网络结构优化方法和装置、电子设备
Pant et al. Reconstruction of sparse signals by minimizing a re-weighted approximate ℓ 0-norm in the null space of the measurement matrix
JP2003523577A (ja) 信号処理技術
CN110826803A (zh) 一种电力现货市场的电价预测方法及装置
CN103646011B (zh) 一种基于线性调频z变换的信号频谱细化方法
Roy et al. Pruning filters while training for efficiently optimizing deep learning networks
Dumitrescu et al. Regularized k-svd
CN115440390B (zh) 一种传染病病例数量预测方法、系统、设备及存储介质
CN115797818A (zh) 视频时序动作提名生成方法及系统
CN105137176B (zh) 一种利用快速三角形式傅里叶变换的信号谐波分析方法
CN112446461A (zh) 一种神经网络模型训练方法及装置
CN107644004B (zh) 一种基于离散分数阶傅里叶变换快速计算方法的数字信号处理方法及装置
CN108761412B (zh) 一种低信噪比情况下压缩感知雷达单目标参数估计方法
CN112883649B (zh) 一种电力负荷预测方法、系统、计算机设备及存储介质
CA2347399C (en) Signal processing
CN111916049B (zh) 一种语音合成方法及装置
Shen et al. Learning to prune in training via dynamic channel propagation
Ranganathan et al. Efficient hardware implementation of scalable FFT using configurable Radix-4/2
Chung et al. Energy efficient CNN inference accelerator using fast fourier transform
CN110442827B (zh) 一种频率估计方法、装置、系统及计算机可读存储介质
Ahmad et al. Deep Image Coding in the Fractional Wavelet Transform Domain based on High-Frequency Sub-bands Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant