CN116662307A - 一种基于多源数据融合的智能预警方法、系统及设备 - Google Patents
一种基于多源数据融合的智能预警方法、系统及设备 Download PDFInfo
- Publication number
- CN116662307A CN116662307A CN202310914828.7A CN202310914828A CN116662307A CN 116662307 A CN116662307 A CN 116662307A CN 202310914828 A CN202310914828 A CN 202310914828A CN 116662307 A CN116662307 A CN 116662307A
- Authority
- CN
- China
- Prior art keywords
- early warning
- data
- model
- data fusion
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 68
- 238000007781 pre-processing Methods 0.000 claims abstract description 39
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 238000007499 fusion processing Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 21
- 230000006399 behavior Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000013501 data transformation Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000011161 development Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及智能预警技术领域，公开了一种基于多源数据融合的智能预警方法、系统及设备。本发明从多方数据源采集与目标业务相关的数据并接入至预先建立的信息数据库中；对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理；确定目标业务的预警目标，从预先建立的预警算法库中选取契合预警目标的数学算法作为预警分析算法；从信息数据库中提取适用于预警分析算法的数据集；基于预警分析算法构建初始预警模型，并根据数据集训练初始预警模型，通过得到的训练完成的预警模型获得目标业务对应的模型预测结果，最后根据模型预测结果确定是否发布预警信息。本发明相对于现有业务预警应用开发流程，能够有效提高预警效率和准确度。
Description
技术领域
本发明涉及智能预警技术领域，尤其涉及一种基于多源数据融合的智能预警方法、系统及设备。
背景技术
当前市面主流的业务预警应用开发流程为，一般由建模人员与业务人员进行沟通确定预警目标，并由建模人员与数据人员配合获取建模所需的数据源，进而由建模人员基于该预警目标和所获取的数据源进行预警模型建模，最终将得到的模型预测名单交由数据人员进行监控。该开发流程涉及人员较多，需要人为获取和处理所需数据源，且数据采集、模型训练和后期监控等各个环节无法良好串接，从而难以实现高效率和高准确性的业务预警。因此，有必要提供一种可以高效准确分析处理目标业务数据并发出预警的方法和系统。
发明内容
本发明提供了一种基于多源数据融合的智能预警方法、系统及设备，解决了现有业务预警应用开发流程难以实现高效率和高准确性的业务预警的技术问题。
本发明第一方面提供一种基于多源数据融合的智能预警方法，包括：
从多方数据源采集与目标业务相关的数据并接入至预先建立的信息数据库中；
对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理；
确定所述目标业务的预警目标，从预先建立的预警算法库中选取契合所述预警目标的数学算法作为预警分析算法；所述预警算法库中存储有适配于业务预警的数学算法；
从所述信息数据库中提取适用于所述预警分析算法的数据集；
基于所述预警分析算法构建初始预警模型，并根据所述数据集训练所述初始预警模型，得到训练完成的预警模型；
通过所述训练完成的预警模型获得所述目标业务对应的模型预测结果；
根据所述模型预测结果确定是否发布预警信息。
根据本发明第一方面的一种能够实现的方式，所述对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理，包括：
对各多源数据进行行为特征提取，得到不同类别的行为特征序列；
分别将各类别的行为特征序列以预置周期为单位划分为多个子序列；
计算同一周期内各类子序列间的相似度，对相似度大于预置相似度阈值的两类子序列进行拼接；
将拼接得到的子序列和未进行拼接的子序列归入序列集合；
构建基于神经网络的多源数据融合模型；
通过所述多源数据融合模型对所述序列集合中的各子序列进行数据融合，得到多源融合数据时间序列。
根据本发明第一方面的一种能够实现的方式，所述多源数据融合模型包括预处理层、卷积层、特征提取层、注意力机制层和全连接层，所述通过所述多源数据融合模型对所述序列集合中的各子序列进行数据融合，包括：
通过所述预处理层对所述序列集合中的各子序列进行预处理，获得去除噪声后的标准化时间序列；
通过所述卷积层对各所述标准化时间序列进行卷积运算以提取出空间维度特征；
通过所述特征提取层对所述空间维度特征进行隐含特征信息的提取，获得相应标准化时间序列的时间维度特征；
通过所述注意力机制层为所述特征提取层的隐藏层状态序列分配不同的权重，获得核心关键信息；
通过所述全连接层对所述核心关键信息进行学习，以筛选对输出序列有用的特征信息。
根据本发明第一方面的一种能够实现的方式，所述对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理，还包括：
在进行多源数据融合处理之前，对接入至所述信息数据库的数据进行数据清洗、数据变换和/或数据规约处理。
根据本发明第一方面的一种能够实现的方式，所述根据所述模型预测结果确定是否发布预警信息，包括：
若所述模型预测结果包括与所述预警目标相应的模型预测名单，基于所述模型预测名单发布相应的预警信息。
根据本发明第一方面的一种能够实现的方式，所述基于所述模型预测名单发布相应的预警信息，包括：
从预置的预警可视化看板获取对应所述目标业务的预警联系信息；
按照所述预警联系信息推送与所述模型预测名单相应的预警信息。
根据本发明第一方面的一种能够实现的方式，所述方法还包括：
若所述模型预测结果包括与所述预警目标相应的模型预测名单，基于所述模型预测名单生成目标标签；
确定所述信息数据库中与所述模型预测名单相关的数据作为目标数据；
建立所述目标标签与所述目标数据的关联关系。
本发明第二方面提供一种基于多源数据融合的智能预警系统，包括：
接入模块，用于从多方数据源采集与目标业务相关的数据并接入至预先建立的信息数据库中；
预处理模块，用于对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理；
选取模块，用于确定所述目标业务的预警目标，从预先建立的预警算法库中选取契合所述预警目标的数学算法作为预警分析算法；所述预警算法库中存储有适配于业务预警的数学算法；
提取模块，用于从所述信息数据库中提取适用于所述预警分析算法的数据集；
建模模块，用于基于所述预警分析算法构建初始预警模型，并根据所述数据集训练所述初始预警模型，得到训练完成的预警模型；
预测模块，用于通过所述训练完成的预警模型获得所述目标业务对应的模型预测结果；
预警模块，用于根据所述模型预测结果确定是否发布预警信息。
根据本发明第二方面的一种能够实现的方式，所述预处理模块包括：
特征提取单元，用于对各多源数据进行行为特征提取，得到不同类别的行为特征序列；
划分单元，用于分别将各类别的行为特征序列以预置周期为单位划分为多个子序列；
拼接单元，用于计算同一周期内各类子序列间的相似度，对相似度大于预置相似度阈值的两类子序列进行拼接；
归入单元，用于将拼接得到的子序列和未进行拼接的子序列归入序列集合；
构建单元，用于构建基于神经网络的多源数据融合模型；
数据融合单元，用于通过所述多源数据融合模型对所述序列集合中的各子序列进行数据融合，得到多源融合数据时间序列。
根据本发明第二方面的一种能够实现的方式，所述多源数据融合模型包括预处理层、卷积层、特征提取层、注意力机制层和全连接层，所述数据融合单元具体用于：
通过所述预处理层对所述序列集合中的各子序列进行预处理，获得去除噪声后的标准化时间序列；
通过所述卷积层对各所述标准化时间序列进行卷积运算以提取出空间维度特征；
通过所述特征提取层对所述空间维度特征进行隐含特征信息的提取，获得相应标准化时间序列的时间维度特征；
通过所述注意力机制层为所述特征提取层的隐藏层状态序列分配不同的权重，获得核心关键信息；
通过所述全连接层对所述核心关键信息进行学习，以筛选对输出序列有用的特征信息。
根据本发明第二方面的一种能够实现的方式，所述预处理模块还包括：
数据预处理单元，用于在进行多源数据融合处理之前，对接入至所述信息数据库的数据进行数据清洗、数据变换和/或数据规约处理。
根据本发明第二方面的一种能够实现的方式，所述预警模块包括：
预警单元，用于若所述模型预测结果包括与所述预警目标相应的模型预测名单，基于所述模型预测名单发布相应的预警信息。
根据本发明第二方面的一种能够实现的方式，所述预警单元基于所述模型预测名单发布相应的预警信息时，具体用于：
从预置的预警可视化看板获取对应所述目标业务的预警联系信息；
按照所述预警联系信息推送与所述模型预测名单相应的预警信息。
根据本发明第二方面的一种能够实现的方式，所述系统还包括：
生成模块，用于若所述模型预测结果包括与所述预警目标相应的模型预测名单，基于所述模型预测名单生成目标标签；
确定模块，用于确定所述信息数据库中与所述模型预测名单相关的数据作为目标数据；
建立模块，用于建立所述目标标签与所述目标数据的关联关系。
本发明第三方面提供了一种基于多源数据融合的智能预警设备，包括：
存储器，用于存储指令；其中，所述指令用于实现如上任意一项能够实现的方式所述的基于多源数据融合的智能预警方法；
处理器，用于执行所述存储器中的指令。
本发明第四方面一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项能够实现的方式所述的基于多源数据融合的智能预警方法。
从以上技术方案可以看出，本发明具有以下优点：
本发明从多方数据源采集与目标业务相关的数据并接入至预先建立的信息数据库中；对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理；确定所述目标业务的预警目标，从预先建立的预警算法库中选取契合所述预警目标的数学算法作为预警分析算法；所述预警算法库中存储有适配于业务预警的数学算法；从所述信息数据库中提取适用于所述预警分析算法的数据集；基于所述预警分析算法构建初始预警模型，并根据所述数据集训练所述初始预警模型，得到训练完成的预警模型；通过所述训练完成的预警模型获得所述目标业务对应的模型预测结果；根据所述模型预测结果确定是否发布预警信息；本发明可自动化地开展目标业务预警流程，无需人为干预，能够大幅度提高预警应用的智能化，降低预警应用的开发难度，相对于现有业务预警应用开发流程，能够有效提高预警效率和准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一个可选实施例提供的一种基于多源数据融合的智能预警方法的流程图；
图2为本发明一个可选实施例提供的一种基于多源数据融合的智能预警系统的结构连接框图。
附图标记：
1-接入模块；2-预处理模块；3-选取模块；4-提取模块；5-建模模块；6-预测模块；7-预警模块。
实施方式
本发明实施例提供了一种基于多源数据融合的智能预警方法、系统及设备，用于解决现有业务预警应用开发流程难以实现高效率和高准确性的业务预警的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供了一种基于多源数据融合的智能预警方法。
请参阅图1，图1示出了本发明实施例提供的一种基于多源数据融合的智能预警方法的流程图。
本发明实施例提供的一种基于多源数据融合的智能预警方法，包括步骤S1-S7。
步骤S1，从多方数据源采集与目标业务相关的数据并接入至预先建立的信息数据库中。
其中，目标业务为需要进行智能预警的业务。例如，需要进行银行客户流失预警时，该目标业务即为银行客户流失预警业务；需要进行学生学业预警时，该目标业务即为学生学业预警业务；需要对营销过程中的用低成本甚至零成本换取高额奖励的人员进行识别预警时，该目标业务即为营销过程中对该人员的识别预警业务。
在进行数据采集的过程中，可以采用多源异构数据采集中间件技术，实现跨网络、跨平台、跨终端的数据采集能力。需要说明的是，该多源异构数据采集中间件技术为现有技术，本发明实施例中，对此不做限定。
步骤S2，对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理。
本发明实施例中，通过将多源数据进行融合，提高了预警识别的准确率和实时性。
在一种能够实现的方式中，所述对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理，包括：
对各多源数据进行行为特征提取，得到不同类别的行为特征序列；
分别将各类别的行为特征序列以预置周期为单位划分为多个子序列；
计算同一周期内各类子序列间的相似度，对相似度大于预置相似度阈值的两类子序列进行拼接；
将拼接得到的子序列和未进行拼接的子序列归入序列集合；
构建基于神经网络的多源数据融合模型；
通过所述多源数据融合模型对所述序列集合中的各子序列进行数据融合，得到多源融合数据时间序列。
作为具体的实施方式，可以采用欧氏距离的计算公式为相似度的计算公式。需要说明的是，相似度的计算方法还可以采用其他现有技术的计算方法，本发明实施例中，对此不做限定。
本发明实施例中，对数据进行多源数据融合处理时，先对序列进行拼接处理，实现第一次数据融合，然后再在第一次数据融合的结果上，基于多源数据融合模型进行第二次数据融合，能够提高数据融合的精度。
在一种能够实现的方式中，所述多源数据融合模型包括预处理层、卷积层、特征提取层、注意力机制层和全连接层，所述通过所述多源数据融合模型对所述序列集合中的各子序列进行数据融合，包括：
通过所述预处理层对所述序列集合中的各子序列进行预处理，获得去除噪声后的标准化时间序列；
通过所述卷积层对各所述标准化时间序列进行卷积运算以提取出空间维度特征；
通过所述特征提取层对所述空间维度特征进行隐含特征信息的提取，获得相应标准化时间序列的时间维度特征；
通过所述注意力机制层为所述特征提取层的隐藏层状态序列分配不同的权重，获得核心关键信息；
通过所述全连接层对所述核心关键信息进行学习，以筛选对输出序列有用的特征信息。
本发明实施例中，由于各子序列的信息维度大且噪声多，通过所述预处理层对所述序列集合中的各子序列进行预处理，然后将进行去噪处理后的时间序列作为卷积层的输入，能够避免噪声对数据融合处理质量产生影响；通过引入注意力机制，对特征提取层的隐藏层状态序列分配不同的权重，进一步筛选核心关键信息，有效提高了数据融合处理的精度。
作为一种实施方式，所述通过所述卷积层对各所述标准化时间序列进行卷积运算以提取出空间维度特征，包括：
通过卷积操作捕获数据中抽象的空间特征向量；
将得到的空间特征向量进行归一化处理，以提高数据分布的稳定性和提升训练模型速度；
对归一化处理后的空间特征向量进行池化处理。
为了实现对归一化处理后的空间特征向量的降维同时保证主体信息特征，可以使用最大池化的方式完成池化处理。
在一种能够实现的方式中，所述对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理，还包括：
在进行多源数据融合处理之前，对接入至所述信息数据库的数据进行数据清洗、数据变换和/或数据规约处理。
数据清洗是为了识别和修复原数据中的错误和不完整项，并进行填补和删除操作，以保证数据的质量；数据变换即针对数据格式的要求，将其转换成特殊的、易于使用的表现形式；数据规约是指通过删除数据冗余特征或聚类来降低数据的规模，从而产生数据规模更小但原始特性保持不变的新数据集。本发明实施例中，在进行多源数据融合处理之前，对接入至所述信息数据库的数据进行数据清洗、数据变换和/或数据规约处理，能够为多源数据融合处理奠定良好的数据基础。
作为一种实施方式，所述数据清洗包括异常数据修正，该异常数据修正是对缺失数据进行修正，以提高数据的精度。
作为一种实施方式，异常数据修正的过程包括：
在包含目标缺失数据的一段数据序列中提取无目标缺失数据的目标数据子序列；
计算所述目标数据子序列中所有数据与所述目标缺失数据的欧式距离；
选择与所述目标缺失数据的欧式距离最小的k个数据作为所述目标缺失数据的最近邻数据；
对最近邻数据对应的欧式距离进行Z-score标准化处理，以服从标准正态分布；
利用高斯函数将标准化处理后的欧式距离转化为权重；
对权重进行归一化处理，得到归一化权重；
基于所述归一化权重对所述目标缺失数据进行修正：
式中，/>为修正数据，/>为所述最近邻数据中的第/>个数据对应的归一化权重，/>为所述最近邻数据中的第/>个数据，/>为所述最近邻数据的数量。
步骤S3，确定所述目标业务的预警目标，从预先建立的预警算法库中选取契合所述预警目标的数学算法作为预警分析算法；所述预警算法库中存储有适配于业务预警的数学算法。
作为一种实施方式，可以构建存储有数学算法与预警目标的映射关系的列表，从而可以通过该列表匹配相应的数学算法作为预警分析算法。
在一种实施方式中，当匹配到的数学算法存在多个时，可以从中随机选取一个作为预警分析算法。
在另一种实施方式中，每种数学算法配置有优先级别，当匹配到的数学算法存在多个时，可以从中选取优先级别最高的作为预警分析算法。
其中，数学算法的优先级别可以通过不断的实验结果并结合专业人员的经验进行设置。
其中，适配于业务预警的数学算法可以理解为根据业务预警应用需求，经过验证和参数调优后的数学算法。
步骤S4，从所述信息数据库中提取适用于所述预警分析算法的数据集。
作为具体的实施方式，可以通过读取模型配置表，按照统一的格式从所述信息数据库中提取适用于所述预警分析算法的数据集。
步骤S5，基于所述预警分析算法构建初始预警模型，并根据所述数据集训练所述初始预警模型，得到训练完成的预警模型。
需要说明的是，具体的训练过程可以参照现有技术，本发明实施例中，对此不做限定。
步骤S6，通过所述训练完成的预警模型获得所述目标业务对应的模型预测结果。
本发明实施例中，预警模型能够自动学习和优化，提高了预警效果和应用场景的灵活性。
步骤S7，根据所述模型预测结果确定是否发布预警信息。
在一种能够实现的方式中，所述根据所述模型预测结果确定是否发布预警信息，包括：
若所述模型预测结果包括与所述预警目标相应的模型预测名单，基于所述模型预测名单发布相应的预警信息。
在一种能够实现的方式中，所述基于所述模型预测名单发布相应的预警信息，包括：
从预置的预警可视化看板获取对应所述目标业务的预警联系信息；
按照所述预警联系信息推送与所述模型预测名单相应的预警信息。
在一种能够实现的方式中，所述方法还包括：
若所述模型预测结果包括与所述预警目标相应的模型预测名单，基于所述模型预测名单生成目标标签；
确定所述信息数据库中与所述模型预测名单相关的数据作为目标数据；
建立所述目标标签与所述目标数据的关联关系。
本发明还提供了一种基于多源数据融合的智能预警系统，该系统可用于执行本发明上述任一项实施例所述的基于多源数据融合的智能预警方法。
请参阅图2，图2示出了本发明实施例提供的一种基于多源数据融合的智能预警系统的结构连接框图。
本发明实施例提供的一种基于多源数据融合的智能预警系统，包括：
接入模块1，用于从多方数据源采集与目标业务相关的数据并接入至预先建立的信息数据库中；
预处理模块2，用于对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理；
选取模块3，用于确定所述目标业务的预警目标，从预先建立的预警算法库中选取契合所述预警目标的数学算法作为预警分析算法；所述预警算法库中存储有适配于业务预警的数学算法；
提取模块4，用于从所述信息数据库中提取适用于所述预警分析算法的数据集；
建模模块5，用于基于所述预警分析算法构建初始预警模型，并根据所述数据集训练所述初始预警模型，得到训练完成的预警模型；
预测模块6，用于通过所述训练完成的预警模型获得所述目标业务对应的模型预测结果；
预警模块7，用于根据所述模型预测结果确定是否发布预警信息。
在一种能够实现的方式中，所述预处理模块2包括：
特征提取单元，用于对各多源数据进行行为特征提取，得到不同类别的行为特征序列；
划分单元，用于分别将各类别的行为特征序列以预置周期为单位划分为多个子序列；
拼接单元，用于计算同一周期内各类子序列间的相似度，对相似度大于预置相似度阈值的两类子序列进行拼接；
归入单元，用于将拼接得到的子序列和未进行拼接的子序列归入序列集合；
构建单元，用于构建基于神经网络的多源数据融合模型；
数据融合单元，用于通过所述多源数据融合模型对所述序列集合中的各子序列进行数据融合，得到多源融合数据时间序列。
在一种能够实现的方式中，所述多源数据融合模型包括预处理层、卷积层、特征提取层、注意力机制层和全连接层，所述数据融合单元具体用于：
通过所述预处理层对所述序列集合中的各子序列进行预处理，获得去除噪声后的标准化时间序列；
通过所述卷积层对各所述标准化时间序列进行卷积运算以提取出空间维度特征；
通过所述特征提取层对所述空间维度特征进行隐含特征信息的提取，获得相应标准化时间序列的时间维度特征；
通过所述注意力机制层为所述特征提取层的隐藏层状态序列分配不同的权重，获得核心关键信息；
通过所述全连接层对所述核心关键信息进行学习，以筛选对输出序列有用的特征信息。
在一种能够实现的方式中，所述预处理模块2还包括：
数据预处理单元，用于在进行多源数据融合处理之前，对接入至所述信息数据库的数据进行数据清洗、数据变换和/或数据规约处理。
在一种能够实现的方式中，所述预警模块7包括：
预警单元，用于若所述模型预测结果包括与所述预警目标相应的模型预测名单，基于所述模型预测名单发布相应的预警信息。
在一种能够实现的方式中，所述预警单元基于所述模型预测名单发布相应的预警信息时，具体用于：
从预置的预警可视化看板获取对应所述目标业务的预警联系信息；
按照所述预警联系信息推送与所述模型预测名单相应的预警信息。
在一种能够实现的方式中，所述系统还包括：
生成模块，用于若所述模型预测结果包括与所述预警目标相应的模型预测名单，基于所述模型预测名单生成目标标签；
确定模块，用于确定所述信息数据库中与所述模型预测名单相关的数据作为目标数据；
建立模块，用于建立所述目标标签与所述目标数据的关联关系。
本发明还提供了一种基于多源数据融合的智能预警设备，包括：
存储器，用于存储指令；其中，所述指令用于实现如上任意一项实施例所述的基于多源数据融合的智能预警方法；
处理器，用于执行所述存储器中的指令。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项实施例所述的基于多源数据融合的智能预警方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、设备、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，上述描述的系统、模块和单元的具体有益效果，可以参考前述方法实施例中的对应有益效果，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于多源数据融合的智能预警方法，其特征在于，包括：
从多方数据源采集与目标业务相关的数据并接入至预先建立的信息数据库中；
对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理；
确定所述目标业务的预警目标，从预先建立的预警算法库中选取契合所述预警目标的数学算法作为预警分析算法；所述预警算法库中存储有适配于业务预警的数学算法；
从所述信息数据库中提取适用于所述预警分析算法的数据集；
基于所述预警分析算法构建初始预警模型，并根据所述数据集训练所述初始预警模型，得到训练完成的预警模型；
通过所述训练完成的预警模型获得所述目标业务对应的模型预测结果；
根据所述模型预测结果确定是否发布预警信息。
2.根据权利要求1所述的基于多源数据融合的智能预警方法，其特征在于，所述对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理，包括：
对各多源数据进行行为特征提取，得到不同类别的行为特征序列；
分别将各类别的行为特征序列以预置周期为单位划分为多个子序列；
计算同一周期内各类子序列间的相似度，对相似度大于预置相似度阈值的两类子序列进行拼接；
将拼接得到的子序列和未进行拼接的子序列归入序列集合；
构建基于神经网络的多源数据融合模型；
通过所述多源数据融合模型对所述序列集合中的各子序列进行数据融合，得到多源融合数据时间序列。
3.根据权利要求2所述的基于多源数据融合的智能预警方法，其特征在于，所述多源数据融合模型包括预处理层、卷积层、特征提取层、注意力机制层和全连接层，所述通过所述多源数据融合模型对所述序列集合中的各子序列进行数据融合，包括：
通过所述预处理层对所述序列集合中的各子序列进行预处理，获得去除噪声后的标准化时间序列；
通过所述卷积层对各所述标准化时间序列进行卷积运算以提取出空间维度特征；
通过所述特征提取层对所述空间维度特征进行隐含特征信息的提取，获得相应标准化时间序列的时间维度特征；
通过所述注意力机制层为所述特征提取层的隐藏层状态序列分配不同的权重，获得核心关键信息；
通过所述全连接层对所述核心关键信息进行学习，以筛选对输出序列有用的特征信息。
4.根据权利要求2所述的基于多源数据融合的智能预警方法，其特征在于，所述对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理，还包括：
在进行多源数据融合处理之前，对接入至所述信息数据库的数据进行数据清洗、数据变换和/或数据规约处理。
5.根据权利要求1所述的基于多源数据融合的智能预警方法，其特征在于，所述根据所述模型预测结果确定是否发布预警信息，包括：
若所述模型预测结果包括与所述预警目标相应的模型预测名单，基于所述模型预测名单发布相应的预警信息。
6.根据权利要求5所述的基于多源数据融合的智能预警方法，其特征在于，所述基于所述模型预测名单发布相应的预警信息，包括：
从预置的预警可视化看板获取对应所述目标业务的预警联系信息；
按照所述预警联系信息推送与所述模型预测名单相应的预警信息。
7.根据权利要求1所述的基于多源数据融合的智能预警方法，其特征在于，所述方法还包括：
若所述模型预测结果包括与所述预警目标相应的模型预测名单，基于所述模型预测名单生成目标标签；
确定所述信息数据库中与所述模型预测名单相关的数据作为目标数据；
建立所述目标标签与所述目标数据的关联关系。
8.一种基于多源数据融合的智能预警设备，其特征在于，包括：
接入模块，用于从多方数据源采集与目标业务相关的数据并接入至预先建立的信息数据库中；
预处理模块，用于对接入至所述信息数据库的数据进行包括多源数据融合处理在内的数据预处理；
选取模块，用于确定所述目标业务的预警目标，从预先建立的预警算法库中选取契合所述预警目标的数学算法作为预警分析算法；所述预警算法库中存储有适配于业务预警的数学算法；
提取模块，用于从所述信息数据库中提取适用于所述预警分析算法的数据集；
建模模块，用于基于所述预警分析算法构建初始预警模型，并根据所述数据集训练所述初始预警模型，得到训练完成的预警模型；
预测模块，用于通过所述训练完成的预警模型获得所述目标业务对应的模型预测结果；
预警模块，用于根据所述模型预测结果确定是否发布预警信息。
9.一种基于多源数据融合的智能预警设备，其特征在于，包括：
存储器，用于存储指令；其中，所述指令用于实现如权利要求1-7任意一项所述的基于多源数据融合的智能预警方法；
处理器，用于执行所述存储器中的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的基于多源数据融合的智能预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310914828.7A CN116662307A (zh) | 2023-07-25 | 2023-07-25 | 一种基于多源数据融合的智能预警方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310914828.7A CN116662307A (zh) | 2023-07-25 | 2023-07-25 | 一种基于多源数据融合的智能预警方法、系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116662307A true CN116662307A (zh) | 2023-08-29 |
Family
ID=87719323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310914828.7A Pending CN116662307A (zh) | 2023-07-25 | 2023-07-25 | 一种基于多源数据融合的智能预警方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116662307A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828539A (zh) * | 2024-03-06 | 2024-04-05 | 昆明智合力兴信息系统集成有限公司 | 数据智能融合分析系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580784A (zh) * | 2020-12-16 | 2021-03-30 | 哈尔滨电站设备成套设计研究所有限公司 | 基于多输入多输出卷积神经网络的设备智能预警方法 |
| CN114664091A (zh) * | 2022-04-26 | 2022-06-24 | 中远海运科技股份有限公司 | 一种基于节假日流量预测算法的预警方法及系统 |
| CN115690557A (zh) * | 2022-11-09 | 2023-02-03 | 广东电网有限责任公司 | 一种基于注意力机制神经网络的施工安全预警方法和装置 |
| CN116258603A (zh) * | 2021-11-29 | 2023-06-13 | 中国长江电力股份有限公司 | 一种基于电力系统设备状态预警的方法和系统 |
| CN116385689A (zh) * | 2023-06-02 | 2023-07-04 | 北京建工环境修复股份有限公司 | 一种场地污染数据的可视化信息管理方法、系统及介质 |
-
2023
- 2023-07-25 CN CN202310914828.7A patent/CN116662307A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580784A (zh) * | 2020-12-16 | 2021-03-30 | 哈尔滨电站设备成套设计研究所有限公司 | 基于多输入多输出卷积神经网络的设备智能预警方法 |
| CN116258603A (zh) * | 2021-11-29 | 2023-06-13 | 中国长江电力股份有限公司 | 一种基于电力系统设备状态预警的方法和系统 |
| CN114664091A (zh) * | 2022-04-26 | 2022-06-24 | 中远海运科技股份有限公司 | 一种基于节假日流量预测算法的预警方法及系统 |
| CN115690557A (zh) * | 2022-11-09 | 2023-02-03 | 广东电网有限责任公司 | 一种基于注意力机制神经网络的施工安全预警方法和装置 |
| CN116385689A (zh) * | 2023-06-02 | 2023-07-04 | 北京建工环境修复股份有限公司 | 一种场地污染数据的可视化信息管理方法、系统及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828539A (zh) * | 2024-03-06 | 2024-04-05 | 昆明智合力兴信息系统集成有限公司 | 数据智能融合分析系统及方法 |
| CN117828539B (zh) * | 2024-03-06 | 2024-05-24 | 昆明智合力兴信息系统集成有限公司 | 数据智能融合分析系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110659723B (zh) | 基于人工智能的数据处理方法、装置、介质及电子设备 | |
| CN111444340A (zh) | 文本分类和推荐方法、装置、设备及存储介质 | |
| CN114297936A (zh) | 一种数据异常检测方法及装置 | |
| CN108648020A (zh) | 用户行为量化方法、系统、设备及存储介质 | |
| CN111526119B (zh) | 异常流量检测方法、装置、电子设备和计算机可读介质 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN111612041A (zh) | 异常用户识别方法及装置、存储介质、电子设备 | |
| CN110489423B (zh) | 一种信息抽取的方法、装置、存储介质及电子设备 | |
| CN116662307A (zh) | 一种基于多源数据融合的智能预警方法、系统及设备 | |
| CN109492104A (zh) | 意图分类模型的训练方法、分类方法、系统、设备和介质 | |
| CN113761250A (zh) | 模型训练方法、商户分类方法及装置 | |
| CN113821668A (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
| CN115587543A (zh) | 基于联邦学习和lstm的刀具剩余寿命预测方法及系统 | |
| CN115496144A (zh) | 配电网运行场景确定方法、装置、计算机设备和存储介质 | |
| CN117095460A (zh) | 基于长短时关系预测编码的自监督群体行为识别方法及其识别系统 | |
| CN116010831A (zh) | 一种基于潜在决策结果的组合聚类场景缩减方法及系统 | |
| CN115239967A (zh) | 一种基于Trans-CSN生成对抗网络的图像生成方法及装置 | |
| CN112446345B (zh) | 一种低质量三维人脸识别方法、系统、设备和存储介质 | |
| CN112445939A (zh) | 一种社交网络群体发现系统、方法及存储介质 | |
| CN116258579B (zh) | 用户信用评分模型的训练方法及用户信用评分方法 | |
| CN115102852B (zh) | 物联网业务开通方法、装置、电子设备及计算机介质 | |
| CN113744081B (zh) | 窃电行为分析方法 | |
| CN115238805B (zh) | 异常数据识别模型的训练方法及相关设备 | |
| CN114722061B (zh) | 数据处理方法及装置、设备、计算机可读存储介质 | |
| CN111783711B (zh) | 基于身体部件层面的骨架行为识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |