CN116307082A - 一种基于数据处理的预测模型生成方法 - Google Patents

一种基于数据处理的预测模型生成方法 Download PDF

Info

Publication number
CN116307082A
CN116307082A CN202310061749.6A CN202310061749A CN116307082A CN 116307082 A CN116307082 A CN 116307082A CN 202310061749 A CN202310061749 A CN 202310061749A CN 116307082 A CN116307082 A CN 116307082A
Authority
CN
China
Prior art keywords
value
generating
data processing
dictg
strg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310061749.6A
Other languages
English (en)
Inventor
孙国梓
黄国耀
刘文杰
陈赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310061749.6A priority Critical patent/CN116307082A/zh
Publication of CN116307082A publication Critical patent/CN116307082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation

Abstract

一种基于数据处理的预测模型生成方法，首先进行数据输入，然后进行预处理操作，再由生成操作，最终将预处理操作和生成操作的结果输出，完成预测模型输出。本方法中，用户只需输入状态值，即可通过预处理和生成操作，得到对应的预测模型参数，辅助用户进行分析和预测；流程清楚明确，便于实现；提出基于数值大小和随机的两种数据处理方法，既保证了数据处理的基础逻辑，也考虑到了现实的随机性，保证最终的预测结果较为准确。

Description

一种基于数据处理的预测模型生成方法
技术领域
本发明属于数据处理和机器学习技术领域，具体涉及一种基于数据处理的预测模型生成方法。
背景技术
现有数据处理和机器学习领域中，预测模型是极为热门的研究方向，如天气预测、金融预测等应用领域，已经提出各式各样的预测方法，但这些方法中，大多步骤复杂繁琐，不利于实际操作实现。同时主要基于对于现有数据进行处理来预测，并未考虑实际现实中出现的随机性，导致最终预测结果较为死板，实际预测效果较差。
发明内容
本发明针对上述背景技术中存在的问题，提出一种基于数据处理的预测模型生成方法，具体技术方案如下：
一种基于数据处理的预测模型生成方法，包括如下步骤：
步骤1，数据输入；
步骤2，预处理操作；包括获取时间信息，以及根据状态值进行分组获得基于数值大小和基于随机的两个数组；
步骤3，生成操作；定义若干键值对组成的数据集合为数据封装字典，根据步骤2获得的两个数据分别通过键找到对应的值，获得对应的两个数据封装字典；
步骤4，将预处理操作和生成操作的结果输出，完成预测模型输出。
本发明达到的有益效果为：
（1）用户只需输入状态值，即可通过预处理和生成操作，得到对应的预测模型参数，辅助用户进行分析和预测；
（2）流程清楚明确，便于实现；
（3）提出基于数值大小和随机的两种数据处理方法，既保证了数据处理的基础逻辑，也考虑到了现实的随机性，保证最终的预测结果较为准确。
附图说明
图1是本发明实施例的总体流程图。
图2是本发明实施例的的总体流程的状态空间图。
图3是本发明实施例的预处理操作流程图。
图4是本发明实施例的生成操作流程图。
图5是本发明实施例的数据封装子流程图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
首先给出如下的数组和字典的定义。
数组定义为将若干元素组合起来的有序数据集合，可以通过索引找到任意元素；也可以通过数组中的任意元素，得到该元素对应的索引。
字典定义为若干键值对组成的数据集合，可以通过键找到对应的值。
如图1的总体流程图所示，本发明方法主要包括：步骤S100数据输入，步骤S200预处理操作，步骤S300生成操作，步骤S400输出，需要注意的是每个大步骤中为了更加清楚的介绍流程，会基于该步骤下的子步骤流程图进行进一步说明，以下为具体说明：
步骤S100：数据输入。
根据系统提示，用户输入状态值，记作d i (i∈[1,6])，共得到六个状态值d 1 、d 2、 d 3 、d 4 、d 5 、d 6 ，如某个用户进行输入，该用户记为u。
步骤S200：预处理操作，该部分结合图3进行具体说明S210-S240。
步骤S210：用户输入结束，立即获取当前时间（月、日），记作Mon u 、Day u 。
步骤S220：定义本值生成方法；对d i 按序从小至大排列，例如得到d 1 、d 2 、d 5 、d 3 、d 4 、d 6 ，则将d 1 、d 2 、d 5 的本值定义为0，将的d 3 、d 4 、d 6 本值定义为1。
步骤S230：定义变值生成方法；将d i 随机排列，例如得到d 4 、d 6 、d 2 、d 3 、d 1 、d 5 ，则将d 4 、d 6 、d 2 的变值定义为0，将d 3 、d 1 、d 5 的变值定义为1。
步骤S240：对状态值d i 按照本值和变值的生成方法处理，生成本值和变值的六位数组。例如，基于上述步骤S220和S230，可以得到本值数组{0,0,1,1,0,1}和变值数组{1,0,1,0,1,0}，分别记作G u ，G u ’。
至此预处理部分结束，得到用户预处理后的数据：本值数组G u ，变值数组G u ’，月信息Mon u ，日信息Day u 。
步骤S300：生成操作，该部分结合图4进行具体说明S310-S330。
步骤S310：基于所得的本值数组和变值数组的比较，定义数变标记。比较G u ，G u ’数组，若相同，则定义Flag u 为0，若不同，则定义Flag u 为1；如上述用户u的G u ，G u ’所示，比较结果得，Flag u =1。
步骤S320：定义初始字典；定义初始字典DictZg，DictZg结构如下：{StrG1:DictG1,StrG2:DictG2, ...,StrGi:DictGi}。其中，为StrGi为后续步骤中拼接得到的字符串，而DictGi定义为该字符串对应的查询值，根据实际预测领域进行设计。例如，应用于气象预测领域时，输入的六项状态值可能是连续时间点的天气数据，通过本值和变值的字符串转换后，在初始字典中存放由天气历史数据总结得到的天气数值。将本值和变值的字符串输入就可查询到对应的天气数值。
步骤S330：根据数变标记的两种不同状态进行不同的生成操作，该部分结合图5进行说明S331-S337。
若Flag u =0，具体步骤如下：
步骤S331，获得本值封装数据字典，将G u 的数组依次拼接组成字符串StrG u ，如u的G u =[0,0,1,1,0,1]，则StrG u =001101。
步骤S332，将StrG u 作为键代入DictZg查询得到本值对应的封装数据字典DictG u 。
步骤S333，定义变值对应的封装字典为DictG u ’，DictG u ’={Null:Null}。
若Flag u =1，具体步骤如下：
如步骤S334-S335，获得本值对应的封装数据字典，步骤同上述步骤S331-S332。
步骤S336，获得变值对应的封装数据字典，将G u ’的数组依次拼接组成字符串StrG u ’，如u的G u ’=[1,0,1,0,1,0]，则StrG u =101010。
步骤S337，将StrG u ’代入DictZg作为键查询得到变值对应的封装字典DictG u ’。
至此生成部分结束，得到用户生成后的数据：初始字典DictZg，爻变标记Flag u ，本值封装字典DictG u ，变值封装字典DictG u ’。
步骤S400：系统输出。
预处理和封装结束，系统将对应的数据进行输出，结束预测模型的生成，输出数据包括如下部分：本值数组G u ，变值数组G u ’，月信息MonGz u ，日信息DayGz u ，初始字典DictZg，数变标记Flag u ，本值封装字典DictG u ，变值封装字典DictG u ’。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (10)

1.一种基于数据处理的预测模型生成方法，其特征在于：包括如下步骤：
步骤1，数据输入；
步骤2，预处理操作；包括获取时间信息，以及根据状态值进行分组获得基于数值大小和基于随机的两个数组；
步骤3，生成操作；定义若干键值对组成的数据集合为数据封装字典，根据步骤2获得的两个数据分别通过键找到对应的值，获得对应的两个数据封装字典；
步骤4，将预处理操作和生成操作的结果输出，完成预测模型输出。
2.根据权利要求1所述的一种基于数据处理的预测模型生成方法，其特征在于：步骤1中，用户u得到六个状态值d 1 、d 2 、d 3 、d 4 、d 5 、d 6 ，并进行输入。
3.根据权利要求1所述的一种基于数据处理的预测模型生成方法，其特征在于：步骤2中，用户u输入结束后获取包括月日信息的当前时间，记作Mon u 、Day u 。
4.根据权利要求1所述的一种基于数据处理的预测模型生成方法，其特征在于：步骤2中，定义基于数值大小的本值和基于随机的变值的生成方法：
本值生成方法为，本值取值为0或1，根据状态值的数值大小排序分组，数值小的三项对应生成本值为0，数值大的三项对应生成本值为1；
变值生成方法为，变值取值为0或1，将六个状态值随机分为两组，一组的状态值对应生成变值为0，另一组的状态值对应生成变值为1。
5.根据权利要求4所述的一种基于数据处理的预测模型生成方法，其特征在于：步骤2中，对六个状态值按本值和变值生成方法进行处理，生成本值和变值的六位数组，分别记作G u 、G u ’。
6.根据权利要求1所述的一种基于数据处理的预测模型生成方法，其特征在于：步骤3中，基于预处理操作所得的本值值和变值数组的比较，定义数变标记。
7.根据权利要求6所述的一种基于数据处理的预测模型生成方法，其特征在于：比较所得的本值数组G u 和变值数组G u ’，判断数组是否相同，若相同，则定义Flag u 为0，若不同，则定义Flag u 为1，Flag表示数变标记。
8. 根据权利要求7所述的一种基于数据处理的预测模型生成方法，其特征在于：步骤3中，定义初始字典DictZg，其结构为{StrG1:DictG1，StrG2:DictG2 ... StrGi:DictGi}。
9.根据权利要求8所述的一种基于数据处理的预测模型生成方法，其特征在于：步骤3中，根据数变标记的两种不同状态进行不同的数据封装操作；
若Flag u =0，具体步骤如下：
将G u 的数组依次拼接组成字符串StrG u ；将StrG u 作为键代入DictZg得到本值对应的封装字典DictG u ；
定义变值对应的封装字典为DictG u ’=Null；
若Flag u =1，具体步骤如下：
将G u 的数组依次拼接组成字符串StrG u ；将StrG u 作为键代入DictZg得到本值对应的封装字典DictG u ；
将G u ’的数组依次拼接组成字符串StrG u ’；将StrG u ’代入DictZg作为键得到变值对应的封装字典DictG u ’。
10.根据权利要求1所述的一种基于数据处理的预测模型生成方法，其特征在于：步骤4中，经过预处理操作和生成操作，将对应的数据进行输出，结束预测模型的生成，输出数据包括本值数组G u ，变值数组G u ’，月信息Mon u ，日信息Day u ，数变标记Flag u ，本值封装字典DictG u ，变值封装字典DictG u ’。
CN202310061749.6A 2023-01-17 2023-01-17 一种基于数据处理的预测模型生成方法 Pending CN116307082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310061749.6A CN116307082A (zh) 2023-01-17 2023-01-17 一种基于数据处理的预测模型生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310061749.6A CN116307082A (zh) 2023-01-17 2023-01-17 一种基于数据处理的预测模型生成方法

Publications (1)

Publication Number Publication Date
CN116307082A true CN116307082A (zh) 2023-06-23

Family

ID=86782456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310061749.6A Pending CN116307082A (zh) 2023-01-17 2023-01-17 一种基于数据处理的预测模型生成方法

Country Status (1)

Country Link
CN (1) CN116307082A (zh)

Similar Documents

Publication Publication Date Title
US11886998B2 (en) Attention-based decoder-only sequence transduction neural networks
US20180341862A1 (en) Integrating a memory layer in a neural network for one-shot learning
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN111814466A (zh) 基于机器阅读理解的信息抽取方法、及其相关设备
CN104598611B (zh) 对搜索条目进行排序的方法及系统
CN113902926A (zh) 一种基于自注意力机制的通用图像目标检测方法和装置
CN110852110B (zh) 目标语句提取方法、问题生成方法以及信息处理设备
Singh et al. Steganalysis of digital images using deep fractal network
CN111461175B (zh) 自注意与协同注意机制的标签推荐模型构建方法及装置
Fu et al. Rich features embedding for cross-modal retrieval: A simple baseline
CN112069399A (zh) 一种基于交互匹配的个性化搜索系统
CN113609326B (zh) 基于外部知识和目标间关系的图像描述生成方法
CN115270752A (zh) 一种基于多层次对比学习的模板句评估方法
CN115018941A (zh) 一种基于改进版文本解析器的文本至图像生成算法
CN111507101B (zh) 一种基于多层次语义胶囊路由的反讽检测方法
CN115424663B (zh) 一种基于attention的双向表示模型的RNA修饰位点预测方法
CN116307082A (zh) 一种基于数据处理的预测模型生成方法
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
Bi et al. K-means clustering optimizing deep stacked sparse autoencoder
CN114925197A (zh) 基于主题注意力的深度学习文本分类模型训练方法
CN114861671A (zh) 模型训练方法、装置、计算机设备及存储介质
CN113095435A (zh) 视频描述生成方法、装置、设备及计算机可读存储介质
CN113112969A (zh) 基于神经网络的佛教音乐记谱方法、装置、设备及介质
US20230124006A1 (en) System and method for training a transformer-in-transformer-based neural network model for audio data
CN109582296B (zh) 一种基于栈增强lstm的程序表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination