CN116956130A - 一种基于关联特征梳理模型的智能化数据处理方法及系统 - Google Patents

一种基于关联特征梳理模型的智能化数据处理方法及系统 Download PDF

Info

Publication number
CN116956130A
CN116956130A CN202310913217.0A CN202310913217A CN116956130A CN 116956130 A CN116956130 A CN 116956130A CN 202310913217 A CN202310913217 A CN 202310913217A CN 116956130 A CN116956130 A CN 116956130A
Authority
CN
China
Prior art keywords
data
feature
model
carding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310913217.0A
Other languages
English (en)
Other versions
CN116956130B (zh
Inventor
杨桢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Anliantong Technology Co ltd
Original Assignee
Beijing Anliantong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Anliantong Technology Co ltd filed Critical Beijing Anliantong Technology Co ltd
Priority to CN202310913217.0A priority Critical patent/CN116956130B/zh
Publication of CN116956130A publication Critical patent/CN116956130A/zh
Application granted granted Critical
Publication of CN116956130B publication Critical patent/CN116956130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于关联特征梳理模型的智能化数据处理方法及系统，包括以下步骤：S1、存储终端获取用户端的业务请求，对业务请求进行需求数据识别，并在档案数据库中匹配所需的需求数据发送至处理终端；S2、根据预设的宽容值将获取到的需求数据分解为多组数据段，对数据段进行转换生成数据图像，并分别提取数据图像的特征点；S3、基于特征点构建特征关联图分析各特征点之间的关联，并对特征点进行排序，选取关联性较强的特征点；S4、基于特征点构建特征梳理模型，并与档案数据库进行连接对数据进行自动化匹配分类处理；S5、对匹配分类完成的数据进行整合输出。本发明能够满足自动化的需求数据识别和匹配分类处理。

Description

一种基于关联特征梳理模型的智能化数据处理方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于关联特征梳理模型的智能化数据处理方法及系统。
背景技术
随着大数据的广泛应用，对于用户的数据处理成为研究的热点。智能化数据处理是指利用人工智能和机器学习等技术对数据进行智能化的分析、处理和应用。它可以帮助我们从大量的数据中提取有用的信息、发现隐藏的模式和关联，并自动化地进行决策和行动。
关联特征梳理模型是一种利用特征点之间的关联关系来进行数据匹配和分类的模型。其目的是通过构建特征关联图，并利用关联特征点之间的关系来识别和提取数据中的关键特征，进而实现数据的匹配分类处理。利用关联特征梳理模型进行数据处理通过考虑特征点之间的关联关系来提取关键特征，从而提高数据处理的准确性。利用关联特征梳理模型进行数据处理可以提高处理的效率和自动化程度。通过自动化的特征提取、关联关系构建和模型应用，可以减少人工操作和提高处理的速度和效率。
故基于关联特征梳理模型设计数据处理方法以解决现有技术中用户的数据整理精准性不足、适配度低，进而造成用户的数据整理效果不佳的技术问题是极有必要的。
发明内容
本发明为了解决上述问题，提出了一种基于关联特征梳理模型的智能化数据处理方法及系统，实现自动化的需求数据识别和匹配分类处理。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种基于关联特征梳理模型的智能化数据处理方法，该处理方法包括以下步骤：
S1、存储终端获取用户端的业务请求，对业务请求进行需求数据识别，并在档案数据库中匹配所需的需求数据发送至处理终端；
S2、根据预设的宽容值将获取到的需求数据分解为多组数据段，对数据段进行转换生成数据图像，并分别提取数据图像的特征点；
S3、基于特征点构建特征关联图分析各特征点之间的关联，并对特征点进行排序，选取关联性较强的特征点；
S4、基于特征点构建特征梳理模型，并与档案数据库进行连接对数据进行自动化匹配分类处理；
S5、对匹配分类完成的数据进行整合输出，重新发送至存储终端，存储终端根据匹配分类结果对数据进行存储。
作为可选择的实施方式，所述根据预设的宽容值将获取到的需求数据分解为多组数据段，对数据段进行转换生成数据图像，并分别提取数据图像的特征点包括以下步骤：
S21、设置固定的数据长度为数据段分解的宽容值，基于宽容值将需求数据分成多组数据段，每个数据段的长度相等，若需求数据的长度不能够被宽容值整除，将最后一组数据段进行调整，使其长度不超过预设的宽容值；
S22、操作端获取待转换的数据段，根据编码模式对数据段进行数据编码得到编码数据，并将编码数据分解成预设数量的编码数据块；
S23、操作端将编码数据块按照预设规则填充二维编码数组，并调用驱动端将二维编码数组中的数据发送至用户端，用户端接收二维编码数组中的数据生成并显示数据图像；
S24、基于奇异值分解和曲波变换对生成的数据图像进行特征点提取。
作为可选择的实施方式，所述基于奇异值分解和曲波变换对生成的数据图像进行特征点提取包括以下步骤：
S241、将生成的数据图像分别设为图像矩阵，并进行奇异值分解，选取较大数值的奇异值进行归一化处理并作为图像的特征，记为奇异值特征集；
S242、对数据图像进行曲波变换分解，计算个尺度曲波系数的统计特征，计算图像各层曲波系数的统计特征，得到特征集合并进行归一化处理，记为曲波特征集；
S243、将奇异值特征集与曲波特征集进行融合，得到数据图像的特征点集合。
作为可选择的实施方式，所述基于特征点构建特征关联图分析各特征点之间的关联，并对特征点进行排序，选取关联性较强的特征点包括以下步骤：
S31、将特征点作为构建基础，根据图像数据之间的特征信息与特征属性连接图建立特征关联图；
S32、采用图分割算法对构建完成的关联图进行分析；
S33、根据关联图的分析结果，以主要关联性较强的特征点为首按照自上而下的顺序对特征点进行排序。
作为可选择的实施方式，所述将特征点作为构建基础，根据图像数据之间的特征信息与特征属性连接图建立特征关联图包括以下步骤：
S311、对数据图像的提取结果进行遍历，得到图像数据的特征点集合，识别出主要的特征；
S312、根据特征类型获取其属性邻接图和特征主基面，输入至特征关联图的顶点集合中，并获取根据标注信息获取与其关联的图像；
S313、根据关联图像所在的特征点名称，选取与其不在同一特征点的关联图像；
S314、将两关联图像进行连接，并将关系属性输入至特征关联图中信息间边组成的集合中；
S315、依次将与上一面相邻的特征面作为操作对象，重复步骤S312至步骤S314直至该数据图像的特征点的各面匹配完成；
S316、依次将与上一面特征相邻的特征点作为操作对象，重复步骤S312至步骤S315直至删除冗余的特征关系；
S317、从主要特征点开始，逐层递归地寻找直接与当前特征点关联的特征，依据判定规则确定其关系类型，直至所有特征点关系均被加入至特征关联图。
作为可选择的实施方式，所述基于特征点构建特征梳理模型，并与档案数据库进行连接对数据进行自动化匹配分类处理包括以下步骤：
S41、通过卡方检验特征选择算法对特征点进行冗余特征处理；
S42、建立输入样本对应的马尔科夫决策过程，并使用贪婪策略对状态进行检索；
S43、使用梯度下降法对网络进行训练，得到训练完成的深度网络模型；
S44、使用验证集对模型进行优化，得到优化后的特征梳理模型，最后采用测试集进行特征梳理模型性能验证；
S45、根据档案数据库类型，选择相应的数据库驱动程序，进行安装和配置；
S46、根据档案数据库的驱动程序选择连接参数与特征梳理模型进行连接；
S47、在连接完成后将档案数据库中存储的数据导入至特征梳理模型中，依据模型中的特征对数据进行匹配。
作为可选择的实施方式，所述通过卡方检验特征选择算法对特征点进行冗余特征处理中算法为：
式中，y2表示卡方值，O表示出现的频数，E表示期望次数，N表示O的数量。
作为可选择的实施方式，所述建立输入样本对应的马尔科夫决策过程，并使用贪婪策略对状态进行检索包括以下步骤：
S421、定义马尔科夫决策过程的状态空间，并在状态空间内部从处理完成的特征点中定义训练样本；
S422、定义奖励函数并评估每个状态下特征点的优劣；
S423、基于上述状态空间与奖励函数建立模型，并使用贪婪策略选择状态最佳的特征点。
作为可选择的实施方式，所述使用梯度下降法对网络进行训练，得到训练完成的深度网络模型包括以下步骤：
S431、建立一组包含输入特征和目标变量的数据集，并根据特征梳理定义深度神经网络结构，其中，深度神经网络结构包括输入层、隐藏层及激活函数的选择；
S432、通过随机初始化方法对深度神经网络的权重和偏置进行初始化，并执行前向传播计算，将输入特征通过深度神经网络的各层，得到初始模型；
S433、定义一组状态函数并计算在使用神经网络拟合函数时的损失函数衡量初始输出结果与特征点之间的差异；
S434、通过反向传播算法，计算损失函数对模型参数的梯度，并利用梯度下降法更新模型参数；
S435、重复执行步骤S432至步骤S434，并选取训练集对模型进行训练。
第二方面，本发明提供一种基于关联特征梳理模型的智能化数据处理系统，该基于关联特征梳理模型的智能化数据处理系统包括：请求模块、处理模块、分析选择模块、构建匹配模块及存储模块；
其中，所述请求模块，用于存储终端获取用户端的业务请求，对业务请求进行需求数据识别，并在档案数据库中匹配所需的需求数据发送至处理终端；
所述处理模块，用于根据预设的宽容值将获取到的需求数据分解为多组数据段，对数据段进行转换生成数据图像，并分别提取数据图像的特征点；
所述分析选择模块，用于基于特征点构建特征关联图分析各特征点之间的关联，并对特征点进行排序，选取关联性较强的特征点；
所述构建匹配模块，用于基于特征点构建特征梳理模型，并与档案数据库进行连接对数据进行自动化匹配分类处理；
所述存储模块，用于对匹配分类完成的数据进行整合输出，重新发送至存储终端，存储终端根据匹配分类结果对数据进行存储。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、本发明通过对数据库中的原始数据进行提取并从中提取特征点，基于特征点构建特征梳理模型，同时将模型与数据库进行连接，进而实现自动化处理，使得能够满足自动化的需求数据识别和匹配分类处理，减少了人工干预和手动操作的时间和工作量，大大提高了处理速度和效率，同时自动化的处理过程可以减少人为错误的发生，特别是在需求数据识别、匹配和分类过程中，可以提高准确性和一致性。
2、本发明通过构建特征点和特征关联图，并基于特征梳理模型进行匹配分类，可以提高匹配的精确度和准确性，确保所需的数据能够正确地被匹配和处理，将匹配分类完成的数据进行整合输出，并重新发送至存储终端进行存储，可以实现数据的集中管理和统一存储，便于后续的数据查询、分析和使用，整个流程的自动化处理减少了人工干预和复杂的手动操作，提高了处理的效率和一致性，同时也降低了人力成本和风险。
3、本发明在构建特征梳理模型和数据库自动化匹配分类处理中，采用了卡方检验特征选择算法、马尔科夫决策过程、梯度下降法等算法进行具体数据处理，使得特征梳理模型能够被精准的建立和优化，模型和数据库之间可以被准确的连接匹配，进而保证了智能化数据处理是建立在最佳的模型构建和自动化匹配分类的基础上。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是根据本发明实施例的一种基于关联特征梳理模型的智能化数据处理方法流程图；
图2是根据本发明实施例的一种基于关联特征梳理模型的智能化数据处理系统原理框图。
图中：
1、请求模块；2、处理模块；3、分析选择模块；4、构建匹配模块；5、存储模块。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排除其他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
请参阅图1，该基于关联特征梳理模型的智能化数据处理方法包括以下步骤：
S1、存储终端获取用户端的业务请求，对业务请求进行需求数据识别，并在档案数据库中匹配所需的需求数据发送至处理终端。
具体的，由存储终端负责接收来自用户端的业务请求，可通过网络接口或其他适当的方式接收请求，并将其存储在一个适当的数据结构中，例如数据库。
在接收到业务请求后，存储终端需要进行需求数据识别，可通过使用自然语言处理(NLP)技术，根据业务需求，识别出请求中的关键信息，以便后续的匹配操作。
将识别出的需求数据与档案数据库中的数据进行匹配，使用查询语言或相关的数据库操作来检索匹配的数据，根据需求数据的特征，构建适当的查询语句，并执行查询操作，以找到符合需求的数据。
一旦匹配到符合需求的数据，存储终端将所需的数据发送至处理终端，确保数据的传输安全性和完整性，以便处理终端能够正确接收和处理数据。
S2、根据预设的宽容值将获取到的需求数据分解为多组数据段，对数据段进行转换生成数据图像，并分别提取数据图像的特征点。
在本实施例中，所述根据预设的宽容值将获取到的需求数据分解为多组数据段，对数据段进行转换生成数据图像，并分别提取数据图像的特征点包括以下步骤：
S21、设置固定的数据长度为数据段分解的宽容值，基于宽容值将需求数据分成多组数据段，每个数据段的长度相等，若需求数据的长度不能够被宽容值整除，将最后一组数据段进行调整，使其长度不超过预设的宽容值；
S22、操作端获取待转换的数据段，根据编码模式对数据段进行数据编码得到编码数据，并将编码数据分解成预设数量的编码数据块；
S23、操作端将编码数据块按照预设规则填充二维编码数组，并调用驱动端将二维编码数组中的数据发送至用户端，用户端接收二维编码数组中的数据生成并显示数据图像；
S24、基于奇异值分解和曲波变换对生成的数据图像进行特征点提取。
具体的，所述基于奇异值分解和曲波变换对生成的数据图像进行特征点提取包括以下步骤：
S241、将生成的数据图像分别设为图像矩阵，并进行奇异值分解，选取较大数值的奇异值进行归一化处理并作为图像的特征，记为奇异值特征集；
S242、对数据图像进行曲波变换分解，计算个尺度曲波系数的统计特征，计算图像各层曲波系数的统计特征，得到特征集合并进行归一化处理，记为曲波特征集；
S243、将奇异值特征集与曲波特征集进行融合，得到数据图像的特征点集合。
具体的，将奇异值特征集与曲波特征集进行融合，以得到数据图像的特征点集合，可通过以下步骤实现：
对于给定的数据图像，使用奇异值分解(SVD)或相关的技术，提取奇异值特征集，奇异值特征集是描述数据图像主要特征的一组数值；
使用曲波变换技术，提取曲波特征集，曲波特征集是描述数据图像局部特征的一组数值，通常与数据的形状、纹理或边缘有关。
将奇异值特征集和曲波变换特征集进行融合，使用简单的加权平均、特征连接或其他适当的方法来融合两个特征集，确保融合后的特征集能够全面描述数据图像的特征。
基于融合后的特征集，使用特征点提取算法来提取数据图像的特征点集合，特征点是在图像中具有显著性的位置或区域。
S3、基于特征点构建特征关联图分析各特征点之间的关联，并对特征点进行排序，选取关联性较强的特征点。
在本实施例中，所述基于特征点构建特征关联图分析各特征点之间的关联，并对特征点进行排序，选取关联性较强的特征点包括以下步骤：
S31、将特征点作为构建基础，根据图像数据之间的特征信息与特征属性连接图建立特征关联图。
具体的，所述将特征点作为构建基础，根据图像数据之间的特征信息与特征属性连接图建立特征关联图包括以下步骤：
S311、对数据图像的提取结果进行遍历，得到图像数据的特征点集合，识别出主要的特征；
S312、根据特征类型获取其属性邻接图和特征主基面，输入至特征关联图的顶点集合中，并获取根据标注信息获取与其关联的图像；
S313、根据关联图像所在的特征点名称，选取与其不在同一特征点的关联图像；
S314、将两关联图像进行连接，并将关系属性输入至特征关联图中信息间边组成的集合中；
S315、依次将与上一面相邻的特征面作为操作对象，重复步骤S312至步骤S314直至该数据图像的特征点的各面匹配完成；
S316、依次将与上一面特征相邻的特征点作为操作对象，重复步骤S312至步骤S315直至删除冗余的特征关系；
S317、从主要特征点开始，逐层递归地寻找直接与当前特征点关联的特征，依据判定规则确定其关系类型，直至所有特征点关系均被加入至特征关联图。
S32、采用图分割算法对构建完成的关联图进行分析；
具体的，采用图分割算法对构建完成的关联图进行分析可通过以下步骤实现：
根据数据的特性，选择谱聚类(其中，谱聚类是一种常用的图分割算法，它通过对数据图的谱分解来实现聚类)算法进行分割，根据所选择的算法，对关联图进行分割，分割的目标是将图中的节点划分成多个独立的区域或群集。
根据分割结果，可在每个分割区域上进行局部特征提取、聚类、分类等操作进行分析。
S33、根据关联图的分析结果，以主要关联性较强的特征点为首按照自上而下的顺序对特征点进行排序。
S4、基于特征点构建特征梳理模型，并与档案数据库进行连接对数据进行自动化匹配分类处理。
在本实施例中，所述基于特征点构建特征梳理模型，并与档案数据库进行连接对数据进行自动化匹配分类处理包括以下步骤：
S41、通过卡方检验特征选择算法对特征点进行冗余特征处理。
具体的，所述通过卡方检验特征选择算法对特征点进行冗余特征处理中算法为：
式中，y2表示卡方值，O表示出现的频数，E表示期望次数，N表示O的数量。
S42、建立输入样本对应的马尔科夫决策过程，并使用贪婪策略对状态进行检索。
具体的，所述建立输入样本对应的马尔科夫决策过程，并使用贪婪策略对状态进行检索包括以下步骤：
S421、定义马尔科夫决策过程的状态空间，并在状态空间内部从处理完成的特征点中定义训练样本；
S422、定义奖励函数并评估每个状态下特征点的优劣；
S423、基于上述状态空间与奖励函数建立模型，并使用贪婪策略选择状态最佳的特征点。
S43、使用梯度下降法对网络进行训练，得到训练完成的深度网络模型。
作为可选择的实施方式，所述使用梯度下降法对网络进行训练，得到训练完成的深度网络模型包括以下步骤：
S431、建立一组包含输入特征和目标变量的数据集，并根据特征梳理定义深度神经网络结构，其中，深度神经网络结构包括输入层、隐藏层及激活函数的选择；
S432、通过随机初始化方法对深度神经网络的权重和偏置进行初始化，并执行前向传播计算，将输入特征通过深度神经网络的各层，得到初始模型；
S433、定义一组状态函数并计算在使用神经网络拟合函数时的损失函数衡量初始输出结果与特征点之间的差异；
S434、通过反向传播算法，计算损失函数对模型参数的梯度，并利用梯度下降法更新模型参数；
S435、重复执行步骤S432至步骤S434，并选取训练集对模型进行训练。
S44、使用验证集对模型进行优化，得到优化后的特征梳理模型，最后采用测试集进行特征梳理模型性能验证。
S45、根据档案数据库类型，选择相应的数据库驱动程序，进行安装和配置。
S46、根据档案数据库的驱动程序选择连接参数与特征梳理模型进行连接。
具体的，根据使用的档案数据库类型，例如MySQL、PostgreSQL等，并根据确定的数据库类型，下载相应的数据库驱动程序，选择与数据库版本和开发语言兼容的驱动程序进行安装，根据数据库驱动程序的要求，进行相应的配置，使用相应的数据库驱动程序提供的API或方法，建立与数据库的连接。
S47、在连接完成后将档案数据库中存储的数据导入至特征梳理模型中，依据模型中的特征对数据进行匹配。
具体的，根据特征梳理模型的要求，对从档案数据库中读取的数据进行预处理，这可能包括数据清洗、特征提取、特征缩放、标准化等操作，以确保数据格式和特征与模型的输入要求相匹配。
将选定的特征梳理模型加载至应用程序中，并使用特征梳理模型对预处理后的数据进行匹配，根据匹配结果，根据需求进行进一步的处理。
S5、对匹配分类完成的数据进行整合输出，重新发送至存储终端，存储终端根据匹配分类结果对数据进行存储。
具体的，所述对匹配分类完成的数据进行整合输出，重新发送至存储终端，存储终端根据匹配分类结果对数据进行存储可包括以下步骤：
将匹配分类完成的数据按照需要的格式进行整合，发送至存储终端，通过网络连接、API调用或其他适合的方式进行传输。
在存储终端上，根据匹配分类结果进行存储。在数据存储完成后，可以进行数据存储确认，即验证数据是否成功存储，并记录存储结果。
请参阅图2，该基于关联特征梳理模型的智能化数据处理系统包括：请求模块1、处理模块2、分析选择模块3、构建匹配模块4及存储模块5；
其中，所述请求模块1，用于存储终端获取用户端的业务请求，对业务请求进行需求数据识别，并在档案数据库中匹配所需的需求数据发送至处理终端；
所述处理模块2，用于根据预设的宽容值将获取到的需求数据分解为多组数据段，对数据段进行转换生成数据图像，并分别提取数据图像的特征点；
所述分析选择模块3，用于基于特征点构建特征关联图分析各特征点之间的关联，并对特征点进行排序，选取关联性较强的特征点；
所述构建匹配模块4，用于基于特征点构建特征梳理模型，并与档案数据库进行连接对数据进行自动化匹配分类处理；
所述存储模块5，用于对匹配分类完成的数据进行整合输出，重新发送至存储终端，存储终端根据匹配分类结果对数据进行存储。
综上所述，借助于本发明的上述技术方案，本发明通过对数据库中的原始数据进行提取并从中提取特征点，基于特征点构建特征梳理模型，同时将模型与数据库进行连接，进而实现自动化处理，使得能够满足自动化的需求数据识别和匹配分类处理，减少了人工干预和手动操作的时间和工作量，大大提高了处理速度和效率，同时自动化的处理过程可以减少人为错误的发生，特别是在需求数据识别、匹配和分类过程中，可以提高准确性和一致性。本发明通过构建特征点和特征关联图，并基于特征梳理模型进行匹配分类，可以提高匹配的精确度和准确性，确保所需的数据能够正确地被匹配和处理，将匹配分类完成的数据进行整合输出，并重新发送至存储终端进行存储，可以实现数据的集中管理和统一存储，便于后续的数据查询、分析和使用，整个流程的自动化处理减少了人工干预和复杂的手动操作，提高了处理的效率和一致性，同时也降低了人力成本和风险。本发明在构建特征梳理模型和数据库自动化匹配分类处理中，采用了卡方检验特征选择算法、马尔科夫决策过程、梯度下降法等算法进行具体数据处理，使得特征梳理模型能够被精准的建立和优化，模型和数据库之间可以被准确的连接匹配，进而保证了智能化数据处理是建立在最佳的模型构建和自动化匹配分类的基础上。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于关联特征梳理模型的智能化数据处理方法，其特征在于，该处理方法包括以下步骤：
S1、存储终端获取用户端的业务请求，对业务请求进行需求数据识别，并在档案数据库中匹配所需的需求数据发送至处理终端；
S2、根据预设的宽容值将获取到的需求数据分解为多组数据段，对数据段进行转换生成数据图像，并分别提取数据图像的特征点；
S3、基于特征点构建特征关联图分析各特征点之间的关联，并对特征点进行排序，选取关联性较强的特征点；
S4、基于特征点构建特征梳理模型，并与档案数据库进行连接对数据进行自动化匹配分类处理；
S5、对匹配分类完成的数据进行整合输出，重新发送至存储终端，存储终端根据匹配分类结果对数据进行存储。
2.根据权利要求1所述的一种基于关联特征梳理模型的智能化数据处理方法，其特征在于，所述根据预设的宽容值将获取到的需求数据分解为多组数据段，对数据段进行转换生成数据图像，并分别提取数据图像的特征点包括以下步骤：
S21、设置固定的数据长度为数据段分解的宽容值，基于宽容值将需求数据分成多组数据段，每个数据段的长度相等，若需求数据的长度不能够被宽容值整除，将最后一组数据段进行调整，使其长度不超过预设的宽容值；
S22、操作端获取待转换的数据段，根据编码模式对数据段进行数据编码得到编码数据，并将编码数据分解成预设数量的编码数据块；
S23、操作端将编码数据块按照预设规则填充二维编码数组，并调用驱动端将二维编码数组中的数据发送至用户端，用户端接收二维编码数组中的数据生成并显示数据图像；
S24、基于奇异值分解和曲波变换对生成的数据图像进行特征点提取。
3.根据权利要求2所述的一种基于关联特征梳理模型的智能化数据处理方法，其特征在于，所述基于奇异值分解和曲波变换对生成的数据图像进行特征点提取包括以下步骤：
S241、将生成的数据图像分别设为图像矩阵，并进行奇异值分解，选取较大数值的奇异值进行归一化处理并作为图像的特征，记为奇异值特征集；
S242、对数据图像进行曲波变换分解，计算个尺度曲波系数的统计特征，计算图像各层曲波系数的统计特征，得到特征集合并进行归一化处理，记为曲波特征集；
S243、将奇异值特征集与曲波特征集进行融合，得到数据图像的特征点集合。
4.根据权利要求1所述的一种基于关联特征梳理模型的智能化数据处理方法，其特征在于，所述基于特征点构建特征关联图分析各特征点之间的关联，并对特征点进行排序，选取关联性较强的特征点包括以下步骤：
S31、将特征点作为构建基础，根据图像数据之间的特征信息与特征属性连接图建立特征关联图；
S32、采用图分割算法对构建完成的关联图进行分析；
S33、根据关联图的分析结果，以主要关联性较强的特征点为首按照自上而下的顺序对特征点进行排序。
5.根据权利要求4所述的一种基于关联特征梳理模型的智能化数据处理方法，其特征在于，所述将特征点作为构建基础，根据图像数据之间的特征信息与特征属性连接图建立特征关联图包括以下步骤：
S311、对数据图像的提取结果进行遍历，得到图像数据的特征点集合，识别出主要的特征；
S312、根据特征类型获取其属性邻接图和特征主基面，输入至特征关联图的顶点集合中，并获取根据标注信息获取与其关联的图像；
S313、根据关联图像所在的特征点名称，选取与其不在同一特征点的关联图像；
S314、将两关联图像进行连接，并将关系属性输入至特征关联图中信息间边组成的集合中；
S315、依次将与上一面相邻的特征面作为操作对象，重复步骤S312至步骤S314直至该数据图像的特征点的各面匹配完成；
S316、依次将与上一面特征相邻的特征点作为操作对象，重复步骤S312至步骤S315直至删除冗余的特征关系；
S317、从主要特征点开始，逐层递归地寻找直接与当前特征点关联的特征，依据判定规则确定其关系类型，直至所有特征点关系均被加入至特征关联图。
6.根据权利要求1所述的一种基于关联特征梳理模型的智能化数据处理方法，其特征在于，所述基于特征点构建特征梳理模型，并与档案数据库进行连接对数据进行自动化匹配分类处理包括以下步骤：
S41、通过卡方检验特征选择算法对特征点进行冗余特征处理；
S42、建立输入样本对应的马尔科夫决策过程，并使用贪婪策略对状态进行检索；
S43、使用梯度下降法对网络进行训练，得到训练完成的深度网络模型；
S44、使用验证集对模型进行优化，得到优化后的特征梳理模型，最后采用测试集进行特征梳理模型性能验证；
S45、根据档案数据库类型，选择相应的数据库驱动程序，进行安装和配置；
S46、根据档案数据库的驱动程序选择连接参数与特征梳理模型进行连接；
S47、在连接完成后将档案数据库中存储的数据导入至特征梳理模型中，依据模型中的特征对数据进行匹配。
7.根据权利要求6述的一种基于关联特征梳理模型的智能化数据处理方法，其特征在于，所述通过卡方检验特征选择算法对特征点进行冗余特征处理中算法为：
式中，y2表示卡方值，O表示出现的频数，E表示期望次数，N表示O的数量。
8.根据权利要求7所述的一种基于关联特征梳理模型的智能化数据处理方法，其特征在于，所述建立输入样本对应的马尔科夫决策过程，并使用贪婪策略对状态进行检索包括以下步骤：
S421、定义马尔科夫决策过程的状态空间，并在状态空间内部从处理完成的特征点中定义训练样本；
S422、定义奖励函数并评估每个状态下特征点的优劣；
S423、基于上述状态空间与奖励函数建立模型，并使用贪婪策略选择状态最佳的特征点。
9.根据权利要求8所述的一种基于关联特征梳理模型的智能化数据处理方法，其特征在于，所述使用梯度下降法对网络进行训练，得到训练完成的深度网络模型包括以下步骤：
S431、建立一组包含输入特征和目标变量的数据集，并根据特征梳理定义深度神经网络结构，其中，深度神经网络结构包括输入层、隐藏层及激活函数的选择；
S432、通过随机初始化方法对深度神经网络的权重和偏置进行初始化，并执行前向传播计算，将输入特征通过深度神经网络的各层，得到初始模型；
S433、定义一组状态函数并计算在使用神经网络拟合函数时的损失函数衡量初始输出结果与特征点之间的差异；
S434、通过反向传播算法，计算损失函数对模型参数的梯度，并利用梯度下降法更新模型参数；
S435、重复执行步骤S432至步骤S434，并选取训练集对模型进行训练。
10.一种基于关联特征梳理模型的智能化数据处理系统，用于实现权利要求1-9中任一项所述的基于关联特征梳理模型的智能化数据处理方法，其特征在于，该基于关联特征梳理模型的智能化数据处理系统包括：请求模块、处理模块、分析选择模块、构建匹配模块及存储模块；
其中，所述请求模块，用于存储终端获取用户端的业务请求，对业务请求进行需求数据识别，并在档案数据库中匹配所需的需求数据发送至处理终端；
所述处理模块，用于根据预设的宽容值将获取到的需求数据分解为多组数据段，对数据段进行转换生成数据图像，并分别提取数据图像的特征点；
所述分析选择模块，用于基于特征点构建特征关联图分析各特征点之间的关联，并对特征点进行排序，选取关联性较强的特征点；
所述构建匹配模块，用于基于特征点构建特征梳理模型，并与档案数据库进行连接对数据进行自动化匹配分类处理；
所述存储模块，用于对匹配分类完成的数据进行整合输出，重新发送至存储终端，存储终端根据匹配分类结果对数据进行存储。
CN202310913217.0A 2023-07-25 2023-07-25 一种基于关联特征梳理模型的智能化数据处理方法及系统 Active CN116956130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310913217.0A CN116956130B (zh) 2023-07-25 2023-07-25 一种基于关联特征梳理模型的智能化数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310913217.0A CN116956130B (zh) 2023-07-25 2023-07-25 一种基于关联特征梳理模型的智能化数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN116956130A true CN116956130A (zh) 2023-10-27
CN116956130B CN116956130B (zh) 2024-06-14

Family

ID=88457815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310913217.0A Active CN116956130B (zh) 2023-07-25 2023-07-25 一种基于关联特征梳理模型的智能化数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN116956130B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591539A (zh) * 2023-12-07 2024-02-23 中国长江电力股份有限公司 一种基于电力大数据的多数据整合运用一体化系统及方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019487A1 (en) * 2012-07-11 2014-01-16 Salesforce.Com, Inc. Systems and methods with workset management in an on-demand computing environment
US20190251349A1 (en) * 2014-03-12 2019-08-15 Gary L. Duerksen System and method for object classification and sorting
CN110457696A (zh) * 2019-07-31 2019-11-15 福州数据技术研究院有限公司 一种面向档案数据的人才与政策智能匹配系统和方法
CN111563560A (zh) * 2020-05-19 2020-08-21 上海飞旗网络技术股份有限公司 基于时序特征学习的数据流分类方法及装置
CN111597416A (zh) * 2020-05-18 2020-08-28 南京中科麒智科技有限公司 一种基于大数据处理的匹配推送系统
CN111666313A (zh) * 2020-05-25 2020-09-15 中科星图股份有限公司 基于多源异构遥感数据关联构建及多用户数据匹配方法
CN111950708A (zh) * 2020-08-11 2020-11-17 华中师范大学 一种发现大学生日常生活习惯的神经网络结构与方法
CN113190587A (zh) * 2021-04-20 2021-07-30 北京异乡旅行网络科技有限公司 实现业务数据处理的数据处理方法和装置
WO2021167998A1 (en) * 2020-02-17 2021-08-26 DataRobot, Inc. Automated data analytics methods for non-tabular data, and related systems and apparatus
CN113378051A (zh) * 2021-06-16 2021-09-10 南京大学 基于图神经网络的用户-任务关联的众包任务推荐方法
CN114048335A (zh) * 2021-11-09 2022-02-15 江苏科技大学 一种基于知识库的用户交互方法及装置
US20220100648A1 (en) * 2020-02-24 2022-03-31 MakinaRocks Co., Ltd. Computer program for performance testing of models
CN114339262A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 熵编/解码方法及装置
CN115146488A (zh) * 2022-09-05 2022-10-04 山东鼹鼠人才知果数据科技有限公司 基于大数据的可变业务流程智能建模系统及其方法
CN115859128A (zh) * 2023-02-23 2023-03-28 成都瑞安信信息安全技术有限公司 一种基于档案数据交互相似度的分析方法和系统
CN115878682A (zh) * 2023-03-08 2023-03-31 陕西云算珠网络科技有限公司 一种智能化数据处理方法及系统
CN116070111A (zh) * 2022-11-17 2023-05-05 北京东方通科技股份有限公司 一种基于ai的大数据挖掘的辅助决策方法及系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019487A1 (en) * 2012-07-11 2014-01-16 Salesforce.Com, Inc. Systems and methods with workset management in an on-demand computing environment
US20190251349A1 (en) * 2014-03-12 2019-08-15 Gary L. Duerksen System and method for object classification and sorting
CN110457696A (zh) * 2019-07-31 2019-11-15 福州数据技术研究院有限公司 一种面向档案数据的人才与政策智能匹配系统和方法
WO2021167998A1 (en) * 2020-02-17 2021-08-26 DataRobot, Inc. Automated data analytics methods for non-tabular data, and related systems and apparatus
US20220100648A1 (en) * 2020-02-24 2022-03-31 MakinaRocks Co., Ltd. Computer program for performance testing of models
CN111597416A (zh) * 2020-05-18 2020-08-28 南京中科麒智科技有限公司 一种基于大数据处理的匹配推送系统
CN111563560A (zh) * 2020-05-19 2020-08-21 上海飞旗网络技术股份有限公司 基于时序特征学习的数据流分类方法及装置
CN111666313A (zh) * 2020-05-25 2020-09-15 中科星图股份有限公司 基于多源异构遥感数据关联构建及多用户数据匹配方法
CN111950708A (zh) * 2020-08-11 2020-11-17 华中师范大学 一种发现大学生日常生活习惯的神经网络结构与方法
CN114339262A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 熵编/解码方法及装置
CN113190587A (zh) * 2021-04-20 2021-07-30 北京异乡旅行网络科技有限公司 实现业务数据处理的数据处理方法和装置
CN113378051A (zh) * 2021-06-16 2021-09-10 南京大学 基于图神经网络的用户-任务关联的众包任务推荐方法
CN114048335A (zh) * 2021-11-09 2022-02-15 江苏科技大学 一种基于知识库的用户交互方法及装置
CN115146488A (zh) * 2022-09-05 2022-10-04 山东鼹鼠人才知果数据科技有限公司 基于大数据的可变业务流程智能建模系统及其方法
CN116070111A (zh) * 2022-11-17 2023-05-05 北京东方通科技股份有限公司 一种基于ai的大数据挖掘的辅助决策方法及系统
CN115859128A (zh) * 2023-02-23 2023-03-28 成都瑞安信信息安全技术有限公司 一种基于档案数据交互相似度的分析方法和系统
CN115878682A (zh) * 2023-03-08 2023-03-31 陕西云算珠网络科技有限公司 一种智能化数据处理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张景;: "基于业务流程的财务数据自动化分类系统设计", 自动化与仪器仪表, no. 01, 25 January 2020 (2020-01-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591539A (zh) * 2023-12-07 2024-02-23 中国长江电力股份有限公司 一种基于电力大数据的多数据整合运用一体化系统及方法
CN117591539B (zh) * 2023-12-07 2024-05-14 中国长江电力股份有限公司 一种基于电力大数据的多数据整合运用一体化系统及方法

Also Published As

Publication number Publication date
CN116956130B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN112561156A (zh) 基于用户负荷模式分类的短期电力负荷预测方法
CN110245213A (zh) 调查问卷生成方法、装置、设备和存储介质
CN110324170B (zh) 数据分析设备、多模型共决策系统及方法
CN116956130B (zh) 一种基于关联特征梳理模型的智能化数据处理方法及系统
CN115511501A (zh) 一种数据处理方法、计算机设备以及可读存储介质
CN114760172B (zh) 射频基带综合特征信号识别方法与装置
CN113254491A (zh) 一种信息推荐的方法、装置、计算机设备及存储介质
CN117294727B (zh) 一种基于云原生和容器技术的云边端协同管理方法
CN116050405A (zh) 文本处理、问答文本处理及文本处理模型训练方法
CN111949795A (zh) 工单自动分类方法及装置
CN113869398B (zh) 一种不平衡文本分类方法、装置、设备及存储介质
CN112200238A (zh) 基于声响特征的硬岩拉剪破裂识别方法与装置
CN117372144A (zh) 应用于小样本场景的风控策略智能化方法及系统
CN117495422A (zh) 基于电力通信网建设的造价管理系统及其方法
CN110162957A (zh) 智能设备的鉴权方法和装置、存储介质、电子装置
Sinha et al. Completely automated CNN architecture design based on VGG blocks for fingerprinting localisation
CN110866609B (zh) 解释信息获取方法、装置、服务器和存储介质
CN112115994A (zh) 图像识别模型的训练方法、装置、服务器及存储介质
CN110427870B (zh) 眼部图片识别方法、目标识别模型训练方法及装置
CN111343271A (zh) 一种基于dtu设备的人工智能云控制方法及系统
CN111027771A (zh) 景区客流量预估方法、系统、装置及可存储介质
CN115908969A (zh) 图像处理及模型训练的方法和设备
CN109670417A (zh) 指纹识别方法及装置
CN113505064A (zh) 一种基于异构信息流的电力大数据业务系统测试方法
CN114625967A (zh) 基于大数据业务优化的用户信息挖掘方法及人工智能系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant