CN113962335A - 一种可灵活配置的数据全过程处理方法 - Google Patents

一种可灵活配置的数据全过程处理方法 Download PDF

Info

Publication number
CN113962335A
CN113962335A CN202111575070.6A CN202111575070A CN113962335A CN 113962335 A CN113962335 A CN 113962335A CN 202111575070 A CN202111575070 A CN 202111575070A CN 113962335 A CN113962335 A CN 113962335A
Authority
CN
China
Prior art keywords
data
matrix
processing
processed
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111575070.6A
Other languages
English (en)
Other versions
CN113962335B (zh
Inventor
梁志强
段自川
赵晓旭
郑帅
尚俊成
汪成鸽
刘晓星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hengxin Qihua Information Technology Co ltd
Original Assignee
Beijing Hengxin Qihua Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hengxin Qihua Information Technology Co ltd filed Critical Beijing Hengxin Qihua Information Technology Co ltd
Priority to CN202111575070.6A priority Critical patent/CN113962335B/zh
Publication of CN113962335A publication Critical patent/CN113962335A/zh
Application granted granted Critical
Publication of CN113962335B publication Critical patent/CN113962335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种可灵活配置的数据全过程处理方法，首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出。解决了现有技术中数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，实现了较灵活、相对快速且简单的数据处理。

Description

一种可灵活配置的数据全过程处理方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种可灵活配置的数据全过程处理方法。
背景技术
随着科技的进步以及业务系统的复杂化，各行业领域产生的数据量越来越大，进而对数据处理的要求越来越高，针对不同领域的不同数据有许多梳理方法，例如分类、回归、聚类、相似匹配、频繁项集、统计描述、链接预测、数据压缩、因果分析、图解法等，在王宗友等的公开号为“CN113255014A”“一种基于区块链的数据处理方法以及相关设备”中利用区块链进行数据处理，降低区块链权限管理难度，同时提高网络安全性。
但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂。
发明内容
本申请实施例通过提供一种可灵活配置的数据全过程处理方法，解决了现有技术中数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，实现了较灵活、相对快速且简单的数据处理。
本发明的技术方案如下：
一种可灵活配置的数据全过程处理方法，首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出。
优选的，所述方法包括以下步骤：
S1.首先对所需处理数据根据数据类型进行分类采集，并将采集到的数据信息转换成能被接收处理的形式；
S2.对接收到的数据进行预处理，得到预处理后的变换数据矩阵集合，为接下来精准处理做准备；
S3.最后，通过构造权重数学模型对预处理后数据矩阵集合进行清洗去噪，并将所得数据矩阵集合中矩阵逐个进行矩阵分解以及特征提取处理，最后得到数据输出。
优选的，所述步骤S2具体包括：
将采集到的数据用集合
Figure 82577DEST_PATH_IMAGE001
表示，其中
Figure 186668DEST_PATH_IMAGE002
，
Figure 825460DEST_PATH_IMAGE003
表示第i个数据，N表示数据个数；
对集合
Figure 423931DEST_PATH_IMAGE001
进行分组编码，即按顺序对集合
Figure 425254DEST_PATH_IMAGE001
根据交织准则构造矩阵，可表示为：
Figure 185400DEST_PATH_IMAGE004
其中，m，n为分组编码后矩阵D的行数与列数，且N = m╳n。
优选的，所述步骤S2具体包括：
通过引入权重因子ofo对重构的矩阵D进行加权运算处理，得到加权运算后的矩阵
Figure 842646DEST_PATH_IMAGE005
，从矩阵的性质出发获得更有研究价值的矩阵，为数据处理的准确性全面性提供依据。
优选的，所述步骤S3具体包括：
根据用户具体需求，通过构造权重数学模型
Figure 228497DEST_PATH_IMAGE006
，从预处理后的数据矩阵集合J中筛选出最为满足需求的数据矩阵；
构建权重数学模型为：
Figure 100638DEST_PATH_IMAGE007
其中，A表示为用户对数据要求的所有可能数据矩阵，
Figure 484215DEST_PATH_IMAGE008
，B表示为用户对数据要求矩阵的权重，C表示为用户对数据要求矩阵的权重的评分，
Figure 972965DEST_PATH_IMAGE009
表示为模型输出矩阵集合。
优选的，所述步骤S3具体包括：
对权重数学模型的输出数据矩阵集合人工筛选的数据矩阵集合
Figure 896928DEST_PATH_IMAGE010
逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同性质的对角阵，可代替数据矩阵进行进一步处理分析。
本发明的有益效果是：
1、 本申请通过对数据集合
Figure 92417DEST_PATH_IMAGE001
进行分组构建矩阵D，使得在数据处理过程中更简单，直观，为接下来的处理过程更为灵活做准备。
2、本申请通过引入权重因子ofo对重组后的矩阵D进行加权运算处理，得到加权运算后的矩阵
Figure 37108DEST_PATH_IMAGE011
，从矩阵的性质出发获得更有价值的矩阵，为数据处理的准确性提供依据。
3、本申请通过构造权重数学模型，根据不同用户对数据的要求定义矩阵A，并设定矩阵A对应的权重矩阵B以及权重评分矩阵C，来对数据矩阵J进行筛选，提高了数据处理过程中对于满足不同客户需求的灵活性。
4、本申请通过对权重数学模型的输出数据矩阵集合人工筛选的数据矩阵集合逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同性质的对角阵，可代替数据矩阵进行进一步处理分析，使得数据处理过程变得更为简单，降低了数据处理过程的复杂性。
附图说明
图1为本申请所述的一种可灵活配置的数据全过程处理方法的流程图；
图2为本申请所述的一种可灵活配置的数据全过程处理方法实现框图。
具体实施方式
本申请实施例通过提供一种可灵活配置的数据全过程处理方法，解决了数据处理过程中的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，为解决上述问题，总体思路如下：
首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出。本申请通过对数据集合
Figure 747575DEST_PATH_IMAGE001
进行分组构建矩阵D，使得在数据处理过程中更简单，直观，为接下来的处理过程更为灵活做准备；在数据预处理时通过引入权重因子ofo对重组后的矩阵D进行加权运算处理，得到加权运算后的矩阵
Figure 944070DEST_PATH_IMAGE005
，从矩阵的性质出发获得更有价值的矩阵，为数据处理的准确性提供依据；在对预处理后数据进行清洗筛选时构建权重数学模型，根据用户需求定义参数矩阵，更灵活的实现数据处理，同时对权重数学模型输出矩阵集合逐个矩阵进行分解得到简化对角矩阵来代表原数据矩阵，使得数据处理过程变得更为简单，降低了数据处理过程的复杂性；最后对组成的新的矩阵集合进行特征提取，得到用户需要的数据信息，并将其输出。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参照图1，本申请所述一种可灵活配置的数据全过程处理方法，具体包括以下步骤：
S1. 首先对所需处理数据根据数据类型进行分类采集，并将采集到的数据信息转换成能被接收处理的形式；
S11.了解要处理数据的类型，并通过其类型特性选择恰当的手段进行针对性采集；
常用的数据源一般有端上数据、开放数据、主观性数据、物理数据、数据库数据以及其他平台数据。
利用有线无线的方式将数据进行汇总采集，并对采集的数据信息进行分类，根据数据特性可分为无法定义结构的非结构化数据，例如文本信息，图像信息，视频信息以及声音信息；可定义结构的结构化数据，又称为行数据，例如学生选课系统中，学生、课程、选课导师等数据均可抽象为结构化数据。
采集到的数据格式一般有声音、图像、视频、纸带、表格、磁带等多媒体信息，通过有效手段对多种类型数据进行采集，所述有效手段为手动录入、机器扫描录入、数据线传输手段。
本申请根据用户所需数据类型以及具体要求，对数据进行人工数据采集、自动化数据采集、调研问卷收集。
S12.将采集到的数据进行转化，得到可处理的数据类型；
现大部分数据均利用计算机对各类数据进行处理分析，能够对声音、图像、视频等多媒体信息进行综合处理的计算机。
本申请通过计算机根据用户实际需求利用提取的特征信息得到数据相关信息，同时将用户需要的信息按照一定形式展现出来，并将待处理的数据进行预处理，所述预处理包含数据清洗、数据评估处理，通过预处理降低数据维度。
S2. 对接收到的数据进行预处理，得到预处理后的变换数据矩阵集合，为接下来精准处理做准备；
S21.对提取到的数据进行数据清洗预处理，现有技术常用的数据清洗的方法有分箱法、聚类法以及回归法。
将采集到的数据用集合
Figure 321962DEST_PATH_IMAGE012
表示，其中
Figure 578499DEST_PATH_IMAGE013
，
Figure 41842DEST_PATH_IMAGE014
表示第i个数据，N表示数据个数。
对集合
Figure 792760DEST_PATH_IMAGE012
进行分组编码，即按顺序对集合
Figure 8847DEST_PATH_IMAGE012
根据交织准则构造矩阵，可表示为：
Figure 718177DEST_PATH_IMAGE015
其中，m，n为分组编码后矩阵D的行数与列数，且N = m╳n。
本申请通过对数据集合
Figure 403236DEST_PATH_IMAGE012
进行分组构建矩阵D，使得在数据处理过程中更简单，直观且避免数据间的干扰，为接下来的处理过程更为灵活做准备。
S22.随后利用待处理数据性质对分组后的矩阵D进行运算处理，得到处理后矩阵。
对矩阵D进行算术运算处理得到：
Figure 3850DEST_PATH_IMAGE016
对矩阵D进行加权运算处理得到：
Figure 28438DEST_PATH_IMAGE017
其中，ofo为引入的权重因子，表示为：
Figure 157937DEST_PATH_IMAGE018
其中，
Figure 330293DEST_PATH_IMAGE019
表示矩阵的范数，
Figure 423013DEST_PATH_IMAGE020
表示两矩阵内积。
本申请通过引入权重因子ofo对重组后的矩阵D进行加权运算处理，得到加权运算后的矩阵
Figure 879271DEST_PATH_IMAGE011
，从矩阵的性质出发获得更有价值的矩阵，为数据处理的准确性提供依据。
对矩阵D进行傅里叶变换、沃尔什变换、离散余弦变换得到不同变换域中的数据矩阵，表示为D2，D3，D4。
对矩阵D进行N种不同预处理方式得到预处理数据矩阵D5，…，DN。
将经过各运算预处理得到矩阵集合：
Figure 664825DEST_PATH_IMAGE021
S3. 最后，通过构造权重数学模型对预处理后数据矩阵集合进行清洗去噪，并将所得数据矩阵集合中矩阵逐个进行矩阵分解以及特征提取处理，最后得到数据输出。
S31.根据用户具体需求，从预处理通过构造权重数学模型，从集合J中筛选出最为满足需求的数据矩阵；
构建权重数学模型为：
Figure 324476DEST_PATH_IMAGE022
其中，A表示为用户对数据要求的所有可能数据矩阵，
Figure 470156DEST_PATH_IMAGE024
，B表示为用户对数据要求矩阵的权重，C表示为用户对数据要求矩阵的权重的评分，
Figure 266073DEST_PATH_IMAGE025
表示为模型输出矩阵集合。
权重数学模型的输入为矩阵A，矩阵B和矩阵C，对三个输入矩阵做如下运算，定义中间变换矩阵F：
Figure 471796DEST_PATH_IMAGE026
其中，
Figure 353164DEST_PATH_IMAGE027
表示矩阵中每个对应元素之间相乘，得到与矩阵A，B，C同维度的中间变换矩阵F，定义阈值
Figure 318846DEST_PATH_IMAGE028
，将矩阵F中的每一个元素与
Figure 484117DEST_PATH_IMAGE028
进行比较，取出大于
Figure 345894DEST_PATH_IMAGE028
的元素，作为权重数学模型的输出
Figure 714558DEST_PATH_IMAGE029
。
进一步对筛选出来的矩阵集合
Figure 467619DEST_PATH_IMAGE029
中的元素进行重新编号得到
Figure 503709DEST_PATH_IMAGE030
Figure 785654DEST_PATH_IMAGE031
，其中n表示筛选出来的数据矩阵个数，该过程即完成数据的清洗。
本申请通过构造权重数学模型，根据不同用户对数据的要求定义矩阵A，并设定矩阵A对应的权重矩阵B以及权重评分矩阵C，来对数据矩阵J进行筛选，提高了数据处理过程中对于满足不同客户需求的灵活性。
对权重数学模型的输出矩阵
Figure 907194DEST_PATH_IMAGE032
进行人为评估与人工去噪，再次确定筛选出的矩阵
Figure 949099DEST_PATH_IMAGE032
是否为最可能满足用户需求的矩阵集合，记此时待处理数据矩阵集合为
Figure 557804DEST_PATH_IMAGE033
，
Figure 89280DEST_PATH_IMAGE034
，m表示最终处理的数据矩阵个数。
S32.针对用户对关注项与数据性质，对矩阵集
Figure 370219DEST_PATH_IMAGE033
进行精准处理，得到用户需要的形式与状态实现灵活配置，具体精准处理如下；
对
Figure 527400DEST_PATH_IMAGE033
进行数据精准矩阵分解，得到更易处理的数据矩阵，
Figure 210185DEST_PATH_IMAGE035
其中，i表示
Figure 912562DEST_PATH_IMAGE033
中第i个矩阵，a，b表示分解矩阵的维度，
Figure 930065DEST_PATH_IMAGE036
为对角阵。
Figure 376090DEST_PATH_IMAGE037
表示辅助分解矩阵，根据分解矩阵的性质对角阵
Figure 162650DEST_PATH_IMAGE036
同样具有矩阵
Figure 239190DEST_PATH_IMAGE038
的性质，可代替其进行进一步处理分析。
本申请通过对权重数学模型的输出数据矩阵集合人工筛选的数据矩阵集合逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同性质的对角阵，可代替数据矩阵进行进一步处理分析，使得数据处理过程变得更为简单，降低了数据处理过程的复杂性。
经过精准矩阵分解得到新的矩阵集合
Figure 291460DEST_PATH_IMAGE039
，m表示矩阵的个数，对集合Q利用现用技术逐项进行特征提取，得到用户需要的数据信息，并将其输出，随即便完成了可灵活配置的数据全过程处理方法。
参照图2，为实现一种可灵活配置的数据全过程处理方法实现框图，便实现了灵活配置的数据全过程处理。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
1、本申请通过对数据集合
Figure 524864DEST_PATH_IMAGE001
进行分组构建矩阵D，使得在数据处理过程中更简单，直观，为接下来的处理过程更为灵活做准备。
2、本申请通过引入权重因子ofo对重组后的矩阵D进行加权运算处理，得到加权运算后的矩阵
Figure 182241DEST_PATH_IMAGE005
，从矩阵的性质出发获得更有价值的矩阵，为数据处理的准确性提供依据。
3、本申请通过构造权重数学模型，根据不同用户对数据的要求定义矩阵A，并设定矩阵A对应的权重矩阵B以及权重评分矩阵C，来对数据矩阵J进行筛选，提高了数据处理过程中对于满足不同客户需求的灵活性。
4、本申请通过对权重数学模型的输出数据矩阵集合人工筛选的数据矩阵集合逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同性质的对角阵，可代替数据矩阵进行进一步处理分析，使得数据处理过程变得更为简单，降低了数据处理过程的复杂性。
效果调研：
本申请的技术方案能够有效解决数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，并且，上述系统或方法经过了一系列的效果调研，通过对数据集合
Figure 678950DEST_PATH_IMAGE001
进行分组构建矩阵D，使得在数据处理过程中更简单，直观，为接下来的处理过程更为灵活做准备；在数据预处理时通过引入权重因子ofo对重组后的矩阵D进行加权运算处理，得到加权运算后的矩阵
Figure 484095DEST_PATH_IMAGE005
，从矩阵的性质出发获得更有价值的矩阵，为数据处理的准确性提供依据；在对预处理后数据进行清洗筛选时构建权重数学模型，根据用户需求定义参数矩阵，更灵活的实现数据处理，同时对权重数学模型输出矩阵集合逐个矩阵进行分解得到简化对角矩阵来代表原数据矩阵，使得数据处理过程变得更为简单，降低了数据处理过程的复杂性；最后对组成的新的矩阵集合进行特征提取，得到用户需要的数据信息，并将其输出。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种可灵活配置的数据全过程处理方法，其特征在于：首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出。
2.如权利要求1所述的一种可灵活配置的数据全过程处理方法，其特征在于，所述方法包括以下步骤：
S1.首先对所需处理数据根据数据类型进行分类采集，并将采集到的数据信息转换成能被接收处理的形式；
S2.对接收到的数据进行预处理，得到预处理后的变换数据矩阵集合，为接下来精准处理做准备；
S3.最后，通过构造权重数学模型对预处理后数据矩阵集合进行清洗去噪，并将所得数据矩阵集合中矩阵逐个进行矩阵分解以及特征提取处理，最后得到数据输出。
3.如权利要求2所述的一种可灵活配置的数据全过程处理方法，其特征在于,所述步骤S2具体包括：
将采集到的数据用集合
Figure 40646DEST_PATH_IMAGE001
表示，其中
Figure 506262DEST_PATH_IMAGE002
，
Figure 312676DEST_PATH_IMAGE003
表示第i个数据，N表示数据个数；
对集合
Figure 801426DEST_PATH_IMAGE001
进行分组编码，即按顺序对集合
Figure 335175DEST_PATH_IMAGE001
根据交织准则构造矩阵，可表示为：
Figure 468347DEST_PATH_IMAGE004
其中，m，n为分组编码后矩阵D的行数与列数，且N = m╳n。
4.如权利要求2所述的一种可灵活配置的数据全过程处理方法，其特征在于，所述步骤S2具体包括：
通过引入权重因子ofo对重构的矩阵D进行加权运算处理，得到加权运算后的矩阵
Figure 694929DEST_PATH_IMAGE005
，从矩阵的性质出发获得更有研究价值的矩阵，为数据处理的准确性全面性提供依据。
5.如权利要求2所述的一种可灵活配置的数据全过程处理方法，其特征在于，所述步骤S3具体包括：
根据用户具体需求，通过构造权重数学模型
Figure 670976DEST_PATH_IMAGE006
，从预处理后的数据矩阵集合J中筛选出最为满足需求的数据矩阵；
构建权重数学模型为：
Figure 756219DEST_PATH_IMAGE007
其中，A表示为用户对数据要求的所有可能数据矩阵，
Figure 196428DEST_PATH_IMAGE008
，B表示为用户对数据要求矩阵的权重，C表示为用户对数据要求矩阵的权重的评分，
Figure 141381DEST_PATH_IMAGE009
表示为模型输出矩阵集合。
6.如权利要求2所述的一种可灵活配置的数据全过程处理方法，其特征在于，所述步骤S3具体包括：
对权重数学模型的输出数据矩阵集合人工筛选的数据矩阵集合
Figure 667040DEST_PATH_IMAGE010
逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同性质的对角阵，可代替数据矩阵进行进一步处理分析。
CN202111575070.6A 2021-12-22 2021-12-22 一种可灵活配置的数据全过程处理方法 Active CN113962335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111575070.6A CN113962335B (zh) 2021-12-22 2021-12-22 一种可灵活配置的数据全过程处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111575070.6A CN113962335B (zh) 2021-12-22 2021-12-22 一种可灵活配置的数据全过程处理方法

Publications (2)

Publication Number Publication Date
CN113962335A true CN113962335A (zh) 2022-01-21
CN113962335B CN113962335B (zh) 2022-04-12

Family

ID=79473533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111575070.6A Active CN113962335B (zh) 2021-12-22 2021-12-22 一种可灵活配置的数据全过程处理方法

Country Status (1)

Country Link
CN (1) CN113962335B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114816771A (zh) * 2022-06-27 2022-07-29 深圳市乐易网络股份有限公司 一种多通道混合云计算系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799656A (zh) * 2012-07-03 2012-11-28 复旦大学 一种面向目标用户的个性化产品包的提取方法
CN103412557A (zh) * 2013-07-17 2013-11-27 浙江工业大学 一种适于非线性过程在线监控的工业故障检测与诊断方法
WO2018144834A1 (en) * 2017-02-03 2018-08-09 Duke University Nasopharyngeal protein biomarkers of acute respiratory virus infection and methods of using same
CN111177639A (zh) * 2019-12-11 2020-05-19 广东工业大学 一种基于模糊分析的室内空气质量评价方法
CN111507297A (zh) * 2020-04-24 2020-08-07 中国科学院空天信息创新研究院 一种基于度量信息矩阵的雷达信号识别方法及系统
CN111649817A (zh) * 2020-06-30 2020-09-11 郑州信大先进技术研究院 一种分布式光纤振动传感器系统及其模式识别方法
CN112149988A (zh) * 2020-09-18 2020-12-29 江苏方天电力技术有限公司 一种基于层次分析法和熵权法的电力企业主数据识别方法
CN113420733A (zh) * 2021-08-23 2021-09-21 北京黑马企服科技有限公司 一种高效分布式大数据数据采集实现方法及系统
CN113434685A (zh) * 2021-07-06 2021-09-24 中国银行股份有限公司 一种资讯分类处理的方法及系统
CN113536999A (zh) * 2021-07-01 2021-10-22 汇纳科技股份有限公司 人物情绪识别方法、系统、介质及电子设备
CN113657545A (zh) * 2021-08-30 2021-11-16 平安医疗健康管理股份有限公司 用户业务数据的处理方法、装置、设备及存储介质
CN113742650A (zh) * 2021-08-16 2021-12-03 国网河南省电力公司电力科学研究院 一种分布式传感数据处理方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799656A (zh) * 2012-07-03 2012-11-28 复旦大学 一种面向目标用户的个性化产品包的提取方法
CN103412557A (zh) * 2013-07-17 2013-11-27 浙江工业大学 一种适于非线性过程在线监控的工业故障检测与诊断方法
WO2018144834A1 (en) * 2017-02-03 2018-08-09 Duke University Nasopharyngeal protein biomarkers of acute respiratory virus infection and methods of using same
CN111177639A (zh) * 2019-12-11 2020-05-19 广东工业大学 一种基于模糊分析的室内空气质量评价方法
CN111507297A (zh) * 2020-04-24 2020-08-07 中国科学院空天信息创新研究院 一种基于度量信息矩阵的雷达信号识别方法及系统
CN111649817A (zh) * 2020-06-30 2020-09-11 郑州信大先进技术研究院 一种分布式光纤振动传感器系统及其模式识别方法
CN112149988A (zh) * 2020-09-18 2020-12-29 江苏方天电力技术有限公司 一种基于层次分析法和熵权法的电力企业主数据识别方法
CN113536999A (zh) * 2021-07-01 2021-10-22 汇纳科技股份有限公司 人物情绪识别方法、系统、介质及电子设备
CN113434685A (zh) * 2021-07-06 2021-09-24 中国银行股份有限公司 一种资讯分类处理的方法及系统
CN113742650A (zh) * 2021-08-16 2021-12-03 国网河南省电力公司电力科学研究院 一种分布式传感数据处理方法及装置
CN113420733A (zh) * 2021-08-23 2021-09-21 北京黑马企服科技有限公司 一种高效分布式大数据数据采集实现方法及系统
CN113657545A (zh) * 2021-08-30 2021-11-16 平安医疗健康管理股份有限公司 用户业务数据的处理方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DUNHONG YAO等: "A Course Teacher Recommendation Algorithm Based on Improved Latent Factor Model and PersonalRank", 《 IEEE ACCESS》 *
田建勇等: "融合布尔矩阵和项目特性的关联规则挖掘算法", 《控制工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114816771A (zh) * 2022-06-27 2022-07-29 深圳市乐易网络股份有限公司 一种多通道混合云计算系统
CN114816771B (zh) * 2022-06-27 2022-09-13 深圳市乐易网络股份有限公司 一种多通道混合云计算系统

Also Published As

Publication number Publication date
CN113962335B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111199343B (zh) 一种多模型融合的烟草市场监管异常数据挖掘方法
DE102018128581A1 (de) Erkennung und klassifikfation von schadsoftware unter verwendung eines künstlichen neuronalen netzes
CN110910982A (zh) 自编码模型训练方法、装置、设备及存储介质
CN108874832B (zh) 目标评论确定方法及装置
CN109033408B (zh) 信息推送方法及装置、计算机可读存储介质、电子设备
CN111008693B (zh) 一种基于数据压缩的网络模型构建方法、系统和介质
CN113610239A (zh) 针对机器学习的特征处理方法及特征处理系统
CN111782644A (zh) 一种基于区块链技术的科研数据管理控制系统及方法
CN105681908A (zh) 基于个体收视行为的广播电视系统及其个性节目推荐方法
DE102017009505A1 (de) Erzeugen einer kompakten Videomerkmaldarstellung in einer digitalen Medienumgebung
Liang et al. Image feature selection using genetic programming for figure-ground segmentation
CN108416213A (zh) 一种基于图像纹理指纹的恶意代码分类方法
CN107220902A (zh) 在线社会网络的级联规模预测方法
CN110647995A (zh) 规则训练方法、装置、设备及存储介质
CN113962335B (zh) 一种可灵活配置的数据全过程处理方法
CN106897454A (zh) 一种文件分类方法及装置
Chamberlain et al. Real-time community detection in full social networks on a laptop
CN104809218A (zh) 一种ugc视频分类方法及装置
CN112541635A (zh) 业务数据统计预测方法、装置、计算机设备及存储介质
CA3047930A1 (en) Mixed data fingerprinting with principal components analysis
Zeng et al. Detection of double JPEG compression using modified DenseNet model
CN110188277B (zh) 一种资源的推荐方法及装置
CN106874927A (zh) 一种随机强分类器的构建方法和系统
CN111026940A (zh) 一种面向电网电磁环境的网络舆情及风险信息监测系统、电子设备
CN115577274A (zh) 一种基于多维度特征的企业批量聚类方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Flexible and Configurable Method for Whole Process Data Processing

Effective date of registration: 20230926

Granted publication date: 20220412

Pledgee: Zhongguancun Branch of Bank of Beijing Co.,Ltd.

Pledgor: Beijing Hengxin Qihua Information Technology Co.,Ltd.

Registration number: Y2023110000419

PE01 Entry into force of the registration of the contract for pledge of patent right