CN116484066A - 一种多种类数据处理方法 - Google Patents

一种多种类数据处理方法 Download PDF

Info

Publication number
CN116484066A
CN116484066A CN202310736215.9A CN202310736215A CN116484066A CN 116484066 A CN116484066 A CN 116484066A CN 202310736215 A CN202310736215 A CN 202310736215A CN 116484066 A CN116484066 A CN 116484066A
Authority
CN
China
Prior art keywords
data
processing
verification result
obtaining
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310736215.9A
Other languages
English (en)
Other versions
CN116484066B (zh
Inventor
赵尚谦
庄广壬
汤智彬
邹晟
刘勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Guangyu Technology Development Co Ltd
Original Assignee
Guangdong Guangyu Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Guangyu Technology Development Co Ltd filed Critical Guangdong Guangyu Technology Development Co Ltd
Priority to CN202310736215.9A priority Critical patent/CN116484066B/zh
Publication of CN116484066A publication Critical patent/CN116484066A/zh
Application granted granted Critical
Publication of CN116484066B publication Critical patent/CN116484066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多种类数据处理方法，属于数据处理领域。其中，一种多种类数据处理方法，包括获取多种类数据的数据信息建立数据处理索引库；根据所述多种类数据的数据信息得到数据处理需求；根据数据处理索引库利用所述数据处理需求完成数据处理。发明在对多种类数据进行处理时，不仅能处理单一种类的数据，还能对多种类数据的混合数据进行处理，实现数据处理的多样化，提高数据处理的适用性，针对多种类数据采用统一验证的方法，提升处理的效率，同时本发明在提升准确率方面还加入了验证后的反馈方法，对数据处理过程以及数据库的建立过程进行检验，在提升处理效率的基础上，保证处理的准确率。

Description

一种多种类数据处理方法
技术领域
本发明属于数据处理领域，尤其是一种多种类数据处理方法。
背景技术
随着科技的进步和大数据时代的到来，人们可以访问获取的数据和信息资源呈现出爆炸式的增长，互联网上每天都诞生海量的文字、图像、音视频等数据和信息。为了有效地组织、查询和浏览如此大规模的数据和信息，需要对这些数据和信息进行分类，进而进行管理，现有的数据处理方法通神经网络训练数据处理器来进行数据处理，但由于该处理方法在进行多种类数据处理时，往往会产生数据丢失，多种类数据不对应，导致数据处理准确率降低。
发明内容
发明目的：提供一种多种类数据处理方法，以解决现有技术存在的上述问题。
技术方案：一种多种类数据处理方法，包括：
S1、获取多种类数据的数据信息建立数据处理索引库；
S2、根据所述多种类数据的数据信息得到数据处理需求；
S3、根据数据处理索引库利用所述数据处理需求完成数据处理。
进一步的，所述获取多种类数据的数据信息建立数据处理索引库包括：
获取所述多种类数据的数据信息得到各种类数据的属性信息和数据种类；
根据所述各种类数据的属性信息和数据种类对多种类数据进行划分处理得到种类数据库；
根据各种类数据的属性信息得到多种类数据的关联关系；
根据所述多种类数据的关联关系利用种类数据库得到数据处理索引库；
其中，关联关系包括数据之间的对应关系和数据之间的优先等级。
进一步的，所述根据各种类数据的属性信息到多种类数据的关联关系包括：
根据各种类数据的属性信息得到各种类数据的相互关联关系和不同种类数据的相互关联关系；
根据所述各种类数据的相互关联关系和不同种类数据的相互关联关系得到多种类数据的关联关系。
进一步的，所述根据所述多种类数据的关联关系利用种类数据库得到数据处理索引库包括：
根据所述多种类数据的关联关系对应的各种类数据的相互关联关系利用种类数据库得到各种类索引数据库；
根据所述多种类数据的关联关系对应的不同种类数据的相互关联关系利用各种类索引数据库得到种类间索引数据库；
根据所述各种类索引数据库和种类间索引数据库得到数据处理索引库。
进一步的，所述根据所述多种类数据的数据信息得到数据处理需求包括：
根据所述多种类数据的数据信息得到数据处理对应各种类数据的数据种类作为数据种类需求；
根据所述多种类数据的数据信息得到数据处理对应各种类数据的关联关系作为数据联系需求；
根据所述多种类数据的数据信息得到数据处理对应各种类数据的优先等级作为数据等级需求；
根据所述数据种类需求、数据联系需求和数据等级需求作为数据处理需求。
进一步的，所述根据数据处理索引库利用所述数据处理需求完成数据处理包括：
S3-1、根据数据处理索引库利用所述数据处理需求得到对应需求数据信息；
S3-2、根据所述对应需求数据信息得到待处理数据；
S3-3、判断当前时刻对应待处理数据与相邻上一时刻对应待处理数据是否相同，若是，放弃处理，否则，利用当前时刻对应待处理数据作为初始第一处理数据后，执行S3-4；
S3-4、判断所述初始第一处理数据与当前时刻对应待处理数据是否对应，若是，利用所述初始第一处理数据作为第一处理数据，否则，返回S3-2；
S3-5、根据所述第一处理数据利用待处理数据进行验证得到初始处理验证结果；
S3-6、根据所述初始处理验证结果完成数据处理。
进一步的，所述根据所述第一处理数据利用待处理数据进行验证得到初始处理验证结果包括：
获取所述第一处理数据的第一字节长度；
获取所述待处理数据的第二字节长度；
判断所述第一字节长度与第二字节长度是否相同，若相同，初始处理字节长度验证结果为通过，否则，初始处理字节长度验证结果为不通过；
获取所述第一处理数据的数据信息；
根据所述第一处理数据的数据信息得到第一传输数据的数据联系；
根据所述第一传输数据的数据联系得到初始处理数据联系验证结果；
根据所述第一处理数据的数据信息得到第一传输数据的数据等级；
根据所述第一传输数据的数据等级得到初始处理数据等级验证结果；
利用所述字节长度验证结果、初始处理数据联系验证结果和初始处理数据等级验证结果作为初始处理验证结果。
进一步的，所述根据所述第一传输数据的数据联系得到初始处理数据联系验证结果包括：
判断所述第一传输数据的数据联系与所述待处理数据对应的数据联系需求是否相同，若相同，所述初始处理数据联系验证结果为通过，否则，所述初始处理数据联系验证结果为不通过。
进一步的，所述根据所述第一传输数据的数据等级得到初始处理数据等级验证结果包括：
判断所述第一传输数据的数据等级与所述待处理数据对应的数据等级需求是否相同，若相同，所述初始处理数据等级验证结果为通过，否则，所述初始处理数据等级验证结果为不通过。
进一步的，所述根据所述初始处理验证结果完成数据处理包括：
当所述字节长度验证结果、初始处理数据联系验证结果和初始处理数据等级验证结果均为通过时，所述第一处理数据作为数据处理结果；
当所述字节长度验证结果为不通过时，在所述第一处理数据上添加字节长度验证不通过标记并返回S3-3，完成第一长度循环；
当所述初始处理数据联系验证结果为不通过且所述字节长度验证结果为通过时，在所述第一处理数据上添加数据联系验证不通过标记并返回S3-3，完成第一联系循环；
当所述初始处理数据等级验证结果为不通过且所述字节长度验证结果、初始处理数据联系验证结果均为通过时，在所述第一处理数据上添加数据联系验证不通过标记并返回S3-3，完成第一等级循环；
当所述字节长度验证不通过标记个数大于第一长度循环阈值时，在所述第一处理数据上添加字节长度第二循环标记并返回S3-2，完成第二长度循环；
当所述字节长度第二循环标记个数大于第二长度循环阈值时，在所述第一处理数据上添加字节长度第三循环标记并返回S1；
当所述数据联系验证不通过标记个数大于第一联系循环阈值时，在所述第一处理数据上添加数据联系第二循环标记并返回S3-2，完成第二数据联系循环；
当所述数据联系第二循环标记个数大于第二联系循环阈值时，在所述第一处理数据上添加数据联系第三循环标记并返回S1；
当数据等级验证不通过标记个数大于第一等级循环阈值时，在所述第一处理数据上添加数据等级第二循环标记并返回S3-2，完成第二数据等级循环；
当所述数据等级第二循环标记个数大于第二等级循环阈值时，在第一等级数据上添加数据等级第三循环标记并返回S1；
根据所述字节长度第三循环标记、数据联系第三循环标记和数据等级第三循环标记的标记个数总和作为数据处理返回S1的次数；
当数据处理返回S1的次数大于数据索引更新阈值时，根据所述多种类数据的数据信息建立当前时刻对应新的数据处理索引库后，返回S3。
有益效果：本发明在对多种类数据进行处理时，不仅能处理单一种类的数据，还能对多种类数据的混合数据进行处理，实现数据处理的多样化，提高数据处理的适用性，针对多种类数据采用统一验证的方法，提升处理的效率，同时本发明在提升准确率方面还加入了验证后的反馈方法，对数据处理过程以及数据库的建立过程进行检验，在提升处理效率的基础上，保证处理的准确率。
附图说明
图1是本发明一种多种类数据处理方法的流程图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
如图1所示，一种多种类数据处理方法，包括：
S1、获取多种类数据的数据信息建立数据处理索引库；
S2、根据所述多种类数据的数据信息得到数据处理需求；
S3、根据数据处理索引库利用所述数据处理需求完成数据处理。
步骤S1具体包括：
S1-1、获取所述多种类数据的数据信息得到各种类数据的属性信息和数据种类；
S1-2、根据所述各种类数据的属性信息和数据种类对多种类数据进行划分处理得到种类数据库；
S1-3、根据各种类数据的属性信息得到多种类数据的关联关系；
S1-4、根据所述多种类数据的关联关系利用种类数据库得到数据处理索引库；
其中，关联关系包括数据之间的对应关系和数据之间的优先等级。
在本实施例中，多种类数据的数据种类主要包括文字、图像、音频、视频等。
数据信息具体包括数据种类、数据类型、数据数量、数据采集方法、属性信息、可信度等，其中数据的属性信息可以是标称的、二元的、序数的、数值的。标称（分类）属性的值是符号或事物的名字，其中每个值代表某种类别、编码或状态；二元属性是仅有两个可能状态（如1和0，或真与假）的标称属性；若两个状态同等重要，则该属性是对称的，否则是非对称的二元属性；序数属性是可能的值之间具有有意义的序和排位，但相继值之间的量值未知的属性；数值属性是定量的，用整数或实数值表示。
数据的种类分为很多种，按性质分为：定位的，如各种坐标数据；定性的，如表示事物属性的数据（居民地、河流、道路等）；定量的，反映事物数量特征的数据，如长度、面积、体积等几何量或重量、速度等物理量；定时的，反映事物时间特性的数据，如年、月、日、时、分、秒等。按表现形式分为：数字数据，如各种统计或量测数据；模拟数据，由连续函数组成，又分为图形数据（如点、线、面）、符号数据、文字数据和图像数据等。按记录方式分为地图、表格、影像、磁带、纸带。按数字化方式分为矢量数据、格网数据等。
步骤S1-3具体包括：
S1-3-1、根据各种类数据的属性信息得到各种类数据的相互关联关系和不同种类数据的相互关联关系；
S1-3-2、根据所述各种类数据的相互关联关系和不同种类数据的相互关联关系得到多种类数据的关联关系。
在本实施例中，数据与其它数据的相互关联联系有三种分别为：一对一、一对多和多对多。
步骤S1-4具体包括：
S1-4-1、根据所述多种类数据的关联关系对应的各种类数据的相互关联关系利用种类数据库得到各种类索引数据库；
S1-4-2、根据所述多种类数据的关联关系对应的不同种类数据的相互关联关系利用各种类索引数据库得到种类间索引数据库；
S1-4-3、根据所述各种类索引数据库和种类间索引数据库得到数据处理索引库。
步骤S2具体包括：
S2-1、根据所述多种类数据的数据信息得到数据处理对应各种类数据的数据种类作为数据种类需求；
S2-2、根据所述多种类数据的数据信息得到数据处理对应各种类数据的关联关系作为数据联系需求；
S2-3、根据所述多种类数据的数据信息得到数据处理对应各种类数据的优先等级作为数据等级需求；
S2-4、根据所述数据种类需求、数据联系需求和数据等级需求作为数据处理需求。
在本实施例中，数据处理对应各种类数据的优先等级具体为数据处理过程中对各种类数据的处理优先级，例如数据库包括文字数据A、音频数据B、图像数据C，数据处理需要的处理过程先后顺序为先处理图像数据C再处理文字数据A进一步处理音频数据B，那么图像数据C的优先等级高于文字数据A、文字数据A的优先等级高于音频数据B就是数据等级需求。
步骤S3具体包括：
S3-1、根据数据处理索引库利用所述数据处理需求得到对应需求数据信息；
S3-2、根据所述对应需求数据信息得到待处理数据；
S3-3、判断当前时刻对应待处理数据与相邻上一时刻对应待处理数据是否相同，若是，放弃处理，否则，利用当前时刻对应待处理数据作为初始第一处理数据后，执行S3-4；
S3-4、判断所述初始第一处理数据与当前时刻对应待处理数据是否对应，若是，利用所述初始第一处理数据作为第一处理数据，否则，返回S3-2；
S3-5、根据所述第一处理数据利用待处理数据进行验证得到初始处理验证结果；
S3-6、根据所述初始处理验证结果完成数据处理。
在本实施例中，当前时刻对应待处理数据与相邻上一时刻对应待处理数据之间的数据改变可以为数据传输处理、数据检索处理、数据的采集处理、数据的存储处理、数据的加工处理以及数据的变换处理等数据处理方式。
步骤S3-5具体包括：
S3-5-1、获取所述第一处理数据的第一字节长度；
S3-5-2、获取所述待处理数据的第二字节长度；
S3-5-3、判断所述第一字节长度与第二字节长度是否相同，若相同，初始处理字节长度验证结果为通过，否则，初始处理字节长度验证结果为不通过；
S3-5-4、获取所述第一处理数据的数据信息；
S3-5-5、根据所述第一处理数据的数据信息得到第一传输数据的数据联系；
S3-5-6、根据所述第一传输数据的数据联系得到初始处理数据联系验证结果；
S3-5-7、根据所述第一处理数据的数据信息得到第一传输数据的数据等级；
S3-5-8、根据所述第一传输数据的数据等级得到初始处理数据等级验证结果；
S3-5-9、利用所述字节长度验证结果、初始处理数据联系验证结果和初始处理数据等级验证结果作为初始处理验证结果。
在本实施例中，在数据处理的过程中各种类数据转换为字节的形式进行数据处理。
步骤S3-5-6具体包括：
判断所述第一传输数据的数据联系与所述待处理数据对应的数据联系需求是否相同，若相同，所述初始处理数据联系验证结果为通过，否则，所述初始处理数据联系验证结果为不通过。
步骤S3-5-8具体包括：
判断所述第一传输数据的数据等级与所述待处理数据对应的数据等级需求是否相同，若相同，所述初始处理数据等级验证结果为通过，否则，所述初始处理数据等级验证结果为不通过。
步骤S3-6具体包括：
S3-6-1、当所述字节长度验证结果、初始处理数据联系验证结果和初始处理数据等级验证结果均为通过时，所述第一处理数据作为数据处理结果；
S3-6-2、当所述字节长度验证结果为不通过时，在所述第一处理数据上添加字节长度验证不通过标记并返回S3-3，完成第一长度循环；
S3-6-3、当所述初始处理数据联系验证结果为不通过且所述字节长度验证结果为通过时，在所述第一处理数据上添加数据联系验证不通过标记并返回S3-3，完成第一联系循环；
S3-6-4、当所述初始处理数据等级验证结果为不通过且所述字节长度验证结果、初始处理数据联系验证结果均为通过时，在所述第一处理数据上添加数据联系验证不通过标记并返回S3-3，完成第一等级循环；
S3-6-5、当所述字节长度验证不通过标记个数大于第一长度循环阈值时，在所述第一处理数据上添加字节长度第二循环标记并返回S3-2，完成第二长度循环；
S3-6-6、当所述字节长度第二循环标记个数大于第二长度循环阈值时，在所述第一处理数据上添加字节长度第三循环标记并返回S1；
S3-6-7、当所述数据联系验证不通过标记个数大于第一联系循环阈值时，在所述第一处理数据上添加数据联系第二循环标记并返回S3-2，完成第二数据联系循环；
S3-6-8、当所述数据联系第二循环标记个数大于第二联系循环阈值时，在所述第一处理数据上添加数据联系第三循环标记并返回S1；
S3-6-9、当数据等级验证不通过标记个数大于第一等级循环阈值时，在所述第一处理数据上添加数据等级第二循环标记并返回S3-2，完成第二数据等级循环；
S3-6-10、当所述数据等级第二循环标记个数大于第二等级循环阈值时，在第一等级数据上添加数据等级第三循环标记并返回S1；
S3-6-11、根据所述字节长度第三循环标记、数据联系第三循环标记和数据等级第三循环标记的标记个数总和作为数据处理返回S1的次数；
S3-6-12、当数据处理返回S1的次数大于数据索引更新阈值时，根据所述多种类数据的数据信息建立当前时刻对应新的数据处理索引库后，返回S3。
在本实施例中，第一长度循环阈值、第二长度循环阈值和第三长度循环阈值的取值与待处理数据的字节长度有关，字节长度越长第一长度循环阈值、第二长度循环阈值和第三长度循环阈值的取值越大，且第二长度循环阈值与第一长度循环阈值、第三长度循环阈值与第二长度循环阈值的差值越大；第一联系循环阈值、第二联系循环阈值和第三联系循环阈值的取值与待处理数据的种类、各种类数据逻辑复杂程度有关，待处理数据的种类越多或者各种类数据逻辑复杂程度越高第一联系循环阈值、第二联系循环阈值和第三联系循环阈值的取值越大，且第二联系循环阈值与第一联系循环阈值、第三联系循环阈值与第二联系循环阈值的差值越大，例如音频加视频加文字数据交替的数据在传输 过程中容易造成对应关系的混淆联系循环阈值的取值应取较大值增加循环次数；第一等级循环阈值、第二等级循环阈值和第三等级循环阈值的取值与待处理数据的种类、各种类数据字节长度有关，待处理数据的种类越多或者各种类数据字节长度越长第一等级循环阈值、第二等级循环阈值和第三等级循环阈值的取值越大，且第二等级循环阈值与第一等级循环阈值、第三等级循环阈值与第二等级循环阈值的差值越大；数据索引更新阈值与数据处理索引库的容量成正比。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种多种类数据处理方法，其特征在于，包括：
S1、获取多种类数据的数据信息建立数据处理索引库；
S2、根据所述多种类数据的数据信息得到数据处理需求；
S3、根据数据处理索引库利用所述数据处理需求完成数据处理。
2.根据权利要求1所述的一种多种类数据处理方法，其特征在于，所述获取多种类数据的数据信息建立数据处理索引库包括：
获取所述多种类数据的数据信息得到各种类数据的属性信息和数据种类；
根据所述各种类数据的属性信息和数据种类对多种类数据进行划分处理得到种类数据库；
根据各种类数据的属性信息得到多种类数据的关联关系；
根据所述多种类数据的关联关系利用种类数据库得到数据处理索引库；
其中，关联关系包括数据之间的对应关系和数据之间的优先等级。
3.根据权利要求2所述的一种多种类数据处理方法，其特征在于，所述根据各种类数据的属性信息得到多种类数据的关联关系包括：
根据各种类数据的属性信息得到各种类数据的相互关联关系和不同种类数据的相互关联关系；
根据所述各种类数据的相互关联关系和不同种类数据的相互关联关系得到多种类数据的关联关系。
4.根据权利要求3所述的一种多种类数据处理方法，其特征在于，所述根据所述多种类数据的关联关系利用种类数据库得到数据处理索引库包括：
根据所述多种类数据的关联关系对应的各种类数据的相互关联关系利用种类数据库得到各种类索引数据库；
根据所述多种类数据的关联关系对应的不同种类数据的相互关联关系利用各种类索引数据库得到种类间索引数据库；
根据所述各种类索引数据库和种类间索引数据库得到数据处理索引库。
5.根据权利要求2所述的一种多种类数据处理方法，其特征在于，所述根据所述多种类数据的数据信息得到数据处理需求包括：
根据所述多种类数据的数据信息得到数据处理对应各种类数据的数据种类作为数据种类需求；
根据所述多种类数据的数据信息得到数据处理对应各种类数据的关联关系作为数据联系需求；
根据所述多种类数据的数据信息得到数据处理对应各种类数据的优先等级作为数据等级需求；
根据所述数据种类需求、数据联系需求和数据等级需求作为数据处理需求。
6.根据权利要求1所述的一种多种类数据处理方法，其特征在于，所述根据数据处理索引库利用所述数据处理需求完成数据处理包括：
S3-1、根据数据处理索引库利用所述数据处理需求得到对应需求数据信息；
S3-2、根据所述对应需求数据信息得到待处理数据；
S3-3、判断当前时刻对应待处理数据与相邻上一时刻对应待处理数据是否相同，若是，放弃处理，否则，利用当前时刻对应待处理数据作为初始第一处理数据后，执行S3-4；
S3-4、判断所述初始第一处理数据与当前时刻对应待处理数据是否对应，若是，利用所述初始第一处理数据作为第一处理数据，否则，返回S3-2；
S3-5、根据所述第一处理数据利用待处理数据进行验证得到初始处理验证结果；
S3-6、根据所述初始处理验证结果完成数据处理。
7.根据权利要求6所述的一种多种类数据处理方法，其特征在于，所述根据所述第一处理数据利用待处理数据进行验证得到初始处理验证结果包括：
获取所述第一处理数据的第一字节长度；
获取所述待处理数据的第二字节长度；
判断所述第一字节长度与第二字节长度是否相同，若相同，初始处理字节长度验证结果为通过，否则，初始处理字节长度验证结果为不通过；
获取所述第一处理数据的数据信息；
根据所述第一处理数据的数据信息得到第一传输数据的数据联系；
根据所述第一传输数据的数据联系得到初始处理数据联系验证结果；
根据所述第一处理数据的数据信息得到第一传输数据的数据等级；
根据所述第一传输数据的数据等级得到初始处理数据等级验证结果；
利用所述字节长度验证结果、初始处理数据联系验证结果和初始处理数据等级验证结果作为初始处理验证结果。
8.根据权利要求7所述的一种多种类数据处理方法，其特征在于，所述根据所述第一传输数据的数据联系得到初始处理数据联系验证结果包括：
判断所述第一传输数据的数据联系与所述待处理数据对应的数据联系需求是否相同，若相同，所述初始处理数据联系验证结果为通过，否则，所述初始处理数据联系验证结果为不通过。
9.根据权利要求7所述的一种多种类数据处理方法，其特征在于，所述根据所述第一传输数据的数据等级得到初始处理数据等级验证结果包括：
判断所述第一传输数据的数据等级与所述待处理数据对应的数据等级需求是否相同，若相同，所述初始处理数据等级验证结果为通过，否则，所述初始处理数据等级验证结果为不通过。
10.根据权利要求7所述的一种多种类数据处理方法，其特征在于，所述根据所述初始处理验证结果完成数据处理包括：
当所述字节长度验证结果、初始处理数据联系验证结果和初始处理数据等级验证结果均为通过时，所述第一处理数据作为数据处理结果；
当所述字节长度验证结果为不通过时，在所述第一处理数据上添加字节长度验证不通过标记并返回S3-3，完成第一长度循环；
当所述初始处理数据联系验证结果为不通过且所述字节长度验证结果为通过时，在所述第一处理数据上添加数据联系验证不通过标记并返回S3-3，完成第一联系循环；
当所述初始处理数据等级验证结果为不通过且所述字节长度验证结果、初始处理数据联系验证结果均为通过时，在所述第一处理数据上添加数据联系验证不通过标记并返回S3-3，完成第一等级循环；
当所述字节长度验证不通过标记个数大于第一长度循环阈值时，在所述第一处理数据上添加字节长度第二循环标记并返回S3-2，完成第二长度循环；
当所述字节长度第二循环标记个数大于第二长度循环阈值时，在所述第一处理数据上添加字节长度第三循环标记并返回S1；
当所述数据联系验证不通过标记个数大于第一联系循环阈值时，在所述第一处理数据上添加数据联系第二循环标记并返回S3-2，完成第二数据联系循环；
当所述数据联系第二循环标记个数大于第二联系循环阈值时，在所述第一处理数据上添加数据联系第三循环标记并返回S1；
当数据等级验证不通过标记个数大于第一等级循环阈值时，在所述第一处理数据上添加数据等级第二循环标记并返回S3-2，完成第二数据等级循环；
当所述数据等级第二循环标记个数大于第二等级循环阈值时，在第一等级数据上添加数据等级第三循环标记并返回S1；
根据所述字节长度第三循环标记、数据联系第三循环标记和数据等级第三循环标记的标记个数总和作为数据处理返回S1的次数；
当数据处理返回S1的次数大于数据索引更新阈值时，根据所述多种类数据的数据信息建立当前时刻对应新的数据处理索引库后，返回S3。
CN202310736215.9A 2023-06-21 2023-06-21 一种多种类数据处理方法 Active CN116484066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310736215.9A CN116484066B (zh) 2023-06-21 2023-06-21 一种多种类数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310736215.9A CN116484066B (zh) 2023-06-21 2023-06-21 一种多种类数据处理方法

Publications (2)

Publication Number Publication Date
CN116484066A true CN116484066A (zh) 2023-07-25
CN116484066B CN116484066B (zh) 2023-12-01

Family

ID=87227208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310736215.9A Active CN116484066B (zh) 2023-06-21 2023-06-21 一种多种类数据处理方法

Country Status (1)

Country Link
CN (1) CN116484066B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120185359A1 (en) * 2011-01-14 2012-07-19 Alibaba Group Holding Limited Ranking of query results based on individuals' needs
CN107180113A (zh) * 2017-06-16 2017-09-19 成都亿橙科技有限公司 一种大数据检索平台
WO2023087673A1 (zh) * 2021-11-19 2023-05-25 天翼数字生活科技有限公司 一种层次数据检索方法、装置和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120185359A1 (en) * 2011-01-14 2012-07-19 Alibaba Group Holding Limited Ranking of query results based on individuals' needs
CN107180113A (zh) * 2017-06-16 2017-09-19 成都亿橙科技有限公司 一种大数据检索平台
WO2023087673A1 (zh) * 2021-11-19 2023-05-25 天翼数字生活科技有限公司 一种层次数据检索方法、装置和设备

Also Published As

Publication number Publication date
CN116484066B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN107688999B (zh) 一种基于区块链的并行交易执行方法
US20200257543A1 (en) Aggregate Features For Machine Learning
CN109816032B (zh) 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN110020427B (zh) 策略确定方法和装置
CN111563192A (zh) 实体对齐方法、装置、电子设备及存储介质
CN110263817B (zh) 一种基于用户账号的风险等级划分方法及装置
CN113591881B (zh) 基于模型融合的意图识别方法、装置、电子设备及介质
CN107391533A (zh) 生成图形数据库查询结果的方法及装置
CN114691356A (zh) 数据并行处理方法、装置、计算机设备及可读存储介质
CN116484066B (zh) 一种多种类数据处理方法
CN112214602A (zh) 基于幽默度的文本分类方法、装置、电子设备及存储介质
CN110765100B (zh) 标签的生成方法、装置、计算机可读存储介质及服务器
CN112559514B (zh) 一种信息处理方法及系统
CN111190896B (zh) 数据处理方法、装置、存储介质和计算机设备
CN109902178A (zh) 一种多级文本分类方法及系统
CN112463785B (zh) 一种数据质量监控方法、装置、电子设备及存储介质
CN115293423A (zh) 基于自然灾害数据的处理方法、装置、设备及存储介质
CN114722140A (zh) 基于用户标签的数据推送方法、装置、设备及存储介质
CN114417998A (zh) 数据特征映射方法、装置、设备及存储介质
CN111143582A (zh) 一种双索引实时更新联想词的多媒体资源推荐方法及装置
CN111652750B (zh) 一种用户群组的管理方法、装置、设备及存储介质
CN111435365A (zh) 一种数据文本化任务执行方法
CN111324737B (zh) 一种基于词袋模型的分布式文本聚类方法、存储介质及计算装置
CN117149869A (zh) 一种白名单文件数据库导入方法、系统、设备及介质
CN117632012A (zh) 基于存储剥离的数据湖数据存储方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant