CN115033763B - 一种基于大数据的存储方法及其系统 - Google Patents

一种基于大数据的存储方法及其系统 Download PDF

Info

Publication number
CN115033763B
CN115033763B CN202210972077.XA CN202210972077A CN115033763B CN 115033763 B CN115033763 B CN 115033763B CN 202210972077 A CN202210972077 A CN 202210972077A CN 115033763 B CN115033763 B CN 115033763B
Authority
CN
China
Prior art keywords
result
data
stored
similar
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210972077.XA
Other languages
English (en)
Other versions
CN115033763A (zh
Inventor
王晓瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hongshu Technology Co ltd
Original Assignee
Beijing Hongshu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hongshu Technology Co ltd filed Critical Beijing Hongshu Technology Co ltd
Priority to CN202210972077.XA priority Critical patent/CN115033763B/zh
Publication of CN115033763A publication Critical patent/CN115033763A/zh
Application granted granted Critical
Publication of CN115033763B publication Critical patent/CN115033763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于大数据的存储方法及其系统，其中，基于大数据的存储系统，包括：存储客户端和大数据存储系统；其中，存储客户端：用于发送登录请求；发送待存储数据；大数据存储系统：用于执行如下步骤：接收登录请求，根据登录请求进行验证，获得类别结果；获取待存储数据，根据类别结果对待存储数据进行分析，获得分析结果；根据分析结果选择存储模式，根据存储模式对待存储数据进行存储，并共享，其中，存储模式包括：更新和新建。本申请能自动对待存储数据进行分析，提高存储的准确性，并有利于节省存储空间。

Description

一种基于大数据的存储方法及其系统
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于大数据的存储方法及其系统。
背景技术
当前的网络市场为信息化、数字化、电子化的网络市场，即以现代信息技术为支撑，以互联网为媒介，以离散的、无中心的、多元网状的立体结构和运作模式为特征，信息瞬间形成、及时传播，实时互动，高度共享的人机界面构成的交易组织形式。但现有的与网络市场相关的平台中的数据一般由供应方提供后，平台直接将数据进行存储，平台自身无法在存储之前对待存储数据进行分析处理，无法自动判断所需的存储方式，因此无法保证待存储数据的存储方式的准确性，容易造成部分信息存储重复，浪费存储空间。
发明内容
本申请的目的在于提供一种基于大数据的存储方法及其系统，能自动对待存储数据进行分析，提高存储的准确性，并有利于节省存储空间。
为达到上述目的，本申请提供一种基于大数据的存储系统，包括：存储客户端和大数据存储系统；其中，存储客户端：用于发送登录请求；发送待存储数据；大数据存储系统：用于执行如下步骤：接收登录请求，根据登录请求进行验证，获得类别结果；获取待存储数据，根据类别结果对待存储数据进行分析，获得分析结果；根据分析结果选择存储模式，根据存储模式对待存储数据进行存储，并共享，其中，存储模式包括：更新和新建。
如上的，其中，大数据存储系统至少包括：验证单元、分析单元和存储单元；其中，验证单元：接收登录请求，根据登录请求进行验证，获得类别结果，并将类别结果发送至分析单元；分析单元：获取待存储数据，根据类别结果对待存储数据进行分析，获得分析结果；存储单元：存储共享数据库；根据分析结果选择存储模式，根据存储模式将待存储数据存储于共享数据库，并共享。
如上的，其中，分析单元包括：接收子单元、预分析子单元和分析子单元；其中，接收子单元：接收到类别结果后发送接收指令，接收执行接收指令后发送的待存储数据；将类别结果和待存储数据发送至预分析子单元；预分析子单元：根据类别结果对待存储数据进行预分析，生成预分析结果，将预分析结果发送至分析子单元；分析子单元：当预分析结果为符合时，获取多个共享数据，利用共享数据对待存储数据进行分析，获得分析结果。
如上的，其中，分析子单元包括：第一判断子单元、第二判断子单元和第三判断子单元；其中，第一判断子单元：根据共享数据的产品种类对待存储数据的产品种类进行判断，生成第一判断结果，并将第一判断结果发送至第二判断子单元；第二判断子单元：当第一判断结果的结果为相符，根据内容中的比对共享数据对待存储数据进行分析，生成第二判断结果；第三判断子单元：当第二判断结果为不相符，对待存储数据的产品图像数据进行类别分析，生成第三判断结果；根据第一判断结果、第二判断结果和第三判断结果生成分析结果。
本申请还提供一种基于大数据的存储方法，包括如下步骤：接收登录请求，根据登录请求进行验证，获得类别结果；获取待存储数据，根据类别结果对待存储数据进行分析，获得分析结果；根据分析结果选择存储模式，根据存储模式对待存储数据进行存储，并共享，其中，存储模式包括：更新和新建。
如上的，其中，接收登录请求，根据登录请求进行验证，获得类别结果的子步骤如下：接收登录请求，根据登录请求完成登录，并生成验证指令，其中，验证指令包括：企业名称和统一社会信用代码；根据验证指令进行初始验证，获得初始验证结果，其中，初始验证结果包括：正常和异常；当初始验证结果为正常，根据验证指令进行类别验证，获得类别结果，其中，类别结果包括：至少一个产品种类。
如上的，其中，根据类别结果对待存储数据进行分析，获得分析结果的子步骤如下：根据类别结果对待存储数据进行预分析，生成预分析结果，其中，预分析结果包括：符合和不符合；当预分析结果为符合时，获取多个共享数据，其中，每个共享数据均包括：产品图像数据和产品参数；利用共享数据对待存储数据进行分析，获得分析结果。
如上的，其中，利用共享数据对待存储数据进行分析，获得分析结果的子步骤如下：根据共享数据的产品种类对待存储数据的产品种类进行判断，生成第一判断结果，其中，第一判断结果包括：结果和第一内容；当第一判断结果的结果为相符，根据第一内容中的比对共享数据对待存储数据进行分析，生成第二判断结果，其中，第二判断结果包括：结果和第二内容；当第二判断结果的结果为不相符，对待存储数据的产品图像数据进行类别分析，生成第三判断结果，其中，第三判断结果包括：相符和不相符；根据第一判断结果、第二判断结果和第三判断结果生成分析结果。
如上的，其中，根据第一内容中的比对共享数据对待存储数据进行分析，生成第二判断结果的子步骤如下：根据比对共享数据的产品图像数据对待存储数据的产品图像数据进行分析，获得第一相似结果，其中，第一相似结果包括：相似和不相似；当第一相似结果为相似，根据比对共享数据的产品参数对待存储数据的产品参数进行分析，获得第二相似结果，其中，第二相似结果包括：相似和不相似；根据第一相似结果和第二相似结果生成第二判断结果，若第一相似结果和第二相似结果均为相似，或第一相似结果和第二相似结果中的一个为相似，则生成的第二判断结果的结果为相符；若第一相似结果和第二相似结果均为不相似，则生成的第二判断结果的结果为不相符，且第二判断结果的第二内容包括：不相符目标。
如上的，其中，根据比对共享数据的产品图像数据对待存储数据的产品图像数据进行分析，获得第一相似结果的子步骤如下：对比对共享数据的产品图像数据和待存储数据的产品图像数据进行分析，获得第一相似值；根据第一相似值生成第一相似结果，若第一相似值大于或等于预设的第一相似值阈值，则生成的第一相似结果为相似；若第一相似值小于预设的第一相似阈值，则生成的第一相似结果为不相似；其中，第一相似值的表达式如下：
Figure 271726DEST_PATH_IMAGE001
；
其中，
Figure 483265DEST_PATH_IMAGE002
为第一相似值；
Figure 894654DEST_PATH_IMAGE003
为待存储数据的产品图像数据沿方向角
Figure 332589DEST_PATH_IMAGE004
的局部能量；
Figure 753206DEST_PATH_IMAGE005
为比对共享数据的产品图像数据沿方向角
Figure 960196DEST_PATH_IMAGE004
的局部能量；
Figure 73646DEST_PATH_IMAGE004
为滤波器的第
Figure 733297DEST_PATH_IMAGE006
个信号的方向角，
Figure 816660DEST_PATH_IMAGE007
，
Figure 143736DEST_PATH_IMAGE008
为方向角的总个数；
Figure 162508DEST_PATH_IMAGE009
为尺度；
Figure 309455DEST_PATH_IMAGE010
为尺寸为
Figure 71875DEST_PATH_IMAGE009
，方向角为
Figure 253457DEST_PATH_IMAGE004
的待存储数据的产品图像数据的局部振幅；
Figure 708710DEST_PATH_IMAGE011
为尺寸为
Figure 342953DEST_PATH_IMAGE009
，方向角为
Figure 909064DEST_PATH_IMAGE004
的比对共享数据的产品图像数据的局部振幅；
Figure 804208DEST_PATH_IMAGE012
为最小正整数；
Figure 430361DEST_PATH_IMAGE013
为预设的常量。
本申请能自动对待存储数据进行分析，提高存储的准确性，并有利于节省存储空间。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为基于大数据的存储系统一种实施例的结构示意图；
图2为基于大数据的存储方法一种实施例的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本申请提供一种基于大数据的存储系统，包括：至少一个存储客户端110和大数据存储系统120。
其中，存储客户端110：用于发送登录请求；发送待存储数据。
大数据存储系统120：用于执行如下步骤：
接收登录请求，根据登录请求进行验证，获得类别结果；
获取待存储数据，根据类别结果对待存储数据进行分析，获得分析结果；
根据分析结果选择存储模式，根据存储模式对待存储数据进行存储，并共享，其中，存储模式包括：更新和新建。
进一步的，大数据存储系统120至少包括：验证单元、分析单元和存储单元。
其中，验证单元：接收登录请求，根据登录请求进行验证，获得类别结果，并将类别结果发送至分析单元。
分析单元：获取待存储数据，根据类别结果对待存储数据进行分析，获得分析结果。
存储单元：存储共享数据库；根据分析结果选择存储模式，根据存储模式将待存储数据存储于共享数据库，并共享，其中，存储模式包括：更新和新建。
进一步的，分析单元包括：接收子单元、预分析子单元和分析子单元。
其中，接收子单元：接收到类别结果后发送接收指令，接收执行接收指令后发送的待存储数据；将类别结果和待存储数据发送至预分析子单元。
预分析子单元：根据类别结果对待存储数据进行预分析，生成预分析结果，将预分析结果发送至分析子单元。
分析子单元：当预分析结果为符合时，获取多个共享数据，利用共享数据对待存储数据进行分析，获得分析结果。
进一步的，分析子单元包括：第一判断子单元、第二判断子单元和第三判断子单元。
其中，第一判断子单元：根据共享数据的产品种类对待存储数据的产品种类进行判断，生成第一判断结果，并将第一判断结果发送至第二判断子单元。
第二判断子单元：预先设置有第一比对模型和第二比对模型；当第一判断结果的结果为相符，根据内容中的比对共享数据对待存储数据进行分析，生成第二判断结果。
第三判断子单元：预先设置有特征提取模型和第三比对模型；当第二判断结果为不相符，对待存储数据的产品图像数据进行类别分析，生成第三判断结果；根据第一判断结果、第二判断结果和第三判断结果生成分析结果。
如图2所示，本申请提供一种基于大数据的存储方法，包括如下步骤：
S210：接收登录请求，根据登录请求进行验证，获得类别结果。
进一步的，接收登录请求，根据登录请求进行验证，获得类别结果的子步骤如下：
S2101：接收登录请求，根据登录请求完成登录，并生成验证指令，其中，验证指令包括：企业名称和统一社会信用代码。
具体的，大数据存储系统的验证单元中预先存储有登录信息库，登录信息库中包括多个登录信息，每个登录信息均包括：登录名称、登录密码、企业名称和统一社会信用代码。
验证单元接收到登录请求，其中，登录请求包括：登录名称和登录密码。根据登录信息对登录请求进行验证，当登录信息中的登录名称和登录密码与登录请求中的登录名称和登录密码相同，则完成登录，并生成验证指令；当登录信息中的登录名称和登录密码与登录请求中的登录名称和登录密码不相同，则登录失败。
S2102：根据验证指令进行初始验证，获得初始验证结果，其中，初始验证结果包括：正常和异常。
进一步的，根据验证指令进行初始验证，获得初始验证结果的子步骤如下：
S21021：根据验证指令中的企业名称生成第一获取请求，并发送，其中，第一获取请求包括：企业名称。
具体的，验证单元根据验证指令中的企业名称生成第一获取请求，并将第一获取请求发送至官方的验证平台。
S21022：接收根据第一获取请求获得的第一验证数据，并根据第一验证数据对验证指令中的统一社会信用代码进行验证，若第一验证数据与验证指令中的统一社会信用代码一致，则生成的初始验证结果为正常；若第一验证数据与验证指令中的统一社会信用代码不一致，则生成的初始验证结果为异常，其中，第一验证数据为实际的统一社会信用代码。
具体的，验证单元接收第一验证数据，其中，第一验证数据为实际的统一社会信用代码。实际的统一社会信用代码为根据第一获取请求从官方的验证平台中获取到的与企业名称相对应的统一社会信用代码。
S2103：当初始验证结果为正常，根据验证指令进行类别验证，获得类别结果，其中，类别结果包括：至少一个产品种类。
进一步的，根据验证指令进行类别验证，获得类别结果的子步骤如下：
S21031：根据验证指令中的企业名称生成第二获取请求，并发送，其中，第二获取请求包括：企业名称。
具体的，验证单元根据验证指令中的企业名称生成第二获取请求，并将第二获取请求发送至企业名称对应的官方网站。
S21032：接收根据第二获取请求获得的第二验证数据，并根据第二验证数据生成类别结果。
具体的，根据第二获取请求从官方网站获取企业涉及的产品的种类的产品种类，并利用所有的产品种类生成第二验证数据。验证单元接收到第二验证数据后，根据第二验证数据生成类别结果。
S220：获取待存储数据，根据类别结果对待存储数据进行分析，获得分析结果。
具体的，分析单元接收到类别结果后，向存储客户端发送接收指令。存储客户端接收到接收指令后，向大数据存储系统的分析单元发送待存储数据。
其中，待存储数据至少包括：产品图像数据和产品参数。
具体的，产品图像数据是用于展示产品款式和颜色的图像数据。
其中，产品参数包括：产品类型和供应能力。
其中，产品类型至少包括：产品种类、产品名称、产品型号、产品尺寸、产品价格和产品产区。
具体的，产品型号：表示产品种类相同的产品的不同型号。
产品尺寸：表示与每个产品型号对应的产品的尺寸（例如：长、宽、高、口径、重量等）。
产品价格：表示产品的价格，该价格可以为单价，也可以为批发价。
产品产区：表示企业所供产品的生成地区。
其中，供应能力：供应速度和供应区域。
供应速度：表示在预设的单位时间内可以提供的产品的最大总量，其中，预设的单位时间可以为a1天、a2月或a3年等。
供应区域：表示企业可以提供产品的区域，即产品能送达的区域。供应区域包括多个供货点。
进一步的，根据类别结果对待存储数据进行分析，获得分析结果的子步骤如下：
S2201：根据类别结果对待存储数据进行预分析，生成预分析结果，其中，预分析结果包括：符合和不符合。
具体的，预分析子单元根据类别结果对待存储数据中的产品种类进行分析，若待存储数据中的产品种类与类别结果中的产品种类中的一个相同，则生成的预分析结果为符合；若待存储数据中的产品种类与类别结果中的所有的产品种类均不相同，则生成的预分析结果为不符合。
S2202：当预分析结果为符合时，获取多个共享数据，其中，每个共享数据均包括：产品图像数据和产品参数。
具体的，存储单元中预先存储有共享数据库；共享数据库中具有多个子数据库，每个子数据库均包括：企业名称和多个共享数据。每个共享数据均包括：产品图像数据和产品参数。
分析子单元接收到预分析结果后，读取预分析结果，当预分析结果为符合时，根据当前的企业名称从共享数据库中获取与该企业名称相对应的多个共享数据。
S2203：利用共享数据对待存储数据进行分析，获得分析结果，其中，分析结果包括：第一判断结果、第二判断结果和第三判断结果。
进一步的，利用共享数据对待存储数据进行分析，获得分析结果的子步骤如下：
S22031：根据共享数据的产品种类对待存储数据的产品种类进行判断，生成第一判断结果，其中，第一判断结果包括：结果和第一内容。
具体的，第一判断子单元根据共享数据的产品种类对待存储数据的产品种类进行判断，生成第一判断结果，并将第一判断结果发送至第二判断子单元。其中，第一判断结果包括：结果和第一内容；结果包括：相符和不相符。当结构为相符，第一内容包括：比对共享数据。
若待存储数据的产品种类与所有的共享数据的产品种类中的一种相同，则生成的第一判断结果的结果为：相符，确定产品种类与待存储数据的产品种类相同的共享数据为比对共享数据，并将比对共享数据作为第一内容；若待存储数据的产品种类与所有的共享数据的产品种类均不相同，则生成的第一判断结果的结果为：不相符，第一内容为：无。
S22032：当第一判断结果的结果为相符，根据第一内容中的比对共享数据对待存储数据进行分析，生成第二判断结果，其中，第二判断结果包括：结果和第二内容。
进一步的，根据第一内容中的比对共享数据对待存储数据进行分析，生成第二判断结果的子步骤如下：
T1：根据比对共享数据的产品图像数据对待存储数据的产品图像数据进行分析，获得第一相似结果，其中，第一相似结果包括：相似和不相似。
进一步的，根据比对共享数据的产品图像数据对待存储数据的产品图像数据进行分析，获得第一相似结果的子步骤如下：
T11：对比对共享数据的产品图像数据和待存储数据的产品图像数据进行分析，获得第一相似值。
具体的，将共享数据的产品图像数据和待存储数据的产品图像数据输入至预选设置的第一比对模型中，由第一比对模型对共享数据的产品图像数据和待存储数据的产品图像数据进行分析，获得第一相似值。
进一步的，第一相似值的表达式如下：
Figure 286321DEST_PATH_IMAGE014
；
其中，
Figure 656123DEST_PATH_IMAGE002
为第一相似值；
Figure 546719DEST_PATH_IMAGE003
为待存储数据的产品图像数据沿方向角
Figure 343773DEST_PATH_IMAGE004
的局部能量；
Figure 952609DEST_PATH_IMAGE005
为比对共享数据的产品图像数据沿方向角
Figure 594943DEST_PATH_IMAGE004
的局部能量；
Figure 605624DEST_PATH_IMAGE004
为滤波器的第
Figure 934100DEST_PATH_IMAGE006
个信号的方向角，
Figure 30232DEST_PATH_IMAGE015
，
Figure 476257DEST_PATH_IMAGE008
为方向角的总个数；
Figure 607024DEST_PATH_IMAGE009
为尺度；
Figure 480302DEST_PATH_IMAGE010
为尺寸为
Figure 798151DEST_PATH_IMAGE009
，方向角为
Figure 313446DEST_PATH_IMAGE004
的待存储数据的产品图像数据的局部振幅；
Figure 33140DEST_PATH_IMAGE011
为尺寸为
Figure 342898DEST_PATH_IMAGE009
，方向角为
Figure 7098DEST_PATH_IMAGE004
的比对共享数据的产品图像数据的局部振幅；
Figure 60505DEST_PATH_IMAGE012
为最小正整数；
Figure 634705DEST_PATH_IMAGE013
为预设的常量。
T12：根据第一相似值生成第一相似结果，若第一相似值大于或等于预设的第一相似值阈值，则生成的第一相似结果为相似；若第一相似值小于预设的第一相似阈值，则生成的第一相似结果为不相似。
T2：当第一相似结果为相似，根据比对共享数据的产品参数对待存储数据的产品参数进行分析，获得第二相似结果，其中，第二相似结果包括：相似和不相似。
具体的，将比对共享数据的产品参数和待存储数据的产品参数输入至预先设置的第二比对模型中，由第二比对模型对比对共享数据的产品参数和待存储数据的产品参数进行分析，获得第二相似结果，若比对共享数据的产品参数和待存储数据的产品参数一致，则生成的第二相似结果为相似，若比对共享数据的产品参数和待存储数据的产品参数不一致，则生成的第二相似结果为不相似。
进一步的，将比对共享数据的产品参数和待存储数据的产品参数输入至预先设置的第二比对模型中，由第二比对模型对比对共享数据的产品参数和待存储数据的产品参数进行分析，获得第二相似值，若第二相似值大于或等于预设的第二相似值阈值，则生成的第二相似结果为相似；若第二相似值小于预设的第二相似值阈值，则生成的第二相似结果为不相似。
进一步的，第二相似值的表达式如下：
Figure 115365DEST_PATH_IMAGE016
；
其中，
Figure 407806DEST_PATH_IMAGE017
为第二相似值；
Figure 999325DEST_PATH_IMAGE018
表示待存储数据的产品参数的第
Figure 693611DEST_PATH_IMAGE019
种字符的总个数，
Figure 345173DEST_PATH_IMAGE020
，
Figure 983964DEST_PATH_IMAGE021
为待存储数据的产品参数的字符的种类的总数；
Figure 379174DEST_PATH_IMAGE022
表示比对共享数据的产品参数的第
Figure 927967DEST_PATH_IMAGE019
种字符的总个数，
Figure 750429DEST_PATH_IMAGE023
，
Figure 17462DEST_PATH_IMAGE021
为待存储数据的产品参数的字符的种类的总数。
具体的，不同的文字、字母、符号和数字均为一个种类。
T3：根据第一相似结果和第二相似结果生成第二判断结果，若第一相似结果和第二相似结果均为相似，或第一相似结果和第二相似结果中的一个为相似，则生成的第二判断结果的结果为相符；若第一相似结果和第二相似结果均为不相似，则生成的第二判断结果的结果为不相符。
当第一相似结果和第二相似结果中存在至少一个不相似，则第二判断结果的第二内容包括：不相符目标，便于快速和准确的进行更新。
具体的，不相符目标为：第一相似结果为不相符的待存储数据的产品图像数据、第二相似结果为不相符的待存储数据的产品参数。
S22033：当第二判断结果的结果为不相符，对待存储数据的产品图像数据进行类别分析，生成第三判断结果，其中，第三判断结果包括：相符和不相符。
进一步的，对待存储数据的产品图像数据进行类别分析，生成第三判断结果的子步骤如下：
U1：对产品图像数据进行特征提取，获得多个辨别特征。
具体的，将产品图像数据输入至预先设置的特征提取模型中，通过特征提取模型对产品图像数据进行特征提取，获得多个辨别特征。辨别特征用于表示产品图像数据中所展示的产品的特征。
U2：将所有的辨别特征输入至预先训练的第三比对模型，由第三比对模型对辨别特征进行分析，获得类别归属值。
每种产品种类中包括多个识别特征。第三比对模型中预先设置有多种产品种类的识别特征。识别特征是用于表示每种产品种类的产品的特征，预先通过神经网络模型训练获得。
进一步的，类别归属值的表达式如下：
Figure 950783DEST_PATH_IMAGE024
；
其中，
Figure 619662DEST_PATH_IMAGE025
表示类别归属值；
Figure 347447DEST_PATH_IMAGE026
表示在第
Figure 101776DEST_PATH_IMAGE027
种产品种类
Figure 963422DEST_PATH_IMAGE028
中的第
Figure 486807DEST_PATH_IMAGE029
个识别特征
Figure 385493DEST_PATH_IMAGE030
的出现频率的总和；
Figure 627118DEST_PATH_IMAGE031
表示产品图像数据中的第
Figure 902242DEST_PATH_IMAGE032
个辨别特征
Figure 280133DEST_PATH_IMAGE033
在当前产品种类中的频率，
Figure 880879DEST_PATH_IMAGE034
，
Figure 78642DEST_PATH_IMAGE035
表示辨别特征的总数；
Figure 423036DEST_PATH_IMAGE036
表示第
Figure 13024DEST_PATH_IMAGE032
个辨别特征
Figure 784671DEST_PATH_IMAGE033
在当前产品种类中的频率的最大值；
Figure 469730DEST_PATH_IMAGE037
表示包含第
Figure 352235DEST_PATH_IMAGE032
个辨别特征
Figure 439140DEST_PATH_IMAGE033
的产品种类的种类数量；
Figure 381688DEST_PATH_IMAGE038
表示属于第
Figure 554044DEST_PATH_IMAGE027
种产品种类
Figure 240240DEST_PATH_IMAGE028
，且包含第
Figure 447230DEST_PATH_IMAGE032
个辨别特征
Figure 419734DEST_PATH_IMAGE033
的历史产品图像数据的数量；
Figure 344965DEST_PATH_IMAGE039
表示分类属于第
Figure 303694DEST_PATH_IMAGE027
种产品种类
Figure 630770DEST_PATH_IMAGE028
的历史产品图像数据的数量。
具体的，类别归属值表示某辨别特征属于某产品种类的置信值，即在确定产品种类中，辨别特征出现的频繁程度。
当前产品种类表示产品类型中的产品种类，即产品图像数据所展示的产品应当所属的产品种类。历史产品图像数据为大数据存储系统在本次操作之前存储过的所有的产品图像数据。历史产品图像数据存储于第三比对模型中的历史数据库中。
U3：根据预设的归属值阈值对类别归属值进行分析，生成第三判断结果。
具体的，第三比对模型中预先设置的每个产品种类的每个识别特征的归属值阈值。第三比对模型获得类别归属值后，根据归属值阈值对类别归属值进行分析，若类别归属值小于归属值阈值，表示产品图像数据所展示的产品与产品参数中的产品类型中的产品种类完全不相关，待存储数据中的产品种类错误，则生成的第三判断结果为不相符，结束进程并向存储客户端发送警报。若类别归属值大于或等于归属值阈值，表示产品图像数据所展示的产品与产品参数中的产品类型中的产品种类相关或相同，待存储数据中的产品种类正确，则生成的第三判断结果为相符。
S22034：根据第一判断结果、第二判断结果和第三判断结果生成分析结果，其中，分析结果包括：第一判断结果、第二判断结果和第三判断结果。
具体的，第三判断子单元根据第一判断结果、第二判断结果和第三判断结果生成分析结果，并将分析结果发送至存储单元。
其中，分析结果包括：第一判断结果、第二判断结果和第三判断结果。
S230：根据分析结果选择存储模式，根据存储模式对待存储数据进行存储，并共享，其中，存储模式包括：更新和新建。
具体的，存储单元接收到分析结果后，根据分析结果选择存储模式，根据存储模式对待存储数据进行存储，并共享。
其中，存储模式包括：更新和新建。若第一判断结果的结果为不相符，则选择存储模式为新建。若第二判断结果的结果为相符，则选择存储模式为更新。若第三判断结果为相符，则选择存储模式为新建。
具体的，若存储模式为更新，则在共享数据库中与本次待存储数据相对应的当前已有的共享数据中进行更新，将待存储数据与共享数据不同的部分添加进共享数据中。若存储模式为新建，则在共享数据库中与本次带存储数据相对应的子数据库中新建一个共享数据，并存储待存储数据。完成更新和新建的存储后，对共享数据库进行共享。
本申请能自动对待存储数据进行分析，提高存储的准确性，并有利于节省存储空间。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，本申请的保护范围意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请保护范围及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (6)

1.一种基于大数据的存储系统，其特征在于，包括：存储客户端和大数据存储系统；
其中，存储客户端：用于发送登录请求；发送待存储数据；
大数据存储系统：用于执行如下步骤：
接收登录请求，根据登录请求进行验证，获得类别结果；
获取待存储数据，根据类别结果对待存储数据进行分析，获得分析结果；
根据分析结果选择存储模式，根据存储模式对待存储数据进行存储，并共享，其中，存储模式包括：更新和新建；
其中，根据类别结果对待存储数据进行分析，获得分析结果的子步骤如下：
根据类别结果对待存储数据进行预分析，生成预分析结果，其中，预分析结果包括：符合和不符合；
当预分析结果为符合时，获取多个共享数据，其中，每个共享数据均包括：产品图像数据和产品参数；
利用共享数据对待存储数据进行分析，获得分析结果；
其中，利用共享数据对待存储数据进行分析，获得分析结果的子步骤如下：
根据共享数据的产品种类对待存储数据的产品种类进行判断，生成第一判断结果，其中，第一判断结果包括：结果和第一内容；
当第一判断结果的结果为相符，根据第一内容中的比对共享数据对待存储数据进行分析，生成第二判断结果，其中，第二判断结果包括：结果和第二内容；
当第二判断结果的结果为不相符，对待存储数据的产品图像数据进行类别分析，生成第三判断结果，其中，第三判断结果包括：相符和不相符；
根据第一判断结果、第二判断结果和第三判断结果生成分析结果；
其中，根据第一内容中的比对共享数据对待存储数据进行分析，生成第二判断结果的子步骤如下：
根据比对共享数据的产品图像数据对待存储数据的产品图像数据进行分析，获得第一相似结果，其中，第一相似结果包括：相似和不相似；
当第一相似结果为相似，根据比对共享数据的产品参数对待存储数据的产品参数进行分析，获得第二相似结果，其中，第二相似结果包括：相似和不相似；
根据第一相似结果和第二相似结果生成第二判断结果，若第一相似结果和第二相似结果均为相似，或第一相似结果和第二相似结果中的一个为相似，则生成的第二判断结果的结果为相符；若第一相似结果和第二相似结果均为不相似，则生成的第二判断结果的结果为不相符，且第二判断结果的第二内容包括：不相符目标；
其中，根据比对共享数据的产品图像数据对待存储数据的产品图像数据进行分析，获得第一相似结果的子步骤如下：
对比对共享数据的产品图像数据和待存储数据的产品图像数据进行分析，获得第一相似值；
根据第一相似值生成第一相似结果，若第一相似值大于或等于预设的第一相似值阈值，则生成的第一相似结果为相似；若第一相似值小于预设的第一相似阈值，则生成的第一相似结果为不相似；
其中，第一相似值的表达式如下：
Figure 501556DEST_PATH_IMAGE001
；
其中，
Figure 469512DEST_PATH_IMAGE002
为第一相似值；
Figure 300064DEST_PATH_IMAGE003
为待存储数据的产品图像数据沿方向角
Figure 746089DEST_PATH_IMAGE004
的局部能量；
Figure 611277DEST_PATH_IMAGE005
为比对共享数据的产品图像数据沿方向角
Figure 750134DEST_PATH_IMAGE004
的局部能量；
Figure 192617DEST_PATH_IMAGE006
为滤波器的第
Figure 442333DEST_PATH_IMAGE007
个信号的方向角，
Figure 162027DEST_PATH_IMAGE008
，
Figure 471786DEST_PATH_IMAGE009
为方向角的总个数；
Figure 276931DEST_PATH_IMAGE010
为尺度；
Figure 330337DEST_PATH_IMAGE011
为尺寸为
Figure 170117DEST_PATH_IMAGE010
，方向角为
Figure 385198DEST_PATH_IMAGE012
的待存储数据的产品图像数据的局部振幅；
Figure 677639DEST_PATH_IMAGE013
为尺寸为
Figure 393791DEST_PATH_IMAGE010
，方向角为
Figure 88078DEST_PATH_IMAGE012
的比对共享数据的产品图像数据的局部振幅；
Figure 474060DEST_PATH_IMAGE014
为最小正整数；
Figure 519376DEST_PATH_IMAGE015
为预设的常量。
2.根据权利要求1所述的基于大数据的存储系统，其特征在于，大数据存储系统至少包括：验证单元、分析单元和存储单元；
其中，验证单元：接收登录请求，根据登录请求进行验证，获得类别结果，并将类别结果发送至分析单元；
分析单元：获取待存储数据，根据类别结果对待存储数据进行分析，获得分析结果；
存储单元：存储共享数据库；根据分析结果选择存储模式，根据存储模式将待存储数据存储于共享数据库，并共享。
3.根据权利要求2所述的基于大数据的存储系统，其特征在于，分析单元包括：接收子单元、预分析子单元和分析子单元；
其中，接收子单元：接收到类别结果后发送接收指令，接收执行接收指令后发送的待存储数据；将类别结果和待存储数据发送至预分析子单元；
预分析子单元：根据类别结果对待存储数据进行预分析，生成预分析结果，将预分析结果发送至分析子单元；
分析子单元：当预分析结果为符合时，获取多个共享数据，利用共享数据对待存储数据进行分析，获得分析结果。
4.根据权利要求3所述的基于大数据的存储系统，其特征在于，分析子单元包括：第一判断子单元、第二判断子单元和第三判断子单元；
其中，第一判断子单元：根据共享数据的产品种类对待存储数据的产品种类进行判断，生成第一判断结果，并将第一判断结果发送至第二判断子单元；
第二判断子单元：当第一判断结果的结果为相符，根据内容中的比对共享数据对待存储数据进行分析，生成第二判断结果；
第三判断子单元：当第二判断结果为不相符，对待存储数据的产品图像数据进行类别分析，生成第三判断结果；根据第一判断结果、第二判断结果和第三判断结果生成分析结果。
5.一种基于大数据的存储方法，其特征在于，包括如下步骤：
接收登录请求，根据登录请求进行验证，获得类别结果；
获取待存储数据，根据类别结果对待存储数据进行分析，获得分析结果；
根据分析结果选择存储模式，根据存储模式对待存储数据进行存储，并共享，其中，存储模式包括：更新和新建；
其中，根据类别结果对待存储数据进行分析，获得分析结果的子步骤如下：
根据类别结果对待存储数据进行预分析，生成预分析结果，其中，预分析结果包括：符合和不符合；
当预分析结果为符合时，获取多个共享数据，其中，每个共享数据均包括：产品图像数据和产品参数；
利用共享数据对待存储数据进行分析，获得分析结果；
其中，利用共享数据对待存储数据进行分析，获得分析结果的子步骤如下：
根据共享数据的产品种类对待存储数据的产品种类进行判断，生成第一判断结果，其中，第一判断结果包括：结果和第一内容；
当第一判断结果的结果为相符，根据第一内容中的比对共享数据对待存储数据进行分析，生成第二判断结果，其中，第二判断结果包括：结果和第二内容；
当第二判断结果的结果为不相符，对待存储数据的产品图像数据进行类别分析，生成第三判断结果，其中，第三判断结果包括：相符和不相符；
根据第一判断结果、第二判断结果和第三判断结果生成分析结果；
其中，根据第一内容中的比对共享数据对待存储数据进行分析，生成第二判断结果的子步骤如下：
根据比对共享数据的产品图像数据对待存储数据的产品图像数据进行分析，获得第一相似结果，其中，第一相似结果包括：相似和不相似；
当第一相似结果为相似，根据比对共享数据的产品参数对待存储数据的产品参数进行分析，获得第二相似结果，其中，第二相似结果包括：相似和不相似；
根据第一相似结果和第二相似结果生成第二判断结果，若第一相似结果和第二相似结果均为相似，或第一相似结果和第二相似结果中的一个为相似，则生成的第二判断结果的结果为相符；若第一相似结果和第二相似结果均为不相似，则生成的第二判断结果的结果为不相符，且第二判断结果的第二内容包括：不相符目标；
其中，根据比对共享数据的产品图像数据对待存储数据的产品图像数据进行分析，获得第一相似结果的子步骤如下：
对比对共享数据的产品图像数据和待存储数据的产品图像数据进行分析，获得第一相似值；
根据第一相似值生成第一相似结果，若第一相似值大于或等于预设的第一相似值阈值，则生成的第一相似结果为相似；若第一相似值小于预设的第一相似阈值，则生成的第一相似结果为不相似；
其中，第一相似值的表达式如下：
Figure 914585DEST_PATH_IMAGE016
；
其中，
Figure 197799DEST_PATH_IMAGE002
为第一相似值；
Figure 285841DEST_PATH_IMAGE003
为待存储数据的产品图像数据沿方向角
Figure 287295DEST_PATH_IMAGE004
的局部能量；
Figure 220616DEST_PATH_IMAGE005
为比对共享数据的产品图像数据沿方向角
Figure 748549DEST_PATH_IMAGE017
的局部能量；
Figure 7492DEST_PATH_IMAGE018
为滤波器的第
Figure 230663DEST_PATH_IMAGE007
个信号的方向角，
Figure 233254DEST_PATH_IMAGE019
，
Figure 756639DEST_PATH_IMAGE009
为方向角的总个数；
Figure 655325DEST_PATH_IMAGE010
为尺度；
Figure 896951DEST_PATH_IMAGE011
为尺寸为
Figure 549966DEST_PATH_IMAGE010
，方向角为
Figure 150712DEST_PATH_IMAGE018
的待存储数据的产品图像数据的局部振幅；
Figure 974573DEST_PATH_IMAGE013
为尺寸为
Figure 318967DEST_PATH_IMAGE010
，方向角为
Figure 551365DEST_PATH_IMAGE020
的比对共享数据的产品图像数据的局部振幅；
Figure 57433DEST_PATH_IMAGE014
为最小正整数；
Figure 8071DEST_PATH_IMAGE015
为预设的常量。
6.根据权利要求5所述的基于大数据的存储方法，其特征在于，接收登录请求，根据登录请求进行验证，获得类别结果的子步骤如下：
接收登录请求，根据登录请求完成登录，并生成验证指令，其中，验证指令包括：企业名称和统一社会信用代码；
根据验证指令进行初始验证，获得初始验证结果，其中，初始验证结果包括：正常和异常；
当初始验证结果为正常，根据验证指令进行类别验证，获得类别结果，其中，类别结果包括：至少一个产品种类。
CN202210972077.XA 2022-08-15 2022-08-15 一种基于大数据的存储方法及其系统 Active CN115033763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210972077.XA CN115033763B (zh) 2022-08-15 2022-08-15 一种基于大数据的存储方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210972077.XA CN115033763B (zh) 2022-08-15 2022-08-15 一种基于大数据的存储方法及其系统

Publications (2)

Publication Number Publication Date
CN115033763A CN115033763A (zh) 2022-09-09
CN115033763B true CN115033763B (zh) 2022-11-18

Family

ID=83131061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210972077.XA Active CN115033763B (zh) 2022-08-15 2022-08-15 一种基于大数据的存储方法及其系统

Country Status (1)

Country Link
CN (1) CN115033763B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274379A (zh) * 2017-05-09 2017-10-20 武汉大学 一种图像质量评价方法及系统
CN112532655A (zh) * 2021-02-07 2021-03-19 北京英迈琪科技有限公司 一种登录方法及其系统
CN114693410A (zh) * 2022-04-26 2022-07-01 深圳嘉业产业发展有限公司 一种基于区块链的验证方法及其系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125290A (zh) * 2014-08-05 2014-10-29 奥盈琦信信息技术（上海）有限公司 实现个人大数据收集、管理和授权的系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274379A (zh) * 2017-05-09 2017-10-20 武汉大学 一种图像质量评价方法及系统
CN112532655A (zh) * 2021-02-07 2021-03-19 北京英迈琪科技有限公司 一种登录方法及其系统
CN114693410A (zh) * 2022-04-26 2022-07-01 深圳嘉业产业发展有限公司 一种基于区块链的验证方法及其系统

Also Published As

Publication number Publication date
CN115033763A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
WO2020000688A1 (zh) 财务风险验证处理方法、装置、计算机设备及存储介质
US6834266B2 (en) Methods for estimating the seasonality of groups of similar items of commerce data sets based on historical sales data values and associated error information
CN108089843B (zh) 一种智能化的银行企业级需求管理系统
CN113706251B (zh) 基于模型的商品推荐方法、装置、计算机设备和存储介质
CN112990386A (zh) 用户价值聚类方法、装置、计算机设备和存储介质
CN114693411A (zh) 一种基于区块链的管理方法及其系统
CN112990989B (zh) 价值预测模型输入数据生成方法、装置、设备和介质
CN110569237A (zh) 实现实时数据清洗处理的系统及其方法
CN115033763B (zh) 一种基于大数据的存储方法及其系统
US12033415B2 (en) Systems and methods for generating document numerical representations
CN115690819A (zh) 一种基于大数据的识别方法及其系统
CN115564276A (zh) 项目统计储备管理系统、方法及存储介质
CN113656692A (zh) 基于知识迁移算法的产品推荐方法、装置、设备及介质
CN114298460A (zh) 素材工单分派处理方法、装置、设备及存储介质
CN112001381A (zh) 一种智能预填单审核方法及装置
CN111027296A (zh) 基于知识库的报表生成方法及系统
CN112101926B (zh) 一种专利年费智能支付方法及系统
US20230385951A1 (en) Systems and methods for training models
CN115953166B (zh) 基于大数据智能匹配的客户信息管理方法及系统
CN116484841B (zh) 基于自动化审核的信息校验系统及方法
CN116644233A (zh) 线上学习平台的课程推荐方法、装置、设备及存储介质
CN117667891A (zh) 基于产业与行业的专业技术数据库的搭建系统
CN118820325A (zh) 一种基于Microsoft 365的账期数据处理方法、系统、设备及介质
CN118586819A (zh) 基于供应链管理平台的授权采购计划管理方法
CN113988890A (zh) 一种跨境电商企业评估方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant