CN117389998B - 基于大模型的数据存储方法和装置 - Google Patents

基于大模型的数据存储方法和装置 Download PDF

Info

Publication number
CN117389998B
CN117389998B CN202311708908.3A CN202311708908A CN117389998B CN 117389998 B CN117389998 B CN 117389998B CN 202311708908 A CN202311708908 A CN 202311708908A CN 117389998 B CN117389998 B CN 117389998B
Authority
CN
China
Prior art keywords
data
module
storage
stored
large model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311708908.3A
Other languages
English (en)
Other versions
CN117389998A (zh
Inventor
程信辉
路圣汉
王云峰
高志平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hanbo Technology Co ltd
Original Assignee
Beijing Hanbo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hanbo Technology Co ltd filed Critical Beijing Hanbo Technology Co ltd
Priority to CN202311708908.3A priority Critical patent/CN117389998B/zh
Publication of CN117389998A publication Critical patent/CN117389998A/zh
Application granted granted Critical
Publication of CN117389998B publication Critical patent/CN117389998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及数据存储技术领域，提供一种基于大模型的数据存储方法和装置，包括：响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。本发明效率更高、准确率更高、泛化能力强。

Description

基于大模型的数据存储方法和装置
技术领域
本发明涉及数据存储技术领域，尤其涉及一种基于大模型的数据存储方法和装置。
背景技术
随着互联网、智能设备和新兴业务的迅猛发展，网络上的数据量呈现爆炸式增长，并且这种趋势还在加速。然而，这种快速增长的数据也带来了各种不可控的风险因素。
在传统方法中，通常会在存储之前对上述问题进行解决，包括但不限于人工审核和管理、关键词过滤、用户举报机制以及黑白名单。这些传统解决办法在一定程度上可以帮助管理网络上的内容问题，但随着互联网的发展和内容的爆炸式增长，传统方法往往只能依靠固定的规则和模式来判断违规内容，难以应对不断变化的违规手段和内容形式，也就是说，传统方法已经显得不够高效和准确。同时，对于大规模数据的内容识别和分类，往往需要依赖手动标注和分类，这不仅费时费力，而且容易产生主观偏差。
此外，在存储完成之后，用户对于内容的搜索和推荐需求也越来越个性化和精准化。传统的搜索和推荐方法通常基于关键词匹配，无法准确理解用户的意图和上下文。
目前还有一些科技公司通过机器学习和大数据分析来解决上述问题。但是在针对不同问题需要训练不同的模型来解决，泛化能力有限。
综上，现有技术存在效率低、准确率低、泛化能力有限的问题。
发明内容
本发明提供一种基于大模型的数据存储方法和装置，用以解决现有技术中效率低、准确率低、泛化能力有限的缺陷，实现效率更高、准确率更高、泛化能力强的数据存储。
本发明提供一种基于大模型的数据存储方法，包括：
响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；
将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；
其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。
根据本发明提供的一种基于大模型的数据存储方法，所述存储辅助子模块包括实时数据处理分析模块、自动标注和分类模块、智能搜索和推荐模块、违规内容识别和预警模块、数据摘要和摘录模块；
其中，所述实时数据处理分析模块用于与所述大模型子模块进行交互，实时对所述待存储数据进行分析，根据分析结果得到所述存储辅助信息；
所述自动标注和分类模块用于与所述大模型子模块进行交互，对所述待存储数据进行标注和分类，根据所述标注和分类的结果得到所述存储辅助信息；
所述智能搜索和推荐模块用于与所述大模型子模块进行交互，根据所述待存储数据到所述数据库进行搜索，根据所述搜索的结果得到所述存储辅助信息；和/或
根据预先构建的用户画像，利用所述数据库中的信息进行推荐，根据所述推荐的结果得到所述存储辅助信息；
所述违规内容识别和预警模块用于与所述大模型子模块进行交互，对所述待存储数据进行违规内容检测，在存在违规内容的情况下，根据所述检测的结果生成预警信息，根据所述预警信息得到所述存储辅助信息；
所述数据摘要和摘录模块用于与所述大模型子模块进行交互，从所述待存储数据中提取核心信息和重要内容，生成数据摘要和/或数据摘录；根据所述数据摘要和/或所述数据摘录得到所述存储辅助信息。
根据本发明提供的一种基于大模型的数据存储方法，所述启动配置包括所述存储模块和所述大模型交互模块的第一启动顺序、所述大模型交互模块中所述存储辅助子模块的启动情况和第二启动顺序。
根据本发明提供的一种基于大模型的数据存储方法，在所述第一启动顺序为异步启动的情况下，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述存储模块中，选择存储单元对所述待存储数据进行保存，得到所述保存反馈信息；
根据所述启动配置调用所述大模型交互模块，基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。
根据本发明提供的一种基于大模型的数据存储方法，在所述第一启动顺序为同步启动的情况下，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述存储模块，根据所述启动配置调用所述存储辅助子模块，基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息；
基于所述存储模块选择存储单元对所述待存储数据进行保存，得到所述保存反馈信息。
根据本发明提供的一种基于大模型的数据存储方法，所述将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库，之后还包括：
响应于终端查询数据的请求，将待查询数据输入至所述存储模块；
根据所述待查询数据得到第二文件元数据信息；
根据所述第二文件元数据信息，基于所述数据库进行数据查询；
在数据存在的情况下，根据所述第二文件元数据信息读取数据，并将所述数据输入至所述实时数据处理分析模块，对所述数据进行分析，得到数据分析结果，将所述数据分析结果和所述数据发送给所述终端；
在数据不存在的情况下，生成数据不存在反馈信息，将所述数据不存在反馈信息发送给所述终端。
根据本发明提供的一种基于大模型的数据存储方法，在所述启动情况包括所述实时数据处理分析模块为启动状态的情况下，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述实时数据处理分析模块，基于所述实时数据处理分析模块与所述大模型子模块进行交互，实时对所述待存储数据进行分析，得到分析结果；
根据所述分析结果进行数据拦截检测；
在需要进行数据拦截的情况下，中断所述待存储数据的保存处理，得到保存失败信息作为所述保存反馈信息；
在不需要进行数据拦截的情况下，将所述待存储数据输入至存储模块，根据所述启动配置调用除所述实时数据处理分析模块以外的所述大模型交互模块，得到所述保存反馈信息和所述存储辅助信息。
本发明还提供一种基于大模型的数据存储装置，包括：
存储单元，用于响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；
反馈单元，用于将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；
其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于大模型的数据存储方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于大模型的数据存储方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于大模型的数据存储方法。
本发明提供的基于大模型的数据存储方法和装置，通过响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。本发明通过存储辅助子模块与大模型子模块交互进行待存储数据的处理，提高存储数据的组织和管理效率，实现效率更高、准确率更高、泛化能力强的数据存储。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于大模型的数据存储方法的流程示意图之一；
图2是本发明提供的基于大模型的数据存储方法的流程示意图之二；
图3是本发明提供的基于大模型的数据存储方法的流程示意图之三；
图4是本发明提供的基于大模型的数据存储装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
附图标记：
410：存储单元；420：反馈单元。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明的基于大模型的数据存储方法，图1是本发明提供的基于大模型的数据存储方法的流程示意图之一，如图1所示，方法包括：
步骤110：响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息。
需要注意的是，本发明提供的基于大模型的数据存储方法基于包含若干终端和计算机节点组成的实施架构实施，每个计算节点至少包括大模型交互模块、存储模块、数据库。需要进行说明的是，本发明不对大模型交互模块、存储模块、数据库的数量进行限制，实际数量可以是一个，也可以是多个，根据实际需求进行选择。计算机节点之间存在计算机集群内部通信的网络。在一个具体实施例中，计算机节点选择包括GPU的计算机，计算机节点的数量为3。
进一步地，存储模块用于将待存储数据进行保存，得到保存反馈信息。存储模块是存储数据的核心装置，包括多个存储单元，所有数据通过存储模块保存到存储单元。可以了解的是，存储单元可以是本地存储单元，如固态硬盘（SSD）、普通硬盘等，也可以是远端存储，如云存储、网络附加存储（NAS）、远程文件传输协议（FTP）、对象存储等，也可以是本地和远端共存，本发明对此不做限制。保存反馈信息包括保存是否成功的反馈信息，用于对终端进行反馈。此外，需要进行说明的是，在实施本发明提供的基于大模型的数据存储方法之前，需要设置存储单元配置。在一个具体实施例中，存储单元设置为本地存储单元，存储介质选择固态硬盘和普通硬盘混合使用。
进一步地，大模型交互模块包括多个存储辅助子模块和一个大模型子模块，大模型交互模块用于基于存储辅助子模块与大模型子模块进行交互，对待存储数据进行处理，得到存储辅助信息。
需要进行说明的是，大模型子模块是本发明的最关键组成部分，它采用了先进的深度学习技术，通过海量的数据训练，能够模拟人类的语言逻辑和思维模式，进行自主思考并根据需求生成文本、视频、图片。大模型子模块包括多个大模型。大模型是指在机器学习和人工智能领域中具有庞大参数量和复杂结构的模型。随着数据量的不断增长和计算能力的提升，大模型在解决复杂问题和取得更高性能方面发挥了重要作用。大模型的特点是参数数量巨大，通常需要数百万、甚至数千亿的参数来进行训练和推断。这使得大模型能够更好地捕捉数据中的细微模式和复杂关系，从而提高模型的预测和泛化能力,使其能够进行语义理解、语境分析和模式匹配等任务。这为内容识别和分类、智能搜索和推荐、违规内容识别和预警等方面的应用提供了新的可能性。而且在各种任务中的表现往往优于规模较小的模型。本发明利用基于大模型的大模型子模块对文本、图像、语音等待存储数据进行处理，提供更准确和全面的分析、推理和预测。
在一些实施例中，大模型交互模块中的大模型为预先选择的大模型。预先选择的大模型可以是现有的大模型，也可以是根据需求训练得到的大模型。在一些实施例中，预先选择的大模型包括GPT（Generative Pre-trained Transformer）、BERT (BidirectionalEncoder Representation from Transformers)、ChatGLM(Chat Generative LanguageModel)、LLaMA(Large Language Model Meta AI)等。在另一些实施例中，大模型交互模块中的大模型为在预先选择的大模型的基础上将存储辅助子模块进行集成的模型。在本发明提供的基于大模型的数据存储方法中，大模型为数据摘要和摘录的自动化提供了新的解决方案。通过利用大模型子模块的大模型语义理解和语境分析能力，存储方法能够自动提取数据的关键信息，并根据用户需求和上下文生成个性化的摘要和摘录。这不仅提高了存储数据的组织和管理效率，还为用户提供了更加精准和高效的数据浏览和信息检索体验，也提升了数据挖掘的准确性。
进一步地，数据库是用来保存各个模块处理数据后得到的信息，这些信息在一些需要查询的时候被使用到，例如，存储模块保存待存储数据需要保存的待存储数据的文件元数据信息，以便后续能对该文件进行各种操作；以及大模型交互模块被调用生成的存储辅助信息。
在实施过程中，存储模块接收到终端保存数据的请求，存储模块同时接收到待存储数据，将其保存至存储单元，根据保存的成功情况得到保存反馈信息。同时，根据预先设置的启动配置调用大模型交互模块，将存储辅助信息
步骤120：将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；
需要进行说明的是，向终端发送保存反馈信息和存储辅助信息和第一文件元数据信息的保存两个步骤不具有先后顺序，可以根据具体的实际需求执行，也可以根据预先设置的启动配置的情况执行。将保存反馈信息发送至终端并将存储辅助信息和第一文件元数据信息保存至数据库后，存储流程结束。
基于上述实施例，在一些实施例中，所述存储辅助子模块包括实时数据处理分析模块、自动标注和分类模块、智能搜索和推荐模块、违规内容识别和预警模块、数据摘要和摘录模块。需要进行说明的是，基于前述的计算节点，在本实施例中，每个计算节点均包括存储模块、数据库、实时数据处理分析模块、自动标注和分类模块、智能搜索和推荐模块、违规内容识别和预警模块、数据摘要和摘录模块。
需要进行说明的是，本发明不对计算节点的实时数据处理分析模块、自动标注和分类模块、智能搜索和推荐模块、违规内容识别和预警模块、数据摘要和摘录模块的数量进行限制，可以有零到多个，这些模块可以作为独立个体包括于存储辅助子模块中，也可以与大模型子模块进行集成，或直接包括于大模型子模块中。
其中，所述实时数据处理分析模块用于与所述大模型子模块进行交互，实时对所述待存储数据进行分析，根据分析结果得到所述存储辅助信息。具体地，实时数据处理分析模块与大模型子模块交互，对待存储数据进行分析，这种分析可以是在本地的，也可以是将待存储数据发送至实时数据处理分析模块提供的特定接口进行分析处理后返回分析结果。进一步地，交互方式可以为下面2种方法：
1）RPC（远程过程调用）：实时数据处理分析模块和大模型子模块之间可以使用RPC机制进行交互。例如，实时数据处理分析模块可以通过RPC调用将数据或请求发送给大模型子模块，大模型子模块则通过RPC响应返回结果给实时数据处理分析模块。
2）接口调用：实时数据处理分析模块和大模型子模块之间可以通过接口进行直接调用和交互。例如，实时数据处理分析模块可以调用大模型子模块提供的接口，将数据或请求传递给大模型子模块进行处理，并获取返回的结果。
其中，实时数据处理分析模块负责接收和处理实时数据，进行分析和处理，并将结果发送给大模型子模块。它可能包含数据接收模块、处理和分析模块，以及与大模型子模块进行交互的模块。大模型子模块负责接收来自实时数据处理分析模块的数据或请求，进行复杂的模型计算或处理，并将结果返回给实时数据处理分析模块。它可能包含模型计算模块、结果处理模块，以及与实时数据处理分析模块进行交互的模块。
根据分析结果得到存储辅助信息，之后会将得到的存储辅助信息保存到数据库中。
需要进行强调的是，实时数据处理分析模块处理的待存储数据一般是对实时性要求比较高的。例如，通过传感器、设备接口、API调用或其他数据采集方法收集的数据。实时数据处理分析模块可以实现的分析操作包括但不限于加工处理、实时聚合、模式检测、异常检测、趋势分析、机器学习算法应用等。根据实际项目的需求和目标，可以对实时数据处理分析模块配置合适的分析方法和技术。
其中，需要进行说明的是，加工处理包括对原始数据进行转换、清理、整理或提取特定信息的过程。在一个具体实施例中，加工处理包括数据清洗和特征提取。具体地，数据清洗是指去除缺失值、处理异常值或噪声、标准化数据等。特征提取例如，从原始数据中提取关键特征，用于后续分析或模型建立。
实时聚合包括对实时数据进行统计或汇总的过程。在一个具体实施例中，实时聚合包括滑动窗口聚合和时间序列聚合。具体地，滑动窗口聚合例如，计算最近一段时间内的平均值、求和、最大值或最小值等。时间序列聚合例如，计算每小时、每天或每周的总和、平均值等。
模式检测包括识别数据中的特定模式或趋势的过程。在一个具体实施例中，模式检测包括时间序列模式检测和关联规则挖掘。时间序列模式检测例如，使用时间序列分析方法（如ARIMA、季节性分解）来检测数据中的季节性、趋势性或周期性模式。关联规则挖掘例如，使用Apriori算法或FP-Growth算法挖掘数据中的频繁项集或关联规则。
异常检测包括识别数据中与正常模式不符的异常或离群点的过程。在一个具体实施例中，异常检测包括：统计方法和基于机器学习的方法。统计方法例如，使用均值、标准差、箱线图等统计指标来检测数据中的异常。基于机器学习的方法例如，使用聚类、分类或回归算法来建立模型并检测数据中的异常。
趋势分析包括对数据中的趋势或变化进行分析和预测的过程。在一个具体实施例中，趋势分析包括：线性回归和时间序列分析。线性回归例如，使用最小二乘法拟合数据并预测未来的趋势。时间序列分析例如，使用指数平滑法、ARIMA模型等方法来分析和预测时间序列数据的趋势。
机器学习算法可以应用于各种数据分析任务，包括分类、聚类、预测等。在一个具体实施例中，机器学习算法包括：支持向量机（SVM）、随机森林（Random Forest）和神经网络（Neural Networks）。支持向量机（SVM）例如，用于二分类或多分类问题的机器学习算法。随机森林（Random Forest）例如，用于分类或回归问题的集成学习算法。神经网络（NeuralNetworks）例如，用于图像识别、语音识别等复杂任务的深度学习算法。
具体地，在一个实施例中，加工处理包括对对待存储数据进行不同等级的分析，得到分析结果，之后，在根据分析结果得到的存储辅助信息中即可利用不同的显色文本对待存储数据进行不同等级的多样化显示，以提供更多的视觉效果和增强观看体验。在一个实施例中，加工处理还包括基于待存储数据匹配广告，以提供个性化广告投放、实施效果评估、反欺诈广告等。例如，待存储数据为影片内容，其分析结果为存在诈骗，此时，可以在存储辅助信息中添加反欺诈小短片，提高终端用户的反诈意识。再比如，待存储数据为视频内容，其分析结果为婴幼儿相关，此时，可以在存储辅助信息中添加婴幼儿相关的商品广告，实现个性化定向投放。
基于上述实施例，基于得到的存储辅助信息，实时数据处理分析模块还可以生成相应的决策或采取行动。决策或行动包括但不限于：个性化投放、触发警报、发送通知、调整系统参数、控制设备等操作。
其中，个性化投放包括根据用户的特征和偏好向其提供个性化的内容或广告的过程。在一个具体实施例中，具体包括：
协同过滤（Collaborative Filtering）：例如，根据用户的历史行为和与其他用户的相似性来推荐相关内容或产品。
决策树（Decision Trees）：例如，根据用户的特征和偏好构建决策树模型，用于预测用户可能感兴趣的内容或产品。
触发警报（Triggering Alerts）包括根据特定条件或事件向相关人员发送警报通知的过程。在一个具体实施例中，具体包括：
阈值检测：例如，设置特定的阈值，当数据超过或低于阈值时触发警报。
时间序列异常检测：例如，使用时间序列分析方法（如ARIMA、季节性分解）来检测数据中的异常或突变。
发送通知包括向用户或相关人员发送消息或提醒的过程。在一个具体实施例中，具体包括：
推送通知：例如，使用推送服务向用户的移动设备发送通知消息。
邮件或短信通知：例如，通过电子邮件或短信向用户发送通知或提醒。
调整系统参数包括根据特定条件或反馈信息对系统的参数进行动态调整的过程。在一个具体实施例中，具体包括：
反馈控制：例如使用反馈控制算法（如PID控制）根据系统的实时状态进行参数调整。
强化学习：例如使用强化学习算法（如Q-learning、深度强化学习）通过与环境交互来优化系统参数。
控制设备包括通过发送指令或信号来控制物理设备或系统的操作。在一个具体实施例中，具体包括：
控制逻辑：例如，使用逻辑规则或状态机来定义设备的操作逻辑。
模型预测控制：例如，使用模型预测控制算法（如MPC）根据系统模型进行设备控制和优化。
决策和响应的方式可以是通过自动化系统、人工干预或两者的结合来实现。也就是说，将存储辅助信息存储至数据库后，实时数据处理分析模块还可以指示将其发送至终端供终端用户查看。
进一步地，在一些实施例中，在实时数据分析处理过程中，实时数据处理分析模块还可以建立监控系统来跟踪数据分析的性能和数据质量。这可以帮助及时发现潜在的问题或异常情况，并采取相应的优化措施，以确保实时数据处理分析模块的稳定性和准确性。
综上，实时数据处理分析模块可以实现实时处理和分析大量的数据流，提取有价值的信息和洞察，发现潜在的问题和机会，并支持实时决策和行动，满足了对实时数据的快速处理和高效存储的需求，提高业务效率和竞争力。
其中，所述自动标注和分类模块用于与所述大模型子模块进行交互，对所述待存储数据进行标注和分类，根据所述标注和分类的结果得到所述存储辅助信息。具体地，自动标注和分类模块与大模型子模块交互，基于大模型对输入的待存储信息进行预测，并自动为其分配相应的标签或类别，这种标注和分类的预测可以是在本地的，也可以是将待存储数据发送至自动标注和分类模块提供的特定接口进行标注和分类的预测后返回标注和分类的结果。
进一步地，自动标注和分类模块通过向大模型子模块传递数据来进行交互。这可以是输入特征向量、标签信息或其他需要进行处理的数据。包括以下过程：
请求-响应机制：自动标注和分类模块向大模型子模块发送请求，并接收其响应。请求可以包括特定的任务或操作，而响应可以包括处理结果或其他相关信息。
回调通知：自动标注和分类模块可以通过回调机制向大模型子模块发送通知，以实现双向的交互。这可以是在特定事件发生时触发的通知，例如完成标注或分类任务后的通知。
其中，自动标注和分类模块负责自动对数据进行标注和分类的任务。它可以包括数据预处理、特征提取、标注或分类算法等子模块。
大模型子模块是一个较大的模型或算法，用于处理自动标注和分类模块传递的数据。它可以是一个深度学习模型、机器学习算法或其他复杂的模型结构。
进一步地，连接自动标注和分类模块与大模型子模块的还包括接口层，以实现它们之间的交互。接口层可以提供数据传递、请求-响应机制、回调通知等功能。
需要说明的是，标注和分类的结果包括数据标识符、标签、分类结果等内容，将数据标识符、标签、分类结果等作为存储辅助信息。进一步地，待存储信息包括待分类的物品或数据，可以用于图像识别、文本分类、语音识别等任务。
在一些实施例中，自动标注和分类模块与大模型子模块进行交互，基于待存储数据进行预设的置信度计算，得到标注和分类的结果，进而得到存储辅助信息。具体来说，首先进行数据预处理，即对待存储数据进行必要的预处理，例如文本分词、图像降噪处理或音频特征提取等。预处理步骤根据具体数据类型和任务需求而定。
之后进行特征提取，根据任务需求，从待存储数据中提取相关特征。这可以是基于文本的词频、TF-IDF权重、图像的颜色直方图、纹理特征或音频的频谱特征等。
之后进行置信度计算，使用预设的算法或模型，基于提取的特征计算标注和分类的置信度。这可以是使用机器学习算法（如支持向量机、随机森林、深度神经网络）或基于规则的方法。置信度可以是概率值、得分或其他形式的度量。
基于置信度计算的结果进行标注和分类，这可以是将数据分配给预定义的类别或进行多标签分类。
根据标注和分类的结果，生成存储辅助信息。这可以是为数据添加标签、关键词、摘要或其他有助于数据检索和管理的元数据。
最后输出结果，将标注和分类的结果以及生成的存储辅助信息返回作为算法的输出。
得到存储辅助信息之后，将存储辅助信息保存到数据库。数据库表可能包含数据标识符、标签、分类结果等字段，以便后续查询和使用。
进一步地，为了确保信息的准确性和完整性，自动标注和分类模块还可以进行数据校验和验证。通过数据库的连接和操作，可以实现对保存的信息的查询、分析和后续的应用。
综上，自动标注和分类模块与大模型子模块的结合使得自动化的内容识别和分类成为可能，可以通过训练大模型子模块中的大模型来自动标签化存储文件，提高存储数据的组织和管理效率，减少人力成本，在大量数据处理和分类的场景中提供准确和一致的标注和分类的结果。
其中，所述智能搜索和推荐模块用于与所述大模型子模块进行交互，根据所述待存储数据到所述数据库进行搜索，根据所述搜索的结果得到所述存储辅助信息；和/或
根据预先构建的用户画像，利用所述数据库中的信息进行推荐，根据所述推荐的结果得到所述存储辅助信息。
具体地，智能搜索和推荐模块与大模型子模块交互，对待存储数据中的关键字到数据库进行搜索，这种搜索可以是在本地的，也可以是将待存储数据发送至智能搜索和推荐模块提供的特定接口进行搜索后返回搜索的结果。根据搜索的结果得到存储辅助信息，之后会将得到的存储辅助信息保存到数据库中。
进一步地，智能搜索和推荐模块收集和提取相关的数据，可能包括文本、图像、音频等形式的数据。然后对收集到的数据进行索引构建，以便快速检索和匹配。具体来说，首先进行数据预处理，对收集到的数据进行必要的预处理，例如文本分词、图像降噪处理或音频特征提取等。预处理步骤根据具体数据类型和任务需求而定。
之后进行特征提取，根据任务需求，从收集到的数据中提取相关特征。这可以是基于文本的词频、TF-IDF权重，图像的颜色直方图、纹理特征或音频的频谱特征等。
根据提取的特征进行索引构建，使用合适的数据结构来构建索引。常用的索引结构包括倒排索引（Inverted Index）、哈希表（Hash Table）或搜索树（Search Tree）等。选择适当的索引结构取决于数据类型和搜索需求。
之后将预处理和特征提取后的数据添加到索引中。根据数据类型和索引结构的不同，可以根据特征值、关键词或其他标识符将数据添加到相应的索引位置。
使用智能搜索时，根据用户提供的待存储数据作为查询信息，在索引构建的基础上，进行智能搜索。具体地，使用索引结构进行快速检索和匹配。根据用户的搜索查询或推荐需求，通过索引结构快速定位相关数据。这可以是根据关键词、相似度匹配或其他搜索算法。之后返回索引数据结构作为算法的输出，以便后续的搜索和推荐操作。
这涉及到使用的搜索算法和技术包括如关键词匹配、语义分析、向量检索等，以找到与用户的待存储数据需求相关的数据项作为搜索的结果。在一些实施例中，搜索的结果即为存储辅助信息。进一步地，还可以根据搜索的结果的相关度和其他规则，对搜索得到的数据进行过滤和排序。这可能包括根据用户偏好、时间因素、地理位置等进行筛选和排名，以提供最相关和有用的结果作为存储辅助信息。
同时，也可以根据终端用户的预先构建的用户画像，根据用户画像以及数据库中的信息进行精准推荐。这种推荐可以是在本地的，也可以是将待存储数据发送至智能搜索和推荐模块提供的特定接口进行推荐后返回推荐的结果。根据推荐的结果得到存储辅助信息，之后会将得到的存储辅助信息保存到数据库中。进一步地，终端用户的用户画像是预先构建的，可以基于待存储信息的特征从画像库中调取，用来作为精准推荐的根据，也可以在改步骤中直接输入预先构建的用户画像进行使用。
进一步地，用户画像包括用户的历史行为、兴趣和其他相关信息，智能搜索和推荐模块收集用户的反馈和行为数据，作为用户画像，利用推荐算法和技术生成个性化推荐结果，即推荐的结果。具体来说，在一个具体实施例中，使用协同过滤算法生成推荐的结果。可以了解的是，协同过滤算法通过分析用户的行为数据，找出与当前用户相似兴趣的其他用户，然后根据这些相似用户的喜好，推荐给当前用户可能感兴趣的内容。
具体实现步骤如下：
数据收集：收集用户的历史行为数据，包括观看记录、评分、喜欢的电影类型等。
相似度计算：根据用户的行为数据，计算用户之间的相似度。常见的相似度计算方法包括余弦相似度和皮尔逊相关系数。
相似用户选择：选择与当前用户最相似的一些用户作为推荐的依据。
生成推荐列表：根据相似用户的喜好，生成电影推荐列表。可以使用基于物品的协同过滤算法，根据用户的历史行为数据，找出与用户喜欢的电影相似的其他电影，并将它们推荐给用户。
推荐结果展示：将生成的推荐列表展示给用户，可以通过用户界面或推送通知等方式呈现。
在一些实施例中，推荐结果即为存储辅助信息。此外，智能搜索和推荐模块还搜集用户评分、点击行为、收藏行为等，用于改进智能搜索和推荐模块的性能和效果，进一步优化搜索和推荐的准确性和个性化程度。
综上，智能搜索和推荐模块利用大模型子模块中大模型的语义理解和语境分析能力，能够根据用户的需求和行为，自动分析和理解用户的兴趣、偏好以及上下文信息，更好地理解用户的搜索意图，从而为用户提供更精准、个性化的搜索结果和推荐内容，提升了用户的搜索效果和满意度。
其中，所述违规内容识别和预警模块用于与所述大模型子模块进行交互，对所述待存储数据进行违规内容检测，在存在违规内容的情况下，根据所述检测的结果生成预警信息，根据所述预警信息得到所述存储辅助信息；具体地，违规内容识别和预警模块与大模型子模块交互，对待存储数据进行违规内容检测，这种检测可以是在本地的，也可以是将待存储数据发送至违规内容识别和预警模块提供的特定接口进行检测后返回检测的结果。
具体来说，大模型子模块中的大模型会待存储数据的特征进行预测，将结果返回给该模块，判断是否存在违规内容，如果检测到存在违规内容，根据检测的结果生成相应的预警信息。需要进行说明的是，预警信息可能包括内容描述、时间戳、来源等。根据预警信息得到存储辅助信息。之后会将得到的存储辅助信息保存到数据库中。
进一步地，根据应用需求，违规内容识别和预警模块还可以对存储辅助信息包括的预警信息进行处理和通知。例如，将预警信息发送给相关人员、触发自动阻止或删除违规内容的操作，或将信息记录到日志中供后续分析。也就是说，将存储辅助信息存储至数据库后，实违规内容识别和预警模块还可以指示将其发送至终端供终端用户查看。
综上，违规内容识别和预警模块利用大模型子模块中大模型的深度学习和模式匹配能力，实现对各种形式的违规内容的自动检测和辨别，并提供及时的预警，提高安全性和合规性。
其中，所述数据摘要和摘录模块用于与所述大模型子模块进行交互，从所述待存储数据中提取核心信息和重要内容，生成数据摘要和/或数据摘录；根据所述数据摘要和/或所述数据摘录得到所述存储辅助信息。具体地，数据摘要和摘录模块与大模型子模块交互，对待存储数据进行数据提取，这种数据提取可以是在本地的，也可以是将待存储数据发送至数据摘要和摘录模块提供的特定接口进行数据提取后返回数据摘要和/或所述数据摘录。根据数据摘要和/或数据摘录得到存储辅助信息，之后会将得到的存储辅助信息保存到数据库中。
具体来说，用户将需要进行摘要和摘录的待存储数据作为原始数据输入到数据摘要和摘录模块中，待存储数据可以是文本、文章、报告、网页等形式的数据。之后，通过摘要算法和技术，对待存储数据进行数据摘要的生成。数据摘要包括对待存储数据的概括性描述，尽量保留关键信息和主要观点。例如，存在一个大量的文本数据集，希望能够自动提取每个文本的梗概或内容提要，以便快速了解文本的主要内容。在一个具体实施例中，使用基于自然语言处理（NLP）的技术来生成文本摘要，也可以采用基于词频和关键词提取的方法生成文本摘要。具体实现步骤如下：
文本预处理：对待摘要的文本进行预处理，包括分词、去除停用词、词干化等。这一步骤旨在将文本转换为计算机可处理的形式。
词频统计：统计每个词在文本中出现的频率，并计算每个词的重要性得分。词频可以通过简单的计数来得到，而重要性得分可以使用TF-IDF（词频-逆文档频率）等方法来计算。
关键词提取：根据词频和重要性得分，选取文本中的关键词。可以根据某个阈值或者固定的关键词数量来确定关键词的选择。
摘要生成：根据选取的关键词，从文本中提取相关的句子或段落，形成文本摘要。可以根据句子中包含的关键词数量、位置等进行选择和排序。
同时，通过摘录算法和技术，对待存储数据进行数据摘录的生成。例如，正在处理一个大型的新闻文章数据库，并希望通过摘录算法和技术来生成摘录，以便提取每篇文章中最重要的信息和关键细节。在一个具体实施例中，使用基于自然语言处理（NLP）的技术来生成文本摘录，也可以采用基于词频和关键词提取的方法生成文本摘录。
在一个具体实施例中，原文段落：“最近，一项关于环境保护的重要研究得出了令人震惊的结论。根据研究数据显示，全球温室气体排放量在过去十年中增长了30%，这对地球的生态系统造成了巨大的威胁。”
使用基于自然语言处理（NLP）的技术生成的摘录：“根据最新研究数据，全球温室气体排放量在过去十年中增长了30%，对地球生态系统构成了巨大威胁。”
通过摘录算法和技术，从原文段落中选择了关键信息，并生成了一个摘录，以便快速传达研究的重要结论。
需要进行说明的是，摘录指的是选择抄录下来的文字。摘要指的是概要、内容提要。
在一些实施例中，生成的数据摘要和/或数据摘录即为存储辅助信息。进一步地，数据摘要和摘录模块还提供对生成的数据摘要和数据摘录进行管理的功能，例如保存、编辑、删除等。终端的用户可以对已生成的数据摘要和/或数据摘录进行操作，以满足个性化需求。将生成的数据摘要和/或数据摘录以适当的方式展示给用户。可以是摘要文本的展示，也可以是摘要的摘要图表或其他形式，以便用户快速浏览和获取主要信息。也就是说，将存储辅助信息存储至数据库后，数据摘要和摘录模块还可以指示将其发送至终端供终端用户查看。
综上，数据摘要和摘录模块与大模型子模块的结合，实现自动化标注和分类存储文件，减少人工工作量，并生成准确、全面且个性化的数据摘要和摘录，提高了数据浏览和信息检索的效率。
如此，本发明提供的基于大模型的数据存储方法能够显著提升存储的性能和用户体验，并推动其在各个领域的应用和发展。
进一步地，在一些实施例中，所述启动配置包括所述存储模块和所述大模型交互模块的第一启动顺序、所述大模型交互模块中所述存储辅助子模块的启动情况和第二启动顺序。
具体地，需要进行强调的是，在实施本发明提供的基于大模型的数据存储方法之前，需要对启动配置进行设置。启动配置的设置和存储单元配置的设置可以同时进行，也可以存在先后次序，本发明对此不做限制。
存储模块和大模型交互模块可以是同步执行，也可以是异步执行。也就是说，第一启动顺序可以是同步执行，也可以是异步执行。
进一步地，启动配置还包括大模型交互模块中所述存储辅助子模块的启动情况和第二启动顺序。
也就是说，对于大模型交互模块启动配置的设置包括两种方式：
1）设置存储辅助子模块的启动情况，每种模块可以设置为是否启动。只要存储辅助子模块中一个模块启动，则大模型子模块自动变成启动状态。也就是说，实时数据处理分析模块、自动标注和分类模块、智能搜索和推荐模块、违规内容识别和预警模块、数据摘要和摘录模块中任意一种模块启动，则大模型子模块自动变成启动状态。
2）存储辅助子模块的启动情况的启动顺序，即第二启动顺序，包含同步启动、异步启动以及周期性启动，如果是周期性执行，也需要设置周期。当存储辅助子模块包括实时数据处理分析模块、自动标注和分类模块、智能搜索和推荐模块、违规内容识别和预警模块、数据摘要和摘录模块时，大模型子模块、实时数据处理分析模块、自动标注和分类模块、智能搜索和推荐模块、违规内容识别和预警模块、数据摘要和摘录模块可以是同步执行，也可以是异步执行。也就是说，第二启动顺序可以是同步执行，也可以是异步执行。需要进行说明的是，同步就是待存储数据在保存到存储单元之前先经过存储辅助子模块处理再进行真正的保存。异步执行就是在待存储数据通过存储模块保存到存储单元之后，在后台异步通过存储辅助子模块对待存储数据进行处理。
在所述第一启动顺序为异步启动的情况下，基于上述实施例，在一些实施例中，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述存储模块中，选择存储单元对所述待存储数据进行保存，得到所述保存反馈信息；
根据所述启动配置调用所述大模型交互模块，基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。
具体地，需要进行说明的是，异步执行就是在待存储数据通过存储模块保存到存储单元之后，在后台异步通过大模型交互模块对待存储数据进行处理。
在所述第一启动顺序为同步启动的情况下，基于上述实施例，在一些实施例中，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述存储模块，根据所述启动配置调用所述存储辅助子模块，基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息；
基于所述存储模块选择存储单元对所述待存储数据进行保存，得到所述保存反馈信息。
具体地，需要进行说明的是，同步就是待存储数据在保存到存储单元之前先经过大模型交互模块处理再进行真正的保存。如图2所示，包括以下步骤：
S10、存储模块接收到终端保存数据的请求。
S11、待存储数据经过存储模块进行保存处理，这个模块在真正保存之前会根据启动配置调用大模型交互模块。
S12、待存储数据经过大模型交互模块，通过存储辅助子模块与大模型子模块进行交互，对待存储数据进行处理，得到存储辅助信息，存储辅助信息保存至数据库中。
S13、存储模块选择存储单元进行待存储数据的保存，根据保存情况得到保存反馈信息。
S14、返回保存成功的保存反馈信息给调用终端，结束本流程。
更进一步地，根据本发明提供的一种基于大模型的数据存储方法，在所述启动情况包括所述实时数据处理分析模块为启动状态的情况下，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述实时数据处理分析模块，基于所述实时数据处理分析模块与所述大模型子模块进行交互，实时对所述待存储数据进行分析，得到分析结果；
根据所述分析结果进行数据拦截检测；
在需要进行数据拦截的情况下，中断所述待存储数据的保存处理，得到保存失败信息作为所述保存反馈信息；
在不需要进行数据拦截的情况下，将所述待存储数据输入至存储模块，根据所述启动配置调用除所述实时数据处理分析模块以外的所述大模型交互模块，得到所述保存反馈信息和所述存储辅助信息。
具体地，在一些实施例中，根据实时数据处理分析模块的启动情况的不同也存在各模块执行顺序的差别。
在接收到终端的待存储数据之后，如果启动了实时数据处理分析模块，则实时数据处理分析模块会跟大模型模块交互，实时对待存储数据进行分析，识别并提取关键信息，得到分析结果。分析结果中的信息可以用作拦截数据保存，从而进行数据拦截检测。
如果发现存在违规内容，则需要进行数据拦截，此时可以实时中断待存储数据的后续处理，得到保存失败信息作为保存反馈信息，用于返回保存失败信息给调用终端。进一步地，另外实时数据处理分析模块也可以进行加工处理，以提供更多的视觉效果和增强观看体验。
如果没有发现存在违规内容，则不需要进行数据拦截，待存储数据通过实时数据处理分析模块，经过存储模块将待存储数据保存到存储单元，同时也会将待存储数据的元数据信息保存到数据库。同时，根据启动配置调用除实时数据处理分析模块以外的大模型交互模块，得到保存反馈信息和存储辅助信息，将保存成功的保存反馈信息返回给调用终端，调用终端接收到调用返回的信息，同时将存储辅助信息存储至数据库，完成一次数据保存。
在接收到终端的待存储数据之后，如果没有启动实时数据处理分析模块，待存储数据通过实时数据处理分析模块，经过存储模块将待存储数据保存到存储单元，同时也会将待存储数据的元数据信息保存到数据库。同时，根据启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，将保存成功的保存反馈信息返回给调用终端，调用终端接收到调用返回的信息，同时将存储辅助信息存储至数据库，完成一次数据保存。
另外，本实施例还包括一种方案，在将保存成功的保存反馈信息返回给调用终端后即结束本次数据保存流程，后续会有定时任务来启动大模型交互模块。
进一步地，本发明还包括启动实时数据处理分析模块后进行数据读取，如图3所示，所述将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库，之后还包括：
响应于终端查询数据的请求，将待查询数据输入至所述存储模块；
根据所述待查询数据得到第二文件元数据信息；
根据所述第二文件元数据信息，基于所述数据库进行数据查询；
在数据存在的情况下，根据所述第二文件元数据信息读取数据，并将所述数据输入至所述实时数据处理分析模块，对所述数据进行分析，得到数据分析结果，将所述数据分析结果和所述数据发送给所述终端；
在数据不存在的情况下，生成数据不存在反馈信息，将所述数据不存在反馈信息发送给所述终端。
具体地，包括以下步骤：
S20、存储模块接收到终端携带的待查询数据，根据待查询数据从系统中找到该数据的元数据信息，记为第二文件元数据信息。其中，存储模块可以使用数据库系统来存储和管理数据。当接收到终端携带的待查询数据时，存储模块可以执行数据库查询操作，使用待查询数据作为查询条件，以从数据库中检索相应的元数据信息。这可以通过使用结构化查询语言（SQL）或其他数据库查询语言来实现。进一步地，存储模块可以维护一个元数据索引，其中包含了系统中所有数据的元数据信息。当接收到待查询数据时，存储模块可以通过索引进行快速查找，以找到该数据的元数据信息。索引可以基于关键字、标识符或其他唯一标识符进行构建，以便快速定位数据。此外，如果系统采用了分布式存储架构，存储模块可以通过与其他节点通信来获取待查询数据的元数据信息。存储模块可以向其他节点发送查询请求，以获取相关的元数据信息。
S21、根据第二文件元数据信息判断待查询数据涉及的文件或数据是否存在，如果不存在，则执行S22，否则执行S23。
S22、生成数据不存在反馈信息，之后还需返回数据不存在反馈信息给终端。
S23、根据第二文件元数据信息读取数据。
S24、数据输入实时数据分析处理模块，实时数据分析处理模块在此实施示例的功能是对读取的数据进行加工处理，以提供更多的视觉效果和增强观看体验，还可以加上广告，以提供个性化广告投放、实施效果评估、反欺诈广告等，得到数据分析结果。
S25、将数据分析结果和读取到的数据返回给终端，结束本流程。
本发明提供的基于大模型的数据存储方法，通过响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。本发明通过存储辅助子模块与大模型子模块交互进行待存储数据的处理，提高存储数据的组织和管理效率，实现效率更高、准确率更高、泛化能力强的数据存储。
下面对本发明提供的基于大模型的数据存储装置进行描述，下文描述的基于大模型的数据存储装置与上文描述的基于大模型的数据存储方法可相互对应参照。图4是本发明提供的基于大模型的数据存储装置的结构示意图，如图4所示，装置包括：
存储单元410，用于响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；
反馈单元420，用于将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；
其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。
根据本发明提供的一种基于大模型的数据存储装置，所述存储辅助子模块包括实时数据处理分析模块、自动标注和分类模块、智能搜索和推荐模块、违规内容识别和预警模块、数据摘要和摘录模块；
其中，所述实时数据处理分析模块用于与所述大模型子模块进行交互，实时对所述待存储数据进行分析，根据分析结果得到所述存储辅助信息；
所述自动标注和分类模块用于与所述大模型子模块进行交互，对所述待存储数据进行标注和分类，根据所述标注和分类的结果得到所述存储辅助信息；
所述智能搜索和推荐模块用于与所述大模型子模块进行交互，根据所述待存储数据到所述数据库进行搜索，根据所述搜索的结果得到所述存储辅助信息；和/或
根据预先构建的用户画像，利用所述数据库中的信息进行推荐，根据所述推荐的结果得到所述存储辅助信息；
所述违规内容识别和预警模块用于与所述大模型子模块进行交互，对所述待存储数据进行违规内容检测，在存在违规内容的情况下，根据所述检测的结果生成预警信息，根据所述预警信息得到所述存储辅助信息；
所述数据摘要和摘录模块用于与所述大模型子模块进行交互，从所述待存储数据中提取核心信息和重要内容，生成数据摘要和/或数据摘录；根据所述数据摘要和/或所述数据摘录得到所述存储辅助信息。
根据本发明提供的一种基于大模型的数据存储装置，所述启动配置包括所述存储模块和所述大模型交互模块的第一启动顺序、所述大模型交互模块中所述存储辅助子模块的启动情况和第二启动顺序。
根据本发明提供的一种基于大模型的数据存储装置，在所述第一启动顺序为异步启动的情况下，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述存储模块中，选择存储单元对所述待存储数据进行保存，得到所述保存反馈信息；
根据所述启动配置调用所述大模型交互模块，基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。
根据本发明提供的一种基于大模型的数据存储装置，在所述第一启动顺序为同步启动的情况下，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述存储模块，根据所述启动配置调用所述存储辅助子模块，基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息；
基于所述存储模块选择存储单元对所述待存储数据进行保存，得到所述保存反馈信息。
根据本发明提供的一种基于大模型的数据存储装置，所述将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库，之后还包括：
响应于终端查询数据的请求，将待查询数据输入至所述存储模块；
根据所述待查询数据得到第二文件元数据信息；
根据所述第二文件元数据信息，基于所述数据库进行数据查询；
在数据存在的情况下，根据所述第二文件元数据信息读取数据，并将所述数据输入至所述实时数据处理分析模块，对所述数据进行分析，得到数据分析结果，将所述数据分析结果和所述数据发送给所述终端；
在数据不存在的情况下，生成数据不存在反馈信息，将所述数据不存在反馈信息发送给所述终端。
根据本发明提供的一种基于大模型的数据存储装置，在所述启动情况包括所述实时数据处理分析模块为启动状态的情况下，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述实时数据处理分析模块，基于所述实时数据处理分析模块与所述大模型子模块进行交互，实时对所述待存储数据进行分析，得到分析结果；
根据所述分析结果进行数据拦截检测；
在需要进行数据拦截的情况下，中断所述待存储数据的保存处理，得到保存失败信息作为所述保存反馈信息；
在不需要进行数据拦截的情况下，将所述待存储数据输入至存储模块，根据所述启动配置调用除所述实时数据处理分析模块以外的所述大模型交互模块，得到所述保存反馈信息和所述存储辅助信息。
本发明提供的基于大模型的数据存储装置，通过响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。本发明通过存储辅助子模块与大模型子模块交互进行待存储数据的处理，提高存储数据的组织和管理效率，实现效率更高、准确率更高、泛化能力强的数据存储。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于大模型的数据存储方法，该方法包括：响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于大模型的数据存储方法，该方法包括：响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于大模型的数据存储方法，该方法包括：响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于大模型的数据存储方法，其特征在于，包括：
响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；
将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；
其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息；
所述存储辅助子模块包括实时数据处理分析模块、自动标注和分类模块、智能搜索和推荐模块、违规内容识别和预警模块、数据摘要和摘录模块；
其中，所述实时数据处理分析模块用于与所述大模型子模块进行交互，实时对所述待存储数据进行分析，根据分析结果得到所述存储辅助信息；
所述自动标注和分类模块用于与所述大模型子模块进行交互，对所述待存储数据进行标注和分类，根据所述标注和分类的结果得到所述存储辅助信息；
所述智能搜索和推荐模块用于与所述大模型子模块进行交互，根据所述待存储数据到所述数据库进行搜索，根据所述搜索的结果得到所述存储辅助信息；和/或
根据预先构建的用户画像，利用所述数据库中的信息进行推荐，根据所述推荐的结果得到所述存储辅助信息；
所述违规内容识别和预警模块用于与所述大模型子模块进行交互，对所述待存储数据进行违规内容检测，在存在违规内容的情况下，根据所述检测的结果生成预警信息，根据所述预警信息得到所述存储辅助信息；
所述数据摘要和摘录模块用于与所述大模型子模块进行交互，从所述待存储数据中提取核心信息和重要内容，生成数据摘要和/或数据摘录；根据所述数据摘要和/或所述数据摘录得到所述存储辅助信息。
2.根据权利要求1所述的基于大模型的数据存储方法，其特征在于，所述启动配置包括所述存储模块和所述大模型交互模块的第一启动顺序、所述大模型交互模块中所述存储辅助子模块的启动情况和第二启动顺序。
3.根据权利要求2所述的基于大模型的数据存储方法，其特征在于，在所述第一启动顺序为异步启动的情况下，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述存储模块中，选择存储单元对所述待存储数据进行保存，得到所述保存反馈信息；
根据所述启动配置调用所述大模型交互模块，基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息。
4.根据权利要求2所述的基于大模型的数据存储方法，其特征在于，在所述第一启动顺序为同步启动的情况下，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述存储模块，根据所述启动配置调用所述存储辅助子模块，基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息；
基于所述存储模块选择存储单元对所述待存储数据进行保存，得到所述保存反馈信息。
5.根据权利要求1所述的基于大模型的数据存储方法，其特征在于，所述将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库，之后还包括：
响应于终端查询数据的请求，将待查询数据输入至所述存储模块；
根据所述待查询数据得到第二文件元数据信息；
根据所述第二文件元数据信息，基于所述数据库进行数据查询；
在数据存在的情况下，根据所述第二文件元数据信息读取数据，并将所述数据输入至所述实时数据处理分析模块，对所述数据进行分析，得到数据分析结果，将所述数据分析结果和所述数据发送给所述终端；
在数据不存在的情况下，生成数据不存在反馈信息，将所述数据不存在反馈信息发送给所述终端。
6.根据权利要求2所述的基于大模型的数据存储方法，其特征在于，在所述启动情况包括所述实时数据处理分析模块为启动状态的情况下，所述响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息，具体包括：
响应于终端保存数据的所述请求，将所述待存储数据输入至所述实时数据处理分析模块，基于所述实时数据处理分析模块与所述大模型子模块进行交互，实时对所述待存储数据进行分析，得到分析结果；
根据所述分析结果进行数据拦截检测；
在需要进行数据拦截的情况下，中断所述待存储数据的保存处理，得到保存失败信息作为所述保存反馈信息；
在不需要进行数据拦截的情况下，将所述待存储数据输入至存储模块，根据所述启动配置调用除所述实时数据处理分析模块以外的所述大模型交互模块，得到所述保存反馈信息和所述存储辅助信息。
7.一种基于大模型的数据存储装置，其特征在于，包括：
存储单元，用于响应于终端保存数据的请求，将待存储数据输入至存储模块，根据预先设置的启动配置调用大模型交互模块，得到保存反馈信息和存储辅助信息；
反馈单元，用于将所述保存反馈信息发送给所述终端，将所述存储辅助信息和所述待存储数据的第一文件元数据信息保存至数据库；
其中，所述存储模块用于将所述待存储数据进行保存，得到所述保存反馈信息；所述大模型交互模块包括多个存储辅助子模块和一个大模型子模块，所述大模型交互模块用于基于所述存储辅助子模块与所述大模型子模块进行交互，对所述待存储数据进行处理，得到所述存储辅助信息；
所述存储辅助子模块包括实时数据处理分析模块、自动标注和分类模块、智能搜索和推荐模块、违规内容识别和预警模块、数据摘要和摘录模块；
其中，所述实时数据处理分析模块用于与所述大模型子模块进行交互，实时对所述待存储数据进行分析，根据分析结果得到所述存储辅助信息；
所述自动标注和分类模块用于与所述大模型子模块进行交互，对所述待存储数据进行标注和分类，根据所述标注和分类的结果得到所述存储辅助信息；
所述智能搜索和推荐模块用于与所述大模型子模块进行交互，根据所述待存储数据到所述数据库进行搜索，根据所述搜索的结果得到所述存储辅助信息；和/或
根据预先构建的用户画像，利用所述数据库中的信息进行推荐，根据所述推荐的结果得到所述存储辅助信息；
所述违规内容识别和预警模块用于与所述大模型子模块进行交互，对所述待存储数据进行违规内容检测，在存在违规内容的情况下，根据所述检测的结果生成预警信息，根据所述预警信息得到所述存储辅助信息；
所述数据摘要和摘录模块用于与所述大模型子模块进行交互，从所述待存储数据中提取核心信息和重要内容，生成数据摘要和/或数据摘录；根据所述数据摘要和/或所述数据摘录得到所述存储辅助信息。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于大模型的数据存储方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于大模型的数据存储方法。
CN202311708908.3A 2023-12-13 2023-12-13 基于大模型的数据存储方法和装置 Active CN117389998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311708908.3A CN117389998B (zh) 2023-12-13 2023-12-13 基于大模型的数据存储方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311708908.3A CN117389998B (zh) 2023-12-13 2023-12-13 基于大模型的数据存储方法和装置

Publications (2)

Publication Number Publication Date
CN117389998A CN117389998A (zh) 2024-01-12
CN117389998B true CN117389998B (zh) 2024-03-12

Family

ID=89463504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311708908.3A Active CN117389998B (zh) 2023-12-13 2023-12-13 基于大模型的数据存储方法和装置

Country Status (1)

Country Link
CN (1) CN117389998B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114625702A (zh) * 2020-12-11 2022-06-14 北京金山云网络技术有限公司 数据的存储方法、装置、系统及电子设备
CN115878576A (zh) * 2022-12-27 2023-03-31 湖北天融信网络安全技术有限公司 一种数据存储的处理方法及装置
CN116974465A (zh) * 2023-05-25 2023-10-31 深圳市腾讯计算机系统有限公司 数据加载方法、装置、设备及计算机存储介质
CN116991990A (zh) * 2023-07-04 2023-11-03 上海识装信息科技有限公司 基于aigc的程序开发辅助方法、存储介质及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007459B2 (en) * 2016-10-20 2018-06-26 Pure Storage, Inc. Performance tuning in a storage system that includes one or more storage devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114625702A (zh) * 2020-12-11 2022-06-14 北京金山云网络技术有限公司 数据的存储方法、装置、系统及电子设备
CN115878576A (zh) * 2022-12-27 2023-03-31 湖北天融信网络安全技术有限公司 一种数据存储的处理方法及装置
CN116974465A (zh) * 2023-05-25 2023-10-31 深圳市腾讯计算机系统有限公司 数据加载方法、装置、设备及计算机存储介质
CN116991990A (zh) * 2023-07-04 2023-11-03 上海识装信息科技有限公司 基于aigc的程序开发辅助方法、存储介质及设备

Also Published As

Publication number Publication date
CN117389998A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
US11663254B2 (en) System and engine for seeded clustering of news events
Tanwar et al. Unravelling unstructured data: A wealth of information in big data
CN111460252B (zh) 一种基于网络舆情分析的自动化搜索引擎方法及系统
CN109271514B (zh) 短文本分类模型的生成方法、分类方法、装置及存储介质
CN101751458A (zh) 一种网络舆情监控系统及方法
WO2009108576A2 (en) Prioritizing media assets for publication
CN111914087B (zh) 一种舆情分析方法
US9858332B1 (en) Extracting and leveraging knowledge from unstructured data
US20220358379A1 (en) System, apparatus and method of managing knowledge generated from technical data
Al-Najran et al. A requirements specification framework for big data collection and capture
Aziz et al. Sentiment analysis and topic modelling for identification of government service satisfaction
CN114764463A (zh) 基于事件传播特征的互联网舆情事件自动预警系统
CN117389998B (zh) 基于大模型的数据存储方法和装置
CN111241077A (zh) 基于互联网数据的金融欺诈行为的识别方法
EP4002152A1 (en) Data tagging and synchronisation system
Cuzzocrea et al. An innovative user-attentive framework for supporting real-time detection and mining of streaming microblog posts
CN114491277A (zh) 基于数据清洗的知识标签赋予与应用方法
Nguyen et al. Pagerank-based approach on ranking social events: a case study with flickr
Qazi et al. Emerging trends in reducing semantic gap towards multimedia access: A comprehensive survey
Ferdous et al. Assortment of bangladeshi e-commerce site reviews using machine learning approaches
Tsai et al. An intelligent system for sentence retrieval and novelty mining
Neves et al. Empirical analysis of ranking models for an adaptable dataset search
JIn et al. Research on User Model Construction for Individualized Knowledge Recommendation
Tan et al. Constructing and Interpreting Causal Knowledge Graphs from News
Dong et al. NewsFinder: Automating an Artificial Intelligence News Service

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant