CN116821200A - 一种人工智能云数据可视化分析系统及其分析方法 - Google Patents

一种人工智能云数据可视化分析系统及其分析方法 Download PDF

Info

Publication number
CN116821200A
CN116821200A CN202310810330.6A CN202310810330A CN116821200A CN 116821200 A CN116821200 A CN 116821200A CN 202310810330 A CN202310810330 A CN 202310810330A CN 116821200 A CN116821200 A CN 116821200A
Authority
CN
China
Prior art keywords
data
unit
module
artificial intelligence
communication connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310810330.6A
Other languages
English (en)
Inventor
唐亚汇
郭荣
张紫瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Big Brother Shanghai Cloud Data Service Co ltd
Original Assignee
Big Brother Shanghai Cloud Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Big Brother Shanghai Cloud Data Service Co ltd filed Critical Big Brother Shanghai Cloud Data Service Co ltd
Priority to CN202310810330.6A priority Critical patent/CN116821200A/zh
Publication of CN116821200A publication Critical patent/CN116821200A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种人工智能云数据可视化分析系统及其分析方法,涉及人工智能技术领域,包括人工比对模块、数据处理模块、数据标注模块、数据模型生成模块、可视化生成模块、云数据存储模块、数据分析模块与数据爬虫模块。本发明在进行使用时,可以通过人工智能比对模块对现有的数据模型与截取的数据进行比对,挑选出最相近的数据模型,再将数据与与其相近的数据模型传输至数据模型生成模块内进行新的数据模型的生成,由于其是在相近的数据模型上修改而来,所以大大减小了从截取数据到产出数据模型的时间,进而使得进行数据可视化分析的速度更快,节省了大量的计算力。

Description

一种人工智能云数据可视化分析系统及其分析方法
技术领域
本发明涉及人工智能技术领域,具体涉及一种人工智能云数据可视化分析系统及其分析方法。
背景技术
人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等,人工智能从诞生以来,理论和技术日益成熟,应用领域也不断扩大,可以设想,未来人工智能带来的科技产品,将会是人类智慧的“容器”,人工智能可以对人的意识、思维的信息过程的模拟,人工智能不是人的智能,但能像人那样思考、也可能超过人的智能,人工智能是一门极富挑战性的科学,从事这项工作的人必须懂得计算机知识,心理学和哲学,人工智能是包括十分广泛的科学,它由不同的领域组成,如机器学习,计算机视觉等等,总的说来,人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。
但现在的人工智能云数据可视化分析系统在进行使用时,对不熟悉的数据往往需要大量的时间通过人工智能制作出相应的数据模型,大大增长了从截取数据到产出数据模型进行可视化分析的时间,浪费了大量的计算机算力。
发明内容
本发明所要解决的技术问题在于:但现在的人工智能云数据可视化分析系统在进行使用时,对不熟悉的数据分析慢的问题,提供了一种人工智能云数据可视化分析系统及其分析方法。
本发明是通过以下技术方案解决上述技术问题的,本发明为一种人工智能云数据可视化分析系统,包括人工比对模块、数据处理模块、数据标注模块、数据模型生成模块、可视化生成模块、云数据存储模块、数据分析模块与数据爬虫模块;
所述数据处理模块与数据分析模块通信连接,所述数据处理模块与数据模型生成模块通信连接,所述数据分析模块与数据标注模块通信连接,所述数据分析模块与数据爬虫模块通信连接,所述数据分析模块与云数据存储模块通信连接,所述云数据存储模块与可视化生成模块通信连接,所述云数据存储模块与人工智能比对模块通信连接,所述人工智能比对模块与数据模型生成模块通信连接,所述人工只能那个比对模块与数据标注模块通信连接。
所述人工智能比对模块包括人工智能数据分发单元、若干人工智能数据比对单元、人工智能数据调用单元与人工智能数据验算单元;
所述人工智能数据分发单元与人工智能数据比对单元通信连接,所述人工智能数据比对单元与人工智能数据调用单元通信连接,所述人工智能数据调用单元与人工智能数据验算单元通信连接,所述人工智能数据验算单元与人工智能数据分发单元通信连接,所述人工智能数据调用单元与人工智能数据分发单元通信连接。
所述云数据存储模块包括若干储存单元、闪存单元、数据写入单元与数据调用单元;
所述闪存单元与数据调用单元通信连接,所述闪存单元与数据写入单元通信连接,所述闪存单元与储存单元均为通信连接。
所述数据模型生成模块包括数据模型生成单元、数据分析虚拟机单元、数据模型验算单元与若干数据模型试运行单元;
所述数据模型生成单元与数据分析虚拟机单元通信连接,所述数据分析虚拟机单元与数据模型验算单元通信连接,所述数据分析虚拟机单元与数据模型试运行单元通信连接,所述数据模型试运行单元与数据模型验算单元通信连接。
所述可视化生成模块包括人工智能语言转换单元、可视化信息生成模型单元、科室化信息填充单元、人工智能检验单元与科室化信息提取单元;
所述人工智能语言转换单元与可视化信息生成模块单元通信连接,所述可视化信息生成模块单元与可视化信息提取单元通信连接,所述可视化信息生成模板单元与可视化信息填充单元通信连接,所述可视化信息填充单元与人工智能检验单元通信连接。
所述数据处理模块包括数据信息处理调用分配单元、若干数据信息处理单元、数据模型调用单元与数据信息杀毒单元;
所述数据信息处理调用分配单元与数据信息处理单元通信连接,所述数据信息处理单元与数据模型调用单元通信连接,所述数据模型调用单元与数据信息杀毒单元通信连接。
所述数据爬虫模块包括数据关键词定位单元、数据爬虫单元、数据整理单元与数据收发单元;
所述数据关键词定位单元与数据爬虫单元通信连接,所述数据爬虫单元与数据整理单元通信连接,所述数据整理单元与数据收发单元通信连接。
所述数据分析模块包括数据分析单元、有效数据筛选单元、有效数据传输单元与无效数据标记打回单元;
所述数据分析单元与有效数据筛选单元通信连接,所述有效数据筛选单;与有效数据输送单元通信连接,所述有效数据输送单元与无效数据标记打回单元;
所述数据标注模块包括数据信息单元、数据特点记录单元、数据信息反爬虫生成单元、数据文件名录录入单元与数据文件名录比对单元;
所述数据信息单元与数据特点记录单元通信连接,所述数据信息单元与数据信息反爬虫生成单元通信连接,所述数据信息反爬虫生成单元与数据文件名录录入单元通信连接,所述数据文件名录录入单元与数据文件名录比对单元通信连接。
本发明还包括一种人工智能云数据可视化分析系统的分析方法,其分析方法为:
S1、通过数据爬虫模块对云数据内与分析系统相关的文件截取下来,通过数据整理单元进行统一整理,再传输至数据分析模块内,通过其内部的有效数据筛选单元对文件进行第一次的清洗,并将第一次清洗掉的无效的数据通过无效数据标记打回单元打回至云数据内;
S2、再将进行了一次清洗的数据传输至数据标注模块内,通过数据标注模块内的数据特点记录单元分析此次需要的数据,将特点进行存储并传输至数据信息单元内;
S3、再通过数据信息反爬虫生成单元对该种数据进行拦截,并将拦截的数据的文件名录入该特点不需要的名录中,防止数据爬虫模块对该数据进行再一次的截取,从而完成对数据的第二次清洗;
S4、在第二次数据的清洗完成后,将数据传输至人工智能比对模块内,人工智能比对模块再从云数据存储模块内对现有的该特点的数据进行调用,再对两组数据进行比对,如果两组数据的重复高,则将该数据输入数据模型生成模块内进行数据模型的生成,数据模型的生成以从云数据存储模块内提取的数据配套的数据模型为基础进行生成;
S5、在数据模型生成后,将数据模型传输至处理模块内,进而控制数据爬虫模块只截取符合该数据模型的数据,最后将截取的大量数据通过数据处理模块进行处理;
S6、在处理完成后,将数据传输至可视化生成模块内,通过人工智能语言转化单元将数据转化为单一语言,并通过可视化信息生成模块单元对数据进行进行可视化生成。
优选的,清洗数据的相关性判断条件为:
S11、将多组数据拆分成多份数,提取出每段数据的首个字符,将字符设为X;
那么可得:
S12、将拆分呈多份的数据导入上述式中,可以得到一连串的数字,再将数据传输至人工智能比对模块内进行比对,选出最相近的几组数据,将其他数据进行清洗;
S13、在对数据进行比对时,将比对的响应时间算入数据的相关性判断,那么响应时间的方程式为:
式中,t为时间,0<t≤Pi,Pi为时间点;
终止条件:
t(l+1)=t(l)且t(l)≤Pi,可调度;
t(l)>Pi,不可调度;
通过上述工程式,可以计算出相应数据之间的比对相应时间,将数据按照相应时间分为两组,将比对响应时间长的一组数据清洗掉,留下相应时间段的一组数据进行数据模型的生成工作。
本发明相比现有技术具有以下优点:
1、本发明在进行使用时,可以通过人工智能比对模块对现有的数据模型与截取的数据进行比对,挑选出最相近的数据模型,再将数据与与其相近的数据模型传输至数据模型生成模块内进行新的数据模型的生成,由于其是在相近的数据模型上修改而来,所以大大减小了从截取数据到产出数据模型的时间,进而使得进行数据可视化分析的速度更快,节省了大量的计算力;
2、本发明在进行数据的截取后,可以对数据进行两次清洗,洗去不必要的数据及相关度不大的数据,数据被截取后传输至数据分析模块内,通过其内部的有效数据筛选单元对文件进行第一次的清洗,并将第一次清洗掉的无效的数据通过无效数据标记打回单元打回至云数据内,再将进行了一次清洗的数据传输至数据标注模块内,通过数据标注模块内的数据特点记录单元分析此次需要的数据,将特点进行存储并传输至数据信息单元内,通过数据信息反爬虫生成单元对该种数据进行拦截,并将拦截的数据的文件名录入该特点不需要的名录中,防止数据爬虫模块对该数据进行再一次的截取,从而完成对数据的第二次清洗,进行了两次清洗后的数据,可以保证数据模型的生成更为流畅,生成时间更短,降低了垃圾信息对生成时间的影响。
附图说明
图1是本发明的一种人工智能云数据可视化分析系统及其分析方法的系统框图。
图2是本发明的一种人工智能云数据可视化分析系统及其分析方法的人工智能比对模块的系统框图。
图3是本发明的一种人工智能云数据可视化分析系统及其分析方法的云数据存储模块的系统框图。
图4是本发明的一种人工智能云数据可视化分析系统及其分析方法的数据模型生成模块的系统框图。
图5是本发明的一种人工智能云数据可视化分析系统及其分析方法的可视化生成模块的系统框图。
图6是本发明的一种人工智能云数据可视化分析系统及其分析方法的数据处理模块的系统框图。
图7是本发明的一种人工智能云数据可视化分析系统及其分析方法的数据爬虫模块的系统框图。
图8是本发明的一种人工智能云数据可视化分析系统及其分析方法的数据分析模块的系统框图。
图9是本发明的一种人工智能云数据可视化分析系统及其分析方法的数据标注模块的系统框图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1-9所示,本实施例提供一种技术方案:一种人工智能云数据可视化分析系统,包括人工比对模块、数据处理模块、数据标注模块、数据模型生成模块、可视化生成模块、云数据存储模块、数据分析模块与数据爬虫模块;
数据处理模块与数据分析模块通信连接,数据处理模块与数据模型生成模块通信连接,数据分析模块与数据标注模块通信连接,数据分析模块与数据爬虫模块通信连接,数据分析模块与云数据存储模块通信连接,云数据存储模块与可视化生成模块通信连接,云数据存储模块与人工智能比对模块通信连接,人工智能比对模块与数据模型生成模块通信连接,人工只能那个比对模块与数据标注模块通信连接。
人工智能比对模块包括人工智能数据分发单元、若干人工智能数据比对单元、人工智能数据调用单元与人工智能数据验算单元;
人工智能数据分发单元与人工智能数据比对单元通信连接,人工智能数据比对单元与人工智能数据调用单元通信连接,人工智能数据调用单元与人工智能数据验算单元通信连接,人工智能数据验算单元与人工智能数据分发单元通信连接,人工智能数据调用单元与人工智能数据分发单元通信连接。
云数据存储模块包括若干储存单元、闪存单元、数据写入单元与数据调用单元;
闪存单元与数据调用单元通信连接,闪存单元与数据写入单元通信连接,闪存单元与储存单元均为通信连接。
数据模型生成模块包括数据模型生成单元、数据分析虚拟机单元、数据模型验算单元与若干数据模型试运行单元;
数据模型生成单元与数据分析虚拟机单元通信连接,数据分析虚拟机单元与数据模型验算单元通信连接,数据分析虚拟机单元与数据模型试运行单元通信连接,数据模型试运行单元与数据模型验算单元通信连接。
可视化生成模块包括人工智能语言转换单元、可视化信息生成模型单元、科室化信息填充单元、人工智能检验单元与科室化信息提取单元;
人工智能语言转换单元与可视化信息生成模块单元通信连接,可视化信息生成模块单元与可视化信息提取单元通信连接,可视化信息生成模板单元与可视化信息填充单元通信连接,可视化信息填充单元与人工智能检验单元通信连接。
数据处理模块包括数据信息处理调用分配单元、若干数据信息处理单元、数据模型调用单元与数据信息杀毒单元;
数据信息处理调用分配单元与数据信息处理单元通信连接,数据信息处理单元与数据模型调用单元通信连接,数据模型调用单元与数据信息杀毒单元通信连接。
数据爬虫模块包括数据关键词定位单元、数据爬虫单元、数据整理单元与数据收发单元;
数据关键词定位单元与数据爬虫单元通信连接,数据爬虫单元与数据整理单元通信连接,数据整理单元与数据收发单元通信连接。
数据分析模块包括数据分析单元、有效数据筛选单元、有效数据传输单元与无效数据标记打回单元;
数据分析单元与有效数据筛选单元通信连接,有效数据筛选单;与有效数据输送单元通信连接,有效数据输送单元与无效数据标记打回单元;
数据标注模块包括数据信息单元、数据特点记录单元、数据信息反爬虫生成单元、数据文件名录录入单元与数据文件名录比对单元;
数据信息单元与数据特点记录单元通信连接,数据信息单元与数据信息反爬虫生成单元通信连接,数据信息反爬虫生成单元与数据文件名录录入单元通信连接,数据文件名录录入单元与数据文件名录比对单元通信连接。
一种人工智能云数据可视化分析系统的分析方法,其分析方法为:
S1、通过数据爬虫模块对云数据内与分析系统相关的文件截取下来,通过数据整理单元进行统一整理,再传输至数据分析模块内,通过其内部的有效数据筛选单元对文件进行第一次的清洗,并将第一次清洗掉的无效的数据通过无效数据标记打回单元打回至云数据内;
S2、再将进行了一次清洗的数据传输至数据标注模块内,通过数据标注模块内的数据特点记录单元分析此次需要的数据,将特点进行存储并传输至数据信息单元内;
S3、再通过数据信息反爬虫生成单元对该种数据进行拦截,并将拦截的数据的文件名录入该特点不需要的名录中,防止数据爬虫模块对该数据进行再一次的截取,从而完成对数据的第二次清洗;
S4、在第二次数据的清洗完成后,将数据传输至人工智能比对模块内,人工智能比对模块再从云数据存储模块内对现有的该特点的数据进行调用,再对两组数据进行比对,如果两组数据的重复高,则将该数据输入数据模型生成模块内进行数据模型的生成,数据模型的生成以从云数据存储模块内提取的数据配套的数据模型为基础进行生成;
S5、在数据模型生成后,将数据模型传输至处理模块内,进而控制数据爬虫模块只截取符合该数据模型的数据,最后将截取的大量数据通过数据处理模块进行处理;
S6、在处理完成后,将数据传输至可视化生成模块内,通过人工智能语言转化单元将数据转化为单一语言,并通过可视化信息生成模块单元对数据进行进行可视化生成,还可以通过可视化信息提取单元对人工智能比对模型得到的结构进行提取收集,方便可视化信息填充单元与人工智能检验进行工作,。
清洗数据的相关性判断条件为:
S11、将多组数据拆分成多份数,提取出每段数据的首个字符,将字符设为X;
那么可得:
S12、将拆分呈多份的数据导入上述式中,可以得到一连串的数字,再将数据传输至人工智能比对模块内进行比对,选出最相近的几组数据,将其他数据进行清洗;
S13、在对数据进行比对时,将比对的响应时间算入数据的相关性判断,那么响应时间的方程式为:
式中,t为时间,0<t≤Pi,Pi为时间点;
终止条件:
t(l+1)=t(l)且t(l)≤Pi,可调度;
t(l)>Pi,不可调度;
通过上述工程式,可以计算出相应数据之间的比对相应时间,将数据按照相应时间分为两组,将比对响应时间长的一组数据清洗掉,留下相应时间段的一组数据进行数据模型的生成工作。
综上,本发明在进行使用时,可以通过人工智能比对模块对现有的数据模型与截取的数据进行比对,挑选出最相近的数据模型,再将数据与与其相近的数据模型传输至数据模型生成模块内进行新的数据模型的生成,由于其是在相近的数据模型上修改而来,所以大大减小了从截取数据到产出数据模型的时间,进而使得进行数据可视化分析的速度更快,节省了大量的计算力,本发明在进行数据的截取后,可以对数据进行两次清洗,将多组数据拆分成多份数,将每组数据提取出平均值之后进行平均值的比对,在对数据进行比对时,将比对的响应时间算入数据的相关性判断,将数据按照相应时间分为两组,将比对响应时间长的一组数据清洗掉,留下相应时间段的一组数据进行数据模型的生成工作,洗去不必要的数据及相关度不大的数据,数据被截取后传输至数据分析模块内,通过其内部的有效数据筛选单元对文件进行第一次的清洗,并将第一次清洗掉的无效的数据通过无效数据标记打回单元打回至云数据内,再将进行了一次清洗的数据传输至数据标注模块内,通过数据标注模块内的数据特点记录单元分析此次需要的数据,将特点进行存储并传输至数据信息单元内,通过数据信息反爬虫生成单元对该种数据进行拦截,并将拦截的数据的文件名录入该特点不需要的名录中,防止数据爬虫模块对该数据进行再一次的截取,从而完成对数据的第二次清洗,进行了两次清洗后的数据,可以保证数据模型的生成更为流畅,生成时间更短,降低了垃圾信息对生成时间的影响。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种人工智能云数据可视化分析系统,其特征在于,包括人工比对模块、数据处理模块、数据标注模块、数据模型生成模块、可视化生成模块、云数据存储模块、数据分析模块与数据爬虫模块;
所述数据处理模块与数据分析模块通信连接,所述数据处理模块与数据模型生成模块通信连接,所述数据分析模块与数据标注模块通信连接,所述数据分析模块与数据爬虫模块通信连接,所述数据分析模块与云数据存储模块通信连接,所述云数据存储模块与可视化生成模块通信连接,所述云数据存储模块与人工智能比对模块通信连接,所述人工智能比对模块与数据模型生成模块通信连接,所述人工只能那个比对模块与数据标注模块通信连接。
2.根据权利要求1所述的一种人工智能云数据可视化分析系统,其特征在于:所述人工智能比对模块包括人工智能数据分发单元、若干人工智能数据比对单元、人工智能数据调用单元与人工智能数据验算单元;
所述人工智能数据分发单元与人工智能数据比对单元通信连接,所述人工智能数据比对单元与人工智能数据调用单元通信连接,所述人工智能数据调用单元与人工智能数据验算单元通信连接,所述人工智能数据验算单元与人工智能数据分发单元通信连接,所述人工智能数据调用单元与人工智能数据分发单元通信连接。
3.根据权利要求1所述的一种人工智能云数据可视化分析系统,其特征在于:所述云数据存储模块包括若干储存单元、闪存单元、数据写入单元与数据调用单元;
所述闪存单元与数据调用单元通信连接,所述闪存单元与数据写入单元通信连接,所述闪存单元与储存单元均为通信连接。
4.根据权利要求1所述的一种人工智能云数据可视化分析系统,其特征在于:所述数据模型生成模块包括数据模型生成单元、数据分析虚拟机单元、数据模型验算单元与若干数据模型试运行单元;
所述数据模型生成单元与数据分析虚拟机单元通信连接,所述数据分析虚拟机单元与数据模型验算单元通信连接,所述数据分析虚拟机单元与数据模型试运行单元通信连接,所述数据模型试运行单元与数据模型验算单元通信连接。
5.根据权利要求1所述的一种人工智能云数据可视化分析系统,其特征在于:所述可视化生成模块包括人工智能语言转换单元、可视化信息生成模型单元、科室化信息填充单元、人工智能检验单元与科室化信息提取单元;
所述人工智能语言转换单元与可视化信息生成模块单元通信连接,所述可视化信息生成模块单元与可视化信息提取单元通信连接,所述可视化信息生成模板单元与可视化信息填充单元通信连接,所述可视化信息填充单元与人工智能检验单元通信连接。
6.根据权利要求1所述的一种人工智能云数据可视化分析系统,其特征在于:所述数据处理模块包括数据信息处理调用分配单元、若干数据信息处理单元、数据模型调用单元与数据信息杀毒单元;
所述数据信息处理调用分配单元与数据信息处理单元通信连接,所述数据信息处理单元与数据模型调用单元通信连接,所述数据模型调用单元与数据信息杀毒单元通信连接。
7.根据权利要求6所述的一种人工智能云数据可视化分析系统,其特征在于:所述数据爬虫模块包括数据关键词定位单元、数据爬虫单元、数据整理单元与数据收发单元;
所述数据关键词定位单元与数据爬虫单元通信连接,所述数据爬虫单元与数据整理单元通信连接,所述数据整理单元与数据收发单元通信连接。
8.根据权利要求6所述的一种人工智能云数据可视化分析系统,其特征在于:所述数据分析模块包括数据分析单元、有效数据筛选单元、有效数据传输单元与无效数据标记打回单元;
所述数据分析单元与有效数据筛选单元通信连接,所述有效数据筛选单;与有效数据输送单元通信连接,所述有效数据输送单元与无效数据标记打回单元;
所述数据标注模块包括数据信息单元、数据特点记录单元、数据信息反爬虫生成单元、数据文件名录录入单元与数据文件名录比对单元;
所述数据信息单元与数据特点记录单元通信连接,所述数据信息单元与数据信息反爬虫生成单元通信连接,所述数据信息反爬虫生成单元与数据文件名录录入单元通信连接,所述数据文件名录录入单元与数据文件名录比对单元通信连接。
9.根据权利要求1所述的一种人工智能云数据可视化分析系统的分析方法,其特征在于:其分析方法为:
S1、通过数据爬虫模块对云数据内与分析系统相关的文件截取下来,通过数据整理单元进行统一整理,再传输至数据分析模块内,通过其内部的有效数据筛选单元对文件进行第一次的清洗,并将第一次清洗掉的无效的数据通过无效数据标记打回单元打回至云数据内;
S2、再将进行了一次清洗的数据传输至数据标注模块内,通过数据标注模块内的数据特点记录单元分析此次需要的数据,将特点进行存储并传输至数据信息单元内;
S3、再通过数据信息反爬虫生成单元对该种数据进行拦截,并将拦截的数据的文件名录入该特点不需要的名录中,防止数据爬虫模块对该数据进行再一次的截取,从而完成对数据的第二次清洗;
S4、在第二次数据的清洗完成后,将数据传输至人工智能比对模块内,人工智能比对模块再从云数据存储模块内对现有的该特点的数据进行调用,再对两组数据进行比对,如果两组数据的重复高,则将该数据输入数据模型生成模块内进行数据模型的生成,数据模型的生成以从云数据存储模块内提取的数据配套的数据模型为基础进行生成;
S5、在数据模型生成后,将数据模型传输至处理模块内,进而控制数据爬虫模块只截取符合该数据模型的数据,最后将截取的大量数据通过数据处理模块进行处理;
S6、在处理完成后,将数据传输至可视化生成模块内,通过人工智能语言转化单元将数据转化为单一语言,并通过可视化信息生成模块单元对数据进行进行可视化生成。
10.根据权利要求9所述的一种人工智能云数据可视化分析系统的分析方法,其特征在于:清洗数据的相关性判断条件为:
S11、将多组数据拆分成多份数,提取出每段数据的首个字符,将字符设为X;
那么可得:
S12、将拆分呈多份的数据导入上述式中,可以得到一连串的数字,再将数据传输至人工智能比对模块内进行比对,选出最相近的几组数据,将其他数据进行清洗;
S13、在对数据进行比对时,将比对的响应时间算入数据的相关性判断,那么响应时间的方程式为:
式中,t为时间,0<t≤Pi,Pi为时间点;
终止条件:
t(l+1)=t(l)且t(l)≤Pi,可调度;
t(l)>Pi,不可调度;
通过上述工程式,可以计算出相应数据之间的比对相应时间,将数据按照相应时间分为两组,将比对响应时间长的一组数据清洗掉,留下相应时间段的一组数据进行数据模型的生成工作。
CN202310810330.6A 2023-07-04 2023-07-04 一种人工智能云数据可视化分析系统及其分析方法 Pending CN116821200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310810330.6A CN116821200A (zh) 2023-07-04 2023-07-04 一种人工智能云数据可视化分析系统及其分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310810330.6A CN116821200A (zh) 2023-07-04 2023-07-04 一种人工智能云数据可视化分析系统及其分析方法

Publications (1)

Publication Number Publication Date
CN116821200A true CN116821200A (zh) 2023-09-29

Family

ID=88121829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310810330.6A Pending CN116821200A (zh) 2023-07-04 2023-07-04 一种人工智能云数据可视化分析系统及其分析方法

Country Status (1)

Country Link
CN (1) CN116821200A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161257A1 (en) * 2013-12-11 2015-06-11 Ebay Inc. Web crawler optimization system
CN104820680A (zh) * 2015-04-17 2015-08-05 南京大学 一种通用型分布式爬虫调度系统
CN104966172A (zh) * 2015-07-21 2015-10-07 上海融甸信息科技有限公司 一种用于企业经营数据分析的大数据可视化分析处理系统
CN108170761A (zh) * 2017-12-23 2018-06-15 合肥弹刚信息科技有限公司 一种基于海量文献信息的可视化分析系统及其方法
CN109522359A (zh) * 2018-11-02 2019-03-26 大连瀚闻资讯有限公司 基于大数据的可视化产业分析方法
CN109948009A (zh) * 2019-03-12 2019-06-28 福建奇点时空数字科技有限公司 一种数据可视化引擎系统
CN111026741A (zh) * 2019-12-04 2020-04-17 国网天津市电力公司电力科学研究院 基于时间序列相似性的数据清洗方法及装置
CN111339375A (zh) * 2020-03-19 2020-06-26 中国海洋石油集团有限公司 一种通用的大数据模型配置和分析方法
CN112422707A (zh) * 2020-10-22 2021-02-26 北京安博通科技股份有限公司 域名数据挖掘方法、装置及Redis服务器
CN112559828A (zh) * 2020-07-08 2021-03-26 北京德风新征程科技有限公司 一种大数据可视化分析和展示的组件式系统和交互方法
CN112667873A (zh) * 2020-12-16 2021-04-16 北京华如慧云数据科技有限公司 一种适用于多数网站通用采集数据的爬虫系统及方法
CN113919927A (zh) * 2021-10-13 2022-01-11 集美大学 一种基于数据处理的审计平台
CN114936208A (zh) * 2022-07-26 2022-08-23 广州天维信息技术股份有限公司 一种基于数据清洗的信息分析系统
CN115496440A (zh) * 2022-09-15 2022-12-20 广东数鼎科技有限公司 一种二手车库存量的确定方法及装置
CN115982347A (zh) * 2021-10-14 2023-04-18 厦门快商通科技股份有限公司 一种标注数据质检方法、终端设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161257A1 (en) * 2013-12-11 2015-06-11 Ebay Inc. Web crawler optimization system
CN104820680A (zh) * 2015-04-17 2015-08-05 南京大学 一种通用型分布式爬虫调度系统
CN104966172A (zh) * 2015-07-21 2015-10-07 上海融甸信息科技有限公司 一种用于企业经营数据分析的大数据可视化分析处理系统
CN108170761A (zh) * 2017-12-23 2018-06-15 合肥弹刚信息科技有限公司 一种基于海量文献信息的可视化分析系统及其方法
CN109522359A (zh) * 2018-11-02 2019-03-26 大连瀚闻资讯有限公司 基于大数据的可视化产业分析方法
CN109948009A (zh) * 2019-03-12 2019-06-28 福建奇点时空数字科技有限公司 一种数据可视化引擎系统
CN111026741A (zh) * 2019-12-04 2020-04-17 国网天津市电力公司电力科学研究院 基于时间序列相似性的数据清洗方法及装置
CN111339375A (zh) * 2020-03-19 2020-06-26 中国海洋石油集团有限公司 一种通用的大数据模型配置和分析方法
CN112559828A (zh) * 2020-07-08 2021-03-26 北京德风新征程科技有限公司 一种大数据可视化分析和展示的组件式系统和交互方法
CN112422707A (zh) * 2020-10-22 2021-02-26 北京安博通科技股份有限公司 域名数据挖掘方法、装置及Redis服务器
CN112667873A (zh) * 2020-12-16 2021-04-16 北京华如慧云数据科技有限公司 一种适用于多数网站通用采集数据的爬虫系统及方法
CN113919927A (zh) * 2021-10-13 2022-01-11 集美大学 一种基于数据处理的审计平台
CN115982347A (zh) * 2021-10-14 2023-04-18 厦门快商通科技股份有限公司 一种标注数据质检方法、终端设备及存储介质
CN114936208A (zh) * 2022-07-26 2022-08-23 广州天维信息技术股份有限公司 一种基于数据清洗的信息分析系统
CN115496440A (zh) * 2022-09-15 2022-12-20 广东数鼎科技有限公司 一种二手车库存量的确定方法及装置

Similar Documents

Publication Publication Date Title
Wilson et al. Deep learning-aided cyber-attack detection in power transmission systems
CN105739337B (zh) 一种人机交互型语音控制及示教系统和方法
CN113672743B (zh) 故障判别方法、装置、电子设备、存储介质及产品
CN105677615A (zh) 一种基于weka接口的分布式机器学习方法
KR101968449B1 (ko) 데이터 생산성 향상을 위한 ai 학습 기반의 레이블 타입 데이터 자동 검수 시스템 및 그 방법
KR20150091521A (ko) 데이터 정규표현식의 마이닝 방법 및 장치
CN115438359B (zh) 项目申报用数据匹配共享系统
CN116485475A (zh) 基于边缘计算的物联网广告系统、方法及装置
CN106815204A (zh) 裁判文书的分段方法及装置
CN103207804B (zh) 基于集群作业日志的MapReduce负载模拟方法
Liu et al. A novel wind turbine health condition monitoring method based on common features distribution adaptation
CN116821200A (zh) 一种人工智能云数据可视化分析系统及其分析方法
CN116523045B (zh) 一种面向多芯粒芯片的深度学习推理模拟器
CN107122472A (zh) 大规模非结构化数据提取方法、其系统、分布式数据管理平台
CN115391519A (zh) 一种基于nlp技术的企业自动打标签模型生成方法、系统、设备以及存储介质
WO2023166747A1 (ja) 学習データ生成装置、学習データ生成方法、及びプログラム
CN115952493A (zh) 一种黑盒模型的逆向攻击方法、攻击装置以及存储介质
CN114565316A (zh) 基于微服务架构的任务发布方法、及相关设备
Sartoli et al. Malware classification using recurrence plots and deep neural network
CN113592981A (zh) 图片标注方法、装置、电子设备和存储介质
CN117289078B (zh) 一种基于数字孪生的电网故障分析方法及系统
US20220335737A1 (en) Method and apparatus for image annotation, and storage medium
CN116578271B (zh) 应用设计过程模型图的绘制方法及装置
JPWO2009075128A1 (ja) 統合異常検知システム、統合異常検知装置、統合異常検知方法およびプログラム
CN114170049A (zh) 增强现实培训知识库管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination