CN115309871A - 一种基于人工智能算法的工业大数据处理方法及系统 - Google Patents

一种基于人工智能算法的工业大数据处理方法及系统 Download PDF

Info

Publication number
CN115309871A
CN115309871A CN202211245024.4A CN202211245024A CN115309871A CN 115309871 A CN115309871 A CN 115309871A CN 202211245024 A CN202211245024 A CN 202211245024A CN 115309871 A CN115309871 A CN 115309871A
Authority
CN
China
Prior art keywords
data
abnormal
industrial
image data
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211245024.4A
Other languages
English (en)
Other versions
CN115309871B (zh
Inventor
胡增
江大白
彭鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Applied Technology Co Ltd
Original Assignee
China Applied Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Applied Technology Co Ltd filed Critical China Applied Technology Co Ltd
Priority to CN202211245024.4A priority Critical patent/CN115309871B/zh
Publication of CN115309871A publication Critical patent/CN115309871A/zh
Application granted granted Critical
Publication of CN115309871B publication Critical patent/CN115309871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/3332Query translation
    • G06F16/3335Syntactic pre-processing, e.g. stopword elimination, stemming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于人工智能算法的工业大数据处理方法及系统,该方法包括以下步骤:S1、通过工业监测设备获取工业数据;S2、对所述工业数据进行智能识别与分类处理;S3、对分类处理后的所述工业数据进行异常检测及预警;S4、对检测完毕后的正常数据进行分布式存储;S5、利用人工智能算法对工业数据分类处理系统进行更新迭代与优化。本发明通过构建与庞大工业大数据相匹配的人工智能算法数据处理体系,将采集到的工业数据进行识别分类与对应处理,有效提高数据整合、分析处理效率与数据具备的精确度,结合一体化分布式自动存储,大大提高数据传输速率。

Description

一种基于人工智能算法的工业大数据处理方法及系统
技术领域
本发明涉及工业大数据处理技术领域,具体来说,涉及一种基于人工智能算法的工业大数据处理方法及系统。
背景技术
工业大数据是指工业领域生成的各种数据,常见的有跨界数据、信息数据还有物联网数据,已经成为了新工业革命最核心的动力,是制造业数字化、网络化、智能化发展的基础性战略资源。而新工业革命的一个典型特点就是数字化,信息化以及智能化,信息技术同制造业以及生产业高度整合,来实现产业的转变。
对于人工智能与大数据所存在的前提条件下,与工业化技术相互结合,实时感知了收集信息与生产数据的过程,获得了较为有效的分析结果,智能制造系统才得以应用。通过信息收集系统对生产流程进行管理,通过全球定位系统与物联网等多项功能,获取数据所存在的问题,并积极采取针对性方案解决所存在的问题,这也是基于大数据与人工智能下的要素。
目前,在现有技术方案中通常对工业大数据进行处理的效率低,而且在工业大数据中获得有价值的信息有限,且工业大数据存在体量庞大、分布广泛、结构复杂、价值不均匀等多种实际存在的问题,数据在分析之前需要规范和清洗,需要根据实际数据需求速度进行分布式存储,同时仅仅依赖单一的统计学分析已经远远不能满足现代智能化的工业生产线需要。面对海量和复杂的工业数据,常用的数据处理方法统计分析速度慢,难以进行大量数据查询分析,且难以保证大数据内异常数据的剔除与清洗,影响数据存储空间与利用率。
针对相关技术中的问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题,本发明提出一种基于人工智能算法的工业大数据处理方法及系统,以克服现有相关技术所存在的上述技术问题。
为此,本发明采用的具体技术方案如下:
一种基于人工智能算法的工业大数据处理方法,该方法包括以下步骤:
S1、通过工业监测设备获取工业数据;
S2、对所述工业数据进行智能识别与分类处理,包括:
S3、对分类处理后的所述工业数据进行异常检测及预警;
S4、对检测完毕后的正常数据进行分布式存储;
S5、利用人工智能算法对工业数据分类处理系统进行更新迭代与优化;
其中,所述对所述工业数据进行智能识别与分类处理,包括以下步骤:
S21、对所述工业数据进行识别,并划分为文本参数类数据与影像类数据;
S22、对所述文本参数类数据进行清洗与融合处理;
S23、对所述影像类数据进行审核与增强处理,并对内容进行标注;
S24、将处理完毕的所述文本参数类数据与影像类数据进行上传;
所述文本参数类数据进行清洗与融合处理,包括以下步骤:
S221、利用拉依达准则对文本参数类数据进行清洗筛选;
S222、计算同一类型文本参数类数据的算术平均值、剩余误差及标准差,根据异常判断准则剔除异常参数数据,并标记异常参数数据的时间节点;
S223、重新计算剩余所述文本参数类数据的算术平均值、剩余误差及标准差并逐一去除异常参数数据,直至剔除所有的异常参数数据;
S224、获得去除所有异常参数数据后实现融合的文本参数类数据;
所述影像类数据进行审核与增强处理,并对内容进行标注,包括以下步骤:
S231、对所述影像类数据进行审核,剔除异常影像数据;
S232、提高所述影像类数据内视频与图像的分辨率与画面质量;
S233、对所述影像类数据进行指纹提取,并利用内容识别技术提取影像类数据内容并进行标注;包括以下步骤:
S2331、提取所述影像类数据的数据指纹,生成相似度分值与时间点信息,根据预先设定的阈值判断影像类数据的重复度与从属关系;
S2332、根据所述重复度与从属关系对所述影像类数据进行分类;
S2333、对所述影像类数据进行场景识别,对其中包含的语音与文本信息进行提取,提取关键词并作为标签进行标注;
S2334、基于所述异常参数数据的时间节点定位对应的影像类数据,提取被定位影像类数据的异常节点数据指纹,基于所述异常节点数据指纹,标记具有同类数据指纹的所有影像类数据的节点,向用户发出预警。
进一步的,所述计算同一类型文本参数类数据的算术平均值、剩余误差及标准差,根据异常判断准则剔除异常参数数据,包括以下步骤:
S2221、计算同一类型文本参数类数据的算术平均值,公式为:
Figure 325414DEST_PATH_IMAGE001
式中,
Figure 73927DEST_PATH_IMAGE002
表示同一类型文本参数类数据的算术平均值;
Figure 77655DEST_PATH_IMAGE003
表示同一类型文本参数类数据的数量;
Figure 456684DEST_PATH_IMAGE004
表示第i个文本参数类数据;
S222、计算同一类型文本参数类数据的剩余误差,公式为:
Figure 913073DEST_PATH_IMAGE005
式中,
Figure 402960DEST_PATH_IMAGE006
表示第i个文本参数类数据的剩余误差;
S222、利用贝塞尔公式计算出所述文本参数类数据的标准差;
Figure 261194DEST_PATH_IMAGE007
式中,
Figure 607862DEST_PATH_IMAGE008
表示同一类型文本参数类数据的标准差;
S222、若某一个文本参数类数据的剩余误差与标准差之间满足
Figure 551547DEST_PATH_IMAGE009
,则判定该文本参数类数据为异常参数数据并进行剔除。
进一步的,对所述影像类数据进行审核,剔除异常影像数据,包括以下步骤:
S2311、基于所述异常参数数据的时间节点定位对应的影像类数据,提取被定位影像类数据的异常节点数据指纹;
S2312、基于所述异常节点数据指纹,标记具有同类数据指纹的所有影像类数据的节点,作为异常影像数据进行剔除。
进一步的,所述提高所述影像类数据内视频与图像的分辨率与画面质量的方法包括超分辨率、HDR解码、TIE增强、ROI编码中的至少一种。
进一步的,所述影像类数据进行数据指纹提取,并利用内容识别技术提取影像类数据内容并进行标注,包括以下步骤:
S2331、提取所述影像类数据的数据指纹,生成相似度分值与时间点信息,根据预先设定的阈值判断影像类数据的重复度与从属关系;
S2332、根据所述重复度与从属关系对所述影像类数据进行分类;
S2333、对所述影像类数据进行场景识别,对其中包含的语音与文本信息进行提取,提取关键词并作为标签进行标注。
进一步的,所述对分类处理后的所述工业数据进行异常检测及预警,包括以下步骤:
S31、对所述工业数据的分类处理过程进行监控,并实时获取监测得到的异常参数数据与异常影像数据;
S32、对所述异常参数数据与所述异常影像数据进行诊断;
S33、根据诊断结果进行异常上报与预警提醒;
S34、将所述异常参数数据、所述影像数据及所述诊断结果上传至异常数据的知识模型中进行存储。
进一步的,对所述异常参数数据与所述异常影像数据进行诊断,包括以下步骤:
S321、将异常参数数据与异常影像数据分别传输至对应的知识模型中进行异常类别诊断;
S322、当异常诊断成功后,调用系统异常提醒功能进行预警提醒,并输出诊断结果;
S323、当异常诊断失败后,调用系统异常提醒功能进行预警提醒,利用人工诊断方式对异常进行诊断与修复,并挖掘该异常数据的特征关键语义进行补充,以及刷新知识模型中的异常数据类别库。
本发明还涉及一种基于人工智能算法的工业大数据处理系统,用于执行所述的方法,该系统包括:数据监测采集单元,数据资源管理单元,异常诊断预警单元,分布式存储单元、算法迭代优化单元及可视化工业管理单元;
所述数据资源管理单元包括数据识别分类模块、文本参数类处理模块、影像类处理模块及数据上报模块;
所述异常诊断预警单元包括实时监控模块、异常诊断模块、预警提醒模块及知识模型库模块;
所述可视化工业管理单元包括可视化操作模块、身份验证模块、访问控制模块、安全审计模块及安全运行模块。
本发明的有益效果为:
1、通过构建与庞大工业大数据相匹配的人工智能算法数据处理体系,将采集到的工业数据进行识别分类与对应处理,有效提高数据整合、分析处理的效率与数据具备的精确度,结合一体化分布式自动存储,大大提高数据传输速率与存储安全性;同时,针对文本参数类数据与影像类数据的区别分别布置对应的异常值剔除与数据分析处理等相关算法流程,即通过人工智能识别算法对二者进行划分与单独分析处理,有效提高数据处理智能化与定制化,更加契合现代智能工业制造体系,保证大数据的安全高效、全面专业。
2、通过异常诊断预警对数据处理过程的全面实时监控,对其中清洗筛选的异常数据进行及时发现获取与诊断,保障工业大数据精简安全的前提下,大幅提高工业体系中设备隐患排查与故障诊断的效率,即对异常数据的智能识别与定位快速发现异常类别与异常位置,达到工业系统安全运维的功能效果。
3、通过异常针对文本类数据的异常诊断,来定位可能存在异常的影像类数据,提高了异常针对的效率。具体来说,影像类具有较大的数据量,且数据关联性高,直接进行异常诊断的话,计算量过大,本发明通过时间节点将文本类数据与影像类数据相关联,当某一时间节点的文本类数据出现异常时,则认为该时间节点的影像类数据可能存在异常,然后针对所有具有相同数据指纹的影像类数据进行预警,缩小了可能存在异常的范围,便于后续进一步的异常诊断,提高了异常诊断效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于人工智能算法的工业大数据处理方法的流程图;
图2是根据本发明实施例的一种基于人工智能算法的工业大数据处理方法对应工业数据处理系统的系统框图。
图中:
1、数据监测采集单元;2、数据资源管理单元;201、数据识别分类模块;202、文本参数类处理模块;203、影像类处理模块;20301、智能审核子模块;20302、内容评估子模块;20303、影像质量子模块;204、数据上报模块;3、异常诊断预警单元;301、实时监控模块;302、异常诊断模块;303、预警提醒模块;304、知识模型库模块;4、分布式存储单元;5、算法迭代优化单元;6、可视化工业管理单元;601、可视化操作模块;602、身份验证模块;603、访问控制模块;604、安全审计模块;605、安全运行模块。
具体实施方式
根据本发明的实施例,提供了一种基于人工智能算法的工业大数据处理方法及系统。
现结合附图和具体实施方式对本发明进一步说明,如图1所示,根据本发明实施例的基于人工智能算法的工业大数据处理方法,该方法包括以下步骤:
S1、通过工业监测设备获取工业数据;
工业监测设备包括配置在工业环境内各种监测传感器、工业相机,以及工业设备自身的数据采集装置、记录装置等,在工业生产过程中实时产生大量数据,该数据作为工业数据需要对其进行收录记载,作为生产记录。
S2、对所述工业数据进行智能识别与分类处理,包括以下步骤:
S21、对所述工业数据进行识别,并划分为文本参数类数据与影像类数据;
S22、对所述文本参数类数据进行清洗与融合处理,包括以下步骤:
S221、利用拉依达准则对文本参数类数据进行清洗筛选;
拉依达准则是指先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数据应予以剔除。
S222、计算同一类型文本参数类数据的算术平均值、剩余误差及标准差,根据异常判断准则剔除异常参数数据,并标记异常参数数据的时间节点;
所述计算同一类型文本参数类数据的算术平均值、剩余误差及标准差,根据异常判断准则剔除异常参数数据,包括以下步骤:
S2221、计算同一类型文本参数类数据的算术平均值,公式为:
Figure 845125DEST_PATH_IMAGE001
式中,
Figure 557867DEST_PATH_IMAGE002
表示同一类型文本参数类数据的算术平均值;
Figure 544277DEST_PATH_IMAGE003
表示同一类型文本参数类数据的数量;
Figure 303155DEST_PATH_IMAGE004
表示第i个文本参数类数据;
S222、计算同一类型文本参数类数据的剩余误差,公式为:
Figure 400424DEST_PATH_IMAGE005
式中,
Figure 702092DEST_PATH_IMAGE006
表示第i个文本参数类数据的剩余误差;
S222、利用贝塞尔公式计算出所述文本参数类数据的标准差;
Figure 859404DEST_PATH_IMAGE007
式中,
Figure 777681DEST_PATH_IMAGE008
表示同一类型文本参数类数据的标准差;
S222、若某一个文本参数类数据的剩余误差与标准差之间满足
Figure 413062DEST_PATH_IMAGE009
,则判定该文本参数类数据为异常参数数据并进行剔除。
检测到异常参数数据的传感器可能因为外部原因或者技术原因需要及时处理,因此需要系统对数据异常检测进行实时监控,可跟踪定位该传感器位置,可设置提醒相关工作人员查看并解决。而自适应加权融合算法的基本思想是在总均方误差最小的条件下,根据各测量数据以自适应方式寻找其对应的权值,使融合后的数据达到最优,降低数据冗余度的同时,大幅提高数据的精确度。
S223、重新计算剩余所述文本参数类数据的算术平均值、剩余误差及标准差并逐一去除异常参数数据,直至剔除所有的异常参数数据;
S224、获得去除所有异常参数数据后实现融合的文本参数类数据;
S23、对所述影像类数据进行审核与增强处理,并对内容进行标注,包括以下步骤:
S231、对所述影像类数据进行审核,剔除异常影像数据,包括以下步骤:
S2311、基于所述异常参数数据的时间节点定位对应的影像类数据,提取被定位影像类数据的异常节点数据指纹;
S2312、基于所述异常节点数据指纹,标记具有同类数据指纹的所有影像类数据的节点,作为异常影像数据进行剔除。
S232、提高所述影像类数据内视频与图像的分辨率与画面质量;
所述提高所述影像类数据内视频与图像的分辨率与画面质量的方法包括超分辨率、HDR解码、TIE增强、ROI编码中的至少一种。
超分辨率是对低质量、低分辨率图像,生成高质量、高分辨率图像。HDR编码为视频提供更加丰富的亮区和暗区细节。TIE增强利用增强细节及画面平滑进行颜色、对比度增强。ROI编码将更多编码资源分配给用户更感兴趣的视频区域,降低编码代价。
S233、对所述影像类数据进行指纹提取,并利用内容识别技术提取影像类数据内容并进行标注,包括以下步骤:
S2331、提取所述影像类数据的数据指纹(影像类数据包括图像或视频格式,因此指纹包括图像指纹与视频指纹),生成相似度分值与时间点信息,根据预先设定的阈值判断影像类数据的重复度与从属关系;
S2332、根据所述重复度与从属关系对所述影像类数据进行分类;
S2333、对所述影像类数据进行场景识别,对其中包含的语音与文本信息进行提取,提取关键词并作为标签进行标注。
S24、将处理完毕的所述文本参数类数据与影像类数据进行上传。
S3、对分类处理后的所述工业数据进行异常检测及预警,包括以下步骤:
S31、对所述工业数据的分类处理过程进行监控,并实时获取监测得到的异常参数数据与异常影像数据;
S32、对所述异常参数数据与所述异常影像数据进行诊断,包括以下步骤:
S321、将异常参数数据与异常影像数据分别传输至对应的知识模型中进行异常类别诊断;
S322、当异常诊断成功后,调用系统异常提醒功能进行预警提醒,并输出诊断结果;
S323、当异常诊断失败后,调用系统异常提醒功能进行预警提醒,利用人工诊断方式对异常进行诊断与修复,并挖掘该异常数据的特征关键语义进行补充,以及刷新知识模型中的异常数据类别库。
S33、根据诊断结果进行异常上报与预警提醒;
S34、将所述异常参数数据、所述影像数据及所述诊断结果上传至异常数据的知识模型中进行存储。
S4、对检测完毕后的正常数据进行分布式存储;
S5、利用人工智能算法对工业数据分类处理系统进行更新迭代与优化。
由于工业大数据的体量庞大,数据也跟随工业生产与时间发生变化,因此人工智能算法同样需要日益改进,以至于能够对大数据保持同步,算法本身迭代与优化均在保证原算法的前提下,经过对短期内出现的新异常数据或者新生产工艺带来的变化进行考量,通过更改相应的识别阈值或者分类类别,来对智能算法进行完善,避免将新出现的工业数据等视为异常数据进行清洗。
另外,在本发明的另一个实施例中,还提出了基于人工智能算法的工业大数据处理方法相适配的系统,如图2所示,该系统包括:数据监测采集单元1,数据资源管理单元2,异常诊断预警单元3,分布式存储单元4、算法迭代优化单元5及可视化工业管理单元6;
数据监测采集单元1,用于通过工业监测设备获取工业数据;
数据资源管理单元2,用于对工业数据进行智能识别与分类处理;
其中,所述数据资源管理单元2包括数据识别分类模块201、文本参数类处理模块202、影像类处理模块203及数据上报模块204;
其中,所述数据识别分类模块201用于对工业数据进行识别与分类,划分为文本参数类数据与影像类数据;
所述影像类处理模块203用于对所述影像类数据进行智能处理;
其中,所述影像类处理模块203包括智能审核子模块20301、内容评估子模块20302及影像质量子模块20303;
其中,所述智能审核子模块20301用于对影像类数据进行审核,剔除异常影像数据;
所述影像质量子模块20303用于提高影像类数据的分辨率与画面质量。
其中,所述提高影像类数据的分辨率与画面质量的方法包括超分辨率、HDR解码、TIE增强、ROI编码中的至少一种。
所述数据上报模块204用于对将处理后的工业数据进行上报存储。
异常诊断预警单元3,用于对处理后工业数据进行异常检测预警;
其中,所述异常诊断预警单元3包括实时监控模块301、异常诊断模块302、预警提醒模块303及知识模型库模块304;
其中,所述实时监控模块301用于对所述数据资源管理单元2进行监控并实时获取异常参数数据与异常影像数据;
所述预警提醒模块303用于根据诊断结果进行异常上报与预警提醒;
所述知识模型库模块304用于提供具备异常数据类别库的知识模型。
分布式存储单元4,用于实现工业数据的安全分布式存储;
算法迭代优化单元5,用于对人工智能算法进行更新迭代与优化;
可视化工业管理单元6,用于用户进行工业系统可视化管理。
其中,所述可视化工业管理单元6包括可视化操作模块601、身份验证模块602、访问控制模块603、安全审计模块604及安全运行模块605;
所述可视化操作模块601用于提供可视化显示与指令输入操作;
身份验证模块602用于保证工业数据信息安全与数据完整;
访问控制模块603用于对访问者进行审核及权限管理;
安全审计模块604用于记录用户登录信息数据与访问数据;
安全运行模块605用于调用各工业设备与监测设备运行。
综上所述,借助于本发明的上述技术方案,通过构建与庞大工业大数据相匹配的人工智能算法数据处理体系,将采集到的工业数据进行识别分类与对应处理,有效提高数据整合、分析处理的效率与数据具备的精确度,结合一体化分布式自动存储,大大提高数据传输速率与存储安全性;同时,针对文本参数类数据与影像类数据的区别分别布置对应的异常值剔除与数据分析处理等相关算法流程,即通过人工智能识别算法对二者进行划分与单独分析处理,有效提高数据处理智能化与定制化,更加契合现代智能工业制造体系,保证大数据的安全高效、全面专业。
通过异常诊断预警单元对数据处理过程的全面实时监控,对其中清洗筛选的异常数据进行及时发现获取与诊断,保障工业大数据精简安全的前提下,大幅提高工业体系中设备隐患排查与故障诊断的效率,即对异常数据的智能识别与定位快速发现异常类别与异常位置,达到工业系统安全运维的功能效果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于人工智能算法的工业大数据处理方法,其特征在于,该方法包括以下步骤:
S1、通过工业监测设备获取工业数据;
S2、对所述工业数据进行智能识别与分类处理,包括:
S3、对分类处理后的所述工业数据进行异常检测及预警;
S4、对检测完毕后的正常数据进行分布式存储;
S5、利用人工智能算法对工业数据分类处理系统进行更新迭代与优化;
其中,所述对所述工业数据进行智能识别与分类处理,包括以下步骤:
S21、对所述工业数据进行识别,并划分为文本参数类数据与影像类数据;
S22、对所述文本参数类数据进行清洗与融合处理;
S23、对所述影像类数据进行审核与增强处理,并对内容进行标注;
S24、将处理完毕的所述文本参数类数据与影像类数据进行上传;
所述文本参数类数据进行清洗与融合处理,包括以下步骤:
S221、利用拉依达准则对文本参数类数据进行清洗筛选;
S222、计算同一类型文本参数类数据的算术平均值、剩余误差及标准差,根据异常判断准则剔除异常参数数据,并标记异常参数数据的时间节点;
S223、重新计算剩余所述文本参数类数据的算术平均值、剩余误差及标准差并逐一去除异常参数数据,直至剔除所有的异常参数数据;
S224、获得去除所有异常参数数据后实现融合的文本参数类数据;
所述影像类数据进行审核与增强处理,并对内容进行标注,包括以下步骤:
S231、对所述影像类数据进行审核,剔除异常影像数据;
S232、提高所述影像类数据内视频与图像的分辨率与画面质量;
S233、对所述影像类数据进行指纹提取,并利用内容识别技术提取影像类数据内容并进行标注;包括以下步骤:
S2331、提取所述影像类数据的数据指纹,生成相似度分值与时间点信息,根据预先设定的阈值判断影像类数据的重复度与从属关系;
S2332、根据所述重复度与从属关系对所述影像类数据进行分类;
S2333、对所述影像类数据进行场景识别,对其中包含的语音与文本信息进行提取,提取关键词并作为标签进行标注;
S2334、基于所述异常参数数据的时间节点定位对应的影像类数据,提取被定位影像类数据的异常节点数据指纹,基于所述异常节点数据指纹,标记具有同类数据指纹的所有影像类数据的节点,向用户发出预警。
2.根据权利要求1所述的一种基于人工智能算法的工业大数据处理方法,其特征在于,所述计算同一类型文本参数类数据的算术平均值、剩余误差及标准差,根据异常判断准则剔除异常参数数据,并标记异常参数数据的时间节点,包括以下步骤:
S2221、计算同一类型文本参数类数据的算术平均值,公式为:
Figure 81078DEST_PATH_IMAGE001
式中,
Figure 674870DEST_PATH_IMAGE002
表示同一类型文本参数类数据的算术平均值;
Figure 814864DEST_PATH_IMAGE003
表示同一类型文本参数类数据的数量;
Figure 722777DEST_PATH_IMAGE004
表示第i个文本参数类数据;
S222、计算同一类型文本参数类数据的剩余误差,公式为:
Figure 264617DEST_PATH_IMAGE005
式中,
Figure 29311DEST_PATH_IMAGE006
表示第i个文本参数类数据的剩余误差;
S222、利用贝塞尔公式计算出所述文本参数类数据的标准差;
Figure 656601DEST_PATH_IMAGE007
式中,
Figure 837047DEST_PATH_IMAGE008
表示同一类型文本参数类数据的标准差;
S222、若某一个文本参数类数据的剩余误差与标准差之间满足
Figure 764552DEST_PATH_IMAGE009
,则判定该文本参数类数据为异常参数数据并进行剔除;
S223、标记异常参数数据的时间节点。
3.根据权利要求2所述的一种基于人工智能算法的工业大数据处理方法,其特征在于,对所述影像类数据进行审核,剔除异常影像数据,包括以下步骤:
S2311、基于所述异常参数数据的时间节点定位对应的影像类数据,提取被定位影像类数据的异常节点数据指纹;
S2312、基于所述异常节点数据指纹,标记具有同类数据指纹的所有影像类数据的节点,作为异常影像数据进行剔除。
4.根据权利要求3所述的一种基于人工智能算法的工业大数据处理方法,其特征在于,所述提高所述影像类数据内视频与图像的分辨率与画面质量的方法包括超分辨率、HDR解码、TIE增强、ROI编码中的至少一种。
5.根据权利要求4所述的一种基于人工智能算法的工业大数据处理方法,其特征在于,所述影像类数据进行数据指纹提取,并利用内容识别技术提取影像类数据内容并进行标注,包括以下步骤:
S2331、提取所述影像类数据的数据指纹,生成相似度分值与时间点信息,根据预先设定的阈值判断影像类数据的重复度与从属关系;
S2332、根据所述重复度与从属关系对所述影像类数据进行分类;
S2333、对所述影像类数据进行场景识别,对其中包含的语音与文本信息进行提取,提取关键词并作为标签进行标注。
6.根据权利要求5所述的一种基于人工智能算法的工业大数据处理方法,其特征在于,所述对分类处理后的所述工业数据进行异常检测及预警,包括以下步骤:
S31、对所述工业数据的分类处理过程进行监控,并实时获取监测得到的异常参数数据与异常影像数据;
S32、对所述异常参数数据与所述异常影像数据进行诊断;
S33、根据诊断结果进行异常上报与预警提醒;
S34、将所述异常参数数据、所述影像数据及所述诊断结果上传至异常数据的知识模型中进行存储。
7.根据权利要求6所述的一种基于人工智能算法的工业大数据处理方法,其特征在于,对所述异常参数数据与所述异常影像数据进行诊断,包括以下步骤:
S321、将异常参数数据与异常影像数据分别传输至对应的知识模型中进行异常类别诊断;
S322、当异常诊断成功后,调用系统异常提醒功能进行预警提醒,并输出诊断结果;
S323、当异常诊断失败后,调用系统异常提醒功能进行预警提醒,利用人工诊断方式对异常进行诊断与修复,并挖掘该异常数据的特征关键语义进行补充,以及刷新知识模型中的异常数据类别库。
8.一种基于人工智能算法的工业大数据处理系统,用于执行如权利要求1-7任一项所述的方法,其特征在于,该系统包括:数据监测采集单元,数据资源管理单元,异常诊断预警单元,分布式存储单元、算法迭代优化单元及可视化工业管理单元;
所述数据资源管理单元包括数据识别分类模块、文本参数类处理模块、影像类处理模块及数据上报模块;
所述异常诊断预警单元包括实时监控模块、异常诊断模块、预警提醒模块及知识模型库模块;
所述可视化工业管理单元包括可视化操作模块、身份验证模块、访问控制模块、安全审计模块及安全运行模块。
CN202211245024.4A 2022-10-12 2022-10-12 一种基于人工智能算法的工业大数据处理方法及系统 Active CN115309871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211245024.4A CN115309871B (zh) 2022-10-12 2022-10-12 一种基于人工智能算法的工业大数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211245024.4A CN115309871B (zh) 2022-10-12 2022-10-12 一种基于人工智能算法的工业大数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN115309871A true CN115309871A (zh) 2022-11-08
CN115309871B CN115309871B (zh) 2023-03-21

Family

ID=83867872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211245024.4A Active CN115309871B (zh) 2022-10-12 2022-10-12 一种基于人工智能算法的工业大数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN115309871B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116644351A (zh) * 2023-06-13 2023-08-25 石家庄学院 一种基于人工智能的数据处理方法及系统
CN117221731A (zh) * 2023-09-21 2023-12-12 思翼科技(深圳)有限公司 基于人工智能的云台相机影像处理系统及方法
CN118331514A (zh) * 2024-06-17 2024-07-12 贵州警察学院 一种工业大数据处理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160352765A1 (en) * 2015-05-27 2016-12-01 Cisco Technology, Inc. Fingerprint merging and risk level evaluation for network anomaly detection
CN106789209A (zh) * 2016-12-09 2017-05-31 网易(杭州)网络有限公司 异常处理方法和装置
WO2020175147A1 (ja) * 2019-02-28 2020-09-03 日本電信電話株式会社 検知装置及び検知プログラム
CN112925279A (zh) * 2021-01-30 2021-06-08 重庆简华科技有限公司 一种基于mes系统的故障综合分析系统
WO2021137706A1 (en) * 2019-12-31 2021-07-08 Motorola Solutions, Inc Methods and apparatus for detecting malicious re-training of an anomaly detection system
CN113571048A (zh) * 2021-07-21 2021-10-29 腾讯科技(深圳)有限公司 一种音频数据检测方法、装置、设备及可读存储介质
CN113743184A (zh) * 2021-06-08 2021-12-03 中国人民公安大学 基于要素挖掘和视频分析的异常行为人群检测方法和装置
CN114169535A (zh) * 2021-12-15 2022-03-11 徐州徐工挖掘机械有限公司 一种基于群体智能的工业物联网数据平台的异常检测算法
CN114817739A (zh) * 2022-05-16 2022-07-29 广东弘力控股集团有限公司 一种基于人工智能算法的工业大数据处理系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160352765A1 (en) * 2015-05-27 2016-12-01 Cisco Technology, Inc. Fingerprint merging and risk level evaluation for network anomaly detection
CN106789209A (zh) * 2016-12-09 2017-05-31 网易(杭州)网络有限公司 异常处理方法和装置
WO2020175147A1 (ja) * 2019-02-28 2020-09-03 日本電信電話株式会社 検知装置及び検知プログラム
WO2021137706A1 (en) * 2019-12-31 2021-07-08 Motorola Solutions, Inc Methods and apparatus for detecting malicious re-training of an anomaly detection system
CN112925279A (zh) * 2021-01-30 2021-06-08 重庆简华科技有限公司 一种基于mes系统的故障综合分析系统
CN113743184A (zh) * 2021-06-08 2021-12-03 中国人民公安大学 基于要素挖掘和视频分析的异常行为人群检测方法和装置
CN113571048A (zh) * 2021-07-21 2021-10-29 腾讯科技(深圳)有限公司 一种音频数据检测方法、装置、设备及可读存储介质
CN114169535A (zh) * 2021-12-15 2022-03-11 徐州徐工挖掘机械有限公司 一种基于群体智能的工业物联网数据平台的异常检测算法
CN114817739A (zh) * 2022-05-16 2022-07-29 广东弘力控股集团有限公司 一种基于人工智能算法的工业大数据处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
仲丽君等: "社交网络异常用户识别技术综述", 《计算机工程与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116644351A (zh) * 2023-06-13 2023-08-25 石家庄学院 一种基于人工智能的数据处理方法及系统
CN116644351B (zh) * 2023-06-13 2024-04-02 石家庄学院 一种基于人工智能的数据处理方法及系统
CN117221731A (zh) * 2023-09-21 2023-12-12 思翼科技(深圳)有限公司 基于人工智能的云台相机影像处理系统及方法
CN118331514A (zh) * 2024-06-17 2024-07-12 贵州警察学院 一种工业大数据处理方法及系统
CN118331514B (zh) * 2024-06-17 2024-08-23 贵州警察学院 一种工业大数据处理方法及系统

Also Published As

Publication number Publication date
CN115309871B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN115309871B (zh) 一种基于人工智能算法的工业大数据处理方法及系统
Aboah A vision-based system for traffic anomaly detection using deep learning and decision trees
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别系统
CN111563557A (zh) 一种电力电缆隧道内目标检测的方法
CN112015153A (zh) 一种无菌灌装生产线异常检测系统和方法
CN112070135A (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN115457446A (zh) 一种基于视频分析的异常行为监管系统
CN211184122U (zh) 铁路作业安全防控和大客流预警联动的智能视频分析系统
CN111666978B (zh) 一种it系统运维大数据的智能故障预警系统
CN117726036A (zh) 污染源监测设备的智慧管理系统、方法及存储介质
CN117312801A (zh) 基于ai的智慧城市监控系统及方法
CN116419059A (zh) 基于行为标签的自动监控方法、装置、设备及介质
CN117351271A (zh) 高压配电线路监控设备故障监测方法、系统及其存储介质
CN118135800A (zh) 基于深度学习的异常交通事件精准识别告警方法
WO2024027487A1 (zh) 基于智能运维场景的健康度评价方法及装置
CN117710832A (zh) 一种电网卫星、无人机、视频监控图像智能识别方法
CN114998792B (zh) 一种具有ai网络摄像头的安全监控方法
Lv et al. Defect detection of pandrol track fastener based on local depth feature fusion network
WO2022262013A1 (zh) 一种车辆状态信息采集监控方法及系统
CN115292400A (zh) 一种基于大数据的数据统筹归纳方法
CN115205743A (zh) 基于tsn与注意力lstm网络模型的电气设备完整度监测方法
CN114205667B (zh) 一种广播电视播出异态画面识别和故障分析系统
CN117354495B (zh) 基于深度学习的视频监控质量诊断方法及系统
CN117749836B (zh) 一种基于人工智能的物联网终端监控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant