CN116186221A - 应用于在线对话平台的大数据分析方法及系统 - Google Patents
应用于在线对话平台的大数据分析方法及系统 Download PDFInfo
- Publication number
- CN116186221A CN116186221A CN202310141209.9A CN202310141209A CN116186221A CN 116186221 A CN116186221 A CN 116186221A CN 202310141209 A CN202310141209 A CN 202310141209A CN 116186221 A CN116186221 A CN 116186221A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- optimized
- analysis
- anomaly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供的应用于在线对话平台的大数据分析方法及系统,涉及人工智能技术领域。在本发明中,基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成待优化异常分析网络对应的优化异常分析网络,示例性对话数据包括示例性对话文本或示例性对话图像;采集到目标在线对话平台中的待处理对话数据,并对待处理对话数据进行过滤处理,以输出对应的目标对话数据,待处理对话数据包括基于目标在线对话平台形成的对话文本或对话图像;基于优化异常分析网络,对目标对话数据进行异常分析处理,以输出目标对话数据对应的对话异常分析结果。基于上述内容,可以在一定程度上提高对话异常分析的效率。
Description
技术领域
本发明涉及人工智能技术领域,具体而言,涉及一种应用于在线对话平台的大数据分析方法及系统。
背景技术
在线对话平台用于提供在线对话服务,可以提供不同用户之间的信息交互,如文本交互或图像交互等。其中,对在线对话平台中的信息交互进行异常监控,是保障信息交互合法、合规进行的重要手段。但是,在现有技术中,一般是基于平台工作人员的人工审核,以实现对信息交互的异常监控,因此,存在着对话异常监控的效率不高的问题。
发明内容
有鉴于此,本发明的目的在于提供一种应用于在线对话平台的大数据分析方法及系统,以在一定程度上提高对话异常分析的效率。
为实现上述目的,本发明实施例采用如下技术方案:
一种应用于在线对话平台的大数据分析方法,包括:
基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络,所述示例性对话数据包括示例性对话文本、示例性对话图像或示例性对话语音;
采集到目标在线对话平台中的待处理对话数据,并对所述待处理对话数据进行过滤处理,以输出对应的目标对话数据,所述待处理对话数据包括基于所述目标在线对话平台形成的对话文本、对话图像或对话语音;
基于所述优化异常分析网络,对所述目标对话数据进行异常分析处理,以输出所述目标对话数据对应的对话异常分析结果,所述对话异常分析结果用于反映所述目标对话数据中的对话内容的异常程度。
在一些优选的实施例中,在上述应用于在线对话平台的大数据分析方法中,所述基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络的步骤,包括:
提取到初始示例性数据簇,所述初始示例性数据簇包括多个初始示例性数据子簇,每一个所述初始示例性数据子簇包括多个初始示例性数据组合,每一个所述初始示例性数据组合包括初始示例性对话数据和所述初始示例性对话数据对应的初始异常性标签;
提取到异常分析协助网络、多个监督性异常分析网络和多个非监督示例性对话数据,所述监督性异常分析网络基于监督示例性对话数据进行网络优化形成,所述非监督示例性对话数据不具有对应的异常性标签,所述监督示例性对话数据具有对应的异常性标签;
依据所述初始示例性数据簇、所述异常分析协助网络和所述多个监督性异常分析网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络,所述异常分析协助网络用于协助对所述待优化异常分析复杂网络进行网络优化处理;
基于所述多个非监督示例性对话数据、所述多个监督性异常分析网络和所述优化异常分析复杂网络,分析出所述多个非监督示例性对话数据对应的多个预测异常性标签;
基于所述多个非监督示例性对话数据、所述多个预测异常性标签,将搭建的待优化异常分析网络进行网络优化处理,以形成所述待优化异常分析网络对应的优化异常分析网络,所述优化异常分析网络包括的网络参数少于所述优化异常分析复杂网络的网络参数,使得所述优化异常分析网络的复杂程度低于所述优化异常分析复杂网络的复杂程度。
在一些优选的实施例中,在上述应用于在线对话平台的大数据分析方法中,所述依据所述初始示例性数据簇、所述异常分析协助网络和所述多个监督性异常分析网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络的步骤,包括:
对于所述初始示例性数据簇中的每一个初始示例性数据子簇,确定出所述初始示例性数据子簇中的多个初始示例性数据组合;
对于所述多个初始示例性数据组合中的每一个初始示例性数据组合,对所述初始示例性数据组合中的初始示例性对话数据进行加载,以加载到所述多个监督性异常分析网络中的每一个监督性异常分析网络中,分析出所述初始示例性数据组合对应的初始异常性参数分布,所述初始异常性参数分布包括多个初始异常性参数,所述多个初始异常性参数和所述多个监督性异常分析网络之间具有一一对应的关系;
基于所述初始示例性数据组合和所述初始示例性数据组合对应的初始异常性参数分布,构建出所述初始示例性数据组合对应的进阶示例性数据组合,以形成所述初始示例性数据子簇对应的进阶示例性数据子簇,所述进阶示例性数据子簇包括多个进阶示例性数据组合,所述进阶示例性数据组合包括所述初始示例性数据组合和所述初始示例性数据组合对应的初始异常性参数分布;
基于每一个所述初始示例性数据子簇对应的进阶示例性数据子簇,构建出所述初始示例性数据簇对应的进阶示例性数据簇,所述进阶示例性数据簇包括多个进阶示例性数据子簇;
基于所述进阶示例性数据簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络。
在一些优选的实施例中,在上述应用于在线对话平台的大数据分析方法中,所述基于所述进阶示例性数据簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络的步骤,包括:
在所述进阶示例性数据簇包含的多个进阶示例性数据子簇中,确定出一个进阶示例性数据子簇,以标记为待处理数据子簇;
基于预先确定的目标数据拆分条件,将所述待处理数据子簇包括的多个进阶示例性数据组合中的至少部分进阶示例性数据组合进行拆分组合处理,以形成所述目标数据拆分条件对应的第一数量个数据拆分组合,每一个所述数据拆分组合包括多个进阶示例性数据组合;
在所述第一数量个数据拆分组合中,确定出待处理数据拆分组合;
基于预先确定的目标数据选择条件,在所述待处理数据拆分组合包括的多个进阶示例性数据组合中,筛选到第一数据组合簇和第二数据组合簇;
依据所述第一数据组合簇形成对应的优化用数据组合簇,并依据所述第二数据组合簇形成对应的检测用数据组合簇;
基于所述优化用数据组合簇、所述检测用数据组合簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成所述待优化异常分析复杂网络对应的优化异常分析复杂网络。
在一些优选的实施例中,在上述应用于在线对话平台的大数据分析方法中,所述异常分析协助网络的网络参数属于协助网络参数,所述基于所述优化用数据组合簇、所述检测用数据组合簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成所述待优化异常分析复杂网络对应的优化异常分析复杂网络的步骤,包括:
提取到网络参数属于复杂网络参数的待优化异常分析复杂网络;
利用所述待优化异常分析复杂网络,分析出所述优化用数据组合簇对应的多个进阶异常性标签;
利用所述异常分析协助网络,分析出所述优化用数据组合簇对应的多个辅助异常性标签;
基于所述优化用数据组合簇和所述多个进阶异常性标签,确定出所述异常分析协助网络对应的需优化协助网络参数,以形成网络参数属于所述需优化协助网络参数的优化后的异常分析协助网络;
利用所述优化后的异常分析协助网络,分析出所述检测用数据组合簇对应的多个检测用异常性标签;
基于所述优化用数据组合簇、所述检测用数据组合簇、所述多个进阶异常性标签、所述多个辅助异常性标签、所述多个检测用异常性标签、所述协助网络参数、所述需优化协助网络参数和所述复杂网络参数,将待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络。
在一些优选的实施例中,在上述应用于在线对话平台的大数据分析方法中,所述基于所述优化用数据组合簇、所述检测用数据组合簇、所述多个进阶异常性标签、所述多个辅助异常性标签、所述多个检测用异常性标签、所述协助网络参数、所述需优化协助网络参数和所述复杂网络参数,将待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络的步骤,包括:
基于所述优化用数据组合簇和所述多个进阶异常性标签,得到对应的进阶误差;以及,基于所述优化用数据组合簇和所述多个辅助异常性标签,得到对应的辅助误差;以及,基于所述检测用数据组合簇和所述多个检测用异常性标签,得到对应的检测误差;
基于所述进阶误差、所述辅助误差、所述检测误差、所述协助网络参数、所述需优化协助网络参数、所述复杂网络参数和所述多个进阶异常性标签,将待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络。
在一些优选的实施例中,在上述应用于在线对话平台的大数据分析方法中,所述基于所述进阶误差、所述辅助误差、所述检测误差、所述协助网络参数、所述需优化协助网络参数、所述复杂网络参数和所述多个进阶异常性标签,将待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络的步骤,包括:
基于所述进阶误差、所述辅助误差、所述检测误差、所述协助网络参数、所述需优化协助网络参数、所述复杂网络参数和所述多个进阶异常性标签,分析出所述待优化异常分析复杂网络对应的需优化复杂网络参数;
基于所述需优化复杂网络参数和所述复杂网络参数,将所述待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络。
在一些优选的实施例中,在上述应用于在线对话平台的大数据分析方法中,所述基于所述需优化复杂网络参数和所述复杂网络参数,将所述待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络的步骤,包括:
分析出所述需优化复杂网络参数和所述复杂网络参数之间的第一差异度,并确定该第一差异度是否小于预先确定的参考差异度,并在该第一差异度小于该参考差异度的情况下,对所述待优化异常分析复杂网络进行标记处理,以标记为优化异常分析复杂网络,以得到优化异常分析复杂网络;
在所述第一差异度不小于所述参考差异度的情况下,对所述需优化复杂网络参数进行标记处理,以标记为所述待优化异常分析复杂网络的复杂网络参数,以形成优化后的待优化异常分析复杂网络,并在所述第一数量个数据拆分组合中确定出新的待处理数据拆分组合,以回转执行所述基于预先确定的目标数据选择条件,在所述待处理数据拆分组合包括的多个进阶示例性数据组合中,筛选到第一数据组合簇和第二数据组合簇的步骤。
在一些优选的实施例中,在上述应用于在线对话平台的大数据分析方法中,所述基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络的步骤还包括:
在从所述第一数量个数据拆分组合中不能确定出新的待处理数据拆分组合的情况下,在所述进阶示例性数据簇包括的多个进阶示例性数据子簇中确定出新的待处理数据子簇,以回转执行所述基于预先确定的目标数据拆分条件,将所述待处理数据子簇包括的多个进阶示例性数据组合中的至少部分进阶示例性数据组合进行拆分组合处理,以形成所述目标数据拆分条件对应的第一数量个数据拆分组合的步骤,除非所述需优化复杂网络参数和所述复杂网络参数之间的差异度小于所述参考差异度,再将所述待优化异常分析复杂网络标记为优化异常分析复杂网络,以形成所述待优化异常分析复杂网络对应的优化异常分析复杂网络。
本发明实施例还提供一种应用于在线对话平台的大数据分析系统,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现上述的应用于在线对话平台的大数据分析方法。
本发明实施例提供的应用于在线对话平台的大数据分析方法及系统,可以基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成待优化异常分析网络对应的优化异常分析网络,示例性对话数据包括示例性对话文本或示例性对话图像;采集到目标在线对话平台中的待处理对话数据,并对待处理对话数据进行过滤处理,以输出对应的目标对话数据,待处理对话数据包括基于目标在线对话平台形成的对话文本或对话图像;基于优化异常分析网络,对目标对话数据进行异常分析处理,以输出目标对话数据对应的对话异常分析结果。基于前述的内容,由于可以通过形成的优化异常分析网络对待处理对话数据进行智能的异常分析,使得相较于基于人工审核的常规技术方案,可以在一定程度上提高对话异常分析的效率,从而改善现有技术中存在的异常分析的效率不高的问题。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本发明实施例提供的应用于在线对话平台的大数据分析系统的结构框图。
图2为本发明实施例提供的应用于在线对话平台的大数据分析方法包括的各步骤的流程示意图。
图3为本发明实施例提供的应用于在线对话平台的大数据分析装置包括的各模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种应用于在线对话平台的大数据分析系统。其中,所述应用于在线对话平台的大数据分析系统可以包括存储器和处理器,以及其它的器件等。
详细地,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本发明实施例(如后文所述)提供的应用于在线对话平台的大数据分析方法。
应当理解的是,在一些实施方式中,所述存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable ProgrammableRead-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory,EEPROM)等。
应当理解的是,在一些实施方式中,所述处理器可以是一种通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、片上系统(System on Chip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应当理解的是,在一些实施方式中,所述应用于在线对话平台的大数据分析系统可以是一种具备数据处理能力的服务器。
结合图2,本发明实施例还提供一种应用于在线对话平台的大数据分析方法,可应用于上述应用于在线对话平台的大数据分析系统。其中,所述应用于在线对话平台的大数据分析方法有关的流程所定义的方法步骤,可以由所述应用于在线对话平台的大数据分析系统实现。
下面将对图2所示的具体流程,进行详细阐述。
步骤S110,基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络。
在本发明实施例中,所述应用于在线对话平台的大数据分析系统可以基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络。所述示例性对话数据包括示例性对话文本、示例性对话图像或示例性对话语音。
步骤S120,采集到目标在线对话平台中的待处理对话数据,并对所述待处理对话数据进行过滤处理,以输出对应的目标对话数据。
在本发明实施例中,所述应用于在线对话平台的大数据分析系统可以采集到目标在线对话平台中的待处理对话数据,并对所述待处理对话数据进行过滤处理,例如,可以对一些重复性语句或图像进行筛除,或者,可以基于神经网络对无效信息进行筛除,该神经网络是基于相应的样本数据和对应的无效信息标签优化形成,以输出对应的目标对话数据。所述待处理对话数据包括基于所述目标在线对话平台形成的对话文本、对话图像或对话语音,如用户1和用户2之间的对话文本A。
步骤S130,基于所述优化异常分析网络,对所述目标对话数据进行异常分析处理,以输出所述目标对话数据对应的对话异常分析结果。
在本发明实施例中,所述应用于在线对话平台的大数据分析系统可以基于所述优化异常分析网络,对所述目标对话数据进行异常分析处理,以输出所述目标对话数据对应的对话异常分析结果。所述对话异常分析结果用于反映所述目标对话数据中的对话内容的异常程度。
基于前述的内容,即步骤S110-步骤S130对应的内容,由于可以通过形成的优化异常分析网络对待处理对话数据进行智能的异常分析,使得相较于基于人工审核的常规技术方案,可以在一定程度上提高对话异常分析的效率,从而改善现有技术中存在的异常分析的效率不高的问题。
应当理解的是,在一些实施方式中,上述的步骤S110,即所述基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络的步骤,可以包括以下的具体内容:
提取到初始示例性数据簇,所述初始示例性数据簇包括多个初始示例性数据子簇,每一个所述初始示例性数据子簇包括多个初始示例性数据组合,每一个所述初始示例性数据组合包括初始示例性对话数据和所述初始示例性对话数据对应的初始异常性标签,所述初始异常性标签用于反映所述初始示例性对话数据中的对话内容的异常程度;
提取到异常分析协助网络、多个监督性异常分析网络和多个非监督示例性对话数据,所述监督性异常分析网络基于监督示例性对话数据进行网络优化形成,所述非监督示例性对话数据不具有对应的异常性标签,所述监督示例性对话数据具有对应的异常性标签;
依据所述初始示例性数据簇、所述异常分析协助网络和所述多个监督性异常分析网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络,所述异常分析协助网络用于协助对所述待优化异常分析复杂网络进行网络优化处理;
基于所述多个非监督示例性对话数据、所述多个监督性异常分析网络和所述优化异常分析复杂网络,分析出所述多个非监督示例性对话数据对应的多个预测异常性标签,所述预测异常性标签可以作为对应的所述非监督示例性对话数据的虚假标签(即可能或疑似标签);
基于所述多个非监督示例性对话数据、所述多个预测异常性标签,将搭建的待优化异常分析网络进行网络优化处理(示例性地,可以将所述多个非监督示例性对话数据加载到所述待优化异常分析网络中,以输出对应的多个分析结果,然后,基于该多个分析结果和所述多个预测异常性标签之间的差异,对所述待优化异常分析网络进行网络优化处理),以形成所述待优化异常分析网络对应的优化异常分析网络,所述优化异常分析网络包括的网络参数(的数量)少于所述优化异常分析复杂网络的网络参数(的数量),使得所述优化异常分析网络的复杂程度低于所述优化异常分析复杂网络的复杂程度,也就是说,所述优化异常分析复杂网络的网络规模大于所述优化异常分析网络的网络规模。
基于此,可以将复杂、规模大的网络(即优化异常分析复杂网络)作为指导,对简单、规模小的网络(即优化异常分析网络)进行优化,由于优化异常分析复杂网络的学习能力更佳,可以将它学到的内容提供对学习能力相对较差的优化异常分析网络,使得优化异常分析网络的泛化能力更佳。规模大的优化异常分析复杂网络可以不对外部署,仅用于规模小的优化异常分析网络的优化,规模小的优化异常分析网络可以对外部署,以提供对话异常分析的服务,可以提高应用效率和降低应用成本。另外,所述异常分析协助网络也可以是一个规模较小的网络。
应当理解的是,在一些实施方式中,所述依据所述初始示例性数据簇、所述异常分析协助网络和所述多个监督性异常分析网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络的步骤,可以进一步包括以下的具体内容:
对于所述初始示例性数据簇中的每一个初始示例性数据子簇,确定出所述初始示例性数据子簇中的多个初始示例性数据组合;
对于所述多个初始示例性数据组合中的每一个初始示例性数据组合,对所述初始示例性数据组合中的初始示例性对话数据进行加载,以加载到所述多个监督性异常分析网络中的每一个监督性异常分析网络中,分析出所述初始示例性数据组合对应的初始异常性参数分布,所述初始异常性参数分布包括多个初始异常性参数,所述多个初始异常性参数和所述多个监督性异常分析网络之间具有一一对应的关系,也就是说,一个所述监控性异常分析网络分析出一个初始异常性参数;
基于所述初始示例性数据组合和所述初始示例性数据组合对应的初始异常性参数分布,构建出所述初始示例性数据组合对应的进阶示例性数据组合,以形成所述初始示例性数据子簇对应的进阶示例性数据子簇,所述进阶示例性数据子簇包括多个进阶示例性数据组合,所述进阶示例性数据组合包括所述初始示例性数据组合和所述初始示例性数据组合对应的初始异常性参数分布;
基于每一个所述初始示例性数据子簇对应的进阶示例性数据子簇,构建出所述初始示例性数据簇对应的进阶示例性数据簇,所述进阶示例性数据簇包括多个进阶示例性数据子簇;
基于所述进阶示例性数据簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络。
应当理解的是,在一些实施方式中,所述基于所述进阶示例性数据簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络的步骤,可以进一步包括以下的具体内容:
在所述进阶示例性数据簇包含的多个进阶示例性数据子簇中,确定出一个进阶示例性数据子簇,以标记为待处理数据子簇,示例性地,可以按序将所述进阶示例性数据子簇作为待处理数据子簇,也可以随机的将所述进阶示例性数据子簇作为待处理数据子簇;
基于预先确定的目标数据拆分条件,将所述待处理数据子簇包括的多个进阶示例性数据组合中的至少部分进阶示例性数据组合进行拆分组合处理,以形成所述目标数据拆分条件对应的第一数量个数据拆分组合,每一个所述数据拆分组合包括多个进阶示例性数据组合,示例性地,目标数据拆分条件可以包括待处理数据子簇包括的多个进阶示例性数据组合中参与拆分组合处理的进阶示例性数据组合的数量,还可以包括所述第一数量,例如,所述待处理数据子簇包括的多个进阶示例性数据组合可以都全部参与拆分组合处理,所述第一数量可以为6,每一个所述数据拆分组合中包括的进阶示例性数据组合的数量可以一致;
在所述第一数量个数据拆分组合中,确定出待处理数据拆分组合,示例性地,可以按序将所述数据拆分组合作为待处理数据拆分组合,也可以随机的将所述数据拆分组合作为待处理数据拆分组合;
基于预先确定的目标数据选择条件,在所述待处理数据拆分组合包括的多个进阶示例性数据组合中,筛选到第一数据组合簇和第二数据组合簇,示例性地,所述目标数据选择条件可以包括所述第一数据组合簇中包括的进阶示例性数据组合的数量,或包括所述第一数据组合簇在所述待处理数据拆分组合中包括的多个进阶示例性数据组合中的数量占比,还可以包括所述第二数据组合簇中包括的进阶示例性数据组合的数量,或包括所述第二数据组合簇在待处理数据拆分组合中包括的多个进阶示例性数据组合中的数量占比,例如,所述第一数据组合簇中包括的进阶示例性数据组合的数量,与所述第二数据组合簇包括的进阶示例性数据组合的数量一致;
依据所述第一数据组合簇形成对应的优化用数据组合簇,并依据所述第二数据组合簇形成对应的检测用数据组合簇,示例性地,可以直接将所述第一数据组合簇作为所述优化用数据组合簇,可以直接将所述第二数据组合簇作为所述检测用数据组合簇;
基于所述优化用数据组合簇、所述检测用数据组合簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成所述待优化异常分析复杂网络对应的优化异常分析复杂网络。
应当理解的是,在一些实施方式中,所述异常分析协助网络的网络参数属于协助网络参数,所述基于所述优化用数据组合簇、所述检测用数据组合簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成所述待优化异常分析复杂网络对应的优化异常分析复杂网络的步骤,可以进一步包括以下的具体内容:
提取到网络参数属于复杂网络参数的待优化异常分析复杂网络,也就是说,将所述待优化异常分析复杂网络的网络参数定义为复杂网络参数;
利用所述待优化异常分析复杂网络,分析出所述优化用数据组合簇对应的多个进阶异常性标签,即进行异常性分析,得到对应的输出;
利用所述异常分析协助网络,分析出所述优化用数据组合簇对应的多个辅助异常性标签,即进行异常性分析,得到对应的输出;
基于所述优化用数据组合簇和所述多个进阶异常性标签,确定出所述异常分析协助网络对应的需优化协助网络参数,以形成网络参数属于所述需优化协助网络参数的优化后的异常分析协助网络,示例性地,可以基于所述优化用数据组合簇对应的多个辅助异常性标签和多个进阶异常性标签进行误差计算,再基于计算出的误差,确定出所述需优化协助网络参数,也就是说,优化后的异常分析协助网络的网络参数属于所述需优化协助网络参数,实现对所述协助网络参数的优化;
利用所述优化后的异常分析协助网络,分析出所述检测用数据组合簇对应的多个检测用异常性标签;
基于所述优化用数据组合簇、所述检测用数据组合簇、所述多个进阶异常性标签、所述多个辅助异常性标签、所述多个检测用异常性标签、所述协助网络参数、所述需优化协助网络参数和所述复杂网络参数,将待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络。
应当理解的是,在一些实施方式中,所述基于所述优化用数据组合簇、所述检测用数据组合簇、所述多个进阶异常性标签、所述多个辅助异常性标签、所述多个检测用异常性标签、所述协助网络参数、所述需优化协助网络参数和所述复杂网络参数,将待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络的步骤,可以进一步包括以下的具体内容:
基于所述优化用数据组合簇和所述多个进阶异常性标签,得到对应的进阶误差;以及,基于所述优化用数据组合簇和所述多个辅助异常性标签,得到对应的辅助误差;以及,基于所述检测用数据组合簇和所述多个检测用异常性标签,得到对应的检测误差;示例性地,可以直接利用所述待优化异常分析复杂网络,对所述优化用数据组合簇进行异常分析,以得到对应的多个异常分析结果,此处的处理过程与所述利用所述待优化异常分析复杂网络,分析出所述优化用数据组合簇对应的多个进阶异常性标签的步骤并不相同,该步骤的具体实施方式如后所述;如此,可以基于所述多个异常分析结果和所述多个进阶异常性标签之间的差异,确定出所述进阶误差,并基于所述多个异常分析结果和所述多个辅助异常性标签之间的差异,确定出所述辅助误差,以及,直接利用所述待优化异常分析复杂网络,对所述检测用数据组合簇进行异常分析,以得到对应的多个检测用异常分析结果,然后,基于所述多个检测用异常分析结果和所述多个检测用异常性标签之间的差异,确定出所述检测误差。
基于所述进阶误差、所述辅助误差、所述检测误差、所述协助网络参数、所述需优化协助网络参数、所述复杂网络参数和所述多个进阶异常性标签,将待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络。
应当理解的是,在一些实施方式中,所述基于所述进阶误差、所述辅助误差、所述检测误差、所述协助网络参数、所述需优化协助网络参数、所述复杂网络参数和所述多个进阶异常性标签,将待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络的步骤,可以进一步包括以下的具体内容:
基于所述进阶误差、所述辅助误差、所述检测误差、所述协助网络参数、所述需优化协助网络参数、所述复杂网络参数和所述多个进阶异常性标签,分析出所述待优化异常分析复杂网络对应的需优化复杂网络参数;
基于所述需优化复杂网络参数和所述复杂网络参数,将所述待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络。
其中,应当理解的是,在一些实施方式中,所述基于所述进阶误差、所述辅助误差、所述检测误差、所述协助网络参数、所述需优化协助网络参数、所述复杂网络参数和所述多个进阶异常性标签,分析出所述待优化异常分析复杂网络对应的需优化复杂网络参数的步骤,可以进一步包括以下的具体内容:
基于所述进阶误差和所述复杂网络参数,计算出第一参数,例如,可计算所述进阶误差对所述复杂网络参数的梯度值,输出第一参数;基于所述辅助误差和所述协助网络参数,计算出二参数,例如,可计算所述辅助误差对所述协助网络参数的梯度值,输出第二参数;基于所述检测误差和所述需优化协助网络参数,计算出第三参数,例如,可以计算所述检测误差对所述需优化协助网络参数的梯度值,输出第三参数;对所述多个进阶异常性标签进行交叉熵误差的计算,输出第四参数;计算所述第四参数对所述复杂网络参数的梯度值,输出第五参数;计算所述第二参数的转置参数、所述第三参数和所述第五参数的乘积输出第六参数;将所述第六参数和所述第一参数进行叠加,输出求和参数;基于所述求和参数、预设的待优化异常分析复杂网络的学习参数(Learning rate)和所述复杂网络参数,计算出所述需优化复杂网络参数例如,可计算所述学习参数与所述求和参数之间的乘积,再对所述复杂网络参数和所述乘积参数的差值,作为所述需优化复杂网络参数。
应当理解的是,在一些实施方式中,所述基于所述需优化复杂网络参数和所述复杂网络参数,将所述待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络的步骤,可以进一步包括以下的具体内容:
分析出所述需优化复杂网络参数和所述复杂网络参数之间的第一差异度(如差值计算),并确定该第一差异度是否小于预先确定的参考差异度(可以根据实际需求进行配置),并在该第一差异度小于该参考差异度的情况下,对所述待优化异常分析复杂网络进行标记处理,以标记为优化异常分析复杂网络,以得到优化异常分析复杂网络;在所述第一差异度不小于所述参考差异度的情况下,对所述需优化复杂网络参数进行标记处理,以标记为所述待优化异常分析复杂网络的复杂网络参数,以形成优化后的待优化异常分析复杂网络,并在所述第一数量个数据拆分组合中确定出新的待处理数据拆分组合,以回转执行所述基于预先确定的目标数据选择条件,在所述待处理数据拆分组合包括的多个进阶示例性数据组合中,筛选到第一数据组合簇和第二数据组合簇的步骤。
应当理解的是,在一些实施方式中,上述的步骤S110,即所述基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络的步骤,还可以进一步包括:
在从所述第一数量个数据拆分组合中不能确定出新的待处理数据拆分组合的情况下,在所述进阶示例性数据簇包括的多个进阶示例性数据子簇中确定出新的待处理数据子簇,以回转执行所述基于预先确定的目标数据拆分条件,将所述待处理数据子簇包括的多个进阶示例性数据组合中的至少部分进阶示例性数据组合进行拆分组合处理,以形成所述目标数据拆分条件对应的第一数量个数据拆分组合的步骤,除非所述需优化复杂网络参数和所述复杂网络参数之间的差异度小于所述参考差异度,再将所述待优化异常分析复杂网络标记为优化异常分析复杂网络,以形成所述待优化异常分析复杂网络对应的优化异常分析复杂网络。
其中,应当理解的是,在一些实施方式中,上述的步骤S110,即所述基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络的步骤,还可以进一步包括:
确定所述待优化异常分析复杂网络的网络参数的优化次数统计值;将所述优化次数统计值与预先确定的优化次数参考值(如10、20等)进行大小比较;在所述优化次数统计值超过所述优化次数参考值的情况,对所述待优化异常分析复杂网络进行标记处理,以标记为优化异常分析复杂网络;在所述优化次数统计值未超过所述优化次数参考值的情况,则执行所述分析出所述需优化复杂网络参数和所述复杂网络参数之间的差异度的步骤。
其中,应当理解的是,在一些实施方式中,所述利用所述待优化异常分析复杂网络,分析出所述优化用数据组合簇对应的多个进阶异常性标签的步骤,可以进一步包括以下的具体内容:
对于所述优化用数据组合簇包括的多个优化用示例性数据组合中的每一个优化用示例性数据组合,确定出所述优化用示例性数据组合中的优化用示例性对话数据和所述优化用示例性对话数据对应的优化用异常性参数分布,以形成所述优化用数据组合簇对应的多个优化用示例性对话数据和多个优化用异常性参数分布,示例性地,所述优化用异常性参数分布可以基于所述多个监督性异常分析网络分析出;
利用所述待优化异常分析复杂网络,依据所述多个优化用示例性对话数据和所述多个优化用异常性参数分布,分析出所述优化用数据组合簇对应的多个进阶异常性标签。
其中,应当理解的是,在一些实施方式中,所述待优化异常分析复杂网络可以包括重要度评估子网络与异常性评估子网络,基于此,所述利用所述待优化异常分析复杂网络,依据所述多个优化用示例性对话数据和所述多个优化用异常性参数分布,分析出所述优化用数据组合簇对应的多个进阶异常性标签的步骤,可以进一步包括以下的具体内容:
对于所述多个优化用示例性对话数据中的每一个优化用示例性对话数据,利用所述重要度评估子网络,依据所述优化用示例性对话数据,分析出对应的多个重要度评估参数(示例性地,所述重要度评估子网络可以对每一个所述监督性异常分析网络对应的监督示例性对话数据进行分析预测,以确定出对应的重要度评估参数,所述重要度评估子网络可以基于对应的对话数据和重要度标签进行网络优化形成),所述重要度评估参数的数量和所述监督性异常分析网络的数量一致,且所述多个重要度评估参数和所述多个监督性异常分析网络之间可以具有一一对应的关系;
利用所述异常性评估子网络,依据所述多个重要度评估参数和所述优化用示例性对话数据对应的优化用异常性参数分布,分析出所述优化用示例性对话数据对应的进阶异常性标签;
基于每一个所述优化用示例性对话数据对应的进阶异常性标签,得到所述优化用数据组合簇对应的多个进阶异常性标签。
其中,应当理解的是,在一些实施方式中,所述利用所述异常性评估子网络,依据所述多个重要度评估参数和所述优化用示例性对话数据对应的优化用异常性参数分布,分析出所述优化用示例性对话数据对应的进阶异常性标签的步骤,可以进一步包括以下的具体内容:
对于所述多个重要度评估参数中的每一个重要度评估参数,将所述重要度评估参数和所述优化用异常性参数分布包括的多个优化用异常性参数中与所述重要度评估参数对应的优化用异常性参数计算乘积,输出所述重要度评估参数对应的乘积值,以形成所述多个重要度评估参数对应的多个乘积值;对所述多个乘积值进行叠加计算,以输出所述优化用示例性对话数据对应的进阶异常性标签;如此,可以实现加权求和。
其中,应当理解的是,在一些实施方式中,所述基于所述多个非监督示例性对话数据、所述多个监督性异常分析网络和所述优化异常分析复杂网络,分析出所述多个非监督示例性对话数据对应的多个预测异常性标签的步骤,可以进一步包括以下的具体内容:
对于所述多个非监督示例性对话数据中的每一个非监督示例性对话数据,对所述非监督示例性对话数据进行加载,以加载到所述多个监督性异常分析网络中,分析出所述非监督示例性对话数据对应的非监督异常性参数分布,所述非监督异常性参数分布包括多个非监督异常性参数;如此,基于每一个所述非监督示例性对话数据对应的非监督异常性参数分布,得到所述多个非监督示例性对话数据对应的多个非监督异常性参数分布;
对所述多个非监督示例性对话数据和所述多个非监督异常性参数分布进行加载,以加载到所述优化异常分析复杂网络中,分析出所述多个非监督示例性对话数据对应的多个预测异常性标签,具体的分析方法,可以参照前文中关于所述进阶异常性标签的确定方式。
其中,应当理解的是,在一些实施方式中,所述基于所述多个非监督示例性对话数据、所述多个预测异常性标签,将搭建的待优化异常分析网络进行网络优化处理,以形成所述待优化异常分析网络对应的优化异常分析网络的步骤,可以进一步包括以下的具体内容:
对所述多个非监督示例性对话数据进行加载,以加载到网络参数属于简单网络参数的待优化异常分析网络中,分析出多个异常性分析结果;
基于所述多个预测异常性标签和所述多个异常性分析结果,分析出对应的需优化简单网络参数,可以参照前文的相关描述;
计算出所述需优化简单网络参数和所述简单网络参数之间的第二差异度,如进行差值计算;以及,判断出所述第二差异度与预先确定的配置差异度之间的大小,所述配置差异度的具体数值不受限制;
在所述第二差异度小于所述配置差异度的情况下,对所述待优化异常分析网络进行标记处理,以标记为优化异常分析网络;
在所述第二差异度不小于所述配置差异度的情况下,对所述需优化简单网络参数进行标记处理,以标记为简单网络参数,以回转执行将所述对所述多个非监督示例性对话数据进行加载,以加载到网络参数属于简单网络参数的待优化异常分析网络中,分析出多个异常性分析结果的步骤。
其中,应当理解的是,所述需优化简单网络参数与所述简单网络参数之间的第二差异度,可以负相关于所述多个预测异常性标签和所述多个异常性分析结果之间的相似度,也就是说,所述多个预测异常性标签和所述多个异常性分析结果之间的相似度越大,所述需优化简单网络参数和所述简单网络参数之间的第二差异度越小,所述多个预测异常性标签和所述多个异常性分析结果之间的相似度越小,所述需优化简单网络参数和所述简单网络参数之间的第二差异度越大,即所述多个预测异常性标签和所述多个异常性分析结果之间越接近,所述需优化简单网络参数和所述简单网络参数之间的第二差异度越小,所述多个预测异常性标签和所述多个异常性分析结果之间越偏离,所述需优化简单网络参数和所述简单网络参数之间的第二差异度越大。
结合图3,本发明实施例还提供一种应用于在线对话平台的大数据分析装置,可应用于上述应用于在线对话平台的大数据分析系统。其中,所述应用于在线对话平台的大数据分析装置,可以包括:
网络优化模块,用于基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络,所述示例性对话数据包括示例性对话文本或示例性对话图像;
对话数据过滤模块,用于采集到目标在线对话平台中的待处理对话数据,并对所述待处理对话数据进行过滤处理,以输出对应的目标对话数据,所述待处理对话数据包括基于所述目标在线对话平台形成的对话文本或对话图像;
对话异常分析模块,用于基于所述优化异常分析网络,对所述目标对话数据进行异常分析处理,以输出所述目标对话数据对应的对话异常分析结果,所述对话异常分析结果用于反映所述目标对话数据中的对话内容的异常程度。
综上所述,本发明提供的应用于在线对话平台的大数据分析方法及系统,可以基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成待优化异常分析网络对应的优化异常分析网络,示例性对话数据包括示例性对话文本或示例性对话图像;采集到目标在线对话平台中的待处理对话数据,并对待处理对话数据进行过滤处理,以输出对应的目标对话数据,待处理对话数据包括基于目标在线对话平台形成的对话文本或对话图像;基于优化异常分析网络,对目标对话数据进行异常分析处理,以输出目标对话数据对应的对话异常分析结果。基于前述的内容,由于可以通过形成的优化异常分析网络对待处理对话数据进行智能的异常分析,使得相较于基于人工审核的常规技术方案,可以在一定程度上提高对话异常分析的效率,从而改善现有技术中存在的异常分析的效率不高的问题。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种应用于在线对话平台的大数据分析方法,其特征在于,包括:
基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络,所述示例性对话数据包括示例性对话文本、示例性对话图像或示例性对话语音;
采集到目标在线对话平台中的待处理对话数据,并对所述待处理对话数据进行过滤处理,以输出对应的目标对话数据,所述待处理对话数据包括基于所述目标在线对话平台形成的对话文本、对话图像或对话语音;
基于所述优化异常分析网络,对所述目标对话数据进行异常分析处理,以输出所述目标对话数据对应的对话异常分析结果,所述对话异常分析结果用于反映所述目标对话数据中的对话内容的异常程度。
2.如权利要求1所述的应用于在线对话平台的大数据分析方法,其特征在于,所述基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络的步骤,包括:
提取到初始示例性数据簇,所述初始示例性数据簇包括多个初始示例性数据子簇,每一个所述初始示例性数据子簇包括多个初始示例性数据组合,每一个所述初始示例性数据组合包括初始示例性对话数据和所述初始示例性对话数据对应的初始异常性标签;
提取到异常分析协助网络、多个监督性异常分析网络和多个非监督示例性对话数据,所述监督性异常分析网络基于监督示例性对话数据进行网络优化形成,所述非监督示例性对话数据不具有对应的异常性标签,所述监督示例性对话数据具有对应的异常性标签;
依据所述初始示例性数据簇、所述异常分析协助网络和所述多个监督性异常分析网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络,所述异常分析协助网络用于协助对所述待优化异常分析复杂网络进行网络优化处理;
基于所述多个非监督示例性对话数据、所述多个监督性异常分析网络和所述优化异常分析复杂网络,分析出所述多个非监督示例性对话数据对应的多个预测异常性标签;
基于所述多个非监督示例性对话数据、所述多个预测异常性标签,将搭建的待优化异常分析网络进行网络优化处理,以形成所述待优化异常分析网络对应的优化异常分析网络,所述优化异常分析网络包括的网络参数少于所述优化异常分析复杂网络的网络参数,使得所述优化异常分析网络的复杂程度低于所述优化异常分析复杂网络的复杂程度。
3.如权利要求2所述的应用于在线对话平台的大数据分析方法,其特征在于,所述依据所述初始示例性数据簇、所述异常分析协助网络和所述多个监督性异常分析网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络的步骤,包括:
对于所述初始示例性数据簇中的每一个初始示例性数据子簇,确定出所述初始示例性数据子簇中的多个初始示例性数据组合;
对于所述多个初始示例性数据组合中的每一个初始示例性数据组合,对所述初始示例性数据组合中的初始示例性对话数据进行加载,以加载到所述多个监督性异常分析网络中的每一个监督性异常分析网络中,分析出所述初始示例性数据组合对应的初始异常性参数分布,所述初始异常性参数分布包括多个初始异常性参数,所述多个初始异常性参数和所述多个监督性异常分析网络之间具有一一对应的关系;
基于所述初始示例性数据组合和所述初始示例性数据组合对应的初始异常性参数分布,构建出所述初始示例性数据组合对应的进阶示例性数据组合,以形成所述初始示例性数据子簇对应的进阶示例性数据子簇,所述进阶示例性数据子簇包括多个进阶示例性数据组合,所述进阶示例性数据组合包括所述初始示例性数据组合和所述初始示例性数据组合对应的初始异常性参数分布;
基于每一个所述初始示例性数据子簇对应的进阶示例性数据子簇,构建出所述初始示例性数据簇对应的进阶示例性数据簇,所述进阶示例性数据簇包括多个进阶示例性数据子簇;
基于所述进阶示例性数据簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络。
4.如权利要求3所述的应用于在线对话平台的大数据分析方法,其特征在于,所述基于所述进阶示例性数据簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络的步骤,包括:
在所述进阶示例性数据簇包含的多个进阶示例性数据子簇中,确定出一个进阶示例性数据子簇,以标记为待处理数据子簇;
基于预先确定的目标数据拆分条件,将所述待处理数据子簇包括的多个进阶示例性数据组合中的至少部分进阶示例性数据组合进行拆分组合处理,以形成所述目标数据拆分条件对应的第一数量个数据拆分组合,每一个所述数据拆分组合包括多个进阶示例性数据组合;
在所述第一数量个数据拆分组合中,确定出待处理数据拆分组合;
基于预先确定的目标数据选择条件,在所述待处理数据拆分组合包括的多个进阶示例性数据组合中,筛选到第一数据组合簇和第二数据组合簇;
依据所述第一数据组合簇形成对应的优化用数据组合簇,并依据所述第二数据组合簇形成对应的检测用数据组合簇;
基于所述优化用数据组合簇、所述检测用数据组合簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成所述待优化异常分析复杂网络对应的优化异常分析复杂网络。
5.如权利要求4所述的应用于在线对话平台的大数据分析方法,其特征在于,所述异常分析协助网络的网络参数属于协助网络参数,所述基于所述优化用数据组合簇、所述检测用数据组合簇和所述异常分析协助网络,将搭建的待优化异常分析复杂网络进行网络优化处理,以形成所述待优化异常分析复杂网络对应的优化异常分析复杂网络的步骤,包括:
提取到网络参数属于复杂网络参数的待优化异常分析复杂网络;
利用所述待优化异常分析复杂网络,分析出所述优化用数据组合簇对应的多个进阶异常性标签;
利用所述异常分析协助网络,分析出所述优化用数据组合簇对应的多个辅助异常性标签;
基于所述优化用数据组合簇和所述多个进阶异常性标签,确定出所述异常分析协助网络对应的需优化协助网络参数,以形成网络参数属于所述需优化协助网络参数的优化后的异常分析协助网络;
利用所述优化后的异常分析协助网络,分析出所述检测用数据组合簇对应的多个检测用异常性标签;
基于所述优化用数据组合簇、所述检测用数据组合簇、所述多个进阶异常性标签、所述多个辅助异常性标签、所述多个检测用异常性标签、所述协助网络参数、所述需优化协助网络参数和所述复杂网络参数,将待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络。
6.如权利要求5所述的应用于在线对话平台的大数据分析方法,其特征在于,所述基于所述优化用数据组合簇、所述检测用数据组合簇、所述多个进阶异常性标签、所述多个辅助异常性标签、所述多个检测用异常性标签、所述协助网络参数、所述需优化协助网络参数和所述复杂网络参数,将待优化异常分析复杂网络进行网络优化处理,以形成对应的优化异常分析复杂网络的步骤,包括:
基于所述优化用数据组合簇和所述多个进阶异常性标签,得到对应的进阶误差;以及,基于所述优化用数据组合簇和所述多个辅助异常性标签,得到对应的辅助误差;以及,基于所述检测用数据组合簇和所述多个检测用异常性标签,得到对应的检测误差;
基于所述进阶误差、所述辅助误差、所述检测误差、所述协助网络参数、所述需优化协助网络参数、所述复杂网络参数和所述多个进阶异常性标签,将待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络。
7.如权利要求6所述的应用于在线对话平台的大数据分析方法,其特征在于,所述基于所述进阶误差、所述辅助误差、所述检测误差、所述协助网络参数、所述需优化协助网络参数、所述复杂网络参数和所述多个进阶异常性标签,将待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络的步骤,包括:
基于所述进阶误差、所述辅助误差、所述检测误差、所述协助网络参数、所述需优化协助网络参数、所述复杂网络参数和所述多个进阶异常性标签,分析出所述待优化异常分析复杂网络对应的需优化复杂网络参数;
基于所述需优化复杂网络参数和所述复杂网络参数,将所述待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络。
8.如权利要求7所述的应用于在线对话平台的大数据分析方法,其特征在于,所述基于所述需优化复杂网络参数和所述复杂网络参数,将所述待优化异常分析复杂网络进行网络优化处理,形成对应的优化异常分析复杂网络的步骤,包括:
分析出所述需优化复杂网络参数和所述复杂网络参数之间的第一差异度,并确定该第一差异度是否小于预先确定的参考差异度,并在该第一差异度小于该参考差异度的情况下,对所述待优化异常分析复杂网络进行标记处理,以标记为优化异常分析复杂网络,以得到优化异常分析复杂网络;
在所述第一差异度不小于所述参考差异度的情况下,对所述需优化复杂网络参数进行标记处理,以标记为所述待优化异常分析复杂网络的复杂网络参数,以形成优化后的待优化异常分析复杂网络,并在所述第一数量个数据拆分组合中确定出新的待处理数据拆分组合,以回转执行所述基于预先确定的目标数据选择条件,在所述待处理数据拆分组合包括的多个进阶示例性数据组合中,筛选到第一数据组合簇和第二数据组合簇的步骤。
9.如权利要求8所述的应用于在线对话平台的大数据分析方法,其特征在于,所述基于示例性对话数据,对待优化异常分析网络进行网络优化,以形成所述待优化异常分析网络对应的优化异常分析网络的步骤还包括:
在从所述第一数量个数据拆分组合中不能确定出新的待处理数据拆分组合的情况下,在所述进阶示例性数据簇包括的多个进阶示例性数据子簇中确定出新的待处理数据子簇,以回转执行所述基于预先确定的目标数据拆分条件,将所述待处理数据子簇包括的多个进阶示例性数据组合中的至少部分进阶示例性数据组合进行拆分组合处理,以形成所述目标数据拆分条件对应的第一数量个数据拆分组合的步骤,除非所述需优化复杂网络参数和所述复杂网络参数之间的差异度小于所述参考差异度,再将所述待优化异常分析复杂网络标记为优化异常分析复杂网络,以形成所述待优化异常分析复杂网络对应的优化异常分析复杂网络。
10.一种应用于在线对话平台的大数据分析系统,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现权利要求1-9任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310141209.9A CN116186221A (zh) | 2023-02-21 | 2023-02-21 | 应用于在线对话平台的大数据分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310141209.9A CN116186221A (zh) | 2023-02-21 | 2023-02-21 | 应用于在线对话平台的大数据分析方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116186221A true CN116186221A (zh) | 2023-05-30 |
Family
ID=86450307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310141209.9A Pending CN116186221A (zh) | 2023-02-21 | 2023-02-21 | 应用于在线对话平台的大数据分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116186221A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664335A (zh) * | 2023-07-24 | 2023-08-29 | 创域智能(常熟)网联科技有限公司 | 基于智能监控的半导体生产系统运行分析方法及系统 |
CN117197739A (zh) * | 2023-09-08 | 2023-12-08 | 江苏平熙智能电子科技有限公司 | 一种智慧楼宇的监控数据处理方法及系统 |
-
2023
- 2023-02-21 CN CN202310141209.9A patent/CN116186221A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664335A (zh) * | 2023-07-24 | 2023-08-29 | 创域智能(常熟)网联科技有限公司 | 基于智能监控的半导体生产系统运行分析方法及系统 |
CN116664335B (zh) * | 2023-07-24 | 2023-10-03 | 创域智能(常熟)网联科技有限公司 | 基于智能监控的半导体生产系统运行分析方法及系统 |
CN117197739A (zh) * | 2023-09-08 | 2023-12-08 | 江苏平熙智能电子科技有限公司 | 一种智慧楼宇的监控数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116186221A (zh) | 应用于在线对话平台的大数据分析方法及系统 | |
CN111766253A (zh) | 锡膏印刷品质检测方法、数据处理装置及计算机存储介质 | |
CN110008082B (zh) | 异常任务智能监测方法、装置、设备及存储介质 | |
CN112527604A (zh) | 一种基于深度学习的运维检测方法、系统、电子设备及介质 | |
CN116310914B (zh) | 基于人工智能的无人机监控方法及系统 | |
CN113542241A (zh) | 一种基于CNN-BiGRU混合模型的入侵检测方法及装置 | |
CN116450482A (zh) | 一种用户异常监测方法、装置、电子设备及存储介质 | |
CN113656255A (zh) | 一种基于芯片运行数据的运行异常判断方法 | |
CN116304909A (zh) | 一种异常检测模型训练方法、故障场景定位方法及装置 | |
CN113612645A (zh) | 一种物联网数据处理方法及系统 | |
CN116664335B (zh) | 基于智能监控的半导体生产系统运行分析方法及系统 | |
CN114566964B (zh) | 一种配电网馈线自动化控制方法、装置、设备及存储介质 | |
CN116720084A (zh) | 数据识别方法、装置、电子设备及计算机可读存储介质 | |
CN115514620A (zh) | 一种异常检测的方法和云网络平台 | |
CN113285977B (zh) | 基于区块链和大数据的网络维护方法及系统 | |
CN115858606A (zh) | 时序数据的异常检测方法、装置、设备及存储介质 | |
CN113570070A (zh) | 流式数据采样与模型更新方法、装置、系统与存储介质 | |
CN115687034A (zh) | 一种业务系统平面可用性判定方法和装置 | |
CN112766981A (zh) | 一种基于机器学习的商圈树构建方法及系统 | |
CN116996403B (zh) | 应用ai模型的网络流量诊断方法及系统 | |
CN116501285B (zh) | 基于虚拟数字形象交互的ai对话处理方法及数字化系统 | |
CN112446002B (zh) | 一种面向时序kpi数据的异常检测方法 | |
CN112579429A (zh) | 一种问题定位方法和装置 | |
CN116994609B (zh) | 应用于智能生产线的数据分析方法及系统 | |
CN115631448B (zh) | 一种音视频质检处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |