CN113610157A - 基于人工智能的业务大数据特征采集方法及服务器 - Google Patents
基于人工智能的业务大数据特征采集方法及服务器 Download PDFInfo
- Publication number
- CN113610157A CN113610157A CN202110904997.3A CN202110904997A CN113610157A CN 113610157 A CN113610157 A CN 113610157A CN 202110904997 A CN202110904997 A CN 202110904997A CN 113610157 A CN113610157 A CN 113610157A
- Authority
- CN
- China
- Prior art keywords
- data
- characteristic
- service
- interference
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供的基于人工智能的业务大数据特征采集方法及服务器,通过获取针对数据采集范围预先进行业务大数据采集得到的多个业务数据流样本,得到业务数据流样本集合,然后根据所述业务数据流样本集合对预设的防干扰特征检测网络进行机器学习,并通过学习后的防干扰特征检测网络对各业务采集终端采集的业务数据流进行特征采集,得到相应业务数据流的业务特征信息。如此,能够尽可能减少干扰数据对采集的业务数据流的目标特征检测准确性的影响,从而提高业务数据流目标特征检测的准确性。
Description
本申请是申请号为202110077113.1、申请日为2021年01月20日、发明名称为“基于人工智能的业务大数据分析方法及服务器”的发明专利申请的分案申请。
技术领域
本发明实施例涉及人工智能及大数据分析技术领域,具体涉及一种基于人工智能的业务大数据分析方法及服务器。
背景技术
人工智能(Artificial Intelligence,缩写为AI)是对人的意识、思维过程进行模拟的一门学科。机器学习(Machine Learning)和深度学习(Deep Learning)作为人工智能的技术核心,也已经取得重大的突破,机器被赋予强大的认知和预测能力。基于提供各种实际的业务应用场景的人工智能平台,例如提供电商购物、在线教育等应用场景的人工智能平台,对产生业务数据流通过人工智能技术进行特征检测已经得到了广泛的应用。在基于机器学习的大数据分析及特征检测的实际应用中,无论是学习所用的样本数据还是待检测的数据均可能会产生大量的干扰数据或无用数据,甚至是外部恶意攻击对象特意加入的入侵干扰数据,导致基于机器学习的大数据分析结果不能很好的进行应用或者应用的效果较差等问题。
发明内容
有鉴于此,本发明实施例提供了一种基于人工智能的业务大数据分析方法,所述方法包括:
获取针对数据采集范围预先进行业务大数据采集得到的多个业务数据流样本,得到业务数据流样本集合;
根据所述业务数据流样本集合对预设的防干扰特征检测网络进行机器学习,并通过学习后的防干扰特征检测网络对各业务采集终端采集的业务数据流进行特征检测,得到相应业务数据流的业务特征信息。
本发明实施例中,所述根据所述目标业务特征样本集合对预设的防干扰特征检测网络进行机器学习,并通过学习后的防干扰特征检测网络对各业务采集终端采集的业务数据流进行特征检测,得到相应业务数据流的业务特征信息,包括:
将所述业务数据流样本集合输入预设目标业务特征网络进行机器学习,得到已学习目标业务特征网络;
通过所述已学习目标业务特征网络对所述业务数据流样本集合进行目标业务特征检测,得到所述业务数据流样本集合的初始目标业务特征集合;
将所述初始目标业务特征集合输入预设的第一防干扰特征检测网络进行机器学习,得到第一目标防干扰特征检测网络;
基于联合模型训练策略以及所述第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习,得到第二目标防干扰特征检测网络,使得训练得到的第二目标防干扰特征检测网络的参数量小于第一目标防干扰特征检测网络的参数量;
将第二目标防干扰特征检测网络发送至所述业务采集终端,通过所述业务采集终端根据所述第二目标防干扰特征检测网络对采集的业务数据流进行目标特征检测得到所述采集的业务数据流的业务特征信息。
本发明实施例还提供一种服务器,包括处理器和存储器,所述处理器执行所述存储器中存储的计算机程序,以实现上述的基于人工智能的业务大数据分析方法。
本发明实施例提供的基于人工智能的业务大数据分析方法及服务器,通过对业务数据流样本进行目标业务特征提取,得到目标业务特征样本集合,然后根据所述目标业务特征样本集合对预设的防干扰特征检测网络进行机器学习,并通过学习后的防干扰特征检测网络对各业务采集终端采集的业务数据流进行特征检测,得到相应业务数据流的业务特征信息。能够尽可能减少干扰数据对采集的业务数据流的目标特征检测准确性的影响,从而提高业务数据流目标特征检测的准确性。
此外,进一步采用目标业务特征样本集合学习预设目标业务特征网络得到已学习目标业务特征网络并对业务数据流样本集合进行目标业务特征检测得到初始目标业务特征集合,其次采用初始目标业务特征集合学习预设的第一防干扰特征检测网络得到第一目标防干扰特征检测网络并基于联合模型训练策略以及第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习得到第二目标防干扰特征检测网络,这样,可以将第二目标防干扰特征检测网络发送至业务采集终端,从而通过业务采集终端以及第二目标防干扰特征检测网络对采集的业务数据流进行目标特征检测得到目标特征检测结果,并基于目标特征检测结果确定采集的业务数据流的业务特征信息。基于联合模型训练策略训练得到第二防干扰特征检测网络,由于联合模型训练策略本质上是基于大网络去训练小网络,从而在确保小网络的预测准确性的前提下,避免扩大小网络的参数量。因此,得到的第二防干扰特征检测网络的参数量相对于第一防干扰特征检测网络的参数量有所减少,因而使得第二防干扰特征检测网络可以直接在业务采集终端中运行,以实现业务采集终端上的业务数据流的特征检测,将服务器的检测工作分散在各业务采集终端上实现,可以减少服务器的负担,同时充分发挥各业务采集终端的运算能力。同时,在将第二防干扰特征检测网络部署在业务采集终端时,还可以确保业务采集终端的业务数据流目标特征检测的实时性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的一种基于人工智能的业务大数据分析系统的网络架构的结构示意图。
图2是本发明实施例提供的服务器的示意图。
图3是本发明实施例提供的基于人工智能的业务大数据分析方法的流程示意图。
图4是图3中的步骤S20的子步骤流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面将结合附图对本发明提供的基于人工智能的业务大数据分析方法 及服务器进行详细的介绍。
请参见图1,图1是本发明实施例提供的一种大数据采集系统的网络架构的结构示意图。如图1所示,所述大数据采集系统可以包括服务器100和业务数据终端集群,业务数据终端集群可以包括多个业务数据终端200。所述服务器100与所述业务数据终端200通信连接,用于从所述业务数据终端200采集各业务数据终端200产生的业务数据,实现大数据的采集,并基于采集的业务大数据进行数据分析,已进行相应的应用。这里将不对业务数据终端200的数量进行限制,各业务数据终端200均可以与服务器100进行通信连接,以便于与服务器100之间进行数据交互。
如图1所示的服务器100可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,也可以是提供云服务、云存储、云计算、云通信、云安全服务、以及大数据和人工智能平台等云计算服务的云服务器。业务数据终端可以是智能手机、平板电脑、笔记本电脑、个人计算机等能够使用所述服务器100或其他第三方平台提供的服务而产生的相应的业务数据的智能终端。
请参阅图2,图2是所述服务器100的示意图。本实施例中,所述服务器100用于实现本发明实施例提供的基于人工智能的业务大数据分析方法。本实施例中,所述服务器100可以包括业务大数据分析装置110、机器可读存储介质120和处理器130。
可替代地,机器可读存储介质120与处理器130可以位于服务器100中并分离设置,或者机器可读存储介质120和处理器130也可以是独立于服务器100之外。所述机器可读存储介质120可以由处理器130通过总线接口来访问。可替换地,机器可读存储介质120也可以集成到处理器130中,例如,可以是高速缓存和/或通用寄存器。
处理器130是服务器100的控制中心,利用各种接口和线路连接整个服务器100的各个部分,通过运行或执行存储在机器可读存储介质120内的软件程序和/或模块,以及调用存储在机器可读存储介质120内的数据,执行该服务器100的各种功能和处理数据,从而对服务器100进行整体监控。可选地,处理器130可包括一个或多个处理核心。例如,处理器130可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器中。
其中,处理器130可以是一个通用的中央处理器(Central Processing Unit,CPU),微处理器,特定应用集成电路(Application-Specific Integrated Circuit,ASIC)等。
机器可读存储介质120可以是ROM或可存储静态信息和指令的其它类型的静态存储设备,RAM或者可存储信息和指令的其它类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler-Only MEMory,EEPROM)、只读光盘(Compactdisc Read-Only MEMory,CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质,但不限于此。机器可读存储介质120可以是独立存在,通过通信总线与处理器130相连接。机器可读存储介质120也可以和处理器集成在一起。其中,机器可读存储介质120用于存储执行本申请方案的机器可执行指令。处理器130用于执行机器可读存储介质120中存储的机器可执行指令,以实现本发明提供的大数据采集方法。
请参见图3,图3是本发明实施例提供的基于人工智能的业务大数据分析方法的流程示意图,该基于人工智能的业务大数据分析方法可以有所述服务器100执行。所述方法有关的流程所定义的方法步骤可应用于服务器100,可以由所述处理器130实现,所述方法包括以下步骤S10-步骤S20所描述的内容。可以理解,本发明实施例中所述描述的该方法的其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除,下面对该基于人工智能的业务大数据分析方法的各实现步骤介绍如下。
步骤S10,获取针对数据采集范围预先进行业务大数据采集得到的多个业务数据流样本,得到业务数据流样本集合。
步骤S20,根据所述业务数据流样本对预设的防干扰特征检测网络进行机器学习,并通过学习后的防干扰特征检测网络对各业务采集终端采集的业务数据流进行特征检测,得到相应业务数据流的业务特征信息。
上述步骤S10和步骤S20具体的实现方法以及相关的内容,下面将进行详细的描述。
在上述步骤S10中,得到所述业务数据流样本集合的方法可以参照以下子步骤S101-子步骤S102所述的内容实现,具体描述如下。
子步骤S101,针对预先设定的用于进行业务大数据采集的业务数据采集范围中产生的业务数据分别进行时域节点以及空域节点的节点数据采集,得到时空域节点数据。本实施例中,所述时空域节点数据包括所述业务数据采集范围中产生的时域节点数据和空域节点数据。
本实施例中,可以理解,所述业务数据采集范围可以是根据大数据采集任务预先确定的数据采集范围,例如可以是针对各业务数据终端的地理范围,如位于预设地理范围内的各业务数据终端所产生的业务数据均属于对应的数据采集范围;又或者,也可以是预先设置的隶属于特定的业务类型范围内的业务数据,具体不做限制。
其次,各业务数据携带时域信息则可以定位为时域节点数据,时域信息例如可以是,但不限于,业务数据产生的时间节点、业务执行流程时序、业务流程之间的先后顺序、业务流程之间的时间拓扑关系。各时域节点数据通过相应的时域关系关联规则进行拓扑关联之后则可以形成业务数据之间的时域拓扑网络,时域拓扑网络中的各节点则可被定义为时域节点。针对一些对时间敏感的业务数据,通过时域节点进行的业务数据采集得到的业务数据携带相应的时域信息,在后期进行机器学习以及模型训练时,可以考虑各业务数据的时域信息,使得后期机器学习或模型训练得到的结果能够得到更好的应用。例如,针对互联网金融、数字网络等领域对用户行为进行分析的业务数据,在对用户画像时,需要考虑各用户行为数据中的行为兴趣特征随时间衰减的因素,因此需要对各数据在时域维度进行数据采集。
相应地,各业务数据携带空域信息则可以定位为空域节点数据,空域信息例如可以是,但不限于,业务数据产生的空间节点(具体可以对应数据采集终端的位置信息,如IP地址、设备标识等)、业务数据产生对应的地理位置范围、数据业务所对应的服务范围等。各空域域节点数据通过相应的空域关系关联规则进行拓扑关联则可以形成业务数据之间的空域拓扑网络,空域拓扑网络中的各节点则可被定义为空域节点。针对一些对空间敏感的业务数据,通过空域节点进行的业务数据采集得到的业务数据携带相应的空域信息,在后期进行机器学习以及模型训练时,可以考虑各业务数据的空域信息,使得后期机器学习或模型训练得到的结果能够得到更好的应用。例如,针对相关领域需要考虑业务数据对应用户的经常活动范围、各业务类型的普遍应用场景、执行各业务类型对应的用户终端等对用户行为进行分析的业务数据,在对用户画像时,需要考虑各用户行为数据中的行为兴趣特征与空间的关联因素,因此需要对各数据在空域维度进行数据采集。如此,可通过时、空域两个数据维度对业务数据进行采集,并通过两个维度的相关性使得数据采集得到的业务数据流及相关信息能够更精准的反应业务数据的相关数据特征,有利于提升后期进行机器学习或人工智能模型训练的学习效果及应用效果。
子步骤S102,对所述时空域节点数据进行拓扑融合分析,得到所述业务数据采集范围中的多个业务数据流和所述业务数据流对应的业务特征信息,并根据所述业务数据流和对应的业务特征信息得到业务数据流样本集合,以用于作为机器学习的业务数据学习样本进行机器学习。
在所述子步骤S102中,所述对所述时空域节点数据进行拓扑融合分析,得到所述业务数据采集范围中的多个业务数据流和所述业务数据流对应的业务特征信息包括,具体的实现方案参照以下S1021-S1029的子步骤实现。
子步骤S1021,分别根据所述时空域节点数据中的时域节点数据和空域节点数据形成多个时域数据拓扑分布和多个空域数据拓扑分布。
本实施例中,可以按照预先设定的时域信息关联规则对所述时空域节点数据中包括的时域节点数据进行拓扑关联,形成多个时域数据拓扑分布。例如,时域信息关联规则可以根据各业务数据的执行流程、产生时序等预先进行设定。携带时域信息的大量的时域节点数据中,按照相应的时域信息关联规则,携带不同时域信息的时域节点数据会被拓扑关联到不同的分布群中,不同的分布群具有不同的拓扑分布节点,进行形成多个不同的时域数据拓扑分布。
相应地,也可以按照预先设定的空域信息关联规则对所述时空域节点数据中包括的空域节点数据进行拓扑关联,形成多个空域数据拓扑分布。例如,空域信息关联规则可以根据各业务数据的产生空间节点、所属的业务空间范围以及各范围之间的位置关系等预先进行设定。携带空域信息的大量的空域节点数据中,按照相应的空域信息关联规则,携带不同空域信息的空域节点数据会被拓扑关联到不同的分布群中,不同的分布群具有不同的拓扑分布节点,进行形成多个不同的空域数据拓扑分布。各不同的拓扑分布可以通过拓扑图的方式进行表达。
子步骤S1022,基于时域数据拓扑分布和空域数据拓扑分布之间的业务拓扑关系,对所述业务数据采集范围中产生的各时域数据拓扑分布和各空域数据拓扑分布进行拓扑融合,得到多个拓扑分布融合组。
本实施例中,每个拓扑分布融合组中的空域数据拓扑分布分别包括所述业务数据采集范围中的第二空域节点业务数据。所述业务拓扑关系可以是时域数据拓扑分布和空域数据拓扑分布各节点分别对应的业务数据之间的业务关联关系,例如可根据拓扑分布中各节点的业务数据对应的业务类型、用户信息、用户身份信息得到所述业务拓扑关系。如此,可将具有业务拓扑关系的时域数据拓扑分布和空域数据拓扑分布进行融合,得到对应的拓扑分布融合组。一个拓扑分布融合组包括至少一个时域数据拓扑分布和至少一个空域数据拓扑分布。
一种可替代的方式中,该子步骤S1022可以通过以下方式实现:
首先,将所述业务数据采集范围中产生的各空域数据拓扑分布确定为局部空域拓扑分布,将所述业务数据采集范围中产生的各时域数据拓扑分布确定为局部时域拓扑分布;所述局部空域拓扑分布中的空域节点业务数据是针对所述业务数据采集范围的目标业务节点进行数据采集得到的;
然后,获取所述目标业务节点中的时域节点业务数据; 计算所述目标业务节点中的时域节点业务数据与所述局部时域拓扑分布中的各时域节点业务数据之间的业务数据关联参数,并根据计算得到的业务数据关联参数确定所述局部空域拓扑分布与所述局部时域拓扑分布之间的业务拓扑关系;
最后,当所述业务数据关联参数不小于预设关联参数阈值时,对所述局部空域拓扑分布和所述局部时域拓扑分布进行拓扑融合,得到所述多个拓扑分布融合组。如此,可以将局部时域拓扑分布分别与各业务节点(空域特征)产生的时域数据进行关联匹配,关联匹配的则进行拓扑融合,产生一个拓扑融合组。
子步骤S1023,将未进行拓扑融合的空域数据拓扑分布确定为待处理空域数据拓扑分布,根据所述待处理空域数据拓扑分布包含的第一空域节点业务数据,获取所述待处理空域数据拓扑分布的第一拓扑分布描述信息。
本实施例中,可能会存在某些异常数据节点产生的空域节点数据会发生时域信息丢失或者为携带时域信息,这些空域节点数据产生的空域数据拓扑分布则可能无法匹配到相应的时域节点拓扑分布进行拓扑融合,那么则将该部分空域数据拓扑分布列为待处理空域数据拓扑分布,以进行后续的处理。举例而言,可以将待处理空域数据拓扑分布中所包括的空域节点业务数据,称之为第一空域节点业务数据,待处理空域数据拓扑分布中可以包括多个第一空域节点业务数据。然后,可以通过预先训练得到业务数据识别模型,提取每个第一空域节点业务数据的业务数据特征,该业务数据特征可以为一个业务数据描述信息。接着,可以对每个第一空域节点业务数据分别对应的业务数据描述信息进行组合,得到全部第一空域节点业务数据对应的全局业务特征信息。最后,可以将第一空域节点业务数据对应的全局业务特征信息,称之为第一全局业务特征信息。该第一全局业务特征信息也就是待处理空域数据拓扑分布的拓扑分布特征,因此,可以将第一全局业务特征信息称之为待处理空域数据拓扑分布的第一拓扑分布描述信息。
子步骤S1024,根据所述每个拓扑分布融合组包括的第二空域节点业务数据,分别获取所述每个拓扑分布融合组中的空域数据拓扑分布的第二拓扑分布描述信息。
本实施例中,获取第二拓扑分布描述信息的方式可以参照第一拓扑分布描述信息的获取方式。例如,所述多个拓扑分布融合组可以包括拓扑分布融合组Ri,i不大于所述多个拓扑分布融合组的总数量;所述拓扑分布融合组Ri包括的第二空域节点业务数据的业务数据片段为多个。基于此,首先可以获取所述拓扑分布融合组Ri包括的多个第二空域节点业务数据中的每个第二空域节点业务数据分别对应的业务数据描述信息;然后根据所述每个第二空域节点业务数据分别对应的业务数据描述信息,获取所述多个第二空域节点业务数据对应的第二全局业务特征信息;最后将所述第二全局业务特征信息,确定为所述拓扑分布融合组Ri中的空域数据拓扑分布的第二拓扑分布描述信息。
子步骤S1025,获取所述第一拓扑分布描述信息分别与所述每个拓扑分布融合组对应的第二拓扑分布描述信息之间的特征差异。
子步骤S1026,根据所述每个拓扑分布融合组对应的特征差异,确定所述每个拓扑分布融合组中的空域数据拓扑分布分别与所述待处理空域数据拓扑分布之间的拓扑关联参数。
举例而言, 本实施例中,在得到待处理空域数据拓扑分布的第一拓扑分布描述信息和每个拓扑分布融合组中的空域数据拓扑分布的第二拓扑分布描述信息之后,可以获取第一拓扑分布描述信息分别与每个第二拓扑分布描述信息之间的特征差异,通过每个拓扑分布融合组对应的特征差异,即可得到待处理空域数据拓扑分布分别与每个拓扑分布融合组中的空域数据拓扑分布之间的拓扑关联参数。例如,特征差异越大,拓扑关联参数越小,特征差异越小,拓扑关联参数越大。因此,可以将每个拓扑分布融合组对应的特征差异的倒数,作为待处理空域数据拓扑分布分别与每个拓扑分布融合组中的空域数据拓扑分布之间的拓扑关联参数,当然拓扑关联参数不仅也可以是根据所述特征差异采取求取倒数之外的其它方式来得到,此处不做限定。
子步骤S1027,统计拓扑关联参数不小于预设关联参数阈值的目标拓扑分布融合组,将所述目标拓扑分布融合组中的时域数据拓扑分布所包含的业务特征信息,确定为与所述待处理空域数据拓扑分布关联的业务特征信息。
子步骤S1028,将与所述待处理空域数据拓扑分布关联的业务特征信息和所述待处理空域数据拓扑分布进行拓扑融合,得到所述待处理空域数据拓扑分布对应的特征拓扑融合组。
子步骤S1029,根据所述特征拓扑融合组和所述多个拓扑分布融合组,确定所述业务数据采集范围中的业务数据流和所述业务数据流对应的业务特征信息。本实施例中,可以将一个拓扑分布融合组或一个拓扑分布融合组所包括的各业务数据作为一个对应的业务数据流,将业务数据流中各业务数据包括的与时空域相关的各特征信息提取为对应的业务特征信息。如此,未进行拓扑融合的待处理空域数据拓扑分布中的业务数据的相关信息也可以被提取出来,使得数据采集更全面更精准。
进一步地,本实施例中,请参阅图4所示,是所述步骤S20的子步骤流程示意图。所述步骤S20可以包括子步骤S201-子步骤S204,具体描述如下。
子步骤S201,将所述业务数据流样本集合输入预设目标业务特征网络进行机器学习,得到已学习目标业务特征网络。
在本实施例中,预设目标业务特征网络可以是缩小版的神经网络(如,VisualGeometry Group Network,VGG),该神经网络的学习方式在此不进行赘述。
子步骤S202,通过所述已学习目标业务特征网络对所述业务数据流样本集合进行目标业务特征检测,得到所述业务数据流样本集合的初始目标业务特征集合。
本实施例中,步骤S202所描述的通过所述已学习目标业务特征网络对所述业务数据流样本集合进行目标业务特征检测,得到初始目标业务特征集合,可以通过以下方式得到。
(1)针对所述业务数据流样本集合中的每个样本业务数据流,获取该样本业务数据流的各数据片段的时空域拓扑分布以及各数据片段的时空域特征。
在本实施例中,所述数据片段的时空域拓扑分布可以参照前述针对步骤S10的相应描述,此处不再赘述。所述数据片段的时空域特征可以包括时域特征和空域特征,时域特征和空域特征的相应定义也可以参照前述针对步骤S10的内容。
(2)当根据所述数据片段的时空域拓扑分布确定出该样本业务数据流中具有干扰数据区块时,根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重确定该样本业务数据流的非干扰数据区块对应的各数据片段的时空域特征与该样本业务数据流的干扰数据区块对应的各数据片段的时空域特征之间的特征差异,并将该样本业务数据流的非干扰数据区块对应的与干扰数据区块对应的数据片段的时空域特征匹配的数据片段的时空域特征划分到所述干扰数据区块。本实施例中,在该样本业务数据流的当前非干扰数据区块对应具有多个数据片段的时空域特征时,根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重确定该样本业务数据流的当前非干扰数据区块对应的各数据片段的时空域特征之间的特征差异,并根据所述各数据片段的时空域特征之间的特征差异对当前非干扰数据区块对应的各数据片段的时空域特征进行特征融合。然后,根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重为上述特征融合获得的数据片段融合特征配置特征标识,并根据所述特征标识将所述数据片段融合特征划分到所述干扰数据区块。
在本实施例中,干扰数据区块和非干扰数据区块可以包括不规则的数据区块和/或规则的数据区块,目标特征检测权重用于表征数据片段的时空域特征的目标特征检测度,目标特征检测权重越高,数据片段的时空域特征的目标特征检测度越大,所包含的信息的区分度越大。特征标识可以用于表征数据片段融合特征的区块调整优先级,根据所述特征标识将所述数据片段融合特征划分到所述干扰数据区块可以是将特征标识对应的区块调整优先级进行降序排列所对应的部分数据片段融合特征划分到所述干扰数据区块。所述特征差异可以用特征向量的向量距离(如余弦距离、欧几里得距离等)进行表示。
在一些可能的实施例中,举例而言,所述根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重确定该样本业务数据流的非干扰数据区块中各数据片段的时空域特征与该样本业务数据流的干扰数据区块对应的各数据片段的时空域特征之间的特征差异,并将该样本业务数据流的非干扰数据区块对应的与干扰数据区块对应的数据片段的时空域特征匹配的数据片段的时空域特征划分到所述干扰数据区块可以通过以下方式实现:
首先,计算该样本业务数据流的非干扰数据区块对应的各数据片段的时空域特征与该样本业务数据流的干扰数据区块对应的各数据片段的时空域特征的特征向量之间的关联参数;
然后,分别判断各关联参数是否达到第一设定参数阈值,并将关联参数达到第一设定参数阈值的非干扰数据区块对应的数据片段的时空域特征划分到所述干扰数据区块;其中,所述数据片段的时空域特征的特征向量为根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重统计出的数据片段的时空域特征和特征标识的匹配结果。
在一些可能的实施例中,所述根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重确定该样本业务数据流的当前非干扰数据区块对应的各数据片段的时空域特征之间的特征差异,并根据所述各数据片段的时空域特征之间的特征差异对当前非干扰数据区块对应的各数据片段的时空域特征进行特征融合,具体实施方式如下:
首先,计算该样本业务数据流的当前非干扰数据区块对应的各数据片段的时空域特征的特征向量之间的关联参数;
然后,针对该样本业务数据流的当前非干扰数据区块对应的一个数据片段的时空域特征,将该数据片段的时空域特征和与其特征向量之间的关联参数达到第二设定参数阈值的所有数据片段的时空域特征进行特征融合得到一数据片段融合特征序列。
(3)基于该样本业务数据流对应的干扰数据区块中的目标数据片段的时空域特征确定样本业务数据流片段,并将确定出的样本业务数据流片段进行整合得到初始目标业务特征集合。本实施例中,所述样本业务数据流片段可以为干扰数据对应样本业务数据流片段。
如此,基于上述(1)-(3)所描述的内容,能够实现对干扰数据区块和非干扰数据区块中的数据片段的时空域特征的重新划分,这样可以将干扰数据区块和非干扰数据区块考虑在内,有利于提高对后期采集的业务数据流进行业务特征分析的精准性。
子步骤S203,将所述初始目标业务特征集合输入预设的第一防干扰特征检测网络进行机器学习,得到第一目标防干扰特征检测网络。
在本实施例中,第一防干扰特征检测网络可以理解为参数量较大的网络,可以理解为大网络。进一步地,将所述初始目标业务特征集合输入预设的第一防干扰特征检测网络进行机器学习,得到第一目标防干扰特征检测网络,一种可实现的方式如下:
采用所述初始目标业务特征集合对预设的第一防干扰特征检测网络进行机器迭代学习,当采用第N次学习得到的第一防干扰特征检测网络对测试业务数据进行目标特征检测所得到的目标特征检测结果达到设定条件时,将第N次学习得到的第一防干扰特征检测网络确定为第一目标防干扰特征检测网络。在本实施例中,设定结果可以根据实际需求而预先设定,例如可以是90%~99,例如可优选为95%,在此不做限定。
子步骤S204,基于联合模型训练策略以及所述第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习,得到第二目标防干扰特征检测网络,使得训练得到的第二目标防干扰特征检测网络的参数量小于第一目标防干扰特征检测网络的参数量。
在本实施例中,第二防干扰特征检测网络可以理解为参数量较第一防干扰特征检测网络小的网络(小网络)。基于此,基于联合模型训练策略以及所述第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习,得到第二目标防干扰特征检测网络,可以通过以下方式实现:
基于预设模型训练评价指标以及所述第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习,得到第二目标防干扰特征检测网络。
在本实施例中,所述预设模型训练评价指标可以为一种预设的损失函数,此处不做限定。
进一步地,在基于预设模型训练评价指标以及所述第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习,得到第二目标防干扰特征检测网络的过程中:当第i次学习得到的所述预设模型训练评价指标的取值位于设定数值区间时,将第i次学习得到的第二防干扰特征检测网络确定为第二目标防干扰特征检测网络。可以理解,设定数值区间可以是趋近于0的区间,例如可以是0.01~0.03,在此不作限定。在一些示例中,第二防干扰特征检测网络的学习终止条件可以是模型训练评价指标(如损失函数值)趋近于0。
本实施例中,基于联合模型训练策略训练得到第二防干扰特征检测网络,联合模型训练策略其本质是基于大网络(大模型)训练小网络(小模型),从而在确保小网络的预测准确性的前提下,避免扩大小网络的参数量。因此,得到的第二防干扰特征检测网络的参数量相对于第一防干扰特征检测网络的参数量有所减少,因而使得第二防干扰特征检测网络可以直接在业务采集终端中运行,以实现业务采集终端上的业务数据流的特征检测,将服务器的检测工作分散在各业务采集终端上实现,可以减少服务器的负担,同时充分发挥各业务采集终端的运算能力。同时,在将第二防干扰特征检测网络部署在业务采集终端时,还可以确保业务采集终端的业务数据流目标特征检测的实时性。
子步骤S205,将第二目标防干扰特征检测网络发送至所述业务采集终端,通过所述业务采集终端根据所述第二目标防干扰特征检测网络对采集的业务数据流进行目标特征检测得到所述采集的业务数据流的业务特征信息。
在本实施例中,业务采集终端可以是手机、平板电脑、笔记本电脑或者其他便携式终端,在此不作限定。在实际实施过程中,确定业务特征信息的方式可以是业务采集终端和服务器协作完成,为实现这一目的,子步骤S205所描述的通过所述业务采集终端以及所述第二目标防干扰特征检测网络对采集的业务数据流进行目标特征检测得到所述采集的业务数据流的业务特征信息,可以通过以下方式实现。
首先,所述业务采集终端基于所述第二目标防干扰特征检测网络提取采集的业务数据流的目标区块对应的待识别数据流特征;其中,所述目标区块可以是所述采集的业务数据流不具有干扰数据的区块。
然后,获取所述业务采集终端发送的所述待识别数据流特征,在预设存储空间中获取与所述待识别数据流特征匹配的目标业务特征信息,将所述目标业务特征信息确定为所述采集的业务数据流的业务特征信息。
在一些示例中,为了确保业务数据流目标特征检测的精准性,需要对待识别数据流特征进行进一步的挖掘,为实现这一目的,上述的在预设存储空间中获取与所述待识别数据流特征匹配的目标业务特征信息,可以包括以下内容。
(a1)对所述待识别数据流特征进行分解,得到多个子数据流特征,并获取多个子数据流特征的空域特征描述信息,以及所述多个子数据流特征在当前目标特征检测时刻之前的m个连续目标特征检测时刻对应的m个待定特征描述序列,其中,每一目标特征检测时刻的待定特征描述序列包括所述子数据流特征在多个特征标识类别下的待定特征描述。
(a2)分别获取各子数据流特征的m个待定特征描述序列中每一待定特征描述序列对应的特征识别度偏移量序列。其中,每一特征识别度偏移量序列包括所述子数据流特征在多个特征标识类别下的特征识别度偏移量,每一特征识别度偏移量表示一个特征标识类别下当前特征识别度与偏移特征识别度之间的偏移量。
(a3)利用已学习的特征识别度调整网络,根据各子数据流特征的空域特征描述信息与m个待定特征描述序列对应的m个特征识别度偏移量序列,获取各子数据流特征在当前目标特征检测时刻的特征识别度偏移量。其中,所述特征识别度调整网络是利用多个网络学习样本学习得到的,每一网络学习样本包括一个子数据流特征的空域特征描述信息以及m+1个连续目标特征检测时刻的特征识别度偏移量序列。所述特征识别度偏移量表示子数据流特征的当前特征识别度与偏移特征识别度之间的偏移量。
在本实施例中,所述特征识别度调整网络可以通过如下学习过程学习得到的:
首先,从网络学习样本库中获取大量的网络学习样本;
然后,通过获取的网络学习样本,按照设定的学习参数对所述特征识别度调整网络进行多次学习,每一次学习过程包括如下步骤:根据所述空域特征描述信息以及m+1个连续目标特征检测时刻中前m个目标特征检测时刻的特征识别度偏移量序列,通过所述特征识别度调整网络,获取每一网络学习样本的子数据流特征在第m+1个目标特征检测时刻的特征识别度偏移量;根据所述网络学习样本的子数据流特征在第m+1个目标特征检测时刻的特征识别度偏移量,与所述网络学习样本中第m+1个目标特征检测时刻的特征识别度偏移量序列,获取所述特征识别度调整网络的网络评估指数;根据所述网络评估指数确定是否继续对所述特征识别度调整网络进行学习;若确定继续对所述特征识别度调整网络进行学习,则修改所述特征识别度调整网络的网络参数,并通过修改后的所述特征识别度调整网络继续下一次学习过程。
在本实施例中,举例而言,所述特征识别度调整网络可以包括特征噪声识别网络层和特征片段拼接网络层。基于此,针对每一子数据流特征,利用特征识别度调整网络获取特征识别度偏移量,可以包括:根据所述m个特征识别度偏移量序列,通过所述特征噪声识别网络层获取子数据流特征的特征噪声识别指标;根据所述空域特征描述信息,通过所述特征片段拼接网络层获取子数据流特征的特征片段拼接指标;基于所述特征噪声识别网络层和所述特征片段拼接网络层的网络层传递参数,根据所述特征噪声识别指标和所述特征片段拼接指标得到在当前目标特征检测时刻的特征识别度偏移量。
(a4)通过各子数据流特征在当前目标特征检测时刻的特征识别度偏移量分别对各子数据流特征的当前特征识别度进行调整;根据各子数据流特征调整后的当前特征识别度,从所述多个子数据流特征中确定目标子数据流特征,根据所述目标子数据流特征对所述待识别数据流特征进行特征组合,得到用于进行数据特征分析的待分析特征。
(a5)在预设存储空间中获取与所述待分析特征的特征差异最小的预存数据流特征,并确定与所述预存数据流特征的关联业务特征信息为所述待识别数据流特征匹配的目标业务特征信息。所述预设存储空间可以提前设定按照指定路径的用于存储业务数据流的相关业务特征信息的存储位置。
这样一来,通过上述方式,能够对待识别数据流特征进行进一步的挖掘,从而对待识别数据流特征进行特征组合,得到用于进行数据特征分析的待分析特征,进而基于待分析特征确定待识别数据流特征匹配的目标业务特征信息,如此,能够尽可能确保数据流目标特征检测的精准性。
进一步参阅图2所示,是所述服务器100包括的业务大数据分析装置110可以包括多个软件功能模块,以用于实现上述的基于人工智能的业务大数据分析方法的各对应步骤。详细地,本实施例中,所述业务大数据分析装置110可以包括样本集合获取模块111和业务数据分析模块112。
所述样本集合获取模块111,用于获取针对数据采集范围预先进行业务大数据采集得到的多个业务数据流样本,得到业务数据流样本集合。
所述业务数据分析模块112,用于根据所述业务数据流样本对预设的防干扰特征检测网络进行机器学习,并通过学习后的防干扰特征检测网络对各业务采集终端采集的业务数据流进行特征检测,得到相应业务数据流的业务特征信息。
所述业务数据分析模块112,具体用于:
将所述业务数据流样本集合输入预设目标业务特征网络进行机器学习,得到已学习目标业务特征网络;
通过所述已学习目标业务特征网络对所述业务数据流样本集合进行目标业务特征检测,得到所述业务数据流样本集合的初始目标业务特征集合;
将所述初始目标业务特征集合输入预设的第一防干扰特征检测网络进行机器学习,得到第一目标防干扰特征检测网络;
基于联合模型训练策略以及所述第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习,得到第二目标防干扰特征检测网络,使得训练得到的第二目标防干扰特征检测网络的参数量小于第一目标防干扰特征检测网络的参数量;
将第二目标防干扰特征检测网络发送至所述业务采集终端,通过所述业务采集终端根据所述第二目标防干扰特征检测网络对采集的业务数据流进行目标特征检测得到所述采集的业务数据流的业务特征信息。
应当理解,上述样本集合获取模块111和所述业务数据分析模块112可分别用于执行上述图3所示的步骤S10和步骤S20对应的方法步骤,关于该两个模块的详细内容及具体的实现方式可以参阅上述针对所述步骤S10和S20的相应内容,此处不再一一赘述。
综上所述,本发明实施例提供的基于人工智能的业务大数据分析方法及服务器,通过对业务数据流样本进行目标业务特征提取,得到目标业务特征样本集合,然后根据所述目标业务特征样本集合对预设的防干扰特征检测网络进行机器学习,并通过学习后的防干扰特征检测网络对各业务采集终端采集的业务数据流进行特征检测,得到相应业务数据流的业务特征信息。能够尽可能减少干扰数据对采集的业务数据流的目标特征检测准确性的影响,从而提高业务数据流目标特征检测的准确性。
此外,进一步采用目标业务特征样本集合学习预设目标业务特征网络得到已学习目标业务特征网络并对业务数据流样本集合进行目标业务特征检测得到初始目标业务特征集合,其次采用初始目标业务特征集合学习预设的第一防干扰特征检测网络得到第一目标防干扰特征检测网络并基于联合模型训练策略以及第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习得到第二目标防干扰特征检测网络,这样,可以将第二目标防干扰特征检测网络发送至业务采集终端,从而通过业务采集终端以及第二目标防干扰特征检测网络对采集的业务数据流进行目标特征检测得到目标特征检测结果,并基于目标特征检测结果确定采集的业务数据流的业务特征信息。基于联合模型训练策略训练得到第二防干扰特征检测网络,由于联合模型训练策略本质上是基于大模型去训练小模型,从而在确保小模型的预测准确性的前提下,避免扩大小模型的参数量。因此,得到的第二防干扰特征检测网络的参数量相对于第一防干扰特征检测网络的参数量有所减少,因而使得第二防干扰特征检测网络可以直接在业务采集终端中运行,以实现业务采集终端上的业务数据流的特征检测,将服务器的检测工作分散在各业务采集终端上实现,可以减少服务器的负担,同时充分发挥各业务采集终端的运算能力。同时,在将第二防干扰特征检测网络部署在业务采集终端时,还可以确保业务采集终端的业务数据流目标特征检测的实时性。
以上所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。通常在附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,在附图中提供的本发明的实施例的详细描述并非旨在限制本发明的保护范围,而仅仅是表示本发明的选定实施例。因此,本发明的保护范围应以权利要求的保护范围为准。此外,基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它实施例,都应属于本发明保护的范围。
Claims (8)
1.一种基于人工智能的业务大数据特征采集方法,其特征在于,应用于与业务采集终端通信的服务器,所述方法包括:
获取针对数据采集范围预先进行业务大数据采集得到的多个业务数据流样本,得到业务数据流样本集合,将所述业务数据流样本集合输入预设目标业务特征网络进行机器学习,得到已学习目标业务特征网络;
通过所述已学习目标业务特征网络对所述业务数据流样本集合进行目标业务特征检测,得到所述业务数据流样本集合的初始目标业务特征集合,并将所述初始目标业务特征集合输入预设的第一防干扰特征检测网络进行机器学习,得到第一目标防干扰特征检测网络;
基于联合模型训练策略以及所述第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习,得到第二目标防干扰特征检测网络,使得训练得到的第二目标防干扰特征检测网络的参数量小于第一目标防干扰特征检测网络的参数量;
将第二目标防干扰特征检测网络发送至所述业务采集终端,通过所述业务采集终端基于所述第二目标防干扰特征检测网络提取采集的业务数据流的目标区块对应的待识别数据流特征;其中,所述目标区块是所述采集的业务数据流不具有干扰数据的区块;
获取所述业务采集终端发送的所述待识别数据流特征,并在预设存储空间中获取与所述待识别数据流特征匹配的目标业务特征信息,将所述目标业务特征信息确定为所述采集的业务数据流的业务特征信息。
2.根据权利要求1所述的方法,其特征在于,将所述初始目标业务特征集合输入预设的第一防干扰特征检测网络进行机器学习,得到第一目标防干扰特征检测网络,包括:
采用所述初始目标业务特征集合对预设的第一防干扰特征检测网络进行机器迭代学习,在采用第N次学习得到的第一防干扰特征检测网络对预先确定的测试业务数据进行目标特征检测所得到的目标特征检测结果达到设定条件时,将第N次学习得到的第一防干扰特征检测网络确定为第一目标防干扰特征检测网络。
3.根据权利要求1所述的方法,其特征在于,基于联合模型训练策略以及所述第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习,得到第二目标防干扰特征检测网络,包括:
基于预设模型训练评价指标以及所述第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习,得到第二目标防干扰特征检测网络;
其中,基于预设模型训练评价指标以及所述第一目标防干扰特征检测网络对预设的第二防干扰特征检测网络进行机器学习,得到第二目标防干扰特征检测网络,包括:
当第i次学习得到的所述预设模型训练评价指标的取值位于设定数值区间时,将第i次学习得到的第二防干扰特征检测网络确定为第二目标防干扰特征检测网络。
4.根据权利要求1所述的方法,其特征在于,通过所述已学习目标业务特征网络对所述业务数据流样本集合进行目标业务特征检测,得到初始目标业务特征集合,包括:
针对所述业务数据流样本集合中的每个样本业务数据流,获取该样本业务数据流的数据片段的时空域拓扑分布以及各数据片段的时空域特征;
当根据所述数据片段的时空域拓扑分布确定出该样本业务数据流中具有干扰数据区块时,根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重确定该样本业务数据流的非干扰数据区块对应的各数据片段的时空域特征与该样本业务数据流的干扰数据区块对应的各数据片段的时空域特征之间的特征差异,并将该样本业务数据流的非干扰数据区块中与干扰数据区块对应的数据片段的时空域特征匹配的数据片段的时空域特征划分到所述干扰数据区块;其中,在该样本业务数据流的当前非干扰数据区块具有多个数据片段的时空域特征时,根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重确定该样本业务数据流的当前非干扰数据区块对应的各数据片段的时空域特征之间的特征差异,并根据所述各数据片段的时空域特征之间的特征差异对当前非干扰数据区块对应的各数据片段的时空域特征进行特征融合;根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重为上述特征融合获得的数据片段融合特征配置特征标识,并根据所述特征标识将所述数据片段融合特征划分到所述干扰数据区块;
基于该样本业务数据流对应的干扰数据区块中的目标数据片段的时空域特征确定样本业务数据流片段,并将确定出的样本业务数据流片段进行整合得到初始目标业务特征集合;其中,所述样本业务数据流片段为干扰数据对应样本业务数据流片段;
其中,所述根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重确定该样本业务数据流的非干扰数据区块对应的各数据片段的时空域特征与该样本业务数据流的干扰数据区块对应的各数据片段的时空域特征之间的特征差异,并将该样本业务数据流的非干扰数据区块对应的与干扰数据区块对应的数据片段的时空域特征匹配的数据片段的时空域特征划分到所述干扰数据区块包括:
计算该样本业务数据流的非干扰数据区块对应的各数据片段的时空域特征的特征向量与该样本业务数据流的干扰数据区块对应的各数据片段的时空域特征的特征向量之间的关联参数;
分别判断计算得到各关联参数是否达到第一设定参数阈值,并将关联参数达到第一设定参数阈值的非干扰数据区块对应的数据片段的时空域特征划分到所述干扰数据区块;其中,所述数据片段的时空域特征的特征向量为:根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重统计出的数据片段的时空域特征和特征标识的匹配结果;
其中,所述根据该样本业务数据流的干扰数据区块对应的数据片段的时空域特征及其目标特征检测权重确定该样本业务数据流的当前非干扰数据区块对应的各数据片段的时空域特征之间的特征差异,并根据所述各数据片段的时空域特征之间的特征差异对当前非干扰数据区块对应的各数据片段的时空域特征进行特征融合包括:
计算该样本业务数据流的当前非干扰数据区块对应的各数据片段的时空域特征的特征向量之间的关联参数;针对该样本业务数据流的当前非干扰数据区块对应的一个数据片段的时空域特征,将该数据片段的时空域特征和与其特征向量之间的关联参数达到第二设定参数阈值的所有数据片段的时空域特征进行特征融合得到一数据片段融合特征序列。
5.根据权利要求1所述的方法,其特征在于,在预设存储空间中获取与所述待识别数据流特征匹配的目标业务特征信息,包括:
对所述待识别数据流特征进行分解,得到多个子数据流特征;获取多个子数据流特征的空域特征描述信息,以及所述多个子数据流特征在当前目标特征检测时刻之前的m个连续目标特征检测时刻对应的m个待定特征描述序列,其中,每一目标特征检测时刻的待定特征描述序列包括所述子数据流特征在多个特征标识类别下的待定特征描述;
分别获取各子数据流特征的m个待定特征描述序列中每一待定特征描述序列对应的特征识别度偏移量序列;其中,每一特征识别度偏移量序列包括所述子数据流特征在多个特征标识类别下的特征识别度偏移量,每一特征识别度偏移量表示一个特征标识类别下当前特征识别度与偏移特征识别度之间的偏移量;
利用已学习的特征识别度调整网络,根据各子数据流特征的空域特征描述信息与m个待定特征描述序列对应的m个特征识别度偏移量序列,获取各子数据流特征在当前目标特征检测时刻的特征识别度偏移量;其中,所述特征识别度调整网络为预先利用多个网络学习样本学习得到,每一网络学习样本包括一个子数据流特征的空域特征描述信息以及m+1个连续目标特征检测时刻的特征识别度偏移量序列;所述特征识别度偏移量表示子数据流特征的当前特征识别度与偏移特征识别度之间的偏移量;
通过各子数据流特征在当前目标特征检测时刻的特征识别度偏移量分别对各子数据流特征的当前特征识别度进行调整;根据各子数据流特征调整后的当前特征识别度,从所述多个子数据流特征中确定目标子数据流特征,根据所述目标子数据流特征对所述待识别数据流特征进行特征组合,得到用于进行数据特征分析的待分析特征;
在预设存储空间中获取与所述待分析特征的特征差异最小的预存数据流特征,并确定与所述预存数据流特征的关联业务特征信息为所述待识别数据流特征匹配的目标业务特征信息;
其中,所述特征识别度调整网络是通过如下学习过程学习得到的:从网络学习样本库中获取大量的网络学习样本;通过获取的网络学习样本,按照设定的学习参数对所述特征识别度调整网络进行多次以下学习过程:
根据所述空域特征描述信息以及m+1个连续目标特征检测时刻中前m个目标特征检测时刻的特征识别度偏移量序列,通过所述特征识别度调整网络,获取每一网络学习样本的子数据流特征在第m+1个目标特征检测时刻的特征识别度偏移量;
根据所述网络学习样本的子数据流特征在第m+1个目标特征检测时刻的特征识别度偏移量,与所述网络学习样本中第m+1个目标特征检测时刻的特征识别度偏移量序列,获取所述特征识别度调整网络的网络评估指数;
根据所述网络评估指数确定是否继续对所述特征识别度调整网络进行学习;若确定继续对所述特征识别度调整网络进行学习,则修改所述特征识别度调整网络的网络参数,并通过修改后的所述特征识别度调整网络继续下一次学习过程。
6.根据权利要求1所述的方法,其特征在于,所述获取针对数据采集范围预先进行业务大数据采集得到的多个业务数据流样本,得到业务数据流样本集合,包括:
针对预先设定的用于进行业务大数据采集的业务数据采集范围中产生的业务数据分别进行时域节点以及空域节点的节点数据采集,得到时空域节点数据;所述时空域节点数据包括所述业务数据采集范围中产生的业务数据对应的时域节点数据和空域节点数据;
对所述时空域节点数据进行拓扑融合分析,得到所述业务数据采集范围中的多个业务数据流和所述业务数据流对应的业务特征信息,并根据所述业务数据流和对应的业务特征信息得到业务数据流样本集合,以用于作为人工智能机器学习的业务数据学习样本进行机器学习。
7.根据权利要求6所述的方法,其特征在于,所述对所述时空域节点数据进行拓扑融合分析,得到所述业务数据采集范围中的多个业务数据流和所述业务数据流对应的业务特征信息包括:
分别将所述时空域节点数据中的时域节点数据和空域节点数据形成多个时域数据拓扑分布和多个空域数据拓扑分布;
根据时域数据拓扑分布和空域数据拓扑分布之间的业务拓扑关系,对所述业务数据采集范围中产生的各时域数据拓扑分布和各空域数据拓扑分布进行拓扑融合,得到多个拓扑分布融合组;每个拓扑分布融合组中的空域数据拓扑分布分别包括所述业务数据采集范围中的第二空域节点业务数据;
将未进行拓扑融合的空域数据拓扑分布确定为待处理空域数据拓扑分布,根据所述待处理空域数据拓扑分布包含的第一空域节点业务数据,获取所述待处理空域数据拓扑分布的第一拓扑分布描述信息;所述第一空域节点业务数据包含于所述业务数据采集范围;
根据所述每个拓扑分布融合组包括的第二空域节点业务数据,分别获取所述每个拓扑分布融合组中的空域数据拓扑分布的第二拓扑分布描述信息;
获取所述第一拓扑分布描述信息分别与所述每个拓扑分布融合组对应的第二拓扑分布描述信息之间的特征差异;
根据所述每个拓扑分布融合组对应的特征差异,确定所述每个拓扑分布融合组中的空域数据拓扑分布分别与所述待处理空域数据拓扑分布之间的拓扑关联参数;
统计拓扑关联参数不小于预设关联参数阈值的目标拓扑分布融合组的数量,将所述目标拓扑分布融合组中的时域数据拓扑分布所包含的业务特征信息,确定为与所述待处理空域数据拓扑分布关联的业务特征信息;
将与所述待处理空域数据拓扑分布关联的业务特征信息和所述待处理空域数据拓扑分布进行拓扑融合,得到特征拓扑融合组;
根据所述特征拓扑融合组和所述多个拓扑分布融合组,确定所述业务数据采集范围中的业务数据流和所述业务数据流对应的业务特征信息。
8.一种服务器,其特征在于,包括处理器和存储器,所述处理器执行所述存储器中存储的计算机程序,以实现权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110904997.3A CN113610157A (zh) | 2021-01-20 | 2021-01-20 | 基于人工智能的业务大数据特征采集方法及服务器 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110904997.3A CN113610157A (zh) | 2021-01-20 | 2021-01-20 | 基于人工智能的业务大数据特征采集方法及服务器 |
CN202110077113.1A CN112801155B (zh) | 2021-01-20 | 2021-01-20 | 基于人工智能的业务大数据分析方法及服务器 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110077113.1A Division CN112801155B (zh) | 2021-01-20 | 2021-01-20 | 基于人工智能的业务大数据分析方法及服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113610157A true CN113610157A (zh) | 2021-11-05 |
Family
ID=75810779
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110904996.9A Withdrawn CN113610156A (zh) | 2021-01-20 | 2021-01-20 | 用于大数据分析的人工智能模型机器学习方法及服务器 |
CN202110077113.1A Active CN112801155B (zh) | 2021-01-20 | 2021-01-20 | 基于人工智能的业务大数据分析方法及服务器 |
CN202110904997.3A Withdrawn CN113610157A (zh) | 2021-01-20 | 2021-01-20 | 基于人工智能的业务大数据特征采集方法及服务器 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110904996.9A Withdrawn CN113610156A (zh) | 2021-01-20 | 2021-01-20 | 用于大数据分析的人工智能模型机器学习方法及服务器 |
CN202110077113.1A Active CN112801155B (zh) | 2021-01-20 | 2021-01-20 | 基于人工智能的业务大数据分析方法及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN113610156A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117727298A (zh) * | 2024-02-09 | 2024-03-19 | 广州紫麦科技有限公司 | 基于深度学习的手提电脑语音识别方法及系统 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114002247B (zh) * | 2021-11-23 | 2024-05-07 | 苏州青云瑞晶生物科技有限公司 | 对电子束敏感晶体的三维电子衍射数据采集方法及系统 |
CN115048370B (zh) * | 2022-07-06 | 2023-01-03 | 广州劲源科技发展股份有限公司 | 用于大数据清洗的人工智能处理方法及大数据清洗系统 |
CN118094430B (zh) * | 2024-03-13 | 2024-08-06 | 中国农业科学院农业信息研究所 | 一种用于产业数据检测的数据处理方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009086293A (ja) * | 2007-09-28 | 2009-04-23 | Toshiba Corp | 形状予測方法、フォトマスクの製造方法、電子部品の製造方法、および形状予測プログラム |
CN108549901A (zh) * | 2018-03-12 | 2018-09-18 | 佛山市顺德区中山大学研究院 | 一种基于深度学习的快速迭代目标检测方法 |
CN108549937A (zh) * | 2018-04-24 | 2018-09-18 | 厦门中控智慧信息技术有限公司 | 一种检测网络的知识迁移方法及装置 |
CN110569322A (zh) * | 2019-07-26 | 2019-12-13 | 苏宁云计算有限公司 | 地址信息解析方法、装置、系统及数据获取方法 |
CN110796110B (zh) * | 2019-11-05 | 2022-07-26 | 西安电子科技大学 | 一种基于图卷积网络的人体行为识别方法及系统 |
CN111916109B (zh) * | 2020-08-12 | 2024-03-15 | 北京鸿联九五信息产业有限公司 | 一种基于特征的音频分类方法、装置及计算设备 |
CN112115954B (zh) * | 2020-09-30 | 2022-03-29 | 广州云从人工智能技术有限公司 | 一种特征提取方法、装置、机器可读介质及设备 |
CN112114907A (zh) * | 2020-10-16 | 2020-12-22 | 詹启新 | 基于电子商务云计算的应用加载方法及人工智能计算中心 |
-
2021
- 2021-01-20 CN CN202110904996.9A patent/CN113610156A/zh not_active Withdrawn
- 2021-01-20 CN CN202110077113.1A patent/CN112801155B/zh active Active
- 2021-01-20 CN CN202110904997.3A patent/CN113610157A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117727298A (zh) * | 2024-02-09 | 2024-03-19 | 广州紫麦科技有限公司 | 基于深度学习的手提电脑语音识别方法及系统 |
CN117727298B (zh) * | 2024-02-09 | 2024-04-19 | 广州紫麦科技有限公司 | 基于深度学习的手提电脑语音识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113610156A (zh) | 2021-11-05 |
CN112801155A (zh) | 2021-05-14 |
CN112801155B (zh) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112801155B (zh) | 基于人工智能的业务大数据分析方法及服务器 | |
CN109034660B (zh) | 基于预测模型的风险控制策略的确定方法及相关装置 | |
CN106992994B (zh) | 一种云服务的自动化监控方法和系统 | |
CN111614690A (zh) | 一种异常行为检测方法及装置 | |
CN111611519B (zh) | 一种个人异常行为检测方法及装置 | |
CN112311803A (zh) | 一种规则库更新方法、装置、电子设备及可读存储介质 | |
CN109214178A (zh) | App应用恶意行为检测方法及装置 | |
CN111090807A (zh) | 一种基于知识图谱的用户识别方法及装置 | |
CN113746780B (zh) | 基于主机画像的异常主机检测方法、装置、介质和设备 | |
CN111586071A (zh) | 一种基于循环神经网络模型的加密攻击检测方法及装置 | |
CN113098884A (zh) | 基于大数据的网络安全监控方法、云平台系统及介质 | |
CN116827656A (zh) | 网络信息安全防护系统及其方法 | |
CN115396324A (zh) | 一种网络安全态势感知预警处理系统 | |
CN106301979A (zh) | 检测异常渠道的方法和系统 | |
CN114422271A (zh) | 数据处理方法、装置、设备及可读存储介质 | |
CN112801156B (zh) | 用于人工智能机器学习的业务大数据采集方法及服务器 | |
CN111178421B (zh) | 检测用户状态的方法、装置、介质以及电子设备 | |
CN107222319B (zh) | 一种通信操作分析方法及装置 | |
CN112905987A (zh) | 账号识别方法、装置、服务器及存储介质 | |
CN109995605B (zh) | 一种流量识别方法、装置以及计算机可读存储介质 | |
CN117391214A (zh) | 模型训练方法、装置及相关设备 | |
CN111835541B (zh) | 一种流量识别模型老化检测方法、装置、设备及系统 | |
CN111385342B (zh) | 一种物联网行业识别方法、装置、电子设备及存储介质 | |
CN111861379A (zh) | 一种聊天数据的检测方法和装置 | |
CN111506510B (zh) | 一种软件质量确定方法和相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211105 |
|
WW01 | Invention patent application withdrawn after publication |