CN112989949A - 网络场景识别方法、设备及存储介质 - Google Patents
网络场景识别方法、设备及存储介质 Download PDFInfo
- Publication number
- CN112989949A CN112989949A CN202110184169.7A CN202110184169A CN112989949A CN 112989949 A CN112989949 A CN 112989949A CN 202110184169 A CN202110184169 A CN 202110184169A CN 112989949 A CN112989949 A CN 112989949A
- Authority
- CN
- China
- Prior art keywords
- network
- scene
- text type
- network scene
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种网络场景识别方法、设备及存储介质。在本申请一些实施例中,根据待识别网络中的网络设备上报的所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征,自动采集待识别网络中的所属的网络组内设备文本类型数据和设备子类型集合进行分析建模,既简化了人工构建特征的时间成本,又提高了特征的有效性;将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景,利用网络场景识别模型,提高场景识别的精准度。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种网络场景识别方法、设备及存储介质。
背景技术
随着信息技术的高速发展,网络已经成为人们生活不可或缺的一部分。不同的网络场景下,网络设备配置、用户分布、业务量和业务种类都不同。因此,为了提高用户上网体验,需要识别出网络的所属场景,并针对不同网络场景配置相应的网络参数及应用,从而实现基于不同网络场景的智能运维。
目前,对网络进行网络场景识别的准确率较低,这无疑会影响后续对网络进行优化的适配度,影响网络性能以及用户的上网体验。
发明内容
本申请的多个方面提供一种网络场景识别方法、设备及存储介质,用以提高网络场景识别的精准度。
本申请实施例提供一种网络场景识别方法,包括:
根据待识别网络中的网络设备上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征;
将所述多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;
根据所述待识别网络与所述至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定所述待识别网络所属的网络场景。
本申请实施还提供一种网络管理设备,包括:存储器、处理器和通信组件;
所述通信组件,用于接收待识别网络中的网络设备上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
根据待识别网络中的网络设备上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征;
将所述多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;
根据所述待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定所述待识别网络所属的网络场景。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被执行时,实现上述方法中的步骤。
在本申请一些实施例中,根据待识别网络中的网络设备上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征,自动采集待识别网络中的网络设备所属的网络组内设备文本类型数据和设备子类型集合进行分析建模,该类数据易于获取,既简化了人工构建特征的时间成本,又提高了特征的有效性;将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景,利用网络场景识别模型,提高场景识别的精准度,进而提高后续网络进行优化的适配度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1a为本申请示例性实施例提供的一种网络场景识别系统的结构示意图;
图1b为本申请实施例提供的改进的fasttext模型的结构示意图;
图2为本申请实施例提供的一种网络场景识别方法的流程示意图;
图3为本申请示例性实施例提供的一种网络管理设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有技术方案主要依赖于人工定义规则或者基于用户行为数据的网络场景识别,这些方式存在以下几个问题:
一,人工定义规则的场景识别方法具有较大误差,且需要较多的人工资源开销。人工定义规则识别场景类型的方式需要对每种场景构建相应的规则,例如假设定义项目名存在“家”字样的网络,识别为“家居”场景,则当遇到“家乐福”(实际场景为商业场景),“家天下酒店”(实际场景为酒店场景)字样时,则会出现误判现象。此外,网络项目中的场景会随着网络所在场所的职能变化而变化,人工定义规则的方式难以保证较高的场景识别正确率,且无法对场景的变化进行及时更新。随着网络场景的不断新增,其规则也需要不断完善,构建并维护一个完整的规则库开销较大。
二,基于用户行为数据的网络场景识别,主要依赖于网络用户行为数据,且用户行为数据的收集需要一定的时间,通常以天作为周期;因此,该方法的实现具备一定的局限性和时间延迟。其中局限性主要体现在,传统网络场景识别主要依赖用户行为网络指标的相关数据,该类数据的获取及处理往往具备一定的困难。例如,对于一个网络项目中,如果在目标时间段内无用户或者用户无上网行为,则无法收集到相关数据,进而无法识别出该网络项目的所属网络场景;若网络项目中用户行为数据过多,则会造成较大的识别开销。
针对上述存在的技术问题,在本申请一些实施例中,根据待识别网络中的网络设备上报的所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征,自动采集待识别网络中的网络设备所属的网络组内设备文本类型数据和设备子类型集合进行分析建模,该类数据易于获取,既简化了人工构建特征的时间成本,又提高了特征的有效性;将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景,利用网络场景识别模型,提高场景识别的精准度,进而提高后续网络进行优化的适配度。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1a为本申请示例性实施例提供的一种网络场景识别系统10的结构示意图。如图1a所示,该网络场景识别系统10包括网络管理设备10a和与网络管理设备10a通信连接的至少一个网络组,网络管理设备10a对至少一个网络组进行管理。其中,每个网络组包括至少一台网络设备10b。图1a中所呈现的网络设备10b和网络管理设备10a只是示例性说明,并不对二者的实现形式做限定。
其中,网络组是指一个物理区域内接入网络管理设备10a的所有网络设备10b的集合,网络组在网络管理设备10a中属于一个逻辑分组。
其中,网络管理设备10a和网络设备10b之间采用有线或者无线连接。可选地,网络管理设备10a可以采用WIFI、蓝牙、红外等通信方式和网络设备10b建立通信连接,或者,网络管理设备10a也可以通过移动网络与网络设备10b建立通信连接。其中,移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax等中的任意一种。
在本实施例中,网络设备10b是指将各个有线或无线网络终端设备连接到一起,然后将有线或无线网络接入以太网的设备。例如,可以是集线器、交换机、路由器、光猫、无线访问接入点(Wireless Access Point,AP)等具有路由功能的设备,但不限于此。
其中,与网络设备10b所连接的终端设备是指用户使用的,具有用户所需计算、上网、通信等功能的设备,例如可以是智能手机、平板电脑、个人电脑、穿戴设备等。终端设备通信包括至少一个处理单元和至少一个存储器。处理单元和存储器的数量取决于终端设备的配置和类型。存储器可以包括易失性的,例如RAM,也可以包括非易失性的,例如只读存储器(Read-Only Memory,ROM)、闪存等,或者也可以同时包括两种类型的。存储器内通常存储有操作系统(Operating System,OS)、一个或多个应用软件,也可以存储有程序数据等。除了处理单元和存储器之外,终端设备也会包括网卡芯片、IO总线、音视频组件等基本配置。可选地,根据终端设备的实现形式,终端设备也可以包括一些外围设备,例如键盘、鼠标、输入笔、打印机等。这些外围设备在本领域中是众所周知的,在此不做赘述。
在本实施例中,将网络管理设备10a管理的整个网络称为整网,一个物理区域内接入网络管理设备10a的网络设备10b,对网络管理设备10a而言,属于一个逻辑分组,该逻辑分组定义网络组。在本实施例中,场景识别主要对网络组的网络场景进行识别。例如,在物理区域为酒店时,网络管理设备10a对该物理区域内的网络进行识别,并确定该网络所属场景为酒店场景。又例如,在物理区域为办公大楼时,网络管理设备10a对该物理区域内的网络进行识别,并确定该网络所属场景为办公场景。需要说明的是,各类行业场景又能再细分为各类子场景,例如,教育场景下主要包括幼儿园、小学、中学、高等院校、培训机构、职业学校等子场景;家居场景又分为别墅、普通家居等子场景。本申请所描述的网络场景均表示上述的行业场景与子场景,统称为网络场景。不同的网络场景下,网络设备配置、用户分布、业务量和业务种类都不同。因此,为了提高用户上网体验,需要识别出网络的所属场景,并针对不同网络场景配置相应的网络参数及应用,从而实现基于不同网络场景的智能运维。
可选地,在本实施例中,可以根据整网中网络设备所在的物理区域,对整网中的网络设备按照物理区域进行划分,以形成至少一个网络组,并从至少一个网络组中确定待识别网络,对其所属的网络场景进行识别。或者,也可以根据网络设备所能实现的业务功能,将具有相同业务功能的网络设备划分为一个网络组,从而形成至少一个网络组,并从至少一个网络组中确定待识别网络,对其所属的网络场景进行识别。
可选地,在本申请实施例中,待识别网络中的至少一台网络设备10b可向网络管理设备10a发送场景识别请求。相应的,网络管理设备10a接收该识别请求,并根据网络场景识别请求,将发出该识别请求的网络设备所属的网络组作为待识别网络。
进一步,用户可操作待识别网络中的至少一台网络设备10b上的相关按钮或相应的软件界面的控制组件等,至少一台网络设备10b响应用户的相关操作,向网络管理设备10a发送网络场景识别请求。或者,可在至少一台网络设备10b上预设识别请求发送周期,并启动一个定时器或计数器对该请求发送周期进行计时。每当识别请求发送周期到达时,待识别网络中的至少一台网络设备10b向网络管理设备10a发送网络场景识别请求。
或者,在本申请各实施例中,可以在网络管理设备10a中预设场景识别周期,并启动一个定时器或计数器对该场景识别周期进行计时。每当场景识别周期到达时,将当前周期应该识别的网络组作为待识别网络。
在本实施例中,网络管理设备10a根据待识别网络中的网络设备上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征;网络管理设备10a将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;网络管理设备10a根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景。
需要说明的是,网络设备所属的网络组内设备文本类型数据主要包括项目名称、项目内网络设备名称,SSID名称等。设备子类型集合,主要为项目内所有设备细分类型的集合;对于项目而言,常见的网络设备类型主要为AP(无线接入点)、网关、交换机、路由器、网桥、AC(接入控制器);对于每种类型的网络设备还能根据其功能性进行进一步划分,例如以交换机为例,根据接入关系来区分,可以划分为接入交换机、汇聚交换机、核心交换机;根据接口数量来划分,可以去划分为8口交换机、16口交换、24口交换机、48口交换机等。在不同场景的网络组项目中,其网络组的网络设备所属的网络组内设备文本类型数据和设备子类型集合均有所区分,例如在“家居-别墅”场景中,网络设备所属的网络组内设备文本类型数据会出现“别墅”、“庭院”、“Home”等文本关键字,设备子类型集合常见为“面板AP、百兆网关、接入交换机“等细分类型组合,往往不会出现”汇聚交换机,核心交换机“等细分类型。
在使用网络场景识别模型之前,首先需要对网络场景识别模型的训练过程作出说明:
一,制作测试样本集和训练样本集。
每当在网络组中接入网络设备10b时,网络设备10b将所属的网络组内的设备文本类型数据和设备子类型集合上传至网络管理设备10a中,网络管理设备10a记录相应的网络组内的设备文本类型数据和设备子类型集合,存储至数据库中。设备文本类型数据和设备子类型集合保存在网络管理设备10a的设备管理数据表中。
根据采集到的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建进行模型训练的多维文本类型特征。一种可实现的方式为,对网络设备所属的网络组内设备文本类型数据进行分词处理,得到多个分词;以及对设备子类型集合中的每个子元素增加指定标识,得到增加指定标识后的设备子类型集合;将多个分词和增加指定标识后的设备子类型集合按照预设的组合规则进行组合,生成多维文本类型特征。
例如,首先将所采集到的多维网络设备所属的网络组内设备文本类型数据分别作数据清理。过滤相关文本默认样式,如“_自动生成”(常见的默认文本填充格式)等。再过滤异常字符,如,用空格替代数据中的符号,如“-”,“_”等。
在对采集到的多维网络设备所属的网络组内设备文本类型数据分别作数据清理后,采用分词算法对网络设备所属的网络组内设备文本类型数据进行分词处理,得到多个分词。例如,采用分词算法,将项目名称、项目内网络设备名称,SSID名称进行分词处理,得到多个分词。
另外,对设备子类型集合中的每个子元素增加指定标识。例如,对于设备子类型集合中的子元素,新增“t_”字符标识,设备子类型集合为:<面板AP,室外AP,千兆接入交换机,千兆网关>,最终转化为<t_面板AP,t_室外AP,t_千兆接入交换机,t_千兆网关>。
最后,将多个分词和增加指定标识后的设备子类型集合按照预设的组合规则进行组合,生成多维文本类型特征。例如,将多个分词和增加指定标识后的设备子类型集合按照(__label_场景类型,项目名称,网络设备名称集合,SSID名称集合,设备子类型集合)的顺序进行拼接,若不存在相应子元素值,则置为空。网络组的网络设备所属的网络组内设备文本类型数据为:项目名称:“王总别墅”,设备名称集合:<“主卧”,“车库”,“花园”,“客厅”>,SSID名称集合:<“family”,“iot终端专用”>;设备子类型集合<“面板AP”,“室外AP”,“千兆接入交换机”,“千兆网关”>,该网络组属于“家居-别墅”场景;最终生成多维文本类型特征为“__label__家居-别墅,王总别墅,主卧,车库,花园,客厅,family,iot终端专用,t_面板AP,t_室外AP,t_千兆接入交换机,t_千兆网关”,即可作为训练集样本。如果是测试集样本,即不包含所属场景类型信息,即为“王总别墅,主卧,车库,花园,客厅,family,iot终端专用,t_面板AP,t_室外AP,t_千兆接入交换机,t_千兆网关”。其中,上述“__label__”为默认标注格式。
此外,通过业务经验与实际调研的方式,确认部分网络组所属场景类型,并对网络组进行场景类型标注。将已经确认所属场景类型的网络组对应的多维文本类型特征,作为场景识别模型的训练样本集,用于训练场景识别模型的精度;而未确认所属场景的网络组对应的多维文本类型特征,作为场景识别模型的测试样本集。
二,初始模型的搭建。
如图1b所示,本申请搭建一个浅层的神经网络模型,对fasttext模型作改进,主要包括输入层、隐含层和输出层。模型的输入层对多维样本文本类型特征进行向量化处理以及自适应随机丢弃处理,得到样本词向量矩阵;模型的隐含层对词向量矩阵进行降维处理,得到降维向量;模型的输出层对降维向量进行所属网络场景的概率预测,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。
1,添加输入层
输入层的输入为经过预处理的多维度文本类型特征,多维度文本类型特征通过word2vec算法,转化为其词向量表示。对于一个网络项目而言,多维文本类型特征包括项目名称,项目下网络设备名称,SSID名称,设备子类型集合等多种元素,将多维文本类型特征进行分词后,每个子元素即可视为一个单词,因此,可以通过词向量的方式来表示多维文本类型特征。词向量维度可以自行设置,令词向量维度为x,文本单词数为g,则通过word2vec方法,可生成特征矩阵W结构为x*g。如图1b中W1,W2…Wn即为多维度文本型数据的词向量表示。本申请实施例神经网络模型构建了自适应随机丢弃机制,每个词根据其在所属类别出现的频率,自适应生成其丢弃概率阈值,保证重要词不会被轻易丢弃,令dropout()表示自适应随机丢弃机制,p表示[0,1]随机数,c表示训练类别,wi表示输入文本信息(单个词)的词向量表示,i表示输入词,t(c,i)表示词i的自适应丢弃概率。如下公式所示,对于i词而言,当随机数p大于丢弃概率t时,此时保留i词,用于后续训练;否则丢弃该词:
而t(c,i)丢弃概率阈值的表现形式如下:
t(c,i)=min(0.382,(1-(n(c,i)/N(c))2/2)
其中n(c,i)表示词i在类别c中出现的次数,N(c)表示类别c的记录数。t(c,i)的设定既保证了关键信息不会被轻易丢弃,也使模型能够从剩余文本中寻找有用的信息。
通过word2vec和自适应随机丢弃机制,最终生成特征矩阵(等同于词向量矩阵)W,送入隐含层计算。
2,添加隐含层
隐含层主要对输入层传入的词向量矩阵进行叠加平均的计算,令h表示单个词i在隐含层的表示,具体如下:
进而结合sigmoid函数,最终得到隐含层的输出的降维向量z,
z=sigmoid(Woh)
其中Wo表示从隐含层到输出层的权重,此时隐含层输出向量z的结构为x*1,其中,Wo为隐含层的网络参数。
3,添加输出层
模型最终需要对多维文本类型特征预测所属场景类别,本申请选择softmax作为最终分类器。为了加快训练过程,在fasttext模型中主要使用hierarchical softmax进行处理,hierarchical softmax和普通softmax的区别在于hierarchical softmax通过霍夫曼编码树这一数据结构进行实现的。令表示输出向量,具体表示如下:
该层指定了网络场景类型数据CLASS_NUM,因此对于一个网络项目的多维文本类型特征,输出层会产生CLASS_NUM个概率值,分别表示此文档属于当前网络场景类别的可能性,输出向量的结构为CLASS_NUM*1。
4,指定损失函数、优化器类型、评价指标
训练fasttext模型需要针对分类器设定指定损失函数、优化器类型、及评价函数。常见损失平方损失函数、指数损失函数、对数损失函数。fasttext模型损失函数设定为categorical_crossentropy交叉熵损失函数,令ce_loss表示交叉熵损失函数,其形式如下:
常见优化器类型有批量梯度下降优化器、随机梯度下降优化器。其区别在于批量梯度下降优化器在每次迭代时候采用所有样本进行迭代优化,而随机梯度下降优化器在每次迭代时使用一个样本对参数进行更新。
常见的评价指标有平方根误差指标、精度指标等,因为场景识别属于分类任务,因此采用精度(accuracy)作为评价指标,表示被正确分类的样本占总样本的比例。
三,利用训练样本集,对初始模型的网络参数进行训练,得到网络场景识别模型。
利用损失函数,对样本词向量矩阵进行学习训练,建立样本词向量矩阵和至少一种网络场景的所属概率的映射关系,得到网络场景识别模型。
在训练得到网络场景识别模型后,网络管理设备10a接收待识别网络中的网络设备10b上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征。一种可实现的方式为,对网络设备所属的网络组内设备文本类型数据进行分词处理,得到多个分词;以及对设备子类型集合中的每个子元素增加指定标识,得到增加指定标识后的设备子类型集合;将多个分词和增加指定标识后的设备子类型集合按照预设的组合规则进行组合,生成多维文本类型特征。
例如,首先将所采集到的网络设备所属的网络组内设备文本类型数据分别作数据清理。过滤相关文本默认样式,如“_自动生成”(常见的默认文本填充格式)等。再过滤异常字符,如,用空格替代数据中的符号,如“-”,“_”等。
在对采集到的网络设备所属的网络组内设备文本类型数据分别作数据清理后,采用分词算法对网络设备所属的网络组内设备文本类型数据进行分词处理,得到多个分词。例如,采用分词算法,将项目名称、项目内网络设备名称,SSID名称进行分词处理,得到多个分词。
另外,对设备子类型集合中的每个子元素增加指定标识。例如,对于设备子类型集合中的子元素,为了区分特征的来源是设备还是列表,新增“t_”字符标识,表示面板AP这个特征来源于设备,设备子类型集合为:<面板AP,室外AP,千兆接入交换机,千兆网关>,最终转化为<t_面板AP,t_室外AP,t_千兆接入交换机,t_千兆网关>。
最后,将多个分词和增加指定标识后的设备子类型集合按照预设的组合规则进行组合,生成多维文本类型特征。例如,将多个分词和增加指定标识后的设备子类型集合按照(项目名称,网络设备名称集合,SSID名称集合,设备子类型集合)的顺序进行拼接,若不存在相应子元素值,则置为空。网络组的内设备文本类型数据为:项目名称:“王总别墅”,设备名称集合:<“主卧”,“车库”,“花园”,“客厅”>,SSID名称集合:<“family”,“iot终端专用”>;设备子类型集合<“面板AP”,“室外AP”,“千兆接入交换机”,“千兆网关”>;最终的多维文本类型特征为“王总别墅,主卧,车库,花园,客厅,family,iot终端专用,t_面板AP,t_室外AP,t_千兆接入交换机,t_千兆网关”。其中,上述“__label__”为默认标注格式。
将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。将多维文本类型特征输入已有的网络场景识别模型中;在网络场景识别模型内部,网络场景识别模型的输入层对输入的多维文本类型特征进行向量化处理以及自适应随机丢弃处理,生成词向量矩阵;网络场景识别模型的隐含层对词向量矩阵进行降维处理,得到降维向量;网络场景识别模型的输出层对降维向量进行所属网络场景的概率预测,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。
在上述实施例中,网络场景识别模型的输入层对输入的多维文本类型特征进行向量化处理以及自适应随机丢弃处理,生成词向量矩阵。一种可实现的方式为,网络场景识别模型的输入层对多维文本类型特征进行向量化处理,得到多维文本类型特征的词向量表示;对多维文本类型特征包含的分词进行自适应随机丢弃处理,剩余的分词的词向量表示形成词向量矩阵。例如,多维度文本类型特征通过word2vec算法,转化为其词向量表示,词向量维度可以自行设置,令词向量维度为x,文本单词数为g,则通过word2vec方法,可生成特征矩阵W结构为x*g;每个词根据其在所属类别出现的频率,自适应生成其丢弃概率阈值,保证重要词不会被轻易丢弃。
在另一实施例中,对所述多维文本类型特征包含的分词进行自适应随机丢弃处理,对多维文本类型特征包含的剩余的分词进行向量化处理,得到词向量矩阵。
在上述实施例中,在对多维文本类型特征包含的分词进行自适应随机丢弃处理,一种可实现的方式为,针对第一分词,根据分词在训练类别中出现的次数和训练类别的记录数,确定第一分词的丢弃阈值概率,其中,第一分词为多维文本类型特征包含的分词中的任一分词;判断丢弃阈值概率是否大于随机数,随机数的取值范围为[0,1];若是,则对第一分词进行丢弃处理。例如,令dropout()表示自适应随机丢弃机制,p表示[0,1]随机数,c表示训练类别,wi表示输入文本信息(单个词)的词向量表示,i表示输入词,t(c,i)表示词i的自适应丢弃概率。如下公式所示,对于i词而言,当随机数p大于丢弃概率t时,此时保留i词,;否则丢弃该词:
而t(c,i)丢弃概率阈值的表现形式如下:
t(c,i)=min(0.382,(1-(n(c,i)/N(c))2/2)
其中n(c,i)表示词i在类别c中出现的次数,N(c)表示类别c的记录数。t(c,i)的设定既保证了关键信息不会被轻易丢弃,也使模型能够从剩余文本中寻找有用的信息。
在网络场景识别模型的隐含层中,对词向量矩阵进行降维处理,得到降维向量。一种可实现的方式为,网络场景识别模型的隐含层对输入层输入的词向量矩阵进行叠加处理,得到单个词在隐含层的表示;利用激活函数,对单个词在隐含层的表示进行激活,得到降维向量。例如,隐含层主要对输入层传入的词向量矩阵进行叠加平均的计算,令h表示单个词i在隐含层的表示,具体如下:
进而结合sigmoid函数,最终得到隐含层的输出的降维向量z,
z=sigmoid(Woh)
其中Wo表示从隐含层到输出层的权重,此时隐含层输出向量z的结构为x*1。
在网络场景识别模型的输出层中,对降维向量进行所属网络场景的概率预测,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。一种可实现的方式为,在输出层内部,利用分类器对降维向量进行分类处理,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。例如,本申请选择softmax作为最终分类器。为了加快训练过程,在fasttext模型中主要使用hierarchical softmax进行处理,hierarchical softmax和普通softmax的区别在于hierarchical softmax通过霍夫曼编码树这一数据结构进行实现的。令表示输出向量,具体表示如下:
该层指定了网络场景类型数据CLASS_NUM,因此对于一个网络项目的多维文本类型特征,输出层会产生CLASS_NUM个概率值,分别表示此文档属于当前网络场景类别的可能性,输出向量的结构为CLASS_NUM*1。
在上述实施例中,根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景,包括但不限于以下几种网络场景确定方式:
网络场景确定方式一,将待识别网络与至少一种网络场景中的各网络场景的所属概率中的最大概率所对应的网络场景,作为待识别网络所属的网络场景;
网络场景确定方式二,将待识别网络与至少一种网络场景中的各网络场景的所属概率中大于或等于预设的概率阈值所对应的网络场景,作为待识别网络所属的网络场景。
在本申请上述系统实施例中,根据待识别网络中的网络设备上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征,自动采集待识别网络中的网络设备所属的网络组内设备文本类型数据和设备子类型集合进行分析建模,该类数据易于获取,既简化了人工构建特征的时间成本,又提高了特征的有效性;将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景,利用网络场景识别模型,提高场景识别的精准度,进而提高后续网络进行优化的适配度。
除上述提供的网络场景识别系统10之外,本申请一些实施例还提供一种网络场景识别方法,本申请所提供的网络场景识别方法,可依赖于上述网络场景识别系统10,但不限于上述实施例提供的网络场景识别系统10。
图2为本申请实施例提供的一种网络场景识别方法的流程示意图。如图2所示,该方法包括:
S201:根据待识别网络中的网络设备上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征;
S202:将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景所属概率;
S203:根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景。
在本实施例中,网络设备是指将各个有线或无线网络终端设备连接到一起,然后将有线或无线网络接入以太网的设备。例如,可以是集线器、交换机、路由器、光猫、无线访问接入点(Wireless Access Point,AP)等具有路由功能的设备,但不限于此。
其中,与网络设备所连接的终端设备是指用户使用的,具有用户所需计算、上网、通信等功能的设备,例如可以是智能手机、平板电脑、个人电脑、穿戴设备等。终端设备通信包括至少一个处理单元和至少一个存储器。处理单元和存储器的数量取决于终端设备的配置和类型。存储器可以包括易失性的,例如RAM,也可以包括非易失性的,例如只读存储器(Read-Only Memory,ROM)、闪存等,或者也可以同时包括两种类型的。存储器内通常存储有操作系统(Operating System,OS)、一个或多个应用软件,也可以存储有程序数据等。除了处理单元和存储器之外,终端设备也会包括网卡芯片、IO总线、音视频组件等基本配置。可选地,根据终端设备的实现形式,终端设备也可以包括一些外围设备,例如键盘、鼠标、输入笔、打印机等。这些外围设备在本领域中是众所周知的,在此不做赘述。
在本实施例中,将网络管理设备管理的整个网络称为整网,一个物理区域内接入网络管理设备的网络设备,对网络管理设备而言,属于一个逻辑分组,该逻辑分组定义网络组。在本实施例中,场景识别主要对网络组的网络场景进行识别。例如,在物理区域为酒店时,网络管理设备对该物理区域内的网络进行识别,并确定该网络所属场景为酒店场景。又例如,在物理区域为办公大楼时,网络管理设备对该物理区域内的网络进行识别,并确定该网络所属场景为办公场景。需要说明的是,各类行业场景又能再细分为各类子场景,例如,教育场景下主要包括幼儿园、小学、中学、高等院校、培训机构、职业学校等子场景;家居场景又分为别墅、普通家居等子场景。本申请所描述的网络场景均表示上述的行业场景与子场景,统称为网络场景。不同的网络场景下,网络设备配置、用户分布、业务量和业务种类都不同。因此,为了提高用户上网体验,需要识别出网络的所属场景,并针对不同网络场景配置相应的网络参数及应用,从而实现基于不同网络场景的智能运维。
可选地,在本实施例中,可以根据整网中网络设备所在的物理区域,对整网中的网络设备按照物理区域进行划分,以形成至少一个网络组,并从至少一个网络组中确定待识别网络,对其所属的网络场景进行识别。或者,也可以根据网络设备所能实现的业务功能,将具有相同业务功能的网络设备划分为一个网络组,从而形成至少一个网络组,并从至少一个网络组中确定待识别网络,对其所属的网络场景进行识别。
可选地,在本申请实施例中,待识别网络中的至少一台网络设备可向网络管理设备发送场景识别请求。相应的,网络管理设备接收该识别请求,并根据网络场景识别请求,将发出该识别请求的网络设备所属的网络组作为待识别网络。
进一步,用户可操作待识别网络中的至少一台网络设备上的相关按钮或相应的软件界面的控制组件等,至少一台网络设备响应用户的相关操作,向网络管理设备发送网络场景识别请求。或者,可在至少一台网络设备上预设识别请求发送周期,并启动一个定时器或计数器对该请求发送周期进行计时。每当识别请求发送周期到达时,待识别网络中的至少一台网络设备向网络管理设备发送网络场景识别请求。
或者,在本申请各实施例中,可以在网络管理设备中预设场景识别周期,并启动一个定时器或计数器对该场景识别周期进行计时。每当场景识别周期到达时,将当前周期应该识别的网络组作为待识别网络。
在本实施例中,网络管理设备根据待识别网络中的网络设备上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征;网络管理设备将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;网络管理设备根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景。
需要说明的是,网络设备所属的网络组内设备文本类型数据主要包括项目名称、项目内网络设备名称,SSID名称等。设备子类型集合,主要为项目内所有设备细分类型的集合;对于项目而言,常见的网络设备类型主要为AP(无线接入点)、网关、交换机、路由器、网桥、AC(接入控制器);对于每种类型的网络设备还能根据其功能性进行进一步划分,例如以交换机为例,根据接入关系来区分,可以划分为接入交换机、汇聚交换机、核心交换机;根据接口数量来划分,可以去划分为8口交换机、16口交换、24口交换机、48口交换机等。在不同场景的网络组项目中,其网络组的内设备文本类型数据和设备子类型集合均有所区分,例如在“家居-别墅”场景中,网络组内设备文本类型数据会出现“别墅”、“庭院”、“Home”等文本关键字,设备子类型集合常见为“面板AP、百兆网关、接入交换机“等细分类型组合,往往不会出现”汇聚交换机,核心交换机“等细分类型。
在训练得到网络场景识别模型后,网络管理设备接收待识别网络中的网络设备上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征。一种可实现的方式为,对网络设备所属的网络组内设备文本类型数据进行分词处理,得到多个分词;以及对设备子类型集合中的每个子元素增加指定标识,得到增加指定标识后的设备子类型集合;将多个分词和增加指定标识后的设备子类型集合按照预设的组合规则进行组合,生成多维文本类型特征。
例如,首先将所采集到的网络设备所属的网络组内设备文本类型数据分别作数据清理。过滤相关文本默认样式,如“_自动生成”(常见的默认文本填充格式)等。再过滤异常字符,如,用空格替代数据中的符号,如“-”,“_”等。
在对采集到的网络设备所属的网络组设备文本类型数据分别作数据清理后,采用分词算法对网络设备所属的网络组内设备文本类型数据进行分词处理,得到多个分词。例如,采用分词算法,将项目名称、项目内网络设备名称,SSID名称进行分词处理,得到多个分词。
另外,对设备子类型集合中的每个子元素增加指定标识。例如,对于设备子类型集合中的子元素,新增“t_”字符标识,设备子类型集合为:<面板AP,室外AP,千兆接入交换机,千兆网关>,最终转化为<t_面板AP,t_室外AP,t_千兆接入交换机,t_千兆网关>。
最后,将多个分词和增加指定标识后的设备子类型集合按照预设的组合规则进行组合,生成多维文本类型特征。例如,将多个分词和增加指定标识后的设备子类型集合按照(项目名称,网络设备名称集合,SSID名称集合,设备子类型集合)的顺序进行拼接,若不存在相应子元素值,则置为空。网络组的内设备文本类型数据为:项目名称:“王总别墅”,设备名称集合:<“主卧”,“车库”,“花园”,“客厅”>,SSID名称集合:<“family”,“iot终端专用”>;设备子类型集合<“面板AP”,“室外AP”,“千兆接入交换机”,“千兆网关”>;最终的多维文本类型特征为“王总别墅,主卧,车库,花园,客厅,family,iot终端专用,t_面板AP,t_室外AP,t_千兆接入交换机,t_千兆网关”。其中,上述“__label__”为默认标注格式。
将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。将多维文本类型特征输入已有的网络场景识别模型中;在网络场景识别模型内部,网络场景识别模型的输入层对输入的多维文本类型特征进行向量化处理以及自适应随机丢弃处理,生成词向量矩阵;网络场景识别模型的隐含层对词向量矩阵进行降维处理,得到降维向量;网络场景识别模型的输出层对降维向量进行所属网络场景的概率预测,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。
在上述实施例中,网络场景识别模型的输入层对输入的多维文本类型特征进行向量化处理以及自适应随机丢弃处理,生成词向量矩阵。一种可实现的方式为,网络场景识别模型的输入层对多维文本类型特征进行向量化处理,得到多维文本类型特征的词向量表示;对多维文本类型特征包含的分词进行自适应随机丢弃处理,剩余的分词的词向量表示形成词向量矩阵。例如,多维度文本类型特征通过word2vec算法,转化为其词向量表示,词向量维度可以自行设置,令词向量维度为x,文本单词数为g,则通过word2vec方法,可生成特征矩阵W结构为x*g;每个词根据其在所属类别出现的频率,自适应生成其丢弃概率阈值,保证重要词不会被轻易丢弃。
在另一实施例中,对所述多维文本类型特征包含的分词进行自适应随机丢弃处理,对多维文本类型特征包含的剩余的分词进行向量化处理,得到词向量矩阵。
在上述实施例中,在对多维文本类型特征包含的分词进行自适应随机丢弃处理,一种可实现的方式为,针对第一分词,根据分词在训练类别中出现的次数和训练类别的记录数,确定第一分词的丢弃阈值概率,其中,第一分词为多维文本类型特征包含的分词中的任一分词;判断丢弃阈值概率是否大于随机数,随机数的取值范围为[0,1];若是,则对第一分词进行丢弃处理。例如,令dropout()表示自适应随机丢弃机制,p表示[0,1]随机数,c表示训练类别,wi表示输入文本信息(单个词)的词向量表示,i表示输入词,t(c,i)表示词i的自适应丢弃概率。如下公式所示,对于i词而言,当随机数p大于丢弃概率t时,此时保留i词,;否则丢弃该词:
而t(c,i)丢弃概率阈值的表现形式如下:
t(c,i)=min(0.382,(1-(n(c,i)/N(c))2/2)
其中n(c,i)表示词i在类别c中出现的次数,N(c)表示类别c的记录数。t(c,i)的设定既保证了关键信息不会被轻易丢弃,也使模型能够从剩余文本中寻找有用的信息。
在网络场景识别模型的隐含层中,对词向量矩阵进行降维处理,得到降维向量。一种可实现的方式为,网络场景识别模型的隐含层对输入层输入的词向量矩阵进行叠加处理,得到单个词在隐含层的表示;利用激活函数,对单个词在隐含层的表示进行激活,得到降维向量。例如,隐含层主要对输入层传入的词向量矩阵进行叠加平均的计算,令h表示单个词i在隐含层的表示,具体如下:
进而结合sigmoid函数,最终得到隐含层的输出的降维向量z,
z=sigmoid(Woh)
其中Wo表示从隐含层到输出层的权重,此时隐含层输出向量z的结构为x*1。
在网络场景识别模型的输出层中,对降维向量进行所属网络场景的概率预测,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。一种可实现的方式为,在输出层内部,利用分类器对降维向量进行分类处理,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。例如,本申请选择softmax作为最终分类器。为了加快训练过程,在fasttext模型中主要使用hierarchical softmax进行处理,hierarchical softmax和普通softmax的区别在于hierarchical softmax通过霍夫曼编码树这一数据结构进行实现的。令表示输出向量,具体表示如下:
该层指定了网络场景类型数据CLASS_NUM,因此对于一个网络项目的多维文本类型特征,输出层会产生CLASS_NUM个概率值,分别表示此文档属于当前网络场景类别的可能性,输出向量的结构为CLASS_NUM*1。
在上述实施例中,根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景,包括但不限于以下几种网络场景确定方式:
网络场景确定方式一,将待识别网络与至少一种网络场景中的各网络场景的所属概率中的最大概率所对应的网络场景,作为待识别网络所属的网络场景;
网络场景确定方式二,将待识别网络与至少一种网络场景中的各网络场景的所属概率中大于或等于预设的概率阈值所对应的网络场景,作为待识别网络所属的网络场景。优选地,为了提高对待识别网络所属应用场景的准确率,预设的概率阈值中的最低概率阈值一般设置较高,例如,90%或90%以上的各概率等等。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤201至步骤203的执行主体可以为设备A;又比如,步骤201和202的执行主体可以为设备A,步骤203的执行主体可以为设备B;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如201、202等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
在本申请上述方法实施例中,根据待识别网络中的网络设备上报的所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征,自动采集待识别网络中的所属的网络组内设备文本类型数据和设备子类型集合进行分析建模,该类数据易于获取,既简化了人工构建特征的时间成本,又提高了特征的有效性;将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景,利用网络场景识别模型,提高场景识别的精准度,进而提高后续网络进行优化的适配度。
图3为本申请示例性实施例提供的一种网络管理设备的结构示意图。如图3所示,该网络管理设备包括:存储器301和处理器302。另外,该网络管理设备还包括电源组件303、通信组件304等必要组件。
存储器301,用于存储计算机程序,并可被配置为存储其它各种数据以支持在网络管理设备上的操作。这些数据的示例包括用于在网络管理设备上操作的任何应用程序或方法的指令。
存储器301,可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
通信组件304,用于与其他设备进行数据传输。
处理器302,可执行存储器301中存储的计算机指令,以用于:根据待识别网络中的网络设备上报的所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征;将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景。
可选地,处理器302在将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率时,具体用于:将多维文本类型特征输入已有的网络场景识别模型中;在网络场景识别模型内部,网络场景识别模型的输入层对输入的多维文本类型特征进行向量化处理以及自适应随机丢弃处理,生成词向量矩阵;网络场景识别模型的隐含层对词向量矩阵进行降维处理,得到降维向量;网络场景识别模型的输出层对降维向量进行所属网络场景的概率预测,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。
可选地,处理器302在网络场景识别模型的输入层对输入的多维文本类型特征进行向量化处理以及自适应随机丢弃处理,生成词向量矩阵时,具体用于:网络场景识别模型的输入层对多维文本类型特征进行向量化处理,得到多维文本类型特征的词向量表示;对多维文本类型特征包含的分词进行自适应随机丢弃处理,剩余的分词的词向量表示形成词向量矩阵;或者,在另一实施例中,对所述多维文本类型特征包含的分词进行自适应随机丢弃处理,对多维文本类型特征包含的剩余的分词进行向量化处理,得到词向量矩阵。
可选地,处理器302在对多维文本类型特征包含的分词进行自适应随机丢弃处理时,具体用于:针对第一分词,根据分词在训练类别中出现的次数和训练类别的记录数,确定第一分词的丢弃阈值概率,其中,第一分词为多维文本类型特征包含的分词中的任一分词;判断丢弃阈值概率是否大于随机数,随机数的取值范围为[0,1];若是,则对第一分词进行丢弃处理。
可选地,处理器302在网络场景识别模型的隐含层对词向量矩阵进行降维处理,得到降维向量时,具体用于:网络场景识别模型的隐含层对输入层输入的词向量矩阵进行叠加处理,得到单个词在隐含层的表示;利用激活函数,对单个词在隐含层的表示进行激活,得到降维向量。
可选地,处理器302在网络场景识别模型的输出层对降维向量进行所属网络场景的概率预测,得到待识别网络与至少一种网络场景中的各网络场景的所属概率时,具体用于:在输出层内部,利用分类器对降维向量进行分类处理,得到待识别网络与至少一种网络场景中的各网络场景的所属概率。
可选地,处理器302在根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景时,具体用于:将待识别网络与至少一种网络场景中的各网络场景的所属概率中的最大概率所对应的网络场景,作为待识别网络所属的网络场景;或者,将待识别网络与至少一种网络场景中的各网络场景的所属概率中大于或等于预设的概率阈值所对应的网络场景,作为待识别网络所属的网络场景。
可选地,处理器302在根据待识别网络中的网络设备上报的所属的网络组内的设备文本类型数据和设备子类型集合,构建多维文本类型特征时,具体用于:对所属的网络组内的设备文本类型数据进行分词处理,得到多个分词;以及对设备子类型集合中的每个子元素增加指定标识,得到增加指定标识后的设备子类型集合;将多个分词和增加指定标识后的设备子类型集合按照预设的组合规则进行组合,生成多维文本类型特征。
可选地,处理器302在使用网络场景识别模型之前,还可用于:根据各样本网络场景中的网络设备的样本所属的网络组内的设备文本类型数据和样本设备子类型集合,构建多维样本文本类型特征;利用多维样本文本类型特征和对应的样本网络场景,进行模型训练,得到网络场景识别模型。
可选地,处理器302在利用多维样本文本类型特征和对应的样本网络场景,进行模型训练,得到网络场景识别模型时,具体用于:对多维样本文本类型特征进行向量化处理以及自适应随机丢弃处理,得到样本词向量矩阵;利用损失函数,对样本词向量矩阵进行学习训练,建立样本词向量矩阵和至少一种网络场景的所属概率的映射关系,得到网络场景识别模型。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质。当计算机可读存储介质存储计算机程序,且计算机程序被一个或多个处理器执行时,致使一个或多个处理器执行图2方法实施例中的各步骤。
上述图3中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G/LTE、5G等移动通信网络,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
上述图3中的电源组件,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
此外,本申请实施例中的网络管理设备还可以包括显示器以及音频组件。
显示器包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
音频组件,可被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(MIC),当音频组件所在设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。
在本申请上述方法实施例中,根据待识别网络中的网络设备上报的所属的网络组内的设备文本类型数据和设备子类型集合,构建多维文本类型特征,自动采集待识别网络中的所属的网络组内设备文本类型数据和设备子类型集合进行分析建模,该类数据易于获取,既简化了人工构建特征的时间成本,又提高了特征的有效性;将多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;根据待识别网络与至少一种网络场景中的各网络场景的所属概率,从至少一种网络场景中确定待识别网络所属的网络场景,利用网络场景识别模型,提高场景识别的精准度,进而提高后续网络进行优化的适配度。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种网络场景识别方法,其特征在于,包括:
根据待识别网络中的网络设备上报的所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征;
将所述多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;
根据所述待识别网络与至少一种网络场景中的各网络场景的所属概率,从所述至少一种网络场景中确定所述待识别网络所属的网络场景。
2.根据权利要求1所述的方法,其特征在于,将所述多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率,包括:
将所述多维文本类型特征输入已有的网络场景识别模型中;
在网络场景识别模型内部,网络场景识别模型的输入层对输入的多维文本类型特征进行向量化处理以及自适应随机丢弃处理,生成词向量矩阵;
网络场景识别模型的隐含层对所述词向量矩阵进行降维处理,得到降维向量;
网络场景识别模型的输出层对所述降维向量进行所属网络场景的概率预测,得到待识别网络与所述至少一种网络场景中的各网络场景的所属概率。
3.根据权利要求2所述的方法,其特征在于,网络场景识别模型的输入层对输入的多维文本类型特征进行向量化处理以及自适应随机丢弃处理,生成词向量矩阵,包括:
网络场景识别模型的输入层对多维文本类型特征进行向量化处理,得到多维文本类型特征的词向量表示;对所述多维文本类型特征包含的分词进行自适应随机丢弃处理,剩余的分词的词向量表示形成词向量矩阵;
或者,
对所述多维文本类型特征包含的分词进行自适应随机丢弃处理,对多维文本类型特征包含的剩余的分词进行向量化处理,得到词向量矩阵。
4.根据权利要求3所述的方法,其特征在于,对所述多维文本类型特征包含的分词进行自适应随机丢弃处理,包括:
针对第一分词,根据分词在训练类别中出现的次数和训练类别的记录数,确定第一分词的丢弃阈值概率,其中,第一分词为多维文本类型特征包含的分词中的任一分词;
判断所述丢弃阈值概率是否大于随机数,随机数的取值范围为[0,1];
若是,则对所述第一分词进行丢弃处理。
5.根据权利要求2所述的方法,其特征在于,网络场景识别模型的隐含层对所述词向量矩阵进行降维处理,得到降维向量,包括:
网络场景识别模型的隐含层对输入层输入的词向量矩阵进行叠加处理,得到单个词在隐含层的表示;
利用激活函数,对单个词在隐含层的表示进行激活,得到降维向量。
6.根据权利要求2所述的方法,其特征在于,网络场景识别模型的输出层对所述降维向量进行所属网络场景的概率预测,得到待识别网络与所述至少一种网络场景中的各网络场景的所属概率,包括:
在输出层内部,利用分类器对所述降维向量进行分类处理,得到待识别网络与所述至少一种网络场景中的各网络场景的所属概率。
7.根据权利要求1项所述的方法,其特征在于,根据所述待识别网络与所述至少一种网络场景中的各网络场景的所属概率,从所述至少一种网络场景中确定所述待识别网络所属的网络场景,包括:
将所述待识别网络与所述至少一种网络场景中的各网络场景的所属概率中的最大概率所对应的网络场景,作为所述待识别网络所属的网络场景;
或者,
将所述待识别网络与所述至少一种网络场景中的各网络场景的所属概率中大于或等于预设的概率阈值所对应的网络场景,作为所述待识别网络所属的网络场景。
8.根据权利要求1所述的方法,其特征在于,根据待识别网络中的网络设备上报的所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征,包括:
对所述网络设备所属的网络组内设备文本类型数据进行分词处理,得到多个分词;以及
对设备子类型集合中的每个子元素增加指定标识,得到增加指定标识后的设备子类型集合;
将所述多个分词和增加指定标识后的设备子类型集合按照预设的组合规则进行组合,生成所述多维文本类型特征。
9.根据权利要求1所述的方法,其特征在于,在使用网络场景识别模型之前,所述方法还包括:
根据各样本网络场景中的网络设备的样本所属的网络组内设备文本类型数据和样本设备子类型集合,构建多维样本文本类型特征;
利用多维样本文本类型特征和对应的样本网络场景,进行模型训练,得到网络场景识别模型。
10.根据权利要求9所述的方法,其特征在于,利用多维样本文本类型特征和对应的样本网络场景,进行模型训练,得到网络场景识别模型,包括:
对多维样本文本类型特征进行向量化处理以及自适应随机丢弃处理,得到样本词向量矩阵;
利用损失函数,对样本词向量矩阵进行学习训练,建立样本词向量矩阵和至少一种网络场景的所属概率的映射关系,得到网络场景识别模型。
11.一种网络管理设备,其特征在于,包括:存储器、处理器和通信组件;
所述通信组件,用于接收待识别网络中的网络设备上报的项目内设备文本类型数据和设备子类型集合;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
根据待识别网络中的网络设备上报的网络设备所属的网络组内设备文本类型数据和设备子类型集合,构建多维文本类型特征;
将所述多维文本类型特征输入已有的网络场景识别模型中,得到待识别网络与至少一种网络场景中的各网络场景的所属概率;
根据所述待识别网络与至少一种网络场景中的各网络场景的所属概率,从所述至少一种网络场景中确定所述待识别网络所属的网络场景。
12.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被执行时,实现权利要求1-10任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110184169.7A CN112989949A (zh) | 2021-02-08 | 2021-02-08 | 网络场景识别方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110184169.7A CN112989949A (zh) | 2021-02-08 | 2021-02-08 | 网络场景识别方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112989949A true CN112989949A (zh) | 2021-06-18 |
Family
ID=76393339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110184169.7A Pending CN112989949A (zh) | 2021-02-08 | 2021-02-08 | 网络场景识别方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112989949A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116170829A (zh) * | 2023-04-26 | 2023-05-26 | 浙江省公众信息产业有限公司 | 一种独立专网业务的运维场景识别方法及装置 |
-
2021
- 2021-02-08 CN CN202110184169.7A patent/CN112989949A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116170829A (zh) * | 2023-04-26 | 2023-05-26 | 浙江省公众信息产业有限公司 | 一种独立专网业务的运维场景识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108021929B (zh) | 基于大数据的移动端电商用户画像建立与分析方法及系统 | |
CN110276066B (zh) | 实体关联关系的分析方法及相关装置 | |
US11487941B2 (en) | Techniques for determining categorized text | |
CN109582793B (zh) | 模型训练方法、客服系统及数据标注系统、可读存储介质 | |
CN109948641B (zh) | 异常群体识别方法及装置 | |
CN105320957B (zh) | 分类器训练方法和装置 | |
CN108108743B (zh) | 异常用户识别方法和用于识别异常用户的装置 | |
CN108416375B (zh) | 工单分类方法及装置 | |
EP4020315A1 (en) | Method, apparatus and system for determining label | |
CN110019777B (zh) | 一种信息分类的方法及设备 | |
CN112085087B (zh) | 业务规则生成的方法、装置、计算机设备及存储介质 | |
CN111898675B (zh) | 信贷风控模型生成方法、装置、评分卡生成方法、机器可读介质及设备 | |
US11475323B2 (en) | Systems and methods for crowdsourcing device recognition | |
CN111191825A (zh) | 用户违约预测方法、装置及电子设备 | |
CN112750030A (zh) | 风险模式识别方法、装置、设备及计算机可读存储介质 | |
CN111652661B (zh) | 一种手机客户端用户流失预警处理方法 | |
CN111582341A (zh) | 用户异常操作预测方法及装置 | |
CN112417121A (zh) | 客户意图识别方法、装置、计算机设备及存储介质 | |
CN110288468B (zh) | 数据特征挖掘方法、装置、电子设备及存储介质 | |
CN112989949A (zh) | 网络场景识别方法、设备及存储介质 | |
CN109447694B (zh) | 一种用户特征分析方法及其系统 | |
CN116909534B (zh) | 算子流的生成方法、算子流的生成装置及存储介质 | |
CN112686690A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN112818114B (zh) | 信息的分类方法、检测方法、计算设备及存储介质 | |
CN114330720A (zh) | 用于云计算的知识图谱构建方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |