CN111242146B - 基于卷积神经网络的poi信息分类 - Google Patents
基于卷积神经网络的poi信息分类 Download PDFInfo
- Publication number
- CN111242146B CN111242146B CN201811329702.9A CN201811329702A CN111242146B CN 111242146 B CN111242146 B CN 111242146B CN 201811329702 A CN201811329702 A CN 201811329702A CN 111242146 B CN111242146 B CN 111242146B
- Authority
- CN
- China
- Prior art keywords
- word
- training
- poi information
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及基于卷积神经网络的POI信息分类,属于计算机技术领域。本发明的基于卷积神经网络的POI信息分类方法和装置中,对所述POI信息进行分词处理并被转化以生成对应所述POI信息的向量矩阵,通过预先训练的卷积神经网络模型对该向量矩阵进行处理以确定POI信息对应的分类。本发明所使用的卷积神经网络模型容易训练获得,并且分类过程中预处理过程简单、分类效率高且准确。
Description
技术领域
本发明属于计算机技术领域,涉及基于卷积神经网络(Convolution NeuralNetwork,CNN)的POI(Point of Interest,兴趣点)信息的分类方法和装置。
背景技术
在地理信息系统中,需要对POI信息进行分类,例如按照预定分类架构对POI信息进行分类。POI信息分类在地图应用中主要用于周边推荐和查询分类等。周边推荐可以大大提高用户体验,查询分类可以为用户提供更加精确的检索结果。因此,提高POI信息分类的精度对地图应用(例如导航应用等)十分重要。
但是,目前用于POI信息分类的方法大部分为机器学习或者文本匹配。例如,段炼等人在2013年提出的、申请号为CN201310577670.5、名称为“一种基于局部随机词密度模型POI中文文本分类的方法”的专利中,主要采用的是SVM(Support Vector Machine,支持向量机)分类模型;郑燕琴在2015年提出的、申请号为CN201510379990.9、名称为“对POI信息进行分类的方法、装置和系统”的专利中,对POI信息的名称进行分词后与分类关键词进行匹配,最先匹配到的分类关键词所指向的分类被确定为该POI信息分类。
机器学习或者文本匹配这两种方法都存在很大的缺陷。其中,机器学习提取POI特征的过程复杂且特征提取的质量直接决定最后分类的结果,这对特征工程的构建提出了很高的要求;文本匹配的分类强依赖于匹配表,对匹配表的要求过高。
发明内容
为解决以上技术问题的至少一方面,本发明提供以下技术方案。
按照本公开的第一方面,提供一种基于卷积神经网络的POI信息分类方法,其包括:
通过对所述POI信息进行分词处理,并将所述POI信息转换为相应的词列表;
将所述词列表中的词转化为相应的词向量;
将对应所述词列表的词向量进行结构转化以生成对应所述POI信息的向量矩阵;
将所述向量矩阵输入至预先训练的卷积神经网络模型;
通过所述卷积神经网络模型的卷积层进行卷积操作以提取所述向量矩阵的特征向量;
通过所述卷积神经网络模型的池化层对提取的特征向量进行池化操作来选取相对重要的特征值;以及
通过所述卷积神经网络模型的分类器,基于选取的特征值确定所述POI信息的类别。
根据本公开一实施例的POI信息分类方法,其中,在将所述词列表中的词转化为相应的词向量的步骤中,使用词转向量模型将所述词列表中的每个词向量化并生成相应的词向量。
根据本公开另一实施例或以上任一实施例的POI信息分类方法,其中,在将对应所述词类别的词向量进行结构转化以生成对应所述POI信息的向量矩阵的步骤中,包括:
基于“词到编号”映射关系,生成对应所述词列表的词编号序列;
基于所述词向量获得对应所述词列表的多个词的词组向量;
基于所述词列表的词的编号以及所述词组向量,生成对应所述词列表的“编号到词向量”映射关系;以及
基于所述词编号序列和所述“编号到词向量”映射关系,构建对应所述POI信息的向量矩阵。
根据本公开另一实施例或以上任一实施例的POI信息分类方法,其中,所述卷积操作中,将卷积核与所述向量矩阵卷积操作,以得到相应的特征值。
根据本公开另一实施例或以上任一实施例的POI信息分类方法,其中,所述卷积操作所属卷积层的操作是基于卷积神经元中使用的以下公式进行:
其中,conv表示卷积得到的特征值,poiMat表示所述向量矩阵,W表示所述卷积核,表示卷积,b表示偏置值,/>表示激活函数。
根据本公开另一实施例或以上任一实施例的POI信息分类方法,其中,在选取相对重要的特征值的步骤中,对于卷积操作结果的某一区域的特征,采用该区域中最大的特征值来代表该区域。
根据本公开另一实施例或以上任一实施例的POI信息分类方法,其中,所述预先训练的卷积神经网络模型通过以下步骤获得:
确定训练样本,其中,所述训练样本包括分类信息已知的训练POI信息;
通过对所述训练POI信息进行分词处理,并将所述训练POI信息转换为相应的训练词列表;
将所述训练词列表中的词转化为相应的训练词向量;
将对应所述训练词列表的训练词向量进行结构转化以生成对应所述训练POI信息的训练向量矩阵;以及
将所述训练向量矩阵输入到卷积神经网络进行深度学习,构建所述卷积神经网络模型。
根据本公开另一实施例或以上任一实施例的POI信息分类方法,其中,在构建所述卷积神经网络模型的步骤中,其包括:
进行卷积操作以提取所述训练向量矩阵的训练用特征向量;
对提取的训练用特征向量进行池化操作来选取相对重要的训练用特征值;
基于选取的训练用特征向量确定所述训练POI信息的当前类别;以及
基于所述训练POI信息的已知的类别和当前类别,调整所述卷积神经网络模型的卷积层、池化层和/或分类器的参数。
根据本公开另一实施例或以上任一实施例的POI信息分类方法,其中,如果确定的所述当前类别的准确率达到预定准确率和/或训练次数达到上限值,则保存所述卷积神经网络模型;否则,返回提取训练用特征向量进行下一次训练过程。
根据本公开另一实施例或以上任一实施例的POI信息分类方法,其中,词向量的维度、网络层数、卷积核、成本函数、学习率、批次、周期、丢弃率、训练集和测试集的划分比例。
按照本公开的第二方面,提供一种基于卷积神经网络的POI信息分类装置,其包括:
分词模块,其用于通过对所述POI信息进行分词处理并将所述POI信息转换为相应的词列表;
向量化模块,其用于将所述词列表中的词转化为相应的词向量;
向量矩阵生成模块,其用于将对应所述词列表的词向量进行结构转化以生成对应所述POI信息的向量矩阵;以及
分类模块,其用于:
将所述向量矩阵输入至预先训练的卷积神经网络模型;
通过所述卷积神经网络模型的卷积层进行卷积操作以提取所述向量矩阵的特征向量;
通过所述卷积神经网络模型的池化层对提取的特征向量进行池化操作来选取相对重要的特征值;以及
通过所述卷积神经网络模型的分类器,基于选取的特征值确定所述POI信息的类别。
根据本公开另一实施例或以上任一实施例的POI信息分类方法,其中,所述向量化模块使用词转向量模型将所述词列表中的每个词向量化并生成相应的词向量。
根据本公开另一实施例或以上任一实施例的POI信息分类方法,其中,还包括训练模块,其用于:
接收训练样本,其中,所述训练样本包括分类信息已知的训练POI信息;
通过对所述训练POI信息进行分词处理,并将所述训练POI信息转换为相应的训练词列表;
将所述训练词列表中的词转化为相应的训练词向量;
将对应所述训练词列表的训练词向量进行结构转化以生成对应所述训练POI信息的训练向量矩阵;以及
将所述训练向量矩阵输入到卷积神经网络进行深度学习,构建所述卷积神经网络模型。
按照本公开的第三方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器能够执行所述程序时实现本公开第一方面任一所述的POI信息分类方法的步骤。
按照本公开的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,其中,该程序能够被处理器执行以实现本公开第一方面任一所述的POI信息分类方法的步骤。
本公开的方案充分利用了CNN模型在卷积层具有局部感受野和权值共享的特点,减少了网络参数,降低了训练复杂度,容易获得相对准确有效的CNN模型,CNN模型泛化性强;并且,在分类过程中,POI信息被以向量矩阵表示,使用CNN模型自动提取POI特征,特征提取简便且有效,避免了复杂的预处理过程;同时,通过CNN模型的有效训练,POI信息的分类准确。
根据以下描述和附图本发明的以上特征和操作将变得更加显而易见。
附图说明
从结合附图的以下详细说明中,将会使本发明的上述和其他目的及优点更加完整清楚,其中,相同或相似的要素采用相同的标号表示。
图1是用于实现本公开的一个或多个实施例的POI信息分类装置或系统的计算机设备的模块结构示意图。
图2是按照本发明一实施例的POI信息分类方法和/或装置的基本工作原理图。
图3是按照本发明一实施例的POI信息分类方法的流程图。
图4是按照本发明一实施例的POI信息分类方法所使用的CNN模型的基本结构示意图。
图5是按照本发明一实施例的CNN模型的训练过程示意图。
图6是按照本发明一实施例的POI信息分类装置的模块结构示意图。
具体实施方式
出于简洁和说明性目的,本文主要参考其示范实施例来描述本发明的原理。但是,本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的POI信息分类方法和/或POI信息分类装置,并且可以在其中实施这些相同或相似的原理,任何此类变化不背离本专利申请的真实精神和范围。而且,在下文描述中,参考了附图,这些附图图示特定的示范实施例。在不背离本发明的精神和范围的前提下可以对这些实施例进行电、逻辑和结构上的更改。此外,虽然本发明的特征是结合若干实施/实施例的仅其中之一来公开的,但是如针对任何给定或可识别的功能可能是期望和/或有利的,可以将此特征与其他实施/实施例的一个或多个其他特征进行组合。因此,下文描述不应视为在限制意义上的,并且本发明的范围由所附权利要求及其等效物来定义。
图1示意用于实现本公开的一个或多个实施例的POI信息分类装置或系统的计算机设备的模块结构示意图。
参见图1,其示出了用于实现本公开的POI信息分类装置或系统(如6所示)的计算机设备的实施例。在该实施例中,计算机设备10具有一个或多个中央处理单元(处理器)11a、11b、11c等(统称或一般称地为处理器11),将理解,计算机设备10的计算能力将主要由处理器11决定。在一个或多个实施例中,每个处理器11可以是包括精简指令集计算机(RISC)微处理器;处理器11通过系统总线13耦合到系统存储器14(RAM)和各种其他组件;只读存储器(ROM)12耦合到系统总线13并且可以包括控制计算机设备10的某些基本功能的基本输入/输出系统(BIOS)。
其中,RAM 14可以设置有相应的程序模块,其具有相应的程序指令,程序指令可以包括本公开的CNN(Convolution Neural Network,卷积神经网络)模型和/或词转向量(Word2Vec)模型,处理器11在例如进行POI信息分类的工作过程中,可以运行RAM 14上程序指令,从而本公开实施例的POI信息分类装置的功能,例如实现向量化模块、分类模块等。
将理解,根据需要,RAM 14还可以存储在进行POI信息分类过程中或训练CNN模型过程中所使用的其他的信息,例如,训练样本等,它们可以数据库的形式实现。
继续如图1所示,其还示出了输入/输出(I/O)适配器17和耦合到系统总线13的网络适配器16。I/O适配器17可以是与例如触控屏、麦克风等POI信息输入部件171连接,从而系统总线13可以接收到用户感兴趣的POI信息。网络通信适配器16将总线13与外部网络700互连,使数据处理计算机设备10能够与远端的例如云端识别引擎通信,例如,从云端下载CNN模型、Word2Vec模型等,或者将POI信息及其分类结果上传至云端(其可以供云端用来进行CNN模型的训练或构建)。屏幕(例如,显示监视器)35通过显示适配器32连接到系统总线33。
继续如图1所示,其还示出了显示器15,其例如可以显示计算机设备10的状态(例如网络连接状态)、POI信息分类结果等。在其他实施例中,显示器15也是可以省略的。
将理解,计算机设备10还可以包括以上图1中未示出的其他部件,例如,用于输出语音的扬声器等。
这里描述的计算机设备10仅仅是示例性的,并不旨在限制应用、使用和/或技术。计算机设备10可以以作为移动终端、车载终端的电子设备(例如安装车载导航系统的车载终端)等实现。
图2所示为按照本发明一实施例的POI信息分类方法和/或装置的基本工作原理图。
如图所示,待分类的POI信息21可以是用户当前输入的POI信息(例如某一POI的名称),需要对其进行分类(例如医院、学校、商店等)。在框30中,基于CNN模型对POI信息进行分类处理,从而,在框23中输出该POI信息的类别。需要理解的是,使用的用于分类的POI信息的分类列表不是限制性的,其可以根据预定规则设置好,例如可以包括多级别的分类。
框30中使用的CNN模型是预先训练好的,其可以通过POI分类装置自身训练得到,也可以通过从而例如云端、服务器端等下载获得。具体基于CNN模型对POI信息进行分类处理的过程将在以下示例说明。
本发明一实施例的POI信息分类方法和/或装置还可以实现CNN模型的训练或构建。如图1所示,框31提供训练样本,其包括已分类的训练POI信息,训练样本尽量采集分类相对准确并且POI名称具有代表性的POI信息,数据量越大,越有利于训练得到准确的CNN模型。框32中训练或构建CNN模型,在训练过程中,利用深度学习(Deep Leaning)相关技术进行机器学习,在CNN框架下自我学习得到各种特征并确定CNN模型的相应参数等。具体训练或构建CNN模型过程将在以下示例说明。
将理解,CNN模型的训练或构建与POI信息的分类可以不是在同一部件或系统中完成。在本发明一实施例的POI信息分类装置中可以预先地下载获得相应的CNN模型文件。并且,CNN模型的训练或构建过程可以持续地进行以不断完善CNN模型。
图3所示为按照本发明一实施例的POI信息分类方法的流程图;图4所示为按照本发明一实施例的POI信息分类方法所使用的CNN模型的基本结构示意图。从图4中可以看出,本文的CNN模型共有5层,分别是嵌入层、卷积层、池化层、全连接层和输出层。其中,嵌入层负责POI信息的矩阵表示;卷积层通过卷积操作提取向量矩阵的特征向量。池化层从卷积层提取的特征向量中选取出相对比较重要的特征值,例如选出主要特征;全连接层是一层隐藏层,为分类做准备;输出层可以配置相应的分类器,其可以输出当前POI信息的类别。以下结合图3和图4示例说明本发明一实施例的POI信息分类方法。
如图3所示,接后待分来的POI信息后,步骤S320,通过对POI信息进行分词处理,并将POI信息转换为相应的词列表。在该步骤中,以POI信息为“北京天安门广场”为示例,对该POI进行切分处理,得到相应的词(Term),即“北京”、“天安门”、“广场”,多个词可以以词列表形式呈现。
在一实施例中,在分词处理之后,可以将对POI分类基本没有帮助(例如基本不能反映POI名称或属性)的字或词去掉,例如“的”、“地”等副词,“那些”等指示代词。这样,有利于减少后面的相应操作。
步骤S321,将词列表中的词转化为相应的词向量。在该步骤中,可以使用Word2Vec模型将词列表中的每个词向量化并生成相应的词向量。仍以POI信息为“北京天安门广场”为示例,其词类别中的词分别被转化为以下向量:
“北京”→[4,3,2,4,4,7,…,9,5],
“天安门”→[2,3,4,5,6,4,…,4,7],
“广场”→[2,4,2,6,5,8,…,1,8]。
需要理解的是,Word2Vec模型的具体类型不是限制性的,其可以使用已有的或者未来涌现的各种模型来尽可能地将词准确地向量化。通过该步骤,可以实现每次词均以一个向量来表示。
步骤S322,基于词向量获得对应词列表的多个词的词组向量。。仍以POI信息为“北京天安门广场”为示例,基于以上获得的词向量,可以得到以下向量组:
[4,3,2,4,4,7,…,9,5]
[2,3,4,5,6,4,…,4,7]
[2,4,2,6,5,8,…,1,8]。
步骤S323,基于词列表的词的编号(index)以及词组向量,生成对应词列表的“编号到词向量”映射关系。仍以POI信息为“北京天安门广场”为示例,基于已经加载的“词到编号”映射关系(例如映射表),可以词的以下编号:“北京”—0、“天安门”—1、“广场”—2,从而可以得到以下“编号到词向量”映射表:
0—[4,3,2,4,4,7,…,9,5]
1—[2,3,4,5,6,4,…,4,7]
2—[2,4,2,6,5,8,…,1,8]。
步骤S324,基于“词到编号”映射关系,生成对应词列表的词编号序列。仍以POI信息为“北京天安门广场”为示例,基于“词到编号”映射表可以得到以下以相应的词的编号为集合的序列:“北京天安门广场”→[0,1,2]。
步骤S330,基于词编号序列和“编号到词向量”映射关系,构建对应POI信息的向量矩阵。仍以POI信息为“北京天安门广场”为示例,可以构建得到以下向量矩阵:
需要说明的是,向量矩阵的维数不是限制性的,其可以根据CNN模型的输入要求来定义或设置;在向量组的个数不足够时,可以进行相应的填充或扩展来得到预定维数的向量矩阵。
以上步骤S322至步骤S330具体示例了将对应词列表的词向量进行结构转化以生成对应所述POI信息的向量矩阵的过程,通过该过程,可以实现每个POI以向量矩阵来表示。该过程可以通过如图4所示的嵌入层中实现,对应该嵌入层可以配置或加载有相应的例如“词到编号”映射表、Word2Vec模型等。
步骤S340,将向量矩阵输入至预先训练的CNN模型,也即输入至CNN模型的嵌入层。
步骤S350,通过CNN卷积层进行卷积操作以提取向量矩阵的特征向量。其中,卷积操作是将卷积核与向量矩阵卷积,以得到特征值,不同的卷积核即可提取出不同的特征值,形成相应的特征向量,得到多个相应的一维矩阵。具体地,卷积操作所属卷积层的操作是可以基于卷积神经元中使用的以下公式(1)进行:
(1)
其中,conv表示卷积得到的特征值,poiMat表示所述向量矩阵,W表示所述卷积核,表示卷积,b表示偏置值,/>表示激活函数。其中,激活函数的作用是把输入信号(特征)转换为输出信号(特征)。
步骤S360,通过CNN模型的池化层对提取的特征向量进行池化操作来选取相对重要的特征值。在该步骤中,可以取出卷积操作结果的一部分区域,用该区域中的最大特征值来代表该区域,即选出了该区域的最有效或最重要的特征。
需要说明的是,以上步骤S350和步骤S360可以多次重复进行。
步骤S370,通过CNN模型的输出层的分类器,基于选取的特征值确定POI信息的类别,并可以输出该类别信息。至此,某一POI信息的分类处理基本完成。
需要说明的是,CNN模型的卷积层具有局部感受野和权值共享的特点,可以使得CNN模型的性能优化。其中,普通的多层感知器中,隐藏层节点会全连接到每个词向量特征上;而在卷积神经网络中,基于局部感受野的特点, 每个隐层节点只连接到某个足够小局部的词向量特征上,从而大大减少需要训练的权值参数。权值共享指的是在卷积神经网中同一个卷积核内所有的神经元的权值是相同的;权值共享特点不仅减少了神经网络的参数,还可以将局部捕捉到的规律运用在其他位置,减少了训练所需用时。
以上示例的POI信息分类方法中,一方面,采用例如Word2Vec方法构建POI的文本信息的向量,将其表示成向量矩阵形式,使用CNN模型自动提取POI特征,特征提取简便且有效,避免了复杂的预处理过程;另一方面,利用了CNN模型的卷积层的局部感受野和参数共享的特点,减少了网络参数,降低了训练复杂度,并且模型泛化性强。
需要说明的是,POI信息分类方法中所使用的CNN模型可以通过预先加载的方式得到,也可以通过如图1的框32所示的训练过程得到。
图5所示为按照本发明一实施例的CNN模型的训练过程示意图。以下结合图5和图4示例说明本发明一实施例的CNN模型的训练方法的基本过程。
步骤S410,确定训练样本,其中,训练样本包括分类信息已知的训练POI信息。训练样本可以手动地输入,也可以自动采集得到,其包括训练POI信息数目也不是限制性的。
步骤S410,通过对所述训练POI信息进行分词处理,并将所述训练POI信息转换为相应的训练词列表。该步骤与步骤S310基本类似。
步骤S420,将训练词列表中的词转化为相应的训练词向量。该步骤与步骤S321基本类似。
步骤S430,将对应所述训练词列表的训练词向量进行结构转化以生成对应训练POI信息的训练向量矩阵。该步骤示例地可以通过类似步骤S322至步骤S330的过程来实现。
进一步,将训练向量矩阵输入到卷积神经网络进行深度学习,构建CNN模型,其主要地包括以下过程。
步骤S440,进行卷积操作以提取训练向量矩阵的训练用特征向量。该步骤与步骤S350基本类似。
步骤S450,对提取的训练用特征向量进行池化操作来选取相对重要的训练用特征值。该步骤与步骤S360基本类似。
步骤S460,基于选取的训练用特征向量确定所述训练POI信息的当前类别。
步骤S470,基于训练POI信息的已知的类别和当前类别,调整CNN模型的卷积层、池化层和/或输出层的分类器的参数。从而可以训练得到相应的CNN模型。
在该步骤中,可调整的参数包括但不限于以下参数:
1. 词向量的维度(例如可以调整选择为50维、100维、200维等等)。
2. 网络层数,即CNN模型中的神经网络层数;其中卷积层可以为多层,全连接层等也可以为多层。
3. 卷积核,卷积核也称为滤波器(Filters)。其中,卷积核和原始输入特征进行卷积操作(相乘)然后得到输出特征。卷积核的大小需要进行不断实验调整。在某些情况下,文本分类卷积神经网络的卷积核会设置为宽度和输入词向量维度一样。
4. 成本函数/损失函数(Cost Function),其在模型训练过程中用来衡量模型准确度的函数,在整个训练过程都是围绕最小化损失来对成本函数/损失函数进行调整。
5. 学习率(Learning Rate);其中,每次训练迭代中损失函数中最小化的量,因此,选取正确的学习率会影响到模型训练速度和正确性。
6. 批次(Batches);其中,输入数据不是一次性发送给训练中的神经网络模型的,而是分批次的,因此,批次划分、批次大小等也需要实验确定。
7. 周期(Epochs),其表示训练迭代的次数。更多的周期将显示更高的网络准确性,但网络融合需要的时间更长。有时候需要注意避免过多的周期导致结果过拟合。
8. 丢弃率(Dropout);为了防止模型过拟合,隐藏层中的一定数量的神经元被随机地丢弃,在调整过程中,可以实验不同的丢弃比例。
9. 训练集和测试集的划分比例;一份原始的输入训练数据,一般会划分为训练集和测试集(比如按 7:3 比例划分),训练集用来训练模型,测试集用来验证训练出来的模型是否合适。
当然,在该步骤S470中还有其他一些参数可以调整:比如初始权重、批次标准化(Batch Normalization)。
需要说明的是,以上训练过程可以持续地进行,以不断学习并构建准确的CNN模型,从而提高POI信息的分类或预测的准确性。在一实施例中,如果步骤S460确定的当前类别的准确率达到预定准确率(以多个训练POI信息来计算)和/或训练次数达到上限值,则保存CNN模型,完成建模;否则,返回步骤S420进行下一次训练过程。
图6所示为按照本发明一实施例的POI信息分类装置的模块结构示意图。以下结合图3、图4和图6示例说明本发明一实施例的分类装置。
POI信息分类装置可以预先地加载训练好的CNN模型,还可以加载“词到编号”的映射表、Word2Vec模型等。POI信息分类装置中设置有分词模块510,其用于通过对POI信息进行分词处理并将述POI信息转换为相应的词列表,其例如可以被构造为实现如图3所示的步骤S310。
POI信息分类装置中还设置有向量化模块520,向量化模块520用于将词列表中的词转化为相应的词向量,其例如可以被构造为实现如图3所示的步骤S321。
POI信息分类装置中还设置有向量矩阵生成模块530,向量矩阵生成模块530用于将对应词列表的词向量进行结构转化以生成对应POI信息的向量矩阵,其例如可以被构造为实现如图3所示的步骤S322-S324和S330。
POI信息分类装置中还设置有分类模块540,分类模块540基于CNN模型对向量矩阵进行处理以得到对应POI信息的分类信息,其例如可以被构造为实现如图3所示的步骤S340-S370。
在一实施例中,POI信息分类装置中还设置有训练模块550,训练模块550用来基于样本数据训练得到加载到该装置中的CNN模型,其例如可以被构造为实现如图4所示的步骤S410-S480。
需要指出的是,尽管以上示例的POI信息分类方法和装置是针对中文POI信息为示例进行说明的,但是,基于以上示例教导将理解到,其同样适用于其他语种的POI信息(例如英文POI)的分类操作,并且,POI信息可能包括两种语言(例如包括中文和英文的POI信息)也同样适用。
需要说明的是,附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或者在一个或多个硬件模块或集成电路中实现这些功能实体,或者在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
上位参考根据本公开实施例的方法和装置的框图和/或流程图来描述了本申请。将理解这些流程图说明和/或框图的每个框、以及流程图说明和/或框图的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以构成机器,以便由计算机或其他可编程数据处理设备的处理器执行的这些指令创建用于实施这些流程图和/或框和/或一个或多个流程框图中指定的功能/操作的部件。
可以将这些计算机程序指令存储在如图1所示的计算机可读存储器中,这些指令可以指示计算机或其他可编程处理器以特定方式实现功能,以便存储在计算机可读存储器中的这些指令构成包含实施流程图和/或框图的一个或多个框中指定的功能/操作的指令部件的制作产品。
可以将这些计算机程序指令加载到计算机或其他可编程数据处理器上以使一系列的操作步骤在计算机或其他可编程处理器上执行,以便构成计算机实现的进程,以使计算机或其他可编程数据处理器上执行的这些指令提供用于实施此流程图和/或框图的一个或多个框中指定的功能或操作的步骤。还应该注意在一些备选实现中,框中所示的功能/操作可以不按流程图所示的次序来发生。例如,依次示出的两个框实际可以基本同时地执行或这些框有时可以按逆序执行,具体取决于所涉及的功能/操作。
以上例子主要说明了本公开的POI信息分类方法和装置。尽管只对其中一些本发明的实施方式进行了描述,但是本领域普通技术人员应当了解,本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此,所展示的例子与实施方式被视为示意性的而非限制性的,在不脱离如所附各权利要求所定义的本发明精神及范围的情况下,本发明可能涵盖各种的修改与替换。
Claims (14)
1.一种基于卷积神经网络的POI信息分类方法,其特征在于,包括:
通过对所述POI信息进行分词处理,并将所述POI信息转换为相应的词列表;
将所述词列表中的词转化为相应的词向量;
将对应所述词列表的词向量进行结构转化以生成对应所述POI信息的向量矩阵;
将所述向量矩阵输入至预先训练的卷积神经网络模型;
通过所述卷积神经网络模型的卷积层进行卷积操作以提取所述向量矩阵的特征向量;
通过所述卷积神经网络模型的池化层对提取的特征向量进行池化操作来选取特征值;以及
通过所述卷积神经网络模型的分类器,基于选取的特征值确定所述POI信息的类别,其中,在将对应所述词列表的词向量进行结构转化以生成对应所述POI信息的向量矩阵的步骤中,包括:
基于“词到编号”映射关系,生成对应所述词列表的词编号序列;
基于所述词向量获得对应所述词列表的多个词的词组向量;
基于所述词列表的词的编号以及所述词组向量,生成对应所述词列表的“编号到词向量”映射关系;以及
基于所述词编号序列和所述“编号到词向量”映射关系,构建对应所述POI信息的向量矩阵。
2.如权利要求1所述的POI信息分类方法,其特征在于,在将所述词列表中的词转化为相应的词向量的步骤中,使用词转向量模型将所述词列表中的每个词向量化并生成相应的词向量。
3.如权利要求1所述的POI信息分类方法,其特征在于,所述卷积操作中,将卷积核与所述向量矩阵卷积操作,以得到相应的特征值。
4.如权利要求3所述的POI信息分类方法,其特征在于,所述卷积操作所属卷积层的操作是基于卷积神经元中使用的以下公式进行:
其中,conv表示卷积得到的特征值,poiMat表示所述向量矩阵,W表示所述卷积核,表示卷积,b表示偏置值,δ表示激活函数。
5.如权利要求1所述的POI信息分类方法,其特征在于,在选取特征值的步骤中,对于卷积操作结果的某一区域的特征,采用该区域中最大的特征值来代表该区域。
6.如权利要求1所述的POI信息分类方法,其特征在于,所述预先训练的卷积神经网络模型通过以下步骤获得:
确定训练样本,其中,所述训练样本包括分类信息已知的训练POI信息;
通过对所述训练POI信息进行分词处理,并将所述训练POI信息转换为相应的训练词列表;
将所述训练词列表中的词转化为相应的训练词向量;
将对应所述训练词列表的训练词向量进行结构转化以生成对应所述训练POI信息的训练向量矩阵;以及
将所述训练向量矩阵输入到卷积神经网络进行深度学习,构建所述卷积神经网络模型。
7.如权利要求6所述的POI信息分类方法,其特征在于,在构建所述卷积神经网络模型的步骤中,其包括:
进行卷积操作以提取所述训练向量矩阵的训练用特征向量;
对提取的训练用特征向量进行池化操作来选取训练用特征值;
基于选取的训练用特征向量确定所述训练POI信息的当前类别;以及
基于所述训练POI信息的已知的类别和当前类别,调整所述卷积神经网络模型的卷积层、池化层和/或分类器的参数。
8.如权利要求7所述的POI信息分类方法,其特征在于,如果确定的所述当前类别的准确率达到预定准确率和/或训练次数达到上限值,则保存所述卷积神经网络模型;否则,返回提取训练用特征向量进行下一次训练过程。
9.如权利要求7所述的POI信息分类方法,其特征在于,所述参数包括以下的一个或多个:词向量的维度、网络层数、卷积核、成本函数、学习率、批次、周期、丢弃率、训练集和测试集的划分比例。
10.一种基于卷积神经网络的POI信息分类装置,其特征在于,包括:
分词模块,其用于通过对所述POI信息进行分词处理并将所述POI信息转换为相应的词列表;
向量化模块,其用于将所述词列表中的词转化为相应的词向量;
向量矩阵生成模块,其用于将对应所述词列表的词向量进行结构转化以生成对应所述POI信息的向量矩阵;以及
分类模块,其用于:
将所述向量矩阵输入至预先训练的卷积神经网络模型;
通过所述卷积神经网络模型的卷积层进行卷积操作以提取所述向量矩阵的特征向量;
通过所述卷积神经网络模型的池化层对提取的特征向量进行池化操作来选取特征值;以及
通过所述卷积神经网络模型的分类器,基于选取的特征值确定所述POI信息的类别,其中,所述向量矩阵生成模块被构造为实现:
基于“词到编号”映射关系,生成对应所述词列表的词编号序列;
基于所述词向量获得对应所述词列表的多个词的词组向量;
基于所述词列表的词的编号以及所述词组向量,生成对应所述词列表的“编号到词向量”映射关系;以及
基于所述词编号序列和所述“编号到词向量”映射关系,构建对应所述POI信息的向量矩阵。
11.如权利要求10所述的POI信息分类装置,其特征在于,所述向量化模块使用词转向量模型将所述词列表中的每个词向量化并生成相应的词向量。
12.如权利要求10所述的POI信息分类装置,其特征在于,还包括训练模块,其用于:
接收训练样本,其中,所述训练样本包括分类信息已知的训练POI信息;
通过对所述训练POI信息进行分词处理,并将所述训练POI信息转换为相应的训练词列表;
将所述训练词列表中的词转化为相应的训练词向量;
将对应所述训练词列表的训练词向量进行结构转化以生成对应所述训练POI信息的训练向量矩阵;以及
将所述训练向量矩阵输入到卷积神经网络进行深度学习,构建所述卷积神经网络模型。
13.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器能够执行所述程序时实现如权利要求1至9中任一项所述POI信息分类方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序能够被处理器执行以实现如权利要求1至9中任一项所述POI信息分类方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811329702.9A CN111242146B (zh) | 2018-11-09 | 2018-11-09 | 基于卷积神经网络的poi信息分类 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811329702.9A CN111242146B (zh) | 2018-11-09 | 2018-11-09 | 基于卷积神经网络的poi信息分类 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111242146A CN111242146A (zh) | 2020-06-05 |
CN111242146B true CN111242146B (zh) | 2023-08-25 |
Family
ID=70879202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811329702.9A Active CN111242146B (zh) | 2018-11-09 | 2018-11-09 | 基于卷积神经网络的poi信息分类 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111242146B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767359B (zh) * | 2020-06-30 | 2023-09-01 | 北京百度网讯科技有限公司 | 兴趣点分类方法、装置、设备以及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5167004A (en) * | 1991-02-28 | 1992-11-24 | Texas Instruments Incorporated | Temporal decorrelation method for robust speaker verification |
CN106874296A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种商品的风格识别方法及装置 |
CN107180241A (zh) * | 2017-04-20 | 2017-09-19 | 华南理工大学 | 一种基于Gabor特征具有分形结构的极深神经网络的动物分类方法 |
CN107341452A (zh) * | 2017-06-20 | 2017-11-10 | 东北电力大学 | 基于四元数时空卷积神经网络的人体行为识别方法 |
CN107665254A (zh) * | 2017-09-30 | 2018-02-06 | 济南浪潮高新科技投资发展有限公司 | 一种基于深度学习的菜谱推荐方法 |
CN108090047A (zh) * | 2018-01-10 | 2018-05-29 | 华南师范大学 | 一种文本相似度的确定方法及设备 |
CN108171276A (zh) * | 2018-01-17 | 2018-06-15 | 百度在线网络技术(北京)有限公司 | 用于生成信息的方法和装置 |
CN108399230A (zh) * | 2018-02-13 | 2018-08-14 | 上海大学 | 一种基于卷积神经网络的中文财经新闻文本分类方法 |
CN108734212A (zh) * | 2018-05-17 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 一种确定分类结果的方法以及相关装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9846836B2 (en) * | 2014-06-13 | 2017-12-19 | Microsoft Technology Licensing, Llc | Modeling interestingness with deep neural networks |
US10303977B2 (en) * | 2016-06-28 | 2019-05-28 | Conduent Business Services, Llc | System and method for expanding and training convolutional neural networks for large size input images |
-
2018
- 2018-11-09 CN CN201811329702.9A patent/CN111242146B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5167004A (en) * | 1991-02-28 | 1992-11-24 | Texas Instruments Incorporated | Temporal decorrelation method for robust speaker verification |
CN106874296A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种商品的风格识别方法及装置 |
CN107180241A (zh) * | 2017-04-20 | 2017-09-19 | 华南理工大学 | 一种基于Gabor特征具有分形结构的极深神经网络的动物分类方法 |
CN107341452A (zh) * | 2017-06-20 | 2017-11-10 | 东北电力大学 | 基于四元数时空卷积神经网络的人体行为识别方法 |
CN107665254A (zh) * | 2017-09-30 | 2018-02-06 | 济南浪潮高新科技投资发展有限公司 | 一种基于深度学习的菜谱推荐方法 |
CN108090047A (zh) * | 2018-01-10 | 2018-05-29 | 华南师范大学 | 一种文本相似度的确定方法及设备 |
CN108171276A (zh) * | 2018-01-17 | 2018-06-15 | 百度在线网络技术(北京)有限公司 | 用于生成信息的方法和装置 |
CN108399230A (zh) * | 2018-02-13 | 2018-08-14 | 上海大学 | 一种基于卷积神经网络的中文财经新闻文本分类方法 |
CN108734212A (zh) * | 2018-05-17 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 一种确定分类结果的方法以及相关装置 |
Non-Patent Citations (1)
Title |
---|
利用动态多池卷积神经网络的情感分析模型;喻涛等;《计算机科学与探索》;20170523(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111242146A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108959246B (zh) | 基于改进的注意力机制的答案选择方法、装置和电子设备 | |
CN110348535B (zh) | 一种视觉问答模型训练方法及装置 | |
CN109948149B (zh) | 一种文本分类方法及装置 | |
CN107506822B (zh) | 一种基于空间融合池化的深度神经网络方法 | |
US20210390370A1 (en) | Data processing method and apparatus, storage medium and electronic device | |
WO2020238039A1 (zh) | 神经网络搜索方法及装置 | |
CN111274797A (zh) | 用于终端的意图识别方法、装置、设备及存储介质 | |
CN108073576A (zh) | 智能搜索方法、搜索装置以及搜索引擎系统 | |
CN111143567B (zh) | 一种基于改进神经网络的评论情感分析方法 | |
EP4053739A1 (en) | Neural network model for image segmentation and image segmentation method therefor | |
CN113162787B (zh) | 电信网络中故障定位的方法、节点分类方法以及相关设备 | |
CN116467141A (zh) | 日志识别模型训练、日志聚类方法和相关系统、设备 | |
CN114995729A (zh) | 一种语音绘图方法、装置及计算机设备 | |
CN113449840A (zh) | 神经网络训练方法及装置、图像分类的方法及装置 | |
CN111242146B (zh) | 基于卷积神经网络的poi信息分类 | |
CN110825852B (zh) | 面向长文本的语义匹配方法及系统 | |
CN107622048B (zh) | 一种文本模式识别方法及系统 | |
CN115587297A (zh) | 构建图像识别模型和图像识别的方法、装置、设备及介质 | |
WO2021159101A1 (en) | Fine-grained stochastic neural architecture search | |
CN110569331A (zh) | 一种基于上下文的关联性预测方法、装置及存储设备 | |
CN113468924B (zh) | 关键点检测模型训练方法和装置、关键点检测方法和装置 | |
CN116050428B (zh) | 意图识别方法、装置、设备及存储介质 | |
CN112749275B (zh) | 一种数据处理方法以及设备 | |
CN115982144A (zh) | 相似文本去重方法、装置、存储介质及电子装置 | |
CN118116369A (zh) | 声学模型预训练方法、模型训练方法及装置、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200807 Address after: Susong Road West and Shenzhen Road North, Hefei Economic and Technological Development Zone, Anhui Province Applicant after: Weilai (Anhui) Holding Co.,Ltd. Address before: 30 Floor of Yihe Building, No. 1 Kangle Plaza, Central, Hong Kong, China Applicant before: NIO NEXTEV Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |