CN111401397A - 分类方法、装置及设备、存储介质 - Google Patents
分类方法、装置及设备、存储介质 Download PDFInfo
- Publication number
- CN111401397A CN111401397A CN201911072257.7A CN201911072257A CN111401397A CN 111401397 A CN111401397 A CN 111401397A CN 201911072257 A CN201911072257 A CN 201911072257A CN 111401397 A CN111401397 A CN 111401397A
- Authority
- CN
- China
- Prior art keywords
- word
- target
- vector
- determining
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims abstract description 359
- 238000013145 classification model Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims description 50
- 230000011218 segmentation Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 20
- 239000000463 material Substances 0.000 claims description 14
- 230000002829 reductive effect Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000008520 organization Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Tourism & Hospitality (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种分类方法、装置及设备、存储介质，该方法包括：获取目标设备的设备信息；依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量；将所述目标特征向量输入至已训练的分类模型中，得到所述目标设备所处的应用场所的类别。可自动确定设备应用场所，可降低成本与分类错误率。
Description
技术领域
本发明涉及信息技术领域，尤其涉及的是一种分类方法、装置及设备、存储介质。
背景技术
随着物联网的发展，越来越多的人脸识别设备、卡口、视频设备等各种监控设备安装在城市的大街小巷。如果可以确定设备应用在哪种场所，就可以方便统一管控各个应用场所中的设备，比如医院场所中有哪些设备等。
但是，目前暂无成熟的技术来实现对设备所处的应用场所进行分类，只能通过人工对设备的应用场所进行分类，人工成本较高，而且分类错误率也较高，导致对设备的管控能力较低。
发明内容
有鉴于此，本发明提供一种分类方法、装置及设备、存储介质，可自动确定设备应用场所，可降低成本与分类错误率。
本发明第一方面提供一种分类方法，包括：
获取目标设备的设备信息；
依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量；
将所述目标特征向量输入至已训练的分类模型中，得到所述目标设备所处的应用场所的类别。
根据本发明的一个实施例，依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量，包括：
将所述目标设备的设备信息进行分词处理得到至少一个目标词语；
确定每一目标词语的词向量；
依据各目标词语的词向量确定所述目标设备对应的目标特征向量。
根据本发明的一个实施例，确定每一目标词语的词向量，包括：
针对每一个目标词语，在已获取的词语与词向量对应关系中查找该目标词语对应的词向量；
如果查找到，依据查找到的词向量确定该目标词语的词向量；
如果未查找到，确定随机向量，依据所述随机向量确定该目标词语的词向量。
根据本发明的一个实施例，依据查找到的词向量确定该目标词语的词向量，包括：
将查找到的词向量与第一权重值的乘积确定为该目标词语的词向量。
根据本发明的一个实施例，依据所述随机向量确定该目标词语的词向量，包括：
将所述随机向量与第二权重值的乘积作为该目标词语的词向量，所述第二权重值小于第一权重值。
根据本发明的一个实施例，所述词语与词向量对应关系通过以下方式获取：
对目标语料库进行分词处理得到多个词语，将得到的各个词语组成语料集；
将所述语料集输入至已获取的词向量模型，得到所述语料集中每一词语的词向量；
将所述语料集中每一词语与得到的该词语的词向量之间的对应关系确定为所述词语与词向量对应关系。
根据本发明的一个实施例，所述分类模型通过以下方式训练得到：
获取训练数据，所述训练数据包括：样本设备对应的特征向量、以及样本设备被标注的应用场所类别；
依据训练数据并采用预设的训练方式训练出所述分类模型。
本发明第二方面提供一种分类装置，包括：
设备信息获取模块，用于获取目标设备的设备信息；
目标特征向量获取模块，用于依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量；
应用场所分类模块，用于将所述目标特征向量输入至已训练的分类模型中，得到所述目标设备所处的应用场所的类别。
根据本发明的一个实施例，所述目标特征向量获取模块依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量时，具体用于：
将所述目标设备的设备信息进行分词处理得到至少一个目标词语；
确定每一目标词语的词向量；
依据各目标词语的词向量确定所述目标设备对应的目标特征向量。
根据本发明的一个实施例，所述目标特征向量获取模块确定每一目标词语的词向量时，具体用于：
针对每一个目标词语，在已获取的词语与词向量对应关系中查找该目标词语对应的词向量；
如果查找到，依据查找到的词向量确定该目标词语的词向量；
如果未查找到，确定随机向量，依据所述随机向量确定该目标词语的词向量。
根据本发明的一个实施例，所述目标特征向量获取模块依据查找到的词向量确定该目标词语的词向量时，具体用于：
将查找到的词向量与第一权重值的乘积确定为该目标词语的词向量。
根据本发明的一个实施例，所述目标特征向量获取模块依据所述随机向量确定该目标词语的词向量时，具体用于：
将所述随机向量与第二权重值的乘积作为该目标词语的词向量，所述第二权重值小于第一权重值。
根据本发明的一个实施例，所述词语与词向量对应关系通过以下模块获取：
分词模块，用于对目标语料库进行分词处理得到多个词语，将得到的各个词语组成语料集；
词向量确定模块，用于将所述语料集输入至已获取的词向量模型，得到所述语料集中每一词语的词向量；
对应关系确定模块，用于将所述语料集中每一词语与得到的该词语的词向量之间的对应关系确定为所述词语与词向量对应关系。
根据本发明的一个实施例，所述分类模型通过以下模块训练得到：
训练数据获取模块，用于获取训练数据，所述训练数据包括：样本设备对应的特征向量、以及样本设备被标注的应用场所类别；
分类模型训练模块，用于依据训练数据并采用预设的训练方式训练出所述分类模型。
本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例所述的分类方法。
本发明第四方面提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例所述的分类方法。
本发明实施例具有以下有益效果：
本发明实施例中，基于获取的目标设备的设备信息，确定目标设备对应的目标特征向量，由于目标特征向量是设备信息的向量表示，而设备信息可以表征目标设备，因而将目标特征向量输入至已训练的分类模型后，可由分类模型确定目标设备所处的应用场所的类别，只要预先训练好分类模型，在对设备所处的应用场所分类过程中，可以利用分类模型自动地进行分类，可以达到一次学习，多次应用的效果，降低了成本与分类错误率，而且可以对公安行业进行设备的应用场所类型进行统一监控，保证对设备的管控能力。
附图说明
图1是本发明一实施例的分类方法的流程示意图；
图2是本发明一实施例的分类装置的结构框图；
图3是本发明一实施例的电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本发明范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：
词向量：Word embedding，又叫Word嵌入式，词的向量表征，即用词向量来表示词语，是自然语言处理(NLP)中的一组语言建模和特征学习技术的统称。
Word2Vec：词向量模型，即用来产生词向量的模型。Word2Vec的输入是一组词语，输出则是一组向量即各词语的词向量。将一组词语输入至Word2Vec后，Word2Vec会学习词语之间的相关性，最终输出每个词语对应的词向量。
支持向量机：Support Vector Machine，简称SVM，是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。
语料：在语言实际使用中真实出现过的语言材料，例如一本小说就可以被认为是一个语料。
分词：就是将连续的字序列按照一定的规范重新组合成词序列的过程。
中文分词：Chinese Word Segmentation，指的是将一个汉字序列切分成一个个单独的词，例如，我爱北京天安门，分词的结果就是我/爱/北京/天安门。
下面对本发明实施例的分类方法进行更具体的描述，但不应以此为限。
在一个实施例中，参看图1，一种分类方法，包括以下步骤：
S100：获取目标设备的设备信息；
S200：依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量；
S300：将所述目标特征向量输入至已训练的分类模型中，得到所述目标设备所处的应用场所的类别。
本发明实施例的分类方法的执行主体可以为电子设备，更具体可以是电子设备的处理器。该电子设备可以为计算机设备或嵌入式设备等，具体类型不限，只要具备一定的数据处理能力即可。
步骤S100中，获取目标设备的设备信息。
电子设备可以与目标设备处于同一物联网中，通过物联网采集目标设备的设备信息。比如，可以通过物联网从目标设备中获取到该目标设备的设备信息。
或者，电子设备也可以通过物联网从数据库中获取到目标设备的设备信息，具体获取方式不限。
当然，电子设备自身也可以作为目标设备，获取本设备的设备信息，最终确定本设备所在的应用场所的类别。
目标设备比如可以是网络摄像机(IPC)、视频监控平台设备、网络视频录像机(NVR)、数字视频录像机(DVR)、人脸识别相机等安防设备。当然，目标设备的具体类别不限，只要是有一定的应用场所并需要被管理的设备均可以作为目标设备。
设备的设备信息可以与设备密切相关，每一台设备都有其独特的设备信息，所以设备信息可以用来表征设备。相应的，目标设备的设备信息可以用来表征目标设备。
可选的，设备信息可以包括设备编号、设备所处的经纬度、设备名称、设备组织列表中的一种或几种。设备组织列表中记录了设备所归属的组织信息，比如，设备由西湖区管辖，则设备组织列表中可以记录西湖区的相关信息，又如，设备归属于某个公司，则设备组织列表中可以记录该公司的相关信息。
可以理解，上述设备信息仅是示例性的，实际可以根据需要进行调整，比如设备信息还可以包括设备的地址信息(如IP地址等)，具体不作为限制。
步骤S200中，依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量。
可以对目标设备的设备信息进行处理，得到适合于机器学习模型输入的向量即目标特征向量。即，目标设备的设备信息用目标特征向量来表示。设备信息可以包含多个方面的信息，这些信息可以综合起来用目标特征向量表示。
确定目标特征向量的方式具体不限，比如，可以预先建立好所有可能的设备信息与相应特征向量的映射关系，在获取到目标设备的设备信息时，可以按照已建立的映射关系确定与目标设备的设备信息具有映射关系的特征向量，作为目标特征向量。
目标特征向量是一个多维向量，具体的维度不限，可以视实际设备数量、应用场所的类别总量等而定。目标特征向量中每一维度上的数据可以有一定的取值范围，比如，每一维度上的数据可以均在0～1范围内(当然，此范围仅是举例，也可以是其他范围)，可以减轻机器学习模型计算的复杂度。
可选的，在步骤S200之前，可以对设备信息进行清洗，以去除设备信息中的无效信息。比如，在需要中文信息(包含数字和标点)时，可以将设备信息中非中文信息的数据去除，保留设备信息中大部分值不为空且有中文信息的字段。步骤S200中，可以依据清洗后的设备信息确定该设备信息对应的目标特征向量。
在步骤S300中，将所述目标特征向量输入至已训练的分类模型中，得到所述目标设备所处的应用场所的类别。
分类模型是预先训练好的，用于对设备所在的应用场所进行分类。分类模型可以存储在电子设备本地或外部设备中，在需要时进行调用。
分类模型是一个多分类模型，可以采用多个SVM搭建而成，用于对多种应用场所进行分类，比如包括：如超市、农贸市场、铁路站点、政府机关、医院、学校、卡口等场所，具体可以基于公安行业关注的角度制定相应的场所分类。当然，也可以根据需要来确定相应的场所分类。
比如，通过物联网采集到超市中设备的设备信息，该设备作为待分类的目标设备，依据该设备信息确定该设备对应的目标特征向量，将该目标特征向量输入至分类模型中，分类模型可以输出超市类别，说明该设备所在的应用场所为超市。相应的，如果设备是处于医院，那么分类模型会输出医院类别。当然，不同的类别可以用不同的数值来表示，比如超市类别为1，医院类别为2等。
本发明实施例中，基于获取的目标设备的设备信息，确定目标设备对应的目标特征向量，由于目标特征向量是设备信息的向量表示，而设备信息可以表征目标设备，因而将目标特征向量输入至已训练的分类模型后，可由分类模型确定目标设备所处的应用场所的类别，只要预先训练好分类模型，在对设备所处的应用场所分类过程中，可以利用分类模型自动地进行分类，可以达到一次学习，多次应用的效果，降低了成本与分类错误率，而且可以对公安行业进行设备的应用场所类型进行统一监控，保证对设备的管控能力。
在一个实施例中，上述方法流程可由分类装置执行，如图2所示，分类装置100可以包含3个模块：设备信息获取模块101、目标特征向量获取模块102和应用场所分类模块103。设备信息获取模块101用于执行上述步骤S100，目标特征向量获取模块102用于执行上述步骤S200，应用场所分类模块103用于执行上述步骤S300。
其中，分类模型可以集成在应用场所分类模块103中作为其中的一部分，也可以设置在应用场所分类模块103外部，可由应用场所分类模块103来调度。
在一个实施例中，步骤S200中，依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量，包括：
S201：将所述目标设备的设备信息进行分词处理得到至少一个目标词语；
S202：确定每一目标词语的词向量；
S203：依据各目标词语的词向量确定所述目标设备对应的目标特征向量。
步骤S201中，将所述目标设备的设备信息进行分词处理得到至少一个目标词语。
可以采用分词工具来将目标设备的设备信息进行分词处理，更具体的可以是进行中文分词处理，得到至少一个目标词语。当然，在设备信息比较丰富的情况下，通常来说是多个目标词语。这些目标词语是设备信息中出现的词语。
采用的分词工具可以为jieba(结巴分词工具)、THULAC(中文词法分析工具包，具有中文分词和词性标注功能)、SnowNLP(一个python写的类库，可以方便的处理中文文本内容)、PyNLPIR(一种中文分词工具)、CoreNLP(一种开源中文分词工具)等，具体分词工具不限，可以根据需要进行选择。
当然，也可以自定义一种分词方式，利用自定义的分词方式来将目标设备的设备信息进行分词处理。
在分词处理过程中，可以先对设备信息进行清洗，以去除设备信息中的无效信息，以保留有用信息(有用信息可以包括中文语句、数字等)。比如，设备信息包括设备组织列表时，可以将设备组织列表中的“/”删除或用空格替换；还可以将设备信息中不用中文表示的数据比如用英文表示的数据；和/或，还可以去除设备信息中大部分值为空的字段上的数据。
步骤S202中，确定每一目标词语的词向量。
每一目标词语的词向量可以表示该目标词语。换言之，每一目标词语的词向量是该词语的向量表示。词向量是一种数据化形式，适于机器模型进行处理，因而将目标词语用词向量来表示。
确定每一目标词语的词向量方式有多种。比如。可以预先设置好词语与词向量对应关系，然后，从对应关系中确定出每一目标词语的词向量。针对每一个目标词语，可以从词语与词向量对应关系中查找该目标词语对应的词向量，将查找到的词向量确定为该目标词语的词向量。
词语与词向量对应关系的表现形式可以是一个记录了词语与对应的词向量的词汇表，具体表现形式不限。
当然，确定每一目标词语的词向量方式不限于上述例子。
步骤S203中，依据各目标词语的词向量确定所述目标设备对应的目标特征向量。
得到各目标词语的词向量后，可以据此确定目标特征向量。依据各目标词语的词向量确定目标特征向量的方式可以有多种，比如：
一种方式是，可以通过对各目标词语的词向量进行设定的数学运算，得到该目标特征向量。数学运算可以包括：求和、求平均、加权平均等，当然也可以包含其他的运算，具体运算方式不限。
具体的，可以将各词语的目标词向量求和，将求和所得向量确定为目标特征向量；或者，可以将各词语的目标词向量求和，将求和所得向量与所有词语的个数之比确定为目标特征向量。
另一种方式是，可以对各目标词语的词向量进行一定的排列组合，组成目标特征向量。
可以理解，上述仅是确定目标特征向量的例子，并不作为限制，确定目标特征向量的方式不限于此。
本实施例中，采用将设备信息进行分词处理的方式可以得到至少一个目标词语，再确定目标词语的词向量，可以用词向量来表示目标词语，最后依据各词向量来确定目标特征向量，该目标特征向量即是设备信息的向量表示，将自然语言处理(NLP)方式与机器学习结合起来，应用到了设备的应用场所分类中，是人工智能的一种新形式。
在一个实施例中，步骤S202中，确定每一目标词语的词向量，可以包括以下步骤：
S2021：针对每一个目标词语，在已获取的词语与词向量对应关系中查找该目标词语对应的词向量；
S2022：如果查找到，依据查找到的词向量确定该目标词语的词向量；
S2023：如果未查找到，确定随机向量，依据所述随机向量确定该目标词语的词向量。
词语与词向量对应关系是预先准备好的，比如可以是记录了多个词语与对应的词向量的词汇表，每一个词语对应的词向量都是该词语的向量表示。
针对每一个目标词语，可以以该目标词语为关键字，在词语与词向量对应关系中该目标词语对应的词向量；如果该目标词语在词语与词向量对应关系中，那么可以查找到该词语对应的词向量；否则，就查找不到该词语对应的词向量。
如果在词语与词向量对应关系中查找该目标词语对应的词向量，那么可以依据查找到的词向量确定该目标词语的词向量。在一种可选的方式中，可以直接将查找到的词向量确定为该目标词语的词向量，当然，此处不作为限制。
如果在词语与词向量对应关系中查找该目标词语对应的词向量，那么可以确定一随机向量，依据该随机向量确定该目标词语的词向量。在一种可选的方式中，可以将随机向量直接确定为该目标词语的词向量，当然，此处不作为限制。
随机向量的确定方式，可以是随机生成，或者从预设的多个随机向量中随机选择一个，具体方式不限。
优选的，随机向量的维度与词语与词向量对应关系中的词向量的维度保持一致，以便于依据随机向量确定出的目标词语的词向量、与依据查找出的词向量确定出的目标词语的词向量的维度一致。
优选的，随机向量、词语与词向量对应关系中词向量的每一维度上的数据可以在0～1范围内取值，以便于最终确定出的目标特征向量的每一维度上的数据取值也在一定的范围内。
由于词语与词向量对应关系中的词向量是有限的，所以可能存在查找不到词向量的情况，本实施例中，在查找不到时，可以通过确定一随机向量，再依据随机向量来确定目标词语的词向量，保证每个目标词语都可用相应的词向量来表示。
在一个实施例中，步骤S2022中，依据查找到的词向量确定该目标词语的词向量，可以包括：
将查找到的词向量与第一权重值的乘积确定为该目标词语的词向量。
将查找到的词向量用第一权重值加权(即相乘)后，所得的结果作为目标词语的词向量，可以改变该目标词语的词向量在所有目标词语的词向量中的重要程度。
在计算查找到的词向量与第一权重值的乘积时，将词向量的每一维度上的数据都与第一权重值相乘。
词语与词向量对应关系中的词向量相比于随机向量来说，可靠性更高一些，可以根据该差异情况来确定第一权重值。
在一个实施例中，步骤S2023中，依据所述随机向量确定该目标词语的词向量，可以包括：
将所述随机向量与第二权重值的乘积作为该目标词语的词向量，所述第二权重值小于第一权重值。
在计算随机向量与第二权重值的乘积时，将随机向量的每一维度上的数据都与第二权重值相乘。
由于词语与词向量对应关系中的词向量相比于随机向量来说，可靠性更高一些。因而本实施例中，将查找到的词向量、与随机向量用不同的权重值加权，查找到的词向量加权所用的第一权重值比随机向量加权所用的第二权重值大。、如此，可以提升查找到的词向量与第一权重值的相乘得到该目标词语的词向量在所有目标词语的词向量的重要性，保证最终得到的目标特征向量的可靠性。
比如，a表示第一权重值，b表示第二权重值，a与b的关系为：b<a。进一步的，a与b的关系可以为0<b<a<＝1，且a+b＝1，当然，此处的进一步关系仅是举例，实际可以根据需要对a与b进行一定的条件约束。
在一个实施例中，所述词语与词向量对应关系通过以下方式获取：
T100：对目标语料库进行分词处理得到多个词语，将得到的各个词语组成语料集；
T200：将所述语料集输入至已设置的词向量模型，得到所述语料集中每一词语的词向量；
T300：将所述语料集中每一词语与得到的该词语的词向量之间的对应关系确定为所述词语与词向量对应关系。
步骤T100中，对目标语料库进行分词处理得到多个词语，将得到的各个词语组成语料集。
目标语料库包含多个语料，一个语料可以是一篇文章、一句话、一个词语等。有较多的语料库可作为目标语料库，比如，中文维基百科语料库、百度百科语料库、sogou文本分类语料库等，具体语料库不限。
可以采用分词工具对目标语料库中每一语料进行分词，分词工具比如jieba分词工具，当然，也可以采用其他分词工具，具体可以参看前述相关的描述内容。
对目标语料库进行分词处理可得到多个词语，将得到的各个词语组成语料集，语料集中包含得到的这些词语。
步骤T200中，将所述语料集输入至已获取的词向量模型，得到所述语料集中每一词语的词向量。
从同一语料分词得到的词语之间通常具有上下文的相关性。将语料集输入到已设置的词向量模型word2vec中后，词向量模型word2vec可以学习语料集中词语之间的相关性，最终可以得到语料集中每一词语的词向量。
词向量模型word2vec是已有的用于确定词语的词向量的模型，可以设置在本地或者外部设备中，在需要时获取。
步骤T300中，将所述语料集中每一词语与得到的该词语的词向量之间的对应关系确定为所述词语与词向量对应关系。
可以将语料集中每一词语与词语的词向量对应地进行记录，得到词语与词向量对应关系。词语与词向量对应关系的表现形式可以为词汇表，词汇表中记录了语料集中每一词语与对应的词向量。
可选的，目标语料库可以通过以下方式获取：
从数据源获取至少一个语料；
将获取的每一语料从当前格式转换成文本格式；
对文本格式下的每一语料进行清洗，以得到包含指定字体字符的语料；
将各包含指定字体字符的语料组成为所述目标语料库。
数据源比如是中文维基百科网页，可以通过互联网从中文维基百科网页上下载至少一个页面数据，这些页面数据作为语料。当然，还可以从其他数据源获取语料，比如百度百科等。
由于页面数据的格式一般为网页格式，比如html格式、xml格式等，为了便于处理，将各个语料从当前的网页格式转换为文本格式，即text格式，得到text格式的语料。
一般来说，获取的语料中可能会携带较多无用的信息，或者需要进行一定的处理才能得到所需的信息。因而可以对文本格式下的每一语料进行清洗，以得到包含指定字体字符的语料。指定字体字符比如为中文字符，具体的，可以将文本格式下的语料中的繁体中文转换成简体，并去除语料中的英文、空格等无效字符，从而得到包含中文字符的语料。当然，具体清洗的方式也不限于此。
清洗完成后，将清洗所得的各包含指定字体字符的语料组成为所述目标语料库。当然，在语料原本就是中文材料的情况下，也可以将从数据源获取的语料直接组成为目标语料库。
在一个实施例中，所述分类模型通过以下方式训练得到：
U100：获取训练数据，所述训练数据包括：样本设备对应的特征向量、以及样本设备被标注的应用场所类别；
U200：依据训练数据并采用预设的训练方式训练出所述分类模型。
步骤U100中，获取训练数据。
可以预先选择好一些样本设备，并对样本设备标注其所处的应用场所类型；获取样本设备的设备信息，并依据样本设备的设备信息确定样本设备对应的特征向量，将各样本设备对应的特征向量、及样本设备被标注的应用场所类别组成为训练数据。
其中，可以通过物联网从数据库、或各样本设备中获取到各样本设备的设备信息。所有样本设备所处的应用场所类型包含多种类型。
依据样本设备的设备信息确定样本设备对应的特征向量的方式可以为：针对每一样本设备，将该样本设备的设备信息进行分词处理，得到至少一个词语；确定每一个词语的词向量；利用各词语的词向量确定样本设备对应的特征向量。确定样本设备对应的特征向量的方式与确定目标特征向量的方式类似，在此不再赘述。
步骤U200中，依据训练数据并采用预设的训练方式训练出所述分类模型。
训练数据中，特征向量是样本设备的设备信息的向量表示，样本设备被标注的应用场所类别作为训练时的监督信息。可以依据训练数据并采用预设的训练方式进行有监督训练，得到分类模型。
具体的训练过程，比如包括以下步骤：
建立初始模型；
从训练数据中选择一未输入至初始模型的样本设备对应的特征向量，并将选择的特征向量输入至初始模型中，以使初始模型依据该特征向量确定该样本设备的预测类别并输出；
将初始模型输出的预测类别与该样本设备被标注的应用场所类别进行比对，根据比对结果优化所述初始模型；
检查训练数据中是否还存在未输入至初始模型的特征向量，如果存在，返回从训练数据中选择一未输入至初始模型的样本设备对应的特征向量的操作，如果不存在，则将优化后的初始模型确定为分类模型。
可选的，为了验证已训练的分类模型的分类性能，可以获取多个测试设备的设备信息对分类模型进行测试，测试设备可以不同于样本设备。本次获取的设备信息与为得到训练数据而获取的设备信息之间的比例，比如可以为3:7。
测试设备也被标注了其应用场所的类别。测试方式比如包括：
依据测试设备的设备信息确定测试设备对应的特征向量；
针对每一测试设备，将该测试设备的特征向量输入至已训练的分类模型，以由分类模型确定的分类结果，与人工标注的类别标签进行比对，如果一致，则将设置的正确数量(正确数量在测试之前初始化为0)与1进行累加；
计算正确数量与测试设备的总数之比，作为准确率。
经上述方式验证后，准确率结果达到了93.7％。这说明已训练的分类模型的分类性能较好，分类准确度较高，可以投入使用，如此能够在项目上节省较大的人力成本。
本发明还提供一种分类装置，参看图2，该分类装置100可以包括：
设备信息获取模块101，用于获取目标设备的设备信息；
目标特征向量获取模块102，用于依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量；
应用场所分类模块103，用于将所述目标特征向量输入至已训练的分类模型中，得到所述目标设备所处的应用场所的类别。
在一个实施例中，所述目标特征向量获取模块依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量时，具体用于：
将所述目标设备的设备信息进行分词处理得到至少一个目标词语；
确定每一目标词语的词向量；
依据各目标词语的词向量确定所述目标设备对应的目标特征向量。
在一个实施例中，所述目标特征向量获取模块确定每一目标词语的词向量时，具体用于：
针对每一个目标词语，在已获取的词语与词向量对应关系中查找该目标词语对应的词向量；
如果查找到，依据查找到的词向量确定该目标词语的词向量；
如果未查找到，确定随机向量，依据所述随机向量确定该目标词语的词向量。
在一个实施例中，所述目标特征向量获取模块依据查找到的词向量确定该目标词语的词向量时，具体用于：
将查找到的词向量与第一权重值的乘积确定为该目标词语的词向量。
在一个实施例中，所述目标特征向量获取模块依据所述随机向量确定该目标词语的词向量时，具体用于：
将所述随机向量与第二权重值的乘积作为该目标词语的词向量，所述第二权重值小于第一权重值。
在一个实施例中，所述词语与词向量对应关系通过以下模块获取：
分词模块，用于对目标语料库进行分词处理得到多个词语，将得到的各个词语组成语料集；
词向量确定模块，用于将所述语料集输入至已获取的词向量模型，得到所述语料集中每一词语的词向量；
对应关系确定模块，用于将所述语料集中每一词语与得到的该词语的词向量之间的对应关系确定为所述词语与词向量对应关系。
在一个实施例中，所述分类模型通过以下模块训练得到：
训练数据获取模块，用于获取训练数据，所述训练数据包括：样本设备对应的特征向量、以及样本设备被标注的应用场所类别；
分类模型训练模块，用于依据训练数据并采用预设的训练方式训练出所述分类模型。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。
本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的分类方法。
本发明分类装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，图3是本发明根据一示例性实施例示出分类装置100所在电子设备的一种硬件结构图，除了图3所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置10所在的电子设备通常根据该电子采集设备的实际功能，还可以包括其他硬件，对此不再赘述。
本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中任意一项所述的分类方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (14)
1.一种分类方法，其特征在于，包括：
获取目标设备的设备信息；
依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量；
将所述目标特征向量输入至已训练的分类模型中，得到所述目标设备所处的应用场所的类别。
2.如权利要求1所述的分类方法，其特征在于，依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量，包括：
将所述目标设备的设备信息进行分词处理得到至少一个目标词语；
确定每一目标词语的词向量；
依据各目标词语的词向量确定所述目标设备对应的目标特征向量。
3.如权利要求2所述的分类方法，其特征在于，确定每一目标词语的词向量，包括：
针对每一个目标词语，在已获取的词语与词向量对应关系中查找该目标词语对应的词向量；
如果查找到，依据查找到的词向量确定该目标词语的词向量；
如果未查找到，确定随机向量，依据所述随机向量确定该目标词语的词向量。
4.如权利要求3所述的分类方法，其特征在于，依据查找到的词向量确定该目标词语的词向量，包括：
将查找到的词向量与第一权重值的乘积确定为该目标词语的词向量。
5.如权利要求4所述的分类方法，其特征在于，依据所述随机向量确定该目标词语的词向量，包括：
将所述随机向量与第二权重值的乘积作为该目标词语的词向量，所述第二权重值小于第一权重值。
6.如权利要求3所述的分类方法，其特征在于，所述词语与词向量对应关系通过以下方式获取：
对目标语料库进行分词处理得到多个词语，将得到的各个词语组成语料集；
将所述语料集输入至已获取的词向量模型，得到所述语料集中每一词语的词向量；
将所述语料集中每一词语与得到的该词语的词向量之间的对应关系确定为所述词语与词向量对应关系。
7.如权利要求1所述的分类方法，其特征在于，所述分类模型通过以下方式训练得到：
获取训练数据，所述训练数据包括：样本设备对应的特征向量、以及样本设备被标注的应用场所类别；
依据训练数据并采用预设的训练方式训练出所述分类模型。
8.一种分类装置，其特征在于，包括：
设备信息获取模块，用于获取目标设备的设备信息；
目标特征向量获取模块，用于依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量；
应用场所分类模块，用于将所述目标特征向量输入至已训练的分类模型中，得到所述目标设备所处的应用场所的类别。
9.如权利要求8所述的分类装置，其特征在于，所述目标特征向量获取模块依据所述目标设备的设备信息确定所述目标设备对应的目标特征向量时，具体用于：
将所述目标设备的设备信息进行分词处理得到至少一个目标词语；
确定每一目标词语的词向量；
依据各目标词语的词向量确定所述目标设备对应的目标特征向量。
10.如权利要求9所述的分类装置，其特征在于，所述目标特征向量获取模块确定每一目标词语的词向量时，具体用于：
针对每一个目标词语，在已获取的词语与词向量对应关系中查找该目标词语对应的词向量；
如果查找到，依据查找到的词向量确定该目标词语的词向量；
如果未查找到，确定随机向量，依据所述随机向量确定该目标词语的词向量。
11.如权利要求10所述的分类装置，其特征在于，所述词语与词向量对应关系通过以下模块获取：
分词模块，用于对目标语料库进行分词处理得到多个词语，将得到的各个词语组成语料集；
词向量确定模块，用于将所述语料集输入至已获取的词向量模型，得到所述语料集中每一词语的词向量；
对应关系确定模块，用于将所述语料集中每一词语与得到的该词语的词向量之间的对应关系确定为所述词语与词向量对应关系。
12.如权利要求8所述的分类装置，其特征在于，所述分类模型通过以下模块训练得到：
训练数据获取模块，用于获取训练数据，所述训练数据包括：样本设备对应的特征向量、以及样本设备被标注的应用场所类别；
分类模型训练模块，用于依据训练数据并采用预设的训练方式训练出所述分类模型。
13.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-7中任意一项所述的分类方法。
14.一种机器可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-7中任意一项所述的分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911072257.7A CN111401397A (zh) | 2019-11-05 | 2019-11-05 | 分类方法、装置及设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911072257.7A CN111401397A (zh) | 2019-11-05 | 2019-11-05 | 分类方法、装置及设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111401397A true CN111401397A (zh) | 2020-07-10 |
Family
ID=71433908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911072257.7A Pending CN111401397A (zh) | 2019-11-05 | 2019-11-05 | 分类方法、装置及设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111401397A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104125105A (zh) * | 2014-08-14 | 2014-10-29 | 北京锐安科技有限公司 | 对互联网应用场所分类的方法和装置 |
| US20180300623A1 (en) * | 2017-04-17 | 2018-10-18 | Microsoft Technology Licensing, Llc | Multifactor venue localization using centralized learning |
| US20190018102A1 (en) * | 2015-12-31 | 2019-01-17 | Robert Bosch Gmbh | Self-Adaptive System and Method for Robust Wi-Fi Indoor Localization in Large Public Site |
| CN110162627A (zh) * | 2019-04-28 | 2019-08-23 | 平安科技（深圳）有限公司 | 数据增量方法、装置、计算机设备及存储介质 |
| CN110309308A (zh) * | 2019-06-27 | 2019-10-08 | 北京金山安全软件有限公司 | 一种文字信息的分类方法、装置及电子设备 |
-
2019
- 2019-11-05 CN CN201911072257.7A patent/CN111401397A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104125105A (zh) * | 2014-08-14 | 2014-10-29 | 北京锐安科技有限公司 | 对互联网应用场所分类的方法和装置 |
| US20190018102A1 (en) * | 2015-12-31 | 2019-01-17 | Robert Bosch Gmbh | Self-Adaptive System and Method for Robust Wi-Fi Indoor Localization in Large Public Site |
| US20180300623A1 (en) * | 2017-04-17 | 2018-10-18 | Microsoft Technology Licensing, Llc | Multifactor venue localization using centralized learning |
| CN110162627A (zh) * | 2019-04-28 | 2019-08-23 | 平安科技（深圳）有限公司 | 数据增量方法、装置、计算机设备及存储介质 |
| CN110309308A (zh) * | 2019-06-27 | 2019-10-08 | 北京金山安全软件有限公司 | 一种文字信息的分类方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472033B (zh) | 文本中的实体关系抽取方法及系统、存储介质、电子设备 | |
| Culotta et al. | Reducing labeling effort for structured prediction tasks | |
| CN110334186B (zh) | 数据查询方法、装置、计算机设备及计算机可读存储介质 | |
| AU4707099A (en) | A computer system and process for explaining behavior of a model that maps input data to output data | |
| CN109359178A (zh) | 一种检索方法、装置、存储介质及设备 | |
| US20180336507A1 (en) | Cognitive risk analysis system for risk identification, modeling and assessment | |
| CN110851611A (zh) | 一种隐患数据知识图谱的构建方法及装置、设备、介质 | |
| Konovalov et al. | Learning to extract events from knowledge base revisions | |
| CN109271624A (zh) | 一种目标词确定方法、装置及存储介质 | |
| CN113722507B (zh) | 基于知识图谱的住院费用预测方法、装置及计算机设备 | |
| CN111950265A (zh) | 一种领域词库构建方法和装置 | |
| WO2023000725A1 (zh) | 电力计量的命名实体识别方法、装置和计算机设备 | |
| Sangeetha et al. | Information retrieval system for laws | |
| CN111401397A (zh) | 分类方法、装置及设备、存储介质 | |
| CN115221323A (zh) | 基于意图识别模型的冷启动处理方法、装置、设备及介质 | |
| Veitía et al. | User Stories identification in software's issues records using natural language processing | |
| Karimabadi et al. | A new multivariate time series data analysis technique: Automated detection of flux transfer events using Cluster data | |
| Prathyusha et al. | Normalization Methods for Multiple Sources of Data | |
| Loureiro et al. | Learning to resolve geographical and temporal references in text | |
| Wang et al. | Using sentence-level neural network models for multiple-choice reading comprehension tasks | |
| Pal et al. | Putting semantic information extraction on the map: Noisy label models for fact extraction | |
| CN112114795B (zh) | 开源社区中辅助工具停用的预测方法及装置 | |
| Ankala et al. | Resume analysis for skill-set estimation using HDFS, MapReduce and R | |
| Ahsan et al. | Towards spreadsheet integration using entity identification driven by a spatial-temporal model | |
| Markova et al. | Big Data Addressed in Natural Language |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |