CN114722162B - 特征类别确定方法、装置、电子设备及存储介质 - Google Patents
特征类别确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114722162B CN114722162B CN202210649433.4A CN202210649433A CN114722162B CN 114722162 B CN114722162 B CN 114722162B CN 202210649433 A CN202210649433 A CN 202210649433A CN 114722162 B CN114722162 B CN 114722162B
- Authority
- CN
- China
- Prior art keywords
- keyword
- processed
- keywords
- determining
- main data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种特征类别确定方法、装置、电子设备及存储介质,该方法包括:获取待处理主数据,对待处理主数据进行分词处理,得到与待处理主数据相对应的第一待处理关键词;基于预先建立的条件随机场模型,对待处理主数据进行处理,得到与待处理主数据相对应的第二待处理关键词;根据第一待处理关键词和第二待处理关键词,确定待使用关键词;根据待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据词频逆文本频率,确定与待处理主数据相对应的目标关键词;根据目标关键词以及各待匹配关键词,确定目标关键词的特征类别。本发明实施例的技术方案,实现了快速准确确定主数据的关键词以及关键词对应的特征类别的效果。
Description
技术领域
本发明涉及主数据管理技术领域,尤其涉及一种特征类别确定方法、装置、电子设备及存储介质。
背景技术
主数据指系统间共享数据,是企业内跨平台跨业务可共享的高价值数据,是企业运营的核心主体或对象。
在供应链系统使用主数据时,可通过关键词调出主数据。因此,针对主数据和主数据的关键词必须应当加以正确维护,才能保证供应链系统的完整性和准确性。
但是,由于主数据之间缺乏语义关联,难以进行识别和管理,且由于主数据的数据量大、结构复杂,难以确定主数据中各关键词的特征类别,以应对数据变化。
发明内容
本发明提供了一种特征类别确定方法、装置、电子设备及存储介质,以解决主数据管理时难以确定关键词以及难以确定关键词所对应的特征类别的问题,实现了快速准确的确定主数据的关键词以及关键词所对应的特征类别的技术效果。
根据本发明的一方面,提供了一种特征类别确定方法,该方法包括:
获取待处理主数据,对所述待处理主数据进行分词处理,得到与所述待处理主数据相对应的第一待处理关键词;
基于预先建立的条件随机场模型,对所述待处理主数据进行处理,得到与所述待处理主数据相对应的第二待处理关键词;
根据所述第一待处理关键词和所述第二待处理关键词,确定待使用关键词;
根据所述待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据所述词频逆文本频率,确定与所述待处理主数据相对应的目标关键词;
根据目标关键词以及各待匹配关键词,确定所述目标关键词的特征类别。
根据本发明的另一方面,提供了一种特征类别确定装置,该装置包括:
第一待处理关键词确定模块,用于获取待处理主数据,对所述待处理主数据进行分词处理,得到与所述待处理主数据相对应的第一待处理关键词;
第二待处理关键词确定模块,用于基于预先建立的条件随机场模型,对所述待处理主数据进行处理,得到与所述待处理主数据相对应的第二待处理关键词;
待使用关键词确定模块,用于根据所述第一待处理关键词和所述第二待处理关键词,确定待使用关键词;
目标关键词确定模块,用于根据所述待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据所述词频逆文本频率,确定与所述待处理主数据相对应的目标关键词;
特征类别确定模块,用于根据目标关键词以及各待匹配关键词,确定所述目标关键词的特征类别。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的特征类别确定方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的特征类别确定方法。
本发明实施例的技术方案,通过获取待处理主数据,对待处理主数据进行分词处理,得到与待处理主数据相对应的第一待处理关键词,以通过分词的方式提取关键词,基于预先建立的条件随机场模型,对待处理主数据进行处理,得到与待处理主数据相对应的第二待处理关键词,以通过条件随机场的方式提取关键词,根据第一待处理关键词和第二待处理关键词,确定待使用关键词,以综合各种方式确定待使用关键词,根据待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据词频逆文本频率,确定与待处理主数据相对应的目标关键词,以对待使用关键词进行过滤得到目标关键词,根据目标关键词以及各待匹配关键词,确定目标关键词的特征类别,解决了主数据管理时难以确定关键词以及难以确定关键词所对应的特征类别的问题,实现了快速准确的确定主数据的关键词以及关键词所对应的特征类别的技术效果。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一所提供的一种特征类别确定方法的流程示意图;
图2为本发明实施例二所提供的一种特征类别确定方法的流程示意图;
图3为本发明实施例三所提供的一种特征类别确定装置的结构示意图;
图4为本发明实施例四所提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“用于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
实施例一
图1为本发明实施例一所提供的一种特征类别确定方法的流程示意图,本实施例可适用于对主数据进行管理时,得到各关键词以及各关键词的特征类别的情况,该方法可以由特征类别确定装置来执行,该特征类别确定装置可以采用硬件和/或软件的形式实现,该特征类别确定装置可配置于主数据管理系统中。
如图1所示,该方法包括:
S110、获取待处理主数据,对待处理主数据进行分词处理,得到与待处理主数据相对应的第一待处理关键词。
其中,待处理主数据可以是主数据长文本数据,例如:供应链环节中的物资数据,物资数据中可能包含物资类别、物资编码以及物资描述等。第一待处理关键词可以是对待处理主数据进行分词处理后得到的关键词,可选的,第一待处理关键词通常为名词。
具体的,可以通过输入、下载等方式,获取待处理主数据。进而,对待处理主数据进行分词处理,可以是通过词法分析对待处理主数据进行文本切分,并进行词性过滤,将分词处理后得到的关键词作为与待处理主数据相对应的第一待处理关键词。
S120、基于预先建立的条件随机场模型,对待处理主数据进行处理,得到与待处理主数据相对应的第二待处理关键词。
其中,条件随机场(Conditional Random Field,CRF)模型是一种鉴别式机率模型,可以是通过训练完成而建立的用于切分关键词的模型。第二待处理关键词可以是将待处理主数据输入至条件随机场模型处理后的输出结果。
具体的,通过预先训练可以建立条件随机场模型,并将待处理主数据作为条件随机场模型的输入,将条件随机场模型的输出作为与待处理主数据相对应的第二待处理关键词。
可选的,CRF方法的公式如下:
S130、根据第一待处理关键词和第二待处理关键词,确定待使用关键词。
其中,待使用关键词可以是第一待处理关键词和第二待处理关键词的合集。
具体的,在得到第一待处理关键词和第二待处理关键词后,对第一待处理关键词和第二待处理关键词进行组合,去除重复词,将得到的合集作为待使用关键词。
S140、根据待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据词频逆文本频率,确定与待处理主数据相对应的目标关键词。
其中,历史长文本数据可以是预先确定了类别的,预先标注了关键词的主数据长文本数据。词频逆文本频率(Term Frequency–Inverse Document Frequency,TF-IDF)为挖掘的关键词的方法,可以是待使用关键词中与待处理主数据的类别相匹配的概率。目标关键词可以是待处理主数据中确定出的各关键词,用于后续调取、分类等处理。
具体的,将待使用关键词与相同类别的历史长文本数据进行TF-IDF处理,判断待使用关键词符合类别的概率,以过滤掉非同一类别的待使用关键词,得到与待处理主数据相对应的目标关键词。
可选的,基于TF-IDF方法对待使用关键词进行过滤的方式如下:
其中,为第i个待使用关键词在第j个历史长文本数据中的出现次数,为第
k个待使用关键词在第j个历史长文本数据中的出现次数,为历史长文本数据的数量,为包含第i个待使用关键词的历史长文本数据的数量,为待使用
关键词符合类别的概率。
可选的,在根据待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率之前,可以先确定历史长文本数据,具体可以是:
根据待处理主数据的目标类别,从预先建立的历史主数据集中确定与目标类别相对应的历史长文本数据。
其中,目标类别可以是待处理主数据所属的类别,可以是领域、对象等。预先建立的历史主数据集可以是各确定了关键词和关键词对应的特征类别的主数据。
具体的,先确定待处理主数据的目标类别,并根据目标类别从预先建立的历史主数据集中确定出目标类别下存储的各主数据,作为与目标类别相对应的历史长文本数据。
S150、根据目标关键词以及各待匹配关键词,确定目标关键词的特征类别。
其中,待匹配关键词可以是预先建立的关键词库中存储的已确定特征类别的各关键词。特征类别可以是关键词所属的类别,例如:长度、型号、颜色等。
具体的,在确定目标关键词后,将目标关键词与关键词库中的各个待匹配关键词进行匹配,将匹配成功的待匹配关键词的特征类别确定为目标关键词的特征类别。
示例性的,目标关键词为115mm,与目标关键词相匹配的待匹配关键词为120mm,由于120mm的特征类别为尺寸,那么,目标关键词115mm对应的特征类别为尺寸。
本发明实施例的技术方案,通过获取待处理主数据,对待处理主数据进行分词处理,得到与待处理主数据相对应的第一待处理关键词,以通过分词的方式提取关键词,基于预先建立的条件随机场模型,对待处理主数据进行处理,得到与待处理主数据相对应的第二待处理关键词,以通过条件随机场的方式提取关键词,根据第一待处理关键词和第二待处理关键词,确定待使用关键词,以综合各种方式确定待使用关键词,根据待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据词频逆文本频率,确定与待处理主数据相对应的目标关键词,以对待使用关键词进行过滤得到目标关键词,根据目标关键词以及各待匹配关键词,确定目标关键词的特征类别,解决了主数据管理时难以确定关键词以及难以确定关键词所对应的特征类别的问题,实现了快速准确的确定主数据的关键词以及关键词所对应的特征类别的技术效果。
实施例二
图2为本发明实施例二所提供的一种特征类别确定方法的流程示意图,本实施例在上述实施例的基础上,针对第一待处理关键词的确定方式、目标关键词的确定方式以及目标关键词的特征类别的确定方式,可以参见本技术方案的详细阐述。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
如图2所示,该方法包括:
S201、获取待处理主数据,对待处理主数据进行分词处理,得到与待处理主数据相对应的第一待处理关键词。
S202、根据待处理主数据的第一待处理关键词,确定与各第一待处理关键词相对应的邻居依赖程度,并根据邻居依赖程度,确定待剔除关键词,将待剔除关键词从第一待处理关键词中剔除。
其中,邻居依赖程度可以是第一待处理关键词与左侧相邻的字符和/或右侧相邻的字符串能够组成的另一个第一待处理关键词的概率。待剔除关键词可以是第一待处理关键词中单独作为关键词的概率小于预设阈值的第一待处理关键词。
具体的,根据第一待处理关键词可以计算确定第一待处理关键词和与第一待处理关键词相邻的字符之间的依赖程度,即邻居依赖程度。进而,根据邻居依赖程度和预先设定的阈值,能够得到待剔除关键词,并剔除各待剔除关键词,以过滤掉不适宜单独作为关键词的词语。
可选的,可以通过下述各步骤来确定待剔除关键词:
步骤一、针对每个第一待处理关键词,确定与第一待处理关键词相对应的左字符串依赖程度以及右字符串依赖程度,根据左字符串依赖程度以及右字符串依赖程度,确定第一待处理关键词的字符串概率。
其中,左字符串依赖程度可以是第一待处理关键词和与第一待处理关键词左侧相邻的字符串的依赖程度。右字符串依赖程度可以是第一待处理关键词和与第一待处理关键词右侧相邻的字符串的依赖程度。字符串概率可以是用于判断第一待处理关键词单独作为待处理主数据的关键词的概率。
具体的,针对每个第一待处理关键词,都可以使用相同的方式来确定该第一待处理关键词的字符串概率,以一个第一待处理关键词为例进行说明。确定与第一待处理关键词相对应的左字符串依赖程度以及右字符串依赖程度,进而,将左字符串依赖程度和右字符串依赖程度的最大值确定为邻居依赖程度。由于邻居依赖程度越大,单独作为关键词的概率越小,可以将(1-邻居依赖程度)作为第一待处理关键词的字符串概率。
可选的,可以通过下述公式来确定第一待处理关键词的字符串概率:
示例性的,待处理主数据为“今天红花路有活动。”,其中,第一待处理关键词为“今
天”、“天”、“红花”、“花”、“路”、“花路”、“红花路”以及“活动”。以第一待处理关键词“花”为
例,第一待处理关键词的总数为8,“花”与左侧相邻的第一待处理关键词能够组成第一待处
理关键词的情况包括:“红”+“花”,因此,左字符串依赖程度;“花”与右侧相邻
的第一待处理关键词能够组成第一待处理关键词的情况包括:“花”+“路”,右字符串依赖程
度。故,。
步骤二、若字符串概率小于预设字符串阈值,则与将字符串概率对应的第一待处理关键词作为待剔除关键词。
其中,预设字符串阈值可以是预先设定的用于判断第一待处理关键词是否为待剔除关键词的阈值。
具体的,若字符串概率小于预设字符串阈值,则可以认为该字符串概率对应的第一待处理关键词并不适合单独作为待处理主数据的关键词,因此,将该第一待处理关键词作为待剔除关键词。
S203、基于预先建立的条件随机场模型,对待处理主数据进行处理,得到与待处理主数据相对应的第二待处理关键词。
S204、根据第一待处理关键词和第二待处理关键词,确定待使用关键词。
S205、根据待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据词频逆文本频率,确定与待处理主数据相对应的目标关键词。
S206、根据目标关键词以及各待匹配关键词,确定词向量相似度,并根据词向量相似度,确定与目标关键词相匹配的第一候选关键词。
其中,词向量相似度可以是目标关键词的词向量和待匹配关键词的词向量的相似度。第一候选关键词可以是词向量相似度大于预先设定的相似度阈值的待匹配关键词。
具体的,可以通过自然语言处理将目标关键词和待匹配关键词进行向量化处理,得到与每个目标关键词相对应的词向量以及与每个待匹配关键词相对应的词向量。针对每个目标关键词都可以使用下述方式来确定与该目标关键词相匹配的第一候选关键词,可以是对该目标关键词的词向量和各待匹配关键词的词向量分别求词向量相似度,进而,将词向量相似度大于预先设定的相似度阈值的待匹配关键词作为第一候选关键词。
可选的,可以通过下述公式确定目标关键词与待匹配关键词之间的词向量相似度:
其中,t为第t个待匹配关键词,为目标关键词与第t个待匹配关键词之间的
词向量相似度,i为词向量中第i个元素,n为词向量的元素数量,为目标关键词的词向量
中第i个元素,为第t个待匹配关键词的词向量中第i个元素。
可选的,词向量可以是加权平均词向量,具体确定方式可以根据实际需求确定。
上述计算词向量相似度的方式为余弦相似度计算方式,可选的,还可以使用其他相似度计算方式,例如:欧式距离、皮尔森相关系数等。
S207、确定第一候选关键词的数量,若第一候选关键词的数量为一个,则执行S208,若不存在第一候选关键词,则执行S209,若第一候选关键词的数量为至少两个,则执行S210。
S208、将第一候选关键词的特征类别作为目标关键词的特征类别。
具体的,若第一候选关键词的数量为一个,则表明无需从待匹配关键词中再次筛选或重新确定与目标关键词相匹配的关键词,即可认为当前的第一候选关键词与目标关键词的特征类别相同,因此,可以将第一候选关键词的特征类别作为目标关键词的特征类别。
S209、根据与目标关键词相对应的待处理主数据,以及历史主数据集中的各历史长文本数据,确定集合相似度,并根据集合相似度确定目标关键词的特征类别。
其中,集合相似度可以是历史长文本数据和待处理主数据的整体相似度。
具体的,针对每一个历史长文本数据,都将该历史长文本数据中的关键词与待处理主数据中的各目标关键词进行匹配,匹配过程可以是确定相似度的过程。若匹配成功,则将关键词并集数量加一,以得到关键词并集数量。将该历史长文本数据中的关键词的数量与目标关键词的数量和值作为关键词总数量,进而,将关键词并集数量作为分子,将关键词总数量和关键词并集数量的差值作为分母,得到集合相似度。可以比对各历史长文本数据的集合相似度,确定其中集合相似度最大值所对应的历史长文本数据,并根据确定出的历史长文本数据的关键词的特征类别来确定目标关键词的特征类别。
可选的,可以根据确定出的历史长文本数据的关键词中未匹配成功的各关键词的特征类别,来确定目标关键词的特征类别。还可以将未匹配成功的各关键词的特征类别推送至目标用户,以供目标用户选择。
S210、根据第一候选关键词所属的领域以及目标关键词所属的领域,确定第二候选关键词,根据第二候选关键词,确定目标关键词的特征类别。
其中,领域指的是一种特定的范围,例如:工业领域等,或者更小的范围,例如:汽车领域等。第二候选关键词可以是与目标关键词所属的领域相同的第一候选关键词。
具体的,可以根据预先记录的领域信息,可以是待处理主数据所属的领域,确定为目标关键词所属的领域。还可以根据预先存储的各第一候选关键词所对应的领域,确定其中与目标关键词所属的领域相同的第一候选关键词,并将这些第一候选关键词作为第二候选关键词,以对至少两个第一候选关键词进行进一步筛选。进而,可以根据第二候选关键词的特征类别来确定目标关键词的特征类别,例如:根据第二候选关键词的特征类别的频次,确定频次最高的一个特征类别为目标关键词的特征类别,若频次最高的特征类别为至少两个,那么,可以将至少两个特征类别推送至目标用户,以供目标用户选择。
可选的,还可以通过下述方式来确定第二候选关键词:
针对每一个第一候选关键词,基于预先建立的关键词图谱,确定第一候选关键词所属的领域与目标关键词所属的领域是否相同;若相同,则保留第一候选关键词,若不同,则剔除第一候选关键词;将处理后的第一候选关键词作为第二候选关键词。
其中,关键词图谱可以是预先建立的用于确定各待匹配关键词所属领域的知识图谱。
具体的,针对每一个第一候选关键词,可以在预先建立的关键词图谱中确定出与该第一候选关键词相对应的领域,即该第一候选关键词所属的领域。进而,将确定出的领域与目标关键词所属的领域进行比较,若相同,则保留第一候选关键词,若不同,则剔除第一候选关键词。进而,将剩余的各第一候选关键词作为第二候选关键词,以用于进一步确定目标关键词的特征类别。
可选的,若不存在第二候选关键词,则根据与目标关键词相对应的待处理主数据,以及历史主数据集中的各历史长文本数据,确定集合相似度,并根据集合相似度确定目标关键词的特征类别。
具体的,若不存在第二候选关键词,则可以参考S209中不存在第一候选关键词的情况,通过计算集合相似度的方式来确定目标关键词的特征类别。
本发明实施例的技术方案,通过获取待处理主数据,对待处理主数据进行分词处理,得到与待处理主数据相对应的第一待处理关键词,根据待处理主数据的第一待处理关键词,确定与各第一待处理关键词相对应的邻居依赖程度,并根据邻居依赖程度,确定待剔除关键词,将待剔除关键词从第一待处理关键词中剔除,以通过分词的方式以及依赖程度的因素来更准确的提取关键词,基于预先建立的条件随机场模型,对待处理主数据进行处理,得到与待处理主数据相对应的第二待处理关键词,以通过条件随机场的方式提取关键词,根据第一待处理关键词和第二待处理关键词,确定待使用关键词,以综合各种方式确定待使用关键词,根据待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据词频逆文本频率,确定与待处理主数据相对应的目标关键词,以对待使用关键词进行过滤得到目标关键词,根据目标关键词以及各待匹配关键词,确定词向量相似度,并根据词向量相似度,确定与目标关键词相匹配的第一候选关键词,确定第一候选关键词的数量,并根据第一候选关键词的数量不同,采用不同的特征类别确定方式来确定目标关键词的特征类别,解决了主数据管理时难以确定关键词以及难以确定关键词所对应的特征类别的问题,实现了快速准确的确定主数据的关键词以及关键词所对应的特征类别的技术效果。
实施例三
图3为本发明实施例三所提供的一种特征类别确定装置的结构示意图。如图3所示,该装置包括:第一待处理关键词确定模块310、第二待处理关键词确定模块320、待使用关键词确定模块330、目标关键词确定模块340以及特征类别确定模块350。
其中,第一待处理关键词确定模块310,用于获取待处理主数据,对所述待处理主数据进行分词处理,得到与所述待处理主数据相对应的第一待处理关键词;第二待处理关键词确定模块320,用于基于预先建立的条件随机场模型,对所述待处理主数据进行处理,得到与所述待处理主数据相对应的第二待处理关键词;待使用关键词确定模块330,用于根据所述第一待处理关键词和所述第二待处理关键词,确定待使用关键词;目标关键词确定模块340,用于根据所述待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据所述词频逆文本频率,确定与所述待处理主数据相对应的目标关键词;特征类别确定模块350,用于根据目标关键词以及各待匹配关键词,确定所述目标关键词的特征类别。
可选的,所述装置还包括:第一待处理关键词更新模块,用于根据所述待处理主数据的第一待处理关键词,确定与各第一待处理关键词相对应的邻居依赖程度,并根据所述邻居依赖程度,确定待剔除关键词,将所述待剔除关键词从所述第一待处理关键词中剔除。
可选的,第一待处理关键词更新模块,还用于针对每个第一待处理关键词,确定与所述第一待处理关键词相对应的左字符串依赖程度以及右字符串依赖程度,根据所述左字符串依赖程度以及所述右字符串依赖程度,确定所述第一待处理关键词的字符串概率;若所述字符串概率小于预设字符串阈值,则与将所述字符串概率对应的第一待处理关键词作为待剔除关键词。
可选的,所述装置还包括:历史长文本数据确定模块,用于根据所述待处理主数据的目标类别,从预先建立的历史主数据集中确定与所述目标类别相对应的历史长文本数据。
可选的,特征类别确定模块350,还用于根据目标关键词以及各待匹配关键词,确定词向量相似度,并根据所述词向量相似度,确定与所述目标关键词相匹配的第一候选关键词;若所述第一候选关键词的数量为一个,则将所述第一候选关键词的特征类别作为所述目标关键词的特征类别;若所述第一候选关键词的数量为至少两个,则根据所述第一候选关键词所属的领域以及所述目标关键词所属的领域,确定第二候选关键词,根据所述第二候选关键词,确定所述目标关键词的特征类别;若不存在所述第一候选关键词,则根据与所述目标关键词相对应的待处理主数据,以及历史主数据集中的各历史长文本数据,确定集合相似度,并根据所述集合相似度确定所述目标关键词的特征类别。
可选的,特征类别确定模块350,还用于针对每一个第一候选关键词,基于预先建立的关键词图谱,确定所述第一候选关键词所属的领域与所述目标关键词所属的领域是否相同;若相同,则保留所述第一候选关键词,若不同,则剔除所述第一候选关键词;将处理后的第一候选关键词作为第二候选关键词。
可选的,特征类别确定模块350,还用于若不存在所述第二候选关键词,则根据与所述目标关键词相对应的待处理主数据,以及所述历史主数据集中的各历史长文本数据,确定集合相似度,并根据所述集合相似度确定所述目标关键词的特征类别。
本发明实施例的技术方案,通过获取待处理主数据,对待处理主数据进行分词处理,得到与待处理主数据相对应的第一待处理关键词,以通过分词的方式提取关键词,基于预先建立的条件随机场模型,对待处理主数据进行处理,得到与待处理主数据相对应的第二待处理关键词,以通过条件随机场的方式提取关键词,根据第一待处理关键词和第二待处理关键词,确定待使用关键词,以综合各种方式确定待使用关键词,根据待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据词频逆文本频率,确定与待处理主数据相对应的目标关键词,以对待使用关键词进行过滤得到目标关键词,根据目标关键词以及各待匹配关键词,确定目标关键词的特征类别,解决了主数据管理时难以确定关键词以及难以确定关键词所对应的特征类别的问题,实现了快速准确的确定主数据的关键词以及关键词所对应的特征类别的技术效果。
本发明实施例所提供的特征类别确定装置可执行本发明任意实施例所提供的特征类别确定方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如特征类别确定方法。
在一些实施例中,特征类别确定方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的特征类别确定方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行特征类别确定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (8)
1.一种特征类别确定方法,其特征在于,包括:
获取待处理主数据,对所述待处理主数据进行分词处理,得到与所述待处理主数据相对应的第一待处理关键词;
基于预先建立的条件随机场模型,对所述待处理主数据进行处理,得到与所述待处理主数据相对应的第二待处理关键词;
根据所述第一待处理关键词和所述第二待处理关键词,确定待使用关键词;其中,所述待使用关键词为所述第一待处理关键词和所述第二待处理关键词的合集;
根据所述待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据所述词频逆文本频率,确定与所述待处理主数据相对应的目标关键词;
根据目标关键词以及各待匹配关键词,确定所述目标关键词的特征类别;
在所述根据所述待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率之前,还包括:
根据所述待处理主数据的目标类别,从预先建立的历史主数据集中确定与所述目标类别相对应的历史长文本数据;
所述根据目标关键词以及各待匹配关键词,确定所述目标关键词的特征类别,包括:
根据目标关键词以及各待匹配关键词,确定词向量相似度,并根据所述词向量相似度,确定与所述目标关键词相匹配的第一候选关键词;
若所述第一候选关键词的数量为一个,则将所述第一候选关键词的特征类别作为所述目标关键词的特征类别;
若所述第一候选关键词的数量为至少两个,则根据所述第一候选关键词所属的领域以及所述目标关键词所属的领域,确定第二候选关键词,根据所述第二候选关键词,确定所述目标关键词的特征类别;
若不存在所述第一候选关键词,则根据与所述目标关键词相对应的待处理主数据,以及历史主数据集中的各历史长文本数据,确定集合相似度,并根据所述集合相似度确定所述目标关键词的特征类别。
2.根据权利要求1所述的方法,其特征在于,在所述得到与所述待处理主数据相对应的第一待处理关键词之后,还包括:
根据所述待处理主数据的第一待处理关键词,确定与各第一待处理关键词相对应的邻居依赖程度,并根据所述邻居依赖程度,确定待剔除关键词,将所述待剔除关键词从所述第一待处理关键词中剔除。
3.根据权利要求2所述的方法,其特征在于,所述根据所述待处理主数据的第一待处理关键词,确定与各第一待处理关键词相对应的邻居依赖程度,并根据所述邻居依赖程度,确定待剔除关键词,包括:
针对每个第一待处理关键词,确定与所述第一待处理关键词相对应的左字符串依赖程度以及右字符串依赖程度,根据所述左字符串依赖程度以及所述右字符串依赖程度,确定所述第一待处理关键词的字符串概率;
若所述字符串概率小于预设字符串阈值,则与将所述字符串概率对应的第一待处理关键词作为待剔除关键词。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一候选关键词所属的领域以及所述目标关键词所属的领域,确定第二候选关键词,包括:
针对每一个第一候选关键词,基于预先建立的关键词图谱,确定所述第一候选关键词所属的领域与所述目标关键词所属的领域是否相同;若相同,则保留所述第一候选关键词,若不同,则剔除所述第一候选关键词;
将处理后的第一候选关键词作为第二候选关键词。
5.根据权利要求4所述的方法,其特征在于,在所述将处理后的第一候选关键词作为第二候选关键词之后,还包括:
若不存在所述第二候选关键词,则根据与所述目标关键词相对应的待处理主数据,以及所述历史主数据集中的各历史长文本数据,确定集合相似度,并根据所述集合相似度确定所述目标关键词的特征类别。
6.一种特征类别确定装置,其特征在于,包括:
第一待处理关键词确定模块,用于获取待处理主数据,对所述待处理主数据进行分词处理,得到与所述待处理主数据相对应的第一待处理关键词;
第二待处理关键词确定模块,用于基于预先建立的条件随机场模型,对所述待处理主数据进行处理,得到与所述待处理主数据相对应的第二待处理关键词;
待使用关键词确定模块,用于根据所述第一待处理关键词和所述第二待处理关键词,确定待使用关键词;其中,所述待使用关键词为所述第一待处理关键词和所述第二待处理关键词的合集;
目标关键词确定模块,用于根据所述待使用关键词以及历史长文本数据,确定各待使用关键词的词频逆文本频率,并根据所述词频逆文本频率,确定与所述待处理主数据相对应的目标关键词;
特征类别确定模块,用于根据目标关键词以及各待匹配关键词,确定所述目标关键词的特征类别;
所述装置还包括:历史长文本数据确定模块,用于根据所述待处理主数据的目标类别,从预先建立的历史主数据集中确定与所述目标类别相对应的历史长文本数据;
所述特征类别确定模块,还用于根据目标关键词以及各待匹配关键词,确定词向量相似度,并根据所述词向量相似度,确定与所述目标关键词相匹配的第一候选关键词;若所述第一候选关键词的数量为一个,则将所述第一候选关键词的特征类别作为所述目标关键词的特征类别;若所述第一候选关键词的数量为至少两个,则根据所述第一候选关键词所属的领域以及所述目标关键词所属的领域,确定第二候选关键词,根据所述第二候选关键词,确定所述目标关键词的特征类别;若不存在所述第一候选关键词,则根据与所述目标关键词相对应的待处理主数据,以及历史主数据集中的各历史长文本数据,确定集合相似度,并根据所述集合相似度确定所述目标关键词的特征类别。
7.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的特征类别确定方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-5中任一项所述的特征类别确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210649433.4A CN114722162B (zh) | 2022-06-10 | 2022-06-10 | 特征类别确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210649433.4A CN114722162B (zh) | 2022-06-10 | 2022-06-10 | 特征类别确定方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114722162A CN114722162A (zh) | 2022-07-08 |
CN114722162B true CN114722162B (zh) | 2022-08-26 |
Family
ID=82232805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210649433.4A Active CN114722162B (zh) | 2022-06-10 | 2022-06-10 | 特征类别确定方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114722162B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116167352B (zh) * | 2023-04-03 | 2023-07-21 | 联仁健康医疗大数据科技股份有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106557508A (zh) * | 2015-09-28 | 2017-04-05 | 北京神州泰岳软件股份有限公司 | 一种文本关键词提取方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108334533B (zh) * | 2017-10-20 | 2021-12-24 | 腾讯科技(深圳)有限公司 | 关键词提取方法和装置、存储介质及电子装置 |
CN112926310B (zh) * | 2019-12-06 | 2023-11-03 | 北京搜狗科技发展有限公司 | 一种关键词提取方法及装置 |
-
2022
- 2022-06-10 CN CN202210649433.4A patent/CN114722162B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106557508A (zh) * | 2015-09-28 | 2017-04-05 | 北京神州泰岳软件股份有限公司 | 一种文本关键词提取方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114722162A (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977233B (zh) | 一种成语知识图谱构建方法及装置 | |
CN116167352B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN114579104A (zh) | 数据分析场景的生成方法、装置、设备及存储介质 | |
CN112989235A (zh) | 基于知识库的内链构建方法、装置、设备和存储介质 | |
CN114722162B (zh) | 特征类别确定方法、装置、电子设备及存储介质 | |
CN115130581A (zh) | 样本生成方法、训练方法、数据处理方法以及电子设备 | |
CN115145924A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN113191145B (zh) | 关键词的处理方法、装置、电子设备和介质 | |
CN112784050A (zh) | 主题分类数据集生成方法、装置、设备和介质 | |
CN117216275A (zh) | 一种文本处理方法、装置、设备以及存储介质 | |
CN112699237A (zh) | 标签确定方法、设备和存储介质 | |
CN114239583B (zh) | 实体链指模型的训练及实体链指方法、装置、设备及介质 | |
CN113239273B (zh) | 用于生成文本的方法、装置、设备以及存储介质 | |
CN114647727A (zh) | 应用于实体信息识别的模型训练方法、装置和设备 | |
CN114254650A (zh) | 一种信息处理方法、装置、设备及介质 | |
CN114417862A (zh) | 文本匹配方法、文本匹配模型的训练方法和装置 | |
CN113590774A (zh) | 事件查询方法、装置以及存储介质 | |
CN112860626A (zh) | 一种文档排序方法、装置及电子设备 | |
CN117171653B (zh) | 一种识别信息关系的方法、装置、设备及存储介质 | |
CN116737520B (zh) | 一种日志数据的数据编织方法、装置、设备及存储介质 | |
CN115511014B (zh) | 信息匹配方法、装置、设备及存储介质 | |
CN113656592B (zh) | 基于知识图谱的数据处理方法、装置、电子设备和介质 | |
CN117172254B (zh) | 模型训练方法、信息抽取方法、装置、设备及存储介质 | |
CN118152519A (zh) | 一种样本的清洗方法、装置、电子设备及存储介质 | |
CN115982464A (zh) | 一种事物推荐方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |