CN108009155A - 数据处理方法及系统和服务器 - Google Patents
数据处理方法及系统和服务器 Download PDFInfo
- Publication number
- CN108009155A CN108009155A CN201711416280.4A CN201711416280A CN108009155A CN 108009155 A CN108009155 A CN 108009155A CN 201711416280 A CN201711416280 A CN 201711416280A CN 108009155 A CN108009155 A CN 108009155A
- Authority
- CN
- China
- Prior art keywords
- speech
- phrase
- combination
- language material
- sets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本公开提供了一种数据处理方法,该方法包括:获取包含有指定短语的样本语料;确定包含在样本语料中的指定短语的词性特征属性;以及基于指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集。本公开还提供了一种数据处理系统和一种服务器。
Description
技术领域
本公开涉及一种数据处理方法及系统和服务器。
背景技术
在舆情分析中,我们一般都想从某一(或某些)特定行业的用户反馈语料中,得到与该行业产品密切相关的描述类短语,如在关于手机的评论语料中,提取“屏幕的分辨率高”、“电池容量大”等短语。
目前,现有的解决方案是利用自然语言处理技术,并通过特定算法抽取相应的信息来识别语料中的相关短语。
然而,在实现本公开构思的过程中,发明人发现相关技术中至少存在以下缺陷:抽取这些信息的特定算法都需要大量的训练语料,这些训练语料又需要人工去标注短语出现的位置,会带来大量的人力消耗。
针对上述问题,目前相关技术中尚未给出有效的解决方案。
发明内容
本公开的一个方面提供了一种数据处理方法,包括:获取包含有指定短语的样本语料;确定包含在上述样本语料中的上述指定短语的词性特征属性;以及基于上述指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集。
可选地,基于上述指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集包括:从上述样本语料中提取上述指定短语;对提取出来的上述指定短语进行分词处理,得到多个短语分词;将上述多个短语分词进行排列组合,得到多个组合短语;基于上述指定短语的词性特征属性,确定上述多个组合短语的词性特征属性;以及基于上述多个组合短语的词性特征属性,确定出用于对语料进行短语识别的词性组合集。
可选地,从上述样本语料中提取上述指定短语包括:从上述样本语料中提取带有标识的短语作为上述指定短语。
可选地,上述方法还包括:在确定出上述词性组合集之后,按词性特征属性条件对上述词性组合集中包含的所有词性组合进行统计;以及基于统计结果,确定词性组合子集,其中,上述词性组合子集中包含的词性组合为从上述词性组合集中选出的统计结果满足预设条件的词性组合。
可选地,上述方法还包括:在确定出上述词性组合集之后,获取上述词性组合集中包含的至少一个名词性短语的词性组合以及至少一个非名词性短语的词性组合;以及使用上述至少一个名词性短语的词性组合替换上述至少一个非名词性短语的词性组合中的名词词性部分进行穷举,得到最终的词性组合集。
可选地,上述方法还包括:获取待识别的目标语料;将上述目标语料进行分词处理,得到多个分词;针对上述多个分词,确定其中至少一个分词的词性组合;以及将上述至少一个分词的词性组合与上述词性组合集中的各词性组合进行匹配,以从上述至少一个分词中识别出词性组合命中上述词性组合集中的词性组合的目标分词。
可选地,上述方法还包括:利用预设过滤条件对上述目标分词进行过滤;以及基于过滤结果,确定出最终的分词识别对象。
本公开的另一个方面提供了一种数据处理系统,包括:获取模块,用于获取包含有指定短语的样本语料;第一确定模块,用于确定包含在上述样本语料中的上述指定短语的词性特征属性;以及第二确定模块,用于基于上述指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集。
可选地,上述第二确定模块包括:提取单元,用于从上述样本语料中提取上述指定短语;分词单元,用于对提取出来的上述指定短语进行分词处理,得到多个短语分词;组合单元,用于将上述多个短语分词进行排列组合,得到多个组合短语;第一确定单元,用于基于上述指定短语的词性特征属性,确定上述多个组合短语的词性特征属性;以及第二确定单元,用于基于上述多个组合短语的词性特征属性,确定出用于对语料进行短语识别的词性组合集。
本公开的另一方面提供了一种服务器,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如上任一项所述的数据处理方法。
本公开的另一方面提供了一种非易失性存储介质,存储有计算机可执行指令,上述指令在被执行时用于实现如上所述的数据处理方法。
本公开的另一方面提供了一种计算机程序,上述计算机程序包括计算机可执行指令,上述指令在被执行时用于实现如上所述的数据处理方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的数据处理方法的应用场景;
图2示意性示出了根据本公开实施例的数据处理方法的流程图;
图3A示意性示出了根据本公开实施例的分确定词性组合集的流程图;
图3B示意性示出了根据本公开实施例的提取指定短语的流程图;
图3C示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图3D示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图4示意性示出了根据本公开实施例的数据处理系统的框图;
图5示意性示出了根据本公开实施例的第二确定模块的框图;以及
图6示意性示出了根据本公开实施例的服务器的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此,本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中,计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
本公开的实施例提供了一种数据处理方法以及能够应用该方法的数据处理系统。该方法包括获取包含有指定短语的样本语料;确定包含在上述样本语料中的上述指定短语的词性特征属性;以及基于上述指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集。
图1示意性示出了根据本公开实施例的数据处理方法的应用场景。需要注意的是,图1所示仅为可以应用本公开实施例的场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
在舆情分析中,我们一般都想从某一(或某些)特定行业的用户反馈语料中,得到与该行业产品密切相关的描述类短语,如在关于手机的评论语料中,提取“屏幕的分辨率高”、“电池容量大”等短语。
目前,现有的解决方案是利用自然语言处理技术,并通过特定算法抽取相应的信息来识别语料中的相关短语。
然而,在实现本公开构思的过程中,发明人发现相关技术中至少存在以下缺陷:抽取这些信息的特定算法都需要大量的训练语料,这些训练语料又需要人工去标注短语出现的位置,会带来大量的人力消耗。
而通过本公开提供的短语识别方案可以不用考虑具体的关键词是什么,而是考虑关键词都是怎样的词性组合或词性组合集,从而基于词性组合或词性组合集对语料进行短语识别。
例如,如图1所示,手机界面中显示有关于“XXX手机”的特性描述的文字:“1、玻璃:XXX手机的前后都是玻璃,强化曾深度增加50%,是XXX手机史上最坚固耐用的前后玻璃面板。7层上墨工艺得到更精确的色调和不透明度,而反射光学层则可以增强颜色。疏油涂层有助于减少污迹和指纹。2、不锈钢中框:手术级不锈钢边框包裹着XXX手机的边缘。”如果想快速了解“XXX手机”相关特性,使用本公开提供的技术方案,可以利用一个或者多个特定的词性组合对该段文字进行短语识别,进而得到能够精准表达“XXX手机”的关键特性的短语。比如,使用“形容词+名词+名词”这一词性组合,可以得到如下短语“前后玻璃面板”“手术级不锈钢边框”等,据此,可以很快了解到“XXX手机”的主要特点,即“双面屏”“不锈钢边框”等。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示,该方法包括操作S201~S203,其中:
在操作S201,获取包含有指定短语的样本语料。
具体地,可以从语料库中读取对应的语料,并在语料中标注用户可能感兴趣的词语,进而将标注有用户感兴趣的词语的语料作为样本语料,并使用该样本语料特别是该样本语料中带有标注的词语来确定用于识别其他语料的词性组合集。
需要说明的是,在本公开实施例中,在语料中标注用户可能感兴趣的词语的方式可以包括多种,比如可以通过特殊颜色、特殊字体、特殊符号等进行标注,在此不做限定。
此外,可以通过抓取网络中大量用户的评论,发帖或微博转发等语料信息,构建庞大的语料库,然后提取少量典型短语的语料进行标注,然后根据概率计算提取出短语的固定词性搭配组合(又称为词性组合)。
在操作S202,确定包含在样本语料中的指定短语的词性特征属性。
具体地,可以对该样本语料进行分词处理,并从分词结果中提取带有标记的分词,进而对提取的分词进行词性分析以确定它们各自的词性特征属性。
在操作S203,基于指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集。
如在关于手机的评论语料标注出“屏幕的分辨率高”、“电池容量大”等短语,以此作为用户感兴趣的短语,经分词后,从该语料中提取“屏幕的分辨率高”、“电池容量大”等短语,并且,经词性分析后确定“屏幕的分辨率高”是“名词+名词+副词”形式的词语,“电池容量大”是“名词+名词+形容词”形式的词语,基于此可以将“名词+名词+副词”和“名词+名词+形容词”列入词性组合集,用于识别其他语料尤其是关于手机评论中的关键词或关键短语等。
与此不同,现有技术中识别语料并抽取短语的特定算法都需要大量的训练语料,这些训练语料又需要人工去标注短语出现的位置,因而会带来大量的人力消耗。
而本公开实施例对语料进行带词性分词,不需要大量的训练语料,因而不需要人工去标注短语出现的位置,避免了海量的人工标注工作,克服了相关技术会带来大量的人力消耗的缺陷,可以达到减少人力消耗的技术效果。
此外,为了保证用于识别语料的词性组合的实用性,可以定期更新已有的词性组合,从而实现短语识别的迭代优化。
下面参考图3A~图3D,结合具体实施例对图2所示的方法做进一步说明。
图3A示意性示出了根据本公开实施例的分确定词性组合集的流程图。
作为一种可选的实施例,如图3A所示,操作S203基于指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集包括:
在操作S2031,从样本语料中提取指定短语;
在操作S2032,对提取出来的指定短语进行分词处理,得到多个短语分词;
在操作S2033,将多个短语分词进行排列组合,得到多个组合短语;
在操作S2034,基于指定短语的词性特征属性,确定多个组合短语的词性特征属性;以及
在操作S2035,基于多个组合短语的词性特征属性,确定出用于对语料进行短语识别的词性组合集。
由于仅仅利用样本语料中标注的指定短语确定词性组合时,得到的词性组合可能无法对其他语料进行全面准确地识别,比如由于用户的表述习惯不同,在表述同一意思时有的用户可能会说“电池容量大”,而有的用户可能会说“大电池容量”“大容量电池”等等。
通过本公开实施例,对样本语料中已标注的指定短语先进行分词,再对分词进行排列组合以得到多个组合短语,最终基于排列组合得到的多个组合短语找出对应的词性组合,可以弥补前述实施例仅仅通过已标注的指定短语本身找出对应的词性组合时可能存在不足和缺陷。
作为一种可选的实施例,从样本语料中提取指定短语包括:从样本语料中提取带有标识的短语作为指定短语。
如前述,指定短语可以是样本预料中已通过特殊颜色、特殊字体、特殊符号等标注出的短语。
图3B示意性示出了根据本公开另一实施例的数据处理方法的流程图。
作为一种可选的实施例,如图3B所示,上述方法还包括:
在操作S204,在确定出词性组合集之后,按词性特征属性条件对词性组合集中包含的所有词性组合进行统计;以及
在操作S205,基于统计结果,确定词性组合子集,其中,词性组合子集中包含的词性组合为从词性组合集中选出的统计结果满足预设条件的词性组合。
在词性组合集的构造阶段,通过人工将少量语料标注出典型的名词性短语(如‘手机的外壳’)和修饰性短语(如‘电池电量足’)等信息,然后通过分词,进行词性组合的统计,选取出常见的名词性短语词性组合和修饰性短语词性组合,用于对语料进行短语识别,这样可以忽略不常见的词性组合,缩减词性组合集中的词性组合。
图3C示意性示出了根据本公开另一实施例的数据处理方法的流程图。
作为一种可选的实施例,如图3C所示,上述方法还包括:
在操作S206,在确定出词性组合集之后,获取词性组合集中包含的至少一个名词性短语的词性组合以及至少一个非名词性短语的词性组合;以及
在操作S207,使用至少一个名词性短语的词性组合替换至少一个非名词性短语的词性组合中的名词词性部分进行穷举,得到最终的词性组合集。
一般地,用户感兴趣的词语的固定词性搭配组合主要包含两类:名词性短语和修饰性短语,使用名词性短语的词性搭配替换修饰性短语搭配中的名词词性,进行最终词性组合的穷举,从而可以对词性组合集进行扩充。
最终得到的词性组合便可以用于短语的自动识别,识别方法如下:将语料进行带词性分词,然后进行词性组合的匹配,统计命中词性组合的对应短语出现的个数,优选地可以选取排序靠前的短语作为最终的识别结果。
图3D示意性示出了根据本公开另一实施例的数据处理方法的流程图。
作为一种可选的实施例,如图3D所示,上述方法还包括:
在操作S208,获取待识别的目标语料;
在操作S209,将目标语料进行分词处理,得到多个分词;
在操作S210,针对多个分词,确定其中至少一个分词的词性组合;以及
在操作S211,将至少一个分词的词性组合与词性组合集中的各词性组合进行匹配,以从至少一个分词中识别出词性组合命中词性组合集中的词性组合的目标分词。
一般地,用户感兴趣的词语的固定词性搭配组合主要包含两类:名词性短语和修饰性短语,使用名词性短语的词性搭配替换修饰性短语搭配中的名词词性,进行最终词性组合的穷举,从而可以对词性组合集进行扩充。最终得到的词性组合集便可以用于短语的自动识别,具体地,识别方法如下:将目标语料分词后,匹配最终得到的词性组合集中的词性组合,主要能够匹配其中任何一种词性组合,对应的短语计数加一,然后按照计数进行短语排序,选取排名靠前的短语集合。
作为一种可选的实施例,上述方法还包括:利用预设过滤条件对目标分词进行过滤;以及基于过滤结果,确定出最终的分词识别对象。
在短语自动提取阶段,由于并不是所有提取出来的短语都是用户感兴趣的,比如主题词可能就不是用户感兴趣的,在这种情况下,为了使得短语提取结果更接近用户的期望,可以使用预设过滤条件(比如包含主题词等的白名单)对前述实施例提取出来的目标分词进行过滤,以得到最终的短语集合。
通过上述实施例叙述的方法达到了本发明的目的,此外,亦有其他方法达到本发明的目的,凡能实现本发明目的的方法都应涵盖在本发明的保护范围之内。
图4示意性示出了根据本公开实施例的数据处理系统的框图。
如图4所示,该数据处理系统400包括:获取模块410、第一确定模块420和第二确定模块430。该数据处理系统400可以执行上面参考图2,图3A~图3D描述的方法,以实现词性组合或者词性组合集的创建。
获取模块410,用于获取包含有指定短语的样本语料.
第一确定模块420,用于确定包含在样本语料中的指定短语的词性特征属性;以及
第二确定模块430,用于基于指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集。
本公开实施例对语料进行带词性分词,不需要大量的训练语料,因而不需要人工去标注短语出现的位置,避免了海量的人工标注工作,克服了相关技术会带来大量的人力消耗的缺陷,可以达到减少人力消耗的技术效果。
图5示意性示出了根据本公开实施例的第二确定模块的框图。
作为一种可选的实施例,如图5所示,上述第二确定模块430包括:提取单元431,用于从样本语料中提取指定短语;分词单元432,用于对提取出来的指定短语进行分词处理,得到多个短语分词;组合单元433,用于将多个短语分词进行排列组合,得到多个组合短语;第一确定单元434,用于基于指定短语的词性特征属性,确定多个组合短语的词性特征属性;以及第二确定单元435,用于基于多个组合短语的词性特征属性,确定出用于对语料进行短语识别的词性组合集。
由于仅仅利用样本语料中标注的指定短语确定词性组合时,得到的词性组合可能无法对其他语料进行全面准确地识别,比如由于用户的表述习惯不同,在表述同一意思时有的用户可能会说“电池容量大”,而有的用户可能会说“大电池容量”“大容量电池”等等。
通过本公开实施例,对样本语料中已标注的指定短语先进行分词,再对分词进行排列组合以得到多个组合短语,最终基于排列组合得到的多个组合短语找出对应的词性组合,可以弥补前述实施例仅仅通过已标注的指定短语本身找出对应的词性组合时可能存在不足和缺陷。
可以理解的是,获取模块410、第一确定模块420和第二确定模块430可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,获取模块410、第一确定模块420和第二确定模块430中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,获取模块410、第一确定模块420和第二确定模块430中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
本公开的另一方面提供了一种服务器,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如上任一实施例中所述的数据处理方法。
图6示意性示出了根据本公开实施例的服务器的框图。
如图6所示,服务器600包括处理器610(一个或者多个)、计算机可读存储介质620(又称为存储器)。该服务器600可以执行上面参考图2,图3A~图3D描述的方法,以实现数据处理。
具体地,处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行参考图2,图3A~图3D描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质620,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
计算机可读存储介质620可以包括计算机程序621,该计算机程序621可以包括代码/计算机可执行指令,其在由处理器610执行时使得处理器610执行例如上面结合图2,图3A~图3D所描述的方法流程及其任何变形。
计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序621中的代码可以包括一个或多个程序模块,例如包括621A、模块621B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器610执行时,使得处理器610可以执行例如上面结合图2,图3A~图3D所描述的方法流程及其任何变形。
根据本公开的实施例,处理器610可以与获取模块410、第一确定模块420和第二确定模块430进行交互,来执行上面结合图2,图3A~图3D所描述的方法流程及其任何变形。
根据本发明的实施例,获取模块410、第一确定模块420和第二确定模块430中的至少一个可以实现为参考图6描述的计算机程序模块,其在被处理器610执行时,可以实现上面描述的相应操作。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。
Claims (10)
1.一种数据处理方法,包括:
获取包含有指定短语的样本语料;
确定包含在所述样本语料中的所述指定短语的词性特征属性;以及
基于所述指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集。
2.根据权利要求1所述的方法,其中,基于所述指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集包括:
从所述样本语料中提取所述指定短语;
对提取出来的所述指定短语进行分词处理,得到多个短语分词;
将所述多个短语分词进行排列组合,得到多个组合短语;
基于所述指定短语的词性特征属性,确定所述多个组合短语的词性特征属性;以及
基于所述多个组合短语的词性特征属性,确定出用于对语料进行短语识别的词性组合集。
3.根据权利要求2所述的方法,其中,从所述样本语料中提取所述指定短语包括:
从所述样本语料中提取带有标识的短语作为所述指定短语。
4.根据权利要求1所述的方法,其中,所述方法还包括:
在确定出所述词性组合集之后,按词性特征属性条件对所述词性组合集中包含的所有词性组合进行统计;以及
基于统计结果,确定词性组合子集,其中,所述词性组合子集中包含的词性组合为从所述词性组合集中选出的统计结果满足预设条件的词性组合。
5.根据权利要求1所述的方法,其中,所述方法还包括:
在确定出所述词性组合集之后,获取所述词性组合集中包含的至少一个名词性短语的词性组合以及至少一个非名词性短语的词性组合;以及
使用所述至少一个名词性短语的词性组合替换所述至少一个非名词性短语的词性组合中的名词词性部分进行穷举,得到最终的词性组合集。
6.根据权利要求1所述的方法,其中,所述方法还包括:
获取待识别的目标语料;
将所述目标语料进行分词处理,得到多个分词;
针对所述多个分词,确定其中至少一个分词的词性组合;以及
将所述至少一个分词的词性组合与所述词性组合集中的各词性组合进行匹配,以从所述至少一个分词中识别出词性组合命中所述词性组合集中的词性组合的目标分词。
7.根据权利要求6所述的方法,其中,所述方法还包括:
利用预设过滤条件对所述目标分词进行过滤;以及
基于过滤结果,确定出最终的分词识别对象。
8.一种数据处理系统,包括:
获取模块,用于获取包含有指定短语的样本语料;
第一确定模块,用于确定包含在所述样本语料中的所述指定短语的词性特征属性;以及
第二确定模块,用于基于所述指定短语及其词性特征属性,确定出用于对语料进行短语识别的词性组合集。
9.根据权利要求8所述的系统,其中,所述第二确定模块包括:
提取单元,用于从所述样本语料中提取所述指定短语;
分词单元,用于对提取出来的所述指定短语进行分词处理,得到多个短语分词;
组合单元,用于将所述多个短语分词进行排列组合,得到多个组合短语;
第一确定单元,用于基于所述指定短语的词性特征属性,确定所述多个组合短语的词性特征属性;以及
第二确定单元,用于基于所述多个组合短语的词性特征属性,确定出用于对语料进行短语识别的词性组合集。
10.一种服务器,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至5中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711416280.4A CN108009155A (zh) | 2017-12-22 | 2017-12-22 | 数据处理方法及系统和服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711416280.4A CN108009155A (zh) | 2017-12-22 | 2017-12-22 | 数据处理方法及系统和服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108009155A true CN108009155A (zh) | 2018-05-08 |
Family
ID=62060869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711416280.4A Pending CN108009155A (zh) | 2017-12-22 | 2017-12-22 | 数据处理方法及系统和服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108009155A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807140A (zh) * | 2019-10-31 | 2020-02-18 | 北京金堤科技有限公司 | 有效数据提取方法以及装置 |
WO2020141706A1 (en) * | 2018-05-21 | 2020-07-09 | Samsung Electronics Co., Ltd. | Method and apparatus for generating annotated natural language phrases |
CN113361272A (zh) * | 2021-06-22 | 2021-09-07 | 海信视像科技股份有限公司 | 一种媒资标题的概念词提取方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271448A (zh) * | 2007-03-19 | 2008-09-24 | 株式会社东芝 | 汉语基本名词短语的识别及其规则的生成方法和装置 |
CN105069647A (zh) * | 2015-07-30 | 2015-11-18 | 齐鲁工业大学 | 一种改进的抽取中文商品评论中评价对象的方法 |
CN105224520A (zh) * | 2015-09-28 | 2016-01-06 | 北京信息科技大学 | 一种中文专利文献术语自动识别方法 |
CN105975475A (zh) * | 2016-03-31 | 2016-09-28 | 华南理工大学 | 基于中文短语串的细粒度主题信息抽取方法 |
CN107329964A (zh) * | 2017-04-19 | 2017-11-07 | 阿里巴巴集团控股有限公司 | 一种文本处理方法及装置 |
-
2017
- 2017-12-22 CN CN201711416280.4A patent/CN108009155A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271448A (zh) * | 2007-03-19 | 2008-09-24 | 株式会社东芝 | 汉语基本名词短语的识别及其规则的生成方法和装置 |
CN105069647A (zh) * | 2015-07-30 | 2015-11-18 | 齐鲁工业大学 | 一种改进的抽取中文商品评论中评价对象的方法 |
CN105224520A (zh) * | 2015-09-28 | 2016-01-06 | 北京信息科技大学 | 一种中文专利文献术语自动识别方法 |
CN105975475A (zh) * | 2016-03-31 | 2016-09-28 | 华南理工大学 | 基于中文短语串的细粒度主题信息抽取方法 |
CN107329964A (zh) * | 2017-04-19 | 2017-11-07 | 阿里巴巴集团控股有限公司 | 一种文本处理方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020141706A1 (en) * | 2018-05-21 | 2020-07-09 | Samsung Electronics Co., Ltd. | Method and apparatus for generating annotated natural language phrases |
US11036926B2 (en) | 2018-05-21 | 2021-06-15 | Samsung Electronics Co., Ltd. | Generating annotated natural language phrases |
CN110807140A (zh) * | 2019-10-31 | 2020-02-18 | 北京金堤科技有限公司 | 有效数据提取方法以及装置 |
CN113361272A (zh) * | 2021-06-22 | 2021-09-07 | 海信视像科技股份有限公司 | 一种媒资标题的概念词提取方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106649818B (zh) | 应用搜索意图的识别方法、装置、应用搜索方法和服务器 | |
CN104572958B (zh) | 一种基于事件抽取的敏感信息监控方法 | |
CN106156365B (zh) | 一种知识图谱的生成方法及装置 | |
CN107403198B (zh) | 一种基于级联分类器的官网识别方法 | |
JP6894534B2 (ja) | 情報処理方法及び端末、コンピュータ記憶媒体 | |
CN109299258B (zh) | 一种舆情事件检测方法、装置及设备 | |
CN106776574B (zh) | 用户评论文本挖掘方法及装置 | |
EP3848797A1 (en) | Automatic parameter value resolution for api evaluation | |
CN106033416A (zh) | 一种字符串处理方法及装置 | |
CN112287914B (zh) | Ppt视频段提取方法、装置、设备及介质 | |
CN106970993B (zh) | 挖掘模型更新方法和装置 | |
CN111522901B (zh) | 文本中地址信息的处理方法及装置 | |
CN111291177A (zh) | 一种信息处理方法、装置和计算机存储介质 | |
CN112818093A (zh) | 基于语义匹配的证据文档检索方法、系统及存储介质 | |
CN107480200A (zh) | 基于词标签的词语标注方法、装置、服务器及存储介质 | |
CN110516259B (zh) | 一种技术关键词的识别方法、装置、计算机设备和存储介质 | |
CN108009155A (zh) | 数据处理方法及系统和服务器 | |
CN112765974B (zh) | 一种业务辅助方法、电子设备及可读存储介质 | |
JP2020191076A (ja) | Apiドキュメンテーションからのapiエンドポイント記述の予測 | |
CN110929520A (zh) | 非命名实体对象抽取方法、装置、电子设备及存储介质 | |
Zhou et al. | Icdar 2015 text reading in the wild competition | |
CN113935339B (zh) | 翻译方法、装置、电子设备及存储介质 | |
CN113268588A (zh) | 文本摘要提取方法、装置、设备、存储介质及程序产品 | |
CN110705285B (zh) | 一种政务文本主题词库构建方法、装置、服务器及可读存储介质 | |
CN107577667B (zh) | 一种实体词处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180508 |
|
RJ01 | Rejection of invention patent application after publication |