CN106528694B - 基于人工智能的语义判定处理方法和装置 - Google Patents

基于人工智能的语义判定处理方法和装置 Download PDF

Info

Publication number
CN106528694B
CN106528694B CN201610942965.1A CN201610942965A CN106528694B CN 106528694 B CN106528694 B CN 106528694B CN 201610942965 A CN201610942965 A CN 201610942965A CN 106528694 B CN106528694 B CN 106528694B
Authority
CN
China
Prior art keywords
semantic
input information
text
feature library
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610942965.1A
Other languages
English (en)
Other versions
CN106528694A (zh
Inventor
胡泽进
姚树杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201610942965.1A priority Critical patent/CN106528694B/zh
Publication of CN106528694A publication Critical patent/CN106528694A/zh
Application granted granted Critical
Publication of CN106528694B publication Critical patent/CN106528694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于人工智能的语义判定处理方法和装置,其中,方法包括:对待处理的输入信息进行切词处理,提取一个或多个文本特征;根据预先训练的语义识别模型对文本特征进行分类处理,获取与文本特征对应的语义置信度;若语义置信度小于预设阈值,则确定输入信息不具有语义文本。该方法根据待处理输入信息的文本特征对待处理信息进行处理,提高了语义识别的准确率。

Description

基于人工智能的语义判定处理方法和装置
技术领域
本发明涉及信息处理技术领域,尤其涉及一种基于人工智能的语义判定处理方法和装置。
背景技术
人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
随着互联网技术的发展,语义识别越来越广泛的被应用于各个应用场景中,比如,在导航应用程序中,可通过对用户输入的语音进行语义识别,以为用户提供导航服务等。
其中,在对待解析的文本等信息进行语义识别时,为了提高识别效率,将不具有语义的信息单独处理,对包含明确的信息进行语义解析处理。
然而相关技术中,在对待解析的文本等信息进行语义识别时,可能会产生误判,比如会将一些指令型文本误判为无语义文本等,语义判定不准确。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本发明的第一个目的在于提出一种基于人工智能的语义判定处理方法,该方法根据待处理输入信息的文本特征对待处理信息进行处理,提高了语义识别的准确率。
本发明的第二个目的在于提出一种基于人工智能的语义判定处理装置。
本发明的第三个目的在于提出另一种基于人工智能的语义判定处理装置。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为了实现上述目的,本发明第一方面实施例提出了一种基于人工智能的语义判定处理方法,包括以下步骤:对待处理的输入信息进行切词处理,提取一个或多个文本特征;根据预先训练的语义识别模型对所述文本特征进行分类处理,获取与所述文本特征对应的语义置信度;若所述语义置信度小于预设阈值,则确定所述输入信息不具有语义文本。
本发明实施例的基于人工智能的语义判定处理方法,对待处理的输入信息进行切词处理,提取一个或多个文本特征,并根据预先训练的语义识别模型对文本特征进行分类处理,获取与文本特征对应的语义置信度,从而若语义置信度小于预设阈值,则确定输入信息不具有语义文本。由此,根据待处理输入信息的文本特征对待处理信息进行处理,提高了语义识别的准确率。
另外,本发明实施例的基于人工智能的语义判定处理方法,还具有如下附加的技术特征:
在本发明的一个实施例中,还包括:
若所述语义置信度大于等于预设阈值,则确定所述输入信息具有语义文本。
在本发明的一个实施例中,在所述对待处理的输入信息进行切词处理,提取一个或多个文本特征之前,还包括:
将所述输入信息与预设的语义特征库进行匹配;
如果所述输入信息与预设的语义特征库匹配失败,则对所述输入信息进行切词处理。
在本发明的一个实施例中,在所述将所述输入信息与预设的语义特征库进行匹配之后,还包括:如果所述输入信息与预设的语义特征库匹配成功,根据所述语义特征库的类型确定所述输入信息是否具有语义文本。
在本发明的一个实施例中,所述如果所述输入信息与预设的语义特征库匹配成功,根据所述语义特征库的类型确定所述输入信息是否具有语义文本,包括以下至少之一:
若所述语义特征库包含指令模板,如果所述输入信息与所述指令模板匹配成功,则确定所述输入信息包含语义文本;
若所述语义特征库包含闲聊语料模板,如果所述输入信息与所述闲聊语料模板匹配成功,则确定所述输入信息包含无语义文本;
若所述语义特征库包含无语义文本的黑名单信息,如果所述输入信息与所述黑名单信息匹配成功,则确定所述输入信息包含无语义文本;
若所述语义特征库包含具有语义文本的白名单信息,如果所述输入信息与所述白名单信息匹配成功,则确定所述输入信息包含语义文本。
为了实现上述目的,本发明第二方面实施例提出了一种基于人工智能的语义判定处理装置,包括:第一处理模块,用于对待处理的输入信息进行切词处理;提取模块,用于提取一个或多个文本特征;第二处理模块,用于根据预先训练的语义识别模型对所述文本特征进行分类处理;获取模块,用于获取与所述文本特征对应的语义置信度;第一确定模块,用于在所述语义置信度小于预设阈值时,确定所述输入信息不具有语义文本。
本发明实施例的基于人工智能的语义判定处理装置,对待处理的输入信息进行切词处理,提取一个或多个文本特征,并根据预先训练的语义识别模型对文本特征进行分类处理,获取与文本特征对应的语义置信度,从而若语义置信度小于预设阈值,则确定输入信息不具有语义文本。由此,根据待处理输入信息的文本特征对待处理信息进行处理,提高了语义识别的准确率。
另外,本发明实施例的基于人工智能的语义判定处理装置,还具有如下附加的技术特征:
在本发明的一个实施例中,所述第一确定模块还用于:
在所述语义置信度大于等于预设阈值时,确定所述输入信息具有语义文本。
在本发明的一个实施例中,还包括:
匹配模块,用于将所述输入信息与预设的语义特征库进行匹配;
所述第一处理模块,用于在所述输入信息与预设的语义特征库匹配失败时,对所述输入信息进行切词处理。
在本发明的一个实施例中,还包括:
第二确定模块,用于在所述输入信息与预设的语义特征库匹配成功时,根据所述语义特征库的类型确定所述输入信息是否具有语义文本。
在本发明的一个实施例中,所述第二确定模块用于:
若所述语义特征库包含指令模板,在所述输入信息与所述指令模板匹配成功时,确定所述输入信息包含语义文本;
若所述语义特征库包含闲聊语料模板,在所述输入信息与所述闲聊语料模板匹配成功时,确定所述输入信息包含无语义文本;
若所述语义特征库包含无语义文本的黑名单信息,在所述输入信息与所述黑名单信息匹配成功时,确定所述输入信息包含无语义文本;
若所述语义特征库包含具有语义文本的白名单信息,在所述输入信息与所述白名单信息匹配成功时,确定所述输入信息包含语义文本。
为了实现上述目的,本发明第三方面实施例提出了另一种基于人工智能的语义判定处理装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
对待处理的输入信息进行切词处理,提取一个或多个文本特征;
根据预先训练的语义识别模型对所述文本特征进行分类处理,获取与所述文本特征对应的语义置信度;
若所述语义置信度小于预设阈值,则确定所述输入信息不具有语义文本。
为了实现上述目的,本发明第四方面实施例提出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器被执行时,使得移动终端能够执行一种基于人工智能的语义判定处理方法,所述方法包括:
对待处理的输入信息进行切词处理,提取一个或多个文本特征;
根据预先训练的语义识别模型对所述文本特征进行分类处理,获取与所述文本特征对应的语义置信度;
若所述语义置信度小于预设阈值,则确定所述输入信息不具有语义文本。
为了实现上述目的,本发明第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,执行一种基于人工智能的语义判定处理方法,所述方法包括:
对待处理的输入信息进行切词处理,提取一个或多个文本特征;
根据预先训练的语义识别模型对所述文本特征进行分类处理,获取与所述文本特征对应的语义置信度;
若所述语义置信度小于预设阈值,则确定所述输入信息不具有语义文本。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明一个实施例的基于人工智能的语义判定处理方法的流程图;
图2是根据本发明另一个实施例的基于人工智能的语义判定处理方法的流程图;
图3是根据本发明一个实施例的基于人工智能的语义判定处理装置的结构示意图;以及
图4是根据本发明另一个实施例的基于人工智能的语义判定处理装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于人工智能的语义判定处理方法和装置。
通常,在很多应用场景下,提供语义识别功能,比如,对于导航应用程序,可通过语义识别的方式,识别用户发出的语音“我想要去富国路”中的语义,以便于根据该语义转换为需求指令“去富国路”,并提供到该目的地的导航服务等。
然而,由于相关技术中,语义识别的准确率不高,比如无法有效区分指令文本和闲聊文本等,比如会将指令文本“下一个”、“三”等识别为无语义文本,从而不根据该指令文本进行相应的操作,影响用户体验。
为了避免上述问题,提高语义识别的准确率,本发明提出了一种基于人工智能的语义判定处理方法,具体如下:
图1是根据本发明一个实施例的基于人工智能的语义判定处理方法的流程图。
如图1所示,该基于人工智能的语义判定处理方法可包括:
S101,对待处理的输入信息进行切词处理,提取一个或多个文本特征。
具体地,为了避免待处理的输入信息因为特征不明确,导致对待处理的输入信息整体识别时差生误判,比如,长度较短的待处理的输入信息,可能由于特征稀疏、主题不明确,而导致语义误判,本发明实施例中,对待处理的输入信息进行切词处理,根据切词处理后的输入信息进行识别。
其中,待处理的输入信息可包括文本信息、语音信息等,且当待处理的输入信息是语音信息等非文本信息时,需要在对待处理的输入信息进行切词处理之前,将非文本信息转换为文本信息等。
其中,根据具体应用需求的不同,可采用多种方式对待处理的输入信息进行切词处理,举例如下:
第一种示例,根据待处理的输入信息的词性,对待处理的输入信息进行切词处理。
在本示例中,获取待处理的输入信息的词性,即通过解析输入信息中的名词、动词、副词、或,专有名词等,对待处理的输入信息进行切词处理。
举例而言,对待处理的输入信息“请帮我翻到下一页”,根据词性进行切词处理后,识别“请”、“帮”、“翻到”为动词,“我”为代词,“下一页”为方位词等,从而获得的切词处理结果是“请”、“帮”、“我”、“翻到”、“下一页”。
第二种示例,根据复试切词的方式,对待处理的输入信息进行切词处理。
在本示例中,举例而言,可采用一元二元混合切词的方式,对待处理的输入信息进行切词处理,比如,将待处理的输入信息“联合国教科文组织”进行一元二元混合切词处理,获得的处理结果为“联”、“联合”、“合”、“合国”、“国”、“国教”、“教”、“教科”、“科”、“科文”、“文”、“文组”、“组”、“组织”。
第三种示例,通过识别待处理的输入信息中的特征词,对待处理的输入信息进行切词处理。其中,特征词为与待处理的输入信息,表达的主题思想相关的词,比如可以为专有实体名词等。
举例而言,将待处理的输入信息“联合国教科文组织”进行一元二元混合切词处理,获得的处理结果为“联合国”、“教科文”、“组织”。
应当理解的是,在上述切词处理过程中,还可综合考虑邻近词的关联度,以根据关联度以及词本身的权重等,丢弃掉一些与待处理的输入信息,表达的主题无关的词。
进而,对待处理的输入信息进行切词处理后,采用TFIDF算法等提取一个或多个文本特征,其中,文本特征包括待处理信息切词处理后,得到的特征词及其权重,关键词及其摘要,抽取的特定信息等。
其中,权重是针对某一个指标而言的,某一个指标的权重是指该指标在整体评价中的相对重要程度,比如,某一个特征词的词频的权重,指的是其在分类评价中的相对重要程度。
S102,根据预先训练的语义识别模型对文本特征进行分类处理,获取与文本特征对应的语义置信度。
具体地,预先根据大量具有语义的语料训练语义识别模型,从而根据预先训练的语义识别模型对文本验证进行分析,以根据分析结果对文本特征进行分类处理,以确定待处理文本属于哪种语义。
比如,预先训练的语义识别模型,如果根据关键词进行分类处理,则根据文本特征中的关键词A1,与预先训练后的识别模型中A分类关键词A2的匹配度较高,则确定该待处理的输入信息为A类。
又比如,预先训练的语义识别模型,如果根据特征词及其权重进行分类处理,则对文本特征中的特征词的词频等计算权重,进而对特征词的权重值进行加权处理,预先训练的语义识别模型获得的处理值,判断该处理值接近于那一分类以得到分类结果。
然而,应当理解的是,预先训练的语义识别模型的并不保证完全分类正确,当待处理的输入信息是无语义文本时,可能会将其识别为有语义文本,因而,还可根据预先训练的语义识别模型的准确率,获取与文本特征对应的语义置信度,以便于根据语义置信度,判断该待处理文本的分类处理结果是否可信等。
其中,根据具体应用场景的不同,语义置信度的表示方式可有多种,比如可以百分比的形式表示,或以分数的形式表示,或以等级的形式表示,或以文字表述的方式进行表示等。
比如,预先训练的语义识别模型的准确率为80%,则获取与文本特征对应的语义置信度为80%等,从而判断该分类处理结果可信度较高。
S103,若语义置信度小于预设阈值,则确定输入信息不具有语义文本。
具体地,为了判断该待处理文本的分类处理结果的准确率,预先设置针对语义置信度的阈值。
当语义置信度小于预设阈值时,则表明虽然预先训练的语义识别模型对所述文本特征进行分类处理后,将该待处理文本分为某一类具有语义的文本,但分类的准确率不高,因而确定输入信息不具有语义文本。
在本发明的另一个实施例中,若语义置信度大于等于预设阈值,则表明预先训练的语义识别模型对文本特征进行分类处理的处理结果,可信度较高,因而确定输入信息具有语义文本。
综上所述,本发明实施例的基于人工智能的语义判定处理方法,对待处理的输入信息进行切词处理,提取一个或多个文本特征,并根据预先训练的语义识别模型对文本特征进行分类处理,获取与文本特征对应的语义置信度,从而若语义置信度小于预设阈值,则确定输入信息不具有语义文本。由此,根据待处理输入信息的文本特征对待处理信息进行处理,提高了语义识别的准确率。
基于以上实施例,应当理解的是,为了进一步提高语义判定处理的效率,还可在对待处理的输入信息进行文本特征提取之前,对待处理的输入信息进行简单的预识别,只有当识别不出待处理的输入信息是否为语义文本后,才实施上述语义判定处理的步骤。具体说明如下:
图2是根据本发明另一个实施例的基于人工智能的语义判定处理方法的流程图,如图2所示,在上述步骤S101之前,该基于人工智能的语义判定处理方法包括:
S201,将输入信息与预设的语义特征库进行匹配。
具体地,预先设置语义特征库,该语义特征库中包括不具有语义的信息,或者具有语义的信息,从而将输入信息与预设的语义特征库进行匹配,根据匹配情况,确定输入信息是否具有语义。
S202,如果输入信息与预设的语义特征库匹配失败,则对输入信息进行切词处理。
具体地,如果输入信息与预设的语义特征库匹配失败,则表明输入信息与预设的语义特征库中的具有语义的信息不匹配,同时,输入信息与预设的语义特征库中的不具有语义的信息也不匹配,因而,无法准确确定输入信息是否具有语义,从而对输入信息进行切词处理。
进而,进入上述步骤S101,通过提取待处理的输入信息的文本特征的方法,进一步根据待处理的输入信息的文本特征,确定待处理的输入信息是否具有语义。
也就是说,可综合使用语义特征库与待处理的输入信息的文本特征,对待处理的输入信息进行语义识别,提高了语义识别准确度。
S203,如果输入信息与预设的语义特征库匹配成功,根据语义特征库的类型确定输入信息是否具有语义文本。
具体地,由于语义特征库中可能既包括不具有语义的信息,又包括具有语义的信息,因而,如果输入信息与预设的语义特征库匹配成功,根据语义特征库的类型确定输入信息是否具有语义文本。
下面结合具体的应用场景,详细说明如何根据语义特征库的类型,确定输入信息是否具有语义文本,说明如下:
第一种示例,若语义特征库包含指令模板,则如果输入信息与指令模板匹配成功,则确定输入信息为包含语义文本。
其中,指令模板可包括对应用程序的具体操作指令等,比如针对导航应用程序的导航操作指令,针对小说阅读应用程序的阅读指令等。
在本示例中,如果输入信息与指令模板匹配值超过一定值,则认为输入信息与指令模板匹配成功,从而确定输入信息为包含语义文本。
举例而言,将输入信息“帮我翻页到下一章节”与指令模板“指令模板匹配值”匹配,得到匹配值较高,则认为输入信息与指令模板匹配成功,从而确定输入信息为包含语义文本。
第二种示例,若语义特征库包含闲聊语料模板,如果输入信息与闲聊语料模板匹配成功,则确定输入信息包含无语义文本。
其中,闲聊语料模板中包括日常生活中,聊天常用的语气助词,拟声词等不包含明确语义的词。
在本示例中,如果输入信息与闲聊语料模板匹配值超过一定值,则认为输入信息与闲聊语料模板匹配成功,从而确定输入信息为包含无语义文本。
举例而言,将输入信息“你好呀,哈哈哈”与闲聊语料模板“你好,哈哈”匹配,得到匹配值较高,则认为输入信息与闲聊语料模板匹配成功,从而确定输入信息为包含无语义文本。
第三种示例,若语义特征库包含无语义文本的黑名单信息,如果输入信息与黑名单信息匹配成功,则确定输入信息包含无语义文本。
其中,上述黑名单信息中包含大量的无语义文本,比如包含拟声词,语气助词等。
在本示例中,如果输入信息与黑名单匹配值超过一定值,则认为输入信息与黑名单信息匹配成功,从而确定输入信息为包含无语义文本。
举例而言,将输入信息“你好呀,哈哈哈”与黑名单信息“你好,哈哈”匹配,得到匹配值较高,则认为输入信息与黑名单信息匹配成功,从而确定输入信息为包含无语义文本。
第四种示例,若语义特征库包含具有语义文本的白名单信息,如果输入信息与白名单信息匹配成功,则确定输入信息包含语义文本。
其中,上述白名单信息中包含大量的语义文本,比如包含实体词,指令词等。
在本示例中,如果输入信息与白名单匹配值超过一定值,则认为输入信息与白名单信息匹配成功,从而确定输入信息为包含语义文本。
举例而言,将输入信息“请告诉我苹果的药用功效”与白名单信息“苹果的药用功效”匹配,得到匹配值较高,则认为输入信息与白名单信息匹配成功,从而确定输入信息为包含语义文本。
综上所述,本发明实施例的基于人工智能的语义判定处理方法,在根据待处理的输入信息的文本特征,对待处理信息进行语义识别之前,通过预设的语义特征库与输入信息进行匹配,并根据匹配结果确定输入信息是否具有语义,只有在无法识别输入信息是否具有语义时,才根据待处理的输入信息的文本特征,对待处理信息进行语义识别,进一步提高了语义识别的效率。
为实现上述目的,本发明还提出一种基于人工智能的语义判定处理装置。
图3是根据本发明一个实施例的基于人工智能的语义判定处理装置的结构示意图。
如图3所示,该基于人工智能的语义判定处理装置可包括:第一处理模块10、提取模块20、第二处理模块30、获取模块40和第一确定模块50。
其中,第一处理模块10,用于对待处理的输入信息进行切词处理。
提取模块20,用于提取一个或多个文本特征。
第二处理模块30,用于根据预先训练的语义识别模型对文本特征进行分类处理。
获取模块40,用于获取与文本特征对应的语义置信度。
第一确定模块50,用于在语义置信度小于预设阈值时,确定输入信息不具有语义文本。
在本发明的一个实施例中,第一确定模块50还用于在语义置信度大于等于预设阈值时,确定输入信息具有语义文本。
需要说明的是,前述对基于人工智能的语义判定处理方法的解释说明,也适用于本发明实施例的基于人工智能的语义判定处理装置,本发明基于人工智能的语义判定处理装置中未披露的细节,在此不再赘述。
综上所述,本发明实施例的基于人工智能的语义判定处理装置,对待处理的输入信息进行切词处理,提取一个或多个文本特征,并根据预先训练的语义识别模型对文本特征进行分类处理,获取与文本特征对应的语义置信度,从而若语义置信度小于预设阈值,则确定输入信息不具有语义文本。由此,根据待处理输入信息的文本特征对待处理信息进行处理,提高了语义识别的准确率。
图4是根据本发明另一个实施例的基于人工智能的语义判定处理装置的结构示意图,如图4所示,在如图3所示的基础上,基于人工智能的语义判定处理装置还包括:匹配模块60和第二确定模块70。
其中,匹配模块60,用于将输入信息与预设的语义特征库进行匹配。
在本发明的实施例中,第一处理模块10,用于在输入信息与预设的语义特征库匹配失败时,对输入信息进行切词处理。
第二确定模块70,用于在输入信息与预设的语义特征库匹配成功时,根据语义特征库的类型确定输入信息是否具有语义文本。
在本发明的一个实施例中,若语义特征库包含指令模板,在输入信息与指令模板匹配成功时,第二确定模块70确定输入信息包含语义文本。
在本发明的一个实施例中,若语义特征库包含闲聊语料模板,在输入信息与闲聊语料模板匹配成功时,第二确定模块70确定输入信息包含无语义文本。
在本发明的一个实施例中,若语义特征库包含无语义文本的黑名单信息,在输入信息与黑名单信息匹配成功时,第二确定模块70确定输入信息包含无语义文本。
在本发明的一个实施例中,若语义特征库包含具有语义文本的白名单信息,在输入信息与白名单信息匹配成功时,第二确定模块70确定输入信息包含语义文本。
需要说明的是,前述对基于人工智能的语义判定处理方法的解释说明,也适用于本发明实施例的基于人工智能的语义判定处理装置,本发明基于人工智能的语义判定处理装置中未披露的细节,在此不再赘述。
综上所述,本发明实施例的基于人工智能的语义判定处理装置,在根据待处理的输入信息的文本特征,对待处理信息进行语义识别之前,通过预设的语义特征库与输入信息进行匹配,并根据匹配结果确定输入信息是否具有语义,只有在无法识别输入信息是否具有语义时,才根据待处理的输入信息的文本特征,对待处理信息进行语义识别,进一步提高了语义识别的效率。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于人工智能的语义判定处理方法,其特征在于,包括以下步骤:
将输入信息与预设的语义特征库进行匹配;
如果所述输入信息与预设的语义特征库匹配失败,对待处理的所述输入信息进行切词处理,提取一个或多个文本特征;
根据预先训练的语义识别模型对所述文本特征进行分类处理,获取与所述文本特征对应的语义置信度;
若所述语义置信度小于预设阈值,则确定所述输入信息不具有语义文本。
2.如权利要求1所述的方法,其特征在于,还包括:
若所述语义置信度大于等于预设阈值,则确定所述输入信息具有语义文本。
3.如权利要求1所述的方法,其特征在于,在所述将所述输入信息与预设的语义特征库进行匹配之后,还包括:
如果所述输入信息与预设的语义特征库匹配成功,根据所述语义特征库的类型确定所述输入信息是否具有语义文本。
4.如权利要求3所述的方法,其特征在于,所述如果所述输入信息与预设的语义特征库匹配成功,根据所述语义特征库的类型确定所述输入信息是否具有语义文本,包括以下至少之一:
若所述语义特征库包含指令模板,如果所述输入信息与所述指令模板匹配成功,则确定所述输入信息包含语义文本;
若所述语义特征库包含闲聊语料模板,如果所述输入信息与所述闲聊语料模板匹配成功,则确定所述输入信息包含无语义文本;
若所述语义特征库包含无语义文本的黑名单信息,如果所述输入信息与所述黑名单信息匹配成功,则确定所述输入信息包含无语义文本;
若所述语义特征库包含具有语义文本的白名单信息,如果所述输入信息与所述白名单信息匹配成功,则确定所述输入信息包含语义文本。
5.一种基于人工智能的语义判定处理装置,其特征在于,包括:
匹配模块,用于将输入信息与预设的语义特征库进行匹配;
第一处理模块,用于在所述输入信息与预设的语义特征库匹配失败时,对所述输入信息进行切词处理;
提取模块,用于提取一个或多个文本特征;
第二处理模块,用于根据预先训练的语义识别模型对所述文本特征进行分类处理;
获取模块,用于获取与所述文本特征对应的语义置信度;
第一确定模块,用于在所述语义置信度小于预设阈值时,确定所述输入信息不具有语义文本。
6.如权利要求5所述的装置,其特征在于,所述第一确定模块还用于:
在所述语义置信度大于等于预设阈值时,确定所述输入信息具有语义文本。
7.如权利要求5所述的装置,其特征在于,还包括:
第二确定模块,用于在所述输入信息与预设的语义特征库匹配成功时,根据所述语义特征库的类型确定所述输入信息是否具有语义文本。
8.如权利要求7所述的装置,其特征在于,所述第二确定模块用于:
若所述语义特征库包含指令模板,在所述输入信息与所述指令模板匹配成功时,确定所述输入信息包含语义文本;
若所述语义特征库包含闲聊语料模板,在所述输入信息与所述闲聊语料模板匹配成功时,确定所述输入信息包含无语义文本;
若所述语义特征库包含无语义文本的黑名单信息,在所述输入信息与所述黑名单信息匹配成功时,确定所述输入信息包含无语义文本;
若所述语义特征库包含具有语义文本的白名单信息,在所述输入信息与所述白名单信息匹配成功时,确定所述输入信息包含语义文本。
CN201610942965.1A 2016-10-31 2016-10-31 基于人工智能的语义判定处理方法和装置 Active CN106528694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610942965.1A CN106528694B (zh) 2016-10-31 2016-10-31 基于人工智能的语义判定处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610942965.1A CN106528694B (zh) 2016-10-31 2016-10-31 基于人工智能的语义判定处理方法和装置

Publications (2)

Publication Number Publication Date
CN106528694A CN106528694A (zh) 2017-03-22
CN106528694B true CN106528694B (zh) 2019-12-06

Family

ID=58292462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610942965.1A Active CN106528694B (zh) 2016-10-31 2016-10-31 基于人工智能的语义判定处理方法和装置

Country Status (1)

Country Link
CN (1) CN106528694B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491436A (zh) * 2017-08-21 2017-12-19 北京百度网讯科技有限公司 一种标题党识别方法和装置、服务器、存储介质
CN107644642B (zh) * 2017-09-20 2021-01-15 Oppo广东移动通信有限公司 语义识别方法、装置、存储介质及电子设备
CN109726387A (zh) * 2017-10-31 2019-05-07 科沃斯商用机器人有限公司 人机交互方法和系统
CN108509638B (zh) * 2018-04-11 2023-06-27 联想(北京)有限公司 一种问题提取方法及电子设备
CN110491374A (zh) * 2019-08-27 2019-11-22 北京明日汇科技管理有限公司 基于神经网络的酒店服务语音交互识别方法及装置
CN111563386B (zh) * 2020-07-14 2020-11-24 北京每日优鲜电子商务有限公司 一种基于人工智能的语义处理方法及系统
CN111898363B (zh) * 2020-07-27 2023-07-28 平安科技(深圳)有限公司 文本长难句的压缩方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632388A (zh) * 2013-12-19 2014-03-12 百度在线网络技术(北京)有限公司 图像语义标注的方法、装置和客户端
CN104063427A (zh) * 2014-06-06 2014-09-24 北京搜狗科技发展有限公司 一种基于语义理解的表情输入方法和装置
CN104679823A (zh) * 2014-12-31 2015-06-03 智慧城市信息技术有限公司 基于语义标注的异构数据关联方法及系统
CN105550291A (zh) * 2015-12-10 2016-05-04 百度在线网络技术(北京)有限公司 文本分类方法和装置
CN105893533A (zh) * 2016-03-31 2016-08-24 北京奇艺世纪科技有限公司 一种文本匹配方法及装置
US9430524B1 (en) * 2011-09-29 2016-08-30 Pivotal Software, Inc. RLE-aware optimization of SQL queries

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430524B1 (en) * 2011-09-29 2016-08-30 Pivotal Software, Inc. RLE-aware optimization of SQL queries
CN103632388A (zh) * 2013-12-19 2014-03-12 百度在线网络技术(北京)有限公司 图像语义标注的方法、装置和客户端
CN104063427A (zh) * 2014-06-06 2014-09-24 北京搜狗科技发展有限公司 一种基于语义理解的表情输入方法和装置
CN104679823A (zh) * 2014-12-31 2015-06-03 智慧城市信息技术有限公司 基于语义标注的异构数据关联方法及系统
CN105550291A (zh) * 2015-12-10 2016-05-04 百度在线网络技术(北京)有限公司 文本分类方法和装置
CN105893533A (zh) * 2016-03-31 2016-08-24 北京奇艺世纪科技有限公司 一种文本匹配方法及装置

Also Published As

Publication number Publication date
CN106528694A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106528694B (zh) 基于人工智能的语义判定处理方法和装置
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
JP6335898B2 (ja) 製品認識に基づく情報分類
JP2020030408A (ja) オーディオにおける重要語句を認識するための方法、装置、機器及び媒体
CN111753531A (zh) 一种基于人工智能的文本纠错方法、装置、计算机设备及存储介质
CN114580382A (zh) 文本纠错方法以及装置
CN111475650B (zh) 一种俄语语义角色标注方法、系统、装置以及存储介质
CN112507704B (zh) 多意图识别方法、装置、设备及存储介质
CN115080750B (zh) 基于融合提示序列的弱监督文本分类方法、系统和装置
CN113449084A (zh) 基于图卷积的关系抽取方法
CN110633456B (zh) 语种识别方法、装置、服务器及存储介质
CN115544240A (zh) 文本类敏感信息识别方法、装置、电子设备和存储介质
CN112232070A (zh) 自然语言处理模型构建方法、系统、电子设备及存储介质
CN109753646B (zh) 一种文章属性识别方法以及电子设备
CN111354354A (zh) 一种基于语义识别的训练方法、训练装置及终端设备
CN115858776B (zh) 一种变体文本分类识别方法、系统、存储介质和电子设备
CN116522905A (zh) 文本纠错方法、装置、设备、可读存储介质及程序产品
US11321527B1 (en) Effective classification of data based on curated features
CN112287077A (zh) 用于文档的结合rpa和ai的语句提取方法、装置、存储介质及电子设备
Jabeen et al. Using asymmetric associations for commonsense causality detection
CN111159339A (zh) 一种文本匹配处理方法和装置
CN113254587B (zh) 搜索文本的识别方法、装置、计算机设备及存储介质
CN111785259A (zh) 信息处理方法、装置及电子设备
CN110866390B (zh) 中文语法错误的识别方法、装置、计算机设备和存储介质
CN111540363B (zh) 关键词模型及解码网络构建方法、检测方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant