CN108255857A - 一种语句检测方法及装置 - Google Patents

一种语句检测方法及装置 Download PDF

Info

Publication number
CN108255857A
CN108255857A CN201611246151.0A CN201611246151A CN108255857A CN 108255857 A CN108255857 A CN 108255857A CN 201611246151 A CN201611246151 A CN 201611246151A CN 108255857 A CN108255857 A CN 108255857A
Authority
CN
China
Prior art keywords
sentence
detected
participle
value
puzzlement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611246151.0A
Other languages
English (en)
Other versions
CN108255857B (zh
Inventor
王天祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201611246151.0A priority Critical patent/CN108255857B/zh
Publication of CN108255857A publication Critical patent/CN108255857A/zh
Application granted granted Critical
Publication of CN108255857B publication Critical patent/CN108255857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种语句检测方法及装置，涉及互联网技术领域，主要目的是提高广告语句检测结果的准确性。所述方法包括：获取待检测语句，根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值，所述语料检测模型记录有不同领域自然文本中的分词、各个分词对应的频率以及各个分词在不同语句中的组合概率，将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。本发明主要用于广告语句的检测。

Description

一种语句检测方法及装置
技术领域
本发明涉及互联网技术领域，尤其是一种语句检测方法及装置。
背景技术
搜索引擎营销(Search Engine Marketing，SEM)是根据用户使用搜索引擎的方式利用用户检索信息的机会尽可能将营销信息传递给用户。广告主网站通常会在搜索引擎平台上投放SEM广告，当用户触发广告关键词时会在网页中展示多个广告商的网站信息，用户可以根据显示的网站信息选择感兴趣广告语句点击进入网站，进一步了解所需要的信息，因此，创意好的广告语句会吸引更多的用户点击，从而能够为广告商实现更好的推广。
由于在SEM广告在投放至搜索引擎平台之前，搜索引擎平台需要对广告语句的通顺度进行检测，若广告语句不通顺则搜索引擎平台不予展示该SEM广告。目前，通常使用人工操作对每条待投放SEM广告的广告语句进行通顺度检测，进而保证SEM广告能够顺利展示。
然而，在通过人工操作进行通顺度检查的过程中，由于每个人的先验知识不同，并且对广告语句通顺度的理解也缺乏统一的标准，使得检测结果不准确，导致部分能够顺利展示的广告无法在页面中展示，给广告商带来了经济损失。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种语句检测方法及装置，能够提高广告语句检测结果的准确性。
一方面，本发明提供了一种语句检测方法，包括：
获取待检测语句；
根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值，所述语料检测模型记录有不同领域自然文本中的分词、各个分词对应的频率以及各个分词在不同语句中的组合概率；
将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。
另一方面，本发明提供一种语句检测装置，包括：
第一获取单元，用于获取待检测语句；
检测单元，用于根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值，所述语料检测模型记录有不同领域自然文本中的分词、各个分词对应的频率以及各个分词在不同语句中的组合概率；
输出单元，用于将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。
借由上述技术方案，本发明提供的一种语句检测方法及装置，首先获取待检测语句，这里的待检测语句为SEM广告中的广告语句，然后根据语料检测模型对待检测语句中每个分词进行通顺度检测，得到语句困惑值，进而对广告语句的通顺度进行评估，将语句困惑值大于或等于预设阈值的广告语句对应的SEM广告进行标注，并且输出带有标注的提示信息，提示该广告语句对应的SEM广告不符合展示条件。相对于现有的通过人工操作对每个待展示SEM广告的广告语句进行检测的方法相比，本发明通过从大数据积累的语料库建立的语料检测模型对所述待检测语句进行通顺度检测，无需人工操作，能够批量快速检测语句的通顺度，提高了广告语句检测结果的准确性，进一步通过将不符合展示条件的SEM广告进行预警，避免了由于广告上线不通顺给广告主带来的经济损失。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种语句检测方法流程示意图；
图2示出了本发明实施例提供的另一种语句检测方法流程示意图；
图3示出了本发明实施例提供的一种语句检测装置结构示意图；
图4示出了本发明实施例提供的另一种语句检测装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种语句检测方法，如图1所示，该方法主要用于对广告语句进行通顺度检测，具体步骤包括：
101、获取待检测语句。
其中，待检测语句为SEM广告中的广告语句，当用户在搜索栏中输入检索词后，搜索引擎平台会将用户检索相关的信息展示在网页中，以供用户选择，这里的SEM广告利用用户对搜索引擎的依赖和使用习惯，在用户检索信息的时候将广告信息传递给目标用户。
本发明实施例对获取待检测语句的方法不做限定，本步骤中可以在展示SEM广告中之前通过在网页内部署脚本来获取待检测语句，还可以通过存储有SEM广告的数据库中获取待检测语句。
另外，由于SEM广告涉及多个领域，如金融领域、电子领域、医疗领域等等，对于本发明实施例可以在获取到待检测语句后，对涉及不同领域的待检测语句进行归类，以方便对不同领域的广告语句进行检测。
102、根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值。
其中，语料检测模型为以从数据库中抽取不同领域自然语言文本作为基础训练语料库，进而对基础语料库中语句的分词进行训练得到的语料检测模型，因此该语料检测模型记录不同领域自然文本中的分词、各个分词的频率以及各个分词在不同语句中的组合概率，当然也包括有待检测语句中的分词、各个分词的频率以及各个分词在待检测语句中出现的组合概率，这里各个分词的频率可以是单个词或字在语料库中的频率值，这里各个分词在不同语句中的组合概率可以为当前分词与语句中前一分词或者语句中后一分词的组合的概率，两个分词的组合概率越大说明两个分词组合的通顺度越高。
本发明实施例中的语句困惑值为经过量化的数值，具体通过从语料检测模型中获取与待检测语句中各个分词在待检测语句中的组合概率，结合各个分词在待检测语句中的组合概率对待检测语句进行评估，得到待检测语句的语句困惑值，这里的困惑值用于表示该条语句的通顺度程度，其中，语句困惑值越大代表语句越不通顺。
103、将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。
由于SEM广告中包括有广告语句，该广告语句的通顺程度涉及到该SEM广告是否能顺利展示，因此本发明实施例通过设置预设阈值来对SEM广告进行筛选，将不符合展示条件的SEM广告进行预警。对于本发明实施例，对语句困惑值大于或等于预设阈值的广告语句对应的SEM广告提示不符合展示条件，并且进行广告预警，这里的预警方式可以为将该广告语句对应的SEM广告进行标注后，以反馈至广告商进行修正，还可以为将该广告语句对应的SEM广告进行标注后，发送至工作人员进行复查，能够批量快速的对SEM广告语句进行检测，提高了语句检测的准确性。
本发明实施例对预设阈值不做限定，具体根据搜索引擎平台对SEM广告的展示条件进行设置，若搜索引擎平台对SEM广告的展示要求较高，则相应将预设阈值设置为较低数值，当语句的困惑值在较低的范围时，说明该SEM广告的通顺程度较高。
结合上述的实现方式可以看出，本发明实施例提供的一种语句检测方法，首先获取待检测语句，这里的待检测语句为SEM广告中的广告语句，然后根据语料检测模型对待检测语句中每个分词进行通顺度检测，得到语句困惑值，进而对广告语句的通顺度进行评估，将语句困惑值大于或等于预设阈值的广告语句对应的SEM广告进行标注，并且输出带有标注的提示信息，提示该广告语句对应的SEM广告不符合展示条件。相对于现有的通过人工操作对每个待展示SEM广告的广告语句进行检测的方法相比，本发明通过从大数据积累的语料库建立的语料检测模型对所述待检测语句进行通顺度检测，无需人工操作，能够批量快速检测语句的通顺度，提高了广告语句检测结果的准确性，进一步通过将不符合展示条件的SEM广告进行预警，避免了由于广告上线不通顺给广告主带来的经济损失。
以下为了更加详细地说明本发明提出的一种语句检测方法，特别是根据语料检测模型如何对待检测语句的通顺度检测的过程，本发明实施例还提供了另一种语句检测方法，如图2所示，该方法的具体步骤包括：
201、获取待检测语句。
这里的待检测语句为SEM广告中的广告语句，创意好的SEM广告除了可以更好的提升广告商企业的形象之外，还能带来更多优质的潜在客户，因此，SEM广告语句的通顺度对SEM广告至关重要。
示例性的，当用户检索“买意外险”关键词后，在搜索页面展示出多条关于买意外险的SEM广告标题以及广告语句，如中国太平洋人寿保险的广告标题，并且标题下面附有描述广告的语句。
通常情况下搜索引擎平台在SEM广告投放之前会获取待检测广告语句，并对待检测广告语句进行通顺度检测，以保证符合展示要求的SEM广告能够顺利展示，进而保证用户在浏览页面过程中能够更加清晰的寻找到所需要的内容，同时也对筛选出的不符合展示条件的SEM广告进行预警。
202、获取不同领域的自然文本作为样本数据。
对于本发明实施例，可以通过从数据库中抽取不同领域自然文本作为基础训练的样本数据，还可以通过预先存储的不同领域的广告文本作为基础训练的样本数据，本发明实施例不进行限定。
203、对所述样本数据中的每条语句进行分词，得到样本分词集合。
由于样本数据中包括不同领域的语句，并且该语句通常为比较通顺的语句，通过对样本数据中每条语句进行分词后可以得到样本分词集合，例如样本数据中的语句为“温馨母亲节”，对该语句进行分词得到“温馨”、“母亲节”。
204、采用语料训练模型对所述样本分词集合进行训练，得到语料检测模型。
其中，语料检测模型中记录有不同领域自然文本中的分词、各个分词的频率以及各个分词在不同语句中出现的组合概率，这里各个分词的频率可以是单个词或字在语料库中的频率值，这里各个分词在不同语句中的组合概率可以为当前分词与语句中前一分词或者语句中后一分词的组合的概率，两个分词的组合概率越大说明两个分词组合的通顺度越高。
对于本发明实施例，当获取到样本数据后，可以为采用语言模型工具(StanfordResearch Institute Language Modeling，Srilm)对样本数据进行训练，进而搭建语料检测模型。该模型通过采用最大似然估计及相应的平滑算法对样本数据进行处理，得到语料检测模型，并统计出样本数据中语句的分词、各个分词的频率以及各个分词的组合的概率，
对于步骤202至步骤204，示例性的，通过从数据库中抽取目标领域大量的自然语言文本作为基础语料训练裤C，对基础语料训练库中每条句子进行分词，得到每个句子的样本分词集合S＝{分词1，分词2，分词3…}，将所有的句子的样本分词集合组成训练数据trainset，设定最大N-gram数N，N表示最长的关联词个数，利用Srilm语言模型工具对训练数据trainset进行训练，得到语料检测模型M，该语料检测模型中记录了出现过的分词，以及N个数以内分词的组合，例如对于“支持向量机”，得到的语料检测模型中记录有分词支持、向量、机、支持向量、向量机、支持向量机，以及每个分词对应的组合概率，本发明实施例对上述的语言模型工具的类型不做限定，还可以使用其他语言模型工具对样本数据进行训练。
205、将所述待检测语句进行划分，得到所述待检测语句的各个分词。
通常情况下，待检测语句中包括多个分词，由于各个分词的组合概率大小从一定程度上反应待检测语句的通顺度，因此本步骤中将待检测语句进行划分，以便于后续对该语句进行通顺度检测。
示例性的，对于用户检索关键词为整容医院，则在网页中对应展示有SEM广告语句“xxx整形医院，知名专家会诊，口碑良好”将该广告语句进行划分，得到多个分词包括整形、医院、知名、专家、会诊、口碑、良好。
206、根据所述语料检测模型获取所述待检测语句中各个分词在所述待检测语句中的组合概率。
由于在语料检测模型中记录有不同领域的语言文本中的分词、各个分词的频率以及各个分词的组合概率，因此，该语料检测模型中记录有待检测语句中各个分词的组合概率，每个分词与该语句中前一分词组合的概率会有所不同，概率越高则说明这两个分词组合后的通顺度越高，进一步从语料检测模型中获取与待检测语句中的各个分词在待检测语句中出现的组合概率。
207、根据所述组合概率对所述待检测语句进行评估，得到所述待检测语句的语句困惑值。
由于待检测语句中包括有多个分词，不同分词的组合概率有所不同，使得待检测语句的通顺度有所不同，进一步根据各个分词的组合概率对待检测语句进行评估，对于本发明实施例中可以通过将待检测语句中分词的组合概率带入困惑值计算公式，得到待检测语句的语句困惑值的方式来对待检测语句进行评估，，这里的语句困惑值计算公式可以为：
其中，PP(W)为待检测语句的困惑值，P(wi|wi-1)为待检测语句中第i个分词依赖于第i-1个分词的组合概率，共有N个分词，这里困惑值能够反应语句的通顺度，若得到的语句困惑值越低，说明该语句越通容易被理解，通顺度越高，符合展示条件，反之，说明该语句不够通顺，不符合广告展示条件。
这里的各个分词的组合概率大小从一定程度上反应待检测语句的通顺度，所以不同的分词组合后语句的困惑值会有所不同，例如，对于分词“好好”、“学习”，由于两个分词的组合的概率大小不同，所以组合成“好好学习”评估得到的语句困惑值相比组合成“学习好好”评估得到的语句困惑值要低，困惑值越低说明该语句通顺度越好，更易于用户了解该语句表达的意思。
208、将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。
对于广告语句的通顺程度涉及到该SEM广告是否能顺利展示，因此本发明实施例通过设置预设阈值来对SEM广告进行筛选，当语句困惑值大于预设阈值的广告语句对应的SEM广告不符合展示条件，无法在网页中进行展示，需要对该广告进行标注，并且输出提示信息，提示该广告不符合展示条件。本发明实施例对预设阈值的大小不做限定，具体可以通过搜索引擎平台进行设置，若对广告通顺度要求较高的平台，可以将预设阈值设置相对较小，以保证投放至搜索平台的广告语句的通顺度符合展示条件。
209、将所述语句困惑值小于预设阈值的语句对应的广告进行展示。
由于现有技术在SEM广告在投放至搜索引擎平台之前需要通过人工操作对每条待投放SEM广告的广告语句进行通顺度检测，进而保证SEM广告能够顺利展示，本发明实施例在通过步骤205中得到的语句困惑值后，该数值能够表明该条SEM广告中广告语句的通顺度，进一步将语句困惑值小于预设阈值的广告语句对应的SEM广告作为符合展示条件的广告，进而在网页中展示。
本发明实施例的具体步骤可以包括但不限制于下述实现方式：首先通过在网页部署脚本获取到SEM广告中的广告语句，当用户在搜索引擎中输入检索关键词“乐视手机”后，在网页展示有标题为xx网乐视手机官网，附带有广告语句“xx网提供乐视手机全面服务信息”，然后通过预先对不同领域的分词数据进行训练，建立语料检测模型C，该模型C中包括有不同领域语句S，即C＝{S1，S2，S3…}，以及语句S中的各个分词n，即S＝{n1，n2，n3…}，以及各个分词的频率、以及各个分词的组合概率，进一步将获取的SEM广告中的广告语句进行划分，得到多个分词有xx网、提供、乐视、手机、全面、服务、信息，并且从语料训练模型C中获取各个分词的组合概率，如对于乐视的分词来说，分词组合为乐视手机的组合概率，进而从语料检测模型C中获取待检测语句中各个分词的组合概率，并通过计算困惑度的公式得到待检测语句的语句困惑值，进一步查找到分词组合的语句为xx网提供乐视手机全面服务信息的语句困惑度是否大于与预设阈值，若大于或等于预设阈值，则说明该广告语句对应的SEM广告不符合展示条件，无法进行展示，并输出提示广告预警，若小于预设阈值，则说明该广告语句对应的SEM广告符合展示条件，将该SEM广告进行展示。
由于在SEM广告投放至搜索引擎之前需要对广告语句进行通顺度检测，而现有技术通常采用人工操作对每条待投放SEM广告进行通顺度检测，从而保证SEM广告能够顺利展示，然而由于工作人员的先验知识不同，对于通顺度的理解标准也不一致，使得检测结果不够准确，导致部分本能够展示的SEM广告无法顺利展示。
本发明实施例提供的另一种语句检测方法，通过从大数据积累的语料中总结经验，建立语料检测模型，批量快速的判断每条SEM广告的通顺度，，从而提高广告语句的检测效率，通过设定预设阈值，将语句困惑值大于预设阈值的广告语句对应的SEM广告进行预警，能够更高效、更客观的评估每条SEM广告，避免了由于误判使得广告无法上线导致广告商的经济损失。
进一步地，作为图1所示方法的具体实现，本发明实施例提供一种语句检测装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置不在对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容，如图3所示，所述装置包括：
第一获取单元31，用于获取待检测语句；
检测单元32，用于根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值，所述语料检测模型记录有不同领域自然文本中的分词、各个分词对应的频率以及各个分词在不同语句中的组合概率；
输出单元33，用于将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。
本发明实施例提供的一种语句检测装置，首先获取待检测语句，这里的待检测语句为SEM广告中的广告语句，然后根据语料检测模型对待检测语句中每个分词进行通顺度检测，得到语句困惑值，进而对广告语句的通顺度进行评估，将语句困惑值大于或等于预设阈值的广告语句对应的SEM广告进行标注，并且输出带有标注的提示信息，提示该广告语句对应的SEM广告不符合展示条件。相对于现有的通过人工操作对每个待展示SEM广告的广告语句进行检测的方法相比，本发明通过从大数据积累的语料库建立的语料检测模型对所述待检测语句进行通顺度检测，无需人工操作，能够批量快速检测语句的通顺度，提高了广告语句检测结果的准确性，进一步通过将不符合展示条件的SEM广告进行预警，避免了由于广告上线不通顺给广告主带来的经济损失。
进一步地，作为图2所示方法的具体实现，本发明实施例提供了另一种语句检测装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置不在对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容，如图4所示，所述装置包括：
第一获取单元41，用于获取待检测语句；
第二获取单元42，用于获取不同领域的自然文本作为样本数据；
分词单元43，用于对所述样本数据中的每条语句进行分词，得到样本分词集合；
训练单元44，用于采用语料训练模型对所述样本分词集合进行训练，得到语料检测模型；
检测单元45，用于根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值，所述语料检测模型记录有不同领域自然文本中的分词、各个分词对应的频率以及各个分词在不同语句中的组合概率；
输出单元46，用于将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息；
展示单元47，用于将所述语句困惑值小于预设阈值的语句对应的广告进行展示。
进一步地，检测单元45包括：
划分模块451，用于将所述待检测语句进行划分，得到所述待检测语句的各个分词；
获取模块452，用于根据所述语料检测模型获取所述待检测语句中各个分词在所述待检测语句中的组合概率；
估计模块453，用于根据所述组合概率对所述待检测语句进行评估，得到所述待检测语句的语句困惑值。
进一步地，估计模块453，具体用于根据所述组合概率对所述待检测语句进行评估，得到所述待检测语句的语句困惑值。
本发明实施例提供的另一种语句检测装置，通过从大数据积累的语料中总结经验，建立语料检测模型，批量快速的判断每条SEM广告的通顺度，从而提高广告语句的检测效率，通过设定预设阈值，将语句困惑值大于预设阈值的广告语句对应的SEM广告进行预警，能够更高效、更客观的评估每条SEM广告，避免了由于误判使得广告无法上线导致广告商的经济损失。
所述语句检测装置包括处理器和存储器，上述第一获取单元31、检测单元32和输出单元33等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来节省人力，能够提高广告语句检测结果的准确性。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：获取待检测语句，根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值，所述语料检测模型记录有不同领域自然文本中的分词、各个分词对应的频率以及各个分词在不同语句中的组合概率，将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种语句检测方法，其特征在于，包括：
获取待检测语句；
根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值，所述语料检测模型记录有不同领域自然文本中的分词、各个分词对应的频率以及各个分词在不同语句中的组合概率；
将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。
2.根据权利要求1所述的方法，其特征在于，在所述根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值之前，所述方法还包括：
获取不同领域的自然文本作为样本数据；
对所述样本数据中的每条语句进行分词，得到样本分词集合；
采用语料训练模型对所述样本分词集合进行训练，得到语料检测模型。
3.根据权利要求1所述的方法，其特征在于，所述根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值包括：
将所述待检测语句进行划分，得到所述待检测语句的各个分词；
根据所述语料检测模型获取所述待检测语句中各个分词在所述待检测语句中的组合概率；
根据所述组合概率对所述待检测语句进行评估，得到所述待检测语句的语句困惑值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述组合概率对所述待检测语句进行评估，得到所述待检测语句的语句困惑值包括：
将所述各个分词在所述待检测语句中的组合概率带入困惑值计算公式，得到所述待检测语句的语句困惑值；
所述困惑值计算公式为：
其中，PP(W)为待检测语句的困惑值，P(wi|wi-1)为待检测语句中第i个分词依赖于第i-1个分词的组合概率。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
将所述语句困惑值小于预设阈值的语句对应的广告进行展示。
6.一种语句检测装置，其特征在于，包括：
第一获取单元，用于获取待检测语句；
检测单元，用于根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值，所述语料检测模型记录有不同领域自然文本中的分词、各个分词对应的频率以及各个分词在不同语句中的组合概率；
输出单元，用于将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于获取不同领域的自然文本作为样本数据；
分词单元，用于对所述样本数据中的每条语句进行分词，得到样本分词集合；
训练单元，用于采用语料训练模型对所述样本分词集合进行训练，得到语料检测模型。
8.根据权利要求6所述的装置，其特征在于，所述检测单元包括：
划分模块，用于将所述待检测语句进行划分，得到所述待检测语句的各个分词；
获取模块，用于根据所述语料检测模型获取所述待检测语句中各个分词在所述待检测语句中的组合概率；
估计模块，用于根据所述组合概率对所述待检测语句进行评估，得到所述待检测语句的语句困惑值。
9.根据权利要求8所述的装置，其特征在于，
估计模块，具体用于将所述各个分词在所述待检测语句中的组合概率带入困惑值计算公式，得到所述待检测语句的语句困惑值；
所述困惑值计算公式为：
其中，PP(W)为待检测语句的困惑值，P(wi|wi-1)为待检测语句中第i个分词依赖于第i-1个分词的组合概率。
10.根据权利要求6-9中任一项所述的装置，其特征在于，所述装置还包括：
展示单元，用于将所述语句困惑值小于预设阈值的语句对应的广告进行展示。
CN201611246151.0A 2016-12-29 2016-12-29 一种语句检测方法及装置 Active CN108255857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611246151.0A CN108255857B (zh) 2016-12-29 2016-12-29 一种语句检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611246151.0A CN108255857B (zh) 2016-12-29 2016-12-29 一种语句检测方法及装置

Publications (2)

Publication Number Publication Date
CN108255857A true CN108255857A (zh) 2018-07-06
CN108255857B CN108255857B (zh) 2021-10-15

Family

ID=62719989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611246151.0A Active CN108255857B (zh) 2016-12-29 2016-12-29 一种语句检测方法及装置

Country Status (1)

Country Link
CN (1) CN108255857B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522542A (zh) * 2018-09-17 2019-03-26 深圳市元征科技股份有限公司 一种识别汽车故障语句的方法及装置
CN109783804A (zh) * 2018-12-17 2019-05-21 北京百度网讯科技有限公司 低质言论识别方法、装置、设备及计算机可读存储介质
CN109992769A (zh) * 2018-12-06 2019-07-09 平安科技（深圳）有限公司 基于语义解析的语句合理性判断方法、装置、计算机设备
CN110211571A (zh) * 2019-04-26 2019-09-06 平安科技（深圳）有限公司 错句检测方法、装置及计算机可读存储介质
CN110442864A (zh) * 2019-07-24 2019-11-12 新华智云科技有限公司 语句通顺度确定方法、装置、电子设备及存储介质
CN110827085A (zh) * 2019-11-06 2020-02-21 北京字节跳动网络技术有限公司 文本处理方法、装置及设备
CN110852087A (zh) * 2019-09-23 2020-02-28 腾讯科技（深圳）有限公司 中文纠错方法和装置、存储介质及电子装置
CN110930993A (zh) * 2018-09-20 2020-03-27 蔚来汽车有限公司 特定领域语言模型生成方法及语音数据标注系统
CN112036146A (zh) * 2020-08-25 2020-12-04 广州视源电子科技股份有限公司 一种评语生成方法、装置、终端设备及存储介质
CN112084766A (zh) * 2019-06-12 2020-12-15 阿里巴巴集团控股有限公司 文本处理方法和装置、存储介质和处理器
CN112528629A (zh) * 2019-08-29 2021-03-19 上海卓繁信息技术股份有限公司 语句通顺度判别方法及系统
CN112966689A (zh) * 2021-02-25 2021-06-15 维沃移动通信有限公司 文本识别方法、装置、电子设备和可读存储介质
CN114138934A (zh) * 2021-11-25 2022-03-04 腾讯科技（深圳）有限公司 文本通顺度的检测方法、装置、设备及存储介质
WO2022116443A1 (zh) * 2020-12-01 2022-06-09 平安科技（深圳）有限公司 语句判别方法、装置、设备及存储介质
CN114818655A (zh) * 2022-05-13 2022-07-29 平安科技（深圳）有限公司 随机文本生成方法、装置、设备及存储介质
WO2023115890A1 (zh) * 2021-12-22 2023-06-29 郑州云海信息技术有限公司 一种文本的质量清洗方法、装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130110881A1 (en) * 2011-10-31 2013-05-02 International Business Machines Corporation Single command data warehouse table update
CN103902521A (zh) * 2012-12-24 2014-07-02 高德软件有限公司 一种中文语句识别方法和装置
CN104050160A (zh) * 2014-03-12 2014-09-17 北京紫冬锐意语音科技有限公司 一种机器与人工翻译相融合的口语翻译方法和装置
CN104850540A (zh) * 2015-05-29 2015-08-19 北京京东尚科信息技术有限公司 进行语句识别的方法及装置
CN105243052A (zh) * 2015-09-15 2016-01-13 浪潮软件集团有限公司 一种语料标注方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130110881A1 (en) * 2011-10-31 2013-05-02 International Business Machines Corporation Single command data warehouse table update
CN103902521A (zh) * 2012-12-24 2014-07-02 高德软件有限公司 一种中文语句识别方法和装置
CN104050160A (zh) * 2014-03-12 2014-09-17 北京紫冬锐意语音科技有限公司 一种机器与人工翻译相融合的口语翻译方法和装置
CN104850540A (zh) * 2015-05-29 2015-08-19 北京京东尚科信息技术有限公司 进行语句识别的方法及装置
CN105243052A (zh) * 2015-09-15 2016-01-13 浪潮软件集团有限公司 一种语料标注方法、装置和系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522542A (zh) * 2018-09-17 2019-03-26 深圳市元征科技股份有限公司 一种识别汽车故障语句的方法及装置
CN109522542B (zh) * 2018-09-17 2023-05-05 深圳市元征科技股份有限公司 一种识别汽车故障语句的方法及装置
CN110930993B (zh) * 2018-09-20 2023-07-25 蔚来(安徽)控股有限公司 特定领域语言模型生成方法及语音数据标注系统
CN110930993A (zh) * 2018-09-20 2020-03-27 蔚来汽车有限公司 特定领域语言模型生成方法及语音数据标注系统
CN109992769A (zh) * 2018-12-06 2019-07-09 平安科技（深圳）有限公司 基于语义解析的语句合理性判断方法、装置、计算机设备
CN109783804A (zh) * 2018-12-17 2019-05-21 北京百度网讯科技有限公司 低质言论识别方法、装置、设备及计算机可读存储介质
CN110211571A (zh) * 2019-04-26 2019-09-06 平安科技（深圳）有限公司 错句检测方法、装置及计算机可读存储介质
CN110211571B (zh) * 2019-04-26 2023-05-26 平安科技（深圳）有限公司 错句检测方法、装置及计算机可读存储介质
CN112084766B (zh) * 2019-06-12 2024-01-23 阿里巴巴集团控股有限公司 文本处理方法和装置、存储介质和处理器
CN112084766A (zh) * 2019-06-12 2020-12-15 阿里巴巴集团控股有限公司 文本处理方法和装置、存储介质和处理器
CN110442864B (zh) * 2019-07-24 2022-12-23 新华智云科技有限公司 语句通顺度确定方法、装置、电子设备及存储介质
CN110442864A (zh) * 2019-07-24 2019-11-12 新华智云科技有限公司 语句通顺度确定方法、装置、电子设备及存储介质
CN112528629A (zh) * 2019-08-29 2021-03-19 上海卓繁信息技术股份有限公司 语句通顺度判别方法及系统
CN110852087A (zh) * 2019-09-23 2020-02-28 腾讯科技（深圳）有限公司 中文纠错方法和装置、存储介质及电子装置
CN110827085A (zh) * 2019-11-06 2020-02-21 北京字节跳动网络技术有限公司 文本处理方法、装置及设备
CN112036146A (zh) * 2020-08-25 2020-12-04 广州视源电子科技股份有限公司 一种评语生成方法、装置、终端设备及存储介质
WO2022116443A1 (zh) * 2020-12-01 2022-06-09 平安科技（深圳）有限公司 语句判别方法、装置、设备及存储介质
CN112966689A (zh) * 2021-02-25 2021-06-15 维沃移动通信有限公司 文本识别方法、装置、电子设备和可读存储介质
CN112966689B (zh) * 2021-02-25 2024-06-11 维沃移动通信有限公司 文本识别方法、装置、电子设备和可读存储介质
CN114138934A (zh) * 2021-11-25 2022-03-04 腾讯科技（深圳）有限公司 文本通顺度的检测方法、装置、设备及存储介质
WO2023115890A1 (zh) * 2021-12-22 2023-06-29 郑州云海信息技术有限公司 一种文本的质量清洗方法、装置及介质
CN114818655A (zh) * 2022-05-13 2022-07-29 平安科技（深圳）有限公司 随机文本生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108255857B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN108255857A (zh) 一种语句检测方法及装置
CN109299994B (zh) 推荐方法、装置、设备及可读存储介质
JP2022541199A (ja) データテーブルの画像表現に基づいて構造化されたデータベースにデータ挿入するためのシステムおよび方法。
US9436768B2 (en) System and method for pushing and distributing promotion content
CN107679217B (zh) 基于数据挖掘的关联内容提取方法和装置
CN104978356B (zh) 一种同义词的识别方法及装置
EP2827294A1 (en) Systems and method for determining influence of entities with respect to contexts
CN115002200B (zh) 基于用户画像的消息推送方法、装置、设备及存储介质
CN109388801A (zh) 相似词集合的确定方法、装置和电子设备
CN112948575B (zh) 文本数据处理方法、装置和计算机可读存储介质
CN111160019A (zh) 一种舆情监测的方法、装置及系统
US9906588B2 (en) Server and method for extracting content for commodity
Radovanović et al. Review spam detection using machine learning
CN108256888A (zh) 落地页的获取方法、网站服务器以及网络广告监测系统
CN107239564A (zh) 一种基于监督主题模型的文本标签推荐方法
CN108073708A (zh) 信息输出方法和装置
CN110990563A (zh) 一种基于人工智能的传统文化素材库构建方法及系统
CN110889412B (zh) 体检报告中的医学长文定位与分类方法及装置
CN112818200A (zh) 基于静态网站的数据爬取及事件分析方法及系统
CN108090098A (zh) 一种文本处理方法及装置
Wong et al. Wiki-reliability: A large scale dataset for content reliability on wikipedia
CN116719997A (zh) 政策信息推送方法、装置及电子设备
CN103389981B (zh) 网络标签自动识别方法及其系统
Mondal et al. Execution survey and state of the art of different ML-based ensemble classifiers approach contextual analysis of spam remark location
Deitrick et al. Enhancing sentiment analysis on twitter using community detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant