CN113128223A - 污染投诉重复线索的识别方法、装置及设备 - Google Patents

污染投诉重复线索的识别方法、装置及设备 Download PDF

Info

Publication number
CN113128223A
CN113128223A CN202110534282.3A CN202110534282A CN113128223A CN 113128223 A CN113128223 A CN 113128223A CN 202110534282 A CN202110534282 A CN 202110534282A CN 113128223 A CN113128223 A CN 113128223A
Authority
CN
China
Prior art keywords
complaint
pollution
text
texts
characteristic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110534282.3A
Other languages
English (en)
Inventor
王恒俭
张庆生
李美娴
万鹏
张升
李康
杨蒙威
李超
冯永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bowo Wisdom Technology Co ltd
Original Assignee
Shenzhen Bowo Wisdom Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bowo Wisdom Technology Co ltd filed Critical Shenzhen Bowo Wisdom Technology Co ltd
Priority to CN202110534282.3A priority Critical patent/CN113128223A/zh
Publication of CN113128223A publication Critical patent/CN113128223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种污染投诉重复线索的识别方法、装置及设备，通过获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据，文本特征数据表征污染投诉文本包含的污染问题；分别对各第一污染投诉文本进行分词处理，并分别提取各第一污染投诉文本的文本特征数据；针对任一第一污染投诉文本，计算第一污染投诉文本的文本特征数据与第二污染投诉文本的文本特征数据的相似度；若相似度大于第一预设阈值，则确定第一污染投诉文本为污染投诉重复线索，无需考虑诸如模板化语句等无法反映污染问题的信息，可以更快速地、有针对性地计算文本间的相似度，提高了污染投诉重复线索的识别效率和识别准确率。

Description

污染投诉重复线索的识别方法、装置及设备
技术领域
本发明涉及环境监管技术领域，具体涉及一种污染投诉重复线索的识别方法、装置及设备。
背景技术
近年来，随着我国经济发展及生态文明建设水平的不断提高，群众的环境意识不断增强，对生态环境、污染防治的关注度越来越高，生态环境的投诉数量日益增多，投诉渠道也不断扩展。群众可以通过12369热线、12345热线、环境部的微信公众号等不同渠道去投诉同一个污染问题，而在描述污染问题所涉及到的地址、企业时，可能会存在群众的描述不清晰、描述错误或者话务员在录入投诉问题时使用各种不同的模板语言等问题。因此，投诉渠道的多样化、群众的信息描述不准确、重复投诉等现象给监管部门带来了较大的困难。
目前，可以通过文本相似度算法直接计算污染投诉文本间的相似度，然后根据相似度判断污染投诉文本间是否为重复线索。但污染投诉文本中包括很多无法反映污染问题的信息，例如模板化语句，这将导致污染投诉重复线索的识别效率和识别准确率均较低。
发明内容
本发明实施例提供一种污染投诉重复线索的识别方法、装置及设备，用以提高污染投诉重复线索的识别效率和识别准确率。
根据第一方面，一种实施例中提供一种污染投诉重复线索的识别方法，所述方法包括：
获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据，其中，所述文本特征数据表征污染投诉文本包含的污染问题；
分别对各所述第一污染投诉文本进行分词处理，并分别提取各所述第一污染投诉文本的文本特征数据；
针对任一第一污染投诉文本，计算所述第一污染投诉文本的文本特征数据与所述第二污染投诉文本的文本特征数据的相似度；
若所述相似度大于第一预设阈值，则确定所述第一污染投诉文本为污染投诉重复线索。
可选的，所述文本特征数据中至少包括以下一项：污染类型、企业名称和企业位置信息。
可选的，在所述分别对各所述第一污染投诉文本进行分词处理之前，所述方法还包括：
分别对各所述第一污染投诉文本进行数据清洗。
可选的，所述分别对各所述第一污染投诉文本进行数据清洗，包括：
分别删除各所述第一污染投诉文本的噪声数据和不完整数据，其中，所述噪声数据为电话号码和模板语句，所述不完整数据为缺失污染类型的污染投诉数据，或者，所述不完整数据为缺失企业名称和企业位置信息的污染投诉数据；
针对具有相同标识信息的多个所述第一污染投诉文本，保留最新投诉日期的一个所述第一污染投诉文本。
可选的，在所述确定所述第一污染投诉文本为污染投诉重复线索之后，所述方法还包括：
将对应于所述第一污染投诉文本的所述第二污染投诉文本的投诉回复消息作为所述第一污染投诉文本的投诉回复消息。
可选的，所述方法还包括：
根据多个污染投诉文本，对同一污染问题在预设时间段内的投诉次数进行统计；
若所述投诉次数大于第二预设阈值，则将所述污染问题确定为热点问题；
或者，
根据多个污染投诉文本，对同一污染问题的连续投诉时间进行统计；
若所述连续投诉时间大于第三预设阈值，则将所述污染问题确定为热点问题。
可选的，在所述获取当前时间段内的多个第一污染投诉文本之后，所述方法还包括：
将任一所述第一污染投诉文本输入预先训练好的投诉群众情感识别模型中，对所述第一污染投诉文本进行分类识别，得到投诉群众的情感类别信息，其中，所述投诉群众情感识别模型基于随机森林算法模型、卷积神经网络分类算法模型、朴素贝叶斯算法模型或者集成算法模型等训练得到，所述投诉群众的情感类别包括：积极、消极和平和；
若投诉群众的情感类别为消极，则将所述第一污染投诉文本对应的污染问题确定为热点问题。
根据第二方面，一种实施例中提供一种污染投诉重复线索的识别装置，所述装置包括：
获取模块，用于获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据，其中，所述文本特征数据表征污染投诉文本包含的污染问题；
提取模块，用于分别对各所述第一污染投诉文本进行分词处理，并分别提取各所述第一污染投诉文本的文本特征数据；
计算模块，用于针对任一第一污染投诉文本，计算所述第一污染投诉文本的文本特征数据与所述第二污染投诉文本的文本特征数据的相似度；
确定模块，用于若所述相似度大于第一预设阈值，则确定所述第一污染投诉文本为污染投诉重复线索。
可选的，所述文本特征数据中至少包括以下一项：污染类型、企业名称和企业位置信息。
可选的，所述装置还包括：
数据清洗模块，用于分别对各所述第一污染投诉文本进行数据清洗。
可选的，所述数据清洗模块，具体用于分别删除各所述第一污染投诉文本的噪声数据和不完整数据，其中，所述噪声数据为电话号码和模板语句，所述不完整数据为缺失污染类型的污染投诉数据，或者，所述不完整数据为缺失企业名称和企业位置信息的污染投诉数据；针对具有相同标识信息的多个所述第一污染投诉文本，保留最新投诉日期的一个第一污染投诉文本。
可选的，所述装置还包括：回复模块，用于将对应于所述第一污染投诉文本的所述第二污染投诉文本的投诉回复消息作为所述第一污染投诉文本的投诉回复消息。
可选的，所述装置还包括：统计模块，用于根据多个污染投诉文本，对同一污染问题在预设时间段内的投诉次数进行统计；若所述投诉次数大于第二预设阈值，则将所述污染问题确定为热点问题；或者，根据多个污染投诉文本，对同一污染问题的连续投诉时间进行统计；若所述连续投诉时间大于第三预设阈值，则将所述污染问题确定为热点问题。
可选的，所述装置还包括：情感分析模块，用于将任一所述第一污染投诉文本输入预先训练好的投诉群众情感识别模型中，对所述第一污染投诉文本进行分类识别，得到投诉群众的情感类别信息，其中，所述投诉群众情感识别模型基于随机森林算法模型、卷积神经网络分类算法模型、朴素贝叶斯算法模型或者集成算法模型等训练得到，所述投诉群众的情感类别包括：积极、消极和平和；若投诉群众的情感类别为消极，则将所述第一污染投诉文本对应的污染问题确定为热点问题。
根据第三方面，一种实施例中提供一种电子设备，包括：存储器，用于存储程序；处理器，用于通过执行所述存储器存储的程序以实现上述第一方面中任一项所述的污染投诉重复线索的识别方法。
根据第四方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述第一方面中任一项所述的污染投诉重复线索的识别方法。
本发明实施例提供一种污染投诉重复线索的识别方法、装置及设备，通过获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据，其中，文本特征数据表征污染投诉文本包含的污染问题；分别对各第一污染投诉文本进行分词处理，并分别提取各第一污染投诉文本的文本特征数据；针对任一第一污染投诉文本，计算第一污染投诉文本的文本特征数据与第二污染投诉文本的文本特征数据的相似度；若相似度大于第一预设阈值，则确定第一污染投诉文本为污染投诉重复线索。由于原始污染投诉文本中包含了很多诸如模板化语句等无法反映污染问题的信息，而本发明通过提取可以反映污染投诉文本中包含的污染问题的文本特征数据，并计算当前时间段内的第一污染投诉文本的文本特征数据与历史时间段内的第二污染投诉文本的文本特征数据的相似度，无需考虑诸如模板化语句等无法反映污染问题的信息，可以更快速地、有针对性地计算文本间的相似度，提高了计算文本间相似度的效率和准确率，从而提高了污染投诉重复线索的识别效率和识别准确率。
附图说明
图1为本发明实施例提供的一种污染投诉重复线索的识别方法的实施例一的流程示意图；
图2为本发明实施例提供的一种污染投诉重复线索的识别方法的实施例二的流程示意图；
图3为本发明实施例提供的一种污染投诉重复线索的识别方法的实施例三的流程示意图；
图4为本发明实施例提供的一种污染投诉重复线索的识别方法的实施例四的流程示意图；
图5为本发明实施例提供的一种污染投诉重复线索的识别装置的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
由于现有技术中，通过文本相似度算法直接计算污染投诉文本间的相似度，然后根据相似度判断污染投诉文本间是否为重复线索。但污染投诉文本中包括很多无法反映污染问题的信息，例如模板化语句，这将导致污染投诉重复线索的识别效率和识别准确率均较低。为了提高污染投诉重复线索的识别效率和识别准确率，本发明实施例提供了一种污染投诉重复线索的识别方法、装置及设备，以下分别进行详细说明。
图1为本发明实施例提供的一种污染投诉重复线索的识别方法的实施例一的流程示意图，本发明实施例的执行主体为任意具有处理能力的设备。如图1所示，本实施例提供的污染投诉重复线索的识别方法可以包括：
S101，获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据。
具体实现时，当前时间段可以为当前的一天、一个周等时间段，历史时间段可以为历史的一个月、一年、三年等时间段；群众可以通过环境部的微信公众号、网站等渠道输入第一污染投诉文本，群众也可以通过拨打12369热线或者12345热线，由话务员录入群众反映的污染问题，从而生成第一污染投诉文本；可以直接获取存储在数据库里的历史时间段内的多个第二污染投诉文本的文本特征数据，也可以分别对历史时间段内的多个第二污染投诉文本进行分词处理，并分别提取得到各第二污染投诉文本的文本特征数据。
其中，文本特征数据可以用于表征污染投诉文本包含的污染问题，具体的，文本特征数据中可以至少包括以下一项：污染类型、企业名称和企业位置信息。其中，企业位置信息可以为企业所属地市、企业所属区域、企业所属街道等位置信息。
S102，分别对各第一污染投诉文本进行分词处理，并分别提取各第一污染投诉文本的文本特征数据。
具体实现时，可以通过现有的分词处理算法对待识别的安全生产隐患文本进行分词处理。例如，可以通过命名实体识别、正则匹配等算法提取各第一污染投诉文本内容中的污染类型、企业名称、企业所属区、企业所属街道、涉及位置、涉及地址等关键信息，并与××度地图、××德地图的POI(Point of Interest，兴趣点)词库进行比对校正，从而准确获取各第一污染投诉文本内容中的投诉企业、投诉地址、投诉片区等信息。
S103，针对任一第一污染投诉文本，计算第一污染投诉文本的文本特征数据与第二污染投诉文本的文本特征数据的相似度。
具体实现时，可以采用TF-IDF(Term Frequency–Inverse Document Frequency，词频-逆文本频率指数)算法，计算第一污染投诉文本的文本特征数据与第二污染投诉文本的文本特征数据的相似度。
S104，若相似度大于第一预设阈值，则确定第一污染投诉文本为污染投诉重复线索。
举例说明，当第一污染投诉文本的文本特征数据与历史时间段内的任意一个第二污染投诉文本的文本特征数据的相似度大于80％时，确定第一污染投诉文本为污染投诉重复线索。
本发明实施例提供的污染投诉重复线索的识别方法，通过获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据，其中，文本特征数据表征污染投诉文本包含的污染问题；分别对各第一污染投诉文本进行分词处理，并分别提取各第一污染投诉文本的文本特征数据；针对任一第一污染投诉文本，计算第一污染投诉文本的文本特征数据与第二污染投诉文本的文本特征数据的相似度；若相似度大于第一预设阈值，则确定第一污染投诉文本为污染投诉重复线索。由于原始污染投诉文本中包含了很多诸如模板化语句等无法反映污染问题的信息，而本发明通过提取可以反映污染投诉文本中包含的污染问题的文本特征数据，并计算当前时间段内的第一污染投诉文本的文本特征数据与历史时间段内的第二污染投诉文本的文本特征数据的相似度，无需考虑诸如模板化语句等无法反映污染问题的信息，可以更快速地、有针对性地计算文本间的相似度，提高了计算文本间相似度的效率和准确率，从而提高了污染投诉重复线索的识别效率和识别准确率。
图2为本发明实施例提供的一种污染投诉重复线索的识别方法的实施例二的流程示意图，如图2所示，本实施例提供的污染投诉重复线索的识别方法可以包括：
S201，获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据。
其中，文本特征数据表征污染投诉文本包含的污染问题。
S202，分别对各第一污染投诉文本进行数据清洗。
具体实现时，上述数据清洗可以包括：分别删除各第一污染投诉文本的噪声数据和不完整数据，其中，噪声数据为电话号码和模板语句，不完整数据为缺失污染类型的污染投诉数据，或者，不完整数据为缺失企业名称和企业位置信息的污染投诉数据。具体的，当污染投诉数据中缺失污染类型时，无法确定所反映的具体污染情况，因此删除该缺失的污染投诉数据；或者，当污染投诉数据中既缺失企业名称又缺失企业位置信息时，无法确定所反映的污染所处的位置，因此删除该缺失的污染投诉数据。
上述数据清洗还可以包括：针对具有相同标识信息的多个第一污染投诉文本，保留最新投诉日期的一个第一污染投诉文本。每一个第一污染投诉文本均具有一个唯一标识编号，之所以获取到具有相同标识信息的多个第一污染投诉文本，可能是由于话务员的操作失误或者程序出错等情况，此时只需保留最新投诉日期的一个第一污染投诉文本即可。
S203，分别对各第一污染投诉文本进行分词处理，并分别提取各第一污染投诉文本的文本特征数据。
S204，针对任一第一污染投诉文本，计算第一污染投诉文本的文本特征数据与第二污染投诉文本的文本特征数据的相似度。
S205，若相似度大于第一预设阈值，则确定第一污染投诉文本为污染投诉重复线索。
S203-S205的具体实现方式可以参考上述实施例一中对于S102-S104的相关说明。
本发明实施例提供的污染投诉重复线索的识别方法，通过分别对各第一污染投诉文本进行数据清洗，可以删除第一污染投诉文本中无法反映污染问题的无用信息，有助于提高各第一污染投诉文本的分词处理效率，以及各第一污染投诉文本的文本特征数据的提取效率，从而可以在一定程度上提高污染投诉重复线索的识别效率和识别准确率。
图3为本发明实施例提供的一种污染投诉重复线索的识别方法的实施例三的流程示意图，如图3所示，本实施例提供的污染投诉重复线索的识别方法可以包括：
S301，获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据。
其中，文本特征数据表征污染投诉文本包含的污染问题。
S302，分别对各第一污染投诉文本进行分词处理，并分别提取各第一污染投诉文本的文本特征数据。
S303，针对任一第一污染投诉文本，计算第一污染投诉文本的文本特征数据与第二污染投诉文本的文本特征数据的相似度。
S304，若相似度大于第一预设阈值，则确定第一污染投诉文本为污染投诉重复线索。
S301-S304的具体实现方式可以参考上述实施例一中对于S101-S104的相关说明。
S305，将对应于第一污染投诉文本的第二污染投诉文本的投诉回复消息作为第一污染投诉文本的投诉回复消息。
由于此时已经确定该第一污染投诉文本与历史时间段内的一个第二污染投诉文本为污染投诉重复线索，那么无需费时费力确定第一污染投诉文本的投诉回复消息，可以直接将该第二污染投诉文本的投诉回复消息作为第一污染投诉文本的投诉回复消息，即，为第一污染投诉文本和第二污染投诉文本设置相同的投诉回复消息。
本发明实施例提供的污染投诉重复线索的识别方法，通过将对应于第一污染投诉文本的第二污染投诉文本的投诉回复消息作为第一污染投诉文本的投诉回复消息，可以提高回复效率。
作为一种可以实现的方式，在上述任意实施例的基础上，上述污染投诉重复线索的识别方法还可以包括：根据多个污染投诉文本，对同一污染问题在预设时间段内的投诉次数进行统计；若投诉次数大于第二预设阈值，则将污染问题确定为热点问题。举例说明，在2021年5月6日-2021年5月13日期间，针对“XX企业夜间施工”的污染问题，统计得到该污染问题被不同的群众投诉超过25次，此时可以将该污染问题确定为热点问题，从而进行精准整治。
作为一种可以实现的方式，在上述任意实施例的基础上，上述污染投诉重复线索的识别方法还可以包括：根据多个污染投诉文本，对同一污染问题的连续投诉时间进行统计；若连续投诉时间大于第三预设阈值，则将污染问题确定为热点问题。举例说明，针对“XX企业夜间施工”的污染问题，统计得到该污染问题被不同的群众连续投诉超过三天，此时可以将该污染问题确定为热点问题，从而进行精准整治。
作为一种可以实现的方式，在上述任意实施例的基础上，上述污染投诉重复线索的识别方法还可以包括：将任一第一污染投诉文本输入预先训练好的投诉群众情感识别模型中，对第一污染投诉文本进行分类识别，得到投诉群众的情感类别信息，其中，投诉群众情感识别模型基于随机森林算法模型、卷积神经网络分类算法模型、朴素贝叶斯算法模型或者集成算法模型等训练得到，投诉群众的情感类别包括：积极、消极和平和；若投诉群众的情感类别为消极，则将第一污染投诉文本对应的污染问题确定为热点问题，可以进一步对该热点问题对应的问题企业、片区进行重点监管，勒令整改。
下面以一个具体的实现方式为例对本发明实施例提供的污染投诉重复线索的识别方法进行说明。图4为本发明实施例提供的一种污染投诉重复线索的识别方法的实施例四的流程示意图，如图4所示，本实施例提供的污染投诉重复线索的识别方法可以包括：
S401，清洗及预处理各第一污染投诉文本。
将采集到的不规整的、有问题的、无法满足数据处理要求的第一污染投诉文本进行清洗转换。清洗转换的过程可以包括：缺失值处理、去重处理和噪声处理等，使其满足数据处理要求。然后分词处理、词性标注、去除无用符号及词性、去除停用词、非文本数据、无意义文本等。
S402，提取文本特征数据等关键信息。
具体的，可以通过命名实体识别、正则匹配算法提取第一污染投诉文本中的污染类型、企业所属区、企业所属街道、企业名称、涉及位置、涉及地址等关键信息，并与百度、高德地图的POI词库进行比对校正，从而准确获取第一污染投诉文本中的投诉企业、投诉地址、投诉片区等关键信息。
S403，文本相似度计算及分析评估。
具体的，可以通过TF-IDF相似度算法，计算文本相似度，根据统计分析及人工评估结果，将文本相似度达80％以上的第一污染投诉文本确定为污染投诉重复线索。
S404，线索情感分析及情感分类。
具体实现时，可以建立情感词汇分析库，分析线索文本是积极、消极还是平和，基于随机森林、卷积神经网络分类等算法对情感进行分类。若得到群众投诉情绪为不满、愤怒、激进等，则需重点关注，此时的污染问题极易上升为焦点问题。
图5为本发明实施例提供的一种污染投诉重复线索的识别装置的结构示意图，如图5所示，该污染投诉重复线索的识别装置50可以包括：
获取模块510，可以用于获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据，其中，文本特征数据表征污染投诉文本包含的污染问题；
提取模块520，可以用于分别对各第一污染投诉文本进行分词处理，并分别提取各第一污染投诉文本的文本特征数据；
计算模块530，可以用于针对任一第一污染投诉文本，计算第一污染投诉文本的文本特征数据与第二污染投诉文本的文本特征数据的相似度；
确定模块540，可以用于若相似度大于第一预设阈值，则确定第一污染投诉文本为污染投诉重复线索。
本发明实施例提供的污染投诉重复线索的识别装置，通过获取模块，获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据，其中，文本特征数据表征污染投诉文本包含的污染问题；通过提取模块，用于分别对各第一污染投诉文本进行分词处理，并分别提取各第一污染投诉文本的文本特征数据；通过计算模块，用于针对任一第一污染投诉文本，计算第一污染投诉文本的文本特征数据与第二污染投诉文本的文本特征数据的相似度；通过确定模块，用于若相似度大于第一预设阈值，则确定第一污染投诉文本为污染投诉重复线索。由于原始污染投诉文本中包含了很多诸如模板化语句等无法反映污染问题的信息，而本发明通过提取可以反映污染投诉文本中包含的污染问题的文本特征数据，并计算当前时间段内的第一污染投诉文本的文本特征数据与历史时间段内的第二污染投诉文本的文本特征数据的相似度，无需考虑诸如模板化语句等无法反映污染问题的信息，可以更快速地、有针对性地计算文本间的相似度，提高了计算文本间相似度的效率和准确率，从而提高了污染投诉重复线索的识别效率和识别准确率。
可选的，上述文本特征数据中可以至少包括以下一项：污染类型、企业名称和企业位置信息。
可选的，上述污染投诉重复线索的识别装置50还可以包括数据清洗模块(图中未示出)，用于分别对各第一污染投诉文本进行数据清洗。
可选的，上述数据清洗模块在实现分别对各第一污染投诉文本进行数据清洗时，可以具体用于：分别删除各第一污染投诉文本的噪声数据和不完整数据，其中，噪声数据为电话号码和模板语句，不完整数据为缺失污染类型的污染投诉数据，或者，不完整数据为缺失企业名称和企业位置信息的污染投诉数据；针对具有相同标识信息的多个第一污染投诉文本，保留最新投诉日期的一个第一污染投诉文本。
可选的，上述污染投诉重复线索的识别装置50还可以包括回复模块(图中未示出)，用于将对应于第一污染投诉文本的第二污染投诉文本的投诉回复消息作为第一污染投诉文本的投诉回复消息。
可选的，上述污染投诉重复线索的识别装置50还可以包括统计模块(图中未示出)，用于根据多个污染投诉文本，对同一污染问题在预设时间段内的投诉次数进行统计；若投诉次数大于第二预设阈值，则将污染问题确定为热点问题；或者，根据多个污染投诉文本，对同一污染问题的连续投诉时间进行统计；若连续投诉时间大于第三预设阈值，则将污染问题确定为热点问题。
可选的，上述污染投诉重复线索的识别装置50还可以包括情感分析模块(图中未示出)，用于将任一第一污染投诉文本输入预先训练好的投诉群众情感识别模型中，对第一污染投诉文本进行分类识别，得到投诉群众的情感类别信息，其中，投诉群众情感识别模型基于随机森林算法模型、卷积神经网络分类算法模型、朴素贝叶斯算法模型或者集成算法模型等训练得到，投诉群众的情感类别包括：积极、消极和平和；若投诉群众的情感类别为消极，则将第一污染投诉文本对应的污染问题确定为热点问题。
另外，相应于上述实施例所提供的污染投诉重复线索的识别方法，本发明实施例还提供了一种电子设备，该电子设备可以包括：存储器，用于存储程序；处理器，用于通过执行存储器存储的程序以实现本发明实施例提供的污染投诉重复线索的识别方法的所有步骤。
另外，相应于上述实施例所提供的污染投诉重复线索的识别方法，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时实现本发明实施例的污染投诉重复线索的识别方法的所有步骤。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种污染投诉重复线索的识别方法，其特征在于，所述方法包括：
获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据，其中，所述文本特征数据表征污染投诉文本包含的污染问题；
分别对各所述第一污染投诉文本进行分词处理，并分别提取各所述第一污染投诉文本的文本特征数据；
针对任一第一污染投诉文本，计算所述第一污染投诉文本的文本特征数据与所述第二污染投诉文本的文本特征数据的相似度；
若所述相似度大于第一预设阈值，则确定所述第一污染投诉文本为污染投诉重复线索。
2.如权利要求1所述的方法，其特征在于，所述文本特征数据中至少包括以下一项：污染类型、企业名称和企业位置信息。
3.如权利要求1所述的方法，其特征在于，在所述分别对各所述第一污染投诉文本进行分词处理之前，所述方法还包括：
分别对各所述第一污染投诉文本进行数据清洗。
4.如权利要求3所述的方法，其特征在于，所述分别对各所述第一污染投诉文本进行数据清洗，包括：
分别删除各所述第一污染投诉文本的噪声数据和不完整数据，其中，所述噪声数据为电话号码和模板语句，所述不完整数据为缺失污染类型的污染投诉数据，或者，所述不完整数据为缺失企业名称和企业位置信息的污染投诉数据；
针对具有相同标识信息的多个所述第一污染投诉文本，保留最新投诉日期的一个所述第一污染投诉文本。
5.如权利要求1所述的方法，其特征在于，在所述确定所述第一污染投诉文本为污染投诉重复线索之后，所述方法还包括：
将对应于所述第一污染投诉文本的所述第二污染投诉文本的投诉回复消息作为所述第一污染投诉文本的投诉回复消息。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据多个污染投诉文本，对同一污染问题在预设时间段内的投诉次数进行统计；
若所述投诉次数大于第二预设阈值，则将所述污染问题确定为热点问题；
或者，
根据多个污染投诉文本，对同一污染问题的连续投诉时间进行统计；
若所述连续投诉时间大于第三预设阈值，则将所述污染问题确定为热点问题。
7.如权利要求1所述的方法，其特征在于，在所述获取当前时间段内的多个第一污染投诉文本之后，所述方法还包括：
将任一所述第一污染投诉文本输入预先训练好的投诉群众情感识别模型中，对所述第一污染投诉文本进行分类识别，得到投诉群众的情感类别信息，其中，所述投诉群众情感识别模型基于随机森林算法模型、卷积神经网络分类算法模型、朴素贝叶斯算法模型或者集成算法模型等训练得到，所述投诉群众的情感类别包括：积极、消极和平和；
若投诉群众的情感类别为消极，则将所述第一污染投诉文本对应的污染问题确定为热点问题。
8.一种污染投诉重复线索的识别装置，其特征在于，所述装置包括：
获取模块，用于获取当前时间段内的多个第一污染投诉文本和历史时间段内的多个第二污染投诉文本的文本特征数据，其中，所述文本特征数据表征污染投诉文本包含的污染问题；
提取模块，用于分别对各所述第一污染投诉文本进行分词处理，并分别提取各所述第一污染投诉文本的文本特征数据；
计算模块，用于针对任一第一污染投诉文本，计算所述第一污染投诉文本的文本特征数据与所述第二污染投诉文本的文本特征数据的相似度；
确定模块，用于若所述相似度大于第一预设阈值，则确定所述第一污染投诉文本为污染投诉重复线索。
9.一种电子设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-7中任一项所述的方法。
CN202110534282.3A 2021-05-17 2021-05-17 污染投诉重复线索的识别方法、装置及设备 Pending CN113128223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110534282.3A CN113128223A (zh) 2021-05-17 2021-05-17 污染投诉重复线索的识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110534282.3A CN113128223A (zh) 2021-05-17 2021-05-17 污染投诉重复线索的识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113128223A true CN113128223A (zh) 2021-07-16

Family

ID=76782010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110534282.3A Pending CN113128223A (zh) 2021-05-17 2021-05-17 污染投诉重复线索的识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113128223A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740232A (zh) * 2016-01-28 2016-07-06 百度在线网络技术（北京）有限公司 一种自动提取反馈热点的方法和装置
CN105893344A (zh) * 2016-03-28 2016-08-24 北京京东尚科信息技术有限公司 基于用户语义情感分析的应答方法和装置
CN107729919A (zh) * 2017-09-15 2018-02-23 国网山东省电力公司电力科学研究院 基于大数据技术的深化投诉穿透分析方法
CN109446327A (zh) * 2018-11-01 2019-03-08 合肥工业大学 一种移动通信客户投诉的诊断方法及系统
CN109886830A (zh) * 2019-01-02 2019-06-14 同济大学 一种基于用户投诉信息的供水管网污染源追踪定位方法
CN110705245A (zh) * 2018-07-09 2020-01-17 中国移动通信集团有限公司 一种获取参考处理方案的方法及装置、存储介质
CN112560465A (zh) * 2020-12-18 2021-03-26 平安银行股份有限公司 批量异常事件的监控方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740232A (zh) * 2016-01-28 2016-07-06 百度在线网络技术（北京）有限公司 一种自动提取反馈热点的方法和装置
CN105893344A (zh) * 2016-03-28 2016-08-24 北京京东尚科信息技术有限公司 基于用户语义情感分析的应答方法和装置
CN107729919A (zh) * 2017-09-15 2018-02-23 国网山东省电力公司电力科学研究院 基于大数据技术的深化投诉穿透分析方法
CN110705245A (zh) * 2018-07-09 2020-01-17 中国移动通信集团有限公司 一种获取参考处理方案的方法及装置、存储介质
CN109446327A (zh) * 2018-11-01 2019-03-08 合肥工业大学 一种移动通信客户投诉的诊断方法及系统
CN109886830A (zh) * 2019-01-02 2019-06-14 同济大学 一种基于用户投诉信息的供水管网污染源追踪定位方法
CN112560465A (zh) * 2020-12-18 2021-03-26 平安银行股份有限公司 批量异常事件的监控方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110675288B (zh) 智能辅助审判方法、装置、计算机设备及存储介质
CN103970733B (zh) 一种基于图结构的中文新词识别方法
CN101986296B (zh) 基于语义本体的噪声数据清洗方法
CN108363701B (zh) 命名实体识别方法及系统
WO2021098651A1 (zh) 一种风险实体获取方法及装置
CN108509561B (zh) 基于机器学习的岗位招聘数据筛选方法、系统及存储介质
CN110851591A (zh) 一种裁判文书的质量评估方法、装置、设备及存储介质
CN110909123A (zh) 一种数据提取方法、装置、终端设备及存储介质
CN111428480A (zh) 简历识别方法、装置、设备及存储介质
CN116150651A (zh) 基于ai的深度合成检测方法和系统
CN110889274B (zh) 信息质量评估方法、装置、设备及计算机可读存储介质
TW201539215A (zh) 文件分析系統、文件分析方法、以及文件分析程式
CN110750626B (zh) 一种基于场景的任务驱动的多轮对话方法及系统
CN113886524A (zh) 一种基于短文本的网络安全威胁事件抽取方法
CN107480126B (zh) 一种工程材料类别智能识别方法
CN110362828B (zh) 网络资讯风险识别方法及系统
CN113761137A (zh) 一种提取地址信息的方法及装置
CN113128223A (zh) 污染投诉重复线索的识别方法、装置及设备
CN116881408A (zh) 基于ocr和nlp的视觉问答防诈骗方法及系统
US20120197894A1 (en) Apparatus and method for processing documents to extract expressions and descriptions
CN116305257A (zh) 隐私信息监测装置和隐私信息监测方法
CN115759085A (zh) 基于提示模型的信息预测方法、装置、电子设备及介质
CN113239164B (zh) 多轮对话流程构建方法、装置、计算机设备及存储介质
CN111209392B (zh) 污染企业的挖掘方法、装置及设备
CN110738054B (zh) 识别邮件中酒店信息的方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210716

RJ01 Rejection of invention patent application after publication