CN104252479A - 信息的处理方法、装置和系统 - Google Patents

信息的处理方法、装置和系统 Download PDF

Info

Publication number
CN104252479A
CN104252479A CN201310263145.6A CN201310263145A CN104252479A CN 104252479 A CN104252479 A CN 104252479A CN 201310263145 A CN201310263145 A CN 201310263145A CN 104252479 A CN104252479 A CN 104252479A
Authority
CN
China
Prior art keywords
text message
responsive
information
model
weighted value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310263145.6A
Other languages
English (en)
Other versions
CN104252479B (zh
Inventor
臧文阳
张轶博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310263145.6A priority Critical patent/CN104252479B/zh
Priority to EP14172517.6A priority patent/EP2819351B1/en
Priority to US14/317,182 priority patent/US9195842B2/en
Publication of CN104252479A publication Critical patent/CN104252479A/zh
Application granted granted Critical
Publication of CN104252479B publication Critical patent/CN104252479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/212—Monitoring or handling of messages using filtering or selective blocking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/214—Monitoring or handling of messages using selective forwarding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0245—Filtering by information in the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105—Multiple levels of security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2113—Multi-level security, e.g. mandatory access control

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种信息的处理方法、装置和系统。该方法包括：接收文本信息；使用第一模型对文本信息进行计算得到文本信息对应的公众敏感权重值；判断公众敏感权重值是否大于第一预设门限值，如果是，则显示文本信息包含敏感信息的第一处理提示信息，根据接收到的第一处理提示信息对应的处理指令对文本信息进行回复；如果否，则使用第二模型对文本信息进行计算得到文本信息对应的个体敏感权重值；判断个体敏感权重值是否大于第二预设门限值，如果是，则显示文本信息包含敏感信息的第二处理提示信息，根据接收到的第二处理提示信息对应的处理指令对文本信息进行回复。本发明实现了终端自动检测文本信息是否涉及敏感信息，提高了众包应用的安全性。

Description

信息的处理方法、装置和系统
技术领域
本发明涉及信息处理领域，尤其涉及一种信息的处理方法、装置和系统。
背景技术
众包技术是一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式外包给非特定的(而且通常是大型的)大众网络的一种技术。随着众包技术的发展，众包的应用范围也越来越广泛，比如维基百科、百度百科等众包产品的应用越来越普及。众包技术迅速发展的同时，也带来了众包用户的信息容易泄漏的问题。
在现有技术下，众包用户在向网络服务器提交任务时，为了保证用户的信息不被窃取，通常采用匿名的方式发布任务，而由网络服务器侧保证用户的隐私安全。但是，现有的众包应用存在以下缺点：在用户向网络服务器侧提交任务时，无法保证任务在传输过程中不被非法用户拦截或者篡改；用户可能由于误操作，将敏感信息发送至网络服务器侧，而网络服务器侧可能泄漏用户的敏感信息。
发明内容
本发明实施例提供了一种信息的处理方法、装置和系统，以实现终端在接收到文本类信息时自动检测文本信息是否涉及敏感信息，并实现对涉及敏感信息的文本类信息进行安全回复处理，提高了众包应用的安全性。
第一方面，本发明实施例提供了一种信息的处理方法，所述方法包括：
接收文本信息；
使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值，其中，所述第一模型是根据网络服务器发送的公众模型参数构建得到；
判断所述公众敏感权重值是否大于第一预设门限值，如果是，则显示所述文本信息包含敏感信息的第一处理提示信息，根据接收到的所述第一处理提示信息对应的处理指令对所述文本信息进行回复处理；如果否，则使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值，其中，所述第二模型是根据用户历史行为信息和网络服务器发送的个体模型参数构建得到；
判断所述个体敏感权重值是否大于第二预设门限值，如果是，则显示所述文本信息包含敏感信息的第二处理提示信息，根据接收到的所述第二处理提示信息对应的处理指令对所述文本信息进行回复处理。
在第一种可能的实现方式中，所述判断所述个体敏感权重值是否大于第二预设门限值之后，还包括：如果所述个体敏感权重值不大于所述第二预设门限值，则显示所述文本信息不包含敏感信息的第三处理提示信息，根据接收到的所述第三处理提示信息对应的处理指令对所述文本信息进行回复处理。
结合第一方面，在第二种可能的实现方式中，所述使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值具体包括：使用第一模型计算所述文本信息内容的敏感权重，以及所述文本信息的来源对应的敏感权重，所述文本信息内容的敏感权重是根据所述文本信息中公众敏感词语对应的敏感权重计算得到；根据所述第一模型计算出的所述文本信息内容的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的公众敏感权重值。
结合第一方面，在第三种可能的实现方式中，所述用户历史行为信息包括以下信息中的一项或者任意项的组合：历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率；所述第二模型具体通过以下步骤获得：收集所述用户历史行为信息；对所述用户历史行为信息进行分析和训练，根据训练结果以及所述网络服务器发送的个体模型参数获取个体敏感词语以及所述个体敏感词语对应的敏感权重，得到所述第二模型。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值具体包括：使用所述第二模型计算所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，所述文本信息内容对应的敏感权重是根据所述文本信息中个体敏感词语对应的敏感权重计算得到；根据所述第二模型计算出的所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的个体敏感权重值。
第二方面，本发明实施例提供了一种信息的处理装置，所述装置包括：
接收单元，用于接收文本信息，将所述文本信息传输至公众敏感权重值计算单元；
公众敏感权重值计算单元，用于接收所述接收单元传输的所述文本信息，使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值，其中，所述第一模型是根据网络服务器发送的公众模型参数构建得到，将所述公众敏感权重值传输至处理单元；
处理单元，用于接收所述公众敏感权重值计算单元传输的所述公众敏感权重值，判断所述公众敏感权重值是否大于第一预设门限值，如果是，则显示所述文本信息包含敏感信息的第一处理提示信息，根据接收到的所述第一处理提示信息对应的处理指令对所述文本信息进行回复处理；如果否，则使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值，其中，所述第二模型是根据用户历史行为信息和网络服务器发送的个体模型参数构建得到，将所述个体敏感权重值传输至回复单元；
回复单元，用于接收所述处理单元传输的所述个体敏感权重值，判断所述个体敏感权重值是否大于第二预设门限值，如果是，则显示所述文本信息包含敏感信息的第二处理提示信息，根据接收到的所述第二处理提示信息对应的处理指令对所述文本信息进行回复处理。
在第一种可能的实现方式中，所述回复单元还用于：如果所述个体敏感权重值不大于所述第二预设门限值，则显示所述文本信息不包含敏感信息的第三处理提示信息，根据接收到的所述第三处理提示信息对应的处理指令对所述文本信息进行回复处理。
结合第二方面，在第二种可能的实现方式中，所述公众敏感权重值计算单元具体用于：使用第一模型计算所述文本信息内容的敏感权重，以及所述文本信息的来源对应的敏感权重，所述文本信息内容的敏感权重是根据所述文本信息中公众敏感词语对应的敏感权重计算得到；根据所述第一模型计算出的所述文本信息内容的敏感权重的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的公众敏感权重值。
结合第二方面，在第三种可能的实现方式中，所述用户历史行为信息包括以下信息中的一项或者任意项的组合：历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率；所述装置还包括收集单元、模型生成单元：收集单元，用于收集所述用户历史行为信息，将所述用户历史行为信息传输至模型生成单元；模型生成单元，用于接收所述收集单元传输的所述用户历史行为信息，对所述用户历史行为信息进行分析和训练，根据训练结果以及所述网络服务器发送的个体模型参数获取个体敏感词语以及所述个体敏感词语对应的敏感权重，得到所述第二模型。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述处理单元具体用于：使用所述第二模型计算所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，所述文本信息内容对应的敏感权重是根据所述文本信息中个体敏感词语对应的敏感权重计算得到；根据所述第二模型计算出的所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的个体敏感权重值。
第三方面，本发明实施例提供了一种信息的处理系统，所述系统包括终端以及网络服务器：
所述网络服务器公众模型参数和个体模型参数至所述终端；
所述终端根据接收到的所述公众模型参数构建得到第一模型，根据所述个体模型参数和用户历史行为信息构建得到第二模型；
所述终端接收文本信息后，执行下述操作：
使用所述第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值；
判断所述公众敏感权重值是否大于第一预设门限值，如果是，则显示所述文本信息包含敏感信息的第一处理提示信息，根据接收到的所述第一处理提示信息对应的处理指令对所述文本信息进行回复处理；如果否，则使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值；
判断所述个体敏感权重值是否大于第二预设门限值，如果是，则显示所述文本信息包含敏感信息的第二处理提示信息，根据接收到的所述第二处理提示信息对应的处理指令对所述文本信息进行回复处理。
在第一种可能的实现方式中，所述终端在执行判断所述个体敏感权重值是否大于第二预设门限值的操作之后，如果判断出所述个体敏感权重值不大于所述第二预设门限值，则显示所述文本信息不包含敏感信息的第三处理提示信息，根据接收到的所述第三处理提示信息对应的处理指令对所述文本信息进行回复处理。
结合第三方面，在第二种可能的实现方式中，所述终端执行使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值的过程具体如下：使用第一模型计算所述文本信息内容的敏感权重，以及所述文本信息的来源对应的敏感权重，所述文本信息内容的敏感权重是根据所述文本信息中公众敏感词语对应的敏感权重计算得到；根据所述第一模型计算出的所述文本信息内容的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的公众敏感权重值。
结合第一方面，在第三种可能的实现方式中，所述用户历史行为信息包括以下信息中的一项或者任意项的组合：历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率；
所述终端执行根据所述个体模型参数和用户历史行为信息构建得到第二模型的过程具体如下：收集所述用户历史行为信息；对所述用户历史行为信息进行分析和训练，根据训练结果以及所述网络服务器发送的个体模型参数获取个体敏感词语以及所述个体敏感词语对应的敏感权重，得到所述第二模型。
结合第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述终端执行使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值的过程具体如下：使用所述第二模型计算所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，所述文本信息内容对应的敏感权重是根据所述文本信息中个体敏感词语对应的敏感权重计算得到；根据所述第二模型计算出的所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的个体敏感权重值。
本发明实施例中，终端接收到文本信息后，可以先使用第一模型来判断文本信息是否涉及公众敏感信息，如果是则显示第一处理提示信息以提示用户进行相应的回复处理，如果否则继续使用第二模型判断文本信息是否涉及个体敏感信息，如果是则显示第二处理提示信息以提示用户进行相应的回复处理，由此，本发明实施例实现了终端在接收到文本信息时自动判断文本信息是否包含敏感信息，如果包含敏感信息，则提示用户文本信息中包含敏感信息，以使用户对文本信息进行安全的回复处理，提高了众包应用的安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种信息的处理方法流程图；
图2为本发明实施例提供的一种信息的处理装置示意图；
图3为本发明实施例提供的一种终端示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明实施例提供的信息的处理方法、装置和系统在实际应用时，作为一种好的信息的处理方法可应用于短信众包、微信众包、微博众包等社交媒体类文本众包应用中，当终端接收到一个文本信息时，可以首先对该文本信息进行安全检测，判断文本信息中是否包含敏感信息，即涉及用户的隐私的信息，如果包含敏感信息，则可以在终端界面上显示该文本信息包含敏感信息的处理提示信息，该处理提示信息可以为高亮显示个人回复的按钮位置，或灰度显示众包回复的按钮位置，或使得众包回复的操作不能执行等提示信息，然后等待用户根据所述提示信息执行的下一步操作指令。由此，本发明实施例实现了在接收到文本信息时自动判断文本信息是否涉及敏感信息，如果涉及敏感信息，则提示用户文本信息中包含敏感信息，以使对文本信息进行安全的回复处理，提高了众包应用的安全性。
图1为本发明实施例提供的一种信息的处理方法流程图。该实施例的执行主体是终端，其中详细描述了终端在接收到媒体类文本信息时对文本信息进行回复处理的过程。如图1所示，该实施例包括以下步骤：
步骤101，接收文本信息。
其中，所接收到的文本信息可以为网络侧通过短信通道或者无线数据网发送的短信文本信息，也可以为通过网络发送的微信文本信息或者微博文本信息。
步骤102，使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值，其中，所述第一模型是根据网络服务器发送的公众模型参数构建得到。
为了实现本发明的技术方案，在实际应用中，终端提供了一个第一模型，第一模型为根据网络服务器侧下发的公众模型参数配置得到，第一模型的网络参数可以包括公众敏感词语以及对应的敏感权重。具体地，在实际应用中，一般会有一些常见的敏感词语，如“转账”、“银行账号”等词语，这些常见的敏感词语可以称为公众敏感词语。对于公众敏感词语，为了区别每个词语的敏感程度，可以为每个词语设置敏感权重，如“银行账号”的敏感权重为1，“QQ账号”的权重为0.7等。公众敏感词语及其敏感权重可以由网络服务器根据实际应用中的敏感词语及其敏感程度来设置。
网络服务器可以定期更新公众敏感词语，并且向终端发送敏感词语及其敏感权重，由此实现网络侧和终端侧敏感词语的同步。
使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值具体包括：使用第一模型计算所述文本信息内容的敏感权重，以及所述文本信息的来源对应的敏感权重，所述文本信息内容的敏感权重是根据所述文本信息中公众敏感词语对应的敏感权重计算得到；根据所述第一模型计算出的所述文本信息内容的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的公众敏感权重值。
具体地，第一模型可以对接收到的文本信息内容以及来源进行分析和计算，由于第一模型是根据网络服务器下发的公众模型参数训练得到的，因此第一模型内可以预设相关的公众敏感词语以及对应的敏感权重，并且还可预设敏感来源及其对应的敏感权重。当接收到文本信息时，终端中的第一模型可以根据输入的文本信息及其来源来计算文本信息对应的公众敏感权重值。其中，第一模型中设置的文本信息来源以及对应的权重可以包括对一些公共来源，如10086、95588、95533等来源的敏感权重，例如10086发送的文本信息一般敏感性较低，可以设置来源10086的敏感权重较低，而95588则涉及用户的银行账号信息，因此可以设置来源95588的敏感权重较高。
可选的，文本信息中可能含有多个公众敏感词语，每个公众敏感词语都可以有对应的敏感权重，第一模型通过对文本信息中各个公众敏感词语的敏感权重进行相应计算，可以得出该文本信息的敏感权重。步骤103，判断所述公众敏感权重值是否大于第一预设门限值，如果是，则显示所述文本信息包含敏感信息的第一处理提示信息，根据接收到的所述第一处理提示信息对应的处理指令对所述文本信息进行回复处理；如果否，则使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值，其中，所述第二模型是根据用户历史行为信息和网络服务器发送的个体模型参数构建得到。
终端使用第一模型计算出文本信息的公众敏感权重值后，可以判断公众敏感权重值是否大于预设的第一预设门限值，如果文本信息的敏感权重值超过第一预设门限值，则可以判断该文本信息涉及网络敏感信息。其中，第一预设门限值可以由终端自行设定，也可以由网络侧下发，本发明实施例对此不做详细的设定。
如果终端判断出公众敏感权重值大于第一预设门限值，则在客户端界面上显示该文本信息时，还可显示用户可对该包含文本信息进行的回复操作的处理提示信息。例如，如果该文本信息涉及网络敏感信息，则可以提示用户只能对该文本信息进行个人回复处理，而不能进行众包回复处理，可以通过不显示“众包回复”按钮或者灰度显示“众包回复”按钮(使按钮不可被操作)来使得用户只能进行众包回复处理；或者提示用户最优的回复方式为个人回复，而非众包回复，可以通过高亮显示“个人回复”按钮或者默认选中“个人回复”按钮来提示用户最优的回复方式为个人回复；或者还可以在用户单击“众包回复”按钮时显示“文本信息中含有敏感信息”等提示信息，以此来提示用户最优的回复处理方式为个人回复。
可选地，终端还可以进一步根据文本信息的敏感权重值的大小，来显示不同的处理提示信息，例如，如果文本信息的敏感权重值为1，或者大于某个设定的门限值，则可以判断该文本信息非常敏感，由此可以通过不显示“众包回复”按钮或者灰度显示“众包回复”按钮，来提示用户只能对用户进行个人回复处理操作。当文本信息的敏感权重低于某个设定的门限值，但是高于第一敏感门限值时可以通过高亮显示“个人回复”按钮或者默认选中“个人回复”按钮来提示用户最优的回复方式为个人回复，但是此时“众包回复”按钮仍可被操作，用户仍可对该文本信息进行众包回复处理。
如果公众敏感权重值不大于第一预设门限值，则可以使用第二模型对文本信息进行计算，从而判断文本信息是否涉及个人敏感信息。使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值具体包括：使用所述第二模型计算所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，所述文本信息内容对应的敏感权重是根据所述文本信息中个体敏感词语对应的敏感权重计算得到；根据所述第二模型计算出的所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的个体敏感权重值。
为了实现本发明的技术方案，在实际应用中，终端提供了一个第二模型，其中，第二模型可通过以下步骤获得：收集所述用户历史行为信息；对所述用户历史行为信息进行分析和训练，根据训练结果获取个体敏感词语以及所述个体敏感词语对应的敏感权重，得到所述第二模型。具体地，用户历史行为信息包括历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率等信息中的一种或者多种。
具体地，除了常见的公众敏感词语，对于每个用户个人，一般会有对应的个体敏感词语，例如，对于某个用户来说，可能由于某些个人经历，而对于某些领域比较敏感，例如，如果此用户的就职行业为保密行业，则与工作相关的文本信息就涉及了该用户的敏感信息，则用户每次接收到与其工作相关的文本信息时会选择个人回复处理，终端通过对用户的每次接收到的文本信息内容、回复的文本内容、回复的方式等进行收集、分析和训练，根据训练结果可以判断出哪些内容是用户的个体敏感词语以及该敏感词语的敏感权重。例如，如果用户每次收到某个行业的相关文本信息后，在回复该文本信息时不但通过个人回复，而且回复文本信息为“回家再说”、“见面再说”等类似的内容时，可以判断出该行业的相关信息涉及该用户的个体敏感词语，而且敏感权重极高。
其中，用户历史行为信息中历史文本信息的来源为发送该历史文本信息的发送方，执行接收历史文本信息的操作与对历史文本信息执行回复处理的操作之间的时间差为用户阅读文本信息与开始执行回复操作之间的时间差，历史回复文本信息的内容输入速率为用户输入文本信息的速率。可选的，用户历史行为信息还可以包括用户是否使用收藏的短信回复接收到的文本信息等。
上面描述了通过分析用户的历史行为信息来获取用户的个体敏感词语及敏感权重。终端除了通过用户历史行为信息获取个体敏感词语外，还可以根据从网络侧获取的个体模型参数来获取个体敏感词语及其对应的敏感权重。具体地，当出现一些新的词语，如“囧”时，网络服务器可以向终端下发该词的敏感权重，终端可以根据网络服务器下发的词语的敏感权重来更新个体敏感词语库。
其中，终端中的第二模型还可以根据用户历史行为信息的来源来设置文本信息的来源对应的敏感权重，与第一模型所对应的来源的敏感权重不同的是，第一模型设置的是公共来源的敏感权重，第二模型是根据用户的历史行为信息的来源来设置来源的敏感权重，例如可以将与用户往来最频繁的联系人的敏感权重设置的较高，这是因为与用户往来最频繁的一般是用户的至交好友，而这些来源的文本信息的内容一般较为隐私。
步骤104，判断所述个体敏感权重值是否大于第二预设门限值，如果是，则显示所述文本信息包含敏感信息的第二处理提示信息，根据接收到的所述第二处理提示信息对应的处理指令对所述文本信息进行回复处理。
具体地，当终端使用第二模型计算出个体敏感权重值时，可继续判断个体敏感权重值是否大于第二预设门限值，如果是，则在客户端界面上显示该文本信息时，还可以显示用户可对该文本信息进行的回复操作的处理提示信息。例如，如果该文本信息涉及网络敏感信息，则可以提示用户只能对该文本信息进行个人回复处理，而不能进行众包回复处理，可以通过不显示“众包回复”按钮或者灰度显示“众包回复”按钮(使按钮不可被操作)来使得用户只能进行众包回复处理；或者提示用户最优的回复方式为个人回复，而非众包回复，可以通过高亮显示“个人回复”按钮或者默认选中“个人回复”按钮来提示用户最优的回复方式为个人回复；或者还可以在用户单击“众包回复”按钮时显示“文本信息中含有敏感信息”等提示信息，以此来提示用户最优的回复处理方式为个人回复。
其中，该第二处理提示信息可以与第一处理提示信息相同，也可以不同，本发明实施例对此不做限定。
需要说明的是，即使终端判断出文本信息的个体敏感权重值大于第二预设门限值，并显示了文本信息中包含敏感信息的第二处理提示信息，用户仍可对该文本信息进行众包回复处理。
在对包含第二敏感信息的文本信息进行回复处理之后，终端还可以进一步收集文本信息以及对应的回复文本信息，并以文本信息以及对应的回复文本信息作为训练数据进行训练，根据训练结果更新第二模型。这样可以实现终端根据用户的行为信息动态更新第二模型，即当用户的个体敏感信息发生变化时，终端可以实时更新第二模型，做出正确的回复处理。
需要说明的是，如果个体敏感权重值不大于第二预设门限值，则可以显示文本信息不包含敏感信息的第三处理提示信息，用户可以根据该第三处理提示信息选择合适的回复处理方式，由此终端可以根据用户对的选择对接收到的文本信息进行回复。
本发明实施例中，终端接收到文本信息后，可以先使用第一模型来判断文本信息是否涉及公众敏感信息，如果是则显示第一处理提示信息以提示用户进行相应的回复处理，如果否则继续使用第二模型判断文本信息是否涉及个体敏感信息，如果是则显示第二处理提示信息以提示用户进行相应的回复处理。由于第一模型是根据网络服务器下发的公众敏感参数构建得到，并且当网络服务器周期性更新该公众敏感参数时，第一模型也可以自动更新，因此第一模型可以检测出最新的公众敏感词语，做出安全的回复处理，提高了众包应用的安全性。而第二模型是根据用户历史行为信息和网络服务器下发的个体敏感参数构建得到，用户的历史行为信息发生变化，终端训练得出的个体敏感信息也随之发生变化，即第二模型可以实时得到更新，终端也可以做出正确的回复处理，提高了众包应用的安全性。
相应地，本发明实施例还提供了一种信息的处理装置。图2为本发明实施例提供的一种信息的处理装置示意图，如图2所示，本实施例提供的装置包括以下单元：
接收单元201，用于接收文本信息，将所述文本信息传输至公众敏感权重值计算单元。
其中，所接收到的文本信息可以为网络侧通过短信通道或者无线数据网发送的短信文本信息，也可以为通过网络发送的微信文本信息或者微博文本信息。
公众敏感权重值计算单元202，用于接收所述接收单元传输的所述文本信息，使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值，其中，所述第一模型是根据网络服务器发送的模型参数构建得到，将所述公众敏感权重值传输至处理单元。
公众敏感权重值计算单元202具体用于：使用第一模型计算所述文本信息内容的敏感权重，以及所述文本信息的来源对应的敏感权重，所述文本信息内容的敏感权重是根据所述文本信息中公众敏感词语对应的敏感权重计算得到；根据所述第一模型计算出的所述文本信息内容的敏感权重的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的公众敏感权重值。
其中，为了实现本发明的技术方案，在实际应用中，终端提供了一个第一模型，该模型为根据网络服务器侧下发的模型参数配置得到，第一模型的网络参数可以包括公众敏感词语以及对应的敏感权重。
网络服务器可以定期更新公众敏感词语，并且向终端发送敏感词语及其敏感权重，由此实现网络侧和终端侧敏感词语的同步。
处理单元203，用于接收所述公众敏感权重值计算单元传输的所述公众敏感权重值，判断所述公众敏感权重值是否大于第一预设门限值，如果是，则显示所述文本信息包含敏感信息的第一处理提示信息，根据接收到的所述第一处理提示信息对应的处理指令对所述文本信息进行回复处理；如果否，则使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值，其中，所述第二模型是根据用户历史行为信息和网络服务器发送的模型参数构建得到，将所述个体敏感权重值传输至回复单元。
其中，用户历史行为信息包括以下信息中的一项或者任意项的组合：历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率。
终端使用第一模型计算出文本信息的公众敏感权重值后，可以判断公众敏感权重值是否大于预设的第一预设门限值，如果文本信息的敏感权重值超过第一预设门限值，则可以判断该文本信息涉及网络敏感信息。其中，第一预设门限值可以由终端自行设定，也可以由网络侧下发，本发明实施例对此不做详细的设定。
如果终端判断出公众敏感权重值大于第一预设门限值，则在客户端界面上显示该文本信息时，还可显示用户可对该包含文本信息进行的回复操作的处理提示信息。例如，如果该文本信息涉及网络敏感信息，则可以提示用户只能对该文本信息进行个人回复处理，而不能进行众包回复处理，可以通过不显示“众包回复”按钮或者灰度显示“众包回复”按钮(使按钮不可被操作)来使得用户只能进行众包回复处理；或者提示用户最优的回复方式为个人回复，而非众包回复，可以通过高亮显示“个人回复”按钮或者默认选中“个人回复”按钮来提示用户最优的回复方式为个人回复；或者还可以在用户单击“众包回复”按钮时显示“文本信息中含有敏感信息”等提示信息，以此来提示用户最优的回复处理方式为个人回复。
可选地，终端还可以进一步根据文本信息的敏感权重值的大小，来显示不同的处理提示信息，例如，如果文本信息的敏感权重值为1，或者大于某个设定的门限值，则可以判断该文本信息非常敏感，由此可以通过不显示“众包回复”按钮或者灰度显示“众包回复”按钮，来提示用户只能对用户进行个人回复处理操作。当文本信息的敏感权重低于某个设定的门限值，但是高于第一敏感门限值时可以通过高亮显示“个人回复”按钮或者默认选中“个人回复”按钮来提示用户最优的回复方式为个人回复，但是此时“众包回复”按钮仍可被操作，用户仍可对该文本信息进行众包回复处理。
如果公众敏感权重值不大于第一预设门限值，则可以使用第二模型对文本信息进行计算，从而判断文本信息是否涉及个人敏感信息。处理单元203具体用于：使用所述第二模型计算所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，所述文本信息内容对应的敏感权重是根据所述文本信息中个体敏感词语对应的敏感权重计算得到；根据所述第二模型计算出的所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的个体敏感权重值。
当然，终端除了通过分析用户历史行为信息来获取个体敏感词语对应的敏感权重以及文本信息对应的敏感权重外，还可以根据用户的敏感信息所属的领域来从网络侧获取该领域的敏感词语，例如，如果用户对会计领域的信息比较敏感，则可以在网络上获取会计领域的敏感词语及对应的敏感权重。
回复单元204，用于接收所述处理单元传输的所述个体敏感权重值，判断所述个体敏感权重值是否大于第二预设门限值，如果是，则显示所述文本信息包含敏感信息的第二处理提示信息，根据接收到的所述第二处理提示信息对应的处理指令对所述文本信息进行回复处理。
具体地，当终端使用第二模型计算出个体敏感权重值时，可继续判断个体敏感权重值是否大于第二预设门限值，如果是，则在客户端界面上显示该文本信息时，还可以显示用户可对该文本信息进行的回复操作的处理提示信息。例如，如果该文本信息涉及网络敏感信息，则可以提示用户只能对该文本信息进行个人回复处理，而不能进行众包回复处理，可以通过不显示“众包回复”按钮或者灰度显示“众包回复”按钮(使按钮不可被操作)来使得用户只能进行众包回复处理；或者提示用户最优的回复方式为个人回复，而非众包回复，可以通过高亮显示“个人回复”按钮或者默认选中“个人回复”按钮来提示用户最优的回复方式为个人回复；或者还可以在用户单击“众包回复”按钮时显示“文本信息中含有敏感信息”等提示信息，以此来提示用户最优的回复处理方式为个人回复。
其中，该第二处理提示信息可以与第一处理提示信息相同，也可以不同，本发明实施例对此不做限定。
需要说明的是，即使终端判断出文本信息的个体敏感权重值大于第二预设门限值，并显示了文本信息中包含敏感信息的第二处理提示信息，用户仍可对该文本信息进行众包回复处理。
回复单元204还用于：如果所述个体敏感权重值不大于所述第二预设门限值，则显示所述文本信息不包含敏感信息的第三处理提示信息，根据接收到的所述第三处理提示信息对应的处理指令对所述文本信息进行回复处理。
为了实现本发明的技术方案，在实际应用中，终端提供了一个第二模型。优选地，本发明实施例提供的装置还包括：收集单元205，模型生成单元206。收集单元205，用于收集所述用户历史行为信息，将所述用户历史行为信息传输至模型生成单元；模型生成单元206，用于接收所述收集单元传输的所述用户历史行为信息，对所述用户历史行为信息进行分析和训练，根据训练结果获取个体敏感词语以及所述个体敏感词语对应的敏感权重，得到所述第二模型。
由此，本发明实施例所提供的装置，在接收到文本信息后，可以先使用第一模型来判断文本信息是否涉及公众敏感信息，如果是则显示第一处理提示信息以提示用户进行相应的回复处理，如果否则继续使用第二模型判断文本信息是否涉及个体敏感信息，如果是则显示第二处理提示信息以提示用户进行相应的回复处理。由于第一模型是根据网络服务器下发的公众敏感参数构建得到，并且当网络服务器周期性更新该公众敏感参数时，第一模型也可以自动更新，因此第一模型可以检测出最新的公众敏感词语，做出安全的回复处理，提高了众包应用的安全性。而第二模型是根据用户历史行为信息和网络服务器下发的个体敏感参数构建得到，用户的历史行为信息发生变化，终端训练得出的个体敏感信息也随之发生变化，即第二模型可以实时得到更新，终端也可以做出正确的回复处理，提高了众包应用的安全性。
相应地，本发明实施例还提供了一种终端，图3为本发明实施例提供的一种终端示意图，如图3所示，本实施例包括网络接口301、处理器302和存储器303。系统总线304用于连接网络接口301、处理器302和存储器303。
网络接口301用于与其他终端或者网络服务器进行通信。
存储器303可以是永久存储器，例如硬盘驱动器和闪存，存储器303中具有第一模型、第二模型、软件模块和设备驱动程序。软件模块能够执行本发明上述方法的各种功能模块；设备驱动程序可以是网络和接口驱动程序。
在启动时，软件组件被加载到存储器303中，然后被处理器302访问并执行如下指令：
接收文本信息；
使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值，其中，所述第一模型是根据网络服务器发送的公众模型参数构建得到；
判断所述公众敏感权重值是否大于第一预设门限值，如果是，则显示所述文本信息包含敏感信息的第一处理提示信息，根据接收到的所述第一处理提示信息对应的处理指令对所述文本信息进行回复处理；如果否，则使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值，其中，所述第二模型是根据用户历史行为信息和网络服务器发送的个体模型参数构建得到；
判断所述个体敏感权重值是否大于第二预设门限值，如果是，则显示所述文本信息包含敏感信息的第二处理提示信息，根据接收到的所述第二处理提示信息对应的处理指令对所述文本信息进行回复处理。
具体地，为了实现本发明的技术方案，终端提供了第一模型和第二模型。其中，第一模型为根据网络服务器侧下发的公众模型参数配置得到，第一模型的网络参数可以包括公众敏感词语以及对应的敏感权重。具体地，第一模型可以对接收到的文本信息以及来源进行分析和计算，由于第一模型是根据网络服务器下发的模型参数训练得到的，因此第一模型内可以预设相关的公众敏感词语以及对应的敏感权重，并且还可预设敏感来源及对应的敏感权重。当接收到文本信息时，终端中的第一模型可以根据输入的文本信息及其来源来计算文本信息对应的公众敏感权重值。第二模型可根据用户历史行为信息以及网络服务器下发的个体网络参数得到。具体地，用户历史行为信息包括以下信息中的一项或者任意项的组合：历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率。
其中，用户历史行为信息中历史文本信息的来源为发送该历史文本信息的发送方，执行接收历史文本信息的操作与对历史文本信息执行回复处理的操作之间的时间差为用户阅读文本信息与开始执行回复操作之间的时间差，历史回复文本信息的内容输入速率为用户输入文本信息的速率。可选的，用户历史行为信息还可以包括用户是否使用收藏的短信回复接收到的文本信息等。
终端判断出文本信息中包含有敏感信息时，可在显示文本信息时，显示用户可对该文本信息进行的回复操作的处理提示信息，以指示用户只能进行众包回复处理或者提示用户最优的回复处理方式为个人回复。
进一步的，处理器302判断所述个体敏感权重值是否大于第二预设门限值之后，访问存储器303中的软件组件，执行以下过程的指令：如果所述个体敏感权重值不大于所述第二预设门限值，则显示所述文本信息不包含敏感信息的第三处理提示信息，根据接收到的所述第三处理提示信息对应的处理指令对所述文本信息进行回复处理。
进一步的，处理器302访问存储器303中的软件组件，执行使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值过程的指令为：使用第一模型计算所述文本信息内容的敏感权重，以及所述文本信息的来源对应的敏感权重，所述文本信息内容的敏感权重是根据所述文本信息中公众敏感词语对应的敏感权重计算得到；根据所述第一模型计算出的所述文本信息内容的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的公众敏感权重值。
进一步的，用户历史行为信息包括历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率；处理器302访问存储器303中的软件组件，执行以下过程的指令以生成第二模型：收集所述用户历史行为信息；对所述用户历史行为信息进行分析和训练，根据训练结果以及网络服务器发送的个体模型参数获取个体敏感词语以及所述个体敏感词语对应的敏感权重，得到所述第二模型。
进一步的，处理器302访问存储器302中的软件组件，执行使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值过程的指令为：使用所述第二模型计算所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，所述文本信息内容对应的敏感权重是根据所述文本信息中个体敏感词语对应的敏感权重计算得到；根据所述第二模型计算出的所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的个体敏感权重值。
由此，本发明实施例实现了终端在接收到文本信息时自动判断文本信息是否包含敏感信息，如果包含敏感信息，则提示用户文本信息中包含敏感信息，以使用户对文本信息进行安全的回复处理，提高了众包应用的安全性。
本发明实施例还提供了一种信息的处理系统，该系统可以应用本发明实施例提供的信息的处理方法，包括上述终端以及网络服务器，其中的网络服务器为支持对应的前述实施例提供的装置实现上述技术方案的网络服务器。该系统中，网络服务器公众模型参数和个体模型参数至所述终端；所述终端根据接收到的所述公众模型参数构建得到第一模型，根据所述个体模型参数和用户历史行为信息构建得到第二模型。终端接收文本信息后，执行下述操作：使用所述第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值；判断所述公众敏感权重值是否大于第一预设门限值，如果是，则显示所述文本信息包含敏感信息的第一处理提示信息，根据接收到的所述第一处理提示信息对应的处理指令对所述文本信息进行回复处理；如果否，则使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值；判断所述个体敏感权重值是否大于第二预设门限值，如果是，则显示所述文本信息包含敏感信息的第二处理提示信息，根据接收到的所述第二处理提示信息对应的处理指令对所述文本信息进行回复处理。
可选地，本系统中，终端在执行判断所述个体敏感权重值是否大于第二预设门限值的操作之后，如果判断出所述个体敏感权重值不大于所述第二预设门限值，则显示所述文本信息不包含敏感信息的第三处理提示信息，根据接收到的所述第三处理提示信息对应的处理指令对所述文本信息进行回复处理。
具体地，终端执行使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值的过程具体如下：使用第一模型计算所述文本信息内容的敏感权重，以及所述文本信息的来源对应的敏感权重，所述文本信息内容的敏感权重是根据所述文本信息中公众敏感词语对应的敏感权重计算得到；根据所述第一模型计算出的所述文本信息内容的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的公众敏感权重值。
优选的，终端执行使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值的过程具体如下：使用所述第二模型计算所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，所述文本信息内容对应的敏感权重是根据所述文本信息中个体敏感词语对应的敏感权重计算得到；根据所述第二模型计算出的所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的个体敏感权重值。
其中，用户历史行为信息包括以下信息中的一项或者任意项的组合：历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率。
终端执行根据所述个体模型参数和用户历史行为信息构建得到第二模型的过程具体如下：收集所述用户历史行为信息；对所述用户历史行为信息进行分析和训练，根据训练结果以及所述网络服务器发送的个体模型参数获取个体敏感词语以及所述个体敏感词语对应的敏感权重，得到所述第二模型。
由此，本系统中，终端接收到文本信息后，可以先使用第一模型来判断文本信息是否涉及公众敏感信息，如果是则显示第一处理提示信息以提示用户进行相应的回复处理，如果否则继续使用第二模型判断文本信息是否涉及个体敏感信息，如果是则显示第二处理提示信息以提示用户进行相应的回复处理。由于第一模型是根据网络服务器下发的公众敏感参数构建得到，并且当网络服务器周期性更新该公众敏感参数时，第一模型也可以自动更新，因此第一模型可以检测出最新的公众敏感词语，做出安全的回复处理，提高了众包应用的安全性。而第二模型是根据用户历史行为信息和网络服务器下发的个体敏感参数构建得到，用户的历史行为信息发生变化，终端训练得出的个体敏感信息也随之发生变化，即第二模型可以实时得到更新，终端也可以做出正确的回复处理，提高了众包应用的安全性。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种信息的处理方法，其特征在于，所述方法包括：
接收文本信息；
使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值，其中，所述第一模型是根据网络服务器发送的公众模型参数构建得到；
判断所述公众敏感权重值是否大于第一预设门限值，如果是，则显示所述文本信息包含敏感信息的第一处理提示信息，并根据接收到的所述第一处理提示信息对应的处理指令对所述文本信息进行回复处理；如果否，则使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值，其中，所述第二模型是根据用户历史行为信息和网络服务器发送的个体模型参数构建得到；
判断所述个体敏感权重值是否大于第二预设门限值，如果是，则显示所述文本信息包含敏感信息的第二处理提示信息，并根据接收到的所述第二处理提示信息对应的处理指令对所述文本信息进行回复处理。
2.根据权利要求1所述的信息的处理方法，其特征在于，所述判断所述个体敏感权重值是否大于第二预设门限值之后，还包括：如果所述个体敏感权重值不大于所述第二预设门限值，则显示所述文本信息不包含敏感信息的第三处理提示信息，并根据接收到的所述第三处理提示信息对应的处理指令对所述文本信息进行回复处理。
3.根据权利要求1所述的信息的处理方法，其特征在于，所述使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值具体包括：
使用第一模型计算所述文本信息内容的敏感权重，以及所述文本信息的来源对应的敏感权重，所述文本信息内容的敏感权重是根据所述文本信息中公众敏感词语对应的敏感权重计算得到；
根据所述第一模型计算出的所述文本信息内容的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的公众敏感权重值。
4.根据权利要求1所述的信息的处理方法，其特征在于，所述用户历史行为信息包括以下信息中的一项或者任意项的组合：历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率；
所述第二模型具体通过以下步骤获得：
收集所述用户历史行为信息；
对所述用户历史行为信息进行分析和训练，根据训练结果以及所述网络服务器发送的个体模型参数获取个体敏感词语以及所述个体敏感词语对应的敏感权重，得到所述第二模型。
5.根据权利要求4所述的信息的处理方法，其特征在于，所述使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值具体包括：
使用所述第二模型计算所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，所述文本信息内容对应的敏感权重是根据所述文本信息中个体敏感词语对应的敏感权重计算得到；
根据所述第二模型计算出的所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的个体敏感权重值。
6.一种信息的处理装置，其特征在于，所述装置包括：
接收单元，用于接收文本信息，将所述文本信息传输至公众敏感权重值计算单元；
公众敏感权重值计算单元，用于接收所述接收单元传输的所述文本信息，使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值，其中，所述第一模型是根据网络服务器发送的公众模型参数构建得到，将所述公众敏感权重值传输至处理单元；
处理单元，用于接收所述公众敏感权重值计算单元传输的所述公众敏感权重值，判断所述公众敏感权重值是否大于第一预设门限值，如果是，则显示所述文本信息包含敏感信息的第一处理提示信息，根据接收到的所述第一处理提示信息对应的处理指令对所述文本信息进行回复处理；如果否，则使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值，其中，所述第二模型是根据用户历史行为信息和网络服务器发送的个体模型参数构建得到，将所述个体敏感权重值传输至回复单元；
回复单元，用于接收所述处理单元传输的所述个体敏感权重值，判断所述个体敏感权重值是否大于第二预设门限值，如果是，则显示所述文本信息包含敏感信息的第二处理提示信息，根据接收到的所述第二处理提示信息对应的处理指令对所述文本信息进行回复处理。
7.根据权利要求6所述的信息的处理装置，其特征在于，所述回复单元还用于：如果所述个体敏感权重值不大于所述第二预设门限值，则显示所述文本信息不包含敏感信息的第三处理提示信息，根据接收到的所述第三处理提示信息对应的处理指令对所述文本信息进行回复处理。
8.根据权利要求6所述的信息的处理装置，其特征在于，所述公众敏感权重值计算单元具体用于：
使用第一模型计算所述文本信息内容的敏感权重，以及所述文本信息的来源对应的敏感权重，所述文本信息内容的敏感权重是根据所述文本信息中公众敏感词语对应的敏感权重计算得到；
根据所述第一模型计算出的所述文本信息内容的敏感权重的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的公众敏感权重值。
9.根据权利要求6所述的信息的处理装置，其特征在于，所述用户历史行为信息包括以下信息中的一项或者任意项的组合：历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率；
所述装置还包括收集单元、模型生成单元：
收集单元，用于收集所述用户历史行为信息，将所述用户历史行为信息传输至模型生成单元；
模型生成单元，用于接收所述收集单元传输的所述用户历史行为信息，对所述用户历史行为信息进行分析和训练，根据训练结果以及所述网络服务器发送的个体模型参数获取个体敏感词语以及所述个体敏感词语对应的敏感权重，得到所述第二模型。
10.根据权利要求9所述的信息的处理装置，其特征在于，所述处理单元具体用于：
使用所述第二模型计算所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，所述文本信息内容对应的敏感权重是根据所述文本信息中个体敏感词语对应的敏感权重计算得到；
根据所述第二模型计算出的所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的个体敏感权重值。
11.一种信息的处理系统，其特征在于，所述系统包括终端以及网络服务器：。
所述网络服务器公众模型参数和个体模型参数至所述终端；
所述终端根据接收到的所述公众模型参数构建得到第一模型，根据所述个体模型参数和用户历史行为信息构建得到第二模型；
所述终端接收文本信息后，执行下述操作：
使用所述第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值；
判断所述公众敏感权重值是否大于第一预设门限值，如果是，则显示所述文本信息包含敏感信息的第一处理提示信息，根据接收到的所述第一处理提示信息对应的处理指令对所述文本信息进行回复处理；如果否，则使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值；
判断所述个体敏感权重值是否大于第二预设门限值，如果是，则显示所述文本信息包含敏感信息的第二处理提示信息，根据接收到的所述第二处理提示信息对应的处理指令对所述文本信息进行回复处理。
12.根据权利要求11所述的信息的处理系统，其特征在于，所述终端在执行判断所述个体敏感权重值是否大于第二预设门限值的操作之后，如果判断出所述个体敏感权重值不大于所述第二预设门限值，则显示所述文本信息不包含敏感信息的第三处理提示信息，根据接收到的所述第三处理提示信息对应的处理指令对所述文本信息进行回复处理。
13.根据权利要求11所述的信息的处理系统，其特征在于，所述终端执行使用第一模型对所述文本信息进行计算，得到所述文本信息对应的公众敏感权重值的过程具体如下：
使用第一模型计算所述文本信息内容的敏感权重，以及所述文本信息的来源对应的敏感权重，所述文本信息内容的敏感权重是根据所述文本信息中公众敏感词语对应的敏感权重计算得到；根据所述第一模型计算出的所述文本信息内容的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的公众敏感权重值。
14.根据权利要求11所述的信息的处理系统，其特征在于，所述用户历史行为信息包括以下信息中的一项或者任意项的组合：历史文本信息的内容、历史文本信息的来源、历史回复文本信息的内容、执行接收历史文本信息的操作与对所述历史文本信息执行回复处理的操作之间的时间差、所述历史回复文本信息的内容输入速率；
所述终端执行根据所述个体模型参数和用户历史行为信息构建得到第二模型的过程具体如下：
收集所述用户历史行为信息；
对所述用户历史行为信息进行分析和训练，根据训练结果以及所述网络服务器发送的个体模型参数获取个体敏感词语以及所述个体敏感词语对应的敏感权重，得到所述第二模型。
15.根据权利要求14所述的信息的处理系统，其特征在于，所述终端执行使用第二模型对所述文本信息进行计算，得到所述文本信息对应的个体敏感权重值的过程具体如下：
使用所述第二模型计算所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，所述文本信息内容对应的敏感权重是根据所述文本信息中个体敏感词语对应的敏感权重计算得到；
根据所述第二模型计算出的所述文本信息内容对应的敏感权重以及所述文本信息的来源对应的敏感权重，计算所述文本信息对应的个体敏感权重值。
CN201310263145.6A 2013-06-27 2013-06-27 信息的处理方法、装置和系统 Active CN104252479B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310263145.6A CN104252479B (zh) 2013-06-27 2013-06-27 信息的处理方法、装置和系统
EP14172517.6A EP2819351B1 (en) 2013-06-27 2014-06-16 Information processing method, apparatus, and system
US14/317,182 US9195842B2 (en) 2013-06-27 2014-06-27 Information processing method, apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310263145.6A CN104252479B (zh) 2013-06-27 2013-06-27 信息的处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN104252479A true CN104252479A (zh) 2014-12-31
CN104252479B CN104252479B (zh) 2018-05-18

Family

ID=51133813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310263145.6A Active CN104252479B (zh) 2013-06-27 2013-06-27 信息的处理方法、装置和系统

Country Status (3)

Country Link
US (1) US9195842B2 (zh)
EP (1) EP2819351B1 (zh)
CN (1) CN104252479B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372515A (zh) * 2016-08-22 2017-02-01 上海亿账通互联网科技有限公司 敏感代码的托管监控方法及服务器
CN106411705A (zh) * 2016-09-22 2017-02-15 珠海市魅族科技有限公司 一种发送消息的方法及装置
CN107657180A (zh) * 2016-07-26 2018-02-02 阿里巴巴集团控股有限公司 一种信息处理客户端、服务器及方法
CN109347980A (zh) * 2018-11-23 2019-02-15 网易有道信息技术（北京）有限公司 呈现、推送信息的方法、介质、装置和计算设备
CN109389412A (zh) * 2017-08-02 2019-02-26 阿里巴巴集团控股有限公司 一种训练模型的方法及装置
CN110096695A (zh) * 2018-01-30 2019-08-06 腾讯科技（深圳）有限公司 超链接标记方法和装置、文本分类方法和装置
CN110506271A (zh) * 2017-03-23 2019-11-26 微软技术许可有限责任公司 针对隐私敏感用户内容的可配置注释

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9590941B1 (en) * 2015-12-01 2017-03-07 International Business Machines Corporation Message handling
US11816622B2 (en) 2017-08-14 2023-11-14 ScoutZinc, LLC System and method for rating of personnel using crowdsourcing in combination with weighted evaluator ratings
US11012403B1 (en) * 2018-09-04 2021-05-18 Facebook, Inc. Storylines: collaborative feedback system
CN111079029B (zh) * 2019-12-20 2023-11-21 珠海格力电器股份有限公司 敏感账号的检测方法、存储介质和计算机设备
CN112187624B (zh) * 2020-09-29 2022-07-22 维沃移动通信有限公司 消息回复方法、装置及电子设备
CN112528636A (zh) * 2020-12-10 2021-03-19 平安科技（深圳）有限公司 封停敏感词预测方法、装置、计算机设备及存储介质
US12061718B2 (en) * 2021-10-26 2024-08-13 Capital One Services, Llc Systems and methods for detecting and managing sensitive information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252748A (zh) * 2008-04-11 2008-08-27 北京北纬通信科技股份有限公司 一种在移动终端上实现隐私短信的方法及其系统
US20100011000A1 (en) * 2008-07-11 2010-01-14 International Business Machines Corp. Managing the creation, detection, and maintenance of sensitive information
CN101814119A (zh) * 2010-02-13 2010-08-25 武汉理工大学 具有隐私保护的用户模型构建方法
CN102096703A (zh) * 2010-12-29 2011-06-15 北京新媒传信科技有限公司 短消息的过滤方法和设备
CN102760130A (zh) * 2011-04-27 2012-10-31 腾讯科技（深圳）有限公司 处理信息的方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6769067B1 (en) * 1999-12-27 2004-07-27 James W. Soong Method and system for network communication control and security
GB0027280D0 (en) * 2000-11-08 2000-12-27 Malcolm Peter An information management system
US9213687B2 (en) 2009-03-23 2015-12-15 Lawrence Au Compassion, variety and cohesion for methods of text analytics, writing, search, user interfaces
US8473517B2 (en) 2009-09-18 2013-06-25 Microsoft Corporation Privacy-sensitive cooperative location naming
US8335526B2 (en) 2009-12-14 2012-12-18 At&T Intellectual Property I, Lp Location and time specific mobile participation platform
US20120094698A1 (en) 2010-06-24 2012-04-19 Paul Casto Location aware message restriction and auto-replay feature
US8448246B2 (en) * 2010-07-08 2013-05-21 Raytheon Company Protecting sensitive email
CN101984686A (zh) 2010-10-19 2011-03-09 广东欧珀移动通信有限公司 一种短信自动回复方法
CN102289431A (zh) 2011-06-24 2011-12-21 华南理工大学 一种基于自然语言理解并提供短信回复选项的方法
US20130060863A1 (en) * 2011-09-01 2013-03-07 John D'ERI Method and System for Filtering Outgoing Email

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252748A (zh) * 2008-04-11 2008-08-27 北京北纬通信科技股份有限公司 一种在移动终端上实现隐私短信的方法及其系统
US20100011000A1 (en) * 2008-07-11 2010-01-14 International Business Machines Corp. Managing the creation, detection, and maintenance of sensitive information
CN101814119A (zh) * 2010-02-13 2010-08-25 武汉理工大学 具有隐私保护的用户模型构建方法
CN102096703A (zh) * 2010-12-29 2011-06-15 北京新媒传信科技有限公司 短消息的过滤方法和设备
CN102760130A (zh) * 2011-04-27 2012-10-31 腾讯科技（深圳）有限公司 处理信息的方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657180A (zh) * 2016-07-26 2018-02-02 阿里巴巴集团控股有限公司 一种信息处理客户端、服务器及方法
CN106372515A (zh) * 2016-08-22 2017-02-01 上海亿账通互联网科技有限公司 敏感代码的托管监控方法及服务器
CN106411705A (zh) * 2016-09-22 2017-02-15 珠海市魅族科技有限公司 一种发送消息的方法及装置
CN110506271A (zh) * 2017-03-23 2019-11-26 微软技术许可有限责任公司 针对隐私敏感用户内容的可配置注释
CN110506271B (zh) * 2017-03-23 2023-09-29 微软技术许可有限责任公司 针对隐私敏感用户内容的可配置注释
CN109389412A (zh) * 2017-08-02 2019-02-26 阿里巴巴集团控股有限公司 一种训练模型的方法及装置
CN110096695A (zh) * 2018-01-30 2019-08-06 腾讯科技（深圳）有限公司 超链接标记方法和装置、文本分类方法和装置
CN110096695B (zh) * 2018-01-30 2023-01-03 腾讯科技（深圳）有限公司 超链接标记方法和装置、文本分类方法和装置
CN109347980A (zh) * 2018-11-23 2019-02-15 网易有道信息技术（北京）有限公司 呈现、推送信息的方法、介质、装置和计算设备
CN109347980B (zh) * 2018-11-23 2022-07-15 网易有道信息技术（北京）有限公司 呈现、推送信息的方法、介质、装置和计算设备

Also Published As

Publication number Publication date
EP2819351A1 (en) 2014-12-31
US9195842B2 (en) 2015-11-24
EP2819351B1 (en) 2016-09-28
CN104252479B (zh) 2018-05-18
US20150007336A1 (en) 2015-01-01

Similar Documents

Publication Publication Date Title
CN104252479A (zh) 信息的处理方法、装置和系统
CN107872772B (zh) 诈骗短信的检测方法及装置
CN110442712B (zh) 风险的确定方法、装置、服务器和文本审理系统
JP5930217B2 (ja) 特定のテーマに依存して危険表現となりうる表現を検出する方法、並びに、当該表現を検出するための電子装置及びその電子装置用プログラム
CN105049607B (zh) 一种短信显示方法及移动终端
CN106372057A (zh) 内容的审核方法及装置
CN106792250A (zh) 弹幕信息交互方法及装置
CN112860902A (zh) 舆情情感热度计算方法及装置
CN111488995A (zh) 用于评估联合训练模型的方法和装置
CN104080058A (zh) 信息处理方法及装置
CN105912372A (zh) 应用程序禁用方法
CN109919656A (zh) 广告投放方法、装置、计算机设备及存储介质
CN107895119A (zh) 程序安装包检测方法、装置及电子设备
CN111340062A (zh) 一种映射关系确定方法及装置
CN111177536B (zh) 基于设备指纹对未登录用户传送定制信息的方法、装置及电子设备
CN112446736A (zh) 一种点击通过率ctr预测方法及装置
CN107292596A (zh) 防自动刷红包的装置与方法及服务端
CN108182024A (zh) 未读消息的处理方法和装置
CN105989103A (zh) 一种应用程序推荐方法及终端
CN108259312A (zh) 信息发布方法、装置及服务器
CN107659647A (zh) 水帖识别方法和装置
CN106060000A (zh) 一种识别验证信息的方法和设备
CN105610698A (zh) 事件结果的处理方法和装置
CN109491748A (zh) 一种基于小程序的可穿戴设备管控方法及管控终端
CN109379361B (zh) 一种地址的标签确定方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant