CN109617973A - 一种社会安全综合评估系统及方法 - Google Patents
一种社会安全综合评估系统及方法 Download PDFInfo
- Publication number
- CN109617973A CN109617973A CN201811544346.2A CN201811544346A CN109617973A CN 109617973 A CN109617973 A CN 109617973A CN 201811544346 A CN201811544346 A CN 201811544346A CN 109617973 A CN109617973 A CN 109617973A
- Authority
- CN
- China
- Prior art keywords
- data
- distribution server
- media data
- distribution
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 8
- 241001269238 Data Species 0.000 claims description 18
- 210000003813 thumb Anatomy 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 14
- 230000000717 retained effect Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 239000004744 fabric Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种社会安全综合评估系统及方法,包括调度服务器和多个分布服务器,所述分布服务器用于区域性的媒体数据采集,并将采集到的媒体数据经筛选后存储在分布服务器内,分布服务器内包括优先存储区和备份存储区。实现采集任务的分布式调度,有效利用各分布服务器的计算和网络资源;实现采集任务的实时状态监控和采集策略管理;实时分配计算资源,实现数据采集的负载均衡。实现对用户关注的新闻网站、社交网站等信息源进行数据采集与管理,能够对社交网站和公开网站进行信息监测和信息聚合,防止谣言传播,有利于舆论控制。能够控制热点舆论的传播,有效把握舆论方向,确定重点人物并及时预警。
Description
技术领域
本发明涉及社会安全领域,具体涉及一种社会安全综合评估系统及方法。
背景技术
网络谣言是指通过网络介质(例如微博、网络论坛、社交网站、聊天软件等)而传播的没有事实依据带有攻击性,目的性的话语。主要涉及突发事件、公共领域、名人要员、颠覆传统、离经叛道等内容。谣言传播具有突发性且流传速度极快,因此对正常的社会秩序易造成不良影响。偷换概念、以偏概全,食品谣言防不胜防;宁信其有、不信其无,从众心理加速传播。网络谣言是网络世界里的一个顽疾,尽管之前我国颁布了相关法律和司法解释,但网络谣言仍是"野蛮生长",甚至成为社会的公害。谣言给不明真相的网民带来对社会的忿恨和恐慌,严重扰乱了社会秩序,对于社会和公众的安全有极大的影响。
现有社会安全评估系统往往不能做到对用户关注的新闻网站、社交网站等信息源的数据进行采集与管理。公开网站和社交网站信息监测、传播分析、事件分析,同时无法对热点舆论和重点人物进行预警,事件布控能力较弱。
发明内容
为了解决上述的技术问题,本发明的目的在于提供一种社会安全综合评估系统及方法。
本发明所要解决的技术问题为:
(1)如何采集用户关注的数据并进行管理。
(2)如何高效的存储和使用采集的数据。
(3)如何提升事件的预警能力和布控能力。
本发明的目的可以通过以下技术方案实现:
一种社会安全综合评估系统,包括调度服务器和多个分布服务器,所述分布服务器用于区域性的媒体数据采集,并将采集到的媒体数据经筛选后存储在分布服务器内,分布服务器内包括优先存储区和备份存储区;
所述分布服务器的数据采集方法如下:
S1、用户注册需至少绑定一个社交网站账号和一个手机号码,并选择至少一个关注的网站;
S2、根据用户的手机号码筛选出分布服务器服务范围内的所有用户,并获取用户在公开网站和社交网站内收藏、转发、评论、点赞的媒体数据,作为关注数据;
S3、统计关注人数前十的网站,作为优先采集网站,并从优先采集网站中筛选出收藏量、转发量、评论数、点赞数中每一项排名前十的媒体数据,并统计绑定人数排名前三的社交网站,作为优先监控网站;
S4、对S2至S3中采集的媒体数据进行关键字提取,得到媒体数据的标题、报道日期、地点、人物姓名,作为媒体数据的关键字信息,并根据关键字信息对媒体数据进行去重,将具有不同关键字信息的媒体数据存储至优先存储区内,将具有相同关键字信息的媒体数据按浏览量大小进行排序,将浏览量最大的媒体数据保留,并存储至优先存储区,其余媒体数据不进行存储;
S5、S2至S4中的所有媒体数据每天更新一次。
所述调度服务器根据数据分配规则分配及管理媒体数据,以及接收所有用户的请求指令,并筛选出优选的分布服务器,让用户直接从优选的分布服务器获取媒体数据;以及给用户推送消息;
所述调度服务器分配及管理媒体数据的步骤如下:
SS1、将所有分布服务器内的关键字信息进行对比,筛选出所有具有相同关键字信息的所有媒体数据和对应的分布服务器,并根据调度服务器的数据分配规则选择保留其中两个分布服务器内的媒体数据,一个作为高优先级数据,存储在分布服务器中的优先存储区,另一个作为低优先级数据,存储在分布服务器中的备份存储区,并删除其他分布服务器中重复的媒体数据。
SS2、当调度服务器获取分布服务器中媒体数据时,首先调取优先存储区内的媒体数据,当优先存储区所在分布服务器出现故障时,选择从另一个分布服务器中的备份存储区内调取媒体数据;
SS3、根据报道日期、地点、人物姓名,在所有的分布服务器中筛选出具有相同地点和人物姓名的多个媒体数据,作为同主题数据,再将同主题数据按日期的远近进行排列,制作成事件时间线;
SS4、在用户浏览同主题数据中的一个媒体数据时,向用户推送事件时间线,并在每次事件时间线更新数据后推送给收藏、转发、评论、点赞的用户。
进一步的,所述数据分配规则的方法如下:
步骤一、记录每个分布服务器的负载数据,将分布服务器负载率在80%以上时作为高负载,并计算出各个分布服务器一个月内的高负载的时长与总运行时长的占比,同时计算各个分布服务器一个月内的平均负载率;
步骤二、剔除所有高负载的时长与总运行时长的占比超过60%的分布服务器,再将其余的分布服务器按照平均负载率从低至高排列,选择平均负载率最低的五个分布服务器作为初次备选组;
步骤三、统计初次备选组内各个分布服务器的空余存储空间,并按照空余存储空间的大小进行排列,筛选出空余存储空间最大的三个分布服务器,作为二次备选组;
步骤四、根据用户ip地址,计算每个收藏、转发、评论、点赞的用户与二次备选组内的分布服务器的所在地的距离,并计算出二次备选组内的各个分布服务器与用户的距离总和,选择距离总和最小的分布服务器存储高优先级数据,并选择距离总和第二的分布服务器存储低优先级数据。
进一步的,所述调度服务器中设置有屏蔽数据,所述屏蔽数据内包含有屏蔽文字数据、屏蔽音频数据、屏蔽图片数据和屏蔽视频数据,由人工手动更新,当所述同主题数据的收藏、转发、评论、点赞的用户数超过用户总数的20%时,则将所述同主题数据标记为热点事件,从优先监控网站中的筛选包含关键字信息的评论,再筛选出包含屏蔽数据的评论,并通知社交网站将该评论删除。
进一步的,所述调度服务器通过包含屏蔽数据的评论确定用户信息,并给用户标记一次危险言论,当同一用户被标记超过10次危险言论,则将该用户标记为观察人员,所述观察人员在收藏、转发、评论、点赞时,需要进行人工审核后发布。
一种社会安全综合评估方法,包括用于区域性的媒体数据采集和存储的调度服务器和用于分配及管理媒体数据的多个分布服务器,所述分布服务器的数据采集方法如下:
S1、用户注册需至少绑定一个社交网站账号和一个手机号码,并选择至少一个关注的网站;
S2、根据用户的手机号码筛选出分布服务器服务范围内的所有用户,并获取用户在公开网站和社交网站内收藏、转发、评论、点赞的媒体数据,作为关注数据;
S3、统计关注人数前十的网站,作为优先采集网站,并从优先采集网站中筛选出收藏量、转发量、评论数、点赞数中每一项排名前十的媒体数据,并统计绑定人数排名前三的社交网站,作为优先监控网站;
S4、对S2至S3中采集的媒体数据进行关键字提取,得到媒体数据的标题、报道日期、地点、人物姓名,作为媒体数据的关键字信息,并根据关键字信息对媒体数据进行去重,将具有不同关键字信息的媒体数据存储至优先存储区内,将具有相同关键字信息的媒体数据按浏览量大小进行排序,将浏览量最大的媒体数据保留,并存储至优先存储区,其余媒体数据不进行存储;
S5、S2至S4中的所有媒体数据每天更新一次;
所述调度服务器分配及管理媒体数据的方法如下:
SS1、将所有分布服务器内的关键字信息进行对比,筛选出所有具有相同关键字信息的所有媒体数据和对应的分布服务器,并根据调度服务器的数据分配规则选择保留其中两个分布服务器内的媒体数据,一个作为高优先级数据,存储在分布服务器中的优先存储区,另一个作为低优先级数据,存储在分布服务器中的备份存储区,并删除其他分布服务器中重复的媒体数据;
SS2、当调度服务器获取分布服务器中媒体数据时,首先调取优先存储区内的媒体数据,当优先存储区所在分布服务器出现故障时,选择从另一个分布服务器中的备份存储区内调取媒体数据;
SS3、根据报道日期、地点、人物姓名,在所有的分布服务器中筛选出具有相同地点和人物姓名的多个媒体数据,作为同主题数据,再将同主题数据按日期的远近进行排列,制作成事件时间线;
SS4、在用户浏览同主题数据中的一个媒体数据时,向用户推送事件时间线,并在每次事件时间线更新数据后推送给收藏、转发、评论、点赞的用户。
本发明的有益效果:
(1)通过设置多个分布服务器,形成丰富的采集节点池;实现采集任务的分布式调度,有效利用各分布服务器的计算和网络资源;通过设置调度服务器实现采集任务的实时状态监控和采集策略管理;实时分配计算资源,实现数据采集的负载均衡。
(2)通过分布服务器的数据采集,能够实现对用户关注的新闻网站、社交网站等信息源进行数据采集与管理,能够即时了解用户关注信息,方便信息的聚合与分析。
(3)通过调度服务器分配及管理媒体数据,能够对社交网站和公开网站进行信息监测和信息聚合,对重复数据进行整合分析,得出事件时间线,有利于用户了解时间真相,防止谣言传播,有利于舆论控制。
(4)通过在调度服务器中设置有屏蔽数据,能够控制热点舆论的传播,有效把握舆论方向,确定重点人物并及时预警。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1所示,本实施例提供了一种社会安全综合评估系统,包括调度服务器和多个分布服务器,分布服务器用于区域性的媒体数据采集,并将采集到的媒体数据经筛选后存储在分布服务器内,分布服务器内包括优先存储区和备份存储区;采集任务采用分布式调度,有有效利用各分布服务器的计算和网络资源;实现采集任务的实时状态监控和采集策略管理;实时分配计算资源,实现数据采集的负载均衡。
分布服务器的数据采集方法如下:
S1、用户注册需至少绑定一个社交网站账号和一个手机号码,并选择至少一个关注的网站;
S2、根据用户的手机号码筛选出分布服务器服务范围内的所有用户,并获取用户在公开网站和社交网站内收藏、转发、评论、点赞的媒体数据,媒体数据包括文字、图片、音频、视频等,作为关注数据;可得到用户关注的媒体数据。
S3、统计关注人数前十的网站,作为优先采集网站,并从优先采集网站中筛选出收藏量、转发量、评论数、点赞数中每一项排名前十的媒体数据,采集这些网站最受欢迎的媒体数据,方便对最新的热点事件进行数据采集,并统计绑定人数排名前三的社交网站,作为优先监控网站;
S4、对S2至S3中采集的媒体数据进行关键字提取,得到媒体数据的标题、报道日期、地点、人物姓名,作为媒体数据的关键字信息,并根据关键字信息对媒体数据进行去重,将具有不同关键字信息的媒体数据存储至优先存储区内,将具有相同关键字信息的媒体数据按浏览量大小进行排序,将浏览量最大的媒体数据保留,并存储至优先存储区,其余媒体数据不进行存储;通过标题、报道日期、地点、人物姓名可判断是否属于不同网站对同一个事件的不同报道,如果相同只需保留浏览量最大的数据即可,其他可删除,以提升单个分布服务器的存储空间的利用率。
S5、S2至S4中的所有媒体数据每天更新一次。更新频率高,可保证对热点事件的最新进展即时最终,方便将最新消息推送给用户
调度服务器根据数据分配规则分配及管理媒体数据,以及接收所有用户的请求指令,并筛选出优选的分布服务器,让用户直接从优选的分布服务器获取媒体数据;以及给用户推送消息;
调度服务器分配及管理媒体数据的步骤如下:
SS1、将所有分布服务器内的关键字信息进行对比,筛选出所有具有相同关键字信息的所有媒体数据和对应的分布服务器,并根据调度服务器的数据分配规则选择保留其中两个分布服务器内的媒体数据,一个作为高优先级数据,存储在分布服务器中的优先存储区,另一个作为低优先级数据,存储在分布服务器中的备份存储区,并删除其他分布服务器中重复的媒体数据。能够在全网范围内对存储空间进行进一步的优化,将多个分布服务器内存储的相同数据进行筛选,选择最适合的两个分布服务器保留数据,其他删除分布服务器内的数据,能提升系统整体的存储空间利用率。
SS2、当调度服务器获取分布服务器中媒体数据时,首先调取优先存储区内的媒体数据,当优先存储区所在分布服务器出现故障时,选择从另一个分布服务器中的备份存储区内调取媒体数据;在正常工作时,选择优选的服务器,出现意外情况时,选择备份的服务器,能够保证用户正常访问。
SS3、根据报道日期、地点、人物姓名,在所有的分布服务器中筛选出具有相同地点和人物姓名的多个媒体数据,作为同主题数据,再将同主题数据按日期的远近进行排列,制作成事件时间线;在全网范围内对同一事件的媒体数据进行整合分析,通过事件时间线可向用户完整的展示事件的发展,有助于用户了解时间真相,防止谣言传播。
SS4、在用户浏览同主题数据中的一个媒体数据时,向用户推送事件时间线,并在每次事件时间线更新数据后推送给收藏、转发、评论、点赞的用户。有利于关注此事件的用户在第一时间了解到时间的最新进展,防止谣言传播,增强舆论控制能力。
数据分配规则的方法如下:
步骤一、记录每个分布服务器的负载数据,将分布服务器负载率在80%以上时作为高负载,并计算出各个分布服务器一个月内的高负载的时长与总运行时长的占比,同时计算各个分布服务器一个月内的平均负载率;
步骤二、剔除所有高负载的时长与总运行时长的占比超过60%的分布服务器,再将其余的分布服务器按照平均负载率从低至高排列,选择平均负载率最低的五个分布服务器作为初次备选组;在存储重复的数据前,前排除掉高负载的分布服务器,有助于缓解服务器的压力,同时能够对访问用户进行引流,并提高其他分布服务器的利用率。
步骤三、统计初次备选组内各个分布服务器的空余存储空间,并按照空余存储空间的大小进行排列,筛选出空余存储空间最大的三个分布服务器,作为二次备选组;进一步在全网范围内调控存储空间的利用率,防止某个分布服务器的存储压力过大,而其他的分布服务器存储利用率不高。
步骤四、根据用户ip地址,计算每个收藏、转发、评论、点赞的用户与二次备选组内的分布服务器的所在地的距离,并计算出二次备选组内的各个分布服务器与用户的距离总和,选择距离总和最小的分布服务器存储高优先级数据,并选择距离总和第二的分布服务器存储低优先级数据。选择对全部关注用户来说距离最近的服务器,提升访问速度,改善用户的使用体验。
调度服务器中设置有屏蔽数据,屏蔽数据内包含有屏蔽文字数据、屏蔽音频数据、屏蔽图片数据和屏蔽视频数据,由人工手动更新,当同主题数据的收藏、转发、评论、点赞的用户数超过用户总数的20%时,则将同主题数据标记为热点事件,从优先监控网站中的筛选包含关键字信息的评论,再筛选出包含屏蔽数据的评论,并通知社交网站将该评论删除。能够保持对热点事件的实时监控,并通过设置的屏蔽数据,对舆论进行控制,加强对事件的布控能力。
调度服务器通过包含屏蔽数据的评论确定用户信息,并给用户标记一次危险言论,当同一用户被标记超过10次危险言论,则将该用户标记为观察人员,观察人员在收藏、转发、评论、点赞时,需要进行人工审核才能发布。通过屏蔽数据筛选出需要重点监控的人员,并将其标记分类,在发表媒体数据时,需要审核,能够提升预警能力,从源头对谣言进行遏制。
一种社会安全综合评估方法,包括用于区域性的媒体数据采集和存储的调度服务器和用于分配及管理媒体数据的多个分布服务器,分布服务器的数据采集方法如下:
S1、用户注册需至少绑定一个社交网站账号和一个手机号码,并选择至少一个关注的网站;
S2、根据用户的手机号码筛选出分布服务器服务范围内的所有用户,并获取用户在公开网站和社交网站内收藏、转发、评论、点赞的媒体数据,作为关注数据;
S3、统计关注人数前十的网站,作为优先采集网站,并从优先采集网站中筛选出收藏量、转发量、评论数、点赞数中每一项排名前十的媒体数据,并统计绑定人数排名前三的社交网站,作为优先监控网站;
S4、对S2至S3中采集的媒体数据进行关键字提取,得到媒体数据的标题、报道日期、地点、人物姓名,作为媒体数据的关键字信息,并根据关键字信息对媒体数据进行去重,将具有不同关键字信息的媒体数据存储至优先存储区内,将具有相同关键字信息的媒体数据按浏览量大小进行排序,将浏览量最大的媒体数据保留,并存储至优先存储区,其余媒体数据不进行存储;
S5、S2至S4中的所有媒体数据每天更新一次;
调度服务器分配及管理媒体数据的方法如下:
SS1、将所有分布服务器内的关键字信息进行对比,筛选出所有具有相同关键字信息的所有媒体数据和对应的分布服务器,并根据调度服务器的数据分配规则选择保留其中两个分布服务器内的媒体数据,一个作为高优先级数据,存储在分布服务器中的优先存储区,另一个作为低优先级数据,存储在分布服务器中的备份存储区,并删除其他分布服务器中重复的媒体数据;
SS2、当调度服务器获取分布服务器中媒体数据时,首先调取优先存储区内的媒体数据,当优先存储区所在分布服务器出现故障时,选择从另一个分布服务器中的备份存储区内调取媒体数据;
SS3、根据报道日期、地点、人物姓名,在所有的分布服务器中筛选出具有相同地点和人物姓名的多个媒体数据,作为同主题数据,再将同主题数据按日期的远近进行排列,制作成事件时间线;
SS4、在用户浏览同主题数据中的一个媒体数据时,向用户推送事件时间线,并在每次事件时间线更新数据后推送给收藏、转发、评论、点赞的用户。
本实施例的具体工作过程如下:
1)用户发送指令,调度服务器接收后进行分析处理,为用户选择符合条件的分布服务器,随后用户从分布服务器中直接获取需要的数据;
2)分布服务器确定服务的用户,并采集用户的信息和关注数据,并根据关注数据进行媒体数据的筛选,将选择出的媒体文件经去重后保存,并每天更新;
3)调度服务器对各个分布服务器内的数据进行分析处理,删除重复的数据,保留一个作为优选,另一个作为备份,同时将这两个数据存放至低负载,低存储压力,同时离对应用户最近的分布服务器内。
4)调度服务器通过对所有用户和热点事件进行监管,控制舆论的发展,对有害言论及时提醒网站删除,同时对重点人员进行管控,在事件有最新消息时,即时推送,控制舆论发展。
本发明的有益效果:
(1)通过设置多个分布服务器,形成丰富的采集节点池;实现采集任务的分布式调度,有效利用各分布服务器的计算和网络资源;通过设置调度服务器实现采集任务的实时状态监控和采集策略管理;实时分配计算资源,实现数据采集的负载均衡。
(2)通过分布服务器的数据采集,能够实现对用户关注的新闻网站、社交网站等信息源进行数据采集与管理,能够即时了解用户关注信息,方便信息的聚合与分析。
(3)通过调度服务器分配及管理媒体数据,能够对社交网站和公开网站进行信息监测和信息聚合,对重复数据进行整合分析,得出事件时间线,有利于用户了解时间真相,防止谣言传播,有利于舆论控制。
(4)通过在调度服务器中设置有屏蔽数据,能够控制热点舆论的传播,有效把握舆论方向,确定重点人物并及时预警。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (5)
1.一种社会安全综合评估系统,包括调度服务器和多个分布服务器,其特征在于,所述分布服务器用于区域性的媒体数据采集,并将采集到的媒体数据经筛选后存储在分布服务器内,分布服务器内包括优先存储区和备份存储区;
所述分布服务器的数据采集方法如下:
S1、用户注册需至少绑定一个社交网站账号和一个手机号码,并选择至少一个关注的网站;
S2、根据用户的手机号码筛选出分布服务器服务范围内的所有用户,并获取用户在公开网站和社交网站内收藏、转发、评论、点赞的媒体数据,作为关注数据;
S3、统计关注人数前十的网站,作为优先采集网站,并从优先采集网站中筛选出收藏量、转发量、评论数、点赞数中每一项排名前十的媒体数据,并统计绑定人数排名前三的社交网站,作为优先监控网站;
S4、对S2至S3中采集的媒体数据进行关键字提取,得到媒体数据的标题、报道日期、地点、人物姓名,作为媒体数据的关键字信息,并根据关键字信息对媒体数据进行去重,将具有不同关键字信息的媒体数据存储至优先存储区内,将具有相同关键字信息的媒体数据按浏览量大小进行排序,将浏览量最大的媒体数据保留,并存储至优先存储区,其余媒体数据不进行存储;
S5、S2至S4中的所有媒体数据每天更新一次;
所述调度服务器根据数据分配规则分配及管理媒体数据,以及接收所有用户的请求指令,并筛选出优选的分布服务器,让用户直接从优选的分布服务器获取媒体数据;以及给用户推送消息;
所述调度服务器分配及管理媒体数据的步骤如下:
SS1、将所有分布服务器内的关键字信息进行对比,筛选出所有具有相同关键字信息的所有媒体数据和对应的分布服务器,并根据调度服务器的数据分配规则选择保留其中两个分布服务器内的媒体数据,一个作为高优先级数据,存储在分布服务器中的优先存储区,另一个作为低优先级数据,存储在分布服务器中的备份存储区,并删除其他分布服务器中重复的媒体数据;
SS2、当调度服务器获取分布服务器中媒体数据时,首先调取优先存储区内的媒体数据,当优先存储区所在分布服务器出现故障时,选择从另一个分布服务器中的备份存储区内调取媒体数据;
SS3、根据报道日期、地点、人物姓名,在所有的分布服务器中筛选出具有相同地点和人物姓名的多个媒体数据,作为同主题数据,再将同主题数据按日期的远近进行排列,制作成事件时间线;
SS4、在用户浏览同主题数据中的一个媒体数据时,向用户推送事件时间线,并在每次事件时间线更新数据后推送给收藏、转发、评论、点赞的用户。
2.根据权利要求1所述的一种社会安全综合评估系统,其特征在于,所述数据分配规则的方法如下:
步骤一、记录每个分布服务器的负载数据,将分布服务器负载率在80%以上时作为高负载,并计算出各个分布服务器一个月内的高负载的时长与总运行时长的占比,同时计算各个分布服务器一个月内的平均负载率;
步骤二、剔除所有高负载的时长与总运行时长的占比超过60%的分布服务器,再将其余的分布服务器按照平均负载率从低至高排列,选择平均负载率最低的五个分布服务器作为初次备选组;
步骤三、统计初次备选组内各个分布服务器的空余存储空间,并按照空余存储空间的大小进行排列,筛选出空余存储空间最大的三个分布服务器,作为二次备选组;
步骤四、根据用户ip地址,计算每个收藏、转发、评论、点赞的用户与二次备选组内的分布服务器的所在地的距离,并计算出二次备选组内的各个分布服务器与用户的距离总和,选择距离总和最小的分布服务器存储高优先级数据,并选择距离总和第二的分布服务器存储低优先级数据。
3.根据权利要求1所述的一种社会安全综合评估系统,其特征在于,所述调度服务器中设置有屏蔽数据,所述屏蔽数据内包含有屏蔽文字数据、屏蔽音频数据、屏蔽图片数据和屏蔽视频数据,由人工手动更新,当所述同主题数据的收藏、转发、评论、点赞的用户数超过用户总数的20%时,则将所述同主题数据标记为热点事件,从优先监控网站中的筛选包含关键字信息的评论,再筛选出包含屏蔽数据的评论,并通知社交网站将该评论删除。
4.根据权利要求3所述的一种社会安全综合评估系统,其特征在于,所述调度服务器通过包含屏蔽数据的评论确定用户信息,并给用户标记一次危险言论,当同一用户被标记超过10次危险言论,则将该用户标记为观察人员,所述观察人员在收藏、转发、评论、点赞时,需要进行人工审核后发布。
5.一种社会安全综合评估方法,包括用于区域性的媒体数据采集和存储的调度服务器和用于分配及管理媒体数据的多个分布服务器,其特征在于,所述分布服务器的数据采集方法如下:
S1、用户注册需至少绑定一个社交网站账号和一个手机号码,并选择至少一个关注的网站;
S2、根据用户的手机号码筛选出分布服务器服务范围内的所有用户,并获取用户在公开网站和社交网站内收藏、转发、评论、点赞的媒体数据,作为关注数据;
S3、统计关注人数前十的网站,作为优先采集网站,并从优先采集网站中筛选出收藏量、转发量、评论数、点赞数中每一项排名前十的媒体数据,并统计绑定人数排名前三的社交网站,作为优先监控网站;
S4、对S2至S3中采集的媒体数据进行关键字提取,得到媒体数据的标题、报道日期、地点、人物姓名,作为媒体数据的关键字信息,并根据关键字信息对媒体数据进行去重,将具有不同关键字信息的媒体数据存储至优先存储区内,将具有相同关键字信息的媒体数据按浏览量大小进行排序,将浏览量最大的媒体数据保留,并存储至优先存储区,其余媒体数据不进行存储;
S5、S2至S4中的所有媒体数据每天更新一次;
所述调度服务器分配及管理媒体数据的方法如下:
SS1、将所有分布服务器内的关键字信息进行对比,筛选出所有具有相同关键字信息的所有媒体数据和对应的分布服务器,并根据调度服务器的数据分配规则选择保留其中两个分布服务器内的媒体数据,一个作为高优先级数据,存储在分布服务器中的优先存储区,另一个作为低优先级数据,存储在分布服务器中的备份存储区,并删除其他分布服务器中重复的媒体数据;
SS2、当调度服务器获取分布服务器中媒体数据时,首先调取优先存储区内的媒体数据,当优先存储区所在分布服务器出现故障时,选择从另一个分布服务器中的备份存储区内调取媒体数据;
SS3、根据报道日期、地点、人物姓名,在所有的分布服务器中筛选出具有相同地点和人物姓名的多个媒体数据,作为同主题数据,再将同主题数据按日期的远近进行排列,制作成事件时间线;
SS4、在用户浏览同主题数据中的一个媒体数据时,向用户推送事件时间线,并在每次事件时间线更新数据后推送给收藏、转发、评论、点赞的用户。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811544346.2A CN109617973B (zh) | 2018-12-17 | 2018-12-17 | 一种社会安全综合评估系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811544346.2A CN109617973B (zh) | 2018-12-17 | 2018-12-17 | 一种社会安全综合评估系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109617973A true CN109617973A (zh) | 2019-04-12 |
CN109617973B CN109617973B (zh) | 2021-07-20 |
Family
ID=66009461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811544346.2A Active CN109617973B (zh) | 2018-12-17 | 2018-12-17 | 一种社会安全综合评估系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109617973B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090216747A1 (en) * | 2008-02-25 | 2009-08-27 | Georgetown University- Otc | System and method for detecting, collecting, analyzing, and communicating event-related information |
CN101610169A (zh) * | 2009-07-24 | 2009-12-23 | 成都思维世纪科技有限责任公司 | 互联网多媒体内容监控方法及其装置 |
CN102073960A (zh) * | 2010-09-15 | 2011-05-25 | 江苏仕德伟网络科技股份有限公司 | 一种网站营销过程中运行效果的评估方法 |
CN102088371A (zh) * | 2009-12-03 | 2011-06-08 | 成都康特电子高新科技公司 | Wap内容监控方法 |
CN106326496A (zh) * | 2016-09-30 | 2017-01-11 | 广州特道信息科技有限公司 | 一种基于云平台的新闻阅读系统 |
CN107633044A (zh) * | 2017-09-14 | 2018-01-26 | 国家计算机网络与信息安全管理中心 | 一种基于热点事件的舆情知识图谱构建方法 |
CN108984667A (zh) * | 2018-06-29 | 2018-12-11 | 郑州中博奥信息技术有限公司 | 一种舆情监测系统 |
-
2018
- 2018-12-17 CN CN201811544346.2A patent/CN109617973B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090216747A1 (en) * | 2008-02-25 | 2009-08-27 | Georgetown University- Otc | System and method for detecting, collecting, analyzing, and communicating event-related information |
CN101610169A (zh) * | 2009-07-24 | 2009-12-23 | 成都思维世纪科技有限责任公司 | 互联网多媒体内容监控方法及其装置 |
CN102088371A (zh) * | 2009-12-03 | 2011-06-08 | 成都康特电子高新科技公司 | Wap内容监控方法 |
CN102073960A (zh) * | 2010-09-15 | 2011-05-25 | 江苏仕德伟网络科技股份有限公司 | 一种网站营销过程中运行效果的评估方法 |
CN106326496A (zh) * | 2016-09-30 | 2017-01-11 | 广州特道信息科技有限公司 | 一种基于云平台的新闻阅读系统 |
CN107633044A (zh) * | 2017-09-14 | 2018-01-26 | 国家计算机网络与信息安全管理中心 | 一种基于热点事件的舆情知识图谱构建方法 |
CN108984667A (zh) * | 2018-06-29 | 2018-12-11 | 郑州中博奥信息技术有限公司 | 一种舆情监测系统 |
Non-Patent Citations (1)
Title |
---|
邹妍: "网络舆情监控与分析系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN109617973B (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zheng et al. | SmartHS: An AI platform for improving government service provision | |
Pope et al. | Has the NHS 111 urgent care telephone service been a success? Case study and secondary data analysis in England | |
TWI337715B (en) | Method and system for complex event processing | |
Aiken et al. | Integrating expert systems with group decision support systems | |
CN100518191C (zh) | 通讯网络中对服务质量进行保障的方法及系统 | |
CN103460236B (zh) | 信息提供装置、信息提供方法 | |
US20090222750A1 (en) | Enterprise social networking software architecture | |
CN107846679A (zh) | 电话号码二次放号的处理方法、系统以及运营商系统 | |
CN101160873A (zh) | 一种呈现信息的通知方法和系统 | |
CN103327124B (zh) | 一种文件同步的方法、装置、客户端、服务器端及设备 | |
CN109800262A (zh) | 数据共享交换方法及系统 | |
CN102833111B (zh) | 一种可视化http数据监管方法及装置 | |
EP2241079A1 (en) | Method and system for managing discourse in a virtual community | |
CN102456048A (zh) | 海量数据处理方法及系统 | |
CN106529152A (zh) | 一种医院数字化后勤设备管理系统 | |
CN111047143A (zh) | 一种基于电网oms的地、县班组指标管理系统 | |
CN102148712A (zh) | 基于云计算的服务管理系统 | |
CN105046567A (zh) | 一种基于社交化的社区服务系统 | |
CN106651608A (zh) | 一种农业信息化服务三农网络系统 | |
CN109102249A (zh) | 一种环保督查工作管理平台 | |
CN109617973A (zh) | 一种社会安全综合评估系统及方法 | |
CN109743248A (zh) | 内容发布方法、装置、终端、服务器及存储介质 | |
CN108304731A (zh) | 一种管理企业数据调用的方法、系统及信息处理平台 | |
CN103731362A (zh) | 一种带有流量控制的异地就医系统 | |
CN110351113A (zh) | 网络安全应急信息汇集分析系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |