CN115811546A - 用于科技服务实现网络协同分布式处理的系统及其方法 - Google Patents

用于科技服务实现网络协同分布式处理的系统及其方法 Download PDF

Info

Publication number
CN115811546A
CN115811546A CN202211439629.7A CN202211439629A CN115811546A CN 115811546 A CN115811546 A CN 115811546A CN 202211439629 A CN202211439629 A CN 202211439629A CN 115811546 A CN115811546 A CN 115811546A
Authority
CN
China
Prior art keywords
service
scientific
technological
cluster
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211439629.7A
Other languages
English (en)
Other versions
CN115811546B (zh
Inventor
费敏锐
吕泽昊
周文举
王海宽
沈赟怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202211439629.7A priority Critical patent/CN115811546B/zh
Publication of CN115811546A publication Critical patent/CN115811546A/zh
Application granted granted Critical
Publication of CN115811546B publication Critical patent/CN115811546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种用于科技服务实现网络协同分布式处理的系统,其中,该系统包括协同中心模块、微服务模块、分布式缓存模块、负载均衡模块、消息队列模块、搜索集群模块和日志管理模块。还涉及一种相应的方法,该方法包括如下步骤:将科技服务平台耦合的复杂业务拆分为独立的子服务模块;服务集群统一进行资源配置、服务注册与数据关联;科技服务资源的栅格化切分,确定科技服务要素信息模型基本范式;分布式缓存集群进行分组细化,将常用读写操作暂时迁移至内存中;定义负载状态,采集负载信息,对负载进行量化处理;路由进程消息进入消息队列,主动拉取消息进行解析。本发明通过集群式管理平台各子服务模块,能够有效的提升科技服务平台运营效率。

Description

用于科技服务实现网络协同分布式处理的系统及其方法
技术领域
本发明涉及技术科技服务技术领域,尤其涉及网络协同服务技术领域,具体是指一种用于科技服务实现网络协同分布式处理的系统及其方法。
背景技术
科技服务业是现代服务业的重要组成部分之一,是一项为科技创新全链条提供服务的新兴产业。对比国外的科技服务行业,我国在该行业有着起步晚、发展速度快的特点,目前处于发展总体规模较小但增长速度快的阶段。
在大数据环境下,网络信息资源源源不断地被无数台计算机、手机设备产出,数量极为庞大。为了实现知识科技创新,必须充分利用网络信息资源,网络协同将政府、企业、高校、科研院所、园区用户等主体组织起来形成大跨度整合的网络协同应用组织。
在新时代,面对海量数据,以分布式为特征的大数据平台拔地而起,相比较于传统的集中式平台,分布式平台大幅度提升性能和并发,操作被分发到不同的分片,相互独立,提升系统的可用性,即使部分分片不能用,其他分片也不会收到影响。
传统科技服务平台基于集中式进行架构,集中式互联网连接存在单点故障的风险,因为数据在传播前通过单一的点。由于备份系统正在工作,服务器托管故障可能导致大量数据丢失,使得人们难以在给定时间访问数据。可扩展性有限是集中式网络的另一个缺点,因为所有核心应用程序都位于单个服务器中。随着对互联网连接需求的增加,对存储和带宽以及处理能力的要求也随之增加。
发明内容
本发明的目的是克服了上述现有技术的缺点,提供了一种满足准确性高、灵活性好、资源转化率高的用于科技服务实现网络协同分布式处理的系统及其方法。
为了实现上述目的,本发明的用于科技服务实现网络协同分布式处理的系统及其方法如下:
该用于科技服务实现网络协同分布式处理的系统,其主要特点是,所述的系统包括:
协同中心模块,用于记录各个服务的ip地址、端口号和其服务的功能,统一管理整个服务集群的配置属性,并提供热更新配置服务;
微服务模块,用于将科技服务平台耦合的复杂业务拆分为单个独立的子服务模块,并利用模块化方式进行服务协同处理;
分布式缓存模块,采用Codis分布式缓存架构,将Redis集群按照一定规则进行分组,建立缓存集群,把数据库的指定数据暂时迁移至内存中以提高访问效率,当请求到达时,先访问缓存,若缓存未命中再访问数据库完成请求;
负载均衡模块,用于在高并发场景下将request按照指定的方式均衡地分配给集群中的每台服务器,以提高服务器后台吞吐量,减少响应时间;
消息队列模块,基于MQTT协议,通过接收订阅者和发布者的注册并且加以管理和维护,储存发来的消息,同时将消息转发给有需求的订阅者,用于减少科技服务平台服务资源的浪费、避免级联失败、降低耦合度、提升吞吐量以及流量削峰;
搜索集群模块,用于对存储的数据进行分词和索引,并依据索引库来进行资源搜索,将服务层与数据库隔离,提高科技服务平台的运行效率;以及
日志管理模块,用于统计科技服务平台各个具体服务的运行日志,以方便进行问题地址的定位,同时记录系统潜在安全威胁,提高平台防范网络攻击能力。
较佳地,所述的微服务模块将复杂业务具体拆分为以下单个独立的子服务模块:
订单服务子模块,用于将所述的科技服务平台上相应用户的下单操作,建立对应商品的订单序列,并将其存入数据库中;
支付服务子模块,所述的支付服务子模块响应于所述的订单服务子模块,用于当交易发生时,调出支付宝、微信或银行卡外链,完成支付流程;
科技资源服务子模块,用于连接数据库,将资源池内多源异构的科技资源链接到科技服务平台上,进行展示并提供交易渠道;
用户功能服务子模块,负责管理用户个人信息,以及相应用户的登录、注册、鉴权、注销行为,同时记录用户在平台内的交易记录;
资讯发布服务子模块,用于收集科技服务咨询、政策,实时发布最新科技咨询,并提供按地区、时间、行业进行分类查询功能;
服务定制服务子模块,用于针对企业需求与科技服务匹配不对等的情况,提供定制化的科技服务模式;以及
需求大厅服务子模块,用于向科技服务需求方发布需求,需求内容包括需求详情、需求预算、需求类型、需求所在地、需求图片和需求时间。
较佳地,所述的分布式缓存模块具体进行以下处理:
利用所述的Codis分布式缓存架构将Redis节点群进行分组细化,形成多个组群,以分解Redis集群中的整个去中心化网络结构;
将常用关键读写数据库操作短暂移交内存中实施,以降低后端负载;
所述的Redis集群定时将内存中的数据分配到磁盘中,形成快照,当节点出现故障时,根据快照恢复到不同的版本,用于支持持久化存储;
当备用服务器启动时,向主服务器发送SYNC命令,主服务器收到后生成快照文件,记录现在起执行的写操作,快照生成后再发给所述的备用服务器,所述的备用服务器通过快照进行数据更新,并与所述的主服务器数据保持一致,从而支持主备同步;
对不同缓存数据分别设置expire时间,当超过expire时间后,再次访问需从数据源重新加载;
为防止缓存穿透,采用布隆过滤器,将可能存在的数据哈希到足够大的bitmap中,通过bitmap拦截请求,避免数据库短时间承受大量请求而崩溃。
较佳地,所述的消息队列模块包括:
NameServer集群、Producer集群、Consumer集群以及若干Broker,并具体进行以下处理:
所述的Broker启动时向所有的所述的NameServer集群注册,保持长连接,同时每40s发送一次心跳;
所述的Producer集群在所述的NameServer集群获取Broker地址,并由所述的负载均衡模块决定发送消息的服务器;
所述的Consumer集群在所述的NameServer集群获取Broker地址,并主动拉取进行消费。
较佳地,所述的系统在具象分析和整合抽象层次,分为抽象层、中间层和具象层,其中,
所述的抽象层,通过设计基于UCL统一内容标签的信息模型,形成面向跨域、跨网络、跨平台、跨时空的综合科技服务要素信息模型基本范式,以作为整个科技服务平台的信息模型基础框架;
所述的中间层,通过设计数字空间和现实空间融合的栅格化模型,构建科技服务的时空模型,从而实现信息的全生命周期管理和可追溯溯源;
所述的具象层,通过分析综合科技服务的多维度多要素,形成面向科技服务的领域模型,并以此构建业务领域的知识图谱。
该利用上述系统实现用于科技服务的网络协同分布式处理的方法,其主要特点是,所述的方法包括以下步骤:
(1)将科技服务平台耦合的复杂业务拆分为独立的子服务模块;
(2)服务集群统一进行资源配置、服务注册与数据关联;
(3)基于科技服务资源的栅格化切分,确定科技服务要素信息模型基本范式;
(4)对分布式缓存集群进行分组细化,将常用读写操作暂时迁移至内存中;
(5)定义负载状态,采集负载信息,对负载进行量化处理;
(6)路由进程消息进入消息队列,主动拉取消息进行解析。
较佳地,所述的步骤(1)具体为:
将所述的科技服务平台耦合的复杂业务利用模块化方式进行服务协同,具体包括订单服务、支付服务、科技资源服务、用户功能服务、资讯发布服务、服务定制服务和需求大厅服务;
其中,所述的科技服务平台为具有科技服务交易功能的科技服务资源共享平台,支持用户分角色注册登录,所述的角色包括科技服务供应方、科技服务需求方。
较佳地,所述的步骤(2)具体为:
记录各个服务的ip地址、端口号和其服务的功能,将所述的科技服务平台各种配置集中存放,统一进行管理,包括管理服务的描述、生命周期、服务的静态依赖分析、服务的健康状态、服务的流量管理、路由及安全策略、服务等级协议,统一数据关联、服务注册与管理,当子服务需要获取当前配置信息时,从协同中心拉取配置,当协同中心进行配置更新时,各子服务实时同步更新最新配置,实现动态更新。
较佳地,所述的步骤(3)具体为:
采用分布式CDN网络结构,实现基于内容的寻址方式和信息路由,通过科技服务资源的栅格化切分,将包括人、事、物的信息按照空间要素绑定形成信息栅格,数据就近采集、就近处理、就近存储、就近分发、就近使用,实现数据的关联纠缠捆绑和信息元关系元的关系型与图形结构,从而保障数据的实时采集、高效传递、快速分发和可追溯溯源;
其中,所述的科技服务平台资源包括知识产权、科技政策、科技金融、技术转移、研究开发、创业孵化、检验检测认证、仪器设备、科研团队以及综合科技服务。
较佳地,所述的步骤(4)具体为:
将缓存中间件按照一定规则进行分组,建立缓存集群,并对所述的缓存集群中的整个去中心化网络结构进行分解处理,将数据库的指定数据暂时迁移至内存中以提高访问效率,当请求到达时,先访问缓存,若缓存未命中再访问数据库完成请求,用于支持持久化存储。
较佳地,所述的步骤(5)具体为:
根据服务器集群资源比例,确定所述的服务器集群间接受访问的分配比例,进而确定负载均衡权重,在高并发场景下将request按照指定的方式均衡地分配给集群中的每台服务器,当瞬时接受大量访问时,按照服务器集群权重分配请求,合理化并行处理客户端请求。
较佳地,所述的步骤(6)具体为:
基于遥测传输协议,接收和管理主题,包括:接收订阅者和发布者的注册并且加以管理和维护,储存发来的消息,同时将消息转发给有需求的订阅者。
采用了本发明的该用于科技服务实现网络协同分布式处理的系统及其方法,将网络协同、分布式技术用于科技服务,分布式架构使得单个接入点的故障不会使人们无法访问网络中存在的数据。节点的存在使得人们能够访问信息,降低了无法访问数据的风险。同时允许工作负载分配在多台计算机上,而不是限制在一个地方,提高系统的计算能力和容错能力。除此之外,落地在科技服务平台可以实现将知识、行为、数据等多种信息融合增补,降低科技服务平台科技资源耦合度,有效地提高科技服务平台上的科技服务资源转化率,提升科技服务协同创新效率。
同时,本发明通过将科技服务平台耦合的复杂业务拆分成单个独立的子业务,配合消息队列模块、负载均衡策略和分布式缓存集群,建立分布式网络协同系统来高效运营科技服务平台,通过该技术,可降低高峰期场景下平台访问与交易时后台服务器压力,提高系统并发处理数据能力,避免系统宕机,降低服务平台耦合度,集群式管理平台各子服务模块,提升了科技服务平台运营效率。
附图说明
图1为本发明的实现用于科技服务的网络协同分布式处理的方法的流程图。
图2为本发明的用于科技服务实现网络协同分布式处理的系统的结构示意图。
图3为本发明的协同中心模块的结构示意图。
图4为本发明的消息队列模块的结构示意图。
图5为本发明的搜索集群模块的结构示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
在详细说明根据本发明的实施例前,应该注意到的是,在下文中,术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含,由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素,而且还包含没有明确列出的其他要素,或者为这种过程、方法、物品或者设备所固有的要素。
请参阅图2所示,该用于科技服务实现网络协同分布式处理的系统,其中,所述的系统包括:
协同中心模块,用于记录各个服务的ip地址、端口号和其服务的功能,统一管理整个服务集群的配置属性,并提供热更新配置服务;
微服务模块,用于将科技服务平台耦合的复杂业务拆分为单个独立的子服务模块,并利用模块化方式进行服务协同处理;
分布式缓存模块,采用Codis分布式缓存架构,将Redis集群按照一定规则进行分组,建立缓存集群,把数据库的指定数据暂时迁移至内存中以提高访问效率,当请求到达时,先访问缓存,若缓存未命中再访问数据库完成请求;
负载均衡模块,用于在高并发场景下将request按照指定的方式均衡地分配给集群中的每台服务器,以提高服务器后台吞吐量,减少响应时间;
消息队列模块,基于MQTT协议,通过接收订阅者和发布者的注册并且加以管理和维护,储存发来的消息,同时将消息转发给有需求的订阅者,用于减少科技服务平台服务资源的浪费、避免级联失败、降低耦合度、提升吞吐量以及流量削峰;
搜索集群模块,用于对存储的数据进行分词和索引,并依据索引库来进行资源搜索,将服务层与数据库隔离,提高科技服务平台的运行效率;以及
日志管理模块,用于统计科技服务平台各个具体服务的运行日志,以方便进行问题地址的定位,同时记录系统潜在安全威胁,提高平台防范网络攻击能力。
作为本发明的优选实施方式,所述的微服务模块将复杂业务具体拆分为以下单个独立的子服务模块:
订单服务子模块,用于将所述的科技服务平台上相应用户的下单操作,建立对应商品的订单序列,并将其存入数据库中;
支付服务子模块,所述的支付服务子模块响应于所述的订单服务子模块,用于当交易发生时,调出支付宝、微信或银行卡外链,完成支付流程;
科技资源服务子模块,用于连接数据库,将资源池内多源异构的科技资源链接到科技服务平台上,进行展示并提供交易渠道;
用户功能服务子模块,负责管理用户个人信息,以及相应用户的登录、注册、鉴权、注销行为,同时记录用户在平台内的交易记录;
资讯发布服务子模块,用于收集科技服务咨询、政策,实时发布最新科技咨询,并提供按地区、时间、行业进行分类查询功能;
服务定制服务子模块,用于针对企业需求与科技服务匹配不对等的情况,提供定制化的科技服务模式;以及
需求大厅服务子模块,用于向科技服务需求方发布需求,需求内容包括需求详情、需求预算、需求类型、需求所在地、需求图片和需求时间。
作为本发明的优选实施方式,所述的分布式缓存模块具体进行以下处理:
利用所述的Codis分布式缓存架构将Redis节点群进行分组细化,形成多个组群,以分解Redis集群中的整个去中心化网络结构;
将常用关键读写数据库操作短暂移交内存中实施,以降低后端负载;
所述的Redis集群定时将内存中的数据分配到磁盘中,形成快照,当节点出现故障时,根据快照恢复到不同的版本,用于支持持久化存储;
当备用服务器启动时,向主服务器发送SYNC命令,主服务器收到后生成快照文件,记录现在起执行的写操作,快照生成后再发给所述的备用服务器,所述的备用服务器通过快照进行数据更新,并与所述的主服务器数据保持一致,从而支持主备同步;
对不同缓存数据分别设置expire时间,当超过expire时间后,再次访问需从数据源重新加载;
为防止缓存穿透,采用布隆过滤器,将可能存在的数据哈希到足够大的bitmap中,通过bitmap拦截请求,避免数据库短时间承受大量请求而崩溃。
请参阅图4所示,作为本发明的优选实施方式,所述的消息队列模块包括:
NameServer集群、Producer集群、Consumer集群以及若干Broker,并具体进行以下处理:
所述的Broker启动时向所有的所述的NameServer集群注册,保持长连接,同时每40s发送一次心跳;
所述的Producer集群在所述的NameServer集群获取Broker地址,并由所述的负载均衡模块决定发送消息的服务器;
所述的Consumer集群在所述的NameServer集群获取Broker地址,并主动拉取进行消费。
作为本发明的优选实施方式,所述的系统在具象分析和整合抽象层次,分为抽象层、中间层和具象层,其中,
所述的抽象层,通过设计基于UCL统一内容标签的信息模型,形成面向跨域、跨网络、跨平台、跨时空的综合科技服务要素信息模型基本范式,以作为整个科技服务平台的信息模型基础框架;
所述的中间层,通过设计数字空间和现实空间融合的栅格化模型,构建科技服务的时空模型,从而实现信息的全生命周期管理和可追溯溯源;
所述的具象层,通过分析综合科技服务的多维度多要素,形成面向科技服务的领域模型,并以此构建业务领域的知识图谱。
请参阅图1所示,该利用上述系统实现用于科技服务的网络协同分布式处理的方法,其中,所述的方法包括以下步骤:
(1)将科技服务平台耦合的复杂业务拆分为独立的子服务模块;
(2)服务集群统一进行资源配置、服务注册与数据关联;
(3)基于科技服务资源的栅格化切分,确定科技服务要素信息模型基本范式;
(4)对分布式缓存集群进行分组细化,将常用读写操作暂时迁移至内存中;
(5)定义负载状态,采集负载信息,对负载进行量化处理;
(6)路由进程消息进入消息队列,主动拉取消息进行解析。
作为本发明的优选实施方式,所述的步骤(1)具体为:
将所述的科技服务平台耦合的复杂业务利用模块化方式进行服务协同,具体包括订单服务、支付服务、科技资源服务、用户功能服务、资讯发布服务、服务定制服务和需求大厅服务;
其中,所述的科技服务平台为具有科技服务交易功能的科技服务资源共享平台,支持用户分角色注册登录,所述的角色包括科技服务供应方、科技服务需求方。
作为本发明的优选实施方式,所述的步骤(2)具体为:
记录各个服务的ip地址、端口号和其服务的功能,将所述的科技服务平台各种配置集中存放,统一进行管理,包括管理服务的描述、生命周期、服务的静态依赖分析、服务的健康状态、服务的流量管理、路由及安全策略、服务等级协议,统一数据关联、服务注册与管理,当子服务需要获取当前配置信息时,从协同中心拉取配置,当协同中心进行配置更新时,各子服务实时同步更新最新配置,实现动态更新。
作为本发明的优选实施方式,所述的步骤(3)具体为:
采用分布式CDN网络结构,实现基于内容的寻址方式和信息路由,通过科技服务资源的栅格化切分,将包括人、事、物的信息按照空间要素绑定形成信息栅格,数据就近采集、就近处理、就近存储、就近分发、就近使用,实现数据的关联纠缠捆绑和信息元关系元的关系型与图形结构,从而保障数据的实时采集、高效传递、快速分发和可追溯溯源;
其中,所述的科技服务平台资源包括知识产权、科技政策、科技金融、技术转移、研究开发、创业孵化、检验检测认证、仪器设备、科研团队以及综合科技服务。
作为本发明的优选实施方式,所述的步骤(4)具体为:
将缓存中间件按照一定规则进行分组,建立缓存集群,并对所述的缓存集群中的整个去中心化网络结构进行分解处理,将数据库的指定数据暂时迁移至内存中以提高访问效率,当请求到达时,先访问缓存,若缓存未命中再访问数据库完成请求,用于支持持久化存储。
作为本发明的优选实施方式,所述的步骤(5)具体为:
根据服务器集群资源比例,确定所述的服务器集群间接受访问的分配比例,进而确定负载均衡权重,在高并发场景下将request按照指定的方式均衡地分配给集群中的每台服务器,当瞬时接受大量访问时,按照服务器集群权重分配请求,合理化并行处理客户端请求。
作为本发明的优选实施方式,所述的步骤(6)具体为:
基于遥测传输协议,接收和管理主题,包括:接收订阅者和发布者的注册并且加以管理和维护,储存发来的消息,同时将消息转发给有需求的订阅者。
在本发明的一具体实施例中,以海南科创岛平台为例,为精准服务海南现代服务业、海洋经济、医疗保健、文化旅游为主导的开放生态服务型产业体系建设,服务自贸区现代经济体系高质量发展,通过平台五大发展模式:海南科技园区服务集中型、海南乡镇科技服务分散型、海南规上企业服务定制型、海南特色行业服务专业型、岛外科技服务资源导入型共同促进海南自贸区综合科技服务发展。
优选的,所述科技服务平台为具有科技服务交易功能的科技服务资源共享平台,支持用户分角色注册登录,所述角色包括科技服务供应方、科技服务需求方。
优选的,所述科技服务平台资源元数据包括服务商、服务产品、仪器设备、园区服务、知识产权、投资和专家等。
所述的协同中心模块用于记录各个服务的IP地址、端口号和其服务的功能,统一管理整个服务集群的配置属性,并提供热更新配置服务;
优选的,以中心化、外部化和动态化的方式管理所有环境的配置,进行统一数据关联、服务注册与管理,降低服务耦合,提高系统的可拓展性;
具体的,把科技服务平台各种配置集中存放,统一进行管理,包括管理服务的描述、生命周期、服务的静态依赖分析、服务的健康状态、服务的流量管理、路由及安全策略、服务等级协议等,当子服务需要获取当前配置信息时,从协同中心拉取配置,当协同中心进行配置更新时,各子服务实时同步更新最新配置,实现动态更新;
如图3所示,所述的协同中心模块在实际应用当中,其具体实施步骤如下:
步骤1.1:在科技服务平台父工程项目中添加spring-cloud-管理依赖;
步骤1.2:修改科技服务平台各子业务模块的application.yml配置文件,在其中添加nacos地址,以端口设置为本地8848为例,后期可将其部署到平台服务器上;
步骤1.3:根据实际需求确定nacos服务分级集群,并依次修改各微服务所属集群;
步骤1.4:开启负载均衡策略,以便后期调整各服务集群的访问频率;
步骤1.5:开启饥饿加载策略,在项目启动时创建LoadBalanceClient,降低第一次访问的耗时;
步骤1.6:完成相关配置后,在命令行输入startup.cmd-m standalone,启动nacos,随后在网址栏输入http://192.168.0.100:8848/nacos/index.html,进入登录界面,初始用户名和密码默认为nacos/nacos;
步骤1.7:通过服务管理与服务列表进入服务列表子窗口,可以查看当前启动的服务名称和集群数目,同时能够查看当前实例数和健康实例数;
步骤1.8:通过编辑操作,设置权重,在后台确定访问该服务时,查询当前集群下的该子服务的访问频次。
所述微服务模块用于将科技服务平台耦合的复杂业务拆分为单个独立的子服务模块,利用模块化方式进行服务协同,具体包括订单服务、支付服务、科技资源服务、用户功能服务、资讯发布服务、服务定制服务和需求大厅服务;
具体地,所述科技服务平台涉及业务包括知识产权、科技政策、科技金融、技术转移、研究开发、创业孵化、检验检测认证、仪器设备、科研团队以及综合科技服务。
所述订单服务负责科技服务平台上相应用户下单操作,建立对应商品的订单序列,并将其存入数据库中;
所述支付服务响应订单服务,当交易发生时,调出支付宝、微信或银行卡外链,完成支付流程;
所述科技资源服务用于连接数据库,将资源池内多源异构的科技资源链接到科技服务平台上,进行展示并提供交易渠道;
所述用户功能服务负责管理用户个人信息,相应用户登录、注册、鉴权、注销等行为,针对科研院所、科技公司、科技园区提供实名认证检测功能,同时记录用户在平台内的交易记录;
优选的,所述用户功能服务包括科技服务需求方和科技服务供应方两个子单元;
所述资讯发布服务收集科技服务咨询、政策,实时发布最新科技咨询、并提供按地区、时间、行业进行分类查询功能;
所述服务定制服务用于企业需求与科技服务匹配不对等的情况,针对规上企业的需求,为其量身定制的科技服务模式,提供端到端的解决方案;
所述需求大厅服务用于科技服务需求方发布需求,需求内容包括需求详情、需求预算、需求类型、需求所在地、需求图片和需求时间等。
所述分布式缓存模块通过建立缓存集群,把数据库的指定数据暂时迁移至内存中以提高访问效率,当请求到达时,先访问缓存,若缓存未命中再访问数据库完成请求;
传统的单体架构Redis服务无法提供高并发、大数据服务的特性、因此采用Redis集群架构进行弥补;
优选的,基于Codis分布式缓存架构,将Redis集群按照一定规则进行分组,Codis架构将Redis节点群进行分组细化,形成多个组群,分解了Redis集群中的整个去中心化网络结构,在高并发的场景下减少数据库负载,提升访问速度;
具体地,为了在高并发场景下提升访问速度,将常用关键读写数据库操作短暂移交内存中实施,降低后端负载;
具体地,Redis定时将内存中的数据被分到磁盘中,形成快照,当节点出现故障时,根据快照恢复到不同的版本,用于支持持久化存储;
具体地,当备用服务器启动时,向主服务器发送SYNC命令,主服务器收到后生成快照文件,记录现在起执行的写操作,快照生成后再发给备用服务器,备用服务器通过快照进行数据更新,与主服务器数据保持一致,从而支持主备同步;
具体地,对不同缓存数据分别设置expire时间,当超过expire时间后,再次访问需从数据源重新加载;
具体地,为防止缓存穿透,采用布隆过滤器,将可能存在的数据哈希到足够大的bitmap中,通过bitmap拦截请求,避免数据库短时间承受大量请求而崩溃。
所述负载均衡模块用于将短时间内大量的请求按照指定的方式均衡地分配给集群中的每台服务器,从而避免集群中大量请求只发送某一台服务器,使该服务器宕机;
在实际应用当中,所述的负载均衡模块其具体实施步骤如下:
步骤2.1:配置反向代理,当客户端请求域名访问时,默认该请求被后端负载均衡模块接收到,通过DNS解析,将特定请求发送给服务器端;
步骤2.2:根据服务器集群资源比例,确定服务器集群间接受访问的分配比例,进而确定负载均衡权重;
步骤2.3:当瞬时接受大量访问时,按照服务器集群权重分配请求,合理化并行处理客户端请求。
所述消息队列模块用于减少科技服务平台服务资源的浪费、避免级联失败、降低耦合度、提升吞吐量、流量削峰等目的;
消息队列本质是一种先进先出的队列型数据结构,在系统中,多个进程可同时向同一个消息队列发送消息,也可同时从一个消息队列中接受消息,发送进程把消息发送到队列尾部,接受进程从消息队列头部读取消息,而消息一旦被读取就从队列中删除,消息队列是整个通信中间件的核心,实际过程中,待处理的消息对象可分为由客户端发送到代理服务器未进行解析的消息,以及经过业务层处理完成,由数据层进行存储后的消息,当代理服务器收到消息后会实例化一个消息对象,然后将该消息对象入队,等待处理。消息对象可以选择JSON、XML等各种格式,队头消息对象被取出后,先进行消息解析,取出消息处理状态标志位,对其进行判断后进行进一步地处理;
具体地,本系统的消息队列模块由NameServer集群、Producer集群、Consumer集群和若干Broker组成;
Broker启动时向所有NameServer集群注册,保持长连接,同时每40s发送一次心跳;
Producer集群在NameServer集群获取Broker地址,由负载均衡模块决定发送消息的服务器;
Consumer集群在NameServer集群获取Broker地址,主动拉取进行消费;
以科技服务平台中的仪器设备资源购买服务为例,如图4所示,所述的消息队列模块其具体实施步骤如下:
步骤3.1:用户调用科技资源服务,发送指定消息;
步骤3.2:用户调用订单服务,发送指定消息;
步骤3.3:用户调用支付服务,发送指定消息;
步骤3.4:消息进入消息中介的channel管道中;
步骤3.5:进入exchange,路由消息到队列中,队列queue缓存消息;
步骤3.6:传送到接收消息的子服务模块中。
所述搜索集群模块用于对存储的数据进行分词和索引,依据索引库来进行资源搜索,通过集群式搜索,将服务层与数据库隔离,提高科技服务平台的运行效率;
具体地,通过选举产生主节点作为内部集群的中心节点,而对外部集群而言,该集群作为逻辑整体与外部进行信息交互;
如图5所示,所述的搜索集群模块其具体实施步骤如下:
步骤4.1:在科技服务平台工程项目中添加系统所需的核心依赖;
步骤4.2:采集数据,分析文档,创建分词器,对文档内容进行分词,采用单字分词策略。通过Tokenizer将reader转换为语汇单元,随后交由Analyzer进行分析,通过IndexWriter添加文档对象document;
步骤4.3:创建索引库,扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数,将索引存储在索引库中;
步骤4.4:配置搜索查询策略,确定相应用户搜索时的检索域。
所述日志管理模块用于统计科技服务平台各个具体服务的运行日志,方便系统出问题时的定位,同时记录系统潜在安全威胁,提高平台防范网络攻击能力;
具体地,根据业务需求,确定科技服务平台的数据采集配置方案,并指定采集方案配置文件;
具体地,source监视指定服务器目录,当出现新文件时,采集文件内容,当采集完后,添加COMPLETED后缀,并临时存入channel中;
具体地,source监视指定日志文件,将写入日志文件中的数据同步到HDFS中;
具体地,event将传输数据封装,由sink把数据发送到目的地;
具体地,为了保证传输过程的可靠性,只有在event将下一agent或存入channel后,才会把channel中event删除掉。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的,程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或“实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
采用了本发明的该用于科技服务实现网络协同分布式处理的系统及其方法,将网络协同、分布式技术用于科技服务,分布式架构使得单个接入点的故障不会使人们无法访问网络中存在的数据。节点的存在使得人们能够访问信息,降低了无法访问数据的风险。同时允许工作负载分配在多台计算机上,而不是限制在一个地方,提高系统的计算能力和容错能力。除此之外,落地在科技服务平台可以实现将知识、行为、数据等多种信息融合增补,降低科技服务平台科技资源耦合度,有效地提高科技服务平台上的科技服务资源转化率,提升科技服务协同创新效率。
同时,本发明通过将科技服务平台耦合的复杂业务拆分成单个独立的子业务,配合消息队列模块、负载均衡策略和分布式缓存集群,建立分布式网络协同系统来高效运营科技服务平台,通过该技术,可降低高峰期场景下平台访问与交易时后台服务器压力,提高系统并发处理数据能力,避免系统宕机,降低服务平台耦合度,集群式管理平台各子服务模块,提升了科技服务平台运营效率。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。

Claims (10)

1.一种用于科技服务实现网络协同分布式处理的系统,其特征在于,所述的系统包括:
协同中心模块,用于记录各个服务的ip地址、端口号和其服务的功能,统一管理整个服务集群的配置属性,并提供热更新配置服务;
微服务模块,用于将科技服务平台耦合的复杂业务拆分为单个独立的子服务模块,并利用模块化方式进行服务协同处理;
分布式缓存模块,采用Codis分布式缓存架构,将Redis集群按照一定规则进行分组,建立缓存集群,把数据库的指定数据暂时迁移至内存中以提高访问效率,当请求到达时,先访问缓存,若缓存未命中再访问数据库完成请求;
负载均衡模块,用于在高并发场景下将request按照指定的方式均衡地分配给集群中的每台服务器,以提高服务器后台吞吐量,减少响应时间;
消息队列模块,基于MQTT协议,通过接收订阅者和发布者的注册并且加以管理和维护,储存发来的消息,同时将消息转发给有需求的订阅者,用于减少科技服务平台服务资源的浪费、避免级联失败、降低耦合度、提升吞吐量以及流量削峰;
搜索集群模块,用于对存储的数据进行分词和索引,并依据索引库来进行资源搜索,将服务层与数据库隔离,提高科技服务平台的运行效率;以及
日志管理模块,用于统计科技服务平台各个具体服务的运行日志,以方便进行问题地址的定位,同时记录系统潜在安全威胁,提高平台防范网络攻击能力。
2.根据权利要求1所述的用于科技服务实现网络协同分布式处理的系统,其特征在于,所述的微服务模块将复杂业务具体拆分为以下单个独立的子服务模块:
订单服务子模块,用于将所述的科技服务平台上相应用户的下单操作,建立对应商品的订单序列,并将其存入数据库中;
支付服务子模块,所述的支付服务子模块响应于所述的订单服务子模块,用于当交易发生时,调出支付宝、微信或银行卡外链,完成支付流程;
科技资源服务子模块,用于连接数据库,将资源池内多源异构的科技资源链接到科技服务平台上,进行展示并提供交易渠道;
用户功能服务子模块,负责管理用户个人信息,以及相应用户的登录、注册、鉴权、注销行为,同时记录用户在平台内的交易记录;
资讯发布服务子模块,用于收集科技服务咨询、政策,实时发布最新科技咨询,并提供按地区、时间、行业进行分类查询功能;
服务定制服务子模块,用于针对企业需求与科技服务匹配不对等的情况,提供定制化的科技服务模式;以及
需求大厅服务子模块,用于向科技服务需求方发布需求,需求内容包括需求详情、需求预算、需求类型、需求所在地、需求图片和需求时间。
3.根据权利要求1所述的用于科技服务实现网络协同分布式处理的系统,其特征在于,所述的分布式缓存模块具体进行以下处理:
利用所述的Codis分布式缓存架构将Redis节点群进行分组细化,形成多个组群,以分解Redis集群中的整个去中心化网络结构;
将常用关键读写数据库操作短暂移交内存中实施,以降低后端负载;
所述的Redis集群定时将内存中的数据分配到磁盘中,形成快照,当节点出现故障时,根据快照恢复到不同的版本,用于支持持久化存储;
当备用服务器启动时,向主服务器发送SYNC命令,主服务器收到后生成快照文件,记录现在起执行的写操作,快照生成后再发给所述的备用服务器,所述的备用服务器通过快照进行数据更新,并与所述的主服务器数据保持一致,从而支持主备同步;
对不同缓存数据分别设置expire时间,当超过expire时间后,再次访问需从数据源重新加载;
为防止缓存穿透,采用布隆过滤器,将可能存在的数据哈希到足够大的bitmap中,通过bitmap拦截请求,避免数据库短时间承受大量请求而崩溃。
4.根据权利要求1所述的用于科技服务实现网络协同分布式处理的系统,其特征在于,所述的消息队列模块包括:
NameServer集群、Producer集群、Consumer集群以及若干Broker,并具体进行以下处理:
所述的Broker启动时向所有的所述的NameServer集群注册,保持长连接,同时每40s发送一次心跳;
所述的Producer集群在所述的NameServer集群获取Broker地址,并由所述的负载均衡模块决定发送消息的服务器;
所述的Consumer集群在所述的NameServer集群获取Broker地址,并主动拉取进行消费。
5.根据权利要求1至4中任一项所述的用于科技服务实现网络协同分布式处理的系统,其特征在于,所述的系统在具象分析和整合抽象层次,分为抽象层、中间层和具象层,其中,
所述的抽象层,通过设计基于UCL统一内容标签的信息模型,形成面向跨域、跨网络、跨平台、跨时空的综合科技服务要素信息模型基本范式,以作为整个科技服务平台的信息模型基础框架;
所述的中间层,通过设计数字空间和现实空间融合的栅格化模型,构建科技服务的时空模型,从而实现信息的全生命周期管理和可追溯溯源;
所述的具象层,通过分析综合科技服务的多维度多要素,形成面向科技服务的领域模型,并以此构建业务领域的知识图谱。
6.一种利用权利要求5所述的系统实现用于科技服务的网络协同分布式处理的方法,其特征在于,所述的方法包括以下步骤:
(1)将科技服务平台耦合的复杂业务拆分为独立的子服务模块;
(2)服务集群统一进行资源配置、服务注册与数据关联;
(3)基于科技服务资源的栅格化切分,确定科技服务要素信息模型基本范式;
(4)对分布式缓存集群进行分组细化,将常用读写操作暂时迁移至内存中;
(5)定义负载状态,采集负载信息,对负载进行量化处理;
(6)路由进程消息进入消息队列,主动拉取消息进行解析。
7.根据权利要求6所述的实现用于科技服务的网络协同分布式处理的方法,其特征在于,所述的步骤(1)具体为:
将所述的科技服务平台耦合的复杂业务利用模块化方式进行服务协同,具体包括订单服务、支付服务、科技资源服务、用户功能服务、资讯发布服务、服务定制服务和需求大厅服务;
其中,所述的科技服务平台为具有科技服务交易功能的科技服务资源共享平台,支持用户分角色注册登录,所述的角色包括科技服务供应方、科技服务需求方。
8.根据权利要求7所述的实现用于科技服务的网络协同分布式处理的方法,其特征在于,所述的步骤(2)具体为:
记录各个服务的ip地址、端口号和其服务的功能,将所述的科技服务平台各种配置集中存放,统一进行管理,包括管理服务的描述、生命周期、服务的静态依赖分析、服务的健康状态、服务的流量管理、路由及安全策略、服务等级协议,统一数据关联、服务注册与管理,当子服务需要获取当前配置信息时,从协同中心拉取配置,当协同中心进行配置更新时,各子服务实时同步更新最新配置,实现动态更新。
9.根据权利要求8所述的实现用于科技服务的网络协同分布式处理的方法,其特征在于,所述的步骤(3)具体为:
采用分布式CDN网络结构,实现基于内容的寻址方式和信息路由,通过科技服务资源的栅格化切分,将包括人、事、物的信息按照空间要素绑定形成信息栅格,数据就近采集、就近处理、就近存储、就近分发、就近使用,实现数据的关联纠缠捆绑和信息元关系元的关系型与图形结构,从而保障数据的实时采集、高效传递、快速分发和可追溯溯源;
其中,所述的科技服务平台资源包括知识产权、科技政策、科技金融、技术转移、研究开发、创业孵化、检验检测认证、仪器设备、科研团队以及综合科技服务。
10.根据权利要求9所述的实现用于科技服务的网络协同分布式处理的方法,其特征在于,所述的步骤(4)具体为:
将缓存中间件按照一定规则进行分组,建立缓存集群,并对所述的缓存集群中的整个去中心化网络结构进行分解处理,将数据库的指定数据暂时迁移至内存中以提高访问效率,当请求到达时,先访问缓存,若缓存未命中再访问数据库完成请求,用于支持持久化存储;
所述的步骤(5)具体为:
根据服务器集群资源比例,确定所述的服务器集群间接受访问的分配比例,进而确定负载均衡权重,在高并发场景下将request按照指定的方式均衡地分配给集群中的每台服务器,当瞬时接受大量访问时,按照服务器集群权重分配请求,合理化并行处理客户端请求;
所述的步骤(6)具体为:
基于遥测传输协议,接收和管理主题,包括:接收订阅者和发布者的注册并且加以管理和维护,储存发来的消息,同时将消息转发给有需求的订阅者。
CN202211439629.7A 2022-11-17 2022-11-17 用于科技服务实现网络协同分布式处理的系统及其方法 Active CN115811546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211439629.7A CN115811546B (zh) 2022-11-17 2022-11-17 用于科技服务实现网络协同分布式处理的系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211439629.7A CN115811546B (zh) 2022-11-17 2022-11-17 用于科技服务实现网络协同分布式处理的系统及其方法

Publications (2)

Publication Number Publication Date
CN115811546A true CN115811546A (zh) 2023-03-17
CN115811546B CN115811546B (zh) 2024-07-26

Family

ID=85483456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211439629.7A Active CN115811546B (zh) 2022-11-17 2022-11-17 用于科技服务实现网络协同分布式处理的系统及其方法

Country Status (1)

Country Link
CN (1) CN115811546B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116341023A (zh) * 2023-05-24 2023-06-27 北京百度网讯科技有限公司 基于区块链的业务地址验证方法、装置、设备及存储介质
CN117155939A (zh) * 2023-10-31 2023-12-01 北京比格大数据有限公司 一种实现跨集群资源调度的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193663A (zh) * 2017-01-04 2017-09-22 新华三技术有限公司 一种业务消息处理方法及装置
US20200167267A1 (en) * 2018-11-28 2020-05-28 Sap Se Asynchronous consumer-driven contract testing in micro service architecture
CN113176875A (zh) * 2021-05-12 2021-07-27 同济大学 一种基于微服务的资源共享服务平台架构

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193663A (zh) * 2017-01-04 2017-09-22 新华三技术有限公司 一种业务消息处理方法及装置
US20200167267A1 (en) * 2018-11-28 2020-05-28 Sap Se Asynchronous consumer-driven contract testing in micro service architecture
CN113176875A (zh) * 2021-05-12 2021-07-27 同济大学 一种基于微服务的资源共享服务平台架构

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LONG SUN 等: "An Open IoT Framework Based on Microservices Architecture", 中国通信, no. 02, 15 February 2017 (2017-02-15) *
卢德鹏: "基于微服务架构的智慧园区管理平台设计与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, 15 January 2022 (2022-01-15), pages 2 - 4 *
郑方向: "基于微服务架构的教育发布与管理平台", 中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑, 15 May 2021 (2021-05-15), pages 2 - 4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116341023A (zh) * 2023-05-24 2023-06-27 北京百度网讯科技有限公司 基于区块链的业务地址验证方法、装置、设备及存储介质
CN116341023B (zh) * 2023-05-24 2023-08-29 北京百度网讯科技有限公司 基于区块链的业务地址验证方法、装置、设备及存储介质
CN117155939A (zh) * 2023-10-31 2023-12-01 北京比格大数据有限公司 一种实现跨集群资源调度的方法
CN117155939B (zh) * 2023-10-31 2024-02-27 北京比格大数据有限公司 一种实现跨集群资源调度的方法

Also Published As

Publication number Publication date
CN115811546B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
US11711420B2 (en) Automated management of resource attributes across network-based services
CN105897946B (zh) 一种访问地址的获取方法及系统
US8612406B1 (en) Sharing business data across networked applications
US9590915B2 (en) Transmission of Map/Reduce data in a data center
CN115811546B (zh) 用于科技服务实现网络协同分布式处理的系统及其方法
US20030120593A1 (en) Method and system for delivering multiple services electronically to customers via a centralized portal architecture
US10860604B1 (en) Scalable tracking for database udpates according to a secondary index
US9875270B1 (en) Locking item ranges for creating a secondary index from an online table
US20120303692A1 (en) Federation of master data management systems
US10872097B2 (en) Data resolution system for management of distributed data
US20210232603A1 (en) Capturing data lake changes
CN111209364A (zh) 一种基于众包地图更新的海量数据接入处理方法及系统
Silberstein et al. Pnuts in flight: Web-scale data serving at yahoo
CN103390018A (zh) 一种基于SDD的Web服务数据建模与搜索方法
US8626716B1 (en) Service broker enhancements
CN114866416A (zh) 一种多集群统一管理系统及部署方法
US20240036910A1 (en) Meta-level management system that aggregates information and functionalities of computational-resource management systems and that provides new management functionalities
US7689584B2 (en) Hybrid groups
US11757703B1 (en) Access requests processing and failover handling across multiple fault tolerance zones
WO2023056239A1 (en) Translating between versions of data object schemas for data producers and data consumers
Carstoiu et al. High performance eventually consistent distributed database Zatara
US8631064B2 (en) Unified management of a hardware interface framework
US20240037495A1 (en) Meta-level management system that aggregates information and functionalities of computational-resource management systems and that provides new management functionalities
US20110138288A1 (en) Method, system, and computer program product for tagging of portlets in a portal infrastructure
Bahl et al. Boosting geographic information system’s performance using in-memory data grid

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant