CN116910161A - 一种协同分析系统、方法、电子设备以及计算机可读介质 - Google Patents

一种协同分析系统、方法、电子设备以及计算机可读介质 Download PDF

Info

Publication number
CN116910161A
CN116910161A CN202311183299.4A CN202311183299A CN116910161A CN 116910161 A CN116910161 A CN 116910161A CN 202311183299 A CN202311183299 A CN 202311183299A CN 116910161 A CN116910161 A CN 116910161A
Authority
CN
China
Prior art keywords
collaborative
data
center
service
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311183299.4A
Other languages
English (en)
Other versions
CN116910161B (zh
Inventor
周伟伟
尹天柱
尹许东
王攀
马建华
管良兵
钟伟捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Sanhui Digital Information Technology Co ltd
Original Assignee
Hangzhou Sanhui Digital Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Sanhui Digital Information Technology Co ltd filed Critical Hangzhou Sanhui Digital Information Technology Co ltd
Priority to CN202311183299.4A priority Critical patent/CN116910161B/zh
Publication of CN116910161A publication Critical patent/CN116910161A/zh
Application granted granted Critical
Publication of CN116910161B publication Critical patent/CN116910161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明公开了一种协同分析系统，跨网络数据协同分析技术领域，包括能力管理中心、协同服务中心以及若干数据中心，每个数据中心包括建模平台、模型协同引擎、模型服务、数据服务，其中模型服务包括在线建模引擎中心、离线建模引擎中心和实时建模引擎中心；协同分析系统包括上下级联模式和跨网协同模式，在上下级联模式下，若干数据中心共用同个能力管理中心和协同服务中心，相互进行调用管理或协同服务发布；在跨网协同模式下，协同分析系统具有安全边界，安全边界两侧的数据中心与对应侧的能力管理中心和协同服务中心进行调用管理或协同服务发布，并通过各侧的能力管理中心和协同服务中心交互。本发明实现了跨数据中心、跨数据源的模型协同。

Description

一种协同分析系统、方法、电子设备以及计算机可读介质
技术领域
本发明涉及跨网络数据协同分析技术领域，具体涉及一种协同分析系统、电子设备以及计算机可读介质。
背景技术
Google开放的GFS、MR、Bigtable三大论文，引燃了分布式计算领域在大数据分析场景下的发展，推动了OLAP业务从传统关系型数据库系统向分布式计算平台转换，大量的产业因此受益，典型的基于用户行为分析的电商产品推荐等。但随着业务手段不断扩展、采集数据源类型愈发丰富，数据中心积累的数据总量与日俱增，使得数据资源总量呈指数型增长，大数据将迎来新的挑战，如：全量数据资源难以汇聚、多数据中心数据难以打通、多集群间存在数据墙以及多数据中心难以形成合力等。
发明内容
本发明旨在一定程度上解决相关技术中的技术问题之一。为此，本发明提供了一种协同分析系统，实现跨数据中心、跨数据源的模型协同。
为了达到上述目的，本发明采用如下技术方案：
一种协同分析系统，所述协同分析系统包括能力管理中心、协同服务中心以及若干数据中心，每个数据中心包括建模平台、模型协同引擎、模型服务、数据服务，所述能力管理中心用于对已经注册的数据服务和模型服务进行权限审批、认证、授权、受理请求；所述协同服务中心用于已建立的业务模型的路由、调用和管理；
所述建模平台用于搭建模型，调用已经注册的数据服务和模型服务，发布本数据中心的数据服务和模型服务；所述模型协同引擎用于对本数据中心接收到的模型服务和数据服务进行执行、调度以及放回结果；所述模型服务用于建立业务模型，包括在线建模引擎中心、离线建模引擎中心和实时建模引擎中心；所述数据服务用于为已建立的业务模型提供数据；
所述协同分析系统包括上下级联模式和跨网协同模式，在所述上下级联模式下，若干数据中心共用同个能力管理中心和协同服务中心，若干数据中心相互进行调用管理或协同服务发布；在所述跨网协同模式下，所述协同分析系统具有安全边界，所述安全边界两侧各具有一个能力管理中心和协同服务中心，安全边界两侧的数据中心与对应侧的能力管理中心和协同服务中心进行调用管理或协同服务发布，安全边界两侧通过各侧的能力管理中心和协同服务中心交互。
可选的，所述在线建模引擎中心包括在线模型引擎和在线共享区，所述在线模型引擎用于在所述在线共享区上建模，所述在线共享区通过协同分布式数据库共享区对存储资源和计算资源进行逻辑隔离；
所述在线模型引擎包括依次连接的数据源读取模块、在线加工模块和数据库写入模块，所述数据源读取模块读取的数据源为离线平台、在线平台、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个；所述在线建模引擎输出的数据输出至KAFKA平台、离线平台、在线平台、REDIS数据库、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个。
可选的，所述离线建模引擎中心包括离线模型引擎和离线共享区，所述离线模型引擎用于在所述离线共享区上建模，所述离线共享区通过地市共享区资源池对存储资源和计算资源进行逻辑隔离；
所述模型引擎包括依次连接的数据源读取模块、离线加工模块和数据库写入模块，所述数据源读取模块读取的数据源为离线平台、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个；所述离线建模引擎输出的数据输出至KAFKA平台、离线平台、REDIS数据库、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个。
可选的，所述实时建模引擎中心包括流引擎和流共享区，所述流引擎在所述流共享区之上建模；
所述流引擎包括流建模引擎和预警规则引擎，所述流建模引擎包括依次连接的第一数据源读取模块、流建模加工模块和第一数据库写入模块，所述预警规则引擎包括依次连接的第二数据源读取模块、规则加工模块和第二数据库写入模块，所述第一数据源读取模块和所述第二数据源读取模块从KAFKA平台读取数据，所述实时建模引擎中心输出的数据输出至KAFKA平台、离线平台、REDIS数据库、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个。
同时本发明还提供了一种协同分析方法，由前述任意一项所述的协同分析系统实现，包括如下步骤：
调用方的数据中心发起协同请求；
协同服务中心接收协同请求，调用能力管理中心对调用方的数据中心进行鉴权；
鉴权通过后，协同服务中心将协同请求对应的任务下发到作为下级数据中心的其他数据中心的建模平台；
下级数据中心的级建模平台接收到协同请求后，调用能力管理中心进行鉴权；
鉴权通过后，下级数据中心对协同请求对应的任务进行分解，并通过本地的模型协同引擎调用本数据中心和/或其他数据中心的模型服务和数据服务执行协同请求对应的任务，执行结果返回至上级数据中心；
上级数据中心将本地执行结果和接收到的执行结果进行融合后返回至协同服务中心，协同服务中心将接收的结果返回至调用方。
可选的，所述协同分析方法执行过程中，能力管理中心监控协同请求所需要的协同分析系统的资源开销，如果所需要的协同分析系统的资源开销超过预支范围，由能力管理中心终止协同请求的执行。
可选的，模型服务执行协同请求对应的任务包括如下步骤：
业务终端以零代码可视化或写代码的形式进行数据分析或建模；
模型服务经过图解析进行代码语法解析；
对协同请求对应的任务进行解析，形成任务列表；
将解析形成的任务列表通过标准接口调用方式提交到上级数据中心。
并且，本发明还提供了一种电子设备，包括：一个或多个处理器；存储器，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前述任意一项所述的协同分析系统。
同时，一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现前述中任意一项所述的协同分析系统。
本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现，但并非是对本发明技术方案的限制。另外，在每个下文和附图中出现的这些特征、要素和组件是具有多个，并且为了表示方便而标记了不同的符号或数字，但均表示相同或相似构造或功能的部件。
附图说明
下面结合附图对本发明作进一步说明：
图1为本发明实施例中在线建模引擎中心的示意图；
图2为本发明实施例中离线建模引擎中心的示意图；
图3为本发明实施例中实时建模引擎中心的示意图；
图4为本发明实施例中上下级联模式的示意图；
图5为本发明实施例中跨网协同模式的示意图；
图6为本发明实施例中协同分析方法的流程图；
图7为本发明实施例中模型服务执行的示意图；
图8为本发明所提供的电子设备的示意图；
图9为本发明所提供的计算机可读介质的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。基于实施方式中的实施例，旨在用于解释本发明，而不能理解为对本发明的限制。
在本说明书中引用的“一个实施例”或“实例”或“例子”意指结合实施例本身描述的特定特征、结构或特性可被包括在本专利公开的至少一个实施例中。短语“在一个实施例中”在说明书中的各位置的出现不必都是指同一个实施例。
本实施例提供了一种协同分析系统，包括能力管理中心、协同服务中心以及若干数据中心，每个数据中心包括建模平台、模型协同引擎、模型服务、数据服务，能力管理中心用于对已经注册的数据服务和模型服务进行权限审批、认证、授权、受理请求；协同服务中心用于已建立的业务模型的路由、调用和管理；
为了解决单个数据中心能力不足，需要利用其他数据中心的数据和计算资源，同时不影响其他数据中心业务的正常使用。基于其他数据中心的平台架构构建的本地共享区，实现了对全量资源中的本地专属资源的独立化管理，可基于全量数据资源进行相关的业务运算，减少全量数据的传输消耗，提高计算效率，形成统一的计算资源目录，实现跨数据中心、跨数据源协同，也满足了本地数据中心的查询、分析、预警、专题建模等业务需要，通过建模平台搭建模型并以数据服务、模型服务协同方式发布到协同服务中心，协同服务中心的服务统一受能力管理中心统一管理，从而实现不同平台内的独立计算，减少原始数据交互，在不做原始数据交换的前提下实现了跨物理区域的协同计算能力。
建模平台用于搭建模型，调用已经注册的数据服务和模型服务，发布本数据中心的数据服务和模型服务；模型协同引擎用于对本数据中心接收到的模型服务和数据服务进行执行、调度以及放回结果；数据服务用于为已建立的业务模型提供数据；模型服务用于建立业务模型，包括：在线建模引擎中心、离线建模引擎中心和实时建模引擎中心，三者之间可以通过数据源的输入输出方式进行相互打通，在同一个模型引擎中心进行建模。
如图1所示，在线建模引擎中心包括在线模型引擎和在线共享区，在线共享区在在线大数据平台之上划分分布式数据库共享区，通过协同分布式数据库共享区对存储资源和计算资源进行逻辑隔离，为下级的数据中心提供即席查询分析的能力，例如利用在线建模引擎中心对全网最新更新的实时位置库、时空轨迹切片库、落脚点库、停留点等库进行在线查询分析。在线建模引擎中心主要满足用户对于在线分析、实时查询场景的需求，可实时关联、比对、碰撞功能，用户可自助根据数据筛选条件即时分析和查询海量的数据。
在线模型引擎包括依次连接的数据源读取模块、在线加工模块和数据库写入模块，数据源读取模块读取的数据源为离线平台、在线平台、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个；在线建模引擎输出的数据输出至KAFKA平台、离线平台、在线平台、REDIS数据库、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个。
在线模型引擎用于在在线共享区上建模，提供了一种在建模层面跨数据中心、跨数据源的模型协同的能力。建立完成的模型以数据服务、模型服务方式发布至协同服务中心，在线模型引擎以底层技术的形态向使用方的上层应用系统提供技术服务能力，基于事件的灵活多变的场景化需求下，通过自定义建模的方式提供模型服务。在不做数据汇聚的前提下，达到与原始数据汇聚相当的技术效果。
如图2所示，离线建模引擎中心包括离线模型引擎和离线共享区，离线模型引擎用于在离线共享区上建模，离线共享区在离线大数据平台（ODPS、HIVE）之上划分地市共享区资源池，通过地市共享区资源池对存储资源和计算资源进行逻辑隔离，利用离线建模引擎中心为下级提供离线建模分析的能力。例如稳定可靠地满足大批量任务、定时任务。离线建模引擎中心需要离线共享区提供自动存储容错机制，所有计算在沙箱中运行，以保障数据高安全性、高可靠性。
模型引擎包括依次连接的数据源读取模块、离线加工模块和数据库写入模块，数据源读取模块读取的数据源为离线平台、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个；离线建模引擎输出的数据输出至KAFKA平台、离线平台、REDIS数据库、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个。离线建模引擎中的数据源读取组件，访问大数据平台中的数据，并以拖拽方式，引用数据读取，数据加工、数据写入等算子搭建模型流程图，后台经过图解析进行代码语法解析；并对数据分析和模型业务逻辑进行解析，形成任务列表；将解析的形成的任务通过在线平台标准调用方式提交到对接的离线大数据平台进行调用。
如图3所示，实时建模引擎中心是由于对业务数据处理的时效性要求。数据的业务价值随着时间的流失而迅速降低，因此在数据发生后必须尽快对其进行计算和处理。而离线建模引擎中心对于数据加工均遵循传统日清日毕模式，即以小时甚至以天为计算周期对当前数据进行累计并处理，故而无法满足数据实时计算的需求。因此，由实时建模引擎中心来满足用户基于事件的、针对特定区域及目标实现实时管控、轨迹、行为等规则进行实时计算，通过自定义建模的方式提供实时分析建模的能力。用户通过拖拽的方式针对KAFKA上已授权的数据进行实时处理，独立搭建业务模型，通过拖拉拽和简单的图形化条件设定，实现了低门槛的实时模型开发能力。
实时建模引擎中心包括流引擎和流共享区，流引擎在流共享区之上建模。实时建模引擎中心通过在实时大数据平台（FLINK、BLINK）之上划分下级共享资源池实现逻辑隔离，通过权限控制实现不同共享资源池间的安全隔离。实时建模引擎中心主要基于上级授权给下级的KAFKA上的数据资源，提供针对大规模特定管控目标及重点区域的实时布控、轨迹、行为等规则计算的能力。如：适合风控预警、实时预测等业务场景。
流引擎包括流建模引擎和预警规则引擎，流建模引擎包括依次连接的第一数据源读取模块、流建模加工模块和第一数据库写入模块。流建模引擎在流共享区（FLINK）之上实现可视化实时大数据分析建模，并通过流建模引擎中的数据源读取组件，访问kafka上的数据，并以拖拽方式，引用数据读取，数据加工、数据写入等算子搭建模型流程图，后台经过解析进行代码语法解析；并对数据分析和模型业务逻辑进行解析，形成任务列表；将解析的形成的任务通过流（FLINK）平台标准调用方式提交到对接的流大数据平台进行调用。
预警规则引擎即流建模引擎发布的固化算子，用于预警业务的协同作业，支持预警任务中发起对流共享区数据中心各自产生预警任务，并基于流共享区数据中心产生的预警结果数据进行预警规则计算，产生预警结果。预警规则引擎包括依次连接的第二数据源读取模块、规则加工模块和第二数据库写入模块，第一数据源读取模块和第二数据源读取模块从KAFKA平台读取数据，实时建模引擎中心输出的数据输出至KAFKA平台、离线平台、REDIS数据库、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个。协同分析系统包括上下级联模式和跨网协同模式。
上下级联模式是由于下级数据中心存在能力不足，因此需要利用上级数据中心的数据及计算资源，形成统一的协同计算资源目录，实现不同数据中心的计算资源进行协同调度开发，以满足下级数据中心的查询、分析、预警、专题建模等业务需要，对下级数据中心提供计算资源的协同，实现资源的全局可见、全域可用、全程可控，构建同警种上下级数据中心。因此采用上下级联模式，如图4所示，在上下级联模式下，若干数据中心共用同个能力管理中心和协同服务中心，若干数据中心相互进行调用管理或协同服务发布。
跨网协同模式则是由于各警种的数据涉及敏感信息，数据的使用有明确的政策要求，且各警种数据中心的架构、采用的技术路径以及服务模式均存在差异，对跨网络、跨平台的数据中心进行资源整合、融合计算难以实现，因此采用跨网协同模式，打通各警种数据交换通道和业务协同通道，实现跨物理隔离区域的融合计算，确保数据资源最大程度共享共用。如图5所示，在跨网协同模式下，协同分析系统具有安全边界。安全边界两侧各具有一个能力管理中心和协同服务中心，安全边界两侧的数据中心与对应侧的能力管理中心和协同服务中心进行调用管理或协同服务发布，安全边界两侧通过各侧的能力管理中心和协同服务中心交互。
安全边界是在各警种之间搭建新一代信息网安全通道，利用可视化建模工具，构建一方输入请求、多方方独立计算、计算结果定向反馈系统，将各警种的安全通道、接口、算法等能力封装成“算子”，统一编排后，封装注册到能力管理中心，结合各警种数据共享的安全机制，动态向业务部门授权形成业务闭环。
为形成真正能融合、贯通、共享的技术生态，提供关键技术支撑。由某一警种侧发起的算子指令应通过安全边界发起向其它警种指令交换，其它警种由指令转为服务并调用协同服务中心的服务，并通过能力管理中心对服务信息进行用户令牌和应用令牌进行可信检控，确保各警种侧的数据安全应用。
与此同时，本实施例还提供了一种协同分析方法，如图6所示，由前述协同分析系统实现，包括如下步骤：
步骤1：调用方的数据中心发起协同请求；
步骤2：协同服务中心接收协同请求，调用能力管理中心对调用方的数据中心进行鉴权；
步骤3：鉴权通过后，协同服务中心将协同请求对应的任务下发到作为下级数据中心的其他数据中心的建模平台；
步骤4：下级数据中心的级建模平台接收到协同请求后，调用能力管理中心进行鉴权；
步骤5：鉴权通过后，下级数据中心对协同请求对应的任务进行分解，并通过本地的模型协同引擎调用本数据中心和/或其他数据中心的模型服务和数据服务执行协同请求对应的任务，执行结果返回至上级数据中心。如图7所示，模型服务执行协同请求对应的任务包括如下子步骤：
业务终端以零代码可视化或写代码的形式进行数据分析或建模；模型服务经过图解析进行代码语法解析；对协同请求对应的任务进行解析，形成任务列表；将解析形成的任务列表通过标准接口调用方式提交到上级数据中心。
如果有多个下级数据中心参与，则每个参与的下级数据中心均执行步骤2到步骤5。
步骤6：上级数据中心将本地执行结果和接收到的执行结果进行融合后返回至协同服务中心，协同服务中心将接收的结果返回至调用方。
在协同分析方法执行过程中，能力管理中心监控协同请求所需要的协同分析系统的资源开销，如果所需要的协同分析系统的资源开销超过预支范围，由能力管理中心终止协同请求的执行。
同时，本实施例还提供了一种电子设备，如图8所示，包括：
一个或多个处理器101；
存储器102，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器101执行，使得所述一个或多个处理器101实现本实施例所提供的协同分析系统。
所述电子设备还可以包括一个或多个I/O接口103，连接在所述处理器101与存储器102之间，配置为实现所述处理器101与存储器102的信息交互。
其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器（CPU）等；第一存储器为具有数据存储能力的器件，其包括但不限于随机存取存储器（RAM，更具体如SDRAM、DDR等）、只读存储器（ROM）、带电可擦可编程只读存储器（EEPROM）、闪存（FLASH）；I/O接口（读写接口）连接在处理器与存储器间，能实现处理器与存储器的信息交互，其包括但不限于数据总线（Bus）等。
在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。
并且，本实施例还提供了一种计算机可读介质，如图9所示，其上存储有计算机程序，所述计算机程序被处理器执行时实现本实施例所提供的协同分析系统。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。据此，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可实现上述任意一项实施例的方法。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM (PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims (9)

1.一种协同分析系统，其特征在于，所述协同分析系统包括能力管理中心、协同服务中心以及若干数据中心，每个数据中心包括建模平台、模型协同引擎、模型服务、数据服务，所述能力管理中心用于对已经注册的数据服务和模型服务进行认证、授权、权限审批、受理请求；所述协同服务中心用于已建立的业务模型的路由、调用和管理；
所述建模平台用于搭建模型，调用已经注册的数据服务和模型服务，发布本数据中心的数据服务和模型服务；所述模型协同引擎用于对本数据中心接收到的模型服务和数据服务进行执行、调度以及放回结果；所述模型服务用于建立业务模型，包括在线建模引擎中心、离线建模引擎中心和实时建模引擎中心；所述数据服务用于为已建立的业务模型提供数据；
所述协同分析系统包括上下级联模式和跨网协同模式，在所述上下级联模式下，若干数据中心共用同个能力管理中心和协同服务中心，若干数据中心相互进行调用管理或协同服务发布；在所述跨网协同模式下，所述协同分析系统具有安全边界，所述安全边界两侧各具有一个能力管理中心和协同服务中心，安全边界两侧的数据中心与对应侧的能力管理中心和协同服务中心进行调用管理或协同服务发布，安全边界两侧通过各侧的能力管理中心和协同服务中心交互。
2.根据权利要求1所述的协同分析系统，其特征在于，所述在线建模引擎中心包括在线模型引擎和在线共享区，所述在线模型引擎用于在所述在线共享区上建模，所述在线共享区通过协同分布式数据库共享区对存储资源和计算资源进行逻辑隔离；
所述在线模型引擎包括依次连接的数据源读取模块、在线加工模块和数据库写入模块，所述数据源读取模块读取的数据源为离线平台、在线平台、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个；所述在线建模引擎输出的数据输出至KAFKA平台、离线平台、在线平台、REDIS数据库、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个。
3.根据权利要求1所述的协同分析系统，其特征在于，所述离线建模引擎中心包括离线模型引擎和离线共享区，所述离线模型引擎用于在所述离线共享区上建模，所述离线共享区通过地市共享区资源池对存储资源和计算资源进行逻辑隔离；
所述模型引擎包括依次连接的数据源读取模块、离线加工模块和数据库写入模块，所述数据源读取模块读取的数据源为离线平台、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个；所述离线建模引擎输出的数据输出至KAFKA平台、离线平台、REDIS数据库、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个。
4.根据权利要求1所述的协同分析系统，其特征在于，所述实时建模引擎中心包括流引擎和流共享区，所述流引擎在所述流共享区之上建模；
所述流引擎包括流建模引擎和预警规则引擎，所述流建模引擎包括依次连接的第一数据源读取模块、流建模加工模块和第一数据库写入模块，所述预警规则引擎包括依次连接的第二数据源读取模块、规则加工模块和第二数据库写入模块，所述第一数据源读取模块和所述第二数据源读取模块从KAFKA平台读取数据，所述实时建模引擎中心输出的数据输出至KAFKA平台、离线平台、REDIS数据库、ORACLE数据库、MYSQL数据库、FTP数据库中的一个或多个。
5.一种协同分析方法，由权利要求1至4中任意一项所述的协同分析系统实现，其特征在于，所述协同分析方法包括如下步骤：
调用方的数据中心发起协同请求；
协同服务中心接收协同请求，调用能力管理中心对调用方的数据中心进行鉴权；
鉴权通过后，协同服务中心将协同请求对应的任务下发到作为下级数据中心的其他数据中心的建模平台；
下级数据中心的级建模平台接收到协同请求后，调用能力管理中心进行鉴权；
鉴权通过后，下级数据中心对协同请求对应的任务进行分解，并通过本地的模型协同引擎调用本数据中心和/或其他数据中心的模型服务和数据服务执行协同请求对应的任务，执行结果返回至上级数据中心；
上级数据中心将本地执行结果和接收到的执行结果进行融合后返回至协同服务中心，协同服务中心将接收的结果返回至调用方。
6.根据权利要求5所述的协同分析方法，其特征在于，所述协同分析方法执行过程中，能力管理中心监控协同请求所需要的协同分析系统的资源开销，如果所需要的协同分析系统的资源开销超过预支范围，由能力管理中心终止协同请求的执行。
7.根据权利要求5所述的协同分析方法，其特征在于，模型服务执行协同请求对应的任务包括如下步骤：
业务终端以零代码可视化或写代码的形式进行数据分析或建模；
模型服务经过图解析进行代码语法解析；
对协同请求对应的任务进行解析，形成任务列表；
将解析形成的任务列表通过标准接口调用方式提交到上级数据中心。
8.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至4任意一项所述的协同分析系统。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的协同分析系统。
CN202311183299.4A 2023-09-14 2023-09-14 一种协同分析系统、方法、电子设备以及计算机可读介质 Active CN116910161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311183299.4A CN116910161B (zh) 2023-09-14 2023-09-14 一种协同分析系统、方法、电子设备以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311183299.4A CN116910161B (zh) 2023-09-14 2023-09-14 一种协同分析系统、方法、电子设备以及计算机可读介质

Publications (2)

Publication Number Publication Date
CN116910161A true CN116910161A (zh) 2023-10-20
CN116910161B CN116910161B (zh) 2023-12-15

Family

ID=88353533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311183299.4A Active CN116910161B (zh) 2023-09-14 2023-09-14 一种协同分析系统、方法、电子设备以及计算机可读介质

Country Status (1)

Country Link
CN (1) CN116910161B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1906348A1 (en) * 2006-09-28 2008-04-02 Rockwell Automation Technologies, Inc. Distributed message engines and systems
US20090319608A1 (en) * 2008-06-23 2009-12-24 Microsoft Corporation Automated task centered collaboration
CN109885562A (zh) * 2019-01-17 2019-06-14 安徽谛听信息科技有限公司 一种基于网络空间安全的大数据智能分析系统
CA3119867A1 (en) * 2018-11-29 2020-06-04 Crypto4A Technologies Inc. Trusted hardware network interconnection device and resources, and integrated multi-level or cross-domain network security management appliance, platform and system
CN113536503A (zh) * 2021-07-21 2021-10-22 深圳登科云软件有限公司 一种工厂异构设备接入平台及方法
WO2022095435A1 (zh) * 2020-11-06 2022-05-12 深圳市爱云信息科技有限公司 AIOT设备接入PaaS和SaaS多级联动管理平台
CN114553865A (zh) * 2022-01-12 2022-05-27 中国电子科技集团公司第十研究所 异构混合云系统架构设计方法
CN114971574A (zh) * 2022-06-14 2022-08-30 北京航天长峰科技工业集团有限公司 基于云边协同的多模态信息复合感知与融合架构及方法
WO2022227105A1 (zh) * 2021-04-30 2022-11-03 广州中国科学院软件应用技术研究所 一种基于端云融合的协同控制系统及方法
CN116318754A (zh) * 2022-09-08 2023-06-23 国网浙江省电力有限公司台州供电公司 针对分布式电源的多终端协同动态安全分析方法和系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1906348A1 (en) * 2006-09-28 2008-04-02 Rockwell Automation Technologies, Inc. Distributed message engines and systems
US20090319608A1 (en) * 2008-06-23 2009-12-24 Microsoft Corporation Automated task centered collaboration
CA3119867A1 (en) * 2018-11-29 2020-06-04 Crypto4A Technologies Inc. Trusted hardware network interconnection device and resources, and integrated multi-level or cross-domain network security management appliance, platform and system
WO2020107098A1 (en) * 2018-11-29 2020-06-04 Crypto4A Technologies Inc. Trusted hardware network interconnection device and resources, and integrated multi-level or cross-domain network security management appliance, platform and system
CN109885562A (zh) * 2019-01-17 2019-06-14 安徽谛听信息科技有限公司 一种基于网络空间安全的大数据智能分析系统
WO2022095435A1 (zh) * 2020-11-06 2022-05-12 深圳市爱云信息科技有限公司 AIOT设备接入PaaS和SaaS多级联动管理平台
WO2022227105A1 (zh) * 2021-04-30 2022-11-03 广州中国科学院软件应用技术研究所 一种基于端云融合的协同控制系统及方法
CN113536503A (zh) * 2021-07-21 2021-10-22 深圳登科云软件有限公司 一种工厂异构设备接入平台及方法
CN114553865A (zh) * 2022-01-12 2022-05-27 中国电子科技集团公司第十研究所 异构混合云系统架构设计方法
CN114971574A (zh) * 2022-06-14 2022-08-30 北京航天长峰科技工业集团有限公司 基于云边协同的多模态信息复合感知与融合架构及方法
CN116318754A (zh) * 2022-09-08 2023-06-23 国网浙江省电力有限公司台州供电公司 针对分布式电源的多终端协同动态安全分析方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YI ZHAO等: "Trine: Cloud-Edge-Device Cooperated Real-Time Video Analysis for Household Applications", IEEE TRANSACTIONS ON MOBILE COMPUTING *
李斌;张俊杰;: "面向大型制造企业的工业互联网安全架构研究", 网络空间安全, no. 07 *
林强;罗欢;: "跨数据中心一体化协同分布式云管理平台建设", 广东科技, no. 09 *
钱静;范广民;何蕾;徐丹丹;杨笑宇;方伟;: "分布式协同建模技术在综合数据平台中的实现", 电网技术, no. 20 *
陈芝;莫惠然;张人龙;: "基于云计算的集群式供应链协同管理结构模型研究", 科技管理研究, no. 19 *

Also Published As

Publication number Publication date
CN116910161B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
Nagothu et al. A microservice-enabled architecture for smart surveillance using blockchain technology
Tan et al. A blockchain-empowered crowdsourcing system for 5G-enabled smart cities
Pahl et al. An architecture pattern for trusted orchestration in IoT edge clouds
US20220038289A1 (en) Multi-access edge computing node with distributed ledger
CN104580163B (zh) 私有云环境下访问控制策略构建系统
El Ioini et al. Trustworthy orchestration of container based edge computing using permissioned blockchain
CN113821564B (zh) 异构并行区块链及其链上数据与链下合约协同方法
CN110661842B (zh) 一种资源的调度管理方法、电子设备和存储介质
CN103618762A (zh) 一种基于aop的企业服务总线状态预处理系统及方法
CN103473636A (zh) 一种收集、分析和分发网络商业信息的系统数据组件
Wang et al. IndustEdge: A time-sensitive networking enabled edge-cloud collaborative intelligent platform for smart industry
Guan et al. Blockchain: A distributed solution to UAV‐enabled mobile edge computing
Morozova et al. Methods and technologies for ensuring cybersecurity of industrial and web-oriented systems and networks
de Souza et al. Distributed MPC for urban traffic networks: A simulation‐based performance analysis
US20230342491A1 (en) Analytics Platform for Federated Private Data
CN116910161B (zh) 一种协同分析系统、方法、电子设备以及计算机可读介质
CN110912982A (zh) 芯片设计云计算系统及方法
Yu et al. Design of cloud computing and microservice-based urban rail transit integrated supervisory control system plus
CN116887264A (zh) 面向共享卫星的星上多用户接入管控方法、装置和设备
Onyuksel et al. Markovian queueing network models for performance analysis of a single-bus multiprocessor system
CN110759191B (zh) 基于5g智慧园区电梯控制方法
CN111145004B (zh) 基于可编辑工作流的智能财务稽核平台
Gorbenko et al. Development of dependable web services out of undependable web components
Ong et al. Application of mobile agents in a web-based real-time monitoring system
Froscher et al. A practical approach to high assurance multilevel secure computing service

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant