CN104240070A - 一种数据发布服务系统和方法 - Google Patents

一种数据发布服务系统和方法 Download PDF

Info

Publication number
CN104240070A
CN104240070A CN201410469586.6A CN201410469586A CN104240070A CN 104240070 A CN104240070 A CN 104240070A CN 201410469586 A CN201410469586 A CN 201410469586A CN 104240070 A CN104240070 A CN 104240070A
Authority
CN
China
Prior art keywords
data
index
management
module
achievement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410469586.6A
Other languages
English (en)
Inventor
张才俊
乔郑文
李明
付振罡
李志民
朱克
孙蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Customer Service Center Of State Grid Corp Of China
State Grid Corp of China SGCC
Neusoft Corp
Original Assignee
Customer Service Center Of State Grid Corp Of China
State Grid Corp of China SGCC
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Customer Service Center Of State Grid Corp Of China, State Grid Corp of China SGCC, Neusoft Corp filed Critical Customer Service Center Of State Grid Corp Of China
Priority to CN201410469586.6A priority Critical patent/CN104240070A/zh
Publication of CN104240070A publication Critical patent/CN104240070A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种数据发布服务系统和方法,所述系统包括接收模块、分析模块、判断模块、采集模块、处理模块和发布模块。本发明系统采用基于统一接口机制的接口方式与上下游系统(消费方系统、采集方系统)进行信息交互,例如,具体可采用WebService接口方式实现对采集方系统中的相关指标数据进行采集,以为消费方系统提供数据支持。从而,针对多系统数据发布需求,仅需基于统一接口机制通过进行相应配置将各消费方系统以及各采集方系统分别接入本发明系统即可,无需针对不同系统、不同维度、不同采集频度的指标在采集方与消费方之间进行多接口开发,克服了现有技术中多系统数据发布时接口开发、维护工作量较大,成本较高的问题。

Description

一种数据发布服务系统和方法
技术领域
本发明属于办公自动化技术领域,尤其涉及一种数据发布服务系统和方法。
背景技术
随着办公自动化的发展,大型企业往往需由多套软件系统分工合作来支撑其整个业务体系,不可避免地,各系统间会产生各种指标数据的分析发布需求,例如,内部系统与内部系统之间、内部系统向外部系统进行指标数据发布等。
当前,实现指标数据发布的两方系统中,不同的采集方系统与不同的消费方系统间存在接口多对多的混乱局面,例如,某企业当前存在两种系统A1,A2,作为指标采集方A1,A2均存在多个不同数据维度、不同采集频度的指标需对外发布,外部系统B1,B2作为数据消费方需要获取A1,A2的指标数据,此种情况下,针对A1,A2中每个不同维度、不同频度的指标都需分别开发与B1,B2间的接入接口,即最终需要开发的数据发布接口数量为:采集方系统数量*消费方系统数量*指标数。
可见,现有技术需要开发多个接口实现多系统数据的发布,且随着系统个数、不同维度、不同采集频度的发布指标数量的增加,接口数量将成倍增长,大大增加了多系统数据发布的接口开发、维护的工作量,提高了成本。
发明内容
有鉴于此,本发明的目的在于提供一种数据发布服务系统和方法,以解决现有由于需要多个接口实现多系统数据的发布,而导致的接口开发、维护工作量较大、成本较高的问题。
为此,本发明公开如下技术方案:
一种数据发布服务系统,其特征在于,包括接收模块、分析模块、判断模块、采集模块、处理模块和发布模块,其中:
所述接收模块,用于采用预设的基于统一接口机制的接口方式,接收消费方系统的请求信息,所述请求信息用于请求获取目标指标的指标数据,所述请求信息包括目标指标的标识信息;
所述分析模块,用于依据所述目标指标分析需从采集方系统采集的原始指标;
所述判断模块,用于判断预先建立的指标业模文档中是否已定义所述目标指标以及原始指标的指标业模,若判断结果为是则转至执行所述采集模块;否则,若判断结果为否,则定义所述目标指标以及原始指标的指标业模,将定义的所述指标业模添加至所述指标业模文档,之后触发所述采集模块;
所述采集模块,用于采用基于统一接口机制的接口方式,采集所述采集方系统中以所述指标业模文档的统一要求准备的原始指标数据;
所述处理模块,用于对所述原始指标数据进行分析和处理,得到消费方系统所需的目标指标数据;
所述发布模块,用于采用基于统一接口机制的接口方式发布所述目标指标数据,以为所述消费方系统提供数据支持。
上述系统,优选的,还包括管理模块,所述管理模块包括指标体系管理模块、指标数据采集管理模块、指标数据处理管理模块、指标数据发布管理模块以及指标数据质量管理模块,其中:
所述指标体系管理模块,用于依据所述指标业模文档中对指标业模的定义在所述服务系统中进行指标体系结构与指标数据信息的同步配置管理,包括指标结构管理、指标管理以及指标信息查询;
所述指标数据采集管理模块,用于对指标数据采集全流程进行管理,包括采集数据源管理、采集组管理、指标数据采集管理。
所述指标数据处理管理模块,用于对指标数据处理全流程进行管理,包括处理任务管理、指标数据处理调度管理、指标数据处理管理;
所述指标数据发布管理模块,用于对指标数据发布全流程进行管理,包括数据消费方管理、数据权限管理、数据审核以及数据发布管理;
所述指标数据质量管理模块,用于依据预先制定的数据质量规则对指标数据进行校验,并记录经校验后存在质量问题的指标数据,包括数据质量规则管理、数据质量校验场景管理、数据质量核查、数据质量核查明细查询。
上述系统,优选的,还包括:
统计模块,用于从不同角度对指标数据的发布过程进行信息统计,得到相应的统计报表,所述统计报表包括数据采集类报表、数据处理类报表、数据发布类报表以及数据质量报表。
上述系统,优选的,所述基于统一接口机制的接口方式具体为WebService、Socket以及中间库中的任意一种。
上述系统,优选的,所述采集方系统包括:业务支持系统、智能互动网站、呼叫平台。
上述系统,优选的,所述消费方系统包括移动终端、业务应用系统。
一种数据发布服务方法,包括:
采用预设的基于统一接口机制的接口方式,接收消费方系统的请求信息,所述请求信息用于请求获取目标指标的指标数据,所述请求信息包括目标指标的标识信息;
依据所述目标指标分析需从采集方系统采集的原始指标;
判断预先建立的指标业模文档中是否已定义所述目标指标以及原始指标的指标业模;若判断结果为否,则定义所述目标指标以及原始指标的指标业模,并将定义的所述指标业模添加至所述指标业模文档;
采用基于统一接口机制的接口方式,采集所述采集方系统中以所述指标业模文档的统一要求准备的原始指标数据;
对所述原始指标数据进行分析和处理,得到消费方系统所需的目标指标数据;
采用基于统一接口机制的接口方式发布所述目标指标数据,以为所述消费方系统提供数据支持。
上述方法,优选的,还包括:
依据所述指标业模文档中对指标业模的定义进行指标体系结构与指标信息的同步配置管理,包括指标结构管理、指标管理以及指标信息查询;
对指标数据采集全流程进行管理,包括采集数据源管理、采集组管理、指标数据采集管理。
对指标数据处理全流程进行管理,包括处理任务管理、指标数据处理调度管理、指标数据处理管理;
对指标数据发布全流程进行管理,包括数据消费方管理、数据权限管理、数据审核以及以及数据发布管理;
依据预先制定的数据质量规则对指标数据进行校验,并记录经校验后存在质量问题的指标数据,包括数据质量规则管理、数据质量校验场景管理、数据质量核查、数据质量核查明细查询。
上述方法,优选的,还包括:
从不同角度对指标数据的发布过程进行信息统计得到相应的统计报表,所述统计报表包括数据采集类报表、数据处理类报表、数据发布类报表以及数据质量报表。
本发明实施例提供的数据发布服务系统包括接收模块、分析模块、判断模块、采集模块、处理模块和发布模块。本发明系统采用基于统一接口机制的接口方式实现与上下游系统(消费方系统、采集方系统)的信息交互,例如,具体可采用WebService接口方式,实现对采集方系统中的相关指标数据进行采集,从而为消费方系统提供数据支持。可见,针对多系统数据发布需求,仅需基于统一接口机制通过进行相应配置将各消费方系统以及各采集方系统分别接入本发明的服务系统即可,无需针对不同系统、不同维度、不同采集频度的指标在采集方与消费方之间开发多个接入接口,从而本发明克服了现有技术中多系统数据发布时接口开发、维护工作量较大,成本较高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一公开的数据发布服务系统的一种结构示意图;
图2是本发明实施例二公开的数据发布服务系统的另一种结构示意图;
图3是本发明实施例二公开的管理模块的结构示意图;
图4是本发明实施例三公开的数据发布服务系统的又一种结构示意图;
图5是本发明实施例四公开的数据发布服务方法的一种流程图;
图6是本发明实施例四公开的数据发布服务方法的另一种流程图;
图7是本发明实施例四公开的数据发布服务方法的又一种流程图;
图8是本发明实施例四公开的数据发布服务系统的技术架构示意图。
具体实施方式
为了引用和清楚起见,下文中使用的技术名词、简写或缩写总结解释如下:
WebService:该技术能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件,就可相互交换数据或集成。依据WebService规范实施的应用之间,无论所使用的语言、平台或内部协议是什么,都可以相互交换数据。
Socket:即套接字,用于描述IP地址和端口,是一个通信链的句柄。
SOAP:Simple Object Access Protocol,简单对象访问协议。
HTTP:Hypertext transfer protocol,超文本传输协议。
XML:Extensible Markup Language,可扩展标记语言。
WSDL:Web Services Description Language,Web服务器描述语言。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例一公开一种数据发布服务系统,请参见图1,该系统包括接收模块100、分析模块200、判断模块300、采集模块400、处理模块500和发布模块600。
本发明建立统一的对外接口机制,确保数据发布的上下游系统(消费方系统、采集方系统)都遵循该机制,同时,在统一机制的前提下,支持多种接口方式,以确保本发明系统与消费方系统、采集方系统对接的灵活性。具体地,本发明的系统可采用WebService、Socket以及中间库等基于统一接口机制的接口方式中的任意一种,本实施例具体采用WebService接口方式实现数据发布服务系统与采集方系统及消费方系统的数据接入。
实施本发明时,可将消费方系统作为客户端,将本发明系统作为服务器,客户端和服务器间基于WebService SOAP协议通过HTTP并采用XML格式的字符串来交互数据,具体地,客户端根据WSDL描述文档生成SOAP请求消息,并将该请求消息发送到服务端,服务端解析收到的SOAP请求,调用相应的WebService从采集方系统获取所需的相应原始指标数据,然后再依据原始指标数据生成相应的SOAP应答(即XML字符串形式的结果数据)反馈至客户端。
其中,采集方系统是指提供指标数据的数据源,作为数据提供方其包括业务支持系统、智能互动网站、呼叫平台等核心系统;消费方系统具体为通过本发明服务系统查询指标数据并进行数据消费活动的数据消费方,包括移动终端、业务应用系统等。消费方系统和采集方系统分别作为本发明数据发布服务系统的上下游系统,借助本发明提供的数据发布服务实现指标数据的发布、处理、获取等目的。
接收模块100,用于采用预设的基于统一接口机制的接口方式,接收消费方系统的请求信息,所述请求信息用于请求获取目标指标的指标数据,所述请求信息包括目标指标的标识信息。
本发明的系统作为消费方、采集方系统的中间服务系统,在消费方系统有指标数据的获取需求时,通过其包括的接收模块100接收消费方系统的请求信息,该请求信息包括需获取的目标指标的标识信息,例如具体可包括目标指标的编码等,以通知本发明系统对相应的原始指标数据进行采集。
分析模块200,用于依据所述目标指标分析需从采集方系统采集的原始指标。
具体地,例如,分析模块200对消费方系统所请求的某目标指标进行分析后,获知目标指标共需由3个原始指标数据计算得到,后续分析模块200将该3个原始指标的指标数据采集、计算等任务交由其他相应模块进行处理。
判断模块300,用于判断预先建立的指标业模文档中是否已定义所述目标指标以及原始指标的指标业模,若判断结果为是则转至执行所述采集模块400;否则,若判断结果为否,则定义所述目标指标以及原始指标的指标业模,将定义的所述指标业模添加至所述指标业模文档,之后触发所述采集模块400。
具体地,数据消费方提出指标数据请求,若判断模块300判断出指标业模文档中没有定义该指标的指标业模,或没有定义获取该指标数据所需的原始指标的指标业模,则数据消费方会发起指标变更请求,请求在指标业模文档中定义所述指标或原始指标的指标业模,判断模块300经过相应的指标审批流程后,完成所需的指标业模的定义,形成新的指标业模文档。该指标业模文档可作为本发明数据发布服务系统、数据提供方以及数据消费方系统中指标变更的依据,本发明系统根据所述文档中指标业模的定义,维护系统中指标的各项信息,且作为指标数据提供方的业务支持系统、智能互动网站、呼叫平台等核心系统,根据所述文档中指标业模的统一要求,准备指标数据,以供数据发布服务系统进行采集。
采集模块400,用于采用基于统一接口机制的接口方式,采集所述采集方系统以所述指标业模文档的统一要求准备的原始指标数据。
其中,采集模块400确定所需采集的原始指标所属的采集方系统,并确定采集方系统的地址以及采集机制,在此基础上,进行接口配置实现将相应的采集方系统接入本发明;与此同时,本采集模块400将同一类型的指标基本数据单元打包形成采集组,作为数据采集的基本单元,并依据采集组所定义的采集任务规则,调度采集任务采用所确定的采集机制从相应的采集方系统采集所需的指标数据。
本发明的服务系统可采用数据源推送或主动采集两种采集方式或机制实现从采集方采集指标数据。
本模块具体采用WebService接口,并通过进行相应配置实现与采集方系统间的数据接入。
处理模块500,用于对所述原始指标数据进行分析和处理,得到消费方系统所需的目标指标数据。
在采集模块400从相应采集方系统采集所需的原始指标数据后,处理模块500将处理方式类似的指标数据单元组合在一起,形成数据处理任务,并依据预先定义的数据处理任务与处理逻辑间的映射关系,选择合适的处理逻辑,对数据处理任务进行相应处理,例如对原始数据进行汇总、计算等,最终得到消费方系统所需的目标指标数据。
消费方系统所需的目标指标数据从形式上可以是原始指标数据、对原始指标数据进行处理所得的新指标数据或汇总数据。
发布模块600,用于采用基于统一接口机制的接口方式发布所述目标指标数据,以为所述消费方系统提供数据支持。
具体地,发布模块600根据来自不同消费方系统的数据获取需求,配置指标信息及汇总数据与消费方系统的对应关系,实现对消费方系统的相应数据访问权限进行设置,在此基础上,该模块对处理模块500的汇总数据、新指标数据等处理结果数据进行发布。后续消费方系统可通过约定好的接口方式获取发布数据。
本模块从实现方式可采用消费方查询请求数据和数据发布服务系统主动推送数据两种方式实现消费方系统获取所需的指标数据。且本模块具体采用WebService接口,并通过进行相应配置实现与消费方系统间的数据交互。
综上,本发明实施例提供的数据发布服务系统包括接收模块100、分析模块200、判断模块300、采集模块400、处理模块500和发布模块600。本发明系统采用基于统一接口机制的接口方式实现与上下游系统(消费方系统、采集方系统)的信息交互,例如,具体可采用WebService接口方式,实现对采集方系统中的相关指标数据进行采集,从而为消费方系统提供数据支持。可见,针对多系统数据发布需求,仅需基于统一接口机制通过进行相应配置将各消费方系统以及各采集方系统分别接入本发明的服务系统即可,无需针对不同系统、不同维度、不同采集频度的指标在采集方与消费方之间开发多个接入接口,从而本发明克服了现有技术中多系统数据发布时接口开发、维护工作量较大,成本较高的问题。
实施例二
本发明实施例二继续对实施例一的数据发布服务系统进行优化,请参见图2,本实施例中,数据发布服务系统除了包含以上各模块之外,还包含管理模块700,用于对发布服务系统的各工作流程进行管理。
如图3所示,该管理模块700具体包括指标体系管理模块701、指标数据采集管理模块702、指标数据处理管理模块703、指标数据发布管理模块704以及指标数据质量管理模块705。
其中,指标体系管理模块701,用于依据所述指标业模文档中对指标业模的定义在所述服务系统中进行指标体系结构与指标数据信息的同步配置管理,包括指标结构管理、指标管理以及指标信息查询。
本发明数据发布服务系统中的数据包括采集类数据和汇总数据两类业务数据。
采集类数据是指从数据提供方采集、并存储到本发明服务系统指定数据库的原始数据,这些原始数据是后续数据处理以及发布的基本数据单元,共分为六个大类,分别是话务类、座席类、话务实时类、业务受理类、业务处理类和回访类。汇总数据是指对采集后的原始指标数据进行深度加工所形成的新指标数据或者汇总信息。指标体系管理模块701依据指标业模文档中对指标业模的定义对以上两类业务数据进行指标体系结构与指标数据信息的同步配置管理。
指标数据采集管理模块702,用于对指标数据采集全流程进行管理,包括采集数据源管理、采集组管理、指标数据采集管理。
采集数据源管理包括:配置所有采集数据源的定义信息,对采集数据源的信息进行增、删、改、查操作等。采集数据源的信息(即业务属性)主要包括数据源编码、数据源名称、来源系统、数据源类别(WebService、socket、中间库)、数据源地址、备注等信息。
本模块的采集数据源管理基于如下约束:如果当前数据源被至少一个采集组所引用,则不允许进行删除。
采集组是本发明服务系统与数据提供方进行指标数据采集交互的基本单元。采集组由基本属性和采集数据项构成,其中,采集组基本属性包括采集组编码、采集组名称、采集数据源、采集方式(主动、被动)、采集频度、采集时间、采集组描述;采集数据项为指标数据单元的基本数据单元,包括指标编码、指标名称、指标结构、对应业模指标编号、基本数据单元名称、时间频度、供电单位类型或部门类型、业务维度信息。
指标数据采集管理模块702的采集组管理功能实现对采集组基本属性以及采集组包含的数据项信息进行配置管理。
指标数据采集管理根据采集数据源和采集组的配置信息,按照不同的时间频度、不同的采集方式,将采集组不断实例化,从数据提供方采集数据,实现采集工作智能化的后台调度功能。指标数据的采集可采用主动采集和被动接收两种方式。
指标数据处理管理模块703,用于对指标数据处理全流程进行管理,包括处理任务管理、指标数据处理调度管理、指标数据处理管理。
指标数据处理是将采集后的指标数据,经过加工,形成新的指标或者数据发布服务所需要的汇总数据的过程。本模块的指标数据处理管理实现了对指标数据处理的全流程进行管理,包括处理任务管理、数据处理调度管理、数据处理等。
指标数据发布管理模块704,用于对指标数据发布全流程进行管理,包括数据消费方管理、数据权限管理、数据审核以及数据发布管理。
数据发布是将本发明服务系统内的指标数据以及处理后的汇总数据,发布给指定数据消费系统的过程。本模块实现了对指标数据发布的全流程进行管理,主要功能包括数据权限管理、数据审核以及数据发布。
数据消费方管理提供将需要获取数据的消费方系统及其属性进行定义和维护的功能,可以定义消费方系统的ID、消费方名称、状态、级别、数据获取方式等。
数据权限管理是将待发布的数据与数据消费方建立对应关系的过程,可确保数据消费方查询数据时不越界、不越级。
对原始数据进行处理后所得的新指标数据或汇总数据可分为需要审核和不需要审核两类,需要审核的数据在生成后为待审核状态,审核通过后变更为已审核状态,已审核状态的数据才可以对外发布;不需要审核的数据汇总后可以直接发布。指标数据发布管理模块704的数据审核实现对待审核状态的各类数据进行审核。
数据发布管理实现数据发布工作智能化的后台调度功能,具体可采用主动推送或响应消费方查询请求两种数据发布方式,根据数据权限的配置信息以及审核情况,向数据消费方提供对应数据。
指标数据质量管理模块705,用于依据预先制定的数据质量规则对指标数据进行校验,并记录经校验后存在质量问题的指标数据,包括数据质量规则管理、数据质量校验场景管理、数据质量核查、数据质量核查明细查询。
指标数据质量管理从及时性、完整性、准确性三个角度定义了数据指标的质量规则,定时或即时根据数据质量规则对数据进行校验,记录有质量问题的数据,作为运维人员发现问题、核查问题的依据。
本实施例二通过对数据发布服务系统的全工作流程进行管理,实现了该服务系统的全方位智能化调度,为用户使用本发明提供了便利。
实施例三
本发明实施例三继续对以上实施例公开的数据发布服务系统进行补充、完善。请参见图4,该服务系统还包括统计模块800,用于从不同角度对指标数据的发布过程进行信息统计得到相应的统计报表,所述统计报表包括数据采集类报表、数据处理类报表、数据发布类报表以及数据质量报表。
本实施例的统计模块800具体依据上述服务系统日常的各类业务活动信息,从不同的角度对进行信息统计,可以满足不同业务部门的统计需求,为后续的信息分析工作提供了依据。
实施例四
本发明实施例四公开一种数据发布服务方法,该方法与以上实施例公开的数据发布服务系统相对应。
首先,相应于实施例一中数据发布服务系统的结构,本发明公开数据发布服务方法的一种流程,请参见图5,该方法包括如下步骤:
S501:采用预设的基于统一接口机制的接口方式,接收消费方系统的请求信息,所述请求信息用于请求获取目标指标的指标数据,所述请求信息包括目标指标的标识信息。
S502:依据所述目标指标分析需从采集方系统采集的原始指标。
S503:判断预先建立的指标业模文档中是否已定义所述目标指标以及原始指标的指标业模;若判断结果为否,则定义所述目标指标以及原始指标的指标业模,将定义的所述指标业模添加至所述指标业模文档。
S504:采用基于统一接口机制的接口方式,采集所述采集方系统中以所述指标业模文档的统一要求准备的原始指标数据。
S505:对所述原始指标数据进行分析和处理,得到消费方系统所需的目标指标数据。
S506:采用基于统一接口机制的接口方式发布所述目标指标数据,以为所述消费方系统提供数据支持。
其次,相应于实施例二中数据发布服务系统的结构,本实施例继续公开数据发布服务方法的另一种流程,如图6所示,该方法还包括:
S507:对指标数据采集、处理、发布的全流程进行管理。
该步骤S507具体包括:
依据所述指标业模文档中对指标业模的定义在所述服务系统中进行指标体系结构与指标信息的同步配置管理,包括指标结构管理、指标管理以及指标信息查询;
对指标数据采集全流程进行管理,包括采集数据源管理、采集组管理、指标数据采集管理。
对指标数据处理全流程进行管理,包括处理任务管理、指标数据处理调度管理、指标数据处理管理;
对指标数据发布全流程进行管理,包括数据消费方管理、数据权限管理、数据审核以及以及数据发布管理;
依据预先制定的数据质量规则对指标数据进行校验,并记录经校验后存在质量问题的指标数据,包括数据质量规则管理、数据质量校验场景管理、数据质量核查、数据质量核查明细查询。
相应于实施例三中数据发布服务系统的结构,本实施例继续公开数据发布服务方法的又一种流程,请参见图7,该方法还包括:
S508:从不同角度对指标数据的发布过程进行信息统计得到相应的统计报表,所述统计报表包括数据采集类报表、数据处理类报表、数据发布类报表以及数据质量报表。
接下来,公开实现本发明系统的技术架构。如图8所示,本发明系统的技术架构包括数据源层、数据接入层、数据处理层、数据发布服务层和数据应用层。
数据源层包括提供指标数据的业务支持系统、智能互动网站、呼叫平台等核心系统,这些核心系统根据指标业模的统一要求,准备指标数据,供数据发布服务系统进行采集。
数据接入层是指依据指标业模从数据源层接入指标数据并存储到采集数据存储空间的技术支持层,其从实现方式上支持数据源层推送和从数据源层主动采集两种采集方式,从技术手段上支持WebService、Socket、中间库三种接口方式。
数据处理层包括对管理数据、采集数据、汇总数据的处理,通过JAVA调用和存储过程调用的方式,依据一定的管理数据要求,将采集来的指标数据加工并生成为新的指标数据或者汇总数据。
数据发布服务层将汇总数据发布给数据消费系统的技术支持层,其从实现方式上支持消费方查询请求和主动推送两种采集方式,从技术手段上支持WebService、Socket、中间库三种接口方式。
数据应用层分为管理功能、数据消费两部分,其中管理功能包括指标管理、采集组定义、处理规则定义、数据授权以及数据质量管理等功能,其技术实现手段主要为SoTower、Flex;数据消费主要是指通过数据发布服务系统查询数据的数据消费活动,数据消费方包括等南中心大屏、移动终端等消费方系统。
对于本发明实施例四公开的数据发布服务方法而言,由于其与以上各实施例公开的数据发布服务系统相对应,所以描述的比较简单,相关相似之处请参见以上各实施例中数据发布服务系统部分的说明即可,此处不再详述。
综上所述,本发明具有如下优势:统一标准,即依据指标业模实现了指标定义,并从指标分类、指标含义、采集频度以及统计口径等方面实现了指标的统一标准化管理;统一数据,即在指标采集、处理以及发布过程中,构建统一的指标数据存储库,确保明细及汇总数据的唯一性、准确性、完整性、规范性和时效性,确保数据使用方(本发明服务系统内部应用及消费方外部系统)之间的数据统一;统一接口、统一服务,即统一数据接口服务标准,规范化对外进行数据交互的接口机制,确保了数据发布服务的高效性和安全性,克服了现有技术中多系统数据发布时因多接口开发而导致的维护工作量较大,成本较高的问题。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各模块、单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种数据发布服务系统,其特征在于,包括接收模块、分析模块、判断模块、采集模块、处理模块和发布模块,其中:
所述接收模块,用于采用预设的基于统一接口机制的接口方式,接收消费方系统的请求信息,所述请求信息用于请求获取目标指标的指标数据,所述请求信息包括目标指标的标识信息;
所述分析模块,用于依据所述目标指标分析需从采集方系统采集的原始指标;
所述判断模块,用于判断预先建立的指标业模文档中是否已定义所述目标指标以及原始指标的指标业模,若判断结果为是则转至执行所述采集模块;否则,若判断结果为否,则定义所述目标指标以及原始指标的指标业模,将定义的所述指标业模添加至所述指标业模文档,之后触发所述采集模块;
所述采集模块,用于采用基于统一接口机制的接口方式,采集所述采集方系统中以所述指标业模文档的统一要求准备的原始指标数据;
所述处理模块,用于对所述原始指标数据进行分析和处理,得到消费方系统所需的目标指标数据;
所述发布模块,用于采用基于统一接口机制的接口方式发布所述目标指标数据,以为所述消费方系统提供数据支持。
2.根据权利要求1所述的数据发布服务系统,其特征在于,还包括管理模块,所述管理模块包括指标体系管理模块、指标数据采集管理模块、指标数据处理管理模块、指标数据发布管理模块以及指标数据质量管理模块,其中:
所述指标体系管理模块,用于依据所述指标业模文档中对指标业模的定义在所述服务系统中进行指标体系结构与指标数据信息的同步配置管理,包括指标结构管理、指标管理以及指标信息查询;
所述指标数据采集管理模块,用于对指标数据采集全流程进行管理,包括采集数据源管理、采集组管理、指标数据采集管理;
所述指标数据处理管理模块,用于对指标数据处理全流程进行管理,包括处理任务管理、指标数据处理调度管理、指标数据处理管理;
所述指标数据发布管理模块,用于对指标数据发布全流程进行管理,包括数据消费方管理、数据权限管理、数据审核以及数据发布管理;
所述指标数据质量管理模块,用于依据预先制定的数据质量规则对指标数据进行校验,并记录经校验后存在质量问题的指标数据,包括数据质量规则管理、数据质量校验场景管理、数据质量核查、数据质量核查明细查询。
3.根据权利要求2所述的数据发布服务系统,其特征在于,还包括:
统计模块,用于从不同角度对指标数据的发布过程进行信息统计,得到相应的统计报表,所述统计报表包括数据采集类报表、数据处理类报表、数据发布类报表以及数据质量报表。
4.根据权利要求1所述的数据发布服务系统,其特征在于,所述基于统一接口机制的接口方式具体为WebService、Socket以及中间库中的任意一种。
5.根据权利要求1所述的数据发布服务系统,其特征在于,所述采集方系统包括:业务支持系统、智能互动网站、呼叫平台。
6.根据权利要求5所述的数据发布服务系统,其特征在于,所述消费方系统包括移动终端、业务应用系统。
7.一种数据发布服务方法,其特征在于,包括:
采用预设的基于统一接口机制的接口方式,接收消费方系统的请求信息,所述请求信息用于请求获取目标指标的指标数据,所述请求信息包括目标指标的标识信息;
依据所述目标指标分析需从采集方系统采集的原始指标;
判断预先建立的指标业模文档中是否已定义所述目标指标以及原始指标的指标业模;若判断结果为否,则定义所述目标指标以及原始指标的指标业模,并将定义的所述指标业模添加至所述指标业模文档;
采用基于统一接口机制的接口方式,采集所述采集方系统中以所述指标业模文档的统一要求准备的原始指标数据;
对所述原始指标数据进行分析和处理,得到消费方系统所需的目标指标数据;
采用基于统一接口机制的接口方式发布所述目标指标数据,以为所述消费方系统提供数据支持。
8.根据权利要求7所述的数据发布服务方法,其特征在于,还包括:
依据所述指标业模文档中对指标业模的定义进行指标体系结构与指标信息的同步配置管理,包括指标结构管理、指标管理以及指标信息查询;
对指标数据采集全流程进行管理,包括采集数据源管理、采集组管理、指标数据采集管理;
对指标数据处理全流程进行管理,包括处理任务管理、指标数据处理调度管理、指标数据处理管理;
对指标数据发布全流程进行管理,包括数据消费方管理、数据权限管理、数据审核以及数据发布管理;
依据预先制定的数据质量规则对指标数据进行校验,并记录经校验后存在质量问题的指标数据,包括数据质量规则管理、数据质量校验场景管理、数据质量核查、数据质量核查明细查询。
9.根据权利要求8所述的数据发布服务方法,其特征在于,还包括:
从不同角度对指标数据的发布过程进行信息统计得到相应的统计报表,所述统计报表包括数据采集类报表、数据处理类报表、数据发布类报表以及数据质量报表。
CN201410469586.6A 2014-09-15 2014-09-15 一种数据发布服务系统和方法 Pending CN104240070A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410469586.6A CN104240070A (zh) 2014-09-15 2014-09-15 一种数据发布服务系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410469586.6A CN104240070A (zh) 2014-09-15 2014-09-15 一种数据发布服务系统和方法

Publications (1)

Publication Number Publication Date
CN104240070A true CN104240070A (zh) 2014-12-24

Family

ID=52228090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410469586.6A Pending CN104240070A (zh) 2014-09-15 2014-09-15 一种数据发布服务系统和方法

Country Status (1)

Country Link
CN (1) CN104240070A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106304122A (zh) * 2015-05-21 2017-01-04 中国移动通信集团福建有限公司 一种业务数据分析方法及系统
CN108429811A (zh) * 2018-03-19 2018-08-21 武汉虹信通信技术有限责任公司 一种基于数据融合的数据统一接口管理系统及方法
CN109766370A (zh) * 2018-12-27 2019-05-17 口碑(上海)信息技术有限公司 数据处理方法、数据服务系统及设备
CN110020773A (zh) * 2019-01-30 2019-07-16 阿里巴巴集团控股有限公司 一种数据处理方法、设备及计算机可读介质
CN110856208A (zh) * 2019-11-04 2020-02-28 南宁师范大学 一种网络式资源环境数据采集通信平台
CN112396343A (zh) * 2020-11-30 2021-02-23 北京中电普华信息技术有限公司 一种数据质量核查方法及装置
CN112465364A (zh) * 2020-12-03 2021-03-09 合肥天源迪科信息技术有限公司 一种用于指标库的管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1687922A (zh) * 2005-05-30 2005-10-26 北京慧讯信息技术有限公司 分布式数据源数据集成系统及方法
CN101174957A (zh) * 2007-10-09 2008-05-07 南京财经大学 面向异源数据的协同业务平台
CN101739454A (zh) * 2009-12-29 2010-06-16 用友软件股份有限公司 数据处理系统
CN103036954A (zh) * 2012-12-03 2013-04-10 北京邮电大学 基于gis的移动信息聚合系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1687922A (zh) * 2005-05-30 2005-10-26 北京慧讯信息技术有限公司 分布式数据源数据集成系统及方法
CN101174957A (zh) * 2007-10-09 2008-05-07 南京财经大学 面向异源数据的协同业务平台
CN101739454A (zh) * 2009-12-29 2010-06-16 用友软件股份有限公司 数据处理系统
CN103036954A (zh) * 2012-12-03 2013-04-10 北京邮电大学 基于gis的移动信息聚合系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张军昌: "发电集团数据集成处理研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106304122A (zh) * 2015-05-21 2017-01-04 中国移动通信集团福建有限公司 一种业务数据分析方法及系统
CN106304122B (zh) * 2015-05-21 2020-03-03 中国移动通信集团福建有限公司 一种业务数据分析方法及系统
CN108429811A (zh) * 2018-03-19 2018-08-21 武汉虹信通信技术有限责任公司 一种基于数据融合的数据统一接口管理系统及方法
CN108429811B (zh) * 2018-03-19 2020-11-03 武汉虹信通信技术有限责任公司 一种基于数据融合的数据统一接口管理系统及方法
CN109766370A (zh) * 2018-12-27 2019-05-17 口碑(上海)信息技术有限公司 数据处理方法、数据服务系统及设备
CN110020773A (zh) * 2019-01-30 2019-07-16 阿里巴巴集团控股有限公司 一种数据处理方法、设备及计算机可读介质
CN110856208A (zh) * 2019-11-04 2020-02-28 南宁师范大学 一种网络式资源环境数据采集通信平台
CN112396343A (zh) * 2020-11-30 2021-02-23 北京中电普华信息技术有限公司 一种数据质量核查方法及装置
CN112465364A (zh) * 2020-12-03 2021-03-09 合肥天源迪科信息技术有限公司 一种用于指标库的管理系统
CN112465364B (zh) * 2020-12-03 2024-03-19 合肥天源迪科信息技术有限公司 一种用于指标库的管理系统

Similar Documents

Publication Publication Date Title
CN104240070A (zh) 一种数据发布服务系统和方法
CN110134674B (zh) 一种货币信贷大数据监测分析系统
CN102054025B (zh) 交通信息资源整合处理方法及系统
CN109636130A (zh) 一种应急通信指挥管理系统
US8707336B2 (en) Data event processing and application integration in a network
Yang et al. Design and implementation of cloud platform for intelligent logistics in the trend of intellectualization
CN104881352A (zh) 基于移动端的系统资源监控装置
CN103944924A (zh) 一种基于RESTful的泛在网发布订阅中间件模型
CN102624554B (zh) 一种结合了设备管理和业务管理的综合网络管理方法
CN103595816A (zh) 电力营销一体化催费平台系统
CN112698953A (zh) 一种基于微服务的电网智能运检平台
CN105574640A (zh) 一种对应用进行统一综合管理平台建设的方法
CN102333108A (zh) 分布式缓存同步系统及方法
CN103824150A (zh) 一种食品安全监控系统
CN103823660A (zh) 一种it运维配置管理系统和方法
CN101808051A (zh) 应用整合网关及其控制方法
CN110096545A (zh) 一种基于大数据平台数据处理域构架方法
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理系统
CN102567517A (zh) 发布数据库数据的装置和方法
CN101202676B (zh) 无线故障管理系统装置
CN109933568A (zh) 一种工业大数据平台系统及其查询方法
CN110827172A (zh) 一种智慧水务云服务平台
CN112732683B (zh) 一种基于电力行业数据标准自动化监管系统和方法
CN110109949A (zh) 社会信用信息服务平台
CN201022214Y (zh) 一种客户关系管理系统架构

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141224