CN111368039A - 一种数据管理系统 - Google Patents

一种数据管理系统 Download PDF

Info

Publication number
CN111368039A
CN111368039A CN202010162862.XA CN202010162862A CN111368039A CN 111368039 A CN111368039 A CN 111368039A CN 202010162862 A CN202010162862 A CN 202010162862A CN 111368039 A CN111368039 A CN 111368039A
Authority
CN
China
Prior art keywords
data
log
message
information
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010162862.XA
Other languages
English (en)
Other versions
CN111368039B (zh
Inventor
王运峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocdop Ltd
Original Assignee
Ocdop Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocdop Ltd filed Critical Ocdop Ltd
Priority to CN202010162862.XA priority Critical patent/CN111368039B/zh
Publication of CN111368039A publication Critical patent/CN111368039A/zh
Application granted granted Critical
Publication of CN111368039B publication Critical patent/CN111368039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/338Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/548Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供了一种数据管理系统,包括:搜索服务器、消息代理器、消息监控子系统以及至少一个应用子系统;针对每个应用子系统,应用子系统用于将实际运行中所产生满足消息发送条件的原始处理数据发送至消息代理器;消息代理器,用于采用消息队列的形式存储各应用子系统反馈的原始处理数据;消息监控子系统,用于将消息代理器中各原始处理数据按照相应的数据属性进行处理,并将处理后形成的各目标数据发送至搜索服务器;搜索服务器,用于作为数据查询的查询接口,将各目标数据按照相应的数据类型进行存储,形成至少一个数据集合,以便于用户查询。实现了数据统一管理,快速查找数据,提高工作人员的工作效率。

Description

一种数据管理系统
技术领域
本发明实施例涉及物联网技术领域,尤其涉及一种数据管理系统。
背景技术
随着物联网技术的发展,在公司内部,一个系统已经无法满足用户或者公司的需求,往往涉及到多个系统,或者是分布式系统。传统的方法是对每个系统单独存储日志文件数据来记录用户操作,对用户的操作数据单独进行管理。当系统出现某个问题后,要定位问题着实比较繁琐,需要逐一对服务器日志文件进行查看,一旦服务器个数过多,采用逐一查看日志文件的方式会非常耗时费力,导致无法解决问题。并且如果一个错误牵涉到多个系统会导致定位问题更加困难,为了排查一个简单的错误可能需要花费几个小时甚至几天的时间,严重降低工作人员的工作效率,且问题迟迟无法解决也会影响用户的使用体验。
发明内容
本发明提供一种数据管理系统,以实现多个应用系统数据的统一管理。
所述数据管理系统包括:搜索服务器、消息代理器、消息监控子系统以及至少一个应用子系统;
针对每个应用子系统,所述应用子系统用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器;
所述消息代理器,用于采用消息队列的形式存储各所述应用子系统反馈的原始处理数据;
所述消息监控子系统,用于将所述消息代理器中各原始处理数据按照相应的数据属性进行处理,并将处理后形成的各目标数据发送至所述搜索服务器;
所述搜索服务器,用于作为数据查询的查询接口,将各所述目标数据按照相应的数据类型进行存储,形成至少一个数据集合,以便于用户查询。
本发明实施例提供了一种数据管理系统,包括:搜索服务器、消息代理器、消息监控子系统以及至少一个应用子系统;针对每个应用子系统,所述应用子系统用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器;所述消息代理器,用于采用消息队列的形式存储各所述应用子系统反馈的原始处理数据;所述消息监控子系统,用于将所述消息代理器中各原始处理数据按照相应的数据属性进行处理,并将处理后形成的各目标数据发送至所述搜索服务器;所述搜索服务器,用于作为数据查询的查询接口,将各所述目标数据按照相应的数据类型进行存储,形成至少一个数据集合,以便于用户查询,解决了多个系统操作数据存储在多个日志中导致的无法统一管理数据的问题,实现数据统一管理,通过为用户提供一个统一查询接口,实现快速查找数据,提高工作人员的工作效率。
附图说明
图1是本发明实施例一中的一种数据管理系统的结构图;
图2是本发明实施例一中的另一种数据管理系统的结构图;
图3是本发明实施例二中的一种数据管理的实现示例图;
图4是本发明实施例二中的一种消息监控子系统对原始处理数据的处理方法流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据管理系统的结构图,该数据管理系统包括:搜索服务器11、消息代理器12、消息监控子系统13以及至少一个应用子系统14;
针对每个应用子系统14,所述应用子系统14用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器。
所述消息代理器12,用于采用消息队列的形式存储各所述应用子系统14反馈的原始处理数据。
所述消息监控子系统13,用于将所述消息代理器12中各原始处理数据按照相应的数据属性进行处理,并将处理后形成的各目标数据发送至所述搜索服务器11。
所述搜索服务器11,用于作为数据查询的查询接口,将各所述目标数据按照相应的数据类型进行存储,形成至少一个数据集合,以便于用户查询。
其中,应用子系统14具体可以理解为供各用户操作使用的系统;消息代理器12具体可以理解为用来存储数据的服务器,可以是实现高级消息队列协议的消息代理软件;消息监控子系统13具体可以理解为用来处理数据信息的系统;搜索服务器11具体可以理解为用来搜索数据的搜索引擎,例如可以是ElasticSearch,一个分布式多用户能力的全文搜索引擎;消息发送条件具体可以理解为预先设置的、满足此条件可以执行信息发送操作的条件,用来筛选系统运行期间产生的数据信息,可以是携带特定后缀信息的数据,例如URL格式的数据。原始处理数据具体可以理解为系统运行中,执行某一操作所产生的操作数据。
具体的,应用子系统14在实际运行中会根据执行的操作产生原始处理数据,根据预先设置好的消息发送条件判断原始处理数据是否满足消息发送条件,当原始处理数据满足消息发送条件时,将原始处理数据发送给消息代理器12。
具体的,消息代理器12接收到应用子系统发送的原始处理数据后,通过消息队列的形式存储原始处理数据,采用消息队列的形式存储原始处理数据可以保证数据先进先出。
其中,数据属性用来区分不同类型的数据,例如,后缀为.A的数据可以认为是日志数据,后缀为.R的数据可以认为是业务数据;目标数据具体可以理解为原始处理数据处理后的形成的数据。
具体的,消息监控子系统13将消息代理器12中的各原始处理数据根据其各自的数据属性分别进行相应的处理,将处理后形成的各目标数据发送给搜索服务器11。例如,后缀为.A的日志数据,将其按照数据大小10bit、数据类型10bit的格式处理。
具体的,搜索服务器11作为查询接口用于执行数据查询,目标数据根据其所属数据类型进行存储,形成数据集合,根据不同数据类型形成对应数据集合,方便用户查询数据。
用户在应用子系统中进行操作时,应用子系统根据实际运行情况产生原始处理数据,并将满足消息发送条件的原始处理数据发送给消息代理器。消息代理器将接收到的原始处理数据采用消息队列的形式进行存储,并通过消息监控子系统对各原始处理数据按照与其对应的数据属性进行相应的处理,得到目标数据,并发送到搜索服务器。搜索服务器将接收到的目标数据根据所属数据类型进行存储,形成数据集合,由于数据类型可以有多种,所以形成的数据集合也可能有多个。
本发明实施例提供了一种数据管理系统,包括:搜索服务器、消息代理器、消息监控子系统以及至少一个应用子系统;针对每个应用子系统,所述应用子系统用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器;所述消息代理器,用于采用消息队列的形式存储各所述应用子系统反馈的原始处理数据;所述消息监控子系统,用于将所述消息代理器中各原始处理数据按照相应的数据属性进行处理,并将处理后形成的各目标数据发送至所述搜索服务器;所述搜索服务器,用于作为数据查询的查询接口,将各所述目标数据按照相应的数据类型进行存储,形成至少一个数据集合,以便于用户查询,解决了多个系统操作数据存储在多个日志中导致的无法统一管理数据的问题,实现数据统一管理,通过为用户提供一个统一查询接口,实现快速查找数据,提高工作人员的工作效率。
进一步地,图2提供了另一种数据管理系统的结构图,应用子系统14包括:业务数据发送模块141和日志数据发送模块142。
业务数据发送模块141,用于拦截所接收的服务请求数据,并将满足业务数据发送条件的服务请求数据作为目标处理数据发送至所述消息代理器;
日志数据发送模块142,用于从所获取的业务逻辑处理数据中筛选日志记录数据,并将所述日志记录数据作为目标处理数据发送至所述消息代理器,其中所述业务逻辑处理数据在响应所述服务请求数据后生成。
其中,服务请求数据具体可以理解为用户在应用子系统14上进行操作时所发出的服务请求,例如实现登录、浏览等服务所发出的请求数据。业务数据发送条件具体可以理解为预先设置好用来筛选服务请求数据的条件。业务逻辑处理数据具体可以理解为在应用子系统14上执行的业务处理操作所生成的数据,例如执行登录、浏览、查询、留言等操作都可以看作是一种业务逻辑处理数据。日志记录数据具体可以理解为日志类型的数据,用来记录用户操作数据,可以是具有特定标识符的数据,例如,后缀为.a类型的数据。
应用子系统14的业务数据发送模块141接收实际运行中产生的服务请求数据,服务请求数据可以是用户进行操作时所发出的请求。业务数据发送模块141对接收到的服务请求数据进行拦截,判断服务请求数据是否满足业务数据发送条件,并把满足业务数据发送条件的服务请求数据作为目标处理数据发送给消息代理器。服务请求数据在被应用子系统14拦截后,满足业务数据发送条件的发送至消息代理器并继续执行下一业务操作,不满足条件的直接执行下一业务操作,在执行下一业务操作时生成业务逻辑处理数据。日志数据发送模块142对获取到的不同种类的业务逻辑处理数据进行筛选,根据日志记录数据的特定标识符筛选出日志记录数据,并将日志记录数据作为目标处理数据发送至消息代理器。
进一步地,业务数据发送模块141具体用于:拦截用户触发生成的服务请求数据;如果所述服务请求数据中所包括的服务请求标识属于可发送标识范畴,则将所述服务请求数据作为目标处理数据发送至所述消息代理器。
其中,服务请求标识用来标识服务请求数据,区分服务请求数据是否需要发送至消息代理器12。服务请求数据包含很多信息,例如服务请求标识,用户ID,用户操作信息,用户操作时间等。可发送标识具体可以理解为用来判断服务请求数据中的服务请求标识是否是可以发送给消息代理器12的标识;目标处理数据具体可以理解为业务数据发送模块141发送给消息代理器12的服务请求数据。
用户触发生成服务请求数据的方式可以是用户在应用子系统14上点击了登录等操作,由此可以生成服务请求数据,此时的登录操作也可以是任一用户进行的任一其他系统操作。业务数据发送模块141拦截服务请求数据,当识别出服务请求数据中所包括的服务请求标识属于可发送标识范畴,则将服务请求数据作为目标处理数据发送至消息代理器。
进一步地,日志数据发送模块142具体用于:响应所述服务请求数据进行相应的业务逻辑处理,生成至少一条业务逻辑处理数据;针对每条业务逻辑处理数据,如果检测到所述业务逻辑处理数据上携带有日志代码标识,则将所述业务逻辑处理数据作为目标处理数据发送至所述消息代理器。
其中,日志代码标识具体可以理解为标记数据信息为日志数据的标识码。
日志数据发送模块142在响应服务请求数据后执行相应的业务逻辑处理,生成业务逻辑处理数据,由于业务逻辑处理至少一种,所以生成的业务逻辑处理数据至少一条。检测每条业务逻辑处理数据,如果其携带日志代码标识,则认为此业务逻辑处理数据需要发送至消息代理器12。例如用户在执行登录操作时,生成服务请求数据并发送,若登录操作的服务请求数据中所包括的服务请求标识属于可发送标识范畴,则登录操作的服务请求数据会被发送至消息代理器12,并继续执行登陆后的浏览等操作;或者当登录操作的服务请求数据中所包括的服务请求标识不属于可发送标识范畴,则直接执行登陆后的浏览等操作。虽然登录操作不会被发送给消息代理器12,但是后续执行的浏览等业务逻辑处理生成的业务逻辑处理数据会根据其是否携带日志代码标识决定其是否需要发送给消息代理器12。
进一步地,消息监控子系统13,具体用于:确定所述消息代理器中各原始处理数据的数据属性;针对每个原始处理数据,如果所述原始处理数据的数据属性为日志数据,则按照设定的日志数据处理逻辑处理所述原始处理数据形成日志型数据,并将所述日志型数据作为目标数据发送至所述搜索服务器;如果所述原始处理数据的数据属性为业务数据,则按照设定的预警数据处理逻辑处于所述原始处理数据形成预警型数据,并将所述预警型数据所述作为目标数据发送至所述搜索服务器。
其中,日志数据处理逻辑具体可以理解为用来处理日志类型的数据,使其形成日志型数据,例如将日志类型的数据按照数据大小、类型、内容的顺序进行存储;预警数据处理逻辑具体可以理解为用来处理业务类型的数据,使其形成预警型数据,例如将业务类型的数据按照数据类型、大小、内容的顺序进行存储,并且日志类型的数据和业务类型的数据存储时所分配的大小可以不同。
根据消息代理器中各原始处理数据所特有的数据标识确定原始处理数据的数据属性,如果原始处理数据的数据属性为日志数据,则根据预先设定的日志数据处理逻辑对原始处理数据进行处理,进而形成日志型数据,并将日志型数据作为目标数据发送至搜索服务器。如果原始处理数据的数据属性为业务数据,则根据预先设定的预警数据处理逻辑对原始处理数据进行处理形成预警型数据,并将预警型数据作为目标数据发送至搜索服务器。
进一步地,搜索服务器11,具体用于:将数据类型为日志型的目标数据存储到设定的日志数据集,并将数据类型为预警型的目标数据存储到设定的预警数据集。
其中,日志数据集具体可以理解为用来存储日志数据的存储空间;预警数据集。具体可以理解为用来存储预警数据的存储空间。
进一步地,应用子系统14,还用于将预先存储的日志配置文件中的日志存储路径更新为消息代理器存储。
由于在数据未实现统一管理前,每个应用系统产生的日志数据会存储在每个应用系统本身的日志存储空间,所以在本申请是实施例中应用子系统在发送日志数据前,需要将预先存储的日志配置文件中的日志存储路径更新为消息代理器存储,以保证每个应用系统产生的日志数据存储到消息代理器中。
进一步地,如图2所示,该数据管理系统还包括:信息搜索平台15,信息搜索平台15与搜索服务器11连接,用于根据用户在信息搜索界面中输入的日志信息关键字,从搜索服务器11中获取与信息关键字匹配的日志数据信息。
其中,信息搜索界面具体可以理解为设置在显示屏幕上、可以接收用户输入的数据信息以使服务器执行搜索操作的界面,显示屏幕可以是计算机、手机、平板电脑等智能终端的显示屏幕;日志信息关键字具体可以理解为用于搜索日志数据的关键字,信息关键字中至少包括应用子系统的系统名、应用服务功能名,也可以包括用户ID、用户名称、操作名称,例如登录操作等。
信息搜索平台15与搜索服务器11连接,从搜索服务器11中获取所要查询的信息。用户在信息搜索平台的信息搜索界面中输入日志信息关键字,通过搜索服务器可以查找并获取到与信息关键字匹配的日志数据信息。例如,在信息搜索界面中输入用户ID,可以获得此用户在一段时间内执行的所有操作记录,也可以根据需求对操作记录进行筛选,只获取符合要求的信息。
进一步地,信息搜索平台15,具体用于:
根据用户触发形成的搜索指令,弹出信息搜索界面;
接收用户在所述信息搜索界面输入的日志信息关键字,向所述搜索服务器发送包含所述日志信息关键字的信息查询请求,接收所述搜索服务器响应所述信息查询请求后确定的日志数据信息并展示。
用户触发形成搜索指令的方式可以是用户点击了特定的搜索按键,此搜索按键可以是实际的键盘按键,也可以是虚拟按键。根据搜索指令,在信息搜索平台15中弹出信息搜索界面,此时用户可以在搜索界面输入日志信息关键字,信息搜索平台15在接收到日志信息关键字后,向搜索服务器11发送信息查询请求,同时在信息查询请求中携带日志信息关键字,搜索服务器11根据日志信息关键字确定日志数据信息,并将日志数据信息返回给信息搜索平台15,信息搜索平台15接收到搜索服务器11响应返回的日志数据信息后,对日志数据信息进行展示。信息搜索平台15在展示日志数据信息时,可以根据用户实际需求设置展示规则,展示特定数据内容。例如,只展示一段时间内的信息,或者在展示一个用户的信息数据时只展示其中的一个或几个操作,而非所有,实现根据用户需求对信息进行筛选,避免信息过多导致浏览时忽略重要信息。
进一步地,信息搜索平台15,还用于根据用户在设定的问题跟踪界面中输入的跟踪条件,从所述搜索服务器中获取满足所述跟踪条件的预警数据信息。
其中,问题跟踪界面具体可以理解为用来对某一用户、某一操作或某一应用系统等特定问题进行时刻追踪的界面。跟踪条件具体可以理解为用来定位追踪对象的条件,例如用户名称、用户ID、应用子系统名称等。
具体的,用户在问题跟踪界面中输入跟踪条件,信息搜索平台15根据接收到的跟踪条件从搜索服务器中获取满足跟踪条件的预警数据信息。例如,输入某一用户ID,结合展示规则可以获取用户在一段时间内执行的所有操作,包括在何一时间、何一应用子系统上执行了何种操作。通过设置问题追踪,可以快速获取用户操作,将用户在所有子系统上产生的所有操作综合管理。分散的数据往往无法反映问题,只有将数据集中管理分析,才能发现问题所在,通过分析所有用户数据,更快发现数据中存在的问题。
本发明实施例提供了一种数据管理系统,包括:搜索服务器、消息代理器、消息监控子系统以及至少一个应用子系统;针对每个应用子系统,所述应用子系统用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器;所述消息代理器,用于采用消息队列的形式存储各所述应用子系统反馈的原始处理数据;所述消息监控子系统,用于将所述消息代理器中各原始处理数据按照相应的数据属性进行处理,并将处理后形成的各目标数据发送至所述搜索服务器;所述搜索服务器,用于作为数据查询的查询接口,将各所述目标数据按照相应的数据类型进行存储,形成至少一个数据集合,以便于用户查询,解决了多个系统操作数据存储在多个日志中导致的无法统一管理数据的问题,实现数据统一管理,通过为用户提供一个统一查询接口,实现快速查找数据,提高工作人员的工作效率。并且通过对问题进行追踪,将数据集中管理分析,可以更快发现和定位问题。
实施例二
图3为本发明实施例二提供的一种数据管理的实现示例图。如图3所述,该数据管理系统至少包括:应用子系统21、消息代理器22、消息监控子系统23、搜索服务器24、信息搜索平台25。数据管理系统中的应用子系统根据管理需求可以有多个,将需要管理的系统作为应用子系统接入到数据管理系统中。应用子系统可以是SIMPOOL系统、ASS系统、充值系统、OMS运维系统、鉴权系统等。
消息代理器22接收并存储原始处理数据,并通过消息监控子系统23处理原始处理数据。原始处理数据由应用子系统21筛选并发送,应用子系统21通过拦截用户触发生成的服务请求数据,对服务请求数据进行筛选,将符合条件的数据发送给消息代理器22。消息监控子系统23对原始处理数据进行处理形成不同类型的目标数据,发送给搜索服务器24,搜索服务器24根据目标数据的数据类型进行存储,并在接收到信息搜索平台25发送的信息查询请求时确定日志数据信息并反馈给信息搜索平台25,信息搜索平台25将日志数据信息以设定好的展示规则进行展示,以此实现应用子系统的数据信息收集及查询展示。
以应用子系统21中的用户登录操作为例,举例说明数据管理系统中应用子系统21对原始处理数据的收集过程。应用子系统21将预先存储的日志配置文件中的日志存储路径更新为消息代理器存储。用户在应用子系统21上进行登录操作时,生成服务请求数据,应用子系统21拦截用户触发生成的登录请求数据,并根据登录请求数据的数据标识判断此登录请求数据是否需要发送给消息代理器22。如需要,则发送登录请求数据给消息代理器,此时系统会继续执行登录操作后的浏览等操作,如果不需要,则系统直接执行登陆操作后的浏览等操作。用户在登录后进行的操作可以是浏览、查询、更改信息等业务操作,此时的业务查询数据在系统初始设置时已经设置好是否需要保存成日志记录数据,例如浏览、查询为非日志记录数据、更改信息为日志记录数据。用户在登录成功后,进行更改信息的操作产生的业务逻辑处理数据会携带日志代码标识,此时的业务逻辑数据被作为目标处理数据发送至消息代理器22。
图4提供了一种消息监控子系统对原始处理数据的处理方法流程图,具体包括以下步骤:
步骤231、确定消息代理器中各原始处理数据的数据属性。
步骤232、如果所述原始处理数据的数据属性为日志数据,则按照设定的日志数据处理逻辑处理所述原始处理数据形成日志型数据,并将所述日志型数据作为目标数据发送至所述搜索服务器。
步骤233、如果所述原始处理数据的数据属性为业务数据,则按照设定的预警数据处理逻辑处于所述原始处理数据形成预警型数据,并将所述预警型数据所述作为目标数据发送至所述搜索服务器。
信息搜索平台25还可以根据设定跟踪界面跟踪问题,用户直接在跟踪界面输入跟踪条件,可以获得满足跟踪条件的数据信息。例如,用户设定跟踪条件为用户名称,在输入用户名称时可以获得用户在何时、何应用子系统进行了何种操作。对数据进行统一管理,可以全面的了解用户操作行为,更好的分析用户行为。或者获取某以时间段内某一应用子系统执行了何种操作,当应用子系统发生故障时,可以快速定位故障发生原因。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据管理系统,其特征在于,包括:搜索服务器、消息代理器、消息监控子系统以及至少一个应用子系统;
针对每个应用子系统,所述应用子系统用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器;
所述消息代理器,用于采用消息队列的形式存储各所述应用子系统反馈的原始处理数据;
所述消息监控子系统,用于将所述消息代理器中各原始处理数据按照相应的数据属性进行处理,并将处理后形成的各目标数据发送至所述搜索服务器;
所述搜索服务器,用于作为数据查询的查询接口,将各所述目标数据按照相应的数据类型进行存储,形成至少一个数据集合,以便于用户查询。
2.根据权利要求1所述的系统,其特征在于,所述应用子系统,包括:
业务数据发送模块,用于拦截所接收的服务请求数据,并将满足业务数据发送条件的服务请求数据作为目标处理数据发送至所述消息代理器;
日志数据发送模块,用于从所获取的业务逻辑处理数据中筛选日志记录数据,并将所述日志记录数据作为目标处理数据发送至所述消息代理器,其中所述业务逻辑处理数据在响应所述服务请求数据后生成。
3.根据权利要求2所述的系统,其特征在于,所述业务数据发送模块,具体用于:
拦截用户触发生成的服务请求数据;
如果所述服务请求数据中所包括的服务请求标识属于可发送标识范畴,则将所述服务请求数据作为目标处理数据发送至所述消息代理器。
4.根据权利要求2所述的系统,其特征在于,所述日志数据发送模块,具体用于:
响应所述服务请求数据进行相应的业务逻辑处理,生成至少一条业务逻辑处理数据;
针对每条业务逻辑处理数据,如果检测到所述业务逻辑处理数据上携带有日志代码标识,则将所述业务逻辑处理数据作为目标处理数据发送至所述消息代理器。
5.根据权利要求1所述的系统,其特征在于,所述消息监控子系统,具体用于:
确定所述消息代理器中各原始处理数据的数据属性;
针对每个原始处理数据,如果所述原始处理数据的数据属性为日志数据,则按照设定的日志数据处理逻辑处理所述原始处理数据形成日志型数据,并将所述日志型数据作为目标数据发送至所述搜索服务器;
如果所述原始处理数据的数据属性为业务数据,则按照设定的预警数据处理逻辑处于所述原始处理数据形成预警型数据,并将所述预警型数据所述作为目标数据发送至所述搜索服务器。
6.根据权利要求5所述的系统,其特征在于,所述搜索服务器,具体用于:
将数据类型为日志型的目标数据存储到设定的日志数据集,并将数据类型为预警型的目标数据存储到设定的预警数据集。
7.根据权利要求1所述的系统,其特征在于,
所述应用子系统,还用于将预先存储的日志配置文件中的日志存储路径更新为消息代理器存储。
8.根据权利要求1-7任一项所述的系统,其特征在于,还包括:信息搜索平台,所述信息搜索平台与所述搜索服务器连接,用于根据用户在信息搜索界面中输入的日志信息关键字,从所述搜索服务器中获取与所述信息关键字匹配的日志数据信息。
9.根据权利要求8所述的系统,其特征在于,所述信息搜索平台,具体用于:
根据用户触发形成的搜索指令,弹出信息搜索界面;
接收用户在所述信息搜索界面输入的日志信息关键字,向所述搜索服务器发送包含所述日志信息关键字的信息查询请求;
接收所述搜索服务器响应所述信息查询请求后确定的日志数据信息并展示。
10.根据权利要求8所述的系统,其特征在于,所述信息搜索平台,还用于根据用户在设定的问题跟踪界面中输入的跟踪条件,从所述搜索服务器中获取满足所述跟踪条件的预警数据信息。
CN202010162862.XA 2020-03-10 2020-03-10 一种数据管理系统 Active CN111368039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010162862.XA CN111368039B (zh) 2020-03-10 2020-03-10 一种数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010162862.XA CN111368039B (zh) 2020-03-10 2020-03-10 一种数据管理系统

Publications (2)

Publication Number Publication Date
CN111368039A true CN111368039A (zh) 2020-07-03
CN111368039B CN111368039B (zh) 2024-03-22

Family

ID=71210542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010162862.XA Active CN111368039B (zh) 2020-03-10 2020-03-10 一种数据管理系统

Country Status (1)

Country Link
CN (1) CN111368039B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301769A (zh) * 2021-12-29 2022-04-08 杭州迪普信息技术有限公司 原始流量数据的处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110137958A1 (en) * 2009-12-09 2011-06-09 Linkage Technology Group Co., Ltd. Implementation Method of DATACOM Data Command Platform
CN103532754A (zh) * 2013-10-12 2014-01-22 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法
CN107229556A (zh) * 2017-06-09 2017-10-03 环球智达科技(北京)有限公司 基于elastic组件的日志分析系统
CN107577588A (zh) * 2017-09-26 2018-01-12 北京中安智达科技有限公司 一种海量日志数据智能运维系统
CN108388478A (zh) * 2018-02-07 2018-08-10 平安普惠企业管理有限公司 日志数据处理方法和系统
CN110209518A (zh) * 2019-04-26 2019-09-06 福州慧校通教育信息技术有限公司 一种多数据源日志数据集中收集存储方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110137958A1 (en) * 2009-12-09 2011-06-09 Linkage Technology Group Co., Ltd. Implementation Method of DATACOM Data Command Platform
CN103532754A (zh) * 2013-10-12 2014-01-22 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法
CN107229556A (zh) * 2017-06-09 2017-10-03 环球智达科技(北京)有限公司 基于elastic组件的日志分析系统
CN107577588A (zh) * 2017-09-26 2018-01-12 北京中安智达科技有限公司 一种海量日志数据智能运维系统
CN108388478A (zh) * 2018-02-07 2018-08-10 平安普惠企业管理有限公司 日志数据处理方法和系统
CN110209518A (zh) * 2019-04-26 2019-09-06 福州慧校通教育信息技术有限公司 一种多数据源日志数据集中收集存储方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毕盛,张齐: "《高性能Android开发技术》", 北京航空航天大学出版社, pages: 168 - 169 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301769A (zh) * 2021-12-29 2022-04-08 杭州迪普信息技术有限公司 原始流量数据的处理方法及系统

Also Published As

Publication number Publication date
CN111368039B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
US11886464B1 (en) Triage model in service monitoring system
US11971898B2 (en) Method and system for implementing machine learning classifications
US11768811B1 (en) Managing user data in a multitenant deployment
US10942960B2 (en) Automatic triage model execution in machine data driven monitoring automation apparatus with visualization
US11934417B2 (en) Dynamically monitoring an information technology networked entity
US11106442B1 (en) Information technology networked entity monitoring with metric selection prior to deployment
US11411804B1 (en) Actionable event responder
US11803548B1 (en) Automated generation of metrics from log data
US11347577B1 (en) Monitoring features of components of a distributed computing system
US9767171B2 (en) Method and system for implementing an operating system hook in a log analytics system
US10762049B1 (en) Extracting machine data generated by an isolated execution environment from a chunk of data generated by an isolated execution environment manager
US11915156B1 (en) Identifying leading indicators for target event prediction
US11308061B2 (en) Query management for indexer clusters in hybrid cloud deployments
US11500783B1 (en) Evicting data associated with a data intake and query system from a local storage
US10891792B1 (en) Precise plane detection and placement of virtual objects in an augmented reality environment
US11269808B1 (en) Event collector with stateless data ingestion
US11663172B2 (en) Cascading payload replication
US11681707B1 (en) Analytics query response transmission
US10678803B2 (en) Single point of dispatch for management of search heads in a hybrid cloud deployment of a query system
CN111368039B (zh) 一种数据管理系统
US11482002B1 (en) Codeless anchor detection for detectable features in an environment
US11501112B1 (en) Detecting, diagnosing, and directing solutions for source type mislabeling of machine data, including machine data that may contain PII, using machine learning
US11113301B1 (en) Generating metadata for events based on parsed location information of data chunks of an isolated execution environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant