CN113672685A - 信息处理方法、设备、介质 - Google Patents

信息处理方法、设备、介质 Download PDF

Info

Publication number
CN113672685A
CN113672685A CN202111031446.7A CN202111031446A CN113672685A CN 113672685 A CN113672685 A CN 113672685A CN 202111031446 A CN202111031446 A CN 202111031446A CN 113672685 A CN113672685 A CN 113672685A
Authority
CN
China
Prior art keywords
database
information
storing
message queue
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111031446.7A
Other languages
English (en)
Inventor
姜勇刚
郭利斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Travel Information Service Shanghai Co Ltd
Original Assignee
Ctrip Travel Information Service Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Travel Information Service Shanghai Co Ltd filed Critical Ctrip Travel Information Service Shanghai Co Ltd
Priority to CN202111031446.7A priority Critical patent/CN113672685A/zh
Publication of CN113672685A publication Critical patent/CN113672685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Stored Programmes (AREA)

Abstract

本发明实施例提供了信息处理方法及装置、设备、介质，其中，所述方法包括：在应用程序中设置能够产生应用日志的埋点代码；同步所述应用日志至消息队列集群；存储所述消息队列中的信息至数据库；通过实时工具展示所述数据库中数据。本发明实施例中的技术方案信息处理效率更高。

Description

信息处理方法、设备、介质
技术领域
本发明涉及软件领域，具体地，涉及信息处理方法及装置、设备、介质。
背景技术
在大数据时代，对数据的挖掘和应用成为技术热点。例如，对于企业来讲，不同地域、不同行业、不同企业规模的客户使用企业提供的应用的频次变化、每日订单量的变化以及订单量的同环比的变化、新的营销活动对于业绩的影响都是极其重要的观察指标。如何提升数据运用的效率，成为亟待解决的问题。
发明内容
针对现有技术中的问题，本发明实施例提一种信息处理方法，包括：
在应用程序中设置能够产生应用日志的埋点代码；
同步所述应用日志至消息队列集群；
存储所述消息队列中的信息至数据库；
通过实时工具展示所述数据库中数据。
可选的，所述存储所述消息队列中的信息至数据库包括：设置与所述消息队列适配的队列连接器；通过所述队列连接器存储所述信息至数据库。
可选的，所述埋点代码还设置在与所述应用程序对应的其它程序中。
可选的，所述应用日志的格式不同，所述存储所述消息队列中的信息至数据库包括：按照所述日志的格式分类存储所述信息至数据库。
可选的，所述存储所述消息队列中的信息至数据库包括：基于业务逻辑对所述信息进行处理后存储。
可选的，存储所述消息队列中的信息至数据库后还包括：设置维表插件翻译所述数据库中存储的数据；所述通过实时工具展示所述数据库中数据还包括：展示所述翻译的内容。
可选的，存储所述消息队列中的信息至数据库包括：
基于业务逻辑生成数据存储流程；
根据业务逻辑的要求选择不同的队列连接器，指定数据存储介质；
根据所述数据存储流程存储将所述消息队列中的信息持久化到相应存储介质的数据库。
可选的，存储所述消息队列中的信息至数据库还包括：设置检查点以恢复因为意外导致失败的任务。
本发明实施例还提供一种信息处理装置，其特征在于，包括：
埋点单元，适于在应用程序中设置能够产生应用日志的埋点代码；
同步单元，适于同步所述应用日志至消息队列集群；
存储单元，适于存储所述消息队列中的信息至数据库；
展示单元，适于通过实时工具展示所述数据库中数据。
所述信息处理装置还包括插件单元，适于设置维表插件翻译所述数据库中存储的数据；所述展示单元还适于展示所述翻译的内容。
本发明实施例还提供一种电子设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行用于实现任一项所述的信息处理方法。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的信息处理方法。
本发明实施例中的技术方案，通过在应用程序中设置能够产生应用日志的埋点代码，同步所述应用日志至消息队列集群，存储所述消息队列中的信息至数据库并通过实时工具展示所述数据库中数据，可以更高效的获取和利用应用日志。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明实施例中的一种信息处理方法的流程图；
图2是本发明实施例中一种存储信息至数据库的方法的流程图；
图3是本发明实施例中另一种存储信息至数据库的方法的流程图；
图4是本发明实施例中一种信息处理方法的数据流图；
图5是本发明实施例中一种客户端或服务器的结构示意图；以及
图6是本发明实施例中一种的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
本发明实施例提供一种信息处理方法，结合参考图1，可以包括如下步骤：
步骤S11，在应用程序中设置能够产生应用日志的埋点代码；
步骤S12，同步所述应用日志至消息队列集群；
步骤S13，存储所述消息队列中的信息至数据库；
步骤S14，通过实时工具展示所述数据库中数据。
在具体实施中，所述埋点代码还可以设置在与所述应用程序对应的其它程序中。现如今，应用通常可以多端多种途径使用。例如，可以通过直接装载在手机、平板、台式机等终端上的应用程序使用；或者也可以通过嵌入其它应用程序的小程序使用，例如，通过嵌入微信的小程序、通过嵌入支付宝的小程序等进行使用；或者，也可以直接通过浏览器使用，例如，通过浏览器输网址，则可以通过网站页面完成一些操作。埋点代码可以设置于上述各应用方式中所基于的程序，例如前述的应用程序、小程序、网页应用页面等，也可以设置于其他与应用程序对应的程序中。
通过将埋点程序设置于应用程序以及各与应用程序对应的其它程序中，可以更高效和更全面的获取业务数据，为综合利用数据提供了基础。
在具体实施中，不同途径的应用产生的日志格式可以是不同的，可以按照日志的格式分类存储所述信息至数据库。进一步的，数据库可以是一个或者多个数据库，可以是相同类型数据库，或者不同类型的数据库。
相应的，在具体实施中，在通过实时工具展示所述数据库中数据时，可以在基于业务逻辑需求分别读取不同端数据，进行处理后展示。
结合参考图2，在具体实施中，可以通过如下步骤存储所述消息队列中的信息至数据库：
步骤S21，设置与所述消息队列适配的队列连接器；
步骤S22，通过所述队列连接器存储所述信息至数据库。
在具体实施中，消息队列(MQ,Message Queue)具体可以采用 Kafka、RobitMq等，可以通过开发Flink Table和SQL API来适配对应的消息队列连接器，完成Flink Sql对于实时源数据的支持。Flink Table/ SQL API为关系型应用程序接口(ApplicationProgramming Interface， API)。关系型API是声明式的，用户只需要告诉需要什么，系统决定如何计算；用户不必特地实现；更方便优化，可以执行得更高效。
结合参考图3，在具体实施中，可以通过如下步骤存储消息队列中信息至数据库：
步骤S31，基于业务逻辑生成数据存储流程；
步骤S32，根据业务逻辑的要求选择不同的队列连接器，指定数据存储介质；
步骤S33，根据所述数据存储流程存储将所述消息队列中的信息持久化到相应存储介质的数据库。
如前文所述，不同业务系统的日志格式可能不同，针对不同业务系统的日志格式，可以定义不同的Kafka的topic，不同的业务日志就落到相应的topic中。面对不同业务需求，各个Flink SQL任务读取对应的消息队列不同topic的数据，通过业务逻辑进行实时处理并存放到相应的 TableSink中(MySQL，Clickhouse、Kafka、redis、tidb、ES)等，在进行展示时可以使用PowerBI等BI工具实时展现数据给用户。其中， Kafka是一个流处理平台，可以将消息分门别类，每一类的消息称之为一个主题(Topic)。Flink SQL是Flink实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准SQL语义的开发语言，Flink是一种开源流处理框架，SQL是用于访问和处理数据库的标准的计算机语言。MySQL，Clickhouse、Kafka、redis、tidb、ES是可以选取的数据库，TableSink可以将flink内部注册的Table中的数据写出到外部系统。
在具体实施中，存储所述消息队列中的信息至数据库可以是基于业务逻辑对所述信息进行处理后存储。如此，可以方便后续的数据运用。
在具体实施中，存储所述消息队列中的信息至数据库后还包括：设置维表插件翻译所述数据库中存储的数据；所述通过实时工具展示所述数据库中数据包括：展示所述翻译的内容。
例如，Flink Sql支持维表，可以做成维表插件来翻译日志中对应 code、id等字段中文含义，方便业务理解数据。Flink Sql还支持UDF、 UDTF、UDAF等用户自定义函数，可以的定制化处理用户的复杂业务需求。
在具体实施中，还可以设置检查点(CheckPoint)以恢复因为意外导致失败的任务。
在本发明一实施例中，可以指定Flink Sql的任务运行名称、执行任务资源队列名称、CheckPoint时间间隔配置、任务重要级别配置、运行任务环境资源配置。使用Mq(Kafka、RobitMq等)消息队列集群来实时获取所需日志数据，在连接器配置页面中使用相应的Table Source(源) 连接器，设置连接信息，创建TableSource。基于Flink Sql的内置函数或者自定义函数，按照标准的ANSI SQL语法来编写业务逻辑内容，形成相应的ETL流程；根据不同的ETL流程，持久化到不同的数据库，根据业务要求选择不同的Table Sink连接器，指定最终数据存储介质；设置任务运行环境以及运行资源，启动相应Flink Sql任务即可。
在具体实施中，可以根据任务配置步骤实现某个业务场景:某Kafka 消息队列集群中存储有商旅应用日志，主要包括且不限于手机型号、应用版本号、访问地理位置、页面id等信息。首先配置Flink Sql的任务运行名称为每小时各地区应用访问量；由于本数据是从Kafka集群实时获取数据，因此Table Source配置使用Kafka连接器，创建注册相应的组件 (Table)，解析对应JSON格式的Topic数据。开发者通过解析模块，实现获取相应的Topic的关系型数据库模式(schema)；设置checkpoint检查点可以快速恢复因为意外导致失败的任务；配置需要的维度表(静态数据)，通过注册为对应的Table从而可以在后续的Sql逻辑中使用；配置定制化的UDF函数，满足开发人员的个性化Sql处理需求；按照实际需求，编写Flink Sql的业务逻辑，并在任务配置页面保存与运行程序；配置Sink 的结果表，包括且不仅限于MySQL、Tidb、ClickHouse等数据库；数据最终使用PowerBI等可视化程序展现最终输出结果给到客户。
在上述方案中，最终可将所有商旅APP端、PC端、小程序端的应用日志通过Kafka集群保存与传输，而后使用Flink Sql逻辑模块做实时数据分析，最终使用PowerBI做可视化数据展现。流式处理方法可以帮助运营更好及时把控应用的状况，提高处理突发生产事件的能力。
结合参考图4，在本发明一实施例中，可以使用Kafka集群和其他 MQ集群来获取各个产线应用日志和其他数据，通过Flink SQL实时数据处理平台来对接Kafka或者其他MQ的数据并建Source表；经过Flink SQL逻辑处理数据；对接MySQL、Tidb、Clickhouse等数据库来创建 Sink(输出)表，获得实时数据。将最终持久化的数据使用PowerBI等可视化工具做看板。
可以理解的是，前述各软件工具仅为举例，并非对本发明的限制，也可以使用其他能够实现本发明目的的软件工具。
本发明实施例还提供一种信息处理装置，其特征在于，包括：
埋点单元，适于在应用程序中设置能够产生应用日志的埋点代码；
同步单元，适于同步所述应用日志至消息队列集群；
存储单元，适于存储所述消息队列中的信息至数据库；
展示单元，适于通过实时工具展示所述数据库中数据。
在具体实施中，所述信息处理装置还可以包括插件单元，适于设置维表插件翻译所述数据库中存储的数据；所述展示单元还适于展示所述翻译的内容。
本发明实施例还提供一种电子设备，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行用于实现权利要求所述的信息处理方法。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现所述的信息处理方法。
本发明实施例中的装置、设备、介质的具体实现和有益效果可以参照本发明实施例中的信息处理方法，在此不再赘述。
在上述装置实施例中的各个功能模块，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以程序指令产品的形式实现。程序指令产品包括一个或多个程序指令。在计算机上加载和执行程序指令指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。程序指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
并且，上述实施例所揭露的装置，可通过其它的方式实现。例如，以上所表示的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或模块可以结合或者可以动态到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接于可以是通过一些接口，装置或模块的间接耦合或通信连接于，可以是电性或其它的形式。
另外，上述实施例中的各功能模块及子模块可以动态在一个处理部件中，也可以是各个模块单独物理存在，也可以两个或两个以上模块动态在一个部件中。上述动态的部件既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述动态的部件如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图5是本发明实施例中一种客户端或服务器的结构示意图。下面参照图5来描述根据本发明的这种实施方式的电子设备600，该设备用于实现前述的信息处理方法。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备 600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线 630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备 600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
图6是本发明的计算机可读存储介质的结构示意图。参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如 Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一实施例”、“再具体实施中”、“具体地”、或“一些示例”等的描述意指综合该实施例或示例描述的具体特征、结构、材料或者特点包括于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式综合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行综合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或综合这些指令执行系统、装置或设备而使用。
综上，本发明实施例中的技术方案，通过确定镜像模板，并且生成用于装载所述操作系统至客户端的客户端系统部署自动化脚本，可以实现操作系统的自动装载，从而可以提升大规模装载操作系统场景中的装载效率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种信息处理方法，其特征在于，包括：
在应用程序中设置能够产生应用日志的埋点代码；
同步所述应用日志至消息队列集群；
存储所述消息队列中的信息至数据库；
通过实时工具展示所述数据库中数据。
2.根据权利要求1所述的信息处理方法，其特征在于，所述存储所述消息队列中的信息至数据库包括：设置与所述消息队列适配的队列连接器；通过所述队列连接器存储所述信息至数据库。
3.根据权利要求1所述的信息处理方法，其特征在于，所述埋点代码还设置在与所述应用程序对应的其它程序中。
4.根据权利要求3所述的信息处理方法，其特征在于，所述应用日志的格式不同，所述存储所述消息队列中的信息至数据库包括：按照所述日志的格式分类存储所述信息至数据库。
5.根据权利要求1所述的信息处理方法，其特征在于，所述存储所述消息队列中的信息至数据库包括：基于业务逻辑对所述信息进行处理后存储。
6.根据权利要求1所述的信息处理方法，其特征在于，存储所述消息队列中的信息至数据库后还包括：设置维表插件翻译所述数据库中存储的数据；所述通过实时工具展示所述数据库中数据还包括：展示所述翻译的内容。
7.根据权利要求1所述的信息处理方法，其特征在于，存储所述消息队列中的信息至数据库包括：
基于业务逻辑生成数据存储流程；
根据业务逻辑的要求选择不同的队列连接器，指定数据存储介质；
根据所述数据存储流程存储将所述消息队列中的信息持久化到相应存储介质的数据库。
8.根据权利要求7所述的信息处理方法，其特征在于，存储所述消息队列中的信息至数据库还包括：设置检查点以恢复因为意外导致失败的任务。
9.一种信息处理装置，其特征在于，包括：
埋点单元，适于在应用程序中设置能够产生应用日志的埋点代码；
同步单元，适于同步所述应用日志至消息队列集群；
存储单元，适于存储所述消息队列中的信息至数据库；
展示单元，适于通过实时工具展示所述数据库中数据。
10.根据权利要求8所述的信息处理装置，其特征在于，还包括插件单元，适于设置维表插件翻译所述数据库中存储的数据；所述展示单元还适于展示所述翻译的内容。
11.一种电子设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行用于实现权利要求1至7任一项所述的信息处理方法。
12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7任一项所述的信息处理方法。
CN202111031446.7A 2021-09-03 2021-09-03 信息处理方法、设备、介质 Pending CN113672685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111031446.7A CN113672685A (zh) 2021-09-03 2021-09-03 信息处理方法、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111031446.7A CN113672685A (zh) 2021-09-03 2021-09-03 信息处理方法、设备、介质

Publications (1)

Publication Number Publication Date
CN113672685A true CN113672685A (zh) 2021-11-19

Family

ID=78548202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111031446.7A Pending CN113672685A (zh) 2021-09-03 2021-09-03 信息处理方法、设备、介质

Country Status (1)

Country Link
CN (1) CN113672685A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111221871A (zh) * 2019-11-15 2020-06-02 江苏满运软件科技有限公司 实时查询任务发布方法、平台、设备及存储介质
CN111241078A (zh) * 2020-01-07 2020-06-05 网易（杭州）网络有限公司 数据分析系统、数据分析的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111221871A (zh) * 2019-11-15 2020-06-02 江苏满运软件科技有限公司 实时查询任务发布方法、平台、设备及存储介质
CN111241078A (zh) * 2020-01-07 2020-06-05 网易（杭州）网络有限公司 数据分析系统、数据分析的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱政科 等: "《PROMETHEUS云原生监控 运维与开发实战》", vol. 1, 30 November 2020, 上海财经大学出版社, pages: 133 - 4 *
赵建全 等: "《大规模空间数据可视化关键技术研究》", vol. 1, 上海财经大学出版社, pages: 133 *

Similar Documents

Publication Publication Date Title
CN109992589B (zh) 基于可视化页面生成sql语句的方法、装置、服务器及介质
CN111339186B (zh) 工作流引擎数据同步方法、装置、介质及电子设备
CN110019498B (zh) 日志同步方法及装置、存储介质、电子设备
CN114424257A (zh) 使用机器学习对表格数据进行自动描绘和提取
CN110554874A (zh) 用于复用SaaS平台网页组件的方法和装置
CN109885781B (zh) 混合页面统一浏览方法、装置、设备和存储介质
CN113127050B (zh) 一种应用资源打包过程监控方法、装置、设备和介质
CN113158101A (zh) 一种可视化页面渲染方法、装置、设备及存储介质
CN107301220B (zh) 数据驱动视图的方法、装置、设备及存储介质
CN110688145B (zh) Android MVP代码自动生成方法、装置、介质、电子设备
CN110222017B (zh) 实时数据的处理方法、装置、设备及计算机可读存储介质
CN111913938A (zh) 数据迁移方法、系统、装置、电子设备和介质
CN110888972A (zh) 一种基于Spark Streaming的敏感内容识别方法及装置
CN113962597A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN113377342B (zh) 一种项目构建方法、装置、电子设备及存储介质
CN110717134A (zh) 产品说明发布方法、装置、存储介质及电子设备
CN108536715B (zh) 一种预览页面生成方法、装置、设备以及存储介质
US10649743B2 (en) Application developing method and system
CN113672685A (zh) 信息处理方法、设备、介质
CN113656041A (zh) 数据处理方法、装置、设备及存储介质
CN114115855A (zh) 代码复用方法及装置、计算机可读存储介质、电子设备
CN110032595B (zh) 一种数据处理方法、系统、设备及存储介质
CN112364268A (zh) 资源获取方法、装置、电子设备及存储介质
CN113703638A (zh) 数据管理页面处理方法、装置、电子设备及存储介质
CN112084252A (zh) 多数据联动交互方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination