CN113220699A - 支持多模式敏捷型资讯数据接发的系统及其方法 - Google Patents

Abstract

本发明涉及一种支持多模式敏捷型资讯数据接发的系统，包括服务器ip配置模块，用于设置ip地址，并添加相关的系统描述来查找相关信息；接收及发送模式配置模块，用于配置信息进行消息发送及接收；日志查询预警模块，用于发送消息进行日志管理预警以及接收内容查询。采用了本发明的支持多模式敏捷型资讯数据接发的系统及其方法，更好地实现了公司统一金融资讯数据的多模式敏捷发布。既支持了7×24快讯的VIP通道毫秒级快速发布，又实现了基金净值、融资融券、资讯等数据的实时发布，也支持了个股F10、题材概念等数据的定时发布，实现了功能运营与业务拓展的实时联动效果。整体框架日均处理资讯流水约25.8w条，进一步提升了资讯的时效性和开发的敏捷性。

Description

支持多模式敏捷型资讯数据接发的系统及其方法

技术领域

本发明涉及计算机应用领域，具体是指一种支持多模式敏捷型资讯数据接发的系统及其方法。

背景技术

现阶段金融数据基本采用定时的数据同步方式进行数据采集、发布，造成无法对数据更新进行实时感知，从而影响数据时效性。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足准确性高、操作简便、适用范围较为广泛的支持多模式敏捷型资讯数据接发的系统及其方法。

为了实现上述目的，本发明的支持多模式敏捷型资讯数据接发的系统及其方法如下：

该支持多模式敏捷型资讯数据接发的系统，其主要特点是，所述的系统包括：

服务器ip配置模块，用于设置ip地址，并添加相关的系统描述来查找相关信息；

接收及发送模式配置模块，与所述的服务器ip配置模块相连接，用于配置信息进行消息发送及接收；

日志查询预警模块，与所述的接收及发送模式配置模块相连接，用于发送消息进行日志管理预警以及接收内容查询。

较佳地，所述的接收及发送模式配置模块的发送模式为日志型、周期型或vip通道型。

其中，所述的日志查询预警模块包括：

发送消息日志管理预警单元，与所述的接收及发送模式配置模块相连接，用于记录发送信息，便于查询某条数据的发送情况；

接收内容查询单元，与所述的接收及发送模式配置模块相连接，用于定时扫描改日志表发送预警短信发送，便于业务人员查询管理。

该基于上述的系统实现支持多模式敏捷型资讯数据接发控制的方法，包括以下步骤：

(1)服务器ip设置ip地址，并添加相关的系统描述来查找相关信息；

(2)判断配置的消息内容为接收模式还是发送模式，如果是接收模式，则继续步骤(3)；否则，继续步骤(4)；

(3)确定发送通道、发送内容和发送模式；

(4)确定接收通道和接收消息中包含的字段信息和保存的对应表，并根据接收内容建表，将接收到的消息存入对应表中。

所述的步骤(3)具体包括以下步骤：

(3.1)判断发送模式为日志型、周期型还是vip通道型，如果是日志型发送模式，则继续步骤(3.2)；如果是周期型发送模式，则继续步骤(3.2)；如果是vip通道型发送模式，则继续步骤(3.2)；

(3.2)开启相关表的触发器日志，根据需要发送的内容关联触发器日志编写发送内容的sql脚本，发送数据的新增、修改及删除流水；

(3.3)设定发送周期，并编写需要选择的内容，通过sql语句设定发送内容及排序字段，对获取内容进行发送；

(3.4)通过在配置表配置，设定vip通道发送后单独线程监听、发送该部分数据。

较佳地，所述的方法还包括以下步骤：

(1)记录发送内容的id、发送内容类型、是否发送、发送时间和数据更新时间，并定时扫描改日志表用于预警短信发送；

(2)如果自定义时间段内消息未发送，则核查短信预警相关人员；接收内容查询则支持查询保存的消息内容，更直观得便于业务人员进行查询管理。

采用了本发明的支持多模式敏捷型资讯数据接发的系统及其方法，更好地实现了公司统一金融资讯数据的多模式敏捷发布。既支持了7×24快讯的VIP通道毫秒级快速发布，又实现了基金净值、融资融券、资讯等数据的实时发布，也支持了个股F10、题材概念等数据的定时发布。同时接收了智能诊股、图解财报、体验功能等数据，实现了功能运营与业务拓展的实时联动效果。整体框架日均处理资讯流水约25.8w条，进一步提升了资讯的时效性和开发的敏捷性。

附图说明

图1为本发明的支持多模式敏捷型资讯数据接发的系统的服务器ip配置示意图。

图2为本发明的支持多模式敏捷型资讯数据接发的系统的消息接收/发送配置示意图。

图3为本发明的支持多模式敏捷型资讯数据接发的系统的发送日志查询及接收内容查询示意图。

图4为本发明的支持多模式敏捷型资讯数据接发的系统的多模式敏捷型金融资讯数据接发框架流程示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该支持多模式敏捷型资讯数据接发的系统，其中包括：

服务器ip配置模块，用于设置ip地址，并添加相关的系统描述来查找相关信息；

接收及发送模式配置模块，与所述的服务器ip配置模块相连接，用于配置信息进行消息发送及接收；

日志查询预警模块，与所述的接收及发送模式配置模块相连接，用于发送消息进行日志管理预警以及接收内容查询。

作为本发明的优选实施方式，的优选实施方式，所述的接收及发送模式配置模块的发送模式为日志型、周期型或vip通道型。

作为本发明的优选实施方式，所述的日志查询预警模块包括：

发送消息日志管理预警单元，与所述的接收及发送模式配置模块相连接，用于记录发送信息，便于查询某条数据的发送情况；

接收内容查询单元，与所述的接收及发送模式配置模块相连接，用于定时扫描改日志表发送预警短信发送，便于业务人员查询管理。

作为本发明的优选实施方式，所述的基于上述的系统实现支持多模式敏捷型资讯数据接发控制的方法，包括以下步骤：

(1)服务器ip设置ip地址，并添加相关的系统描述来查找相关信息；

(2)判断配置的消息内容为接收模式还是发送模式，如果是接收模式，则继续步骤(3)；否则，继续步骤(4)；

(3)确定发送通道、发送内容和发送模式；

(3.1)判断发送模式为日志型、周期型还是vip通道型，如果是日志型发送模式，则继续步骤(3.2)；如果是周期型发送模式，则继续步骤(3.2)；如果是vip通道型发送

模式，则继续步骤(3.2)；

(3.2)开启相关表的触发器日志，根据需要发送的内容关联触发器日志编写发送内

容的sql脚本，发送数据的新增、修改及删除流水；

(3.3)设定发送周期，并编写需要选择的内容，通过sql语句设定发送内容及排序

字段，对获取内容进行发送；

(3.4)通过在配置表配置，设定vip通道发送后单独线程监听、发送该部分数据；

(4)确定接收通道和接收消息中包含的字段信息和保存的对应表，并根据接收内容建表，将接收到的消息存入对应表中。

所述的步骤(3)具体包括以下步骤：

(3.1)判断发送模式为日志型、周期型还是vip通道型，如果是日志型发送模式，则继续步骤(3.2)；如果是周期型发送模式，则继续步骤(3.2)；如果是vip通道型发送模式，则继续步骤(3.2)；

(3.2)开启相关表的触发器日志，根据需要发送的内容关联触发器日志编写发送内容的sql脚本，发送数据的新增、修改及删除流水；

(3.3)设定发送周期，并编写需要选择的内容，通过sql语句设定发送内容及排序字段，对获取内容进行发送；

(3.4)通过在配置表配置，设定vip通道发送后单独线程监听、发送该部分数据。

较佳地，所述的方法还包括以下步骤：

(1)记录发送内容的id、发送内容类型、是否发送、发送时间和数据更新时间，并定时扫描改日志表用于预警短信发送；

(2)如果自定义时间段内消息未发送，则核查短信预警相关人员；接收内容查询则支持查询保存的消息内容，更直观得便于业务人员进行查询管理。

本发明的具体实施方式中，解决现阶段金融数据基本采用定时的数据同步方式进行数据采集、发布，造成无法对数据更新进行实时感知，从而影响数据时效性的问题。本发明提出的多模式敏捷型金融资讯数据接发框架以kafka消息中间件为基础，支持了不同消息通道和消息类别的数据接收及发送，通过日志型、定时型、vip通道型的多模式框架，支持个性化的消息推送模式，并使得原本不同消息通道的数据接发需进行大量的开发模式转变成为敏捷型、配置化的资讯接发模式，大大缩短了需求上线周期，并有效实现了金融资讯数据的实时感知、发布与接收。

多模式敏捷型金融资讯数据接发框架支持了日志型、周期型、vip通道型的数据发布模式，同时通过敏捷型的页面配置及数据和日志管理大大提升了开发效率和系统稳定性。框架整体流程如图4所示，主要包括以下几个模块：

1、服务器ip配置主要对kafka和zookeeper的ip地址进行了设置，并添加了相关的系统描述用于后续快速查找到相关信息。

2、消息接收/发送配置主要包括接收和发送两个部分；

2.1判断配置的消息内容是接收还是发送模式，并根据不同模式进行选择，如果是发送模式则进入2.2，如果是接收模式进入2.3。

2.2如果是发送模式，首先确定发送通道(Topic、MSG_TYPE、MSG_SUB_TYPE、服务器ip)、发送内容和发送模式(日志型、周期型、vip通道型)。

2.2.1日志型发送模式则开启相关表的触发器日志，根据需要发送的内容关联触发器日志编写发送内容的sql脚本，将数据的新增、修改、删除流水发送至kafka

2.2.2周期型发送模式则通过cron表达式设定发送周期，并编写需要选择的内容，通过sql语句设定发送内容及排序字段，程序将对获取内容按照每1000条进行发送

2.2.3vip通道型发送模式则通过在配置表配置，在设定了vip通道发送后程序将有单独线程监听、发送该部分数据而不与其他已有线程冲突，从而保证了vip通道的优先性和稳定性。

2.3如果是接收模式，首先确定接收通道(Topic、MSG_TYPE、MSG_SUB_TYPE、服务器ip)、接收消息content里包含的字段信息和保存的对应表。接着，根据接收内容进行建表，将Kafka中接收到的消息存入对应表中，并支持在界面上进行查看。

3、日志查询预警模块主要包括对发送消息日志管理预警和接收内容查询两部分。日志管理预警详细记录了发送内容的id、发送内容类型、是否发送、发送时间和数据更新时间，便于用户直接查询某条数据的发送情况。同时定时扫描改日志表用于预警短信发送，如果自定义时间段内消息未发送则短信预警相关人员进行核查，提升系统稳定性。接收内容查询则支持查询保存的消息内容，更直观得便于业务人员进行查询管理。

本发明提出的多模式敏捷型金融资讯数据接发框架以kafka消息中间件为基础，支持将数据库中的数据通过数据库日志的方式记录并实时发送kafka消息，也支持接收kafka中的消息保存到数据库中，同时可通过配置将不同消息通道和消息类别的数据进行接收、发送，涵盖了日志型、周期型、vip通道型的多模式。整体框架包括服务器ip配置、接收/发送模式配置和日志查询预警三个主要模块。

服务器ip配置模块包括了配置系统描述、系统id、server地址、zk地址。系统配置界面详见图1。

接收/发送模式配置模块包括了对使用的服务器ip、接受/发送模式、接受/发送内容、Group id、MSG_TYPE、MSG_SUB_TYPE、是否有效、是否日志型、是否周期型及定时时间、是否VIP型的配置，通过对这些内容可以敏捷高效的消息发送及接收。如果是消息发送模式，则需要开启对应表的新增、更新及删除日志流水，并通过配置将变更数据实时发送至对应的kafka通道中；如果是消息模式，则通过配置对应的消息通道和与消息体相同的表，根据消息的数据更新方式解析kafka消息，将消息体中content的内容接收并将字段拆分保存至对应表内。系统配置界面详见图2。

日志查询预警模块主要包括对发送消息日志管理预警和接收内容查询两部分。日志管理预警详细记录了发送内容的id、发送内容类型、是否发送、发送时间和数据更新时间，同时定时扫描改日志表用于预警短信发送，如果自定义时间段内消息未发送则短信预警相关人员进行核查，提升系统稳定性。接收内容查询则支持查询保存的消息内容，更直观得便于业务人员进行管理。系统配置界面详见图3。

采用了本发明的支持多模式敏捷型资讯数据接发的系统及其方法，更好地实现了公司统一金融资讯数据的多模式敏捷发布。既支持了7×24快讯的VIP通道毫秒级快速发布，又实现了基金净值、融资融券、资讯等数据的实时发布，也支持了个股F10、题材概念等数据的定时发布。同时接收了智能诊股、图解财报、体验功能等数据，实现了功能运营与业务拓展的实时联动效果。整体框架日均处理资讯流水约25.8w条，进一步提升了资讯的时效性和开发的敏捷性。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (6)

1.一种支持多模式敏捷型资讯数据接发的系统，其特征在于，所述的系统包括：

服务器ip配置模块，用于设置ip地址，并添加相关的系统描述来查找相关信息；

接收及发送模式配置模块，与所述的服务器ip配置模块相连接，用于配置信息进行消息发送及接收；

日志查询预警模块，与所述的接收及发送模式配置模块相连接，用于发送消息进行日志管理预警以及接收内容查询。

2.根据权利要求1所述的支持多模式敏捷型资讯数据接发的系统，其特征在于，所述的接收及发送模式配置模块的发送模式为日志型、周期型或vip通道型。

3.根据权利要求1所述的支持多模式敏捷型资讯数据接发的系统，其特征在于，所述的日志查询预警模块包括：

发送消息日志管理预警单元，与所述的接收及发送模式配置模块相连接，用于记录发送信息，便于查询某条数据的发送情况；

接收内容查询单元，与所述的接收及发送模式配置模块相连接，用于定时扫描改日志表发送预警短信发送，便于业务人员查询管理。

4.一种基于权利要求1所述的系统实现支持多模式敏捷型资讯数据接发控制的方法，其特征在于，所述的方法包括以下步骤：

(1)服务器ip设置ip地址，并添加相关的系统描述来查找相关信息；

(2)判断配置的消息内容为接收模式还是发送模式，如果是接收模式，则继续步骤(3)；否则，继续步骤(4)；

(3)确定发送通道、发送内容和发送模式；

(4)确定接收通道和接收消息中包含的字段信息和保存的对应表，并根据接收内容建表，将接收到的消息存入对应表中。

5.根据权利要求1所述的支持多模式敏捷型资讯数据接发的方法，其特征在于，所述的步骤(3)具体包括以下步骤：

(3.1)判断发送模式为日志型、周期型还是vip通道型，如果是日志型发送模式，则继续步骤(3.2)；如果是周期型发送模式，则继续步骤(3.2)；如果是vip通道型发送模式，则继续步骤(3.2)；

(3.2)开启相关表的触发器日志，根据需要发送的内容关联触发器日志编写发送内容的sql脚本，发送数据的新增、修改及删除流水；

(3.3)设定发送周期，并编写需要选择的内容，通过sql语句设定发送内容及排序字段，对获取内容进行发送；

(3.4)通过在配置表配置，设定vip通道发送后单独线程监听、发送该部分数据。

6.根据权利要求1所述的支持多模式敏捷型资讯数据接发的方法，其特征在于，所述的方法还包括以下步骤：

(1)记录发送内容的id、发送内容类型、是否发送、发送时间和数据更新时间，并定时扫描改日志表用于预警短信发送；

(2)如果自定义时间段内消息未发送，则核查短信预警相关人员；接收内容查询则支持查询保存的消息内容，更直观得便于业务人员进行查询管理。

Images