CN108920659A - 数据处理系统及其数据处理方法、计算机可读存储介质 - Google Patents
数据处理系统及其数据处理方法、计算机可读存储介质 Download PDFInfo
- Publication number
- CN108920659A CN108920659A CN201810722731.5A CN201810722731A CN108920659A CN 108920659 A CN108920659 A CN 108920659A CN 201810722731 A CN201810722731 A CN 201810722731A CN 108920659 A CN108920659 A CN 108920659A
- Authority
- CN
- China
- Prior art keywords
- data
- data processing
- database
- parsing
- message queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法,该数据处理方法包括以下步骤:监听并解析MYSQL数据库的日志文件,将解析得到的数据添加至消息队列;所述MYSQL数据库中数据的格式为JSON格式;将所述消息队列中的数据写入分布式搜索引擎。本发明还公开了一种数据处理系统、计算机可读存储介质。本发明可将JSON格式的数据从MYSQL中剥离解耦至分布式搜索引擎中,实现数据的快速搜索。
Description
技术领域
本发明涉及数据处理领域,尤其涉及数据处理方法、数据处理系统以及计算机可读存储介质。
背景技术
目前,消费贷风控业务系统将外部合作商返回的数据以JSON字符串的形式记录在MYSQL数据库(关系型数据库管理系统)中,JSON((JavaScript Object Notation,JS对象简谱,是一种轻量级的数据交换格式)格式的数据由于没有定义的结构,导致其在MYSQL数据库中可读性和可扩展性较差,造成数据查询困难。因而,随着风控业务后期跟进的需求不断增大,如何快速搜索到合作商数据成为急需解决的问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种数据处理方法,旨在将JSON格式的数据从MYSQL中剥离解耦至分布式搜索引擎中,实现数据的快速搜索。
为实现上述目的,本发明提供一种数据处理方法,所述数据处理方法包括以下步骤:
监听并解析MYSQL数据库的日志文件,将解析得到的数据添加至消息队列;所述MYSQL数据库中数据的格式为JSON格式;
将所述消息队列中的数据写入分布式搜索引擎。
优选地,所述监听并解析MYSQL数据库的日志文件的步骤之前,还包括:
接收业务对象的数据并转化为JSON格式;
根据所述业务对象确定所述MYSQL数据库中对应的数据表;
将JSON格式的数据写入确定的数据表中。
优选地,将解析得到的数据添加至消息队列的步骤包括:
将解析得到的数据转换为实体对象;
将所述实体对象添加至所述消息队列。
优选地,所述将所述消息队列中的数据写入分布式搜索引擎的步骤包括:
异步读取所述消息队列中的数据;
将读取到的数据写入所述分布式搜索引擎。
优选地,所述将读取到的数据写入所述分布式搜索引擎的步骤包括:
确定读取到的数据对应的索引;
将读取到的数据分片储存至确定的索引中。
优选地,所述数据处理方法还包括以下步骤:
监听并解析MYSQL数据库的日志文件,将解析得到的数据写入HBASE数据库;
采用HIVE工具对所述HBASE数据库中的数据进行统计分析;
储存统计分析结果。
此外,为实现上述目的,本发明还提供一种数据处理系统,所述数据处理系统包括:解析子系统、数据库子系统、搜索引擎子系统,所述数据库子系统包括MYSQL数据库其中,
所述解析子系统,用于监听并解析所述MYSQL数据库的日志文件,将解析得到的数据添加至消息队列;所述MYSQL数据库中数据的格式为JSON格式;
所述搜索引擎子系统,用于将所述消息队列中的数据写入分布式搜索引擎。
优选地,所述数据处理系统还包括所述前端业务系统,
所述前端业务系统,用于接收业务对象的数据并转化为JSON格式,根据所述业务对象确定所述MYSQL数据库中对应的数据表,将JSON格式的数据写入确定的数据表中。
优选地,所述数据库系统还包括HBASE数据库和数据统计模块;
所述数据统计模块,用于监听并解析MYSQL数据库的日志文件,将解析得到的数据写入HBASE数据库;采用HIVE工具对所述HBASE数据库中的数据进行统计分析;储存统计分析结果。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如上任一项所述的数据处理方法的步骤。
本发明实施例提出的一种数据处理方法,通过将MYSQL数据库中JSON格式的数据提取并写入分布式搜索引擎,提供采用分布式搜索引擎对风控业务数据进行搜索的渠道,实现数据的快速搜索,为风控业务数据的分析提供数据准备。
附图说明
图1是本发明实施例方案数据处理系统的系统结构示意图;
图2为本发明实施例数据处理方法的第一流程示意图;
图3为本发明实施例数据处理方法的第二流程示意图;
图4为本发明实施例数据处理方法的第三流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:监听并解析MYSQL数据库的日志文件,将解析得到的数据添加至消息队列;所述MYSQL数据库中数据的格式为JSON格式;将所述消息队列中的数据写入分布式搜索引擎。
由于现有技术中,MYSQL数据库中JSON格式的数据可读性和可扩展性较差,造成数据查询困难。
本发明提供一种解决方案,使JSON格式的数据从MYSQL中剥离解耦至分布式搜索引擎中,实现数据的快速搜索。
在本发明实施例中,提供一种数据处理系统,如图1所示,该数据处理系统包括:前端业务系统400、解析子系统100、数据库子系统300、搜索引擎子系统200,所述搜索引擎子系统200包括分布式搜索引擎,所述数据库子系统300包括MYSQL数据库和HBASE数据库。
其中,前端业务系统400包括web服务器集群、OSP服务器集群。前端业务系统400,用于接收业务对象的数据并转化为JSON格式,根据所述业务对象确定所述MYSQL数据库中对应的数据表,将JSON格式的数据写入确定的数据表中。这里数据处理系统的业务对象可理解为风控数据处理系统的合作商。业务对象的数据可理解为合作商所提供的风控数据,如贷款人的基本信息、贷款申请信息、贷款合同信息、风控审核信息等。不同的合作商所提供的业务对象的数据的格式不同。前端业务系统400通过对合作商不同的数据源格式进行统一,便于管理和储存。
为了提高数据处理效率,web服务器集群中的web服务器(也称为WWW(WORLD WIDEWEB)服务器,主要功能是提供网上信息浏览服务)可对应合作商设置,不同的合作商对应不同的web服务器。在合作商的通过浏览器登录其对应的服务器时,或者,在合作商的服务器与其对应的web服务器进行数据交互时,web服务器获取该业务对象的数据。为了提高数据处理效率,OSP服务器集群中的服务器可对应web服务器集群中的web服务器设置,不同的web服务器对应设置不同的OSP服务器(开放服务平台服务器)。web服务器接收业务对象的数据,并发送至对应的OSP服务器。OSP服务器接收到业务对象的数据后,将业务对象的数据转化为JSON格式的数据。可通过识别业务对象的数据中的合作商标识、根据所发送的web服务器等确定业务对象的数据所对应的业务对象,将JSON格式的数据写入该业务对象在MYSQL数据库中对应的数据表中。此外,MYSQL数据库也可为不同的OSP服务器提供不同的数据接口,数据接口与对应的业务对象的数据表关联,直接通过数据接口将数据写入业务对象相应的数据表中。
解析子系统100,用于监听并解析所述MYSQL数据库的日志文件,将解析得到的数据添加至消息队列;所述MYSQL数据库中数据的格式为JSON格式。其中,解析子系统100的服务器可调用RDP解析工具(唯品会的数据解析工具)实时监听MYSQL数据的日志文件binlog(二进制格式的文件,用于记录用户对MYSQL数据库更新的SQL语句信息),在binlog中产生新的日志记录时,对新增的日志记录进行解析,将解析得到的数据发送至VMS异步消息工具中。
解析子系统100中的VMS(唯品会的消息队列工具)接收到解析得到的数据后添加至消息队列。搜索引擎子系统200采用异步方式获取消息队列中的数据,VMS可将消息队列中的数据异步发送至搜索引擎子系统200,搜索引擎子系统200也可主动异步读取消息队列中的数据,保证搜索引擎子系统200中数据的实时性,有利于快速搜索到所需数据。其中,搜索引擎子系统200主动的异步读取消息队列中的数据,消息队列中数据的写入和读取可同步进行,进一步的提高搜索引擎子系统200中数据的实时性。VMS可依据不同业务对象创建不同的消息队列,RDP解析binlog的同时可确定新增的日志记录所对应的业务对象,并将解析得到的数据发送至该业务对象对应的消息队列中。
其中,为了便于数据传输,解析子系统100中的RDP还用于将解析得到的数据进行序列化处理转换为JAVA(一种计算机编程语言)实体对象后,再发送至VMS,VMS接收到JAVA实体对象后将其添加至消息队列中。
搜索引擎子系统200包括分布式搜索引擎,用于将所述消息队列中的数据写入分布式搜索引擎。分布式搜索引擎为将全网分成若干个自治区域,在每个自治区域内设立一个检索服务器的装置。分布式搜索引擎具体为elasticsearch(基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎),分布式搜索引擎中采用内存和固态硬盘进行数据储存,elasticsearch是快速搜索的开源框架,应用平台(如唯品会的PALLS平台)对开源框架进行封装,封装后在应用平台上可提供API(应用程序编程接口)为用户创建快速搜索的数据渠道。
在搜索引擎子系统200中,每个业务对象对应建立有不同的索引,在同一个索引中设立有多个分片。搜索引擎子系统200可为不同的索引设立不同的数据接口,不同的数据接口对应不同业务对象的消息队列。搜索引擎子系统200将从消息队列读取或接收到的数据写入分布式搜索引擎。在写入的过程中,首先确定读取到的数据对应的索引,再将读取到的数据分片储存至确定的索引中。在获取到消息队列中的数据后,可对通过对数据的内容进行识别、或者通过队列与业务对象的对应关系等确定获取到的数据所对应的业务对象,根据所确定的业务对象确定获取的数据所对应的索引。在进行数据储存之前,数据进行数据分片后再储存进对应的索引中的分片。其中,在获取到消息队列中的数据后,若数据为JAVA实体对象,则将JAVA实体对象进行逆序列化处理转换为JSON格式再进行数据分片储存。
进一步的,所述数据统计模块,用于监听并解析MYSQL数据库的日志文件,将解析得到的数据写入HBASE数据库;采用HIVE工具(基于Hadoop的一个数据仓库工具)对所述HBASE数据库中的数据进行统计分析;储存统计分析结果。数据库子系统300可调用数据统计模块与解析子系统100同步的监听并解析MYSQL数据库的binlog,采用异步读取的方式将解析得到的数据写入HBASE数据库中。调用HIVE工具每隔预设时间对HBASE数据库中的数据按照预设规则对不同业务对象的数据进行分类统计分析,并将统计分析结果进行储存。其中,由于HBASE数据库查询数据较慢,elasticsearch中也可为HBASE数据库中的统计分析结果建立索引。在得到统计分析结果时,数据库系统可将统计分析结果发送至elasticsearch中并存储至相应的索引中,通过elasticsearch可快速的查询到所需的统计分析结果。通过HBASE数据库的设立,对不同合作商的数据进行统计分析,可为elasticsearch提供数据支撑,为后期的风控分析提供更全面的数据准备。
通过上述的数据处理系统的构建,可将JSON格式的数据从MYSQL中剥离解耦至分布式搜索引擎中,实现数据的快速搜索,为后期对风控业务的分析提供充足的数据准备。其中,通过数据处理系统中不同子系统的解耦,各司其职,提高数据处理系统的处理效率,进一步保证数据的快速检索。
本领域技术人员可以理解,图1中示出的系统结构并不构成对系统的限定,可以包括比图示更多或更少的终端,或者组合某些终端,或者不同的终端布置。
此外,本申请还提出一种数据处理装置,该数据处理装置包括:处理器,如CPU,存储器以及存储于所述存储器中的数据处理程序,处理器可调用存储器存储的数据处理程序,并执行下面数据处理方法的相关步骤。
此外,本申请还提出一种计算机可读存储介质,如上述的存储器,计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如下面数据处理方法的相关步骤。
参照图2,本发明实施例提供一种数据处理方法,所述数据处理方法包括:
步骤S10,监听并解析MYSQL数据库的日志文件,将解析得到的数据添加至消息队列;所述MYSQL数据库中数据的格式为JSON格式;
步骤S20,将所述消息队列中的数据写入分布式搜索引擎。
解析子系统100的服务器可调用RDP解析工具实时监听MYSQL数据的日志文件binlog,在binlog中产生新的日志记录时,对新增的日志记录进行解析,将解析得到的数据发送至VMS异步消息工具中。
VMS接收到解析得到的数据后添加至消息队列。搜索引擎子系统200采用异步方式获取消息队列中的数据,VMS可将消息队列中的数据异步发送至搜索引擎子系统200,搜索引擎子系统200也可主动异步读取消息队列中的数据,保证搜索引擎子系统200中数据的实时性,有利于快速搜索到所需数据。其中,搜索引擎子系统200主动的异步读取消息队列中的数据,消息队列中数据的写入和读取可同步进行,进一步的提高搜索引擎子系统200中数据的实时性。VMS可依据不同业务对象创建不同的消息队列,RDP解析binlog的同时可确定新增的日志记录所对应的业务对象,并将解析得到的数据发送至该业务对象对应的消息队列中。
通过上述方式,可将JSON格式的数据从MYSQL中剥离解耦至分布式搜索引擎中,提供采用分布式搜索引擎对风控业务数据进行搜索的渠道,实现数据的快速搜索,为后期对风控业务的分析提供充足的数据准备。
进一步的,参照图3,所述监听并解析MYSQL数据库的日志文件的步骤之前,还包括:
步骤S01,接收业务对象的数据并转化为JSON格式;
步骤S02,根据所述业务对象确定所述MYSQL数据库中对应的数据表;
步骤S03,将JSON格式的数据写入确定的数据表中。
其中,前端业务系统400包括web服务器集群、OSP(开放服务平台)服务器集群。前端业务系统400,用于接收业务对象的数据并转化为JSON格式,根据所述业务对象确定所述MYSQL数据库中对应的数据表,将JSON格式的数据写入确定的数据表中。这里数据处理系统的业务对象可理解为风控数据处理系统的合作商。业务对象的数据可理解为合作商所提供的风控数据,如贷款人的基本信息、贷款申请信息、贷款合同信息、风控审核信息等。不同的合作商所提供的业务对象的数据的格式不同。
为了提高数据处理效率,web服务器集群中的服务器可对应合作商设置,不同的合作商对应不同的web服务器。在合作商的通过浏览器登录其对应的服务器时,或者,在合作商的服务器与其对应的web服务器进行数据交互时,web服务器获取该业务对象的数据。为了提高数据处理效率,OSP服务器集群中的服务器可对应web服务器集群中的服务器设置,不同的web服务器对应设置不同的OSP服务器。web服务器接收业务对象的数据,并发送至对应的OSP服务器。OSP服务器接收到业务对象的数据后,将业务对象的数据转化为JSON格式的数据。可通过识别业务对象的数据中的合作商标识、根据所发送的web服务器等确定业务对象的数据所对应的业务对象,将JSON格式的数据写入该业务对象在MYSQL数据库中对应的数据表中。此外,MYSQL数据库也可为不同的OSP服务器提供不同的数据接口,数据接口与对应的业务对象的数据表关联,直接通过数据接口将数据写入业务对象相应的数据表中。
通过上述方式,前端业务系统400通过对合作商不同的数据源格式进行统一,便于管理和储存,并且将不同业务对象的数据在MYSQL数据库中分类储存,便于后续数据的查询、管理、分析和检索等。
进一步的,所述将解析得到的数据添加至消息队列的步骤包括:
步骤S11,将解析得到的数据转换为实体对象;
步骤S12,将所述实体对象添加至所述消息队列。
其中,为了便于数据传输,解析子系统100中的RDP还用于将解析得到的数据进行序列化处理转换为JAVA实体对象后,再发送至VMS,VMS接收到JAVA实体对象后将其添加至消息队列中。
进一步的,所述将所述消息队列中的数据写入分布式搜索引擎的步骤包括:
步骤S21,异步读取所述消息队列中的数据;
步骤S22,将读取到的数据写入所述分布式搜索引擎。
搜索引擎子系统200主动的异步读取消息队列中的数据,消息队列中数据的写入和读取可同步进行,进一步的提高搜索引擎子系统200中数据的实时性。
进一步的,所述将读取到的数据写入所述分布式搜索引擎的步骤包括:
步骤S221,确定读取到的数据对应的索引;
步骤S222,将读取到的数据分片储存至确定的索引中。
在搜索引擎子系统200中,每个业务对象对应建立有不同的索引,在同一个索引中设立有多个分片。搜索引擎子系统200可为不同的索引设立不同的数据接口,不同的数据接口对应不同业务对象的消息队列。搜索引擎子系统200将从消息队列读取或接收到的数据写入分布式搜索引擎。在写入的过程中,首先确定读取到的数据对应的索引,再将读取到的数据分片储存至确定的索引中。在获取到消息队列中的数据后,可对通过对数据的内容进行识别、或者通过队列与业务对象的对应关系等确定获取到的数据所对应的业务对象,根据所确定的业务对象确定获取的数据所对应的索引。在进行数据储存之前,数据进行数据分片后再储存进对应的索引中的分片。其中,在获取到消息队列中的数据后,若数据为JAVA实体对象,则将JAVA实体对象进行逆序列化处理转换为JSON格式再进行数据分片储存。
通过上述方式,用户可通过分布式搜索引擎快速检索到所需的风控业务数据。
进一步的,参照图4,所述数据处理方法还包括以下步骤:
步骤S30,监听并解析MYSQL数据库的日志文件,将解析得到的数据写入HBASE数据库;
步骤S40,采用HIVE工具对所述HBASE数据库中的数据进行统计分析;
步骤S50,储存统计分析结果。
数据库子系统300可调用数据统计模块与解析子系统100同步的监听并解析MYSQL数据库的binlog,采用异步读取的方式将解析得到的数据写入HBASE数据库中。调用HIVE工具每隔预设时间对HBASE数据库中的数据按照预设规则对不同业务对象的数据进行分类统计分析,并将统计分析结果进行储存。其中,由于HBASE数据库查询数据较慢,elasticsearch中也可为HBASE数据库中的统计分析结果建立索引。在得到统计分析结果时,数据库系统可将统计分析结果发送至elasticsearch中并存储至相应的索引中,通过elasticsearch可快速的查询到所需的统计分析结果。
通过HBASE数据库的设立,对不同合作商的数据进行统计分析,可为elasticsearch提供数据支撑,为后期的风控分析提供更全面的数据准备。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据处理方法,其特征在于,所述数据处理方法包括以下步骤:
监听并解析MYSQL数据库的日志文件,将解析得到的数据添加至消息队列;所述MYSQL数据库中数据的格式为JSON格式;
将所述消息队列中的数据写入分布式搜索引擎。
2.如权利要求1所述的数据处理方法,其特征在于,所述监听并解析MYSQL数据库的日志文件的步骤之前,还包括:
接收业务对象的数据并转化为JSON格式;
根据所述业务对象确定所述MYSQL数据库中对应的数据表;
将JSON格式的数据写入确定的数据表中。
3.如权利要求2所述的数据处理方法,其特征在于,将解析得到的数据添加至消息队列的步骤包括:
将解析得到的数据转换为实体对象;
将所述实体对象添加至所述消息队列。
4.如权利要求3所述的数据处理方法,其特征在于,所述将所述消息队列中的数据写入分布式搜索引擎的步骤包括:
异步读取所述消息队列中的数据;
将读取到的数据写入所述分布式搜索引擎。
5.如权利要求4所述的数据处理方法,其特征在于,所述将读取到的数据写入所述分布式搜索引擎的步骤包括:
确定读取到的数据对应的索引;
将读取到的数据分片储存至确定的索引中。
6.如权利要求1至5中任一项所述的数据处理方法,其特征在于,所述数据处理方法还包括以下步骤:
监听并解析MYSQL数据库的日志文件,将解析得到的数据写入HBASE数据库;
采用HIVE工具对所述HBASE数据库中的数据进行统计分析;
储存统计分析结果。
7.一种数据处理系统,其特征在于,所述数据处理系统包括:解析子系统、数据库子系统、搜索引擎子系统,所述数据库子系统包括MYSQL数据库其中,
所述解析子系统,用于监听并解析所述MYSQL数据库的日志文件,将解析得到的数据添加至消息队列;所述MYSQL数据库中数据的格式为JSON格式;
所述搜索引擎子系统,用于将所述消息队列中的数据写入分布式搜索引擎。
8.如权利要求7所述的数据处理系统,其特征在于,所述数据处理系统还包括所述前端业务系统,
所述前端业务系统,用于接收业务对象的数据并转化为JSON格式,根据所述业务对象确定所述MYSQL数据库中对应的数据表,将JSON格式的数据写入确定的数据表中。
9.如权利要求7或8所述的数据处理系统,其特征在于,所述数据库系统还包括HBASE数据库和数据统计模块;
所述数据统计模块,用于监听并解析MYSQL数据库的日志文件,将解析得到的数据写入HBASE数据库;采用HIVE工具对所述HBASE数据库中的数据进行统计分析;储存统计分析结果。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810722731.5A CN108920659B (zh) | 2018-07-03 | 2018-07-03 | 数据处理系统及其数据处理方法、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810722731.5A CN108920659B (zh) | 2018-07-03 | 2018-07-03 | 数据处理系统及其数据处理方法、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108920659A true CN108920659A (zh) | 2018-11-30 |
CN108920659B CN108920659B (zh) | 2022-06-07 |
Family
ID=64425490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810722731.5A Active CN108920659B (zh) | 2018-07-03 | 2018-07-03 | 数据处理系统及其数据处理方法、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108920659B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902070A (zh) * | 2019-01-22 | 2019-06-18 | 华中师范大学 | 一种面向WiFi日志数据的解析存储搜索方法 |
CN110134648A (zh) * | 2019-05-22 | 2019-08-16 | 中国联合网络通信集团有限公司 | 日志处理方法、装置、设备、系统及计算机可读存储介质 |
CN110597867A (zh) * | 2019-09-09 | 2019-12-20 | 珠海格力电器股份有限公司 | 图文数据处理方法及系统 |
CN110647544A (zh) * | 2019-09-10 | 2020-01-03 | 四川新网银行股份有限公司 | 基于流数据的账务检核方法 |
CN111026727A (zh) * | 2019-10-24 | 2020-04-17 | 贝壳技术有限公司 | 基于日志文件的表维度检索数据同步方法、系统及装置 |
CN111343269A (zh) * | 2020-02-25 | 2020-06-26 | 江苏苏宁物流有限公司 | 一种数据下载方法、装置、计算机设备和存储介质 |
CN111367692A (zh) * | 2020-03-09 | 2020-07-03 | 政采云有限公司 | 一种搜索引擎数据处理方法、装置、电子设备及介质 |
CN111581232A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的慢sql实时分析方法及系统 |
CN111639113A (zh) * | 2019-03-01 | 2020-09-08 | 千寻位置网络有限公司 | 收集MySQL数据库执行的SQL数据的系统及其方法 |
CN111711672A (zh) * | 2020-06-03 | 2020-09-25 | 成都中科大旗软件股份有限公司 | 大数据共享方法及系统 |
CN111984436A (zh) * | 2020-08-25 | 2020-11-24 | 中央广播电视总台 | 一种数据采集系统 |
CN112000741A (zh) * | 2020-08-25 | 2020-11-27 | 中国南方电网有限责任公司 | 内外网数据交换系统、方法、装置、计算机设备和介质 |
CN112182001A (zh) * | 2020-09-27 | 2021-01-05 | 浪潮云信息技术股份公司 | 数据库增量同步至动态es索引库的方法、装置和介质 |
CN112347073A (zh) * | 2020-10-27 | 2021-02-09 | 山东开创云计算有限公司 | 多数据系统 |
CN112905707A (zh) * | 2021-03-31 | 2021-06-04 | 浙江太美医疗科技股份有限公司 | 关系数据库与搜索引擎的同步方法、装置和计算机存储介质 |
CN113282625A (zh) * | 2021-05-31 | 2021-08-20 | 重庆富民银行股份有限公司 | 一种基于sql的api数据查询和处理系统及方法 |
CN117349384A (zh) * | 2023-12-04 | 2024-01-05 | 四川才子软件信息网络有限公司 | 一种数据库同步的方法、系统及设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150213035A1 (en) * | 2014-01-24 | 2015-07-30 | Bit Stew Systems Inc. | Search Engine System and Method for a Utility Interface Platform |
CN105468492A (zh) * | 2015-11-17 | 2016-04-06 | 中国建设银行股份有限公司 | 一种基于搜索引擎的数据监控方法和系统 |
CN105512336A (zh) * | 2015-12-29 | 2016-04-20 | 中国建设银行股份有限公司 | 一种基于Hadoop的海量数据处理方法和装置 |
US20160306867A1 (en) * | 2015-04-16 | 2016-10-20 | Alibaba Group Holding Limited | System, method, and apparatus for synchronization among heterogeneous data sources |
CN106951536A (zh) * | 2017-03-22 | 2017-07-14 | 努比亚技术有限公司 | 数据转化方法及系统 |
CN107038162A (zh) * | 2016-02-03 | 2017-08-11 | 滴滴(中国)科技有限公司 | 基于数据库日志的实时数据查询方法和系统 |
CN107622068A (zh) * | 2016-07-14 | 2018-01-23 | 深圳联友科技有限公司 | 一种基于json格式的日志管理方法及装置 |
CN107783975A (zh) * | 2016-08-24 | 2018-03-09 | 北京京东尚科信息技术有限公司 | 分布式数据库同步处理的方法和装置 |
CN108009282A (zh) * | 2017-12-22 | 2018-05-08 | 武汉楚鼎信息技术有限公司 | 一种json数据同步到关系型数据库的方法及系统装置 |
CN108228616A (zh) * | 2016-12-14 | 2018-06-29 | 北京国双科技有限公司 | 日志信息处理方法、系统及装置 |
-
2018
- 2018-07-03 CN CN201810722731.5A patent/CN108920659B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150213035A1 (en) * | 2014-01-24 | 2015-07-30 | Bit Stew Systems Inc. | Search Engine System and Method for a Utility Interface Platform |
US20160306867A1 (en) * | 2015-04-16 | 2016-10-20 | Alibaba Group Holding Limited | System, method, and apparatus for synchronization among heterogeneous data sources |
CN105468492A (zh) * | 2015-11-17 | 2016-04-06 | 中国建设银行股份有限公司 | 一种基于搜索引擎的数据监控方法和系统 |
CN105512336A (zh) * | 2015-12-29 | 2016-04-20 | 中国建设银行股份有限公司 | 一种基于Hadoop的海量数据处理方法和装置 |
CN107038162A (zh) * | 2016-02-03 | 2017-08-11 | 滴滴(中国)科技有限公司 | 基于数据库日志的实时数据查询方法和系统 |
CN107622068A (zh) * | 2016-07-14 | 2018-01-23 | 深圳联友科技有限公司 | 一种基于json格式的日志管理方法及装置 |
CN107783975A (zh) * | 2016-08-24 | 2018-03-09 | 北京京东尚科信息技术有限公司 | 分布式数据库同步处理的方法和装置 |
CN108228616A (zh) * | 2016-12-14 | 2018-06-29 | 北京国双科技有限公司 | 日志信息处理方法、系统及装置 |
CN106951536A (zh) * | 2017-03-22 | 2017-07-14 | 努比亚技术有限公司 | 数据转化方法及系统 |
CN108009282A (zh) * | 2017-12-22 | 2018-05-08 | 武汉楚鼎信息技术有限公司 | 一种json数据同步到关系型数据库的方法及系统装置 |
Non-Patent Citations (2)
Title |
---|
MASSIMILIANO CIARAMITA等: "《USING MACHINE TRANSLATION FOR QUERY REWRITE GENERATION》", 11 September 2017 * |
王东兴等: "GeoJSON在异构地理信息数据集成中的应用", 《测绘与空间地理信息》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902070A (zh) * | 2019-01-22 | 2019-06-18 | 华中师范大学 | 一种面向WiFi日志数据的解析存储搜索方法 |
CN109902070B (zh) * | 2019-01-22 | 2023-12-12 | 华中师范大学 | 一种面向WiFi日志数据的解析存储搜索方法 |
CN111639113A (zh) * | 2019-03-01 | 2020-09-08 | 千寻位置网络有限公司 | 收集MySQL数据库执行的SQL数据的系统及其方法 |
CN110134648A (zh) * | 2019-05-22 | 2019-08-16 | 中国联合网络通信集团有限公司 | 日志处理方法、装置、设备、系统及计算机可读存储介质 |
CN110597867A (zh) * | 2019-09-09 | 2019-12-20 | 珠海格力电器股份有限公司 | 图文数据处理方法及系统 |
CN110597867B (zh) * | 2019-09-09 | 2023-04-28 | 珠海格力电器股份有限公司 | 图文数据处理方法及系统 |
CN110647544A (zh) * | 2019-09-10 | 2020-01-03 | 四川新网银行股份有限公司 | 基于流数据的账务检核方法 |
CN111026727A (zh) * | 2019-10-24 | 2020-04-17 | 贝壳技术有限公司 | 基于日志文件的表维度检索数据同步方法、系统及装置 |
CN111343269A (zh) * | 2020-02-25 | 2020-06-26 | 江苏苏宁物流有限公司 | 一种数据下载方法、装置、计算机设备和存储介质 |
CN111343269B (zh) * | 2020-02-25 | 2023-09-08 | 江苏苏宁物流有限公司 | 一种数据下载方法、装置、计算机设备和存储介质 |
CN111367692A (zh) * | 2020-03-09 | 2020-07-03 | 政采云有限公司 | 一种搜索引擎数据处理方法、装置、电子设备及介质 |
CN111367692B (zh) * | 2020-03-09 | 2023-08-22 | 政采云有限公司 | 一种搜索引擎数据处理方法、装置、电子设备及介质 |
CN111581232A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的慢sql实时分析方法及系统 |
CN111581232B (zh) * | 2020-04-30 | 2023-04-25 | 重庆富民银行股份有限公司 | 一种基于elk的慢sql实时分析方法及系统 |
CN111711672B (zh) * | 2020-06-03 | 2023-05-16 | 成都中科大旗软件股份有限公司 | 大数据共享方法及系统 |
CN111711672A (zh) * | 2020-06-03 | 2020-09-25 | 成都中科大旗软件股份有限公司 | 大数据共享方法及系统 |
CN112000741A (zh) * | 2020-08-25 | 2020-11-27 | 中国南方电网有限责任公司 | 内外网数据交换系统、方法、装置、计算机设备和介质 |
CN111984436A (zh) * | 2020-08-25 | 2020-11-24 | 中央广播电视总台 | 一种数据采集系统 |
CN112000741B (zh) * | 2020-08-25 | 2024-05-03 | 中国南方电网有限责任公司 | 内外网数据交换系统、方法、装置、计算机设备和介质 |
CN112182001A (zh) * | 2020-09-27 | 2021-01-05 | 浪潮云信息技术股份公司 | 数据库增量同步至动态es索引库的方法、装置和介质 |
CN112347073A (zh) * | 2020-10-27 | 2021-02-09 | 山东开创云计算有限公司 | 多数据系统 |
CN112905707A (zh) * | 2021-03-31 | 2021-06-04 | 浙江太美医疗科技股份有限公司 | 关系数据库与搜索引擎的同步方法、装置和计算机存储介质 |
CN113282625A (zh) * | 2021-05-31 | 2021-08-20 | 重庆富民银行股份有限公司 | 一种基于sql的api数据查询和处理系统及方法 |
CN117349384A (zh) * | 2023-12-04 | 2024-01-05 | 四川才子软件信息网络有限公司 | 一种数据库同步的方法、系统及设备 |
CN117349384B (zh) * | 2023-12-04 | 2024-03-15 | 四川才子软件信息网络有限公司 | 一种数据库同步的方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108920659B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108920659A (zh) | 数据处理系统及其数据处理方法、计算机可读存储介质 | |
US20220247695A1 (en) | User defined data stream for routing data | |
US20220036177A1 (en) | Data field extraction by a data intake and query system | |
US11704490B2 (en) | Log sourcetype inference model training for a data intake and query system | |
CN108073625B (zh) | 用于元数据信息管理的系统及方法 | |
EP3654198A1 (en) | Conversational database analysis | |
CN108848108A (zh) | 基于移动互联网+的创新项目pdca过程管理平台 | |
CN107016027A (zh) | 实现业务信息快速搜索的方法和装置 | |
US9607081B2 (en) | Ontology based categorization of users | |
CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
US20180129712A1 (en) | Data provenance and data pedigree tracking | |
WO2023000785A1 (zh) | 用于处理数据的方法、装置、系统、服务器和介质 | |
CN109379245A (zh) | 一种wifi报表生成方法及系统 | |
Anderson et al. | Architectural Implications of Social Media Analytics in Support of Crisis Informatics Research. | |
CN112970011A (zh) | 记录查询优化中的谱系 | |
CN114398343A (zh) | 数据库异常键处理方法、装置、设备及介质 | |
WO2022026984A1 (en) | Data field extraction model training for a data intake and query system | |
CN118035056A (zh) | 一种面向多模态数据查询的基准测试方法和测试框架 | |
CN106648722A (zh) | 基于大数据的Flume接收端数据处理方法和装置 | |
CN108564250A (zh) | 转发记录实时查看系统、方法、计算机设备及存储介质 | |
CN117271584A (zh) | 数据处理方法及装置、计算机可读存储介质和电子设备 | |
JP7293544B2 (ja) | 質問回答システムの更新処理方法及び装置 | |
CN106802922B (zh) | 一种基于对象的溯源存储系统及方法 | |
US20220100742A1 (en) | Lossless Switching Between Search Grammars | |
US11809992B1 (en) | Applying compression profiles across similar neural network architectures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220616 Address after: Room 902, No. 6, Lane 1588, Shenchang Road, Minhang District, Shanghai 201100 Patentee after: Shanghai Pinwei Information Technology Co.,Ltd. Address before: 510000 building 1-5, No. 20, Huahai street, Fangcun, Liwan District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU VIPSHOP INFORMATION TECHNOLOGY Co.,Ltd. |