CN111125118B - 关联数据查询方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种关联数据查询方法，涉及数据处理技术领域，旨在实现关联数据的快速查询，该方法包含以下步骤：接收请求参数，根据所述请求参数确定路由信息；根据所述路由信息，查询所述请求参数中的主维度值对应的从维度数据，得到从维度数据包；调用预设的计算逻辑解析所述从维度数据包，得到目标从维度值；返回所述目标从维度值。本发明还公开了一种关联数据查询装置、电子设备和计算机存储介质。

Description

关联数据查询方法、装置、设备及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种关联数据查询方法、装置、设备及介质。

背景技术

随着互联网的发展，欺诈行为逐渐线上化、高端化。常见的线上欺诈行为包括：1、通过各种方法多次注册或参与推广以领取各种优惠券以及实物，再通过打折的方式去其他平台卖掉来赚取利润，通过这种方式赚取利润的人俗称羊毛党。2、通过不同的手机号码通过网络故意从多个平台借款，企图绕开风控系统，骗取授信。

在诸多线上欺诈案例中，有些非法用户为了尽可能绕开风控系统，在获取授信的过程中，填写自己真实的身份证号码，但是因为真实的手机号码极有可能命中黑名单，从而被拒绝授信，于是电话号码则会填写虚假号码或他人的手机号码。

同理，在其他的一些线下欺诈案例，例如羊毛党在薅羊毛时，用户通过自己的终端设备登录应用时，故意填写一个甚至数十个虚假手机号码作为登录账号，以通过这种方式非法获利，给平台带来损失。

面对上述欺诈，如何验证设备上所填写的手机号码的真实性，是判定欺诈行为的前提，比如通过身份证号码、手机号码、设备号、姓名、邮箱号、邮箱地址、QQ号、银行卡号等之间的关联关系，以验证手机号码的真实性。因此，为检测欺诈行为，快速获取多维度数据之间的关联关系十分重要，而如何使应用程序能快速查询多维度关联数据是目前需要解决的问题。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种关联数据查询方法，旨在通过路由信息，根据不同的数据查询需求，对维度关联的数据进行快速查询。

本发明的目的之一采用以下技术方案实现：

一种关联数据查询方法，包括以下步骤：

接收请求参数，根据所述请求参数确定路由信息；

根据所述路由信息，查询所述请求参数中的主维度值对应的从维度数据，得到从维度数据包；

调用预设的计算逻辑解析所述从维度数据包，得到目标从维度值；

返回所述目标从维度值。

进一步地，所述请求参数包括主维度值和数据服务名称。

进一步地，根据所述请求参数确定路由信息，具体为：根据所述请求参数中的数据服务名称查询路由表，获取与所述服务名称匹配的数据记录，得到路由信息；所述路由信息包括：数据服务名称、描述、主维度名、从维度名、表名、列名、预设的计算逻辑。

进一步地，根据所述路由信息，查询所述请求参数中的主维度值对应的从维度数据，得到从维度数据包，具体包括以下步骤：

根据所述路由信息中的表名，确定目标数据表；

根据所述路由信息中的列名，从所述目标数据表中查询与所述主维度值对应的所有从维度值，形成从维度数据包。

进一步地，所述路由表通过以下步骤构建：

通过预先定义的关键字段建立路由表；

从数据库中获取维度关联数据表，获取所述维度关联数据表的表名和从维度所在的列名；

将提取到的表名和从维度所在的列名插入所述路由表的相应字段下，形成路由表的数据记录。

进一步地，当所述数据库中新增维度关联数据表时，获取新增的维度关联数据表的表名和从维度所在的列名，在所述路由表中插入新数据记录。

本发明的目的之二在于提供一种关联数据查询装置，其根据数据查询需求，通过路由信息，对维度关联的数据进行快速查询。

本发明的目的之二采用以下技术方案实现：

数据接收模块，用于接收请求参数，根据所述请求参数确定路由信息；

数据查询模块，用于根据所述路由信息，查询所述请求参数中的主维度值对应的从维度数据，得到从维度数据包；

数据解析模块，用于调用预设的计算逻辑解析所述从维度数据包，得到目标从维度值；

数据返回模块，用于返回所述目标从维度值。

本发明的目的之三在于提供执行发明目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现上述的关联数据查询方法。

本发明的目的之四在于提供存储发明目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的关联数据查询方法。

相比现有技术，本发明的有益效果在于：

通过路由信息记录对维度关联数据表的信息，在接收数据调用请求时，根据路由信息自动快速确定关联数据的存储位置，并根据请求参数和调用逻辑获取关联的数据，整个过程快速高效。

同时通过路由信息实现数据调用，只需新增一条路由信息，就能支持对新增表数据的调用，无需对新增数据进行再次更新和上线。

附图说明

图1是本发明关联数据查询方法的流程图；

图2是实施例2的关联数据查询装置的结构框图；

图3是实施例3的电子设备的结构框图。

具体实施方式

以下将结合附图，对本发明进行更为详细的描述，需要说明的是，以下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。

实施例1

本实施例提供了一种关联数据查询方法，旨在通过路由信息对维度关联的数据进行调用，能快速定位存储维度关联数据的数据表，并根据不同的业务逻辑对数据进行处理，实现对关联数据的快速调用。

根据上述原理，对关联数据查询方法进行介绍，如图1所示，关联数据查询方法，具体包括以下步骤：

接收请求参数，根据所述请求参数确定路由信息；

根据所述路由信息，查询所述请求参数中的主维度值对应的从维度数据，得到所述主维度值对应的从维度数据包；

调用预设的计算逻辑解析所述从维度数据包，得到目标从维度值；

返回所述目标从维度值。

上述请求参数包括数据服务名称和主维度值，当数据库服务器接收到上游应用程序发来的请求参数时，首先要根据数据服务名称查询路由表，以确定查询的目标数据表，即确定从哪个数据表的哪个表字段获取哪个维度的值，不同的请求参数会对应不同的路由策略，即对应路由表的不同数据记录。

优选地，根据所述请求参数确定路由信息，包括以下步骤：根据数据名称查询路由表，获取路由表中该服务名称对应的数据记录；因所述路由表定义有关键字段：数据服务名称、描述、主维度字段、从维度字段、表名、列名、计算逻辑字段，因此路由信息包括数据服务名称、描述、主维度、从维度、主维度与从维度关联的数据表的表名、从维度值所在的列名、预设的计算逻辑。

在此，对路由表中的关键字段进行说明，数据服务名称的值为根据需求预先设置的字符串，不同字符串代表不同的数据服务，如通过手机号查询最推荐的身份证号码、通过身份证查询使用次数最多的手机号码、通过手机号查询最近关联的设备号等。描述的值记载的数据服务名称对应的描述，如上述通过手机号查询最推荐的身份证号码等内容。需要的注意的是，数据服务名称记载的是数据查询的逻辑，在数据上线前，需要根据需求对数据查询的业务逻辑进行梳理和抽象。主维度字段记载的是数据服务对应的主维度名，如手机号；从维度字段记载的是数据服务对应的从维度名，如身份证号；表名记载的是关联存储主维度和从维度的数据表(维度关联数据表)的表名；列名记载的是该数据表中从维度值所在的列名；计算逻辑字段记载的是数据服务对应的预设计算逻辑。

根据所述请求参数(数据服务名称)确定路由信息时，获取的是该数据服务名称匹配的数据记录(下文叙述为匹配记录)，该匹配记录记载了数据服务名称对应的关键字段值，在根据请求参数中的主维度值查询所述目标数据表时，在目标数据表中匹配所述主维度值，匹配成功后，查询该主维度值对应的所有从维度值，即根据上述匹配记录中记载的列名，获取该列名下记录的对应所述主维度值的值，形成从维度数据包，再根据数据记录中的计算逻辑解析所述从维度数据包，即根据计算逻辑调用相应算法对从维度数据包的所有从维度值进行逻辑计算，得到的逻辑计算结果即为目标从维度值，此时根据数据记录中的从维度字段，返回目标从维度值，若从维度字段为设备号，返回目标从维度值时，返回的是设备号+目标从维度值，表示为设备号＝目标从维度值或设备号：目标从维度值。

在此对上述关联数据查询方法进行举例说明：

设请求参数为(15869108888，oneid_m_d_value_maxUseCount)。

首先，根据请求参数中的数据服务名称oneid_m_d_value_maxUseCount在路由表中查询匹配记录，得到的匹配记录如下：

根据上述匹配记录，可以确定目标数据表为：

RES_ONEID_MOBILE_DEVICEID_M_T_V2，

然后，在上述目标数据表中，根据主维度值15869108888查询匹配的所有从维度值，形成从维度数据包，即在列名为Deviceid_index的列中获取与所述主维度值对应的所有数据，形成从维度数据包。

最后根据上述匹配记录中的计算逻辑，即maxUseCount，对从维度数据包的从维度值进行逻辑运算，得到目标从维度值为123，根据上述匹配记录中的从维度字段的名为deviceid，返回目标从维度deviceid＝123。业务层面上则表示为：通过手机号15869108888获取6个月使用次数最多的deviceid为123。

优选地，上述路由表通过以下步骤构建：

数据上线前，获取离线数据，该离线数据包括用户主动上报的海量数据以及从其他渠道采集的数据，其中离线数据包括不同维度的值、不同的应用场景、不同的发生时间等。

对所述离线数据进行分析，确定离线数据中维度和维度之间的不同逻辑关系，得到维度与维度之间的关联关系，即根据一个维度的值可以确定另一个维度的值。

比如某用户在某一天上报的数据为：

1)手机号码15869108888，设备号码为123，场景为借款场景，发生时间为2019-02-03 18:00:00；

2)手机号码15869107777，设备号码为123，场景为借款场景，发生时间为2019-02-03 19:00:00；

3)手机号码15869107777，设备号码为123，场景为借款场景，发生时间为2019-02-03 20:00:00；

4)手机号码15869106666，设备号码为123，场景为借款场景，发生时间为2019-02-03 21:00:00；

通过离线数据分析，得出可以得出该设备号在2019年2月3日发生4笔借款行为，Hbase数据库中沉淀的业务数据可以是：(15869107777，123)，即可理解为：key是15869107777，value是123，通过key的值能得到对应的value值，则电话号码(维度)与设备号(维度)关联，得到维度与维度之间的关联关系。

根据维度与维度之间的关联关系，将维度关联的数据存入维度关联数据表后，导入数据库。将维度关联的数据存入维度关联数据表，具体为：通过键值对的方式存储业务数据，即将主维度值和对应的从维度值进行逐条存储。

需要注意的是，如何对离线数据进行挖掘不是实现本发明的目的关键，因此不限定离线数据的来源和分析挖掘方法，只要能通过分析挖掘能得到维度关联的数据表即可。

在数据上线前，还需要对数据查询逻辑进行标准化处理，以完成对业务抽象，得到抽象结果可表示为：xx主维度值查询xx逻辑的xx从维度值。

根据所述抽象结果构建路由表，预先定义所述路由表的关键字段，预先定义的关键字段包括数据服务名称、描述、主维度字段、从维度字段、表名、列名、计算逻辑字段，具体地，根据所述抽象结果定义数据服务名称的值，以所述抽象结果作为描述的值，根据主维度确定主维度字段的值，根据从维度确定从维度字段的值，根据抽象结果中的计算逻辑定义算法，将算法名称作为计算逻辑字段的值。按照路由表的关键字段，将所述数据库中存储的维度关联数据表的信息插入路由表中，形成若干条数据记录。所述插入的数据包括：具体维度关联数据表的表名、从维度值所在的列名；将表名和列名插入到主维度名和从维度名匹配的数据记录中。

优选地，对于数据库中新增的维度关联数据表，只需要提取表的表名、从维度所在列名作为一条记录插入路由表中，即可实现数据自动上线，从而对外提供数据查询服务，无需二次开发数据库。

本实施例中所提及的路由表为MySQL表，所提及的数据库为Hbase，则上述目标数据表为Hbase表，Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可搭建大规模结构化存储集群。当然，在本发明的其他实施例中，也可采用其他分布式存储系统或ORACLE、SQL server等数据库替代Hbase数据库，以对维度关联数据表进行存储，数据库的选用不会影响本发明关联数据查询方法的执行，因此不对数据库作具体限定。

实施例2

本实施例公开了一种对应实施例1的关联数据查询方法的关联数据查询装置，为虚拟结构装置，如图2所示，包括：

数据接收模块210，用于接收请求参数，根据所述请求参数确定路由信息；

数据查询模块220，用于根据所述路由信息，查询所述请求参数中的主维度值对应的从维度数据，得到从维度数据包；

数据解析模块230，用于调用预设的计算逻辑解析所述从维度数据包，得到目标从维度值；

数据返回模块240，用于返回所述目标从维度值。

优选地，所述请求参数包括主维度值和数据服务名称，所述数据接收模块210根据所述请求参数确定路由信息，具体为：具体为：根据所述请求参数中的数据服务名称查询路由表，获取与所述服务名称匹配的数据记录，得到路由信息。

优选地，所述路由信息包括：数据服务名称、描述、主维度名、从维度名、表名、列名、预设的计算逻辑。

优选地，数据查询模块220根据所述路由信息，查询所述请求参数中的主维度值对应的从维度数据，得到从维度数据包，具体包括以下步骤：

根据所述路由信息中的表名，确定目标数据表；

根据所述路由信息中的列名，从所述目标数据表中查询与所述主维度值对应的所有从维度值，形成从维度数据包。

实施例3

图3为本发明实施例3提供的一种电子设备的结构示意图，如图3所示，该电子设备包括处理器310、存储器320、输入装置330和输出装置340；计算机设备中处理器310的数量可以是一个或多个，图3中以一个处理器310为例；电子设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线连接为例。

存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的关联数据查询方法对应的程序指令/模块(例如，关联数据查询装置中的数据接收模块210、数据查询模块220、数据解析模块230和数据返回模块240)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现实施例1的关联数据查询方法。

存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可用于接收请求参数等。输出装置340用于显示查询结果。

在具体应用中，本实施例所提及的电子设备可以数据库服务器。

实施例4

本发明实施例4还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于实现关联数据查询方法，该方法包括：

接收请求参数，根据所述请求参数确定路由信息；

根据所述路由信息，查询所述请求参数中的主维度值对应的从维度数据，得到从维度数据包；

调用预设的计算逻辑解析所述从维度数据包，得到目标从维度值；

返回所述目标从维度值。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的关联数据查询方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述关联数据查询方法或装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (6)

1.一种关联数据查询方法，其特征在于，包括以下步骤：

接收请求参数，根据所述请求参数确定路由信息，所述请求参数包括主维度值和数据服务名称，其中根据所述请求参数确定路由信息，具体为：根据所述请求参数中的数据服务名称查询路由表，获取与所述服务名称匹配的数据记录，得到路由信息；所述路由信息包括：数据服务名称、描述、主维度名、从维度名、表名、列名、预设的计算逻辑；

根据所述路由信息，查询所述请求参数中的主维度值对应的从维度数据，得到从维度数据包，包括：

根据所述路由信息中的表名，确定目标数据表；

根据所述路由信息中的列名，从所述目标数据表中查询与所述主维度值对应的所有从维度值，形成从维度数据包；

调用预设的计算逻辑解析所述从维度数据包，得到目标从维度值，其中调用预设的计算逻辑解析所述从维度数据包，具体为：根据所述路由信息中的预设计算逻辑，调用相应算法对所述从维度数据包中的从维度数据进行计算；

返回所述目标从维度值。

2.如权利要求1所述的关联数据查询方法，其特征在于，所述路由表通过以下步骤构建：

通过预先定义的关键字段建立路由表；

从数据库中获取维度关联数据表，获取所述维度关联数据表的表名和从维度所在的列名；

将提取到的表名和从维度所在的列名插入所述路由表的相应字段下，形成路由表的数据记录。

3.如权利要求2所述的关联数据查询方法，其特征在于，当所述数据库中新增维度关联数据表时，获取新增的维度关联数据表的表名和从维度所在的列名，在所述路由表中插入新数据记录。

4.一种关联数据查询装置，其特征在于，包括：

数据接收模块，用于接收请求参数，根据所述请求参数确定路由信息，所述请求参数包括主维度值和数据服务名称，其中根据所述请求参数确定路由信息，具体为：根据所述请求参数中的数据服务名称查询路由表，获取与所述服务名称匹配的数据记录，得到路由信息；所述路由信息包括：数据服务名称、描述、主维度名、从维度名、表名、列名、预设的计算逻辑；

数据查询模块，用于根据所述路由信息，查询所述请求参数中的主维度值对应的从维度数据，得到从维度数据包，包括：

根据所述路由信息中的表名，确定目标数据表；

根据所述路由信息中的列名，从所述目标数据表中查询与所述主维度值对应的所有从维度值，形成从维度数据包；

数据解析模块，用于调用预设的计算逻辑解析所述从维度数据包，得到目标从维度值，其中调用预设的计算逻辑解析所述从维度数据包，具体为：根据所述路由信息中的预设计算逻辑，调用相应算法对所述从维度数据包中的从维度数据进行计算；

数据返回模块，用于返回所述目标从维度值。

5.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3任一项所述的关联数据查询方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3任一项所述的关联数据查询方法。

Images