CN113806373A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113806373A
CN113806373A CN202111155536.7A CN202111155536A CN113806373A CN 113806373 A CN113806373 A CN 113806373A CN 202111155536 A CN202111155536 A CN 202111155536A CN 113806373 A CN113806373 A CN 113806373A
Authority
CN
China
Prior art keywords
data
data table
identifier
target
caller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111155536.7A
Other languages
English (en)
Other versions
CN113806373B (zh
Inventor
陈霁旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202111155536.7A priority Critical patent/CN113806373B/zh
Publication of CN113806373A publication Critical patent/CN113806373A/zh
Application granted granted Critical
Publication of CN113806373B publication Critical patent/CN113806373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及信息处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。本发明的数据处理方法、装置、电子设备及存储介质，为每个调用方建立专属的Hbase数据表，并将表征调用方身份的用户标识和表征Hbase数据表的数据表标识建立关联关系；将数据表标识和对应的数据表建立关联关系；数据查询时，根据用户标识和数据表标识的关联关系判断调用方是否有访问权限，根据数据表标识确定查询的数据表，根据查询关键词确定对应目标字段，同时实现了数据的查询和访问权限的确认，避免出现两个或两个以上调用方同时访问同一数据表的情形出现，在确定待访问的目标数据表时也无需设置复杂的查询语句，加快了数据表查询速度和精确度。

Description

数据处理方法、装置、电子设备及存储介质
【技术领域】
本发明涉及信息处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
【背景技术】
现有技术中数据中台将不同调用方的数据集中到一个或若干个Hbase数据表中进行维护，该Hbase数据表具有高度耦合性，当出现两个或以上调用方同时访问同一Hbase数据表时，为了准确响应不同调用方的请求，需要根据数据查询请求中的参数编辑复杂的查询语句，同时数据中台需要建立索引机制，查询语句与索引机制相结合才能准确查询到对应数据，不利于数据查询速度的提高，同时，需要另外对调用方的访问权限进行确认。
【发明内容】
本发明的目的在于提供一种数据处理方法、装置、电子设备及存储介质，以解决现有技术中需要编辑复杂的查询语句导致不利于提高数据查询速度的技术问题。
本发明的技术方案如下：提供一种数据处理方法，包括：
获取调用方发送的数据查询请求，其中，所述数据查询请求包括用户标识、数据表标识以及查询关键字；
根据预先存储的第一映射表判断所述用户标识对应的调用方对所述数据表标识对应的目标数据表是否有访问权限，得到第一判断结果，其中，所述第一映射表用于记录所述用户标识和所述数据表标识的关联关系；
若第一判断结果为是，则根据预先存储的第二映射表确定与所述数据表标识对应的目标数据表，其中，所述第二映射表用于记录所述数据表标识和存储于Hbase中的数据表的名称的关联关系；
根据所述查询关键字获取所述目标数据表的目标查询字段，根据所述目标查询字段在所述目标数据表中获取对应的目标数据；
向所述调用方发送所述目标数据。
可选地，所述向所述调用方发送所述目标数据之前，还包括：
获取所述目标数据表的元数据信息，根据所述元数据信息判断所述用户标识对应的调用方对所述目标查询字段是否有访问权限，得到第二判断结果，其中，所述元数据信息包括所述用户标识对应的调用方对所述数据表中每个字段的访问权限；
根据所述第二判断结果，将所述目标数据中所述用户标签对应的调用方无权访问的数据进行过滤。
可选地，所述获取调用方发送的数据查询请求之前，还包括：
在Hbase中创建与调用方对应的初始数据表；
将数据源表中与所述调用方相关的各字段以及所述字段对应的数据导入所述调用方的初始数据表，得到所述调用方专属的数据表；
创建每个所述数据表的数据表标识以及每个所述调用方的用户标识；
创建第一映射表和第二映射表，其中，所述第一映射表用于记录所述用户标识和所述数据表标识之间的关联关系，所述第二映射表用于记录所述数据表的名称和所述数据表标识之间的关联关系。
可选地，所述创建每个所述数据表的数据表标识以及每个所述调用方的用户标识之前，还包括：
生成所述数据表的元数据信息，所述元数据信息包括所述调用方对所述数据表中每个字段的访问权限。
可选地，所述创建第一映射表和第二映射表之后，还包括：
接收数据同步指令，其中，所述数据同步指令包括数据表标识以及数据源表的存储标识；
根据所述存储标识获取所述数据源表，根据所述数据表标识从所述第二映射表中查询待更新的数据表的名称，根据查询的所述数据表的名称获取待更新的数据表；
创建新数据表，在所述新数据表中写入所述待更新的数据表的对应字段，在所述数据源表中获取所述新数据表中每个字段的对应数据，将所获取的数据写入所述新数据表中；
将所述待更新的数据表的名称和所述数据表标识之间的关联关系从所述第二映射表中删除，在所述第二映射表中写入所述新数据表的名称和所述数据表标识之间的关联关系。
可选地，所述创建新数据表之后，还包括：
根据所述数据表标识和当前日期生成所述新数据表的名称。
可选地，所述向所述调用方发送所述目标数据之后，还包括：
接收维护方发送的数据维护指令，其中，所述数据维护指令包括用户标识以及数据表标识修改信息；
根据所述用户标识从所述第一映射表中查询待修改的数据表标识；
将所述用户标识和查询所得待修改的数据表标识之间的关联关系从所述第一映射表中删除，在所述第一映射表中写入所述用户标识和所述数据表标识修改信息之间的关联关系；
将数据表的名称和所述查询所得待修改的数据表标识之间的关联关系从所述第二映射表中删除，在所述第二映射表中写入所述数据表的名称和所述数据表标识修改信息之间的关联关系。
本发明的另一技术方案如下：提供一种数据处理装置，包括：
请求获取模块，用于获取调用方发送的数据查询请求，其中，所述数据查询请求包括用户标识、数据表标识以及查询关键字；
权限确认模块，用于根据预先存储的第一映射表判断所述用户标识对应的调用方对所述数据表标识对应的目标数据表是否有访问权限，得到第一判断结果，其中，所述第一映射表用于记录所述用户标识和所述数据表标识的关联关系；
目标识别模块，用于若第一判断结果为是，则根据预先存储的第二映射表确定与所述数据表标识对应的目标数据表，其中，所述第二映射表用于记录所述数据表标识和存储于Hbase中的数据表的名称的关联关系；
数据获取模块，用于根据所述查询关键字获取所述目标数据表的目标查询字段，根据所述目标查询字段在所述目标数据表中获取对应的目标数据；
结果发送模块，用于向所述调用方发送所述目标数据。
本发明的另一技术方案如下：提供一种电子设备，包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有可被所述处理器执行的程序指令；所述处理器执行所述存储器存储的所述程序指令时实现上述的数据处理方法。
本发明的另一技术方案如下：提供一种存储介质，所述存储介质内存储有程序指令，所述程序指令被处理器执行时实现上述的数据处理方法。
本发明的数据处理方法、装置、电子设备及存储介质，为每个调用方建立专属的Hbase数据表，并将表征调用方身份的用户标识和表征Hbase数据表的数据表标识建立关联关系；将数据表标识和对应的数据表建立关联关系；调用方进行数据查询时，根据数据查询请求中的用户标识和数据表标识是否有关联关系判断调用方对待查询的数据表是否有访问权限，再根据数据表标识确定查询的数据表，最后根据数据查询请求中查询关键词确定对应目标字段，无需另外接入权限系统或安全系统进行访问权限控制，同时实现了数据的查询和访问权限的确认，避免出现两个或两个以上调用方同时访问同一数据表的情形出现，在确定待访问的目标数据表时也无需设置复杂的查询语句，加快了数据表查询速度和精确度。
【附图说明】
图1为本发明第一实施例的数据处理方法的流程示意图；
图2为本发明第一实施例的数据处理方法的应用环境图；
图3为本发明第二实施例的数据处理装置的结构示意图；
图4为本发明第三实施例的电子设备的结构示意图；
图5为本发明第四实施例的存储介质的结构示意图。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的数据处理方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该数据处理方法包括步骤：
S101，获取调用方发送的数据查询请求，其中，所述数据查询请求包括用户标识、数据表标识以及查询关键字。
其中，用户标识用于表征调用方，调用方可以是应用平台，例如，金管家、查询工具、数据挖掘工具、A分析平台、B展示平台等；调用方在进行业务计算或指标分析时需要调用存储在Hbase中的数据表中数据。数据表标识用于表征存储在Hbase中的不同数据表；查询关键字用于表征待查询的字段；在本实施例中，数据查询请求是由调用方发送至本实施例数据处理方法的执行主体的。在一个可选的实施方式中，用户标识可以为调用方的名称。
在本实施例中，存储在Hbase中的数据表是根据调用方的需求建立的，并不是按照数据源的表结构为基础创建的，在创建每个调用方专属的数据表时，为每个调用方创建一个初始数据表；将数据源表中与所述调用方相关的各字段以及所述字段对应的数据写入所述调用方的初始数据表中，得到每个调用方专属的数据表。具体地，以保险领域为例，一个字段(标签)代表一个属性，将字段按其属性划分，可以分为保单属性(保单号、保单类型、用户缴费方式、保险期限、当期缴费期限、当期缴费额度等)、用户属性(用户姓名、用户年龄、用户职业、电话营销接受率等)、业务交易属性(保险代理人、购买渠道、所属地区等)、各项指标属性(保单当期续保率、保单当期赔付率、准时缴纳保费率等)。
其中，不同数据表中的字段可能重复，例如，针对调用方A的数据表A1中包括字段a、字段b和字段c，调用方B的数据表B1中也包括字段a、字段b和字段c，在写入数据时，数据源表中字段a的数据、字段b的数据和字段c的数据要分别写入数据表A1和数据表B1，实现了数据表的解耦，当调用方A和调用方B同时发出对字段a的数据的查询请求时，调用方A查询数据表A1中字段a1的数据，调用方B查询数据表B1中字段a1的数据，无需另外设置查询条件。
在一个可选的实施方式中，步骤S101之前，还包括如下步骤：
S201，在Hbase中创建与调用方对应的初始数据表；
其中，初始数据表即为Hbase数据表，在Hbase数据库或Hbase集群中为每个调用方创建一个或多个专属的数据表，在后续进行数据查询时，不同调用方从各自的专属的数据表中查询及获取数据，将现有技术中高度耦合的Hbase数据表进行解耦。
S202，将数据源表中与所述调用方相关的各字段以及所述字段对应的数据导入所述调用方的初始数据表，得到所述调用方专属的数据表。
其中，数据源表可以为Hive表，在初始数据表中仅写入与调用方相关的字段和数据，Hbase中每一数据表均指向单一的调用方，不会出现两个调用方同时访问同一数据表的情形。
S203，创建每个所述数据表的数据表标识以及每个所述调用方的用户标识。
S204，创建第一映射表和第二映射表，其中，所述第一映射表用于记录所述用户标识和所述数据表标识之间的关联关系，所述第二映射表用于记录所述数据表的名称和所述数据表标识之间的关联关系。
其中，第一映射表和第二映射表可以存储于Redis集群中。
在本实施例中，数据查询请求为用户标识、数据表标识以及查询关键字的组合，数据查询请求并未包含复杂的查询语句。
S102，根据预先存储的第一映射表判断所述用户标识对应的调用方对所述数据表标识对应的目标数据表是否有访问权限，得到第一判断结果，其中，所述第一映射表用于记录所述用户标识和所述数据表标识的关联关系。
其中，由于Hbase中的每个数据表为对应调用方的专属数据表，基于调用方与数据表的对应关系可以直接判断该调用方能否访问对应数据表，无需设置复杂的SQL语句，也无需访问其他权限数据库或安全数据库。
在本步骤中，第一映射表记录有用户标识和数据表标识的关联关系，根据第一映射表可以判断数据查询请求中的用户标识和数据表标识是否对应同一个调用方，具体地，获取所述用户标识的在所述第一映射表中的关联数据表标识；判断所述数据查询请求中的数据表标识与获取的关联数据表标识是否一致；若一致，则判断所述用户标识对应的调用方对所述数据表标识对应的目标数据表有访问权限；若不一致，则判断所述用户标识对应的调用方对所述数据表标识对应的目标数据表无访问权限。
S103，若第一判断结果为是，则根据预先存储的第二映射表确定与所述数据表标识对应的目标数据表，其中，所述第二映射表用于记录所述数据表标识和存储于Hbase中的数据表的名称的关联关系；
其中，当所述用户标识对应的调用方对所述数据表标识对应的目标数据表有访问权限时，根据所述数据查询请求中数据表标识确定待访问的目标数据表，由于在本实施例中，第二映射表记录有数据表标识和数据表的名称的关联关系，根据第二映射表可以确定待访问的数据表的名称进而确定待访问的数据表，具体地，获取所述数据表标识在所述第二映射表中的关联数据表的名称；根据获取的关联数据不要的名称确定所述数据表标识对应的目标数据表。
在本实施例中，由于设置了数据表标识，通过数据表识别一方面对应调用方、另一方面对应数据表，在确定待访问的目标数据表时也无需设置复杂的SQL语句。
S104，根据所述查询关键字获取所述目标数据表的目标查询字段，根据所述目标查询字段在所述目标数据表中获取对应的目标数据；
其中，确定待访问的目标数据表后，将数据查询请求中查询关键字与目标数据表的各字段(行健)进行匹配，与查询关键字成功匹配的字段即为目标查询字段，该目标查询字段在目标数据表中所在行或所在列的数据即为目标数据。在本步骤中，可以将目标数据分别存储为JSON格式的目标数据文件，以增加API接口的复用性，不同的调用方共用一个API接口发送数据查询请求以及接收返回的目标数据文件，相应地，数据查询请求也可以生成为JSON格式的数据。
S105，向所述调用方发送所述目标数据。
其中，生成目标数据之后可以直接发送至对应的调用方。在一个可选的实施方式中，也可以进一步地对目标数据进行过滤，然后再向调用方发送，具体地，步骤S105之前进一步包括：
S301，获取所述目标数据表的元数据信息，根据所述元数据信息判断所述用户标识对应的调用方对所述目标查询字段是否有访问权限，得到第二判断结果，其中，所述元数据信息包括所述用户标识对应的调用方对所述数据表中每个字段的访问权限；
其中，从目标数据表中获取目标数据后，返回目标数据至对应调用方之前，要对目标数据进行过滤，在本实施例中，为了实现数据的快速查询，根据用户标识只能确定调用方对数据表的访问权限，在数据表中有些数据为敏感数据，如涉及客户身份信息或隐私信息的数据(证件号码、是否患有某疾病、通信地址等)，某些调用方无权访问该敏感数据，于是，在本实施例中，在每个数据表的元数据信息中记录调用方对数据表中每个字段的访问权限，例如，金管家对每个字段均具有访问权限，数据挖掘工具对敏感数据对应的字段没有访问权限、对非敏感数据对应的字段有访问权限。具体地，从所述元数据信息中获取各所述目标查询字段的权限标签；根据所述目标查询字段的权限标签判断所述用户标识对应的调用方对所述目标查询字段是否有访问权限，生成第二判断结果；其中，权限标签为有权限或无权限。在本实施例中，Hbase中各数据表的元数据信息也可以存储于Redis集群，当进行数据查询时，从Redis集群获取对应的元数据信息进行验证。
S302，根据所述第二判断结果，将所述目标数据中所述用户标签对应的调用方无权访问的数据进行过滤。
其中，将无访问权限的目标查询字段对应的数据从目标数据中删除，以完成目标数据的过滤。在步骤S105中，将过滤后的目标数据返回至发送数据查询请求的调用方。相应地，在Hbase中各数据表的创建过程中，在步骤S203之前，还包括如下步骤：生成所述数据表的元数据信息，所述元数据信息包括所述调用方对所述数据表中每个字段的访问权限。
在一个可选的实施方式中，当数据源表进行了更新，需要对Hbase的各数据表进行同步更新，在步骤S105之后，还包括如下步骤：
S401，接收数据同步指令，其中，所述数据同步指令包括数据表标识以及数据源表的存储标识；
其中，存储标识可以是数据源表所在位置的存储地址，根据存储标识可以获取对应的数据源表，数据源表会定期进行更新，数据源表更新后需要将Hbase中每个数据表进行同步更新，针对每个数据表生成对应的数据同步指令。
S402，根据所述存储标识获取所述数据源表，根据所述数据表标识从所述第二映射表中查询待更新的数据表的名称，根据查询的所述数据表的名称获取待更新的数据表；
S403，创建新数据表，在所述新数据表中写入所述待更新的数据表的对应字段，在所述数据源表中获取所述新数据表中每个字段的对应数据，将所获取的数据写入所述新数据表中；
其中，针对每个数据表进行同步更新时，避免向旧表中插入数据，而是创建一张新数据表，在新数据表中重新写入与调用方相关字段的数据。进一步地，在创建新数据表后、在新数据表中写入数据之前，根据所述数据表标识和当前日期生成所述新数据表的名称，其中，当前日期即为新数据表的创建日期，将数据表标识和创建日期作为生成新数据表的名称的元素，有利于后期对指向同一数据标识的不同数据表进行管理。
S404，将所述待更新的数据表的名称和所述数据表标识之间的关联关系从所述第二映射表中删除，在所述第二映射表中写入所述新数据表的名称和所述数据表标识之间的关联关系；
其中，当新数据表重新写入数据后，解除旧表与数据表标识之间的关联关系，重新建立新数据表和数据表标识之间的关联关系，以完成数据同步过程。具体地，数据表的名称可以由数据表标识和创建日期组成，例如，数据表标识为ICMP_TABLE，旧表的名称为ICMP_TABLE20210823，新数据表的名称为ICMP_TABLE20210824，数据表标识仅与最新创建的数据表建立关联关系。数据表的元数据信息不变，旧表和新表共享一个元数据信息。
在一个可选的实施方式中，数据表标识只有维护方有权限进行修改，当维护方对数据表标识进行修改后，需要同时修改第一映射表和第二映射表中的关联关系，在步骤S105之后，还包括如下步骤：
S501，接收维护方发送的数据维护指令，其中，所述数据维护指令包括用户标识以及数据表标识修改信息；
其中，维护方具有管理管的权限，能够对用户标识和数据表标识的关联关系以及元数据信息中调用方对各字段的访问权限进行管理，在本步骤中，维护指令包括数据表标识修改信息。
S502，根据所述用户标识从所述第一映射表中查询待修改的数据表标识；
S503，将所述用户标识和查询所得待修改的数据表标识之间的关联关系从所述第一映射表中删除，在所述第一映射表中写入所述用户标识和所述数据表标识修改信息之间的关联关系；
其中，先解除用户标识与原数据表标识之间的关联关系，再重新建立用户标识与数据表标识修改信息(新数据表标识)之间的关联关系。
S504，将数据表的名称和所述查询所得待修改的数据表标识之间的关联关系从所述第二映射表中删除，在所述第二映射表中写入所述数据表的名称和所述数据表标识修改信息之间的关联关系；
其中，先解除当前数据表的名称与原数据表标识之间的关联关系，再重新建立当前数据表的名称与数据表标识修改信息(新数据表标识)之间的关联关系。
本实施例提供的数据处理方法可以应用于图2所示的应用环境中，调用方的数据表存储于Hbase集群中，第一映射表、第二映射表以及各数据表的元数据信息存储于Redis集群中，Hbase洞察平台用于执行上述数据处理方法，Hbase洞察平台包括与Hbase集群交互的Hbase模块、设置于Hbase洞察平台上的API接口、洞察模块以及DATABUS模块，其中，调用方通过该API接口向Hbase洞察平台发送数据查询请求；该洞察模块与API接口和Redis集群分别连接，从Redis集群查询关联关系以及元数据信息；DATABUS模块分别与Hbase模块和Redis集群连接，维护方通过DATABUS模块进行数据表标识修改以及维护Hbase集群中的数据表。
进一步地，在图2所示应用环境中，洞察平台可以基于人工智能进行构建，基于人工智能技术对相关的数据进行获取和处理，实现无人值守的人工智能数据查询及数据维护。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
图3是本发明第二实施例的数据处理装置的结构示意图。如图3所示，该数据处理装置30包括请求获取模块31、权限确认模块32、目标识别模块33、数据获取模块34以及结果发送模块35，其中，请求获取模块31，用于获取调用方发送的数据查询请求，其中，所述数据查询请求包括用户标识、数据表标识以及查询关键字；权限确认模块32，用于根据预先存储的第一映射表判断所述用户标识对应的调用方对所述数据表标识对应的目标数据表是否有访问权限，得到第一判断结果，其中，所述第一映射表用于记录所述用户标识和所述数据表标识的关联关系；目标识别模块33，用于若第一判断结果为是，则根据预先存储的第二映射表确定与所述数据表标识对应的目标数据表，其中，所述第二映射表用于记录所述数据表标识和存储于Hbase中的数据表的名称的关联关系；数据获取模块34，用于根据所述查询关键字获取所述目标数据表的目标查询字段，根据所述目标查询字段在所述目标数据表中获取对应的目标数据；结果发送模块35，用于向所述调用方发送所述目标数据。
进一步地，该结果发送模块35还用于获取所述目标数据表的元数据信息，根据所述元数据信息判断所述用户标识对应的调用方对所述目标查询字段是否有访问权限，得到第二判断结果，其中，所述元数据信息包括所述用户标识对应的调用方对所述数据表中每个字段的访问权限；根据所述第二判断结果，将所述目标数据中所述用户标签对应的调用方无权访问的数据进行过滤。
进一步地，该数据处理装置30还包括创建模块，该创建模块用于在Hbase中创建与调用方对应的初始数据表；将数据源表中与所述调用方相关的各字段以及所述字段对应的数据导入所述调用方的初始数据表，得到所述调用方专属的数据表；创建每个所述数据表的数据表标识以及每个所述调用方的用户标识；创建第一映射表和第二映射表，其中，所述第一映射表用于记录所述用户标识和所述数据表标识之间的关联关系，所述第二映射表用于记录所述数据表的名称和所述数据表标识之间的关联关系。
更进一步地，该创建模块还用于生成所述数据表的元数据信息，所述元数据信息包括所述调用方对所述数据表中每个字段的访问权限。
进一步地，该数据处理装置30还包括数据同步模块，该数据同步模块用于接收数据同步指令，其中，所述数据同步指令包括数据表标识以及数据源表的存储标识；根据所述存储标识获取所述数据源表，根据所述数据表标识从所述第二映射表中查询待更新的数据表的名称，根据查询的所述数据表的名称获取待更新的数据表；创建新数据表，在所述新数据表中写入所述待更新的数据表的对应字段，在所述数据源表中获取所述新数据表中每个字段的对应数据，将所获取的数据写入所述新数据表中；将所述待更新的数据表的名称和所述数据表标识之间的关联关系从所述第二映射表中删除，在所述第二映射表中写入所述新数据表的名称和所述数据表标识之间的关联关系。
更进一步地，该数据同步模块还用于根据所述数据表标识和当前日期生成所述新数据表的名称。
进一步地，该数据处理装置30还包括数据维护模块，该数据维护模块用于接收维护方发送的数据维护指令，其中，所述数据维护指令包括用户标识以及数据表标识修改信息；根据所述用户标识从所述第一映射表中查询待修改的数据表标识；将所述用户标识和查询所得待修改的数据表标识之间的关联关系从所述第一映射表中删除，在所述第一映射表中写入所述用户标识和所述数据表标识修改信息之间的关联关系；将数据表的名称和所述查询所得待修改的数据表标识之间的关联关系从所述第二映射表中删除，在所述第二映射表中写入所述数据表的名称和所述数据表标识修改信息之间的关联关系。
图4是本发明第三实施例的电子设备的结构示意图。如图4所示，该电子设备40包括处理器41及和处理器41耦接的存储器42。
存储器42存储有用于实现上述任一实施例的所述数据处理方法的程序指令。
处理器41用于执行存储器42存储的程序指令以进行数据处理。
其中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图5，图5为本发明第四实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序指令51，所述存储介质可以是非易失性，也可以是易失性。其中，该程序指令51可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。
以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
获取调用方发送的数据查询请求，其中，所述数据查询请求包括用户标识、数据表标识以及查询关键字；
根据预先存储的第一映射表判断所述用户标识对应的调用方对所述数据表标识对应的目标数据表是否有访问权限，得到第一判断结果，其中，所述第一映射表用于记录所述用户标识和所述数据表标识的关联关系；
若第一判断结果为是，则根据预先存储的第二映射表确定与所述数据表标识对应的目标数据表，其中，所述第二映射表用于记录所述数据表标识和存储于Hbase中的数据表的名称的关联关系；
根据所述查询关键字获取所述目标数据表的目标查询字段，根据所述目标查询字段在所述目标数据表中获取对应的目标数据；
向所述调用方发送所述目标数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述向所述调用方发送所述目标数据之前，还包括：
获取所述目标数据表的元数据信息，根据所述元数据信息判断所述用户标识对应的调用方对所述目标查询字段是否有访问权限，得到第二判断结果，其中，所述元数据信息包括所述用户标识对应的调用方对所述数据表中每个字段的访问权限；
根据所述第二判断结果，将所述目标数据中所述用户标签对应的调用方无权访问的数据进行过滤。
3.根据权利要求1所述的数据处理方法，其特征在于，所述获取调用方发送的数据查询请求之前，还包括：
在Hbase中创建与调用方对应的初始数据表；
将数据源表中与所述调用方相关的各字段以及所述字段对应的数据导入所述调用方的初始数据表，得到所述调用方专属的数据表；
创建每个所述数据表的数据表标识以及每个所述调用方的用户标识；
创建第一映射表和第二映射表，其中，所述第一映射表用于记录所述用户标识和所述数据表标识之间的关联关系，所述第二映射表用于记录所述数据表的名称和所述数据表标识之间的关联关系。
4.根据权利要求3所述的数据处理方法，其特征在于，所述创建每个所述数据表的数据表标识以及每个所述调用方的用户标识之前，还包括：
生成所述数据表的元数据信息，所述元数据信息包括所述调用方对所述数据表中每个字段的访问权限。
5.根据权利要求3或4所述的数据处理方法，其特征在于，所述创建第一映射表和第二映射表之后，还包括：
接收数据同步指令，其中，所述数据同步指令包括数据表标识以及数据源表的存储标识；
根据所述存储标识获取所述数据源表，根据所述数据表标识从所述第二映射表中查询待更新的数据表的名称，根据查询的所述数据表的名称获取待更新的数据表；
创建新数据表，在所述新数据表中写入所述待更新的数据表的对应字段，在所述数据源表中获取所述新数据表中每个字段的对应数据，将所获取的数据写入所述新数据表中；
将所述待更新的数据表的名称和所述数据表标识之间的关联关系从所述第二映射表中删除，在所述第二映射表中写入所述新数据表的名称和所述数据表标识之间的关联关系。
6.根据权利要求5所述的数据处理方法，其特征在于，所述创建新数据表之后，还包括：
根据所述数据表标识和当前日期生成所述新数据表的名称。
7.根据权利要求1所述的数据处理方法，其特征在于，所述向所述调用方发送所述目标数据之后，还包括：
接收维护方发送的数据维护指令，其中，所述数据维护指令包括用户标识以及数据表标识修改信息；
根据所述用户标识从所述第一映射表中查询待修改的数据表标识；
将所述用户标识和查询所得待修改的数据表标识之间的关联关系从所述第一映射表中删除，在所述第一映射表中写入所述用户标识和所述数据表标识修改信息之间的关联关系；
将数据表的名称和所述查询所得待修改的数据表标识之间的关联关系从所述第二映射表中删除，在所述第二映射表中写入所述数据表的名称和所述数据表标识修改信息之间的关联关系。
8.一种数据处理装置，其特征在于，包括：
请求获取模块，用于获取调用方发送的数据查询请求，其中，所述数据查询请求包括用户标识、数据表标识以及查询关键字；
权限确认模块，用于根据预先存储的第一映射表判断所述用户标识对应的调用方对所述数据表标识对应的目标数据表是否有访问权限，得到第一判断结果，其中，所述第一映射表用于记录所述用户标识和所述数据表标识的关联关系；
目标识别模块，用于若第一判断结果为是，则根据预先存储的第二映射表确定与所述数据表标识对应的目标数据表，其中，所述第二映射表用于记录所述数据表标识和存储于Hbase中的数据表的名称的关联关系；
数据获取模块，用于根据所述查询关键字获取所述目标数据表的目标查询字段，根据所述目标查询字段在所述目标数据表中获取对应的目标数据；
结果发送模块，用于向所述调用方发送所述目标数据。
9.一种电子设备，其特征在于，包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有可被所述处理器执行的程序指令；所述处理器执行所述存储器存储的所述程序指令时实现如权利要求1～7中任一项所述的数据处理方法。
10.一种存储介质，其特征在于，所述存储介质内存储有程序指令，所述程序指令被处理器执行时实现如权利要求1～7中任一项所述的数据处理方法。
CN202111155536.7A 2021-09-29 2021-09-29 数据处理方法、装置、电子设备及存储介质 Active CN113806373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111155536.7A CN113806373B (zh) 2021-09-29 2021-09-29 数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111155536.7A CN113806373B (zh) 2021-09-29 2021-09-29 数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113806373A true CN113806373A (zh) 2021-12-17
CN113806373B CN113806373B (zh) 2024-07-26

Family

ID=78938863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111155536.7A Active CN113806373B (zh) 2021-09-29 2021-09-29 数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113806373B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116881953A (zh) * 2023-09-07 2023-10-13 北京鲸鹳科技有限公司 一种基于虚拟空间的数据隔离方法、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030154197A1 (en) * 2002-02-13 2003-08-14 Permutta Technologies Flexible relational data storage method and apparatus
CN109669980A (zh) * 2018-12-21 2019-04-23 成都四方伟业软件股份有限公司 数据跨库访问方法及装置
CN110245505A (zh) * 2019-05-20 2019-09-17 中国平安人寿保险股份有限公司 数据表访问方法、装置、计算机设备和存储介质
CN111459982A (zh) * 2020-03-27 2020-07-28 中国平安人寿保险股份有限公司 一种数据查询方法、装置、终端设备及存储介质
CN113434572A (zh) * 2021-06-24 2021-09-24 中国工商银行股份有限公司 数据查询方法、查询系统、设备、存储介质及程序产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030154197A1 (en) * 2002-02-13 2003-08-14 Permutta Technologies Flexible relational data storage method and apparatus
CN109669980A (zh) * 2018-12-21 2019-04-23 成都四方伟业软件股份有限公司 数据跨库访问方法及装置
CN110245505A (zh) * 2019-05-20 2019-09-17 中国平安人寿保险股份有限公司 数据表访问方法、装置、计算机设备和存储介质
CN111459982A (zh) * 2020-03-27 2020-07-28 中国平安人寿保险股份有限公司 一种数据查询方法、装置、终端设备及存储介质
CN113434572A (zh) * 2021-06-24 2021-09-24 中国工商银行股份有限公司 数据查询方法、查询系统、设备、存储介质及程序产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116881953A (zh) * 2023-09-07 2023-10-13 北京鲸鹳科技有限公司 一种基于虚拟空间的数据隔离方法、设备及介质
CN116881953B (zh) * 2023-09-07 2023-11-14 北京鲸鹳科技有限公司 一种基于虚拟空间的数据隔离方法、设备及介质

Also Published As

Publication number Publication date
CN113806373B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
EP3640832B1 (en) Consent-based data privacy management system
US11063744B2 (en) Document flow tracking using blockchain
US10346620B2 (en) Systems and methods for authentication of access based on multi-data source information
CN111177252B (zh) 一种业务数据的处理方法及装置
CN110399383A (zh) 应用于服务器的数据处理方法、装置、计算设备、介质
RU2653246C1 (ru) Усовершенствование запроса для поиска базы данных
CN110334398B (zh) 基于bim模型的信息处理方法、装置、设备和存储介质
CN109739828B (zh) 一种数据处理方法、设备及计算机可读存储介质
CN111797351A (zh) 页面数据管理方法、装置、电子设备及介质
CN108255967B (zh) 存储过程的调用方法、装置、存储介质及终端
WO2020233014A1 (zh) 消息发送方法、装置、计算机设备和存储介质
CN113806373B (zh) 数据处理方法、装置、电子设备及存储介质
CN112364021B (zh) 业务数据处理方法、装置及存储介质
CN112800066B (zh) 索引管理的方法、相关设备及存储介质
CN111522626B (zh) 一种虚拟机列表生成方法、装置及电子设备
CN115330472A (zh) 订单处理方法及系统、服务平台、存储介质及电子设备
CN101836231A (zh) 通过计算机化的卡服务共享的可个性化卡
CN115878655A (zh) 数据操作方法、装置、计算机设备和存储介质
JP4887735B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN113741889A (zh) 异构数据库智能存取数据的方法及设备
CN115827589A (zh) 一种权限验证方法、装置、电子设备及存储介质
KR101507165B1 (ko) 멤버십 발급 및 관리 방법, 그리고 그 시스템
CN106649469A (zh) 一种聊天记录信息管理方法及终端
WO2019095582A1 (zh) 目标地点的导航方法、装置、存储介质及终端
CN110008346A (zh) 黑名单传导图谱构建方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant