CN109062965A - 大数据分析系统、服务器、数据处理方法和存储介质 - Google Patents

大数据分析系统、服务器、数据处理方法和存储介质 Download PDF

Info

Publication number
CN109062965A
CN109062965A CN201810682823.5A CN201810682823A CN109062965A CN 109062965 A CN109062965 A CN 109062965A CN 201810682823 A CN201810682823 A CN 201810682823A CN 109062965 A CN109062965 A CN 109062965A
Authority
CN
China
Prior art keywords
information
data processing
data
user
called
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810682823.5A
Other languages
English (en)
Other versions
CN109062965B (zh
Inventor
蒋英明
冯朝阁
贺波
邓杰
唐浚洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810682823.5A priority Critical patent/CN109062965B/zh
Priority to PCT/CN2018/107487 priority patent/WO2020000716A1/zh
Publication of CN109062965A publication Critical patent/CN109062965A/zh
Application granted granted Critical
Publication of CN109062965B publication Critical patent/CN109062965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Storage Device Security (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开一种大数据分析系统、服务器、数据处理方法和存储介质。本发明大数据分析系统包括客户端、服务器及多个数据处理引擎。其中服务器用于识别信息片段中是否包含调用标识信息；当识别到调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并接收返回的数据处理结果。相较于现有技术，本发明大数据分析系统集成了多个数据处理引擎，为用户提供一个统一的交互入口，简化了用户的操作。

Description

大数据分析系统、服务器、数据处理方法和存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种大数据分析系统、服务器、数据处理方法和存储介质。
背景技术
随着科技的快速发展，各行各业需要处理的数据量日益庞大，传统的数据处理已无法适应人们的需求。大数据技术的产生解决了这一问题，例如，利用存储引擎对数据进行分布式存储，扩展性好、容错性高，利用计算引擎进行并行计算，提高了计算速度及性能。
随着大数据技术的发展，产生了大量的存储引擎及计算引擎，每个存储引擎或计算引擎均提供单独的访问入口，当需要运用多个存储引擎或计算引擎进行大数据处理时，往往需要逐一的访问多个存储引擎或计算引擎的入口，操作繁琐。
如何构建一个集成多个计算引擎及存储引擎的大数据分析平台以为用户提供统一的的交互式入口已成为一个亟待解决的问题。
发明内容
本发明的主要目的是提供一种大数据分析系统、服务器、数据处理方法和存储介质，旨在解决如何构建一个集成多个计算引擎及存储引擎的大数据分析平台并为用户提供统一的交互式入口的问题。
为实现上述目的，本发明提出一种大数据分析系统，所述大数据分析系统包括客户端、服务器及多个数据处理引擎，所述服务器分别与所述客户端及各个所述数据处理引擎通信连接，其中：
所述客户端用于向所述服务器发送携带预设类型信息的操作请求，并接收所述服务器返回的针对所述操作请求的响应结果数据；
所述服务器包括存储器和处理器，所述存储器上存储有数据处理程序，所述数据处理程序被所述处理器执行时实现如下步骤：
接收步骤：接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端；
所述数据处理引擎用于接收所述服务器发送的所述信息片段，根据所述信息片段进行数据处理，并返回数据处理结果至服务器。
优选地，所述操作请求中还包括用户标识信息；
所述数据处理程序被所述处理器执行时，在所述读取步骤之前还实现如下步骤：
根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息；
根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合；
根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限；
当所述用户具备所述操作请求对应的操作的操作权限时，跳转至所述读取步骤；
当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
优选地，所述操作请求中还包括用户标识信息；
所述第一执行步骤包括：
确定步骤：当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎；
查询步骤：根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息；
判断步骤：根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎；
第三执行步骤：当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据；
输出步骤：当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
优选地，所述判断步骤包括：
根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限；
当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎；
当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
此外，为实现上述目的，本发明还提出一种数据处理方法，该方法包括：
接收步骤：接收客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端；
所述数据处理引擎用于接收所述服务器发送的所述信息片段，根据所述信息片段进行数据处理，并返回数据处理结果至服务器。
优选地，所述操作请求中还包括用户标识信息；
所述数据处理方法还包括如下步骤：
根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息；
根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合；
根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限；
当所述用户具备所述操作请求对应的操作的操作权限时，跳转至所述读取步骤；
当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
优选地，所述操作请求中还包括用户标识信息；
所述第一执行步骤包括：
确定步骤：当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎；
查询步骤：根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息；
判断步骤：根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎；
第三执行步骤：当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据；
输出步骤：当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
优选地，所述判断步骤包括：
根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限；
当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎；
当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
此外，为实现上述目的，本发明还提出一种服务器，所述服务器包括存储器和处理器，所述存储器上存储有数据处理程序，所述数据处理程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述任一项所述的数据处理方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有数据处理程序，所述数据处理程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述所述的数据处理方法的步骤。
本发明大数据分析系统包括客户端、服务器及多个数据处理引擎。其中服务器用于接收客户端发送的操作请求；读取预设类型信息中的信息片段，并识别信息片段中是否包含调用标识信息；当识别到调用标识信息时，确定识别到的调用标识信息对应的待调用数据处理引擎，将调用标识信息对应的信息片段发送至待调用数据处理引擎进行数据处理，并接收待调用数据处理引擎返回的数据处理结果作为信息片段对应的第一响应结果数据；当未识别到所述调用标识信息时，基于信息片段执行操作请求对应的操作，并将操作的操作结果作为所述信息片段对应的第二响应结果数据；将所述操作请求对应的响应结果数据返回至所述客户端。相较于现有技术，本发明大数据分析系统集成了多个数据处理引擎，为用户提供一个统一的交互入口，用户通过客户端登陆该交互入口即可调用多个数据处理引擎进行大数据分析处理，简化了用户的操作，提高了大数据分析处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明大数据分析系统一可选的系统架构示意图；
图2为本发明数据处理程序第一、第二、第三实施例的运行环境示意图；
图3为本发明数据处理程序第一实施例的程序模块图；
图4为本发明数据处理程序第二实施例的程序模块图；
图5为本发明数据处理程序第三实施例的程序模块图；
图6为本发明数据处理方法第一实施例的流程示意图；
图7为本发明数据处理方法第二实施例的流程示意图；
图8为本发明数据处理方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明提出一种大数据分析系统。
参阅图1所示，图1为本发明大数据分析系统一可选的系统架构示意图。
在本实施例中，所述大数据分析系统包括服务器1、客户端2、多个数据处理引擎3及文件系统4，所述服务器1与所述客户端2通信连接，且所述服务器1、多个数据处理引擎3及文件系统4相互之间均通信连接，其中：
所述客户端2用于提供用户操作界面，供用户通过操作界面发起携带预设类型信息的操作请求。客户端2还用于向服务器1发送携带预设类型信息的操作请求，并接收所述服务器1返回的针对所述操作请求的响应结果数据；
所述服务器1包括存储器和处理器，所述存储器上存储有数据处理程序，用于接收客户端2发送的携带预设类型信息的操作请求，并针对该操作请求执行对应的操作，和/或，调用数据处理引擎3进行数据处理，以生成响应结果数据并返回至客户端2。
所述数据处理引擎3用于接收所述服务器1发送的所述信息片段，并根据所述信息片段进行数据处理，并返回数据处理结果至服务器1。
数据处理引擎3包括计算引擎(例如，Shell、Spark、jdbc、Python、R等)和存储引擎(例如，hive、hbase、RMDB等)，其中：
计算引擎用于对数据进行计算、分析。
存储引擎用于对数据进行查询、读、写等操作。
所述文件系统4可以是本地文件系统，也可以是分布式文件系统(例如，HDFS)，所述文件系统4用于大数据的存储，且为数据处理引擎3提供用于数据处理的数据。该文件系统4可设置于数据处理引擎3中，或者，独立于数据处理引擎3及服务器2设置。
下面，将基于上述大数据分析系统中的各个设备，提出本发明的各个实施例。
本发明提出一种数据处理程序。
请参阅图2，是本发明数据处理程序10第一、第二、第三实施例的运行环境示意图。
在本实施例中，数据处理程序10安装并运行于服务器1中。服务器1可以是桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该服务器1可包括，但不仅限于，存储器11、处理器12及显示器13。图2仅示出了具有组件11-13的服务器1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器11在一些实施例中可以是服务器1的内部存储单元，例如该服务器1的硬盘或内存。存储器11在另一些实施例中也可以是服务器1的外部存储设备，例如，分布式存储设备。进一步地，存储器11还可以既包括服务器1的内部存储单元也包括外部存储设备。存储器11用于存储安装于服务器1的应用软件及各类数据，例如数据处理程序10的程序代码等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据处理程序10等。
显示器13在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器13用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。服务器1的部件11-13通过程序总线相互通信。
请参阅图3，是本发明数据处理程序10第一实施例的程序模块图。在本实施例中，数据处理程序10可以被分割成一个或多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行，以完成本发明。例如，在图3中，数据处理程序10可以被分割成接收模块101、读取模块102、第一执行模块103、第二执行模块104及反馈模块105。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述数据处理程序10在服务器1中的执行过程，其中：
接收模块101，用于接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段。
具体地，所述操作请求包括数据读取操作请求、数据写入操作请求、数据查询操作请求、数据分享操作请求、数据计算分析操作请求等。
当操作请求为数据读取操作请求时，其携带的预设类型信息包括待读取的数据信息(例如，文件名等)。
当操作请求为数据写入操作请求时，其携带的预设类型信息包括待写入的数据。
当操作请求为数据查询操作请求时，其携带的预设类型信息包括待查询的数据信息、查询条件等。
当操作请求为数据分享操作请求时，其携带的预设类型信息包括待分享的数据信息及数据分享的范围。
当操作请求为数据计算分析操作时，其携带的预设类型信息包括数据计算分析代码。
上述预设类型信息包括至少一个信息片段，该信息片段的划分方法可根据具体的应用场景设置。
优选地，本实施例中，数据处理程序10还包括身份验证模块(图中未示出)，该身份验证模块用于：
首先，接收客户端发送的携带用户身份信息的用户身份验证请求。
然后，根据预先确定的身份验证规则对所述用户身份信息进行核验，并将获得的验证结果反馈至客户端。
上述用户身份信息包括用户标识信息及用户身份特征信息，其中，所述用户身份特征信息包括用户名信息、用户密码信息(该用户密码信息可以U盾、电子证书等作为存储介质)、动态码等。
在一些应用场景中，上述用户身份特征信息还可包括用户生物信息、身份证件信息中至少一种。
上述用户生物信息包括指纹信息、人脸信息、虹膜信息、声纹信息等用于唯一识别用户身份的生物特征信息。
上述身份证件信息包括身份证号、护照号等。
上述身份验证规则具体包括：
根据所述用户身份信息中的用户标识信息，且基于预先确定的用户标识信息与标准用户身份特征信息之间的映射关系，查找所述用户标识信息对应的标准用户身份特征信息。根据查找的所述标准用户身份特征信息，对所述身份信息中的用户身份特征信息进行核验，若核验结果为相同，则输出验证结果为验证成功，或，若核验结果为不同，则输出验证结果为验证失败。
读取模块102，用于读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息。
具体地，上述调用标识信息包括待调用数据处理引擎的标识信息(例如，待调用数据处理引擎的标签)。
第一执行模块103，用于当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据。
例如，若预设类型信息为数据计算分析代码，且该数据计算分析代码包括多个数据计算分析代码片段。当在一数据计算分析代码片段中识别到调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎为计算引擎A，将所述调用标识信息对应的数据计算分析代码片段发送至计算引擎A，计算引擎A对该数据计算分析代码片段进行解析并按照该数据计算分析代码片段进行数据(该数据可来源于计算引擎的存储器，如本地文件系统或者分布式文件系统)的计算和分析，并将计算分析的结果返回至第一执行模块103。
若预设类型信息为数据查询代码，且该数据查询代码包括多个数据查询代码片段。当在一数据查询代码片段中识别到调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎为存储引擎C，将所述调用标识信息对应的数据查询代码片段发送至存储引擎C，存储引擎C对该数据查询代码片段进行解析并按照该数据查询代码进行数据的查询，并将查询结果返回至第一执行模块103。
第二执行模块104，用于当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据。
具体地，所述操作请求对应的操作是根据预先确定的操作请求与操作之间的映射关系确定的。
当操作请求为数据读取操作请求时，其对应的操作为从存储器(例如，文件系统)中读取数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待读取的数据信息读取该待读取的数据。
当操作请求为数据写入操作请求时，其对应的操作为写入数据至存储器(例如，文件系统)。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：将信息片段中待写入的数据写入存储器。
当操作请求为数据查询操作请求时，其对应的操作为从存储器中查询数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待查询的数据信息、查询条件等查询该待查询的数据。
当操作请求为数据分享操作请求时，其对应的操作为分享数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待分享的数据信息，生成该待分享数据的分享链接路径(该分享链接路径用于指示待分享数据的存储地址)，接着，根据预先确定的分享范围与分享界面之间的映射关系，确定所述预设类型信息中待分享数据的分享范围(例如，分享给所有人、分享至用户组)对应的分享界面，并将生成的分享链接路径添加至该分享界面中。
当操作请求为数据计算分析操作时，其对应的操作为对数据进行计算和/或分析处理。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：对信息片段中的数据计算分析代码片段进行解析，并按照该计算分析代码片段进行数据的计算和/或分析处理。
反馈模块105，用于将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
本发明大数据分析系统包括客户端、服务器及多个数据处理引擎。其中服务器用于接收客户端发送的操作请求；读取预设类型信息中的信息片段，并识别信息片段中是否包含调用标识信息；当识别到调用标识信息时，将信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取信息片段对应的第一响应结果数据；当未识别到所述调用标识信息时，基于信息片段执行操作请求对应的操作，并将操作的操作结果作为所述信息片段对应的第二响应结果数据；将所述操作请求对应的响应结果数据返回至所述客户端。相较于现有技术，本发明大数据分析系统集成了多个数据处理引擎，为用户提供一个统一的交互入口，用户通过客户端登陆该交互入口即可调用多个数据处理引擎进行大数据分析处理，简化了用户的操作，提高了大数据分析处理效率。
进一步地，本实施例中，该数据处理程序10还包括审查模块(图中未示出)，该审查模块用于：
首先，实时记录用户行为数据，并保存所述用户行为数据至用户行为日志。
然后，当接收到日志审查指令时，从所述日志审查指令中获取待审查用户行为日志的标识信息，根据所述标识信息查找对应的待审查用户行为日志。
最后，在所述待审查用户行为日志中查询异常行为数据，当查询到所述异常行为数据时，输出提示信息。
上述异常行为数据的定义可根据具体的应用场景进行设置。
本实施例通过对用户行为日志进行审查，从而可及时的侦测出用户的异常行为，并发出提示信息，进一步提高大数据分析系统的安全性。
参照图4，图4为本发明数据处理程序10第二实施例的程序模块图。
本实施例的数据处理程序包括第一实施例的模块101至105，而本实施例与第一实施例的区别在于，本实施例中，所述操作请求中还包括用户标识信息。
且本实施例的数据处理程序10，还包括第一查询模块106、第二查询模块107、判断模块108，其中：
第一查询模块106，用于根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息。
具体地，上述用户角色信息包括用户角色标识符或用户角色名称或用户角色简称等。
第二查询模块107，用于根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合。
具体地，可预先对各用户角色进行权限设置，例如，将每一用户角色设置相应的操作权限集合，并将该用户角色对应的用户角色信息与相应的操作权限集合进行关联映射，并保存该用户角色信息与相应的操作权限集合之间的映射关系(例如，保存该用户角色信息与相应的操作权限集合之间的映射表)。
其中，所谓操作权限是指对操作对象进行操作的权利，每一项操作权限记载了一操作对象与一操作之间的映射关系。例如，若要设置一文件的读取权限，则可将该文件的标识信息及读取操作之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。若要设置一文件的分享权限，则可将该文件的标识信息与文件分享操作、分享范围(例如，用户组内)三者之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。若要设置资源配置信息的编辑权限，则可将资源配置信息的标识信息及编辑操作之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。为了提高安全性，对于一些计算引擎(例如，Shell、Python)对应的资源配置信息的编辑权限可设置为不授权于除管理员以外的用户角色。
一用户角色对应的至少一项操作权限形成该用户角色的操作权限集合。
在一些应用场景中，还可设置用户群组，该用户群组至少包括一个用户成员。保存每个用户群组对应的用户组信息，该用户组信息包括用户组标识信息、用户组成员的用户标识信息及用户组成员的用户角色信息等。
当一用户加入至一用户群组之后，还可为该用户配置相应的群组角色，并设置该群组角色对应的操作权限集合(例如，该操作权限集合包括组内分享权限、组内读写权限等)。该群组角色信息可存储至用户角色信息中，该群组角色信息对应的操作权限集合也相应存储至该用户角色对应的操作权限集合中。
判断模块108，用于根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限。当所述用户具备所述操作请求对应的操作的操作权限时，调用读取模块102。或者，当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
具体地，在用户对应的操作权限集合中查询与所述操作请求对应的操作及预设类型信息匹配的操作权限，当查询到匹配的操作权限时，判定该用户具备所述操作请求对应的操作的操作权限，当未查询到匹配的操作权限时，判定该用户不具备所述操作请求对应的操作的操作权限。
下面以一项文件的分享权限为例说明如何判断操作权限是否与所述操作请求对应的操作及预设类型信息匹配。
上述文件的分享权限由文件的标识信息与文件分享操作、分享范围三者之间的映射关系表示。首先，判断操作请求对应的操作是否为文件分享操作，若否，则该文件的分享权限与所述操作请求对应的操作及预设类型信息不匹配，若是，则继续判断操作请求对应的预设类型信息中待分享的文件标识信息是否与文件的分享权限中文件的标识信息匹配，且所述预设类型信息中的分享范围是否与文件的分享权限中的分享范围匹配，若均匹配，则判定操作权限与所述操作请求对应的操作及预设类型信息匹配，否则，判定为不匹配。
本实施例根据用户角色为用户设置相应的操作权限，当用户具备操作请求对应的操作的操作权限时，才执行后续步骤，否则，拒绝执行后续步骤。本实施例实现了对用户操作的安全管控，提高了大数据分析系统的安全性。
参照图5，图5为本发明数据处理程序10第三实施例的程序模块图。
本实施例在第一、第二实施例的基础上，所述第一执行模块103包括确定单元1031、查询单元1032、判断单元1033、结果输出单元1034，其中：
确定单元1031，用于当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎。
查询单元1032，用于根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息。
具体地，可预先根据用户的用户角色信息及用户组信息，设置并保存用户的资源配置信息，其中，上述用户角色及用户组的设置可参照第二实施例。
上述资源配置信息包括至少一项配置项对应的配置项信息，每一个配置项可针对一配置对象进行配置，所述配置对象包括调用权限(例如，调用数据处理引擎的权限)、调用一计算引擎或者存储引擎执行进程的数量、计算引擎或者存储引擎的鉴权信息等。
上述配置项信息包括配置项标识信息(例如，配置项的名称或者编号或者简称等)、配置项取值(此处取值类型包括数字型、文本型、地址型、选择型)。
每一个配置项可针对一配置对象进行设置(即对一配置项的配置项取值赋值)，所述配置对象包括可调用的资源(例如，可调用的计算引擎或存储引擎)、调用一计算引擎或者存储引擎执行进程的数量、计算引擎或者存储引擎的鉴权信息等。
用户基于其具备的操作权限可对上述资源配置信息中的部分配置项进行编辑。
判断单元1033，用于根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎。
优选地，本实施例中，所判断单元1033具体用于：
首先，根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限。
具体地，上述调用权限信息包括可调用的数据处理引擎的标识信息。在调用权限信息中查询该待调用数据处理引擎的标识信息，若查询到，则判定该用户具备调用该待调用数据处理引擎的权限，否则，判定不具备调用该待调用数据处理引擎的权限。
然后，当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎。其中，上述待调用数据处理引擎对应的鉴权信息包括用户与该待调用数据处理引擎对应的身份信息，例如，在待调用数据处理引擎平台注册的用户名、用户密码、用户密钥等身份信息。
或者，当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
结果输出单元1034，用于当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据。或者，当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
优选地，本实施例中，该数据处理程序10还包括监测模块(图中未示出)，所述监测模块用于：
首先，在所述操作请求中的用户标识信息对应的资源配置信息中，获取该待调用数据处理引擎对应的交互进程数量阈值。
然后，实时或定时获取服务器与待调用数据处理引擎之间的交互进程数量，并监测该交互进程数量是否大于或等于所述交互进程数量阈值，若是，则停止建立新的交互进程直至服务器与待调用数据处理引擎之间的交互进程数量小于该交互进程数量阈值，若否，则返回继续监测该交互进程数量是否大于或等于所述交互进程数量阈值。
本实施例通过为用户设置对应的资源配置信息，从而提高大数据分析系统数据处理资源分配的可控性。
此外,本发明提出一种数据处理方法。适用于服务器。
如图6所示，图6为本发明数据处理方法第一实施例的流程示意图。
本实施例中，该方法包括：
步骤S10，接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段。
具体地，所述操作请求包括数据读取操作请求、数据写入操作请求、数据查询操作请求、数据分享操作请求、数据计算分析操作请求等。
当操作请求为数据读取操作请求时，其携带的预设类型信息包括待读取的数据信息(例如，文件名等)。
当操作请求为数据写入操作请求时，其携带的预设类型信息包括待写入的数据。
当操作请求为数据查询操作请求时，其携带的预设类型信息包括待查询的数据信息、查询条件等。
当操作请求为数据分享操作请求时，其携带的预设类型信息包括待分享的数据信息及数据分享的范围。
当操作请求为数据计算分析操作时，其携带的预设类型信息包括数据计算分析代码。
上述预设类型信息包括至少一个信息片段，该信息片段的划分方法可根据具体的应用场景设置。
优选地，本实施例中，在步骤S10之前，该方法还包括：
首先，接收客户端发送的携带用户身份信息的用户身份验证请求。
然后，根据预先确定的身份验证规则对所述用户身份信息进行核验，并将获得的验证结果反馈至客户端。
上述用户身份信息包括用户标识信息及用户身份特征信息，其中，所述用户身份特征信息包括用户名信息、用户密码信息(该用户密码信息可以U盾、电子证书等作为存储介质)、动态码等。
在一些应用场景中，上述用户身份特征信息还可包括用户生物信息、身份证件信息中至少一种。
上述用户生物信息包括指纹信息、人脸信息、虹膜信息、声纹信息等用于唯一识别用户身份的生物特征信息。
上述身份证件信息包括身份证号、护照号等。
上述身份验证规则具体包括：
根据所述用户身份信息中的用户标识信息，且基于预先确定的用户标识信息与标准用户身份特征信息之间的映射关系，查找所述用户标识信息对应的标准用户身份特征信息。根据查找的所述标准用户身份特征信息，对所述身份信息中的用户身份特征信息进行核验，若核验结果为相同，则输出验证结果为验证成功，或，若核验结果为不同，则输出验证结果为验证失败。
步骤S20，读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息。
具体地，上述调用标识信息包括待调用数据处理引擎的标识信息(例如，待调用数据处理引擎的标签)。
步骤S30，当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据。
例如，若预设类型信息为数据计算分析代码，且该数据计算分析代码包括多个数据计算分析代码片段。当在一数据计算分析代码片段中识别到调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎为计算引擎A，将所述调用标识信息对应的数据计算分析代码片段发送至计算引擎A，计算引擎A对该数据计算分析代码片段进行解析并按照该数据计算分析代码片段进行数据(该数据可来源于计算引擎的存储器，如本地文件系统或者分布式文件系统)的计算和分析，并将计算分析的结果返回至服务器。
若预设类型信息为数据查询代码，且该数据查询代码包括多个数据查询代码片段。当在一数据查询代码片段中识别到调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎为存储引擎C，将所述调用标识信息对应的数据查询代码片段发送至存储引擎C，存储引擎C对该数据查询代码片段进行解析并按照该数据查询代码进行数据的查询，并将查询结果返回至服务器。
步骤S40，当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据。
具体地，所述操作请求对应的操作是根据预先确定的操作请求与操作之间的映射关系确定的。
当操作请求为数据读取操作请求时，其对应的操作为从存储器(例如，文件系统)中读取数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待读取的数据信息读取该待读取的数据。
当操作请求为数据写入操作请求时，其对应的操作为写入数据至存储器(例如，文件系统)。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：将信息片段中待写入的数据写入存储器。
当操作请求为数据查询操作请求时，其对应的操作为从存储器中查询数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待查询的数据信息、查询条件等查询该待查询的数据。
当操作请求为数据分享操作请求时，其对应的操作为分享数据。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：根据信息片段中待分享的数据信息，生成该待分享数据的分享链接路径(该分享链接路径用于指示待分享数据的存储地址)，接着，根据预先确定的分享范围与分享界面之间的映射关系，确定所述预设类型信息中待分享数据的分享范围(例如，分享给所有人、分享至用户组)对应的分享界面，并将生成的分享链接路径添加至该分享界面中。
当操作请求为数据计算分析操作时，其对应的操作为对数据进行计算和/或分析处理。上述基于所述信息片段执行所述操作请求对应的操作的步骤具体包括：对信息片段中的数据计算分析代码片段进行解析，并按照该计算分析代码片段进行数据的计算和/或分析处理。
步骤S50，将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端。
本发明接收客户端发送的操作请求；读取预设类型信息中的信息片段，并识别信息片段中是否包含调用标识信息；当识别到调用标识信息时，将信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取信息片段对应的第一响应结果数据；当未识别到所述调用标识信息时，基于信息片段执行操作请求对应的操作，并将操作的操作结果作为所述信息片段对应的第二响应结果数据；将所述操作请求对应的响应结果数据返回至所述客户端。相较于现有技术，本发明大数据分析系统集成了多个数据处理引擎，为用户提供一个统一的交互入口，用户通过客户端登陆该交互入口即可调用多个数据处理引擎进行大数据分析处理，简化了用户的操作，提高了大数据分析处理效率。
进一步地，本实施例中，该方法还包括如下步骤：
首先，实时记录用户行为数据，并保存所述用户行为数据至用户行为日志。
然后，当接收到日志审查指令时，从所述日志审查指令中获取待审查用户行为日志的标识信息，根据所述标识信息查找对应的待审查用户行为日志。
最后，在所述待审查用户行为日志中查询异常行为数据，当查询到所述异常行为数据时，输出提示信息。
上述异常行为数据的定义可根据具体的应用场景进行设置。
本实施例通过对用户行为日志进行审查，从而可及时的侦测出用户的异常行为，并发出提示信息，进一步提高大数据分析系统的安全性。
参照图7，图7为本发明数据处理方法第二实施例的流程示意图。
本实施例的数据处理方法包括第一实施例的步骤S10至S50，而本实施例与第一实施例的区别在于，本实施例中，所述操作请求中还包括用户标识信息。
且本实施例的数据处理方法，在步骤S10之后且在步骤S20之前，还包括如下步骤：
步骤S60，根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息。
具体地，上述用户角色信息包括用户角色标识符或用户角色名称或用户角色简称等。
步骤S70，根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合。
具体地，可预先对各用户角色进行权限设置，例如，将每一用户角色设置相应的操作权限集合，并将该用户角色对应的用户角色信息与相应的操作权限集合进行关联映射，并保存该用户角色信息与相应的操作权限集合之间的映射关系(例如，保存该用户角色信息与相应的操作权限集合之间的映射表)。
其中，所谓操作权限是指对操作对象进行操作的权利，每一项操作权限记载了一操作对象与一操作之间的映射关系。例如，若要设置一文件的读取权限，则可将该文件的标识信息及读取操作之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。若要设置一文件的分享权限，则可将该文件的标识信息与文件分享操作、分享范围(例如，用户组内)三者之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。若要设置资源配置信息的编辑权限，则可将资源配置信息的标识信息及编辑操作之间的映射关系存储为一项操作权限，并将该项操作权限添加至对应的操作权限集合中。为了提高安全性，对于一些计算引擎(例如，Shell、Python)对应的资源配置信息的编辑权限可设置为不授权于除管理员以外的用户角色。
一用户角色对应的至少一项操作权限形成该用户角色的操作权限集合。
在一些应用场景中，还可设置用户群组，该用户群组至少包括一个用户成员。保存每个用户群组对应的用户组信息，该用户组信息包括用户组标识信息、用户组成员的用户标识信息及用户组成员的用户角色信息等。
当一用户加入至一用户群组之后，还可为该用户配置相应的群组角色，并设置该群组角色对应的操作权限集合(例如，该操作权限集合包括组内分享权限、组内读写权限等)。该群组角色信息可存储至用户角色信息中，该群组角色信息对应的操作权限集合也相应存储至该用户角色对应的操作权限集合中。
步骤S80，根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限。
具体地，在用户对应的操作权限集合中查询与所述操作请求对应的操作及预设类型信息匹配的操作权限，当查询到匹配的操作权限时，判定该用户具备所述操作请求对应的操作的操作权限，当未查询到匹配的操作权限时，判定该用户不具备所述操作请求对应的操作的操作权限。
下面以一项文件的分享权限为例说明如何判断操作权限是否与所述操作请求对应的操作及预设类型信息匹配。
上述文件的分享权限由文件的标识信息与文件分享操作、分享范围三者之间的映射关系表示。首先，判断操作请求对应的操作是否为文件分享操作，若否，则该文件的分享权限与所述操作请求对应的操作及预设类型信息不匹配，若是，则继续判断操作请求对应的预设类型信息中待分享的文件标识信息是否与文件的分享权限中文件的标识信息匹配，且所述预设类型信息中的分享范围是否与文件的分享权限中的分享范围匹配，若均匹配，则判定操作权限与所述操作请求对应的操作及预设类型信息匹配，否则，判定为不匹配。
步骤S90，当所述用户具备所述操作请求对应的操作的操作权限时，跳转至步骤S20。或者，当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
本实施例根据用户角色为用户设置相应的操作权限，当用户具备操作请求对应的操作的操作权限时，才执行后续步骤，否则，拒绝执行后续步骤。本实施例实现了对用户操作的安全管控，提高了大数据分析系统的安全性。
参照图8，图8为本发明数据处理方法第三实施例的流程示意图。
本实施例在第一、第二实施例的基础上，所述步骤S30包括：
步骤S31，当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎。
步骤S32，根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息。
具体地，可预先根据用户的用户角色信息及用户组信息，设置并保存用户的资源配置信息，其中，上述用户角色及用户组的设置可参照第二实施例。
上述资源配置信息包括至少一项配置项对应的配置项信息，每一个配置项可针对一配置对象进行配置，所述配置对象包括调用权限(例如，调用数据处理引擎的权限)、调用一计算引擎或者存储引擎执行进程的数量、计算引擎或者存储引擎的鉴权信息等。
上述配置项信息包括配置项标识信息(例如，配置项的名称或者编号或者简称等)、配置项取值(此处取值类型包括数字型、文本型、地址型、选择型)。
每一个配置项可针对一配置对象进行设置(即对一配置项的配置项取值赋值)，所述配置对象包括可调用的资源(例如，可调用的计算引擎或存储引擎)、调用一计算引擎或者存储引擎执行进程的数量、计算引擎或者存储引擎的鉴权信息等。
用户基于其具备的操作权限可对上述资源配置信息中的部分配置项进行编辑。
步骤S33，根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎。
优选地，本实施例中，所述步骤S33具体包括：
首先，根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限。
具体地，上述调用权限信息包括可调用的数据处理引擎的标识信息。在调用权限信息中查询该待调用数据处理引擎的标识信息，若查询到，则判定该用户具备调用该待调用数据处理引擎的权限，否则，判定不具备调用该待调用数据处理引擎的权限。
然后，当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎。其中，上述待调用数据处理引擎对应的鉴权信息包括用户与该待调用数据处理引擎对应的身份信息，例如，在待调用数据处理引擎平台注册的用户名、用户密码、用户密钥等身份信息。
或者，当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
步骤S34，当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据。
步骤S35，当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
优选地，本实施例中，该方法还包括：
首先，在所述操作请求中的用户标识信息对应的资源配置信息中，获取该待调用数据处理引擎对应的交互进程数量阈值。
然后，实时或定时获取服务器与待调用数据处理引擎之间的交互进程数量，并监测该交互进程数量是否大于或等于所述交互进程数量阈值，若是，则停止建立新的交互进程直至服务器与待调用数据处理引擎之间的交互进程数量小于该交互进程数量阈值，若否，则返回继续监测该交互进程数量是否大于或等于所述交互进程数量阈值。
本实施例通过为用户设置对应的资源配置信息，从而提高大数据分析系统数据处理资源分配的可控性。
进一步地，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有数据处理程序，所述数据处理程序可被至少一个处理器执行，以使所述至少一个处理器执行上述任一实施例中的数据处理方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种大数据分析系统，其特征在于，所述大数据分析系统包括客户端、服务器及多个数据处理引擎，所述服务器分别与所述客户端及各个所述数据处理引擎通信连接，其中：
所述客户端用于向所述服务器发送携带预设类型信息的操作请求，并接收所述服务器返回的针对所述操作请求的响应结果数据；
所述服务器包括存储器和处理器，所述存储器上存储有数据处理程序，所述数据处理程序被所述处理器执行时实现如下步骤：
接收步骤：接收所述客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端；
所述数据处理引擎用于接收所述服务器发送的所述信息片段，根据所述信息片段进行数据处理，并返回数据处理结果至服务器。
2.如权利要求1所述的大数据分析系统，其特征在于，所述操作请求中还包括用户标识信息；
所述数据处理程序被所述处理器执行时，在所述读取步骤之前还实现如下步骤：
根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息；
根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合；
根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限；
当所述用户具备所述操作请求对应的操作的操作权限时，跳转至所述读取步骤；
当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
3.如权利要求1所述的大数据分析系统，其特征在于，所述操作请求中还包括用户标识信息；
所述第一执行步骤包括：
确定步骤：当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎；
查询步骤：根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息；
判断步骤：根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎；
第三执行步骤：当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据；
输出步骤：当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
4.如权利要求3所述的大数据分析系统，其特征在于，所述判断步骤包括：
根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限；
当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎；
当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
5.一种数据处理方法，其特征在于，该方法包括：
接收步骤：接收客户端发送的携带预设类型信息的操作请求，所述预设类型信息包括至少一个信息片段；
读取步骤：读取所述预设类型信息中的信息片段，并识别所述信息片段中是否包含调用标识信息；
第一执行步骤：当在一信息片段中识别到所述调用标识信息时，将所述信息片段发送给对应的待调用数据处理引擎进行数据处理，并获取所述信息片段对应的第一响应结果数据；
第二执行步骤：当在一信息片段中未识别到所述调用标识信息时，基于所述信息片段执行所述操作请求对应的操作，并将操作结果作为所述信息片段对应的第二响应结果数据；
反馈步骤：将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端；
所述数据处理引擎用于接收所述服务器发送的所述信息片段，根据所述信息片段进行数据处理，并返回数据处理结果至服务器。
6.如权利要求5所述的数据处理方法，其特征在于，所述操作请求中还包括用户标识信息；
所述数据处理方法还包括如下步骤：
根据预先确定的用户标识信息与用户角色信息之间的映射关系，查询所述操作请求中的用户标识信息对应的用户角色信息；
根据预先确定的用户角色信息与操作权限集合之间的映射关系，查询所述用户对应的操作权限集合；
根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息，判断所述用户是否具备所述操作请求对应的操作的操作权限；
当所述用户具备所述操作请求对应的操作的操作权限时，跳转至所述读取步骤；
当所述用户不具备所述操作请求对应的操作的操作权限时，将执行失败的响应结果数据反馈至客户端。
7.如权利要求5所述的数据处理方法，其特征在于，所述操作请求中还包括用户标识信息；
所述第一执行步骤包括：
确定步骤：当在一信息片段中识别到所述调用标识信息时，根据预先确定的调用标识信息与数据处理引擎之间的映射关系，确定识别到的所述调用标识信息对应的待调用数据处理引擎；
查询步骤：根据预先确定的用户标识信息与资源配置信息之间的映射关系，查询所述操作请求中的用户标识信息对应的资源配置信息；
判断步骤：根据查询到的所述资源配置信息及预先确定的判断规则，判断是否调用所述待调用数据处理引擎；
第三执行步骤：当判定调用所述待调用数据处理引擎时，将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理，并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据；
输出步骤：当判定不调用所述待调用数据处理引擎时，输出所述信息片段对应的第一响应结果数据为执行失败。
8.如权利要求7所述的数据处理方法，其特征在于，所述判断步骤包括：
根据查询到的所述资源配置信息中的调用权限信息，判断用户是否具备调用所述待调用数据处理引擎的权限；
当用户具备调用所述待调用数据处理引擎的权限时，将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权，并接收所述待调用数据处理引擎返回的鉴权结果，当所述鉴权结果为鉴权成功时，判定调用所述待调用数据处理引擎，或，当所述鉴权结果为鉴权失败时，判定不调用所述待调用数据处理引擎；
当用户不具备调用所述待调用数据处理引擎的权限时，判定不调用所述待调用数据处理引擎。
9.一种服务器，所述服务器包括存储器和处理器，其特征在于，所述存储器上存储有数据处理程序，所述数据处理程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求5-8中的任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有数据处理程序，所述数据处理程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求5-8中的任一项所述的数据处理方法的步骤。
CN201810682823.5A 2018-06-28 2018-06-28 大数据分析系统、服务器、数据处理方法和存储介质 Active CN109062965B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810682823.5A CN109062965B (zh) 2018-06-28 2018-06-28 大数据分析系统、服务器、数据处理方法和存储介质
PCT/CN2018/107487 WO2020000716A1 (zh) 2018-06-28 2018-09-26 大数据分析系统、服务器、数据处理方法、程序和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810682823.5A CN109062965B (zh) 2018-06-28 2018-06-28 大数据分析系统、服务器、数据处理方法和存储介质

Publications (2)

Publication Number Publication Date
CN109062965A true CN109062965A (zh) 2018-12-21
CN109062965B CN109062965B (zh) 2023-04-18

Family

ID=64818056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810682823.5A Active CN109062965B (zh) 2018-06-28 2018-06-28 大数据分析系统、服务器、数据处理方法和存储介质

Country Status (2)

Country Link
CN (1) CN109062965B (zh)
WO (1) WO2020000716A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739663A (zh) * 2018-12-29 2019-05-10 深圳前海微众银行股份有限公司 作业处理方法、装置、设备及计算机可读存储介质
CN112306586A (zh) * 2020-11-20 2021-02-02 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及计算机存储介质
CN112363831A (zh) * 2020-11-10 2021-02-12 上海华锐软件有限公司 风控处理方法、装置、计算机设备和存储介质
CN112817997A (zh) * 2021-02-24 2021-05-18 广州市品高软件股份有限公司 一种分布式计算引擎使用动态用户访问s3对象存储的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660680A (zh) * 2015-01-26 2015-05-27 青岛市环境信息中心 一种应用系统集成云终端平台及集成方法
CN107066546A (zh) * 2017-03-20 2017-08-18 国家计算机网络与信息安全管理中心 一种基于mpp引擎的跨数据中心快速查询方法和系统
CN108038213A (zh) * 2017-12-21 2018-05-15 中国农业银行股份有限公司 一种数据处理的方法、客户端、服务器及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176798A (zh) * 2013-02-21 2013-06-26 用友软件股份有限公司 数据交互系统和数据交互方法
CN104008436A (zh) * 2013-02-26 2014-08-27 中国移动通信集团浙江有限公司 一种内容管理集成方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660680A (zh) * 2015-01-26 2015-05-27 青岛市环境信息中心 一种应用系统集成云终端平台及集成方法
CN107066546A (zh) * 2017-03-20 2017-08-18 国家计算机网络与信息安全管理中心 一种基于mpp引擎的跨数据中心快速查询方法和系统
CN108038213A (zh) * 2017-12-21 2018-05-15 中国农业银行股份有限公司 一种数据处理的方法、客户端、服务器及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739663A (zh) * 2018-12-29 2019-05-10 深圳前海微众银行股份有限公司 作业处理方法、装置、设备及计算机可读存储介质
CN112363831A (zh) * 2020-11-10 2021-02-12 上海华锐软件有限公司 风控处理方法、装置、计算机设备和存储介质
CN112363831B (zh) * 2020-11-10 2021-12-10 上海华锐软件有限公司 风控处理方法、装置、计算机设备和存储介质
CN112306586A (zh) * 2020-11-20 2021-02-02 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及计算机存储介质
WO2022105736A1 (zh) * 2020-11-20 2022-05-27 深圳前海微众银行股份有限公司 数据处理方法、装置、设备、计算机存储介质和程序
CN112817997A (zh) * 2021-02-24 2021-05-18 广州市品高软件股份有限公司 一种分布式计算引擎使用动态用户访问s3对象存储的方法及装置

Also Published As

Publication number Publication date
WO2020000716A1 (zh) 2020-01-02
CN109062965B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN107948203B (zh) 一种容器登录方法、应用服务器、系统及存储介质
CN109062965A (zh) 大数据分析系统、服务器、数据处理方法和存储介质
CN112615849B (zh) 微服务访问方法、装置、设备及存储介质
CN108595126B (zh) 数据存储系统、查询方法、查询装置、服务器及存储介质
CN109033123B (zh) 基于大数据的查询方法、装置、计算机设备和存储介质
US6931539B2 (en) Methods and system for improved searching of biometric data
CN103034735B (zh) 一种大数据分布式文件导出方法
US20140289286A1 (en) System and method for performance tuning of garbage collection algorithms
AU2016376097A1 (en) Methods and systems for identity creation, verification and management
CN103488677B (zh) 项目配置方法和装置
CN109510840A (zh) 非结构化数据的共享方法、装置、计算机设备和存储介质
CN108777675A (zh) 电子装置、基于区块链的身份验证方法和计算机存储介质
US10003592B2 (en) Active directory for user authentication in a historization system
CN104639546B (zh) 多生物特征综合认证的方法、装置和系统
CN109684873A (zh) 数据访问控制方法、装置、计算机设备和存储介质
CN110889652A (zh) 一种基于桌面云的绩效管理方法及绩效管理系统
CN112910904A (zh) 多业务系统的登录方法及装置
CN110020262A (zh) 推送信息发送方法、装置、计算机设备和存储介质
US11445010B2 (en) Distributed historization system
CN107644382A (zh) 保单信息统计方法和装置
US20220027365A1 (en) Enterprise resource planning system, server and supervision method of sql queries in such a system or server
US8522192B1 (en) Systems and methods for performing operations in a reporting system
US20080294594A1 (en) Audit trail management method, system and processing program
CN107786308B (zh) 数据传输方法及终端设备
CN107844366A (zh) 电网应用服务调用方法、装置、存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant