CN113268517A - 数据分析方法和装置、电子设备、可读介质 - Google Patents

Abstract

本发明公开了一种数据分析方法和装置、电子设备、可读介质，方法包括：响应于数据拥有方发送的虚拟数据视图，生成并发送授权请求给数据拥有方，授权请求包括数据分析算法和待授权数据的标识；接收数据拥有方反馈的授权响应，获得授权信息和实时访问策略；依据实时访问策略和授权信息，对待授权数据进行访问和分析，获得数据分析结果。保证了数据分析方能够在获得数据拥有方的授权之后，才能以数据拥有方反馈的实时访问策略来访问待分析数据，保证了数据的安全性，同时，也使得数据拥有方和数据分析方能够协同工作，保证数据分析结果的正确性，使得数据分析方能够对待分析数据进行深度挖掘，提高数据挖掘的便捷性。

Description

数据分析方法和装置、电子设备、可读介质

技术领域

本发明涉及数据安全技术领域，具体涉及一种数据分析方法和装置、电子设备、可读介质。

背景技术

目前，随着大数据的不断发展，对于大数据的应用已经渗透到各行各业，大数据已发展成为重要的生产要素和战略资产，其中蕴含着巨大的价值。企业及个人将数据视为最重要的资产，利用大数据分析工具对自己所拥有的数据进行价值挖掘，但各自离散拥有的数据，如果不进行协同分析，容易形成数据孤岛，难以发挥数据的最大价值。在数据协同应用的过程中，因为数据所有权及使用权的分离，容易造成数据在协同分析过程中难以进行有效保护，导致数据所有者不愿、不敢、不能将自己所拥有的数据分享给其他人或组织进行协同分析。

在传统的解决方案中，通常采用以下几种解决方案：1)数据脱敏后共享给其他人使用；但因为数据完备性的损失，数据分析方无法进行有效的协同分析，而数据拥有方无法审核数据分析结果，无法确定数据分析结果中是否带有敏感信息，使得数据的敏感信息被公开发布。2)将原始数据利用密码学同态加密技术进行加密后，再进行数据协同共享利用；这种协同共享方案可很好的保护原始数据的隐私性，但在密文基础上进行协同分析，只能进行简单的数据统计等功能实现，无法满足对数据进行深层次挖掘的需求；虽然上述方案，在一定程度上可以保障数据的安全，并完成数据的协同共享，但无法兼顾数据挖掘的有效性和数据协同分析结果的可控性，使得对数据进行协同分析时的大大降低。

发明内容

为此，本发明提供一种数据分析方法和装置、电子设备、可读介质，以解决现有技术中由于数据所有权及使用权的分离而导致的离散数据无法进行协同分析，以及无法实现对数据的深度挖掘的问题。

为了实现上述目的，本发明第一方面提供一种数据分析方法，方法包括：响应于数据拥有方发送的虚拟数据视图，生成并发送授权请求给数据拥有方，授权请求包括数据分析算法和待授权数据的标识；接收数据拥有方反馈的授权响应，获得授权信息和实时访问策略；依据实时访问策略和授权信息，对待授权数据进行访问和分析，获得数据分析结果。

在一些具体实现中，依据实时访问策略和授权信息，对待授权数据进行访问和分析，获得数据分析结果，包括：依据实时访问策略和授权信息，对待授权数据进行访问和分析，获得待审核分析结果；对待审核分析结果进行审核，获得第一审核结果；将待审核分析结果发送给数据拥有方进行审核，获得数据拥有方反馈的第二审核结果；若确定第一审核结果和第二审核结果均为审核通过，则获得数据分析结果。

在一些具体实现中，在依据实时访问策略和授权信息，对待授权数据进行访问和分析，获得数据分析结果步骤之后，还包括：记录待授权数据被访问的操作信息，同时对操作信息进行审计，获得审计结果；保存审计结果至日志文件中。

在一些具体实现中，在依据实时访问策略和授权信息，对待授权数据进行访问和分析，获得数据分析结果步骤之前，还包括：获取历史访问策略；对比历史访问策略和实时访问策略，获得对比结果；若确定对比结果是访问策略发生变更，则使用实时访问策略同步更新历史访问策略。

在一些具体实现中，在接收数据拥有方反馈的授权响应，获得授权信息和实时访问策略步骤之后，还包括：依据实时访问策略，生成并记录策略版本号。

在一些具体实现中，授权信息至少包括使用者授权、使用时间授权、数据操作授权、行过滤授权和脱敏授权中的任意一种。

在一些具体实现中，实时访问策略至少包括策略类型，策略类型至少包括允许、拒绝、允许例外和拒绝例外中的任意一种。

为了实现上述目的，本发明第二方面提供一种数据授权方法，方法包括：依据待分析数据，生成并发送虚拟数据视图给数据分析方；接收数据分析方发送的授权请求，获得数据分析算法和待授权数据的标识；依据数据分析算法和待授权数据的标识，生成并发送授权响应给数据分析方，以使数据分析方获取到授权响应中的授权信息和实时访问策略，并依据授权信息和实时访问策略对待授权数据进行访问和分析，获得数据分析结果。

在一些具体实现中，依据待分析数据，生成并发送虚拟数据视图给数据分析方步骤，包括：对待分析数据进行属性采集，获得待分析数据的数据属性信息；依据数据属性信息，对待分析数据进行关联分析，生成虚拟数据视图；发送虚拟数据视图给数据分析方。

在一些具体实现中，依据数据分析算法和待授权数据的标识，生成并发送授权响应给数据分析方，包括：对数据分析算法和待授权数据进行审核，若确定审核通过，则生成授权信息和实时访问策略；依据授权信息和实时访问策略，生成并发送授权响应给数据分析方。

在一些具体实现中，在获得数据分析结果步骤之后，还包括：关闭数据分析方对待分析数据的访问权限；回收实时访问策略。

在一些具体实现中，数据属性信息至少包括数据库级信息、数据库存储位置信息、数据表级信息、数据列信息、数据关联关系信息、行为变化审计信息、数据血缘关系信息和数据派生关系信息中的任意一种。

在一些具体实现中，数据库级信息至少包括数据库的名称、数据库所有者、数据库描述信息和数据库类型中的任一项；数据表级信息至少包括数据表的名称、数据表所有者信息、数据表描述信息、数据表类型信息、数据表列信息、数据表创建时间信息、数据表所属库信息、数据表最后接入时间信息、数据表总体容量大小信息和数据表行数信息中的任一项；数据列信息至少包括列名称、列所有者、列类型和列所属表中的任一项；数据关联关系信息至少包括数据库、数据表和数据字段之间的关联信息；行为变化审计信息至少包括数据库、数据表和数据列之间的变化信息；数据派生关系信息至少包括数据之间的派生关系和派生语句中的任一项。

为了实现上述目的，本发明第三方面提供一种数据分析装置，包括：第一发送模块，用于响应于数据拥有方发送的虚拟数据视图，生成并发送授权请求给数据拥有方，授权请求包括数据分析算法和待授权数据的标识；第一接收模块，用于接收数据拥有方反馈的授权响应，获得授权信息和实时访问策略；访问分析模块，用于依据实时访问策略和授权信息，对待授权数据进行访问和分析，获得数据分析结果。

为了实现上述目的，本发明第四方面提供一种数据授权装置，包括：生成模块，用于依据待分析数据，生成虚拟数据视图；第二发送模块，用于发送虚拟数据视图给数据分析方；第二接收模块，用于接收数据分析方发送的授权请求，获得数据分析算法和待授权数据的标识；授权响应模块，用于依据数据分析算法和待授权数据的标识，生成并发送授权响应给数据分析方，以使数据分析方获取到授权响应中的授权信息和实时访问策略，并依据授权信息和实时访问策略对待授权数据进行访问和分析，获得数据分析结果。

为了实现上述目的，本发明第五方面提供一种电子设备，其包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现第一方面中的方法，或，第二方面中的方法。

为了实现上述目的，本发明第六方面提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现第一方面中的方法，或，第二方面中的方法。

本发明具有如下优点：通过数据拥有方发送的虚拟数据视图，生成并发送授权请求给数据拥有方，使得数据拥有方能够对授权请求中的数据分析算法进行审核，在审核通过后，获得数据拥有方反馈的授权信息和实时访问策略，再依据该授权信息和实时访问策略，对待授权数据进行访问和分析，获得数据分析结果。保证了数据分析方能够在获得数据拥有方的授权之后，才能以数据拥有方反馈的实时访问策略来访问待分析数据，保证了数据的安全性，同时，也使得数据拥有方和数据分析方能够协同工作，保证数据分析结果的正确性，使得数据分析方能够对待分析数据进行深度挖掘，提高数据挖掘的便捷性。

其中，数据拥有方通过对待分析数据进行属性采集，获得该待分析数据的数据属性信息，并依据该数据属性信息对待分析数据进行关联分析，生成虚拟数据视图，使得数据拥有方不用泄露真实数据，就可以使数据分析方获知待分析数据的内容特征，保证了数据的安全性。

其中，通过数据拥有方对数据分析算法的审核，以及数据分析方对待审核分析结果的审核，保证了数据分析结果的安全性。

进一步地，通过记录待授权数据被访问的操作信息；并对该操作信息进行审计，获得并保存审计信息至日志文件中，确保数据分析过程的可追溯性。

附图说明

附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：

图1为本申请实施例一中的一种数据分析方法的流程图。

图2为本申请实施例二中的一种数据授权方法的流程图。

图3为本申请实施例三中的一种数据分析装置的结构示意图。

图4为本申请实施例四中的一种数据授权装置的结构示意图。

图5为本申请实施例五中的一种分析系统的组成结构图。

图6为本申请实施例五中的使用多个服务器来实现分析系统的功能的组成结构图。

图7为本申请实施例五中的分析系统的工作方法流程图。

图8为本申请实施例六中的可以实现根据本申请实施例的数据分析方法和装置的电子设备的示例性硬件架构的结构图。

图9为本申请实施例七中的可以实现根据本申请实施例的数据授权方法和装置的电子设备的示例性硬件架构的结构图。

具体实施方式

以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

实施例一

本申请实施例提供了一种数据分析方法，该方法可应用于数据分析装置，例如，数据分析服务器等。图1是该数据授权方法的方法流程图，包括：

步骤110，响应于数据拥有方发送的虚拟数据视图，生成并发送授权请求给数据拥有方。

其中，授权请求包括数据分析算法和待授权数据的标识。

需要说明的是，其中的虚拟数据视图是数据拥有方根据采集获得的数据属性信息对待分析数据进行关联分析，生成的视图。数据分析算法是数据分析方根据该虚拟数据视图确定待授权数据的存储位置，数据关联关系信息等数据属性信息，再根据这些数据属性信息设计开发出的算法。通过这种对应性强的数据分析算法，能够更好的对待授权数据进行分析。

步骤120，接收数据拥有方反馈的授权响应，获得授权信息和实时访问策略。

具体地，接收到数据拥有方发送的授权响应，该授权响应中包括对待授权数据的授权信息，以及如何访问待授权数据，即待授权数据的实时访问策略。其中，授权信息至少包括使用者授权、使用时间授权、数据操作授权、行过滤授权和脱敏授权中的任意一种。实时访问策略至少包括策略类型，策略类型至少包括允许、拒绝、允许例外和拒绝例外中的任意一种。

例如，某个实时访问策略的策略类型是允许例外，则表示在待授权数据中，除了A数据以外的其他数据都是允许被访问的；若某个实时访问策略的策略类型是拒绝例外，则表示在待授权数据中，除了B数据以外的其他数据都是拒绝被访问的。

在一些具体实现中，在获得授权信息和实时访问策略之后，数据分析方还需要依据实时访问策略，生成并记录策略版本号。

需要说明的是，实时访问策略可以根据实际情况实时变化，获得的每个实时访问策略都会又对应的策略版本号，当实时访问策略发生变更时，则对应的策略版本号也会变化。例如，若使用多台设备来实现数据分析方的功能，则这些设备之间需要每间隔预设时长(例如，1秒或2秒等)自动进行数据同步，以保证最新版的实时访问策略的同步。

步骤130，依据实时访问策略和授权信息，对待授权数据进行访问和分析，获得数据分析结果。

例如，根据数据操作授权或使用时间授权等信息，按照实施访问策略中的允许例外策略，对待授权数据进行访问，即只允许数据分析方访问待授权数据中除了A数据以外的其他数据，并对这些数据进行分析，具体地，可分析这些数据中是否包含数据分析方急需的数据信息；或对这些数据进行数据挖掘，找出其中对数据分析方有帮助的信息；或对这些数据中的有价值的信息进行有效利用等不同的分析方式，进而获得不同的数据分析结果。

在一些具体实现中，依据实时访问策略和授权信息，对待授权数据进行访问和分析，获得待审核分析结果；对待审核分析结果进行审核，获得第一审核结果；将待审核分析结果发送给数据拥有方进行审核，获得数据拥有方反馈的第二审核结果；若确定第一审核结果和第二审核结果均为审核通过，则获得数据分析结果。

需要说明的是，只有在第一审核结果和第二审核结果均为审核通过时，即同时通过数据分析方的审核和数据拥有方的审核的待审核分析结果，才是最终希望获得的数据分析结果，使得数据中没有隐私信息，即不泄露数据的隐私信息，保证了数据的安全性。

在本实施例中，通过数据拥有方发送的虚拟数据视图，生成并发送授权请求给数据拥有方，使得数据拥有方能够对授权请求中的数据分析算法进行审核，在审核通过后，获得数据拥有方反馈的授权信息和实时访问策略，再依据该授权信息和实时访问策略，对待授权数据进行访问和分析，获得数据分析结果。保证了数据分析方能够在获得数据拥有方的授权之后，才能以数据拥有方反馈的实时访问策略来访问待分析数据，保证了数据的安全性，同时，也使得数据拥有方和数据分析方能够协同工作，保证数据分析结果的正确性，使得数据分析方能够对待分析数据进行深度挖掘，提高数据挖掘的便捷性。

本申请实施例提供了另一种可能的实现方式，其中，在步骤130之前，还包括如下步骤。

步骤131，获取历史访问策略。

具体地，历史访问策略可能是数据分析方在进行上一次数据分析时获得的实时访问策略，当上一次数据分析完成后，该历史访问策略被保存了下来，以方便下次再对该数据进行分析时使用，节省了获取数据的访问策略的时间，提高数据分析的效率。

步骤132，对比历史访问策略和实时访问策略，获得对比结果。

例如，当进行本次数据分析时，因为这次的待分析数据和上一次的待分析数据不同，故历史访问策略和实时访问策略不同，则对比结果是访问策略发生了变更；当本次的待分析数据和上一次的待分析数据相同时，则对该待分析数据的访问策略不变，即对比结果是访问策略没有发生变更。

步骤133，若确定对比结果是访问策略发生变更，则使用实时访问策略同步更新历史访问策略。

需要说明的时，若使用多台设备(例如，多个服务器)来实现数据分析方时，这些设备之间需要在访问策略发生变更时，使用实时访问策略同步更新历史访问策略。因为此时的待分析数据已经发生了变化，则其对应的访问策略也不同了，即访问策略发生了变更，只有使用新的实时访问策略，才能访问到本次需要分析的待分析数据。

本申请实施例提供了另一种可能的实现方式，其中，在步骤130之后，还包括：

步骤140，记录待授权数据被访问的操作信息，同时对操作信息进行审计，获得审计结果。

例如，可以在待授权数据被访问时，一边记录本次的操作信息，一边对本次的数据操作(例如，对待授权数据进行存储、同步更新该待授权数据的访问策略等)进行审计，获得审计结果。也可以将一定时间段内的、对该待授权数据进行的数据操作进行记录，然后再按照该记录，对其操作信息进行审计，获得审计结果。以上对于审计的实际实现过程仅是举例说明，可根据实际情况具体设置，其他未说明的审计的实际实现过程也在本申请的保护范围之内，在此不再赘述。

步骤150，保存审计结果至日志文件中。

需要说明的是，其中的日志文件不仅记录了审计结果，还可以记录数据的访问时间、数据访问用户信息、数据访问匹配策略信息、访问数据资源信息、访问类型信息、访问结果信息和访问客户端地址信息中的任意一种或几种。当数据拥有方或数据分析方希望获得本次数据分析的相关信息时，都可以通过查找日志文件获得。保证了数据分析过程的可追溯性。

实施例二

本申请实施例提供了一种数据授权方法，该方法可应用于数据授权装置，例如，数据授权服务器等。图2是该数据授权方法的方法流程图，具体可包括如下步骤。

步骤210，依据待分析数据，生成并发送虚拟数据视图给数据分析方。

需要说明的是，待分析数据是数据拥有方或数据授权服务器自身存储的数据，并且在数据分析方没有获得访问授权时，是无法访问到待分析数据的。但依据待分析数据生成的虚拟数据视图，是可以提前告知数据分析方的，该虚拟数据视图能够体现待分析数据的具体特征，例如，数据属性信息等，即可以包括待分析数据存储在哪个数据库中，待分析数据与哪些数据由关联关系等等。当数据分析方获得了虚拟数据视图时，就会根据这些特征，来开发设计对应的数据分析算法，使得能够使用更准确的数据分析算法来对待分析数据进行分析，即不泄露原始的待分析数据，又能使数据分析方获得必要的信息，保证了待分析数据能够被数据分析方合理的利用，充分挖掘数据的价值。

在一些具体实现中，对待分析数据进行属性采集，获得待分析数据的数据属性信息；依据数据属性信息，对待分析数据进行关联分析，生成虚拟数据视图；发送虚拟数据视图给数据分析方。

具体的，采集待分析数据的数据属性信息，可以采集该待分析数据的必要数据特征，但不采集其敏感信息，例如，数据中包含的人名、身份证号码等信息。使得能够在不泄露待分析数据的敏感信息的同时，又能提取其必要的数据特征，将这些必要的数据特征进行管理分析，生成虚拟数据视图，该虚拟数据视图能够以图形的形式，体现待分析数据的属性信息，方便数据分析方依据这些属性信息，判断待分析数据是否是数据分析方所需要的，或者，根据虚拟数据视图，筛选出一部分数据，这些少量数据虽然少，但却是数据分析方急需的则数据分析方可以只要求获取这些少量数据，即待授权数据，加快数据分析的速度，提高数据分析的效率。

在一些具体实现中，数据属性信息至少包括数据库级信息、数据库存储位置信息、数据表级信息、数据列信息、数据关联关系信息、行为变化审计信息、数据血缘关系信息和数据派生关系信息中的任意一种。

例如，数据库级信息至少包括数据库的名称、数据库所有者、数据库描述信息和数据库类型中的任一项；数据表级信息至少包括数据表的名称、数据表所有者信息、数据表描述信息、数据表类型信息、数据表列信息、数据表创建时间信息、数据表所属库信息、数据表最后接入时间信息、数据表总体容量大小信息和数据表行数信息中的任一项；数据列信息至少包括列名称、列所有者、列类型和列所属表中的任一项；数据关联关系信息至少包括数据库、数据表和数据字段之间的关联信息；行为变化审计信息至少包括数据库、数据表和数据列之间的变化信息；数据派生关系信息至少包括数据之间的派生关系和派生语句中的任一项。

步骤220，接收数据分析方发送的授权请求，获得数据分析算法和待授权数据的标识。

具体的，接收到的数据分析方发送的授权请求中，可以包括数据分析算法和待授权数据的标识，使得能够很方便的获取到数据分析算法和待授权数据的标识。

步骤230，依据数据分析算法和待授权数据的标识，生成并发送授权响应给数据分析方。

需要说明的是，数据分析方可以使用其中的数据分析算法是对待授权数据进行分析，数据分析算法能够准确的与待授权数据相对应，充分体现数据分析方对待分析数据的分析需求。使得数据分析方在获取到授权响应中的授权信息和实时访问策略时，可以依据授权信息和实时访问策略对待授权数据进行访问和分析，获得数据分析结果。

在一些具体实现中，对数据分析算法和待授权数据进行审核，若确定审核通过，则生成授权信息和实时访问策略；依据授权信息和实时访问策略，生成并发送授权响应给数据分析方。

其中,授权响应可以包括授权信息和实时访问策略，授权信息可以是使用者授权、使用时间授权、数据操作授权、行过滤授权和脱敏授权中的任意一种。实时访问策略至少包括策略类型，策略类型至少包括允许、拒绝、允许例外和拒绝例外中的任意一种。以上对于授权响应仅是举例说明，可根据实际情况具体设置，其他未说明的授权响应也在本申请的保护范围之内，在此不再赘述。

在一些具体实现中，在获得数据分析结果步骤之后，还包括：关闭数据分析方对待分析数据的访问权限；回收实时访问策略。

例如，若数据拥有方通过虚拟网络控制台(Virtual Network Console，VNC)协议接口向数据分析方发放访问权限，则在数据分析方完成对待分析数据的分析之后，数据拥有方需要关闭VNC协议接口，使得数据分析方无法再通过该VNC协议接口来访问待分析数据，保证了数据的安全性；同时，将与该数据分析方相对应的实时访问策略设置为不可用，避免访问策略的使用错误。

在本实施例中，通过对待分析数据进行属性采集，获得该待分析数据的数据属性信息，并依据该数据属性信息对待分析数据进行关联分析，生成并发送虚拟数据视图给数据分析方；在接收到数据分析方发送的授权请求时，获得该授权请求中的数据分析算法和待授权数据的标识，并依据该数据分析算法和待授权数据的标识，生成并发送授权响应给数据分析方，以使数据分析方获取到授权响应中的授权信息和实时访问策略，并依据授权信息和实时访问策略对待授权数据进行访问和分析，获得数据分析结果。使得数据拥有方不用泄露真实数据，就可以使数据分析方获知待分析数据的内容特征，保证了数据的安全性。

实施例三

图3为本申请实施例提供的一种数据分析装置的结构示意图，该装置的具体实施可参见实施例一的相关描述，重复之处不再赘述。值得说明的是，本实施方式中的装置的具体实施不局限于以上实施例，其他未说明的实施例也在本装置的保护范围之内。

如图3所示，该数据分析装置具体包括：第一发送模块301用于响应于数据拥有方发送的虚拟数据视图，生成并发送授权请求给数据拥有方，授权请求包括数据分析算法和待授权数据的标识；第一接收模块302用于接收数据拥有方反馈的授权响应，获得授权信息和实时访问策略；访问分析模块303用于依据实时访问策略和授权信息，对待授权数据进行访问和分析，获得数据分析结果。

在本实施方式中，通过第一发送模块依据数据拥有方发送的虚拟数据视图，生成并发送授权请求给数据拥有方，使得数据拥有方能够对授权请求中的数据分析算法进行审核，在审核通过后，第一接收模块会获得数据拥有方反馈的授权信息和实时访问策略，访问分析模块依据该授权信息和实时访问策略，对待授权数据进行访问和分析，获得数据分析结果。保证了数据分析方能够在获得数据拥有方的授权之后，才能以数据拥有方反馈的实时访问策略来访问待分析数据，保证了数据的安全性，同时，也使得数据拥有方和数据分析方能够协同工作，保证数据分析结果的正确性，使得数据分析方能够对待分析数据进行深度挖掘，提高数据挖掘的便捷性。

不难发现，本实施方式是与实施例一相对应的装置实施例，本实施方式可与实施例一互相配合实施。实施例一中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在实施例一中。

实施例四

图4为本申请实施例提供的一种数据授权装置的结构示意图，该装置的具体实施可参见实施例二的相关描述，重复之处不再赘述。值得说明的是，本实施方式中的装置的具体实施不局限于以上实施例，其他未说明的实施例也在本装置的保护范围之内。

如图4所示，该数据授权装置具体包括：生成模块401用于依据待分析数据，生成虚拟数据视图；第二发送模块402用于发送虚拟数据视图给数据分析方；第二接收模块403用于接收数据分析方发送的授权请求，获得数据分析算法和待授权数据的标识；授权响应模块404用于依据数据分析算法和待授权数据的标识，生成并发送授权响应给数据分析方，以使数据分析方获取到授权响应中的授权信息和实时访问策略，并依据授权信息和实时访问策略对待授权数据进行访问和分析，获得数据分析结果。

在本实施方式中，通过生成模块依据对待分析数据生成虚拟数据视图，第二发送模块发送该虚拟数据视图给数据分析方；通过第二接收模块接收数据分析方发送的授权请求，获得数据分析算法和待授权数据的标识，并依据该数据分析算法和待授权数据的标识，生成并发送授权响应给数据分析方，以使数据分析方获取到授权响应中的授权信息和实时访问策略，并依据授权信息和实时访问策略对待授权数据进行访问和分析，获得数据分析结果。使得数据拥有方在不泄露真实数据的情况下，就可以使数据分析方获知待分析数据的内容特征，保证了数据的安全性。

不难发现，本实施方式是与实施例二相对应的装置实施例，本实施方式可与实施例二互相配合实施。实施例二中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在实施例二中。

值得一提的是，实施例三和实施例四中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，实施例三和实施例四中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明实施例三和实施例四中不存在其它的单元。

实施例五

本申请实施例提供了一种数据分析系统，如图5是该数据分析系统的组成结构图，具体包括：数据拥有方510、数据分析方520、日志审计服务器530、数据授权控制服务器540、虚拟数据视图发布服务器550、大数据集群组件服务器560和代理分析专用机570。

其中，数据拥有方510是敏感数据的拥有者，数据拥有方510将视频流数据传输到大数据协同分析环境中，并通过数据访问控制门户580将该视频流数据导入到指定的分析库中。

数据分析方520是数据分析算法的提供方，也是使用该数据分析算法对数据进行分析的一方。该数据分析方520可通过使用VNC协议接口来访问VNC客户端，进而通过VNC客户端进行远程操作，确保视频流数据不会被发送到大数据集群组件服务器560之外。数据分析方520通过虚拟数据视图发布门户590提交自己的数据分析算法，在数据拥有方510审核通过后，将该数据分析算法分发至代理分析专用机570上。

日志审计服务器530主要负责存储访问控制日志信息，具体可包括日志检索模块531、证据分析模块532、访问控制日志存储模块533和数据审批日志存储模块534。

数据授权控制服务器540主要包括数据审批模块541、数据授权模块542、结果审核模块543、策略管理模块544、策略审计模块545、策略存储模块546和插件管理模块547。其中，数据审批模块541处理数据分析方提交的数据申请流程。策略管理模块544主要对数据所有者通过审批的数据进行授权流程及授权策略管理；策略存储模块546主要完成对数据授权策略的存储；数据授权模块542根据数据所有者对数据的授权策略，对数据使用者授权；策略审计模块545负责对数据所有者的策略进行审计，例如，对同一数据的策略版本、策略ID、策略名称、策略详情等信息进行审计，获得审计结果；插件管理模块547主要对部署在大数据集群组件服务器560中的数据访问控制代理组件561的状态进行检查。

虚拟数据视图发布服务器550主要负责数据属性信息的存储及管理，具体可以包括VNC接口发布模块551、结果发布模块552、视图发布模块553、算法管理模块554、数据申请模块555、视图管理模块556、插件管理模块557和操作审计模块558。

大数据集群组件服务器560为数据拥有方510提供上传数据的存储能力，为数据分析方520提供数据的分析、计算能力及环境。主要包括数据访问控制代理组件561和数据发现代理组件562；数据访问控制代理组件561包括策略同步模块56101、数据访问控制模块56102和日志审计模块56103；数据发现代理组件562包括数据属性发现模块56201、用户属性发现模块56202和数据导入模块56203。具体实现时，可使用独立的第三方设备610来实现，也可以将该大数据集群组件服务器560独立于一个网络地址段，与数据拥有方510和数据分析方520进行网络隔离。

其中，数据访问控制代理组件561定期向数据访问控制代理组件561同步最新的数据访问策略。并执行数据拥有方510下发的数据访问策略。在该数据访问策略生效后，数据拥有方510访问数据会产生数据访问控制日志信息，具体可包括数据访问时间、数据访问用户信息、数据访问匹配策略信息、访问数据资源信息、访问类型信息、访问结果信息和访问客户端地址信息等日志信息。数据发现代理组件562包括数据属性发现模块56201，用户属性发现模块56202和数据导入模块56203。具体地，数据导入模块56203获得数据拥有方510导入的视频流数据，通过数据属性发现模块56201和用户属性发现模块56202发现该视频流数据对应的属性信息，然后将该属性信息推送给虚拟数据视图发布服务器550。其中，数据属性发现模块56201负责在数据导入时，或数据集发生变化时发现数据属性的变化，具体可包括数据库级信息(例如，数据库名称、数据库所有者、数据库描述信息、数据库类型等信息)；数据库存储位置信息；数据表级信息(例如，数据表名称、数据表所有者信息、数据表描述信息、数据表类型信息、数据表列信息、数据表创建时间信息、数据表所属库信息、数据表最后接入时间信息、数据表总体容量大小信息、数据表行数信息等信息)；数据列信息(例如，列名称、列所有者、列类型、列所属表等信息)；数据关联关系信息(例如，数据库、表、字段之间的数据关联信息等)；行为变化审计信息(例如，数据库、表、列的行为变化审计信息等)；数据血缘关系信息：数据派生关系信息(例如，派生关系、派生语句等)。用户属性发现模块56202能够识别数据拥有方510的用户标识、对视频流数据进行操作的用户标识、以及与用户相关联的行为信息等。数据导入模块56203能够发现历史数据的属性信息，以及获取数据拥有方510导入的数据。

代理分析专用机570至少包括算法结果控制组件571、大数据集群访问工具572和模型算法控制组件573.该代理分析专用机570为数据分析方520提供VNC协议接口，数据分析方520通过VNC协议接口登录该代理分析专用机570，进而使数据分析方520接入到大数据集群组件服务器560中进行数据的访问和分析。其中，算法结果控制组件571将分析结果发送至数据授权控制服务器540，由数据拥有方510对该分析结果进行审核。

虚拟数据视图发布门户590负责虚拟数据视图的发布，供数据分析方520在获取到数据授权之前，了解该数据的属性信息，以便数据分析方520发起对该数据的使用申请。

在一些具体实现中，还可以将数据授权控制服务器540和虚拟数据视图发布服务器550放置到数据拥有方510上实现，将日志审计服务器530、大数据集群组件服务器560和代理分析专用机570放置到数据分析方520上实现。

在一些具体实现中，其中的日志审计服务器530、数据授权控制服务器540、虚拟数据视图发布服务器550、大数据集群组件服务器560和代理分析专用机570可以通过第三方设备610实现，数据拥有方510通过数据访问控制门户580来访问该第三方设备610，数据分析方520通过虚拟数据视图发布门户590来访问该第三方设备610。例如，将该第三方设备610部署在数据拥有方510所属的互联网数据中心(Internet Data Center，简称IDC)中。

例如，图6是使用多个服务器来实现分析系统的功能的组成结构图。其中，日志审计服务器530、数据授权控制服务器540、虚拟数据视图发布服务器550、代理分析专用机570和大数据集群组件服务器560组成了第三方设备610。该第三方设备610的对外接口包括数据访问控制门户590和虚拟数据视图发布门户580。数据拥有方510将自己的数据载入到第三方设备610中的大数据集群组件服务器560中，使得数据分析方520能够使用VNC协议接口来访问VNC客户端，进而通过VNC客户端来访问第三方设备610中的数据拥有方510导入的视频流数据。

具体地，图7是该数据分析系统的工作方法流程图，如图7所示，具体包括如下步骤。

步骤701，数据拥有方510将待分析的视频流数据导入到第三方设备610中，通过其中的数据发现代理组件562中的数据导入模块56203来完成数据导入过程。

其中，第三方设备610可包括日志审计服务器530、数据授权控制服务器540、虚拟数据视图发布服务器550、数据访问控制代理组件561、数据发现代理组件562和代理分析专用机570。

步骤702，数据发现代理组件562对导入的待分析的视频流数据进行数据属性信息的采集。

其中，数据属性信息至少包括数据库级信息、数据库存储位置信息、数据表级信息、数据列信息、数据关联关系信息、行为变化审计信息、数据血缘关系信息和数据派生关系信息中的任意一种。

步骤703，数据发现代理组件562根据采集到的数据属性信息，生成虚拟数据视图，并发送该虚拟数据视图给虚拟数据视图发布服务器550。

步骤704，虚拟数据视图发布服务器550根据虚拟数据视图，对数据属性信息进行关联分析，并存储该虚拟数据视图到图数据库中，同时，发送该虚拟数据视图给虚拟数据视图发布门户580。

步骤705，数据分析方520登录到数据视图发布门户580，通过查看虚拟数据视图发布服务器550发布的虚拟数据视图，获得待分析的视频流数据的数据属性信息。

需要说明的是，根据数据分析方520的访问权限，可以选择已发布的虚拟数据视图中的部分数据属性进行查看，因此，不同的数据数据分析方520所查看到的数据属性不同，获得的待授权数据的标识不同。数据分析方520还可以查看到数据当前的存储位置和存储环境信息等，以方便数据分析方520按照这些信息，设计开发对应的数据分析算法。

步骤706，数据分析方520通过数据视图发布门户580向虚拟数据视图发布服务器550提交数据的授权请求，该授权请求中包括数据分析算法和待授权数据的标识。

步骤707，虚拟数据视图发布服务器550向数据访问控制代理组件561提交数据分析方520发送的授权请求。

步骤708，数据访问控制代理组件561向数据发现代理组件562发送授权审批请求，该授权审批请求中包括待分析数据的数据分析算法和访问权限。

步骤709，数据拥有方510通过数据发现代理组件562，对待授权数据的访问权限进行审批，同时，对其数据分析算法进行审核。在确定待授权数据的访问权限审批通过，并且其数据分析算法也审核通过时，生成授权审批响应。

其中，授权审批响应包括授权信息和实时访问策略。该授权信息至少包括使用者授权、使用时间授权、数据操作授权、行过滤授权和脱敏授权中的任一种。实时访问策略的类型至少包括允许、拒绝、允许例外、拒绝例外中的任一种。

步骤710，数据发现代理组件562发送授权审批响应给数据访问控制代理组件561。

步骤711，数据访问控制代理组件561记录并存储待分析数据的授权审批过程和授权审批响应中的实时访问策略。

需要说明的是，数据访问控制代理组件561会依据实时访问策略，生成并记录策略版本号；若实时访问策略发生变更，则对应的策略版本号也会变化，第三方设备610中的各个服务器和组件每间隔预设时长(例如，1秒或2秒等)，都会自动进行数据同步，以保证最新版的实时访问策略的同步。

步骤712，数据访问控制代理组件561将通过数据拥有方510的授权许可的数据分析算法发送到虚拟数据视图发布门户580上，使得数据分析方通过该虚拟数据视图发布门户580能够获知授权审批响应。

步骤713，虚拟数据视图发布门户580发布代理分析专用机570的VNC访问接口给数据分析方520。

步骤714，数据分析方520通过代理分析专用机570的VNC访问接口，访问代理分析专用机570。

步骤715，代理分析专用机570通过与第三方设备610中的各个组件进行交互，对待分析数据进行分析，获得待审核分析结果。

步骤716，在对待分析数据进行分析的过程中，数据访问控制代理组件561用于执行实时访问策略，捕获对待分析数据的操作信息，并对该操作信息进行审计，获得审计结果，同时记录该操作信息和审计结果至日志审计服务器530中。

步骤717，代理分析专用机570将待审核分析结果发送给数据授权控制服务器540，使得数据授权控制服务器540能够对该待审核分析结果进行审核，待审核通过后，获得审核通过的分析结果.

步骤718，发送分析结果至代理分析专用机570，并保存该分析结果至代理分析专用机570的特定文件夹下。

需要说明的是，数据拥有方510可通过数据访问控制门户查看并获得分析结果，数据分析方520可通过虚拟数据视图发布门户580查看并获得该分析结果。在完成对待分析数据的分析后，第三方设备610需要关闭VNC访问接口，收回发布给数据分析方520的访问控制授权。

在本实施例中，通过对待分析数据的数据属性信息进行分析，生成虚拟数据视图，保证在不泄露真实数据的前提下，让数据分析方知晓数据内容；使得不同的数据分析方可以对数据拥有方的数据集进行访问和分析，数据拥有方根据数据分析方上报的数据分析算法，生成不同的访问策略，并对数据分析方进行授权，在不改变原有数据结构前提下，数据分析方可以在合法授权及有效监管的条件下，对数据进行合理使用和分析；通过数据分析方和数据拥有方对分析结果的双向审核和审计，使得能够保证数据的安全性，同时记录并保持对数据的操作信息和审计结果，确保了数据分析过程的可追溯性。

实施例六

本申请实施例提供了一种电子设备。图8为可以实现根据本申请实施例的数据分析方法和装置的电子设备的示例性硬件架构的结构图。

如图8所示，电子设备800包括输入设备801、输入接口802、中央处理器803、存储器804、输出接口805、以及输出设备806。其中，输入接口802、中央处理器803、存储器804、以及输出接口805通过总线807相互连接，输入设备801和输出设备806分别通过输入接口802和输出接口805与总线807连接，进而与电子设备800的其他组件连接。

具体地，输入设备801接收来自外部(例如，数据拥有方)的输入信息，并通过输入接口802将输入信息传送到中央处理器803；中央处理器803基于存储器804中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器804中，然后通过输出接口805将输出信息传送到输出设备806；输出设备806将输出信息输出到计算设备800的外部供用户使用。

在一个实施例中，图8所示的电子设备800可以被实现为一种网络设备，该网络设备可以包括：存储器，被配置为存储程序；处理器，被配置为运行存储器中存储的程序，以执行上述实施例描述的任意一种数据分析方法。

根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸存储介质被安装。

实施例七

本申请实施例提供了一种电子设备。图9为可以实现根据本申请实施例的数据授权方法和装置的电子设备的示例性硬件架构的结构图。

如图9所示，电子设备900包括输入设备901、输入接口902、中央处理器903、存储器904、输出接口905、以及输出设备906。其中，输入接口902、中央处理器903、存储器904、以及输出接口905通过总线907相互连接，输入设备901和输出设备906分别通过输入接口902和输出接口905与总线907连接，进而与电子设备900的其他组件连接。

具体地，输入设备901接收来自外部(例如，数据分析方)的输入信息，并通过输入接口902将输入信息传送到中央处理器903；中央处理器903基于存储器904中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器904中，然后通过输出接口905将输出信息传送到输出设备906；输出设备906将输出信息输出到计算设备900的外部供用户使用。

在一个实施例中，图9所示的电子设备900可以被实现为一种网络设备，该网络设备可以包括：存储器，被配置为存储程序；处理器，被配置为运行存储器中存储的程序，以执行上述实施例描述的任意一种数据授权方法。

根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸存储介质被安装。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (17)

1.一种数据分析方法，其特征在于，所述方法包括：

响应于数据拥有方发送的虚拟数据视图，生成并发送授权请求给所述数据拥有方，所述授权请求包括数据分析算法和待授权数据的标识；

接收所述数据拥有方反馈的授权响应，获得授权信息和实时访问策略；

依据所述实时访问策略和所述授权信息，对所述待授权数据进行访问和分析，获得数据分析结果。

2.根据权利要求1所述的方法，其特征在于，所述依据所述实时访问策略和所述授权信息，对所述待授权数据进行访问和分析，获得数据分析结果，包括：

依据所述实时访问策略和所述授权信息，对所述待授权数据进行访问和分析，获得待审核分析结果；

对所述待审核分析结果进行审核，获得第一审核结果；

将所述待审核分析结果发送给所述数据拥有方进行审核，获得所述数据拥有方反馈的第二审核结果；

若确定所述第一审核结果和所述第二审核结果均为审核通过，则获得所述数据分析结果。

3.根据权利要求1所述的方法，其特征在于，在所述依据所述实时访问策略和所述授权信息，对所述待授权数据进行访问和分析，获得数据分析结果步骤之后，还包括：

记录所述待授权数据被访问的操作信息，同时对所述操作信息进行审计，获得审计结果；

保存所述审计结果至日志文件中。

4.根据权利要求1所述的方法，其特征在于，在所述依据所述实时访问策略和所述授权信息，对所述待授权数据进行访问和分析，获得数据分析结果步骤之前，还包括：

获取历史访问策略；

对比所述历史访问策略和所述实时访问策略，获得对比结果；

若确定所述对比结果是访问策略发生变更，则使用所述实时访问策略同步更新所述历史访问策略。

5.根据权利要求1所述的方法，其特征在于，在所述接收所述数据拥有方反馈的授权响应，获得授权信息和实时访问策略步骤之后，还包括：

依据所述实时访问策略，生成并记录策略版本号。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述授权信息至少包括使用者授权、使用时间授权、数据操作授权、行过滤授权和脱敏授权中的任意一种。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述实时访问策略至少包括策略类型，所述策略类型至少包括允许、拒绝、允许例外和拒绝例外中的任意一种。

8.一种数据授权方法，其特征在于，所述方法包括：

依据待分析数据，生成并发送虚拟数据视图给数据分析方；

接收所述数据分析方发送的授权请求，获得数据分析算法和待授权数据的标识；

依据所述数据分析算法和所述待授权数据的标识，生成并发送授权响应给所述数据分析方，以使所述数据分析方获取到所述授权响应中的授权信息和实时访问策略，并依据所述授权信息和实时访问策略对所述待授权数据进行访问和分析，获得数据分析结果。

9.根据权利要求8所述的方法，其特征在于，所述依据待分析数据，生成并发送虚拟数据视图给数据分析方步骤，包括：

对所述待分析数据进行属性采集，获得所述待分析数据的数据属性信息；

依据所述数据属性信息，对所述待分析数据进行关联分析，生成所述虚拟数据视图；

发送所述虚拟数据视图给数据分析方。

10.根据权利要求8所述的方法，其特征在于，所述依据所述数据分析算法和所述待授权数据的标识，生成并发送授权响应给所述数据分析方，包括：

对所述数据分析算法和所述待授权数据进行审核，若确定审核通过，则生成所述授权信息和所述实时访问策略；

依据所述授权信息和所述实时访问策略，生成并发送所述授权响应给所述数据分析方。

11.根据权利要求8所述的方法，其特征在于，在所述获得数据分析结果步骤之后，还包括：

关闭所述数据分析方对所述待分析数据的访问权限；

回收所述实时访问策略。

12.根据权利要求9所述的方法，其特征在于，所述数据属性信息至少包括数据库级信息、数据库存储位置信息、数据表级信息、数据列信息、数据关联关系信息、行为变化审计信息、数据血缘关系信息和数据派生关系信息中的任意一种。

13.根据权利要求12所述的方法，其特征在于，所述数据库级信息至少包括数据库的名称、数据库所有者、数据库描述信息和数据库类型中的任一项；

所述数据表级信息至少包括数据表的名称、数据表所有者信息、数据表描述信息、数据表类型信息、数据表列信息、数据表创建时间信息、数据表所属库信息、数据表最后接入时间信息、数据表总体容量大小信息和数据表行数信息中的任一项；

所述数据列信息至少包括列名称、列所有者、列类型和列所属表中的任一项；

所述数据关联关系信息至少包括所述数据库、所述数据表和数据字段之间的关联信息；

所述行为变化审计信息至少包括所述数据库、所述数据表和所述数据列之间的变化信息；

所述数据派生关系信息至少包括数据之间的派生关系和派生语句中的任一项。

14.一种数据分析装置，其特征在于，包括：

第一发送模块，用于响应于数据拥有方发送的虚拟数据视图，生成并发送授权请求给所述数据拥有方，所述授权请求包括数据分析算法和待授权数据的标识；

第一接收模块，用于接收所述数据拥有方反馈的授权响应，获得授权信息和实时访问策略；

访问分析模块，用于依据所述实时访问策略和所述授权信息，对所述待授权数据进行访问和分析，获得数据分析结果。

15.一种数据授权装置，其特征在于，包括：

生成模块，用于依据待分析数据，生成虚拟数据视图；

第二发送模块，用于发送所述虚拟数据视图给数据分析方；

第二接收模块，用于接收所述数据分析方发送的授权请求，获得数据分析算法和待授权数据的标识；

授权响应模块，用于依据所述数据分析算法和所述待授权数据的标识，生成并发送授权响应给所述数据分析方，以使所述数据分析方获取到所述授权响应中的授权信息和实时访问策略，并依据所述授权信息和实时访问策略对所述待授权数据进行访问和分析，获得数据分析结果。

16.一种电子设备，其包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至7任意一项所述的方法，或，根据权利要求8至13任意一项所述的方法。

17.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至7任意一项所述的方法，或，根据权利要求8至13任意一项所述的方法。

Images