CN110413765A - 一种海量数据集分析和展示的交互式系统及其方法 - Google Patents

Abstract

本发明公开一种海量数据集分析和展示的交互式系统及其方法，包含：S1、自动提取新加入数据集的元数据；每一个新加入数据集都含有对数据集描述的元数据；S2、对所有的数据集的元数据进行汇总分析，将新加入数据集的元数据信息更新到原有数据集的概要信息中，形成更新后的所有数据集总体的概要信息；S3、通过数据可视化方法在界面上展示所有数据集总体的概要信息，得到数据集的可视化展示内容并供用户查看、探索和获取，使得用户根据自身需求与数据集的可视化展示内容进行交互。本发明能将海量数据集在前端的屏幕界面以数据可视化的方式组织起来，并使用户交互地了解数据集内容，快速定位自己感兴趣的数据集，以便下载数据集或者分享数据集等。

Description

一种海量数据集分析和展示的交互式系统及其方法

技术领域

本发明属于数据管理技术领域，特别涉及一种海量数据集分析和展示的交互式系统及其方法。

背景技术

随着信息化进程和科学技术的不断发展，进入数字信息时代后各种电子数据产生的越来越多，大量原有纸质的数据已经逐步转化为电子化，金融、科学、生活等领域中各种处理和记录系统产生的数据已经呈现海量化。各种应用网站每天产生的日志数据和每天用户上传的数据等都达到TB等级，甚至更多。如此海量数据的分类、管理与展示和分析已经成为多方认识的热点问题。目前，海量数据集的分类、管理与展示和分析所面临的问题是：对于全部数据集，很难从宏观角度方便地概括性描述和展示。

基于上述原因，为了便于用户能够快速了解数据集的全貌并进一步快速深入具体某个数据集，研发一种海量数据集分析和展示的交互式系统及其方法实为必要。

发明内容

本发明提供了一种海量数据集分析和展示的交互式系统及其方法，其能够汇总、展示数据集，并提供探索式的交互方式使得用户可以充分了解数据集的全貌，以便更好地选择数据集，还可以进一步探索每一个数据集。

为了达到上述目的，本发明通过以下技术方案实现：

一种海量数据集分析和展示的交互式方法，其特征在于，该方法包含以下步骤：

S1、自动提取新加入数据集的元数据，其中，每个新加入数据集都含有对数据集描述的所述元数据；

S2、对所有的数据集的元数据进行汇总分析，将新加入数据集的元数据信息更新到原有数据集的概要信息中，形成更新后的所有数据集总体的概要信息；

S3、通过数据可视化方法在可视化展示界面上展示所有数据集总体的概要信息，得到数据集的可视化展示内容并供用户查看、探索和获取，用户根据自身需求与数据集的可视化展示内容进行交互。

优选地，所述步骤S1中，数据集的元数据包含：数据集的来源信息、数据量、数据类别、数据内容标签、数据集含有的字节数、数据集的数据行数、数据集的所属领域与行业、数据集的数据类型、数据集的来源、数据集的存储位置、数据集创建日期、数据集更新日期和数据集版本。

优选地，所述步骤S1中，通过字段匹配的方式或者文本正则匹配的方式完成所述元数据的自动提取。

优选地，所述步骤S2中，基于所有数据集的元数据的提取信息，形成可视化展示界面上展示的概要信息，所述概要信息包括自动提取的元数据信息或者由元数据信息计算出来的信息。

优选地，所述步骤S3中，所述数据可视化方法包括：直方图可视化、条形图可视化、柱状图可视化、数据矩阵可视化、热图可视化、折线图可视化和地图可视化。

优选地，所述步骤S3中，进一步包含：用户注册为交互式系统的用户，并以注册用户身份登录所述交互式系统，所述交互式系统记录用户与数据集的展示界面的交互式操作过程，并根据用户之前与展示界面的展示内容所交互的记录而向其展示个性化的内容，以提升用户体验。

优选地，所述交互式操作过程是指用户通过包含鼠标、触摸屏在内的外部输入设备与数据集的展示界面的互动操作；所述交互式操作过程包括鼠标键的点击动作、拖拽动作以及光标在展示界面上的移动动作的各种记录数据。

优选地，所述步骤S3中，用户通过查看数据集的可视化展示内容进行探索性分析，用以定位自身期待选择的数据集，并对选择的数据集做进一步的操作；其中，所述探索性分析包含：

通过移动光标，查看可视化展示内容中各个数据集的细节内容；

交互式系统根据光标所处位置，给出不同数据集的提示性内容；

用户通过点击鼠标用以标记数据集；

用户通过点击字段类别用以重新排列数据集；

用户通过点击数据集类别用以进入该类数据集展示页面；

用户通过拖拽一数据集，用以改变可视化展示界面的外观；

所述进一步的操作包含：用户下载数据集、分享数据集给其他用户、评价数据集、收藏数据集和预览数据集。

优选地，所述标记数据集是指用户通过光标并结合鼠标点击进行标记数据集或者通过其他外部设备的输入方法来选择数据集，其中，可视化展示界面上显示有数据集的标记痕迹。

本发明还公开了一种采用如上文所述的交互式方法的海量数据集分析和展示的交互式系统，包含：

提取模块，自动提取新加入数据集的元数据；

分析模块，接收所述提取模块发送的新加入数据集的元数据后，并对所有的数据集的元数据进行汇总分析，将新加入数据集的元数据信息更新到原有数据集的概要信息中，形成更新后的所有数据集总体的概要信息；

展示交互模块，接收所述分析模块传送的所有数据集总体的概要信息，并通过数据可视化方法进行展示，得到数据集的可视化展示内容并供用户查看、探索和获取，用户根据自身需求与数据集的可视化展示内容进行交互。

与现有技术相比，本发明的有益效果为：本发明能够将海量数据集在前端的屏幕界面以数据可视化的方式组织起来，并使用户可以交互地了解数据集内容，可以快速定位自己感兴趣的数据集，以便下载数据集或者分享数据集等等。

附图说明

图1为本发明的海量数据集分析和展示的交互方法的流程示意图；

图2为本发明的数据矩阵的可视化展示界面示意图；

图3为本发明的用户标记数据集与数据集提示信息样式图；

图4为本发明的开始拖拽时的效果图；

图5为本发明的拖拽完成时的效果图；

图6为本发明的“技术信息”数据集数量为焦点时的行业排序情况图；

图7为本发明的某个行业数据集内的各个类别数据的详细信息图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，本发明还提供了一种海量数据集分析和展示的交互方法，该方法包含以下步骤：

S1、自动提取新加入数据集的元数据；

S2、基于所有的数据集的元数据进行汇总分析，则新加入数据集的元数据信息也更新到原已有的数据集概要信息中，从而形成更新后的所有数据集总体的概要信息；

S3、然后通过数据可视化的方法将所有数据集总体的概要信息展示出来，则用户可以查看可视化展示内容，以获得详细的由数据集元数据产生的概要信息，并根据自己的需求与数据集的可视化展示内容进行交互。

本发明提供了一种海量数据集分析和展示的交互式系统及方法，该交互式系统(也可称交互式框架)包含提取模块、分析模块和展示交互模块。

其中，提取模块用于自动提取新加入数据集的元数据，并将其发送至分析模块，分析模块基于所有的数据集的元数据进行汇总分析，对数据集的元数据做概要信息计算分析，并将得到的概要信息传送至所述展示交互模块，展示交互模块以数据可视化的方法将所有数据集总体的概要信息展示出来。

特别说明的是，首先必须确保每一个新加入的数据集都含有对数据集描述的元数据，供所述提取模块进行提取。例如，每一个数据集导入适合海量数据存储的HDFS文件系统时，都会自动将该数据集的元数据文档拷贝到文档数据库MongoDB中。

由上可知，本发明的海量数据集分析和展示的交互式系统是指一种集成了后台数据分析和前端用户交互的软件平台，其中，这里的分析是指后台针对数据集的元数据做概要信息计算分析；展示交互是指其前端基于数据集概要信息的可视化展示，用户可以通过与该展示界面的互动操作，调整展示方式，以获得更多洞察。

所述步骤S1中，所述的“自动提取新加入数据集的元数据”的过程包含如下：

每一个数据集自带有元数据，元数据包含了数据集的来源信息、数据量、数据类别、数据内容标签、数据集含有的字节数、数据集的数据行数、数据集的所属领域和行业、数据集的数据类型、数据集的来源、数据集的存储位置、数据集创建日期、数据集更新日期、数据集版本等等内容；且“自动提取”是指为了形成能够描述全部数据集总体的“概要信息”而进行的元数据提取操作，可以通过字段匹配或者文本正则匹配的方式完成的。

所述步骤S2中，所述的“汇总分析”的过程包含如下：

基于所有数据集的元数据提取信息，通过描述性统计分析等方法，计算出可以在前端展示的概要信息，比如计算各个行业、各个类别的数据集数量；即汇总分析是对元数据信息进行分析的操作过程，概要信息是汇总分析的结果。本发明的系统框架所展示和供交互分析、探索的数据，就是来自于概要信息。该概要信息可以包括自动提取的元数据信息，也可以包含由元数据信息计算出来的信息。例如：由文本中提取的信息以及通过数值计算得到的信息。

所述步骤S3中，所述的“数据可视化的方法”是指：以一种图形化的方法，展示数据集的概要特征；具体可以包括但不限于以下数据可视化方法：直方图、条形图、柱状图、数据矩阵、热图、折线图和地图。

本发明中，用户可以注册为交互式系统的用户，用户以注册用户身份登录本发明的交互式系统，用户与数据集展示界面的交互式操作过程可以被交互式系统记录，则交互式系统会根据用户之前与前端展示内容交互的记录，向其展示个性化的内容，以提升用户体验。其中，所述的“交互式操作过程”，是指：用户通过例如鼠标这种外部设备，与数据可视化展示界面进行的互动操作，包括鼠标键的点击动作、拖拽动作、光标在数据可视化展示界面上的移动动作等等动作的记录数据。

本发明中，用户可以与展示内容交互，做深入的探索性分析。进一步地，用户在充分的探索性分析的基础上，快速定位自己感兴趣的数据集，对数据集做进一步的操作。

其中，所述的“探索性分析”是指用户可以在数据可视化展示界面上，查看所有数据集的概要信息。该探索性分析包含但不限于以下交互方法：

(1)通过移动光标，查看可视化展示中各个数据集的细节内容；

(2)交互式系统根据光标所处位置，给出不同数据集的提示性内容；

(3)用户可以点击鼠标以标记数据集；

(4)用户可以点击字段类别以重新排列数据集；

(5)用户可以点击数据集类别以进入该类数据集展示页面；

(6)用户可以拖拽某个数据集，改变可视化展示的外观，以便更清楚地了解海量数据集的架构、组成以及细节，从总体上把握数据集。

所述的“标记数据集”，是指：用户可以使用鼠标，用光标结合鼠标点击，或者其他外部设备的输入方法，来选择数据集，确定自己感兴趣的领域的数据集，同时，在数据可视化界面上也可以看到用户标记该数据集的标记痕迹。

所述的“对数据集做进一步的操作”，是指：用户可以下载数据集、分享数据集给其他用户、评价数据集、收藏数据集和预览数据集。

以下列举一个具体实施例进行详细说明：

对于一个工业数据集集合，每个数据集就是一个CSV文档，这些数据集来自钢铁、电力、化工等等九个行业，涵盖技术、人才、产品等等多个维度。每一个数据集在生成时，都会同步生成一个同名的元数据文档，描述该数据集的元数据信息有数据来源、数据集字节数，数据集标签、数据集所属行业、类别的部分内容。

每一个数据集导入适合海量数据存储的HDFS文件系统时，都会自动将该数据集的元数据文档拷贝到文档数据库MongoDB中。本发明的交互式框架系统会定期检查文档数据库MongoDB中元数据文档，自动计算生产海量数据集的概要信息，以文件的形式保存；如果元数据文件有更新，那么就相应地更新概要信息文件。

在本实施例中，对于这个工业数据集集合，系统按照数据集所属行业标签以及数据集类别，计算各个行业各个类别的数据集数量并作为数据集集合的概要信息。

其中，对于每一个新加入的数据集，系统会自动提取其元数据信息，并同步更新数据集集合的概要信息。概要信息最后形成一个数据矩阵，数据矩阵的行的标题分别是九个行业的名称：石油化工，钢铁工业，电力工业等等；数据矩阵的列的标题分别是数据的类别：技术信息、人才信息、产品信息等等；矩阵的内容就是通过汇总分析得出的各个行业和各个类别的数据集的数量。

上述数据集的概要信息在系统框架前端，并以数据矩阵的数据可视化方式显示，如图2所示。图2中，水平方向是指不同行业，垂直方向是指每个行业的不同类别，这样构成了一个数据集的矩阵。

进一步，采用数据可视化的方法，对于每个行业的每个类别，以矩阵数值填充展示界面的矩阵方格，表明各个行业各个类别包含的数据集数量；其中，所述矩阵方格用同一种色彩的不同饱和度填充，呈现出来的效果是：数字越大，其对应的色彩饱和度越深，表明其包含的数据集越多，这种设计与人对数量的直觉一致。由此，本发明充分利用了数据可视化方法，让数据集用户能够快速直观地了解海量数据集的总体数量概况。

在上述数据可视化展示基础上，用户可以基于此数据矩阵，展开探索性分析，具体如下：

(1)用户可以将光标移到感兴趣的数据上，点击一下鼠标左键，标记数据集。这时，用户标记过的数据集就显示为带星标的数据集，如图3左上角数据集所示。

(2)用户可以将光标停留在其中某一个矩阵方格上，如果停留的时间超过1秒钟，数据矩阵会弹出信息框，给出该矩阵方格数据集的详细信息，包括数据集数量148和数据集字节数218MB，如图3的“工程机械-展会信息”位置所示。

(3)进一步，用户可以将光标放置在其中某一个矩阵方格上，点按鼠标左键不放开，拖拽该方格，将该矩阵方格沿水平方向或者垂直方向或者斜向移动，按照自己的需要调整数据矩阵方格的排列顺序，以方便探索、分析。

如图3、图4和图5结合所示，初始显示为图3，将图3的第3行第5列的“工程机械-展会信息”矩阵方格拖拽(图4)到第1行第1列的位置(图5)，图4经过拖拽后成为图5。这种拖拽操作，其本质是通过前端界面改变系统框架后台的汇总矩阵数据的过程。具体实施上，其是通过文档对象模型DOM(Document Object Model)沟通系统框架的前端显示和网页源代码中的数据信息：当用户拖拽光标时，由DOM表达的矩阵显示内容就检测到这种拖拽动作，并相应地在后台修改网页源代码中的数据矩阵，从而调整了数据矩阵的前端显示效果。

根据后台提供的矩阵数据，生成包含数据集数量的单元格组成的表格(通过document.createElement方法及appendChild方法等)，并在完成表格的创建后对所有单元格进行dragStart、dragOver以及drop事件的注册。其中，dragStart和drop事件的事件处理函数中，分别包含获取用户起始拖拽时的单元格和结束拖拽时的单元格在矩阵中的行、列位置的功能。当用户试图通过拖拽修改矩阵的排列时，首先会触发dragStart事件处理函数，函数记录下用户开始拖拽时对应单元格在相关矩阵中的位置信息；在用户结束拖拽操作时，会触发drop事件处理函数，函数将记录下用户结束拖拽时对应单元格在相关矩阵中的位置信息。这样，通过对比拖拽起始时和结束时单元格的位置信息，依次交换这两个单元格所在的整行及整列，并在位置信息调整操作完成后，重新执行表格生成的代码完成视图的更新。

比如，拖拽之前，前端数据矩阵显示对应的后台的数据矩阵如下：

其中，如果拖拽矩阵中的8到6的位置放开，那么实际的操作结果应该是第2行与第3行交换，第1列与第2列交换，结果如下：

进一步，用户可以将光标放在上方某一“类别”上，点击鼠标左键一下，则整个数据矩阵会聚焦这个“类别”，以该类别的数据集数量降序重排数据矩阵，如图6所示，展示的就是以“技术信息”数据集数量降序排列的结果，可以看出各个行业在以“技术信息”数据集数量为焦点时的排序情况。这种探索性分析对了解数据集的构成和行业特点有重要意义。

进一步，用户可以将光标放在左侧某一“行业”上，点击鼠标左键一下，进入该行业数据集界面，如图7所示，用户可以进一步查看、下载相应的数据集：

进一步，框架系统会记录注册用户的每一项互动操作以及数据矩阵的展示结果、标记结果，以便在用户下次登录后，看到前次退出系统时的界面。这样给用户很好的使用体验。

综上所述，在本发明的系统框架之下，用户可以通过数据可视化展示界面，了解数据集的概要信息，并能够与数据集概要信息进行交互式操作，以便过滤、筛选数据集，了解海量数据集的全貌；还可以快速定位自己感兴趣的数据集，并对数据集下载或者分享等等操作。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种海量数据集分析和展示的交互式方法，其特征在于，该方法包含以下步骤：

S1、自动提取新加入数据集的元数据，其中，每个新加入数据集都含有对数据集描述的所述元数据；

S2、对所有的数据集的元数据进行汇总分析，将新加入数据集的元数据信息更新到原有数据集的概要信息中，形成更新后的所有数据集总体的概要信息；

S3、通过数据可视化方法在可视化展示界面上展示所有数据集总体的概要信息，得到数据集的可视化展示内容并供用户查看、探索和获取，用户根据自身需求与数据集的可视化展示内容进行交互。

2.如权利要求1所述的海量数据集分析和展示的交互式方法，其特征在于，所述步骤S1中，数据集的元数据包含：数据集的来源信息、数据量、数据类别、数据内容标签、数据集含有的字节数、数据集的数据行数、数据集的所属领域与行业、数据集的数据类型、数据集的来源、数据集的存储位置、数据集创建日期、数据集更新日期和数据集版本。

3.如权利要求1所述的海量数据集分析和展示的交互式方法，其特征在于，所述步骤S1中，通过字段匹配的方式或者文本正则匹配的方式完成所述元数据的自动提取。

4.如权利要求1所述的海量数据集分析和展示的交互式方法，其特征在于，所述步骤S2中，基于所有数据集的元数据的提取信息，形成可视化展示界面上展示的概要信息，所述概要信息包括自动提取的元数据信息或者由元数据信息计算出来的信息。

5.如权利要求1所述的海量数据集分析和展示的交互式方法，其特征在于，所述步骤S3中，所述数据可视化方法包括：直方图可视化、条形图可视化、柱状图可视化、数据矩阵可视化、热图可视化、折线图可视化和地图可视化。

6.如权利要求1所述的海量数据集分析和展示的交互式方法，其特征在于，所述步骤S3中，进一步包含：用户注册为交互式系统的用户，并以注册用户身份登录所述交互式系统，所述交互式系统记录用户与数据集的展示界面的交互式操作过程，并根据用户之前与展示界面的展示内容所交互的记录而向其展示个性化的内容，以提升用户体验。

7.如权利要求6所述的海量数据集分析和展示的交互式方法，其特征在于，所述交互式操作过程是指用户通过包含鼠标、触摸屏在内的外部输入设备与数据集的展示界面的互动操作；

所述交互式操作过程包括鼠标键的点击动作、拖拽动作以及光标在展示界面上的移动动作的各种记录数据。

8.如权利要求1所述的海量数据集分析和展示的交互式方法，其特征在于，所述步骤S3中，用户通过查看数据集的可视化展示内容进行探索性分析，用以定位自身期待选择的数据集，并对选择的数据集做进一步的操作；其中，所述探索性分析包含：

通过移动光标，查看可视化展示内容中各个数据集的细节内容；

交互式系统根据光标所处位置，给出不同数据集的提示性内容；

用户通过点击鼠标用以标记数据集；

用户通过点击字段类别用以重新排列数据集；

用户通过点击数据集类别用以进入该类数据集展示页面；

用户通过拖拽一数据集，用以改变可视化展示界面的外观；

所述进一步的操作包含：用户下载数据集、分享数据集给其他用户、评价数据集、收藏数据集和预览数据集。

9.如权利要求8所述的海量数据集分析和展示的交互式方法，其特征在于，所述标记数据集是指用户通过光标并结合鼠标点击进行标记数据集或者通过其他外部设备的输入方法来选择数据集，其中，可视化展示界面上显示有数据集的标记痕迹。

10.一种采用如权利要求1-9任意一项所述的交互式方法的海量数据集分析和展示的交互式系统，其特征在于，包含：

提取模块，自动提取新加入数据集的元数据；

分析模块，接收所述提取模块发送的新加入数据集的元数据后，并对所有的数据集的元数据进行汇总分析，将新加入数据集的元数据信息更新到原有数据集的概要信息中，形成更新后的所有数据集总体的概要信息；

展示交互模块，接收所述分析模块传送的所有数据集总体的概要信息，并通过数据可视化方法进行展示，得到数据集的可视化展示内容并供用户查看、探索和获取，用户根据自身需求与数据集的可视化展示内容进行交互。