CN112579539A - 企业集群大数据的管理方法及系统 - Google Patents

Abstract

本申请公开了一种企业集群大数据的管理方法及系统，该方法包括：获取目标数据的标签列表，所述标签列表包括至少一级标签，所述至少一级标签用于指示所述目标数据的属性信息和/或上传所述目标数据的目标员工的基本信息，基于所述标签列表，确定所述目标数据的目标标签标识，基于所述标签标识与所述内存块之间的映射关系，确定所述目标标签标识对应的目标内存块，将所述目标内存块分配给所述目标数据。本申请通过标签列表来确定目标数据的受众对象可以有效地解决员工的变动而引起的数据的管理不当的问题，同时将相同标识的数据存储于同一内存块，减少遍历内存的时间，可以使用户快速且精准的找到所需的数据。

Description

企业集群大数据的管理方法及系统

技术领域

本申请涉及计算机技术领域，尤其涉及一种企业集群大数据的管理方法及系统。

背景技术

在大中小企业发展中都普遍存在这样一个问题，随着公司的逐渐壮大，项目的持续积累，员工的存续迭代，产生了大量含有员工宝贵经验和数据的文档。这些文档若不进行线上的统一管理，则很难做到数据的体系化和规范化，部分数据和经验也可能随着关键员工的离职而损失。所以，大多数企业都引入了企业级wiki，将企业积累的办公场景下的数据文档集中在一个位置，成为企业内部的搜索引擎。

与此同时，引入了一个新的问题：有着海量的数据后，如何管理这些数据，使得员工能够快速且精准的找到所需的数据。大多数企业级wiki在这一用户需求上的能力是很薄弱的，影响甚至拖慢了数据的传递和办公的效率。

发明内容

本申请实施例提供一种企业集群大数据的管理方法及系统，可以使用户快速且精准的找到所需的数据。

第一方面，本申请实施例提供一种企业集群大数据的管理方法，所述方法包括：

获取目标数据的标签列表，所述标签列表包括至少一级标签，所述至少一级标签用于指示所述目标数据的属性信息和/或上传所述目标数据的目标员工的基本信息；

基于所述标签列表，确定所述目标数据的目标标签标识；

基于所述标签标识与所述内存块之间的映射关系，确定所述目标标签标识对应的目标内存块；

将所述目标内存块分配给所述目标数据。

第二方面，本申请实施例提供一种企业集群大数据的管理方法系统，所述系统包括：

获取单元，用于获取目标数据的标签列表，所述标签列表包括至少一级标签，所述至少一级标签用于指示所述目标数据的属性信息和/或上传所述目标数据的目标员工的基本信息；

确定单元，用于基于所述标签列表，确定所述目标数据的目标标签标识；

所述确定单元，还用于基于所述标签标识与所述内存块之间的映射关系，确定所述目标标签标识对应的目标内存块；

分配单元，用于将所述目标内存块分配给所述目标数据。

第三方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

可以看出，本申请提供的技术方案获取目标数据的标签列表，所述标签列表包括至少一级标签，所述至少一级标签用于指示所述目标数据的属性信息和/或上传所述目标数据的目标员工的基本信息，基于所述标签列表，确定所述目标数据的目标标签标识，基于所述标签标识与所述内存块之间的映射关系，确定所述目标标签标识对应的目标内存块，将所述目标内存块分配给所述目标数据。本申请通过标签列表来确定目标数据的受众对象可以有效地解决员工的变动而引起的数据的管理不当的问题，同时将相同标识的数据存储于同一内存块，减少遍历内存的时间，可以使用户快速且精准的找到所需的数据。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种网络架构示意图；

图2是本申请实施例提供了一种企业集群大数据的管理方法的流程示意图；

图3是本申请实施例提供的α*β*3矩阵的示意图；

图4本申请实施例提供了一种企业集群大数据的管理系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是在一个可能的示例中还包括没有列出的步骤或单元，或在一个可能的示例中还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

请参见图1，图1为本申请实施例提供的一种网络架构示意图，在该网络架构包括服务器110和多个终端设备120。服务器110用于管理和存储终端设备120上传的多种数据。

如图1所示，终端设备120可以与服务器31通过无线网络进行通信，终端设备120可将工作时的数据上传至服务器110，服务器110接收到终端设备120上传的数据后可根据该数据的标签和数据类型存储至相应的内存块中。当终端设备120需要搜索相应标签的数据时，服务器110可以根据终端设备120输入的标签查找对应的内存块；然后将该内存块中的数据发送给终端设备120，从而可以减少遍历内存的时间，提高数据的查找速度。

其中，服务器110可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备120可以是智能车载、智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端设备120与服务器110之间可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

需要说明的是，图1只是以示例的形式示意一种网络架构，当然，在网络架构中还可以包括其他设备，例如云端设备等。本申请对可适用于的网络架构不作具体限定。

请参阅图2，图2是本申请实施例提供了一种企业集群大数据的管理方法的流程示意图，该方法可以在如图1所示的网络架构上执行，如图2所示，本企业集群大数据的管理方法包括以下操作。

S210、获取目标数据的标签列表，所述标签列表包括至少一级标签，所述至少一级标签用于指示所述目标数据的属性信息和/或上传所述目标数据的目标员工的基本信息。

其中，所述标签列表包括一级标签、二级标签和三级标签中的至少一种。所述一级标签可以是用于描述上传目标数据的目标员工的基本信息的标签，例如，一级标签可以包括姓名、工作年限、职位、部门、任职状态等。所述二级标签和所述三级标签可以是用于描述目标数据的属性信息的标签。具体所述二级标签可以包括所述目标数据的基本属性信息，例如，二级标签可以包括目标数据的修改时间、数据类型、数据来源等；所述三级标签可以包括目标用户标注的属性信息，例如，用途、项目名称、部门名称等。

可选的，所述获取目标数据的标签列表，包括：

获取所述目标员工的人脸图像和上传所述目标数据的目标设备标识，将所述人脸图像与数据库中保存的员工的脸部信息进行匹配，在所述人脸图像与数据库中保存的目标员工的脸部信息匹配上时，从所述数据库中获取所述目标员工的至少一个设备标识，若所述至少一个设备标识包括所述目标设备标识，则将所述目标员工对应的基本信息作为所述一级标签；

获取所述目标数据的文件名，对所述文件名进行特征提取，得到目标特征集，将所述目标特征集输入到预先训练好的数据模型中，得到所述文件名对应的至少一个第一标签，将所述至少一个第一标签作为所述二级标签；

若所述目标员工在上传所述目标数据时对所述目标数据标注了至少一个第二标签，则将所述至少一个第二标签作为所述三级标签。

在本申请实施例中，为保证企业数据的安全性，在进行数据的上传和下载是，首先需要确认员工的身份，在目标员工上传目标数据时，可以开启目标员工使用的终端设备的拍照设备或监控设备，对目标员工的人脸图像进行采集，得到目标员工的人脸图像，将所述人脸图像与保存的该目标员工的脸部图像进行匹配，目标员工可以与登录账号预先绑定，员工登录之后，则可以从服务器中提取出与该登录账号绑定的员工的信息。具体为获取人脸图像对应的第一特征向量和获取保存的脸部图像的第二特征向量，将第一特征向量和第二特征向量进行匹配，得到目标匹配值，具体匹配算法可以采用SSIM、欧式距离、汉明距离、神经网络算法中的至少一种，在此不作限定，最后，对目标匹配值进行判定，当目标匹配值大于预设阈值时，则认为目标员工的人脸图像匹配成功，否则匹配失败。进一步地，为防止数据的外传，在识别了员工的身份后，还需要对上传目标数据的终端设备进行识别。具体为将上传所述目标数据的目标设备标识与从服务器中提取出与该登录账号绑定的员工的授权的终端设备标识进行匹配。

在实际应用中，文件的命名一般会包括还文件的关键信息。因此本申请实施例可以通过识别目标数据的名称来获取其二级标签，可以采用预先训练好的数据模型来得到目标数据的二级标签。其中数据模型可以包括：收集多个文件的名称作为训练集，并标注每个文件名称对应的标签。对训练集中的每条文件名称进行特征提取，特征提取方式可以为以下至少一种：语义分割、特征点提取、关键字提取等等，在此不作限定。从而得到特征集，将该特征集输入到待训练的数据模型，得到至少一个标签，将至少一个标签与标注的标签进行对比，构建待训练的数据模型的损失函数，根据损失函数对待训练的数据模型的模型参数进行优化处理，得到训练好的数据模型。

S220、基于所述标签列表，确定所述目标数据的目标标签标识。

具体实现中，标签列表中可以包括多个标签，每一个标签可能会影响目标数据的分类。

可选的，上述S220，基于所述标签列表，确定所述目标数据的标签标识，可以包括以下步骤：

S21、根据所述三级标签、所述二级标签和所述一级标签，确定所述目标数据的受众员工。

其中，随着企业的发展，员工上传的数据会越来越多，数据的标签也会越来越多，为了减少标签与内存块之间映射的冗余，本申请实施例将所述标签进行多级存储，并根据标签列表中的最后一级标签确定对应的受众对象，通过唯一的标签标识来确定内存块，减少了多个标签与内存块之间的映射关系，进而减少了数据冗余存储。

在实际实现中，由于三级标签是目标员工标注的标签，其最能代表目标数据的标签，因此所述三级标签的优先级最大。当表情列表中包括三级标签的时候，直接根据所述三级标签确定所述目标数据的受众对象，例如，在目标员工同时参与了项目A和项目B时，若目标员工标注了目标数据为项目B的中需要输入的图片数据，则可将该目标数据的受众对象确认为项目B所对应的员工。当标签列表中不包括三级标签时，可根据识别出的二级标签确定受众对象，例如，在目标数据的名称为“项目A的产品思维导图第一版”时，可根据识别出的“项目A”标签将该目标数据的受众对象确认为项目A对应的员工；在目标数据的名称为“部门C的人员联系名单”时，可根据识别出的“部门C”标签将该目标数据的受众对象确认为部门C对应的员工。在标签列表中不包括三级标签，且无法从目标数据中的名称中识别出明确带有部门或项目的标签时，可根据一级标签和二级标签确定受众对象，例如，当一级标签中包括了。

S22、若所述受众对象为全体员工，则将所述目标标签标识确定为所述目标员工对应的标识；若所述受众对象为目标部门的员工，则将所述目标标签标识确定为所述目标部门对应的标识；若所述受众对象为目标项目的员工，则将所述目标标签标识确定为所述目标项目对应的标识。

在本申请实施例中，由于企业员工会经常性的变动，因此通过标签列表来确定目标数据的受众对象可以有效地解决员工的变动而引起的数据的管理不当的问题。

S230、基于所述标签标识与所述内存块之间的映射关系，确定所述目标标签标识对应的目标内存块。

其中，在创建一个新的标签标识时，可以建立与该标签标识对应的内存块之间的映射关系。根据该映射关系，员工在搜索时可以快速的查找到相关的数据，提高了查找效率。

可选的，所述基于所述标签标识与所述内存块之间的映射关系，确定所述目标标签标识对应的目标内存块，包括：

将所述内存池进行划分，得到至少一个内存块，再将每一内存块分别划分为多个数据区域，每一数据区域对应一数据类型；

建立所述至少一个内存块与标签标识之间的映射关系；

根据所述映射关系，确定所述目标标签标识对应的目标内存块。

首先，可根据预先配置的内存块类别确定待划分的每个内存块的内存块大小，然后根据待划分的每个内存块的内存块大小，对服务器的内存池进行划分，得到每个内存块类别所对应的内存块。从而便于后续选择内存块时可以根据不同的内存块类别选择不同的内存块进行内存分配，避免空置内存过多导致资源浪费的情况。

本实施例中，每一内存块类别可对应一种内存块大小。例如，可以定义内存块类别分为大内存块和小内存块，如大内存块可以是大于256K的内存，小内存块可以是小于等于256k的内存。然后，将内存块划为多个不同类别，例如可以划分为77个不同类别，用于表示从0到256k的不同内存块。

具体地，在得到目标数据的目标标签标识后，内存块与标签标识之间的映射关系，确定目标数据的目标内存块。

在本申请实施例中，通过对服务器的内存池进行划分，得到多个用于分段的内存块，并将每一内存块分别划分为多个数据区域，从而可以将数据存储到不同的内存块中，在根据数据的类型分配到不同的数据区域中来对数据进行内存管理和分配，由此避免内存管理过程中存在的碎片化问题，节约存储空间的资源，从而提升内存使用效率以及业务数据并发访问的速度。

S240、将所述目标内存块分配给所述目标数据。

具体实现中，确定了目标数据分配的目标内存块后，可根据目标数据占用的存储空间，将目标数据存储于目标内存块中的可复用存储空间大于或等于目标数据占用的存储空间。

可选的，所述将所述目标内存块分配给所述目标数据，包括：

根据所述目标数据的数据类型，确定所述目标数据在所述目标内存块中的目标数据区域；

从所述目标数据区域的首地址进行遍历，查找大于或等于所述目标数据的内存占用量的可复用内存空间，将所述可复用内存空间分配给所述目标数据；

若所述目标数据区域中的可复用内存空间小于所述目标数据占用的存储空间，从所述目标数据区域的两端开始遍历，查找大于或等于所述目标数据的内存占用量的可复用内存空间，将所述可复用内存空间分配给所述目标数据；

若所述目标内存块中的可复用内存空间小于所述目标数据占用的存储空间，将所述目标内存块扩展所述目标数据占用内存大小的内存大小，或者重新分配第一内存块给所述目标数据，并建立所述第一内存块与所述目标标签标识之间的映射关系，所述第一内存块为存储空间大于所述目标数据占用的存储空间。

在一种可选的方案中，为了进一步的减少存储数据量，上述方法还可以包括：

若所述目标数据为图片，则对目标数据执行方格操作得到操作数据，将该操作数据存储；该方格操作具体可以包括：对目标数据建立网格（类似VISO绘图中的网格，即面积大小一致的多个正方形网格），计算每个网格（面积大小一致）之间的相似度，将相似度大于相似阈值的网格确定为相似网格组，设置位图表示相似网格组的在一张图片的位置，相似网格组存储一个网格的像素数据，将剩余网格组的像素数据删除完成一张图片的方格操作。上述相似度的计算方式具体可以包括：依据每个网格的像素点的R、G、B值以及像素点的在网格的位置建立三维矩阵α*β*3，其中，α表示三维矩阵的长度值、β表示三维矩阵的宽度值，3表示深度值，每个深度对应R、G、B的值（具体如图3所示），计算二个网格的2个三维矩阵的差值得到三维差值矩阵，统计三维差值矩阵中元素值小于数值阈值的数量x，相似度=x/( α*β*3)*100%。这里需要说明的是，存储以后，在提取时，需要先将目标数据进行还原才能够提取时间tx的对应图片。

参阅图3，如图3所示，由于对目标数据进行网格化，每个网格的面积相同，因此每个网格的像素点的数量是完全相同的，即α*β个像素点，若是正方形网格，该α=β，则依据该像素点在网格的像素点的序号即能够确定如图3所示的α*β*3矩阵对应的值，例如，网格的左上角第一个像素点，其对应的宽度值=1，长度值=1，其R值对应α*β*3矩阵的第一个方框（如图3所示的一个方框表示一个像素点的R、G、B中值，即矩阵的一个元素值，如黑色所示），G值对应α*β*3矩阵的另一个方框（如深灰色所示），B值对应又一个方款（如浅灰色所示），因此即能够对每个方框进行矩阵化。

请参阅图4，图4为本申请实施例提供了一种企业集群大数据的管理系统的示意图，如图4所示，该系统400可以包括：获取单元410、确定单元420和分配单元430，其中，

所述获取单元410，用于获取目标数据的标签列表，所述标签列表包括至少一级标签，所述至少一级标签用于指示所述目标数据的属性信息和/或上传所述目标数据的目标员工的基本信息；

所述确定单元420，用于基于所述标签列表，确定所述目标数据的目标标签标识；

所述确定单元420，还用于基于所述标签标识与所述内存块之间的映射关系，确定所述目标标签标识对应的目标内存块；

所述分配单元430，用于将所述目标内存块分配给所述目标数据。

本申请的提供的企业集群大数据的管理系统可以用于实现如图2所示的实施例的细化方案。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的企业集群大数据的管理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种企业集群大数据的管理方法，其特征在于，所述方法包括：

获取目标数据的标签列表，所述标签列表包括至少一级标签，所述至少一级标签用于指示所述目标数据的属性信息和/或上传所述目标数据的目标员工的基本信息；

基于所述标签列表，确定所述目标数据的目标标签标识；

基于所述标签标识与所述内存块之间的映射关系，确定所述目标标签标识对应的目标内存块；

将所述目标内存块分配给所述目标数据。

2.根据权利要求1所述的方法，其特征在于，所述标签列表包括一级标签、二级标签和三级标签中的至少一种；

所述获取目标数据的标签列表，包括：

获取所述目标员工的人脸图像和上传所述目标数据的目标设备标识，将所述人脸图像与数据库中保存的员工的脸部信息进行匹配，在所述人脸图像与数据库中保存的目标员工的脸部信息匹配上时，从所述数据库中获取所述目标员工的至少一个设备标识，若所述至少一个设备标识包括所述目标设备标识，则将所述目标员工对应的基本信息作为所述一级标签；

获取所述目标数据的文件名，对所述文件名进行特征提取，得到目标特征集，将所述目标特征集输入到预先训练好的数据模型中，得到所述文件名对应的至少一个第一标签，将所述至少一个第一标签作为所述二级标签；

若所述目标员工在上传所述目标数据时对所述目标数据标注了至少一个第二标签，则将所述至少一个第二标签作为所述三级标签。

3.根据权利要求2所述的方法，其特征在于，所述基于所述标签列表，确定所述目标数据的标签标识，包括：

根据所述三级标签、所述二级标签和所述一级标签，确定所述目标数据的受众员工；

若所述受众对象为全体员工，则将所述目标标签标识确定为所述目标员工对应的标识；

若所述受众对象为目标部门的员工，则将所述目标标签标识确定为所述目标部门对应的标识；

若所述受众对象为目标项目的员工，则将所述目标标签标识确定为所述目标项目对应的标识。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述标签标识与所述内存块之间的映射关系，确定所述目标标签标识对应的目标内存块，包括：

将所述内存池进行划分，得到至少一个内存块，再将每一内存块分别划分为多个数据区域，每一数据区域对应一数据类型；

建立所述至少一个内存块与标签标识之间的映射关系；

根据所述映射关系，确定所述目标标签标识对应的目标内存块。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标内存块分配给所述目标数据，包括：

根据所述目标数据的数据类型，确定所述目标数据在所述目标内存块中的目标数据区域；

从所述目标数据区域的首地址进行遍历，查找大于或等于所述目标数据的内存占用量的可复用内存空间，将所述可复用内存空间分配给所述目标数据；

若所述目标数据区域中的可复用内存空间小于所述目标数据占用的存储空间，从所述目标数据区域的两端开始遍历，查找大于或等于所述目标数据的内存占用量的可复用内存空间，将所述可复用内存空间分配给所述目标数据；

若所述目标内存块中的可复用内存空间小于所述目标数据占用的存储空间，将所述目标内存块扩展所述目标数据占用内存大小的内存大小，或者重新分配第一内存块给所述目标数据，并建立所述第一内存块与所述目标标签标识之间的映射关系，所述第一内存块为存储空间大于所述目标数据占用的存储空间。

6.一种企业集群大数据的管理系统，其特征在于，所述系统包括：

获取单元，用于获取目标数据的标签列表，所述标签列表包括至少一级标签，所述至少一级标签用于指示所述目标数据的属性信息和/或上传所述目标数据的目标员工的基本信息；

确定单元，用于基于所述标签列表，确定所述目标数据的目标标签标识；

所述确定单元，还用于基于所述标签标识与所述内存块之间的映射关系，确定所述目标标签标识对应的目标内存块；

分配单元，用于将所述目标内存块分配给所述目标数据。

7.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。

Images