CN106604073B - 一种数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理方法及装置，涉及数据处理领域，解决了通过传统方式将不同类型数据导入不同数据库或数据表作区分时处理效率低下的问题。该方法包括：读取每行数据的权限标签，所述权限标签中记录有至少一个权限字段，每个权限字段用于表示所述数据在一个维度下的数据导入权限，一个权限字段由多位字符组成，其中每位字符用于表示数据在该位字符对应的维度分支中是否具有数据导入权限；读取所述权限字段中的字符；若所述字符表示所述数据在所述字符对应的维度分支中具有数据导入权限，则将所述数据导入到对应所述维度分支的数据表中。本发明主要用于对海量数据进行分类。

Description

一种数据处理方法及装置

技术领域

本发明涉及数据处理领域，特别是涉及一种数据处理方法及装置。

背景技术

IPTV即交互式网络电视，是一种利用宽带有线电视网，集互联网、多媒体、通讯等多种技术于一体，向家庭用户提供包括数字电视在内的多种交互式服务的新技术。IPTV具有灵活的交互性，因为其具有网间协议(Internet Protocol，简称IP)地址网络的对称交互优势，可以采用广播、直播、回播、组播等多种播放方式，灵活的实现电子菜单、节目预约、实时快进、快退、终端账号及计费管理等，也可以基于网络的其他内容展开如网络游戏、电子理财等业务，因此IPTV逐渐被用户广泛使用。

由于IPTV能够提供多种类型的业务，因此在使用IPTV的过程中会产生大量不同类型的数据。在IPTV的数据处理中，由于原始数据所属的地区信息、业务类型等方面的不同，最终流向的数据需求方也不同，这样就需要对海量数据在来源、业务类型或者其他方面作区分处理。例如，对于北京地区的运营商来说，一般只需要获得北京地区的IPTV数据即可，而对其他地区的数据进行过滤。因此，现有对IPTV数据的处理方式是从海量的数据中把不同地区、不同业务类型的数据分别导入到不同的数据库或者不同的数据表来区分，其中部分工作需要人工完成，造成数据处理的效率低下。

发明内容

有鉴于此，本发明提出了一种数据处理方法及装置，主要目的在于解决通过传统方式将不同类型数据导入不同数据库或数据表作区分时处理效率低下的问题。

依据本发明的第一个方面，本发明提出了一种数据处理方法，包括：

读取每行数据的权限标签，权限标签中记录有至少一个权限字段，每个权限字段用于表示数据在一个维度下的数据导入权限，一个权限字段由多位字符组成，其中每位字符用于表示数据在该位字符对应的维度分支中是否具有数据导入权限；

读取权限字段中的字符；

若字符表示数据在字符对应的维度分支中具有数据导入权限，则将数据导入到对应维度分支的数据表中。

依据本发明的第二个方面，本发明提出了一种数据处理装置，包括：

读取单元，用于读取每行数据的权限标签，权限标签中记录有至少一个权限字段，每个权限字段用于表示数据在一个维度下的数据导入权限，一个权限字段由多位字符组成，其中每位字符用于表示数据在该位字符对应的维度分支中是否具有数据导入权限；以及，用于读取权限字段中的字符；

导入单元，用于当字符表示数据在字符对应的维度分支中具有数据导入权限时，将数据导入到对应维度分支的数据表中。

借由上述技术方案，本发明实施例提供的数据处理方法及装置，能够通过读取每行数据的权限标签中权限字段上的字符，根据预设的字符定义，若确定该字符能够表示数据在该字符对应的维度分支中具有数据导入权限，则将数据导入到对应所述维度分支的数据表中。与现有技术中分类海量数据时需要通过人工方式把不同地区、不同业务类型的数据分别导入到不同的数据库或者不同的数据表来区分，造成数据处理效率低下的缺陷相比，本发明通过权限标签对数据进行标识，把所有数据存储在统一的数据表或数据库中，然后根据权限标签中记录的权限字段和字符的定义，开放相应的数据权限，以实现数据处理时对不同来源，不同业务类型数据的自动区分，自动导向。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据处理方法的流程图；

图2示出了本发明实施例提供的一种数据处理装置的组成框图；

图3示出了本发明实施例提供的一种数据处理装置的组成框图。

具体实施方式

下面将参照附图更加详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

由于交互式网络电视IPTV能够提供诸如点播、回播、直播等多种类型的业务，因此在使用IPTV的过程中会产生大量不同类型的数据。通常在处理海量数据的过程中，需要在数据来源、业务类型或者其他方面对数据作区分处理，将数据分别导入到不同的数据库或者不同的数据表来区分，其中部分工作需要人工完成，造成数据处理的效率低下。

为了解决上述问题，本发明实施例提供的数据被全部记录在一张数据表中，通常一条数据记录在数据表中的一行，并且每行数据都具有各自对应的权限标签，即一条数据对应一个权限标签，根据上述条件，本发明实施例提供了一种数据处理方法，如图1所示，该方法包括：

101、读取每行数据的权限标签，权限标签中记录有至少一个权限字段。

在本发明实施例中，海量数据被存放在一张数据表中，因此当需要对数据进行区分时，本发明实施例不需要通过传统方式去一个个识别数据并将其移动到不同的数据表或数据库中，而是执行步骤101，读取每行数据的权限标签，权限标签中记录有至少一个权限字段。其中，每个权限字段用于表示该数据在一个维度下的数据导入权限，一个权限字段由多位字符组成，每位字符都分别对应一个维度分支，其中每位字符用于表示数据在该位字符对应的维度分支中是否具有数据导入权限。例如，对某一系统产生的海量数据作区分处理时，其统一的权限标签中记录有一个权限字段，用以表示数据在地域维度下的数据导入权限，并且该权限字段由两位字符组成，左起第一位字符对应地域维度分支北京地区，左起第二位字符对应地域维度分支上海地区。以数据A为例，其对应权限标签中的权限字段表示数据A在地域维度下的数据导入权限，并且该权限字段由两位字符组成，其中左起第一位字符表示数据A在该位字符对应的北京地区是否具有数据导入权限；第二位字符表示数据A在该位字符对应的上海地区是否具有数据导入权限。

102、读取权限字段中的字符。

根据读取每行数据的权限标签，从权限标签中记录的权限字段中读取各个字符位上的字符，根据预设的字符定义，判断数据在每位字符对应的维度分支中是否具有数据导入权限。其中，在本实施例中，预设的字符定义可以为，以字符1表示在对应的维度分支中具有数据导入权限，以字符0表示在对应的维度分支中不具有数据导入权限。当然，还可以用其他任意不同的两个字符分别表示在对应的维度分支中具有数据导入权限以及在对应的维度分支中不具有数据导入权限。

103、当字符表示数据在该字符对应的维度分支中具有数据导入权限时，将数据导入到对应该维度分支的数据表中。

经过对权限字段中每位字符的判断，当确定某一位字符表示数据在该字符对应的维度分支中具有数据导入权限时，将数据导入到对应该维度分支的数据表中，通过对海量数据的权限标签进行批量化识别，可以将不同维度的数据进行自动区分和自动导向。

本发明实施例提供的一种数据处理方法，能够通过读取每行数据的权限标签中权限字段上的字符，根据预设的字符定义，若确定该字符能够表示数据在该字符对应的维度分支中具有数据导入权限，则将数据导入到对应所述维度分支的数据表中。与现有技术中分类海量数据时需要通过人工方式把不同地区、不同业务类型的数据分别导入到不同的数据库或者不同的数据表来区分，造成数据处理效率低下的缺陷相比，本发明通过权限标签对数据进行标识，把所有数据存储在统一的数据表或数据库中，然后根据权限标签中记录的权限字段和字符的定义，开放相应的数据权限，以实现数据处理时对不同来源，不同业务类型数据的自动区分，自动导向。

为了更好的对上述图1所示的方法进行理解，本发明实施例将以处理交互式网络电视IPTV数据为例，针对图1的各步骤进行详细说明。

由于在IPTV数据处理中，原始数据的地区信息、业务类型有所不同，最终流向的数据需求方也不同，因此其权限标签中会有代表不同维度的权限字段，并且每个维度的权限字段中会有不同的维度分支。例如，在本发明实施例中，IPTV数据的权限标签中具有三个权限字段，从左到右分别代表地域维度权限字段、业务维度权限字段、时间维度权限字段，不同权限字段之间可以通过分隔符“_”进行分隔，其中，地域维度权限字段中具有三位字符，字符从左到右分别代表北京、上海、天津三个维度分支；业务维度权限字段中具有三位字符，字符从左到右分别代表点播、直播、回播三个维度分支；时间维度权限字段中具有两位字符，字符从左到右分别代表0点-12点、12点-24点两个维度分支，权限标签可以表示为“XXX_XXX_XX”其中，X可以选取字符1或0，以字符1表示在对应的维度分支中具有数据导入权限，以字符0表示在对应的维度分支中不具有数据导入权限。

当读取上述IPTV数据的权限标签对IPTV数据进行自动区分时，若发现某一维度权限字段中存在至少两位表示具有数据导入权限的字符，则将该IPTV数据分别导入到所述至少两位字符对应的维度分支的数据表中。例如，某一IPTV数据的权限标签为“110_000_00”，即该IPTV数据在地域维度权限字段中存在两位表示具有数据导入权限的字符，这两位字符从左到右依次代表该IPTV数据具有北京地区的数据导入权限以及上海地区的数据导入权限，从而可以将该IPTV数据分别导入到北京地区的数据表(数据库)和上海地区的数据表(数据库)。

当读取上述IPTV数据的权限标签对IPTV数据进行自动区分时，若发现在至少两个维度权限字段中分别存在表示具有数据导入权限的字符，则将该IPTV数据导入到同时满足所述至少两个权限字段的维度要求的数据表中，并且所述数据表与具有数据导入权限的字符的维度分支相对应。例如，某一IPTV数据的权限标签为“100_010_00”，即该IPTV数据在地域维度权限字段以及业务维度权限字段中分别存在一位表示具有数据导入权限的字符，这两位字符从左到右依次代表该IPTV数据具有北京地区的数据导入权限以及具有直播业务的数据导入权限，从而可以将该IPTV数据导入到北京地区的直播业务数据表中。同理，当某一IPTV数据的权限标签为“100_010_01”时，即该IPTV数据在地域维度权限字段、业务维度权限字段以及时间维度权限字段中分别存在一位表示具有数据导入权限的字符，这三位字符从左到右依次代表该IPTV数据具有北京地区的数据导入权限、具有直播业务的数据导入权限以及具有12点-24点时间段的数据导入权限，从而可以将该IPTV数据导入到北京地区在12点-24点之间直播业务的数据表中。

这里需要说明的是，当权限标签中记录有两个及两个以上代表不同维度的权限字段时，相邻权限字段之间可以通过特殊字符相隔。特殊字符指相对于传统或常用的符号外，使用频率较少且难以直接输入的符号，比如数学符号“$”、“∥”、图文符号“□”、制表符“┆”、“║”等。本实施例中提供的权限标签中相邻权限字段之间通过特殊标点“_”来分隔。

上述以本实施例提供的IPTV数据为例，通过对数据权限标签中权限字段的字符进行识别，根据预设的字符定义，确定该IPTV数据具有哪些维度及其维度分支下的数据导入权限，从而在处理海量数据时通过权限标签实现数据的自动区分与自动导向。

进一步的，对于其他系统产生的海量数据而言，可以针对数据需求方对数据区分的要求或者系统数据的分类需求，在读取数据的权限标签之前即在处理数据之前，为数据设置权限标签，具体的需要设置权限标签中的权限字段数量、每个权限字段中的字符位数以及每一位字符所表示的是否具有数据导入权限的状态内容。其中，权限标签中的权限字段数量用于代表数据导入权限的维度数量，权限字段中的字符位数用于代表具体的维度分支，每个字符位上的字符用于代表数据在该字符位上是否具有数据导入权限。例如，某网站需要统计全国各省在0点到12点之间的点播数据，则可以预先设置该网站产生数据的权限标签为“XXX…XX_XX_XXX”，其中三个权限字段从左到右依次代表具有34个省级行政区的地域维度、具有0点到12点和12点到24点的时间维度、具有点播、直播、回播的业务维度，从而根据每个权限字段中的不同维度分支下的具体字符(具有数据导入权限的字符Y，不具有数据导入权限的字符N)，确定数据在该维度分支下是否具有数据导入权限。

这里需要说明的是，设置数据的权限标签可以为由用户自定义设置的可扩展权限标签，由于权限字段的个数以及每个权限字段的字符位数可以无限扩展，因此理论上权限标签可以设置无限个维度以及相应维度分支下的数据导入权限，而在实际使用数据权限标签的过程中，可以根据不同的数据分类需求实时对权限标签进行设置，扩展出其他权限或者删除其中的某些权限。

上述实施例中，海量数据被存储在统一的数据表中，通常一条数据位于数据表中的一行，并且在数据表的每行数据的后面增加一列，用于设置权限标签，通过数据的权限标签可以将数据自动区分并导入相应维度分支下的数据表中；当然，在实际处理数据的过程中，可以实时的从存储海量数据的统一的数据表中根据权限标签记录的字符从中调取具有相应权限的数据，从而通过权限标签可以便于海量数据的存储，不必提前对数据进行分类，可以实时从一张数据表中调取所需的数据。

本发明实施例通过自定义设置数据的可扩展权限标签，能够设置数据的多维度权限标签，并根据实际需求调整权限标签中相应维度下的数据权限，从而便于在不同来源、不同业务类型、不同时间段、不同需求方等方面实现对海量数据的自动区分与自动导向。

作为对上述图1所示方法的实现，本发明实施例提供了一种数据处理装置，如图2所示，该装置包括：读取单元21及导入单元22，其中，

读取单元21，用于读取每行数据的权限标签，所述权限标签中记录有至少一个权限字段，每个权限字段用于表示所述数据在一个维度下的数据导入权限，一个权限字段由多位字符组成，其中每位字符用于表示数据在该位字符对应的维度分支中是否具有数据导入权限；以及，用于读取所述权限字段中的字符；

导入单元22，用于当所述字符表示所述数据在所述字符对应的维度分支中具有数据导入权限时，将所述数据导入到对应所述维度分支的数据表中。

进一步的，导入单元22用于当所述权限字段中存在至少两位表示具有数据导入权限的字符时，将所述数据分别导入到所述至少两位字符对应的维度分支的数据表中。

进一步的，导入单元22用于当在至少两个权限字段中分别存在表示具有数据导入权限的字符时，将所述数据导入到同时满足所述至少两个权限字段的维度要求的数据表中，并且所述数据表与具有数据导入权限的字符的维度分支相对应。

进一步的，如图3所示，该装置还包括：

设置单元23，用于为每行数据设置权限标签。

进一步的，设置单元23用于设置权限标签中的权限字段数量、每个权限字段中的字符位数以及每一位字符所表示的是否具有数据导入权限的状态内容。

本发明实施例提供的一种数据处理装置，能够通过读取每行数据的权限标签中权限字段上的字符，根据预设的字符定义，若确定该字符能够表示数据在该字符对应的维度分支中具有数据导入权限，则将数据导入到对应所述维度分支的数据表中。与现有技术中分类海量数据时需要通过人工方式把不同地区、不同业务类型的数据分别导入到不同的数据库或者不同的数据表来区分，造成数据处理效率低下的缺陷相比，本发明通过权限标签对数据进行标识，把所有数据存储在统一的数据表或数据库中，然后根据权限标签中记录的权限字段和字符的定义，开放相应的数据权限，以实现数据处理时对不同来源，不同业务类型数据的自动区分，自动导向。

此外，本发明实施例通过自定义设置数据的可扩展权限标签，能够设置数据的多维度权限标签，并根据实际需求调整权限标签中相应维度下的数据权限，从而便于在不同来源、不同业务类型、不同时间段、不同需求方等方面实现对海量数据的自动区分与自动导向。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的发明名称(如确定网站内链接等级的装置)中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种数据处理方法，其特征在于，所述方法用于处理交互式网络电视IPTV数据；所述方法包括：

读取每行数据的权限标签，所述权限标签中记录有至少一个权限字段，所述至少一个权限字段为地域维度权限字段、业务维度权限字段、时间维度权限字段中的至少一个，每个权限字段用于表示所述数据在一个维度下的数据导入权限，一个权限字段由多位字符组成，其中每位字符用于表示数据在该位字符对应的维度分支中是否具有数据导入权限；

读取所述权限字段中的字符；

若所述字符表示所述数据在所述字符对应的维度分支中具有数据导入权限，则将所述数据导入到对应所述维度分支的数据表中。

2.根据权利要求1所述的方法，其特征在于，所述若所述字符表示所述数据在所述字符对应的维度分支中具有数据导入权限，则将所述数据导入到对应所述维度分支的数据表中，包括：

若所述权限字段中存在至少两位表示具有数据导入权限的字符，则将所述数据分别导入到所述至少两位字符对应的维度分支的数据表中。

3.根据权利要求1所述的方法，其特征在于，所述若所述字符表示所述数据在所述字符对应的维度分支中具有数据导入权限，则将所述数据导入到对应所述维度分支的数据表中，包括：

若在至少两个权限字段中分别存在表示具有数据导入权限的字符，则将所述数据导入到同时满足所述至少两个权限字段的维度要求的数据表中，并且所述数据表与具有数据导入权限的字符的维度分支相对应。

4.根据权利要求1所述的方法，其特征在于，当所述权限标签中记录有至少两个权限字段时，相邻权限字段之间通过特殊字符相隔。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述读取每行数据的权限标签之前，所述方法进一步包括：

为每行数据设置权限标签。

6.根据权利要求5所述的方法，其特征在于，所述为每行数据设置权限标签，包括：

设置权限标签中的权限字段数量、每个权限字段中的字符位数以及每一位字符所表示的是否具有数据导入权限的状态内容。

7.一种数据处理装置，其特征在于，所述装置用于处理交互式网络电视IPTV数据；所述装置包括：

读取单元，用于读取每行数据的权限标签，所述权限标签中记录有至少一个权限字段，所述至少一个权限字段为地域维度权限字段、业务维度权限字段、时间维度权限字段中的至少一个，每个权限字段用于表示所述数据在一个维度下的数据导入权限，一个权限字段由多位字符组成，其中每位字符用于表示数据在该位字符对应的维度分支中是否具有数据导入权限；以及，用于读取所述权限字段中的字符；

导入单元，用于当所述字符表示所述数据在所述字符对应的维度分支中具有数据导入权限时，将所述数据导入到对应所述维度分支的数据表中。

8.根据权利要求7所述的装置，其特征在于，所述导入单元具体用于当所述权限字段中存在至少两位表示具有数据导入权限的字符时，将所述数据分别导入到所述至少两位字符对应的维度分支的数据表中。

9.根据权利要求7所述的装置，其特征在于，所述导入单元具体用于当在至少两个权限字段中分别存在表示具有数据导入权限的字符时，将所述数据导入到同时满足所述至少两个权限字段的维度要求的数据表中，所述数据表与具有数据导入权限的字符的维度分支相对应。

10.根据权利要求7至9中任一项所述的装置，其特征在于，所述装置还包括：

设置单元，用于为每行数据设置权限标签。

11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求6中任意一项所述的一种数据处理方法。

12.一种数据处理装置，其特征在于，包括相互连接的存储器和处理器，所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求6中任意一项所述的一种数据处理方法。