CN106325849B - 数据处理方法及数据处理装置 - Google Patents

Abstract

本发明提供一种数据处理方法，其包括：根据预设规则，将数据处理编码分为多个编码单元；根据每个编码单元对应的数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；根据每个编码单元对应的数据处理编码的参数，对可视化控件设置控件参数；以及使用可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用可视化数据处理拓扑结构进行数据处理。本发明还提供一种数据处理装置。本发明的数据处理方法及数据处理装置通过可视化控件的位置调整实现数据处理编码的调整，对操作人员的要求较低且数据处理效率较高。

Description

数据处理方法及数据处理装置

技术领域

本发明涉及数据处理领域，特别是涉及一种数据处理方法及数据处理装置。

背景技术

为了便于对各种大数据进行统计处理，数据处理开发商开发了各种数据处理软件，以方便各种数据处理业务的开发。为了提高代码的复用率，数据处理发开商会将一些通用数据处理算法封装为一些常用计算逻辑，如数据的统计求和、计数统计、页面浏览量统计、独立访客统计等等。

上述常用计算逻辑只需要通过参数配置就可以直接用以数据处理业务，不需要额外开发其他的逻辑。但是随着数据处理装置支持的业务越来越多，对数据处理业务的操作人员的要求也越来越高，该操作人员必须熟悉每个常用计算逻辑以及待处理的数据的存储方式。如操作人员对该数据处理装置不熟悉，将大大影响数据处理的效率。

发明内容

本发明实施例提供一种对操作人员要求较低且数据处理效率较高的数据处理方法及数据处理装置；以解决现有的数据处理方法及数据处理装置的对操作人员要求较高且数据处理效率较低的技术问题。

本发明实施例提供一种数据处理方法，其包括：

根据预设规则，将数据处理编码分为多个编码单元；

根据每个所述编码单元对应的所述数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；

根据每个所述编码单元对应的所述数据处理编码的参数，对所述可视化控件设置控件参数；以及

使用所述可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用所述可视化数据处理拓扑结构进行数据处理。

本发明实施例还提供一种数据处理装置，其包括：

编码划分模块，用于根据预设规则，将数据处理编码分为多个编码单元；

控件调用模块，用于根据每个所述编码单元对应的所述数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；

参数设置模块，用于根据每个所述编码单元对应的所述数据处理编码的参数，对所述可视化控件设置控件参数；以及

数据处理模块，用于使用所述可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用所述可视化数据处理拓扑结构进行数据处理。

相较于现有技术的数据处理方法及数据处理装置，本发明的数据处理方法及数据处理装置通过可视化控件的位置调整实现数据处理编码的调整，对操作人员的要求较低且数据处理效率较高；解决了现有的数据处理方法及数据处理装置的对操作人员要求较高且数据处理效率较低的技术问题。

附图说明

图1为本发明的数据处理方法的第一优选实施例的流程图；

图2为本发明的数据处理方法的第二优选实施例的流程图；

图3为本发明的数据处理方法的第二优选实施例的步骤S208的流程图；

图4为本发明的数据处理装置的第一优选实施例的结构示意图；

图5为本发明的数据处理装置的第二优选实施例的结构示意图；

图6为本发明的数据处理装置的第二优选实施例的拓扑结构重构模块的结构示意图；

图7A为本发明的数据处理方法及数据处理装置的第一具体实施例的编码单元的结构示意图；

图7B为本发明的数据处理方法及数据处理装置的第一具体实施例的可视化控件的结构示意图；

图8A为本发明的数据处理方法及数据处理装置的第二具体实施例的编码单元的结构示意图；

图8B为本发明的数据处理方法及数据处理装置的第二具体实施例修改前的可视化控件的结构示意图；

图8C为本发明的数据处理方法及数据处理装置的第二具体实施例修改后的可视化控件的结构示意图；

图9为本发明的数据处理装置所在的电子设备的工作环境结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本发明的数据处理方法可使用各种具有计算能力的电子设备进行实施，该电子设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。本发明的数据处理方法通过可视化控件的位置调整实现了数据处理编码的调整。

请参照图1，图1为本发明的数据处理方法的第一优选实施例的流程图。本优选实施例的数据处理方法包括：

步骤S101，根据预设规则，将数据处理编码分为多个编码单元；

步骤S102，根据每个编码单元对应的数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；

步骤S103，根据每个编码单元对应的数据处理编码的参数，对可视化控件设置控件参数；

步骤S104，使用可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用可视化数据处理拓扑结构进行数据处理。

下面详细说明本优选实施例的数据处理方法的各步骤的具体流程。

在步骤S101中，数据处理装置根据预设规则，将数据处理编码分为多个编码单元。这里的数据处理编码为现有的数据处理装置使用的统计算法代码，这里将数据处理编码按编码的功能分为多个编码单元，即各个编码单元应可独立完成以计算功能。具体如：

ClickStream＝TAP USING MockStreamReader()AS(qqNum:int,content:chararray,clickTime:long)PARALLEL 2；#读取数据；

out__Filter_1＝FILTER ClickStream BY qqNum>1000；#对数据进行过滤；

out__Partition_1＝PARTITION out__Filter_1BY content PARALLEL 2；#将过滤后数据输入处理单元

out__Foreach_1＝FOREACH out__Partition_1GENERATE qqNum AS qqNu m:int,content AS content:chararray,FLOOR(clickTime/5)*5AS timekey:int；#对数据进行分类处理；

ClickStatistcs＝WINDOW out__Foreach_1INTERVAL 5GROUP BY(timeke y,content)GENERATE group,COUNT(out__Foreach_1.timekey)AS clickCount:int；#对分类后的数据进行统计；

DUMP ClickStatistcs INTO USING SimpleTextDumper('E:\\output.txt')；#输出统计结果。

以上每行的数据处理编码均可完成一独立的计算或统计功能，因此可将上述每一行的数据处理编码划分为一个编码单元。当然这里也可使用其他的预设规则对数据处理编码进行划分。随后转到步骤S102。

在步骤S102中，数据处理装置根据步骤S101中确定的每个编码单元对应的数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件。这里的可视化控件可通过Visual Work Stdio等可视化编程环境生成。随后转到步骤S103。

在步骤S103中，数据处理装置根据每个编码单元对应的数据处理编码的参数，对可视化控件设置控件参数。如设置输入数据的类型，过滤条件以及处理并行度等等控件参数。随后转到步骤S104。

在步骤S104中，使用步骤S103生成的完整的可视化控件，根据相应的编码顺序生成可视化数据处理拓扑结构，即使用图形化的展示界面代替编码展示界面。这样可使用该可视化数据处理拓扑结构进行数据处理。

这样即完成了本优选实施例的数据处理方法的数据处理过程。

本优选实施例的数据处理方法通过可视化控件的位置调整实现数据处理编码的调整，对操作人员的要求较低且数据处理效率较高。

请参照图2，图2为本发明的数据处理方法的第二优选实施例的流程图。本优选实施例的数据处理方法包括：

步骤S201，根据编码单元的功能以及参数，使用可视化编程环境将编码单元转换为对应的可视化控件；

步骤S202，使用编码单元以及对应的可视化控件，创建可视化控件数据库；

步骤S203，根据预设规则，将数据处理编码分为多个编码单元；

步骤S204，根据每个编码单元对应的数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；

步骤S205，根据每个编码单元对应的数据处理编码的参数，对可视化控件设置控件参数；

步骤S206，使用可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用可视化数据处理拓扑结构进行数据处理；

步骤S207，接收用户的控件拖动指令，并根据控件拖动指令将相应的可视化控件设置到预定位置；

步骤S208，根据拖动后的可视化控件的位置，重新生成可视化数据处理拓扑结构，并使用重新生成的可视化数据处理拓扑结构进行数据处理。

下面详细说明本优选实施例的数据处理方法的各步骤的具体流程。

在步骤S201中，根据不同功能的编码单元的功能以及参数，使用Visual WorkStdio等可视化编程环境将编码单元转换为对应的可视化控件。在本优选实施例中，编码单元包括输入编码单元以及处理编码单元，输入编码单元对应的可视化控件包括用于输入数据的输入控件以及用于过滤数据的过滤控件；处理编码单元对应的可视化控件包括用于分割不同的编码单元的分割控件、用于将不同的编码单元进行捆绑操作的捆绑控件、用于进行数据处理的处理控件、用于进行函数运算的函数控件以及用于输出数据的输出控件。随后转到步骤S202。

在步骤S202中，使用步骤S201中的编码单元以及转换的对应的可视化控件，创建可视化控件数据库。该可视化控件数据库中包括所有的可视化控件，用户可实时从可视化控件数据库中调用可视化控件。

在步骤S203中，数据处理装置根据预设规则，将数据处理编码分为多个编码单元。这里的数据处理编码为现有的数据处理装置使用的统计算法代码，这里将数据处理编码按编码的功能分为多个编码单元，即各个编码单元应可独立完成以计算功能。随后转到步骤S204。

在步骤S204中，数据处理装置根据步骤S203中确定的每个编码单元对应的数据处理编码的功能，从步骤S202创建的可视化控件数据库中调用相应的可视化控件。随后转到步骤S205。

在步骤S205中，数据处理装置根据每个编码单元对应的数据处理编码的参数，对可视化控件设置控件参数。如设置输入数据的类型，过滤条件以及处理并行度等等控件参数。随后转到步骤S206。

在步骤S206中，使用步骤S205生成的完整的可视化控件，根据相应的编码顺序生成可视化数据处理拓扑结构，即使用图形化的展示界面代替编码展示界面。这样可使用该可视化数据处理拓扑结构进行数据处理。随后转到步骤S207。

在步骤S207中，数据处理装置接收用户的控件拖动指令，并根据控件拖动指令将相应的可视化控件设置到预定位置。即用户可直接拖动可视化数据处理拓扑结构中的可视化控件，或将可视化控件数据库中的可视化控件直接拖动到可视化数据处理拓扑结构中。随后转到步骤S208。

在步骤S208中，数据处理装置根据步骤S207中的拖动后的可视化控件的位置，重新生成可视化数据处理拓扑结构。具体的步骤可参见图3，图3为本发明的数据处理方法的第二优选实施例的步骤S208的流程图。该步骤S208包括：

步骤S2081，数据处理装置根据拖动后的可视化控件的位置，生成可视化控件的默认参数，为了保证可视化控件的正常运行，这里需要对所有的可视化控件设置默认参数。随后转到步骤S2082。

步骤S2082，根据用户的参数修改指令，更新可视化控件的参数，即使用正确参数代替默认参数。随后转到步骤S2083。

步骤S2083，使用步骤S2082更新后的所有的可视化控件重新生成可视化数据处理拓扑结构。随后转到步骤S2084。

步骤S2084，判断可视化控件对应的数据处理编码是否符合编码规则，如符合编码规则，则转到步骤S2085；如不符合编码规则，则转到步骤S2086。

步骤S2085，由于数据处理编码符合编码规则，则使用可视化数据处理拓扑结构进行数据处理。

步骤S2086，如数据处理编码不符合编码规则，则进行编码错误提示，以便用户对可视化控件或可视化控件的参数进行修正。

这样即完成了本优选实施例的数据处理方法的数据处理过程。

本优选实施例的数据处理方法在第一优选实施例的基础上，用户可直接在可视化数据处理拓扑结构的图形化的展示界面上，通过可视化控件的拖动操作，实现对数据处理编码的调整，进一步提高了该数据处理方法的数据处理效率。

本发明还提供一种数据处理装置，请参照图4，图4为本发明的数据处理装置的第一优选实施例的结构示意图。本优选实施例的数据处理装置可使用上述数据处理方法的第一优选实施例进行实施。

本优选实施例的数据处理装置40包括编码划分模块41、控件调用模块42、参数设置模块43以及数据处理模块44。编码划分模块41用于根据预设规则，将数据处理编码范围多个编码单元；控件调用模块42用于根据每个编码单元对应的数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件；参数设置模块43用于根据每个编码单元对应的数据处理编码的参数，对可视化控件设置控件参数；数据处理模块44用于使用可视化控件根据编码顺序生成可视化数据处理拓扑结构，并使用可视化数据处理拓扑结构进行数据处理。

本优选实施例的数据处理装置40使用时，首先编码划分模块41根据预设规则，将数据处理编码分为多个编码单元。这里的数据处理编码为现有的数据处理装置使用的统计算法代码，这里将数据处理编码按编码的功能分为多个编码单元，即各个编码单元应可独立完成以计算功能。具体如：

ClickStream＝TAP USING MockStreamReader()AS(qqNum:int,content:chararray,clickTime:long)PARALLEL 2；#读取数据；

out__Filter_1＝FILTER ClickStream BY qqNum>1000；#对数据进行过滤；

out__Partition_1＝PARTITION out__Filter_1BY content PARALLEL 2；#将过滤后数据输入处理单元

out__Foreach_1＝FOREACH out__Partition_1GENERATE qqNum AS qqNu m:int,content AS content:chararray,FLOOR(clickTime/5)*5AS timekey:int；#对数据进行分类处理；

ClickStatistcs＝WINDOW out__Foreach_1INTERVAL 5GROUP BY(timeke y,content)GENERATE group,COUNT(out__Foreach_1.timekey)AS clickCount:int；#对分类后的数据进行统计；

DUMP ClickStatistcs INTO USING SimpleTextDumper('E:\\output.txt')；#输出统计结果。

以上每行的数据处理编码均可完成一独立的计算或统计功能，因此可将上述每一行的数据处理编码划分为一个编码单元。当然这里也可使用其他的预设规则对数据处理编码进行划分。

随后控件调用模块42根据编码划分模块确定的每个编码单元对应的数据处理编码的功能，从可视化控件数据库中调用相应的可视化控件。这里的可视化控件可通过Visual Work Stdio等可视化编程环境生成。

然后参数设置模块43根据每个编码单元对应的数据处理编码的参数，对可视化控件设置控件参数。如设置输入数据的类型，过滤条件以及处理并行度等等控件参数。

最后数据处理模块44使用参数设置模块生成的完整的可视化控件，根据相应的编码顺序生成可视化数据处理拓扑结构，即使用图形化的展示界面代替编码展示界面。这样可使用该可视化数据处理拓扑结构进行数据处理。

这样即完成了本优选实施例的数据处理装置40的数据处理过程。

本优选实施例的数据处理装置通过可视化控件的位置调整实现数据处理编码的调整，对操作人员的要求较低且数据处理效率较高。

请参照图5，图5为本发明的数据处理装置的第二优选实施例的结构示意图。本优选实施例的数据处理装置可使用上述数据处理方法的第二优选实施例进行实施。

本优选实施例的数据处理装置50包括编码划分模块51、控件调用模块52、参数设置模块53、数据处理模块54、控件转换模块55、数据库创建模块56、控件设置模块57以及拓扑结构重构模块58。本优选实施例的数据处理装置50在第一优选实施例的基础上还包括控件转换模块55、数据库创建模块56、控件设置模块57以及拓扑结构重构模块58。控件转换模块55用于根据编码单元的功能以及参数，使用可视化编程环境将编码单元转换为对应的可视化控件；数据库创建模块56用于使用编码单元以及对应的可视化控件，创建可视化控件数据库；控件设置模块57用于接收用户的控件拖动指令，并根据控件拖动指令将相应的可视化控件设置到预定位置；拓扑结构重构模块58用于根据拖动后的可视化控件的位置，重新生成可视化数据处理拓扑结构。

请参照图6，图6为本发明的数据处理装置的第二优选实施例的拓扑结构重构模块的结构示意图。该拓扑结构重构模块58包括参数生成单元581、参数更新单元582、拓扑结构重构单元583、规则判断单元584以及错误提示单元585。参数生成单元581用于根据拖动后的可视化控件的位置，生成可视化控件的默认参数；参数更新单元582用于根据用户的参数修改指令，更新可视化控件的参数；拓扑结构重构单元583用于使用所有的可视化控件重新生成可视化数据处理拓扑结构。规则判断单元584用于判断拖动后的可视化控件对应的数据处理编码是否符合编码规则；错误提示单元585用于如数据处理编码不符合编码规则，则进行编码错误提示。

本优选实施例的数据处理装置50使用时，控件转换模块55根据不同功能的编码单元的功能以及参数，使用Visual Work Stdio等可视化编程环境将编码单元转换为对应的可视化控件。在本优选实施例中，编码单元包括输入编码单元以及处理编码单元，输入编码单元对应的可视化控件包括用于输入数据的输入控件以及用于过滤数据的过滤控件；处理编码单元对应的可视化控件包括用于分割不同的编码单元的分割控件、用于将不同的编码单元进行捆绑操作的捆绑控件、用于进行数据处理的处理控件、用于进行函数运算的函数控件以及用于输出数据的输出控件。

随后数据库创建模块56使用控件转换模块55划分的编码单元以及转换的对应的可视化控件，创建可视化控件数据库。该可视化控件数据库中包括所有的可视化控件，用户可实时从可视化控件数据库中调用可视化控件。

然后编码划分模块51根据预设规则，将数据处理编码分为多个编码单元。这里的数据处理编码为现有的数据处理装置使用的统计算法代码，这里将数据处理编码按编码的功能分为多个编码单元，即各个编码单元应可独立完成以计算功能。

随后控件调用模块52根据编码划分模块确定的每个编码单元对应的数据处理编码的功能，从数据库创建模块创建的可视化控件数据库中调用相应的可视化控件。

然后参数设置模块53根据每个编码单元对应的数据处理编码的参数，对可视化控件设置控件参数。如设置输入数据的类型，过滤条件以及处理并行度等等控件参数。

随后数据处理模块54使用参数设置模块53生成的完整的可视化控件，根据相应的编码顺序生成可视化数据处理拓扑结构，即使用图形化的展示界面代替编码展示界面。这样可使用该可视化数据处理拓扑结构进行数据处理。

随后控件设置模块57接收用户的控件拖动指令，并根据控件拖动指令将相应的可视化控件设置到预定位置。即用户可直接拖动可视化数据处理拓扑结构中的可视化控件，或将可视化控件数据库中的可视化控件直接拖动到可视化数据处理拓扑结构中。

最后拓扑结构重构模块58根据拖动后的可视化控件的位置，重新生成可视化数据处理拓扑结构。具体包括：

拓扑结构重构模块58的参数生成单元581根据拖动后的可视化控件的位置，生成可视化控件的默认参数，为了保证可视化控件的正常运行，这里需要对所有的可视化控件设置默认参数。

拓扑结构重构模块58的参数更新单元582根据用户的参数修改指令，更新可视化控件的参数，即使用正确参数代替默认参数。

拓扑结构重构模块58的拓扑结构重构单元583使用更新后的所有的可视化控件重新生成可视化数据处理拓扑结构。

最后规则判断单元584判断可视化控件对应的数据处理编码是否符合编码规则，如数据处理编码符合编码规则，则拓扑结构重构模块58使用可视化数据处理拓扑结构进行数据处理；如数据处理编码不符合编码规则，则错误提示单元585进行编码错误提示，以便用户对可视化控件或可视化控件的参数进行修正。

这样即完成了本优选实施例的数据处理装置50的数据处理过程。

本优选实施例的数据处理装置在第一优选实施例的基础上，用户可直接在可视化数据处理拓扑结构的图形化的展示界面上，通过可视化控件的拖动操作，实现对数据处理编码的调整，进一步提高了该数据处理方法的数据处理效率。

下面通过两个具体实施例说明本发明的数据处理方法及数据处理装置的工作原理，请参照图7A和图7B，图7A为本发明的数据处理方法及数据处理装置的第一具体实施例的编码单元的结构示意图；图7B为本发明的数据处理方法及数据处理装置的第一具体实施例的可视化控件的结构示意图。

本具体实施例的数据处理编码为：

ClickStream＝TAP USING MockStreamReader()AS(qqNum:int,content:chararray,clickTime:long)PARALLEL 2；#读取数据；

out__Filter_1＝FILTER ClickStream BY qqNum>1000；#对数据进行过滤；

out__Partition_1＝PARTITION out__Filter_1BY content PARALLEL 2；#将过滤后数据输入处理单元

out__Foreach_1＝FOREACH out__Partition_1GENERATE qqNum AS qqNu m:int,content AS content:chararray,FLOOR(clickTime/5)*5AS timekey:int；#对数据进行分类处理；

ClickStatistcs＝WINDOW out__Foreach_1INTERVAL 5GROUP BY(timeke y,content)GENERATE group,COUNT(out__Foreach_1.timekey)AS clickCount:int；#对分类后的数据进行统计；

DUMP ClickStatistcs INTO USING SimpleTextDumper('E:\\output.txt')；#输出统计结果。

该数据处理编码用于统计设定时间内具有操作行为的QQ账号的数量。

其中读取数据的编码和对数据进行过滤处理的编码为输入编码单元71，输入处理的编码、分类处理的编码以及统计处理的编码均为处理编码单元72。在图7A中使用Spout表示输入编码单元71，Bolt表示处理编码单元72。在本优选实施例中该数据处理编码包括两个输入编码单元71以及一个处理编码单元72。

在图7B中，输入编码单元71对应的可视化控件包括输入控件711(input)以及过滤控件712(filter)，处理编码单元72对应的可视化控件包括分割控件721(partition)、捆绑控件722(bind)、处理控件723(foreach)、函数控件724(aggregate)以及输出控件725(output)。

其中输入控件711用于输入数据，这里输入数据为QQ账号以及QQ账号对应的输入内容。

过滤控件712用于对小于等于1000的QQ账号进行过滤。

分割控件721用于分割输入编码单元71以及处理编码单元72，即将输入编码单元71处理后的数据输入至相应的处理编码单元72中，以提高处理编码单元72的工作效率。

处理控件723用于数据进行统计计算，如分类处理等，在这里按设定时间间隔对QQ账号以及QQ账号对应的输入内容进行分组操作。

处理控件723可调用现有的函数控件724进行统计计算，以计算出每组的QQ账号以及对应的输入内容的次数。

最后输出控件725将处理控件的统计计算结果输出，从而可以得到具有操作行为的QQ账号的数量。

其中这里还可使用捆绑控件722对多个处理编码单元72进行捆绑操作，以增加数据处理操作的并发度，提高数据处理效率。

用户可通过修改各个可视化控件的参数修改上述数据处理编码，或者通过拖动可视化控件对数据处理编码进行编辑，如修改处理控件调用的函数控件724的类型，从而得到不同的统计计算结果等。

这样即完成了本具体实施例的数据处理过程。

请参照图8A、8B以及8C，图8A为本发明的数据处理方法及数据处理装置的第二具体实施例的编码单元的结构示意图；图8B为本发明的数据处理方法及数据处理装置的第二具体实施例修改前的可视化控件的结构示意图；图8C为本发明的数据处理方法及数据处理装置的第二具体实施例修改后的可视化控件的结构示意图。

本具体实施例的数据处理编码为：

RAW_DATA＝TAP USING SYS_TubeReader AS(topic:chararray,attr:chararray,body:bytearray)PARALLEL 1；#输入数据；

out__DATA_BAG_1＝FOREACH RAW_DATA GENERATE topic,SYS_Str AttrParser(attr,'tid','&','＝')AS tid,body；#对数据初解析；

out__ITEM_INFO_DATABAG_1＝FILTER out__DATA_BAG_1BY tid＝＝'ite m_info'；#筛选tid＝“item_info”的数据，即商品信息数据；

out__ITEM_INFO_DATA_1＝FOREACH out__ITEM_INFO_DATABAG_1GENERATE'item_detail_info'AS(stream_id:chararray),flatten(STRSPLIT($2,'\\|'))AS(imp_date:chararray,bid:chararray,item_id:chararray,cate_id1:chararray,cate_id2:chararray,cate_id3:chararray,cate_name1:chararray,cate_name2:chararray,cate_na me3:chararray,free:chararray,publish:chararray,price:chararray,text:chararray,item_ti me:chararray,expire_time:chararray,plat_form:chararray,score:chararray)；#对数据进行详细解析；

out__BASE_INFO_IN_1＝PARTITION out__ITEM_INFO_DATA_1BY it em_idPARALLEL 1；#将数据输入处理单元；

out__BASE_INFO_OUT_1＝FOREACH out__BASE_INFO_IN_1GENERA TEUDFBaseInfo(*)；#对数据进行保存操作；

该数据处理编码用于对商品信息进行保存操作。

其中读取数据的编码和对数据进行过滤处理的编码为输入编码单元81，筛选处理的编码、解析处理的编码以及保存处理的编码均为处理编码单元82。在图8A中使用Spout表示输入编码单元81，Bolt表示处理编码单元82。在本优选实施例中该数据处理编码包括一个输入编码单元81以及一个处理编码单元82。

在图8B中，输入编码单元81对应的可视化控件包括输入控件811(input)、处理控件812(foreach)、过滤控件813(filter)、处理控件814(foreach)；处理编码单元82对应的可视化控件包括分割控件821(partition)以及处理控件822(foreach)。

其中输入控件811用于输入数据，这里输入数据为商品数据。

处理控件812用于对商品数据进行初解析，即把每个编码分为topic、tid、body三个字段。

过滤控件813用于从商品数据中过滤出商品信息数据。

处理控件814用于对商品信息数据进行解析操作。

分割控件821用于分割输入编码单元81以及处理编码单元82，即将输入编码单元81处理后的数据输入至相应的处理编码单元82中，以提高处理编码单元82的工作效率。

处理控件822对解析后的商品信息数据在服务器进行保存操作。

为了便于对商品信息数据进行较快的保存操作，可在该输入编码单元81上增加排序的编码以及合法性判断的编码。

具体如图8C所示，在处理控件814之后还增加了处理控件815以及过滤控件816，处理控件815对应的编码为：

out__ITEM_INFO_DATA_OUT_1＝FOREACH out__ITEM_INFO_DATA_1GENERATEstream_id,bid,imp_date,item_id,cate_id1,cate_id2,cate_id3,cate_name1,cate_name2,cate_name3,free,publish,price,text,item_time,expire_time,plat_form,score；#对商品信息数据进行排序操作。

过滤控件816对应的编码为：

out__ITEMID_INFO_FILTER_1＝FILTER out__ITEM_INFO_DATA_OUT_1BY((item_id is not null)AND(SIZE(item_id)>0)AND(item_id！＝'0'))；对商品信息进行合法性判断。

这样用户只需要拖动上述处理控件815以及过滤控件816至处理控件814和分割控件821之间，即可实现对数据处理编码的编辑过程。

这样即完成了本具体实施例的数据处理过程。

本发明的数据处理方法及数据处理装置通过可视化控件的位置调整实现数据处理编码的调整，对操作人员的要求较低且数据处理效率较高；解决了现有的数据处理方法及数据处理装置的对操作人员要求较高且数据处理效率较低的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

而且，要求保护的主题可以被实现为使用标准编程和/或工程技术产生软件、固件、硬件或其任意组合以控制计算机实现所公开的主题的方法、装置或制造品。本文所使用的术语“制造品”旨在包含可从任意计算机可读设备、载体或介质访问的计算机程序。当然，本领域技术人员将认识到可以对该配置进行许多修改，而不脱离要求保护的主题的范围或精神。

图9和随后的讨论提供了对实现本发明所述的数据处理装置所在的电子设备的工作环境的简短、概括的描述。图9的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备912包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图9图示了包括本发明的数据处理装置的一个或多个实施例的电子设备912的实例。在一种配置中，电子设备912包括至少一个处理单元916和存储器918。根据电子设备的确切配置和类型，存储器918可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图9中由虚线914图示。

在其他实施例中，电子设备912可以包括附加特征和/或功能。例如，设备912还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图8中由存储装置920图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置920中。存储装置920还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器918中由例如处理单元916执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器918和存储装置920是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备912访问的任何其他介质。任意这样的计算机存储介质可以是电子设备912的一部分。

电子设备912还可以包括允许电子设备912与其他设备通信的通信连接926。通信连接926可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备912连接到其他电子设备的其他接口。通信连接926可以包括有线连接或无线连接。通信连接926可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备912可以包括输入设备924，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备912中也可以包括输出设备922，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备924和输出设备922可以经由有线连接、无线连接或其任意组合连接到电子设备912。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备912的输入设备924或输出设备922。

电子设备912的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中，电子设备912的组件可以通过网络互连。例如，存储器918可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络928访问的电子设备930可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备912可以访问电子设备930并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备912可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备912处执行并且一些指令可以在电子设备930处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (7)

1.一种数据处理方法，其特征在于，适用于电子设备，包括：

根据预设规则，将数据处理编码分为多个编码单元，根据每个编码单元对应的数据处理编码的功能，从可视化控件数据库中调用该编码单元对应的多个可视化控件，其中：

当输入数据为QQ账号以及QQ账号对应的输入内容时，所述多个编码单元包括多个输入编码单元以及每个输入编码单元对应的处理编码单元，每个处理编码单元对应的多个可视化控件中包括分割控件，该分割控件用于分割该处理编码单元以及与该处理编码单元相对应的输入编码单元，使用捆绑控件对多个分割控件进行捆绑操作，其中，处理编码单元用于统计设定时间内具有操作行为的QQ账号的数量；

当输入数据为商品数据时，所述多个编码单元包括输入编码单元以及处理编码单元，在输入编码单元中增加对商品信息数据进行排序操作的可视化控件，以及对商品信息数据进行合法性判断的可视化控件，其中，处理编码单元用于对解析后的商品信息数据在服务器进行保存操作；

根据每个编码单元对应的数据处理编码的参数，设置该编码单元对应的多个可视化控件的控件参数，使用设置参数后的可视化控件，根据编码顺序生成可视化数据处理拓扑结构，并使用所述可视化数据处理拓扑结构进行数据处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

根据每个编码单元的功能以及参数，使用可视化编程环境，将该编码单元转换为对应的可视化控件；

使用每个编码单元以及对应的可视化控件，创建所述可视化控件数据库。

3.根据权利要求1所述的数据处理方法，其特征在于，当输入数据为QQ账号以及QQ账号对应的输入内容时，输入编码单元对应的多个可视化控件包括用于输入数据的输入控件以及用于过滤数据的过滤控件；

处理编码单元对应的多个可视化控件，还包括用于进行数据处理的处理控件、用于进行函数运算的函数控件以及用于输出数据的输出控件。

4.一种数据处理装置，其特征在于，适用于电子设备，包括：

编码划分模块，用于根据预设规则，将数据处理编码分为多个编码单元；

控件调用模块，用于根据每个编码单元对应的数据处理编码的功能，从可视化控件数据库中调用该编码单元对应的多个可视化控件，其中：

当输入数据为QQ账号以及QQ账号对应的输入内容时，所述多个编码单元包括多个输入编码单元以及每个输入编码单元对应的处理编码单元，每个处理编码单元对应的多个可视化控件中包括分割控件，该分割控件用于分割该处理编码单元以及与该处理编码单元相对应的输入编码单元，使用捆绑控件对多个分割控件进行捆绑操作，其中，处理编码单元用于统计设定时间内具有操作行为的QQ账号的数量；

当输入数据为商品数据时，所述多个编码单元包括输入编码单元以及处理编码单元，在输入编码单元中增加对商品信息数据进行排序操作的可视化控件，以及对商品信息数据进行合法性判断的可视化控件，其中，处理编码单元用于对解析后的商品信息数据在服务器进行保存操作；

参数设置模块，用于根据每个编码单元对应的数据处理编码的参数，设置该编码单元对应的多个可视化控件的控件参数；以及

数据处理模块，用于使用设置参数后的可视化控件，根据编码顺序生成可视化数据处理拓扑结构，并使用所述可视化数据处理拓扑结构进行数据处理。

5.根据权利要求4所述的数据处理装置，其特征在于，所述数据处理装置还包括：

控件转换模块，用于根据每个编码单元的功能以及参数，使用可视化编程环境，将该编码单元转换为对应的可视化控件；

数据库创建模块，用于使用每个编码单元以及对应的可视化控件，创建所述可视化控件数据库。

6.根据权利要求4所述的数据处理装置，其特征在于，当输入数据为QQ账号以及QQ账号对应的输入内容时，输入编码单元对应的多个可视化控件包括用于输入数据的输入控件以及用于过滤数据的过滤控件；处理编码单元对应的多个可视化控件，还包括用于进行数据处理的处理控件、用于进行函数运算的函数控件以及用于输出数据的输出控件。

7.一种计算机可读存储介质，其存储有用于数据处理的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-3任一项所述的方法。

Images