CN107623583A - 数据交互处理方法、装置及系统 - Google Patents

数据交互处理方法、装置及系统 Download PDF

Info

Publication number
CN107623583A
CN107623583A CN201610562313.5A CN201610562313A CN107623583A CN 107623583 A CN107623583 A CN 107623583A CN 201610562313 A CN201610562313 A CN 201610562313A CN 107623583 A CN107623583 A CN 107623583A
Authority
CN
China
Prior art keywords
data
statistical form
subregion
operation command
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610562313.5A
Other languages
English (en)
Other versions
CN107623583B (zh
Inventor
雷宗雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610562313.5A priority Critical patent/CN107623583B/zh
Publication of CN107623583A publication Critical patent/CN107623583A/zh
Application granted granted Critical
Publication of CN107623583B publication Critical patent/CN107623583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种数据交互处理方法、装置及系统,所述方法包括:根据所述数据生成分区统计表;基于所述分区统计表生成所述数据的视图;将所述数据的视图发送给终端设备,以便所述终端设备展示所述数据的视图给用户;接收所述终端设备传递的用户针对所述区间的交互操作命令;根据所述交互操作命令更新所述分区统计表;根据更新后的所述分区统计表更新所述数据。本申请实现了数据交互处理过程中降低交互延时,减少资源浪费。

Description

数据交互处理方法、装置及系统
技术领域
本申请涉及数据处理领域,尤其涉及一种数据交互处理方法、装置及系统。
背景技术
大数据(big data),或称海量数据(数据规模达到GB~TB级别),指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据的交互处理包括发现数据规律以及去除异常数据。由于大数据数据量大的特点使得大数据的交互处理一直是业界的一个难题。目前大数据的交互处理方法为:将大数据利用可视化运算组件进行可视化处理,得到大数据的视图;用户通过合并,拖拽,清除,平滑等图形化操作实现发现数据规律、去除异常数据等大数据交互的目的。
发明人在对已有大数据交互处理的方法进行研究过程中发现,目前的大数据交互处理过程至少存在如下缺点:
用户基于视图的每一次交互操作会触发一次全量数据的重新计算。由于针对海量数据进行重新计算,计算体量过大导致交互延时,甚至导致可视化交互的机器宕机,且该重计算操作存在计算资源及存储资源的浪费问题。
因此,目前的大数据交互处理方案存在着计算量大、交互延时以及资源浪费严重等问题。
发明内容
本申请解决的技术问题之一是提供一种数据交互处理方法、装置及系统,实现了数据交互处理过程中降低交互延时,减少资源浪费。
根据本申请一方面的一个实施例,提供了一种数据交互处理系统,包括:
服务器,用于根据数据生成分区统计表,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息,基于所述分区统计表生成所述数据的视图,将所述数据的视图发送给终端设备,接收所述终端设备传递的用户针对所述区间的交互操作命令,根据所述交互操作命令更新所述分区统计表,并根据更新后的所述分区统计表更新所述数据;
终端设备,用于接收所述服务器发送的所述数据的视图,并展示所述数据的视图给用户,以及接收用户针对所述区间的交互操作命令,将所述交互操作命令传递给所述服务器。
根据本申请另一方面的一个实施例,提供了一种数据交互处理方法,所述方法包括:
根据数据生成分区统计表,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
基于所述分区统计表生成所述数据的视图;
将所述数据的视图发送给终端设备,以便所述终端设备展示所述数据的视图给用户;
接收所述终端设备传递的用户针对所述区间的交互操作命令;
根据所述交互操作命令更新所述分区统计表;
根据更新后的所述分区统计表更新所述数据。
根据本申请另一方面的一个实施例,提供了一种数据交互处理方法,所述方法包括:
接收服务器发送的数据的视图;所述数据的视图是根据分区统计表生成,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
展示所述数据的视图给用户;
接收用户针对所述区间的交互操作命令;
发送所述交互操作命令给所述服务器,以便服务器根据所述交互操作命令更新所述分区统计表,并根据更新后的所述分区统计表更新所述数据。
根据本申请另一方面的一个实施例,提供了一种数据交互处理装置,所述装置包括:
分区统计表生成单元,用于根据数据生成分区统计表,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
视图生成单元,用于基于所述分区统计表生成所述数据的视图;
视图发送单元,用于将所述数据的视图发送给终端设备,以便所述终端设备展示所述数据的视图给用户;
命令接收单元,用于接收所述终端设备传递的用户针对所述区间的交互操作命令;
分区统计表更新单元,用于根据所述交互操作命令更新所述分区统计表;
数据更新单元,用于根据更新后的所述分区统计表更新所述数据。
根据本申请另一方面的一个实施例,提供了一种数据交互处理装置,所述装置包括:
视图接收单元,用于接收服务器发送的数据的视图;所述数据的视图是根据分区统计表生成,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
视图展示单元,用于展示所述数据的视图给用户;
命令接收单元,用于接收用户针对所述区间的交互操作命令;
命令发送单元,用于发送所述交互操作命令给所述服务器,以便服务器根据所述交互操作命令更新所述分区统计表,并根据更新后的所述分区统计表更新所述数据。
本申请实施例根据数据生成分区统计表,基于所述分区统计表生成所述数据的视图;并在接收到用户对所述视图的交互操作命令后,根据所述交互操作命令更新所述分区统计表,本实施例在所有交互操作完成后根据更新后的所述分区统计表更新所述数据。也就是本申请实施例将针对海量数据的交互,等价成针对分区统计表的交互,避免了重复更新过程需重复计算全量数据带来的计算资源和存储资源的浪费,同时,对分区统计表的更新近乎实时,可以实现实时的反馈可视化交互操作结果,延时极低,极大提升用户体验。
本领域普通技术人员将了解,虽然下面的详细说明将参考图示实施例、附图进行,但本申请并不仅限于这些实施例。而是,本申请的范围是广泛的,且意在仅通过后附的权利要求限定本申请的范围。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是根据本申请一个实施例的数据交互处理系统框架图。
图2是根据本申请一个实施例的数据交互处理方法的流程图。
图3是根据本申请一个实施例的根据分区统计表生成的数据的视图。
图4是根据本申请一个实施例的数据交互处理方法执行示意图。
图5是根据本申请另一个实施例的数据交互处理方法的流程图。
图6是根据本申请一个实施例的数据交互处理装置的结构示意图。
图7是根据本申请另一个实施例的数据交互处理装置的结构示意图。
本领域普通技术人员将了解,虽然下面的详细说明将参考图示实施例、附图进行,但本申请并不仅限于这些实施例。而是,本申请的范围是广泛的,且意在仅通过后附的权利要求限定本申请的范围。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
所述计算机设备包括用户设备与网络设备。其中,所述用户设备包括但不限于电脑、智能手机、PDA等;所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中,所述计算机设备可单独运行来实现本申请,也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本申请。其中,所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是,所述用户设备、网络设备和网络等仅为举例,其他现有的或今后可能出现的计算机设备或网络如可适用于本申请,也应包含在本申请保护范围以内,并以引用方式包含于此。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时,用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的,并且是用于描述本申请的示例性实施例的目的。但是本申请可以通过许多替换形式来具体实现,并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是,虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元,但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说,在不背离示例性实施例的范围的情况下,第一单元可以被称为第二单元,并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
应当理解的是,当一个单元被称为“连接”或“耦合”到另一单元时,其可以直接连接或耦合到所述另一单元,或者可以存在中间单元。与此相对,当一个单元被称为“直接连接”或“直接耦合”到另一单元时,则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”,“与...邻近”相比于“与...直接邻近”等等)。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是,在一些替换实现方式中,所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说,取决于所涉及的功能/动作,相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
发明人在对已有的数据交互处理方案进行研究过程中发现,由于已有的数据交互处理方案中,可视化处理对象是数据,且每次交互操作触发全量数据的计算,因此存在计算量大、交互延时等问题。为解决该问题,本申请实施例提出一种数据交互处理方法,根据数据生成分区统计表,基于分区统计表进行数据的可视化处理,使得基于海量数据的可视化处理及交互替换为基于分区统计表的可视化处理及交互,不但避免了重复更新源数据带来的计算资源及存储资源浪费的问题,而且实现了实时反馈可视化交互结果,降低交互延时,有效提高交互处理效率,提升用户体验。
下面结合附图对本申请的技术方案作进一步详细描述。
本申请实施例提供一种数据交互处理系统,如图1中所示为所述系统框架图,包括:
服务器110,用于根据数据生成分区统计表,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息,基于所述分区统计表生成所述数据的视图,将所述数据的视图发送给终端设备,接收所述终端设备传递的用户针对所述区间的交互操作命令,根据所述交互操作命令更新所述分区统计表,并根据更新后的所述分区统计表更新所述数据;
终端设备120,用于接收所述服务器发送的所述数据的视图,并展示所述数据的视图给用户,以及接收用户针对所述区间的交互操作命令,将所述交互操作命令传递给所述服务器。
图2是根据本申请一个实施例的数据交互处理方法的流程图,所述方法的执行主体可以为网络侧设备,例如网络侧服务器等。所述方法主要包括如下步骤:
S210、根据数据生成分区统计表;
S220、基于所述分区统计表生成所述数据的视图;
S230、将所述数据的视图发送给终端设备,以便所述终端设备展示所述数据的视图给用户;
S240、接收所述终端设备传递的用户针对所述区间的交互操作命令;
S250、根据所述交互操作命令更新所述分区统计表;
S260、根据更新后的所述分区统计表更新所述数据。
下面对上述各步骤做进一步详细介绍。
步骤S210中所述,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息。本申请实施例提供的所述根据所述数据生成分区统计表的步骤包括:
首先,将所述数据按照预设规则划分为不同区间,所述预设规则可以为某一特征取值。具体的可以按照枚举型特征的取值或连续型特征取值划分为不同区间,例如按照枚举型特征的取值或连续型特征取值等距离区间划分为不同区间。针对枚举型特征,将枚举型特征的每个取值划分为一个区间,例如,枚举型特征为男、女,则将全量数据划分为男、女两个区间;或者,针对连续型特征,将该连续型特征按照取值等距离划分为多个区间。例如,连续型特征为年龄,将全量数据按照年龄跨度为7岁划分为一个区间,比如0-7岁,7-14岁,14-28岁。通过将数据划分为不同区间,可以实现分区管理数据。
之后,统计每个区间的数据分布信息。所述数据分布信息包括但不限于:特征值的类型、特征值的分布信息、分区区间的统计信息及数据修改信息等。所述特征值的类型包括:枚举型或者连续型。所述特征值的分布信息包括特征值的取值范围等。所述分区区间统计信息为各区间的特征值在不同维度的统计信息,所述维度包括但不限于:区间内数据频次、均值、方差、最大特征值及最小特征值等。所述数据修改信息用于保存数据修改记录。
最后,根据所划分的区间及每个区间的数据分布信息生成所述分区统计表。也就是将所划分区间的区间信息及每个区间的数据分布信息保存于分区统计表中。所述分区统计表即为数据库表,用于记录所划分的区间信息以及各区间的数据分布信息。该分区统计表的表结构及所包含的内容如下表中所示:
字段名 字段类型 功能说明
name String 特征名称
type String 特征值的类型
distr_info String 特征值分布信息
bins_info String 分区区间统计信息
modify_info String 数据修改信息
…… …… ……
例如,现有3万条关于年龄特征的大数据,其是关于3万人的年龄取值。该年龄特征数据为连续型数据,则根据该大数据的全量数据生成分区统计表时,可将该年龄特征数据按7岁(并不局限于此)的年龄跨度划分区间,也就是每个区间包含的年龄跨度为7岁。根据该全量数据生成的分区统计表中对应的Name字段为age,type字段为double,distr_info分布信息分布在0-200之间。假如划分成11个区间(可根据需要确定所划分的区间个数),每个区间的统计信息包括:区间的人数、年龄均值、最大年龄值及最小年龄值等信息,则bins_info字段中记录各区间的:人数、年龄均值、最大年龄值及最小年龄值等信息。
步骤S220所述基于所述分区统计表生成所述数据的视图可以为直方图、饼状图、点状图等等,也就是本实施例对基于分区统计表所生成的视图类型并不做限制。本申请实施例可基于分区统计表生成数据的视图,而并非基于数据的原始的全量数据生成视图,其计算量明显减小。
例如,针对上面实施例中所述的3万条关于年龄特征的大数据对应的分区统计表,所生成的直方图如图3中所示。在图3中按照生成分区统计表时的分区规则将7岁的年龄跨度划分为一个区间,根据每个区间的统计信息确定直方图中纵坐标的值。其中,显示在38~45年龄段区间上方的数字6001表示该区间的人数,也就是,图3中纵坐标表示的统计信息为人数,当指针指向各区间时可显示该区间的人数信息。
步骤S230将所述数据的视图发送给终端设备,以便所述终端设备展示所述数据的视图给用户,从而用户可基于该视图直观的看出数据存在的规律及异常数据。从而可基于该视图执行一些交互操作。
步骤S240即为在所述终端设备接收到用户对所述视图的交互操作命令情况下,将所述交互操作命令转发给服务器,以便服务器根据所述交互操作命令更新所述分区统计表。
步骤S250在接收到用户的交互操作命令情况下,并非直接根据每个交互操作命令更新全量数据,而是根据每个交互操作命令更新分区统计表,相比于现有技术中的每次交互操作触发全量数据的计算过程,大大减少了计算工作量,因此节省了计算资源。另外,由于分区统计表一般不大,所以可以直接将根据每次交互操作更新后的分区统计表存储于数据库中。现有技术中,由于所有交互操作均直接基于全量数据本身的操作,所以每执行一个交互操作命令则对应的更新全量数据,将更新后的全量数据重新存储一份。若多次执行交互操作,则保存多份更新后的全量数据,造成存储资源浪费。而本申请实施例可根据交互操作更新分区统计表,该分区统计表的存储量相对全量数据本身明显减小,因此,实现了有效节省存储资源。
其中,根据所述交互操作命令更新所述分区统计表的步骤包括:获取所述交互操作命令的执行结果,所述执行结果包括:交互操作命令执行对象、执行是否成功等等;根据所述执行结果更新所述分区统计表中的数据修改信息。也就是将该交互操作的记录在分区统计表的数据修改信息中。可以理解的是,该更新操作还包括更新具体的操作对象。例如,针对图3所示的大数据的直方图,从图中可以看出,73~80年龄段所对应的区间、80~87年龄段所对应的区间以及87~94年龄段所对应的区间人数较少,其不具有代表性,因此在交互操作时可将其删除,则所接收的交互操作命令包括“删除”命令,删除对象为:73~80年龄段所对应的区间、80~87年龄段所对应的区间以及87~94年龄段所对应的区间。若删除操作成功,则在更新分区统计表时除了在数据修改信息中记录该删除操作对象及删除操作结果外,还将对应的73~80、80~87及87~94三个区间及该三个区间对应的所有信息在分区统计表中删除,也就是被交互操作命令修改的特征均同步在分区统计表中更新。本申请实施例可基于大数据的原始数据生成一个对应的分区统计表,并且每执行一个交互操作命令更新一次该分区统计表,也就是针对每个交互操作命令生成对应的分区统计表。
在根据所述交互操作命令更新分区统计表时,可先查看所述交互操作命令所针对的视图是否存在对应的分区统计表,若存在,则按照上述过程更新分区统计表;若不存在,则可随时基于数据生成分区统计表。
所述交互操作命令包括但不限于:合并、删除区间、平滑等。例如,根据数据视图的显示,发现多个区间的同一特征值具有特定规律,则可将该多个区间合并,可通过拖拽该多个区间合并为同一个区间来实现该合并命令,则在更新分区统计表时,将被合并的多个区间合并为一个区间,并在该区间的modify_info中添加合并记录Merged,表示是将多个区间合并为一个区间,同时记录被合并的多个区间。又如,当某个区间与其他区间存在明显的异常分布时,可以删除该区间。则在更新分区统计表时,删除被删除的区间的相关信息,并在modify_info中添加区间删除记录Deleted,同时记录被删除的区间。再如,当某个区间的最大/最小值明显存异常时,可以采用数据平滑的方式来除去异常数据。则在更新分区统计表时在modify_info中添加平滑记录Softened及对应的平滑方法。
本申请实施例根据所述交互操作命令更新所述分区统计表后,即可实时根据更新后的所述分区统计表更新所述数据的视图。由于数据的可视化及交互操作均是基于分区统计表,因此有效降低交互延时,能够做到分区统计表及视图的实时更新及显示。
另外,上面所述的交互操作命令为基于数据视图的,实际操作中也包括直接对数据本身执行更新操作,则在接收到用户对数据的更新命令情况下,也可根据该更新命令更新所述分区统计表,也就是本实施例可实时根据数据的更新操作更新对应的分区统计表。
步骤S260所述根据更新后的所述分区统计表更新所述数据是在所有交互操作命令执行完成,且根据所述交互操作命令完成更新所述分区统计表后执行。如图4中所示为本实施例数据交互操作框架图,从图4中可以看出,在数据投入使用前,例如进入算法训练或模型预测前,基于数据的原始全量数据生成分区统计表,在每次交互操作后更新该分区统计表,且后一次的更新是基于第一次交互操作更新后的分区统计表执行的,而并非基于初始的分区统计表。如图4中,在交互操作命令1操作完成后,根据该交互操作更新一次分区统计表,在更新完成后,执行交互操作命令2,根据交互操作命令2更新一次分区统计表,且该更新操作所针对的分区统计表是根据交互操作命令1更新后的分区统计表。在所有交互操作完成后,该数据进入算法训练或模型预测前,根据最后的分区统计表更新全量数据。可见,整个数据的交互过程均是针对分区统计表的交互更新操作,在所有交互操作完成后,再根据最后得到的分区统计表更新全量数据,因此只需要执行一次更新全量数据的操作。也就是本申请实施例将针对海量数据的交互,等价成针对分区统计表的交互,避免了重复更新过程需重复计算全量数据带来的计算资源和存储资源的浪费,同时,对分区统计表的更新近乎实时,可以实现实时的反馈可视化交互操作结果,延时极低,极大提升用户体验。
如图5中所示为本申请实施例提供的另一种数据交互处理方法,该方法的执行主体可以为终端设备,该方法主要包括如下步骤:
S510、接收服务器发送的数据的视图;所述数据的视图是根据分区统计表生成,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
如前文中所述视图可以为直方图、饼状图、点状图等等,也就是本实施例对基于分区统计表所生成的视图类型并不做限制。
S520、展示所述数据的视图给用户;
S530、接收用户针对所述区间的交互操作命令;
所述交互操作命令包括但不限于:合并、删除、平滑等。
S540、发送所述交互操作命令给所述服务器,以便服务器根据所述交互操作命令更新所述分区统计表,并根据更新后的所述分区统计表更新所述数据。
S550、接收所述服务器发送的根据更新后的所述分区统计表更新的所述数据的视图。
也就是在服务器根据用户操作命令更新分区统计表后,相应的根据更新后的分区统计表更新所述数据的视图,则服务器将该更新后的数据的视图发送给终端,终端接收该更新后的数据的视图并显示该更新后的视图。
本实施例所述终端实现了配合服务器显示数据的视图,从而用户可基于该视图直观的看出数据存在的规律及异常数据。从而可基于该视图执行一些交互操作。
本申请实施例还提供一种与上述数据交互处理方法对应的数据交互处理装置,如图6中所示为所述装置结构示意图,所述装置主要包括如下单元:
分区统计表生成单元610,用于根据数据生成分区统计表,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
视图生成单元620,用于基于所述分区统计表生成所述数据的视图;
视图发送单元630,用于将所述数据的视图发送给终端设备,以便所述终端设备展示所述数据的视图给用户;
命令接收单元640,用于接收所述终端设备传递的用户针对所述区间的交互操作命令;
分区统计表更新单元650,用于根据所述交互操作命令更新所述分区统计表;
数据更新单元660,用于根据更新后的所述分区统计表更新所述数据。
优选的,所述分区统计表生成单元610被配置为:
将所述数据按照枚举型特征的取值或连续型特征取值的划分为不同区间;
统计每个区间的数据分布信息;
根据所划分的区间及每个区间的数据分布信息生成所述分区统计表。
所述分区统计表中包含:数据修改信息;所述分区统计表更新单元650被配置为:
获取所述交互操作命令的执行结果;
根据所述执行结果更新所述分区统计表中的数据修改信息。
所述数据更新单元660根据更新后的所述分区统计表更新所述数据是在所有交互操作命令执行完成,且所述分区统计表更新单元650根据所述交互操作命令完成更新所述分区统计表后执行。
所述终端设备传递的用户针对所述区间的交互操作命令包括:
用户对所述数据的更新命令。
所述交互操作命令包括:合并;所述分区统计表更新单元650被配置为:
将被合并的多个区间合并为一个区间。
所述交互操作命令包括:删除区间;所述分区统计表更新单元650被配置为:
删除被删除的区间的相关信息。
所述交互操作命令包括:平滑;所述分区统计表更新单元650被配置为:
在数据修改信息中添加平滑记录及对应的平滑方法。
本申请实施例还提供一种与上述图5中的数据交互处理方法对应的数据交互处理装置,所述装置结构示意图如图7中所示,所述装置主要包括如下单元:
视图接收单元710,用于接收服务器发送的数据的视图;所述数据的视图是根据分区统计表生成,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
视图展示单元720,用于展示所述数据的视图给用户;
命令接收单元730,用于接收用户针对所述区间的交互操作命令;
命令发送单元740,用于发送所述交互操作命令给所述服务器,以便服务器根据所述交互操作命令更新所述分区统计表,并根据更新后的所述分区统计表更新所述数据。
所述装置还包括:
更新视图接收单元750(未示出),用于接收所述服务器发送的根据更新后的所述分区统计表更新的所述数据的视图。
综上所述,本申请实施例根据数据生成分区统计表,基于所述分区统计表生成所述数据的视图;并在接收到用户对所述视图的交互操作命令后,根据所述交互操作命令更新所述分区统计表,本实施例在所有交互操作完成后根据更新后的所述分区统计表更新所述数据。也就是本申请实施例将针对海量数据的交互,等价成针对分区统计表的交互,避免了重复更新过程需重复计算全量数据带来的计算资源和存储资源的浪费,同时,对分区统计表的更新近乎实时,可以实现实时的反馈可视化交互操作结果,延时极低,极大提升用户体验。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (21)

1.一种数据交互处理系统,其特征在于,包括:
服务器,用于根据数据生成分区统计表,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息,基于所述分区统计表生成所述数据的视图,将所述数据的视图发送给终端设备,接收所述终端设备传递的用户针对所述区间的交互操作命令,根据所述交互操作命令更新所述分区统计表,并根据更新后的所述分区统计表更新所述数据;
终端设备,用于接收所述服务器发送的所述数据的视图,并展示所述数据的视图给用户,以及接收用户针对所述区间的交互操作命令,将所述交互操作命令传递给所述服务器。
2.一种数据交互处理方法,其特征在于,所述方法包括:
根据数据生成分区统计表,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
基于所述分区统计表生成所述数据的视图;
将所述数据的视图发送给终端设备,以便所述终端设备展示所述数据的视图给用户;
接收所述终端设备传递的用户针对所述区间的交互操作命令;
根据所述交互操作命令更新所述分区统计表;
根据更新后的所述分区统计表更新所述数据。
3.如权利要求2所述的方法,其特征在于,根据所述数据生成分区统计表包括:
将所述数据按照枚举型特征的取值或连续型特征取值的划分为不同区间;
统计每个区间的数据分布信息;
根据所划分的区间及每个区间的数据分布信息生成所述分区统计表。
4.如权利要求2或3所述的方法,其特征在于,所述分区统计表中包含:数据修改信息;所述根据所述交互操作命令更新所述分区统计表包括:
获取所述交互操作命令的执行结果;
根据所述执行结果更新所述分区统计表中的数据修改信息。
5.如权利要求2所述的方法,其特征在于,所述根据更新后的所述分区统计表更新所述数据是在所有交互操作命令执行完成,且根据所述交互操作命令完成更新所述分区统计表后执行。
6.如权利要求2所述的方法,其特征在于,所述终端设备传递的用户针对所述区间的交互操作命令包括:
用户对所述数据的更新命令。
7.如权利要求2所述的方法,其特征在于,所述交互操作命令包括:合并;所述根据所述交互操作命令更新所述分区统计表包括:
将被合并的多个区间合并为一个区间。
8.如权利要求2所述的方法,其特征在于,所述交互操作命令包括:删除区间;所述根据所述交互操作命令更新所述分区统计表包括:
删除被删除的区间的相关信息。
9.如权利要求2所述的方法,其特征在于,所述交互操作命令包括:平滑;所述根据所述交互操作命令更新所述分区统计表包括:
在数据修改信息中添加平滑记录及对应的平滑方法。
10.一种数据交互处理方法,其特征在于,所述方法包括:
接收服务器发送的数据的视图;所述数据的视图是根据分区统计表生成,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
展示所述数据的视图给用户;
接收用户针对所述区间的交互操作命令;
发送所述交互操作命令给所述服务器,以便服务器根据所述交互操作命令更新所述分区统计表,并根据更新后的所述分区统计表更新所述数据。
11.如权利要求10所述的方法,其特征在于,所述方法还包括:
接收所述服务器发送的根据更新后的所述分区统计表更新的所述数据的视图。
12.一种数据交互处理装置,其特征在于,所述装置包括:
分区统计表生成单元,用于根据数据生成分区统计表,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
视图生成单元,用于基于所述分区统计表生成所述数据的视图;
视图发送单元,用于将所述数据的视图发送给终端设备,以便所述终端设备展示所述数据的视图给用户;
命令接收单元,用于接收所述终端设备传递的用户针对所述区间的交互操作命令;
分区统计表更新单元,用于根据所述交互操作命令更新所述分区统计表;
数据更新单元,用于根据更新后的所述分区统计表更新所述数据。
13.如权利要求12所述的装置,其特征在于,所述分区统计表生成单元被配置为:
将所述数据按照枚举型特征的取值或连续型特征取值的划分为不同区间;
统计每个区间的数据分布信息;
根据所划分的区间及每个区间的数据分布信息生成所述分区统计表。
14.如权利要求12或13所述的装置,其特征在于,所述分区统计表中包含:数据修改信息;所述分区统计表更新单元被配置为:
获取所述交互操作命令的执行结果;
根据所述执行结果更新所述分区统计表中的数据修改信息。
15.如权利要求12所述的装置,其特征在于,所述数据更新单元根据更新后的所述分区统计表更新所述数据是在所有交互操作命令执行完成,且所述分区统计表更新单元根据所述交互操作命令完成更新所述分区统计表后执行。
16.如权利要求12所述的装置,其特征在于,所述终端设备传递的用户针对所述区间的交互操作命令包括:
用户对所述数据的更新命令。
17.如权利要求12所述的装置,其特征在于,所述交互操作命令包括:合并;所述分区统计表更新单元被配置为:
将被合并的多个区间合并为一个区间。
18.如权利要求12所述的装置,其特征在于,所述交互操作命令包括:删除区间;所述分区统计表更新单元被配置为:
删除被删除的区间的相关信息。
19.如权利要求12所述的装置,其特征在于,所述交互操作命令包括:平滑;所述分区统计表更新单元被配置为:
在数据修改信息中添加平滑记录及对应的平滑方法。
20.一种数据交互处理装置,其特征在于,所述装置包括:
视图接收单元,用于接收服务器发送的数据的视图;所述数据的视图是根据分区统计表生成,所述分区统计表用于保存将数据按照预设规则划分为不同区间的区间信息以及每个区间的数据分布信息;
视图展示单元,用于展示所述数据的视图给用户;
命令接收单元,用于接收用户针对所述区间的交互操作命令;
命令发送单元,用于发送所述交互操作命令给所述服务器,以便服务器根据所述交互操作命令更新所述分区统计表,并根据更新后的所述分区统计表更新所述数据。
21.如权利要求20所述的装置,其特征在于,所述装置还包括:
更新视图接收单元,用于接收所述服务器发送的根据更新后的所述分区统计表更新的所述数据的视图。
CN201610562313.5A 2016-07-15 2016-07-15 数据交互处理方法、装置及系统 Active CN107623583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610562313.5A CN107623583B (zh) 2016-07-15 2016-07-15 数据交互处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610562313.5A CN107623583B (zh) 2016-07-15 2016-07-15 数据交互处理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107623583A true CN107623583A (zh) 2018-01-23
CN107623583B CN107623583B (zh) 2021-02-19

Family

ID=61087247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610562313.5A Active CN107623583B (zh) 2016-07-15 2016-07-15 数据交互处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107623583B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460826A (zh) * 2018-10-31 2019-03-12 北京字节跳动网络技术有限公司 用于分发数据的方法、装置和模型更新系统
CN111984680A (zh) * 2020-08-12 2020-11-24 北京海致网聚信息技术有限公司 基于Hive分区表实现物化视图性能优化的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999592A (zh) * 2012-11-19 2013-03-27 北京中海新图科技有限公司 B/S架构下的全球Argo多源海洋数据管理与可视化系统及方法
CN103678578A (zh) * 2013-12-10 2014-03-26 广东威创视讯科技股份有限公司 一种数据可视化处理方法、服务器及数据可视化处理系统
CN103713810A (zh) * 2012-10-09 2014-04-09 腾讯科技(深圳)有限公司 一种移动终端列表数据交互方法及装置
CN104869009A (zh) * 2014-06-16 2015-08-26 青岛新闻网络传播有限公司 网站数据统计的系统和方法
US20160070778A1 (en) * 2014-09-09 2016-03-10 Sas Institute Inc. Techniques for dynamic partitioning in a distributed parallel computational environment
US9342624B1 (en) * 2013-11-07 2016-05-17 Intuit Inc. Determining influence across social networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713810A (zh) * 2012-10-09 2014-04-09 腾讯科技(深圳)有限公司 一种移动终端列表数据交互方法及装置
CN102999592A (zh) * 2012-11-19 2013-03-27 北京中海新图科技有限公司 B/S架构下的全球Argo多源海洋数据管理与可视化系统及方法
US9342624B1 (en) * 2013-11-07 2016-05-17 Intuit Inc. Determining influence across social networks
CN103678578A (zh) * 2013-12-10 2014-03-26 广东威创视讯科技股份有限公司 一种数据可视化处理方法、服务器及数据可视化处理系统
CN104869009A (zh) * 2014-06-16 2015-08-26 青岛新闻网络传播有限公司 网站数据统计的系统和方法
US20160070778A1 (en) * 2014-09-09 2016-03-10 Sas Institute Inc. Techniques for dynamic partitioning in a distributed parallel computational environment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460826A (zh) * 2018-10-31 2019-03-12 北京字节跳动网络技术有限公司 用于分发数据的方法、装置和模型更新系统
CN111984680A (zh) * 2020-08-12 2020-11-24 北京海致网聚信息技术有限公司 基于Hive分区表实现物化视图性能优化的方法及系统
CN111984680B (zh) * 2020-08-12 2022-04-19 北京海致科技集团有限公司 基于Hive分区表实现物化视图性能优化的方法及系统

Also Published As

Publication number Publication date
CN107623583B (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN104461390B (zh) 将数据写入叠瓦状磁记录smr硬盘的方法及装置
CN103995855B (zh) 存储数据的方法和装置
US20160092515A1 (en) Mining association rules in the map-reduce framework
CN102521712B (zh) 一种流程实例数据处理方法和装置
CN105138614B (zh) 在搜索结果页面进行信息展现的方法和装置
CN105574730A (zh) 基于物联网大数据平台的智能用户画像方法及装置
CN106897930A (zh) 一种信用评估的方法及装置
US20200074509A1 (en) Business data promotion method, device, terminal and computer-readable storage medium
CN106611366A (zh) 自动选品的方法及装置
CN112070402A (zh) 基于图谱的数据处理方法、装置、设备及存储介质
CN106487601A (zh) 资源监控方法、装置及系统
CN103699614B (zh) 一种确定下载资源时的默认保存路径的方法和装置
CN107623583A (zh) 数据交互处理方法、装置及系统
CN110399096A (zh) 分布式文件系统元数据缓存重删的方法、装置以及设备
CN105653550B (zh) 网页过滤方法和装置
CN104881350A (zh) 用于确定用户体验及辅助确定用户体验的方法和装置
CN109783033A (zh) 一种适用于异构系统的数据存储方法和电子设备
CN108959458A (zh) 数据生成和使用方法、系统、介质及计算机设备
CN106873906A (zh) 用于管理元信息的方法和装置
CN108959584A (zh) 一种基于社区结构的处理图数据的方法及装置
CN110851708A (zh) 负样本的抽取方法、装置、计算机设备和存储介质
CN110442754A (zh) 标签更新方法及装置、分布式存储系统
DE102022002707A1 (de) Maschinell lernende Konzepte zur Schnittstellenmerkmalseinführung über Zeitzonen oder grafische Bereiche hinweg
US11580131B2 (en) Methods and apparatus for monitoring configurable performance indicators
CN114518848A (zh) 分级存储系统和存储数据的处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant