CN113867850B - 数据处理方法、装置、设备和存储介质 - Google Patents

数据处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113867850B
CN113867850B CN202010605407.2A CN202010605407A CN113867850B CN 113867850 B CN113867850 B CN 113867850B CN 202010605407 A CN202010605407 A CN 202010605407A CN 113867850 B CN113867850 B CN 113867850B
Authority
CN
China
Prior art keywords
target
graph
node
focus
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010605407.2A
Other languages
English (en)
Other versions
CN113867850A (zh
Inventor
钱伟红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010605407.2A priority Critical patent/CN113867850B/zh
Publication of CN113867850A publication Critical patent/CN113867850A/zh
Application granted granted Critical
Publication of CN113867850B publication Critical patent/CN113867850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/231Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44568Immediately runnable code

Abstract

本申请实施例提供了一种数据处理方法、装置、设备和存储介质,以解决现有技术中,图布局算法的复杂度较高的问题。所述方法包括:在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的;确定所述目标图形的焦点,显示所述焦点的数据信息,以点线图显示大规模数据中的细节图,对大图进行简化,提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。

Description

数据处理方法、装置、设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据处理方法和装置、一种数据图的交互方法和装置、一种电子设备和一种存储介质。
背景技术
图可视化是信息可视化的子领域,被广泛地应用在流程图、社交网络、因特网、蛋白质网络等关系数据的呈现中。然而,随着数据量的不断增加,使得图可视化面临着巨大的挑战。
首先,在算法复杂度上,多数图布局算法复杂度很高,比如多项式复杂程度的非确定性(Non-deterministic Polynomial Complete,NP)完全问题或是NP难问题。因此,在面对大规模数据时,一些算法几乎是不可用的,即便可用也会带来很大的时间开销,让实时交互成为奢望。
其次,在有限的屏幕范围内绘制几万、几十万的点,势必会伴随着视觉紊乱的问题。比如点与点之间遮挡,边与边之间交错严重,用户难以从中看到有效信息等问题,造成图的可读性降低。
发明内容
本申请实施例提供了一种数据处理方法,以解决现有技术中,图布局算法的复杂度较高的问题。
相应的,本申请实施例还提供了一种数据处理装置、一种电子设备以及一种存储介质,用以保证上述方法的实现及应用。
为了解决上述问题,本申请实施例公开了一种数据处理方法,所述方法包括:在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的;确定所述目标图形的焦点,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点。
本申请实施例还公开了一种数据图的交互方法,所述方法包括:
在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的;
确定所述目标图形的焦点,以点线图显示所述焦点的数据信息;
其中,所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;所述点线图中的包括每个所述子节点对应的图标;
接收对所述图标的选择操作,执行与所述选择操作对应的处理操作。
本申请实施例还公开了一种数据处理装置,所述装置包括:
目标图形显示模块,用于在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的;
信息显示模块,用于确定所述目标图形的焦点,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点。
本申请实施例还公开了一种数据图的交互装置,所述装置包括:
第一显示模块,用于在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的;
第二显示模块,用于确定所述目标图形的焦点,以点线图显示所述焦点的数据信息;
其中,所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;所述点线图中的包括每个所述子节点对应的图标;
数据交互模块,用于接收对所述图标的选择操作,执行与所述选择操作对应的处理操作。
本申请实施例还公开了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如本申请实施例中一个或多个所述的方法。
本申请实施例还公开了一个或多个机器可读存储介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如本申请实施例中一个或多个所述的方法。
与现有技术相比,本申请实施例包括以下优点:
在本申请实施例中,通过对原始数据进行层次聚类得到目标树结构,并将目标树结构映射为目标图形,通过目标图形清晰展示大规模数据之间的关系,降低图可视化算法的复杂度,提升图的可读性;确定所述目标图形的焦点后,进一步显示所述焦点的数据信息,以点线图显示大规模数据中的细节图,对大图进行简化,提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。
附图说明
图1是本申请实施例的一种会话状态处理的应用示意图之一;
图2是本申请实施例的一种会话状态处理的应用示意图之二;
图3是本申请实施例的一种会话状态处理的应用示意图之三;
图4是本申请实施例的一种会话状态处理的应用示意图之四;
图5是本申请实施例的一种会话状态处理的应用示意图之五;
图6是本申请实施例的一种会话状态处理的应用示意图之六;
图7是本申请实施例的一种会话状态处理的应用示意图之七;
图8是本申请实施例的一种会话状态处理的应用示意图之八;
图9是本申请实施例的一种会话状态处理的应用示意图之九;
图10是本申请实施例的一种会话状态处理的应用示意图之十;
图11是本申请实施例的一种会话状态处理的应用示意图之十一;
图12是本申请实施例的一种会话状态处理的应用示意图之十二;
图13是本申请实施例的一种会话状态处理的应用示意图之十三;
图14是本申请实施例的一种会话状态处理的应用示意图之十四;
图15是本申请实施例的一种会话状态处理的应用示意图之十五;
图16是本申请的一种数据处理方法实施例的步骤流程图;
图17是本申请的一种数据图的交互方法实施例的步骤流程图;
图18是本申请的一种数据处理装置实施例的结构框图;
图19是本申请的一种数据处理装置可选实施例的结构框图;
图20是本申请的一种数据图的交互装置实施例的结构框图;
图21是本申请一实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例中可应用于大数据库处理领域,对大数据进行图可视化显示,通过层次聚类得到目标图形,通过目标图形清晰展示大规模数据之间的关系,降低图可视化算法的复杂度,提升图的可读性;确定所述目标图形的焦点后,进一步显示所述焦点的数据信息,以点线图显示大规模数据中的细节图,对大图进行简化,提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。
如图1所示,图1示出了本申请实施例的一应用场景示意图。图1中为一用户界面(User Interface,UI)的示意图,UI界面为人机交互界面。UI界面包括点线图区域以及目标图形区域;其中,目标图形对为待处理的原始数据进行处理后得到的,具体地,目标图形能够反映对数据进行聚类的每一步进程,因此是聚类分析结果的一种重要形式;如图1所示,目标图形是一种用于展示聚类分析结果的图形;可选地,所述目标图形包括冰柱图,冰柱图因其形状类似于冬天屋檐下垂下的冰柱,因此得名。其中x轴方向表示被聚类的对象,即原始数据;y轴表示聚类的层次数目。与图1中的目标树结构对应,目标图形中每一个单元格作为一个类,如图目标图形中“类”所标注,与目标树结构的每一个分支一一对应。需要说明的是,本申请实施例中,节点即node,亦可写为结点。点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格,比如在目标图形中,用户选择某个单元格,则该单元格即为焦点;在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据以及节点数据之间的拓扑关系,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
具体地,待处理的原始数据可以是流程图、社交网络、因特网、蛋白质网络、知识图谱等关系数据;以社交网络分析为例,原始数据可以包括多个分析对象以及分析对象之间的社交关系,通过对原始数据进行层次聚类,得到目标树结构;并通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的节点包括的节点数据以及节点数据之间的拓扑关系;比如,用户选中目标图形中某一单元格,则点线图中显示该类包括的所有分析对象,以及分析对象间的社交关系;再以知识图谱的信息展示为例,原始数据可以包括多个知识点以及知识点之间的关联关系,通过对原始数据进行层次聚类,得到目标树结构;并通过目标图形的形式显示知识点之间的关联关系,关联关系例如从属关系等。
在步骤101中,首先对所述原始数据进行层次聚类,得到所述目标树结构。
聚类是指将相似的事物聚集在一起,而将不相似的事物划分到不同的类别的过程,聚类是数据分析过程中十分重要的一种手段。比如古典生物学中,人们通过物种的形貌特征将其分门别类,通过聚类以将纷繁复杂的信息,简化为数量较少且方便用户理解的类别。聚类是一种无指导的学习方式,通过给定简单的规则,得到对事物的分类。
层次聚类一般通过给定网络的拓扑结构,定义网络节点间的相似性或距离,然后采用单连接层次聚类或全连接层次聚类将网络节点组成一个树状图的层次结构。层次聚类是一种直观的聚类算法,通过一层一层地逐层进行聚类,最后创建一棵具有层次结构的树结构。如图2中所示,左侧为原始数据,右侧为对原始数据进行层次聚类得到的目标树结构。在目标树结构中,原始数据(或原始数据点)位于树的最底层,即节点A、节点B、节点C以及节点D;H点表示原始数据的父节点;聚类的根节点是最高层,如图中S点所示。因此,所述目标树结构为对原始数据进行层次聚类得到的。
在聚类过程中,可以采用是自底向上的凝聚方法或自上向下的分裂方法。如图3所示,自上向下的分裂方法中,先将原始数据点中所有的数据点看作是一个簇(图3中每个封闭曲线范围内作为一个簇),接着找出距离最远的那两个簇,进行分裂,不断重复直到达到预期簇数或预设的终止条件。自底向上的凝聚方法中,先将原始数据点中每个数据点分别看作一个簇,接着找出距离最小的那两个簇进行合并,不断重复直到达到预期簇数或预设的终止条件。
本申请实施例中,通过层次聚类对原始数据进行聚类,实现快速、一次性的完成聚类,得到目标树结构。
在一个可选实施例中,所述对所述原始数据进行层次聚类的步骤,包括:
步骤1011,对原始数据进行第一社区检测,划分第一社区。
步骤1012,在所述第一社区中,进行第二社区检测,划分得到第二社区,并计算第二社区的模块度。
步骤1013,将模块度最大的社区划分方式作为该层的目标划分方式,进行社区划分。
社区(或社团)检测是指将网络中联系紧密的部分找出来,这些紧密的部分就称之为社区;通常社区内部联系稠密,而社区之间联系稀疏。利用图拓扑结构中所蕴藏的信息从复杂网络中解析出其模块化的社区结构,基于模块度优化的角度选择合适的社区划分方式,进而完成聚类。
在聚类的过程中,采用基于模块度的凝聚式层次聚类方法;首先对原始数据进行第一社区检测,划分多个第一社区,得到初始的社区结构;比如Louvain社团发现层次聚类算法,是一种基于模块度最优化的启发式算法,其使用两层迭代,外层的迭代是自下而上的凝聚法,内层的迭代是凝聚法加上交换策略,避免了单纯凝聚方法中,两个节点一旦合并,就无法再分开的弊端。且Louvain聚类算法的计算速度较快,非监督、易于理解。然而,将Louvain聚类算法应用于局部图时,容易出现的问题是不同的小型社区被出入度为1度的顶点相连接,而容易被误计算为同一个社区。因此,步骤1012中,在第一社区中,重新扫描,进行第二社区检测,划分得到第二社区,然后计算第二社区的模块度。
模块度也称模块化度量值,是一种衡量网络社区结构强度的度量。模块度值的大小主要取决于网络中结点的的社区划分情况,可以用来定量的衡量网络社区划分质量;模块度的取值范围在0到1之间,其值越接近1,表示网络划分出的社区结构的强度越强,也就是划分质量越好。因此可以通过最大化模块度Q来获得最优的社区划分方式。
具体地,模块度的数值为社区内部的总边数和社区网络(即所有第二社区形成的网络)中总边数的比例,减去一个期望值a,该期望值a是将网络设定为随机网络时,同样的社区划分方式所形成的社区网络内部的总边数和网络中总边数的比例的大小,于是模块度Q可表示为以下第一公式:
其中,第一公式中,Q表示模块度,i表示社区网络中第i条边,e表示某个社区内部的总边数和社区网络中总边数的比例。
在对所述第一社区中,进行第二社区检测,划分得到第二社区的过程中,可尝试多种社区划分方式,最终择取模块度最优的划分方式,将模块度最大的社区划分方式作为该层的目标划分方式,进行社区划分,作为层次聚类的结果,得到目标树结构。
在一个实施例中,所述方法还包括:
步骤102,在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的。
参见图1,显示界面即UI界面,UI界面包括点线图区域以及目标图形区域;目标图形对为待处理的原始数据进行处理后得到的,能够反映对数据进行聚类的每一步进程;如图1所示,目标图形与图1中的目标树结构对应,目标图形中每一个单元格作为一个类,与目标树结构的每一个分支一一对应。
具体地,待处理的原始数据可以是流程图、社交网络、因特网、蛋白质网络等关系数据;以社交网络分析为例,原始数据可以包括多个分析对象以及分析对象之间的社交关系,通过对原始数据进行层次聚类,得到目标树结构。
步骤103,确定所述目标图形的焦点,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点。
参见图1,点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格;也就是说在目标图形中,用户选择某个单元格,则该单元格即为焦点。
除用户选中之外,还可以自动确定焦点,比如,随机确定目标图形中一个点作为焦点;或者根据预设的焦点选择规则,选择焦点。
确定所述目标图形的焦点后,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;第一拓扑关系为点与点之间的关系。
在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据信息,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的子节点以及子节点数据之间的拓扑关系;比如,用户选中图1上午目标图形中F点所示的单元格,则点线图中显示的焦点包括该单元格的所有子节点,子节点如点线图中所示,每个圆形图标均为一个子节点,图标内显示的是该子节点包括的后代子节点以及后代节子点间的拓扑关系;后代子节点即子节点的子节点;图标外的连线为子节点间的拓扑关系。
本申请实施例中,通过对原始数据进行层次聚类得到目标树结构,并将目标树结构映射为目标图形,通过目标图形清晰展示大规模数据之间的关系,降低图可视化算法的复杂度,提升图的可读性;确定所述目标图形的焦点后,进一步显示所述焦点的数据信息,以点线图显示大规模数据中的细节图,对大图进行简化,提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。本申请实施例解决了现有技术中,图布局算法的复杂度较高的问题。
在一个可选实施例中,所述在显示界面显示目标图形的步骤之前,所述方法还包括:
将所述目标树结构映射为所述目标图形;所述目标图形中,包括所述目标树结构中的每个类。
其中,“类”即聚类所得的类,也即目标树结构中的每个节点;在将目标树结构映射成目标图形的过程中,将每个类分别对应目标图形中每个单元格,参见图4,目标数结构中每个类与目标图形中每个单元格中,用相同字母标记的表示为对应关系,但目标图形在视觉效果上显示数据之间的关系更为直观一些,且目标图形能够反映对数据进行聚类的每一步进程。
进一步地,所述显示所述焦点的数据信息的步骤,包括:
以点线图显示所述焦点的数据信息;
所述点线图中的包括每个所述子节点对应的图标,所述图标中包括:所述子节点的后代子节点,以及所述后代子节点之间的第二拓扑关系。
点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格,比如在目标图形中,用户选择某个单元格,则该单元格即为焦点;在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据信息,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
参见图1,在点线图中显示每个所述子节点对应的图标;比如,用户选中图1上午目标图形中F点所示的单元格,则点线图中显示的焦点包括该单元格的所有子节点,子节点如点线图中所示,每个圆形图标均为一个子节点,图标内显示的是该子节点包括的后代子节点以及后代节子点间的第二拓扑关系;后代子节点即子节点的子节点;图标外的连线为子节点间的拓扑关系;通过图标,将子节点的包括的后代子节点以及后代子节点之间的第二拓扑关系清楚展示出来,这样,在显示界面上可直观获知三个层级之间数据关系;作为示例,参见图5,当以点线图显示所述焦点的数据信息时,会采用分层显示的方式展示这个节点下包含的信息;图5中左侧为焦点的树结构,右侧S所示为焦点的点线图。
具体地,分层显示包含三层,第一层级为焦点层,在实际展示中,它的边框可隐藏显示的;第二层级展示的是焦点节点的子节点,也称为子类;第三层级,展示的是焦点的子类的子类,即后代子节点。整个视图可以作为焦点下子类的拓扑结构图;对于每个子类,不仅只用一个点来表示,而是采用了一个图标。参见图5中的每个子节点的图标,如图标H所示;图标H内部包括5个后代子节点A,其中还显示后代子节点A之间的连接关系。
在一个可选实施例中,所述将所述目标树结构映射为所述目标图形的步骤,包括:
对于所述目标树结构的每一层,确定每个节点在所述目标图形中的第一平面位置,所述第一平面位置为使得所述目标图形的系统能量最小的点对应的位置。
在将目标树结构中的节点分别映射到目标图形的过程中,采用图布局算法确定每个节点(或类)在目标图形中的第一平面位置,使得系统能量最小。对于二维图,将其看成一个动能系统,其中每两个节点之间有一个作用力,比如将这个作用力看成是弹簧的弹力,要使整个动能系统达到动能最小,达到平衡状态。
具体地,可通过图布局算法确定最小系统能量,例如stress majorization算法,通过计算欧氏距离确定最小系统能量,使得点的空间距离尽可能接近图论距离;最小系统能量对应的位置如以下第二公式所示:
其中,Wij表示一张二维布局的图,无向图无需重复计算,因此i<j;Xi表示节点i当前位置,即布局后的位置;||Xi-Xj||表示i点与j点之间的欧式距离;dij表示i点与j点之间的图论距离;作为示例,参见图6,布局前的节点A至节点F,与布局后的节点A至节点F;其中,布局后的节点A至节点F中,d=1表示图论距离,节点之间的连线表示欧式距离。
可选地,所述确定每个节点在所述目标图形中的第一平面位置的步骤之后,所述方法包括:
根据预设约束算法,对所述点线图的第一显示方向、第二显示方向依次进行去重处理,得到每个第一平面位置对应的第二平面位置;所述第二平面位置为对所述节点进行去重处理后的位置。
在通过进行图布局时,计算得到的节点的第一平面位置时,多个节点的第一平面位置容易出现重叠,因此需要对多个节点的第一平面位置进行去重叠处理,微调它们的位置使得彼此之间不存在重叠,同时尽可能的靠近第一平面位置。具体地,可采用下述算法,将二次的约束优化问题拆解成两个分别对于x轴和y轴方向上的约束优化问题,算法的时间效率为0(nlogn)。例如,先对x轴进行求解,然后再生成y轴的约束C(y^no),此时,有些重叠已经通过x轴方向上的移动得到了解决,约束的数量也会得到减少,之后对y轴进行求解,可提高计算的效率。作为示例,可采用下述算法程序处理:
输入:节点集合V
1.function overlap._removal(V)
2.compute Cx no
3.x=minimizeФx subject to Cx no
4.x0=x
5.compute Cyno
6.y=minimizeФy subject to Cyno
上述程序中,节点集合即带去重处理的节点的集合;
第1行,对集合V进行去重处理。
第2行,生成x轴方向上的约束,确保图中没有点是重叠的,并尽可能更多保留原图的结构;如图7所示,以点u作为点v的参考点,例如点v原来在点u左侧,那么移动后点v在点u右侧(如图7所示的位置)。其中,Wu表示u点的单元格的二分之一的宽度,Wv表示v点的单元格的二分之一的宽度;
不重叠的情况下,
若Xv-Xu≥1/2(Wv+Wu),则点v在点u右侧;
若Xu-Xv≥1/2(Wv+Wu),则点u在点v右侧。
第3行,求满足约束条件下变化最小的布局,以v点来说,如下第三公式所示:
根据第三公式,求得x周方向上的目标位置xv
第4行,更新x轴方向上的坐标。
第5、6行,生成y轴方向上的约束,求满足约束条件下变化最小的布局;具体过程参考第2至4行x轴方向上的坐标更新过程,在此不再赘述。
大规模数据往往还伴随着导航困难的问题。通常情况下,用户习惯于在局部细节和上下文信息的共同作用下感知信息。在小规模图中,用户通常会从整个图的预览入手,开始逐步的探索任务;但对大规模图而言,直接将整个图绘制出来预览是不可行的。因此,在巨大的图中实现导航并让用户在探索过程中不丢失方向较为困难的;本申请实施例中,所述方法还包括:
接收对所述图标的选择操作,执行与所述选择操作对应的处理操作;所述处理操作包括:缩放操作、展开操作、聚集操作、删除操作、显示导航操作、突出显示操作、过滤操作、撤销操作以及重做操作中的至少一种。
在显示界面上接收针对某个图标的选择操作,确定与选择操作对应的处理操作;可选地,可以设定导航栏,提供上述操作的触发按键;或者,根据选择操作的具体参数确定处理操作,比如用户在某个图标上单击操作或双击操作,或用户同时选择几个图标等。下面具体说明所述处理操作。
缩放操作
缩放操作可以实现快捷的浏览到更宏观或者更微观的数据信息。缩放操作并非空间上的放大缩小,而是语义上的,显示类的上一层或是类内的详细信息。作为示例,如图8所示,Zoom in(U,w)表示的是放大视图U中的类w,比如用户选中类w对应的图标,对图中的w代表的类进行放大,将该类作为焦点,所以就得到了视放大视图。如图9所示,而Zoom out(U,w)表示的是缩小视图U中的类w,类w作为焦点隐含在了视图U中。缩小后,视图的焦点就成为了类w的父类。
展开操作
展开操作可以实现对聚集的类做一些调整,比如将此前折叠起来没有具体显示部分,打开直接显示出。即对一个大类,展开就是打破大类的包裹,直接展示大类中的子类。如图10所示,比如用户选中类w对应的图标,Expand(U,w)用于将视图U中的类w进行展开,将w中的子节点在视图U作为大类具体展现,如展开后的师徒所示。
聚集操作
聚集操作就是选中出一些小类后,组成一个新的大类。如图11所示,比如用户选中类w对应的图标,Group(U,w1,w2,w3)即对视图U中的类w1,w2,w3进行聚集,聚集后作为一个类w显示,即在视图U以新的大类w中的子类显示。聚集交互,可以与展开交互相结合,实现聚类进行调整。
删除操作
删除操作允许对于视图中的类进行删除,以降低视觉上的混乱度。删除操作的交互方式主要应用在节点数目比较多的情况下使用,点线交错,导致观察困难,可删除掉部分节点更利于观察点线连接情况。如图12示,比如用户选中类w对应的图标,Dlete(U,w)即对视图U中的类w进行删除,删除后剩余类u和类v。
具体地,聚集操作和删除操作除主要依赖套索工具实现;套索工具就是选中目标类,比如用户通过鼠标在目标类外画一个封闭的曲线,曲线内包含用户希望选中的所有目标。在具体交互时,可在显示界面上方的工具栏中,选择当前操作为聚集操作或是删除操作,然后去圈套目标类,松开鼠标后,自动完成聚集或删除目标对象的操作。
显示导航操作
显示导航操作可通过可视化视图下方的目标图形实现。目标图形可以反映层次聚类得到的树结构,目标图形上的每一个单元格,代表了一个聚类。可通过点击目标图形上的单元格,将单元格所代表的类切换为焦点,展现类内的详细信息,实现快速定位功能。
突出显示操作
突出显示操作指当用户将鼠标移动到可视化视图中的一个类或是一个点时,突出显示与它相连接的点和线,让用户更容易看到连接关系。突出显示例如高亮显示。突出显示对于在点线有遮挡的情况中;比如在未突出显示的情况下,沿着连接线寻找与被观察的点相连接的时,容易迷失方向,而突出显示后,使得目标类更容易被追踪。同时突出显示不会隐去其他没有连接关系的点,用户可以继续在视图中完后他的探索任务。
过滤操作
在一些情况下,一些类内很多节点连接过于紧密,导致一个类中有很多个小类,或类间点连接过于稀疏难以被聚集成一个大类;此时,容易出现某些层中类数目过多的情况,造成显示效果较为混乱,用户难以获取到有效信息,而且会让查询和计算布局的时间增加,交互起来不太流畅。因此,本申请实施例中提供过滤功能,比如可以预先设置一个类中最多展现出来的点数;或对于类,优先选择包含数据量多的类,而对于点,优先选择出入度高的点。比如,用户通过滑条来控制一个类中最多展现出来的点数,设置数目为30时,那么所有展示出的类中,都只显示类中包含点数目前三十的类,若类中包含点数小于30,则全部显示。因此,过滤掉一些不重要的点,可降低视觉复杂度。
撤销操作及重做操作
在数据探索过程中存在一定的不确定性的,因此,本申请实施例中,设定撤销操作及重做操作,为用户提供一次重新选择的机会;撤销例如一次撤销回退到最近一次操作前的状态;重做例如还原最近一次被撤销的操作;此外,撤销和重做都可以连续点击多次,直到回退到最初状态。
在完成层次聚类后,层次聚类的结果需要保存,比如以一种数据结构保存在浏览器内存中;由于数据量规模较大,其查询速度也较慢;为了解决该问题,本申请实施例中,以一种可快速查询的数据结构存储层次聚类结果。具体地,在一个可选实施例中,所述对所述原始数据进行层次聚类,得到所述目标树结构的步骤之后,还包括:
对于所述目标树结构的目标类,确定所述目标类的第一集合以及第二集合;所述第一集合中包括所述目标类的叶子节点;所述第二集合包括与所述第一集合存在隐含边的节点集合;
将所述第一集合与所述第二集合进行关联存储。
类即目标树结构中的每个聚类。对于目标树结构中的每个目标类,确定包括其叶子节点的第一集合以及与与所述第一集合存在隐含边的节点集合。叶子节点即原始数据形成的节点,如图2中的节点A、节点B、节点C与节点D。
对于聚类得到的两个类u、类w,若类u的叶子节点和类w的叶子节点存在边,则称类u和类w之间存在隐含边。如图13所示,节点u、节点v、节点w表示聚类得到的类,节点A、节点B与节点C表示原始数据点,也是树结构中的叶子节点。实线表示树结构中节点(父节点)与子节点之间的联系。如图中虚线所示,类u和类w之间存在一对叶子节点有边连接,所以u和w之间存在隐含边;而类u和类v之间不存在任何叶子节点之间有边连接,所以u和v之间不存在隐含边。确定第二集合后,将所述第一集合与所述第二集合进行关联存储,这样,在加载第一集合时,可同时加载第二集合,提升处理速度。
具体地,所述确定所述目标类的第一集合以及第二集合的步骤,包括:
将与所述目标类处于同一层次类的所有节点依次编号,确定包括所述目标类的叶子节点的第一集合,
根据所述第一集合包括的节点编号,以及非目标类的叶子节点的第三集合包括的节点编号,确定所述第三集合中的第二集合。
因为原始数据是确定不变的,深度遍历给所有的叶子节点,并按序编号,如图14所示,依次编号后再对每个类都记录序号最小和最大的点。这样对于每个类,可以用一个闭区间表示它的范围,比如类u,最小值是0,最大值是2,其集合包含序号为0,1,2的这三个点。此时,比较点的大小,其实就相当于是在比较点序号的大小。
根据所述第一集合包括的节点编号,遍历非目标类的叶子节点的第三集合包括的节点编号,从所述第三集合中筛选第二集合。
具体地,所述根据所述第一集合包括的节点编号,以及非目标类的叶子节点的第三集合包括的节点编号,确定所述第三集合中的第二集合的步骤,包括:
获取第一集合中的最大节点编号以及最小节点编号,以及第三集合中的目标节点编号;其中,所述目标节点编号为所述第三集合中,大于所述最小节点编号的点中最小的节点编号;
若所述目标节点编号小于或等于所述最大节点编号,则所述第三集合为所述第二集合。
比如,对于类v来说,节点B形成的集合为第一集合,节点w形成的集合为第二集合,以c_H(v)表示第一集合,以S(u)表示第三集合;判断两个类之间是否存在隐含边,需判断两个类的交集是否为空集,即S(u)∩c_H(v)是否为若不为空集,则二者存在隐含边。
在当且仅当/>(v)时成立;其中,succ[S(u),v]表示的是返回集合S(u)中大于v的点中最小的点,若不存在那样的点则返回空。min(v)和max(v)分别表示集合c_H(v)中最小的点和最大的点。
对于每个第三集合,从中筛选目标节点编号;目标节点编号为所述第三集合中,大于所述最小节点编号的点中最小的节点编号;参见图14,对于类u来说,S(u)={0,1,2,7},所以目标节点编号为7,succ[S(u),min(v)]=7>max(v),所以u和v之间不存在隐含边,类u的第三集合不为所述第二集合。
对于类w而言,S(w)={5,6,7,8,9,10},所以succ[S(u),min(w)]=5<max(v),所以u和v之间存在隐含边,类w的第三集合不为所述第二集合。
在一个可选实施例中,所述将所述第一集合与所述第二集合进行关联存储的步骤之后,所述方法还包括:
接收读取所述第一集合的读取操作,读取所述第一集合以及所述第二集合。
对于第一集合中以及第二集合的叶子节点,将叶子节点的信息存在每个类中,每次对两类中的叶子节点两两匹配进行查询,显然是耗时耗力的。因此,本申请实施例中,在读取第一集合时,同时读取第二集合,以提升数据查询速率。
作为一可选实施例,参见图15,图15提供了一应用于本申请实施例提供的数据处理方法的装置,主要包括以下模块:
层次聚类模块,用于对原始数据进行层次聚类。
数据存储模块,将层次聚类的结果进行存储,并与可视化模块、交互模块进行数据交互。
可视化模块,用于在显示界面显示目标图形,以及显示所述焦点的数据信息。
交互模块,提供缩放操作、展开操作、聚集操作、删除操作、显示导航操作、突出显示操作、过滤操作、撤销操作以及重做操作中的至少一种。
本申请实施例中,通过对原始数据进行层次聚类得到目标树结构,并将目标树结构映射为目标图形,通过目标图形清晰展示大规模数据之间的关系,降低图可视化算法的复杂度,提升图的可读性;确定所述目标图形的焦点后,进一步显示所述焦点的数据信息,以点线图显示大规模数据中的细节图,对大图进行简化,提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。
在上述各实施例的基础上,本申请实施例还提供了一种数据处理方法,能够通过目标图形清晰展示大规模数据之间的关系,降低图可视化算法的复杂度,对大图进行简化,提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。
参照图16,示出了本申请实施例的一种数据处理方法实施例的步骤流程图,所述方法包括:
步骤1601,在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的。
显示界面可以为UI界面,图1中为一UI界面的示意图。UI界面包括目标图形区域;其中,目标图形对为待处理的原始数据进行处理后得到的,具体地,目标图形能够反映对数据进行聚类的每一步进程,因此是聚类分析结果的一种重要形式;如图1所示,目标图形与图1中的目标树结构对应,目标图形中每一个单元格作为一个类,如图目标图形中“类”所标注,与目标树结构的每一个分支一一对应。需要说明的是,本申请实施例中,节点即node,亦可写为结点。点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格,比如在目标图形中,用户选择某个单元格,则该单元格即为焦点;在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据以及节点数据之间的拓扑关系,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
具体地,待处理的原始数据可以是流程图、社交网络、因特网、蛋白质网络、知识图谱等等关系数据;以社交网络分析为例,原始数据可以包括多个分析对象以及分析对象之间的社交关系,通过对原始数据进行层次聚类,得到目标树结构;并通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的节点包括的节点数据以及节点数据之间的拓扑关系;比如,用户选中目标图形中某一单元格,则点线图中显示该类包括的所有分析对象,以及分析对象间的社交关系;再以知识图谱的信息展示为例,原始数据可以包括多个知识点以及知识点之间的关联关系,通过对原始数据进行层次聚类,得到目标树结构;并通过目标图形的形式显示知识点之间的关联关系,关联关系例如从属关系等。
步骤1602,确定所述目标图形的焦点,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点。
参见图1,点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格,比如在目标图形中,用户选择某个单元格,则该单元格即为焦点。
确定所述目标图形的焦点后,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;第一拓扑关系为点与点之间的关系。
在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据信息,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的子节点以及子节点数据之间的拓扑关系;比如,用户选中图1上午目标图形中F点所示的单元格,则点线图中显示的焦点包括该单元格的所有子节点,子节点如点线图中所示,每个圆形图标均为一个子节点,图标内显示的是该子节点包括的后代子节点以及后代节子点间的拓扑关系;后代子节点即子节点的子节点;图标外的连线为子节点间的拓扑关系。
在一个可选实施例中,所述目标图形包括冰柱图。
在一个可选实施例中,所述目标树结构为对原始数据进行层次聚类得到的;所述在显示界面显示目标图形的步骤之前,所述方法还包括:
对所述原始数据进行层次聚类,得到所述目标树结构。
聚类是指将相似的事物聚集在一起,而将不相似的事物划分到不同的类别的过程,聚类是数据分析过程中十分重要的一种手段。比如古典生物学中,人们通过物种的形貌特征将其分门别类,通过聚类以将纷繁复杂的信息,简化为数量较少且方便用户理解的类别。聚类是一种无指导的学习方式,通过给定简单的规则,得到对事物的分类。
层次聚类一般通过给定网络的拓扑结构,定义网络节点间的相似性或距离,然后采用单连接层次聚类或全连接层次聚类将网络节点组成一个树状图的层次结构。层次聚类是一种直观的聚类算法,通过一层一层地逐层进行聚类,最后创建一棵具有层次结构的树结构。如图2中所示,左侧为原始数据,右侧为对原始数据进行层次聚类得到的目标树结构。在目标树结构中,原始数据(或原始数据点)位于树的最底层,即节点A、节点B、节点C以及节点D;H点表示原始数据的父节点;聚类的根节点是最高层,如图中S点所示。
在聚类过程中,可以采用是自底向上的凝聚方法或自上向下的分裂方法。如图3所示,自上向下的分裂方法中,先将原始数据点中所有的数据点看作是一个簇(图3中每个封闭曲线范围内作为一个簇),接着找出距离最远的那两个簇,进行分裂,不断重复直到达到预期簇数或预设的终止条件。自底向上的凝聚方法中,先将原始数据点中每个数据点分别看作一个簇,接着找出距离最小的那两个簇进行合并,不断重复直到达到预期簇数或预设的终止条件。
在一个可选实施例中,所述对所述原始数据进行层次聚类的步骤,包括:
对原始数据进行第一社区检测,划分第一社区;
在所述第一社区中,进行第二社区检测,划分得到第二社区,并计算第二社区的模块度;
将模块度最大的社区划分方式作为该层的目标划分方式,进行社区划分。
在一个可选实施例中,所述对所述原始数据进行层次聚类,得到所述目标树结构的步骤之后,所述方法还包括:
对于所述目标树结构的目标类,确定所述目标类的第一集合以及第二集合;所述第一集合中包括所述目标类的叶子节点;所述第二集合包括与所述第一集合存在隐含边的节点集合;
将所述第一集合与所述第二集合进行关联存储。
在一个可选实施例中,所述确定所述目标类的第一集合以及第二集合的步骤,包括:
将与所述目标类处于同一层次类的所有节点依次编号,确定包括所述目标类的叶子节点的第一集合,
根据所述第一集合包括的节点编号,以及非目标类的叶子节点的第三集合包括的节点编号,确定所述第三集合中的第二集合。
在一个可选实施例中,所述根据所述第一集合包括的节点编号,以及非目标类的叶子节点的第三集合包括的节点编号,确定所述第三集合中的第二集合的步骤,包括:
获取第一集合中的最大节点编号以及最小节点编号,以及第三集合中的目标节点编号;其中,所述目标节点编号为所述第三集合中,大于所述最小节点编号的点中最小的节点编号;
若所述目标节点编号小于或等于所述最大节点编号,则所述第三集合为所述第二集合。
在一个可选实施例中,所述将所述第一集合与所述第二集合进行关联存储的步骤之后,所述方法还包括:
接收读取所述第一集合的读取操作,读取所述第一集合以及所述第二集合。
在一个可选实施例中,所述在显示界面显示目标图形的步骤之前,所述方法还包括:
将所述目标树结构映射为所述目标图形;所述目标图形中,包括所述目标树结构中的每个类。
在一个可选实施例中,所述显示所述焦点的数据信息的步骤,包括:
以点线图显示所述焦点的数据信息;
所述点线图中的包括每个所述子节点对应的图标,所述图标中包括:所述子节点的后代子节点,以及所述后代子节点之间的第二拓扑关系。
在一个可选实施例中,所述将所述目标树结构映射为所述目标图形的步骤,包括:
对于所述目标树结构的每一层,确定每个节点在所述目标图形中的第一平面位置,所述第一平面位置为使得所述目标图形的系统能量最小的点对应的位置。
在一个可选实施例中,所述确定每个节点在所述目标图形中的第一平面位置的步骤之后,所述方法包括:
根据预设约束算法,对所述点线图的第一显示方向、第二显示方向依次进行去重处理,得到每个第一平面位置对应的第二平面位置;所述第二平面位置为对所述节点进行去重处理后的位置。
在一个可选实施例中,所述方法还包括:
接收对所述图标的选择操作,执行与所述选择操作对应的处理操作;所述处理操作包括:缩放操作、展开操作、聚集操作、删除操作、显示导航操作、突出显示操作、过滤操作、撤销操作以及重做操作中的至少一种。
本申请实施例中,通过对原始数据进行层次聚类得到目标树结构,并将目标树结构映射为目标图形,通过目标图形清晰展示大规模数据之间的关系,降低图可视化算法的复杂度,提升图的可读性;确定所述目标图形的焦点后,进一步显示所述焦点的数据信息,以点线图显示大规模数据中的细节图,对大图进行简化,提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。
在上述各实施例的基础上,本申请实施例还提供了一数据图的交互方法,能够对数据图进行操作交互,提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。
参见图17,所述方法包括:
步骤1701,在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的。
显示界面可以为UI界面,图1中为一UI界面的示意图。UI界面包括目标图形区域;其中,目标图形对为待处理的原始数据进行处理后得到的,具体地,目标图形能够反映对数据进行聚类的每一步进程,因此是聚类分析结果的一种重要形式;如图1所示,目标图形与图1中的目标树结构对应,目标图形中每一个单元格作为一个类,如图目标图形中“类”所标注,与目标树结构的每一个分支一一对应。需要说明的是,本申请实施例中,节点即node,亦可写为结点。点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格,比如在目标图形中,用户选择某个单元格,则该单元格即为焦点;在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据以及节点数据之间的拓扑关系,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
具体地,待处理的原始数据可以是流程图、社交网络、因特网、蛋白质网络等关系数据;以社交网络分析为例,原始数据可以包括多个分析对象以及分析对象之间的社交关系,通过对原始数据进行层次聚类,得到目标树结构;并通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的节点包括的节点数据以及节点数据之间的拓扑关系;比如,用户选中目标图形中某一单元格,则点线图中显示该类包括的所有分析对象,以及分析对象间的社交关系。
步骤1702,确定所述目标图形的焦点,以点线图显示所述焦点的数据信息;
其中,所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;所述点线图中的包括每个所述子节点对应的图标。
参见图1,点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格;也就是说在目标图形中,用户选择某个单元格,则该单元格即为焦点。
除用户选中之外,还可以自动确定焦点,比如,随机确定目标图形中一个点作为焦点;或者根据预设的焦点选择规则,选择焦点。
确定所述目标图形的焦点后,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;第一拓扑关系为点与点之间的关系。
在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据信息,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的子节点以及子节点数据之间的拓扑关系;比如,用户选中图1上午目标图形中F点所示的单元格,则点线图中显示的焦点包括该单元格的所有子节点,子节点如点线图中所示,每个圆形图标均为一个子节点,图标内显示的是该子节点包括的后代子节点以及后代节子点间的拓扑关系;后代子节点即子节点的子节点;图标外的连线为子节点间的拓扑关系。
步骤1703,接收对所述图标的选择操作,执行与所述选择操作对应的处理操作。
处理操作包括:缩放操作、展开操作、聚集操作、删除操作、显示导航操作、突出显示操作、过滤操作、撤销操作以及重做操作中的至少一种。
大规模数据往往还伴随着导航困难的问题。通常情况下,用户习惯于在局部细节和上下文信息的共同作用下感知信息。在小规模图中,用户通常会从整个图的预览入手,开始逐步的探索任务;但对大规模图而言,直接将整个图绘制出来预览是不可行的。因此,在巨大的图中实现导航并让用户在探索过程中不丢失方向较为困难的,而本申请实施例中,在显示界面上接收针对某个图标的选择操作,确定与选择操作对应的处理操作,实时进行数据交互操作,比如设定导航栏,提供上述操作的触发按键;或者,根据选择操作的具体参数确定处理操作,比如用户在某个图标上单击操作或双击操作,或用户同时选择几个图标等。经过对本申请实施例提供的数据图的交互方法进行仿真,对于10万个节点,40万条边的图,实时聚类的时间约为15秒钟;布局响应时间将会被控制在5秒以内,可实现实时的交互。
本申请实施例中,通过对原始数据进行层次聚类得到目标树结构,并将目标树结构映射为目标图形,通过目标图形清晰展示大规模数据之间的关系,降低图可视化算法的复杂度,提升图的可读性;确定所述目标图形的焦点后,进一步显示所述焦点的数据信息,以点线图显示大规模数据中的细节图,对大图进行简化;接收对子节点对应的图标的选择操作,执行与所述选择操作对应的处理操作提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,应用于终端设备、服务器等电子设备中。
参照图18,示出了本申请的一种数据处理装置实施例的结构框图,具体可以包括如下模块:
目标图形显示模块1801,用于在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的。
显示界面可以为UI界面,图1中为一UI界面的示意图。UI界面包括目标图形区域;其中,目标图形对为待处理的原始数据进行处理后得到的,具体地,目标图形能够反映对数据进行聚类的每一步进程,因此是聚类分析结果的一种重要形式;如图1所示,目标图形与图1中的目标树结构对应,目标图形中每一个单元格作为一个类,如图目标图形中“类”所标注,与目标树结构的每一个分支一一对应。需要说明的是,本申请实施例中,节点即node,亦可写为结点。点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格,比如在目标图形中,用户选择某个单元格,则该单元格即为焦点;在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据以及节点数据之间的拓扑关系,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
具体地,待处理的原始数据可以是流程图、社交网络、因特网、蛋白质网络等关系数据;以社交网络分析为例,原始数据可以包括多个分析对象以及分析对象之间的社交关系,通过对原始数据进行层次聚类,得到目标树结构;并通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的节点包括的节点数据以及节点数据之间的拓扑关系;比如,用户选中目标图形中某一单元格,则点线图中显示该类包括的所有分析对象,以及分析对象间的社交关系。
信息显示模块1802,用于确定所述目标图形的焦点,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点。
参见图1,点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格,比如在目标图形中,用户选择某个单元格,则该单元格即为焦点。
确定所述目标图形的焦点后,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;第一拓扑关系为点与点之间的关系。
在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据信息,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的子节点以及子节点数据之间的拓扑关系;比如,用户选中图1上午目标图形中F点所示的单元格,则点线图中显示的焦点包括该单元格的所有子节点,子节点如点线图中所示,每个圆形图标均为一个子节点,图标内显示的是该子节点包括的后代子节点以及后代节子点间的拓扑关系;后代子节点即子节点的子节点;图标外的连线为子节点间的拓扑关系。
本申请实施例提供的数据处理装置能够实现图1至图15的方法实施例中实现的各个过程,为避免重复,这里不再赘述。
本申请实施例中,通过块对原始数据进行层次聚类得到目标树结构,并将目标树结构映射为目标图形,通过目标图形显示模展示大规模数据之间的关系,降低图可视化算法的复杂度,提升图的可读性;确定所述目标图形的焦点后,进一步通过信息显示模块1802显示所述焦点的数据信息,以点线图显示大规模数据中的细节图,对大图进行简化,提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。
参照图19,示出了本申请的一种数据处理装置可选实施例的结构框图,具体可以包括如下模块:
目标图形显示模块1801,用于在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的。
显示界面可以为UI界面,图1中为一UI界面的示意图。UI界面包括目标图形区域;其中,目标图形对为待处理的原始数据进行处理后得到的,具体地,目标图形能够反映对数据进行聚类的每一步进程,因此是聚类分析结果的一种重要形式;如图1所示,目标图形与图1中的目标树结构对应,目标图形中每一个单元格作为一个类,如图目标图形中“类”所标注,与目标树结构的每一个分支一一对应。需要说明的是,本申请实施例中,节点即node,亦可写为结点。点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格,比如在目标图形中,用户选择某个单元格,则该单元格即为焦点;在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据以及节点数据之间的拓扑关系,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
具体地,待处理的原始数据可以是流程图、社交网络、因特网、蛋白质网络等关系数据;以社交网络分析为例,原始数据可以包括多个分析对象以及分析对象之间的社交关系,通过对原始数据进行层次聚类,得到目标树结构;并通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的节点包括的节点数据以及节点数据之间的拓扑关系;比如,用户选中目标图形中某一单元格,则点线图中显示该类包括的所有分析对象,以及分析对象间的社交关系。
信息显示模块1802,用于确定所述目标图形的焦点,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点。
参见图1,点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格,比如在目标图形中,用户选择某个单元格,则该单元格即为焦点。
确定所述目标图形的焦点后,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;第一拓扑关系为点与点之间的关系。
在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据信息,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的子节点以及子节点数据之间的拓扑关系;比如,用户选中图1上午目标图形中F点所示的单元格,则点线图中显示的焦点包括该单元格的所有子节点,子节点如点线图中所示,每个圆形图标均为一个子节点,图标内显示的是该子节点包括的后代子节点以及后代节子点间的拓扑关系;后代子节点即子节点的子节点;图标外的连线为子节点间的拓扑关系。
在一个可选实施例中,所述目标图形包括冰柱图。
在一个可选实施例中,所述目标树结构为对原始数据进行层次聚类得到的,所述装置还包括:
聚类模块1803,用于对所述原始数据进行层次聚类,得到所述目标树结构。
在一个可选实施例中,所述聚类模块1803包括:
第一检测子模块,用于对原始数据进行第一社区检测,划分第一社区;
第二检测子模块,用于在所述第一社区中,进行第二社区检测,划分得到第二社区,并计算第二社区的模块度;
目标确定子模块,用于将模块度最大的社区划分方式作为该层的目标划分方式,进行社区划分。
在一个可选实施例中,所述装置还包括:
集合确定模块1804,用于对于所述目标树结构的目标类,确定所述目标类的第一集合以及第二集合;所述第一集合中包括所述目标类的叶子节点;所述第二集合包括与所述第一集合存在隐含边的节点集合;
存储模块1805,用于将所述第一集合与所述第二集合进行关联存储。
在一个可选实施例中,所述集合确定模块1804包括:
编号子模块,用于将与所述目标类处于同一层次类的所有节点依次编号,确定包括所述目标类的叶子节点的第一集合,
集合确定子模块,用于根据所述第一集合包括的节点编号,以及非目标类的叶子节点的第三集合包括的节点编号,确定所述第三集合中的第二集合。
在一个可选实施例中,所述集合确定子模块用于:
获取第一集合中的最大节点编号以及最小节点编号,以及第三集合中的目标节点编号;其中,所述目标节点编号为所述第三集合中,大于所述最小节点编号的点中最小的节点编号;
若所述目标节点编号小于或等于所述最大节点编号,则所述第三集合为所述第二集合。
在一个可选实施例中,所述装置还包括:
数据读取模块1806,用于接收读取所述第一集合的读取操作,读取所述第一集合以及所述第二集合。
在一个可选实施例中,所述装置还包括:
映射模块1807,用于将所述目标树结构映射为所述目标图形;所述目标图形中,包括所述目标树结构中的每个类。
在一个可选实施例中,所述信息显示模块1802用于:
以点线图显示所述焦点的数据信息;
所述点线图中的包括每个所述子节点对应的图标,所述图标中包括:所述子节点的后代子节点,以及所述后代子节点之间的第二拓扑关系。
在一个可选实施例中,所述映射模块1807包括:
映射子模块,用于对于所述目标树结构的每一层,确定每个节点在所述目标图形中的第一平面位置,所述第一平面位置为使得所述目标图形的系统能量最小的点对应的位置。
在一个可选实施例中,所述装置包括:
去重模块1808,用于根据预设约束算法,对所述点线图的第一显示方向、第二显示方向依次进行去重处理,得到每个第一平面位置对应的第二平面位置;所述第二平面位置为对所述节点进行去重处理后的位置。
在一个可选实施例中,所述装置还包括:
交互模块1809,用于接收对所述图标的选择操作,执行与所述选择操作对应的处理操作;所述处理操作包括:缩放操作、展开操作、聚集操作、删除操作、显示导航操作、突出显示操作、过滤操作、撤销操作以及重做操作中的至少一种。
本申请实施例提供的数据处理装置能够实现图1至图15的方法实施例中实现的各个过程,为避免重复,这里不再赘述。
本申请实施例中,通过块对原始数据进行层次聚类得到目标树结构,并将目标树结构映射为目标图形,通过目标图形显示模展示大规模数据之间的关系,降低图可视化算法的复杂度,提升图的可读性;确定所述目标图形的焦点后,进一步通过信息显示模块1802显示所述焦点的数据信息,以点线图显示大规模数据中的细节图,对大图进行简化,提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。
参照图20,示出了本申请的一种数据图的交互装置的结构框图,具体可以包括如下模块:
第一显示模块2001,用于在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的。
显示界面可以为UI界面,图1中为一UI界面的示意图。UI界面包括目标图形区域;其中,目标图形对为待处理的原始数据进行处理后得到的,具体地,目标图形能够反映对数据进行聚类的每一步进程,因此是聚类分析结果的一种重要形式;如图1所示,目标图形与图1中的目标树结构对应,目标图形中每一个单元格作为一个类,如图目标图形中“类”所标注,与目标树结构的每一个分支一一对应。需要说明的是,本申请实施例中,节点即node,亦可写为结点。点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格,比如在目标图形中,用户选择某个单元格,则该单元格即为焦点;在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据以及节点数据之间的拓扑关系,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
具体地,待处理的原始数据可以是流程图、社交网络、因特网、蛋白质网络等关系数据;以社交网络分析为例,原始数据可以包括多个分析对象以及分析对象之间的社交关系,通过对原始数据进行层次聚类,得到目标树结构;并通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的节点包括的节点数据以及节点数据之间的拓扑关系;比如,用户选中目标图形中某一单元格,则点线图中显示该类包括的所有分析对象,以及分析对象间的社交关系。
第二显示模块2002,用于确定所述目标图形的焦点,以点线图显示所述焦点的数据信息;
其中,所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;所述点线图中的包括每个所述子节点对应的图标。
其中,所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;所述点线图中的包括每个所述子节点对应的图标。
参见图1,点线图为目标图形中的焦点的拓扑关系图,焦点即被选中的点,比如用户希望方法显示的点,通过鼠标或其他方式选中所述目标图形中的单元格;也就是说在目标图形中,用户选择某个单元格,则该单元格即为焦点。
除用户选中之外,还可以自动确定焦点,比如,随机确定目标图形中一个点作为焦点;或者根据预设的焦点选择规则,选择焦点。
确定所述目标图形的焦点后,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;第一拓扑关系为点与点之间的关系。
在点线图区域放大显示焦点对应的目标树结构中的节点包括的节点数据信息,以对原始数据清楚地进行图可视化显示,使用户可以获知所述焦点内部的数据关系。
通过目标图形的形式显示分析对象之间的社交拓扑关系,若用户选中目标图形中某个单元格,则在点线图中展示该单元格对应的子节点以及子节点数据之间的拓扑关系;比如,用户选中图1上午目标图形中F点所示的单元格,则点线图中显示的焦点包括该单元格的所有子节点,子节点如点线图中所示,每个圆形图标均为一个子节点,图标内显示的是该子节点包括的后代子节点以及后代节子点间的拓扑关系;后代子节点即子节点的子节点;图标外的连线为子节点间的拓扑关系。
数据交互模块2003,用于接收对所述图标的选择操作,执行与所述选择操作对应的处理操作。
处理操作包括:缩放操作、展开操作、聚集操作、删除操作、显示导航操作、突出显示操作、过滤操作、撤销操作以及重做操作中的至少一种。
大规模数据往往还伴随着导航困难的问题。通常情况下,用户习惯于在局部细节和上下文信息的共同作用下感知信息。在小规模图中,用户通常会从整个图的预览入手,开始逐步的探索任务;但对大规模图而言,直接将整个图绘制出来预览是不可行的。因此,在巨大的图中实现导航并让用户在探索过程中不丢失方向较为困难的,而本申请实施例中,在显示界面上接收针对某个图标的选择操作,确定与选择操作对应的处理操作,实时进行数据交互操作,比如设定导航栏,提供上述操作的触发按键;或者,根据选择操作的具体参数确定处理操作,比如用户在某个图标上单击操作或双击操作,或用户同时选择几个图标等。经过对本申请实施例提供的数据图的交互方法进行仿真,对于10万个节点,40万条边的图,实时聚类的时间约为15秒钟;布局响应时间将会被控制在5秒以内,可实现实时的交互。
本申请实施例中,通过对原始数据进行层次聚类得到目标树结构,并将目标树结构映射为目标图形,第一显示模块2001通过目标图形清晰展示大规模数据之间的关系,降低图可视化算法的复杂度,提升图的可读性;确定所述目标图形的焦点后,第二显示模块2002显示所述焦点的数据信息,以点线图显示大规模数据中的细节图,对大图进行简化;数据交互模块2003接收对子节点对应的图标的选择操作,执行与所述选择操作对应的处理操作提供一种便于在大图中探索、挖掘潜藏信息的可视化展现形式,提高可视化数据图的分析效率,提升可视化数据图对决策问题的辅助能力。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读存储介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括终端设备、服务器(集群)等各类型的设备。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括终端设备、服务器(集群)等电子设备。图21示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置2100。
对于一个实施例,图21示出了示例性装置2100,该装置具有一个或多个处理器2102、被耦合到(一个或多个)处理器2102中的至少一个的控制模块(芯片组)2104、被耦合到控制模块2104的存储器2106、被耦合到控制模块2104的非易失性存储器(NVM)/存储设备2108、被耦合到控制模块2104的一个或多个输入/输出设备2110,以及被耦合到控制模块2104的网络接口2112。
处理器2102可包括一个或多个单核或多核处理器,处理器2102可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置2100能够作为本申请实施例中所述终端设备、服务器(集群)等设备。
在一些实施例中,装置2100可包括具有指令2114的一个或多个计算机可读介质(例如,存储器2106或NVM/存储设备2108)以及与该一个或多个计算机可读介质相合并被配置为执行指令2114以实现模块从而执行本公开中所述的动作的一个或多个处理器2102。
对于一个实施例,控制模块2104可包括任意适当的接口控制器,以向(一个或多个)处理器2102中的至少一个和/或与控制模块2104通信的任意适当的设备或组件提供任意适当的接口。
控制模块2104可包括存储器控制器模块,以向存储器2106提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器2106可被用于例如为装置2100加载和存储数据和/或指令2114。对于一个实施例,存储器2106可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器2106可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,控制模块2104可包括一个或多个输入/输出控制器,以向NVM/存储设备2108及(一个或多个)输入/输出设备2110提供接口。
例如,NVM/存储设备2108可被用于存储数据和/或指令2114。NVM/存储设备2108可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备2108可包括在物理上作为装置2100被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,NVM/存储设备2108可通过网络经由(一个或多个)输入/输出设备2110进行访问。
(一个或多个)输入/输出设备2110可为装置2100提供接口以与任意其他适当的设备通信,输入/输出设备2110可以包括通信组件、音频组件、传感器组件等。网络接口2112可为装置2100提供接口以通过一个或多个网络通信,装置2100可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器2102中的至少一个可与控制模块2104的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器2102中的至少一个可与控制模块2104的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器2102中的至少一个可与控制模块2104的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器2102中的至少一个可与控制模块2104的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,装置2100可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置2100可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置2100包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,检测装置中可采用主控芯片作为处理器或控制模块,传感器数据、位置信息等存储到存储器或NVM/存储设备中,传感器组可作为输入/输出设备,通信接口可包括网络接口。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据处理方法和装置,一种电子设备和一种存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种数据处理方法,其特征在于,所述方法包括:
在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的;对原始数据进行层次聚类,得到所述目标树结构;所述显示界面包括点线图区域以及目标图形区域;
确定所述目标图形的焦点,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;
其中,所述显示所述焦点的数据信息的步骤,包括:
以点线图显示所述焦点的数据信息;
所述点线图中包括每个所述子节点对应的图标,所述图标中包括:所述子节点的后代子节点,以及所述后代子节点之间的第二拓扑关系;
其中,将所述目标树结构映射为所述目标图形的步骤,包括:
对于所述目标树结构的每一层,确定每个节点在所述目标图形中的第一平面位置,所述第一平面位置为使得所述目标图形的系统能量最小的点对应的位置;最小系统能量通过图布局算法确定包括通过计算欧氏距离确定最小系统能量,使得点的空间距离尽可能接近图论距离;
其中,所述确定每个节点在所述目标图形中的第一平面位置的步骤之后,所述方法包括:
根据预设约束算法,对所述点线图的第一显示方向、第二显示方向依次进行去重处理,得到每个第一平面位置对应的第二平面位置;所述第二平面位置为对所述节点进行去重处理后的位置。
2.根据权利要求1所述的数据处理方法,其特征在于,所述目标图形包括冰柱图。
3.根据权利要求1所述的数据处理方法,其特征在于,所述在显示界面显示目标图形的步骤之前,所述方法还包括:
对所述原始数据进行层次聚类,得到所述目标树结构。
4.根据权利要求3所述的数据处理方法,其特征在于,所述对所述原始数据进行层次聚类的步骤,包括:
对原始数据进行第一社区检测,划分第一社区;
在所述第一社区中,进行第二社区检测,划分得到第二社区,并计算第二社区的模块度;
将模块度最大的社区划分方式作为相应层的目标划分方式,进行社区划分。
5.根据权利要求3所述的数据处理方法,其特征在于,所述对所述原始数据进行层次聚类,得到所述目标树结构的步骤之后,所述方法还包括:
对于所述目标树结构的目标类,确定所述目标类的第一集合以及第二集合;所述第一集合中包括所述目标类的叶子节点;所述第二集合包括与所述第一集合存在隐含边的节点;
将所述第一集合与所述第二集合进行关联存储。
6.根据权利要求5所述的数据处理方法,其特征在于,所述确定所述目标类的第一集合以及第二集合的步骤,包括:
将所述目标类处于同一层次类的所有节点依次编号,确定包括所述目标类的叶子节点的第一集合,
根据所述第一集合包括的节点编号,以及非目标类的叶子节点的第三集合包括的节点编号,确定所述第三集合中的第二集合。
7.根据权利要求6所述的数据处理方法,其特征在于,所述根据所述第一集合包括的节点编号,以及非目标类的叶子节点的第三集合包括的节点编号,确定所述第三集合中的第二集合的步骤,包括:
获取第一集合中的最大节点编号以及最小节点编号,以及第三集合中的目标节点编号;其中,所述目标节点编号为所述第三集合中,大于所述最小节点编号的点中最小的节点编号;
若所述目标节点编号小于或等于所述最大节点编号,则所述第三集合为所述第二集合。
8.根据权利要求5所述的数据处理方法,其特征在于,所述将所述第一集合与所述第二集合进行关联存储的步骤之后,所述方法还包括:
接收读取所述第一集合的读取操作,读取所述第一集合以及所述第二集合。
9.根据权利要求1所述的数据处理方法,其特征在于,所述在显示界面显示目标图形的步骤之前,所述方法还包括:
将所述目标树结构映射为所述目标图形;所述目标图形中,包括所述目标树结构中的每个类。
10.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
接收对所述图标的选择操作,执行与所述选择操作对应的处理操作;所述处理操作包括:缩放操作、展开操作、聚集操作、删除操作、显示导航操作、突出显示操作、过滤操作、撤销操作以及重做操作中的至少一种。
11.一种数据图的交互方法,其特征在于,所述方法包括:
在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的;对原始数据进行层次聚类,得到所述目标树结构;所述显示界面包括点线图区域以及目标图形区域;
确定所述目标图形的焦点,以点线图显示所述焦点的数据信息;
其中,所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;所述点线图中的包括每个所述子节点对应的图标;
接收对所述图标的选择操作,执行与所述选择操作对应的处理操作;
其中,所述显示所述焦点的数据信息的步骤,包括:
以点线图显示所述焦点的数据信息;
所述点线图中包括每个所述子节点对应的图标,所述图标中包括:所述子节点的后代子节点,以及所述后代子节点之间的第二拓扑关系;
其中,将所述目标树结构映射为所述目标图形的步骤,包括:
对于所述目标树结构的每一层,确定每个节点在所述目标图形中的第一平面位置,所述第一平面位置为使得所述目标图形的系统能量最小的点对应的位置;最小系统能量通过图布局算法确定包括通过计算欧氏距离确定最小系统能量,使得点的空间距离尽可能接近图论距离;
其中,所述确定每个节点在所述目标图形中的第一平面位置的步骤之后,所述方法包括:
根据预设约束算法,对所述点线图的第一显示方向、第二显示方向依次进行去重处理,得到每个第一平面位置对应的第二平面位置;所述第二平面位置为对所述节点进行去重处理后的位置。
12.一种数据处理装置,其特征在于,所述装置包括:
目标图形显示模块,用于在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的;对原始数据进行层次聚类,得到所述目标树结构;所述显示界面包括点线图区域以及目标图形区域;
信息显示模块,用于确定所述目标图形的焦点,显示所述焦点的数据信息;所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;其中,所述显示所述焦点的数据信息包括:
以点线图显示所述焦点的数据信息;
所述点线图中包括每个所述子节点对应的图标,所述图标中包括:所述子节点的后代子节点,以及所述后代子节点之间的第二拓扑关系;
其中,所述装置还用于将所述目标树结构映射为所述目标图形,具体包括:对于所述目标树结构的每一层,确定每个节点在所述目标图形中的第一平面位置,所述第一平面位置为使得所述目标图形的系统能量最小的点对应的位置;最小系统能量通过图布局算法确定,即通过计算欧氏距离确定最小系统能量,使得点的空间距离尽可能接近图论距离;
其中,所述确定每个节点在所述目标图形中的第一平面位置之后,还包括:
根据预设约束算法,对所述点线图的第一显示方向、第二显示方向依次进行去重处理,得到每个第一平面位置对应的第二平面位置;所述第二平面位置为对所述节点进行去重处理后的位置。
13.一种数据图的交互装置,其特征在于,所述装置包括:
第一显示模块,用于在显示界面显示目标图形;其中,所述目标图形为目标树结构映射得到的;对原始数据进行层次聚类,得到所述目标树结构;所述显示界面包括点线图区域以及目标图形区域;
第二显示模块,用于确定所述目标图形的焦点,以点线图显示所述焦点的数据信息;
其中,所述数据信息至少包括目标节点的子节点以及子节点之间的第一拓扑关系;所述目标节点为所述焦点对应的所述目标树结构中的节点;所述点线图中的包括每个所述子节点对应的图标;
数据交互模块,用于接收对所述图标的选择操作,执行与所述选择操作对应的处理操作;
其中,所述显示所述焦点的数据信息包括:
以点线图显示所述焦点的数据信息;
所述点线图中包括每个所述子节点对应的图标,所述图标中包括:所述子节点的后代子节点,以及所述后代子节点之间的第二拓扑关系;
其中,所述装置还用于,将所述目标树结构映射为所述目标图形,具体包括:
对于所述目标树结构的每一层,确定每个节点在所述目标图形中的第一平面位置,所述第一平面位置为使得所述目标图形的系统能量最小的点对应的位置;最小系统能量通过图布局算法确定,即通过计算欧氏距离确定最小系统能量,使得点的空间距离尽可能接近图论距离;
其中,所述确定每个节点在所述目标图形中的第一平面位置之后,还包括:
根据预设约束算法,对所述点线图的第一显示方向、第二显示方向依次进行去重处理,得到每个第一平面位置对应的第二平面位置;所述第二平面位置为对所述节点进行去重处理后的位置。
14.一种电子设备,其特征在于,包括:处理器;和
存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如权利要求1至11中任一项所述的方法。
15.一个或多个机器可读存储介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如权利要求1至11中一个或多个所述的方法。
CN202010605407.2A 2020-06-29 2020-06-29 数据处理方法、装置、设备和存储介质 Active CN113867850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010605407.2A CN113867850B (zh) 2020-06-29 2020-06-29 数据处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010605407.2A CN113867850B (zh) 2020-06-29 2020-06-29 数据处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113867850A CN113867850A (zh) 2021-12-31
CN113867850B true CN113867850B (zh) 2023-12-29

Family

ID=78980842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010605407.2A Active CN113867850B (zh) 2020-06-29 2020-06-29 数据处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113867850B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114090838B (zh) * 2022-01-18 2022-06-14 杭州悦数科技有限公司 大数据可视化展示的方法、系统、电子装置和存储介质
CN117332916A (zh) * 2022-06-24 2024-01-02 华为云计算技术有限公司 数据资产展示方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470711A (zh) * 2007-12-25 2009-07-01 国际商业机器公司 层次化图结构数据可视化的方法、装置
CN102629271A (zh) * 2012-03-13 2012-08-08 北京工商大学 一种基于堆叠树图的复杂数据可视化方法及设备
CN103049580A (zh) * 2013-01-17 2013-04-17 北京工商大学 一种层次数据的可视化方法和设备
CN106934422A (zh) * 2017-03-16 2017-07-07 浙江工业大学 基于改进力导引图布局的层级视觉抽象方法
CN107729389A (zh) * 2017-09-19 2018-02-23 小草数语(北京)科技有限公司 地图显示方法及其装置
CN108363797A (zh) * 2018-01-04 2018-08-03 北京工商大学 一种基于变换的关联图可视分析方法及其系统
WO2018219223A1 (zh) * 2017-05-31 2018-12-06 腾讯科技(深圳)有限公司 数据处理方法、装置及存储介质
CN111143479A (zh) * 2019-12-10 2020-05-12 浙江工业大学 基于dbscan聚类算法的知识图谱关系抽取与rest服务可视化融合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6944830B2 (en) * 2000-12-21 2005-09-13 Xerox Corporation System and method for browsing hierarchically based node-link structures based on an estimated degree of interest
US10176605B2 (en) * 2014-03-26 2019-01-08 Brigham Young University Dynamic display of heirarchal data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470711A (zh) * 2007-12-25 2009-07-01 国际商业机器公司 层次化图结构数据可视化的方法、装置
CN102629271A (zh) * 2012-03-13 2012-08-08 北京工商大学 一种基于堆叠树图的复杂数据可视化方法及设备
CN103049580A (zh) * 2013-01-17 2013-04-17 北京工商大学 一种层次数据的可视化方法和设备
CN106934422A (zh) * 2017-03-16 2017-07-07 浙江工业大学 基于改进力导引图布局的层级视觉抽象方法
WO2018219223A1 (zh) * 2017-05-31 2018-12-06 腾讯科技(深圳)有限公司 数据处理方法、装置及存储介质
CN107729389A (zh) * 2017-09-19 2018-02-23 小草数语(北京)科技有限公司 地图显示方法及其装置
CN108363797A (zh) * 2018-01-04 2018-08-03 北京工商大学 一种基于变换的关联图可视分析方法及其系统
CN111143479A (zh) * 2019-12-10 2020-05-12 浙江工业大学 基于dbscan聚类算法的知识图谱关系抽取与rest服务可视化融合方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Visualizing graphs in three dimensions;Ware C 等;ACM Transactions on Applied Perception;全文 *
基于Louvain算法的图数据三维树形可视化;林定;徐颖;黄国新;陈崇成;;计算机工程与应用(第07期);全文 *
大型层次化信息的可视化方法研究;周宁;陈勇跃;金大卫;;中国图书馆学报(第04期);全文 *
层次信息可视化技术的一种实现方法;窦长威;;工程地质计算机应用(第02期);全文 *
树比较可视化方法综述;李彦龙;李国强;董笑菊;;软件学报(第05期);全文 *

Also Published As

Publication number Publication date
CN113867850A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
US11507099B2 (en) Systems and methods for graph-based AI training
US10976914B2 (en) Direct manipulation interface for data analysis
Von Landesberger et al. Visual analysis of large graphs: state‐of‐the‐art and future research challenges
US9342579B2 (en) Visual analysis of multidimensional clusters
CN111291819B (zh) 图像识别方法、装置、电子设备及存储介质
Widanagamaachchi et al. Interactive exploration of large-scale time-varying data using dynamic tracking graphs
JP4821000B2 (ja) オブジェクト表示処理装置、オブジェクト表示処理方法、およびオブジェクト表示処理用プログラム
KR101773574B1 (ko) 데이터 테이블의 차트 시각화 방법
Rufiange et al. Treematrix: A hybrid visualization of compound graphs
US10650559B2 (en) Methods and systems for simplified graphical depictions of bipartite graphs
Nouanesengsy et al. Adr visualization: A generalized framework for ranking large-scale scientific data using analysis-driven refinement
CN113867850B (zh) 数据处理方法、装置、设备和存储介质
US20220139010A1 (en) Generating visualizations of analytical causal graphs
WO2016099460A1 (en) Display a subset of objects on a user interface
JP7423998B2 (ja) 二部ネットワーク内のミッシングリンクを理解するための視覚分析フレームワーク、方法、プログラム、装置、およびシステム
WO2019033759A1 (zh) 金融产品显示方法、装置、设备及存储介质
CN112464040B (zh) 图结构识别、可视化展示及显示操作方法及装置
Antonini et al. Toward a taxonomy for 2D non-paired General Line Coordinates: A comprehensive survey
CN111830595A (zh) 气象要素的预测方法及设备
US20160328215A1 (en) Pattern recognition of software program code in an integrated software development environment
KR101769129B1 (ko) 온라인 환경에서 구현되는 대시보드 내 차트간 인터랙션 방법
US10387024B2 (en) Interactive analysis of data based on progressive visualizations
CN112819698A (zh) 资料同化方法、装置、设备及存储介质
US20180068039A1 (en) Method and apparatus for enhanced modeling and analysis of materials
CN111309917A (zh) 基于会议期刊星系图的超大规模学术网络可视化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065217

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant