CN110427411B - 一种通过图层将关联数据进行可视化的方法 - Google Patents

一种通过图层将关联数据进行可视化的方法 Download PDF

Info

Publication number
CN110427411B
CN110427411B CN201910715128.9A CN201910715128A CN110427411B CN 110427411 B CN110427411 B CN 110427411B CN 201910715128 A CN201910715128 A CN 201910715128A CN 110427411 B CN110427411 B CN 110427411B
Authority
CN
China
Prior art keywords
data
chart
analyzed
entity
available
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910715128.9A
Other languages
English (en)
Other versions
CN110427411A (zh
Inventor
王广峰
王国俊
吴东贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Kaihe Software Technology Co ltd
Original Assignee
Henan Kaihe Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Kaihe Software Technology Co ltd filed Critical Henan Kaihe Software Technology Co ltd
Priority to CN201910715128.9A priority Critical patent/CN110427411B/zh
Publication of CN110427411A publication Critical patent/CN110427411A/zh
Application granted granted Critical
Publication of CN110427411B publication Critical patent/CN110427411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2428Query predicate definition using graphical user interfaces, including menus and forms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种通过图层将关联数据进行可视化的方法,涉及数据处理技术领域,步骤如下:1.启动可视化软件,将待分析数据读入内存中;2.比对待分析数据的数据特征和可视化软件中包含有可用色表的图表模板库,生成可用图表模板列表并展示;3.引导用户从可用图表模板列表中选择作为数据分析图表的图表模板,并创建数据展示界面和对应的监听事件;4.生成用于优化读取待分析数据效率和生成图层的效果和速度的顺序,根据生成的顺序读取待分析数据并对其进行序列化处理,得到相关联项目;5.在可用色表中标记相关联项目,并对相关联项目中特定参数值设置可视化属性,生成对应的实体、贝塞尔曲线、文字卡片并导出文件,同时释放内存空间。

Description

一种通过图层将关联数据进行可视化的方法
技术领域
本发明涉及数据处理技术领域,具体涉及一种通过图层将关联数据进行可视化的方法。
背景技术
目前,公安机关、检察机关、纪委等部门调取的账单、话单、行踪、税票等信息经过分析研判后,以文字描述为主体生成文书报告。由于文书报告中的电子数据篇幅冗长,格式多样,报告内容很难被阅读和理解。
具体的说,文书报告中,使用Excel透视表等功能生成的统计数据无法直观体现层级关系;使用Word自带SmartArt绘图工具绘制人员关系需要耗费海量的时间,并且很难逐个对齐,难以保持数据的一致性。当分析研判任务变更时,不得不从头进行文书报告中图表的整理和绘制工作,给办案人员的实时案情分析、研判带来了极大的压力。为此,人们开发了可用于话单分析、账单分析、行踪分析、税票分析的数据分析软件,例如IBM i2,但现有的数据分析软件在绘制关系图时操作复杂,对资金上下游、通话联系人、行踪轨迹标注等功能缺乏支持,只能使用人工逐条绘制的方式,效率低下,此外,对涉及地理坐标的数据无法展示,不利于理解数据关系。
发明内容
本发明的目的在于:为解决通过现有的数据分析方法对话单、账单、行踪、税票进行分析并进行可视化展示过程中,存在操作复杂、图表绘制不规范、效率低下的问题,提供了一种通过图层将关联数据进行可视化的方法。
本发明采用的技术方案如下:
一种通过图层将关联数据进行可视化的方法,包括以下步骤:
步骤1:启动可视化软件,将待分析数据读入内存中;
步骤2:比对待分析数据的数据特征和可视化软件中包含有可用色表的图表模板库,生成可用图表模板列表并展示于可视化软件的图像化界面中;
步骤3:引导用户从可用图表模板列表中选择作为数据分析图表的图表模板,根据选择的数据分析图表创建数据展示界面和功能性操作数据展示界面的监听事件;
步骤4:基于平衡二叉树生成用于优化读取待分析数据效率和生成图层的效果和速度的顺序,根据生成的顺序读取待分析数据并对其进行序列化处理,得到相关联项目;
步骤5:在可用色表中标记相关联项目,并对相关联项目中特定参数值设置可视化属性,生成对应的图层并导出文件,同时释放用以实现可视化数据所占用的内存空间;其中,图层包括实体、贝塞尔曲线、文字卡片。
进一步地,所述可视化软件包括:
数据清洗模块,用于从包含有待分析数据的文件中读取待分析数据并保存在内存中;
嵌入式数据库,用于存储待分析数据、图表模板库以及利用日志记录将待分析数据存入嵌入式数据库过程中的操作记录;
数据库连接器,用于连接嵌入式数据库和数据处理模块,实现通过数据处理模块管理嵌入式数据库中数据;
数据处理模块,利用数据库连接器获取嵌入式数据库中存储的待分析数据和图表模板库,并对获取到的数据进行分析处理;
可视化模块,利用可视化界面展示从数据处理模块中获取的数据;
启动可视化软件的方式包括通过数据分析软件调用和点击可视化软件,利用数据分析软件启用可视化软件时,通过数据分析软件的接口获取待分析数据并读入内存中;通过点击实现启动可视化软件时,通过与可视化软件连接的数据库获取待分析数据并读入内存中。
进一步地,可用图表模板列表的生成由每种图表模板对应的数据特征阈值确定,包括四类数据的计数值、最大子集特征、关联性强弱、当前图表模板承载数据量上限值;
其中,数据特征阈值为常数,四类数据即账单、话单、税票、情报数据;计数值具体为事件对象总数或团伙数或重大事件发生次数;最大子集特征具体为团伙人员归属地、手机号归属地组成的集合中的最大子集或几个数量相等的较大子集;关联性强弱具体为团伙内部信息交易占执法人员已知的信息交易的比例;当前图表模板承载数据量上限值具体为图表模板可用于分析数据之间的关联关系的最大数据量。
进一步地,基于平衡二叉树生成顺序的方法具体如下:
通过分治算法将待分析数据分块,分成数据块,为分出的数据块创建对应的后台线程;
利用贪心算法估算各后台线程的耗时,使用分治算法对超过线程耗时平均值N倍的数据进行二次分块,直至所有分块后的数据对应的后台线程的耗时均不超过线程耗时平均值的N倍;其中,N为常数;
利用线性规划算法优化图表,生成顺序;
利用顺序优化读取待分析数据效率具体为优化读取待分析数据时的内存占用和多线程锁,多后台线程工作时,根据数据块的编号逐个开辟线程,最后回到主线程。
进一步地,相关联项目的确定方法具体为:使用向量空间计算经过序列化处理后的待分析数据的欧氏距离、曼哈顿距离、切比雪夫距离、夹角余弦距离数值,将计算出的多个距离值求取加权平均值,根据求得的加权平均值确定是否为相关联项目;对待分析数据进行序列化处理的方法为对非数值型的数据进行数值化操作。
进一步地,生成图层的方法具体如下:
步骤A1.根据选择的显示信息列,利用数据块的中心点位置和实体所在的树的层级和序号查找绘图中心,通过调用绘图接口绘制实体;其中,显示信息列由用户控制,实体来自于待分析数据,在生成顺序之前,将待分析数据编组为二叉树;在选取作为数据分析图表的图表模板时,未被用户忽略的部分即为显示信息列,显示信息通过在实体旁侧以表格形式或鼠标移动到实体上产生触发事件时显示;实体即对象,在绘图过程中,实体对应一系列的图形;绘图中心通过动态规划法获取;
步骤A2.依据各实体树状关系或普通关系调用绘图接口绘制贝塞尔曲线;
根据存在树状关系的实体绘制贝塞尔曲线的方法具体为:寻找当前实体的父节点,查询父节点的子节点数和本实体所在的节点编号,使用父节点中心点坐标计算当前实体中心点后绘制贝塞尔曲线;
根据存在普通关系的实体绘制贝塞尔曲线的方法具体为:根据图表模板中当前实体关联其它实体链接类型,遍历各类排列寻找最少交叉区,使用几何中心计算法求取该区域内的中心点后绘制贝塞尔曲线;
步骤A3:在贝塞尔曲线上绘制文字卡片,通过文字卡片记录实体与实体之间的社会关系和/或信息交易统计数据。
进一步地,引导用户从可用图表模板列表中选择数据分析图表的方法具体为:以总体分析、专题分析、关联分析三个类别分别列出各个可用的图表模板擅于展示的数据集。
进一步地,监听事件用于以集群方式展示强关联特征的数据,该数据记为可视化标签;功能性操作包括点击、拖选可视化标签和修改可视化标签内容。
进一步地,所述数据特征包括但不限于时间序列中的特殊时间点、特定时间间隔的周期性事件、特殊地点、特殊人员、出入境记录中反映的行踪性质;
所述图表模板库包括但不限于甘特图、时序图、一般组织架构图、一般关系图、以特征值进行特征加权的关系图、资金流向图、资金流向与地理信息综合分析图、MAC地址与IP地址综合分析图;所述特征值包括但不限于发生额、通话计时。
进一步地,可用色表中的属性包括各类实体的字体颜色、字体背景色、边框类型和边框颜色,以及可视化标签的字体颜色和字体背景色;可视化属性包括但不限于数据颜色、线条粗细、轮廓大小,特定参数值包括但不限于发生额、计数值。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本方法与使用各类文本编辑器或图表工具人工绘制相比,通过统一的数据源读取录和导入接口,使用各类图表绘制基础模型,使无计算机复杂操作和编程基础的人员也能实现对关系图、流程图、组织架构图、标记地图的绘制,改变了现有案件流程中图表绘制不规范、速度慢、费时费力的现状。同时,在设定好图表绘制模式后,随着案件侦查进程的开展,在数据更新后无需从头进行图表的整理和绘制工作,使用多种颜色方案标注,使案件各要素关系简单明了,降低了办案人员从文档图表中寻找有效线索的难度,条理化的图表展示对案件的侦破工作起到了重要的协助作用。
2、本方法使用层级关系树状图,实现了层级关系可视化,无需分析人员手动调整即可自动完成布局并自动进行群集标注等功能,节约了大量时间。使用者无需掌握专业数据库操作知识和计算机图形学知识即可快速完成对账单、话单等数据的可视化分析。同时,调用行政规划图、人口密度热力图等基础信息,实现了海量地理位置信息的快速归类和可视化展示。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合实施例对本发明的特征和性能作进一步的详细描述。
实施例一
本发明的较佳实施例,提供了一种通过图层将关联数据进行可视化的方法,使用数据库查询器接口或应用程序接口获取数据并加载到内存空间,然后根据图表任务类型创建可交互数据展示界面,使用分治算法、贪心算法、线性规划、优化图表生成顺序,以动画形式分批绘制关系图并创建对应的鼠标点击拖拽事件,将排序后的数据以JSON或YAML格式封装后写入磁盘文件。如图1所示,本方法包括以下步骤:
步骤1:启动可视化软件,将待分析数据读入内存中。其中,可视化软件包括:
数据清洗模块,用于从包含有待分析数据的文件中读取待分析数据并保存在内存中。
嵌入式数据库,用于存储待分析数据、图表模板库以及利用日志记录将待分析数据存入嵌入式数据库过程中的操作记录。
数据库连接器,用于连接嵌入式数据库和数据处理模块,实现通过数据处理模块管理嵌入式数据库中数据。
数据处理模块,利用数据库连接器获取嵌入式数据库中存储的待分析数据和图表模板库,并对获取到的数据进行分析处理。
可视化模块,利用可视化界面展示从数据处理模块中获取的数据。
启动可视化软件的方式包括通过数据分析软件调用和点击可视化软件,利用数据分析软件启用可视化软件时,通过数据分析软件的接口获取待分析数据并读入内存中;通过点击实现启动可视化软件时,通过与可视化软件连接的数据库获取待分析数据并读入内存中。
本实施例中,可视化软件的各组成部分具体为控制台、MySQL数据库、lowDB嵌入式数据库、ODBC连接器、数据校验模块和数据展示模块。用户在控制台选择可视化任务,通过本地的ODBC连接器接口查询MySQL数据库获取可视化数据,并存储在内存空间中。在读取数据到内存过程中,对异常或缺失数据进行记录,提示用户进行重新操作或检查数据源是否可用、端口是否存在占用等情况。
步骤2:对开辟的内存空间中的待分析数据进行访问,比对待分析数据的数据特征和可视化软件中包含有可用色表的图表模板库,生成可用图表模板列表并展示于可视化软件的图像化界面中。
根据用户选择的可视化任务和查询得到的数据特征,使用lowDB嵌入式数据库访问本地JSON文件获取可用色表。其中,数据特征包括但不限于时间序列中的特殊时间点、特定时间间隔的周期性事件、特殊地点、特殊人员、出入境记录中反映的行踪性质,特殊事件点如节假日、寒暑假、本人或家人生日、重大事件(如升职、结婚、买房),特定时间间隔的周期性事件如每周、每月、每年,特殊地点如根据通话地点、住宿和交通散点图中心点和频繁分布位置、酒店位置、重要交通枢纽的关系推断用户行踪规律,特殊人员如在特殊时间、地点联系频繁的亲属或同事。
图表模板库包括但不限于甘特图、时序图、一般组织架构图、一般关系图、以特征值进行特征加权的关系图、资金流向图、资金流向与地理信息综合分析图、MAC地址与IP地址综合分析图,特征值包括但不限于发生额、通话计时。图表模板在数据库中有对应的可用色表,用户可对图表模板对应的可用色表进行修改和保存。
可用图表模板列表的生成由每种图表模板对应的数据特征阈值确定,包括四类数据的计数值、最大子集特征、关联性强弱、当前图表模板承载数据量上限值,其中:
数据特征阈值为常数,四类数据即账单、话单、税票、情报数据,计数值具体为事件对象总数或团伙数或重大事件发生次数,最大子集特征具体为团伙人员归属地、手机号归属地组成的集合中的最大子集或几个数量相等的较大子集,当前图表模板承载数据量上限值具体为图表模板可用于分析数据之间的关联关系的最大数据量,关联性强弱具体为团伙内部信息交易占执法人员已知的信息交易的比例,如团伙内互相转账流水占全部已掌握流水比例、团伙内相互通话占总通话时长比例。
步骤3:引导用户从可用图表模板列表中选择作为数据分析图表的图表模板,根据选择的数据分析图表创建数据展示界面和功能性操作数据展示界面的监听事件。
引导用户从可用图表模板列表中选择数据分析图表的方法具体为:以总体分析、专题分析、关联分析三个类别分别列出各个可用的图表模板擅于展示的数据集。例如,用户选择了关联分析,提示用户可实现对MAC地址与IP地址关联分析得到账户业务性质等数据集。
监听事件用于以集群方式展示强关联特征的数据,该数据记为可视化标签,功能性操作包括点击、拖选可视化标签和修改可视化标签内容。可用色表中的属性包括各类实体的字体颜色、字体背景色、边框类型和边框颜色,以及可视化标签的字体颜色和字体背景色。
步骤4:基于平衡二叉树生成用于优化读取待分析数据效率和生成图层的效果和速度的顺序,根据生成的顺序读取待分析数据并对其进行序列化处理,得到相关联项目。
在生成顺序之前,先将待分析数据编组为二叉树,基于平衡二叉树生成顺序的方法具体为:通过分治算法将待分析数据分块,分成数据块,为分出的数据块创建对应的后台线程。利用贪心算法估算各后台线程的耗时,使用分治算法对超过线程耗时平均值N倍(N为常数,本实施例中N的取值为3)的数据进行二次分块,直至所有分块后的数据对应的后台线程的耗时均不超过线程耗时平均值的N倍后,利用线性规划算法优化图表,生成顺序。
利用顺序优化读取待分析数据效率具体为优化读取待分析数据时的内存占用和多线程锁,多后台线程工作时,根据数据块的编号逐个开辟线程,最后回到主线程。
相关联项目的确定方法具体为:使用向量空间计算经过序列化处理后的待分析数据的欧氏距离、曼哈顿距离、切比雪夫距离、夹角余弦距离数值,将计算出的多个距离值求取加权平均值,根据求得的加权平均值确定是否为相关联项目。对待分析数据进行序列化处理的方法为对非数值型的数据进行数值化操作。
步骤5:在可用色表中标记相关联项目,并对相关联项目中特定参数值设置可视化属性,生成对应的图层并导出文件,同时释放用以实现可视化数据所占用的内存空间。其中,图层包括实体、贝塞尔曲线、文字卡片。
可视化属性包括但不限于数据颜色、线条粗细、轮廓大小,特定参数值主要包括发生额、计数值、累加值、平均值、离群值,计数值和累加值决定线条粗细、二叉树同层的顺序位置,平均值和离群值决定图层布局的间距等。生成图层的方法具体如下:
步骤A1.根据选择的显示信息列,利用数据块的中心点位置和实体所在的树的层级和序号查找绘图中心,通过调用绘图接口绘制实体。
其中,显示信息列由用户控制,在选取作为数据分析图表的图表模板时,未被用户忽略的部分即为显示信息列,显示信息通过在实体旁侧以表格形式或鼠标移动到实体上产生触发事件时显示。实体即对象,来自于导入的待分析数据,每一个分析对象的全部数据是对其进行绘图时对应的实体的数据源。在绘图过程中,实体对应一系列的图形,如一个嫌疑人的实体即在图形界面中此人的头像和说明文字。绘图中心通过动态规划法获取,即先假设为平均分布,计算出大概中心点,然后每执行完一个数据块进行一次调整。
步骤A2.依据各实体树状关系或普通关系调用绘图接口绘制贝塞尔曲线。
根据存在树状关系的实体绘制贝塞尔曲线的方法具体为:寻找当前实体的父节点,查询父节点的子节点数和本实体所在的节点编号,使用父节点中心点坐标计算当前实体中心点后绘制贝塞尔曲线。
根据存在普通关系的实体绘制贝塞尔曲线的方法具体为:根据图表模板中当前实体关联其它实体链接类型,遍历各类排列寻找最少交叉区,使用几何中心计算法求取该区域内的中心点后绘制贝塞尔曲线。
步骤A3:在贝塞尔曲线上绘制文字卡片,通过文字卡片记录实体与实体之间的社会关系和/或信息交易统计数据。例如,某嫌疑人A是嫌疑人B的表兄,则在展示界面找到A、B两个实体,实体A、实体B的中心位置连接一条贝塞尔曲线,该曲线的粗细是由两者通话次数、转账总金额等决定,曲线的颜色由两者的关系(即亲戚关系)在用户选择的图表模板对应的可用色表里面找到的亲戚关系的颜色,然后在该曲线上绘制文字卡片,上面有说明文字为“表亲”、“通话120次”和“转账合计23749元”。
最后,将已分析的数据导出为JSON或YAML格式的磁盘文件,对弹出窗口进行截图并写入图片ETIF信息,释放已实现可视化的数据所占用的内存空间,提示用户可视化导出完成,继续下一阶段的可视化工作。本实施例中,调用的绘图接口具体为D3.js和OpenGL图形接口。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种通过图层将关联数据进行可视化的方法,其特征在于,包括以下步骤:
步骤1:启动可视化软件,将待分析数据读入内存中;
步骤2:比对待分析数据的数据特征和可视化软件中包含有可用色表的图表模板库,生成可用图表模板列表并展示于可视化软件的图像化界面中;
步骤3:引导用户从可用图表模板列表中选择作为数据分析图表的图表模板,根据选择的数据分析图表创建数据展示界面和功能性操作数据展示界面的监听事件;
步骤4:基于平衡二叉树生成用于优化读取待分析数据效率和生成图层的效果和速度的顺序,根据生成的顺序读取待分析数据并对其进行序列化处理,得到相关联项目;
步骤5:在可用色表中标记相关联项目,并对相关联项目中特定参数值设置可视化属性,生成对应的图层并导出文件,同时释放用以实现可视化数据所占用的内存空间;其中,图层包括实体、贝塞尔曲线、文字卡片;
可用图表模板列表的生成由每种图表模板对应的数据特征阈值确定,包括四类数据的计数值、最大子集特征、关联性强弱、当前图表模板承载数据量上限值;
其中,数据特征阈值为常数,四类数据即账单、话单、税票、情报数据;计数值具体为事件对象总数或团伙数或重大事件发生次数;最大子集特征具体为团伙人员归属地、手机号归属地组成的集合中的最大子集或几个数量相等的较大子集;关联性强弱具体为团伙内部信息交易占执法人员已知的信息交易的比例;当前图表模板承载数据量上限值具体为图表模板可用于分析数据之间的关联关系的最大数据量;
相关联项目的确定方法具体为:使用向量空间计算经过序列化处理后的待分析数据的欧氏距离、曼哈顿距离、切比雪夫距离、夹角余弦距离数值,将计算出的多个距离值求取加权平均值,根据求得的加权平均值确定是否为相关联项目;对待分析数据进行序列化处理的方法为对非数值型的数据进行数值化操作。
2.根据权利要求1所述的一种通过图层将关联数据进行可视化的方法,其特征在于,所述可视化软件包括:
数据清洗模块,用于从包含有待分析数据的文件中读取待分析数据并保存在内存中;
嵌入式数据库,用于存储待分析数据、图表模板库以及利用日志记录将待分析数据存入嵌入式数据库过程中的操作记录;
数据库连接器,用于连接嵌入式数据库和数据处理模块,实现通过数据处理模块管理嵌入式数据库中数据;
数据处理模块,利用数据库连接器获取嵌入式数据库中存储的待分析数据和图表模板库,并对获取到的数据进行分析处理;
可视化模块,利用可视化界面展示从数据处理模块中获取的数据;
启动可视化软件的方式包括通过数据分析软件调用和点击可视化软件,利用数据分析软件启用可视化软件时,通过数据分析软件的接口获取待分析数据并读入内存中;通过点击实现启动可视化软件时,通过与可视化软件连接的数据库获取待分析数据并读入内存中。
3.根据权利要求1所述的一种通过图层将关联数据进行可视化的方法,其特征在于,基于平衡二叉树生成顺序的方法具体如下:
通过分治算法将待分析数据分块,分成数据块,为分出的数据块创建对应的后台线程;
利用贪心算法估算各后台线程的耗时,使用分治算法对超过线程耗时平均值N倍的数据进行二次分块,直至所有分块后的数据对应的后台线程的耗时均不超过线程耗时平均值的N倍;其中,N为常数;
利用线性规划算法优化图表,生成顺序;
利用顺序优化读取待分析数据效率具体为优化读取待分析数据时的内存占用和多线程锁,多后台线程工作时,根据数据块的编号逐个开辟线程,最后回到主线程。
4.根据权利要求1所述的一种通过图层将关联数据进行可视化的方法,其特征在于,生成图层的方法具体如下:
步骤A1.根据选择的显示信息列,利用数据块的中心点位置和实体所在的树的层级和序号查找绘图中心,通过调用绘图接口绘制实体;其中,显示信息列由用户控制,实体来自于待分析数据,在生成顺序之前,将待分析数据编组为二叉树;在选取作为数据分析图表的图表模板时,未被用户忽略的部分即为显示信息列,显示信息通过在实体旁侧以表格形式或鼠标移动到实体上产生触发事件时显示;实体即对象,在绘图过程中,实体对应一系列的图形;绘图中心通过动态规划法获取;
步骤A2.依据各实体树状关系或普通关系调用绘图接口绘制贝塞尔曲线;
根据存在树状关系的实体绘制贝塞尔曲线的方法具体为:寻找当前实体的父节点,查询父节点的子节点数和本实体所在的节点编号,使用父节点中心点坐标计算当前实体中心点后绘制贝塞尔曲线;
根据存在普通关系的实体绘制贝塞尔曲线的方法具体为:根据图表模板中当前实体关联其它实体链接类型,遍历各类排列寻找最少交叉区,使用几何中心计算法求取该区域内的中心点后绘制贝塞尔曲线;
步骤A3:在贝塞尔曲线上绘制文字卡片,通过文字卡片记录实体与实体之间的社会关系和/或信息交易统计数据。
5.根据权利要求1所述的一种通过图层将关联数据进行可视化的方法,其特征在于,引导用户从可用图表模板列表中选择数据分析图表的方法具体为:以总体分析、专题分析、关联分析三个类别分别列出各个可用的图表模板擅于展示的数据集。
6.根据权利要求1所述的一种通过图层将关联数据进行可视化的方法,其特征在于,监听事件用于以集群方式展示强关联特征的数据,该数据记为可视化标签;功能性操作包括点击、拖选可视化标签和修改可视化标签内容。
7.根据权利要求1所述的一种通过图层将关联数据进行可视化的方法,其特征在于,所述数据特征包括但不限于时间序列中的特殊时间点、特定时间间隔的周期性事件、特殊地点、特殊人员、出入境记录中反映的行踪性质;
所述图表模板库包括但不限于甘特图、时序图、一般组织架构图、一般关系图、以特征值进行特征加权的关系图、资金流向图、资金流向与地理信息综合分析图、MAC地址与IP地址综合分析图;所述特征值包括但不限于发生额、通话计时。
8.根据权利要求6所述的一种通过图层将关联数据进行可视化的方法,其特征在于,可用色表中的属性包括各类实体的字体颜色、字体背景色、边框类型和边框颜色,以及可视化标签的字体颜色和字体背景色;可视化属性包括但不限于数据颜色、线条粗细、轮廓大小,特定参数值包括但不限于发生额、计数值。
CN201910715128.9A 2019-08-02 2019-08-02 一种通过图层将关联数据进行可视化的方法 Active CN110427411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910715128.9A CN110427411B (zh) 2019-08-02 2019-08-02 一种通过图层将关联数据进行可视化的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910715128.9A CN110427411B (zh) 2019-08-02 2019-08-02 一种通过图层将关联数据进行可视化的方法

Publications (2)

Publication Number Publication Date
CN110427411A CN110427411A (zh) 2019-11-08
CN110427411B true CN110427411B (zh) 2022-04-08

Family

ID=68412514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910715128.9A Active CN110427411B (zh) 2019-08-02 2019-08-02 一种通过图层将关联数据进行可视化的方法

Country Status (1)

Country Link
CN (1) CN110427411B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111198879A (zh) * 2019-11-12 2020-05-26 恒大智慧科技有限公司 基于智慧社区的业务数据存储方法及系统
CN111126016A (zh) * 2019-12-05 2020-05-08 北京明略软件系统有限公司 一种绘制甘特图的方法、装置、计算机存储介质及终端
CN111061922A (zh) * 2019-12-13 2020-04-24 智器云南京信息科技有限公司 一种数据可视化处理方法、系统、终端设备和存储介质
CN111429097B (zh) * 2020-03-24 2024-03-05 上海捷规建筑工程咨询有限公司 一种基于bim的现场进度与模型自动匹配方法和系统
CN111537686A (zh) * 2020-04-26 2020-08-14 蛟龙(厦门)科技有限公司 一种智能水利施工环境监测系统
CN111611046A (zh) * 2020-05-27 2020-09-01 深圳前海微众银行股份有限公司 出行数据可视化方法、装置、设备及可读存储介质
CN111914010B (zh) * 2020-08-04 2024-02-20 北京百度网讯科技有限公司 业务处理的方法、装置、设备以及存储介质
CN112130845B (zh) * 2020-09-21 2022-05-24 厦门南讯股份有限公司 一种基于人工智能的图表智能化生成方法
CN112905943B (zh) * 2020-12-09 2021-12-10 广州市玄武无线科技股份有限公司 一种基于移动端的动态展示图表方法及系统
CN113434588B (zh) * 2021-01-30 2024-04-02 河南信安通信技术股份有限公司 基于移动通信话单的数据挖掘分析方法及装置
CN114911544B (zh) * 2021-02-09 2024-04-05 北京同邦卓益科技有限公司 数据分析报告的生成方法、装置、电子设备及存储介质
CN113076045A (zh) * 2021-03-04 2021-07-06 山东师范大学 一种图表交互方法及系统
CN113721894A (zh) * 2021-09-14 2021-11-30 福韵数据服务有限公司 一种基于力导向算法模型的关联关系图绘制方法
CN115408499B (zh) * 2022-11-02 2023-02-07 思创数码科技股份有限公司 政务数据分析报告图表自动化分析解读方法及系统
CN117076161B (zh) * 2023-10-16 2023-12-29 湖南于一科技有限公司 通过选取框选内容的方式获取和写入数据的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814076A (zh) * 2009-07-29 2010-08-25 北京航天理想科技有限公司 可视化信息及信息关联分析系统及建立的方法
CN105512218A (zh) * 2015-11-30 2016-04-20 北京工商大学 一种关联层次数据的可视化方法和应用
CN105589909A (zh) * 2014-12-31 2016-05-18 中国银联股份有限公司 数据可视化实现系统及方法
US9400594B1 (en) * 2013-03-25 2016-07-26 Shmuel Zarcheany Organizational system and method for collecting, structuring, linking, and presenting disparate information
CN107688830A (zh) * 2017-08-30 2018-02-13 西安邮电大学 一种用于案件串并的现勘视觉信息关联图层生成方法
CN108268435A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 图表匹配方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814076A (zh) * 2009-07-29 2010-08-25 北京航天理想科技有限公司 可视化信息及信息关联分析系统及建立的方法
US9400594B1 (en) * 2013-03-25 2016-07-26 Shmuel Zarcheany Organizational system and method for collecting, structuring, linking, and presenting disparate information
CN105589909A (zh) * 2014-12-31 2016-05-18 中国银联股份有限公司 数据可视化实现系统及方法
CN105512218A (zh) * 2015-11-30 2016-04-20 北京工商大学 一种关联层次数据的可视化方法和应用
CN108268435A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 图表匹配方法及装置
CN107688830A (zh) * 2017-08-30 2018-02-13 西安邮电大学 一种用于案件串并的现勘视觉信息关联图层生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
实时数据库系统关键技术及实现;叶建位等;《计算机应用研究》;20050328(第03期);全文 *

Also Published As

Publication number Publication date
CN110427411A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110427411B (zh) 一种通过图层将关联数据进行可视化的方法
US11182401B1 (en) Digital processing systems and methods for multi-board mirroring with automatic selection in collaborative work systems
US20210248311A1 (en) Digital processing systems and methods for hybrid scaling/snap zoom function in table views of collaborative work systems
CN112231315A (zh) 一种基于大数据的数据治理方法
CN102314424B (zh) 文件的基于维度的关系图示
US20090327921A1 (en) Animation to visualize changes and interrelationships
US20090006455A1 (en) Automated time metadata deduction
US20100175019A1 (en) Data exploration tool including guided navigation and recommended insights
CN110929969A (zh) 一种供应商的评价方法及装置
CN112328589B (zh) 一种电子表格数据颗粒化及指标标准化处理方法
KR20030075501A (ko) 특허 데이터베이스로 부터 대상 특허의 가계 경로를 빠른시간내에 분석하여 제공하는 방법
Westerski et al. Explainable anomaly detection for procurement fraud identification—lessons from practical deployments
CN109241197A (zh) 指标展示的数据处理方法、服务器及存储介质
WO2018089271A1 (en) Technological emergence scoring and analysis platform
CN110222180A (zh) 一种文本数据分类与信息挖掘方法
US7765220B2 (en) Data relevance filtering
CN112486989B (zh) 一种多源数据颗粒化融合及指标分类分层处理方法
CN112631889A (zh) 针对应用系统的画像方法、装置、设备及可读存储介质
CN111444368A (zh) 构建用户画像的方法、装置、计算机设备及存储介质
Albano Decision support databases essentials
CN113568873B (zh) 一种政策文件智能匹配方法及装置
CN115293682A (zh) 异常物流订单监控方法及相关装置
CN114860819A (zh) 商业智能系统的构建方法、装置、设备和存储介质
JP2023051662A (ja) 金融商品情報収集プラットフォームシステム、金融商品情報収集方法及びそのためのコンピュータプログラム
US9489438B2 (en) Systems and methods for visualizing master data services information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant