CN112988915A - 数据展示方法和装置 - Google Patents
数据展示方法和装置 Download PDFInfo
- Publication number
- CN112988915A CN112988915A CN202110112134.2A CN202110112134A CN112988915A CN 112988915 A CN112988915 A CN 112988915A CN 202110112134 A CN202110112134 A CN 202110112134A CN 112988915 A CN112988915 A CN 112988915A
- Authority
- CN
- China
- Prior art keywords
- data
- display
- cleaned
- entity
- cleaning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004140 cleaning Methods 0.000 claims abstract description 84
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 230000004048 modification Effects 0.000 abstract description 2
- 238000012986 modification Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
- G06F16/287—Visualization; Browsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了数据展示方法和装置。该方法的一具体实施方式包括:基于预设的清洗配置信息,从原始数据中提取实体,并对实体进行清洗操作,得到清洗后实体集合;建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中;响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据;利用预设的展示控件,将目标关系网数据展示在目标显示器上。该实施方式实现了提供数据归并服务,因服务可独立运行,因此无需对原有业务流程进行改造,只需传输合乎协议的数据即可,节省了系统改造的成本。
Description
技术领域
本申请实施例涉及数据处理技术领域,具体涉及数据展示方法和装置。
背景技术
现有的业务数据的存储多以关系型数据库为主,数据结构上转换成展示控件所适配的形式,需要花费大量额外的开发成本,对具有固定模式要求的关系型数据库来说,甚至需要重新进行表结构的调整,以适应当前场景的需求,对业务系统入侵性强,耦合度高,降低了业务系统的可拓展性。
现有的存储数据的方法,为了业务的需要,相同的要素存储在不同的业务表中。从物理结构上看,相同的要素被分隔开,需要人为做关联查询,不利于线索的发现。
发明内容
本申请实施例的目的在于提出了一种改进的数据展示方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请实施例提供了一种数据展示方法,该方法包括:基于预设的清洗配置信息,从原始数据中提取实体,并对实体进行清洗操作,得到清洗后实体集合,其中,清洗操作用于将同一实体下的多个原始数据合并为新的实体;建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中;响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据;利用预设的展示控件,将目标关系网数据展示在目标显示器上。
在一些实施例中,对原始数据按照实体进行清洗操作,包括:由数据推送端获取待清洗数据列表中的第一记录主键集合和表征无需再进行清洗的数据的第二记录主键集合;对第一记录主键集合和第二记录主键集合取差集,得到需要清洗的第三记录主键集合;对第三记录主键集合创建数据队列,并将数据队列中的数据作为原始数据推送至数据清洗端;根据数据清洗端反馈的已清洗的数据的记录主键,更新第二记录主键集合。
在一些实施例中,建立表征各个清洗后实体之间的关联关系的关系网数据,包括:基于清洗配置信息包括的字段与实体属性对应信息,生成三元组数据集合作为关系网数据,其中,三元组数据的形式为实体-关系-实体。
在一些实施例中,将关系网数据存储到图数据库中,包括:将三元组中的头尾两个实体,根据归并依据,合并对应实体,同时返回头尾两个实体在图数据库中的主键;根据两个实体的主键和清洗配置信息,创建两个实体间的关系信息。
在一些实施例中,利用预设的展示控件,将目标关系网数据展示在目标显示器上,包括:如果展示配置信息表征在地图上展示信息,获取目标关系网数据中包括的地址信息;基于地址信息,从图数据库获取与地址信息的距离处于预设距离范围内的关联地址信息对应的清洗后实体;对所获取的清洗后实体进行二次归并,形成时空域的关联信息;根据关联信息,将二次归并后的清洗后数据绘制在地图上,形成轨迹信息。
在一些实施例中,在从异构数据库中获取多个目标要素分别对应的数据作为原始数据之前,方法还包括:以label属性不同值的形式,区分清洗配置与展示配置;以key属性不同值的形式,区分不同的清洗策略与展示策略;以value属性存储具体的相关配置信息。
第二方面,本申请实施例提供了一种数据展示装置,该装置包括:第一获取模块,用于从异构数据库中获取多个目标要素分别对应的数据作为原始数据;清洗模块,用于基于预设的清洗配置信息,从原始数据中提取实体,并对实体进行清洗操作,得到清洗后实体集合,其中,清洗操作用于将同一实体下的多个原始数据合并为新的实体;第一存储模块,用于建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中;第二获取模块,用于响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据;展示模块,用于利用预设的展示控件,将目标关系网数据展示在目标显示器上。
在一些实施例中,清洗模块包括:清洗单元,用于由数据推送端获取待清洗数据列表中的第一记录主键集合和表征无需再进行清洗的数据的第二记录主键集合;提取单元,用于对第一记录主键集合和第二记录主键集合取差集,得到需要清洗的第三记录主键集合;推送单元,用于对第三记录主键集合创建数据队列,并将数据队列中的数据作为原始数据推送至数据清洗端;更新单元,用于根据数据清洗端反馈的已清洗的数据的记录主键,更新第二记录主键集合。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的数据展示方法和装置,通过从原始数据中提取实体,并对实体进行清洗操作,然后建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中,接着响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据,最后利用预设的展示控件,将目标关系网数据展示在目标显示器上,从而为纷繁复杂的多系统场景提供了一个统一、方便的数据归并服务,因服务可独立运行,因此无需对原有业务流程进行改造,只需要定时向图数据库中传输合乎协议的数据即可,节省了系统改造的成本,可将多来源、多协议的数据以实体的形式归并至对应的对象、事、物关系网中。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的数据展示方法的一个实施例的流程图;
图3是根据本申请的数据展示方法的又一个实施例的流程图;
图4是根据本申请的数据展示方法的另一个实施例的流程图;
图5是根据本申请的数据展示方法的又一个实施例的流程图;
图6是根据本申请的数据展示方法的另一个实施例的流程图;
图7是根据本申请的数据展示装置的一个实施例的结构示意图;
图8是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的数据展示方法的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101,网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互,以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用,例如搜索类应用、网页浏览器应用、地图类应用、购物类应用、即时通信工具等。
终端设备101可以是各种电子设备,包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、 PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
服务器103可以是提供各种服务的服务器,例如对终端设备101发送的数据进行处理的数据处理服务器。数据处理服务器可以对数据进行清洗、合并及展示等操作。
需要说明的是,本申请实施例所提供的数据展示方法通常由服务器 103执行,相应地,数据展示装置通常设置于服务器103中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,其示出了根据本申请的应数据展示方法的一个实施例的流程200。该方法包括以下步骤:
步骤201,从异构数据库中获取多个目标要素分别对应的数据作为原始数据。
在本实施例中,数据展示方法的执行主体(例如图1所示的服务器) 可以从设置在本地或远程的异构数据库中获取多个目标要素分别对应的数据作为原始数据。其中,异构数据库可以是多种不同的数据库的组合。例如,实际的业务系统中,所用数据库随不同厂商的技术选型不同,可能选择Oracle、MySQL、PostgreSQL等多种不同的数据库,上述多种数据库之间形成异构关系。
异构数据库中包括大量不同的要素,要素通常包括两个部分,即实体概念和实体属性。例如“对象-地址”等。目标要素可以是基于设定的实体属性从各个要素中提取出的。不同目标要素可以涵盖但不仅限于对象、交通工具、口岸、酒店、地址、地区、医院、社区等。
上述实体的数据结构预先建立好。例如,配置实体的基本结构如以下数据结构1所示:
步骤202,基于预设的清洗配置信息,从原始数据中提取实体,并对实体进行清洗操作,得到清洗后实体集合。
在本实施例中,上述执行主体可以基于预设的清洗配置信息,从原始数据中提取实体,并对实体进行清洗操作,得到清洗后实体集合。其中,清洗操作用于将同一实体下的多个原始数据合并为新的实体。
清洗配置信息用于表征清洗操作的方法。通常,清洗配置信息包括单条记录所需切割成若干个要素的对应信息、记录中字段与实体属性的对应信息、同一要素下不同实体的归并依据,以及切割成后,若干个实体所形成的关系。
通常,清洗配置信息以json字符串的形式存储在数据结构1中的 value属性下。以mapper配置字段与实体属性映射关系,其中各个mapper 中的pks为归并动作提供规则,规则按数组下标的先后顺序确定优先级,以relationship配置实体之间形成的关系,n1与n2为实体索引(例如n1 和n2分别表示两个对象),从mapper转换结果中获取,r标签n1与n2 两个实体的关系及所包含的属性。伪代码如下:
作为示例,在对象合并中可以按照如下规则进行合并:在两个对象的某些属性相同时,认为是同一对象。一旦符合条件,立即将数据合并。所有条件都不符合,则新增一个对象。
步骤203,建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中。
在本实施例中,上述执行主体可以建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中。其中,关系网数据为经过数据清洗后的用于展示的数据,图数据库用于存储经过数据清洗后的可以进行展示的数据。作为示例,关系网数据可以为三元组数据,三元组数据用于表征两个实体之间的关系。该步骤的目的在于将分散在多处物理存储的要素归并成一处物理存储,并建立物理关系。
步骤204,响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据。
在本实施例中,上述执行主体可以响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据。其中,展示配置标识用于表征展示配置信息。
针对不同的展示策略,展示配置信息为归并后的数据关系网创建除了图数据库中已建立的关系之外的补充关系配置。补充关系配置主要指,声明关系网中跨越多级关系的相关节点所形成的新关系,使用声明的方式提高灵活性与人为干预的力度。详细配置同样可以以json字符串的形式存储在数据结构1中的value属性下。
通常,上述执行主体可以根据展示配置标识,获取展示配置信息。根据展示配置信息,基于可选的MyBatis技术,动态组装查询语句(例如Cypher),获取图数据库中与展示配置信息相对应的目标关系网数据。
步骤205,利用预设的展示控件,将目标关系网数据展示在目标显示器上。
在本实施例中,上述执行主体可以利用预设的展示控件,将目标关系网数据展示在目标显示器上。其中,目标显示器为上述执行主体包括的显示器或与上述执行主体通信连接的其他设备的显示器。
具体地,可以将目标关系网数据转换成展示控件所适配的数据结构,然后利用展示控件显示该数据结构。作为示例,展示控件可以包括但不仅限于以下至少一种:Echarts关系图、d3力导向图、电子地图等。
在本实施例的一些可选的实现方式中,如图3所示,步骤205可以如下执行:
步骤2051,如果展示配置信息表征在地图上展示信息,获取目标关系网数据中包括的地址信息。
步骤2052,基于地址信息,从图数据库获取与地址信息的距离处于预设距离范围内的关联地址信息对应的清洗后实体。
其中,关联地址信息可以是上述地址信息表示的地点周边区域包含的地点,对应的清洗后实体可以是表示对象的实体。
步骤2053,对所获取的清洗后实体进行二次归并,形成时空域的关联信息。
作为示例,通过地址信息调用地图的搜索方法,获取到经纬度,对经纬度相等、相近的地址做合并。实体信息先前已经合并过一次,此处为第二次。同时,对象与地址之间的关系具有时间属性,从而形成时空域的关联信息。
步骤2054,根据关联信息,将二次归并后的清洗后数据绘制在地图上,形成轨迹信息。
本实现方式通过将归并后的数据在地图上显示,可以准确地对某个追踪对象进行轨迹追踪,从而提高了轨迹追踪的精确性。
在本实施例的一些可选的实现方式中,如图4所示,上述步骤202 可以包括如下步骤:
步骤2021,由数据推送端获取待清洗数据列表中的第一记录主键集合和表征无需再进行清洗的数据的第二记录主键集合。
作为示例,可以首先声明一个Java接口,内部存在两个方法, queryIdsNeverSync用于获取待清洗关系表中的第一记录主键集合, queryByIds用于获取所有的当前任务所需清洗的记录,业务数据推送方对接口进行实现,并将其注册到定时任务的列表中,定时推送数据进行清洗。在实际使用中,接口的实现可以使用MyBatis动态代理的方式进行。然后,可以读取文件系统中的断点文件,断点文件记录了无需再进行清洗的记录主键。
步骤2022,对第一记录主键集合和第二记录主键集合取差集,得到需要清洗的第三记录主键集合。
步骤2023,对第三记录主键集合创建数据队列,并将数据队列中的数据作为原始数据推送至数据清洗端。
具体地,根据上述第三记录主键集合创建队列,每次出队若干条,具体条数可根据具体情况进行调整,将出队的主键集合作为入参,调用 queryByIds获取待清洗的具体记录。获得的集合数据携带上相应key以 RMI的方式,调用数据清洗端。
步骤2024,根据数据清洗端反馈的已清洗的数据的记录主键,更新第二记录主键集合。
本实现方式通过设置第一记录主键集合和第二记录主键集合,以数据队列的方式进行数据清洗,可以全面地对异构数据库中获取的数据进行清洗,从而有助于后续展示数据时,提高数据展示的全面性和准确性。
在本实施例的一些可选的实现方式中,如图5所示,上述步骤203 可以包括如下步骤:
步骤2031,基于清洗配置信息包括的字段与实体属性对应信息,生成三元组数据集合,其中,三元组数据的形式为实体-关系-实体。
具体地,可以通过步骤2023中传入的key信息获取清洗配置信息,其中配置包括单条记录所需切割成若干个要素的对应信息、记录中字段与实体属性的对应信息、同一要素下不同实体的归并依据以及切割成后,若干个实体所形成的关系。作为示例,通过预设的数据结构,可以建立若干个实体的关系,
然后,可以以for循环的方式取出步骤2023传入的集合数据,并以 for循环的方式对单条记录的字段进行遍历,根据上述字段与实体属性对应信息,将记录转换成若干个实体-关系-实体形式的三元组。三元组的数据结构如下:
其中的3个结构单元均由相同节点模型组成,节点的数据结构如下:
其中id在写入前的值为空,写入后会根据归并情况分配id值供建立关系时使用,attrs为可变长参数,根据配置信息增加属性,label为要素的类型,此例为“地址”。
本实现方式通过建立三元组数据,可以有效地建立实体之间的关系,从而有助于高效地建立图数据库,有助于提高关系数据展示的效率。
在本实施例的一些可选的实现方式中,如图5所示,基于上述清洗操作中生成的三元组数据,上述步骤203还可以包括如下步骤:
步骤2032,将三元组中的头尾两个实体,根据归并依据,合并对应实体,同时返回头尾两个实体在图数据库中的主键。
主键即上述可选的实现方式中描述的节点的数据结构中的id值。
因为三元组存在重复数据,这里的合并指的是还没有存进图数据库的数据与已经存进数据库进行合并。
步骤2033,根据两个实体的主键和清洗配置信息,在图数据库中创建表示两个实体间的关系的三元组数据作为关系网数据。
具体地,可以从步骤2031中获得到头尾两个实体的id与上述关于三元组的数据结构中的r单元作为入参传入关系存储模块。这里创建的关系指的是将三元组数据创建到数据库里。
本实现方式通过对三元组数据进行归并,再在图数据库中创建关系数据,从而可以使图数据库中的数据可以清楚、全面地表示各个实体之间的关系,从而进一步提高数据展示的准确性。
在本实施例的一些可选的实现方式中,如图6所示,在步骤201之前,还可以包括如下步骤:
步骤206,以label属性不同值的形式,区分清洗配置与展示配置。
步骤207,以key属性不同值的形式,区分不同的清洗策略与展示策略。key属性属于label过滤之后的二级过滤,例如,key值表示的清洗策略为“同住”。
步骤208,以value属性存储具体的相关配置信息。
具体地,以value属性存储json形式的相关配置,可存储任意字符串,在实际使用中,可以对字符串格式做一些限制,仅限json字符串。通过label-key索引后获得value值后,程序根据自身策略加以利用。
上述label、key、value的形式建立数据结构可以如下所示:
上述步骤206-步骤208为确定数据规范的步骤,通过label、key、value 的形式建立数据结构,可以有助于对数据进行清洗配置和展示配置,从而提高数据清洗和展示的效率和准确性。
本申请的上述实施例提供的方法,通过从原始数据中提取实体,并对实体进行清洗操作,然后建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中,接着响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据,最后利用预设的展示控件,将目标关系网数据展示在目标显示器上,从而为纷繁复杂的多系统场景提供了一个统一、方便的数据归并服务,因服务可独立运行,因此无需对原有业务流程进行改造,只需要定时向图数据库中传输合乎协议的数据即可,节省了系统改造的成本,可将多来源、多协议的数据以实体的形式归并至对应的对象、事、物关系网中。
进一步参考图7,作为对上述各图所示方法的实现,本申请提供了一种数据展示装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图7所示,本实施例的数据展示装置700包括:第一获取模块701,用于从异构数据库中获取多个目标要素分别对应的数据作为原始数据;清洗模块702,用于基于预设的清洗配置信息,从原始数据中提取实体,并对实体进行清洗操作,得到清洗后实体集合,其中,清洗操作用于将同一实体下的多个原始数据合并为新的实体;第一存储模块703,用于建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中;第二获取模块704,用于响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据;展示模块705,用于利用预设的展示控件,将目标关系网数据展示在目标显示器上。
在本实施例中,数据展示方法的第一获取模块701可以从异构数据库中获取多个目标要素分别对应的数据作为原始数据。其中,异构数据库可以是多种不同的数据库的组合。例如,实际的业务系统中,所用数据库随不同厂商的技术选型不同,可能选择Oracle、MySQL、PostgreSQL 等多种不同的数据库,上述多种数据库之间形成异构关系。
异构数据库中包括大量不同的要素,要素通常包括两个部分,即实体概念和实体属性。例如“对象-地址”等。目标要素可以是基于设定的实体属性从各个要素中提取出的。不同目标要素可以涵盖但不仅限于对象、交通工具、口岸、酒店、地址、地区、医院、社区等。上述实体的数据结构预先建立好。
在本实施例中,清洗模块702可以基于预设的清洗配置信息,从原始数据中提取实体,并对实体进行清洗操作,得到清洗后实体集合。其中,清洗操作用于将同一实体下的多个原始数据合并为新的实体。
清洗配置信息用于表征清洗操作的方法。通常,清洗配置信息包括单条记录所需切割成若干个要素的对应信息、记录中字段与实体属性的对应信息、同一要素下不同实体的归并依据,以及切割成后,若干个实体所形成的关系。
通常,清洗配置信息以json字符串的形式存储在数据结构1中的 value属性下。以mapper配置字段与实体属性映射关系,其中各个mapper 中的pks为归并动作提供规则,规则按数组下标的先后顺序确定优先级,以relationship配置实体之间形成的关系,n1与n2为实体索引(例如n1 和n2分别表示两个对象),从mapper转换结果中获取,r标签n1与n2 两个实体的关系及所包含的属性。
作为示例,在对象合并中可以按照如下规则进行合并:证件号码相同,则认为是同一个对象;联系方式并且姓名一致,认为是同一个对象;联系方式一致,无姓名属性,认为是同一个对象。一旦符合条件,立即将数据合并。所有条件都不符合,则新增一个对象。
在本实施例中,第一存储模块703可以建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中。其中,关系网数据为经过数据清洗后的用于展示的数据,图数据库用于存储经过数据清洗后的可以进行展示的数据。作为示例,关系网数据可以为三元组数据,三元组数据用于表征两个实体之间的关系。该步骤的目的在于将分散在多处物理存储的要素归并成一处物理存储,并建立物理关系。
在本实施例中,第二获取模块704可以响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据。其中,展示配置标识用于表征展示配置信息。
针对不同的展示策略,展示配置信息为归并后的数据关系网创建除了图数据库中已建立的关系之外的补充关系配置。补充关系配置主要指,声明关系网中跨越多级关系的相关节点所形成的新关系,使用声明的方式提高灵活性与人为干预的力度。详细配置同样可以以json字符串的形式存储在数据结构1中的value属性下。
通常,上述执行主体可以根据展示配置标识,获取展示配置信息。根据展示配置信息,基于可选的MyBatis技术,动态组装查询语句(例如Cypher),获取图数据库中与展示配置信息相对应的目标关系网数据。
在本实施例中,展示模块705可以利用预设的展示控件,将目标关系网数据展示在目标显示器上。其中,目标显示器为上述装置包括的显示器或与上述装置通信连接的其他设备的显示器。
具体地,可以将目标关系网数据转换成展示控件所适配的数据结构,然后利用展示控件显示该数据结构。作为示例,展示控件可以包括但不仅限于以下至少一种:Echarts关系图、d3力导向图、电子地图等。
在本实施例的一些可选的实现方式中,清洗模块可以包括:清洗单元(图中未示出),用于由数据推送端获取待清洗数据列表中的第一记录主键集合和表征无需再进行清洗的数据的第二记录主键集合;提取单元 (图中未示出),用于对第一记录主键集合和第二记录主键集合取差集,得到需要清洗的第三记录主键集合;推送单元(图中未示出),用于对第三记录主键集合创建数据队列,并将数据队列中的数据作为原始数据推送至数据清洗端;更新单元(图中未示出),用于根据数据清洗端反馈的已清洗的数据的记录主键,更新第二记录主键集合。
在本实施例的一些可选的实现方式中,第一存储模块可以包括:生成单元(图中未示出),用于基于清洗配置信息包括的字段与实体属性对应信息,生成三元组数据集合作为关系网数据,其中,三元组数据的形式为实体-关系-实体。
在本实施例的一些可选的实现方式中,第一存储模块可以包括:合并单元(图中未示出),用于将三元组中的头尾两个实体,根据归并依据,合并对应实体,同时返回头尾两个实体在图数据库中的主键;创建单元 (图中未示出),用于根据两个实体的主键和清洗配置信息,创建两个实体间的关系信息。
在本实施例的一些可选的实现方式中,展示模块可以包括:第一获取单元(图中未示出),用于如果展示配置信息表征在地图上展示信息,获取目标关系网数据中包括的地址信息;第二获取单元(图中未示出),用于基于地址信息,从图数据库获取与地址信息的距离处于预设距离范围内的关联地址信息对应的清洗后实体;归并单元(图中未示出),用于对所获取的清洗后实体进行二次归并,形成时空域的关联信息;绘制单元(图中未示出),用于根据关联信息,将二次归并后的清洗后数据绘制在地图上,形成轨迹信息。
在本实施例的一些可选的实现方式中,该装置还可以包括:第一区分模块(图中未示出),用于以label属性不同值的形式,区分清洗配置与展示配置;第二区分模块(图中未示出),用于以key属性不同值的形式,区分不同的清洗策略与展示策略;第二存储模块(图中未示出),用于以value属性存储具体的相关配置信息。
本申请的上述实施例提供的装置,通过从原始数据中提取实体,并对实体进行清洗操作,然后建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中,接着响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据,最后利用预设的展示控件,将目标关系网数据展示在目标显示器上,从而为纷繁复杂的多系统场景提供了一个统一、方便的数据归并服务,因服务可独立运行,因此无需对原有业务流程进行改造,只需要定时向图数据库中传输合乎协议的数据即可,节省了系统改造的成本,可将多来源、多协议的数据以实体的形式归并至对应的对象、事、物关系网中。
下面参考图8,其示出了适于用来实现本申请实施例的电子设备的计算机系统800的结构示意图。图8示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示,计算机系统800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O) 接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本申请的方法中限定的上述功能。
需要说明的是,本申请所述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括第一获取模块、清洗模块、第一存储模块、第二获取模块和展示模块。其中,这些模块的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取模块还可以被描述为“用于从异构数据库中获取多个目标要素分别对应的数据作为原始数据”。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:基于预设的清洗配置信息,从原始数据中提取实体,并对实体进行清洗操作,得到清洗后实体集合,其中,清洗操作用于将同一实体下的多个原始数据合并为新的实体;建立表征各个清洗后实体之间的关联关系的关系网数据,并将关系网数据存储到图数据库中;响应于接收到包括展示配置标识的展示请求,从图数据库中获取与展示配置信息对应的目标关系网数据;利用预设的展示控件,将目标关系网数据展示在目标显示器上。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种数据展示方法,其特征在于,所述方法包括:
从异构数据库中获取多个目标要素分别对应的数据作为原始数据;
基于预设的清洗配置信息,从所述原始数据中提取实体,并对所述实体进行清洗操作,得到清洗后实体集合,其中,所述清洗操作用于将同一实体下的多个原始数据合并为新的实体;
建立表征各个清洗后实体之间的关联关系的关系网数据,并将所述关系网数据存储到图数据库中;
响应于接收到包括展示配置标识的展示请求,从所述图数据库中获取与所述展示配置信息对应的目标关系网数据;
利用预设的展示控件,将所述目标关系网数据展示在目标显示器上。
2.根据权利要求1所述的方法,其特征在于,所述对所述原始数据按照实体进行清洗操作,包括:
由数据推送端获取待清洗数据列表中的第一记录主键集合和表征无需再进行清洗的数据的第二记录主键集合;
对所述第一记录主键集合和第二记录主键集合取差集,得到需要清洗的第三记录主键集合;
对所述第三记录主键集合创建数据队列,并将所述数据队列中的数据作为原始数据推送至数据清洗端;
根据所述数据清洗端反馈的已清洗的数据的记录主键,更新所述第二记录主键集合。
3.根据权利要求2所述的方法,其特征在于,所述建立表征各个清洗后实体之间的关联关系的关系网数据,包括:
基于所述清洗配置信息包括的字段与实体属性对应信息,生成三元组数据集合作为关系网数据,其中,三元组数据的形式为实体-关系-实体。
4.根据权利要求3所述的方法,其特征在于,所述将所述关系网数据存储到图数据库中,包括:
将三元组中的头尾两个实体,根据归并依据,合并对应实体,同时返回头尾两个实体在图数据库中的主键;
根据两个实体的主键和所述清洗配置信息,创建两个实体间的关系信息。
5.根据权利要求1所述的方法,其特征在于,所述利用预设的展示控件,将所述目标关系网数据展示在目标显示器上,包括:
如果所述展示配置信息表征在地图上展示信息,获取所述目标关系网数据中包括的地址信息;
基于所述地址信息,从所述图数据库获取与所述地址信息的距离处于预设距离范围内的关联地址信息对应的清洗后实体;
对所获取的清洗后实体进行二次归并,形成时空域的关联信息;
根据所述关联信息,将二次归并后的清洗后数据绘制在地图上,形成轨迹信息。
6.根据权利要求1所述的方法,其特征在于,在所述从异构数据库中获取多个目标要素分别对应的数据作为原始数据之前,所述方法还包括:
以label属性不同值的形式,区分清洗配置与展示配置;
以key属性不同值的形式,区分不同的清洗策略与展示策略;
以value属性存储具体的相关配置信息。
7.一种数据展示装置,其特征在于,所述装置包括:
第一获取模块,用于从异构数据库中获取多个目标要素分别对应的数据作为原始数据;
清洗模块,用于基于预设的清洗配置信息,从所述原始数据中提取实体,并对所述实体进行清洗操作,得到清洗后实体集合,其中,所述清洗操作用于将同一实体下的多个原始数据合并为新的实体;
第一存储模块,用于建立表征各个清洗后实体之间的关联关系的关系网数据,并将所述关系网数据存储到图数据库中;
第二获取模块,用于响应于接收到包括展示配置标识的展示请求,从所述图数据库中获取与所述展示配置信息对应的目标关系网数据;
展示模块,用于利用预设的展示控件,将所述目标关系网数据展示在目标显示器上。
8.根据权利要求7所述的装置,其特征在于,所述清洗模块包括:
清洗单元,用于由数据推送端获取待清洗数据列表中的第一记录主键集合和表征无需再进行清洗的数据的第二记录主键集合;
提取单元,用于对所述第一记录主键集合和第二记录主键集合取差集,得到需要清洗的第三记录主键集合;
推送单元,用于对所述第三记录主键集合创建数据队列,并将所述数据队列中的数据作为原始数据推送至数据清洗端;
更新单元,用于根据所述数据清洗端反馈的已清洗的数据的记录主键,更新所述第二记录主键集合。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110112134.2A CN112988915A (zh) | 2021-01-27 | 2021-01-27 | 数据展示方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110112134.2A CN112988915A (zh) | 2021-01-27 | 2021-01-27 | 数据展示方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112988915A true CN112988915A (zh) | 2021-06-18 |
Family
ID=76345519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110112134.2A Pending CN112988915A (zh) | 2021-01-27 | 2021-01-27 | 数据展示方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112988915A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723566A (zh) * | 2022-06-10 | 2022-07-08 | 高盈国际创新科技(深圳)有限公司 | 金融交易数据处理方法及系统 |
CN114996297A (zh) * | 2022-04-14 | 2022-09-02 | 建信金融科技有限责任公司 | 数据处理方法、装置、设备、介质及产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109033464A (zh) * | 2018-08-31 | 2018-12-18 | 北京字节跳动网络技术有限公司 | 用于处理信息的方法和装置 |
CN110704411A (zh) * | 2019-09-27 | 2020-01-17 | 京东方科技集团股份有限公司 | 适用于艺术领域的知识图谱搭建方法及装置、电子设备 |
CN111026883A (zh) * | 2019-12-11 | 2020-04-17 | 南方电网数字电网研究院有限公司 | 电力业务数据的知识图谱构建方法、装置、设备和介质 |
WO2020135233A1 (zh) * | 2018-12-26 | 2020-07-02 | 中兴通讯股份有限公司 | 僵尸网络检测方法、系统及存储介质 |
-
2021
- 2021-01-27 CN CN202110112134.2A patent/CN112988915A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109033464A (zh) * | 2018-08-31 | 2018-12-18 | 北京字节跳动网络技术有限公司 | 用于处理信息的方法和装置 |
WO2020135233A1 (zh) * | 2018-12-26 | 2020-07-02 | 中兴通讯股份有限公司 | 僵尸网络检测方法、系统及存储介质 |
CN110704411A (zh) * | 2019-09-27 | 2020-01-17 | 京东方科技集团股份有限公司 | 适用于艺术领域的知识图谱搭建方法及装置、电子设备 |
CN111026883A (zh) * | 2019-12-11 | 2020-04-17 | 南方电网数字电网研究院有限公司 | 电力业务数据的知识图谱构建方法、装置、设备和介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114996297A (zh) * | 2022-04-14 | 2022-09-02 | 建信金融科技有限责任公司 | 数据处理方法、装置、设备、介质及产品 |
CN114996297B (zh) * | 2022-04-14 | 2023-09-26 | 建信金融科技有限责任公司 | 数据处理方法、装置、设备及介质 |
CN114723566A (zh) * | 2022-06-10 | 2022-07-08 | 高盈国际创新科技(深圳)有限公司 | 金融交易数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299348B (zh) | 一种数据查询方法、装置、电子设备及存储介质 | |
CN110096584B (zh) | 一种应答方法和装置 | |
CN111522927A (zh) | 基于知识图谱的实体查询方法和装置 | |
CN112988915A (zh) | 数据展示方法和装置 | |
CN110990447A (zh) | 一种数据探查方法、装置、设备及存储介质 | |
CN115757400B (zh) | 数据表处理方法、装置、电子设备和计算机可读介质 | |
CN109033404A (zh) | 日志数据处理方法、装置和系统 | |
CN109508361A (zh) | 用于输出信息的方法和装置 | |
WO2020199659A1 (zh) | 用于确定推送优先级信息的方法和装置 | |
CN112084179A (zh) | 一种数据处理的方法、装置、设备及存储介质 | |
CN114356962A (zh) | 一种数据查询方法、装置、电子设备和存储介质 | |
CN112699111B (zh) | 报表生成方法、装置、电子设备和计算机可读介质 | |
CN108011936B (zh) | 用于推送信息的方法和装置 | |
CN110889000B (zh) | 用于输出信息的方法和装置 | |
CN111241137A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN113918845B (zh) | 可识别状态的外链url的生成方法、装置及存储介质 | |
CN112148847B (zh) | 一种语音信息的处理方法及装置 | |
CN114925680A (zh) | 物流兴趣点信息生成方法、装置、设备和计算机可读介质 | |
CN114218258A (zh) | 一种用户标签管理方法、系统、设备及存储介质 | |
CN110555070B (zh) | 用于输出信息的方法和装置 | |
CN115034175A (zh) | 表格数据处理方法、装置、终端和存储介质 | |
CN113393288A (zh) | 订单处理信息生成方法、装置、设备和计算机可读介质 | |
CN113485890A (zh) | 航班查询系统业务监控方法、装置、设备及存储介质 | |
CN111222048A (zh) | 用户数量的查询计算方法、装置、电子设备、及存储介质 | |
CN109710673B (zh) | 作品处理方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |
|
RJ01 | Rejection of invention patent application after publication |